CN103731611B - 深度传感器、图像捕获方法和图像处理系统 - Google Patents

深度传感器、图像捕获方法和图像处理系统 Download PDF

Info

Publication number
CN103731611B
CN103731611B CN201310475866.3A CN201310475866A CN103731611B CN 103731611 B CN103731611 B CN 103731611B CN 201310475866 A CN201310475866 A CN 201310475866A CN 103731611 B CN103731611 B CN 103731611B
Authority
CN
China
Prior art keywords
image
signal
depth
pixel
depth transducer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310475866.3A
Other languages
English (en)
Other versions
CN103731611A (zh
Inventor
金庆溢
权东旭
金民镐
李起相
李相普
李镇京
陈瑛究
崔镇旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103731611A publication Critical patent/CN103731611A/zh
Application granted granted Critical
Publication of CN103731611B publication Critical patent/CN103731611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及深度传感器、图像捕获方法和图像处理系统，其中由深度传感器执行的图像捕获方法包括步骤：向场景发射具有第一幅度的第一源信号，随后向该场景发射具有不同于第一幅度的第二幅度的第二源信号；响应于第一源信号捕获第一图像，并且响应于第二源信号捕获第二图像；以及对第一图像和第二图像进行内插以便生成最终图像。

Description

深度传感器、图像捕获方法和图像处理系统
相关申请的交叉引用
本申请要求2012年10月12日提交的韩国专利申请号10-2012-0113259的优先权，其主题内容通过参考合并于此。
技术领域
本发明构思总体上涉及传感器以及操作传感器的方法。更具体来说，本发明构思涉及深度信息计算、利用行程时间（TOF）原理的深度传感器、利用深度传感器的图像捕获方法以及包括深度传感器的图像处理系统。
背景技术
“传感器”是检测对象的状态并且把检测结果转换成相应的电信号的器件。某些传感器还能够把相应的电信号传送到多种外部电路。
传感器包括光传感器、温度传感器、压力传感器、磁性传感器以及所谓的深度（或距离）传感器。术语“深度传感器”用来指代（作为一种状态类型）检测对象的位置（或相对位置）的一类传感器。传感器可以用来检测某个对象关于特定范围的电磁信号（比如微波信号、可见光信号、红外信号、超声信号等等）的状态。在某些应用中，传感器将与朝向对象发送（或发射）“源信号”或测距信号的“源”相关联。对象于是可以反射源信号的一部分，并且通过深度传感器检测源信号的反射部分。
通过这种方式，深度传感器可以利用TOF测量方法来测量对象与传感器之间的深度（或者说范围或距离）。也就是说，深度传感器可以用来测量源信号的发送（或发射）与回到传感器的源信号的反射部分之间的延迟时间。在这一情境中，围绕对象的区域、实际上接收到源信号的发送的区域和/或实际上被传感器检测到的区域可以被称作“场景”。
当深度传感器被布置成与场景相对较远时，到达场景的源信号的水平和/或回到深度传感器的源信号的反射部分的水平可能相对较低。源信号的低水平会对源信号的反射部分的信噪比造成负面影响。也就是说，深度传感器将随着源信号的相对较弱的反射部分而接收到相对大量的噪声。
与此相对，当深度传感器与场景相对较近时，源信号的反射部分的水平将相对较高，从而提供良好的信噪比。然而不幸的是，许多场景都包含一些远离深度传感器的对象以及靠近深度传感器的其他对象。从同时反射自近距离和远距离对象或场景部分的复杂信号混合捕获图像通常是较为困难的。因此需要一种对由深度传感器所提供的深度信息的总体精度进行提高的方法，特别当这样的深度信息涉及具有靠近及远离深度传感器的多个分开的对象的场景时尤其如此。
发明内容
根据本发明构思的一方面，提供一种由深度传感器执行的图像捕获方法，所述方法包括：顺序地向场景发射具有不同幅度的源信号；以及根据由场景顺序地反射的各个源信号捕获各幅图像。
所述图像捕获方法还可以包括：通过对各幅图像进行内插而生成单一图像。
各个源信号当中的具有低幅度的源信号用来捕获场景上的靠近深度传感器的点。各个源信号当中的具有高幅度的源信号用来捕获场景上的远离深度传感器的点。
根据本发明构思的另一方面，提供一种深度传感器，其包括：顺序地向场景发射具有不同幅度的源信号的光源；顺序地驱动光源从而使得各个源信号具有不同幅度的光源驱动器；以及检测根据由场景顺序地反射的各个源信号而具有不同像素值的各个像素信号的深度像素。
所述深度传感器还可以包括图像信号处理器，其通过使用具有不同像素值的各个像素信号而生成各幅图像。
所述图像信号处理器可以通过对各幅图像进行内插而生成单一图像。所述光源可以是红外二极管或激光二极管。
根据本发明构思的另一方面，提供一种图像处理系统，其包括：深度传感器；以及处理由深度传感器输出的像素信号的处理器。
所述图像处理系统可以是便携式器件。所述图像处理系统可以是智能TV、手持式游戏机或保安摄影机。
附图说明
图1是根据本发明构思的一个实施例的深度传感器的方框图；
图2是可以包括在图1的阵列中的1抽头深度像素的平面图；
图3是通过沿着I-I'线切割图2的1抽头深度像素而获得的剖面图；
图4是示出了与图1的深度传感器的操作有关的信号的时序图；
图5是根据本发明构思的另一个实施例的深度传感器的方框图；
图6是可以包括在图5的阵列中的2抽头深度像素的平面图；
图7是通过沿着I-I'线切割图6的2抽头深度像素而获得的剖面图；
图8是示出了与图5的深度传感器的操作有关的信号的时序图；
图9是示出了可以由根据本发明的一个实施例的深度传感器执行的图像捕获方法的概念图；
图10是概括可以由根据本发明构思的一个实施例的深度传感器执行的一种可能的图像捕获方法的流程图；
图11示出了可以用在本发明构思的某些实施例中的用于三维（3D）图像传感器的单元像素阵列的一个可能实例；
图12示出了可以用在本发明构思的某些实施例中的用于3D图像传感器的单元像素阵列的另一个可能实例；
图13是根据本发明构思的一个实施例的3D图像传感器的方框图；
图14是可以包括图13的3D图像传感器的图像处理系统的方框图；
图15是可以包括彩色图像传感器和根据本发明构思的一个实施例的深度传感器的图像处理系统的方框图；
图16是图像处理系统的方框图；以及
图17是可以包括根据本发明构思的一个实施例的深度传感器的图像处理系统的方框图。
具体实施方式
如前所述，图1是根据本发明构思的一个实施例的深度传感器10的方框图。图2是可以包括在图1的阵列22中的1抽头深度像素23的平面图。图3是通过沿着I-I'线切割图2的1抽头深度像素23而获得的剖面图，并且图4是示出了与图1的深度传感器10的操作有关的信号的时序图。
一同参照图1、图2、图3和图4，深度传感器10能够利用行程时间（TOF）原理来测量距离或深度。深度传感器10包括：光源32，透镜模块34，以及包括阵列22的半导体芯片20。假设阵列22包括多个1抽头深度像素（检测器或传感器）23。
各个1抽头深度像素23被设置在二维矩阵中从而形成阵列22。每一个1抽头深度像素包括光电门110和用于信号处理的多个晶体管。
行译码器24可以用来响应于由定时控制器（T/C）26提供的行地址而选择多行的其中之一。每一“行”是在阵列22内的一个任意定义的方向（例如X方向）上的1抽头深度像素的特定设置。
光电门控制器（TG CON）28可以用来生成第一光电门控制信号、第二光电门控制信号、第三光电门控制信号和第四光电门控制信号（Ga、Gb、Gc和Gd），并且在定时控制器26的控制下将其提供到阵列22。
如图4中所示，在第一光电门控制信号和第三光电门控制信号（Ga与Gc）之间存在90°相位差，在第一光电门控制信号和第二光电门控制信号（Ga与Gb）之间存在180°相位差，并且在第一光电门控制信号和第四光电门控制信号（Ga与Gd）之间存在270°相位差。
光源驱动器30可以用来生成能够在定时控制器26的控制下驱动光源32的时钟信号（MLS）。
光源32响应于时钟信号向场景40发射已调源信号（EL）。场景40通常可以包括一个或更多目标对象。已调源信号根据光源驱动器30的驱动可以具有不同的幅度。正如在图1中概念化示出的那样，场景40的各个部分（和有关对象）将与深度传感器10分开不同的距离。
光源32可以是发光二级管（LED）、有机发光二级管（OLED）、有源矩阵有机发光二级管（AMOLED）和激光二极管当中的一种或更多种。施加到光源的时钟信号和/或由光源32发送的已调源信号可以具有正弦波或方波。
光源驱动器30把时钟信号和/或从时钟信号导出的信息提供到光电门控制器28。相应地，光电门控制器28可以用来生成与时钟信号同相的第一光电门控制信号Ga，以及关于时钟信号具有180°相位差的第二光电门控制信号Gb。光电门控制器28还可以用来生成关于时钟信号具有90°相位差的第三光电门控制信号Gc，以及关于时钟信号具有270°相位差的第四光电门控制信号Gd。也就是说，在本发明构思的某些实施例中，可以同步操作光电门控制器28和光源驱动器30。
光电门110可以由透明多晶硅形成。在本发明构思的某些实施例中，光电门110可以由氧化铟锡、掺杂锡的氧化铟（ITO）、氧化铟锌（IZO）和/或氧化锌（ZnO）形成。光电门110可以用来透射经由透镜模块34接收到的近红外波长。
由光源32提供的已调源信号的各个部分将被场景40中的（多个）对象反射。出于解释的目的，假设图1的场景40包括处在与深度传感器10（例如光源32和/或阵列22）相距三（3）个主要距离Z1、Z2和Z3处的对应对象。一般来说，深度传感器10与场景40中的对象之间的距离“Z”可以被如下计算。
如果假设已调源信号具有波形“cosωt”，并且进一步假设由1抽头深度像素23接收到的源信号的反射部分（在下文中称作“反射信号”）（RL）是“cos(ωt+θ)”，其中“θ”是相移或相位差，则可以利用等式1进行TOF计算：
θ=2*ω*Z/C=2*(2πf)*Z/C....（等式1）
其中C是光速。
随后可以利用等式2计算深度传感器10与场景40中的对象之间的距离Z：
Z=θ*C/(2*ω)=θ*C/(2*(2πf))....（等式2）
可以利用透镜模块34把反射信号聚焦（或入射）到阵列22上。透镜模块34可以被不同地实施为包括一个或更多透镜以及一个或更多光学滤波器（例如红外通过滤波器）的单元。
在某些实施例中，深度传感器10可以包括按照一定模式（例如圆圈）围绕透镜模块34设置的多个光源。但是为了便于解释，这里给出的描述性实施例采用单一光源32。
可以通过执行N次采样操作（例如4次采样操作）对经由透镜模块34回到阵列22的反射信号进行解调。通过这种方式，适当的采样操作可以从反射信号生成（或检测）采样像素信号（例如图4的像素样本A0、A1、A2和A3）。后面将描述采样像素信号A0、A1、A2或A3的一些附加细节。
可以通过等式3来表示通过等式1计算的已调源信号（EL）与反射信号（RL）之间的相移θ：
其中可以通过等式4来表示反射信号（RL）的幅度“A”：
因此，可以通过图1和图4所示的实例中的已调源信号（EL）的幅度来确定反射信号（RL）的幅度“A”。
随后可以通过等式5来表示对应于反射信号（RL）的偏移量“B”：
参照图2、图3和图4，在P型衬底100内形成浮动扩散区域114。浮动扩散区域114连接到驱动晶体管S/F的栅极。驱动晶体管S/F（未示出）执行源极跟随器的功能。可以通过掺杂N型杂质形成浮动扩散区域114。
在P型衬底100上形成氧化硅层，在氧化硅层上形成光电门110，并且还在氧化硅层上形成传输晶体管112。P型衬底100可以是P掺杂的外延衬底。
在积分间隔期间把第一光电门控制信号（Ga）提供到光电门110。这被称作电荷收集操作。传输控制信号（TX）被提供到传输晶体管112的栅极，该传输控制信号（TX）对在光电门110下方的P型衬底100的一个区域内生成的光电荷到浮动扩散区域114的传输进行控制。这被称作电荷传输操作。
根据本发明构思的某些实施例，还可以在光电门110与传输晶体管112下方的P型衬底100的各个区域之间的P型衬底100的一个区域内形成桥接扩散区域116。可以用N型杂质掺杂桥接扩散区域116。通过经由光电门110入射到P型衬底100上的源信号生成光电荷。
当具有“低”电平（例如1.0V）的传输控制信号（TX）被提供到传输晶体管112的栅极并且具有“高”电平（例如3.3V）的第一光电门控制信号（Ga）被提供到光电门110时，在P型衬底100内生成的光电荷被集中在处于光电门110下方的P型衬底100的区域内，并且该集中的光电荷随后可以被传输到浮动扩散区域114（例如当没有形成桥接扩散区域116时）或者经由桥接扩散区域116被传输到浮动扩散区域114（例如当形成桥接扩散区域116时）。
图3示出了“VHA区域”，其中聚集了在把第一光电门控制信号（Ga）提供到第一光电门110时生成的电位或光电荷。
当把低传输控制信号（TX）提供到传输晶体管112的栅极并且把低第一光电门控制信号（Ga）提供到光电门110时，在处于光电门110下方的P型衬底100的区域内生成光电荷，但是光电荷不会被传输到浮动扩散区域114。
在把第二光电门控制信号Gb、第三光电门控制信号Gc和第四光电门控制信号Gd当中的每一个提供到光电门110时执行的电荷收集操作和电荷传输操作与在把第一光电门控制信号Ga提供到光电门110时所执行的操作类似。
虽然在图3中示出的1抽头深度像素23包括安装在光电门110上的微透镜150，但是1抽头深度像素23在某些情况下也可以不包括微透镜150。
1抽头深度像素23在一个已定义时间段期间（例如在积分时间期间）聚集光电荷，并且输出根据该聚集的结果生成的相应像素信号A0、A1、A2和A3。可以通过等式6表示由每一个1抽头深度像素23生成的像素信号（Ak）：
当第一光电门控制信号（Ga）被输入到1抽头深度像素23的光电门110时，等式6中的“k”的值为“0”。当第三光电门控制信号（Gc）被输入到1抽头深度像素23的光电门110时，等式6中的“k”的值将为“1”。当第二光电门控制信号（Gb）被输入到1抽头深度像素23的光电门110时，等式6中的“k”的值将为“2”，并且当第四光电门控制信号（Gd）关于时钟信号MLS的相位差是270°时，等式6中的“k”的值将为“3”。
因此，在等式6中，“ak,n”项表示当施加具有对应于变量“k”的相位差的第N门信号时由1抽头深度像素23生成的光电荷的数量，并且N的自然数值等于(fm*Tint)，其中“fm”是已调源信号（EL）的频率，并且“Tint”表示积分时间段。
参照图1，在定时控制器26的控制下，例如相关双采样（CDS）/模拟到数字转换（ADC）电路36之类的数字电路关于由1抽头深度像素23提供的像素信号A0、A1、A2和A3执行CDS操作和ADC操作，以便生成并提供输出数字像素信号。图1中所示的深度传感器10还可以包括有源负载电路（未示出），以用于把通过实施在阵列22中的多条列线输出的像素信号传输到CDS/ADC电路36。存储器38可以用作接收并存储由CDS/ADC电路36提供的数字像素信号的缓冲器。
根据图1、图2和图3中示出的实施例，深度传感器10还可以包括图像信号处理器（ISP）39。ISP39可以用来计算从存储在存储器38中的像素信号A0、A1、A2和A3导出的距离信息或深度信息。
图5是根据本发明构思的另一个实施例的深度传感器10'的方框图。图6是可以包括在图5的阵列22中的2抽头深度像素23-1的平面图。图7是通过沿着I-I'线切割图6的2抽头深度像素23-1而获得的剖面图，并且图8是示出了与图5的深度传感器10'的操作有关的信号的时序图。
参照图5，可以假设深度传感器10'的结构类似于图1的深度传感器10，其不同之处在于在阵列22中提供了2抽头深度像素23-1而不是1抽头深度像素23。因此将省略重复的描述。
与前面一样，图5、图6和图7的深度传感器23-1能够利用TOF原理测量距离或深度。
可以被二维实地施在阵列22中的每一个2抽头深度像素23-1包括第一光电门110和第二光电门120。每一个2抽头深度像素23-1还包括用于信号处理的多个晶体管。
由于图7的深度传感器10'和图1的深度传感器10仅仅在2抽头深度像素23-1和1抽头深度像素23方面是不同的，因此除非另行声明，否则图7中所示的组件和信号的功能和操作与前面描述的可比功能和操作类似。
在第一积分间隔期间，第一光电门控制信号（Ga）被提供到第一光电门110，并且第二光电门控制信号（Gb）被提供到第二光电门120。在第二积分间隔期间，第三光电门控制信号（Gc）被提供到第一光电门110，并且第四光电门控制信号（Gd）被提供到第二光电门120。
现在参照图5、图6和图7，在P型衬底100内形成第一浮动扩散区域114和第二浮动扩散区域124。
第一浮动扩散区域114连接到第一驱动晶体管S/F_A（未示出）的栅极，第二浮动扩散区域124连接到第二驱动晶体管S/F_B（未示出）的栅极。第一驱动晶体管S/F_A和第二驱动晶体管S/F_B当中的每一个都可以执行源极跟随器的功能。第一浮动扩散区域114和第二浮动扩散区域124当中的每一个都可以掺杂有N型杂质。
在P型衬底100上形成氧化硅层，在氧化硅层上形成第一光电门110和第二光电门120，并且还在氧化硅层上形成第一传输晶体管112和第二传输晶体管122。可以在P型衬底100内形成隔离区域130，其用于防止由第一光电门110在P型衬底100内生成的光电荷与由第二光电门120在P型衬底100内生成的光电荷发生干扰。
P型衬底100可以是P掺杂的外延衬底，并且隔离区域130可以是P+掺杂区域。根据本发明构思的某些实施例，可以通过浅沟槽隔离（STI）或局部硅氧化（LOCOS）形成隔离区域130。
在第一积分间隔期间，第一光电门控制信号（Ga）被提供到第一光电门110，并且第二光电门控制信号（Gb）被提供到第二光电门120。第一传输控制信号（TX_A）被提供到第一传输晶体管112的栅极，该第一传输控制信号（TX_A）对在第一光电门110下方的P型衬底100的一个区域内生成的光电荷到第一浮动扩散区域114的传输进行控制。第二传输控制信号（TX_B）被提供到第二传输晶体管122的栅极，该第二传输控制信号（TX_B）在第二光电门120下方的P型衬底100的一个区域内生成的光电荷到第二浮动扩散区域124的传输进行控制。
根据图7所示的实施例，可以在第一光电门110与第一传输晶体管112下方的P型衬底100的各个区域之间的P型衬底100的一个区域内形成第一桥接扩散区域116。可以在第二光电门120与第二传输晶体管122下方的P型衬底100的各个区域之间的P型衬底100的一个区域内形成第二桥接扩散区域126。第一桥接扩散区域116和第二桥接扩散区域126可以掺杂有N型杂质。
由通过第一光电门110和第二光电门120当中的每一个入射到P型衬底100中的源信号生成光电荷。
当把低第一传输控制信号（TX_A）提供到第一传输晶体管112的栅极并且把高第一光电门控制信号（Ga）提供到第一光电门110时，在P型衬底100内生成的光电荷集中在处于第一光电门110下方的P型衬底100的区域内，并且所集中的光电荷被传输到第一浮动扩散区域114（例如当没有形成第一桥接扩散区域116时）或者经由第一桥接扩散区域116被传输到第一浮动扩散区域114（例如当形成第一桥接扩散区域116时）。
与此同时，当把低第二传输控制信号（TX_B）提供到第二传输晶体管122的栅极并且把低第二光电门控制信号（Gb）提供到第二光电门120时，在处于第二光电门120下方的P型衬底100的区域内生成光电荷，但是所生成的光电荷不会被传输到第二浮动扩散区域124。这一操作被称作电荷收集操作。
在图7中，VHA区域聚集当把高第一光电门控制信号（Ga）提供到第一光电门110时生成的电荷，并且VLB区域聚集当把低第二光电门控制信号（Gb）提供到第二光电门120时生成的电荷。
当把低第一传输控制信号（TX_A）提供到第一传输晶体管112的栅极并且把低第一光电门控制信号（Ga）提供到第一光电门110时，在处于第一光电门110下方的P型衬底100的区域内生成光电荷，但是所生成的光电荷不会被传输到第一浮动扩散区域114。
与此同时，当把低第二传输控制信号（TX_B）提供到第二传输晶体管122的栅极并且把高第二光电门控制信号（Gb）提供到第二光电门120时，在P型衬底100内生成的光电荷集中在处于第二光电门120下方的P型衬底100的区域内，并且所集中的光电荷被传输到第二浮动扩散区域124（例如当没有形成第二桥接扩散区域126时）或者经由第二桥接扩散区域126被传输到第二浮动扩散区域124（例如当形成第二桥接扩散区域126时）。这一操作被称作电荷传输操作。
在图7中，VHB区域聚集当把高第二光电门控制信号（Gb）提供到第二光电门120时生成的电荷，并且VLA区域聚集当把低第一光电门控制信号（Ga）提供到第一光电门110时生成的电荷。
在把第三光电门控制信号（Gc）提供到第一光电门110时执行的电荷收集操作和电荷传输操作类似于在把第一光电门控制信号（Ga）提供到第一光电门110时执行的操作。并且在把第四光电门控制信号（Gd）提供到第二光电门120时执行的电荷收集操作和电荷传输操作类似于在把第二光电门控制信号（Gb）提供到第二光电门120时执行的操作。
图9是示出了可以由图1的深度传感器10（或者类似地由图5的深度传感器10'）执行的图像捕获方法的图示。
参照图1、图4、图5、图8和图9，深度传感器10在第一时间点T1响应于时钟信号向场景40中的一个对象发射具有第一幅度的第一已调源信号（EL'）。其结果是，由场景40中的该对象朝向深度传感器10返回第一反射信号RL'。根据第一已调源信号EL'与第一反射信号RL'之间的所计算的第一相移θ，生成表示深度传感器10与场景40之间的第一距离（或深度）的第一距离（或深度）信息。
随后，深度传感器10在第二时间点T2响应于时钟信号向场景40中的该对象发射具有第二幅度（其不同于第一幅度）的第二已调源信号EL''。相应地，从场景40的该对象朝向深度传感器10返回第二反射信号RL''。这里在图9所示的实例中，假设第二幅度大于第一幅度。因此，第一反射信号RL'和第二反射信号RL''的幅度分别对应于第一已调源信号EL'和第二已调源信号EL''的第一幅度和第二幅度。相应地，与第一已调源信号EL'和第一反射信号RL'相比，第二已调源信号EL''和第二反射信号RL''在随后的场景图像显示期间导致更强的图像亮度。换句话说，在该实施例中，幅度对应于亮度，因此幅度越大，亮度就将越强（或“更高”）。
具有第一幅度的第一已调源信号EL'可以用来捕获场景40的与深度传感器10相对靠近的“近点”（例如Z1）。而具有第二幅度的第二已调源信号EL''则可以用来捕获场景40的相对远离深度传感器10的“远点”（例如Z3）。
通过朝向场景40顺序地发射具有不同幅度的第一已调源信号EL'和第二已调源信号EL''，通过深度像素23检测具有不同像素值的像素信号A0、A1、A2和A3。举例来说，通过对第一反射信号RL'执行四次采样操作而检测到分别具有第一像素值的像素信号A0、A1、A2和A3，并且通过对第二反射信号RL''执行四次采样操作而检测到分别具有第二像素值的像素信号A0、A1、A2和A3。
通过第一反射信号RL'检测到的第一像素信号A0的第一像素值可以不同于通过第二反射信号RL''检测到的第一像素信号A0的第二像素值。因此，ISP39利用分别具有第一像素值的像素信号A0、A1、A2和A3生成“第一图像”，并且利用分别具有第二像素值的像素信号A0、A1、A2和A3生成“第二图像”。第一图像是根据具有第一幅度的第一已调源信号EL'生成的，而第二图像则是根据具有第二幅度的第二已调源信号EL''生成的。第一图像中的相对远离深度传感器10的第一点（或第一对象）例如可能由于噪声而失真（或失焦），并且第二图像中的与深度传感器10相对靠近的第二点（或第二对象）例如可能由于噪声而失真（或失焦）。相应地，ISP39生成第一图像和第二图像，并且随后对第一图像和第二图像进行内插以便生成最终图像。最终图像的特征在于大大改进了第一图像和第二图像当中的任一幅的质量。换句话说，改进了用来生成最终图像的距离信息的精度。
图10是由根据本发明构思的深度传感器执行的图像捕获方法的流程图。
参照图1、图4、图5、图8、图9和图10，光源32朝向场景40顺序地发射分别具有不同幅度的第一已调源信号EL'和第二已调源信号EL''（S10）。光源驱动器30可以驱动光源32顺序地发射第一已调源信号EL'和第二已调源信号EL''。
随后，ISP39可以用来捕获从场景40返回的分别对应于第一反射信号RL'和第二反射信号RL''的第一图像和第二图像（S20）。也就是说，深度像素23根据第一反射信号RL'和第二反射信号RL''检测具有不同像素值的第一像素信号和第二像素信号。ISP39利用第一像素信号和第二像素信号捕获第一图像和第二图像。
随后，ISP39可以用来通过对第一图像和第二图像进行内插来生成单一（最终）图像（S30）。
图11示出了根据一个实例的三维（3D）图像传感器的单元像素阵列522-1。参照图11，单元像素阵列522-1构成图13的像素阵列522的一部分，并且单元像素阵列522-1可以包括红色像素R、绿色像素G、蓝色像素B和深度像素D。深度像素D可以是具有如图1所示的1抽头像素结构的深度像素23，或者是具有如图5所示的2抽头像素结构的深度像素23-1。红色像素R、绿色像素G和蓝色像素B可以被称作RGB彩色像素。
红色像素R生成与属于可见光区域的红色区域的波长相对应的红色像素信号，绿色像素G生成与属于可见光区域的绿色区域的波长相对应的绿色像素信号，并且蓝色像素B生成与属于可见光区域的蓝色区域的波长相对应的蓝色像素信号。深度像素D生成与属于红外区域的波长相对应的深度像素信号。
图12示出了根据另一个实例的3D图像传感器的单元像素阵列522-2。参照图12，单元像素阵列522-2构成图13的像素阵列522的一部分，并且可以包括两个红色像素R、两个绿色像素G、两个蓝色像素B和两个深度像素D。
图11和图12的单元像素阵列522-1和522-2是通过举例的方式示出的，应当认识到特定单元像素阵列的模式和构成该模式的像素可以根据实施例而不同。举例来说，图12的红色R、绿色G和蓝色像素B可以分别由品红色像素、青色像素和黄色像素替代。包括红色R、绿色G和蓝色像素B的彩色像素阵列可以与包括深度像素D的阵列分开。
图13是根据本发明构思的一个实施例的三维（3D）图像传感器500的方框图。3D图像传感器500表示能够获得3D图像信息的器件，这是通过把利用包括在图11或图12的单元像素阵列522-1或522-2中的深度像素D来测量深度信息的功能与利用包括在单元像素阵列522-1或522-2中的红色R、绿色G和蓝色像素B来测量每一项颜色信息（例如红色信息、绿色信息或蓝色信息）的功能相组合而实现的。
参照图13，3D图像传感器500包括半导体芯片520、光源532和透镜模块534。半导体芯片520包括像素阵列522、行译码器524、定时控制器526、光电门控制器528、光源驱动器530、CDS/ADC电路536、存储器538和ISP539。
图13的行译码器524、定时控制器526、光电门控制器528、光源驱动器530、CDS/ADC电路536、存储器538和ISP539的操作和功能分别与图1的行译码器24、定时控制器26、光电门控制器28、光源驱动器30、CDS/ADC电路36、存储器38和ISP39的操作和功能相同，因此除非特别另行声明，否则将省略其详细描述。
根据一个实施例，3D图像传感器500还可以包括列译码器（未示出）。列译码器可以对由定时控制器526输出的列地址进行译码，以便输出列选择信号。
行译码器524可以生成用于控制包括在像素阵列522中的每一个像素的操作（例如图11或图12的像素R、G、B和D的操作）的控制信号。
像素阵列522包括图11或图12的单元像素阵列522-1或522-2。举例来说，像素阵列522包括多个像素。这些像素可以是红色像素、绿色像素、蓝色像素、深度像素、品红色像素、青色像素和黄色像素当中的至少两项的混合。各个像素可以按照矩阵形状被设置在多条行线与多条列线的交叉点处。根据一个实施例，3D图像传感器500可以不包括ISP539。
图14是可以合并有图13的3D图像传感器500的图像处理系统600的方框图。参照图14，图像处理系统600可以包括3D图像传感器500和处理器210。
处理器210可以控制3D图像传感器500的操作。举例来说，处理器210可以存储用于控制3D图像传感器500的操作的程序。根据一个实施例，处理器210可以访问其中存储有用于控制3D图像传感器500的操作的程序的存储器（未示出），以便运行存储在该存储器中的程序。
3D图像传感器500可以在处理器210的控制下基于每一个数字像素信号（例如颜色信息或深度信息）生成3D图像。可以在连接到接口（I/F）230的显示器（未示出）上显示3D图像信息。可以在处理器210的控制下通过总线201把由3D图像传感器500生成的3D图像信息存储在存储器220中。可以利用非易失性存储器来实施存储器220。
可以利用用于接收及输出3D图像信息的接口来实施I/F230。根据一个实施例，可以利用无线接口来实施I/F230。
图15是可以合并有图1的深度传感器10或图5的深度传感器10'和彩色图像传感器310的图像处理系统700的方框图。参照图15，图像处理系统700可以包括深度传感器10或10'、包括RGB彩色像素的彩色图像传感器310以及处理器210。
虽然为了解释方便而在图15中使得深度传感器10或10'在物理上与彩色图像传感器310分开，但是深度传感器10或10'与彩色图像传感器310也可以包括物理上重叠的信号处理电路。
彩色图像传感器310可以表示不包括深度像素而包括具有红色像素、绿色像素和蓝色像素的像素阵列的图像传感器。相应地，处理器210可以基于由深度传感器10或10'预测（或计算）的深度信息以及由彩色图像传感器310输出的每一项颜色信息（例如红色信息、绿色信息、蓝色信息、品红色信息、青色信息或黄色信息的至少其中之一）生成3D图像信息，并且可以在显示器上显示3D图像信息。可以通过总线301把由处理器210生成的3D图像信息存储在存储器220中。
图16是可以合并有图1的深度传感器10或图5的深度传感器10'的图像处理系统800的方框图。参照图16，信号处理系统800能够仅仅充当简单的深度（或距离）测量传感器并且包括深度传感器10或10'以及用于控制深度传感器10或10'的操作的处理器210。
处理器210可以基于由深度传感器10或10'输出的像素信号计算分别代表信号处理系统800与一个物体（或目标对象）之间的距离或深度的距离信息或深度信息。在这种情况下，深度传感器10或10'可以不包括ISP39。可以通过总线401把由处理器210测量的距离信息或深度信息存储在存储器220中。
可以实施I/F410以用于接收和输出深度信息。根据一个实施例，可以利用无线接口来实施I/F410。
图14、图15或图16的图像处理系统600、700或800可以被使用在3D距离测量器、游戏控制器、深度摄影机、便携式设备或姿态感测设备中。根据一个实施例，可以利用移动电话、智能电话、平板PC、个人数字助理（PDA）、企业数字助理（EDA）、数字静止摄影机、数字视频摄影机、便携式多媒体播放器（PMP）、个人（或便携式）导航器件（PND）、智能TV、手持式游戏控制台、保安摄影机或电子书来实施图14、图15或图16的图像处理系统600、700或800。
图17是可以合并有根据本发明构思的一个实施例的深度传感器的图像处理系统1200的方框图。参照图17，可以利用能够使用或支持移动工业处理器接口的数据处理设备来实施图像处理系统1200，例如PDA、PMP、移动电话、智能电话或平板PC之类的便携式设备。
图像处理系统1200包括应用处理器1210、图像传感器1220以及显示器1230。
实施在应用处理器1210中的摄影机串行接口（CSI）主机1212可以通过CSI与图像传感器1220的CSI器件1221串行地通信。根据一个实施例，可以在CSI主机1212中实施去串行化器DES，并且可以在CSI器件1221中实施串行化器SER。图像传感器1220可以是图1的深度传感器10或者是图5的深度传感器10'。
实施在应用处理器1210中的显示器串行接口（DSI）主机1211可以通过DSI与显示器1230的DSI器件1231串行地通信。根据一个实施例，可以在DSI主机1211中实施串行化器SER，并且可以在DSI器件1231中实施去串行化器DES。
图像处理系统1200还可以包括能够与应用处理器1210通信的射频（RF）芯片1240。应用处理器1210的PHY（物理层）1213和RF芯片1240的PHY1241可以通过MIPI DigRF向/从彼此发送及接收数据。
图像处理系统1200还可以包括全球定位系统（GPS）1250、例如动态随机存取存储器（DRAM）之类的存储器1252、利用例如NAND闪存之类的非易失性存储器实施的数据存储器件1254、麦克风（MIC）1256或扬声器1258。
图像处理系统1200可以利用至少一种通信协议（或通信标准）与外部设备通信，比如超宽带（UWB）1260、无线局域网（WLAN）1262、全球微波互联接入（WiMAX）1264或者长期演进（LTETM）（未示出）。
在根据本发明构思的一个实施例的深度传感器和由所述深度传感器执行的图像捕获方法中，可以朝向一个场景顺序地发射分别具有不同幅度的多个源信号，并且有利地利用其来提高场景的最终图像中的距离信息的精度。
虽然已经特别参照本发明的示例性实施例示出并描述了本发明，但是应当理解的是，在不背离所附权利要求书的范围的情况下可以在形式和细节方面做出许多改变。

Claims (17)

1.一种由深度传感器执行的图像捕获方法，所述方法包括步骤：
向场景发射具有第一幅度的第一源信号，随后向该场景发射具有不同于所述第一幅度的第二幅度的第二源信号；
响应于所述第一源信号捕获第一图像，并且响应于所述第二源信号捕获第二图像；以及
对所述第一图像和第二图像进行内插以生成最终图像，
其中，所述第一幅度低于所述第二幅度，
所述第一源信号用于捕获所述场景的相对靠近所述深度传感器的第一点，并且
所述第二源信号用于捕获所述场景的相对远离所述深度传感器的第二点。
2.权利要求1的图像捕获方法，其中，所述第一图像中的相对远离所述深度传感器的第一对象存在失真，并且所述第二图像中的与所述深度传感器相对靠近的第二对象存在失真。
3.权利要求2的图像捕获方法，其中，响应于所述第一源信号捕获所述第一图像的步骤包括：
接收所述第一源信号的反射部分以作为入射到所述深度传感器中的深度像素阵列的第一反射信号；以及
将所述第一反射信号转换成所述第一图像；并且
响应于所述第二源信号捕获所述第二图像的步骤包括：
在接收入射到所述深度像素阵列的第一反射信号之后，接收所述第二源信号的反射部分以作为入射到所述深度传感器中的深度像素阵列的第二反射信号；以及
在将所述第一反射信号转换成所述第一图像之后，将所述第二反射信号转换成所述第二图像。
4.权利要求3的图像捕获方法，其中，接收所述第一反射信号包括通过透镜模块聚焦所述第一反射信号，并且
接收所述第二反射信号包括在通过所述透镜模块聚焦所述第一反射信号之后通过所述透镜模块聚焦所述第二反射信号。
5.权利要求3的捕获方法，其中，每一个所述深度像素是1抽头深度像素或2抽头深度像素的其中之一。
6.权利要求5的捕获方法，其中，所述深度传感器是包括红色像素、绿色像素、蓝色像素、品红色像素、青色像素和黄色像素的至少其中之一的三维图像传感器的一部分。
7.权利要求1的捕获方法，还包括步骤：
存储对应于所述最终图像的图像数据；
通过接口向显示器传送所述图像数据；以及
根据所述图像数据在所述显示器上生成显示图像。
8.一种深度传感器，其包括：
光源，其向场景发射具有第一幅度的第一源信号和具有不同于所述第一幅度的第二幅度的第二源信号；以及
深度像素，其响应于作为第一反射信号的所述第一源信号的反射部分生成第一像素信号，并且随后响应于作为第二反射信号的所述第二源信号的反射部分生成第二像素信号；以及
图像信号处理器，其从所述第一像素信号生成第一图像，从所述第二像素信号生成第二图像，并且对所述第一图像和第二图像进行内插以便生成最终图像，
其中，所述第一幅度低于所述第二幅度，
所述第一源信号用于捕获所述场景的相对靠近所述深度传感器的第一点，并且
所述第二源信号用于捕获所述场景的相对远离所述深度传感器的第二点。
9.权利要求8的深度传感器，其中，所述光源是红外二极管或激光二极管。
10.权利要求8的深度传感器，其中，所述第一图像中的相对远离所述深度传感器的第一对象存在失真，并且所述第二图像中的与所述深度传感器相对靠近的第二对象存在失真。
11.权利要求8的深度传感器，还包括：
透镜模块，其把所述第一反射信号和所述第二反射信号聚焦在所述深度像素上；以及
相关双采样电路，其与模拟到数字转换器一同操作以便把所述第一反射信号转换成所述第一像素信号并且把所述第二反射信号转换成所述第二像素信号。
12.权利要求8的深度传感器，其中，所述深度像素是1抽头深度像素或2抽头深度像素的其中之一。
13.一种三维传感器，其包括：
光源，其向场景发射具有第一幅度的第一源信号和具有不同于所述第一幅度的第二幅度的第二源信号；以及
至少一个彩色像素和深度像素，其中所述深度像素配置成响应于作为第一反射信号的所述第一源信号的反射部分生成第一像素信号，并且响应于作为第二反射信号的所述第二源信号的反射部分生成第二像素信号；以及
图像信号处理器，其根据所述第一像素信号生成第一图像，根据所述第二像素信号生成第二图像，并且对所述第一图像和第二图像进行内插以便生成最终图像，
其中，所述第一幅度低于所述第二幅度，
所述第一源信号用于捕获所述场景的相对靠近所述三维传感器的第一点，并且
所述第二源信号用于捕获所述场景的相对远离所述三维传感器的第二点。
14.权利要求13的三维传感器，其中，所述光源是红外二极管或激光二极管。
15.权利要求13的三维传感器，其中，所述第一图像中的相对远离所述深度传感器的第一对象存在失真，并且所述第二图像中的与所述深度传感器相对靠近的第二对象存在失真。
16.权利要求13的三维传感器，其中，所述深度像素是1抽头深度像素或2抽头深度像素的其中之一。
17.权利要求13的三维传感器，其中，所述至少一个彩色像素包括第一彩色像素集合或第二彩色像素集合，第一彩色像素集合包括红色像素、绿色像素和蓝色像素，第二彩色像素集合包括品红色像素、青色像素和黄色像素。
CN201310475866.3A 2012-10-12 2013-10-12 深度传感器、图像捕获方法和图像处理系统 Active CN103731611B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0113259 2012-10-12
KR1020120113259A KR101977711B1 (ko) 2012-10-12 2012-10-12 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템

Publications (2)

Publication Number Publication Date
CN103731611A CN103731611A (zh) 2014-04-16
CN103731611B true CN103731611B (zh) 2018-06-15

Family

ID=50383338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310475866.3A Active CN103731611B (zh) 2012-10-12 2013-10-12 深度传感器、图像捕获方法和图像处理系统

Country Status (4)

Country Link
US (2) US9621868B2 (zh)
KR (1) KR101977711B1 (zh)
CN (1) CN103731611B (zh)
DE (1) DE102013111021A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201250999A (en) * 2011-06-13 2012-12-16 Wintek Corp Organic electroluminescent display device
KR102194233B1 (ko) * 2014-05-19 2020-12-22 삼성전자주식회사 깊이 영상 생성 장치 및 방법
CN104299261B (zh) * 2014-09-10 2017-01-25 深圳大学 人体三维成像方法及系统
KR102208965B1 (ko) * 2014-10-07 2021-01-28 삼성전자주식회사 3차원 이미지 센서 모듈 및 3차원 이미지 센서 모듈을 포함하는 전자 장치
US9581696B2 (en) * 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
KR102502451B1 (ko) * 2016-01-07 2023-02-22 삼성전자주식회사 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치
CN107172407B (zh) 2016-03-08 2019-03-12 聚晶半导体股份有限公司 适于产生深度图的电子装置与方法
WO2017169782A1 (ja) * 2016-03-31 2017-10-05 富士フイルム株式会社 距離画像処理装置、距離画像取得装置、及び距離画像処理方法
US20180077437A1 (en) * 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming
KR102624984B1 (ko) * 2018-03-21 2024-01-15 삼성전자주식회사 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
US10691926B2 (en) * 2018-05-03 2020-06-23 Analog Devices, Inc. Single-pixel sensor
CN108681726B (zh) * 2018-06-26 2024-01-02 深圳阜时科技有限公司 3d芯片模组、身份识别装置及电子设备
TWI696842B (zh) * 2018-11-16 2020-06-21 精準基因生物科技股份有限公司 飛時測距感測器以及飛時測距方法
KR102618016B1 (ko) 2018-12-04 2023-12-26 삼성전자주식회사 이미지 센서 및 이를 이용한 거리 측정 센서
KR102648089B1 (ko) 2019-03-26 2024-03-19 삼성전자주식회사 이미징 장치 및 이미지 센서
CN110221309B (zh) * 2019-04-30 2021-08-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像装置及电子设备
KR20200145891A (ko) 2019-06-19 2020-12-31 삼성전자주식회사 얽힌 픽셀을 포함하는 깊이 센서
WO2021016781A1 (zh) * 2019-07-29 2021-02-04 深圳市汇顶科技股份有限公司 三维图像传感器以及相关三维图像传感模组及手持装置
KR20210084752A (ko) * 2019-12-27 2021-07-08 삼성전자주식회사 광원 및 ToF 센서를 포함하는 전자 장치 및 라이다 시스템
DE102020112983A1 (de) 2020-05-13 2021-11-18 Ifm Electronic Gmbh Schaltungsanordnung zum Auslesen von Pixeln und Verfahren zur Realisierung eines Pixel-Binnings von zwei Pixeln eines Bildsensors
CN112947117A (zh) * 2021-02-22 2021-06-11 湖南大学 一种多rov水下协同作业仿真系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831719A (en) * 1996-04-12 1998-11-03 Holometrics, Inc. Laser scanning system
JP2001165655A (ja) 1999-12-06 2001-06-22 Oki Electric Ind Co Ltd 距離推定装置及び距離推定方法
JP4040825B2 (ja) 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
DE602005006080T2 (de) 2004-09-17 2009-05-07 Matsushita Electric Works, Ltd., Kadoma Reichweitenbildsensor
EP2016456A4 (en) * 2006-04-20 2010-08-25 Xceed Imaging Ltd THROUGH OPTICAL SYSTEM AND METHOD FOR PROVIDING AN ENLARGED SHARPNESS DURING THE FIGURE
JP4395150B2 (ja) 2006-06-28 2010-01-06 富士フイルム株式会社 距離画像センサ
KR20080095084A (ko) 2007-04-23 2008-10-28 삼성전자주식회사 영상 잡음 제거 장치 및 방법
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP5019117B2 (ja) 2007-11-14 2012-09-05 スタンレー電気株式会社 距離画像生成装置
JP5077003B2 (ja) 2008-03-25 2012-11-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US7835224B2 (en) * 2008-03-31 2010-11-16 Westerngeco L.L.C. Reconstructing low frequency data recordings using a spread of shallow and deep streamers
US8094292B2 (en) 2008-09-17 2012-01-10 Institut National De La Recherche Scientifique Cross-chirped interferometry system and method for light detection and ranging
JP2010190675A (ja) 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
KR101590767B1 (ko) 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
KR101565969B1 (ko) * 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
CN101750611B (zh) * 2009-12-02 2012-05-09 哈尔滨工程大学 一种水下机器人目标探测装置及探测方法
KR20120113259A (ko) 2010-01-08 2012-10-12 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 생물막의 처리에서 사용하기 위한 ｄ-아미노산
KR101681198B1 (ko) * 2010-02-04 2016-12-01 삼성전자주식회사 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템
KR101753312B1 (ko) * 2010-09-17 2017-07-03 삼성전자주식회사 뎁스 영상 생성 장치 및 방법
KR20120057216A (ko) * 2010-11-26 2012-06-05 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
JP5258869B2 (ja) 2010-12-13 2013-08-07 富士フイルム株式会社 内視鏡装置
KR20120079646A (ko) * 2011-01-05 2012-07-13 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 결점 수정 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9329035B2 (en) * 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters

Also Published As

Publication number Publication date
US10171790B2 (en) 2019-01-01
DE102013111021A1 (de) 2014-04-17
CN103731611A (zh) 2014-04-16
KR20140047271A (ko) 2014-04-22
KR101977711B1 (ko) 2019-05-13
US9621868B2 (en) 2017-04-11
US20140104391A1 (en) 2014-04-17
US20170180698A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN103731611B (zh) 深度传感器、图像捕获方法和图像处理系统
CN103985721B (zh) 深度像素、三维图像传感器和操作深度像素的方法
CN103533636B (zh) 测量到对象的距离的方法和装置
CN108291969B (zh) 具有共享像素读出电路系统的成像传感器
CN102547355B (zh) 图像传感器和操作该图像传感器的方法
CN107110971A (zh) 多模式深度成像
CN102891969B (zh) 图像感测设备和操作其的方法
CN103793685B (zh) 识别物体动作的方法和设备以及相关系统
US11342368B2 (en) Image sensors for distance measurement
CN102130139B (zh) 三维彩色图像传感器及三维光学成像系统
CN103236433B (zh) 宽带成像仪
KR101788032B1 (ko) 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
CN108366212A (zh) 用于测距的设备和方法
US20130258099A1 (en) Depth Estimation Device And Operating Method Using The Depth Estimation Device
KR101648353B1 (ko) 거리 센서를 포함하는 이미지 센서
US20120134598A1 (en) Depth Sensor, Method Of Reducing Noise In The Same, And Signal Processing System Including The Same
CN102685402A (zh) 对距离改变不敏感的颜色传感器
CN104051483A (zh) 深度像素和包括该深度像素的三维图像传感器
CN102004254A (zh) 调制光学飞行时间相位估计中的延迟补偿
CN106210572A (zh) 滤色器阵列、图像传感器以及红外数据获取方法
CN107229056A (zh) 图像处理装置、图像处理方法以及记录介质
KR20150053673A (ko) 깊이 센서의 픽셀 및 이를 포함하는 이미지 처리 시스템
US20120281206A1 (en) Unit pixels, depth sensors and three-dimensional image sensors including the same
US9258502B2 (en) Methods of operating depth pixel included in three-dimensional image sensor and methods of operating three-dimensional image sensor
CN110007288A (zh) 图像传感器的像素和直接飞行时间范围测量的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant