CN102685534A - 操作包括多个深度像素的三维图像传感器的方法 - Google Patents
操作包括多个深度像素的三维图像传感器的方法 Download PDFInfo
- Publication number
- CN102685534A CN102685534A CN2012100642220A CN201210064222A CN102685534A CN 102685534 A CN102685534 A CN 102685534A CN 2012100642220 A CN2012100642220 A CN 2012100642220A CN 201210064222 A CN201210064222 A CN 201210064222A CN 102685534 A CN102685534 A CN 102685534A
- Authority
- CN
- China
- Prior art keywords
- pixel groups
- degree
- depth
- pixel
- destination object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
在根据示例实施例的操作三维图像传感器的方法中,向目标对象发出已调制光,使用多个深度像素检测从目标对象反射的已调制光,并且基于检测到的已调制光、通过将多个深度像素分组成包括大小互不相同的第一像素组和第二像素组在内的多个像素组、来生成分别与多个像素组相对应的多个像素组输出。
Description
相关申请的交叉引用
本申请要求于2011年3月15日向韩国知识产权局(KIPO)提交的韩国专利申请第10-2011-0022816号的优先权权益,其内容通过全文引用合并于此。
技术领域
本发明涉及操作三维(3D)图像传感器的方法。
背景技术
图像传感器是将包括对象的图像和/或距离(即,深度)信息的光信号转换成电信号的光检测装置。已经开发出了各种类型的图像传感器,如电荷耦合器件(CCD)图像传感器、CMOS图像传感器(CIS)等等,用以提供对象的高质量图像信息。近来,正在研究和开发提供深度信息以及二维图像信息的三维(3D)图像传感器。
三维图像传感器使用光源向对象发出已调制光,并且可以通过检测从对象反射的已调制光来获得深度信息。在传统的三维图像传感器中,如果调制光的强度增加,则功耗可能增加,而如果调制光的强度降低,则信噪比(SNR)可能减低。
发明内容
一些示例实施例提供了操作三维图像传感器的方法。这样的方法可以包括:向目标对象(object of interest)发出已调制光;在三维图像传感器中的多个深度像素处检测从目标对象反射的反射已调制光;以及基于检测到的已调制光,通过将所述多个深度像素分组成包括第一像素组和第二像素组在内的多个像素组,来生成分别与多个像素组相对应的多个像素组输出。
在一些实施例中,第一像素组包括与第一数量的多个深度像素相对应的第一像素组大小,并且第二像素组包括与第二数量的多个深度像素相对应的 第二像素组大小,并且其中,该第一大小不同于第二大小。一些实施例规定,第一像素组具有距离视场中心的第一距离,并且第二像素组具有距离视场中心的、大于第一距离的第二距离,并且,包括在第一像素组中的深度像素的数量小于包括在第二像素组中的深度像素的数量。
在一些实施例中,生成多个像素组输出包括:生成作为像素组相对于所述多个深度像素的给定部分的位置的函数的多个像素组输出。一些实施例规定,所述多个深度像素的给定部分对应于三维图像传感器的视场中心。在一些实施例中,所述多个深度像素的给定部分对应于三维图像传感器的视场中的目标对象。
一些实施例规定,多个像素组中的每一个的大小根据从视场中心到多个像素组中的每一个的距离来确定。在一些实施例中,多个像素组中的每一个的大小根据从视场中的目标对象到多个像素组中的每一个的距离来确定。一些实施例规定,第一像素组具有距视场中的目标对象的第一距离,并且第二像素组具有距视场中的目标对象的、大于第一距离的第二距离。一些实施例规定,第一像素组中包括的深度像素的数量小于第二像素组中包括的深度像素的数量。
在一些实施例中,多个像素组中的每一个的大小被确定为,使得多个像素组输出中的每一个的信噪比均高于目标信噪比。一些实施例规定,多个像素组的大小被确定为,使得多个像素组输出中的不同像素组输出的信噪比基本相同。
一些实施例规定,多个像素组中的至少两个像素组部分地相互重叠。在一些实施例中,所述多个像素组包括第三像素组和第四像素组,该第三像素组包括第一像素组中包括的多个深度像素中的至少一个,并且该第四像素组包括第二像素组中包括的多个深度像素中的至少一个。一些实施例规定,多个深度像素被分组成多个像素组,从而使多个像素组的数量与多个深度像素的数量基本相同。
本发明的一些实施例包括操作三维图像传感器的方法,该三维图像传感器包括光源模块和多个深度像素,该光源模块包括光源和透镜。这样的方法可以包括:使用光源模块向目标对象发出第一已调制光;使用多个深度像素检测从目标对象反射的第一已调制光;基于检测到的第一已调制光获得目标对象的位置信息;以及基于位置信息调整光源对透镜的相对位置。方法还包 括,使用调整了所述相对位置的光源模块向目标对象发出第二已调制光;使用多个深度像素检测从目标对象反射的第二已调制光;以及基于检测到的第二已调制光,通过将多个深度像素分组成包括大小互不相同的第一像素组和第二像素组在内的多个像素组,来生成分别与多个像素组相对应的多个像素组输出。
在一些实施例中,光源到透镜的相对位置被调整为,使得第二已调制光聚焦在目标对象上,并且多个像素组中的每一个的大小根据从视场中的目标对象到多个像素组中的每一个的距离来确定。一些实施例规定,第一像素组具有距视场中的目标对象的第一距离,并且第二像素组具有距视场中的目标对象的、大于第一距离的第二距离,并且,包括在第一像素组中的深度像素的数量小于包括在第二像素组中的深度像素的数量。
在一些实施例中,位置信息包括从三维图像传感器到目标对象的距离、在视场中目标对象的水平位置、在视场中目标对象的垂向位置、以及在视场中目标对象的大小中的至少一个。
一些实施例规定,调整光源对透镜的相对位置包括,调整光源和透镜之间的间隔、光源的水平位置、透镜的水平位置、光源的垂直位置、以及透镜的垂直位置中的至少一个。
应注意到,针对一个实施例所描述的本发明构思的方面可以合并到不同的实施例中,尽管未对此进行特别地描述。也就是说,所有实施例和/或任何实施例的特征可以以任意方式和/或组合方式来进行组合。下面给出说明中,将更详细地解释本发明构思的这些和其他目标和/或方面。
附图说明
包括附图是为了提供对本发明构思的进一步理解,并且附图包括在本说明书中,构成本说明书的一部分。附图图示了本发明构思的一些实施例,并且附图与说明书一起,用于解释本发明构思的原理。
图1是图示根据本发明构思的一些实施例的三维图像传感器的框图。
图2是图示图1的三维图像传感器中包括的像素阵列的例子的示图。
图3是图示根据本发明构思的一些实施例的操作三维图像传感器的方法的流程图。
图4是用于描述根据图3中图示的操作三维图像传感器的方法分组的多 个深度像素的例子的示图。
图5是图示根据本发明构思的一些实施例的操作三维图像传感器的方法的流程图。
图6是用于描述根据图5中图示的操作三维图像传感器的方法分组的多个深度像素的例子的示图。
图7是图示根据本发明构思的一些实施例的操作三维图像传感器的方法的流程图。
图8是用于描述根据图7中图示的操作三维图像传感器的方法分组的多个深度像素的例子的示图。
图9是图示根据本发明构思的一些实施例的操作三维图像传感器的方法的流程图。
图10A和图10B是用于描述根据本发明构思的一些实施例的、根据从三维图像传感器到目标对象的距离调整的光源对透镜的相对位置的例子的示图。
图11是用于描述根据本发明构思的一些实施例的、根据目标对象的水平位置和垂直位置调整的光源对透镜的相对位置的例子的示图。
图12是图示根据本发明构思的一些实施例的包括三维图像传感器的照相机的框图。
图13是图示根据本发明构思的一些实施例的包括三维图像传感器的计算系统的框图。
图14是图示在图13的计算系统中使用的接口的例子的框图。
具体实施方式
以下将参照附图更充分地描述各种示例实施例,附图中示出了一些示例实施例。然而,本发明构思可以以许多不同的形式来具体实现,不应被解释为局限于此处阐述的示例实施例。附图中,为清楚起见,可能夸大了层和区域的大小及相对大小。
将会理解,当一个元件或层被称为在另一元件或层“之上”、“连接”或“耦接”到另一元件或层时,它可以直接在该另一元件或层之上、直接连接或耦接到该另一元件或层,或者也可以存在居间的元件或层。相反,当一个元件被称为“直接”在另一元件或层之上、或者“直接连接到”或“直接 耦接到”另一元件或层时,不存在居间的元件或层。相同的附图标记始终指代相同的元件。此处使用的术语“和/或”包括相关列出项目中的任意一个以及其中的多个的所有组合。
将会理解,尽管此处可能使用词语第一、第二、第三等等来描述不同的元件、组件、区域、层和/或部分,但这些元件、组件、区域、层和/或部分不应受到这些词语的限制。这些术语仅仅用于将一个元件、组件、区域、层或部分与另一个区域、层或部分区分开来。因而,下面讨论的第一元件、第一组件、第一区域、第一层或第一部分也可以被称为第二元件、第二组件、第二区域、第二层或第二部分而不会偏离本发明构思的教导。
为了便于描述,此处可能使用空间关系词,如“在...之下”、“下方”、“低于”、“上方”、“上”等等,来描述图中示出的一个元件或特征与另外的元件或特征之间的关系。将会理解,所述空间关系词意图涵盖除了附图中描绘的方向之外的、器件在使用中或操作中的不同方向。例如,如果附图中的器件被翻转,则被描述为在其他元件或特征“下方”或“之下”的元件的方位将变成在所述其他元件或特征的“上方”。因此,示例性词语“下方”可以包括上和下两个方向。可以使器件具有其他朝向(旋转90度或其他朝向),而此处使用的空间关系描述词应做相应解释。
此处使用的术语仅仅是出于描述具体的示例实施例的目的,并非意图限制本发明构思。此处使用的单数形式“一”、“一个”意图也包括复数形式,除非上下文明确给出相反指示。还将理解,当在本说明书中使用词语“包括”和/或“包含”时,表明存在所描述的特征、整体、步骤、操作、元件和/或组件,但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
此处参照截面示图对示例实施例进行了描述,其中所述截面示图是理想化的示例实施例(以及中间结构)的示意性示图。因而,由于例如制造工艺和/或容差而偏离示图的形状是预料之中的。因此,示例实施例不应被解释为局限于此处图示的具体形状,而是应包括例如因制造而导致的形状偏差。例如,图示为矩形的注入区将一般具有圆形或曲线特征,和/或在其边缘处具有某一斜率的注入浓度,而非从注入区到非注入区的二元变化。同样地,通过注入形成的隐埋区可能导致在该隐埋区和注入所通过的表面之间的区域中存在一些注入。因此,附图中图示的区域本意是示意性的,它们的形状并非意 图图示器件中区域的实际形状,并且并非意图限制本发明构思的范围。
除非另外定义,否则此处使用的所有术语(包括技术术语和科学术语)所具有的含义与本发明构思所属领域的普通技术人员通常理解的含义相同。还将理解,术语,如通常使用的词典中定义的那些术语,应该被解释为所具有的含义与它们在相关领域和/或本说明书的上下文中的含义一致,而不应理想化地或过分形式化地对其进行解释,除非此处明确地如此定义。
图1是图示根据本发明构思的一些实施例的三维图像传感器的框图。
参照图1,三维图像传感器100包括像素阵列110、模数转换(ADC)单元120、数字信号处理(DSP)单元130、光源模块140和控制单元150。
像素阵列110可以包括深度像素,深度像素接收在光源模块140向目标对象160发出已调制光ML之后、从目标对象160反射的已调制光ML。深度像素可以将接收到的已调制光ML转换成电信号。深度像素可以提供关于从三维图像传感器100到目标对象160的距离的信息(即,深度信息)和/或黑白图像信息。
像素阵列110还可以包括色彩像素,用于提供彩色图像信息。在这种情况下,三维图像传感器100可以是提供彩色图像信息和深度信息的三维彩色图像传感器。根据一些实施例,可以在深度像素上形成红外滤光器和/或近红外滤光器,并且可以在色彩像素上形成滤色器(例如,红色、绿色和蓝色滤色器)。根据一些实施例,深度像素的数目与色彩像素的数目的比例可以根据需要而改变。
ADC单元120可以将像素阵列110输出的模拟信号转换成数字信号。在一些示例实施例中,ADC单元120可以使用分别耦接到多条列线的多个模数转换器,执行并行转换模拟信号的列模数转换。在一些示例实施例中,ADC单元120可以使用单个模数转换器执行顺序地转换模拟信号的单模数转换。
根据一些实施例,ADC单元120还可以包括相关双采样(correlated double sampling,CDS)单元(未示出),用于提取有效信号分量。在一些示例实施例中,CDS单元可以执行模拟双采样,该模拟双采样基于包括重置分量的模拟复位信号与包括信号分量的模拟数据信号之间的差来提取有效信号分量。在一些示例实施例中,CDS单元可以执行数字双采样,该数字双采样将模拟复位信号和模拟数据信号转换成两个数字信号,并基于所述两个数字信号之间的差来提取有效信号分量。在一些示例实施例中,CDS单元可以执行二重 相关双采样,该二重相关双采样执行模拟双采样和数字双采样两者。
DSP单元130可以接收从ADC单元120输出的数字图像信号,并且可以对数字图像信号执行图像数据处理。例如,DSP单元130可以执行图像内插、色彩校正、白平衡、伽玛校正、色彩转换等等。尽管图1图示了DSP单元130包括在三维图像传感器100中的例子,但是根据示例实施例,DSP单元130也可以位于三维图像传感器100外部。
DSP单元130可以基于像素阵列110中包括的深度像素的输出生成像素组输出。例如,DSP单元130可以通过将深度像素分组成像素组,来生成分别与像素组相对应的像素组输出。从而,由于像素组的输出每个可以包括与至少一个深度像素相对应的输出,因此三维图像传感器100的输出的信噪比(SNR)可以得到提高。
光源模块140可以发出具有期望(或者,可替换地,预定)波长的已调制光ML。例如,光源模块140可以发出已调制的红外光和/或已调制的近红外光。光源模块140可以包括光源141和透镜143。光源141可以在控制单元150的控制下发出已调制光ML,从而使已调制光ML被调制为基本上具有周期性的强度。例如,已调制光ML的强度可以被调制为具有脉冲波、正弦波、余弦波等等的波形。光源141可以用发光二极管(LED)、激光二极管等等来实现。透镜143可以将光源141发出的已调制光ML聚焦在目标对象160上。在一些示例实施例中,透镜143可以被配置成调整从光源141输出的已调制光ML的发射角(emission angle)。例如,控制单元150可以控制光源141与透镜143之间的间隔或距离,从而调整已调制光ML的发射角。
控制单元150可以控制像素阵列110、ADC单元120、DSP单元130和光源模块140。控制单元150可以向像素阵列110、ADC单元120、DSP单元130和光源模块140提供控制信号,如时钟信号、定时控制信号等等。根据一些实施例,控制单元150可以包括控制逻辑电路、锁相环电路、定时控制电路、通信接口电路等等。
尽管图1中未示出,但是根据一些实施例,三维图像传感器100还可以包括行译码器和行驱动器,行译码器用于选择像素阵列110的行线,行驱动器用于激活所选择的行。根据一些实施例,三维图像传感器100还可以包括列译码器和列驱动器,列译码器选择ADC单元120中包括的多个模数转换器之一,而列驱动器将所选择的模数转换器的输出提供给DSP单元130或外部 主机(未示出)。
下文中,将描述根据一些实施例的三维图像传感器100的操作。
控制单元150可以控制光源模块140发出具有周期性强度的已调制光ML。光源模块140发出的已调制光ML可以从目标对象160反射回三维图像传感器100,并且可以入射到深度像素上。深度像素可以输出与入射的已调制光ML相对应的模拟信号。ADC单元120可以将从深度像素输出的模拟信号转换成数字信号。DSP单元130可以基于该数字信号生成像素组输出,并且可以将像素组输出提供给外部主机。
在一些示例实施例中,DSP单元130可以通过将深度像素分组成像素组、从而根据从视场(field of view,FOV)中心到像素组的距离来确定像素组的大小,来生成分别与像素组相对应的像素组输出。例如,DSP单元130可以将深度像素分组成像素组,以使得当从FOV中心到每个像素组的距离增加时,每个像素组中包括的深度像素的数目也随之增加。
光源141发出的已调制光ML可以基本聚焦在FOV的中心区域,并且已调制光ML可以以相对低的强度投射到FOV的边缘区域上。在根据一些实施例的三维图像传感器100中,由于位于FOV中心区域的每个像素组所包括的深度像素的数目相对较小,因此可以获得关于位于中心区域的像素组的高分辨率。此外,在根据示例实施例的三维图像传感器100中,由于位于FOV的边缘区域的每个像素组包括的深度像素的数目相对较大,因此尽管在FOV边缘区域已调制光ML的强度较低,但是可以改善关于位于周围区域的像素组的SNR。因此,由于在没有增加已调制光ML的强度的情况下保持了像素组输出的SNR,所以根据一些实施例的三维图像传感器100可以减少功耗。
在一些示例实施例中,DSP单元130可以通过将深度像素分组成像素组、使得像素组的大小根据从目标对象160到像素组的距离来确定,来生成分别与像素组相对应的像素组输出。例如,DSP单元130可以将深度像素分组成像素组,以使得当从目标对象160到每个像素组的距离的增加时,每个像素组中包括的深度像素的数目也随之增加。
已调制光ML可以基本上聚焦在目标对象160上。在一些示例实施例中,位于靠近FOV中的目标对象160处的每个像素组所包括的深度像素的数目可以相对较小,因而关于位于靠近FOV中的目标对象160处的像素组可以获得高分辨率。此外,位于远离FOV中的目标对象160处的每个像素组包括的深 度像素的数目可以相对较大,因而尽管已调制光ML的强度较低,但仍可以提高关于位于远离FOV中的目标对象160处的像素组的SNR。因此,可以在保持整个FOV内的SNR的同时降低功耗。
根据一些实施例,像素组可以相互重叠。也就是说,一个深度像素可以被至少两个像素组共用。在一些示例实施例中,深度像素可以被分组成重叠的像素组,从而使像素组的数目与深度像素的数目基本上相同。在这种情况下,每个深度像素可以对应于一个像素组,该像素组具有根据在FOV中的位置确定的大小。
如上所述,在根据一些实施例的三维图像传感器100中,由于深度像素被分组成像素组、且像素组的大小根据距离FOV中心的距离或距离FOV中的目标对象160的距离来确定,所以在靠近FOV中心或目标对象160处可以获得高分辨率的深度信息。此外,在根据一些实施例的三维图像传感器100中,尽管以较低强度将已调制光ML投射到远离FOV中的中心或目标对象160的区域上,但是由于远离中心或目标对象160的像素组具有较大的大小,因此仍可以提高像素组输出的SNR。因此,可以在保持SNR的同时减少三维图像传感器100的功耗。
图2是图示图1的三维图像传感器中包括的像素阵列的例子的示图。
参照图2,像素阵列110a可以包括像素模式(pixel pattern)111,该像素模式111具有提供彩色图像信息的色彩像素R、G和B以及提供深度信息的深度像素Z。像素模式111可以重复地排列在像素阵列110a中。例如,色彩像素R、G和B可以包括红色像素R、绿色像素G和蓝色像素B。根据一些实施例,色彩像素R、G和B和深度像素Z中的每一个可以包括光电二极管、光敏晶体管、光门(photo-gate)、针扎型光电二极管(pinned photo diode,PPD)和/或它们的组合。
根据一些实施例,可以在色彩像素R、G和B上形成滤色器,并且可以在深度像素Z上形成红外滤光器(或近红外滤光器)。例如,可以在红色像素R上形成红色滤光镜,可以在绿色像素G上形成绿滤光镜,可以在蓝色像素B上形成蓝滤色镜,并且可以在深度像素Z上形成红外线(或近红外)通过滤光器。在一些示例实施例中,还可以在色彩像素R、G和B上形成红外线(或近红外)截止滤光器(cut filter)。
尽管图2图示了包括色彩像素R、G和B和深度像素Z的RGBZ像素阵 列110a,但是在一些示例实施例中,像素阵列可以仅仅包括深度像素Z。在一些示例实施例中,三维图像传感器可以包括色彩像素阵列和深度像素阵列,色彩像素阵列包括色彩像素R、G和B,深度像素阵列包括深度像素Z。
尽管图2图示了深度像素Z的大小与每个色彩像素R、G和B的大小基本相同,这可以被称为“小Z像素”,但是根据示例实施例,深度像素Z的大小可以不同于每个色彩像素R、G和B的大小。例如,像素阵列110a可以包括大小大于每个色彩像素R、G和B的深度像素,这可以称为“大Z像素”。此外,根据一些实施例,像素阵列110a可以包括各种像素模式。
图3是图示根据一些实施例的操作三维图像传感器的方法的流程图。
参照图1和图3,控制单元150可以控制光源模块140发出已调制光ML(方框2210)。已调制光ML可以被调制成该已调制光ML的强度周期性地变化。已调制光ML可以从目标对象160反射,并且可以入射到像素阵列110中包括的多个深度像素上。
三维图像传感器100可以使用多个深度像素检测入射到多个深度像素上的已调制光ML(方框2230)。入射到多个深度像素上的已调制光ML可以生成电子空穴对,并且多个深度像素可以累积电子空穴对的电子以生成与已调制光ML相对应的电信号。ADC单元120可以将从多个深度像素输出的模拟信号转换成数字信号。
为了基于检测到的已调制光ML提供深度信息,DSP单元130可以将多个深度像素分组成多个像素组、并且使所述多个像素组具有根据三维图像传感器100距FOV中心的距离确定的大小,由此生成与多个像素组相对应的多个像素组输出(方框2250)。DSP单元130可以将多个深度像素分组,以使得当从FOV中心到每个像素组距离增加时,每个像素组中包括的深度像素的数目也随之增加。
例如,多个像素组可以包括距FOV中心第一距离的第一像素组以及距FOV中心第二距离的第二像素组,该第二距离大于第一距离。在这种情况下,第一像素组中包括的深度像素的数目可以小于第二像素组中包括的深度像素的数目。光源141发出的已调制光ML可以基本聚焦在FOV的中心区域上,并且已调制光ML可以以相对低的强度投射到FOV的边缘区域上。位于中心区域的每个像素组包括的深度像素的数目可以相对较小,因此在中心区域处可以获得高分辨率和高SNR。此外,位于边缘区域的每个像素组包括的深度 像素的数目可以相对较大,因此尽管已调制光ML的强度较低,但在边缘区域的SNR仍不会恶化。
根据一些实施例,可以确定多个像素组的大小,以使得多个像素组输出的SNR高于目标SNR。例如,由于已调制光ML以相对低的强度投射到FOV的边缘区域上,因此位于边缘区域的像素组包括的深度像素的数目可以相对较大,从而增加了SNR。因此,在整个FOV内,多个像素组输出的SNR均可以保持高于目标SNR。在一些示例实施例中,可以确定多个像素组的大小,以使得多个像素组的SNR基本相同。
如上所述,在根据一些实施例的操作三维图像传感器100的方法中,由于多个深度像素被分组成多个像素组、且多个像素组具有根据距FOV中心的距离确定的大小,因此在中心区域可以获得高分辨率的深度信息,并且在边缘区域可以获得具有提高的SNR的深度信息。此外,在根据一些实施例的操作三维图像传感器100的方法中,可以在不增加已调制光ML的强度的情况下,保持像素组输出的SNR大于目标SNR,从而降低了功耗。
图4是用于描述根据图3中图示的操作三维图像传感器的方法分组的多个深度像素的例子的示图。
图4图示了被分成多个区域301的FOV 300a。图4中图示的每个区域301可以对应于像素阵列中包括的一个深度像素。多个深度像素可以被分组成多个像素组310a和320a,像素组310a和320a具有根据距FOV 300a的中心的距离确定的大小。如图4中所示,多个深度像素可以被分组成,使得当距FOV300a的中心的距离增加时,每个像素组310a和320a中包括的深度像素的数目也随之增加。
例如,位于FOV 300a的中心的第一像素组310a可以包括相对小数目的深度像素(例如,四个深度像素),并且位于远离FOV 300a的中心的第二像素组320a可以包括相对大数目的深度像素(例如,三十六个深度像素)。因此,在FOV 300a的中心区域深度信息可以具有高分辨率,并且在FOV 300a的边缘区域深度信息可以具有提高的SNR。
尽管为了方便举例说明图4而图示了七个像素组,但根据一些实施例,所述多个深度像素可以被分组成包括多于或少于七个像素组的不同数目的像素组。尽管为了方便举例说明,图4图示了三百六十四个深度像素,但根据一些实施例,像素阵列可以包括多于或少于三百六十四个深度像素的不同数 目的深度像素。此外,像素阵列还可以包括与FOV 300a相对应的色彩像素。
图5是图示根据一些实施例的操作三维图像传感器的方法的流程图。
参照图1和图5,控制单元150可以控制光源模块140发出已调制光ML(方框2410)。三维图像传感器100可以使用多个深度像素检测从目标对象160反射到多个深度像素的已调制光ML(方框2430)。
为了基于检测到的已调制光ML提供深度信息,DSP单元130可以通过将多个深度像素分组成至少部分地相互重叠的多个像素组,来生成与多个像素组相对应的多个像素组输出(方框2450)。此外,DSP单元130可以将多个深度像素分组,以使得当从FOV中心到每个像素组距离增加时,每个像素组中包括的深度像素的数目也随之增加。
例如,多个像素组可以包括在FOV的中心区域的、相互重叠的多个第一像素组,以及在FOV的边缘区域的、相互重叠的多个第二像素组。也就是说,多个第一像素组可以共用位于FOV中心区域的一个或多个深度像素,并且多个第二像素组可以共用位于FOV边缘区域的一个或多个深度像素。根据一些实施例,多个第一像素组可以具有相互之间基本相同的大小,第二像素组可以具有相互之间基本相同的大小,并且位于中心区域的第一像素组的大小可以小于位于边缘区域的第二像素组的大小。
在一些示例实施例中,可以将多个深度像素分组,以使得当从FOV中的目标对象160到每个像素组的距离增加时,每个像素组中包括的深度像素的数目也随之增加。在这样的实施例中,相对于距FOV中心和/或距FOV中的目标对象160距离较远的像素组而言,位于靠近FOV中的目标对象160处的像素组可以具有较小的大小。
在一些示例实施例中,多个深度像素可以被分组成多个像素组,从而使像素组的数目与深度像素的数目基本上相同。也就是说,每个深度像素可以对应于一个像素组,该像素组的大小根据在FOV中的位置来确定。
如上所述,在根据一些实施例的操作三维图像传感器100的方法中,由于多个深度像素被分组成相互重叠的多个像素组,所以可以提供高分辨率的深度信息。
图6是用于描述根据图5中图示的操作三维图像传感器的方法分组的多个深度像素的例子的示图。
图6图示了被分成多个区域的FOV 300b。图6中图示的每个区域可以对 应于像素阵列中包括的一个深度像素。多个深度像素可以被分组成相互重叠的多个像素组310b、311b、312b、320b、321b和322b。根据一些实施例,多个像素组310b、311b、312b、320b、321b和322b的大小可以根据距FOV中心的距离或距FOV 300b中的目标对象的距离来确定。例如,如图6中图示的,多个深度像素可以被分组成,当距FOV 300b的中心的距离增加时,每个像素组310b、311b、312b、320b、321b和322b中包括的深度像素的数目也随之增加。
例如,位于FOV 300b的中心区域的第一到第三像素组310b、311b和312b可以相互重叠,并且位于FOV 300b的边缘区域的第四到第六像素组320b、321b和322b可以相互重叠。此外,第一到第三像素组310b、311b和312b中的每一个可以包括相对小数目的深度像素(例如,四个深度像素),并且第四到第六像素组320b、321b和322b中的每一个可以包括相对大数目的深度像素(例如,十六个深度像素)。因此,由于多个深度像素被分组成相互重叠的多个像素组310b、311b、312b、320b、321b和322b,所以可以提供高分辨率的深度信息。
尽管为了方便举例说明图6图示了六个像素组,但是根据一些实施例,多个深度像素可以被分组成不同数目的像素组。
图7是图示根据一些示例实施例的操作三维图像传感器的方法的流程图。
参照图1和图7,控制单元150可以控制光源模块140发出已调制光ML(方框2510)。三维图像传感器100可以使用多个深度像素检测从目标对象160反射到多个深度像素的已调制光ML(方框2530)。
为了基于检测到的已调制光ML提供深度信息,DSP单元130可以将多个深度像素分组成多个像素组、并且使所述多个像素组具有根据距FOV中的目标对象160的距离确定的大小,由此生成与多个像素组相对应的多个像素组输出(方框2550)。DSP单元130可以将多个深度像素分组,以使得当从FOV中的目标对象160到每个像素组的距离增加时,每个像素组中包括的深度像素的数目也随之增加。
例如,多个像素组可以包括距FOV中的目标对象160第一距离的第一像素组和距FOV中的目标对象160第二距离的第二像素组,该第二距离大于第一距离,并且第一像素组中包括的深度像素的数目可以小于第二像素组中包 括的深度像素的数目。光源141发出的已调制光ML可以基本上聚焦在目标对象160上,并且已调制光ML可以以相对低的强度投影到远离目标对象160的区域上。位于目标对象160附近的每个像素组可以包括相对小数目的深度像素,因此在靠近目标对象160的区域可以获得高分辨率和高SNR。此外,位于远离目标对象160处的每个像素组可以包括相对大数目的深度像素,因此尽管已调制光ML的强度较低,但在远离目标对象160的区域SNR仍不会恶化。
根据一些实施例,可以确定多个像素组的大小,以使得多个像素组输出的SNR高于目标SNR。例如,由于已调制光ML以相对较低的强度投射到远离目标对象160的区域上,因此位于远离目标对象160的区域的像素组可以包括相对大数目的深度像素,从而增加了SNR。因此,在整个FOV内,多个像素组输出的SNR均可以保持高于目标SNR。在一些示例实施例中,可以确定多个像素组的大小,以使得多个像素组的SNR基本相同。
如上所述,在根据一些实施例的操作三维图像传感器100的方法中,由于多个深度像素被分组成多个像素组、且多个像素组具有根据距目标对象160的距离确定的大小,因此在靠近目标对象160的区域可以获得高分辨率的深度信息,并且在远离目标对象160的区域可以获得具有提高的SNR的深度信息。此外,在根据一些实施例的操作三维图像传感器100的方法中,可以在不增加已调制光ML的强度的情况下,保持像素组输出的SNR大于目标SNR,从而降低了功耗。
图8是用于描述根据图7中图示的操作三维图像传感器的方法分组的多个深度像素的例子的示图。
图8图示了被分成多个区域的FOV 300c。图8中图示的每个区域可以对应于像素阵列中包括的一个深度像素。多个深度像素可以被分组成多个像素组310c和320c,多个像素组310c和320c的大小根据距FOV 300c中的目标对象160的距离来确定。如图8中所示,多个深度像素可以被分组,以使得当距FOV中的目标对象160的距离增加时,每个像素组310c和320c中包括的深度像素的数目也随之增加。
例如,位于靠近FOV300c中的目标对象160处的第一像素组310c可以包括相对小数目的深度像素(例如,四个深度像素),并且位于远离FOV300c中的目标对象160处的第二像素组320c可以包括相对大数目的深度像素(例 如,三十六个深度像素)。因此,在靠近目标对象160的区域深度信息可以具有高分辨率,并且在远离目标对象160的区域深度信息可以具有提高的SNR。
尽管为了方便举例说明图8图示了七个像素组,但是根据一些实施例,多个深度像素可以被分组成不同数目的像素组。
图9是图示根据一些实施例的操作三维图像传感器的方法的流程图。
参照图1和图9,控制单元150可以控制光源模块140发出第一已调制光ML(方框2610)。三维图像传感器100可以使用多个深度像素检测从目标对象160反射到多个深度像素的第一已调制光ML(方框2620)。
DSP单元130可以基于检测到的第一已调制光ML获得目标对象160的位置信息(方框2630)。根据一些实施例,位置信息可以包括从三维图像传感器100到目标对象160的距离、在FOV中目标对象160的水平位置、在FOV中目标对象160的垂直位置、以及在FOV中目标对象160的大小中的至少一个。
为了将已调制光ML聚焦到目标对象160上,控制单元150可以控制光源模块140,以便基于位置信息调整光源141对透镜143的相对位置(方框2640)。根据一些实施例,控制单元150可以调整光源141与透镜143之间的间隔、透镜143的折射率、透镜143的曲率、光源141的水平位置、透镜143的水平位置、光源141的垂直位置和/或透镜143的垂直位置等等中的至少一个。
在基于位置信息调整了光源141对透镜143的相对位置之后,控制单元150可以控制光源模块140发出第二已调制光ML(方框2650)。三维图像传感器100可以使用多个深度像素检测从目标对象160反射到多个深度像素的第二已调制光ML(方框2660)。
为了基于检测到的第二已调制光ML提供深度信息,DSP单元130可以将多个深度像素分组成多个像素组、并且使所述多个像素组具有根据距FOV中的目标对象160的距离确定的大小,由此生成与多个像素组相对应的多个像素组输出(方框2670)。如上所述,光源模块140可以通过调整相对位置使第二已调制光ML聚焦到目标对象160上,并且第二已调制光ML可以以相对低的强度投射到远离目标对象160的区域上。因此,位于目标对象160附近的每个像素组可以包括相对小数目的深度像素,因而在靠近目标对象160 的区域可以获得高分辨率和高SNR。此外,位于远离目标对象160处的每个像素组可以包括相对大数目的深度像素,因此尽管已调制光ML的强度较低,但在远离目标对象160的区域SNR仍不会恶化。
如上所述,在根据示例实施例的操作三维图像传感器100的方法中,通过调整光源141对透镜143的相对位置,可以使已调制光ML聚焦在目标对象160上,并且可以将多个深度像素分组成多个像素组,所述多个像素组的大小根据距FOV中的目标对象160的距离来确定。因此,在靠近目标对象160的区域可以获得高分辨率的深度信息,并且在远离目标对象160的区域可以获得具有提高的SNR的深度信息。此外,可以减少三维图像传感器100的功耗。
图10A和图10B是用于描述根据一些实施例的、根据从三维图像传感器到目标对象的距离调整的光源对透镜的相对位置的例子的示图。
参照图1和图10A,三维图像传感器100可以使用光源模块140发出的已调制光ML测量从三维图像传感器100到目标对象160的距离DIST。如果光源141和透镜143具有第一间隔ITV1,则已调制光ML可以具有第一发射角θ1。在一些示例实施例中,第一发射角θ1可以是光源模块140发出的已调制光ML的最大发射角。三维图像传感器100可以通过检测从目标对象160反射的已调制光ML来测量从三维图像传感器100到目标对象160的距离DIST。
参照图1和图10B,三维图像传感器100可以基于从三维图像传感器100到目标对象160的距离DIST,调整光源模块140发出的已调制光ML的发射角。在一些示例实施例中,如图10B中所示,三维图像传感器100可以将光源141和透镜143之间的间隔(或,间距)调整为第二间隔ITV2,从而使光源模块140发出的已调制光ML具有第二发射角θ2。例如,控制单元150可以控制光源模块140,使得当从三维图像传感器100到目标对象160的距离DIST增加时,已调制光ML的发射角也随之减小。根据一些实施例,控制单元150可以移动光源141,以使得当从三维图像传感器100到目标对象160的距离DIST增加时,光源141和透镜143之间的间隔也随之增加。根据一些实施例,控制单元150可以移动透镜143,以使得当从三维图像传感器100到目标对象160的距离DIST增加时,光源141和透镜143之间的间隔也随之增加。
根据一些实施例,三维图像传感器100可以调整透镜143的曲率,以使得光源模块140发出的已调制光ML具有第二发射角θ2。例如,当从三维图像传感器100到目标对象160的距离DIST增加时,控制单元150可以增加透镜143的曲率(即,减小透镜143的曲率半径)。
根据一些实施例,三维图像传感器100可以调整透镜143的折射率,以使得光源模块140发出的已调制光ML具有第二发射角θ2。例如,当从三维图像传感器100到目标对象160的距离DIST增加时,控制单元150可以增加透镜143的折射率。根据一些实施例,三维图像传感器100可以调整光源141和透镜143之间的间隔、透镜143的曲率以及透镜143的折射率中的任何一个、任何两个或全部。
在根据一些实施例的操作三维图像传感器100的方法中,由于与从三维图像传感器100到目标对象160的距离DIST相对应地调整了光源模块140发出的已调制光ML的发射角,因此,即使利用更少的功耗也可以增加投射到目标对象160上的光能,并且可以提高三维图像传感器100获得的深度信息的精确度。
此外,在一些示例实施例中,三维图像传感器100可以在调整已调制光ML的发射角之前发出具有最大振幅的已调制光ML,并且可以根据已调制光ML发射角的缩减来减小已调制光ML的振幅。因此,可以减少光源模块140消耗的功率。然而,也可以执行这样的操作:最初发出具有最小振幅的光,稍后振幅取决于已调制光ML的发射角而最大化振幅。
图11是用于描述根据一些实施例的、根据目标对象的水平位置和垂直位置调整的光源对透镜的相对位置的例子的示图。
参照图1和图11,三维图像传感器100可以使用光源模块140发出的已调制光ML测量在FOV 300中的目标对象160的水平位置HP1和/或垂直位置VP1。例如,目标对象160可以被放置在相对于连接光源141的中心和透镜中心143的虚线在正水平方向上的距离HP1和/或在正垂直方向上的距离VP1处。可以假定该直线垂直穿过(与FOV 300相对应的)纸张平面,并且通过图11中示出的水平轴和垂直轴的交点。
三维图像传感器100可以基于在FOV中的目标对象160的水平位置HP1和/或垂直位置VP1,调整光源141对透镜143的相对位置(或,放置位置)。在一些示例实施例中,如图11中所示,控制单元150可以基于目标对象160 的正水平位置HP1和/或正垂直位置VP1,将光源141沿负水平方向移动期望的(或者,可替换地,预定的)距离HP2和/或沿负垂直方向移动期望的(或,可替换的,预定的)距离VP2。例如,所调整的光源141的水平位置HP2与所测量的目标对象160的水平位置HP1的比可以对应于从透镜143到光源141的距离与从透镜143到目标对象160的距离的比,并且所调整的光源141的垂直位置VP2与所测量的目标对象160的垂直位置VP1的比可以对应于从透镜143到光源141的距离与从透镜143到目标对象160的距离的比。
在一些实施例中,控制单元150可以基于目标对象160的正水平位置HP1和/或正垂向位置VP1,将透镜143沿正水平方向移动期望的(或者,可替换地,预定的)距离和/或沿正垂直方向移动期望的(或,可替换的,预定的)距离VP2。
根据一些实施例,控制单元150可以基于目标对象160的水平位置HP1和/或垂直位置VP1,沿水平方向和/或垂直方向移动光源141或透镜143,从而使光源141、透镜143和目标对象160位于直线上。
此外,控制单元150可以根据从三维图像传感器100到目标对象160的距离和/或FOV 300中的目标对象160的大小来调整光源模块140发出的已调制光ML的发射角,并且可以调整(例如,减小)已调制光ML的振幅。
如图10A到图11中所示,可以基于从三维图像传感器100到目标对象160的距离、在FOV 300中的目标对象160的水平位置和/或垂直位置、在FOV300中的目标对象160的大小等等,来调整光源141对透镜143的相对位置,因此即使以较少的功耗,也可以增加投射到目标对象160上的光能。因此,可以提高三维图像传感器100获得的深度信息的准确度,并且可以减少光源模块140消耗的功率。
图12是图示根据一些实施例的包括三维图像传感器的照相机的框图。
参照图12,照相机800包括接收透镜810、三维图像传感器100、电动机(motor)单元830和引擎单元840。三维图像传感器100可以包括三维图像传感器芯片820和光源模块140。在一些实施例中,三维图像传感器芯片820和光源模块140可以被实现为分离的装置,或者可以被实现成光源模块140的至少一个组件包括在三维图像传感器芯片820中。
接收透镜810可以将入射光聚焦在三维图像传感器芯片820的光接收区域(例如,深度像素和/或色彩像素)上。三维图像传感器芯片820可以基于 穿过接收透镜810的入射光来生成包括深度信息和/或彩色图像信息的数据DATA1。例如,由三维图像传感器芯片820生成的数据DATA1可以包括使用光源模块140发出的红外光或近红外光生成的深度数据,以及使用外部可见光生成的贝尔(Bayer)模式的RGB数据。深度数据可以包括通过将多个深度像素分组成多个像素组、并使多个像素组具有根据距FOV中心的距离或距目标对象的距离确定的大小而生成的多个像素组输出。因此,根据示例实施例的三维图像传感器芯片820的深度数据可以在中心区域或目标区域(interest region)具有高分辨率,同时以较低功耗保持SNR。
三维图像传感器芯片820可以响应于时钟信号CLK将数据DATA1提供给引擎单元840。根据一些实施例,三维图像传感器芯片820可以使用移动行业处理器接口(mobile industry processor interface,MIPI)和/或照相机串行接口(camera serial interface,CSI)与引擎单元840接口。
电动机单元830可以响应于从引擎单元840接收的控制信号CTRL控制透镜810的聚焦或者执行快门开关(shuttering)。根据一些实施例,光源模块140中包括的光源141和透镜143的相对位置可以由电动机单元830和/或三维图像传感器芯片820进行调整。
引擎单元840可以控制三维图像传感器100和电动机单元830。引擎单元840可以处理从三维图像传感器芯片820接收的数据DATA1。例如,引擎单元840可以基于所接收的数据DATA1生成三维彩色数据。根据一些实施例,引擎单元840可以基于RGB数据生成YUV数据,该YUV数据包括亮度分量、亮度分量与蓝色分量之间的差、以及亮度分量与红色分量之间的差,和/或引擎单元840可以生成压缩数据,如联合图像专家组(joint photography experts group,JPEG)数据,等等。引擎单元840可以耦接到主机/应用850,并且可以基于主时钟信号MCLK将数据DATA2提供给主机/应用850。根据一些实施例,引擎单元840可以使用串行外设接口(serial peripheral interface,SPI)和/或集成电路间(inter integrated circuit,I2C)接口等等与主机/应用850接口。
图13是图示根据一些实施例的包括三维图像传感器的计算系统的框图。
参照图13,计算系统1000包括处理器1010、存储器装置(memory device)1020、存储装置(storage device)1030、输入/输出(I/O)装置1040、电源1050和三维图像传感器100。尽管图13中未示出,但是计算系统1000还可 以包括用于与诸如视频卡、声卡、存储卡和/或USB装置等等电子器件通信的端口。
处理器1010可以执行特定的计算和/或任务。例如,处理器1010可以是微处理器、中央处理单元(CPU)、数字信号处理器等等。处理器1010可以经由地址总线、控制总线和/或数据总线等等与存储器装置1020、存储装置1030和输入/输出装置1040通信。处理器1010可以耦接到扩展总线,如外围组件互联(peripheral component interconnect,PCI)总线。存储器装置1020可以存储用于操作计算系统1020的数据。例如,存储器装置1020可以用动态随机存取存储器(DRAM)、移动DRAM、静态随机存取存储器(SRAM)、相变随机存取存储器(PRAM)、电阻式随机存取存储器(RRAM)、纳米浮栅存储器(nano floating gate memory,NFGM)、聚合物随机存取存储器(polymer random access memory,PoRAM)、磁性随机存取存储器(MRAM)和/或铁电式随机存取存储器(FRAM)等等来实现。存储装置1030可以包括固态驱动器、硬盘驱动器、CD-ROM,等等。输入/输出装置1040可以包括输入装置,如键盘、鼠标、键区等等,以及输出装置,如打印机、显示装置等等。电源1050可以向计算装置1000供电。
三维图像传感器100可以经由总线或其他期望的通信链路耦接到处理器1010。如上所述,三维图像传感器100可以通过将多个深度像素分组成多个像素组、并使多个像素组具有根据距FOV中心的距离或距目标对象的距离确定的大小而生成与多个像素组相对应的多个像素组输出。因此,根据一些实施例的三维图像传感器100可以在中心区域或目标区域提供高分辨率的深度信息,同时以较低的功耗保持SNR。根据一些实施例,三维图像传感器100和处理器1010可以集成在一个芯片中,和/或可以被实现为分离的芯片。
根据一些实施例,三维图像传感器100和/或三维图像传感器100的组件可以以各种期望的形式封装,如层叠封装(package on package,PoP)、球栅阵列(ball grid array,BGA)、芯片尺寸封装(chip scale package,CSP)、塑料带引线芯片载体(plastic leaded chip carrier,PLCC)、塑料双列直插封装(plastic dual in-line package,PDIP)、叠片内裸片封装(die in waffle pack)、晶片内裸片形式(die in wafer form)、板上芯片(chip on board COB)、陶瓷双列直插式封装(ceramic dual in-line package CERDIP)、塑料标准四边扁平封装(plastic metric quad flat pack,MQFP)、薄型四边扁平封装(thin quad flat pack,TQFP)、小外型集成电路(small outline IC,SOIC)、缩小型小外型封装(shrink small outline package,SSOP)、薄型小外型封装(thin small outline package,TSOP)、系统级封装(System in package,SIP)、多芯片封装(multi chip package,MCP)、晶片级结构封装(wafer-level fabricated package,WFP)和/或晶片级处理堆叠封装(wafer-level processed stack package,WSP)等等。
计算系统1000可以是包括三维图像传感器100的任何计算系统。例如,计算系统1000可以包括数码相机、移动电话、智能电话、个人数字助理(PDA)、便携式多媒体播放器(PMP)、个人计算机、服务器计算机、工作站、膝上型计算机、数字电视、机顶盒、音乐播放器、便携式游戏控制台和/或导航系统,等等。
图14是图示在图13的计算系统中使用的接口的例子的框图。
参照图14,计算系统1100可以采用或支持MIPI接口,并且可以包括应用处理器1110、三维图像传感器1140和显示装置1150。应用处理器1110的CSI主机1112可以使用照相机串行接口(camera serial interface,CSI)执行与三维图像传感器1140的CSI装置1141的串行通信。CSI主机1112可以包括解串器DES,并且CSI装置1141可以包括串行器SER。应用处理器1110的DSI主机1111可以使用显示器串行接口(display serial interface,DSI)执行与显示装置1150的DSI装置1151的串行通信。DSI主机1111可以包括串行器SER,并且DSI装置1151可以包括解串器DES。
计算系统1100还可以包括射频(RF)芯片1160。应用处理器1110的物理层PHY 1113可以使用MIPI DigRF(数字射频)执行与RF芯片1160的物理层PHY 1161的数据传输。应用处理器1110的PHY 1113可以与DigRFMASTER(主DigRF)1114接口(或者,可替换的,通信),以用于控制与RF芯片1160的PHY 1161的数据传输。计算系统1100还可以包括全球定位系统(GPS)1120、存储装置1170、麦克风1180、DRAM 1185和/或扬声器1190。计算系统1100可以使用超宽带(ultra wideband,UWB)通信1210、无线局域网(WLAN)通信1220和/或全球微波互联接入(WIMAX)通信1230等等与外部装置通信。然而,示例实施例不局限于图13和14中图示的计算系统1000和1100的配置或接口。
一些实施例可以用于任何三维图像传感器或包括三维图像传感器的任何 系统,如计算机、数码相机、三维照相机、移动电话、个人数字助理(PDA)、扫描仪、导航仪、视频电话、监视系统、自动对焦系统、跟踪系统、动作捕捉系统和/或图像稳定系统,等等。
以上描述仅仅是对示例实施例的举例说明,不应解释为对示例实施例的限制。尽管已经描述了若干示例实施例,但本领域技术人员将很容易理解到,可以在示例实施例中做出许多修改,而不会实质性地偏离本发明构思的新颖性教导和优点。因此,意图将所有这样的修改都包括在权利要求所限定的本发明构思的范围之内。因此,将会理解,前述说明是对不同示例实施例的举例说明,不应被解释为局限于特定的示例实施例,并且意图将对所公开的示例实施例的修改以及其他实施例都包括在权利要求的范围之内。
Claims (19)
1.一种操作三维图像传感器的方法,该方法包括:
向目标对象发出已调制光;
在三维图像传感器中的多个深度像素处检测从目标对象反射的反射已调制光;以及
基于检测到的已调制光,通过将所述多个深度像素分组成包括第一像素组和第二像素组在内的多个像素组,生成分别与所述多个像素组相对应的多个像素组输出。
2.如权利要求1所述的方法,其中,第一像素组包括与第一数量的多个深度像素相对应的第一像素组大小,第二像素组包括与第二数量的多个深度像素相对应的第二像素组大小,并且其中,第一像素组大小不同于第二像素组大小。
3.如权利要求1所述的方法,其中,第一像素组具有距视场中心的第一距离,并且第二像素组具有距视场中心的第二距离,该第二距离大于第一距离,以及
其中,第一像素组中包括的深度像素的数量小于第二像素组中包括的深度像素的数量。
4.如权利要求1所述的方法,其中,生成多个像素组输出包括:生成作为像素组相对于所述多个深度像素的给定部分的位置的函数的多个像素组输出。
5.如权利要求4所述的方法,其中,所述多个深度像素的给定部分对应于三维图像传感器的视场中心。
6.如权利要求4所述的方法,其中,所述多个深度像素的给定部分对应于三维图像传感器的视场中的目标对象。
7.如权利要求1所述的方法,其中,所述多个像素组中的每一个的大小根据从视场中心到所述多个像素组中的每一个的距离来确定。
8.如权利要求1所述的方法,其中,所述多个像素组中的每一个的大小根据从视场中的目标对象到所述多个像素组中的每一个的距离来确定。
9.如权利要求8所述的方法,其中,第一像素组具有距视场中的目标对象的第一距离,第二像素组具有距视场中的目标对象的第二距离,该第二距离大于第一距离,以及
其中,第一像素组中包括的深度像素的数量小于第二像素组中包括的深度像素的数量。
10.如权利要求1所述的方法,其中,所述多个像素组中的每一个的大小被确定为,使得所述多个像素组输出中的每一个的信噪比均高于目标信噪比。
11.如权利要求1所述的方法,其中,所述多个像素组的大小被确定为,所述多个像素组输出中的不同像素组输出的信噪比基本相同。
12.如权利要求1所述的方法,其中,第一像素组与第二像素组部分地重叠。
13.如权利要求12所述的方法,其中,所述多个像素组包括第三像素组和第四像素组,该第三像素组包括第一像素组中包括的多个深度像素中的至少一个,该第四像素组包括第二像素组中包括的多个深度像素中的至少一个。
14.如权利要求12所述的方法,其中,所述多个深度像素被分组成多个像素组,使得所述多个像素组的数量与所述多个深度像素的数量基本相同。
15.一种操作三维图像传感器的方法,该三维图像传感器包括光源模块和多个深度像素,该光源模块包括光源和透镜,所述方法包括:
使用光源模块向目标对象发出第一已调制光;
使用所述多个深度像素检测从目标对象反射的第一已调制光;
基于检测到的第一已调制光获得目标对象的位置信息;
基于该位置信息调整光源对透镜的相对位置;
使用调整了光源的相对位置的光源模块向目标对象发出第二已调制光;
使用所述多个深度像素检测从目标对象反射的第二已调制光;以及
基于检测到的第二已调制光,通过将所述多个深度像素分组成包括大小互不相同的第一像素组和第二像素组在内的多个像素组,来生成分别与所述多个像素组相对应的多个像素组输出。
16.如权利要求15所述的方法,其中,光源对透镜的相对位置被调整为,使得第二已调制光聚焦在目标对象上,以及
其中,所述多个像素组中的每一个的大小根据从视场中的目标对象到所述多个像素组中的每一个的距离来确定。
17.如权利要求16所述的方法,其中,第一像素组具有距视场中的目标对象的第一距离,并且第二像素组具有距视场中的目标对象的第二距离,该第二距离大于第一距离,以及
其中,第一像素组中包括的深度像素的数量小于第二像素组中包括的深度像素的数量。
18.如权利要求15所述的方法,其中,位置信息包括从三维图像传感器到目标对象的距离、在视场中目标对象的水平位置、在视场中目标对象的垂向位置以及在视场中目标对象的大小中的至少一个。
19.如权利要求15所述的方法,其中,调整光源对透镜的相对位置包括:
调整光源与透镜之间的间隔、光源的水平位置、透镜的水平位置、光源的垂直位置以及透镜的垂直位置中的至少一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110022816A KR20120105169A (ko) | 2011-03-15 | 2011-03-15 | 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법 |
KR10-2011-0022816 | 2011-03-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102685534A true CN102685534A (zh) | 2012-09-19 |
Family
ID=46816807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012100642220A Pending CN102685534A (zh) | 2011-03-15 | 2012-03-13 | 操作包括多个深度像素的三维图像传感器的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120236121A1 (zh) |
KR (1) | KR20120105169A (zh) |
CN (1) | CN102685534A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103731611A (zh) * | 2012-10-12 | 2014-04-16 | 三星电子株式会社 | 深度传感器、图像捕获方法和图像处理系统 |
CN103777750A (zh) * | 2012-10-23 | 2014-05-07 | 三星电子株式会社 | 包括图像传感器的移动系统和图像传感器的操作方法 |
CN103959089A (zh) * | 2012-11-21 | 2014-07-30 | Lsi公司 | 自适应照明感兴趣对象的深度成像的方法和装置 |
CN105681687A (zh) * | 2014-12-08 | 2016-06-15 | Lg伊诺特有限公司 | 图像处理设备以及包括图像处理设备的移动相机 |
CN106574973A (zh) * | 2014-12-22 | 2017-04-19 | 谷歌公司 | 集成在同一半导体封装中的影像传感器和光源驱动器 |
CN108779978A (zh) * | 2016-03-01 | 2018-11-09 | 奇跃公司 | 深度感测系统和方法 |
CN109690247A (zh) * | 2016-02-17 | 2019-04-26 | 赫普塔冈微光有限公司 | 光电子系统 |
CN110460783A (zh) * | 2018-05-08 | 2019-11-15 | 宁波舜宇光电信息有限公司 | 阵列摄像模组及其图像处理系统、图像处理方法和电子设备 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101896666B1 (ko) * | 2012-07-05 | 2018-09-07 | 삼성전자주식회사 | 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템 |
TW201422053A (zh) * | 2012-11-29 | 2014-06-01 | Beyond Innovation Tech Co Ltd | 關聯於發光二極體的負載驅動裝置 |
US9210769B2 (en) * | 2013-03-15 | 2015-12-08 | Microchip Technology Incorporated | Constant brightness LED drive communications port |
CN105164610B (zh) * | 2013-04-30 | 2018-05-25 | 惠普发展公司,有限责任合伙企业 | 深度传感器 |
KR20150010230A (ko) * | 2013-07-18 | 2015-01-28 | 삼성전자주식회사 | 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치. |
JP6442710B2 (ja) * | 2013-07-23 | 2018-12-26 | パナソニックIpマネジメント株式会社 | 固体撮像装置、撮像装置及びその駆動方法 |
WO2015033497A1 (ja) * | 2013-09-06 | 2015-03-12 | パナソニックIpマネジメント株式会社 | 撮像装置及びその駆動方法 |
US9500787B2 (en) * | 2014-04-23 | 2016-11-22 | Goodrich Corporation | Masked pixel arrays |
WO2016051431A1 (ja) * | 2014-09-30 | 2016-04-07 | 株式会社ブリリアントサービス | 入出力装置、入出力プログラム、および入出力方法 |
GB201421512D0 (en) | 2014-12-03 | 2015-01-14 | Melexis Technologies Nv | A semiconductor pixel unit for simultaneously sensing visible light and near-infrared light, and a semiconductor sensor comprising same |
US9425233B2 (en) * | 2014-12-22 | 2016-08-23 | Google Inc. | RGBZ pixel cell unit for an RGBZ image sensor |
US9871065B2 (en) | 2014-12-22 | 2018-01-16 | Google Inc. | RGBZ pixel unit cell with first and second Z transfer gates |
US9741755B2 (en) | 2014-12-22 | 2017-08-22 | Google Inc. | Physical layout and structure of RGBZ pixel cell unit for RGBZ image sensor |
CN106210698B (zh) * | 2015-05-08 | 2018-02-13 | 光宝电子(广州)有限公司 | 深度相机的控制方法 |
US9989630B2 (en) * | 2015-05-13 | 2018-06-05 | Infineon Technologies Ag | Structured-light based multipath cancellation in ToF imaging |
US10229960B2 (en) * | 2016-08-02 | 2019-03-12 | Universal Display Corporation | OLED displays with variable display regions |
US10958885B2 (en) | 2016-08-26 | 2021-03-23 | Mems Start, Llc | Filtering imaging system including a light source to output an optical signal modulated with a code |
US10368021B2 (en) * | 2016-08-26 | 2019-07-30 | Mems Start, Llc | Systems and methods for derivative sensing using filtering pixels |
WO2018086032A1 (zh) * | 2016-11-10 | 2018-05-17 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置及飞行器 |
US10580807B2 (en) | 2017-10-24 | 2020-03-03 | Stmicroelectronics, Inc. | Color pixel and range pixel combination unit |
CN112312113B (zh) * | 2020-10-29 | 2022-07-15 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和系统 |
KR102530307B1 (ko) * | 2021-09-28 | 2023-05-08 | 이재성 | 피사체의 위치 검출 시스템 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1949833A (zh) * | 2005-10-13 | 2007-04-18 | 电装波动株式会社 | 具有二维光电检测器的成像设备 |
TW200849462A (en) * | 2007-06-11 | 2008-12-16 | Taiwan Semiconductor Mfg | Isolation structure for image sensor device |
CN101513037A (zh) * | 2006-09-28 | 2009-08-19 | 诺基亚公司 | 带有降低的暗电流的cmos成像器的读出方法 |
CN101635860A (zh) * | 2008-07-25 | 2010-01-27 | 三星电子株式会社 | 成像方法和设备 |
US20100046802A1 (en) * | 2008-08-19 | 2010-02-25 | Tatsumi Watanabe | Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7403201B2 (en) * | 2003-01-20 | 2008-07-22 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
US7751694B2 (en) * | 2004-02-13 | 2010-07-06 | Angstrom, Inc. | Three-dimensional endoscope imaging and display system |
US8134719B2 (en) * | 2010-03-19 | 2012-03-13 | Carestream Health, Inc. | 3-D imaging using telecentric defocus |
US8582867B2 (en) * | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
-
2011
- 2011-03-15 KR KR1020110022816A patent/KR20120105169A/ko not_active Application Discontinuation
-
2012
- 2012-03-13 CN CN2012100642220A patent/CN102685534A/zh active Pending
- 2012-03-15 US US13/420,862 patent/US20120236121A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1949833A (zh) * | 2005-10-13 | 2007-04-18 | 电装波动株式会社 | 具有二维光电检测器的成像设备 |
CN101513037A (zh) * | 2006-09-28 | 2009-08-19 | 诺基亚公司 | 带有降低的暗电流的cmos成像器的读出方法 |
TW200849462A (en) * | 2007-06-11 | 2008-12-16 | Taiwan Semiconductor Mfg | Isolation structure for image sensor device |
CN101635860A (zh) * | 2008-07-25 | 2010-01-27 | 三星电子株式会社 | 成像方法和设备 |
US20100046802A1 (en) * | 2008-08-19 | 2010-02-25 | Tatsumi Watanabe | Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10171790B2 (en) | 2012-10-12 | 2019-01-01 | Samsung Electronics Co., Ltd. | Depth sensor, image capture method, and image processing system using depth sensor |
CN103731611A (zh) * | 2012-10-12 | 2014-04-16 | 三星电子株式会社 | 深度传感器、图像捕获方法和图像处理系统 |
CN103777750A (zh) * | 2012-10-23 | 2014-05-07 | 三星电子株式会社 | 包括图像传感器的移动系统和图像传感器的操作方法 |
CN103959089A (zh) * | 2012-11-21 | 2014-07-30 | Lsi公司 | 自适应照明感兴趣对象的深度成像的方法和装置 |
CN105681687B (zh) * | 2014-12-08 | 2020-06-05 | Lg伊诺特有限公司 | 图像处理设备以及包括图像处理设备的移动相机 |
CN105681687A (zh) * | 2014-12-08 | 2016-06-15 | Lg伊诺特有限公司 | 图像处理设备以及包括图像处理设备的移动相机 |
CN106574973A (zh) * | 2014-12-22 | 2017-04-19 | 谷歌公司 | 集成在同一半导体封装中的影像传感器和光源驱动器 |
USRE49748E1 (en) | 2014-12-22 | 2023-12-05 | Google Llc | Image sensor and light source driver integrated in a same semiconductor package |
US10257455B2 (en) | 2014-12-22 | 2019-04-09 | Google Llc | Image sensor and light source driver integrated in a same semiconductor package |
CN106574973B (zh) * | 2014-12-22 | 2019-06-11 | 谷歌有限责任公司 | 集成在同一半导体封装中的影像传感器和光源驱动器 |
USRE49664E1 (en) | 2014-12-22 | 2023-09-19 | Google Llc | Image sensor and light source driver integrated in a same semiconductor package |
CN109690247A (zh) * | 2016-02-17 | 2019-04-26 | 赫普塔冈微光有限公司 | 光电子系统 |
TWI731036B (zh) * | 2016-02-17 | 2021-06-21 | 新加坡商海特根微光學公司 | 光電系統 |
CN108779978B (zh) * | 2016-03-01 | 2020-12-11 | 奇跃公司 | 深度感测系统和方法 |
US10964039B2 (en) | 2016-03-01 | 2021-03-30 | Magic Leap, Inc. | Depth sensing systems and methods |
US11475583B2 (en) | 2016-03-01 | 2022-10-18 | Magic Leap, Inc. | Depth sensing systems and methods |
CN108779978A (zh) * | 2016-03-01 | 2018-11-09 | 奇跃公司 | 深度感测系统和方法 |
CN110460783B (zh) * | 2018-05-08 | 2021-01-26 | 宁波舜宇光电信息有限公司 | 阵列摄像模组及其图像处理系统、图像处理方法和电子设备 |
CN110460783A (zh) * | 2018-05-08 | 2019-11-15 | 宁波舜宇光电信息有限公司 | 阵列摄像模组及其图像处理系统、图像处理方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
KR20120105169A (ko) | 2012-09-25 |
US20120236121A1 (en) | 2012-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102685534A (zh) | 操作包括多个深度像素的三维图像传感器的方法 | |
CN102547355B (zh) | 图像传感器和操作该图像传感器的方法 | |
US10186045B2 (en) | Methods of and apparatuses for recognizing motion of objects, and associated systems | |
KR102007279B1 (ko) | 3차원 이미지 센서의 거리 픽셀, 이를 포함하는 3차원 이미지 센서 및 3차원 이미지 센서의 거리 픽셀의 구동 방법 | |
KR102007277B1 (ko) | 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서 | |
US20120249740A1 (en) | Three-dimensional image sensors, cameras, and imaging systems | |
US10171790B2 (en) | Depth sensor, image capture method, and image processing system using depth sensor | |
US20120268566A1 (en) | Three-dimensional color image sensors having spaced-apart multi-pixel color regions therein | |
US8901498B2 (en) | Unit pixels, depth sensors and three-dimensional image sensors including the same | |
US11039056B2 (en) | Image sensor for generating depth data by a path difference of light generated through micro lens covering a plurality of sub-pixels and electronic device including the image sensor | |
KR20140147395A (ko) | 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법 | |
KR20140047500A (ko) | 이미지 센서 칩 | |
US20150311243A1 (en) | Pixel array of an image sensor and image sensor | |
CN113780349B (zh) | 训练样本集的获取方法、模型训练方法及相关装置 | |
KR20120111013A (ko) | 3차원 이미지 센서 및 이를 이용한 거리 측정 방법 | |
US20200228709A1 (en) | Method for processing image signal, image signal processor, and image sensor chip | |
US11789133B2 (en) | Time-of-flight sensor and method of calibrating errors in the same | |
US9485483B2 (en) | Image sensor and image sensor system including the same | |
US20220018946A1 (en) | Multi-function time-of-flight sensor and method of operating the same | |
US20150054919A1 (en) | Three-dimensional image sensor module and method of generating three-dimensional image using the same | |
WO2022002162A1 (zh) | 一种电子设备和深度图像的拍摄方法 | |
KR20230061134A (ko) | 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치 | |
US20220345646A1 (en) | Depth sensor and image signal processor for changing binning mode | |
US20240085561A1 (en) | Image sensor for distance measurement and camera module including the same | |
US20220357425A1 (en) | LiDAR DEVICE AND ELECTRONIC APPARATUS INCLUDING THE SAME |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20160803 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |