CN118077193A - 相机装置 - Google Patents

Abstract

根据本发明的实施例的相机装置包括：光输出单元，向对象发射具有预定图案的光信号；光输入单元，接收被对象反射后输入的光信号；深度图生成单元，使用输入到光输入单元的光信号来生成对象的深度图；以及控制单元，控制光输出单元、光输入单元和深度图生成单元，其中，光输出单元包括多个光源，多个光源包括第一光源和第二光源，光输入单元包括图像传感器，第一光源与第二光源以图像传感器插设于其间的状态彼此对称设置，第一光源输出具有包括多个点的第一图案的第一光信号，第二光源输出具有包括多个点的第二图案的第二光信号，并且形成第一图案的多个点和形成第二图案的多个点被发射到对象上互不重叠的位置。

Description

相机装置

技术领域

本发明涉及一种相机装置。

背景技术

三维内容除了用于游戏和文化领域之外，还用于诸如教育、制造、自动驾驶等各个领域，并且需要深度图来获得三维内容。深度图是指示空间距离的信息并且指示二维图像中从一个点到另一点的透视信息。作为用于获得深度图的技术，使用结构光方法、利用立体相机的方法、飞行时间(ToF)方法等。

在这些方法中，根据结构光方法，将区别于环境照明的具有预定图案的红外(IR)结构光发射到对象，接收被对象反射的光信号，并且分析差值以计算距离。

与其他方法相比，尽管向对象发射IR结构光的方法在短距离情况下具有相对较高的精度，但由于精度随着距离增大而显著降低，因此存在可操作距离较小的限制。

发明内容

技术问题

本发明旨在提供一种用于获取深度图的相机装置。

技术方案

本发明的一个方面提供了一种相机装置，包括：光输出单元，向对象发射具有预定图案的光信号；光输入单元，接收被对象反射的光信号；深度图生成单元，使用输入到光输入单元的光信号来生成对象的深度图；以及控制单元，控制光输出单元、光输入单元和深度图生成单元，其中，光输出单元包括多个光源，多个光源包括第一光源和第二光源，光输入单元包括图像传感器，第一光源与第二光源以图像传感器插设于其间的状态对称设置，第一光源输出具有由多个点形成的第一图案的第一光信号，第二光源输出具有由多个点形成的第二图案的第二光信号，并且形成第一图案的多个点和形成第二图案的多个点被投射到对象上互不重叠的位置。

第-光源和第二光源可以被同时驱动。

第-光源和第二光源可以被交替驱动。

第-图案和第二图案可以是相同的图案。

第一光信号和第二光信号可以是红外(IR)光信号。

第一光源和第二光源中的每一个可以包括垂直腔表面发射激光器(VCSEL)。

多个光源还可以包括关于图像传感器对称设置的第三光源和第四光源，第三光源可以输出具有由多个点形成的第三图案的第三光信号，第四光源可以输出具有由多个点形成的第四图案的第四光信号，并且形成第三图案的多个点和形成第四图案的多个点可以被投射到对象上互不重叠的位置。

第一光源与第二光源之间的距离可以与第三光源与第四光源之间的距离相同。

第一光源与第二光源之间的距离可以不同于第三光源与第四光源之间的距离。

控制单元可以根据通过用户界面输入的信息仅控制多个光源中的一部分光源被驱动。

控制单元可以根据由深度图生成单元生成的深度图来控制多个光源中的一部分或全部被驱动。

形成第一图案的多个点和形成第二图案的多个点可以被接收为在图像传感器上互不重叠。

图像传感器可以包括第一区域和第二区域，形成第一图案的多个点和形成第二图案的多个点全部被接收在第一区域中，形成第一图案的多个点或形成第二图案的多个点被接收在第二区域中，并且深度图生成单元可以基于在第一区域中接收到的光信号来生成深度图。

本发明的另一方面提供了一种相机装置，包括：光输出单元，向对象发射具有预定图案的光信号；光输入单元，包括接收被对象反射的光信号的图像传感器；深度图生成单元，使用输入到光输入单元的光信号来生成对象的深度图；以及控制单元，控制光输出单元、光输入单元和深度图生成单元，其中，光输出单元的接通周期是图像传感器的积分周期的多倍，并且深度图生成单元使用在与光输出单元的接通时间重叠的图像传感器的积分时间获得的第一图像和在与光输出单元的接通时间不重叠的图像传感器的积分时间获得的第二图像来生成深度图。

光输出单元可以包括光源，并且光源的接通周期可以是图像传感器的积分周期的两倍。

第一图像可以包括光信号和背景噪声，第二图像可以包括背景噪声，并且可以使用第一图像与第二图像之间的差异来生成深度图。

针对第一图像的光源的接通时间可以与针对第一图像的图像传感器的积分时间部分地重叠。

深度图生成单元可以使用在与光输出单元的接通时间不重叠的图像传感器的积分时间周期地获得的第二图像来提取背景噪声的变化量。

深度图生成单元可以在光源的初始接通时间之前在图像传感器的预积分时间内获得预背景图像。

光源可以输出具有由多个点形成的预定图案的结构光。

光源可以输出面照明图案。

光输出单元可以包括第一光源和第二光源，第一光源的接通时间可以与第二光源的接通时间重叠，第一图像可以是在与第一光源的接通时间和第二光源的接通时间重叠的图像传感器的积分时间获得的图像，并且第二图像可以是在与第一光源的接通时间和第二光源的接通时间不重叠的图像传感器的积分时间获得的图像。

光输出单元可以包括第一光源和第二光源，第一光源的接通时间可以与第二光源的接通时间不重叠，第一图像可以包括在与第一光源的接通时间重叠的图像传感器的积分时间获得的图像以及在与第二光源的接通时间重叠的图像传感器的积分时间获得的图像，并且第二图像可以是在与第一光源的接通时间和第二光源的接通时间不重叠的图像传感器的积分时间获得的图像。

第一光源和第二光源中的每一个可以输出具有由多个点形成的预定图案的结构光。

第一光源和第二光源中的每一个可以输出面照明图案。

第一光源可以是输出具有由多个点形成的预定图案的结构光的光源，并且第二光源可以是输出面照明图案的光源。

有益效果

根据本发明的实施例，可以得到一种用于获得深度图的相机装置。具体地，根据本发明的实施例，即使在中距离或更远距离的情况下也可以使用结构光方法来获得高精度的深度图。

根据本发明的实施例，可以得到一种在室内环境和室外环境下均能够获得高精度深度图的相机装置。根据本发明的实施例，可以通过实时有效去除室外环境下的背景照明来获得精确的深度图。

附图说明

图1是示出根据本发明的实施例的相机装置的框图。

图2是示出根据本发明的实施例的相机装置的示意性剖视图。

图3示出具有预定图案的光信号的一个示例。

图4是用于描述使用结构光生成深度图的原理的视图。

图5是示出根据本发明的一个实施例的相机装置的示意性剖视图。

图6(a)至图6(d)示出根据本发明的一个实施例的相机装置中的图像传感器与多个光源之间的位置关系的多个示例。

图7示出根据本发明的一个实施例的相机装置中根据由多个光源发射的结构光的图案的一个示例。

图8至图10示出了根据本发明的一个实施例的相机装置中的多个光源的驱动方法的多个示例。

图11示出根据本发明的一个实施例的相机装置中的图像传感器接收到的结构光图案的一个示例。

图12是示出根据本发明的另一实施例的相机装置的示意性剖视图。

图13至图15示出根据本发明的一个实施例的调整用于驱动相机装置的光源的数量的示例。

图16示出距离与强度之间的相关性。

图17示出通常使用的垂直腔表面发射激光器(VCSEL)的发射器阵列。

图18是用于说明目标距离为1m并且感兴趣场(FoI)的视角为100°的示例中所需的点的数量的图。

图19是用于说明根据图案复制的图像传感器中的点的尺寸变化的一组图。

图20至图22是用于说明根据本发明的又一实施例的相机装置输出的输出光信号的图。

图23示出根据本发明的再一实施例的相机装置的光源和图像传感器的驱动序列。

图24示出在根据本发明的再一实施例的相机装置中去除背景噪声的模拟结果。

图25示出根据本发明的再一实施例的相机装置的光源和图像传感器的驱动序列。

图26示出根据本发明的再一实施例的相机装置的光源和图像传感器的驱动序列。

具体实施方式

在下文中，将参照附图描述本发明的示例性实施例。

然而，本发明的技术精神不限于所要描述的一些实施例，并且可以以各种其他形式实施，并且可以在本发明的技术精神的范围内选择性地组合、替代和使用实施例的一个或多个部件。

此外，除非上下文另有明确且具体的定义，否则本文中使用的所有术语(包括技术术语和科学术语)均可以解释为具有本领域技术人员通常理解的含义，并且常用术语(例如通常使用的字典中定义的术语)的含义将在考虑相关技术的上下文含义的情况下进行解释。

另外，本发明的实施例中使用的术语仅被认为是描述性的，而不是用来限制本发明。

在本说明书中，除非上下文另外具体指示，否则单数形式包括复数形式，并且在描述“A、B和C中的至少一个(或一个以上)”的情况下，这可以包括A、B和C的所有可能组合中的至少一种组合。

另外，在本发明的部件的描述中，可以使用诸如“第一”、“第二”、“A”、“B”、“(a)”、“(b)”的用语。

这些术语仅用于将一个部件与另一部件区分开，并且部件的本质、顺序等不受这些术语的限制。

另外，应当理解，当第一部件被称为“连接”、“结合”或“接合”到第二部件时，这样的描述可以包括第一部件直接连接、耦合或接合到第二部件的情况，以及第一部件连接或接合到第二部件且其间设置有第三部件的情况。

另外，当第一部件被描述为形成或设置在第二部件“上”或“下”时，这样的描述包括两个部件彼此直接接触地形成或设置的情况以及一个或多个其他部件插设于这两个部件之间的情况。另外，当第一部件被描述为形成在第二部件“上或下”时，这样的描述可以包括第一部件相对于第二部件形成在上侧或下侧的情况。

根据本发明的实施例的相机装置可以与深度图提取装置、三维信息提取装置等互换地使用。

图1是示出根据本发明的实施例的相机装置的框图，图2是示出根据本发明的实施例的相机装置的示意性剖视图。

参照图1和图2，根据本发明的实施例的相机装置1包括光输出单元10、光输入单元20、深度图生成单元30和控制单元40。

光输出单元10产生输出光信号并将输出光信号发射到对象。在这种情况下，光输出单元10可以输出具有预定图案的光信号。图3示出了具有预定图案的光信号的一个示例。参照图3，具有预定图案的光信号可以由多个点形成并且被称为结构光。在这种情况下，预定图案可以是唯一的图案并且由预先设计的算法生成。具有预定图案的光信号可以是红外(IR)光信号。在本说明书中，输出光可以是由光输出单元10输出并入射到对象上的光，并且输入光可以是由光输出单元10输出、到达对象、被对象反射、并被输入到光输入单元20的光。从对象的角度来看，输出光可以是入射光，并且输入光可以是反射光。

光输出单元10可以包括光源100和透镜组件110。

首先，光源100产生光。光源100产生的光可以是波长为770nm至3000nm的红外光或波长为380nm至770nm的可见光。光源100可以使用发光二极管(LED)并且具有多个LED以预定图案排列的形式。另外，光源100可以包括有机发光二极管(OLED)或激光二极管(LD)。或者，光源100可以是垂直腔表面发射激光器(VCSEL)。VCSEL是将电信号转换成光信号的一种激光二极管，并且可以输出具有约800nm至1000nm(例如，约850nm或940nm)的波长的信号。一个VCSEL可以包括多个发射器，例如数百个发射器，并且输出由发射器产生的点形成的图案。光源100可以以预定时间间隔重复接通和关闭，并且预定时间间隔可以是输出光信号的频率。

透镜组件110可以收集由光源100输出的光并将收集到的光输出到外部。透镜组件110可以设置在光源100上方以与光源100间隔开。在这种情况下，“光源100上方”可以表示由光源100向其输出光的一侧。透镜组件110可以包括至少一个透镜。当透镜组件110包括多个透镜时，透镜可以基于中心轴对准以构成光学系统。在这种情况下，中心轴可以与光学系统的光轴相同。

透镜组件110可以被容纳或支撑在壳体120中。根据一个实施例，壳体120可以结合到驱动模块(未示出)，并且透镜组件110可以通过驱动模块(未示出)在光轴方向或垂直于光轴的方向上移动。

同时，光输入单元20接收由对象反射的光。为此，光输入单元20可以包括收集由对象反射的输入光的透镜组件130、滤光器(未示出)以及将穿过透镜组件130的输入光转换成电信号的图像传感器140，并且透镜组件130、滤光器(未示出)和图像传感器140可以被容纳或支撑在壳体150中。光输出单元10的壳体120和光输入单元20的壳体150被示出为彼此间隔开，但不限于此，光输出单元10的壳体120和光输入单元20的壳体150可以是一体化的壳体。

透镜组件130的光轴可以与图像传感器140的光轴对准。滤光器(未示出)可以设置在透镜组件130与图像传感器140之间并且可以过滤具有预定波长范围的光。例如，滤光器(未示出)可以允许由光输出单元10输出的输出光的波长带内的光被透射。

图像传感器140可以根据光源100的闪烁周期接收输入光信号。图像传感器140可以形成为多个像素以网格形式排列的结构。图像传感器140可以是互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。

光输入单元20可以平行于光输出单元10设置。光输入单元20可以设置在光输出单元10旁边。光输入单元20可以设置在与光输出单元10相同的方向上。

深度图生成单元30可以使用输入到光输入单元20的输入光信号来生成对象的深度图。图4是用于说明使用结构光生成深度图的原理的图。如上所述，在本说明书中，结构光表示具有由多个点形成的预定图案的光信号。参照图4，相机装置1与对象之间的对象距离(object distance)h′可以根据形成结构光的点之间的视差(disparity)Δx而改变。因此，视差的精确度可能影响深度图的精确度。更具体地，使用结构光的深度图的提取可以遵循下面的表达式。

[表达式1]

b：Δx＝h：(h′-h)

[表达式2]

[表达式3]

在这种情况下，h为参考距离，h′为对象距离，b为基线的长度，Δx为视差。

参照表达式1至表达式3，可以看出，基线的长度b影响视差，并且对象距离h′的每单位长度的视差随着视场(FoV)减小和基线增大而增大。当对象的尺寸小于基线的一半时，预定图案中的点可能由于视差而在相邻点之前，并且随着对象距离增大，视差可能减小。因此，需要基于点的中心来提取视差，以便准确地计算深度图。

控制单元40控制光输出单元10、光输入单元20和深度图生成单元30的驱动。深度图生成单元30和控制单元40可以实现为其上安装有光输出单元10和光输入单元20的印刷电路板(PCB)的形式。即，深度图生成单元30或控制单元40可以实现为设置在基板S上的电路图案或集成电路(IC)芯片。或者，PCB可以通过柔性PCB(FPCB，未示出)连接到连接器。或者，PCB和FPCB可以被实现为刚性柔性PCB(RFPCB)。光输出单元10的光源100可以设置在基板S上并且电连接到基板S的电路图案。或者，控制单元40可以被包括在设置有根据本发明的实施例的相机装置1的电子设备中。例如，控制单元40可以实现为其上安装有根据本发明的实施例的相机装置1的电子设备的应用处理器(AP)的形式。

根据本发明的一个实施例，光输出单元可以包括多个光源。因此，可以增加点密度以提高空间分辨率。

图5是示出根据本发明的一个实施例的相机装置的示意性剖视图。图6(a)至图6(d)示出根据本发明的一个实施例的相机装置中的图像传感器与多个光源之间的位置关系的多个示例。图7示出根据本发明的一个实施例的相机装置中根据由多个光源发射的结构光的图案的一个示例。

根据本发明的一个实施例的相机装置1包括光输出单元10、光输入单元20、深度图生成单元30和控制单元40。为了描述方便，将省略与参照图1至图4描述的内容相同的重复描述内容。

参照图5和图6，光输出单元10包括多个光源Tx，并且光输入单元20包括图像传感器Rx。

作为示例，参照图5和图6(a)，多个光源可以包括第一光源Tx1和第二光源Tx2，并且第一光源Tx1和第二光源Tx2可以以图像传感器Rx插设于其间的状态对称地设置。在这种情况下，第一光源Tx1可以输出具有由多个点形成的第一图案的第一光信号，第二光源Tx2可以输出具有由多个点形成的第二图案的第二光信号。在这种情况下，第一图案和第二图案可以是唯一的图案。因此，具有第一图案的第一光信号和具有第二图案的第二光信号可以各自被称为结构光。具有第一图案的第一光信号和具有第二图案的第二光信号可以各自为红外线(IR)。第一图案和第二图案可以通过预先设计的算法生成并且可以相同或不同。当光源是VCSEL时，每个光源可以具有数百个(例如，300至500个)发射器。在这种情况下，形成第一图案的多个点和形成第二图案的多个点被投射到对象上不相互重叠的位置。例如，如图5所示，由第一光源Tx1输出的具有第一图案的第一光信号被发射到的区域的一部分可以是由第二光源Tx2输出的具有第二图案的第二光信号被发射到的区域的一部分。例如，在场景中，可以将第一光信号和第二光信号两者被发射到的区域称为第一区域R1，可以将仅第一光信号和第二光信号中的一者被发射到的区域称为第二区域R2。在这种情况下，场景可以是包括对象的目标区域。因此，形成第一图案的点和形成第二图案的点可以混合并且投射到第一区域R1上。在这种情况下，如图7所示，形成第一图案的点和形成第二图案的点可以被投射为在第一区域R1中互不重叠，因此可以在第一区域R1中增加点密度以提高空间分辨率。在图7中，不同颜色或深浅的点表示不同光源投射的点。

为了使形成第一图案的多个点和形成第二图案的多个点投射到对象上互不重叠的位置，第一图案和第二图案可以相同或不同。为了使形成第一图案的多个点和形成第二图案的多个点投射到对象上互不重叠的位置，第一光源Tx1与第二光源Tx2之间的距离可以与第一图案和第二图案相关联地预先调整。

同时，根据本发明的实施例，如图6(b)所示，多个光源还可以包括关于图像传感器Rx对称设置的第三光源Tx3和第四光源Tx4，第三光源Tx3可以输出具有由多个点形成的第三图案的第三光信号，第四光源Tx4可以输出具有由多个点形成的第四图案的第四光信号，并且形成第三图案的多个点和形成第四图案的多个点可以被投射到对象上互不重叠的位置。如上所述，当多个光源还包括第三光源Tx3和第四光源Tx4时，场景中的点密度可以增加得更多。

在这种情况下，第一光源Tx1与第二光源Tx2之间的距离可以与第三光源Tx3与第四光源Tx4之间的距离相同。因此，可以在场景中在水平方向和垂直方向上实现相同的分辨率。或者，第一光源Tx1与第二光源Tx2之间的距离可以不同于第三光源Tx3与第四光源Tx4之间的距离。

同时，根据本发明的实施例，如图6(c)和图6(d)所示，多个光源还可以包括关于图像传感器Rx对称设置的第五光源Tx5至第八光源Tx8。另外，多个光源可以以任意形状设置为不同数量。

当光输出单元包括多个光源时，可以同时或交替地驱动多个光源。

图8至图10示出根据本发明的一个实施例的相机装置中的多个光源的驱动方法的多个示例。为了描述方便，将描述多个光源包括第一光源Tx1和第二光源Tx2的示例，但本发明不限于此，相同的方法也可以应用于三个或更多光源。

参照图8至图10，图像传感器Rx可以具有周期性的曝光时间a_n，并且可以在曝光时间内驱动多个光源。在这种情况下，曝光时间是图像传感器Rx的快门开启的时段，并且可以在一个曝光时间内获得一幅图像。

参照图8，针对一个曝光时间，第一光源Tx2和第二光源Tx2可以同步并同时驱动。

或者，参照图9，针对一个曝光时间，第一光源Tx1和第二光源Tx2可以被交替地驱动。

因此，由于图像传感器Rx可以在一个曝光时间内根据第一光源Tx1的第一光信号获得第一图案并且根据第二光源Tx2的第二光信号获得第二图案以获得一幅图像，因此可以获得高光密度以及由于高光密度而产生的高空间分辨率。在这种情况下，需要将形成第一图案的多个点和形成第二图案的多个点设计为在图像传感器Rx上互不重叠。

或者，参照图10，第一光源Tx1可以被设计为针对一个曝光时间被驱动，并且第二光源Tx2可以被设计为针对另一个曝光时间被驱动。

图11示出根据本发明的一个实施例的相机装置中的图像传感器接收到的结构光图案的一个示例。

参照图11，形成第一图案的多个点和形成第二图案的多个点可以被接收为在图像传感器Rx上互不重叠。同时，如上所述，由第一光源Tx1输出的具有第一图案的第一光信号被发射到的区域的一部分可以变成由第二光源Tx2输出的具有第二图案的第二光信号被发射到的区域的一部分。因此，其中设置有所有形成第一图案的点和形成第二图案的点的区域可以是第一检测区域A1，并且其中仅设置有形成第一图案的点和形成第二图案的点中的一个的区域可以是第二检测区域A2。

根据本发明的一个实施例，深度图生成单元30可以基于在第一检测区域A1中接收到的光信号来生成深度图。因此，由于仅提取具有高点密度的区域的深度图，因此可以进行精确且快速的计算。

图12是示出根据本发明另一实施例的相机装置的示意性剖视图。

根据本发明另一实施例的相机装置1包括光输出单元10、光输入单元20、深度图生成单元30和控制单元40。为了描述方便，将省略与参照图1至图11描述的内容相同的重复描述内容。

参照图12，光输出单元10包括多个光源Tx，并且光输入单元20包括图像传感器Rx。在这种情况下，多个光源Tx1和Tx2可以以图像传感器Rx插设于其间的状态对称地设置。在这种情况下，第一光源Tx1可以输出具有由多个点形成的第一图案的第一光信号，第二光源Tx2可以输出具有由多个点形成的第二图案的第二光信号。在这种情况下，第一图案和第二图案可以是唯一的图案。因此，具有第一图案的第一光信号和具有第二图案的第二光信号可以各自被称为结构光。在这种情况下，输出结构光的多个光源可以如图6(a)至图6(d)所示那样设置。同时，根据本发明的实施例，光输出单元10还可以包括输出面照明图案的附加光源Flood Tx。面照明图案具有光在预定区域中均匀传播的形式，并且可以与泛光照明图案、表面光源图案等互换地使用。在这种情况下，“均匀”并不表示相同量的光被发射到光被发射到的空间，而是可以表示光在空间中连续地传播。在泛光照明图案的情况下，由于光在空间中均匀地(连续地)传播，所以当具有泛光照明图案的光被发射到对象时，具有可以获得具有高分辨率的深度图的优点。在本说明书中，输出面照明图案的附加光源可以被称为泛光光源Flood Tx。根据本发明的实施例，可以设置多个泛光光源Flood Tx，并且多个光源Tx和图像传感器插设于其间。因此，图像传感器可以使用结构光方法将从泛光光源FloodTx获得的信息与从光源Tx获得的信息混合以提取深度图，因此可以提取更精确的深度图。

同时，根据本发明的实施例，光输出单元包括多个光源，并且可以适当地调整要驱动的光源的数量。

图13至图15示出根据本发明的一个实施例的调整用于驱动相机装置的光源的数量的示例。

参照图13，光输出单元10根据光源的预设数量、周期或顺序来驱动光源(S1300)，并且当通过用户界面接收到改变请求时(S1310)，可以改变光源的预设数量、周期或顺序(S1320)。作为示例，在同时驱动所有多个光源的预设示例中，可以通过用户界面接收改变请求。例如，在需要短距离识别的情况下，当同时驱动所有光源时，场景中的点密度可能变得高于必要的，因此计算量可能变得不必要的大。当用户通过用户界面输入改变请求以防止这样的问题时，控制单元可以仅控制多个光源中的一些光源被驱动或者控制多个光源被交替驱动。相反，在驱动多个光源中的一些光源的预设示例中，可以通过用户界面接收改变请求。例如，在中距离或更远处识别的情况下，当仅驱动多个光源中的一些光源时，场景中的点密度变低，因此空间分辨率可能降低。当用户通过用户界面输入改变请求以防止这样的问题时，控制单元可以控制所有多个光源被同时驱动。

或者，光输出单元10可以根据预设数量、周期或顺序来驱动光源，并且可以根据通过深度图生成单元生成的深度图来改变光源的数量、周期或顺序。

作为示例，参照图14，在同时驱动所有多个光源的预设情况下(S1400)，深度图生成单元30可以使用由多个光源输出、被对象反射并入射到图像传感器上的光信号来生成深度图(S1410)。在这种情况下，在深度图在小于或等于预定距离的距离处生成的情况下，即，对象存在于短距离处的情况下(S1420)，当同时驱动所有光源时，场景中的点密度变得高于必要的，因此计算量不必要地变大。为了防止这样的问题，控制单元40可以仅控制多个光源中的一些光源被驱动或者控制多个光源被交替驱动(S1430)。

相反地，参照图15，在驱动多个光源中的一些光源的预设情况下(S1500)，深度图生成单元30可以使用由多个光源输出、被对象反射并入射到图像传感器上的光信号来生成深度图(S1510)。在这种情况下，在深度图在大于或等于预定距离的距离处生成的情况下，即，对象存在于中距离或更远距离处的情况下(S1520)，当仅驱动多个光源中的一些光源时，场景中的点密度可能会降低，因此空间分辨率可能会降低。为了防止这样的问题，控制单元可以控制所有多个光源被同时驱动(S1530)。

当需要在中距离或更远距离(例如20cm以上的距离)处提取精确深度图时，可以应用根据本发明的实施例的相机装置。在这种情况下，精确深度图的一个示例可以是面部识别，但是面部识别仅是示例性的，并且本发明不限于此。

图16和表达式4示出了距离与强度之间的相关性。

[表达式4]

在这种情况下，D_th为可以提取深度图的光强度的阈值，P_avg为由光源输出的平均光功率，N为由光源输出的总点数，即，一个光源中的发射器的数量，R为目标距离。

参照图16，可以看出，光强度随着距离增大而急剧降低，并且可以看出，当距离为0.2m以上时，光强度可以为阈值D_th以下。

参照图16和表达式4，在将由光源输出的平均光功率P_avg除以光源中的发射器的数量N后，当在目标距离R处每个点的强度小于阈值D_th时，可以应用根据本发明的实施例的相机装置。将描述相机装置包括两个光源的情况的示例。在每个光源包括N个发射器的情况下，当控制光源仅驱动N/2个发射器时，由光源输出的光可以具有大于或等于阈值D_th的强度，因此，可以在大于或等于中距离的距离处提取精确的深度图。

当提取深度图所需的点的数量大于一个光源中包括的发射器的数量时，可以应用根据本发明的实施例的相机装置。图17示出了通常使用的VCSEL的发射器阵列。参照图17，一个VCSEL可以包括361个发射器。同时，随着感兴趣场(FoI)的视角变大并且距离增加，提取深度图所需的点的数量增加。例如，图18是用于说明目标距离为1m并且FeI的视角为100°的示例中的点数的图。参照图18，在场景中的点之间的距离为水平距离10mm、垂直距离5mm为目标的情况，宽度为1832mm、长度为1426mm的场景中的点数为约50000。在这种情况下，仅通过使用衍射光学元件(DOE)复制图案可能难以满足期望水平的点数。因此，在将多个光源和DOE组合时，可以在中距离或更远距离处提取宽FOI的深度图。

同时，在图18的示例中，当需要在宽度为1832mm且长度为1426mm的场景中对宽度为160mm且长度为240mm的尺寸的对象进行认证时，所需的点数为768。在这种情况下，当使用两个光源时，不需要降低光强度。因此，即使在中距离或更远距离(例如，1m的距离)处也可以提取精确的深度图(例如，面部识别)。

根据本发明的实施例的相机装置可以提高图像传感器的分辨率。例如，图像传感器识别接收到的由对象反射的图案的点。在这种情况下，图像传感器可以仅检测具有预定尺寸以上的点。即，当图像传感器上的点由预定数量以上的像素形成时，可以精确地检测该点。当为了满足点密度而使用DOE等复制图案时，点的尺寸随着复制次数的增加而减小。图19是用于说明根据图案复制的图像传感器中的点的尺寸的变化的一组视图。参照图19(a)，可以看出，当执行3×3复制时，图像传感器上的总点数为45，参照图19(b)，可以看出，当执行4×4复制时，图像传感器上的总点数为80。因此，可以看出，随着复制数量增加，点密度增加。然而，随着点密度增加，点的尺寸减小。当使用多个光源来解决这样的问题时，在增加点密度的同时点的数量可能不会减少。因此，根据本发明的实施例，可以提高图像传感器的分辨率。

同时，随着三维相机装置的利用率增加，三维相机装置在室内和室外的使用也增加。在室外环境中，存在诸如阳光的背景照明。因此，三维相机装置的图像传感器接收由光源输出的光和背景照明两者，并且这种背景照明在提取深度图时充当噪声。

为了去除由图像传感器接收到的背景照明，正在尝试使用阈值方法的噪声过滤技术，但存在难以有效去除各种形式和强度的背景照明的问题。

在下文中，将描述本发明的有效去除背景照明的又一实施例。

图20至图22是用于说明根据本发明的又一实施例的相机装置输出的输出光信号的视图。将省略与参照图1至图19描述的内容相同内容的重复描述。具体地，参照图1和图2描述的全部或部分内容可以应用于根据本发明的又一实施例的相机装置的具体描述。

参照图20(a)，光输出单元10可以以预定周期产生光脉冲。光输出单元10可以以预定脉冲重复周期t_modulation产生具有预定脉冲宽度t_pulse的光脉冲。

参照图20(b)，光输出单元10可以将预定数量的光脉冲分组以产生单相脉冲。光输出单元10可以以预定相位脉冲周期t_phase产生具有预定相位脉冲宽度t_exposure、t_luminance和t_integration的相位脉冲。在这种情况下，单相脉冲周期t_phase可以对应于一个子帧。子帧可以被称为相位帧。可以对预定数量的相位脉冲周期进行分组。将四个相位脉冲周期t_phase分组的方法可以被称为4相方法。将八个周期t_pphase分组的方法可以被称为8相方法。

参照图20(c)，光输出单元10可以对预定数量的相位脉冲进行分组以产生一帧脉冲。光输出单元10可以以预定帧脉冲周期t_frame产生具有预定帧脉冲宽度t_phase组(子帧组)的帧脉冲。在这种情况下，一帧脉冲周期t_frame可以对应于一帧。因此，当以10FPS捕获对象的图像时，帧脉冲周期t_frame可以每一秒重复十次。在4相方法中，一帧中可以包括四个子帧。即，可以通过四个子帧来生成一帧。在8相方法中，一帧中可以包括八个子帧。即，可以通过八个子帧来生成一帧。

为了以上描述的目的，已经使用了诸如光脉冲、相位脉冲和帧脉冲的术语，但是本发明不限于此。

光输出单元10可以包括具有面照明图案的光源和具有点照明图案的光源中的至少一者。具有面照明图案的光源可以是用于飞行时间(ToF)的光源，并且具有点照明图案的光源可以是使用结构光方法的光源。

图21示出面照明图案的一个示例。参照图21，面照明图案具有光在预定区域中均匀传播的形式，并且可以与泛光照明图案、表面光源图案等互换地使用。在这种情况下，“均匀”并不意味着将相同量的光发射到光被发射到的空间，而是可以意味着光在空间中连续地传播。在泛光照明图案的情况下，由于光在空间中均匀地(连续地)传播，所以当具有泛光照明图案的光被发射到对象时，存在能够获得具有高分辨率的深度图的优点。图22示出具有预定图案的光信号的一个示例，该预定图案是点照明图案。参照图22，点照明图案可以表示其中光斑在预定区域中彼此间隔开预定距离的阵列形式，并且可以与点照明图案、点光源图案等互换地使用。在这种情况下，点照明图案可以是其中光在空间中局部聚集的图案，即，其中光不连续传播并且在空间中局部集中的图案。在点照明图案的情况下，由于光集中在局部，所以光斑的光量很大。因此，具有即使当到对象的距离较长时也能够获得高精度深度图的优点。参照图22，具有预定图案的光信号可以由多个点形成并且被称为结构光。在这种情况下，预定图案可以是唯一的图案并且可以通过预先设计的算法来生成。具有预定图案的光信号可以是IR光信号。

根据本发明的实施例，控制单元40控制光输出单元10的驱动和光输入单元20的驱动。因此，深度图生成单元30可以从输入到光输入单元20的信号中去除由于背景照明引起的噪声(下文中称为背景噪声)并且仅提取对于提取深度图有效的光信号。

图23示出根据本发明的再一实施例的相机装置的光源和图像传感器的驱动序列。在下文中，为了描述方便，光源100可以被称为Tx，并且图像传感器140可以被称为Rx。

参照图23，Tx将具有预定占空比的脉冲调制为具有特定频率的脉冲并输出调制脉冲。Tx的接通可以意味着参考图20(c)描述的一帧脉冲。将Rx的帧率和Tx的触发信号同步，驱动Rx和Tx，并且将Tx和Rx设定为具有不同的帧率。即，将Tx的接通周期设定为与Rx的积分周期不同。根据本发明的实施例，Rx的帧率为Tx的帧率的两倍以上。也就是说，Tx的接通周期为Rx的积分周期的两倍以上。

在图23中，T0表示生成一个深度图的时段，T1表示帧时间，T2表示Tx的曝光时间，T3表示Tx的空闲时间，T4表示Rx的积分时间，并且T5表示Rx的读出时间。在本说明书中，T2，即Tx的曝光时间，可以被称为Tx的接通时间。在本说明书中，T4，即Rx的积分时间，可以是快门的开启时间，并且针对每个积分时间T4和读出时间T5(即，一帧时间T1)可以生成一幅图像。

根据本发明的再一实施例，对于生成一个深度图的时段T0，Tx可以接通一次，Rx可以曝光多次，例如两次。即，Tx可以在多个帧时间T1(例如，两个帧时间T1)接通一次，并且Rx可以在每个帧时间T1曝光一次。在这种情况下，Tx的接通时间可以与Rx的积分时间同步。在这种情况下，“同步”可以意味着Tx的接通开始时间与Rx的积分开始时间一致或者Tx的接通开始时间与Rx的积分开始时间之间存在预定的时间间隔。在这种情况下，Tx的接通时间可以与Rx的积分时间部分重叠。也就是说，Tx的接通时间可以被包括在Rx的积分时间之内，并且Tx的接通时间可以小于Rx的积分时间。因此，Rx可以防止由Tx输出、被对象反射并入射到Rx上的光信号的损失。

根据本发明的实施例，在与Tx的接通时间重叠的Rx的积分时间(例如，a1或a2)中获得的图像可以包括由Tx输出、被对象反射并入射到Rx上的光信号(下文中，可以被称为有效光信号)和背景噪声，并且在与Tx的接通时间不重叠的Rx的积分时间(例如，b1或b2)中获得的图像可以仅包括背景噪声。根据本发明的实施例，可以交替地捕获包括有效光信号和背景噪声的图像和仅包括背景噪声的图像，并且可以利用两个图像之间的差异来实时去除背景噪声，并且可以仅使用有效光信号来生成精确的深度图。

也就是说，深度图生成单元40使用与Tx的接通时间重叠的Rx的积分时间内获得的第一图像和与Tx的接通时间不重叠的Rx的积分时间内获得的第二图像来生成深度图。即，使用当Tx接通时获得的第一图像1^stimage和邻近第一图像1^stimage并且当Tx关闭时获得的第二图像2^nd image来生成作为一个深度图的第一深度图。如上所述，由于第一图像包括有效光信号和背景噪声，第二图像包括背景噪声，并且由于第一图像与第二图像之间的差异仅包括有效光信号，所以可以利用第一图像与第二图像之间的差异来生成第一深度图。

同时，尽管可以将第一图像1^stimage(其为Tx被驱动之后的第一图像)与邻近第一图像1^stimage的第二图像2^ndimage进行比较，但是可以将第一图像1^stimage与第一图像1^stimage之前的背景图像进行比较。为此，Rx可以在Tx的初始接通时间之前具有预积分时间c。因此，深度图生成单元40可以获得预背景图像(原像)，并且基于预背景图像(原像)顺序地生成深度图。

同时，根据本发明的实施例，深度图生成单元40还可以计算每个T0(其为生成一个深度图的时段)中的背景噪声的变化量。例如，深度图生成单元40可以使用在光源接通时获得的第一图像1^stimage和光源关闭时获得的第二图像2^ndimage在每个T0(其为生成一个深度图的时段)中生成一个深度图。因此，可以针对每个与Tx的接通时间不重叠的Rx的积分时间(例如，b1、b2至bn)周期性地获得第二图像。深度图生成单元40可以使用顺序地生成的第二图像之间的差异来计算背景噪声的变化量。

根据本发明的实施例，可以利用背景噪声的变化量来减少深度图生成单元40的计算量。例如，当背景噪声的变化量小于或等于预设值时，确定背景照明的变化不大，并且使用应用于先前的深度图的背景噪声的值来生成深度图，并且当变化量大于预设值时，确定背景照明的变化大，并且可以通过补偿应用于先前的深度图的背景噪声的值来生成深度图。

根据本发明的实施例，还可以使用背景噪声的变化量来确定深度图生成单元40的操作是否合适。例如，当背景噪声的变化量大于预设值时，可以确定背景照明的变化大，可以确定深度图生成单元40当前的操作不恰当，然后可以停止深度图的生成，或者可以通过应用预定补偿值来生成深度图。

图24示出在根据本发明的再一实施例的相机装置中去除背景噪声的模拟结果。如图24所示，有效光信号和根据背景照明的背景噪声都可以输入到图像传感器，并且由图像传感器识别的强度可以包括系统噪声。根据本发明的实施例，当从包括有效光信号、根据背景照明的背景噪声和系统噪声的光信号中去除根据背景照明的背景噪声和系统噪声时，仅能够获得有效光信号。

当光输出单元包括多个光源时，可以应用根据本发明的再一实施例的相机装置。

图25示出根据本发明的再一实施例的相机装置的光源和图像传感器的驱动序列，图26示出根据本发明的再一实施例的相机装置的光源和图像传感器的驱动序列。为了描述方便，将省略对与参照图23描述的内容相同的内容进行重复描述。

参照图25和图26，光输出单元包括第一光源Tx1和第二光源Tx2。

根据本发明的再一实施例，第一光源Tx1和第二光源Tx2中的每一个可以输出具有由多个点形成的预定图案的结构光。因此，可以增加每单位面积的点密度以提高空间分辨率。尽管在附图中未示出，但是第一光源Tx1和第二光源Tx2可以以图像传感器Rx插设于其间的状态对称地设置。在这种情况下，第一光源Tx1可以输出具有由多个点形成的第一图案的第一光信号，第二光源Tx2可以输出具有由多个点形成的第二图案的第二光信号。在这种情况下，第一图案和第二图案可以是唯一的图案。在这种情况下，形成第一图案的多个点和形成第二图案的多个点可以被投射到对象上互不重叠的位置。

根据本发明的另一实施例，第一光源Tx1可以输出具有由多个点形成的预定图案的结构光，并且第二光源Tx2可以是用于ToF的光源。因此，第一光源Tx1可以输出点照明图案，第二光源Tx2可以输出面照明图案。第一光源Tx1和第二光源Tx2可以以图像传感器Rx插设于其间的状态对称地设置。或者，作为用于ToF的光源的第二光源Tx2可以设置在第一光源Tx1与图像传感器Rx之间。因此，图像传感器可以将使用结构光方法从第一光源Tx1获得的信息和通过ToF方法从第二光源Tx2获得的信息混合，以便提取深度图。因此，能够提取更精确的深度图。

根据本发明的再一实施例，第一光源Tx1和第二光源Tx2都可以是用于ToF的光源。尽管附图中未示出，但是第一光源Tx1和第二光源Tx2可以以图像传感器Rx插设于其间的状态对称地设置。

参照图25，第一光源Tx1的接通时间与第二光源Tx2的接通时间重叠，并且深度图生成单元40可以使用在与第一光源Tx1的接通时间和第二光源Tx2的接通时间重叠的图像传感器Rx的积分时间获得的第一图像和在与第一光源Tx1的接通时间和第二电源Tx2的接通时间不重叠的图像传感器Rx的积分时间获得的第二图像来生成一个深度图。在这种情况下，第一光源Tx1和第二光源T2x可以在重叠的接通时间内同时或交替地被驱动。因此，不存在用于生成深度图的帧率的损失。

参照图26，第一光源Tx1的接通时间与第二光源Tx2的接通时间不重叠，并且深度图生成单元40可以使用在与第一光源Tx1的接通时间重叠的Rx的积分时间a1_1获得的图像、在与第二光源Tx2的接通时间重叠的Rx积分时间a1-2获得的图像以及在与第一光源Tx1的接通时间和第二光源Tx2的接通时间不重叠的Rx的积分时间b1获得的图像来生成一个深度图。当第一光源Tx1和第二光源Tx2中的每一个是使用结构光方法的光源时，点图案的设计自由度高。

根据本发明的再一实施例，可以调整Tx的接通时间和Rx的积分时间来实时去除背景噪声，从而可以仅提取有效光信号，并且能够获得高精度的深度图。Tx的接通时间和Rx的积分时间可以由根据本发明的实施例的相机装置1中的控制单元30(例如，驱动器IC)控制。

虽然上面主要参照实施例描述了本发明，但是本领域技术人员将理解，本发明不限于这些实施例，这些实施例仅是示例性的，并且在不背离本实施例的本质特征的情况下，可以在本发明的范围内做出以上未例示的各种修改和应用。例如，可以对实施例中具体描述的部件进行修改来实现。另外，应当理解，与这些修改和应用相关的差异落入由所附权利要求限定的本发明的范围内。

[附图标记]

1：相机装置

10：光输出单元

20：光输入单元

30：深度图生成单元

40：控制单元

Claims (10)

1.一种相机装置，包括：

光输出单元，向对象发射具有预定图案的光信号；

光输入单元，接收被所述对象反射的光信号；

深度图生成单元，使用输入到所述光输入单元的光信号来生成所述对象的深度图；以及

控制单元，控制所述光输出单元、所述光输入单元和所述深度图生成单元，

其中，所述光输出单元包括多个光源，所述多个光源包括第一光源和第二光源，

所述光输入单元包括图像传感器，

所述第一光源与所述第二光源以所述图像传感器插设于其间的状态对称地设置，

所述第一光源输出具有由多个点形成的第一图案的第一光信号，

所述第二光源输出具有由多个点形成的第二图案的第二光信号，并且

形成所述第一图案的所述多个点和形成所述第二图案的所述多个点被投射到所述对象上互不重叠的位置。

2.根据权利要求1所述的相机装置，其中，所述第一光源和所述第二光源被同时驱动。

3.根据权利要求1所述的相机装置，其中，所述第一光源和所述第二光源被交替驱动。

4.根据权利要求1所述的相机装置，其中，所述第一图案和所述第二图案是相同的图案。

5.根据权利要求1所述的相机装置，其中，所述第一光信号和所述第二光信号是红外光信号，即，IR光信号。

6.根据权利要求1所述的相机装置，其中，所述第一光源和所述第二光源中的每一个包括垂直腔表面发射激光器，即，VCSEL。

7.根据权利要求1所述的相机装置，其中：

所述多个光源还包括关于所述图像传感器对称设置的第三光源和第四光源，

所述第三光源输出具有由多个点形成的第三图案的第三光信号，

所述第四光源输出具有由多个点形成的第四图案的第四光信号，并且

形成所述第三图案的所述多个点和形成所述第四图案的所述多个点被投射到所述对象上互不重叠的位置。

8.根据权利要求7所述的相机装置，其中，所述第一光源与所述第二光源之间的距离和所述第三光源与所述第四光源之间的距离相同。

9.根据权利要求7所述的相机装置，其中，所述第一光源与所述第二光源之间的距离和所述第三光源与所述第四光源之间的距离不同。

10.根据权利要求1所述的相机装置，其中，所述控制单元根据通过用户界面输入的信息控制仅驱动所述多个光源中的一部分。