CN112066906A - 深度成像装置 - Google Patents

Abstract

本发明提供了一种深度成像装置，包括光投射器和成像模块；所述光投射器包括离散光束投射器和面光源投射器；所述离散光束投射器，用于向所述目标物体投射多束离散准直光束；所述面光源投射器，用于向所述目标物体投射泛光；所述成像模块包括第一成像模块和第二成像模块；所述第一成像模块，用于接收所述目标物体反射的所述散准直光束，并根据多束所述散准直光束形成的光斑图案获得所述目标物体表面的第一深度图像；所述第二成像模块，用于接收所述目标物体反射后的泛光，并根据所述泛光的传播时间获得所述目标物体表面的第二深度图像。本发明综合利用了结构光和tof成像的特点，实现对目标物体深度图像的准确采集。

Description

深度成像装置

技术领域

本发明涉及3D成像领域，具体地，涉及一种深度成像装置。

背景技术

近年来，随着消费电子产业的不断发展，具有深度传感功能的3D摄像头日渐受到消费电子界的重视。目前比较成熟的深度测量方法是结构光方案，即将特定的结构光图案投影在物体上，然后通过图案的形变或位移计算物体不同位置的深度。

ToF(time of flight)技术是一种从投射器发射测量光，并使测量光经过目标物体反射回到接收器，从而能够根据测量光在此传播路程中的传播时间来获取物体到传感器的空间距离的3D成像技术。常用的ToF技术包括单点扫描投射方法和面光投射方法。

单点扫描投射的ToF方法采用一个单点投射器，投射出单束的准直光，该单束的准直光的投射方向受到扫描器件的控制从而能够投射到不同的目标位置。光束单束的准直光经过目标物反射后，部分光被单点的光探测器接收，从而获取当前投射方向的深度测量数据。此种方法能够将所有的光功率集中在一个目标点上，从而在单个目标点实现的高信噪比，进而实现高精度的深度测量。整个目标物体的扫描依赖于扫描器件，比如机械马达、MEMS、光相控雷达等。将扫描获得的深度数据点拼接即可获取3D成像所需的离散点云数据。此种方法有利于实现远距离的3D成像，但需要使用复杂的投射扫描系统，成本较高。

面光投射的ToF方法则是投射出一个能量连续分布的面光束。投射光连续覆盖目标物体表面。光探测器为一个能够获取光束传播时间的光探测器阵列。目标物体反射的光信号经过光学成像系统在光探测器上成像时，每个探测器像点获得的深度即为其物象关系对应物体位置的深度信息。这种方法能够摆脱复杂的扫描系统。然而，由于面光投射的光功率密度远低于单数的准直光，信噪比相对于单点扫描投射的方法大大下降，使得这种方法仅能够适用于距离减小，精度较低的场景。

结构光三维视觉是基于光学三角法测量原理。光学投射器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像被另一位置的摄像机探测，从而获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面形廓(高度)。直观上，沿光条显示出的位移(或偏移)与物体表面高度成比例，扭结表示了平面的变化，不连续显示了表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面三维形廓.由光学投射器、摄像机和计算机系统即构成了结构光三维视觉系统。结构光在室外容易受到强自然光影响，导致投射的编码光被淹没。增加投射光源的功率可以一定程度上缓解该问题，但是效果并不能让人满意。结构光测量距离较近。物体距离相机越远，物体上的投影图案越大，精度也越差，相对应的测量精度也越差。所以基于结构光的深度相机测量精度随着距离的增大而大幅降低。因而，往往在近距离场景中应用较多。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种深度成像装置，能够综合利用结构光和tof成像的特点，实现对目标物体深度图像的准确采集。

本发明提供的深度成像装置，包括光投射器和成像模块；

所述光投射器包括离散光束投射器和面光源投射器；

所述离散光束投射器，用于向所述目标物体投射多束离散准直光束；

所述面光源投射器，用于向所述目标物体投射泛光；

所述成像模块包括第一成像模块和第二成像模块；

所述第一成像模块，用于接收所述目标物体反射的所述散准直光束，并根据多束所述散准直光束形成的光斑图案获得所述目标物体表面的第一深度图像；

所述第二成像模块，用于接收所述目标物体反射后的泛光，并根据所述泛光的传播时间获得所述目标物体表面的第二深度图像。

优选地，所述第一成像模块采用红外摄像头。

优选地，所述第二成像模块包括光学成像镜头、光探测器阵列以及驱动电路；所述光探测器阵列包括多个呈阵列分布的光探测器；

所述光学成像镜头，用于使得透过所述光学成像镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系；

所述光探测器，用于接收经所述目标物体反射的泛光；

所述驱动电路，用于测量出所述泛光的传播时间并进而生成所述目标物体表面的第二深度图像。

优选地，所述离散光束投射器包括设置在一光路上的边发射激光器和光束投射器；

所述边发射激光器，用于向所述光束投射器投射激光；

所述光束投射器，用于将入射的所述激光投射出多束所述离散准直光束。

优选地，所述离散光束投射器包括设置在一光路上的激光器阵列、准直镜头和分束器件；

所述激光器阵列，用于向所述准直镜头投射第一数量级的激光；

所述准直镜头，用于将入射的所述多束激光准直后出射第一数量级的准直光束；

所述分束器件，用于将入射的第一数量级的准直光束分束后出射第二数量级的准直光束；

所述第二数量级大于所述第一数量级。

优选地，所述面光源投射器采用LED光源。

优选地，所述面光源投射器和所述第二成像模块相邻设置；

所述面光源投射器的出光口和所述第二成像模块的入光口朝向相同。

优选地，所述离散光束投射器和所述第一成像模块之间具有一预设定的距离；

所述离散光束投射器的出光口和所述第一成像模块的入光口朝向相同。

优选地，所述光探测器采用如下任一种光传感器：

-CMOS光传感器；

-CCD光传感器；

-SPAD光传感器。

优选地，所述多束离散准直光束周期性排布呈一预设定的形状。

与现有技术相比，本发明具有如下的有益效果：

本发明中设置有离散光束投射器、面光源投射器、第一成像模块以及第二成像模块，所述第一成像模块接收所述离散光束投射器投射的且经过目标物体反射的所述散准直光束生成第一深度图像，第一成像模块接收所述面光源投射器投射的且经过目标物体反射的泛光生成第二深度图像，从而能够通过tof技术和结构光三维视觉技术获得同一目标物体的两张深度图像，便于用户快速选择一张精度更高的深度图像，综合利用了结构光和tof成像的特点，实现对目标物体深度图像的准确采集。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中深度成像装置的结构示意图。

图2为本发明中离散光束投射器的一种结构示意图；

图3为本发明中离散光束投射器的另一种结构示意图；

图4(a)、(b)、(c)为本发明中多束离散准直光束周期性排布的示意图；

图5(a)、(b)、(c)为本发明中多束离散准直光束非周期性排布的示意图；

图6为本发明中第一成像模块的结构示意图。

图中：

1为离散光束投射器；

2为面光源投射器；

3为第二成像模块；

4为第一成像模块；

5为目标物体；

101为边发射激光器；

102为光束投射器；

103为激光器阵列；

104为准直镜头；

105为分束器件；

201为光探测器阵列；

202为光学成像镜头。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1为本发明中深度成像装置的结构示意图，如图1所示，本发明提供的深度成像装置1，包括光投射器和成像模块；

所述光投射器包括离散光束投射器1和面光源投射器2；

所述离散光束投射器1，用于向所述目标物体5投射多束离散准直光束；

所述面光源投射器2，用于向所述目标物体5投射泛光；

所述成像模块包括第一成像模块4和第二成像模块3；

所述第一成像模块4，用于接收所述目标物体5反射的所述散准直光束，并根据多束所述散准直光束形成的光斑图案获得所述目标物体5表面的第一深度图像；

所述第二成像模块3，用于接收所述目标物体5反射后的泛光，并根据所述泛光的传播时间获得所述目标物体5表面的第二深度图像。

本发明中设置有离散光束投射器1、面光源投射器2、第一成像模块4以及第二成像模块3，所述第一成像模块4接收所述离散光束投射器1投射的且经过目标物体5反射的所述散准直光束生成第一深度图像，第一成像模块4接收所述面光源投射器2投射的且经过目标物体5反射的泛光生成第二深度图像，从而能够通过tof技术和结构光三维视觉技术获得同一目标物体5的两张深度图像，便于用户快速选择一张精度更高的深度图像，从而能够综合利用结构光和tof成像的特点，实现对目标物体5深度图像的准确采集。

以上是本发明的核心思想，为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图6为本发明中第二成像模块的结构示意图，如图6所示，所述第二成像模块3包括光学成像镜头202、光探测器阵列201以及驱动电路；所述光探测器阵列201包括多个呈阵列分布的光探测器；

所述光学成像镜头202，用于使得透过所述光学成像镜头202进入光探测器阵列201的所述准直光束的方向向量与光探测器呈一一对应关系；

所述光探测器，用于接收经所述目标物体5反射的准直光束；

所述驱动电路，用于测量出所述泛光的传播时间并进而生成所述目标物体5表面的第二深度图像。

在本发明一实施例中，所述驱动电路还用于控制离散光束投射器1和第二成像模块3同时开启或关闭。

所述驱动电路可以是独立的专用电路，比如专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理器，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理器可以作为该处理电路的至少一部分。

为了过滤背景噪声，所述光学成像镜头202内通常还装有窄带滤光片，使得所述光探测器阵列201仅能通过预设的波长的入射准直光束。所述预设的波长可以为入射准直光束的波长，也可以为小于入射准直光束50纳米和大于入射准直光束50纳米之间。所述光探测器阵列201可以呈周期或者非周期性排列。每个光探测器与辅助电路配合可以实现对准直光束的飞行时间进行测量。根据离散准直光束数量的需求，光探测器阵列201可以是多个单点光探测器的组合或者是一个集成了多个光探测器的传感器芯片。为了进一步优化光探测器的灵敏度，一个离散准直光束在目标物体5上的照射光斑可以对应一个或者多个光探测器。在多个光探测器对应同一个照射光斑时，每个探测器的信号可以通过电路连通，从而在能够合并为一个探测面积更大的光探测器。

在本发明一实施例中，所述光探测器阵列成像器2保证了投射的多束离散准直光束和光探测器阵列201的空间位置对应关系。使得光探测器阵列201中的每个光探测器均可以采用在时间连续调制光束或者脉冲的ToF方式来测量光的传播时间，进而借助光速来计算光传播的距离。

在本发明一实施例中，第一成像模块4采用红外摄像头，当光束投射器102会将边缘发射激光器11发射的激光分成多束所述离散准直光束，多束所述离散准直光束照射在平面上时，会形成一光斑图像，当多束所述离散准直光束照射到目标物体5表面上时，光斑图案会有形变或位移，第一成像模块4拍摄得到目标物体5表面的光斑图案后，会根据光斑图案的形变或位移，得到目标物体5表面的深度图像，即得到目标物体5表面的凹凸不平的深度信息。

在本发明一实施例中，所述离散光束投射器1投射的呈离散形的多束离散准直光束经过目标物体5反射，部分反射后的准直光束被光探测器阵列201接收，每个光探测器都能够获得对应光束的从发射到接收的飞行时间t，从而通过光速c来获得准直光束的飞行距离s＝ct，从而能够测量出每个被离散光束照射的目标物体5表面位置的深度信息。这些离散位置的深度数据点构建了可以复现物体3D形态的点云数据，从而实现对于目标物体5的3D成像。所述多束所述离散准直光束呈锥形。

在本发明一实施例中，所述面光源投射器2采用LED光源。在变形例中，还可以采用其他光源，如红外光源。

在本发明一实施例中，所述面光源投射器2和所述第二成像模块3相邻设置；所述面光源投射器的出光口和所述第二成像模块3的入光口朝向相同。

所述离散光束投射器1和所述第一成像模块4之间具有一预设定的距离；所述离散光束投射器1的出光口和所述第一成像模块4的入光口朝向相同。所述预设定的距离为3到5厘米。

图2为本发明中离散光束投射器的一种结构示意图，如图2所示，所述离散光束投射器1包括设置在一光路上的边发射激光器101和光束投射器102；

所述边发射激光器101，用于向所述光束投射器102投射激光；

所述光束投射器102，用于将入射的所述激光投射出多束离散准直光束。

在本发明一实施例中，由于所述光束投射器102的内表面加工了微纳结构的光芯片并配合光学透镜组成。所述分束投射器能够实现将来自于边发射激光器101的入射光分成任意多束准直光束的功能。所述边发射激光器101的发射方向和所述分束投射器的投射方向即可以相同，也可以成90度或者为光学系统设计所需的任意角度。

在本发明一实施例中，所述光束投射器102采用分束器。

在本发明一实施例中，所述多束离散准直光束的数量在两束和几万束之间，如2束至10万束。

图3为本发明中离散光束投射器的另一种结构示意图，如图3所示，所述离散光束投射器1包括设置在一光路上的激光器阵列103、准直镜头104和分束器件105；

所述激光器阵列103，用于向所述准直镜头104投射第一数量级的激光；

所述准直镜头104，用于将入射的所述多束激光准直后出射第一数量级的准直光束；

所述分束器件105，用于将入射的第一数量级的准直光束分束后出射第二数量级的准直光束；

所述第二数量级大于所述第一数量级。

在本发明一实施例中，所述第二数量级是所述第一数量级的一至两倍。

在本发明实施例中，所述激光器阵列103可以采用多个垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser，VCSEL)或者多个边发光激光器(EdgeEmitting Laser，EEL)组成。多束激光经过准直镜头104后可以成为高度平行的准直光束。根据实际应用中可以根据离散光束数量的需求，可以采用分束器件105实现更多的准直光束。所述分束器件105可以采用衍射光栅(DOE)和空间光调制器(SLM)等。

在本发明的一实施例中，所述多束离散准直光束周期性排布呈一预设定的形状，即呈几何规律分布。

图4(a)、(b)、(c)为本发明中多束离散准直光束周期性排布的示意图，如图4所示，在本发明的一实施例中，所述预设定的形状包括如下任一形状或能够相互切换的任多个形状：

-直线形

-三角形；

-四边形；

-矩形；

-圆形；

-六边形；

-五边形。

其中，所述多束离散准直光束周期性排布的形状并不限于上述形状，也可排布呈其他形状。如图5(a)所示，当预设定的形状为矩形时，即在一个周期内的准直光束单位排布形状为矩形，在并且在空间中周期性重复。如图5(b)所示，当预设定的形状为三角形时，即在一个周期内的准直光束的单位排布形状为三角形，并且在空间中周期性重复。如图5(c)所示，当预设定的形状为六边形时，即在一个周期内的准直光束单位排布形状为六边，并且在空间中周期性重复。由于本发明在实现时受限于光学系统，实际准直光束在截面的排布可能存在畸变，比如发生拉伸、扭曲等。而每个准直光束在截面中的能量分布可以是圆形、圆环或椭圆形等者其他形状。在如5所示的这种排布方式，将有利于简化多束离散准直光束和光探测器阵列201的空间对应关系。

在本发明的一实施例中，所述多束离散准直光束非周期性排布呈另一预设定的形状。

在本发明的一实施例中，所述非周期性排布包括如下任一排布方式或能够相互切换的任多个排布方式：

-随机排布；

-空间编码排布；

-准晶格排布。

其中，所述多束离散准直光束非周期性排布的形状并不限于上述形状，也可排布呈其他形状。如图5(a)所示，所述空间编码排布，具体为在在周期性排布中，缺省一部分的光束，从而实现排布位置的空间编码，在实际可以采用的编码不受限于图5(a)中示例；如图5(b)所示，所述随机排布，具体为准直光束的排布随机分布，使得不同位置的排布方式的相似性很小或者接近于零，如图5(c)所示，所述准晶格排布，具体为准直光束在近距离相邻位置非周期性排布，在远距离周期性排布。由于本发明在实现时受限于光学系统，实际准直光束在截面的排布可能存在畸变，比如发生拉伸、扭曲等。而每个准直光束在截面中的能量分布可以是圆形、圆环或椭圆形等者其他形状。在如6所示的这种排布方式，这种排布有利于对非确定目标的均匀采样，优化最终3D深度图的效果。

在本发明的一实施例中，所述光探测器采用如下任一种光传感器：

-CMOS光传感器；

-CCD光传感器；

-SPAD光传感器。

其中，所述光探测器的型号选择并不限于上述光传感器，也可包括其他类型的光传感器。

在本实施例中，本发明中设置有离散光束投射器1、面光源投射器2、第一成像模块4以及第二成像模块3，所述第一成像模块4接收所述离散光束投射器1投射的且经过目标物体5反射的所述散准直光束生成第一深度图像，第一成像模块4接收所述面光源投射器2投射的且经过目标物体5反射的泛光生成第二深度图像，从而能够通过tof技术和结构光三维视觉技术获得同一目标物体5的两张深度图像，便于用户快速选择一张精度更高的深度图像，综合利用了结构光和tof成像的特点，实现对目标物体5深度图像的准确采集。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种深度成像装置，其特征在于，包括光投射器和成像模块；

所述光投射器包括离散光束投射器和面光源投射器；

所述离散光束投射器，用于向目标物体投射多束离散准直光束；

所述面光源投射器，用于向所述目标物体投射泛光；

所述成像模块包括第一成像模块和第二成像模块；

所述第一成像模块，用于接收所述目标物体反射的所述散准直光束，并根据多束所述散准直光束形成的光斑图案获得所述目标物体表面的第一深度图像；

所述第二成像模块，用于接收所述目标物体反射后的泛光，并根据所述泛光的传播时间获得所述目标物体表面的第二深度图像。

2.根据权利要求1所述的深度成像装置，其特征在于，所述第一成像模块采用红外摄像头。

3.根据权利要求2所述的深度成像装置，其特征在于，所述第二成像模块包括光学成像镜头、光探测器阵列以及驱动电路；所述光探测器阵列包括多个呈阵列分布的光探测器；

所述光学成像镜头，用于使得透过所述光学成像镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系；

所述光探测器，用于接收经所述目标物体反射的泛光；

所述驱动电路，用于测量出所述泛光的传播时间并进而生成所述目标物体表面的第二深度图像。

4.根据权利要求1所述的深度成像装置，其特征在于，所述离散光束投射器包括设置在一光路上的边发射激光器和光束投射器；

所述边发射激光器，用于向所述光束投射器投射激光；

所述光束投射器，用于将入射的所述激光投射出多束所述离散准直光束。

5.根据权利要求1所述的深度成像装置，其特征在于，所述离散光束投射器包括设置在一光路上的激光器阵列、准直镜头和分束器件；

所述激光器阵列，用于向所述准直镜头投射第一数量级的激光；

所述准直镜头，用于将入射的所述多束激光准直后出射第一数量级的准直光束；

所述分束器件，用于将入射的第一数量级的准直光束分束后出射第二数量级的准直光束；

所述第二数量级大于所述第一数量级。

6.根据权利要求1所述的深度成像装置，其特征在于，所述面光源投射器采用LED光源。

7.根据权利要求1所述的深度成像装置，其特征在于，所述面光源投射器和所述第二成像模块相邻设置；

所述面光源投射器的出光口和所述第二成像模块的入光口朝向相同。

8.根据权利要求1所述的深度成像装置，其特征在于，所述离散光束投射器和所述第一成像模块之间具有一预设定的距离；

所述离散光束投射器的出光口和所述第一成像模块的入光口朝向相同。

9.根据权利要求3所述的深度成像装置，其特征在于，所述光探测器采用如下任一种光传感器：

-CMOS光传感器；

-CCD光传感器；

-SPAD光传感器。

10.根据权利要求1所述的深度成像装置，其特征在于，所述多束离散准直光束周期性排布呈一预设定的形状。

Images