CN111947565A - 基于同步ToF离散点云的3D成像方法 - Google Patents

Abstract

本发明提供了一种基于同步ToF离散点云的3D成像方法，包括通过离散光束投射器向目标物体投射多束离散准直光束；通过光探测器阵列成像器接收经所述目标物体反射的多束离散准直光束，进而测量出多束所述离散准直光束的传播时间以获得所述目标物体表面的深度数据。本发明通过离散光束投射器向目标物体投射多束离散准直光束，使得光探测器阵列成像器接收经目标物体反射的准直光束，实现对目标物体表面的深度数据的获取，提高了光束功率密度，在信噪比与点云密度之间实现平衡，从而能够低成本、低功耗、高精度的进行3D成像。

Description

基于同步ToF离散点云的3D成像方法

技术领域

本发明涉及3D成像领域，具体地，涉及基于同步ToF离散点云的3D成像方法。

背景技术

ToF(time of flight)技术是一种从投射器发射测量光，并使测量光经过目标物体反射回到接收器，从而能够根据测量光在此传播路程中的传播时间来获取物体到传感器的空间距离的3D成像技术。常用的ToF技术包括单点扫描投射方法和面光投射方法。

单点扫描投射的ToF方法采用一个单点投射器，投射出单束的准直光，该单束的准直光的投射方向受到扫描器件的控制从而能够投射到不同的目标位置。光束单束的准直光经过目标物反射后，部分光被单点的光探测器接收，从而获取当前投射方向的深度测量数据。此种方法能够将所有的光功率集中在一个目标点上，从而在单个目标点实现的高信噪比，进而实现高精度的深度测量。整个目标物体的扫描依赖于扫描器件，比如机械马达、MEMS、光相控雷达等。将扫描获得的深度数据点拼接即可获取3D成像所需的离散点云数据。此种方法有利于实现远距离的3D成像，但需要使用复杂的投射扫描系统，成本较高。

面光投射的ToF方法则是投射出一个能量连续分布的面光束。投射光连续覆盖目标物体表面。光探测器为一个能够获取光束传播时间的光探测器阵列。目标物体反射的光信号经过光学成像系统在光探测器上成像时，每个探测器像点获得的深度即为其物象关系对应物体位置的深度信息。这种方法能够摆脱复杂的扫描系统。然而，由于面光投射的光功率密度远低于单数的准直光，信噪比相对于单点扫描投射的方法大大下降，使得这种方法仅能够适用于距离减小，精度较低的场景。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于同步ToF离散点云的3D成像方法。本发明采用离散光束的投射方法，同步获取具有较高精度的点云数据，从而实现低成本、低功耗、高精度的3D成像。

根据本发明提供的基于同步ToF离散点云的3D成像方法，包括如下步骤；

通过离散光束投射器向目标物体投射多束离散准直光束；

通过光探测器阵列成像器接收经所述目标物体反射的多束离散准直光束，进而测量出多束所述离散准直光束的传播时间以获得所述目标物体表面的深度数据。

优选地，所述离散光束投射器包括设置在一光路上的边发射激光器和光束投射器；

所述边发射激光器，用于向所述光束投射器投射激光；

所述光束投射器，用于将入射的所述激光投射出多束离散准直光束。

优选地，所述离散光束投射器包括设置在一光路上的激光器阵列、准直镜头和分束器件；

所述激光器阵列，用于向所述准直镜头投射第一数量级的激光；

所述准直镜头，用于将入射的所述多束激光准直后出射第一数量级的准直光束；

所述分束器件，用于将入射的第一数量级的准直光束分束后出射第二数量级的准直光束；

所述第二数量级大于所述第一数量级。

优选地，所述光探测器阵列成像器包括光学成像镜头、光探测器阵列以及驱动电路；所述光探测器阵列包括多个呈阵列分布的光探测器；

所述光学成像镜头，用于使得透过所述光学成像镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系；

所述光探测器，用于接收经所述目标物体反射的准直光束；

所述驱动电路，用于测量出多束所述离散准直光束的传播时间并进而生成所述目标物体表面的深度数据。

优选地，所述多束离散准直光束周期性排布呈一预设定的形状。

优选地，所述预设定的形状包括如下任一形状或能够相互切换的任多个形状：

-直线形

-三角形；

-四边形；

-矩形；

-圆形；

-六边形；

-五边形。

优选地，所述多束离散准直光束非周期性排布呈另一预设定的形状。

优选地，所述非周期性排布包括如下任一排布方式或能够相互切换的任多个排布方式：

-随机排布；

-空间编码排布；

-准晶格排布。

优选地，所述光探测器采用如下任一种光传感器：

-CMOS光传感器；

-CCD光传感器；

-SPAD光传感器。

本发明提供的基于同步ToF离散点云的3D成像方法，包括如下步骤：

通过离散光束投射器投射的多束离散准直光束，使得多束所述离散准直光束穿透显示面板后照射到目标物体上；

通过光探测器阵列成像器接收所述目标物体反射后穿透所述显示面板的多束离散准直光束，并根据多束所述离散准直光束的传播时间获得所述目标物体表面的深度图像。

与现有技术相比，本发明具有如下的有益效果：

本发明通过离散光束投射器向目标物体投射多束离散准直光束，使得光探测器阵列成像器接收经目标物体反射的部分准直光束，实现对目标物体表面的深度数据的获取，提高了光束功率密度，在信噪比与点云密度之间实现平衡，从而能够低成本、低功耗、高精度的进行3D成像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中基于同步ToF离散点云的3D成像方法的步骤流程图；

图2为本发明实施例中基于同步ToF离散点云的3D成像装置的结构示意图；

图3为本发明实施例中离散光束投射器的一种结构示意图；

图4为本发明实施例中离散光束投射器的另一种结构示意图；

图5为本发明实施例中光学成像镜头的结构示意图；

图6(a)、(b)、(c)为本发明实施例中多束离散准直光束周期性排布的示意图；以及

图7(a)、(b)、(c)为本发明实施例中多束离散准直光束非周期性排布的示意图；

图8为本发明另一实施例中基于同步ToF离散点云的3D成像方法的步骤流程图。

图中：

1为光探测器阵列成像器；

2为离散光束投射器；

3为目标物体；

101为光探测器阵列；

102为光学成像镜头；

201为边发射激光器；

202为光束投射器；

203为激光器阵列；

204为准直镜头；

205为分束器件。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，本发明提供了一种单点扫描投射方法和面光投射方法的折中方案，即用一个投射器同时投射出多束离散准直光束，与ToF光探测器阵列101相配对，在单次测量中即可获得包含有多个目标点深度数据的同步3D点云。根据实际应用的需求，同时投射的准直光束的数量可以是几个到几万个不等。本发明可以通过控制光束的数量，在同等功率下，实现光束功率密度(即信噪比)与点云密度的权衡与优化。即在光束数量较少时，每个点获得更高的信噪比和精度，但是点云比较稀疏；在光束数量较多时，点云更稠密，但是信噪比和精度相对下降，但仍然优于面光投射的方法。从而可以实现本发明根据具体3D成像应用场景优化精度和点云密度。此外由于本发明中所有的3D点云是由同步测量获取，能够避免了在单点扫描方法中，目标物体和3D成像装置存在相对运动情况下需要采用算法修正点云的问题。

图1为本发明一实施例中基于同步ToF离散点云的3D成像方法的步骤流程图，如图1所示，本发明提供的基于同步ToF离散点云的3D成像方法，包括如下步骤：

通过离散光束投射器2向目标物体3投射多束离散准直光束；

通过光探测器阵列成像器1接收经所述目标物体3反射的多束离散准直光束，进而测量出多束所述离散准直光束的传播时间以获得所述目标物体3表面的深度数据。

图2为本发明中基于同步ToF离散点云的3D成像装置的结构示意图，如图2所示，本发明提供的基于同步ToF离散点云的3D成像装置，用于实现本发明提供的基于同步ToF离散点云的3D成像方法，包括离散光束投射器2和光探测器阵列成像器1；

所述离散光束投射器2，用于向目标物体3投射多束离散准直光束；

所述光探测器阵列成像器1，用于接收经所述目标物体3反射的多束所述离散准直光束并测量出多束所述离散准直光束的传播时间，进而能够获得所述目标物体3表面的深度数据。

在本实施例中，本发明通过离散光束投射器2向目标物体3投射多束离散准直光束，使得光探测器阵列成像器1接收经目标物体3反射的部分准直光束，实现对目标物体3表面的深度数据的获取，提高了光束功率密度，在信噪比与点云密度之间实现平衡，从而能够低成本、低功耗、高精度的进行3D成像。

以上是本发明的核心思想，为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明一实施例中，所述离散光束投射器2投射的呈离散形的多束离散准直光束经过目标物体3反射，部分反射后的准直光束被光探测器阵列101接收，每个光探测器都能够获得对应光束的从发射到接收的飞行时间t，从而通过光速c来获得准直光束的飞行距离s＝ct，从而能够测量出每个被离散光束照射的目标物体3表面位置的深度信息。这些离散位置的深度数据点构建了可以复现物体3D形态的点云数据，从而实现对于目标物体3的3D成像。所述多束所述离散准直光束呈锥形。

在本发明一实施例中，所述多束离散准直光束的数量在两束和几万束之间，如2束至10万束。

在本发明一实施例中，本发明提供的基于同步ToF离散点云的3D成像方法，包括与离散光束投射器2和光探测器阵列成像器1相连的驱动电路。该驱动电路用于控制离散光束投射器2和光探测器阵列成像器1同时开启或关闭。

所述驱动电路可以是独立的专用电路，比如专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理器，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理器可以作为该处理电路的至少一部

图3为本发明中离散光束投射器的一种结构示意图，如图3所示，所述离散光束投射器2包括设置在一光路上的边发射激光器201和光束投射器202；

所述边发射激光器201，用于向所述光束投射器202投射激光；

所述光束投射器202，用于将入射的所述激光投射出多束离散准直光束。

在本发明实施例中，由于所述分束投射器的内表面加工了微纳结构的光芯片并配合光学透镜组成。所述分束投射器能够实现将来自于边发射激光器201的入射光分成任意多束准直光束的功能。所述边发射激光器201的发射方向和所述分束投射器的投射方向即可以相同，也可以成90度或者为光学系统设计所需的任意角度。

图4为本发明中离散光束投射器的另一种结构示意图，如图4所示，所述离散光束投射器2包括设置在一光路上的激光器阵列203、准直镜头204和分束器件205；

所述激光器阵列203，用于向所述准直镜头204投射第一数量级的激光；

所述准直镜头204，用于将入射的所述多束激光准直后出射第一数量级的准直光束；

所述分束器件205，用于将入射的第一数量级的准直光束分束后出射第二数量级的准直光束；

所述第二数量级大于所述第一数量级。

在本发明一实施例中，所述第二数量级是所述第一数量级的一至两倍。

在本发明实施例中，所述激光器阵列203可以采用多个垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser，VCSEL)或者多个边发光激光器(EdgeEmitting Laser，EEL)组成。多束激光经过准直镜头204后可以成为高度平行的准直光束。根据实际应用中可以根据离散光束数量的需求，可以采用分束器件205实现更多的准直光束。所述分束器件205可以采用衍射光栅(DOE)和空间光调制器(SLM)等。

图5为本发明中光学成像镜头的结构示意图，如图5所示，所述光探测器阵列成像器1包括光学成像镜头102、光探测器阵列101以及驱动电路；所述光探测器阵列101包括多个呈阵列分布的光探测器；

所述光学成像镜头102，用于使得透过所述光学成像镜头102进入光探测器阵列101的所述准直光束的方向向量与光探测器呈一一对应关系；

所述光探测器，用于接收经所述目标物体3反射的准直光束；

所述驱动电路，用于测量出多束所述离散准直光束的传播时间并进而生成所述目标物体3表面的深度数据。

为了过滤背景噪声，所述光学成像镜头102内通常还装有窄带滤光片，使得所述光探测器阵列101仅能通过预设的波长的入射准直光束。所述预设的波长可以为入射准直光束的波长，也可以为小于入射准直光束50纳米和大于入射准直光束50纳米之间。所述光探测器阵列101可以呈周期或者非周期性排列。每个光探测器与辅助电路配合可以实现对准直光束的飞行时间进行测量。根据离散准直光束数量的需求，光探测器阵列101可以是多个单点光探测器的组合或者是一个集成了多个光探测器的传感器芯片。为了进一步优化光探测器的灵敏度，一个离散准直光束在目标物体3上的照射光斑可以对应一个或者多个光探测器。在多个光探测器对应同一个照射光斑时，每个探测器的信号可以通过电路连通，从而在能够合并为一个探测面积更大的光探测器。

在本发明的一实施例中，所述多束离散准直光束周期性排布呈一预设定的形状，即呈几何规律分布。

图6(a)、(b)、(c)为本发明中多束离散准直光束周期性排布的示意图，如图6所示，在本发明的一实施例中，所述预设定的形状包括如下任一形状或能够相互切换的任多个形状：

-直线形

-三角形；

-四边形；

-矩形；

-圆形；

-六边形；

-五边形。

其中，所述多束离散准直光束周期性排布的形状并不限于上述形状，也可排布呈其他形状。如图6(a)所示，当预设定的形状为矩形时，即在一个周期内的准直光束单位排布形状为矩形，在并且在空间中周期性重复。如图6(b)所示，当预设定的形状为三角形时，即在一个周期内的准直光束的单位排布形状为三角形，并且在空间中周期性重复。如图6(c)所示，当预设定的形状为六边形时，即在一个周期内的准直光束单位排布形状为六边，并且在空间中周期性重复。由于本发明在实现时受限于光学系统，实际准直光束在截面的排布可能存在畸变，比如发生拉伸、扭曲等。而每个准直光束在截面中的能量分布可以是圆形、圆环或椭圆形等者其他形状。在如5所示的这种排布方式，将有利于简化多束离散准直光束和光探测器阵列101的空间对应关系。

在本发明的一实施例中，所述多束离散准直光束非周期性排布呈另一预设定的形状。

在本发明的一实施例中，所述非周期性排布包括如下任一排布方式或能够相互切换的任多个排布方式：

-随机排布；

-空间编码排布；

-准晶格排布。

其中，所述多束离散准直光束非周期性排布的形状并不限于上述形状，也可排布呈其他形状。如图7(a)所示，所述空间编码排布，具体为在在周期性排布中，缺省一部分的光束，从而实现排布位置的空间编码，在实际可以采用的编码不受限于图7(a)中示例；如图7(b)所示，所述随机排布，具体为准直光束的排布随机分布，使得不同位置的排布方式的相似性很小或者接近于零，如图7(c)所示，所述准晶格排布，具体为准直光束在近距离相邻位置非周期性排布，在远距离周期性排布。由于本发明在实现时受限于光学系统，实际准直光束在截面的排布可能存在畸变，比如发生拉伸、扭曲等。而每个准直光束在截面中的能量分布可以是圆形、圆环或椭圆形等者其他形状。在如6所示的这种排布方式，这种排布有利于对非确定目标的均匀采样，优化最终3D深度图的效果。

在本发明的一实施例中，所述光探测器采用如下任一种光传感器：

-CMOS光传感器；

-CCD光传感器；

-SPAD光传感器。

其中，所述光探测器的型号选择并不限于上述光传感器，也可包括其他类型的光传感器。

图8为本发明另一实施例中基于同步ToF离散点云的3D成像方法的步骤流程图，如图8所示，本发明提供的基于同步ToF离散点云的3D成像方法，包括如下步骤：

通过离散光束投射器2投射的多束离散准直光束，使得多束所述离散准直光束穿透显示面板后照射到目标物体3上；

通过光探测器阵列成像器1接收所述目标物体3反射后穿透所述显示面板的多束离散准直光束，并根据多束所述离散准直光束的传播时间获得所述目标物体3表面的深度图像。

在本发明一实施例中，所述光探测器阵列成像器1保证了投射的多束离散准直光束和光探测器阵列101的空间位置对应关系。使得光探测器阵列101中的每个光探测器均可以采用在时间连续调制光束或者脉冲的ToF方式来测量光的传播时间，进而借助光速来计算光传播的距离。

基于脉冲的ToF方法也被称为direct ToF方法，具体为：所述光探测器能够灵敏地探测出一个光脉冲的波形，然后与光脉冲的发射时间相比，获得准直光束在离散光束投射器2和光探测器阵列成像器1之间传播的时间。此种方法中，常用的光探测器有单光子雪崩二极管(SPAD)。单光子雪崩二极管能够非常灵敏和高速地对光脉冲的光子进行计数。即在脉冲时间窗口内对不同时间的光子数量统计，恢复出脉冲的整体波形。基于脉冲的ToF方法对于投射器的功耗要求比较低，并且有利于排除多路径光束的干扰。

基于时间连续调制光束的ToF方法也被成为indirect ToF方法。具体为：所述时间连续调制通常采用正弦波调制方式，所述光探测器可以采用CMOS或者CCD感光的方式实现，离散光束投射器2在高频率调制下，连续发射准直光束到目标物体3，经目标物体3反射后，被光探测器阵列101接收。每个光探测器记录发射的准直光束与接收的准直光束的相位变化，从而能够得到目标物体3表面位置的深度信息。由于基于时间连续调制光束的ToF方法是能量积分过程，相比脉冲式测量精度会更高，且不要求光源必须是短时高强度脉冲，可以采用不同类型的光源，能够运用不同的调制方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于同步ToF离散点云的3D成像方法，其特征在于，包括如下步骤：

通过离散光束投射器向目标物体投射多束离散准直光束；

通过光探测器阵列成像器接收经所述目标物体反射的多束离散准直光束，进而测量出多束所述离散准直光束的传播时间以获得所述目标物体表面的深度数据。

2.根据权利要求1所述的基于同步ToF离散点云的3D成像方法，其特征在于，所述离散光束投射器包括设置在一光路上的边发射激光器和光束投射器；

所述边发射激光器，用于向所述光束投射器投射激光；

所述光束投射器，用于将入射的所述激光投射出多束所述离散准直光束。

3.根据权利要求1所述的基于同步ToF离散点云的3D成像方法，其特征在于，所述离散光束投射器包括设置在一光路上的激光器阵列、准直镜头和分束器件；

所述激光器阵列，用于向所述准直镜头投射第一数量级的激光；

所述准直镜头，用于将入射的所述多束激光准直后出射第一数量级的准直光束；

所述分束器件，用于将入射的第一数量级的准直光束分束后出射第二数量级的准直光束；

所述第二数量级大于所述第一数量级。

4.根据权利要求1所述的基于同步ToF离散点云的3D成像方法，其特征在于，所述光探测器阵列成像器包括光学成像镜头、光探测器阵列以及驱动电路；所述光探测器阵列包括多个呈阵列分布的光探测器；

所述光学成像镜头，用于使得透过所述光学成像镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系；

所述光探测器，用于接收经所述目标物体反射的准直光束；

所述驱动电路，用于测量出多束所述离散准直光束的传播时间并进而生成所述目标物体表面的深度数据。

5.根据权利要求1所述的基于同步ToF离散点云的3D成像方法，其特征在于，所述多束离散准直光束周期性排布呈一预设定的形状。

6.根据权利要求5所述的基于同步ToF离散点云的3D成像方法，其特征在于，所述预设定的形状包括如下任一形状或能够相互切换的任多个形状：

-直线形

-三角形；

-四边形；

-矩形；

-圆形；

-六边形；

-五边形。

7.根据权利要求1所述的基于同步ToF离散点云的3D成像方法，其特征在于，所述多束离散准直光束非周期性排布呈另一预设定的形状。

8.根据权利要求7所述的基于同步ToF离散点云的3D成像方法，其特征在于，所述非周期性排布包括如下任一排布方式或能够相互切换的任多个排布方式：

-随机排布；

-空间编码排布；

-准晶格排布。

9.根据权利要求1所述的基于同步ToF离散点云的3D成像方法，其特征在于，所述光探测器采用如下任一种光传感器：

-CMOS光传感器；

-CCD光传感器；

-SPAD光传感器。

10.一种基于同步ToF离散点云的3D成像方法，其特征在于，包括如下步骤：

通过离散光束投射器投射的多束离散准直光束，使得多束所述离散准直光束穿透显示面板后照射到目标物体上；

通过光探测器阵列成像器接收所述目标物体反射后穿透所述显示面板的多束离散准直光束，并根据多束所述离散准直光束的传播时间获得所述目标物体表面的深度图像。

Images