CN209927097U - 深度数据测量头 - Google Patents

Abstract

公开了一种深度数据测量头。所述测量头包括：投影装置，用于向拍摄区域扫描投射具有条纹编码的结构光；具有预定相对位置关系的第一和第二图像传感器，用于对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二二维图像帧；以及同步装置，用于基于所述投影装置的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列进行成像。由此，基于多幅条纹编码图案的可叠加匹配和双目成像无需依赖于特定标定平面的特性，提供了一种高灵活度的像素级深度成像方案；同时利用条纹图像的一维特性，控制每一时刻进行成像的像素列范围，降低环境光对测量结果的不利影响。

Description

深度数据测量头

技术领域

本实用新型涉及三维成像领域，具体地说，涉及一种深度数据测量头。

背景技术

深度摄像头是一种采集目标物体深度信息的采集设备，这类摄像头广泛应用于三维扫描、三维建模等领域，例如，现在越来越多的智能手机上配备了用于进行人脸识别的深度摄像装置。

虽然三维成像已经是领域内多年研究的热点，但现有的深度摄像头依然具有功耗高、体积大、抗干扰能力差、无法实现像素级实时成像等诸多问题。

为此，需要一种改进的深度数据测量方案。

实用新型内容

有鉴于此，本实用新型提出了一种深度数据测量头，其通过主动投射的条纹编码结构光和双目成像的结合，基于多幅条纹编码图案的可叠加匹配和双目成像无需依赖于特定标定成像平面的特性，提供了一种高灵活度的像素级深度成像方案。本实用新型还通过成像和扫描的高度同步来去除环境光对深度测量结果的影响，从而进一步扩展本实用新型的可利用场景。

根据本实用新型的一个方面，提出了一种深度数据测量头，包括：投影装置，用于向拍摄区域扫描投射具有条纹编码的结构光；具有预定相对位置关系的第一和第二图像传感器，用于对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二二维图像帧；以及同步装置，用于基于所述投影装置的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列进行成像。由此，利用条纹图像的一维特性，控制每一时刻进行成像的像素列的范围，从而降低环境光对测量结果的不利影响。

优选地，同步装置可以包括用于测量所述投影装置的扫描位置的测量装置，并且基于所述测量装置的测量结果，进行所述像素列成像的同步开启。由此通过实时测量来提供高帧率所需的高精度同步。

优选地，投影装置可以包括激光发生器，用于生成线型和/或红外激光，并且所述激光发生器进行高速开关以扫描投射与条纹编码相对应的明暗相间的结构光。由此，通过简单地激光发生器开关，实现对编码图案的精确控制。

优选地，投影装置可以包括：往复运动的投影机构，用于以所述预定频率向所述拍摄区域扫描投射所述线型激光，其中，所述线型激光的长度方向是所述投射条纹的长度方向。

每个图像传感器中的像素都可以包括对应于所述当前扫描位置时同步开启的结构光图像帧存储单元，上述存储单元例如是用于存储电荷并基于电荷存储量以0或1输出的单元或是多阶灰度像素。

本实用新型的深度数据测量方案可以通过主动投射的条纹编码结构光和双目成像的结合，基于条纹编码图案的可叠加和双目成像无需依赖于特定成像平面的特性，提供了一种高灵活度的像素级深度成像方案。具体地，本实用新型还可以通过成像和扫描的高度同步来去除环境光对深度测量结果的影响，从而进一步扩展本实用新型的可利用场景，提升成像速度和精度。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1A-D示出了利用条纹编码的结构光进行深度成像的原理。

图2A-E示出了投射条纹编码结构光的另一个例子。

图3示出了根据本实用新型一个实施例的深度数据测量头的组成示意图。

图4A-B示出了图3所示投影装置的放大操作例。

图5示出了图像传感器中的像素行轮番开启的示意图。

图6示出了本实用新型使用的图像传感器的像素结构的一个例子。

图7示出了根据本实用新型一个实施例的深度数据测量装置的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

为了满足三维成像领域对高精度、高帧率、低功耗和小型化要求，本实用新型提出了一种深度数据测量头和测量系统，其通过主动投射的条纹编码结构光和双目成像的结合，基于条纹编码图案的可叠加和双目成像无需依赖于特定成像平面的特性，提供了一种高灵活度的像素级深度成像方案。本实用新型还通过成像和扫描的高度同步来去除环境光对深度测量结果的影响，从而进一步扩展本实用新型的可利用场景。

根据结构光测量原理可知，能否精确地确定扫描角α是整个测量系统的关键，点和线型结构光可以通过转镜等机械装置计算和确定扫描角，而图像编码及解码的意义就在于确定编码结构光即面结构光系统的扫描角。图1A-D示出了利用条纹编码的结构光进行深度成像的原理。为了方便理解，图中以两灰度级三位二进制时间编码简要说明条纹结构光的编码原理。投射装置可以向拍摄区域中的被测对象依次投射如图1A-1C所示的三幅图案，三幅图案中分别用亮暗两灰度将投射空间分为8个区域。每个区域对应各自的投射角，其中可以假设亮区域对应编码“1”，暗区域对应编码“0”。将投射空间中景物上一点在三幅编码图案中的编码值按投射次序组合，得到该点的区域编码值，由此确定该点所在区域进而解码获得该点的扫描角(图1D)。

在双目成像系统中，上述解码过程可以通过对第一和第二图像传感器中的各个点的编码值直接进行匹配而得以简化。为了提升匹配精度，可以增加时间编码中投射图案的数量。图2A-E示出了投射条纹编码结构光的另一个例子。具体地，图2A-E中示出了两灰度级的五位二进制时间编码。在双目成像的应用场景下，这意味着例如左右每幅图像帧中的每个像素都包含5个或0或1的区域编码值，由此能够以更高精度(例如，像素级) 实现左右图像匹配。在投射装置的投射速率不变的情况下，相比于图1的三幅编码图案，图2A-E的例子相当于以更高的时域代价实现了更高精度的图像匹配。

图3示出了根据本实用新型一个实施例的深度数据测量头的组成示意图。如图3所示，深度数据测量头300包括投影装置310以及两个图像传感器320_1和320_2。

投影装置310用于向拍摄区域扫描投射具有条纹编码的结构光。例如，在相继的3个图像帧投射周期内，投影装置310可以接连投射如图1所示的三个图案，这三个图案的成像结果可用于深度数据的生成。可以分别称为第一和第二图像传感器的320_1和320_2则具有预定相对位置关系，用于对拍摄区域进行拍摄以分别获得在结构光照射下的第一和第二二维图像帧。例如，在投影装置310投射如图1所示的三个图案的情况下，第一和第二图像传感器320_1和320_2可以在三个同步的图像帧成像周期内分别对投射有这三个图案的拍摄区域(例如，图3中的成像平面及其前后一定范围内的区域)进行成像。

如图3所示，投射装置310可以在z方向上(即，朝向拍摄区域)投射在x方向上延伸的线型光。在不同的实施例中，上述线型光的投射可以是已经成形的(即，出射光本身即是线型光)，也可以是在x方向上移动的光点(即，扫描得到的线型光)。投射的线型光可以在y方向上持续移动，以覆盖整个成像区域。图3下部针对拍摄区域的透视图对线型光的扫描给出了更易理解的图示。

在本实用新型的实施例中，将光线出射测量头的方向约定为z方向，拍摄平面的竖直方向为x方向，水平方向为y方向。于是，投射装置所投射的条纹结构光，可以是在x方向延伸的线型光在y方向上移动的结果。虽然在其他实施例中，也可以针对水平y方向上延伸的线型光在x方向上移动得到的条纹结构光进行同步和成像处理，但在本实用新型的实施例中仍优选使用竖直条纹光进行说明。

进一步地，测量头300还包括同步装置330。同步装置330分别与投影装置310以及第一和第二图像传感器320_1和320_2相连接，以实现三者之间的精确同步。具体地，同步装置330可以基于投影装置310的扫描位置，同步开启第一和第二图像传感器320_1和320_2中与当前扫描位置相对应的条纹方向上的像素列进行成像。如图3所示，当前条纹正扫描至拍摄区域的中心区域。为此，图像传感器320_1和320_2中，位于中心区域的像素列(例如，3个相邻的像素列)被开启进行成像。随着条纹在y 方向上的移动(如图3下部透视图中的箭头所示)，图像传感器320_1和 320_2中开启用于成像的像素列也相应地同步移动(如图3左上框图中矩阵上方的箭头所示)。由此，可以利用条纹图像的一维特性，控制每一时刻进行成像的像素列的范围，从而降低环境光对测量结果的不利影响。为了进一步降低环境光的影响，投射装置尤其适用于投射不易与环境光混淆的光，例如红外光。另外，由于像素列与扫描光的对应关系受到投射光的宽度、功率、速度、图像传感器的感光效率等诸多因素的影响，因此每次同步开启的像素列范围(及对应数量)例如可以基于标定操作来确定。

图4A-B示出了图3所示投影装置的放大操作例。具体地，如图3所示的，在投影装置310中，激光发生器(如图4A-B中详细示出的激光发生器411)发出的激光经投射机构(如图4A-B中详细示出的投射机构412) 扫描投射至拍摄区域(图3中的灰色区域)，用以对拍摄区域中的待测对象(例如，图3中的人)进行主动结构光投射。一对图像传感器320_1和 320_2对拍摄区域进行成像，由此获取进行深度数据计算所需的图像帧。如图3所示，投射装置310发出的虚线用于表示其投射范围，而图像传感器320_1和320_2发出的虚线用于表示其各自的成像范围。拍摄区域通常位于这三者各自投射和成像范围的重叠区域。

在一个实施例中，激光发生器可以持续发出强度相同的激光，并且投射的条纹图案通过对激光发生器的开启和关断来实现。在此情况下，由于激光发生器只投射一种强度的光，图像传感器的每个像素仅需记录光的“有无”，因此配备的图像传感器可以是黑白图像传感器。

在另一个实施例中，激光发生器本身可以发出光强变化的激光，上述强度变换的激光可以与条纹投射相结合，由此，扫描投射出明暗相间且明条纹之间的亮度也有所不同的图案。在此情况下，图像传感器需要具备对不同光强进行区别成像的能力，因此可以是多阶的灰度图像传感器。显见的是，灰度投射和成像可以比黑白投射和成像提供更为精确的像素间匹配，从而提升深度数据测量的准确性。

在一个实施例中，激光发生器411可以是线型激光发生器，生成在x 方向上延伸的线型光(图4A-B中垂直于纸面的方向)。该线型光随后由可沿着x方向上的轴摆动的投射机构412(也可称为“反射机构”)投射至成像平面。反射机构412的摆动附图如图4B所示。由此就能够在成像平面的AB范围内进行往复的线型光扫描。在其他实施例中，也可以直接将激光发生器411安装在往复运动的其他投射机构上。

在其他实施例中，扫描投射的激光也可以是点激光，于是需要投射机构相应地在二维方向上(图中的xy两个方向上)变换投射方向。例如，投射机构先在x方向上扫描出条纹光，再进行y方向上的位移，继续在不同的y位置处进行x方向上的扫描。

无论是直接投射y方向上移动的条纹光，还是投射需要在x方向上移动形成条纹并在y方向上位移的点光，其在拍摄区域上呈现的都是随时间在y方向上移动的条纹。随着光斑在y方向上的移动，图像传感器上用于记录该图像帧的全部像素中的特定像素列被开启，以使其能够收集对应位置反射回的光线。图5示出了图像传感器中的像素列轮番开启的示意图。如图5所示，当投影装置投射的条纹从成像区域的中部向一侧移动时，图像传感器的像素阵列中，开启用于成像的像素列也随之从中部向一侧移动。由此，使得像素列仅仅在对应的拍摄区域被扫描的那一段时间内进行成像记录，并且在其他时间内不进行记录。由于投射的激光的强度要高于环境光强度，因此在环境光在本实用新型的同步开启方案下无法累加的情况下，能够极为准确地对结构光本身进行成像。由于常规的图像传感器通常进行行曝光，为此，本实用新型中使用的逐列(或多列同时)曝光的图像传感器可以基于现有图像传感器转置90°得到。同时在转置之后，还需要对其添加整列一同曝光的控制。

应该理解的是，图3和图5中示出的像素矩阵仅仅是为了说明本实用新型同步原理的给出的例子。在实际的应用中，图像传感器的像素矩阵往往具有更高的量级(例如，1000x1000)，并且每次同时开启的像素列也可以根据标定而具有不同的范围(例如，每次开启3列，或在针对拍摄区域的不同位置开启不同列数等)。另外，图像传感器中像素列的开启可以仅仅与投射装置中投射结构的扫描位置相关，与当前是否真的投射出条纹光无关。换句话说，基于投影结构光明暗条纹的分布而进行的激光发射器的关闭和开启，并不会影响投射结构的扫描投射动作，也不会影响与上述扫描投射动作同步的图像传感器像素列开启动作。

为了提高同步精度，可以在同步装置中包括用于实时测量摆动位置的测量装置，并且基于测量装置的测量结果，进行像素列成像的同步开启。

由此确保扫描和成像的同步。

在一个实施例中，每个图像传感器在投影装置每进行一次扫描投射后完成一幅图像帧的成像。在投影装置的投射功率有限，或是被测对象离开测量头较远的情况下，图像传感器在单次扫描后获取的电荷量通常无法进行成像，则需要进行多测扫描成像。

具体地，每个图像传感器中的像素都可以包括对应于当前扫描位置时同步开启的结构光图像帧存储单元。图6示出了本实用新型使用的图像传感器的像素结构的一个例子。如图6所示，一个像素列621可以包括k个像素P₁-P_k。每个像素都包括相同的结构，即，一个感光单元、一个开关和一个存储单元。具体地，像素P₁622可以包括用作感光单元的光电二极管624、一个开关626和一个存储单元628。像素P_k623可以包括用作感光单元的光电二极管625、一个开关627和一个存储单元629。存储单元例如是用于存储电荷光电二极管基于接收到的光生成的电荷并基于电荷存储量以0或1输出的单元，也可以是用于对灰度投影成像的多阶存储单元。由此，同步装置在基于测量装置的测量结果判断图像传感器中的某块区域的像素列需要被开启时，同步装置就接通相应像素列621中每个像素的开关，以使得光电二极管转换的电荷可被存储单元存储；而在其他时间，则断开像素的电荷累积开关，由此使得每个像素的结构光图像帧存储单元在一个成像帧的大部分时间内不被接通，由此将环境光的影响降到最低。

本实用新型还公开了一种使用上述测量头的测量装置。具体到，一种深度数据测量装置可以包括如上所述的深度数据测量头，以及与深度数据测量头相连接的处理器，用于根据第一和第二图像传感器的预定相对位置及其对所述结构光成像得到的第一和第二二维图像帧，确定拍摄区域中拍摄对象的深度数据。在不同的实施例中，测量头可以具有相对独立的封装，也可以与处理器一并封装在测量装置中。

图7示出了根据本实用新型一个实施例的深度数据测量装置的示意图。如图所示，测量装置700可以包括如上所述的测量头和处理器740。测量头则包括投影装置710、两个图像传感器720、同步装置730。

处理器740与测量头相连接，例如与影装置710、两个图像传感器720、同步装置730每一个相连接，用于根据第一和第二图像传感器720_1和 720_2的预定相对位置及其对所述结构光成像得到的第一和第二二维图像帧，确定所述拍摄区域中拍摄对象的深度数据。

在一个实施例中，同步装置的至少部分同步功能可由处理器实现。例如，处理器可以基于同步装置所包括的测量装置所测量的数据实时确定条纹的扫描位置，并且并入同步装置的同步功能，以实现对各个部件的同步控制，例如，直接基于无延时的电信号。

上文中已经参考附图详细描述了根据本实用新型的深度数据测量头和测量装置和测量方法。本实用新型的深度数据测量方案可以通过主动投射的条纹编码结构光和双目成像的结合，基于条纹编码图案的可叠加和双目成像无需依赖于特定成像平面的特性，提供了一种高灵活度的像素级深度成像方案。具体地，本实用新型还可以通过成像和扫描的高度同步来去除环境光对深度测量结果的影响，从而进一步扩展本实用新型的可利用场景，提升成像速度和精度。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

以上已经描述了本实用新型的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种深度数据测量头，其特征在于，包括：

投影装置，用于向拍摄区域扫描投射具有条纹编码的结构光；

具有预定相对位置关系的第一和第二图像传感器，用于对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二二维图像帧；以及

同步装置，用于基于所述投影装置的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列进行成像。

2.如权利要求1所述的测量头，其特征在于，所述同步装置包括用于测量所述投影装置的扫描位置的测量装置，并且基于所述测量装置的测量结果，进行所述像素列成像的同步开启。

3.如权利要求1所述的测量头，其特征在于，所述投影装置包括：

激光发生器，用于生成线型激光，并且所述激光发生器进行高速开关以扫描投射与条纹编码相对应的明暗相间的结构光。

4.如权利要求3所述的测量头，其特征在于，所述激光发生器生成亮度随时间变化的线型光，以投射明暗相间且明条纹亮度变化的结构光。

5.如权利要求3所述的测量头，其特征在于，所述激光发生器是红外激光发生器。

6.如权利要求3所述的测量头，其特征在于，所述投影装置包括：

往复运动的投影机构，用于以预定频率向所述拍摄区域扫描投射所述线型激光，其中，所述线型激光的长度方向是所述投射条纹的长度方向。

7.如权利要求1所述的测量头，其特征在于，每个所述图像传感器中的像素包括对应于所述当前扫描位置时同步开启的结构光图像帧存储单元。

8.如权利要求7所述的测量头，其特征在于，所述结构光图像帧存储单元是用于存储灰度值的多阶存储器。

9.如权利要求1所述的测量头，其特征在于，所述条纹方向是竖直方向，并且所述第一和第二图像传感器是转置了90°的行曝光传感器。

Images