CN111829449A - 深度数据测量头、测量装置和测量方法 - Google Patents

Abstract

公开了一种深度数据测量头、测量装置和测量方法。测量头包括：投影装置，用于向拍摄区域扫描投射具有条纹编码的结构光；具有预定相对位置关系的第一和第二图像传感器，用于对拍摄区域进行拍摄以分别获得在结构光照射下的第一和第二二维图像帧，图像传感器中的每个或每组像素列包括N个像素存储子列，其中N是大于或等于2的整数；以及同步装置，用于基于投影装置的扫描位置，同步开启第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列进行成像。由此，提供了高灵活度的像素级深度成像方案，以去除环境光对深度测量结果的影响，并且能够实现对多组投射图案的同时存储，方便后续处理操作。

Description

深度数据测量头、测量装置和测量方法

技术领域

本发明涉及三维成像领域，具体地说，涉及一种深度数据测量头、测量装置和测量方法。

背景技术

深度摄像头是一种采集目标物体深度信息的采集设备，这类摄像头广泛应用于三维扫描、三维建模等领域，例如，现在越来越多的智能手机上配备了用于进行人脸识别的深度摄像装置。另外，深度摄像头在安防和自动驾驶领域也有着广泛的应用前景。

虽然三维成像已经是领域内多年研究的热点，但现有的深度摄像头依然具有功耗高、体积大、抗干扰能力差、无法实现像素级实时成像等诸多问题。为此，业已提出了双目条纹光成像方案，该方案利用双摄像头获取图像间的匹配去除对参考平面的依赖，条纹光的重复投射则使得像素级甚至亚像素级成像成为可能。但上述方案的一次深度数据求取需要对多幅图像帧进行成像，并涉及对大量图像帧的匹配操作，从而使得实时成像难以实现。

为此，需要一种改进的深度数据测量方案。

发明内容

有鉴于此，本发明提出了一种深度数据测量头和测量系统，其通过成像和扫描的高度同步去除环境光对深度测量结果的影响，并进一步通过同一位置处成像存储单元的划分，实现对多组投射图案的同时存储，以方便后续的图像匹配和其他处理操作。

根据本发明的一个方面，提出了一种深度数据测量头，包括：投影装置，用于向拍摄区域扫描投射具有条纹编码的结构光；具有预定相对位置关系的第一和第二图像传感器，用于对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二二维图像帧，在所述第一和第二图像传感器中，每个或每组像素列包括N个像素存储子列，其中，N是大于或等于2的整数；以及同步装置，用于基于所述投影装置的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列进行成像。由此，通过同一位置处成像存储单元的划分，实现对多组投射图案的同时存储，以方便后续的图像匹配和其他处理操作。本发明的图像传感器可以是列曝光可控的图像传感器，也可以是对更为常规的行曝光可控图像传感器的转置使用。

子列划分可以是基于像素组或是存储单元组的划分。优选地，所述第一和第二图像传感器的每个像素包括M个存储单元，其中，M是大于或等于2的整数，并且每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列的不同存储单元子列。优选地，所述第一和第二图像传感器各自被划分成多个像素组，每个像素组由M个相邻像素组成，其中，M是大于或等于2的整数，每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列中每个像素组中的不同像素的存储单元的子列。

优选地，所述投影装置依次投射的不同图案的条纹编码结构光，并且所述第一和第二图像传感器的每个或每组像素列的像素存储子列所对应的像素及其存储单元用于对不同图案的条纹编码结构光进行成像，以使得所述第一和第二图像传感器各自生成针对不同图案的一组图像帧，其中，所述一组图像帧被用于进行一次深度数据计算。

优选地，所述存储单元是存储0或1值的二元存储器，并且在生成所述一组图像帧之后，直接基于每个或每组像素列的N个像素存储子列各自对应的存储单元中存储的多个0或1的值，进行第一和第二图像传感器之间的像素匹配。

优选地，所述存储单元是用于存储灰度值的多阶存储器，并且所述测量头还包括数字运算模块，所述数字运算模块在生成所述一组图像帧之后，直接对每个或每组像素列的N个像素存储子列各自对应的存储单元中存储的灰度值进行数字运算以进行第一和第二图像传感器之间的像素匹配。

优选地，第一和/或第二图像传感器的每个或每组像素列的N个像素存储子列中的一个子列被用作环境光存储子列，所述环境光存储子列其对应的该像素列或该组像素列不接受所述结构光照射的至少部分时段开启，以使得第一和/或第二图像传感器基于所述环境光存储子列生成环境光图像帧。

优选地，基于标定操作确定每次同步开启的像素列的数量。

优选地，每个所述图像传感器的每个或每组像素列的一个或多个像素存储子列在所述投影装置每进行预定次数的扫描投射后共同完成一幅图像帧的成像。

优选地，所述同步装置包括用于测量所述投影装置的扫描位置的测量装置，并且基于所述测量装置的测量结果，进行所述像素列成像的同步开启。

优选地，所述投影装置包括：发光装置，用于向拍摄区域投射在所述条纹方向的垂直方向上移动的线型光；以及用于扫描投射线型光的反射装置，所述反射装置包括如下之一：以预定频率往复运动的机械转镜，用于以所述预定频率向所述拍摄区域扫描投射所述线型激光，其中，所述线型激光的长度方向是所述投射条纹的长度方向；以预定频率往复振动的微镜器件，用于以所述预定频率向所述拍摄区域扫描投射所述线型激光，其中，所述线型激光的长度方向是所述投射条纹的长度方向。

优选地，所述同步装置包括用于测量所述投影装置的扫描位置的测量装置，所述测量装置包括如下至少一种：用于实时测量所述反射装置的电机旋转角度的角测量器，并且基于所述角测量器的测量结果，进行所述像素列成像的同步开启；用于实时测量所述微镜器件的振动相位的光电传感器，并且基于所述光电传感器的测量结果，进行所述像素列成像的同步开启。

根据本发明的另一方面，提出了一种深度数据测量装置，包括：如上所述的深度数据测量头，以及与所述深度数据测量头相连接的处理器，用于根据所述第一和第二图像传感器的预定相对位置及其对所述结构光成像得到的第一和第二二维图像帧，确定所述拍摄区域中拍摄对象的深度数据。

根据本发明的又一方面，提出了一种深度数据测量方法，包括：向拍摄区域扫描投射具有条纹编码的结构光；使用具有预定相对位置关系的第一和第二图像传感器对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二二维图像帧，其中，每个或每组像素列包括N个像素存储子列，N是大于或等于2的整数，并且在使用所述第一和第二图像传感器进行拍摄时，基于结构光条纹的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列进行成像；以及基于所述第一和第二二维图像帧求取所述拍摄区域内被测对象的深度数据。

优选地，所述第一和第二图像传感器的每个像素包括M个存储单元，其中，M是大于或等于2的整数，并且每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列的不同存储单元子列，并且，所述方法还包括：在被所述结构光条纹扫描时，同步开启所述第一和第二图像传感器中对应的一个或一组像素列中的一个或多个存储单元子列。

优选地，所述第一和第二图像传感器各自被划分成多个像素组，每个像素组由M个相邻像素组成，其中，M是大于或等于2的整数，每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列中每个像素组中的不同像素的存储单元的子列，并且，所述方法还包括：在被所述结构光条纹扫描时，同步开启所述第一和第二图像传感器中对应的一个或一组像素列中的一个或多个不同像素的存储单元的子列。

优选地，该方法还可以包括：每个或每组像素列的像素存储子列分别对依次投射的不同图案的条纹编码结构光进行成像，以生成针对不同图案的一组图像帧；以及直接基于每个或每组像素列的多个像素存储子列中存储的分别针对不同图案的值，进行数字运算以实现第一和第二图像传感器之间的像素匹配。

优选地，第一和/或第二图像传感器的每个或每组像素列的N个像素存储子列中的一个子列被用作环境光存储子列，并且，所述方法还可以包括：在对应的该像素列或该组像素列不接受所述结构光照射的至少部分时段开启所述环境光存储子列，以使得第一和/或第二图像传感器基于所述环境光存储子列生成环境光图像帧。

优选地，向拍摄区域扫描投射具有条纹编码的结构光包括：利用激光发射器生成红外线型光；以及利用反射装置以预定频率往复运动，用于以所述预定频率向所述拍摄区域扫描投射所述线型激光，其中，所述反射装置是微镜器件或机械转镜，所述线型激光的长度方向是所述投射条纹的长度方向。

优选地，该方法还可以包括：实时测量所述微镜器件的振动相位或所述机械转镜的转角幅度以获取所述结构光条纹的扫描位置。

优选地，该方法还可以包括：基于标定操作确定每次同步开启的像素列的数量。

本发明的深度数据测量方案可以通过成像和扫描的高度同步去除环境光对深度测量结果的影响，并进一步通过同一位置处成像存储单元的划分，实现对多组投射图案的同时存储，以方便后续的图像匹配和其他处理操作。其中，可以通过主动投射的条纹编码结构光和双目成像的结合，基于条纹编码图案的可叠加和双目成像无需依赖于特定成像平面的特性，提供了一种高灵活度的像素级深度成像方案。具体地，本发明还可以通过成像和扫描的高度同步来去除环境光对深度测量结果的影响，利用DMD实现线型光的高速扫描，从而进一步扩展本发明的可利用场景，提升成像速度和精度。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明一个实施例的深度数据测量头的组成示意图。

图2示出了利用条纹编码的结构光进行深度成像的原理。

图3示出了投射条纹编码结构光的另一个例子。

图4示出了图像传感器中的像素列轮番开启的示意图。

图5示出了本发明使用的图像传感器的像素结构的一个例子。

图6示出了本发明划分像素组的一个例子。

图7示出了本发明划分像素存储子列的一个例子。

图8示出了本发明使用的图像传感器的像素结构的另一个例子。

图9A-9B示出了图1所示投影装置的放大操作例。

图10示出了本发明使用的投影装置的一个简化透视原理图。

图11示出了根据本发明一个实施例的深度数据测量装置的示意图。

图12示出了根据本发明一个实施例的深度数据测量方法的示意性流程图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

为了满足三维成像领域对高精度、高帧率、低功耗和小型化要求，本发明提出了一种深度数据测量头和测量系统，其通过主动投射的条纹编码结构光和双目成像的结合，基于条纹编码图案的可叠加和双目成像无需依赖于特定成像平面的特性，提供了一种高灵活度的像素级深度成像方案。本发明还通过成像和扫描的高度同步来去除环境光对深度测量结果的影响，并进一步通过同一位置处成像存储单元的划分，实现对多组投射图案的同时存储，以方便后续的图像匹配和其他处理操作。

图1示出了根据本发明一个实施例的深度数据测量头的组成示意图。如图1所示，深度数据测量头100包括投影装置110以及两个图像传感器120_1和120_2。

投影装置110用于向拍摄区域扫描投射具有条纹编码的结构光。例如，在相继的3个图像帧投射周期内，投影装置110可以接连投射具有条纹编码相关性的多个图案，这多个图案的成像结果可共同用于深度数据的生成。可以分别称为第一和第二图像传感器的120_1和120_2则具有预定相对位置关系，用于对拍摄区域进行拍摄以分别获得在结构光照射下的第一和第二二维图像帧。

图2示出了利用条纹编码的结构光进行深度成像的原理。为了方便理解，图中以两灰度级三位二进制时间编码简要说明条纹结构光的编码原理。投射装置可以向拍摄区域中的被测对象依次投射如图所示的三幅图案，三幅图案中分别用亮暗两灰度将投射空间分为8个区域。每个区域对应各自的投射角，其中可以假设亮区域对应编码“1”，暗区域对应编码“0”。将投射空间中景物上一点在三幅编码图案中的编码值按投射次序组合，得到该点的区域编码值，由此确定该点所在区域进而解码获得该点的扫描角。

在双目成像系统中，上述解码过程可以通过对第一和第二图像传感器中的各个点的编码值直接进行匹配而得以简化。为了提升匹配精度，可以增加时间编码中投射图案的数量。图3示出了投射条纹编码结构光的另一个例子。具体地，图中示出了两灰度级的五位二进制时间编码。在双目成像的应用场景下，这意味着例如左右每幅图像帧中的每个像素都包含5个或0或1的区域编码值，由此能够以更高精度(例如，像素级)实现左右图像匹配。在投射装置的投射速率不变的情况下，相比于图1的三幅编码图案，图3的例子相当于以更高的时域代价实现了更高精度的图像匹配。这在投射装置原本的投射速率极高的情况下(如，本发明的一个实施例中采用的微镜器件)，仍然是相当可取的。

在投影装置110投射如图2所示的三个图案的情况下，第一图像传感器120_1和第二图像传感器120_2可以在三个同步的图像帧成像周期内分别对投射有这三个图案的拍摄区域(例如，图1中的成像平面及其前后一定范围内的区域)进行成像。

如图1所示，投射装置110可以在z方向上(即，朝向拍摄区域)投射在x方向上延伸的线型光。在不同的实施例中，上述线型光的投射可以是已经成形的(即，出射光本身即是线型光)，也可以是在x方向上移动的光点(即，扫描得到的线型光)。投射的线型光可以在y方向上持续移动，以覆盖整个成像区域。图1下部针对拍摄区域的透视图对线型光的扫描给出了更易理解的图示。

在本发明的实施例中，将光线出射测量头的方向约定为z方向，拍摄平面的竖直方向为x方向，水平方向为y方向。于是，投射装置所投射的条纹结构光，可以是在x方向延伸的线型光在y方向上移动的结果。虽然在其他实施例中，也可以针对水平y方向上延伸的线型光在x方向上移动得到的条纹结构光进行同步和成像处理，但在本发明的实施例中仍优选使用竖直条纹光进行说明。

进一步地，测量头100还包括同步装置130。同步装置130分别与投影装置110以及第一图像传感器120_1和第二图像传感器120_2相连接，以实现三者之间的精确同步。具体地，同步装置130可以基于投影装置110的扫描位置，同步开启第一图像传感器120_1和第二图像传感器120_2中与当前扫描位置相对应的条纹方向上的像素列进行成像。为了提升同步精度，同步装置可以包括用于测量投影装置的扫描位置的测量装置，并且基于测量装置的测量结果，进行所述像素列成像的同步开启。

第一图像传感器120_1和第二图像传感器120_2的像素列可被分别开启，以与当前扫描位置相对应。换句话说，考虑到两个传感器之间的视差，第一图像传感器120_1和第二图像传感器120_2各自开启的像素列可以不同，但都能够在同步装置的控制下，分别与扫描位置进行同步。

例如，在图像传感器具有1000x1000像素，第一和第二图像传感器具有250像素视差，且投影装置安装在两传感器之间的情况下，针对当前投射至拍摄区域正中的线型光，第一图像传感器120_1可以开启第300-375像素列，第二图像传感器120_2开启第625-700像素列。两个图像传感器各自开启的像素列能够在各自的成像视野中对当前投射得到的条纹进行成像。

在上例中，两个图像传感器每一时刻可以开启75个像素列(即，成像窗口宽度为75像素)，并且成像窗口随着扫描光的移动而移动。在图1的示例中，图像传感器的成像窗口可以随着线型光在y方向上的移动而移动，以确保对条纹光的成像。应该理解的是，成像窗口越窄(越接近与条纹光本身的成像宽度)，其对环境光的滤除程度也就越大，成像帧的信噪比也就越高。但由于拍摄对象距离测量头的距离(即，z方向的距离)会在一定范围内变化，并且考虑到标定步骤无法完全精确地实现，因此需要为成像窗口留出一定的冗余度。换句话说，成像窗口越宽，越不容易出现当前投射光落在成像窗口范围之外而无法成像的情况下，但其成像帧的信噪比会相对较低。因此，可以基于操作难易性、冗余度和图像信噪比的折中，恰当选择成像窗口的宽度。

如图1所示，当前条纹正扫描至拍摄区域的中心区域。为此，图像传感器120_1和120_2中，位于中心区域的像素列(例如，3个相邻的像素列)被开启进行成像。随着条纹在y方向上的移动(如图1下部透视图中的箭头所示)，图像传感器120_1和120_2中开启用于成像的像素列也相应地同步移动(如图1左上框图中矩阵上方的箭头所示)。由此，可以利用条纹图像的一维特性，控制每一时刻进行成像的像素列的范围，从而降低环境光对测量结果的不利影响。为了进一步降低环境光的影响，投射装置尤其适用于投射不易与环境光混淆的光，例如红外光。另外，由于像素列与扫描光的对应关系受到投射光的宽度、功率、速度、图像传感器的感光效率等诸多因素的影响，因此每次同步开启的像素列范围(及对应数量)例如可以基于标定操作来确定。

无论是直接投射y方向上移动的条纹光，还是投射需要在x方向上移动形成条纹并在y方向上位移的点光，其在拍摄区域上呈现的都是随时间在y方向上移动的条纹。随着光斑在y方向上的移动，图像传感器上用于记录该图像帧的特定像素列被开启，以使其能够收集对应位置反射回的光线。图4示出了图像传感器中的像素列轮番开启的示意图。如图4所示，当投影装置投射的条纹从成像区域的中部向一侧移动时，图像传感器的像素阵列中，开启用于成像的像素列也随之从中部向一侧移动。由此，使得像素列仅仅在对应的拍摄区域被扫描的那一段时间内进行成像记录，并且在其他时间内不进行记录。由于投射的激光的强度要高于环境光强度，因此在环境光在本发明的同步开启方案下无法累加的情况下，能够极为准确地对结构光本身进行成像。由于常规的图像传感器通常进行行曝光，为此，本发明中使用的逐列(或多列同时)曝光的图像传感器可以基于现有图像传感器转置90°得到。在转置之后，需要对其添加整列(转置前的整行)同时曝光的控制。换句话说，本发明采用的第一和第二图像传感器可以包括列曝光可控的图像传感器，或是转置90°的行曝光可控图像传感器，从而实现与条纹长度方向为竖直方向的光线扫描的同步曝光。

应该理解的是，图1和图4中示出的像素矩阵仅仅是为了说明本发明同步原理的给出的例子。在实际的应用中，图像传感器的像素矩阵往往具有更高的量级(例如，1000x1000)，并且每次同时开启的像素列也可以根据标定而具有不同的范围(例如，每次开启3列，或在针对拍摄区域的不同位置开启不同列数等)。另外，图像传感器中像素列的开启可以仅仅与投射装置中投射结构的扫描位置相关，与当前是否真的投射出条纹光无关。换句话说，基于投影结构光明暗条纹的分布而进行的激光发射器的关闭和开启，并不会影响投射结构的扫描投射动作，也不会影响与上述扫描投射动作同步的图像传感器像素列开启动作。

为了实现对多组投射图案的同时存储，以方便后续的图像匹配和其他处理操作，可以对图像传感器同一位置(或近似同一位置)处的不同成像存储单元进行分组并在不同的图案投射周期中进行开启。为此，第一图像传感器120_1和第二图像传感器120_2中，每个或每组像素列都可以包括N个像素存储子列，其中，N是大于或等于2的整数。同步装置130则可基于投影装置110的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列进行成像。

在此，“像素存储子列”指的是每个和每组像素列中所有像素对应的所有存储单元的子集，并且为了实现对整个条纹投射长度上深度信息的准确测量，上述存储单元子集所对应的像素沿着像素列方向(即，条纹长度方向)均匀分布。即，在本发明所使用的图像传感器中，每个或每组像素列中所有像素所对应的所有存储单元被划分为N份，每份存储单元对应的像素沿像素列方向均匀排列。根据划分方式的不同，N个像素存储子列可以由单个像素列实现，也可以由相邻的多个像素列所组成的像素列组实现。

由此，在针对一组深度数据计算的多个条纹图案(例如，图2和图3例示的一组三个或五个图案)的投射过程中，这N个子集可以在同步装置的控制下，随着扫描条纹的到来而被分别接通，以收集相应的成像信息。这样，在多个条纹图案投射完毕时，图像传感器的存储单元中可以同时包括对应于这多个条纹图案的成像信息。上述信息可以一并用于后续的深度计算，例如，直接利用下文所述的数字电路进行快速高效的像素匹配计算。在此，N的个数可以对应于扫描图案的个数，即，每次扫描投射一种图案时，接通N个子列中的一个存储子列进行成像。可以理解的是，在其他实施例中，N的个数也可以大于扫描图案的个数。例如，每次扫描投射一种图案时，接通N个子列中的两个存储子列进行成像，或是保留一个存储子列用于如下所述的环境光的成像。而在一组扫描图案中包括的图案个数多于N的情况下，则可以通过将扫描图案拆分成多组进行投射(也意味着后续的多组计算)来实现N个子列中的一个或多个子列对一个图案进行成像的设定。

在不同的实现中，针对每个或每组像素列的不同像素存储子列可以通过接通不同的像素，或是接通同一像素所连接的不同存储单元来实现。

在常规的图像传感器存储结构中，每个图像传感器中的像素都包括一个存储单元，由此，例如在条纹光扫描到当前像素列时被同步开启。图5示出了可在本发明中使用的图像传感器的像素结构的一个例子。如图5所示，一个像素列521可以包括k个像素P₁-P_k。每个像素都包括相同的结构，即，一个感光单元、一个开关和一个存储单元。具体地，像素P₁522可以包括用作感光单元的光电二极管524、一个开关526和一个存储单元528。像素P_k523可以包括用作感光单元的光电二极管525、一个开关527和一个存储单元529。存储单元例如是用于存储电荷光电二极管基于接收到的光生成的电荷并基于电荷存储量以0或1输出的单元。

同步装置在基于测量装置的测量结果判断图像传感器中的某块区域的像素列需要被开启时，同步装置就接通相应像素列521中每个像素的开关，以使得光电二极管转换的电荷可被存储单元存储；而在其他时间，则断开像素的电荷累积开关，由此使得每个像素的存储单元在一个成像帧的大部分时间内不被接通，由此将环境光的影响降到最低。

在将每个或每组像素列的存储单元划分为N个像素存储子列的情况下，由于图5所示的图像传感器每个像素仅包括一个存储单元，因此可以通过对像素的划分，来直接实现对其存储单元的子列划分。即，第一图像传感器120_1和第二图像传感器120_2可以各自被划分成多个像素组，每个像素组由M个相邻像素组成，其中，M是大于或等于2的整数，每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列中每个像素组中的不同像素的存储单元的子列。

为了方便理解，图6示出了本发明划分像素组的一个例子。如图6所示，14x14的像素被划分为多组像素列，每组像素列包括多个2x2的像素组(即，此例中，M＝4)。如图中部的两个像素列所示，一组像素列由两个像素列组成，并且包括7个像素组。

在N＝M＝4的情况下，该组像素列的4个存储像素存储子列可以包括分别对应于该组像素列中每个像素组中的不同像素的存储单元的子列。图7示出了本发明划分像素存储子列的一个例子。如图7所示，每个像素存储子列都包括7个像素及其对应的存储单元，并且其各自包括的像素规律分布在每个像素组中，以使得每个像素存储子列的对应像素都在像素列的方向上均匀分布，由此确保在每个像素存储子列被接通时，都能够在整个像素列方向上进行成像。

以图2的三图案一组的图像帧为例，投射装置首先投射图2中最左侧的第一幅图案。图像传感器在图案扫描过程中，依次接通对应像素列组中的第一像素存储子列(例如，依次接通7组像素列中的如图7最左侧所示的“左上”像素及其存储单元)。随后，投射装置投射图2中左起第二幅图案。图像传感器在图案扫描过程中，依次接通对应像素列组中的第二像素存储子列(例如，依次接通7组像素列中的如图7左起第二像素列所示的“右上”像素及其存储单元)。随后，投射装置投射图2中的第三幅图案。图像传感器在图案扫描过程中，依次接通对应像素列组中的第三像素存储子列(例如，依次接通7组像素列中的如图7左起第三像素列所示的“左下”像素及其存储单元)。由此，完成针对一组三种图案的图像帧成像。

在一个实施例中，第一和/或第二图像传感器的每个或每组像素列的N个像素存储子列中的一个子列被用作环境光存储子列，所述环境光存储子列其对应的该像素列或该组像素列不接受所述结构光照射的至少部分时段开启，以使得第一和/或第二图像传感器基于所述环境光存储子列生成环境光图像帧。为此，图7最右侧所示的“右下”像素及其存储单元可以用作环境光存储子列，以在该组像素列不接受结构光照射的至少部分时段开启，以生成环境光图像帧。

于是在深度计算中，可以基于每个像素组中像素的三值取值，通过配备的数字运算模块直接进行两个图像传感器中的像素匹配。相比于需要逐幅读取的图像帧，再由处理器进行像素匹配的软件计算的现有技术而言，本发明的数字运算方案能够大幅提升图像处理的速度，并由此提升深度数据的生成速率。

在图7的例示中，像素存储子列的数量N与像素组中包含的数量M相同，在其他实施例中，上述数量也可以不同。例如，像素组可有3x3像素组成(即，M＝9)，而像素存储子列的数量N可以为3。即，每个像素组中都可以有三个像素连接至一个像素存储子列。另外，虽然每个像素存储子列都应该包括分别对应于该该组像素列中每个像素组中的不同像素的存储单元的子列，但是每个像素组中连接至同一像素存储子列的像素无需处于像素组中的相同位置。换句话说，虽然图7为了示例方便，示出了包含的像素分属像素组中左上、右上、左下和右下位置的四个像素存储子列，但是在其他实施例中，同一像素存储子列可以选取不同像素组中不同位置的像素，只要各个像素存储子列之间不重复选取同一像素即可。

在多存储单元实现中，第一图像传感器120_1和第二图像传感器120_2的每个像素都可以包括M个存储单元，其中，M是大于或等于2的整数，并且每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列的不同存储单元子列。由此，不同于结合图5-7所示的像素分组并分别接通的方案，在多存储单元的实现方案中，可以接通对应像素列中的每个像素，只是在不同的扫描图案中，接通该像素的不同存储单元。图8示出了本发明使用的图像传感器的像素结构的另一个例子。如图8所示，一个像素列821可以包括k个像素P₁-P_k。每个像素都包括相同的结构，即，一个感光单元、M个开关和M个存储单元，其中每个开关对应控制一个存储单元的电荷存储。具体地，像素P₁ 822可以包括用作感光单元的光电二极管824、M个开关826和M个存储单元828。像素P_k 823可以包括用作感光单元的光电二极管825、M个开关827和M个存储单元829。

存储单元例如是用于存储电荷光电二极管基于接收到的光生成的电荷并基于电荷存储量以0或1输出的单元。每个结构光图像帧存储单元分别用于对所述投射装置依次投射的不同图案的条纹编码结构光进行成像，以生成针对不同图案的一组图像帧。该组图像帧可被整体用于进行一次深度数据计算。

以图3的五图案一组的图像帧为例，投射装置首先投射图3中最左侧的第一幅图案。图像传感器在图案扫描过程中，依次接通对应像素列821中的第一组开关和存储单元。随后，投射装置投射图2中左起第二幅图案。图像传感器在图案扫描过程中，依次接通对应像素列821中的第二组开关和存储单元。随后，投射装置投射图2中的中间幅图案。图像传感器在图案扫描过程中，依次接通对应像素列821中的第三组开关和存储单元。随后，投射装置投射图2中的右起第二幅图案。图像传感器在图案扫描过程中，依次接通对应像素列821中的第四组开关和存储单元。最后，投射装置投射图2中最右侧的第一幅图案。图像传感器在图案扫描过程中，依次接通对应像素列821中的第五组开关和存储单元。由此，完成针对一组五种图案的图像帧成像。这时，每个像素的五个存储单元中都存储有0或1的值。于是，可以基于每个像素的五值取值，通过配备的数字运算模块直接进行两个图像传感器中的像素匹配，例如，像素级匹配。换句话说，在图像传感器的像素本身配备有多个存储单元的情况下，可以直接通过将虚拟图像信号转换成数字信号直接在数字运算模块上进行诸如加减乘除的处理来进行图像间的像素匹配。相比于需要逐幅读取的图像帧，再由处理器进行像素匹配的软件计算的现有技术而言，本申请的数字运算方案能够大幅提升图像处理的速度，并由此提升深度数据的生成速率。

在优选实施例中，存储单元可以是能够存储多阶灰度值的存储单元。相应地，激光发生器可以投射强度按一定规律变化的条纹光，以便存储单元对其进行灰度成像。可以通过选择特定的光强变化投射模式，结合多存储单元的图像传感器和前端的数字运算模块，实现灰度成像下基于数字运行的高度像素匹配，从而在确保高速深度数据计算的同时，进一步提升图像清晰度。

同样地，为了对环境光进行成像(例如，不同的二维成像)，每个图像传感器中的像素还各自包括一个附加存储单元，附加存储单元用于在该像素的至少一个结构光图像帧存储单元开启时关闭，并在不接受所述结构光照射的至少部分时段开启，以使得图像传感器基于附加存储单元生成环境光图像帧。

图9A-B示出了图1所示投影装置的放大操作例。本发明的投影装置包括发光装置和用于扫描投射发光装置发出的光的反射装置。具体地，如图1所示的，在投影装置110中，作为发光装置的激光发生器(如图9A-B中详细示出的激光发生器911)发出的激光经投射机构(如图9A-B中详细示出的投射机构912)扫描投射至拍摄区域(图1中的灰色区域)，用以对拍摄区域中的待测对象(例如，图1中的人)进行主动结构光投射。一对图像传感器120_1和120_2对拍摄区域进行成像，由此获取进行深度数据计算所需的图像帧。如图1所示，投射装置110发出的虚线用于表示其投射范围，而图像传感器120_1和120_2发出的虚线用于表示其各自的成像范围。拍摄区域通常位于这三者各自投射和成像范围的重叠区域。

在一个实施例中，激光发生器可以持续发出强度相同的激光，并且投射的条纹图案通过对激光发生器的开启和关断来实现。在此情况下，由于激光发生器只投射一种强度的光，图像传感器的每个像素仅需记录光的“有无”，因此配备的图像传感器可以是黑白图像传感器。

在另一个实施例中，激光发生器本身可以发出光强变化的激光，例如，根据施加的功率使得出射光强呈正弦变换的激光。上述正弦变换的激光可以与条纹投射相结合，由此，扫描投射出明暗相间且明条纹之间的亮度也有所不同的图案。在此情况下，图像传感器需要具备对不同光强进行区别成像的能力，因此可以是多阶的灰度图像传感器。显见的是，灰度投射和成像可以比黑白投射和成像提供更为精确的像素间匹配，从而提升深度数据测量的准确性。

在一个实施例中，激光发生器911可以是线型激光发生器，生成在x方向上延伸的线型光(图9A-B中垂直于纸面的方向)。该线型光随后由可沿着x方向上的轴摆动的反射机构912投射至成像平面。反射机构912的摆动附图如图9B所示。由此就能够在成像平面的AB范围内进行往复的线型光扫描。

在一个实施例中，上述反射机构912可以是微镜器件(也可称为数字微镜器件，DMD)，并且可被实现为一种MEMS(微机电系统)。图10示出了本发明使用的投影装置的一个简化透视原理图。如图10所示，激光器产生的点激光可经由透镜得到线型光(对应于图9的线型激光发生器911)，上述线型光再经由MEMS形式的微镜器件反射，反射的线型光再经由光窗投射至外部空间。微镜器件有着极高的性能，例如，市售的DMD能够以2k的频率进行高度平稳的往复振动，从而为高性能深度成像奠定基础。

如上的投影装置可以包括以预定频率往复振动的微镜器件(DMD)，用于以预定频率向所述拍摄区域扫描投射线型激光。由于微镜器件的振动频率极高，例如，每秒2k，这相当于250ns扫出一个完整的投射结构光，因此需要对微镜器件反射的光线位置进行极为精确的同步。上述精确性使得无法直接利用微镜器件的启动信号来进行同步(因为延时不可靠)，因此考虑到微镜器件相位振动的特性，可以在同步装置中包括用于实时测量微镜器件的振动相位的测量装置，并且基于测量装置的测量结果，进行像素列成像的同步开启。由此确保扫描和成像在极高频率下的同步。

在一个实施例中，上述测量可以基于出射光本身。于是，上述测量装置可以是一个或多个光电传感器(例如，两个光电二极管PD)，并且所述两个光电传感器以如下任一方式布置：布置在所述投影装置的不同出射路径上；布置在所述投影装置内的不同反射路径上；以及分别布置在所述投影装置内外的出射和反射路径上。可以合理选择光电传感器的布置方式，以使其在准确测量相位的同时，不对结构光的正常投影产生影响。如图5所示，可将PD安装在投影装置内，通过测量激光出射光窗时的反射角来确定瞬时的振动相位。由于DMD的振动相位成正弦分布，因此一个PD就能确定正弦分布信息，而更多的PD有助于更准确的测量相位。在其他实施例中，也可以将PD安装在投影装置外，例如，安装在光窗上，例如靠近光窗边缘以防止对拍摄区域内投影的影响。在其他实施例中，还可以利用其他方式进行相位测量，例如进行电容测量。

在一个实施例中，每个图像传感器在投影装置每进行一次扫描投射后完成一幅图像帧的成像。例如，DMD在完成半个周期的振动以将x方向的条纹光从拍摄区域的一侧扫描至另一侧后，即完成一个图像帧(例如，图2或图3中的一个图案)的成像。在投影装置的投射功率有限，或是被测对象离开测量头较远的情况下，图像传感器在单次扫描后获取的电荷量通常无法进行成像，则需要进行多测扫描成像。于是，每个图像传感器在投影装置每进行预定次数的扫描投射后完成一幅图像帧的成像。在涉及像素存储子列的实施例中，每个图像传感器的每个或每组像素列的一个或多个像素存储子列在所述投影装置每进行预定次数的扫描投射后共同完成一幅图像帧的成像。例如，DMD可以在连续5个振动周期内扫描相同的结构光图案，使得图像传感器获取足以成像的电荷量，再在下5个振动周期内扫描相同的下一幅结构光图案，并由此类推。

在另一个实施例中，反射装置可以是以预定频率往复运动的机械转镜，用于以所述预定频率向所述拍摄区域扫描投射激光发生器生成的线型光。相应地，同步装置所包括的测量装置可以是用于实时测量所述反射装置的电机旋转角度的角测量器。同步装置于是可以基于角测量器的测量结果，进行像素列成像的同步开启。

在如上的实施例中，扫描线与列像素曝光之间的同步通过控制图像传感器的曝光来实现。这可以用于光源扫描可控的情况下(例如，可以通过电压和电流来控制机械转镜的角度和转速)，尤其适用于光源扫描的相位和速度不可控(例如，对于微镜器件)的情况。于是，微镜器件可以分别PD或者电容来检测角度，机械转镜也可以通过电压检测或光电编码来实现位置检测。

同步装置可以基于光源扫描的实时测量结果，对列曝光加以控制。在一个实施例中，同步装置可以包括列曝光控制装置，所述列曝光控制装置根据反射装置的转动位置和/或速度(例如，读取微镜的角度测量结果或是机械转镜的位置测量结果)，控制所述第一和第二图像传感器中像素列的开启和关闭时间。在此，控制所述第一和第二图像传感器中像素列的开启和关闭时间可以指代对第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列的开启和关闭进行控制，即，实时控制相应像素存储子列的曝光时间。

由于微镜器件按照既定规则振动，所以每次启动扫描请求时，微镜会处于不同位置，这时就需要图像传感器的指定区域能够在列曝光控制装置的控制下作为起始位进行曝光。另外，因为微镜的扫描速度两头慢中间快，因此，在结合微镜器件进行光源扫描时，列曝光控制装置需要根据微镜的扫描速度进行变速曝光。

本发明还公开了一种使用上述测量头的测量装置。具体到，一种深度数据测量装置可以包括如上所述的深度数据测量头，以及与深度数据测量头相连接的处理器，用于根据第一和第二图像传感器的预定相对位置及其对所述结构光成像得到的第一和第二二维图像帧，确定拍摄区域中拍摄对象的深度数据。在不同的实施例中，测量头可以具有相对独立的封装，也可以与处理器一并封装在测量装置中。

图11示出了根据本发明一个实施例的深度数据测量装置的示意图。如图所示，测量装置1100可以包括如上所述的测量头和处理器1140。测量头则包括投影装置1110、两个图像传感器1120、同步装置1130。

处理器1140与测量头相连接，例如与投影装置1110、两个图像传感器1120、同步装置1130每一个相连接，用于根据第一和第二图像传感器1120_1和1120_2的预定相对位置及其对所述结构光成像得到的第一和第二二维图像帧，确定所述拍摄区域中拍摄对象的深度数据。

在一个实施例中，同步装置的至少部分同步功能可由处理器实现。例如，处理器可以基于同步装置所包括的测量装置所测量的数据实时确定条纹的扫描位置，并且并入同步装置的同步功能，以实现对各个部件的同步控制，例如，直接基于无延时的电信号。

图12示出了根据本发明一个实施例的深度数据测量方法的示意性流程图。该方法可由本发明的深度数据测量头和测量装置实施。

在步骤S1210，向拍摄区域扫描投射具有条纹编码的结构光。在步骤S1220，使用具有预定相对位置关系的第一和第二图像传感器对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二二维图像帧其中，每个或每组像素列包括N个像素存储子列，N是大于或等于2的整数，并且在使用所述第一和第二图像传感器进行拍摄时，基于结构光条纹的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列进行成像。在步骤S1230，基于第一和第二二维图像帧求取所述拍摄区域内被测对象的深度数据。

在一个实施例中，所述第一和第二图像传感器的每个像素包括M个存储单元，其中，M是大于或等于2的整数，并且每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列的不同存储单元子列，并且，测量方法还可以包括：在被所述结构光条纹扫描时，同步开启所述第一和第二图像传感器中对应的一个或一组像素列中的一个或多个存储单元子列。

在一个实施例中，所述第一和第二图像传感器各自被划分成多个像素组，每个像素组由M个相邻像素组成，其中，M是大于或等于2的整数，每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列中每个像素组中的不同像素的存储单元的子列，并且，该测量方法还可以包括：在被所述结构光条纹扫描时，同步开启所述第一和第二图像传感器中对应的一个或一组像素列中的一个或多个不同像素的存储单元的子列。

在一个实施例中，测量方法还可以包括：每个或每组像素列的像素存储子列分别对依次投射的不同图案的条纹编码结构光进行成像，以生成针对不同图案的一组图像帧；以及直接基于每个或每组像素列的多个像素存储子列中存储的分别针对不同图案的值，进行数字运算以实现第一和第二图像传感器之间的像素匹配。

在一个实施例中，第一和/或第二图像传感器的每个或每组像素列的N个像素存储子列中的一个子列被用作环境光存储子列，并且，测量方法还可以包括：在对应的该像素列或该组像素列不接受所述结构光照射的至少部分时段开启所述环境光存储子列，以使得第一和/或第二图像传感器基于所述环境光存储子列生成环境光图像帧。

在一个实施例中，步骤S1210可以包括利用激光发射器生成红外线型光；以及利用反射装置以预定频率往复运动，用于以所述预定频率向所述拍摄区域扫描投射所述线型激光，其中，所述反射装置是微镜器件或机械转镜，所述线型激光的长度方向是所述投射条纹的长度方向。

在一个实施例中，测量方法还可以包括：实时测量所述微镜器件的振动相位或所述机械转镜的转角幅度以获取所述结构光条纹的扫描位置。在一个实施例中，测量方法还可以包括：根据反射装置的转动位置和/或速度(例如，如上实时测量的微镜器件的振动相位或所述机械转镜的转角幅度)，实时控制所述第一和第二图像传感器中像素列的开启和关闭时间。在此，实时控制所述第一和第二图像传感器中像素列的开启和关闭时间可以指代对第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列的开启和关闭进行控制，即，实时控制相应像素存储子列的曝光时间。

在一个实施例中，测量方法还可以包括：基于标定操作确定每次同步开启的像素列的数量。

上文中已经参考附图详细描述了根据本发明的深度数据测量头、测量装置和测量方法。本发明的深度数据测量方案可以通过主动投射的条纹编码结构光和双目成像的结合，基于条纹编码图案的可叠加和双目成像无需依赖于特定成像平面的特性，提供了一种高灵活度的像素级深度成像方案。具体地，本发明还可以通过成像和扫描的高度同步来去除环境光对深度测量结果的影响，并进一步通过同一位置处成像存储单元的划分，实现对多组投射图案的同时存储，以方便后续的图像匹配和其他处理操作。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (24)

1.一种深度数据测量头，包括：

投影装置，用于向拍摄区域扫描投射具有条纹编码的结构光；

具有预定相对位置关系的第一和第二图像传感器，用于对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二二维图像帧，在所述第一和第二图像传感器中，每个或每组像素列包括N个像素存储子列，其中，N是大于或等于2的整数；以及

同步装置，用于基于所述投影装置的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列进行成像。

2.如权利要求1所述的测量头，其中，所述第一和第二图像传感器的每个像素包括M个存储单元，其中，M是大于或等于2的整数，并且每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列的不同存储单元子列。

3.如权利要求1所述的测量头，其中，所述第一和第二图像传感器各自被划分成多个像素组，每个像素组由M个相邻像素组成，其中，M是大于或等于2的整数，每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列中每个像素组中的不同像素的存储单元的子列。

4.如权利要求1-3中任一项所述的测量头，其中，所述投影装置依次投射的不同图案的条纹编码结构光，并且所述第一和第二图像传感器的每个或每组像素列的像素存储子列所对应的像素及其存储单元用于对不同图案的条纹编码结构光进行成像，以使得所述第一和第二图像传感器各自生成针对不同图案的一组图像帧，其中，所述一组图像帧被用于进行一次深度数据计算。

5.如权利要求4所述的测量头，其中，所述存储单元是存储0或1值的二元存储器，并且在生成所述一组图像帧之后，直接基于每个或每组像素列的N个像素存储子列各自对应的存储单元中存储的多个0或1的值，进行第一和第二图像传感器之间的像素匹配。

6.如权利要求4所述的测量头，其中，所述存储单元是用于存储灰度值的多阶存储器，并且所述测量头还包括数字运算模块，所述数字运算模块在生成所述一组图像帧之后，直接对每个或每组像素列的N个像素存储子列各自对应的存储单元中存储的灰度值进行数字运算以进行第一和第二图像传感器之间的像素匹配。

7.如权利要求4所述的测量头，其中，第一和/或第二图像传感器的每个或每组像素列的N个像素存储子列中的一个子列被用作环境光存储子列，所述环境光存储子列其对应的该像素列或该组像素列不接收所述结构光照射的至少部分时段开启，以使得第一和/或第二图像传感器基于所述环境光存储子列生成环境光图像帧。

8.如权利要求1所述的测量头，其中，基于标定操作确定每次同步开启的像素列的数量。

9.如权利要求1所述的测量头，其中，每个所述图像传感器的每个或每组像素列的一个或多个像素存储子列在所述投影装置每进行预定次数的扫描投射后共同完成一幅图像帧的成像。

10.如权利要求1所述的测量头，其中，所述同步装置包括用于测量所述投影装置的扫描位置的测量装置，并且基于所述测量装置的测量结果，进行所述像素列成像的同步开启。

11.如权利要求1所述的测量头，其中，所述投影装置包括：

发光装置，用于产生线型光；以及

反射装置，用于反射线型光，以向拍摄区域投射在所述条纹方向的垂直方向上移动的线型光，所述反射装置包括如下之一：

以预定频率往复运动的机械转镜，用于以所述预定频率向所述拍摄区域扫描投射所述线型光，其中，所述线型光的长度方向是所述投射条纹的长度方向；

以预定频率往复振动的微镜器件，用于以所述预定频率向所述拍摄区域扫描投射所述线型光，其中，所述线型光的长度方向是所述投射条纹的长度方向。

12.如权利要求11所述的测量头，其中，所述同步装置包括用于测量所述投影装置的扫描位置的测量装置，所述测量装置包括如下至少一种：

用于实时测量所述反射装置的电机旋转角度的角测量器，并且基于所述角测量器的测量结果，进行所述像素列成像的同步开启；

用于实时测量所述微镜器件的振动相位的光电传感器，并且基于所述光电传感器的测量结果，进行所述像素列成像的同步开启。

13.如权利要求11所述的测量头，其中，所述同步装置还包括列曝光控制装置，所述列曝光控制装置根据反射装置的转动位置和/或速度，控制所述第一和第二图像传感器中像素列的开启和关闭时间。

14.如权利要求1所述的测量头，其中，所述第一和第二图像传感器包括如下至少一项：

列曝光可控的图像传感器；以及

转置90°的行曝光可控图像传感器。

15.一种深度数据测量装置，包括：

如权利要求1-14中任一项所述的深度数据测量头，以及

与所述深度数据测量头相连接的处理器，用于根据所述第一和第二图像传感器的预定相对位置及其对所述结构光成像得到的第一和第二二维图像帧，确定所述拍摄区域中拍摄对象的深度数据。

16.一种深度数据测量方法，包括：

向拍摄区域扫描投射具有条纹编码的结构光；

使用具有预定相对位置关系的第一和第二图像传感器对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二二维图像帧，其中，每个或每组像素列包括N个像素存储子列，N是大于或等于2的整数，并且在使用所述第一和第二图像传感器进行拍摄时，基于结构光条纹的扫描位置，同步开启所述第一和第二图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列进行成像；以及

基于所述第一和第二二维图像帧求取所述拍摄区域内被测对象的深度数据。

17.如权利要求16所述的方法，其中，所述第一和第二图像传感器的每个像素包括M个存储单元，其中，M是大于或等于2的整数，并且每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列的不同存储单元子列，

并且，所述方法还包括：

在被所述结构光条纹扫描时，同步开启所述第一和第二图像传感器中对应的一个或一组像素列中的一个或多个存储单元子列。

18.如权利要求16所述的方法，其中，所述第一和第二图像传感器各自被划分成多个像素组，每个像素组由M个相邻像素组成，其中，M是大于或等于2的整数，每个或每组像素列的N个像素存储子列包括分别对应于该像素列或该组像素列中每个像素组中的不同像素的存储单元的子列，

并且，所述方法还包括：

在被所述结构光条纹扫描时，同步开启所述第一和第二图像传感器中对应的一个或一组像素列中的一个或多个不同像素的存储单元的子列。

19.如权利要求16所述的方法，还包括：

每个或每组像素列的像素存储子列分别对依次投射的不同图案的条纹编码结构光进行成像，以生成针对不同图案的一组图像帧；以及

直接基于每个或每组像素列的多个像素存储子列中存储的分别针对不同图案的值，进行数字运算以实现第一和第二图像传感器之间的像素匹配。

20.如权利要求16所述的方法，其中，第一和/或第二图像传感器的每个或每组像素列的N个像素存储子列中的一个子列被用作环境光存储子列，

并且，所述方法还包括：

在对应的该像素列或该组像素列不接受所述结构光照射的至少部分时段开启所述环境光存储子列，以使得第一和/或第二图像传感器基于所述环境光存储子列生成环境光图像帧。

21.如权利要求16所述的方法，其中，向拍摄区域扫描投射具有条纹编码的结构光包括：

利用激光发射器生成红外线型光；以及

利用反射装置以预定频率往复运动，用于以所述预定频率向所述拍摄区域扫描投射所述线型激光，其中，所述反射装置是微镜器件或机械转镜，所述线型激光的长度方向是所述投射条纹的长度方向。

22.如权利要求20所述的方法，还包括：

实时测量所述微镜器件的振动相位或所述机械转镜的转角幅度以获取所述结构光条纹的扫描位置。

23.如权利要求21所述的方法，还包括：

根据反射装置的转动位置和/或速度，实时控制所述第一和第二图像传感器中像素列的开启和关闭时间。

24.如权利要求16所述的方法，还包括：

基于标定操作确定每次同步开启的像素列的数量。

Images