CN115218812A - 深度数据测量头、计算装置及其对应方法 - Google Patents

Abstract

公开了一种深度数据测量头、计算装置及其对应方法。测量头包括：投影装置，用于向拍摄区域扫描投射不同图案的一组结构光；图像传感器，用于对所述拍摄区域进行拍摄以获得在所述一组结构光照射下的一组图像帧，以用于所述拍摄区域的单次深度数据计算，其中，所述图像传感器包括至少共用部分光路的至少两个子图像传感器，所述至少两个子图像传感器分别用于对所述投影装置相继投射的不同图案的结构光进行成像。本发明通过使用同轴的单目或是多组双目结构进行连续成像，能够降低多帧合并求取深度数据场景中，由于多帧获取时间过长而导致的无法动态成像以及深度数据帧率过低等问题。

Description

深度数据测量头、计算装置及其对应方法

技术领域

本公开涉及三维成像领域，具体地说，涉及一种深度数据测量头、计算装置及其对应方法。

背景技术

深度摄像头是一种采集目标物体深度信息的采集设备，这类摄像头广泛应用于三维扫描、三维建模等领域，例如，现在越来越多的智能手机上配备了用于进行人脸识别的深度摄像装置。虽然三维成像已经是领域内多年研究的热点，但现有的深度摄像头依然具有测量精度与成像速度无法兼得、成像性能与成本优化无法兼得等诸多问题。

为此，需要一种改进的深度数据测量方案。

发明内容

本公开要解决的一个技术问题是提供一种深度数据测量方案，该方案使用同轴的多组双目进行连续成像，能够降低多帧合并求取深度数据场景中，由于多帧获取时间过长而导致的无法动态成像以及深度数据帧率过低等问题。另外，由于引入的是常规帧率的成像设备，因此能够在提高深度成像精度和帧率的同时，避免对高成本高帧率成像设备的使用。

根据本公开的第一个方面，提供了一种深度数据测量头，包括：投影装置，用于向拍摄区域扫描投射不同图案的一组结构光，所述一组结构光中包含至少两个不同图案的结构光；图像传感器，用于对所述拍摄区域进行拍摄以获得在所述一组结构光照射下的一组图像帧，以用于所述拍摄区域的单次深度数据计算，其中，所述图像传感器包括至少共用部分光路的至少两个子图像传感器，所述至少两个子图像传感器分别用于对所述投影装置相继投射的不同图案的结构光进行成像。

在双目结构中，图像传感器可以是具有预定相对位置关系的第一和第二图像传感器，用于对所述拍摄区域进行拍摄以获得在所述一组结构光照射下的一组图像帧对，以用于所述拍摄区域的单次深度数据计算，其中，所述第一和第二图像传感器各自包括至少共用部分光路的至少两个子图像传感器，所述至少两个子图像传感器分别用于对所述投影装置相继投射的不同图案的结构光进行成像。

根据本公开的第二个方面，提供了一种深度数据计算设备，包括：如第一方面所述的深度数据测量头；以及与所述深度数据测量头相连接的处理器，用于与所述深度数据测量头相连接的处理器，用于根据对所述结构光成像得到的所述一组图像帧，确定所述拍摄区域中拍摄对象的深度数据。

根据本公开的第三个方面，提供了一种深度数据测量方法，包括：向拍摄区域扫描投射结构光；使用第一子图像传感器，对所述拍摄区域进行拍摄以获得在结构光照射下的第一图像帧；向拍摄区域扫描投射不同图案的第二结构光；使用第二子图像传感器，用于对所述拍摄区域进行拍摄以获得在第二结构光照射下的第二图像帧，其中，第一和第二子图像传感器共用至少部分光路并组成图像传感器，所述第一和第二图像帧用于所述拍摄区域的单次深度数据计算。

在双目实现中，该方法可以包括：向拍摄区域扫描投射结构光；使用具有预定相对位置关系的第一子图像传感器对，对所述拍摄区域进行拍摄以获得在结构光照射下的第一图像帧对；向拍摄区域扫描投射不同图案的第二结构光；使用第二子图像传感器对，用于对所述拍摄区域进行拍摄以获得在第二结构光照射下的第二图像帧对，其中，第一和第二子图像传感器对中各自的一个子图像传感器共用至少部分光路并组成第一图像传感器，第一和第二子图像传感器对中各自的另一个子图像传感器共用至少部分光路并组成第二图像传感器，所述第一和第二图像帧对用于所述拍摄区域的单次深度数据计算。

根据本公开的第四个方面，提供了一种深度数据计算方法，包括：根据第三方面所述的深度数据测量方法获取第一和第二图像帧，或第一、第二和第三图像帧；以及根据所述预定相对位置以及第一和第二图像帧，或第一、第二和第三图像帧，确定所述拍摄区域中拍摄对象的深度数据。

由此，本发明公开了多组同轴双目方案。该方案通过引入同轴的单目或是双目感光单元，能够降低多帧合并计算深度数据时所需的成像时间并提升帧率。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1A-B示出了利用条纹编码的结构光进行深度成像的原理。

图2示出了根据本发明一个实施例的深度数据测量头的组成示意图。

图3示出了根据本发明一个实施例的深度数据测量头的组成示意图。

图4示出了同轴两组双目成像和单组双目成像的对比时序图。

图5示出了同轴三组双目成像的时序图。

图6示出了根据本发明一个实施例的深度数据测量头进行列同步成像的示意图。

图7A-B示出了图6所示投影装置的放大操作例。

图8示出了本发明使用的投影装置的一个简化透视原理图。

图9示出了图像传感器中的像素行轮番开启的示意图。

图10示出了根据本发明一个实施例的深度测量方法的示意性流程图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

为了提升深度数据的成像精度和灵活度，可以通过主动投射多幅图案(例如，条纹编码结构光)和双目成像的结合，基于条纹编码图案的可叠加和双目成像无需依赖于特定成像平面的特性，实现高灵活度的像素级深度数据成像。

根据结构光测量原理可知，能否精确地确定扫描角α是整个测量系统的关键，点和线型结构光可以通过转镜等机械装置计算和确定扫描角，而图像编码及解码的意义就在于确定编码结构光即面结构光系统的扫描角。图1A-B示出了利用条纹编码的结构光进行深度成像的原理。为了方便理解，图1A以两灰度级三位二进制时间编码简要说明条纹结构光的编码原理。投射装置可以向拍摄区域中的被测对象依次投射如图所示的三幅图案，三幅图案中分别用亮暗两灰度将投射空间分为8个区域。每个区域对应各自的投射角，其中可以假设亮区域对应编码“1”，暗区域对应编码“0”。将投射空间中景物上一点在三幅编码图案中的编码值按投射次序组合，得到该点的区域编码值，由此确定该点所在区域进而解码获得该点的扫描角。

在单目成像系统中，可以通过将拍摄图像与参照图像进行比对来进行深度数据计算。而在双目成像系统中，上述解码过程可以通过对第一和第二图像传感器中的各个点的编码值直接进行匹配而得以简化。为了提升匹配精度，可以增加时间编码中投射图案的数量。图1B示出了投射条纹编码结构光的另一个例子。具体地，图中示出了两灰度级的五位二进制时间编码。在双目成像的应用场景下，这意味着例如左右每幅图像帧中的每个像素都包含5个或0或1的区域编码值，由此能够以更高精度(例如，像素级)实现左右图像匹配。应该理解的是，在其他实施例中，还可以通过使用不同的亮度级别，实现例如五位四进制甚至八进制时间编码。

在投射装置的投射速率不变的情况下，相比于图1A的三幅编码图案，图1B的例子相当于以更高的时域代价实现了更高精度的图像匹配。虽然投射装置原本的投射速率极高(如，本发明中优选采用的振镜器件)，但由于图像传感器的帧率有限，因此多帧合成深度数据的帧率较低，并且其每一帧需要的成像时间过长，从而难以实现动态视频的拍摄。例如，在使用帧率为60帧/秒的常规图像传感器的情况下，如果需要每五帧拍摄的二维图像(在双目实现中，其实是5组10帧图像)合成一帧深度图像，则每秒的帧率降至12帧/秒，并且每一帧的成像时间长达1/15。如此低的帧率和如此长的成像时间难以满足动态成像的需求。然而，直接提升图像传感器的帧率来实现相对高的深度数据帧的帧率，例如，使用150帧/秒的高速图像传感器来实现30帧/秒的深度数据帧率，又会因为高性能元件的引入而大幅提升设备成本。

为了满足三维成像领域同时对高精度、高帧率和低成本的要求，本发明的发明人考虑到在当前投射装置可以做到高速投射、常规图像传感器的成像速率本身较高但由于数据传输和处理等降低了帧率的技术现状，提出了一种利用同轴的多组传感器结构分别对不同图案进行成像，以提升基于多帧求取深度数据的总体帧率，从而解决了现有技术中由于多帧获取时间过长而导致的无法动态成像以及深度数据帧率过低等问题。另外，由于引入的是常规帧率的成像设备，因此能够在提高深度成像精度和帧率的同时，避免对高成本高帧率成像设备的使用。

具体地，本发明公开了一种深度数据测量头，包括：投影装置，用于向拍摄区域扫描投射不同图案的一组结构光，所述一组结构光中包含至少两个不同图案的结构光；图像传感器，用于对所述拍摄区域进行拍摄以获得在所述一组结构光照射下的一组图像帧，以用于所述拍摄区域的单次深度数据计算，其中，所述图像传感器包括至少共用部分光路的至少两个子图像传感器，所述至少两个子图像传感器分别用于对所述投影装置相继投射的不同图案的结构光进行成像。

在某些实施例中，所述图像传感器可以是单个图像传感器，即实现为单目系统。在其他实施例中，所述图像传感器可以是两个图像传感器，即实现为双目系统。如下将结合图2和图3分别对基于本发明原理的单目和双目实现进行说明。

图2示出了根据本发明一个实施例的深度数据测量头的组成示意图。如图所示，基于单目原理的深度数据测量头200包括投影装置210和图像传感器220。虽然图中为了方便说明而没有示出，测量头200还可以包括用于包围上述装置的壳体，并且图2所示的连接结构240可以看作是固定上述装置并连接至壳体的机构。在某些实施例中，连接结构240可以是其上包括控制电路的电路板。应该理解的是，在其他实现中，上述装置210和220可以以其他方式连接至壳体，并进行相应的数据传输和指令接收操作。

在此，投影装置210用于向拍摄区域扫描投射不同图案的一组结构光，并且该组结构光中包含至少两个不同图案的结构光。而图像传感器220则用于对所述拍摄区域进行拍摄以获得在所述一组结构光照射下的一组图像帧，以用于所述拍摄区域的单次深度数据计算。

例如，投影装置210依次投射如图1所示的三个图案。这三个图案作为一组，并由图像传感器分别对其中的每一个图案进行成像，由此得到包括3帧的一组图像帧。根据单目成像原理，这3帧图像可以各自与其对应的参考图像帧进行比对，并共同用于针对拍摄区域的一次深度数据的计算，即，能够计算出一帧的深度图像。

不同于常规测量头中，图像传感器220仅包括一块感光单元，并且每一块感光单元分别进行三次成像来获取3帧一组的图像帧，在本发明中，图像传感器220包括至少共用部分光路的至少两个子图像传感器，所述至少两个子图像传感器分别用于对所述投影装置相继投射的不同图案的结构光进行成像。

图2示出了图像传感器220包括两个子图像传感器(感光单元)的例子。如图所示，图像传感器220则包括子图像传感器223和224。在这其中，子图像传感器223和224共用光路直到分束装置222的分束面，并且与上述分束区域相距的距离相等。换句话说，本发明引入了彼此同轴的传感器结构。在此，可以使用子图像传感器223对例如图1中三个图案中的第一种图案的结构光进行成像。随后，可以使用子图像传感器224对例如图1中三个图案中的第二种图案的结构光进行成像。换句话说，此时可以看作具有相同光程(或是完全等效光路的)子图像传感器224在原地，代替223进行了后一幅图案结构光的成像。由此，相邻两帧的成像间隔就可以不依赖于每个图像传感器的帧间隔，而以更小的间隔进行成像。

类似地，图3示出了根据本发明一个实施例的深度数据测量头的组成示意图。相比于示意性示出的投射装置，图中更为详尽地给出了图像传感器的一个组成实例。

如图3所示，基于双目原理的深度数据测量头300包括投影装置310以及具有预定相对位置关系的第一图像传感器320和第二图像传感器330。虽然图中为了方便说明而没有示出，测量头300还可以包括用于包围上述装置的壳体，并且图3所示的连接结构340可以看作是固定上述装置并连接至壳体的机构。在某些实施例中，连接结构340可以是其上包括控制电路的电路板。应该理解的是，在其他实现中，上述装置310-330可以以其他方式连接至壳体，并进行相应的数据传输和指令接收操作。

在此，投影装置310用于向拍摄区域扫描投射不同图案的一组结构光，并且该组结构光中包含至少两个不同图案的结构光。而具有预定相对位置关系的第一图像传感器320和第二图像传感器330则用于对所述拍摄区域进行拍摄以获得在所述一组结构光照射下的一组图像帧对，以用于所述拍摄区域的单次深度数据计算。

例如，投影装置310依次投射如图1所示的三个图案。这三个图案作为一组，并由图像传感器分别对其中的每一个图案进行成像，由此得到包括三对(6帧)的一组图像帧对。这6帧图像共同用于针对拍摄区域的一次深度数据的计算，即，能够计算出一帧的深度图像。

不同于常规双目测量头中，第一图像传感器320和第二图像传感器330各自仅包括一块感光单元，并且每一块感光单元分别进行三次成像来获取三对(6帧)的一组图像帧对，在本发明中，第一和第二图像传感器各自包括至少共用部分光路的至少两个子图像传感器，所述至少两个子图像传感器分别用于对所述投影装置相继投射的不同图案的结构光进行成像。

图3示出了第一和第二图像传感器各自包括两个子图像传感器(感光单元)的例子。如图所示，第一图像传感器320包括子图像传感器323和324，第二图像传感器330则包括子图像传感器333和334。在这其中，子图像传感器323和324共用光路直到分束装置322的分束面，并且与上述分束区域相距的距离相等。同样地，子图像传感器333和334共用光路直到分束装置332的分束面，并且与上述分束区域相距的距离相等。换句话说，本发明引入了彼此同轴的多组双目结构。在此，可以将子图像传感器323和333看作是第一组图像传感器(第一组双目)，用于对例如图1中三个图案中的第一种图案的结构光进行成像。随后，可以将看作是第二组图像传感器(第二组双目)的子图像传感器324和334用于对例如图1中三个图案中的第二种图案的结构光进行成像。换句话说，此时可以看作分别与323和333同轴的子图像传感器324和334在原地，代替323和333进行了后一幅图案结构光的成像。由此，相邻两帧的成像间隔就可以不依赖于每个图像传感器的帧间隔，而以更小的间隔进行成像。

为此，测量头200或300还可以包括：同步装置，用于在所述投影装置以小于所述子图像传感器的帧成像间隔的第一间隔投射至少两个不同图案的结构光的同时，使得图像传感器220或是第一和第二图像传感器320和330各自包括至少两个子图像传感器同步地以所述第一间隔相继分别对所述至少两个不同图案的结构光进行成像。相应地，每一个子图像传感器仍然以不小于所述子图像传感器的帧成像间隔的第二间隔进行自身的下一帧成像(例如，就以本身的帧间隔成像)，并且上述成像操作能够同步装置的同步下与所述投影装置的投射同步。

图4示出了同轴两组成像和单组成像的对比时序图。这里为了方便说明，可以设每一个感光单元(子图像传感器)的帧率为100帧/s，则其帧间隔为10ms，并且可以设每个感光单元所需的曝光时间为1ms。

如果图像传感器220或是第一和第二图像传感器320和330是仅包括单个感光单元的常规图像传感器，在要利用图1所示的三幅图案进行深度数据计算时，则如图4下部所示，需要在第0、第10和第20毫秒处进行三次成像。为此，合成每一幅深度数据图像需要拍摄对象持续21ms保持不动(因此更难以拍摄运动对象)，并且帧率也从100帧/s降至33.3帧/s。

相比之下，如果图像传感器220或是第一和第二图像传感器320和330是包括两个感光单元(例如，图像传感器220包括子图像传感器223和224，第一和第二图像传感器320和330各自包括子图像传感器323和324，以及子图像传感器333和334)的本发明的图像传感器，在要利用图1所示的三幅图案进行深度数据计算时，则如图4上部所示，第一组感光单元在第0毫秒处进行针对图案1的成像，紧接着第二组感光单元在第1毫秒处就进行针对图案2的成像，随后在间隔10ms之后，第一组感光单元在第10毫秒处进行针对图案3的成像，这样就完成一副深度数据图像所需的三次成像。随后，在第11毫秒，第二组感光单元就能开始下一轮针对图案1的成像。在第20毫秒，第一组感光单元进行针对图案2的成像。在第21毫秒，第二组感光单元再进行针对图案3的成像。这样，不同组感光单元成像的间隔仅需间隔成像所需时间(例如，1ms)，同一组感光单元的再次成像间隔则仍然遵循帧率对应的帧间隔时间(例如，10ms)。此时，通过引入两组同轴双目，合成每一幅深度数据图像仅需要拍摄对象持续11ms保持不动(因此更易于拍摄运动对象)，并且帧率能保持在接近66.6帧/s。

虽然结合图2-图4描述具有两组同轴(同光轴)感光单元的例子，但在其他实施例中，第一和第二图像传感器各自还可以包括更多个感光单元。图5示出了同轴三组双目成像的时序图。此时，第一和第二图像传感器各自可以包括同轴的三个感光单元(子图像传感器)。为此，如图5所示，第一组感光单元在第0毫秒处进行针对图案1的成像，紧接着第二组感光单元在第1毫秒处就进行针对图案2的成像，紧接着第三组感光单元在第2毫秒处就进行针对图案3的成像。随后，在第10毫秒开始下一轮的三组成像，在第20毫秒开始再下一轮的三组成像，并以此类推。此时，通过引入三组同轴双目，仅需3ms就可获取合成一幅深度数据图像所需的三组(6帧)图像，即拍摄对象只需要持续3ms保持不动，因此大大提升了针对运动对象的拍摄水平，并且帧率能保持在接近100帧/s(在此例中，拍摄100帧需要1003ms，即1.003秒)。

由此，应该理解的是，仅通过引入额外的一组同轴双目结构(或单目结构)，就可以将基于多帧合成的深度数据帧率提升一倍，并缩短每一帧的成像时间。理论上，可以布置与投射装置投射图像数量相同组数的同轴双目结构，由此使得每一深度帧的成帧时间与传感器的帧间隔，仅与曝光时间的倍数相关(在帧间隔大于曝光时间x同轴结构组数的情况下)。例如，在基于四幅图案合成深度帧的情况下，如果是使用如图3所示的两组同轴双目，则获取四帧的成像时间微涨至12ms，但帧率则跌至接近50帧/s。但如果使用四组同轴双目，则获取四帧的成像时间仅为4ms，并且帧率仍然保持为接近100帧/s。但过多的引入同轴结构会增加图像传感器的构造难度，为此需要在成本、可行性和成像速度上进行折中。

为了实现同一图像传感器内不同感光单元的同轴配置，需要对光路进行设计。在图3的例子中，示出了基于分束实现的同轴布置(图2的例子也具有类似结构)。此时，以第一图像传感器320为例，可以包括：镜片单元321，用于接收入射的返回结构光；分束装置322，用于将入射的返回结构光分成至少第一光束和第二光束；第一子图像传感器323，用于对第一光束进行成像；第二子图像传感器324，用于对对应于不同图案的返回结构光的第二光束进行成像。

在一个实施例中，分束装置322是光学棱镜，例如四方棱镜或三棱镜。由此，入射光中经反射的红外光到达第二子图像传感器324，入射光中未经反射的可见光则可进行直线传播至第一子图像传感器323。

如图所示，采用棱镜形式的分束装置322可以将入射光分成传播方向互相垂直的两束光束。相应地，第一子图像传感器323和第二子图像传感器324也可以垂直布置，以便各自以垂直角度接收入射的可见光和红外光光束。

为了消除视差并实现像素级对齐，需要入射光中的成分具有相同的光程。为此，在使用四分棱镜作为分束装置322的情况下，可以将第一子图像传感器323和第二子图像传感器324布置在与分束装置322的分束区域相距相等的距离处。而在使用三棱镜作为分束装置322的情况下，则可以根据空气与棱镜材料的折射率之比，灵活调整两个感光单元与分束装置322，尤其是与分束区域的距离。

第一子图像传感器323和第二子图像传感器324之间的像素级对齐可以通过使得入射光共享大部分光路并具有相同的光程来理论实现。但在图像传感器的实际制造过程中，会因为第一子图像传感器323和第二子图像传感器324的实际布置无法呈现理想的垂直和等距状况而造成两者成像之间的偏差。这时，可以对制造好的图像传感器进行强制软件矫正。例如，通过引入标定靶并使得第一子图像传感器323和第二子图像传感器324的成像都与标定靶对齐，从而实现真正的像素级矫正。

如图所示，本发明的图像传感器320可以实现为单独的模块。为此，该图像传感器320还可以包括壳体，用于固定镜片单元、分束装置、和两个感光单元的相对位置。优选地，壳体可以结合镜片单元321形成密封体，以避免外界环境对所含器件的污染。在其他实施例中，本发明的图像传感器320可以是更大的模块(例如，深度数据测量头)的一部分，并且由该更大模块的壳体实现各元件之间的固定。

优选地，图像传感器320还可以包括分别连接至第一子图像传感器323和第二子图像传感器324的线缆。壳体则具有用于线缆接入的开口。

在一个实施例中，线缆可以是柔性线缆，例如FPC(柔性电路板)线。

在一个实施例中，光束在入射第一子图像传感器323和第二子图像传感器324之前，还可以经过滤光片，以进一步滤除其他波长的光的影响。在一个实施例中，投射装置可以投射红外激光，因此图像传感器中布置的滤光片可以是相应的红外光透射单元，用于透过特定频率范围红外光，例如本发明中使用波长为780-1100nm的红外光。在其他实施例中，投射装置也可以投射可见光，例如投射红色激光或是蓝色激光，例如635nm的红光或者450nm的蓝光。虽然环境光中可能也包括红光或是蓝光，但是由于曝光时间短且激光瞬时光强大，因此也能够在对应的投射红光或是蓝光的滤光片的帮助下进行高信噪比的成像。

优选地，在分束装置是四方棱镜的情况下，滤光片的一侧可以直接与四方棱镜物理接触，另一侧与感光单元物理接触，而感光单元和四方棱镜则卡接在壳体内，由此确保各器件相对位置的高度不变性。

在某些实施例中，尤其是在第一和第二子图像传感器是用于接收投射的红外图案的红外光传感器的情况下，图像传感器中还可以布置额外的可见光感光单元(图中未示出)用来捕获被测物体的图像信息，从而使得图像传感器捕获的图像中既包含被测物体的图像信息又包含深度信息。可见光感应单元可以是灰度传感器，或是彩色传感器。其中灰度传感器仅捕获亮度信息，彩色传感器则可用于捕获被测物体的色彩信息，此时可见光感应单元可由三原色感应单元组成，其中三原色可以是红绿蓝三原色(RGB)也可以是青红黄三原色(CMY)。

应该理解的是，虽然基于图3具体描述的第一图像传感器320的结构，但第二图像传感器330也可以具有相同的结构。另外，应该理解的是，可以将323和333看作是第一组双目，324和334看作是第二组双目，但也可以将323和334看作第一组双目，324和333看所第二组双目，只要在相应的图案入射后接通成像即可。

在如图3所示利用分束实现光路共享的情况下，由于每一个感光单元获取的光亮会减少，为此可以通过增加投射亮度或是扩大入射光圈的方法来确保成像的敏感性或是有效距离范围。

为此，作为替换，还可以基于光路转换来实现光路共享。此时，图像传感器220或是第一和第二图像传感器320和330可以各自包括：镜片单元，用于接收入射的返回结构光；光路转换装置，用于将入射的返回结构光输送至至少第一子路径和第二子路径；第一子图像传感器，用于在第一子路径上对返回结构光进行成像；第二子图像传感器，用于在第二子路径上对对应于不同图案的返回结构光进行成像。在一个实施例中，光路转换装置可以是转镜，其可以在例如第0毫秒将入射光反射至感光单元323，在第1毫秒将入射光反射至感光单元324等等。在其他实施例中，光路转换装置也可以是基于其他机械、化学或电学原理进行光路转换的装置。

如前所示，投影装置310投射的不同图案的一组结构光可以是一组具有不同编码条纹的结构光，例如图1或图2的图案。在某些情况下，投影装置310可以是每次投射一幅完整图案的投影装置，在其他情况下，投影装置310可以是通过线型光的明暗扫描或是光点的二维扫描来完成图案的装置。

为此，投影装置310可以包括：激光发生器，用于生成线型和/或点激光，并且所述激光发生器进行高速切换以扫描投射与条纹编码相对应的明暗相间的结构光。更具体地，所述投影装置包括：发光装置，用于产生线型光，所述激光发生器可以包括在发光装置内；以及反射装置，用于反射线型光，以向拍摄区域投射在所述条纹方向的垂直方向上移动的线型光。在图3的模块310中，用矩形示出了发光装置，用斜线示出了反射装置。所述反射装置可以包括如下之一：以预定频率往复运动的机械振镜，用于以所述预定频率向所述拍摄区域扫描投射所述线型光，其中，所述线型光的长度方向是所述投射条纹的长度方向；以预定频率往复振动的微镜器件，用于以所述预定频率向所述拍摄区域扫描投射所述线型光，其中，所述线型光的长度方向是所述投射条纹的长度方向。

在投影装置进行扫描式投影的情况下，虽然图像传感器可以是全局图像传感器(即，所有像素同时进行成像)，但优选实现为卷帘式图像传感器。为此，测量头300还可包括：列同步装置，用于基于所述投影装置的扫描位置，同步开启当前用于成像的子图像传感器与当前扫描位置中相对应的条纹方向上的像素列进行成像。

在一个优选实施例中，由于卷帘式图像传感器通常只能进行单向列曝光，例如，从第一行到第1000行的曝光，而不是相反，因此在本发明一个图像传感器中安装的两个子图像传感器可以是彼此上下颠倒安装的卷帘式图像传感器，由此实现彼此反向的列曝光，以使得振镜不需要从某一个固定位置开始投射，而是在往复运动的两侧都开始投射。

例如，振镜从左往右的运动可以扫描投射出一个条纹图案，相应地第一子图像传感器可以从左往右地进行列曝光。在完成一个条纹图案的投射之后，振镜不需要返回左侧，而是可以直接从右往左扫描投射第二个条纹图案，此时由于第二子图像传感器相对于第一子图像传感器上下颠倒布置，因此第二子图像传感器可以从右往左地进行列曝光。同样应该理解的是，本发明测量头的投影装置可以具有图3所示以外的结构，例如印有固定图案的光栅等。

图6示出了根据本发明一个实施例的深度数据测量头进行列同步成像的示意图。如图6所示，深度数据测量头600包括投影装置610以及两个图像传感器620和630。

投影装置610用于向拍摄区域扫描投射具有条纹编码的结构光。例如，在相继的3个图像帧投射周期内，投影装置610可以接连投射如图1所示的三个图案，这三个图案的成像结果可用于深度数据的生成。可以分别称为第一和第二图像传感器的620和630则具有预定相对位置关系，用于对拍摄区域进行拍摄以分别获得在结构光照射下的第一和第二二维图像帧。例如，在投影装置610投射如图1所示的三个图案的情况下，第一和第二图像传感器620和630可以在三个同步的图像帧成像周期内分别对投射有这三个图案的拍摄区域(例如，图3中的成像平面及其前后一定范围内的区域)进行成像。这三次成像分别使用不同组的感光单元。

如图6所示，投射装置610可以在z方向上(即，朝向拍摄区域)投射在x方向上延伸的线型光。在不同的实施例中，上述线型光的投射可以是已经成形的(即，出射光本身即是线型光)，也可以是在x方向上移动的光点(即，扫描得到的线型光)。投射的线型光可以在y方向上持续移动，以覆盖整个成像区域。图6下部针对拍摄区域的透视图对线型光的扫描给出了更易理解的图示。

在本发明的实施例中，将光线出射测量头的方向约定为z方向，拍摄平面的竖直方向为x方向，水平方向为y方向。于是，投射装置所投射的条纹结构光，可以是在x方向延伸的线型光在y方向上移动的结果。虽然在其他实施例中，也可以针对水平y方向上延伸的线型光在x方向上移动得到的条纹结构光进行同步和成像处理，但在本发明的实施例中仍优选使用竖直条纹光进行说明。

进一步地，测量头600还包括列同步装置650。列同步装置650分别与投影装置610以及第一和第二图像传感器620和630相连接，以实现三者之间的精确同步。具体地，列同步装置650可以基于投影装置610的扫描位置，同步开启第一和第二图像传感器620和630的对应一组的感光单元中与当前扫描位置相对应的条纹方向上的像素列进行成像。如图3所示，当前条纹正扫描至拍摄区域的中心区域。为此，图像传感器620和630的对应一组的感光单元中，位于中心区域的像素列(例如，3个相邻的像素列)被开启进行成像。随着条纹在y方向上的移动(如图3下部透视图中的箭头所示)，图像传感器620和630的对应一组的感光单元中开启用于成像的像素列也相应地同步移动(如图3左上框图中矩阵上方的箭头所示)。由此，可以利用条纹图像的一维特性，控制每一时刻进行成像的像素列的范围，从而降低环境光对测量结果的不利影响。为了进一步降低环境光的影响，投射装置尤其适用于投射不易与环境光混淆的光，例如红外光。另外，由于像素列与扫描光的对应关系受到投射光的宽度、功率、速度、图像传感器的感光效率等诸多因素的影响，因此每次同步开启的像素列范围(及对应数量)例如可以基于标定操作来确定。

图7A-B示出了图6所示投影装置的放大操作例。具体地，如图6所示的，在投影装置610中，激光发生器(如图7A-B中详细示出的激光发生器711)发出的激光经投射机构(如图7A-B中详细示出的投射机构712)扫描投射至拍摄区域(图6中的灰色区域)，用以对拍摄区域中的待测对象(例如，图6中的人)进行主动结构光投射。一对图像传感器620和630对拍摄区域进行成像，由此获取进行深度数据计算所需的图像帧。如图3所示，投射装置610发出的虚线用于表示其投射范围，而图像传感器620和630发出的虚线用于表示其各自的成像范围。拍摄区域通常位于这三者各自投射和成像范围的重叠区域。

在实际应用中，激光发生器用于生成线型和/或红外激光，并且所述激光发生器进行高速切换以扫描投射与条纹编码相对应的明暗相间的结构光。高速切换可以包括激光发生器的高速开关以及高速编码切换。

在一个实施例中，激光发生器可以持续发出强度相同的激光，并且投射的条纹图案通过对激光发生器的开启和关断来实现。在此情况下，由于激光发生器只投射一种强度的光，图像传感器的每个像素仅需记录光的“有无”，因此配备的图像传感器可以是黑白图像传感器。

在另一个实施例中，激光发生器本身可以发出光强变化的激光，例如，根据施加的功率使得出射光强呈正弦变换的激光。上述正弦变换的激光可以与条纹投射相结合，由此，扫描投射出明暗相间且明条纹之间的亮度也有所不同的图案。在此情况下，图像传感器需要具备对不同光强进行区别成像的能力，因此可以是多阶的灰度图像传感器。显见的是，灰度投射和成像可以比黑白投射和成像提供更为精确的像素间匹配，从而提升深度数据测量的准确性。

在一个实施例中，激光发生器711可以是线型激光发生器，生成在x方向上延伸的线型光(图7A-B中垂直于纸面的方向)。该线型光随后由可沿着x方向上的轴摆动的反射机构712投射至成像平面。反射机构712的摆动附图如图7B所示。由此就能够在成像平面的AB范围内进行往复的线型光扫描。

在一个实施例中，上述反射机构712可以是微镜器件(也可称为数字微镜器件，DMD)，并且可被实现为一种MEMS(微机电系统)。图8示出了本发明使用的投影装置的一个简化透视原理图。如图8所示，激光器产生的点激光可经由透镜得到线型光(对应于图7的线型激光发生器711)，上述线型光再经由MEMS形式的微镜器件反射，反射的线型光再经由光窗投射至外部空间。微镜器件有着极高的性能，例如，市售的DMD能够以2k的频率进行高度平稳的往复振动，从而为高性能深度成像奠定基础。

在其他实施例中，扫描投射的激光也可以是点激光，于是需要投射机构相应地在二维方向上(图中的xy两个方向上)变换投射方向。例如，投射机构先在x方向上扫描出条纹光，再进行y方向上的位移，继续在不同的y位置处进行x方向上的扫描。

无论是直接投射y方向上移动的条纹光，还是投射需要在x方向上移动形成条纹并在y方向上位移的点光，其在拍摄区域上呈现的都是随时间在y方向上移动的条纹。随着光斑在y方向上的移动，图像传感器上用于记录该图像帧的全部像素中的特定像素列被开启，以使其能够收集对应位置反射回的光线。图9示出了图像传感器中的像素列轮番开启的示意图。如图9所示，当投影装置投射的条纹从成像区域的中部向一侧移动时，图像传感器的像素阵列中，开启用于成像的像素列也随之从中部向一侧移动。由此，使得像素列仅仅在对应的拍摄区域被扫描的那一段时间内进行成像记录，并且在其他时间内不进行记录。由于投射的激光的强度要高于环境光强度，因此在环境光在本发明的同步开启方案下无法累加的情况下，能够极为准确地对结构光本身进行成像。由于常规的图像传感器通常进行行曝光，为此，本发明中使用的逐列(或多列同时)曝光的图像传感器可以基于现有图像传感器转置90°得到。在转置之后，需要对其添加整列同时曝光的控制。

应该理解的是，图6和图9中示出的像素矩阵仅仅是为了说明本发明同步原理的给出的例子。在实际的应用中，图像传感器的像素矩阵往往具有更高的量级(例如，1000x1000)，并且每次同时开启的像素列也可以根据标定而具有不同的范围(例如，每次开启3列，或在针对拍摄区域的不同位置开启不同列数等)。另外，图像传感器中像素列的开启可以仅仅与投射装置中投射结构的扫描位置相关，与当前是否真的投射出条纹光无关。换句话说，基于投影结构光明暗条纹的分布而进行的激光发射器的关闭和开启，并不会影响投射结构的扫描投射动作，也不会影响与上述扫描投射动作同步的图像传感器像素列开启动作。

如上的投影装置可以包括以预定频率往复振动的振镜，例如MEMS振镜或是机械振镜，用于以预定频率向所述拍摄区域扫描投射线型激光。由于振镜可以实现极高的振动频率，例如，每秒2k，这相当于250μs扫出一个完整的投射结构光，因此需要对反射的光线位置进行极为精确的同步。上述精确性使得无法直接利用MEMS振镜的启动信号来进行同步(因为延时不可靠)，因此考虑到微镜器件相位振动的特性，可以在同步装置中包括用于实时测量振镜的振动相位的测量装置，并且基于测量装置的测量结果，进行像素列成像的同步开启。由此确保扫描和成像在极高频率下的同步。在本发明的多组同轴双目的实现中，可以要求振镜在一个毫秒内扫出一个完整的投射结构光。

在一个实施例中，上述测量可以基于出射光本身。于是，上述测量装置可以是一个或多个光电传感器(例如，两个光电二极管PD)，并且所述两个光电传感器以如下任一方式布置：布置在所述投影装置的不同出射路径上；布置在所述投影装置内的不同反射路径上；以及分别布置在所述投影装置内外的出射和反射路径上。可以合理选择光电传感器的布置方式，以使其在准确测量相位的同时，不对结构光的正常投影产生影响。如图5所示，可将PD安装在投影装置内，通过测量激光出射光窗时的反射角来确定瞬时的振动相位。由于MEMS振镜的振动相位成正弦分布，因此一个PD就能确定正弦分布信息，而更多的PD有助于更准确的测量相位。在其他实施例中，也可以将PD安装在投影装置外，例如，安装在光窗上，例如靠近光窗边缘以防止对拍摄区域内投影的影响。在其他实施例中，还可以利用其他方式进行相位测量，例如进行电容测量。

在一个实施例中，每个图像传感器在投影装置每进行一次扫描投射后完成一幅图像帧的成像。例如，振镜在完成半个周期的振动以将x方向的条纹光从拍摄区域的一侧扫描至另一侧后，即完成一个图像帧(例如，图1或图2中的一个图案)的成像。在投影装置的投射功率有限，或是被测对象离开测量头较远的情况下，图像传感器在单次扫描后获取的电荷量通常无法进行成像，则需要进行多测扫描成像。于是，每个图像传感器在投影装置每进行预定次数的扫描投射后完成一幅图像帧的成像。例如，DMD可以在连续5个振动周期内扫描相同的结构光图案，使得图像传感器获取足以成像的电荷量，再在下5个振动周期内扫描相同的下一幅结构光图案，并由此类推。

虽然图8中示出了用作反射装置的振镜。但是在其他实施例中，反射装置可以是单向转动的机械转镜，用于以所述预定频率向所述拍摄区域扫描投射激光发生器生成的线型光。相应地，同步装置所包括的测量装置可以是用于实时测量所述反射装置的电机旋转角度的角测量器。同步装置于是可以基于角测量器的测量结果，进行像素列成像的同步开启。

在如上的实施例中，扫描线与列像素曝光之间的同步通过控制图像传感器的曝光来实现。这可以用于光源扫描可控的情况下(例如，可以通过电压和电流来控制机械振镜的角度和转速)，尤其适用于光源扫描的相位和速度不可控(例如，对于MEMS振镜或机械转镜)的情况。于是，MEMS振镜可以使用PD或者电容来检测角度，机械转镜也可以通过电压检测或光电编码来实现位置检测。

无论是转动速度可控并呈往复运动的振镜，还是转动不可控并呈单向匀速运动的转镜，由于其角速度能够与卷帘式图像传感器的逐行曝光速度相匹配，因此都能够实现基于线激光扫描的逐行曝光方案。

根据本发明的另一个实施例，还可以实现为一种深度数据计算设备，包括：如上所述的深度数据测量头；以及与所述深度数据测量头相连接的处理器，用于在单目方案下根据所述图像传感器的参考图像及其对所述结构光成像得到的所述一组图像帧，确定所述拍摄区域中拍摄对象的深度数据；或是在双目方案下根据第一和第二图像传感器的预定相对位置及其对所述结构光成像得到的所述一组图像帧对，确定所述拍摄区域中拍摄对象的深度数据。

根据本发明的另一个实施例，还可以实现为一种深度数据测量方法。图10示出了根据本发明一个实施例的深度测量方法的示意性流程图。该方法可以利用本发明的深度数据测量头实现。

在步骤S1010，向拍摄区域扫描投射结构光(第一图案)。在步骤S1020，使用第一子图像传感器(例如，子图像传感器223，或是子图像传感器323和333)，对所述拍摄区域进行拍摄以获得在结构光照射下的第一图像帧。S1030，向拍摄区域扫描投射不同图案的第二结构光(第二图案)。在步骤S1040，使用第二子图像传感器(例如，子图像传感器224，或是子图像传感器324和334)，用于对所述拍摄区域进行拍摄以获得在第二结构光照射下的第二图像帧，其中，第一和第二子图像传感器共用至少部分光路并组成图像传感器，所述第一和第二图像帧用于所述拍摄区域的单次深度数据计算。

在双目实现中，步骤S1020可以包括使用具有预定相对位置关系的第一子图像传感器对(例如，323和333)，对所述拍摄区域进行拍摄以获得在结构光照射下的第一图像帧对。步骤S1040则可包括使用第二子图像传感器对(例如，324和334)，用于对所述拍摄区域进行拍摄以获得在第二结构光照射下的第二图像帧对，其中，第一和第二子图像传感器对同轴。即，第一和第二子图像传感器对中各自的一个子图像传感器共用至少部分光路并组成第一图像传感器，第一和第二子图像传感器对中各自的另一个子图像传感器共用至少部分光路并组成第二图像传感器，所述第一和第二图像帧对用于所述拍摄区域的单次深度数据计算。

向拍摄区域扫描投射不同图案的第二结构光包括：以相距投射所述结构光小于所述子图像传感器的帧成像间隔的第一间隔投射所述第二结构光，并且第一子图像传感器(对)拍摄所述第一图像帧(对)相距第二子图像传感器(对)拍摄所述第二图像帧(对)的时间间隔小于所述子图像传感器的帧成像间隔。

在一个实施例中，该方法还包括：向拍摄区域扫描投射第三结构光，所述第三结构光的图案与所述结构光和所述第二结构光不同；使用所述第一或第二子图像传感器(对)，对所述拍摄区域进行拍摄以获得在第三结构光照射下的第三图像帧(对)，其中，所述第三图像帧(对)用于所述拍摄区域的单次深度数据计算，或者使用第三子图像传感器(对)，对所述拍摄区域进行拍摄以获得在第三结构光照射下的第三图像帧(对)。

其中，所述第三子图像传感器属于所述图像传感器并与其内的其他子图像传感器共用至少部分光路。具体地，在双目方案中，所述第三子图像传感器对中的一个子图像传感器属于所述第一图像传感器并与其内的其他子图像传感器共用至少部分光路，所述第三子图像传感器对中的另一个子图像传感器属于所述第二图像传感器并与其内的其他子图像传感器共用至少部分光路，并且第三图像帧对用于所述拍摄区域的单次深度数据计算。

向拍摄区域扫描投射第三结构光包括：以相距投射所述结构光不小于所述子图像传感器的帧成像间隔的第二间隔投射所述第三结构光，并且使用所述第一子图像传感器(对)，对所述拍摄区域进行拍摄以获得在第三结构光照射下的所述第三图像帧(对)。

为了实现同轴，所述第一子图像传感器(对)和所述第二子图像传感器(对)可以各自对获取到所述结构光和所述第二结构光的分束光束，并且选择性地接通第一子图像传感器(对)或所述第二子图像传感器(对)进行拍摄；或者控制入射光的光路以使得仅有所述第一子图像传感器对获取到所述结构光并进行拍摄，并仅有所述第二子图像传感器对获取到所述第二结构光并进行拍摄。

本发明还可以实现为一种深度数据计算方法，包括：根据如上所述的深度数据测量方法获取第一和第二图像帧(对)，或第一、第二和第三图像帧(对)；以及根据所述预定相对位置以及第一和第二图像帧(对)，或第一、第二和第三图像帧(对)，确定所述拍摄区域中拍摄对象的深度数据。

上文中已经参考附图详细描述了根据本发明的多组同轴单目和双目方案。该方案通过引入多组同轴的感光单元，能够降低多帧合并计算深度数据时所需的成像时间并提升帧率。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (22)

1.一种深度数据测量头，包括：

投影装置，用于向拍摄区域扫描投射不同图案的一组结构光，所述一组结构光中包含至少两个不同图案的结构光；

图像传感器，用于对所述拍摄区域进行拍摄以获得在所述一组结构光照射下的一组图像帧，以用于所述拍摄区域的单次深度数据计算，

其中，所述图像传感器包括至少共用部分光路的至少两个子图像传感器，所述至少两个子图像传感器分别用于对所述投影装置相继投射的不同图案的结构光进行成像。

2.如权利要求1所述的深度数据测量头，其中，所述图像传感器包括：

具有预定相对位置关系的第一和第二图像传感器，用于对所述拍摄区域进行拍摄以获得在所述一组结构光照射下的一组图像帧对，以用于所述拍摄区域的单次深度数据计算，

其中，所述第一和第二图像传感器各自包括至少共用部分光路的至少两个子图像传感器，所述至少两个子图像传感器分别用于对所述投影装置相继投射的不同图案的结构光进行成像。

3.如权利要求1或2所述的深度数据测量头，包括：

同步装置，用于在所述投影装置以小于所述子图像传感器的帧成像间隔的第一间隔投射至少两个不同图案的结构光的同时，使得所述至少两个子图像传感器同步地以所述第一间隔相继分别对所述至少两个不同图案的结构光进行成像。

4.如权利要求3所述的深度数据测量头，其中，所述同步装置用于：

使得每个子图像传感器以不小于所述子图像传感器的帧成像间隔的第二间隔进行自身的下一帧成像，并与所述投影装置的投射同步。

5.如权利要求1或2所述的深度数据测量头，其中，所述图像传感器包括：

镜片单元，用于接收入射的返回结构光；

分束装置，用于将入射的返回结构光分成至少第一光束和第二光束；

第一子图像传感器，用于对第一光束进行成像；

第二子图像传感器，用于对对应于不同图案的返回结构光的第二光束进行成像。

6.如权利要求1或2所述的深度数据测量头，其中，所述图像传感器包括：

镜片单元，用于接收入射的返回结构光；

光路转换装置，用于将入射的返回结构光输送到至少第一子路径和第二子路径；

第一子图像传感器，用于在第一子路径上对返回结构光进行成像；

第二子图像传感器，用于在第二子路径上对对应于不同图案的返回结构光进行成像。

7.如权利要求1或2所述的深度数据测量头，其中，至少共用部分光路的至少两个子图像传感器具有相同长度的光路。

8.如权利要求7所述的深度数据测量头，其中，至少共用部分光路的至少两个子图像传感器是像素级对齐的。

9.如权利要求1或2所述的深度数据测量头，其中，至少共用部分光路的至少两个子图像传感器是红外光传感器；和/或

所述图像传感器包括：

可见光图像传感器，用于对入射的结构光进行成像，其中所述可见光传感器与第一和/或第二图像子传感器共用至少部分光路。

10.如权利要求1所述的深度数据测量头，其中，所述投影装置投射的不同图案的一组结构光是一组具有不同编码条纹的结构光。

11.如权利要求1所述的深度数据测量头，其中，所述投影装置包括：

激光发生器，用于生成线型和/或点激光，并且所述激光发生器进行高速切换以扫描投射与条纹编码相对应的明暗相间的结构光。

12.如权利要求11所述的深度数据测量头，其中，所述投影装置包括：

发光装置，用于产生线型光；以及

反射装置，用于反射线型光，以向拍摄区域投射在所述条纹方向的垂直方向上移动的线型光。

13.如权利要求11所述的深度数据测量头，其中，所述至少共用部分光路的至少两个子图像传感器是全局式图像传感器；或者

所述至少两个子图像传感器是卷帘式图像传感器，并且所述深度数据测量头还包括：

列同步装置，用于基于所述投影装置的扫描位置，同步开启当前用于成像的子图像传感器与当前扫描位置中相对应的条纹方向上的像素列进行成像。

14.如权利要求13所述的深度数据测量头，其中，所述至少两个子图像传感器彼此上下颠倒安装。

15.一种深度数据计算设备，包括：

如权利要求1-14中任一项所述的深度数据测量头；以及

与所述深度数据测量头相连接的处理器，用于根据对所述结构光成像得到的所述一组图像帧，确定所述拍摄区域中拍摄对象的深度数据。

16.一种深度数据测量方法，包括：

向拍摄区域扫描投射结构光；

使用第一子图像传感器，对所述拍摄区域进行拍摄以获得在结构光照射下的第一图像帧；

向拍摄区域扫描投射不同图案的第二结构光；

使用第二子图像传感器，用于对所述拍摄区域进行拍摄以获得在第二结构光照射下的第二图像帧，其中，第一和第二子图像传感器共用至少部分光路并组成图像传感器，所述第一和第二图像帧用于所述拍摄区域的单次深度数据计算。

17.如权利要求16所述的方法，其中，使用第一子图像传感器，对所述拍摄区域进行拍摄以获得在结构光照射下的第一图像帧包括：

使用具有预定相对位置关系的第一子图像传感器对，对所述拍摄区域进行拍摄以获得在结构光照射下的第一图像帧对，使用第二子图像传感器，用于对所述拍摄区域进行拍摄以获得在第二结构光照射下的第二图像帧包括：

使用第二子图像传感器对，用于对所述拍摄区域进行拍摄以获得在第二结构光照射下的第二图像帧对，其中，第一和第二子图像传感器对中各自的一个子图像传感器共用至少部分光路并组成第一图像传感器，第一和第二子图像传感器对中各自的另一个子图像传感器共用至少部分光路并组成第二图像传感器，所述第一和第二图像帧对用于所述拍摄区域的单次深度数据计算。

18.如权利要求16所述的方法，其中，向拍摄区域扫描投射不同图案的第二结构光包括：

以相距投射所述结构光小于所述子图像传感器的帧成像间隔的第一间隔投射所述第二结构光，并且

第一子图像传感器拍摄所述第一图像帧对相距第二子图像传感器对拍摄所述第二图像帧的时间间隔小于所述子图像传感器的帧成像间隔。

19.如权利要求18所述的方法，还包括：

向拍摄区域扫描投射第三结构光，所述第三结构光的图案与所述结构光和所述第二结构光不同；

使用所述第一或第二子图像传感器，对所述拍摄区域进行拍摄以获得在第三结构光照射下的第三图像帧，其中，所述第三图像帧对用于所述拍摄区域的单次深度数据计算，或者

使用第三子图像传感器，对所述拍摄区域进行拍摄以获得在第三结构光照射下的第三图像帧，其中，所述第三子图像传感器属于所述图像传感器并与其内的其他子图像传感器共用至少部分光路，并且第三图像帧用于所述拍摄区域的单次深度数据计算。

20.如权利要求19所述的方法，其中，向拍摄区域扫描投射第三结构光包括：

以相距投射所述结构光不小于所述子图像传感器的帧成像间隔的第二间隔投射所述第三结构光，并且

使用所述第一子图像传感器对，对所述拍摄区域进行拍摄以获得在第三结构光照射下的所述第三图像帧对。

21.如权利要求16所述的方法，其中，所述第一子图像传感器和所述第二子图像传感器对各自获取到所述结构光和所述第二结构光的分束光束，并且选择性地接通第一子图像传感器或所述第二子图像传感器进行拍摄；或者

控制入射光的光路以使得仅有所述第一子图像传感器对获取到所述结构光并进行拍摄，并仅有所述第二子图像传感器对获取到所述第二结构光并进行拍摄。

22.一种深度数据计算方法，包括：

根据权利要求16-21中任一项所述的深度数据测量方法获取第一和第二图像帧，或第一、第二和第三图像帧；以及

根据第一和第二图像帧，或第一、第二和第三图像帧，确定所述拍摄区域中拍摄对象的深度数据。

Images