CN107085343A - 结构光投影装置及深度相机 - Google Patents

Abstract

本发明提供一种结构光投影装置，包括光源和图案生成器，光源发射的光束经图案生成器形成结构光图案并向外发射，所述结构光图案在至少一个维度上发生变化，使得在所述至少一个维度上当多个所述结构光图案有至少部分重叠时所述结构光图案可以被分辨。与现有技术公开的深度相机相比，其从源头上解决干扰的问题，改变投影模组所发射的结构光图案，使结构光图案具有沿某一维度发生变化的特性，从而使得当多个深度相机的测量空间有部分重叠时，在重叠区域内的结构光图案依然可以被清晰地分辨，进而不会由于图案重叠影响到深度图像的获取，从而实现抗干扰的目的。

Description

结构光投影装置及深度相机

技术领域

本发明涉及光学投影及测量技术领域，尤其涉及一种抗干扰的结构光投影装置及深度相机。

背景技术

基于结构光的深度相机由于其精度高、采集速度快等优点目前被广泛使用在体感游戏、机器人及无人机视觉系统等领域。深度相机通过其中的投影模组向目标空间投射固定的结构光图案，再由深度相机中的采集相机采集目标空间的结构光图像，并根据对该结构光图像的解码来计算目标空间的深度图像。

当前结构光深度相机在使用中所面临的一个问题在于：当多个深度相机测量区域重叠时会使得获取的深度图像较差，甚至出现大面积空洞等问题。导致这一问题的原因在于多个深度相机所投影出的结构光图案有重叠，使得单个深度相机采集到的结构光图像与投影结构光图案不一致从而导致重叠区域无法被解码。现有技术中解决这一问题的方案有多种，比如使用至少两个采集相机来实现基于结构光的主动双目深度测量，由于无需要参考图像来进行深度解码，因而可以避免多相机共存时的干扰问题；另外如通过控制不同深度相机在时间上错开获取深度图像、控制多个深度相机的工作波长或者控制多个深度相机之间的相对移动来实现抗干扰。尽管如此，实现上述的抗干扰方法都需要花费较大的成本。

发明内容

为解决上述问题，本发明提出一种结构光投影装置，其从源头上解决干扰的问题，无需增加装置或使装置进行移动，且成本低、便于普及推广。

本发明提供一种结构光投影装置，包括光源和图案生成器，光源发射的光束经图案生成器形成结构光图案并向外发射，所述结构光图案在至少一个维度上发生变化，使得在所述至少一个维度上当多个所述结构光图案有至少部分重叠时所述结构光图案可以被分辨。

优选地，所述维度包括沿结构光图案的任一方向和以结构光图案中某点为中心向四周扩散的极坐标方向；所述至少一个维度包括所述任一方向、所述极坐标方向中的一个或多个的结合。

进一步地优选，所述沿结构光图案的任一方向包括沿所述结构光图案的左右方向和/或上下方向；所述结构光图案的图案内容沿左右方向和/或上下方向发生变化，当多个所述结构光图案在左右方向和/或上下方向上有至少部分重叠时，所述结构光图案可以被分辨。

进一步地优选，所述沿结构光图案的极坐标方向包括以所述结构光图案中心为原点向四周扩散的极坐标方向；所述结构光图案的图案内容随着与所述原点的距离发生变化，当多个所述结构光图案在任意方向上至少有部分重叠时，所述结构光图案可以被分辨。

优选地，所述变化包括所述结构光图案中至少部分图案的分布密度发生变化。

优选地，所述变化包括所述结构光图案中至少部分图案的大小发生变化。

优选地，所述变化包括所述结构光图案中至少部分图案的形状和/或样式发生变化。

优选地，所述发生变化指的是所述结构光图案中至少部分图案的分布密度、大小、形状、样式中的至少两个均发生变化。

本发明还提供一种深度相机，包括：如上所述的投影装置，用于向目标空间投影结构光图案；采集装置，用于采集所述结构光图案；处理器，用于根据所述结构光图案计算深度图像。

优选地，所述根据所述结构光图案计算深度图像包括：利用一个采集装置采集的结构光图案与预先采集的参考结构光图案计算出各像素的偏离值，进一步根据所述偏离值计算出所述深度图像；或利用至少两个采集装置采集的结构光图案计算出各像素的偏离值，进一步根据所述偏离值计算出所述深度图像。

本发明的有益效果：与现有技术公开的深度相机相比，其从源头上解决干扰的问题，改变投影模组所发射的结构光图案，使结构光图案具有沿某一维度发生变化的特性，从而使得当多个深度相机的测量空间有部分重叠时，在重叠区域内的结构光图案依然可以被清晰地分辨，进而不会由于图案重叠影响到深度图像的获取，从而实现抗干扰的目的。

附图说明

图1为本发明具体实施方式中深度相机的剖视图。

图2a为本发明实施例1的结构光图案。

图2b为本发明实施例1的结构光图案部分重叠的图案。

图3a为本发明实施例2的结构光图案。

图3b为本发明实施例2的结构光图案部分重叠的图案。

图4a为本发明实施例3的结构光图案。

图4b为本发明实施例3的结构光图案部分重叠的图案。

图5为本发明实施例4的结构光投影装置。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“左”、“右”“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

当投影的结构光图案比较复杂时，为了确定物体表面点与其图像像素点之间的对应关系，需要对投射的图案进行编码。对于结构光原理的深度相机，包括时域编码和空间编码结构光的深度相机，目前比较常用的是空间编码结构光的深度相机，即将结构光的图案在空间上进行编码，常用的图案有散斑颗粒图案、条纹、光栅等。当多个深度相机的测量区域存在重叠时，所发射的结构光图案相互之间就会产生重叠，例如散斑颗粒图案，目前采用的是分布相对均匀的散斑颗粒图案，重叠区域的图案密度会变大，另外重叠区域的图案分布将会被严重改变，不利于进一步的解码生成深度图，往往得到的深度图像中，重叠区域的误差较大甚至出现大面积的空洞现象。

本发明将针对多个深度相机测量区域重叠时，提出一种抗干扰的结构光深度相机。本发明将大幅度改善当多个深度相机测量区域存在全部重叠或部分重叠时获取的深度图像的质量。

以下将结合附图及具体实施例进行进一步说明。

深度相机

一种基于结构光的深度相机，其侧面剖视图如图1所示。深度相机10主要的组成部件有结构光投影装置11、采集装置12、处理器13，以及主板14，在一些深度相机中还配备了RGB相机15。结构光投影模组11、采集模组12以及RGB相机15一般被安装在同一个深度相机平面上，且处于同一条基线，每个模组或相机都可对应一个进光窗口17。一般地，处理器13被集成在主板14上，而结构光投影模组11与采集装置12通过接口16与主板14连接，优选接口为FPC接口。其中，结构光投影装置11用于向目标空间中投射经编码的结构光图案，采集装置采集到该结构光图像后通过处理器的处理从而得到目标空间的深度图像。

深度相机10可以是独立电子设备，通过USB、无线等接口与其他计算设备如电视、电脑等连接，将获取的深度图像传输进其他计算设备进行进一步的处理。在另一实施例中，深度相机10也可以做为电子元器件被集成到诸如手机、电脑、电视等计算设备中，作为此类计算设备的部件之一，为其提供3D视觉能力。

深度相机10中的结构光投影装置11包括：光源111和图案生成器113，还可以包括透镜112。光源111发射光束经过透镜112准直后入射到图案生成器113上。光源111可为边发射激光器、垂直腔面发射激光器(VCSEL)等，根据需求不同，可以发射不同波长的激光，如红外边发射激光器、红外垂直腔面发射激光器等。另外，光源111可以为单一光源，也可以为光源阵列。透镜112用于准直光束，这样设置的好处在于可以用来控制光束的发散角，使得发散角相同或不相同。透镜112可以是普通透镜、菲涅尔透镜或者微透镜阵列等。图案生成器113，具体为衍射光学元件(DOE),图案生成器的作用是将光束经衍射后形成结构光图案并向外发射，其结构光图案有散斑颗粒图案、条纹、光栅等，例如：结构光图案为激光红外散斑图案，具有颗粒分布相对均匀但具有很高的局部不相关性，这里的局部不相关性指的是图案中各个子区域都具有较高的唯一性。结构光投影装置如果采用的光源为红外光源，则对应的采集装置12也为对应的红外相机。

结构光投影装置

为解决多个深度相机测量区域重叠时，容易造成干扰的问题，针对于结构光投影装置11，进行改进，包括光源111、透镜112和图案生成器113，图案生成器113被设置成用于发射具有如下性质的结构光图案。

实施例1

本实施例提供一种结构光投影装置，其向目标空间中发射的结构光图案为激光红外散斑图案。如图2a所示，其结构光图案200是散斑颗粒图案的一种，与已有技术中不同的是，图案200中颗粒的分布密度沿横向发生变化，具体地指在横向维度上颗粒分布密度越来越小。如图2所示，选择图案的一个子区域，可以明显看到左侧的子区域201中颗粒的数量要大于右侧的子区域202。在其他的实施例中，颗粒的分布密度在横向维度上越来越大。

图2b所示的图案210是当两个深度相机左右放置且测量空间有部分重叠的情形。图案210可以看成是两个图案200在左右方向上有部分重叠的情形。由于是部分重叠，重叠区域可以看成是图案200中部分左边区域与部分右边区域的重叠，由于左右密度不同，因而即使有重叠，重叠区域203中会保留原始的部分区域201及202的散斑颗粒分布特征。在计算深度图像时，一般是将当前获取的结构光图像与预先获取的参考结构光图像进行匹配计算以获取各像素的偏离值，最后通过偏离值来计算深度图像。参考结构光图像一般是无重叠的结构光图像，例如图案200，当前获取的结构光图像中有一部分是重叠图案，由于本发明中重叠图案中仍保留了原始图案的特征，因此在进行匹配计算时依然能够得到较好的结果，从而实现抗干扰能力。

以上实施例中介绍的是针对左右有部分重叠情形的沿横向密度发生变化的散斑颗粒图案，可以理解的是，可以沿其他任何方向来设置密度的变化，比如纵向、45度斜向等等。另外，在其他实施例中散斑颗粒的大小也可以沿横向发生变化，由此重叠区域的原始区域特征将更加明显。

计算深度图像时，也可以不需要预先获取参考结构光图像，而是利用两个或两个以上采集装置采集的多个结构光图案计算出各像素的偏离值，进一步根据所述偏离值计算出所述深度图像。

实施例2

本实施例提供一种结构光投影装置，其向目标空间中发射的结构光图案为激光红外条纹图案。如图3a所示，其结构光图案300是由多个矩形子图案构成，而且在图案的左侧为竖向的矩形、右侧为横向的矩形。因而结构光图案300沿横向也发生变化，只不过不是密度变化而是形状变化。可以延伸的是，在其他的实施例中，右侧也可以为圆形等其他样式，即图案沿横向其样式发生变化。

图3b所示的是结构光图案300左右重叠的情形，可以看到在重叠区域由于矩形的形状不一样，即使矩形有耦合在一起的情形，但依然能直接分辨出原始图案中的竖向及横向的矩形，即保留了原始图案中的图案特征，从而在进行深度图像计算时，可以得到较好的匹配结果。

可以理解的是，本实施例中形状或样式变化的方向可以沿任一方向，另外发生变化可以不单单仅针对形状或变化，也可以结合前面所述的密度、大小等等。

实施例3

实施例1与2中的结构光图案是沿着某一方向发生变化，多个深度相机的结构光图案在重叠时仅能是沿着该方向来重叠，否则难以达到抗干扰的效果。比如当结构光图案沿左右密度发生变化，而相应的深度相机是上下有部分重叠，此时深度相机获取的深度图像依然不能有较好的效果。

设计一种可以实现在任何方向上重叠都能实现抗干扰的结构光图案是必要的。

图4a所示的结构光图案可以看成是以图案中心为原点，随着半径越大即随着极坐标发生变化，具体变化的是子图案的形状(半径发生的变化)。图中所示的子图案是整个圆环形状，也可以是由多个圆环的部分共同组成的残缺圆环形状。

可以理解的是，图案也可以以其他任何点作为原点，如图像的四个顶点。

图4b所示的基于图4a所示的结构光图案沿任一方向的重叠图案，在重叠区域，由于图案中子图案的半径、朝向的区别，使得即使子图案耦合在一起，但仍保留了各个原始图案的特征，因此可以通过与参考图像的匹配进一步得到较好的深度图像。

实施例4

实施例1至实施例3的结构光投影装置都是包含一个图案生成器，本实施例提供的一种结构光投影装置，其由光源和多个图案生成器组成，如图5所示，结构光投影装置11包含光源111、透镜112、第一图案生成器1131和第二图案生成器1132，第一图案生成器1131和第二图案生成器1132紧密并排设置，且在同一轴平面上。第一图案生成器1131被设置成用于发射颗粒分布密度较大的结构光图案，第二图案生成器1132被设置成用于发射颗粒分布密度较小的结构光图案。由于第一图案生成器1131和第二图案生成器1132被紧密并排设置，故其向空间中发射的总结构光图案无缝连接，沿着纵向其分布密度发生改变。当有两个相机上下放置且测量空间有部分重叠时，由于上下密度不同，因而即使有重叠，重叠区域中会保留原始的部分区域的散斑颗粒分布特征。

以上实施例中介绍的是针对左右有部分重叠情形的沿横向密度发生变化的散斑颗粒图案，可以理解的是，可以沿其他任何方向来设置密度的变化，比如纵向、45度斜向等等。另外，在其他实施例中散斑颗粒的大小也可以沿横向发生变化，由此重叠区域的原始区域特征将更加明显。

另外在其他的实施例中，第一图案生成器1131和第二图案生成器1132可以被设置成用于发射不同样式、形状、图案的结构光图案。也可以结合前面所述的密度、大小等等。

另外在其他的实施例中，图案生成器可以为3个、4个或者更多个，其紧密并排设置，每个图案生成器向外发射的结构光图案不同，其不同可以为如下不同：分布密度、大小、方向、样式、形状、图案等等。

本发明在以上的阐述中，结构光图案均是假定结构光投影装置在空间中的某一平面上获取的，深度相机在实际使用中被测量的空间多是凹凸不平的，但原理上的通用性使得以上阐述同样适用了实际测量情形。凡是基于本发明的原理、精神设计的结构光投影装置、结构光图案、以及深度相机都属于本发明的保护范围内。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种结构光投影装置，其特征在于，包括光源和图案生成器，光源发射的光束经图案生成器形成结构光图案并向外发射，所述结构光图案在至少一个维度上发生变化，使得在所述至少一个维度上当多个所述结构光图案有至少部分重叠时所述结构光图案可以被分辨。

2.如权利要求1所述的投影装置，其特征在于，所述维度包括沿结构光图案的任一方向和以结构光图案中某点为中心向四周扩散的极坐标方向；所述至少一个维度包括所述任一方向、所述极坐标方向中的一个或多个的结合。

3.如权利要求2所述的投影装置，其特征在于，所述沿结构光图案的任一方向包括沿所述结构光图案的左右方向和/或上下方向；所述结构光图案的图案内容沿左右方向和/或上下方向发生变化，当多个所述结构光图案在左右方向和/或上下方向上有至少部分重叠时，所述结构光图案可以被分辨。

4.如权利要求2所述的投影装置，其特征在于，所述沿结构光图案的极坐标方向包括以所述结构光图案中心为原点向四周扩散的极坐标方向；所述结构光图案的图案内容随着与所述原点的距离发生变化，当多个所述结构光图案在任意方向上至少有部分重叠时，所述结构光图案可以被分辨。

5.如权利要求1所述的投影装置，其特征在于，所述变化包括所述结构光图案中至少部分图案的分布密度发生变化。

6.如权利要求1所述的投影装置，其特征在于，所述变化包括所述结构光图案中至少部分图案的大小发生变化。

7.如权利要求1所述的投影装置，其特征在于，所述变化包括所述结构光图案中至少部分图案的形状和/或样式发生变化。

8.如权利要求1所述的投影装置，所述发生变化指的是所述结构光图案中至少部分图案的分布密度、大小、形状、样式中的至少两个均发生变化。

9.一种深度相机，其特征在于，包括：

如权利要求1-8任一所述的投影装置，用于向目标空间投影结构光图案；

采集装置，用于采集所述结构光图案；

处理器，用于根据所述结构光图案计算深度图像。

10.如权利要求9所述的深度相机，其特征在于，所述根据所述结构光图案计算深度图像包括：利用一个采集装置采集的结构光图案与预先采集的参考结构光图案计算出各像素的偏离值，进一步根据所述偏离值计算出所述深度图像；

或利用至少两个采集装置采集的两个结构光图案计算出各像素的偏离值，进一步根据所述偏离值计算出所述深度图像。