CN109521631B - 投射不相关图案的深度相机 - Google Patents

Abstract

本发明公开了一种投射不相关图案的深度相机，包括：投影模组，用于向目标区域投射结构光图案光束，所述结构光图案沿第一方向周期性排列；采集模组，设置在与所述投影模组一定间距的基线上，用于采集所述目标区域中的所述结构光图案；所述第一方向与所述基线的方向之间有夹角。通过对投影模组进行设计，使向外投射出的结构光图案沿某一方向周期性排列，且该方向与基线有夹角偏转，从而获取沿基线方向具有高度不相关性的斑点图案。

Description

投射不相关图案的深度相机

技术领域

本发明涉及电子及光学元器件制造领域，尤其涉及一种投射不相关图案的深度相机。

背景技术

深度相机可以获取目标的深度信息借此实现3D扫描、场景建模、手势交互，与目前被广泛使用的RGB相机相比，深度相机正逐步受到各行各业的重视，例如利用深度相机与电视、电脑等结合可以实现体感游戏以达到游戏健身二合一的效果。随着移动终端如手机、平板等设备的快速普及，将深度相机嵌入到移动终端中正面临着迫切的需求，拥有深度相机的移动终端可以实现比普通RGB相机更加准确可靠的人脸识别、手势交互，甚至AR等功能。

与传统在电视、电脑等领域中应用的深度相机相比，移动终端对深度相机的要求主要体现在体积小、功耗低等方面，以往的以边发射激光发射器作为光源的深度相机体积和功耗均难以达到要求，为此采用垂直腔面激光发射器阵列将成为趋势。然而采用阵列光源也会带来一些问题，最突出的就是难以投影出具有高度不相关的结构光图案，最终导致深度图像计算精度较低。

发明内容

本发明提出一种深度相机，以解决结构光图案不相关的问题。

本发明提供的深度相机，包括投影模组，用于向目标区域投射结构光图案光束，所述结构光图案沿第一方向周期性排列；采集模组，设置在与所述投影模组一定间距的基线上，用于采集所述目标区域中的所述结构光图案；所述第一方向与所述基线的方向之间有夹角。

在一些实施例中，所述结构光图案沿第二方向具有周期性排列。所述第一方向与所述第二方向相互垂直，或者所述第一方向与所述第二方向不相互垂直。

在一些实施例中，所述结构光投影模组包括：光源阵列，由多个子光源以二维图案形式排列而成，发出与所述二维图案对应的二维图案光束；衍射光学元件，接收所述二维图案光束，并向外投射出所述结构光图案光束。

在一些实施例中，所述夹角范围是：1°≤θ≤10°，其中，θ为所述夹角。

在一些实施例中，所述夹角满足条件：Lsinθ≤ks&Ltanθ≤ks；其中，θ为夹角，L为所述目标区域沿所述基线方向上的尺度，s为所述二维图案沿与所述基线方向垂直的方向上的尺度，k为正整数。所述k满足：1≤k≤10。

在一些实施例中，所述光源阵列为VCSEL阵列。

在一些实施例中，所述二维图案为不规则排列图案。

本发明的有益效果：通过对投影模组进行设计，使向外投射出的结构光图案沿某一方向周期性排列，且该方向与基线有夹角偏转，从而获取沿基线方向具有高度不相关性的斑点图案。

附图说明

图1为本发明一种实施例的深度相机系统示意图。

图2为本发明一种实施例的结构光投影与采集原理示意图。

图3为本发明一种实施例的结构光图案的示意图。

图4为本发明另一种实施例的结构光图案的示意图。

图5为本发明一种实施例的深度相机结构示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

对于投影出斑点(散斑、结构光)图案的结构光投影模组以及基于该模组的深度相机，斑点图案的密度会影响到深度相机最终输出的深度图像的精度，除密度外，斑点图案的不相关度也对精度有重要的影响。斑点图案的不相关度一般指的是任意选取图案中一定像素面积的小区域(比如7x7或11x11像素等)，该区域中的斑点排列特征在斑点图案区域中沿多个方向或单个方向具有唯一性。

因此，结构光投影模组在设计时，需要考虑如何投影具备高度不相关性的斑点图案。

本发明将提供一种结构光投影模组和深度相机，用于投影出具备高度不相关性的斑点图案。

图1是根据本发明一个实施例的基于结构光的深度相机示意图。深度相机101主要组成部件有结构光投影模组104、采集模组105、主板103以及处理器102，在一些深度相机中还配备了RGB相机107。结构光投影模组104、采集模组105以及RGB相机107一般被安装在同一个深度相机平面上，另外三者一般处于同一条基线上，投影模组与采集模组之间的距离为基线距离，每个模组或相机都对应一个进光/出光窗口108。一般地，处理器102被集成在主板103上，而结构光投影模组104与采集模型105通过接口106与主板连接，接口可以为DVP接口、MIPI接口等等。电路板103可以为PCB等电路板，也可以是半导体基板。其中，结构光投影模组104用于向目标空间中投射经编码的结构光图案，采集模组105采集到该结构光图案后通过处理器的处理从而得到目标空间的深度图像。在一个实施例中，结构光图像为红外散斑图案(斑点图案)，斑点图案具有颗粒分布相对均匀但具有很高的局部不相关性，这里的局部不相关性指的是图案中沿某一个方向维度上(如基线方向)各个子区域都具有较高的唯一性。对应的采集模组105为与结构光投影模组104对应的红外相机。利用处理器获取深度图像具体地指接收到由采集模组采集到的散斑图案后，通过计算散斑图案与参考散斑图案之间的偏离值来进一步得到深度图像。处理器102除了用于深度计算，还用于控制各个部件的运作，比如以特定的频率同步打开各模组。图1所示的深度相机是独立的深度相机装置，包含有输出接口(图中未示出)，比如USB、MIPI等接口，输出接口还会与处理器102或主板103连接，用于将深度图像输出到其他的主机设备或同一设备中的其他模块。

在一些实施例中，深度相机以嵌入式模块形式被集成到其他设备中，此时比如处理器102、主板103等可以是其他设备内的元器件，即深度相机与其他设备可以用多种集成形式，可以是将深度相机以独立的模块进行集成，也可以是将二者共有的模块进行集成。在一个实施例中，处理器102(主板103等)的功能可以由被集成设备中的处理器(主板等)来完成。

图2是根据本发明实施例的结构光投影与采集原理示意图。结构光投影模组201用于向空间区域204投影出斑点图案，斑点图案被采集模组202接收。区域204为投影模组201以及采集模组202的共有区域，区域204的大小不超过结构光投影模组201或采集模组的独立的FOV(镜头所能覆盖的范围)区域，一般地，区域204即为采集模组202的采集区域。为了示意性说明，区域204是在距离深度相机一定距离Z的平面上选取的。

结构光投影模组201与采集模组202光轴之间的连线即基线，在本实施例中，设基线位于x轴上，如图2中所示。

结构光投影模组201包括VCSEL阵列光源芯片2011、透镜2012以及衍射光学元件(DOE)2013，光源芯片是由多个VCSEL以不规则二维图案203的形式排列而成，采用不规则排列的目的是为了提高斑点图案的不相关性，在一些实施例中，也可以采用规则图案排列。透镜2012用于将光源芯片发出的光进行汇聚或准直以提高斑点图案的对比度，透镜2012可以是单片也可以是多片透镜构成的组合透镜，或者可以由微透镜阵列组成，其中各个微透镜单元与各个VCSEL子光源一一对应。DOE2013用于扩束并以一定的衍射角进行投影，一方面将光源芯片发出的光束进行扩束，另一方面形成一定的投影角度，以投影出更大视场角区域的斑点图案。

相对于单光源而言，阵列光源被DOE投影后形成的斑点图案可以看成是由多个阵列光源的二维图案205组合而成，斑点图案中含有的组合二维图案205的数量等于DOE对单个光束进行扩束的数量。二维图案205可以看成是光源芯片排列二维图案203的像，即二者之间存在一个放大倍数关系。在图2所示的实施例中，在投影区域204中，DOE将二维图案205扩束成100倍，并在区域204中沿相互垂直的两个方向上规则排列，邻近的二维图案205相邻。通过控制DOE的扩束方式，即邻近两个衍射级别光束的衍射角度差别来控制邻近二维图案205之间的间距，以实现对斑点图案密度、不相关度等的控制。在其他实施例中，邻近的二维图案205之间还可以有间距，或者有重叠。无论是相邻排列、间距排列还是重叠排列，优选的方式是要形成密度分布相对均匀且具有高度不相关性的斑点图案。

从图2中可以看出，区域204由100个二维图案205组合而成，且沿基线方向208以及与基线垂直方向207排列，形成规则且沿x,y方向均周期性排列的斑点图案。现在考虑斑点图案的不相关性，任意选取二维图案205中的子区域206，在其他沿任一方向排列的二维图案205中都能找到相同的子区域，可以预见的是，无论二维图案205是重叠、相邻还是间隔排列，子区域206都能找到多个相关的子区域，导致斑点图案的相关性较低。

图3是根据本发明实施例的结构光图案的示意图。与图2相比，光源芯片的二维图案302同样以二维形式排列组合形成斑点图案，且斑点图案也沿两个方向周期性排列，不同的是，二维图案302沿y方向相互之间有错位，使得沿基线方向(x方向)排列的多个二维图案302中心的连接线304与基线303之间有夹角θ。此时斑点图案沿方向304以及y方向成周期性排列，且周期性排列的两个方向不再相互垂直。要产生如上不相互垂直的二维图案，需对DOE进行设计(如在光学基底上通过雕刻等工艺)，使DOE能对入射的光束衍射后形成沿两个不相互垂直方向成周期排列的图案。通过这种设计，可以使得图3所示的结构光图案沿多个方向上(特别是沿x方向)的不相关性都明显得到提高，因此将更加适合被用来进行结构光投影。

可以理解的是，两个方向之间的夹角α的范围应取在一个合理的范围内，太小对不相关性的提升效果不明显，太大则会导致二维图案302以某一周期又重复出现在相应的位置上，此时会使得子区域305的不相关性降低。在一个实施例中，该两个方向之间形成的夹角(包括互补的锐角和钝角)，其锐角范围是80°≤α≤89°。

图3所示的实施例中，由于周期性排列的两个方向不垂直，会导致整个斑点图案的上边界与下边界均与基线有夹角，考虑到采集模组的FOV在平面上一般是方形(本发明中均不考虑像差导致的变形)，因此斑点图案的区域要大于采集区域301。

在一些实施例中，深度相机往往仅需要满足单一方向上的不相关性，根据结构光三维测量原理，斑点图案仅在基线方向上满足不相关性要求就可以大致准确地计算出深度图像。为此，对于图3所示实施例而言，斑点图案沿与基线方向成θ角方向周期性排列，由此沿基线303方向任意选取的子区域305在其他二维图案302中将难以找到几乎相同的子区域，因而斑点图案沿基线方向的不相关性得以提高。可以理解的是，夹角θ的范围应取在一个合理的范围内，太小对不相关性的提升效果不明显，太大则会导致沿基线方向二维图案302会以某一周期又重复出现在相应的位置上，此时会使得子区域305的不相关性降低。在一个实施例中，其夹角范围是：1°≤θ≤10°。在另一个实施例中，从采集区域(共同区域)301沿基线方向一端的一个二维图案3021算起，依次错位后至另一端的二维图案3022，第一二维图案3021与第二二维图案3022之间沿与基线垂直方向上的错位不超过二维图案302沿与基线垂直方向的长度。用公式可以表示如下：

Lsinθ≤s&Ltanθ≤s (1)

其中，L为采集区域301沿基线方向的长度，s为二维图案302沿与基线垂直方向的长度。由于θ值较小，因此用正弦或正切函数均可。

由于L＞＞s，若满足以上条件会使得θ很小，错位不明显导致不相关性并没有得到提升。在一些实施例中，考虑到由于物体深度引起的斑点偏离不会太大，因此，允许在某一子区域沿基线方向较远的地方有重复的子区域出现，比如在沿基线方向上可以出现2～10次，如此，公式(1)变成：

Lsinθ≤ks&Ltanθ≤ks k∈[2,10] (2)

对于产生图3所示斑点图案的DOE，要求其能对入射的光束衍射后形成沿两个方向成周期排列的图案，且这两个方向之间不相互垂直。如图3中所示，当入射的光束是光源阵列的二维图案化光束后，经衍射后形成沿与基线方向成θ角的方向以及与基线方向垂直方向均周期排列的斑点图案光束。可以理解的是，若入射的光束为单光束，经过DOE衍射后形成的图案即为图3中各个二维图案302的中心点排列形成的斑点图案，这一依据一般用于指导DOE的设计过程。

图4是根据本发明又一实施例的结构光图案的示意图。与图3所示实施例不同的是，沿基线403方向上的二维图案402并非沿与基线垂直的方向进行错位排列。与图2所示实施例相比，整体图案与图2所示的斑点图案类似，图2中斑点图案具有沿基线方向上的周期性排列，本实施例中的斑点图案同样沿某一方向具有周期性，不同的是，斑点图案整体发生了偏转，偏转角度为θ，即本实施例中的斑点图案周期性排列的方向与基线方向之间有夹角θ，从而导致偏转之后的斑点图案沿基线方向的不相关性得以提高。偏转的角度也应该适中，根据上述分析，偏转角度也可以根据公式(1)与(2)进行估算。

图4所示实施例所示的斑点图案的形成方法与图3不同，图3是通过对DOE本身性能的设计而形成的，图4所示实施例中，不需要对DOE本身性能进行特殊设计，其DOE依旧是产生如图2所示的斑点图案，只不过在制造或安装工艺中进行偏转，以下进行详细说明。

图5所示的是根据本发明实施例的深度相机结构示意图。图5中深度相机包括采集模组501，投影模组由光源芯片504、DOE503以及壳体506组成，采集模组501与投影模组位于基线502上。DOE503一般是在光学基底上通过雕刻等工艺形成周期性的衍射单元结构，周期性的衍射单元结构所在的区域即为DOE503衍射区域，在实际使用中仅对光源有作用的区域为有效衍射区域505。

为了形成如图4所示的结构光图案，在一个实施例中，在DOE制作时,将有效衍射区域505偏转一定的角度θ，在安装时光源芯片不偏转，如图5(b)所示，可以产生近似图4所示的结构光图案，其中有效衍射区域505中衍射单元结构在设计时依旧按照形成如图2所示的规则未偏转的斑点图案进行设计，这样做的好处在于可以降低设计难度。在有效衍射区域505偏转后，原本其衍射单元结构是沿相互垂直的两个方向(比如x,y方向)的周期性排列，偏转后周期性排列方向也随之改变,与所述基线方向之间存在夹角θ。然而由于芯片或芯片上的光源排列方式没有同步偏转，因此仅偏转有效衍射区域会使得斑点图案密度分布产生变化，变化的幅度与偏转的角度有关。偏转角度越大，密度分布会变得越不均匀，因此这里的偏转角度不易过大，一般在1度～10度的范围内。

图5(c)是可产生如图4所示结构光图案的另一实施例的深度相机示意图。与图5(b)相比，这里的光源芯片504或芯片上的光源排列与DOE503的有效衍射区域505均同步偏转，由此便可产生沿基线方向高度不相关的斑点图案。即，DOE503仍然可以将光源芯片504上发出的二维图案光束进行且沿相互垂直的两个方向上规则排列以形成如图2中所示的斑点图案，只不过在安装时通过同步偏转，使得相互垂直的两个方向中的某一方面与基线方向产生一定的夹角，最终使得产生图4所示的斑点图案。

图5(d)是可产生如图4所示结构光图案的又一实施例的深度相机示意图。图5(b)及5(c)中光源或DOE相对于结构光投影模组的壳体506均发生偏转，而在本实施例中，整个结构光投影模组内部结构未发生相对偏转，而是将整个结构光投影模组在安装时相对基线产生偏转，由此可以达到与图5(c)相同的效果。不同之处在于组装或制造工艺上，前者是对光源或者DOE在制造过程中的对其进行偏转控制，后者则是在模组组装工艺中对结构光投影模组进行偏转控制。

需要说明的是，以上各实施例的阐述中，没有考虑到由镜头因素导致的误差，比如像差、畸变，因此上述的诸如“周期性排列”等描述，同样适用于有误差存在的情形下。

已有技术方案中，利用光源阵列芯片与DOE组成的投影模组投影出的斑点图案沿基线方向成周期结构，其不相关性往往是通过镜头的畸变原因来提升的，而镜头畸变往往会带来斑点图案对比度下降的问题。本发明则是通过DOE本身的性能以及偏转，从而直接获取沿基线方向具有高度不相关性的斑点图案，镜头畸变可以控制到很低的地步，从而获取高度不相关性以及高对比度的斑点图案。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种投射不相关图案的深度相机，其特征在于，包括：

投影模组，用于向目标区域投射不相关性的结构光图案光束，所述结构光图案沿第一方向周期性排列；所述投影模组包括不规则排列的光源阵列和衍射光学元件，对所述衍射光学元件本身性能进行设计使所述衍射光学元件对入射的光束衍射后形成沿两个不相互垂直方向成周期排列的图案，或使所述衍射光学元件的有效衍射区域进行角度的偏转；

采集模组，设置在与所述投影模组一定间距的基线上，用于采集所述目标区域中的所述结构光图案；

所述第一方向与所述基线的方向之间有夹角；所述基线为投影模组和采集模组的连线。

2.如权利要求1所述的深度相机，其特征在于，所述结构光图案沿第二方向周期性排列。

3.如权利要求1或2所述的深度相机，其特征在于，所述投影模组包括：

光源阵列，由多个子光源以二维图案形式排列而成，发出与所述二维图案对应的二维图案光束；

衍射光学元件，接收所述二维图案光束，并向外投射出所述结构光图案光束。

4.如权利要求1或2所述的深度相机，其特征在于，所述夹角范围是：1°≤θ≤10°，其中，θ为所述夹角。

5.如权利要求2所述的深度相机，其特征在于，所述第一方向与所述第二方向相互垂直。

6.如权利要求2所述的深度相机，其特征在于，所述第一方向与所述第二方向不相互垂直。

7.如权利要求3所述的深度相机，其特征在于，所述夹角满足条件：L sinθ≤ks或L tanθ≤ks其中，θ为夹角，L为所述目标区域沿所述基线方向上的尺度，s为所述二维图案沿与所述基线方向垂直的方向上的尺度，k为正整数。

8.如权利要求7所述的深度相机，其特征在于，所述k满足：1≤k≤10。

9.如权利要求3所述的深度相机，其特征在于，所述光源阵列为VCSEL阵列。

10.如权利要求3所述的深度相机，其特征在于，所述二维图案为不规则排列图案。

Images