CN110047100B - 深度信息检测方法、装置及系统 - Google Patents

Abstract

本申请公开了一种深度信息检测方法、装置及系统，涉及图像处理技术领域。其中，该方法包括：获取将基准散斑图案投射到目标物体形成的目标散斑图像；将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板，其中，每个匹配模板对应各自的深度信息，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r；选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板；根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息。

Description

深度信息检测方法、装置及系统

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种深度信息检测方法、装置及系统。

背景技术

随着科技的发展，在某些图像显示场景中，二维图像已经不能满足人们的需要。而三维立体图像因比二维图像多了深度信息而更加真实且准确，在日常生活中，对三维场景的使用愈加普遍，例如人脸支付、体感游戏、AR购物等。

在三维场景下，需要获取图像的深度信息，而现有的获取图像的深度信息的方式计算量大，计算耗时。

发明内容

鉴于上述问题，本申请提出了一种深度信息检测方法、装置及系统，以改善上述问题。

第一方面，本申请实施例提供了一种深度信息检测方法，所述方法包括：获取将基准散斑图案投射到目标物体形成的目标散斑图像；将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板，其中，每个匹配模板对应各自的深度信息，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r；选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板；根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息。

第二方面，本申请实施例提供了一种深度信息检测装置，所述装置包括：图像获取模块，用于获取将基准散斑图案投射到目标物体形成的目标散斑图像；粗匹配模块，用于将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板，其中，每个匹配模板对应各自的深度信息，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r；精匹配模块，用于选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板；深度信息确定模块，用于根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息。

第三方面，本申请实施例提供了一种深度信息检测系统，包括投影单元、图像采集单元、存储单元以及处理单元，所述投影单元、图像采集单元以及存储单元与所述处理单元电性连接，所述图像采集单元以及存储单元电性连接，其中，所述投影单元用于将基准散斑图案投射到目标物体；所述图像采集单元用于采集所述基准散斑图案投射到目标物体形成的图像，以获取目标散斑图像；所述存储单元用于存储匹配模板，每个匹配模板对应各自的深度信息，匹配模板包括粗匹配模板以及精匹配模板，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r；所述处理单元用于将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板；选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板；根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息。

本申请实施例提供的深度信息检测方法、装置及系统，将基准散斑图案投射到目标物体形成目标散斑图像。先通过粗匹配模板对该目标散斑图像进行匹配，获得相似度最高的粗匹配模板，定义为初级匹配模板。再从相对于粗匹配模板，彼此之间距离更近的精匹配模板中选取初级匹配模板前后预设范围内的精匹配模板与目标散斑图像进行匹配，获得与该目标散斑图像相似度最高的精匹配模板。根据该精匹配模板确定目标散斑图像的深度信息。该方案先通过彼此之间距离更大的粗匹配模板对目标散斑图像进行粗匹配，再从彼此之间距离更小的精匹配模板进行精匹配，通过更小的计算量获得精确的图像深度信息。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的匹配模板获取系统的结构示意图。

图2至图4示出了匹配模板获取中投影的不同示意图。

图5示出了本申请实施例提供的散斑移动示意图。

图6示出了本申请一实施例提供的深度信息检测方法的流程图。

图7示出了本申请另一实施例提供的深度信息检测方法的流程图。

图8示出了本申请实施例提供的一种具体的区域划分方式示意图。

图9示出了本申请实施例提供的深度信息检测装置的功能模块图。

图10示出了本申请实施例提供的电子设备的结构框图。

图11是本申请实施例的用于保存或者携带实现根据本申请实施例的深度信息检测方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在人脸支付、体感游戏以及AR购物等各种领域，都需要获取图像的深度信息。例如，在人脸支付领域，需要获取人脸图像中人脸的深度信息，以精确匹配进行支付验证的人脸是否为注册的人脸。

单目散斑测量法可以作为一种获取图像深度信息的方法。通常的，单目散斑测量法可以分为时间相关和空间相关。时间相关一般指在已知纵深的空间上移动等距的参考幕，发射器向参考幕投射带有散斑形态的图案，采集器记录这些位置的散斑形态，从而记录到对应已知纵深的空间上移动等距的参考幕在各个位置的散斑形态。利用散斑在空间每个位置形态不一样的特性，当目标对象(如人脸支付中的人脸)放置于此维度中，与在这组时间序列上各个位置上不同形态的散斑进行相似度匹配，即可搜索出目标对象的深度信息。空间相关一般指只使用一幅参考幕散斑图和向目标物体投射带有散斑形态后的散斑图，仅这两幅图像作相似度匹配，对比出目标对象相对参考幕散斑图在每个坐标位置的偏移量，再借助外部的几何三角关系而得到目标对象的深度图，获得目标对象的深度信息。

上述的方法中，时间相关方法由于需要加载所有的散斑图像，与所有的散斑图像进行匹配，加之各种复杂形式的互相关匹配函数，导致计算非常耗时，不适合快速的测量方式，如在人脸支付场景中要求的快速匹配的需求。而空间相关方法只用两幅图像，需要计算每个坐标位置的偏移量，计算耗时。并且，计算时仅使用小尺寸的窗口会带来大量误匹配，而使用大窗口又会导致空间分辨率下降，当测量对象表面复杂时，精度则更低。

因此，本申请实施例提出了一种深度信息检测方法，先通过粗匹配找出目标物体大概的深度信息，再进行精匹配，通过部分的精匹配图像与目标散斑图像匹配，在较小的计算量的方式下，获得目标物体的准确的深度信息。

图1示出了一种匹配模板获取系统，用于获取深度信息检测所使用的匹配模板。如图1所示，该匹配模板获取系统包括投影单元、图像采集单元以及存储单元。

其中，投影单元可以包括光源、准直镜头和衍射光学元件等器件，用于投射图案。该投影单元可以用于投射一种图案，也可以用于投射密度和/或形状不完全相同的多种图案。

可选的，该投影单元可以是可见光投影仪。可选的，该投影单元可以是红外激光模组，其光源可以是VCSEL阵列激光，用于投射红外的图案。

投影单元投射的图案的具体形状和密度在本申请实施例中并不限定，以同一图案投射到离投影单元不同距离时，可以实现成像不同为宜。例如，散斑的特性是散乱的圆斑点，满足匹配需要的无规律的杂乱信息，同一散斑图案从投影单元进行投射时，在离投影单元不同距离处成像不同，从而在不同位置都能获得独一无二的散斑图像，因此，本申请实施例中，投影单元可以用于投射散斑图案，以散斑图案为例进行说明。投影单元的具体光源在本申请实施例中并不限定，通过相应的图像采集单元可以采集到光源投射出的散斑图案即可，如通过红外图像采集设备采集红外光源投射的散斑图像，通过可见光图像采集设备采集可见光光源投射的散斑图像等。

图像采集单元与投影单元保持一定的基线距离，可以是记录投影单元所发射图案波长的图像传感器，用于采集投影单元投射的散斑图案的图像，可以包括感光元件、滤光片和镜头等。该图像采集单元可以是对应光源类型的图像传感器，如投影单元的光源为红外光，图像采集单元为红外光图像采集设备；若光源为可见光，图像采集单元为可见光图像采集设备等。图像采集单元与投影单元之间的位置关系在本申请实施例中并不限定，例如，投影单元水平放置、水平投影，图像采集单元与投影单元放置于同一水平高度。

信息存储单元与图像采集单元连接，用于存储图像采集单元获取的散斑图案，作为匹配模板，该信息存储单元可以是FLASH、ROM或者硬盘的任意一种。

本申请实施例中，匹配模板获取系统还可以包括处理单元，与图像采集单元、投影单元以及信息存储单元电连接。该处理单元的平台可以为ASIC、FPGA和DSP的一种，用于对采集的图像进行处理，也可以用于控制投影单元的投影以及图像采集单元的图像采集。可选的，该处理单元可以包括控制器用于进行控制，如通过同步时序电路和异步时序电路进行控制；也可以包括深度处理器，用于进行深度信息获取的处理。

该系统中各个单元之间可以是相互彼此独立的，也可以是集成在一起的。例如，该系统可以是手机、平板电脑以及笔记本电脑等集成了投影单元、图像采集单元、存储单元以及处理单元的电子设备。

通过该匹配模板获取系统可以获取用于图像深度信息检测的匹配模板。其中，所述投影单元可以用于将基准散斑图案投射到距离不同的各个参考幕；所述图像采集单元可以用于采集投影单元投射到各个参考幕上图像，以获取多个匹配模板。

具体的，在获取匹配模板时，如图2所示，可以在投影单元的投影方向上(如图2中箭头所示)，放置一参考幕，参考幕放置于投影单元的深度轴，并使参考幕与投影单元之间的距离变化，如依次变大或者依次变小。图像采集单元获取参考幕与投影单元之间不同距离的时候，投影单元投射的散斑图案在参考幕的成像。其中，参考幕为用于承载散斑图案的投影平面，投影单元投出的图像可以在参考幕成像，图像采集单元通过对参考幕进行图像采集，可以获取到投影单元投射的图案在参考幕所成图像，该图像可以用作匹配模板。可以理解的，图2仅为示例性说明，并没有画出在所有位置的参考幕。

例如图3所示，R11、R12至Rpb分别为在投影方向上等距排布的位置点，R11、R12至Rpb每两个相邻的位置点之间间距为r。R11、R21、R31以此类推至Rp1，该p个位置点中，每两个相邻的位置点之间间距为R。参考幕在R11、R12至Rpb分别对应的各个位置时，投影单元投射的散斑图像在每个位置点的参考幕成像，图像采集单元采集每个位置点处散斑图像在参考幕上的成像。如，参考幕在位置点R11时，图像采集单元采集投影单元投影到参考幕上的图像；参考幕在R12时，图像采集单元采集投影单元投影到参考幕上的图像；直至参考幕在位置点Rpb时，图像采集单元采集投影单元投影到参考幕上的图像。定义在每个位置点采集的散斑图案投射到参考幕的图像为散斑图像，从而获得一系列等间距的散斑图像，散斑图像之间的间距表示该散斑图像成像的参考幕之间的间距。如在R11处的参考幕上所成的散斑图像，与在R12处的参考幕上所成的散斑图像之间的间距，为R11位置点与R12位置点之间的距离。

作为一种实施方式，若参考幕与投影单元之间的距离较小，如小于某一最小预设阈值，则使参考幕与投影单元之间距离依次变大，并在距离变大过程中采集图像。

在该实施方式中，使投影单元与参考幕之间距离依次变大的方式可以是，将参考幕在投影方向上，依次向远离投影单元的方向移动，形成一系列等距的参考幕，获取每个位置处散斑图案在参考幕的成像，获得一系列等间距的图像。如在图3所示的场景下，将参考幕从R11移动到R12直至移动到Rpb，投影单元投射的散斑图像在每个位置点的参考幕成像，图像采集单元采集每个位置点处散斑图像在参考幕上的成像，获得b*p个等间距的散斑图像。

在该实施方式中，使投影单元与参考幕之间距离依次变大的方式也可以是，将投影单元在投影方向上，依次向远离参考幕的方向等间距移动，形成一系列等距的参考幕，获取每个位置处参考幕在参考幕的成像，获得一系列等间距的图像。如投影单元以及图像采集单元与参考幕之间的放置如图4所示，将投影单元以及图像采集单元同时从如图4所示的R11处移动到R12、R13直至移动到Rpb，投影单元在每个位置点投射的散斑图像在参考幕成像，图像采集单元采集投影单元在每个位置点处投射的散斑图像在参考幕上的成像，b*p个间距为r的散斑图像。

作为一种实施方式，若参考幕与投影单元之间的距离较大，如大于某一最大预设阈值，则使参考幕与投影单元之间距离依次变小，并在距离变小过程中采集图像。

在该实施方式中，使投影单元与参考幕之间距离依次变小的方式可以是，将参考幕依次向投影单元移动，形成一系列等距的参考幕。例如图3所示的场景下，将参考幕从Rpb移动到Rp(b-1)直至移动到R11，投影单元投射的散斑图像在每个位置点的参考幕成像，图像采集单元采集每个位置点处参考幕上的散斑图像，获得b*p个等间距的散斑图像。

在该实施方式中，使投影单元与参考幕之间距离依次变小的方式也可以是，将投影单元依次向参考幕移动，形成一系列等间距的参考幕。例如图4所示的场景下，将图像采集单元以及投影单元同时从Rpb移动到Rp(b-1)直至移动到R11，投影单元在每个位置点投射的散斑图像在参考幕成像，图像采集单元采集投影单元在每个位置点处投射的散斑图像在参考幕上的成像，获得b*p个间距为r的散斑图像。

可以理解的，当参考幕与投影单元之间相对位移变化，散斑图像中的散斑也会左右移动。在本申请实施例中，每两个相邻位置点之间的间距选取标准可以是，使散斑移动距离小于或等于散斑的半径，也就是说，参考幕与投影单元之间距离每增大或减小r时，使参考幕上的散斑的移动距离小于或等于散斑的半径，参考幕与投影单元之间的距离增大r以及减小r散斑分别所在的两个位置之间具有交集。例如图5示出了一种散斑的移动示例，图5中实线圆101表示在参考幕某位置点处时，一个散斑在该参考幕的成像。当该参考幕与投影单元之间距离减小，散斑会向左发生位移，如图5中虚线圆102所示；当该参考幕与投影单元之间距离增大，散斑会向右发生位移，如图5中虚线圆103所示。每两个相邻位置点之间的间距选取标准为，当参考幕与投影单元之间距离减小r时，实线圆101移动到虚线圆102的位置处，实线圆101到虚线圆102的移动距离小于该实线圆101的半径；当参考幕与投影单元之间距离增大r时，实线圆101移动到虚线圆103的位置处，实线圆101到虚线圆103的移动距离小于该实线圆101的半径。虚线圆102以及虚线圆103具有交集。

通过该匹配模板获取系统可以获取匹配模板用于匹配。其中，定义从投射单元投射的散斑图案为基准散斑图案。将一种基准散斑图案进行投影时，获取到一套匹配模板。

具体的，获取匹配模板时，将一种基准散斑图案从投影单元进行投射，图像采集单元获取参考幕与投影单元之间不同距离的时候，投影单元投射的散斑图案在参考幕的成像，获得对应该基准散斑图案的一系列匹配模板。例如图2及图3所示，将基准散斑图案P1从投影单元投射，采集基准散斑图案P1分别投射到R11、R12、R13至Rpb处的参考幕时所成的图像，获得b*p个匹配模板，作为对应基准散斑图案P1的一套匹配模板。

在本申请实施例中，可以从匹配模板中选取精匹配模板用于精匹配，选取粗匹配模板用于粗匹配。其中，粗匹配模板彼此之间的间距大于精匹配模板彼此之间的间距。例如，从单模板中，以R作为间距，等间距地选取模板，作为一套粗匹配模板，以其余模板作为精匹配模板。具体的，以图2及3所示的场景为例，可以分别选取在R11、R21、R31、R41、以此类推至Rp1的p个位置处分别形成的匹配模板，作为一套粗匹配模板，其余匹配模板作为精匹配模板。其中，相邻的粗匹配模板之间，包括(b-1)个精匹配模板，例如，R11处的粗匹配模板与R21处的粗匹配模板，包括分别在R12至R1b的(b-1)个位置处的(b-1)个精匹配模板。

在本申请实施例中，可以为每个位置点定义深度信息，深度信息之间的变化关系与位置点之间的变化关系对应。例如图2至图4所示的场景下，以x作为一个深度单位，定义R11的深度信息为x0，则R12的深度信息为(x0-x)，R13的深度信息为(x0-2x)，R14的深度信息为(x0-3x)，直至Rpb的深度信息为(x0-(p*b-1)x)。又如，定义一个位置点的深度信息为深度0，这个位置点之前的各个位置点，从相邻的位置点起依次为深度1单位，2单位，3单位，以此类推；在单位之后的各个位置点，从相邻的位置点起依次为-1单位，-2单位，以此类推。或者直接以位置点之间的间距r作为深度信息的一个单位，或者直接以每个位置点离投影单元的距离作为该位置点的深度信息。从而，本申请实施例中，每个匹配模板对应深度信息，每个匹配模板对应的深度信息为获取该匹配模板的位置的深度信息。同理，选定的粗匹配模板以及精匹配模板都具有对应的位置的深度信息。

本申请实施例中，可以通过匹配模板获取系统获得的匹配模板进行图像的深度信息检测。如图6示出了本申请实施例提供的深度信息检测方法。该方法可以应用于电子设备。该电子设备可以是手机、平板电脑、个人电脑以及其他包括可用于深度信息检测的智能设备。该深度信息检测方法也可以用于深度信息检测系统，该深度信息检测系统可以包括如图1所示的投影单元、图像采集单元、存储单元以及处理单元，或者该深度信息检测系统与匹配模板获取系统为同一个系统。其中，被测量深度的目标物体需要置于最近和最远的参考幕对应的距离范围之间且在采集单元的视场范围内，即有效的测量区。

在本申请实施例的举例说明过程中，通常以基准散斑图案P1分别投射至R11、R21、R31以此类推至Rp1形成的p个匹配模板作为粗匹配的p个粗匹配模板，以基准散斑图案P1分别投射至R11至Rpb形成的b*p个匹配模板中，除粗匹配模板以外的其他匹配模板作为精匹配的多个精匹配模板。当然可以理解的，在实际使用过程中，粗匹配模板的数量并不限定，精匹配模板的数量并不限定。

请参见图6，该深度信息检测方法可以包括：

步骤S110：获取将基准散斑图案投射到目标物体形成的目标散斑图像。

当需要检测某一目标物体在图像上的深度信息时，可以将基准散斑图案投射到目标物体形成的图像，作为目标散斑图像。其中，该基准散斑图案与获取匹配模板时的基准散斑图案相同。

例如，检测人脸的深度信息，则将基准散斑图案投射到人脸，再采集该基准散斑图案投射到人脸时的图像，该图像中包括基准散斑图案投射到人脸形成的目标散斑图像。可选的，若采集到的图像中仅仅包括散斑图案投射形成的目标散斑图像，则将采集到的图像作为目标散斑图像；若采集到的图像中还包括目标物体的图像，则将采集到的图像进行图像处理，获取基准散斑图案投射形成的图像，作为目标散斑图像。

本申请实施例中，可以是由进行深度信息检测的设备将基准散斑图案投射到目标物体形成目标散斑图像；也可以是，其他设备将基准散斑图案投射到目标物体形成目标散斑图像，进行深度信息检测的设备从其他设备获取该目标散斑图像。另外，预处理也可以由进行深度信息检测的设备进行或者由其他设备进行，本申请实施例中并不限定。

步骤S120：将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板。

其中，每个匹配模板对应各自的深度信息，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r。可选的，R为r的正整数倍，该正整数大于1。

为了方便描述，定义粗匹配模板的数量为m。可以理解的，当定义粗匹配模板的数量为m时，若匹配模板的总数量为M，且将匹配模板中粗匹配模板以外的其他匹配模板作为精匹配模板时，精匹配模板的数量为M-m。

可选的，计算目标散斑图像与粗匹配模板之间的相似度时，可以将m个粗匹配模板以及目标散斑图像先做归一化再做数值运算，例如通过基于灰度的模板匹配算法SAD算法(绝对误差和算法，Sum of absolute differences)以及MAD算法(平均绝对差算法，MeanAbsolute Differences)等算法进行数值运算，得到分别对应m个粗匹配模板的m个差分结果。其中数值最小的差分结果所对应的粗匹配模板，为与目标散斑图像相似度最高的粗匹配模板。

可选的，计算目标散斑图像与粗匹配模板之间的相似度时，可以采用作异或的逻辑运算，将m个粗匹配模板分别与目标散斑图像做异或的逻辑运算，得到对应m个粗匹配模板的m个异或结果。其中数值最小的异或结果所对应的粗匹配模板，为与目标散斑图像相似度最高的粗匹配模板。

可选的，计算目标散斑图像与粗匹配模板之间的相似度时，可以采用作与的逻辑运算，将m个粗匹配模板分别与目标散斑图像作与的逻辑运算，得到对应m个粗匹配模板的m个与结果。其中数值最大的与的结果所对应的粗匹配模板，为与目标散斑图像散斑重合个数最多的粗匹配模板，是与目标散斑图像相似度最高的粗匹配模板。

其中，与目标散斑图像相似度最高的粗匹配模板的深度信息，接近目标散斑图像的深度信息。

由于粗匹配模板之间间距为R，间距较大，将目标散斑图像与粗匹配模板进行粗匹配，获得的相似度最高的粗匹配模板可以确定一个较为大概的、不太精确的深度信息。因此，在本申请实施例中，可以通过彼此之间间距较小的精匹配模板进一步进行匹配，获取更加精确的深度信息。

步骤S130：选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板。

定义与散斑图像组相似度最高的粗匹配模板为初级匹配模板。由于初级匹配模板可以确定目标散斑图像一个大概的深度信息，根据物体固有的性质，其更为精确的深度信息通常在该大概的深度信息范围内波动。因此，为了减少计算量，可以从该初级匹配模板前后进行精匹配模板的选取。

其中，初级匹配模板前后，即初级匹配模板对应的位置之前的位置以及之后的位置。初级匹配模板前的精匹配模板，即在初级匹配模板的位置之前的位置对应的精匹配模板；初级匹配模板后的精匹配模板，即在初级匹配模板的位置之后的位置对应的精匹配模板。例如，对于R21位置处的初级匹配模板，之前的精匹配模板为R1p、R1(p-1)、R1(p-2)以此往前类推的精匹配模板；之后的精匹配模板为R22、R23、R24以此往后类推的精匹配模板。

可选的，选取所述初级匹配模板前后预设范围内的精匹配模板，该预设范围可以是预先设置的一个范围区间，如初级匹配模板前第一数量的精匹配模板，初级匹配模板后第二数量的精匹配模板。

可选的，选取所述初级匹配模板前后预设范围内的精匹配模板，该预设范围可以根据初级匹配模板与目标散斑图像的相似度进行计算。相似度越高，说明目标散斑图像的深度信息越接近该初级匹配模板，可以选取越小的范围。具体的，若初级匹配模板与第一目标散斑图像的相似度小于θ1，从该初级匹配模板的前后分别选择γ1个精匹配模板；若相似度在[θ1，θ2]之间，从该初级匹配模板的前后分别选择γ2个精匹配模板；若相似度大于θ2，从该初级匹配模板的前后分别选择γ3个精匹配模板。其中，θ1＜θ2，r1>r2>r3，从与初级匹配模板相邻的精匹配模板开始依次选取。可以理解的，若初级匹配模板在边界的情况，则只需选一个方向，即前或后有匹配模板的方向。例如，若初级匹配模板在R11位置处获得，初级匹配模板与目标散斑图像的相似度小于θ1，则从R12开始，往Rpb的方向选取γ1个精匹配模板。

在本申请实施例中，通过选取的精匹配模板进行精匹配的方式与粗匹配模板粗匹配的方式相似，以下对精匹配的过程进行描述，其中与粗匹配对应的却未详细描述的地方，可以相互参照。

可选的，在精匹配时，由于要更精确地确定与目标散斑图像的相似度，以更精确地确定目标散斑图像的的深度信息，因此，精匹配使所使用的匹配算法可以比粗匹配时更精确。例如，本申请实施例中，通过精确度更高的互相关的方式计算相似度。将目标散斑图像与选取的精匹配模板一一进行互相关运算，获取与该目标散斑图案相似度最高的精匹配模板。该互相关运算对应的算法可以是是ZNCC(Zero Mean Normalization crosscorrelation,零均值归一化交叉相关)或NCC(归一化交叉相关，Normalization crosscorrelation)等，在本申请实施例中并不限定。

步骤S140：根据所述次级匹配模板的深度信息确定目标散斑图像的深度信息。

由于基准散斑图案投射到不同距离处，形成的图像不同，因此，与目标散斑图像相似度最高的精匹配模板距离投影单元的距离，最接近目标物体与投影单元之间的距离，因此，可以根据与目标散斑图像相似度最高的精匹配模板的深度信息确定目标散斑图像的深度信息。

在本申请实施例中提供的方案中，先通过彼此之间距离更大的粗匹配模板对目标散斑图像进行粗匹配，根据粗匹配结果选取精匹配模板，再根据彼此之间距离更小的精匹配模板进行精匹配，通过更小的计算量获得精确的图像深度信息。

进一步的，由于目标物体可能并不是平面物体，如图2中目标物体所示，在不同位置离投影单元的距离不同，因此在目标散斑图像中的不同区域深度信息可能不同。在本申请实施例中，还提供了一种实施例，用于将目标散斑图像分区域进行粗匹配以及精匹配，获取每个区域的深度信息，组合形成目标散斑图像的深度信息。也就是说，将目标散斑图像划分为多个区域，目标散斑图像中相同位置的区域作为一个独立的匹配单位，按照前述实施例的方式进行粗匹配以及精匹配。请参见图7，该实施例包括：

步骤S210：将所述目标散斑图像划分为多个目标区域，将每个粗匹配模板以相同的方式划分为多个粗匹配区域，将每个精匹配模板以相同的方式划分为多个精匹配区域。

具体的，可以将所述目标散斑图像划分为多个图像区域，每个图像区域作为一个目标区域；将每个粗匹配模板以相同的方式划分为多个图像区域，每个图像区域作为一个多个粗匹配区域；将每个精匹配模板以相同的方式划分为多个图像区域，每个图像区域作为一个多个精匹配区域。例如，模板散斑图像的区域划分方式如图8所示的24个目标区域，则粗匹配模板以及精匹配模板中包括位置相同的24个图像区域。也就是说，每个目标区域都可以在粗匹配模板中找到位置大小均相同的粗匹配区域以及位置大小均相同的精匹配区域。其中，位置相同的图像区域，表示图像区域在相应的图像中的像素区域相同。例如，在某一目标散斑图像中，划分的某一图像区域为矩形，其左上角像素坐标为(x1,y1)，右下角像素坐标为(x2,y2)，则在所有粗匹配模板以及所有精匹配模板中，该图像区域相同位置的图像区域为：左上角像素坐标为(x1,y1)、右下角像素坐标为(x2,y2)的矩形区域。

步骤S220：对每个目标区域进行粗匹配以及精匹配，获取每个目标区域的深度信息。

遍历目标散斑图像中的各个目标区域进行匹配，即将每个目标区域进行粗匹配以及精匹配。其中，每个目标区域与在粗匹配模板中相同位置的粗匹配区域进行粗匹配，与在精匹配模板中相同位置的精匹配区域进行精匹配。具体匹配过程可以参照前述实施例中目标散斑图像的匹配过程。具体参照方式可以理解为，对于每个目标区域，代入前述实施例中目标散斑图像、与目标区域相同位置的粗匹配区域代入前述实施例中的粗匹配模板、与目标区域相同位置的精匹配区域代入前述实施例中的精匹配模板进行匹配，获取到的深度信息为该目标区域的深度信息。下面对该匹配过程进行简要描述，需要强调的是，分区域的匹配方式中，具体的匹配过程可以参照前述实施例。

定义精匹配模板的数量为n，则每个位置的精匹配区域为n，如图8所示的区域划分方式下，A1至A24，每个位置处的精匹配区域都为n。定义粗匹配模板的数量为m，则每个位置的粗匹配区域为m，如图8所示的区域划分方式下，A1至A24，每个位置处的粗匹配区域都为m。

具体的，对于每个目标区域，粗匹配以及精匹配的匹配过程可以是：

步骤S221：确定m个粗匹配模板中与该目标区域位置相同的粗匹配区域，获得m个粗匹配区域。

例如，在图8所示的区域划分方式下，当前的目标区域为目标图像中A6处的图像区域，则确定每个粗匹配模板中A6处的图像区域，获得每个粗匹配模板中与该目标区域位置相同的粗匹配区域，从而可以从m个粗匹配模板获得m个粗匹配区域。

步骤S222：将该目标区域与所述m个粗匹配区域进行匹配，获取相似度最高的粗匹配区域，作为初级匹配区域。

该匹配过程可以参照前述实施例中将多个粗匹配模板分别与所述目标散斑图像匹配的过程。例如，可以通过基于灰度的模板匹配算法SAD算法(绝对误差和算法，Sum ofabsolute differences)以及MAD算法(平均绝对差算法，Mean Absolute Differences)等算法对该目标区域以及各个粗匹配区域进行数值运算，获取相似度最高的粗匹配区域。又如，可以采用作异或、作与等逻辑运算对该目标区域以及各个粗匹配区域进行相似度计算，获取相似度最高的粗匹配区域。其中，与前述实施例中相同或相似的部分，在此不再赘述。

步骤S223：确定n个精匹配模板中与该目标区域位置相同的精匹配区域，获得n个精匹配区域。

例如，在图8所示的区域划分方式下，当前的目标区域为目标图像中A6处的图像区域，则确定每个精匹配模板中A6处的图像区域，获得每个精匹配模板中与该目标区域位置相同的精匹配区域，从而可以从n个精匹配模板获得n个精匹配区域。

步骤S224：从所述n个精匹配区域选取所述初级匹配区域前后预设范围内的精匹配区域，将该目标区域与选取的精匹配区域进行匹配，获取相似度最高的精匹配区域，作为次级匹配区域。

本步骤中，精匹配区域的具体选取方式可以参照前述实施例中精匹配模板的选取方式，例如，通过与步骤S130中精匹配模板选取方式相同的方式，选取初级匹配区域前后预设范围内的精匹配区域。

将选取的精匹配区域与该目标区域进行匹配，获取其中与目标区域相似度最高的精匹配区域。该精匹配过程可以参照前述实施例中目标散斑图像与精匹配模板的匹配过程。例如，在精匹配时，由于要更精确地确定与目标区域的相似度，以更精确地确定目标散斑图像的的深度信息，因此，精匹配使所使用的匹配算法可以比粗匹配时更精确。例如，本申请实施例中，通过精确度更高的互相关的方式计算相似度。将目标区域与选取的精匹配区域一一进行互相关运算，获取与该目标区域相似度最高的精匹配区域。该互相关运算对应的算法可以是ZNCC(Zero Mean Normalization cross correlation,零均值归一化交叉相关)或NCC(归一化交叉相关，Normalization cross correlation)等，在本申请实施例中并不限定。

步骤S225：以该次级匹配区域的深度信息作为该目标区域的深度信息。

进一步的，在匹配过程中，可能匹配结果并不准确，所以需要进行修正。该修正可以是，若目标区域与对应的次级匹配区域之间相似度大于预设相似度，则以该次级匹配区域的深度信息作为该目标区域的深度信息；若目标区域与对应的次级匹配区域之间相似度小于或等于预设相似度，则对该目标区域的深度信息进行修正。具体的可以是：

对于每个目标区域，判断该目标区域与对应的次级匹配区域之间相似度是否大于预设相似度。若不大于预设相似度，获取该目标区域相邻的预设个数的邻域中，与对应的次级匹配区域之间相似度大于预设相似度的邻域，所述邻域为目标散斑图像中与该目标区域相邻的目标区域。该预设个数的值在本申请实施例中并不限定，例如可以是8个。将相似度大于预设相似度的邻域的深度信息求平均值，作为该目标区域的深度信息。若目标区域与对应的次级匹配区域之间相似度大于预设相似度，以该目标区域对应的次级匹配区域的深度信息作为该目标区域的深度信息的步骤。

本申请实施例通过一个具体的图像区域划分例子进行说明。图像区域的划分如图8所示，各个图像区域在图像中的位置区间分别为A1，A2，A3至A24。以目标散斑图像中目标区域A6为例说明修正过程。若目标区域A6与次级匹配区域A6之间相似度大于β1，则以该次级匹配区域的深度信息作为目标散斑图像中目标区域A6的深度信息；若目标区域A6与次级匹配区域A6之间相似度不大于β1，则判断其8邻域的目标区域对应的相似度是否大于β1，即分别判断A1至A3、A5、A7以及A9-A11处，目标区域与其对应的次级匹配区域之间相似度是否大于β1，即判断目标区域A1与其对应的次级匹配区域A1之间相似度是否大于β1，判断目标区域A2与其对应的次级匹配区域A2之间相似度是否大于β1等。将其中相似度大于β1的图像区域的深度信息求平均值，作为目标散斑图像中A6处目标区域的深度信息。其中，A1、A2等表示图像区域在图像中的位置区域。

步骤S230：分别根据所述多个目标区域的深度信息确定所述目标散斑图像的深度信息。

根据所有目标区域的深度信息，组合获得目标散斑图像的深度信息。例如，目标散斑图像的区域划分方式如图8所示，则可以根据A1至A24各个位置对应的目标区域的深度信息，确定在A1至A24各个位置处目标散斑图像的深度信息。从而可以根据目标物体在目标散斑图像中的位置，确定目标物体的深度信息。

在本申请实施例中，将目标散斑图像进行分区域匹配，获得该目标散斑图像中每个图像区域的深度信息。对于目标散斑图像中的目标物体，可以更精确地确定其在各个不同位置的深度信息，使该深度信息检测方法可以适用于平面或非平面的目标物体进行深度信息检测。

本申请实施例还提供了一种深度信息检测装置400。请参见图9，该装置400包括：图像获取模块410，用于获取将基准散斑图案投射到目标物体形成的目标散斑图像；粗匹配模块420，用于将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板，其中，每个匹配模板对应各自的深度信息，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r；精匹配模块430，用于选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板；深度信息确定模块440，用于根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息。

可选的，定义粗匹配模板的数量为m，所述精匹配模板的数量为n。该装置还可以包括区域划分模块，用于将所述目标散斑图像划分为多个目标区域，将每个粗匹配模板以相同的方式划分为多个粗匹配区域，将每个精匹配模板以相同的方式划分为多个精匹配区域。对于每个目标区域，

粗匹配模块420可以用于确定m个粗匹配模板中与该目标区域位置相同的粗匹配区域，获得m个粗匹配区域；将该目标区域与所述m个粗匹配区域进行匹配，获取相似度最高的粗匹配区域，作为初级匹配区域。精匹配模块430可以用于确定n个精匹配模板中与该目标区域位置相同的精匹配区域，获得n个精匹配区域；从所述n个精匹配区域选取所述初级匹配区域前后预设范围内的精匹配区域，将该目标区域与选取的精匹配区域进行匹配，获取相似度最高的精匹配区域，作为次级匹配区域。深度信息确定模块440用于以该次级匹配区域的深度信息作为该目标区域的深度信息；分别根据所述多个目标区域的深度信息确定所述目标散斑图像的深度信息。

可选的，该装置还可以包括深度信息修正模块，用于对于每个目标区域，判断该目标区域与对应的次级匹配区域之间相似度是否大于预设相似度，若不大于，获取该目标区域相邻的预设个数的邻域中，与对应的次级匹配区域之间相似度大于预设相似度的邻域，所述邻域为目标散斑图像中与该目标区域相邻的目标区域，将相似度大于预设相似度的邻域的深度信息求平均值，作为该目标区域的深度信息，若大于，执行所述以该次级匹配区域的深度信息作为该目标区域的深度信息的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图10，其示出了本申请实施例提供的一种电子设备600的结构框图。该电子设备600可以是手机、平板电脑、电子书等能够进行深度信息识别的电子设备。该电子设备包括处理器610以及存储器620，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述一个或多个实施例所描述的方法。

处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。

存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集，如用于实现本申请实施例提供的深度信息检测方法的指令或代码集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

可选的，该电子设备还可以包括投影单元用于投射基准散斑图案；包括图像采集单元，用于采集投影单元投射形成的图像。

请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种深度信息检测方法，其特征在于，所述方法包括：

获取将基准散斑图案投射到目标物体形成的目标散斑图像；

将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板，其中，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r，每个粗匹配模板对应各自的深度信息，每个精匹配模板对应各自的深度信息；

选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板，所述预设范围根据所述初级匹配模板与所述模板散斑图像的相似度计算，所述初级匹配模板与所述模板散斑图像的相似度越高，所述预设范围越小；

根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息。

2.根据权利要求1所述的方法，其特征在于，所述粗匹配模板的数量为m，所述精匹配模板的数量为n，所述将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板；选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板；根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息，包括：

将所述目标散斑图像划分为多个目标区域，将每个粗匹配模板以相同的方式划分为多个粗匹配区域，将每个精匹配模板以相同的方式划分为多个精匹配区域；

对于每个目标区域，

确定m个粗匹配模板中与该目标区域位置相同的粗匹配区域，获得m个粗匹配区域，

将该目标区域与所述m个粗匹配区域进行匹配，获取相似度最高的粗匹配区域，作为初级匹配区域，

确定n个精匹配模板中与该目标区域位置相同的精匹配区域，获得n个精匹配区域，

从所述n个精匹配区域选取所述初级匹配区域前后预设范围内的精匹配区域，将该目标区域与选取的精匹配区域进行匹配，获取相似度最高的精匹配区域，作为次级匹配区域，

以该次级匹配区域的深度信息作为该目标区域的深度信息；

分别根据所述多个目标区域的深度信息确定所述目标散斑图像的深度信息。

3.根据权利要求2所述的方法，其特征在于，所述分别根据所述多个目标区域的深度信息确定所述目标散斑图像的深度信息之前，还包括：

对于每个目标区域，

判断该目标区域与对应的次级匹配区域之间相似度是否大于预设相似度，

若不大于，获取该目标区域相邻的预设个数的邻域中，与对应的次级匹配区域之间相似度大于预设相似度的邻域，所述邻域为目标散斑图像中与该目标区域相邻的目标区域，

将相似度大于预设相似度的邻域的深度信息求平均值，作为该目标区域的深度信息，

若大于，执行所述以该次级匹配区域的深度信息作为该目标区域的深度信息的步骤。

4.根据权利要求1所述的方法，其特征在于，所述基准散斑图案中包括散斑，每两个间距为r的匹配模板中，同一散斑移动的距离小于所述散斑的半径。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：从M个匹配模板中选取m个粗匹配模板以及(M-m)个精匹配模板，所述M个匹配模板中，每两个相邻的匹配模板间隔为r。

6.根据权利要求1任一项所述的方法，其特征在于，通过数值运算或逻辑运算匹配粗匹配模板与目标散斑图像，通过互相关运算匹配精匹配模板与目标散斑图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，R为r的正整数倍。

8.一种深度信息检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取将基准散斑图案投射到目标物体形成的目标散斑图像；

粗匹配模块，用于将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板，其中，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r，每个粗匹配模板对应各自的深度信息，每个精匹配模板对应各自的深度信息；

精匹配模块，用于选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板，所述预设范围根据所述初级匹配模板与所述模板散斑图像的相似度计算，所述初级匹配模板与所述模板散斑图像的相似度越高，所述预设范围越小；

深度信息确定模块，用于根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息。

9.一种深度信息检测系统，包括投影单元、图像采集单元、存储单元以及处理单元，所述投影单元、图像采集单元以及存储单元与所述处理单元电性连接，所述图像采集单元以及存储单元电性连接，其中，

所述投影单元用于将基准散斑图案投射到目标物体；

所述图像采集单元用于采集所述基准散斑图案投射到目标物体形成的图像，以获取目标散斑图像；

所述存储单元用于存储匹配模板，每个匹配模板对应各自的深度信息，匹配模板包括粗匹配模板以及精匹配模板，每两个相邻的粗匹配模板间隔为R，每两个相邻的粗匹配模板之间包括精匹配模板，每两个相邻的精匹配模板间隔为r，R大于r；

所述处理单元用于将多个粗匹配模板分别与所述目标散斑图像匹配，获取相似度最高的粗匹配模板，作为初级匹配模板；选取所述初级匹配模板前后预设范围内的精匹配模板，分别与所述目标散斑图像匹配，获取相似度最高的精匹配模板，作为次级匹配模板，所述预设范围根据所述初级匹配模板与所述模板散斑图像的相似度计算，所述初级匹配模板与所述模板散斑图像的相似度越高，所述预设范围越小；根据所述次级匹配模板的深度信息确定所述目标散斑图像的深度信息。

10.根据权利要求9所述的深度信息检测系统，其特征在于，

所述投影单元还用于将基准散斑图案投射到距离不同的各个参考幕；

所述图像采集单元用于采集投影单元投射到各个参考幕上图像，以获取多个匹配模板。

Images