CN113379817B - 基于散斑的深度信息获取方法、装置及系统 - Google Patents

Abstract

本申请公开了一种基于散斑的深度信息获取方法、装置及系统，涉及图像处理技术领域。方法包括：获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表；从至少一张模板图像对应的模板窗口中获取与目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个散斑窗口分别匹配的目标模板窗口所属的目标窗口组；从查找表中获取各目标窗口组对应的目标平面方程信息；根据各散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各散斑窗口中目标点对应的深度信息。通过采用上述方法，可以有效提高获取的深度信息的准确性，以及降低了散斑的深度信息的获取复杂度。

Description

基于散斑的深度信息获取方法、装置及系统

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种基于散斑的深度信息获取方法、装置及系统。

背景技术

随着科技的发展，在某些图像显示场景中，二维图像已经不能满足人们的需要。而三维立体图像因比二维图像多了深度信息而更加真实且准确，在日常生活中，对三维场景的使用愈加普遍，例如人脸支付、体感游戏、AR购物等。

在三维场景下，需要获取图像的深度信息，而现有的获取图像的深度信息的方式计算量大，计算耗时。

发明内容

鉴于上述问题，本申请提出了一种基于散斑的深度信息获取方法、装置及系统，以改善上述问题。

第一方面，本申请实施例提供了一种基于散斑的深度信息获取方法，所述方法包括：获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表，其中，所述目标散斑图像包括多个散斑窗口，每组所述窗口组中包括N个模板窗口，M和N分别为大于1的整数，所述查找表中包括所述窗口组及与每组窗口组对应的平面方程信息；从至少一张所述模板图像对应的模板窗口中获取与所述目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个所述散斑窗口分别匹配的目标模板窗口所属的目标窗口组；从所述查找表中获取各所述目标窗口组对应的目标平面方程信息；根据各所述散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各所述散斑窗口中目标点对应的深度信息。

第二方面，本申请实施例提供了一种基于散斑的深度信息获取装置，所述装置包括：第一获取模块、第二获取模块、第三获取模块以及深度信息获得模块。第一获取模块，用于获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表，其中，所述目标散斑图像包括多个散斑窗口，每组所述窗口组中包括N个模板窗口，M和N分别为大于1的整数，所述查找表中包括所述窗口组及与每组窗口组对应的平面方程信息；第二获取模块，用于从至少一张所述模板图像对应的模板窗口中获取与所述目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个所述散斑窗口分别匹配的目标模板窗口所属的目标窗口组；第三获取模块，用于从所述查找表中获取各所述目标窗口组对应的目标平面方程信息；深度信息获得模块，用于根据各所述散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各所述散斑窗口中目标点对应的深度信息。

第三方面，本申请实施例提供了一种基于散斑的深度信息获取系统，包括投影单元、图像采集单元、存储单元以及处理单元，所述投影单元、图像采集单元以及存储单元与所述处理单元电性连接，所述图像采集单元以及存储单元电性连接，其中，所述投影单元用于将基准散斑图案投射到目标物体；所述图像采集单元用于采集所述基准散斑图案投射到目标物体形成的图像，以获取目标散斑图像；所述存储单元用于存储M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表；所述处理单元用于获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表，其中，所述目标散斑图像包括多个散斑窗口，每组所述窗口组中包括N个模板窗口，M和N分别为大于1的整数，所述查找表中包括所述窗口组及与每组窗口组对应的平面方程信息；所述处理单元还用于从至少一张所述模板图像对应的模板窗口中获取与所述目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个所述散斑窗口分别匹配的目标模板窗口所属的目标窗口组，从所述查找表中获取各所述目标窗口组对应的目标平面方程信息，以及根据各所述散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各所述散斑窗口中目标点对应的深度信息。

本申请实施例提供的基于散斑的深度信息获取方法、装置及系统，获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表；从至少一张模板图像对应的模板窗口中获取与目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个散斑窗口分别匹配的目标模板窗口所属的目标窗口组；从查找表中获取各目标窗口组对应的目标平面方程信息；根据各散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各散斑窗口中目标点对应的深度信息，通过采用上述方法，可以有效提高获取的深度信息的准确性，以及降低了散斑的深度信息的获取复杂度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的获取系统的结构示意图。

图2示出了本申请实施例提供的图像采集单元原图与投影单元的位置关系示意图。

图3示出了本申请实施例提供的获取模板图像的示意图。

图4示出了本申请实施例提供的一种投射于参考幕的散斑图像的示意图。

图5示出了本申请实施例提供的一种投射于参考幕的散斑图像的示意图。

图6示出了本申请一实施例提供的基于散斑的深度信息获取方法的流程图。

图7示出了本申请实施例提供的模板图像与目标散斑图像的对应关系图。

图8示出了本申请另一实施例提供的基于散斑的深度信息获取方法的流程图。

图9示出了本申请实施例中提供的两个模板图像的对应关系图。

图10示出了本申请实施例提供的基于散斑的深度信息获取装置的功能模块图。

图11示出了本申请实施例提供的基于散斑的深度信息获取装置的另一功能模块图。

图12示出了本申请实施例提供的电子设备的结构框图。

图13是本申请实施例的用于保存或者携带实现根据本申请实施例的基于散斑的深度信息获取方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在人脸支付、体感游戏以及AR购物等各种领域，都需要获取图像的深度信息。例如，在人脸支付领域，需要获取人脸图像中人脸的深度信息，以精确匹配进行支付验证的人脸是否为注册的人脸。

单目散斑测量法可以作为一种获取图像深度信息的方法。通常的，单目散斑测量法可以分为时间相关和空间相关。时间相关一般指在已知纵深的空间上移动等距的参考幕，发射器向参考幕投射带有散斑形态的图案，采集器记录这些位置的散斑形态，从而记录到对应已知纵深的空间上移动等距的参考幕在各个位置的散斑形态。利用散斑在空间每个位置形态不一样的特性，当目标对象(如人脸支付中的人脸)放置于此维度中，与在这组时间序列上各个位置上不同形态的散斑进行相似度匹配，即可搜索出目标对象的深度信息。空间相关一般指只使用一幅参考幕散斑图和向目标物体投射带有散斑形态后的散斑图，仅这两幅图像作相似度匹配，对比出目标对象相对参考幕散斑图在每个坐标位置的偏移量，再借助外部的几何三角关系而得到目标对象的深度图，获得目标对象的深度信息。

上述的方法中，时间相关方法由于需要加载所有的散斑图像，与所有的散斑图像进行匹配，加之各种复杂形式的互相关匹配函数，导致计算非常耗时，不适合快速的测量方式，如在人脸支付场景中要求的快速匹配的需求。而空间相关方法较少的模板图像，但需要计算每个坐标位置的偏移量，因此存在计算量大，耗时较长的问题，同时该方法的使用前提是，硬件上要求散斑发射器和相机两者的基线与模板图像平行，才能得到较准确的视差。否则，将存在较大误差。

因此，本申请实施例提出了一种基于散斑的深度信息获取方法，通过基于M张模板图像分别对应的窗口组得到的查找表中包括的每组窗组对应的平面方程信息，以及与目标散斑图像中的每个散斑窗口匹配的目标模板窗口，获得与每个目标模板窗口对应的平面方程信息，根据各散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各散斑窗口中目标点对应的深度信息。基于上述过程获得深度信息时计算复杂度低，计算效率更高，克服硬件限制，提高了计算准确性。

图1示出了一种图像采集系统，用于采集目标散斑图像和模板图像。如图1所示，该图像采集系统包括投影单元110、图像采集单元120以及存储单元130。

其中，投影单元110可以包括光源、准直镜头和衍射光学元件等器件，用于投射图案。该投影单元110可以用于投射一种图案，也可以用于投射密度和/或形状不完全相同的多种图案。

可选的，该投影单元110可以是可见光投影仪，也可以是非可见光投影仪。作为一种方式，该投影单元110可以是红外激光模组，其光源可以是VCSEL阵列激光，用于投射红外的图案。

投影单元110投射的图案的具体形状和密度在本申请实施例中并不限定，以同一图案投射到离投影单元110不同距离时，可以实现成像相同为宜。其中，上述投射的团为散斑，散斑的特性是散乱的圆斑点，满足匹配需要的无规律的杂乱信息，同一散斑图案从投影单元110进行投射时，在离投影单元110不同距离处成像相同，因此，本申请实施例中，投影单元110可以用于投射散斑图案，以散斑图案为例进行说明。投影单元110的具体光源在本申请实施例中并不限定，通过相应的图像采集单元120可以采集到光源投射出的散斑图案即可，如通过红外图像采集设备采集红外光源投射的散斑图像，通过可见光图像采集设备采集可见光光源投射的散斑图像等。

图像采集单元120与投影单元110保持一定的基线距离，可以是记录投影单元110所发射图案波长的图像传感器，用于采集投影单元110投射的散斑图案的图像，可以包括感光元件、滤光片和镜头等。该图像采集单元120可以是对应光源类型的图像传感器，如投影单元110的光源为红外光，图像采集单元120为红外光图像采集设备；若光源为可见光，图像采集单元120为可见光图像采集设备等。图像采集单元120与投影单元110之间的位置关系在本申请实施例中并不限定，例如，投影单元110水平放置、水平投影，即图像采集单元120与投影单元110可以放置于同一水平高度，图像采集单元120与投影单元110也可以在同一竖直方向上。

信息存储单元130与图像采集单元120连接，用于存储图像采集单元120采集的投射于到图像采集单元120距离不同的多个参考幕的散斑图案，作为模板图像，该信息存储单元130可以是FLASH、ROM或者硬盘的任意一种。

本申请实施例中，图像采集系统还可以包括处理单元140，与图像采集单元120、投影单元110以及信息存储单元130电连接。该处理单元140的平台可以为ASIC、FPGA和DSP的一种，用于对采集的图像进行处理，也可以用于控制投影单元110的投影以及图像采集单元120的图像采集。可选的，该处理单元140可以包括控制器用于进行控制，如通过同步时序电路和异步时序电路进行控制；也可以包括深度处理器，用于进行深度信息获取的处理。

该图像采集系统中各个单元之间可以是相互彼此独立的，也可以是集成在一起的。例如，图像采集系统可以是手机、平板电脑以及笔记本电脑等集成了投影单元110、图像采集单元120、存储单元130以及处理单元140的电子设备。

通过图像采集系统可以获取用于图像基于散斑的深度信息获取的模板图像。其中，投影单元110可以用于将基准散斑图案投射到距离不同的各个参考幕，各参考幕应当位于图像采集单元120和投影单元110共同的覆盖范围内(测量有效区域内)而不应当位于非测量有效区域之外的盲区。图像采集单元120可以用于采集投影单元110投射到位于测量有效区域内的各个参考幕上图像，以获取多个模板图像。

具体的，在获取模板图像时，如图2和图3所示，当图像采集单元120与投影单元110放置于同一水平高度，或者图像采集单元120与投影单元110在同一竖直方向上时。可以在投影单元110的投影方向上，放置一参考幕，参考幕放置于投影单元110的深度轴，并使参考幕与投影单元110之间的距离变化，如依次变大或者依次变小。图像采集单元120获取参考幕与投影单元110之间不同距离的时候，投影单元110投射的散斑图案在参考幕的成像。其中，参考幕为用于承载散斑图案的投影平面，投影单元110投出的图像可以在参考幕成像，图像采集单元120通过对参考幕进行图像采集，可以获取到投影单元110投射的图案在参考幕所成图像，该图像可以用作模板图像。可以理解的，图2仅为示例性说明，并没有画出在所有位置的参考幕。

可以理解的，当参考幕与投影单元110位于同一水平面上时，参考幕与投影单元110之间的距离发生变化，投射于参考幕的散斑图像中的散斑会左右移动。例如图4示出了一种散斑的移动示例，图4中第一实线圆101表示在参考幕某位置点处时，一个散斑在该参考幕的成像。当该参考幕与投影单元110之间距离减小，散斑会向左发生位移，如图4中第一虚线圆102所示；当该参考幕与投影单元110之间距离增大，散斑会向右发生位移，如图4中第二虚线圆103所示。每两个相邻位置点之间的间距选取标准为，当参考幕与投影单元110之间距离减小r时，第一实线圆101移动到第一虚线圆102的位置处，第一实线圆101到第一虚线圆102的移动距离小于该第一实线圆101的半径；当参考幕与投影单元110之间距离增大r时，第一实线圆101移动到第二虚线圆103的位置处，第一实线圆101到第二虚线圆103的移动距离小于该第一实线圆101的半径。第一虚线圆102以及第二虚线圆103具有交集。

当参考幕与投影单元110位于同一竖直方向上时，投射于参考幕的散斑图像中的散斑会上下移动。例如图5示出了一种散斑的另一移动示例，图4中第二实线圆105表示在参考幕某位置点处时，一个散斑在该参考幕的成像。当该参考幕与投影单元110之间距离减小，散斑会向上发生位移，如图5中第三虚线圆106所示；当该参考幕与投影单元110之间距离增大，散斑会向下发生位移，如图5中第四虚线圆107所示。每两个相邻位置点之间的间距选取标准为，当参考幕与投影单元110之间距离减小r时，第二实线圆105移动到第三虚线圆106的位置处，第二实线圆105到第三虚线圆106的移动距离小于该第二实线圆105的半径；当参考幕与投影单元110之间距离增大r时，第二实线圆105移动到第四虚线圆107的位置处，第二实线圆105到第四虚线圆107的移动距离小于该第二实线圆105的半径。第三虚线圆106以及第四虚线圆107具有交集。

本申请实施例中，通过图像采集系统获得的模板图像可以进行图像的基于散斑的深度信息获取。如图6示出了本申请实施例提供的基于散斑的深度信息获取方法。该方法可以应用于电子设备。该电子设备可以是手机、平板电脑、个人电脑以及其他包括可用于基于散斑的深度信息获取的智能设备。该基于散斑的深度信息获取方法也可以用于基于散斑的深度信息获取系统，该基于散斑的深度信息获取系统可以包括如图1所示的投影单元110、图像采集单元120、存储单元130以及处理单元140，或者该基于散斑的深度信息获取系统与图像采集系统为同一个系统。其中，被测量深度的目标物体需要置于最近和最远的参考幕对应的距离范围之间且在采集单元的视场范围内，即测量有效区。

请参见图6，该基于散斑的深度信息获取方法可以包括：

步骤S210：获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表。

其中，目标散斑图像包括多个散斑窗口，每组窗口组中包括N个模板窗口，M和N分别为大于1的整数，查找表中包括窗口组及与每组窗口组对应的平面方程信息。

当需要检测某一目标物体在图像上的深度信息时，可以采集将基准散斑图案投射到目标物体形成的图像，作为目标散斑图像。其中，该基准散斑图案与获取模板图像时的基准散斑图案相同。

例如，检测人脸的深度信息，则将基准散斑图案投射到人脸，再采集该基准散斑图案投射到人脸时的图像，该图像中包括基准散斑图案投射到人脸形成的目标散斑图像。可选的，若采集到的图像中仅仅包括散斑图案投射形成的目标散斑图像，则将采集到的图像作为目标散斑图像；若采集到的图像中还包括目标物体的图像，则将采集到的图像进行图像处理，获取基准散斑图案投射形成的图像，作为目标散斑图像。

本申请实施例中，可以是由进行基于散斑的深度信息获取的设备将基准散斑图案投射到目标物体形成目标散斑图像；也可以是，其他设备将基准散斑图案投射到目标物体形成目标散斑图像，进行基于散斑的深度信息获取的设备从其他设备获取该目标散斑图像。

M张模板图像具体可以是2张图像、3张图像或4张图像。作为一种方式，在本实施例中，M张模板图像为2张模板图像，且2张模板图像分别为第一模板图像和第二模板图像。且第一张模板图像到图像采集单元之间的距离与第二张模板图像到图像采集单元之间的距离不同。

每张模板图像分别对应的窗口组为，对每张模板图像按照大小为size*size为区域进行划分，得到每张模板图像对应的多个模板窗口，其中，size用于表征每个模板窗口中的一行或一列中包括的像素点的数量，也可以用于表征模板窗口的长度或宽度。

将每张模板图像对应的多个模板窗口划分为多组窗口组，以使每组窗口组中包括N个模板窗口的方式可以是：对每张模板图像对应的多个模板窗口分别根据投影单元投射和图像采集单元的位置关系进行划分得到的窗口组。

作为一种方式，当图像采集单元与投影单元放置于同一水平高度时，则可以将模板图像中位于的同一列的多个模板窗口作为一个窗口组。

作为另一种方式，当图像采集单元与投影单元放置于同一竖直方向上时，则可以将模板图像中位于的同一行的多个模板窗口作为一个窗口组。

作为又一种方式，当图像采集单元与投影单元不在同一水平方向上或者同一竖直方向上时，可以根据图像采集单元与投影单元之间的连线与水平方向或竖直方向之间的夹角对每张模板图像对应的多个模板窗口进行划分得到多个窗口组。

每组窗口组对应的平面方程信息可以根据该窗口组中包括的模板窗口在对应的模板图像中的坐标得到。

其中，平面方程信息可以是平面方程的参数信息，也可以是平面方程的计算式。

应当理解，当平面方程信息为平面方程的参数信息时，查找表中包括多组窗口组和每组窗口组对应的平面方程的参数信息；当平面方程信息为平面方程的计算式时，查找表中都包括多组窗口组和每组窗口组对应的平面方程的计算式。

步骤S220：从至少一张模板图像对应的模板窗口中获取与目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个散斑窗口分别匹配的目标模板窗口所属的目标窗口组。

作为一种方式，从模板图像中获取目标散斑图像中的每个散斑窗口匹配的模板窗口的方式可以是，通过基于灰度的模板匹配算法SAD算法(绝对误差和算法，Sum ofabsolute differences)以及MAD算法(平均绝对差算法，Mean Absolute Differences)等算法进行数值运算，得到分别对应每个散斑窗口与各模板窗口的差分结果。其中与散斑窗口的差分结果的数值最小所对应的模板窗口，为与该散斑窗口相似度最高的目标模板窗口。

作为一种方式，从模板图像中获取目标散斑图像中的每个散斑窗口匹配的模板窗口的方式还可以是，计算每个散斑窗口与模板图像中的各模板窗口之间的相似度，且相似度计算方式可以采用作异或的逻辑运算，其中数值最小的异或结果所对应的模板窗口，为与散斑窗口相似度最高的模板窗口。

步骤S230：从查找表中获取各目标窗口组对应的目标平面方程信息。

由于查找表中包括多个窗口组以及与每个窗口组分别对应的平面方程信息，因此，通过查表的方式即可获得与各目标窗口对应的目标平面方程信息。

步骤S240：根据各散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各散斑窗口中目标点对应的深度信息。

其中，散斑窗口的目标点的平面坐标可以是以散斑图像的角点，如左下角、右下角、左上角或右上角等角点为原点建立坐标系得到的各散斑窗口中目标点的平面坐标，也可以是以散斑图像的中心点为原点建立坐标系得到的各散斑窗口中目标点的平面坐标。

作为另一种方式，上述步骤S240还可以是：对各目标模板窗口所在窗口组对应的平面方程信息及该散斑窗口的目标点的平面坐标采用逆投影成像关系进行计算，得到各散斑窗口中目标点对应的深度信息。

具体的，如图7所示，以目标散斑图像X中的一散斑窗口对Si对应在模板图像Z中查找到的目标模板窗口为Pi，该目标模板窗口Pi所属的窗口组为目标窗口组，且该目标窗口组对应的平面L的平面方程信息为平面方程的系数(a_i，b_i，c_i)为例，该散斑窗口Si中目标点Ri的平面坐标为(u_i，v_i)，该目标点Ri对应匹配到近距离的模板图像Z中的目标模板窗口Pi中的目标点Qi的平面坐标为(u_m，v_m)，通过查找表定位该目标模板窗口Pi所在行列处系数的平面方程为a_ix+b_iy+c_iz＝1。根据逆投影成像关系，

其中，s为比例因子，M为相机标定的内外参数。联立上述两个方程组，可以求解出交点(x，y，z)，根据该交点即可得到上述的散斑窗口Si中目标点Ri的深度信息。

在本申请实施例中提供的散斑的深度信息获取方法中，针对目标散斑图像的每个散斑窗口，通过获取与各散斑窗口匹配的目标模板窗口即该目标模板窗口对应的平面方程信息，并根据散斑窗口中的目标点对应的平面坐标以及平面方程信息得到各散斑窗口中的目标点的深度信息，从而实现获得目标散斑图像的深度信息，提高了目标散斑图像的深度信息的获取效率，此外，通过采用上述方法，不需要散斑发射器与相机严格平行于参考幕，就能恢复物体点的三维坐标，克服硬件上的限制。

请参见图8，图8为本申请另一实施例提供了一种散斑的深度信息的获取方法的流程示意图，该方法包括：

步骤S310：将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的窗口组，每组窗口组包括形状大小相同的多个模板窗，该多个模板窗口中目标点位于同一直线，各组窗口组对应的目标点对应的连线相互平行。

如图9所示，其中，M张模板图像包括第一模板图像Z1和第二模板图像Z2。

将M张模板图像分别进行划分，并根据图像采集单元与投影单元之间的位置关系将划分得到的多个窗口划分至多个窗口组中。

具体的，当图像采集单元与投影单元放置于同一水平高度时，则可以将模板图像中位于的同一列的多个窗口作为一个窗口组；当图像采集单元与投影单元放置于同一竖直方向上时，则可以将模板图像中位于的同一行的多个窗口作为一个窗口组；以及当图像采集单元与投影单元不在同一水平方向上或者同一竖直方向上时，可以根据图像采集单元与投影单元之间的连线与水平方向或竖直方向之间的夹角对每张模板图像对应的多个模板窗口进行划分得到多个窗口组。

利用上述方式划分的得到的每个模板图像对应的多组窗口组中，每组窗口组包括的模板窗口的数量可以是相同的，也可以是不同的。例如，当将模板图像中位于的同一列的多个模板窗口作为一个窗口组时，每组窗口组中包括的模板窗口的数量相同，当将模板图像位于同一行的多个模板窗口作为一个窗口组时，每组窗口组包括的模板窗口的数量相同。

步骤S320：对于第一模板图像Z1的每组窗口组，从该组窗口组中选取至少两个第一模板窗口P1i，并从第二模板图像Z2中包括的模板窗口中获取与每个第一模板窗口P1i匹配的第二模板窗口P2i。

其中，上述步骤中，从第二模板图像Z2中包括的模板窗口中获取与每个第一模板窗口P1i匹配的第二模板窗口P2i的方式就可以是利用基于灰度的模板匹配算法SAD算法以及MAD算法等进行计算得到，也可以是利用相似度算法计算得到。关于将步骤S320的具体描述，可以参阅前文对步骤S220的具体描述，此处不做一一赘述。

步骤S330：根据每个第一模板窗口P1i中的目标点Q1i在该第一模板图像Z1中的平面坐标得到每个第一模板窗口P1i中的目标点Q1i的第一世界坐标(X1_i,Y1_i,Z1_i)，根据每个第二模板窗口P2i中的目标点Q2i在该第二模板图像Z2中的平面坐标得到每个第二模板窗口P2i中的目标点Q2i的第二世界坐标(X2_i,Y2_i,Z2_i)。

作为一种方式，上述步骤S330可以是：对每个第一模板窗口P1i中的目标点Q1i在该第一模板图像Z1中的平面坐标以及该第一模板图像Z1对应的第一相机标定参数，采用投影成像关系进行计算得到每个第一模板窗口P1i中的目标点Q1i的第一世界坐标(X1_i,Y1_i,Z1_i)；对每个第二模板窗口中P2i的目标点Q1i在该第二模板图像Z2中的平面坐标以及该第二模板图像Z2对应的第二相机标定参数，采用投影成像关系进行计算得到每个第二模板窗口P2i中的目标点Q1i的第二世界坐标(X2_i,Y2_i,Z2_i)。

步骤S340：根据各第一世界坐标(X1_i,Y1_i,Z1_i)和各第二世界坐标(X2_i,Y2_i,Z2_i)获得一平面方程信息。

上述步骤S330获得的各第一世界坐标(X1_i,Y1_i,Z1_i)和各第二世界坐标(X2_i,Y2_i,Z2_i)中，每个第一世界坐标(X1_i,Y1_i,Z1_i)与一个第二世界坐标(X2_i,Y2_i,Z2_i)相对应且共同构成一组世界坐标，每组世界坐标中的第一世界坐标(X1_i,Y1_i,Z1_i)和第二世界坐标(X2_i,Y2_i,Z2_i)之间的连线可能不在同一平面。

因此，作为一种方式，上述步骤S340可以是，从各第一世界坐标(X1_i,Y1_i,Z1_i)和各第二世界坐标(X2_i,Y2_i,Z2_i)中选取三个不在同一直线上的坐标，以利用该三个不在同一直线上的坐标得建立平面方程求解计算式，计算得到对应的平面方程，从而获得该平面方程对应的平面方程信息。

作为另一种方式，上述步骤S340还可以是，对各第一世界坐标(X1_i,Y1_i,Z1_i)和各第二世界坐标(X2_i,Y2_i,Z2_i)采用最小二乘法进行计算，得到一平面方程信息。或者对各第一世界坐标(X1_i,Y1_i,Z1_i)和各第二世界坐标(X2_i,Y2_i,Z2_i)进行拟合，得到一平面方程信息。

通过采用上述步骤S320-S340，即可获得与每组窗口组分别对应的平面的平面方程信息，从而得到查找表。

步骤S350：获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表。

其中，目标散斑图像包括多个散斑窗口，每组窗口组中包括N个模板窗口，M和N分别为大于1的整数，查找表中包括窗口组及与每组窗口组对应的平面方程信息。

步骤S360：从至少一张模板图像对应的模板窗口中获取与目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个散斑窗口分别匹配的目标模板窗口所属的目标窗口组。

步骤S370：从查找表中获取各目标窗口组对应的目标平面方程信息。

步骤S380：根据各散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各散斑窗口中目标点对应的深度信息。

在本申请实施例中，通过基于M张模板图像中的第一模板图像对应的模板窗口组中选取至少两个第一模板窗口，并从第二模板图像对应的模板窗口中获取与每个第一模板窗口匹配的第二模板窗口，并获取各第一模板窗口中目标点的第一世界坐标以及各第二窗口模板的第二时间坐标，以及根据各第一世界坐标和各第二世界坐标获得平面方程，从而针对目标散斑图像的每个散斑窗口，通过获取与各散斑窗口匹配的目标模板窗口即该目标模板窗口对应的平面方程信息，并根据散斑窗口中的目标点对应的平面坐标以及平面方程信息得到各散斑窗口中的目标点的深度信息，从而实现获得目标散斑图像的深度信息，提高了目标散斑图像的深度信息的获取效率，此外，通过采用上述方法，不需要散斑发射器与相机严格平行于参考幕，就能恢复物体点的三维坐标，克服硬件上的限制。

请参见图10，本申请实施例还提供了一种基于散斑的深度信息获取装置400。该装置400包括：第一获取模块410、第二获取模块420、第三获取模块430以及深度信息获得模块440。

第一获取模块410，用于获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表，其中，目标散斑图像包括多个散斑窗口，每组窗口组中包括N个模板窗口，M和N分别为大于1的整数，查找表中包括窗口组及与每组窗口组对应的平面方程信息。第二获取模块420，用于从至少一张模板图像对应的模板窗口中获取与目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个散斑窗口分别匹配的目标模板窗口所属的目标窗口组。第三获取模块430，用于从查找表中获取各目标窗口组对应的目标平面方程信息。深度信息获得模块440，用于根据各散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各散斑窗口中目标点对应的深度信息。

作为一种方式，目标点为对应的窗口的中心点，窗口组中包括的多个模板窗口位于对应的模板图像的同一行或同一列。

作为一种方式，第一获取模块410还用于获取将基准散斑图案投射到目标物体形成的目标散斑图像；以及用于获取将散斑图案投射到距离散斑投影设备不同的M个参考幕得到M个模板图像。

作为一种方式，深度信息获得模块440还用于对各目标模板窗口所在窗口组对应的平面方程信息及该散斑窗口的目标点的平面坐标采用逆投影成像关系进行计算，得到各散斑窗口中目标点对应的深度信息。

可选的，请参阅图11，该装置400还可以包括图像划分模块450、匹配模块460、坐标获得模块470以及方程信息获得模块480。

图像划分模块450将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的窗口组，每组窗口组包括形状大小相同的多个模板窗，该多个模板窗口中目标点位于同一直线，各组窗口组对应的目标点对应的连线相互平行。

匹配模块460，用于针对第一模板图像的每组窗口组，从该组窗口组中选取至少两个第一模板窗口，并从第二模板图像中包括的模板窗口中获取与每个第一模板窗口匹配的第二模板窗口。

坐标获得模块470，用于根据每个第一模板窗口中的目标点在该第一模板图像中的平面坐标得到每个第一模板窗口中的目标点的第一世界坐标，根据每个第二模板窗口中的目标点在该第二模板图像中的平面坐标得到每个第二模板窗口中的目标点的第二世界坐标。

该坐标获得模块470具体可以用于对每个第一模板窗口中的目标点在该第一模板图像中的平面坐标以及该第一模板图像对应的第一相机标定参数，采用投影成像关系进行计算得到每个第一模板窗口中的目标点的世界坐标。对每个第二模板窗口中的目标点在该第二模板图像中的平面坐标以及该第二模板图像对应的第二相机标定参数，采用投影成像关系进行计算得到每个第二模板窗口中的目标点的世界坐标。

方程信息获得模块480根据各第一世界坐标和各第二世界坐标获得一平面方程信息。

其中，该方程信息获得模块480，具体用于对各第一世界坐标和各第二世界坐标采用最小二乘法进行计算，得到一平面方程信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置400和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图12，其示出了本申请实施例提供的一种电子设备500的结构框图。该电子设备500可以是手机、平板电脑、电子书等能够进行深度信息识别的电子设备。该电子设备包括处理器502以及存储器504，存储器504能够耦接到处理器502，存储器504存储指令，当指令由处理器502执行时，处理器502执行上述一个或多个实施例所描述的方法。

处理器502可以包括一个或者多个处理核。处理器502利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器504内的指令、程序、代码集或指令集，以及调用存储在存储器504内的数据，执行电子设备500的各种功能和处理数据。可选地，处理器502可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器502可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器502中，单独通过一块通信芯片进行实现。

存储器504可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器504可用于存储指令、程序、代码、代码集或指令集，如用于实现本申请实施例提供的基于散斑的深度信息获取方法的指令或代码集。存储器504可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

可选的，该电子设备还可以包括投影单元用于投射基准散斑图案；包括图像采集单元，用于采集投影单元投射形成的图像。

请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种基于散斑的深度信息获取方法，其特征在于，所述方法包括：

获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表，其中，所述目标散斑图像包括多个散斑窗口，每组所述窗口组中包括N个模板窗口，M和N分别为大于1的整数，所述查找表中包括所述窗口组及与每组窗口组对应的平面方程信息；

从至少一张所述模板图像对应的模板窗口中获取与所述目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个所述散斑窗口分别匹配的目标模板窗口所属的目标窗口组；

从所述查找表中获取各所述目标窗口组对应的目标平面方程信息；

根据各所述散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各所述散斑窗口中目标点对应的深度信息；

其中，所述M张模板图像包括第一模板图像和第二模板图像，所述查找表中的平面方程信息通过以下方式获得：

将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的窗口组，每组窗口组包括形状大小相同的多个模板窗，该多个模板窗口中目标点位于同一直线，各组窗口组对应的目标点对应的连线相互平行；

对于所述第一模板图像的每组窗口组，从该组窗口组中选取至少两个第一模板窗口，并从所述第二模板图像中包括的模板窗口中获取与每个所述第一模板窗口匹配的第二模板窗口；

根据每个所述第一模板窗口中的目标点在该第一模板图像中的平面坐标得到每个第一模板窗口中的目标点的第一世界坐标，根据每个所述第二模板窗口中的目标点在该第二模板图像中的平面坐标得到每个第二模板窗口中的目标点的第二世界坐标；

根据各所述第一世界坐标和各所述第二世界坐标获得一平面方程信息。

2.根据权利要求1所述的基于散斑的深度信息获取方法，其特征在于，所述根据各所述第一世界坐标和各所述第二世界坐标获得一平面方程信息，包括：

对各所述第一世界坐标和各所述第二世界坐标采用最小二乘法进行计算，得到一平面方程信息。

3.根据权利要求1所述的基于散斑的深度信息获取方法，其特征在于，所述根据每个所述第一模板窗口中的目标点在该第一模板图像中的平面坐标得到每个第一模板窗口中的目标点的第一世界坐标，根据每个所述第二模板窗口中的目标点在该第二模板图像中的平面坐标得到每个第二模板窗口中的目标点的第二世界坐标，包括：

对每个所述第一模板窗口中的目标点在该第一模板图像中的平面坐标以及该第一模板图像对应的第一相机标定参数，采用投影成像关系进行计算得到每个所述第一模板窗口中的目标点的世界坐标；

对每个所述第二模板窗口中的目标点在该第二模板图像中的平面坐标以及该第二模板图像对应的第二相机标定参数，采用投影成像关系进行计算得到每个所述第二模板窗口中的目标点的世界坐标。

4.根据权利要求1所述的基于散斑的深度信息获取方法，其特征在于，获取M张模板图像，包括：

获取将散斑图案投射到距离散斑投影设备不同的M个参考幕得到M个模板图像。

5.根据权利要求1所述的基于散斑的深度信息获取方法，其特征在于，所述根据各所述目标模板窗口所在窗口组对应的平面方程信息及该散斑窗口的目标点的平面坐标，得到各所述散斑窗口中目标点对应的深度信息，包括：

对各所述目标模板窗口所在窗口组对应的平面方程信息及该散斑窗口的目标点的平面坐标采用逆投影成像关系进行计算，得到各所述散斑窗口中目标点对应的深度信息。

6.根据权利要求1所述的基于散斑的深度信息获取方法，其特征在于，获取目标散斑图像，包括：

获取将基准散斑图案投射到目标物体形成的目标散斑图像。

7.根据权利要求1所述的基于散斑的深度信息获取方法，其特征在于，所述目标点为对应的窗口的中心点，所述窗口组中包括的多个模板窗口位于对应的模板图像的同一行或同一列。

8.一种基于散斑的深度信息获取装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表，其中，所述目标散斑图像包括多个散斑窗口，每组所述窗口组中包括N个模板窗口，M和N分别为大于1的整数，所述查找表中包括所述窗口组及与每组窗口组对应的平面方程信息；

第二获取模块，用于从至少一张所述模板图像对应的模板窗口中获取与所述目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个所述散斑窗口分别匹配的目标模板窗口所属的目标窗口组；

第三获取模块，用于从所述查找表中获取各所述目标窗口组对应的目标平面方程信息；

深度信息获得模块，用于根据各所述散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各所述散斑窗口中目标点对应的深度信息；

其中，所述M张模板图像包括第一模板图像和第二模板图像，所述查找表中的平面方程信息通过以下方式获得：

将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的窗口组，每组窗口组包括形状大小相同的多个模板窗，该多个模板窗口中目标点位于同一直线，各组窗口组对应的目标点对应的连线相互平行；

对于所述第一模板图像的每组窗口组，从该组窗口组中选取至少两个第一模板窗口，并从所述第二模板图像中包括的模板窗口中获取与每个所述第一模板窗口匹配的第二模板窗口；

根据每个所述第一模板窗口中的目标点在该第一模板图像中的平面坐标得到每个第一模板窗口中的目标点的第一世界坐标，根据每个所述第二模板窗口中的目标点在该第二模板图像中的平面坐标得到每个第二模板窗口中的目标点的第二世界坐标；

根据各所述第一世界坐标和各所述第二世界坐标获得一平面方程信息。

9.一种基于散斑的深度信息获取系统，其特征在于，包括投影单元、图像采集单元、存储单元以及处理单元，所述投影单元、图像采集单元以及存储单元与所述处理单元电性连接，所述图像采集单元以及存储单元电性连接，其中，

所述投影单元用于将基准散斑图案投射到目标物体；

所述图像采集单元用于采集所述基准散斑图案投射到目标物体形成的图像，以获取目标散斑图像；

所述存储单元用于存储M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表；

所述处理单元用于获取目标散斑图像、M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表，其中，所述目标散斑图像包括多个散斑窗口，每组所述窗口组中包括N个模板窗口，M和N分别为大于1的整数，所述查找表中包括所述窗口组及与每组窗口组对应的平面方程信息；

所述处理单元还用于从至少一张所述模板图像对应的模板窗口中获取与所述目标散斑图像中的每个散斑窗口分别匹配的目标模板窗口，并获得与每个所述散斑窗口分别匹配的目标模板窗口所属的目标窗口组，从所述查找表中获取各所述目标窗口组对应的目标平面方程信息，以及根据各所述散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各所述散斑窗口中目标点对应的深度信息；

其中，所述M张模板图像包括第一模板图像和第二模板图像，所述查找表中的平面方程信息通过以下方式获得：

将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的窗口组，每组窗口组包括形状大小相同的多个模板窗，该多个模板窗口中目标点位于同一直线，各组窗口组对应的目标点对应的连线相互平行；

对于所述第一模板图像的每组窗口组，从该组窗口组中选取至少两个第一模板窗口，并从所述第二模板图像中包括的模板窗口中获取与每个所述第一模板窗口匹配的第二模板窗口；

根据每个所述第一模板窗口中的目标点在该第一模板图像中的平面坐标得到每个第一模板窗口中的目标点的第一世界坐标，根据每个所述第二模板窗口中的目标点在该第二模板图像中的平面坐标得到每个第二模板窗口中的目标点的第二世界坐标；

根据各所述第一世界坐标和各所述第二世界坐标获得一平面方程信息。

Images