CN110009673A - 深度信息检测方法、装置及电子设备 - Google Patents
深度信息检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110009673A CN110009673A CN201910258089.4A CN201910258089A CN110009673A CN 110009673 A CN110009673 A CN 110009673A CN 201910258089 A CN201910258089 A CN 201910258089A CN 110009673 A CN110009673 A CN 110009673A
- Authority
- CN
- China
- Prior art keywords
- group
- matching template
- speckle image
- matching
- template group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种深度信息检测方法、装置及电子设备,涉及图像处理技术领域。其中,该方法包括:获取将k个不同的基准散斑图案投射到目标物体形成的目标散斑图像组。将m个粗匹配模板组分别与所述目标散斑图像组的全部或者部分匹配,获取相似度最高的粗匹配模板组,作为初级匹配模板组。其中,每两个相邻的粗匹配模板组间隔为R,每两个相邻的精匹配模板组间隔为r,R大于r。选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述目标散斑图像组中的全部或者部分匹配,获取相似度最高的精匹配模板组,作为次级匹配模板组;根据所述次级匹配模板组的深度信息确定目标散斑图像的深度信息。
Description
技术领域
本申请涉及图像处理技术领域,更具体地,涉及一种深度信息检测方法、装置及电子设备。
背景技术
随着科技的发展,在某些图像显示场景中,二维图像已经不能满足人们的需要。而三维立体图像因比二维图像多了深度信息而更加真实且准确,在日常生活中,对三维场景的使用愈加普遍,例如人脸支付、体感游戏、AR购物等。
在三维场景下,需要获取图像的深度信息,而现有的获取图像的深度信息的方式计算量大,计算耗时。
发明内容
鉴于上述问题,本申请提出了一种深度信息检测方法、装置及电子设备,以改善上述问题。
第一方面,本申请实施例提供了一种深度信息检测方法,所述方法包括:获取将k个不同的基准散斑图案投射到目标物体形成的目标散斑图像组;将m个粗匹配模板组分别与所述目标散斑图像组的全部或者部分匹配,获取相似度最高的粗匹配模板组,作为初级匹配模板组,其中,每个匹配模板组对应各自的深度信息,每两个相邻的粗匹配模板组间隔为R,每两个相邻的粗匹配模板组之间包括精匹配模板组,每两个相邻的精匹配模板组间隔为r,R大于r,同一个粗匹配模板组或同一个精匹配模版组均由所述k个不同的基准散斑图案的全部或者部分分别投射到同一位置的参考幕形成;选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述目标散斑图像组中的全部或者部分匹配,获取相似度最高的精匹配模板组,作为次级匹配模板组;根据所述次级匹配模板组的深度信息确定目标散斑图像的深度信息。
第二方面,本申请实施例提供了一种深度信息检测装置,所述装置包括:图像获取模块,用于获取将k个不同的基准散斑图案投射到目标物体形成的目标散斑图像组;粗匹配模块,用于将m个粗匹配模板组分别与所述目标散斑图像组的全部或者部分匹配,获取相似度最高的粗匹配模板组,作为初级匹配模板组,其中,每个匹配模板组对应各自的深度信息,每两个相邻的粗匹配模板组间隔为R,每两个相邻的粗匹配模板组之间包括精匹配模板组,每两个相邻的精匹配模板组间隔为r,R大于r,同一个粗匹配模板组或同一个精匹配模版组均由所述k个不同的基准散斑图案的全部或者部分分别投射到同一位置的参考幕形成;精匹配模块,用于选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述目标散斑图像组中的全部或者部分匹配,获取相似度最高的精匹配模板组,作为次级匹配模板组;深度信息确定模块,用于根据所述次级匹配模板组的深度信息确定目标散斑图像的深度信息。
第三方面,本申请实施例提供了一种电子设备,包括存储器以及处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时,所述处理器执行上述的方法。
本申请实施例提供的深度信息检测方法、装置及电子设备,将k个不同的基准散斑图案投射到目标物体形成目标散斑图像组。
先通过粗匹配模板组对该目标散斑图像组进行匹配,获得相似度最高的粗匹配模板组,定义为初级匹配模板组。再从相对于粗匹配模板组,彼此之间距离更近的精匹配模板组中选取初级匹配模板组前后预设范围内的精匹配模板组与目标散斑图像组进行匹配,获得与该目标散斑图像组相似度最高的精匹配模板组。根据该精匹配模板组确定目标散斑图像的深度信息。该方案先通过彼此之间距离更大的粗匹配模板组对目标散斑图像组进行粗匹配,再从彼此之间距离更小的精匹配模板组进行精匹配,通过更小的计算量获得精确的图像深度信息。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的匹配模板获取系统的结构示意图。
图2至图4示出了匹配模板获取中投影的不同示意图。
图5示出了本申请实施例提供的散斑移动示意图。
图6示出了本申请一实施例提供的深度信息检测方法的流程图。
图7示出了本申请另一实施例提供的深度信息检测方法的流程图。
图8示出了本申请实施例提供的匹配模板的一种示意图。
图9示出了本申请实施例提供的匹配模板与目标散斑图像区域划分的一种示意图。
图10示出了本申请实施例提供的一种具体的区域划分方式示意图。
图11示出了本申请实施例提供的深度信息检测装置的功能模块图。
图12示出了本申请实施例提供的电子设备的结构框图。
图13是本申请实施例的用于保存或者携带实现根据本申请实施例的深度信息检测方法的程序代码的存储介质。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在人脸支付、体感游戏以及AR购物等各种领域,都需要获取图像的深度信息。例如,在人脸支付领域,需要获取人脸图像中人脸的深度信息,以精确匹配进行支付验证的人脸是否为注册的人脸。
单目散斑测量法可以作为一种获取图像深度信息的方法。通常的,单目散斑测量法可以分为时间相关和空间相关。时间相关一般指在已知纵深的空间上移动等距的参考幕,发射器向参考幕投射带有散斑形态的图案,采集器记录这些位置的散斑形态,从而记录到对应已知纵深的空间上移动等距的参考幕在各个位置的散斑形态。利用散斑在空间每个位置形态不一样的特性,当目标对象(如人脸支付中的人脸)放置于此维度中,与在这组时间序列上各个位置上不同形态的散斑进行相似度匹配,即可搜索出目标对象的深度信息。空间相关一般指只使用一幅参考幕散斑图和向目标物体投射带有散斑形态后的散斑图,仅这两幅图像作相似度匹配,对比出目标对象相对参考幕散斑图在每个坐标位置的偏移量,再借助外部的几何三角关系而得到目标对象的深度图,获得目标对象的深度信息。
上述的方法中,时间相关方法由于需要加载所有的散斑图像,与所有的散斑图像进行匹配,加之各种复杂形式的互相关匹配函数,导致计算非常耗时,不适合快速的测量方式,如在人脸支付场景中要求的快速匹配的需求。而空间相关方法只用两幅图像,需要计算每个坐标位置的偏移量,计算耗时。并且,计算时仅使用小尺寸的窗口会带来大量误匹配,而使用大窗口又会导致空间分辨率下降,当测量对象表面复杂时,精度则更低。
因此,本申请实施例提出了一种深度信息检测方法,以增加基准模板组的方式,先通过粗匹配找出目标物体大概的深度信息,再进行精匹配,通过部分的精匹配图像与目标散斑图像匹配,在较小的计算量的方式下,获得目标物体的准确的深度信息。
图1示出了一种匹配模板获取系统,用于获取深度信息检测所使用的匹配模板。如图1所示,该匹配模板获取系统包括投影单元、图像采集单元以及存储单元。
其中,投影单元可以包括光源、准直镜头和衍射光学元件等器件,用于投射图案。该投影单元可以用于投射一种图案,也可以用于投射密度和/或形状不完全相同的多种图案。
可选的,该投影单元可以是可见光投影仪。可选的,该投影单元可以是红外激光模组,其光源可以是VCSEL阵列激光,用于投射红外的图案。当投影单元的光源为VCSEL阵列激光时,可以通过可连续投影变化的密度和/或形状的VCSEL阵列激光用于投射不同的图案;也可以通过多个VCSEL阵列激光组合,用于发射出不同密度和/或形状的图案;或者可以通过多片衍射光学元件改变相对位置,用于发射不同的图案。
投影单元投射的图案的具体形状和密度在本申请实施例中并不限定,以同一图案投射到离投影单元不同距离时,可以实现成像不同为宜。例如,散斑的特性是散乱的圆斑点,满足匹配需要的无规律的杂乱信息,同一散斑图案从投影单元进行投射时,在离投影单元不同距离处成像不同,从而在不同位置都能获得独一无二的散斑图像,因此,本申请实施例中,投影单元可以用于投射散斑图案,以散斑图案为例进行说明。投影单元的具体光源在本申请实施例中并不限定,通过相应的图像采集单元可以采集到光源投射出的散斑图案即可,如通过红外图像采集设备采集红外光源投射的散斑图像,通过可见光图像采集设备采集可见光光源投射的散斑图像等。
图像采集单元与投影单元保持一定的基线距离,可以是记录投影单元所发射图案波长的图像传感器,用于采集投影单元投射的散斑图案的图像,可以包括感光元件、滤光片和镜头等。该图像采集单元可以是对应光源类型的图像传感器,如投影单元的光源为红外光,图像采集单元为红外光图像采集设备;若光源为可见光,图像采集单元为可见光图像采集设备等。图像采集单元与投影单元之间的位置关系在本申请实施例中并不限定,例如,投影单元水平放置、水平投影,图像采集单元与投影单元放置于同一水平高度。
存储单元与图像采集单元连接,用于存储图像采集单元获取的散斑图案,作为匹配模板,该存储单元可以是FLASH、ROM或者硬盘的任意一种。
本申请实施例中,匹配模板获取系统还可以包括处理单元,与图像采集单元、投影单元以及存储单元电连接。该处理单元的平台可以为ASIC、FPGA和DSP的一种,用于对采集的图像进行处理,也可以用于控制投影单元的投影以及图像采集单元的图像采集。可选的,该处理单元可以包括控制器用于进行控制,如通过同步时序电路和异步时序电路进行控制;也可以包括深度处理器,用于进行深度信息获取的处理。
该系统中各个单元之间可以是相互彼此独立的,也可以是集成在一起的。例如,该系统可以是手机、平板电脑以及笔记本电脑等集成了投影单元、图像采集单元、存储单元以及处理单元的电子设备。
通过该匹配模板获取系统可以获取用于图像深度信息检测的匹配模板。在获取匹配模板时,如图2所示,可以在投影单元的投影方向上(如图2中箭头所示),放置一参考幕,参考幕放置于投影单元的深度轴,并使参考幕与投影单元之间的距离变化,如依次变大或者依次变小。图像采集单元获取参考幕与投影单元之间不同距离的时候,投影单元投射的散斑图案在参考幕的成像。其中,参考幕为用于承载散斑图案的投影平面,投影单元投出的图像可以在参考幕成像,图像采集单元通过对参考幕进行图像采集,可以获取到投影单元投射的图案在参考幕所成图像,该图像可以用作匹配模板。可以理解的,图2仅为示例性说明,并没有画出在所有位置的参考幕。
例如图3所示,R11、R12至Rpb分别为在投影方向上等距排布的位置点,R11、R12至Rpb每两个相邻的位置点之间间距为r。R11、R21、R31以此类推至Rp1,该p个位置点中,每两个相邻的位置点之间间距为R。参考幕在R11、R12至Rpb分别对应的各个位置时,投影单元投射的散斑图像在每个位置点的参考幕成像,图像采集单元采集每个位置点处散斑图像在参考幕上的成像。如,参考幕在位置点R11时,图像采集单元采集投影单元投影到参考幕上的图像;参考幕在R12时,图像采集单元采集投影单元投影到参考幕上的图像;直至参考幕在位置点Rpb时,图像采集单元采集投影单元投影到参考幕上的图像。定义在每个位置点采集的散斑图案投射到参考幕的图像为散斑图像,从而获得一系列等间距的散斑图像,散斑图像之间的间距表示该散斑图像成像的参考幕之间的间距。如在R11处的参考幕上所成的散斑图像,与在R12处的参考幕上所成的散斑图像之间的间距,为R11位置点与R12位置点之间的距离。
作为一种实施方式,若参考幕与投影单元之间的距离较小,如小于某一最小预设阈值,则使参考幕与投影单元之间距离依次变大,并在距离变大过程中采集图像。
在该实施方式中,使投影单元与参考幕之间距离依次变大的方式可以是,将参考幕在投影方向上,依次向远离投影单元的方向移动,形成一系列等距的参考幕,获取每个位置处散斑图案在参考幕的成像,获得一系列等间距的图像。如在图3所示的场景下,将参考幕从R11移动到R12直至移动到Rpb,投影单元投射的散斑图像在每个位置点的参考幕成像,图像采集单元采集每个位置点处散斑图像在参考幕上的成像,获得b*p个等间距的散斑图像。
在该实施方式中,使投影单元与参考幕之间距离依次变大的方式也可以是,将投影单元在投影方向上,依次向远离参考幕的方向等间距移动,形成一系列等距的参考幕,获取每个位置处参考幕在参考幕的成像,获得一系列等间距的图像。如投影单元以及图像采集单元与参考幕之间的放置如图4所示,将投影单元以及图像采集单元同时从如图4所示的R11处移动到R12、R13直至移动到Rpb,投影单元在每个位置点投射的散斑图像在参考幕成像,图像采集单元采集投影单元在每个位置点处投射的散斑图像在参考幕上的成像,b*p个间距为r的散斑图像。
作为一种实施方式,若参考幕与投影单元之间的距离较大,如大于某一最大预设阈值,则使参考幕与投影单元之间距离依次变小,并在距离变小过程中采集图像。
在该实施方式中,使投影单元与参考幕之间距离依次变小的方式可以是,将参考幕依次向投影单元移动,形成一系列等距的参考幕。例如图3所示的场景下,将参考幕从Rpb移动到Rp(b-1)直至移动到R11,投影单元投射的散斑图像在每个位置点的参考幕成像,图像采集单元采集每个位置点处参考幕上的散斑图像,获得b*p个等间距的散斑图像。
在该实施方式中,使投影单元与参考幕之间距离依次变小的方式也可以是,将投影单元依次向参考幕移动,形成一系列等间距的参考幕。例如图4所示的场景下,将图像采集单元以及投影单元同时从Rpb移动到Rp(b-1)直至移动到R11,投影单元在每个位置点投射的散斑图像在参考幕成像,图像采集单元采集投影单元在每个位置点处投射的散斑图像在参考幕上的成像,获得b*p个间距为r的散斑图像。
可以理解的,当参考幕与投影单元之间相对位移变化,散斑图像中的散斑也会左右移动。在本申请实施例中,每两个相邻位置点之间的间距选取标准可以是,使散斑移动距离小于或等于散斑的半径。也就是说,参考幕与投影单元之间距离每增大或减小r时,使参考幕上的散斑的移动距离小于或等于散斑的半径,参考幕与投影单元之间的距离增大r以及减小r散斑分别所在的两个位置之间具有交集。例如图5示出了一种散斑的移动示例,图5中实线圆101表示在参考幕某位置点处时,一个散斑在该参考幕的成像。当该参考幕与投影单元之间距离减小,散斑会向左发生位移,如图5中虚线圆102所示;当该参考幕与投影单元之间距离增大,散斑会向右发生位移,如图5中虚线圆103所示。每两个相邻位置点之间的间距选取标准为,当参考幕与投影单元之间距离减小r时,实线圆101移动到虚线圆102的位置处,实线圆101到虚线圆102的移动距离小于该实线圆101的半径;当参考幕与投影单元之间距离增大r时,实线圆101移动到虚线圆103的位置处,实线圆101到虚线圆103的移动距离小于该实线圆101的半径。虚线圆102以及虚线圆103具有交集。
通过该匹配模板获取系统可以获取多模板用于多模板匹配,也可以获取单模板用于单模板匹配。其中,定义从投射单元投射的散斑图案为基准散斑图案。单模板为一种基准散斑图案进行投影时,获取的一套匹配模板;多模板为多种不同的基准散斑图案进行投影时,获取的多套匹配模板。其中,不同的基准散斑图案,可以是散斑图案的形状不同,也可以是散斑图案的密度不同,或者是散斑图案的形状和密度均不相同。
获取单模板时,将一种基准散斑图案从投影单元进行投射,图像采集单元获取参考幕与投影单元之间不同距离的时候,投影单元投射的散斑图案在参考幕的成像,获得对应该基准散斑图案的一系列匹配模板。例如图2及图3所示,将基准散斑图案P1从投影单元投射,采集基准散斑图案P1分别投射到R11、R12、R13至Rpb处的参考幕时所成的图像,获得b*p个匹配模板,作为对应基准散斑图案P1的一套匹配模板。
获取多模板时,将多种不同的基准散斑图案从投影单元进行投射,获取在于投影单元不同距离的各个位置处,不同的基准散斑图案在参考幕的成像,以每种基准散斑图案在不同位置处所成的像,作为对应该基准散斑图案的一套模板,获得对应多种不同的基准散斑图案的多套匹配模板。其中,该多套匹配模板中包括多组匹配模板,每组匹配模板为不同的基准散斑图案投射到同一位置处所成图像。可以理解的,在本申请实施例中,也可以从多模板中选取一套匹配模板作为单模板。
作为一种实施方式,可以以获取单模板的方式,分别获取对应不同基准散斑图案的单模板,作为多模板。例如,k个不同的基准散斑图案包括P1、P2、P3至Pk,将基准散斑图案P1从投影单元投射,获取对应P1的一套匹配模板;将基准散斑图案P2从投影单元投射,获取对应P2的一套匹配模板;将基准散斑图案P3从投影单元投射,获取对应P3的一套匹配模板;直至将基准散斑图案Pk从投影单元投射,获取对应Pk的一套匹配模板,从而获得对应k个不同的基准散斑图案P1、P2、P3至Pk的k套匹配模板。该k套模板中包括b*p组匹配模板,每组匹配模板包括P1、P2、P3至Pk分别投射在同一位置处的k个匹配模板。其中,P1、P2、P3至Pk投影在R11处的参考幕形成的图像为一组匹配模板,P1、P2、P3至Pk投影在R12处的参考幕形成的图像为一组匹配模板,P1、P2、P3至Pk投影在R13处的参考幕形成的图像为一组匹配模板,以此类推,共形成b*p组匹配模板。
作为另一种实施方式,在距离投影单元的不同距离的每个位置处,分别投射不同的基准散斑图案,获得在该位置处对应不同基准散斑图案的不同匹配模板。例如k个不同的基准散斑图案包括P1、P2、P3至Pk,图3所示,当参考幕在R11处时,分别投射基准散斑图案P1、P2、P3至Pk,获取P1、P2、P3至Pk中的每一个在R11处的参考幕的成像,获得在R11处的一组匹配模板,包括分别对应P1、P2、P3至Pk的k个匹配模板;当参考幕在R12处时,分别投射基准散斑图案P1、P2、P3至Pk,获取P1、P2、P3至Pk中的每一个在R12处的参考幕的成像,获得在R12处的一组匹配模板,包括分别对应P1、P2、P3至Pk的k个匹配模板;直至参考幕在Rpb处时,分别投射基准散斑图案P1、P2、P3至Pk,获取P1、P2、P3至Pk中的每一个在Rpb处的参考幕的成像,获得在Rpb的一组匹配模板,包括分别对应P1、P2、P3至Pk的k个匹配模板。从而分别在R11至Rpb的b*p组匹配模板。该b*p组匹配模板包括k套匹配模板,分别对应k个不同的基准散斑图案P1、P2、P3至Pk。
在本申请实施例中,可以从单模板中选取精匹配模板用于精匹配,选取粗匹配模板用于粗匹配。其中,粗匹配模板彼此之间的间距大于精匹配模板彼此之间的间距。例如,从单模板中,以R作为间距,等间距地选取模板,作为一套粗匹配模板,以其余模板作为精匹配模板。具体的,以图2及3所示的场景为例,可以分别选取在R11、R21、R31、R41、以此类推至Rp1的p个位置处分别形成的匹配模板,作为一套粗匹配模板,其余匹配模板作为精匹配模板。其中,相邻的粗匹配模板之间,包括(b-1)个精匹配模板,例如,R11处的粗匹配模板与R21处的粗匹配模板,包括分别在R12至R1b的(b-1)个位置处的(b-1)个精匹配模板。
在本申请实施例中,可以从多模板中选取精匹配模板组用于精匹配,选取粗匹配模板组用于粗匹配。其中,粗匹配模板组彼此之间的间距大于精匹配模板组彼此之间的间距,同一个粗匹配模板组中的匹配模板选取于同一组匹配模板,同一个精匹配模板组中的匹配模板选取于同一组匹配模板。例如,从多模板中,以R作为间距,等间距地选取多组匹配模板,作为多个粗匹配模板组,以其余组匹配模板作为多个精匹配模板组。具体的,以图2及图3所示的场景为例,可以分别选取在R11、R21、R31、R41、以此类推至Rp1的p个位置处分别形成的p组匹配模板,作为p个粗匹配模板组;其余组匹配模板作为精匹配模板组。其中,相邻的粗匹配模板组之间,包括(b-1)个精匹配模板组,例如,R11处的粗匹配模板组与R21处的粗匹配模板组之间,包括分别在R12至R1b的(b-1)个位置处的(b-1)个精匹配模板组。
在本申请实施例中,各个粗匹配模板组的匹配模板的数量相同,分别对应的基准散斑图案相同,如每个粗匹配模板组对应的基准散斑图案都为P1、P2、P3至Pk;各个精匹配模板组的匹配模板的数量相同,分别对应的基准散斑图案相同,如每个精匹配模板组对应的基准散斑图案都为P1、P2、P3至Pk。选取的粗匹配模板组中,每个粗匹配模板组的匹配模板的数量不限定为等于一组匹配模板中匹配模板的数量,如在如图2所示的场景下选取的粗匹配模板组,一个粗匹配模板组中的匹配模板的数量不限定为等于k。选取的精匹配模板组中,每个精匹配模板组的匹配模板的数量不限定为等于一组匹配模板中匹配模板的数量,如在如图2所示的场景下选取的精匹配模板组,一个精匹配模板组中的匹配模板的数量不限定为等于k。每个精匹配模板组的匹配模板的数量可以不同于粗匹配模板组的匹配模板的数量。在本申请实施例中,在生成匹配模板时,可以只生成用于粗匹配的粗匹配模板以及用于精匹配的精匹配模板;或者在获取匹配模板时,可以只获取用于粗匹配的粗匹配模板以及用于精匹配的精匹配模板。
可以理解的,当一个粗匹配模板组中匹配模板的数量为1,则粗匹配模板组可以视为单模板匹配中的粗匹配模板;当一个精匹配模板组中匹配模板的数量为1,则精匹配模板组可以视为单模板匹配中的精匹配模板。
在本申请实施例中,可以为每个位置点定义深度信息,深度信息之间的变化关系与位置点之间的变化关系对应。例如图2至图4所示的场景下,以x作为一个深度单位,定义R11的深度信息为x0,则R12的深度信息为(x0-x),R13的深度信息为(x0-2x),R14的深度信息为(x0-3x),直至Rpb的深度信息为(x0-(p*b-1)x)。又如,定义一个位置点的深度信息为深度0,这个位置点之前的各个位置点,从相邻的位置点起依次为深度1单位,2单位,3单位,以此类推;在单位之后的各个位置点,从相邻的位置点起依次为-1单位,-2单位,以此类推。或者直接以位置点之间的间距r作为深度信息的一个单位,或者直接以每个位置点离投影单元的距离作为该位置点的深度信息。从而,本申请实施例中,每个匹配模板以及每组匹配模板对应深度信息,每个匹配模板对应的深度信息为获取该匹配模板的位置的深度信息;每组匹配模板对应的深度信息为获取该组匹配模板的位置对应的深度信息。同理,选定的粗匹配模板、精匹配模板、粗匹配模板组、精匹配模板组都具有对应的位置的深度信息。
本申请实施例中,可以通过匹配模板获取系统获得的匹配模板进行图像的深度信息检测。如图6示出了本申请实施例提供的深度信息检测方法。该方法可以应用于电子设备。该电子设备可以是手机、平板电脑、个人电脑以及其他包括可用于深度信息检测的智能设备。该深度信息检测方法也可以用于深度信息检测系统,该深度信息检测系统可以包括如图1所示的投影单元、图像采集单元、存储单元以及处理单元,或者该深度信息检测系统与匹配模板获取系统为同一个系统。其中,被测量深度的目标物体需要置于最近和最远的参考幕对应的距离范围之间且在采集单元的视场范围内,即有效的测量区。
在本申请实施例的举例说明过程中,通常以k个基准散斑图案P1、P2、P3至Pk分别投射至R11、R21、R31以此类推至Rp1形成的p组匹配模板作为多模板粗匹配的p个粗匹配模板组,以k个基准散斑图案P1、P2、P3至Pk分别投射至R11至Rpb形成的b*p组匹配模板中,除粗匹配模板组以外的其他组匹配模板组作为多模板精匹配的多个精匹配模板组,以基准散斑图案P1投射至R11、R21、R31以此类推至Rp1形成的p个匹配模板作为单模板粗匹配的p个粗匹配模板,以基准散斑图案P1投射至R11至Rpb形成的b*p个匹配模板中,除粗匹配模板以外的其他匹配模板作为单模板精匹配的多个精匹配模板。当然可以理解的,在实际使用过程中,多模板匹配中,粗匹配模板组的数量以及一个粗匹配模板组中匹配模板的数量并不限定,精匹配模板组的数量以及一个精匹配模板组中匹配模板的数量并不限定;单模板匹配中,粗匹配模板的数量并不限定,精匹配模板的数量并不限定。
请参见图6,该深度信息检测方法可以包括:
步骤S110:获取将k个不同的基准散斑图案投射到目标物体形成的目标散斑图像组。
当需要检测某一目标物体在图像上的深度信息时,可以将k个不同的基准散斑图案投射到目标物体形成的k个图像,作为目标散斑图像组,定义其中每一个图像为目标散斑图像。其中,该k个不同的基准散斑图案与获取匹配模板组时的基准散斑图案相同。
例如,检测人脸的深度信息,则将P1、P2、P3至Pk的k个不同的基准散斑图案分别投射到人脸,再分别采集各个基准散斑图案投射到人脸时的图像,获得k个图像,该k个图像中的每个图像,包括基准散斑图案投射到人脸形成的目标散斑图像。可选的,若采集到的图像中仅仅包括散斑图案投射形成的目标散斑图像,则将采集到的k个图像作为目标散斑图像组;若采集到的图像中还包括目标物体的图像,则将采集到的k个图像进行图像处理,获取基准散斑图案投射形成的目标散斑图像,作为目标散斑图像组。
本申请实施例中,可以是由进行深度信息检测的设备将k个不同的基准散斑图案投射到目标物体形成目标散斑图像组;也可以是,其他设备将k个不同的基准散斑图案投射到目标物体形成目标散斑图像组,进行深度信息检测的设备从其他设备获取该目标散斑图像组。另外,预处理也可以由进行深度信息检测的设备进行或者由其他设备进行,本申请实施例中并不限定。
步骤S120:将m个粗匹配模板组分别与所述目标散斑图像组的全部或者部分匹配,获取相似度最高的粗匹配模板组,作为初级匹配模板组。
其中,每组匹配模板对应各自的深度信息,每两个相邻的粗匹配模板组间隔为R,每两个相邻的粗匹配模板组之间包括精匹配模板组,每两个相邻的精匹配模板组间隔为r,R大于r,同一个粗匹配模板组或同一个精匹配模版组均由所述k个不同的基准散斑图案的全部或者部分分别投射到同一位置的参考幕形成。可选的,R可以是r的正整数倍,该正整数大于1。
定义粗匹配模板组的数量为m。将m个粗匹配模板组分别与目标散斑图像组的全部或者部分匹配。m可以等于或小于p,本申请实施例中以m等于p为例进行说明。
其中,本申请实施例中的一个粗匹配模板组可以包括多个匹配模板,用于多模板粗匹配,也可以是用于单模板匹配的一个粗匹配模板。另外,在本步骤中,目标散斑图像组的全部或者部分,即目标散斑图像组中与粗匹配模板组匹配模板数量相同的、且对应相同基准散斑图案的目标散斑图像。如,粗匹配模板组用于单模板匹配,每个粗匹配模板组只有一个对应基准散斑图案P1的匹配模板,则将目标散斑图像组中对应基准散斑图案P1的目标散斑图像与m个粗匹配模板组匹配。若粗匹配模板组用于多模板匹配,每个粗匹配模板组有k个对应基准散斑图案P1至Pk的匹配模板,则将目标散斑图像组中的全部目标散斑图像与m个粗匹配模板组匹配。
具体的,可以定义每个粗匹配模板组中的粗匹配模板数量为I,当I等于1,该粗匹配模板组用于单模板粗匹配;当I大于1,该粗匹配模板组用于多模板粗匹配。在本申请实施例中,当I大于1,以I等于k为例进行说明,即以每个粗匹配模板组中匹配模板的数量等于目标散斑图像组中目标散斑图像的数量为例进行说明。
则在本步骤中,可以是,以所述目标散斑图像组中对应粗匹配模板组的I个目标散斑图像作为第一目标散斑图像组,将所述m个粗匹配模板组分别与所述第一目标散斑图像组匹配,获取与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组。
由于粗匹配模板组之间间距为R,间距较大,将目标散斑图像组的全部或者部分与粗匹配模板组进行粗匹配,获得的相似度最高的粗匹配模板组可以确定一个较为大概的、不太精确的深度信息。因此,在本申请实施例中,可以通过彼此之间间距较小的精匹配模板组进一步进行匹配,获取更加精确的深度信息。
步骤S130:选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述目标散斑图像组中的全部或者部分匹配,获取相似度最高的精匹配模板组,作为次级匹配模板组。
定义与散斑图像组相似度最高的粗匹配模板为初级匹配模板组。由于初级匹配模板组可以确定目标散斑图像组一个大概的深度信息,根据物体固有的性质,其更为精确的深度信息通常在该大概的深度信息范围内波动。因此,为了减少计算量,可以从该初级匹配模板组前后进行精匹配模板组的选取。
其中,初级匹配模板组前后,即初级匹配模板组对应的位置之前的位置以及之后的位置。初级匹配模板组前的精匹配模板组,即在初级匹配模板组的位置之前的位置对应的精匹配模板组;初级匹配模板组后的精匹配模板组,即在初级匹配模板组的位置之后的位置对应的精匹配模板组。例如,对于R21位置处的初级匹配模板组,之前的精匹配模板组为R1p、R1(p-1)、R1(p-2)以此往前类推的精匹配模板组;之后的精匹配模板组为R22、R23、R24以此往后类推的精匹配模板组。
本申请实施例中的一个精匹配模板组可以包括多个匹配模板,用于多模板精匹配,也可以是用于单模板匹配的一个精匹配模板。另外,在本步骤中,目标散斑图像组的全部或者部分,即目标散斑图像组中与精匹配模板组匹配模板数量相同的、且对应相同基准散斑图案的目标散斑图像。如,精匹配模板组用于单模板匹配,只有一个对应基准散斑图案P1的匹配模板,则将目标散斑图像组中对应基准散斑图案P1的目标散斑图像与选取的精匹配模板组匹配。若精匹配模板组用于多模板匹配,只有k个对应基准散斑图案P1至Pk的匹配模板,则将目标散斑图像组的全部与选取的精匹配模板组匹配。
具体的,可以定义每个精匹配模板组的精匹配模板数量为i,当i等于1,该精匹配模板组用于单模板精匹配;当i大于1,该精匹配模板组用于多模板精匹配。在本申请实施例中,当i大于1,以i等于k为例进行说明,即以每个精匹配模板组中匹配模板的数量等于目标散斑图像组中目标散斑图像的数量为例进行说明。
则在本步骤中,可以是,以所述目标散斑图像组中对应精匹配模板组的i个目标散斑图像作为第二目标散斑图像组,选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述第二目标散斑图像组匹配,获取与所述第二目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组。
步骤S140:根据所述次级匹配模板组的深度信息确定目标散斑图像的深度信息。
由于基准散斑图案投射到不同距离处,形成的图像不同,因此,与目标散斑图像组相似度最高的精匹配模板组距离投影单元的距离,最接近目标物体与投影单元之间的距离,因此,可以根据与目标散斑图像相似度最高的精匹配模板组的深度信息确定目标散斑图像的深度信息。
在本申请实施例中提供的方案中,先通过彼此之间距离更大的粗匹配模板组对目标散斑图像组进行粗匹配,根据粗匹配结果选取精匹配模板组,再根据彼此之间距离更小的精匹配模板组进行精匹配,通过更小的计算量获得精确的图像深度信息。
在本申请实施例中,一个粗匹配模板组中,匹配模板的数量I可以等于1,用于单模板粗匹配;匹配模板的数量I可以大于1,用于多模板粗匹配。一个精匹配模板组中,匹配模板的数量i可以等于1,用于单模板精匹配;匹配模板的数量i可以大于1,用于多模板精匹配。因此,在匹配过程中,可以是I大于1,i等于1,进行多模板粗匹配,单模板精匹配;也可以是I大于1,i大于1,进行多模板粗匹配,多模板精匹配;或者是I等于1,i大于1,进行单模板粗匹配,多模板精匹配。对于I以及i大于1或者等于1的不同情况,本申请通过下述的实施例进行说明。
如图7示出了一个实施例提供的深度信息检测方法,该方法包括:
步骤S210:获取将k个不同的基准散斑图案投射到目标物体形成的目标散斑图像组。
步骤S220:以所述目标散斑图像组中对应粗匹配模板组的I个目标散斑图像作为第一目标散斑图像组,将所述m个粗匹配模板组分别与所述第一目标散斑图像组匹配,获取与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组。
当I等于1时,粗匹配模板组仅有一个粗匹配模板,m个粗匹配模板组为m个在不同位置处对应相同基准散斑图案的粗匹配模板。第一目标散斑图像组中仅有一个目标散图像。该步骤中,将目标散斑图像与m个粗匹配模板一一比对,获取与该目标散斑图案相似度最高的粗匹配模板,作为初级匹配模板组。该初级匹配模板组中只有一个匹配模板。
可选的,计算目标散斑图像与粗匹配模板之间的相似度时,可以将m个粗匹配模板以及目标散斑图像先做归一化再做数值运算,例如通过基于灰度的模板匹配算法SAD算法(绝对误差和算法,Sum of absolute differences)以及MAD算法(平均绝对差算法,MeanAbsolute Differences)等算法进行数值运算,得到分别对应m个粗匹配模板的m个差分结果。其中数值最小的差分结果所对应的粗匹配模板,为与目标散斑图像相似度最高的粗匹配模板。
可选的,计算目标散斑图像与粗匹配模板之间的相似度时,可以采用作异或的逻辑运算,将m个粗匹配模板分别与目标散斑图像做异或的逻辑运算,得到对应m个粗匹配模板的m个异或结果。其中数值最小的异或结果所对应的粗匹配模板,为与目标散斑图像相似度最高的粗匹配模板。
可选的,计算目标散斑图像与粗匹配模板之间的相似度时,可以采用作与的逻辑运算,将m个粗匹配模板分别与目标散斑图像作与的逻辑运算,得到对应m个粗匹配模板的m个与结果。其中数值最大的与的结果所对应的粗匹配模板,为与目标散斑图像散斑重合个数最多的粗匹配模板,是与目标散斑图像相似度最高的粗匹配模板。
其中,与目标散斑图像相似度最高的粗匹配模板的深度信息,接近目标散斑图像的深度信息。
当I大于1时,第一目标散斑图像组中目标散斑图像分别对应的基准散斑图案与粗匹配模板组分别对应的基准散斑图案相同。当I等于k时,第一目标散斑图像组即为目标散斑图像组。本申请实施例以I等于k为例进行说明。
在一种实施方式中,第一目标散斑图像组与粗匹配模板组匹配时,可以以每个粗匹配模板组作为一个整体,以第一目标散斑图像组作为整体,计算每个粗匹配模板组与所述第一目标散斑图像组之间的相似度;将与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组。
具体的,如图8所示,空间轴S的每个位置处,在时间轴T上的k个粗匹配模板为一个粗匹配模板组,视为一个立体的空间,称为体素。如空间轴S1处的k个粗匹配模板T1至Tk为一个粗匹配模板组,视为一个立体的空间,称为体素。空间轴S2处的k个粗匹配模板T1至Tk为一个粗匹配模板组,视为一个立体的空间,称为体素。对应的,第一目标散斑图像组也可以视为一个立体空间,即体素。该粗匹配模板组在空间轴上的特征更为明显,有微小的差别就能够较敏感地区分不同深度。
在该实施方式中,计算粗匹配模板组与所述第一目标散斑图像组之间的相似度时,可以以所述第一目标散斑图像组作为一个体素,以每个粗匹配模板组作为一个体素,通过3维计算,如数值运算、逻辑运算或互相关等方法匹配出最高的相似度。另外,体素也可以拆分为二维矩阵,还可以拆分为一维序列,来简化运算。例如,通过3维互相关公式计算粗匹配模板组与所述第一目标散斑图像组之间的相似度时,计算公式可以是:
其中,该公式中的A代表粗匹配模板组形成的体素,为该体素的平均值。B代表第一目标散斑图像组形成的体素,为对应的平均值。m、n、s分别代表体素的长、宽和高,i、j、k分别为体素长、宽和高的控制变量。corr3为该体素的相似系数,数值大小反应两者的相似度高低。可以理解的,该公式中的各个字母表示本段中定义的各种意义,与前述表示匹配模板数量的i、表示匹配模板组数量的m、n等并无关系。
在另一种实施方式中,可以将目标散斑图像组中的每个目标散斑图像与粗匹配模板组进行单模板匹配,再根据各个目标散斑图像相似度最高的粗匹配模板,获取目标散斑图像组像素度最高的初级匹配模板组。
具体的,在该实施方式中,可以是,对于第一目标散斑图像组中的每个目标散斑图像而言,计算方式相同。对于任意一个目标散斑图像,确定所述m个粗匹配模板组中对应该目标散斑图像的m个粗匹配模板,即确定与该目标散斑图像对应相同的基准散斑图案的m个粗匹配模板。再分别计算该m个粗匹配模板与该目标散斑图像的相似度,获得与该目标散斑图像相似度最高的粗匹配模板。
第一目标散斑图像组中每个目标散斑图像对应一个相似度最高的粗匹配模板,从而可以根据所述第一目标散斑图像组中I个目标散斑图像对应的I个相似度最高的粗匹配模板,确定初级匹配模板组。
具体的,可以将第一目标散斑图像组中各个目标散斑图像相似度最高的粗匹配模板计算获取一个匹配模板,作为初级匹配模板组。
可选的,根据所述第一目标散斑图像组中I个目标散斑图像对应的I个相似度最高的粗匹配模板,确定初级匹配模板组,可以包括:获取I个相似度最高的粗匹配模板分别对应的相似度系数,获得I个相似度系数。再获取该I个相似度系数中,表示相似度最高的相似度系数,以该表示相似度最高的相似度系数对应的粗匹配模板作为初级匹配模板组。即该初级匹配模板组为一个粗匹配模板,该粗匹配模板与对应的目标散斑图像之间的相似度大于其他粗匹配模板与对应的目标散斑图像之间的相似度。其中,在获取该I个相似度系数中表示相似度最高的相似度系数之前,可以先将该I个相似度系数做对位的乘法或加法或均值运算,以便更好的区分相似度。
可选的,根据所述第一目标散斑图像组中I个目标散斑图像对应的I个相似度最高的粗匹配模板,确定初级匹配模板组,可以包括:确定I个相似度最高的粗匹配模板分别对应的深度信息,获得I个深度信息。再计算该I个深度信息的平均值,获得平均深度信息,以减少某一些地方的噪声带来的偶然性误差。以该平均深度信息对应的匹配模板作为所述初级匹配模板组。
步骤S230:以所述目标散斑图像组中对应精匹配模板组的i个目标散斑图像作为第二目标散斑图像组,选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述第二目标散斑图像组匹配,获取与所述第二目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组。
可选的,选取所述初级匹配模板组前后预设范围内的精匹配模板组,该预设范围可以是预先设置的一个范围区间,如初级匹配模板组前第一数量的精匹配模板组,初级匹配模板组后第二数量的精匹配模板。
可选的,选取所述初级匹配模板组前后预设范围内的精匹配模板组,该预设范围可以根据初级匹配模板组与第一目标散斑图像组的相似度进行计算。相似度越高,说明目标散斑图像的深度信息越接近该初级匹配模板组,可以选取越小的范围。具体的,若初级匹配模板组与第一目标散斑图像组的相似度小于θ1,从该初级匹配模板组的前后分别选择γ1个精匹配模板组;若相似度在[θ1,θ2]之间,从该初级匹配模板组的前后分别选择γ2个精匹配模板组;若相似度大于θ2,从该初级匹配模板组的前后分别选择γ3个精匹配模板组。其中,θ1<θ2,r1>r2>r3,从与初级匹配模板组相邻的精匹配模板组开始依次选取。可以理解的,若初级匹配模板组在边界的情况,则只需选一个方向,即前或后有匹配模板组的方向。例如,若初级匹配模板组在R11位置处获得,初级匹配模板组与第一目标散斑图像组的相似度小于θ1,则从R12开始,往Rpb的方向选取γ1个精匹配模板组。
在本申请实施例中,通过选取的精匹配模板组进行精匹配的方式与粗匹配模板组粗匹配的方式相似,以下对精匹配的过程进行描述,其中与粗匹配对应的却未详细描述的地方,可以相互参照。
定义选取的初级匹配模板组前后预设范围内的精匹配模板组的数量为n。以下描述过程中与第二目标散斑图像组进行比对的均为该n个精匹配模板组。
当i等于1时,精匹配模板组仅有一个精匹配模板,n个精匹配模板组为n个对应相同基准散斑图案的精匹配模板。第二目标散斑图像组中仅有一个目标散图像。该步骤中,将目标散斑图像与n个精匹配模板一一比对,获取与该目标散斑图案相似度最高的精匹配模板,作为次级匹配模板组。该次级匹配模板组中只有一个匹配模板。
可选的,在精匹配时,由于要更精确地确定与目标散斑图像的相似度,以更精确地确定目标散斑图像的深度信息,因此,精匹配使所使用的匹配算法可以比粗匹配时更精确。例如,本申请实施例中,通过精确度更高的互相关的方式计算相似度。将目标散斑图像与n个精匹配模板一一进行互相关运算,获取与该目标散斑图案相似度最高的精匹配模板。该互相关运算对应的算法可以是ZNCC(Zero Mean Normalization cross correlation,零均值归一化交叉相关)或NCC(归一化交叉相关,Normalization cross correlation)等,在本申请实施例中并不限定。
当i大于1时,第二目标散斑图像组中目标散斑图像分别对应的基准散斑图案与精匹配模板组分别对应的基准散斑图案相同。当i等于k时,第二目标散斑图像组即为目标散斑图像组。本申请实施例以i等于k为例进行说明。
在一种实施方式中,第二目标散斑图像组与选取的精匹配模板组匹配时,可以以每个精匹配模板组作为一个整体,以第二目标散斑图像组作为整体,计算每个精匹配模板组与所述第二目标散斑图像组之间的相似度;将与所述第二目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组。
具体的,可以将每个精匹配模板组看作一个立体的空间,称为体素。对应的,第二目标散斑图像组也可以看作一个体素。该精匹配模板组在空间轴上的特征更为明显,有微小的差别就能够较敏感地区分不同深度。
计算精匹配模板组与所述第二目标散斑图像组之间的相似度时,可以以所述第二目标散斑图像组作为一个体素,以每个精匹配模板组作为一个体素,通过3维计算,如数值运算、逻辑运算或互相关等方法匹配出最高的相似度。另外,体素也可以拆分为二维矩阵,还可以拆分为一维序列,来简化运算。例如,通过3维互相关公式计算精匹配模板组与所述第二目标散斑图像组之间的相似度时,计算公式可以是:
其中,该公式中的A代表精匹配模板组形成的体素,为该体素的平均值。B代表第二目标散斑图像组形成的体素,为对应的平均值。m、n、s分别代表体素的长、宽和高,i、j、k分别为体素长、宽和高的控制变量。corr3为该体素的相似系数,数值大小反应两者的相似度高低。可以理解的,该公式中的各个字母表示本段中定义的各种意义,与前述表示匹配模板数量的i、表示匹配模板组数量的m、n等并无关系。
在另一种实施方式中,可以将目标散斑图像组中的每个目标散斑图像与精匹配模板组进行单模板匹配,再根据各个目标散斑图像相似度最高的精匹配模板,获取目标散斑图像组像素度最高的次级匹配模板组。
具体的,在该实施方式中,可以是,对于第二目标散斑图像组中的每个目标散斑图像而言,计算方式相同。对于任意一个目标散斑图像,确定n个精匹配模板组中对应该目标散斑图像的n个精匹配模板,即确定与该目标散斑图像对应相同基准散斑图案的n个精匹配模板。再分别计算该n个精匹配模板与该目标散斑图像的相似度,获得与该目标散斑图像相似度最高的精匹配模板。其中,计算目标散斑图像与精匹配模板之间的相似度时,可以使用前述单模板精匹配时描述的相似度计算方式,即采用比单模板粗匹配精度更高的相似度计算方法。
第二目标散斑图像组中每个目标散斑图像对应一个相似度最高的精匹配模板,从而可以根据所述第二目标散斑图像组中i个目标散斑图像对应的i个相似度最高的精匹配模板,确定次级匹配模板组。
具体的,在该实施方式中,可以将第二目标散斑图像组中各个目标散斑图像相似度最高的精匹配模板计算获取一个匹配模板,作为初级匹配模板组。
可选的,根据所述第二目标散斑图像组中i个目标散斑图像对应的i个相似度最高的精匹配模板,确定次级匹配模板组,可以包括:获取i个相似度最高的精匹配模板分别对应的相似度系数,获得i个相似度系数。再获取该i个相似度系数中,表示相似度最高的相似度系数,以该表示相似度最高的相似度系数对应的精匹配模板作为次级匹配模板组。即该次级匹配模板组为一个精匹配模板,该精匹配模板与对应的目标散斑图像之间的相似度大于其他精匹配模板与对应的目标散斑图像之间的相似度。其中,在获取该i个相似度系数中表示相似度最高的相似度系数之前,可以先将该i个相似度系数做对位的乘法或加法或均值运算,以便更好的区分相似度。
可选的,根据所述第二目标散斑图像组中i个目标散斑图像对应的i个相似度最高的精匹配模板,确定次级匹配模板组,可以包括:确定i个相似度最高的精匹配模板分别对应的深度信息,获得i个深度信息。再计算该i个深度信息的平均值,获得平均深度信息。以该平均深度信息对应的精匹配模板作为所述次级匹配模板组。即该次级匹配模板组为一个精匹配模板。
步骤S240:根据所述次级匹配模板组的深度信息确定目标散斑图像的深度信息。
每个次级模板组对应有深度信息,则可以确定的次级模板组的深度信息作为目标散斑图像的深度信息。
本申请实施例中,将k个不同的基准散斑图案投射到目标物体形成目标散斑图像组。先通过粗匹配模板组对该目标散斑图像组进行匹配,获得相似度最高的粗匹配模板组,定义为初级匹配模板组。再从相对于粗匹配模板组,彼此之间距离更近的精匹配模板组中选取初级匹配模板组前后预设范围内的精匹配模板组与目标散斑图像组进行匹配,获得与该目标散斑图像组相似度最高的精匹配模板组。根据该精匹配模板组确定目标散斑图像的深度信息,通过更小的计算量获得精确的图像深度信息。
进一步的,由于目标物体可能并不是平面物体,如图2中目标物体所示,在不同位置离投影单元的距离不同,因此在目标散斑图像中的不同区域深度信息可能不同。在本申请实施例中,可以将目标散斑图像组分区域进行粗匹配以及精匹配,获取每个区域的深度信息,组合形成目标散斑图像的深度信息。也就是说,将目标散斑图像划分为多个区域,目标散斑图像组中相同位置的区域作为一个独立的匹配单位,按照前述实施例的方式进行粗匹配以及精匹配。
具体的,可以将目标散斑图像组中的每个目标散斑图像按照相同的区域划分方式,划分为多个图像区域。再以所有目标散斑图像中同一位置的图像区域作为一个子目标散斑图像组,获得多个子目标散斑图像组。其中,同一位置的图像区域,表示各个图像区域在相应的目标散斑图像中的像素区域相同。例如,在某一目标散斑图像中,划分的某一图像区域为矩形,其左上角像素坐标为(x1,y1),右下角像素坐标为(x2,y2),则在其他目标散斑图像中,该图像区域相同位置的图像区域为:左上角像素坐标为(x1,y1)、右下角像素坐标为(x2,y2)的矩形区域。
再将所有粗匹配模板组的所有粗匹配模板按照与目标散斑图像相同的划分方式划分为多个图像区域。即所有粗匹配模板以及目标散斑图像都可以找到大小相同、在图像中位置相同的区域。在一个粗匹配模板组中,各个粗匹配模板相同位置的图像区域作为一个子粗匹配模板组。
将所有精匹配模板组的所有精匹配模板按照与目标散斑图像相同的划分方式划分为多个图像区域。即所有精匹配模板以及目标散斑图像都可以找到大小相同、在图像中位置相同的区域。在一个精匹配模板组中,各个精匹配模板相同位置的图像区域作为一个子精匹配模板组。
遍历目标散斑图像中的各个区域进行匹配,即将每个子目标散斑图像组进行粗匹配以及精匹配。其中,每个子目标散斑图像组与在图像中相同位置的子粗匹配模板组以及子精匹配模板组匹配,匹配过程参照前述实施例中目标散斑图像组的匹配过程。具体参照方式可以理解为,对于每个子目标散斑图像组,代入前述实施例中目标散斑图像组、与子目标散斑图像组相同位置的子粗匹配模板组代入前述实施例中的粗匹配模板组、与子目标散斑图像组相同位置的精匹配模板组代入前述实施例中的精匹配模板组进行匹配,获取到的深度信息为该子目标散斑图像组对应图像区域的深度信息。下面对该匹配过程进行简要描述,需要强调的是,分区域的匹配方式中,具体的匹配过程可以参照前述实施例。
在一种实施方式中,可以是对于每一个子目标散斑图像组,先获取每个子目标散斑图像组相似度最高的子粗匹配模板组,再根据该子粗匹配模板组获取与该子目标散斑图像组相似度最高的子精匹配图像组。具体的,对于每一个子目标散斑图像组,匹配过程可以是:
将m个子粗匹配模板组分别与所述子目标散斑图像组的全部或者部分匹配,获取相似度最高的子粗匹配模板组,作为初级子匹配模板组;选取所述初级子匹配模板组前后预设范围内的子精匹配模板组,分别与所述子目标散斑图像组中的全部或者部分匹配,获取相似度最高的子精匹配模板组,作为次级子匹配模板组;根据所述次级子匹配模板组的深度信息确定该子目标散斑图像组对应的图像区域的深度信息。
其中,定义每个粗匹配模板组的粗匹配模板数量为I,每个精匹配模板组的精匹配模板数量为i。将m个子粗匹配模板组分别与所述子目标散斑图像组的全部或者部分匹配,获取相似度最高的子粗匹配模板组,作为初级子匹配模板组可以包括:以所述子目标散斑图像组中对应粗匹配模板组的I个图像区域作为第一子目标散斑图像组,将所述m个子粗匹配模板组分别与所述第一子目标散斑图像组匹配,获取与所述第一子散斑图像组相似度最高的子粗匹配模板组,作为初级子匹配模板组。选取所述初级子匹配模板组前后预设范围内的子精匹配模板组,分别与所述子目标散斑图像组中的全部或者部分匹配,获取相似度最高的子精匹配模板组,作为次级子匹配模板组,包括:以所述子目标散斑图像组中对应精匹配模板组的i个图像区域作为第二子目标散斑图像组,选取所述初级子匹配模板组前后预设范围内的子精匹配模板组,分别与所述第二子目标散斑图像组匹配,获取与所述第二子目标散斑图像组相似度最高的子精匹配模板组,作为次级子匹配模板组。以次级子匹配模板组的深度信息作为该子目标散斑图像组对应的图像区域的深度信息。
由于所有目标散斑图像为基准散斑图案投射到同一目标物体所成图像,理论上所有目标散斑图像的深度信息相同,因此可以获得任意目标散斑图像中对应该子目标图像组的图像区域的深度信息。同理,可以获得任意目标散斑图像中其他图像区域的深度信息,从而获得目标散斑图像中各个区域的深度信息。
在另一种实施方式中,可以先获取各个子目标散斑图像组相似度最高的子粗匹配模板组,将各个子目标散斑图像组对应的相似度最高的子粗匹配模板组合成一个粗匹配模板组。再根据该粗匹配模板组中各个子粗匹配模板组,选取子精匹配模板组,获取与各个子目标散斑图像组相似度最高的子精匹配图像组。匹配过程可以是:
对于每一个子目标散斑图像组,将m个子粗匹配模板组分别与所述子目标散斑图像组的全部或者部分匹配,获取相似度最高的子粗匹配模板组,作为初级子匹配模板组。获得所有子目标散斑图像组相似度最高的子粗匹配模板组,合成初级匹配模板组。
对于每一个子目标散斑图像组,确定对应相同位置的初级子匹配模板组,选取该初级子匹配模板组前后预设范围内的子精匹配模板组,分别与所述子目标散斑图像组中的全部或者部分匹配,获取相似度最高的子精匹配模板组,作为次级子匹配模板组;根据所述次级子匹配模板组的深度信息确定该子目标散斑图像组对应的图像区域的深度信息。
根据所有子目标散斑图像组获得目标散斑图像中所有图像区域的深度信息,从而获得目标散斑图像的深度信息。另外,还可以根据目标物体在目标散斑图像中的位置,确定目标物体的深度信息。
进一步的,在匹配过程中,可能匹配结果并不准确,所以需要进行修正。具体的,将相似度高于预设相似度的次级子匹配模板组作为有效的次级子匹配模板组,计算相应图像区域的深度信息;对相似度不大于预设相似度的次级子匹配模板组,作为无效的次级子匹配模板组,进行修正。
具体的,对于每个子精匹配模板组,若其与对应的次级子匹配模板组之间的相似度大于预设相似度β1,认为深度结果准确,以该子匹配模板组的深度信息作为该子目标散斑图像组对应的图像区域的深度信息;若该子精匹配模板组与对应的次级子匹配模板组之间的相似度小于或等于预设相似度β1,认为深度结果不够准确,暂时以该子匹配模板组的深度信息作为该子目标散斑图像组对应的图像区域的深度信息,但是需要进一步分类并估计,确定是否对该图像区域的深度信息进行更正。为了描述方便,命名该图像区域为目标图像区域。
具体的分类并估计的方式可以是,若该目标图像区域的8邻域内有相似度大于β1的图像区域,将相似度大于β1的图像区域的深度信息做平均,作为该目标图像区域的深度信息;若8邻域内没有相似度大于β1的图像区域,不修改该目标图像区域的深度信息。对一些基于相似度修正方式无法修正的问题,可以采用基于深度值修正方式,如可以是均值滤波、中值滤波等常见的图像处理手法。可以理解的,该8邻域可以是该目标图像区域相邻的8个图像区域。当然,本申请实施例中并不限定为8邻域,也可以是其他数量的邻域。
本申请实施例通过一个具体的图像区域划分例子进行说明。
如图9中虚线框104中的各个图像表示目标散斑图像组中的k个目标散斑图像,目标散斑图像的区域划分如图9虚线框104中各个方格所示,划分的多个图像区域在图像中的位置区间分别为A1,A2,A3至A24,如图10所示。图10示出了一种包括匹配模板以及目标散斑图像的区域划分方式实例。k个目标散斑图像的A1处图像区域形成一个子目标散斑图像组A1,k个目标散斑图像的A2处图像区域形成一个子目标散斑图像组A2,直至k个目标散斑图像的A24处图像区域形成一个子目标散斑图像组A24。如图9中对应虚线框104处示出了k个目标散斑图像的A6处图像区域形成的子目标散斑图像组A6。
如图9的坐标系中各个图像表示各个匹配模板,对应空间轴S上同一个坐标点的匹配模板为一个组匹配模板。如图9及图10中各个匹配模板中的方格所示,将每个匹配模板按照与目标散斑图像相同的区域划分方式,划分为位置区间分别为A1,A2,A3至A24的24个图像区域。从而,每个粗匹配模板组中,A1处图像区域形成一个子粗匹配模板组A1,A2处图像区域形成一个子粗匹配模板组A2,直至A24处图像区域形成一个子粗匹配模板组A24。每个精匹配模板组中,A1处图像区域形成一个子精匹配模板组A1,A2处图像区域形成一个子精匹配模板组A2,直至A24处图像区域形成一个子精匹配模板组A24。图9中对应每个空间轴坐标点的体素,表示T1至Tk的A6处的图像区域形成的子匹配模板组。
对于每个子目标散斑图像组,与其进行匹配的粗匹配模板组为图像中相同位置的子粗匹配模板组,与其进行匹配的精匹配模板组为图像中相同位置的精匹配模板组。例如,与子目标散斑图像组A6匹配的是所有的子粗匹配模板组A6,获得与子目标散斑图像组A6最相近的初级子匹配模板组。再将子目标散斑图像组A6与初级子匹配模板组前后预设范围内的子精匹配模板组A6进行匹配,获取相似度最高的子精匹配模板组A6,作为次级子匹配模板组。以该次级子匹配模板组的深度信息作为该子目标散斑图像组A6的深度信息。具体匹配过程参见前述实施例中目标散斑图像组的匹配过程。
由于所有目标散斑图像为基准散斑图案投射到同一目标物体所成图像,理论上所有目标散斑图像的深度信息相同,因此可以获得目标散斑图像中A6处图像区域的深度信息。可以理解的,子目标散斑图像组A6、子粗匹配模板组A6以及子目标散斑图像组A6中的A6均为用于便于描述各个图像区域所在位置为A1。
同理,可以获得目标散斑图像中其他区域处的图像区域的深度信息,从而获得目标散斑图像的深度信息。
可选的,可以对每个目标散斑图像中图像区域的深度信息进行修正。以目标散斑图像中A6处图像区域为例,若子目标散斑图像组A6与相似度最高的次级子匹配模板组之间相似度大于β1,则以该次级子匹配模板组的深度信息作为目标散斑图像中A6处图像区域的深度信息;若子目标散斑图像组A6与相似度最高的次级子匹配模板组之间相似度不大于β1,则判断其8邻域的图像区域对应的相似度是否大于β1,即分别判断A1至A3、A5、A7以及A9-A11处,子目标散斑图像组与其对应的次级精匹配模板组之间相似度是否大于β1,即判断子目标散斑图像组A1与其对应的次级精匹配模板组之间相似度是否大于β1,判断子目标散斑图像组A2与其对应的次级精匹配模板组之间相似度是否大于β1等。将其中相似度大于β1的图像区域的深度信息求平均值,作为目标散斑图像中A6处图像区域的深度信息。
在本申请实施例中,将目标散斑图像组进行分区域匹配,由于各个目标散斑图像的深度信息一致,以任意目标散斑图像组中任意一个目标散斑图像为用于表示深度信息的图像,获得该目标散斑图像中每个图像区域的深度信息。对于目标散斑图像中的目标物体,可以更精确地确定其在各个不同位置的深度信息,使该深度信息检测方法可以适用于平面或非平面的目标物体进行深度信息检测。
本申请实施例还提供了一种深度信息检测装置400。请参见图11,该装置400包括:图像获取模块410,用于获取将k个不同的基准散斑图案投射到目标物体形成的目标散斑图像组;粗匹配模块420,用于将m个粗匹配模板组分别与所述目标散斑图像组的全部或者部分匹配,获取相似度最高的粗匹配模板组,作为初级匹配模板组,其中,每个匹配模板组对应各自的深度信息,每两个相邻的粗匹配模板组间隔为R,每两个相邻的粗匹配模板组之间包括精匹配模板组,每两个相邻的精匹配模板组间隔为r,R大于r,同一个粗匹配模板组或同一个精匹配模版组均由所述k个不同的基准散斑图案的全部或者部分分别投射到同一位置的参考幕形成;精匹配模块430,用于选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述目标散斑图像组中的全部或者部分匹配,获取相似度最高的精匹配模板组,作为次级匹配模板组;深度信息确定模块440,用于根据所述次级匹配模板组的深度信息确定目标散斑图像的深度信息。
具体的,定义每个粗匹配模板组的粗匹配模板数量为I,每个精匹配模板组的精匹配模板数量为i。粗匹配模块420可以用于以所述目标散斑图像组中对应粗匹配模板组的I个目标散斑图像作为第一目标散斑图像组,将所述m个粗匹配模板组分别与所述第一目标散斑图像组匹配,获取与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组。精匹配模块430可以用于:以所述目标散斑图像组中对应精匹配模板组的i个目标散斑图像作为第二目标散斑图像组,选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述第二目标散斑图像组匹配,获取与所述第二目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组。
其中,可以是I大于1且i等于1;或者是I大于1,i大于1;或者是I等于1,i大于1。
可选的,当I大于1,粗匹配模块420可以用于以每个粗匹配模板组作为整体,以所述第一目标散斑图像组作为整体,计算每个粗匹配模板组与所述第一目标散斑图像组之间的相似度;将与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组。
可选的,当I大于1,粗匹配模块420可以用于对于所述第一目标散斑图像组中的每个目标散斑图像,确定所述m个粗匹配模板组中对应该目标散斑图像的m个粗匹配模板;分别计算该m个粗匹配模板与该目标散斑图像的相似度,获得与该目标散斑图像相似度最高的粗匹配模板;根据所述第一目标散斑图像组中I个目标散斑图像对应的I个相似度最高的粗匹配模板,确定初级匹配模板组。
可选的,当i大于1,精匹配模块430可以用于以选取的每个精匹配模板组作为整体,以所述第二目标散斑图像组作为整体,计算每个精匹配模板组与所述第一目标散斑图像组之间的相似度;将与所述第一目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组。
可选的,当i大于1,精匹配模块430可以用于对于所述第二目标散斑图像组中的每个目标散斑图像,确定所述n个精匹配模板组中对应该目标散斑图像的n个精匹配模板;分别计算该n个精匹配模板与该目标散斑图像的相似度,获得与该目标散斑图像相似度最高的精匹配模板;根据所述第二目标散斑图像组中i个目标散斑图像对应的i个相似度最高的精匹配模板,确定次级匹配模板组。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图12,其示出了本申请实施例提供的一种电子设备600的结构框图。该电子设备600可以是手机、平板电脑、电子书等能够进行深度信息识别的电子设备。该电子设备包括处理器610以及存储器620,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时,所述处理器执行上述一个或多个实施例所描述的方法。
处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分,通过运行或执行存储在存储器620内的指令、程序、代码集或指令集,以及调用存储在存储器620内的数据,执行电子设备600的各种功能和处理数据。可选地,处理器610可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器610中,单独通过一块通信芯片进行实现。
存储器620可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集,如用于实现本申请实施例提供的深度信息检测方法的指令或代码集。存储器620可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
可选的,该电子设备还可以包括投影单元用于投射基准散斑图案;包括图像采集单元,用于采集投影单元投射形成的图像。
请参考图13,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质700包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种深度信息检测方法,其特征在于,所述方法包括:
获取将k个不同的基准散斑图案投射到目标物体形成的目标散斑图像组;
将m个粗匹配模板组分别与所述目标散斑图像组的全部或者部分匹配,获取相似度最高的粗匹配模板组,作为初级匹配模板组,其中,每个匹配模板组对应各自的深度信息,每两个相邻的粗匹配模板组间隔为R,每两个相邻的粗匹配模板组之间包括精匹配模板组,每两个相邻的精匹配模板组间隔为r,R大于r,同一个粗匹配模板组或同一个精匹配模版组均由所述k个不同的基准散斑图案的全部或者部分分别投射到同一位置的参考幕形成;
选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述目标散斑图像组中的全部或者部分匹配,获取相似度最高的精匹配模板组,作为次级匹配模板组;
根据所述次级匹配模板组的深度信息确定目标散斑图像的深度信息。
2.根据权利要求1所述的方法,其特征在于,每个粗匹配模板组的粗匹配模板数量为I,每个精匹配模板组的精匹配模板数量为i,所述将m个粗匹配模板组分别与所述目标散斑图像组的全部或者部分匹配,获取相似度最高的粗匹配模板组,作为初级匹配模板组,包括:以所述目标散斑图像组中对应粗匹配模板组的I个目标散斑图像作为第一目标散斑图像组,将所述m个粗匹配模板组分别与所述第一目标散斑图像组匹配,获取与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组;
所述选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述目标散斑图像组中的全部或者部分匹配,获取相似度最高的精匹配模板组,作为次级匹配模板组,包括:以所述目标散斑图像组中对应精匹配模板组的i个目标散斑图像作为第二目标散斑图像组,选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述第二目标散斑图像组匹配,获取与所述第二目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组。
3.根据权利要求2所述的方法,其特征在于,I大于1,i等于1。
4.根据权利要求2所述的方法,其特征在于,I大于1,i大于1。
5.根据权利要求3或4所述的方法,其特征在于,所述将所述m个粗匹配模板组分别与所述第一目标散斑图像组匹配,获取与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组,包括:
以每个粗匹配模板组作为整体,以所述第一目标散斑图像组作为整体,计算每个粗匹配模板组与所述第一目标散斑图像组之间的相似度;
将与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组。
6.根据权利要求5所述的方法,其特征在于,所述以所述第一目标散斑图像组作为整体,计算每个粗匹配模板组与所述第一目标散斑图像组之间的相似度,包括:
以所述第一目标散斑图像组作为一个体素,以每个粗匹配模板组作为一个体素,将每个粗匹配模板组与所述第一目标散斑图像组进行三维计算,获取每个粗匹配模板组与所述第一目标散斑图像组之间的相似度,其中,所述三维计算包括:数值运算或逻辑运算。
7.根据权利要求3或4所述的方法,其特征在于,所述将所述m个粗匹配模板组分别与所述第一目标散斑图像组匹配,获取与所述第一目标散斑图像组相似度最高的粗匹配模板组,作为初级匹配模板组,包括:
对于所述第一目标散斑图像组中的每个目标散斑图像,
确定所述m个粗匹配模板组中对应该目标散斑图像的m个粗匹配模板;
分别计算该m个粗匹配模板与该目标散斑图像的相似度,获得与该目标散斑图像相似度最高的粗匹配模板;
根据所述第一目标散斑图像组中I个目标散斑图像对应的I个相似度最高的粗匹配模板,确定初级匹配模板组。
8.根据权利要求2所述的方法,其特征在于,I等于1,i大于1。
9.根据权利要求4或8所述的方法,其特征在于,所述分别与所述第二目标散斑图像组匹配,获取与所述第二目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组,包括:
以选取的每个精匹配模板组作为整体,以所述第二目标散斑图像组作为整体,计算每个精匹配模板组与所述第二目标散斑图像组之间的相似度;
将与所述第二目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组。
10.根据权利要求9所述的方法,其特征在于,所述以选取的每个精匹配模板组作为整体,以所述第二目标散斑图像组作为整体,计算每个精匹配模板组与所述第二目标散斑图像组之间的相似度,包括:
以所述第二目标散斑图像组作为一个体素,以每个精匹配模板组作为一个体素,将每个精匹配模板组与所述第二目标散斑图像组进行三维计算,获取每个精匹配模板组与所述第二目标散斑图像组之间的相似度,其中,所述三维计算包括:互相关运算。
11.根据权利要求6或10所述的方法,其特征在于,每个体素拆分为二维矩阵,或者拆分为一维序列进行计算。
12.根据权利要求4或8所述的方法,其特征在于,选取的精匹配模板组的数量为n,所述分别与所述第二目标散斑图像组匹配,获取与所述第二目标散斑图像组相似度最高的精匹配模板组,作为次级匹配模板组,包括:
对于所述第二目标散斑图像组中的每个目标散斑图像,
确定所述n个精匹配模板组中对应该目标散斑图像的n个精匹配模板;
分别计算该n个精匹配模板与该目标散斑图像的相似度,获得与该目标散斑图像相似度最高的精匹配模板;
根据所述第二目标散斑图像组中i个目标散斑图像对应的i个相似度最高的精匹配模板,确定次级匹配模板组。
13.根据权利要求1所述的方法,其特征在于,R为r的正整数倍。
14.一种深度信息检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取将k个不同的基准散斑图案投射到目标物体形成的目标散斑图像组;
粗匹配模块,用于将m个粗匹配模板组分别与所述目标散斑图像组的全部或者部分匹配,获取相似度最高的粗匹配模板组,作为初级匹配模板组,其中,每个匹配模板组对应各自的深度信息,每两个相邻的粗匹配模板组间隔为R,每两个相邻的粗匹配模板组之间包括精匹配模板组,每两个相邻的精匹配模板组间隔为r,R大于r,同一个粗匹配模板组或同一个精匹配模版组均由所述k个不同的基准散斑图案的全部或者部分分别投射到同一位置的参考幕形成;
精匹配模块,用于选取所述初级匹配模板组前后预设范围内的精匹配模板组,分别与所述目标散斑图像组中的全部或者部分匹配,获取相似度最高的精匹配模板组,作为次级匹配模板组;
深度信息确定模块,用于根据所述次级匹配模板组的深度信息确定目标散斑图像的深度信息。
15.一种电子设备,其特征在于,包括存储器以及处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时,所述处理器执行如权利要求1-13任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910258089.4A CN110009673B (zh) | 2019-04-01 | 2019-04-01 | 深度信息检测方法、装置及电子设备 |
PCT/CN2019/113434 WO2020199562A1 (zh) | 2019-04-01 | 2019-10-25 | 深度信息检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910258089.4A CN110009673B (zh) | 2019-04-01 | 2019-04-01 | 深度信息检测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110009673A true CN110009673A (zh) | 2019-07-12 |
CN110009673B CN110009673B (zh) | 2020-04-21 |
Family
ID=67169204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910258089.4A Active CN110009673B (zh) | 2019-04-01 | 2019-04-01 | 深度信息检测方法、装置及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110009673B (zh) |
WO (1) | WO2020199562A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020199562A1 (zh) * | 2019-04-01 | 2020-10-08 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及电子设备 |
WO2021087692A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳市汇顶科技股份有限公司 | 散斑图像匹配方法、装置及存储介质 |
CN113168682A (zh) * | 2019-11-01 | 2021-07-23 | 深圳市汇顶科技股份有限公司 | 散斑图匹配方法、散斑图匹配装置、电子设备和存储介质 |
CN113158928A (zh) * | 2021-04-27 | 2021-07-23 | 浙江云奕科技有限公司 | 一种基于图像识别的混凝土试块防造假方法 |
CN113379817A (zh) * | 2021-01-12 | 2021-09-10 | 四川深瑞视科技有限公司 | 基于散斑的深度信息获取方法、装置及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110178783A1 (en) * | 2002-07-08 | 2011-07-21 | Vision Rt Limited | Image processing system for use with a patient positioning device |
CN102445165A (zh) * | 2011-08-05 | 2012-05-09 | 南京航空航天大学 | 基于单幅彩色编码光栅的立体视觉测量方法 |
CN103561257A (zh) * | 2013-11-01 | 2014-02-05 | 北京航空航天大学 | 一种基于深度参考平面的无干扰的光编码深度提取方法 |
CN103971405A (zh) * | 2014-05-06 | 2014-08-06 | 重庆大学 | 一种激光散斑结构光及深度信息的三维重建方法 |
CN104811682A (zh) * | 2014-01-23 | 2015-07-29 | 钰创科技股份有限公司 | 产生深度信息的装置、产生深度信息的方法和立体摄像机 |
US20170064548A1 (en) * | 2012-08-01 | 2017-03-02 | Secunet Security Networks Aktiengesellschaft | Method of and system for gaining secure access to a service |
CN106504194A (zh) * | 2016-11-03 | 2017-03-15 | 重庆邮电大学 | 一种基于最佳拼接平面和局部特征的图像拼接方法 |
CN107072485A (zh) * | 2014-11-12 | 2017-08-18 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
CN107990846A (zh) * | 2017-11-03 | 2018-05-04 | 西安电子科技大学 | 基于单帧结构光的主被动结合深度信息获取方法 |
EP3373240A1 (en) * | 2015-11-30 | 2018-09-12 | Huawei Technologies Co., Ltd. | Image processing method and dual-camera system |
CN108734776A (zh) * | 2018-05-23 | 2018-11-02 | 四川川大智胜软件股份有限公司 | 一种基于散斑的三维人脸重建方法及设备 |
CN109544618A (zh) * | 2018-10-30 | 2019-03-29 | 华为技术有限公司 | 一种获取深度信息的方法及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279982B (zh) * | 2013-05-24 | 2016-06-22 | 中国科学院自动化研究所 | 鲁棒的快速高深度分辨率的散斑三维重建方法 |
CN104596439A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 一种基于相位信息辅助的散斑匹配三维测量方法 |
CN112485971A (zh) * | 2015-04-21 | 2021-03-12 | 科磊股份有限公司 | 用于倾斜装置设计的计量目标设计 |
CN110009673B (zh) * | 2019-04-01 | 2020-04-21 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及电子设备 |
-
2019
- 2019-04-01 CN CN201910258089.4A patent/CN110009673B/zh active Active
- 2019-10-25 WO PCT/CN2019/113434 patent/WO2020199562A1/zh active Application Filing
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110178783A1 (en) * | 2002-07-08 | 2011-07-21 | Vision Rt Limited | Image processing system for use with a patient positioning device |
CN102445165A (zh) * | 2011-08-05 | 2012-05-09 | 南京航空航天大学 | 基于单幅彩色编码光栅的立体视觉测量方法 |
US20170064548A1 (en) * | 2012-08-01 | 2017-03-02 | Secunet Security Networks Aktiengesellschaft | Method of and system for gaining secure access to a service |
CN103561257A (zh) * | 2013-11-01 | 2014-02-05 | 北京航空航天大学 | 一种基于深度参考平面的无干扰的光编码深度提取方法 |
CN104811682A (zh) * | 2014-01-23 | 2015-07-29 | 钰创科技股份有限公司 | 产生深度信息的装置、产生深度信息的方法和立体摄像机 |
CN103971405A (zh) * | 2014-05-06 | 2014-08-06 | 重庆大学 | 一种激光散斑结构光及深度信息的三维重建方法 |
CN107072485A (zh) * | 2014-11-12 | 2017-08-18 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
EP3373240A1 (en) * | 2015-11-30 | 2018-09-12 | Huawei Technologies Co., Ltd. | Image processing method and dual-camera system |
CN106504194A (zh) * | 2016-11-03 | 2017-03-15 | 重庆邮电大学 | 一种基于最佳拼接平面和局部特征的图像拼接方法 |
CN107990846A (zh) * | 2017-11-03 | 2018-05-04 | 西安电子科技大学 | 基于单帧结构光的主被动结合深度信息获取方法 |
CN108734776A (zh) * | 2018-05-23 | 2018-11-02 | 四川川大智胜软件股份有限公司 | 一种基于散斑的三维人脸重建方法及设备 |
CN109544618A (zh) * | 2018-10-30 | 2019-03-29 | 华为技术有限公司 | 一种获取深度信息的方法及电子设备 |
Non-Patent Citations (3)
Title |
---|
GUIJIN WANG等: "Depth estimation for speckle projection system using progressive reliable points growing matching", 《OPTICAL SOCIETY OF AMERICA》 * |
曾峦等: "《侦察图像获取与融合技术》", 31 May 2015, 国防工业出版社 * |
谢宜江等: "基于散斑立体匹配的快速三维人脸重建", 《光电子·激光》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020199562A1 (zh) * | 2019-04-01 | 2020-10-08 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及电子设备 |
CN113168682A (zh) * | 2019-11-01 | 2021-07-23 | 深圳市汇顶科技股份有限公司 | 散斑图匹配方法、散斑图匹配装置、电子设备和存储介质 |
WO2021087692A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳市汇顶科技股份有限公司 | 散斑图像匹配方法、装置及存储介质 |
CN113168681A (zh) * | 2019-11-04 | 2021-07-23 | 深圳市汇顶科技股份有限公司 | 散斑图像匹配方法、装置及存储介质 |
CN113379817A (zh) * | 2021-01-12 | 2021-09-10 | 四川深瑞视科技有限公司 | 基于散斑的深度信息获取方法、装置及系统 |
CN113379817B (zh) * | 2021-01-12 | 2022-11-04 | 四川深瑞视科技有限公司 | 基于散斑的深度信息获取方法、装置及系统 |
CN113158928A (zh) * | 2021-04-27 | 2021-07-23 | 浙江云奕科技有限公司 | 一种基于图像识别的混凝土试块防造假方法 |
CN113158928B (zh) * | 2021-04-27 | 2023-09-19 | 浙江云奕科技有限公司 | 一种基于图像识别的混凝土试块防造假方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020199562A1 (zh) | 2020-10-08 |
CN110009673B (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110047100A (zh) | 深度信息检测方法、装置及系统 | |
CN110009673A (zh) | 深度信息检测方法、装置及电子设备 | |
CN109816703B (zh) | 一种基于相机标定和icp算法的点云配准方法 | |
US6995762B1 (en) | Measurement of dimensions of solid objects from two-dimensional image(s) | |
Wöhler | 3D computer vision: efficient methods and applications | |
US20180130228A1 (en) | Systems and Methods of Object Shape and Position Determination in Three-Dimensional (3D) Space | |
CN103503025B (zh) | 基于对对象的模型进行变换来确定模型参数 | |
US10225473B2 (en) | Threshold determination in a RANSAC algorithm | |
US8170297B2 (en) | Face authentication system and face authentication method | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
CN101821580A (zh) | 用于实物形状的三维测量的系统和方法 | |
WO2000027131A2 (en) | Improved methods and apparatus for 3-d imaging | |
CN112669362B (zh) | 基于散斑的深度信息获取方法、装置及系统 | |
CN111199579A (zh) | 一种目标物的三维模型构建方法、装置、设备及介质 | |
CN109640066A (zh) | 高精度稠密深度图像的生成方法和装置 | |
CN105934757A (zh) | 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置 | |
CN105849770A (zh) | 信息处理装置、信息处理方法及程序 | |
CN1544883A (zh) | 基于特定网格图案的三维脚型测量和建模的方法 | |
CN110720105A (zh) | 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质 | |
Angladon et al. | The toulouse vanishing points dataset | |
JP2002056379A (ja) | 3次元データ生成装置 | |
Ylimäki et al. | Accurate 3-d reconstruction with rgb-d cameras using depth map fusion and pose refinement | |
Sagawa et al. | Taking consensus of signed distance field for complementing unobservable surface | |
US20180330514A1 (en) | Selective 3d registration | |
CN111524180B (zh) | 物体体积计算方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |