CN114283081B - 基于金字塔加速的深度恢复方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及图像处理领域，公开了一种基于金字塔加速的深度恢复方法、电子设备及存储介质，其中方法包括：对预处理后的物体散斑图和参考散斑图进行一层下采样；对下采样得到的物体金字塔层中与多个候选种子点对应的映射点，在参考金字塔层中进行视差搜索，确定每个映射点对应的最优的多个第一视差值；对每个候选种子点，根据相应各第一视差值所确定的视差搜索范围进行视差搜索，确定该候选种子点是否为种子点，并获取种子点的第二视差值；利用种子点及其第二视差值，采用区域增长方法确定物体散斑图与参考散斑图的视差值；基于视差值恢复深度信息。本方案能够有效解决现有金字塔中底层与上层视差不一致的问题，同时加速深度恢复进程。

Description

基于金字塔加速的深度恢复方法、电子设备及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种基于金字塔加速的深度恢复方法、电子设备及存储介质。

背景技术

目前，机器视觉领域中最具活力的技术分支当属深度感知技术，而散斑结构光技术则是深度感知技术中的重要部分。散斑结构光技术作为最常见主动式立体视觉的技术，在人脸识别、自动驾驶、安防监控等领域具有广泛应用。散斑结构光系统，是通过向被拍摄物体投射伪随机散斑，然后根据特定的算法进行散斑的特征匹配得到视差信息，进一步获取场景的深度信息。

但是，暴力的散斑匹配的计算量和耗时是很大的。目前，业内采取了多种不同的技术来处理该问题。例如：使用图像二值化方法，匹配时用汉明(Hamming)距离作相似度测度，这很大地节省了计算量和耗时，但是这种方法的精度普遍比不上图像局部灰度归一化(Local Contrast Normalization，LCN)和零均值归一化互相关(Zero-based NormalizedCross Correlation，ZNCC)测度的方法；或者，通过某种方式预估深度的大致范围，从而将视差搜索范围进一步地缩小，但在实现减少耗时地同时也受到其业务使用的限制；或者，使用神经网络的方法，但是也受到训练所需数据量的限制和模型大小的内存限制，并且黑盒不易解释。

除了上述的方法外，现有技术还提出了一种使用影像金字塔的方法，通过将影像金字塔缩小至多层小分辨率，然后对每层进行图像LCN预处理和视差匹配，在对下一层完成视差匹配后，根据匹配得到的视差值再于上层分辨率作小范围的视差搜索，依次上升直至完成最大分辨率图像的视差搜索。虽然该方法也能极大减少视差搜索的计算量，但是由于在原物体散斑图上作金字塔多层采样，再作图像预处理，一则金字塔的每一层都要进行采样和预处理，耗时也不少，二则结果表明即使对金字塔影像作预处理，仍然会存在小分辨率层和大分辨率层视差匹配结果不一致的结果。这些缺点在金字塔层数过多、分辨率很小时更为明显，因为金字塔层数过高，最底层至上层的视差一致的可能性就越小，并且计算量并不会比原算法低很多。

发明内容

本发明实施方式的目的在于提供一种基于金字塔加速的深度恢复方法、电子设备及存储介质，能够有效解决基于金字塔的深度恢复过程中底层至上层的视差不一致的问题，同时降低匹配过程的计算量，加速深度恢复进程。

为解决上述技术问题，本发明的实施方式提供了一种基于金字塔加速的深度恢复方法，包括：

对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层；

对所述物体金字塔层中与所述物体散斑图的多个候选种子点对应的映射点，在所述参考金字塔层中进行视差搜索，确定每个所述映射点对应的匹配代价值最优的多个第一视差值；

对每个所述候选种子点，根据相应各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取所述种子点的第二视差值；

利用所述种子点及其第二视差值，采用区域增长方法确定所述物体散斑图与所述参考散斑图的视差值；

基于所述物体散斑图与所述参考散斑图的视差值恢复深度信息。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于金字塔加速的深度恢复方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于金字塔加速的深度恢复方法。

本发明实施方式相对于现有技术而言，通过对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层；对物体金字塔层中与物体散斑图的多个候选种子点对应的映射点，在参考金字塔层中进行视差搜索，确定每个映射点对应的匹配代价值最优的多个第一视差值；对每个候选种子点，根据相应各第一视差值所确定的视差搜索范围，在参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取种子点的第二视差值；利用种子点及其第二视差值，采用区域增长方法确定物体散斑图与参考散斑图的视差值；基于物体散斑图与参考散斑图的视差值恢复深度信息。本方案通过将预处理方法置在金字塔方法之前、选定金字塔层数为2、存储金字塔层中每个映射点的多个最佳匹配视差，以及选择多个候选种子实现区域生长算法，以解决现有基于金字塔的深度恢复过程中底层至上层的视差不一致的问题，同时降低匹配过程的计算量，加速深度恢复进程。

附图说明

图1是根据本发明实施方式的基于金字塔加速的深度恢复方法的具体流程图一；

图2是根据本发明实施方式的候选种子点选择方式图；

图3是根据本发明实施方式的三角测量原理计算深度的示意图；

图4是根据本发明实施方式的基于金字塔加速的深度恢复方法的具体流程图二；

图5是根据本发明实施方式的基于金字塔加速的深度恢复方法的具体流程图三；

图6是根据本发明实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的一实施方式涉及一种基于金字塔加速的深度恢复方法，如图1所示，本实施例提供的基于金字塔加速的深度恢复方法，包括如下步骤。

步骤101：对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层。

具体地，可通过结构光相机(简称“相机”)拍摄目标物体的散斑图，作为物体散斑图；参考散斑图为已知距离的平面散斑图。对物体散斑图、参考散斑图进行预处理，以提高散斑点的明暗对比度和亮度均衡的效果。

在一个例子中，对物体散斑图和参考散斑图进行预处理，可包括：对物体散斑图和参考散斑图依次进行局部灰度归一化和阴影处理。

具体地，采用局部灰度归一化(Local Contrast Normalization，LCN)，分别对物体散斑图和参考散斑图上坐标为(i,j)的像素点P，其灰度值为G(i,j)，取以点P为中心的邻域窗口k*k(k为常量值)，计算窗口内灰度的平均值avg，标准差std，然后按照如下公式(1)，计算局部灰度归一化后的灰度值G’(i,j)。

LCN方法，可以解决散斑影像亮度不均衡的问题。

采用如下公式(2)将散斑图像中灰度值G’(i,j)过小的像素点判断为阴影，标记为阴影的像素点(灰度值为0)，其余像素点的灰度值标记为非阴影(灰度值为1)，建立阴影(mask)矩阵m(i,j)。被标记为阴影的像素点将不会进行后续深度恢复操作。

其中，threshold为阴影边界值。

矩阵m(i,j)中的元素值对应为预处理后的散斑图像中的灰度值。

对预处理后的物体散斑图和参考散斑图进行一层下采样，得到两层金字塔。其中，该两层金字塔的底层称为金字塔层。如将物体散斑图和参考散斑图分别作为金字塔的顶层，其对应的底层分别记为物体金字塔层和参考金字塔层。其中，本实施例对下采样的采样率不做限定。

在一个例子中，本步骤101可通过如下步骤实现，即：分别对预处理后的物体散斑图和参考散斑图，通过如下公式(3)进行一层下采样，得到对应的物体金字塔层和参考金字塔层。

G_p(i,j)＝(G’_p(2i,2j)+G’_p(2i+1,2j)+G’_p(2i,2j+1)+G’_p(2i+1,2j+1))>>2………………………(3)

其中，G_p(i,j)为下采样后的图像中像素点(i,j)的灰度值，G’_p(i,j)为下采样前的图像中像素点(i,j)的灰度值，>>为右移算符(“>>2”同“除以4”)。

本发明中使用两层金字塔，即包含原始分辨率和一半分辨率的LCN和阴影处理后的物体散斑图和参考散斑图。另外，将预处理方法置于金字塔方法前，可使散斑点特征更为明显，继而减轻金字塔上下层的匹配不一致的问题。此外，这么操作的好处还有：

相比于先做金字塔后做预处理，省去了原先金字塔底层仍需要做预处理的计算量；

金字塔使用双层，解决了金字塔层数过多带来的匹配一致性和计算量的问题，且双层金字塔实际也能满足匹配效果；

采样率选择0.5，一则该比率适合进行匹配，二则生成金字塔层的速度快且方便。在进行线性下采样时，对预处理后的散斑图像中的图像点G’_p(i,j)，对2x2的整数值求和右移即可，相比于浮点采样，速度快上几倍。

步骤102：对物体金字塔层中与物体散斑图的多个候选种子点对应的映射点，在参考金字塔层中进行视差搜索，确定每个映射点对应的匹配代价值最优的多个第一视差值。

具体地，使用区域生长算法进行深度恢复的原理是认为场景的深度具备一定的连续性，其相当于深度恢复过程中的代价聚合部分。因此，首先按照一定间隔的网格方式从物体散斑图(原分辨率层)选择多个像素点作为候选种子点(如图2中的实心点)，并形成候选种子点的队列。按顺序选择队列中的候选种子点，将候选种子点的坐标换算至金字塔层中的坐标(即乘以采样因子0.5)，在金字塔层进行视差搜索，可以减少计算量。如原分辨率层如需搜索[-56,56]，匹配窗口为17，那么在金字塔层只需搜索[-28,-28]，匹配窗口为9，整个计算量将为原来的1/8左右。

将候选种子点的坐标换算至金字塔层中的坐标所对应得到的像素点记为映射点。针对每个映射点，在参考金字塔层中进行视差搜索，确定每个映射点在多个视差d值下对应的匹配代价值，并从中选择匹配代价值最优的多个视差d作为第一视差值。

步骤103：对每个候选种子点，根据相应各第一视差值所确定的视差搜索范围，在参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取种子点的第二视差值。

具体地，在得到各映射点对应的第一视差值后，将各第一视差值乘以上述下采样时所采用的采样因子的倒数进行视差还原，基于每个还原视差分别确定一视差搜索范围，作为相应映射点对应的候选种子点的视差搜索范围。例如，在得到还原视差d_源后，可在还原视差d_源的基础上叠加[-2,2]得到[d_源-2,d_源+2]作为对应的候选种子点的视差搜索范围。每个第一视差值均可以确定一个这样的视差搜索范围。

对每个候选种子点，根据相应各第一视差值所确定的多个视差搜索范围，分别在参考散斑图中进行视差搜索，得到每个视差搜索范围下的各视差d对应的匹配代价值。针对候选种子点计算匹配代价值的方法与针对映射点计算匹配代价值的方法相同。在得到每个候选种子点，在对应的各视差搜索范围内各视差d对应的匹配代价值后，可以根据这些匹配代价值与预设匹配阈值的关系，确定当前候选种子点是否可作为一个种子点，并在确定为种子点时，获取种子点的第二视差值。

步骤104：利用种子点及其第二视差值，采用区域增长方法对物体散斑图中各像素点在参考散斑图中进行视差搜索，生成视差图。

具体地，若候选种子点被成功判断为种子点，并获取到种子点的第二视差值时，则进入该种子点的生长环节。在该种子点四周进行生长，该过程在原分辨率层(物体散斑图、参考散斑图中)进行。对于种子点周围的每一邻域点，在其第二视差值位置处进行[-2,2]的视差搜索匹配，匹配方法及代价值计算方法与原种子点所使用的相关方法相同。若匹配代价值小于生长阈值，则确定找到匹配的视差值。此时，可直接将该匹配代价值所对应的视差值作为当前匹配点的视差值，或者参照公式(5)计算出该视差值的亚像素级别视差作为最终的视差值。然后将当前邻域点作为新的种子点再于其周围进行区域生长，以进一步得到新邻域点的视差值。若匹配代价值小于生长阈值，则进行下一个种子点的邻域点的计算。

针对每个种子点，采用区域增长方法迭代进行邻域点的视差搜索，从而最终确定出物体散斑图与参考散斑图之间的像素点的视差值，形成视差图。

步骤105：基于视差图恢复深度信息。

具体地，当图像生长完毕后，将所有像素点的视差值d，根据如图3所示的三角测量原理计算深度Z，计算公式如下所示：

其中，z₀为参考平面距离，单位mm；f，l分别为相机标定焦距和基线距离。

在得到深度图后，还可以对深度图进行后处理，如中值滤波等，以去除多余的噪点后输出高精度的深度图。

与现有技术相比，通过对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层；对物体金字塔层中与物体散斑图的多个候选种子点对应的映射点，在参考金字塔层中进行视差搜索，确定每个映射点对应的匹配代价值最优的多个第一视差值；对每个候选种子点，根据相应各第一视差值所确定的视差搜索范围，在参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取种子点的第二视差值；利用种子点及其第二视差值，采用区域增长方法确定物体散斑图与参考散斑图的视差值；基于物体散斑图与参考散斑图的视差值恢复深度信息。本方案通过将预处理方法置在金字塔方法之前、选定金字塔层数为2、存储金字塔层中每个映射点的多个最佳匹配视差，以及选择多个候选种子实现区域生长算法，以解决现有基于金字塔的深度恢复过程中底层至上层的视差不一致的问题，同时降低匹配过程的计算量，加速深度恢复进程。

本发明的另一实施方式涉及一种基于金字塔加速的深度恢复方法，如图4所示，该基于金字塔加速的深度恢复方法是对图1所示方法步骤的改进，改进之处在于，对确定第一视差值的过程进行细化。如图4所示，上述步骤102可包括如下子步骤。

子步骤1021：确定物体金字塔层上映射点坐标(x,y)和对应的参考金字塔层上坐标(x+d,y)；其中d为预设区间内的多个整数值。

具体地，将候选种子点的坐标换算至金字塔层中的坐标，即乘以采样因子(如0.5)，即可得到候选种子点在金字塔层上对应的映射点坐标(x,y)；根据预设的视差搜索范围在匹配视差为d时，找到对应的参考金字塔层上坐标(x+d,y)；其中d为预设区间内的多个整数值。

子步骤1022：利用邻域窗口，采用如下公式(5)计算映射点坐标(x,y)与坐标(x+d,y)的匹配代价值C_d(x,y)：

其中，邻域大小为(2n+1)*(2m+1)，I_w为物体金字塔层，I_c为参考金字塔层，I_w(x+i,y+j)为物体金字塔层上坐标(x+i,y+j)位置的灰度值，I_c(x+i+d,y+j)为物体金字塔层上坐标(x+i+d,y+j)位置的灰度值，d为估算的视差值。

具体地，以物体金字塔层中映射点坐标(x,y)为中心，构建领域窗口大小为(2n+1)*(2m+1)的物体图像块I_w(x+i,y+j)；匹配视差位置为d的坐标为(x+i+d,y+j)，以此点为中心，构建领域窗口大小为(2n+1)*(2m+1)的参考图像块I_c(x+i+d,y+j)。则物体图像块与参考图像块的匹配代价值C_d(x,y)可通过公式(5)计算得到。将该匹配代价值C_d(x,y)作为映射点的匹配视差位置为d的匹配代价值。可以理解的，随着d取值的不同，每个映射点对应每个d都会产生一个匹配代价值。

子步骤1023：针对每个映射点坐标(x,y)，将匹配代价值C_d(x,y)最小的多个视差值d分别作为映射点坐标(x,y)对应的第一视差值。

具体地，针对每个映射点坐标(x,y)，在得到对应每个视差值d的所有匹配代价值后，从中选择出匹配代价值最小的预设数量(如3个)的多个视差值d，分别作为映射点坐标(x,y)对应的一个第一视差值。

在一个例子中，还可以通过计算亚像素级别视差来取代原视差，以增加视差的准确性。

处理过程为：

步骤一：对匹配代价值C_d(x,y)最小的多个视差值d，计算每个视差值d对应的相邻视差值d-1的匹配代价值C_d-1和相邻视差值d+1的匹配代价值C_d+1。

具体地，匹配代价值C_d-1和匹配代价值C_d+1的计算过程与计算C_d的计算过程相同，均可采用公式(5)进行计算，在此不做赘述。

步骤二：采用如下公式(6)计算视差值d的亚像素级别视差d’，以亚像素级别视差d’取代视差值d作为第一视差值。

其中，L＝C_d-1-C_d，R＝C_d+1-C_d。

具体地，针对每个映射点坐标(x,y)，在得到匹配代价值C_d最小的多个视差值d后，可以对这些视差值d中，每个视差值d计算其两个相邻视差值d-1和d+1对应的匹配代价值C_d-1和C_d+1。设定L＝C_d-1-C_d，R＝C_d+1-C_d，通过公式(6)计算每个视差值d的亚像素级别视差d’。最后以亚像素级别视差d’取代视差值d作为第一视差值。

与相关技术相比，本实施例通过确定物体金字塔层上映射点坐标(x,y)和对应的参考金字塔层上坐标(x+d,y)；利用邻域窗口，计算映射点坐标(x,y)与坐标(x+d,y)的匹配代价值C_d(x,y)；针对每个映射点坐标(x,y)，将匹配代价值C_d(x,y)最小的多个视差值d分别作为映射点坐标(x,y)对应的第一视差值，从而快速、准确地确定出每个映射点对应的匹配代价值最优的多个第一视差值。

本发明的另一实施方式涉及一种基于金字塔加速的深度恢复方法，如图5所示，该基于金字塔加速的深度恢复方法是对图4所示方法步骤的改进，改进之处在于，对种子点的判断过程和获取种子点的第二视差值过程进行细化。如图5所示，步骤103可包括如下子步骤。

子步骤1031：针对当前候选种子点，依次根据相应的各第一视差值所确定的视差搜索范围，在参考散斑图中进行视差搜索，得到各视差搜索范围对应的匹配代价值最优的视差值。

具体地，针对任一个候选种子点，在根据相应的各第一视差值确定多个视差搜索范围后，对于每个视差搜索范围，在参考散斑图中进行视差搜索，得到该视差搜索范围内各视差值d对应的匹配代价值；从各视差值d中确定出匹配代价值最优的一个视差值，作为该视差搜索范围对应的匹配代价值最优的视差值。由于每个候选种子点存在多个视差搜索范围，因此会对应多个匹配代价值最优的视差值。

在一个例子中，子步骤1031的执行过程为：针对当前候选种子点，按相应的第一视差值所对应的匹配代价值从优到劣的顺序，依次根据各第一视差值所确定的视差搜索范围，在参考散斑图中进行视差搜索，得到各视差搜索范围对应的匹配代价值最优的视差值。

具体地，针对当前候选种子点，可以按一定执行顺序在对应的各个视差搜索范围内，依次进行视差搜索，该执行顺序可以是按照用于确定视差搜索范围的各第一视差值所对应的匹配代价值的优劣，如匹配代价值从小到大进行排序。例如，优先选择匹配代价值最小的第一视差值所确定的视差搜索范围内进行视差搜索。然后依次选择匹配代价值较大的第一视差值所确定的视差搜索范围内进行视差搜索。

需要说明的是，在实际应用过程中，是否执行排序在后的视差搜索范围内的视差搜索，取决于执行排序在前的视差搜索范围内的视差搜索的搜索结果。如果搜索结果满足预设要求，则可不必执行在后的视差搜索范围内的视差搜索，从而节省运算成本。这样处理的另一个优势为：如果在前的视差搜索范围内的视差搜索结果不理想，则认为有可能是金字塔层与原始层的匹配不一致所导致，那么再使用次优的视差搜索范围进行视差搜索，可以尽可能弥补由于金字塔层与原始层的匹配不一致所导致视差搜索不准确的缺陷。

子步骤1032：在确定任一视差搜索范围内所得到的最优的匹配代价值小于设定阈值时，则将当前候选种子点作为一个种子点，将该种子点在该任一视差搜索范围对应的匹配代价值最优的视差值作为第二视差值。

具体地，针对当前候选种子点，当在对应的任一个视差搜索范围内，在参考散斑图中进行视差搜索所得到的最优的匹配代价值小于设定阈值时，则认为在当前视差搜索范围内搜索到了当前候选种子点对应的较优的视差值。此时，可将当前候选种子点直接确定作为一个种子点，并将该种子点在当前视差搜索范围对应的匹配代价值最优的视差值作为第二视差值。

例如，当采用按一定顺序依次在当前候选种子点对应的各视差搜索范围进行视差搜索时，如果确定在前的视差搜索范围内所得到的最优的匹配代价值小于设定阈值时，则在将当前候选种子点作为一个种子点，将该种子点在该任一视差搜索范围对应的匹配代价值最优的视差值作为第二视差值的同时，可直接停止对后续各视差搜索范围进行视差搜索的操作，以节省不必要的计算成本。

此外，在子步骤1031之后，还可执行如下步骤，即：在确定各视差搜索范围内所确定的所有匹配代价值均不小于设定阈值时，则将当前候选种子点丢弃。

具体地，针对当前候选种子点，当在对应的所有视差搜索范围内，在参考散斑图中进行视差搜索所得到的所有最优的匹配代价值均不小于设定阈值时，则认为在上述所有视差搜索范围内均没有搜索到当前候选种子点对应的较优的视差值。此时，可认为此候选种子点自身匹配度并不高，而非金字塔采样导致的匹配错误，此时认定对当前候选种子点判断为失败，之后可从子步骤1031开始，执行其它候选种子点的判断过程。

与相关技术相比，本实施例通过针对当前候选种子点，依次根据相应的各第一视差值所确定的视差搜索范围，在参考散斑图中进行视差搜索，得到各视差搜索范围对应的匹配代价值最优的视差值；在确定任一视差搜索范围内所得到的最优的匹配代价值小于设定阈值时，则将当前候选种子点作为一个种子点，将该种子点在该任一视差搜索范围对应的匹配代价值最优的视差值作为第二视差值，从而快速、准确地确定出种子点以及种子点的第二视差值。

本发明的另一实施方式涉及一种电子设备，如图6所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。

其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。

处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。

本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种基于金字塔加速的深度恢复方法，其特征在于，包括：

对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层；

对所述物体金字塔层中的与所述物体散斑图的多个候选种子点对应的映射点，在所述参考金字塔层中进行视差搜索，确定每个所述映射点对应的匹配代价值最优的多个第一视差值；

对每个所述候选种子点，根据相应各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取所述种子点的第二视差值；

利用所述种子点及其第二视差值，采用区域增长方法确定所述物体散斑图与所述参考散斑图的视差值；

基于所述物体散斑图与所述参考散斑图的视差值恢复深度信息。

2.根据权利要求1所述的方法，其特征在于，对物体散斑图和参考散斑图进行预处理，包括：

对所述物体散斑图和所述参考散斑图依次进行局部灰度归一化和阴影处理。

3.根据权利要求2所述的方法，其特征在于，所述对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层，包括：

分别对预处理后的所述物体散斑图和所述参考散斑图，通过如下公式进行一层下采样，得到对应的所述物体金字塔层和所述参考金字塔层：

G_p(i,j)＝(G’_p(2i,2j)+G’_p(2i+1,2j)+G’_p(2i,2j+1)+G’_p(2i+1,2j+1))>>2

其中，G_p(i,j)为下采样后的图像中像素点(i,j)的灰度值，G’_p(i,j)为下采样前的图像中像素点(i,j)的灰度值，>>为右移算符。

4.根据权利要求1所述的方法，其特征在于，所述对所述物体金字塔层中的、与所述物体散斑图的多个候选种子点对应的映射点，在所述参考金字塔层中进行视差搜索，确定每个所述映射点对应的匹配代价值最优的多个第一视差值，包括：

确定所述物体金字塔层上映射点坐标(x,y)和对应的所述参考金字塔层上坐标(x+d,y)；其中d为预设区间内的多个整数值；

利用邻域窗口，采用如下公式计算所述映射点坐标(x,y)与所述坐标(x+d,y)的匹配代价值C_d(x,y)：

其中，所述邻域大小为(2n+1)*(2m+1)，I_w为所述物体金字塔层，I_c为所述参考金字塔层，I_w(x+i,y+j)为所述物体金字塔层上坐标(x+i,y+j)位置的灰度值，I_c(x+i+d,y+j)为所述物体金字塔层上坐标(x+i+d,y+j)位置的灰度值，d为估算的视差值；

针对每个所述映射点坐标(x,y)，将所述匹配代价值C_d(x,y)最小的多个视差值d分别作为所述映射点坐标(x,y)对应的所述第一视差值。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述匹配代价值C_d(x,y)最小的多个视差值d，计算每个视差值d对应的相邻视差值d-1的匹配代价值C_d-1和相邻视差值d+1的匹配代价值C_d+1；

采用如下公式计算所述视差值d的亚像素级别视差d’，以所述亚像素级别视差d’取代所述视差值d作为所述第一视差值：

其中，L＝C_d-1-C_d，R＝C_d+1-C_d。

6.根据权利要求4或5所述的方法，其特征在于，所述对每个所述候选种子点，根据相应各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取所述种子点的第二视差值，包括：

针对当前所述候选种子点，依次根据相应的各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，得到各视差搜索范围对应的匹配代价值最优的视差值；

在确定任一所述视差搜索范围内所得到的最优的匹配代价值小于设定阈值时，则将当前所述候选种子点作为一个种子点，将该种子点在该任一视差搜索范围对应的匹配代价值最优的视差值作为所述第二视差值。

7.根据权利要求6所述的方法，其特征在于，所述针对当前所述候选种子点，依次根据相应的各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，得到各视差搜索范围对应的匹配代价值最优的视差值之后，还包括：

在确定各所述视差搜索范围内所确定的所有匹配代价值均不小于设定阈值时，则将当前所述候选种子点丢弃。

8.根据权利要求6所述的方法，其特征在于，所述针对当前所述候选种子点，依次根据相应的各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，得到各视差搜索范围对应的匹配代价值最优的视差值，包括：

针对当前所述候选种子点，按相应的所述第一视差值所对应的匹配代价值从优到劣的顺序，依次根据各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，得到各视差搜索范围对应的匹配代价值最优的视差值。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的基于金字塔加速的深度恢复方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于金字塔加速的深度恢复方法。

Images