CN113808185B - 图像深度恢复方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及图像处理领域，公开了一种图像深度恢复方法、电子设备及存储介质，基于从同源红外图像中检测到的人脸，对物体散斑图进行分割，得到包含人脸的第一掩膜区和不包含人脸的第二掩膜区；分别计算由不同采样因子下采样后的第一掩膜区和第二掩膜区所对应的第一视差图；分别对下采样后的第一掩膜区和第二掩膜区所对应的第一视差图进行上采样，得到原第一掩膜区和第二掩膜区所对应的第二视差图；对原第一掩膜区和第二掩膜区所对应的第二视差图按坐标位置进行视差融合，得到物体散斑图对应的视差图，并基于该视差图恢复得到深度图，从而快速获取物体散斑图对应的深度图。

Description

图像深度恢复方法、电子设备及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种图像深度恢复方法、电子设备及存储介质。

背景技术

人脸识别是根据输入信号来进行人的身份识别。随着诸如KinectV1和PrimeSense等消费级别的深度相机的普及，3D人脸识别，利用了更多的深度信息，使得性能提升并获得了更好的算法鲁棒性，为人脸识别提供了一个很好的方向。

结构光相机是一种通过发出主动红外光源计算获得深度数据的相机，被广泛应用三维人脸识别和支付场景之中。结构光相机深度重建利用的是三角测距法计算被测物体到相机的距离。原理虽然简单，但是在实际使用中却面临着一个明显挑战：通常情况下，深度恢复效果越好，计算量就越大。然而基于结构光相机体积和成本的考虑，会选择一普通的ARM嵌入式处理器来完成深度重建工作，导致深度恢复效果受到算力的阻碍，进而影响最终的人脸识别准确率。

发明内容

本发明实施方式的目的在于提供一种图像深度恢复方法、电子设备及存储介质，通过同源红外图检测到的人脸结果，将物体散斑图分割为包含人脸和不包含人脸的两个区域，并对这两个区域进行不同精度和计算量的深度恢复，从而快速获取物体散斑图对应的深度图。

为解决上述技术问题，本发明的实施方式提供了一种图像深度恢复方法，包括：

获取结构光相机拍摄人脸的物体散斑图、同源红外图像和参考散斑图；

基于从所述同源红外图像中检测到的人脸，对所述物体散斑图进行分割，得到包含人脸的第一掩膜区和不包含人脸的第二掩膜区；

分别计算下采样后的所述第一掩膜区和所述第二掩膜区所对应的第一视差图；其中，所述第一掩膜区采用的第一采样因子小于所述第二掩膜区采用的第二采样因子，同一掩膜区对应的采样因子和视差搜索范围成反比例关系；

分别对所述下采样后的所述第一掩膜区和所述第二掩膜区所对应的第一视差图进行上采样，得到原所述第一掩膜区和所述第二掩膜区所对应的第二视差图；

对原所述第一掩膜区和所述第二掩膜区所对应的第二视差图按坐标位置进行视差融合，得到所述物体散斑图对应的视差图，并基于该视差图恢复得到深度图。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的图像深度恢复方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像深度恢复方法。

本发明实施方式相对于现有技术而言，通过获取结构光相机拍摄人脸的物体散斑图、同源红外图像和参考散斑图；基于从同源红外图像中检测到的人脸，对物体散斑图进行分割，得到包含人脸的第一掩膜区和不包含人脸的第二掩膜区；分别计算下采样后的第一掩膜区和第二掩膜区所对应的第一视差图；其中，第一掩膜区采用的第一采样因子小于第二掩膜区采用的第二采样因子，同一掩膜区对应的采样因子和视差搜索范围成反比例关系；分别对下采样后的第一掩膜区和第二掩膜区所对应的第一视差图进行上采样，得到原第一掩膜区和第二掩膜区所对应的第二视差图；对原第一掩膜区和第二掩膜区所对应的第二视差图按坐标位置进行视差融合，得到物体散斑图对应的视差图，并基于该视差图恢复得到深度图。本方案通过同源红外图检测到的人脸结果，将物体散斑图分割为包含人脸和不包含人脸的两个区域，并对这两个区域进行不同精度和计算量的深度恢复，从而快速获取物体散斑图对应的深度图。

附图说明

图1是根据本发明实施方式的图像深度恢复方法的具体流程图一；

图2是根据本发明实施方式的图像深度恢复方法的具体流程图二；

图3是根据本发明实施方式的获取第一视差图方法的具体流程图一；

图4是根据本发明实施方式的获取第一视差图方法的具体流程图二；

图5是根据本发明实施方式的获取第一视差图方法的具体流程图三；

图6是根据本发明实施方式的获取第一视差图方法的具体流程图四；

图7是根据本发明实施方式的获取第一视差图方法的具体流程图五；

图8是根据本发明实施方式的获取第一视差图方法的具体流程图六；

图9是根据本发明实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的一实施方式涉及一种图像深度恢复方法，如图1所示，本实施例提供的图像深度恢复方法，包括如下步骤。

步骤101：获取结构光相机的物体散斑图、同源红外图像和参考散斑图。

具体地，通过结构光相机（简称“相机”）拍摄目标物体的散斑图，作为物体散斑图；参考散斑图为已知距离的平面散斑图。同时，在拍摄物体散斑图的同时，利用同源的红外镜头拍摄目标物体的同源红外图像。

步骤102：基于从同源红外图像中检测到的人脸，对物体散斑图进行分割，得到包含人脸的第一掩膜区和不包含人脸的第二掩膜区。

具体地，由于红外图像和物体散斑图是同源的，即图像已完成对齐，因此可以根据从红外图像中检测出的人脸的位置，判断物体散斑图中人脸的位置，并对物体散斑图按是否包含人脸进行分割，得到包含人脸的区域和不包含人脸的区域。为对这两种区域进行区分，将包含人脸的区域称为第一掩膜区（MASK0），将不包含人脸的区域称为第二掩膜区（MASK1）。在拍摄的图像中可能会包含多张人脸，因此分割后的MASK0也可能为多个区域。在实际操作中，MASK0可为图像中包含人脸的矩形框区域，MASK1为除MASK0外的剩余区域。

步骤103：分别计算下采样后的第一掩膜区和第二掩膜区所对应的第一视差图；其中，第一掩膜区采用的第一采样因子小于第二掩膜区采用的第二采样因子，同一掩膜区对应的采样因子和视差搜索范围成反比例关系。

具体地，在人脸识别场景中，人脸是3D识别的主要感兴趣区域，在进行视差计算时，为了缩小计算量和满足识别要求，可以对包含人脸的第一掩膜区和不包含人脸的第二掩膜区进行不同程度的降分辨率处理，如对第一掩膜区和第二掩膜区分别进行下采样。然后针对下采样后的第一掩膜区和第二掩膜区分别计算其所对应的视差图，本实施例中将下采样后的图像所对应的视差图称为第一视差图。由于人脸为主要感兴趣区域，因此，可以设置第一掩膜区在进行下采样时所采用的第一采样因子小于第二掩膜区在进行下采样时所采用的第二采样因子，以相对保证人脸区域的视差精度。同时，也可以设置同一掩膜区所对应的下采样的采样因子和执行视差搜索时的视差搜索范围成反比例关系，即下采样的倍数越大，对应执行视差搜索时的视差搜索范围越小，使得视差搜索范围与下采样后图像的分辨率保持一致变化。

例如，对MASK0进行下采样，第一采样因子为2。假设MASK0对应的矩形框的分辨率为400*400，视差搜索范围为[0, 160]，那么经过下采样后，分辨率变成了200*200，视差搜索范围缩减为[0,80]，在满足识别要求的前提下，计算量直接降低了8倍。

又例如，对MASK1进行下采样，第二采样因子为4。那么即使全图分辨率为1280*800，都为非人脸区域，在计算量上也直接会降低64倍。采样因子越大，计算量越小，最终恢复出的深度的精度也会随着变低。

步骤104：分别对下采样后的第一掩膜区和第二掩膜区所对应的第一视差图进行上采样，得到原第一掩膜区和第二掩膜区所对应的第二视差图。

具体地，在对MASK0和MASK1进行下采样，分别得到下采样后的MASK0和MASK1所对应的第一视差图后，可将这两幅第一视差图对应恢复到原MASK0和MASK1的分辨率，以得到原MASK0和MASK1所对应的视差图。本实施例中将原图像所对应的视差图称为第二视差图。

例如，对上述下采样后的MASK0所对应的第一视差图进行上采样，为保证恢复到原MASK0的分辨率，设置采样因子为2。此时，可以将下采样后的MASK0所对应的第一视差图的分辨率从分辨率为200*200恢复到400*400，将恢复分辨率的视差图作为原MASK0所对应的第二视差图。

同理，对上述下采样后的MASK1所对应的第一视差图进行上采样，为保证恢复到原MASK1的分辨率，设置采样因子为4。此时，可以将下采样后的MASK1所对应的第一视差图的分辨率从下采样后的分辨率恢复到下采样前的分辨率，将恢复分辨率的视差图作为原MASK1所对应的第二视差图。

步骤105：对原第一掩膜区和第二掩膜区所对应的第二视差图按坐标位置进行视差融合，得到物体散斑图对应的视差图，并基于该视差图恢复得到深度图。

具体地，根据原第一掩膜区和第二掩膜区在原物体散斑图上的坐标位置，将这两种掩膜区对应的第二视差图按对应在掩膜区的坐标位置进行位置拼接，完成视差融合得到一幅视差图。该一幅视差图即为物体散斑图对应的视差图。最后，利用三角测距法计算物体散斑图中被测物体到相机的距离，得到相应的深度图。

与相关技术相比，本实施例通过获取结构光相机拍摄人脸的物体散斑图、同源红外图像和参考散斑图；基于从同源红外图像中检测到的人脸，对物体散斑图进行分割，得到包含人脸的第一掩膜区和不包含人脸的第二掩膜区；分别计算下采样后的第一掩膜区和第二掩膜区所对应的第一视差图；其中，第一掩膜区采用的第一采样因子小于第二掩膜区采用的第二采样因子，同一掩膜区对应的采样因子和视差搜索范围成反比例关系；分别对下采样后的第一掩膜区和第二掩膜区所对应的第一视差图进行上采样，得到原第一掩膜区和第二掩膜区所对应的第二视差图；对原第一掩膜区和第二掩膜区所对应的第二视差图按坐标位置进行视差融合，得到物体散斑图对应的视差图，并基于该视差图恢复得到深度图。本方案通过同源红外图检测到的人脸结果，将物体散斑图分割为包含人脸和不包含人脸的两个区域，并对这两个区域进行不同精度和计算量的深度恢复，从而快速获取物体散斑图对应的深度图。

本发明的另一实施方式涉及一种图像深度恢复方法，如图2所示，该图像深度恢复方法是对图1所示方法步骤的改进，改进之处在于，对计算下采样后的第一掩膜区和第二掩膜区所对应的第一视差图的计算过程进行细化。如图2所示，上述步骤103包括如下子步骤。

子步骤1031：对物体散斑图、参考散斑图中每幅图分别采用第一采样因子和第二采样因子进行下采样。

具体地，为了方便对下采样后的掩膜区及其视差图向原始散斑图及其视差图进行位置还原，在对第一掩膜区和第二掩膜区进行下采样时，可分别对物体散斑图、参考散斑图整体采用同一采样因子进行下采样，这样就得到了四幅下采样后的图像：采用第一采样因子进行下采样得到的下采样后的物体散斑图、参考散斑图，采用第二采样因子进行下采样得到的下采样后的物体散斑图、参考散斑图。

子步骤1032：将采用相同采样因子得到的一组下采样后的物体散斑图、参考散斑图记为第一物体散斑图和第一参考散斑图，对第一物体散斑图中目标掩膜区在第一参考散斑图中进行视差搜索，得到该目标掩膜区对应的第一视差图；其中，目标掩膜区为对原物体散斑图下采样得到第一物体散斑图所采用的采样因子所适用的掩膜区，在第一物体散斑图中对应的区域。

具体地，为方便描述，将经同一采样因子（第一采样因子、第二采样因子）下采样后得到的一组物体散斑图、参考散斑图另记为第一物体散斑图和第一参考散斑图。然后针对第一物体散斑图中的目标掩膜区中的像素点在对应的第一参考散斑图中进行视差搜索，得到该目标掩膜区中各像素点对应的视差值，并基于视差值形成该目标掩膜区对应的第一视差图。

其中，目标掩膜区为上述第一掩膜区或第二掩膜区经相应采样因子下采样后得到的掩膜区。具体是哪种掩膜区对应的下采样后的掩膜区，确定依据为：目标掩膜区为对原物体散斑图下采样得到第一物体散斑图所采用的采样因子所适用的掩膜区，在第一物体散斑图中对应的区域。

例如，当对原物体散斑图采用适用于第一掩膜区的第一采样因子进行下采样，得到当前第一物体散斑图时，那么第一掩膜区在该第一物体散斑图中对应的区域即被称之为该第一物体散斑图中的目标掩膜区。相应地，该目标掩膜区对应的第一视差图即被作为下采样后的第一掩膜区所对应的第一视差图。同理，当对原物体散斑图采用适用于第二掩膜区的第二采样因子进行下采样，得到当前第一物体散斑图时，那么第二掩膜区在该第一物体散斑图中对应的区域即被称之为该第一物体散斑图中的目标掩膜区。相应地，该目标掩膜区对应的第一视差图即被作为下采样后的第二掩膜区所对应的第一视差图。

与相关技术相比，本实施例通过对物体散斑图、参考散斑图中每幅图分别采用第一采样因子和第二采样因子进行下采样；将采用相同采样因子得到的一组下采样后的物体散斑图、参考散斑图记为第一物体散斑图和第一参考散斑图，对第一物体散斑图中目标掩膜区在第一参考散斑图中进行视差搜索，得到该目标掩膜区对应的所述第一视差图；从而实现对两种掩膜区采用统一的下采样和视差搜索流程进行处理，方便快速地得到下采样后的第一掩膜区和第二掩膜区所对应的第一视差图。

本发明的另一实施方式涉及一种图像深度恢复方法，该图像深度恢复方法是对图2所示方法步骤的改进，改进之处在于，对于对第一物体散斑图中目标掩膜区在第一参考散斑图中进行视差搜索，得到该目标掩膜区对应的第一视差图的过程进行细化。如图3所示，上述步骤1032中，对第一物体散斑图中目标掩膜区在第一参考散斑图中进行视差搜索，得到该目标掩膜区对应的第一视差图包括如下步骤。

步骤201：对目标掩膜区和第一参考散斑图上对应的像素点进行代价矩阵计算，得到三维代价矩阵。

其中，可以初步设置目标掩膜区上的一个像素点可以和第一参考散斑图上的多个像素点相对应，即初步设置目标掩膜区在第一参考散斑上的视差搜索区间。

具体地，针对目标掩膜区和第一参考散斑图上对应的像素点进行代价矩阵计算时，可分别计算目标掩膜区上每一像素点与对应第一参考散斑图上多个像素点之间的多个代价值，将目标掩膜区上所有像素点中每个像素点对应的所有代价值叠放在一起，从而得到三维代价矩阵其中，第三维为平面代价矩阵的数量维度，该数量维度的值即为目标掩膜区上每个像素点所对应的代价值的数量。在计算每两个像素点之间的代价值时，可采用但不局限于差的绝对值之和（Sum of absolute differences，SAD）算法实现。SAD算法是一种图像匹配算法。本实施例中，针对待计算代价矩阵的两个像素点，直接采用SAD算法对两像素点所在的图像块进行匹配，即将两个图像块中对应像素点的数值之差的绝对值求和，据此评估两个图像块的相似度。最后，根据图像块的相似度确定目标掩膜区和第一参考散斑图上相应像素点的代价值，形成目标掩膜区内所有像素点对应的代价矩阵，进而构建三维代价矩阵。

步骤202：对同源红外图像进行与当前物体散斑图同等程度的下采样，并构建下采样后的同源红外图像上与目标掩膜区对应的各像素点的十字交叉域。

其中，十字的含义是每个像素点都会有一个十字臂，臂上的所有像素点的颜色（亮度）值和该像素点的颜色（亮度）值相近。相邻位置上颜色相近的两个像素有相似的视差值。本实施例中，需要先对同源红外图像进行与当前物体散斑图同等程度的下采样，例如，当前物体散斑图通过第一采样因子下采样后得到的第一物体散斑图，那么同源红外图像也需通过第一采样因子下采样，得到下采样后的同源红外图。然后基于“同源”关系，将第一参考散斑图上目标掩膜区的位置映射到下采样后的同源红外图上，计算同源红外图像上与目标掩膜区对应的各像素点的十字交叉域。

步骤203：根据下采样后的同源红外图像上与目标掩膜区对应的各像素点的十字交叉域对三维代价矩阵进行代价聚合，得到目标掩膜区中各像素点的聚合代价值。

具体地，基于下采样后的同源红外图中每个像素点对应十字交叉域，可对三维代价矩阵中，每个二维代价矩阵对应十字交叉域上的代价值进行代价聚合，从而将聚合后的代价值作为第一物体散斑图的目标掩膜区中与下采样后的同源红外图中像素点对应的像素点的聚合代价值。由于每个视差d值下，均对应不同的二维代价矩阵，因此，基于各二维代价矩阵对应十字交叉域上的代价值进行代价聚合后，可以得到第一物体散斑图的目标掩膜区中每个像素点对应的多个聚合代价值，即每个聚合代价值对应一个d值。

步骤204：将各像素点的聚合代价值中的最大值对应的视差值作为相应像素点的视差值。

具体地，由于每个d值下，均对应不同的二维代价矩阵，因此，基于各二维代价矩阵对应十字交叉域上的代价值进行代价聚合后，每个像素点可以得到多个聚合代价值，即每个聚合代价值对应一个d值。在此基础上，可将各像素点的聚合代价值中的最大值对应的视差值d作为相应像素点的视差值。

与相关技术相比，本实施例通过对第一物体散斑图中的目标掩膜区和第一参考散斑图上对应的像素点进行代价矩阵计算，得到三维代价矩阵；构建等同程度下采样后的同源红外图像上各像素点的十字交叉域；根据下采样后的同源红外图上与目标掩膜区对应的各像素点的十字交叉域对三维代价矩阵进行代价聚合，得到第一物体散斑图中目标掩膜区内各像素点的聚合代价值；将各像素点的聚合代价值中的最大值对应的视差值作为相应像素点的视差值。本方案通过引入与结构光散斑图像的同源红外图像对每个视差层进行代价聚合，使得在一个自然的分割区域中视差值的分布一致或相似，从而获得更加准确的视差估计。

本发明的另一实施方式涉及一种图像深度恢复方法，该图像深度恢复方法是对图3所示方法步骤的改进，改进之处在于，对三维代价矩阵的计算过程进行细化。如图4所示，上述步骤201包括如下子步骤。

子步骤2011：确定目标掩膜区上任一点坐标(x,y)和对应的第一参考散斑图上的坐标(x+d,y)；其中d为预设数值区间内的多个数值。

其中，由于d为预设数值区间内的多个数值（多个预设视差值），因此，目标掩膜区上任一点坐标（x,y）和不同的d所对应的第一参考散斑图上的坐标（x+d,y）相对应，形成一对多的关系。

子步骤2012：利用邻域窗口，采用如下公式计算三维代价矩阵SAD(x,y,d)：

………………（1）

其中，邻域大小为（2n+1）*（2m+1），I _w 为目标掩膜区，I _c 为第一参考散斑图，I _w （x+i, y+j）为目标掩膜区上坐标位置的灰度值，I _c （x+i+d,y+j）为第一参考散斑图上坐标位置的灰度值，d为估算的视差值。

具体地，针对每一个d，都存在一个第一参考散斑图上像素点（x+ d,y）与目标掩膜区上的像素点（x,y）相对应；分别以这两个像素点为中心，邻域大小为（2n+1）*（2m+1）的邻域窗口内构建邻域，其中n、m均为大于0的整数；针对两个邻域内对应的像素点，即目标掩膜区上像素点（x+i,y+j）和第一参考散斑图上像素点（x+i+d,y+j）采用公式（1）计算两像素点之间的代价值（两像素点所在邻域之间的块匹配值，用SAD值代替）。最后将根据目标掩膜区中所有像素点在所有d值上对应的代价值进行组合，形成目标掩膜区的三维代价矩阵。

与相关技术相比，本实施例通过确定目标掩膜区上任一点坐标（x,y）和对应的第一参考散斑图上的坐标（x+d,y）；其中d为预设数值区间内的多个数值；利用邻域窗口，采用差的绝对值之和算法，计算三维代价矩阵SAD（x,y,d），以提供一种计算三维代价矩阵的实现方式。

本发明的另一实施方式涉及一种图像深度恢复方法，该图像深度恢复方法是对图3所示方法步骤的改进，改进之处在于，增加了物体散斑图和参考散斑图进行图像局部对比度归一化（Local Contrast Normalization，LCN）处理。如图5所示，在执行步骤201之前，还包括如下步骤。

步骤205：对第一物体散斑图和第一参考散斑图进行图像局部对比度归一化处理。

具体地，为了消除亮度对匹配算法的影响，在执行步骤201之前，可先对第一物体散斑图和第一参考散斑图进行LCN处理，以增强散斑图的对比度。

在一个例子中，图像局部对比度归一化处理可包括如下步骤。

步骤1：以图像中任一像素点位置为中心，计算局部二维窗口内所有像素点的灰度的平均值

和标准差

。

具体地，针对图像中的像素点i，以该像素点i位置为中心点，计算二维小窗口内所有像素点的灰度的平均值

（公式2）和标准差

（公式3）。

………………………（2）

………………………（3）

其中，N代表小窗口内总像素个数，I _i 为图像中第i个像素点的灰度。

步骤2：采用如下公式（4）计算像素点的图像局部对比度归一化值I _LCN ：

………………………（4）

其中，I为像素点的灰度，K为常量值。

在此基础上，步骤201可具体如下子步骤。

子步骤2013时，对图像局部对比度归一化处理后的第一物体散斑图中的目标掩膜区和第一参考散斑图上对应的像素点进行代价矩阵计算。

与相关技术相比，本实施例通过对第一物体散斑图和第一参考散斑图进行图像局部对比度归一化处理，并对图像局部对比度归一化处理后的第一物体散斑图中的目标掩膜区和第一参考散斑图上对应的像素点进行代价矩阵计算，从而可以消除亮度对匹配算法的影响。

本发明的另一实施方式涉及一种图像深度恢复方法，该图像深度恢复方法是对图3所示方法步骤的改进，改进之处在于，对构建下采样后的同源红外图像上与目标掩膜区对应的各像素点的十字交叉域的过程进行细化。如图6所示，步骤202包括如下子步骤。

子步骤2021：基于预设的颜色差异阈值和空间长度阈值，构建下采样后的同源红外图像上与目标掩膜区对应的各像素点的十字臂。

具体地，以左臂的延伸为例（右臂、上臂、下臂的延伸规则和左臂一样），规则如下：

………………………（5）

D _c (p _l ,p)为像素点p _l 和p之间的颜色差异，

是设定的颜色差异阈值。

………………………（6）

D _s (p _l ,p)为像素点p _l 和p之间的空间距离，L是设定的空间长度阈值。

其中，空间长度阈值的定义为：

………………………（7）

子步骤2022：基于各像素点的十字臂构建各像素点的支持区域作为十字交叉域。

具体地，按照上述规则，构建下采样后的同源红外图像上与目标掩膜区对应的各像素点的十字臂。之后，根据每个像素点的十字臂就可以构建像素点的支持区域（SupportRegion），即某一像素点P的支持区域是合并其垂直臂上的所有像素点的水平臂所对应的像素点区域。

与相关技术相比，本实施例基于预设的颜色差异阈值和空间长度阈值，构建下采样后的同源红外图像上与目标掩膜区对应的各像素点的十字臂；之后，基于各像素点的十字臂构建各像素点的支持区域作为十字交叉域，从而保证同一划分区域内的像素点的颜色保持一致，且区域大小适中。

本发明的另一实施方式涉及一种图像深度恢复方法，该图像深度恢复方法是对图3所示方法步骤的改进，改进之处在于，对根据下采样后的同源红外图像上与目标掩膜区对应的各像素点的十字交叉域对三维代价矩阵进行代价聚合，得到目标掩膜区中各像素点的聚合代价值的过程进行细化。如图7所示，步骤203包括如下子步骤。

子步骤2031：针对各像素点，将该像素点的十字交叉域内水平臂上的像素代价值相加，并存储为临时值。

具体地，根据下采样后的同源红外图像上与目标掩膜区对应的各像素点的十字交叉域对三维代价矩阵进行代价聚合，即对三维代价矩阵SAD（x,y,d），利用上述下采样后的同源红外图上与目标掩膜区对应的各像素点的十字交叉域进行两步法代价聚合。

首先对所有像素点，将其水平臂上的像素点的代价值相加，存储为临时值。

子步骤2032：将该像素点的十字交叉域内竖直臂上的像素对应存储的临时值相加，得到该像素的聚合代价值。

具体地，对所有像素点，在得到上述水平臂上的像素点的临时值后，将其竖直臂上的像素点在步骤2031中存储的临时值相加，得到该像素点最终的聚合代价值。

此外，为了让每个像素点的聚合代价值范围位于一个较小的可控范围内，在本步骤，即得到该像素的聚合代价值之后，还包括：将该像素的聚合代价值除以该像素的十字交叉域中包含的总像素数，得到该像素最终的聚合代价值。

与相关技术相比，本实施例通过两步法代价聚合，得到目标掩膜区上任一像素点的聚合代价值，并且将每个像素的聚合代价值除以该像素的十字交叉域中包含的总像素数，得到该像素最终的聚合代价值，使每个像素点的聚合代价值范围位于一个较小的可控范围内，方便后续计算。

本发明的另一实施方式涉及一种图像深度恢复方法，该图像深度恢复方法是对图3所示方法步骤的改进，改进之处在于，在得到目标掩膜区上每个像素点的视差值之后，增加对视差值优化操作。如图8所示，在步骤204之后，还包括如下步骤。

步骤206：对视差值采用如下公式计算，得到亚像素级别的视差值作为最终的视差值。

………………………（8）

其中，d*为亚像素级别的视差值，d为视差值，SAD（x,y,d）为像素点（x,y）的代价值。

具体地，视差计算采用赢家通吃（WTA）算法，每个像素点选择最大聚合代价值所对应的视差值作为整数视差d，视差计算的结果是和目标掩膜区相同尺寸的视差图，存储每个像素的视差值。

然后进行子像素插值，获得亚像素级别的视差，即使用一元二次拟合，公式如（8）得到最终的视差d*。

在获得目标掩膜区与第一参考散斑图上对应像素点的视差值后，利用结构光相机的参数和三角测量原理，即可得到深度图。

与相关技术相比，本实施例通过对视差值采用子像素插值进行计算，得到亚像素级别的视差值作为最终的视差值，从而保证视差值整体的平滑性。

本发明的另一实施方式涉及一种电子设备，如图9所示，包括至少一个处理器302；以及，与至少一个处理器302通信连接的存储器301；其中，存储器301存储有可被至少一个处理器302执行的指令，指令被至少一个处理器302执行，以使至少一个处理器302能够执行上述任一方法实施例。

其中，存储器301和处理器302采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器302。

处理器302负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。

本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种图像深度恢复方法，其特征在于，包括：

获取结构光相机拍摄人脸的物体散斑图、同源红外图像和参考散斑图；

基于从所述同源红外图像中检测到的人脸，对所述物体散斑图进行分割，得到包含人脸的第一掩膜区和不包含人脸的第二掩膜区；

分别计算下采样后的所述第一掩膜区和所述第二掩膜区所对应的第一视差图；其中，所述第一掩膜区采用的第一采样因子小于所述第二掩膜区采用的第二采样因子，同一掩膜区对应的采样因子和视差搜索范围成反比例关系；

分别对所述下采样后的所述第一掩膜区和所述第二掩膜区所对应的第一视差图进行上采样，得到原所述第一掩膜区和所述第二掩膜区所对应的第二视差图；

对原所述第一掩膜区和所述第二掩膜区所对应的第二视差图按坐标位置进行视差融合，得到所述物体散斑图对应的视差图，并基于该视差图恢复得到深度图。

2.根据权利要求1所述的方法，其特征在于，所述计算下采样后的所述第一掩膜区和所述第二掩膜区所对应的第一视差图包括：

对所述物体散斑图、所述参考散斑图中每幅图分别采用第一采样因子和第二采样因子进行下采样；

将采用相同所述采样因子得到的一组下采样后的所述物体散斑图、所述参考散斑图记为第一物体散斑图和第一参考散斑图，对所述第一物体散斑图中目标掩膜区在所述第一参考散斑图中进行视差搜索，得到该目标掩膜区对应的所述第一视差图；其中，所述目标掩膜区为对原所述物体散斑图下采样得到所述第一物体散斑图所采用的采样因子所适用的掩膜区，在所述第一物体散斑图中对应的区域。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一物体散斑图中目标掩膜区在所述第一参考散斑图中进行视差搜索，得到该目标掩膜区对应的所述第一视差图，包括：

对所述目标掩膜区和所述第一参考散斑图上对应的像素点进行代价矩阵计算，得到三维代价矩阵；

对所述同源红外图像进行与当前所述物体散斑图同等程度的下采样，并构建下采样后的所述同源红外图像上与所述目标掩膜区对应的各像素点的十字交叉域；

根据下采样后的所述同源红外图像上与所述目标掩膜区对应的各像素点的十字交叉域对所述三维代价矩阵进行代价聚合，得到所述目标掩膜区中各像素点的聚合代价值；

将所述各像素点的聚合代价值中的最大值对应的视差值作为相应像素点的视差值。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对所述第一物体散斑图和所述第一参考散斑图进行图像局部对比度归一化处理；

所述对所述目标掩膜区和所述第一参考散斑图上对应的像素点进行代价矩阵计算，包括：

对所述图像局部对比度归一化处理后的所述第一物体散斑图中的所述目标掩膜区和所述第一参考散斑图上对应的像素点进行代价矩阵计算。

5.根据权利要求4所述的方法，其特征在于，所述图像局部对比度归一化处理，包括：

以图像中任一像素点位置为中心，计算局部二维窗口内所有像素点的灰度的平均值

和标准差

；

采用如下公式计算所述像素点的图像局部对比度归一化值I _LCN ：

其中，I的为所述像素点的灰度，K为常量值。

6.根据权利要求3所述的方法，其特征在于，所述对所述目标掩膜区和所述第一参考散斑图上对应的像素点进行代价矩阵计算，得到三维代价矩阵，包括：

确定所述目标掩膜区上任一点坐标(x,y)和对应的所述第一参考散斑图上的坐标(x+ d,y)；

利用邻域窗口，采用如下公式计算所述三维代价矩阵SAD(x,y,d)：

其中，所述邻域大小为（2n+1）*（2m+1），I _w 为所述目标掩膜区，I _c 为所述第一参考散斑图， I _w (x+i,y+j)为所述目标掩膜区上坐标位置的灰度值，I _c (x+i+d,y+j)为所述第一参考散斑图上坐标位置的灰度值，d为估算的视差值。

7.根据权利要求3所述的方法，其特征在于，所述构建下采样后的所述同源红外图像上与所述目标掩膜区对应的各像素点的十字交叉域，包括：

基于预设的颜色差异阈值和空间长度阈值，构建下采样后的所述同源红外图像上与所述目标掩膜区对应的各像素点的十字臂；

基于所述各像素点的十字臂构建所述各像素点的支持区域作为所述十字交叉域。

8.根据权利要求3所述的方法，其特征在于，所述根据下采样后的所述同源红外图像上与所述目标掩膜区对应的各像素点的十字交叉域对所述三维代价矩阵进行代价聚合，得到所述目标掩膜区中各像素点的聚合代价值，包括：

针对所述各像素点，将该像素点的所述十字交叉域内水平臂上的像素代价值相加，并存储为临时值；

将所述该像素点的所述十字交叉域内竖直臂上的像素对应存储的所述临时值相加，得到所述该像素的聚合代价值。

9.根据权利要求8所述的方法，其特征在于，所述将所述该像素点的所述十字交叉域内竖直臂上的像素对应存储的所述临时值相加，得到所述该像素的聚合代价值之后，还包括：

将所述该像素的聚合代价值除以该像素的所述十字交叉域中包含的总像素数，得到该像素最终的聚合代价值。

10.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对所述相应像素点的视差值采用如下公式计算，得到亚像素级别的视差值作为最终的视差值：

其中，d*为所述亚像素级别的视差值，d为所述相应像素点的视差值，SAD(x,y,d)为像素点（x,y）的代价值。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10中任一项所述的图像深度恢复方法。

12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的图像深度恢复方法。

Images