CN111815532A - 深度图修复方法及其相关装置 - Google Patents

Abstract

本申请提供深度图修复方法及其相关装置。该深度图修复方法包括：基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜；基于运动区域掩膜，确定待修复深度图的运动区域和静止区域；利用运动区域中的待修复点的邻域中每一像素点与待修复点的深度相关性权重、彩色相似度权重和空间相关性权重计算待修复点的邻域中每一像素点的联合权重；基于运动区域中待修复点的邻域中每一像素点的联合权重和深度值计算出待修复点的深度值；利用参考深度图对静止区域中待修复点进行修复，得到修复图。本申请可以对深度图中的空洞进行修复。

Description

深度图修复方法及其相关装置

技术领域

本申请涉及图像技术领域，特别是涉及深度图修复方法及其相关装置。

背景技术

深度图像采集过程中,由于光滑物体表面的反射、折射以及前景遮挡,导致获取的深度图像出现像素值丢失,出现空洞，需要对空洞进行修复。

发明内容

本申请提供深度图修复方法及其相关装置，对深度图中的空洞进行修复。

为达到上述目的，本申请提供一种深度图修复方法，该方法包括：

基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜；

基于运动区域掩膜，确定待修复深度图的运动区域和静止区域；

利用运动区域中的待修复点的邻域中每一像素点与待修复点的深度相关性权重、彩色相似度权重和空间相关性权重计算待修复点的邻域中每一像素点的联合权重；

基于运动区域中待修复点的邻域中每一像素点的联合权重和深度值计算出待修复点的深度值；

利用参考深度图对静止区域中待修复点进行修复，得到修复图。

其中，基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜，包括：

基于彩色图中每一像素点的像素值和样本集，确定彩色图中每一像素点是否为背景点；

基于彩色图所有像素点是否为背景点的判断结果得到运动区域掩膜，其中，运动区域掩膜中与彩色图中背景点对应的像素点的像素值为第一值；运动区域掩膜中与彩色图中非背景点对应的像素点的像素值为第二值。

其中，基于彩色图中每一像素点的像素值和样本集，确定彩色图中每一像素点是否为背景点，包括：

确定彩色图中每一像素点的样本集的多个样本中与每一像素点的像素值的差值大于第一阈值的个数；

在彩色图的像素点对应的个数小于或等于第二阈值，且待修复深度图和参考深度图在像素点的深度差值小于第三阈值时，确认像素点为背景点；

在彩色图的像素点对应的个数大于第二阈值，确认像素点为非背景点；

在彩色图的像素点对应的个数小于或等于第二阈值，且待修复深度图和参考深度图在像素点的深度差值大于或等于第三阈值时，确认像素点为非背景点。

其中，利用待修复深度图的运动区域中的待修复点的邻域中每一像素点与待修复点的深度相关性权重、彩色相似度权重和空间相关性权重计算待修复点的邻域中每一像素点的权重，具体为：

W(p,q)＝G_d(d(p)-d(q))G_s(p-q)W_c(p,q)；

其中，N(p)为彩色图以待修复点对应的q点为中心点的邻域，G_c表示彩色相似度权重，G_d表示深度相关性权重，G_s表示空间相关性权重，G_c、G_d和G_s分别基于均值为零、标准差分别为σ_c、σ_d和σ_s的高斯核函数。

其中，基于运动区域中待修复点的邻域中每一像素点的权重和深度值计算出待修复点的深度值，包括：

将第一总和与第二总和的比值作为待修复点的深度值；

其中，第一总和为待修复点的邻域中所有像素点的权重和深度值的乘积的总和，第二总和为运动区域中待修复点的邻域中所有像素点的权重之和。

其中，利用参考深度图对静止区域中待修复点进行修复，包括：

在参考深度图的与静止区域中待修复点对应的像素点的像素值大于第四阈值时，将参考深度图的与静止区域中待修复点对应的像素点的像素值作为静止区域中待修复点的像素值。

其中，利用参考深度图对静止区域中待修复点进行修复，得到修复图，之后包括：

基于将彩色图对修复图进行引导滤波，得到最终修复图。

其中，基于将彩色图对修复图进行引导滤波，得到最终修复图，具体为：

q_i＝a_kI_i+b_k；

其中，I_i表示彩色图以第i个像素点为中心、窗口大小为w的邻域像素值；q_i为最终修复图中第i个像素点的像素值；d_i表示修复图的第i个像素点的像素值；u_k和σ_k分别为彩色图在窗口w中的均值和方差；σ_d为修复图在窗口w中的方差，t用来衡量彩色图方差和修复图方差所占的权重；ε表示规定化参数，用来控制平滑的程度；

表示为修复图在窗口w中的均值。

为达到上述目的，本申请提供一种深度图修复装置，该深度图修复装置包括存储器和处理器；存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述方法中的步骤。

为达到上述目的，本申请提供一种可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述方法中的步骤。

本申请的方法是：基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜；基于运动区域掩膜确定待修复深度图的运动区域和静止区域；利用运动区域中的待修复点的邻域中每一像素点的联合权重对运动区域中待修复点进行修复；利用参考深度图对静止区域中待修复点进行修复；以得到修复图，这样可以对深度图中的由待修复点构成的空洞进行修复。

附图说明

为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请深度图修复方法第一实施方式的流程示意图；

图2是本申请深度图修复方法第二实施方式的流程示意图；

图3是本申请深度图修复方法第二实施方式的示意图；

图4是本申请深度图修复装置的结构示意图；

图5是本申请可读存储介质一实施方式的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供的深度图修复方法及其相关装置做进一步详细描述。

具体请参阅图1，图1是本申请深度图修复方法第一实施方式的流程示意图。可以理解的是，可以持续获取同一场景的深度图和彩色图，得到同一场景的深度图序列和彩色图序列，可以将深度图序列和彩色图序列中第一帧图像分别作为初始帧深度图和初始帧彩色图，将与深度图同一时刻和同一拍摄角度得到的彩色图作为深度图对应的彩色图，这样，深度图及其对应的彩色图包含的内容可以相同，例如，深度图及其对应的彩色图可以均包含左下角的迎春花、右边的柳树和位于中间的行人。本实施方式深度图修复方法包括以下步骤。

S101：基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜。

可以理解的是，深度图和彩色图是通过拍摄装置拍摄同一场景得到的两个模态的图像，其中因为深度图及其对应的彩色图包含的内容相同，深度图对应的彩色图中物体的运动情况与深度图中物体的运动情况相同，即可以将待修复深度图对应的彩色图的运动区域掩膜作为待修复深度图的运动区域掩膜。

在本实施方式中，S101可以包括：可以基于待修复深度图对应的彩色图中每一像素点的像素值和样本集，确定彩色图中每一像素点是否为背景点，继而基于彩色图所有像素点是否为背景点的判断结果得到待修复深度图对应的彩色图的运动区域掩膜，这样提高了运动区域提取的精度，并且降低了算法的复杂度。当然，在其他实施方式中，也可以通过其他方法确认待修复深度图对应的彩色图的运动区域掩膜，例如，可以通过将待修复深度图对应的彩色图及其前一帧彩色图进行比较，确定待修复深度图对应的彩色图的运动区域掩膜。

S102：基于运动区域掩膜，确定待修复深度图的运动区域和静止区域。

可以直接按照待修复深度图的运动区域掩膜，将待修复深度图划分为运动区域和静止区域。

S103：利用运动区域中的待修复点的邻域中每一像素点与待修复点的深度相关性权重、彩色相似度权重和空间相关性权重计算待修复点的邻域中每一像素点的联合权重。

因为深度图像素点具有局部平滑的特性，像素点邻域间可能具有相似的像素值；相似结构的像素点具有相似的像素值；彩色相似像素点周边区域可能具有相似的深度值。所以可以基于运动区域中待修复点的邻域中每一像素点与待修复点的深度相关性权重、彩色相似度权重和空间相关性权重确定待修复点邻域中每一像素点的联合权重，以基于待修复点邻域中每一像素点的联合权重确定待修复点的像素值。

S104：基于运动区域中待修复点的邻域中每一像素点的联合权重和深度值计算出待修复点的深度值。

S105：利用参考深度图对静止区域中待修复点进行修复，得到修复图。

因为处于静止区域的待修复点深度值变化的可能性不大，可以考虑利用参考深度图对静止区域进行修复。其中，基于运动区域掩膜的确定方法，参考深度图可以是初始帧深度图或者待修复深度图的上一帧深度图等多种深度图。例如，采用对比待修复深度图对应的彩色图及其上一帧彩色图，以确定待修复深度图的运动区域掩膜时，参考深度图可以是上一帧深度图。

可以理解的是，步骤S105的执行顺序不限，可以在步骤S103之前执行。当然，需要依照步骤S105、S103和S104的方法将运动区域和静止区域的待修复点修复完毕后，得到修复图。

在本实施方式中，基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜；基于运动区域掩膜确定待修复深度图的运动区域和静止区域；利用运动区域中的待修复点的邻域中每一像素点的联合权重对运动区域中待修复点进行修复；利用参考深度图对静止区域中待修复点进行修复；以得到修复图，这样可以对深度图中的由待修复点构成的空洞进行修复。

具体请参阅图2和图3，图2是本申请深度图修复方法第二实施方式的流程示意图；图3是本申请深度图修复方法第二实施方式的示意图。本实施方式深度图修复方法包括以下步骤。

S201：基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜。

步骤S201可以包括：基于待修复深度图对应的彩色图中每一像素点的像素值和样本集，确定彩色图中每一像素点是否为背景点；基于彩色图所有像素点是否为背景点的判断结果得到运动区域掩膜V_mask，其中，如下式所示，

运动区域掩膜V_mask中与彩色图中背景点对应的像素点的像素值为第一值value1；运动区域掩膜V_mask中与彩色图中非背景点对应的像素点的像素值为第二值value2。其中，value1和value2可以是任意数值，只要value1和value2不同即可。当然较为优选的是，value1和value2的其中一者为0，例如，value1＝0，value2＝255。

可以理解的是，在步骤S201之前，需要确定待修复深度图对应的彩色图中每一像素点的样本集。其中，每一像素点的样本集的建立和更新过程可如下所示。

在一实现方式中，可以通过初始帧彩色图建立得到每一像素点的样本集，然后在判断后续帧彩色图中像素点是否为背景点时，若判断像素点为背景点，则不更新该像素点的样本集，若判断像素点为非背景点，更新该像素点的样本集。

在又一实现方式中，可以通过初始帧彩色图得到每一像素点的样本集。具体可利用初始帧彩色图中每个像素点及其邻近的像素点建立连接关系，形成每个像素点的样本集，从而每一像素点的样本集中包含每个像素点的像素值和其周围邻域的像素值。设某一帧彩色图的像素点在x处的像素值为P(x)，M(x)为x像素点的样本集，样本集的大小为N，SR(P(x))为以P(x)为中心、R为半径的区域。那么，x像素点的样本集可具体表达为：M(P(x))＝{V₁,V₂,...,V_N}；其中，V_N表示x像素点的样本集中第N个像素值。另外，可采用随机更新的策略更新背景掩膜(即多个像素点的样本集的集合)，以提高背景掩膜的泛化性能。具体地，假设时间采样因子为T_rate，每个像素点的样本个数为N。当一个像素点为背景点时，它将有1/T_rate的概率来更新自己的背景模型，如果满足该概率，则随机的从[0-N]的区间内选择样本集中的样本点作为新的样本点进行填充。与此同时，在像素点的空间邻域中也有1/T_rate的概率来更新其邻域点的背景模型。其次，如果前景点在较长的处理周期内没有发生改变，将有1/T_rate的概率更新变成背景点，并同时有1/N的概率更新自己的样本集，直到所有处理全部完成。

进一步地，基于待修复深度图对应的彩色图中每一像素点的像素值和样本集，确定彩色图中每一像素点是否为背景点的步骤，可以包括：确定彩色图中每一像素点的样本集的多个样本中与每一像素点的像素值的差值大于第一阈值的个数；在彩色图的像素点对应的个数小于或等于第二阈值，确认像素点为背景点；在彩色图的像素点对应的个数大于第二阈值，确认像素点为非背景点。

其中，确定彩色图中每一像素点的样本集的多个样本中与每一像素点的像素值的差值大于或等于第一阈值的个数的步骤，可以包括：从每一像素点的样本集中进行S次随机点的选取，计算每次选取的样本与该像素点的差值，判断该差值是否位于SR(P(x))半径R范围内，即判断该差值是否小于第一阈值R；如下述公式所示，若该差值大于或等于第一阈值，则将计数值

加一，若该差值小于第一阈值，则计数值

不变；

其中，p⁰(x^r)表示彩色图x像素点的样本集x^r中的样本，具体可对样本集x^r进行S次随机点的选取。可以理解的是，每个像素点的

的初值为0。

进一步地，为了避免彩色图前景运动区域与背景区域相似，造成错误提取，因此引入深度差来消除该影响。通过将“待修复深度图和参考深度图在像素点的深度差值是否小于第三阈值”作为辅助判断条件，以避免彩色图前景运动区域与背景区域相似造成背景点判断出错的情况。具体地，如下述公式所示，在彩色图的像素点对应的个数小于或等于第二阈值，且待修复深度图和参考深度图在像素点的深度差值小于第三阈值时，确定该像素点为背景点；反之则为非背景点；

其中，p^t(x)表示待修复深度图对应的彩色图中的x像素点；T_min表示第二阈值；T_d表示深度判别阈值，即第三阈值；dif^t(x)表示待修复深度图和参考深度图在x像素点的深度差值，

表示待修复深度图在x像素点处的深度值，D_ori(x)表示参考深度图在x像素点处的深度值。

S202：基于运动区域掩膜，确定待修复深度图的运动区域和静止区域。

S203：利用运动区域中的待修复点的邻域中每一像素点与待修复点的深度相关性权重、彩色相似度权重和空间相关性权重计算待修复点的邻域中每一像素点的联合权重。

其中，步骤S203可具体表现为：

W(p,q)＝G_d(d(p)-d(q))×G_s(p-q)×W_c(p,q)；

式中，G_c表示彩色相似度权重，G_d表示深度相关性权重，G_s表示空间相关性权重，G_c、G_d和G_s分别是基于均值为零，标准差为σ_c、σ_d和σ_s的高斯核函数；N(p)为彩色图以待修复点p点为中心点的邻域；c(p)和c(q)分别为彩色图中p点和q点的像素值；d(p)和d(q)分别为待修复深度图中p点和q点的像素值。

S204：基于运动区域中待修复点的邻域中每一像素点的联合权重和深度值计算出待修复点的深度值。

其中，步骤S204可以为：将第一总和与第二总和的比值作为待修复点的深度值；其中，第一总和为待修复点的邻域中所有像素点的权重和深度值的乘积的总和，第二总和为运动区域中待修复点的邻域中所有像素点的权重之和。

具体地，步骤S204可表现为：

式中，D(q)为邻域像素点所对应的深度值，Ω_p为深度图以待修复点q点为中心点的邻域，D(p)为待修复点的深度值，W(p,q)为邻域像素点所占的权重。

S205：利用参考深度图对静止区域中待修复点进行修复，得到修复图。

其中，基于运动区域掩膜的确定方法，参考深度图可以是初始帧深度图或者待修复深度图的上一帧深度图等多种深度图。

示例性地，在基于初始帧彩色图建立每一像素点的样本集，然后基于每一像素点的样本集确定待修复深度图的运动区域掩膜时，可将初始帧深度图作为参考深度图，进而将参考深度图的与静止区域中待修复点对应的像素点的像素值作为静止区域中待修复点的像素值。

另外，为了避免无效修复，如下述公式所示，可以在参考深度图的与静止区域中待修复点对应的像素点的像素值大于第四阈值T时，将参考深度图的与静止区域中待修复点对应的像素点的像素值作为静止区域中待修复点的像素值；

其中，

表示待修复点P点处于静止区域；D_ori(p)为参考深度图的与静止区域中待修复点p点对应的像素点的像素值；

为待修复深度图中静止区域中待修复点p点的像素值。

S206：基于将彩色图对修复图进行引导滤波，得到最终修复图。

由于彩色图和深度图具有纹理一致性，本申请考虑采用彩色图对修复图进行引导滤波，那么最终修复图可表示为彩色图与相关系数矩阵的乘积加上相关误差矩阵，这样充分考虑到修复图局部块纹理特性，以其方差作为相关系数的融合权重，来控制边界的平滑程度，以减少边界的锐化程度，达到控制边缘修复模糊度的目的，能够提高边缘修复的准确性。具体表达式如下所示：

q_i＝a_kI_i+b_k,

式中，I_i表示彩色图以第i个像素点为中心、窗口大小为w的邻域像素值，q_i为第i个像素点滤波后的深度像素值，即最终修复图中第i个像素点的像素值。a_k和b_k分别为相关系数矩阵和相关误差矩阵，取值与修复图有关。

a_k和b_k的具体的计算公式如下所示：

其中，I_i表示彩色图以第i个像素点为中心、窗口大小为w的邻域像素值；q_i为最终修复图中第i个像素点的像素值；d_i表示修复图的第i个像素点的像素值；u_k和σ_k分别为彩色图在窗口w中的均值和方差；σ_d为修复图在窗口w中的方差，t用来衡量彩色图方差和修复图方差所占的权重；ε表示规定化参数，用来控制平滑的程度；

表示为修复图在窗口w中的均值。

可选地，考虑到深度图纹理复杂的区域，即为要修复的边界，通过局部区域方差来决定是否为待修复的边界。计算q_i在窗口w内的均值，达到以下两种目的：1)消除滤波产生边缘过度锐化，提高深度信息的准确性；2)去除边界区域噪声，具体表达式为：

式中，D_i为最终修复图中第i个像素点的像素值，

和

分别表示a_i和b_i在窗口w中的均值，θ为纹理复杂度判别阈值，d_i表示修复图的第i个像素点的像素值。

另外，在一实现方式中，对于初始帧深度图可以全部使用步骤S103和步骤S104构成的联合权重修复方法进行修复。

在另一实现方式中，在后续帧待修复深度图存在静止区域时，可以利用后续帧待修复深度图静止区域的像素值对初始帧进行修复。具体地，如下述公式所示，后续帧待修复深度图的与初始帧的待修复点对应的像素点为背景点时，可以将后续帧待修复深度图的与初始帧的待修复点对应的像素点的像素值作为初始帧的待修复点的像素值；

其中，

表示待修复点P点处于静止区域；D'_ori(p)为初始帧深度图利用后续帧待修复深度图修复后的像素值，D_ori(p)为初始帧深度图利用后续帧待修复深度图修复前的像素值；

为后续帧待修复深度图中静止区域中待修复点p点的像素值。

初始帧深度图中未用后续帧待修复深度图静止区域的像素值对初始帧进行修复的待修复点可以用步骤S103和步骤S104构成的联合权重修复方法进行修复。

由于利用后续帧待修复深度图和参考深度图分别对初始帧深度图和待修复深度图进行修复的策略(即静止区域交叉修复策略)在参考帧与处理帧相互修复策略上空洞修复速度上收敛并不理想，往往后续邻近的处理帧不能达到最优的修复效果。为了消除采集深度视频中边界的细微波动，并提高静止区域处理帧修复的效率，本文提出一种参考帧初始化的方法。该方法通过联合邻域帧，利用对应的时间相关性对参考帧进行空洞修复。具体修复策略如下：

其中，

表示参考深度图预处理结果，D^k(p)表示参考深度图的邻近第k帧的深度值，k＝{1,2,3…,n},

表示参考彩色图第k帧与参考彩色图的差值，T_c为初始化阈值。

进一步地，结合多帧最终修复图构成的深度图和多帧彩色图构成的彩色视频，采用基于深度图像的绘制技术可以绘制虚拟视点，接着将合成的3D视频显示在显示器上。

请参阅图4，图4是本申请深度图修复装置一实施方式的结构示意图。本深度图修复装置10包括相互耦接的存储器11和处理器12，存储器11用于存储程序指令，处理器12用于执行程序指令以实现上述任一实施方式的方法。

上述深度图修复方法、图像的特征提取方法及图像搜索方法的逻辑过程以计算机程序呈现，在计算机程序方面，若其作为独立的软件产品销售或使用时，其可存储在计算机存储介质中，因而本申请提出一种可读存储介质。请参阅图5，图5是本申请可读存储介质一实施方式的结构示意图，本实施方式可读存储介质20中存储有计算机程序21，计算机程序21被处理器执行时实现上述方法中的步骤。

该可读存储介质20具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。该可读存储介质20从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种深度图修复方法，其特征在于，所述方法包括：

基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜；

基于所述运动区域掩膜，确定所述待修复深度图的运动区域和静止区域；

利用所述运动区域中的待修复点的邻域中每一像素点与待修复点的深度相关性权重、彩色相似度权重和空间相关性权重计算待修复点的邻域中每一像素点的联合权重；

基于所述运动区域中待修复点的邻域中每一像素点的联合权重和深度值计算出待修复点的深度值；

利用参考深度图对所述静止区域中待修复点进行修复，得到修复图。

2.根据权利要求1所述的深度图修复方法，其特征在于，所述基于待修复深度图对应的彩色图确定待修复深度图的运动区域掩膜，包括：

基于所述彩色图中每一像素点的像素值和样本集，确定所述彩色图中每一像素点是否为背景点；

基于所述彩色图所有像素点是否为背景点的判断结果得到运动区域掩膜，其中，所述运动区域掩膜中与所述彩色图中背景点对应的像素点的像素值为第一值；所述运动区域掩膜中与所述彩色图中非背景点对应的像素点的像素值为第二值。

3.根据权利要求2所述的深度图修复方法，其特征在于，所述基于所述彩色图中每一像素点的像素值和样本集，确定所述彩色图中每一像素点是否为背景点，包括：

确定所述彩色图中每一像素点的样本集的多个样本中与每一像素点的像素值的差值大于第一阈值的个数；

在所述彩色图的像素点对应的个数小于或等于第二阈值，且待修复深度图和参考深度图在所述像素点的深度差值小于第三阈值时，确认所述像素点为背景点；

在所述彩色图的像素点对应的个数大于第二阈值，确认所述像素点为非背景点；

在所述彩色图的像素点对应的个数小于或等于第二阈值，且待修复深度图和参考深度图在所述像素点的深度差值大于或等于第三阈值时，确认所述像素点为非背景点。

4.根据权利要求1所述的深度图修复方法，其特征在于，所述利用待修复深度图的运动区域中的待修复点的邻域中每一像素点与待修复点的深度相关性权重、彩色相似度权重和空间相关性权重计算待修复点的邻域中每一像素点的权重，具体为：

W(p,q)＝G_d(d(p)-d(q))G_s(p-q)W_c(p,q)；

其中，N(p)为彩色图以待修复点对应的q点为中心点的邻域，G_c表示彩色相似度权重，G_d表示深度相关性权重，G_s表示空间相关性权重，G_c、G_d和G_s分别基于均值为零、标准差为σ_c、σ_d和σ_s的高斯核函数。

5.根据权利要求1所述的深度图修复方法，其特征在于，所述基于所述运动区域中待修复点的邻域中每一像素点的权重和深度值计算出待修复点的深度值，包括：

将第一总和与第二总和的比值作为待修复点的深度值；

其中，所述第一总和为待修复点的邻域中所有像素点的权重和深度值的乘积的总和，所述第二总和为所述运动区域中待修复点的邻域中所有像素点的权重之和。

6.根据权利要求1所述的深度图修复方法，其特征在于，所述利用参考深度图对所述静止区域中待修复点进行修复，包括：

在所述参考深度图的与所述静止区域中待修复点对应的像素点的像素值大于第四阈值时，将所述参考深度图的与所述静止区域中待修复点对应的像素点的像素值作为所述静止区域中待修复点的像素值。

7.根据权利要求1所述的深度图修复方法，其特征在于，所述利用参考深度图对所述静止区域中待修复点进行修复，得到修复图，之后包括：

基于将所述彩色图对修复图进行引导滤波，得到最终修复图。

8.根据权利要求7所述的深度图修复方法，其特征在于，所述基于将所述彩色图对修复图进行引导滤波，得到最终修复图，具体为：

q_i＝a_kI_i+b_k；

其中，I_i表示所述彩色图以第i个像素点为中心、窗口大小为w的邻域像素值；q_i为所述最终修复图中第i个像素点的像素值；d_i表示所述修复图的第i个像素点的像素值；u_k和σ_k分别为所述彩色图在窗口w中的均值和方差；σ_d为所述修复图在窗口w中的方差，t为权重；ε表示规定化参数；

表示为所述修复图在窗口w中的均值。

9.一种深度图修复装置，其特征在于，所述深度图修复装置包括存储器和处理器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-8中任一项所述方法的步骤。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。

Images