CN102819837B - 基于反馈控制的深度图处理方法及装置 - Google Patents

Abstract

本发明提出一种基于反馈控制的深度图处理方法及装置，其中方法包括以下步骤：获取输入的视频或图像的当前帧数据；根据当前帧数据生成初始深度图；以及根据当前帧数据对初始深度图进行联合双边滤波处理以获得最终的深度图。根据本发明实施例的方法，一方面利用当前帧数据可以最大程度地保留深度图像的边缘细节，所获得的深度图质量高，另一方面对滤波中的参数通过反馈进行调整，可以最大程度地改善滤波条件，加快滤波结果的收敛，同时可以获得更加精确的深度图，并且运行速度高。

Description

基于反馈控制的深度图处理方法及装置

技术领域

本发明涉及计算机图像处理领域，特别涉及一种基于反馈控制的深度图处理方法及装置。

背景技术

立体视频的显示效果层次分明、颜色鲜艳，具有很强的视觉冲击力，可以给观众留下深刻的印象，因此逐渐成为影视行业的主要发展方向。现有的平面视频在制作的同时已经失掉了具体场景的深度信息，采用平面视频立体化技术可以将平面视频转化为立体视频，并且制作成本比直接拍摄立体视频要低很多，其中在立体视频的转换中一项关键技术是深度图的生成。现有的深度图生成方法计算复杂度高、耗时多。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为达到上述目的，本发明一方面的实施例提出一种基于反馈控制的深度图处理方法，包括以下步骤：S1：获取输入的视频或图像的当前帧数据；S2：根据所述当前帧数据生成初始深度图；以及S3：根据所述当前帧数据对所述初始深度图进行联合双边滤波处理以获得最终的深度图。

在本发明的一个实施例中，所述步骤S2具体包括：S21：根据所述当前帧数据中每个像素点p的像素值V(p)和对应邻域内的像素点t的像素值V(t)及所述像素点t的初始深度值Z(t)按照以下公式计算深度候选值Cost(p,t)，Cost(p,t)=|V(p)-V(t)|+Z(t)；S22：根据所述深度候选值Cost(p,t)按照以下公式计算所述每个像素点p的第一深度值Z_new(p)，Z_new(p)=min(Cost(p,t))；S23：根据所述每个像素点p的深度值Z(p)按照以下公式计算所述当前帧数据的平均深度值Average(Z(p))，其中，Sum表示求和运算，Width表示所述当前帧的宽度值，Height表示所述当前帧的高度值；S24：根据所述平均深度值Average(Z(p))对所述每个像素点p的第一深度值Z_new(p)按照以下公式进行比例因子转换以获得所述每个像素点p的第二深度值Z_final(p)，255)；以及S25：根据所述每个像素点p的第二深度值Z_final(p)获得所述初始深度图。

在本发明的一个实施例中，所述像素点p对应邻域为八邻域。

在本发明的一个实施例中，所述联合双边滤波采用了横向和纵向的两次一维双边滤波。

在本发明的一个实施例中，所述步骤S3具体包括：S31：获取以所述像素点p为中心像素点且窗宽为N的窗口内的所有像素点q；S32：根据所述像素点p的像素值V(p)及所述像素点q的像素值V(q)按照以下的公式计算像素差值高斯权重因子w₁(V_p,V_q)，其中σ₁表示值域高斯滤波方差；S33：根据所述像素点p的横坐标p(x)和纵坐标p(y)及所述像素点q的横坐标q(x)和纵坐标q(y)按照以下的公式计算像素空间距离高斯权重因子w₂(S_p,S_q)，其中σ₂表示空域高斯滤波方差；S34：将所述像素点q的第二深度值Z_final(q)分别与所述像素差值高斯权重因子w₁(V_p,V_q)和所述像素空间距离高斯权重因子w₂(S_p,S_q)相乘以获得第三深度值Z′(q)；S35：根据所述像素点q的第三深度值Z'(q)、所述像素差值高斯权重因子w₁(V_p,V_q)和所述像素空间距离高斯权重因子w₂(S_p，S_q)按照以下公式计算以获得所述像素点p的第四深度值 其中Np表示窗口大小；S36：根据每个所述像素点p的第四深度值获得所述当前帧的第一深度图；S37：重新设置所述高斯滤波方差σ₁和σ₂；S38：根据所述重新设置的高斯滤波方差σ₁和σ₂重复执行步骤S32至步骤S36获得所述当前帧的第二深度图；S39：判断所述第一深度图与所述第二深度图的均方误差MSE是否大于预设值；S40：如果是，则根据所述均方误差MSE按照以下公式计算所述高斯滤波方差σ₁和σ₂，并继续执行步骤S32， $\begin{array}{c}{\mathrm{\σ}}_1=\max ({\mathrm{\σ}}_1-\mathrm{MSE}*\mathrm{0.01,2}),\\ {\mathrm{\σ}}_2=\max ({\mathrm{\σ}}_2+\mathrm{MSE}*\mathrm{0.01,25})\end{array};$ 以及S41：如果否，则将所述第二深度图确定为所述最终的深度图。

根据本发明实施例的方法，至少具有以下的有益效果：（1）对初始深度图进行联合双边滤波处理以获得最终的深度图的过程中，利用当前帧数据可以最大程度地保留深度图像的边缘细节，所获得的深度图质量高；（2）将滤波后的深度图进行反馈，对滤波中的参数进行调整，可以最大程度地改善滤波条件，加快滤波结果的收敛，同时可以获得更加精确的深度图；（3）联合双边滤波采用了横向和纵向的两次一维双边滤波，与二维滤波相比大大提高了运行速度。

为达到上述目的，本发明另一方面的实施例还提出一种基于反馈控制的深度图处理系统，包括：获取模块，用于获取输入的视频或图像的当前帧数据；生成模块，用于根据所述当前帧数据生成初始深度图；以及滤波模块，用于根据所述当前帧数据对所述初始深度图进行联合双边滤波处理以获得最终的深度图。

在本发明的一个实施例中，所述生成模块具体包括：深度候选值计算单元，用于根据所述当前帧数据中每个像素点p的像素值V(p)和对应邻域内的像素点t的像素值V(t)及所述像素点t的初始深度值Z(t)按照以下公式计算深度候选值Cost(p,t)，Cost(p,t)=|V(p)-V(t)|+Z(t)；第一深度值计算单元，用于根据所述深度候选值Cost(p,t)按照以下公式计算所述每个像素点p的第一深度值Z_new(p)，Z_new(p)=min(Cost(p,t))；平均深度值计算单元，用于根据所述每个像素点p的深度值Z(p)按照以下公式计算所述当前帧数据的平均深度值Average(Z(p))，其中，Sum表示求和运算，Width表示所述当前帧的宽度值，Height表示所述当前帧的高度值；第二深度值计算单元，用于根据所述平均深度值Average(Z(p))对所述每个像素点p的第一深度值Z_new(p)按照以下公式进行比例因子转换以获得所述每个像素点p的第二深度值Z_final(p)，以及初始深度图获得单元，用于根据所述每个像素点p的第二深度值Z_final(p)获得所述初始深度图。

在本发明的一个实施例中，所述像素点p对应邻域为八邻域。

在本发明的一个实施例中，所述联合双边滤波采用了横向和纵向的两次一维双边滤波。

在本发明的一个实施例中，所述滤波模块具体包括：获取单元，用于获取以所述像素点p为中心像素点且窗宽为N的窗口内的所有像素点q；第一计算单元，用于根据所述像素点p的像素值V(p)及所述像素点q的像素值V(q)按照以下的公式计算像素差值高斯权重因子w₁(V_p,V_q)，其中σ₁表示值域高斯滤波方差；第二计算单元，用于根据所述像素点p的横坐标p(x)和纵坐标p(y)及所述像素点q的横坐标q(x)和纵坐标q(y)按照以下的公式计算像素空间距离高斯权重因子w₂(S_p,S_q)，其中σ₂表示空域高斯滤波方差；第三深度值计算单元，用于将所述像素点q的第二深度值Z_final(q)分别与所述像素差值高斯权重因子w₁(V_p,V_q)和所述像素空间距离高斯权重因子w₂(S_p,S_q)相乘以获得第三深度值Z′(q)；第四深度值计算单元，用于根据所述像素点q的第三深度值Z'(q)、所述像素差值高斯权重因子w₁(V_p,V_q)和所述像素空间距离高斯权重因子w₂(S_p,S_q)按照以下公式计算以获得所述像素点p的第四深度值 其中Np表示窗口大小；第一深度图计算单元，用于根据每个所述像素点p的第四深度值获得所述当前帧的第一深度图；设置单元，用于重新设置所述高斯滤波方差σ₁和σ₂；第二深度图计算单元，用于根据所述重新设置的高斯滤波方差σ₁和σ₂以及所述第一计算单元、第二计算单元、第三深度值计算单元、第四深度值计算单元重新计算以获得所述像素点p的第五深度值，并根据每个所述像素点p的第五深度值获得所述当前帧的第二深度图；判断单元，用于判断所述第一深度图与所述第二深度图的均方误差MSE是否大于预设值；第三计算单元，用于在所述第一深度图与所述第二深度图的均方误差MSE大于所述预设值时，根据所述均方误差MSE按照以下公式计算所述高斯滤波方差σ₁和σ₂， $\begin{array}{c}{\mathrm{\σ}}_1=\max ({\mathrm{\σ}}_1-\mathrm{MSE}*\mathrm{0.01,2}),\\ {\mathrm{\σ}}_2=\max ({\mathrm{\σ}}_2+\mathrm{MSE}*\mathrm{0.01,25})\end{array},$ 并根据所述计算的高斯滤波方差σ₁和σ₂以及所述第一计算单元、第二计算单元、第三深度值计算单元、第四深度值计算单元、第一深度图计算单元、设置单元和第二深度图计算单元重新计算所述第一深度图与所述第二深度图；以及确定单元，用于在所述第一深度图与所述第二深度图的均方误差MSE不大于所述预设值时，将所述第二深度图确定为所述最终的深度图。

根据本发明实施例的装置，至少具有以下的有益效果：（1）对初始深度图进行联合双边滤波处理以获得最终的深度图的过程中，利用当前帧数据可以最大程度地保留深度图像的边缘细节，所获得的深度图质量高；（2）将滤波后的深度图进行反馈，对滤波中的参数进行调整，可以最大程度地改善滤波条件，加快滤波结果的收敛，同时可以获得更加精确的深度图；（3）联合双边滤波采用了横向和纵向的两次一维双边滤波，与二维滤波相比大大提高了运行速度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于反馈控制的深度图处理方法的流程图；

图2为本发明实施例的基于反馈控制的深度图处理装置的框架图；

图3为本发明实施例的生成模块的框架图；以及

图4为本发明实施例的滤波模块的框架图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在本发明的描述中，需要理解的是，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1为本发明实施例的基于反馈控制的深度图处理方法的流程图，如图1所示，根据本发明实施例的基于反馈控制的平面视频立体化方法，包括以下步骤：

S101，获取输入的视频或图像的当前帧数据。

具体地，对于双目立体视频采集与立体播放系统，可以将拍摄采集到的两路视频帧或图像帧作为输入以获取当前帧数据，对于全自动2D视频转3D视频系统，可以直接将2D视频中时间轴上的前后两帧作为输入以获取当前帧数据。其中，在视频输入之前，需要对视频进行解码，基于不同的视频压缩格式对应不同的解码格式，在解码输出的视频帧格式与深度值处理所需的格式不同时，还需要进行相应的视频帧格式的转换操作。

S102，根据当前帧数据生成初始深度图。

具体地，首先，根据当前帧数据中每个像素点p的像素值V(p)和对应邻域内的像素点t的像素值V(t)及像素点t的初始深度值Z(t)按照公式计算深度候选值Cost(p,t)，

Cost(p,t)=|V(p)-V(t)|+Z(t)

其中，像素点p对应邻域可以为八邻域，也可以根据实际情况选择其他邻域，如六邻域、四邻域等，在边界点的像素点不一定存在八邻域，只需要对已有的邻域内的像素点进行上述计算即可。

其次，根据深度候选值Cost(p,t)按照以下公式计算每个像素点p的第一深度值Z_new(p)，

Z_new(p)=min(Cost(p,t))

即选出深度候选值Cost(p,t)中最小的一个值作为像素点p的第一深度值。

然后，根据每个像素点p的深度值Z(p)按照以下公式计算当前帧数据的平均深度值Average(Z(p))，

$\mathrm{Average}\left(Z\left(p\right)\right)=\frac{\mathrm{Sum}\left(Z\left(p\right)\right)}{\mathrm{Width}*\mathrm{Height}}$

其中，Sum表示求和运算，Width表示当前帧的宽度值，Height表示当前帧的高度值。

之后，根据平均深度值Average(Z(p))对每个像素点p的第一深度值Z_new(p)按照以下公式进行比例因子转换以获得每个像素点p的第二深度值Z_final(p)，

$Z_{\mathrm{final}}\left(p\right)=\min (\frac{Z_{\mathrm{new}}\left(p\right)}{\mathrm{Auerage}\left(Z\left(p\right)\right)}*\mathrm{128,255}).$

最后，根据每个像素点p的第二深度值Z_final(p)获得初始深度图。

S103，根据当前帧数据对初始深度图进行联合双边滤波处理以获得最终的深度图。

在本发明的一个实施例中，联合双边滤波采用了横向和纵向的两次一维双边滤波。具体地，首先，获取以像素点p为中心像素点且窗宽为N的窗口内的所有像素点q，其中窗宽可以N自行设置。

其次，根据像素点p的像素值V(p)及像素点q的像素值V(q)按照以下的公式计算像素差值高斯权重因子w₁(V_p,V_q)，

$w_1(V_p,V_q)=e^{-\frac{{(V_p-V_q)}^2}{2{{\mathrm{\σ}}_1}^2}},$ 其中σ₁表示值域高斯滤波方差。

同时根据像素点p的横坐标p(x)和纵坐标p(y)及像素点q的横坐标q(x)和纵坐标q(y)按照公式计算像素空间距离高斯权重因子w₂(S_p,S_q)，

$w_2(S_p,S_q)=e^{-\frac{{(p\left(x\right)-q\left(x\right))}^2}{2{\mathrm{\σ}}_2^2}}*e^{-\frac{{(p\left(y\right)-q\left(y\right))}^2}{2{\mathrm{\σ}}_2^2}},$ 其中σ₂表示空域高斯滤波方差。

然后，将像素点q的第二深度值Z_final(q)分别与像素差值高斯权重因子w₁(V_p,V_q)和像素空间距离高斯权重因子w₂(S_p,S_q)相乘以获第三深度值Z′(q)。

之后，根据像素点q的第三深度值Z′(q)、像素差值高斯权重因子w₁(V_p，V_q)和像素空间距离高斯权重因子w₂(S_p，S_q)按照以下公式计算以获得像素点p的第四深度值

$\stackrel{\‾}{Z}\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈\mathrm{Np}}{w}_1(V_p,V_q)w_2(S_p,S_q)Z^{\′}\left(q\right)}{{\mathrm{\Σ}}_{q\∈\mathrm{Np}}{w}_1(V_p,V_q)w_2(S_p,S_q)},$ 其中Np表示窗口大小，

并根据每个像素点p的第四深度值获得当前帧的第一深度图。

再重新设置高斯滤波方差σ₁和σ₂，并重复上述方法以获得第二深度图。其中，高斯滤波方差的初始值为σ₁＝25，σ₂＝2，重新设置的高斯滤波方差σ₁应该略小于上次计算时的值，σ₂应该略大于上次计算时的值，σ₁和σ₂应该设置在2到25之间。

判断第一深度图与第二深度图的均方误差MSE是否大于预设值，其中，可以将MSE的阈值设定为100，小于该值则停止滤波，如果第一深度图与第二深度图的均方误差MSE大于预设值，则根据均方误差MSE调整高斯滤波方差σ₁和σ₂，并从计算高斯权重因子步骤开始重新执行；如果第一深度图与第二深度图的均方误差MSE不大于预设值，则将第二深度图确定为最终的深度图。

在本发明的一个实施例中，根据反馈的MSE信息调整双边滤波参数σ₁和σ₂，使双边滤波能够尽快的逼近一个稳定值。如果MSE较大，说明深度图像中的噪声比较强，σ₁应当适当提高，使图像平滑去噪声的效果更加明显，同时σ₂应当适当降低，以减少去噪声对图像边缘的影响，随着MSE逐渐减小，σ₁逐渐减小，模糊效果减弱，σ₂逐渐增大，保边效果增强。可以通过以下公式对双边滤波参数σ₁和σ₂进行调整：

σ₁＝max(σ₁-MSE*0.01，2)，

σ₂＝max(σ₂+MSE*0.01，25)，

当连续两次滤波得到的深度图的MSE小于预设值时，则认为算法已经趋于稳定，将此时的深度图作为最终深度图。

在本发明的一个实施例中，为了简化计算过程，使得反馈处理工程更快地收敛，在前后帧的图像变化不大的情况下，可以直接将当前帧的最终深度图所对应的高斯滤波方差σ₁和σ₂作为后一帧的参数。

根据本发明实施例的方法，至少具有以下的有益效果：(1)对初始深度图进行联合双边滤波处理以获得最终的深度图的过程中，利用当前帧图像数据可以最大程度地保留深度图像的边缘细节，所获得的深度图质量高；  (2)将滤波后的深度图进行反馈，对滤波中的参数进行调整，可以最大程度地改善滤波条件，加快滤波结果的收敛，同时可以获得更加精确的深度图；（3）联合双边滤波采用了横向和纵向的两次一维双边滤波，与二维滤波相比大大提高了运行速度。

图2为本发明实施例的基于反馈控制的深度图处理装置的框架图，如图2所示，根据本发明实施例的基于反馈控制的深度图处理装置包括获取模块201、生成模块202和滤波模块203。

具体地，获取模块201用于获取输入的视频或图像的当前帧数据。其中，对于双目立体视频采集与立体播放系统，获取模块201可以将拍摄采集到的两路视频帧或图像帧作为输入以获取当前帧数据，对于全自动2D视频转3D视频系统，获取模块201可以直接将2D视频中时间轴上的前后两帧作为输入以获取当前帧数据。在视频输入之前，获取模块201需要对视频进行解码，基于不同的视频压缩格式对应不同的解码格式，在解码输出的视频帧格式与深度值处理所需的格式不同时，还需要进行相应的视频帧格式的转换操作。

生成模块202用于根据当前帧数据生成初始深度图。在本发明的一个实施例中，如图3所示，生成模块202包括：深度候选值计算单元301、第一深度值计算单元302、平均深度值计算单元303、第二深度值计算单元304、初始深度图获得单元305。

更具体地，深度候选值计算单元301用于根据当前帧数据中每个像素点p的像素值V(p)和对应邻域内的像素点t的像素值V(t)及像素点t的初始深度值Z(t)按照公式计算深度候选值Cost(p,t)，

Cost(p,t)=|V(p)-V(t)|+Z(t)

其中，像素点p对应邻域可以为八邻域，也可以根据实际情况选择其他邻域，如六邻域、四邻域等，在边界点的像素点不一定存在八邻域，只需要对已有的邻域内的像素点进行上述计算即可。

第一深度值计算单元302用于根据深度候选值Cost(p,t)按照以下公式计算每个像素点p的第一深度值Z_new(p)，

Z_new(p)=min(Cost(p,t))

即选出深度候选值Cost(p,t)中最小的一个值作为像素点p的第一深度值。

平均深度值计算单元303用于根据每个像素点p的深度值Z(p)按照以下公式计算当前帧数据的平均深度值Average(Z(p))，

$\mathrm{Average}\left(Z\left(p\right)\right)=\frac{\mathrm{Sum}\left(Z\left(p\right)\right)}{\mathrm{Width}*\mathrm{Height}}$

其中，Sum表示求和运算，Width表示当前帧的宽度值，Height表示当前帧的高度值。

第二深度值计算单元304用于根据平均深度值Average(Z(p))对每个像素点p的第一深度值Z_new(p)按照以下公式进行比例因子转换以获得每个像素点p的第二深度值，

$Z_{\mathrm{final}}\left(p\right)=\min (\frac{Z_{\mathrm{new}}\left(p\right)}{\mathrm{Auerage}\left(Z\left(p\right)\right)}*\mathrm{128,255}).$

初始深度图获得单元305用于根据每个像素点p的第二深度值Z_final(p)获得初始深度图。

滤波模块203用于根据当前帧数据对初始深度图进行联合双边滤波处理以获得最终的深度图。其中，联合双边滤波采用了横向和纵向的两次一维双边滤波。在本发明的一个实施例中，如图4所示，滤波模块203包括：包括获取单元401、第一计算单元402、第二计算单元403、第三深度值计算单元404、第四深度值计算单元405、第一深度图计算单元406、设置单元407、第二深度图计算单元408、判断单元409、第三计算单元410、确定单元411。

更具体地，获取单元401用于获取以像素点p为中心像素点且窗宽为N的窗口内的所有像素点q，其中，窗宽可以N自行设置。

第一计算单元402用于根据像素点p的像素值V(p)及像素点q的像素值V(q)按照以下的公式计算像素差值高斯权重因子w₁(V_p,V_q)，

$w_1(V_p,V_q)=e^{-\frac{{(V_p-V_q)}^2}{2{{\mathrm{\σ}}_1}^2}},$ 其中σ₁表示值域高斯滤波方差。

第二计算单元403用于根据像素点p的横坐标p(x)和纵坐标p(y)及像素点q的横坐标q(x)和纵坐标q(y)按照以下的公式计算像素空间距离高斯权重因子w₂(S_p,S_q)，

$w_2(S_p,S_q)=e^{-\frac{{(p\left(x\right)-q\left(x\right))}^2}{2{\mathrm{\σ}}_2^2}}*e^{-\frac{{(p\left(y\right)-q\left(y\right))}^2}{2{\mathrm{\σ}}_2^2}},$ 其中σ₂表示空域高斯滤波方差。

第三深度值计算单元404用于将像素点q的第二深度值Z_final(q)分别与像素差值高斯权重因子w₁(V_p,V_q)和像素空间距离高斯权重因子w₂(S_p,S_q)相乘以获得带第三深度值Z′(q)。

第四深度值计算单元405用于根据像素点q的深度值Z′(q)、像素差值高斯权重因子w₁(V_p,V_q)和像素空间距离高斯权重因子w₂(S_p,S_q)按照以下公式计算以获得像素点p的第四深度值

$\stackrel{\‾}{Z}\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈\mathrm{Np}}{w}_1(V_p,V_q)w_2(S_p,S_q)Z\left(q\right)}{{\mathrm{\Σ}}_{q\∈\mathrm{Np}}{w}_1(V_p,V_q)w_2(S_p,S_q)},$ 其中Np表示窗口大小。

第一深度图计算单元406用于根据每个像素点p的第四深度值获得当前帧的第一深度图。

设置单元407用于重新设置高斯滤波方差σ₁和σ₂。其中，高斯滤波方差的初始值为σ₁=25，σ₂=2，重新设置的高斯滤波方差σ₁应该略小于上次计算时的值，σ₂应应该略大于上次计算时的值，σ₁和σ₂应该设置在2到25之间。

第二深度图计算单元408用于根据重新设置的高斯滤波方差σ₁和σ₂以及第一计算单元402、第二计算单元403、第三深度值计算单元404、第四深度值计算单元405重新计算以获得像素点p的第五深度值，并根据每个像素点p的第五深度值获得当前帧的第二深度图。

判断单元409用于判断第一深度图与第二深度图的均方误差MSE是否大于预设值。其中，可以将MSE的阈值设定为100，小于该值则停止滤波。

第三计算单元410用于在第一深度图与第二深度图的均方误差MSE大于预设值时，根据均方误差MSE按照以下公式计算高斯滤波方差σ₁和σ₂，

σ₁=max(σ₁-MSE*0.01,2),

σ₂=max(σ₂+MSE*0.01,25)，

并根据计算的高斯滤波方差σ₁和σ₂以及第一计算单元402、第二计算单元403、第三深度值计算单元404、第四深度值计算单元405、第一深度图计算单元406、设置单元407和第二深度图计算单元408重新计算第一深度图与第二深度图，并且根据判断单元409重新判断，由此直至均方误差MSE满足条件。其中，根据反馈的MSE信息调整双边滤波参数σ₁和σ₂，使双边滤波能够尽快的逼近一个稳定值，如果MSE较大，说明深度图像中的噪声比较强，σ₁应当适当提高，使图像平滑去噪声的效果更加明显，同时σ₂应当适当降低，以减少去噪声对图像边缘的影响，随着MSE逐渐减小，σ₁逐渐减小，模糊效果减弱，σ₂逐渐增大，保边效果增强。

确定单元411用于在第一深度图与第二深度图的均方误差MSE不大于预设值时，将第二深度图确定为最终的深度图。

在本发明的一个实施例中，为了简化计算过程，使得反馈处理工程更快地收敛，在前后帧的图像变化不大的情况下，可以直接将当前帧的最终深度图所对应的高斯滤波方差σ₁和σ₂作为后一帧的参数。

根据本发明实施例的装置，至少具有以下的有益效果：（1）对初始深度图进行联合双边滤波处理以获得最终的深度图的过程中，利用当前帧数据可以最大程度地保留深度图像的边缘细节，所获得的深度图质量高；（2）将滤波后的深度图进行反馈，对滤波中的参数进行调整，可以最大程度地改善滤波条件，加快滤波结果的收敛，同时可以获得更加精确的深度图；（3）联合双边滤波采用了横向和纵向的两次一维双边滤波，与二维滤波相比大大提高了运行速度。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于反馈控制的深度图处理方法，其特征在于，包括以下步骤：

S1：获取输入的视频或图像的当前帧数据；

S2：根据所述当前帧数据生成初始深度图；以及

S3：根据所述当前帧数据对所述初始深度图进行联合双边滤波处理以获得最终的深度图，

所述步骤S3具体包括：

S31：获取以像素点p为中心像素点且窗宽为N的窗口内的所有像素点q；

S32：根据所述像素点p的像素值V_p及所述像素点q的像素值V_q按照以下的公式计算像素差值高斯权重因子w₁(V_p,V_q)，

其中σ₁表示值域高斯滤波方差；

S33：根据所述像素点p的横坐标p(x)和纵坐标p(y)及所述像素点q的横坐标q(x)和纵坐标q(y)按照以下的公式计算像素空间距离高斯权重因子w₂(S_p,S_q)，

$w_2(S_p,S_q)=e^{-\frac{{(p\left(x\right)-q\left(x\right))}^2}{{2\mathrm{\σ}}_2^2}}*e^{-\frac{{(p\left(y\right)-q\left(y\right))}^2}{{2\mathrm{\σ}}_2^2}},$ 其中σ₂表示空域高斯滤波方差；

S34：将所述像素点q的第二深度值Z_final(q)分别与所述像素差值高斯权重因子w₁(V_p,V_q)和所述像素空间距离高斯权重因子w₂(S_p,S_q)相乘以获得第三深度值Z'(q)；

S35：根据所述像素点q的第三深度值Z'(q)、所述像素差值高斯权重因子w₁(V_p,V_q)和所述像素空间距离高斯权重因子w₂(S_p,S_q)按照以下公式计算以获得所述像素点p的第四深度值

$\stackrel{\‾}{Z}\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈\mathrm{Np}}{w}_1(V_p,V_q)w_2(S_p,S_q)Z^{\′}\left(q\right)}{{\mathrm{\Σ}}_{q\∈\mathrm{Np}}{w}_1(V_p,V_q)w_2(S_p,S_q)},$ 其中Np表示窗口大小；

S36：根据所述像素点p的第四深度值获得所述当前帧的第一深度图；

S37：重新设置所述高斯滤波方差σ₁和σ₂；

S38：根据所述重新设置的高斯滤波方差σ₁和σ₂重复执行步骤S32至步骤S36获得所述当前帧的第二深度图；

S39：判断所述第一深度图与所述第二深度图的均方误差MSE是否大于预设值；

S40：如果是，则根据所述均方误差MSE按照以下公式计算所述高斯滤波方差σ₁和σ₂，并继续执行步骤S32，

σ₁＝max(σ₁-MSE*0.01，2)

；以及

σ₂＝max(σ₂+MSE*0.01，25)

S41：如果否，则将所述第二深度图确定为所述最终的深度图。

2.根据权利要求1所述的基于反馈控制的深度图处理方法，其特征在于，所述步骤S2具体包括：

S21：根据所述当前帧数据中像素点p的像素值V_p和与所述像素点p对应邻域内的像素点t的像素值V(t)及所述像素点t的初始深度值Z(t)按照以下公式计算深度候选值Cost(p,t)，

Cost(p,t)＝∣V_p-V(t)∣+Z(t)；

S22：根据所述深度候选值Cost(p,t)按照以下公式计算所述像素点p的第一深度值Z_new(p)，

Z_new(p)＝min(Cost(p,t))；

S23：根据所述像素点p的深度值Z(p)按照以下公式计算所述当前帧数据的平均深度值Average(Z(p))，

$\mathrm{Average}\left(Z\left(p\right)\right)=\frac{\mathrm{Sum}\left(Z\left(p\right)\right)}{\mathrm{Width}*\mathrm{Height}},$

其中，Sum表示求和运算，Width表示所述当前帧的宽度值，Height表示所述当前帧的高度值；

S24：根据所述平均深度值Average(Z(p))对所述像素点p的第一深度值Z_new(p)按照以下公式进行比例因子转换以获得所述像素点p的第二深度值Z_final(p)，

$Z_{\mathrm{final}}\left(p\right)=\min (\frac{Z_{\mathrm{new}}\left(p\right)}{\mathrm{Auerage}\left(Z\left(p\right)\right)}*\mathrm{128,255});$ 以及

S25：根据所述像素点p的第二深度值Z_final(p)获得所述初始深度图。

3.根据权利要求2所述的基于反馈控制的深度图处理方法，其特征在于，所述像素点p对应邻域为八邻域。

4.根据权利要求1所述的基于反馈控制的深度图处理方法，其特征在于，所述联合双边滤波采用了横向和纵向的两次一维双边滤波。

5.一种基于反馈控制的深度图处理装置，其特征在于，包括：

获取模块，用于获取输入的视频或图像的当前帧数据；

生成模块，用于根据所述当前帧数据生成初始深度图；以及

滤波模块，用于根据所述当前帧数据对所述初始深度图进行联合双边滤波处理以获得最终的深度图，

所述滤波模块具体包括：

获取单元，用于获取以所述像素点p为中心像素点且窗宽为N的窗口内的所有像素点q；

第一计算单元，用于根据所述像素点p的像素值V_p及所述像素点q的像素值V_q按照以下的公式计算像素差值高斯权重因子w₁(V_p,V_q)，

其中σ₁表示值域高斯滤波方差；

第二计算单元，用于根据所述像素点p的横坐标p(x)和纵坐标p(y)及所述像素点q的横坐标q(x)和纵坐标q(y)按照以下的公式计算像素空间距离高斯权重因子w₂(S_p,S_q)，

$w_2(S_p,S_q)=e^{-\frac{{(p\left(x\right)-q\left(x\right))}^2}{{2\mathrm{\σ}}_2^2}}*e^{-\frac{{(p\left(y\right)-q\left(y\right))}^2}{{2\mathrm{\σ}}_2^2}},$ 其中σ₂表示空域高斯滤波方差；

第三深度值计算单元，用于将所述像素点q的第二深度值Z_final(q)分别与所述像素差值高斯权重因子w₁(V_p,V_q)和所述像素空间距离高斯权重因子w₂(S_p,S_q)相乘以获得第三深度值Z'(q)；

第四深度值计算单元，用于根据所述像素点q的第三深度值Z'(q)、所述像素差值高斯权重因子w₁(V_p,V_q)和所述像素空间距离高斯权重因子w₂(S_p,S_q)按照以下公式计算以获得所述像素点p的第四深度值

$\stackrel{\‾}{Z}\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈\mathrm{Np}}{w}_1(V_p,V_q)w_2(S_p,S_q)Z\left(q\right)}{{\mathrm{\Σ}}_{q\∈\mathrm{Np}}{w}_1(V_p,V_q)w_2(S_p,S_q)},$ 其中Np表示窗口大小；

第一深度图计算单元，用于根据所述像素点p的第四深度值Z(p)获得所述当前帧的第一深度图；

设置单元，用于重新设置所述高斯滤波方差σ₁和σ₂；

第二深度图计算单元，用于根据所述重新设置的高斯滤波方差σ₁和σ₂以及所述第一计算单元、第二计算单元、第三深度值计算单元、第四深度值计算单元重新计算以获得所述像素点p的第五深度值，并根据所述像素点p的第五深度值获得所述当前帧的第二深度图；

判断单元，用于判断所述第一深度图与所述第二深度图的均方误差MSE是否大于预设值；

第三计算单元，用于在所述第一深度图与所述第二深度图的均方误差MSE大于所述预设值时，根据所述均方误差MSE按照以下公式计算所述高斯滤波方差σ₁和σ₂，

σ₁＝max(σ₁-MSE*0.01,2),

，

σ₂＝max(σ₂+MSE*0.01,25)

并根据所述计算的高斯滤波方差σ₁和σ₂以及所述第一计算单元、第二计算单元、第三深度值计算单元、第四深度值计算单元、第一深度图计算单元、设置单元和第二深度图计算单元重新计算所述第一深度图与所述第二深度图；以及

确定单元，用于在所述第一深度图与所述第二深度图的均方误差MSE不大于所述预设值时，将所述第二深度图确定为所述最终的深度图。

6.根据权利要求5所述的基于反馈控制的深度图处理装置，其特征在于，所述生成模块具体包括：

深度候选值计算单元，用于根据所述当前帧数据中像素点p的像素值V_p和与所述像素点p对应邻域内的像素点t的像素值V(t)及所述像素点t的初始深度值Z(t)按照以下公式计算深度候选值Cost(p,t)，

Cost(p,t)＝∣V_p-V(t)∣+Z(t)；

第一深度值计算单元，用于根据所述深度候选值Cost(p,t)按照以下公式计算所述像素点p的第一深度值Z_new(p)，

Z_new(p)＝min(Cost(p,t))；

平均深度值计算单元，用于根据所述像素点p的深度值Z(p)按照以下公式计算所述当前帧数据的平均深度值Average(Z(p))，

$\mathrm{Average}\left(Z\left(p\right)\right)=\frac{\mathrm{Sum}\left(Z\left(p\right)\right)}{\mathrm{Width}*\mathrm{Height}},$

其中，Sum表示求和运算，Width表示所述当前帧的宽度值，Height表示所述当前帧的高度值；

第二深度值计算单元，用于根据所述平均深度值Average(Z(p))对所述像素点p的第一深度值Z_new(p)按照以下公式进行比例因子转换以获得所述像素点p的第二深度值Z_final(p)，

$Z_{\mathrm{final}}\left(p\right)=\min (\frac{Z_{\mathrm{new}}\left(p\right)}{\mathrm{Auerage}\left(Z\left(p\right)\right)}*\mathrm{128,255});$ 以及

初始深度图获得单元，用于根据所述像素点p的第二深度值Z_final(p)获得所述初始深度图。

7.根据权利要求6所述的基于反馈控制的深度图处理装置，其特征在于，所述像素点p对应邻域为八邻域。

8.根据权利要求5所述的基于反馈控制的深度图处理装置，其特征在于，所述联合双边滤波采用了横向和纵向的两次一维双边滤波。