CN103826032A - 深度图后期处理方法 - Google Patents

Abstract

本发明涉及图像后期处理方法。本发明所要解决的技术问题是提供一种能够有效的提高深度图信息的准确性的深度图后期处理方法。采用的技术方案包括以下步骤：本发明的深度图后期处理方法，包括以下步骤：首先获取原始二维视频中的当前帧图像及上一帧图像；利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进行平滑滤波，得到当前帧图像新的深度图；否则获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；对虚拟深度图及当前帧图像的已有深度图做遮挡检测；进行平滑滤波，得到当前帧图像新的深度图。本发明适用于对深度图进行后期处理。

Description

深度图后期处理方法

技术领域

本发明涉及一种图像后期处理方法，尤其是涉及一种深度图后期处理方法。 

背景技术

图像深度图的生成一直是计算机视觉的一个主要研究方向。深度图信息能够帮助人们将二维的图像物体重新计算合成构成多视点的三维坐标系，从而客观的表达物体的立体效果。 

深度图信息的应用领域十分广泛，在计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实等方面都有较为广泛的运用。而目前常用的深度图的生成方法主要是通过平面视频的几何信息、摄像机参数、平面图像中物体的颜色特征等进行局部或全局求取。然而，与彩色图像相比，深度图信息的纹理更加简单，深度图中有较多的平坦局域并且边缘局域也较明显。但是由于深度图信息生成方法的局限性，因此深度图图像普遍存在许多问题，例如时间连续性差、深度信息不连续，轮廓信息不准确等。更甚者，深度图信息并非应直接应用于前端，而是用于辅助三维重建，虚拟视图绘制等，所以深度信息不准确将大大影响其立体效果。目前亟需解决的问题是建立更加精确的深度图。 

发明内容

本发明所要解决的技术问题是提供一种能够有效的提高深度图信息的准确性的深度图后期处理方法，该方法能够通过对已有的深度图进行处理，得到信息准确性更高的深度图，从而保证深度图序列的时间连续性。 

本发明解决其技术问题所采用的技术方案是：深度图后期处理方法，包括以下步骤： 

A.获取原始二维视频中的当前帧图像及上一帧图像； 

B.利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进入步骤E，否则，进入步骤C； 

C.获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图； 

D.对虚拟深度图及当前帧图像的已有深度图做遮挡检测； 

E.进行平滑滤波，得到当前帧图像新的深度图。 

具体的，步骤A中的当前帧图像及上一帧图像皆为灰度图。 

进一步的，步骤A与步骤B之间还包括步骤 

A1.对当前帧图像的灰度图及上一帧图像的灰度图进行极大值滤波，再用Harris角点检 测得到上一帧图像的灰度图特征点。 

进一步的，步骤B中所述光流法为Lucas-Kanad光流法。 

具体的，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，通过颜色空间将RGB转换为相应的灰度图。 

作为上述技术方案的优选方案，步骤C具体为 

获取当前帧图像的运动参数及上一帧图像的已有深度图，根据当前帧图像的运动参数，平移、旋转，缩放上一帧图像的已有深度图，得到当前帧图像的虚拟深度图。 

优选的，步骤E中的平滑滤波方法为三边滤波法。 

本发明的有益效果是：通过采用运动向量检测的方法生成的深度图，本法生成的新的深度图信息连续性高，边缘清晰、深度层次明确，平滑性能好且时域稳定性高。其应用范围广泛，可在大多数深度图生成方法中应用，能够有效地提高深度图质量。本发明适用于对深度图进行后期处理。 

附图说明

图1是本发明流程示意图。 

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。 

如图1所示，本发明的深度图后期处理方法，包括以下步骤：首先获取原始二维视频中的当前帧图像及上一帧图像；利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，则进行平滑滤波，得到当前帧图像新的深度图；否则获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；对虚拟深度图及当前帧图像的已有深度图做遮挡检测；进行平滑滤波，得到当前帧图像新的深度图。 

通过上述步骤得到的新的深度图及对当前帧图像进行平滑后形成的，可以生成高质量的深度图序列。 

实施例 

本例中，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，首先获取t时刻图像序列当前帧颜色空间为RGB的彩色图像img_c，获取t时刻图像序列上一帧颜色空间为RGB的彩色图像img_p；通过颜色空间将RGB转换为灰度图，得到img_c和img_p所对应的灰度图分别为gray_c和gray_p。 

开始计算上一帧灰度图gray_p的特征点，gray_p的像素矩阵M为 

$M=\mathrm{\Σw}(x,y)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]\→R^{-1}\left[\begin{array}{cc}{\mathrm{\λ}}_1& 0\\ 0& {\mathrm{\λ}}_2\end{array}\right]R$

其中，I为图像的灰度值，x，y为二维图像坐标系，x为水平方向坐标，y为垂直方向坐标，R为旋转因子（即角点量），λ₁和λ₂为其特征值，w为窗口函数，I_x是二维坐标的横轴上的灰度值，I_y是二维坐标的纵轴上的灰度值。 

分别定义水平方向和垂直方向的差分算子d_x和d_y，利用差分算子对图像gray_p进行滤波，得到I_x和I_y；对I_x和I_y进行离散二维高斯滤波，其高斯模板

计算对应的每个像素的角点量cim(R)， $\mathrm{cim}=(I_x^2{I}_y^2-I_{\mathrm{xy}}^2)-k\·{(I_x^2+I_y^2)}^2,$ 其中k为角点参数； 

在矩阵cim中，同时满足cim(R)大于阀值thresh，cim(R)为邻近最大值的点即为最终图像gray_p的特征点；然后对gray_c和gray_p做Lucas-Kanade光流法检测。Lucas-Kanade光流法是一种成熟，准确，较容易实现的物体跟踪算法，可以对画面中固定的点进行准确快速的跟踪。图像灰度值的约束方程：I(x,y,z,t)=I(x+δ_x,y+δ_y,z+δ_z,t+δ_t)， 

I（x,y,z,t）为像素点在空间坐标系（x,y,z）位置的体素，在图像金字塔的最高层计算像素点的光流；t为当前时刻，将上一帧特征点匹配到该帧图像后，与当前帧特征点的实际位置在x轴方向上的估计偏移量为δx，在y轴方向上的估计偏移量为δy，在z轴方向上的估计偏移量为δz。 

根据约束方程比较上一帧img_p和当前帧img_c的灰度信息得到上一帧img_p的特征点在当前帧img_c中的位置，在过滤掉位置不变的特征点，最后得到当前帧img_c的运动向量。 

通过得到当前帧的运动向量信息来判断前后两帧图像序列的运动方式，如果不是场景变换，那么获取当前帧的运动参数；再获得上一帧图像的已有深度图。根据当前帧的运动参数，平移、旋转，缩放上一帧的深度图，得到当前帧虚拟深度图的信息；将当前帧深度图与当前帧虚拟深度图做遮挡检测，检测深度图的信息稳定性；对不稳定的深度图信息进行高斯加权图像平滑和二次线性插值；最后对深度图进行三边滤波，得到平滑的当前帧深度图，生成高质量的深度图序列。 

由于三边滤波是一种新的图像插值算法，该方法能产生比传统插值算法更少的模糊图案和锐利边缘，因此此处优选三边滤波。此外也可以采用其他滤波方法。 

Claims (7)

1.深度图后期处理方法，其特征在于，包括以下步骤： 

A.获取原始二维视频中的当前帧图像及上一帧图像； 

B.利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进入步骤E，否则，进入步骤C； 

C.获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图； 

D.对虚拟深度图及当前帧图像的已有深度图做遮挡检测； 

E.进行平滑滤波，得到当前帧图像新的深度图。 

2.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A中的当前帧图像及上一帧图像皆为灰度图。 

3.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A与步骤B之间还包括步骤 

A1.对当前帧图像的灰度图及上一帧图像的灰度图进行极大值滤波，再用Harris角点检测得到上一帧图像的灰度图特征点。 

4.如权利要求1所述的深度图后期处理方法，其特征在于，步骤B中所述光流法为Lucas-Kanad光流法。 

5.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，通过颜色空间将RGB转换为相应的灰度图。 

6.如权利要求1所述的深度图后期处理方法，其特征在于，步骤C具体为 

获取当前帧图像的运动参数及上一帧图像的已有深度图，根据当前帧图像的运动参数，平移、旋转，缩放上一帧图像的已有深度图，得到当前帧图像的虚拟深度图。 

7.根据权利要求1至6中任意一项所述的深度图后期处理方法，其特征在于，步骤E中的平滑滤波方法为三边滤波法。 

Images