CN101630408A - 一种深度图的处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种深度图的处理方法及装置，属于计算机多媒体技术领域。所述方法包括：提取深度图中的物体轮廓；对物体轮廓进行修正，将修正后的轮廓内外区域用所述区域的原深度值进行填充；对填充完的深度图进行高斯滤波。所述装置包括：提取模块，修正模块，填充模块和第一滤波模块。本发明实施例提供的技术方案通过对深度图的轮廓进行修正，并对深度图进行滤波，使深度图的轮廓变得精确，深度图的深度值在物体轮廓处的过渡变得平滑，进而可以使得合成的立体视频的抖动性大大降低。

Description

一种深度图的处理方法及装置

技术领域

本发明涉及计算机多媒体技术领域，特别涉及一种深度图的处理方法及装置。

背景技术

立体视频是一种能够提供立体感的新型视频技术，它可以使用户通过视频看到与真实世界几乎完全一致的景象，产生巨大的真实感和临场感，因而成为未来多媒体技术的发展方向。目前普遍采用的立体视频体系结构为：同时传输两段视频，其中一段是待转换的平面视频序列，而另一段是相对应的深度图序列，包含了各帧中每一像素的深度信息。通过DIBR(Depth-Image-Based Rendering，基于深度图渲染)技术，就可以获得真实世界场景在一个或多个方向上的虚拟视角，最终合成立体视频。

这种使用DIBR技术的立体视频体系结构，最重要和最困难的一步就是深度图的获取，目前可以通过软件上的算法，由一对从不同视角拍摄到的场景图像恢复出场景的深度图；还可以对平面图像进行手工或半自动的处理，得到伪深度图。

在对上述现有技术进行分析后，发明人发现：

通过现有技术获得的深度图通常都会存在许多缺陷，例如深度值不稳定，边缘不精确，深度图不能较真实地反应出场景物体的远近关系等。

发明内容

为了克服直接获取的深度图的缺陷，使根据深度图得到得立体视频的抖动大大降低，本发明提出了一种深度图的处理方法及装置。所述技术方案如下：

本发明实施例提供了一种深度图的处理方法，所述方法包括：

提取原深度图中的物体轮廓；

对提取的所述物体轮廓进行修正，将修正后的所述物体轮廓内外区域用所述区域的原深度值进行填充，得到填充完原深度值的深度图；

对所述填充完的深度图进行高斯滤波。

其中，所述方法还包括：

对经过高斯滤波后的视频深度图序列进行时域上的递归滤波。

其中，所述方法还包括：将经过滤波后的所述视频深度图序列中每一帧和对应的原始图像进行合成，得到立体图像序列，最终合成立体视频。

其中，提取原深度图中的物体轮廓，具体包括：

检测原深度图中物体轮廓，计算所述物体轮廓面积，将所述物体轮廓面积大于预设阈值的轮廓作为提取的物体轮廓。

其中，所述物体轮廓用轮廓点序列表示。

其中，所述对物体轮廓进行修正，包括：

采用Snake主动轮廓模型对物体轮廓进行修正；所述Snake主动轮廓模型包括GreedySnake模型和GVF snake模型。

其中，当所述原深度图由人工绘制时，采用所述Greedy Snake模型对所述物体轮廓进行修正；

当所述原深度图由软件生成时，采用所述GVF snake模型对所述物体轮廓进行修正。

其中，对填充完的深度图进行高斯滤波，具体包括：

对填充完的深度图进行高斯非均匀滤波。

其中，所述递归滤波为：

在当前帧图像中的像素与上一帧图像中对应像素的变化在预设阈值T之内时，则

${\hat{I}}_n(x,y)=I_n(x,y)+K({\hat{I}}_{n-1}(x,y)-I_n(x,y));$

其它情况时， ${\hat{I}}_n(x,y)=I_n(x,y);$

其中I_n(x，y)表示当前帧图像中点(x，y)的灰度值，表示当前帧图像滤波后的图像中点(x，y)的灰度值，

表示当前帧图像的上一帧图像经滤波后的图像中点(x，y)的灰度值，K是权重。

本发明实施例提供了一种深度图的处理装置，所述装置包括：提取模块，修正模块，填充模块和第一滤波模块；

所述提取模块，用于提取原深度图中的物体轮廓；

所述修正模块，用于对所述提取模块提取的物体轮廓进行修正；

所述填充模块，用于将所述修正模块修正后的物体轮廓内外区域用所述区域的原深度值进行填充，得到填充完原深度值的深度图；

所述第一滤波模块，用于对所述填充模块填充完的深度图进行高斯滤波。

其中，所述装置还包括：第二滤波模块，用于对经过所述第一滤波模块高斯滤波后的视频深度图序列进行时域上的递归滤波。

其中，所述装置还包括：合成模块，用于将经过滤波后的所述视频深度图序列中每一帧和对应的原始图像进行合成，得到立体图像序列，最终合成立体视频。

其中，所述提取模块包括：提取单元和采样单元；

所述提取单元，用于提取原深度图中的物体轮廓；

所述采样单元，用于对所述提取单元提取的物体轮廓进行离散点采样，得到多个轮廓点。

其中，所述提取模块具体用于，检测原深度图中物体轮廓，计算所述物体轮廓面积，将所述物体轮廓面积大于预设阈值的轮廓作为物体轮廓。

其中，所述修正模块，具体用于采用Snake主动轮廓模型对物体轮廓进行修正；所述Snake主动轮廓模型包括Greedy Snake模型和GVF snake模型。

其中，当所述原深度图由人工绘制时，所述修正模块采用所述Greedy Snake模型对提取的物体轮廓进行修正；

当所述原深度图由软件生成时，所述修正模块采用所述GVF snake模型对提取的物体轮廓进行修正。

与现有技术相比，本发明的有益效果在于：通过对原深度图中的物体轮廓进行修正，并对修正物体轮廓后的深度图进行滤波处理，处理后的深度图中的物体轮廓变得比较精确，深度图的深度值在物体轮廓处的过渡变得比较平滑。

附图说明

图1是本发明实施例1提供的一种深度图的处理方法；

图2是本发明实施例1提供的平面视频序列中原图及其对应的深度图；

图3是本发明实施例1提供的提取的物体轮廓；

图4是本发明实施例1提供的对修正后的物体轮廓内外区域进行深度值填充的示意图；

图5是本发明实施例1提供的对填充完深度值的深度图进行高斯滤波的示意图；

图6是本发明实施例1提供的对经过高斯滤波后的深度图序列进行递归滤波的示意图；

图7是本发明实施例2提供的一种深度图的处理装置结构示意图；

图8是本发明实施例2提供的另一种深度图的处理装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，本发明实施例1提供了一种深度图的处理方法，该方法包括：

101：提取原深度图中的物体轮廓；

具体的，可以将提取出的物体轮廓用轮廓点序列的形式来表示，即对提取出的物体轮廓进行离散点采样，得到N个轮廓点v_i，i＝{1，2，...，N}，这些轮廓点之间的间隔不是均匀的。例如，对于水平、竖直或对角线方向上的轮廓，只保留两端的轮廓点。

参见图2，图2(a)为平面视频序列中的其中一帧图像的原始图像，图2(b)为图2(a)对应的原始图像的原深度图，图3中的轮廓1是直接提取的原深度图中的人物轮廓，很显然，直接提取的轮廓1与图2(a)的原图真实轮廓还有一定差距，即原深度图不是很精确。

102：对提取的物体轮廓进行修正，将修正后的物体轮廓内外区域用该区域的原深度值进行填充；

参见图3，由于直接提取的人物轮廓与人物的真实轮廓还有一定差距，因此需要对图3中的轮廓1进行修正，图3中的轮廓2为修正后的人物轮廓，相对于轮廓1，轮廓2与图2(a)的原始图像的真实轮廓贴近了很多。

参见图4，为修正后的人物轮廓内外区域用原先的深度值进行填充的示意图。

103：对填充完的深度图进行高斯滤波，使深度图的深度值在物体轮廓处的过渡变得平滑。

具体的，对填充完的深度图可以进行高斯非均匀滤波，需要说明的是，对填充完的深度图可以进行高斯均匀滤波，本发明实施例以高斯非均匀滤波为例进行说明。非均匀滤波是指将垂直方向上的标准偏差设置得比水平方向的标准偏差大，非均匀滤波窗口的高度大于宽度，这样可防止在warping后的图像中垂直方向上的竖条状物体出现畸变。通常可以将垂直方向上的标准偏差设置为水平方向上的标准偏差的2倍至4倍，可以将非均匀滤波窗口的高度设置为宽度的2倍至4倍，本实施例中，设水平方向上的标准偏差为σ₁，垂直方向上的标准偏差为σ₂，非均匀滤波窗口的宽度为h₁，非均匀滤波窗口的高度为h₂，则σ₂通常为σ₁的2倍到4倍，h₂通常为h₁的2倍到4倍。例如，水平方向的标准偏差设为10，非均匀滤波窗口宽度设为31，则垂直方向上的标准偏差可以设为30，非均匀滤波窗口高度可以设为91。经过高斯非均匀滤波后，深度图中每个点的灰度值应为：

$\hat{I}(x,y)=\frac{1}{\#A}\underset{(x_i,y_i)\∈A}{\mathrm{\Σ}}I(x,y)K_1(x_i-x)K_2(y_i-y)\·\·\·\left(1\right)$

式(1)中，I(x，y)表示在填充完的深度图中点(x，y)的灰度值，

表示在经过高斯非均匀滤波后的深度图中点(x，y)的灰度值，A＝{(x_i，y_i)||x_i-x|＜h₁且|y_i-y|＜h₂}，#A表示集合A中的元素个数，

式(1)中， $K_1\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_1}\exp (-\frac{x^2}{2{\mathrm{\σ}}_1^2}),$ $K_2\left(y\right)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_2}\exp (-\frac{y^2}{2{\mathrm{\σ}}_2^2}),$ K₁(x_i-x)K₂(y_i-y)表示高斯非均匀滤波的窗口核函数，x_i，y_i表示所有位于高斯非均匀滤波窗口中的点，核函数中心为x，y。

参见图5，为对修正了轮廓的深度图进行高斯非均匀滤波后的示意图，对物体轮廓没有修正之前，物体轮廓的边缘深度值与背景的过渡特别尖锐，如果不对物体轮廓的边缘深度值进行修正，利用该深度图进行视频的合成后，人眼会感觉到比较刺眼，影像用户的体验。图5可以看出，修正物体轮廓后的深度图的深度值在物体轮廓处的过渡变得比较平滑，这样就比较适合人眼观察。

其中，该方法还包括：

对经过高斯滤波后的视频深度图序列进行时域上的递归滤波，以保证物体轮廓在连续帧之间的一致和连续。

具体的，对经过高斯滤波后的视频深度图序列进行的时域上的递归滤波可以用数学表达式表示为：

${\hat{I}}_n(x,y)=I_n(x,y)+K({\hat{I}}_{n-1}(x,y)-I_n(x,y))\·\·\·\left(2\right)$

式(2)中，I_n(x，y)表示当前帧图像中点(x，y)的灰度值，

表示当前帧图像滤波后的图像中点(x，y)的灰度值，

表示当前帧图像的上一帧图像经滤波后的图像中点(x，y)的灰度值。K值是权重，代表了相邻两帧图像之差对当前帧图像的影响，在实际应用中可根据具体情况取不同的值。K值越大，滤波后的图像中包含了更多以前帧的信息，对在轮廓处出现的随机抖动能够起到很好的抑制作用，但有可能会出现拖尾现象。

在物体运动速度较快时，由于两帧图像之间的相关性不是很强，采用式(2)进行的递归滤波效果将会比较差，因此在物体运动速度较快时，可以用式(3)对经过高斯滤波后的深度图序列进行时域上的递归滤波：

${\hat{I}}_n(x,y)=\left\{\begin{array}{cc}{I}_n(x,y)+K({\hat{I}}_{n-1}(x,y)-I_n(x,y)),& |I_n(x,y)-{\hat{I}}_{n-1}(x,y)|<T\\ I_n(x,y),& \mathrm{other}\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;\left(3\right)$

式(3)中，在当前帧中的像素与上一帧的对应像素的变化在预设阈值T之内时，对这些像素进行时域递归滤波，若当前帧中的某些像素与上一帧的对应像素相比有比较明显的变化，则不对这些像素进行时域递归滤波。本实施例中由于人物运动速度较快，因此采用式(3)进行递归滤波，参见图6，为对经过高斯非均匀滤波后的深度图进行递归滤波的示意图，从图6可以看出，通过时域上递归滤波，可以使深度图的轮廓在每相邻两帧图像之间具备相对的一致性和连续性，不会使得相连的两帧图像之前有跳跃的感受。

其中，该方法还包括：

将经过滤波后的视频深度图序列中每一帧和对应的原始图像进行合成，得到立体图像序列，最终合成立体视频。

由于通过现有技术获得的原深度图的深度值不稳定，边缘不精确，原深度图不能较真实地反应出场景物体的远近关系等，因此使得利用DIBR技术获得的立体视频的抖动性比较严重，而抖动性是决定立体视频总体质量的决定性因素，若立体视频抖动比较明显，则大大影响用户的视觉效果；而本发明实施例通过对提取的物体轮廓进行修正，使原深度图的轮廓变得比较精确，再对修正了物体轮廓的原深度图进行高斯滤波和递归滤波处理，处理后的深度图的深度值在物体轮廓处的过渡变得比较平滑，物体轮廓在每相邻两帧图像之间具备相对的一致性和连续性，从而使视频抖动大大减弱，提高了用户的视觉效果。

其中，提取原深度图中的物体轮廓，具体包括：

检测原深度图中的物体轮廓，计算检测出的物体轮廓的面积，将物体轮廓面积大于预设阈值的轮廓作为物体轮廓。

其中，对物体轮廓进行修正，具体包括：

采用Snake主动轮廓模型对物体轮廓进行修正。

Snake主动轮廓模型是一个曲线，该Snake模型曲线是定义了能量函数的样条曲线，它能在多种力量的共同作用下自主地变形和移动，最终收敛到能量极小值的状态。具体来说，该Snake模型曲线同时受到三种力量的影响，内力给它施加了分段光滑的约束，限制了它的形状；图像力引导它向着图像特征移动，如图像边缘或线段终端；外力将其推向一个合适的局部极值点。Snake主动轮廓模型包括Greedy Snake模型和GVF snake模型，此处简单介绍一下这两个模型：

原始的snake主动轮廓模型将轮廓的能量函数定义为 $E_{\mathrm{snake}}={\&Integral;}_0^1{E}_{\mathrm{int}}\left(v\left(s\right)\right)+E_{\mathrm{ext}}\left(v\left(s\right)\right)\mathrm{ds},$ 其中曲线内部能量 $E_{\mathrm{int}}=\frac{1}{2}(\mathrm{\&alpha;}{\left|v_s\left(s\right)\right|}^2+\mathrm{\&beta;}{\left|v_{\mathrm{ss}}\left(s\right)\right|}^2),$ v(s)表示物体轮廓的函数，v_s(s)和v_ss(s)分别是对该函数v(s)求一阶导和二阶导，α和β为轮廓点参数，曲线外部能量E_ext包括两个能量项：图像自身作用力产生的能量E_img和外部约束力产生的能量E_con，其中外部约束力常常被忽略。

对于灰度图像I(x，y)，通常选用两种形式的灰度图像能量函数E_img：

$E_{\mathrm{img}}^{\left(1\right)}\left(v\left(s\right)\right)=\&PlusMinus;\mathrm{\&gamma;}\left|I(x,y)\right|\&CenterDot;\&CenterDot;\&CenterDot;\left(4\right)$

$E_{\mathrm{img}}^{\left(2\right)}\left(v\left(s\right)\right)=\&PlusMinus;\mathrm{\&gamma;}\left|\right|\&dtri;[G_{\mathrm{\&sigma;}}(x,y)*I(x,y)]\left|\right|\&CenterDot;\&CenterDot;\&CenterDot;\left(5\right)$

式(5)中， $G_{\mathrm{\&sigma;}}(x,y)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\&sigma;}}^2}),$ γ为轮廓点参数。

若采用式(4)作为灰度图像能量函数后，在将Snake模型曲线的能量函数极小化的过程中，Snake模型曲线将会被吸引到图像的亮区或暗区；若采用式(5)作为灰度图像能量函数后，在将Snake模型曲线的能量函数极小化的过程中，Snake模型曲线将被吸引到图像中梯度最大的区域处，图像中梯度最大的区域即为物体轮廓。

在原snake主动轮廓模型基础上，定义一个可以使能量函数

$\mathrm{\&epsiv;}=\&Integral;\&Integral;\mathrm{\&mu;}(u_x^2+u_y^2+v_x^2+v_y^2)+{|\&dtri;f|}^2{|v-\&dtri;f|}^2\mathrm{dxdy}$ 极小化的梯度向量场[u，v]＝[u(x，y)，v(x，y)]其中f(x，y)表示原始图像的灰度图像I(x，y)的轮廓图，用计算出的梯度向量场代替原来的外力，这就是GVF Snake模型。该GVF Snake模型能够克服传统Snake主动轮廓模型对初始位置依赖性大、不能收敛到凹形区域和收敛速度较慢等缺点。

而Greedy Snake模型在每一次迭代中并不是一次性计算出snake模型曲线上所有轮廓点的位置，而是分别计算每个轮廓点在这次应移到的位置。具体来说，对于每一个轮廓点，将查找位于该轮廓点一定邻域范围内的所有像素，并将该轮廓点移动到该邻域内其中一个能使能量函数达到最小的位置处。

Greedy Snake模型使用的能量函数与原Snake主动轮廓模型不同，Greedy Snake模型对于某个轮廓点v_i，它的总能量E_comb(v_i)由三个加权能量项组成，即

E_comb(v_i)＝α_iE_ela(v_i)+β_iE_curv(v_i)+γ_iE_img(v_i)……………………………………………(6)

式(6)中α_iE_ela(v_i)+β_iE_curv(v_i)表示snake模型曲线的内部能量，α_iE_ela(v_i)+β_iE_curv(v_i)与曲线内部能量 $E_{\mathrm{int}}=\frac{1}{2}(\mathrm{\&alpha;}{\left|v_s\left(s\right)\right|}^2+\mathrm{\&beta;}{\left|v_{\mathrm{ss}}\left(s\right)\right|}^2)$ 相似， $E_{\mathrm{int}}=\frac{1}{2}(\mathrm{\&alpha;}{\left|v_s\left(s\right)\right|}^2+\mathrm{\&beta;}{\left|v_{\mathrm{ss}}\left(s\right)\right|}^2)$ 是在物体轮廓连续的情况下计算的，而α_iE_ela(v_i)+β_iE_curv(v_i)是在对物体轮廓进行离散化后计算snake模型曲线的内部能量。

式(6)中，E_ela(v_i)＝d-|v_i-v_i-1|，d为snake模型曲线上所有相邻轮廓点之间的平均距离，对v(s)进行离散化后，物体轮廓就变成了一个个离散点v_i；E_curv(v_i)＝|v_i+1-2v_i+v_i-1|²；而E_img(v_i)为 ${\left|\right|\&dtri;[G_{\mathrm{\&sigma;}}(x,y)*I(x,y)]\left|\right|}^2.$ 整条snake模型曲线的能量函数可以表示为 $E_{\mathrm{snake}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{E}_{\mathrm{comb}}\left(v_i\right).$

本实施例中，当原深度图是由半自动或全自动的软件方法提取时，由于软件方法提取的深度图中的物体轮廓精度较差，则采用GVF snake模型对提取的物体轮廓进行修正；

当原深度图是由人工绘制的时，由于人工绘制的深度图中的物体轮廓比较精确，可以采用Greedy Snake模型对提取的物体轮廓进行修正。

本实施例中，利用GVF snake模型对提取的物体轮廓进行修正的具体过程为：

1)通过利用拉格朗日乘子法对能量函数 $\mathrm{\&epsiv;}=\&Integral;\&Integral;\mathrm{\&mu;}(u_x^2+u_y^2+v_x^2+v_y^2)+{|\&dtri;f|}^2{|v-\&dtri;f|}^2\mathrm{dxdy}$ 极小化进行求解，得到两个迭代式 $u_{t+1}=u_t+\mathrm{\&mu;}{\&dtri;}^2{u}_t-(u_t-f_x)(f_x^2+f_y^2)$ 及 $v_{t+1}=v_t+\mathrm{\&mu;}{\&dtri;}^2{v}_t-(v_t-f_y)(f_x^2+f_y^2),$ 通过该两个迭代式计算深度图对应的原始图像的灰度图的梯度向量场[u，v]，其中，f_x、f_y分别表示原始图像的灰度图对应的轮廓图在水平方向及垂直方向上的梯度，将[u，v]的初始值设置为u₀＝f_x、v₀＝f_y，u_t、v_t表示经过第t轮迭代后所得到的u和v值。本实施例中，迭代次数为40次，当然，迭代次数不限于40次。

2)将迭代次数t的初始值设为0，初始轮廓点为步骤101中求得的轮廓点。

3)用[u，v]代替Snake模型 $E_{\mathrm{snake}}={\&Integral;}_0^1{E}_{\mathrm{int}}\left(v\left(s\right)\right)+E_{\mathrm{img}}\left(v\left(s\right)\right)\mathrm{ds}$ 中的

，利用拉格朗日乘子法计算使E_snake最小的解，最终得到

$x^{t+1}={(A+\frac{1}{\mathrm{\&Delta;t}}I)}^{-1}(\frac{1}{\mathrm{\&Delta;t}}{x}^t+\mathrm{\&gamma;}\&CenterDot;u(x^t,y^t)),$ $y^{t+1}={(A+\frac{1}{\mathrm{\&Delta;t}}I)}^{-1}(\frac{1}{\mathrm{\&Delta;t}}{y}^t+\mathrm{\&gamma;}\&CenterDot;v(x^t,y^t))\&CenterDot;\&CenterDot;\&CenterDot;\left(7\right)$

式(7)中，x^t、y^t表示n个轮廓点在第t次迭代后所处位置，x^t、y^t分别代表轮廓点的横坐标及纵坐标，x^t、y^t都是n维向量，Δt为每次迭代的步长，本实施例中可取Δt＝1，A为矩阵；其中矩阵A是：

其中a(v_i)＝β(v_i-1)，b(v_i)＝-2β(v_i)-2β(v_i-1)-α(v_i)

c(v_i)＝β(v_i+1)+4β(v_i)+β(v_i-1)+α(v_i+1)+α(v_i)

d(v_i)＝-2β(v_i+1)-2β(v_i)-α(v_i+1)，e(v_i)＝β(v_i+1)，

在本实施例中取α(v_i)＝α，β(v_i)＝β，i＝1，2，…n。

利用迭代式(7)可以得到n个轮廓点新的位置x^t+1、y^t+1，此时迭代次数加1，即t＝t+1。

若t大于预设阀值，或

小于预设阀值，则迭代过程结束，得到n个轮廓点的最终位置；否则继续重复步骤3)。其中，v_i代表第i个轮廓点的坐标向量(x_i，y_i)。

本实施例中，利用Greedy Snake模型对提取的物体轮廓进行修正的具体过程为：首先为G_σ(x，y)中的σ设置一个初始值，初始轮廓点为步骤101中求得的轮廓点。

1)将迭代次数t的初始值及移动的轮廓点数moved的初始值设为0；

2)在预定的邻域范围内，将第一个轮廓点v₁移动到使snake主动轮廓模型的能量函数E_snake达到最小的位置处，然后将移动的轮廓点的个数加1，即moved＝moved+1，若该第一个轮廓点v₁位置不变，则moved的值不变。其中，计算E_snake时用到的E_img是深度图对应的原始图的灰度图像能量；

然后，对第2、3、…、n个轮廓点进行同样的操作后，一次迭代过程完成，将迭代次数加1，即t＝t+1；

3)按照 $k_i=\left|\right|\frac{v_i-v_{i-1}}{\left|\right|v_i-v_{i-1}\left|\right|}-\frac{v_{i+1}-v_i}{\left|\right|v_{i+1}-v_i\left|\right|}\left|\right|$ 精确计算出各个轮廓点的曲率，若某个轮廓点的曲率为极大值，即比它前面和后面的轮廓点的曲率都要大，并且该曲率大于第一预设阈值，且该轮廓点的梯度幅值大于第二预设阈值时，则将该轮廓点处能量E_comb的计算式中的β_i置为0，保证在该轮廓点处能产生一个角点。

4)当迭代次数t大于第三预设阀值或moved小于第四预设阀值时，此轮迭代过程结束，然后减小σ的值，将该轮迭代结束后得到的n个轮廓点位置作为下轮迭代开始时轮廓点的初始位置，然后重复步骤1)～4)，进行下一轮迭代。当σ值减小到一定程度，如小于1，则所有迭代过程结束，得到n个轮廓点的最终位置。

例如，迭代次数t的第三预设阈值可设为100，moved的第四预设阈值可设为5。

其中，每次减小的σ量可以是相同的，可选为σ最初值的20％即可(保证其为整数)，每次减小σ量可以保证对物体轮廓从粗到细地进行修正。

本发明实施例的有益效果是：通过提取原深度图中物体轮廓，利用主动轮廓模型对提取的物体轮廓进行修正，由于主动轮廓模型在实现边缘检测等任务时，并不像传统方法那样是自治和自底向上的，而是可以通过交互式操作从上层处理机制获得人为的信息，回避掉图像分析和图像理解中的一些高层智能问题，因此当原深度图中的背景及物体轮廓比较复杂时，由于本发明实施例使用主动轮廓模型对物体轮廓进行修正，适当加入一些交互式操作，例如给主动轮廓模型人为施加外力，可对检测出原深度图中物体轮廓进行更精确地修正，而传统方法在原深度图中的背景及物体轮廓比较复杂时将很难实现精确修正；将物体轮廓修正完后，将物体轮廓内外的区域用这些区域的原深度值进行填充，然后进行高斯和递归滤波处理，使处理后的深度图的深度值在物体轮廓处的过渡变得平滑，且使处理后的深度图的轮廓在每相邻两帧图像之间具备相对的一致性和连续性，因此经过轮廓修正和滤波处理后，根据该处理后的深度图合成的立体视频的的抖动性大大降低了，提高了用户的视觉感受；当原深度图由人工绘制时，为提高效率，可以允许获取的物体轮廓与原始图像中的物体轮廓有一定偏差，从而节省绘制的时间，提高效率；当原深度图由半自动或全自动的方法获取时，可适当放宽对深度图精确性上的要求，以降低算法的复杂度。

实施例2

参见图7，本发明实施例2提供了一种深度图的处理装置，该装置包括：提取模块201，修正模块202，填充模块203及第一滤波模块204；

提取模块201，用于提取原深度图中的物体轮廓；

具体的，提取模块201可以包括：提取单元和采样单元；

提取单元，用于提取原深度图中的物体轮廓；

采样单元，用于对提取单元提取的物体轮廓进行离散点采样，得到N个轮廓点v_i，i＝{1，2，...，N}，这些轮廓点之间的间隔不是均匀的。对于水平、竖直或对角线方向上的轮廓，只保留两端的轮廓点。

参见图2，图2(a)为平面视频序列中的其中一帧图像的原始图像，图2(b)为图2(a)对应的原深度图，图3中的轮廓1是直接提取的原深度图中的人物轮廓，很显然，直接提取的轮廓1与图2(a)的原图真实轮廓还有一定差距，即深度图不是很精确。

修正模块202，用于对提取模块201提取的物体轮廓进行修正；

参见图3，由于直接提取的人物轮廓与人物的真实轮廓还有一定差距，因此需要对图3中的轮廓1进行修正，图3中的轮廓2为修正后的人物轮廓，相对于轮廓1，轮廓2与图2(a)的原图真实轮廓贴近了很多。

填充模块203，用于将修正模块202修正后的物体轮廓内外区域用该区域的原深度值进行填充；

参见图4，为修正后的人物轮廓内外区域用原先的深度值进行填充的示意图。

第一滤波模块204，用于对填充模块203填充完的深度图进行高斯滤波，使深度图的深度值在物体轮廓处的过渡变得平滑。

具体的，第一滤波模块204对填充模块203填充完的深度图进行高斯非均匀滤波，需要说明的是，对填充完的深度图可以进行高斯均匀滤波，本发明实施例以高斯非均匀滤波为例进行说明。非均匀滤波是指将垂直方向上的标准偏差设置得比水平方向的标准偏差大，非均匀滤波是指将垂直方向上的标准偏差设置得比水平方向的标准偏差大，非均匀滤波窗口的高度大于宽度，这样可防止在warping后的图像中垂直方向上的竖条状物体出现畸变。通常可以将垂直方向上的标准偏差设置为水平方向上的标准偏差的2倍至4倍，可以将非均匀滤波窗口的高度设置为宽度的2倍至4倍，本实施例中，设水平方向上的标准偏差为σ₁，垂直方向上的标准偏差为σ₂，非均匀滤波窗口的宽度为h₁，非均匀滤波窗口的高度为h₂，则σ₂通常为σ₁的2倍到4倍，h₂通常为h₁的2倍到4倍。例如，水平方向的标准偏差设为10，非均匀滤波窗口宽度设为31，则垂直方向上的标准偏差可以设为30，非均匀滤波窗口高度可以设为91。经过高斯非均匀滤波后，深度图中每个点的灰度值应为：

$\hat{I}(x,y)=\frac{1}{\#A}\underset{(x_i,y_i)\&Element;A}{\mathrm{\&Sigma;}}I(x,y)K_1(x-x_i)K_2(y-y_i)\&CenterDot;\&CenterDot;\&CenterDot;\left(8\right)$

式(8)中，I(x，y)表示在填充完的深度图中点(x，y)的灰度值，

表示在经过高斯非均匀滤波后的深度图中点(x，y)的灰度值，A＝{(x_i，y_i)||x-x_i|＜h₁且|y-y_i|＜h₂}，#A表示集合A的元素个数，

式(8)中， $K_1\left(x\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_1}\exp (-\frac{x^2}{2{\mathrm{\&sigma;}}_1^2}),$ $K_2\left(y\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_2}\exp (-\frac{y^2}{2{\mathrm{\&sigma;}}_2^2}),$ K₁(x_i-x)K₂(y_i-y)表示高斯非均匀滤波的窗口核函数，x_i，x_i表示所有位于高斯非均匀滤波窗口中的点，核函数中心为x，y。

参见图5，为对修正了轮廓的深度图进行高斯非均匀滤波后的示意图，对物体轮廓没有修正之前，物体轮廓的边缘深度值与背景的过渡特别尖锐，如果不对物体轮廓的边缘深度值进行修正，利用该深度图进行视频的合成后，人眼会感觉到比较刺眼，影像用户的体验。图5可以看出，修正物体轮廓后的深度图的深度值在物体轮廓处的过渡变得比较平滑，这样就比较适合人眼观察。

其中，参见图8，该装置还可以包括：第二滤波模块205，用于对经过第一滤波模块204高斯滤波后的视频深度图序列进行时域上的递归滤波，以保证物体轮廓在连续帧之间的一致和连续。

具体的，对经过高斯滤波后的视频深度图序列进行的时域上的递归滤波可以用数学表达式表示为：

${\hat{I}}_n(x,y)=I_n(x,y)+K({\hat{I}}_{n-1}(x,y)-I_n(x,y))\&CenterDot;\&CenterDot;\&CenterDot;\left(9\right)$

式(9)中，I_n(x，y)表示当前帧图像中点(x，y)的灰度值，

表示当前帧图像滤波后的图像中点(x，y)的灰度值，表示当前帧图像的上一帧图像经滤波后的图像中点(x，y)的灰度值。K值是权重，代表了相邻两帧图像之差对当前帧图像的影响，在实际应用中可根据具体情况取不同的值。K值越大，滤波后的图像中包含了更多以前帧的信息，对在轮廓处出现的随机抖动能够起到很好的抑制作用，但有可能会出现拖尾现象。

在物体运动速度较快时，由于两帧图像之间的相关性不是很强，采用式(9)进行的递归滤波效果将会比较差，因此在物体运动速度较快时，可以用式(10)对经过高斯滤波后的深度图序列进行时域上的递归滤波：

${\hat{I}}_n(x,y)=\left\{\begin{array}{cc}{I}_n(x,y)+K({\hat{I}}_{n-1}(x,y)-I_n(x,y)),& |I_n(x,y)-{\hat{I}}_{n-1}(x,y)|<T\\ I_n(x,y),& \mathrm{other}\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;\left(10\right)$

式(10)中，在当前帧中的像素与上一帧的对应像素的变化在预设阈值T之内时，对这些像素进行时域递归滤波，若当前帧中的某些像素与上一帧的对应像素相比有比较明显的变化，则不对这些像素进行时域递归滤波。本实施例中由于人物运动速度较快，因此采用式(10)进行递归滤波，参见图6，为对经过高斯非均匀滤波后的深度图进行递归滤波的示意图，从图6可以看出，通过时域上递归滤波，可以使深度图的轮廓在每相邻两帧图像之间具备相对的一致性和连续性，不会使得相连的两帧图像之前有跳跃的感受。

其中，参见图8，该装置还可以包括：合成模块206，用于将经过第二滤波模块205滤波后的视频深度图序列中每一帧和对应的原始图像进行合成，得到立体图像序列，最终合成立体视频。

由于通过现有技术获得的原深度图的深度值不稳定，边缘不精确，原深度图不能较真实地反应出场景物体的远近关系等，因此使得利用DIBR技术获得的立体视频的抖动性比较严重，而抖动性是决定立体视频总体质量的决定性因素，若立体视频抖动比较明显，则大大影响用户的视觉效果；而本发明实施例通过对提取的物体轮廓进行修正，使原深度图的轮廓变得比较精确，再对修正了物体轮廓的原深度图进行高斯滤波和递归滤波处理，处理后的深度图的深度值在物体轮廓处的过渡变得比较平滑，物体轮廓在每相邻两帧图像之间具备相对的一致性和连续性，从而使视频抖动大大减弱，提高了用户的视觉效果。

其中，提取模块201具体用于，检测原深度图中的物体轮廓，计算检测出的物体轮廓的面积，将物体轮廓面积大于预设阈值的轮廓作为物体轮廓。

其中，修正模块202，具体用于采用Snake主动轮廓模型对物体轮廓进行修正。

Snake主动轮廓模型是一个曲线，该Snake模型曲线是定义了能量函数的样条曲线，它能在多种力量的共同作用下自主地变形和移动，最终收敛到能量极小值的状态。具体来说，该Snake模型曲线同时受到三种力量的影响，内力给它施加了分段光滑的约束，限制了它的形状；图像力引导它向着图像特征移动，如图像边缘或线段终端；外力将其推向一个合适的局部极值点。Snake主动轮廓模型包括Greedy Snake模型和GVF snake模型，此处简单介绍一下这两个模型：

原始的snake主动轮廓模型将轮廓的能量函数定义为 $E_{\mathrm{snake}}={\&Integral;}_0^1{E}_{\mathrm{int}}\left(v\left(s\right)\right)+E_{\mathrm{ext}}\left(v\left(s\right)\right)\mathrm{ds},$ 其中曲线内部能量 $E_{\mathrm{int}}=\frac{1}{2}(\mathrm{\&alpha;}{\left|v_s\left(s\right)\right|}^2+\mathrm{\&beta;}{\left|v_{\mathrm{ss}}\left(s\right)\right|}^2),$ v(s)表示物体轮廓的函数，v_s(s)和v_ss(s)分别是对该函数v(s)求一阶导和二阶导，α和β为轮廓点参数，曲线外部能量E_ext包括两个能量项：图像自身作用力产生的能量E_img和外部约束力产生的能量E_con，其中外部约束力常常被忽略。

对于灰度图像I(x，y)，通常选用两种形式的灰度图像能量函数E_img：

$E_{\mathrm{img}}^{\left(1\right)}\left(v\left(s\right)\right)=\&PlusMinus;\mathrm{\&gamma;}\left|I(x,y)\right|\&CenterDot;\&CenterDot;\&CenterDot;\left(11\right)$

$E_{\mathrm{img}}^{\left(2\right)}\left(v\left(s\right)\right)=\&PlusMinus;\mathrm{\&gamma;}\left|\right|\&dtri;[G_{\mathrm{\&sigma;}}(x,y)*I(x,y)]\left|\right|\&CenterDot;\&CenterDot;\&CenterDot;\left(12\right)$

式(12)中， $G_{\mathrm{\&sigma;}}(x,y)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\&sigma;}}^2}),$ γ为轮廓点参数。

若采用式(11)作为灰度图像能量函数后，在将Snake模型曲线的能量函数极小化的过程中，Snake模型曲线将会被吸引到图像的亮区或暗区；若采用式(12)作为灰度图像能量函数后，在将Snake模型曲线的能量函数极小化的过程中，Snake模型曲线将被吸引到图像中梯度最大的区域处，图像中梯度最大的区域即为物体轮廓。

在原snake主动轮廓模型基础上，定义一个可以使能量函数

$\mathrm{\&epsiv;}=\&Integral;\&Integral;\mathrm{\&mu;}(u_x^2+u_y^2+v_x^2+v_y^2)+{|\&dtri;f|}^2{|v-\&dtri;f|}^2\mathrm{dxdy}$ 极小化的梯度向量场[u，v]＝[u(x，y)，v(x，y)]其中f(x，y)表示原始图像的灰度图像I(x，y)的轮廓图，用计算出的梯度向量场代替原来的外力，这就是GVF Snake模型。该GVF Snake模型能够克服传统Snake主动轮廓模型对初始位置依赖性大、不能收敛到凹形区域和收敛速度较慢等缺点。

而Greedy Snake模型在每一次迭代中并不是一次性计算出snake模型曲线所有轮廓点的位置，而是分别计算每个轮廓点在这次应移到的位置。具体来说，对于每一个轮廓点，将查找位于该轮廓点一定邻域范围内的所有像素，并将轮廓点移动到该邻域内其中一个能使能量函数达到最小的位置处。

Greedy Snake模型使用的能量函数与原Snake模型不同，Greedy Snake模型对于某个轮廓点v_i，它的总能量E_comb(v_i)由三个加权能量项组成，即

E_comb(v_i)＝α_iE_ela(v_i)+β_iE_curv(v_i)+γ_iE_img(v_i)……………………………………………(13)

式(13)中α_iE_ela(v_i)+β_iE_curv(v_i)表示snake模型曲线的内部能量，α_iE_ela(v_i)+β_iE_curv(v_i)与曲线内部能量 $E_{\mathrm{int}}=\frac{1}{2}(\mathrm{\&alpha;}{\left|v_s\left(s\right)\right|}^2+\mathrm{\&beta;}{\left|v_{\mathrm{ss}}\left(s\right)\right|}^2)$ 相似， $E_{\mathrm{int}}=\frac{1}{2}(\mathrm{\&alpha;}{\left|v_s\left(s\right)\right|}^2+\mathrm{\&beta;}{\left|v_{\mathrm{ss}}\left(s\right)\right|}^2)$ 是在物体轮廓连续的情况下计算的，而α_iE_ela(v_i)+β_iE_curv(v_i)是在对物体轮廓进行离散化后计算snake模型曲线的内部能量。

式(13)中，E_ela(v_i)＝d-|v_i-v_i-1|，d为snake模型曲线上所有相邻轮廓点之间的平均距离，对v(s)进行离散化后，物体轮廓就变成了一个个离散点v_i；E_curv(v_i)＝|v_i+1-2v_i+v_i-1|²；而E_img(v_i)为

整条snake模型曲线的能量函数可以表示为 $E_{\mathrm{snake}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{E}_{\mathrm{comb}}\left(v_i\right).$

本实施例中，当原深度图是由人工绘制的时，由于人工绘制的深度图的轮廓比较精确，修正模块202采用Greedy Snake模型对提取的物体轮廓进行修正；

当原深度图是由半自动或全自动的软件方法提取时，由于软件方法提取的深度图的轮廓精度较差，修正模块202采用GVF snake模型对提取的物体轮廓进行修正。

本发明实施例的有益效果是：通过提取原深度图中物体轮廓，利用主动轮廓模型对提取的物体轮廓进行修正，由于主动轮廓模型在实现边缘检测等任务时，并不像传统方法那样是自治和自底向上的，而是可以通过交互式操作从上层处理机制获得人为的信息，回避掉图像分析和图像理解中的一些高层智能问题，因此当原深度图中的背景及物体轮廓比较复杂时，由于本发明实施例使用主动轮廓模型对物体轮廓进行修正，适当加入一些交互式操作，例如给主动轮廓模型人为施加外力，可对检测出原深度图中物体轮廓进行更精确地修正，而传统方法在原深度图中的背景及物体轮廓比较复杂时将很难实现精确修正；将物体轮廓修正完后，将物体轮廓内外的区域用这些区域的原深度值进行填充，然后进行高斯和递归滤波处理，使处理后的深度图的深度值在物体轮廓处的过渡变得平滑，且使处理后的深度图的轮廓在每相邻两帧图像之间具备相对的一致性和连续性，因此经过轮廓修正和滤波处理后，根据该处理后的深度图合成的立体视频的的抖动性大大降低了，提高了用户的视觉感受；当原深度图由人工绘制时，为提高效率，可以允许获取的物体轮廓与原始图像中的物体轮廓有一定偏差，从而节省绘制的时间，提高效率；当原深度图由半自动或全自动的方法获取时，可适当放宽对深度图精确性上的要求，以降低算法的复杂度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种深度图的处理方法，其特征在于，所述方法包括：

提取原深度图中的物体轮廓；

对提取的所述物体轮廓进行修正，将修正后的所述物体轮廓内外区域用所述区域的原深度值进行填充，得到填充完原深度值的深度图；

对所述填充完的深度图进行高斯滤波。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

对经过高斯滤波后的视频深度图序列进行时域上的递归滤波。

3.根据权利要求2所述的方法，其特征在于，所述方法包括：将经过滤波后的所述视频深度图序列中每一帧和对应的原始图像进行合成，得到立体图像序列，最终合成立体视频。

4.根据权利要求1所述的方法，其特征在于，提取原深度图中的物体轮廓，具体包括：

检测原深度图中物体轮廓，计算所述物体轮廓的面积，将所述物体轮廓面积大于预设阈值的轮廓作为提取的物体轮廓。

5.根据权利要求1或4所述的方法，其特征在于，所述物体轮廓用轮廓点序列表示。

6.根据权利要求1所述的方法，其特征在于，所述对物体轮廓进行修正，包括：

采用Snake主动轮廓模型对物体轮廓进行修正；所述Snake主动轮廓模型包括GreedySnake模型和GVF snake模型。

7.根据权利要求6所述的方法，其特征在于，当所述原深度图由人工绘制时，采用所述Greedy Snake模型对所述物体轮廓进行修正；

当所述原深度图由软件生成时，采用所述GVF snake模型对所述物体轮廓进行修正。

8.根据权利要求1所述的方法，其特征在于，对填充完的深度图进行高斯滤波，具体包括：

对填充完的深度图进行高斯非均匀滤波。

9.根据权利要求2所述的方法，其特征在于，所述对经过高斯滤波后的视频深度图序列进行时域上的递归滤波，包括：

在当前帧图像中的像素与上一帧图像中对应像素的变化在预设阈值T之内时，则

${\hat{I}}_n(x,y)=I_n(x,y)+K({\hat{I}}_{n-1}(x,y)-I_n(x,y));$

其它情况时 ${\hat{I}}_n(x,y)=I_n(x,y);$

其中I_n(x，y)表示当前帧图像中点(x，y)的灰度值，

表示当前帧图像滤波后的图像中点(x，y)的灰度值，

表示当前帧图像的上一帧图像经滤波后的图像中点(x，y)的灰度值，K是权重。

10.一种深度图的处理装置，其特征在于，所述装置包括：提取模块，修正模块，填充模块和第一滤波模块；

所述提取模块，用于提取原深度图中的物体轮廓；

所述修正模块，用于对所述提取模块提取的物体轮廓进行修正；

所述填充模块，用于将所述修正模块修正后的物体轮廓内外区域用所述区域的原深度值进行填充，得到填充完原深度值的深度图；

所述第一滤波模块，用于对所述填充模块填充完的深度图进行高斯滤波。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：第二滤波模块，用于对经过所述第一滤波模块高斯滤波后的视频深度图序列进行时域上的递归滤波。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：合成模块，用于将经过滤波后的所述视频深度图序列中每一帧和对应的原始图像进行合成，得到立体图像序列，最终合成立体视频。

13.根据权利要求10所述的装置，其特征在于，所述提取模块包括：提取单元和采样单元；

所述提取单元，用于提取原深度图中的物体轮廓；

所述采样单元，用于对所述提取单元提取的物体轮廓进行离散点采样，得到多个轮廓点。

14.根据权利要求10所述的装置，其特征在于，所述提取模块具体用于，检测原深度图中物体轮廓，计算所述物体轮廓的面积，将所述物体轮廓面积大于预设阈值的轮廓作为物体轮廓。

15.根据权利要求10所述的装置，其特征在于，所述修正模块，具体用于采用Snake主动轮廓模型对物体轮廓进行修正；所述Snake主动轮廓模型包括Greedy Snake模型和GVFsnake模型。

16.根据权利要求15所述的装置，其特征在于，当所述原深度图由人工绘制时，所述修正模块采用所述Greedy Snake模型对提取的物体轮廓进行修正；

当所述原深度图由软件生成时，所述修正模块采用所述GVF snake模型对提取的物体轮廓进行修正。

Images