CN104394399A - 深度视频编码的三边滤波方法 - Google Patents

Abstract

本发明属于视频编码领域，为使边缘区域的像素只采用属于同区域的像素参与滤波，以减少其它区域像素的干扰，从而克服编码后深度边缘变模糊的现象，达到提高深度视频编码质量的目的。为此，本发明采取的技术方案是，深度视频编码的三边滤波方法，包括如下步骤：1)利用Meanshift算法对深度图和彩色图分别进行区域分割：2)基于深度图和彩色图构造基本滤波器：3)基于分割信息，构造深度区域分割滤波器与彩色区域分割滤波器：4)基于区域分割滤波器的结果将深度图分成边缘区域和非边缘区域：5)基于基本滤波器和区域滤波器构建基于区域的三边滤波器：6)滤波，用滤波结果取代原深度图。本发明主要应用于视频编码。

Description

深度视频编码的三边滤波方法

技术领域

本发明属于视频编码领域，涉及一种对多视点深度视频编码时采用的三边滤波方法。 

技术背景

立体显示技术已经应用于多个领域，包括3D电视、3D电影及虚拟现实技术等。为了减少占用传输带宽和存储空间，多种视频格式被开发出来，以采用较小的数据量来更好的表示3D场景信息。其中，多视点+深度(MVD)格式在多视点彩色视频之外引入了深度图来表示场景物体间的距离关系，可以基于MVD格式绘制任意位置的虚拟视点，成为了当前研究的热点。基于深度图的视点绘制(DIBR)利用相应深度图的距离信息将已有的彩色图投影到虚拟视点上，因此深度图的质量显得尤为重要。深度图的错误将导致像素被映射到错误的位置，引起虚拟视点的几何失真，造成绘制质量的下降。 

深度图有一些重要的特征。首先，深度图由大块的平滑区域构成，这些区域由变化尖锐的边缘分割开来，这些边缘对于区分场景中不同物体和区分前景与背景起着重要的作用，边缘的质量对视点绘制的结果影响很大。用传统编码器编码后深度图添加很多编码噪声，因为编码器是按彩色图的特点设计，并没有考虑到深度图的特性，特别是没有着重提高边缘附近的图像质量；其次，深度图和对应的彩色图有很强的相关性，它们分别表示同一场景的相关信息，因而在研究深度编码方法时可以考虑利用到相关彩色图中的信息。 

目前国内、外研究者提出了一些深度图编码方法。Oh等人提出了一种非线性深度边缘重建滤波器，它可以利用临近像素来恢复物体边缘质量。滤波用到的候选像素利用三个标准选出：像素值出现的频率、与滤波像素的相似度、像素之间的距离。Ko等人提出一种L0范数最小化深度图滤波技术，用L0范数平滑的方法在去除编码噪声的同时保持边缘的尖锐性。Winken等人提出一种运动矢量继承模式，将已编码彩色图的应用于相对应的深度图以提升编码效率。 

发明内容

为克服现有技术的不足，本发明旨在使边缘区域的像素只采用属于同区域的像素参与滤波，以减少其它区域像素的干扰，从而克服编码后深度边缘变模糊的现象，达到提高深度视频编码质量的目的。为此，本发明采取的技术方案是，深度视频编码的三边滤波方法，包括如下步骤： 

1)利用Meanshift算法对深度图和彩色图分别进行区域分割： 

对深度图进行区域分割，为其中每个像素赋一个深度区域分割标号；对彩色图进行区域分割，为其中每个像素赋一个彩色区域分割标号；分在同一区域的像素有相同的标号； 

2)基于深度图和彩色图构造基本滤波器： 

选取像素间几何距离、彩色值相似度和深度值相似度三个条件构建基本滤波器； 

3)基于分割信息，构造深度区域分割滤波器与彩色区域分割滤波器： 

深度区域分割滤波器构造如下： 

$m^D(D_p,D_q)=\left\{\begin{array}{cc}0& L_{\mathrm{dp}}\≠L_{\mathrm{dq}}\\ 1& L_{\mathrm{dp}}=L_{\mathrm{dq}}\end{array}\right.,q\∈\mathrm{\Ω}$

其中L_dp与L_dq分别为p、q的深度区域分割标号； 

彩色区域分割滤波器构造如下： 

$m^T(T_p,T_q)=\left\{\begin{array}{cc}0& L_{\mathrm{tp}}\≠L_{\mathrm{tq}}\\ 1& L_{\mathrm{tp}}=L_{\mathrm{tq}}\end{array}\right.,q\∈\mathrm{\Ω}$

其中L_tp与L_tq分别为p、q的彩色区域分割标号； 

4)基于区域分割滤波器的结果将深度图分成边缘区域和非边缘区域： 

首先统计p的邻域Ω内滤波值的总和： 

$G_{\mathrm{DT}}={\mathrm{\Σ}}_{q\∈\mathrm{\Ω}}{m}^D(D_p,D_q)^m^T(T_p,T_q)$

设Th_DT为阈值，如果G_DT＜Th_DT，则p定义为属于边缘区域，否则属于非边缘区域； 

5)基于基本滤波器和区域滤波器构建基于区域的三边滤波器： 

基于基本滤波器和区域滤波器，计算对像素p的加权平均值，归一化的加权平均公式如下： 

其中，K_p为归一化系数： 

6)采用基于区域的三边滤波器对深度图进行滤波，用滤波结果取代原深度图。 

距离滤波器构造如下： 

$f(p,q)=\left\{\begin{array}{cc}0& q\∉\mathrm{\Ω}\\ 1& q\∈\mathrm{\Ω}\end{array}\right.$

其中p为当前像素，q为除当前像素以外的其它像素，Ω为规定的p的邻域； 

深度值滤波器构造如下： 

$g^D(D_p,D_q)=\left\{\begin{array}{cc}0& |D_p-D_q|>D_{\mathrm{th}}\\ 1& |D_p-D_q|\≤D_{\mathrm{th}}\end{array}\right.$

其中D_p、D_q分别为p、q的深度值，T_th为用于像素选取的深度值的阈值； 

彩色值滤波器构造如下： 

$g^T(T_p,T_q)=\left\{\begin{array}{cc}0& |T_p-T_q|>T_{\mathrm{th}}\\ 1& |T_p-T_q|\≤T_{\mathrm{th}}\end{array}\right.$

其中T_p、T_q分别为p、q的彩色值，T_th为用于像素选取的彩色值的阈值。 

与已有技术相比，本发明的技术特点与效果： 

本发明提出了基于区域的用于深度图编码的三边滤波器方法，提高了编码深度视频编码的质量，降低了传输的码率，并可以进一步通过视点合成提高绘制的虚拟视点的质量。 

附图说明

图1给出了未使用本发明与使用了本发明的编码性能对比； 

图2给出了技术方案的流程图。 

具体实施方式

本发明的目的是利用深度图由大块平坦区域构成的特点，使用基于区域的滤波方法，使边缘区域的像素只采用属于同区域的像素参与滤波，以减少其它区域像素的干扰，从而克服编码后深度边缘变模糊的现象，达到提高深度视频编码质量的目的。 

传统的视频编码方法没能完全利用深度图的特性。为克服现有技术的不足，本发明利用图像区域分割技术，实现基于区域的深度视频编码中的三边滤波方法，具体的技术方案分为下列步骤： 

1：利用Meanshift算法对深度图和彩色图分别进行区域分割。 

对深度图进行区域分割，为其中每个像素赋一个深度区域分割标号；对彩色图进行区域分割，为其中每个像素赋一个彩色区域分割标号；分在同一区域的像素有相同的标号。 

2：基于深度图和彩色图构造基本滤波器。 

选取像素间几何距离、彩色值相似度和深度值相似度三个条件构建基本滤波器。距离滤波器构造如下： 

$f(p,q)=\left\{\begin{array}{cc}0& q\∉\mathrm{\Ω}\\ 1& q\∈\mathrm{\Ω}\end{array}\right.$

其中p为当前像素，q为除当前像素以外的其它像素，Ω为规定的p的邻域。 

深度值滤波器构造如下： 

$g^D(D_p,D_q)=\left\{\begin{array}{cc}0& |D_p-D_q|>D_{\mathrm{th}}\\ 1& |D_p-D_q|\≤D_{\mathrm{th}}\end{array}\right.$

其中D_p、D_q分别为p、q的深度值，T_th为用于像素选取的深度值的阈值。 

彩色值滤波器构造如下： 

$g^T(T_p,T_q)=\left\{\begin{array}{cc}0& |T_p-T_q|>T_{\mathrm{th}}\\ 1& |T_p-T_q|\≤T_{\mathrm{th}}\end{array}\right.$

其中T_p、T_q分别为p、q的彩色值，T_th为用于像素选取的彩色值的阈值。 

3：基于分割信息，构造深度区域分割滤波器与彩色区域分割滤波器： 

深度区域分割滤波器构造如下： 

$m^D(D_p,D_q)=\left\{\begin{array}{cc}0& L_{\mathrm{dp}}\≠L_{\mathrm{dq}}\\ 1& L_{\mathrm{dp}}=L_{\mathrm{dq}}\end{array}\right.,q\∈\mathrm{\Ω}$

其中L_dp与L_dq分别为p、q的深度区域分割标号。 

彩色区域分割滤波器构造如下： 

$m^T(T_p,T_q)=\left\{\begin{array}{cc}0& L_{\mathrm{tp}}\≠L_{\mathrm{tq}}\\ 1& L_{\mathrm{tp}}=L_{\mathrm{tq}}\end{array}\right.,q\∈\mathrm{\Ω}$

其中L_tp与L_tq分别为p、q的彩色区域分割标号。 

4:基于区域分割滤波器的结果将深度图分成边缘区域和非边缘区域。 

首先统计p的邻域Ω内滤波值的总和： 

$G_{\mathrm{DT}}={\mathrm{\Σ}}_{q\∈\mathrm{\Ω}}{m}^D(D_p,D_q)^m^T(T_p,T_q)$

设Th_DT为阈值，如果G_DT＜Th_DT，则p定义为属于边缘区域，否则属于非边缘区域。 

5：基于基本滤波器和区域滤波器构建基于区域的三边滤波器。 

基于基本滤波器和区域滤波器，计算对像素p的加权平均值，归一化的加权平均公式如下： 

其中，K_p为归一化系数： 

6：采用基于区域的三边滤波器对深度图进行滤波，用滤波结果取代原深度图。 

下面结合附图对本发明的具体实施方式进行描述。 

具体的技术方案分为下列步骤： 

1：利用Meanshift算法对深度图和彩色图分别进行区域分割。 

对深度图进行区域分割，为其中每个像素赋一个深度区域分割标号；对彩色图进行区域分割，为其中每个像素赋一个彩色区域分割标号；分在同一区域的像素有相同的标号。图像分割将图像按所属对象分成多个区域，有相同标号的像素在图像中属于同一物体。 

2：基于深度图和彩色图构造基本滤波器。 

选取像素间几何距离、彩色值相似度和深度值相似度三个条件构建基本滤波器。距离滤波器构造如下： 

$f(p,q)=\left\{\begin{array}{cc}0& q\∉\mathrm{\Ω}\\ 1& q\∈\mathrm{\Ω}\end{array}\right.$

其中p为当前像素，q为除当前像素以外的其它像素，Ω为规定的p的邻域，其大小随预设值变化，邻域设置为以p为中心7×7的方形区域。 

深度值滤波器构造如下： 

$g^D(D_p,D_q)=\left\{\begin{array}{cc}0& |D_p-D_q|>D_{\mathrm{th}}\\ 1& |D_p-D_q|\≤D_{\mathrm{th}}\end{array}\right.$

其中D_p、D_q分别为p、q的深度值，T_th为用于像素选取的深度值的阈值。 

彩色值滤波器构造如下： 

$g^T(T_p,T_q)=\left\{\begin{array}{cc}0& |T_p-T_q|>T_{\mathrm{th}}\\ 1& |T_p-T_q|\≤T_{\mathrm{th}}\end{array}\right.$

其中T_p，T_q分别为p、q的彩色值，T_th为用于像素选取的彩色值的阈值。 

3：基于分割信息构造深度区域分割滤波器与彩色区域分割滤波器： 

深度区域分割滤波器构造如下： 

$m^D(D_p,D_q)=\left\{\begin{array}{cc}0& L_{\mathrm{dp}}\≠L_{\mathrm{dq}}\\ 1& L_{\mathrm{dp}}=L_{\mathrm{dq}}\end{array}\right.,q\∈\mathrm{\Ω}$

其中L_dp与L_dq分别为p、q的深度区域分割标号。 

彩色区域分割滤波器构造如下： 

$m^T(T_p,T_q)=\left\{\begin{array}{cc}0& L_{\mathrm{cp}}\≠L_{\mathrm{cq}}\\ 1& L_{\mathrm{cp}}=L_{\mathrm{cq}}\end{array}\right.,q\∈\mathrm{\Ω}$

其中L_tp与L_tq分别为p、q的彩色区域分割标号。 

4：基于区域分割滤波器的结果将深度图分成边缘区域和非边缘区域。 

首先统计p的邻域Ω内滤波值的总和： 

$G_{\mathrm{DT}}={\mathrm{\Σ}}_{q\∈\mathrm{\Ω}}{m}^D(D_p,D_q)^m^T(T_p,T_q)$

设Th_DT为阈值，如果G_DT＜Th_DT，则当前像素p与其邻域像素属同一区域概率低于阈值，位置靠近区域边缘，定义为属于边缘区域，否则属于非边缘区域。此操作将深度图中包含边缘的区域提取出来，以便下一步对边缘区域和非边缘区域采用不同方式滤波。以上进行边缘区域判定的过程也可单独采用深度区域分割滤波器完成。 

5：基于基本滤波器和区域滤波器构建基于区域的三边滤波器。 

基于基本滤波器和区域滤波器，计算对像素p的加权平均值，每个像素的计算都需同时利用到距离、深度图和彩色图三方面的信息。当p属于边缘区域时，选用区域分割滤波器替代基本滤波器来排除属于其它对象像素的影响。归一化的加权平均公式如下： 

其中，K_p为归一化系数： 

若单独采用深度区域分割滤波器进行边缘区域判定，则在边缘区域仅有深度值滤波器被深度区域分割滤波器替代。 

6：采用基于区域的三边滤波器对深度图进行滤波，最后用滤波结果取代原先深度图，输出编码结果。 

下面结合附图说明实验效果： 

为使本发明的效果具有可比性，采用ballet测试序列进行测试，其帧率为15fps，分辨率为1024×768。编码平台采用HM8.0，虚拟视点绘制采用DIBR技术。每个视点包含100帧，GOP长度设为8，搜索范围为32，熵编码方式采用CABAC。图1中为本发明方法和HM8.0方法率失真曲线，由图可知本发明提出的方法可以在同码率下显著提升编码质量。 

Claims (2)

1.一种深度视频编码的三边滤波方法，其特征是，包括如下步骤：

1)利用Meanshift算法对深度图和彩色图分别进行区域分割：

对深度图进行区域分割，为其中每个像素赋一个深度区域分割标号；对彩色图进行区域分割，为其中每个像素赋一个彩色区域分割标号；分在同一区域的像素有相同的标号；

2)基于深度图和彩色图构造基本滤波器：

选取像素间几何距离、彩色值相似度和深度值相似度三个条件构建基本滤波器；

3)基于分割信息，构造深度区域分割滤波器与彩色区域分割滤波器：

深度区域分割滤波器构造如下：

$m^D(D_p,D_q)=\left\{\begin{array}{cc}0& L_{\mathrm{dp}}\≠L_{\mathrm{dq}}\\ 1& L_{\mathrm{dp}}=L_{\mathrm{dq}}\end{array}\right.,q\∈\mathrm{\Ω}$

其中L_dp与L_dq分别为p、q的深度区域分割标号；

彩色区域分割滤波器构造如下：

$m^T(T_p,T_q)=\left\{\begin{array}{cc}0& L_{\mathrm{tp}}\≠L_{\mathrm{tq}}\\ 1& L_{\mathrm{tp}}=L_{\mathrm{tq}}\end{array}\right.,q\∈\mathrm{\Ω}$

其中L_tp与L_tq分别为p、q的彩色区域分割标号；

4)基于区域分割滤波器的结果将深度图分成边缘区域和非边缘区域：

首先统计p的邻域Ω内滤波值的总和：

G_DT＝Σ_q∈Ωm^D(D_p，D_q)∧m^T(T_p，T_q)

设Th_DT为阈值，如果G_DT＜Th_DT，则p定义为属于边缘区域，否则属于非边缘区域；

5)基于基本滤波器和区域滤波器构建基于区域的三边滤波器：

基于基本滤波器和区域滤波器，计算对像素p的加权平均值，归一化的加权平均公式如下：

其中，K_p为归一化系数：

6)采用基于区域的三边滤波器对深度图进行滤波，用滤波结果取代原深度图。

2.如权利要求1所述的深度视频编码的三边滤波方法，其特征是，距离滤波器构造如下：

$f(p,q)=\left\{\begin{array}{cc}0& q\∉\mathrm{\Ω}\\ 1& q\∈\mathrm{\Ω}\end{array}\right.$

其中p为当前像素，q为除当前像素以外的其它像素，Ω为规定的p的邻域；

深度值滤波器构造如下：

$g^D(D_p,D_q)=\left\{\begin{array}{cc}0& |D_p-D_q|>D_{\mathrm{th}}\\ 1& |D_p-D_q|\≤D_{\mathrm{th}}\end{array}\right.$

其中D_p、D_q分别为p、q的深度值，T_th为用于像素选取的深度值的阈值；

彩色值滤波器构造如下：

$g^T(T_p,T_q)=\left\{\begin{array}{cc}0& |T_p-T_q|>T_{\mathrm{th}}\\ 1& |T_p-T_q|\≤T_{\mathrm{th}}\end{array}\right.$

其中T_p、T_q分别为p、q的彩色值，T_th为用于像素选取的彩色值的阈值。