CN106162198A - 基于不规则匀质块分割的三维视频深度图编码及解码方法 - Google Patents

Abstract

本发明涉及一种基于不规则匀质块分割的三维视频深度图编码及解码方法，包括以下步骤；1)输入一帧深度图及对应纹理图像；2)采用标准编码方法对纹理视频进行编码；3)对重建纹理视频进行超像素分割；4)将深度图划分为不规则匀质块；5)计算使得不规则匀质块对应合成区域失真最小的深度像素值并用该像素值表示整个不规则匀质块；6)对不规则匀质块表示的深度图进行无损编码；7)接收并解码一帧三维视频图像码流；8)对解码的纹理视频图像进行超像素分割；9)对解码的深度图进行重建；10)对重建深度图采用伪边缘滤波法进行质量增强。本发明充分考虑深度图分片平滑的内部特性和虚拟视点的合成失真，可提高深度图编码效率并显著降低深度图编码的计算复杂度，还可兼容任何标准深度图编码方法。

Description

基于不规则匀质块分割的三维视频深度图编码及解码方法

技术领域

本发明属于三维视频编码技术领域，涉及一种基于不规则匀质块分割的三维视频深度图编码及解码方法。

背景技术

随着多媒体技术的快速发展，三维视频应用已经被越来越多的消费电子设备所支持，如三维电视、自由视点电视、交互式视频游戏设备等。与传统的视频技术相比，三维视频可以通过深度信息提供自然场景的透视描述，即所谓的立体感知。此外，三维视频还允许用户交互式地进行视点选择。目前，三维视频采用多视点视频+深度图(Multi-viewvideoplusdepth，MVD)格式进行表示，其中深度图用于指示场景的三维几何关系。MVD格式表示的有点在于只有少量参考视点的纹理视频和深度图需要被压缩并传输或存储，而其余任何位置的虚拟视点均可以采用基于深度图绘制(depth-image-based rendering,DIBR)技术进行合成，这无疑大大降低了三维视频表示所需的数据量。深度图决定了虚拟视点中像素合成的位置，深度图的轻微错误都可能导致虚拟视点严重的失真现象。因此，高质量的深度图压缩编码对于三维视频应用起着关键性的作用。

深度图编码的效率对于实际的三维视频应用非常重要。特别是对于计算能力有限的消费电子设备。同时，考虑到移动设备的带宽资源非常有限，对于高效的低码率深度图编码方法的需求就显得更加急迫。与传统的视频编码技术相比，深度图编码面临几个关键性的问题。首先，纹理视频和深度图的压缩以不同的方式对虚拟视点的合成质量产生影响。因此，需要采用高效的码率分配策略选择最佳的纹理/深度图码率分配比例。其次，深度图通常由强边缘分割开来的若干大面积平滑区域构成，高效的深度图编码方法必须充分利用深度图的这一显著特性。此外，深度图并不被用户直接观看，而是作为虚拟视点合成的辅助信息。因此，深度图编码应该保证虚拟视点的合成失真最小化，而不是深度图本身的失真最小化。

发明内容

有鉴于此，本发明的目的在于提供一种基于不规则匀质块分割的三维视频深度图编码及解码方法，该方法充分考虑了深度图分片平滑的内部特性和虚拟视点的合成失真，不但可以实现编码效率的提高，还可以显著降低深度图编码的计算复杂度；同时，该方法可以与任何标准的深度图编码方法相兼容。

为达到上述目的，本发明提供如下技术方案：

一种基于不规则匀质块分割的三维视频深度图编码及解码方法，该方法包括以下步骤：

S1：输入一帧三维视频深度图以及对应的纹理视频图像；

S2：采用标准视频编码方法对纹理视频进行编码；

S3：对纹理视频编码后的重建视频图像采用K均值聚类算法进行超像素分割，将重建的纹理视频图像分割成若干个像素值和面积近似一致的超像素单元块；

S4：利用步骤S3得到的纹理视频超像素分割图的位置映射将对应的深度图划分成与纹理视频超像素单元个数一致的不规则均质块；

S5：对步骤S4得到的深度图的每一个不规则匀质块计算一个使得对应虚拟视点合成区域失真最小的深度像素值，并用该像素值表示整个不规则匀质块；

S6：对步骤S5得到的深度图采用标准的深度图编码方法进行无损编码；

S7：对步骤S2和S6得到的纹理视频和深度图的编码码流进行传输或存储；

S8：接收一帧深度图和其对应的纹理视频的码流；

S9：解码并得到一帧深度图和对应的纹理视频图像；

S10：对步骤S9得到的解码后的纹理视频图像进行与步骤S3相同的超像素分割；

S11：利用步骤S10得到的纹理视频图像的超像素分割图对步骤S9得到的解码的深度图进行上采样重建；

S12：对步骤S11得到的重建的深度图采用伪边缘滤波方法进行质量增强；

S13：重复步骤S1～S12，对三维视频所有帧进行编码及解码。

进一步，所述步骤S4具体包括以下步骤：

S41：计算纹理视频图像每个像素点(x,y)所属的超像素单元块序号Ω_i；

S42：将深度图的每一个像素(x,y)所属的不规则匀质块序号设为其对应纹理视频图像中像素点(x,y)所属的超像素单元块序号Ω_i；

S43：对一帧深度图中的所有像素点重复步骤S41和S42，将一帧深度图划分成若干个不规则的匀质块。

进一步，所述步骤S5具体包括以下步骤：

S51：遍历深度图每一个不规则匀质块Ω_i中的所有像素点，找出所有不相同的像素值记为集合S＝{s₁,s₂,…}；

S52：对集合S中每一个像素值s_j，计算用该像素值取代整个不规则匀质块所产生的虚拟视点的合成失真合成失真的表达式如下：

$D_v^j=2{\mathrm{\σ}}_{\mathrm{\Ω}}^2\underset{i\∈\mathrm{\Ω}}{\Σ}(1-{\mathrm{\ρ}}^{|\mathrm{\Δ}P\left(i\right)})$

式中，σ_Ω为对应纹理视频超像素单元块的方差，ρ为纹理视频超像素单元块平移一个像素点之后与原始超像素单元块之间的协方差系数，ΔP(i)为深度图失真造成的虚拟视点合成位置错误，ΔP(i)的表示式如下：

$\mathrm{\Δ}P\left(i\right)=\frac{{\mathrm{f\δ}}_x}{255}(\frac{1}{Z_{near}}-\frac{1}{Z_{far}})(d_i-s_j)$

式中，f为摄像机焦距，δ_x为参考视点与虚拟视点之间的水平偏移，Z_far表示三维场景(三维视频所对应的真实场景)中最远点的实际深度值，Z_near表示三维场景中最近点的实际深度值，d_i表示深度图不规则匀质块Ω中的每一个像素点；

S53：选择集合S中使得虚拟视点合成失真最小的s^opt表示整个不规则匀质块的所有深度像素点，s^opt的表达式如下：

$s^{opt}=\underset{s_j\∈S}{\arg \min }{D}_v^j.$

进一步，所述步骤S11具体包括以下步骤：

S111：计算纹理视频图像中像素点(x,y)所属的超像素单元Ω_k；

S112：计算深度图像素点(x,y)的像素值d(x,y)，具体表达式如下：

d(x，y)＝B_k，if(x，y)∈Ω_k

式中，B_k为第k个超像素单元的像素值。

进一步，所述步骤S12具体包括以下步骤：

S121：对相邻两个不规则匀质块，计算出分别通过两个不规则匀质块聚类中心且平行于两个不规则匀质块分界线的两个线；

S122：对相邻两个不规则匀质块中的每一个像素点P的深度值d_P，具体计算公式如下：

$d_p=\left\{\begin{array}{cc}\frac{\left|\right|N-P\left|\right|}{\left|\right|N-M\left|\right|}{d}_1+\frac{\left|\right|M-P\left|\right|}{\left|\right|N-M\left|\right|}{d}_1,& if|d_1-d_2|\≤T\\ d_1,& if|d_1-d_2|>TandP\∈{\mathrm{\Ω}}_1\\ d_2,& if|d_1-d_2|>TandP\∈{\mathrm{\Ω}}_2\end{array}\right.$

式中，d₁和d₂分别为滤波前两个不规则匀质块Ω₁和Ω₂中深度像素的值，M和N分别为过像素点P的交界线的法线与S121中计算出的两条线的交点，||A-B||表示计算像素点A和B之间的欧氏距离，T为阈值。

本发明的有益效果在于：本发明充分考虑了深度图分片平滑的内部特性和虚拟视点的合成失真，不但可以实现深度图编码效率的提高，还可以显著降低深度图编码的计算复杂度。同时，该方法可以与任何标准的深度图编码方法相兼容。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明实施例的方法流程图；

图2为步骤S3-S5的示意图；

图3位深度图重建示意图；

图4为深度图伪边缘滤波示意图；

图5为Breakdancer序列的率失真曲线；

图6为Ballet序列的率失真曲线；

图7为BookArrival序列的率失真曲线；

图8为Balloons序列的率失真曲线；

图9为Breakdancer序列的局部合成主观质量对比；

图10为Ballet序列的局部合成主观质量对比；

图11为4种方法的编码时间对比；

图12为4种方法的解码时间对比；

图13为4种方法的总时间(编码+解码)对比。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为本发明实施例的方法流程图，如图所示，本发明提供的一种基于不规则匀质块分割的三维视频深度图编码及解码方法，包括如下步骤：

步骤1，输入一帧三维视频深度图及该深度图对应的纹理视频图像。

步骤2，采用任何标准的视频编码方法对输入的纹理视频图像进行编码，本实施例选用多视点视频编码方法(JMVC8.5)对纹理视频图像进行编码。

步骤3，对纹理视频编码后的重建视频图像采用K均值聚类算法进行超像素分割，将编码重建的纹理视频图像分割成若干个像素值和面积近似一致的超像素单元块，相邻超像素单元之间由强边缘分离。

基于视频图像通常以YCbCr色彩空间表示，采用YCbCr色彩空间的加权像素距离进行K均值聚类实现超像素单元的分割，设定(Y_p,Cb_p,Cr_p)为像素点p的像素值，(x_p,y_p)为像素点p的坐标,(Y_q,Cb_q,Cr_q)为像素点q的像素值，(x_q,y_q)为像素点q的坐标，则像素点p和q之间的加权像素距离D_pq可由下式获得：

$d_o=\sqrt{{(Y_p-Y_q)}^2+{({\mathrm{Cb}}_p-{\mathrm{Cb}}_q)}^2+{({\mathrm{Cr}}_p-{\mathrm{Cr}}_q)}^2}$

$d_s=\sqrt{{(x_p-x_q)}^2+{(y_p-y_q)}^2}$

$D_{pq}=\sqrt{{\left(\frac{d_o}{m}\right)}^2+{\left(\frac{d_s}{S}\right)}^2}$

其中，m为颜色的归一化参数，在本实施例中取10，S为超像素近似相等的面积。S越大，划分的超像素单元越少，反之亦然。

步骤4，利用步骤(3)得到的纹理视频超像素分割的位置映射将对应的深度图划分成与纹理视频超像素单元个数一致的不规则均质块。

深度图由被强边缘分隔开的若干匀质区域构成，且深度图的这些强边缘和其对应的纹理视频图像的边缘出现的位置是一致的。采用与对应纹理视频图像相同的分割，即可将深度图分割成若干个匀质区域。

4-1、计算纹理视频图像每个像素点(x,y)所属的超像素单元块序号n；

4-2、将深度图的每一个像素(x,y)所属的不规则匀质块序号设为其对应纹理视频图像中像素点(x,y)所属的超像素单元块序号n；

4-3、对一帧深度图中的所有像素点重复步骤(4-1)和(4-2)，将一帧深度图划分成与纹理视频超像素单元个数一致的不规则匀质块；

步骤5，对步骤(4)得到的深度图的每一个不规则匀质块计算一个使得对应虚拟视点合成区域失真最小的深度像素值，并用该像素值表示整个不规则匀质块。

深度图不会被用户直接观看而是用于虚拟视点合成。因此，当深度图的每一个不规则匀质块用一个深度像素值表示，该深度像素值应该保证虚拟视点的合成失真最小。

设定参考视点的像素点为(x_r,y_r)，根据针孔相机模型，像素点(x_r,y_r)会被映射到如下式所示的虚拟视点的像素点(x_v,y_v)：

$\left[\begin{array}{c}{x}_v\\ y_v\\ z_v\end{array}\right]=A_v{R}_v^{-1}{R}_r{A}_r^{-1}\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]+A_v{R}_v^{-1}(T_r-T_v)$

其中，A为摄相机的内参矩阵，R为旋转矩阵，T为摄像机的平移矢量，下表r和v分别表示参考视点和虚拟视点。

在三维视频编码中，实际的深度图被转化为8比特表示的深度值，因此深度像素值和实际深度值之间的关系如下式所示：

$\frac{1}{Z(x_r,y_r)}=\frac{d(x_r,y_r)}{255}(\frac{1}{Z_{near}}-\frac{1}{Z_{far}})+\frac{1}{Z_{far}}$

其中，d(x_r，y_r)为8比特表示的深度像素值，Z(x_r，y_r)为实际的深度值，Z_far表示三维场景(三维视频所对应的真实场景)中最远点的实际深度值，Z_near表示三维场景中最近点的实际深度值。

对于一个精确校正好的三围摄像机系统，各个摄像机的内参和旋转矩阵是相同的，即是说A_r＝A_v且R_r＝R_v。此外，三维视频系统采用1D的平行排列，因此摄像机之间只存在水平方向的平移，即是说T_r和T_v之间的差值只存在x方向的分量。于是，虚拟视点的像素点坐标(x_v,y_v)可由下式表示：

$\left\{\begin{array}{c}{x}_v=x_r+\frac{{\mathrm{f\δ}}_x}{Z(x_r,y_r)}\\ y_v=y_r\end{array}\right.$

其中，f为摄像机焦距，δ_x为参考视点与虚拟视点之间的水平偏移。

设定用像素值d^Ω表示整个不规则匀质块Ω，则不规则匀质块Ω中每个深度像素d_i造成的合成位置误差ΔP(i)如下式所示：

$\mathrm{\Δ}P\left(i\right)=\frac{{\mathrm{f\δ}}_x}{255}(\frac{1}{Z_{near}}-\frac{1}{Z_{far}})(d_i-d^{\mathrm{\Ω}})$

对于不规则匀质块Ω中的每一个深度像素d_i，设定其在对应纹理视频图像中同位置的纹理像素值为C(i),C(i+ΔP(i))为偏移ΔP(i)处的纹理像素值。于是，由d^Ω取代d_i造成的虚拟视点的合成失真D_v(i)可以表示为：

$D_v\left(i\right)=E{\{C\left(i\right)-C(i+\mathrm{\ΔP}\left(i\right))\}}^2=E{\left\{C\left(i\right)\right\}}^2-2E\left\{C\left(i\right)C(i+\mathrm{\ΔP}\left(i\right))\right\}+E\left\{{\left(C\left(i\right)\right)}^2\right\}=2{\mathrm{\σ}}_{\mathrm{\Ω}}^2(1-{\mathrm{\ρ}}^{|\mathrm{\Δ}\left(i\right)})$

其中，E{}表示期望运算，σ_Ω为对应纹理视频超像素单元块的方差，ρ为纹理视频超像素单元块平移一个像素点之后与原始超像素单元块之间的协方差系数。

用像素值d^Ω表示整个不规则匀质块Ω造成的虚拟视点的合成失真是Ω中每一个深度像素造成的合成失真之和，可由下式表示：

$D_v^{\mathrm{\Ω}}=2{\mathrm{\σ}}_{\mathrm{\Ω}}^2\underset{i\∈\mathrm{\Ω}}{\Σ}(1-{\mathrm{\ρ}}^{|\mathrm{\Δ}P\left(i\right)})$

5-1、遍历每一个不规则匀质块Ω中的所有深度像素点，找出所有不相同的像素值记为集合S＝{s₁,s₂,…}；

5-2、对集合S中每一个像素值s_j，计算用该像素值取代整个不规则匀质块所产生的虚拟视点的合成失真

5-3、选择集合S中使得虚拟视点合成失真最小的s^opt表示整个不规则匀质块的所有深度像素点。

图2为步骤(3)-(5)的示意图。

步骤6，对步骤(5)得到的深度图采用标准的深度图编码方法进行无损编码；

步骤7，对步骤(2)和(6)得到的纹理视频和深度图的编码码流进行传输或存储；

步骤8，接收一帧深度图和其对应的纹理视频的码流；

步骤9，解码并得到一帧深度图和对应的纹理视频图像；

步骤10，对步骤(9)得到的解码后的纹理视频图像进行与步骤(3)相同的超像素分割；

步骤11，利用步骤(10)得到的纹理视频图像的超像素分割图对步骤(9)得到的解码的深度图进行上采样重建。

11-1、计算纹理视频图像中像素点(x,y)所属的超像素单元Ωk；

11-2、如图3所示，计算深度图像素点(x,y)的像素值d(x,y)，具体表达式如下：

d(x，y)＝B_k，if(x，y)∈Ω_k

式中，B_k为第k个超像素单元的像素值。

步骤12，对步骤(11)得到的重建的深度图采用伪边缘滤波方法进行质量增强。

通过步骤11重建深度图之后，可以较好地保持深度图的边缘，但是由于同一不规则匀质块采用同一深度像素值，会造成一些伪边缘。如图4所示，对重建后的深度图进行伪边缘滤波消除，具体分为如下几个子步骤：

12-1、对相邻两个不规则匀质块，计算出分别通过两个不规则匀质块聚类中心且平行于两个不规则匀质块分界线的两个线；

12-2、对相邻两个不规则匀质块中的每一个像素点P的深度值d_P，具体计算公式如下：

$d_p=\left\{\begin{array}{cc}\frac{\left|\right|N-F\left|\right|}{\left|\right|N-M\left|\right|}{d}_1+\frac{\left|\right|M-P\left|\right|}{\left|\right|N-M\left|\right|}{d}_1,& if|d_1-d_2|\≤T\\ d_1,& if|d_1-d_2|>TandP\∈{\mathrm{\Ω}}_1\\ d_2,& if|d_1-d_2|>TandP\∈{\mathrm{\Ω}}_2\end{array}\right.$

式中，d1和d2分别为滤波前两个不规则匀质块Ω1和Ω2中深度像素的值，M和N分别为过像素点P的交界线的法线与(12-1)中计算出的两条线的交点，||A-B||表示计算像素点A和B之间的欧氏距离，T为设定的阈值，本实施例取值为7。

步骤13，(13)重复步骤(1)～(12)，对三维视频所有帧进行编码及解码。

实验效果：采用本发明对Breakdancer、Ballet、BookArrival和Balloons共4个典型的三维视频序列进行深度图编码实验(本发明方法记为Proposed)。将本发明与三种现有典型方法进行比较。

这三种典型方法分别为：(1)标准三维视频多视点视频编码方法JMVC8.5(本实施例记为JMVC)；(2)基于上下采样联合的深度滤波器编码方法(本实施例记为OH)；(3)非线性重采用深度图编码方法(本实施例记为Aflaki)。

图5-8分别为Breakdancer、Ballet、BookArrival和Balloons这4个三维视频测试序列的率失真曲线图。

图9和10分别为Breakdancer和Ballet两个序列的虚拟合成视点图像细节的主观质量对比。

图11-13分别为本发明方法和三种典型方法的编码时间、解码时间和总时间对比。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种基于不规则匀质块分割的三维视频深度图编码及解码方法，其特征在于：该方法包括以下步骤：

S1：输入一帧三维视频深度图以及对应的纹理视频图像；

S2：采用标准视频编码方法对纹理视频进行编码；

S3：对纹理视频编码后的重建视频图像采用K均值聚类算法进行超像素分割，将重建的纹理视频图像分割成若干个像素值和面积近似一致的超像素单元块；

S4：利用步骤S3得到的纹理视频超像素分割图的位置映射将对应的深度图划分成与纹理视频超像素单元个数一致的不规则均质块；

S5：对步骤S4得到的深度图的每一个不规则匀质块计算一个使得对应虚拟视点合成区域失真最小的深度像素值，并用该像素值表示整个不规则匀质块；

S6：对步骤S5得到的深度图采用标准的深度图编码方法进行无损编码；

S7：对步骤S2和S6得到的纹理视频和深度图的编码码流进行传输或存储；

S8：接收一帧深度图和其对应的纹理视频的码流；

S9：解码并得到一帧深度图和对应的纹理视频图像；

S10：对步骤S9得到的解码后的纹理视频图像进行与步骤S3相同的超像素分割；

S11：利用步骤S10得到的纹理视频图像的超像素分割图对步骤S9得到的解码的深度图进行上采样重建；

S12：对步骤S11得到的重建的深度图采用伪边缘滤波方法进行质量增强；

S13：重复步骤S1～S12，对三维视频所有帧进行编码及解码。

2.根据权利要求1所述的一种基于不规则匀质块分割的三维视频深度图编码及解码方法，其特征在于：所述步骤S4具体包括以下步骤：

S41：计算纹理视频图像每个像素点(x,y)所属的超像素单元块序号Ω_i；

S42：将深度图的每一个像素(x,y)所属的不规则匀质块序号设为其对应纹理视频图像中像素点(x,y)所属的超像素单元块序号Ω_i；

S43：对一帧深度图中的所有像素点重复步骤S41和S42，将一帧深度图划分成若干个不规则的匀质块。

3.根据权利要求1所述的一种基于不规则匀质块分割的三维视频深度图编码及解码方法，其特征在于：所述步骤S5具体包括以下步骤：

S51：遍历深度图每一个不规则匀质块Ω_i中的所有像素点，找出所有不相同的像素值记为集合S＝{s₁,s₂,…}；

S52：对集合S中每一个像素值s_j，计算用该像素值取代整个不规则匀质块所产生的虚拟视点的合成失真合成失真的表达式如下：

式中，σ_Ω为对应纹理视频超像素单元块的方差，ρ为纹理视频超像素单元块平移一个像素点之后与原始超像素单元块之间的协方差系数，ΔP(i)为深度图失真造成的虚拟视点合成位置错误，ΔP(i)的表示式如下：

式中，f为摄像机焦距，δ_x为参考视点与虚拟视点之间的水平偏移，Z_far表示三维场景(三维视频所对应的真实场景)中最远点的实际深度值，Z_near表示三维场景中最近点的实际深度值，d_i表示深度图不规则匀质块Ω中的每一个像素点；

S53：选择集合S中使得虚拟视点合成失真最小的s^opt表示整个不规则匀质块的所有深度像素点，s^opt的表达式如下：

4.根据权利要求1所述的一种基于不规则匀质块分割的三维视频深度图编码及解码方法，其特征在于：所述步骤S11具体包括以下步骤：

S111：计算纹理视频图像中像素点(x,y)所属的超像素单元Ω_k；

S112：计算深度图像素点(x,y)的像素值d(x,y)，具体表达式如下：

d(x，y)＝B_k，if(x，y)∈Ω_k

式中，B_k为第k个超像素单元的像素值。

5.根据权利要求1所述的一种基于不规则匀质块分割的三维视频深度图编码及解码方法，其特征在于：所述步骤S12具体包括以下步骤：

S121：对相邻两个不规则匀质块，计算出分别通过两个不规则匀质块聚类中心且平行于两个不规则匀质块分界线的两个线；

S122：对相邻两个不规则匀质块中的每一个像素点P的深度值d_P，具体计算公式如下：

式中，d₁和d₂分别为滤波前两个不规则匀质块Ω₁和Ω₂中深度像素的值，M和N分别为过像素点P的交界线的法线与S121中计算出的两条线的交点，||A-B||表示计算像素点A和B之间的 欧氏距离，T为阈值。