CN103916658A - 采用深度传播技术的3dv系统视点间深度图生成方法 - Google Patents

Abstract

本发明提供一种采用深度传播技术的3DV系统视点间深度图生成的方法。该方法利用视点间的双向深度传播技术，首先通过双方向的自适应可重叠块的视差补偿对代表像素的深度值进行赋值，然后对未进行深度赋值的像素利用亮度深度一致性原理建立有约束的优化方程并求解，从而获得所有视点的深度图。本发明使现有的3DV系统仅仅需要编码并传输纹理图和两个视点的深度图，就能够在解码端获得与采用常用深度视图编码方法质量相当的多视点的深度数据，节省了传输带宽和发送端的编码资源，在3D视频编解码领域有着潜在的应用价值。

Description

采用深度传播技术的3DV系统视点间深度图生成方法

技术领域

本发明涉及一种3DV（三维视频）系统视点间深度图生成方法，属于视频编解码、多媒体信号处理技术领域。

背景技术

如今，3D视频在电影行业和消费电子行业有着越来越广泛的应用。得益于3D显示技术的发展，多视点显示技术也逐渐发展并且提高了用户的视觉体验。然而，多视点显示带来的数据量的增加使三维视频（3DV）系统中多视点视频数据的压缩、存储和传输面临一个挑战。

3DV系统中普遍采用的数据格式是多视点视频加深度（MVD）格式，它包括了多视点的纹理视图和相对应的深度视图。这种基于深度的数据格式包含深度信息作为输入信息的一部分，利用DIBR技术来产生中间视图，能够更好的解决空洞问题并且能够提供更好的立体兼容性。然而，MVD带来的数据量增大问题使MVD数据格式的有效压缩变得非常重要。

近年来，对3DV系统的多视点数据的压缩技术现在正在进行紧张的研究中，相关的编码技术的标准化也在被评估中。以今年来不断进行标准化的3D-HEVC标准提案为例，纹理视图独立于深度视图进行编码以用来支持立体兼容性。其中对深度图采用了视频编码中用到的视点内预测、运动补偿预测，视差补偿预测，变换域编码等方法，在此基础上也进行了一些修改。然而，深度视图无论采用现有的何种方法进行编码，都需要在发送端对每一个视点的深度图进行编码，占用发送端的编码资源。另外，现有的深度编码方式都会产生需要传输的编码信息，占用传输带宽。比如，视点内预测、运动补偿预测、视差补偿预测、变换域编码方式会产生运动向量、视差向量和残差等信息。利用深度建模编码，需要传输模式等信息。这些信息都需要在编码端通过计算产生并且占用传输带宽。

深度传播源于2D转3D技术中的深度估计。2D转3D根据人工参与的多少可以被分为3类：手动，全自动和半自动2D转3D。其中，半自动的方法因为利用较少的人工参与获得好的深度图获得了大家的青睐，在这种系统中用户参与和3D转换效果得到了平衡。在半自动的2D到3D的转换中，利用已有的深度信息来生成整个视频序列的深度图的方法被称为深度传播。深度传播的方法是指事先获得关键帧的深度图，然后利用关键帧和非关键帧的相关性来计算出非关键帧的深度图。同样是利用两幅图像的相关性，根据视点间的相关性也可以利用深度传播技术获得视点的深度图。

发明内容

本发明针对当前3DV系统传播深度数据冗余大，占用编码资源等缺点，提出了一种利用视点间深度传播技术的视点间深度图生成的方法，用于系统解码端。本发明使现有的3DV系统仅仅需要编码并传输纹理图和两个视点的深度图，就能够在解码端获得与采用常用深度图编码方法质量相当的多视点的深度数据，节省了传输带宽和发送端的编码资源。

本发明根据双向的视点间深度传播原理，将3DV系统视点间深度图的生成方法分解为基于自适应可重叠块的视差补偿和建立并求解优化方程对未视差补偿的像素点进行深度分配两个部分。本发明采用的技术方案为：

一种3DV系统视点间深度图生成方法，利用深度传播，由一部分视点的深度图获得另一部分视点的深度图，其特征在于：在系统编码端不需要对每一个视点的纹理图和深度图均进行编码并发送，而是仅需要编码并传输纹理图和两个视点的深度图，在系统解码端根据视点间的相关性，获得其它视点的深度图，具体步骤如下：

（1）自适应可重叠块的视差补偿：取3DV系统MVD格式多视点数据中的2个视点作为关键视点，则其他视点为非关键视点，利用非关键视点的纹理图对2个关键视点的纹理图进行双向可重叠块视差估计，然后，根据视差向量对非关键视点的代表像素进行自适应可重叠块的视差补偿，自适应是指对估计出的视差向量按照估计准确程度分为3级，从1到3级估计准确程度越来越小，把前两级视差补偿的像素点作为代表像素并进行不同方式的视差补偿，第1级直接进行视差补偿，第2级根据权值矩阵进行可重叠块的视差补偿，第3级不进行视差补偿；

（2）建立并求解优化方程对未视差补偿的像素点进行深度分配：对于剩余的未进行视差补偿的像素，根据亮度深度一致性原理建立有约束的优化方程，优化问题被建模为当前像素与邻域窗口像素的加权深度值差异最小化问题，约束条件为非关键视点已经进行了视差补偿的代表像素的深度值，求解后求得未视差补偿的像素点的深度值，即获得整个深度图的深度值。

优选地，通过绝对误差和SAD值计算估计出的视差向量的估计准确程度。

优选地，进行双向视差估计时，根据绝对误差和SAD选择前向和后向视差向量。

本发明中，由于代表像素的深度值具有很高的准确性，经过求解优化方程获得的未视差补偿的像素点的深度值也更加准确。利用视点间的深度传播技术，仅需要编码纹理图和选取的关键视点的深度图就可以在接收端获得所有视点的深度图。实验证明，通过本方法获得的深度数据与现有的深度图编码方法获得的深度数据质量相当，并且由于编码端的编码任务和传输数据量大大降低（仅仅需要编码并传输纹理图和两个视点的深度图），节省了传输带宽和发送端的编码资源。

附图说明

图1是本发明视点间深度传播的原理图；

图2是本发明的方法框图；

图3是本发明采用的双向可重叠块视差估计的原理图；

图4是本发明采用的可重叠块运动补偿中的权值矩阵；

图5是本发明针对测试图片得到的实验结果。其中(a)(c)是解码重建的关键视点的纹理图，(b)是解码重建的非关键视点的纹理图，(d)是自适应可重叠块运动补偿之后得到的非关键视点的深度图，(e)是通过优化建模得到的最终的深度图，(f)是解码重建的非关键视点的深度图。

具体实施方式

本发明为了模拟真正的3DV系统接收端的条件，选取的测试的MVD格式数据都是经过编码重建之后的数据。测试统一采用HEVC标准进行编码，量化参数QP值都设置为18，同样也可在其它实验条件下进行实验。将3DV系统接收端中纹理图和深度图都传输的两个视点定义为关键视点，需要通过深度传播生成深度图的视点定义为非关键视点。视点间深度传播过程如图1所示，已知视点0和视点N的深度图和所有视点的纹理图，可深度传播出其余视点的深度图。本发明中选取两个关键视点利用双方向的自适应可重叠块视差补偿对纹理图进行视差估计，然后利用关键视点的深度图对非关键视点的深度图进行视差补偿来获得代表像素点的深度值，最后利用亮度深度一致性对图像进行建模，通过求解有约束的优化方程来获得未进行视差补偿的像素的深度值，从而获得整个非关键视点的深度图。方法框图如图2所示。

下面结合具体实例（但不限于此例）以及附图对本发明进行进一步的说明。其中图1为本发明的方法框图。

步骤一：基于自适应可重叠块的视差补偿

（1）本发明采用双向可重叠块视差估计方法来进行视差估计，如图3所示。图3表示双向可重叠块视差估计，V(i)代表了非关键视点的纹理图，两侧的帧V(i-1)和V(i+1)是对应的两个关键视点的纹理图，V(i)上的灰色块表示非关键视点纹理图上的一个重叠块。首先，在非关键视点帧上取出L×L块，并扩展为M×M的可重叠块，然后在前一关键视点帧内找到匹配可重叠块对应的前向视差向量，在后一关键视点帧上找到匹配可重叠块对应的后向视差向量。可重叠块的使用提高了原有块视差估计的准确性，同时也减弱了边缘效应。

（2）本发明采用计算SAD值作为最佳匹配准则，从前向和后向视差向量中选取使SAD最小的视差向量，作为L×L块的最佳视差向量。

在确定了每一块的最佳视差向量之后，将这些视差信息用于视差补偿。在进行传统的运动补偿(MC)时，每一块的运动向量(MV)是固定的，因此当相邻块MV与当前块MV差别很大时，会产生边界效应。而可重叠块运动补偿（OBMC）中，每块的每个点的像素值是对当前块和相邻块的每个对应像素点加权得到的，这样就可以降低边界效应。但与此同时，因为所有相邻块都采用同一个权值矩阵，所以引进了模糊或过平滑现象，尤其当估计MV和真实MV很接近时，模糊和过平滑现象更明显。本发明利用分级运动补偿模型，也就是自适应可重叠块视差补偿来克服这些问题，采用公式（1）来计算归一化SAD。

${\mathrm{SAD}}_{\mathrm{norm}}=\frac{{\mathrm{\Σ}}_{i,j}|C(i,j)-M(i,j)|}{{\mathrm{\Σ}}_{i,j}C(i,j)}---\left(1\right)$

其中SAD_norm是绝对误差和的归一化值，C代表当前块，M代表当前根据视差估计确定的当前块在关键视点帧中的匹配块，（i,j）代表当前块中像素点的坐标。

（3）根据视差向量分级结果对非关键视点深度图进行自适应可重叠块视差补偿(AOBDC)。

本发明根据SAD值的大小对视差向量分为三个等级，三个门限值分别为T₁，T₂，T₃，而且T₁<T₂<T₃。本发明设T₁=0.01，T₂=0.03，T₃=0.05。

如果SAD<T₁，直接视差补偿；

如果T₁≤SAD≤T₂，采用可重叠块权值矩阵进行视差补偿，补偿之后的像素点的深度值由公式（2）得出。

${D(i,j)}_{\mathrm{OBDC}}\frac{W_c(i,j)\&CenterDot;C(i,j)+{\mathrm{\&Sigma;}}_{n=1}^4{W}_n(i,j)\&CenterDot;N_n(i,j)}{W_c(i,j)+{\mathrm{\&Sigma;}}_{n=1}^4{W}_n(i,j)}---\left(2\right)$

其中,W_c为当前块对应的权值矩阵，W_n为当前块对应的上、下、左、右四个相邻块对应的权值矩阵，N_n为当前块的上下左右四个相邻块。本发明选取4×4的块为原始块，即L=4，采用的用于可重叠块视差补偿的梯形窗类型的权值矩阵如图4所示，从左至右分别表示中心块和与中心块上、下、左、右相邻的块的权值矩阵，它们的值作为公式（2）的参数值；

如果SAD>T₂，不进行视差补偿。

经过AOBDC得到的非关键视点的深度图如图5(d)所示。由于关键视点和关键视点之间的高度相关性，非关键视点中的大部分像素点都能利用自适应可重叠块视差补偿传播出深度值。这部分像素的深度值具有很高的准确度，用以作为代表像素。代表像素深度值的准确性间接影响了最终深度传播产生的整体深度图的准确性。

步骤二：建立并求解优化方程对未视差补偿的像素点进行深度分配。

（1）本发明基于亮度深度一致性约束将未进行视差补偿的像素点深度分配的问题建模为有约束的优化问题。对于剩余的未进行视差补偿的像素，根据亮度深度一致性原理建立有约束的优化方程，优化问题被建模为当前像素与邻域窗口像素的加权深度值差异最小化问题，约束条件为非关键视点已经进行了视差补偿的代表像素的深度值，求解后求得未视差补偿的像素点的深度值，即获得整个深度图的深度值。亮度深度一致性约束是指如果相邻像素的亮度值相似，那么他们的深度值也保持一致。通过最小化像素r的深度与其相邻像素的加权深度之间的差异建立优化方程。约束条件是在为非关键视点深度图的一些代表像素赋予准确的初始深度值，本发明通过步骤一中的自适应可重叠块视差补偿为代表像素赋予深度值。以此为依据建立有约束的优化方程，公式如下：

$\underset{D}{\min J}\left(D\right)=\underset{r}{\mathrm{\&Sigma;}}{(D\left(r\right)-\underset{s\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{\mathrm{rs}}D\left(s\right))}^2---\left(3\right)$

约束条件为：

D(r_i)=D(r_i)_AOBDC(4)

公式(3)中D表示最终需要生成的非关键视点深度图，r表示非关键视点深度图中的像素点。N(r)是像素r的邻域窗口，s是r领域窗口中的像素。约束条件公式(4)中，r_i表表非关键视点深度图中的代表像素，它们的深度值D(r_i)被赋予经自适应可重叠块视差补偿的深度值D(r_i)_AOBDC。公式(4)中ω_rs是一个归一化的加权函数，它的表达式如下：

${\mathrm{\&omega;}}_{\mathrm{rs}}=e^{-\frac{{(Y\left(r\right)-Y\left(s\right))}^2}{2{\mathrm{\&sigma;}}_r^2}}---\left(5\right)$

公式(5)中，Y(r)，Y(s)分别为非关键视点纹理图中像素r与邻域窗口像素s的亮度值，σ_r是r邻域窗口像素亮度值的方差。该加权函数的核心就是亮度深度一致性，当像素r与邻域亮度差异越小，则加权值越大，为了保持优化方程最小化，深度值则越接近。

（2）采用常用的求解优化问题的最小二乘算法求得本发明中优化方程的最优解。图4(e)是本发明得到的最终的非关键视点的深度图，同理也可获得其他更多非关键视点的深度图。通过与图4(f)解码重建得到的到真实深度图对比观察，可以看出本发明能够生成准确的深度图作为3DV系统解码端的MVD数据格式中的深度数据。

Claims (3)

1.一种3DV系统视点间深度图生成方法，利用深度传播，由一部分视点的深度图获得另一部分视点的深度图，其特征在于：在系统编码端不需要对每一个视点的纹理图和深度图均进行编码并发送，而是仅需要编码并传输纹理图和两个视点的深度图，在系统解码端根据视点间的相关性，获得其它视点的深度图，具体步骤如下：

（1）自适应可重叠块的视差补偿：取3DV系统MVD格式多视点数据中的2个视点作为关键视点，则其他视点为非关键视点，利用非关键视点的纹理图对2个关键视点的纹理图进行双向可重叠块视差估计，然后，根据视差向量对非关键视点的代表像素进行自适应可重叠块的视差补偿，自适应是指对估计出的视差向量按照估计准确程度分为3级，从1到3级估计准确程度越来越小，把前两级视差补偿的像素点作为代表像素并进行不同方式的视差补偿，第1级直接进行视差补偿，第2级根据权值矩阵进行可重叠块的视差补偿，第3级不进行视差补偿；

（2）建立并求解优化方程对未视差补偿的像素点进行深度分配：对于剩余的未进行视差补偿的像素，根据亮度深度一致性原理建立有约束的优化方程，优化问题被建模为当前像素与邻域窗口像素的加权深度值差异最小化问题，约束条件为非关键视点已经进行了视差补偿的代表像素的深度值，求解后求得未视差补偿的像素点的深度值，即获得整个深度图的深度值。

2.根据权利要求1所述的3DV系统视点间深度图生成方法，其特征在于：通过绝对误差和SAD值计算估计出的视差向量的估计准确程度。

3.根据权利要求1所述的3DV系统视点间深度图生成方法，其特征在于：进行双向视差估计时，根据绝对误差和SAD选择前向和后向视差向量。