CN103997635A

CN103997635A - 自由视点视频的合成视点失真预测方法及编码方法

Info

Publication number: CN103997635A
Application number: CN201410146857.4A
Authority: CN
Inventors: 金欣; 李晨阳; 张永兵; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2014-04-11
Filing date: 2014-04-11
Publication date: 2014-08-20
Anticipated expiration: 2034-04-11
Also published as: CN103997635B

Abstract

本发明公开了自由视点视频的合成视点失真预测方法及编码方法：将原始纹理图块T_o根据原始深度图块d_o映射到合成视点的对应位置；将纹理图块T_c根据深度图块d_c映射到合成视点的对应位置，其中，纹理图块T_c中的像素点n的纹理T_c,n根据像素点n的深度d_c,n被映射到合成视点的位置x_c,n，纹理图块T_c中的像素点n+1的纹理T_c,n+1根据像素点n+1的深度d_c,n+1被映射到合成视点的位置x_c,n+1；分别计算像素点n的第一纹理值预测T_VS,c,n和第二纹理值预测T_VS,o,n：根据第一纹理值预测T_VS,c,n与第二纹理值预测T_VS,o,n的差值判断编码深度图块d_c的像素点n造成的合成视点失真。本发明可以大幅降低自由视点深度视频编码的计算复杂度。

Description

自由视点视频的合成视点失真预测方法及编码方法

【技术领域】

本发明涉及计算机视觉技术和视频编码领域，特别涉及自由视点视频的合成视点失真预测方法及编码方法。

【背景技术】

自由视点视频可以为用户提供任意视点的场景图像，从而极大地增强用户的视觉体验效果，因而具有广阔的发展前景。3D-HEVC作为MPEG（Moving Pictures Experts Group）和VCEG（Video Coding Experts Group）的联合视频项目HEVC（High Efficiency Video Coding）的拓展项目，已被发展用于3D视频编码。

在3D-HEVC中，3D场景信息用“多视点视频+深度图”进行表示，其中多视点视频即从多个视点采集的纹理视频，而对应视点的深度图视频则表征了场景中物体到相机间的距离。“多视点视频+深度图”数据通过编码压缩、传输、解码，在终端被用于合成任意视点的视频。由于深度图数据表征场景几何信息，在视点合成算法中，被用作将被编码视点的纹理像素映射到合成视点中，因此，解码后的深度图质量对合成视点的图像质量至关重要。在深度图编码过程中，为获得优化的深度图编码性能，用率失真优化的方法来选择编码模式和参数。率失真优化问题是一个拉格朗日优化问题，即选择能够使D+λ·R最小的编码模式或编码参数；D表示不同编码模式或参数下，当前深度图块经编码和解码后，造成的合成视图失真，R表示不同编码模式或参数下编码当前深度图块产生的比特数；λ是拉格朗日乘子。

广泛用于视频编码的传统失真计算方法，例如SSD（Sum of SquaredDifferences）和SAD(Sum of Absolute Differences)，最先被用于深度序列编码的失真预测；该方法原理简单，算法复杂性低，易于硬件实现，但未考虑深度图失真对合成视图的影响，因而不能从整体上保证合成视图的质量。因此，SVDC（Synthesized View Distortion Change）等方法被提出来，通过反复执行视点合成算法，计算编码深度图造成的合成视图的失真；该方法可以有效保证合成视图的质量，但其计算量极大，尤其不利于实时系统的应用。为了降低SVDC等方法的计算复杂度，VSD（ViewSynthesis Distortion）等方法被提出来，被用于通过估算编码深度图造成的合成视图的失真，来预测深度图失真；该类方法恰当地平衡了编码复杂度和压缩性能，但现有估计模型的准确性都十分有限，并不能提供很好的合成视图质量。

【发明内容】

为了解决现有技术存在的问题，本发明提供了一种自由视点视频的合成视点失真预测方法，在保证合成视点失真预测准确度的情况下降低计算合成视点失真计算复杂度。

自由视点视频的合成视点失真预测方法，包括如下步骤：

对于多视点立体视频序列中设定视点的设定帧的用作插值合成的原始深度图块d_o，采用某一模式试编码后的深度图块d_c，与所述原始深度图块d_o对应位置的原始纹理图块T_o，所述原始纹理图块T_o经过编码后得到纹理图块T_c；

将所述原始纹理图块T_o根据所述原始深度图块d_o映射到合成视点的对应位置，其中，原始纹理图块T_o中的像素点n的纹理T_o,n根据像素点n的原始深度d_o,n被映射到合成视点的位置x_o,n，原始纹理图块T_o中的像素点n+1的纹理T_o,n+1根据像素点n+1的原始深度d_o,n+1被映射到所述合成视点的位置x_o,n+1；

将纹理图块T_c根据所述深度图块d_c映射到合成视点的对应位置，其中，纹理图块T_c中的像素点n的纹理T_c,n根据像素点n的深度d_c,n被映射到合成视点的位置x_c,n，纹理图块T_c中的像素点n+1的纹理T_c,n+1根据像素点n+1的深度d_c,n+1被映射到所述合成视点的位置x_c,n+1；

分别计算像素点n的第一纹理值预测T_VS,c,n和第二纹理值预测T_VS,o,n：

T_{VS, c, n} = (\frac{1}{2} T_{c, n + 1} + \frac{1}{2} T_{c, n});

T_{VS, o, n} = (\frac{\frac{1}{2} (x_{c, n + 1} + x_{c, n}) - x_{o, n}}{x_{o, n + 1} - x_{o, n}} T_{o, n + 1} + \frac{x_{o, n + 1} - \frac{1}{2} (x_{c, n} + x_{c, n})}{x_{o, n + 1} - x_{o, n}} T_{o, n});

根据第一纹理值预测T_VS,c,n与第二纹理值预测T_VS,o,n的差值判断编码深度图块d_c的像素点n造成的合成视点失真。

在一个实施例中，还包括如下步骤：

将所述设定视点的左视点的纹理图与设定视点的右视点的纹理图合成所述设定设点的纹理图；

记录左视点的纹理图和右视点的纹理图分别在设定视点的纹理图中所占的权重矩阵；

基于第一纹理值预测T_VS,c,n与第二纹理值预测T_VS,o,n的差值和合并权重W_n的乘积判断编码原始深度图块d_o的像素点n造成的合成视点失真，其中，合并权重W_n是从权重矩阵中获取的原始纹理图块T_o的像素点n纹理的合并权重。

在一个实施例中，还包括如下步骤：

计算编码深度图块d_c的像素点n的造成的合成视点失真D_VS,n=(T_VS,c,n-T_VS,o,n)²W_n ²。

在一个实施例中，还包括如下步骤：

若合成视点的位置x_c,n和合成视点的位置x_c,n+1之间含有多个整数位置，则调整后的合成视点失真D_V′_S,n：

其中和分别为x_c,n+1和x_c,n的上取整。

在一个实施例中，还包括如下步骤：

将深度图块d_c的所有像素点的合成像素点失真求和，得到深度图块d_c造成的合成视点失真。

在一个实施例中，其采用所述的任一自由视点视频的合成视点失真预测方法后进行编码。

在一般合成算法中，大部分纹理都是通过插值方法合成，而本发明提出了一种基于插值合成的自由视点深度视频失真预测方法；利用本发明能够更准确地预测自由视点深度视频中基于插值合成的深度图块有损编码造成的合成视图失真，用于编码模式和参数的选择，避免编码过程中反复多次执行合成算法，从而可以大幅降低自由视点深度视频编码的计算复杂度。

【附图说明】

附图是本发明一种实施例的自由视点视频的合成视点失真预测方法的流程图。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

一种实施例的自由视点视频的合成视点失真预测方法，包括如下步骤：

A1：多视点立体视频序列为通过摄像机、照相机采集所得，或者通过计算机工具所得的视频序列，数据格式不限，该序列可用于立体观看。每一个视点视频包括纹理图像帧和与纹理图像帧相对应的深度图帧。

对于多视点立体视频序列设定视点的设定帧的某个深度图中的某个用作插值合成的某一原始深度图块d_o，与所述原始深度图块d_o对应位置的原始纹理图块T_o，所述原始纹理图块T_o经过编码后得到纹理图块T_c，采用某一模式试编码后的深度图块d_c。

其中，用作插值合成的某一原始深度图块d_o，具体指，自由视点纹理及深度图视频经编码、传输、解码后，采用基于插值的合成算法，此时深度图视频中的用作插值合成的图块。

A2:输入该原始深度图块d_o对应的合并权重矩阵W，其中，合并权重矩阵标记了，将所述设定视点的左视点的纹理图与设定视点的右视点的纹理图合成所述设定设点的纹理图时的合并权重信息，其包含了对应原始纹理图块T_o的任一个像素点的合并权重。

合并权重矩阵W可通过以下方法获得：预先执行设定的合成算法，分别利用设定视点的左视点的纹理图和右视点的纹理图获得第一合成视点纹理视图V_r和第二合成视点纹理视图V_l，再经过融合合并第一合成视点纹理视图V_r及第二合成视点纹理视图V_l，从而获得合成的中间视点纹理视图，即所述设定设点的纹理视图；在此过程中记录合并权重矩阵W。具体合成算法可采用基于深度图像绘制算法(Depth Based Image Rendering)等，本发明涵盖的范围不限于所例举的方法。该步骤亦可与A1中识别基于插值合成的图块的过程合并。

A3：利用以下算法计算像素点n的第一纹理值预测T_VS,c,n和第二纹理值预测T_VS,o,n：

T_{VS, c, n} = (\frac{1}{2} T_{c, n + 1} + \frac{1}{2} T_{c, n});

T_{VS, o, n} = (\frac{\frac{1}{2} (x_{c, n + 1} + x_{c, n}) - x_{o, n}}{x_{o, n + 1} - x_{o, n}} T_{o, n + 1} + \frac{x_{o, n + 1} - \frac{1}{2} (x_{c, n} + x_{c, n})}{x_{o, n + 1} - x_{o, n}} T_{o, n});

其中，将所述原始纹理图块T_o根据所述原始深度图块d_o映射到合成视点的对应位置，原始纹理图块T_o中的像素点n的纹理T_o,n根据像素点n的原始深度d_o,n被映射到合成视点的位置x_o,n，原始纹理图块T_o中的像素点n+1的纹理T_o,n+1根据像素点n+1的原始深度d_o,n+1被映射到所述合成视点的位置x_o,n+1；

T_VS,c,n为利用深度d_c,n和相应已编码纹理T_c,n做投影、插值合成得到的纹理值预测，T_VS,o,n为利用原始深度d_o,n和相应原始纹理T_o,n值做投影、插值合成得到的纹理值。

通过作差计算，预测编码该原始深度图块d_o的像素点n造成的合成视点失真D_VS,n如下：

D_VS,n=(T_VSc,,n-T_VS,o,n)²W_n ²；

其中，W_n为原始纹理图块T_o的像素点n纹理的合并权重。

若合成视点的位置x_c,n和位置x_c,n+1之间含有多个整数位置，则调整后的合成视点失真D_V′_S,n：

其中和分别为x_c,n+1和x_c,n的上取整。

为了保持深度图本身的保真度，采用如下一种加权的失真计算方法：

D_n=w_VSD_VS,n+w_depthD_depth,n；

其中，D_depth,n为通过传统的失真模型SAD或SSD计算获得的深度图块d_c像素点n的失真，w_VS和w_depth为权重。

A4:根据以上模型，将深度图块d_c各像素点的失真预测值求和，得到编码该图块造成的合成视点总失真预测值。该合成视点总失真预测值作为基于插值合成的深度图块编码的失真预测，基于此失真预测，采用率失真优化选择最佳编码模式和编码参数,从而利用这些来编码原始的深度图视频的指定帧。。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims

1.自由视点视频的合成视点失真预测方法，其特征是，包括如下步骤：

T_{VS, c, n} = (\frac{1}{2} T_{c, n + 1} + \frac{1}{2} T_{c, n});

T_{VS, o, n} = (\frac{\frac{1}{2} (x_{c, n + 1} + x_{c, n}) - x_{o, n}}{x_{o, n + 1} - x_{o, n}} T_{o, n + 1} + \frac{x_{o, n + 1} - \frac{1}{2} (x_{c, n} + x_{c, n})}{x_{o, n + 1} - x_{o, n}} T_{o, n});

2.如权利要求1所述的自由视点视频的合成视点失真预测方法，其特征是，还包括如下步骤：

3.如权利要求2所述的自由视点视频的合成视点失真预测方法，其特征是，还包括如下步骤：

4.如权利要求3所述的自由视点视频的合成视点失真预测方法，其特征是，还包括如下步骤：

若合成视点的位置x_c,n和合成视点的位置x_c,n+1之间含有多个整数位置，则调整后的合成视点失真D′_VS,n：

其中和分别为x_c,n+1和x_c,n的上取整。

5.如权利要求3或4所述的自由视点视频的合成视点失真预测方法，其特征是，还包括如下步骤：

6.一种自由视点视频的合成视点编码方法，其特征是，其采用如权利要求1-5所述的任一自由视点视频的合成视点失真预测方法后进行编码。