CN103402097A - 一种自由视点视频深度图编码方法及其失真预测方法 - Google Patents

Abstract

本发明提供了一种自由视点视频深度图编码方法及其失真预测方法，所述失真预测方法包括如下步骤：A1.获取两个以上视点立体视频纹理图与深度图；A2.采用视点合成算法合成所述当前待编码视点及其相邻待编码视点的中间视点；A3.根据A2步骤的合成结果，记录当前待编码视点深度图中各像素点的合成特征，并生成相应失真预测权重；A4.根据所述各像素点的合成特征和相应失真预测权重，利用失真预测模型对当前深度图的编码块中各像素点的失真求和，得到总失真。本发明能够明显提高自由视点视频深度图编码过程中深度图失真预测的准确性，同时大幅降低自由视点视频深度图编码中失真预测算法的计算复杂度。

Description

一种自由视点视频深度图编码方法及其失真预测方法

技术领域

本发明涉及视频信号的处理，特别涉及一种自由视点视频深度序列编码的失真预测方法。

背景技术

自由视点视频可以极大地增强用户的视觉体验效果，使用户获得更加逼真的3D场景体验，因而在影视制作、文物保护、军事模拟等领域有着广泛的应用前景。作为MPEG（Moving Pictures Experts Group）和VCEG（Video CodingExperts Group）的联合视频项目HEVC（High Efficiency Video Coding）的推广，3D-HEVC将被发展用于3D视频编码。

在3D-HEVC中，3D视频数据采用“多视点视频+深度图”的格式进行编码，其中深度图表征的是场景中物体到相机间的距离。利用解码后的纹理数据和深度数据，任意中间视点的视频可以被合成并显示在立体显示器上。在视点合成算法中，深度数据被用作将被编码视点的纹理像素变换到合成视点中，在此基础上对变换图分别进行插值、空洞填补、覆盖等操作，然后再将分别由左、右待编码视点获得的变换图融合。因此，解码后的深度图质量对合成视点的图像质量至关重要。为获得更好的深度图编码性能，在深度图编码过程中，用率失真优化的方法来选择编码模式和参数。率失真优化问题是一个拉格朗日优化问题，即选择能够使D+λ·R最小的编码模式或参数；D表示不同编码模式或参数下，编码当前块后，采用深度图失真计算方法得到的失真；R表示不同编码模式或参数下编码当前块产生的比特数；λ是拉格朗日乘子。

目前，深度图失真计算方法主要可分为三类：一、广泛用于视频编码的传统失真计算方法，例如SSD（Sum of Squared Differences）和SAD(Sum of AbsoluteDifferences)。二、通过视点合成算法，计算编码深度图造成的合成视图的失真，来计算深度图失真的方法，例如SVDC（Synthesized View Distortion Change）。三、通过估算编码深度图造成的合成视图的失真，来预测深度图失真的方法，例如VSD（View Synthesis Distortion）。传统的失真计算方法原理简单，易于硬件实现，但未考虑深度图失真对合成视图的影响，因而不能从整体上保证合成视图的质量。基于视点合成算法的深度图失真计算方法，可以有效保证合成视图的质量，但其计算量极大，尤其不利于实时系统的应用。基于合成视图失真估计的深度图失真预测方法，恰当地平衡了编码复杂度和压缩性能，但现有估计模型的准确性都十分有限。

发明内容

本发明为克服现有技术的缺陷，提供一种可避免深度图编码过程中反复多次执行合成算法并可提高深度图失真预测的准确性的自由视点视频深度图编码的失真预测方法，其包括如下步骤：

A1获取两个以上视点立体视频纹理图与深度图；

A2利用当前待编码视点及其相邻待编码视点的纹理图和深度图，采用视点合成算法合成所述当前待编码视点及其相邻待编码视点的中间视点；

A3根据A2步骤的合成结果，记录当前待编码视点深度图中各像素点的合成特征，并生成相应失真预测权重；

A4根据所述各像素点的合成特征和相应失真预测权重，利用像素失真预测模型对当前深度图的编码块中各像素点的失真求和，得到总失真。

根据实施例，本发明还可采用以下优选的技术方案：

所述相邻待编码视点取编码次序上的上一视点，若无上一视点，则取编码次序上的下一视点。

所述像素点包括非显露点、前插值点、加权插值点、前双空洞点和混合类型点，其中：

非显露点的合成特征是，对应的纹理图像素点左右间隔在视点合成结果中均不被显露，其失真预测权重为w1，w1=0；

前插值点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后均为插值区，在左右变换图融合时作为前景被显示，其失真预测权重为w2，w2=1；

加权插值点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后均为插值区，在左右变换图融合时被加权求和，其失真预测权重为w3，0≤w3≤1；

前双空洞点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后都为空洞填补区，在左右变换图融合时为前景被显示，其失真预测权重为w4，w4=1；

混合类型点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，合成特征记为所述非显露点、前插值点、加权插值点和前双空洞点中任意两者的特征的混合，两个失真预测权重都被记录。

所述编码像素失真预测模型包括：

非显露点编码像素失真预测模型为

D_syn=w1

             ；

前插值点和加权插值点编码像素失真预测模型为：

D_syn=|w2·0.25·(S_D-S′_D)(S′_T,n-1-S′_T,n+1)²|和

D_syn=|w3·0.25·(S_D-S′_D)(S′_T,n-1-S′_T,n+1)²|

                                       ；

前双空洞点编码像素失真预测模型为：

D_syn=|w4·(S_D-S′_D)(S′_T,n-S′_T,n+1)²|或者

D_syn=|w4·(S_D-S′_D)(S′_T,n-S′_T,n-1)²|；

混合类型点，根据混合的两种类型，分别按照所述混合的两种类型的模型计算失真，然后再取均值，作为该像素点的失真；

其中，D_syn为深度图失真预测，w1、w2、w3和w4为失真预测权重，S_D为原始深度图像素点值，S′_D为编码后重建深度图像素点值，S′_T，n表示当前深度图像素点在重建视点纹理图中对应的像素点的值，S′_T,n+1和S′_T,n-1分别表示当前深度图像素点在重建视点纹理图中对应像素点的相邻左、右像素点的值。

采用如下加权的失真计算方法：

D＝w_synD_syn+w_depthD_depth，

其中，D_depth为通过传统的失真模型SAD或SSD计算获得的深度图失真，w_syn和w_depth为相应的权重。

所述视点合成算法为任一基于深度图像绘制的视点合成算法。

所述视点合成算法是3D-HEVC标准采用的DIBR算法（Depth-image BasedRendering，基于深度图像绘制）。

本发明还提供一种自由视点视频深度图编码方法，其采用如前任一所述的自由视点视频深度图编码的失真预测方法获得当前深度图的编码块的总失真，并基于该总失真，选择最佳编码模式和编码参数进行编码。

本发明与现有技术对比的有益效果是：由于有效定义并使用反映深度图有损压缩对视点合成影响的合成特征数据，避免了深度图编码过程中反复多次执行合成算法，本发明能够明显提高自由视点视频深度图编码过程中深度图失真预测的准确性，同时大幅降低自由视点视频深度图编码的计算复杂度。

附图说明

图1是本发明实施例的自由视点视频深度图编码的失真预测方法的流程图。

具体实施方式

本发明的思路主要是利用一次视点预合成（现在通用的做法是在编码时，不断反复进行视点合成算法，而本发明的做法是只用一次合成算法，记录一些信息，然后只要反复进行简化的算法就行了），获取编码深度图像素点合成特征及失真预测权重，进而映射生成深度图编码失真预测模型。由于有效定义并使用反映深度图有损压缩对视点合成影响的合成特征数据，避免了深度图编码过程中反复多次执行合成算法，本发明能够明显提高自由视点视频深度图编码过程中深度图失真预测的准确性，同时大幅降低自由视点视频深度图编码的计算复杂度。

本发明的失真预测方法，在每帧深度图编码前，执行一次视点合成算法，合成当前视点与相邻待编码视点的中间视点，在这个过程中记录当前视点各像素点间隔在合成算法中的使用情况，进而确定待编码深度图中各像素点的失真计算方法及权重。然后执行当前深度图的编码，在编码每一个块时，对于不同像素点，采用不同失真计算模型计算失真，从而获得基于合成视图失真估计的深度图的编码块的失真。该失真计算方法，更大程度地反映了深度图有损压缩后造成的合成视图失真，又避免了在选择不同编码模式和编码参数时反复执行合成视图算法，因而可以在保证压缩性能的同时，极大地降低计算复杂度。

本发明主要包括如图1所示的如下步骤：

首先，获取两个以上视点立体视频纹理图与深度图。

然后，执行视点合成算法。

同时，记录深度图像素点合成特征及失真预测权重。

接着，计算编码块失真。

最后，判断当前帧编码是否完成？如完成，则结束；如未完成，则回到前面计算编码块失真步骤，直到完成为止。

下面结合优选具体实施方式对本发明进行详细的阐述。

一种自由视点视频深度图编码的失真预测方法，包括如下步骤：

A1：输入的多视点立体视频序列为通过摄像机、照相机采集所得，或者通过计算机工具所得的视频序列，数据格式不限，该序列可用于立体观看。

A2：对待编码视点的深度图利用当前及相邻视点的纹理和深度图，执行视点合成算法，合成当前待编码视点与相邻视点的中间视点。相邻待编码视点取编码次序上的上一视点，若无上一视点，则取编码次序上的下一视点。一般上一视点顺序上先编码，所以才可以先获得，但也有时候对于最左边视点，无上一视点，该情况下可采用下一视点。

A3：根据待编码视点纹理像素点间的间隔在A2合成算法的变换、插值、空洞填补、融合模块中的使用情况，确定并记录当前待编码视点深度图中各像素点的合成特征和相应失真预测权重。其中，合成特征和相应失真预测权重确定方式如下：

非显露点的合成特征是，该深度图像素点对应的纹理图像素点左右间隔在视点合成结果中都不被显露。具体情况包括：间隔在变换后被遮挡；间隔在变换后为插值区，在左右变换图融合时被覆盖；间隔在变换后为空洞填补区，在左右变换图融合时被另一变换图中的非空洞区覆盖；间隔在左右变换图中都为空洞填补区，在两变换图融合时为后景被覆盖。非显露点的失真预测权重为w(w=0)。关于纹理图像素点左右间隔的说明：输入的多个纹理图和深度图中，每一个深度图对应一个纹理图，因此每一个深度图像素点也各自对应一个纹理图像素点。对应纹理图像素点与其左右纹理图像素点之间的间隔，就叫做纹理图像素点左右间隔。

前插值点的合成特征是，该深度图像素点对应的纹理图像素点左右间隔在视点合成时，变换后都为插值区，在左右变换图融合时作为前景被显示。失真预测权重为w(w=1)。

加权插值点的合成特征是，该深度图像素点对应的纹理图像素点左右间隔在视点合成时，变换后都为插值区，在左右变换图融合时被加权求和。失真预测权重为加权权值w(0≤w≤1)。

前双空洞点的合成特征是，该深度图像素点对应的纹理图像素点左右间隔在视点合成时，变换后都为空洞填补区，在左右变换图融合时为前景被显示。失真预测权重为w(w=1)。

混合类型点的合成特征是，该深度图像素点对应的纹理图像素点左右间隔在视点合成时，分别做上述不同的处理，合成特征记为上述两种特征的混合，两个失真预测权重都被记录。所谓混合，可理解为：先默认为一种模型，计算失真；再默认为另一种模型，计算失真，然后取两个失真的均值。而两个失真预测权重都被记录，是指每一种模型，需记录一种权重；若是混合模型，则有两个权重，两种模型计算完后取均值。

若该深度图像素点对应的纹理图像素点只有左间隔或右间隔（如像素点在边缘的情况），则只根据此间隔使用情况确定该深度图像素点合成特征及失真预测权重。

A4：在深度图编码过程中，对于当前编码块的一个像素点，利用A3获取的像素点合成特征和失真预测权重，映射为编码像素失真预测模型，计算该像素点失真，多模型求和输出当前深度图的编码块的总失真。各失真预测模型如下：

非显露点，失真计算式为，

D_syn＝w    (1)

其中，D_syn为深度图失真预测，w为失真预测权重。

前插值点、加权插值点，失真计算式为，

D_syn＝|w·0.25·(S_D-S′_D)(S′_T，n-l-S′_T，n+1）²|    (2)

其中，S_D为原始深度图像素点值，S′_D为编码后重建深度图像素点值，S′_T，n表示当前深度图像素点在重建视点纹理图中对应的像素点的值，S′_T，n-1和S′_T，n+1分别为当前深度图像素点在重建视点纹理图中对应像素点的相邻左、右像素点的值，w为失真预测权重。其中，下标D表示的是Depth，即深度图；下标T表示的是Texture，即纹理图，n表示的是在当前纹理图中该像素点是第n个。

前双空洞点，若当前编码视点在合成视点的左边，失真计算式为，

D_syn＝|w·(S_D-S′_D)(S′_T，n-S′_T，n+1)²|    (3)

其中，其中，S′_T，n表示当前深度图像素点在重建视点纹理图中对应的像素点的值，其余符号含义同(2)式。若当前编码视点在合成视点的右边，则失真计算式为，

D_syn＝|w·(S_D-S′_D)GS′_T，n-S′_T，n-1）²｜，    (4)

其中，各符号含义同(2)、(4)式。

混合类型点：根据混合的两种类型，分别按照上述模型计算失真，然后再取均值，作为该像素点的失真。

为了保持深度图本身的保真度，采用如下加权的失真计算方法：

D＝w_synD_syn+w_depthD_depth    (5)

其中，D_syn为通过式(1)、(2)、(3)或(4)计算获得的深度图失真预测，D_depth为通过传统的失真模型SAD或SSD计算获得的深度图失真，w_syn和w_depth为权重。

根据以上模型，求和得到当前编码块的总失真，并基于此失真，选择最佳编码模式和编码参数。具体而言，在深度图编码过程中，用率失真优化的方法来选择编码模式和参数。即选择能够使D+λ·R最小的编码模式或参数；D表示不同编码模式或参数下，编码当前块之后，采用深度图失真计算方法（即前述失真预测方法）得到的失真；R表示不同编码模式或参数下编码当前块产生的比特数；λ是拉格朗日乘子。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (8)

1.一种自由视点视频深度图编码的失真预测方法，其特征在于包括如下步骤：

A1获取两个以上视点立体视频纹理图与深度图；

A2利用当前待编码视点及其相邻待编码视点的纹理图和深度图，采用视点合成算法合成所述当前待编码视点及其相邻待编码视点的中间视点；

A3根据A2步骤的合成结果，记录当前待编码视点深度图中各像素点的合成特征，并生成相应失真预测权重；

A4根据所述各像素点的合成特征和相应失真预测权重，利用像素失真预测模型对当前深度图的编码块中各像素点的失真求和，得到总失真。

2.如权利要求1所述的失真预测方法，其特征在于：所述相邻待编码视点取编码次序上的上一视点，若无上一视点，则取编码次序上的下一视点。

3.如权利要求1所述的失真预测方法，其特征在于：所述像素点包括非显露点、前插值点、加权插值点、前双空洞点和混合类型点，其中：

非显露点的合成特征是，对应的纹理图像素点左右间隔在视点合成结果中均不被显露，其失真预测权重为w1，w1=0；

前插值点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后均为插值区，在左右变换图融合时作为前景被显示，其失真预测权重为w2，w2=1；

加权插值点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后均为插值区，在左右变换图融合时被加权求和，其失真预测权重为w3，0≤w3≤1；

前双空洞点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后都为空洞填补区，在左右变换图融合时为前景被显示，其失真预测权重为w4，w4=1；

混合类型点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，合成特征记为所述非显露点、前插值点、加权插值点和前双空洞点中任意两者的特征的混合，两个失真预测权重都被记录。

4.如权利要求3所述的失真预测方法，其特征在于，所述编码像素失真预测模型包括：

非显露点编码像素失真预测模型为：

D_syn=w1

             ；

前插值点和加权插值点编码像素失真预测模型为：

D_syn=|w2·0.25·(S_D-S′_D)(S′_T,n-1-S′_T,n+1)²|和

D_syn=|w3·0.25·(S_D-S′_D)(S′_T,n-1-S′_T,n+1)²|

                                        ；

前双空洞点编码像素失真预测模型为：

D_syn=|w4·(S_D-S′_D)(S′_T,n-S′_T,n+1)²|或者

D_syn=|w4·(S_D-S′_D)(S′_T,n-S′_T,n-1)²|；

混合类型点，根据混合的两种类型，分别按照所述混合的两种类型的模型计算失真，然后再取均值，作为该像素点的失真；

其中，D_syn为深度图失真预测，w1、w2、w3和w4为失真预测权重，S_D为原始深度图像素点值，S′_D为编码后重建深度图像素点值，S′_T，n表示当前深度图像素点在重建视点纹理图中对应的像素点的值，S′_T,n+1和S′_T,n-1分别表示当前深度图像素点在重建视点纹理图中对应像素点的相邻左、右像素点的值。

5.如权利要求4所述的失真预测方法，其特征在于，采用如下加权的失真计算方法：

D＝w_synD_syn+w_depthD_depth，

其中，D_depth为通过传统的失真模型SAD或SSD计算获得的深度图失真，w_syn和w_depth为相应的权重。

6.如权利要求1-5任一项所述的失真预测方法，其特征在于：所述视点合成算法为任一基于深度图像绘制的视点合成算法。

7.如权利要求6所述的失真预测方法，其特征在于：所述视点合成算法是3D-HEVC标准采用的DIBR算法。

8.一种自由视点视频深度图编码方法，其特征在于：采用如权利要求1-7任一所述的自由视点视频深度图编码的失真预测方法获得当前深度图的编码块的总失真，并基于该总失真，选择最佳编码模式和编码参数进行编码。