CN104469387B - 一种多视点视频编码中分量间的运动参数继承方法 - Google Patents

Abstract

一种多视点视频编码中分量间的运动参数继承方法，涉及多视点视频编码领域。本发明是为了提升多视点视频的编码性能，减少多视点视频的传输带宽和存储空间。对于处于依赖视点中的当前块，获取所述当前块相对于视间参考帧的视差矢量；根据求出的所述视差矢量定位到当前块在视间参考帧中的对应块，用视间对应块中已经编码的运动信息预测当前块的运动信息；编码深度图时，用对应纹理图中与当前深度块具有相同位置的对应纹理块的运动信息预测当前深度块的运动信息。利用视间相关性提出视点间的运动参数继承方法，增强依赖视点的编码性能；利用深度图和对应纹理图间的相关性提出深度‑纹理间的运动参数继承方法，增强深度信息的编码性能。有效提高多视点视频的编码效率。

Description

一种多视点视频编码中分量间的运动参数继承方法

技术领域

本发明涉及一种多视点视频编码中分量间的运动参数继承方法，属于多视点视频编码领域。

背景技术

近年来，多视点视频以其能带给用户真实的立体体验并可以让用户交互地选择观看视点而备受青睐。然而，多视点视频的数据量很大，因此对多视点视频进行有效的压缩显得至关重要。为此，国际视频标准化组织MPEG和ITU-T VCEG正在联合开发3D视频压缩标准3D-HEVC(High Efficiency Video Coding)和3D-AVC(Advanced Video Coding)。目前，中国数字音视频编解码技术标准工作组也在着手制定中国具备自主知识产权的多视点视频编码标准3D-AVS(Audio Video coding Standard)。

目前，多视点视频加相应深度图(MVD，multiview plus depth)的格式作为多视点视频有效的数据表示格式被广泛使用。MVD格式包含两个或者多个捕获的纹理视点以及相应的深度图。

由于多视点视频是由多个摄像机从不同的角度对同一场景在同一时刻捕获得到的，因此多视点视频中包含了大量的视间冗余。为了利用视间相关性，一些借助于视差矢量的工具被集成到3D-HEVC、3D-AVC中。目前3D-AVS中也集成了视差补偿预测技术。借助视差矢量减少视间冗余工具有以下几种：

视差补偿预测：

为了共享参考视点中已经编码的纹理信息，视差补偿预测作为运动补偿预测的一个替代方法被引入。运动补偿预测是参考同一视点不同时刻已经编码帧的帧间预测，视差补偿预测是参考不同视点同一时刻已编码帧的帧间预测，如图1所示。

视间运动预测：

为了共享参考视点中已编码的运动信息，引入了视间运动预测。为了获取依赖视点中当前块的候选运动信息，首先要为当前块获取视差矢量，然后由当前块的位置加上获取得到的视差矢量在已编码的视间参考帧中定位到当前块的对应预测块。如果对应预测块是采用的是帧间预测模式，那么相应的运动信息就可以作为当前块的候选运动信息。

现有技术[1](J.An,K.Zhang,J.-L.Lin,and S.Lei,“Sub-PU level inter-viewmotion prediction,”JCT3V-F0110,Nov.2013.)提出了把视间参考帧中的对应块划分成指定大小的 子块并获取每个子块的运动信息作为当前块相应部分的运动信息预测。

视间残差预测：

为了共享参考视点中的残差信息，引入了视间残差预测。当前块的残差信号可以由参考视点中对应块的残差信号进行预测。参考视点中的对应块也是由一个获取得到的视差矢量定位得到。

由于纹理图和相应的深度图是对同一场景从同一角度在同一时刻捕获得到的，所以它们的运动特征应该是相似的。利用纹理图的运动信息预测相应深度图的运动信息，则会有效地提升多视点视频深度图的编码效率。

现有技术[2](Y.-W.Chen,J.-L.Lin,Y.-W.Huang,and S.Lei,“Removal ofpicture buffers for motion parameter inheritance,”JCT3V-B0085,Oct.2012.)提出对应纹理图中与当前深度块具有相同位置的纹理块的运动信息直接用于预测当前深度块的运动信息。

现有技术[3](Y.Chen,H.Liu,and L.Zhang,“Sub-PU based MPI,”JCT3V-G0119,Jan.2014.)提出把对应纹理块划分成指定大小的子块并获取每个子块的运动信息作为当前深度块相应部分的运动信息预测。

通过以上介绍可看出，多视点视频中存在很强的视间相关性和深度-纹理间的相关性，利用运动信息的相关性减少视间冗余和深度-纹理间冗余是提升多视点视频的编码性能的关键所在。

发明内容

本发明的目的是提供一种多视点视频编码中分量间的运动参数继承方法，以进一步提升多视点视频的编码性能，减少多视点视频的传输带宽和存储空间。

本发明为解决上述技术问题采取的技术方案是：

一种多视点视频编码中分量间的运动参数继承方法，所述方法包含视点间的运动参数继承和深度-纹理间的运动参数继承：

视点间的运动参数继承的实现过程为：

步骤一、对于处于依赖视点中的当前块，获取所述当前块相对于视间参考帧的视差矢量；

步骤二、根据步骤一求出的所述视差矢量定位到当前块在视间参考帧中的对应块，用视间对应块中已经编码的运动信息预测当前块的运动信息；用于不同视点的纹理图之间和/或深度图之间的运动信息预测；

深度-纹理间的运动参数继承的实现过程为：

编码深度图时，用对应纹理图中与当前深度块具有相同位置的对应纹理块的运动信息预测当前深度块的运动信息；用于同一视点深度图和纹理图之间的运动信息预测。

所述的用视间对应块中已经编码的运动信息预测当前块的运动信息以及所述的用对应纹理图中与当前深度块具有相同位置的对应纹理块的运动信息预测当前深度块的运动信息，均看作从对应块已经编码的运动信息预测当前块的运动信息；预测方式采用四叉树结构，根据与当前块具有相同尺寸的对应块的运动信息获取当前块的四叉树结构划分，然后根据划分的四叉树结构把各部分相应的运动信息继承过来，具体实现过程描述如下：

首先把当前块划分成相同大小的四个子块，分别获取位于四个子块中心位置的4x4大小块的运动信息，若四个子块的运动信息完全相同，则位于对应块中心位置的4x4大小块的运动信息作为当前块的运动信息预测；否则，再对四个子块进行递归地划分处理，直至达到预先定义的最小划分单元大小；其中所述最小的划分单元大小预先在序列头或者帧头中指定。

所述的用视间对应块中已经编码的运动信息预测当前块的运动信息以及所述的用对应纹理图中与当前深度块具有相同位置的对应纹理块的运动信息预测当前深度块的运动信息，均看作从对应块已经编码的运动信息预测当前块的运动信息；

预测方式为：把与当前块具有相同尺寸的对应块N等分，然后获取每一部分的运动信息作为当前块相应部分的运动信息预测；其中划分的子块个数N可在序列头或者帧头中指定。

采用N等分的方式为各个子块获取运动信息时，可为各个子块分别获取对应的视差矢量，然后各自定位到视间参考帧中的对应子块获取对应子块的运动信息。

对于视点间的运动参数继承，在预测当前块的运动信息时，可分别获取对应块、对应块的左边邻近块和右边邻近块的运动信息，然后对这些信息进行均值或中值操作，计算得到的运动信息作为当前块的运动信息预测。所述的左边邻近块、右边邻近块可替换为上、下邻近块。

对于视点间的运动参数继承，在预测当前块的运动信息时，以分别获取对应块、对应块的左边邻近块和右边邻近块的运动信息，然后对这些运动信息进行率失真决策，最优的运动信息作为当前块的运动信息预测。所述的左边邻近块、右边邻近块可替换为上、下邻近块。

所述的用视间对应块中已经编码的运动信息预测当前块的运动信息，应用于纹理依赖视点和/或深度依赖视点。

对于深度-纹理间的运动参数继承，在预测当前块的运动信息时，可分别获取对应块、对应块的左边邻近块和上边邻近块的运动信息，然后对这些信息进行均值或中值操作，计算得到的运动信息作为当前块的运动信息预测。所述的左边邻近块、上边邻近块可替换为右边、下边邻近块。

对于深度-纹理间的运动参数继承，在预测当前块的运动信息时，可分别获取对应块、对应块的左边邻近块的运动信息，然后对这些信息进行其率失真决策，最优的运动信息作为当前块的运动信息预测。所述的左边邻近块可替换为上边、下边或右边邻近块。

本发明具有以下有益效果：

本发明利用不同视点间的相关性，提出视点间的运动参数继承方法，用于增强依赖视点的编码性能；利用深度和对应纹理信息间的相关性，提出深度-纹理间的运动参数继承方法，用于增强深度信息的编码性能。本发明有效提高了多视点视频的编码效率。

本发明以四叉树划分或者N等分方式进行分量间的运动参数继承，减少了视间冗余和深度-纹理间冗余，极大地提升了多视点视频依赖视点和深度图的编码性能，减少多视点视频的传输带宽和存储空间，提高了多视点视频传输效率。本方法用于增强多视点视频编码标准中依赖视点和深度图的编码性能，本发明方法可作为多视点视频编码标准。

附图说明

本发明可以通过阅读以下对关于所附的图的描述得到更充分的理解，其中：

图1用来阐述作为运动补偿预测替代方法的视差补偿预测，1为当前帧，2～5为时域帧，6为当前帧的视间参考帧，a为运动补偿预测，b为视差补偿预测。

图2为四叉树划分方式原理示意图，用来阐述分量间运动参数继承时，根据对应块的运动信息获取的四叉树划分方式；

图3为用来阐述以四叉树划分方式进行视点间的运动参数继承的原理图，图中：a为当前帧，1为a中的当前块；b为视间参考帧，2为b中的视间对应块；

图4为用来阐述以四叉树划分方式进行深度-纹理间的运动参数继承的原理图；a为当前深度图，3为a中的当前深度块；b为对应纹理图，4为b中的对应纹理块；

图5为用来阐述把对应块分成相同大小的四部分进行视点间的运动参数继承的原理图；a为当前帧，5为a中的当前块；b为视间参考帧，6为b中的视间对应块；

图6用来阐述把对应块分成相同大小的四部分进行深度-纹理间的运动参数继承的原理示意图；a为当前深度图，7为a中的当前深度块；b为对应纹理图，8为b中的对应纹理块。

具体实施方式

具体实施方式一：本实施方式所述的一种多视点视频编码中分量间的运动参数继承方法包含视点间的运动参数继承和深度-纹理间的运动参数继承：

视点间的运动参数继承的实现过程为：

步骤一、对于处于依赖视点中的当前块，获取所述当前块相对于视间参考帧的视差矢量；其中视差矢量可以按如下方式获取：由当前帧的参考帧列表中跟当前帧时域距离最近的时域参考帧中存在的视差矢量通过均值或者其他计算方式获取当前帧的一个全局的视差矢量预测，作为当前帧中所有块的视差矢量；

步骤二、根据步骤一求出的所述视差矢量定位到当前块在视间参考帧中的对应块，用视间对应块中已经编码的运动信息预测当前块的运动信息；用于不同视点的纹理图之间和/或深度图之间的运动信息预测；

深度-纹理间的运动参数继承的实现过程为：

编码深度图时，用对应纹理图中与当前深度块具有相同位置的对应纹理块的运动信息预测当前深度块的运动信息；用同一视点深度图和纹理图之间的运动信息预测；

如图2所示，本实施方式给出四叉树划分的运动信息继承(预测)方式，具体描述如下：

从对应块获取运动信息时，根据与当前块具有相同尺寸的对应块的运动信息获取当前块的四叉树结构划分，然后根据划分的四叉树结构把各部分相应的运动信息继承过来。其特征在于它由如下步骤完成：首先把当前块划分成相同大小的四个子块，分别获取位于四个子块中心位置的4x4大小块的运动信息，若四个子块的运动信息完全相同，则位于对应块中心位置的4x4大小块的运动信息作为当前块的运动信息预测；否则，再对四个子块进行递归地划分处理，直至达到预先定义的最小划分单元大小。四叉树划分方式如图2所示，其中0表示当前块的四个子块中心位置的4x4大小块的运动信息完全相同，当前块不需要继续向下划分，1则表示四个子块的运动信息不完全相同，需要进行四叉树划分，图2中的当前块尺寸为64x64，划分到8x8的块大小终止划分。其中最小的划分单元大小(比如8x8)预先在序列头或者帧头中指定。

其中，图3阐述了以四叉树划分方式进行视点间的运动参数继承；图4阐述了以四叉树划分方式进行深度-纹理间的运动参数继承。

具体实施方式二：本实施方式给出另一种运动信息继承(预测)方式：N等分；从对应块获取运动信息时，可以把与当前块具有相同尺寸的对应块N等分，然后获取每一部分的运动信息作为当前块相应部分的运动信息预测。其中，划分的子块个数N(比如4)可以在序列头或者帧头中指定。

其中，图5阐述了把对应块分成相同大小的四部分进行视点间的运动参数继承。图6阐述了把对应块分成相同大小的四部分进行深度-纹理间的运动参数继承。

本发明中的视点间的运动参数继承和深度-纹理间的运动参数继承可分别作为两种不同的新模式或者以其它方式引入到多视点视频编码标准中。视点间的运动参数继承可以应用于纹理依赖视点和/或者深度依赖视点。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。本发明的范围最好是参考附加的权利要求。对于本所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明所提交的权利要求书确定的专利保护范围。

Claims (8)

1.一种多视点视频编码中分量间的运动参数继承方法，其特征在于，所述方法包含视点间的运动参数继承和深度-纹理间的运动参数继承：

视点间的运动参数继承的实现过程为：

步骤一、对于处于依赖视点中的当前块，获取所述当前块相对于视间参考帧的视差矢量；

步骤二、根据步骤一求出的所述视差矢量定位到当前块在视间参考帧中的对应块，用视间对应块中已经编码的运动信息预测当前块的运动信息；深度-纹理间的运动参数继承的实现过程为：

编码深度图时，用对应纹理图中与当前深度块具有相同位置的对应纹理块的运动信息预测当前深度块的运动信息。

所述的用视间对应块中已经编码的运动信息预测当前块的运动信息以及所述的用对应纹理图中与当前深度块具有相同位置的对应纹理块的运动信息预测当前深度块的运动信息，均看作从对应块已经编码的运动信息预测当前块的运动信息；预测方式采用四叉树结构，根据与当前块具有相同尺寸的对应块的运动信息获取当前块的四叉树结构划分，然后根据划分的四叉树结构把各部分相应的运动信息继承过来，具体实现过程描述如下：

首先把当前块划分成相同大小的四个子块，分别获取位于四个子块中心位置的4x4大小块的运动信息，若四个子块的运动信息完全相同，则位于对应块中心位置的4x4大小块的运动信息作为当前块的运动信息预测；否则，再对四个子块进行递归地划分处理，直至达到预先定义的最小划分单元大小；其中所述最小的划分单元大小预先在序列头或者帧头中指定。

2.根据权利要求1的所述的一种多视点视频编码中分量间的运动参数继承方法，其特征在于：所述的用视间对应块中已经编码的运动信息预测当前块的运动信息以及所述的用对应纹理图中与当前深度块具有相同位置的对应纹理块的运动信息预测当前深度块的运动信息，均看作从对应块已经编码的运动信息预测当前块的运动信息；

预测方式为：把与当前块具有相同尺寸的对应块N等分，然后获取每一部分的运动信息作为当前块相应部分的运动信息预测；其中划分的子块个数N可在序列头或者帧头中指定。

3.根据权利要求2的所述的一种多视点视频编码中分量间的运动参数继承方法，其特征在于：采用N等分的方式为各个子块获取运动信息时，可为各个子块分别获取对应的视差矢量，然后各自定位到视间参考帧中的对应子块获取对应子块的运动信息。

4.根据权利要求1、2或3所述的一种多视点视频编码中分量间的运动参数继承方法，其特征在于：

对于视点间的运动参数继承，在预测当前块的运动信息时，可分别获取对应块、对应块的左边邻近块和右边邻近块的运动信息，然后对这些信息进行均值或中值操作，计算得到的运动信息作为当前块的运动信息预测。

5.根据权利要求3的所述的一种多视点视频编码中分量间的运动参数继承方法，其特征在于：

对于视点间的运动参数继承，在预测当前块的运动信息时，以分别获取对应块、对应块的左边邻近块和右边邻近块的运动信息，然后对这些运动信息进行率失真决策，最优的运动信息作为当前块的运动信息预测。

6.根据权利要求1的所述的一种多视点视频编码中分量间的运动参数继承方法，其特征在于：所述的用视间对应块中已经编码的运动信息预测当前块的运动信息，应用于纹理依赖视点和/或深度依赖视点。

7.根据权利要求3的所述的一种多视点视频编码中分量间的运动参数继承方法，其特征在于：对于深度-纹理间的运动参数继承，在预测当前块的运动信息时，可分别获取对应块、对应块的左边邻近块和上边邻近块的运动信息，然后对这些信息进行均值或中值操作，计算得到的运动信息作为当前块的运动信息预测。

8.根据权利要求3的所述的一种多视点视频编码中分量间的运动参数继承方法，其特征在于：对于深度-纹理间的运动参数继承，在预测当前块的运动信息时，可分别获取对应块、对应块的左边邻近块的运动信息，然后对这些信息进行其率失真决策，最优的运动信息作为当前块的运动信息预测。