CN104394417B

CN104394417B - 一种多视点视频编码中的视差矢量获取方法

Info

Publication number: CN104394417B
Application number: CN201410777487.4A
Authority: CN
Inventors: 范晓鹏; 张娜; 马冀; 赵德斌
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2014-12-15
Filing date: 2014-12-15
Publication date: 2017-07-28
Anticipated expiration: 2034-12-15
Also published as: CN104394417A

Abstract

一种多视点视频编码中的视差矢量获取方法，本发明涉及视差矢量获取方法。本发明解决依赖于当前帧中的当前块的空域邻近块，影响编码过程中的并行性以及得到的当前块的预测信息不够准确的问题而提出的一种多视点视频编码标准中的视差矢量获取方法。该方法是通过一、划分为L*W单元区域；二、划分为l*w的单元；三、利用视差矢量的均值、中值、最大值、最小值或者加权平均值获取L*W的单元区域的视差矢量；四、预测当前块的运动矢量；五、得到视间参考帧对应的视差信息；六、将步骤三获取的L*W单元区域的视差矢量用于加权模式中得到视间参考帧对应的视差信息；七、得到当前块的像素值。本发明应用于视差矢量获取领域。

Description

一种多视点视频编码中的视差矢量获取方法

技术领域

本发明涉及视差矢量获取方法，特别涉及一种多视点视频编码中的视差矢量获取方法。

背景技术

近年来，多视点视频以其能带给用户真实的立体体验并可以让用户交互地选择观看视点而备受青睐。然而，多视点视频的数据量很大，因此对多视点视频进行有效的压缩显得至关重要。为此，国际视频标准化组织MPEG和ITU-T VCEG正在联合开发3D视频压缩标准3D-HEVC(High Efficiency Video Coding)和3D-AVC(Advanced Video Coding)。目前，中国数字音视频编解码技术标准工作组也在着手制定中国具备自主知识产权的多视点视频编码标准3D-AVS(Audio Video coding Standard)。

由于多视点视频是由多个摄像机从不同的角度对同一场景在同一时刻捕获得到的，因此多视点视频中包含了大量的视间冗余。为了利用视间相关性，一些借助于视差矢量的工具被集成到3D-HEVC、3D-AVC中。目前3D-AVS中也集成了视差补偿预测技术。借助视差矢量的工具描述如下：

视差补偿预测

为了共享参考视点中已经编码的纹理信息，视差补偿预测作为运动补偿预测的一个替代方法被引入。运动补偿预测是参考同一视点不同时刻已经编码帧的帧间预测，视差补偿预测是参考不同视点同一时刻已编码帧的帧间预测，如图1所示。

视间运动预测

为了共享参考视点中已编码的运动信息，引入了视间运动预测。为了获取依赖视点中当前块的候选运动信息，首先要为当前块获取视差矢量，然后由当前块的位置加上获取得到的视差矢量在已编码的视间参考帧中定位到当前块的对应预测块。如果对应预测块是采用的是帧间预测模式，那么相应的运动信息就可以作为当前块的候选运动信息。

视间残差预测

为了共享参考视点中的残差信息，引入了视间残差预测。当前块的残差信号可以由参考视点中对应块的残差信号进行预测。参考视点中的对应块也是由一个获取得到的视差矢量定位得到。

根据以上描述，可以发现视差矢量获取在多视点视频编码中发挥了重要的作用。它可以用于视间运动预测、视间残差预测、视差补偿预测或者任何需要为当前块在视间参考帧中定位到对应块的工具中。目前3D-HEVC中采用了以下的视差矢量获取方式。

3D-HEVC中的视差矢量获取

在目前的3D-HEVC测试模型中，目前现有技术视差矢量是由几个空域或者时域邻近块中获取得到。然而，这种技术依赖于当前块的空域邻近块，影响了编码过程中的并行性。为此，提供一个更加独立有效的视差矢量获取方案来提升多视点视频的编码性能变得尤为重要。

当前帧中的当前块的邻近块都不是视差补偿预测的块时；视差运动估计过程中的视差矢量预测过程最终输出是(0，0)导致得到的当前块的预测信息不够准确；

当前帧中的当前块的加权模式中的运动信息对应于时域参考帧时，并且当加权模式参考帧是视间参考帧时，无法根据时域距离进行加权计算获取对应于视间参考帧的视差信息时即视频编码标准中默认输出的(0，0)，导致得到的当前块的预测信息不够准确。

发明内容

本发明的目的是为了解决现有技术依赖于当前帧中的当前块的空域邻近块，影响了编码过程中的并行性以及得到的当前块的预测信息不够准确的问题，而提出的一种多视点视频编码中的视差矢量获取方法。

上述的发明目的是通过以下技术方案实现的：

步骤一、将当前帧分为任意N部分，每部分为L*W单元区域，L为当前帧每部分的长，W为当前帧每部分的宽，N为整数且N≥1；

步骤二、将当前帧每部分L*W单元区域划分为l*w的单元，其中，4≤l≤L，4≤w≤W；

步骤三、利用时域参考帧对l*w单元的视差矢量进行视差矢量的均值、中值、最大值、最小值或者加权平均值的计算，获取L*W的单元区域的视差矢量；其中，时域参考帧包含三种预测模式运动补偿预测MCP、视差补偿预测DCP和帧内预测Intra；

步骤四、根据步骤三获取的L*W单元区域的视差矢量，获取L*W单元区域内的当前块在视间参考帧中的对应块，根据对应块的运动矢量预测当前块的运动矢量；

步骤五、当前块的邻近块为运动补偿预测MCP的块和帧内预测Intra的块时，利用步骤三获取的L*W单元区域的视差矢量作为视差运动估计过程中的视差矢量预测过程最终输出即得到视间参考帧对应的视差信息，其中，当前块位于L*W单元区域内；

步骤六、将步骤三获取的L*W单元区域的视差矢量用于加权模式中，当当前块的加权模式中的运动信息对应于时域参考帧时，并且当加权模式参考帧是视间参考帧时，将步骤三获取的L*W单元区域的视差矢量作为视间参考帧对应的视差信息；

步骤七、利用获取的当前块所在的L*W单元区域内的视差矢量在视间参考帧中定位到当前块的对应块，对应块像素值作为当前块的像素值，即完成了一种多视点视频编码中的视差矢量获取方法。

发明效果

本发明利用当前帧中的当前块的邻近块都不是视差补偿预测的块时；利用L*W单元区域的视差矢量作为视差运动估计过程中的视差矢量预测过程最终输出而不是视频编码标准中默认输出的(0，0)即得到视间参考帧对应的视差信息；其中，当前块位于L*W单元区域内。

并且将L*W单元区域的视差矢量用于加权模式中，当当前块的加权模式中的运动信息对应于时域参考帧时，并且当加权模式参考帧是视间参考帧时，无法根据时域距离进行加权计算获取对应于视间参考帧的视差信息时即视频编码标准中默认输出的(0，0)。

因此将获取的L*W单元区域的视差矢量作为视间参考帧对应的视差信息；根据获取的L*W单元区域内的视差矢量用于视差补偿预测或者任何其他需要为当前块在参考视点中定位到对应块的工具；使得本发明在没有增加多视点视频编码时间的基础上，提升了多视点视频编码5％～10％的BdRate值。

附图说明

图1为背景技术中提出的运动补偿预测替代方法的视差补偿预测示意图；其中，1为当前帧，2～5为时域帧，6为当前帧的视间参考帧，a为运动补偿预测，b为视差补偿预测；

图2为具体实施方式一提出N＝1的情况下，时域参考帧中的视差矢量获取当前帧的全局视差矢量预测示意图；其中，1为指定时域参考帧，2为当前帧，MCP(motioncompensate prediction)是运动补偿预测，DCP(disparity compensate prediction)是视差补偿预测，Intra是帧内预测；

图3为具体实施方式一提出的当前帧分为四部分即N＝4的情况下，分别用时域参考帧中相同位置区域的视差矢量获取当前帧相应部分的视差矢量预测示意图；其中，1为指定时域参考帧，2为当前帧，MCP(motion compensate prediction)为运动补偿预测、DCP(disparity compensate prediction)为视差补偿预测，Intra是帧内预测；图2和图3箭头指代的视差矢量不是删除线。

具体实施方式

具体实施方式一：本实施方式的一种多视点视频编码中的视差矢量获取方法，具体是按照以下步骤制备的：

步骤一、将当前帧分为任意N部分，每部分为L*W(一般保证W和L都大于等于4)单元区域，单元可以是正方形、矩形、或者其他形状，L为当前帧每部分的长，W为当前帧每部分的宽，N为整数且N≥1，其中，N＝1时如图2，N＝4时如图3；

步骤二、将当前帧每部分L*W单元区域(只有一个区域时，即整帧)划分为l*w的单元，其中，4≤l≤L，4≤w≤W；

步骤三、利用时域参考帧对l*w单元的视差矢量进行视差矢量的均值、中值、最大值、最小值或者加权平均值的计算，获取L*W的单元区域的视差矢量(Disparity Vector,DV)；其中，时域参考帧包含三种预测模式运动补偿预测(MCP)、视差补偿预测(DCP)和帧内预测(Intra)，DCP预测模式的块中包含需要的视差矢量；

步骤五、当前块的邻近块为运动补偿预测(MCP)的块和帧内预测(Intra)的块时，利用步骤三获取的L*W单元区域的视差矢量作为视差运动估计过程中的视差矢量预测过程最终输出而不是视频编码标准中默认输出的(0，0)即得到视间参考帧对应的视差信息，其中，当前块位于L*W单元区域内；

步骤六、将步骤三获取的L*W单元区域的视差矢量用于加权模式中，当当前块的加权模式中的运动信息对应于时域参考帧时，并且当加权模式参考帧是视间参考帧时，无法根据时域距离进行加权计算获取对应于视间参考帧的视差信息时即视频编码标准中默认输出的(0，0)，就将步骤三获取的L*W单元区域的视差矢量作为视间参考帧对应的视差信息；

步骤七、将步骤三获取的L*W单元区域内的视差矢量用于视差补偿预测，即利用获取的当前块所在的L*W单元区域内的视差矢量在视间参考帧中定位到当前块的对应块，对应块像素值作为当前块的像素值，根据步骤三获取的L*W单元区域内的视差矢量用于视差补偿预测或者任何其他需要为当前块在参考视点中定位到对应块的工具。

本实施方式效果：

本实施方式利用当前帧中的当前块的邻近块都不是视差补偿预测的块时；利用L*W单元区域的视差矢量作为视差运动估计过程中的视差矢量预测过程最终输出而不是视频编码标准中默认输出的(0，0)即得到视间参考帧对应的视差信息；其中，当前块位于L*W单元区域内。

因此将获取的L*W单元区域的视差矢量作为视间参考帧对应的视差信息；根据获取的L*W单元区域内的视差矢量用于视差补偿预测或者任何其他需要为当前块在参考视点中定位到对应块的工具；使得本实施方式在没有增加多视点视频编码时间的基础上，提升了多视点视频编码5％～10％的BdRate值。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤三中利用时域参考帧对l*w单元的视差矢量进行视差矢量的均值计算，获取L*W的单元区域的视差矢量具体过程为：

(1)确定在时域参考帧中与当前帧相同位置i部分区域；其中，i＝1，2，3…..N；

(2)计算(1)得到的N部分区域的所有或者部分视差矢量的均值；

(3)将(2)得到视差矢量的均值作为当前帧N部分的视差矢量，N＝4如图3所示；N＝1如图2所示。其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤三中利用时域参考帧对l*w单元的视差矢量进行视差矢量的中值获取L*W的单元区域的视差矢量具体过程为：

(1)确定在时域参考帧中与当前帧相同位置i部分区域；其中，i＝1，2，3…..N

(2)计算(1)得到的N部分区域的所有或者部分视差矢量的中值；

(3)将(2)得到视差矢量的中值作为当前帧N部分的视差矢量；N＝4如图3所示；N＝1如图2所示。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤三中利用时域参考帧对l*w单元的视差矢量进行视差矢量的最大值、最小值或者加权平均值的计算，获取L*W的单元区域的视差矢量具体过程为：

(2)计算(1)得到的N部分区域的所有或者部分视差矢量的最大值、最小值或者加权平均值；

(3)将(2)得到视差矢量的最大值、最小值或者加权平均值分别作为当前帧N部分的视差矢量；N＝4如图3所示；N＝1如图2所示。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤三中时域参考帧是当前帧的参考帧列表中n帧(n≥1)或者在视频序列头或者当前帧的帧头中指定时域参考帧。其它步骤及参数与具体实施方式一至四之一相同。

Claims

1.一种多视点视频编码中的视差矢量获取方法，其特征在于具体是按照以下步骤进行的：

2.根据权利要求1所述一种多视点视频编码中的视差矢量获取方法，其特征在于：步骤三中利用时域参考帧对l*w单元的视差矢量进行视差矢量的均值计算，获取L*W的单元区域的视差矢量具体过程为：

(2)计算(1)得到的N部分区域的视差矢量的均值；

(3)将(2)得到视差矢量的均值作为当前帧N部分的视差矢量。

3.根据权利要求1所述一种多视点视频编码中的视差矢量获取方法，其特征在于：步骤三中利用时域参考帧对l*w单元的视差矢量进行视差矢量的中值获取L*W的单元区域的视差矢量具体过程为：

(2)计算(1)得到的N部分区域的视差矢量的中值；

(3)将(2)得到视差矢量的中值作为当前帧N部分的视差矢量。

4.根据权利要求1所述一种多视点视频编码中的视差矢量获取方法，其特征在于：步骤三中利用时域参考帧对l*w单元的视差矢量进行视差矢量的最大值、最小值或者加权平均值的计算，获取L*W的单元区域的视差矢量具体过程为：

(2)计算(1)得到的N部分区域的视差矢量的最大值、最小值或者加权平均值；

(3)将(2)得到视差矢量的最大值、最小值或者加权平均值分别作为当前帧N部分的视差矢量。

5.根据权利要求1所述一种多视点视频编码中的视差矢量获取方法，其特征在于：步骤三中时域参考帧是当前帧的参考帧列表中n帧或者在视频序列头或者当前帧的帧头中指定时域参考帧。