CN102387368B - 一种多视点视频编码视点间预测快速选择方法 - Google Patents

Abstract

一种多视点视频编码视点间预测快速选择方法，包括以下步骤：(1)输入多视点视频数据和深度信息；(2)宏块帧内模式估计；(3)宏块帧间模式划分活跃性计算；(4)宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算；(5)宏块中每个小尺寸帧间模式的视点间预测选择。发明方法适用于多视点视频编码的视点间预测的选择，可以降低多视点编码的计算整体计算量，同时保持编码率失真性能。

Description

一种多视点视频编码视点间预测快速选择方法

技术领域

本发明涉及数字视频编码领域，具体涉及一种多视点视频编码视点间预测快速选择方法。

背景技术

多视点视频(Multiview Video，MV)是利用不同位置的摄像头对同一场景进行拍摄得到的视频数据，它包含了丰富的视觉信息，可以应用于3D电视、自由视点电视、视频监控、虚拟现实等领域。多视点视频编码(Multiview Video Coding，MVC)对多视点视频数据进行高效的压缩，以解决其巨大数据量的存储和传输的问题。联合视频工作组(Joint VideoTeam，JVT)已完成对多视点视频编码的标准化，将其作为H.264/AVC的第四个增修案(见ITU-T and ISO/IEC JTC 1，Advanced video coding forgeneric audiovisual services，即“面向音视频服务的高级视频编码”，ITU-TRecommendation H.264 and ISO/IEC 14496(MPEG-4 AVC)，2010)。为了提高编码压缩效率，多视点视频编码的宏块帧间模式不仅采用传统单视点视频编码的时域预测来减少时间方向上的数据冗余，还采用其特有的视点间预测来降低视点方向上的数据冗余(见A.Vetro，T.Wiegand，and G.J.Sullivan，Overview of the stereo and multiview video coding extensions of theH.264/AVC standard，即“H.264/AVC关于立体视频和多视点视频的扩展概述”，Proceeding of IEEE，vol.99，pp.626-642，2011)。视点间预测可以有效降低视点方向的数据冗余，但由于每个帧间模式都要进行视点间预测，显著增加了单个视点的计算量。因此，视点间预测的增加了多视点视频编码的整体计算复杂度，阻碍了其实际应用。另外，视点间预测被选为最终预测方向的宏块比例比时域预测被选为最终预测方向的宏块比例要少(见P.Merkle，A.

，K.Müiller，and T.Wiegand，Efficient prediction structuresfor multiview video coding，即“多视点视频编码的高效预测结构”，IEEETransactions on Circuits and Systems for Video Technology，vol.17，no.11，pp.1461-1473，Nov.2007)。因此，帧间模式可以有选择的进行视点间预测，不需要对所有帧间模式都进行视点间预测。综上所述，视点间预测的选择方法对多视点视频编码的实际应用具有重要的意义。

现有的多视点视频编码帧间预测选择方法主要是利用各个视点视频数据的运动信息(见L.Q.Shen，Z.Liu，S.Liu，Z.y.Zhang，and P.An.Selective disparity estimation and variable size motion estimation based onmotion homogeneity for multi-view coding，即“基于运动同质性的多视点编码视差估计和可变尺寸运动估计选择算法”，IEEE Transactions onBroadcasting，vol.55，no.4，pp.761-766，Dec.2009，以及见L.S.Young，S.K.Mu and C.K.Dong，An object-based mode decision algorithm formulti-view video coding，即“基于物体分割的多视点视频编码模式分析算法”，IEEE International Symposium on Multimedia，pp.74-81，Dec.2008)。在多视点视频编码结构中，非锚定帧既可以进行时域预测又可以进行视点间预测，而锚定帧只进行视点间预测(见A.Vetro，p.Pandit，H.Kimata，A.Smolic and Y.K.Wang，Joint Multiview Video Model(JMVM)8.0，即“多视点视频编码校验模型8.0”，ISO/IEC JTCl/SC29/WG11 and ITU-T Q6/SG16，Doc.JVT-AA207，Apr.2008)。利用运动信息选择视点间预测的方法，由于需要利用时域预测得到的运动信息，因此不适用于锚定帧，同时也容易受到运动噪声的影响。视点间预测是通过视差估计来实现当前视点中的物体在邻近视点中的预测，而物体在两个视点间的视差的大小是由摄像头与物体之间的距离来决定。在多视点视频采集系统中，除了可以得到各个视点的视频数据，还可以得到各个视点对应的深度信息，用于实现视频+深度的编码方式(见K.Muller，P.Merkle，and T.Wiegnad，3-D videorepresentation using depth maps，即“基于深度图的三维视频表示”，Proceeding of IEEE，vol.99，pp.643-656，Apr.2011；以及见J.Zhang，M.Hannuksela，and H.Li，Joint multiview video plus depth coding，即“多视点视频和深度联合编码”，IEEE International Conference on Image Processing，pp.2865-2868，Sep.2010)。视点的深度信息反映了视点中的物体与摄像头之间的距离，深度信息的纹理差异反映了视差的变化。因此多视点视频编码可以利用深度信息的纹理特征来选择是否进行不同尺寸帧间模式的视点间预测。由于每帧都有深度信息，相应的视点间预测选择方法同时适用于锚定帧和非锚定帧。

发明内容

为了克服现有的多视点视频编码帧间预测选择方法的准确率较低、计算量较大、编码率失真性能较差的不足，本发明提供了一种多视点视频编码视点间预测快速选择方法，可以准确选择视点间预测，减少多视点视频编码的计算量，并保持良好的编码率失真性能。

为了解决上述技术问题采用的技术方案为：

一种多视点视频编码视点间预测快速选择方法，所述选择方法包括以下步骤：

(1)输入多视点视频数据和深度信息；

(2)宏块帧内模式的估计，所述的帧内模式包括Intra16x16、Intra8x8和Intra4x4；

(3)宏块帧间模式划分活跃性计算：

利用步骤(2)中得到的最佳帧内模式，来计算宏块的帧间模式划分活跃性PartitionActivity，如式(I)所示：

$\mathrm{PartitionActivity}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{Mode}}_{\mathrm{Intra}}==\mathrm{Intra}4x4\left|\right|\mathrm{Intra}8x8\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(I\right)$

式(I)中，n是宏块索引，1代表宏块的帧间模式划分活跃性高，0代表宏块的帧间模式划分活跃性低，Mode_Intra是宏块的最佳帧内模式；当宏块的最佳帧内模式为Intra4x4或Intra16x16，则宏块的帧间模式划分活跃性高，否则宏块的帧间模式划分活跃性低；

(4)宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算：

宏块深度信息在WxH划分下的纹理复杂度DepthDev_WxH计算如式(II)所示：

${\mathrm{DepthDev}}_{\mathrm{WxH}}\left(n\right)=\underset{j=1}{\overset{B}{\mathrm{\Σ}}}\underset{i=1}{\overset{\mathrm{WxH}}{\mathrm{\Σ}}}|\mathrm{Depth}(i,j)-{\mathrm{Depth}}_{\mathrm{AVG}}\left(j\right)|---\left(\mathrm{II}\right)$

式(II)中，W划分块的水平分辨率，H是划分块的竖直分辨率，B是宏块在WxH划分方式下划分块的个数，j是宏块深度信息划分块的索引，i是第j个划分块中的深度信息索引；Depth_AVG(j)是第j个划分块的平均深度值，Depth(i，j)是第j个划分块中的第i个深度值；

(5)宏块中每个小尺寸帧间模式的视点间预测选择，所述的小尺寸帧间模式包括：Inter16x8，Inter8x16和Inter8x8；

所述的小尺寸帧间模式中的Inter16x8模式的视点间预测的选择如式(III)所示：

所述的小尺寸帧间模式中的Inter8x16模式视点间预测的选择如式(IV)所示：

所述的小尺寸帧间模式中的Inter8x8模式视点间预测的选择如式(V)所示：

式(III)、(IV)、(V)中，1表示各式对应的帧间模式选择进行视点间预测，0表示各式对应的帧间模式选择不进行视点间预测，式(III)和式(IV)中α和式(V)中的β都是用来权衡选择算法的准确度和计算量，通常根据经验来选取，设为0.4～1.2，且β小于α。

本发明的技术构思为：充分利用当前宏块的帧内模式估计结果来计算宏块帧间模式划分活跃性，由于宏块帧内模式估计和帧间模式估计采用的量化参数是相同的，帧内模式估计结果是在当前宏块的量化参数下估计得到，因此利用帧内模式估计结果计算得到的帧间模式划分活跃性具有对宏块量化参数自适应的特点；计算宏块深度信息在不同划分方式下的纹理复杂度；利用宏块帧间模式划分活跃性和宏块深度信息纹理复杂度来选择是否进行各小尺寸帧间模式的视点间预测。

与现有技术相比，本发明具有以下的有益效果：

本发明提供了一种多视点视频编码视点间预测快速选择方法。该方法适用于多视点视频编码的模式估计，与现有技术相比，具有如下特点和优点：利用帧内模式估计结果来计算宏块帧间模式划分活跃性，计算宏块深度信息在不同划分方式下的纹理复杂度，根据宏块帧间模式划分活跃性和不同划分方式下的宏块深度信息纹理复杂度来准确地选择宏块小尺寸帧间模式的视点间预测，有效减少多视点视频编码的计算复杂度，同时保持编码率失真性能。另外，本发明适用于多视点视频中所有可以进行视点间预测的锚定帧和非锚定帧。

附图说明

图1为本发明方法的基本流程图。

具体实施方式

下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。

如图1所示，一种多视点视频编码视点间预测快速选择方法，包括以下步骤：

(1)输入多视点视频数据和深度信息；

(2)宏块帧内模式估计；

(3)宏块帧间模式划分活跃性计算；

(4)宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算；

(5)宏块中每个小尺寸帧间模式的视点间预测选择；

所述的帧内模式包括Intra16x16、Intra8x8和Intra4x4；所述的小尺寸帧间模式包括：Inter16x8，Inter8x16和Inter8x8。

步骤(3)具体为：

利用步骤(2)中得到的最佳帧内模式，来计算宏块的帧间模式划分活跃性PartitionActivity，如式(I)所示：

$\mathrm{PartitionActivity}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{Mode}}_{\mathrm{Intra}}==\mathrm{Intra}4x4\left|\right|\mathrm{Intra}8x8\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(I\right)$

式(I)中，n是宏块索引，1代表宏块的帧间模式划分活跃性高，0代表宏块的帧间模式划分活跃性低，Mode_Intra是宏块的最佳帧内模式；当宏块的最佳帧内模式为Intra4x4或Intra16x16，则宏块的帧间模式划分活跃性高，否则宏块的帧间模式划分活跃性低。

步骤(4)具体为：

计算宏块深度信息在16x16、16x8、8x16和8x8划分下的深度纹理复杂度，其中宏块深度信息在WxH划分下的纹理复杂度DepthDev_WxH计算如式(II)所示：

${\mathrm{DepthDev}}_{\mathrm{WxH}}\left(n\right)=\underset{j=1}{\overset{B}{\mathrm{\Σ}}}\underset{i=1}{\overset{\mathrm{WxH}}{\mathrm{\Σ}}}|\mathrm{Depth}(i,j)-{\mathrm{Depth}}_{\mathrm{AVG}}\left(j\right)|---\left(\mathrm{II}\right)$

式(II)中，W划分块的水平分辨率，H是划分块的竖直分辨率，B是宏块在WxH划分方式下划分块的个数，j是宏块深度信息划分块的索引，i是第j个划分块中的深度信息索引；Depth_AVG(j)是第j个划分块的平均深度值，Depth(i，j)是第j个划分块中的第i个深度值。式(II)中，宏块深度信息(16x16的像素块)中的划分块是按从上到下从左到右的方式来进行排列，16可以被W和H整除。当式(II)中W设为16且H设为16，则得到宏块深度信息在16x16划分下的纹理复杂度DepthDev_16x16；当式(II)中W设为16且H设为8，则得到宏块深度信息在16x8划分下的纹理复杂度DepthDev_16x8；当式(II)中W设为8且H设为16，则得到宏块深度信息在8x16划分下的纹理复杂度DepthDev_8x16；当式(II)中W设为8且H设为8，则得到宏块深度信息在8x8划分下的纹理复杂度DepthDev_8x8。

步骤(5)具体为：

利用步骤(3)得到的宏块帧间模式划分活跃性和步骤(4)得到的宏块深度信息在不同划分模式下的纹理复杂度来选择是否进行各个小尺寸帧间模式的视点间预测。所述的小尺寸帧间模式中的Inter16x8模式的视点间预测的选择如式(III)所示：

所述的小尺寸帧间模式中的Inter8x16模式视点间预测的选择如式(IV)所示：

所述的小尺寸帧间模式中的Inter8x8模式视点间预测的选择如式(V)所示：

式(III)、(IV)、(V)中，1表示各式对应的帧间模式选择进行视点间预测，0表示各式对应的帧间模式选择不进行视点间预测。式(III)和式(IV)中α和式(V)中的β都是用来权衡选择算法的准确度和计算量，通常根据经验来选取，设为0.4～1.2，此处α设为1.0，β设为0.6。由于宏块的8x8划分方式比宏块的16x8和8x16划分方式在划分粒度上要小，得到的宏块深度信息纹理复杂度也小，因此β须小于α。式(III)、(IV)、(V)中，各小尺寸帧间模式只有在对应划分下的深度信息纹理复杂度小于16x16划分下的深度信息纹理复杂度，并且宏块的帧间模式划分活跃性高，才选择进行各自的视点间预测。

Claims (1)

1.一种多视点视频编码视点间预测快速选择方法，其特征在于：所述选择方法包括以下步骤：

（1）输入多视点视频数据和深度信息；

（2）宏块帧内模式的估计，所述的帧内模式包括Intra16x16、Intra8x8和Intra4x4；

（3）宏块帧间模式划分活跃性计算：

利用步骤(2)中得到的最佳帧内模式，来计算宏块的帧间模式划分活跃性PartitionActivity，如式(I)所示：

$\mathrm{PartitionActivity}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{Mode}}_{\mathrm{Intra}}=\mathrm{Intra}4x4\left|\right|\mathrm{Intra}8x8\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(I\right)$

式（I）中，n是宏块索引，1代表宏块的帧间模式划分活跃性高，0代表宏块的帧间模式划分活跃性低，Mode_Intra是宏块的最佳帧内模式；当宏块的最佳帧内模式为Intra4x4或Intra8x8，则宏块的帧间模式划分活跃性高，否则宏块的帧间模式划分活跃性低；

（4）宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算：

宏块深度信息在WxH划分下的纹理复杂度DepthDev_WxH计算如式（II）所示：

${\mathrm{DepthDev}}_{\mathrm{WxH}}\left(n\right)=\underset{j=1}{\overset{B}{\mathrm{\Σ}}}\underset{i=1}{\overset{\mathrm{WxH}}{\mathrm{\Σ}}}|\mathrm{Depth}(i,j)-{\mathrm{Depth}}_{\mathrm{AVG}}\left(j\right)|---\left(\mathrm{II}\right)$

式（II）中，W划分块的水平分辨率，H是划分块的竖直分辨率，B是宏块在WxH划分方式下划分块的个数，j是宏块深度信息划分块的索引，i是第j个划分块中的深度信息索引；Depth_AvG(j)是第j个划分块的平均深度值，Depth(i，j)是第j个划分块中的第i个深度值；

（5）宏块中每个小尺寸帧间模式的视点间预测选择，所述的小尺寸帧间模式包括：Inter16x8，Inter8x16和Inter8x8；

所述的小尺寸帧间模式中的Inter16x8模式的视点间预测的选择如式(III)所示：

所述的小尺寸帧间模式中的Inter8x16模式视点间预测的选择如式(IV)所示：

所述的小尺寸帧间模式中的Inter8x8模式视点间预测的选择如式(V)所示：

式(III)、(IV)、(V)中，1表示各式对应的帧间模式选择进行视点间预测，0表示各式对应的帧间模式选择不进行视点间预测，式(III)和式(IV)中α是用来权衡选择算法的准确度和计算量的一个权衡系数，式(V)中的β是用来权衡选择算法的准确度和计算量的另一个权衡系数，通常根据经验来选取，设为0.4~1.2，且β小于α。

Images