CN102387368B - 一种多视点视频编码视点间预测快速选择方法 - Google Patents

一种多视点视频编码视点间预测快速选择方法 Download PDF

Info

Publication number
CN102387368B
CN102387368B CN 201110305779 CN201110305779A CN102387368B CN 102387368 B CN102387368 B CN 102387368B CN 201110305779 CN201110305779 CN 201110305779 CN 201110305779 A CN201110305779 A CN 201110305779A CN 102387368 B CN102387368 B CN 102387368B
Authority
CN
China
Prior art keywords
inter
macro block
mode
frame
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201110305779
Other languages
English (en)
Other versions
CN102387368A (zh
Inventor
朱威
陈朋
郑雅羽
俞立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN 201110305779 priority Critical patent/CN102387368B/zh
Publication of CN102387368A publication Critical patent/CN102387368A/zh
Application granted granted Critical
Publication of CN102387368B publication Critical patent/CN102387368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种多视点视频编码视点间预测快速选择方法,包括以下步骤:(1)输入多视点视频数据和深度信息;(2)宏块帧内模式估计;(3)宏块帧间模式划分活跃性计算;(4)宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算;(5)宏块中每个小尺寸帧间模式的视点间预测选择。发明方法适用于多视点视频编码的视点间预测的选择,可以降低多视点编码的计算整体计算量,同时保持编码率失真性能。

Description

一种多视点视频编码视点间预测快速选择方法
技术领域
本发明涉及数字视频编码领域,具体涉及一种多视点视频编码视点间预测快速选择方法。
背景技术
多视点视频(Multiview Video,MV)是利用不同位置的摄像头对同一场景进行拍摄得到的视频数据,它包含了丰富的视觉信息,可以应用于3D电视、自由视点电视、视频监控、虚拟现实等领域。多视点视频编码(Multiview Video Coding,MVC)对多视点视频数据进行高效的压缩,以解决其巨大数据量的存储和传输的问题。联合视频工作组(Joint VideoTeam,JVT)已完成对多视点视频编码的标准化,将其作为H.264/AVC的第四个增修案(见ITU-T and ISO/IEC JTC 1,Advanced video coding forgeneric audiovisual services,即“面向音视频服务的高级视频编码”,ITU-TRecommendation H.264 and ISO/IEC 14496(MPEG-4 AVC),2010)。为了提高编码压缩效率,多视点视频编码的宏块帧间模式不仅采用传统单视点视频编码的时域预测来减少时间方向上的数据冗余,还采用其特有的视点间预测来降低视点方向上的数据冗余(见A.Vetro,T.Wiegand,and G.J.Sullivan,Overview of the stereo and multiview video coding extensions of theH.264/AVC standard,即“H.264/AVC关于立体视频和多视点视频的扩展概述”,Proceeding of IEEE,vol.99,pp.626-642,2011)。视点间预测可以有效降低视点方向的数据冗余,但由于每个帧间模式都要进行视点间预测,显著增加了单个视点的计算量。因此,视点间预测的增加了多视点视频编码的整体计算复杂度,阻碍了其实际应用。另外,视点间预测被选为最终预测方向的宏块比例比时域预测被选为最终预测方向的宏块比例要少(见P.Merkle,A.
Figure BDA0000097657300000021
,K.Müiller,and T.Wiegand,Efficient prediction structuresfor multiview video coding,即“多视点视频编码的高效预测结构”,IEEETransactions on Circuits and Systems for Video Technology,vol.17,no.11,pp.1461-1473,Nov.2007)。因此,帧间模式可以有选择的进行视点间预测,不需要对所有帧间模式都进行视点间预测。综上所述,视点间预测的选择方法对多视点视频编码的实际应用具有重要的意义。
现有的多视点视频编码帧间预测选择方法主要是利用各个视点视频数据的运动信息(见L.Q.Shen,Z.Liu,S.Liu,Z.y.Zhang,and P.An.Selective disparity estimation and variable size motion estimation based onmotion homogeneity for multi-view coding,即“基于运动同质性的多视点编码视差估计和可变尺寸运动估计选择算法”,IEEE Transactions onBroadcasting,vol.55,no.4,pp.761-766,Dec.2009,以及见L.S.Young,S.K.Mu and C.K.Dong,An object-based mode decision algorithm formulti-view video coding,即“基于物体分割的多视点视频编码模式分析算法”,IEEE International Symposium on Multimedia,pp.74-81,Dec.2008)。在多视点视频编码结构中,非锚定帧既可以进行时域预测又可以进行视点间预测,而锚定帧只进行视点间预测(见A.Vetro,p.Pandit,H.Kimata,A.Smolic and Y.K.Wang,Joint Multiview Video Model(JMVM)8.0,即“多视点视频编码校验模型8.0”,ISO/IEC JTCl/SC29/WG11 and ITU-T Q6/SG16,Doc.JVT-AA207,Apr.2008)。利用运动信息选择视点间预测的方法,由于需要利用时域预测得到的运动信息,因此不适用于锚定帧,同时也容易受到运动噪声的影响。视点间预测是通过视差估计来实现当前视点中的物体在邻近视点中的预测,而物体在两个视点间的视差的大小是由摄像头与物体之间的距离来决定。在多视点视频采集系统中,除了可以得到各个视点的视频数据,还可以得到各个视点对应的深度信息,用于实现视频+深度的编码方式(见K.Muller,P.Merkle,and T.Wiegnad,3-D videorepresentation using depth maps,即“基于深度图的三维视频表示”,Proceeding of IEEE,vol.99,pp.643-656,Apr.2011;以及见J.Zhang,M.Hannuksela,and H.Li,Joint multiview video plus depth coding,即“多视点视频和深度联合编码”,IEEE International Conference on Image Processing,pp.2865-2868,Sep.2010)。视点的深度信息反映了视点中的物体与摄像头之间的距离,深度信息的纹理差异反映了视差的变化。因此多视点视频编码可以利用深度信息的纹理特征来选择是否进行不同尺寸帧间模式的视点间预测。由于每帧都有深度信息,相应的视点间预测选择方法同时适用于锚定帧和非锚定帧。
发明内容
为了克服现有的多视点视频编码帧间预测选择方法的准确率较低、计算量较大、编码率失真性能较差的不足,本发明提供了一种多视点视频编码视点间预测快速选择方法,可以准确选择视点间预测,减少多视点视频编码的计算量,并保持良好的编码率失真性能。
为了解决上述技术问题采用的技术方案为:
一种多视点视频编码视点间预测快速选择方法,所述选择方法包括以下步骤:
(1)输入多视点视频数据和深度信息;
(2)宏块帧内模式的估计,所述的帧内模式包括Intra16x16、Intra8x8和Intra4x4;
(3)宏块帧间模式划分活跃性计算:
利用步骤(2)中得到的最佳帧内模式,来计算宏块的帧间模式划分活跃性PartitionActivity,如式(I)所示:
PartitionActivity ( n ) = 1 , if Mode Intra = = Intra 4 x 4 | | Intra 8 x 8 0 , otherwise - - - ( I )
式(I)中,n是宏块索引,1代表宏块的帧间模式划分活跃性高,0代表宏块的帧间模式划分活跃性低,ModeIntra是宏块的最佳帧内模式;当宏块的最佳帧内模式为Intra4x4或Intra16x16,则宏块的帧间模式划分活跃性高,否则宏块的帧间模式划分活跃性低;
(4)宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算:
宏块深度信息在WxH划分下的纹理复杂度DepthDevWxH计算如式(II)所示:
DepthDev WxH ( n ) = Σ j = 1 B Σ i = 1 WxH | Depth ( i , j ) - Depth AVG ( j ) | - - - ( II )
式(II)中,W划分块的水平分辨率,H是划分块的竖直分辨率,B是宏块在WxH划分方式下划分块的个数,j是宏块深度信息划分块的索引,i是第j个划分块中的深度信息索引;DepthAVG(j)是第j个划分块的平均深度值,Depth(i,j)是第j个划分块中的第i个深度值;
(5)宏块中每个小尺寸帧间模式的视点间预测选择,所述的小尺寸帧间模式包括:Inter16x8,Inter8x16和Inter8x8;
所述的小尺寸帧间模式中的Inter16x8模式的视点间预测的选择如式(III)所示:
Figure BDA0000097657300000051
所述的小尺寸帧间模式中的Inter8x16模式视点间预测的选择如式(IV)所示:
Figure BDA0000097657300000052
所述的小尺寸帧间模式中的Inter8x8模式视点间预测的选择如式(V)所示:
Figure BDA0000097657300000053
式(III)、(IV)、(V)中,1表示各式对应的帧间模式选择进行视点间预测,0表示各式对应的帧间模式选择不进行视点间预测,式(III)和式(IV)中α和式(V)中的β都是用来权衡选择算法的准确度和计算量,通常根据经验来选取,设为0.4~1.2,且β小于α。
本发明的技术构思为:充分利用当前宏块的帧内模式估计结果来计算宏块帧间模式划分活跃性,由于宏块帧内模式估计和帧间模式估计采用的量化参数是相同的,帧内模式估计结果是在当前宏块的量化参数下估计得到,因此利用帧内模式估计结果计算得到的帧间模式划分活跃性具有对宏块量化参数自适应的特点;计算宏块深度信息在不同划分方式下的纹理复杂度;利用宏块帧间模式划分活跃性和宏块深度信息纹理复杂度来选择是否进行各小尺寸帧间模式的视点间预测。
与现有技术相比,本发明具有以下的有益效果:
本发明提供了一种多视点视频编码视点间预测快速选择方法。该方法适用于多视点视频编码的模式估计,与现有技术相比,具有如下特点和优点:利用帧内模式估计结果来计算宏块帧间模式划分活跃性,计算宏块深度信息在不同划分方式下的纹理复杂度,根据宏块帧间模式划分活跃性和不同划分方式下的宏块深度信息纹理复杂度来准确地选择宏块小尺寸帧间模式的视点间预测,有效减少多视点视频编码的计算复杂度,同时保持编码率失真性能。另外,本发明适用于多视点视频中所有可以进行视点间预测的锚定帧和非锚定帧。
附图说明
图1为本发明方法的基本流程图。
具体实施方式
下面结合实施例和附图来详细说明本发明,但本发明并不仅限于此。
如图1所示,一种多视点视频编码视点间预测快速选择方法,包括以下步骤:
(1)输入多视点视频数据和深度信息;
(2)宏块帧内模式估计;
(3)宏块帧间模式划分活跃性计算;
(4)宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算;
(5)宏块中每个小尺寸帧间模式的视点间预测选择;
所述的帧内模式包括Intra16x16、Intra8x8和Intra4x4;所述的小尺寸帧间模式包括:Inter16x8,Inter8x16和Inter8x8。
步骤(3)具体为:
利用步骤(2)中得到的最佳帧内模式,来计算宏块的帧间模式划分活跃性PartitionActivity,如式(I)所示:
PartitionActivity ( n ) = 1 , if Mode Intra = = Intra 4 x 4 | | Intra 8 x 8 0 , otherwise - - - ( I )
式(I)中,n是宏块索引,1代表宏块的帧间模式划分活跃性高,0代表宏块的帧间模式划分活跃性低,ModeIntra是宏块的最佳帧内模式;当宏块的最佳帧内模式为Intra4x4或Intra16x16,则宏块的帧间模式划分活跃性高,否则宏块的帧间模式划分活跃性低。
步骤(4)具体为:
计算宏块深度信息在16x16、16x8、8x16和8x8划分下的深度纹理复杂度,其中宏块深度信息在WxH划分下的纹理复杂度DepthDevWxH计算如式(II)所示:
DepthDev WxH ( n ) = Σ j = 1 B Σ i = 1 WxH | Depth ( i , j ) - Depth AVG ( j ) | - - - ( II )
式(II)中,W划分块的水平分辨率,H是划分块的竖直分辨率,B是宏块在WxH划分方式下划分块的个数,j是宏块深度信息划分块的索引,i是第j个划分块中的深度信息索引;DepthAVG(j)是第j个划分块的平均深度值,Depth(i,j)是第j个划分块中的第i个深度值。式(II)中,宏块深度信息(16x16的像素块)中的划分块是按从上到下从左到右的方式来进行排列,16可以被W和H整除。当式(II)中W设为16且H设为16,则得到宏块深度信息在16x16划分下的纹理复杂度DepthDev16x16;当式(II)中W设为16且H设为8,则得到宏块深度信息在16x8划分下的纹理复杂度DepthDev16x8;当式(II)中W设为8且H设为16,则得到宏块深度信息在8x16划分下的纹理复杂度DepthDev8x16;当式(II)中W设为8且H设为8,则得到宏块深度信息在8x8划分下的纹理复杂度DepthDev8x8
步骤(5)具体为:
利用步骤(3)得到的宏块帧间模式划分活跃性和步骤(4)得到的宏块深度信息在不同划分模式下的纹理复杂度来选择是否进行各个小尺寸帧间模式的视点间预测。所述的小尺寸帧间模式中的Inter16x8模式的视点间预测的选择如式(III)所示:
Figure BDA0000097657300000081
所述的小尺寸帧间模式中的Inter8x16模式视点间预测的选择如式(IV)所示:
Figure BDA0000097657300000082
所述的小尺寸帧间模式中的Inter8x8模式视点间预测的选择如式(V)所示:
Figure BDA0000097657300000083
式(III)、(IV)、(V)中,1表示各式对应的帧间模式选择进行视点间预测,0表示各式对应的帧间模式选择不进行视点间预测。式(III)和式(IV)中α和式(V)中的β都是用来权衡选择算法的准确度和计算量,通常根据经验来选取,设为0.4~1.2,此处α设为1.0,β设为0.6。由于宏块的8x8划分方式比宏块的16x8和8x16划分方式在划分粒度上要小,得到的宏块深度信息纹理复杂度也小,因此β须小于α。式(III)、(IV)、(V)中,各小尺寸帧间模式只有在对应划分下的深度信息纹理复杂度小于16x16划分下的深度信息纹理复杂度,并且宏块的帧间模式划分活跃性高,才选择进行各自的视点间预测。

Claims (1)

1.一种多视点视频编码视点间预测快速选择方法,其特征在于:所述选择方法包括以下步骤:
(1)输入多视点视频数据和深度信息;
(2)宏块帧内模式的估计,所述的帧内模式包括Intra16x16、Intra8x8和Intra4x4;
(3)宏块帧间模式划分活跃性计算:
利用步骤(2)中得到的最佳帧内模式,来计算宏块的帧间模式划分活跃性PartitionActivity,如式(I)所示:
PartitionActivity ( n ) = 1 , if Mode Intra = Intra 4 x 4 | | Intra 8 x 8 0 , otherwise - - - ( I )
式(I)中,n是宏块索引,1代表宏块的帧间模式划分活跃性高,0代表宏块的帧间模式划分活跃性低,ModeIntra是宏块的最佳帧内模式;当宏块的最佳帧内模式为Intra4x4或Intra8x8,则宏块的帧间模式划分活跃性高,否则宏块的帧间模式划分活跃性低;
(4)宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算:
宏块深度信息在WxH划分下的纹理复杂度DepthDevWxH计算如式(II)所示:
DepthDev WxH ( n ) = Σ j = 1 B Σ i = 1 WxH | Depth ( i , j ) - Depth AVG ( j ) | - - - ( II )
式(II)中,W划分块的水平分辨率,H是划分块的竖直分辨率,B是宏块在WxH划分方式下划分块的个数,j是宏块深度信息划分块的索引,i是第j个划分块中的深度信息索引;DepthAvG(j)是第j个划分块的平均深度值,Depth(i,j)是第j个划分块中的第i个深度值;
(5)宏块中每个小尺寸帧间模式的视点间预测选择,所述的小尺寸帧间模式包括:Inter16x8,Inter8x16和Inter8x8;
所述的小尺寸帧间模式中的Inter16x8模式的视点间预测的选择如式(III)所示:
Figure FDA00002875479000021
所述的小尺寸帧间模式中的Inter8x16模式视点间预测的选择如式(IV)所示:
Figure FDA00002875479000022
所述的小尺寸帧间模式中的Inter8x8模式视点间预测的选择如式(V)所示:
Figure FDA00002875479000023
式(III)、(IV)、(V)中,1表示各式对应的帧间模式选择进行视点间预测,0表示各式对应的帧间模式选择不进行视点间预测,式(III)和式(IV)中α是用来权衡选择算法的准确度和计算量的一个权衡系数,式(V)中的β是用来权衡选择算法的准确度和计算量的另一个权衡系数,通常根据经验来选取,设为0.4~1.2,且β小于α。
CN 201110305779 2011-10-11 2011-10-11 一种多视点视频编码视点间预测快速选择方法 Active CN102387368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110305779 CN102387368B (zh) 2011-10-11 2011-10-11 一种多视点视频编码视点间预测快速选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110305779 CN102387368B (zh) 2011-10-11 2011-10-11 一种多视点视频编码视点间预测快速选择方法

Publications (2)

Publication Number Publication Date
CN102387368A CN102387368A (zh) 2012-03-21
CN102387368B true CN102387368B (zh) 2013-06-19

Family

ID=45826261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110305779 Active CN102387368B (zh) 2011-10-11 2011-10-11 一种多视点视频编码视点间预测快速选择方法

Country Status (1)

Country Link
CN (1) CN102387368B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984513B (zh) * 2012-09-29 2015-04-15 天津大学 一种深度视频编码方法
EP2932472B1 (en) * 2012-12-14 2018-07-18 Qualcomm Incorporated Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
US10659813B2 (en) 2013-04-10 2020-05-19 Zte Corporation Method, system and device for coding and decoding depth information
CN103428499B (zh) * 2013-08-23 2016-08-17 清华大学深圳研究生院 编码单元的划分方法及使用该方法的多视点视频编码方法
CN103997635B (zh) * 2014-04-11 2015-10-28 清华大学深圳研究生院 自由视点视频的合成视点失真预测方法及编码方法
US20160234510A1 (en) * 2014-06-20 2016-08-11 Mediatek Inc. Method of Coding for Depth Based Block Partitioning Mode in Three-Dimensional or Multi-view Video Coding
CN106210741B (zh) * 2016-09-10 2018-12-21 天津大学 一种基于视点间相关性的深度视频编码算法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100471278C (zh) * 2007-04-06 2009-03-18 清华大学 一种基于分布式信源编码的多视点视频压缩编解码方法
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
EP2338281A4 (en) * 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
CN101720042A (zh) * 2009-11-27 2010-06-02 宁波大学 一种多视点视频信号的编码方法
CN101888566B (zh) * 2010-06-30 2012-02-15 清华大学 立体视频编码率失真性能估计方法

Also Published As

Publication number Publication date
CN102387368A (zh) 2012-03-21

Similar Documents

Publication Publication Date Title
CN102387368B (zh) 一种多视点视频编码视点间预测快速选择方法
KR101662918B1 (ko) 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
Yuan et al. Model-based joint bit allocation between texture videos and depth maps for 3-D video coding
CN102307304B (zh) 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
CN104202612B (zh) 基于四叉树约束的编码单元的划分方法及视频编码方法
CN101917619A (zh) 一种多视点视频编码快速运动估计方法
CN101990103B (zh) 用于多视点视频编码的方法和装置
Gu et al. Fast bi-partition mode selection for 3D HEVC depth intra coding
CN103051894A (zh) 一种基于分形和h.264的双目立体视频压缩与解压缩方法
CN102917233A (zh) 空间遥操作环境下立体视频编码优化方法
CN103188500B (zh) 多视点视频信号的编码方法
CN101557519B (zh) 一种多视点视频编码方法
CN102404570B (zh) 基于率失真敏感度的多视点视频编码快速模式选择方法
CN102595166B (zh) 一种适用于深度图编码的拉格朗日因子计算方法
CN105872561B (zh) 一种可分级多视点视频加深度宏块编码模式快速选择方法
Yea et al. View synthesis prediction for rate-overhead reduction in ftv
Afonso et al. Hardware-friendly unidirectional disparity-search algorithm for 3D-HEVC
Dou et al. Segment-based view synthesis optimization scheme in 3D-HEVC
CN103248899A (zh) 多视点视频skip模式的运动矢量预测方法
Ma et al. Novel distortion metric for depth coding of 3D video
Wang et al. Fast mode selection based on texture segmentation and view prediction in JMVC
Klimaszewski et al. Video and depth bitrate allocation in multiview compression
Micallef et al. Low complexity disparity estimation for immersive 3D video transmission
Luo et al. Rate-distortion based reference viewpoints selection for multi-view video plus depth coding
Guo et al. Multiview video coding based on global motion model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant