CN104378643A - 一种3d视频深度图像帧内预测模式选择方法及系统 - Google Patents
一种3d视频深度图像帧内预测模式选择方法及系统 Download PDFInfo
- Publication number
- CN104378643A CN104378643A CN201410738423.3A CN201410738423A CN104378643A CN 104378643 A CN104378643 A CN 104378643A CN 201410738423 A CN201410738423 A CN 201410738423A CN 104378643 A CN104378643 A CN 104378643A
- Authority
- CN
- China
- Prior art keywords
- intra
- frame prediction
- prediction mode
- distortion cost
- rate distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 14
- 238000005192 partition Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 description 26
- 238000012360 testing method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000272470 Circus Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical group C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提出了一种3D视频深度图像帧内预测模式选择方法及系统。首先统计粗略决定模式列表中最小的粗略率失真的代价和其对应的模式作为最优帧内预测模式之间的概率分布;根据先验的概率分布,得到最小的粗略率失真的代价的阈值;比较粗略模式列表的最小的粗略率失真代价和阈值的大小,如果最小的粗略率失真代价小于阈值,跳过DMM模式的计算,且仅将最小的率失真代价对应的帧内预测模式设置为候选帧内预测模式。本发明利用了最小的粗略率失真的代价和其对应的模式作为最优帧内预测模式具有很高的相关性,可以无需增加额外的开销的情况下,降低了需要进行完整率失真计算的候选HEVC帧内预测模式和深度模型模式的数目。
Description
技术领域
本发明属于视频编解码技术领域,具体涉及一种3D视频深度图像帧内预测模式选择方法及系统。
背景技术
3D视频最早可以追溯到1922年,虽然3D电影给人们带来了身临其境的感觉,还原了我们可以触摸的生活,但是由于当时的投放条件以及出于商业利润的目的,绝大部分的电影片商还始终停留在2D制作上。近年来随着数字时代的到来,视频的获取、存储、传输、播放设备已经有了大幅地提高。自2009年12月《阿凡达》上映以来,3D视频也重新进入了人民的视野,成为一种炙手可热的大众娱乐方式。然而,3D视频目前还只能停留在影院阶段,这种3D视频要受到观看位置和3D眼镜的限制,造成很大的不便的同时也无法提供交互式的3D应用。为此,业界提出了适合家庭娱乐消费的自由视点视频(FVV),这种全新3D视频理念可以在任意位置不受眼镜的限制自由的呈现给用户3D的感觉。起初在上一代视频编码国际标准H.264中,业界提出了多视点视频(MVV)来实现自由视点视频的方案。而MVV往往需要编码传递20~50个视点的视频,才能实现自由视点视频的功能。这对于当前的编码器的处理能力、网络的传输能力、解码器的计算能力都无疑是一项巨大的挑战。为了克服多视点视频引来的巨大数据量,新一代视频编码(HEVC也称为H.265)标准采用了解码端和编码端非对称的多视点加深度图像(MVD)的格式。该格式可以通过传递少量的几个视点和其深度图像,利用深度图像通过DBIR技术绘制出任意位置的虚拟视点而实现自由视点视频的功能。因此,MVD格式逐渐成为了主流的3D视频格式,受到了学术界和工业界的青睐。在MVD的3D视频中,深度图像的编码关系到合成的虚拟视点的质量和3D视频应用的实时性。其中,深度图像的帧内编码有刷新序列和减少错误积累的作用,为深度图像编码中最重要的环节。
但是目前基于HEVC的3D视频编码测试模型3D-HEVC的深度帧内编码的计算复杂度十分高,其主要原因包含如下:
一:3D-HEVC继承了HEVC的复杂的编码结构。HEVC仍然采用以往编码标准的基于块的混合编码结构,但是与H.264相比,新的标准允许编码单元的大小为64x64、32x32、16x16、8x8的可变的块而非固定的大小为16x16的宏块。3D-HEVC将视频的每一帧划分为若干大小为64x64的最大编码单元(LCU),每个LCU需要按4-叉树递归的方式计算每一种分割方式来确定最优的LCU划分。此外,如图1所示HEVC一共涉及35种帧内预测模式,其中33种为角度预测模式,Planar和DC模式适用于平滑区域的非角度预测。对于每一预测单元,编码器都需要遍历计算35种HEVC帧内预测模式的率失真代价来得到最优的帧内预测模式。这35种HEVC帧内预测模式以下称为传统的HEVC帧内预测模式用来区分3D-HEVC的新的帧内预测模式。
二:深度图像表征了物体与摄像机的距离,故其特性和自然图像有很大的不同,主要变现为:大部分为平滑区域,并且这些平滑区域被锐利的边缘所分割。由于深度图像锐利边缘的失真,将导致在合成虚拟视点的时候,像素映射的偏差而导致前景和背景的重叠,进而引起合成视角中物体边缘的振铃效应。因此,深度图像的帧内预测编码最重要的目的是尽可能多的保留锐利的边缘。为了实现这一目的,3D-HEVC加入了新的帧内预测模式,称为深度模型模式。深度模型模式并不是简单的矩形分割而是采用楔形分割或是等高线分割(contour),如图2和图3所示。虽然深度模型模式可以更好的拟合物体的边界,从而可以得到更好的预测,但是深度模型模式一共引入了超过1000种模式。因此,编码器需要计算1000多次率失真代价,才能得到深度图像的最优帧内预测模式,这无疑大大增加了编码端的计算复杂程度。
三:深度图像并不是直接用来观看的,而是用在解码端合成需要的中间虚拟视角以满足观看者的需求。为了获得更好的合成视角,将视角合成优化(VSO)技术引入到3D-HEVC模型中。该技术用视角合成的质量来选择,像最优的LCU的分割或是帧内预测模式等编码参数。然而,VSO的一个重要部分就是十分耗时的渲染过程。这也成为深度图像帧内编码计算复杂程度高的另一个主要原因。
由于以上原因,高计算复杂度的3D视频很难应用到一些离线的服务器上,更何况是计算能力有限的移动终端。为了推动3D视频的实时应用,国内很多研究机构进行了大量的研究。其中,
针对原因一,文献《“Initialization,Limitation,and Predictive Coding of the Depth and TextureQuadtree in 3D-HEVC,”》,(More.E.G,Jung.J,Cagnazzo.M and Pesquet-Popescu.B,IEEETransactions on Circuits and Systems for Video Technology,Vol.24,No.9,pp 1554-1565,Sept.2014)一文中根据纹理图像和深度图像的信息冗余,提出了限制深度图像LCU的4-叉树分割的深度,减少了一部分不必要的CU划分和PU模式决定的过程。
针对原因三,文献《“View Synthesis Distortion Estimation for AVC-and HEVC-Compatible 3-DVideo Coding,”》,(Byung.T.O and Kwan.J.O,IEEE Transactions on Circuits and Systems for VideoTechnology,Vol.24,No.6,pp 1006-1015,June.2014)一文中简化了VSO技术,使用加权的深度图像和纹理图像的失真来估计合成视角的失真,从而避免了耗时较长的渲染过程。
尽管目前的3D-HEVC的参考测试模型使用了上述两个技术,但是深度图像的编码时间仍然不尽人意。况且深度图像的编码时间比纹理图像的编码时间长5到10倍,可见深度图像仍然是制约3D视频实时应用的主要因素,进一步降低深度图像的计算复杂度是十分必要的也是可行的。其中,一种最有效的方法就是减少3D-HEVC中深度块的候选帧内预测模式的数目。文献《3D-HEVC最初的测试模型“3D-HEVC Test Model 1”》,(“L.Zhang,G.Tech,K.Wegner,S.Yea,ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,JCT3V-A1005,1st Meeting:Stockholm,SE,16-20July 2012”)一文中的帧内预测模式选择方法,是对所有的传统HEVC的帧内预测模式和所有的深度模型模式进行率失真的计算。在此基础上,为了进一步地降低编码时间和计算复杂度,已经开展了许多相关研究来提高深度图像编码效率。研究成果如下:文献《Encoder improvement of unifiedintra prediction》,(“JCT-VC ITU-TVCEG ISO/IEC MPEG,document JCTVC-C207,Guangzhou,China,Oct.2010”)提出了一种粗略模式决定过程的方法,先对35种HEVC的帧内预测模式所得的残差块进行哈达玛变换,然后根据哈达玛变换系数和选择一定数目的候选帧内预测模式,最后计算候选帧内预测模式的完整率失真代价获得最优的帧内预测模式。文献《Fast Intra Mode Decision of HEVC based on Hierarchical Structure》,(“inProc.IEEE Int.Conf.Information,Commun.Signal Process,Dec.2011,pp.1–4”)提出了一种提前终止帧内预测模式选择的策略来加速帧内预测模式的选择。文献《Novel AdaptiveAlgorithm for Intra Prediction With Compromised Modes Skipping and Signaling Processesin HEVC》,(“IEEE trans.Circu.and sys.for video techno,Vol.23,pp.1686-1694,Oct.2013”)提出了利用邻近参考像素的相似程度减少候选帧内预测模式的方法来加速帧内编码。此外,对于3D-HEVC新引入的深度模型模式的研究如下:文献《Simplified Wedgeletsearch for DMM modes 1and 3》,(“ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,Doc,JCT3V-B0039,Shanghai,China”)提出了一种二步搜索最优楔形分割模式的算法,先在两倍像素域上得到次最优楔形分割,然后在次最优的楔形分割模式的附近寻找最优的楔形分割模式。文献《Fast Depth Modeling Mode Selection For 3D Hevc Depth IntraCoding》,(“Z.Y.Gu,J.H.Zheng,N.Ling and P.Zhang,IEEE international conference onICMEW,San Jose,CA,July 2013,pp.1-4”)提出了一种利用粗略决定模式候选列表中的planar模式来衡量预测块的平滑程度,从而判断是否进行深度模型模式的方法。在此基础上,申请号为20131016728.2的中国专利申请公开了一种技术,通过利用HEVC帧内角度预测模式(如图1所示)和楔形分割模式的纹理相关性,减少了需要计算RDO的楔形分割模式的数目,提高了编码效率。但是该技术在降低编码复杂度的同时增加了码率,降低了合成视角的视频质量。
通过采纳一些优秀的算法,文献《3D-HEVC测试模型“3D-HEVC Test Model 5”》(“L.Zhang,G.Tech,K.Wegner,S.Yea,ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,JCT3V-E1005,5th Meeting:Vienna,AT,27Jul.–2Aug.2013”)一文中,提出了一种3D-HEVC中深度帧内预测模式选择的方法,包含以下步骤:
步骤1,计算当前块的35种HEVC帧内预测模式的哈达玛变换系数绝对值和(SATD);在35种HEVC帧内预测模式中,根据SATD选择一定数目的帧内预测模式加入到候选帧内预测模式列表。其中,大小为4x4和8x8的预测块各选择8个帧内预测模式;大小为16x16、32x32和64x64的预测块各选择3个帧内预测模式。
步骤2,选取当前块的左侧和上侧邻近块的帧内预测模式,得到最大可能模式(MPM),将MPM中的帧内预测模式加入到候选帧内预测模式列表。
步骤3,在深度图像对应块中,计算每一个显式楔形分割模式的率失真代价,选择率失真代价最小的楔形分割模式作为最优的显式楔形分割模式并加入到候选帧内预测模式列表。
步骤4,在纹理图像对应块中,计算隐式楔形分割模式集中每一个隐式楔形分割模式的率失真代价,选择率失真代价最小的楔形分割模式作为最优的隐式楔形分割模式并加入到候选帧内预测模式列表。其中,(隐式楔形分割模式集为显式楔形分割模式集的子集;隐式楔形分割模式集为纹理对应块的帧内预测模式相对应的楔形分割模式子集。)
步骤5,将contour分割模式和边界链式分割模式加入到候选帧内预测模式列表。
步骤6,计算上述候选帧内预测模式列表中每个帧内预测模式的完整率失真代价,选择率失真代价最小的帧内预测模式作为当前块最优的帧内预测模式。
虽然上述深度帧内预测模式选择方法,将深度图像的帧内预测编码时间降低了一倍,但是深度图像帧内编码的复杂度仍然过高,现在普通的多媒体终端(包括手机、平板电脑、数码摄像机)的计算能力无法实现其实时应用,这也成为了未来3D视频在这些移动多媒体终端实现商业化的一个重要障碍。因此,进一步降低深度图像帧内预测模式选择方法的复杂度仍有很大的改进空间,这将进一步推动3D视频的实时应用,改变未来的电子消费市场的格局。
发明内容
本发明的目的在于提供一种3D视频深度图像帧内预测模式选择方法及系统,能够快速、高效、准确地进行深度图像帧内预测模式的选择。
为了解决上述技术问题,本发明提出一种3D视频深度图像帧内预测模式选择方法,包括如下步骤:
步骤1:对于阈值刷新帧,按照文献《3D-HEVC测试模型“3D-HEVC Test Model 5”》(“L.Zhang,G.Tech,K.Wegner,S.Yea,ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,JCT3V-E1005,5th Meeting:Vienna,AT,27Jul.–2Aug.2013”)一文中提出的深度帧内预测模式选择的方法,获得最优的帧内预测模式;记录最小的LCRD-Cost与最优的帧内预测模式之间的概率分布,根据概率分布获得阈值;
步骤2:计算当前块的35种HEVC帧内预测模式的哈达玛变换系数绝对值和(SATD);在35种HEVC帧内预测模式中,根据SATD选择一定数目的帧内预测模式加入到候选帧内预测模式列表;其中,大小为4x4和8x8的预测块各选择8个帧内预测模式;大小为16x16、32x32和64x64的预测块各选择3个帧内预测模式;
步骤3,选取当前块的左侧和上侧邻近块的帧内预测模式,得到最大可能模式(MPM),将MPM中的帧内预测模式加入到候选帧内预测模式列表;
步骤4:获取RMD中最小的LCRD-Cost,判断最小的LCRD-Cost是否大于阈值;如果最小的LCRD-Cost大于阈值,则执行步骤5;如果最小的LCRD-Cost不大于阈值,则在步骤2中获得的候选帧内预测模式列表中去除除最小LCRD-Cost相对应的候选帧内预测模式之外的所有其它候选帧内预测模式,然后直接执行步骤6;
步骤5:计算获得4个最优的深度模型模式,并加入到候选帧内预测模式列表中;其中包含计算最优的DMM1和DMM3楔形分割,和最优的DMM4和RBC模式的预测块;
步骤6:对于候选帧内预测模式中的每一个帧内预测模式,计算其率失真代价,取率失真代价最小的帧内预测模式为最优的帧内预测模式。
本发明还提供了一种3D视频深度图像帧内预测模式快速选择系统,具体包括:存储模块、计算模块、阈值模块;其中:
所述阈值模块,根据统计得到阈值刷新帧的最小的LCRD-Cost对应的帧内预测模式成为最优的帧内预测模式的概率分布并且根据其概率分布决定阈值。
所述计算模块,用计算粗略的率失真代价、哈达玛变换、楔形分割模式的率失真代价、候选帧内预测模式列表中的候选帧内预测模式的完整率失真代价。
所述存储模块,用于存储有效的候选帧内预测模式和阈值。
本发明与现有技术相比,其显著优点在于:(1)本发明利用了深度图像粗略模式率失真代价和最终的最优帧内预测模式的相关性,从而可以根据已经得到的率失真代价减少需要计算完整率失真代价的候选帧内预测模式的数目;(2)本发明简单有效,其硬件和软件的实现几乎不需要额外的开销;(3)不同的QP或是不同的视频序列,将得到不同的粗略模式率失真代价和最终的最优帧内预测模式的概率分布函数,因此本方法无需人工干预自适应的选择阈值,便可以得到较好的结果;(4)本发明不仅仅可以减少DMMs的候选数目,同时还减少了传统的HEVC的帧内预测模式的数目,极大地降低了深度图像编码复杂度的同时还可以保证合成视角的视频质量。
附图说明
图1是背景技术所述HEVC的35种帧内预测模式示意图。
图2是背景技术中所述楔形分割模式的分割方式,其中(a)为连续时楔形分割方式示意图,(b)为离散时楔形分割方式示意图,(c)为最终的楔形分割模式示意图。
图3是背景技术中所述等高线分割模式的分割方式,其中(a)为连续时等高线分割模式示意图,(b)为离散时等高线分割模式示意图,(c)为最终的等高线分割模式示意图。
图4是本发明提出的3D视频深度图像帧内预测模式选择方法流程示意图。
图5是本发明仿真实验的操作流程图。
图6是粗略率失真代价和最终的帧内预测模式之间的概率分布示意图。
图7是最小的粗略率失真代价小于阈值的PU的百分比示意图。
图8是本发明3D视频深度图像帧内预测模式选择系统的结构示意图。
具体实施方式
本发明仅仅提出了深度图像的帧内预测模式选择方法,没有涉及到编码单元,所以本发明的编码单元的顺序与现有的技术相同,即之字(zig-zag)扫描的块顺序。
本发明3D视频深度图像帧内预测模式选择方法,其原理是,本发明通过计算研究粗略决定模式(RMD)中的低复杂度的率失真代价(LCRD-Cost)和最优的帧内预测模式之间的关系,发现当最小的LCRD-Cost小于某个阈值时,其对应的模式有98%以上的概率成为最终的最优的帧内预测模式。因此本发明可以通过判断当前深度块的RMD中的最小的LCRD-Cost以减少候选帧内预测模式,具体如图4所示,包括如下步骤:
步骤401:对于阈值刷新帧,按照文献《3D-HEVC测试模型“3D-HEVC Test Model 5”》(“L.Zhang,G.Tech,K.Wegner,S.Yea,ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,JCT3V-E1005,5th Meeting:Vienna,AT,27Jul.–2Aug.2013”)一文中提出的深度帧内预测模式选择的方法,获得最优的帧内预测模式;记录最小的LCRD-Cost与最优的帧内预测模式之间的概率分布,根据概率分布获得阈值;
步骤402:计算当前块的35种HEVC帧内预测模式的哈达玛变换系数绝对值和(SATD);在35种HEVC帧内预测模式中,根据SATD选择一定数目的帧内预测模式加入到候选帧内预测模式列表;其中,大小为4x4和8x8的预测块各选择8个帧内预测模式;大小为16x16、32x32和64x64的预测块各选择3个帧内预测模式;
步骤403,选取当前块的左侧和上侧邻近块的帧内预测模式,得到最大可能模式(MPM),将MPM中的帧内预测模式加入到候选帧内预测模式列表;
步骤404:获取RMD中最小的LCRD-Cost,判断最小的LCRD-Cost是否大于阈值;如果最小的LCRD-Cost大于阈值,则执行步骤405;如果最小的LCRD-Cost不大于阈值,则在步骤402中获得的候选帧内预测模式列表中去除除最小LCRD-Cost相对应的候选帧内预测模式之外的所有其它候选帧内预测模式,然后直接执行步骤406;
步骤405:计算获得4个最优的深度模型模式,并加入到候选帧内预测模式列表中;其中包含计算最优的DMM1和DMM3楔形分割,和最优的DMM4和RBC模式的预测块;
步骤406:对于候选帧内预测模式中的每一个帧内预测模式,计算其率失真代价,取率失真代价最小的帧内预测模式为最优的帧内预测模式。
至此,完成了帧内预测模式的选择。
实施例
本发明实施例对提出的3D视频深度图像帧内预测模式选择方法的性能进行了验证,将3D视频深度图像帧内预测模式选择方法整合到3D-HEVC的参考软件HTM-8.1中,并且与标准的测试模型HTM-8.1进行了比较。编码参数设置如下:
视频序列分辨率:1092x1088、1024x768。
测试帧类型:全I帧
深度模型模式(DMM):开
量化参数值:纹理图像:25303540深度图像:34394245
简化深度编码(SDC):开
环路滤波:关
样本自适应补偿滤波SAO:关
视角合成优化VSO:开
本实施例操作流程如图5所示,具体步骤如下:
步骤501,判断当前帧是否为阈值刷新帧,如果判断结果为是,则执行标准的3D-HEVC帧内预测模式选择方法,计算得到最优的帧内预测模式,并且获得了如图6所示的粗略率失真代价和最终的帧内预测模式之间的概率分布,从而获得新的阈值TNew;否则,将执行步骤502。
步骤502,计算每一帧内预测模式的粗略率失真,并且根据预测块的大小选取一定数目的(4x4、8x8选取8个,而16x16、32x32和64x64选取3个)传统HEVC帧内预测模式,加入到存储模块中的候选帧内预测模式列表ListMode。
步骤503,获取上和左邻近的预测块的帧内预测模式,将两个最大可能模式加入到存储模块中的候选帧内预测模式列表ListMode。
步骤504,获得最小的粗略率失真代价LCRD-Costmin及其相对应的候选帧内预测模式Modemin。比较LCRD-Costmin和第一步在阈值刷新帧得到的阈值TNew;如果比较的结果为LCRD-Costmin大于阈值TNew,则继续执行505;否则将除Modemin之外的所有在502所获得候选帧内预测模式移出存储模块中的候选帧内预测模式列表ListMode,继续执行步骤506
步骤505,计算所有的楔形分割模式的率失真代价,得到最优的DMM1和最优的DMM3的楔形分割模式,并且加入到存储模块中的候选帧内预测模式列表ListMode。计算获得最优的DMM4和RBC的预测块,并将DMM4和RBC也加入到存储模块中的候选帧内预测模式列表ListMode。
步骤506,计算ListMode存储模块中的候选帧内预测模式列表中每一个帧内预测模式的完整率失真代价,其中率失真代价最小的候选帧内预测模式为最优的帧内预测模式。至此,完成了深度图像帧内预测模式的选择。
本发明在码率略微增加的前提下提高了深度图像帧内编码的效率。下表1为本发明3D视频深度图像帧内预测模式选择方法,用几个官方测试视频序列与HTM-8.1的比较结果。从表1可以看出与标准的3D-HEVC相比,本发明在平均码率仅仅提高约0.94%或是在平均的PSNR仅仅下降0.04dB的前提下,测试序列平均节省了约34%深度帧内预测的编码时间。表1的实验结果还表明了本发明对于高分辨率帧内编码效率的提升优于低分辨率的帧内编码效率的提升。一个重要的原因是由于高分辨率图像的平滑区域要多于低分辨率图像,而一般来讲平滑区域的粗略率失真代价都较小。为了进一步说明本发明的有效性,我们列出了四种不同的QP的”kendo”序列中,最小的粗略率失真代价小于阈值的PU的百分比,如图7所示。由图7可知,对于四种QP,本发明对超过一半以上的PU是有效的,因此本发明可以很大程度的节省深度帧内预测的编码时间。
表1 1920x1088视频序列的比较结果
本发明所述实现上述3D-HEVC深度图像帧内预测模式选择方法的系统,如图8所示,包含:存储模块、计算模块、阈值获得模块。
所述阈值模块,根据统计得到阈值刷新帧的最小的LCRD-Cost对应的帧内预测模式成为最优的帧内预测模式的概率分布并且根据其概率分布决定阈值。
所述计算模块,用计算粗略的率失真代价、哈达玛变换、楔形分割模式的率失真代价、候选帧内预测模式列表中的候选帧内预测模式的完整率失真代价。
所述存储模块,用于存储有效的候选帧内预测模式和阈值。
所述3D视频深度图像帧内预测模式选择系统的工作过程如下:
首先针对阈值刷新帧,通过计算模块得到粗略的率失真代价,阈值模块统计得到阈值刷新帧的最小的LCRD-Cost对应的帧内预测模式成为最优的帧内预测模式的概率分布并且根据其概率分布决定阈值,并存储到存储模块。
对于非阈值刷新帧,计算模块计算粗略的率失真代价并且与阈值进行比较。如果阈值大于当前块的最小的LCRD-Cost,则仅仅将最小的LCRD-Cost所对应的候选帧内预测模式设置为有效的帧内预测模式,并将有效的帧内预测模式存储到存储模块。
计算模块同时计算有效的帧内预测模式的完整率失真代价,得到最优的帧内预测模式。
本发明通过统计编码器的中间参数(粗略的率失真代价)和最优的帧内预测模式的先验概率,得到其概率分布。根据概率分布能够自适应地减少候选帧内预测模式的数目。先验概率分布中,中间参数(粗略的率失真代价)和最优的帧内预测模式的高相关性,为本发明提供了一种快速、准确的帧内预测模式选择的方法。
Claims (5)
1.一种3D视频深度图像帧内预测模式选择方法,其特征在于,包括如下步骤:
步骤1:对于阈值刷新帧,获得最优的帧内预测模式;记录最小的率失真代价与最优的帧内预测模式之间的概率分布,根据概率分布获得阈值;
步骤2:计算当前块的35种HEVC帧内预测模式的哈达玛变换系数绝对值和;在35种HEVC帧内预测模式中,根据所述哈达玛变换系数绝对值和选择一定数目的帧内预测模式加入到候选帧内预测模式列表;
步骤3,选取当前块的左侧和上侧邻近块的帧内预测模式,得到最大可能模式,将所述最大可能模式中的帧内预测模式加入到候选帧内预测模式列表;
步骤4:获取粗略决定模式中最小的率失真代价,判断最小的率失真代价是否大于阈值;如果最小的率失真代价大于阈值,则执行步骤5;如果最小的率失真代价不大于阈值,则在步骤2中获得的候选帧内预测模式列表中去除除最小率失真代价相对应的候选帧内预测模式之外的所有其它候选帧内预测模式,然后直接执行步骤6;
步骤5:计算获得4个最优的深度模型模式,并加入到候选帧内预测模式列表中;
步骤6:对于候选帧内预测模式中的每一个帧内预测模式,计算其率失真代价,取率失真代价最小的帧内预测模式为最优的帧内预测模式。
2.如权利要求1所述3D视频深度图像帧内预测模式选择方法,其特征在于,步骤2中,大小为4x4和8x8的预测块各选择8个帧内预测模式;大小为16x16、32x32和64x64的预测块各选择3个帧内预测模式。
3.如权利要求1所述3D视频深度图像帧内预测模式选择方法,其特征在于,步骤5中所述候选帧内预测模式列表中包含计算最优的DMM1和DMM3楔形分割,和最优的DMM4和RBC模式的预测块。
4.一种3D视频深度图像帧内预测模式快速选择系统,其特征在于,包括存储模块、计算模块和阈值模块;其中:
所述阈值模块,根据统计得到阈值刷新帧的最小的率失真代价对应的帧内预测模式成为最优的帧内预测模式的概率分布并且根据其概率分布决定阈值;
所述计算模块,用计算粗略的率失真代价、哈达玛变换、楔形分割模式的率失真代价、候选帧内预测模式列表中的候选帧内预测模式的完整率失真代价;
所述存储模块,用于存储有效的候选帧内预测模式和阈值。
5.如权利要求4所述3D视频深度图像帧内预测模式快速选择系统,其特征在于,
首先针对阈值刷新帧,通过计算模块得到粗略的率失真代价,阈值模块统计得到阈值刷新帧的最小的率失真代价对应的帧内预测模式成为最优的帧内预测模式的概率分布并且根据其概率分布决定阈值,并存储到存储模块;
对于非阈值刷新帧,计算模块计算粗略的率失真代价并且与阈值进行比较;如果阈值大于当前块的最小的率失真代价,则仅将最小的率失真代价所对应的候选帧内预测模式设置为有效的帧内预测模式,并将有效的帧内预测模式存储到存储模块;
计算模块同时计算有效的帧内预测模式的完整率失真代价,得到最优的帧内预测模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410738423.3A CN104378643B (zh) | 2014-12-04 | 2014-12-04 | 一种3d视频深度图像帧内预测模式选择方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410738423.3A CN104378643B (zh) | 2014-12-04 | 2014-12-04 | 一种3d视频深度图像帧内预测模式选择方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104378643A true CN104378643A (zh) | 2015-02-25 |
CN104378643B CN104378643B (zh) | 2017-11-14 |
Family
ID=52557248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410738423.3A Expired - Fee Related CN104378643B (zh) | 2014-12-04 | 2014-12-04 | 一种3d视频深度图像帧内预测模式选择方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104378643B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104796694A (zh) * | 2015-04-30 | 2015-07-22 | 上海交通大学 | 基于视频纹理信息的优化帧内视频编码方法 |
CN105791863A (zh) * | 2016-03-24 | 2016-07-20 | 西安电子科技大学 | 基于层的3d-hevc深度图帧内预测编码方法 |
CN105898332A (zh) * | 2016-06-27 | 2016-08-24 | 河南工业大学 | 针对3d-hevc编码标准的快速深度图帧内模式判决方法 |
CN106101699A (zh) * | 2016-07-20 | 2016-11-09 | 郑州轻工业学院 | 针对3d‑hevc深度图编码的深度建模模式判决方法 |
CN106331727A (zh) * | 2016-08-26 | 2017-01-11 | 天津大学 | 一种深度建模模式简化搜索方法 |
CN106791876A (zh) * | 2016-12-16 | 2017-05-31 | 浙江大学 | 一种基于3d‑hevc的深度图快速帧内预测方法 |
CN106878754A (zh) * | 2017-02-16 | 2017-06-20 | 南京理工大学 | 一种3d视频深度图像帧内预测模式选择方法 |
CN107864380A (zh) * | 2017-12-14 | 2018-03-30 | 杭州电子科技大学 | 基于dct的3d‑hevc快速帧内预测决策方法 |
CN108134940A (zh) * | 2018-01-22 | 2018-06-08 | 合肥工业大学 | 应用于视频编解码中深度图像帧内预测的编码电路及其编码方法 |
CN108881905A (zh) * | 2018-08-04 | 2018-11-23 | 福州大学 | 基于概率的帧内编码器优化方法 |
US10142626B2 (en) * | 2014-10-31 | 2018-11-27 | Ecole De Technologie Superieure | Method and system for fast mode decision for high efficiency video coding |
CN111918058A (zh) * | 2020-07-02 | 2020-11-10 | 北京大学深圳研究生院 | 硬件友好的帧内预测模式快速确定方法、设备及存储介质 |
WO2021032112A1 (en) * | 2019-08-19 | 2021-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Initialization for counter-based intra prediction mode |
CN114205622A (zh) * | 2021-12-16 | 2022-03-18 | 福州大学 | 一种基于HEVC标准的帧内预测的64x64 CU预处理方法 |
WO2022063267A1 (zh) * | 2020-09-28 | 2022-03-31 | 华为技术有限公司 | 帧内预测方法及装置 |
CN118301322A (zh) * | 2024-04-01 | 2024-07-05 | 摩尔线程智能科技(北京)有限责任公司 | 预测单元pu模式选择方法及装置、电子设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130301709A1 (en) * | 2011-01-15 | 2013-11-14 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding video using bidirectional intra prediction |
US20130301714A1 (en) * | 2010-11-04 | 2013-11-14 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding image for performing intraprediction using pixel value filtered according to prediction mode |
CN103997646A (zh) * | 2014-05-13 | 2014-08-20 | 北京航空航天大学 | 一种高清视频编码中快速帧内预测模式选择方法 |
CN104038760A (zh) * | 2014-06-13 | 2014-09-10 | 南京理工大学 | 一种3d视频深度图像帧内楔形分割模式选择方法及系统 |
-
2014
- 2014-12-04 CN CN201410738423.3A patent/CN104378643B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130301714A1 (en) * | 2010-11-04 | 2013-11-14 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding image for performing intraprediction using pixel value filtered according to prediction mode |
US20130301709A1 (en) * | 2011-01-15 | 2013-11-14 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding video using bidirectional intra prediction |
CN103997646A (zh) * | 2014-05-13 | 2014-08-20 | 北京航空航天大学 | 一种高清视频编码中快速帧内预测模式选择方法 |
CN104038760A (zh) * | 2014-06-13 | 2014-09-10 | 南京理工大学 | 一种3d视频深度图像帧内楔形分割模式选择方法及系统 |
Non-Patent Citations (1)
Title |
---|
祝世平,李丽芸: "新一代视频编码帧内预测模式选择的优化", 《光学精密工程》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10142626B2 (en) * | 2014-10-31 | 2018-11-27 | Ecole De Technologie Superieure | Method and system for fast mode decision for high efficiency video coding |
CN104796694B (zh) * | 2015-04-30 | 2017-08-15 | 上海交通大学 | 基于视频纹理信息的优化帧内视频编码方法 |
CN104796694A (zh) * | 2015-04-30 | 2015-07-22 | 上海交通大学 | 基于视频纹理信息的优化帧内视频编码方法 |
CN105791863A (zh) * | 2016-03-24 | 2016-07-20 | 西安电子科技大学 | 基于层的3d-hevc深度图帧内预测编码方法 |
CN105791863B (zh) * | 2016-03-24 | 2018-11-30 | 西安电子科技大学 | 基于层的3d-hevc深度图帧内预测编码方法 |
CN105898332A (zh) * | 2016-06-27 | 2016-08-24 | 河南工业大学 | 针对3d-hevc编码标准的快速深度图帧内模式判决方法 |
CN105898332B (zh) * | 2016-06-27 | 2018-09-04 | 河南工业大学 | 针对3d-hevc编码标准的快速深度图帧内模式判决方法 |
CN106101699B (zh) * | 2016-07-20 | 2018-12-28 | 郑州轻工业学院 | 针对3d-hevc深度图编码的深度建模模式判决方法 |
CN106101699A (zh) * | 2016-07-20 | 2016-11-09 | 郑州轻工业学院 | 针对3d‑hevc深度图编码的深度建模模式判决方法 |
CN106331727A (zh) * | 2016-08-26 | 2017-01-11 | 天津大学 | 一种深度建模模式简化搜索方法 |
CN106331727B (zh) * | 2016-08-26 | 2019-03-08 | 天津大学 | 一种深度建模模式简化搜索方法 |
CN106791876A (zh) * | 2016-12-16 | 2017-05-31 | 浙江大学 | 一种基于3d‑hevc的深度图快速帧内预测方法 |
CN106791876B (zh) * | 2016-12-16 | 2019-06-25 | 浙江大学 | 一种基于3d-hevc的深度图快速帧内预测方法 |
CN106878754B (zh) * | 2017-02-16 | 2019-09-27 | 南京理工大学 | 一种3d视频深度图像帧内预测模式选择方法 |
CN106878754A (zh) * | 2017-02-16 | 2017-06-20 | 南京理工大学 | 一种3d视频深度图像帧内预测模式选择方法 |
CN107864380B (zh) * | 2017-12-14 | 2020-08-11 | 杭州电子科技大学 | 基于dct的3d-hevc快速帧内预测决策方法 |
CN107864380A (zh) * | 2017-12-14 | 2018-03-30 | 杭州电子科技大学 | 基于dct的3d‑hevc快速帧内预测决策方法 |
CN108134940B (zh) * | 2018-01-22 | 2019-11-08 | 合肥工业大学 | 应用于视频编码中深度图像帧内预测的编码电路及方法 |
CN108134940A (zh) * | 2018-01-22 | 2018-06-08 | 合肥工业大学 | 应用于视频编解码中深度图像帧内预测的编码电路及其编码方法 |
CN108881905A (zh) * | 2018-08-04 | 2018-11-23 | 福州大学 | 基于概率的帧内编码器优化方法 |
CN108881905B (zh) * | 2018-08-04 | 2021-08-31 | 福州大学 | 基于概率的帧内编码器优化方法 |
WO2021032112A1 (en) * | 2019-08-19 | 2021-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Initialization for counter-based intra prediction mode |
US11917196B2 (en) | 2019-08-19 | 2024-02-27 | Beijing Bytedance Network Technology Co., Ltd | Initialization for counter-based intra prediction mode |
CN111918058A (zh) * | 2020-07-02 | 2020-11-10 | 北京大学深圳研究生院 | 硬件友好的帧内预测模式快速确定方法、设备及存储介质 |
CN111918058B (zh) * | 2020-07-02 | 2022-10-28 | 北京大学深圳研究生院 | 硬件友好的帧内预测模式快速确定方法、设备及存储介质 |
WO2022063267A1 (zh) * | 2020-09-28 | 2022-03-31 | 华为技术有限公司 | 帧内预测方法及装置 |
CN114205622A (zh) * | 2021-12-16 | 2022-03-18 | 福州大学 | 一种基于HEVC标准的帧内预测的64x64 CU预处理方法 |
CN118301322A (zh) * | 2024-04-01 | 2024-07-05 | 摩尔线程智能科技(北京)有限责任公司 | 预测单元pu模式选择方法及装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104378643B (zh) | 2017-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104378643B (zh) | 一种3d视频深度图像帧内预测模式选择方法及系统 | |
CN109688414B (zh) | 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法 | |
CN104125473B (zh) | 一种3d视频深度图像帧内预测模式选择方法及系统 | |
WO2016000538A1 (zh) | 视频编码的运动矢量列表构建方法和系统 | |
Gu et al. | Fast depth modeling mode selection for 3D HEVC depth intra coding | |
Shen et al. | Efficient intra mode selection for depth-map coding utilizing spatiotemporal, inter-component and inter-view correlations in 3D-HEVC | |
Gu et al. | Fast bi-partition mode selection for 3D HEVC depth intra coding | |
CN103338370B (zh) | 一种多视点深度视频快速编码方法 | |
CN110557646B (zh) | 一种智能视点间的编码方法 | |
CN107864380A (zh) | 基于dct的3d‑hevc快速帧内预测决策方法 | |
CN106412611B (zh) | 一种高效视频编码的复杂度控制方法 | |
CN109327703A (zh) | 一种基于不同采样块的深度图编解码方法 | |
Chen et al. | Sum-of-gradient based fast intra coding in 3D-HEVC for depth map sequence (SOG-FDIC) | |
Zhang et al. | Efficient depth intra mode decision by reference pixels classification in 3D-HEVC | |
Li et al. | Fast depth intra coding based on spatial correlation and rate distortion cost in 3D-HEVC | |
Yang et al. | Fast intra encoding decisions for high efficiency video coding standard | |
Hamout et al. | Fast depth map intra-mode selection for 3D-HEVC intra-coding | |
CN109889838B (zh) | 一种基于roi区域的hevc快速编码方法 | |
CN116489333A (zh) | 一种面向深度图编码单元划分的边缘分类模型构建方法 | |
KR101603413B1 (ko) | 깊이 정보를 이용한 비디오 부호화 방법 및 장치 | |
CN102595137A (zh) | 基于图像像素块行/列流水线的快速模式判决装置和方法 | |
Ma et al. | A fast background model based surveillance video coding in HEVC | |
Afonso et al. | Hardware-friendly unidirectional disparity-search algorithm for 3D-HEVC | |
Zhang et al. | Edge-detection based fast intra-mode selection for depth map coding in 3D-HEVC | |
CN113301331B (zh) | 基于通用视频编码标准的帧内预测编码模式快速决策方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171114 Termination date: 20201204 |