CN103338371A - 一种快速高效率视频编码帧内模式判决方法 - Google Patents

一种快速高效率视频编码帧内模式判决方法 Download PDF

Info

Publication number
CN103338371A
CN103338371A CN2013102259891A CN201310225989A CN103338371A CN 103338371 A CN103338371 A CN 103338371A CN 2013102259891 A CN2013102259891 A CN 2013102259891A CN 201310225989 A CN201310225989 A CN 201310225989A CN 103338371 A CN103338371 A CN 103338371A
Authority
CN
China
Prior art keywords
mode
frame
enter
video
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102259891A
Other languages
English (en)
Other versions
CN103338371B (zh
Inventor
钟国韵
刘梅锋
徐洪珍
吴有用
何月顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Institute of Technology
Original Assignee
East China Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Institute of Technology filed Critical East China Institute of Technology
Priority to CN201310225989.1A priority Critical patent/CN103338371B/zh
Publication of CN103338371A publication Critical patent/CN103338371A/zh
Application granted granted Critical
Publication of CN103338371B publication Critical patent/CN103338371B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种快速高效率视频编码帧内模式判决方法,包括预测方式配置和预测模式选择。预测模式选择利用了当前CU层与其之上各层CU的亮度帧内预测模式的相关性,CBF与TU分割深度之间的相关性,以及相邻CU层之间的色度帧内预测模式的相关性,跳过了冗余的帧内模式的预测,从而降低了编码的计算复杂度。根据代价函数cost与RDcost之间的相关性,以及色度与亮度帧内预测模式之间的相关性,分别在亮度和色度帧内预测过程中添加了RMD中cost代价最小的预测模式和最佳亮度预测模式,从而保障了视频编码效率和视频质量。本发明的方法较之现有技术的HEVC视频编码标准,在比特率和视频质量几乎不变的前提下,较好地降低了编码的计算复杂度。

Description

一种快速高效率视频编码帧内模式判决方法
技术领域
本发明涉及图像通信领域中的视频编码帧内预测技术问题,涉及一种快速高效率视频编码帧内模式判决方法。 
背景技术
目前的国际视频编码标准为高级视频编码(H.264/AVC),该视频编码标准相比之前的视频编码标准,在视频编码性能方面有较大的提高。随着高清视频技术的广泛应用,H.264/AVC的最大16×16尺寸块已经不太适合高清视频的编码了。为此,国际标准化组织-国际电工委员会/活动图像专家组(ISO-IEC/ MPEG) 和国际电信联盟远程通信标准化组织/视频编码专家组(ITU-T/VCEG)两大国际标准化组织已经成立了视频编码联合开发小组(JCT- VC),并正在制定新一代国际视频标准,即高性能视频编码(HEVC)标准。HEVC标准的目标是在保持H.264/AVC标准视频质量的基础上,使比特率降低一半,即压缩率提高一倍。在国内外众多学者的努力下,HEVC视频编码标准的编码性能较H.264/AVC有了较高的提升。 
在HEVC中定义了三种不同的数据单元,即CU、PU和TU。CU是HEVC编码中的基本单元,它类似于H.264/AVC的宏块,与H.264/AVC不同的是,宏块只有16×16一种尺寸,CU的尺寸为2N×2N(N的取值范围为4、8、16和32)。因此,CU的尺寸范围为8×8到64×64。PU是进行帧内预测和帧间预测时的基本单元,它类似于H.264/AVC中的子宏块。TU是对残差数据进行变换和量化的基本单元。 
在HEVC测试模型的默认配置中,每一帧图像被分为若干个LCU(尺寸为64×64)。然后对每个LCU要进行预测编码过程从而决定该LCU的最佳预测模式,而后对该LCU进行四叉树划分,对划分的4个32×32尺寸的CU重复上述过程,直至划分的CU尺寸为8×8时停止四叉树划分。最后计算四叉树上每个CU使用其预测模式的率失真代价值(RDCost),并从四叉树的叶子结点依次往上,通过比较4个孩子节点CU的RDCost之和与其上一层的父母结点CU的RDCost大小,来决定此父母结点CU是否需要进行四叉树划分,进而决定LCU的划分方式。CU的四叉树划分深度最大为3。为了保证HEVC编码效率的同时降低帧内预测计算复杂度,学者们提出了一些方法,如Seunghyun Cho等人的文章“Fast CU Splitting and Pruning for Suboptimal CU Partitioning in HEVC Intra Coding”以贝叶斯判决准则为基础,定义了多种统计参数,并通过参数的统计情况来精简HEVC帧内预测时CU的四叉树划分。Li-Li Wang等人的文章“Novel Adaptive Algorithm for Intra Prediction with Compromised Modes Skipping and Signaling Processes in HEVC” 中通过当前CU周边像素的分布情况来消减帧内预测模式,进而节省帧内编码时间。Zhao Liang等人的文章“Fast Mode Decision Algorithm for Intra Prediction in HEVC” 提出了MPM模式的概念并改变了RMD(rough mode decision)筛选后模式的数量,将RMD筛选后模式与MPM的模式进行组合选出最终筛选出的模式,然后对筛选后的模式再进行RDCost的比较选择,实验结果显示该方法在保证编码性能的情况下可以减少20%~28%的帧内预测时间,且该方法已经被HEVC标准采用。Chen Wei-Jing 等人的文章“Reversed Intra Prediction Based On Chroma Extraction In HEVC” 提出了转换帧内亮度和帧内色度预测顺序的方式,在进行亮度帧内预测时利用色度帧内预测的信息,从而降低亮度帧内预测的计算复杂度以达到减低预测时间的目的。Kim Jaenwan等人的文章“Fast Intra Mode Decision of HEVC based on Hierarchical Structure” 提出了利用CU的层间相关性以及CU与TU之间的关系来精简CU的四叉树划分。以上这些方法均在一定程度上降低了HEVC视频帧内编码的计算复杂度,但是目前的HEVC视频编码的帧内模式选择还存在较大的冗余度。 
发明内容
本发明的旨在提供一种快速高效率视频编码帧内模式判决方法,保证HEVC编码效率的同时降低帧内预测计算复杂度。 
本发明的基本思想是借助CU四叉树划分的层间相关性,利用了四叉树结构中所有层的信息对帧内预测过程进行精简,同时还进一步对TU四叉树划分进行优化。在优化亮度帧内预测的基础上进一步优化了色度帧内预测。提供三种帧内预测快速算法,前两种基于亮度帧内预测,后一种基于色度帧内预测,以保证HEVC编码效率的同时降低帧内预测计算复杂度。 
(1)基于层间相关性的快速亮度帧内预测算法 
HEVC对CU采用了四叉树划分,当前CU其实就是上一层CU的一部分,在HEVC帧间预测过程中也借助了上一层CU的PU模式对当前CU的PU模式进行一定程度上的筛选。四叉树结构中各层之间的CU具有高度相关性。基于此我们提出一种基于层间相关性的快速亮度帧内预测算法。其基本思想为,在进行当前CU的亮度帧内预测时,参考位于该层之上所有与当前CU左上角坐标相同的上层CU——PredCU的帧内预测模式,并将这些PredCU的帧内预测模式计入到IntraCandList中。对当前CU进行帧内预测时只计算IntraCandList中的模式,从而达到降低计算复杂度的目的。由于CU尺寸的多样性,因此不同CU尺寸下IntraCandList包含的模式数量是不同的。CU尺寸越小IntraCandList可能包含的模式数量越多,因为CU尺寸越小其纹理可能越复杂,在进行帧内预测时需要有更多候选模式以保证PU预测的准确性。当CU为64X64时由于没有PredCU可以借鉴,因此在进行64X64的CU帧内预测时,我们使用常规的帧内预测方式。
同时,为了保证在使用本算法的情况下,尽量减小对编码性能的影响。我们对IntraCandList中包含模式的数量进行改进;虽然IntraCandList中包含的模式数量有随着CU尺寸变大增加的趋势,当考虑到PredCU之间的最佳帧内预测模式可能相同,因此有可能出现IntraCandList中包含的模式一直为1的情况,出现这种情况会破坏HEVC帧内预测模式的多样性影响编码性能,为此我们在每次PU的帧内预测过程中都将RMD模式中Cost最小的模式加入到IntraCandList中。从而使得RMD模式中Cost最小的模式被选为最佳模式的次数远高于其他候选模式。这也充分体现出将RMD模式中Cost最小的模式加入到IntraCandList中的策略的合理性。从实验数据可以得到,HEVC规定当PU尺寸为8×8和4×4即CU尺寸为8×8时,候选预测模式数量最多,因此,HEVC为了保证编码性能在CU尺寸为8×8时需要更多的预测模式进行帧内预测。为此我们在CU尺寸为8×8时IntraCandList中加入两种在HEVC帧内预测时使用率较高的两种模式——PLANAR模式和DC模式(标号为0和1的两种模式),这就保证了在CU尺寸为8×8时IntraCandList中至少有2种模式最多有6种模式。 
(2)基于CBF的快速帧内预测算法 
确定PU的最佳预测模式之后,要对CU包含的残差像素进行DCT变换和量化;这个过程要将CU进行全深度的TU划分,这一过程占帧内预测总时间的20%左右。如果能找到一种方法精简这一环节的计算量,对降低帧内计算复杂度有很大帮助。由于在对候选模式进行RDCost计算时为了计算Bits,已经对CU进行过单一深度的TU划分计算。单一深度TU划分与实际上是全深度TU划分的一部分,利用两种TU划分方式的这种关联性,本文提出了一种通过CBF来提前终止全深度TU划分的方法。CBF是HM代码中的一个变量,它的取值范围为0-7,用来表示TU经过DCT变换和量化环节后的量化系数的复杂程度。CBF的计算公式如下所示:
       
Figure 825756DEST_PATH_IMAGE001
 
式中,SingleCBFN表示当前CU在深度为N的TU划分的情况下量化系数是否全为0,当系数全为0时,其值为0否则为1。CBF的取值大小可以表示该CU残差系数的复杂程度,CBF值越大则证明残差越大,预测的准确度越低;反之如果CBF为0则可以认为残差为0预测足够准确。由于单一深度TU划分的深度只可能为0或1,因此单一深度TU划分的CBF——CBFsingle的取值范围为0-3。
因此,指定如下算法策略:如果CBFsingle为0则认为在当前TU划分下CU的变换量化策略已经达到最优,跳过后面的全深度TU划分环节。如果CBFsingle为3,则说明当前CU尺寸为64×64,考虑到CU的四叉树划分特性,64×64尺寸的CU即LCU一般不会被最终选为最佳的CU划分模式(不对LCU进行任何四叉树划分直接对LCU的包含的残差像素进行变换量化和编码),同时由于CBFsingle为3因此其CU的预测误差较大;我们认为当前64×64尺寸CU的RDCost在CU四叉树划分环节中肯定不会达到最优,因此没有必要进行全深度TU划分将其跳过。 
(3)基于层间相关性的快速色度帧内预测算法 
视频在进行编码时将每一帧图像分成亮度和色度两种图像分别进行编码,相较于色度人眼对于亮度更为敏感;因此,亮度的帧内预测比色度帧内预测要简单很多,它的预测过程没有RMD,候选预测模式只有5种,其TU划分的方式也直接引用亮度帧内预测的TU划分方式省去了全深度TU划分的过程。计算5种候选预测模式的RDCost选出最佳帧内预测模式的过程占据了整个色度帧内预测几乎全部的计算开销。因此,将PredCU的最佳帧内预测模式加入到CIntraCandList中,并在通过计算RDCost选取最佳帧内预测模式的过程中只计算CIntraCandList中的预测模式,进而节省计算量。考虑到色度帧内预测候选帧内预测模式较少,因此为了能显著降低其计算复杂度本算法只参考当前CU的上一层PredCU的最佳帧内预测模式,即当PredCU存在的情况下,CIntraCandList中的预测模式总为1;同样的,当CU为64X64时由于PredCU不存在,使用常规方法进行色度帧内预测。为了降低算法对编码性能的影响,我们同样要对CIntraCandList中的模式数量作出改进。色度图像块所包含的图像信息与亮度图像块具有高度的相关性,因此,我们将亮度预测的最佳帧内预测模式加入到CIntraCandList中。
本发明技术方案具体为: 
一种快速高效率视频编码帧内模式判决方法,包括预测方式配置和预测模式选择,在预测方式配置中,采用全I帧预测方式,CU分割深度不大于4,在预测模式选择中,所述预测模式选择包括以下步骤: 
(1)开始进行亮度帧内预测,对35种模式进行粗略模式判决(RMD)并加入MPM模式构成亮度帧内候选模式列表;判断当前CU是否为64×64,如果是,则进入(2),否则进入(3);
(2)依次对亮度帧内候选模式列表中的预测模式计算率失真代价,从中选出最佳亮度帧内预测模式;进入(4);
(3)使用上层CU的最佳亮度帧内预测模式和粗略模式判决中代价值最小的亮度帧内预测模式,构成改进亮度帧内候选模式列表;判断当前CU尺寸是否为8×8,如果是则进入(4),否则依次对改进亮度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳亮度帧内预测模式;进入(5);
(4)依次对改进亮度帧内候选模式列表中的预测模式以及DC模式和平面模式计算率失真代价,从中选出率失真代价最小的模式作为最佳亮度帧内预测模式;进入(5);
(5)判断CBFsingle是否等于0或3,如果是则进入(7),否则进入(6);
(6)对当前CU进行全深度的TU划分,确定TU划分策略,进入(7);
(7)开始进行色度帧内预测,判断当前CU是否为64×64,如果是,则进入(8),否则进入(9);
(8)依次对5种色度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳色度帧内预测模式;进入(10);
(9)使用上一层CU的最佳色度帧内预测模式和亮度帧内预测过程中选出的最佳预测模式,构成色度帧内候选模式列表;依次对色度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳色度帧内预测模式;进入(10);
(10)当前CU帧内预测流程结束。
优选: 
所述CU分割深度为2~4。最佳优选:所述CU分割深度为4。
所述RMD筛选模式的率-失真代价通过下述公式来确定:
Figure 680580DEST_PATH_IMAGE002
式中SATD表示对该PU经帧内预测后求出的残差进行Hadamard变换后再对变换系数进行绝对值求和;λ为拉格朗日系数;ModeBits表示对PU的帧内预测模式进行编码后的码率。
所述最佳帧内预测模式的率-失真代价通过下述公式来确定:
Figure 460317DEST_PATH_IMAGE003
式中SSE(Sum of Squares for Error)为该PU包含的残差像素的平方和;λ为拉格朗日系数;Bits为对应预测模式PU进行熵编码后的码率。
进一步:一种用于执行所述快速高效率视频编码帧内模式判决方法的视频编码器。 
本发明是基于以下思路分析而完成的: 
    在整个帧内预测过程的计算复杂度之中,亮度RDCost的计算、TU和色度帧内预测的RDCost计算分别占50% 、20%和20%的计算复杂度(表现为编码时间)。本发明即通过分析整个帧内预测中各个环节的模式判决方法之间的相关性,去除一些冗余的模式判决过程,从而降低帧内预测的编码计算复杂度。
在帧内亮度预测模式的判决方面,本发明根据当前CU的亮度帧内预测模式与其之上各层CU的预测模式之间的相关性,把以上各层的最佳亮度预测模式作为当前CU的候选预测模式,从而去除了各层之间亮度帧内预测模式之间的冗余,降低了计算复杂度。另一方面,根据亮度帧内预测模式的cost和RDcost之间的相关性,在初始候选模式中取一个cost值最小的预测模式加入到IntraCandList中,省去了复杂的RDcost计算, 从而进一步降低了编码计算复杂度,同时保障了编码效率。 
在帧内预测的变换单元TU的选择方面,本发明根据变量CBF与当前CU的变换量化策略优劣之间的相关性,当CBFsingle为0时跳过后面的全深度TU划分环节,而当CBFsingle为3时跳过单深度TU,直接进入全深度TU的划分,从而去除了CBF标志与TU划分方式之间的冗余,降低了编码的计算复杂度。 
在色度帧内预测方面,本发明根据当前CU的亮度帧内预测模式与其上一层CU的帧内色度预测模式之间的相关性,把上层的最佳色度帧内预测模式作为当前CU的候选预测模式,从而去除了层间色度帧内预测模式之间的冗余,降低了计算复杂度。根据当前CU的色度帧内预测模式与亮度帧内预测模式之间的相关性,将最佳亮度帧内预测模式加入CintraCandList中,从而也保障了视频编码效率。 
相比HEVC视频编码标准,本发明方法在降低视频编码计算复杂度的前提下,保障了视频编码的比特率和视频质量损失很小。视频压缩编码的依据是通过减少视频中各种相关性从而能以更少的数据来表示初始整个视频的信息量。本发明方法分析了各CU分层之间亮度帧内预测模式之间的相关性,跳过亮度帧内预测中RMD和MPM选出的候选模式的RDcost计算;通过分析变量CBF与TU分割深度之间的相关性,跳过单深度TU分割或者全深度TU分割过程;通过分析相邻CU层间色度帧内预测模式之间的相关性,跳过色度帧内预测中各种候选模式的RDcost计算。通过上述合理的冗余预测模式信息的去除,不仅降低了编码的计算复杂度,同时也保障了视频的编码效率和视频质量。另一方面,本发明通过分析cost与RDcost之间的相关性,色度帧内预测模式与亮度帧内预测模式之间的相关性,分别在亮度及色度模式预测过程中加入了亮度候选模式中cost值最小的预测模式和当前CU最佳亮度预测模式,从而也保障了视频的编码效率和视频质量。 
本发明主要针对的是采取全I帧编码的视频,即全部采用帧内预测编码方法的视频编码方法,而本发明提出的快速帧内预测方法涉及到的亮度RDCost的计算、TU变换量化计算和色度帧内预测的RDCost计算分别占总体编码计算复杂度的50% 、20%和20%,在亮度帧内预测方法中,跳过了RMD和MPM选出的候选模式的RDcost计算;在TU分割深度的选取中,根据CBF跳过单深度TU分割或者全深度TU分割过程;在亮度帧内预测方法中,跳过了各种候选模式的RDcost计算。因此,在计算复杂度方面,本发明方法着手的点为视频编码计算过程中最关键改进之处。 
由于本发明主要针对全I帧(帧内预测)的视频压缩编码,而在编码时间上,帧内预测要比帧间预测快的多,若采取帧内预测的视频编码方法,其中一个主要目的即为快速,而对于编码比特率则相对要求较低一些。因此,本发明在保障视频比特率和视频质量损失很小的基础上,降低了编码计算复杂度,具有较好的实际应用价值。 
在硬件实现方面,本发明方法能在降低计算复杂度的前提下,不额外增加硬件实现成本。视频编码技术很多情况下最终均要嵌入硬件设备(如FPGA和DSP等),因此,在改进算法的运算代价和所需的数据存储硬件代价等方面均有较高的要求。本发明方法需要增加的代码很少,在所需的硬件存储器方面,由于本发明方法中参考的对象为当前CU以上多层CU的最佳预测模式,而这些模式的信息本来就已存储在数据流中,本发明方法并未带来额外的数据存储负担,因此,若将本发明方法应用于实际的硬件视频编码设备,对设备的制造不会增加额外的成本,同时还将节省设备的功耗。 
附图说明
图1为本发明实施例1的HM7.0视频编码标准的帧内预测流程图。 
图2为本发明实施例1的HEVC帧内预测快速预测算法整体流程图。 
图3为本发明实施例1的 IntraCandList示意图。 
具体实施方式
下面结合实施例对本发明作进一步的详细说明,有必要指出的是,以下的实施例只用于对本发明做进一步的说明,不能理解为对本发明保护范围的限制,所属领域技术熟悉人员根据上述发明内容,对本发明做出一些非本质的改进和调整进行具体实施,应仍属于本发明的保护范围。 
实施例1: 
1.同时打开两个算法的程序并设置好相同的配置文件,参考软件选择HM8.0,量化步长(QP)值分别取22、27、32和37。本发明将与HEVC视频编码标准的参考软件算法HM8.0的方法进行比较。并对其三种视频编码性能:比特率、峰值信噪比(PSNR)以及视频编码时间(其中PSNR体现视频的客观视频质量,视频编码时间体现编码的计算复杂度),进行了比较分析,比较性能的差距用以下三个指标进行评价:
Figure DEST_PATH_909137DEST_PATH_IMAGE004
                                           
其中BRpro、Ppro 和Tpro 分别为本发明算法的比特率、PSNR以及视频编码时间,BRref、Pref 和Tref分别为HM8.0标准算法的比特率、PSNR以及视频编码时间,、和
分别为本发明算法与HM8.0标准算法之间比特率、PSNR以及视频编码时间的差。
2.在HEVC视频编码技术中,PU预测模式可以采取对称和非对称的综合预测模式,也可以只采取对称预测模式,发明在以上两种情况下均有效,但是采取对称和非对称的综合预测模式能降低更多的视频编码计算复杂度,即能取得更好的算法效果,因此本发明采取综合预测模式。 
3.编码的对象为标准的HEVC测试视频,它们的名称、分辨率和帧率分别为:BasketballPass(416x240,50帧/秒)、BlowingBubbles(416x240,50帧/秒)、BQMall(832x480,60帧/秒)、BasketballDrill(832x480,50帧/秒)、FourPeople(1280x720,60帧/秒)、KristenAndSara(1280x720,60帧/秒)、BasketballDrive(1920x1080,50帧/秒)、 BQTerrace(1920x1080,60帧/秒)。 
4.输入2个相同的视频序列; 
5.分别对2个相同的视频序列进行视频编码;
6.利用HEVC视频编码器HM8.0对视频序列在HEVC方式下进行视频编码;
7.本发明算法根据当前CU的上层CU的最佳帧内预测模式以及CBF的取值来改进帧间预测的流程;
8.在对每一帧进行编码时,要将每一帧图像分成若干LCU,对每个LCU分别进行编码,对LCU编码则采用了四叉树划分的机制,将LCU分成四个子CU,每个子CU又再次进行四叉树划分,对每个CU再进行帧内预测,具体的预测流程选择如下:
(1)开始进行亮度帧内预测,对35种模式进行粗略模式判决(RMD)并加入MPM模式构成亮度帧内候选模式列表。判断当前CU是否为64×64,如果是,则进入(2),否则进入(3)。
(2)依次对亮度帧内候选模式列表中的预测模式计算率失真代价,从中选出最佳亮度帧内预测模式。进入(4)。 
(3)使用上层CU的最佳亮度帧内预测模式和粗略模式判决中代价值最小的亮度帧内预测模式,构成改进亮度帧内候选模式列表。判断当前CU尺寸是否为8×8,如果是则进入(4),否则依次对改进亮度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳亮度帧内预测模式。进入(5)。 
(4)依次对改进亮度帧内候选模式列表中的预测模式以及DC模式和平面模式计算率失真代价,从中选出率失真代价最小的模式作为最佳亮度帧内预测模式。进入(5)。 
(5)判断CBFsingle是否等于0或3,如果是则进入(7),否则进入(6)。 
(6)对当前CU进行全深度的TU划分,确定TU划分策略,进入(7)。 
(7)开始进行色度帧内预测,判断当前CU是否为64×64,如果是,则进入(8),否则进入(9)。 
(8)依次对5种色度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳色度帧内预测模式。进入(10)。 
(9)使用上一层CU的最佳色度帧内预测模式和亮度帧内预测过程中选出的最佳预测模式,构成色度帧内候选模式列表。依次对色度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳色度帧内预测模式。进入(10)。 
(10)当前CU帧内预测流程结束。 
9.在模式选择过程中,率失真代价的公式如下: 
Figure 545265DEST_PATH_IMAGE005
公式中J为率—失真代价,SSE为原始图像与预测图像像素的误差平方和,l代表拉格朗日乘子,B表示在该模式下编码比特数。
亮度和色度的失真SSE可由以下两式得出:
Figure DEST_PATH_783738DEST_PATH_IMAGE006
其中Diff为:
Figure DEST_PATH_330257DEST_PATH_IMAGE007
其中BlockA和BlockB分别为编码块和预测块中坐标位置为(i,j)上的像素值。
拉格朗日乘子l可由下式得出:
Figure 272809DEST_PATH_IMAGE008
10.RMD筛选模式的依据,Cost的计算公式如下:
Figure 941687DEST_PATH_IMAGE009
式中SATD表示对该PU经帧内预测后求出的残差进行Hadamard变换后再对变换系数进行绝对值求和,ModeBits表示对PU的帧内预测模式进行编码后的码率。由于SATD和ModeBits的计算复杂度远低于SSE和Bits,因此Cost的计算复杂度也远低于RDCost。
11.本发明算法中,CU分割深度可以取2~4,但分割深度取的越大,则该方法的中跳过的PU预测模式将更多,最终将降低更多的视频编码计算复杂度。因此,本发明的CU分割深度取4。 
12.两个程序分别输出视频编码后的视频序列以及各自的比特率、PSNR值以及总的视频编码时间,上述3个指标的结果如表1-3所示,统计显示使用该算法可以可以降低38.20%的帧内预测时间,同时PSNR和码率的波动较小。本实验选取序列均为HEVC的标准测试序列,这8个测试序列横跨了4种不同的分辨率,其视频内容也多种多样;并且每个视频都在4种不同的QP下对算法做了测试。但通过表中数据我们可以看出,本章算法对于每种视频的各种QP其时间的节省和对算法性能的影响均没有很大的波动,这说明本章算法适用于各种视频的各种情况,具有很好的稳定性。 
 表1 本发明算法、参考文献算法分别与HM8.0标准算法之间比特率的比较 
Figure 575630DEST_PATH_IMAGE002
表2 本发明算法、参考文献算法分别与HM8.0标准算法之间PSNR值的比较
Figure DEST_PATH_IMAGE004
表3 本发明算法、参考文献算法分别与HM8.0标准算法之间视频编码时间的比较
Figure DEST_PATH_IMAGE005
Figure DEST_PATH_IMAGE006
参考文献:Kim Jaenwan, Yang Jungyoup, Lee Hoyong, et al.Fast Intra Mode Decision of HEVC based on Hieararchichal Structure[C]. 2011 8th International Conference on Information, Communications and Signal Processing(ICICS), Singapore,2011,1-4.

Claims (6)

1.一种快速高效率视频编码帧内模式判决方法,包括预测方式配置和预测模式选择,在预测方式配置中,采用全I帧预测方式,CU分割深度不大于4,在预测模式选择中,其特征在于所述预测模式选择包括以下步骤: 
(1)开始进行亮度帧内预测,对35种模式进行粗略模式判决RMD并加入MPM模式构成亮度帧内候选模式列表;判断当前CU是否为64×64,如果是,则进入(2),否则进入(3);
(2)依次对亮度帧内候选模式列表中的预测模式计算率失真代价,从中选出最佳亮度帧内预测模式;进入(4);
(3)使用上层CU的最佳亮度帧内预测模式和粗略模式判决中代价值最小的亮度帧内预测模式,构成改进亮度帧内候选模式列表;判断当前CU尺寸是否为8×8,如果是则进入(4),否则依次对改进亮度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳亮度帧内预测模式;进入(5);
(4)依次对改进亮度帧内候选模式列表中的预测模式以及DC模式和平面模式计算率失真代价,从中选出率失真代价最小的模式作为最佳亮度帧内预测模式;进入(5);
(5)判断CBFsingle是否等于0或3,如果是则进入(7),否则进入(6);
(6)对当前CU进行全深度的TU划分,确定TU划分策略,进入(7);
(7)开始进行色度帧内预测,判断当前CU是否为64×64,如果是,则进入(8),否则进入(9);
(8)依次对5种色度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳色度帧内预测模式;进入(10);
(9)使用上一层CU的最佳色度帧内预测模式和亮度帧内预测过程中选出的最佳预测模式,构成色度帧内候选模式列表;依次对色度帧内候选模式列表中的预测模式计算率失真代价,从中选出率失真代价最小的模式作为最佳色度帧内预测模式;进入(10);
(10)当前CU帧内预测流程结束。
2.如权利要求1所述的快速高效率视频编码帧内模式判决方法,其特征在于所述CU分割深度为2~4。
3.如权利要求1或2所述的快速高效率视频编码帧内模式判决方法,其特征在于所述CU分割深度为4。
4.如权利要求1—3任一所述的快速高效率视频编码帧内模式判决方法,其特征在于所述RMD筛选模式的率-失真代价通过下述公式来确定:
Figure 2013102259891100001DEST_PATH_IMAGE001
式中SATD表示对该PU经帧内预测后求出的残差进行Hadamard变换后再对变换系数进行绝对值求和;λ为拉格朗日系数;ModeBits表示对PU的帧内预测模式进行编码后的码率。
5.如权利要求4所述的快速高效率视频编码帧内模式判决方法,其特征在于所述最佳帧内预测模式的率-失真代价通过下述公式来确定:
Figure 657437DEST_PATH_IMAGE002
式中SSE为该PU包含的残差像素的平方和;λ为拉格朗日系数;Bits为对应预测模式PU进行熵编码后的码率。
6.一种用于执行权利要求1—5所述快速高效率视频编码帧内模式判决方法的视频编码器。
CN201310225989.1A 2013-06-07 2013-06-07 一种快速高效率视频编码帧内模式判决方法 Expired - Fee Related CN103338371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310225989.1A CN103338371B (zh) 2013-06-07 2013-06-07 一种快速高效率视频编码帧内模式判决方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310225989.1A CN103338371B (zh) 2013-06-07 2013-06-07 一种快速高效率视频编码帧内模式判决方法

Publications (2)

Publication Number Publication Date
CN103338371A true CN103338371A (zh) 2013-10-02
CN103338371B CN103338371B (zh) 2016-11-09

Family

ID=49246457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310225989.1A Expired - Fee Related CN103338371B (zh) 2013-06-07 2013-06-07 一种快速高效率视频编码帧内模式判决方法

Country Status (1)

Country Link
CN (1) CN103338371B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702131A (zh) * 2013-12-25 2014-04-02 清华大学 一种基于模式预处理的帧内编码优化方法和系统
CN103888763A (zh) * 2014-03-24 2014-06-25 北京工业大学 一种基于hevc的帧内编码方法
CN104023241A (zh) * 2014-05-29 2014-09-03 华为技术有限公司 帧内预测编码的视频编码方法及视频编码装置
CN104639940A (zh) * 2015-03-06 2015-05-20 宁波大学 一种快速hevc帧内预测模式选择方法
CN104954788A (zh) * 2014-03-27 2015-09-30 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
CN105657420A (zh) * 2015-12-30 2016-06-08 邦彦技术股份有限公司 一种面向hevc的快速帧内预测模式判决方法和装置
CN105812824A (zh) * 2014-12-30 2016-07-27 浙江大华技术股份有限公司 一种视频图像编码方法及装置
CN105828084A (zh) * 2016-03-30 2016-08-03 腾讯科技(深圳)有限公司 Hevc帧间编码处理方法和装置
CN103533355B (zh) * 2013-10-10 2016-08-17 宁波大学 一种hevc快速编码方法
CN106028047A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于Hadamard变换的帧内预测的快速模式选择和PU划分的方法
CN106031175A (zh) * 2013-12-20 2016-10-12 三星电子株式会社 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置
CN107277521A (zh) * 2016-09-06 2017-10-20 芯原微电子(北京)有限公司 一种基于hevc视频编码的tu树状结构抉择算法
WO2018024171A1 (en) 2016-08-05 2018-02-08 Mediatek Inc. Method and apparatus of video coding
CN108712648A (zh) * 2018-04-10 2018-10-26 天津大学 一种深度视频快速帧内编码方法
CN109302607A (zh) * 2018-10-26 2019-02-01 西安科锐盛创新科技有限公司 基于图像场景的多预测方法及其系统
CN109905702A (zh) * 2017-12-11 2019-06-18 腾讯科技(深圳)有限公司 一种视频编码中参考信息确定的方法、装置及存储介质
CN110035285A (zh) * 2019-04-18 2019-07-19 中南大学 基于运动矢量敏感度的深度预测方法
CN110049339A (zh) * 2018-01-16 2019-07-23 腾讯科技(深圳)有限公司 图像编码中的预测方向选取方法、装置和存储介质
CN110087083A (zh) * 2019-03-12 2019-08-02 浙江大华技术股份有限公司 帧内色度预测模式的选择方法、图像处理设备及存储设备
CN110113601A (zh) * 2019-04-11 2019-08-09 中南大学 基于视频图片纹理特征的hevc帧内快速算法选择方法
CN110139098A (zh) * 2019-04-09 2019-08-16 中南大学 基于决策树的高效率视频编码器帧内快速算法选择方法
CN110166785A (zh) * 2018-07-25 2019-08-23 腾讯科技(深圳)有限公司 帧内预测方法和装置、以及存储介质和电子装置
CN110166777A (zh) * 2018-07-04 2019-08-23 腾讯科技(深圳)有限公司 编码方法、装置和视频数据编码设备
CN110213576A (zh) * 2018-05-03 2019-09-06 腾讯科技(深圳)有限公司 视频编码方法、视频编码装置、电子设备及存储介质
CN110446036A (zh) * 2019-07-29 2019-11-12 中南大学 一种基于多用途编码中帧内编码的编码单元快速划分方法
CN110870312A (zh) * 2017-05-12 2020-03-06 2236008安大略有限公司 用于视频压缩中的帧内编码的方法和设备
CN110913215A (zh) * 2019-12-03 2020-03-24 北京数码视讯软件技术发展有限公司 一种预测模式的选择方法及装置、可读存储介质
CN111462261A (zh) * 2020-04-06 2020-07-28 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内决策方法
CN111586405A (zh) * 2020-04-24 2020-08-25 中南大学 一种多功能视频编码中基于alf滤波的预测模式快速选择方法
CN113542753A (zh) * 2021-07-27 2021-10-22 杭州当虹科技股份有限公司 Avs3视频编码方法及编码器
CN114189688A (zh) * 2020-09-14 2022-03-15 四川大学 基于亮度模板匹配的色度分量预测方法
CN114501007A (zh) * 2021-12-20 2022-05-13 杭州当虹科技股份有限公司 基于422视频的快速编码方法及编码器
US11659170B2 (en) 2018-12-29 2023-05-23 Zhejiang Dahua Technology Co., Ltd. Systems and methods for intra prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141649A (zh) * 2007-07-31 2008-03-12 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
CN102665079A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的自适应快速帧内预测模式决策
CN102984521A (zh) * 2012-12-12 2013-03-20 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141649A (zh) * 2007-07-31 2008-03-12 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
CN102665079A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的自适应快速帧内预测模式决策
CN102984521A (zh) * 2012-12-12 2013-03-20 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄辉: "基于率失真联合准则的快速帧内模式选择算法", 《系统仿真学报》 *

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533355B (zh) * 2013-10-10 2016-08-17 宁波大学 一种hevc快速编码方法
CN106031175B (zh) * 2013-12-20 2019-04-26 三星电子株式会社 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置
CN106031175A (zh) * 2013-12-20 2016-10-12 三星电子株式会社 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置
CN103702131B (zh) * 2013-12-25 2017-02-15 清华大学 一种基于模式预处理的帧内编码优化方法和系统
CN103702131A (zh) * 2013-12-25 2014-04-02 清华大学 一种基于模式预处理的帧内编码优化方法和系统
CN103888763A (zh) * 2014-03-24 2014-06-25 北京工业大学 一种基于hevc的帧内编码方法
CN103888763B (zh) * 2014-03-24 2017-04-26 北京工业大学 一种基于hevc的帧内编码方法
CN104954788A (zh) * 2014-03-27 2015-09-30 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
CN104954788B (zh) * 2014-03-27 2018-09-04 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
CN104023241A (zh) * 2014-05-29 2014-09-03 华为技术有限公司 帧内预测编码的视频编码方法及视频编码装置
WO2015180428A1 (zh) * 2014-05-29 2015-12-03 华为技术有限公司 帧内预测编码的视频编码方法及视频编码装置
CN104023241B (zh) * 2014-05-29 2017-08-04 华为技术有限公司 帧内预测编码的视频编码方法及视频编码装置
CN105812824B (zh) * 2014-12-30 2018-12-07 浙江大华技术股份有限公司 一种视频图像编码方法及装置
CN105812824A (zh) * 2014-12-30 2016-07-27 浙江大华技术股份有限公司 一种视频图像编码方法及装置
CN104639940B (zh) * 2015-03-06 2017-10-10 宁波大学 一种快速hevc帧内预测模式选择方法
CN104639940A (zh) * 2015-03-06 2015-05-20 宁波大学 一种快速hevc帧内预测模式选择方法
WO2017113456A1 (zh) * 2015-12-30 2017-07-06 邦彦技术股份有限公司 一种面向hevc的快速帧内预测模式判决方法和装置
CN105657420A (zh) * 2015-12-30 2016-06-08 邦彦技术股份有限公司 一种面向hevc的快速帧内预测模式判决方法和装置
CN105657420B (zh) * 2015-12-30 2018-03-20 邦彦技术股份有限公司 一种面向hevc的快速帧内预测模式判决方法和装置
CN105828084A (zh) * 2016-03-30 2016-08-03 腾讯科技(深圳)有限公司 Hevc帧间编码处理方法和装置
CN106028047A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于Hadamard变换的帧内预测的快速模式选择和PU划分的方法
CN106028047B (zh) * 2016-05-24 2019-02-26 西安电子科技大学 一种基于Hadamard变换的帧内预测的快速模式选择和PU划分的方法
WO2018024171A1 (en) 2016-08-05 2018-02-08 Mediatek Inc. Method and apparatus of video coding
CN107277521B (zh) * 2016-09-06 2020-11-27 芯原微电子(北京)有限公司 一种基于hevc视频编码的tu树状结构抉择算法
CN107277521A (zh) * 2016-09-06 2017-10-20 芯原微电子(北京)有限公司 一种基于hevc视频编码的tu树状结构抉择算法
CN110870312A (zh) * 2017-05-12 2020-03-06 2236008安大略有限公司 用于视频压缩中的帧内编码的方法和设备
CN110870312B (zh) * 2017-05-12 2023-10-03 黑莓有限公司 用于视频压缩中的帧内编码的方法和设备
CN109905702B (zh) * 2017-12-11 2021-12-21 腾讯科技(深圳)有限公司 一种视频编码中参考信息确定的方法、装置及存储介质
CN109905702A (zh) * 2017-12-11 2019-06-18 腾讯科技(深圳)有限公司 一种视频编码中参考信息确定的方法、装置及存储介质
US11395002B2 (en) * 2018-01-16 2022-07-19 Tencent Technology (Shenzhen) Company Limited Prediction direction selection method and apparatus in image encoding, and storage medium
CN110049339A (zh) * 2018-01-16 2019-07-23 腾讯科技(深圳)有限公司 图像编码中的预测方向选取方法、装置和存储介质
CN110049339B (zh) * 2018-01-16 2023-02-17 腾讯科技(深圳)有限公司 图像编码中的预测方向选取方法、装置和存储介质
CN108712648A (zh) * 2018-04-10 2018-10-26 天津大学 一种深度视频快速帧内编码方法
CN108712648B (zh) * 2018-04-10 2021-04-30 天津大学 一种深度视频快速帧内编码方法
US11032552B2 (en) 2018-05-03 2021-06-08 Tencent Technology (Shenzhen) Company Limited Video encoding method, video encoding apparatus, electronic device, and storage medium
CN110213576A (zh) * 2018-05-03 2019-09-06 腾讯科技(深圳)有限公司 视频编码方法、视频编码装置、电子设备及存储介质
WO2019210760A1 (zh) * 2018-05-03 2019-11-07 腾讯科技(深圳)有限公司 视频编码方法、视频编码装置、电子设备及存储介质
CN110213576B (zh) * 2018-05-03 2023-02-28 腾讯科技(深圳)有限公司 视频编码方法、视频编码装置、电子设备及存储介质
CN110166777A (zh) * 2018-07-04 2019-08-23 腾讯科技(深圳)有限公司 编码方法、装置和视频数据编码设备
CN110166777B (zh) * 2018-07-04 2023-11-17 腾讯科技(深圳)有限公司 编码方法、装置和视频数据编码设备
CN110166785A (zh) * 2018-07-25 2019-08-23 腾讯科技(深圳)有限公司 帧内预测方法和装置、以及存储介质和电子装置
CN110166785B (zh) * 2018-07-25 2022-09-13 腾讯科技(深圳)有限公司 帧内预测方法和装置、以及存储介质和电子装置
CN109302607A (zh) * 2018-10-26 2019-02-01 西安科锐盛创新科技有限公司 基于图像场景的多预测方法及其系统
US11659170B2 (en) 2018-12-29 2023-05-23 Zhejiang Dahua Technology Co., Ltd. Systems and methods for intra prediction
CN110087083A (zh) * 2019-03-12 2019-08-02 浙江大华技术股份有限公司 帧内色度预测模式的选择方法、图像处理设备及存储设备
CN110087083B (zh) * 2019-03-12 2022-06-07 浙江大华技术股份有限公司 帧内色度预测模式的选择方法、图像处理设备及存储设备
CN110139098A (zh) * 2019-04-09 2019-08-16 中南大学 基于决策树的高效率视频编码器帧内快速算法选择方法
CN110139098B (zh) * 2019-04-09 2023-01-06 中南大学 基于决策树的高效率视频编码器帧内快速算法选择方法
CN110113601A (zh) * 2019-04-11 2019-08-09 中南大学 基于视频图片纹理特征的hevc帧内快速算法选择方法
CN110113601B (zh) * 2019-04-11 2023-01-06 中南大学 基于视频图片纹理特征的hevc帧内快速算法选择方法
CN110035285B (zh) * 2019-04-18 2023-01-06 中南大学 基于运动矢量敏感度的深度预测方法
CN110035285A (zh) * 2019-04-18 2019-07-19 中南大学 基于运动矢量敏感度的深度预测方法
CN110446036A (zh) * 2019-07-29 2019-11-12 中南大学 一种基于多用途编码中帧内编码的编码单元快速划分方法
CN110446036B (zh) * 2019-07-29 2021-11-16 中南大学 一种基于多用途编码中帧内编码的编码单元快速划分方法
CN110913215A (zh) * 2019-12-03 2020-03-24 北京数码视讯软件技术发展有限公司 一种预测模式的选择方法及装置、可读存储介质
CN111462261A (zh) * 2020-04-06 2020-07-28 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内决策方法
CN111462261B (zh) * 2020-04-06 2023-05-05 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内决策方法
CN111586405A (zh) * 2020-04-24 2020-08-25 中南大学 一种多功能视频编码中基于alf滤波的预测模式快速选择方法
CN111586405B (zh) * 2020-04-24 2022-03-29 中南大学 一种多功能视频编码中基于alf滤波的预测模式快速选择方法
CN114189688A (zh) * 2020-09-14 2022-03-15 四川大学 基于亮度模板匹配的色度分量预测方法
CN113542753A (zh) * 2021-07-27 2021-10-22 杭州当虹科技股份有限公司 Avs3视频编码方法及编码器
CN114501007A (zh) * 2021-12-20 2022-05-13 杭州当虹科技股份有限公司 基于422视频的快速编码方法及编码器
CN114501007B (zh) * 2021-12-20 2024-01-09 杭州当虹科技股份有限公司 基于422视频的快速编码方法及编码器

Also Published As

Publication number Publication date
CN103338371B (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN103338371A (zh) 一种快速高效率视频编码帧内模式判决方法
US11190780B2 (en) Speedup techniques for rate distortion optimized quantization
CN103248893B (zh) 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
CN102484719B (zh) 对视频编码的方法和设备及对视频解码的方法和设备
KR101860606B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
KR100984517B1 (ko) 인터프레임 인코딩을 위한 빠른 모드 결정 방법
US7822116B2 (en) Method and system for rate estimation in a video encoder
US20060198439A1 (en) Method and system for mode decision in a video encoder
CN105379284A (zh) 动态图像编码装置及其动作方法
CN104980757A (zh) 根据像素分类使用偏移调整的视频解码方法及其设备
KR20100032438A (ko) 화상 부호화 장치 및 화상 복호 장치
CN103442228A (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
CN105681797A (zh) 一种基于预测残差的dvc-hevc视频转码方法
CN104168480A (zh) 基于hevc标准的帧内预测编码模式快速选择方法
CN103581682B (zh) 一种hevc帧内编码的快速模式决策算法及其应用
CN106412611A (zh) 一种高效视频编码的复杂度控制方法
CN103442229A (zh) 适用于hevc标准的编码器中sao模式判决的比特率估计方法
CN101977317B (zh) 帧内预测方法及装置
Bougacha et al. Statistical analysis of intra prediction in HEVC video encoder
WO2015015404A2 (en) A method and system for determining intra mode decision in h.264 video coding
CN103686169A (zh) 一种基于宏块特征的帧内预测快速算法
CN103402101A (zh) 基于边界平滑度的avs环路滤波快速算法
Dong et al. A novel multiple description video coding based on data reuse
Wang et al. Rate Control in Versatile Video Coding with Cosh Rate–Distortion Model
US20060239344A1 (en) Method and system for rate control in a video encoder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161109

Termination date: 20170607

CF01 Termination of patent right due to non-payment of annual fee