CN105120292B - 一种基于图像纹理特征的视频编码帧内预测方法 - Google Patents

Abstract

一种基于图像纹理特征的视频编码帧内预测方法，涉及数字视频通信领域中的视频信息处理。首先利用当前CU的梯度直方图，统计出当前CU的“强边缘”数目和梯度幅值相关的角度预测模式列表并统计出两个健壮的阈值用于CU划分过程；在帧内预测过程中，当当前CU的“强边缘”满足所选的阈值时，可以进行CU深度跳过或CU划分提前终止；在最佳候选模式选择阶段，根据图像纹理情况，直接从上述预测模式列表中选取适当数量的模式作为候选预测模式。通过CU深度和预测模式的裁剪，能有效降低HEVC帧内预测编码复杂度，有助于实现HEVC编码器的实时应用。

Description

一种基于图像纹理特征的视频编码帧内预测方法

技术领域

本发明涉及数字视频通信领域中的视频信息处理，具体是涉及一种基于图像纹理特征的视频编码帧内预测方法。

背景技术

随着移动互联网以及多媒体技术的不断发展，数字电视、网络电视、视频会议等随处可见。人们对高清及超高清视频的需求越来越大。面对当今视频应用往高清晰度、高帧率、高压缩率发展的趋势，目前广泛应用的视频编码标准H.264已逐渐出现一些局限性。在这一形势下，VCEG和MPEG两大标准组织在2010年联合成立了JCT-VC(Joint CollaborativeTeam on Video Coding)组织,开始制定新一代视频编码标准HEVC(High EfficiencyVideo Coding，高效率视频编码)并于2013年1月正式成为国际视频编码标准。

HEVC沿袭了H.26x和MPEG系列的基于块的联合预测熵编码混合模型。在帧内预测方面增加了基于四叉树的灵活编码结构及更加丰富的预测模式能更好地适应各种类型的视频需求，也和当前高分辨率视频的发展需求相符合，但随之而来的高复杂度却成为HEVC广泛应用的瓶颈。HEVC首次提出的基于四叉树的CU(Coding Unit，编码单元)划分模式，CU尺寸按照递归的方式，从64×64，32×32，16×16，8×8中选择率失真代价最小的作为最优尺寸。图1展示了一个LCU的划分实例，其中CU_i表示深度为i的CU，CU₀对应尺寸64×64，CU₁对应尺寸32×32，以此类推。同时HEVC引入PU(Prediction Unit，预测单元)作为预测过程的基本单位，尺寸和CU相比，增加了更为细致的4×4尺寸，帧内预测模式也增加到35种，使得预测过程更为精确，如图2所示。引进的这些创新技术使得HEVC和H.264相比，在保证相同视频质量的同时，码率可减少50％左右。可见，在可用到带宽限制的条件下，HEVC能很好适应高清视频编码质量的要求，具有巨大的市场应用潜力。然而，在取得高效率的同时，HEVC编码的计算复杂度也显著增加，成为其广泛推广的瓶颈。而在HEVC帧内预测编码中，最佳CU划分方式及最佳模式的选择占整个编码时间的80％，因此研究一种快速的帧内算法对于降低HEVC的编码复杂度极为重要。

对于帧内预测的优化，已经提出了众多的提案。为了降低帧内预测复杂的RD运算的次数，HEVC的帧内预测模式应用粗略模式决策(Rough Mode Decision,RMD)和提取最可能模式(Most Probable Mode，MPM)的方法得到了精简的最佳候选模式集合，从而减少率失真(Rate Distortion，RD)计算次数。这两种方案已经被应用在HEVC的测试源码HM中。但是这两种模式仅从每个CU深度的模式选择上进行优化，没有考虑CU划分过程中更大的冗余过程。

文献[1]“利用平滑区域检测的HEVC帧内编码快速算法”(作者：蒋洁，郭宝龙等，出处：西安电子科技大学学报(自然科学版)，2013年6月，第40卷，第三期，194-200页)提出了一种利用当前编码单元的率失真判断区域平滑程度，从而跳过不适合的编码划分。在HM4.0上测试，在高效配置下节省了18.6％的编码时间。

文献[2]“一种HEVC快速帧内模式判断算法”(作者：石飞宇，刘昱，出处：数字电视，2013年，第37卷，第11期，8-11页)，通过将35种帧内预测模式进行分级计算，利用其中17种模式技能得出最爱预测模式。节省了50.17％的编码时间和4.2％的码率提高。

发明内容

本发明的目的在于提供一种基于图像纹理特征的视频编码帧内预测方法。

本发明的步骤如下：

步骤一：通过预处理统计，获取编码单元CU图像的“强边缘”数N_{str_edge}，具体包括以下步骤：

步骤a1：计算当前编码单元CU的像素梯度幅值和相角；

在步骤a1中，所述计算当前编码单元CU的像素梯度幅值和相角的具体方法可为：

首先，采用3×3的sobel算子进行编码单元CU像素梯度计算，包括水平分量垂直分量

其中，P_i,j为相应坐标(i,j)上的亮度分量像素值；

接着，计算出像素梯度的幅值G_amp和相角G_ang：

步骤a2：经校正和区间划分，将梯度相角映射到33种角度预测模式，具体对应关系如表1所示；然后，将映射到相同预测模式的梯度幅值相加，得到对应模式在梯度直方图中预测模式幅值，图3展示了一个LCU的梯度直方图，横坐标为33种角度预测模式，纵坐标为梯度幅值histo(m)：

步骤a3：将角度预测模式m按照其对应的幅值histo(m)从大到小进行排列，得到角度预测模式列表Φ；

步骤a4：采用梯度直方图分组均值比较的方法获取当前CU图像中“强边缘”的数量N_{str_edge}；

在步骤a4中，所述采用梯度直方图分组均值比较的方法获取当前CU图像中“强边缘”的数量N_{str_edge}的具体方法可为：

首先，按照角度0，-π/4，-π/2和-3π/4四个大方向将33中角度预测模式分为四组，即[7,14]，[15,22]，[23,30]，[31,6]，分组的方案并不唯一，可以根据精度要求的不同，选定N个等间距的大方向，将33种角度预测模式均匀的分为N组；

然后，计算每个分组的幅值的均值，若当前组的均值均高出左右相邻两组的均值3dB,或当前组的均值大于选定的阈值，则增加N_{str_edge}的值，阈值在不同深度的CU中有不同的取值，阈值Thr(depth)的计算公式如下：

Thr(depth)＝(70-20×depth)×2^6-depth

其中，CU的深度取值为0，1，2对应64×64，32×32,16×16尺寸的CU；

最后，记录当前编码单元CU图像中“强边缘”的数量N_{str_edge}。

步骤a5：选定用于CU深度跳过和提前终止划分的“峰”数阈值Thr_sktp和Thr_ter，使得当当前CU的N_{str_edge}≥Thr_sktp时，最优CU的划分深度小于当前CU深度的概率小于10％；而当当前CU的N_{str_edge}≤Thr_ter时，最优CU的划分深度大于当前CU深度的概率小于15％；通过统计观察，选定Thr_sktp＝4，Thr_ter＝1。

步骤二、读入一个当前最大的编码单元LCU，开始进行帧内预测编码，并设定跳过标志位flag_skip和终止标志位flag_terminate，初始值均设为false；

步骤三、判断当前编码单元CU的尺寸，若CU的尺寸为8×8，则跳到步骤五，否则转到步骤四；

步骤四、判断当前CU的“强边缘”数N_{str_edge}，若N_{str_edge}≥Thr_sktp，设置深度跳过标志位flag_skip为true，则跳到步骤六；若N_{str_edge}≤Thr_ter，设置划分终止标志位flag_terminate为true，则转到步骤五；否则直接转到步骤五；

步骤五、进入预测模式选择阶段，判断当前CU的“强边缘”数N_{str_edge}是否为0，若为0，则跳过RMD(Rough Mode Decision，模式粗选)过程，直接选取非角度预测模式DC和Planar模式和MPM(Most Probable Mode,最可能模式)作为RDO(Rate DistortionOptimization，率失真优化)候选模式；若N_{str_edge}不为0，跳过RMD过程，分别选取角度预测模式列表Φ中前1,3,8种模式和MPM作为64×64,32×32,16×16CU的RDO候选模式；当前CU最优模式选择完成之后，转到步骤六；

步骤六、若当前CU尺寸大于8×8，判断终止标志位falg_termiante是否为true，若是，则结束当前编码单元CU的划分过程，则跳到步骤二，否则将当前CU划分为4个相等尺寸的自编码单元CU，对每个自编码单元CU，则转到步骤三；若当前CU尺寸等于8×8，则跳到步骤二。

本发明在几乎不影响编码效率的同时，可以灵活控制编码效率与编码时间之间的折中，降低HEVC的编码复杂度，有助于实现一种能够实时应用的编码器。

本发明提出的快速帧内预测方法，基于视频帧图像纹理特征，从编码单元划分和预测模式选择两方面进行优化，使得HEVC帧内预测计算复杂度大大减低。

本发明适用于采用HEVC视频标准的标准中，对图像进行帧内预测处理时，提供一种帧内预测的快速CU划分决策算法和预测模式的快速选择算法，其优点在于：1、通过CU深度和候选模式的双重裁剪，避免大量不必要的RDO计算。2、本发明不会改变HEVC原有的码流结构，与HEVC标准完全兼容。3、对HEVC的编码效率几乎没有影响，可以根据不同的视频场景，灵活控制编码效率与编码复杂度之间的折中。

附图说明

图1为HEVC帧内编码单元CU递归划分过程示意图；

图2为HEVC帧内35中预测模式示意图；

图3为本发明编码单元CU梯度直方图示意图。

具体实施方式

本发明包括编码单元CU的快速划分方法和预测模式的快速选择方法。HEVC视频图像首先以LCU(Large Coding Unit)为单位做编码划分，其尺寸为64×64，对应深度为0。在LCU内部,按照四叉树结构循环迭代地进行子块划分和编码，当达到最小的尺寸8×8(对应深度为3)之后，进入下一个LCU编码。对于每个深度的CU，HEVC通过遍历35中预测模式的方法，找到其中率失真代价RDcost最小的预测模式作为当前深度的最佳预测模式，通过不断比较更新，最终确定最优划分和最佳预测模式。在帧内预测过程中，HEVC引入PU(Prediction Unit)作为预测基本单元。PU的尺寸为2N×2N或N×N，只有当CU尺寸为8×8时，PU才进一步划分成4×4，否则PU尺寸和它所在的CU相同。PU承载着预测信息，完成帧内预测过程。实际上，CU的划分与图像纹理具有较强的相关性，图像平滑区域采用大尺寸CU，纹理复杂区域采用小尺寸CU。本发明正式基于这一点，提出一种CU的快速划分方法。

HEVC的每个预测单元PU的需要遍历33中角度预测模式，以及非角度预测模式DC和Planar，总共35中预测模式来获取具有最小RDcost的最佳预测模式。众多的预测模式使得模式选择过程的计算复杂度巨大。虽然HEVC采取了使用具有较小计算量的Hadmard代价对35种预测模式做粗选RMD(Rough Mode Decision)和参考相邻CU，选取最可能预测模式MPM(Most Probable)两种优化方案，但没有考虑到预测模式与帧图像纹理特性的关系，人存在大量的优化空间。

本发明提出一种基于梯度的视频帧图像纹理分析的HEVC帧内预测快速决策方法，具体包括如下步骤：

步骤一：预处理统计阶段，获取编码单元CU图像的“强边缘”数N_{str_edge}，具体包括：

步骤a1：计算当前编码单元CU的的像素梯度幅值和相角。首先，采用3×3的sobel算子进行编码单元CU像素梯度计算，包括水平分量垂直分量

其中，P_i,j为相应坐标(i,j)上的亮度分量像素值。接着，计算出像素梯度的幅值G_amp和相角G_ang：

步骤a2：经校正和区间划分，将梯度相角映射到33种角度预测模式，具体对应关系如表1所示。然后，将映射到相同预测模式的梯度幅值相加，得到对应模式在梯度直方图中预测模式幅值histo(m)：

步骤a3：将角度预测模式m按照其对应的幅值histo(m)从大到小进行排列，得到角度预测模式列表Φ。

步骤a4：采用梯度直方图分组均值比较的方法获取当前CU图像中“强边缘”的数量N_{str_edge}。首先，按照角度0，-π/4，-π/2和-3π/4四个大方向将33中角度预测模式分为四组，即[7,14]，[15,22]，[23,30]，[31,6]。分组的方案并不唯一，可以根据精度要求的不同，选定N个等间距的大方向，将33种角度预测模式均匀的分为N组。然后，计算每个分组的幅值的均值，若当前组的均值均高出左右相邻两组的均值3dB,或当前组的均值大于选定的阈值，则增加N_{str_edge}的值。阈值在不同深度的CU中有不同的取值，阈值Thr(depth)的计算公式如下：

Thr(depth)＝(70-20×depth)×2^6-depth。

其中CU的深度取值为0，1，2对应64×64，32×32,16×16尺寸的CU。最后，记录当前编码单元CU图像中“强边缘”的数量N_{str_edge}。

步骤a5：选定用于CU深度跳过和提前终止划分的“峰”数阈值Thr_sktp和Thr_ter，使得当当前CU的N_{str_edge}≥Thr_sktp时，最优CU的划分深度小于当前CU深度的概率小于10％；而当当前CU的N_{str_edge}≤Thr_ter时，最优CU的划分深度大于当前CU深度的概率小于15％。通过统计观察，选定Thr_sktp＝4，Thr_ter＝1。

步骤二、读入一个当前最大的编码单元LCU，开始进行帧内预测编码，并设定跳过标志位flag_skip和终止标志位flag_terminate，初始值均设为false。

步骤三、判断当前编码单元CU的尺寸，若CU的尺寸为8×8，跳到步骤五，否则转到步骤四；

步骤四、判断当前CU的“强边缘”数N_{str_edge}，若N_{str_edge}≥Thr_sktp,设置深度跳过标志位flag_skip为true。跳到步骤六；若N_{str_edge}≤Thr_ter，设置划分终止标志位flag_terminate为true，转到步骤五。否则直接转到步骤五；

步骤五、进入预测模式选择阶段，判断当前CU的“强边缘”数N_{str_edge}是否为0，若为0，跳过RMD(Rough Mode Decision，模式粗选)过程，直接选取非角度预测模式DC和Planar模式和MPM(Most Probable Mode,最可能模式)作为RDO(Rate Distortion Optimization，率失真优化)候选模式。若N_{str_edge}不为0，跳过RMD过程，分别选取角度预测模式列表Φ中前1,3,8种模式和MPM作为64×64,32×32,16×16CU的RDO候选模式。当前CU最优模式选择完成之后，转到步骤六；

步骤六、若当前CU尺寸大于8×8，判断终止标志位falg_termiante是否为true，若是，则结束当前编码单元CU的划分过程，跳到步骤二，否则将当前CU划分为4个相等尺寸的自编码单元CU，对每个自编码单元CU，转到步骤三；若当前CU尺寸等于8×8，跳到步骤二。

需要指出的是，本发明步骤的依据为，CU的划分与该区域图像的纹理复杂度密切相关，预先统计了当前CU梯度直方图与CU划分的关系，并得出当梯度直方图中存在少于两个“峰”，或者直方图的均值很小时，最终不进行CU划分的概率最高，并且当梯度直方图中存在多于三个“峰”或或者均值较大时，最终采用更小尺寸CU的概率最高。同时，预先统计了具有较大总梯度幅值的预测模式与最佳预测模式的关系，得出跳过RMD过程，直接选取具有最强总梯度幅值的几种预测模式作为RDO的候选模式，具有极大的命中概率。另外，当梯度直方图中没有“峰”且均值较小时，最佳预测模式为非角度预测模式DC或Planar的概率很大。

本发明中提出的用分组均值比较的梯度直方图“峰”数比较法，所分的组数，可以根据精度的要求，做适当调整。用于CU深度跳过和CU划分提前终止的阈值也可在编码效率和计算复杂度权衡中做适当调整。

采用新一代视频编码标准HEVC提供的参考软件HM13.0来衡量本发明方法的效果。对HEVC建议的5个分辨率等级(class A、B、C、D、E)的15个测试序列进行测试。编码器参数设置为：全帧内编码模式，选取量化参数QP值22,27,32,37，编码30帧，其余默认设置。本发明方法与软件HM13.0所采用的HEVC原始算法比较的结果如表2所示。其中，表2中的Prop.-CUSplitting为本发明中CU深度跳过和CU划分提前终止方法的测试效果，Prop.-ModeSelection为本发明中基于梯度的RDO候选模式选择方法的测试效果。BDBR和BDPSNR为VCEG建议采用的评价标准，BDBR表示在同样的客观质量下两种方法的码率节省情况，BDPSNR表示在给定的同等码率下两种方法的Y-PSNR(亮度Y峰值信噪比)的差异，表2中ΔTime定义如下：

其中Time_pro(QP_i)和Time_HM13.0(QP_i)分别表示本发明的优化方法与原始的HM13.0方法随QP值变化的编码时间。

表1

Gang	θ	Mode	Gang	θ	Mode
						1.522～1.620	π/4	2	-0.147～-0.049	-9π/32	19
1.424～1.522	7π/32	3	-0.245～-0.147	-5π/16	20
						1.325～1.424	3π/16	4	-0.344～-0.245	-11π/32	21
1.227～1.325	5π/32	5	-0.442～-0.344	-3π/8	22
						1.129～1.277	π/8	6	-0.540～-0.442	-13π/32	23
1.031～1.129	3π/32	7	-0.638～-0.540	-7π/16	24
						0.933～1.031	π/16	8	-0.736～-0.638	-15π/32	25
0.834～0.933	π/32	9	-0.834～-0.736	-π/2	26
						0.736～0.834	0	10	-0.933～-0.834	-17π/32	27
0.638～0.736	-π/32	11	-1.031～-0.933	-9π/16	28
						0.540～0.638	-π/16	12	-1.129～-1.031	-19π/32	29
0.442～0.540	-3π/32	13	-1.227～-1.129	-5π/8	30
						0.344～0.442	-π/8	14	-1.325～-1.227	-21π/32	31
0.245～0.344	-5π/32	15	-1.424～-1.325	-11π/16	32
						0.147～0.245	-3π/16	16	-1.522～-1.424	-23π/32	33
0.049～0.147	-7π/32	17	-1.620～-1.522	-3π/4	34
						-0.049～0.049	-π/4	18	N/A	N/A	N/A

表2

从表2可以看出，本发明的一种HEVC快速帧内预测方法效果良好，几乎不会影响编码器的率失真性能，BDBR平均增加2.24％，BDPSNR平均仅降低0.065dB，而平均编码时间节省可达55％。需要指出的是，本发明方法可以灵活控制所选阈值，使其适用于不同应用场合。虽然像素梯度计算会引入一定的计算量，但与原始HEVC中CU遍历的方法相比，本发明的快速决策方法降低的计算复杂度是相当可观的。

经过以上的分析是实验验证，可以得出以下结论：本发明提出的基于梯度的HEVC帧内预测快速预测方法，其理论依据正确，实际应用可行，有助于实现HEVC编码器的实时应用。

Claims (4)

1.一种基于图像纹理特征的视频编码帧内预测方法，其特征在于其具体步骤如下：

步骤一、通过预处理统计，获取编码单元CU图像的“强边缘”数N_{str_edge}；

步骤二、读入一个当前最大的编码单元LCU，开始进行帧内预测编码，并设定跳过标志位flag_skip和终止标志位flag_terminate，初始值均设为false；

步骤三、判断当前编码单元CU的尺寸，若CU的尺寸为8×8，则跳到步骤五，否则转到步骤四；

步骤四、判断当前CU的“强边缘”数N_{str_edge}，若N_{str_edge}≥Thr_sktp，设置跳过标志位flag_skip为true，则跳到步骤六；若N_{str_edge}≤Thr_ter，设置终止标志位flag_terminate为true，则转到步骤五；否则直接转到步骤五；

步骤五、进入预测模式选择阶段，判断当前CU的“强边缘”数N_{str_edge}是否为0，若为0，则跳过RMD过程，直接选取非角度预测模式DC和Planar模式和MPM作为RDO候选模式；若N_{str_edge}不为0，跳过RMD过程，分别选取角度预测模式列表Φ中前1,3,8种模式和MPM作为64×64,32×32,16×16CU的RDO候选模式；当前CU最优模式选择完成之后，转到步骤六；

步骤六、若当前CU尺寸大于8×8，判断终止标志位flag_terminate是否为true，若是，则结束当前编码单元CU的划分过程，则跳到步骤二，否则将当前CU划分为4个相等尺寸的自编码单元CU，对每个自编码单元CU，则转到步骤三；若当前CU尺寸等于8×8，则跳到步骤二。

2.如权利要求1所述一种基于图像纹理特征的视频编码帧内预测方法，其特征在于在步骤一中，所述通过预处理统计，获取编码单元CU图像的“强边缘”数N_{str_edge}，具体包括以下步骤：

步骤a1：计算当前编码单元CU的像素梯度幅值和相角；

步骤a2：经校正和区间划分，将梯度相角映射到33种角度预测模式，具体对应关系如表1所示；然后，将映射到相同预测模式的梯度幅值相加，得到对应模式在梯度直方图中预测模式幅值histo(m)：

表1

G_ang θ Mode G_ang θ Mode 1.522～1.620 π/4 2 -0.147～-0.049 -9π/32 19 1.424～1.522 7π/32 3 -0.245～-0.147 -5π/16 20 1.325～1.424 3π/16 4 -0.344～-0.245 -11π/32 21 1.227～1.325 5π/32 5 -0.442～-0.344 -3π/8 22 1.129～1.277 π/8 6 -0.540～-0.442 -13π/32 23 1.031～1.129 3π/32 7 -0.638～-0.540 -7π/16 24 0.933～1.031 π/16 8 -0.736～-0.638 -15π/32 25 0.834～0.933 π/32 9 -0.834～-0.736 -π/2 26 0.736～0.834 0 10 -0.933～-0.834 -17π/32 27 0.638～0.736 -π/32 11 -1.031～-0.933 -9π/16 28 0.540～0.638 -π/16 12 -1.129～-1.031 -19π/32 29 0.442～0.540 -3π/32 13 -1.227～-1.129 -5π/8 30 0.344～0.442 -π/8 14 -1.325～-1.227 -21π/32 31 0.245～0.344 -5π/32 15 -1.424～-1.325 -11π/16 32 0.147～0.245 -3π/16 16 -1.522～-1.424 -23π/32 33 0.049～0.147 -7π/32 17 -1.620～-1.522 -3π/4 34 -0.049～0.049 -π/4 18 N/A N/A N/A

步骤a3：将角度预测模式m按照其对应的幅值histo(m)从大到小进行排列，得到角度预测模式列表Φ；

步骤a4：采用梯度直方图分组均值比较的方法获取当前CU图像中“强边缘”的数量N_{str_edge}；

步骤a5：选定用于CU深度跳过和提前终止划分的“峰”数阈值Thr_sktp和Thr_ter，使得当当前CU的N_{str_edge}≥Thr_sktp时，最优CU的划分深度小于当前CU深度的概率小于10％；而当当前CU的N_{str_edge}≤Thr_ter时，最优CU的划分深度大于当前CU深度的概率小于15％；通过统计观察，选定Thr_sktp＝4，Thr_ter＝1。

3.如权利要求2所述一种基于图像纹理特征的视频编码帧内预测方法，其特征在于在步骤a1中，所述计算当前编码单元CU的像素梯度幅值和相角的具体方法为：

首先，采用3×3的sobel算子进行编码单元CU像素梯度计算，包括水平分量垂直分量

其中，P_i,j为相应坐标(i,j)上的亮度分量像素值；

接着，计算出像素梯度的幅值G_amp和相角G_ang：

4.如权利要求2所述一种基于图像纹理特征的视频编码帧内预测方法，其特征在于在步骤a4中，所述采用梯度直方图分组均值比较的方法获取当前CU图像中“强边缘”的数量N_{str_edge}的具体方法为：

首先，按照角度0，-π/4，-π/2和-3π/4四个大方向将33种角度预测模式分为四组，即[7,14]，[15,22]，[23,30]，[31,6]；

然后，计算每个分组的幅值的均值，若当前组的均值均高出左右相邻两组的均值3dB,或当前组的均值大于选定的阈值，则增加N_{str_edge}的值，阈值在不同深度的CU中有不同的取值，阈值Thr(depth)的计算公式如下：

Thr(depth)＝(70-20×depth)×2^6-depth

其中，CU的深度取值为0，1，2对应64×64，32×32,16×16尺寸的CU；

最后，记录当前编码单元CU图像中“强边缘”的数量N_{str_edge}。