CN103384326A

CN103384326A - 一种avs-m视频编码快速帧内预测模式选择方法

Info

Publication number: CN103384326A
Application number: CN2013100900481A
Authority: CN
Inventors: 张新安
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-03-20
Filing date: 2013-03-20
Publication date: 2013-11-06

Abstract

一种AVS-M视频编码快速帧内预测模式选择方法，如附图所示。算法利用图像边缘方向的纹理特征，选取边缘方向直方图中模最大的方向所对应的预测模式以及没有方向性的DC模式作为当前块的候选预测模式；利用图像的时空相关性，选择前一帧对应块B ₀ ^n-1的最佳预测模式，当前帧的左块B ₂ ⁿ的最佳预测模式作为当前块的候选预测模式，利用相邻图像块的纹理在局部空间中的相关性，选取当前块的最可能模式作为当前块的候选预测模式。通过计算当前块候选预测模式的率失真代价Cost _R，选取Cost _R最小的模式作为最优的预测模式。能有效减少需要判决的模式数量，快速确定最优模式，与全模式选择算法相比，编码时间可降低17％～21％。

Description

一种AVS-M视频编码快速帧内预测模式选择方法

技术领域

本发明涉及信号处理中的视频编码技术领域，具体涉及一种AVS-M视频编码快速帧内预测模式选择方法。

背景技术

数字音视频产业是信息产业三大组成部分之一，我国的数字音视频产业规模巨大，但知识产权薄弱，这一领域长期被MPEG-2、MPEG-4和H.264等国外技术标准垄断，采用这些标准都需要交纳高昂的专利费。AVS(Audio Video Coding Standard)是我国自主制定，拥有自主知识产权的音视频编解码标准。

AVS与H.264比较，具有4大优点：（1）性能高，编码效率是MPEG-2的2.4倍，与H.264相当；（2）复杂度低，编码复杂度相当于H.264的70%，解码复杂度相当于H.264的30%；（3）软硬件实现成本都低于H.264；（4）专利费用低，只收取1元人民币的软硬件专利费。AVS的使用，不仅可以每年节省几十亿美元的专利费，还可以带动中国自己的芯片产业发展，加速解决我国IT企业无核心技术的问题。

AVS-M即AVS1-Part7，是AVS编码技术的重要组成部分，是我国面向移动通信的视频编解码标准。AVS-M标准的应用推广，对于发展我国移动多媒体产业具有非常重要的意义。

帧内预测是消除空间冗余的关键技术，它充分利用图像的空间相关性进行预测编码，引入率失真优化技术RDO(Rate Distortion Optimization, RDO)进行最优模式的选择，提高了视频编码的压缩效率及编码性能。特别是在变化平坦的背景区域，由于存在大量的空间冗余，利用帧内预测可以取得很好的效果。在AVS-M标准中，无论是P帧还是I帧，编码时每一个宏块都要做帧内预测，亮度信号有9种模式，色度信号有3种模式，帧内预测模式是基于率失真优化(RDO)的完全搜索算法(Full-Search, FS)，它通过计算每一种帧内预测模式的率失真代价Cost _R，找出其中具有最小Cost _R的预测模式作为最佳预测模式，这样大大增加了编码器的计算复杂度，很难适应实时性要求较高的场合。为了满足视频通讯的实时性要求，必须使用快速算法，降低帧内预测编码模式选择的运算复杂度。

近几年，国内外对H.264帧内预测模式的快速选择算法展开了大量的研究工作，目前比较有代表性的是：Pan Feng等人提出的基于局部边缘方向信息的快速帧内模式选择算法，该算法使得每个4×4像素块只需计算3～4个预测方向，该方法在提高20％～30％编码速度时，增加了2％的码率；Bojun Meng等人提出的减少验证模式数的快速帧内模式选择的算法，该算法首先根据人为设定的阈值T，判断“最可能的预测模式”是否可以作为最终的最佳预测模式。如果可以，则停止计算，如果不可以，则根据部分样本点计算得到的SAD，求出剩余的8种模式中最佳的一个，这种计算部分样本点的方法在实际应用中并不占优势，而且阈值T需要人为的指定，实用性较差。

由于AVS-M标准提出得较晚，目前对其帧内预测模式快速选择算法的研究很少。与H.264不同，AVS-M的帧内预测仅以4×4块为基础，由于H.264的帧内宏块大小分为4×4和16×16两种类型，因此，H.264的帧内预测模式快速算法并不能完全移植到AVS-M中。

发明内容

针对我国面向移动通信的视频编码标准AVS-M需要更高效的帧内预测模式选择算法，为了解决现有AVS-M视频编码快速帧内预测模式选择方法中存在的不足，本发明公开一种适用于AVS-M视频编码的基于边缘方向信息和时空相关性的帧内预测模式快速选择算法。该算法的I帧编码时间可降低17％～21％，而PSNR和输出码率均无明显变化，能有效地降低AVS-M帧内编码的计算复杂度。

一种AVS-M视频编码快速帧内预测模式选择方法，包括以下步骤：

步骤1、利用视频图像边缘方向的纹理特征，选取边缘方向直方图中模最大的方向所对应的预测模式3以及没有方向性的DC模式作为当前块的候选预测模式；

步骤2、利用视频图像的空间相关性，选择当前帧的左块B ₂ ⁿ的最佳预测模式作为当前块的候选预测模式；

步骤3、利用视频图像的时间相关性，选择前一帧对应块B ₀ ^n-1的最佳预测模式作为当前块的候选预测模式；

步骤4、利用相邻图像块的纹理在局部空间中的相关性，选取最可能模式(MPM)，作为当前块的候选预测模式；

步骤5、计算当前块候选预测模式的率失真代价Cost _R；

步骤6、选取Cost _R最小的模式作为最优的预测模式。

现有技术比较，本发明的优点和积极效果为：本发明将AVS-M帧内预测编码模式中亮度信号的9种模式减少到5种，能有效减少需要判决的模式数量，快速确定最优模式。与全模式选择算法相比，该算法的I帧编码时间可降低17％～21％，而PSNR和输出码率均无明显变化，能有效地降低AVS-M帧内编码的计算复杂度，提高编码速度。

下面对AVS-M标准的帧内预测、本发明的利用视频图像边缘方向的纹理特征的模式选择、利用视频图像的空间相关性的模式选择、利用视频图像的时间相关性的模式选择和利用相邻图像块的纹理在局部空间中的相关性的模式选择，这五个部分作详细说明。

AVS-M标准的帧内预测。

AVS-M 帧内预测，采用4×4块的预测方法。同一个条带内的每个4×4块的预测值，根据它左、左上及上方已存在的相邻4×4块图像的边界重构值，按照不同的方式来填充(当参考块不存在时，使用缺省数据)。AVS-M使用9种亮度块填充模式和3种色度块填充模式(由于色度数据量和预测模式数量相比亮度都比较少，本发明只给出亮度预测)，如附图1所示(编号为8的模式为缺省模式)。

在AVS-M中，两种最优模式判别准则，分别是SAD准则(Sum of Absolute Differences)和RDO准则(Rate Distortion Optimization, RDO)。前者是基于预测模式的，后者是基于率失真代价的。

SAD准则　首先计算原始数据和每一种模式下预测值的差的绝对值和SAD ₁₆：

（1）

f ₀ (x, y)和f _P (x, y)分别表示原始像素值和预测像素值，x和y表示当前4×4块左上角元素的坐标。然后再按照式(2)计算当前模式下的代价：

（2）

（3）

其中λ(QP)取值为量化参数QP的指数函数的整数近似值。在SAD准则中，对9种模式分别计算相应的Cost _P，将Cost _P最小的选为最优预测模式。

RDO准则　对每一种模式，按照式(4)计算代价Cost _R：

（4）

（5）

其中f _R (x, y)表示当前块经过量化、变换、反量化、反变换、重构后的重构像素值，R表示残差块经过熵编码后得到的码长，λ为率失真参数，SSD表示原始像素值和图像重构值的误差均方和。RDO准则中，同样需对9种模式分别进行预测，计算相应的Cost _R值，最终选择Cost _R值最小的一个作为最优预测模式。

在率失真准则下，由于综合了熵编码后的码长，同时也考虑了重构后的数据，因此，视频编码质量和编码效率取得平衡，但复杂度却大大提高。编码过程中，Cost _P值根据原始值和预测值的残差就可确定。而Cost _R值，需先根据残差进行变换、量化，然后经过熵编码得到码长，再经过反量化、反变换、重构得到重构值，最后再通过误差均方和的计算才能得到。理论上，RDO准则中对一种模式的计算量和SAD准则完成最优模式的计算量相当。因此，RDO准则的复杂度是SAD准则的近9倍。

利用视频图像边缘方向的纹理特征的模式选择。

自然图像在空间是连续和相关的，组成图像的各像素在空间上的8个预测方向上都有相关性，这个特性可以用来去除空间冗余，如果能找到相关性最强的那个方向，并使用此方向来预测编码，就可以提高帧内编码的效果。

Sobel算子是常用的边缘检测算子，它有两个卷积核，一个反映垂直方向的变化程度，另一个反映水平方向的变化程度。当原始的视频图像分别与Sobel算子的两个卷积核卷积计算后，对像素p _i j产生相应的边缘矢量

，dx _i,j和dy _i,j分别表示垂直和水平的变化强度，定义如下：

（6）

（7）。

定义边缘方向矢量的强度是：

（8）。

边缘方向矢量的方向是：

（9）。

对于4×4亮度块的帧内预测，共有8个基于方向的预测模式，如附图1所示，因此，可以将整个预测方向图用二分法划分成若干个预测区间。例如，模式6、模式5与模式7的夹角分别为±26.6⁰，用二分法将模式5、6之间和模式6、7之间的夹角等分，这样就可以得到包含预测模式6的预测区间：

a₆＝(－13.3⁰，13.3⁰]

依此类推：a₀＝(35.8⁰，54.2⁰]，a₁＝(54.2⁰，76.7⁰]，a₂＝(－76.7⁰，76.7⁰]，a₃＝(－76.7⁰，－54.2⁰]，a₄＝(－54.2⁰，-35.8⁰]，a₅＝(－35.8⁰，－13.3⁰]，a₇＝(13.3⁰，35.8⁰]。

根据4×4块中每一个像素的边缘矢量方向

所处的预测区间，分别在各个预测区间对该预测区间中的边缘矢量强度求和，得到相应的边缘方向直方图(Edge direction histogram)。显然，具有最大的

的那个区间代表了这个4×4块的边缘方向信息，因此，这个方向作为候选模式被选择出来。附图2中，纵坐标表示边缘方向信息

的大小，横坐标表示对应的帧内模式号。在附图2中，由于模式3具有最强的边缘方向信息，因此，选择模式3作为当前块的候选预测模式。

由于DC预测并非是基于方向的预测，并且考虑到图像的边界宏块或块，以及各区间出现边缘矢量强度

相等的特殊情况，DC模式也被选为当前块的候选预测模式之一。

利用视频图像空间相关性的模式选择。

自然图像在时空上是连续和相关的，视频图像的时间相关性和空间相关性是视频的基本特性。附图3给出了Foreman序列前两帧的图像，下面分别从空间和时间两个方面，结合实验数据分析其相关性。

以图3（a）Foreman序列第l帧图像为例，可以看出图像存在以下特点：l．在局部区域内，图像较平滑，像素值变化缓慢。如图像中除纹理边界以外绝大部分区域的像素值都变化很小；2．相邻图像的纹理具有相似性。如上面Foreman图像中的背景具有很强的纹理。在局部空间内，图像块的纹理是相似的，其图像块的最佳预测模式在空间上是相关的，因此可以得出以下结论：在单帧图像的平面空间中，相邻图像块对应的预测模式之间是相关的，并且图像块之间的距离越近，预测模式之间的相关性越高。

为了更清楚地表明序列图像的这种空间相关性，对当前帧的一个4×4块B ₀ ⁿ的最佳预测模式，与已编码的相邻块的最佳编码模式比较，块的位置关系如附图4所示。测试序列为包含很多平滑或纹理简单的区域的“Akiyo”，包含较多的细节或纹理比较复杂的区域的“Foreman”及介于两者之间的“News”三个QCIF(174×144)视频序列。表1给出了当前帧相邻块与B ₀ ⁿ最佳预测模式相同的概率。

表1当前帧相邻块与B ₀ ⁿ最佳预测模式相同的概率

序列	B ₁ ⁿ	B ₂ ⁿ	B ₃ ⁿ
				Akiyo	0.299	0.560	0.244
News	0.273	0.547	0.212
				Foreman	0.193	0.446	0.173

从上面的结果可以看到，当前块的预测模式与其相邻块的预测模式有很强的相关性，其中当前帧的左块B ₂ ⁿ与B ₀ ⁿ最佳预测模式相同的概率最大，因此，本发明选择当前帧的左块B ₂ ⁿ的最佳预测模式作为当前块的候选预测模式。

利用视频图像时间相关性的模式选择。

视频序列中时间相邻的图像之间是高度相关的，这种相似性造成了视频序列的时间冗余性。正是因为序列的这种特性，在当前所有视频编码标准中，一般都采用了前向帧间预测的编码方法来消除视频的时间冗余性，这种特性也可以用在帧内预测中。

如附图3所示，Foreman序列的第1帧和第2帧图像基本相同，第2帧图像相对于第1帧仅有一左上方向的微小平移。根据时间轴上相邻图像帧之间相关性，可以作以下推论：时间相邻的图像帧相似，则对应的4×4图像块之间相似，同时4×4图像块的预测模式之间也应该是相似的。因此，可以得出最佳预测模式在时间轴上相关的结论：在时间轴上，相邻图像块的预测模式之间是相关的，并且图像块在时间轴上的距离越近，预测模式之间的相关性越高。

为了更清楚地表明序列图像的时空相关性，对当前帧的一个4×4块B ₀ ⁿ的最佳预测模式与已经编码的前一帧对应的4×4块B ₀ ^n-1到B ₈ ^n-19个块的最佳预测模式进行统计比较，当前帧4×4块B ₀ ⁿ与其相邻块位置关系如附图4所示，当前块B ₀ ⁿ与前一帧对应块及相邻块的位置关系如附图5所示。

表2给出了测试序列“Aldyo”，“News”和“Foreman”当前块B ₀ ⁿ的最佳预测模式与前一帧相邻块的最佳预测模式相同的概率。

表2 当前块B ₀ ⁿ与前一帧对应块及相邻块最佳预测模式相同的概率

序列	B ₀ ^n-1	B ₁ ^n-1	B ₂ ^n-1	B ₃ ^n-1	B ₄ ^n-1	B ₅ ^n-1	B ₆ ^n-1	B ₇ ^n-1	B ₈ ^n-1
										Akiyo	0.846	0.316	0.544	0.266	0.545	0.316	0.265	0.265	0.268
News	0.801	0.291	0.522	0.238	0.527	0.293	0.243	0.243	0.236
										Foreman	0.560	0.198	0.398	0.188	0.406	0.198	0.172	0.172	0.188

由表2可以看出，B ₀ ⁿ与前一帧对应块及相邻块均有很强的相关性，其中其最佳预测模式与B ₀ ^n-1的相关性最大，其次是B ₁ ^n-1，B ₂ ^n-1，B ₄ ^n-1，B ₅ ^n-1，相关性较小的是B ₃ ^n-1，B ₆ ^n-1，B ₇ ^n-1，B ₈ ^n-1。

基于以上分析本发明选择前一帧对应块B ₀ ^n-1的最佳预测模式作为当前块的候选预测模式。

利用相邻图像块的纹理在局部空间中的相关性的模式选择。

在AVS-M标准中，帧内预测块的最佳预测模式与最可能预测模式(Most Probable Mode, MPM)相比较后再进行熵编码，AVS-M采用了增强最可能模式预测，充分利用了相邻图像块的纹理在局部空间中的相关性，对于三个不同的标准测试序列“Akiyo”，“News”和“Foreman”，实验表明，当前块B ₀ ⁿ的最佳预测模式与最可能模式相同的概率分别达到了0.657，0.638和0.502，所以选择MPM模式作为当前块的候选预测模式。

本发明最终选择模式3、DC模式、当前块的左块B ₂ ⁿ的最佳预测模式、前一帧对应块B ₀ ^n-1的最佳预测模式和MPM模式作为当前块的候选预测模式，进行预测编码。

附图说明

图1为4×4亮度块帧内预测模式图。

图2为边缘方向直方图。

图3为视频图像预测模式的时空相关性示意图。

图4为当前帧4×4块B ₀ ⁿ与其相邻块位置关系示意图。

图5为当前块B ₀ ⁿ与前一帧对应块及相邻块的位置关系示意图。

图6为本发明的快速帧内预测模式选择方法流程图。

具体实施方式

本发明提出的帧内预测模式快速选择算法的具体实施方式，如图6所示，包括以下步骤：

步骤5、根据公式（4）计算当前块候选预测模式的率失真代价Cost _R；

步骤6、选取Cost _R最小的模式作为最优的预测模式。

为验证本发明算法的有效性，选择运动较小的Akiyo、运动中等的News和运动剧烈Foreman三个典型的QCIF（174×144）格式标准图像序列进行研究，每个测试序列编码的帧数均为50帧(I帧)。测试平台：CPU为Intel Pentium4 3.0G，内存为DDR2 1.0G，操作系统为Windows XP。参数设置：允许RDO；使用Hardarmard变换。

本算法共选用5种预测模式作为候选模式，但是因为所选的5种预测模式中存在相同模式，帧内预测模式将大大少于5种，表3给出使用该算法后，“Akiyo”，“News”，“Foreman”预测的准确度和平均预测模式个数。

表3预测准确度和平均预测模式个数的比较

。

表4给出了本发明算法与WM3.3a有关PSNR、输出码率和编码时间的实验结果。

表4 不同测试序列下的编码性能比较

表4的实验结果表明，本发明算法和WM3.3a相比，在编码时间上有明显降低，所有I帧的编码速度提高可达17％～21％，对于不同的测试序列，不同的量化步长，编码速度提高幅度变化不大。此外，表4显示Foreman序列的PSNR下降约为0.12dB，而Akiyo序列的PSNR下降约为0.06dB～0.1dB，说明本发明算法根据视频图像时空相关性预测的候选帧内预测模式对于背景纹理简单，运动较小的序列的准确度更高。和WM3.3a相比，本发明算法的输出码率增加很微小，对于所有序列，比特率增加都在0.5％以内。

应当指出，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的修改，变形、添加或替换，也应属于本发明的保护范围。

Claims

1.一种AVS-M视频编码快速帧内预测模式选择方法，其特征在于，所述方法包括以下步骤：

步骤5、计算当前块候选预测模式的率失真代价Cost _R；

步骤6、选取Cost _R最小的模式作为最优的预测模式。

2.根据权利要求1所述的一种AVS-M视频编码快速帧内预测模式选择方法，其特征是：当原始的视频图像分别与Sobel算子的两个卷积核卷积计算后，对像素p _i j产生相应的边缘矢量

（1）

（2）

定义边缘方向矢量的强度是：

（3）

边缘方向矢量的方向是：

（4）

根据4×4块中每一个像素的边缘矢量方向

所处的预测区间，分别在各个预测区间对该预测区间中的边缘矢量强度求和，得到相应的边缘方向直方图，具有最大的

的那个区间代表了这个4×4块的边缘方向信息，由于模式3具有最强的边缘方向信息，因此，选择模式3作为当前块的候选预测模式；

3.根据权利要求1所述的一种AVS-M视频编码快速帧内预测模式选择方法，其特征是：根据当前帧左块B ₂ ⁿ与B ₀ ⁿ最佳预测模式相同的概率最大，选择当前帧的左块B ₂ ⁿ的最佳预测模式作为当前块的候选预测模式。

4.根据权利要求1所述的一种AVS-M视频编码快速帧内预测模式选择方法，其特征是：B ₀ ⁿ与其前一帧对应块及相邻块中的B ₀ ^n-1的最佳预测模式相关性最大，因此，选择前一帧对应块B ₀ ^n-1的最佳预测模式作为当前块的候选预测模式。

5.根据权利要求1所述的一种AVS-M视频编码快速帧内预测模式选择方法，其特征是：当前块B ₀ ⁿ的最佳预测模式与最可能模式(MPM)相同的概率最大，因此，选择MPM作为当前块的候选预测模式。

6.根据权利要求1所述的一种AVS-M视频编码快速帧内预测模式选择方法，其特征是：率失真代价Cost _R的计算公式是：

（5）

（6）

其中f ₀(x, y)表示原始像素值，f _R(x, y)表示当前块经过量化、变换、反量化、反变换、重构后的重构像素值，R表示残差块经过熵编码后得到的码长，λ为率失真参数，SSD表示原始像素值和图像重构值的误差均方和。