CN1750658A - 帧间预测模式的选择方法 - Google Patents

Abstract

本发明公开了一种帧间预测模式的选择方法，用于视频图像帧间预测编码处理中的预测模式选择，包括将视频图像序列按照不同属性划分为不同的图像区域；根据不同图像区域的块尺度分布特性，限定每个图像区域能够选择的帧间预测模式；针对每个图像区域中的每个宏块，在限定的帧间预测模式中选择相应帧间预测模式进行帧间预测编码处理。本发明可以简化帧间预测编码处理过程中对每个宏块的帧间预测模式的选择过程，从而提高了视频编解码的效率和视频通信效果。

Description

帧间预测模式的选择方法

技术领域

本发明涉及多媒体通信领域的视频压缩编解技术，尤其涉及一种帧间预测模式的选择方法。

背景技术

H.264压缩编码标准是目前最先进的视频压缩编码国际标准，其全称是国际电信联盟-电信标准化组织H.264建议(ITU-T H.264 Recommendation，International Telecommunication Union-Telecommunication H.264Recommendation)，以下将其简称为H.264标准。H.264标准由ITU-T和国际标准化组织(ISO，International Organization for Standardization)/国际电工委员会(IEC，International Electrotechnical Commission)的运动图像专家组(MPEG，Moving Picture Experts Group)共同合作开发制定。该标准从1999年开始研制，由众多国家的设备厂商，软件开发商，电信运营商，大学和科研机构参加，汇集了当前世界上最先进的视频压缩编码技术，最终于2003年正式成为ITU-T的国际标准。

H.264相对于在先的H.263+、H.263++以及MPEG-4 Simple Profile等视频压缩编码标准技术，在性能和功能上都有了很大提高。其中在功能上增加了许多编码工具选项，使得可以适合更多的应用类型以及更加广阔的应用领域；在性能方面，在相同的编码码率(bit-rate)下，图像质量以峰值信号-噪声比值(PSNR，Peak Signal-to-Noise Ratio，简称峰值信噪比)作为参考，H.264标准比在先的H.263+/H.263++，MPEG-4 Simple Profile标准提高了一倍，即PSNR增加了3dB；也就是说，在得到相同PSNR的情况下，H.642标准所需要的网络带宽相比H.263+/H.263++，MPEG-4 Simple Profile标准所需的网络带宽降低了50％。

但是，H.264标准相对于在先技术标准在功能和性能方面都得到显著提升的同时，其付出的代价也是高昂的，其中H.264标准对视频图像进行压缩编解码处理的运算复杂度要比H.263/H.263+等标准的运算复杂度增加几倍，因此，H.264标准大规模普及应用的前提必须是开发多种处理效率较高的运算处理方法，以降低H.264标准编解码运算处理过程中的多个计算强度非常高的计算环节的运算复杂度，这样才能降低产品所需多媒体处理器的处理能力，从而降低成本；或者是多媒体处理器在给定的处理能力上支持更高的编码及解码能力，从而提高产品性能。

其中在H.264标准的编解码处理过程中存在多处运算复杂度较高的计算环节，比如帧间预测编码处理(Inter-frame prediction，简称Inter)、帧内预测编码处理(Intra-frame prediction，简称Intra)、熵编码处理(CABAC，Context-Adaptive Binary Arithmetic Coding)、1/4像素精度的运动估计(ME，Motion Estimation)和运动补偿(MC，Motion Compensation)、多参考帧预测(Multi-hypothesis prediction)等等。

尤其是在帧内预测编码处理和帧间预测编码处理方面，H.264标准相对于在先的H.263/H.263+等标准有了很大的处理策略变化。其中H.264标准在对视频图像进行编解码处理的过程中，对于视频图像当前帧中的每个宏块(Macro block，以下简称MB)，允许使用多种预测模式对其进行预测处理。一般预测处理首先是进行帧间预测，然后再进行帧内预测，继而比较帧内预测处理和帧间预测处理的结果，选取编码效率最佳的预测模式，这样就把帧内预测和帧间预测这两种预测技术有机地结合起来了，可以达到更高的预测效率和压缩效率。

另外，H.264标准在进行帧内预测编码处理和帧间预测编码处理过程中，能够支持多种预测模式，所谓预测模式，是指在预测处理过程中选择参考图像块的大小不同。在H.264标准中，定义的帧内预测模式包括Intra 16×16和Intra 4×4两种，即分别以16×16象素大小的图像块和4×4象素大小的图像块作为参考图像块进行帧内预测编码处理。而在帧间预测方面，H.264标准也可以支持采用不同大小的块进行预测。

在实际视频图像中，一个图像区域是上一帧图像中相应的图像区域经过运动而产生的，这个图像区域可能比一个MB(16像素×16像素大小)大，也可能比一个MB小。对于比MB大的情况，基于MB作为最小预测单位，就可以达到最好的预测效果；但是对于比MB小的图像细节部分，可能使用MB作为唯一的预测单位就不能达到最好的预测效果，从而不能最大限度地对图像进行压缩处理，导致视频图像编码后码率会有较大程度的降低，不能得到最优的编码码率。

针对上述问题，H.264标准提出了多种块尺度(Block Size)作为不同空间尺度图像内容(平坦部分，细节部分等)的预测单位，即H.264标准定义的帧间预测模式包括Inter 16×16、Inter 16×8、Inter 8×16、Inter 8×8、Inter8×4、Inter 4×8、Inter 4×4七种，即分别以16×16、16×8、8×16、8×8、8×4、4×8和4×4象素大小的图像块作为参考图像块进行帧间预测编码处理。请参阅图1，该图是现有技术H.264标准中帧间预测编码处理所选择的七种帧间预测模式示意图。在H.264帧间预测编码处理过程中，对于每一个MB，计算该宏块MB在每种帧间预测模式下的绝对误差和(SAD，Sum of AbsoluteDifferences)，将最小SAD值对应的预测模式作为本MB的帧间预测模式，比如如果Inter 8×8是最终选出的帧间预测模式，那么就把该MB(16象素×16象素)分成4个8×8象素大小的块，并对每个8×8象素的块分别进行帧间预测编码处理。

但是上述预测模式的选择过程是非常消耗多媒体处理器资源的，有数据表明，在整个H.264压缩编码过程中，帧间预测模式的选择消耗的时间会占到整个编码处理时间的大约70％左右，主要原因就是因为帧间预测模式可以选择的预测模式有7种，因此模式选择过程很繁琐及复杂，消耗的时间也就比较长。所以帧间预测编码过程中，帧间预测模式的选择时间过长将会严重影响视频图像的编码效率，这样就不能保证接收端接收图像数据具有较好的连续性，严重影响了视频通信的效果。

由ITU-T联合视频组(JVT，Joint Video Team)提出的H.264实现参考模型(JM，Joint Model)是一个软件实现，JM是H.264标准的权威实现，有多个变种，但基本都是按照JM的框架来开发的。随着H.264标准的发展和算法优化的提高，JM从问世以来，版本不断更新，目前版本最高的是JM 8.3。在JM 8.3中，帧间预测编码处理的预测模式选择方式具体如下：

H.264在进行帧间预测编码处理过程中，是按照图像块尺度从大到小依次进行帧间模式选择的，即首先从Inter 16×16帧间预测模式开始，依次对Inter16×16，Inter 16×8，Inter 8×16，Inter 8×8，Inter 8×4、Inter 4×8、Inter 4×4各种帧间预测模式进行计算SAD值。这个逐步计算过程其实是一个对被预测MB逐步细分的过程，例如对于Inter 16×8帧间预测模式，在水平方向把16×16象素的MB分成两个16×8象素的块；然后在前一帧(参考帧)中采用某种运动搜索方法，找到每个16×8象素块的最优参考块；然后对这两个16×8象素的块，用其各自的最优参考块计算其对应的SAD值；然后把这两个计算得到的SAD值相加，作为整个MB在Inter 16×8帧间预测模式下的SAD值。对于Inter 8×16帧间预测模式，其SAD值的计算过程完全和上述过程类似。而对于Inter 8×8帧间预测模式，其SAD值的计算过程也同上述过程类似，只不过是将16×16象素的MB按照4个项限位置划分成左上，右上，左下，右下4个8×8象素的块，然后分别对每个8×8象素的块，通过各自的运动预测来计算其SAD值，然后将计算得到的SAD值相加作为MB在Inter8×8帧间预测模式下的SAD值；其余帧间预测模式的SAD值计算过程类似。完成上述每个帧间预测模式的SAD值计算处理后，选择最小SAD值对应的帧间预测模式来作为该宏块MB的最优帧间预测模式，以进行帧间预测编码处理。

由此可见，上述帧间预测模式的选择过程其实是一种完全搜索技术(FullSearch)，或者称之为穷举搜索技术(exhaustive search)，因此其计算强度是非常大的，即对每一个MB，帧间预测模式的选择需要对7种预测模式分别计算SAD值。而对于不同大小块的SAD计算量基本上都是相同的，因此可以采用粗略估算方式来估计这种完全搜索方式对应的SAD计算量：如以Inter 16×16帧间预测模式的SAD计算量作为基本单位，用C表示，则：

Inter 16×8帧间预测模式的SAD计算量大约为2C；

Inter 8×16帧间预测模式的SAD计算量大约为2C；

Inter 8×8帧间预测模式的SAD计算量大约为4C；

Inter 8×4帧间预测模式的SAD计算量大约为8C；

Inter 4×8帧间预测模式的SAD计算量大约为8C；

Inter 4×4帧间预测模式的SAD计算量大约为16C；因此对于每一MB，其确定帧间预测模式的总的SAD计算量大约是：

C+2C+2C+4C+8C+8C+16C＝41C。

可见，上述使用完全搜索方式对每个宏块MB进行帧间预测模式选择的处理方式存在如下不可避免的缺陷：

对每个宏块MB进行帧间预测模式选择处理过程中，要分别计算七种预测模式下的SAD值，然后选取最小SAD值对应的帧间预测模式作为相应每个MB的帧间预测模式，其计算强度相当大，这样就会导致视频编码的效率降低，严重影响到视频通信的效果；同时由于这个高强度的计算过程还会带来较大的计算开销，因此就需要多媒体处理器等硬件设备具有能够支持这种高强度计算的性能。

发明内容

本发明要解决的技术问题在于提出一种帧间预测模式的选择方法，以简化帧间预测编码处理过程中对每个宏块的帧间预测模式的选择过程，从而提高视频编解码的效率和视频通信效果。

为解决上述问题，本发明提出了一种帧间预测模式的选择方法，用于视频图像帧间预测编码处理中的预测模式选择，包括步骤：

(1)将视频图像序列按照不同属性划分为不同的图像区域；

(2)根据不同图像区域的块尺度分布特性，限定每个图像区域能够选择的帧间预测模式；

(3)针对每个图像区域中的每个宏块，在限定的帧间预测模式中选择相应帧间预测模式进行帧间预测编码处理。

其中步骤(1)中所述属性为图像的运动程度；或为图像的运动程度、图像的纹理及图像的细节。

所述步骤(1)中将视频图像序列按照不同属性划分为运动程度大的运动区域、运动程度小的背景区域及运动程度中等的亚背景区域。

所述步骤(1)具体包括步骤：

(11)根据当前图像帧中要划分图像区域的宏块的位置，确定前一图像帧中相应位置的宏块；

(12)判断前一图像帧中确定的宏块及其该宏块周围相邻的宏块是否都属于背景区域，如果是，则将当前图像帧中该要划分图像区域的宏块划分到背景区域中；否则转至步骤(13)；

(13)判断前一图像帧中确定的宏块及其该宏块周围相邻的宏块是否都不属于背景区域，如果是，则将当前图像帧中该要划分图像区域的宏块划分到运动区域中；否则转至步骤(14)；

(14)判断是否前一图像帧中确定的宏块不属于背景区域，而其周围相邻有属于背景区域的宏块存在，如果是，执行步骤(14-1)；否则转至步骤(15)；

(14-1)计算当前图像帧中该要划分图像区域的宏块的相邻已编码宏块的绝对误差和的平均值；

(14-2)计算当前图像帧中该要划分图像区域的宏块在Inter 16×16帧间预测模式下的绝对误差和；

(14-3)判断步骤(14-1)所求得的平均值是否小于等于步骤(14-2)所求得的绝对误差和，如果是，将当前图像帧中该要划分图像区域的宏块划分到运动区域中；否则转至步骤(15)；

(15)将当前图像帧中该要划分图像区域的宏块划分到亚背景区域中。

所述步骤(2)具体包括步骤：

(21)根据运动区域的块尺度分布特性，限定运动区域能够选择的帧间预测模式为Inter 16×16、Inter 16×8、Inter 8×16、Inter 8×8、Inter 8×4、Inter4×8及Inter 4×4；

(22)根据背景区域的块尺度分布特性，限定背景区域能够选择的帧间预测模式为Inter 16×16；

(23)根据亚背景区域的块尺度分布特性，限定亚背景区域能够选择的帧间预测模式为Inter 16×16、Inter 16×8及Inter 8×16。

其中所述块尺度分布特性是指在每个图像区域中，图像性质相对均匀一致的连续区域所组成的图像块的分布概率。

所述步骤(3)具体包括步骤：

(31)针对每个图像区域中的每个宏块，分别计算其在限定的每种帧间预测模式下进行运动预测的最优预测位置，并分别计算对应每个最优预测位置的绝对误差和；

(32)在计算得到的各个绝对误差和中选择最小绝对误差和对应的帧间预测模式作为相应宏块的帧间预测模式进行帧间预测编码处理。

所述步骤(3)之后还包括步骤：

(3-1)在帧间预测编码处理过程中，捕捉帧内编码帧后的第一个预测帧；

(3-2)针对捕捉到的预测帧中的每个宏块，在运动区域所限定的帧间预测模式中选择相应帧间预测模式进行帧间预测编码处理。

所述步骤(3-2)具体包括步骤：

(3-21)针对捕捉到的预测帧中的每个宏块，分别计算其在运动区域所限定的每种帧间预测模式下进行运动预测的最优预测位置，并分别计算对应每个最优预测位置的绝对误差和；

(3-22)在计算得到的各个绝对误差和中选择最小绝对误差和对应的帧间预测模式作为相应宏块的帧间预测模式进行帧间预测编码处理。

本发明帧间预测模式的选择方法能够达到如下有益效果：

A.充分考虑了视频图像序列中不同图像区域的运动程度，根据视频图像序列的不同运动程度、及图像序列的纹理、细节多少等因素的图像区域的块尺度分布特性，来限定不同运动程度的图像区域能够选择的帧间预测模式，并使每个图像区域中的每个宏块在相应限定的帧间预测模式中选取确定的帧间预测模式进行帧间预测编码处理，从而简化了帧间预测编码处理过程中每个宏块帧间预测模式的选择过程，因此提高了视频编解码的效率和视频通信效果。

B.本发明帧间预测模式的选择方法虽然不能保证视频图像序列中的每个宏块都能选择到最优的帧间预测模式，从而可能会导致视频图像性能稍微有些降低，但是由于本发明的处理方法能够大幅度简化每个宏块选择相应帧间预测模式的计算复杂度，这样就可以使多媒体处理器在支持同等强度计算能力的前提下，能够很大程度的提高帧间预测编码的效率和性能；或在同等帧间预测编码效率的前提下，较大程度降低多媒体处理器在帧间预测模式选择过程中的处理开销。

附图说明

图1是现有技术H.264标准中帧间预测编码处理所选择的七种帧间预测模式示意图；

图2是本发明帧间预测模式的选择方法的主要实现原理流程图；

图3是在本发明帧间预测模式的选择方法中，对视频图像中的每个宏块划分图像区域的处理流程图；

图4是本发明帧间预测模式的选择方法对宏块M_0，0 ⁿ进行图像区域划分处理的示意图；

图5是本发明帧间预测模式的选择方法实现帧间预测模式刷新处理的流程图；

图6是采用本发明帧间预测模式选择方法在整幅图像中的帧间预测模式选择结果和采用现有技术帧间预测模式选择方法在整幅图像中的帧间预测模式选择结果的对比示意图。

具体实施方式

本发明帧间预测模式的选择方法是通过在详细分析现有技术帧间预测模式选择方式所存在缺陷的基础上而提出的，其中详细分析现有技术帧间预测模式选择方式所存在的缺陷如下：

1)现有技术帧间预测模式的选择方式没有充分利用视频图像序列的性质和图像不同区域的不同特性来简化帧间预测模式的选择过程。

其实，不同视频图像序列，其各个方面的属性有可能是不同的，如有些图像运定程度较大，细节丰富；而有些图像运动程度较小，细节单调，平坦区域大，缺少变化。对于视频图像内部来说，也存在上述这样的问题，即有的图像运动程度大，区域细节丰富；有的图像运动程度小，区域细节单调，比较平坦。一般来说，对于运动程度较大，细节较丰富的图像区域，宏块MB所选取的最优帧间预测模式的块尺度应该小些；而对于运动程度较小，细节较单调的图像区域，宏块MB所选取的最优帧间预测模式的块尺度应该大些。然而现有技术帧间预测模式却没有充分利用视频图像的这些内在特征，而是对所有MB“一视同仁”地采用同一帧间预测模式的完全搜索处理方式，效率较低。

以上所述视频图像内在的特性其实是一种块尺度的分布特性，反应了一帧图像或者图像的某个区域不同块尺度的分布概率(用％表示)，这里将其称之为块尺度分布特性(块尺度分布特性是指在一个视频图像序列中，或者其中的某一帧图像中，不同的块尺度的概率分布；而块尺度是指图像中一个性质相对均匀一致的连续图像区域的大小，这种均匀一致性可以采用数学中均方误差等概念来度量，理论上的块可以是任意形状，但在实际应用中常常限制为矩形)。

2)现有技术帧间预测模式的选择方式也没有充分利用视频图像序列在时间上的相关性来简化帧间预测模式选取的计算量。

视频图像序列的最大特性就是在在时间上相继，相近的图像帧之间存在很强的时间相关性，因此当前帧某个MB的帧间预测模式是和前一帧对应位置的MB以及其周围相邻的一些宏块MB的帧间预测模式相关的。利用这些相关信息，本来是可以加速每个MB的帧间预测模式的判断选择过程的，但是现有技术却完全没有加以利用这个特点。

3)现有技术帧间预测模式的选择方式计算量十分庞大，这样会严重影响整个H.264标准的编码效率。

4)现有技术帧间预测模式的选择方式是一种得不偿失的“最优”方法，虽然能够得到最优的选择结果，然而付出的代价较大，不符合应用工程技术解决问题的原则。

因为在应用工程技术中，解决某个问题，有可能存在最优的解决方法，但是实施该方法的代价却非常大，即开销之大在很大程度上抵消了最优性能所带来的好处。在实际过程中，工程技术解决问题应该追求那些好的次优方法，即虽然在性能方面比最优方法稍差一些，但是其实施代价却能够得到大大的降低。现有技术帧间预测模式的选择方式用完全搜索方式来找到每个MB的最优帧间预测模式，确实是能够得到最优的结果，但是其计算量却过大，有些得不偿失。

正是在上述对现有帧间预测模式的选择方法进行详细分析，在确定了现有技术帧间预测模式选择方法所忽略的问题基础上，才提出了本发明针对现有技术具有如下特点的帧间预测模式的选择方法：

(1)本发明帧间预测模式的选择方法充分利用视频图像序列自身的块尺度分布特性，在不同图像帧或者一帧的不同区域进行某个MB的帧间预测模式判断选择处理时，利用该帧图像或者该区域图像的块尺度分布特性，来简化其判断选择的处理过程。

(2)本发明帧间预测模式的选择方法充分利用视频图像序列各个帧在时间上的相关性，在对当前帧中某个MB的帧间预测模式进行判断选择时，利用其前一帧对应位置上的MB以及其周围MB的特性，来简化该判断选择过程。

(3)本发明帧间预测模式的选择方法通过把图像序列根据不同运动程度划分成一些区域，比如前景(运动区)，背景，亚背景等，来反映图像不同区域的不同块尺度分布特性，以开发出能够判断某个MB具体属于图像帧中哪个区域的算法。

下面结合各个附图，对能够实现上述特点的本发明帧间预测模式的选择方法的具体实施过程进行详细的阐述。

请参阅图2，该图是本发明帧间预测模式的选择方法的主要实现原理流程图；其主要实现过程包括如下步骤：

步骤S10，将视频图像序列按照不同属性划分为不同的图像区域；其中可以根据视频图像序列的不同运动程度来划分不同图像区域，也可以根据视频图像的运动程度、及视频图像的纹理、细节等因素来划分不同图像区域。

如可以将视频图像序列按照图像的不同运动程度、纹理及细节多少等因素划分为运动程度大的运动区域、运动程度小的背景区域及运动程度中等的亚背景区域三个区域部分；其中背景区域(S_BG)、亚背景区域(S_BG)和运动区域(S_MG)3个图像区域在空间上不一定连通，比如某个图像中可能存在多个运动对象，则这些运动对象都是运动区域S_MG的一部分，它们之间不一定连通，比如一个运动对象在图像的中间，另外一个运动对象在图像的角落里等。其中背景区域S_BG中的运动程度很小，细节较少，平坦区域较大；亚背景区域S_SBG中的运动程度属于中等，细节量也属于中等；而运动区域S_MG中的运动程度较大，细节较多。

对视频图像序列进行如上所述不同区域划分的意义在于：不同图像区域具有不同的块尺度分布特性，比如背景区域S_BG因为运动程度较小，细节单调，其块尺度分布特性应该是大的块较多；相反，对于运动区域S_MG，因为运动程度较大，细节丰富，其块尺度分布特性应该是小的块较多。因此对于不同的图像区域，选择出来的帧间预测模式应该与其块尺度分布特性相一致，即在运动区域S_MG中，帧间预测模式选择结果应该是较小的块尺度预测模式；在背景区域S_BG中，帧间预测模式选择结果应该是较大的块尺度预测模式。

步骤S20，根据步骤S10中不同图像区域的块尺度分布特性，来限定每个图像区域能够选择的帧间预测模式；其中这里所述的块尺度分布特性同上所述，是指在每个图像区域中，图像性质相对均匀一致的连续区域所组成的图像块的分布概率。

视频图像序列被划分为不同图像区域后，就可以根据每个图像区域的块尺度分布特性，来限制每个图像区域中可以进行选择的帧间预测模式数目。比如在背景区域S_BG中，因为其块尺度分布特性是大的块较多，因此可以限制其帧间预测模式为Inter 16×16；而对于亚背景区域S_SBG，可以限制其帧间预测模式为：INTER 16×16、INTER 16×8、INTER 8×16；而对于运动区域S_MG，因为其块尺度分布特性是小的块较多，因此就可以不限制其帧间预测模式，允许其在所有7种帧间预测模式中进行选择。其中不同图像区域所限定的帧间预测模式如下表所示：

不同图像区域	可选帧间预测模式
		背景区域SBG	Inter 16×16
亚背景区域SSBG	Inter 16×16、Inter 16×8、Inter 8×16
		运动区域SMG	Inter 16×16、Inter 16×8、Inter 8×16、Inter 8×8、Inter 8×4、Inter 4×8、Inter 4×4

上表中，即根据运动区域S_MG的块尺度分布特性，限定运动区域S_MG能够选择的帧间预测模式为Inter 16×16、Inter 16×8、Inter 8×16、Inter 8×8、Inter8×4、Inter 4×8及Inter 4×4；根据背景区域S_BG的块尺度分布特性，限定背景区域S_BG能够选择的帧间预测模式为Inter 16×16；根据亚背景区域S_SBG的块尺度分布特性，限定亚背景区域S_SBG能够选择的帧间预测模式为Inter 16×16、Inter 16×8及Inter 8×16。当然上述帧间预测模式的分配方式只是本发明的一种优选实施方式，在本发明的基本设计思想下，还可以有其他帧间预测模式的分配方式。

请参阅图3，该图是在本发明帧间预测模式的选择方法中，对视频图像中的每个宏块划分图像区域的处理流程图；其中对视频图像中的每个宏块MB进行划分图像区域的具体处理过程如下(以将MB划分到背景区域S_BG、亚背景区域S_SBG和运动区域S_MG为例进行说明)：

步骤S21，根据当前图像帧中要划分图像区域的宏块MB的位置，确定前一图像帧中相应位置的宏块MB；

步骤S22，判断前一图像帧中确定的宏块MB及其该宏块MB周围相邻的宏块MB是否都属于背景区域S_BG，如果是，执行步骤S23；否则转至执行步骤S24；

步骤S23，将当前图像帧中该要划分图像区域的宏块MB划分到背景区域S_BG中；

步骤S24，再次判断前一图像帧中确定的宏块MB及其该宏块MB周围相邻的宏块MB是否都不属于背景区域S_BG，如果是，执行步骤S29；否则转至执行步骤S25；

步骤S25，判断是否前一图像帧中确定的宏块MB不属于背景区域S_BG，而其周围相邻有属于背景区域S_BG的宏块MB存在，如果是，执行步骤S26；否则转至执行步骤S30；

步骤S26，计算当前图像帧中该要划分图像区域的宏块MB的相邻已编码宏块MB的绝对误差和的平均值；

步骤S27，再计算当前图像帧中该要划分图像区域的宏块MB在Inter 16×16帧间预测模式下的绝对误差和；

步骤S28，判断步骤S26中所求得的平均值是否小于等于步骤S27中所求得的绝对误差和，如果是，执行步骤S29；否则转至执行步骤S30；

步骤S29，将当前图像帧中该要划分图像区域的宏块MB划分到运动区域S_MG中；

步骤S30，将当前图像帧中该要划分图像区域的宏块MB划分到亚背景区域S_SBG中。

下面结合一个具体实施例对某一宏块MB进行图像区域划分处理的过程进行详细的说明。请参阅图4，该图是本发明帧间预测模式的选择方法对宏块M_0，0 ⁿ进行图像区域划分处理的示意图；以第N帧的宏块M_0，0 ⁿ(图4中的阴影宏块)为例(假设当前帧即为第N帧)，给出运动区域S_MG、背景区域S_BG及亚背景区域S_SBG这三类图像区域的划分方法。

其中，M_0，0 ⁿ的上标n表示宏块所在帧的编号，下标(0，0)表示宏块在图像帧中的行、列坐标(为了描述方便，这里将当前宏块M_0，0 ⁿ的位置定为(0，0)，因此这个坐标其实是一个相对意义，不是绝对的，随着当前宏块位置在当前帧中的变化，坐标参考原点也是变化的)。具体对宏块M_0，0 ⁿ进行图像区域划分的处理过程如下：

(A)在H.264标准基本框架中，运动矢量(MV，Motion Vector)的搜索范围在±16象素之间，因此如果宏块M_0，0 ⁿ在第n-1帧中对应位置上的宏块M_0，0 ^n-1及其周围相邻的8个宏块都属于背景区域S_BG，则第n帧中的宏块M_0，0 ⁿ也属于背景区域S_BG。

(B)如果第n-1帧中的9个宏块没有一个属于背景区域S_BG，则第n帧中的宏块M_0，0 ⁿ就属于运动区域S_MG。

(C)如果第n-1帧中的宏块M_0，0 ^n-1不属于背景区域S_BG，但其周围相邻的8个宏块中有属于背景区域S_BG的情况，就需要利用图像序列的空间相关性来做进一步判断，具体过程分二步，如下：

第一步：计算与宏块M_0，0 ⁿ相邻的各个宏块的绝对误差和SAD的平均值SAD_avg，由于受H.264标准编码过程的限制，只有当前宏块左方、左上方、上方和右上方四个相邻宏块可用来进行参考，并且结合当前宏块计算SAD。如图4所示，对于当前宏块M_0，0 ⁿ，第n帧中的宏块M_-1，0 ⁿ、M_-1，-1 ⁿ、M_0，-1 ⁿ和M_1，-1 ⁿ四个宏块可用于计算相对于当前宏块的SAD，因此对于当前宏块M_0，0 ⁿ的平均SAD_avg的计算过程如下：

${\mathrm{SAD}}_{\mathrm{avg}}=({\mathrm{SAD}}_{\mathrm{mb}}\left(M_{-\mathrm{1,0}}^n\right)+\mathrm{SA}{D}_{\mathrm{mb}}\left(M_{-1,-1}^n\right)+{\mathrm{SAD}}_{\mathrm{mb}}\left(M_{0,-1}^n\right)+{\mathrm{SAD}}_{\mathrm{mb}}\left(M_{1,-1}^n\right))/4$

上式中函数SAD_mb(·)是计算宏块与参考图像最佳匹配区域的SAD值。

第二步：比较上述求得的SAD_avg与minSAD_mb(M_0，0 ⁿ)的大小，其中minSAD_mb(M_0，0 ⁿ)是对宏块M_0，0 ⁿ使用背景区域S_BG对应的可选帧间预测模式来计算的，即对宏块M_0，0 ⁿ采用Inter 16×16帧间预测模式来计算minSAD_mb(M_0，0 ⁿ)。如果minSAD_mb(M_0，0 ⁿ)大于SAD_avg，则宏块M_0，0 ⁿ就属于运动区域S_MG，否则该宏块M_0，0 ⁿ属于亚背景区域S_SBG。

(D)在除上述的其它情况下，宏块M_0，0 ⁿ都属于亚背景区域S_SBG。

在每个宏块MB被分配到指定图像区域后，就可以对不同图像区域中的每个宏块MB使用对应的可选帧间预测模式，进行帧间预测模式的选择处理，这样就可以大大简化H.264标准中帧间预测模式的判决选取过程，从而降低编码的运算复杂度。其实在很多多媒体通信应用中，图像都是相对较小的一个运动对象比如人物，车辆等，在一个相对较大的背景上移动，这种情况下，相对较大的背景区域S_BG中的每个MB就可以直接选择Inter 16×16帧间预测模式，其帧间预测模式的选择过程将大大简化。

步骤S30，分别针对每个图像区域中的每个宏块MB，在限定的帧间预测模式中选择相应的帧间预测模式进行帧间预测编码处理；其每个MB的帧间预测模式选择处理的具体过程为：

针对每个图像区域中的每个宏块MB，分别计算其在限定的每种帧间预测模式下进行运动预测的最优预测位置，并分别计算对应每个最优预测位置的绝对误差和SAD；

在上述计算得到的各个绝对误差和SAD中选择最小绝对误差和SAD_min对应的帧间预测模式作为相应宏块的帧间预测模式来进行帧间预测编码处理。

另外，为防止上述快速帧间预测模式选取方式所引入的预测误差，本发明帧间预测模式的选择方法提出对帧内编码帧(I帧)后出现的第一个预测帧F_mr进行帧间预测模式刷新处理(在视频图像序列编码处理过程中，每隔一定帧数，必须有一个I帧，因此I帧是周期性出现的，因此随之其后的预测帧F_mr也是周期出现的)，所述帧间预测模式的刷新处理是指令帧内编码帧(I帧)后出现的第一个预测帧F_mr中的所有宏块MB都在H.264允许的所有7种帧间预测模式中选择相应最优的帧间预测模式，以进行帧间预测编码处理。如按照上表，即令F_mr帧中的每个宏块MB都要从所有7种帧间预测模式中进行选择相应最优的帧间预测模式处理；因此，如果到预测帧F_mr为止，某些宏块MB因为采用本发明上述的帧间预测模式选择方法而导致的预测模式选择误差(即采用本发明方案的选择结果和采用现有技术的选择结果不同，存在误差)，而导致误差的传播，就可以通过强制预测帧F_mr进行帧间预测模式刷新处理来得以消除。上述所述误差的传播是因为在图像序列中MB的区域属性和前面帧对应位置的MB及其周围相邻的MB的区域属性存在相关性，这样如果当某帧中某个MB区域属性指派发生错误时，这样的错误就会因为这种时间相关性向后传播，从而影响到后面的各个帧，因此这种误差经过传播后就会积累放大，由此可见周期性消除误差传播是非常重要的。

请参阅图5，该图是本发明帧间预测模式的选择方法实现帧间预测模式刷新处理的流程图；其主要实现过程如下：

步骤S10，将视频图像序列按照不同属性划分为不同的图像区域；其中可以根据视频图像序列的不同运动程度来划分不同图像区域，也可以根据视频图像的运动程度、及视频图像的纹理、细节等因素来划分不同图像区域；

步骤S20，根据步骤S10中不同图像区域的块尺度分布特性，来限定每个图像区域能够选择的帧间预测模式；

步骤S30，分别针对每个图像区域中的每个宏块MB，在限定的帧间预测模式中选择相应的帧间预测模式进行帧间预测编码处理；

步骤S40，在帧间预测编码处理过程中，进行捕捉帧内编码帧(I帧)后的第一个预测帧F_mr；

步骤S50，针对捕捉到的预测帧F_mr中的每个宏块MB，在运动区域S_MG所限定的帧间预测模式中选择相应帧间预测模式进行帧间预测编码处理，即：

针对捕捉到的预测帧F_mr中的每个宏块MB，分别计算其在运动区域S_MG所限定的每种帧间预测模式(即上表中运动区域S_MG对应的七种帧间预测模式)下进行运动预测的最优预测位置，并分别计算每个最优预测位置对应的绝对误差和SAD；

在上述计算得到的各个绝对误差和SAD中选择最小绝对误差和SAD_min对应的帧间预测模式作为相应宏块的帧间预测模式进行帧间预测编码处理。

其中，本发明帧间预测模式的选择方法对H.264编码器系统的计算强度降低是非常明显的，具体可以从以下两个方面来说明：

1.H.264编码器在处理视频编码处理的过程中，其计算强度降低的程度，或者等效地，计算效率提高的倍数。

2.次优方法良好的程度，本发明方法在性能上相对于现有技术方法的性能下降的程度很小，但处理开销却大大降低。

这里以采用三种经典视频序列作为测试实例，对本发明方法和现有技术方法的实施进行测试比较：

这三个图像序列分别是：Claire，是指一个名叫Claire的女士打电话时的图像序列，只有头部运动，属于低运动(Low-motion)型图像序列；

News，是指两个新闻播音员在前面播音，背后有一个电视显示屏，运动区域是播音员头部和背后的屏幕图像，因此运动区域不是很大，属于中等运动图像序列；

Foreman，是指一个人的头部运动为主的运动图像序列，因此运动量较大，运动区域较大，且背景较少，是典型的高运动(High-motion)型图像序列。

下表为本发明方法和现有技术方法性能测试结果的对比表：

从上表可以看出，对于不同类型的视频序列，本发明方法相对于现有技术方法在编码速度方面(用帧率度量很合适)提高都比较显著，分别是：

Claire     本发明方法是现有技术方法的2.86倍；

News       本发明方法是现有技术方法的3.07倍；

Foreman    本发明方法是现有技术方法的2.31倍。

本发明方法相对于现有技术方法，在性能方面降低甚微，主要体现在以下两个方面：

1)对于不同类型的视频序列，本发明方法相对于现有技术方法，其PSNR值都有所降低，但下降值都小于0.2dB，所以其PSNR值降低甚微。

2)对于不同类型的视频序列，本发明方法相对于现有技术方法，编码输出码率都会上升(是由于压缩效率降低带来的)，最大上升幅度为1.9％，比如现有技术方法产生的编码输出码率为128kbps，而采用本发明方法后产生的编码输出码率上升到130kbps，这样上升率＝2/128＝1/64＝1.5％。

因此综上两方面，本发明方法相对于现有技术方法可以说其性能降低是非常微小的。

本发明方法对于现有技术方法而言，其压缩效率下降的原因主要是本发明帧间预测模式的选择方法在对帧间预测模式进行选择时存在选择误差，导致某些MB没有选择到最优的帧间预测模式，因此这些MB的压缩效率就降低了，从而引起整体图像压缩效率的降低。

请进一步参阅图6，该图是采用本发明帧间预测模式选择方法在整幅图像中的帧间预测模式选择结果和采用现有技术帧间预测模式选择方法在整幅图像中的帧间预测模式选择结果的对比示意图；如图6所示，其中帧间预测模式选择结果通过在图像上叠加网格来表示，比如在(a)中的第一行，第三列位置上的MB的帧间预测模式选择结果是Inter 16×8。从而由图6可以看出，本发明帧间预测模式的选择方法相对现有技术而言，各个MB之间的帧间预测模式选择结果存在一定的差异，但这种差异并不是很明显，从而说明本发明帧间预测模式的选择方法虽然不能保证每个MB象现有技术方案一样都能选择到最优的帧间预测模式，但选择的结果和现有技术方案相比，其差异并不很明显，但却能从很大程度上降低在帧间预测编码处理过程中每个MB进行帧间预测模式选择处理的计算强度，因此这种次优的处理方案在应用技术解决问题过程中是非常重要的。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1、一种帧间预测模式的选择方法，用于视频图像帧间预测编码处理中的预测模式选择，其特征在于，包括步骤：

(1)将视频图像序列按照不同属性划分为不同的图像区域；

(2)根据不同图像区域的块尺度分布特性，限定每个图像区域能够选择的帧间预测模式；

(3)针对每个图像区域中的每个宏块，在限定的帧间预测模式中选择相应帧间预测模式进行帧间预测编码处理。

2、根据权利要求1所述的帧间预测模式的选择方法，其特征在于，步骤(1)中所述属性为图像的运动程度。

3、根据权利要求1所述的帧间预测模式的选择方法，其特征在于，步骤(1)中所述属性为图像的运动程度、图像的纹理及图像的细节。

4、根据权利要求1、2或3所述的帧间预测模式的选择方法，其特征在于，所述步骤(1)中将视频图像序列按照不同属性划分为运动程度大的运动区域、运动程度小的背景区域及运动程度中等的亚背景区域。

5、根据权利要求4所述的帧间预测模式的选择方法，其特征在于，所述步骤(1)具体包括步骤：

(11)根据当前图像帧中要划分图像区域的宏块的位置，确定前一图像帧中相应位置的宏块；

(12)判断前一图像帧中确定的宏块及其该宏块周围相邻的宏块是否都属于背景区域，如果是，则将当前图像帧中该要划分图像区域的宏块划分到背景区域中；否则转至步骤(13)；

(13)判断前一图像帧中确定的宏块及其该宏块周围相邻的宏块是否都不属于背景区域，如果是，则将当前图像帧中该要划分图像区域的宏块划分到运动区域中；否则转至步骤(14)；

(14)判断是否前一图像帧中确定的宏块不属于背景区域，而其周围相邻有属于背景区域的宏块存在，如果是，执行步骤(14-1)；否则转至步骤(15)；

(14-1)计算当前图像帧中该要划分图像区域的宏块的相邻已编码宏块的绝对误差和的平均值；

(14-2)计算当前图像帧中该要划分图像区域的宏块在Inter 16×16帧间预测模式下的绝对误差和；

(14-3)判断步骤(14-1)所求得的平均值是否小于等于步骤(14-2)所求得的绝对误差和，如果是，将当前图像帧中该要划分图像区域的宏块划分到运动区域中；否则转至步骤(15)；

(15)将当前图像帧中该要划分图像区域的宏块划分到亚背景区域中。

6、根据权利要求4所述的帧间预测模式的选择方法，其特征在于，所述步骤(2)具体包括步骤：

(21)根据运动区域的块尺度分布特性，限定运动区域能够选择的帧间预测模式为Inter 16×16、Inter 16×8、Inter 8×16、Inter 8×8、Inter 8×4、Inter4×8及Inter 4×4；

(22)根据背景区域的块尺度分布特性，限定背景区域能够选择的帧间预测模式为Inter 16×16；

(23)根据亚背景区域的块尺度分布特性，限定亚背景区域能够选择的帧间预测模式为Inter 16×16、Inter 16×8及Inter 8×16。

7、根据权利要求6所述的帧间预测模式的选择方法，其特征在于，所述块尺度分布特性是指在每个图像区域中，图像性质相对均匀一致的连续区域所组成的图像块的分布概率。

8、根据权利要求1所述的帧间预测模式的选择方法，其特征在于，所述步骤(3)具体包括步骤：

(31)针对每个图像区域中的每个宏块，分别计算其在限定的每种帧间预测模式下进行运动预测的最优预测位置，并分别计算对应每个最优预测位置的绝对误差和；

(32)在计算得到的各个绝对误差和中选择最小绝对误差和对应的帧间预测模式作为相应宏块的帧间预测模式进行帧间预测编码处理。

9、根据权利要求4所述的帧间预测模式的选择方法，其特征在于，所述步骤(3)之后还包括步骤：

(3-1)在帧间预测编码处理过程中，捕捉帧内编码帧后的第一个预测帧；

(3-2)针对捕捉到的预测帧中的每个宏块，在运动区域所限定的帧间预测模式中选择相应帧间预测模式进行帧间预测编码处理。

10、根据权利要求9所述的帧间预测模式的选择方法，其特征在于，所述步骤(3-2)具体包括步骤：

(3-21)针对捕捉到的预测帧中的每个宏块，分别计算其在运动区域所限定的每种帧间预测模式下进行运动预测的最优预测位置，并分别计算对应每个最优预测位置的绝对误差和；

(3-22)在计算得到的各个绝对误差和中选择最小绝对误差和对应的帧间预测模式作为相应宏块的帧间预测模式进行帧间预测编码处理。

Images