CN101640802A - 基于宏块特征和统计特性的视频帧间压缩编码方法 - Google Patents

Abstract

本发明公开了一种基于宏块特征和统计特性的视频帧间压缩编码方法，涉及视频压缩编码领域。本发明包括以下步骤：首先从原始视频数据中提取当前编码宏块的亮度信息；根据对当前编码宏块选择最优帧间模式的统计特性，采用双层预判准则，确定最优帧间编码模式；再利用当前编码宏块的时空相关性特征，有选择性进行帧内编码；根据率失真代价函数，将最佳帧间编码模式和最佳帧内编码模式进行比较，确定最终的帧间编码模式对当前宏块进行编码。本发明方法与视频编码标准H.264中采用的遍历式全搜索的帧间预测编码方法相比较，视频质量几乎没有损失；严格控制了码率增加，保持了原标准算法高压缩比的优越性能，并且能够大幅度提高帧间编码速度。

Description

基于宏块特征和统计特性的视频帧间压缩编码方法

技术领域

本发明涉及视频压缩编码领域，设计和实现了一种基于宏块特征和统计特性的视频压缩方法。

背景技术

信息是客观世界中最本质的客观规律描述和分析，是当前信息社会的支柱。随着各种视频应用的普及，人们对视频服务的要求日益广泛。快速发展的这些视频应用无疑推动了数字视频编码标准的制定。事实上，从上个世纪80年代开始，IS0/IEC和ITU-T这两大组织就已经不断的推出一系列针对不同应用领域的数字视频编码标准，如H.261，H.263，MPEG-1/2/4等。虽然这些视频编码标准所采用的具体技术细节不同，但是它们都是遵循于运动估计与补偿、变换编码和场编码这样的编码框架，以便可以最大限度的去除视频序列中的冗余信息。

通常，视频序列中主要包括三种冗余信息：空间冗余，时间冗余，统计冗余。由于视频信息之间存在冗余信息，利用视频信息自身所具有的相关性，通过某种特殊的技术，能够去除视频数据中的冗余信息，达到视频压缩的目的。在视频压缩技术中主要采用I帧和P帧编码技术，I帧是帧内编码方法，即对视频中的某一帧单独编码，与其它相邻帧没有关系，用来消除空间冗余；而P帧是帧间编码方法，是利用前后帧的相关性来编码的，用来消除时间冗余。再利用熵编码方法消除统计冗余，最终达到压缩的目的。

H.264视频编码标准是由ISO和ITU建立的联合视频工作组(Joint Video Team，简称JVT)制定的，它在ISO中的正式名称是MPEG-4标准的第十部分，在ITU中的正式名称是H.264。作为最新视频编的码标准，相对于先期的视频压缩标准，H.264/AVC引入了很多先进的技术，包括空域内的帧内预测编码、可变块的帧间预测编码、1/4象素精度的运动估计、多参考帧技术等。由于具有比以往标准更出色的性能，在国际上受到了广泛地重视和欢迎。

虽然H.264/AVC的编码效率远比以先前的视频编码标准高，但由于其具有相当复杂的编码技术，使得其运算复杂度也远高于先前的编码标准。在相同信噪比条件下，H.264码率较H.263节省50％左右；但在计算复杂度方面，H.264编码端复杂度约为H.263的4～5倍，约为MPEG-4的3倍。由此可见，H.264在获得较大的编码效率的同时导致了编码端计算量急剧增加。因此如何降低H.264/AVC编解码器的计算复杂性就成为H.264/AVC能否尽快进入实际商业应用领域，取得成功的关键因素之一。

研究表明，在H.264引入的众多新技术中，H.264/AVC编码器端的计算复杂度主要来自于运动估计和模式选择，约占编码总开销80％。尤其是帧间模式选择编码技术，与其它编码标准所采用的技术有很大的不同，作为H.264/AVC标准中的关键技术，对需要当前编码宏块以全搜索的方式，采用两种不同的模式来编码：一种是传统的运动估计与补偿方法，即帧间模式预测，另一种是H.264特有的帧内模式预测，如图1。

对于采用的传统的运动估计与补偿方法，充分利用视频序列时间上的相关性，利用先前已编码帧的重构图像来预测当前编码帧，达到压缩视频数据的目的。为了获得最佳的编码效率，减少运动估计后所得到的残差值。在帧间编码中，H.264/AVC采用可变尺寸块的编码模式，每个当前编码宏块可划分大小分别为：16×16，16×8，8×16和8×8，其中8×8模式又称为亚宏块模式，它还可以继续进行划分为8×8，8×4，4×8和4×4，如图2所示。这样即引入了16×16，16×8，8×16，8×8，8×4，4×8，4×4共7种不同尺寸的宏块编码模式，同时还支持Skip模式，即直接拷贝前一参考帧中对应宏块的编码模式，没有额外计算开销。H.264中的运动搜索是以子块为单位进行的，所以16×16宏块中的每个子块都有一个独立的运动矢量。显然，宏块中的子块划分得愈细，对残差值进行编码所需的位数就愈小，但因此而带来的问题是有更多的运动矢量需要进行编码，这会导致整个宏块编码所需的比特数增加。因此，在具体编码时需要根据运动估计后的残差值大小和需要的运动矢量编码代价来优化选择宏块的编码模式。

对于采用的帧内预测编码方法，在H.264/AVC中亮度信号的帧内编码支持两种帧内编码类型，即Intra4×4和Intra16×16两种帧内模式，利用的是相邻像素所具有的空间相关性。对于当前编码宏块的亮度分量而言，Intra4×4包含9种预测方向(垂直预测，水平预测，平均预测，左对角预测，右对角预测，垂直右对角预测，水平向下预测，垂直左对角预测，水平向上预测)；Intra16×16包含4种预测方向(水平预测、垂直预测、DC预测和平面预测)。对于当前编码宏块的色度分量而言，帧内预测类似于亮度分量的Intra16×16的帧内预测类型，共有4种预测方向(水平预测、垂直预测、DC预测和平面预测)。因此一个当前宏块的帧内预测模式计算可达[4+(16×9)]×4＝592次，计算量相当可观。

在H.264标准算法中，为了得到最佳的编码模式，对每一个当前编码的帧间宏块要同时采用帧间和帧内两种模式来预测，采用率失真代价准则，编码器对每种可能的宏块编码模式，通过拉格朗日率失真优化(Rate-Distortion Optimization，RDO)函数，计算每种预测模式的率失真代价值(RDO-cost)，通过比较，选择具有最小RDO-cost的预测模式为最终的帧间编码模式。这种方法虽然能够选择出具有最优率失真意义的帧间预测模式，但计算量显著增加，占有H.264/AVC视频编码算法中的绝大部分计算量，编码速度较慢，成为限制该技术在实时视频领域应用的瓶颈之一。原始全搜索的帧间预测模式选择方法流程图见图3。

发明内容

针对目前H.264/AVC标准帧间预测算法中采用遍历全搜索式的编码方式，使得编码器端的计算量激增，编码速度慢的缺陷，本发明拟提出一种基于宏块自身特征并且与统计规律相结合的快速帧间编码方法，旨在整体提高H.264/AVC的编码速度，促进其在视频商业领域更广泛的实时应用。

本发明的提出主要基于以下的技术思路：

在视频序列中，一个对象的运动在时间上和空间上存在很大的相关性。在H.264编码标准中，通常这个对象会被分割成数个宏块或子块，这些块表现出极大的相似性。通过利用最新的H.264/AVC参考软件JM12.2，对大量视频序列进行编码研究，并对宏块编码模式进行统计(见表1)，发现帧间编码的宏块模式存在以下特征：

●帧间编码中各宏块模式的利用率与视频序列的运动剧烈程度有关。

●在纹理简单、运动平缓的视频序列，如Akiyo，Miss America，Mother & Daughter或者视频序列的平坦区域中，宏块通常采用Skip编码模式或大尺寸宏块编码模式，即16×16，16×8，8×16。

●在纹理丰富、运动较剧烈的视频序列，如Moblie，Coastguard，Forman中，宏块更多采用小尺寸编码模式，即8×8，8×4，4×8，4×4。

●在帧间编码中采用帧内编码模式的比例都很小，两种帧内预测模式Inrta16×16和Intra4×4的利用率之和低于0.4％。

表1不同类型视频序列的帧间编码中各模式的利用率％

从表1可看出，在H.264/AVC标准的帧间编码中，虽然有些宏块模式所占比例非常少，但同样要遍历式的对其进行运动估计和率失真代价的计算，耗费了大量的编码时间。因此H.264的帧间模式选择过程十分耗时，且有优化的必要和空间。

通过对实际视频图像的特点分析，并对视频测试序列进行大量的测试后，发现在实际情况当中，对于一般的视频序列，很多背景大多为平坦的纹理均匀的区域，采用Skip模式和大尺寸的帧间预测模式的几率较大，只是对于个别的运动较剧烈的对象的宏块采用小尺寸的帧间预测模式的几率会增加；另外除非是镜头大幅度的切换，否则多数情况下在相邻帧之间变化的内容非常小。通过运动估计与补偿的算法，可以找到相对最佳的匹配块，预测残差已经非常小了，即利用时间相关性进行帧间预测比利用空间相关性通过空间相邻的宏块的预测效果要更好一些，在P帧中采用帧内编码模式即Intra4×4和Intra16×16的宏块非常少。

本发明结合H.264中采用的帧间编码技术，通过大量实验数据进行了验证，统计分析了在H.264标准帧间预测算法中各种预测模式的利用率，得到帧间编码模式统计分布概率，并结合当前编码宏块的自身特征，提出一种基于宏块特征和统计特性的视频帧间压缩编码方法。该方法利用各种帧间编码模式的分布规律和宏块自身所具有的特征来预先判断宏块的可能采用的最佳帧间编码模式，代替原有的遍历全搜索式的帧间模式选择方法。在保持原有码率不增加，视频质量不降低，保持原有码流结构的提前下，大幅提高帧间编码速度。

对于某个具体的宏块来说，对它的压缩就是利用它周围的宏块及前面参考帧中宏块之间的相关性来去除宏块之间的空间上和时间上的冗余信息，从而达到用少量的比特表示大量像素信息的目的。如前所述，在H.264标准算法中，采用遍历的全搜索方法，计算所有可能的帧间预测模式的率失真代价。虽然这些可选模式的存在使得编码方式更加灵活，H.264的编码精度相对于固定尺寸块预测要高很多，但算法复杂且极其耗时，成为影响H.264/AVC实时应用的瓶颈。

在本发明中：首先，第一层预判能否直接采用Skip模式作为最佳的帧间编码模式。Skip模式是指不经过运动估计，直接以参考帧中的对应位置的块作为运动补偿块，Skip模式不包含运动信息，计算复杂度最小，如果能够成功的提前预判出将Skip作为最佳的帧间编码模式，则无须对后续众多的其他帧间编码模式进行率失真代价的计算，能够大幅度降低编码时间；其次，如果第一层预判条件不满足，则进行第二层预判，从表1中的统计数据发现，只有在运动比较剧烈且纹理细节较丰富的宏块中才较多的采用较小子块的亚分割模式作为最佳帧间预测模式。本发明在第二层预测中重点考虑了对三种较小块模式(8×4，4×8，4×4)的取舍。根据16×16，16×8，8×16，8×8这4种帧间模式的率失真代价值的大小关系，提前预判出是否能舍弃对较小子块亚分割模式8×4，4×8，4×4的计算，直接用RDO函数判断出在16×16，16×8，8×16，8×8中具有最小率失真代价值的模式作为最优的帧间编码模式，以达到减少计算量的目的。第三层预判，根据表1中的统计数据，不难发现在帧间编码中最终选择帧内模式作为最佳编码模式的概率很低，如果能够根据某些特征值，直接舍弃对诸多帧内编码模式的率失真代价计算，可进一步提高编码速度。本发明以当前编码宏块的时空相关性特征值的大小关系为准则，预判出是否可以舍弃对帧内预测方法Intra16×16和Intra4×4中的众多预测方向的率失真代价计算，从而在保证编码质量的前提下进一步提高了编码速度。

为了解决上述技术问题，本发明提出一种基于宏块特征和统计特性的视频帧间压缩编码方法，即根据对当前编码宏块选择最优帧间模式的统计特性，采用双层预判准则，首先确定最优帧间编码模式；再利用当前编码宏块的时空相关性特征，有选择性进行帧内编码；实现对宏块进行快速的帧间压缩编码。该方法具体包括下述步骤：

步骤一：从视频帧中提取当前编码宏块的亮度值；

步骤二：确定最佳帧间编码模式，采用拉格朗日率失真优化准则，作为运动估计和模式选择的判决依据，选择率失真意义上的最好的帧间编码模式；率失真代价值，即RD cost，可按照下面的公式计算：J_mode(s，c，MODE|λ_mode)＝SSD(s，c，MODE|QP)+λ_mode×R(s，c，MODE |QP)    (1)

式中，MODE表示当前宏块的一种帧间编码模式；s为原始的视频信号；c为采用MODE模式编码后的重构视频信号；λ_mode为拉格朗日乘子；J_mode(s，c，MODE|λ_moode)表示MODE模式下的RDcost，该变量也可以简化表示为RD cost(MODE)；R(s，c，MODE|QP)是与模式和量化参数有关的包括宏块头信息、运动矢量和所有DCT块信息的总的二进制位数，它是通过对块进行实际的编码后获得的；QP是编码量化步长；SSD(s，c，MODE)为原始信号与重构信号之间的平方差值和，即：

$\mathrm{SSD}(s,c,\mathrm{MODE}|\mathrm{QP})=\underset{i=1,j=1}{\overset{B,B_2}{\mathrm{\Σ}}}{\left(s_Y\right[x,y]-c_Y[x,y,\mathrm{MODE}\left|\mathrm{QP}\right])}^2+$

$\underset{i=1,j=1}{\overset{B,B_2}{\mathrm{\Σ}}}{\left(s_U\right[x,y]-c_U[x,y,\mathrm{MODE}\left|\mathrm{QP}\right])}^2+---\left(2\right)$

$\underset{i=1,j=1}{\overset{B,B_2}{\mathrm{\Σ}}}{\left(s_V\right[x,y]-c_V[x,y,\mathrm{MODE}\left|\mathrm{QP}\right])}^2$

式中，B₁和B₂分别表示块的水平像素数和垂直像素数，其取值为16，8，4，s_Y[x，y]，c_Y[x，y，MODE|QP]表示重建和源视频亮度信号的取值；c_U，c_V和s_U，s_V表示相应的色差信号的取值；具体包括以下步骤：

1)选取自适应阈值T_h：

自适应阈值T_h由两部分组成，即T_h＝K×T_min-RDcost；T_min-RDcost为上一次宏块编码的最小的RD cost；K为可由上一次宏块编码的最小的RDcost自动变化的调整系数组成；其中K的取值原则如下：

当T_min-RDcost＜2000时，变量B＝2000；

当T_min-RDcost＞12000时，变量B＝12000；

当2000≤T_min-RDcost≤12000时，变量B＝T_min-RDcost；

$K=\frac{12000-B}{20000};$

2)计算帧间模式选择中的Skip模式(mode0)的RD cost，即RD cost(mode0)，如果RD cost(mode0)小于阈值T_h，则直接采用Skip模式为最佳帧间编码模式；否则，计算帧间模式选择中的16×16模式(mode1)的RD cost，如果RD cost(mode0)≤α×RD cost(mode1)，则仍可采用Skip模式为最佳帧间编码模式；α为Skip模式的优选调节系数；

3)若不满足RD cost(mode0)≤α×RD cost(mode1)的条件，比较帧间模式选择中的模式16×16模式(Mode1)，16×8模式(Mode2)，8×16模式(Mode3)和8×8模式(Mode4)中的RD cost，只有当Mode4的RD cost满足RD cost(Mode4)≤β×MinRD cost(Modei)，i＝1，2，3条件时，才需继续搜索较小块编码模式(8×4，4×8，4×4)，并计算帧间模式选择中的8×4模式(Mo de5)，4×8模式(Mode6)，4×4模式(Mode7)的RD cost；再采用RDO函数选择最佳帧间编码模式；其中β为大尺寸宏块模式的优选调节系数；

步骤三：确定可选择的最佳帧内编码模式，具体包括以下步骤：

1)采用在最佳帧间模式下的当前块及其相邻已编码块的边界像素的平均边界误差，即ABE表示时域相关性，其计算方法如下：

$\mathrm{ABE}=\frac{1}{64}\mathrm{SBE}---\left(3\right)$

其中系数64＝(16+16)_Luma+(8+8)_Chroma×2为16×16大小的亮度宏块相邻边界像素与8×8大小的色度宏块相邻边界像素点个数之和，SBE为上述64个像素点与该宏块边界像素点间的差值之和，计算方法为：

$\mathrm{SBE}=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\left[\right|Y_{\mathrm{Orig}}(x,y+i)-Y_{\mathrm{Rec}}(x-1,y+i)|+|Y_{\mathrm{Orig}}(x+i,y)-Y_{\mathrm{Rec}}(x+i,y)-Y_{\mathrm{Rec}}(x+i,y-1)\left|\right]$

$+\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\left[\right|U_{\mathrm{Orig}}(\mathrm{cx},\mathrm{cy}+i)-U_{\mathrm{Rec}}(\mathrm{cx}-1,\mathrm{cy}+i)|+|U_{\mathrm{Orig}}(\mathrm{cx}+i,\mathrm{cy})-U_{\mathrm{Rec}}(\mathrm{cx}+i,\mathrm{cy}-1)\left|\right]$

$+\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\left[\right|V_{\mathrm{Orig}}(\mathrm{cx},\mathrm{cy}+i)-V_{\mathrm{Rec}}(\mathrm{cx}-1,\mathrm{cy}+i)|+|V_{\mathrm{Orig}}(\mathrm{cx}+i,\mathrm{cy})-V_{\mathrm{Rec}}(\mathrm{cx}+i,\mathrm{cy}-1)\left|\right]$

(4)

其中Y_Orig，U_Orig，V_Orig为当前宏块中被编码的像素值；Y_Rec ，U_Rec，V_Rec为宏块的重建值；(x，y)，(cx，cy)分别对应亮度和色度块左上角的像素点位置；

2)采用最佳帧间模式下编码运动补偿所消耗的平均比特数，即AR表示空域相关性，其计算方法如下：

$\mathrm{AR}=\frac{1}{384}\left(\mathrm{BTD}\right)\×\mathrm{\λ}---\left(5\right)$

其中λ＝0.85×2^QP/3，384＝(16×16)_Luma+(8×8)_Chroma×2为亮度宏块与色度宏块中像素点个数之和；BTD的计算方法为：

$\mathrm{BTD}=\left[\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\right|Y_{\mathrm{Orig}}(x+i,y+j)-Y_{\mathrm{Rec}}(x+i,y+j)|+$

$\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|U_{\mathrm{Orig}}(x+i,y+j)-U_{\mathrm{Rec}}(x+i,y+j)|+$

$\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|V_{\mathrm{Orig}}(x+i,y+j)-V_{\mathrm{Rec}}(x+i,y+j)|]$

其中Y_Orig，U_Orig，V_Orig为当前宏块中被编码的像素值；Y_Rec，U_Rec，V_Rec为宏块的重建值；(x，y)，(cx，cy)分别对应亮度和色度块左上角的像素点位置；

3)判断当前宏块是否满足ABE＞γ×AR的条件，其中γ为帧内模式的优选调节系数：

a)若满足ABE＞γ×AR条件，说明当前编码宏块的时域冗余度大于空域冗余度，此宏块选择帧内编码模式的概率较低，可以略过对帧内编码模式的计算，直接采用步骤二中得到的最佳帧间编码模式作为最终的帧间编码模式，则对宏块做运动估计，得到最佳匹配块，求相应的差值，对该值做变换、量化、熵编码，直接进入步骤五；

b)若不满足ABE＞γ×AR条件，则说明当前编码宏块的空域冗余大于时域冗余度，需要进行帧内编码模式的计算，根据率失真准则，选择率失真意义上的最佳帧内编码模式；

步骤四：根据率失真准则，将步骤三中获得的最佳帧内编码模式与步骤二中获得的最佳帧间编码模式做比较，确定最终的帧间编码模式；

步骤五：输出最终的压缩视频码流，保存相关的编码信息。

本发明具有以下有益效果：

本发明所提供的方法考虑到不同的编码模式，对应不同特征的宏块，利用宏块自身的时空相关性特征和各种模式的利用率来判断宏块采用的编码模式，采用三层预判准则，避免了原标准方法中的穷举式遍历搜索的方法。大量实验统计数据结果表明，本方法与H.264/AVC中采用的标准帧间编码方法相比，严格控制了码流增加，保证了视频质量基本不变，保持了原有码流结构，大幅度提高了编码速度。

以下结合附图说明和具体实施方式对本发明作进一步详细说明。

附图说明

图1标准帧间编码模式选择方法中可供选择的编码模式示意图

图2帧间宏块编码的划分分割方法示意图

图3原标准帧间编码模式选择方法流程图

图4本发明的快速帧间模式选择方法总体流程图

图5本发明的最佳帧间模式选择方法流程图

图6本发明的确定可选择的最佳帧内编码模式方法流程图

具体实施方式

由于本方法是针对视频序列中的亮度分量来完成的，在实际使用中先读入一段YUV格式的视频序列，提取其亮度分量，编码器调用本发明中提到的帧间压缩编码模块来完成具体的视频压缩编码。

具体实施中，在计算机中完成以下程序：

第一步：根据编码器配置文件encoder.cfg读入YUV格式的视频序列，按照配置文件中的参数配置编码器。如完成需要编码的帧数FramesToBeEncoded；帧率FrameRate；原是视频文件的长宽尺寸SourceWidth，SourceHeight；输出文件名称OutputFile；量化步长QP值QPISlice，QPPSlice；运动估计搜索范围SearchRange；运动估计搜索模式类型SearchMode；允许的参考帧数NumberReferenceFrames；激活率失真代价函数RDOptimization；熵编码类型SymbolMode等参数配置；

第二步：从原始文件中取出亮度分量信息；

第三步：按顺序取出需要编码的宏块的亮度分量值；

第四步：计算当前编码宏块的帧间模式选择中的Skip模式(mode0)的RD cost，与阈值Th进行比较；

第五步：判断是否满足RD cost(Skip)＜T_h的条件，若满足，则说明当前块和Skip模式下的参考块能很好的匹配，将Skip模式作为最终确定最优的帧间编码模式，求相应的差值，对该值做变换、量化、熵编码。提前结束帧间预测编码，跳转到第十七步；

第六步：计算帧间模式选择中的16×16模式(mode1)的RD cost，将RD cost(16×16)乘以比较系数α；

第七步：判断是否满足RD cost(Skip)≤α×RD cost(16×16)的条件，若满足，则说明运动估计后其匹配情况不优于Skip模式的效果，则仍可采用Skip模式最终确定最优的帧间编码模式，求相应的差值，对该值做变换、量化、熵编码。提前结束帧间预测编码，跳转到第十七步；

第八步：若不满足RD cost(Skip)≤α×RD cost(16×16)的条件，则需计算帧间模式选择中的16×16(Mode1)，16×8(Mode2)，8×16(Mode3)和8×8(Mode4)中的RD cost；

第九步：计算出RD cost(Mode1)，RD cost(Mode2)，RD cost(Mode3)中最小值，并将具有最小值的RD cost乘以比较系数β；

第十步：判断是否满足RD cost(Mode4)≤β×MinRD cost(Modei)，i＝1，2，3条件，若满足，才需继续搜索较小块编码模式(8×4，4×8，4×4)，并计算帧间模式选择中的8×4(Mode5)，4×8(Mode6)，4×4(Mode7)的RD cost；再根据率失真代价函数，选择最佳帧间编码模式；

第十一步：若不满足RD cost(Mode4)≤β×MinRD cost(Modei)，i＝1，2，3条件，则无需计算帧间模式选择中的Mode5，Mode6，Mode7的RD cost，选择MinRD cost(Modei)，i＝1，2，3作为最佳的帧间编码模式。直接进入第十二步；

第十二步：计算在最佳帧间模式下的当前块及其相邻已编码块的边界像素的平均边界误差(ABE，the average boundary error)表示时域相关性；

第十三步：计算在最佳帧间模式下编码运动补偿所消耗的平均比特数(AR，the average rate)表示空域相关性；并且乘以比较系数γ；

第十四步：判断当前宏块是否满足ABE＞γ×AR的条件。若满足，说明当前编码宏块的时域冗余度大于空域冗余度，此宏块选择帧内编码模式的概率较低，可以略过对帧内模式的搜索计算。直接采用第十步或第十一步中得到的最佳帧间编码模式，作为最终的帧间编码模式，对宏块做运动估计，得到最佳匹配块，求相应的差值，对该值做变换、量化、熵编码，跳转到第十七步；

第十五步：若不满足ABE＞γ×AR条件，则说明则说明当前编码宏块的空域冗余大于时域冗余度，需要进行Intra16×16和Intra4×4两种帧内模式的搜索计算，根据率失真代价函数，计算帧内编码中所有模式的率失真代价值，选择率失真代价值最小的模式作为最佳帧内编码模式；

第十六步：根据率失真代价函数，将第十五步中获得的最佳帧内编码模式与第十步或第十一步中获得的最佳帧间编码模式做比较，将具有最小RD cost的模式作为最终的帧间编码模式。求相应的差值，对该值做变换、量化、熵编码。

第十七步：输出得到的最终的压缩码流，同时保存相关的编码信息。

为了检验本发明提出方法的有效性，选择了具有不同特点的测试序列，如运动较为剧烈的序列Coastguard和Forman；运动较为平缓的序列Akiyo，Miss America和Mother and Doughter；具有较多细节平滑运动的序列Mobile。并且从能够代表视频编码方法优劣的三个性能，即编码时间、压缩码率和峰值信噪比，将本发明方法与H.264/AVC中采用的标准编码方法进行了比较统计。在性能测试中，采用JVT公布的最新的编码校验模型JM12.2，实验条件配置如下：

主机为P42.8CPU，512M内存，编码100帧，帧率30f/s码流结构为IPPP，即第一帧采用I帧编码，其余的采用P帧编码，量化系数QP设为28，熵编码为CAVLC，5个参考帧。实验结果如表2。从表2中可以看出，本发明的方法与原标准遍历式的全搜索帧间预测编码方法相比较，峰值信噪比与标准压缩方法相当，视频质量几乎没有损失，峰值信噪比平均下降在0.03dB以内；严格控制了码率增加，保持了原标准算法高压缩比的优越性能，平均码率只增加0.86％；大大缩短了编码时间，平均节省编码时间67.61％。实验统计数据有效地验证了本发明的有效性。特别是对于平缓的视频序列如Akiyo，MissAmerica，编码时间节省了80％左右，这是由于在较为平缓的视频序列众多数帧间编码宏块选择了Skip编码模式和大尺寸宏块编码模式，即16×16，16×8，8×16，提前预判出最优的编码模式的可能性较大，略掉了对小尺寸的宏块编码模式的计算，即8×8，4×8，8×4，4×4帧间编码模式；并且相邻帧之间的相关性大于帧内宏块直接的空间相关性，更多地舍弃了对帧内预测模式的计算，大大节省了编码时间。因此本发明方法更突现出其优越的快速准确的编码性能。本发明方法是以P帧为编码对象，类似的快速编码方法可以推广到B帧。本发明方法具有良好的可移植性，可与其他快速视频编码方法(快速帧内预测方法和快速运动估计方法等)相结合，共同提高编码速度。

表2.本发明方法与标准的H.264/AVC标准帧间编码性能比较

Claims (1)

1、基于宏块特征和统计特性的视频帧间压缩编码方法，是根据对当前编码宏块选择最优帧间模式的统计特性，采用双层预判准则，首先确定最优帧间编码模式；再利用当前编码宏块的时空相关性特征，有选择性进行帧内编码；实现对宏块进行快速的帧间压缩编码，其特征在于包括下述步骤：

步骤一：从视频帧中提取当前编码宏块的亮度值；

步骤二：确定最佳帧间编码模式，采用拉格朗日率失真优化准则，作为运动估计和模式选择的判决依据，选择率失真意义上的最好的帧间编码模式；率失真代价值，即RD cost，可按照下面的公式计算：J_mode(s，c，MODE|λ_mode)＝SSD(s，c，MODE|QP)+λ_mode×R(s，c，MODE|QP)    (1)

式中，MODE表示当前宏块的一种帧间编码模式；s为原始的视频信号；c为采用MODE模式编码后的重构视频信号；λ_mode为拉格朗日乘子；J_mode(s，c，MODE|λ_moode)表示MODE模式下的RD cost，该变量也可以简化表示为RD cost(MODE)；R(s，c，MODE|QP)是与模式和量化参数有关的包括宏块头信息、运动矢量和所有DCT块信息的总的二进制位数，它是通过对块进行实际的编码后获得的；QP是编码量化步长；SSD(s，c，MODE)为原始信号与重构信号之间的平方差值和，即：

$\mathrm{SSD}(s,c,\mathrm{MODE}|\mathrm{QP})=\underset{i=1,j=1}{\overset{B,B_2}{\mathrm{\Σ}}}{\left(s_Y\right[x,y]-c_Y[x,y,\mathrm{MODE}\left|\mathrm{QP}\right])}^2+$

$\underset{i=1,j=1}{\overset{B,B_2}{\mathrm{\Σ}}}{\left(s_U\right[x,y]-c_U[x,y,\mathrm{MODE}\left|\mathrm{QP}\right])}^2+---\left(2\right)$

$\underset{i=1,j=1}{\overset{B,B_2}{\mathrm{\Σ}}}{\left(s_V\right[x,y]-c_V[x,y,\mathrm{MODE}\left|\mathrm{QP}\right])}^2$

式中，B₁和B₂分别表示块的水平像素数和垂直像素数，其取值为16，8，4，s_Y[x，y]，c_Y[x，y，MODE|QP]表示重建和源视频亮度信号的取值；c_U，c_V和s_U，s_V表示相应的色差信号的取值；具体包括以下步骤：

1)选取自适应阈值T_h：

自适应阈值T_h由两部分组成，即T_h＝K×T_min-RDcost；T_min-RDcost为上一次宏块编码的最小的RD cost；K为可由上一次宏块编码的最小的RDcost自动变化的调整系数组成；其中K的取值原则如下：

当T_min-RDcost＜2000时，变量B＝2000；

当T_min-RDcost＞12000时，变量B＝12000；

当2000≤T_min-RDcost≤12000时，变量B＝T_min-RDcost；

$K=\frac{12000-B}{20000};$

2)计算帧间模式选择中的Skip模式(mode0)的RD cost，即RD cost(mode0)，如果RD cost(mode0)小于阈值T_h，则直接采用Skip模式为最佳帧间编码模式；否则，计算帧间模式选择中的16×16模式(mode1)的RD cost，如果RD cost(mode0)≤α×RD cost(mode1)，则仍可采用Skip模式为最佳帧间编码模式；α为Skip模式的优选调节系数；

3)若不满足RD cost(mode0)≤α×RD cost(mode1)的条件，比较帧间模式选择中的模式16×16模式(Mode1)，16×8模式(Mode2)，8×16模式(Mode3)和8×8模式(Mode4)中的RD cost，只有当Mode4的RD cost满足RD cost(Mode4)≤β×MinRD cost(Modei)，i＝1，2，3条件时，才需继续搜索较小块编码模式(8×4，4×8，4×4)，并计算帧间模式选择中的8×4模式(Mo de5)，4×8模式(Mode6)，4×4模式(Mode7)的RD cost；再采用RDO函数选择最佳帧间编码模式；其中β为大尺寸宏块模式的优选调节系数；

步骤三：确定可选择的最佳帧内编码模式，具体包括以下步骤：

1)采用在最佳帧间模式下的当前块及其相邻已编码块的边界像素的平均边界误差，即ABE表示时域相关性，其计算方法如下：

$\mathrm{ABE}=\frac{1}{64}\mathrm{SBE}---\left(3\right)$

其中系数64＝(16+16)_Luma+(8+8)_Chroma×2为16×16大小的亮度宏块相邻边界像素与8×8大小的色度宏块相邻边界像素点个数之和，SBE为上述64个像素点与该宏块边界像素点间的差值之和，计算方法为：

$\mathrm{SBE}=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\left[\right|Y_{\mathrm{Orig}}(x,y+i)-Y_{\mathrm{Rec}}(x-1,y+i)|+|Y_{\mathrm{Orig}}(x+i,y)-Y_{\mathrm{Rec}}(x+i,y)-Y_{\mathrm{Rec}}(x+i,y-1)\left|\right]$

$+\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\left[\right|U_{\mathrm{Orig}}(\mathrm{cx},\mathrm{cy}+i)-U_{\mathrm{Rec}}(\mathrm{cx}-1,\mathrm{cy}+i)|+|U_{\mathrm{Orig}}(\mathrm{cx}+i,\mathrm{cy})-U_{\mathrm{Rec}}(\mathrm{cx}+i,\mathrm{cy}-1)\left|\right]$

$+\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\left[\right|V_{\mathrm{Orig}}(\mathrm{cx},\mathrm{xy}+i)-V_{\mathrm{Rec}}(\mathrm{cx}-1,\mathrm{cy}+i)|+|V_{\mathrm{Orig}}(\mathrm{cx}+i,\mathrm{cy})-V_{\mathrm{Rec}}(\mathrm{cx}+i,\mathrm{cy}-1)\left|\right]---\left(4\right)$

其中Y_Orig，U_Orig，V_Orig为当前宏块中被编码的像素值；Y_Rec，U_Rec，V_Rec为宏块的重建值；(x，y)，(cx，cy)分别对应亮度和色度块左上角的像素点位置；

2)采用最佳帧间模式下编码运动补偿所消耗的平均比特数，即AR表示空域相关性，其计算方法如下：

$\mathrm{AR}=\frac{1}{384}\left(\mathrm{BTD}\right)\×\mathrm{\λ}---\left(5\right)$

其中λ＝0.85×2^QP/3，384＝(16×16)_Luma+(8×8)_Chroma×2为亮度宏块与色度宏块中像素点个数之和；BTD的计算方法为：

$\mathrm{BTD}=\left[\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\right|Y_{\mathrm{Orig}}(x+i,y+j)-Y_{\mathrm{Rec}}(x+i,y+j)|+$

$\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|U_{\mathrm{Qrig}}(x+i,y+j)-U_{\mathrm{Rec}}(x+i,y+j)|+$

$\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|V_{\mathrm{Orig}}(x+i,y+j)-V_{\mathrm{Rec}}(x+i,y+j)|]---\left(6\right)$

其中Y_Orig，U_Orig，V_Orig为当前宏块中被编码的像素值；Y_Rec，U_Rec，V_Rec为宏块的重建值；(x，y)，(cx，cy)分别对应亮度和色度块左上角的像素点位置；

3)判断当前宏块是否满足ABE＞γ×AR的条件，其中γ为帧内模式的优选调节系数：

a)若满足ABE＞γ×AR条件，说明当前编码宏块的时域冗余度大于空域冗余度，此宏块选择帧内编码模式的概率较低，可以略过对帧内编码模式的计算，直接采用步骤二中得到的最佳帧间编码模式作为最终的帧间编码模式，则对宏块做运动估计，得到最佳匹配块，求相应的差值，对该值做变换、量化、熵编码，直接进入步骤五；

b)若不满足ABE＞γ×AR条件，则说明当前编码宏块的空域冗余大于时域冗余度，需要进行帧内编码模式的计算，根据率失真准则，选择率失真意义上的最佳帧内编码模式；

步骤四：根据率失真准则，将步骤三中获得的最佳帧内编码模式与步骤二中获得的最佳帧间编码模式做比较，确定最终的帧间编码模式；

步骤五：输出最终的压缩视频码流，保存相关的编码信息。

Images