CN1035593C - 采用自适应比特分配和量化的运动视频信号压缩系统 - Google Patents

Abstract

揭示了为实现一种适宜于用所建议的ISO/IECMPEG标准的编码器的系统和方法，包括有三个协同工作的组成部分(子系统)，进行对输入的数字运动视频信号序列进行不同的自适应预处理，为信号序列中的画面分配信号位，和对视频信号序列中一画面的不同区域内的转换系数作自适应量化，以便能在给定的分配给该画面的信号位数量下提供理想的视觉质量。

Description

采用自适应比特分配和量化的运动视频信号压缩系统

本发明涉及数据压缩领域，更具体地是涉及与国际标准化组织的运动图象专家组(MPEG)所建议的新MPEG标准相似的算法一致的数字运动视频信号压缩系统和技术。

数字传输网络、数字存储介质、超大规模集成电路装置、以及声视频信号数字处理的技术进步，便得许多应用场合中数字视频信号的传输和存储很经济。因为数字视频信号的存储和传输对许多应用是主要的，又因为视频信号未经压缩需要大量存储空间，所以对这一先进技术来说，采用数字视频信号压缩技术十分必要，在这方面，过去十年来已出现了数种压缩数字视频信号的国际标准，还有更多的正在拟订之中。这些标准适用于各种应用中用于传输和存储压缩数字视频信号的算法。这些应用包括有：电视电话和电话会说；同轴电缆和光纤网络以及地面广播和通过直接广播卫星的高质量数字电视传送；CD-ROM、数字录音带、以及温彻斯特(Winchester)磁盘驱动器的交互式多媒体产品中。

这些标准中有一些涉及到以压缩技术的共同核心为基础的算法，例如CCITT(国际电报电话咨询委员会)建议II.120，CCITT建议II.261，以及ISO/IEC MPEG标准。MPEG算法已由运动图象专家组(MPEG)，国际标准化组织(ISO)技术委员会和国际电工委员会的一个联合技术委员会的一部分研制成。该MPEG委员会一直在研究一种用于视频及相关音频信号的多路传送的压缩表示的标准。这一标准规定压缩比特流的语法和解码方法，但在用于编码的算法中仍旧存在相当大的革新和变化的余地。

由于本发明有可能与这样的编码器相结合应用，为了便于对本发明的理解，将对MPEG视频信号压缩算法的某些有关特点作一点评述。不过应指出的是，本发明也能应用于其他遵循MPEG算法某些特点的视频信号编码算法。

MPEG视频信号压缩算法：

首先应当清楚的是，任何数据目标，例如一页文件，一幅图象，一段语音，或者一系列视频信号，的压缩过程可被想象为一连串步骤。包括：1).将该数据目标分解为一组记号；2)用在某种意义上具有最小长度的二进制串来表示这些记号；以及3)按明确的次序连接这些串。步骤2及3是无损耗的，亦即，原始数据在反变换后能精确地复原，步骤2被称之为平均信息量(熵)编码(例如T.Berger，“比率畸变理论”Enslewood Cliffs.NJPrentice Hall，1977；R.McELiece，“信息论与编码”。Reading，MA：Addison-Wesley，1971；D.A.HUFFMAN“组构最小冗余码的方法”.Proc.IRE.pp.1098-1101.Sept.1952；G.G.Landon“算术编码导论”.IBM J.Res Develop，Vol28，pp.135-149March1984).步骤1一般可能是无损耗的或有损耗的。大部分视频信号压缩算法因为严格的位速率要求都是有损耗的。一个成功的有损耗压缩算法消除掉冗余的和无关紧要的信息，在视觉上多半不明显的地方可容许较大的误差，而对于那些人类观察非常敏感的部分则精细地表达出其特点。MPEG算法中第一步骤所用的技术可以称作为预测性/内插法移位补偿混合DCT/DPCM编码。第二步骤中所采用的是Huffman编码。亦称之为可变长度编码(见上面引用的1952年Huffman论文)。虽然如上所述，MPEG标准实际上是解码器和被压缩比特流语法的规范，下面对MPEG技术要求的叙述，为了便于介绍，基本上从编码器的观点出发。

MPEG视频信号标准规定针对数字存储介质的视频信号的编码表示法。如MPEG委员会草案1991年的ISO-IECJTC1/SC2/WG11 MPEG CD-11172中所提出的。此算法是设计运用于非交错成分的视频信号的。每一幅画面具有三个成分：亮度(Y)，红色差(Cr)，和蓝色差(Cb)。Cr和Cb成分在水平和垂直方向均为Y成分采样数的1/2。除开这一对输入数据格式的规定外，对可能作为压缩准备的源视频信号进行预处理的量或级无任何限制。进行这种预处理的方法即为本发明的目的之一。

MPEG信号的层次结构

MPEG数据流由视频数据流及声频数据流组成。它们与系统信息及其他可能存在的比特流组合成为可看成是分层次的系统数据流。在MPEG数据流的视频信号层内部，经压缩的数据进一步加以分层。对这些层次的构成予以说明，将有助于对本发明的理解。MPEG视频信号分层结构的这些层次如图1-4所示。具体说，这些图表明

图1为一对典型的画面组(GOP)；

图2为一幅画面的典型的宏数据块(MB)划分；

图3为一幅画面的典型片划分；

图4为一宏数据块的数据块划分。

这些层次与压缩算法的运用以及被压缩比特流的组成有关。最高层为视频信号段层，包含有整个信号段的控制信息和参数。在下一层，将一信号段分成多组连续的画面，每一组被称为一画面组(GOP)。图1中对这一层次作了总的说明。解码过程可以从任何一个基本上与前面的GOP无关的GOP开始。一GOP中可能有的画面数目没有限制，所有GOP中的画面数亦不一定需要相等。

第三层即画面层是一单个的画面。这一层的总体说明如图2所示。每一画面的亮度成分被分为16×16的区，彩色差成分被分为在空间上与16×16亮度区相对应的8×8的区。合在一起，这些位置相对应的亮度区和彩色差区组成第五层，称之为宏数据块(macroblock-MB)。画面中的宏数据块从宏数据块1起始按字典序连续编号。

在画面与MB层之间为第四层，即片层。每一片由一定数目的连续MB组成。一画面之内或画面之间的各片的大小不必统一。它们可以是仅仅几个MB的大小，或者扩大到几行MB，如图3所示。

最后，每一MB由4个8×8的亮度块和2个8×8色度块组成，如图4所示。如果每一亮度画面的宽(以象素计)标以C，高标以R(C代表列，R代表行)的话，一幅画面即为C_MB＝C/16MB宽，R_MB＝R/16MB高。类似地，C_B＝C/8块宽，R_B＝R/8块高。

所有的段、GOP、画面及片层均具有与它们相关连的标题。这些标题由以字节对准的起始码开始，包含有与相应层中所含数据有关的信息。

在一个GOP中，可能出现三种类型画面。这些画面类型间的显著差异在于它们所采用的压缩方法。第一种类型。帧内模式(Lntramode)画面，即I-画面，与任何其他画面无关地加以压缩。虽然在I-画面之间距离上没有固定的上限，但期望在整个段内它们能频繁地分散开，以便于随机访问及其它特殊模式的操作。每一GOP必须以-I-画面开始，而在GOP内部可出现有更多的I-画面。另外两种类型画面是预测移动补偿(Predictivelymotion-compensated)画面(P-画面)和双向移动补偿(bidirectionally motion-compensated)画面(B-画面)，将在下面对移动补偿的读者论坛中介绍。

关于GOP中I-画面、P-画面及B-画面的数量和顺序有一定规则可循。如将I-画面和P-画面总称为基础画面(anchor picture)的话，一GOP必须包括一个基础画面但也可以包括多个。另外，在每对相邻的基础画面之间，可以没有或者有一个或多个B-画面。一典型的GOP可如图5所示的结构予以说明。

I-画面中的宏数据块的编码

一种非常有用的图象压缩技术是变换编码(transformcoding)(参见N.S.Jayant&P.Nou：“波形的数字编码，原理及对语言和影象的应用”，Enslewood Cliffs.NJ：Prentice-Hall，1984；和A.G.Tescher.“变换图象编码”，W.K.Pratt编的图象传输技术一书中PP.113-155，New York，NY：Academic Press，1979)。在MPEG及数种其他压缩标准中，离散余弦变换(DCT)是精选变换(见K.R.RAO&P.YIP：“离散余弦变换，算法，优点，应用”San Diego CA：Academic Press，1990；和N.AHMED，T.NATARAJAN，&K.R.RAO“离散余弦变换”IEEE Transactions on Computers，pp.90-93，Jan.1974)。I-画面的压缩由下列步骤实现：1)取象素块的DCT；2)量化DCT系数值；3)将结果作Huffman编码。在MPEG中，DCT运算将一个n×n象素的块、变换成为一个n×n的变换系数集。如数种国际压缩标准那样，MPEG算法采用大小为8×8的DCT块。DCT自身变换是一种无损耗运算，可以在其所赖以完成的计算装置及算法的精度内反演。

第二步骤：DCT系数的量化，是MPEG算法中损耗的主要根源。用csubmn表示DCT系数的二维数组的元素，其中m和n的值由0至7，除开截断或舍入校正外，量化是将每一DCT系数c_mn除以W_mn×QP来达到的，这里W_mn为加权因子，QP为量化器参数。应指出的是，QP适用于每一DCT系数，加权因子W_mn使得可能对视觉上不重要的因子进行较粗糙的量化。可以有两组这类加权值，一组用于I-画面，另一组用于P-和B-画面。在视频信号段层中可传输定制的加权值，或者利用缺省值。量化器参数QP是MPEG中对在质量与位速率间作折衷选择的主要手段。指出这一点是很重要的，即，在一画面内，QP在MB与MB之间是可以改变的。这一特点被称之为自适应量化(AQ)，它允许每一画面的不同区可按不同的步长加以量化，並可用来促使每一幅画面以及画面与画面之间的视觉质量均匀化(优化)。虽然MPEG标准能实现自适应量化，但包含利用AQ来改善视觉质量的规则的算法则並未标准化。本发明的一个目的就是一组AQ用的规则。

量化之后，将每一MB的DCT系数信息加以组织並利用一组Huffman码来进行编码。因为这一步骤的细节对了解本发明不是主要的，並且在本技术领域内一般都是清楚的，所以这里不作进一步说明。有关这方面更多的情况可以参考前面引用的Huffman1952年的文章。

移动补偿

大部分视频信号段都呈现出连续画面之间高度的相关性。“移动补偿”是一种在编码之前去除这种冗余信息的有用的方法。移动补偿需要一些模拟和估算一景象中的这种移动的手段。在MPEG中，每一幅画面均被分成许多宏块，每一MB相当于一幅预测画面或数幅画面面中相同通用空间位置中的16×16的区，预测画面中的与MB在某种意义上匹配的区被作为预测值。MB的空间位置与其预测值的空间位置之间的差称之为运动矢量(motion Vector)。这样，对一MB的移动估算和补偿的结果就是移动矢量和一个经移动补偿的差宏块。在经压缩的状态中，这些通常需要比原始MB本身较少的位，那些利用先前的单一预测画面来预先加以移动补偿的画面称之为P-画面。这种预测在MPEG中也被称之为(时间上)正向预测。

如前面讨论的，P-画面与其预测画面间的时间间隔可能大于一画面的间隔。对于那些处于P-画面之间的、或者处于I-画面和P-画面之间的画面，除了(时间上)正向预测外还可以采用(时间上)反向预测外(见图5)。这些画面被叫做双向移动补偿画面B-画面。对于B-画面，除正向和反向预测外，亦可以采用内插移动补偿。在这种情况下，预测值为先前的预测画面中一块与未来预测画面中一块的平均值。在这种情况下，需要两个移动矢量。

应用双向移动补偿导致出二级移动补偿结构，如图5中所示。每一矢量指明利用接触根点(touching dot)的画面对接触矢量头的画面的预测。每-P-画面利用前面的基础画面)根据可能的情况，[-画面或P-画面)作移动补偿。每-B-画面被紧接着的前面或后面的基础画面所移动补偿。在MPEG中未规定对基础画面间的距离或I-画面之间的距离的限制。事实上，这些参数並不需要在整个信号段内都是恒定的。如将I-画面之间的距离称作N，而将P-画面之间的距离称作M，则图5中所示的信号段具有(N，M)＝(9，3)。在对这三种型式画面进行编码中，为获得同样等级的再生图象质量，需要不同量的压缩数据。精确的比例取决于许多因素，其中包括信号段中的空间清晰度和信号段中的移位大小及其可补偿率。

因此应当理解，一个MPEG-1信号段系由一系列其间不夹有或者夹有一个或数个P-画面的I-画面组成的。各I-和P-画面中间可能不夹有B-画面，或者夹有一个或多个B-画面，在后面的情况中它们起基础画面的作用。

P-画面和B-画面中宏块的编码

将会看到，有三种移动补偿可应用于B-画面中的MB：正向、反向、和内插。编码器必须选择其中一种模式。对于某些MB，哪一种移动补偿模式均可能产生正确的预测。在这种情况下，MB可以与I-画面中的MB同样方式处理，即作为帧内模式(intramode)MB。这是另一种可行的模式。因而说，对于P-和B-画面具有多种多样的MB模式。

除了需要时有关用来为每一MB进行编码的MB模式和对应于该模式的移动矢量的附属信息加以编码外，经移动补偿的宏块的编码过程与帧内模式MB的编码过程也十分相似。虽然在量化中差异很小，但以Wmn×QP相除的模型则仍保持着。此外，亦可以采用自适应量化(AQ)。

速率控制

MPEG算法是针对基本上为固定位速率的存储介质的情况应用的。然而，每一画面中位的数量並不总是严格不变的，这是由于不同类型的画面处理，以及进行编码的实际景象时空方向的复杂性的固有的随时间变化。MPEG算法利用一种基于缓冲存储的速率控制技巧来对位速率中所允许的变化给以有意义的限制。设计了一种虚拟缓存形式的视频信号缓存检测器(VBV)，它的唯一作用就是设置每一画面编码中所采用的信号位的数量的界限，以使得整个位速率与目标配置相等，並限定短期偏离目标的大小。这一速率控制过程可作如下说明。设想一个包含有一其后跟随着理想的译码器的缓冲存储器。此缓冲存储器以恒定的位速率存以来自存储介质的比特流中被压缩的数据。缓存的大小和位速率两者均是被传送到压缩位流中的参数。在经过了最初的、也是从位流中的信息确定的延迟后，该理想的译码器立即由缓冲器调出所有与第一幅画面相关的数据。此后，在等于该信号段的画面速率的间隔期间，译码器调出缓存器中全部与最早画面相关的数据。为了使位流满足MPEG速率控制要求，每一画面的所有数据在译码器需要的瞬间都必须能出现在缓存器中。这一要求转化到对每一画面中所容许的信号位的数量的上限和下限(U^VRV和L^VRV)。对于一给定的画面，此上限和下限取决于该画面前面所有画面中所利用的比特数量。产生满足该要求的比特流是编码器的功能。并不期望实际译码器将以上述方式构成或运行。此理想译码器及其相应缓存只不过是一种对被压缩画面的大小加以可计算的限制的措施。

MPEG编码器的一个重要功能是要保证所产生的比特流满足这些限制规定。对于用来给信号段中的画面编码的位的数量没有其他的限制。这一范围应该这样应用来分配信息位，即能便得最终再现的画面的视频质量均匀化(和优化)。解决这一信息位分配问题是本发明的另一目的。

因此，由上面介绍的MPEG算法应该看到，MPEG标准的目的是规定被压缩位流的语法和用于对其译码的方法。 给编码算法和硬件设计提供有相当大的余地来使其系统能适应它们的应用的特殊需要。编码器中的复杂程度可针对特定位速率下的视觉质量加以折衷解决来符合特殊的应用。多种多样的压缩位速率和图象大小也是可能的。这将适用于从低位速率的电视电话直到具有质量可与VHS盒式录像相比的全屏幕多方式显示的许多实用场合。因此，本发明所针对的问题就是按照MPEG标准来实现对数字视频信号段的压缩，应用上面讨论的自适应量化和位速率控制类型的技术，在保证位流满足MPEG固定的位速率要求的同时，使被压缩信号段的视觉质量最佳。

在公开的文献中，已出现了许多论述自适应量化和位速率控制问题的某些方面的方案。例如，W-HChen和W.K.Pratt在他们的论文“场景自适应编码器”(IEEETrans.Communications.Vol.COM-32，PP.225-232，March1984)中讨论了变换系数中的速率控制量化因子的设想。其中所采用的速率控制策略是图象和视频信号压缩算法中普遍用来便编码中产生的变化的位速率与恒定位速率通道相适应的技术。关于这一技术的细节可在上面引用的Tescher1979本的章节中找到。

虽然Chen和Pratt1984年的文章是讨论图象编码，其中所建立的思想也适用于视频信号编码。但是欠缺使图象本身特性适应量化因子的机理。

C-T。Chen和D.J.Le Gall在他们的论文“图象数据压缩用的第K阶自适应变换编码算法”(SPIE，Vol1153，Applications of Digtal Image ProcessingXII.Vol.1153.pp.7-18，1989)中介绍了根据每一块中第K阶最大DCT系数的幅值来选择量化因子的自适应方法。

H.Lohscheller在“主观适应的图象通讯系统”(IEEETrans.Communications.Vol COM-32pp.1316-1322，Dec.1984)中提出了一种对块加以分类的技术。这一技术是有关自适应区域采样和自适应矢量量化的。

K.N.Ngan，K.S.Leong，和H.Singh在“采用自适应量化的HVS加权余弦变换编码方法”(SPIE Vol1001 Visual Communications and ImageProcessing，Vol.1001，pp.702-708，11988)中提出一种自适应量化变换图象编码方法，其中一速率控制缓存器和每一块相对于在光栅扫描中与其最紧接的相邻块的DC项的对比度，被相结合地用来修的量化器因子。

H.Hoelzlwimmer在“可变传输速率图象编码中的速率控制”(SPIE Vol.1153.Applications of Digitalof Image Processing XII，Vol.1153，pp.77--89，1989)中讨论了一组合的位速率和质量控制器。两个参数被用来控制再现误差和位速率，量化器步进大小和空间分辩率。一空域加权均方误差量被用来控制这些参数。

本发明人1991年5月24日提交的共同未决美国专利申请No.705,234论述了自适应量化。其中所揭示的技术可用作本发明的子系统之一，亦即，自适应量化速率控制(AQ/RC)画面编码器。

与前述现有技术的系统和算法相对照，本发明的目的是提供用于一视频信号段中的被压缩画面之间分配信息位的系统和技术，特别适用于为产生固定位速率压缩数据流的视频信号压缩算法。其中采用了移位补偿，如象ISO/IEC MPEG视频信号压缩标准。

本发明的另一目的是提供用于视频信号段中一画面的不同区域内的变换系数的自适应量化的系统和技术，以便理想地给该画面分配一确定数量的信号位，同时提供位速率误差反馈技术来保证实际利用的信号位的数量接近于分配给该画面的数量。原则上，这一方法既能应用于一可变位速率的编码器，也能相兼容地用于固定位速率的编码器。

本发明的又一目的是提供用于在进行编码之前对数字运动视频信号作自适应预处理的方法和技术，此预处理的特性取决于为符合视频信号段的当前的画面中目标位速率所需的量化严格程度。

本发明的再一目的是提供一种使上述三个系统能协调地联合运行构成一能与MPEG标准相兼容的改进的编码器系统的技术。

本发明涉及到实现适宜于采用所推荐的ISO/IEC MPEG标准的编码器的系统和方法，包括有三个组成部分(或子系统)，即，输入数字运动视频信号进行各种自适应预处理；对该视频信号区段中的画面分配信号位；对视频信号段中的画面的不同区域的变换系数加以自适应量化，以便在给定数量的分配给该画面的信号位的基础上提供理想的视觉质量。

较具体点说，一个组成部分具体实现一自适应预处理子系统，它根据所要求的总体量化粒度(粗糙度)对视频信号执行一组预处理操作中的一种操作。这些预处理操作在进行编码之前进行，所执行预处理的性质取决于当前画面中目标位速率所需的量化严密程度。

另一组成部分具体实现执行一种画面信号位分配方法的子系统。这一方法适用于欲产生固定位速率的压缩数据流的视频信号压缩算法，其中将利用移动补偿。这样一种算法的例子就是MPEG视频信号压缩标准。这种在视频信号中的连续画面之间分配信号位的方法使得由画面到画面的视觉质量均匀化，同时满足MPEG视频信号缓冲检验器(VBV)的位速率的限制备件。

第三个组成部分所具体实现的子系统，实现对视频信号中一画面的不同区域的变交系数进行自适应量化的算法，並实现能保证实际所采用的信号位的数量接近于分配给画面的数量的位速率误差反馈技术。

这三个协作部分(子系统)相互间协调地运行，而且可以个别地为完成同样的任务作一些改变，而不一定需要其它二个子系统亦随之变化。该自适应量化子系统可以独自加以利用，子系统中的每一个也可以与其他编码器方案协同应用。

现对附图加以简短说明：

图1-4描述MPEG数据流内视频信号压缩层中的被压缩数据的层次。即，图1为一组典型的画面组(GOP)；图2为一画面的具有代表性的宏块(MB)划分；图3为一帧(画面)中的典型片划分；图4为一宏块的块划分；

图5说明MPEG中所采用的GOP中画面之间的两级移动补偿；

图6为结合有三组成子系统实现本发明所提出的技术的MPEG编码器的方框图；

图7表明对一视频信号段中完整的画面序列进行编码的困难因素，该视频信号由两个用于MPEG标准的研究中的测试信号段构成，其中包括Flower Garden(花圃)信号段的最前面的60帧后面接着的是Table Tennis(乒乓球)信号段的最初60帧，紧跟着Table Tennis的第61帧重复30次(为了模拟静止景象)。用于为说明本发明的方法的全部叙述过程中；

图8描述针对图7中的段中的每幅画面计算得的信号比特分配；

图9描述图7的段中的每幅画面的目标和实际位速率

图10为用于对图7的段进行编码的量化(QP)因子曲线图；

图11为较详细说明图6的AQ/RC画面编码器子系统的方框图；

图12描述取自MPEG测试序列的Flowor Gardon和Table Tennis段的I-和P-画面的典型等级分布；

图13和14描述按照本发明的位速率控制中QP分配和更新技巧的性能，其中图13表明一测试序列的帧16、22、61和67的每一行的QP_low和平均QP，而图14则表明逐行基础上所产生的信号比特与目标之间的对较；

图15描述图6中所示的QP自适应预处理的细节；

图16描述图15中所示QP自适应预处理的三种可能的滤波器状态(FS)。

首先，上面已经指出过，ISO/IEC标准的一个重要特点在于仅仅只详细规定了被压缩位流的语法和对其进行解码的方法。因此就可能有一些不同的编码器，所有这些编码器均产生与此标准的语法相一致的位流。只是复杂程度不同，结果是在一定的位速率下视觉质量水平不等。 MPEG标准主要，但不唯一地，适用于被压缩数据流的平均位速率是固定的情况。MPEG规范中对“固定位速率”的函意具有精确定义。不过即使平均速率必须是恒定的，分配给MPEG视频段中每一幅画面的信号位数量也並不一定需要所有画面均相同。而且，一幅画面内信息位的分配亦可必须是均匀的。 设计一种低位速率情况下产生高质量信号的编码器方面的困难就在于寻求一种在画面之间和一幅画面内分配总的信位预算的技术。

对于MPEG标准来说必须记住的另一重要编码特点是自适应量化(AQ)。这种技术允许对每一画面的不同区域以变化的保真度进行编码，因而能被应用于欲便每一画面整个的，以及从画面到画面的视觉质量均匀化(和优化)的图象和运动视频信号的压缩中。虽然MPEG标准可以允许作自适应量化，但此标准中並没有规定含有应用AQ来改善视觉质量的规则的算法。

另一大类能适用于MPEG或类似编码器中的主要技术是普通称之为预处理的技术。任何一种不改变样本间相互基本空间关系的数字视频信号的预处理技术均可以配合与MPEG兼容的编码器用来改善被压缩信号的视觉质量。这方面的例子包括线性或非线性的前置滤波。

现在来谈本发明，图6中作出了一结合有三个组成子系统的根据本发明来实现上面提到的技术的MPEG编码器的方框图。如图示，开始时，代表一信号段中的第K幅画面的画面数据P_k进入一子系统，QP自适应预处理器3，如果适当的话就在这里进行预处理。此预处理过程的性质由前面被编码的画面的量化级(PO_prer)来控制，此QP_prer将是在该数据序列的编码进程中早先已经由自适应量化速率控制(AQ/RC)画面编码器1传送到子系统3的。可能已经过预处理的画面数据F_k由子系统3输出进入下一子系统AQ/RC画面编码器1，在此作移位估算和MB分类。AQ/RC画面编码器1中这些操作的某些结果(D_k)被送入最后一个子系统，画面信息位分配子系统2，而该画面数据F_k的目标信息位数量被送回(Ak.Sk和Ck)到AQ/RC画面编码器。然后编码继续进行，如下面将详细介绍的。最后，画面数据F_k的经压缩过的数据CDk，由AQ/RC画面编码器1输出。另外，有关为F_k编码所需的信号位数量的数据(B_k)和再现误差(E_k)被送到画面信号位分配子系统2，而可能是一平均值QP_ovg的前面的量化级QP_prer被传送到QP自适应预处理子系统3，以便为后续信号帧处理中利用。

为了对这三个子系统作操作性叙述，将首先解释画面至画面的信号位分配子系统2的操作过程，接着说明AQ/RC画面编码子系统1的操作，然后再介绍QP自适应预处理子系统3。为了完全理解本发明与MPEG视频信号压缩算法之间的关系，参看前面引用的下述资料可能是有所帮助的：MPEG CD-11172；ISO-IEC JTC1/SC2/WG11 MPEG91/74，MPMPEG Video Report Draft.1991；或者D.LeGALL，“MPEG：多方式应用的视频信号压缩标准”，Communications of the ACM，Vol，34，Apr，L1991。

画面至画面的信号比特分配

视频信号压缩算法利用移动补偿来降低代表视频信号段中每幅画面所需的数据量。虽然固定位速率的压缩算法必须保持整体平均位速率接近一规定的目标；在分配给个别画面的信号位数量上它们经常总有一些余地。严格地给每一画面分配相同的信号位数量所产生的压缩段，其质量将随时间摇摆不定，造成扰乱观众视觉的现象。画面信号位分配子系统2包含在一视频段中的被压缩画面中分配信号位的过程。

它特别适用于欲产生固定位速率的压缩数据流的视频信号压缩算法，其中还采用了移动补偿技术，例如ISO/IEC MPEG视频信号压缩标准。

理想的是，画面信号位分配系统能这样来给每一画面分配信号位的数量，即能便得被编码信息的视觉质量被人们感到从画面到画面是均匀的，而且能在固定位速率规则所作的分配量限定条件下，等于在给定位速率下所能取得的最佳值。一般说来，这样一种系统在对第一幅画面(帧)编码之前将要求了解整个信号段的内容。它还需要推测了解采用一定的信号位分配进行编码时再现画面将具有的视觉质量。

第一个要求是不现实的，因为这意味着很大的存储空间和延迟时间。第二个要求目前是很困难的，因为编码视频数据的人类视觉感受质量的数学上可实现的模型尚未找到，即使该被编码的和原始画面均可取得时亦如此。

本发明的画面信号位分配子系统提供了这一问题的可行的解决办法，所采用的措施是始终监视对最近过去的每一类型画面进行编码中的一个难度测量值。这一测量值，被叫做编码难度，决定于画面的空间复杂性和移动补偿能预示一幅画面的内容的程度。对三种类型画面进行信号位分配，它们的数量决定于此三种类型的相关的编码难度。此外，于每一画面所计算得的此三种分配(一个对应一种画面类型)是这样的，即如果一整个的画面组(GOP)采用这些分配量编码的话，所需的信号位数量即等于目标位速率。

现在看图6，在画面K的数据Fk已在AQ/RC画面编码器1中经过了分析和画面的编码难度因子已经由AQ/RC画面编码器1传送到画面信息位分配子系统2之后，但在画面进行编码之前，画面信号位分配子系统2确定给该画面K分配多少信号位。画面信号位分配子系统2还利用与前面编码的画面有关的信息，这些信息被认为已经由AQ/RC画面编码器1传送到画面信号位分配子系统2。具体说，这些信息包括被用于对每一类型最近的画面进行编码的信号位数Bk(被分开成变换系数位和附属位)及最近二锚画面的再现误差Ek。在估算欲分配给一具体画面的信号位的数量时，首先需要选择和考虑一定数量的紧接着要到来的固定的连续画面，亦即信号段中尚待编码的一组画面，它包括有固定数量的I-画面(n_I)，P-画面(n_P)，和B-画面(n_B)。在这一步骤中被选择来考虑的这一组的画面的数量和组成与该信号段内从画面到画面执行的画面信号位分配过程中所应用的同样，是很有利的，但不是必要的。所需要的是整个时间最后所得的画面信号位分配的平均值等于目标平均画面信号位分配。

下面将叙述的分配操作从考虑对被选择的一组画面的分配开始，虽然最后结果将是三个画面信号位分配量，每一种画面类型一个，而且只有为与即将进行编码的画面类型相对应的画面类型的画面信号位分配量才将被采用。因而进程开始是为一组画面计算一总的信号分配量B_set，它等于与目标位速率相一致的平均信号位分配量：

B_set＝(n_I+n_P+n_B)×B_avg

式中B_avg为与目标位速率相一致的平均画面信号位分配量。在整个这一叙述章节中作为例子的优选实施方案中，分配给这一组画面的以及分配给每一画面的信号位分成两类：附属位(S)和系数位(C)。这里S是指包括所有除被编码的转换系数数据外的被编码的数据。由总的信号位分配量B_set中减去为对该组画面中附属信息进行编码所需的信号位数量的推测值(S_set)即得到该组画面的转换系数信号位分配量(C_set)。分配给即将被编码的画面的转换系数编码用的信号位数量将为C_set的一部分，这一部分所占多少取决于对与该画面相关的编码难度的推测。现在就要专门讨论采用这种编码难度信息来计算分配量的一种典型的技术。

转换系数和附属信息配置

附属信号位被赋予包括画面标题信息和所有附属信息，例如，移动补偿模式信息，移动矢量，和自适应量化数据。系数信息仅仅包含在用于对象素数据自己(在I-画面的情形中)，或象素差数据(在P-和B-画面的情形中)  的转换系数进行编码的信号位中。设A_I，A_P和A_B分别为I-， P-，和B-画面的信息分配量，则A_I＝S_I+C_I，A_P＝S_P+C_P，和A_B＝S_B+C_B(其中S和C分别表示附属和系数信号位)。在此优选实施例中，将被编码的下一画面的附属信号位分配量设定为等于为对信号段中前一最近的相同类型画面中附属信息进行编码实际所需的信号位数量。一个计算附属位信息分配量的替代方法是利用对信号段中数幅或所有前面的同类型画面进行编码实际所需的信号位数量的平均值。也可能在这一过程中忽略掉附属信息的分配，只根据转换系数信号位分配量来计算画面信号位分配量。后面这种办法，在下面讨论的情况下，可以段定所有附加分配量变量S等于0来实现。

下面将讨论计算与一画面相关的编码难度因子的一个典型方法，不过在这里为了便于说明，应当清楚，在每一类型的最近画面的编码难度因子一经被计算出后，即被存入画面信息位子系统2，接着的过程就被用于计算当前画面的转换系数分配量。首先，一组画面的附属信息分配以下式估算：S_set＝n_IS_I+n_PS_P+n_BS_B。将这一量值由分配给该组画面的信号位总数中减去，就得到该组画面转换系数分配量：C_set＝B_set-S_set。

而后就可作为下述方程组的唯一解来求得C_I，C_P和C_B：

C_set＝n_IC_I+n_PC_P+n_BC_B

$C_P=W_P\frac{D_P-E_r}{D_I}{C}_I,$

$C_B=W_B\frac{D_B-E_r^{\′}}{D_I}{C}_I$ 这组方程中的起始等式(C_set)保证整个组的平均值的正确性。Er为过去和将来再现的锚画面的平均绝对误差的平均值，加权次W_P和W_B用以削弱P-和B-画面分配量作相对于其它画面的重要性。在本优选实施例中，W_P＝1.0，W_B＝0.5。除了这些权外，该组方程中的后面两个量(C_P和C_B)使p-和B-画面分配信息位与他们的难度超过(再现的)预期画面中平均绝对误差的程度成比例。

可能有其他基于不同类型画面编码难度的信号位分配规则。上述这一典型方法是值得重视的，因为它通过三个编码难度因子D_I，D_P和D_B计及信号段的空间复杂性，通过D_P和D_B计及移动补偿的成功，通过C_set起始方程的要求计及目标位速率，和通过Er和Er′计及当前被编码画面的质量。

偶尔上述的信号位分配策略会得出超过U^VBV或低于L^VBV的结果。这一现象发生的频率决定于VBV缓存器的大小和信号段的特性。一种典型的情况是，VBV缓存器相当小(例如6个或少于6个中等的画面)，而且移位补偿非常成功。在这样的情况下，这一分配策略总试图实际上将一组的所有转换信号位都给予I-画面，结果是对个别画面的分配量大于VBV缓存的大小。在本优选实施例中，当发生这种情况时，就将I-画面的分配量剪裁成略小于相应的VBV极限范围。並将由I-画面取出的信号位重新分配给P-画面。后面达一步是很重要的，因为如果不作明显的重新分配，平均位速率就会下降。这最终会引起VBV溢出的麻烦，通常是在L^VBV开始超过B-画面的分配量时。这样的最终结果是对B-画面的隐含的重新分配，这通常导致较劣的整个画面质量。给P-画面作明显的重新分配技术的一个附带的优点是较快速地集中到静止景象中极高的画面质量在当P-画面或B-画面分配量落到VBV限定范围之外的情况下，不作任何信号的重新分配。

要指出的是，此分配策略可被应用于不存在B-画面的场合，仅仅只要便n_B＝0，並去掉计算分配量时确定C_B的方程。这同样可应用于不存在P-画面的情况。此外，利用编码难度估算来分配一幅画面的全部信号位，就可以忽略系数与附加信息之间的差异。在这样的场合下，编码难度估算可以直接代入编码附加信息的难度中，或者完全地忽略附加信息。

MPEG标准成果中所采用的两个测试信号段，FlowerGarden信号段和Table Tennis信号段被利用来测试本发明的技术效果。具体说就是在说明该方法的整个描述中将利用的是，由开始的60帧Flower Garden信号序列组成的视频信号段，其后跟随以Table Tennis信号序列的最初60帧，最后再接有重复30次的Table Tennis的第61帧的信号(以模拟静止景象)。这些信号段为352×240象素YUV测试信号序列。编码是在1.15兆位/秒。I-画面间距N＝15和锚画面间距M＝3的条件下进行的。图7表示整个信号段的编码难度因子，图8说明为每一画面计算的信息位分配量。

应指出的是，图中所示的信号段中每一画面的三种信息位分配都是该画面编码前的，但实际仅用到这些分配中的一种。图9中同暂列出了由此分配方法所得到的目标位速率和该信号段的实际位速率。

在景象改变上的稳定性(帧61)和P-与B-画面的实际位速率向接近零收敛将在静止部分(121～151帧)表现出来。用于给该信号段进行编码的量化因子(QP)画出于图10中。也要指出，对I-和P-画面的编码一般用较B-画面更精细的步骤进行。

AQ/RC画面编码器

现在来谈AQ/RC画面编码器1，达一子系统包含对一个视频信号段的连续画面作自适应量化(AQ)以改善视觉质量而同时能保证用于对每一画面编码的信号位数量接近预定的目标的过程。过程是对I-画面，P-画面和B-画面执行的。这些过程采用区域分类策略来处理组成一画面的空间区域。此区域分类技术是逐个地依次进行，移位估算；作为量化因子QP和画面区域所测得的特征的函数的对该画面区域进行编码所需的信号位数量的一个自适应模型；和，在对一画面进行编码时调整量化级以保证所产生的整个信号位数量接近预定目标的一个方法。虽然这里为了叙述的目的将空间区域作为MPEG宏块(MB来处理，但应理解，所述的过程也可适用于不同大小和形状的区域。

图11总体表明AQ/RC画面编码器1的组成部分。这一子系统的操作取决于正在被编码的画面的类型。如图中看到的，一可能已经过或未经过QP自适应预处理器3预处理过的画面K的视频画面信号F_k进入AQ/RC画面编码器1的移动估算和MB分类单元14。在此，按照下面叙述的过程对信号加以分析，並将每一MB予以分类。如果画面为-P-画面或B-画面，也进行移位估算。这些操作的结果以编码难度因子D_k的形式被送到画面信号位分配子系统2，供上面详细介绍的应用。而后画面信号位分配子系统2返回一画面K的信号位分配信号C_k。这一信号位分配信号伴同由移动估算和MB分类单元14传来的一组信息，被一QP等级设定单元15用来确定在每一MB编码中要用到的量化因子QP的初始值。另外，此QP等级设定单元15还进行画面中每一行MB编码所需的信号位数量预估值的计算。这些量化因子及行目标被送到速率控制画面编码器单元16，它也利用由移动估算及MB分类单元14传送来的信息继续进行对该画面进行编码。由于AQ/RC画面编码器1的操作是被分在三个子单元中进行的，所以下面的叙述也将按这同样的划分进行，同时主要还参照图11。

移动估算和MB分类单元

移动估算和MB分类单元14的主要目的之一是确定画面中每一MB编码将采用那一种编码模式m(r，c)。这一功能仅用于移动补偿画面，因为对于I-画面中的MB只有一种模式，帧内模式(intramode)。模式的确定依靠移动估算过程，这一过程还产生移动矢量和经移动补偿的差MB。移动估算和MB分类单元14的另一重要功能是对每一MB进行分类。MB(r，c)的类别CL(r，c)将最终确定用于对该MB进行编码的量化因子的大小QP(r，c)。这些模式和类别由对每一画面的分析和对要被编码的画面与预测画面之间的移位的估算所决定。同样的信息还被用来计算编码难度因子D_v它被传送给画面信号位分配子系统2。

MPEG视频信号编码算法中移动估算的目的是要取得移动矢量mv(r，c)＝(r_mv，C_mv)和对应的经移动补偿的差MBMv(r，c)。经移动补偿的差MB是当前正处理中的MB与预测MB之间的象素与象素的差。构成预测MB的确切方法取决于所采用的移动补偿模式，在上面提到的ISO-IEC JCT1/SC2/WG11 MPEG CD-11172，MPEG Committ-ee Draft，1991，中有详细说明。移动矢量，在某种意义上说，应能指明与其相关的画面部分的实际移动。关于移位估算方法的细节可见A.N.Netravali和B.G.Haskell的“数字画面：表示和压缩”(New York.NY：Plenum Press，1988)。

为了这里的说明，将假定应用了一个完全搜索移动估算算法，它覆盖了一个水平和垂直方向均为±7×n象素的范围，其中n为被分析中的画面与预测画面间的画面间隔距离，而移动矢量则精确到1/2象素。本发明包含利用移动估算的结果对视频信号段进行编码的技术，但并不限定于利用任何特定的移动估算技术，而可以利用任何移动估算方法，只要能提供一个适用的移动补偿的成功程度(移动补偿误差)，指明正作补偿中的MB与移动矢量所指向的预测区之间相匹配的效果。我们记得，对于P-画面有一种移动估算类型(时间上正向的)，而对于B-画面则有三种类型(时间上正向，时间上反向，和插入式的)。MB(r，c)的正向移动矢量可标为mv_f、(r，c)，反向移动矢量标为mv_b(r，c)。插入模式同时应用正向和反向矢量。正向、反向和插入移动压缩误差可分别标为Δme.f(r，c)，Δme.b(r，c)，及Δme.i(r，c)。

除开移动补偿误差外，还需要一个表明每一MB的空间复杂程度的量度。将此量度称之为Δ(r，c)。在互相间作数量上比较具有意义这一点上来说，Δ(r，c)，Δme.f(r，c)，Δme.b(r，c)和Δme·i(r，c)为同类量度是很重要的。在本优选实施例中，所有这些量度均被规定为平均绝对量，如下面指出的。如以其行和列座标(r，c)来标注每一MB，而以Y_k(i，j)，其中i＝0～7，j＝0～7，k＝0～3，来标明MB(r，c)中四个8×8的块的亮度值，以dc_k来标明每一8×8的块的平均值，则MB(r，c)的空间复杂性量度被看作为与DC之间的平均绝对差，由下式得出： $\mathrm{\Δ}(r,c)=\frac{1}{4}\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\Δ}}_k(r,c)$ 式中 ${\mathrm{\Δ}}_k(r,c)=\frac{1}{64}\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|y_k(i,j)-{\mathrm{dc}}_k|$

同类移动补偿误差为平均绝对误差。以Pk(i，j)，其中i＝0～7，j＝0～7，k＝0～3，标明预测MB中的四个8×8的块，这将由下式来确定： $\mathrm{\Δmc}(r,c)=\frac{1}{4}\underset{k=0}{\overset{3}{\mathrm{\Σ}}}[\frac{1}{64}\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{|y}_k(i,j)-p_k(i,j)]$

在本发明的优选实施例中，传送到画面信号位分配子系统2的编码难度因子完全基于上述的空间复杂性的量度和移动补偿误差。对于I-画面，总难度因子为对于P-画面和B-画面，首先决定编码模式，並将与该模式相对应的量度用来进行上述一样的求和。可能的模式有下面几种：

帧内模式    m(r，c)＝I；

正向模式    m(r，c)＝mc_f；

反向模式    m(r，c)＝mc_b；

插入模式    m(r，c)＝mc_i；难度系数按下式计算： $D_P=\underset{m(r,c)=I}{\mathrm{\Σ}}\mathrm{\Δ}(r,c)+\underset{m(r,c)=m{c}_f}{\mathrm{\Σ}}\mathrm{\Δmc},f(r,c)$ 和 $D_B=\underset{m(r,c)=I}{\mathrm{\Σ}}\mathrm{\Δ}(r,c)+\underset{m(r,c)=m{c}_f}{\mathrm{\Σ}}\mathrm{\Δmc},f(r,c)+$ $\underset{m(r,c)={\mathrm{mc}}_b}{\mathrm{\Σ}}\mathrm{\Δmc},b(r,c)+\underset{m(r,c)={\mathrm{mc}}_i}{\mathrm{\Σ}}\mathrm{\Δmc},i(r,c)$

有许多可能的规则可被用来确定模式。在此优选实施例中，下面的规则用于P-画面：取值β＝1.0。在本优选实施例中，用于B-画面的模式选定规则是：采用Δ(r，c)最低的模式来对此MB进行编码。应该理解的是，虽然在本优选实施例中采用平均绝对量来作为编码难度的量度，任何同类量度(例如均方量)也是有可能采用的。

所期望的是，用于确定MB模式和计算编码难度的这些量度有可能作为移动估算过程的“副产品”。这一点部分地是可能的，因为上述这些量度经常在移动估算过程中被用来找出最佳移动矢量。

这些量度也被用于对宏块进行分类。在本优选实施例中，MB按如下所述进行分类。所有帧内模式MB的类别由对该MB的Δ_k(r，c)的最小值的量化来加以计算。规定一个阈值t，MB(r，c)的类别cl(r，c)即由下式给出： $\mathrm{cl}(r,c)=\frac{\underset{k}{\min }\left[{\mathrm{\Δ}}_k(r,c)\right]}{t}$ 选出了移动补偿MB的一种移动补偿模式之后，这些MB按照下式进行分类： $\mathrm{cl}(r,c)=\frac{\min \left[\underset{k}{\min }{\mathrm{\Δ}}_k\right(r,c\left)\right],\mathrm{\Δmc}(r,c)]}{t}$ 在本优选实施例中采用值t＝2。应注意的是，帧内模式和移动补偿度量两者都被用于对移动补偿的MB进行分类。该模式和分类信息连同基本量度被QP等级设定单元15用来确定一初始量化级，並在进行编码时为RC画面编码器单元所利用。

由信号序列中Flower Garden和Table Tennis信号段所取得的I-和P-画面的典型类别分布如图12中所示。

在本优选实施例中为了减少计算复杂性，不对B-画面MB进行分类，不利用Q等级设定单元15，而在RC画面编码器单元16中所采用的编码方案比用于I-画面和P-画面的简单。

QP-等级设定单元

QP-等级设定单元的功用是为每一类别计算量化器步长的初始值。在一给定类别中的所有MB均被规定为此同一量化步长。在本优选实施例中，每个与一整体最小步长相关的类别的量化步长按下式来置定：

QP(r，c)＝QP_low+ΔQP×cl(r，c)

在本优选实施例中已应用的ΔQP值为5和6。虽然MPEG只允许QP(r，c)为1～31中的整数值，注意在本优选实施例中QP_low的容许范围为-31～31。因此，只要上述公式产生大于31的值，就将其削减为31，而任何低于1的值均固定为1。如果位速率能做到的话，容许QP_low低于1以保证最精细的量化器步长能应用于所有类型的MB，将是很有益的。下面说明选择QP_low的初始值QP_low ^init的过程。

本优选实施例中所采用的人类对编码误差的感受的基本模型是，同等大小的误差在一画面中较不活跃的区域更易看出，就象计算每一MB的类型Cl(r，c)的方法和在给定的cl(r，c)时计算QP(r，c)中所反映出的。虽然这一模型显然过于简化了，但都是在视觉质量和计算负担之间的合理的折衷方案。在为分类的MB中的四个亮度块采用最小的ΔK而不是整个单元的Δ，其原理在于具有任何平稳区域的MB应予指定一低的量化器步长。

MB模式m(r，c)和类型cl(r，c)连同Δ(r，c)和Δme(r，c)值以及画面转换参数的目标位速率一齐被用来设定初始量化器低值QP_low。根据本发明提出了一种模型，来预测为-MB的转换系数进行编码所需的信号位的数目，只要已知要用到的量化值和Δ(在内模式MB的情况下)或Δme(对移动补偿MB)。实验数据得到如下对于帧内模式MB的模型形式：

B_I(QP，r，c)＝a_IΔ(r，c)QP^bI，和对于移动补偿MB的模型形式

B_mc(QP，r，c)＝a_pΔmc(r，c)QPb_p。指数b_r＝-0.75，b_p＝-1.50。不过这些值很大程度上取决于所用的具体的量化加数值Wmn，因而应当对它们进行优化使它们匹配。

为估算a和b参数的适当值，采取了以下的试验方法。现在来看希望估算a_r和b_r的I-画面的情形。因为这一模型的参数应适应于画面到画面的改变，因而主要关心的是有关个别画面的这一模型的正确性，而不在于整组画面。这样，每扫描一遍就用不同的QP量化器步长值来对一具有代表性的画面进行数次编码。测定每一QP值时为每一MB编码所需的信号位数。接着针对每一QP值，求取具有一给定Δ值的所有MB编码所需的信号位数的平均值。其结果为一二维数据集，它表明作为MB的Δ值和用以对之进行编码的QP步长的函数的MB编码所需信号位数的平均值。这些平均值可以Bij＝B(QPiΔj)表示。希望将这些测量值能适应这样形式的方程：

Bij＝a_I×Δj×(QP_i)^bI。这是一a_I和b_I的非线性方程超定组，能应用非线性最小二乘方法来求解。为了使间歇线性化，求取等式两边的对数。这样就得到了一个容易解决的面对log(a_I-)和b_I的线性最小二乘方问题。

线性参数a_I和a_P在每一I-和P-画面编码后应加以调整，以跟随该视频信号段的动态变化特性。这一点可按照下面对PC画面编码器单元16的叙述中将详细介绍的一个方法来实现。(对于帧内-模式MB，这一模型可以增加一附加项计及为MB中DC次编码所需的信号位数量来完善，因为对DC系数的编码是分开处理的)。

按照这些位速率模型对整个画面的转换系数进行编码所需信号位的预测数对I-画面为 $B\left(Q{P}_{\mathrm{low}}\right)=\underset{r}{\mathrm{\Σ}}\underset{c}{\mathrm{\Σ}}\mathrm{BI}\left[\mathrm{QP}\right(r,c),r,c],$ 对P-画面为 $B\left(Q{P}_{\mathrm{low}}\right)=\underset{m(r,c)=I}{\mathrm{\Σ}}{B}_I\left[\mathrm{QP}\right(r,c),r,c]+\underset{m(r,c)={\mathrm{mc}}_f}{\mathrm{\Σ}}{B}_{\mathrm{mc}}\left[\mathrm{QP}\right(r,c)r,c]$ 其中，QP(r，c)按下式计算：QP(r，c)＝QP_low+ΔQP×cl(r，c)QP_low的初始值是取定为这样一个QP值，即此时的B(QP)接近于画面转换系数分配量C： ${\mathrm{QP}}_{\mathrm{low}}^{\mathrm{init}}=\underset{\mathrm{QP}}{\arg \min }\left|B\right(\mathrm{QP})-\mathrm{Cn}|$ 在本优选实施例中，在-31与31之间作半周期检索以求得QP_low ^init。在这一过程中QP的上限和下限的作用是很敏锐的。虽然31这一上限足以保证编码器能以该标准所容许的尽可能粗糙的量化运行，更大的上限将因使得对信号位的过剩更为敏感而改变速率控制算法的性能，这在下面将作较详细说明。QP的下限的作用特性亦类似。

QP_low一经确定后，QP等级设定单元15按下式计算出利用QP_low编码r行MB所需的信号位的预期数： $T\left(r\right)$ $\underset{c}{\mathrm{\Σ}}{B}_I\left[\mathrm{QP}\right(r,c),r,c]$ $+\frac{C-B\left({\mathrm{QP}}_{\mathrm{low}}\right)}{N_{\mathrm{row}}}+\frac{S}{N_{\mathrm{row}}}$ 式中N_row为MB的行数。式中第二项计及QP_low时模型所预测的信号位数与实际的转换系数分配量C之间的差，而第三项是考虑附加信息分配置S在每一行中的份额。将所有行的目标值T(r)求和就给到总的画面分配置A。这些所期望的值就成为RC画面编码器单元16的目标行位速率。

速率控制画面的编码器

画面编码过程下面进行对所有MB加以索引编号，并根据在前面的步骤中所决定的模式和量化器步长对每一MB加以编码。不过，因为位速率模型和信号段的内容的频繁变化可一致，所产生信号位的实际数量与所期望的数量将不会准确地匹配。希望控制这种偏差，不仅要使为画面所产生的实际信号位与目标接近，而且要防止违背VBV位速率限制。按照本发明实现了一种速率控制反馈策略，在每行MB的末尾更新QP_low。由许多因素决定这种更新。因素之一是，一幅画面中不同行予料不会产生相同数量的信号位，这是因为Δ(r，c)和Δmc(r，c)、以及所指定的量化器步长变化的原故。在每一行的末尾，将所产生的信号位数与QP等级设定单元15中计算得的所期望的数T(r)加以比较。另一在更新QP_low中起作用的因素是，画面分配置和所产生的信号位的数量两者接近VBV限制的程度。随位速率偏移变化的QP_low更新数增量是误差方向上接近VBV程度的函数。较小的偏离预测的位速使QP_low变化微小或无变化，但引起画面位速率接近某一VBV极限的歧离则会导致QP_low最大可能调整。这样一种策略在防止背离VBV是十分成功的，因而也就能避免像被编码数据的丢失和将无效字节注入位流中之类所不希望的效应。

下面的方程式描述在本优选实施例中所实施的QP_low的更新过程。将对第m行及全部先行行进行编码所用的信号位总数标为B(m)，将B(m)与累积目标之间的差标为ΔB(m)，则有 $\mathrm{\ΔB}\left(m\right)=B\left(m\right)-\underset{r=1}{\overset{m}{\mathrm{\Σ}}}T\left(r\right)$ 在行m编码后，如果ΔB(m)≠o，QP_low将作如下更新：式中，Δu和Δl分别为针对画面n的画面分配量A与VBV上限和下限之间的差：

Δu＝U^VBV-A

Δl＝max(O，L^VBV)-A。这一策略是基于直到当前行的总的信号位分配量误差的，因为它关系到按照VBV标准所允许的最大误差。

在每一I-或P-画面被编码后，计算新的位速率模型参数(a_I和a_P)，以使得位速率模型能与实际产生的转换系数信号位数量(Co)相一致。为了针对I-画面的情况说明这一点，在每一画面编码过程期间，生成以每一QP值编码的MB的所有Δ(r，c)的总和： $\mathrm{S\Δ}\left(\mathrm{QP}\right)=\underset{\mathrm{QP}(r,c)=\mathrm{QP}}{\mathrm{\Σ}}\mathrm{\Δ}(r,c),\mathrm{QP}=1,\·\·\·,31$ a_I的更新值由下式计算 $a_I^{\′}=\frac{C_a}{\underset{\mathrm{QP}=1}{\overset{31}{\mathrm{\Σ}}}\left[\mathrm{S\Δ}\right(\mathrm{QP})\×Q{P}^{b_I}]}$ 和a_I＝(1+α)a_I＋αa′_I实施中可采用a＝0.667。在P-画面编码后采用一类似的策略来更新a_I和a_P。在这种情况下，α与在对应于正被更新的位速率模型参数的模式中被编码的MB的部分成比例。

最后，存储该画面所有附属信息编码所用的信号位数，以便用作同一类型下一画面的附属信息分配量S的大小。

QP赋值和更新策略的实现如图13和14中说明。图13表示测试信号段的笫16、22、61和67帧的每一行中的QP_low和平均QP。应当理解的是，如果最初对QP_low和位速率模型的推测是确切的话，那么从行到行QP_low将绝不会有任何改变。但是，QP_avg将随该画面中不同行的空间活动性和移位补偿率波动。例如，由I-画面QP的大小可以很容易看到，FlowerGarden信号段的下面一半部分行的空间复杂程度要远大于上半部分。此P-画面的结果表明移动补偿降低了QP_avg的变化。图14表明一行一行地所产生的信号位与其目标间的对比。可看到这些结果与目标是相当接近的。

用于B-画面的速率控制方法与I-和P-画面的不同。没有对MB加以分类，因而也就无需估算每行MB将产生的压缩数据量。这样在一画面中的所有行目标都是相同的。每一画面的开始，将量化因子设定为等于前面B-画面的结束部5所具有的值。每行MB之后，QP进行与其他类型画面差不多相同样式的更新，但其上、下限则决定于

Δu＝max(U^VBV-A，A)，

Δl＝max(O，L^VBV)-A。

前述介绍了一种移动视频信号编码器过程，它应用自适应信号位分配和量化在一范围的原始资料和位速率内提供可靠的高质量的编码信号段。这样被编码的数据遵守ISO/IEC MPEG视频信号编码标准的固定位速率要求。为实现这种自适应技术所带来的额外的编码器的复杂性相对于移动估算、离散余弦变换、量化、及Huffman编码等(它们是基础编码器的部分)的基本操作是适度的。这些特点使得此算法适用于灵活地实视实时视频信号编码。

视频信号段的自适应预处理。

本发明中的QP自适应预处理器3的I作是基于这种观察结果，即在一些情况下，如果输入画面经过预处理来削弱高频信息以及/或者除掉那些难以加以编码、而在视觉上较之无噪声的低频信息又较不重要的噪声的话，就可由低位速率编码器产生视觉上令人满意的图象。特别是，当信号段包含有不能忽略大小的、空间上非常复杂的区域，或者如果由于某种原因引起了噪声的话，就需要异乎寻常的信号位数量采准确表征这些高分辩率区域和噪声，从而导致整个视觉效果的降低。这种降低常呈现为视觉上扰乱的、闪烁的噪音状的景象。经常采取的折衷措施是，利用象线性或非线性滤波等来降低高频成分，这样虽然会使图象不完全与原始的一致，但却能较好地再现低频信息而没有干扰影象。另一方面，有许多信号段在低位速率时视频质量是完全合格的，没有任何降低高频信息和噪音的必要。在这样的情况中，预处理带来不必要的降低。因此，希望能作预处理或不作预处理，取决于需要。

是否需要预处理的一个重要标志是以目标位速率对信号段编码所需要的量化等级。采用关于量化因子的信息来控制预处理量的主要优点是它与位速率无关。一般说，如果大部分时间量化级非常高(意味着粗略地量化、因而再现质量很差)，原因就是景象太复杂很难以目标位速率准确地编码。

本发明的第三子系统的总的运行过程将按照图6，並同时参照图15中总体示出的QP的适应预处理器3的组成部分以及图16中所示的优选工作实施方案，加以说明。如上面结合AQ/RC画面编码器1所描述的那样，在每一画面编码时，计算用于量化转换系数的先前的量化因子QP_preve。这一量化等级可能取决于许多事件，其中有：该画面中每一类型MB的数量，由画面信号位分配子系统2所分配给该画面的信号位数量，以及画面的整个复杂程度。用于对一画面进行编码的平均QP常常是用于QP_preve的一个恰当的量。在每一画面的编码完成后，将QP_prev由AQ/RC编码器1传送到QP自适应预处理器3。根据由可能不仅一个前面画面所得的QP_prev值，数个预处理器中之一被选择来应用于由未来某一时刻开始的所有画面，並且一直继续到原来一个画面产生的新的QP_prev值使得预处理器中产生另外的变化。如图15中所看到的，QP_prev信号由一执行滞后缓存器31接收，並被传送到一控制此信号是否进入预处理器单元33的预处理器算器选择器单元32。

预处理器单元33可由一组滤波器，滤波器1，滤波器2，…滤波器n组成。图16中示出了一优选实施方案预处理器单元33，其中所有预处理器滤波器均纯粹是线性的，並有三种可能的滤波器状态(FS)：

1.FS＝0，无滤波器：

2.FS＝1可分离式三分接(3tap FIR filter)滤

       波器，其系数为(

)，

3.FS＝2可分离式三分接滤波器，其系数为(

)。可用于在单元31和32控制下更新滤波器状态的一种算法如下：

滤波器状态更新仅仅在I-画面之后才发生，而且新的状态要到下-I-画面才起作用(这种延迟称之为执行滞后)。 T₁和T₂的有效值分别为10和5。

上面所介绍的滤波器，滤波器状态，滤波器状态更新规则，和执行滞后等的具体选择，仅仅代表本发明领域内许多可能方案之一。可设想的是，滤波器的数目可以是任意的，他们可能是非线性的或者是空间上自适应的。另一种重要的变体是较频繁地进行滤波器状态更新，並同时降低执行滞后。例如，每-P-画面之后作一次滤波器状态更新，而将执行滞后减少为P-画面之间的延迟期间。

Claims (12)

1.运动视频序列的压缩编码方法，其中利用变换和量化对指示序列中画面的数字数据信号进行处理，其特征在于包括步骤：

根据多个预处理方法中的一种，对所述序列中的至少一个画面的数字数据信号进行预处理，以产生预处理的画面数字数据信号的序列；

利用变换和量化技术对预处理的画面数字数据信号进行压缩编码；以及

响应于在对所述序列中先前编码的画面进行压缩编码时所采用的量化程度的指示信号，在对后一画面进行压缩编码之前，选择预处理方法，以便应用在所述一个画面的数字数据信号上。

2.权利要求1所述的方法，其特征在于：根据与相应量化程度有关的预处理的程度对多个预处理方法进行排队，并且相应于所述程度选择至少一个高阈值；以及

将用于预处理所述画面的预处理方法选择为与用于预处理所述序列中先前画面所使用的方法相同，除非用于预处理先前画面的方法的程度超过一个高阈值，据此选择一个较高程度的预处理方法，以预处理所述画面。

3.权利要求1所述的方法，其特征在于：根据与相应量化程度有关的预处理的程度对多个预处理方法进行排队，并且相应于所述程度选择至少一个低阈值；以及

将用于预处理所述画面的预处理方法选择为与用于预处理所述序列中先前画面所使用的方法相同，除非用于预处理先前画面的方法的程度超过一个低阈值，据此选择一个较低程度的预处理方法，以预处理所述画面。

4.权利要求1所述的方法，其特征在于：根据与相应量化程度有关的预处理的程度对多个预处理方法进行排队，并且相应于所述程度选择至少一个阈值；以及

通过对用于预处理所述序列中先前画面的方法的程度与所述阈值进行比较，选择用于预处理所述画面的预处理方法，并且，响应于所述比较结果，产生一个指示是否应该改变预处理方法的程度的判定信号。

5.权利要求4所述的方法，其特征在于：所述判定信号指示只在对所述序列中预先选择的画面进行压缩编码之前改变预处理方法的程度。

6.权利要求4所述的方法，其特征在于：在所述判定信号指示改变程度的画面之后，在所述序列中，预处理方法的程度的改变被延迟数个画面。

7.运动视频序列的压缩编码系统，其中利用变换和量化对指示序列中画面的数字数据信号进行处理，其特征在于包括：

用于根据多个预处理方法中的一种、对所述序列中的至少一个画面的数字数据信号进行预处理、以产生预处理的画面数字数据信号的序列的装置；以及

用于响应于在对所述序列中先前编码的画面进行压缩编码时所采用的量化程度的指示信号、在对后一画面进行压缩编码之前选择预处理方法以便应用在所述一个画面的数字数据信号上、并且向所述预处理装置提供指示所选择的预处理方法的信号的装置。

8.权利要求7所述的系统，其特征在于包括：用于根据与相应量化程度有关的预处理的程度对多个预处理方法进行排队的装置，以及用于相应于所述量化程度选择至少一个高阈值的装置；并且

所述用于选择的装置将用于预处理所述画面的预处理方法选择为与用于预处理所述序列中先前画面所使用的方法相同，除非用于压缩编码先前画面的量化程度超过所述高阈值，据此选择一个较高程度的预处理方法，以预处理所述画面。

9.权利要求7所述的系统，其特征在于包括：用于根据与相应量化程度有关的预处理的程度对多个预处理方法进行排队的装置，以及用于相应于所述量化程度选择至少一个低阈值的装置；并且

所述用于选择的装置将用于预处理所述画面的预处理方法选择为与用于预处理所述序列中先前画面所使用的方法相同，除非用于压缩编码先前画面的量化程度小于所述低阈值，据此选择一个较低程度的预处理方法，以预处理所述画面。

10.权利要求7所述的系统，其特征在于包括：用于根据与相应量化程度有关的预处理的程度对多个预处理方法进行排队的装置，以及用于相应于所述量化程度选择至少一个阈值的装置；并且

所述用于选择的装置通过对用于对所述序列中先前画面进行压缩编码所用的量化程度与所述阈值进行比较，选择用于预处理所述画面的预处理方法，

并且包括：用于响应于所述比较结果、产生一个指示是否应该改变预处理方法的程度的判定信号的装置。

11.权利要求10所述的系统，其特征在于：所述判定信号指示只在对所述序列中预先选择的画面进行压缩编码之前改变预处理方法的程度。

12.权利要求10所述的系统，其特征在于包括：用于响应于所述判定信号、在所述判定信号指示改变程度的画面之后、在所述序列中将预处理方法的程度的改变延迟数个画面的装置。

Images