CN1941915A

CN1941915A - 视频编码方法及装置

Info

Publication number: CN1941915A
Application number: CNA2006100887612A
Authority: CN
Inventors: 武田奈穗美; 中条健; 松村淳
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-09-26
Filing date: 2006-06-05
Publication date: 2007-04-04
Also published as: US20070071094A1; JP2007089035A

Abstract

本发明涉及视频编码方法及装置。视频编码方法包括使用第一量化参数对视频图像中包含的n个图像进行编码，计算表示每个图像类型的编码比特数的第一编码比特数信息，用从第一编码比特数信息中计算出来的每个图像的平均第一编码比特数乘以设置的帧速率以获得第一比特率，使用第二量化参数对n个图像进行编码，计算表示每个图像类型的编码比特数的第二编码比特数信息，用从第一编码比特数信息中计算出来的每个图像的平均第二编码比特数乘以设置的帧速率以获得第二比特率，使用第一比特率、第一量化参数、第二比特率、第二量化参数和目标比特率来计算第三量化参数，并使用第三量化参数作为初始值来执行速率控制。

Description

视频编码方法及装置

技术领域

本发明涉及速率控制，尤其涉及视频编码中的速率控制。

背景技术

因为运动图像数据，也就是视频数据具有大量的数据，所以在分发或积存视频数据时进行压缩编码。在压缩编码时，需要以不超过分发时的传输能力的比特率来编码视频数据，并且需要以不超过积存时能保证的容量的比特数来对其进行编码。为了解决上述需求，通过使用例如恒定比特率(CBR)控制或可变比特率(VBR)控制等技术在视频编码中控制比特率，例如象Wataru Kameyama和TsuyoshiHamamura编著的IDG日本公司(2003年1月28日)的IDG信息和电信系列MPEG-1/MPEG-2/MPEG-4数字广播教科书(第一卷)中所述的那样。在CBR控制中，以每个序列恒定的比特率来对对象视频图像的整个序列组进行编码。在VBT控制中，以每个序列不同的比特率来对对象视频图像的整个序列组进行编码，以便平均比特率变成目标比特率。

这些速率控制系统大致分为两种。其中通过只扫描一次来对对象视频图像进行编码的速率控制系统称为一次(one-pass)速率控制。这分为一次CRB控制和一次VBR控制。相反，其中对对象视频图像的整个序列扫描一次并且对其分析，然后基于分析的结果来确定分配给序列中所包含的每个场景的比特数的速率控制系统称为两次(two-pass)速率控制。这分为两次CBR控制和两次VBR控制。

在两次速率控制中，除非对象视频图像的整个序列的图像质量是已知的，不能开始编码。并且，在编码的时候需要分析处理以及编码处理。为此，两次速率控制不能用于在接收正在广播的视频数据的同时实时地进行编码的应用。一次速率控制用于这样的应用。

在执行一次速率控制时，以图像组(GOP)为单位分配比特数，并且还根据每个图像的全局复杂性度量将每个GOP的比特数分配作为每个图像的比特数。在调整量化参数的同时进行编码以便以这种方式分配的比特数和在实际编码时的编码比特数之间的偏差不会太大。此时，每次对I图像编码时都更新I图像的全局复杂性度量，每次对P和B图像编码时也都更新P和B图像的全局复杂性度量。

另一方面，由KOKAI申请的公开号为2000-115786的日本专利申请公开了一种通过根据为运动图像的每个场景编码的困难程度转换量化参数来防止图像质量劣化的方法。

因为在一次CBR控制中不对对象视频图像进行分析，所以不能识别下一个图像是否包括快速运动、是否是静止图像、平坦图像或者是具有高分辨率的图像的特性。因此，在一次CBR控制中，不能执行考虑了在运动图像的整个序列中的图像质量的编码。此外，为产生主观图像质量所需的比特数甚至取决于图像特性差别很大。因此，在为了执行使每个图像中使用的比特数恒定、而不考虑图像的特性如何的控制的CBR控制中，不一定能获得高图像质量的编码结果。

另一方面，在一次VBR控制中，与一次CBR控制的情况相同，不执行对下一个图像的分析，因此考虑到图像的特性，很难达到高质量图像。而且，在一次VBR控制中，给出优先级来防止图像质量劣化，这样做不是为了将瞬时比特率严格地调整到目标比特率。也就是说，进行控制以便不会让量化参数QP的值大幅度变化。因此，当对象视频图像的序列短时，向目标比特率的收敛性更差，并且存在被编码比特的数量不落入所要求的比特数的情况。

另一方面，在专利文件1中的技术中，当存在场景变化使得运动场景变化到静止图像场景，或者相反，静止图像场景变化到运动场景时，图像质量很容易劣化。这是因为即使基于编码的困难程度来确定量化参数，每个图像类型的分配也不一定合适。

而且，假设在执行一次速率控制时，执行将以GOP为单位分配比特数的过程，以及根据I、P、B图像的每个图像的全局复杂性度量将每个GOP的比特数分配作为每个图像的比特数。在该情况下，在更新每个图像的全局复杂性度量时，更新I图像的频率少于更新P和B图像的频率。因此，存在这样的情况，即通过使用对I图像不适合的全局复杂性度量的值来分配每个图像的比特数，这引起要分配给I图像的比特数不合适的问题。而且，因为I图像和下一个I图像之间的时间差很大，所以I图像之间的图像特性的变化很大。为此，更新I图像的全局复杂性度量的精确度很低，这可能是图像质量劣化的一个原因。

发明内容

本发明的一个方面提供一种在进行速率控制以使得编码数据的比特率接近目标比特率的同时编码视频图像的视频编码方法，该方法包括：使用第一量化参数对视频图像中包含的n个图像进行编码以产生第一编码数据；使用第一编码数据计算表示编码所使用的每个图像类型的编码比特数的第一编码比特数信息；用从第一编码比特数信息中计算出来的每个图像的平均第一编码比特数乘以设置的帧速率以获得第一比特率；使用不同于第一量化参数的第二量化参数对对象视频图像中包含的n个图像进行编码以产生第二编码数据；使用第二编码数据计算表示后一编码所使用的每个图像类型的编码比特数的第二编码比特数信息；用从第一编码比特数息中计算出来的每个图像的平均第二编码比特数乘以设置的帧速率以获得第二比特率；使用第一比特率、第一量化参数、第二比特率、第二量化参数和目标比特率来计算第三量化参数；以及使用第三量化参数作为初始值执行速率控制。

附图说明

图1是根据本发明第一实施例的视频编码装置的框图；

图2是详细的编码器框图，其中在图1中的速率控制是可能的；

图3是表示在本发明第一实施例中的初始参数设置过程的流程图；

图4是表示一组图像的一个例子的视图；

图5是用于解释对象视频图像序列和在计算每个图像类型的比特数中使用的n个图像的位置的视图；

图6是用于解释对象视频图像序列和在计算每个图像类型的比特数中使用的n个图像的位置的视图；

图7是表示在本发明第二实施例中的初始参数设置过程的流程图；

图8是图7中计算全局复杂性度量的初始值的步骤的细节的流程图；

图9是表示在本发明的第三实施例中的初始参数设置过程的流程图；

图10是根据本发明第四实施例的视频编码装置的框图；

图11是表示在第四实施例中的初始参数设置过程的流程图；

图12是用于解释在第四实施例中已经检测到场景变化的帧与在初始参数设置过程中使用的帧之间的关系的视图；

图13是用于解释在第四实施例中已经检测到场景变化的帧与在初始参数设置过程中使用的帧之间的关系的视图；

图14是根据本发明第五实施例的视频编码装置的框图；

图15是表示在第五实施例中的初始参数设置过程的流程图；

图16是表示在图15中确定每个场景的目标比特率的步骤的细节的的流程图；

图17是根据本发明第六实施例的视频编码装置的框图；

图18A是表示第六实施例中的处理过程的流程图；

图18B是表示第六实施例中的处理过程的流程图；

图19是用于解释第六实施例中的编码单元的一个例子的视图；

图20是用于解释第六实施例中的编码单元的另一个例子的视图；

图21是第六实施例中在编码单元中编码时选择内部编码(intra-encoding)的连接图；

图22是第六实施例中在编码单元中编码时选择交互编码(inter-encoding)的连接图；

图23是第六实施例中在编码内部片(intra-slice)时的连接图；

图24是第六实施例中在编码交互片(inter-slice)时的连接图；

图25A是表示在第六实施例中，以每个图像分配比特数、以宏块为单位进行编码以及对每个图像进行虚拟缓冲占有量的更新和量化参数的确定的情况中的处理过程的流程图；

图25B是表示在第六实施例中，以每个图像分配比特数、以宏块为单位进行编码以及对每个图像进行虚拟缓冲占有量的更新和量化参数的确定的情况中的处理过程的流程图；

图26是表示根据第六实施例的视频编码装置中内部编码器的细节的框图；

图27是表示根据本发明第七实施例的视频编码装置中的内部编码器的细节的框图；

图28是表示根据本发明第七实施例的修改例的视频编码装置中的内部编码器的细节的框图；及

图29是根据本发明第七实施例的修改例的视频编码装置的框图。

具体实施方式

以下，将参照附图来详细描述本发明的各个实施例。

(第一实施例)

图1表示根据本发明第一实施例的视频编码装置，所述装置具有目标比特率(BR)输入单元1、帧速率(FR)/重排序延时(M)/GOP数量输入单元2、自适应初始参数确定单元3和速率控制编码器9。自适应初始参数确定单元3具有第一量化参数(QP1)确定单元4、用于为每个图像类型计算编码比特数的计算器5(称作比特数计算器)、使用每个图像类型的比特数的临时比特率计算器6、第二量化参数(QP2)确定单元7和初始参数确定单元8。

图2表示图1中的速率控制编码器9的细节。该例子表示与H.264相关地实现的视频编码器的主要部分。将视频信号101输入到减法器201，所述视频信号是要被编码的对象，由减法器201产生预测误差信号102，所述预测误差信号是视频信号101和预测信号110之间的有限差。由离散余弦变换(DCT)/量化单元202对预测误差信号102进行DCT和量化。将量化的DCT系数信息103输入到解量化/逆DCT单元203和熵编码器212。这里，引用DCT/逆DCT作为正交变换/逆正交变换的一个例子，但并不局限于此。

量化的DCT系数信息103被解量化/逆DCT单元203处理，由此产生与预测误差信号102相对应的信号104。解量化/逆DCT单元203执行与DCT/量化单元202的过程相反处理的逆DCT和解量化。从解量化/逆DCT单元203输出的信号104在加法器204中与来自模式选择切换器209的预测信号相加，由此产生局部解码图像信号105。所述局部解码图像信号105被存储在参考图像存储器205中作为参考图像信号。具有多个帧的参考图像信号被顺序存储在参考图像存储器205中。

将从参考图像存储器205读出的参考图像信号输入到内部预测器206以产生内部预测信号106。参考图像信号被去块滤波器207滤波。将滤波后的参考图像信号107输入到交互预测器(运动补偿预测器)208。交互预测器208搜索与滤波后的具有多个帧的参考图像信号相关的运动矢量，并基于搜索到的运动矢量执行运动补偿，由此产生运动矢量信息108和每个帧的交换预测信号109。

模式选择切换器209根据从编码控制器211输出的编码模式信息(未示出)在内部预测模式下选择内部预测信号106，而在交互预测模式下选择交互预测信号109。将模式选择切换器209选择的预测信号110输入到减法器201。

在熵编码器212中，例如算术编码的熵编码受量化的DCT系数信息103、运动矢量信息108和预测模式信息111的支配，以便产生与各个信息103、108和111相对应的可变长度编码113。将可变长度编码113作为用于语法的数据提供给后一级的复用器(未示出)，并且由于数据被复用而产生编码比特流。输出缓冲器(未示出)对编码比特流进行平滑处理，然后将其发送到发送系统或累积系统(未示出)。

编码控制器211从图1中所示的初始参数确定单元8接收初始参数，并且执行例如在DCT/量化单元202和IDCT/解量化单元203中的量化参数的控制，以及熵编码器212的控制，以便控制编码比特率。

下面，将参照图3描述本实施例中的初始参数设置过程。在下面的描述中，要被编码的对象的视频信号叫做对象视频图像。在设置初始参数的时候，将对象视频图像101输入到自适应初始参数确定单元3，从输入单元1输入与目标比特率(BR)相关的信息，从输入单元2输入与对象视频图像101的设置帧速率(FR)、重排序延时(M)和图像组(GOP)的数量(N)相关的信息。重排序延时是I图像或P图像出现的周期。重排序延时是M的事实意味着M-1个B图像跟随着I图像或P图像。GOP表示从拥有对象视频图像101的I图像直到下一个I图像中的所有的I图像、P图像和B图像的N个图像的集合。例如，图4中示出了M＝3和N＝15的情况中的GOP。这里，在图4中，按照从左边开始的显示顺序来排列图像。

在自适应初始参数确定单元3中，首先，第一量化参数确定单元4确定第一量化参数QP1(步骤S1)。在该情况中，可以根据用户的输入来确定量化参数QP1，或者可基于每个像素的编码比特数来确定QP1。参照后一种方法的一个例子，计算比特率/(帧速率×每个图像的像素数)以根据计算的结果来确定量化参数，例如Siwei Ma；WenGao；Feng Wu；Yan Lu；Image Processing，2003，Processings.2003International Conference，on，Volume 3，14-17 Sep 6，2003，Pages：III-793-6 vol.2中所描述的那样。

下面，通过使用以这种方式确定的量化参数QP1，比特数计算器5计算每个图像类型的比特数I1、P1和B1，其是表示每个图像编码比特数，也就是编码中使用的每个图像类型的每个图像的编码比特数的信息(步骤S2)。这里，每个图像类型的比特数I1表示I图像的比特数，每个图像类型的比特数P1表示P图像的比特数，每个图像类型的比特数B1表示B图像的比特数，

众所周知，在MPEG-2中，I图像是没有参照另一个图像而进行编码的图像，P图像是参照编码的I和P图像中的时间在前的图像进行编码的图像，B图像是参照编码的I和P图像中的时间在前和在后的图像的图像。在H.264中，将片(slice)定义为小于图像的编码单元。有只参照编码对象片的编码部分进行编码的I片，只参照编码的I和P片的最多一个进行编码的P片以及参照编码的I和P片的最多两个进行编码的B片。尽管H.264和MPEG-2之间存在差别，但是在1片制成1个图像的情况下它们存在相似的特性，因此，在下面的描述中将它们描述为I图像、P图像和B图像。

上面描述了计算B1。但是，当实际编码B图像时(即，当重排序延时M是1时)，不需要计算B1。同样，当用I图像进行整个编码时(即当GOP N是1时)，不需要计算P1。

一种计算每个图像类型的比特数I1、P1和B1的方法是用于对对象视频图像101中包含的图像进行实际编码的方法。例如，所述方法是用量化参数QP1对视频序列中的前n个图像执行编码。这使得参照I图像、P图像和B图像来确定至少每个图像的I1、P1和B1的编码比特数是可能的。此时基于重排序延时M的值来确定n的最小值。

由于当重排序延时M是1时，第一个图像被编码成I图像，下一个图像被编码成P图像，所以它满足至少两个来自对象视频图像顶部的图像被编码。假设当重排序延时M是3时，对象视频图像中的第一个图像被编码成I图像。在该情况下，第四个图像被编码成P图像，接着，第二个图像和第三个图像被连续编码成B图像。因此，它满足至少n＝4个来自对象视频图像的顶部的图像被编码。即，在图5所示的对象视频图像中的帧中，只有用图5中的阴影表示的前四个帧被用量化参数QP1实际编码，没有执行用QP1对其他帧进行编码(相应地，没有执行对图像的分析)。

在上面的描述中，已经解释了对M+1个图像进行编码(n＝M+1)的例子。但是，(k×M+1)个图像被编码(n＝k×M+1)，并且对同一类型中的图像的编码比特数取平均以计算每个图像类型的编码比特数。这里，将解释对M+1个图像进行编码(n＝M+1)的例子。

这里，已经对一个帧被编码成一个图像的情况给出了解释。但是，一个帧被分成两个场，并且一个场被编码成一个图像的情况也是相同的。这也应用到下面将描述的其他实施例中。

除了通过用量化参数QP1进行实际编码来检查编码比特数的方法外，还使用一种相对于在完成直到处于编码的中间阶段的DCT的处理过程的步骤时获得的DCT系数，基于在用量化参数QP1进行量化时获得0系数的数量来估计编码比特数的方法。例如，已经在Z.He，Y.K.Kim，Sanjit.K.Mitra“Low-Delay Rate Control for DCT VideoCoding via p-domain Source Modeling”，IEEE Transactions onCircuits and Systems for Video Technology，Vol.11，No.8，oag.928-940，Aug.2001.中报导了该方法。在使用该方法的情况中，其有能力估计只在图5的阴影帧中对于在完成直到DCT的处理的阶段获得的DCT系数的编码比特数。

将已经用这种方式确定的I图像的比特数和P图像的比特数分别作为I1和P1，将两个B图像的比特数的平均值，或者较多的比特数或较少的比特数作为B1。这里，从n个图像中，例如，从对象视频图像的前n个图像中，计算出每个图像类型的比特数I1、P1和B1在本发明中是很重要的。用于计算I1、P1和B1的方法本身不受限制，例如通过实际执行编码来确定比特数，以及通过使用基于0系数的数量的近似值来确定比特数。

下面，通过使用如上所述在比特数计算器5中计算出来的每个图像类型的比特数I1、P1和B1和从输入单元2输入的与设置帧速率有关的信息来在临时比特率计算器6中计算临时比特率(第一比特率)BR1(步骤S3)。例如，考虑一个帧被编码成一个图像的情况，按照下面的内容计算临时比特率BR1。

BR 1 = \frac{I 1 + P 1 \times (\frac{N}{M} - 1) + B 1 \times \frac{N}{M} \times (M - 1)}{N} \times FR - - - - - - - (1)

其中，如上所述，M表示重排序延时；N表示GOP的数量；FR表示帧速率。

另一方面，在一个场被编码成一个图像的情况中，按照下面的内容计算临时比特率BR1。

BR 1 = \frac{I 1 + P 1 \times (\frac{2 \times N}{M} - 1) + B 1 \times \frac{2 \times N}{M} \times (M - 1)}{N} \times FR - - - - - - - (2)

这样，通过将设置的帧速率FR与每个图像的编码比特平均数相乘来确定临时比特率BR1，所述每个图像的编码比特平均数是由每个图像类型的比特数I1、P1和B1确定的(公式(1)或(2)中右手侧的左边)。

下面，在第二量化参数确定单元8中，比较按上面所述计算出来的临时比特率BR1和从目标比特率输入单元1输入的目标比特率BR(步骤S4)，并根据其结果确定第二量化参数QP2(步骤S5到S6)。即，当临时比特率BR1大于目标比特率BR时，在步骤S5中将比QP1大ΔQP1的值设置为QP2，在其他情况中，在步骤S6中将比QP1小ΔQP2的值设置为QP2。这里，ΔQP1和ΔQP2用于设置QP2，使得让通过使用QP2获得的BR2在BR1小于BR时接近BR或大于BR1，并且用于设置QP2，使得在相反情况下让BR2接近BR或者小于BR1。

随后，通过使用在第二量化参数确定单元8中确定的Q2来在比特数计算器5中计算每个图像类型的比特数I2、P2和B2(步骤S7)。在步骤S7中，按照与步骤S2中相同的方式从图5的阴影帧中确定I2、P2和B2。

下面，基于在步骤S7中计算出来的每个图像类型的比特数I2、P2和B2、从输入单元2输入的帧速率FR和重排序延时M以及GOP数N，通过使用与计算BR1的公式(1)或(2)相同的公式(3)或(4)在临时比特率计算器6中计算临时比特率BR2(步骤S8)。

BR 2 = \frac{I 2 + P 2 \times (\frac{N}{M} - 1) + B 2 \times \frac{N}{M} \times (M - 1)}{N} \times FR - - - - - - - - (3)

BR 2 = \frac{I 2 + P 2 \times (\frac{2 \times N}{M} - 1) + B 2 \times \frac{2 \times N}{M} \times (M - 1)}{N} \times FR - - - - - - - (4)

更具体来说，与公式(1)或(2)中一样，通过将设置的帧速率FR与每个图像的编码比特平均数相乘来确定比特率BR2，所述每个图像的编码比特平均数是由每个图像类型的比特数I2、P2和B2来确定的(在公式(3)或(4)中右手侧的左边)。

基于QP1、QP2、BR1、BR2和目标比特率BR在初始参数确定单元7中确定量化参数QP(步骤S9)。作为用于确定量化参数QP的方法，设想作为一个例子的一种方法，其中假设比特率BR的对数对于量化参数QP存在线性关系QP＝a×log(BR)+b，执行如下面的公式所示的内插或外插计算。

QP＝a×log(BR)+b (5)

a = \frac{QP 2 - QP 1}{\log (BR 2) - \log (BR 1)}

b = \frac{QP 1 \cdot \log (BR 2) - QP 2 \cdot \log (BR 1)}{\log (BR 2) - \log (BR 1)}

但是，也能够通过使用QP1和BR1、QP2和BR2之间的关系来计算估计适合于比特率BR的量化参数QP，而且用于计算QP的方法并不限于特定的公式(5)。

此外，已经解释了象图5中那样对来自第一帧的n个图像进行编码上述的例子(其中第一图像是I图像的例子)。但是当考虑到每个图像的编码效率时，并不这样进行编码，在很多情况中是让前M-1个图像是P图像，让第M个图像是I图像。考虑到这些，优选地根据这样一种GOP结构计算出每个图像类型的比特数。

例如，在图6的情况中，编码中使用的所有的图像类型(I图像、P图像和B图像)出现在从第三个帧到第六个帧的四个帧中(四个图像)，所述第三个帧到第六个帧是从对象视频图像的第一帧开始计数的。然后，如图6所示，可以设想每个图像类型的比特数是基于从第三个帧到第六个帧的四个帧(四个图像)中的图像特性计算出来的。如上所述，存在这样的情况，考虑到编码效率，在最后的编码中，让对象视频图像的第一个帧不是I图像，但是让前两个帧是P图像，并且其后紧跟着I图像。在这种情况中，按照图6设置用于每个图像类型的比特数的计算的n个图像的方式让I图像的位置相互对应，而不是象图5中那样设置的方式。因此，有可能改善最终的编码图像的图像质量。

在上面的描述中，通过使用对象视频图像的前n个图像来计算每个图像类型的比特数。但是，实际上，能够计算对象视频图像的比特数的大概值。因此，如果屏幕中没有任何变化，可以通过使用其中间的n个图像的图像来计算每个图像类型的比特数。

本实施例已经描述了这样的例子，其中当使用两个量化参数时，基于与编码中使用的表示每个图像类型的编码比特数的比特数相关的信息来计算比特率，以及基于量化参数和比特率对的两个组合以及目标比特率来确定第三量化参数。但是，允许使用基于三个或更多个量化参数和其比特率对以及目标比特率的量化参数的方法。

在这种情况中，基于三对或更多对量化参数和其比特率以及目标比特率来估计编码中使用的量化参数，但是可以以各种方式设想估计方法。

一种估计方法是从三对或更多对中选择两对、并对这两对应用上述的数学公式(5)的方法，另一种估计方法是基于三对或更多对量化参数和比特率之间的关系、通过使用最小平方等方法来确定近似曲线、由此估计出在近似曲线上适于目标比特率的量化参数的方法。

可以以各种方式设想从三对或更多对量化参数和比特率中选择出两对的方法。

例如，有这样一种方法，其中选择与最接近目标比特率的比特率BR_A相对应的量化参数QP_A，以及与次接近目标比特率的比特率BR_B相对应的量化参数QP_B；以及这样一种方法，当存在与大于目标比特率的比特率BR_C相对应的量化参数QP_C、以及与小于目标比特率的比特率BR_D相对应的量化参数QP_D时，选择两个量化参数QP_C和QP_D、比特率BR_C和BR_D以及目标比特率。怎样去选择并不依赖于本发明。

最后，通过使用由初始参数确定单元7在步骤S9中确定的量化参数初始值QP，使用在速率控制编码器9中的速率控制来进行编码(步骤S10)。当量化参数初始值QP没有根据图像特性进行合适设置时，存在这样一个问题，即图像质量劣化，直到量化参数稳定。根据本实施例，预先计算和设置适于对象视频图像特性的初始参数QP和目标比特率BR，以避免这样的图像质量的初始劣化。

(第二实施例)

下面，将描述本发明的第二实施例。在第二实施例中，在图1的初始参数确定单元7中不仅确定量化参数初始值QP，还确定全局复杂性度量的初始值。

下文中，将解释全局复杂性度量。全局复杂性度量是在MPEG-2的TM5中采用的系统中使用的参数。对于TM5，假设一种模型，其中平均量化参数和编码比特数的乘积对于每个图像类型是常数值，除非图像改变。在下面的公式中，X是每个图像类型的全局复杂性度量，S是每个图像类型的比特数，Q是每个图像类型的平均量化参数。

\begin{matrix} X_{i} = S_{i} Q_{i} \\ X_{p} = S_{p} Q_{p} \\ X_{b} = S_{b} Q_{b} \end{matrix}\} - - - - - - (6)

在TM5的速率控制中，通过使用公式(6)中示出的每个I图像、P图像和B图像的全局复杂性度量值X_i、X_p和X_b来执行下一个图像的比特分配。根据该比特分配，调整每个宏块的量化参数QP以便每个图像的编码比特数不偏离指定值。即由X_i、X_p和X_b的初始值来确定在开始编码时的各个I、P和B图像的比特分配。在TM5中按照下述方式选择X_i、X_p和X_b的初始值。

\begin{matrix} X_{i} = \frac{160 \times BR}{115} \\ X_{p} = \frac{60 \times BR}{115} \\ X_{b} = \frac{42 \times BR}{115} \end{matrix}\} - - - - - - - - - (7)

公式(7)表示，假定I图像的编码比特数是160，则P图像的编码比特数大约是60，B图像的编码比特数大约是42。在静止图像或接近于静止图像的、具有微小运动的图像中，I图像的编码比特数远远大于P图像和B图像的编码比特数。与此相比，在具有较大运动的图像中，在一些情况中P图像的编码比特数和I图像的编码比特数之间几乎没有差别。因此，当用公式(7)的初始值开始编码时，刚开始的时候图像质量会劣化。随着要编码的对象的图像数量的增加，X的值被更新，使得图像质量逐渐稳定。

在本发明的第二实施例中，没有将X的初始值作为如公式(7)的不依赖图像的常数值，而是根据图像的特性适应性地进行确定X。即在图1所示的视频编码装置中执行图7所示的自适应初始参数确定过程S14。在图7中，将步骤S11中的过程加到图3所示的第一实施例中的自适应初始参数过程S13中。与第一实施例不同的是，初始参数确定单元7和速率控制编码器9执行下面的操作。

在初始参数确定单元7中，首先以和第一实施例中相同的方式确定出量化参数QP(步骤S9)。接着，通过量化参数QP计算全局复杂性度量X_i、X_p和X_b的初始值(步骤S11)。作为步骤S11中具体的方法，通过使用量化参数QP来计算每个图像类型I3、P3和B3的比特数(步骤S110)，并且确定X_i、X_p和X_b的初始值以对应于I3、P3和B3的比例，例如如图8所示(步骤S111)。

在步骤S110中计算每个图像类型的比特数的方法与第一实施例中描述的步骤S2中的方法相同。具体来说，例如，使用与对象视频图像的前n个图像相关的每个图像类型当进行编码时的编码比特数。也就是说，仅对图5中阴影的帧用量化参数QP进行编码。此时分别把I图像和P图像的编码比特数作为I3和P3，把两个B图像的比特数的平均值、最大值或最小值作为B3。

确定出全局复杂性度量X_i、X_p和X_b的初始值以与以这种方式获得的每个图像类型的比特数I3、P3和B3的比例相对应。然后，速率控制编码器9通过设置量化参数QP的初始值和X_i、X_p和X_b的初始值来执行对象视频图像的编码。这样，设置了适合于对象视频图像的开始视频图像的特性和编码QP的全局复杂性度量的初始值，因此在开始编码后立即可以获得稳定的图像质量。

这里，尽管已经对要在计算I3、P3和B3时分析的图像是图5中阴影的四个帧的情况作了解释，但是在图6中也可以有阴影的四个帧。此外，已经对通过对I、P和B图像使用相同量化参数QP来计算每个图像类型的比特数I3、P3和B3的例子作了说明。但是可以用这样的方式来计算每个图像类型的比特数I3、P3和B3，即，让P图像和B图像的量化参数或者B图像的量化参数大于I图像的量化参数QP。因为参考I图像的频率高于参考P图像和B图像的频率，所以通常认为与P图像和B图像的情况相比，当I图像的图像质量提高时，更会提高整个图像质量。因此，根据图像类型改变量化参数是有效的。

(第三实施例)

下面，将描述本发明的第三实施例。在本实施例中，在图1所示的视频编码装置中执行图9中所示的自适应初始参数确定过程S15。在图9中，将步骤S12中的过程加入到图7所示的第二实施例中的自适应初始参数确定过程S14中。

具体来说，在第三实施例中，首先以与第二实施例中相同的方式在图1所示的初始参数确定单元7中计算出适合于目标比特率BR的量化参数QP(步骤S9)。接着，按照与第二实施例中相同的方式使用QP计算出全局复杂性度量的初始值(步骤S11)。此后，基于量化参数QP1和QP2、每个图像类型I1、I2、P1、P2、B1、B2的比特数确定出全局复杂性度量的更新公式中的恒定参数(步骤S12)。

第二实施例已经描述了在每个图像类型的全局复杂性度量、每个图像类型的比特数和每个图像类型的平均量化参数之间有如公式(6)所示的关系的情况中的模型(MPEG-2的TM5)。但是模型随着视频编码系统的不同而不同的情况也是可能的。例如，在H.264中使用这样一种模型，其中当量化参数QP增加6时、编码比特数减少一半。然后，为了重写更新全局复杂性度量X_i、X_p和X_b的公式以与H.264中的模型相对应，公式如下面所示。

\begin{matrix} X_{i} = S_{i} \cdot {C_{I}}^{Q_{i}} \\ X_{p} = S_{p} \cdot {C_{P}}^{Q_{p}} \\ X_{b} = S_{b} \cdot {C_{B}}^{Q_{b}} \end{matrix}\} - - - - - - - - (8)

在该情况中，基于QP1、QP2、I1、I2、P1、P2、B1和B2的值如下计算公式(8)中的C_I、C_P和C_B。

\begin{matrix} C_{I} = 2^{\frac{\log (I 1) - \log (I 2)}{Q 2 - Q 1}} \\ C_{P} = 2^{\frac{\log (P 1) - \log (P 2)}{Q 2 - Q 1}} \\ C_{B} = 2^{\frac{\log (B 1) - \log (B 2)}{Q 2 - Q 1}} \end{matrix}\} - - - - - - - (9)

有这样一种倾向，C_I、C_P和C_B的值会根据图像的分辨率、量化参数QP的值和图像的时间变化的大小而变化。因此，通过设置C_I、C_P和C_B的值以与对象视频图像的第一个图像的特性相对应，执行适合于图像特性的全局复杂性度量的更新，除非图像改变，这使得图像质量稳定。

(第四实施例)

图10是根据本发明第四实施例的视频编码装置，并且给图1增加了场景变化检测器11。场景变化检测器11检测例如(a)对象视频图像的当前帧和前一个帧中的像素之间的差别的状态，(b)对象视频图像从运动场景变化到静止图像的状态，以及(c)对象视频图像从静止图像开始运动的状态，作为对象视频图像的场景变化。不仅是状态(a)中的典型的场景变化，(b)和(c)中的运动存在或不存在的变化也可能是速率控制中参数的很大的变化。那么，通过自适应地确定已经产生场景变化的场景(帧)中的参数来防止由于场景变化而引起的图像质量劣化。自适应初始参数确定单元10确定与已经从中检测到该场景变化的场景相关的自适应初始参数，以与场景变化检测器11检测到的所有的场景变化相对应。

在本实施例中，首先在步骤S16中根据图11所示的处理过程来检测场景变化。然后，在已经从其检测到场景变化的场景上执行图3的步骤S13、图7的步骤S14或图9的步骤S15中所示的自适应初始参数确定过程。接着，利用为了与场景变化相对应而计算的初始参数作为每个场景变化的初始值，通过使用速率控制执行编码(步骤S10)。更具体地，相对于场景变化检测器11检测到的至少一个场景来确定适合于例如目标比特率BR的量化参数QP。当开始对检测到的场景编码时，速率控制编码器9通过使用确定的量化参数QP来执行编码。

除了使用对于已经从其检测到场景变化的场景而确定的量化参数QP外，还可以在自适应初始参数确定单元10中确定全局复杂性度量的初始值，或者进一步，在用于更新全局复杂性度量的公式中使用的恒定参数的值。

在根据场景变化确定自适应初始参数的时候，对从发生场景变化的第一个帧开始的n个帧执行分析。例如，当重排序延时M是3时，对从已经从其检测到场景变化i的帧开始的4个帧以及对从已经从其检测到场景变化i+1的帧开始的4个帧(图12中阴影的帧)进行分析，如图12所示。分别相对于场景i和场景i+1来确定自适应初始参数。此外，如图13所示，从已经检测到场景变化i或i+1的帧计数的第M帧开始的M+1个帧，也就是假定M＝3，从第三个帧到第六帧的4个帧可被用于分析以设置自适应初始参数。

根据本实施例，当出现场景变化时，可以设置适合于图像特性的参数，所述场景变化例如为以下的变化(a)对象视频图像的场景剧烈变化，(b)对象视频图像从静止图像变化到运动图像，以及(c)对象视频图像从运动图像变化到静止图像。因此，在场景变化后让图像质量稳定是可能的。

(第五实施例)

图14表示根据本发明第五实施例的视频编码装置，以及向图11的配置中另外增加了对场景特定的目标比特率确定单元12。在本实施例的处理过程中，如图15所示，在步骤S16中在场景变化检测器11中检测对象视频图像的场景变化，此后，在目标比特率确定单元12中确定已经从其检测到场景变化的场景的目标比特率BRsi(步骤S17)。接着，自适应初始参数确定单元10接收步骤S17中对于检测到的场景变化而确定出的BRsi，代替接收目标比特率BR，并且执行图3的步骤S13、图7的步骤S14或图9的步骤S15中所示的自适应初始参数确定过程。随后，利用为了与场景变化相对应而确定的初始参数作为每个场景变化的初始值，通过使用速率控制来执行编码(步骤S10)。

这里，可以设想步骤S17中用于确定目标比特率BRsi的各种方法。作为最简单的方法，使用如图16所示的过程。首先，确定指定的第四量化参数QP4(步骤S19)，并基于QP4计算场景si的每个图像类型的比特数I4_si、P4_si和B4_si(步骤S20)。步骤S16中用于确定QP4的方法与第一实施例中用于确定第一量化参数QP1的方法相同。步骤S20中用于计算I4_si、P4_si和B4_si的方法与第一实施例中用于计算I1、P1和B1的方法相同。

接着，计算场景si中的比特率BR4_si，另外，确定场景si中的目标比特率BRsi(步骤S21)。此时，将场景si的帧数定义为FNUM_si。假设FNUM_si的总数如下式所示与对象视频图像的FNUM帧数相对应。

Σ_{i = 0}^{n} FNUM_si = FNUM - - - - - - - - (10)

在步骤S21中，基于比特率I_si、P_si和B_si的值按照下式计算场景si中的比特率BR4_si。

BR 4_si = \frac{I_si + P_si \times (\frac{N}{M} - 1) + B_si \times \frac{N}{M} \times (M - 1)}{N} \times FR - - - - - - - - (11)

而且，在步骤S21中，通过将BR4_si与整个对象视频图像的比特率和目标比特率的比值相乘来按照下式确定场景si中的目标比特率BRsi。

BR_si = BR 4_si \times \frac{BR}{Σ_{i = 0}^{n} BR 4_si \times \frac{FNUM_si}{FNUM}} - - - - - - - - - - - - (12)

将以这种方式确定的场景si中的目标比特率BRsi代替目标比特率BR输入到自适应初始参数确定单元10，由此，对于参照每个场景变化执行自适应初始参数确定过程(图15的步骤S13、S14或S15)。在为每个场景设置了相对于以这种方式获得的各个场景变化的自适应初始参数后，执行使用速率控制的编码(图15的步骤S10)。

(第六实施例)

通过将编码器15和速率控制器28远远分开来配置图17所示的根据本发明第六实施例的视频编码装置。编码器15具有内部编码器13、交互编码器14和编码模式选择切换器SW1。切换器SW1用于选择编码模式，也就是通过切换内部编码器13的输出和交互编码器14的输出来从任何输出中取出编码器15的输出信号。

内部编码器13和交互编码器14总地表示图2所示的速率控制编码器中分别与内部编码功能和交互编码功能相关的部分。例如，内部编码器13表示具有利用图2中内部预测器206产生的内部预测信号106进行编码的功能的部分。同样，交互编码器14表示具有利用交互预测器208产生的交互预测信号109进行编码的功能的部分。在图2中，除了内部预测器206、块滤波器207和交互预测器208之外的元件都与内部编码器13和交互编码器14中的元件相同。

速率控制器28具有比特数分配器19、虚拟缓冲占有量更新单元20、量化参数确定单元21、计算每片的内部比特数的计算器24(称作内部比特数计算器)，计算每片的编码比特数的计算器25(下文中称作编码比特数计算器)，内部片全局复杂性度量更新单元26、交互片全局复杂性度量更新单元27和切换器SW4和SW5。切换器SW4用于切换对于片特定的内部比特数计算器24的输出和要输入到内部片全局复杂性度量更新单元26的对于片特定的编码比特数计算器25的输出。切换器SW5用于在对于片特定的内部比特数计算器24的输出和内部片全局复杂性度量更新单元27的输入之间进行切换。

将参照图18A和18B来描述处理流程。当在步骤S22中开始每片的编码时，输入的视频信号被输入到编码器15的内部编码器13和交互编码器14，由此在某些编码单元中进行内部编码和交互编码(步骤S23到S24)。用于内部编码和交互编码的编码单元是输入的视频信号的一部分，例如，它们是图19中阴影的16乘16像素的256像素的单元，或者是图20中阴影的从屏蔽的最右边到屏幕的最左边的16列像素的单元。这样，可以以各种方式来设想编码单元和编码顺序，而并不限于本实施例中特定的例子。

在量化参数确定单元21中确定编码中使用的量化参数。即通过反馈控制来确定量化参数，使得当从开始编码的时间点起的编码比特数大于目标值时，在下一次编码时降低编码的比特数，以及在相反的情况中增加编码比特数。这样，比特数被分配在一个或多个编码单元中，并且确定了量化参数以减少分配和实际的编码比特数之间的差。

与上面所述的编码单元分开地设置分配比特数的单元。这里，将分配比特数的单元叫做片。其中对整个片进行内部编码的片被称作内部片，其中对整个片进行交互编码的片被称作交互片。

在编码交互片时，在编码器15，从内部编码模式和交互编码模式中选择编码单元中的编码模式(步骤S25)。检查是否在步骤S25中选择了内部编码模式(步骤S26)。当选择了内部编码模式时，就将切换器SW1连接到内部编码器13的输入，如图21所示(步骤S27)。当选择了交互编码模式时，就将切换器SW1连接到交互编码器14的输出，如图22所示(步骤S28)。

在步骤S27中，如图21所示，取出内部编码的结果作为来自编码器15的输出信号，并将与编码单元在内部编码时的编码比特数相关的信息输入到内部比特数计算器24、编码比特数计算器25和虚拟缓冲占用量更新单元20。在步骤S28中，如图22所示，取出交互编码的结果作为来自编码器15的输出信号，并将与编码单元在交互编码时的编码比特数相关的信息输入到编码比特数计算器25和虚拟缓冲占用量更新单元20。

接着，在虚拟缓冲占有量更新单元20中，根据比特数分配器19分配给当前片的比特数以及与来自编码器15的编码单元的比特数相关的信息来更新虚拟缓冲占有量(步骤S29)。基于在步骤S29中更新的虚拟缓冲占有量来确定与下一个要在编码器15编码的编码单元相对应的量化参数(步骤S30)。稍候将补充说明步骤S29和S30中的处理。对于对象视频图像的片内所有的编码单元来执行上述步骤S23到S30中的处理。

接着，在编码比特数计算器25接收来自编码器15的与在内比编码和交互编码时编码单元的编码比特数相关的信息，通过将片中的编码单元的所有编码比特数相加来计算每个片的编码比特数(步骤S31)。而且，在内部比特数计算器24中，基于与来自编码器15的在内部编码时的编码单元的编码比特数相关的信息，通过将片中的内部编码时编码单元的所有比特数相加(总计)来计算每个片的内部编码时的编码比特数(步骤S32)。

随后，判断当前片是内部片还是交互片(步骤S33)。当作为步骤S33中判断的结果当前片是交互片时，就设置切换器SW4使得内部比特数计算器24的输出被输入到内部片全局复杂性度量更新单元26，并且设置切换器SW5使得编码比特数计算器25的输出被输入到交互片全局复杂性度量更新单元27，如图23所示(步骤S34)。内部片全局复杂性度量更新单元26根据内部比特数计算器24计算出来的每个片的内部比特数来更新内部片全局复杂性度量。交互片全局复杂性度量更新单元27根据编码比特数计算器25计算出来的每个片的编码比特数来更新交互片全局复杂性度量。

交互片包括其中基于一个参考帧执行运动补偿预测的P片和其中基于两个参考帧执行运动补偿预测的B片。这里，那些不对P片和B片之间进行区分的叫做交互片。但是，可以在交互片全局复杂性度量更新单元27中对P片和B片的各自的全局复杂性度量分别进行更新。在该情况中，在比特数分配器19中，通过利用P片和B片的每个的全局复杂性度量来分配每个B片和每个P片的比特数。可能有这样一种情况，其中管理多个全局复杂性度量，使得根据预测误差的方差值的大小来对交互片进行分组，以便执行每个组的全局复杂性度量的存储、更新和参照。这样，本实施例中的交互片全局复杂性度量的使用并不限于特定的方法。

另一方面，作为步骤S33中判断的结果，当当前片是内部片时，设置切换器SW4，使得将编码比特数计算器25的输出被输入到内部片全局复杂性度量更新单元26，如图24所示(步骤S35)。内部片全局复杂性度量更新单元26基于编码比特数计算器25计算出来的每个片的编码比特数来更新内部片的全局复杂性度量。此时，设置SW5，使得编码比特数计算器25的输出不被输入到交互片全局复杂性度量更新单元27。因此，不执行交互片全局复杂性度量的更新。

这里，可以根据在速率控制系统使用的模型来更新交互片和内部片的全局复杂性度量，并且用于更新的模型没有特殊限制。例如，在MPEG-2中采用的TM5中，通过使用每个I图像、P图像和B图像的[全局复杂性度量＝编码比特数×量化参数]的关系式来更新全局复杂性度量。在图17、21到24中，交互片全局复杂性度量更新单元27表示为一个元件。但是，交互片全局复杂性度量更新单元27包括为在编码比特数和量化参数之间具有不同的关系的每种图像类型分别更新全局复杂性度量的功能。

接着，在比特数分配器19中确定分配给接下来要被编码的片的比特数(步骤S36)。在该情况中，利用了内部片全局复杂性度量更新单元26和交互片全局复杂性度量更新单元27中更新的全局复杂性度量。例如，当交互片全局复杂性度量大于内部片全局复杂性度量时，给交互编码的图像分配大量的比特数，在相反情况中，给内部编码的图像分配大量的比特数。

例如，在MPEG-2中使用的TM5中，按照下式计算分别分配给I图像、P图像和B图像的比特数T_I、T_P和T_B。

\begin{matrix} T_{I} = \frac{R}{1 + \frac{N_{P} X_{P}}{X_{I} K_{P}} + \frac{N_{B} X_{B}}{X_{I} K_{B}}} \\ T_{P} = \frac{R}{N_{P} + \frac{N_{B} K_{P} X_{B}}{K_{B} X_{P}}} \\ T_{B} = \frac{R}{N_{B} + \frac{N_{P} K_{B} X_{P}}{K_{P} X_{B}}} \end{matrix}\} - - - - - - - - - - - - (13)

其中，X_I、X_P和X_B分别表示I图像、P图像和B图像的全局复杂性度量；N_P和N_B分别表示直到下一个I图像前剩余的P图像的数量和B图像的数量；R表示直到下一个I图像前分配的比特数。K_P和K_B分别表示取决于量化的常数，例如K_P＝1.0，K_B＝1.4。

虚拟缓冲占有量更新单元20通过累计比特数分配器19分配的比特数与编码比特数之间的差作为虚拟缓冲占有量来更新虚拟缓冲占有量。该过程表示在图18A的步骤S29中。当对于编码图像累计的差是正值时，其表示产生的比特超过了分配的量。

随后，在量化参数确定单元21中，通过输入更新的虚拟缓冲占有量来确定量化参数。即，当虚拟缓冲占有量较大时，使量化参数大一些以减少下一个图像的编码比特数。另一方面，当虚拟缓冲占有量很少时，使量化参数小一些以增加下一个图像的编码比特数。这过程表示在图18A的步骤S30中。在对下一个编码单元进行编码时使用以这种方式确定的量化参数。结果，执行速率控制，使得对象视频图像的整个序列的编码比特数接近目标比特数。

这里，存在两种情况，在一种情况中，分配了比特数的片单元和更新了虚拟缓冲占有量并且通过反馈虚拟缓冲占有量而改变量化参数的单元是相同的，在另一种情况中，二者互不相同。当分配了比特数的片单元和通过反馈虚拟缓冲占有量而改变量化参数的单元互不相同时，例如设想(a1)对每个图像执行比特数的分配(在该情况中，在上面描述的片是图像)，(a2)对图像中的每个宏块进行编码(如图19中一个正方形所示的16像素×16像素)，(a3)对每个宏块更新虚拟缓冲占有量，以及(a4)确定每个宏块的量化参数。该情况中的处理流程可以是在图18A和18B中。此外，设想(b1)以图20的一行(阴影部分或其他部分)为单位进行比特数的分配(在该情况中，所述片是该一行)，(b2)对每行中的宏块进行编码，(b3)每个宏块更新虚拟缓冲占有量，以及(b4)确定每个宏块的量化参数。另外，设想(c1)对每个图像执行比特数的分配，(c2)对每个宏块进行编码，(c3)以图20的一行为单位更新虚拟缓冲占有量，以及(c4)以一行为单位确定量化参数。

另一方面，当分配了比特数的单元和通过反馈控制来改变量化参数的单元相同时，设想(d1)对每个图像执行比特数的分配，(d2)对每个宏块进行编码，(d3)对每个图像更新虚拟缓冲占有量，以及(d4)确定每个图像的量化参数。该情况中的处理流程在图25A和25B中。在图18A到18B和图25A以及25B中，更新虚拟缓冲占有量的步骤S29和确定量化参数的步骤S30的位置是不同的。但是，本发明并不依赖于这些位置，并且可以采用任何一种情况。可以任意改变分配了比特数的单元和通过反馈控制来改变量化参数的单元。

根据本实施例，对每个片更新内部片全局复杂性度量，使得更新频率更高。因此，与内部片全局复杂性度量的最佳值的偏差变小。在现有技术中，只在内部片编码模式中更新内部片全局复杂性度量。因此，当更新前后的内部片图像特性大大不同时，更新的精确度较低，并且在一些情况中图像质量会劣化。与其相反，根据本实施例，在交互片时也更新内部全局复杂性度量，从而更新前后的内部片图像特性的变化小一些。因此，提高了更新的精确性，这使得图像质量的劣化少一些。

在图17的编码器15中，由切换器SW1选择每个宏块的最佳编码模式。在本发明第六实施例的修改例中，当切换器SW1选择最佳编码模式时，如下进行速率控制。当内部编码器13对于输入的视频图像信号执行内部编码时，对于片特定的内部比特数计算器24通过确定和累加每个宏块的编码比特来计算每个内部片的编码比特数。内部片全局复杂性度量更新单元26基于每个内部片的累加编码比特数来更新内部片全局复杂性度量，基于此编码器15执行速率控制。

(第七实施例)

在第六实施例中，如图26所示，用内部预测/DCT/量化单元31和编码量化的DCT系数(正交变换系数)的熵编码器32来配置内部编码器13。与其相反，在根据本发明第七实施例的视频编码装置中，如图27所示，内部编码器13具有内部预测/DCT/量化单元31和基于量化的DCT系数来估计编码比特数的比特数估计单元33，其中未包括熵编码器32。

作为第七实施例的修改例，在内部编码器13中只提供内部预测/DCT/量化单元31，如图28所示，可以在编码比特数计算器25之前放置比特数估计单元34，如图29所示。在该情况中，内部编码器13中也没有包括熵编码器32。

比特数估计单元33和34估计每个编码单元的比特数，对于片特定的编码比特数计算器25通过累加每个编码单元的估计的编码比特数来计算每个片的编码比特数。

如在第一实施例中所述的那样，除了基于熵编码的结果来检查编码比特数的方法外，还提出了一种方法，在该方法中基于量化DCT系数时0系数的数量来估计编码比特数，所述DCT系数是通过编码的中间阶段的DCT变换而获得的(例如，在上述“参考文件2”中)。另外，可能有一种修改的例子，其中通过使用该方法来估计编码比特数，并将其输入到内部比特数计算器24中用于更新内部片全局复杂性度量。在该修改的例子中，除了在计算来自内部编码器13的每个片的内部比特数的处理中估计编码比特数之外的处理可与第六实施例中的处理一样。

可以通过硬件来实现基于上述本发明的各个实施例的视频编码过程。但是，可以通过使用计算机用软件来执行，例如使用个人计算机。根据本发明，可以提供下面提到的程序或者计算机可读的其上存储有所述程序的存储介质。

要注意的是，本发明并不限于上述的原本实施例，在不脱离本发明的宗旨的范围中，在实施本发明的过程中可以修改和嵌入结构元件。此外，通过适当地组合在上述实施例中公开的多个结构元件可以形成各种发明。例如，可以从实施例中示出的所有的结构元件中删除一些结构元件。

而且，可以适当组合不同实施例中的结构元件。因为设置适合于对象视频图像的特性的量化参数是可行的，所以改善了编码图像的图像质量。通过对有限的n个图像执行分析，而不是对整个对象视频图像进行分析，可以避免编码时间的增加。因此，对播放中的图像数据等采用本发明而只有n个图像的编码时间的延时是可能的。

此外，因为对于每个场景变化，在场景变化后设置适合于图像特性的量化参数是可行的，所以改善了场景变化后的图像质量。

而且，更新内部编码的全局复杂性度量的频率更频繁了，并且更新的准确度更高了，从而可以减少复杂性变化的图像的图像质量的劣化。

其他的优点和修改方式对于本领域技术人员来说是容易想到的。因此，本发明在更宽的方面并不限于这里给出和描述的特定的细节和代表性的实施例。因此，在不脱离所附的权利要求及其等效物所定义的本发明总体构思的精神或范围的情况下，可以做出各种修改。

Claims

1.一种视频编码方法，包括：

使用第一量化参数对视频图像中包含的n个图像进行编码以产生第一编码数据；

使用第一编码数据计算表示用于编码的每个图像类型的编码比特数的第一编码比特数信息；

用从第一编码比特数信息中计算出来的每个图像的平均第一编码比特数乘以设置的帧速率以获得第一比特率；

使用不同于第一量化参数的第二量化参数对对象视频图像中包含的n个图像进行编码以产生第二编码数据；

使用第二编码数据计算表示后一编码所使用的每个图像类型的编码比特数的第二编码比特数信息；

用从第二编码比特数信息中计算出来的每个图像的平均第二编码比特数乘以设置的帧速率以获得第二比特率；

使用第一比特率、第一量化参数、第二比特率、第二量化参数和目标比特率来计算第三量化参数；以及

使用第三量化参数作为初始值执行速率控制以使得编码数据的比特率接近目标比特率。

2.一种视频编码装置，包括：

编码器，用于使用第一量化参数和不同于第一量化参数的第二量化参数对视频图像中包含的n个图像进行编码以产生第一编码数据和第二编码数据；

第一计算器，用于分别使用第一编码数据和第二编码数据计算第一编码比特数信息和第二编码比特数信息，所述第一编码比特数信息表示使用第一量化参数对视频图像进行编码中使用的每个图像类型的编码比特数，第二编码比特数信息表示使用第二量化参数对视频图像进行编码中使用的每个图像类型的编码比特数；

第二计算器，用于用从第一编码比特数信息中计算出来的每个图像的平均第一编码比特数乘以设置的帧速率以获得第一比特率；

第三计算器，用于用从第二编码比特数信息中计算出来的每个图像的平均第二编码比特数乘以设置的帧速率以获得第二比特率；以及

第四计算器，用于使用第一比特率、第一量化参数、第二比特率、第二量化参数和目标比特率来计算第三量化参数，其中

所述编码器在使用第三量化参数作为初始值执行速率控制的同时对视频图像进行编码，以使得编码数据的比特率接近目标比特率。

3.根据权利要求2所述的视频编码装置，其中第四计算器通过下面的公式计算第三量化参数：

QP = \frac{QP 2 - QP 1}{\log (BR 2) - \log (BR 1)} \times \log (BR) + \frac{QP 1 \cdot \log (BR 2) - QP 2 \cdot \log (BR 1)}{\log (BR 2) - \log (BR 1)}

其中QP1表示第一量化参数，QP2表示第二量化参数，QP表示第三量化参数，BR1表示第一比特率，BR2表示第二比特率，BR表示目标比特率。

4.根据权利要求2所述的视频编码装置，其中第四计算器计算对象视频的每个场景变化的第三量化参数。

5.根据权利要求2所述的视频编码装置，其中编码器对按多个图像类型的视频图像进行编码，第一计算器计算当对n个图像进行编码时每个图像的第一编码比特数和每个图像的第二编码比特数及表示当使用第三量化参数对n个图像进行编码时的每个图像类型的编码比特数的第三编码比特数信息，其中n≥2；所述视频编码装置还包括：

图像复杂程度指数计算器，用于根据第三编码比特数信息的比值来计算按图像类型的图像复杂程度指数；以及

速率控制器，用于使用按图像类型的图像复杂程度指数作为初始值来进行速率控制。

6.根据权利要求5所述的视频编码装置，其中所述图像复杂程度指数计算器对于对象图像的每个场景变化计算按图像类型的图像复杂程度指数。

7.根据权利要求5所述的视频编码装置，还包括：

更新单元，被配置成根据具有常数参数的更新公式来更新按图像类型的图像复杂程度指数；

常数参数计算器，用于根据第一编码比特数信息、第一量化参数、第二编码比特数信息和第二量化参数，为每个图像类型计算常数参数。

8.根据权利要求7所述的视频编码装置，其中更新公式是下面的公式：

\begin{matrix} X_{i} = S_{i} \cdot {C_{I}}^{Q_{i}} \\ X_{p} = S_{p} \cdot {C_{P}}^{Q_{p}} \\ X_{b} = S_{b} \cdot {C_{B}}^{Q_{b}} \end{matrix}\}

其中X_i、X_p和X_b分别表示I、P和B图像的图像复杂程度指数，S_i、S_p和S_b分别是I、P和B图像的编码比特数，C_I、C_P和C_B分别是常数参数，通过下面的公式计算C_I、C_P和C_B：

[\begin{matrix} C_{I} = 2^{\frac{\log (I 1) - \log (I 2)}{Q 2 - Q 1}} \\ C_{P} = 2^{\frac{\log (P 1) - \log (P 2)}{Q 2 - Q 1}} \\ C_{B} = 2^{\frac{\log (B 1) - \log (B 2)}{Q 2 - Q 1}} \end{matrix}]

QP1表示第一量化参数，QP2表示第二量化参数，I1、P1和B1是I、P和B图像的按图像类型的第一比特数，I2、P2和B2是I、P和B图像的按图像类型的第二比特数。

9.根据权利要求7所述的视频编码装置，其中常数参数计算器为对象视频的每个场景变化计算常数参数。

10.一种用于对视频图像进行编码的视频编码方法，包括：

根据内部编码模式和交互编码模式对视频图像进行编码；

当要被编码的视频图像的图像是用内部编码模式进行编码的时，计算编码比特数；

使用编码比特数来更新与内部编码模式相关的图像复杂程度指数；以及

使用图像复杂程度指数来执行速率控制，以使得编码数据的比特率接近目标比特率。

11.一种对视频图像进行编码的视频编码装置，包括：

编码器，用于根据交互编码模式和内部编码模式对视频图像进行编码；

计算器，用于当要被编码的视频图像的图像是用内部编码模式进行编码的时，计算编码比特数；以及

更新单元，其被配置成使用编码比特数来更新与内部编码模式相关的图像复杂程度指数，并且其中

在使用图像复杂程度指数来执行速率控制，以使得编码数据的比特率接近目标比特率的同时，编码器对视频图像进行编码。

12.根据权利要求11所述的视频编码装置，还包括选择器，用于当编码器在使用图像复杂程度指数进行速率控制的同时对视频图像进行编码时，为视频图像的每个宏块选择交互编码模式和内部编码模式中最佳的一个，并且其中当选择器选择最佳的编码模式时，计算器在用内部编码模式对视频图像的要被编码的图像进行编码时累计每个宏块的被编码比特数，更新单元使用累计的编码比特数来更新与内部编码模式相关的图像复杂程度指数。

13.根据权利要求11所述的视频编码装置，还包括：

选择器，用于当编码器在使用图像复杂程度指数进行速率控制的同时对视频图像进行编码时，为视频图像的每个宏块选择交互编码模式和内部编码模式中最佳的一个；以及

编码比特数估计器，用于当选择器选择最佳的编码模式时，估计在使用内部编码模式对视频图像的要编码的图像进行编码时的每个宏块的编码比特的数量，并且其中

编码比特数计算器累计每个宏块的编码比特数，图像复杂程度指数更新单元使用累计的编码比特数来更新与内部编码模式相关的图像复杂程度指数。

14.根据权利要求13所述的视频编码装置，其中所述编码器包括用于量化正交变换系数的量化器，所述估计器使用所述正交变换系数为每一个编码估计编码比特数，并将它们累计。

15.一种视频编码方法，包括：

使用每个不同值的临时量化参数对视频图像中包含的n个图像进行编码；

对于每个临时量化参数计算表示用于编码的每个图像类型的编码比特数的编码比特数信息；

用从临时编码比特数信息中计算出来的每个图像的平均第一编码比特数乘以设置的帧速率以获得与每个临时量化参数相关的临时比特率；

使用临时量化参数、与每个临时量化参数相关的临时比特率和目标比特率来计算量化参数的初始参数；以及

使用初始参数来执行速率控制以使得编码数据的比特率接近目标比特率。

16.一种视频编码装置，包括：

编码器，用于使用每个不同值的临时量化参数对视频图像中包含的n个图像进行编码；

用于对于每个临时量化参数计算表示用于编码的每个图像类型的编码比特数的编码比特数信息的计算器；

用于使用从临时编码比特数信息中计算出来的每个图像的平均第一编码比特数乘以设置的帧速率以获得与每个临时量化参数相关的临时比特率的计算器；以及

用于使用临时量化参数、与每个临时量化参数相关的临时比特率和目标比特率来计算量化参数的初始参数的计算器，并且其中

所述编码器在使用初始参数进行速率控制的同时对视频图像进行编码以使得编码数据的比特率接近目标比特率。