CN101969556B

CN101969556B - 图像编码设备和图像编码方法

Info

Publication number: CN101969556B
Application number: CN2010102339360A
Authority: CN
Inventors: 小籔恭平; 渕江孝明
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-07-27
Filing date: 2010-07-20
Publication date: 2013-03-27
Anticipated expiration: 2030-07-20
Also published as: CN101969556A; JP2011029955A; US20110019929A1; JP5251774B2; US8755617B2

Abstract

本发明提供了一种图像编码设备和图像编码方法。图像编码设备包括：第一编码单元，用于利用固定的量化参数来编码图像数据以计算生成代码量；第二编码单元，用于利用多个不同的量化参数并且针对各个量化参数来编码作为帧内图片的图像数据的所述图像数据，以计算生成代码量；代码量控制单元，用于通过基于在第一编码单元处计算出的生成代码量预测用于实现目标生成代码量的量化参数和在采用该量化参数时的生成代码量、并且根据在第二编码单元处计算出的生成代码量来校正该预测出的生成代码量来确定量化参数以实现目标生成代码量；以及第三编码单元，用于利用在代码量控制单元处确定的量化参数来编码图像数据。

Description

图像编码设备和图像编码方法

技术领域

本发明涉及图像编码设备和图像编码方法，并且更具体地，它使得能够在执行对图像的编码时准确执行对生成代码量的预测。

背景技术

迄今为止，就诸如MPEG2(运动图片专家组2)等之类的图像编码方法而言，维持主观图像质量以理想地分配代码量是个大问题。

例如，静止图像的理想代码量分配是其中失真被(以固定的量化尺度(quantized scale))均匀地编码的状态。当到达该失真变得很大的代码量时，能够通过将失真向高频分量或复杂部分偏置来增强主观图像质量。

现在，例如，就国际公布WO96/28937而言，公开了一种图像信号编码方法，其中通过采用根据前馈方法的代码量控制来使能适合于图像质量信号的局部性质的控制，能够提高经解码图像的图像质量。前馈方法用于通过针对多个量化尺度计算将以等长的增量生成的代码量，来在生成代码量不超出目标生成代码量的范围内确定合适的量化尺度。

另一方面，就诸如作为MPEG2的测试模型提议的TM5等之类的代码量控制而言，通过利用虚拟缓冲器的剩余量、在前一次编码时的量化指标和生成代码量之间的关系执行反馈控制，来执行代码量控制。

发明内容

顺便提及，就根据静止图像的上述相关技术而言，为了找到用于实现接近于目标生成代码量的整个画面的均匀性，必须通过利用不同的量化尺度计算代码量来多次执行预测，并且与用于计算的电路有关的成本增大。

此外，就用上述TM5表示的反馈代码量控制而言，不允许应用在每次切换到不同序列来提供适当生成量的量化尺度。因此，与画面的上部相比，画面的下部失真增大，该失真变得显著可见，在进入一序列时生成了过多的代码量，代码量必须被抑制，并且图像质量的失真变得显著。

可以通过预先知晓在利用某一值执行量化时的生成代码量来解决这样的问题。例如，在MPEG2的情况下，尤其是MPEG2帧内(intra)的情况下，随着DCT系数的频率从低频提升到高频，值越来越小。在自然图像的情况下，这一点始终成立。因此，宏块(macro block)的代码量和系数分布之间的相关性很强，并且可以单独利用代码量来进行预测。

然而，就H264/AVC而言，即使对于帧内宏块也存在画面内预测(通过从输入图像中减去预测图像而获得的图像，即差分图像)等，并且在这样的规则不成立的情况下，与MPEG2中的DCT系数的分布相同的分布不被实现。因此，即使通过与和MPEG2兼容的方法相同的方法也不能执行对准确的生成代码量的估计。

已经发现希望提供一种使得能够准确地执行对生成代码量的预测的图像编码设备和图像编码方法。

本发明的一个实施例是一种图像编码设备，包括：第一编码单元，被配置为利用固定的量化参数来执行对图像数据的编码以计算生成代码量；第二编码单元，被配置为利用多个不同的量化参数并且针对所述量化参数中的每个量化参数来执行对作为帧内图片的图像数据的所述图像数据的编码；代码量控制单元，被配置为通过基于在所述第一编码单元处计算出的生成代码量执行对用于实现目标生成代码量的量化参数和在采用该量化参数时的生成代码量的预测、并且根据在所述第二编码单元处计算出的生成代码量来校正该预测出的生成代码量来确定量化参数以使得校正后的生成代码量实现所述目标生成代码量；以及第三编码单元，被配置为利用在所述代码量控制单元处确定的量化参数来执行对所述图像数据的编码。

根据上述配置，通过第一编码单元利用固定的量化参数执行图像数据的预编码处理来计算生成代码量。此外，通过第二编码单元利用多个不同的量化参数对作为帧内图片(I图片)的图像数据的图像数据执行预编码处理来计算生成代码量。代码量控制单元基于通过第一编码单元执行预编码处理而计算出的生成代码量来执行对用于实现目标生成代码量的量化参数和在采用该量化参数时的生成代码量的预测，并且基于通过第二编码单元执行预编码处理而计算出的生成代码量来校正该预测出的生成代码量。例如，如果已经通过第一编码单元编码了I图片，则从在第二编码单元处计算出的生成代码量来计算在所预测出的量化参数下的生成代码量，并且该计算出的生成代码量被取作在第一编码单元处编码的I图片的生成代码量。此外，如果已经在第一编码单元处编码了不同于I图片的图片，则从在第二编码单元处计算出的生成代码量来计算高频分量成本(cost)，根据与I图片的高频分量成本的百分比来校正所预测出的生成代码量，并且该校正后的生成代码量被取作不同于I图片的图片的生成代码量。此外，通过代码量控制单元，量化参数被确定以使得这样预测的与1个GOP(图片组)相应的生成代码量实现目标生成代码量。此外，如果基于高频分量成本将图像数据判别为包括许多高频分量，并且在根据在第二编码单元处计算出的生成代码量来执行校正的情况下，一旦在GOP内关于是否根据在所述第二编码单元处计算出的生成代码量执行校正而执行了切换，切换后的操作就被继续直到GOP的最终的图片为止。通过第三编码单元，利用通过预编码处理而确定的量化参数来执行图像数据的编码。

本发明的另一实施例是一种图像编码方法，包括以下步骤：由第一编码单元执行的第一编码，利用固定的量化参数编码图像数据以计算生成代码量；由第二编码单元执行的第二编码，利用多个不同的量化参数并且针对所述量化参数中的每个量化参数编码作为帧内图片的图像数据的所述图像数据，以计算生成代码量；由代码量控制单元通过基于在所述第一编码单元处计算出的生成代码量执行对用于实现目标生成代码量的量化参数和在采用该量化参数时的生成代码量的预测、并且根据在所述第二编码单元处计算出的生成代码量校正该预测出的生成代码量以使得校正后的生成代码量实现所述目标生成代码量，来确定量化参数；以及由第三编码单元执行的第三编码，利用在所述代码量控制单元处确定的量化参数编码所述图像数据。

根据上述配置，由第一编码单元计算在利用固定量化参数编码图像数据时的生成代码量。此外，由第二编码单元计算在利用多个不同的量化参数并且针对每个量化参数编码作为帧内图片的图像数据的图像数据时的生成代码量。通过代码量控制单元，基于在所述第一编码单元处计算出的生成代码量来预测用于实现目标生成代码量的量化参数和在采用该量化参数时的生成代码量，并且根据在所述第二编码单元处计算出的生成代码量来校正该预测出的生成代码量。此外，量化参数被确定以使得校正后的生成代码量实现目标生成代码量。此外，通过第三编码单元，利用在代码量控制单元处确定的量化参数来执行对图像数据的编码。

因此，在第三编码单元处执行图像数据编码之前，对生成代码量的预测被准确地执行，并且用于实现目标生成代码量的量化参数被确定，并且因此，能够在第三编码单元处执行其中生成代码量等于或小于目标生成代码量的编码处理，因此图像恶化较轻。

附图说明

图1是示出图像编码设备的配置的示图；

图2A到2C是示出量化矩阵的示图；

图3是示出图像编码设备的操作的流程图；

图4是示出基本量化参数确定处理的流程图；

图5是描述用于计算量化参数和生成代码量的处理的示图(第1部分)；

图6是描述用于计算量化参数和生成代码量的处理的示图(第2部分)；

图7是示出用于计算与1个GOP相应的生成代码量的处理的流程图；

图8是示出在采用预测量化参数时的I图片生成代码量计算处理的流程图；

图9是示出第二生成代码量检测处理的流程图；

图10是示出高频分量成本计算操作的流程图；

图11是示出帧内预编码处理的处理结果的示图；以及

图12是示出在采用预测量化参数时的非I图片的生成代码量计算处理的流程图。

具体实施方式

以下将描述用于实现本发明的实施例。就本发明而言，通过用作第一编码单元的预编码单元利用固定的量化参数执行对图像数据的预编码处理来计算生成代码量。此外，通过用作第二编码单元的帧内预编码单元利用多个不同的量化参数对作为帧内图片(I图片)的图像数据的图像数据执行预编码来计算生成代码量。代码量控制单元基于通过预编码单元执行预编码处理而计算出的生成代码量，预测用于实现目标生成代码量的量化参数和在采用该量化参数时的生成代码量。此外，代码量控制单元根据由帧内预编码单元计算出的生成代码量，校正所预测出的生成代码量，从而使得能够准确地执行对生成代码量的预测。此外，代码量控制单元确定量化参数，以使得校正后的生成代码量实现目标生成代码量。用作第三编码单元的主编码单元利用所确定的量化参数来执行对图像数据的编码，从而使得能够执行其中生成代码量等于或小于目标生成代码量的并且图像恶化较轻的编码处理。应注意，将根据如下顺序来给出描述。

1.图像编码设备的配置

2.图像编码设备的操作

1.图像编码设备的配置

图1示出根据本发明一实施例的图像编码设备的配置。图像编码设备10包括图像重新排列处理单元11、预编码单元20、帧内预编码单元30、代码量控制单元40、延迟缓冲器50和主编码单元60。

预编码单元20包括预测模式确定单元21、DCT(离散余弦变换)单元22、量化单元23、逆量化单元24、IDCT(逆离散余弦变换)单元25、预测图像生成单元26和代码长度计算单元27。

帧内预编码单元30包括画面内预测处理单元31、DCT单元32、量化单元33、逆量化单元34、IDCT单元35、帧内预测图像生成单元36和代码长度计算单元37。此外，量化单元33由多级量化单元33-1到33-n构成，并且代码长度计算单元37由多级代码长度计算单元37-1到37-n构成。

主编码单元60包括预测处理单元61、DCT单元62、量化单元63、逆量化单元64、IDCT单元65、预测图像生成单元66和可变长度编码单元67。

在这样的配置的情况下，图像重新排列处理单元11根据例如GOP(图片组)配置将输入图像的图像数据的图片顺序从显示顺序重新排列为编码顺序。随后，图像重新排列处理单元11将以编码顺序重新排列的图像数据输出到预编码单元20、帧内预编码单元30和延迟缓冲器50。

预编码单元20执行对当利用固定的量化参数执行了图像数据编码时的生成代码量的计算，并且将计算出的生成代码量输出到代码量控制单元40。预编码单元20的预测模式确定单元21利用输入图像的图像数据以及在随后描述的预测图像生成单元26处生成的预测图像数据来确定用于每个宏块的预测模式。此外，预测模式确定单元21使用所确定预测模式的预测图像数据来将指示出关于输入图像的图像数据的误差的差分图像数据输出到DCT单元22。

DCT单元22对差分图像执行离散余弦变换以生成DCT系数，并且将此输出到量化单元23。

量化单元23利用固定量化参数QP(p)来执行对DCT系数的量化，并且将生成的经量化的数据输出到逆量化单元24和代码长度计算单元27。

逆量化单元24对经量化的数据执行逆量化以生成DCT系数，并且将此输出到IDCT单元25。

IDCT单元25对从逆量化单元24提供来的DCT系数执行逆离散余弦变换以生成差分图像数据，并且将此输出到预测图像生成单元26。

预测图像生成单元26使用差分图像数据来生成局部经解码图像的图像数据。此外，预测图像生成单元26使用输入图像的图像数据来以宏块为增量执行当前帧和下一时间邻接帧之间的运动估计。此外，预测图像生成单元26基于运动估计结果来执行对局部经解码图像的运动补偿以从局部经解码图像的图像数据生成预测图像数据，并且将此输出到预测模式确定单元21。

代码长度计算单元27利用环境自适应可变长度编码(CAVLC)方法或环境自适应二进制算术编码(CABAC)方法来对经量化的数据执行编码，针对每个宏块计算生成代码量，并且将此输出到代码量控制单元40。

CAVLC方法是比CABAC方法更简单的方法，并且与CAVLC方法相比，CABAC方法是数据量能够被减小的方法。现在，将关于如下的情况给出描述：其中，在预编码单元20处采用可变长度编码方法来简化处理，并且在主编码单元60处采用算术编码方法来减小数据量。对于可变长度编码，某一区域的信息被有效地编码，而对于算术编码，区域能够在不被识别的情况下被有效地编码。因此，当根据可变长度编码来预测算术编码的代码量时可能引起大的误差。然而，与一般的可变长度编码相比，CAVLC能够通过自适应地改变环境来在对区域进行识别的情况下高效地编码该区域。因此，误差被减小，并且能够通过根据CAVLC方法的编码来估计在采用CABAC方法时的生成代码量。因此，也能够通过在代码长度计算单元27处采用CAVLC方法来估计在采用CABAC方法的主编码单元60处的生成代码量。应注意，代码长度计算单元27还能够通过采用CAVLC方法来抑制电路规模。

帧内预编码单元30在所有图像数据作为I图片的情况下使用多个不同的量化参数执行编码，并且针对每一量化参数计算生成代码量以将此输出到代码量控制单元40。帧内预编码单元30的画面内预测处理单元31生成指示出输入图像的图像数据与在帧内预测图像生成单元36处生成的预测图像数据之间的误差的差分图像数据，以将此输出到DCT单元32。

DCT单元32对差分图像数据执行离散余弦变换以生成DCT系数，并且将此输出到量化单元33。

量化单元33由多个级构成，例如，量化单元33-1到33-9的九级。量化单元33-1到33-9通过将三个不同的量化参数QP(i0)、QP(i1)和QP(i2)与三个不同的量化矩阵QMF、QMN和QMS进行组合来根据九种情况执行量化。量化单元33-1到33-9将通过对DCT系数执行量化而获得的经量化数据输出到代码长度计算单元37。此外，量化单元33选择在量化单元33-1到33-9处生成的经量化数据中的一个，并且将此输出到逆量化单元34。

图2A到2C例示出量化矩阵QMF、QMN和QMS。图2A示出量化矩阵QMF。就量化矩阵QMF而言，所有矩阵值是相等的值。也就是说，量化矩阵QMF是具有平坦特性的量化矩阵。图2B示出量化矩阵QMN。就量化矩阵QMN而言，高频分量的矩阵值大于低频分量的矩阵值。也就是说，量化矩阵QMN是具有其中执行对高频分量的削减的一般特性的量化矩阵。图2C示出量化矩阵QMS。就量化矩阵QMS而言，与量化矩阵QMN相比，高频分量的矩阵值是更大的值。也就是说，量化矩阵QMS是具有其中与量化矩阵QMN相比进一步增大对高频分量的削减的特性的量化矩阵。

逆量化单元34对从量化单元33提供来的经量化数据执行逆量化以生成DCT系数数据，并将此输出到IDCT单元35。

IDCT单元35对从逆量化单元34提供来的DCT系数数据执行逆离散余弦变换以生成差分图像数据，并且将此输出到帧内预测图像生成单元36。

帧内预测图像生成单元36使用差分图像数据来生成局部经解码图像的图像数据。此外，帧内预测图像生成单元36将局部经解码图像的图像数据作为预测图像数据输出到画面内预测处理单元31。

代码长度计算单元37由多个级构成，例如，对应于量化单元33的代码长度计算单元37-1到37-9的九级。代码长度计算单元37-1到37-9使用与预编码单元20的代码长度计算单元27相同的方法来执行编码以针对每个宏块计算生成代码量，并且将此输出到代码量控制单元40。

代码量控制单元40从比特速率和GOP配置之间的关系确定将被指派给1个GOP的目标生成代码量。代码量控制单元40基于在预编码单元20处计算出的与1个GOP相应的生成代码量，预测用于实现目标生成代码量的量化参数以及当采用该量化参数时的生成代码量。也就是说，代码量控制单元40预测其中1个GOP的生成代码量等于或小于目标生成代码量并且最紧密地接近目标生成代码量的量化参数，以及当采用该量化参数时的生成代码量。此外，代码量控制单元40根据在帧内预编码单元30处计算出的生成代码量来校正所预测的生成代码量。此外，代码量控制单元40从校正后的生成代码量来确定用于实现目标生成代码量的量化参数以将此输出到主编码单元60。应注意，在以下描述中，用于实现目标生成代码量的量化参数将被称作基本量化参数。

延迟缓冲器50将输入图像的图像数据延迟在代码量控制单元40处确定出基本量化参数的处理所使用的时间，并且将经延迟的图像数据输出到主编码单元60。

主编码单元60利用在代码量控制单元40处确定的基本量化参数来执行对图像数据的编码。主编码单元60的预测处理单元61根据由预编码单元20的预测模式确定单元21所确定的图片类型选择预测图像数据。此外，预测处理单元61生成指示出所选择的预测图像数据与在延迟缓冲器50处被延迟的输入图像的图像数据之间的误差的差分图像，并且将此输出到DCT单元62。

DCT单元62对差分图像数据执行离散余弦变换以生成DCT系数，并且将此输出到量化单元63。

量化单元63使用在代码量控制单元40处确定的量化参数来执行对DCT系数的量化，并且将经量化的数据输出到逆量化单元64和可变长度编码单元67。

逆量化单元64对经量化的数据执行逆量化以生成DCT系数，并且将此输出到IDCT单元65。

IDCT单元65对从逆量化单元64提供来的DCT系数执行逆离散余弦变换以生成差分图像数据，并且将此输出到预测图像生成单元66。

预测图像生成单元66使用差分图像数据来生成局部经解码图像的图像数据。此外，预测图像生成单元66使用来自延迟缓冲器50的图像数据来以宏块为增量执行当前帧与下一时间邻接帧之间的运动估计。此外，预测图像生成单元66基于运动估计结果来执行对局部经解码图像的运动补偿以生成预测图像，并且将此输出到预测处理单元61。

可变长度编码单元67用CAVLC方法或CABAC方法来对经量化的数据执行编码以生成经编码的流，并且输出这些流。可变长度编码单元67例如利用CABAC方法来执行对经量化数据的编码以减小数据量，从而生成经编码的流。

2.图像编码设备的操作

接下来，将描述图像编码设备的操作。图3是示出图像编码设备的操作的流程图。

在步骤ST1，图像编码设备10执行对图片类型的确定以及图像重新排列。图像编码设备10例如根据GOP(图片组)配置来确定输入图像的图片类型。此外，图像编码设备10在图像重新排列处理单元11处将输入图像的图像数据从显示顺序重新排列为编码顺序，并且前进到步骤ST2。

在步骤ST2，图像编码设备10执行预编码处理。图像编码设备10在预编码单元20处利用所确定的图片类型来编码输入图像的图像数据以计算生成代码量，并且前进到步骤ST3。

在步骤ST3，图像编码设备10判别生成代码量是否到达了与1个GOP相应的量。如果在预编码单元20处计算出的生成代码量到达了与1个GOP相应的量，则图像编码设备10前进到步骤ST6，并且如果生成代码量尚未到达与1个GOP相应的量，则返回到步骤ST2。

在步骤ST4，图像编码设备10执行帧内预编码处理。图像编码设备10在帧内预编码单元30处编码作为I图片的输入图像的图像数据以计算生成代码量，并且前进到步骤ST5。此外，图像编码设备10在帧内预编码处理中利用多个不同的量化参数以及多个不同的量化矩阵来并行地执行编码以计算生成代码量。

在步骤ST5，图像编码设备10判别生成代码量是否到达了与1个GOP相应的量。如果在帧内预编码单元30处计算出的生成代码量到达了与1个GOP相应的量，则图像编码设备10前进到步骤ST6。此外，如果生成代码量尚未到达与1个GOP相应的量，则图像编码设备10返回到步骤ST4。

在步骤ST6，图像编码设备10执行要在主编码处理中使用的基本量化参数确定处理。图像编码设备10在代码量控制单元40处从通过执行预编码处理而获得的生成代码量和通过执行帧内预编码处理而获得的生成代码量来确定将被用于主编码处理的基本量化参数。

在步骤ST7，图像编码设备10执行主编码处理。图像编码设备10使用在步骤ST6中确定的基本量化参数来在主编码单元60处编码输入图像的图像数据。

接下来，将描述将被用于主编码处理的基本量化参数确定处理。通过基本量化参数确定处理，基于在预编码单元20处计算出的生成代码量来预测用于实现目标生成代码量的量化参数以及在采用该量化参数时的生成代码量。此外，根据在帧内预编码单元30处计算出的生成代码量来校正该预测出的生成代码量。当目标生成代码量不是由与1个GOP相应的经校正的生成代码量来实现的时，通过改变所预测出的量化参数的参数值来执行对生成代码量的预测以及对它的校正。当目标生成代码量是由与1个GOP相应的经校正的生成代码量来实现的时，取此时的量化参数作为基本量化参数。

图4例示出示出了将被用于主编码处理的基本量化参数确定处理的流程图。在步骤ST11，代码量控制单元40执行对量化参数的预测。代码量控制单元40基于在预编码单元20处计算出的生成代码量来预测用于实现目标生成代码量的量化参数，并且前进到步骤ST12。

图5和图6是描述用于计算量化参数以及生成代码量的处理的示图。代码量控制单元40根据在预编码单元20处利用固定量化参数QP(p)来执行编码时的生成代码量BT(p)，将宏块分成组。此外，例如图5所示，从预先为每个组提供的指示出量化参数和生成代码量之间关系的多条预测曲线中，选出相应组的预测曲线，例如预测曲线CB。此外，例如图6所示，利用所选出的预测曲线CB来预测生成代码量等于或小于目标生成代码量BT(t)并且最紧密地接近目标生成代码量BT(t)的量化参数。

在步骤ST12，代码量控制单元40计算与1个GOP相应的生成代码量。代码量控制单元40根据在帧内预编码单元30处计算出的生成代码量来校正在步骤ST11中预测出的生成代码量，并且计算与1个GOP相应的经校正的生成代码量，并且前进到步骤ST13。

在步骤ST13，代码量控制单元40判别与1个GOP相应的生成代码量是否大于目标生成代码量。当生成代码量不大于目标生成代码量时，代码量控制单元40前进到步骤ST14，并且当生成代码量大于目标生成代码量时，前进到步骤ST15。

在步骤ST14，代码量控制单元40从所预测的量化参数来确定基本量化参数。当生成代码量和目标生成代码量之间的差较小时，例如，当该差小于在将所预测出的量化参数的值减小例如1时生成代码量的增长时，代码量控制单元40取所预测出的量化参数作为基本量化参数，并且结束处理。此外，当生成代码量和目标生成代码量之间的差较大时，代码量控制单元40减小所预测出的量化参数的值以减小该差，并且取此量化参数作为基本量化参数。

在步骤ST15，代码量控制单元40增大所预测出的量化参数的值。代码量控制单元40根据生成代码量和目标生成代码量之间的差来确定增量，增大所预测出的量化参数的值，并且前进到步骤ST16。

在步骤ST16，代码量控制单元40计算与1个GOP相应的生成代码量。代码量控制单元40使用在步骤ST15更新了的量化参数来以与步骤ST12中的方式相同的方式计算与1个GOP相应的生成代码量，并且前进到步骤ST17。

在步骤ST17，代码量控制单元40判别目标生成代码量是否可实现。如果判别出目标生成代码量是不可实现的，则代码量控制单元40返回到步骤ST13，并且如果判别出目标生成代码量是可实现的，则取在步骤ST15更新了的量化参数作为基本量化参数，并且结束处理。例如，当在采用在步骤ST15更新了的量化参数时的生成代码量等于或小于目标生成代码量，并且在采用比在步骤ST15更新了的量化参数小1的量化参数时的生成代码量超出目标生成代码量时，代码量控制单元40判别目标生成代码量是可实现的，并且取更新后的量化参数作为基本量化参数。

因此，基本量化参数能够被确定，藉此目标生成代码量能够被实现。应注意，基本量化参数确定处理并不受限于图4的流程图中示出的处理。例如，根据生成代码量和目标生成代码量之间的差来设定量化参数的增量或减量以再次计算生成代码量。此外，当生成代码量和目标生成代码量之间的差较小时，可以通过每次将量化参数增大或减小1来搜索凭借其能够实现目标生成代码量的量化参数。

图7是例示出与1个GOP相应的生成代码量计算处理的流程图。在步骤ST21，代码量控制单元40利用所预测出的量化参数来计算I图片的生成代码量，并且前进到步骤ST22。

在步骤ST22，代码量控制单元40判别下一图片是否是I图片。当下一图片不是I图片时，代码量控制单元40前进到步骤ST23，并且当下一图片是I图片时，结束与1个GOP相应的生成代码量计算处理。

在步骤ST23，代码量控制单元40使用预测出的量化参数来计算非I图片(即P图片或B图片)的生成代码量，并且返回到步骤ST22。

接下来，将描述用于利用所预测出的量化参数来预测I图片的生成代码量以及非I图片的生成代码量的处理。

在利用所预测出的量化参数来预测I图片的生成代码量的情况下，代码量控制单元40基于预编码处理的生成代码量来预测在采用所预测出的量化参数时的生成代码量。该预测出的生成代码量将被称作第一生成代码量。此外，代码量控制单元40从在帧内预编码处理中获得的生成代码量来计算在采用所预测出的量化参数时的生成代码量。该计算出的生成代码量将被称作第二生成代码量。代码量控制单元40从第一生成代码量和第二生成代码量计算校正系数。此外，代码量控制单元40用计算出的校正系数来校正第一生成代码量，并且取校正后的第一生成代码量作为在采用所预测出的量化参数时I图片的生成代码量。此外，代码量控制单元40计算指示出I图片中的高频分量状态的高频分量成本，并且使用计算出的高频分量成本来执行对第一生成代码量的校正。

在利用所预测出的量化参数来预测非I图片的生成代码量的情况下，代码量控制单元40基于预编码处理的生成代码量来预测在采用所预测出的量化参数时的生成代码量。该预测出的生成代码量将被称作第三生成代码量。此外，代码量控制单元40计算非I图片中的校正系数，使用该校正系数来执行对第三生成代码量的校正，并且取校正后的第三生成代码量作为在采用所预测出的量化参数时的非I图片的生成代码量。

图8是示出在采用所预测出的量化参数时对I图片的生成代码量计算处理的流程图。

在步骤ST41，代码量控制单元40预测第一生成代码量。代码量控制单元40预测在采用所预测出的量化参数时的生成代码量，取此生成代码量作为第一生成代码量，并且前进到步骤ST44。例如，如图6所示，代码量控制单元40使用所选出的预测曲线CB来预测凭借其生成代码量的值等于或小于目标生成代码量BT(t)并且最紧密地接近目标生成代码量BT(t)的量化参数，并且预测在采用该预测出的量化参数时的生成代码量。也就是说，代码量控制单元40取所预测量化参数QP(t)的生成代码量BT(pt)作为第一生成代码量，并且前进到步骤ST44。应注意，量化参数QP(p)应当被预先设定为较小的值以使得在利用量化参数QP(p)执行编码时的生成代码量变得大于目标生成代码量。如果这样设定量化参数QP(p)，则基本量化参数能够被设定以减小等于或小于目标生成代码量并且最紧密地接近目标生成代码量的生成代码量。

在步骤ST44，代码量控制单元40检测第二生成代码量。代码量控制单元40从在利用量化参数QP(i0)到QP(i2)执行编码时的生成代码量BT(i0)、BT(i1)和BT(i2)检测量化参数QP(t)下的生成代码量BT(it)，并且取此作为第二生成代码量。

图9是示出第二生成代码量检测处理的流程图。在步骤ST81，代码量控制单元40从在帧内预编码处理中所采用的量化参数中检测最紧密地接近所预测出的量化参数的量化参数。代码量控制单元40例如从量化参数QP(i0)到QP(i2)中检测最紧密地接近量化参数QP(t)的量化参数，并且取此作为量化参数QP(ia)，并且前进到步骤ST82。

在步骤ST82，代码量控制单元40从在帧内预编码处理中所采用的量化参数中检测第二最紧密地接近所预测出的量化参数的量化参数。代码量控制单元40例如从量化参数QP(i0)到QP(i2)中检测第二最紧密地接近量化参数QP(t)的量化参数，并且取此作为量化参数QP(ib)，并且前进到步骤ST83。

在步骤ST83，代码量控制单元40计算所预测出的量化参数的生成代码量。代码量控制单元40使用在采用量化参数QP(ia)时的生成代码量BT(ia)以及在采用量化参数QP(ib)时的生成代码量BT(ib)来执行内插处理。代码量控制单元40执行作为内插处理的线性内插、曲线内插等以计算所预测出的量化参数QP(t)的生成代码量BT(it)。

例如，如图6所示，代码量控制单元40使用最紧密地接近量化参数QP(t)的量化参数QP(i1)的生成代码量BT(i1)以及第二最紧密地接近量化参数QP(t)的量化参数QP(i0)的生成代码量BT(i0)来执行内插处理。代码量控制单元40通过内插处理来计算所预测出的量化参数QP(t)的生成代码量BT(it)。

代码量控制单元40这样检测所预测出的量化参数QP(t)的生成代码量BT(it)，并且在图8中从步骤ST44前进到步骤ST45。

在步骤ST45，代码量控制单元40计算校正系数。代码量控制单元40使用从预编码处理结果检测出的第一生成代码量BT(pt)和从帧内预编码处理结果检测出的第二生成代码量BT(it)来执行表达式(1)的计算以计算校正系数C(i)，并且前进到步骤ST46。

C(i)＝BT(it)/BT(pt)...(1)

在步骤ST46，代码量控制单元40计算高频分量成本。代码量控制单元40计算指示出I图片中的高频分量的状态的高频分量成本H(i)。

图10是示出高频分量成本计算操作的流程图。此外，图11示出帧内预编码处理的处理结果。

在图10中，在步骤ST91，代码量控制单元40选择帧内预编码处理中的量化参数的最小值。例如，如图11所示，就帧内预编码处理而言，如果量化参数QP(i0)、QP(i1)和QP(i2)(QP(i0)＜QP(i1)＜QP(i2))被采用，则代码量控制单元40选择量化参数QP(i0)，并且前进到步骤ST92。

在步骤ST92，代码量控制单元40选择当采用最小量化参数和从高频到低频的量化步长平坦的量化矩阵时的生成代码量。例如，量化矩阵QMF将是矩阵值为固定值并且从高频到低频的量化步长平坦的矩阵。量化矩阵QMN将是其中高频的矩阵值是比低频的矩阵值更大的值并且与低频相比高频被粗略地量化的矩阵。量化矩阵QMS将是这样的矩阵：其中高频的矩阵值与量化矩阵QMN相比是更大的值，并且量化是在与量化矩阵QMN相比高频分量的削减为陡峭的状态中执行的。在这种情况下，当量化参数QP(i0)被选择为为最小的量化参数时，代码量控制单元40选择在采用量化参数QP(i0)和量化矩阵QMF时的生成代码量BT(i0F)，并且前进到步骤ST93。

在步骤ST93，代码量控制单元40选择在采用最小的量化参数和用于与低频相比粗略地量化高频的常用量化矩阵时的生成代码量。例如，代码量控制单元40选择在采用量化参数QP(i0)和量化矩阵QMN时的生成代码量BT(i0N)，并且前进到步骤ST94。

在步骤ST94，代码量控制单元40计算高频分量成本。代码量控制单元40执行表达式(2)的计算来计算高频分量成本H(i)。

H(i)＝BT(i0F)/BT(i0N)...(2)

当这样计算了高频分量成本时，代码量控制单元40在图8中从步骤ST46前进到步骤ST48，并且执行对所预测出的第一生成代码量的校正。代码量控制单元40利用第一生成代码量BT(pt)和校正系数C(i)来执行表达式(3)的计算以计算经校正的生成代码量BT(itc)。

BT(itc)＝BT(pt)×C(i)×Mt...(3)

当这样执行图8中的处理时，根据使用多个不同的量化参数和多个不同的量化矩阵的帧内预编码处理的处理结果来校正了从使用固定量化参数的预编码处理结果预测出的生成代码量。因此，能够提高I图片的生成代码量的预测准确性。

接下来，将利用图12所示的流程图来描述在采用所预测出的量化参数时的非I图片的生成代码量计算处理。在步骤ST111，代码量控制单元40检测第三生成代码量。代码量控制单元40根据当在预编码单元20处利用固定的量化参数QP(p)执行编码时的生成代码量BT(p)将宏块分成组。此外，代码量控制单元40从预先针对每个组提供的指示出量化参数和生成代码量之间关系的多条预测曲线中选择相应组的预测曲线。此外，代码量控制单元40取通过使用所选出的预测曲线在量化参数QP(t)下已经预测出的生成代码量BT(ut)作为第三生成代码量，并且前进到步骤ST112。

在步骤ST112，代码量控制单元40计算非I图片的高频分量成本。代码量控制单元40执行与在以上图10中示出的高频分量成本计算相同的处理以计算非I图片的高频分量成本H(u)。在这种情况下，利用表达式(4)来执行对高频分量成本H(u)的计算。

H(u)＝BT(i0Fu)/BT(i0Nu)...(4)

应注意，在表达式(4)中，生成代码量BT(i0Fu)和BT(i0Nu)是当使得用于计算高频分量成本的非I图片的图像数据像I图片那样经历帧内预编码处理时的生成代码量。

以这种方式，在图12中的步骤ST112计算了高频分量成本之后，代码量控制单元40前进到步骤ST113以计算校正系数。代码量控制单元40利用在I图片处理中计算出的校正系数C(i)和高频分量成本H(i)以及在步骤ST112中计算出的高频分量成本H(u)来执行表达式(5)的计算，以计算对应于非I图片的校正系数C(ic)，并且前进到步骤ST115。

C(ic)＝C(i)×H(i)/H(u)...(5)

在步骤ST115，代码量控制单元40执行对第三生成代码量的校正。代码量控制单元40利用生成代码量BT(ut)和校正系数C(ic)执行表达式(6)的计算以计算经过校正的生成代码量BT(utc)。

BT(utc)＝BT(ut)×C(ic)...(6)

当这样执行图12中的处理时，根据使用多个不同的量化参数和多个不同的量化矩阵的帧内预编码处理的处理结果校正了从使用固定量化参数的预编码处理结果预测出的生成代码量。因此，能够提高非I图片的生成代码量的预测准确性。

例如如上所述，通过代码量控制单元40，基于通过在预编码单元20处执行预编码而计算出的生成代码量，预测了用于实现目标生成代码量的量化参数以及在采用该量化参数时的生成代码量。此外，根据通过在帧内预编码单元30处执行预编码而计算出的生成代码量，校正了所预测出的生成代码量。此外，通过代码量控制单元40，量化参数被确定以使得校正后的生成代码量实现目标生成代码量。因此，例如，在宏块的生成代码量和量化参数之间的关系随图像而改变的情况下，因该改变引起的生成代码量的预测误差被根据通过在帧内预编码单元30处执行预编码而计算出的生成代码量校正。因此，即使在宏块的生成代码量和量化参数之间的关系随图像而改变的情况下，仍能够准确地执行对生成代码量的预测。

例如，在通过执行预编码处理来执行对生成代码量的预测，并且从预测结果来确定主编码的量化参数的情况下，作为产生预测误差的原因，当高频分量的数目小于估计值时，生成代码量的下降方式改变，并且实际的生成代码量的数量变得小于预测值。具体地，当在预编码处理中固定的量化参数(p)与对应于目标生成代码量的量化参数QP(t)之间的差较大时，误差倾向于变大。为了校正该误差，代码量控制单元40利用通过对I图片的帧内预编码处理而获得的生成代码量。帧内预编码单元30应用多个不同的量化参数，并且因此，与预编码单元20相比能够获得更紧密地接近所预测出的量化参数的量化参数的生成代码量。因此，就对I图片的预测而言，所预测出的生成代码量根据在帧内预编码单元30处计算出的生成代码量而被校正。

此外，关于非I图片，不允许获得误差。然而，此误差由于图片内的高频分量的状态而波动，并且因此，高频分量的状态被从每个图片获得，并且非I图片的生成代码量被根据每个图片关于I图片中的高频分量的状态的差别而校正。

这样，即使在高频分量的状态与在获得预测曲线时的高频分量状态不同的情况下，也能够根据图片的高频分量状态来校正生成代码量，并且因此能够以更准确的方式预测生成代码量。因此，例如，能够准确地执行对与1个GOP相应的生成代码量的预测。

此外，在主编码单元60利用在代码量控制单元40处确定的基本量化参数执行了图像数据编码的情况下，图像几乎不恶化的、生成代码量等于或小于目标生成代码量的经编码数据能够从主编码单元60被输出。

应注意，在高频分量的数目较小的情况下，例如，当在采用量化矩阵QMF时的生成代码量与在采用量化矩阵QMN时的生成代码量之间的差较大时，通过执行预编码处理能够准确地预测生成代码量。因此，当基于高频分量成本判别出图像数据包括许多高频分量时，代码量控制单元40可以根据在帧内预编码单元30处计算出的生成代码量来校正所预测出的生成代码量。例如，当在采用量化矩阵QMF时的生成代码量相比于在采用量化矩阵QMN时的生成代码量的百分比由于图像的性质改变等而增大并且高频分量成本超出预定的设定值时，代码量控制单元40可以根据在帧内预编码单元30处计算出的生成代码量来执行校正。在这种情况下，例如在GOP内，重复地切换要根据在帧内预编码单元30处计算出的生成代码量来进行校正的图片和不要校正的图片可能导致图像质量的恶化。因此，如果在GOP内执行了关于是否根据在帧内预编码单元30处计算出的生成代码量来校正所预测出的生成代码量的切换，则切换后的操作被继续直到GOP的最终的图片为止。这样，能够防止由于在GOP内重复地切换要根据在帧内预编码单元30处计算出的生成代码量来进行校正的图片和不要校正的图片所致的图像质量恶化。

此外，可以通过硬件、软件或二者的组合配置来执行本说明书中描述的一系列处理。在通过软件执行处理的情况下，可以通过将记录了处理序列的程序安装在计算机内的容宿于专用硬件中的存储器中来执行该程序，或者可以通过将该程序安装在能够执行各种类型的处理的通用计算机中来执行该程序。

例如，程序可以被预先记录在用作记录介质的硬盘或ROM(只读存储器)中，或者可以被临时地或永久地存储(记录)在诸如软盘、CD-ROM(紧致盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、半导体存储器等之类的可移动介质中。这样的可移动介质可以作为所谓的套装软件而提供。

应注意，除了从诸如上述介质之类的可移动记录介质被安装到计算机中之外，程序可以无线地或者经由诸如LAN(局域网)、因特网等之类的网络通过线缆从下载站点被传输到计算机。计算机能够接收这样传输的程序以将其安装到诸如内置硬盘等之类的记录介质上。

本申请包含与2009年7月27日递交到日本专利局的日本在先专利申请JP 2009-173909中公开的主题有关的主题，该日本在先专利申请的全部内容通过引用而被结合于此。

应注意，不以受限于本发明的上述实施例的方式来解释本发明。通过本发明的实施例，以例示模式公开了本发明，并且显然本领域中的技术人员能够想到各种修改或变更而不背离本发明的实质和精神。也就是说，为了理解本发明的实质和精神，应当参考权利要求。

Claims

1.一种图像编码设备，包括：

第一编码单元，被配置为利用固定的量化参数来执行对图像数据的编码以计算生成代码量；

第二编码单元，被配置为利用多个不同的量化参数并且针对各个所述量化参数来执行对作为帧内图片的图像数据的所述图像数据的编码，以计算生成代码量；

代码量控制单元，被配置为通过基于在所述第一编码单元处计算出的生成代码量执行对用于实现目标生成代码量的量化参数和在采用该量化参数时的生成代码量的预测、并且根据在所述第二编码单元处计算出的生成代码量来校正该预测出的生成代码量来确定量化参数，以使得校正后的生成代码量实现所述目标生成代码量；以及

第三编码单元，被配置为利用在所述代码量控制单元处确定的量化参数来执行对所述图像数据的编码，其中

所述代码量控制单元从在所述第二编码单元处计算出的生成代码量中选出在采用最接近预测出的量化参数的量化参数时的生成代码量以及在采用第二最接近所述预测出的量化参数的量化参数时的生成代码量，并且从这些选出的生成代码量计算在利用所述预测出的量化参数来执行编码时的生成代码量。

2.根据权利要求1所述的图像编码设备，其中，所述代码量控制单元从1个图片组的在所述第一编码单元和所述第二编码单元处计算出的生成代码量来确定关于该1个图片组的量化参数。

3.根据权利要求2所述的图像编码设备，其中，所述代码量控制单元当帧内图片被在所述第一编码单元处编码时，从在所述第二编码单元处计算出的生成代码量计算在利用所述预测出的量化参数来执行编码时的生成代码量，并且取该计算出的生成代码量作为所述校正后的生成代码量。

4.根据权利要求3所述的图像编码设备，其中，所述第二编码单元使用多个不同的量化矩阵来针对各个所述量化矩阵执行所述生成代码量的计算；

并且其中，所述代码量控制单元当不同于帧内图片的图片在所述第一编码单元处被量化时，从在所述第二编码单元处计算出的生成代码量来计算指示出高频分量的状态的高频分量成本，根据不同于所述帧内图片的图片的高频分量成本相比于所述帧内图片的高频分量成本的百分比来校正所述预测出的生成代码量，并且取该生成代码量作为所述校正后的生成代码量。

5.根据权利要求4所述的图像编码设备，其中，所述代码量控制单元使用在采用最小的量化参数和不对高频分量进行抑制的量化矩阵时的生成代码量和在采用所述最小的量化参数和对高频分量进行抑制的量化矩阵时的生成代码量来计算所述高频分量成本。

6.根据权利要求1所述的图像编码设备，其中，在所述图像数据被判别为包括许多高频分量的情况下，所述代码量控制单元根据在所述第二编码单元处计算出的生成代码量来校正所述预测出的生成代码量。

7.根据权利要求6所述的图像编码设备，其中，如果在图片组内关于是否根据在所述第二编码单元处计算出的生成代码量来校正所述预测出的生成代码量执行了切换，则所述代码量控制单元在切换后继续操作直到所述图片组的最终的图像为止。

8.一种图像编码方法，包括以下步骤：

由第一编码单元执行的第一编码，利用固定的量化参数来编码图像数据以计算生成代码量；

由第二编码单元执行的第二编码，利用多个不同的量化参数并且针对各个所述量化参数来编码作为帧内图片的图像数据的所述图像数据，以计算生成代码量；

由代码量控制单元通过以下步骤来确定量化参数：基于在所述第一编码单元处计算出的生成代码量执行对用于实现目标生成代码量的量化参数和在采用该量化参数时的生成代码量的预测，并且根据在所述第二编码单元处计算出的生成代码量来校正该预测出的生成代码量以使得校正后的生成代码量实现所述目标生成代码量；以及

由第三编码单元执行的第三编码，利用在所述代码量控制单元处确定的量化参数来编码所述图像数据，其中

所述代码量控制单元从在所述第二编码步骤中计算出的生成代码量中选出在采用最接近预测出的量化参数的量化参数时的生成代码量以及在采用第二最接近所述预测出的量化参数的量化参数时的生成代码量，并且从这些选出的生成代码量计算在利用所述预测出的量化参数来执行编码时的生成代码量。