CN1216887A

CN1216887A - 编码方法和装置及记录图象编码数据的记录媒体

Info

Publication number: CN1216887A
Application number: CN98120499A
Authority: CN
Inventors: 菅原隆幸
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1997-10-30
Filing date: 1998-10-28
Publication date: 1999-05-19
Anticipated expiration: 2018-10-28
Also published as: TW389019B; JPH11136678A; CN1104814C; JP2900927B2

Abstract

本发明提供一种编码方法和编码装置,由代码量控制器21所得到的细量化标度被送给细量化标度变换器22。细量化标度变换器22对应地附加“细量化标度”和“量化矩阵、量化标度”,并向量化器13提供“量化矩阵、量化标度”。量化器13用该量化矩阵与量化标度的乘积来除以来自DCT器12的DCT系数,通过四舍五入来进行量化。通过使用量化标度和量化矩阵的组合并使用细量化标度,就能得到补充到量化标度值之间的有效量化宽度。

Description

编码方法和装置及记录图象编码数据的记录媒体

本发明涉及编码方法和编码装置，特别是涉及对彩色静止图象和彩色运动图象等的图象数据进行编码并记录到记录媒体上的编码方法和编码装置。

作为现有的例子，借助MPEG1运动图象编码标准来进行说明。MPEG是在1988年设立在ISO/IEC JTC1/SC2(国际标准化机构/国际电气标准化会联合技术委员会1/专业分会2、现在的SC29)中的研究运动图象编码标准的组织的名称(Moving Pictures Experts Group)的简称。

MPEG1(MPEG阶段1)是把1.5Mbps程度的存储媒体作为对象的标准，继承了把静止图象编码作为目的的JPEG和把ISDN(综合业务数字网)的电视会议和电视电话的低传输率用的运动图象压缩作为目的的H.261(CCITT SGXV，以现在的ITU-T SG15进行标准化)的基本技术，向存储媒体引入了新的技术。这些在1993年8月作为ISO/IEC11172而成立。

MPEG1是组合了几种技术而形成的。图3表示现有的编码装置的一个例子的方框图。在该图中，所输入的图象数据由减法器10与来自运动补偿预测器11的运动补偿预测化的图象数据相减，而成为削减了时间冗长成分的差分图象数据。该运动补偿预测的预测的方向存在来自向前、向后、双向的三种方式。它们可以在每个16象素×16象素的宏块MB中切换使用。

预测方向由提供给输入图象的图象类型所决定。具有来自向前的预测和不进行预测而独立地对该MB进行编码的两种方式的图象是P图象。具有向后的假设预测、来自向前的预测、来自双向的预测、独立地进行编码的四种方式的图象是B图象。运动补偿是在每个MB中对运动区域进行图形匹配而以ハ-フぺル精度检出运动矢量，在运动移动之后进行预测。运动矢量有水平方向和垂直方向，与表示来自何处的预测MC(运动补偿Motion Compensation)方式一起作为MB的附加信息进行传输。

从图3的减法器10所输出的差分图象数据在DCT器12中进行正交变换。所谓DCT(离散余弦变换Discrete Cosine Transform)是指把余弦函数作为积分核的积分变换向有限空间进行离散变换的正交变换。由MPEG来把MB分成4份，对8×8的DCT块进行二维DCT变换。

一般，由于视频信号的低频成分多而高频成分少，当进行DCT时，系数集中在低频中。进行了DCT的图象数据(DCT系数)由量化器13进行量化。量化是：把用视觉特性重叠了所谓量化矩阵的8×8的两维频率的值和用所谓进行了标量乘积的量化标度的值乘以其全体的值作为量化值，用该量化值除以DCT系数。当用解码器进行逆量化时，用量化值相乘，由此，达到与原来的DCT系数近似的值。

被量化的图象数据由逆量化器14进行逆量化，由逆DCT器15进行逆DCT，进而，在图象存储器中进行暂时存储，然后，在运动补偿预测器11中作为用于计算差分图象的基准的解码图象来使用。

另一方面，从量化器13所取出的量化的图象数据由VLC器17进行可变长度编码。使用量化的值中的直流(DC)成分是预测编码的一个的DPCM(差分脉冲编码调制Differencial Pulse Code Modulation)。交流(AC)成分从低频向高频进行Z形扫描，把零的工作长度和有效系数值作为一个对象，从出现概率高的对象来分配编码长度短的代码，来进行赫夫曼编码。

进行了可变长度编码的数据暂时存储在缓冲器19中，以预定的传输率来作为编码数据而输出。该输出的数据的每个宏块的发生代码量被发送给代码量控制器18，把与目标代码量所对应的发生代码量的差分值反馈给量化器13，来进行代码量控制。反馈被反映为量化标度，具体的代码量控制的方法为以下这样：

由于MPEG进行可变长度编码，则输出的比特流的每单位时间的发生代码量是可变的。但是，在很多应用中，必须以固定速率(CBR：恒定比特率ConstantBitRate)进行发送。因此，在MPEG中，作为用于规定与该比特流相对应的约束条件的假想解码器模型，提出了在被称为VBV(视频缓冲验证器Video Buffering Verifier)的编码器输出上所连接的假想解码器模型。

在该模型中，规定编码器和VBV完全同步地动作，各图象的解码在瞬时内完成，同样瞬时地从VBV缓冲器中除去存储数据。在编码中，可以控制该缓冲器不会下溢和上溢。

对此的详细说明记载在ISO-11172 2,ISO-13818-2,H.262中。为了使发生代码量增加，则减小量化标度，为了使代码量减少，就要增大量化标度。使用该原理，考虑这样的方法：在VBV缓冲器的占有率下，控制量化标度。

但是，如果增大量化标度，则画面质量变差，而且，在从前一个I图象或P图象来预测P图象，从时间上两侧的I图象和P图象来预测B图象的关系上，当I图象变差时，连锁地使其他图象变差。这样，I图象的画质是最重要的，而必须分配足够的代码。

一般，I∶P∶B的代码量分配基本上为6∶3∶2，当在运动较少的场景时，成为8∶2∶1，当运动变大时，成为4∶4∶3。表示出一边考虑与这些图象相对应的代码量分配一边实现全体的速率控制的方式例子。这是在MPEG2的标准下作为试验模型而使用的算法。(a)步骤1

步骤1是给各图象进行比特分配的步骤，在GOP内对尚未编码的图象进行某种加权来分配与GOP(Group of Pictures)的各图象相对应的分配代码量。即，假定：在对各图象进行编码时使用的平均量化标度与发生代码量的乘积，只要画面不变化，则在每个图象类型中为恒定值，在每个I、P和B的各图象中，通过下式来更新参数Xi、Xp和Xb：

Xi=Si×Qi Xp=Sp×Qp Xb=Sb×Qb其中，Xi、Xp和Xb是被称为I图象、P图象和B图象的整体复杂性测量(global comlexity measure)的参数，用前一个相同图象类型的编码结果(发生代码量)Si、Sp和Sb与前一个相同图象类型的平均量化标度Qi、Qp和Qb的乘积来进行定义。

假定；当以I图象的量化标度作为基准时的与P图象的量化标度比率Kp为1.0并且与B图象的量化标度的比率Kb为1.4时，达到理想的画质。通过以上假定，与GOP中的I图象、P图象、B图象相对的分配代码量Ti、Tp、Tb为下式所示的值：【式1】

其中，Np、Nb是GOP内的P图象和B图象的未编码图象个数。

以这样求出的分配代码量为基础，每当在GOP内进行编码时，根据下式来更新给GOP内的未编码图象分配的代码量R：

R=R-Si,p,b(b)步骤2

在步骤2中，为了使在步骤1中所分配的各图象的分配代码量(Ti,Tp,Tb)与实际的发生代码量相一致，则在每个MB中把发生代码量进行相加，并且从目标代码量以MB单位把与过程中的预测目标代码量之差反馈给量化标度。

dji=d0i+B_j-1-(Ti(j-1)/MB_cnt)

djp=d0p+B_j-1-(Tp(j-1)/MB_cnt)

djb=d0b+B_j-1-(Tb(j-1)/MB_cnt)其中，d0i、d0p、d0b是各假想缓冲器的初始占有量，B_j-1是从各图象的开头到第j-1个MB的发生代码量，MB_cnt是一个图象内的MB数。

接着，通过下式来求出与第j个MB相对的量化标度Qj：

Q_j=dj×31/r

r=2×比特率/图象速率

r是决定反馈的响应速度的参数。

在现有的编码方式中，量化标度如上述那样由1至31所控制。这是因为：在MPEG标准中，量化标度被规定为5比特，因此实际上选择的值是1至31值的整数值。

因此，在现有技术中，在必须非常细致地控制代码量的应用中，该量化标度的粗细原样地与代码量控制精度有关，而成为使控制能力降低的原因。在静止图象编码、仅使用一幅MPEG的内部图象的应用中，成为代码量控制精度和细微的画质的控制精度降低的原因。

鉴于上述问题，本发明的目的是提供能够提高代码量控制精度的编码方法和编码装置。

本发明的另一个目的是提供编码方法和编码装置，即使在静止图象编码、仅使用一幅MPEG的内部图象的应用中，能够提高代码量控制精度和细微的画质的控制精度。

为了实现上述目的，本发明的编码方法和编码装置接受编码时的发生代码量，以根据发生代码量和目标代码量的差分值所对应的值来输出把量化标度的预定值细分为多个的细量化标度，把与该输出细量化标度相对应的量化矩阵和量化标度输入量化器，用这些量化矩阵和量化标度的乘积除以量化器的输入数据，来进行量化。

在本发明中，使用量化标度和量化矩阵的组合，并使用所使用的细量化标度，由此，能够得到补充在量化标度值之间的有效量化宽度。

上述细量化标度是把量化标度的1的部分的量化矩阵细分为多个的量化标度，希望成为低频成分多而高频成分少的图象信号的细量化标度。

本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。在这些附图中：

图1是本发明的一个实施例的方框图；

图2是表示本发明的一个实施例的细量化标度与量化矩阵、量化标度以及有效量化宽度的关系的图。

图3是现有的一个例子的方框图。

下面对本发明的实施例进行说明。图1表示本发明的编码方法和编码装置的一个实施例的方框图。在该图中，对与图3相同的构成部分使用相同的标号，而省略其说明。图1的实施例的特征是设置细量化标度变换器22。

在图1中，由VLC器17进行了可变长度编码的数据暂时地存储在缓冲器19中，以预定的传输率作为编码数据而输出，并记录在VCD(视频CD)、DVD盘等记录媒体20上。该输出的数据的每个宏块的发生代码量被提供给代码量控制器21，在此，求出发生代码量与相对应的目标代码量的差分值，进而，以该差分值为基础来求出下述细量化标度，该细量化标度被提供给细量化标度变换器22，在变换为量化矩阵和量化标度之后，反馈给量化器13，来进行代码量控制。上述细量化标度是把现有的量化标度进行细分。

图2是表示上述细量化标度和量化矩阵、量化标度以及有效量化宽度的关系的一个例子。其中，重点地进一步细分量化值小的一方。细量化标度是通过量化矩阵和量化标度组合而实现的。所谓量化矩阵是指用在MPEG中所使用的8象素×8象素的视觉特性进行加权的值的矩阵，用该量化矩阵和量化标度的乘积来除以DCT系数，通过四舍五入来进行量化。

通过下式来实现在MPEG中所规定的量化：

[u,v]=8×c[u,v]∥(Qscale×matrix[u,v])其中，u,v表示量化矩阵内的水平方向、垂直方向的地址，分别取0～7的值。而且，[u,v]是进行量化后的图象数据，c[u,v]是进行量化之前的图象数据，Qscale是1至31的由MPEG所规定的值，matrix[u,v]是8行×8列的由MPEG所规定的量化矩阵。在本实施例中，使用11种量化矩阵。这11种量化矩阵表示在表1、表2和表3中。

【表1】量化矩阵18, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2,量化矩阵28, 2, 3, 4, 4, 5, 5, 6,3, 3, 4, 4, 5, 5, 6, 6,3, 4, 4, 5, 5, 6, 6, 6,4, 4, 4, 5, 5, 6, 6, 7,4, 4, 5, 5, 5, 6, 7, 8,4, 5, 5, 5, 6, 7, 8, 9,5, 5, 5, 6, 6, 7, 9, 11,5, 5, 6, 6, 7, 9, 11, 14,量化矩阵38, 4, 5, 7, 8, 9, 9, 10,5, 5, 7, 7, 8, 9, 10, 11,6, 7, 8, 9, 9, 10, 10, 12,7, 7, 8, 9, 9, 10, 11, 12,7, 8, 9, 9, 10, 11, 12, 14,8, 9, 9, 10, 11, 12, 14, 18,9, 9, 9, 14, 12, 14, 17, 21,9, 9, 11, 12, 14, 17, 21, 24,量化矩阵48, 6, 8, 10, 11, 14, 14, 15,7, 7, 10, 11, 12, 14, 15, 16,9, 10, 11, 13, 14, 15, 15, 17,10, 10, 11, 13, 14, 15, 16, 18,10, 11, 14, 14, 14, 15, 18, 21,11, 14, 14, 14, 15, 18, 21, 27,14, 14, 14, 15, 17, 20, 25, 30,14, 14, 15, 17, 20, 25, 30, 47,

【表2】量化矩阵58, 8, 10, 13, 15, 18, 19, 20,9, 9, 13, 14, 17, 19, 20, 21,11, 13, 15, 18, 19, 20, 20, 22,13, 13, 15, 18, 18, 20, 21, 23,13, 15, 18, 17, 19, 20, 23, 28,15, 18, 17, 19, 20, 23, 28, 35,18, 18, 17, 20, 22, 27, 33, 40,18, 17, 20, 22, 27, 33, 40, 60,量化矩阵68, 10, 13, 16, 18, 21, 21, 24,12, 12, 16, 17, 20, 21, 25, 26,14, 16, 18, 21, 21, 25, 25, 28,16, 16, 18, 21, 21, 24, 26, 29,16, 18, 21, 21, 23, 25, 29, 35,18, 21, 21, 23, 25, 29, 35, 44,21, 21, 21, 24, 28, 33, 41, 50,21, 21, 25, 28, 33, 40, 50, 69,量化矩阵78, 12, 15, 19, 22, 24, 25, 29,14, 14, 19, 20, 23, 25, 29, 32,16, 19, 22, 24, 25, 29, 29, 32,19, 19, 22, 24, 25, 29, 32, 34,19, 22, 24, 25, 27, 30, 34, 41,22, 24, 25, 27, 30, 34, 41, 53,24, 24, 25, 29, 32, 40, 49, 60,24, 25, 30, 32, 40, 49, 60, 78,量化矩阵88, 16, 19, 22, 26, 27, 29, 34,16, 16, 22, 23, 27, 29, 34, 37,19, 22, 26, 27, 29, 34, 34, 38,22, 22, 26, 27, 29, 34, 37, 40,22, 26, 27, 29, 32, 35, 40, 48,26, 27, 29, 32, 35, 40, 48, 58,26, 27, 29, 34, 38, 46, 56, 69,27, 29, 34, 38, 46, 56, 69, 84,

【表3】量化矩阵98, 18, 22, 25, 30, 31, 33, 39,18, 18, 25, 26, 31, 33, 39, 42,22, 25, 30, 31, 33, 39, 39, 43,25, 25, 30, 31, 33, 39, 42, 45,25, 30, 31, 33, 36, 40, 45, 54,30, 31, 33, 36, 40, 45, 54, 66,30, 31, 33, 39, 43, 52, 63, 78,31, 33, 39, 43, 52, 63, 78, 95,量化矩阵108, 20, 24, 28, 33, 34, 37, 43,20, 20, 28, 29, 34, 37, 43, 37,24, 28, 33, 34, 37, 43, 43, 48,28, 28, 33, 34, 37, 43, 47, 50,28, 33, 34, 37, 40, 44, 50, 60,33, 34, 37, 40, 44, 50, 60, 73,33, 34, 37, 43, 48, 58, 70, 87,34, 37, 43, 48, 58, 70, 56, 105,量化矩阵118, 24, 29, 33, 39, 41, 44, 51,24, 24, 33, 35, 41, 44, 51, 56,29, 33, 39, 41, 44, 51, 51, 57,33, 33, 39, 41, 44, 51, 56, 60,29, 39, 41, 44, 48, 53, 60, 72,39, 41, 44, 48, 53, 60, 72, 87,39, 41, 44, 51, 57, 69, 84, 104,41, 44, 51, 57, 69, 84, 104, 126,

在图2中表示了具体的量化矩阵和量化标度的组合、现有的使量化标度1的值为1.0的情况下的本实施例相对的有效量化值。下面表示使用其并使用细量化标度的代码量控制的算法例子。由于步骤1与现有技术相同，则省略其说明，下面对步骤2的算法进行说明。

在步骤2中，为了使在步骤1中所分配的各图象的分配代码量(Ti,Tp,Tb)与实际的发生代码量相一致，则在每个MB中把发

dji=d0i+B_j-1-(Ti(j-1)/MB_cnt)

djp=d0p+B_j-1-(Tp(j-1)/MB_cnt)

接着，通过下式来求出与第j个MB相对的细量化标度Qj:

Q_j=dj×42/r

r=2×比特率/图象速率

r是决定反馈的响应速度的参数。

这样，由代码量控制器21所得到的细量化标度Qj被发送给细量化标度变换器22。细量化标度变换器22附加图2和表1、表2和表3所示的“细量化标度”和“量化矩阵、量化标度”的对应，而给量化器13提供“量化矩阵、量化标度”。在图2中，量化矩阵的数值是表示表1～表3所示的11中量化矩阵中的第几种的量化矩阵的编号。

量化器13用该量化矩阵与量化标度的乘积来除以来自DCT器12的DCT系数，通过四舍五入来进行量化。量化矩阵与VLC器17的输出数据一起通过未图示的复用装置来与图象首部进行复用，而作为编码数据所输出。

根据该实施例，如图2所示的那样，相对于现有的仅有一级的量化标度，把量化标度的1的部分量化矩阵分成11级，使用除0.125、1.25、2.5等的整数值以外的有效量化宽度就能进行编码。结果，现有的仅有1～31级的量化标度如图2所示的那样被扩展为42级。

它们可以在MPEG标准内实现。例如，在MPEG1中，量化矩阵可以在每个GOP中进行变更。这样，在MPEG1中的运动图象的情况下，当使用本实施例来变更代码量控制精度时，使用I图象，语法地取GOP构成，通过发送序列首部，就能变更量化矩阵。

在MPEG2中可以在每个图象中进行变更。这样，在MPEG2中的运动图象的情况下，通过在每个图象中发送表示由MPEG2所规定的矩阵变更的代码(量化矩阵扩展QUANT MATRIX EXTENSION)，就能变更量化矩阵。

在上述实施例中，把量化标度的1的部分量化矩阵分为11种量化矩阵，但是，本发明并不仅限于此，可以是多种的，并且，分为多种的量化矩阵的量化标度的部分可以是除1以外的2～31的任意的量化标度。

如上述那样，根据本发明，使用量化标度和量化矩阵的组合并且使用所使用的细量化标度，来得到补充在量化标度值之间的有效量化宽度，进行代码量控制，因此，即使按MPEG那样，量化标度被规定为5比特，当实际上选择的值选择了1至31的值的整数值之间时，能够实现等价的量化，而能够提高代码量控制精度。

根据本发明，即使在静止图象编码、仅使用一幅MPEG的内部图象的应用中，能够提高代码量控制精度和细微的画质的控制精度。

附图中的标号说明：

在图1中：

11：运动补偿预测器

12：DCT器

13：量化器

14：逆量化器

15：逆DCT器

16：图象存储器

17：VLC器

19：缓冲器

20：记录媒体

21：代码量控制器

22：细量化标度变换器

在图3中：

11：运动补偿预测器

12：DCT器

13：量化器

14：逆量化器

15：逆DCT器

16：图象存储器

17：VLC器

18：代码量控制器

19：缓冲器

Claims

1．一种编码方法，把所输入的图象数据分割为有预定象素的块，接着进行正交变换，然后，使用与量化标度和量化矩阵的乘积相关的有效量化宽度而通过量化器进行量化，对该量化的数据进行可变长度编码，同时，把根据编码时的发生代码量与目标代码量的差分值而生成的上述量化标度反馈给上述量化器，来进行代码量控制，其特征在于，

接受上述编码时的发生代码量，以根据发生代码量和目标代码量的差分值所对应的值来输出把量化标度的预定值细分为多个的细量化标度，把与该输出细量化标度相对应的上述量化矩阵和上述量化标度输入上述量化器，用这些量化矩阵和量化标度的乘积除以上述量化器的输入数据，来进行量化。

2．根据权利要求1所述的编码方法，其特征在于，上述细量化标度是把量化标度的1的部分的量化矩阵细分为多个的量化标度。

3．一种编码装置，其特征在于，包括：

正交变换系数输出装置，在把所输入的图象数据分割为有预定象素的块之后进行正交变换，输出正交变换系数；

量化器，用与外部信号相对应的有效量化宽度来对上述正交变换系数进行量化；

可变长度编码器，对上述量化器的输出数据进行可变长度编码而输出编码数据，同时，输出编码时的发生代码量；

代码量控制器，接受上述编码时的发生代码量，以根据发生代码量和目标代码量的差分值所对应的值来输出把量化标度的预定值细分为多个的细量化标度；

细量化标度变换器，接受从上述代码量控制器所输出的细量化标度，把与该输入细量化标度相对应的上述量化矩阵和上述量化标度作为上述外部信号而输入上述量化器，用这些量化矩阵和量化标度的乘积除以上述量化器的输入数据。

4．根据权利要求3所述的编码装置，其特征在于，上述代码量控制器输出把量化标度的1的部分的量化矩阵细分为多个的细量化标度。

5．一种记录媒体，通过以下编码方法来记录图象编码数据：把所输入的图象数据分割为有预定象素的块，接着进行正交变换，然后，使用与量化标度和量化矩阵的乘积相关的有效量化宽度而通过量化器进行量化，对该量化的数据进行可变长度编码，同时，把根据编码时的发生代码量与目标代码量的差分值而生成的上述量化标度反馈给上述量化器，来进行代码量控制，其特征在于，