CN101578878A - 编码率变换装置、编码率变换方法及集成电路 - Google Patents

Abstract

一种编码率变换装置，使用在图片的编码时使用的第1量化矩阵对构成编码数据的多个宏块进行反量化，从而获取多个系数数据。使用第1变换值和大于第1变换值的第2变换值将第1量化矩阵变换为第2量化矩阵(S408)，该第1变换值用于变换第1量化矩阵表示的多个系数中、与低于预定频率的频率相对应的低频系数的值，该第2变换值用于变换高频系数的值。在第2量化矩阵是用于增大编码数据的编码率的矩阵时，计算将与至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，β1≥1。使用第2量化矩阵和与多个系数数据的至少一部分系数数据所对应的宏块相对应的计算出的变换后尺度值，对该至少一部分系数数据进行量化。

Description

编码率变换装置、编码率变换方法及集成电路

技术领域

本发明涉及为了进一步削减编码数据的信息量而变换编码率的技术，更加具体地讲，涉及抑制伴随编码率变换形成的画质恶化的编码率变换装置等。

背景技术

近年来，用于实现高度压缩的MPEG2(Moving Picture Experts Group 2：运动图像专家组2)被用作图像编码技术。该技术被用于数字广播、DVD、网络等的记录介质中，与这些用途相结合，可以在一定范围内选择比特率(bitrate)。

例如，在选择将高画质的数字广播记录在记录介质中的比特率时，不将高画质的数据原样记录在记录介质中，而是为了进一步削减信息量，变换编码率以使比特率减小，从而可以在记录介质中记录更多的数据。并且，为了有效利用记录介质的容量，变换编码速度的高速转录(ダビング)等需求也在增加。

并且，在将记录在记录介质中的数字广播分发到网络上时，不将高画质的数据原样分发到网络上，而是根据网络带宽来变换编码率，使比特率减小，从而在带宽狭窄的网络中也能够分发影像。

作为实现以上目的的编码率变换方法的一种方法有再量化型变换方法。该方法不将输入比特流解码到像素级别，而是按照不同的量化尺度(scale)对被反量化后的DCT(Discrete Cosine Transform：离散余弦变换)系数进行再量化，从而变换为所期望的数据量，由此，是不需将解码进行到像素级别即可削减编码率的方法。

以后，在具体说明再量化型的编码率变换方法之前，进行有关MPEG2的DCT变换和量化的具体说明。

在MPEG2中，一个图片(picture)的编码数据由一个以上的片(slice)构成，一个片由一个以上的宏块(macroblock：MB)构成。以下把宏块称为MB。MB具有标题部和块部。以下，把MB的标题部和MB的块部分别称为MB标题部和MB块部。MB块部表示多个量化DCT系数。量化DCT系数是通过将DCT系数量化得到的系数，该DCT系数是对图片按照预定大小的每个块进行DCT(离散余弦变换)而得到的。

并且，一个标准(4:2:0)的宏块由4个亮度块和2个色差块合计6个块构成。块的数量因亮度和色差而不同是基于密度的观点，根据人对亮度比对色差更敏感的视觉特性而确定的。在MPEG2中，将6个块按照亮度Y(左上)、亮度Y(右上)、亮度Y(左下)、亮度Y(右下)、色差Cb(蓝色成分)、色差Cr(红色成分)的顺序编码。

一个块按照8×8大小的系数(量化DCT系数)组被编码，将该系数组反量化、再进行反DCT变换，即可解码为8×8大小的像素。

块中包含的系数组构成为左上的系数为低频成分，随着向右，水平方向成为高频成分的系数，随着向下，垂直方向成为高频成分的系数，右下的系数在水平方向和垂直方向都是高频成分。左上角的1系数是DC成分(直流)，其他是AC成分(交流)。

上述的量化DCT系数的反量化方法根据是不进行运动补偿的IntraMB、还是进行运动补偿的InterMB而不同。IntraMB是利用处理对象的图片内的信息来压缩数据的宏块。并且，在IntraMB中也因DC成分和AC成分而存在差异。InterMB是利用与处理对象的图片不同的图片内的信息来压缩数据的宏块。

IntraMB的DC成分按照下式进行反量化。

(DCT系数)＝(反量化系数)×(量化DCT系数)

另一方面，IntraMB的AC成分按照下式(以下称为反量化的算式)进行反量化。

(DCT系数)＝(2×量化DCT系数)×量化矩阵×量化尺度/32

另外，InterMB与DC成分、AC成分无关，都按照下式(以下称为反量化的算式)进行反量化。

(DCT系数)＝

(2×量化DCT系数+1)×量化矩阵×量化尺度/32(量化DCT系数＞0时)

(2×量化DCT系数)×量化矩阵×量化尺度/32(量化DCT系数＝0时)

(2×量化DCT系数-1)×量化矩阵×量化尺度/32(量化DCT系数＜0时)

在上式中，反量化系数和量化尺度是系数(标量：scalar)，量化矩阵由8×8大小的系数组(矢量)构成，使用与求出的DCT系数的位置对应的系数。

反量化系数和量化矩阵利用图片单位指定，量化尺度利用宏块单位指定。

并且，量化尺度不是按照原样的值来编码，而是从MB标题部表示的被编码的量化尺度码(量化参数)根据图1的表来变换。从量化尺度码(量化参数)进行的量化尺度的变换有线性型和非线性型这两种类型，关于按照哪种类型来编码，利用图片单位指定。

然后，量化DCT系数按照图2A所示的Z字形扫描和图2B所示的交替扫描任一方表示的顺序，只有非0系数被编码。关于采用哪一种扫描顺序，利用图片单位指定。Z字形扫描适合于逐行图像的编码，交替扫描适合于隔行图像的编码。以后，利用Z字形扫描进行说明，但与Z字形扫描相同的理论对于交替扫描也成立。

非0系数的编码是源自前一个非0系数的项目数run(＝连续的0系数的个数)和非0的量化DCT系数值level被编码，在最后的非0系数之后，EOB(End of Block)被编码，自此以后的0系数被省略。例如，在按照从低频成分起7、3、0、0、1、以后全部是0的顺序存在量化DCT系数的块中，按照(run、level)＝(0、7)、(0、3)、(2、1)、EOB的顺序进行编码。

下面，具体说明再量化型的编码率变换方法(参照专利文献1)。

图3是表示MPEG2的解码装置10000的一例结构的方框图。可变长度解码部2201解码MPEG2流，将通过解码得到的多个MB块部分别表示的信息(量化DCT系数)通知反量化部2202。

首先，对于IntraMB，反量化部2202对量化DCT系数进行反量化以恢复成为DCT系数，将DCT系数通知反DCT变换部2203。反DCT变换部2203进行反DCT变换，使DCT系数恢复为像素信息。恢复后的像素信息通过像素复原部2206被输出。并且，像素信息有可能在下一个图片以后被参照，所以被存储在参照帧存储部2204中。

然后，对于InterMB，由于通过反DCT变换得到的像素信息是差分值，所以在将DCT系数输出给像素复原部2206后还需要进行处理。运动补偿部2205从参照帧存储部2204获取由可变长度解码部2201解码后的利用运动矢量指定的参照图像，并通知像素复原部2206。像素复原部2206将参照图像和像素信息的差分相加，求出像素信息并输出。复原后的像素信息与InterMB相同，被存储在参照帧存储部2204中。

图4是表示MPEG2的编码装置10001的一例结构的方框图，基本上是与MPEG解码装置10000相反的结构。

对于IntraMB，像素信息首先在DCT变换部2301被进行DCT变换，通过DCT变换得到的信息被通知给量化部2302。编码率控制部2311利用从可变长度编码部2303得到的实际的编码比特量的实际值校正目标的编码率，同时求出量化尺度，将量化尺度通知量化部2302。

量化部2302按照通过编码率控制计算的量化尺度对DCT系数进行量化，把通过量化得到的信息通知可变长度编码部2303，同时由于还被用作参照图像，所以把通过量化得到的信息通知反量化部2304。可变长度编码部2303把量化DCT系数编码成为流。由于在下一个以后的图片中被用作参照图像，所以与解码装置10000相同，通过反量化部2304、反DCT变换部2305把量化DCT系数解码成为图像信息，图像信息被存储在参照帧存储部2306中。

对于InterMB，为了进行使用了参照图像的图像信息量削减，首先，在运动检测部2307从参照帧存储部2306检测与输入图像的一致度高的图像，并计算运动矢量。运动矢量被通知运动补偿部2308，并且，被编码成为流的MB标题部的信息，因此通知可变长度编码部2303。运动补偿部2308以运动矢量为基础，从参照帧存储部2306获取参照图像，像素减法部2309求出与输入图像的差分，从而削减信息量。以后与IntraMB时相同。

为了在下一个以后的图片中被用作参照图像，在通过反量化部2304、反DCT变换部2305时，求出图像信息的差分，所以像素相加部2310相加由运动补偿部2308求出的参照图像时，可以解码图像信息，图像信息被存储在参照帧存储部2306中。

在此，在MPEG2中，MB标题部的比特量取基本已确定的范围的比特量，MB标题部的比特量在编码流整体中所占比例极小。相反，MB块部的比特量按每个MB的偏差比较大，MB块部的比特量占据编码流的大部分。因此，为了降低编码流的编码率，利用某种手段降低MB块部的量化DCT系数(level)的方法比较有效。

在降低量化DCT系数(level)时，较小的level可以利用较短的编码比特表述。如果level为0，则不需要level的编码本身，所以可以降低编码率。

再量化型的编码率变换装置是利用了上述的量化的性质的变换装置，其构成为结合了MPEG解码装置和MPEG编码装置并省略不必要的结构。由于不需将流解码到图像级别，仅通过量化即可变换编码率，所以具有不需要进行DCT变换或运动补偿的优点。

为了降低量化DCT系数(level)，参照前述的反量化的算式得知，可以增大量化尺度和量化矩阵任一方。首先，具体说明作为再量化型的编码率变换装置的一例的、量化尺度再变换型的编码率变换装置。

图5表示量化尺度再变换型的编码率变换装置11000的结构图。

可变长度解码部2401解码MPEG2流。可变长度解码部2401不变换包括反量化系数及量化矩阵的图片标题，而是将图片标题原样通知可变长度编码部2402(未图示)。可变长度解码部2401将MB标题部的参数通知MB标题存储部2405，同时将MB标题部表示的量化尺度码变换为量化尺度，将该量化尺度通知量化尺度增加变换部2404。可变长度解码部2401将MB块部表示的量化DCT系数等的参数通知反量化部2406。

反量化部2406按照输入流的量化尺度进行反量化，并通知量化部2407。

另一方面，编码率控制部2403按照目标变换编码率计算目标量化尺度，将计算出的目标量化尺度通知量化尺度增加变换部2404。

量化尺度增加变换部2404以目标量化尺度为参考，从输入时的量化尺度变换为输出时的新的量化尺度，将变换后的量化尺度通知量化部2407，同时，将变换后的量化尺度通知MB标题存储部2405。

在MB标题存储部2405中，把量化尺度变换为量化尺度码，并改写为新的值。MB标题存储部2405把对应于MB标题的参数通知可变长度编码部2402。由此，可以得到MB标题部的流。

并且，量化部2407按照新的量化尺度进行量化，把其结果得到的量化DCT系数通知可变长度编码部2402。由此，可以得到MB块部的流。

编码率控制部2403随时从可变长度解码部2401获取解码后的比特量，并且从可变长度编码部2402获得编码后的比特量，进行目标编码率的校正。

下面，具体说明量化尺度再变换型的编码率变换装置11000的编码率控制。

在MPEG2中，在ISO-IEC/JTC1/SC29/WG11/N0400 Test Model 5(以下记述为TM5)中记述有编码时的编码率控制方式，在编码率变换中多采用与TM5同等的方式(参照专利文献1)。因此，首先说明TM5。TM5的编码率控制方式包括3个步骤。

步骤1是根据目标比特率对每个图片进行比特分配的阶段。步骤2是以分配给每个图片的比特为基础来计算量化尺度的阶段。步骤3是考虑视觉特性来校正量化尺度的阶段。

在步骤1，按照目标编码率及图片结构(I、P、B图片)等对每个图片分配比特，这已利用算式进行了规定，由于与本发明没有直接关系，所以省略具体说明。

在步骤2，假定虚拟的基准解码部，进行对虚拟缓冲器的编码率控制。在该编码率控制处理中，进行使分别分配给I、P、B图片的比特量Ti、Tp、Tb、与实际在I、P、B图片中分别产生的比特量Si、Sp、Sb分别一致的处理。具体地讲，根据对每个图片类型独立设定的3种虚拟缓冲器容量，通过宏块单位的反馈控制来求出量化尺度。在I、P、B图片内的第j个宏块的编码时使用的虚拟缓冲器的占有量di(j)、dp(j)、db(j)根据下式确定。

dk(j)＝dk(0)+B(j-1)-Tk×(j-1)/NMB    (其中，k＝i、p、b)

其中，di(0)、dp(0)、db(0)表示虚拟缓冲器的初期占有量。B(j-1)表示截止到第(j-1)个宏块的产生编码量的总和。NMB表示图片的宏块数。根据上述虚拟缓冲器的占有量，I、P、B图片内的第j个宏块的量化尺度mqi(j)、mqp(j)、mqb(j)据下式确定。

mqk(j)＝dk(j)×31/r    (其中，k＝i、p、b)

其中，r表示被称为动作参数(action parameter)的常数。步骤3与本发明没有直接关系，所以省略具体说明。

下面，具体说明量化尺度再变换型的编码率变换装置的量化尺度变换。

通过编码率控制得到量化尺度。但是，在编码率变换中原样地使用该量化尺度未必是好办法。例如，TM5计算与输入流无关的量化尺度。因此，产生与输入流的量化尺度qik(j)相比，通过编码率控制得到的量化尺度mqk(j)比较小的情况。该情况时，如果将mqk(j)原样地用于量化尺度，将导致输出的比特量相比输入流增加。

但是，只要变换输入流并输出，就不可能使输出流的量化误差小于输入流的量化误差，所以此处的比特量的增加完全没有意义。因此，输出流的量化尺度qok(j)可以设为

qok(j)＝max{qik(j)，mqk(j)}    (其中，k＝i、p、b)。

并且，除此之外，还有下述方案(参照专利文献2)，对于输出流的量化尺度qok(j)，不是原样使用通过编码率控制得到的量化尺度mqk(j)，而是设为qok(j)＝

qik(j)     (mqk(j)＜1.5×qik(j)时)

2×qik(j)  (1.5×qik(j)≤mqk(j)＜2×qik(j)时)

mqk(j)     (2×qik(j)＜mqk(j)时)

(其中，k＝i、p、b)

这样能够抑制每个同一编码量的画质恶化。无论在哪种情况下，输出流的量化尺度都不是原样使用通过编码率控制得到的量化尺度，而是参照通过编码率控制得到的量化尺度，将输入流的量化尺度变换为增加方向。

下面，使用图6说明量化尺度再变换型的编码率变换装置11000的量化的具体示例。

编码率控制和量化尺度变换的结果是量化尺度由4变为8，即被变换为2倍。参照前述的反量化的算式，需要使量化DCT系数与量化尺度大致成反比例，所以需要将量化DCT系数变换为1/2倍。

在具有8个非0量化DCT系数(level)7、-3、2、1、4、1、-1、1的InterMB的块中，本来希望变换为3.5、-1.5、1、0.5、2、0.5、-0.5、0.5。但是，由于量化DCT系数只能以整数编码，所以3.5、-1.5、1、0.5、2、0.5、-0.5、0.5分别被整数化成为3、-1、1、0、2、0、0、0(其中，小数点以后的部分被舍去)，level的值减小。

并且，非0系数的个数从变换前的8个减小为变换后的4个。在对其进行编码时，输入时为50bit的编码量可以减小为25bit，所以能够降低编码率。

但是，在整数化时(舍去小数点以后的部分)产生误差(量化误差)。量化尺度是与量化DCT系数的全部的频率成分相关的系数。因此，有可能在从低频成分到高频成分的全部频率中一律产生误差。其中，对于针对低频成分的误差，人的视觉非常敏感，该误差作为块状的噪声被观察到。

在量化尺度再变换型的编码率变换装置中，需要仅利用量化尺度来控制编码率，所以为了达到目标编码率，必须增大量化尺度变换率，因此有可能大规模地产生起因于上述低频成分的误差的块噪声。其中，量化尺度变换率是用于变换量化尺度的值的值。

另一方面，作为再量化型的编码率变换方法，不仅有量化尺度再变换型的编码率变换方式，还有量化矩阵再变换型的编码率变换方式(参照专利文献3)。

量化矩阵是块大小(8×8)的系数组。量化矩阵与量化尺度不同，系数相对每个频率成分是独立的，所以如果对于每个频率成分变更变换率并控制量化误差，则有可能可以解决量化尺度再变换型的编码率变换装置的问题。

图7表示量化矩阵再变换型的编码率变换装置12000。

可变长度解码部2501解码MPEG2流。可变长度解码部2501将包括通过解码得到的量化矩阵的图片标题通知给图片标题存储部2505，同时通知量化矩阵高频域增加变换部2504。

编码率控制部2503根据目标变换编码率，将该图片的目标编码量通知量化矩阵高频域增加变换部2504。

量化矩阵高频域增加变换部2504根据控制信息，把输入流的量化矩阵的高频成分(高频域)的系数变换为增加方向，将表示所变换的系数的变换后的量化矩阵通知量化部2507，同时将变换后的量化矩阵通知图片标题存储部2505。

图片标题存储部2505将图片标题通知可变长度编码部2502。由此，可以得到图片标题的流。

然后，作为MB的处理，可变长度解码部2501将MB标题直接通知可变长度编码部2502(未图示)。并且，可变长度解码部2501将MB的块部的量化DCT系数等的参数通知反量化部2506。

并且，量化部2507按照新的量化矩阵进行量化，把其结果得到的量化DCT系数通知可变长度编码部2502。由此，可以得到MB块部的流。

在对全部MB的处理结束后，编码率控制部2503从可变长度解码部2501获得解码后的比特量，从可变长度编码部2502获得编码后的比特量，并进行目标编码率的校正。

下面，具体说明量化矩阵再变换型的编码率变换装置的编码率控制。

该图片的目标编码量的计算与量化尺度再变换型的编码率变换装置11000相同，可以适用TM5的步骤1，所以此处省略说明。

但是，关于宏块单位的控制，在量化尺度再变换型的编码率变换装置11000中是适用TM5的步骤2，由于这是变更量化尺度的方法，所以不能适用于本方式。

下面，具体说明量化矩阵再变换型的编码率变换装置12000的量化矩阵变换。

在此，作为控制量化矩阵的变换的一例，例如列举下述示例，定义I、P、B图片的第i个图片的量化矩阵强度wi(i)、wp(i)、wb(i)，根据前一个图片的实际值(目标与编码结果之差)来控制其强度。

wk(i)＝

max{1，wk(i-1)+1}    (Bk(i-1)＜Tk(i-1)+C时)

wk(i-1)              (Tk(i-1)-C≤Bk(i-1)≤Tk(i-1)+C时)

min{4，wk(i-1)-1}    (Tk(i-1)-C＜Bk(i-1)时)

(其中k＝i、p、b)

其中，Ti(i-1)、Tp(i-1)、Tb(i-1)是表示I、P、B图片的第(i-1)个图片的目标编码量的常数。Bi(i-1)、Bp(i-1)、Bb(i-1)是表示I、P、B图片的第(i-1)个图片的实际编码量的常数。C是表示作为目标值与实际值之差可以允许的编码量的常数。根据上述算式，量化矩阵被控制成为如果能够达到目标编码率则减弱强度，如果不能达到目标编码率则增强强度。

然后，对于输出流的量化矩阵的系数，根据以下算式(以下称为矩阵变换式)，从输入流的量化矩阵的系数进行变换。另外，输出流和输入流的量化矩阵是8行8列的矩阵。

Wo(u，v)＝

Wi(u，v)           (u+v≤ε(低频成分)时)

wk(i)×Wi(u，v)    (u+v＞ε(高频成分)时)

(其中k＝i、p、b)

其中，Wi(u，v)是表示输入流的量化矩阵的第(u，v)个的系数(u＝0～7、v＝0～7)的常数。Wo(u，v)是表示输出流的量化矩阵的第(u，v)个的系数的常数。并且，Wo(u，v)表示利用v+1行u+1列确定的系数。例如，在u＝2、v＝5时，Wo(u，v)表示利用6行3列却定的系数。ε是表示用于抑制误差的阈值(基准频率)的常数。

下面，使用图8说明量化矩阵再变换型的编码率变换装置12000的量化的具体示例。

假设编码率控制和量化矩阵变换的结果是将量化矩阵的高频成分的系数(ε＝2时)增加为2倍。在此，在上述的矩阵变换中，假设ε＝2。该情况时，量化矩阵的低频成分的系数是量化矩阵表示的64个系数中被配置为左上部的三角形状的6个系数。并且，量化矩阵的高频成分的系数是量化矩阵表示的64个系数中被配置为左上部的三角形状的6个系数以外的系数。

根据前述的反量化的算式，需要使量化DCT系数与量化矩阵大致成反比例。因此，需要把量化DCT系数的高频成分的量化DCT系数变换为1/2倍。

非0量化DCT系数是7、-3、2、1、4、1、-1、1合计8个，在其中前半部分的3个对应于低频成分的InterMB的块是变换对象时，低频成分的系数不需要变换。并且，高频成分的量化DCT系数本来希望被变换成为0.5、2、0.5、-0.5、0.5，但分别被整数化为0、2、0、0、0。

由此，量化DCT系数的低频成分不产生量化误差，但高频成分由于非0量化DCT系数的level降低、非0系数的个数削减，输入时为50bit的编码量减小为35bit。因此，可以抑制起因于低频成分的量化误差的画质恶化，同时削减编码率。

但是，在编码率变换装置12000中，只能利用图片单位设定量化矩阵，所以不能细致地控制编码率，最坏情况下，有可能不经过几十个图片就不能把编码率收敛成为目标编码率。

例如，在把编码率变换装置12000适用于对应网络的带宽的编码率变换时，至少要求以图片单位或GOP单位跟随编码率。但是，在编码率变换装置12000中不能满足该要求，由于在固定时间内分发超过网络的带宽的流，有可能导致图像紊乱。

并且，在MPEG2标准中，每个图片的比特量被规定为缓冲模型，所以需要控制比特量以便以图片单位进入标准范围内，但编码率变换装置12000很难实现该控制，所以存在输出违反标准的流的可能性。

另外，也存在下述的编码率变换方式(整合方式)(参照专利文献1)，其组合了上述说明的量化尺度再变换型的编码率变换方式和量化矩阵再变换型的编码率变换方式。

图9表示量化尺度再变换型与量化矩阵再变换型的整合方式(以后表述为整合方式)的编码率变换装置13000。

编码率变换装置13000构成为直接组合了图5所示的量化尺度再变换型的编码率变换装置11000、和图7所示的量化矩阵再变换型的编码率变换12000，所以省略说明。

并且，整合方式的编码率变换装置13000中的编码率控制、量化矩阵变换、量化参数变换，可以利用与量化尺度再变换型的编码率变换装置11000和量化矩阵再变换型的编码率变换12000相同的方法实施，所以省略说明。

并且，使用图10说明整合方式的编码率变换装置13000的量化的具体示例。

假设编码率控制和量化矩阵变换的结果是将量化矩阵的高频成分的系数(ε＝2时)增加为2倍。并且，假设编码率控制和量化尺度变换的结果是将量化尺度由4变为8，即增加为2倍。

根据前述的反量化的算式，需要使量化DCT系数与量化矩阵和量化尺度大致成反比例。因此，需要把低频成分的系数变换为1×1/2＝1/2倍，把高频成分变换为1/2×1/2＝1/4倍。

非0量化DCT系数是7、-3、2、1、4、1、-1、1合计8个，在其中前半部分的3个对应于低频成分的InterMB的块是变换对象。这时，低频成分的系数被变换为将3.5、-1.5、1整数化得到的3、-1、1。高频成分的系数被变换为将0.25、1、0.25、-0.25、0.25整数化得到的0、1、0、0、0。由此，可以将输入时为50bit的编码量减小为20bit。

在上述的整合方式的编码率变换装置13000中，具有组合了量化尺度再变换型的编码率变换装置11000和量化矩阵再变换型的编码率变换装置12000双方的要素的性质。并且，编码率变换装置13000通过改变量化尺度，能够以宏块单位校正相对目标编码率的偏差，同时进行变换。因此，编码率变换装置13000解决了量化矩阵再变换方式中存在的不能细致地控制编码率的问题。

并且，编码率变换装置13000不仅能够通过量化尺度变换来削减编码量，也能够通过量化矩阵变换来削减编码量。因此，在量化矩阵变换中不会产生低频成分的量化误差，所以在相同的编码率下，能够降低因量化尺度变换造成的低频成分的量化误差的产生规模。因此，编码率变换装置13000解决了在量化尺度再变换方式中存在的大规模地产生低频成分的量化误差的问题。

因此，上述的整合方式的编码率变换装置13000能够以弥补量化尺度再变换方式和量化矩阵再变换方式各自的缺点的形式，来变换量化尺度和量化矩阵。

【专利文献1】日本特开2001-078194号公报

【专利文献2】日本特开2001-204028号公报

【专利文献3】日本特开2005-210502号公报

如果使用上述的整合方式的编码率变换装置13000，则能够抑制DCT系数的低频成分的量化误差。但是，在编码率变换装置13000中，在DCT系数的高频成分产生了量化误差时，虽然不会影响到低频成分，但有时依旧能够观察到画质恶化的趋势，例如画面的精细感下降、或产生蚊状噪声(Mosquito noise)等。

一般，编码率和画质具有折衷(tradeoff)的关系。因此，在以块级别观察时，不能避免因编码率的下降和高频系数的量化误差造成的画质恶化，但在以图片级别观察时，上述问题有时未必成立。

例如，假设像相对于平坦且低精细的背景，高精细地摄入较小的人的姿态的影像那样，图片内的精细度不同。该情况时，利用对应于背景图像的低精细的MB的DCT系数的低频成分的量化误差，抑制对应于人的图像的高精细的MB的DCT系数的高频成分的量化误差，有时能够抑制整体的画质恶化。

该情况时，期望控制成为在高精细的MB中，抑制包括高频系数在内的量化误差，在低精细的MB中，削减包括在上述MB中不能削减编码量的部分在内的编码量。

但是，在上述的整合方式的编码率变换装置13000中，即使利用在高精细的MB中不增加量化尺度、在低精细的MB中大幅增加量化尺度的加权来进行量化尺度的控制，在图片标题中也使得量化矩阵的高频成分增加。因此，在编码率变换装置13000中，即使不增加量化尺度，也会产生高频成分的量化误差。

即，在上述的整合方式的编码率变换装置13000中，不能实现下述的编码率变换，即：能够抑制全体MB的DCT系数的起因于低频成分的量化误差的画质恶化，同时在精细度较高的MB等特定的MB中，抑制DCT系数的不仅起因于低频成分而且起因于高频成分的量化误差的画质恶化。

并且，以上根据MPEG2进行了说明，但在下述的图像编解码器也存在相同的问题，即：根据DCT变换或者依据于DCT变换的正交变换来进行编码的图像编解码器，把量化矩阵指定为图片单位、把量化尺度指定为宏块单位的图像编解码器。作为对应于上述情况的图像编解码器，例如有JPEG、MPEG1、MPEG4、H.264等。

发明内容

本发明就是为了解决上述问题而提出的，其目的在于，提供一种编码率变换装置等，可以抑制起因于低频成分的量化误差的画质恶化，同时可以抑制在特定的宏块中起因于高频成分的量化误差的画质恶化。

为了解决上述问题，根据本发明的某个方面的编码率变换装置，用于在对图片进行编码的处理中，对通过至少进行量化处理而得到的所述图片的编码数据的编码率进行变换，该量化处理使用了将量化矩阵与量化尺度的值相乘而得到的值，其特征在于，所述量化尺度针对构成用于复原图片的编码数据的多个宏块的每一个而被设定了值，所述量化矩阵按照从所述编码数据得到的图片单位设定，所述编码率变换装置具有：反量化部，使用在所述图片的编码时使用的第1量化矩阵对所述多个宏块进行反量化，从而获取多个系数数据；量化矩阵变换部，使用第1变换值和大于所述第1变换值的第2变换值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所述第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对应的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数中的、作为除所述低频系数以外的系数的高频系数的值进行变换；尺度值计算部，在所述第2量化矩阵是用于增大所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β2倍而得到的变换后尺度值，其中β1≥1，0＜β2＜1；以及再量化部，使用所述第2量化矩阵和与所述多个系数数据中的至少一部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述至少一部分系数数据进行量化，从而生成编码率比由所述反量化部反量化之前的编码率小的所述编码数据。

根据本发明的其他方面的编码率变换方法，用于在对图片进行编码的处理中，对通过至少进行量化处理而得到的所述图片的编码数据的编码率进行变换，该量化处理使用了将量化矩阵与量化尺度的值相乘而得到的值，其特征在于，所述量化尺度针对构成用于复原图片的编码数据的多个宏块的每一个而被设定了值，所述量化矩阵按照从所述编码数据得到的图片单位设定，所述编码率变换方法具有：反量化步骤，使用在所述图片的编码时使用的第1量化矩阵对所述多个宏块进行反量化，从而获取多个系数数据；量化矩阵变换步骤，使用第1变换值和大于所述第1变换值的第2变换值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所述第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对应的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数中的、作为除所述低频系数以外的系数的高频系数的值进行变换；尺度值计算步骤，在所述第2量化矩阵是用于增大所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β2倍而得到的变换后尺度值，其中β1≥1，0＜β2＜1；以及再量化步骤，使用所述第2量化矩阵和与所述多个系数数据中的至少一部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述至少一部分系数数据进行量化，从而生成编码率比由所述反量化步骤反量化之前的编码率小的所述编码数据。

即，根据本发明的编码率变换装置和编码率变换方法，使用在图片的编码时使用的第1量化矩阵，对构成编码数据的多个宏块进行反量化，从而获取多个系数数据。使用第1变换值和大于第1变换值的第2变换值将第1量化矩阵变换为第2量化矩阵，所述第1变换值用于变换第1量化矩阵表示的多个系数中、与低于预定频率的频率相对应的低频系数的值，所述第2变换值用于变换高频系数的值。

在第2量化矩阵是用于增大编码数据的编码率的矩阵时，计算将与至少一个宏块对应的量化尺度的值变为β1倍而得到的变换后尺度值，β1≥1。使用第2量化矩阵和与多个系数数据的至少一部分系数数据所对应的宏块相对应的计算出的变换后尺度值，对至少一部分系数数据进行量化。

在此，使用用于变换低频系数的值的第1变换值、和用于变换高频系数的值的大于第1变换值的第2变换值，变换第1量化矩阵而得到的第2量化矩阵，是低频系数的值小于高频系数的值的矩阵。

即，在量化时使用的第2量化矩阵是低频系数的值小于高频系数的值的矩阵。另外，量化矩阵按照图片单位设定。并且，在量化时使用的量化矩阵的系数的值越小，量化时的量化误差越小。

并且，在第2量化矩阵是用于增大编码数据的编码率的矩阵时，在量化时使用将与至少一个宏块对应的量化尺度的值变为β1倍而得到的变换后尺度值，β1≥1。另外，量化尺度针对多个宏块的每一个设定了值。另外，量化尺度的值与量化时使用的前一个量化矩阵的全部系数相乘。因此，量化尺度的值越小，量化时的量化误差越小。

在此，在量化时使用的变换后尺度值是将与至少一个宏块对应的量化尺度的值变为1倍而得到的值。该情况时，在量化时使用的第2量化矩阵的全部系数(低频成分和高频成分的系数)不变。

因此，通过使用低频系数的值小于高频系数的值的第2量化矩阵来进行量化，可以抑制低频成分的量化误差的产生，同时在至少一个宏块中抑制高频成分的量化误差的产生。即，可以抑制起因于低频成分的量化误差的画质恶化，并且在特定的宏块中抑制起因于高频成分的量化误差的画质恶化。

另外，本发明也可以实现为使计算机执行在编码率变换方法中进行的处理的程序。并且，本发明也可以实现为存储该程序的计算机可以读取的记录介质、集成电路。

发明效果

根据本发明，使用在图片的编码时使用的第1量化矩阵，对构成编码数据的多个宏块进行反量化，从而获取多个系数数据。将第1量化矩阵变换为第2量化矩阵，以使第1量化矩阵表示的多个系数中与低于预定频率的频率对应的低频系数的值小于高频系数的值。在第2量化矩阵是用于增大编码数据的编码率的矩阵时，计算将与至少一个宏块对应的量化尺度的值变为β1倍而得到的变换后尺度值，β1≥1。使用第2量化矩阵和与多个系数数据的至少一部分系数数据所对应的宏块相对应的计算出的变换后尺度值，对至少一部分系数数据进行量化。

即，在量化时使用的第2量化矩阵是：与低于预定频率的频率对应的低频系数的值小于高频系数的值的矩阵。并且，在量化时使用的量化矩阵的系数的值越小，量化时的量化误差越小。

并且，在第2量化矩阵是用于增大编码数据的编码率的矩阵时，在量化时使用将与至少一个宏块对应的量化尺度的值变为β1倍而得到的变换后尺度值，β1≥1。另外，量化尺度的值与量化矩阵的全部系数相乘。因此，量化尺度的值越小，量化时的量化误差越小。

在此，在量化时使用的变换后尺度值是将与至少一个宏块对应的量化尺度的值变为1倍而得到的值。该情况时，在量化时使用的第2量化矩阵的全部系数(低频成分和高频成分的系数)不变。

因此，通过使用低频系数的值小于高频系数的值的第2量化矩阵来进行量化，可以抑制低频成分的量化误差的产生，并且在至少一个宏块中抑制高频成分的量化误差的产生。即，可以抑制起因于低频成分的量化误差的画质恶化，同时在特定的宏块中抑制起因于高频成分的量化误差的画质恶化。

附图说明

图1是表示MPEG2的量化尺度与量化参数的对应性的图。

图2A是表示MPEG2的DCT系数的编码顺序(扫描顺序)的图。

图2B是表示MPEG2的DCT系数的编码顺序(扫描顺序)的图。

图3是表示MPEG2的解码装置的一例的结构的方框图。

图4是表示MPEG2的编码装置的一例的结构的方框图。

图5是表示以往的量化尺度再变换型的编码率变换装置的一例的结构的方框图。

图6是表示以往的量化尺度再变换型的编码率变换装置的MB的变换的一例图。

图7是表示以往的量化矩阵再变换型的编码率变换装置的一例的结构的方框图。

图8是表示以往的量化矩阵再变换型的编码率变换装置的MB的变换的一例图。

图9是表示整合了以往的量化尺度再变换型和量化矩阵再变换型的编码率变换装置的一例的结构的方框图。

图10是表示整合了以往的量化尺度再变换型和量化矩阵再变换型的编码率变换装置的、MB的变换的一例图。

图11是表示本发明的实施方式1的编码率变换装置的结构的方框图。

图12是编码率变换处理的流程图。

图13是图片处理的流程图。

图14是MB处理的流程图。

图15是量化尺度变换处理的流程图。

图16A是说明量化尺度的值的变换示例的图。

图16B是说明量化尺度的值的变换示例的图。

图17是表示本发明的实施方式1的编码率变换装置的普通MB的变换的一例图。

图18是表示本发明的实施方式1的编码率变换装置的重要MB的变换的一例图。

图19A是表示本发明的实施方式1的编码率变换装置的量化矩阵变换的一例图。

图19B是表示本发明的实施方式1的编码率变换装置的量化矩阵变换的一例图。

图20A是表示变换前的量化矩阵的图。

图20B是表示通过实施方式1的处理变换后的量化矩阵的图。

图20C是表示针对量化矩阵使用的数值和处理的图。

图21是表示实施方式2的编码率变换装置1000A的结构的方框图。

图22是表示本发明的实施方式2的编码率变换装置的量化尺度变换的一例图。

图23是表示本发明的实施方式2的编码率变换装置的重要MB的变换的一例图。

图24A是表示本发明的实施方式2的编码率变换装置的量化矩阵变换的一例图。

图24B是表示本发明的实施方式2的编码率变换装置的量化矩阵变换的一例图。

图25A是表示变换前的量化矩阵的图。

图25B是表示通过实施方式2的处理变换后的量化矩阵的图。

图25C是表示针对量化矩阵使用的数值和处理的图。

图26是表示实施方式3的编码率变换装置1000B的结构的方框图。

图27是表示用于判定量化矩阵的变换方法的判定表的图。

图28A是表示实施方式4的编码率变换装置的量化矩阵变换的一例图。

图28B是表示实施方式4的编码率变换装置的量化矩阵变换的一例图。

图29A是表示实施方式4的编码率变换装置的量化DCT系数变换的一例图。

图29B是表示实施方式4的编码率变换装置的量化DCT系数变换的一例图。

图29C是表示实施方式4的编码率变换装置的量化DCT系数变换的一例图。

图29D是表示实施方式4的编码率变换装置的量化DCT系数变换的一例图。

图30是表示本发明的实施方式5的流接收记录装置的一例的结构的方框图。

图31是表示本发明的实施方式6的网络分发系统的一例的结构的方框图。

标号说明

101可变长度解码部；102可变长度编码部；103编码率控制部；104量化尺度增加变换部；104A量化尺度增加/削减变换部；105MB标题存储部；106反量化部；107量化部；108量化矩阵低频域削减变换部；108A量化矩阵高频域增加变换部；109图片标题存储部；110、110A、110B量化矩阵变换控制部；1000、1000A、1000B编码率变换装置；2008广播流接收记录装置；2001、2101编码率变换部；2110流发送装置；2111流接收装置；5000网络分发系统。

具体实施方式

以下，参照附图说明本发明的实施方式。在以下的说明中，对相同部件标注相同的标号。它们的名称和功能也相同。因此，不对它们进行重复的具体说明。

(实施方式1)

下面，参照附图说明本发明的实施方式。

图11是表示本发明的实施方式1的编码率变换装置1000的结构的方框图。

编码率变换装置1000具有可变长度解码部101、可变长度编码部102、编码率控制部103、量化尺度增加变换部104、MB标题存储部105、量化矩阵低频域削减变换部108、图片标题存储部109和量化矩阵变换控制部110。

用于复原多个图片的流被输入可变长度解码部101。以下，把输入可变长度解码部101的流称为输入流。输入流是通过图片的编码得到的编码数据。可变长度解码部101对作为输入流的MPEG2流进行解码，将包括通过解码得到的量化矩阵的序列标题或图片标题通知图片标题存储部109。并且，可变长度解码部101在进行序列标题的通知的同时，将量化矩阵通知量化矩阵低频域削减变换部108。

并且，可变长度解码部101将MB标题部的参数通知MB标题存储部105。并且，可变长度解码部101在进行参数的通知的同时，将MB标题部表示的量化尺度码(量化参数)变换为量化尺度，将得到的量化尺度通知量化尺度增加变换部104和量化矩阵变换控制部110。并且，可变长度解码部101将MB块部的量化DCT系数等的参数通知反量化部106。

反量化部106根据被通知的参数表示的输入流的量化矩阵和量化尺度，进行MB的块部的量化DCT系数的反量化，计算DCT系数，将计算的DCT系数通知量化部107。

编码率控制部103在处理开头的图片时，根据图片结构(I、P、B图片)及编码率等的信息，确定该图片的目标编码量，将所确定的目标编码量通知给量化矩阵变换控制部110。并且，编码率控制部103对每个宏块计算目标量化尺度，将所计算的目标量化尺度通知量化矩阵变换控制部110。

量化矩阵变换控制部110在处理开头的图片时，根据该图片的目标编码量等计算量化矩阵的变换控制信息。并且，量化矩阵变换控制部110将所计算的变换控制信息通知给量化矩阵低频域削减变换部108。并且，量化矩阵变换控制部110根据量化矩阵的控制信息，对每个宏块校正目标量化尺度，将校正后的目标量化尺度通知量化尺度增加变换部104。

量化矩阵低频域削减变换部108根据量化矩阵的变换控制信息，将输入流的量化矩阵的低频成分的系数变换为削减方向。并且，量化矩阵低频域削减变换部108将变换后的量化矩阵同时通知给量化部107和图片标题存储部109。

量化尺度增加变换部104把目标量化尺度作为基准，评价该MB的重要性，将输入流的量化尺度变换为增加方向，从而计算输出流的量化尺度。并且，量化尺度增加变换部104将所计算的量化尺度同时通知给量化部107和MB标题存储部105。

图片标题存储部109将由可变长度解码部101通知的序列标题及图片标题存储在内部的缓冲器(未图示)中，按照量化矩阵低频域削减变换部108的请求改写内部的缓冲器内的数据。并且，图片标题存储部109将存储在缓冲器中的序列标题及图片标题通知可变长度编码部102。

MB标题存储部105将由可变长度解码部101通知的MB标题存储在内部的缓冲器(未图示)中，按照量化尺度增加变换部104的请求，将量化尺度变换为量化尺度码，将缓冲器内的数据改写为新的值。并且，MB标题存储部105将存储在缓冲器中的MB标题通知可变长度编码部102。

量化部107按照由量化矩阵低频域削减变换部108计算的量化矩阵、和由量化尺度增加变换部104计算的量化尺度，对通过由反量化部106进行的反量化而计算的DCT系数进行再量化。并且，量化部107将通过再量化得到的量化DCT系数存储在量化部107的内部的系数缓冲器(未图示)中。另外，量化部107将得到的量化DCT系数通知可变长度编码部102。

可变长度编码部102对包括由图片标题存储部109通知的量化矩阵的序列标题及图片标题进行编码。并且，可变长度编码部102对由MB标题存储部105通知的MB标题部所表示的信息进行编码。并且，可变长度编码部102对由量化部107得到的MB的块部的量化DCT系数进行编码。并且，可变长度编码部102利用通过上述编码得到的数据构成MPEG2流(以下称为输出流)。

下面，说明本发明的实施方式1的编码率变换装置1000进行的处理(以下称为编码率变换处理)。另外，本发明的编码率变换处理是用于减小作为输入流的编码数据的编码率的处理。即，通过进行编码率变换处理，处理后的编码数据的编码率小于进行编码率变换处理之前的编码数据的编码率。

图12是编码率变换处理的流程图。

首先，根据需要进行编码率控制部103的设定，在编码率变换处理中，编码率控制部103被设定为能够计算目标比特的状态(S301)。然后，可变长度解码部101在输入流中量化矩阵没有被编码的情况下，在流的序列标题的解码之前，将按照MPEG2规定的默认的量化矩阵设定为量化矩阵低频域削减变换部108使用的量化矩阵(S302)。

然后，可变长度解码部101将通过对输入流进行解码得到的序列标题存储在图片标题存储部109的内部的缓冲器(未图示)中(S303)。

可变长度解码部101在通过解码得到的序列标题中包含量化矩阵时(S304：是)，将该量化矩阵设定为量化矩阵低频域削减变换部108使用的量化矩阵(S305)。该情况时，在步骤S302设定的默认的量化矩阵被序列标题中的量化矩阵覆盖。

并且，在序列标题中不包含量化矩阵时(S304：否)，直接使用在步骤S302设定的默认的量化矩阵。

然后，可变长度编码部102对存储在图片标题存储部109中的序列标题的信息进行编码(S306)。然后进行图片处(S307)。图片处理是图片单位的处理。在流中的下一个序列标题到达(S308：是)之前重复进行图片处(S308：否)。

图13是图片处理的流程图。

首先，根据需要进行编码率控制部103的设定，在图片处理中计算处理对象的图片中的目标比特(S401)。

然后，可变长度解码部101将通过对输入流进行解码得到的图片标题存储在图片标题存储部109的内部的缓冲器(未图示)中(S402)。

可变长度解码部101在通过解码得到的图片标题中包含量化矩阵时(S403：是)，将该量化矩阵设定为量化矩阵低频域削减变换部108使用的量化矩阵(S404)。在通过解码得到的图片标题中不包含量化矩阵时(S403：否)，量化矩阵低频域削减变换部108直接使用通过编码率变换处理设定的量化矩阵。

然后，量化矩阵变换控制部110根据由编码率控制部103得到的目标编码量等，判定是否对处理对象的图片适用量化矩阵变换(S405)。

在适用量化矩阵变换时(S406：是)，量化矩阵变换控制部110根据由编码率控制部103得到的目标编码量等，求出量化矩阵的变换控制信息(S407)。具体情况将在后面叙述，量化矩阵低频域削减变换部108根据量化矩阵的变换控制信息，将通过步骤S302、S305、S404的任一处理设定的量化矩阵的低频成分的系数变换为减小方向或增加方向(S408)。

然后，量化矩阵低频域削减变换部108将变换后的量化矩阵存储在图片标题存储部109中。并且，可变长度编码部102进行存储在图片标题存储部109中的图片标题的编码(S409)。

然后，进行MB处理(S410)。MB处理是宏块单位的处理。与处理对象的图片相对应的宏块的数量可以利用图片标题表示的信息计算得到。MB处理针对与处理对象的图片对应的全部宏块进行。在已对全部宏块进行了MB处理时(S411：是)，该图片处理结束，返回图12所示的编码率变换处理，再次进行步骤S308的处理。

图14是MB处理的流程图。

首先，编码率控制部103根据在步骤S401计算的处理对象的图片中的目标比特及处理对象的图片的变换实际值，更新作为编码率控制的基准的虚拟缓冲器的状态，计算处理对象的宏块的目标量化尺度(S501)。

然后，量化矩阵变换控制部110根据在步骤S407求出的量化矩阵变换控制信息，校正目标量化尺度(S502)。并且，量化矩阵变换控制部110将校正后的目标量化尺度的值通知给量化尺度增加变换部104。

然后，可变长度解码部101将通过对输入流进行解码得到的处理对象的MB的MB标题部表示的信息，存储在MB标题存储部105的内部的缓冲器(未图示)中(S503)。并且，可变长度解码部101将通过上述解码得到的处理对象的MB的MB标题部表示的信息，通知量化矩阵变换控制部110。处理对象的MB的MB标题部表示的信息，表示对应的MB的量化尺度码。

然后，进行量化尺度变换处理(S504)。

图15是量化尺度变换处理的流程图。

首先，量化矩阵变换控制部110判定是否具有重要MB(S601)。作为一例，重要MB是表示通过被解码精细度高于预定精细度的图像的宏块。即，重要MB是通过将该重要MB解码得到的图像(以下称为解码块图像)例如表示高精细图像的MB。即，重要MB是通过将该重要MB解码得到的解码块图像表示频率成分高于预定频率的图像的MB。

该情况时，作为一例，重要MB是如下所述的MB，即：通过将MB的MB块部的数据量和通过变换该MB的MB标题部表示的量化尺度码得到的量化尺度的值、这两者相乘而得到的值，表示大于预定值的值的MB。以下把除重要MB之外的MB称为普通MB。

量化矩阵变换控制部110在处理对象的MB是重要MB时，判定具有重要MB(S601：是)。并且，量化矩阵变换控制部110在处理对象的MB是重要MB时，将处理对象的MB是重要MB这一情况通知给量化尺度增加变换部104。另一方面，量化矩阵变换控制部110在处理对象的MB是普通MB时，判定没有重要MB(S601：否)。

具体情况将在后面叙述，在判定具有重要MB时，量化尺度增加变换部104向被通知的目标量化尺度的值乘以某个值(例如1以下的值)，从而计算量化尺度的值(S602)。并且，该量化尺度变换处理结束，返回图14所示的MB处理，进行步骤S505的处理。

在步骤S505，量化尺度增加变换部104在判定具有重要MB时，将所计算的量化尺度的值变换为量化尺度码。并且，量化尺度增加变换部104将存储在MB标题存储部105中的处理对象的MB的MB标题部表示的量化尺度码，替换为变换后的量化尺度码。

并且，在步骤S505，量化尺度增加变换部104在判定没有重要MB时，将被通知的目标量化尺度的值变换为量化尺度码。并且，量化尺度增加变换部104将存储在MB标题存储部105中的处理对象的MB的MB标题部表示的量化尺度码，替换为变换后的量化尺度码。

通过以上处理，MB标题部表示的信息的更新处理暂且结束，转入量化DCT系数的变换处理。

首先，判定编码的多个MB中是否存在尚未被解码的MB(S506)。即，判定与对应处理对象的MB的图片相对应的全部MB是否没有被解码。如果存在未被解码的MB(S506：是)，则可变长度解码部101对于编码的处理对象的MB表示的多个量化DCT系数，按照预定的顺序，按照每个步骤S507的处理，逐个地进行解码(S507)。

在MPEG2中，IntraMB的DC系数，与量化尺度独立地被量化。因此，在本实施方式中，DC系数不是变换的对象。在处理对象的量化DCT系数不是IntraMB的DC系数时，或者没有到达块末端EOB(End OfBlock)时(S508：否)，反量化部106暂且使用与输入流表示的处理对象的MB相对应的量化矩阵和量化尺度，对被解码后的处理对象的量化DCT系数进行反量化。

并且，量化部107使用在S408计算的量化矩阵和在步骤S602计算的量化尺度的值或目标量化尺度的值，再次对通过反量化计算的DCT系数进行量化。由此，量化部107获得量化DCT系数。由此完成变换(S509)。

量化部107将所得到的量化DCT系数存储在量化部107的内部的系数缓冲器(未图示)中(S510)。重复上述处理直到到达块末端EOB，从而完成一个处理对象的MB的解码(S511)。

另外，如果对全部被编码后的MB完成了解码(S506：否)，则MB信息的解码全部结束。

最后，可变长度编码部102对存储在MB标题存储部105中的全部宏块标题进行编码(S512)。并且，可变长度编码部102对存储在量化部107的内部的系数缓冲器(未图示)中的全部量化DCT系数进行编码(S513)。通过以上处理，MB处理结束。并且，返回图13所示的图片处理，再次进行步骤S411的处理。

通过进行以上说明的图12所示的编码率变换处理、图13所示的图片处理、图14所示的MB处理、图15所示的量化尺度变换处理，进行编码数据的解码处理、反量化处理、量化处理、编码处理。通过这些处理，从输入流生成输出流(编码数据)。所生成的作为输出流的编码数据的编码率，小于作为输入流的编码数据的编码率。

下面，说明本发明的实施方式1的编码率变换装置1000的编码率控制的具体动作。在处理输入流中包含的开头的图片时，首先被分配该图片的目标编码量T(i)。关于目标编码量T(i)，可以根据前面叙述的TM5的步骤1计算得到，所以省略具体说明。另外，需要对每个宏块计算目标量化尺度。目标量化尺度也可以根据TM5的步骤2计算得到，所以省略具体说明。

另外，此处作为编码率控制方式列举了TM5，但也可以是其他的编码率控制方式。本发明不限于特定编码率控制方式。

下面，说明本发明的实施方式1的编码率变换装置1000进行的、图13中的步骤S408的量化矩阵变换的具体处理。

在此，假设存在第i个图片和该第i个图片的前一个图片(以下称为评价对象图片)。该情况时，评价对象图片是第i-1个图片。在此，评价对象图片是在第i个图片之前成为显示对象的图片。并且，假设第i个图片和评价对象图片是相同类型的图片。

并且，假设低频成分的量化矩阵变换率是α(i-1)倍(α(i-1)＜1)，量化尺度变换率的平均值是β(i-1)倍。在此，量化矩阵变换率是用于变换量化矩阵的系数的值。并且，量化尺度变换率是用于变换量化尺度的值的值。该情况时，量化DCT系数变换率γ(i-1)(低频成分的平均)可以根据算式γ(i-1)＝α(i-1)×β(i-1)计算得到。

在上述算式中，DCT系数的低频成分的量化误差达到最小是在γ＝1时，另外，即使γ大于1，只要是某种程度上比较小的值(此处设为γmax)，则认为低频成分的图像的画质恶化在允许范围内。在假设量化误差超过允许范围时，需要进行控制以便进入允许范围内。并且，在γ小于1时，虽然不会产生低频成分的图像的画质恶化，但由于编码量增加，所以需要控制成为使γ达到1以上。

把处于和第i个图片最近的位置的评价对象图片(第i-1个图片)假设为具有与第i个图片相同的趋势的量化尺度(β(i)＝β(i-1))。该情况时，第i个图片的量化矩阵变换率α(i)可以根据下式算出。

α(i)＝

1×α(i-1)/γ(i-1)      (γ(i-1)＜1时)

α(i-1)                 (1≤γ(i-1)≤γmax时)

γmax×α(i-1)/γ(i-1)  (γmax＜γ(i-1)时)

然后，按照该量化矩阵变换率α(i)，利用下式(以下称为矩阵变换式A)变换输入流的量化矩阵，算出输出流的量化矩阵Wo(u，v)。

Wo(u，v)＝α(i)×Wi(u，v)    (u+v≤ε时(低频成分))

＝Wi(u，v)    (u+v＞ε时(高频成分))

其中，Wi(u，v)是表示输入流的量化矩阵的第(u，v)个的系数(u＝0～7、v＝0～7)的常数。Wo(u，v)是表示输出流的量化矩阵的第(u，v)个的系数的常数。并且，Wo(u，v)表示利用v+1行u+1列确定的系数。例如，在u＝2、v＝5时，Wo(u，v)表示利用6行3列确定的系数。ε是表示用于抑制误差的频率的阈值(基准频率)的常数。

另外，此处选择相同类型的图片中最近位置的图片(评价对象图片)作为量化尺度的实际值，但不限于此。例如，也可以与第i个图片的类型无关地选择评价对象图片。

并且，也可以选择不处于和第i个图片最近位置的图片。并且，还可以选择第i个图片前面的多个图片，而不是只选择一个图片。并且，也可以不利用第i个图片前面的图片的量化尺度，而利用先读出第i个图片的量化尺度并算出的量化尺度，还可以利用其他方法预测量化尺度。

另外，此处在计算量化矩阵变换率时使用量化尺度变换率的平均值。但是，不限于此，所使用的值也可以是量化尺度变换率的最小值等与量化尺度相关的其他实际值，还可以是固定值等。并且，量化矩阵变换率的计算方法也可以是与量化尺度无关的计算方法。

下面，说明本发明的实施方式1的编码率变换装置1000进行的、量化尺度变换(图15所示的量化尺度变换处理)的具体处理。

通过编码率控制得到的目标量化尺度是以TM5的步骤2为根据的，与量化矩阵无关地进行决定。因此，像本装置这样，在变换量化矩阵的编码率变换装置1000中，所使用的量化尺度的值有可能不是最佳的量化尺度的值。因此，也可以使用上述的量化矩阵变换率等校正目标量化尺度的值。

例如，在低频成分的量化矩阵变换率α小于1时，与不变换量化矩阵时相比，编码数据的编码量为增加的方向。因此，如果直接使用通过编码率控制求出的量化尺度的值，则有可能不能充分降低编码数据的编码量。该情况时，为了能够降低编码数据的编码量，也可以校正成为使目标量化尺度的值稍微偏大。

例如，校正通过编码率控制求出的目标量化尺度mq(j)，并按照下式计算。

mq’(j)＝mq(j)×(1/α)

另外，此处通过乘以1/α来进行目标量化尺度的校正，但也可以不是1/α，只要是大于1的值，就可以向减小方向校正编码数据的编码量。并且，也可以利用其他算式进行目标量化尺度的校正，还可以不进行校正。

然后，实际算出该宏块的量化尺度。

输出流的量化尺度qo(j)可以利用作为现有技术的专利文献2的日本特开2001-204028号公报公开的技术导出，所以省略具体说明。

qo(j)＝

qi(j)(mq(j)    ＜1.5×qi(j)时)

2×qi(j)    (1.5×qi(j)≤mq(j)＜2×qi(j)时)

mq(j)        (2×qi(j)＜mq(j)时)

其中，qi(j)是输入流的量化尺度。并且，mq(j)是目标量化尺度。

另外，此处利用上式导出量化尺度qo(j)，但也可以利用其他算式导出。

如前面所述，在量化DCT系数变换率(低频成分)γ＝量化矩阵变换率(低频成分)α×量化尺度变换率β(β＝qo(j)/qi(j))小于1时，虽然DCT系数的低频成分的量化误差不会增加，但是伴随有编码数据的编码量的增加。

编码率变换的目的在于降低编码数据的编码率，所以即使是一部分的MB伴随有编码量的增加的变换也会使变换效率恶化。因此，可以采取限定在不伴随有编码量的增加的范围内控制输出流的量化尺度的方法。

此时的量化尺度qo’(j)可以利用下式算出。

qo’(j)＝

1/α×qi(j)              (mq(j)＜1.5×qi(j)时)

max{1/α，2}×qi(j)}     (1.5×qi(j)≤mq(j)＜2×qi(j)时)

max{1/α×qi(j)，mq(j)}  (2×qi(j)＜mq(j)时)

如果使用根据上式算出的量化尺度qo’(j)，则可以进行抑制了DCT系数的低频成分的量化误差的变换。

另外，此处通过乘以1/α来抑制编码数据的编码量的增加，但未必一定与1/α相等，只要是大于1/α的值，就可以进行不会伴随有编码数据的编码量的增加的变换。

但是，在前面叙述的重要MB中，得知不仅抑制DCT系数的低频成分，如果也抑制了高频成分的量化误差，将能够抑制整体的画质恶化。因此，在重要MB中，优选可以设定能够抑制全部频率区域的量化误差的量化尺度。

如前面所述，作为一例，重要MB是表示通过被解码精细度高于预定精细度的图像的宏块。该情况时，作为一例，重要MB是：通过将MB的MB块部的数据量和通过该MB的MB标题部表示的量化尺度码的变换而得到的量化尺度值、两者相乘得到的值，表示大于预定值的值的MB。

并且，对应重要MB的量化尺度qo”(j)可以利用下式算出。

qo”(j)＝qi(j)

如果在重要MB中使用上述的量化尺度qo”(j)，则可以进行抑制了全部频率区域的量化误差的变换。

如果是除此之外的MB(普通MB)，量化尺度可以使用上述的qo’(j)。

另外，重要MB也可以使用除前述的运算(MB块部的数据量×量化尺度的值)之外的运算来确定。

下面，说明量化尺度的值的变换示例。

图16A和图16B是说明量化尺度的值的变换示例的图。图16A是表示量化尺度的值的一例图。图16A所示的多个数字表示针对构成图片的编码数据的多个MB的每一个设定的量化尺度的值。

如图16A所示，假设针对与通过对编码数据进行解码而得到的图片的上部相对应的多个MB的每一个设定的量化尺度的值是“4”。并且，假设针对与从编码数据得到的图片的中央部和下部相对应的多个MB的每一个设定的量化尺度的值是“8”。

在此，假设根据目标编码率进行编码率控制时的量化尺度的平均值是“8”。该情况时，如果根据量化尺度的平均值变换量化尺度的值，则针对与图片的上部对应的多个MB的每一个设定的量化尺度的值被从“4”变换为“8”，针对除此之外的MB设定的量化尺度的值依旧保持“8”。

但是，在适用考虑了量化矩阵变换的编码效率而制定的前述量化尺度qo’(j)的算式时，在量化矩阵变换率α＝1/2时，为了维持或降低编码数据的编码率，需要使量化尺度变换率β≥2。因此，如图16B所示，针对与图片的中央部和下部对应的多个MB的每一个设定的量化尺度的值被从“8”变换为“16”。

但是，与图片的中央部和下部对应的多个MB中，针对前述重要MB设定的量化尺度变换率β为“1”，量化尺度的值依旧保持“8”。

另外，如图16B所示，针对与图片的上部对应的多个MB的每一个设定的量化尺度的值被从“4”变换为“8”。

使用图17说明本发明的实施方式1的编码率变换装置1000的量化部107进行的普通MB的量化的具体处理。普通MB的量化的具体处理是在图14中的步骤S509进行。

假设编码率控制及量化矩阵变换的结果是将量化矩阵的低频成分的系数(ε＝2时)设为1/2倍。即，假设低频成分的量化矩阵变换率α为“1/2”。并且，假设高频成分的量化矩阵变换率α为“1”。并且，假设编码率控制及量化尺度变换的结果是将量化尺度的值从“4”变为“8”，即增加为2倍。即，假设量化尺度变换率β为“2”。假设此时的量化尺度的值“8”是前述的目标量化尺度的值。

在此，在前述的矩阵变换式A中，假设ε＝2。该情况时，量化矩阵的低频成分的系数是量化矩阵表示的64个系数中被配置为左上部的三角形状的6个系数。并且，量化矩阵的高频成分的系数是量化矩阵表示的64个系数中被配置为左上部的三角形状的6个系数以外的系数。

图17所示的两个量化矩阵中左侧的量化矩阵是进行变换之前的量化矩阵(以下称为变换前量化矩阵)。并且，图17所示的两个量化矩阵中右侧的量化矩阵是变换之后的量化矩阵(以下称为变换后量化矩阵)。

图17所示的变换后量化矩阵是在图13中的步骤S408的处理中，由量化矩阵低频域削减变换部108使用低频成分的量化矩阵变换率α“1/2”，对变换前量化矩阵进行变换而得到的矩阵。

在图17所示的变换后量化矩阵中，高频成分的系数的值保持原状，低频成分的系数的值减小(1/2倍)。因此，在使用图17所示的变换后量化矩阵进行量化时，编码数据的编码量(编码率)增大。即，图17所示的变换后量化矩阵是用于增大编码数据的编码量(编码率)的矩阵。

并且，图17所示的表示量化DCT系数的两个矩阵中，左侧的矩阵是进行量化之前的矩阵(以下称为再量化前矩阵)。即，图17所示的再量化前矩阵是通过由反量化部106进行反量化的处理得到的矩阵。并且，图17所示的表示量化DCT系数的两个矩阵中，右侧的矩阵是通过进行再量化得到的矩阵(以下称为再量化后矩阵)。

图17所示的再量化后矩阵是通过在图14中的步骤S509的处理中，由量化部107使用图17所示的变换后量化矩阵和算出的量化尺度的值“8”，对再量化前矩阵进行再量化而得到的矩阵。

根据前述的反量化的算式，需要使量化DCT系数与量化矩阵和量化尺度大致成反比例。因此，需要将低频成分的量化DCT系数变换为2(1/α)倍×1/2(1/β)倍＝1倍。并且，需要将高频成分的量化DCT系数变换为1(1/α)倍×1/2(1/β)倍＝1/2倍。

在此，图17所示的再量化前矩阵表示的非0量化DCT系数是7、-3、2、1、4、1、-1、1合计8个。并且，8个非0量化DCT系数中前半部分的3个系数(7、-3、2)是把对应于低频成分的InterMB的块作为变换对象的量化DCT系数。

该情况时，如图17中的再量化后矩阵所示，低频成分的量化DCT系数不需要变换。并且，如图17中的再量化后矩阵所示，高频成分的量化DCT系数被变换为将0.5、2、0.5、-0.5、0.5整数化得到的0、2、0、0、0。

由此，可以将输入时为50bit的编码量减小为35bit。因此，可以削减编码数据的编码率，而低频成分不会产生量化误差。

下面，使用图18说明本发明的实施方式1的编码率变换装置1000的量化部107进行的重要MB的量化的具体处理。重要MB的量化的具体处理是在图14中的步骤S509进行。

在图17的说明中，在普通MB中，由于把量化尺度的值变换为2倍，所以高频成分产生了量化误差。但是，在重要MB中，为了使高频成分也不产生量化误差，将量化尺度设定为1倍。即，把量化尺度变换率β设为“1”。该情况时，算出的量化尺度的值是通过图16中的步骤S602的处理算出的值。通过该处理，算出量化尺度的值“4”。

图18与图17相同，表示变换前量化矩阵、变换后量化矩阵、再量化前矩阵和再量化后矩阵。图18所示的变换后量化矩阵与图17所示的变换后量化矩阵相同，所以不重复具体说明。

图18所示的再量化后矩阵是通过在图14中的步骤S509的处理中，由量化部107使用图18所示的变换后量化矩阵和算出的量化尺度的值“4”，对图18所示的再量化前矩阵进行再量化而得到的矩阵。

根据前述的反量化的算式，需要使量化DCT系数与量化矩阵和量化尺度大致成反比例。因此，需要将低频成分的量化DCT系数变换为2(1/α)×1(1/β)＝2倍。并且，需要将高频成分的量化DCT系数变换为1(1/α)×1(1/β)＝1倍。

在此，图18所示的再量化前矩阵表示的非0量化DCT系数是7、-3、2、1、4、1、-1、1合计8个。并且，8个非0量化DCT系数中前半部分的3个系数(7、-3、2)是把对应于低频成分的InterMB的块作为变换对象的量化DCT系数。

该情况时，如图18中的再量化后矩阵所示，低频成分的量化DCT系数被变换为输入时的2倍的14、-6、4。并且，如图18中的再量化后矩阵所示，高频成分的量化DCT系数不需要从输入时的系数进行变换。

只要变换倍率是整数，低频成分的量化DCT系数就是整数，所以不会产生新的量化误差。高频成分的量化DCT系数不需要变换，所以不会产生量化误差。

由此，虽然输入时为50bit的编码量增加为59bit，但是可以在从低频成分到高频成分的全部频率范围中不产生量化误差地进行变换。

如果重要MB在对应于图片的全部MB中占多数，则上述的编码量的增加将成为实现目标编码率的重大障碍。但是，如果重要MB在对应于图片的全部MB中数量足够少，则可以通过削减其他普通MB的编码量来弥补上述的编码量的增加。

因此，在本发明的实施方式1的编码率变换装置1000中，通过使量化矩阵的低频成分的系数整体上小于输入值，可以抑制低频成分的量化误差的产生，并且抑制包括重要MB中的高频成分的量化误差的产生。

即，根据本实施方式的处理，可以抑制起因于低频成分的量化误差的画质恶化，同时在作为重要MB的特定宏块中抑制起因于高频成分的量化误差的画质恶化。

另外，在本实施方式中，如图19A所示，列举了宏块的类型是InterMB，而且量化矩阵的全部系数固定的情况。但是，不限于此，如图19B所示，本实施方式的处理也可以在宏块的类型是IntraMB、量化矩阵的系数不是固定值而是各种值的情况下进行。

并且，可以只在InterMB和IntraMB任一方适用使用了量化矩阵的编码率变换，也可以在InterMB和IntraMB双方中改变量化矩阵的变换倍率等。

另外，在本实施方式中，如图19A所示，列举了量化矩阵的系数不产生变换误差的情况，但如图19B所示，也可以使量化矩阵的系数产生变换误差。

另外，本发明把MPEG2作为前提进行了记述。但是，不限于MPEG2，只要是利用图片单位设定量化矩阵、利用宏块单位设定量化参数的编码，例如JPEG、MPEG1、MPEG4、H.264等都可以适用本发明。

另外，本发明把DCT变换作为前提进行了记述，但只要是能够将图像数据分解为低频成分的正交变换，也可以是其他的变换方法。

另外，像本发明这样的MPEG2的IntraMB的DC成分等，在几种编解码器中，有时被实施DC成分等不属于量化尺度的适用对象等的特殊的量化及编码。但是，关于这些特殊的系数，如图19B所示，也可以不作为本发明中的量化矩阵变换的对象。

图20A是表示变换前的量化矩阵的图。图20B是表示通过实施方式1的处理变换后的量化矩阵的图。图20C是表示针对图20B所示的量化矩阵使用的数值和处理的图。

另外，在本实施方式中，把量化矩阵的低频成分的变换对象系数设为符合u+v≤2的系数，但u+v≤2中的“2”也可以是2之外的数字。并且，也可以利用在编码时使用的扫描顺序(Z字形扫描)(0～63)。并且，也可以设为像图20B所示的量化矩阵MA那样的扫描顺序(Z字形扫描)≤-1、即没有变换区域。

并且，还可以设为像图20B所示的量化矩阵MB那样的扫描顺序(Z字形扫描)≤63、即把全部系数设为变换区域。此外，只要是能够分离低频成分和高频成分的方法，则可以是任何方法。并且，这些基准也可以不固定，可以按每个图片而变化等。

另外，在本实施方式中，把量化矩阵的变换对象系数的变换率设为固定，但也可以像图20C所示的量化矩阵MC那样，即使变换对象系数不是以固定的变换率变换，只要(变换后的量化矩阵系数)≥(变换前的量化矩阵系数)×量化矩阵变换率α成立即可。

另外，在本实施方式中，不改变量化矩阵的非变换对象的系数，但也可以像图20B所示的量化矩阵MD那样，即使改变非变换对象的系数，也不会影响本发明的宗旨。

另外，在本实施方式中，关于量化矩阵的变换对象的系数使用符合u+v≤固定值的系数或者扫描顺序(Z字形扫描)。但是，不限于此，也可以像图20B所示的量化矩阵ME那样，把量化矩阵的变换对象系数设为符合条件u≤固定值而且v≤固定值的系数。

并且，也可以使用像图20B所示的量化矩阵MF那样的扫描顺序(交替扫描)，还可以利用其他方法确定。另外，在使用扫描顺序时，关于利用哪种扫描顺序，可以根据是逐行图像还是隔行图像来确定，也可以根据流是按照哪种扫描顺序被编码的来确定。

另外，在本实施方式中，把进行每个MB的编码率控制作为前提，但是，未必一定是每个MB，例如也可以使全部MB是相同的量化尺度等。

并且，在本实施方式中，即使把变换倍率设定为1倍以上，只要小于量化矩阵的低频成分的变换倍率(1/α)倍，则编码数据的编码量进一步增加。在编码率变换中，可以允许小于变换倍率1/α倍，也可以不允许小于变换倍率1/α倍，而将变换倍率提高为1/α以上。

另外，在本实施方式中，把量化矩阵的低频系数的变换限定为1/α倍(α：整数)进行了说明，但是未必一定是1/α倍，只要是小于1的值，则可以是任意有理数。

另外，在本实施方式中，把量化参数的变换限定为整数倍进行了说明，但是未必一定是整数倍，只要是大于1的值，则可以是任意有理数。

另外，在本实施方式中，在低频成分时，把量化矩阵的变换倍率×量化参数的变换倍率为1以上作为前提进行了记述，但即使是小于1的值时，只要大于高频成分，则可以是任意的值。

另外，在本实施方式中，把使用4:2:0(亮度、色差、色差)的6块结构的编解码器作为前提进行了记述，但是本发明也可以在具有4:2:2等其他块结构的图像编解码器中实施。

另外，在本实施方式中，把在变换量化DCT系数时舍去小数点以后的部分作为前提进行了记述，但是本发明也可以在对小数点以后的部分进行四舍五入、或利用其他方法进行整数化时实施。

另外，本实施方式的编码率变换装置使反量化部和量化部独立，但是反量化部和量化部也可以成为一体，并直接从输入流的量化DCT系数算出输出流的量化DCT系数。

另外，本实施方式的编码率变换装置1000直接输出通过再量化得到的量化DCT系数，但本发明也可以适用于对通过再量化得到的量化DCT系数进行例如基于运动补偿的校正后再输出的情况。此外，在从输入流变换为输出流时，只要是不一次恢复为图像即直接通过再量化来变换的方法，就可以实施本发明。

(实施方式2)

在实施方式1的编码率变换装置1000中，例如在MPEG2中，量化尺度的值只能取1～112的范围。因此，在输入流的量化尺度的值是接近112的值时，量化尺度变换率β无法增大。该情况时，有时将不能抵消因量化矩阵形成的低频成分的编码量增加，不能充分削减编码率。

并且，在实施方式1的编码率变换装置1000中，在MPEG2中，量化矩阵的系数只能取1～255的范围。因此，在输入流的量化矩阵的低频成分的系数已经是在某种程度上接近1的值时，将不能增大低频成分的量化矩阵变换率α，所以有时不能充分改善画质恶化情况。

在本发明的实施方式2中，说明用于解决上述问题的编码率变换装置。

下面，参照附图说明本发明的实施方式。

图21是表示实施方式2的编码率变换装置1000A的结构的方框图。

图21所示的编码率变换装置1000A与图11所示的编码率变换装置1000相比，不同之处是设置量化矩阵变换控制部110A来取代量化矩阵变换控制部110，设置量化矩阵高频域增加变换部108A来取代量化矩阵低频域削减变换部108，设置量化尺度增加/削减变换部104A来取代量化尺度增加变换部104。除此之外与编码率变换装置1000的结构相同，所以不重复具体说明。

量化矩阵变换控制部110A进行的是，在实施方式1中说明的量化矩阵变换控制部110进行的处理的说明中，将“量化矩阵低频域削减变换部108”和“量化尺度增加变换部104”分别替换为“量化矩阵高频域增加变换部108A”和“量化尺度增加/削减变换部104A”的处理，所以不重复具体说明。

量化矩阵变换控制部110A在处理开头的图片时，根据该图片的目标编码量及量化矩阵的变换实际结果等计算量化矩阵的变换控制信息，并通知量化矩阵高频域增加变换部108A。并且，量化矩阵变换控制部110A根据量化矩阵的控制信息，对每个宏块校正目标量化尺度，将校正后的目标量化尺度通知量化尺度增加/削减变换部104A。

量化矩阵高频域增加变换部108A根据量化矩阵的变换控制信息，将输入流的量化矩阵的高频成分的系数变换为增加方向。并且，量化矩阵高频域增加变换部108A将变换后的量化矩阵同时通知给量化部107和图片标题存储部109。

量化尺度增加/削减变换部104A把目标量化尺度作为基准，或者进行重要MB的判定，将输入流的量化尺度变换为增加方向或减小方向，从而计算输出流的量化尺度。并且，量化尺度增加/削减变换部104A将变换后的量化尺度同时通知给量化部107和MB标题存储部105。

根据图12～图14所示的实施方式1的编码率变换装置的处理流程，说明本发明的实施方式2的编码率变换装置的处理流程。

S301～S308、S401～S407与实施方式1相同，所以省略说明。量化矩阵高频域增加变换部108A根据量化矩阵的变换控制信息，将在步骤S302、S305、S404的任一处理中设定的输入流的量化矩阵的高频成分变换为增加方向(S408)。

S409～S411、S501～S504与实施方式1相同，所以省略说明。量化尺度增加/削减变换部104A进行S502的目标量化尺度的校正及重要MB的判定等，将该宏块的量化尺度的输入值变换为增加方向或削减方向。S505～S513与实施方式1相同，所以省略说明。

说明本发明的实施方式2的编码率变换装置的编码率控制的具体动作。

在处理开头的图片时，首先需要计算该图片的目标编码量T(i)，这可以根据TM5的步骤1计算得到，所以省略具体说明。另外，需要对宏块计算目标量化尺度，这也可以根据TM5的步骤2计算得到，所以省略具体说明。

另外，此处作为编码率控制方式列举了TM5，但也可以是其他的编码率控制方式。本发明并不依存于特定的编码率控制方式。

下面，说明本发明的实施方式2的编码率变换装置1000A进行的、图13中的步骤S408的量化矩阵变换的具体处理。

在此，假设存在第i个图片和该第i个图片的前一个图片(以下称为评价对象图片)。该情况时，评价对象图片是第i-1个图片。在此，评价对象图片是在第i个图片之前成为显示对象的图片。并且，假设第i个图片和评价对象图片是相同类型的图片。

并且，假设高频成分(高频域)的量化矩阵变换率是α(i-1)倍(α(i-1)＞1)，量化尺度变换率的平均值是β(i-1)倍。该情况时，量化DCT系数变换率γ(i-1)(高频成分的平均)可以根据算式γ(i-1)＝α(i-1)×β(i-1)计算得到。

在此，DCT系数的低频的量化误差达到最小是在γ＝1时，另外，即使γ大于1，只要是某种程度上比较小的值(此处设为γmax)，则认为画质恶化被控制在允许范围内。

在假设超过允许范围时，需要进行控制以便进入允许范围内。并且，在γ小于1时，虽然不会产生画质恶化，但由于编码量增加，所以需要控制成为使γ达到1以上。

把处于和第i个图片最近的位置的评价对象图片假设为具有与第i个图片相同的趋势的量化尺度(β(i)＝β(i-1))。该情况时，第i个图片的量化矩阵变换率(高频域)α(i)可以根据下式算出。

α(i)＝

1×α(i-1)/γ(i-1)      (γ(i-1)＜1时)

α(i-1)                 (1≤γ(i-1)≤γmax时)

γmax×α(i-1)/γ(i-1)  (γmax＜γ(i-1)时)

然后，按照该量化矩阵变换率α(i)，利用下式(以下称为矩阵变换式B)变换输入流的量化矩阵，算出输出流的量化矩阵Wo(u，v)。

Wo(u，v)＝

Wi(u，v)           (u+v≤ε(低频成分)时)

α(i)×Wi(u，v)    (u+v＞ε(高频成分)时)

其中，Wi(u，v)是表示输入流的量化矩阵的第(u，v)个的系数(u＝0～7、v＝0～7)的常数。Wo(u，v)是表示输出流的量化矩阵的第(u，v)个的系数的常数。并且，Wo(u，v)表示利用v+1行u+1列确定的系数。例如，在u＝2、v＝5时，Wo(u，v)表示利用6行3列确定的系数。ε是表示用于抑制误差的频率的阈值(基准频率)的常数。

另外，此处选择相同图片类型而且在最近位置的图片(评价对象图片)作为量化尺度实际值，但不限于此。例如，也可以与第i个图片的类型无关地选择评价对象图片。

并且，也可以选择不处于和第i个图片最近位置的图片。并且，还可以选择第i个图片前面的多个图片，而不是只选择一个图片。并且，也可以不利用第i个图片前面的图片的量化尺度，而利用先读出第i个图片的量化尺度并算出的量化尺度，还可以利用其他方法预测量化尺度。

另外，此处在计算量化矩阵变换率时使用量化尺度变换率的平均值。但是，不限于此，所使用的值也可以是量化尺度变换率的最小值等与量化尺度相关的其他实际值，还可以是固定值等。并且，量化矩阵变换率的计算方法也可以是与量化尺度无关的计算方法。

下面，说明本发明的实施方式2的编码率变换装置1000A进行的、量化尺度变换(图15所示的量化尺度变换处理)的具体处理。

通过编码率控制算出的目标量化尺度是根据TM5的步骤2算出并确定的，与量化矩阵无关地进行决定。因此，在本实施方式的编码率变换装置1000A中，所使用的量化尺度的值有可能不是最佳的量化尺度的值。

在量化矩阵变换率(高频域)比较大时，编码量是减小的方向。因此，如果直接使用通过编码率控制求出的量化尺度的值，则将有可能使得编码量被过度削减。该情况时，为了使编码量的削减变得稍微缓和，也可以校正成为使目标量化尺度的值稍微偏小。

例如，校正通过编码率控制得到的目标量化尺度mq(j)，并按照下式计算。

mq’(j)＝mq(j)×(1/α)

另外，此处通过乘以1/α来进行目标量化尺度的校正，但也可以不是1/α，只要是小于1的值，就可以向增加方向校正编码数据的编码量。并且，也可以利用其他算式进行目标量化尺度的校正，还可以不进行校正。

然后，实际算出该宏块的量化尺度。输出流的量化尺度qo(j)可以利用作为现有技术的专利文献2的日本特开2001-204028号公报公开的技术导出，所以省略具体说明。

qo(j)＝

qi(j)       (mq(j)＜1.5×qi(j)时)

2×qi(j)    (1.5×qi(j)≤mq(j)＜2×qi(j)时)

mq(j)       (2×qi(j)＜mq(j)时)

其中，qi(j)是输入流的量化尺度，并且mq(j)是目标量化尺度。

另外，此处利用上式导出量化尺度qo(j)，但也可以利用其他算式导出。

如果使用上述的量化尺度，则能够进行抑制了DCT系数的低频成分的量化误差的变换。

但是，在前面叙述的重要MB中，得知不仅抑制DCT系数的低频成分，如果也抑制了高频成分的量化误差，将能够抑制整体的画质恶化。因此，在重要MB中，优选可以设定能够抑制全部频率区域的量化误差的量化尺度。

如前面所述，重要MB是：通过将MB的MB块部的数据量和通过该MB的MB标题部表示的量化尺度码的变换而得到的量化尺度的值、两者相乘而得到的值，表示大于预定值的值的MB。

并且，对应重要MB的量化尺度qo”(j)可以利用下式算出。

qo”(j)＝1/α×qi(j)

如果在重要MB中使用上述的量化尺度qo”(j)，则可以进行抑制了全部频率区域的量化误差的变换。

如果是除此之外的MB(普通MB)，量化尺度可以使用上述的qo(j)。

另外，重要MB也可以使用除前述的运算(MB块部的数据量×量化尺度的值)之外的运算来确定。

下面，说明量化尺度的值的变换示例。

在此，假设变换前的量化尺度的值是图16A所示的值。如前面所述，图16A所示的多个数字表示针对构成图片的编码数据的多个MB的每一个设定的量化尺度的值。

在此，假设根据目标编码率进行编码率控制时的量化尺度的平均值是“8”。该情况时，如果根据量化尺度的平均值变换量化尺度的值，如图22所示，针对与图片的上部对应多个MB的每一个设定的量化尺度的值被从“4”变换为“8”，针对除此之外的MB设定的量化尺度的值依旧保持“8”。

但是，在量化矩阵变换率α＝1/2时，将与图片的中央部和下部对应多个MB中，针对前述重要MB设定的量化尺度变换率β设为“1/2”，以使量化误差为最小。因此，针对重要MB设定的量化尺度被变换为减小方向，从“4”变为“8”。

使用图23说明本发明的实施方式2的编码率变换装置1000A的量化部107进行的重要MB的量化的具体处理。重要MB的量化的具体处理是在图14中的步骤S509进行。

假设编码率控制及量化矩阵变换的结果是将量化矩阵的低频成分的系数(ε＝2时)增加为2倍。即，假设高频成分的量化矩阵变换率α为“2”。并且，假设低频成分的量化矩阵变换率α为“1”。

并且，在重要MB中，为了不产生高频成分的量化误差，将量化尺度的值减小为1/2倍。即，把量化尺度变换率β设为“1/2”。该情况时，算出的量化尺度的值是通过图16中的步骤S602的处理算出的值。通过该处理，算出量化尺度的值“2”。

在此，在前述的矩阵变换式B中，假设ε＝2。该情况时，量化矩阵的低频成分的系数是量化矩阵表示的64个系数中被配置为左上部的三角形状的6个系数。并且，量化矩阵的高频成分的系数是量化矩阵表示的64个系数中被配置为左上部的三角形状的6个系数以外的系数。

图23与图17相同，表示变换前量化矩阵、变换后量化矩阵、再量化前矩阵和再量化后矩阵。

图23所示的变换后量化矩阵是通过在图13中的步骤S408的处理中，由量化矩阵高频域增加变换部108A使用高频成分的量化矩阵变换率α“2”，对图23所示的变换前量化矩阵进行变换而得到的矩阵。

在图23所示的变换后量化矩阵中，低频成分的系数的值保持原状，高频成分的系数的值增大(2倍)。因此，在使用图23所示的变换后量化矩阵进行量化时，编码数据的编码量(编码率)减小。即，图23所示的变换后量化矩阵是用于减小编码数据的编码量(编码率)的矩阵。

图23所示的再量化后矩阵是通过在图14中的步骤S509的处理中，由量化部107使用图23所示的变换后量化矩阵和算出的量化尺度的值“2”，对图23所示的再量化前矩阵进行再量化而得到的矩阵。

根据前述的反量化的算式，需要使量化DCT系数与量化矩阵和量化尺度大致成反比例。因此，需要将低频成分的量化DCT系数变换为1(1/α)×2(1/β)＝2倍。并且，需要将高频成分的量化DCT系数变换为1/2(1/α)×2(1/β)＝1倍。

在此，图23的再量化前矩阵表示的非0量化DCT系数是7、-3、2、1、4、1、-1、1合计8个。并且，8个非0量化DCT系数中前半部分的3个系数(7、-3、2)是把对应于低频成分的InterMB的块作为变换对象的量化DCT系数。

该情况时，如图23中的再量化后矩阵所示，低频成分的量化DCT系数被变换为输入时的2倍的14、-6、4。并且，如图23中的再量化后矩阵所示，高频成分的量化DCT系数不需要变换。

此时，只要变换倍率是整数，低频成分的量化DCT系数就是整数。因此，不会产生新的量化误差。并且，高频成分的量化DCT系数不需要从输入进行变换，所以不会产生量化误差。

由此，虽然输入时为50bit的编码量增加为59bit，但是可以在从低频成分到高频成分的全部频率范围中不产生量化误差地进行变换。

如果重要MB在对应于图片的全部MB中占多数，则上述的编码量的增加将成为实现目标编码率的重大障碍。但是，如果重要MB在对应于图片的全部MB中数量足够少，则可以通过削减其他普通MB的编码量来弥补上述的编码量的增加。

因此，在本发明的实施方式2的编码率变换装置1000A中，通过使量化矩阵的低频成分的系数整体上小于输入值，可以抑制低频成分的量化误差的产生，并且抑制包括重要MB中的高频成分的量化误差的产生。

即，根据本实施方式的处理，可以抑制起因于低频成分的量化误差的画质恶化，同时在作为重要MB的特定宏块中抑制起因于高频成分的量化误差的画质恶化。

另外，在本实施方式中，如图24A所示，列举了宏块的类型是InterMB，而且量化矩阵的全部系数固定的情况。但是，不限于此，如图24B所示，本实施方式的处理也可以在宏块的类型是IntraMB、量化矩阵的系数不是固定值而是各种值的情况下进行。

并且，可以只在InterMB和IntraMB任一方适用使用了量化矩阵的编码率变换，也可以在InterMB和IntraMB双方中改变量化矩阵的变换倍率等。

另外，本发明把MPEG2作为前提进行了记述。但是，不限于MPEG2，只要是利用图片单位设定量化矩阵、利用宏块单位设定量化参数的编码，例如JPEG、MPEG1、MPEG4、H.264等都可以适用本发明。

另外，本发明把DCT变换作为前提进行了记述，但只要是能够将图像数据分解为低频成分的正交变换，也可以是其他的变换方法。

另外，像本发明这样的MPEG2的IntraMB的DC成分等，在几种编解码器中，有时被实施DC成分等不属于量化尺度的适用对象等的特殊的量化及编码。但是，关于这些特殊的系数，如图24B所示，也可以不作为本发明中的量化矩阵变换的对象。

图25A是表示变换前的量化矩阵的图。图25B是表示通过实施方式2的处理变换后的量化矩阵的图。图25C是表示针对图25B所示的量化矩阵使用的数值和处理的图。

另外，在本实施方式中，把量化矩阵的高频成分的变换对象系数设为符合u+v≥3的系数，但u+v≥3中的“3”也可以是3之外的数字。并且，也可以利用在编码时使用的扫描顺序(Z字形扫描)(0～63)。并且，也可以设为像图25B所示的量化矩阵MAA那样的扫描顺序(Z字形扫描)≥0、即把全部系数设为变换区域。

并且，还可以设为像图25B所示的量化矩阵MBA那样的扫描顺序(Z字形扫描)≥64、即设为没有变换区域。此外，只要是能够分离低频成分和高频成分的方法，则可以是任何方法。并且，这些基准也可以不固定，可以按每个图片而变化等。

另外，在本实施方式中，把量化矩阵的变换对象系数的变换率设为固定，但也可以像图25B所示的量化矩阵MCA那样，即使变换对象系数不是以固定的变换率变换，只要(变换后的量化矩阵系数)≤(变换前的量化矩阵系数)×量化矩阵变换率α成立即可。

另外，在本实施方式中，作为一例，量化矩阵变换率使用了2，但只要大于1，则也可以是其他整数。例如，也可以像图25B所示的量化矩阵MDA那样，只要大于1，则量化矩阵变换率也可以是小数。

另外，在本实施方式中，关于量化矩阵的变换对象的系数使用符合u+v≤固定值的系数或者扫描顺序(Z字形扫描)。但是，不限于此，也可以像图25B所示的量化矩阵MEA那样，把量化矩阵的变换对象系数设为符合条件u≥固定值而且v≥固定值的系数。

并且，也可以使用像图25B所示的量化矩阵MFA那样的扫描顺序(交替扫描)，还可以利用其他方法确定。另外，在使用扫描顺序时，关于利用哪种扫描顺序，可以根据是逐行图像还是隔行图像来确定，也可以根据流是按照哪种扫描顺序被编码的来确定。

另外，在本实施方式中，把进行每个MB的编码率控制作为前提，但是，未必一定是每个MB，例如也可以使全部MB是相同的量化尺度等。

并且，在本实施方式中，把量化矩阵的高频成分的变换限定为整数倍进行了说明，但是未必一定是整数倍，只要大于1的值，则可以是任意有理数。

另外，在本实施方式中，把量化尺度变换率限定为1/α倍(α：整数)进行了说明。但是，量化尺度变换率未必一定是1/α，只要是小于1的值，则可以是任意有理数。

另外，在本实施方式中，把使用4:2:0(亮度、色差、色差)的6块结构的编解码器作为前提进行了记述，但是本发明也可以在具有4:2:2等其他块结构的图像编解码器中实施。

另外，在本实施方式中，把在变换量化DCT系数时舍去小数点以后的部分作为前提进行了记述，但是本发明也可以在对小数点以后的部分进行四舍五入、或利用其他方法进行整数化时实施。

另外，本实施方式的编码率变换装置使反量化部和量化部彼此独立，但是反量化部和量化部也可以成为一体，并直接从输入流的量化DCT系数算出输出流的量化DCT系数。

另外，本实施方式的编码率变换装置1000A直接输出通过再量化得到的量化DCT系数，但本发明也可以适用于对通过再量化得到的量化DCT系数进行例如基于运动补偿的校正后再输出的情况。此外，在从输入流变换为输出流时，只要是不一次恢复为图像而是直接通过再量化来变换的方法，就可以实施本发明。

(实施方式3)

在实施方式2的编码率变换装置1000A中，在MPEG2中，量化矩阵只能取1～255的范围。因此，在输入流的量化矩阵的高频域(高频成分)的系数已经是接近255的值时，将不能增大高频成分的量化矩阵变换率α。结果，不能充分削减高频成分的编码率，所以有时不能充分削减编码率。

并且，在实施方式2的编码率变换装置1000A中，在MPEG2中，量化尺度只能取1～112的范围。因此，在输入流的量化尺度已经是接近1的值时，将不能把重要MB中的量化尺度变换率β设为充分小的值。结果，不能完全抑制因量化矩阵的高频域削减而产生的量化误差，有时导致画质的恶化。

即，能够进行使画质恶化最小的量化处理的编码率变换装置，根据输入流的量化矩阵及量化尺度的值而不同。即，根据量化矩阵及量化尺度的值，有时是图11所示的实施方式1的编码率变换装置1000能够进行使画质恶化最小的量化处理。编码率变换装置1000是进行用于变换量化矩阵的量化矩阵低频域削减变换的装置。量化矩阵低频域削减变换是用于减小变换对象的量化矩阵中的低频成分的系数的变换。

并且，根据量化矩阵及量化尺度的值，有时是图21所示的实施方式2的编码率变换装置1000A能够进行使画质恶化最小的量化处理。编码率变换装置1000A是进行用于变换量化矩阵的量化矩阵高频域削减变换的装置。量化矩阵低频域削减变换是用于增大变换对象的量化矩阵中的高频成分的系数的变换。

并且，根据量化矩阵及量化尺度的值，有时是图9所示的以往的编码率变换装置13000能够进行使画质恶化最小的量化处理。

在本发明的实施方式3中，说明用于解决上述问题的编码率变换装置。

下面，参照附图说明本发明的实施方式。

图26是表示实施方式3的编码率变换装置1000B的结构的方框图。

图26所示的编码率变换装置1000B与图11所示的编码率变换装置1000相比，不同之处是设置量化矩阵变换控制部110B来取代量化矩阵变换控制部110，还设置量化矩阵高频域增加变换部108A和量化尺度增加/削减变换部104A。除此之外与编码率变换装置1000的结构相同，所以不重复具体说明。

量化矩阵变换控制部110B在处理开头的图片时，判定是否可以在量化矩阵的变换中适用量化矩阵低频域削减变换和量化矩阵高频域增加变换中的某一方。关于该判定的具体情况将在后面叙述。另外，当在量化矩阵的变换中可以适用量化矩阵低频域削减变换和量化矩阵高频域增加变换双方时，量化矩阵变换控制部110B确定在量化矩阵的变换中适用哪一种变换。

当在量化矩阵的变换中适用量化矩阵低频域削减变换时，编码率变换装置1000B进行与实施方式1的编码率变换装置1000相同的处理，所以不重复具体说明。

当在量化矩阵的变换中适用量化矩阵高频域增加变换时，编码率变换装置1000B进行与实施方式2的编码率变换装置1000A相同的处理，所以不重复具体说明。

当在量化矩阵的变换中不适用量化矩阵低频域削减变换和量化矩阵高频域增加变换的任一方时，量化矩阵变换控制部110B进行与图9所示的以往的编码率变换装置13000相同的处理，所以不重复具体说明。

说明本发明的实施方式3的编码率变换装置1000B的编码率变换方法判定的具体动作。

如前面所述，用于变换量化矩阵的量化矩阵低频域削减变换和量化矩阵高频域增加变换，根据量化矩阵及量化尺度的值，未必一定是最佳的方法。因此，优选按照量化矩阵及量化尺度的值选择最佳的方法。但是，量化尺度的值被分散到全部MB的MB标题中进行编码。因此，为了知道量化尺度的值，需要先读出全部MB的量化尺度的值。

为了先读出量化尺度的值，需要将输入流解码两次。因此，使之具有与处理对象的图片的量化尺度的值相同的趋势，可以利用过去的同一图片类型的量化尺度的值代替。

首先，量化矩阵变换控制部110B判定在处理对象的图片中使用的量化矩阵是否符合以下4个条件JA、JB、JC、JD中的某一个。

(JA)量化矩阵的高频域系数的最大值接近标准上限

(JB)量化矩阵的低频域系数的最小值接近标准下限

(JC)符合JA、JB双方

(JD)不符合JA、JB任一方

然后，量化矩阵变换控制部110B判定在处理对象的图片中使用的量化尺度的值是否符合以下4个条件Ja、Jb、Jc、Jd中的某一个。

(Ja)量化尺度的最大值接近标准上限

(Jb)量化尺度的最小值接近标准下限

(Jc)符合Ja、Jb双方

(Jd)不符合Ja、Jb任一方

针对上述量化矩阵和量化尺度的判定结果的组合，关于适合量化矩阵低频域削减变换(以下称为方法1)和量化矩阵高频域增加变换(以下称为方法2)的哪一种编码率变换，可以参照图27所示的判定表T100进行判定。判定表T100是用于在量化矩阵的变换中判定是否可以适用方法1、方法2的表。

图27中的判定表T100所示的“JA”、“JB”、“JC”、“JD”指前述条件JA、JB、JC、JD。图27中的判定表T100所示的“Ja”、“Jb”、“Jc”、“Jd”指前述条件Ja、Jb、Jc、Jd。

例如，通过前述的判定，在判定符合条件JB和条件Ja时，根据判定表T100，判定方法1(量化矩阵低频域削减变换)适合于量化矩阵的变换。

另外，在图27所示的判定表T100中，被设为“哪个都可以适用”的部位表示可以适用方法1、方法2任一方法。

另外，在图27所示的判定表T100中，被设为“哪个都不适用”的部位表示在适用方法1、方法2的任一方法时，都产生不能充分削减编码率，并且产生画质恶化等的弊端。因此，不适用方法1、方法2的任一方的变换方法，而适用以往的编码率变换。

关于本发明的实施方式3的编码率变换装置1000B中的编码率控制、量化矩阵变换、量化尺度变换的具体动作，与实施方式1的编码率变换装置1000和实施方式2的编码率变换装置1000A相同，所以省略说明。

另外，在本实施方式中，把整合了实施方式1的编码率变换装置1000和实施方式2的编码率变换装置1000A的编码率变换装置1000B作为前提进行了说明。但是，不限于此，有关是否变换量化尺度的判定，也可以适用于实施方式1的编码率变换装置1000和实施方式2的编码率变换装置1000A。

另外，在本实施方式中，关于是否进行量化矩阵变换的判定，使用了量化矩阵及量化尺度的最大值、最小值，但也可以使用平均值等其他基准值进行判定。

例如，在实施方式1的编码率变换装置1000进行的处理中，假设量化矩阵变换率(低频域)α×量化尺度变换率β＝1成立。此时，最能够抑制低频成分的量化误差，另外考虑到根据现有技术在量化尺度变换率＝2成立时期望提高每个编码量的画质，则优选设为量化矩阵变换率α＝1/2。但是，在量化矩阵的低频成分的系数是奇数时，有时因为量化矩阵变换时的变换误差而产生画质恶化。

并且，例如，在实施方式2的编码率变换装置1000A进行的处理中，假设量化尺度变换率β是小于1而且具有小数的实数。该情况时，将减小量化尺度的值。但是，由于β不是整数，所以在向量化尺度的编码时使用的量化尺度码(量化参数)变换时，量化尺度码相对于量化尺度被离散定义，导致变换误差的产生增多。结果，有时与画质的恶化相关。

考虑到上述性质，关于是否进行量化矩阵变换的判定，也可以适用下述方法进行判定，即：使用量化矩阵及量化尺度的变换误差，使变换误差减小。

并且，在MPEG2中，量化DCT系数只能取-2047～2047的范围。因此，在实施方式1的编码率变换装置1000和实施方式2的编码率变换装置1000A进行的处理中，在输入流的量化DCT系数已经是接近-2047或2047的值时，在重要MB中也不能增加量化DCT系数，所以有时产生画质恶化。

考虑到上述性质，关于是否进行量化矩阵变换的判定，也可以使用量化DCT系数的最大值等的量化DCT系数。

(实施方式4)

在实施方式1的编码率变换装置中，假设量化矩阵是一种类型，或者对全部的量化矩阵进行相同的变换。但是，在MPEG2中，可以定义IntraMB和InterMB用的两种量化矩阵。

在MPEG2的IntraMB和InterMB中，在产生量化误差时对于画质造成的影响不同。在IntraMB中，由于不存在参照图像，所以低频成分的量化误差原样地影响到画质。另一方面，在InterMB中，低频成分的量化误差是相对于与参照图像的差分的误差，不是相对于参照图像自身的误差，所以对图片的影响比较小的情况居多。

因此，如果对IntraMB和InterMB进行相同的降低低频成分的量化误差的处理，则导致在InterMB中过度地进行误差降低处理，有可能成为编码率削减的障碍。

本发明的实施方式4是用于应对前述要求的编码率变换装置。

并且，在H.264 High Profile中可以定义以下8个量化矩阵。

1.4×4，IntraMB，亮度

2.4×4，IntraMB，色差(蓝色成分)

3.4×4，IntraMB，色差(红色成分)

4.4×4，InterMB，亮度

5.4×4，InterMB，色差(蓝色成分)

6.4×4，InterMB，色差(红色成分)

7.8×8，IntraMB，亮度

8.8×8，InterMB，亮度

在此，H.264的IntraMB与MPEG2的IntraMB不同，基本上是画面内预测，所以与InterMB相同，产生相对与参照图像的差分的误差。但是，参照图像是相同图片，与InterMB相比，相关性比较低，所以IntraMB中的量化误差对像素造成的影响依旧比较大。

在此，在MPEG2中，块大小是固定的8×8，但在H.264 High Profile中，亮度的块大小可以根据每个宏块选择4×4、8×8。并且，色差的块大小是固定的4×4。在块大小是8×8时存在64个系数，在块大小是4×4时只存在16个系数，所以如果不据此改变用于判定是否是低频成分的基准频率的位置，将不能按照意图进行变换。

本发明的实施方式4是用于应对前述要求的编码率变换装置。

并且，在亮度和色差中，量化误差对人的视觉造成的影响不同。相比亮度，人对色差更敏感，在色差中，相比蓝色，人对红色更敏感。因此，如果针对亮度、色差(蓝色成分)、色差(红色成分)进行相同的量化误差的降低处理，将导致对于亮度过度地进行误差降低处理。因此，有可能成为编码率削减的障碍。

本发明的实施方式4是用于应对前述要求的编码率变换装置。

下面，参照附图说明本发明的实施方式。

本发明的实施方式4的编码率变换装置的结构与实施方式1的图11所示的编码率变换装置1000的结构相同，所以不重复具体说明。另外，在实施方式4中，量化矩阵变换控制部110和量化矩阵低频域削减变换部108独立地控制并变换多个量化矩阵。

说明本发明的实施方式4的编码率变换的具体示例。

如前面所述，要求根据块类型(亮度、色差(蓝色成分)、色差(红色成分))、预测类型(IntraMB或InterMB)、块大小(8×8、4×4)，独立地变更量化矩阵变换方法。

图28A和图28B表示在H.264的编码率变换装置中，根据块类型、预测类型、块大小来变更量化矩阵的变换方法的一例。另外，根据块类型、预测类型、块大小来变更量基准频率和用于变换量化矩阵的值(量化矩阵变换率)的处理，由量化矩阵低频域削减变换部108进行。

图28A和图28B所示的变换图案(pattern)PA用于将进行低频域变换的基准频率设定为符合u+v≤-1的频率，即，不进行量化矩阵的低频域系数的变换。

图28A和图28B所示的变换图案PB用于将进行低频域变换的基准频率设定为符合u+v≤1的频率，将量化矩阵变换率设定为1/2。

图28A和图28B所示的变换图案PC用于将进行低频域变换的基准频率设定为符合u+v≤2的频率，将量化矩阵变换率设定为1/4。

图28A和图28B所示的变换图案PD用于将进行低频域变换的基准频率设定为符合u+v≤3的频率，将量化矩阵变换率设定为1/2。

在图28A和图28B中示出了量化矩阵的全部系数为16时的变换示例，但上述的变换图案不限于该量化矩阵。在图28A所示的表中，表示根据块类型、预测类型(IntraMB或InterMB)、块大小的组合(矩阵序号M0～M7)，适用变换图案PA～PD中的哪一个。

图29A、图29B、图29C、图29D表示实施方式4的编码率变换装置使用图28B所示的变换后的量化矩阵，对H.264的每个宏块进行变换后的量化DCT系数的变换率。

图29A表示按照利用对应于矩阵序号M0的变换图案PA变换后的量化矩阵，将4×4大小的亮度的MB再量化后的量化DCT系数的变换率。该情况时，表示通过再量化，亮度的MB表示的全部量化DCT系数被设为1倍。

并且，图29A表示按照利用对应于矩阵序号M1的变换图案PB变换后的量化矩阵，将色差(蓝色成分)的MB再量化后的量化DCT系数的变换率。该情况时，表示通过再量化，色差(蓝色成分)的MB表示的多个量化DCT系数中、只有左上部的一个量化DCT系数被设为2倍。

并且，图29A表示按照利用对应于矩阵序号M2的变换图案PC变换后的量化矩阵，将色差(红色成分)的MB再量化后的量化DCT系数的变换率。该情况时，表示通过再量化，色差(红色成分)的MB表示的多个量化DCT系数中、只有左上部的3个量化DCT系数被设为4倍。

图29B、图29C和图29D所示的矩阵与在图29A中说明的矩阵相同，所以不重复具体说明。

例如，图29C表示按照利用对应于矩阵序号M6的变换图案PD变换后的量化矩阵，将亮度的MB反量化后的量化DCT系数的变换率。该情况时，表示通过反量化，亮度的MB表示的多个量化DCT系数中、只有左上部的6个量化DCT系数被设为2倍。

图29A、图29B、图29C和图29D所示的矩阵表示的数值越大，编码量越大，但可以降低量化误差。

如上所述，根据块类型、预测类型、块大小的性质，按照其组合对量化误差的降低程度赋予差别，从而可以在向所要求的编码率变换时抑制画质恶化。

另外，在本实施方式中，把块类型包括亮度、色差(蓝色成分)、色差(红色成分)的类型作为前提进行了说明，但也可以存在其他类型。

另外，在本实施方式中，把预测类型包括Intra、Inter作为前提进行了说明，但也可以存在其他类型。

另外，在本实施方式中，把块大小包括8×8、4×4作为前提进行了说明，但也可以存在其他大小。

另外，在本实施方式中，把可以根据块类型、预测类型、块大小独立地进行量化矩阵的定义的编码作为前提进行了说明。但是，不限于此，只要是在除此之外的属性中也能够独立地进行量化矩阵的定义的编码，也可以根据该属性独立地变换量化矩阵。

另外，在本实施方式中，把预测类型及块大小在MB内是固定的作为前提进行了说明，但在预测类型及块大小在MB内可以变化时，也能够实施本发明。

另外，在本实施方式中，列举了使InterMB的量化矩阵变换率低于IntraMB的量化矩阵变换率的示例。但是，例如在画面间的相关性比较低、InterMB的误差对画质造成的影响较大的情况下，也存在进行相反设置更好的情况。

本发明的宗旨在于根据参照类型(InterMB、IntraMB)来变更量化矩阵变换，不依赖于哪一方的变换率是否增大。并且，这对于块类型(亮度、色差)、块大小(8×8、4×4)也相同。

另外，在本实施方式中，把实施方式1的编码率变换装置1000作为基准进行了说明。但是，本发明的宗旨在于根据块类型、预测类型、块大小等的属性来改变量化矩阵的变换方法。因此，本发明也可以适用于实施方式2的编码率变换装置1000A。

(实施方式5)

并且，在实施方式1～2的编码率变换装置中，假设量化尺度是一种类型，并且对全部类型的量化尺度进行相同的变换。但是，由于预测类型(IntraMB/InterMB)只能对于每个宏块进行切换，所以在IntraMB的量化尺度、InterMB的量化尺度中，也可以变更变换方法。

并且，H.264中的块大小(亮度8×8或4×4)也只能对于每个宏块进行切换，所以同样也可以变更变换方法。另外，块类型(亮度、色差(蓝色成分)、色差(红色成分))在一个宏块中存在多种类型，但在MPEG2中，两者的量化尺度是共通的。

并且，在H.264High Profile中，尽管存在亮度、色差(蓝色成分)、色差(红色成分)这三种量化尺度，但是各个量化尺度的比率在图片内是固定的。因此，不能对每个宏块独立设定三种量化尺度。在除MPEG2、H.264之外的可以独立变更各个量化尺度的编解码器中，可以分别变更量化尺度的变换方法。

本发明的实施方式5的编码率变换装置的结构与实施方式1的图11所示的编码率变换装置1000的结构相同，所以不重复具体说明。

本发明的实施方式5的编码率变换装置的量化矩阵变换控制部110和量化尺度增加变换部104，与实施方式4相同，根据块类型(亮度、色差(蓝色成分)、色差(红色成分))、预测类型(IntraMB或InterMB)、块大小等的属性，变更用于改变量化尺度的值的值(量化尺度变换率β)。另外，其他处理与在实施方式1中说明的处理相同，所以不重复具体说明。

另外，本发明也可以适用于实施方式2的编码率变换装置1000A。该情况时，量化矩阵变换控制部110A和量化尺度增加/削减变换部104A与实施方式4相同，根据块类型(亮度、色差(蓝色成分)、色差(红色成分))、预测类型(IntraMB或InterMB)、块大小等的属性，变更用于改变量化尺度的值的值(量化尺度变换率β)。

(实施方式6)

在本实施方式中，说明实施方式1～5所示的编码率变换装置的应用示例或者使用该编码率变换装置的系统。

图30是表示使用编码率变换装置的广播流接收记录装置2008及其系统的结构的图。广播流接收记录装置2008具有编码率变换部2001、广播接收部2003、AV复用分离部2004、AV复用部2005、HDD控制部2006和HDD 2007。另外，广播流接收记录装置2008内的编码率变换部2001进行与实施方式1～5所示的编码率变换装置相同的处理。

广播流接收记录装置2008接收数字广播波2002并动作，变换从广播波接收到的数字数据的编码率，并记录在HDD 2007中。

数字广播波2002在被调制的状态下承载于载波上被传输。数字广播波2002包括多个节目(program)。多个节目中的各个节目包括按照MPEG2被编码后的影像数据、按照ACC被编码后的声音数据、以及字幕信息及数据广播等的系统数据。

广播接收部2003解调数字广播波2002。并且，广播接收部2003从通过解调得到的多个节目中分离出所期望的一个节目，把分离出来的节目通知AV复用分离部2004。

AV复用分离部2004从将影像数据、声音数据和系统数据复用得到的流中，只提取影像数据，将影像数据通知编码率变换部2001。AV复用分离部2004将除影像数据之外的数据通知AV复用部2005。

编码率变换部2001把影像数据变换为所期望的编码率，把变换后的影像数据(编码率变换后的影像数据)通知AV复用部2005。AV复用部2005对编码率变换后的影像数据、原始的声音数据、和系统数据进行复用，再构成一个节目，将再构成的一个节目通知HDD控制部2006。HDD控制部2006将节目记录在HDD 2007中。

在日本的BS数字广播中，一个节目的编码率是24Mbps。因此，在将1小时的节目原样记录在HDD中时，HDD需要是10Gbyte以上的容量。即使HDD具有250Gbyte的容量，也只能记录20小时左右。因此，具有想要在HDD中记录更长时间的节目的要求。

本实施方式的广播流接收记录装置利用影像数据在节目中约占90％的特点，将影像数据的编码率变换为例如1/2倍，从而可以满足上述要求。

另外，在本实施方式中，广播流接收记录装置2008接收数字广播波2002并进行处理。但是，不限于此，广播流接收记录装置2008也可以接收并处理没有进行编码率变换的记录在HDD中的流、以及通过网络分发的流。

并且，在本实施方式中，把广播流接收记录装置2008接收的数据的记录目的地设为HDD。但是，不限于此，也可以利用DVD等光盘和存储卡等其他记录介质。

(实施方式7)

在本实施方式中，说明实施方式1～5所示的编码率变换装置的应用示例或者使用该编码率变换装置的系统。

图31是表示使用编码率变换装置的网络分发系统5000的一例的结构的方框图。

网络分发系统5000包括流发送装置2110、流接收装置2111和网络2109。流发送装置2110向网络2109发送编码流。流接收装置2111从网络2109接收编码流。

网络分发系统5000是将记录在流发送装置2110的HDD中的AV流通过网络2109分发，并通过流接收装置2111再现的系统。

流发送装置2110具有编码率变换部2101、HDD 2102、HDD控制部2103、AV复用分离部2104、AV复用部2105、和网络控制部2106。另外，流发送装置2110内的编码率变换部2101进行与实施方式1～5所示的编码率变换装置相同的处理。在HDD 2102中存储有包括影像流、声音流和系统流的一个节目。

HDD控制部2103从HDD 2102读出流，将所读出的流通知AV复用分离部2104。AV复用分离部2104与实施方式6相同，只将影像流分离出来，将分离出来的影像流通知编码率变换部2101。除影像流之外的流被通知给AV复用部2105。

编码率变换部2101对影像流的编码率进行变换，将变换后的影像流通知AV复用部2105。AV复用部2105生成将影像流和声音流和系统流再次复用得到的一个AV流，将所生成的流通知网络控制部2106。

网络控制部2106将接收到的AV流发送给网络2109。网络控制部2106检测网络2109能够传输的数据的编码率，将检测到的编码率的信息通知编码率变换部2101。

流接收装置2111具有网络控制部2107和AV再现部2108。网络控制部2107从网络2109接收AV流，将接收到的AV流通知AV再现部2108。AV再现部2108进行AV复用分离及AV流的解码，并再现影像(也包括数据广播或字幕)、声音。另外，AV再现部与编码率变换没有直接关系，所以省略具体结构。

例如，在日本的BS数字广播中，每一个节目的编码率是24Mbps。但是，在网络中也在同时传输除AV流之外的数据，所以在网络中不能保障24Mbps的带宽的情况居多。并且，在网络是无线网络时，可以传输的带宽随时根据电波状态而变化。因此，在网络中不能保障24Mbps的带宽的情况很多。在不能保障带宽时，由于AV流的数据遗漏，导致流的解码频繁出现错误。因此，几乎不能进行AV再现。

流发送装置2110使网络控制部2106检测网络2109的状态，将在网络2109中可以传输的数据的带宽的信息通知编码率变换部2101。由此，编码率变换部2101可以把AV流变换为能够在网络2109中传输的编码率。由此，数据不会在网络2109上遗漏，流接收装置2111能够正常进行AV再现。

另外，在本实施方式中，把流发送装置2110接收的数据设为从HDD2102读出的数据。但是，不限于此，流发送装置2110接收的数据也可以是数字广播波中包含的数据、或从其他记录介质读出的数据。

另外，在本发明的实施方式1～7中，构成编码率变换装置的各个功能单元可以典型地实现为在需要CPU及存储器的信息设备上动作的程序。但是，不限于此，也可以把构成编码率变换装置的各个功能单元的一部分或全部实现为集成电路即LSI。这些LSI可以形成为独立的单片，也可以形成为包含一部分或全部的单片。在此，把使用的集成电路设为LSI，但根据集成程度的不同，使用的集成电路可以是IC、系统LSI、超级(super)LSI、特级(ultra)LSI等任一种。

并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)、能够再构成LSI内部的电路单元的连接和设定的可重构处理器。

另外，如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术问世，当然也可以使用该技术进行功能单元的集成化。还存在适用生物技术等的可能性。

此次公开的实施方式只是示例，不能理解为限制方式。本发明的范围利用权利要求示出而不是上述的说明，包括与权利要求均等的意思以及范围内的全部变更。

产业上的可利用性

如上所述，本方面涉及的编码率变换装置，例如对于在广播流接收记录装置或向网络的流发送装置等中降低影像流的编码率有用。

Claims (11)

1.一种编码率变换装置，用于在对图片进行编码的处理中，对通过至少进行量化处理而得到的所述图片的编码数据的编码率进行变换，该量化处理使用了将量化矩阵与量化尺度的值相乘而得到的值，其特征在于，

所述量化尺度针对构成用于复原图片的编码数据的多个宏块的每一个而被设定了值，

所述量化矩阵按照从所述编码数据得到的图片单位设定，

所述编码率变换装置具有：

反量化部，使用在所述图片的编码时使用的第1量化矩阵对所述多个宏块进行反量化，从而获取多个系数数据；

量化矩阵变换部，使用第1变换值和大于所述第1变换值的第2变换值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所述第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对应的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数中的、作为除所述低频系数以外的系数的高频系数的值进行变换；

尺度值计算部，在所述第2量化矩阵是用于增大所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β2倍而得到的变换后尺度值，其中β1≥1，0＜β2＜1；以及

再量化部，使用所述第2量化矩阵和与所述多个系数数据中的至少一部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述至少一部分系数数据进行量化，从而生成编码率比由所述反量化部反量化之前的编码率小的所述编码数据。

2.根据权利要求1所述的编码率变换装置，其特征在于，

所述量化矩阵变换部通过将所述低频系数的值变为α1倍，从而将所述第1量化矩阵变换为所述第2量化矩阵，其中0＜α1＜1。

3.根据权利要求2所述的编码率变换装置，其特征在于，

所述尺度值计算部，在所述第2量化矩阵是用于增大所述编码数据的编码率的矩阵时，计算将与构成所述编码数据的所述多个宏块的每一个相对应的量化尺度的值变为β3倍而得到的变换后尺度值，其中β3≥1/α1。

4.根据权利要求1所述的编码率变换装置，其特征在于，

所述量化矩阵变换部通过将所述高频系数的值变为α2倍，从而将所述第1量化矩阵变换为所述第2量化矩阵，其中α2＞1。

5.根据权利要求1所述的编码率变换装置，其特征在于，

还具有块判定部，该块判定部判定在所述多个宏块中是否具有特定宏块，该特定宏块是表示通过被解码、精细度将高于预定精细度的图像的宏块，

在判定为具有所述特定宏块、而且第2量化矩阵是用于增大所述编码数据的编码率的矩阵时，所述尺度值计算部计算将与全部所述特定宏块的每一个相对应的量化尺度的值变为β1倍而得到的变换后尺度值，在判定为具有所述特定宏块、而且所述第2量化矩阵是用于减小所述编码数据的编码率的矩阵时，所述尺度值计算部计算将与全部所述特定宏块的每一个相对应的量化尺度的值变为β2倍而得到的变换后尺度值。

6.根据权利要求5所述的编码率变换装置，其特征在于，

所述特定宏块是：在所述多个宏块中，通过将宏块的数据量和与该宏块相对应的量化尺度的值相乘而得到的值表示大于预定值的值的宏块。

7.根据权利要求1所述的编码率变换装置，其特征在于，

所述量化矩阵变换部，对于所述多个宏块的每一个，根据对应的宏块的类型、预测方法和大小中的至少一方，变更所述预定频率、和用于使所述第1量化矩阵所表示的所述多个系数的至少一部分变化的值。

8.根据权利要求1所述的编码率变换装置，其特征在于，

所述尺度值计算部，对于所述多个宏块中的每一个，根据对应的宏块的类型、预测方法和大小中的至少一方，变更β1或β2。

9.根据权利要求1所述的编码率变换装置，其特征在于，

还具有判定部，该判定部根据所述第1量化矩阵表示的所述多个系数的值和与所述至少一个宏块相对应的量化尺度的值，判定第1变换处理和第2变换处理中的至少一方是否能够适用于所述第1量化矩阵的变换，所述第1变换处理通过将所述低频系数的值变为α1倍从而将所述第1量化矩阵变换为所述第2量化矩阵，所述第2变换处理通过将所述高频系数的值变为α2倍从而将所述第1量化矩阵变换为所述第2量化矩阵，其中0＜α1＜1，α2＞1，

在具有通过所述判定部判定为能够适用的处理时，所述量化矩阵变换部进行被判定为能够适用的处理，

在所述量化矩阵变换部进行所述第1变换处理时，所述尺度值计算部计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，在所述量化矩阵变换部进行所述第2变换处理时，所述尺度值计算部计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β2倍而得到的变换后尺度值。

10.一种编码率变换方法，用于在对图片进行编码的处理中，对通过至少进行量化处理而得到的所述图片的编码数据的编码率进行变换，该量化处理使用了将量化矩阵与量化尺度的值相乘而得到的值，其特征在于，

所述量化尺度针对构成用于复原图片的编码数据的多个宏块的每一个而被设定了值，

所述量化矩阵按照从所述编码数据得到的图片单位设定，

所述编码率变换方法具有：

反量化步骤，使用在所述图片的编码时使用的第1量化矩阵对所述多个宏块进行反量化，从而获取多个系数数据；

量化矩阵变换步骤，使用第1变换值和大于所述第1变换值的第2变换值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所述第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对应的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数中的、作为除所述低频系数以外的系数的高频系数的值进行变换；

尺度值计算步骤，在所述第2量化矩阵是用于增大所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β2倍而得到的变换后尺度值，其中β1≥1，0＜β2＜1；以及

再量化步骤，使用所述第2量化矩阵和与所述多个系数数据中的至少一部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述至少一部分系数数据进行量化，从而生成编码率比由所述反量化步骤反量化之前的编码率小的所述编码数据。

11.一种集成电路，用于在对图片进行编码的处理中，对通过至少进行量化处理而得到的所述图片的编码数据的编码率进行变换，该量化处理使用了将量化矩阵与量化尺度的值相乘而得到的值，其特征在于，

所述量化尺度针对构成用于复原图片的编码数据的多个宏块的每一个而被设定了值，

所述量化矩阵按照从所述编码数据得到的图片单位设定，

所述集成电路具有：

反量化部，使用在所述图片的编码时使用的第1量化矩阵对所述多个宏块进行反量化，从而获取多个系数数据；

量化矩阵变换部，使用第1变换值和大于所述第1变换值的第2变换值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所述第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对应的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数中的、作为除所述低频系数以外的系数的高频系数的值进行变换；

尺度值计算部，在所述第2量化矩阵是用于增大所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β2倍而得到的变换后尺度值，其中β1≥1，0＜β2＜1；以及

再量化部，使用所述第2量化矩阵和与所述多个系数数据中的至少一部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述至少一部分系数数据进行量化，从而生成编码率比由所述反量化部反量化之前的编码率小的所述编码数据。

Images