CN102986223A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明公开了一种图像处理设备、图像处理方法和程序，其可以减少为ROT和DCT或逆DCT和逆ROT所需要的处理量。通过逆量化通过解码已编码图像而获得的图像信息，获得经由第一正交变换单元获得的所述图像信息的低频分量和经由第二正交变换单元获得的所述图像信息的高频分量。所述高频分量在频率上高于所述低频分量。然后，所述低频分量和高频分量经由类似技术经历逆正交变换。该技术例如可以应用于图像编码和解码。

Description

图像处理设备、图像处理方法和程序

技术领域

本技术涉及一种图像处理设备、图像处理方法和程序，尤其涉及能够减少正交变换处理或逆正交变换处理需要的计算量的图像处理设备、图像处理方法和程序。

背景技术

使用称为旋转变换（ROT）的正交变换的编码方案已被认为是与下一代先进视频编码（AVC）方案相对应的编码方案（例如，参见专利文献1）。被广泛使用在视频编码中的传统离散余弦变换（DCT）在某些情形下不是最佳的。

例如，当变换目标具有强方向分量时，DCT基本向量可能不令人满意地表达了强方向分量。

一般来说，尽管方向变换（ROT）可以解决上述问题，但是因为所述ROT需要许多浮点操作并且需要变换目标块有正方形而难以执行ROT。具体来说，当存在大量块尺寸时，应用ROT会更难。

因此，已经提出了这样一种方法，在该方法中设计执行具有少量块尺寸的ROT的处理单元，并且仅对低频分量执行作为继DCT后的第二变换的ROT。

图1图示在通过按照这种方法执行正交变换来对已编码图像数据解码的解码器中的逆ROT的步骤的例子。

在左边的白盒是作为从已编码图像数据中提取的残差信息的图像数据。该图像数据对由4×4、8×8、16×16、32×32、64×64或128×128像素的像素值组成的各个块反量化。而且，只有该反量化块之中由低频分量组成的4×4或8×8像素块经历逆ROT，并且在逆ROT后获得的系数和已反量化块的剩余高频分量经历逆DCT。

通过这样做，在上述方法中，仅仅需要准备4×4或8×8像素的块尺寸作为用于ROT和逆ROT的块尺寸。

引用列表

非专利文献

非专利文献1：http://wp3.itu.int/av-arch/jctvc-site/2010_04_A_Dresden/JCTVC-A124.zip（2010年10月28日搜索）

发明内容

本发明要解决的问题

然而，在帧内预测（intra prediction）的块尺寸像4×4像素一样小时出现问题。具体来说，为了执行各个块的帧内预测，由于需要包括与相应块的左边的块的相邻块的已解码图像数据，所以难以并行执行各个块的帧内预测。而且，在上述方法中，为了获得已解码图像数据，需要如DCT、ROT、量化、反量化、逆ROT和逆DCT之类的大量处理。

因此，当帧内预测的块尺寸小时，为编码和解码宏块（macroblock）或编码单元（CU）所需要的最长周期增加，并且在需要实时特性的应用中非常难以使用上述方法。在此，所述CU与AVC方案中的宏块具有相同的概念。

鉴于这样的情形已经做出本技术，其旨在减少为ROT和DCT或逆DCT和逆ROT需要的处理量。

问题的解决方案

按照本技术的一个方面的图像处理设备或程序是包括以下单元的一种图像处理设备：反量化单元，其反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量；以及逆正交变换单元，其当所述图像的尺寸是预定尺寸时，对作为低频分量的图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换，并且其当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换，并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的高频分量执行第一逆正交变换，或者使得计算机用作所述图像处理设备的一种程序。

按照本技术的一个方面的图像处理方法是包括以下步骤的一种图像处理方法：反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量；当该图像的尺寸是预定尺寸时，对作为低频分量的该图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换；当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换，并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的高频分量执行第一逆正交变换，

在本技术的该方面，反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量。当该图像的尺寸是预定尺寸时，对作为低频分量的该图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换。当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换，并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的高频分量执行第一逆正交变换。

本发明的效果

按照本技术的方面，可以减少为ROT和DCT或逆DCT和逆ROT所需要的处理量。

附图说明

图1是图示解码器中的ROT的步骤的例子的示图。

图2是图示AVC编码器的配置例子的框图。

图3是图示AVC解码器的配置例子的框图。

图4是图示当引入ROT时与正交变换器、量化器、反量化器和逆正交变换器相对应的各部分的配置例子的框图。

图5是描述在编码器侧ROT的改善的示图。

图6是图示当引入ROT时与反量化器和逆正交变换器相对应的各部分的配置例子的框图。

图7是描述在解码器侧ROT的改善的示图。

图8是描述编码器的处理的流程图。

图9是描述编码器的处理的流程图。

图10是描述编码器的处理的流程图。

图11是描述编码器的处理的流程图。

图12是描述编码器的处理的流程图。

图13是描述解码器的处理的流程图。

图14是描述解码器的处理的流程图。

图15是描述解码器的处理的流程图。

图16是图示应用本技术的计算机的实施例的配置例子的框图。

具体实施方式

<实施例>

[编码器的配置例子]

图2是图示应用本技术的AVC编码器的实施例的配置例子的框图。

图2的编码器包括A/D转换器101、帧重排缓存器102、计算设备103、正交变换器104、量化器105、无损编码器106、存储缓存器107、反量化器108、逆正交变换器109、加法器110、去块滤波器111、帧存储器112、运动补偿器113、帧内预测器114、速率控制器115、运动预测器116和选择器117。图1的编码器按照AVC方案压缩和编码输入图像。

具体来说，编码器的A/D转换器101对作为输入信号输入的基于帧的图像执行A/D转换，以获得数字图像数据，并且输出该数字图像数据至存储数字图像数据的帧重排缓存器102。帧重排缓存器102按照图像组（GOP）结构以编码的顺序重排以用于显示的存储顺序排列的图像帧。

计算设备103按照需要从由帧重排缓存器102读取的图像中减去从选择器117提供的预测图像。计算设备103将作为减法的结果获得的图像输出至正交变换器104作为残差信息。当预测图像未从选择器117提供时，计算设备103在没有任何改变的情况下将从帧重排缓存器102读取的图像输出至正交变换器104作为残差信息。

正交变换器104对来自计算设备103的残差信息执行对应于块尺寸的正交变换。具体来说，当块尺寸是4×4像素时，正交变换器104对所述残差信息执行DCT和ROT的组合变换。另一方面，当块尺寸是8×8像素时，正交变换器104对所述残差信息执行DCT，并对作为DCT的结果获得的系数执行ROT。而且，当块尺寸比8×8像素大时，正交变换器104对残差信息执行DCT，对作为DCT结果获得的系数之中的8×8像素的低频分量执行ROT，并使用作为ROT结果获得的系数和剩余高频分量作为最终系数。正交变换器104将作为正交变换的结果获得的系数提供给量化器105。

量化器105量化从正交变换器104提供的系数。该已量化系数被输入到无损编码器106。

无损编码器106从帧内预测器114采集指示最佳帧内预测模式的信息（此后称之为帧内预测模式信息），并从运动预测器116采集指示最佳帧间预测模式、运动矢量信息等的信息（以后称之为帧间预测模式信息）。

无损编码器106对从量化器105提供的已量化系数执行诸如可变长编码（例如，上下文自适应可变长编码（CAVLC））或算术编码（例如，上下文自适应二进制编码（CABAC））的无损编码，以获得作为编码的结果所获得的信息作为压缩图像。而且，无损编码器106对帧内预测模式信息、帧间预测模式信息、运动矢量信息等执行无损编码，以获得作为编码的结果所获得的信息作为添加到压缩图像的标头信息。无损编码器106将作为无损编码的结果所获得的标头信息添加到的压缩图像提供至存储缓存器107作为图像压缩信息。

存储缓存器107暂时存储从无损编码器106提供的图像压缩信息，并且输出该图像压缩信息到例如在下游侧的记录设备（未示出）、输出路径（未示出）等。

而且，从量化器105输出的已量化系数也被输入到反量化器108，由反量化器108反量化，并且被提供至逆正交变换器109。

逆正交变换器109对从反量化器108提供的系数执行对应于块尺寸的逆正交变换。具体来说，当块尺寸是4×4像素时，逆正交变换器109对所述系数执行逆ROT和逆DCT的组合变换。另一方面，当块尺寸是8×8像素时，逆正交变换器109对所述系数执行逆ROT变换，并且对作为逆ROT的结果所获得的系数执行逆DCT。而且，当块尺寸大于8×8像素时，逆正交变换器109对所述系数的8×8低频分量执行逆ROT，并且对作为逆ROT的结果所获得的系数和剩余高频分量执行逆DCT。逆正交变换器109将作为逆正交变换的结果所获得的残差信息提供给加法器110。

加法器110按照需要将从逆正交变换器109提供的残差信息添加到从帧内预测器114或运动补偿器113提供的预测图像，并且获得本地已解码图像。加法器110将所获得的图像提供给去块滤波器111，并且将所获得的图像提供给帧内预测器114作为参考图像。

去块滤波器111对从加法器110提供的本地已解码图像执行滤波，由此移除块失真（distortion）。去块滤波器111将作为滤波的结果所获得的图像提供给存储所述图像的帧存储器112。存储在帧存储器112中的图像作为参考图像被输出至运动补偿器113和运动预测器116。

运动补偿器113基于从运动预测器116提供的运动矢量和帧间预测模式信息，对从帧存储器112提供的参考图像执行压缩处理，以产生预测图像。运动补偿器113将从运动预测器116提供的成本函数值（其细节随后描述）和所产生的预测图像提供给选择器117。

成本函数值也被称之为速率失真（RD）成本，并且例如基于按照作为AVC方案的参照软件的联合模型（JM）中所定义的高复杂性模式或低复杂性模式计算。

具体来说，在高复杂性模式被用作计算成本函数值的方法时，对所有候选的预测模式暂时执行直到无损编码的处理，并且对每个预测模式计算由下面的表达式（1）表示的成本函数值。

Cost（Mode）=D+λ·R…（1）

这里,“D”是在正交图像和已解码图像之间的差（失真），“R”是包括正交变换系数的发生编码率，并且“λ”是给定为量化参数QP的函数的拉格朗日乘子。

另一方面，当低复杂性模式被用作计算成本函数值的方法时，对所有候选的预测模式执行已解码图像的产生和诸如指示预测模式的信息的标头位的计算，并且对每个预测模式计算由下面的表达式（2）表示的成本函数。

Cost（Mode）=D+QPtoQuant（QP）·Header_Bit…（2）

这里,“D”是在正交图像和已解码图像之间的差（失真），“Header_Bit"是预测模式的标头位，并且“QPtoQuant”是给定为量化参数QP的函数的函数。

在低复杂性模式下，由于仅仅需要在所有预测模式下产生已解码图像，并且不需要执行无损编码，因此需要很小的计算量。在此例子中，假设高复杂性模式被用作计算成本函数值的方法。

帧内预测器114基于从帧重排缓存器102读取的图像和从加法器110提供的参考图像，以所有候选块尺寸的块为单位，在所有候选帧内预测模式下执行帧内预测处理，以产生预测图像。

而且，帧内预测器114对于所有候选帧内预测模式和所有候选块尺寸计算成本函数值。而且，帧内预测器114将其中成本函数值最小的帧内预测模式和块尺寸的组合确定为最佳帧内预测模式。帧内预测器114将在最佳帧内预测模式下产生的预测图像和相应成本函数值提供给选择器117。当从选择器117通知选择在最佳帧内预测模式下产生的预测图像时，帧内预测器114将帧内预测模式信息提供给无损编码器106。

运动预测器116基于从帧重排缓存器102提供的图像和从帧存储器112提供的参考图像在所有候选帧间预测模式下执行运动预测，以产生运动矢量。在此情形中，运动预测器116在所有候选帧间预测模式下计算成本函数值，并且将其中成本函数值最小的帧间预测模式确定为最佳帧间预测模式。而且，运动预测器116将帧间预测模式信息以及相应运动矢量和成本函数值提供给运动补偿器113。当从选择器117通知选择在最佳帧间预测模式下产生的预测图像时，运动预测器116将帧间预测模式信息、有关相应运动矢量的信息等提供给无损编码器106。

选择器117基于从帧内预测器114和运动补偿器113提供的成本函数值将最佳帧内预测模式和最佳帧间预测模式中的任何一个确定为最佳预测模式。而且，选择器117将最佳预测模式下的预测图像提供给计算设备103和加法器110。而且，选择器117通知帧内预测器114或运动预测器116选择在最佳预测模式下的预测图像。

速率控制器115基于存储在存储缓存器107中的图像压缩信息控制量化器105的量化操作的速率，以便过流或欠流不发生。

[解码器的配置例子]

图3是对应于图2的编码器的AVC解码器的框图。

图3的解码器包括存储缓存器216、无损解码器217、反量化器218、逆正交变换器219、加法器220、帧重排缓存器221、D/A转换器222、帧存储器223、运动补偿器224、帧内预测器225、去块滤波器226和开关227。

存储缓存器216存储从图2的编码器发送的图像压缩信息。无损解码器217从存储缓存器216读取并采集图像压缩信息，并且按照与图2的无损编码器106的无损编码方案相对应的方案，无损解码图像压缩信息。

具体来说，无损解码器217无损解码图像压缩信息中的标头信息以采集帧内预测模式信息、帧间预测模式信息、运动矢量信息等。而且，无损解码器217无损解码图像压缩信息中的压缩图像。

而且，无损解码器217将作为压缩图像的无损解码的结果所获得的已量化系数提供给反量化器218。无损解码器217将作为无损解码的结果所获得的帧内预测模式信息提供给帧内预测器225，并且将帧间预测模式信息、运动矢量信息等提供给运动补偿器224。

反量化器218具有与图2的反量化器108相同的配置，并且按照与图2的量化器105的量化方案相对应的方案，对从无损解码器217提供的已量化系数反量化。反量化器218将作为反量化的结果所获得的系数提供给逆正交变换器219。

逆正交变换器219以类似于图2的逆正交变换器109的方式，对从反量化器218提供的系数执行对应于块尺寸的逆正交变换。逆正交变换器219将作为逆正交变换的结果所获得的残差信息提供给加法器220。

加法器220将从逆正交变换器219提供的残差信息添加到从开关227提供的预测图像，并且按照需要对添加结果解码。加法器220将作为解码的结果所获得的已解码图像提供给帧内预测器225和去块滤波器226。

去块滤波器226对从加法器220提供的已解码图像执行滤波，由此移除块失真。去块滤波器226将作为滤波的结果所获得的图像提供给存储所述图像的帧存储器223，并且将图像输出至帧重排缓存器221。

帧重排缓存器221重排从去块滤波器226提供的图像。具体来说，由图2的帧重排缓存器102为编码而排列的图像的帧顺序被重排为原始显示顺序。D/A转换器222对由帧重排缓存器221重排的图像执行D/A转换，并且将已转换图像输出至显示图像的显示器（未示出）。

帧存储器223读取在此存储的图像作为参考图像，并且将参考图像输出至运动补偿器224。

帧内预测器225基于从无损解码器217提供的帧内预测模式信息在由帧内预测模式信息指示的最佳帧内预测模式执行帧内预测处理，以产生预测图像。帧内预测器225将预测图像提供给开关227。

运动补偿器224基于从无损解码器217提供的帧间预测模式信息、运动矢量信息等，对从帧存储器223提供的参考图像执行运动补偿处理，以产生预测图像。运动补偿器224将预测图像提供给开关227。

开关227选择由运动补偿器224或帧内预测器225产生的预测图像，并且将所选择的预测图像提供给加法器220。

正交变换和逆正交变换的描述

首先，图4是图示当作为正交变换执行DCT和ROT时传统编码器的正交变换器、量化器、反量化器和逆正交变换器的框图。

如图4所示，传统编码器的正交变换器包括4×4DCT411、8×8DCT412、16×16DCT413、32×32DCT414、64×64DCT415、128×128DCT416、4×4ROT417和8×8ROT418。

按照块尺寸将所述残差信息输入至4×4DCT411、8×8DCT412、16×16DCT413、32×32DCT414、64×64DCT415和128×128DCT416并且经历DCT。

具体来说，4×4DCT411对4×4像素残差信息执行DCT，对作为DCT的结果所获得的4×4像素系数的计算精度取整（round off），并且将4×4像素系数提供给4×4ROT417。

8×8DCT412对8×8像素残差信息执行DCT，对作为DCT的结果所获得的8×8像素系数的计算精度取整，并且将8×8像素系数提供给8×8ROT418。16×16DCT413对16×16像素残差信息执行DCT并对作为DCT的结果所获得的16×16像素系数的计算精度取整。16×16DCT413将作为DCT的结果所获得的16×16像素系数之中的8×8像素低频分量提供给8×8ROT418，并将剩余高频分量提供给量化器。

类似地，32×32DCT414、64×64DCT415和128×128DCT416分别对32×32、64×64、和128×128像素残差信息执行DCT，对作为DCT的结果所获得的系数的计算精度取整。而且，32×32DCT414、64×64DCT415和128×128DCT416只将作为DCT的结果所获得的系数之中的8×8像素低频分量提供给8×8ROT418，并将剩余高频分量提供给量化器。

4×4ROT417使用角度索引对从4×4DCT411提供的4×4像素系数执行ROT。

这里，ROT是使用如下面的表达式（1）图示的关于垂直方向的旋转矩阵R_vertical和关于水平方向的旋转矩阵R_horizontal的旋转变换，并且角度索引是表达式（1）中的α₁至α₆。

[数学公式1]

$R_{\mathrm{vertical}}({\mathrm{\&alpha;}}_1,{\mathrm{\&alpha;}}_2,{\mathrm{\&alpha;}}_3)=\left(\begin{array}{cccc}{\cos \mathrm{\&alpha;}}_1{\cos \mathrm{\&alpha;}}_3-{\sin \mathrm{\&alpha;}}_1{\cos \mathrm{\&alpha;}}_2{\sin \mathrm{\&alpha;}}_3& -{\sin \mathrm{\&alpha;}}_1{\cos \mathrm{\&alpha;}}_3-{\cos \mathrm{\&alpha;}}_1{\cos \mathrm{\&alpha;}}_2{\sin \mathrm{\&alpha;}}_3& {\sin \mathrm{\&alpha;}}_2{\sin \mathrm{\&alpha;}}_3& 0\\ {\cos \mathrm{\&alpha;}}_1{\sin \mathrm{\&alpha;}}_3+{\sin \mathrm{\&alpha;}}_1{\cos \mathrm{\&alpha;}}_2{\cos \mathrm{\&alpha;}}_3& -{\sin \mathrm{\&alpha;}}_1{\sin \mathrm{\&alpha;}}_3+{\cos \mathrm{\&alpha;}}_1{\cos \mathrm{\&alpha;}}_2{\cos \mathrm{\&alpha;}}_3& {-\sin \mathrm{\&alpha;}}_2{\cos \mathrm{\&alpha;}}_3& 0\\ {\sin \mathrm{\&alpha;}}_1{\sin \mathrm{\&alpha;}}_2& {\cos \mathrm{\&alpha;}}_1{\sin \mathrm{\&alpha;}}_2& {\cos \mathrm{\&alpha;}}_2& 0\\ 0& 0& 0& 1\end{array}\right)$

$R_{\mathrm{horizontal}}({\mathrm{\&alpha;}}_4,{\mathrm{\&alpha;}}_5,{\mathrm{\&alpha;}}_6)=\left(\begin{array}{cccc}{\cos \mathrm{\&alpha;}}_4{\cos \mathrm{\&alpha;}}_6-{\sin \mathrm{\&alpha;}}_4{\cos \mathrm{\&alpha;}}_5{\sin \mathrm{\&alpha;}}_6& -{\sin \mathrm{\&alpha;}}_4{\cos \mathrm{\&alpha;}}_6-{\cos \mathrm{\&alpha;}}_4{\cos \mathrm{\&alpha;}}_5{\sin \mathrm{\&alpha;}}_6& {\sin \mathrm{\&alpha;}}_5{\sin \mathrm{\&alpha;}}_6& 0\\ {\cos \mathrm{\&alpha;}}_4{\sin \mathrm{\&alpha;}}_6+{\sin \mathrm{\&alpha;}}_4{\cos \mathrm{\&alpha;}}_5{\cos \mathrm{\&alpha;}}_6& -{\sin \mathrm{\&alpha;}}_4{\sin \mathrm{\&alpha;}}_6+{\cos \mathrm{\&alpha;}}_4{\cos \mathrm{\&alpha;}}_5{\cos \mathrm{\&alpha;}}_6& {-\sin \mathrm{\&alpha;}}_5{\cos \mathrm{\&alpha;}}_6& 0\\ {\sin \mathrm{\&alpha;}}_4{\sin \mathrm{\&alpha;}}_5& {\cos \mathrm{\&alpha;}}_4{\sin \mathrm{\&alpha;}}_5& {\cos \mathrm{\&alpha;}}_5& 0\\ 0& 0& 0& 1\end{array}\right)...\left(1\right)$

8×8ROT418对从8×8DCT412、16×16DCT413、32×32DCT414、64×64DCT415和128×128DCT416提供的8×8像素系数执行使用角度索引的ROT。

将作为4×4ROT417的ROT的结果所获得的4×4像素系数和作为8×8ROT418的ROT的结果所获得的8×8像素系数以取整的计算精度提供给量化器。

量化器包括4×4Quant419、8×8Quant420、16×16Quant421、32×32Quant422、64×64Quant423和128×128Quant424。

4×4Quant419量化从4×4ROT417提供的4×4像素系数。4×4Quant419将已量化4×4像素系数提供给反量化器，并且将相同的系数提供给与图2的无损编码器106相同的无损编码器（未示出）。

8×8Quant420量化从8×8ROT418提供的8×8像素系数。8×8Quant420将已量化8×8像素系数提供给反量化器，并且将相同的系数提供给与图2的无损编码器106相同的无损编码器（未示出）。

16×16Quant421量化从8×8ROT418提供的8×8像素系数和作为关于从16×16DCT413提供的16×16像素残差信息的DCT的结果所获得的系数之中不同于8×8像素低频分量的高频分量。16×16Quant421将已量化16×16像素系数提供给反量化器，并且将相同的系数提供给与图2的无损编码器106相同的无损编码器（未示出）。

类似地，32×32Quant422、64×64Quant423和128×128Quant424量化从8×8ROT418提供的8×8像素系数和作为关于32×32、64×64和128×128像素残差信息的DCT的结果所获得的系数之中不同于8×8像素低频分量的高频分量。32×32Quant422、64×64Quant423和128×128Quant424将已量化32×32、64×64和128×128像素系数提供给反量化器，并且将相同的系数提供给与无损编码器106相同的无损编码器（未示出）。

反量化器包括4×4Inv Quant451、8×8Inv Quant452、16×16Inv Quant453、32×32Inv Quant454、64×64Inv Quant455和128×128Inv Quant456。

4×4Inv Quant451、8×8Inv Quant452、16×16Inv Quant453、32×32InvQuant454、64×64Inv Quant455和128×128Inv Quant456分别反量化从4×4Quant419、8×8Quant420、16×16Quant421、32×32Quant422、64×64Quant423和128×128Quant424提供的已量化系数，并且将已反量化系数提供给逆正交变换器。

逆正交变换器包括4×4Inv ROT457、8×8Inv ROT458、4×4Inv DCT459、8×8Inv DCT460、16×16Inv DCT461、32×32Inv DCT462、64×64Inv DCT463和128×128Inv DCT464。

4×4Inv ROT457使用角度索引对从4×4Inv Quant451提供的已反量化4×4像素系数执行逆ROT。4×4Inv ROT457将作为逆ROT的结果所获得的4×4像素系数提供给4×4Inv DCT459。

8×8Inv ROT458使用角度索引对从8×8Inv Quant452提供的已反量化8×8像素系数执行逆ROT，并且将作为逆ROT的结果所获得的8×8像素系数提供给8×8Inv DCT460。

而且，8×8Inv ROT458使用角度索引对从16×16Inv Quant453提供的已反量化16×16像素系数之中的8×8像素低频分量执行逆ROT。而且，8×8InvROT458将作为逆ROT的结果所获得的8×8像素系数提供给16×16Inv DCT461。

类似地，8×8Inv ROT458使用角度索引分别对从32×32Inv Quant454、64×64Inv Quant455和128×128Inv Quant456提供的已反量化的32×32、64×64和128×128像素系数之中的8×8像素低频分量执行逆ROT。而且，8×8Inv ROT458将作为关于已反量化32×32、64×64和128×128像素系数之中的8×8像素低频分量的逆ROT的结果所获得的8×8像素系数，分别提供给32×32Inv DCT462、64×64Inv DCT463和128×128Inv DCT464。

4×4Inv DCT459对从4×4Inv ROT457提供的4×4像素系数执行逆DCT。4×4Inv DCT459将作为逆DCT的结果所获得的4×4像素残差信息提供给与图2的加法器110相同的加法器（未示出）。

8×8Inv DCT460对从8×8Inv ROT458提供的8×8像素系数执行逆DCT。8×8Inv DCT460将作为逆DCT的结果所获得的8×8像素残差信息提供给与加法器110相同的加法器（未示出）。16×16Inv DCT461对从8×8Inv ROT458提供的8×8像素系数和从16×16Inv Quant453提供的16×16像素系数之中不同于8×8像素低频分量的高频分量执行逆DCT。16×16Inv DCT461将作为逆DCT的结果所获得的16×16像素残差信息提供给与加法器110相同的加法器（未示出）。

类似地，32×32Inv DCT462、64×64Inv DCT463和128×128Inv DCT464对从8×8Inv ROT458提供的8×8像素系数和从32×32Inv Quant454、64×64Inv Quant455和128×128Inv Quant456提供的系数之中不同于8×8像素低频分量的高频分量执行逆DCT。32×32Inv DCT462、64×64Inv DCT463和128×128Inv DCT464将作为逆DCT的结果所获得的32×32、64×64和128×128像素残差信息提供给与加法器110相同的加法器（未示出）。

按照这种方式，残差信息被输入给加法器（未示出），由此获得已解码图像。

接着，图5是图示图2的编码器的正交变换器104、量化器105、反量化器108和逆正交变换器109的细节的框图。

在图5所示的配置中，与图4的配置相同的配置用相同的附图标记表示。将在适当时不提供其冗余描述。

图5的配置与图4的配置的主要不同在于：提供4×4DCT×ROT501代替正交变换器104的4×4DCT411和4×4ROT417，并且提供4×4Inv ROT×InvDCT502代替逆正交变换器109的4×4Inv ROT457和4×4Inv DCT459。

正交变换器104的4×4DCT×ROT501使用角度索引对从图2的计算设备103提供的4×4像素残差信息执行DCT和ROT的组合变换。具体来说，4×4DCT×ROT501提供有对应于角度索引的DCT和ROT的组合变换的矩阵，并且4×4DCT×ROT501通过使用该矩阵的一个变换来获得DCT和ROT之后的4×4像素系数。4×4DCT×ROT501以取整的计算精度将4×4像素系数提供给4×4Quant419。

DCT和ROT是一种正交变换并且通常通过矩阵运算来执行。因此，用于DCT和ROT的组合变换的矩阵是通过在DCT的矩阵运算中使用的矩阵和在ROT的矩阵运算中使用的矩阵的乘积获得的矩阵。

如上所述，在正交变换器104中，由于可以通过一个变换来对4×4像素残差信息执行DCT和ROT，因此与图4的正交变换器相比，可以减少正交变换所需的计算量。而且，由于在DCT之后对计算精度的取整不必要，因此与图4的正交变换器相比，可以提高计算精度。因此，图4的4×4ROT417的输出与图5的4×4DCT×ROT501的输出不相同。

而且，逆正交变换器109的4×4Inv ROT×Inv DCT502使用角度索引对从4×4Inv Quant451提供的4×4像素系数执行逆DCT和逆ROT的组合变换。具体来说，4×4Inv ROT×Inv DCT502提供有用于与角度索引相对应的逆DCT和逆ROT的组合变换的矩阵，并且4×4Inv ROT×Inv DCT502通过使用该矩阵的一个变换获得在逆DCT和逆ROT之后的4×4像素残差信息。逆DCT和逆ROT的组合变换是由4×4DCT×ROT501执行的变换的逆变换。4×4InvROT×Inv DCT502将作为该变换的结果所获得的4×4像素残差信息提供给图2的加法器110。

如上所述，在逆正交变换器109中，由于可以对4×4像素系数通过一个变换执行逆DCT和逆ROT，因此与图4的逆正交变换器相比，可以减少逆正交变换所需的计算量。而且，由于在逆ROT之后的计算精度的取整不必要，因此与图4的逆正交变换器相比，可以提高计算精度。因此，图4的4×4InvDCT459的输出与图5的4×4Inv ROT×Inv DCT502的输出不相同。

接着，图6是图示当DCT和ROT作为正交变换执行时传统解码器的反量化器和逆正交变换器的框图。

图6的传统解码器的反量化器具有与图4的反量化器相同的配置，并且图6的逆正交变换器具有与如图4的逆正交变换器相同的配置。

具体来说，图6的反量化器包括：4×4Inv Quant601、8×8Inv Quant602、16×16Inv Quant603、32×32Inv Quant604、64×64Inv Quant605和128×128InvQuant606。4×4Inv Quant601、8×8Inv Quant602、16×16Inv Quant603、32×32Inv Quant604、64×64Inv Quant605和128×128Inv Quant606以与图4的反量化器类似的方式，对作为从编码器发送的已无损编码图像压缩信息的无损解码的结果所获得的已量化系数执行反量化。

而且，图6的逆正交变换器包括：4×4Inv ROT607、8×8Inv ROT608、4×4Inv DCT609、8×8Inv DCT610、16×16Inv DCT611、32×32InvDCT612、64×64Inv DCT613和128×128Inv DCT614。4×4Inv ROT607和8×8Inv ROT608以与图4的4×4Inv ROT457和8×8Inv ROT458类似的方式分别执行逆ROT。而且，4×4Inv DCT609、8×8Inv DCT610、16×16Inv DCT611、32×32Inv DCT612、64×64Inv DCT613和128×128Inv DCT614以与图4的相应块尺寸的Inv DCT类似的方式分别执行逆DCT。

接着，图7是图示图3的解码器的反量化器218和逆正交变换器219的细节的框图。

图7的反量化器218具有与图5的反量化器108相同的配置，并且图7的逆正交变换器219具有与图5的逆正交变换器109相同的配置。

在图7图示的配置之中，与图6的配置相同的配置用相同的附图标记表示。在适当时不提供其冗余描述。

图7的配置与图6的配置主要不同在于：与逆正交变换器109类似，提供4×4Inv ROT×Inv DCT701代替逆正交变换器219的4×4Inv ROT607和4×4Inv DCT609。

逆正交变换器219的4×4Inv ROT×Inv DCT701以类似于图5的4×4InvROT×Inv DCT502的方式，使用角度索引对从4×4Inv Quant601提供的4×4像素系数执行逆DCT和逆ROT的组合变换。4×4Inv ROT×Inv DCT701将作为该变换的结果所获得的4×4像素残差信息提供给图3的加法器220。

角度索引例如由编码器确定，并且由无损编码器106包括在标头信息中，并被发送给解码器。

在本实施例中，尽管对4×4像素残差信息的DCT和ROT通过一个变换执行，但是，对8×8像素残差信息以及4×4像素残差信息的DCT和ROT也可以通过一次变换执行。这对于逆DCT和逆ROT同样成立。

而且，在本实施例中，尽管仅仅对作为DCT的结果所获得的、具有8×8像素或更大的尺寸的系数之中的8×8像素的低频分量执行ROT，但是经历ROT的系数的最大尺寸可以不同于8×8像素的尺寸（例如4×4像素、16×16像素等）。这对于逆ROT同样成立。

编码器处理的描述

图8、图9、图10、图11和图12是图2的编码器的处理的流程图。

图8是描述宏块（MB）编码处理的流程图。

在图8的步骤S11，编码器在使用帧间预测时计算RD成本（P）。将参照随后描述的图9说明当使用帧间预测时计算RD成本（P）的处理的细节。

在步骤S12，编码器在使用帧内预测时计算RD成本（I）。将参照随后描述的图12说明当使用帧内预测时计算RD成本（I）的处理的细节。

在步骤S13，选择器117确定RD成本（I）是否大于RD成本（P）。

当在步骤S13确定RD成本（I）不大于RD成本（P）时，即当RD成本（I）等于或小于RD成本（P）时，选择器117将最佳帧内预测模式确定为最佳预测模式。而且，选择器117将在最佳帧内预测模式下的预测图像提供给计算设备103和加法器110。而且，选择器117将在最佳帧内预测模式下的预测图像的选择通知给帧内预测器114。按照这种方式，帧内预测器114将帧内预测模式信息提供给无损编码器106。

在步骤S14，编码器按照在最佳帧内预测模式下的帧内预测对当前宏块（该MB）编码。具体来说，编码器的计算设备103从由帧重排缓存器102读取的图像的当前宏块中减去从选择器117提供的预测图像，并且正交变换器104对作为减法的结果所获得的残差信息执行正交变换。量化器105量化作为正交变换器104的正交变换的结果所获得的系数，并且无损编码器106无损编码已量化系数并且无损编码用作标头信息的帧内预测模式信息等。存储缓存器107暂时存储其中添加了作为无损编码的结果所获得的标头信息的压缩图像，作为图像压缩信息，并且输出该图像压缩信息。

另一方面，当在步骤S13中确定RD成本（I）大于RD成本（P）时，选择器117将最佳帧间预测模式确定为最佳预测模式。而且，选择器117将在最佳帧间预测模式下的预测图像提供给计算设备103和加法器110。而且，选择器117将在最佳帧间预测模式下的预测图像的选择通知给运动预测器116。按照这种方式，运动预测器116将帧间预测模式信息、相应运动矢量信息等输出至无损编码器106。

在步骤S15，编码器按照在最佳帧间预测模式下的帧间预测对当前宏块编码。具体来说，编码器的计算设备103从帧重排缓存器102读取的图像的当前宏块中减去从选择器117提供的预测图像，并且正交变换器104对作为减法的结果所获得的残差信息执行正交变换。量化器105对作为正交变换器104的正交变换的结果所获得的系数量化，并且无损编码器106无损编码已量化系数，并且对用作标头信息的运动矢量信息和帧间预测模式信息等无损编码。存储缓存器107暂时存储其中添加了作为无损编码的结果所获得的标头信息的压缩图像作为图像压缩信息，并且输出该图像压缩信息。

图9是描述在使用图8的步骤S11的帧间预测时计算RD成本（P）的处理的细节的流程图。

在图9的步骤S31中，运动预测器116将帧间预测的块尺寸设置为在与各个帧间预测模式相对应的4×4、8×8、16×16、32×32、64×64和128×128像素之中还没有被设置的一个。

在步骤S32中，运动预测器116以步骤S31设置的尺寸执行运动预测。具体来说，运动预测器116使用从帧重排缓存器102提供的图像和从帧存储器112提供的参考图像，在步骤S31中设置的尺寸的各个块中执行运动预测。结果，获得对于各个块的运动矢量（MV）。运动预测器116将该运动矢量提供给运动补偿器113。

在步骤S33，运动补偿器113按照从运动预测器116提供的运动矢量执行运动补偿（MC）。具体来说，运动补偿器113按照运动矢量从由帧存储器112提供的参考图像来产生预测图像。运动补偿器113将产生的预测图像经由选择器117提供给计算设备103。

在步骤S34，计算设备103计算与输入信号相对应的图像与MC图像（预测图像）之间的差。计算设备103将作为该计算的结果所获得的差作为残差信息提供给正交变换器104。

在步骤S35，正交变换器104将角度索引设置为在索引编号0、1、2和3的角度索引之中还没有被设置的一个。索引编号是对角度索引α₁至α₆的组合独一无二的编号，并且在本实施例中准备了编号0至3的4个角度索引的组合。

在步骤S36，正交变换器104执行作为相对于从计算设备103提供的残差信息（差信息）按照角度索引执行ROT的处理的ROT处理等。将参照随后所述的图10来描述步骤S36的细节。

在步骤S37，量化器105执行作为量化作为在步骤S36中的ROT处理等的结果所获得的系数的处理的量化处理。具体来说，与量化器105的帧间预测的块尺寸相对应的4×4Quant419、8×8Quant420、16×16Quant421、32×32Quant422、64×64Quant423或128×128Quant424量化从正交变换器104提供的系数。量化器105将作为量化处理的结果所获得的系数提供给无损编码器106和反量化器108。

在步骤S38，无损编码器106对从量化器105提供的系数（已量化系数）无损编码，以获得压缩图像。

在步骤S39，反量化器108执行作为对从量化器105提供的系数反量化的处理的反量化处理。具体来说，与反量化器108的帧间预测的块尺寸相对应的4×4Inv Quant451、8×8Inv Quant452、16×16Inv Quant453、32×32InvQuant454、64×64Inv Quant455或128×128Inv Quant456反量化从量化器105提供的系数。作为反量化器处理的结果所获得的系数被提供给逆正交变换器109。

在步骤S40，逆正交变换器109执行作为关于与残差信息（差信息）相对应的系数按照在步骤S35设置的角度索引执行逆ROT的处理的逆ROT处理等。将参照随后所述的图11描述步骤S40的处理细节。

在执行步骤S40的处理后，流程返回到步骤S35，并且步骤S35至S40的处理被重复执行，直到索引编号0至3的所有角度索引设置为角度索引。而且，当索引编号0至3的所有角度索引设置为角度索引时，流程返回到步骤S31。而且，重复执行步骤S31至S40的处理，直至4×4、8×8、16×16、32×32、64×64和128×128像素的所有尺寸被设置为帧间预测的块尺寸。

而且，当4×4、8×8、16×16、32×32、64×64和128×128像素的所有尺寸被设置为帧间预测的块尺寸，并且索引编号0至3的所有角度索引被设置为相对于每个块尺寸的帧间预测块的角度索引时，流程进行到步骤S41。

在步骤S41，运动预测器116相对于帧间预测模式和角度索引的每个组合根据MV信息、已量化编码信息、已解码图像计算RD成本。具体来说，运动预测器116相对于帧间预测模式和角度索引的每个组合，使用从帧存储器112提供的运动矢量和参考图像，产生预测图像。而且，运动预测器116计算预测图像与从帧重排缓存器102提供的图像之间的差。而且，运动预测器116使用该差、由步骤S38的处理获得的已压缩图像的发生编码量等计算如上所述的表达式（1），并且计算所述RD成本。

而且，运动预测器116使用对应于帧间预测的块尺寸的帧间预测模式和角度索引的各个组合的RD成本之中的最小RD成本作为RD成本（P）。也就是说，运动预测器116将作为帧间预测模式和角度索引的组合的RD成本之中的最小RD成本的RD成本（P）以及相应运动矢量和帧间预测模式信息提供给运动补偿器113。

按照这种方式，运动补偿器113基于从运动预测器116提供的运动矢量和帧间预测模式信息对从帧存储器112提供的参考图像执行补偿处理，并且产生预测图像。而且，运动补偿器113将从运动预测器116提供的RD成本（P）和所产生的预测图像提供给选择器117。

图10是描述图9的步骤S36的处理细节的流程图。

在图10的步骤S51，正交变换器104确定帧间预测的块尺寸是否是4×4像素。

当在步骤S51确定帧间预测的块尺寸是4×4像素时，在步骤S52，正交变换器104按照角度索引执行ROT×DCT的处理。具体来说，正交变换器104的4×4DCT×ROT501（图5）按照图9的步骤S35中设置的角度索引，对从计算设备103提供的残差信息执行DCT和ROT的组合变换。4×4DCT×ROT501将作为变换结果所获得的系数提供给量化器105的4×4Quant419。

当在步骤S51确定帧间预测的块尺寸不是4×4像素时，在步骤S53，正交变换器104执行作为对从计算设备103提供的残差信息执行DCT的处理的DCT处理。具体来说，与正交变换器104的帧间预测的块尺寸相对应的8×8DCT412、16×16DCT413、32×32DCT414、64×64DCT415或128×128DCT416对残差信息执行DCT。将作为DCT的结果所获得的系数之中的8×8像素低频分量提供给8×8ROT418，并且将剩余高频分量提供给与帧间预测的块尺寸相对应的16×16Quant421、32×32Quant422、64×64Quant423或128×128Quant424。

在步骤S54，正交变换器104的8×8ROT418相对于低频分量的8×8像素（8×8尺寸）系数按照图9的步骤S35中设置的角度索引执行ROT处理。8×8ROT418将作为ROT处理的结果所获得的8×8像素系数提供给与帧内预测的块尺寸相对应的8×8Quant420、16×16Quant421、32×32Quant422、64×64Quant423或128×128Quant424。

图11是详细描述图9的步骤S40的处理的流程图。

在图11的步骤S71中，逆正交变换器109确定帧间预测的块尺寸是否是4×4像素。

当在步骤S71确定帧间预测的块尺寸是4×4像素时，在步骤S72，逆正交变换器109按照角度索引执行逆ROT×DCT处理。具体来说，逆正交变换器109的4×4Inv ROT×Inv DCT502（图5）按照图35中设置的角度索引，对从反量化器108的4×4Inv Quant451提供的系数执行逆ROT和逆DCT的组合变换。4×4Inv ROT×Inv DCT502将作为该变换的结果所获得的残差信息提供给加法器110。

当在步骤S71确定帧间预测的块尺寸不是4×4像素时，流程进行到步骤S73。在步骤S73，逆正交变换器109的8×8Inv ROT458（图7）相对于从反量化器108提供的8×8像素或更大像素的尺寸的系数中的低频分量的8×8像素（8×8尺寸）系数，按照图9的步骤S35中设置的角度索引执行作为执行逆ROT的处理的逆ROT处理。8×8Inv ROT458将作为逆ROT处理的结果所获得的系数提供给与帧间预测的块尺寸相对应的8×8Inv DCT460、16×16Inv DCT461、32×32Inv DCT462、64×64Inv DCT463或128×128Inv DCT464。

在步骤S74，逆正交变换器109的8×8Inv DCT460、16×16Inv DCT461、32×32Inv DCT462、64×64Inv DCT463或128×128Inv DCT464执行作为对从8×8Inv ROT458提供的系数和从反量化器108提供的系数执行逆DCT的处理的逆DCT处理。将作为逆DCT处理的结果所获得的残差信息提供给加法器110。

图12是描述当详细使用图8的步骤S12的帧内预测时计算RD成本（I）的处理的流程图。

在图12的步骤S101，帧内预测器114将帧内预测的块尺寸设置为在4×4、8×8、16×16、32×32、64×64和128×128像素之中还没有设置的一个。

在步骤S102，帧内预测器114将帧内预测模式（帧内方向模式）设置为其帧内方向模式编号是0、1、2、3、4、5、6、7或8的帧内方向模式之中还没有被设置的一个。帧内方向模式编号是对帧内预测模式唯一的编号，而且在本实施例中，准备八个帧内预测模式的编号0~8。

在步骤S103，帧内预测器114以步骤S101设置的块尺寸和帧间预测模式执行运动预测。具体来说，帧内预测器114使用从帧重排缓存器102提供的图像和从加法器110提供的参考图像，在步骤S101中设置的块尺寸的各个块中，以所设置的帧内预测模式执行帧内预测处理，并且产生预测图像。帧内预测器114将产生的预测图像经由选择器117提供给计算设备103。

在步骤S104中，计算设备103计算与输入图像相对应的图像和帧内预测图像（由帧内预测处理产生的预测图像）之间的差。计算设备103将作为计算的结果所获得的差提供给正交变换器104作为残差信息。

步骤S105至S110的处理与图9的步骤S35至S40的处理相同，并且将不提供其描述。

在执行步骤S110的处理之后，流程返回到步骤S105，并且步骤S105至S110的处理被重复执行，直至索引编号0至3的所有角度索引被设置为所述角度索引。而且，当索引编号0至3的所有角度索引被设置为所述角度索引时，流程返回到步骤S102。而且，步骤S102至S110的处理被重复执行，直到帧内方向模式编号0至8的所有帧内预测模式被设置为所述帧内预测模式。

而且，当帧内方向模式编号0至8全部被设置为所述帧内预测模式时，流程返回到步骤S101。而且，步骤S101至S110的处理被重复执行，直到4×4、8×8、16×16、32×32、64×64和128×128像素的全部尺寸设置为帧内预测的块尺寸。

而且，当4×4、8×8、16×16、32×32、64×64和128×128像素的所有尺寸被设置为帧内预测的块尺寸时，索引编号0至3的所有角度索引被设置为相对于每个块尺寸的所述块的角度索引，并且当帧内预测模式0至8的所有帧内预测模式被设置为帧内预测模式时，流程进行到步骤S111。

在步骤S111，帧内预测器114相对于帧内预测块尺寸、帧内预测模式和角度索引的每个组合根据已量化代码信息和已解码图像计算RD成本。具体来说，帧内预测器114相对于帧内预测块尺寸、帧内预测模式和角度索引，使用从帧存储器112提供的参考图像产生预测图像。而且，帧内预测器114计算该预测图像与从帧重排缓存器102提供的图像之间的差。而且，运动预测器116利用所述差、由步骤S108的处理获得的压缩图像的发生编码量等计算如上所述的表达式（1）并计算RD成本。

并且，帧内预测器114使用帧内预测块尺寸、帧内预测模式和角度索引的各个组合的RD成本之中的最小RD成本作为RD成本（I）。也就是说，帧内预测器114将作为帧内预测块尺寸、帧内预测模式以及角度索引和相应预测图像的各个组合之中的最小RD成本的RD成本（I）提供给选择器117。

图13、图14和图15是图3的解码器的处理的流程图。

图13是描述宏块（MB）解码处理的流程图。

在图13的步骤S121中，无损解码器217从存储缓存器216读取和采集当前宏块的图像压缩信息，并且按照与图2的无损编码器106的无损编码方案相对应的方案来无损解码所述图像压缩信息。通过此无损解码，将帧内预测模式信息或帧间预测模式信息提取为作为指示当前宏块的最佳预测模式的信息。

在步骤S122，无损解码器217确定指示在步骤S121中提取的最佳预测模式的信息是否是帧内预测模式信息。当在步骤S122中确定该信息是帧内预测模式信息时，在步骤S123，解码器根据帧内预测解码当前宏块（MB）。将参考后面描述的图15描述步骤S123的处理细节。

另一方面，当在步骤122中确定该信息不是帧内预测模式信息，即，指示在步骤S121中提取的最佳预测模式的信息是帧间预测模式信息时，该流程前进到步骤S124。

在步骤S124，解码器根据帧间预测解码当前宏块。将参考后面描述的图14描述步骤S124的处理细节。

图14是描述图13的步骤S124的处理细节的流程图。

在图14的步骤141，无损解码器217从从存储缓冲器216采集的图像压缩信息（流信息）中提取与帧间预测块尺寸相对应的已量化系数、运动矢量（MV）、角度索引信息和残差信息（差信息）。具体地说，无损解码器217无损解码图像压缩信息来获得帧间预测模式信息、运动矢量、角度索引信息和已量化系数。而且，无损解码器217识别与该帧间预测模式信息相对应的帧间预测的块尺寸。无损解码器217以对应于帧间预测模式信息的块尺寸的各个块，将已量化系数提供给反量化器218。而且，无损解码器217将帧间预测模式信息和运动矢量提供给运动补偿器224并将角度索引提供给逆正交变换器219。

在步骤S142，运动补偿器224按照从无损解码器217提供的帧间预测模式信息和运动矢量，对从帧存储器223提供的参考图像执行运动补偿处理（MC处理）。而且，运动补偿器224经由开关227将作为运动补偿处理的结果获得的预测图像提供给加法器220。

在步骤S143，反量化器218对从无损解码器217提供的已量化系数执行反量化处理。具体来说，与反量化器218的帧间预测块尺寸相对应的4×4InvQuant601、8×8Inv Quant602、16×16Inv Quant603、32×32Inv Quant604、64×64Inv Quant605或128×128Inv Quant606反量化已量化系数。反量化器218将作为反量化处理的结果所获得的系数提供给逆正交变换器219。

在步骤S144，逆正交变换器219相对于与从反量化器218提供的差信息（残差信息）相对应的系数，按照从无损解码器217提供的角度索引执行逆ROT处理等。由于步骤S144的处理细节与图11中所描述的相同，将不提供其描述。

在步骤S145，加法器220将作为步骤S144的处理的结果所获得的残差信息（逆ROT信息）添加到经由开关227从运动补偿器224提供的预测图像（预测信号）以获得已解码图像。将该已解码图像提供给帧内预测器225、经由去块滤波器226提供给帧存储器223或经由去块滤波器226、帧重排缓存器221和D/A转换器222提供给外部。

图15是描述图13的步骤S123的处理的细节的流程图。

在图15的步骤S161中，无损解码器217从从存储缓存器216采集的图像压缩信息（流信息）中提取与帧内预测块尺寸相对应的已量化系数、帧内预测模式、角度索引信息和残差信息（差信息）。具体来说，无损解码器217无损解码所述图像压缩信息，以获得帧内预测模式信息、角度索引信息和已量化系数。而且，无损解码器217从帧内预测模式信息识别帧内预测模式和帧内预测块尺寸。无损解码器217将已量化系数按帧内预测块尺寸的各个块，提供给反量化器218。而且，无损解码器217将帧内预测模式信息提供给帧内预测器225，并且将角度索引提供给逆正交变换器219。

在步骤S162，帧内预测器225按照从无损解码器217提供的帧内预测模式信息对从加法器220提供的参考图像执行帧内预测处理。而且，帧内预测器225将作为帧内预测处理的结果所获得的预测图像经由开关227提供给加法器220。

在步骤S163，反量化器218按照类似于图14的步骤S143的处理的方式，对从无损解码器217提供的已量化系数执行反量化处理。反量化器218将作为该反量化处理的结果所获得的系数提供给逆正交变换器219。

在步骤S164，逆正交变换器219按照从无损解码器217提供的角度索引，以类似于步骤S144的处理的方式，对与从反量化器218提供的差信息相对应的系数执行逆ROT处理等。

在步骤S165，加法器220将作为步骤S164的结果所获得的残差信息（逆ROT信息）经由开关227添加到从帧内预测器225提供的预测图像（预测信号）以获得已解码图像。将已解码图像提供给帧内预测器225、经由去块滤波器226提供给帧存储器223或者经由去块滤波器226、帧重排缓存器221和D/A转换器222输出至外部。

应用本技术的计算机的描述。

接着，如上所述的一系列处理不仅通过硬件而且还可以通过软件执行。当由软件执行该一系列处理时，包括在软件中的程序安装在通用计算机等中。

现在参照图16，将描述按照本技术的实施例的计算机的示范性配置，其中安装了用于执行如上所述的一系列处理的程序。

该程序可以预先记录在作为配备在计算机中的记录介质的硬盘705或ROM703中。

作为替代，该程序可以存储（记录）在可移除记录介质711中。该可移除记录介质711可以作为所谓封装软件提供。这里，例如，该可移除记录介质711可以是软盘、CD-ROM（致密只读存储器）、MO（磁光）盘、DVD（数字多功能盘）、磁盘、半导体存储器等。

除了可以如上所述那样从可移除记录介质711将程序安装在计算机中外，还可以通过经由通信网络或广播网络将程序下载到计算机来将该程序安装在内部硬盘705中。也就是说，该程序可以经由数字广播卫星从下载点以无线方式传递到计算机，或者可以经由如LAN（局域网）或因特网之类的网络以有线方式传递到计算机。

所述计算机在其中已经并入了CPU（中央处理单元）702，并且输入/输出接口710经由总线701连接到CPU702。

CPU702响应于由用户操作输入单元707等经由输入/输出单元710输入的命令，执行存储在ROM（只读存储器）703中的程序。作为替代，CPU702通过将程序加载在RAM（随机存储存储器）704来执行存储在硬盘705中的程序。

按照这种方式，CPU702执行对应于如上所述的流程的处理或由所述框图图示的配置执行的处理。然后，CPU702按需要经由输入/输出接口710，例如通过输出单元706、通过通信单元708或在硬盘705中，输出、发送或记录处理结果。

输入单元707包括键盘、鼠标、麦克风等。输出单元706包括LCD（液晶显示器）、扬声器等。

这里，在本说明书中，计算机按照所述程序执行的处理可以不以在流程图中所述的次序下的时间顺序方式执行。也就是说，计算机按照程序执行的处理包括并行或分开执行的处理（例如，并行处理或基于对象的处理）。

而且，该程序可以通过单个计算机（处理器）执行并且可以以分布方式由多个计算机执行。而且，该程序可以通过被传送到远程地点的计算机来执行。

本技术的实施例可以不限于如上所述的实施例，并且在不偏离本技术的精神的情形下，可以做出各种改变。

而且，本技术可以采取下面的配置。

（1）一种图像处理设备，包括：

反量化单元，其反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量；

逆正交变换单元，其当所述图像的尺寸是预定尺寸时，对作为低频分量的图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换，并且其当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换，并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的高频分量执行第一逆正交变换。

（2）按照（1）的图像处理设备，其中所述预定尺寸是4×4像素。

（3）按照（1）的图像处理设备，其中所述预定尺寸当该图像的尺寸是4×4像素时是4×4像素，而当该图像的尺寸是8×8像素或更大时是8×8像素，

当所述图像的尺寸是4×4像素时，该逆正交变换单元对作为低频分量的图像执行该第三逆正交变换，当该图像的尺寸是8×8像素或更大时，该逆正交变换单元对低频分量执行第二逆正交变换并对已经经历第二逆正交变换的所述低频分量和由反量化单元获得的高频分量执行该第一逆正交变换。

（4）按照（1）至（3）中的任何一个的图像处理设备，其中

所述第一正交变换是离散余弦变换（DCT），并且

所述第二正交变换是旋转变换（ROT）。

（5）按照（1）至（4）中的任何一个的图像处理设备，还包括：

正交变换单元，其当该图像的尺寸是预定尺寸时，对该图像执行作为第一正交变换和第二正交变换的组合变换的第三正交变换，并且其当所述图像尺寸大于预定尺寸时对所述图像执行第一正交变换，而对具有已经经历该第一正交变换的预定尺寸的图像的低频分量执行第二正交变换；以及

量化单元，其量化已经经历第三正交变换具有预定尺寸的图像，或量化作为不同于该低频分量的分量且由该第一正交变换获得的高频分量，以及由该第二正交变换获得的低频分量。

（6）一种图像处理设备的图像处理方法，该图像处理设备包括：

反量化单元，其反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量；以及

逆正交变换单元，其当该图像的尺寸是预定尺寸时，对作为低频分量的该图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换，并且其当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换，并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的高频分量执行第一逆正交变换，

所述方法包括步骤：

允许该反量化单元获得该低频分量和高频分量；以及

允许该逆正交变换单元当图像的尺寸是预定尺寸时对作为低频分量的图像执行第三逆正交变换，当图像的尺寸大于预定尺寸时对所述低频分量执行第二逆正交变换，以及对已经经历第二逆正交变换的低频分量和由反量化单元获得的高频分量执行第一逆正交变换。

（7）一种用于使得计算机用作如下单元的程序：

反量化单元，其反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量；以及

逆正交变换单元，其当该图像的尺寸是预定尺寸时，对作为低频分量的该图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换，并且其当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换，并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的高频分量执行第一逆正交变换。

附图标记列表：

104 正交变换器

105 量化器

108 反量化器

109 逆正交变换器

218 反量化器

219 逆正交变换器

701 总线

702 CPU

703 ROM

704 RAM

705 硬盘

706 输出单元

707 输入单元

708 通信单元

709 驱动

710 输入/输出接口

711 可移除记录介质

Claims (7)

1.一种图像处理设备，包括：

反量化单元，其反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量；

逆正交变换单元，其当所述图像的尺寸是预定尺寸时，对作为低频分量的图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换，并且其当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的该高频分量执行第一逆正交变换。

2.如权利要求1所述的图像处理设备，其中

所述预定尺寸是4×4像素。

3.如权利要求1所述的图像处理设备，其中

所述预定尺寸当该图像的尺寸是4×4像素时是4×4像素，而当该图像的尺寸是8×8像素或更大时是8×8像素，

当所述图像的尺寸是4×4像素时，该逆正交变换单元对作为低频分量的图像执行该第三逆正交变换，并且

当该图像的尺寸是8×8像素或更大时，该逆正交变换单元对低频分量执行第二逆正交变换并对已经经历第二逆正交变换的所述低频分量和由反量化单元获得的高频分量执行该第一逆正交变换。

4.如权利要求1所述的图像处理设备，其中

所述第一正交变换是离散余弦变换（DCT），以及

所述第二正交变换是旋转变换（ROT）。

5.如权利要求1所述的图像处理设备，还包括：

正交变换单元，其当该图像的尺寸是预定尺寸时，对该图像执行作为第一正交变换和第二正交变换的组合变换的第三正交变换，并且其当所述图像尺寸大于预定尺寸时，对所述图像执行第一正交变换并对具有已经经历该第一正交变换的预定尺寸的图像的低频分量执行第二正交变换；以及

量化单元，其量化已经经历第三正交变换具有预定尺寸的图像，或量化作为不同于该低频分量的分量且由该第一正交变换获得的高频分量，以及由该第二正交变换获得的低频分量。

6.一种图像处理设备的图像处理方法，该图像处理设备包括：

反量化单元，其反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量；以及

逆正交变换单元，其当该图像的尺寸是预定尺寸时，对作为低频分量的该图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换，并且其当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换，并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的高频分量执行第一逆正交变换，

所述方法包括步骤：

允许该反量化单元获得该低频分量和高频分量；以及

允许该逆正交变换单元当图像的尺寸是预定尺寸时对作为低频分量的图像执行第三逆正交变换，当图像的尺寸大于预定尺寸时对所述低频分量执行第二逆正交变换，以及对已经经历第二逆正交变换的低频分量和由反量化单元获得的高频分量执行第一逆正交变换。

7.一种用于使得计算机用作如下单元的程序：

反量化单元，其反量化已量化图像，以获得通过在第一正交变换之后执行第二正交变换获得的、具有预定尺寸的图像的低频分量，并且获得作为不同于图像的低频分量的分量并通过第一正交变换获得的高频分量；以及

逆正交变换单元，其当该图像的尺寸是预定尺寸时，对作为低频分量的该图像执行第三逆正交变换，该第三逆正交变换是对应于所述第一正交变换的第一逆正交变换和对应于所述第二正交变换的第二逆正交变换的组合变换，并且其当所述图像的尺寸大于预定尺寸时，对该低频分量执行第二逆正交变换，并且对已经经历第二逆正交变换的低频分量和由该反量化单元获得的高频分量执行第一逆正交变换。

Images