CN110800296A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本图像处理装置针对残差数据执行每个变换处理块的多种类型的系数的量化，该残差数据由计算单元12计算，并且指示原始图像数据与预测图像数据之间的差。例如，图像处理装置通过在量化单元15中对正交变换单元14生成的变换系数进行量化来生成变换量化数据，并且通过使用正交变换被跳过的变换跳过，在量化单元16中通过对残差数据进行量化来生成变换跳过量化数据。熵编码单元28通过对变换量化数据和变换跳过量化数据进行编码来生成编码流。通过使用对变换系数的量化数据的解码结果，可以抑制因使用变换跳过而引起的解码图像的图像质量的下降。

Description

图像处理装置、图像处理方法和程序

技术领域

本技术涉及图像处理装置、图像处理方法和程序，并且能够抑制解码图像的图像质量下降。

背景技术

作为执行对运动图像数据执行编码以产生编码流的编码装置和对编码流执行解码以产生运动图像数据的解码装置，这样的装置通常已广泛用于有效地发送或记录运动图像。此外，作为运动图像编码方案，如例如NPL(非专利文献)1和NPL 2中所述，HEVC(高效视频编码，即，ITU-T H.265或ISO/IEC 23008-2)已经被标准化。

在HEVC中，以称为“CTU(编码树单元)”的块为单位执行图片划分。CTU具有与16的倍数相同的像素的固定块大小，最大为64×64像素。每个CTU被划分为各自以四叉树为基础具有可变大小的编码单元(CU)。此外，在不划分CTU的情况下，CTU表示CU。每个CU被划分为称为“预测单元(PU)”的块和称为“变换单元(TU)”的块。PU和TU各自在CU中独立定义。在HEVC中，提供了一种变换跳过模式，其中对TU的预测误差进行量化，同时跳过其正交变换，以保持锐利的边缘。

此外，在PTL 1中，基于指示预测误差的性质的特征量来选择跳过正交变换。

引用列表

专利文献

[PTL 1]

日本专利特开第2014-131270号

[非专利文献]

[NPL 1]

ITU-T H.265建议书：“High efficiency video coding”，2013年.

[NPL 2]

ISO/IEC 23008-2：“High Efficiency Video Coding”，2013年.

发明内容

技术问题

关于上文，在残差数据(预测误差)包括DC分量(直流分量)的情况下，当跳过正交变换并且对残差数据进行量化时，在逆量化后可能无法通过残差数据来再现DC分量。此外，当通过跳过正交变换在残差数据中生成DC偏移时，在执行正交变换的TU与跳过正交变换的TU之间的块边界部分中产生不连续，并且解码图像变为具有降低的图像质量的图像。

因此，本技术提供了能够抑制解码图像的图像质量下降的图像处理装置、图像处理方法和程序。

问题的解决方案

本技术的第一方面是一种图像处理装置，其包括：

量化部，其针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化以产生量化数据；以及

编码部，其对由量化部产生的多种类型中的每一种的量化数据进行编码以产生编码流。

在本技术中，量化部根据指示图像数据(例如，要编码的图像数据)与预测图像数据之间的差的残差数据，产生由各个变换处理块产生的多种类型的系数中的每一个(例如通过正交变换处理而获取的变换系数和通过用于要跳过的正交变换的变换跳过处理而获取的变换跳过系数)的量化数据。编码部对变换跳过系数的量化数据和变换系数中的例如DC分量(直流分量)的系数的量化数据进行编码。此外，设置对频域或空间域中的图像数据执行分量分离处理的滤波部，并且编码部对以下量化数据进行编码：通过对第一分离数据执行正交变换而获取的变换系数的量化数据，所述第一分离数据是通过由滤波部进行的分量分离处理而获取的，以及通过对与第一分离图像数据不同的第二分离数据执行变换跳过处理而获取的变换跳过系数的量化数据，所述第二分离数据是通过分量分离处理而获取的。

此外，编码部可以对以下量化数据进行编码：通过对图像数据执行正交变换而获取的变换系数的量化数据，以及通过对解码数据与图像数据之间的差执行变换跳过处理而获取的变换跳过系数的量化数据，所述解码数据是通过变换系数的系数数据的量化、逆量化和逆正交变换来获取的。此外，编码部可以对以下进行编码：通过对图像数据执行变换跳过处理而获取的变换跳过系数的量化数据，以及通过对解码数据与图像数据之间的差执行正交变换处理而获取的变换系数的量化数据，所述解码数据是通过对变换跳过系数的系数数据执行量化和逆量化来获取的。

量化部基于针对每种类型的系数设定的量化参数来执行系数的量化，以及编码部对指示针对每种类型的系数设定的量化参数的信息进行编码，并且将所编码的信息包括在编码流中。

本技术的第二方面是一种图像处理方法，其包括以下步骤：

通过针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化来产生量化数据；以及

通过对由量化部产生的多种类型中的每一种的量化数据进行编码来产生编码流。

本技术的第三方面是一种使计算机执行图像处理过程的程序，该程序使计算机执行：

针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化以产生量化数据的过程；以及

对产生的多种类型中的每一种的量化数据进行编码以产生编码流的过程。

本技术的第四方面是一种图像处理装置，其包括：

解码部，对编码流执行解码，以针对每种类型获取多种类型的系数的量化数据；

逆量化部，其对由解码部获取的量化数据执行逆量化，以产生每种类型的系数；

逆变换部，其根据由逆量化部获取的系数针对系数的每种类型产生图像数据；以及

计算部，其执行计算处理以产生解码的图像数据，所述计算处理使用由逆变换部获取的系数的每种类型的图像数据。

在本技术中，由解码部执行编码流的解码，以针对每种类型获取例如多种类型的系数的量化数据，以及针对每种类型获取指示多种类型的系数的量化参数的信息。逆量化部对由解码部获取的量化数据执行逆量化以针对每种类型产生系数。此外，在逆量化中，使用与每种类型的对应量化参数有关的信息，对对应量化数据执行逆量化。逆变换部根据由逆量化部获取的系数针对系数的每种类型产生图像数据。计算部执行计算处理，所述计算处理使用由逆变换部获取的系数的每种类型的图像数据，并且计算部结合每个像素位置、针对由逆变换部获取的系数的每种类型将图像数据和预测图像数据彼此相加，以产生解码图像数据。

本技术的第五方面是一种图像处理方法，其包括以下步骤：

对编码流执行解码，以针对每种类型获取多种类型的系数的量化数据；

对获取的量化数据执行逆量化以产生每种类型的系数；

根据产生的系数针对系数的每种类型产生图像数据；以及

执行计算处理以产生解码的图像数据，所述计算处理使用系数的每种类型的图像数据。

本技术的第六方面是一种使计算机执行图像解码处理的程序，该程序使计算机执行：

对编码流执行解码以针对每种类型获取多个类型的系数的量化数据的过程；

对获取的量化数据执行逆量化以产生每种类型的系数的过程；

根据产生的系数针对系数的每种类型产生图像数据的过程；以及

执行计算处理以产生解码的图像数据的过程，所述计算处理使用系数的每种类型的图像数据。

注意，本技术的程序是能够由分别以计算机可读形式提供程序的存储介质、通信介质，诸如光盘、磁盘或半导体存储器的存储介质、或者通过诸如至例如能够执行各种程序代码的通用计算机的网络的通信介质提供的程序。通过以计算机可读格式提供程序，可以在计算机上实现根据程序的处理。

本发明的有益效果

根据本技术，通过针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化来产生量化数据，对针对多种类型中的每一个的量化数据进行编码，并且因此，产生了编码流。此外，执行编码流的解码，获取针对每种类型的多种类型的系数的量化数据，并且对所获取的量化数据执行逆量化以产生每种类型的系数。此外，根据所产生的系数产生针对每种类型的系数的图像数据，并且通过使用每种类型的系数的图像数据的计算处理来产生解码图像数据。因此，可以抑制解码图像的图像质量的下降。注意，本文描述的效果仅是示例性的，并且不限于此，并且此外，可以实现另外的效果。

附图说明

[图1]是例示图像编码装置的第一实施方式的配置的图。

[图2]是例示第一实施方式的操作的流程图。

[图3]是例示图像编码装置的第二实施方式的配置的图。

[图4]是例示第二实施方式的操作的流程图。

[图5]是例示图像编码装置的第三实施方式的配置的图。

[图6]是例示第三实施方式的操作的流程图。

[图7]是例示图像编码装置的第四实施方式的配置的图。

[图8]示出了分别例示在频域中执行分量分离处理的情况下的滤波部的配置的图。

[图9]示出了分别例示在空间域中执行分量分离处理的情况下的滤波部的另一配置的图。

[图10]示出了分别例示空间滤波器的图。

[图11]是例示第四实施方式的操作的流程图。

[图12]是例示图像解码装置的第一实施方式的配置的图。

[图13]是例示第一实施方式的操作的流程图。

[图14]是例示图像解码装置的第二实施方式的配置的图。

[图15]是例示第二实施方式的操作的流程图。

[图16]示出了描绘示例性操作的图。

[图17]示出了例示原始图像和解码图像的图。

[图18]是描述与多种类型的系数的传送有关的语法的图(部分I)。

[图19]是描绘与多种类型的系数的传送有关的语法的图(部分II)。

[图20]示出了描绘在使用多个量化参数的情况下的语法的图。

[图21]是描绘电视装置的示意性配置的示例的图。

[图22]是描绘移动电话的示意性配置的示例的图。

[图23]是描绘记录和再现装置的示意性配置的示例的图。

[图24]是描绘成像装置的示意性配置的示例的图。

具体实施方式

下面将描述用于实施本技术的方式。另外，将按照以下顺序进行描述。

1.图像处理装置的概述

2.关于图像编码装置

2-1.第一实施方式

2-1-1.图像编码装置的配置

2-1-2.图像编码装置的操作

2-2.第二实施方式

2-2-1.图像编码装置的配置

2-2-2.图像编码装置的操作

2-3.第三实施方式

2-3-1.图像编码装置的配置

2-3-2.图像编码装置的操作

2-4.第四实施方式

2-4-1.图像编码装置的配置

2-4-2.图像编码装置的操作

3.关于图像解码装置

3-1.第一实施方式

3-1-1.图像解码装置的配置

3-1-2.图像解码装置的操作

3-2.第二实施方式

3-2-1.图像解码装置的配置

3-2-2.图像解码装置的操作

4.图像处理装置的示例性操作

5.关于与多种类型的系数的传送有关的语法

6.关于在传送多种类型的系数的情况下的量化参数

7.应用示例

<1.图像处理装置的概述>

在本技术的图像处理装置中，针对每种类型对各个变换处理块中根据图像数据产生的多种类型的系数进行量化以产生多种对应类型的量化数据，对针对多种类型中的每一个的量化数据进行编码，并且然后，产生编码流(比特流)。此外，图像处理装置执行编码流的解码，获取与多种类型的系数中的每一个对应的量化数据，并且执行所获取的量化数据的逆量化以针对每种类型产生系数。图像处理装置根据所产生的系数产生针对每种类型的系数的图像数据，并且执行使用该图像数据的计算处理来产生解码图像数据。

接下来，针对将通过执行正交变换而获取的变换系数和通过对正交变换执行变换跳过处理而获取的变换跳过系数用作多种类型的系数的情况，将这些装置中的每一个描述为执行图像数据的编码以产生编码流的图像编码装置和执行编码流的解码以产生解码图像数据的图像解码装置。

<2.关于图像编码装置>

<2-1.第一实施方式>

在图像编码装置的第一实施方式中，针对指示要编码的图像数据与预测图像数据之间的差的残差数据，对变换处理块中的每一个(例如，对每个TU)执行正交变换和变换跳过处理。此外，图像编码装置对通过正交变换而获取的变换系数的量化数据和通过执行变换跳过处理而获取的变换跳过系数的量化数据进行编码，以产生编码流。

<2-1-1.图像编码装置的配置>

图1例示了图像编码装置的第一实施方式的配置。图像编码装置10-1对输入图像数据执行编码以产生编码流。

图像编码装置10-1包括屏幕排序缓冲器11、计算部12、正交变换部14、量化部15和16、熵编码部28、累积缓冲器29和速率控制部30。此外，图像编码装置10-1包括逆量化部31和33、逆正交变换部32、计算部34和41、环路滤波器42、帧存储器43和选择部44。此外，图像编码装置10-1包括帧内预测部45、运动预测和补偿部46以及预测选择部47。

屏幕排序缓冲器11将输入图像的图像数据存储在其中，并且将以显示顺序的所存储的帧图像排序为以用于根据GOP(图片组)结构进行编码的顺序(编码顺序)的帧图像。屏幕排序缓冲器11将以编码顺序设定的要被编码的图像数据(原始图像数据)输出至计算部12。此外，屏幕排序缓冲器11将图像数据输出至帧内预测部45和运动预测和补偿部46。

计算部12针对每个像素位置，从屏幕排序缓冲器11所提供的原始图像数据中减去预测图像数据来产生指示预测残差的残差数据，该预测图像数据是通过预测选择部47从帧内预测部45或运动预测和补偿部46提供。计算部12将所产生的残差数据输出至正交变换部14和量化部16。

例如，在要进行帧内编码的图像的情况下，计算部12从原始图像数据中减去由帧内预测部45产生的预测图像数据。此外，例如，在要进行帧间编码的图像的情况下，计算部12从原始图像数据中减去由运动预测和补偿部46产生的预测图像数据。

正交变换部14对从计算部12提供的残差数据应用诸如离散余弦变换或卡洛南-洛伊(Karhunen-Loeve)变换的正交变换，并且将其变换系数输出至量化部15。

量化部15对从正交变换部14提供的变换系数进行量化，并且将量化结果输出至熵编码部28和逆量化部31。注意，将变换系数的量化数据称为“变换量化数据”。

量化部16对通过对由计算部12产生的残差数据执行跳过正交变换的变换跳过处理而获取的变换跳过系数，即指示残差数据的变换跳过系数进行量化，并且将量化结果输出至熵编码部28和逆量化部33。注意，将变换跳过系数的量化数据称为“变换跳过量化数据”。

熵编码部28对从量化部15提供的变换量化数据和从量化部16提供的变换跳过量化数据执行熵编码处理，例如诸如CABAC(上下文自适应二进制算术编码)的算术编码处理。此外，熵编码部28获取由预测选择部47所选择的预测模式的参数，例如诸如指示帧内预测模式的信息的参数，或诸如指示帧间预测模式的信息和运动矢量信息的参数。此外，熵编码部28从环路滤波器42获取与滤波处理有关的参数。熵编码部28对变换量化数据和变换跳过量化数据以及所获取的参数(语法要素)进行熵编码，然后使累积缓冲器29将(被复用的)熵编码结果作为头部信息的一部分累积在其中。

累积缓冲器29将从熵编码部28提供的编码数据临时保留在其中，并且在预定定时将编码数据作为编码流例如输出至未描述的后续阶段中的记录装置、传输路径等。

速率控制部30基于累积在累积缓冲器29中的压缩图像来控制量化部15和16的量化操作的速率，以防止产生上溢或下溢。

逆量化部31使用与量化部15执行的量化对应的方法，对从量化部15提供的变换量化数据进行逆量化。逆量化部31将所获取的逆量化数据，即变换系数输出至逆正交变换部32。

逆正交变换部32使用与正交变换部14执行的正交变换处理对应的方法，对从逆量化部31提供的变换系数进行逆正交变换。逆正交变换部32将逆正交变换结果，即解码残差数据输出至计算部34。

逆量化部33使用与量化部16执行的量化对应的方法，对从量化部16提供的变换跳过量化数据进行逆量化。逆量化部33将所获取的逆量化数据，即残差数据输出至计算部34。

计算部34将从逆正交变换部32提供的残差数据和从逆量化部33提供的残差数据彼此相加，并且将相加结果作为解码残差数据输出至计算部41。

计算部41将通过预测选择部47从帧内预测部45或运动预测和补偿部46提供的预测图像数据与从计算部34提供的解码残差数据相加，以获取本地解码图像数据(解码图像数据)。例如，在残差数据对应于要进行帧内编码的图像的情况下，计算部41将从帧内预测部45提供的预测图像数据与残差数据相加。此外，例如，在残差数据对应于要进行帧间编码的图像的情况下，计算部34将从运动预测和补偿部46提供的预测图像数据与残差数据相加。计算部34将作为相加结果的解码图像数据输出至环路滤波器42。此外，计算部34将解码图像数据作为参考图像数据输出至帧存储器43。

环路滤波器42至少包括例如，去块滤波器、自适应偏移滤波器或自适应环路滤波器中的任一个。去块滤波器通过执行去块滤波处理来去除解码图像数据的块失真。自适应偏移滤波器执行自适应偏移滤波处理(SAO(采样自适应偏移)处理)，以抑制振铃(ringing)并且降低在灰度图像中生成的解码图像中的像素值误差等。环路滤波器42包括例如二维维纳滤波器等，并且执行自适应环路滤波(ALF)处理以去除编码失真。环路滤波器42将滤波处理之后的解码图像数据作为参考图像数据输出至帧存储器43。此外，环路滤波器42将与滤波处理有关的参数输出至熵编码部28。

在预定定时，通过选择部44将累积在帧存储器43中的参考图像数据输出至帧内预测部45或运动预测和补偿部46。例如，在要进行帧内编码的图像的情况下，从帧存储器43中读取未被环路滤波器42滤波的参考图像数据，并且通过选择部44将其输出至帧内预测部45。此外，例如，在执行帧间编码的情况下，从帧存储器43中读取被环路滤波器42进行滤波的参考图像数据，并且通过选择部44将其输出至运动预测和补偿部46。

帧内预测部45执行使用屏幕中的像素值来产生预测图像数据的帧内预测(屏幕内预测)。帧内预测部45使用由计算部41产生并作为参考图像数据存储在帧存储器43中的解码图像数据，针对所有帧内预测模式中的每一个产生预测图像数据。此外，帧内预测部45使用从屏幕排序缓冲器11提供的原始图像数据和预测图像数据，执行每一种帧内预测模式的代价(例如，率失真代价)的计算等，并且选择计算的代价变得最小的最优模式。当帧内预测部45选择最优帧内预测模式时，帧内预测部45将所选择的帧内预测模式中的预测的图像数据、诸如指示所选择的帧内预测模式的帧内预测模式信息的参数、代价等输出至预测选择部47。

对于要进行帧间编码的图像，运动预测和补偿部46使用从屏幕排序缓冲器11提供的原始图像数据和被滤波并且然后被作为参考图像数据存储在帧存储器43中的解码图像数据执行运动预测。此外，运动预测和补偿部46根据通过运动预测检测出的运动矢量执行运动补偿处理以产生预测图像数据。

运动预测和补偿部46对作为候选的所有帧间预测模式执行帧间预测处理，通过针对所有帧内预测模式中的每一个产生预测图像数据来执行代价(例如，率失真代价)的计算等，并且选择计算的代价变为最小的最优模式。当运动预测和补偿部46选择最优帧间预测模式时，运动预测和补偿部46将所选择的帧间预测模式的预测图像数据、诸如指示所选择的帧间预测模式的帧间预测模式信息以及指示所计算的运动矢量的运动矢量信息的参数、代价等输出至预测选择部47。

预测选择部47基于帧内预测模式的代价和帧间预测模式的代价来选择最优预测处理。当预测选择部47选择帧内预测处理时，预测选择部47将从帧内预测部45提供的预测图像数据输出至计算部12和计算部41，并且将诸如帧内预测模式信息的参数输出至熵编码部28。当预测选择部47选择帧间预测处理时，预测选择部47将从运动预测和补偿部46提供的预测图像数据输出至计算部12和计算部41，并且将诸如帧间预测模式信息和运动矢量信息的参数输出至熵编码部28。

<2-1-2.图像编码装置的操作>

接下来将描述图像编码装置的第一实施方式的操作。图2是例示图像编码装置的操作的流程图。

在步骤ST1，图像编码装置执行屏幕排序处理。图像编码装置10-1的屏幕排序缓冲器11将以显示顺序的帧图像排序为以编码顺序的帧图像，并且将所排序的结果输出至帧内预测部45和运动预测和补偿部46。

在步骤ST2，图像编码装置执行帧内预测处理。图像编码装置10-1的帧内预测部45使用从帧存储器43读取的参考图像数据以作为候选的所有帧内预测模式处理的块的像素执行帧内预测以产生预测图像数据。此外，帧内预测部45使用所产生的预测图像数据和原始图像数据来计算代价。注意，未被环路滤波器42进行滤波的解码图像数据用作参考图像数据。帧内预测部45基于所计算的代价来选择最优帧内预测模式，并且将通过帧内预测以最优帧内预测模式产生的预测图像数据、参数和代价输出至预测选择部47。

在步骤ST3处，图像编码装置执行运动预测和补偿处理。图像编码装置10-1的运动预测和补偿部46对以作为候选的所有帧间预测模式要处理的块的像素执行帧间预测以产生预测图像数据。此外，运动预测和补偿部46使用所产生的预测图像数据和原始图像数据来计算代价。注意，被环路滤波器42进行滤波的解码图像数据用作参考图像数据。运动预测和补偿部46基于所计算的代价确定最优帧间预测模式，并且将使用最优帧间预测模式所产生的预测图像数据、参数和代价输出至预测选择部47。

在步骤ST4处，图像编码装置执行预测图像选择处理。图像编码装置10-1的预测选择部47基于在步骤ST2和步骤ST3处计算的代价，将最优帧内预测模式和最优帧间预测模式之一确定为最优预测模式。预测选择部47接下来选择所确定的最优预测模式的预测图像数据，并且将所选择的预测图像数据输出至计算部12和41。注意，在稍后描述的步骤ST5和ST10中的每一个处的计算中使用预测图像数据。此外，预测选择部47将与最优预测模式有关的参数输出至熵编码部28。

在步骤ST5处，图像编码装置执行差计算处理。图像编码装置10-1的计算部12计算在步骤ST1处排序的原始图像数据与在步骤ST4处选择的预测图像数据之间的差，并且要将残差数据作为差分结果输出至正交变换部14和量化部16。

在步骤ST6处，图像编码装置执行正交变换处理。图像编码装置10-1的正交变换部14对从计算部12提供的残差数据进行正交变换。更具体地，正交变换部14执行诸如离散余弦变换或卡洛南-洛伊变换的正交变换，并且将所获取的变换系数输出至量化部15。

在步骤ST7处，图像编码装置执行量化处理。图像编码装置10-1的量化部15对从正交变换部14提供的变换系数进行量化以产生变换量化数据。计算部15将所产生的变换量化数据输出至熵编码部28和逆量化部31。此外，量化部16对通过对由计算部12产生的残差数据执行变换跳过处理而获取的变换跳过系数(残差数据)进行量化以产生变换跳过量化数据。量化部16将所产生的变换跳过量化数据输出至熵编码部28和逆量化部33。在该量化中，如稍后描述的步骤ST15处的处理中所述执行速率控制。

下面对如上所述产生的量化数据进行本地解码。换句话说，在步骤ST8处，图像编码装置执行逆量化处理。图像编码装置10-1的逆量化部31使用与量化部15对应的特性对从量化部15提供的变换量化数据进行逆量化，并且将所获取的变换系数输出至逆正交变换部32。此外，图像编码装置10-1的逆量化部33使用与量化部16对应的特性对从量化部16提供的变换跳过量化数据进行逆量化，并且将所获取的残差数据输出至计算部34。

在步骤ST9处，图像编码装置执行逆正交变换处理。图像编码装置10-1的逆正交变换部32使用与正交变换部14对应的特性对由逆量化部31所获取的逆量化数据，即变换系数进行逆正交变换，并且将所获取的残差数据输出至计算部34。

在步骤ST10处，图像编码装置执行图像相加处理。图像编码装置10-1的计算部34将通过在步骤ST8处由逆量化部33执行逆量化而获取的残差数据与通过在步骤ST9处由逆正交变换部32执行逆正交变换而获取的残差数据彼此相加，从而产生本地解码的残差数据。此外，计算部41将本地解码残差数据和在步骤ST4处选择的预测图像数据彼此相加以从而产生被本地解码(即，本地解码)的解码图像数据，并且将解码图像数据输出至环路滤波器42和帧存储器43。

在步骤ST11处，图像编码装置执行环路滤波处理。图像编码装置10-1的环路滤波器42对由计算部41产生的解码图像数据至少执行例如去块滤波处理、SAO处理或自适应环路滤波处理中的任一滤波处理。环路滤波器42将滤波处理后的解码图像数据输出至帧存储器43。

在步骤ST12处，图像编码装置执行存储处理。图像编码装置10-1的帧存储器43将从计算部41提供的环路滤波处理之前的解码图像数据和来自环路滤波器42的解码图像数据、在步骤ST11处已经执行了环路滤波处理的解码图像数据存储在其中作为参考图像数据。

在步骤ST13处，图像编码装置执行熵编码处理。图像编码装置10-1的熵编码部28对从量化部15和16提供的变换量化数据、变换跳过量化数据、从环路滤波器42和预测选择部47提供的参数等进行编码，并且将编码结果输出至累积缓冲器29。

在步骤ST14处，图像编码装置执行累积处理。图像编码装置10-1的累积缓冲器29将从熵编码部28提供的编码数据累积到其中。适当地读取在累积缓冲器29中累积的编码数据，并且通过传输路径等将其提供给解码侧。

在步骤ST15处，图像编码装置执行速率控制。图像编码装置10-1的速率控制部30对量化部15和16中的每一个的量化操作执行速率控制，以便防止产生在累积缓冲器29中累积的编码数据的上溢或下溢。

以这种方式，在第一实施方式中，正交变换之后的变换系数和变换跳过系数被包括在编码流中，并且将其从图像编码装置发送至图像解码装置。因此，与通过对正交变换之后的变换系数执行量化、逆量化等而解码的解码图像相比，可以抑制由蚊式噪声(mosquitonoise)等而引起的图像质量的下降。此外，与通过对变换跳过系数执行量化、逆量化等而解码的解码图像相比，可以减轻灰度级的失败。因此，与在编码流中包括变换系数或变换跳过系数中的任一个的情况相比，能够抑制解码图像的高图像质量的降低。

此外，在第一实施方式中，因为分别独立地且同时地计算和量化变换系数和变换跳过系数，所以即使在编码流中包括变换系数和变换跳过系数的情况下，也可以高速执行编码处理。

<2-2.第二实施方式>

下面将描述图像编码装置的第二实施方式。图像编码装置针对指示要编码的图像与预测图像之间的差的残差数据执行用于每个变换处理块的正交变换。此外，图像编码装置计算通过对通过正交变换所获取的变换系数执行量化、逆量化和逆正交变换而解码的残差数据中生成的误差。此外，图像编码装置通过对计算出的误差残差数据跳过正交变换来获取变换跳过系数、对该变换系数和变换跳过系数进行编码以产生编码流。

<2-2-1.图像编码装置的配置>

图3例示了图像编码装置的第二实施方式的配置。图像编码装置10-2对原始图像数据执行编码以产生编码流。

图像编码装置10-2包括屏幕排序缓冲器11、计算部12和24、正交变换部14、量化部15、逆量化部22、逆正交变换部23、量化部25、熵编码部28、累积缓冲器29和速率控制部30。此外，图像编码装置10-2包括逆量化部35、计算部36和41、环路滤波器42、帧存储器43和选择部44。此外，图像编码装置10-2包括帧内预测部45、运动预测和补偿部46以及预测选择部47。

屏幕排序缓冲器11将输入图像的图像数据存储在其中，并且将以显示顺序的所存储的帧图像排序为以用于根据GOP(图片组)结构进行编码的顺序(编码顺序)的帧图像。屏幕排序缓冲器11将以编码顺序设定的要被编码的图像数据(原始图像数据)输出至计算部12。此外，屏幕排序缓冲器11将图像数据输出至帧内预测部45和运动预测和补偿部46。

计算部12针对每个像素位置从屏幕排序缓冲器11提供的原始图像数据中减去预测图像数据来产生指示预测残差的残差数据，该预测图像数据是通过预测选择部47从帧内预测部45或运动预测和补偿部46提供的。计算部12将所产生的残差数据输出至正交变换部14。

正交变换部14对从计算部12提供的残差数据应用诸如离散余弦变换或卡洛南-洛伊变换的正交变换，并且将其变换系数输出至量化部15。

量化部15对从正交变换部14提供的变换系数进行量化，并且将量化结果输出至逆量化部22和熵编码部28。

逆量化部22使用与量化部15执行的量化对应的方法，对从量化部15提供的变换量化数据进行逆量化。逆量化部22将所获取的逆量化数据，即变换系数输出至逆正交变换部23。

逆正交变换部23使用与正交变换部14执行的正交变换处理对应的方法，对从逆量化部22提供的变换系数进行逆正交变换。逆正交变换部23将逆正交变换结果，即解码残差数据输出至计算部24和36中的每一个。

计算部24从从计算部12提供的差分数据中减去从逆正交变换部23提供的解码残差数据，计算指示通过执行正交变换、量化、逆量化和逆正交变换而生成的误差的数据(下文中，称为“变换误差数据”)，并且将计算出的数据作为跳过正交变换的变换跳过系数输出至量化部25。

量化部25对从计算部24提供的变换跳过系数进行量化以产生变换误差量化数据。量化部25将所产生的变换跳过量化数据输出至熵编码部28和逆量化部35。

熵编码部28对从量化部15提供的变换量化数据和从量化部25提供的变换跳过量化数据执行熵编码处理，例如诸如CABAC(上下文自适应二进制算术编码)的算术编码处理。此外，熵编码部28获取由预测选择部47选择的预测模式中的参数，例如诸如指示帧内预测模式的信息的参数，或诸如指示帧间预测模式的信息或运动矢量信息的参数。此外，熵编码部28从环路滤波器42获取与滤波处理有关的参数。熵编码部28对变换量化数据和变换跳过量化数据以及所获取的参数(语法要素)进行熵编码，并且使累积缓冲器29将(被复用的)熵编码结果作为头部信息的部分累积在其中。

累积缓冲器29将从熵编码部28提供的编码数据临时保留在其中，并且在预定定时将编码数据作为编码流例如输出至未描述的后续阶段中的记录装置、传输路径等。

速率控制部30基于累积在累积缓冲器29中的压缩图像来控制量化部15和25的量化操作的速率以便防止生成任何上溢或下溢。

逆量化部35使用与量化部25执行的量化对应的方法，对从量化部25提供的变换跳过量化数据进行逆量化。逆量化部35将所获取的解码变换误差数据输出至计算部36。

计算部36将由逆正交变换部23所解码的残差数据和由逆量化部35所解码的变换误差数据彼此相加，并且将相加结果作为解码残差数据输出至计算部41。

计算部41将通过预测选择部47从帧内预测部45或运动预测和补偿部46提供的预测图像数据与从计算部36提供的解码残差数据相加以获取本地解码图像数据(解码图像数据)。计算部41将作为相加结果的解码图像数据输出至环路滤波器42。此外，计算部41将解码图像数据作为参考图像数据输出至帧存储器43。

环路滤波器42至少包括例如，去块滤波器、自适应偏移滤波器或自适应环路滤波器中的任一个。环路滤波器42对解码图像数据执行滤波处理并且将滤波处理之后的解码图像数据作为参考图像数据输出至帧存储器43。此外，环路滤波器42将与滤波处理有关的参数输出至熵编码部28。

在预定定时通过选择部44将累积在帧存储器43中的参考图像数据输出至帧内预测部45或运动预测和补偿部46。

帧内预测部45执行使用屏幕中的像素值来产生预测图像数据的帧内预测(屏幕内预测)。帧内预测部45使用由计算部41产生并作为参考图像数据存储在帧存储器43中的解码图像数据来针对所有帧内预测模式中的每一个生成预测图像数据。此外，帧内预测部45使用从屏幕排序缓冲器11提供的原始图像数据和预测图像数据执行每一种帧内预测模式的代价的计算等，并且选择所计算的代价变得最小的最优模式。帧内预测部45将所选择的帧内预测模式中的预测图像数据、诸如指示所选择的帧内预测模式的帧内预测模式信息的参数、代价等输出至预测选择部47。

对要进行帧间编码的图像，运动预测和补偿部46使用从屏幕排序缓冲器11提供的原始图像数据和被滤波并且然后被作为参考图像数据存储在帧存储器43中的解码图像数据执行运动预测。此外，运动预测补偿部46根据通过运动预测检测出的运动矢量执行运动补偿处理以产生预测图像数据。

运动预测和补偿部46执行在作为候选的所有帧间预测模式中的帧间预测处理，通过针对所有帧内预测模式中的每一个产生预测图像数据来执行代价的计算等，并且选择所计算的代价变为最小的最优模式。运动预测和补偿部46将所选择的帧间预测模式的预测图像数据、诸如指示所选择的帧间预测模式的帧间预测模式信息以及指示计算出的运动矢量的运动矢量信息的参数、代价等输出至预测选择部47。

预测选择部47基于帧内预测模式和帧间预测模式的代价来选择最优预测处理。在预测选择部47选择帧内预测处理的情况下，预测选择部47将从帧内预测部45提供的预测图像数据输出至计算部12和计算部41，并且将诸如帧内预测模式信息的参数输出至熵编码部28。在预测选择部47选择帧间预测处理的情况下，预测选择部47将从运动预测和补偿部46提供的预测图像数据输出至计算部12和计算部41，并且将诸如帧间预测模式信息和运动矢量信息的参数输出至熵编码部28。

<2-2-2.图像编码装置的操作>

接下来将描述图像编码装置的第二实施方式的操作。图4是例示图像编码装置的操作的流程图。此外，将分别简单地描述与第一实施方式中的处理相同的处理。

在步骤ST21处，图像编码装置执行屏幕排序处理。图像编码装置10-2的屏幕排序缓冲器11将以显示顺序的帧图像排序为以编码顺序的帧图像，并且将这些输出至帧内预测部45和运动预测和补偿部46。

在步骤ST22处，图像编码装置执行帧内预测处理。图像编码装置10-2的帧内预测部45将以最优帧内预测模式产生的预测图像数据、参数和代价输出至预测选择部47。

在步骤ST23处，图像编码装置执行运动预测和补偿处理。图像编码装置10-2的运动预测和补偿部46将使用最优帧间预测模式产生的预测图像数据、参数和代价输出至预测选择部47。

在步骤ST24处，图像编码装置执行预测图像选择处理。图像编码装置10-2的预测选择部47基于在步骤ST22和步骤ST23处计算的代价将最优帧内预测模式和最优帧间预测模式之一确定为最优预测模式。预测选择部47接下来选择在所确定的最优预测模式中的预测图像数据，并且将所预测图像数据输出至计算部12和41。

在步骤ST25处，图像编码装置执行差计算处理。图像编码装置10-2的计算部12计算在步骤ST21处排序的原始图像数据与在步骤ST24处选择的预测图像数据之间的差，并且将残差数据作为差分结果输出至正交变换部14和计算部24。

在步骤ST26处，图像编码装置执行正交变换处理。图像编码装置10-2的正交变换部14对从计算部12提供的残差数据进行正交变换并且将所获取的变换系数输出至量化部15。

在步骤ST27处，图像编码装置执行量化处理。图像编码装置10-2的量化部15对从正交变换部14提供的变换系数进行量化以产生变换量化数据。量化部15将所产生的变换量化数据输出至逆量化部22和熵编码部28。

在步骤ST28处，图像编码装置执行逆量化处理。图像编码装置10-2的逆量化部22使用与量化部15对应的特性对从量化部15输出的变换量化数据进行逆量化，并且将所获取的变换系数输出至逆正交变换部23。

在步骤ST29处，图像编码装置执行逆正交变换处理。图像编码装置10-2的逆正交变换部23使用与正交变换部14对应的特性对逆量化部22产生的逆量化数据，即变换系数进行逆正交变换，并且将所获取的残差数据输出至计算部24和计算部36。

在步骤ST30处，图像编码装置执行误差计算处理。图像编码装置10-2的计算部24从在步骤ST25处计算出的残差数据中减去在步骤ST29处获取的残差数据以产生变换误差数据，并且将变换误差数据输出至量化部25。

在步骤ST31处，图像编码装置对误差执行量化和逆量化处理。图像编码装置10-2的量化部25将变换跳过系数量化为在步骤ST30处产生的变换误差数据以产生变换跳过量化数据，并且将变换跳过量化数据输出至熵编码部28和逆量化部35。此外，逆量化部35对变换跳过量化数据执行逆量化。逆量化部35使用与量化部25对应的特性对从量化部25提供的变换跳过量化数据进行逆量化，并且将所获取的变换误差数据输出至计算部36。

在步骤ST32处，图像编码装置执行残差解码处理。图像编码装置10-2的计算部36将在步骤ST29处由逆量化部35获取的变换误差数据和由逆正交变换部23获取的残差数据彼此相加以产生解码残差数据并且将解码残差数据输出至计算部41。

在步骤ST33处，图像编码装置执行图像相加处理。图像编码装置10-2的计算部41将在步骤ST32处本地解码的解码残差数据和在步骤ST24处选择的预测图像数据彼此相加以从而产生被本地解码的解码图像数据，并且将解码图像数据输出至环路滤波器42和帧存储器43。

在步骤ST34处，图像编码装置执行环路滤波处理。图像编码装置10-2的环路滤波器42对计算部41产生的解码图像数据至少执行例如去块滤波处理、SAO处理或自适应环路滤波处理中的任一滤波处理，并且将滤波处理之后的解码图像数据输出至帧存储器43。

在步骤ST35处，图像编码装置执行存储处理。图像编码装置10-2的帧存储器43将在步骤ST34处的环路滤波处理之后的解码图像数据和环路滤波处理之前的解码图像数据作为参考图像数据存储在其中。

在步骤ST36处，图像编码装置执行熵编码处理。图像编码装置10-2的熵编码部28对从量化部15和25提供的变换量化数据、变换跳过量化数据、从环路滤波器42和预测选择部47提供的参数等进行编码。

在步骤ST37处，图像编码装置执行累积处理。图像编码装置10-2的累积缓冲器29将编码数据累积到其中。适当地读取在累积缓冲器29中累积的编码数据，并且通过传输路径等将其传送至解码侧。

在步骤ST38处，图像编码装置执行速率控制。图像编码装置10-2的速率控制部30对量化部15和25中的每一个的量化操作执行速率控制以便防止产生在累积缓冲器29中累积的编码数据的上溢或下溢。

根据上述第二实施方式，即使在执行残差数据的正交变换、通过正交变换获取的变换系数的量化和逆量化以及通过逆量化获取的变换系数的逆正交变换并且因此在解码残差数据中生成误差时，指示该误差的变换误差数据被量化为要包括在编码流中的变换跳过系数。因此，通过使用后续描述的变换系数和变换跳过系数执行解码处理，能够不受误差影响地产生解码图像数据。

此外，根据第二实施方式，可以通过正交跳过系数来再现诸如灰度的中间区域和低区域，并且可以通过变换跳过系数(即变换误差数据)来再现不能通过正交变换系数而再现的诸如脉冲的高频部分。因此，残差数据的再现性非常好，并且可以抑制解码图像的图像质量下降。

<2-3.第三实施方式>

接下来将描述图像编码装置的第三实施方式。图像编码装置针对变换处理块中的每一个，对指示要编码的图像与预测图像之间的差的残差数据执行变换跳过。此外，图像编码装置计算通过对变换跳过之后的变换跳过系数执行量化和逆量化而解码的残差数据中生成的误差。此外，图像编码装置对计算的误差残差数据执行正交变换以产生变换系数，并且对变换跳过系数和变换系数进行编码以产生编码流。

<2-3-1.图像编码装置的配置>

图5例示了图像编码装置的第三实施方式的配置。图像编码装置10-3对原始图像数据执行编码以产生编码流。

图像编码装置10-3包括屏幕排序缓冲器11、计算部12和19、量化部17和27、逆量化部18和37、正交变换部26、熵编码部28、累积缓冲器29和速率控制部30。此外，图像编码装置10-3包括逆量化部37、逆正交变换部38、计算部39和41、环路滤波器42、帧存储器43和选择部44。此外，图像编码装置10-3包括帧内预测部45、运动预测和补偿部46以及预测选择部47。

屏幕排序缓冲器11将输入图像的图像数据存储在其中，并且将以显示顺序的所存储的帧图像排序为以用于根据GOP(图片组)结构进行编码的顺序(编码顺序)的帧图像。屏幕排序缓冲器11将以编码顺序设定的要编码的图像数据(原始图像数据)输出至计算部12。此外，屏幕排序缓冲器11将图像数据输出至帧内预测部45和运动预测和补偿部46。

计算部12针对每个像素位置从从屏幕排序缓冲器11提供的原始图像数据中减去通过预测选择部47从帧内预测部45或运动预测和补偿部46提供的预测图像数据来产生指示预测残差的残差数据。计算部12将所产生的残差数据输出至量化部17和计算部19。

量化部17对通过执行从计算部12提供的残差数据的跳过正交变换的变换跳过处理而获取的变换跳过系数，即指示残差数据的变换跳过系数进行量化，并且将量化结果输出至逆量化部18和熵编码部28。

逆量化部18使用与量化部17执行的量化对应的方法，对从量化部17提供的变换跳过量化数据进行逆量化。逆量化部18将所获取的逆量化数据输出至计算部19和39。

计算部19从从计算部12提供的差分数据中减去从逆量化部18提供的解码残差数据以计算指示通过对变换跳过系数执行量化和逆量化生成的误差的数据(下文中，称为“变换跳过误差数据”)，并且然后将变换跳过误差数据输出至正交变换部26。

正交变换部26对从计算部19提供的变换跳过残差数据应用诸如离散余弦变换或卡洛南-洛伊变换的正交变换，并且将其变换系数输出至量化部27。

量化部27对从正交变换部26提供的变换系数进行量化，并且将变换量化数据输出至熵编码部28和逆量化部37。

熵编码部28对从量化部17提供的变换跳过量化数据和从量化部27提供的变换量化数据执行熵编码处理，例如诸如CABAC(上下文自适应二进制算术编码)的算术编码处理。此外，熵编码部28获取由预测选择部47选择的预测模式的参数，例如诸如指示帧内预测模式的信息的参数，或诸如指示帧间预测模式的信息或运动矢量信息的参数。此外，熵编码部28从环路滤波器42获取与滤波处理有关的参数。熵编码部28对变换量化数据和变换跳过量化数据以及所获取的参数(语法要素)进行熵编码，并且使累积缓冲器29将(被复用的)熵编码结果作为头部信息的部分累积在其中。

累积缓冲器29将从熵编码部28提供的编码数据临时保留在其中，并且在预定定时将编码数据作为编码流例如输出至未描绘的后续阶段中的记录装置、传输路径等。

速率控制部30基于累积在累积缓冲器29中的压缩图像来控制量化部17和27的量化操作的速率以便防止生成上溢或下溢。

逆量化部37使用与量化部27执行的量化对应的方法，对从量化部27提供的变换量化数据进行逆量化。逆量化部37将所获取的逆量化数据，即变换系数输出至逆正交变换部38。

逆正交变换部38使用与正交变换部26执行的正交变换处理对应的方法，对从逆量化部37提供的变换系数进行逆正交变换。逆正交变换部38将逆正交变换结果，即解码变换跳过残差数据输出至计算部39。

计算部39将从逆量化部18提供的残差数据和从逆正交变换部38提供的变换跳过误差数据彼此相加，并且将相加结果作为解码残差数据输出至计算部41。

计算部41将通过预测选择部47从帧内预测部45或运动预测和补偿部46提供的预测图像数据与从计算部39提供的解码残差数据相加以获取本地解码图像数据(解码图像数据)。计算部41将作为相加结果的解码图像数据输出至环路滤波器42。此外，将解码图像数据作为参考图像数据输出至帧存储器43。

环路滤波器42至少包括例如去块滤波器、自适应偏移滤波器或自适应环路滤波器中的任一个。环路滤波器42对解码图像数据执行滤波处理，并且将滤波处理之后的解码图像数据作为参考图像数据输出至帧存储器43。此外，环路滤波器42将与滤波处理有关的参数输出至熵编码部28。

在预定定时通过选择部44将累积在帧存储器43中的参考图像数据输出至帧内预测部45或运动预测和补偿部46。

帧内预测部45执行使用屏幕中的像素值来产生预测图像数据的帧内预测(屏幕内预测)。帧内预测部45使用由计算部41产生并作为参考图像数据存储在帧存储器43中的解码图像数据来针对所有帧内预测模式中的每一个生成预测图像数据。此外，帧内预测部45使用从屏幕排序缓冲器11提供的原始图像数据和预测图像数据执行每一种帧内预测模式的代价的计算等，并且选择所计算的代价变得最小的最优模式。帧内预测部45将所选择的帧内预测模式中的预测图像数据、诸如指示所选择的帧内预测模式的帧内预测模式信息的参数、代价等输出至预测选择部47。

针对要进行帧间编码的图像，运动预测和补偿部46使用从屏幕排序缓冲器11提供的原始图像数据和被滤波并且然后被作为参考图像数据存储在帧存储器43中的解码图像数据执行运动预测。此外，运动预测补偿部46根据通过运动预测检测出的运动矢量执行运动补偿处理以产生预测图像数据。

运动预测和补偿部46执行在作为候选的所有帧间预测模式中的帧间预测处理，通过针对所有帧内预测模式中的每一个产生预测图像数据来执行代价的计算等，并且选择所计算的代价变为最优的最优模式。运动预测和补偿部46将所选择的帧间预测模式中的预测图像数据、诸如指示所选择的帧间预测模式的帧间预测模式信息以及指示计算出的运动矢量的运动矢量信息的参数、代价等输出至预测选择部47。

预测选择部47基于帧内预测模式和帧间预测模式的代价来选择最优预测处理。在预测选择部47选择帧内预测处理的情况下，预测选择部47将从帧内预测部45提供的预测图像数据输出至计算部12和计算部41，并且将诸如帧内预测模式信息的参数输出至熵编码部28。在预测选择部47选择帧间预测处理的情况下，预测选择部47将从运动预测和补偿部46提供的预测图像数据输出至计算部12和计算部41，并且将诸如帧间预测模式信息和运动矢量信息的参数输出至熵编码部28。

<2-3-2.图像编码装置的操作>

接下来将描述图像编码装置的第三实施方式的操作。图6是例示图像编码装置的操作的流程图。

在步骤ST41处，图像编码装置执行屏幕排序处理。图像编码装置10-3的屏幕排序缓冲器11将以显示顺序的帧图像排序为以编码顺序的帧图像，并且将这些输出至帧内预测部45和运动预测和补偿部46。

在步骤ST42处，图像编码装置执行帧内预测处理。图像编码装置10-3的帧内预测部45将以最优帧内预测模式产生的预测图像数据、参数和代价输出至预测选择部47。

在步骤ST43处，图像编码装置执行运动预测和补偿处理。图像编码装置10-3的运动预测和补偿部46将使用最优帧间预测模式产生的预测图像数据、参数和代价输出至预测选择部47。

在步骤ST44处，图像编码装置执行预测图像选择处理。图像编码装置10-3的预测选择部47基于在步骤ST42和步骤ST43处计算的代价将最优帧内预测模式或最优帧间预测模式之一确定为最优预测模式。预测选择部47接下来选择在所确定的最优预测模式中的预测图像数据，并且将所选择的预测图像数据输出至计算部12和41。

在步骤ST45处，图像编码装置执行差计算处理。图像编码装置10-3的计算部12计算在步骤ST41处排序的原始图像数据与在步骤ST44处选择的预测图像数据之间的差，并且将作为差分结果的残差数据输出至量化部17和计算部19。

在步骤ST46处，图像编码装置执行量化处理。图像编码装置10-3的量化部17对通过由计算部12产生的残差数据执行变换跳过处理而获取的变换跳过系数进行量化，并且将变换跳过量化数据输出至逆量化部18和熵编码部28。在该量化中，如稍后描述的步骤ST58处的处理中所述执行速率控制。

在步骤ST47处，图像编码装置执行逆量化处理。图像编码装置10-3的逆量化部18将通过使用与量化部17对应的特性对从量化部17输出的变换跳过量化数据进行逆量化而获取的残差数据输出至计算部19和计算部39。

在步骤ST48处，图像编码装置执行误差计算处理。图像编码装置10-3的计算部19从在步骤ST45处计算出的残差数据中减去在步骤ST47处获取的残差数据以产生指示通过对变换跳过系数执行量化和逆量化而生成的误差的变换跳过误差数据，并且将变换跳过误差数据输出至正交变换部26。

在步骤ST49处，图像编码装置执行正交变换处理。图像编码装置10-3的正交变换部14对从计算部12提供的变换跳过误差数据进行正交变换并且将所获取的变换系数输出至量化部27。

在步骤ST50处，图像编码装置执行量化处理。图像编码装置10-3的量化部27对从正交变换部26提供的变换系数进行量化，并且将所获取的变换量化数据输出至熵编码部28和逆量化部37。在该量化中，如稍后描述的步骤ST58处的处理中所述执行速率控制。

在步骤ST51处，图像编码装置对误差执行逆量化和逆正交变换处理。图像编码装置10-3的逆量化部37使用与量化部27对应的特性对在步骤ST50处提供的变换量化数据进行逆量化，并且将逆量化结果输出至逆正交变换部38。此外，图像编码装置10-3的逆正交变换部38使用与正交变换部26对应的特性对逆量化部37获取的变换系数进行逆正交变换，并且将所获取的变换跳过误差数据输出至计算部39。

在步骤ST52处，图像编码装置执行残差解码处理。图像编码装置10-3的计算部39将在步骤ST51处由逆量化部18获取的变换跳过误差数据和由逆正交变换部38获取的解码残差数据彼此相加以产生解码残差数据，并且将解码残差数据输出至计算部41。

在步骤ST53处，图像编码装置执行图像相加处理。图像编码装置10-3的计算部41将在步骤ST52处本地解码的解码残差数据和在步骤ST44处选择的预测图像数据彼此相加，从而产生本地解码的解码图像数据，并且将该解码图像数据输出至环路滤波器42。

在步骤ST54处，图像编码装置执行环路滤波处理。图像编码装置10-3的环路滤波器42对计算部41产生的解码图像数据至少执行例如去块滤波处理、SAO处理或自适应环路滤波处理中的任一滤波处理，并且将滤波处理之后的解码图像数据输出至帧存储器43。

在步骤ST55处，图像编码装置执行存储处理。图像编码装置10-3的帧存储器43将在步骤ST54处的环路滤波处理之后的解码图像数据和环路滤波处理之前的解码图像数据作为参考图像数据存储在其中。

在步骤ST56处，图像编码装置执行熵编码处理。图像编码装置10-3的熵编码部28对从量化部17提供的变换跳过量化数据、从量化部27提供的变换量化数据和从预测选择部47提供的参数等进行编码，并且将编码结果输出至累积缓冲器29。

在步骤ST57处，图像编码装置执行累积处理。图像编码装置10-3的累积缓冲器29对从熵编码部28提供的编码数据累积到其中。适当地读取在累积缓冲器29中累积的编码数据，并且通过传输路径等将其传送至解码侧。

在步骤ST58处，图像编码装置执行速率控制。图像编码装置10-3的速率控制部30对量化部17和27中的每一个的量化操作执行速率控制以便防止产生在累积缓冲器29中累积的编码数据的上溢或下溢。

根据上述第三实施方式，即使当对残差数据执行变换跳过处理、量化和逆量化并且由此在解码残差数据中生成的误差时，也通过对指示该误差的变换跳过误差数据进行正交变换而获取的变换系数进行量化并且将其包括在编码流中。因此，通过使用后续描述的变换系数和变换跳过系数执行解码处理，能够不受误差影响地产生解码图像数据。

此外，根据第三实施方式，可以通过变换跳过系数来再现诸如脉冲的高频部分，并且可以通过正交变换系数来再现不能通过变换跳过系数而再现的诸如灰度的中间区域和低区域，并且因此，残差数据的再现性非常好，并且可以抑制解码图像的图像质量下降。

<2-4.第四实施方式>

对于图像编码装置的第四实施方式，图像编码装置接下来使用区域分离数据执行与第一实施方式中的处理类似的处理。图像编码装置执行频域或空间域的分离，使用正交变换对一条分离数据执行编码处理，并且使用变换跳过对另一条分离数据执行编码处理。注意，在第四实施方式中，与第一实施方式的配置对应的配置将被赋予相同的附图标记。

<2-4-1.图像编码装置的配置>

图7例示了图像编码装置的第四实施方式的配置。图像编码装置10-4执行原始图像数据的编码以产生编码流。

图像编码装置10-4包括屏幕排序缓冲器11、计算部12、滤波部13、正交变换部14、量化部15和16、熵编码部28、累积缓冲器29和速率控制部30。此外，图像编码装置10-4包括逆量化部31和33、逆正交变换部32、计算部34和41、环路滤波器42、帧存储器43和选择部44。此外，图像编码装置10-4包括帧内预测部45、运动预测和补偿部46以及预测选择部47。

屏幕排序缓冲器11将输入图像的图像数据存储在其中，并且将以显示顺序的所存储的帧图像排序为以用于根据GOP(图片组)结构进行编码的顺序(编码顺序)的帧图像。屏幕排序缓冲器11将以编码顺序设定的要编码的图像数据(原始图像数据)输出至计算部12。此外，屏幕排序缓冲器11将图像数据输出至帧内预测部45和运动预测和补偿部46。

计算部12针对每个像素位置从屏幕排序缓冲器11提供的原始图像数据中减去预测图像数据来产生指示预测残差的残差数据，该预测图像数据是通过预测选择部47从帧内预测部45或运动预测和补偿部46提供的。计算部12将所产生的残差数据输出至滤波部13。

滤波部13对残差数据执行分量分离处理以产生分离数据。滤波部13使用例如残差数据在频域或空间域中执行分离以产生分离数据。

图8描绘了分别示出在频域中执行分量分离处理的情况下的滤波部的配置的示例。如图8的(a)所示，滤波部13包括正交变换部131、频率分离部132以及逆正交变换部133和134。

正交变换部131对残差数据应用诸如离散余弦变换或卡洛南-洛伊变换的正交变换以将来自空间域的残差数据变换为频域的残差数据。正交变换部131将通过正交变换获取的变换系数输出至频率分离部132。

频率分离部132将从正交变换部131提供的变换系数分离为包括低频的第一频带的变换系数和包括比第一频带的频率更高频率的第二频带的变换系数。频率分离部132将第一频带的变换系数输出至逆正交变换部133，并且将第二频带的变换系数输出至逆正交变换部134。

逆正交变换部133对从频率分离部132提供的第一频带的变换系数执行逆正交变换以将来自频域的变换系数变换为空间域的变换系数。逆正交变换部133将通过逆正交变换获取的图像数据作为分离数据输出至正交变换部14。

逆正交变换部134对从频率分离部132提供的第二频带的变换系数执行逆正交变换以将来自频域的变换系数变换为空间域的变换系数。逆正交变换部134将通过逆正交变换获取的图像数据作为分离数据输出至量化部16。

如上所述，滤波部13对残差数据执行区域分离，并且例如，将包括低频的第一频带的频率分量的图像数据作为分离数据输出至正交变换部14，并且将包括比第一频带的频率更高的频率的第二频带的频率分量的图像数据作为分离数据输出至量化部16。

关于上文，在正交变换部131执行的正交变换与正交变换部14执行的正交变换等效的情况下，正交变换部131也可以用作正交变换部14。图8的(b)例示了在正交变换部131用作正交变换部14的情况下的配置。

滤波部13包括正交变换部131、频率分离部132以及逆正交变换部134。

正交变换部131对残差数据应用诸如离散余弦变换或卡洛南-洛伊变换的正交变换以将来自空间域的残差数据变换为频域的残差数据。正交变换部131将通过正交变换获取的变换系数输出至频率分离部132。

频率分离部132将从正交变换部131提供的变换系数分离为包括低频的第一频带的变换系数和包括比第一频带的频率更高的频率的第二频带的变换系数。频率分离部132将第一频带的变换系数输出至量化部15，并且将第二频带的变换系数输出至逆正交变换部134。

逆正交变换部134对从频率分离部132提供的第二频带的变换系数执行逆正交变换以将来自频域的变换系数变换为空间域的变换系数。逆正交变换部134将通过逆正交变换获取的图像数据作为分离数据输出至量化部16。

以该方式，滤波部13对残差数据执行区域分离，将指示包括低频的第一频带中的频率分量的变换系数输出至量化部15，并且将包括比第一频带中的频率分量更高的频率的第二频带中的频率分量的图像数据作为分离数据输出至量化部16。

接下来将描述使用残差数据在空间域中执行分量分离处理以产生分离数据的情况。滤波部13使用空间滤波器将例如由残差数据所示的图像分离为平滑图像和纹理分量图像。图9描绘了分别示出在空间域中执行分量分离处理的情况下的滤波部的配置的示例。如图9的(a)所示，滤波部13包括空间滤波器135和136。

空间滤波器135使用残差数据执行平滑处理以产生平滑图像。空间滤波器135使用例如，移动平均滤波器等对残差数据执行滤波处理以产生平滑图像的图像数据，并且将图像数据输出至正交变换部14。顺便提及，图10描绘了分别示出空间滤波器的示例，并且图10的(a)例示了3×3移动平均滤波器。

空间滤波器136使用残差数据执行纹理分量提取处理以产生纹理分量图像。空间滤波器136使用例如，拉普拉斯滤波器、差分滤波器等对残差数据执行滤波处理并且将表示边缘的纹理分量图像等的图像数据输出至量化部16。顺便提及，图10的(b)例示了3×3拉普拉斯滤波器。

此外，滤波部13可以使用平滑图像的图像数据来产生纹理分量图像的图像数据。图9的(b)例示了在使用平滑图像的图像数据产生纹理分量图像的图像数据的情况下的滤波部的配置。滤波部13包括空间滤波器135和减法部137。

空间滤波器135使用残差数据执行平滑处理以产生平滑图像。空间滤波器135使用例如，移动平均滤波器等对残差数据执行滤波处理以产生平滑图像的图像数据，并且将图像数据输出至减法部137和正交变换部14。

减法部137从残差数据中减去由空间滤波器135产生的平滑图像的图像数据，并且将相减结果作为纹理分量图像的图像数据输出至量化部16。

此外，对于图9所示的空间滤波器，已经描述了使用诸如移动平均滤波器或拉普拉斯滤波器的线性滤波器的情况，而非线性滤波器可以用作滤波部13。例如，因为对于例如脉冲状图像等通过正交变换的表达是困难的，因此将具有去除任何脉冲状图像数据的高能力的中值滤波器用作空间滤波器135。因此，从其去除了脉冲状图像的图像可以被输出至正交变换部14。此外，从残差数据中减去由空间滤波器135产生的滤波处理之后的图像数据，并且指示脉冲状图像的图像数据被输出至量化部16。

此外，在执行空间域的分离的情况下的滤波部的配置不限于图9所示的情况。例如，使用拉普拉斯滤波器、微分滤波器等产生的纹理分量图像的图像数据被输出至量化部16。此外，也可以将通过从残差数据减去纹理分量图像的图像数据而获取的图像数据作为平滑图像的图像数据输出至正交变换部14。

以这种方式，滤波部13将由残差数据指示的图像分离为其特性彼此不同的两个图像，并且将一个图像的图像数据作为分离数据输出至正交变换部14，并且将另一个图像的图像数据作为分离数据输出至量化部16。

正交变换部14对从滤波部13提供的分离数据应用诸如离散余弦变换或卡洛南-洛伊变换的正交变换，并且将其变换系数输出至量化部15。

量化部15对从正交变换部14(或滤波部13)提供的变换系数进行量化，并且将量化结果输出至熵编码部28和逆量化部31。注意，将变换系数的量化数据称为“变换量化数据”。

量化部16对从滤波部13作为变换跳过系数提供的分离数据执行量化，并且将所获取的变换跳过量化数据输出至熵编码部28和逆量化部33。

熵编码部28对从量化部15提供的变换量化数据和从量化部16提供的变换跳过量化数据执行熵编码处理，例如算术编码等。此外，熵编码部28获取用于由预测选择部47选择的预测模式的参数，例如诸如指示帧内预测模式的信息的参数，或诸如指示帧间预测模式的信息和运动矢量信息的参数。此外，熵编码部28从环路滤波器42获取与滤波处理有关的参数。熵编码部28对变换量化数据和变换跳过量化数据进行编码、对所获取的参数(语法要素)进行编码，并且使累积缓冲器29将(被复用的)编码结果作为头部信息的部分累积在其中。

累积缓冲器29将从熵编码部28提供的编码数据临时保留在其中，并且在预定定时将编码数据作为编码流例如输出至未描述的后续阶段中的记录装置、传输路径等。

速率控制部30基于累积在累积缓冲器29中的压缩图像来控制量化部15和16的量化操作的速率以便防止生成上溢或下溢。

逆量化部31使用与量化部15执行的量化对应的方法，对从量化部15提供的变换量化数据进行逆量化。逆量化部31将所获取的逆量化数据，即变换系数输出至逆正交变换部32。

逆正交变换部32使用与正交变换部14执行的正交变换处理对应的方法，对从逆量化部31提供的变换系数进行逆正交变换。逆正交变换部32将逆正交变换结果，即解码残差数据输出至计算部34。

逆量化部33使用与量化部16执行的量化对应的方法，对从量化部16提供的变换跳过量化数据进行逆量化。逆量化部33将所获取的逆量化数据，即残差数据输出至计算部34。

计算部34将从逆正交变换部32提供的残差数据和从逆量化部33提供的残差数据彼此相加，并且将相加结果作为解码残差数据输出至计算部41。

计算部41将通过预测选择部47从帧内预测部45或运动预测和补偿部46提供的预测图像数据与从计算部34提供的解码残差数据相加，以获取本地解码的解码图像数据。计算部41将解码图像数据输出至环路滤波器42。此外，计算部41将解码图像数据作为参考图像数据输出至帧存储器43。

环路滤波器42至少包括例如，去块滤波器、自适应偏移滤波器或自适应环路滤波器中的任一个。环路滤波器42对解码图像数据执行滤波处理并且将滤波处理之后的解码图像数据作为参考图像数据输出至帧存储器43。此外，环路滤波器42将与滤波处理有关的参数输出至熵编码部28。

在预定定时通过选择部44将累积在帧存储器43中的参考图像数据输出至帧内预测部45或运动预测和补偿部46。

帧内预测部45执行使用屏幕中的像素值来产生预测图像的帧内预测(屏幕内预测)。帧内预测部45使用由计算部41产生并作为参考图像数据存储在帧存储器43中的解码图像数据来针对所有帧内预测模式中的每一个生成预测图像数据。此外，帧内预测部45使用从屏幕排序缓冲器11提供的原始图像数据和预测图像数据执行每一种帧内预测模式的代价的计算等，并且选择所计算的代价变得最小的最优模式。帧内预测部45将所选择的帧内预测模式中的预测图像数据、诸如指示所选择的帧内预测模式的帧内预测模式信息的参数、代价等输出至预测选择部47。

对于要进行帧间编码的图像，运动预测和补偿部46使用从屏幕排序缓冲器11提供的原始图像数据和被滤波并然后被作为参考图像数据存储在帧存储器43中的解码图像数据执行运动预测。此外，运动预测和补偿部46根据通过运动预测检测出的运动矢量执行运动补偿处理以产生预测图像数据。

运动预测和补偿部46执行在作为候选的所有帧间预测模式中的帧间预测处理，通过针对所有帧内预测模式中的每一个产生预测图像数据来执行代价的计算等，并且选择所计算的代价变为最优的最优模式。运动预测和补偿部46将所选择的帧间预测模式的预测图像数据、诸如指示所选择的帧间预测模式的帧间预测模式信息、指示计算出的运动矢量的运动矢量信息的参数、代价等输出至预测选择部47。

预测选择部47基于帧内预测模式和帧间预测模式的代价来选择最优预测处理。在预测选择部47选择帧内预测处理的情况下，预测选择部47将从帧内预测部45提供的预测图像数据输出至计算部12和计算部41，并且将诸如帧内预测模式信息等的参数输出至熵编码部28。在预测选择部47选择帧间预测处理的情况下，预测选择部47将从运动预测和补偿部46提供的预测图像数据输出至计算部12和计算部41，并且将诸如帧间预测模式信息、运动矢量信息等的参数输出至熵编码部28。

<2-4-2.图像编码装置的操作>

接下来将描述图像编码装置的第四实施方式的操作。图11是例示图像编码装置的操作的流程图。此外，步骤ST61至步骤ST65和步骤ST66至步骤ST76对应于图2所示的第一实施方式的步骤ST1至步骤ST15。

在步骤ST61处，图像编码装置执行屏幕排序处理。图像编码装置10-4的屏幕排序缓冲器11将以显示顺序的帧图像排序为以编码顺序的帧图像，并且将这些输出至帧内预测部45和运动预测和补偿部46。

在步骤ST62处，图像编码装置执行帧内预测处理。图像编码装置10-4的帧内预测部45将以最优帧内预测模式产生的预测图像数据、参数和代价输出至预测选择部47。

在步骤ST63处，图像编码装置执行运动预测和补偿处理。图像编码装置10-4的运动预测和补偿部46将使用最优帧间预测模式产生的预测图像数据、参数和代价输出至预测选择部47。

在步骤ST64处，图像编码装置执行预测图像选择处理。图像编码装置10-4的预测选择部47基于在步骤ST62和步骤ST63处计算的代价将最优帧内预测模式和最优帧间预测模式之一确定为最优预测模式。预测选择部47接下来选择所确定的最优预测模式的预测图像数据，并且将所选择的预测图像数据输出至计算部12和41。

在步骤ST65处，图像编码装置执行差计算处理。图像编码装置10-4的计算部12计算在步骤ST61处排序的原始图像数据与在步骤ST64处选择的预测图像数据之间的差，并且将作为差分结果的残差数据输出至滤波部13。

在步骤ST66处，图像编码装置执行分量分离处理。图像编码装置10-4的滤波部13对从计算部12提供的残差数据执行分量分离处理，将第一分离数据输出至正交变换部14，并且将第二分离数据输出至量化部16。

在步骤ST67处，图像编码装置执行正交变换处理。图像编码装置10-4的正交变换部14对在步骤ST66处由分量分离处理获取的第一分离数据进行正交变换。更具体地，正交变换部14执行诸如离散余弦变换或卡洛南-洛伊变换的正交变换，并且将所获取的变换系数输出至量化部15。

在步骤ST68处，图像编码装置执行量化处理。图像编码装置10-4的量化部15对从正交变换部14提供的变换系数进行量化以产生变换量化数据。计算部15将所产生的变换量化数据输出至熵编码部28和逆量化部31。此外，量化部16将从滤波部13提供的第二分离数据量化为通过执行变换跳过处理而获取的变换跳过系数以产生变换跳过量化数据。量化部16将所产生的变换跳过量化数据输出至熵编码部28和逆量化部33。在该量化中，如稍后描述的步骤ST76处的处理中所述执行速率控制。

在步骤ST68处，图像编码装置执行量化处理。图像编码装置10-4的量化部15对从正交变换部14提供的变换系数进行量化以产生变换量化数据。计算部15将所产生的变换量化数据输出至熵编码部28和逆量化部31。此外，量化部16将从滤波部13提供的第二分离数据量化为通过执行变换跳过处理而获取的变换跳过系数以产生变换跳过量化数据。量化部16将所产生的变换跳过量化数据输出至熵编码部28和逆量化部33。在该量化中，如稍后描述的步骤ST76处的处理中所述执行速率控制。

以如下方式对如上所述产生的量化数据进行本地解码。换句话说，在步骤S69处，图像编码装置执行逆量化处理。图像编码装置10-4的逆量化部31使用与量化部15对应的特性对从量化部15输出的变换量化数据进行逆量化。此外，图像编码装置10-4的逆量化部33使用与量化部16对应的特性对从量化部16输出的变换跳过量化数据进行逆量化以获取残差数据。

在步骤ST70处，图像编码装置执行逆正交变换处理。图像编码装置10-4的逆正交变换部32使用与正交变换部14对应的特性对逆量化部31获取的逆量化数据(即变换系数)进行逆正交变换，以产生残差数据。

在步骤ST71处，图像编码装置执行图像相加处理。图像编码装置10-4的计算部34将通过在步骤ST69处由逆量化部33执行逆量化而获取的残差数据与通过在步骤ST70处由逆正交变换部32执行逆正交变换而获取的残差数据彼此相加。此外，计算部41将本地解码残差数据和在步骤ST65处选择的预测图像数据彼此相加以产生被本地解码的解码图像数据。

在步骤ST72处，图像编码装置执行环路滤波处理。图像编码装置10-4的环路滤波器42对计算部41产生的解码图像数据至少执行例如去块滤波处理、SAO处理或自适应环路滤波处理中的任一滤波处理，并且将滤波处理之后的解码图像数据输出至帧存储器43。

在步骤ST73处，图像编码装置执行存储处理。图像编码装置10-4的帧存储器43将在步骤ST72处的环路滤波处理之后的解码图像数据和环路滤波处理之前的解码图像数据作为参考图像数据存储在其中。

在步骤ST74处，图像编码装置执行熵编码处理。图像编码装置10-4的熵编码部28对分别从量化部15和25提供的变换量化数据和变换跳过量化数据、从环路滤波器42和预测选择部47提供的参数等进行编码。

在步骤ST75处，图像编码装置执行累积处理。图像编码装置10-4的累积缓冲器29将编码数据累积到其中。适当地读取在累积缓冲器29中累积的编码数据，并且通过传输路径等将其传送至解码侧。

在步骤ST76处，图像编码装置执行速率控制。图像编码装置10-4的速率控制部30对量化部15和25中的每一个的量化操作执行速率控制以便防止产生在累积缓冲器29中累积的编码数据的上溢或下溢。

根据上述第四实施方式，将残差数据划分为用于正交变换的频带和用于变换跳过的频带，并且同时执行正交变换系数的产生和变换跳过系数的产生。因此，即使在编码流中包括正交变换系数的量化数据和变换跳过系数的量化数据的情况下，也可以高速地执行编码处理。此外，当对滤波部进行的分量分离处理进行优化时，可以抑制在解码图像中产生振铃和条带中的任一个。

<3.关于图像解码装置>

<3-1.第一实施方式>

在图像解码装置的第一实施方式中，执行由上述图像编码装置产生的编码流的解码，并且同时获取变换系数的量化数据和变换跳过系数的量化数据。此外，图像处理装置同时执行对所获取的变换系数的逆量化、逆正交变换、以及对所获取的变换跳过系数的逆量化，以基于变换系数和变换跳过系数来产生图像数据，并且使用所产生的图像数据执行计算处理以产生解码图像数据。

<3-1-1.图像解码装置的配置>

图12例示了图像解码装置的第一实施方式的配置。由图像编码装置产生的编码流通过预定的传输路径、预定的记录介质等被提供给图像解码装置60-1以进行解码。

图像解码装置60-1包括累积缓冲器61、熵解码部62、逆量化部63和67、逆正交变换部65、计算部68、环路滤波器69和屏幕排序缓冲器70。此外，图像解码装置60-1包括帧存储器71、选择部72、帧内预测部73和运动补偿部74。

累积缓冲器61接收发送的编码流，例如由图1所示的图像编码装置产生的编码流，并且将编码流累积在其中。在预定定时读取编码流并且将其输出至熵解码部62。

熵解码部62对编码流进行熵解码，将诸如指示所获取的帧内预测模式的信息的参数输出至帧内预测部73，并且将诸如指示帧间预测模式的信息和运动矢量信息的参数输出至运动补偿部74。此外，熵解码部62将与滤波器有关的参数输出至环路滤波器69。此外，熵解码部62将变换量化数据和与变换量化数据有关的参数输出至逆量化部63，并且将差分量化数据和与差分量化数据有关的参数输出至逆量化部67。

逆量化部63使用与图1中的量化部15的量化方案对应的方案、使用解码参数对由熵解码部62解码的变换量化数据进行逆量化。逆量化部63将通过逆量化获取的变换系数输出至逆正交变换部65。

逆量化部67使用与图1所示的量化部16的量化方案对应的方案、使用解码参数对由熵解码部62解码的变换跳过量化数据进行逆量化。逆量化部67将作为通过逆量化而获取的变换跳过系数的解码残差数据输出至计算部68。

逆正交变换部65使用与图1中的正交变换部14的正交变换方案对应的方案执行逆正交变换以获取与图像编码装置中的正交变换之前的残差数据对应的解码残差数据，并且将解码残差数据输出至计算部68。

将预测图像数据从帧内预测部73或运动补偿部74提供至计算部68。计算部68将分别从逆正交变换部65和逆量化部67提供的解码残差数据和预测图像数据彼此相加，以获取与以下数据对应的解码图像数据：在图像编码装置的计算部12从其中减去预测图像数据之前的原始图像数据。计算部68将解码图像数据输出至环路滤波器69和帧存储器71。

环路滤波器69以与图像编码装置的环路滤波器42的方式类似的方式使用从熵解码部62提供的参数至少执行去块滤波器处理、SAO处理或自适应环路滤波处理中的任一个，并且将滤波处理结果输出至屏幕排序缓冲器70和帧存储器71。

屏幕排序缓冲器70执行图像的排序。换句话说，屏幕排序缓冲器70将由图像解码装置的屏幕排序缓冲器11针对编码顺序而排序的帧的顺序排序为原始显示顺序，以产生输出图像数据。

帧存储器71、选择部72、帧内预测部73和运动补偿部74分别对应于图像编码装置的帧存储器43、选择部44、帧内预测部45以及运动预测和补偿部46。

帧存储器71将从计算部68提供的解码图像数据和从环路滤波器69提供的解码图像数据作为参考图像数据存储在其中。

选择部72从帧存储器71中读取要在帧内预测中使用的参考图像数据并且将参考图像数据输出至帧内预测部73。此外，选择部72从帧存储器71中读取要在帧间预测中使用的参考图像数据，并且将参考图像数据输出至运动补偿部74。

从熵解码部62向帧内预测部73适当地提供通过对头部信息进行解码而获取的指示帧内预测模式的信息等。帧内预测部73基于上述信息根据从帧存储器71获取的参考图像数据产生预测图像数据，并且将预测图像数据输出至计算部68。

从熵解码部62向运动补偿部74提供通过对头部信息进行解码而获取的信息(例如，预测模式信息、运动矢量信息、参考帧信息、标志以及各种类型的参数)。运动补偿部74基于从熵解码部62提供的这些信息根据从帧存储器71获取的参考图像数据而产生预测图像数据，并且将预测图像数据输出至计算部68。

<3-1-2.图像解码装置的操作>

接下来将描述图像解码装置的第一实施方式的操作。图13是例示图像解码装置的操作的流程图。

当开始解码处理时，在步骤ST81处，图像解码装置执行累积处理。图像解码装置60-1的累积缓冲器61接收并且将编码流累积在其中。

在步骤ST82处，图像解码装置执行熵解码处理。图像解码装置60-1的熵解码部62从累积缓冲器61获取编码流并且对编码流执行解码处理以对通过由图像编码装置进行的熵编码处理而编码的I图片、P图片和B图片进行解码。此外，在对图片进行解码之前，熵解码部62还对运动矢量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)以及与用于环路滤波处理的参数有关的信息等进行解码。在预测模式信息是帧内预测模式信息的情况下，将预测模式信息输出至帧内预测部73。在预测模式信息是帧间预测模式信息的情况下，与预测模式信息对应的运动矢量信息等被输出至运动补偿部74。此外，与环路滤波处理有关的参数被输出至环路滤波器69。关于量化参数的信息被输出至逆量化部63和67。

在步骤ST83处，图像解码装置执行预测图像产生处理。图像解码装置60-1的帧内预测部73或运动补偿部74分别执行与从熵解码部62提供的预测模式信息对应的预测图像产生处理。

换句话说，在从熵解码部62提供帧内预测模式信息的情况下，帧内预测部73使用存储在帧存储器71中的参考图像数据来产生帧内预测模式的帧内预测图像数据。在从熵解码部62提供帧间预测模式信息的情况下，运动补偿部74使用存储在帧存储器71中的参考图像数据执行用于帧间预测模式的运动补偿处理，以产生帧间预测图像数据。通过该处理将帧内预测部73产生的帧内预测图像数据或运动补偿部74产生的帧间预测图像数据输出至计算部68。

在步骤ST84处，图像解码装置执行逆量化处理。图像解码装置60-1的逆量化部63使用与图像编码装置的量化处理对应的方案、使用解码参数对由熵解码部62获取的变换量化数据进行逆量化，并且将所获取的变换系数输出至逆正交变换部65。此外，逆量化部67使用与图像编码装置进行的量化处理对应的方案、使用解码参数对熵解码部62获取的变换跳过量化数据进行逆量化，并且将所获取的变换跳过系数，即解码残差数据输出至计算部68。

在步骤ST85处，图像解码装置执行逆正交变换处理。图像解码装置60-1的逆正交变换部65使用与图像编码装置进行的正交变换处理对应的方案对逆量化数据(即，从逆量化部63提供的变换系数)执行逆正交变换处理，以获取与图像编码装置中的正交变换之前的残差数据对应的解码残差数据，并且将该解码残差数据输出至计算部68。

在步骤ST86处，图像解码装置执行图像相加处理。图像解码装置60-1的计算部68将从帧内预测部73或运动补偿部74提供的预测图像数据、从逆正交变换部65提供的解码残差数据和从逆量化部67提供的残差数据彼此相加，以产生解码图像数据。计算部68将所产生的解码图像数据输出至环路滤波器69和帧存储器71。

在步骤ST87处，图像解码装置执行环路滤波处理。图像解码装置60-1的环路滤波器69以与图像编码装置的环路滤波处理的方式类似的方式，对从计算部68输出的解码图像数据至少执行去块滤波处理、SAO处理或自适应环路滤波处理中的任一个。环路滤波器69将滤波处理之后的解码图像数据输出至屏幕排序缓冲器70和帧存储器71。

在步骤ST88处，图像解码装置执行存储处理。图像解码装置60-1的帧存储器71将从计算部68提供的滤波处理之后的解码图像数据和由环路滤波器69解码的解码图像数据作为参考图像数据存储在其中。

在步骤ST89处，图像解码装置执行屏幕排序处理。图像解码装置60-1的屏幕排序缓冲器70累积从环路滤波器69提供的解码图像数据，将所累积的图像数据重构为以下图像数据：图像编码装置的屏幕排序缓冲器11进行排序之前的显示顺序的图像数据，并且将解码图像数据作为输出图像数据输出。

如上所述，在第一实施方式中，可以对包括例如变换系数和变换跳过系数的编码流执行解码处理，因此与对包括变换系数或变换跳过系数的编码流执行解码处理的情况相比，可以抑制解码图像的高图像质量的下降。

<3-2.第二实施方式>

在图像解码装置的第二实施方式中，对由上述图像编码装置产生的编码流执行解码，并且随后对变换系数的量化数据和变换跳过系数的量化数据执行逆量化处理。此外，对通过执行逆量化而获取的变换系数执行逆正交变换。此外，通过对变换跳过系数的量化数据执行逆量化而产生的图像数据或通过对变换系数执行逆正交变换而产生的图像数据之一被临时存储在缓冲器中，并且然后，所存储的图像数据与另一图像数据同步地使用以执行计算处理，从而产生解码图像数据。此外，第二实施方式例示了在变换跳过系数的量化数据的逆量化之后对变换系数的量化数据执行逆量化并且将通过对变换跳过系数的逆量化而产生的图像数据存储在缓冲器中的情况。此外，与第一实施方式的配置对应的配置被赋予相同的附图标记。

<3-2-1.图像解码装置的配置>

图14例示了图像解码装置的第二实施方式的配置。由上述图像编码装置产生的编码流通过预定的传输路径、预定的记录介质等被提供给图像解码装置60-2以进行解码。

图像解码装置60-2包括累积缓冲器61、熵解码部62、逆量化部63、选择部64、逆正交变换部65、滤波器66、计算部68、环路滤波器69和屏幕排序缓冲器70。此外，图像解码装置60-2包括帧存储器71、选择部72、帧内预测部73和运动补偿部74。

累积缓冲器61接收发送的编码流，例如由图3所示的图像编码装置所产生的编码流，并且将编码流累积在其中。在预定定时读取编码流并且将其输出至熵解码部62。

熵解码部62对编码流进行熵解码，将诸如指示所获取的帧内预测模式的信息的参数输出至帧内预测部73，并且将诸如指示帧间预测模式的信息和运动矢量信息的参数输出至运动补偿部74。此外，熵编码部62将与滤波器有关的参数输出至环路滤波器69。此外，熵解码部62将变换量化数据和与变换量化数据有关的参数输出至逆量化部63。

逆量化部63使用与图3中的量化部15的量化方案对应的方案、使用解码参数对由熵解码部62解码的变换量化数据进行逆量化。此外，逆量化部63使用与图3中的量化部25的量化方案对应的方案、使用解码参数对由熵解码部62解码的变换跳过量化数据进行逆量化。逆量化部63将通过逆量化而分别获取的变换系数和变换跳过系数输出至选择部64。

选择部64将通过逆量化而获取的变换系数输出至逆正交变换部65。此外，选择部64将变换跳过系数，即通过逆量化而获取的变换误差数据输出至缓冲器66。

逆正交变换部65使用与图3中的正交变换部14的正交变换方案对应的方案对变换系数执行逆正交变换，并且然后将所获取的残差数据输出至计算部68。

将预测图像数据从帧内预测部73或运动补偿部74提供至计算部68。此外，从逆正交变换部65向计算部68提供残差数据，并且从缓冲器66向计算部68提供变换误差数据。计算部68针对每个像素将残差数据、变换误差数据和预测图像数据彼此相加，以获取与以下数据对应的解码图像数据：在图像编码装置的计算部12从其中减去预测图像数据之前的原始图像数据。计算部68将解码图像数据输出至环路滤波器69和帧存储器71。

环路滤波器69以与图像编码装置的环路滤波器42类似的方式，使用从熵解码部62提供的参数至少执行去块滤波器处理、SAO处理或自适应环路滤波处理中的任一个，并且将滤波处理结果输出至屏幕排序缓冲器70和帧存储器71。

屏幕排序缓冲器70执行图像的排序。换句话说，屏幕排序缓冲器70将由图像解码装置的屏幕排序缓冲器11针对编码顺序而排序的帧的顺序排序为原始显示顺序，以产生输出图像数据。

帧存储器71、选择部72、帧内预测部73和运动补偿部74分别对应于图像编码装置的帧存储器43、选择部44、帧内预测部45以及运动预测和补偿部46。

帧存储器71将从计算部68提供的解码图像数据和从环路滤波器69提供的解码图像数据作为参考图像数据存储在其中。

选择部72从帧存储器71中读取要在帧内预测中使用的参考图像数据，并且将参考图像数据输出至帧内预测部73。此外，选择部72从帧存储器71中读取要在帧间预测中使用的参考图像数据，并且将参考图像数据输出至运动补偿部74。

从熵解码部62向帧内预测部73适当地提供通过对头部信息进行解码而获取的指示帧内预测模式的信息等。基于该信息，帧内预测部73根据从帧存储器71获取的参考图像数据来产生预测图像数据，并且将所生成的预测图像数据输出至计算部68。

从熵解码部62向运动补偿部74提供通过对头部信息进行解码而获取的信息(例如，预测模式信息、运动矢量信息、参考帧信息、标志以及各种类型的参数)。运动补偿部74基于从熵解码部62提供的这些信息根据从帧存储器71获取的参考图像数据而产生预测图像数据，并且将预测图像数据输出至计算部68。

<3-2-2.图像解码装置的操作>

接下来将描述图像解码装置的第二实施方式的操作。图15是例示图像解码装置的操作的流程图。

当开始解码处理时，在步骤ST91处，图像解码装置执行累积处理。图像解码装置60-2的累积缓冲器61接收并且将编码流累积在其中。

在步骤ST92处，图像解码装置执行熵解码处理。图像解码装置60-2的熵解码部62从累积缓冲器61获取编码流并且对编码流执行解码处理以对通过图像编码装置的熵编码处理而编码的I图片、P图片和B图片进行解码。此外，在对图片进行解码之前，熵解码部62还对运动矢量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)以及于用于环路滤波处理的参数有关的信息等进行解码。在预测模式信息是帧内预测模式信息的情况下，将预测模式信息输出至帧内预测部73。在预测模式信息是帧间预测模式信息的情况下，与预测模式信息对应的运动矢量信息等被输出至运动补偿部74。此外，与环路滤波处理有关的参数被输出至环路滤波器69。关于量化参数的信息被输出至逆量化部63。

在步骤ST93处，图像解码装置执行预测图像产生处理。图像解码装置60-2的帧内预测部73或运动补偿部74分别执行与从熵解码部62提供的预测模式信息对应的预测图像产生处理。

换句话说，在从熵解码部62提供帧内预测模式信息的情况下，帧内预测部73使用存储在帧存储器71中的参考图像数据来产生帧内预测模式的帧内预测图像数据。在从熵解码部62提供帧间预测模式信息的情况下，运动补偿部74使用存储在帧存储器71中的参考图像数据执行帧间预测模式的运动补偿处理以产生帧间预测图像数据。通过该处理将由帧内预测部73产生的预测图像数据或由运动补偿部74产生的预测图像数据输出至计算部68。

在步骤ST94处，图像解码装置执行逆量化处理。图像解码装置60-2的逆量化部63使用与图像编码装置的量化处理对应的方案、使用解码参数对由熵解码部62获取的变换量化数据进行逆量化，并且将所获取的变换系数输出至逆正交变换部65。此外，逆量化部67使用与图像编码装置的量化处理对应的方案、使用解码参数对由熵解码部62获取的变换跳过量化数据进行逆量化，并且将所获取的变换跳过系数，即解码变换误差数据输出至计算部68。

在步骤ST95处，图像解码装置执行逆正交变换处理。图像解码装置60-2的逆正交变换部65使用与图像编码装置的正交变换处理对应的方案对逆量化数据，即从逆量化部63提供的变换系数执行逆正交变换处理，以获取残差数据，并且将残差数据输出至计算部68。

在步骤ST96处，图像解码装置执行残差解码处理。图像解码装置60-2的计算部68针对每个像素将从逆正交变换部65提供的残差数据和从缓冲器66提供的变换误差数据彼此相加，以产生与图像编码装置中的正交变换之前的残差数据对应的解码残差数据。

在步骤ST97处，图像解码装置执行图像相加处理。图像解码装置60-2的计算部68将从帧内预测部73或运动补偿部74提供的预测图像数据和在步骤ST96处产生的解码残差数据彼此相加，以产生解码图像数据。计算部68将所产生的解码图像数据输出至环路滤波器69和帧存储器71。

在步骤ST98处，图像解码装置执行环路滤波处理。图像解码装置60-2的环路滤波器69以与图像编码装置的环路滤波处理类似的方式，对从计算部68输出的解码图像数据至少执行去块滤波处理、SAO处理或自适应环路滤波处理中的任一个。环路滤波器69将滤波处理之后的解码图像数据输出至屏幕排序缓冲器70和帧存储器71。

在步骤ST99处，图像解码装置执行存储处理。图像解码装置60-2的帧存储器71将从计算部68提供的滤波处理之后的解码图像数据和由环路滤波器69解码的解码图像数据作为参考图像数据存储在其中。

在步骤ST100处，图像解码装置执行屏幕排序处理。图像解码装置60-2的屏幕排序缓冲器70将从环路滤波器69提供的解码图像数据累积在其中，将所累积的解码图像数据重构为以下图像数据：图像编码装置的屏幕排序缓冲器11进行排序之前的显示顺序的图像数据，并且将解码图像数据作为输出图像数据输出。

此外，尽管未示出，但是在变换系数的量化数据的逆量化之后执行变换跳过系数的量化数据的逆量化的情况下，将由逆正交变换部65产生的图像数据临时存储在缓冲器中，并且然后，与通过对变换跳过系数执行逆量化而产生的图像数据同步地使用所存储的图像数据以执行计算处理，从而产生解码图像数据。

如上所述，在第二实施方式中，可以对包括变换系数和变换跳过系数的编码流执行解码处理，因此与对包括变换系数或变换跳过系数的编码流执行解码处理的情况相比，可以抑制解码图像的高图像质量的下降。此外，即使在不能同时获取变换系数的量化数据和变换跳过系数的量化数据、并且不能同时执行对所获取的变换系数的逆量化和逆正交变换以及对所获取的变换跳过系数的逆量化的情况下，也可以产生解码图像。

<4.图像处理装置的示例性操作>

接下来将描述图像处理装置的示例性操作。图16描绘了示例性操作。图16的(a)例示了原始图像数据，并且图16的(b)例示了预测图像数据。此外，图16的(c)描绘了残差数据。图17例示了原始图像和解码图像，图17的(a)是与图16的(a)所示的原始图像数据对应的原始图像。

当对通过使用正交变换对残差数据执行编码处理而产生的编码流执行解码处理时，可以获取图16的(d)中描绘的解码残差数据。通过将预测图像数据与该解码残差数据相加来获取图16的(e)中描绘的解码图像数据。注意，图17的(b)是与图16的(e)中描绘的解码图像数据对应的解码图像。

此外，当对通过使用变换跳过对残差数据执行编码处理而产生的编码流执行解码处理时，可以获取图16的(f)中描绘的解码残差数据。通过将预测图像数据与该解码残差数据相加来获取图16的(g)中描绘的解码图像数据。注意，图17的(c)是与图16的(g)中描绘的解码图像数据对应的解码图像。

关于上文，如图16的(e)和图17的(b)所描绘的，在编码流中包括的系数仅是变换系数的情况下，可以在解码中不能再现脉冲，并且生成蚊式噪声。此外，如图16的(g)和图17的(c)所描绘的，在编码流中包括的系数仅是变换跳过系数的情况下，可以在解码中再现脉冲，但不能准确地再现灰度。

相比之下，在本技术中，在编码流中包括变换系数和变换跳过系数。因此，当对编码流执行解码处理时，可以获取图16的(h)中所描绘的解码残差数据。通过将预测图像数据与该解码残差数据相加来获取图16的(i)中描绘的解码图像数据。此外，图17的(d)是与图16的(i)中描绘的解码图像数据对应的解码图像。如上所述，如图16的(i)和图17的(d)所描绘的，在编码流中包括变换系数和变换跳过系数的情况下，在解码中不生成蚊式噪声，并且可以再现脉冲和灰度。换句话说，与在编码流中包括变换系数或变换跳过系数之一的情况相比，通过将变换系数和变换跳过系数包括在编码流中能够获取具有高图像质量的解码图像。

此外，如从图16和图17清楚可见，在编码流中仅包括变换跳过系数的情况下，在解码图像中使低频分量的图像再现性下降。因此，例如，在将变换系数和变换跳过系数包括在编码流中的情况下，可以将变换系数的直流分量(仅DC分量)包括在编码流中，以防止在解码图像中低频分量的图像再现性的降低，并且减少编码量。

<5.关于与多种类型的系数的传送有关的语法>

因为在上述图像编码装置的第一至第四实施方式中将变换系数和变换跳过系数包括在编码流中，接下来将描述用于将变换系数和变换跳过系数包括在编码流中的语法。

图18和图19例示了与多种类型的系数的传送有关的语法。图18的(a)例示了在系数的传送中的第一示例的语法。注意，在第一示例中，针对第一系数用作变换跳过系数并且第二系数用作变换系数的直流分量(DC分量)的情况例示了语法。

“additional_dc_offset_flag[x0][y0][cIdx]”表示以下标志的添加：该标志指示这样的TU是否包括DC分量，在不包括DC分量的情况下将标志设定为“0”，并且在包括DC分量的情况下将标志设定为“1”。“additional_dc_offset_sign”表示DC分量的符号，并且“additional_dc_offset_level”表示DC分量的值。

图18的(b)例示了在系数的传送中的第二示例的语法。注意，在第二示例中，在要传送的第二系数具有TU大小的情况下例示了语法。

“additional_coeff_flag[x0][y0][cIdx]”表示以下标志的添加：该标志指示这样的TU是否包括第二系数，在不包括第二系数的情况下将标志设定为“0”，并且在包括第二系数的情况下将标志设定为“1”。“additional_last_sig_coeff_x_prefix，additional_last_sig_coeff_y_prefix，additional_last_sig_coeff_x_suffix，additional_last_sig_coeff_y_suffix”表示与第二系数有关的系数位置的前缀和后缀。

“additional_coded_sub_block_flag[xS][yS]”是指示在4×4单元子块中是否存在非零系数的标志。“additional_sig_coeff_flag[xC][yC]”是指示非零系数是否作为4×4单位子块中的每一个系数而存在的标志。

“additional_coeff_abs_level_greater1_flag[n]”是指示系数的绝对值是否等于或大于2的标志。“additional_coeff_abs_level_greater2_flag[n]”是指示系数的绝对值是否等于或大于3的标志。“additional_coeff_sign_flag[n]”是指示系数的正号或负号的标志。“additional_coeff_abs_level_remaining[n]”表示通过从系数的绝对值中减去标志所指示的值而获取的值。

图19的(a)例示了在系数的传送中的第三示例的语法。注意，在第三示例中，针对要传送的第二系数在低频带中具有4×4大小的情况例示了语法。

“additional_coeff_flag[x0][y0][cIdx]”表示以下标志的添加：该标志指示这样的TU是否包括第二系数，在不包括第二系数的情况下将标志设定为“0”，并且在包括第二系数的情况下将标志设定为“1”。

“additional_last_sig_coeff_x_prefix，additional_last_sig_coeff_y_prefix”表示与第二系数有关的系数位置的前缀。“additional_sig_coeff_flag[xC][yC]”是指示非零系数是否作为4×4单位子块中的每一个系数而存在的标志。

“additional_coeff_abs_level_greater1_flag[n]”是指示系数的绝对值是否等于或大于2的标志。“additional_coeff_abs_level_greater2_flag[n]”是指示系数的绝对值是否等于或大于3的标志。“additional_coeff_sign_flag[n]”是指示系数的正号或负号的标志。“additional_coeff_abs_level_remaining[n]”表示通过从系数的绝对值中减去标志所指示的值而获取的值。

图19的(b)例示了系数的传送中的第四示例的语法。注意，在第四示例中，在第一至第三示例中的任一个是可选的情况下例示了语法。

“additional_coeff_mode[x0][y0][cIdx]”表示以下标志的添加：该标志指示这样的TU是否包括第二系数并且还指示传送模式，在不包括第二系数的情况下将标志设定为“0”，在要传送的第二系数是DC分量的情况下将标志设定为“1”，在针对第二系数仅传送低频带中的4×4大小的系数的情况下将标志设定为“2”，并且在要传送的第二系数具有TU大小的情况下将标志设定为“3”。

“additional_last_sig_coeff_x_prefix，additional_last_sig_coeff_y_prefix，additional_last_sig_coeff_x_suffix，additional_last_sig_coeff_y_suffix”表示与第二系数有关的系数位置的前缀和后缀。

“additional_coded_sub_block_flag[xS][yS]”是指示在4×4单元子块中是否存在非零系数的标志。“additional_sig_coeff_flag[xC][yC]”是指示非零系数是否作为4×4单位子块中的每一个系数而存在的标志。

“additional_coeff_abs_level_greater1_flag[n]”是指示系数的绝对值是否等于或大于2的标志。“additional_coeff_abs_level_greater2_flag[n]”是指示系数的绝对值是否等于或大于3的标志。“additional_coeff_sign_flag[n]”是指示系数的正号或负号的标志。“additional_coeff_abs_level_remaining[n]”表示通过从系数的绝对值中减去标志所指示的值而获取的值。“additional_dc_offset_sign”表示DC分量的符号，并且“additional_dc_offset_level”表示DC分量的值。

图像编码装置可以通过使用这些语法将第二系数包括在编码流中，并且与传送变换系数或变换跳过系数中的任何一个的情况相比，图像解码装置可以通过基于语法使用第二系数执行解码处理来抑制解码图像的图像质量下降。

<6.关于传送多个类型的系数的情况下的量化参数>

同时，在图像编码装置中，根据量化参数(QP)执行量化步骤的设置，并且随着量化参数的增大，步长也增大。关于这一点，在如上述实施方式中对多种类型的系数进行量化以包括在编码流中的情况下，可以针对每种类型设定量化参数，不限于针对系数的类型使用均等量化参数的情况。在例如对系数中的任何一个设置重要性而产生编码流的情况下，通过减小具有重要性的系数的量化参数的值来减小量化步骤的步长，并且具有重要性的系数的数据量增大。以这种方式，当针对每种类型设定量化参数时，能够进行具有高自由度的编码处理，并且与使用均等量化参数的情况相比，能够使解码图像具有高图像质量。

图20例示了在使用多个量化参数的情况下的语法。在使用例如，HEVC的语法的情况下，将图20的(a)所示的“cu_qp_delta_additional_enabled_flag”布置在“Pic_parameter_set_rbsp”中。该语法是指示是否使用第二量化参数的标志。

此外，图20的(b)所示的“cu_qp_delta_additional_abs”和“cu_qp_delta_additional_sign_flag”被布置在“transform_unit”中。“cu_qp_delta_additional_abs”表示第一量化参数与第二量化参数之间的差的绝对值，并且“cu_qp_delta_additional_sign_flag”表示第一量化参数与第二量化参数之间的差的正号或负号。在例如第一量化参数被设定为用于变换跳过的系数的量化参数的情况下，第二量化参数被设定为在将正交变换的变换系数附加地包括在编码流中的情况下用于正交变换的系数的量化参数。此外，在第一量化参数被设定为用于正交变换的变换系数的量化参数的情况下，第二量化参数被设定为在附加地传送变换跳过系数的情况下用于变换跳过系数的量化参数。

即使当将多个类型的系数包括在编码流中时单独设定量化参数时，也可以通过使用这些语法来执行与编码处理对应的解码处理。

此外，虽然在上述实施方式中已经描述在编码流中包括通过执行正交变换而获取的变换系数和通过对要跳过的正交变换执行变换跳过处理而获取的变换跳过系数的情况，但是多种类型的系数不限于正交变换的变换系数和变换跳过系数，可以使用其他变换系数，并且还可以包括其他系数。

<7.应用示例>

接下来将描述本技术的图像处理装置的应用示例。

(第一应用示例：电视接收器)

图21描绘了应用上述图像处理装置的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、声音信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。

调谐器902从通过天线901由此接收的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。调谐器902接下来将通过解调而获取的编码比特流输出至解复用器903。换句话说，调谐器902充当接收编码流的电视装置900中的传送装置，该编码流使图像被编码。

解复用器903从编码比特流中分离要观看的节目的视频流和声音流，并且将分离出的流输出至解码器904。此外，解复用器903从编码比特流中提取诸如EPG(电子节目指南)的辅助数据等，并且将所提取的数据输出至控制部910。注意，在编码比特流被加扰的情况下，解复用器903可以执行解扰。

解码器904对从解复用器903向其输入的视频流和声音流进行解码。解码器904接下来将由解码处理产生的视频数据输出至视频信号处理部905。此外，解码器904将通过解码处理产生的声音数据输出至声音信号处理部907。

视频信号处理部905再现从解码器904输入的视频数据并且使显示部906在其上显示视频图像。此外，视频信号处理部905可以使显示部906在其上显示通过网络向其提供的应用屏幕。此外，对于视频数据，视频信号处理部905可以根据该设置执行附加处理，例如，去噪(抑制)。此外，视频信号处理部905可以产生诸如菜单、按钮或光标的GUI(图形用户界面)的图像，并且可以将所产生的图像叠加在输出图像上。

显示部906由从视频信号处理部905提供的驱动信号驱动并且在显示装置(例如，液晶显示器、等离子显示器或OELD(有机电致发光显示器)(有机EL显示器)等)的视频图像平面上显示视频图像或图像。

声音信号处理部907对从解码器904输入的声音数据执行诸如D/A转换和放大的再现处理，并且使扬声器908输出声音。此外，声音信号处理部907可以对声音数据执行诸如噪声去除(抑制)的附加处理。

外部接口909是用于将电视装置900与外部装置或网络彼此连接的接口。例如，通过外部接口909接收的视频流或音频流可以由解码器904解码。换句话说，外部接口909还充当接收使图像编码的编码流的电视装置900中的传送装置。

控制部910包括处理器(例如CPU)和存储器(例如RAM和ROM)。存储器将由CPU要执行的程序、程序数据、EPG数据、通过网络获取的数据等存储在其中。例如当电视装置900被启动时由存储器存储的程序被CPU读取，并且由此被执行。CPU执行程序并且从而根据例如从用户接口911向其输入的操作信号来控制电视装置900的操作。

用户接口911连接至控制部910。用户接口911例如包括用于用户操作电视装置900的按钮和开关、用于遥控信号的接收部等。用户接口911通过这些组成元件检测用户的操作以产生操作信号，并且将所产生的操作信号输出至控制部910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、声音信号处理部907、外部接口909和控制部910彼此相互连接。

在如上配置的电视装置900中，解码器904具有上述图像解码装置的功能。由此，当电视装置900对图像进行解码时，可以显示图像质量下降被抑制的解码图像。

(第二应用示例：移动电话)

图22例示了应用上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信部922、声音编解码器923、扬声器924、麦克风925、摄像装置部926、图像处理部927、复用和分离部928、记录和再现部929、显示部930、控制部931、操作部932和总线933。

天线921连接至通信部922。扬声器924和麦克风925连接至声音编解码器923。操作部932连接至控制部931。总线933相互地将通信部922、声音编解码器923、摄像装置部926、图像处理部927、复用和分离部928、记录和再现部929、显示部930和控制部931彼此连接。

移动电话920以包括声音语音模式、数据通信模式、拍摄模式和电视电话模式的各种操作模式执行诸如声音信号的发送和接收、电子邮件或图像数据的发送和接收、图像的捕获以及数据的记录的操作。

在声音语音模式下，通过麦克风925产生的模拟声音信号被输出至声音编解码器923。声音编解码器923将模拟声音信号转换成声音数据，并且对经转换的声音数据进行A/D转换和压缩。声音编解码器923接下来将压缩之后的声音数据输出至通信部922。通信部922对声音数据进行编码和调制以产生传送信号。通信部922接下来通过天线921将所产生的传送信号传送至基站(未示出)。此外，通信部922对通过天线921接收的无线信号进行放大和频率转换以获取接收信号。通信部922接下来对接收信号进行解调和解码以产生声音数据，并且将所产生的声音数据输出至声音编解码器923。声音编解码器923对声音数据进行扩展和D/A转换以产生模拟声音信号。声音编解码器923接下来将所产生的声音信号提供至扬声器924并且使扬声器924输出声音。

此外，在数据通信模式下，例如，控制部931根据用户通过操作部932进行的操作来产生构成电子邮件的字符数据。此外，控制部931使显示部930在其上显示字符。此外，控制部931根据通过操作部932来自用户的传送指示来产生电子邮件数据，并且将所产生的电子邮件数据输出至通信部922。通信部922对电子邮件数据进行编码和调制以产生传送信号。通信部922接下来通过天线921将所产生的传送信号传送至基站(未示出)。此外，通信部922对通过天线921接收的无线信号进行放大和频率转换以获取接收信号。通信部922接下来对接收信号进行解调和解码以恢复电子邮件数据，并且将所恢复的电子邮件数据输出至控制部931。控制部931使显示部930在其上显示电子邮件的内容，并且使记录和再现部929的存储介质将电子邮件数据存储在其中。

记录和再现部929包括可选的可读且可写的存储介质。例如，存储介质可以是内置存储介质，例如RAM或闪速存储器，或者可以是外部附接的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或存储卡。

此外，在拍摄模式下，例如，摄像装置部926对对象进行成像以产生图像数据，并且将所产生的图像数据输出至图像处理部927。图像处理部927对从摄像装置部926输入的图像数据进行编码，并且使记录和再现部929的存储介质将编码流存储在其中。

此外，在电视电话模式下，例如，复用和分离部928对由图像处理部927编码的视频流和从声音编解码器823向其输入的声音流彼此进行复用，并且将复用的流输出至通信部922。通信部922对该流进行编码和调制以产生传送信号。通信部922接下来通过天线921将所产生的传送信号传送至基站(未示出)。此外，通信部922对通过天线921由此接收的无线信号进行放大和频率转换以获取接收信号。传送信号和接收信号可以各自包括编码流。通信部922接下来对接收信号进行解调和解码以恢复流，并且将经恢复的流输出至复用和分离部928。复用和分离部928从输入流中分离视频流和声音流，并且将视频流输出至图像处理部927以及将声音流输出至声音编解码器923。图像处理部927对视频流进行解码以产生视频数据。视频数据被提供至显示部930并且由显示部930显示一系列图像。声音编解码器923对声音流进行扩展和D/A转换以产生模拟声音信号。声音编解码器923接下来将所产生的声音信号提供至扬声器924，并且使扬声器924输出声音。

在如上配置的移动电话920中，图像处理部927具有上述图像编码装置和上述图像解码装置的功能。由此，在由移动电话920进行图像的编码和解码时，能够提高编码效率并且输出图像质量下降被抑制的解码图像。

(第三应用示例：记录和再现装置)

图23描绘了应用上述实施方式的记录和再现装置的示意性配置的示例。记录和再现装置940例如对接收到的广播节目的声音数据和视频数据进行编码，并且将编码结果记录在记录介质上。此外，记录和再现装置940还可以对例如从另一装置获取的声音数据和视频数据进行编码，并且可以将编码结果记录在记录介质上。此外，记录和再现装置940根据例如用户的指令在监视器和扬声器上再现记录在记录介质上的数据。此时，记录和再现装置940对声音数据和视频数据进行解码。

记录和再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、磁盘驱动器945、选择器946、解码器947、OSD(屏上显示)948、控制部949以及用户接口部950。

调谐器941从通过天线(未示出)接收的广播信号提取期望频道的信号以及对所提取的信号进行解调。调谐器941接下来将通过解调而获取的编码比特流输出至选择器946。换句话说，调谐器941充当记录和再现装置940中的传送装置。

外部接口942是用于将记录和再现装置940和外部装置或网络彼此连接的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口、闪速存储器接口等。例如，通过外部接口942接收的视频数据和声音数据被输入到编码器943中。换句话说，外部接口942充当记录和再现装置940中的传送装置。

在从外部接口942输入的视频数据和声音数据未被编码的情况下，编码器943对视频数据和声音数据进行编码。编码器943接下来将编码比特流输出至选择器946。

HDD 944在其中包括的硬盘上记录通过压缩内容数据(诸如视频图像和声音)、各种类型的程序以及其他数据而形成的编码比特流。此外，当再现视频图像和声音时，HDD944从硬盘读取这些数据。

盘驱动器945将数据记录在附接至其的记录介质中并且从附接至其的记录介质读取数据。附接至盘驱动器945的记录介质可以是例如DVD盘(例如，DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)、蓝光(注册商标)盘等。

当视频图像和声音被记录时，选择器946选择从调谐器941或编码器943输入的编码比特流，以及将所选择的编码比特流输出至HDD 944或盘驱动器945。此外，当视频图像和声音被再现时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出至解码器947。

解码器947对编码比特流进行解码以产生视频数据和声音数据。解码器947接下来将所产生的视频数据输出至OSD 948。此外，解码器904将所产生的声音数据输出至外部扬声器。

OSD 948再现从解码器947输入的视频数据，并且在其上显示视频图像。此外，OSD948可以例如将诸如菜单、按钮或光标的GUI的图像叠加在要在其上显示的视频图像上。

控制部949包括处理器(例如CPU)和存储器(例如RAM和ROM)。存储器将要由CPU执行的程序、程序数据等存储在其中。例如当记录和再现装置940被启动时由存储器存储的程序被CPU读取，并且由此被执行。CPU执行程序并且从而例如根据从用户接口950输入的操作信号来控制记录和再现装置940的操作。

用户接口950连接至控制部949。用户接口950包括用于用户操作记录和再现装置940的按钮和开关以及用于遥控信号的接收部。用户接口950通过这些组成元件检测用户的操作以产生操作信号，并且将所产生的操作信号输出至控制部949。

在如上配置的记录和再现装置940中，解码器943具有上述图像编码装置的功能。此外，解码器947具有上述图像解码装置的功能。从而，在由记录和再现装置940进行图像的编码和解码时，可以提高编码效率并且可以再现图像质量下降被抑制的解码图像。

(第四应用示例：成像装置)

图24描绘了应用上述实施方式的成像装置的示意性配置的示例。成像装置960对对象进行成像以产生图像，对图像数据进行编码，并且将编码图像数据记录在记录介质中。

成像装置960包括光学块961、成像部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD 969、控制部970、用户接口971和总线972。

光学块961连接至成像部962。成像部962连接至信号处理部963。显示部965连接至图像处理部964。用户接口971连接至控制部970。总线972相互地将图像处理部964、外部接口966、存储器967、媒体驱动器968、OSD 969和控制部970彼此连接。

光学块961包括聚焦透镜、光阑机构等。光学块961将对象的光学图像设置在成像部962的成像平面上。成像部962包括图像传感器例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)，并且通过光电转换将在成像平面上设置的光学图像转换成作为电信号的图像信号。成像部962接下来将图像信号输出至信号处理部963。

信号处理部963对从成像部962输入的图像信号执行各种类型的摄像装置信号处理，例如拐点校正、伽马校正和颜色校正。信号处理部963将摄像装置信号处理之后的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码以产生编码数据。图像处理部964接下来将所产生的编码数据输出至外部接口966或介质驱动器968。此外，图像处理部964对从外部接口966或介质驱动器968输入的编码数据进行解码以产生图像数据。图像处理部964接下来将所产生的图像数据输出至显示部965。此外，图像处理部964可以将从信号处理部963输入的图像数据输出至显示部965以使显示部965在其上显示图像。此外，图像处理部964可以将从OSD 969获取的要显示的数据叠加在要输出至显示部965的图像上。

OSD 969产生诸如菜单、按钮或光标的GUI的图像，并且将所产生的图像输出至图像处理部964。

外部接口966被构造为例如USB输入端子。例如，在打印图像时外部接口966将成像装置960与打印机彼此连接。此外，必要时将驱动器连接至外部接口966。例如，诸如磁盘或光盘的可移除介质可以附接至驱动器，并且从可移除介质读取的程序可以被安装在成像装置960中。此外，外部接口966可以被构造为连接至诸如LAN或因特网的网络的网络接口。换句话说，外部接口966充当成像装置960中的传送装置。

要附接至介质驱动器968的记录介质可以是例如可选的可读和可写的可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以以固定方式附接至介质驱动器968，并且由此可以构造非便携式存储部，例如内置硬盘驱动器或SSD(固态驱动器)。

控制部970包括处理器(例如CPU)和存储器(例如RAM和ROM)。存储器将要由CPU执行的程序、程序数据等存储在其中。当成像装置960被启动时由存储器存储的程序被CPU读取并且由此被执行。CPU执行程序并且从而根据例如从用户接口971输入的操作信号来控制成像装置960的操作。

用户接口971连接至控制部970。用户接口971例如包括用于用户操作成像装置960的按钮、开关等。用户接口971通过这些组成元件检测用户的操作以产生操作信号，并且将所产生的操作信号输出至控制部970。

在如上所述配置的成像装置960中，图像处理部964具有根据上述实施方式的图像编码装置和图像解码装置的功能。由此，在由成像装置960进行图像的编码和解码时，能够提高编码效率并且输出图像质量下降被抑制的解码图像。

本文中描述的一系列处理可以通过硬件、软件或这些的组合配置来执行。在执行通过软件进行的处理的情况下，将其中记录有处理序列的程序安装在包含在专用硬件中的计算机中的存储器中，并且使计算机执行该程序。替选地，程序可以被安装在能够执行各种类型的处理的通用计算机中并且使计算机执行该程序。

例如，该程序可以预先记录在分别作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)上。替选地，该程序可以被临时地或永久地存储(记录)在可移除记录介质，例如软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、BD(蓝光盘(注册商标))、磁盘或半导体存储卡中。可移除记录介质可以作为所谓的封装软件来提供。

此外，除了将程序从可移除记录介质安装到计算机之外，还可以通过诸如LAN(局域网)或互联网的网络无线或有线地将程序从下载站点传送至计算机。计算机可以接收如上所述传送的程序并且可以将该程序安装到诸如内置硬盘等的记录介质中。

注意，本文描述的效果仅是示例性的并且不限于此，并且可以实现未描述的任何附加的效果。此外，本技术不应被理解为限于本技术的上述实施方式。本技术的实施方式以范例的形式公开了本技术，并且明显的是，本领域的技术人员可以在不背离本技术的主旨的范围内对实施方式进行修改和替换。换句话说，在理解本技术的主旨时应当考虑权利要求。

此外，本技术的图像处理装置还可以采用以下配置。

(1)一种图像处理装置，包括：

量化部，其针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化，以产生量化数据；以及

编码部，其对由所述量化部产生的多种类型中的每一种的量化数据进行编码，以产生编码流。

(2)根据(1)所述的图像处理装置，其中，

所述多种类型的系数包括通过执行正交变换而获得的变换系数和通过执行变换跳过处理而获得的变换跳过系数，其中所述变换跳过处理跳过所述正交变换。

(3)根据(2)所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述正交变换而获得的变换系数的量化数据，以及

通过对所述图像数据执行所述变换跳过处理而获得的变换跳过系数的量化数据。

(4)根据(3)所述的图像处理装置，其中，

所述变换系数的量化数据指示所述变换系数的直流分量。

(5)根据(3)所述的图像处理装置，还包括：

滤波部，其对所述图像数据执行分量分离处理，其中，

所述编码部对以下量化数据进行编码：

通过对第一分离数据执行所述正交变换而获得的变换系数的量化数据，所述第一分离数据是通过所述滤波部进行的分量分离处理而获得的，以及

通过对与所述第一分离数据不同的第二分离数据执行所述变换跳过处理而获得的变换跳过系数的量化数据，所述第二分离数据是通过所述滤波部进行的分量分离处理而获得的。

(6)根据(5)所述的图像处理装置，其中，

所述滤波部在频域中执行分量分离处理，以产生所述第一分离数据和包括比所述第一分离数据更高的频率分量的所述第二分离数据。

(7)根据(5)所述的图像处理装置，其中，

所述滤波部在空间域中执行分量分离处理，以通过计算处理产生所述第一分离数据和所述第二分离数据，所述计算处理使用平滑处理和纹理分量提取处理，或者使用所述平滑处理或纹理分量提取处理以及处理结果。

(8)根据(7)所述的图像处理装置，其中，

所述滤波部通过所述平滑处理或通过使用所述纹理分量提取处理的处理结果和所述图像数据的计算处理来产生所述第一分离数据，并且通过所述纹理分量提取处理或通过使用所述平滑处理的处理结果和所述图像数据的计算处理来产生所述第二分离数据。

(9)根据(2)所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述正交变换而获得的变换系数的量化数据，以及

通过对解码数据与所述图像数据之间的差执行所述变换跳过处理而获得的变换跳过系数的量化数据，所述解码数据是通过对所述变换系数执行量化、逆量化和逆正交变换而获得的。

(10)根据(2)所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述变换跳过处理而获得的变换跳过系数的量化数据，以及

通过对解码数据与所述图像数据之间的差执行所述正交变换而获得的变换系数的量化数据，所述解码数据是通过对所述变换跳过系数执行量化和逆量化而获得的。

(11)根据(1)至(10)中任一项所述的图像处理装置，其中，

所述量化部基于针对系数的每种类型设定的量化参数来执行所述系数的量化，以及

所述编码部对指示针对系数的每种类型设定的量化参数的信息进行编码，并且将编码的信息包括在所述编码流中。

(12)根据(1)至(11)中任一项所述的图像处理装置，其中，

所述图像数据包括残差数据，所述残差数据指示要编码的图像数据与预测的图像数据之间的差。

此外，本技术的图像处理装置还可以采用以下配置。

(1)一种图像处理装置，包括：

解码部，对编码流执行解码，以针对每种类型获得多种类型的系数的量化数据；

逆量化部，其对由所述解码部获得的量化数据执行逆量化，以产生每种类型的系数；

逆变换部，其根据由所述逆量化部获得的系数针对系数的每种类型产生图像数据；以及

计算部，其执行计算处理以产生解码的图像数据，所述计算处理使用由所述逆变换部获得的系数的每种类型的图像数据。

(2)根据(1)所述的图像处理装置，其中，

所述解码部对所述编码流执行解码，以针对每种类型获得指示所述多种类型的系数的量化参数的信息，以及

所述逆量化部使用与系数的每种类型的对应量化参数有关的信息来执行对应量化数据的逆量化。

(3)根据(1)或(2)所述的图像处理装置，其中，

所述计算部结合每个像素位置针对由所述逆变换部获得的系数的每种类型将图像数据和预测的图像数据彼此相加，以产生解码的图像数据。

工业适用性

根据本技术的图像处理装置、图像处理方法和程序，针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化，以产生量化数据，并且对多种类型中的每一种的量化数据进行编码，以产生编码流。此外，对编码流执行解码，以获取多种类型的系数的每种类型的量化数据，并且针对所获取的量化数据执行逆量化，以产生每种类型的系数。此外，根据所产生的系数针对系数的每种类型产生图像数据，以通过计算处理来产生解码的图像数据，该计算处理使用系数的每种类型的图像数据。因此，可以抑制解码图像的图像质量的下降。因此，本技术适用于对图像数据执行编码处理或解码处理的电子设备。

附图标记列表

10-1，10-2，10-3，10-4……图像编码装置

11，70……屏幕排序缓冲器

12，19，24，34，36，39，41，68，137……计算部

13……滤波部

14，26，131……正交变换部

15，16，17，25，27……量化部

17，18，22，31，33，35，37，63，67……逆量化部

23，32，38，65，133，134……逆正交变换部

28……熵编码部

29，61……累积缓冲器

30……速率控制部

42，69……环路滤波器

43，71……帧存储器

44，64，72……选择部

45，73……帧内预测部

46……运动预测和补偿部

47……预测选择部

60-1，60-1……图像解码装置

62……熵解码部

66……缓冲器

74……运动补偿部

132……频率分离部

135，136……空间滤波器

权利要求书(按照条约第19条的修改)

1.一种图像处理装置，包括：

量化部，其针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化，以产生量化数据；以及

编码部，其对由所述量化部产生的多种类型中的每一种的量化数据进行编码，以产生编码流，

其中，所述多种类型的系数包括通过执行正交变换而获得的变换系数和通过执行变换跳过处理而获得的变换跳过系数，其中所述变换跳过处理跳过所述正交变换。

2.根据权利要求1所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述正交变换而获得的变换系数的量化数据，以及

通过对所述图像数据执行所述变换跳过处理而获得的变换跳过系数的量化数据。

3.根据权利要求2所述的图像处理装置，其中，

所述变换系数的量化数据指示所述变换系数的直流分量。

4.根据权利要求2所述的图像处理装置，还包括：

滤波部，其对所述图像数据执行分量分离处理，其中，

所述编码部对以下量化数据进行编码：

通过对第一分离数据执行所述正交变换而获得的变换系数的量化数据，所述第一分离数据是通过所述滤波部进行的分量分离处理而获得的，以及

通过对与所述第一分离数据不同的第二分离数据执行所述变换跳过处理而获得的变换跳过系数的量化数据，所述第二分离数据是通过所述滤波部进行的分量分离处理而获得的。

5.根据权利要求4所述的图像处理装置，其中，

所述滤波部在频域中执行分量分离处理，以产生所述第一分离数据和包括比所述第一分离数据更高的频率分量的所述第二分离数据。

6.根据权利要求4所述的图像处理装置，其中，

所述滤波部在空间域中执行分量分离处理，以通过计算处理产生所述第一分离数据和所述第二分离数据，所述计算处理使用平滑处理和纹理分量提取处理，或者使用所述平滑处理或纹理分量提取处理以及处理结果。

7.根据权利要求6所述的图像处理装置，其中，

所述滤波部通过所述平滑处理或通过使用所述纹理分量提取处理的处理结果和所述图像数据的计算处理来产生所述第一分离数据，并且通过所述纹理分量提取处理或通过使用所述平滑处理的处理结果和所述图像数据的计算处理来产生所述第二分离数据。

8.根据权利要求1所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述正交变换而获得的变换系数的量化数据，以及

通过对解码数据与所述图像数据之间的差执行所述变换跳过处理而获得的变换跳过系数的量化数据，所述解码数据是通过对所述变换系数执行量化、逆量化和逆正交变换而获得的。

9.根据权利要求1所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述变换跳过处理而获得的变换跳过系数的量化数据，以及

通过对解码数据与所述图像数据之间的差执行所述正交变换而获得的变换系数的量化数据，所述解码数据是通过对所述变换跳过系数执行量化和逆量化而获得的。

10.根据权利要求1所述的图像处理装置，其中，

所述量化部基于针对所述系数的每种类型设定的量化参数来执行所述系数的量化，以及

所述编码部对指示针对所述系数的每种类型设定的量化参数的信息进行编码，并且将编码的信息包括在所述编码流中。

11.根据权利要求1所述的图像处理装置，其中，

所述图像数据包括残差数据，所述残差数据指示要编码的图像数据与预测的图像数据之间的差。

12.一种图像处理方法，包括以下步骤：

使用通过执行正交变换而获得的变换系数以及通过执行跳过所述正交变换的变换跳过处理而获得的变换跳过系数作为由各个变换处理块根据图像数据产生的多种类型的系数，来针对每种类型对系数进行量化，从而产生量化数据；以及

通过对由所述量化部产生的多种类型中的每一种的量化数据进行编码来产生编码流。

13.一种使计算机执行图像编码处理的程序，所述程序使所述计算机执行：

使用通过执行正交变换而获得的变换系数以及通过执行跳过所述正交变换的变换跳过处理而获得的变换跳过系数作为由各个变换处理块根据图像数据产生的多种类型的系数，来针对每种类型对系数进行量化，从而产生量化数据的过程；以及

对产生的所述多种类型中的每一种的量化数据进行编码以产生编码流的过程。

14.一种图像处理装置，包括：

解码部，其对编码流执行解码，并且获得通过以下方式而产生的量化数据：使用通过执行正交变换而获得的变换系数以及通过执行跳过所述正交变换的变换跳过处理而获得的变换跳过系数作为多种类型的系数，针对每种类型对系数进行量化；

逆量化部，其对由所述解码部获得的量化数据执行逆量化，以产生每种类型的系数；

逆变换部，其根据由所述逆量化部获得的系数针对所述系数的每种类型产生图像数据；以及

计算部，其执行计算处理以产生解码的图像数据，所述计算处理使用由所述逆变换部获得的所述系数的每种类型的图像数据。

15.根据权利要求14所述的图像处理装置，其中，

所述解码部对所述编码流执行解码，以针对每种类型获得指示所述多种类型的系数的量化参数的信息，以及

所述逆量化部使用与所述系数的每种类型的对应量化参数有关的信息来执行对应量化数据的逆量化。

16.根据权利要求14所述的图像处理装置，其中，

所述计算部结合每个像素位置针对由所述逆变换部获得的所述系数的每种类型将图像数据和预测的图像数据彼此相加，以产生解码的图像数据。

17.一种图像处理方法，包括以下步骤：

对编码流执行解码，并且获得通过以下方式而产生的量化数据：使用通过执行正交变换而获得的变换系数以及通过执行跳过所述正交变换的变换跳过处理而获得的变换跳过系数作为多种类型的系数，针对每种类型对系数进行量化；

对获得的量化数据执行逆量化，以产生每种类型的系数；

根据产生的系数针对所述系数的每种类型产生图像数据；以及

执行计算处理以产生解码的图像数据，所述计算处理使用所述系数的每种类型的图像数据。

18.一种使计算机执行图像解码处理的程序，所述程序使计算机执行：

对编码流执行解码，并且获得通过以下方式而产生的量化数据的过程：使用通过执行正交变换而获得的变换系数以及通过执行跳过所述正交变换的变换跳过处理而获得的变换跳过系数作为多种类型的系数，针对每种类型对系数进行量化；

对获得的量化数据执行逆量化以产生每种类型的系数的过程；

根据产生的系数针对所述系数的每种类型产生图像数据的过程；以及

执行计算处理以产生解码的图像数据的过程，所述计算处理使用所述系数的每种类型的图像数据。

Claims (19)

1.一种图像处理装置，包括：

量化部，其针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化，以产生量化数据；以及

编码部，其对由所述量化部产生的多种类型中的每一种的量化数据进行编码，以产生编码流。

2.根据权利要求1所述的图像处理装置，其中，

所述多种类型的系数包括通过执行正交变换而获得的变换系数和通过执行变换跳过处理而获得的变换跳过系数，其中所述变换跳过处理跳过所述正交变换。

3.根据权利要求2所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述正交变换而获得的变换系数的量化数据，以及

通过对所述图像数据执行所述变换跳过处理而获得的变换跳过系数的量化数据。

4.根据权利要求3所述的图像处理装置，其中，

所述变换系数的量化数据指示所述变换系数的直流分量。

5.根据权利要求3所述的图像处理装置，还包括：

滤波部，其对所述图像数据执行分量分离处理，其中，

所述编码部对以下量化数据进行编码：

通过对第一分离数据执行所述正交变换而获得的变换系数的量化数据，所述第一分离数据是通过所述滤波部进行的分量分离处理而获得的，以及

通过对与所述第一分离数据不同的第二分离数据执行所述变换跳过处理而获得的变换跳过系数的量化数据，所述第二分离数据是通过所述滤波部进行的分量分离处理而获得的。

6.根据权利要求5所述的图像处理装置，其中，

所述滤波部在频域中执行分量分离处理，以产生所述第一分离数据和包括比所述第一分离数据更高的频率分量的所述第二分离数据。

7.根据权利要求5所述的图像处理装置，其中，

所述滤波部在空间域中执行分量分离处理，以通过计算处理产生所述第一分离数据和所述第二分离数据，所述计算处理使用平滑处理和纹理分量提取处理，或者使用所述平滑处理或纹理分量提取处理以及处理结果。

8.根据权利要求7所述的图像处理装置，其中，

所述滤波部通过所述平滑处理或通过使用所述纹理分量提取处理的处理结果和所述图像数据的计算处理来产生所述第一分离数据，并且通过所述纹理分量提取处理或通过使用所述平滑处理的处理结果和所述图像数据的计算处理来产生所述第二分离数据。

9.根据权利要求2所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述正交变换而获得的变换系数的量化数据，以及

通过对解码数据与所述图像数据之间的差执行所述变换跳过处理而获得的变换跳过系数的量化数据，所述解码数据是通过对所述变换系数执行量化、逆量化和逆正交变换而获得的。

10.根据权利要求2所述的图像处理装置，其中，

所述编码部对以下量化数据进行编码：

通过对所述图像数据执行所述变换跳过处理而获得的变换跳过系数的量化数据，以及

通过对解码数据与所述图像数据之间的差执行所述正交变换而获得的变换系数的量化数据，所述解码数据是通过对所述变换跳过系数执行量化和逆量化而获得的。

11.根据权利要求1所述的图像处理装置，其中，

所述量化部基于针对所述系数的每种类型设定的量化参数来执行所述系数的量化，以及

所述编码部对指示针对所述系数的每种类型设定的量化参数的信息进行编码，并且将编码的信息包括在所述编码流中。

12.根据权利要求1所述的图像处理装置，其中，

所述图像数据包括残差数据，所述残差数据指示要编码的图像数据与预测的图像数据之间的差。

13.一种图像处理方法，包括以下步骤：

通过针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化来产生量化数据；以及

通过对多种类型中的每一种的所产生的量化数据进行编码来产生编码流。

14.一种使计算机执行图像编码处理的程序，所述程序使所述计算机执行：

针对每种类型对由各个变换处理块根据图像数据产生的多种类型的系数进行量化以产生量化数据的过程；以及

对产生的所述多种类型中的每一种的量化数据进行编码以产生编码流的过程。

15.一种图像处理装置，包括：

解码部，其对编码流执行解码，以针对每种类型获得多种类型的系数的量化数据；

逆量化部，其对由所述解码部获得的量化数据执行逆量化，以产生每种类型的系数；

逆变换部，其根据由所述逆量化部获得的系数针对所述系数的每种类型产生图像数据；以及

计算部，其执行计算处理以产生解码的图像数据，所述计算处理使用由所述逆变换部获得的所述系数的每种类型的图像数据。

16.根据权利要求15所述的图像处理装置，其中，

所述解码部对所述编码流执行解码，以针对每种类型获得指示所述多种类型的系数的量化参数的信息，以及

所述逆量化部使用与所述系数的每种类型的对应量化参数有关的信息来执行对应量化数据的逆量化。

17.根据权利要求15所述的图像处理装置，其中，

所述计算部结合每个像素位置针对由所述逆变换部获得的所述系数的每种类型将图像数据和预测的图像数据彼此相加，以产生解码的图像数据。

18.一种图像处理方法，包括以下步骤：

对编码流执行解码，以针对每种类型获得多种类型的系数的量化数据；

对获得的量化数据执行逆量化，以产生每种类型的系数；

根据产生的系数针对所述系数的每种类型产生图像数据；以及

执行计算处理以产生解码的图像数据，所述计算处理使用所述系数的每种类型的图像数据。

19.一种使计算机执行图像解码处理的程序，所述程序使计算机执行：

对编码流执行解码以针对每种类型获得多种类型的系数的量化数据的过程；

对获得的量化数据执行逆量化以产生每种类型的系数的过程；

根据产生的系数针对所述系数的每种类型产生图像数据的过程；以及

执行计算处理以产生解码的图像数据的过程，所述计算处理使用所述系数的每种类型的图像数据。

Images