CN104641646A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本公开涉及能够抑制编码效率的降低的图像处理设备和方法。本发明具备：接收单元，所述接收单元接收通过编码具有多层的图像而产生的编码数据，和接收所述多层共有的与正交变换处理的跳过有关的信息；和解码单元，所述解码单元对于所述多层中的每一层，利用接收单元接收的与正交变换处理的跳过有关的信息，并解码接收单元接收的编码数据。本公开适用于例如图像处理设备。

Description

图像处理设备和图像处理方法

技术领域

本公开涉及图像处理设备和图像处理方法，更具体地，涉及能够抑制编码效率的降低的图像处理设备和图像处理方法。

背景技术

作为一种通过利用图像信息特有的冗余，通过采用根据离散余弦变换或其它正交变换和运动补偿，压缩图像的编码方式，压缩和编码图像，以便高效地传输和累积信息的设备，近年来，数字地处理图像信息的设备已日益普及。例如，这种编码方式包括MPEG(运动图像专家组)。

特别地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码方式，并被看作覆盖隔行扫描图像和逐行扫描图像两者，以及标准分辨率图像和高精度图像的标准。例如，MPEG2目前广泛用于专业用途和消费用途的各种应用。通过利用MPEG2压缩方式，例如，4～8Mbps的代码量(比特率)被分配给标准分辨率的720×480像素的隔行扫描图像。另外，通过利用MPEG2压缩方式，例如，18～22Mbps的代码量(比特率)被分配给高分辨率的1920×1088像素的隔行扫描图像。因而，能够实现高压缩率和更好的图像质量。

MPEG2主要以适合于广播的高图像质量编码为目标，并不适用于低于MPEG1的代码量(比特率)，即，压缩率更高的编码方式。随着便携式终端的普及，预期未来对这种编码方式的需求会增大。为了满足这种预期，MPEG4编码方式也被标准化。作为图像编码方式，在1998年12月，这种标准被批准为国际标准ISO/IEC 14496-2。

此外，近年来，对初始用于电视会议的图像编码来说，促进了称为H.26L(ITU-T(国际电信联盟电信标准化部门)Q6/16 VCEG(视频编码专家组))的标准的标准化。与诸如MEPG2和MPEG4之类常规编码方式相比，H.26L需要较大量的编码和解码计算。不过，已知H.26L实现更高的编码效率。另外，作为MPEG4的活动的一部分，目前基于H.26L，以增强压缩视频编码联合模式的形式，完成了实现更高编码效率的标准化，同时还包含H.26L中不支持的功能。

按照标准化时间表，在2003年3月，以H.264和MPEG-4 Part 10(高级视频编码，下面称为AVC)的名义，建立了一种国际标准。

另外，作为H.264/AVC的扩展，在2005年2月，完成了为商业用途所需的编码工具，比如RGB、4:2:2和4:4:4的标准化，以及包括MPEG-2中定义的8×8 DCT，和量化矩阵的FRExt(保真度范围扩展)的标准化。从而，通过利用H.264/AVC，实现了一种甚至能够良好地表现包含在运动图像中的影片噪声的编码方式，该编码方式目前用于诸如蓝光光盘(注册商标)之类的各种应用。

然而，近年来，对更高压缩率的编码，比如压缩像素数为高清晰度图像的像素数的4倍，即，具有约4000×2000像素的图像，和在诸如因特网之类传输容量有限的环境中，传送高清晰度图像的需求不断增大。因此，在隶属于的ITU-T的VCEG中，一直不断进行进一步改善编码效率的检讨。

目前，为了进一步提高编码效率，以便实现高于AVC的编码效率，作为ITU-T和ISO/IEC的联合标准组织的JCTVC(联合协作团队-视频编码)，促进了称为HEVC(高效视频编码)的编码方式的标准化。关于HEVC标准，在2012年2月发布了作为初始草案规范的委员会草案(例如，参见非专利文献1)。

在非专利文献1中记载的HEVC标准采用称为“帧内变换跳过”的方法(例如，参见非专利文献2)。

更具体地，首先向PPS(Picture Parameter Set：图像参数集)传送标记(fag)，以指示Transform Skip(变换跳过，也称为正交变换跳过)是否适用于该序列。

当值为1时，TransformSkip适用于4×4正交变换块(TU)。

指示TransformSkip的开/关的标记被传送给各个块。

对于TransformSkip适用于的各个块，不对诸如熵编码、量化和环路滤波之类的处理作出任何变更。

这种正交变换跳过(TransformSkip)特别提供诸如CG图像和字幕之类画面内容的画质改善的效果。

引文列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand，“High efficiency video coding(HEVC)text specification draft 6”，JCTVC-H1003 ver21,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 andISO/IEC JTC1/SC29/WG117th Meeting:Geneva,CH,21-30 November,2011。

非专利文献2：Cuiling Lan,Jizheng Xu,Gary J.Sullivan,FengWu，“Intra transform skipping”，JCTVC-I0408,Joint CollaborativeTeam on Video Coding(JCT-VC)of ITU-T SG 16WP 3 and ISO/IEC JTC1/SC 29/WG 119th Meeting:Geneva,CH,27 April-7 May 2012。

发明内容

然而，按照常规方法，未考虑这种正交变换跳过对可缩放编码方式的应用。因而，为了应用于可缩放编码，需要对于每一层，传送关于正交变换跳过(Transform Skip)的信息。这种情况下，由于对于每一层，传送关于正交变换跳过的信息的必要性，代码量增大，因此编码效率可能降低。

考虑到这种情况，形成了本公开。于是按照本公开，意图提供一种能够抑制编码效率的降低的技术。

本公开的一个方面目的在于一种图像处理设备，包括：接收单元，所述接收单元接收通过编码包含多层的图像而创建的编码数据，和所述多层共有的关于正交变换处理的跳过的信息；和解码单元，所述解码单元对于所述多层中的每一层，根据接收单元接收的关于正交变换处理的跳过的信息，解码接收单元接收的编码数据。

关于正交变换处理的跳过的信息可以是指定是否允许图像内的正交变换处理的跳过的跳过允许信息。

关于正交变换处理的信息可以是指定是否跳过正交变换处理的跳过识别信息。

在当前块的解码中，解码单元可根据包含在与当前块的层不同的层中，并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的逆正交变换处理的执行。

当参照层的一个块对应于当前层的多个块时，在当前层的所有多个块的解码中，解码单元可根据参照层的所述一个块的关于正交变换处理的跳过的信息，控制逆正交变换处理的执行。

当参照层的多个块对应于当前块时，解码单元可根据参照层的多个块中的每个块的关于正交变换处理的跳过的信息，获得当前块的关于正交变换处理的跳过的信息，并根据获得的关于正交变换处理的跳过的信息，控制逆正交变换处理的执行。

当当前层参照由解码单元判定为不同于当前层的其他层作为参照层时，在当前块的解码中，解码单元可根据包含在所述其他层中，并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的逆正交变换处理的执行。

接收单元还接收指示将由当前层参照的层的信息，解码单元可根据接收单元接收的，指示将由当前层参照的层的信息，判定将由当前层参照的层。

编码数据可以是利用可缩放编码创建的可缩放数据，所述可缩放编码表现空间分辨率被分层的空间可缩放性，帧速率被分层的时间可缩放性，信噪比被分层的SNR可缩放性，位深度被分层的位深度可缩放性，视频信号的分量格式被分层的色度可缩放性，或者视点被分层的视点可缩放性。

本技术的一个方面目的在于一种图像处理设备的图像处理方法，其中：所述图像处理设备接收通过编码包含多层的图像而创建的编码数据，和所述多层共有的关于正交变换处理的跳过的信息；和所述图像处理设备对于所述多层中的每一层，根据接收的关于正交变换处理的跳过的信息，解码接收的编码数据。

本技术的另一个方面目的在于一种图像处理设备，包括：编码单元，所述编码单元根据多层共有的关于正交变换处理的跳过的信息，编码包含所述多层的图像；和传输单元，所述传输单元传送编码单元编码的编码数据，和关于正交变换处理的跳过的信息。

关于正交变换处理的跳过的信息可以是指定是否允许图像内的正交变换处理的跳过的跳过允许信息。

关于正交变换处理的信息可以是指定是否跳过正交变换处理的跳过识别信息。

在当前块的编码中，编码单元可根据包含在与当前块的层不同的层中，并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的正交变换处理的执行。

当参照层的一个块对应于当前层的多个块时，在当前层的所有多个块的编码中，编码单元可根据参照层的所述一个块的关于正交变换处理的跳过的信息，控制正交变换处理的执行。

当参照层的多个块对应于当前块时，编码单元可根据参照层的多个块中的每个块的关于正交变换处理的跳过的信息，获得当前块的关于正交变换处理的跳过的信息，并根据获得的关于正交变换处理的跳过的信息，控制正交变换处理的执行。

当当前层参照由编码单元判定为不同于当前层的其他层作为参照层时，在当前块的编码中，编码单元可根据包含在所述其他层中，并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的正交变换处理的执行。

传输单元还传送指示被编码单元判定为将由当前层参照的层的其他层的信息。

编码单元可利用可缩放编码，编码图像，所述可缩放编码表现空间分辨率被分层的空间可缩放性，帧速率被分层的时间可缩放性，信噪比被分层的SNR可缩放性，位深度被分层的位深度可缩放性，视频信号的分量格式被分层的色度可缩放性，或者视点被分层的视点可缩放性。

本技术的另一个方面目的在于一种图像处理设备的图像处理方法，其中：图像处理设备根据多层共有的关于正交变换处理的跳过的信息，编码包含所述多层的图像；和所述图像处理设备传送通过编码获得的编码数据，和关于正交变换处理的跳过的信息。

按照本技术的一个方面，接收通过编码包含多层的图像而创建的编码数据，和所述多层共有的关于正交变换处理的跳过的信息。随后，对于所述多层中的每一层，根据接收的关于正交变换处理的跳过的信息，解码接收的编码数据。

按照本技术的另一个方面，根据多层共有的关于正交变换处理的跳过的信息，编码包含所述多层的图像。随后，传送通过编码获得的编码数据，和关于正交变换处理的跳过的信息。

按照本技术，可实现图像的编码和解码。特别地，可抑制编码效率的降低。

附图说明

图1是图解说明编码单元的结构例子的示图。

图2是图解说明空间可缩放编码的例子的示图。

图3是图解说明时间可缩放编码的例子的示图。

图4图解说明信噪比的可缩放编码的例子的示图。

图5是图解说明图像参数集的语法的例子的示图。

图6是图解说明残差编码的语法的例子的示图。

图7是图解说明视频参数集的语法的例子的示图。

图8是图解说明层之间的TU的相关性的例子的示图。

图9是图解说明层之间的TU的相关性的又一个例子的示图。

图10是图解说明层之间的TU的相关性的另一个例子的示图。

图11是图解说明视频参数集的语法的另一个例子的示图。

图12是图解说明图像参数集的语法的另一个例子的示图。

图13是图解说明残差编码的语法的另一个例子的示图。

图14是图解说明可缩放编码设备的一般结构的例子的方框图。

图15是图解说明基本层图像编码单元的一般结构的例子的方框图。

图16是图解说明增强层图像编码单元的一般结构的例子的方框图。

图17是图解说明正交变换跳过单元和基本层正交变换跳过缓冲器的一般结构的例子的方框图。

图18是说明编码处理的流程例子的流程图。

图19是图解说明基本层编码处理的流程例子的流程图。

图20是说明基本层正交变换跳过控制处理的流程例子的流程图。

图21是说明正交变换处理的流程例子的流程图。

图22是说明增强层编码处理的流程例子的流程图。

图23是说明增强层正交变换跳过控制处理的流程例子的流程图。

图24是图解说明可缩放解码设备的一般结构的例子的方框图。

图25是图解说明基本层图像解码单元的一般结构的例子的方框图。

图26是图解说明增强层图像解码单元的一般结构的例子的方框图。

图27是图解说明逆正交变换跳过单元和基本层正交变换跳过缓冲器的一般结构的例子的方框图。

图28是说明解码处理的流程例子的流程图。

图29是说明基本层解码处理的流程例子的流程图。

图30是说明基本层逆正交变换跳过控制处理的流程例子的流程图。

图31是说明逆正交变换处理的流程例子的流程图。

图32是说明增强层解码处理的流程例子的流程图。

图33是说明增强层逆正交变换跳过控制处理的流程例子的流程图。

图34是图解说明分层图像编码方式的例子的示图。

图35是图解说明多视点图像编码方式的例子的示图

图36是图解说明计算机的一般结构的例子的方框图。

图37是图解说明电视机的一般结构的例子的方框图。

图38是图解说明蜂窝电话机的一般结构的例子的方框图。

图39是图解说明记录/再现设备的一般结构的例子的方框图。

图40是图解说明成像设备的一般结构的例子的方框图。

图41是图解说明可缩放编码的利用例子的方框图。

图42是图解说明可缩放编码的又一个利用例子的方框图。

图43是图解说明可缩放编码的另一个利用例子的方框图。

具体实施方式

下面说明实现本公开的方式(下面称为实施例)。将按照以下顺序进行说明。

0.概况

1.第一实施例(图像编码设备)

2.第二实施例(图像解码设备)

3.其它

4.第三实施例(计算机)

5.应用例子

6.可缩放编码的应用例子

<0.概况>

[编码方式]

下面说明按照适用于HEVC(高效视频编码)方式的图像编码和解码的本技术的例子。

[编码单位]

按照AVC(高级视频编码)方式，定义由宏块和子宏块构成的分层结构。然而，对诸如与下一代编码方式的对象对应的UHD(超高清晰度；4000像素×2000像素)之类的大图像帧来说，均为16×16像素的宏块并非最佳块。

另一方面，HEVC方式定义编码单位(CU(Coding Uni ts))，如图1中图解所示。

每个CU也被称为编码树块(CTB)，对应于以画面为单位提供的，并且具有与AVC方式中的宏块类似的功能的图像的部分区域。宏块被固定为16×16像素，而CU的大小不固定，而是在每个序列的图像压缩信息中指定的。

例如，在包含在与输出对应的编码数据中的序列参数集(SPS(Sequence Parameter Set))中，定义CU的最大大小(LCU(Largest CodingUnit))和CU的最小大小(SCU(Smallest Coding Unit))。

对于每个LCU，通过在不低于SCU的大小的情况下，设定spl it-flag＝1，可实现到大小较小的CU的分割。按照图1中图解所示的例子，LCU的大小被设定为128，最大层深度被设定为5。当split_flag的值为“1”时，2N×2N大小的CU被分成对应于下一层级的均为N×N大小的CU。

CU被进一步分成预测单位(Prediction Unit(PU))，每个PU对应于帧内预测或帧间预测的处理单位的区域(以画面为单位的图像的部分区域)，还被分割成变换单位(Transform Unit(TU))，每个TU对应于正交变换的处理单位的区域(以画面为单位的图像的部分区域)。目前，在HEVC方式中，不但可以使用4×4和8×8正交变换，而且可以使用16×16和32×32正交变换。

在定义CU，并且以CU为单位进行各种处理的编码方式，比如这里讨论的HEVC方式的情况下，AVC方式中的宏块可被视为与LCU对应的部分，AVC方式中的块(子块)可被视为与CU对应的部分。另外，AVC方式中的运动补偿块可被视为与PU对应的部分。然而，CU具有分层结构，从而所述结构的最高层的LCU的大小，比如128×128像素，通常被设定成比AVC方式中的宏块的大小大的大小。

从而，下面假定LCU也包括AVC方式中的宏块，并假定CU也包括AVC方式中的块(子块)。这种情况下，作为在以下说明中使用的用语的“块”表示画面内的任意部分区域，所述块的大小、形状、特性等没有特别的限制。换句话说，“块”包括诸如TU、PU、SCU、CU、LCU、子块、宏块和切片之类的任意区域(处理单位)。不用说，“块”类似地包括除这些区域外的部分区域(处理单位)。当需要对于大小、处理单位等的限制时，将适当地给出关于此的说明。

[模式选择]

在AVC和HEVC编码方式中，为了获得更高的编码效率，适当的预测模式的选择是必要的。

这种选择方法的例子包括在称为JM(联合模型)的H.264/MPEG-4AVC的参照软件(公布于http://iphome.hhi.de/suehring/tml/index.htm)中实现的方法。

按照JM，如下详细所述，可以选择高复杂性模式和低复杂性模式两种模式判定方法。两种方法都计算对应预测模式(Mode)的成本函数值，选择成本函数值最小的预测模式，并把选择的预测模式确定为对于块或宏块的最佳模式。

高复杂性模式下的成本函数如在下式(1)中所示。

[数学式1]

Cost(Mode∈Ω)＝D+λ*R...(1)

式(1)中，Ω是用于编码块或宏块的候选模式的全集，D是在按预测模式进行编码之际，解码图像和输入图像之间的差分能量。另外，λ是作为量化参数的函数给出的拉格朗日未定乘数。此外，R是包含正交变换系数的在按所述模式进行编码时的总代码量。

这种情况下，对按高复杂性模式进行编码来说，为了计算上述参数D和R，需要按所有候选模式，进行临时编码处理，因而需要更大的计算量。

低复杂性模式下的成本函数如在下式(2)中所示。

[数学式2]

Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit...(2)

式(2)中，与高复杂性模式的情况不同，D对应于预测图像和输入图像之间的差分能量。这种情况下，QP2Quant(QP)是以量化参数QP的函数的形式给出的，而HeaderBit是属于头部，比如运动向量和模式，并且不包含正交变换系数的信息的代码量。

于是在低复杂性模式下，对各个候选模式，需要进行预测处理，不过由于对解码图像的需求的消除，因此对于这些模式，不需要编码处理。因而，与高复杂性模式相比，低复杂性模式能够降低计算量。

[可缩放编码]

诸如MPEG2和AVC之类常规图像编码方式具有如图2-4中图解所示的可缩放性功能。可缩放编码(可缩放编码)是把图像分成多层(分层化)，并对每层进行编码的方式。

在图像分层中，根据预定参数，一个图像被分成多层(层)。基本上，每层由差分数据构成，以便减小冗余。例如，当一个图像被分层成基本层和增强层两层时，仅仅基于基本层的数据，获得质量比原始图像的质量低的图像。这种情况下，通过合成基本层的数据和增强层的数据，获得原始图像(即，高质量图像)。

通过按照这种方式的图像分层，能够按照状况，容易地获得各种质量的图像。例如，对于诸如蜂窝电话机之类处理能力低的终端，只传送基本层(基本层)的图像压缩信息，以再现空间-时间分辨率低，或者画质低的动态图像。另一方面，对于诸如电视机和个人计算机之类处理能力高的终端，除了传送基本层的图像压缩信息之外，还传送增强层的图像压缩信息，以再现空间-时间分辨率较高，或者画质较高的动态图像。因此，可按照终端或网络的能力，实现从服务器的图像压缩信息的传送，而不需要进行转码处理。

能够提供这种可缩放性功能的参数的例子包括空间分辨率(空间分辨率)，如图2中图解所示。在空间可缩放性的情况下，对各层来说，分辨率不同。更具体地，如图2中图解所示，每个画面被分成由空间分辨率比原始图像低的基本层，和与基本层的图像合成，以产生原始图像(原始空间分辨率)的增强层构成的两层。不用说，只是作为例子给出了层数，层数可在分层时任意确定。

提供这种可缩放性功能的参数的另一个例子是时间可缩放性，如图3中图解所示。在时间可缩放性的情况下，对各层来说，帧速率不同。这种情况下，进行到具有不同帧速率的各层的分割，如图3中图解所示。当相加具有高帧速率的层和具有低帧速率的层时，形成具有更高帧速率的动态图像。当相加所有各层时，获得原始动态图像(原始帧速率)。只是作为例子给出了层数，层数可在分层时任意确定。

提供这种可缩放性功能的参数的另一个例子是信噪比(SNR)(SNR可缩放性)。在SNR可缩放性的情况下，SN比对各层来说不同。更具体地，如图4中图解所示，每个画面被分层成由具有比原始图像低的SNR的基本层，和与基本层的图像合成，以产生原始图像(原始SNR)的增强层构成的两层。更具体地，与具有低SNR的图像相关的信息是包含在基本层(基本层)图像压缩信息中传送的。这种情况下，通过相加增强层图像压缩信息和基本层图像压缩信息，能够重建高PSNR图像。不用说，只是作为例子给出了层数，层数可在分层时任意确定。。

显然，提供可缩放性功能的参数可以是上述参数外的参数。例子之一是通过相加增强层和由8比特图像构成的基本层，获得10比特(比特)图像的比特深度可缩放性。

另一个例子是通过相加增强层和由4:2:0格式的分量图像构成的基本层，获得4:2:2格式的分量图像的色度可缩放性。

[正交变换跳过]

HEVC标准采用在非专利文献2中提出的“帧内变换跳过”方法。正交变换跳过(Transform Skip)是一种省略(跳过)正交变换处理的方法。

通常，对各个块的图像数据(差分图像数据)进行正交变换处理，以把各个块内的空间域中的信息变换成频率域中的信息。利用这种方法，各个块内的系数集中在低域，从而偏差会增大。结果，改善编码效率。

然而，取决于各个块内的模式(pattern)，这种偏差可能难以产生。例如，在诸如CG图像和字幕之类的人工图像的情况下，与自然图像相比，易于产生渐变或强边缘。从而，易于产生高域分量，从而即使在进行正交变换处理之后，也难以产生偏差。对于这种块，允许正交变换处理的跳过，以便进一步改善编码效率。

在下面的说明中，正交变换处理的跳过(省略)被称为正交变换跳过(Transform Skip)。

按照这种方法，要求在编码之际，经历正交变换跳过(Transform Skip)的块(TU)在解码之际，也跳过(省略)逆正交变换。从而，在编码方，对当前块生成关于正交变换跳过(Transform Skip)的信息，并传送给解码方。在解码方，根据所述关于正交变换跳过(Transform Skip)的信息，控制是否跳过逆正交变换。

关于正交变换处理的跳过的信息包括指示对于预定范围，是允许还是禁止正交变换跳过(Transform Skip)的跳过允许信息(transform_skip_enable_flag)，和指示对于当前块，是否应用了正交变换跳过的跳过识别信息(transform_skip_flag)。

跳过允许信息(transform_skip_enable_flag)是指示对于比正交变换处理的单位宽的每个范围，是允许还是禁止正交变换跳过(TransformSkip)的信息。例如，当跳过允许信息(transform_skip_enable_flag)为假(比如“0”)时，对于在对应于该值的范围内的各个块，禁止正交变换跳过(Transform Skip)(总是进行正交变换)。从而，当跳过允许信息(transform_skip_enable_flag)的值为假(比如“0”)时，在解码方，对于在对应于该值的范围内的各个块，总是执行逆正交变换处理。

另一方面，当跳过允许信息(transform_skip_enable_flag)的值为真(比如“1”)时，对于在对应于该值的范围内的各个块，允许正交变换跳过(Transform Skip)(正交变换可被跳过)。

跳过允许信息(transform_skip_enable_flag)例如由用户设定。例如，对于每个画面，设定跳过允许信息(transform_skip_enable_flag)。更具体地，如在图5中的图像参数集(PPS(Picture Parameter Set))的语法例子中图解所示，在图像参数集(PPS)中传送跳过允许信息(transform_skip_enable_flag)。

当跳过允许信息(transform_skip_enable_flag)的值为真(比如“1”)时，可对预定大小(比如4×4大小)的块(TU)，应用正交变换跳过(Transform Skip)。于是在这种情况下，如在图6的残差编码的语法例子中图解所示，对于4×4大小的每个块(TU)，传送跳过识别信息(transform_skip_flag)。

跳过识别信息(transform_skip_flag)是指示对于作为处理对象的当前块(TU)，在编码之际是否执行了正交变换跳过的信息。当该值为假(比如“0”)时，对于当前块，未进行过正交变换跳过(Transform Skip)(进行了正交变换)。从而，当跳过识别信息(transform_skip_flag)的值为假(比如“0”)时，在解码方，对当前块进行逆正交变换处理。

相反，当该值为真(比如“1”)时，对当前块进行正交变换跳过(Transform Skip)。从而，当跳过识别信息(transform_skip_flag)的值为真(比如“1”)时，在解码方，对于当前块跳过(省略)逆正交变换处理。

[视频参数集]

除了序列参数集(SPS(Sequence Parameter Set))和图像参数集(PPS)之外，HEVC还定义视频参数集(VPS(Video Parameter Set))，如图7中图解所示。

为经过可缩放编码的整个编码数据，生成视频参数集(VPS)。视频参数集(VPS)保存关于所有各层的信息。

为各层生成序列参数集(SPS)。序列参数集(SPS)保存关于该层的信息。

为相应层的各个画面，生成图像参数集(PPS)。图像参数集保存关于所述层的所述画面的信息。

[可缩放编码的正交变换跳过]

然而，按照常规方式，一直未考虑正交变换跳过对可缩放编码方式的应用。从而，为了应用于可缩放编码，需要对于每一层，传送关于正交变换跳过(Transform Skip)的信息。这种情况下，由于必须对于每一层，传送关于正交变换跳过的信息，因此代码量增大，从而编码效率降低。

为了抑制编码效率的降低，上面讨论的经过可缩放编码(可缩放编码)的图像数据的多层共享关于正交变换处理的跳过的信息(比如transform_skip_enable_flag和transform_skip_flag)。

在下面的说明中，不依赖于另一层，仅仅利用自身层形成图像的层被称为基本层，而通过与另一层合成，形成图像的层被称为增强层。利用可缩放编码分层的编码数据的层数可被任意确定。在下面的说明中，假定每一层或者被确定为基本层，或者被确定为增强层，并且基本层任意之一被确定为各个增强层的参照层。

[基本层的正交变换跳过]

基本层的编码可在不利用另一层的情况下实现。换句话说，基本层的编码基本上是按照和一层图像数据的常规编码的方法相同的方式进行的。更具体地，在编码基本层时，适当地生成关于正交变换处理的跳过的信息(transform_skip_enable_flag和transform_skip_flag)，并传送给解码方。例如，对每个画面设定跳过允许信息(transform_skip_enable_flag)，并如参考图5所述，在图像参数集中被传送。另外，对于每个4×4大小的块(TU)，设定跳过识别信息(transform_skip_flag)，并如参考图6所述，对于每个4×4大小的块(TU)，传送跳过识别信息(transform_skip_flag)。

从而，基本层的解码也是基本上按照和一层图像数据的常规编码的方法相同的方式进行的。更具体地，根据在编码方，对于对应基本层的数据生成并传送的关于正交变换处理的跳过的信息，进行基本层的解码。例如，根据在对应于处理对象的当前基本层(自身基本层)的图像参数集中传送的跳过允许信息(transform_skip_enable_flag)的值，控制对于作为处理对象的当前画面，是否允许逆正交变换处理的跳过。另外，根据对于当前块传送的跳过识别信息(transform_skip_flag)的值，控制对于作为处理对象的4×4大小的当前块(当前TU)，是否跳过逆正交变换处理。

[增强层的正交变换跳过]

另一方面，基本按照和基本层的情况相同的方式，进行增强层的编码。不过，作为关于正交变换处理的跳过的信息，参照关于基本层的信息。例如，根据与作为处理对象的当前增强层对应的基本层的跳过允许信息(transform_skip_enable_flag)的值，控制对于当前画面，是否允许正交变换处理的跳过。

换句话说，基本层和增强层共享跳过允许信息(transform_skip_enable_flag)。从而，不传送关于增强层的跳过允许信息(transform_skip_enable_flag)。更具体地，在解码增强层之际，根据在对应基本层的图像参数集中传送的跳过允许信息(transform_skip_enable_flag)的值，控制对于当前画面，是否允许逆正交变换处理的跳过。

例如，当基本层的跳过允许信息(transform_skip_enable_flag)的值为假(比如“0”)时，不仅不对基本层，而且不对增强层应用(允许)逆正交变换的跳过。相反，当基本层的跳过允许信息(transform_skip_enable_flag)的值为真(比如“1”)时，不仅可对基本层，而且可对增强层应用(允许)逆正交变换的跳过。

另外，根据关于对应于当前增强层的基本层的跳过识别信息(transform_skip_flag)的值，控制在编码增强层时，对于当前块(当前TU)是否跳过正交变换处理。

换句话说，跳过识别信息(transform_skip_flag)被基本层和增强层共享。因而，不传送关于增强层的跳过识别信息(transform_skip_flag)。更具体地，根据对于与当前块关联的对应基本层的块(TU)传送的跳过识别信息(transform_skip_flag)的值，控制对于当前块，是否跳过逆正交变换处理。

例如，在增强层的解码中，当对应于当前块的基本层的块(4×4大小)的跳过识别信息(transform_skip_flag)的值为假(比如“0”)时，不仅不对基本层，而且不对增强层，应用逆正交变换的跳过(即，执行逆正交变换处理)。相反，在增强层的解码中，当对应于当前块的基本层的块(4×4大小)的跳过识别信息(transform_skip_flag)的值为真(比如“1”)时，不仅可对基本层，而且可对增强层，应用逆正交变换的跳过(跳过逆正交变换)。

[1对1对应的情况]

当基本层的一个块对应于增强层的当前块时，执行以下处理。例如在SNR可缩放性或比特深度可缩放性的情况下，对于亮度信号和色度信号，基本层(Baselayer)的单一块(TU)对应于增强层(Enhancementlayer)的单一块(TU)。

[多对1对应的情况]

另一方面，在按1:2的基本层和增强层的分辨率比的1:2空间可缩放性的情况下(即，当基本层的单一块对应于增强层的多个块时)，如图8中图解所示，基本层(Baselayer)的单个4×4大小的块(TU)对应于增强层(Enhancementlayer)的4个4×4大小的块(TU)，或者单个8×8大小的块(TU)。

正交变换跳过不适用于单个8×8大小的块(TU)。

另一方面，当基本层的单个4×4大小的块(TU)对应于增强层的4个4×4大小的块(TU)时，基本层的对应块的跳过识别信息(transform_skip_flag)的值适用于增强层的4个块中的每个块。

更具体地，当基本层的块的跳过识别信息(transform_skip_flag)的值为假(比如“0”)时，对与该对应块关联的增强层的4个块分别执行(不跳过)正交变换处理(逆正交变换处理)。

相反，当基本层的块的跳过识别信息(transform_skip_flag)的值为真(比如“1”)时，对与该对应块关联的增强层的4个块分别跳过(不执行)正交变换处理(逆正交变换处理)。

换句话说，当供参照的参照层(上述例子中的基本层)的一个块对应于作为处理对象的当前层(上述例子中的增强层)的多个块时，通过利用对于参照层的所述一个块的关于正交变换处理的跳过的信息，控制在当前层的多个块的所有处理(解码和编码)的执行之际，是否执行正交变换处理(或逆正交变换处理)。

[1对非整数或者1对多对应的情况]

本技术的适用范围并不局限于这些例子。例如，本技术适用于按任意比率，比如1:1.5的空间可缩放性。

当基本层和增强层的分辨率分别为1280×720,1920×1080时，所述比率变为1:1.5。从而，与增强层的单个块对应的基本层的块不是单个块(即，1对非整数或1对多对应)。

这种情况下，这里假定基本层中均为4×4大小的块(TU)B0、B1、B2和B3对应于增强层中均为4×4大小的块(TU)E0、E1、E2、E3、E4、E5、E6、E7、E8和E9，如图9中图解所示。

按照这个例子，B0和E0、B1和E2、B2和E6、B3和E8分别共享跳过识别信息(transform_skip_flag)。例如，B0的跳过识别信息(transform_skip_flag)的值适应用于E0，从而不传送关于E0的跳过识别信息(transform_skip_flag)。类似地，B1的跳过识别信息(transform_skip_flag)的值适用于E2，B2的跳过识别信息(transform_skip_flag)适用于E6，B3的跳过识别信息(transform_skip_flag)适用于E8。不传送分别关于E2、E6和E8的跳过识别信息(transform_skip_flag)

另外，这里假定增强层中的均为4×4大小的块(TU)E1、E3、E5和E7分别对应于基本层中的均为4×4大小的块(TU)B0和B1、B0和B2、B1和B3、B2和B3。按照这个例子，B0和B1与E1、B0和B2与E3、B1和B3与E5、B2和B3与E7分别共享跳过识别信息(transform_skip_flag)。

例如，基于B0的跳过识别信息(transform_skip_flag)和B1的跳过识别信息(transform_skip_flag)的值适用于E1。更具体地，当B0和B1的跳过识别信息(transform_skip_flag)的值至少任意之一为真(比如“1”)时，正交变换(或逆正交变换)的跳过适用于E1。

另外，基于B0的跳过识别信息(transform_skip_flag)和B2的跳过识别信息(transform_skip_flag)的值适用于E3。更具体地，当B0和B2的跳过识别信息(transform_skip_flag)的值至少任意之一为真(比如“1”)时，正交变换(或逆正交变换)的跳过适用于E3。

另外，基于B1的跳过识别信息(transform_skip_flag)和B3的跳过识别信息(transform_skip_flag)的值适用于E5。更具体地，当B1和B3的跳过识别信息(transform_skip_flag)的值至少任意之一为真(比如“1”)时，正交变换(或逆正交变换)的跳过适用于E5。

另外，基于B2的跳过识别信息(transform_skip_flag)和B3的跳过识别信息(transform_skip_flag)的值适用于E7。更具体地，当B2和B3的跳过识别信息(transform_skip_flag)的值至少任意之一为真(比如“1”)时，正交变换(或逆正交变换)的跳过适用于E7。

从而不传送分别关于E1、E3、E5和E7的跳过识别信息(transform_skip_flag)。

另外，这里假定对应于增强层中的4×4大小的块(TU)的E4对应于作为基本层中均为4×4大小的块(TU)的B0-B3。这种情况下，块B0-B3与E4共享跳过识别信息(transform_skip_flag)。

例如，基于B0-B3的全部跳过识别信息(transform_skip_flag)的值适用于E4。更具体地，当B0-B3的跳过识别信息(transform_skip_flag)的值至少任意之一为真时，或者当这些值都为真(比如“1”)时，正交变换(或逆正交变换)的跳过适用于E4。从而不传送关于E4的跳过识别信息(transform_skip_flag)。

如上所述，通过利用预定方法，可从基本层的多个块的跳过识别信息，获得关于增强层的一个块的跳过识别信息。获得所述信息的方法是任意确定的，并不局限于上述例子的方法。例如，通过进行预定计算，可根据基本层的多个块的跳过识别信息的值，计算增强层的一个块的跳过识别信息。另外，可如在上述例子中所述地组合多种方法，以根据按更加多样的块比率的相关性，允许关于正交变换跳过的信息的共享，以便抑制编码效率的降低。

如上所述，显然当参照层的多个块对应于当前块时，通过利用参照层的多个块中的每个块的关于正交变换处理的跳过的信息，可以获得对于当前块的关于正交变换处理的跳过的信息的信息。随后，根据这样获得的关于正交变换的跳过的信息，可以控制是否执行正交变换处理或逆正交变换处理。

[色度格式可缩放性的正交变换跳过]

相同的方法适用于色度信号，以实现色度格式可缩放性。

例如，在图10的左端图解所示的例子的情况下，基本层的分量格式为4:2:0，而增强层的分量格式为4:2:2。这种情况下，这里假定作为基本层中的4×4大小的块(TU)的B0对应于作为增强层中均为4×4大小的块(TU)的E0和E1。于是按照这种例子，根据关于B0的跳过识别信息(transform_skip_flag)，控制对于E0和E1的正交变换处理(逆正交变换处理)的跳过。这种情况下，不传送分别关于E0和E1的跳过识别信息(transform_skip_flag)。

在图10的中央图解所示的例子的情况下，基本层的分量格式为4:2:0，而增强层的分量格式为4:4:4。这种情况下，这里假定作为基本层中的4×4大小的块(TU)的B0对应于作为增强层中均为4×4大小的块(TU)的E0、E1、E2和E3。于是按照这种例子，根据关于B0的跳过识别信息(transform_skip_flag)，控制对于E0-E3的正交变换处理(逆正交变换处理)的跳过。这种情况下，不传送分别关于E0-E3的跳过识别信息(transform_skip_flag)。

在图10的右端图解所示的例子的情况下，基本层的分量格式为4:2:0，而增强层的分量格式为4:4:4。这种情况下，假定作为基本层中的4×4大小的块(TU)的B0对应于作为增强层中均为4×4大小的块(TU)的E0和E1，作为基本层中的4×4大小的块(TU)的B1对应于作为增强层中均为4×4大小的块(TU)的E2和E3。于是按照这种例子，根据关于B0的跳过识别信息(transform_skip_flag)，控制对于E0和E1的正交变换处理(逆正交变换处理)的跳过，根据关于B1的跳过识别信息(transform_skip_flag)，控制对于E2和E3的正交变换处理(逆正交变换处理)的跳过。这种情况下，不传送分别关于E0-E3的跳过识别信息(transform_skip_flag)。

如上所述，本技术也适用于色度格式可缩放性，以便允许各层共享关于正交变换跳过的信息，从而抑制编码效率的降低。

[语法]

图11-13中图解说明按照本技术的语法。

[视频参数集]

图11图解说明视频参数集(VPS(Video Parameter Set))的语法例子。图11中从上面起的第6行的参数vps_max_layer_minus1指示可缩放编码的主层的数目(层数)。另一方面，图11中从上面起的第6行的参数vps_max_sub_layer_minus1指示包含在可缩放编码的各个主层中的子层的最大数目(最大子层数)。

如在图11中从上面起的第15行中图解所示，对于每一层(主层)，定义指示参照层的参数diff_ref_layer。在假定当前层是当前层(curr_layer)，待参照的层是参照层(ref_layer)的情况下，利用下式计算diff_ref_layer。

ref_layer＝curr_layer-diff_ref_layer

当diff_ref_layer的值为0时，意味该层是不经历可缩放编码，但经历单独编码的图像压缩信息。从而，基本层的diff_ref_layer的值变为0。

如上所述，显然指示各层将参照哪一层的信息是在视频参数集(VPS)中传送的。这种情况下，对于各层，易于区别基本层和增强层。因而，可以更容易地实现适合于层的种类的编码和解码。换句话说，可抑制编码效率的降低。

[图像参数集]

图12图解说明图像参数集(PPS)的语法例子。按照图像参数集(PPS)，当参数diff_ref_layer的值为0时，即，在单层或基本层的情况下，生成并传送跳过允许信息(transform_skip_enable_flag)，如在图12中从上面起的第10行和第11行中所示。

另一方面，当参数diff_ref_layer的值不为0时，即，在增强层的情况下，参照保存在供参照的基本层(ref_layer)的图像参数集中的跳过允许信息(transform_skip_enable_flag)，如在图12中从上面起的第12行和第13行中所示。换句话说，对于该层，不传送跳过允许信息(transform_skip_enable_flag)。

[残差编码]

图13图解说明残差编码(residual_coding)的语法的例子。残差编码(residual_coding)的情况基本上类似于图像参数集(PPS)的情况。更具体地，当参数diff_ref_layer的值为0时，即，在单层或基本层的情况下，对于预定大小(比如，4×4大小)的块(TU)，生成并传送跳过识别信息(transform_skip_flag)，如在图13中从上面起的第3行和第4行中所示。

另一方面，当参数diff_ref_layer的值不为0时，即，在增强层的情况下，参照关于作为包含在与当前画面对应的画面(参照画面)中的参照块，包含在供参照的基本层(ref_layer)中，并对应于当前块(当前TU)的块(TU)(参照块(参照TU))的跳过识别信息(transform_skip_flag)，如在图13中从上面起的第5行和第6行中所示。换句话说，对于该层，不传送跳过识别信息(transform_skip_flag)。

不用说，跳过识别信息(transform_skip_flag)的生成、传送和参照并不局限于当跳过允许信息(transform_skip_enable_flag)为真时，和当当前块的大小为预定大小(比如4×4大小)时的情况(图13中的第2行)。

当应用上述语法时，允许各个层共享关于正交变换跳过的信息。从而，能够抑制编码效率的降低。

下面讨论把上面说明的本技术应用于具体设备的例子。

<1.第一实施例>

[可缩放编码设备]

图14是图解说明可缩放编码设备的一般结构的例子的方框图。

图14中图解所示的可缩放编码设备100编码分层成基本层和增强层的图像数据的各层。用作分层的参照的参数可被任意确定。可缩放编码设备100包括基本层图像编码单元101、基本层正交变换跳过缓冲器102和增强层图像编码单元103。

基本层图像编码单元101获得基本层的图像信息(基本层图像信息)。基本层图像编码单元101不参照另一层地编码基本层图像信息，从而生成并输出基本层的编码数据(基本层编码数据)。基本层图像编码单元101还把在编码时获得的关于正交变换跳过的信息，提供给基本层正交变换跳过缓冲器102。

基本层正交变换跳过缓冲器102保存从基本层图像编码单元101供给的关于正交变换跳过的信息。基本层正交变换跳过缓冲器102酌情把保存的关于正交变换跳过的信息提供给增强层图像编码单元103。

增强层图像编码单元103获得关于增强层的图像信息(增强层图像信息)。增强层图像编码单元103从基本层正交变换跳过缓冲器102，获得基本层的关于正交变换跳过的信息，并在参照所述信息的同时，编码增强层图像信息。增强层图像编码单元103利用这种编码处理，生成增强层的编码数据(增强层编码数据)，并输出生成的数据。

如上所述，在编码时，增强层图像编码单元103参照基本层的关于正交变换跳过的信息，以控制正交变换处理的跳过。增强层图像编码单元103不传送增强层的关于正交变换跳过的信息。这种情况下，在控制增强层的逆正交变换处理的跳过之际，在解码方，类似地参照基本层的关于正交变换的跳过的信息。

因而，可缩放编码设备100消除传送增强层的关于正交变换跳过的信息的处理，从而实现编码效率的降低的抑制。

[基本层图像编码单元]

图15是图解说明图14中的基本层图像编码单元101的一般结构的例子的方框图。如图15中图解所示，基本层图像编码单元101包括A/D转换器111、画面重排缓冲器112、计算单元113、正交变换单元114、量化单元115、无损编码单元116、累积缓冲器117、逆量化单元118，和逆正交变换单元119。基本层图像编码单元101还包括计算单元120、环路滤波器121、帧存储器122、选择单元123、帧内预测单元124、运动预测/补偿单元125、预测图像选择单元126和速率控制单元127。

基本层图像编码单元101还包括正交变换跳过单元131。

A/D转换器111对输入的图像数据(基本层图像信息)进行A/D转换，然后把转换后的图像数据(数字数据)提供给画面重排缓冲器112，从而把数据保存在画面重排缓冲器112中。画面重排缓冲器112把各帧图像的顺序从保存的显示用顺序切换成与GOP(图像组)相应的编码用顺序，然后把按切换后的顺序的各帧图像提供给计算单元113。画面重排缓冲器112还把按切换后的顺序的各帧图像提供给帧内预测单元124和运动预测/补偿预测单元125。

计算单元113接收通过预测图像选择单元126，从帧内预测单元124或运动预测/补偿单元125供给的预测图像，从读取自画面重排缓冲器112的图像中，减去所述预测图像。然后，计算单元113把获得的差分信息输出给正交变换单元114。例如，在图像将被帧内编码的情况下，计算单元113接收从帧内预测单元124供给的预测图像，从读取自画面重排缓冲器112的图像中，减去接收的预测图像。另一方面，例如，在图像将被帧间编码的情况下，计算单元113接收从运动预测/补偿单元125供给的预测图像，然后从读取自画面重排缓冲器112的图像中，减去接收的预测图像。

正交变换单元114对从计算单元113供给的差分信息，进行诸如离散余弦变换或Karhuren-Loève变换之类的正交变换。正交变换单元114把获得的变换系数提供给量化单元115。

量化单元115量化从正交变换单元114供给的变换系数。量化单元115根据从速率控制单元127供给的与编码量的目标值相关的信息，设定用于该量化的量化参数。量化单元115把量化的变换系数提供给无损编码单元116。

无损编码单元116利用任意编码方式，编码由量化单元115量化的变换系数。系数数据已在速率控制单元127的控制下被量化，从而作为结果的代码量变成速率控制单元127设定的目标值(或者变成类似于目标值)。

无损编码单元116还从帧内预测单元124，获得指示帧内预测的模式的信息等，从运动预测/补偿单元125，获得指示帧间预测的模式的信息，差分运动向量信息等。无损编码单元116还适当地生成包含视频参数集(VPS)、序列参数集(SPS)、图像参数集(PPS)等的NAL单元。

无损编码单元116利用任意编码方式，编码上述各类信息，以编码数据(也称为编码流)的一部分的形式，提供所述编码信息(即复用编码信息)。无损编码单元116把这样编码的编码数据提供给累积缓冲器117，以把编码数据累积在累积缓冲器117中。

无损编码单元116采用的编码方式的例子包括可变码长编码和算术编码。可变码长编码的例子包括在H.264/AVC方式中定义的CAVLC(上下文自适应变长编码)。算术编码的例子包括CABAC(上下文自适应二进制算术编码)。

累积缓冲器117临时保持从无损编码单元116供给的编码数据(基本层编码数据)。累积缓冲器117在预定定时，把保持的基本层编码数据输出给设置在下游的未图示的记录设备(记录介质)或者未图示的传输路径。从而，累积缓冲器117还起传送编码数据的传输单元的作用。

由量化单元115量化的变换系数也被提供给逆量化单元118。逆量化单元118利用与量化单元115使用的量化方法对应的方法，对量化的变换系数进行逆量化。逆量化单元118把获得的变换系数提供给逆正交变换单元119。

逆正交变换单元119利用与正交变换单元114进行的正交变换处理的方法对应的方法，对从逆量化单元118供给的变换系数进行逆正交变换。经过逆正交变换的输出(恢复的差分信息)被提供给计算单元120。

计算单元120相加通过预测图像选择单元126，从帧内预测单元124或运动预测/补偿单元125接收的预测图像，和从逆正交变换单元119供给的与逆正交变换的结果对应的恢复的差分信息，从而获得局部解码的图像(解码图像)。解码图像被提供给环路滤波器121或帧存储器122。

环路滤波器121包括解块滤波器或自适应环路滤波器，以适当地对从计算单元120供给的重构图像进行滤波。例如，环路滤波器121通过对重构图像进行解块滤波，从重构图像中消除块失真。另外，例如，环路滤波器121通过利用wiener滤波器(Wiener Filter)，对解块滤波的结果(除去块失真之后的重构图像)，进行环路滤波，改善画质。环路滤波器121把滤波结果(下面称为解码图像)提供给帧存储器122。

环路滤波器121还对重构图像，进行其它任意滤波。另外，环路滤波器121可酌情把关于用于滤波的滤波器系数等的信息提供给无损编码单元116，以便编码所述信息。

帧存储器122保存从计算单元120供给的重构图像，和从环路滤波器121供给的解码图像。帧存储器122在预定定时，或者响应来自外部，比如帧内预测单元124的请求，通过选择单元123，把保存的重构图像提供给帧内预测单元124。帧存储器122还在预定定时，或者响应来自外部，比如运动预测/补偿单元125的请求，通过选择单元123，把保存的解码图像提供给运动预测/补偿单元125。

帧存储器122保存供给的解码图像，并在预定定时，把保存的解码图像作为参照图像提供给选择单元123。

选择单元123选择从帧存储器122供给的参照图像的供给目的地。例如，在帧内预测的情况下，选择单元123把从帧存储器122供给的参照图像(当前画面内的像素值)提供给帧内预测单元124。另一方面，例如，在帧间预测的情况下，选择单元123把从帧存储器122供给的参照图像提供给运动预测/补偿单元125。

帧内预测单元124进行帧内预测(帧内预测)，以根据与通过选择单元123，从帧存储器122供给的参照图像对应的当前画面内的像素值，生成预测图像。帧内预测单元124按预先准备的多种帧内预测模式，进行这种帧内预测。

帧内预测单元124按所有的候选帧内预测模式，生成预测图像，根据从画面重排缓冲器112供给的输入图像，评估各个预测图像的成本函数值，以选择最佳模式。选择了最佳帧内预测模式的帧内预测单元124把按选择的最佳模式生成的预测图像提供给预测图像选择单元126。

如上所述，帧内预测单元124适当地把指示采用的帧内预测模式的帧内预测模式信息等提供给无损编码单元116，以编码所述信息。

运动预测/补偿单元125根据从画面重排缓冲器112供给的输入图像，和经选择单元123，从帧存储器122供给的参照图像，进行运动预测(帧间预测)。运动预测/补偿单元125按照检测的运动向量，进行运动补偿处理，以生成预测图像(帧间预测图像信息)。运动预测/补偿单元125按预先准备的多种帧间预测模式，进行这种帧间预测。

运动预测/补偿单元125按所有的候选帧间预测模式，生成预测图像。运动预测/补偿单元125根据从画面重排缓冲器112供给的输入图像，和关地生成的差分运动向量的信息，评估各个预测图像的成本函数值，以选择最佳模式。选择了最佳帧间预测模式的运动预测/补偿单元125把按选择的最佳模式生成的预测图像提供给预测图像选择单元126。

在解码指示采用的帧间预测模式的信息或者编码数据之际，运动预测/补偿单元125把为按对应的帧间预测模式进行处理必需的信息等提供给无损编码单元116，以编码所述信息。这里，所述必需的信息包含关于生成的差分运动向量的信息，和作为预测运动向量信息，指示预测运动向量的索引的标记。

预测图像选择单元126选择待提供给计算单元113和计算单元120的预测图像的供给源。例如，在帧内编码的情况下，预测图像选择单元126选择帧内预测单元124，作为预测图像的供给源，并把从帧内预测单元124接收的预测图像提供给计算单元113和加法单元120。另一方面，例如，在帧间编码的情况下，预测图像选择单元126选择运动预测/补偿单元125，作为预测图像的供给源，并把从运动预测/补偿单元125接收的预测图像提供给计算单元113和加法单元120。

速率控制单元127根据累积在累积缓冲器117中的编码数据的代码量，控制量化单元115进行的量化操作的速率，以致不会导致上溢或下溢。

正交变换跳过单元131控制由基本层图像编码单元101的正交变换单元114进行的正交变换处理，和由基本层图像编码单元101的逆正交变换单元119进行的逆正交变换处理的执行。例如，正交变换跳过单元131从正交变换单元114获得正交变换系数和正交变换之前的差分值。另外，正交变换跳过单元131从无损编码单元116获得跳过允许信息。正交变换跳过单元131根据上述信息，判定是否跳过(省略)正交变换处理(或逆正交变换处理)。

正交变换跳过单元131根据所述判定，控制正交变换单元114和逆正交变换单元119。更具体地，在基本层图像编码单元101的正交变换跳过单元131的控制下，基本层图像编码单元101的正交变换单元114执行正交变换处理或者跳过正交变换处理。类似地，在基本层图像编码单元101的正交变换跳过单元131的控制下，基本层图像编码单元101的逆正交变换单元119执行或跳过逆正交变换处理。

正交变换跳过单元131还生成指示所述判定的内容，即，是否跳过正交变换处理(逆正交变换处理)的跳过识别信息，并把生成的跳过识别信息提供给基本层图像编码单元101的无损编码单元116。基本层图像编码单元101的无损编码单元116把跳过识别信息并入基本层编码数据中，并把包含跳过识别信息的编码数据传送给解码方。所述跳过识别信息可作为与基本层编码数据不同的数据，被传送给解码方。

正交变换跳过单元131还把这样获得的关于正交变换的跳过的信息，包含跳过允许信息和跳过识别信息，提供给基本层正交变换跳过缓冲器102。

[增强层图像编码单元]

图16是图解说明图14中的增强层图像编码单元103的一般结构的例子的方框图。如图16中图解所示，增强层图像编码单元103具有基本上和图15中图解所示的基本层图像编码单元101的结构类似的结构。更具体地，增强层图像编码单元103包括从A/D转换器111到速率控制单元127的各个单元。

然而，增强层图像编码单元103的各个单元执行不编码基本层，而是编码增强层的处理。更具体地，A/D转换器111对增强层图像信息进行A/D转换，而累积缓冲器117把增强层编码数据输出给设置在下游的未图示的记录设备(记录介质)和未图示的传输路径。

增强层图像编码单元103包括代替正交变换跳过单元131的正交变换跳过单元132。

正交变换跳过单元132控制利用增强层图像编码单元103的正交变换单元114的正交变换处理的执行，和利用增强层图像编码单元103的逆正交变换单元119的逆正交变换处理的执行。例如，正交变换跳过单元132从基本层正交变换跳过缓冲器102，获得基本层的关于正交变换跳过的信息。

正交变换跳过单元132根据获得的关于正交变换跳过的信息，控制增强层图像编码单元103的正交变换单元114和逆正交变换单元119。更具体地，在增强层图像编码单元103的正交变换跳过单元132的控制下，增强层图像编码单元103的正交变换单元114执行或跳过正交变换处理。类似地，在增强层图像编码单元103的正交变换跳过单元132的控制下，增强层图像编码单元103的逆正交变换单元119执行或跳过逆正交变换处理。

增强层的关于正交变换跳过的信息不被传送。更具体地，在增强层图像编码单元103的情况下，无损编码单元116不生成跳过允许信息，不把跳过允许信息提供给正交变换跳过单元132，不从正交变换跳过单元132获得跳过识别信息，也不把跳过识别信息传送给解码方。

[正交变换跳过单元和基本层正交变换跳过缓冲器]

图17是图解说明正交变换跳过单元131、正交变换跳过单元132和基本层正交变换跳过缓冲器102的一般结构的例子的方框图。

如图17中图解所示，正交变换跳过单元131包括跳过编码单元141和跳过判定单元142。基本层正交变换跳过缓冲器102包括transform_skip_enable_flag缓冲器151，和transform_skip_flag缓冲器152。正交变换跳过单元132包括transform_skip_enable_flag控制单元161和transform_skip_flag控制单元162。

跳过编码单元141根据从基本层图像编码单元101的正交变换单元114获得的正交变换系数和正交变换之前的差分值，计算当进行正交变换时产生的成本函数值，和当跳过正交变换时产生的成本函数值。跳过编码单元141把计算的成本函数值提供给跳过判定单元142。

跳过判定单元142从基本层图像编码单元101的无损编码单元116，获得跳过允许信息(transform_skip_enable_flag)。跳过判定单元142根据获得的跳过允许信息(transform_skip_enable_flag)和从跳过编码单元141供给的成本函数值，判定对于当前块(当前TU)，是否跳过正交变换处理和逆正交变换处理。跳过判定单元142把进行与所述判定相应的控制的控制信号提供给基本层图像编码单元101的正交变换单元114和逆正交变换单元119，以控制正交变换处理和逆正交变换处理的执行。

跳过判定单元142还按照所述判定，生成跳过识别信息(transform_skip_flag)，然后把生成的跳过识别信息(transform_skip_flag)提供给基本层图像编码单元101的无损编码单元116，以便把该信息传送给解码方。

跳过判定单元142还把跳过允许信息(transform_skip_enable_flag)和跳过识别信息(transform_skip_flag)作为关于正交变换跳过的信息，提供给基本层正交变换跳过缓冲器102。

基本层正交变换跳过缓冲器102的transform_skip_enable_flag缓冲器151保存从跳过判定单元142供给的基本层的跳过允许信息(transform_skip_enable_flag)。transform_skip_enable_flag缓冲器151响应来自正交变换跳过单元132的请求，把保存的基本层的跳过允许信息(transform_skip_enable_flag)提供给正交变换跳过单元132。

基本层正交变换跳过缓冲器102的transform_skip_flag缓冲器152保存从跳过判定单元142供给的基本层的跳过识别信息(transform_skip_flag)。transform_skip_flag缓冲器152响应来自正交变换跳过单元132的请求，把保存的基本层的跳过识别信息(transform_skip_flag)提供给正交变换跳过单元132。

正交变换跳过单元132的transform_skip_enable_flag控制单元161从transform_skip_enable_flag缓冲器151，获得对应于当前画面的基本层的画面的跳过允许信息(transform_skip_enable_flag)，并把与该信息的值对应的控制信号提供给增强层图像编码单元103的正交变换单元114和逆正交变换单元119，以控制正交变换处理和逆正交变换处理的执行。

另一方面，正交变换跳过单元132的transform_skip_flag控制单元162从transform_skip_flag缓冲器152，获得对应于当前块(当前TU)的基本层的块(TU)的跳过识别信息(transform_skip_flag)，并把与该信息的值对应的控制信号提供给增强层图像编码单元103的正交变换单元114和逆正交变换单元119，以控制正交变换处理和逆正交变换处理的执行。

利用这种方法，可缩放编码设备100允许各层共享关于正交变换跳过的信息。这种情况下，可缩放编码设备100消除了作为待输出的图像压缩信息的一部分，传送增强层的关于正交变换跳过的信息的需要，从而实现编码效率的提高。

[编码处理的流程]

下面说明由这样构成的可缩放编码设备100进行的各个处理的流程。首先参考图18中所示的流程图，说明编码处理的例证流程。

随后编码处理的开始，在步骤S101，可缩放编码设备100把包含在图像数据的多层中的初始层设定为处理对象。

在步骤S102，可缩放编码设备100参照视频参数集(VPS)。在步骤S103，可缩放编码设备100根据参数diff_ref_layer的值，判定对应于处理对象的当前层是否是基本层。

当根据当前层的diff_ref_layer的值为“0”，判定当前层是基本层时，流程进入步骤S104。

在步骤S104，基本层图像编码单元101执行编码基本层图像信息的基本层编码处理。在步骤S104的处理结束之后，流程进入步骤S108。

当在步骤S103，根据当前层的diff_ref_layer的值不为“0”，判定当前层是增强层时，流程进入步骤S105。

在步骤S105，可缩放编码设备100确定对应于当前层的基本层。

在步骤S106，可缩放编码设备100根据视频参数集(VPS)的参数，确定基本层和增强层之间的块(TU)的相关性。例如，按照基本层和增强层的分辨率比，分量格式和其它条件，确定参考图8-10举例说明的TU的相关性。

在步骤S107，增强层图像编码单元103进行编码增强层图像信息的增强层编码处理。在步骤S107中的处理结束之后，流程进入步骤S108。

在步骤S108，可缩放编码设备100判定所有各层是否都已被处理。当判定剩余未处理的层时，流程进入步骤S109。

在步骤S109，可缩放编码设备100把随后的未处理层设定为新的处理对象。

在确定新的当前层之后，流程返回步骤S102。随后，重复步骤S102-步骤S109的处理，以对各层执行编码处理。

当在步骤S108，判定所有层都已被处理时，编码处理结束。

[基本层编码处理的流程]

下面参考图19中的流程图，说明在图18的步骤S104中执行的基本层编码处理的流程例子。

在步骤S121，基本层图像编码单元101的无损编码单元116根据来自用户的指令，生成对应于当前层的基本层的当前画面的跳过允许信息(transform_skip_enable_flag)。

在步骤S122，跳过判定单元142从无损编码单元116，获得跳过允许信息(transform_skip_enable_flag)，并把该信息提供给基本层正交变换跳过缓冲器102的transform_skip_enable_flag缓冲器151，以把该信息保存在transform_skip_enable_flag缓冲器151中。

在步骤S123，A/D转换器111进行输入基本层的图像信息(图像数据)的A/D转换。在步骤S124，画面重排缓冲器112保存经过A/D转换的基本层的图像信息(数字数据)，把各个画面的顺序从显示顺序切换成编码顺序。在步骤S125，帧内预测单元124按帧内预测模式，进行帧内预测处理。

在步骤S126，运动预测/补偿单元125进行帧间运动预测，以便按帧间预测模式，进行运动预测或运动补偿。

在步骤S127，预测图像选择单元126根据从帧内预测单元124和运动预测/补偿单元125输出的相应成本函数值，判定最佳模式。更具体地，预测图像选择单元126或者选择帧内预测单元124生成的预测图像，或者选择运动预测/补偿单元125生成的预测图像。

在步骤S128，计算单元113计算利用步骤S124中的处理重排的图像，和利用步骤S127中的处理选择的预测图像之间的差分。差分数据的数据量小于原始图像数据的数据量。从而，与原样编码图像的情况相比，可以实现数据量的更大压缩。

在步骤S129，正交变换跳过单元131执行基本层正交变换跳过控制处理。

在步骤S130，正交变换单元114按照步骤S129中的处理的结果，对由步骤S128中的处理生成的差分信息，进行正交变换处理。

在步骤S131，量化单元115利用速率控制单元127计算的量化参数，量化利用步骤S130中的处理获得的正交变换系数或正交变换之前的差分值。

按照以下方式，本地解码利用步骤S131中的处理量化的差分信息。在步骤S132，逆量化单元118根据与量化单元115的特性对应的特性，逆量化由步骤S131中的处理生成的量化系数(也称为量化系数)。在步骤S133，逆正交变换单元119按照步骤S129中的处理的结果，对利用步骤S132中的处理获得的正交变换系数或正交变换之前的差分值，进行逆正交变换处理。

步骤S133中的处理的详细说明与在后面说明的解码处理中进行的类似处理的说明相似，于是这里不再涉及。

在步骤S134，计算单元120相加预测图像和局部解码的差分信息，从而生成局部解码图像(与给计算单元113的输入对应的图像)。

在步骤S135，环路滤波器121对利用步骤S134中的处理生成的图像滤波。该处理除去块失真等。

在步骤S136，帧存储器122保存经历利用步骤S135中的处理的块失真的消除等的图像。帧存储器122还从计算单元120接收未利用环路滤波器121滤波的图像的供给，并保存该图像。保存在帧存储器122中的该图像用于步骤S125中的处理和步骤S126中的处理。

在步骤S137，无损编码单元116编码利用步骤S131中的处理量化的系数。更具体地，无损编码单元116对与差分图像对应的数据，进行诸如可变码长编码和算术编码之类的无损编码。

此时，无损编码单元116对利用步骤S127中的处理选择的预测图像的预测模式信息编码，然后把编码信息加入通过编码大部分图像而获得的编码数据中。更具体地，无损编码单元116还编码从帧内预测单元124供给的最佳帧内预测模式信息，或者从运动预测/补偿单元125供给的对应于最佳帧间预测模式的信息，然后把该编码信息加入编码数据中。

无损编码单元116还适当地编码关于正交变换跳过的信息，比如跳过识别信息(transform_skip_flag)，并把该编码信息加入编码数据中。

在步骤S138，累积缓冲器117累积利用步骤S137中的处理获得的基本层编码数据。累积在累积缓冲器117中的基本层编码数据被适当读取，并经传输路径或记录介质被传送给解码方。

在步骤S139，速率控制单元127根据利用步骤S138中的处理，累积在累积缓冲器117中的编码数据的代码量(生成的代码量)，控制量化单元115进行的量化操作的速率，以致不发生上溢或下溢。速率控制单元127还把关于量化参数的信息提供给量化单元115。

在步骤S139中的处理结束之后，基本层编码处理结束，从而流程返回图18。对每个画面进行基本层编码处理。更具体地，对当前层的每个画面，进行基本层编码处理。不过，对于各个处理，进行基本层编码处理内的相应处理。

[基本层正交变换跳过控制处理的流程]

下面参考图20中的流程图，说明在图19的步骤S129中执行的基本层正交变换跳过控制处理的流程例子。

随着基本层正交变换跳过控制处理的开始，在步骤S151，跳过判定单元142根据从无损编码单元116获得的跳过允许信息(transform_skip_enable_flag)，判定对于对应于处理对象的当前画面，是否已允许正交变换跳过。

当判定正交变换跳过被允许时，流程进入步骤S152。在步骤S152，跳过编码单元141把进行正交变换跳过的正交变换跳过模式包含为与当前画面的候选预测模式对应的候选模式之一。在步骤S152中的处理结束之后，流程进入步骤S154。

当在步骤S151，判定正交变换跳过未被允许时，流程进入步骤S153。在步骤S153，跳过编码单元141从当前画面的候选模式中，除去正交变换跳过模式。在步骤S153中的处理结束之后，流程进入步骤S154。

在步骤S154，跳过编码单元141选择当前画面的未处理的候选模式。

在步骤S155，跳过编码单元141判定选择的模式是否是正交变换跳过模式(即，是否执行正交变换跳过)。当判定选择的模式是正交变换跳过模式时，流程进入步骤S156。

在步骤S156，跳过编码单元141从正交变换单元114，获得正交变换之前的差分值，利用正交变换之前的差分值进行编码，并计算成本函数值。换句话说，跳过编码单元141在跳过正交变换处理的同时，进行编码，并计算成本函数值。跳过编码单元141把计算的正交变换模式下的成本函数值提供给跳过判定单元142。在步骤S156中的处理结束之后，流程进入步骤S159。

另一方面，当在步骤S155，判定选择的模式不是正交变换跳过模式时，流程进入步骤S157。在步骤S157，正交变换单元114进行正交变换之前的差分值的正交变换，以获得正交变换系数。在步骤S158，跳过编码单元141从正交变换单元114获得正交变换系数，利用正交变换之前的差分值进行编码，并计算成本函数值。换句话说，跳过编码单元141在跳过正交变换处理的同时，进行编码，并计算成本函数值。跳过编码单元141把计算的正交变换模式的成本函数值提供给跳过判定单元142。在步骤S156的处理结束之后，流程进入步骤S159。

在步骤S159，跳过编码单元141判定是否处理了所有的候选模式。当判定剩余未处理的候选模式时，流程返回步骤S154。当在重复从步骤S154-步骤S159的处理之后，在步骤S159，判定所有的候选模式都已被处理时，流程进入步骤S160。

在步骤S160，跳过判定单元142从候选模式中，判定最佳模式。判定为最佳模式的模式被用作实际编码模式。从而，跳过判定单元142把对应于最佳模式的控制信号提供给基本层图像编码单元101的正交变换单元114和逆正交变换单元119。

在步骤S161，跳过判定单元142生成对应于最佳模式的跳过识别信息(transform_skip_flag)。在步骤S162，跳过判定单元142把在步骤S161生成的跳过识别信息(transform_skip_flag)提供给基本层正交变换跳过缓冲器102的transform_skip_flag缓冲器152，以把跳过识别信息(transform_skip_flag)保存在transform_skip_flag缓冲器152中。

在步骤S162中的处理结束之后，基本层正交变换跳过控制处理结束，从而流程返回图19。对每个任意处理单位(比如每个LCU)，进行这种基本层正交变换跳过控制处理。不过，对于各个处理，进行基本层正交变换跳过控制处理内的相应处理。

[正交变换处理的流程]

下面参考图21中的流程图，说明在图19的步骤S130中执行的正交变换处理的流程例子。

随着正交变换处理的开始，按照跳过判定单元142的控制，正交变换单元114在步骤S181，判定对于当前块，是否跳过正交变换。当判定正交变换要被跳过时，流程进入步骤S182。

在步骤S182，正交变换单元114对于当前块，跳过正交变换处理，并输出当前块的在正交变换之前的差分值。在步骤S182中的处理结束之后，流程返回图19。

当在图21中的步骤S181，判定对于当前块，将不跳过正交变换时，流程进入步骤S183。

在步骤S183，正交变换单元114进行当前块的正交变换之前的差分值的正交变换。在步骤S184，正交变换单元114输出获得的正交变换系数。在步骤S184中的处理结束之后，正交变换处理结束，从而流程返回图19。

对各个任意处理单位(比如各个TU)进行正交变换处理。不过，对于各个处理，进行正交变换处理内的相应处理。

[增强层编码处理的流程]

下面参考图22中的流程图，说明在图18的步骤S107中进行的增强层编码处理的流程例子。

在步骤S201，增强层图像编码单元103的transform_skip_enable_flag控制单元161从基本层正交变换跳过缓冲器102的transform_skip_enable_flag缓冲器151，获得对应于当前层的基本层的当前画面的跳过允许信息(transform_skip_enable_flag)。

与基本层编码处理(图19)的步骤S123-步骤S128的相应处理类似地进行步骤S202-步骤S207的相应处理。不过，步骤S202-步骤S207的相应处理是由增强层图像编码单元103的相应处理单元，对增强层图像信息进行的。

在步骤S208，正交变换跳过单元132执行增强层正交变换跳过控制处理。

在步骤S209，增强层图像编码单元103的正交变换单元114按照步骤S208中的处理的结果，对利用步骤S207中的处理生成的差分信息，进行正交变换处理。除了增强层图像编码单元103的正交变换单元114在正交变换跳过单元132的控制下，对增强层的数据进行该处理，和在正交变换处理结束之后，流程返回图22之外，该处理是类似于参考图21中的流程图说明的正交变换处理进行的。从而，这里不再对该处理进行说明。

与基本层编码处理(图19)的步骤S131和步骤S132的相应处理类似地进行步骤S210和步骤S211的相应处理。不过，步骤S210和步骤S211的相应处理是由增强层图像编码单元103的相应处理单元，对增强层图像信息进行的。

在步骤S212，增强层图像编码单元103的逆正交变换单元119按照步骤S208中的处理的结果，对利用步骤S211中的处理获得的正交变换系数或正交变换之前的差分值，进行逆正交变换处理。除了增强层图像编码单元103的逆正交变换单元119在正交变换跳过单元132的控制下，对增强层的数据进行该处理，和在逆正交变换处理结束之后，流程返回图22之外，该处理是与在图19中的步骤S133进行的逆正交变换处理类似地进行的。从而，这里不再对该处理进行说明。

与基本层编码处理(图19)的步骤S134-步骤S139的相应处理类似地进行步骤S213-步骤S218的相应处理。不过，步骤S202-步骤S207的相应处理是由增强层图像编码单元103的相应处理单元，对增强层图像信息进行的。

在步骤S218中的处理结束之后，增强层编码处理结束，从而流程返回图18。对每个画面进行增强层编码处理。更具体地，对当前层的每个画面，进行增强层编码处理。不过，对于各个处理，进行增强层编码处理内的相应处理。

[增强层正交变换跳过控制处理的流程]

下面参考图23中的流程图，说明在图22的步骤S208中执行的增强层正交变换跳过控制处理的流程例子。

随着增强层正交变换跳过控制处理的开始，在步骤S231，transform_skip_enable_flag控制单元161根据从transform_skip_enable_flag缓冲器151获得的基本层的跳过允许信息(transform_skip_enable_flag)，判定对于对应于处理对象的当前画面，是否允许正交变换跳过。

当判定正交变换跳过被允许时，流程进入步骤S232。在步骤S232，transform_skip_flag控制单元162从transform_skip_flag缓冲器152获得对应于当前块(当前TU)的基本层的块(TU)的跳过识别信息(transform_skip_flag)。

在步骤S233，transform_skip_flag控制单元162按照在步骤S232中获得的跳过识别信息(transform_skip_flag)，判定对于当前块(当前TU)，是否跳过正交变换处理和逆正交变换处理。transform_skip_flag控制单元162把对应于所述判定的控制信号提供给增强层图像编码单元103的正交变换单元114和逆正交变换单元119。

在步骤S234，判定当前画面的所有块(TU)是否都已被处理。当判定剩余未处理的块(TU)时，流程进入步骤S235。在步骤S235，transform_skip_flag控制单元162把随后的未处理块(TU)设定为当前块(当前TU)，以便更新。

在步骤S235中的处理结束之后，流程返回步骤S232。重复执行步骤S232-步骤S235的各个处理，以处理各个块(TU)。当在步骤S234，判定所有块(TU)都已被处理时，增强层正交变换跳过控制处理结束，从而处理返回图22。

当在图23的步骤S231中，判定正交变换跳过未被允许时，流程进入步骤S236。

在步骤S236，transform_skip_enable_flag控制单元161禁止当前画面的所有块(TU)的正交变换跳过。transform_skip_enable_flag控制单元161把指示这种意向的控制信号提供给增强层图像编码单元103的正交变换单元114和逆正交变换单元119。

在步骤S236的处理结束之后，增强层正交变换跳过控制处理结束，从而流程返回图22。对每个任意处理单位(比如每个画面)进行这种增强层正交变换跳过控制处理。不过，对于每个处理，进行增强层正交变换跳过控制处理内的相应处理。

通过按照上述方式进行相应处理，可缩放编码设备100抑制编码效率的降低，和由编码和解码引起的画质的降低。

<2.第二实施例>

[可缩放解码设备]

下面说明按上述方式，经过可缩放编码的编码数据(比特流)的解码。图24是图解说明与图14中图解说明的可缩放编码设备100对应的可缩放解码设备的一般结构的例子的方框图。图24中图解所示的可缩放解码设备200通过采用与可缩放编码设备100的编码方法对应的方法，进行与经过可缩放编码设备100的可缩放编码的图像数据对应的编码数据的可缩放解码。

可缩放解码设备200包括基本层图像解码单元201、基本层正交变换跳过缓冲器202和增强层图像解码单元203。

基本层图像解码单元201是对应地基本层图像编码单元101的图像解码单元，获得与由基本层图像编码单元101编码的基本层图像信息对应的基本层编码数据。基本层图像解码单元201不参照另一层地解码基本层编码数据，重构基本层图像信息，并输出重构的基本层图像信息。基本层图像解码单元201还获得从编码方传送的关于正交变换跳过的信息，并把获得的信息提供给基本层正交变换跳过缓冲器202。

基本层正交变换跳过缓冲器202保存从基本层图像解码单元201供给的关于正交变换跳过的信息。基本层正交变换跳过缓冲器202响应请求，把保存的关于正交变换跳过的信息提供给增强层图像解码单元203。

增强层图像解码单元203是对应于增强层图像编码单元103的图像解码单元，获得与增强层图像编码单元103编码的增强层图像信息对应的增强层编码数据。增强层图像解码单元203从基本层正交变换跳过缓冲器202获得基本层的关于正交变换跳过的信息，并参照获得的信息，解码增强层编码数据。增强层图像解码单元203利用该解码处理，重构增强层图像信息，并输出重构的增强层图像信息。

解码时，增强层图像解码单元203参照如上所述，从编码方传送的基本层的关于正交变换跳过的信息，控制逆正交变换处理的跳过。

从而，可缩放解码设备200消除传送关于增强层的正交变换跳过的信息的处理，从而抑制编码效率的降低。

[基本层图像解码单元]

图25是图解说明图24中的基本层图像解码单元201的一般结构的例子的方框图。如图25中图解所示，基本层图像解码单元201包括累积缓冲器211、无损解码单元212、逆量化单元213、逆正交变换单元214、计算单元215、环路滤波器216、画面重排缓冲器217和D/A转换器218。基本层图像解码单元201还包括帧存储器219、选择单元220、帧内预测单元221、运动预测/补偿单元222和选择单元223。

基本层图像解码单元201还包括逆正交变换跳过单元231。

累积缓冲器211还起接收传送的基本层编码数据的接收单元的作用。累积缓冲器211接收传送的基本层编码数据，累积编码数据，并在预定定时，把编码数据提供给无损解码单元212。为解码所需的信息，比如预测模式信息，和关于正交变换跳过的信息(包括跳过允许信息和跳过识别信息)被加入基本层编码数据中。

无损解码单元212从累积缓冲器211，接收利用无损编码单元116编码的信息的供给，并用与无损编码单元116的编码方式对应的方式，解码该信息。无损解码单元212把通过解码获得的差分图像的量化系数数据提供给逆量化单元213。

无损解码单元212适当地提取并获得包含在基本层编码数据中，包含视频参数集(VPS)、序列参数集(SPS)和图像参数集(PPS)等的NAL单元。无损解码单元212从上述信息中，提取关于最佳预测模式的信息，根据该信息，判定帧内预测模式和帧间预测模式中的哪一个被选为最佳预测模式，然后把关于最佳预测模式的信息提供给与判定为所选模式的模式对应的帧内预测单元221或运动预测/补偿单元222。更具体地，当判定基本层图像编码单元101选择帧内预测模式作为最佳预测模式时，关于对应的最佳预测模式的信息被提供给帧内预测单元221。另一方面，当判定基本层图像编码单元101选择帧间预测模式作为最佳预测模式时，关于对应的最佳预测模式的信息被提供给运动预测/补偿单元222。

无损解码单元212还从NAL单元等中，提取逆量化所需的信息，比如量化矩阵和量化参数，并把提取的信息提供给逆量化单元213。无损解码单元212还从NAL单元等中，提取包含跳过允许信息(transform_skip_enable_flag)、跳过识别信息(transform_skip_flag)等的关于正交变换跳过的信息，并把该信息提供给逆正交变换跳过单元231。

逆量化单元213用与量化单元115的量化方式对应的方式，逆量化在无损解码单元212，通过解码获得的量化系数数据。逆量化单元213是类似于逆量化单元118的处理单元。从而，逆量化单元213的说明适用于逆量化单元118的说明。不过，需要按照设备适当地切换数据输入和数据输出的相应目标等。

逆量化单元213把获得的系数数据提供给逆正交变换单元214。

在逆正交变换跳过单元231的控制下，逆正交变换单元214酌情利用与正交变换单元114的正交变换方式对应的方法，进行从逆量化单元213供给的系数数据(正交变换系数或正交变换之前的差分值)的逆正交变换。逆正交变换单元214是类似于逆正交变换单元119的处理单元。从而，逆正交变换单元214的说明适用于逆正交变换单元119的说明。不过，需要按照设备适当地切换数据输入和数据输出的相应目标等。

逆正交变换单元214进行这种逆正交变换处理，以获得与在正交变换单元114进行的正交变换之前的残差数据对应的解码的残差数据。利用逆正交变换获得的解码的残差数据被提供给计算单元215。预测图像也经选择单元223，从帧内预测单元221或运动预测/补偿单元222被提供给计算单元215。

计算单元215相加预测图像和解码的残差数据，从而获得与在计算单元113进行的预测图像的减法之前的图像数据对应的解码图像数据。计算单元215把解码图像数据提供给环路滤波器216。

环路滤波器216对供给的重构图像，适当地进行滤波，包括解块滤波，自适应环路滤波等，然后把滤波后的解码图像提供给画面重排缓冲器217和帧存储器219。例如，环路滤波器216对解码图像，进行解块滤波，从而从解码图像中消除块失真。另外，例如，环路滤波器216利用Wiener滤波器，对解块滤波的结果(从中消除块失真的解码图像)，进行环路滤波，从而改善画质。环路滤波器216是类似于环路滤波器121的处理单元。

从计算单元215输出的解码图像可在无环路滤波器216介入的情况下，被提供给画面重排缓冲器217和帧存储器219。换句话说，环路滤波器216进行的滤波的一部分或者全部可被省略。

画面重排缓冲器217重排解码图像。更具体地，利用画面重排缓冲器112切换成编码顺序的各帧的顺序被切换成原始显示顺序。D/A转换器218进行从画面重排缓冲器217供给的图像的D/A转换，然后把转换后的图像输出给未图示的显示器，以便把图像显示在该显示器上。

帧存储器219保存供给的解码图像，并在预定定时，或者响应来自外部，比如帧内预测单元221和运动预测/补偿单元222的请求，把保存的解码图像作为参照图像，提供给选择单元220。

选择单元220选择从帧存储器219供给的参照图像的供给目的地。在解码帧内编码图像之际，选择单元220把从帧存储器219接收的参照图像提供给帧内预测单元221。在解码帧间编码图像之际，选择单元220把从帧存储器219接收的参照图像提供给运动预测/补偿单元222。

帧内预测单元221适当地从无损解码单元212，接收指示通过解码头部信息而获得的帧内预测模式的信息的供给。帧内预测单元221按帧内预测单元124使用的帧内预测模式，根据从帧存储器219获得的参照图像，进行帧内预测，以便生成预测图像。帧内预测单元221把生成的预测图像提供给选择单元223。

运动预测/补偿单元222从无损解码单元212，获得通过解码头部信息而获得的信息(比如最佳预测模式信息和参照图像信息)。

运动预测/补偿单元222按由从无损解码单元212获得的最佳预测模式信息指示的帧间预测模式，根据从帧存储器219获得的参照图像，进行帧间预测，以便生成预测图像。

选择单元223把从帧内预测单元221接收的预测图像，或者从运动预测/补偿单元222接收的预测图像提供给计算单元215。计算单元215相加利用运动向量生成的预测图像，和从逆正交变换单元214接收的解码的残差数据(差分图像信息)，以通过解码，获得原始图像。

逆正交变换跳过单元231获得经无损解码单元212，从编码方供给的关于正交变换跳过的信息(比如跳过允许信息和跳过识别信息)，根据该信息，判定是否跳过(省略)逆正交变换处理，并按照所述判定，控制由基本层图像解码单元201的逆正交变换单元214进行的逆正交变换处理的执行。

在逆正交变换跳过单元231的控制下，基本层图像解码单元201的逆正交变换单元214执行或跳过逆正交变换处理。

逆正交变换跳过单元231把包含获得的跳过允许信息和跳过识别信息的关于正交变换跳过的信息，提供给基本层正交变换跳过缓冲器202。

[增强层图像解码单元]

图26是图解说明图24中的增强层图像解码单元203的一般结构的例子的方框图。如图26中图解所示，增强层图像解码单元203具有与图25中的基本层图像解码单元201的结构基本类似的结构。更具体地，增强层图像解码单元203包括从累积缓冲器211到选择单元223的各个单元。

然而，增强层图像解码单元203的各个单元进行解码增强层编码数据，而不是基本层编码数据的处理。更具体地，累积缓冲器211接收并累积增强层编码数据，而D/A转换器218把增强层图像信息(解码图像)输出给设置在下游的未图示的记录设备(记录介质)和未图示的显示单元。

增强层图像解码单元203还包括代替逆正交变换跳过单元231的逆正交变换跳过单元232。

逆正交变换跳过单元232控制增强层图像解码单元203的逆正交变换单元214的逆正交变换处理的执行。例如，逆正交变换跳过单元232从基本层正交变换跳过缓冲器202获得基本层的关于正交变换跳过的信息。

逆正交变换跳过单元232根据所述关于正交变换跳过的信息，控制增强层图像解码单元203的逆正交变换单元214。更具体地，在逆正交变换跳过单元232的控制下，增强层图像解码单元203的逆正交变换单元214执行或跳过逆正交变换处理。

增强层的关于正交变换跳过的信息不被传送。更具体地，在增强层图像解码单元203的情况下，无损解码单元212不获得关于正交变换跳过的信息(跳过允许信息和跳过识别信息)，也不把该信息提供给逆正交变换跳过单元232。

[逆正交变换跳过单元和基本层正交变换跳过缓冲器]

图27是图解说明逆正交变换跳过单元231、逆正交变换跳过单元232和基本层正交变换跳过缓冲器202的一般结构的例子的方框图。

如图27中图解所示，逆正交变换跳过单元231包括逆正交变换跳过控制单元241。基本层正交变换跳过缓冲器202包括transform_skip_enable_flag缓冲器251和transform_skip_flag缓冲器252。逆正交变换跳过单元232包括transform_skip_enable_flag控制单元261和transform_skip_flag控制单元262。

逆正交变换跳过控制单元241从基本层图像解码单元201的无损解码单元212，获得从编码方传送的关于正交变换跳过的信息(比如跳过允许信息(transform_skip_enable_flag)和跳过识别信息(transform_skip_flag))。

逆正交变换跳过控制单元241按照关于正交变换跳过的信息的值，判定是否跳过逆正交变换处理。逆正交变换跳过控制单元241把进行与所述判定对应的控制的控制信号提供给基本层图像解码单元201的逆正交变换单元214，以控制逆正交变换处理的执行。

逆正交变换跳过控制单元241还把从无损解码单元212获得的关于正交变换跳过的信息(比如跳过允许信息(transform_skip_enable_flag)和跳过识别信息(transform_skip_flag))提供给基本层正交变换跳过缓冲器202。

基本层正交变换跳过缓冲器202的transform_skip_enable_flag缓冲器251保存从逆正交变换跳过控制单元241供给的跳过允许信息(transform_skip_enable_flag)。transform_skip_enable_flag缓冲器251响应来自transform_skip_enable_flag控制单元261的请求，把保存的基本层的跳过允许信息(transform_skip_enable_flag)提供给transform_skip_enable_flag控制单元261。

基本层正交变换跳过缓冲器202的transform_skip_flag缓冲器252保存从逆正交变换跳过控制单元241供给的基本层的跳过识别信息(transform_skip_flag)。transform_skip_flag缓冲器252响应来自transform_skip_flag控制单元262的请求，把保存的基本层的跳过识别信息(transform_skip_flag)提供给transform_skip_flag控制单元262。

逆正交变换跳过单元232的transform_skip_enable_flag控制单元261从transform_skip_enable_flag缓冲器251，获得与当前画面对应的基本层的画面的跳过允许信息(transform_skip_enable_flag)，把与该信息的值对应的控制信号提供给增强层图像解码单元203的逆正交变换单元214，以控制逆正交变换处理的执行。

另一方面，逆正交变换跳过单元232的transform_skip_flag控制单元262从transform_skip_flag缓冲器252，获得与当前块(当前TU)对应的基本层的块(TU)的跳过识别信息(transform_skip_flag)，把与该信息的值对应的控制信号提供给增强层图像解码单元203的逆正交变换单元214，以控制逆正交变换处理的执行。

利用这种方法，可缩放解码设备200允许各层共享关于正交变换跳过的信息。从而，可缩放解码设备200消除了作为待输出的图像压缩信息的一部分，传送增强层的关于正交变换跳过的信息的需要，从而改善编码效率。

[解码处理的流程]

下面说明由这样构成的可缩放解码设备200进行的各个处理的流程。首先参考图28，说明解码处理的流程例子。

随着编码处理的开始，在步骤S301，可缩放解码设备200把包含在解码数据的多层中的初始层设定为处理对象。

在步骤S302，可缩放解码设备200获得从编码方传送的视频参数集(VPS)。在步骤S303，可缩放解码设备200参照获得的视频参数集(VPS)，根据包含在视频参数集(VPS)中的关于当前层的参数diff_ref_layer的值，判定对应于处理对象的当前层是否是基本层。

当根据当前层的diff_ref_layer的值“0”，判定当前层是基本层时，流程进入步骤S304。

在步骤S304，基本层图像解码单元201进行解码基本层编码数据的基本层解码处理。在步骤S304中的处理结束之后，流程进入步骤S308。

当在步骤S303，根据当前层的diff_ref_layer的值不为“0”，判定当前层是增强层时，流程进入步骤S305。

在步骤S305，可缩放解码设备200确定对应于当前层的基本层。

在步骤S306，可缩放解码设备200根据视频参数集(VPS)的参数，判定基本层和增强层之间的块(TU)的相关性。

在步骤S307，增强层图像解码单元203进行解码增强层编码数据的增强层解码处理。在步骤S307中的处理结束之后，流程进入步骤S308。

在步骤S308，可缩放解码设备200判定所有各层是否都已被处理。当判定剩余未处理的层时，流程进入步骤S309。

在步骤S309，可缩放解码设备200把随后的未处理层设定为新的处理对象。

在确定新的当前层之后，流程返回步骤S302。随后，重复步骤S302-步骤S309的处理，以对相应层进行解码处理。

当在步骤S308，判定所有各层都已被处理时，解码处理结束。

[基本层解码处理的流程]

下面参考图29中的流程图，说明在图28的步骤S304中执行的基本层解码处理的流程例子。

随着基本层解码处理的开始，在步骤S321，基本层图像解码单元201的累积缓冲器211累积从编码方传送的基本层的比特流。在步骤S322，无损解码单元212解码从累积缓冲器211供给的基本层的比特流(编码差分图像信息)。更具体地，无损解码单元212解码利用无损编码单元116编码的I图像、P图像和B图像。此时，包含在比特流中的各种信息也被解码，比如除差分图像信息外的头部信息。

在步骤S323，逆正交变换跳过控制单元241获得利用无损解码单元212，从基本层的编码数据中提取的跳过允许信息(transform_skip_enable_flag)。在步骤S324，逆正交变换跳过控制单元241把在步骤S323中获得的跳过允许信息(transform_skip_enable_flag)提供给transform_skip_enable_flag缓冲器251，从而把跳过允许信息(transform_skip_enable_flag)保存在transform_skip_enable_flag缓冲器251中。

在步骤S325，逆量化单元213逆量化利用步骤S322中的处理获得的量化系数。

在步骤S326，逆正交变换跳过控制单元241进行基本层逆正交变换跳过控制处理。在步骤S327，逆正交变换单元214按照步骤S326中的控制，对当前块(当前TU)进行逆正交变换处理。

在步骤S328，帧内预测单元221或运动预测/补偿单元222进行预测处理，从而生成预测图像。这种情况下，按无损解码单元212判定的在编码之际应用的预测模式，进行预测处理。更具体地，例如当在编码之际，应用帧内预测时，帧内预测单元221按在编码之际，判定为最佳的帧内预测模式，生成预测图像。另一方面，当在编码之际，应用帧间预测时，运动预测/补偿单元222按在编码之际，判定为最佳的帧间预测模式，生成预测图像。

在步骤S329，计算单元215相加在步骤S328中生成的预测图像，和利用步骤S327中的逆正交变换处理获得的差分图像信息。结果，通过解码，获得原始图像。

在步骤S330，环路滤波器216适当地对在步骤S329中获得的解码图像，进行环路滤波。

在步骤S331，画面重排缓冲器217重排在步骤S330中滤波的图像。更具体地，利用画面重排缓冲器112为编码而重排的各帧的顺序被切换成原始显示的顺序。

在步骤S332，D/A转换器进行在步骤S331中，经过各帧的重排的图像的D/A转换。这样转换的图像被输出给未图示的显示器，以便把图像显示在显示器上。

在步骤S333，帧存储器219保存在步骤S330中环路滤波的图像。

在步骤S333中的处理结束之后，基本层解码处理终止，从而流程返回图28。

[基本层逆正交变换跳过控制处理的流程]

下面参考图30的流程图，说明在图29的步骤S326中执行的基本层逆正交变换跳过控制处理的流程例子。

随着基本层逆正交变换跳过控制处理的开始，在步骤S351，逆正交变换跳过控制单元241根据利用图29中的步骤S323的处理获得的跳过允许信息(transform_skip_enable_flag)，判定是否已允许对于当前画面的逆正交变换处理的跳过。

当判定已允许逆正交变换处理的跳过时，流程进入步骤S352。在步骤S352，逆正交变换跳过控制单元241从基本层图像解码单元201的无损解码单元212，获得当前块(当前TU)的跳过识别信息(transform_skip_flag)。

在步骤S353，逆正交变换跳过控制单元241把在步骤S352中获得的跳过识别信息(transform_skip_flag)提供给transform_skip_flag缓冲器252，以便把跳过识别信息(transform_skip_flag)保存在transform_skip_flag缓冲器252中。

在步骤S354，逆正交变换跳过控制单元241判定对于当前块(当前TU)，是否跳过逆正交变换处理。逆正交变换跳过控制单元241把对应于所述判定的控制信号提供给基本层图像解码单元201的逆正交变换单元214。

在步骤S355，逆正交变换跳过控制单元241判定对于当前画面，是否所有块(TU)都已被处理。当判定剩余未处理的块(TU)时，流程进入步骤S356。在步骤S356，逆正交变换跳过控制单元241把随后的未处理块(TU)设定成当前块(当前TU)，以便更新。

在步骤S356中的处理结束之后，流程返回步骤S352。重复步骤S352-步骤S356的各个处理，以处理各个块(TU)。当在步骤S355，判定所有块(TU)都已被处理时，基本层正交变换跳过控制处理结束，从而流程返回图29。

当在图30中的步骤S351，判定不允许逆正交变换的跳过时，流程进入步骤S357。

在步骤S357，逆正交变换跳过控制单元241对于当前画面的所有块(TU)，禁止正交变换跳过。逆正交变换跳过控制单元241把指示这种意向的控制信号提供给基本层图像解码单元201的逆正交变换单元214。

在步骤S357的处理结束之后，基本层逆正交变换跳过控制处理结束，从而流程返回图29。对各个任意处理单位(比如各个画面)，进行这种基本层逆正交变换跳过控制处理。不过，对于各个处理，执行基本层逆正交变换跳过控制处理内的相应处理。

[逆正交变换处理的流程]

下面参考图31的流程图，说明在图29的步骤S327中执行的逆正交变换处理的流程例子。

随着逆正交变换处理的开始，在步骤S371，在逆正交变换跳过控制单元241的控制下，逆正交变换单元214判定对于当前块，是否跳过逆正交变换。当判定要跳过逆正交变换时，逆正交变换处理结束。随后，流程返回图29。

当在图31的步骤S371，判定对于当前块，将不跳过逆正交变换时，流程进入步骤S372。

在步骤S372，逆正交变换单元214进行当前块的正交变换系数的逆正交变换。在步骤S372中的处理结束之后，逆正交变换处理结束，从而流程返回图29。

对各个任意处理单位(比如各个TU)，进行这种逆正交变换处理。不过，对于各个处理，进行逆正交变换处理内的相应处理。

[增强层编码处理的流程]

下面参考图32中的流程图，说明在图28的步骤S307中执行的增强层解码处理的流程例子。

与基本层解码处理(图29)的步骤S321和步骤S322中的相应处理类似地进行步骤S401和步骤S402中的相应处理。不过，步骤S401和步骤S402中的相应处理是由增强层图像解码单元203的相应处理单元，对增强层编码数据进行的。

在步骤S403，增强层图像解码单元203的transform_skip_enable_flag控制单元261从基本层正交变换跳过缓冲器202的transform_skip_enable_flag缓冲器251，获得对应于当前层的基本层的当前画面的跳过允许信息(transform_skip_enable_flag)。

与基本层编码处理(图29)的步骤S235中的处理类似地进行步骤S404中的处理。不过，步骤S404中的处理是由增强层图像解码单元203的相应处理单元，对增强层的数据进行的。

在步骤S405，逆正交变换跳过单元232进行增强层逆正交变换跳过控制处理。

在步骤S406，增强层图像解码单元203的逆正交变换单元214按照步骤S405中的处理的结果，对利用步骤S404中的处理生成的差分图像，进行正交变换处理。除了增强层图像解码单元203的逆交变换单元214在逆正交变换跳过单元232的控制下，对增强层的数据进行该处理，和在逆正交变换处理结束之后，流程返回图32之外，该处理是类似于参考图31中的流程图说明的逆正交变换处理进行的。从而，这里不再对该处理进行说明。

与基本层解码处理(图29)中的步骤S328-步骤S333的相应处理类似地进行步骤S407-步骤S412的相应处理。不过，步骤S407-步骤S412的相应处理是由增强层图像解码单元203的相应处理单元，对增强层的数据进行的。

在步骤S412中的处理结束之后，增强层解码处理结束，从而流程返回图28。对每个画面进行增强层解码处理。更具体地，对当前层的每个画面，进行增强层解码处理。不过，对于各个处理，进行增强层解码处理内的相应处理。

[增强层逆正交变换跳过控制处理的流程]

下面参考图33中的流程图，说明在图32的步骤S405中执行的增强层逆正交变换跳过控制处理的流程例子。

随着增强层逆正交变换跳过控制处理的开始，在步骤S431，transform_skip_enable_flag控制单元261根据从transform_skip_enable_flag缓冲器251获得的基本层的跳过允许信息(transform_skip_enable_flag)，判定对于与处理对象对应的当前画面，是否允许逆正交变换处理的跳过。

当判定允许逆正交变换处理的跳过时，流程进入步骤S432。在步骤S432，transform_skip_flag控制单元262从transform_skip_flag缓冲器252，获得与当前块(当前TU)对应的基本层的块(TU)的跳过识别信息(transform_skip_flag)。

在步骤S433，transform_skip_flag控制单元262根据在步骤S432中获得的跳过识别信息(transform_skip_flag)，判定对于当前块(当前TU)，是否跳过逆正交变换处理。transform_skip_flag控制单元262把与所述判定对应的控制信号，提供给增强层图像解码单元203的逆正交变换单元214。

在步骤S434，transform_skip_flag控制单元262判定对于当前画面，是否所有块(TU)都已被处理。当判定剩余未处理的块(TU)时，流程进入步骤S435。在步骤S435，transform_skip_flag控制单元262把随后的未处理块(TU)设定成当前块(当前TU)，以便更新。

在步骤S435中的处理结束之后，流程返回步骤S432。重复执行步骤S432-步骤S435的各个处理，以处理相应块(TU)。当在步骤S434中，判定所有块(TU)都已被处理时，增强层逆正交变换跳过控制处理结束。随后，流程返回图32。

当在图33的步骤S431，判定逆正交变换处理的跳过未被允许时，流程进入步骤S436。

在步骤S436，transform_skip_enable_flag控制单元261对于当前画面的所有块(TU)，禁止逆正交变换处理的跳过。transform_skip_enable_flag控制单元261把指示这种意向的控制信号提供给增强层图像解码单元203的逆正交变换单元214。

在步骤S436中的处理结束之后，增强层逆正交变换跳过控制处理结束，从而处理返回图32。对每个任意处理单位(比如每个画面)进行该增强层逆正交变换跳过控制处理。不过，对于各个处理，进行增强层逆正交变换跳过控制处理内的相应处理。

通过按照上述方式，进行相应处理，可缩放解码设备200抑制编码效率的降低，和因编码及解码引起的画质的降低。

<3.其它>

按照上面的说明，利用可缩放编码，图像数据被分层成多层。这种情况下，层数可被任意确定。另外，如在图34的例子中图解所示，可以只有一部分的画面被分层。按照上面的说明，在编码或解码时，参照基本层，处理增强层。不过，可以参照另一个处理过的增强层，处理增强层。

这里讨论的层包括利用多视点图像编码和解码获得的视图(view，视点或视图)。换句话说，本技术适用于多视点图像编码和多视点图像解码。图35图解说明多视点图像编码方式的例子。

如图35中图解所示，多视点图像包括多个视点(或视图)的图像。这种情况下，多个视点中的预定视点的图像被指定为基本视点图像。除基本视点图像外的各个视点的图像被视为非基本视点图像。

在编码和解码图35中图解所示的多视点图像时，对每个视点进行相应视点的图像的编码和解码。这种情况下，这里讨论的方法适用于各个视点的编码和解码。更具体地，在多视点编码和解码中，多个视点可以共享关于正交变换跳过的信息。

例如，基本视点是在不参照其它视点的关于正交变换跳过的信息的情况下编码和解码的，而非基本视点是在参照基本视点的关于正交变换跳过的信息的情况下编码和解码的。这种情况下，只传送基本视点的关于正交变换跳过的信息。

利用这种方法，类似于可缩放编码和解码，在多视点编码和解码中，抑制编码效率的降低。

根据上面所述，本技术显然适用于采用进行正交变换跳过(Transform Skip)的编码和解码方式的任何种类的图像编码设备和图像解码设备。

另外，本技术适用于在通过卫星广播、有线电视、因特网或蜂窝电话机，或者其它网络介质，接收利用离散余弦变换或其它正交变换和运动补偿，比如MPEG、H.26x压缩的图像信息(比特流)时使用的图像编码设备和图像解码设备。另外，本技术适用于当在诸如光盘和磁盘，或闪存之类记录介质上处理时使用的图像编码设备和图像解码设备。此外，本技术适用于包含在这些图像编码设备和图像解码设备中的正交变换设备或逆正交变换设备。

<4.第三实施例>

[计算机]

上述一系列处理可用硬件执行，或者可用软件执行。当用软件执行所述一系列处理时，构成所述软件的程序被安装到计算机中。本上下文中的计算机包括内置到专用硬件中的计算机，和借助安装到其中的各种程序，能够执行各种功能的计算机，比如通用个人计算机。

图36是图解说明借助程序，执行上述一系列处理的计算机的硬件的结构例子的方框图。

在图36中图解所示的计算机800中，CPU(中央处理器)801、ROM(只读存储器)802和RAM(随机存取存储器)803通过总线804互连。

另外，输入/输出接口810与总线804相连。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815与输入/输出接口810相连。

输入单元811例如由键盘、鼠标、麦克风、触摸面板、输入端子等构成。输出单元812例如由显示器、扬声器、输出端子等构成。存储单元813例如由硬盘、RAM盘、非易失性存储器等构成。通信单元814例如由网络接口构成。驱动器815驱动诸如磁盘、光盘、磁光盘和半导体存储器之类的可拆卸介质821。

按照这样构成的计算机，CPU 801执行保存在存储单元813中，并经输入/输出接口815和总线804载入RAM 803中的程序，以执行上面说明的一系列处理。RAM 803还适当地保存为CPU 801执行各种处理所需的数据。

计算机(CPU 801)执行的程序可被记录在作为套装介质的可拆卸介质821上，并按这种形式被使用。另外，可通过诸如局域网、因特网和数字卫星广播之类的有线或无线传输介质，提供程序。

通过把可拆卸介质821附接到驱动器815，可经输入/输出接口810，把程序安装到存储单元813中。另一方面，可通过有线或无线传输介质，利用通信单元814接收程序，并安装到存储单元813中。此外，程序可被预先安装到ROM 802或存储单元813中。

计算机执行的程序可以是按照在本说明书中说明的顺序，时序地进行处理的程序，或者并行地或在必要时(比如调用时)，进行处理的程序。

说明记录在记录介质上的程序的步骤不仅包括按照这里讨论的顺序，时序地进行的处理，而且包括并行地或者单独地执行，而不一定时序地执行的处理。

按照本说明书，系统指的是多个组成元件(比如设备、模块(组件))的集合，包括所有组成元件被包含在相同机壳中的情况，和一些组成元件未被包含在相同机壳中的情况。因而，容纳在单独的机壳中，并通过网络连接的多个设备，和包括容纳在一个机壳内的多个模块的一个设备都被视为系统。

按照上面的说明，描述成一个设备(或处理单元)的结构可被分割成多个设备(或处理单元)。相反，描述成多个设备(或处理单元)的结构可被组合成一个设备(或处理单元)。不必说，可向各个设备(或各个处理单元)的结构中，增加这里未说明的结构。另外，当整个系统的结构和操作大体相同时，某个设备(或处理单元)的结构的一部分可被并入另一个设备(或另一个处理单元)的结构中。

尽管参考附图，详细说明了按照本公开的优选实施例，不过，本公开的技术范围并不局限于这些例子。显然，在权利要求书中记载的技术精神的范围之内，本公开的技术领域的普通技术人员能够按照本技术提出各种变化和修改的例子，于是，这些变化和修改自然也包含在本公开的技术范围中。

例如，本技术适用于其中一个功能由多个设备通过网络彼此协同地分担处理的云计算系统。

参考流程图说明的每个步骤可由多个设备分担地执行，而不是由一个设备执行。

当多个处理包含在一个步骤中时，包含在一个步骤中的多个处理可由多个设备分担地执行，而不是由一个设备执行。

按照上述实施例的图像编码设备和图像解码设备适用于卫星广播，诸如有线电视之类的有线广播，因特网上的分发，用于通过蜂窝通信到终端的分发的发送器或接收器，把图像记录在诸如光盘、磁盘或闪存之类介质上的记录设备，或者从这些种类的存储介质再现图像的再现设备，和其它各种电子设备。下面讨论4个应用例子。

<5.应用例子>

[第一应用例子：电视接收机]

图37图解说明上述实施例适用于的电视机的一般结构的例子。电视机900包括天线901，调谐器902，分用器903，解码器904，视频信号处理单元905，显示单元906，音频信号处理单元907，扬声器908，外部接口909，控制单元910，用户接口911和总线912。

调谐器902从通过天线901接收的广播信号中，提取期望频道的信号，解调提取的信号。随后，调谐器902把通过解调获得的编码比特流输出给分用器903。从而，调谐器902具有作为接收与编码图像对应的编码流的电视机900的传输单元的功能。

分用器903从编码比特流中，分离对应于观看对象的节目的视频流和音频流，并把分离获得的各个流输出给解码器904。分用器903还从编码比特流中，提取诸如EPG(电子节目指南)之类的辅助数据，然后把提取的数据提供给控制单元910。当编码比特流是加扰流时，分用器903可解扰编码比特流。

解码器904解码从分用器903输入的视频流和音频流。随后，解码器904把通过解码生成的视频数据输出给视频信号处理单元905。解码器904还把通过解码生成的音频数据输出给音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，把视频图像显示在显示单元906上。视频信号处理单元905还接收通过网络供给的应用画面，把应用画面显示在显示单元906上。视频信号处理单元905可按照设定，对视频数据进行诸如噪声消除之类的附加处理。视频信号处理单元905可生成诸如菜单、按钮和光标之类的GUI(图形用户接口)的图像，并把生成的图像重叠在输出图像上。

显示单元906是按照从视频信号处理单元905供给的驱动信号驱动的，把视频图像或图像显示在显示设备(比如液晶显示器、等离子体显示器、OLED(有机电致发光显示器(有机EL显示器))的视频屏幕上。

音频信号处理单元907对从解码器904输入的音频数据，进行诸如D/A转换和放大之类的再现处理，从扬声器908输出声音。音频信号处理部分907可对音频数据进行诸如噪声消除之类的附加处理。

外部接口909是用于电视机900和外部设备或网络的之间的连接的接口。例如，通过外部接口909接收的视频流或音频流可被解码器904解码。换句话说，外部接口909还起接收与编码图像对应的编码流的电视机900的传输单元作用。

控制单元910包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存CPU执行的程序，程序数据，EPG数据，和通过网络获得的数据。在启动电视机900时，CPU读取并执行保存在存储器中的程序。CPU执行所述程序，以按照从用户接口911输入的操作信号，控制电视机900的操作。

用户接口911与控制单元910相连。例如，用户接口911包括供用户操作电视机900的按钮和开关，和接收遥控信号的接收单元。用户接口911根据通过这些组成元件，从用户输入的操作的检测，生成操作信号，然后把生成的操作信号输出给控制单元910。

总线912连接调谐器902，分用器903，解码器904，视频信号处理单元905，音频信号处理单元907，外部接口909和控制单元910，以便实现这些组件之间的相互连接。

按照这样构成的电视机900，解码器904具有上述实施例中的可缩放解码设备200的功能。从而，在利用电视机900解码图像之际，能够抑制编码效率的降低，和抑制由编码或解码引起的图像质量的降低。

[第二应用例子：蜂窝电话机]

图38图解说明上述实施例适用于的蜂窝电话机的一般结构的例子。蜂窝电话机920包括天线921，通信单元922，音频编解码器923，扬声器924，麦克风925，摄像头单元926，图像处理单元927，复用/分离单元928，记录/再现单元929，显示单元930，控制单元931，操作单元932和总线933。

天线921与通信单元922相连。扬声器924和麦克风925与音频编解码器923相连。操作单元932与控制单元931相连。总线933连接通信单元922，音频编解码器923，摄像头单元926，图像处理单元927，复用/分离单元928，记录/再现单元929，显示单元930和控制单元931，以便实现这些组件之间的相互连接。

蜂窝电话机920按各种操作模式，包括语音通话模式、数据通信模式、成像模式和视频电话模式，进行诸如音频信号的传输和接收、电子邮件或图像数据的传输和接收、成像和数据记录之类的操作。

在语音通话模式下，麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923把模拟音频信号转换成音频数据，对转换后的音频数据进行A/D转换，并压缩A/D转换后的数据。随后，音频编解码器923把压缩的音频数据输出给通信单元922。通信单元922编码和调制音频数据，从而生成传输信号。通信单元922通过天线921，把生成的传输信号传送给基站(未图示)。通信单元922还放大通过天线921接收的无线信号，对无线信号进行频率变换，以获得接收信号。随后，通信单元922解调和解码接收信号，从而生成音频数据，并把生成的音频数据输出给音频编解码器923。音频编解码器923解压缩音频数据，对解压缩的音频数据进行D/A转换，从而生成模拟音频信号。随后，音频编解码器923把生成的音频信号提供给扬声器，从而从扬声器924输出声音。

在数据通信模式下，控制单元931按照通过操作单元932，来自用户的操作，生成构成电子邮件的字符数据。控制单元931把字符显示在显示单元930上。控制单元931按照通过操作单元932，来自用户的传输指令，生成电子邮件数据，然后把生成的电子邮件数据输出给通信单元922。通信单元922编码和调制电子邮件数据，从而生成传输信号。通信单元922通过天线921，把生成的传输信号传送给基站(未图示)。通信单元922还放大通过天线921接收的无线信号，并对无线信号进行频率变换，从而获得接收信号。随后，通信单元922解调和解码接收信号，以恢复电子邮件数据，然后把恢复的电子邮件数据输出给控制单元931。控制单元931把电子邮件的内容显示在显示单元930上，并把电子邮件数据记录在记录/再现单元929的存储介质上。

记录/再现单元929包括任意可读可写存储介质。例如，存储介质可以是诸如RAM和闪存之类的内置存储介质，或者可以是诸如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器和存储卡之类的可外部安装式存储介质。

在成像模式下，例如，摄像头单元926拍摄被摄物体的图像，从而生成图像数据，并把生成的图像数据输出给图像处理单元927。图像处理单元927编码从摄像头单元926输入的图像数据，并把编码流保存在存储和再现单元929的记录介质中。

在视频电话模式下，例如，复用/分离单元928复用由图像处理单元927编码的视频流，和从音频编解码器923输入的音频流，把复用流输出给通信单元922。通信单元922编码和调制所述流，从而生成传输信号。通信单元922通过天线921，把生成的传输信号传送给基站(未图示)。通信单元922还放大通过天线921接收的无线信号，并对该无线信号进行频率变换，从而获得接收信号。这些传输信号和接收信号可包括编码比特流。随后，通信单元922解调和解码接收信号，从而恢复所述流，并把恢复的流输出给复用/分离单元928。复用/分离单元928从输入流中，分离视频流和音频流，然后把视频流输出给图像处理单元927，把音频流输出给音频编解码器923。图像处理单元927解码视频流，从而生成视频数据。视频数据被提供给显示单元930，一系列的图像被显示在显示单元930上。音频编解码器923对音频流进行解压缩和D/A转换，从而生成模拟音频信号。随后，音频编解码器923把生成的音频信号提供给扬声器924，从而从扬声器924输出声音。

按照这样构成的蜂窝电话机920，图像处理单元927具有上述实施例中的可缩放编码设备100和可缩放解码设备200的功能。从而，在蜂窝电话机920上编码和解码图像之际，能够抑制编码效率的降低，和抑制由编码或解码引起的图像质量的降低。

[第三应用例子：记录/再现设备]

图39图解说明上述实施例适用于的记录/再现设备的一般结构的例子。例如，记录/再现设备940编码接收的广播节目的音频数据和视频数据，并把这些数据记录在记录介质上。例如，记录/再现设备940可编码从另一个设备获得的音频数据和视频数据，并把编码数据记录在记录介质上。记录/再现设备940按照来自用户的指令，利用监视器或扬声器再现记录在记录介质上的数据，以致可在监视器和扬声器上再现所述数据。这种情况下，记录/再现设备940解码音频数据和视频数据。

记录/再现设备940包括调谐器941，外部接口942，编码器943，HDD(硬盘驱动器)944，光盘驱动器945，选择器946，解码器947，OSD(屏上显示器)948，控制单元949，和用户接口950。

调谐器941从通过天线(未图示)接收的广播信号中，提取期望频道的信号，并解调提取的信号。随后，调谐器941把通过解调获得的编码比特流输出给选择器946。从而，调谐器941起记录/再现设备940的传输单元的作用。

外部接口942是用于连接记录/再现设备940和外部设备或网络的接口。外部接口942可以是IEEE1394接口、网络接口、USB接口、闪存接口、或其它接口。例如，通过外部接口942接收的视频数据和音频数据被输入编码器943。从而，外部接口942起记录/再现设备940的传输单元的作用。

当从外部接口942输入的视频数据和音频数据未被编码时，编码器943编码所述视频数据和音频数据。随后，编码器943把编码比特流输出给选择器946。

HDD 944把包含诸如视频和音频数据之类压缩内容数据的编码比特流，各种程序和其它数据记录在内部硬盘上。当再现视频图像和声音时，HDD 944还从硬盘读取这些数据。

光盘驱动器945把数据记录在装入的记录介质上，和从装入的记录介质读取数据。装在光盘驱动器945上的记录介质可以是DVD光盘(比如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R和DVD+RW)，或蓝光(注册商标)光盘。

在记录视频图像和声音之际，选择器946选择从调谐器941或编码器943输入的编码比特流，然后把选择的编码比特流输出给HDD 944或光盘驱动器945。在再现视频图像和声音之际，选择器946把从HDD 944或光盘驱动器945输入的编码比特流输出给解码器947。

解码器947解码编码比特流，从而生成视频数据和音频数据。随后，解码器947把生成的视频数据输出给OSD 948。解码器947还把生成的音频数据输出给外部扬声器。

OSD 948再现从解码器947输入的视频数据，从而显示视频图像。OSD948可把诸如菜单、按钮和光标之类的GUI的图像叠加在显示的视频图像上。

控制单元949包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存CPU执行的程序和程序数据。在启动记录/再现设备940时，CPU读取并执行保存在存储器中的程序。CPU执行程序，以按照从用户接口950输入的操作信号，控制记录/再现设备940的操作。

用户接口950与控制单元949相连。例如，用户接口950包括用于操作记录/再现设备940的按钮和开关，和接收遥控信号的接收单元。用户接口950通过这些组成元件，检测从用户输入的操作，生成操作信号，并把生成的操作信号输出给控制单元949。

按照这样构成的记录/再现设备940，编码器943具有上述实施例中的可缩放编码设备100的功能。另外，解码器947具有上述实施例中的可缩放解码设备200的功能。从而，在利用记录/再现设备940编码和解码图像之际，能够抑制编码效率的降低，和抑制由编码或解码引起的图像质量的降低。

[第四应用例子：成像设备]

图40图解说明上述实施例适用于的成像设备的一般结构的例子。成像设备960拍摄被摄物体的图像，从而生成图像，对图像数据编码，并把编码数据记录在记录介质上。

成像设备960包括光学部件961，成像单元962，信号处理单元963，图像处理单元964，显示单元965，外部接口966，存储器967，介质驱动器968，OSD 969，控制单元970，用户接口971和总线972。

光学部件961与成像单元962相连。成像单元962与信号处理单元963相连。显示单元965与图像处理单元964相连。用户接口971与控制单元970相连。总线972连接图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970，以便实现这些组件之间的相互连接。

光学部件961包括聚焦透镜、光圈机构等。光学部件961在成像单元962的像面上形成被摄物体的光学图像。成像单元962包括诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)之类的图像传感器，通过光电转换，把在像面上形成的光学图像转换成电信号形式的图像信号。随后，成像单元962把图像信号输出给信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号进行各种摄像头信号处理，比如拐点校正、γ校正和颜色校正。信号处理单元963把经过摄像头信号处理的图像数据输出给图像处理单元964。

图像处理单元964编码从信号处理单元963输入的图像数据，从而生成编码数据。随后，图像处理单元964把生成的编码数据输出给外部接口966或者介质驱动器968。图像处理单元964还解码从外部接口966或介质驱动器968输入的编码数据，从而生成图像数据。随后，图像处理单元964把生成的图像数据输出给显示单元965。图像处理单元964可把从信号处理单元963输入的图像数据输出给显示单元965，以在显示单元965上显示图像。此外，图像处理单元964可把从OSD 969获得的显示数据叠加在输出给显示单元965的图像上。

OSD 969形成诸如菜单、按钮和光标之类的GUI的图像，并把形成的图像输出给图像处理单元964。

外部接口966例如由USB输入/输出端子构成。在打印图像之际，外部接口966连接成像设备960和打印机。当需要时，驱动器与外部接口966相连。诸如磁盘和光盘之类的可拆卸介质被装入驱动器中，从可拆卸介质读取的程序可被安装到成像设备960中。外部接口966可由与诸如LAN和因特网之类网络相连的网络接口构成。换句话说，外部接口966起成像设备960的传输单元的作用。

装入介质驱动器968中的记录介质可以是任意可读可写的可拆卸介质，比如磁盘、磁光盘、光盘和半导体存储器。另外，记录介质可被固定地安装到介质驱动器968中，从而形成不可移植的存储单元，比如内置磁盘驱动器和SSD(固态驱动器)。

控制单元970包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存CPU执行的程序和程序数据。在启动成像设备960时，CPU读取并执行保存在存储器中的程序。CPU执行程序，以按照从用户接口971输入的操作信号，控制成像设备960的操作。

用户接口971与控制单元970相连。用户接口971包括供用户操作成像设备960之用的按钮和开关。用户接口971通过这些组成元件，检测从用户输入的操作，生成操作信号，并把生成的操作信号输出给控制单元970。

按照这样构成的成像设备960，图像处理单元964具有上述实施例中的可缩放编码设备100和可缩放解码设备200的功能。从而，在利用成像设备960编码和解码图像之际，能够抑制编码效率的降低，和抑制由编码或解码引起的图像质量的降低。

<6.可缩放编码的应用例子>

[第一系统]

下面讨论经历可缩放编码(可缩放编码)的可缩放编码数据的具体利用例子。如在图41中的例子中图解所示，可缩放编码用于传输数据的选择。

按照在图41中图解所示的数据传输系统1000，分发服务器1002读取保存在可缩放编码数据存储单元1001中的可缩放编码数据，并经网络1003，把所述数据分发给个人计算机1004、AV设备1005、平板设备1006、蜂窝电话机1007和其它终端设备。

这种情况下，分发服务器1002按照各个终端设备的能力，通信环境等，选择并传送适当质量的编码数据。当分发服务器1002传送质量过高的数据时，该数据未必在终端设备侧产生高质量图像，但是在一些情况下会导致延迟或上溢。另外，可能不必要地占据通信带宽，或者不必要地增大终端设备的负荷。另一方面，当分发服务器1002传送质量过低的数据时，可能难以在终端设备侧产生具有足够画质的图像。从而，分发服务器1002适当地读取保存在可缩放编码数据存储部分1001中的可缩放编码数据，作为质量适合于终端设备的能力，通信环境等的编码数据，并传送读取的数据。

例如，假定可缩放编码数据存储单元1001保存按可缩放方式编码的可缩放编码数据(BL+EL)1011。可缩放编码数据(BL+EL)1011是包括基本层和增强层的编码数据，作为通过解码，从其获得基本层图像和增强层图像的数据。

分发服务器1002按照数据被传送给的终端的能力，通信环境等，选择适当层，并读取对应层的数据。例如，对于处理能力高的个人计算机1004和平板设备1006，分发服务器1002从可缩放编码数据存储单元1001，读取高质量的可缩放编码数据(BL+EL)1011，并原样传送读取的数据。另一方面，例如，对于处理能力低的AV设备1005和移动电话机1007，分发服务器1002从可缩放编码数据(BL+EL)1011中，提取基本层的数据，并传送提取的数据，作为内容与可缩放编码数据(BL+EL)1011的内容相同，但是质量比可缩放编码数据(BL+EL)1011的质量低的可缩放编码数据(BL)1012。

从而，可缩放编码数据的使用允许容易地调整数据量，因而能够抑制延迟和上溢，和抑制终端设备和通信介质的负荷的不必要增大。另外，可缩放编码数据(BL+EL)1011具有减小的层间冗余，因而与作为单独数据，包含在各层中的编码数据的数据量相比，可缩放编码数据(BL+EL)1011的数据量较小。于是，能够更有效地利用可缩放编码数据存储单元1001的存储区。

终端设备可以是包括从个人计算机1004到蜂窝电话机1007的各种设备。这种情况下，终端设备的硬件性能随设备而不同。另外，各个终端设备执行的应用可以是各种应用，因而终端设备的软件能力随设备而不同。此外，对应于通信介质的网络1003可由各种通信线路网络，包括有线网络和/或无线网络，比如因特网和LAN(局域网)构成。因而数据传输能力随网络而不同。另外，数据传输能力可随着其它通信等而变化。

考虑到这些情况，在开始数据传输之前，分发服务器1002可与对应于数据传输目的地的终端设备通信，从而获得与该终端设备的能力相关的信息，比如所述终端设备的硬件性能，和所述终端设备执行的应用(软件)的性能，和关于网络1003的通信环境的信息，比如可用带宽。随后，分发服务器1002可根据获得的信息，选择适当的层。

层的提取可在终端设备侧进行。例如，个人计算机1004可解码传送的可缩放编码数据(BL+EL)1011，显示基本层的图像或者增强层的图像。另外，例如，个人计算机1004可从传送的可缩放编码数据(BL+EL)1011中，提取基本层的可缩放编码数据(BL)1012，保存提取的可缩放编码数据(BL)1012，把可缩放编码数据(BL)1012传送给另一个设备，或者解码可缩放编码数据(BL)1012，以显示基本层的图像。

不必说，可缩放编码数据存储单元1001，分发服务器1002，网络1003和终端设备的数目是可任意确定的。另外，尽管这里讨论的是分发服务器1002向终端设备传送数据的例子，不过使用例子并不局限于此。数据传输系统1000适用于任意类型的系统，只要在向终端设备传送经过可缩放编码的编码数据时，这些系统按照相应终端设备的能力，通信环境等，选择适当层，并传送选择的层即可。

[第二系统]

如在图28的例子中图解所示，可缩放编码也用于通过多个通信介质的传输。

按照在图42中图解所示的数据传输系统1100，广播站1101通过地面广播1111，传送基本层的可缩放编码数据(BL)1121。广播站1101还通过由有线和/或无线网络构成的任意网络1112，传送(例如，以分组的形式传送)增强层的可缩放编码数据(EL)1122。

终端设备1102具有接收广播站1101广播的地面广播1111的接收功能，从而接收通过地面广播1111传送的基本层的可缩放编码数据(BL)1121。终端设备1102还具有通过网络1112进行通信的通信功能，从而接收通过网络1112传送的增强层的可缩放编码数据(EL)1122。

终端设备1102按照来自用户的指令，解码经地面广播1111获得的基本层的可缩放编码数据(BL)1121，以形成基本层的图像，保存可缩放编码数据(BL)1121，和把可缩放编码数据(BL)1121传送给另一个设备。

终端设备1102按照来自用户的指令，合成经过地面广播1111获得的基本层的可缩放编码数据(BL)1121，和经网络1112获得的增强层的可缩放编码数据(EL)1122，以获得可缩放编码数据(BL+EL)，解码可缩放编码数据(BL+EL)，以形成增强层的图像，保存可缩放编码数据(BL+EL)，或者把可缩放编码数据(BL+EL)传送给另一个设备。

如上所述，可以经对各层来说不同的通信介质，传送可缩放编码数据。于是，允许负荷的分散，从而可避免延迟和上溢。

可按照状况，对于每一层选择用于传输的通信介质。例如，数据量较大的基本层的可缩放编码数据(BL)1121可通过具有宽带宽的通信介质传送，而数据量较小的增强层的可缩放编码数据(EL)1122可通过具有窄带宽的通信介质传送。另外，例如，可按照网络1112的可用带宽，在网络1112和地面广播1111之间切换用于传送增强层的可缩放编码数据(EL)1122的通信介质。不用说，这些备选方案也适用于任意层的数据。

这些控制可进一步抑制数据传输的负荷的增大。

显然，层数和用于传输的通信介质的数目可被任意确定。另外，终端设备1102的数目可被任意确定。尽管这里讨论的是从广播站1101进行广播的例子，不过使用例子并不局限于此。数据传输系统1100适用于任何系统，只要这些系统可以层为单位，把经过可缩放编码的编码数据分割成多个部分，并通过多条线路传送分割的部分即可。

[第三系统]

如在图43的例子中图解所示，可缩放编码用于编码数据的存储。

按照图43中图解所示的成像系统1200，成像设备1201执行通过拍摄被摄物体1211的图像而获得的图像数据的可缩放编码，并把编码数据作为可缩放编码数据(BL+EL)1221，提供给可缩放编码数据存储设备1202。

可缩放编码数据存储设备1202以适合于状况的质量，保存从成像设备1201供给的可缩放编码数据(BL+EL)1221。例如在正常情况下，可缩放编码数据存储设备1202从可缩放编码数据(BL+EL)1221中，提取基本层的数据，并保存提取的数据，作为质量低，数据量小的基本层的可缩放编码数据(BL)1222。另一方面，例如在关注情况下，可缩放编码数据存储设备1202原样保存质量高，且数据量大的可缩放编码数据(BL+EL)1221。

利用这种方法，可缩放编码数据存储设备1202只在需要时，才高画质地保存图像。这种情况下，可避免数据量的增大，同时抑制由画质降低引起的图像价值的降低。从而改善存储区的使用效率。

例如，假定成像设备1201是监控摄像头。当监控对象(例如，入侵者)未出现在拍摄图像中时(正常情况)，拍摄图像的内容很可能不重要。因而优先考虑数据量的降低，从而低质量地保存图像数据(可缩放编码数据)。另一方面，当监控对象作为被摄物体1211，包含在拍摄图像中时(关注情况)，拍摄图像的内容很可能重要，因而优先考虑图像质量，从而高质量地保存图像数据(可缩放编码数据)。

例如，根据图像分析，可缩放编码数据存储设备1202可以判定情况是正常情况还是关注情况。另一方面，成像设备1201可进行判定，并把判定结果传送给可缩放编码数据存储设备1202。

判定情况是正常情况还是关注情况的判定标准可被任意确定。不用说，除图像的内容之外的条件可被设定为判定标准。例如，可按照记录声音的音量或波形，或者按预定时间间隔，切换情况。另一方面，可按照外部指令，比如来自用户的指令，切换情况。

尽管这里讨论的是切换正常情况和关注情况两种状态的例子，不过，状态的数目可被任意确定。例如，可以切换3种或者更多种状态，比如正常情况，低度关注情况，关注情况和高度关注情况。然而，可切换的状态的上限数取决于可缩放编码数据的层数。

成像设备1201可按照情况，确定可缩放编码的层数。例如在正常情况下，成像设备1201可生成质量低，数据量小的基本层的可缩放编码数据(BL)1222，并把生成的可缩放编码数据(BL)1222提供给可缩放编码数据存储设备1202。另一方面，例如在关注情况下，成像设备1201可生成质量高，数据量大的基本层的可缩放编码数据(BL+EL)1221，并把生成的可缩放编码数据(BL+EL)1221提供给可缩放编码数据存储设备1202。

尽管这里讨论的是监控摄像头的例子，不过，成像系统1200并不局限于监控摄像头，可被任意应用。

本技术适用于以片段为单位，从预先准备的具有不同分辨率等的多个编码数据中，选择适当的数据，并利用选择的数据的HTTP流式传输，比如MPEG DASH。换句话说，关于正交变换跳过的信息也可被这种类型的多个编码数据共享。

本说明中讨论的是把各种信息，比如跳过允许信息和跳过识别信息复用到编码流中，然后把编码流从编码方传送给解码方的例子。不过，传送相应信息的方法并不局限于该例子。例如，相应信息可作为与编码比特流关联的独立数据被传送或记录，而不把相应信息复用到编码比特流中。这里，用语“关联”指的是在解码之际，允许包含在比特流中的图像(包括图像的一部分，比如切片和块)与关于所述图像的信息联系起来。换句话说，可在与图像(或比特流)的传输路径不同的传输路径上，传送所述信息。另外，可在与图像的记录介质不同的记录介质(或者相同记录介质的另一个记录区)上，记录所述信息。此外，可以任意单位，比如多帧、一帧和帧内的一部分，彼此关联所述信息和图像(或比特流)。

尽管上面参考附图，详细说明了按照本公开的优选实施例，不过本公开并不局限于这些实施例。显然在权利要求书中记载的范围内，鉴于本技术，本领域的普通技术人员可以提出各种变化和修改。于是，应明白这些变化和修改自然也包含在本公开的技术范围中。

本技术可具有以下结构。

(1)一种图像处理设备，包括：

接收单元，所述接收单元接收通过编码包含多层的图像而创建的编码数据，和所述多层共有的关于正交变换处理的跳过的信息；和

解码单元，所述解码单元对于所述多层中的每一层，根据接收单元接收的关于正交变换处理的跳过的信息，解码接收单元接收的编码数据。

(2)按照上述(1)-(9)任意之一所述的图像处理设备，其中关于正交变换处理的跳过的信息包含指定是否允许图像内的正交变换处理的跳过的跳过允许信息。

(3)按照上述(1)-(9)任意之一所述的图像处理设备，其中关于正交变换处理的信息包含指定是否跳过正交变换处理的跳过识别信息。

(4)按照上述(1)-(9)任意之一所述的图像处理设备，其中在当前块的解码中，解码单元根据包含在与当前块的层不同的层中，并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的逆正交变换处理的执行。

(5)按照上述(1)-(9)任意之一所述的图像处理设备，其中当参照层的一个块对应于当前层的多个块时，在当前层的所有多个块的解码中，解码单元根据参照层的所述一个块的关于正交变换的跳过的信息，控制逆正交变换的执行。

(6)按照上述(1)-(9)任意之一所述的图像处理设备，其中当参照层的多个块对应于当前块时，解码单元根据参照层的多个块中的每个块的关于正交变换处理的跳过的信息，获得当前块的关于正交变换处理的跳过的信息，并根据获得的关于正交变换处理的跳过的信息，控制逆正交变换处理的执行。

(7)按照上述(1)-(9)任意之一所述的图像处理设备，其中当当前层参照由解码单元判定为不同于当前层的其他层作为参照层时，在当前块的解码中，解码单元根据包含在所述其他层中，并且与当前块对应的块的关于正交变换的跳过的信息，控制当前块的逆正交变换处理的执行。

(8)按照上述(1)-(9)任意之一所述的图像处理设备，其中：接收单元还接收指示将由当前层参照的层的信息；和解码单元根据接收单元接收的，指示将由当前层参照的层的信息，判定将由当前层参照的层。

(9)按照上述(1)-(9)任意之一所述的图像处理设备，其中编码数据是利用可缩放编码创建的可缩放数据，所述可缩放编码表现空间分辨率被分层的空间可缩放性，帧速率被分层的时间可缩放性，信噪比被分层的SNR可缩放性，位深度被分层的位深度可缩放性，视频信号的分量格式被分层的色度可缩放性，或者视点被分层的视点可缩放性。

(10)一种图像处理设备的图像处理方法，其中：

所述图像处理设备接收通过编码包含多层的图像而创建的编码数据，和所述多层共有的关于正交变换处理的跳过的信息；和

所述图像处理设备对于所述多层中的每一层，根据接收的关于正交变换处理的跳过的信息，解码接收的编码数据。

(11)一种图像处理设备，包括：

编码单元，所述编码单元根据多层共有的关于正交变换处理的跳过的信息，编码包含所述多层的图像；和

传输单元，所述传输单元传送编码单元编码的编码数据，和关于正交变换处理的跳过的信息。

(12)按照上述(11)-(19)任意之一所述的图像处理设备，其中关于正交变换处理的跳过的信息包含指定是否允许图像内的正交变换处理的跳过的跳过允许信息。

(13)按照上述(11)-(19)任意之一所述的图像处理设备，其中关于正交变换处理的信息包含指定是否跳过正交变换处理的跳过识别信息。

(14)按照上述(11)-(19)任意之一所述的图像处理设备，其中在当前块的编码中，编码单元根据包含在与当前块的层不同的层中，并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的正交变换处理的执行。

(15)按照上述(11)-(19)任意之一所述的图像处理设备，其中当参照层的一个块对应于当前层的多个块时，在当前层的所有多个块的编码中，编码单元根据参照层的所述一个块的关于正交变换的跳过的信息，控制正交变换的执行。

(16)按照上述(11)-(19)任意之一所述的图像处理设备，其中当参照层的多个块对应于当前块时，编码单元根据参照层的多个块中的每个块的关于正交变换处理的跳过的信息，获得当前块的关于正交变换处理的跳过的信息，并根据获得的关于正交变换处理的跳过的信息，控制正交变换处理的执行。

(17)按照上述(11)-(19)任意之一所述的图像处理设备，其中当当前层参照由编码单元判定为不同于当前层的其他层作为参照层时，在当前块的编码中，编码单元根据包含在所述其他层中，并且与当前块对应的块的关于正交变换的跳过的信息，控制当前块的正交变换处理的执行。

(18)按照上述(11)-(19)任意之一所述的图像处理设备，其中传输单元还传送指示被编码单元判定为将由当前层参照的层的其他层的信息。

(19)按照上述(11)-(19)任意之一所述的图像处理设备，其中编码单元利用可缩放编码，编码图像，所述可缩放编码表现空间分辨率被分层的空间可缩放性，帧速率被分层的时间可缩放性，信噪比被分层的SNR可缩放性，位深度被分层的位深度可缩放性，视频信号的分量格式被分层的色度可缩放性，或者视点被分层的视点可缩放性。

(20)一种图像处理设备的图像处理方法，其中：

图像处理设备根据多层共有的关于正交变换处理的跳过的信息，编码包含所述多层的图像；和

所述图像处理设备传送通过编码获得的编码数据，和关于正交变换处理的跳过的信息。

附图标记列表

100 可缩放编码设备

101 基本层图像编码单元

102 基本层正交变换跳过缓冲器

103 增强层图像编码单元

114 正交变换单元

116 无损编码单元

131 正交变换跳过单元

132 正交变换跳过单元

141 跳过编码单元

142 跳过判定单元

151 transform_skip_enable_flag缓冲器

152 transform_skip_flag缓冲器

161 transform_skip_enable_flag控制单元

162 transform_skip_flag控制单元

200 可缩放解码设备

201 基本层图像解码单元

202 基本层正交变换跳过缓冲器

203 增强层图像解码单元

212 无损解码单元

214 逆正交变换单元

231 逆正交变换跳过单元

232 逆正交变换跳过单元

241 逆正交变换跳过控制单元

251 transform_skip_enable_flag缓冲器

252 transform_skip_flag缓冲器

261 transform_skip_enable_flag控制单元

262 transform_skip_flag控制单元

Claims (20)

1.一种图像处理设备，包括：

接收单元，所述接收单元接收通过编码包含多层的图像而创建的编码数据，和所述多层共有的关于正交变换处理的跳过的信息；和

解码单元，所述解码单元对于所述多层中的每一层，基于接收单元接收的关于正交变换处理的跳过的信息，解码接收单元接收的编码数据。

2.按照权利要求1所述的图像处理设备，其中关于正交变换处理的跳过的信息包含指定是否允许图像内的正交变换处理的跳过的跳过允许信息。

3.按照权利要求1所述的图像处理设备，其中关于正交变换处理的跳过的信息包含指定是否跳过正交变换处理的跳过识别信息。

4.按照权利要求1所述的图像处理设备，其中在当前块的解码过程中，解码单元基于包含在与当前块的层不同的层中并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的逆正交变换处理的执行。

5.按照权利要求4所述的图像处理设备，其中当参照层的一个块对应于当前层的多个块时，在当前层的所有所述多个块的解码过程中，解码单元基于参照层的所述一个块的关于正交变换处理的跳过的信息，控制逆正交变换处理的执行。

6.按照权利要求4所述的图像处理设备，其中当参照层的多个块对应于当前块时，解码单元基于参照层的所述多个块中的每个块的关于正交变换处理的跳过的信息，获得当前块的关于正交变换处理的跳过的信息，并基于获得的关于正交变换处理的跳过的信息，控制逆正交变换处理的执行。

7.按照权利要求1所述的图像处理设备，其中当当前层参照由解码单元判定为不同于当前层的其他层作为参照层时，在当前块的解码过程中，解码单元基于包含在所述其他层中并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的逆正交变换处理的执行。

8.按照权利要求7所述的图像处理设备，其中：

接收单元还接收指示将由当前层参照的层的信息；和

解码单元基于接收单元接收的指示将由当前层参照的层的信息，判定将由当前层参照的层。

9.按照权利要求1所述的图像处理设备，其中编码数据是通过可缩放编码创建的可缩放数据，所述可缩放编码表现空间分辨率被分层的空间可缩放性、帧速率被分层的时间可缩放性、信噪比被分层的SNR可缩放性、位深度被分层的位深度可缩放性、视频信号的分量格式被分层的色度可缩放性或者视点被分层的视点可缩放性。

10.一种图像处理设备的图像处理方法，其中：

所述图像处理设备接收通过编码包含多层的图像而创建的编码数据，和所述多层共有的关于正交变换处理的跳过的信息；和

所述图像处理设备对于所述多层中的每一层，基于接收的关于正交变换处理的跳过的信息，解码接收的编码数据。

11.一种图像处理设备，包括：

编码单元，所述编码单元基于多层共有的关于正交变换处理的跳过的信息，编码包含所述多层的图像；和

传输单元，所述传输单元传送编码单元编码的编码数据，和关于正交变换处理的跳过的信息。

12.按照权利要求11所述的图像处理设备，其中关于正交变换处理的跳过的信息包含指定是否允许图像内的正交变换处理的跳过的跳过允许信息。

13.按照权利要求11所述的图像处理设备，其中关于正交变换处理的信息包含指定是否跳过正交变换处理的跳过识别信息。

14.按照权利要求11所述的图像处理设备，其中在当前块的编码过程中，编码单元基于包含在与当前块的层不同的层中并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的正交变换处理的执行。

15.按照权利要求14所述的图像处理设备，其中当参照层的一个块对应于当前层的多个块时，在当前层的所有所述多个块的编码过程中，编码单元基于参照层的所述一个块的关于正交变换处理的跳过的信息，控制正交变换处理的执行。

16.按照权利要求14所述的图像处理设备，其中，当参照层的多个块对应于当前块时，编码单元基于参照层的所述多个块中的每个块的关于正交变换处理的跳过的信息，获得当前块的关于正交变换处理的跳过的信息，并基于获得的关于正交变换处理的跳过的信息，控制正交变换处理的执行。

17.按照权利要求11所述的图像处理设备，其中，当当前层参照由编码单元判定为不同于当前层的其他层作为参照层时，在当前块的编码过程中，编码单元基于包含在所述其他层中并且与当前块对应的块的关于正交变换处理的跳过的信息，控制当前块的正交变换处理的执行。

18.按照权利要求17所述的图像处理设备，其中传输单元还传送指示被编码单元判定为将由当前层参照的层的其他层的信息。

19.按照权利要求11所述的图像处理设备，其中编码单元通过可缩放编码来编码图像，所述可缩放编码表现空间分辨率被分层的空间可缩放性、帧速率被分层的时间可缩放性、信噪比被分层的SNR可缩放性、位深度被分层的位深度可缩放性、视频信号的分量格式被分层的色度可缩放性或者视点被分层的视点可缩放性。

20.一种图像处理设备的图像处理方法，其中：

图像处理设备基于多层共有的关于正交变换处理的跳过的信息，编码包含所述多层的图像；和

所述图像处理设备传送通过编码获得的编码数据，和关于正交变换处理的跳过的信息。