CN104380732B - 图像处理装置及方法 - Google Patents

Abstract

本公开内容涉及能够抑制由于编码/解码造成的图像质量下降的图像处理设备和方法。图像处理设备包括：量化单元，当正交变换处理针对当前块被跳过时，利用一个加权系统量化当前块的所有分量，并且当正交变换处理针对当前块执行时，利用量化矩阵来量化当前块的每个分量；编码单元，编码被量化单元量化的当前块的系数；以及发送单元，发送通过编码单元编码所获得的当前块的编码数据。本公开内容可以应用到例如图像处理设备。

Description

图像处理装置及方法

技术领域

本公开内容涉及图像处理设备及方法，更具体而言涉及能够抑制图像退化的图像处理设备及方法。

背景技术

近年来，为了执行信息的高效传输和存储，通过采用编码系统把图像信息处理为数字的而且此时通过诸如离散余弦变换等正交变换以及利用作为图像信息的特征的冗余性的运动补偿来压缩图像而让图像接受压缩编码的设备已经被广泛使用。这种编码系统的例子包括运动图片专家组(MPEG)等。

特别地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码系统，并且覆盖隔行(interlaced)扫描图像和逐行(progressive)扫描图像以及标准分辨率图像和高清晰度图像的标准。例如，MPEG2目前广泛用在专业使用和消费者使用的广泛应用中。通过使用MPEG2压缩方法，在例如720×480像素的标准分辨率隔行扫描图像的情况下，分配4至8Mbps的编码量(位率)。此外，通过使用MPEG2压缩方法，在例如1920×1088像素的高分辨率隔行扫描图像的情况下，分配18至22Mbps的编码量(位率)。由于这个原因，有可能实现高压缩率和有利的图像质量。

MPEG2主要用于适于广播的高图像质量编码，但与具有低于MPEG1编码量的编码量(位率)(换句话说，更高压缩率)的编码系统不兼容。随着移动终端的广泛使用，预期对这种编码系统的需求在未来将增加，响应于此，MPEG4编码系统的标准化已经执行。关于图像编码系统，规范是作为如ISO-IEC 14496-2的国际标准在1998年12月被批准。

另外，近年来，称为H.26L(ITU-T(国际电信联盟电信标准化部门)Q6/16VCEG(视频编码专家组))的标准的标准化已经发展，其目标最初是视频会议用途的图像编码。关于H.26L，已知它虽然与诸如MPEG2或MPEG4的常规编码系统相比而言对于其编码和解码要求更大的计算量，但是实现了更高的编码效率。而且，目前，作为MPEG4活动的一部分，包括未被H.26L支持的功能的标准化已经作为增强压缩视频编码的联合模型(Joint Model ofEnhanced-Compression Video Coding)而被执行，其中这个H.26L被作为实现更高编码效率的基础。

作为标准化时间表，2003年3月确立了被称为H.264和MPEG-4部分10(高级视频编码，下文中称为AVC)的国际标准。

此外，作为H.264/AVC的扩展，FRExt(保真度范围扩展)的标准化在2005年2月完成，其中FRExt包括商业使用必需的编码工具，诸如RGB、4:2:2或4:4:4，以及在MPEG-2中定义的8×8DCT和量化度量。从而能够利用H.264/AVC有利地表示甚至包括在电影中的电影噪声的编码系统已经确立，这种系统用于诸如Blu-Ray Disc(注册商标)的广泛应用。

但是，近年来对于以更高压缩速率进行编码有增长的需求，例如，对压缩具有大约4000×2000像素的图像的需求，这种图像是高清晰图像的四倍，或者对在诸如互联网之类具有有限传输能力的环境中分发高清晰图像的需求。因此，以上描述的ITU-T下的视频编码专家组(VCEG)，对提高编码效率的研究已在持续地进行。

因此，为了与AVC相比而言进一步提高编码效率，被称为高效视频编码(HEVC)的编码系统的标准化目前正由联合协作团队-视频编码(JCTVC)进行，该团队是ITU-T和ISO/IEC的联合标准化团队(参见例如非专利文档1)。

但是，非专利文档1公开的HEVC标准，采用称为“帧内变换跳过(Intra TransformSkipping)”的技术(参见例如非专利文档2)。

即，首先，关于变换跳过(Transform Skip，也称为“正交变换跳过”)是否在序列中可被应用的标记，被发送到序列参数集(SPS)。

当值为1是，有可能对4×4的亮度和色度正交变换块应用变换跳过。

关于TransformSkip的开/关的标记发送到每个块。

关于对其应用TransformSkip的块，在熵编码、量化、回路过滤处理等中没有变化。

引用列表

非专利文档

非专利文档1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Thomas Wiegand,“Working Draft 4of High-Efficiency Video Coding”,JCTVC-F803_d2,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC1/SC29/WG116th Meeting:Torino,IT,14-22July,2011

非专利文档2：Cuiling Lan,Jizheng Xu,Gary J.Sullivan,Feng Wu,“Intratransform skipping”,JCTVC-I0408,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 119th Meeting:Geneva,CH,27April-7May 2012

发明内容

本发明要解决的问题

但是，对其应用TransformSkip的块的系数是关于空间域的值，而对其不应用TransformSkip的块的系数是关于频率域的值，因而两个特性彼此不同。

为此，在不考虑这些特性的区别的情况下、对应用了TransformSkip的块和未应用TransformSkip的块都执行编码过程时，存在编码效率退化的问题。

本公开内容就是考虑这种情形而开发的，可以抑制由于编码/解码过程造成的图像质量下降。

对问题的解决办法

根据本公开内容的一方面，提供了一种图像处理设备，包括：解码单元，解码编码数据并生成量化系数；以及逆量化单元，使用被应用到正交变换跳过块的加权系数，来逆量化由解码单元生成的正交变换跳过块的量化系数，其中在所述正交变换跳过块中正交变换处理被跳过。

逆量化单元可以使用一个加权系数。

逆量化单元可以利用该加权系数逆量化具有4×4块尺寸的正交变换跳过块的量化系数。

图像处理设备还可以包括接收单元，该接收单元接收作为图片参数集发送的、并且指示是否许可正交变换处理的跳过的跳过许可信息。

接收单元还可以接收所发送的加权系数，并且逆量化单元可以利用接收单元接收的加权系数来逆向量化正交变换跳过块的量化系数。

逆量化单元可以利用量化矩阵来逆量化其中正交变换处理被执行的非正交变换跳过块的量化系数，所述量化矩阵与通过对加权系数执行矩阵处理获得的加权系数矩阵不同。

图像处理设备还可以包括发送单元，该发送单元通过接收广播信号提取期望的通道信号、并且通过解码提取出信号来获得编码数据，并且解码单元可以解码发送单元从广播信号获得的编码数据。

图像处理设备还可以包括多路分解器，该多路分解器把所发送的编码数据多路分解并分成视频编码数据和音频编码数据，并且解码单元可以解码由多路分解器分解的、与音频编码数据分离的视频编码数据。

图像处理设备还可以包括再现单元，该再现单元再现视频数据，所述视频数据是通过针对编码数据由解码单元执行解码处理和由逆量化单元执行逆量化处理获得的。

图像处理设备还可以包括对音频数据执行编码和解码的音频编解码器单元。

图像处理设备还可以包括读出记录在存储介质上的编码数据的再现单元，并且解码单元可以解码所述再现单元从存储介质读出的编码数据。

根据本公开内容的另一方面，提供了一种图像处理方法，包括：解码编码数据并生成量化系数；以及利用被应用到正向变换跳过块的加权系数，来逆量化所生成的正交变换跳过块的量化系数，其中在所述正向变换跳过块中正交变换处理被跳过。

在本公开内容的另一方面，编码数据被解码，量化系数被生成，并且被应用到正交变换跳过块的加权系数被用来逆量化所生成的正交变换跳过块的量化系数，其中所述正交变换跳过块中正交变换处理被跳过。

另外，以上所述图像处理设备可以是独立设备或者可以是构成一个图像解码设备的内部块。

本发明的效果

根据本公开内容，可以解码图像。特别地，有可能抑制由于解码造成的图像质量下降。

附图说明

图1是说明图像编码设备的主要配置实例的框图。

图2是用于描述编码单元的配置实例的图。

图3是说明量化矩阵发送实例的图。

图4是说明序列参数集实例的图。

图5是说明接着图4的序列参数集实例的图。

图6是说明图片参数集实例的图。

图7是说明接着图6的图片参数集实例的图。

图8是用于描述量化条件实例的图。

图9是说明序列参数集实例的图。

图10是说明接着图9的序列参数集实例的图。

图11是说明图片参数集实例的图。

图12是说明接着图11的图片参数集实例的图。

图13是说明正交变换跳过等的主要配置实例的框图。

图14是用于描述编码过程的流程实例的流程图。

图15是用于描述正交变换跳过控制处理流程实例的流程图。

图16是用于描述正交变换处理流程实例的流程图。

图17用于描述量化处理流程实例的流程图。

图18用于描述去块过滤处理流程实例的流程图。

图19是说明图像解码设备的主要配置实例的框图。

图20是说明逆正交变换跳过单元等的主要配置实例的框图。

图21是用于描述解码过程的流程实例的流程图。

图22是用于描述逆量化处理流程实例的流程图。

图23是用于描述逆正交变换处理流程实例的流程图。

图24是说明序列参数集的另一个实例的图。

图25是说明图片参数集的实例的图。

图26是用于描述跳过许可信息生成处理流程实例的流程图。

图27是用于描述跳过许可信息接收处理流程实例的流程图。

图28是说明多视点图像编码系统的实例的图。

图29是说明本技术适用的多视点图像编码设备的主要配置实例的图。

图30是说明本技术适用的多视点图像解码设备的主要配置实例的图。

图31是说明分级图像编码系统实例的图。

图32是说明本技术适用的分级图像编码设备的主要配置实例的图。

图33是说明本技术适用的分级图像解码设备的主要配置实例的图。

图34是说明计算机的主要配置实例的框图。

图35是说明电视装置的示意性配置实例的框图。

图36是说明移动电话的示意性配置实例的框图。

图37是说明记录和再现设备的示意性配置实例的框图。

图38是说明成像设备的示意性配置实例的框图。

图39是说明可伸缩编码利用实例的框图。

图40是说明可伸缩编码利用的另一个实例的框图。

图41是说明可伸缩编码利用的还有另一个实例的框图。

图42是说明视频机(video set)的示意性配置实例的框图。

图43是说明视频处理器的示意性配置实例的框图。

图44是说明视频处理器的示意性配置的另一个实例的框图。

具体实施方式

下文中将描述用于执行本公开内容的模式(下文中称为实施例)。另外，描述以以下次序给出。

1.第一实施例(图像编码设备)

2.第二实施例(图像解码设备)

3.第三实施例(跳过许可信息的发送控制)

4.第四实施例(多视点图像编码/多视点图像解码设备)

5.第五实施例(分级图像编码/分级图像解码设备)

6.第六实施例(计算机)

7.第七实施例(应用实例)

8.第八实施例(可伸缩编码的应用实例)

9.第九实施例(集合/单元/模块/处理器)

<1.第一实施例>

[图像编码设备]

图1是说明图像编码设备的主要配置实例的框图。

在1说明图像编码设备100利用例如高效视频编码(HEVC)的预测处理或者与其相符的系统编码图像数据。

如图1所说明的，图像编码设备100包括A/D转换器101、屏幕重新布置缓冲区102、计算单元103、正交变换单元104、量化单元105、无损编码单元106、累积缓冲区107、逆量化单元108，以及逆正交变换单元109。此外，图像编码设备100还包括计算单元110、去块过滤器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116，以及速率控制单元117。

图像编码设备100还包括正交变换跳过单元121。

A/D转换器101对输入的图像数据执行A/D转换，把转换获得的图像数据(数字数据)提供给屏幕重新布置缓冲区102，并且在其中存储该图像数据。屏幕重新布置缓冲区102把按显示次序存储的帧图像重新布置成用于根据图片组(GOP)结构进行编码的帧的次序，并且把其中帧次序已经重新布置的图像提供给计算单元103。此外，屏幕重新布置缓冲区102把其中帧次序已经重新布置的图像提供给帧内预测单元114和运动预测/补偿单元115。

计算单元103从从屏幕重新布置缓冲区102读出的图像减去从帧内预测单元114或运动预测/补偿单元115提供的预测图像，并且把差异信息提供给正交变换单元104。例如，在对图像执行帧内编码的情况下，计算单元103从从屏幕重新布置缓冲区102读出的图像减去从帧内预测单元114提供的预测图像。另外，在对图像执行帧间编码的情况下，例如，计算单元103从从屏幕重新布置缓冲区102读出的图像减去从运动预测/补偿单元115提供的预测图像。

正交变换单元104对从计算单元103提供的差异信息执行诸如离散余弦变换和Karhunen-Loeve变换的正交变换，并且把其变换系数提供给量化单元105。

量化单元105量化从正交变换单元104提供的变换系数。量化单元105基于从速率控制单元117提供的编码量的目标值的信息，设置量化参数并且执行其量化。量化单元105把量化的变换系数提供给无损编码单元106。

无损编码单元106利用任何编码系统来编码被量化单元105量化的变换系数。由于系数数据是在速率控制单元117的控制下被量化，因此其编码量是速率控制单元117设置的目标值(或者近似该目标值)。

此外，无损编码单元106从帧内预测单元114获取指示帧内预测模式等的信息并且从运动预测/补偿单元115获取指示帧间预测模式或差异运动矢量的信息。

无损编码单元106根据编码系统编码这各种信息，包含(多路复用)这各种信息片段被作为编码数据(也称为编码流)的首部信息的部分。无损编码单元106把通过编码获得的编码数据提供给累积缓冲区107并且在其中累积编码数据。

例如，无损编码单元106的编码系统包括可变长度编码或计算编码。例如，可变长度编码包括由H.264/AVC系统定义的上下文自适应变长编码(CAVLC)等。例如，计算编码包括上下文自适应二进制算术编码(CABAC)等。

累积缓冲区107暂时保持从无损编码单元106提供的编码数据。累积缓冲区107在预定时间把所保持的编码数据输出到例如在后面部分中未说明的记录设备(记录介质)或传输路径。即，累积缓冲区107也是用于发送编码数据的发送单元。

被量化单元105量化的变换系数还提供给逆量化单元108。逆量化单元108以对应于量化单元105进行量化的方法来逆量化被量化的变换系数。逆量化单元108把获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109以对应于正交变换单元104进行正交变换处理的方法对从逆量化单元108提供的变换系数执行逆正交变换。通过逆向正交变换处理获得的输出(恢复的差异值信息)提供给计算单元110。

计算单元110把通过预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测图像添加到恢复的差异信息，该恢复的差异信息是从逆正交变换单元109提供的逆正交变换处理的结果，由此获得本地解码图像(解码图像)。解码图像提供给去块过滤器111或帧存储器112。

去块过滤器111适当地对从计算单元110提供的解码图像执行去块过滤处理。例如，去块过滤器111对解码图像执行去块过滤处理，除去解码图像的块失真。

去块过滤器111把过滤处理结果(过滤处理之后的解码图像)提供给帧存储器112。另外，如上所述，从计算单元110输出的解码图像可以不经过去块过滤器111就提供给帧存储器112。即，有可能略去去块过滤器111进行的过滤处理。

帧存储器112存储要提供的解码图像并且在预定时间把所存储的解码图像作为参考图像提供给选择单元113。

选择单元113选择从帧存储器112提供的参考图像的供应目的地。例如，在帧间预测的情况下，选择单元113把从帧存储器112提供的参考图像提供给运动预测/补偿单元115。

帧内预测单元114利用当前图片内的像素值执行帧内预测(屏幕内预测)，以生成预测图像，当前图片是通过选择单元113从帧存储器112提供的参考图像。帧内预测单元114以事先准备的多种帧内预测模式执行帧内预测。

帧内预测单元114在所有帧内预测模式下生成预测图像作为候选，并且利用从屏幕重新布置缓冲区102提供的输入图像来评估每个预测图像的成本函数值，以选择最优模式。在选择最优帧内预测模式后，帧内预测单元114把在最优模式下生成的预测图像提供给预测图像选择单元116。

此外，如上所述，帧内预测单元114适当地把指示所采用的帧内预测模式的帧内预测模式信息提供给无损编码单元106，以编码所提供的帧内预测模式信息。

运动预测/补偿单元115利用从屏幕重新布置缓冲区102提供的输入图像和选择单元113从帧存储器112提供的参考图像执行运动预测(帧间预测)。运动预测/补偿单元115根据检测到的运动矢量执行运动补偿处理并且生成预测图像(帧间预测图像信息)。运动预测/补偿单元115在事先准备的多种帧间预测模式下执行这种帧间预测。

运动预测/补偿单元115在所有帧间预测模式下生成预测图像作为候选。运动预测/补偿单元115利用从屏幕重新布置缓冲区102提供的输入图像和所生成的差异运动矢量的信息来评估每个预测图像的成本函数值，以选择最优模式。在选择最优帧间预测模式后，运动预测/补偿单元115把最优模式下生成的预测图像提供给预测图像选择单元116。

运动预测/补偿单元115把指示所采用的帧间预测模式的信息、在解码编码数据时在帧间预测模式下执行处理所需信息等提供给无损编码单元106，并且编码所提供的信息。例如，所需信息可以包括：生成的差异运动矢量的信息、指示预测运动矢量的索引的标记(作为预测运动矢量信息)等等。

预测图像选择单元116选择要提供给计算单元103或计算单元110的预测图像的供应源。例如，在帧内编码的情况下，预测图像选择单元116选择帧内预测单元114作为预测图像的供应源并且提供从帧内预测单元114向计算单元103或计算单元110提供的预测图像。此外，例如，在帧间编码的情况下，预测图像选择单元116选择运动预测/补偿单元115作为预测图像的供应源并且提供从运动预测/补偿单元115向计算单元103或计算单元110提供的预测图像。

基于在累积缓冲区107累积的编码数据的编码量，速率控制单元117控制量化单元105的量化速率，使得上溢或下溢不发生。

正交变换跳过单元121控制正交变换单元104中正交变换处理的执行。此外，根据该控制，正交变换跳过单元121控制由量化单元105进行的量化处理、逆量化单元108进行的逆量化处理、逆正交变换单元109进行的逆正交变换处理，以及去块过滤器111进行的去块过滤处理。另外，正交变换跳过单元121向无损编码单元106提供正交变换处理的跳过所必需的信息以及关于量化或去块过滤器的信息，并且把所提供的信息从累积缓冲区107发送到解码侧。

[编码单元]

在AVC系统，规定了包括宏块和子宏块的分层结构。但是，16像素×16像素的宏块对于大图像帧(诸如超高清晰(UHD；4000像素×2000像素))不是最合适，这种大图像帧是下一代编码系统的主题。

因而，例如，在HEVC系统中规定如图2所说明的编码单元(CU)。

CU也被称为编码树块(CTB)，并且是图片单元中图像的部分区域，它充当与AVC系统的宏块相似的角色。AVC系统的宏块具有16×16像素的固定尺寸，而CU的尺寸不是固定的，因此在每个序列中的图像压缩信息中规定。

例如，CU的最大尺寸(最大编码单元(LCU))和最小尺寸(最小编码单元(SCU))在要输出的编码数据所包括的序列参数集(序列参数集(SPS))中规定。

通过设置split_flag＝1、且不降至低于SCU尺寸的范围内，每个LCU可以被进一步划分成更小的CU。在图2所说明的例子，LCU的尺寸是128×128像素，而最大分层深度变成5。当split_flag的值为“1”时，尺寸为2N×2N像素的CU被分成多个CU，其下一层且尺寸为N×N。

另外，CU被划分成预测单元(PU)，PU是作为帧内预测或帧间预测的处理单元的区域(图片单元中图像的部分区域)，并且还被划分成变换单元(TU)，TU是作为正交变换的处理单元的区域(图片单元中图像的部分区域)。目前，除了4×4和8×8正交变换，HEVC系统还可以执行16×16和32×32正交变换。

就像在以上的HEVC系统，在CU被定义并且各种类型的处理以CU为单位执行的编码系统的情况下，考虑AVC系统的宏块对应于LCU、块(子块)对应于CU。此外，考虑AVC系统的运动补偿块对应于PU。但是，由于CU具有分层结构，因此其最上层LCU的尺寸通常设置得比AVC系统的宏块大，例如，128×128像素。

因此，下文，假设LCU也包括AVC系统的宏块并且CU也包括AVC系统的块(子块)。即，在以下描述中使用的“块”指示图片中的任何部分区域，并且对块的尺寸、形状、特性等没有限制。换句话说，任何区域(处理单元)，例如TU、PU、SCU、CU、LCU、子块、宏块或者片，都包括在“块”中。当然，除这些区域之外的部分区域(处理单元)也包括在其中。必要的时候，适当地在限制尺寸或处理单元的情况下给出说明。

接下来，将描述关于本技术的基本技术要素。

[量化矩阵]

就像在AVC中一样，正交变换系数的量化对HEVC中的每个正交变换处理单元执行。量化矩阵用于量化，但量化矩阵是为每个尺寸的正交变换处理单元准备的。但是，例如，当诸如16×16矩阵或32×32矩阵的大量化矩阵被发送时，存在编码效率降低的问题。

这里，如图3所说明的，大量化矩阵(或者大于预定尺寸的量化矩阵)，例如16×16矩阵或32×32矩阵，以8×8的尺寸发送并且被适用于每个正交变换尺寸的零阶保持上采样。另外，DC分量单独地发送到对其应用上采样的矩阵。

在HEVC，如图4至7所说明的，关于量化矩阵的信息(缩放列表)发送到序列参数集(SPS)或者图片参数集(PPS)。图4和5是说明序列参数集实例的图。图6和7是说明图片参数集实例的图。

[去块过滤器]

就像在AVC中一样，去块过滤器在HEVC中的运动补偿回路中定义。去块过滤器执行过滤处理，以减少在块边界发生的块失真。

即，在去块过滤处理，块边界被检测，过滤器的类型或强度、偏移量等是基于在块边界的量化参数等决定的，由此执行过滤处理。

[模式选择]

但是，选择适当的预测模式以便在AVC和HEVC编码系统中实现更高的编码效率是很重要的。

作为选择方法的例子，可以使用被称为H.264/MPEG-4/AVC的联合模型(JM)的参考软件中实现的方法(可以在http://iphome.hhi.de/suehring/tml/index.htm获得)。

JM软件使模式决定方法能够从高复杂度模式和低复杂度模式这两种模式当中选择，这些模式将在以下描述。任何模式下，都为每种预测模式“Mode”计算成本函数值，并且最小化成本函数值的预测模式被选作用于块或宏块的最优模式。

在高复杂度模式下，成本函数由以下表达式(1)表示。

Cost(Mode∈Ω)＝D+λ*R···(1)

这里，“Ω”代表用于编码块或宏块的候选模式的通用集合，而“D”代表在预测模式下编码被执行时解码图像与输入图像之间的能量差。“λ”代表作为量化参数的函数给出的拉格朗日倍数。“R”代表在该模式下编码被执行时包括正交变换系数在内的总编码量。

即，为了在高复杂度模式下执行编码，需要更大计算量，因为暂时的编码处理需要在所有候选模式下都执行一遍，以计算参数D和R。

在低复杂度模式下，成本函数由以下表达式(2)表示。

Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit···(2)

这里，“D”代表预测图像与输入图像之间的能量差并且与高复杂度模式不同。“QP2Quant(QP)”作为量化参数QP的函数给出，而“HeaderBit”是关于诸如运动矢量或模式之类属于首部的信息的编码量，不包括正交变换系数。

即，在低复杂度模式下，虽然有必要对相应的候选模式执行预测过程，但是，由于无需获得解码图像，因此没必要执行编码过程。因而，低复杂度模式可以利用比高复杂度模式更低的计算量来实现。

[正交变换跳过]

顺便提一下，非专利文档2建议的“帧内变换跳过”技术在HEVC标准中被采用。正交变换跳过(变换跳过)是略去(即，跳过)正交变换处理的技术。

一般而言，正交变换处理是对每块的图像数据(差异图像数据)执行，以便把块中的空间域信息转换成频率域信息，由此允许块中的系数集中到较低的频率，因此有可能增加偏置。因而，编码效率提高。

但是，还可以考虑：根据块中的设计，这种偏置不太有可能发生的情况。例如，与自然图像相比，灰度或强边很容易在诸如CG图像或字幕的人工图像中出现。为此，高频成分很容易出现，并且即使执行正交变换处理偏置也不可能出现。因此，通过允许在这种块中跳过正交变换处理，有可能进一步提高编码效率。

另外，在以下的描述，正交变换处理的跳过被称为正交变换跳过(变换跳过)，并且对其应用正交变换跳过的块也被称为正交变换跳过块。此外，对其不应用正交变换跳过(执行正交变换)的块也被称为非正交变换跳过块。

这种技术，首先，指示正交变换跳过(变换跳过)是否可以在序列中应用的标记被发送到序列参数集(SPS)。

标记(transform_skip_enabled_flag)发送到序列参数集(SPS)，如图5所说明的，这个标记是指示是否许可/禁用正交变换跳过(TransformSkip)的跳过许可信息。

这个跳过许可信息(transform_skip_enabled_flag)是例如用户等设置的。当这个值为1时，正交变换跳过(TransformSkip)可以应用到4×4的亮度正交变换块、或者4×4的色度正交变换块。

然后，对每个块确定正交变换跳过(TransformSkip)的开/关，并且发送其开/关的标记。

[编码效率]

不管正交变换的这种跳过控制，统一执行熵编码过程、量化处理、回路过滤处理等。即，就像非正交变换跳过块一样，熵编码过程、量化处理、回路过滤处理等也对正交变换跳过块执行。

但是，量化矩阵是关于频率域的加权系数。即，量化矩阵设计成应用到正交变换系数块。从而，当这种量化矩阵应用到具有空间域值(差异图像数据)的块时，编码效率会降低。即，图像质量会退化。

此外，如上所述，正交变换跳过应用到其中高频成分易于出现的图像。因此，存在图像在正交变换跳过块上的内容与非正交变换跳过块上的内容有很大区别的高可能性。即，块失真在正交变换跳过块与非正交变换跳过块之间的边界很容易发生。

因此，就像其它边界一样，当去块过滤处理对正交变换跳过块与非正交变换跳过块之间的边界执行时，编码效率会降低。即，图像质量会退化。

[根据正交变换跳过的控制]

因而，根据当前块是否是正交变换跳过(TransformSkip)块，编码过程被控制。更具体而言，编码过程的量化处理(逆量化处理)和去块处理被控制。

[量化处理的控制]

例如，在量化处理的情况下，量化处理是利用量化矩阵、对其中正交变换执行的非正交变换跳过块执行的，以及量化处理是利用一个加权系数代替量化矩阵、对其中正交变换被跳过的正交变换跳过块执行的。即，作为当前块的正交变换跳过块的所有系数都是利用这一个加权系数量化的。

其条件在图8说明。例如，如图8所说明的，量化就像现有技术中那样利用量化矩阵对非正交变换跳过块(正交变换系数矩阵)执行。

另一方面，4×4正交变换跳过块(正交变换前的差值的矩阵)利用加权系数矩阵量化，该加权系数矩阵是通过一个加权系数的量化获得的。当然，真正的计算方法是任意的，但基本执行与使用加权系数矩阵等效的计算。

加权系数是任意的。例如，加权系数可以包括标量值。例如，量化矩阵的DC分量可以是加权系数。量化矩阵是关于频率域的加权系数，但DC分量既是关于频率域的值也是关于空间域的值。如果只存在具有这些特性的量化矩阵的DC分量，即使量化被应用到正交变换跳过块的每个系数也不可能导致编码效率的降低，其中所述系数是关于空间域的值。

这种情况下，如图8所说明的，DC分量从量化矩阵提取，并且加权系数矩阵通过以4×4重新布置提取的DC分量而生成，由此利用该加权系数矩阵量化4×4正交变换跳过块(正交变换前的差值的矩阵)。

另外，例如，与量化矩阵不同，加权系数可以任意生成。生成加权系数的方法是任意的。即使这种情况下，如图8所说明的，加权系数矩阵也是通过以4×4重新布置加权系数而生成的，由此利用该加权系数矩阵量化4×4正交变换跳过块(正交变换前的差值的矩阵)。以这种方式，例如，与另外的部分相比，只有对其应用正交变换跳过块的一部分(例如，CG图像)易于独立于量化矩阵而利用加权系数来控制，以提高图像质量等。

另外，这种情况下，加权系数可以以相同方式计算，使得编码侧的值与解码侧的值相同，并且可以从编码侧发送到解码侧。

在发送加权系数的情况下，当跳过许可信息(transform_skip_enabled_flag)的值是许可正交变换跳过的值(例如，1)时，应用到正交变换跳过块的标量量化值(加权系数)被传送。为此，参考图4至7描述的序列参数集和图片参数集如下改变。

作为第一个变化，跳过许可信息(transform_skip_enabled_flag)比量化矩阵(scaling_list)更早发送。

作为第二个变化，跳过许可信息(transform_skip_enabled_flag)还发送到PPS，使得就解析而言SPS独立于PPS。

即，SPS如图9和10所说明的那样配置，PPS如图11和12所说明的那样配置。

另外，利用例如应用到位于当前块外围的外围块的量化的量化矩阵的DC分量，加权系数可以通过平均值等的计算生成。这种计算方法是任意的，并且可以不是平均值。

即使这种情况下，如图8所说明的，加权系数矩阵也是通过以4×4重新布置加权系数生成的，由此利用加权系数矩阵来量化4×4正交变换跳过块(正交变换前的差值的矩阵)。以这种方式，加权系数是利用外围块的量化矩阵计算的，并且因此还有可能容易地在解码侧以与编码侧相同方式计算加权系数。即，加权系数的发送可以略去，编码效率可以提高那个比率。

[去块过滤器的控制]

接下来将描述去块过滤器的控制。为了让正交变换跳过(TransformSkip)提高包括CG图像或字幕的区域的编码效率，考虑块失真有可能发生在正交变换跳过块与非正交变换跳过块之间的边界。

因而，执行正交变换跳过块与非正交变换跳过块是否跨块边界彼此接触的检测，并且按以下方式对正交变换跳过块与非正交变换跳过块之间的边界执行去块过滤器的强度调整，以便使去块过滤容易执行。

例如，当去块过滤处理应用到正交变换跳过块与非正交变换跳过块之间的边界时，充当块边界强度的边界强度(bs)的值设置成“+1”。通过以这种方式增加bs值，进行控制，以便应用更强的过滤。即，更强的去块过滤可以应用到正交变换跳过块与非正交变换跳过块之间的边界。另外，代替把bs值设置成+1，bs值可以固定到例如2等大值。

此外，例如，过滤器强度调整是根据诸如bs值、α和β的参数来执行的，但是强过滤器可以应用到正交变换跳过块与非正交变换跳过块之间的边界，而不考虑这种过滤器强度的控制结果。因而，有可能对正交变换跳过块与非正交变换跳过块之间的边界更直接地应用强去块过滤器。

另外，例如，与β和tc相比，正交变换跳过块与非正交变换跳过块之间的边界可以设置为较小的偏移量。因而，有可能对正交变换跳过块与非正交变换跳过块之间的边界容易地应用去块过滤器。

通过如上所述应用去块过滤器的强度调整，有可能对正交变换跳过块与非正交变换跳过块之间的边界容易地应用去块过滤器、并且提高要输出的图像压缩信息的效率。

另外，如上所述地考虑应用去块过滤器的多种方法，可以结合多种方法使用。当然，除以上所述的那些方法之外的方法也可以包括在此类方法中。

[正交变换跳过等的配置实例]

图13是说明正交变换跳过单元121等的主要配置实例的框图。

如图13所说明的，正交变换跳过单元121配置为包括跳过编码单元131和跳过确定单元132。

当前块是4×4块时，跳过编码单元131从正交变换单元104获取当前块的正交变换系数和正交变换前的差值。不应用正交变换跳过的情况下，跳过编码单元131利用所提供的正交变换系数执行编码过程，生成其成本函数值。此外，在应用正交变换跳过的情况下，跳过编码单元131利用所提供的正交变换前的差值执行编码过程，生成其成本函数值。跳过编码单元131把成本函数值提供给跳过确定单元132。

另外，当前块比4×4块大时，跳过编码单元131略去这种处理。这种情况下，跳过确定单元132向正交变换单元104提供发布执行正交变换的指令的控制信号。正交变换单元104基于该控制执行当前块的正交变换。

跳过确定单元132从无损编码单元106获取指示是否许可正交变换处理的跳过的跳过许可信息(transform_skip_enabled_flag)。这种跳过许可信息(transform_skip_enabled_flag)是事先由例如用户等设置的、并且存储在无损编码单元106。跳过确定单元132向正交变换单元104提供指示是否许可对应于跳过许可信息(transform_skip_enabled_flag)的正交变换跳过的控制信号。

例如，当跳过许可信息(transform_skip_enabled_flag)指示正交变换跳过(例如，值为1)被许可时，跳过确定单元132向正交变换单元104提供许可正交变换跳过的控制信号。此外，当跳过许可信息(transform_skip_enabled_flag)指示正交变换跳过(例如，值为0)被禁用时，跳过确定单元132向正交变换单元104提供禁止正交变换跳过的控制信号。

此外，跳过确定单元132基于跳过编码单元131提供的成本函数值确定最优模式。即，它确定是否对当前块应用正交变换跳过(TransformSkip)。跳过确定单元132向正交变换单元104、量化单元105、去块过滤器111、逆量化单元108及逆正交变换单元109提供所确定的结果(指示确定的最优模式的信息)作为控制信号。

此外，跳过确定单元132生成用于识别所确定的结果(正交变换跳过是否应用到当前块)的跳过标识信息(TransformSkipFlag)并且向无损编码单元106提供和发送该跳过标识信息。

关于从计算单元103获取的正交变换前的差值，正交变换单元104生成在所有模式下都没有被从跳过编码单元131提供的控制信号禁用的当前块的正交变换系数和正交变换前的差值。正交变换单元104把生成的当前块的正交变换系数和正交变换前的差值提供给跳过编码单元131。另外，当正交变换跳过被控制信号禁用时，正交变换单元104仅把当前块的正交变换系数提供给跳过编码单元131。

如上所述，当在正交变换跳过单元121中确定了模式时，正交变换单元104获取从跳过确定单元132提供的控制信号并且根据该控制执行指定模式的处理。即，正交变换单元104执行或跳过正交变换处理。执行的情况下，正交变换单元向量化单元105提供正交变换系数，而跳过的情况下，向量化单元105提供正交变换前的差值。

以这种方式，正交变换单元104可以必要时适当地执行正交变换，以抑制编码效率的降低，因此有可能抑制由于编码/解码造成的图像质量退化。

另外，正交变换单元104保持所有模式下要提供给跳过编码单元131的当前块的正交变换系数和正交变换前的差值，并且根据这些系数和值，可以根据跳过确定单元132提供的控制信号，选择在一个模式下提供给量化单元105的正交变换系数和正交变换前的差值。因而，有可能略去该处理并减小负载。

如图13所说明的，量化单元105配置为包括量化矩阵设置单元141、加权系数生成单元142和量化处理单元143。

量化矩阵设置单元141向加权系数生成单元142提供量化矩阵，该量化矩阵是由用户等设置的。

加权系数生成单元142获取从跳过确定单元132提供的控制信号。加权系数生成单元142基于该控制信号的控制向量化处理单元143提供量化矩阵或加权系数。

例如，当不应用正交变换跳过时，加权系数生成单元142向量化处理单元143提供量化矩阵，该量化矩阵在控制信号指定的模式下从量化矩阵设置单元141提供。

此外，例如，当应用正交变换跳过时，加权系数生成单元142生成加权系数并且把生成的加权系数提供给量化处理单元143。如上所述，生成加权系数的方法是任意的。例如，除了量化矩阵设置单元141提供的量化矩阵之外，从量化矩阵设置单元141提供的量化矩阵提取的DC分量可以设置为加权系数，还可以设置另一个加权系数，并且加权系数可以从外围块的量化矩阵的DC分量计算。

量化处理单元143利用从加权系数生成单元142提供的量化矩阵或加权系数以及从速率控制单元117提供的量化参数等，量化从正交变换单元104提供的正交变换系数或正交变换前的差值。

即，当正交变换系数从正交变换单元104提供时，量化处理单元143利用量化矩阵、量化参数等量化当前块的正交变换系数。此外，当正交变换前的差值从正交变换单元104提供时，量化处理单元143利用加权系数、量化参数等量化当前块的正交变换前的差值。

量化处理单元143把量化系数提供给无损编码单元106和逆量化单元108。此外，必要时，量化处理单元143把关于例如加权系数等的量化参数提供和发送到无损编码单元106。

因而，量化处理单元143可以适当地执行量化，以便抑制图像质量退化。从而，图像编码设备100可以抑制由于编码/解码造成的图像质量退化。换句话说，图像编码设备100可以提高编码效率。

另外，量化处理单元143可以向逆量化单元108提供：量化矩阵或被应用到量化处理的加权系数，连同例如量化系数。

另外，类似于逆量化单元108和逆正交变换单元109的处理单元也在以下描述的图像解码设备中形成，因此其描述也适用于逆量化单元108和逆正交变换单元109，因此对逆量化单元108和逆正交变换单元109的具体描述将不给出。

如图13所说明的，去块过滤器111配置为包括边界确定单元151、强度调整单元152以及过滤单元153。

边界确定单元151获取从跳过确定单元132提供的关于当前块的控制信号。另外，边界确定单元151获取识别正交变换跳过是否应用到当前块的外围块的跳过标识信息(TransformSkipFlag)。边界确定单元151基于这种信息确定当前块边界是否是正交变换跳过块与非正交变换跳过块之间的边界，并且把指示所确定的结果的控制信号提供给强度调整单元152。

强度调整单元152生成各种参数，诸如Bs值、α、β和tc，并且基于这些值和从边界确定单元151提供的控制信号来确定去块过滤器的强度。即，当前块边界不是正交变换跳过块与非正交变换跳过块之间的边界时，强度调整单元152基于各种参数的值(诸如生成的Bs值、α、β和tc)确定去块过滤器的强度。此外，当前块边界是正交变换跳过块与非正交变换跳过块之间的边界时，例如，强度调整单元152还以如上所述任何方式基于控制信号使过滤器强度变强。

以这种方式，强度调整单元152通知过滤单元153所设定的过滤器强度。

利用强度调整单元152提供的过滤器强度，过滤单元153对计算单元110提供的块边界的去块前过滤器像素值(pre-deblocking filter pixel value)执行去块过滤处理。过滤单元153向帧存储器112提供去块后的过滤器像素值以存储在其中。这种信息在帧内或帧间预测处理时使用。

因而，去块过滤器111可以对正交变换跳过块与非正交变换跳过块之间的边界执行过滤器处理，使更强的去块过滤器被应用。从而，图像质量退化被进一步抑制。即，图像编码设备100可以抑制由于编码/解码造成的图像质量退化。换句话说，图像编码设备100可以提高编码效率。

[编码过程流程]

接下来，描述如上所述由图像编码设备100执行的个别处理操作流程。首先，将参考图14的流程图描述编码过程流程实例。

在步骤S101，无损编码单元106基于用户的指令等生成指示是否许可正交变换处理的跳过的跳过许可信息(transform_skip_enabled_flag)。例如，跳过许可信息(transform_skip_enabled_flag)发送到SPS。

在步骤S102，A/D转换器101对输入的图像执行A/D转换。在步骤S103，屏幕重新布置缓冲区102存储通过A/D转换获得的图像并且把相应的图片从显示次序重新布置成编码次序。在步骤S104，帧内预测单元114在帧内预测模式下执行帧内预测处理。

在步骤S105，运动预测/补偿单元115执行帧间运动预测处理，其中运动预测或运动补偿是在帧间预测模式下执行的。

在步骤S106，预测图像选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的每个成本函数值确定最优模式。即，预测图像选择单元116选择由帧内预测单元114生成的预测图像和运动预测/补偿单元115生成的预测图像之一

在步骤S107，计算单元103计算通过步骤S103的处理获得的重新布置的图像与通过步骤S106的处理选择的预测图像之间的差异。与原始图像数据相比，差异数据的数据量减少了。从而，与图像被直接编码的情况相比，数据量可以压缩。

在步骤S108，正交变换跳过单元121执行正交变换跳过控制处理。

在步骤S109，根据步骤S108的处理结果，正交变换单元104对由步骤S107处理生成的差异信息执行正交变换处理。

在步骤S110，根据步骤S108的处理结果，利用从速率控制单元117提供的量化参数，量化单元105量化通过步骤S109处理获得的正交变换系数或正交变换前的差值。

通过步骤S110的处理被量化的差异信息是如下本地解码的。即，在步骤S111，根据步骤S108的处理结果，逆量化单元108对通过步骤S111的处理生成的量化系数(也称为量化系数)执行逆量化，其中量化系数具有对应于量化单元105的那些特性。在步骤S112，根据步骤S108的处理结果，逆正交变换单元109对通过步骤S111的处理获得的正交变换系数或正交变换前的差值执行逆正交变换。

由于步骤S111和步骤S112中的每个处理操作的描述对应于要在解码过程执行的类似处理操作，因此其具体描述将不给出。

在步骤S113，计算单元110把预测图像添加到本地解码的差异信息，以生成本地解码图像(对应于输入到计算单元103的图像的图像)。

在步骤S114，根据步骤S108的处理结果，去块过滤器111适当地对通过步骤S113的处理获得的本地解码图像执行去块过滤处理。

在步骤S115，帧存储器112存储接受通过步骤S114进行的去块过滤处理的解码图像。另外，不接受由去块过滤器111过滤的图像也从计算单元110提供并存储在帧存储器112中。

在步骤S116，无损编码单元106通过步骤S110编码量化系数。即，针对对应于差异图像的数据执行诸如可变长度编码或计算编码的无损编码。

此外，这个时候，无损编码单元106编码关于通过步骤S106选择的预测图像的预测模式的信息，并且把编码信息添加到通过编码差异图像获得的编码数据。即，无损编码单元106还编码诸如从帧内预测单元114提供的最优帧内预测模式信息或者根据从运动预测/补偿单元115提供的最优帧间预测模式信息的信息，并且把编码信息添加到编码数据。

另外，无损编码单元106还适当地编码关于正交变换或量化的信息并且把编码信息添加到编码数据。

在步骤S117，累积缓冲区107累积通过步骤S116获得的编码数据。在累积缓冲区107中累积的编码数据被适当地读出并通过传输路径或记录介质发送到解码侧。

在步骤S118，速率控制单元117基于通过步骤S117在累积缓冲区107中累积的编码数据的编码量(生成的编码量)来控制量化单元105的量化操作速率，以便不造成上溢或下溢。此外，速率控制单元117把关于量化参数的信息提供给量化单元105。

当步骤S118的处理结束时，编码过程完成。

[正交变换跳过控制处理流程]

接下来，将参考图15的流程图描述在图14的步骤S108执行的正交变换跳过控制处理流程实例。

当正交变换跳过控制处理开始时，跳过确定单元132在步骤S131基于跳过许可信息(transform_skip_enabled_flag)确定是否许可执行正交变换跳过的TransformSkip模式。

当确定许可TransformSkip模式时，处理前进到步骤S132。在步骤S132，跳过确定单元132允许TransformSkip模式被包括在候选模式中。当步骤S132的处理结束时，处理前进到步骤S134。

另外，当在步骤S132中确定不许可TransformSkip模式时，处理前进到步骤S133。在步骤S133，跳过确定单元132从候选模式中除去TransformSkip模式。当步骤S133的处理结束时，处理前进到步骤S134。

在步骤S134，跳过编码单元131选择未处理的候选模式。在步骤S135，跳过编码单元131确定选定模式是否是正交变换跳过(TransformSkip)模式。

当确定是正交变换跳过(TransformSkip)模式时，处理前进到步骤S136。在步骤S136，跳过编码单元131生成加权系数。当步骤S136的处理结束时，处理前进到步骤S139。

当在步骤S135确定选定模式不是正交变换跳过(TransformSkip)模式时，处理前进到步骤S137。在步骤S137，跳过编码单元131对当前块执行正交变换。

在步骤S138，跳过编码单元131获取量化矩阵。

在步骤S139，跳过编码单元131利用正交变换单元104获得的正交变换系数或者正交变换前的差值来执行编码操作，并且生成关于当前模式的成本函数值。

在步骤S140，跳过编码单元131确定是否所有候选模式都已经被处理。当存在未处理的候选模式时，处理返回步骤S134并且重复执行后续的处理操作。即，步骤S134至步骤S140中的每个处理都重复地执行，直到关于所有模式都生成成本函数值。

当步骤S140中确定所有候选模式都被处理时，处理前进到步骤S141。在步骤S141，跳过确定单元132基于成本函数值确定最优模式。

在步骤S142，跳过确定单元132基于最优模式生成跳过标识信息(TransformSkipFlag)。

当步骤S142的处理结束时，正交变换跳过控制处理完成，并且处理返回到图14所说明的处理操作。

[正交变换处理流程]

接下来，将参考图16的流程图描述要在图14的步骤S108执行的正交变换处理流程实例。

当正交变换处理开始时，正交变换单元104在步骤S151中确定由跳过确定单元132选择的最优模式是否是正交变换跳过(TransformSkip)模式。当确定是正交变换跳过(TransformSkip)模式时，处理前进到步骤S152。

在步骤S152，正交变换单元104跳过正交变换处理并且输出当前块的正交变换前的差值。当步骤S152的处理结束时，处理返回图14所说明的过程。

另外，在图16的步骤S151，当确定不是正交变换跳过(TransformSkip)模式时，处理前进到步骤S153。

在步骤S153，正交变换单元104对当前块的正交变换前的差值执行正交变换。在步骤S154，正交变换单元104输出所获得的正交变换系数。当步骤S154的处理结束时，处理返回图14所说明的过程。

[量化处理流程]

接下来，将参考图17的流程图描述要在图14的步骤S110执行的量化处理流程实例。

当量化处理开始时，加权系数生成单元142在步骤S161中确定由跳过确定单元132选择的最优模式是否是正交变换跳过(TransformSkip)模式。当确定是正交变换跳过(TransformSkip)模式时，处理前进到步骤S162。

在步骤S162，加权系数生成单元142生成加权系数。当步骤S162的处理结束时，处理前进到步骤S164。

另外，当在步骤S161中确定不是正交变换跳过(TransformSkip)模式时，处理前进到步骤S163。

在步骤S163，加权系数生成单元142获取量化矩阵。当步骤S163的处理结束时，处理前进到步骤S164。

在步骤S164，量化处理单元143利用在步骤S162中生成的加权系数和在步骤S163中获取的量化矩阵，执行当前块的正交变换系数或者正交变换前的系数差值的量化。在步骤S165，量化处理单元143把量化矩阵和所应用的加权系数提供并发送到无损编码单元106。当步骤S165的处理结束时，量化处理完成，并且处理返回图14所说明的过程。

[去块过滤处理流程]

接下来，将参考图18的流程图描述要在图14的步骤S114执行的去块过滤处理流程实例。

当去块过滤处理开始时，强度调整单元152在步骤S171中获取模式信息、运动矢量、参考帧信息等。

在步骤S172，强度调整单元152检测TU、PU等的块边界。在步骤S173，强度调整单元152基于这种信息确定Bs值。在步骤S174，通过把两个块的量化参数定义为QP_P和QP_Q，强度调整单元152计算块边界中的量化参数(边界QP)，如以下等式(3)那样。

QP＝(QP_P+QP_Q+1)>>1···(3)

在步骤S175，强度调整单元152利用如上所述计算的边界QP确定β偏移量值和tc偏移量值。在步骤S176，强度调整单元152通过处理计算出的偏移量值而确定过滤器(强、弱和关闭)。

在步骤S177，边界确定单元151从跳过确定单元132获取当前块的控制信号并且从无损编码单元106获取外围块的跳过标识信息(TransformSkipFlag)。

在步骤S178，边界确定单元151确定当前块边界是否是正交变换跳过块与非正交变换跳过块之间的边界。

当确定当前块边界是正交变换跳过块与非正交变换跳过块之间的边界时，处理前进到步骤S179。在步骤S179，强度调整单元152调整去块过滤器的强度。当步骤S179的处理结束时，处理前进到步骤S180。

另外，当步骤S178中确定当前块边界不是正交变换跳过块与非正交变换跳过块之间的边界时，处理前进到步骤S180。

在步骤S180，过滤单元153执行去块过滤处理。当步骤S180的处理结束时，去块过滤处理完成，并且处理返回图14所说明的过程。

通过执行如上所述的每个处理操作，图像编码设备100可以抑制编码效率的下降，并且抑制由于编码/解码造成的图像质量退化。

<2.第二实施例>

[图像解码设备]

接下来，将描述如上所述编码的编码数据(编码流)的解码。图19是说明对应于图1图像编码设备100的图像解码设备的主要配置实例的框图。

图19说明的图像解码设备200利用对应于其编码系统的解码方法解码由图像编码设备100生成的编码数据。

如图19所说明的，图像解码设备200包括累积缓冲区201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、去块过滤器206、屏幕重新布置缓冲区207，以及D/A转换器208。此外，图像解码设备200还包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212以及选择单元213。

此外，图像解码设备200还包括逆正交变换跳过单元221。

累积缓冲区201还是接收发送到其的编码数据的接收单元。累积缓冲区201接收并累积发送到其中的编码数据，并且在预定时间把编码数据提供给无损解码单元202。解码必需的信息片段，诸如预测模式信息，被添加到编码数据。无损解码单元202利用对应于无损编码单元106的编码系统的方法，解码从累积缓冲区201提供并由图1的无损编码单元106编码的信息。无损解码单元202把通过解码获得的差异图像的量化系数数据提供给逆量化单元203。

此外，无损解码单元202确定是选择了帧内预测模式还是选择了帧间预测模式作为最优预测模式，并且把关于最优预测模式的信息提供给帧内预测单元211和运动预测/补偿单元212之一，其中最优预测模式是被确定要选择的模式。换句话说，例如，在图像编码设备100中选择帧内预测模式作为最优预测模式的情况下，关于最优预测模式的信息提供给帧内预测单元211。此外，例如，在图像编码设备100中选择帧间预测模式作为最优预测模式的情况下，关于最优预测模式的信息提供给运动预测/补偿单元212。

另外，无损解码单元202向逆量化单元203提供诸如像量化矩阵或量化参数的信息，这些信息是逆量化所需的。另外，无损解码单元202向逆正交变换跳过单元221提供诸如像跳过许可信息(transform_skip_enabled_flag)或跳过标识信息(TransformSkipFlag)的信息，这些信息是逆正交变换所需的。

利用对应于图1量化单元105的量化方法的方法，逆量化单元203基于逆正交变换跳过单元221的控制，对通过无损解码单元202的解码获得的量化系数数据执行逆量化。另外，逆量化单元203是类似于图1图像编码设备100的逆量化单元108的处理单元。即，逆量化单元203的描述也可以适用于逆量化单元108的描述。但是，有必要通过依赖于设备适当地改变其来读取数据的输入/输出目的地。

逆量化单元203向逆正交变换单元204提供所获得的系数数据。

基于逆正交变换跳过单元221的控制，必要时，利用对应于图1中正交变换单元104的正交变换方法的方法，逆正交变换单元204执行对要从逆量化单元203提供的系数数据(正交变换系数或者正交变换前的差值)的逆正交变换。另外，逆正交变换单元204是类似于图1图像编码设备100的逆正交变换单元109的处理单元。即，逆正交变换单元204的描述也可以适用于逆正交变换单元109的描述。但是，有必要通过依赖于设备适当地改变其来读取数据的输入/输出目的地。

通过图像编码设备100的逆正交变换处理，逆正交变换单元204获得对应于正交变换之前的残余数据的解码残余数据。通过逆正交变换获得的解码残余数据被提供给计算单元205。另外，预测图像通过选择单元213从帧内预测单元211或运动预测/补偿单元212提供给计算单元205。

计算单元205把解码残余数据和预测图像相加，并且获得对应于预测图像被图像编码设备100的计算单元103减去之前的图像数据的解码图像数据。计算单元205把解码图像数据提供给去块过滤器206。

去块过滤器206对所提供的解码图像适当地执行去块过滤处理并且把它提供给屏幕重新布置缓冲区207。通过对解码图像执行去块过滤处理，去块过滤器206除去解码图像的块失真。另外，去块过滤器206是类似于图1图像编码设备100的去块过滤器111的处理单元。

去块过滤器206向屏幕重新布置缓冲区207和帧存储器209提供过滤处理结果(过滤处理之后的解码图像)。此外，从计算单元205输出的解码图像可以不经过去块过滤器206就提供给屏幕重新布置缓冲区207或帧存储器209。换句话说，去块过滤器206执行的过滤处理可以被略去。

屏幕重新布置缓冲区207重新布置图像。换句话说，对于图1中屏幕重新布置缓冲区102的编码次序重新布置的帧次序以原始显示次序被重新布置。D/A转换器208D/A转换从屏幕重新布置缓冲区207提供的图像并且把该图像输出到图中未示出的显示器，以在其上显示该图像。

帧存储器209存储所提供的解码图像并且在预定时间或者基于来自外部(诸如帧内预测单元211或者运动预测/补偿单元212)的请求把所存储的解码图像作为参考图像提供给选择单元210。

选择单元210选择从帧存储器209提供的参考图像的供应目的地。在解码帧内编码的图像的情况下，选择单元210把从帧存储器209提供的参考图像提供给帧内预测单元211。此外，在解码帧间编码的图像的情况下，选择单元210把从帧存储器209提供的参考图像提供给运动预测/补偿单元212。

向帧内预测单元211提供的是适当地来自无损解码单元202的、指示帧内预测模式的信息等，这种信息是通过解码首部信息获得的。以图1帧内预测单元114中所使用的帧内预测模式，帧内预测单元211利用从帧存储器209获取的参考图像执行帧内预测，并且生成预测图像。帧内预测单元211把生成的预测图像提供给选择单元213。

运动预测/补偿单元212从无损解码单元202获取通过解码首部信息获得的信息(最优预测模式信息、参考图像信息，等等)。

以从无损解码单元202获取的最优预测模式指示的帧间预测模式，运动预测/补偿单元212利用从帧存储器209获取的参考图像执行帧间预测，并且生成预测图像。

选择单元213把来自帧内预测单元211的预测图像或者来自运动预测/补偿单元212的预测图像提供给计算单元205。此外，在计算单元205，利用运动矢量生成的预测图像和来自逆正交变换单元204的解码残余数据(差异图像信息)相加，并且原始图像被解码。换句话说，运动预测/补偿单元212、无损解码单元202、逆量化单元203、逆正交变换单元204和计算单元205也是利用运动矢量解码编码数据并且生成原始图像的解码单元。

逆正交变换跳过单元221通过无损解码单元202获取从编码侧提供的信息，并且基于该信息控制逆正交变换单元204中逆正交变换处理的执行。此外，逆正交变换跳过单元221还控制由逆量化单元203进行的逆量化处理和由去块过滤器206进行的去块过滤处理。

因而，图像解码设备200可以适当地解码编码数据。从而，图像解码设备200可以实现编码效率下降的抑制，并且可以实现由于编码/解码造成的图像质量退化的抑制。

[逆正交变换跳过单元等的配置实例]

图20是说明逆正交变换跳过单元221等的主要配置实例的框图。

如图20所说明的，逆正交变换跳过单元221配置为包括TransfomSkipFlag缓冲区231和控制信号生成单元232。

TransfomSkipFlag缓冲区231获取并在无损解码单元202中保持从编码数据(位流)提取出的跳过许可信息(transform_skip_enabled_flag)或跳过标识信息(TransfomSkipFlag)。TransfomSkipFlag缓冲区231在预定时间或者基于需求向控制信号生成单元232提供所保持的跳过许可信息(transform_skip_enabled_flag)或跳过标识信息(TransfomSkipFlag)。

控制信号生成单元232依赖于从TransfomSkipFlag缓冲区231提供的跳过许可信息(transform_skip_enabled_flag)或跳过标识信息(TransfomSkipFlag)生成控制信号，并且把该控制信号提供给逆量化单元203、逆正交变换单元204和去块过滤器206。

例如，当正交变换跳过被跳过许可信息(transform_skip_enabled_flag)禁用时，控制信号生成单元232如下方式提供控制信号。即，控制信号生成单元232提供指示逆量化单元203利用量化矩阵执行逆量化的控制信号。此外，控制信号生成单元232提供指示逆正交变换单元204执行逆正交变换的控制信号。另外，控制信号生成单元232提供通知去块过滤器206当前块不是正交变换跳过块的控制信号。

此外，例如，当正交变换跳过被跳过许可信息(transform_skip_enabled_flag)许可、并且通过跳过标识信息(TransfomSkipFlag)识别出在当前块编码时没有应用正交变换跳过时，控制信号生成单元232以如下方式提供控制信号。即，控制信号生成单元232提供指示逆量化单元203利用量化矩阵执行逆量化的控制信号。此外，控制信号生成单元232提供指示逆正交变换单元204执行逆正交变换的控制信号。另外，控制信号生成单元232提供通知去块过滤器206当前块不是正交变换跳过块的控制信号。即，控制信号生成单元232可以把跳过标识信息(TransfomSkipFlag)作为控制信号提供给去块过滤器206。

此外，例如，当正交变换跳过被跳过许可信息(transform_skip_enabled_flag)许可、并且通过跳过标识信息(TransfomSkipFlag)识别出在当前块编码时应用正交变换跳过时，控制信号生成单元232以如下方式提供控制信号。即，控制信号生成单元232提供指示逆量化单元203利用加权系数执行逆量化的控制信号。此外，控制信号生成单元232提供指示逆正交变换单元204不执行逆正交变换的控制信号。另外，控制信号生成单元232提供通知去块过滤器206当前块是正交变换跳过块的控制信号。即，控制信号生成单元232可以把跳过标识信息(TransfomSkipFlag)作为控制信号提供给去块过滤器206。

如图20所说明的，逆量化单元203配置为包括量化矩阵缓冲区241、加权系数生成单元242、量化参数缓冲区243，以及逆量化单元244。

量化矩阵缓冲区241获取并保持由无损解码单元202从编码数据的SPS等提取的量化矩阵。量化矩阵从编码侧发送并且在编码时使用。量化矩阵缓冲区241在预定时间或者按需把所保持的量化矩阵提供给加权系数生成单元242。另外，当编码时应用的加权系数从编码侧发送时，量化矩阵缓冲区241获取加权系数并且把它提供给加权系数生成单元242，就像在量化矩阵中一样。

加权系数生成单元242获取从控制信号生成单元232提供的控制信号。加权系数生成单元242基于控制信号的控制掌握正交变换跳过是否在编码时应用到当前块，基于所掌握的信息把量化矩阵或加权系数提供给逆量化单元244。

例如，当正交变换跳过在编码时没有应用到当前块时，加权系数生成单元242向逆量化单元244提供由控制信号指定的模式的量化矩阵，这个量化矩阵是从量化矩阵缓冲区241提供的。

此外，例如，当正交变换跳过在编码时应用到当前块时，加权系数生成单元242生成加权系数并且把生成的加权系数提供给逆量化单元244。

另外，生成加权系数的方法是任意的，只要该方法与编码侧的方法相同就可以。即，例如，在图像编码设备100，当加权系数生成单元142提取从量化矩阵设置单元141提供的量化矩阵的DC分量并且把提取出的DC分量设置成加权系数时，加权系数生成单元242也类似地提取从量化矩阵缓冲区241提供的量化矩阵的DC分量并且也把提取出的DC分量设置成加权系数。

另外，在图像编码设备100，当加权系数生成单元142设置与从量化矩阵设置单元141提供的量化矩阵分离的加权系数时，加权系数生成单元242也以相同方式设置与从量化矩阵缓冲区241提供的量化矩阵分离的加权系数。同时，当编码时应用的加权系数从编码侧提供时，应用该加权系数。

另外，在图像编码设备100，当加权系数生成单元142从外围块的量化矩阵的DC分量计算加权系数时，加权系数生成单元242也以相同方式从外围块的量化矩阵的DC分量计算加权系数。

量化参数缓冲区243获取并保持由无损解码单元202从编码数据的SPS等提取出的量化参数。量化参数从编码侧提供并且在编码时使用。量化参数缓冲区243在预定时间或者按需把所保持的量化参数提供给逆量化单元244。

逆量化单元244获取由无损解码单元202从编码数据提取的量化系数。逆量化单元244还从量化参数缓冲区243获取量化参数并且从加权系数生成单元242获取量化矩阵或加权系数。逆量化单元244利用它们逆量化量化系数。这种逆量化的方法对应于图像编码设备100的量化处理单元143进行量化的方法。

即，例如，当正交变换跳过在编码时没有应用到当前块时，逆量化单元利用量化矩阵和量化参数来逆量化量化系数，并且把所获得的正交变换系数提供给逆正交变换单元204。

此外，例如，当正交变换跳过在编码时应用到当前块时，逆量化单元利用加权系数和量化参数来逆量化量化系数，并且把所获得的正交变换前的差值提供给逆正交变换单元204。

因而，逆量化单元203可以利用对应于编码时的量化方法适当地执行逆量化。即，逆量化单元203可以通过图像编码设备100的量化单元105适当地逆量化量化系数。从而，逆量化单元203可以适当地执行逆量化，以便抑制图像质量退化。因此，图像解码设备200可以实现由于编码/解码造成的图像质量退化的抑制。换句话说，图像解码设备200可以提高编码效率。

基于从控制信号生成单元232提供的控制信号，逆正交变换单元204对从逆量化单元244提供的逆量化系数适当地执行逆正交变换。

例如，当前块是在编码时没有对其应用正交变换跳过的块时，逆正交变换单元204基于控制信号掌握从逆量化单元244提供的逆量化系数是正交变换系数。即，以对应于图像编码设备100中正交变换单元104的正交变换的方法，逆正交变换单元204对正交变换系数执行逆正交变换。因而，充当频率域的值的逆量化系数被转换成充当空间域的值的正交变换前的差值(解码残余数据)。逆正交变换单元204把解码残余数据提供给计算单元205。

此外，例如，当前块是在编码时对其应用正交变换跳过的块时，逆正交变换单元204基于控制信号掌握从逆量化单元244提供的逆量化系数是正交变换前的差值。逆正交变换单元204把充当空间域的值的正交变换前的差值提供给计算单元205，作为解码残余数据。

因而，以对应于编码时的正交变换方法，逆正交变换单元204可以适当地执行逆正交变换。即，例如，逆正交变换单元204可以对图像编码设备100的正交变换单元104生成的系数执行适当的处理。从而，逆正交变换单元204可以适当地执行逆正交变换，以便抑制图像质量退化。因此，图像解码设备200可以实现由于编码/解码造成的图像质量退化的抑制。换句话说，图像解码设备200可以提高编码效率。

如图20所说明的，去块过滤器206配置为包括边界确定单元251、强度调整单元252，以及过滤单元253。

边界确定单元251是类似于图像编码设备100的边界确定单元151的处理单元。指示正交变换跳过是否在编码时应用到当前块的控制信号(例如，跳过标识信息(TransformSkipFlag))提供给边界确定单元251。边界确定单元251保持这种信息，确定当前块边界是否是正交变换跳过块与非正交变换跳过块之间的边界，并且把指示所确定结果的控制信号提供给强度调整单元252。

强度调整单元252是类似于图像编码设备100的强度调整单元152的处理单元。强度调整单元252生成各种参数，诸如Bs值、α、β和tc，并且基于这种值和从边界确定单元251提供的控制信号确定去块过滤器的强度。即，当前块边界不是正交变换跳过块与非正交变换跳过块之间的边界时，强度调整单元252基于诸如生成的Bs值、α、β和tc的各种参数确定去块过滤器的强度。此外，当前块边界是正交变换跳过块与非正交变换跳过块之间的边界时，强度调整单元252附加地基于控制信号，例如以类似于以上方式的任何方式，强化过滤器的强度。与强度调整单元152相同的方法可以用于过滤器强度的确定和调整。即，在编码时所应用的过滤器强度被再现。

强度调整单元252通知过滤单元253以这种方式设置的过滤器强度。

过滤单元253是类似于图像编码单元100的过滤单元153的处理单元。利用从强度调整单元252提供的过滤器强度，过滤单元253对从计算单元205提供的块边界的解码残余数据(去块前的过滤器像素值)执行去块过滤处理。过滤单元253向屏幕重新布置缓冲区207或帧存储器209提供去块后的过滤器像素值，这个值是执行去块过滤处理获得的。

因而，去块过滤器206可以对正交变换跳过块与非正交变换跳过块之间的边界执行过滤处理，应用更强的去块过滤。从而，图像质量退化被进一步抑制。即，图像解码设备200可以实现由于编码/解码造成的图像质量退化的抑制。换句话说，图像解码设备200可以实现编码效率的提高。

[解码过程流程]

接下来，将描述由以上所述图像解码设备200执行的每个处理操作流程。首先，将参考图21所说明的流程图描述解码过程的流程实例。

当解码操作开始时，累积缓冲区201在步骤S201中累积所发送的编码数据。在步骤S202，无损解码单元202解码从累积缓冲区201提供的位流(编码的差异图像信息)。即，图1所说明的无损编码单元106编码的I图片、P图片和B图片被解码。

此时，包括在位流中的除差异图像信息之外的各种类型的信息，诸如首部信息，也被解码。在步骤S203，逆正交变换跳过单元221的TransformSkipFlag缓冲区231获取在无损解码单元202中提取出的跳过标识信息(TransformSkipFlag)。逆正交变换跳过单元221的控制信号生成单元232基于跳过标识信息(TransformSkipFlag)生成控制信号并且把该控制信号提供给加权系数生成单元242、逆正交变换单元204和边界确定单元251。

在步骤S204，逆量化单元203逆量化通过步骤S202的处理操作获得的量化系数。在步骤S205，必要时，逆正交变换单元204对在步骤S204中获得的逆量化系数执行逆正交变换。

在步骤S206，帧内预测单元211或运动预测/补偿单元212执行预测处理操作并且生成预测图像。即，预测处理操作是在无损解码单元202确定、并在编码时应用的预测模式下执行的。更具体而言，例如，当帧内预测在编码时被应用时，帧内预测单元211在帧内预测模式下生成预测图像，其中帧内预测模式在编码时被认为是最优模式。此外，例如，当帧间预测在编码时被应用时，运动预测/补偿单元212在帧间预测模式下生成预测图像，其中帧间预测模式在编码时被认为是最优模式。

在步骤S207，计算单元205把在步骤S206生成的预测图像添加到通过步骤S205中的逆正交变换获得的差异图像信息。以这种方式，原始图像被解码。

在步骤S208，去块过滤器206对在步骤S205获得的解码图像适当地执行去块过滤处理操作。另外，去块过滤处理操作是以与编码时的去块过滤处理操作相同方式执行的。即，操作是与参考图18所说明流程图描述操作的情况下相同方式执行的，因此去块过滤处理的具体描述不给出。换句话说，以上参考图18所说明流程图的描述可以用作去块过滤处理的描述。

在步骤S209，屏幕重新布置缓冲区207重新布置在步骤S208中接受过滤处理的图像。即，图像编码设备100的屏幕重新布置缓冲区102以原始显示次序重新布置帧次序，以进行编码。

在步骤S210，D/A转换器208对其中帧次序在步骤S209中重新布置的图像执行D/A转换。图像输出到显示器(未说明)并且图像被显示。

在步骤S211，帧存储器209存储在步骤S209中接受过滤处理的图像。

当步骤S211的处理操作结束时，解码过程完成。

[逆量化处理流程]

接下来，将参考图22所说明的流程图描述在图21的步骤S204执行的逆量化处理流程实例。

当逆量化处理开始时，加权系数生成单元242在步骤S231中确定当前块是否是正交变换跳过(TransformSkip)模式。

当确定当前块是正交变换跳过(TransformSkip)模式时，处理前进到步骤S232。在步骤S232，加权系数生成单元242生成加权系数。当步骤S232的处理结束时，处理前进到步骤S234。

另外，当在步骤S231中确定当前块不是正交变换跳过(TransformSkip)模式时，处理前进到步骤S233。在步骤S233，加权系数生成单元242通过TransformSkipFlag缓冲区231获取量化矩阵。当步骤S233的处理结束时，处理前进到步骤S234。

在步骤S234，逆量化单元244利用在步骤S232中生成的加权系数或者在步骤S233中生成的量化矩阵执行逆量化。

当步骤S234的处理结束时，逆量化处理完成，并且处理返回图21所说明的处理操作。

[逆正交变换处理流程]

接下来，将参考图23所说明的流程图描述在图21的步骤S205执行的逆正交变换处理流程实例。

当逆正交变换处理开始时，逆正交变换单元204在步骤S251中确定当前块是否是正交变换跳过(TransformSkip)模式。

当确定当前块是正交变换跳过(TransformSkip)模式时，逆正交变换处理结束，并且处理返回图21所说明的处理操作。

另外，当在步骤S251中确定当前块不是正交变换跳过(TransformSkip)模式时，处理前进到步骤S252。在步骤S252，逆正交变换单元204对逆量化系数执行逆正交变换。

当步骤S252的处理结束时，逆正交变换处理完成，处理返回图21所说明的处理操作。

通过执行如上所述的每个处理操作，图像解码设备200可以正确地解码编码数据，由此实现编码效率下降的抑制和由于编码/解码造成的图像质量退化的抑制。

另外，上文描述了跳过许可信息(transform_skip_enabled_flag)被发送到SPS，但是发送跳过许可信息的方法不限于此。

例如，当在一个序列中存在正交变换跳过(TransformSkip)无效的诸如像自然图像的图片、和诸如包括包含对其应用正交变换跳过(TransformSkip)的块的字幕的图像的图片时，如果正交变换跳过在序列单元中许可，则跳过标识信息(TransformSkipFlag)必须发送到该序列中所有图片的所有块，因此是低效的。如果正交变换跳过被禁用，则不需要发送跳过标识信息(TransformSkipFlag)。为此，特别地，随着包含对其应用正交变换跳过(TransformSkip)的块的图片比例变小，存在不必要地降低编码效率的问题。

因而，正交变换跳过不限于在序列单元中许可，优选地在比序列单元更小的单元中许可。为此，跳过许可信息可以发送到位流的任何位置，诸如像除SPS之外的PPS或片首部。当然，跳过许可信息可以与位流分开发送。

另外，上文描述了跳过许可信息(transform_skip_enabled_flag)由用户等设置，但是跳过许可信息(transform_skip_enabled_flag)的设置方法(许可/禁用正交变换跳过的控制方法)是任意的。例如，跳过许可信息可以根据要编码的图像内容来设置。

例如，当正交变换跳过在初始状态下被禁用并且在电子节目指南(EGP)等中检测到节目类型时，如果检测到的类型是动画，则优选地设置跳过许可信息(transform_skip_enabled_flag)，以便许可正交变换跳过。因而，正交变换跳过的许可/禁用的控制可以基于移动图像之外的信息来执行。

此外，例如，CM(商业广播)的检测在许可正交变换跳过的状态下(例如，节目是动画的情况下)执行，正交变换跳过可以在CM广播期间被禁用，并且正交变换跳过可以在节目广播期间被许可。因而，正交变换跳过的许可/禁用的控制可以基于分析移动图图像的内容所获得的分析结果来执行。

当然，接受这种控制处理的内容(移动图像)不限于广播内容。例如，它可以是记录在诸如像硬盘或Blu-ray(注册商标)盘的记录介质中的内容、以及通过诸如互联网的电通信线路从外部下载(或者流化再现的)内容。

<3.第三实施例>

[跳过许可信息的发送控制]

但是，如上所述，正交变换跳过可以应用到4×4亮度正交变换块(亮度成分的TU)或者4×4色度正交变换块(色度成分的TU)。

相反，例如，TU的最小尺寸由在HEVC等中被称为log2_min_transform_block_size_minus2的语法指定。例如，在图4所说明的序列参数集(SPS)，TU的最小尺寸是由从底部起第六行中指示的log2_min_transform_block_size_minus2指定的。

当log2_min_transform_block_size_minus2指定的最小尺寸大于4×4时，4×4的正交变换块(TU)不存在。即，这种情况下，不可能应用正交变换跳过(TransformSkip)。从而，不需要发送指示是否许可/禁用正交变换跳过(TransformSkip)的跳过许可信息(transform_skip_enabled_flag)。换句话说，当不管TU的最小尺寸大于4×4而发送跳过许可信息时，信息量不必要地增加，因此编码效率会不必要地降低。

这里，如上所述，当TU的最小尺寸大于4×4时，跳过许可信息的发送可以被略去。换句话说，跳过许可信息可以只在TU的最小尺寸是4×4(或者更小)的情况下(只在存在具有尺寸4×4的TU的情况下)发送。

[序列参数集中的发送]

跳过许可信息(transform_skip_enabled_flag)的发送方法是任意的。例如，跳过许可信息可以发送到序列参数集(SPS)。这种情况下SPS的语法的一些例子在图24中说明。

如图24所说明的，指示正交变换块(TU)的最小尺寸的log2_min_transform_block_size_minus2在图24中从顶部起第五行中设置。log2_min_transform_block_size_minus2是指示对应于SPS的序列中正交变换块(TU)的最小尺寸的语法。

相反，如在图24中从底部起第五行中所指示的，确认TU的最小尺寸是否是4×4(if(log2_min_transform_block_size_minus2＝＝0))，并且跳过许可信息(transform_skip_enabled_flag)只在TU的最小尺寸是4×4的情况下设置，如在图24中从底部起第四行中所指示的。即，跳过许可信息只在TU的最小尺寸是4×4的情况下发送；否则，它被控制成使其不发送。另外，这种情况下，跳过许可信息(transform_skip_enabled_flag)只在SPS中发送。此外，当跳过许可信息(transform_skip_enabled_flag)被设置时，该值是基于诸如任何信息(如，用户指令)设置的。

此外，跳过许可信息的发送控制是由无损编码单元106执行的。从而，图像编码设备100可以仅必要时发送跳过许可信息，由此抑制编码效率的下降，并且抑制由于编码/解码造成的图像质量退化。

[到图片参数集的发送]

此外，跳过许可信息(transform_skip_enabled_flag)可以发送到例如图片参数集(PPS)。这种情况下的PPS的语法的一些例子在图25中说明。

如图25所说明的，指示正交变换块(TU)的最小尺寸的pps_log2_min_transform_block_size_minus2是在图25中从顶部起第三行中设置的。pps_log2_min_transform_block_size_minus2是指示对应于PPS的图片中正交变换块(TU)的最小尺寸的语法。即，即使当上述log2_min_transform_block_size_minus2在SPS中设置时，pps_log2_min_transform_block_size_minus2也可以在PPS中设置。但是，这种情况下，跳过许可信息(transform_skip_enabled_flag)只在PPS中发送。

相反，如在图25中从顶部起第四行中指示的，确认TU的最小尺寸是否是4×4(if(pps_log2_min_transform_block_size_minus2＝＝0))，并且跳过许可信息(transform_skip_enabled_flag)只在TU的最小尺寸是4×4的情况下设置，如在图25中从顶部起第五行中指示的。即，即使这种情况下，跳过许可信息也只在TU的最小尺寸是4×4的情况下发送；否则，它被控制成使其不发送。当跳过许可信息(transform_skip_enabled_flag)被设置时，该值是基于诸如任何信息(像用户指令)设置的。

即使这种情况下，跳过许可信息的发送控制也是由无损编码单元106执行的。从而，图像编码设备100可以仅必要时发送跳过许可信息，由此抑制编码效率的下降，并且抑制由于编码/解码造成的图像质量退化。

另外，PPS中pps_log2_min_transform_block_size_minus2的语法的位置不限于图25的例子。pps_log2_min_transform_block_size_minus2可以在跳过许可信息(transform_skip_enabled_flag)位置前面的位置设置。因而，它使得SPS和PPS就解析而言是独立的，并且它们都可以独立地被解码。

[发送到片首部]

另外，虽然没有说明，但是跳过许可信息(transform_skip_enabled_flag)可以发送到例如片首部。

在片首部，log2_min_transform_block_size_minus2没有设置。在片中，设置该片所属的图片。即，引用PPS的pps_log2_min_transform_block_size_minus2。

在片首部，跳过许可信息是如下设置的。

if(pps_log2_min_transform_block_size_minus2＝＝0){

transcorm_skip_enabled_flag

}

即，这种情况下，跳过许可信息(transform_skip_enabled_flag)以与PPS情况下相同方式设置。但是，这种情况下，跳过许可信息(transform_skip_enabled_flag)只在片首部中发送。

即使这种情况下，跳过许可信息也只在TU的最小尺寸是4×4的情况下发送；否则，它被控制成使其不发送。此外，当跳过许可信息(transform_skip_enabled_flag)被设置时，该值是基于诸如任何信息(像用户指令)设置的。另外，跳过许可信息的发送控制是由无损编码单元106执行的。

从而，图像编码设备100可以仅必要时发送跳过许可信息，由此抑制编码效率的降低，并且抑制由于编码/解码造成的图像质量退化。

如上所述，跳过许可信息的发送控制可以在任意单元中执行。当然，它可以是除上述实例之外的单元。

[跳过许可信息生成处理流程]

接下来，将参考图26中的流程图描述跳过许可信息生成处理流程实例，该处理如上所述控制跳过许可信息的发送。

如果在正交变换处理之前执行，这个处理操作可以在任何时间执行，但是，例如，它可以在图14中编码过程的步骤S101中执行。

当跳过许可信息生成处理开始时，无损编码单元106在步骤S301中设置log2_min_transform_block_size_minus2。

在步骤S302，无损编码单元106确定正交变换块(TU)的最小尺寸是否是4×4(或更小)。

如果“0”被步骤S301的处理设置成log2_min_transform_block_size_minus2的值，并且确定正交变换块(TU)的最小尺寸是4×4(或更小)，则处理前进到步骤S303。

在步骤S303，无损编码单元106设置跳过许可信息(transform_skip_enabled_flag)。当步骤S303的处理结束时，跳过许可信息生成处理完成，并且处理操作返回例如图14中的编码过程。

另外，如果“1”或更大被图26的步骤S301的处理设置成log2_min_transform_block_size_minus2的值，并且确定正交变换块(TU)的最小尺寸大于4×4，则步骤S303的处理(跳过许可信息(transform_skip_enabled_flag)的设置)被略去，跳过许可信息生成处理完成，并且处理操作返回例如图14中的编码过程。

如上所述，通过跳过许可信息生成处理，图像编码设备100可以抑制编码效率的下降，并且抑制由于编码/解码造成的图像质量退化。

另外，图26说明了当跳过许可信息发送到SPS时跳过许可信息生成处理流程的描述，但是该处理即使在跳过许可信息发送到PPS或片首部的时候也可以应用。在跳过许可信息发送到PPS或片首部的情况下，由于处理操作的流程基本上与参考图26所描述的处理操作的流程相似(除了在步骤S301中设置的语法是PPS的pps_log2_min_transform_block_size_minus2之外)，因此对其的描述将不给出。

[图像解码设备中跳过许可信息的接收]

当跳过许可信息的发送在图像编码设备100中如上所述地被控制时，存在跳过许可信息被发送的情况和跳过许可信息不被发送的情况。因此，以类似方式，图像解码设备200可以根据正交变换块(TU)的最小尺寸的设置控制是否接受(是否接收)跳过许可信息。因而，图像解码设备200可以抑制不必要等待时间(例如等待未发送的跳过许可信息的时间)的增加。

即，就像在图像编码设备一样，参考发送到SPS的log2_min_transform_block_size_minus2和发送到PPS的pps_log2_min_transform_block_size_minus2，图像解码设备200基于值(依赖于TU的最小尺寸是否是4×4)控制是否接收跳过许可信息。例如，这种控制是由图像解码设备200的无损解码单元202执行的。

[跳过许可信息接收处理流程]

接下来，将参考图27的流程图描述跳过许可信息接收处理流程实例，该处理控制如上所述跳过许可信息的发送。这个处理操作可以在获取跳过标识信息(TransfomSkipFlag)之前(例如，在图21的步骤S203之前)执行。

当跳过许可信息接收处理开始时，无损解码单元202在步骤S321中接收log2_min_transform_block_size_minus2。在步骤S322，无损解码单元202基于接收到的值确定TU的最小尺寸是否是4×4(或更小)。

如果log2_min_transform_block_size_minus2的值是“0”并且确定TU的最小尺寸是4×4(或更小)，则处理前进到步骤S323。在步骤S323，无损解码单元202执行跳过许可信息(transform_skip_enabled_flag)的接收。当步骤S323的处理结束时，跳过许可信息接收处理完成，并且处理操作返回例如图21中的解码过程。

另外，如果在图27的步骤S322中log2_min_transform_block_size_minus2的值是“1”或更大并且确定TU的最小尺寸大于4×4，则跳过许可信息接收处理完成，并且处理操作返回例如图21中的解码过程。

如上所述，通过跳过许可信息接收处理，图像解码设备200可以抑制编码效率的下降，并且抑制由于编码/解码造成的图像质量退化。

另外，图27说明了当跳过许可信息发送到SPS时跳过许可信息接收处理的流的描述，并且该描述即使在跳过许可信息发送到PPS或片首部的时候也适用，因为处理操作的流程基本上与参考图27描述的处理操作的流程相似(除步骤S321中接收的语法是PPS的pps_log2_min_transform_block_size_minus2之外)，因而对其的描述将不给出。

以上描述是基于HEVC编码系统进行的，但是本技术的范围不限于此，本技术可以应用到基于如非专利文档2中建议的利用正交变换跳过(TransformSkip)的编码系统的所有图像信息编码设备和解码设备。

<4.第四实施例>

[对多图像点编码/多视点图像解码的应用]

以上所述的处理操作序列可以应用到多视点图像编码/多视点图像解码。图28说明了多视点图像编码系统的实例。

如图28所说明的，多视点图像包括来自多个视点的图像，并且来自多个视点当中预定视点的图像被指定为基本视图图像。来自基本视图图像之外的每个视点的图像被看作非基本视图图像。

在执行像图28这种多视点图像编码的情况下，量化参数的差异可以在单个的视图(相同的视图)中取得。

(1)基本视图：

(1-1)dQP(基本视图)＝Current_CU_QP(基本视图)-LCU_QP(基本视图)

(1-2)dQP(基本视图)＝Current_CU_QP(基本视图)-Previsous_CU_QP(基本视图)

(1-3)dQP(基本视图)＝Current_CU_QP(基本视图)-Slice_QP(基本视图)

(2)非基本视图：

(2-1)dQP(非基本视图)＝Current_CU_QP(非基本视图)-LCU_QP(非基本视图)

(2-2)dQP(非基本视图)＝CurrentQP(非基本视图)-PrevisousQP(非基本视图)

(2-3)dQP(非基本视图)＝Current_CU_QP(非基本视图)-Slice_QP(非基本视图)

在执行多视点图像编码的情况下，量化参数的差异可以在单个的视图(不同的视图)中取得。

(3)基本视图/非基本视图：

(3-1)dQP(帧间视图)＝Slice_QP(基本视图)-Slice_QP(非基本视图)

(3-2)dQP(帧间视图)＝LCU_QP(基本视图)-LCU_QP(非基本视图)

(4)非基本视图/非基本视图：

(4-1)dQP(帧间视图)＝Slice_QP(非基本视图i)-Slice_QP(非基本视图j)

(4-2)dQP(帧间视图)＝LCU_QP(非基本视图i)-LCU_QP(非基本视图j)

这种情况下，以上所述的项(1)至(4)可以组合使用。例如，在非基本视图，可以考虑以片级为基础取得基本视图与非基本视图之间量化参数的差异的技术(组合使用3-1和2-3)和以LCU级为基础取得基本视图与非基本视图之间量化参数的差异的技术(组合使用3-2和2-1)。从而，即使在执行多视点编码的情况下，也有可能通过重复应用差异来提高编码效率。

类似于以上所述的技术，还有可能设置关于上述每个dQP识别其值非0的dQP是否存在的标记。

[多视点图像编码设备]

图29是说明执行上述多视点图像编码的多视点图像编码设备的图。如图29所说明的，多视点图像编码设备600包括编码单元601、编码单元602以及多路复用器603。

编码单元601编码基本视图图像并且生成基本视图图像编码流。编码单元602编码非基本视图图像并且生成非基本视图图像编码流。多路复用器603多路复用在编码单元601中生成的基本视图图像编码流和在编码单元602中生成的非基本视图图像编码流，并且生成多视点图像编码流。

图像编码设备100(图1)可以应用到多视点图像编码设备600的编码单元601和编码单元602。这种情况下，多视点图像编码设备600设置由编码单元601设置的量化参数与由编码单元602设置的量化参数之间的差值，并且发送该差值。

此外，正交变换跳过处理可以在编码单元601和编码单元602中各自对每个视图独立地执行。此外，量化处理、去块过滤处理等也可以在编码单元601和编码单元602中各自对每个视图独立地执行。这种情况下，诸如量化矩阵、各种标记和加权系数的信息包括在例如用于每个视图的编码流，因此信息从编码单元601和编码单元602提供给多路复用器603。所提供的信息在多路复用器603中多路复用，然后在被包括在多视点图像编码流中的状态下发送到解码侧。

另外，关于一些或全部正交变换跳过处理、量化处理和去块过滤处理，编码单元601和编码单元602某个的处理可以在另一个的处理中反映。另外，一些或全部信息，诸如包括跳过许可信息或跳过标识信息在内的关于正交变换处理的跳过的信息、关于量化的信息以及关于去块过滤器的信息，可以在编码单元601和编码单元602中共享。例如，对编码单元601中的基本视图图像执行正交变换跳过处理、量化处理和去块过滤处理获得的一些或全部处理后的结果(或者所获得的信息等)可以提供给编码单元602、并且在编码单元602执行非基本视图图像的这种处理操作中反映。当然，反过来，对编码单元602中的非基本视图图像执行正交变换跳过处理、量化处理和去块过滤处理获得的一些或全部处理后的结果(或者所获得的信息等)可以提供给编码单元601、并且在编码单元601执行的基本视图图像的这种处理操作中反映。

[多视点图像解码设备]

图30是说明执行上述多视点图像解码的多视点图像解码设备的图。如图30所说明的，多视点图像解码设备610包括多路分解器611、解码单元612以及解码单元613。

多路分解器611解除多视点图像编码流的多路复用，其中基本视图图像编码流和非基本视图图像编码流被多路复用，并且提取基本视图图像编码流和非基本视图图像编码流。解码单元612解码由多路分解器611提取的基本视图图像编码流并且获得基本视图图像。解码单元613解码由多路分解器611提取的非基本视图图像编码流并且获得非基本视图图像。

图像解码设备200(图19)可以应用到多视点图像解码设备610的解码单元612和解码单元613。这种情况下，多视点图像解码设备610的解码单元612和解码单元613利用多视点图像编码设备的编码单元601设置的量化参数与编码单元602设置的量化参数之间的差值设置量化参数，并且执行逆量化。

此外，正交变换跳过处理可以在解码单元612和解码单元613中各自对每个视图独立地执行。此外，逆量化处理、去块过滤处理等也可以在解码单元612和解码单元613中各自对每个视图独立地执行。这种情况下，诸如包括在多视点图像编码流中并且从编码侧发送的量化矩阵、各种标记和加权系数的信息在多路分解器611中对每个视图分离，然后在被包括在用于每个视图的编码流中的状态下提供给解码单元612和解码单元613。

另外，关于一些或全部逆正交变换跳过处理、逆量化处理和去块过滤处理，解码单元612和解码单元613可以彼此反映。另外，一些或全部信息，诸如包括跳过许可信息或跳过标识信息在内的关于逆正交变换处理的跳过的信息、关于逆量化的信息以及关于逆去块过滤器的信息，可以在解码单元612和解码单元613中共享。例如，通过对解码单元612中的基本视图图像编码流执行逆正交变换跳过处理、逆量化处理和去块过滤处理获得的一些或全部处理后的结果(或者所获得的信息等)可以提供给解码单元613、并且在解码单元613执行的非基本视图图像的这种处理操作中反映(例如，重复处理略去)。当然，反过来，通过对解码单元613中的非基本视图图像执行逆正交变换跳过处理、逆量化处理和去块过滤处理获得的一些或全部处理过的结果(或者所获得的信息等)可以提供给解码单元612、并且在解码单元612执行的基本视图图像的这种处理操作中反映(例如，重复处理略去)。

<5.第五实施例>

[对分级图像点编码/分级图像解码的应用]

以上所述处理操作的序列可以应用到分级图像编码/分级图像解码。图31说明了多视点图像编码系统的实例。

如图31所说明的，分级图像包括处于多个层(分辨率)中的图像，并且多个分辨率中预定层的图像被指定为基本层图像。除基本层图像之外的每层图像被视为非基本层图像。

在执行如图31所说明的分级图像编码(空间可伸缩性)的情况下，量化参数的差异可以在每一层(相同的层)中取得。

(1)基本层：

(1-1)dQP(基本层)＝Current_CU_QP(基本层)-LCU_QP(基本层)

(1-2)dQP(基本层)＝Current_CU_QP(基本层)-Previsous_CU_QP(基本层)

(1-3)dQP(基本层)＝Current_CU_QP(基本层)-Slice_QP(基本层)

(2)非基本层：

(2-1)dQP(非基本层)＝Current_CU_QP(非基本层)-LCU_QP(非基本层)

(2-2)dQP(非基本层)＝CurrentQP(非基本层)-PrevisousQP(非基本层)

(2-3)dQP(非基本层)＝Current_CU_QP(非基本层)-Slice_QP(非基本层)

在分层编码的情况下，量化参数的差异可以在每一层(不同的层)中取得。

(3)基本层/非基本层：

(3-1)dQP(帧间层)＝Slice_QP(基本层)-Slice_QP(非基本层)

(3-2)dQP(帧间层)＝LCU_QP(基本层)-LCU_QP(非基本层)

(4)非基本层/非基本层

(4-1)dQP(帧间层)＝Slice_QP(非基本层i)-Slice_QP(非基本层j)

(4-2)dQP(帧间层)＝LCU_QP(非基本层i)-LCU_QP(非基本层j)

这种情况下，以上所述的项(1)至(4)可以组合使用。例如，在非基本层，可以考虑以片级为基础取得基本层与非基本层之间量化参数的差异的技术(组合使用3-1和2-3)和以LCU级为基础取得基本层与非基本层之间量化参数的差异的技术(组合使用3-2和2-1)。从而，即使在执行分层编码的情况下也有可能通过重复应用差异来提高编码效率。

类似于以上所述技术，还有可能设置关于上述每个dQP识别其值非0的dQP是否存在的标记。

[分级图像编码设备]

图32是说明执行上述分级图像编码的分级图像编码设备的图。如图32所说明的，分级图像编码设备620包括编码单元621、编码单元622和多路复用器623。

编码单元621编码基本层图像并且生成基本层图像编码流。编码单元622编码非基本层图像并且生成非基本层图像编码流。多路复用器623多路复用在编码单元621中生成的基本层图像编码流和在编码单元622中生成的非基本层图像编码流，并且生成分级图像编码流。

图像编码设备100(图1)可以应用到分级图像编码设备620的编码单元621和编码单元622。这种情况下，分级图像编码设备620设置由编码单元621设置的量化参数与由编码单元622设置的量化参数之间的差值，并且发送该差值。

此外，正交变换跳过处理可以在编码单元621和编码单元622中各自对每一层独立地执行。此外，量化处理、去块过滤处理等也可以在编码单元621和编码单元622中各自对每一层独立地执行。这种情况下，诸如量化矩阵、各种标记和加权系数的信息包括在例如用于每一层的编码流，因此信息从编码单元621和编码单元622提供给多路复用器623。所提供的信息在多路复用器623中被多路复用，然后在包括在分级图像编码流中的状态下发送到解码侧。

另外，关于一些或全部正交变换跳过处理、量化处理和去块过滤处理，编码单元621和编码单元622某个的处理可以在另一个当中反映。另外，一些或全部信息，诸如包括跳过许可信息或跳过标识信息在内的关于正交变换处理的跳过的信息、关于量化的信息以及关于去块过滤器的信息，可以在编码单元621和编码单元622中共享。例如，对编码单元621中的基本层图像执行正交变换跳过处理、量化处理和去块过滤处理获得的一些或全部处理后的结果(或者所获得的信息等)可以提供给编码单元622、并且在编码单元622执行的非基本层图像的这种处理操作中反映(例如，重复处理略去)。当然，反过来，对编码单元622中的非基本层图像执行正交变换跳过处理、量化处理和去块过滤处理获得的一些或全部处理后的结果(或者所获得的信息等)可以提供给编码单元621、并且在编码单元621执行的基本层图像的这种处理操作中反映(例如，重复处理略去)。

[分级图像解码设备]

图33是说明执行上述分级图像解码的分级图像解码设备的图。如图33所说明的，分级图像解码设备630包括多路分解器631、解码单元632以及解码单元633。

多路分解器631多路分解分级图像编码流，其中基本层图像编码流和非基本层图像编码流在其中被多路复用，并且提取基本层图像编码流和非基本层图像编码流。解码单元632解码多路分解器631提取的基本层图像编码流并且获得基本层图像。解码单元613解码多路分解器631提取的非基本层图像编码流并且获得非基本层图像。

图像解码设备200(图19)可以应用到分级图像解码设备630的解码单元632和解码单元633。这种情况下，分级图像解码设备630的解码单元632和解码单元633利用由分级图像编码设备620的编码单元621设置的量化参数与编码单元622设置的量化参数之间的差值设置量化参数，并且执行逆量化。

此外，正交变换跳过处理可以在解码单元632和解码单元633中各自对每个视图独立地执行。此外，逆量化处理、去块过滤处理等也可以在解码单元632和解码单元633中独立地执行。这种情况下，诸如包括在分级图像编码流中并且从编码侧发送的量化矩阵、各种标记和加权系数的信息在多路分解器631中对每一层分离，然后在被包括在每一层的编码流中的状态下提供给解码单元632和解码单元633。

另外，关于一些或全部逆正交变换跳过处理、逆量化处理和去块过滤处理，解码单元632和解码单元633可以彼此反映。另外，一些或全部信息，诸如包括跳过许可信息或跳过标识信息之内的关于逆正交变换处理的跳过的信息、关于逆量化的信息以及关于逆去块过滤器的信息，可以在解码单元632和解码单元633中共享。例如，通过对解码单元632中的基本层图像编码流执行逆正交变换跳过处理、逆量化处理和去块过滤处理获得的一些或全部处理后的结果(或者所获得的信息等)可以提供给解码单元633、并且在解码单元633执行的对非基本层图像的这种处理操作中反映(例如，重复处理略去)。当然，反过来，通过对解码单元633中的非基本层图像执行逆正交变换跳过处理、逆量化处理和去块过滤处理获得的一些或全部处理后的结果(或者所获得的信息等)可以提供给解码单元632、并且在解码单元632执行的对基本层图像的这种处理操作中反映(例如，重复处理略去)。

此外，例如，通过诸如卫星广播、有线电视、互联网或移动电话的网络介质，本技术可以应用到接收图像信息(位流)的图像编码设备和图像解码设备，其中图像信息是通过像在MPEG、H.26x等中那样诸如离散余弦变换的正交变换和运动补偿来压缩的。另外，本技术还可以应用到压缩图像信息在诸如光或磁盘和闪存存储器的存储介质上被处理时所使用的图像编码设备和图像解码设备。另外，本技术还可以应用到包括在图像编码设备、图像解码设备等中的量化设备或逆量化设备。

<6.第六实施例>

[计算机]

以上所述处理操作序列可以由硬件执行或者由软件执行。在处理操作序列由软件执行的情况下，构成软件的程序安装到计算机中。这里，计算机的实例包括结合到专用硬件中的计算机、通过安装各种程序而能够执行各种功能的通用个人计算机，等等。

图34是说明计算机的硬件配置实例的框图，在该计算机，上述处理操作序列由程序执行。

图34所说明的计算机800，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804彼此连接。

输入/输出接口810也连接到总线804。输入/输出接口810连接到输入单元811、输出单元812、存储单元813、通信单元814和驱动器815。

输入单元811包括键盘、鼠标、麦克风、触摸面板、输入终端等。输出单元812包括例如显示器、扬声器、输出终端等。存储单元813包括例如硬盘、RAM盘、非易失性存储器等。通信单元814包括例如网络接口。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质821。

具有上述配置的计算机，CPU 801可以例如通过输入/输出接口810和总线804把存储在存储单元813中的程序加载到RAM 803中并执行，由此执行上述处理操作序列。让CPU801执行各种处理操作所必要的数据等也适当地存储在RAM 803中。

计算机(或CPU 801)执行的程序可以通过记录在例如可移动介质821中来应用，其中可移动介质可以用作包装介质等。此外，程序可以通过诸如局域网、互联网或数字卫星广播的有线或无线传输介质提供。

计算机中，响应于可移动介质821到驱动器815的附连，程序可以通过输入/输出接口810安装到存储单元813中。程序还可以由通信单元814通过有线或无线传输介质接收并且可以安装到存储单元813中。或者，程序可以提前安装到ROM 802或存储单元813中。

另外，计算机执行的程序可以按本文解释的时间次序或者以并行方式或者按需(诸如在它们被调用的时候)被处理。

另外，在本说明书，描述要记录在记录介质中的程序的步骤不仅包括按本文所公开的时间次序执行的处理操作，还包括以并行方式或者单独执行(如果没必要随时间执行的话)的处理操作。

此外，在本说明书，一种系统代表多个部件元件(设备、模块(部件)等)的集合，不是全部部件元件都需要布置在相同外壳中。因此，容纳在不同外壳中并且通过网络互连的多个设备是系统；并且其中多个模块容纳在单个外壳中的一个设备也是系统。

而且，以上所述例子中，描述为一个设备(或者一个处理单元)的任何配置都可以划分成多个设备(或处理单元)。反过来，描述为多个设备(或处理单元)的任何配置都可以组合，以形成一个设备(或者一个处理单元)。而且，除以上所述配置之外的任何配置都当然可以添加到每个设备(或者每个处理单元)的配置中。另外，一个设备(或者一个处理单元)的配置的一部分可以包括在另一个设备(或者另一个处理单元)的配置，只要作为整个系统的配置或操作基本上相同就可以。

本公开内容的优选实施例已经参考附图具体进行了描述，但是本公开内容的技术范围不限于以上例子。本领域技术人员应当理解，在权利要求中所述的技术主旨的范围内可以发生各种修改或变更、并且它们在本发明的技术范围内。

例如，本技术可以采用云计算的配置，其中一个功能以共享方式被多个设备通过网络合作处理。

另外，上述流程图中描述的每个步骤不仅可以被一个设备执行而且可以被多个设备以共享方式执行。

此外，如果一个步骤包括多个处理操作，包括在一个步骤中的多个处理操作不仅可以被一个设备执行、而且可以被多个设备以共享方式执行。

根据以上实施例的图像编码设备和图像解码设备可以适用于诸如卫星广播的发送器或接收器的各种电子设备，诸如有线电视的有线广播，通过互联网的分发以及通过蜂窝通信到终端的分发，在诸如光盘、磁盘和闪存存储器的介质中记录图像的记录设备，以及从这些存储介质再现图像的再现设备。以下将描述四个应用实例。

<7.第七实施例>

[第一应用实例：电视接收器]

图35说明了上述实施例适用的电视装置的示意性配置实例。电视装置900包括天线901、调谐器902、多路分解器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911以及总线912。

调谐器902从通过天线901接收的广播信号提取期望的通道信号，并且多路分解提取出的信号。调谐器902把通过解调获得的编码位流输出到多路分解器903。即，调谐器902扮演电视装置900的发送单元的角色，它接收通过编码图像获得的编码流。

多路分解器903从编码的位流分离观看的目标节目的视频流和音频流，并且把每个分离出的流输出到解码器904。另外，多路分解器903从编码位流提取诸如电子节目指南(EPG)的辅助数据，并且把提取出的数据提供给控制单元910。此外，在编码位流被扰频的时候，多路分解器903可以执行解扰。

解码器904解码从多路分解器903输入的视频流和音频流。另外，解码器904把通过解码过程生成的视频数据输出到视频信号处理单元905。此外，解码器904把通过解码过程生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并且在显示单元906上显示视频图像。另外，视频信号处理单元905可以在显示单元906上显示通过网络提供的应用屏幕。此外，视频信号处理单元905可以根据设置对视频数据执行附加的处理操作，诸如像噪声去除。另外，视频信号处理单元905可以生成图形用户界面(GUI)图像的图像，诸如像菜单、按钮、光标，并且把生成的图像叠加到输出图像上。

显示单元906被从视频信号处理单元905提供的驱动信号驱动，并且在显示设备(例如，液晶显示器、等离子体显示器或者有机电致发光显示器(OELD)(有机EL显示器))的视频显示表面上显示视频图像或图像。

音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现操作，并且从扬声器908输出音频。另外，音频信号处理单元907可以对音频数据执行诸如噪声去除的附加处理操作。

外部接口909是配置为彼此连接电视装置900和外部设备或网络的接口。例如，通过外部接口909接收的视频流或音频流可以被解码器904解码。即，外部接口909还在电视装置900中扮演发送单元的角色，它接收编码的图像的编码流。

控制单元910具有诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储要CPU执行的程序、节目数据、EPG数据，以及通过网络获取的数据。在电视装置900被激活时，存储在存储器中的程序被CPU读取并执行。通过执行程序，CPU根据例如从用户接口911输入的操作信号控制电视装置900的操作。

用户接口911连接到控制单元910。用户接口911具有例如用户用来操作电视装置900的按钮和开关，以及接收遥控信号的接收单元。用户接口911检测用户通过这些部件的操作、生成操作信号并且把生成的操作信号输出到控制单元910。

总线912配置为把调谐器902、多路分解器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909和控制单元910彼此连接。

具有这种配置的电视装置900中，解码器904具有根据以上实施例的图像解码设备的功能。因而，当电视装置900解码图像时，有可能实现编码效率下降的抑制，并实现编码/解码造成的图像质量退化的抑制。

[第二应用实例：移动电话]

图36说明了以上实施例适用的蜂窝电话的示意性配置实例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933配置为把通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930和控制单元931彼此连接。

移动电话920以各种模式(诸如音频通信模式、数据通信模式、拍摄模式和视频电话模式)执行各种操作，诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕捉以及数据记录。

在音频通信模式，在麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923把模拟音频信号转换成音频数据，并且对转换后的音频数据执行A/D转换并压缩其。另外，音频编解码器923把压缩后的音频数据输出到通信单元922。通信单元922编码并调制音频数据并且生成发送信号。另外，通信单元922通过天线921把所生成的发送信号发送到基站(未说明)。此外，通信单元922放大通过天线921接收的无线电信号并且对其执行频率转换，并且获得接收的信号。还有，通信单元922解调并解码接收的信号、生成音频数据并且把生成的音频数据输出到音频编解码器923。音频编解码器923解压音频数据并且对音频数据执行D/A转换，并且生成模拟音频信号。另外，音频编解码器923把生成的音频信号提供给扬声器924并且输出音频。

此外，在数据通信模式，例如，控制单元931根据用户通过操作单元932的操作生成构成电子邮件的文字数据。另外，控制单元931在显示单元930上显示文字。而且，控制单元931根据通过操作单元932来自用户的发送指令生成电子邮件数据，并且把生成的电子邮件数据输出到通信单元922。通信单元922编码并调制电子邮件数据并且生成发送信号。另外，通信单元922把生成的发送信号通过天线921发送到基站(未说明)。此外，通信单元922放大通过天线921接收的无线电信号并且对其执行频率转换，并且获取接收的信号。还有，通信单元922解调并解码接收的信号、恢复电子邮件数据，并且把恢复的电子邮件数据输出到控制单元931。控制单元931在显示单元930上显示电子邮件的内容，并且把电子邮件数据提供给记录/再现单元929，以允许把数据写到存储介质中。

记录/再现单元929具有任意的可读/可写存储介质。例如，存储介质可以是内置的存储介质，诸如RAM或闪存存储器，还可以是外部附连的存储介质，诸如硬盘、磁盘、磁光盘、光盘和未分配空间位图(USB)存储器或者存储卡。

另外，在拍摄模式中，例如，相机单元926捕捉物体的图像、生成图像数据，并且把生成的图像数据输出到图像处理单元927。图像处理单元927编码从相机单元926输入的图像数据，并且把编码流提供给记录/再现单元929，以允许流写到存储介质中。而且，在图像显示模式，记录/再现单元929读取存储在存储介质中的编码流并且把它输出到图像处理单元927。图像处理单元927解码从记录/再现单元929输入的编码流并且把图像数据提供给显示单元930，以便在其上显示图像。

另外，在视频电话模式，例如，多路复用/分离单元928多路复用图像处理单元927编码的视频流和从音频编解码器923输入的音频流，并且把多路复用的流输出到通信单元922。通信单元922编码和调制该流，并生成发送信号。另外，通信单元922通过天线921把生成的发送信号发送到基站(未说明)。此外，通信单元922放大通过天线921接收的无线电信号并且对其执行频率转换，并且获取接收信号。这些发送信号和接收的信号可以包括编码位流。另外，通信单元922解调并解码接收信号、恢复流并且把恢复的流输出到多路复用/分离单元928。多路复用/分离单元928从输入流分离视频流和音频流，把视频流输出到图像处理单元927并且把音频流输出到音频编解码器923。图像处理单元927解码视频流并生成视频数据。视频数据提供给显示单元930，显示单元930显示一系列图像。音频编解码器923解压音频流并对其执行D/A转换，并且生成模拟音频信号。另外，音频编解码器923把生成的音频信号提供给扬声器924并输出音频。

具有以上配置的移动电话920中，图像处理单元927具有根据以上实施例的图像编码设备和图像解码设备的功能。从而，当移动电话920编码和解码图像时，有可能抑制编码效率的下降，并且抑制编码/解码造成的图像质量退化。

[第三应用实例：记录和再现设备]

图37说明了以上实施例适用的记录和再现设备的示意性配置实例。记录和再现设备940编码例如接收的广播节目的音频数据和视频数据并且在记录介质中记录数据。另外，记录和再现设备940可以编码例如从另一设备获取的音频数据和视频数据并且在记录介质中记录数据。此外，记录和再现设备940根据例如用户的指令在监视器和扬声器上再现记录在记录介质中的数据。此时，记录和再现设备940解码音频数据和视频数据。

记录和再现设备940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕上显示器(OSD)948、控制单元949以及用户接口950。

调谐器941从通过天线(未说明)接收的广播信号提取期望的通信信号，并且解调提取出的信号。另外，调谐器941把通过解调获得的编码位流输出到选择器946。即，调谐器941在记录和再现设备940中扮演发送单元的角色。

外部接口942是彼此连接记录和再现设备940与外部设备或网络的接口。外部接口942可以是IEEE1394接口、网络接口、USB接口、闪存存储器接口等。例如，通过外部接口942接收的视频数据和音频数据输入到编码器943。即，外部接口942在记录和再现设备940中扮演发送单元的角色。

当从外部接口942输入的视频数据和音频数据未编码时，编码器943编码视频数据和音频数据。另外，编码器943把编码的位流输出到选择器946。

HDD 944在内部硬盘中记录通过压缩内容数据，诸如视频和音频、各种节目以及其它数据，获得的编码的位流。另外，在视频和音频再现的时候，HDD 944从硬盘读出这些类型的数据。

盘驱动器945在附连的记录介质中记录数据并从中读出数据。附连到盘驱动器945的记录介质可以是例如DVD盘(例如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R及DVD+RW)或者Blu-ray(注册商标)盘。

在视频和音频记录的时候，选择器946选择从调谐器941或编码器943输入的编码位流并且把选定的编码位流输出到HDD 944或盘驱动器945。另外，在视频和音频再现的时候，选择器946把从HDD 944或盘驱动器945输入的编码位流输出到解码器947。

解码器947解码编码的位流并且生成视频数据和音频数据。另外，解码器947把生成的视频数据输出到OSD 948。此外，解码器904把生成的音频数据输出到外部扬声器。

OSD 948再现从解码器947输入的视频数据并且显示视频图像。另外，OSD 948可以在要显示的视频图像上叠加GUI图像，诸如菜单、按钮或光标。

控制单元949具有诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储要由CPU执行的程序，以及节目数据。例如，在记录和再现设备940激活的时候，存储在存储器中的程序被CPU读取并执行。通过执行程序，CPU根据例如从用户接口950输入的操作信号控制记录和再现设备940的操作。

用户接口950连接到控制单元949。用户接口950具有例如用来由用户操作记录和再现设备940的按钮和开关，以及接收遥控信号的接收单元。用户接口950检测用户通过这些部件的操作、生成操作信号并且把生成的操作信号输出到控制单元949。

具有以上配置的记录和再现设备940中，编码器943具有根据以上实施例的图像编码设备的功能。另外，解码器947具有根据以上实施例的图像解码设备的功能。因而，当在记录和再现设备940中编码和解码图像时，有可能抑制编码效率的下降并抑制由于编码/解码造成的图像质量退化。

[第四应用实例：成像设备]

图38说明了以上实施例适用的成像设备的示意性配置实例。成像设备960捕捉物体的图像、生成图像、编码图像数据并且在记录介质中记录图像数据。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、媒体驱动器968、OSD 969、控制单元970、用户接口971以及总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972配置为把图像处理单元964、外部接口966、存储器967、媒体驱动器968、OSD 969和控制单元970彼此连接。

光学块961具有聚焦透镜、光圈等。光学块961在成像单元962的成像表面上形成物体的光学图像。成像单元962具有诸如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)的图像传感器并且通过光电转换把在成像表面上形成的光学图像转换成作为电信号的图像信号。另外，成像单元962把图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理操作，诸如拐点校正、伽玛校正和颜色校正。信号处理单元963把其中执行了相机信号处理操作的图像数据输出到图像处理单元964。

图像处理单元964编码从信号处理单元963输入的图像数据并且生成编码数据。另外，图像处理单元964把生成的编码数据输出到外部接口966或者媒体驱动器968。此外，图像处理单元964解码从外部接口966或者媒体驱动器968输入的编码数据并且生成图像数据。还有，图像处理单元964把生成的图像数据输出到显示单元965。而且，图像处理单元964可以把从信号处理单元963输入的图像数据输出到显示单元965并且显示图像。另外，图像处理单元964可以把从OSD 969获取的显示数据叠加到要输出到显示单元965的图像上。

OSD 969生成诸如菜单、按钮或光标的GUI图像，并且把生成的图像输出到图像处理单元964。

外部接口966配置为例如USB输入/输出终端。例如，打印图像时，外部接口966把成像设备960和打印机彼此连接。另外，如果必要的话，外部接口966与驱动器彼此连接。驱动器与诸如磁盘或光盘的可移动介质附连，并且从可移动介质读出的程序可以安装在成像设备960中。另外，外部接口966可以配置为连接到诸如LAN或互联网的网络的网络接口。即，外部接口966在成像设备960中扮演发送单元的角色。

附连到媒体驱动器968的记录介质可以是可读/可写可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质固定地附连到媒体驱动器968，并且例如，诸如内置硬盘驱动器或固态驱动器(SSD)的非便携式存储单元也可以配置。

控制单元970具有诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储要由CPU执行的程序，以及节目数据。例如，在成像设备960激活的时候，存储在存储器中的程序被CPU读取并执行。通过执行程序，CPU根据例如从用户接口971输入的操作信号控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971具有例如用来由用户操作成像设备960的按钮和开关。用户接口971检测用户通过这些部件的操作、生成操作信号并且把生成的操作信号输出到控制单元970。

具有以上配置的成像设备960中，图像处理单元964具有根据以上实施例的图像编码设备和图像解码设备的功能。从而，当在成像设备960中编码和解码图像时，有可能抑制编码效率的下降，并且抑制由于编码/解码造成的图像质量退化。

<8.第八实施例>

[可伸缩编码的应用实例：第一系统]

接下来，将描述已接受可伸缩编码(或分级(图像)编码)的可伸缩编码数据的应用具体实例。可伸缩编码可以用于例如要发送的数据的选择，就像图39所说明的例子那样。

图39所说明的数据发送系统1000，分发服务器1002读出存储在可伸缩编码数据存储单元1001中的可伸缩的编码数据并且通过网络1003把可伸缩的编码数据分发到终端设备，诸如个人计算机1004、AV设备1005、平板设备1006以及移动电话1007。

此时，分发服务器1002根据终端设备和通信环境的性能选择具有适当质量的编码数据，并且发送选定的编码数据。即使分发服务器1002发送具有比所需要的更高质量的数据，终端设备也不一定获得高质量图像，并且会造成延迟或上溢。此外，这种数据会占用比所需要的更多通信带宽，或者会增加比所需要的更多的终端设备负载。相反，如果分发服务器1002发送具有比所需要的更低质量的数据，终端设备不能在设备中获得具有足够质量的图像。因而，如果必要的话，分发服务器1002读出存储在可伸缩编码数据存储单元1001中的可伸缩编码数据，作为具有适于某些条件的质量的编码数据，发送读出的编码数据，其中所述条件诸如终端设备和通信环境的性能。

例如，可伸缩编码数据存储单元1001存储已接受可伸缩编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是既包括基本层又包括增强层的编码数据，是为了获得基本层图像和增强层图像而被解码的数据。

分发服务器1002根据发送数据的终端设备以及通信环境的性能选择适当的层，并且读出该层的数据。例如，分发服务器1002从可伸缩编码数据存储单元1001读出可伸缩编码数据(BL+EL)1011，并且把读出的可伸缩编码数据按照原样发送到具有高处理能力的个人计算机1004或平板设备1006。相反，例如，分发服务器1002从扩展编码数据(BL+EL)1011提取基本层的数据，并且把提取出的基本层的数据发送到具有低处理能力的AV设备1005或移动电话1007，作为与可伸缩编码数据(BL+EL)1011具有相同内容但是比可伸缩编码数据(BL+EL)1011具有更低质量的可伸缩编码数据(BL)1012。

以这种方式，可伸缩编码数据的使用可以方便数据量的调整，由此抑制延迟或者上溢的发生，并且抑制终端设备或通信介质上不必要的负载增加。此外，由于可伸缩编码数据(BL+EL)1011在各层之间具有减小的冗余性，因此，与具有相应层的独立编码数据的情况相比，有可能减少数据量。因此，可伸缩编码数据存储单元1001的存储区域可以更高效地被利用。

另外，诸如个人计算机1004和移动电话1007的各种设备可以应用到终端设备，因此终端设备的硬件性能可以是依赖设备的。此外，各种应用还可以由终端设备执行，因此应用的软件能力可以变化。此外，充当通信介质的网络1003可以被用作任何通信线路网络，这可以是有线的、无线的或者二者兼有，诸如互联网或局域网(LAN)，并且具有各种数据传输能力。而且，这种性能和能力可以随其它通信等变化。

因此，在数据发送开始之前，分发服务器1002可以与数据要发送到其的终端设备通信，可以获得关于该终端设备的能力的信息，诸如终端设备的硬件性能或者由终端设备执行的应用(软件)的性能，以及关于通信环境的信息，诸如网络1003的可用带宽。然后，分发服务器1002可以基于所获得的信息选择适当的层。

层的提取可以由终端设备执行。例如。个人计算机1004可以解码所发送的可伸缩编码数据(BL+EL)1011并且显示基本层图像或增强层图像。或者，例如，个人计算机1004可以从所发送的可伸缩编码数据(BL+EL)1011提取可伸缩编码数据(BL)1012、存储提取出的可伸缩编码数据或者把该数据发送到另一个设备，或者解码数据，以显示基本层图像。

当然，可伸缩编码数据存储单元1001的数目、分发服务器1002的数目、网络1003的数目以及终端设备的数目是任意的。此外，虽然以上描述了分发服务器1002把数据发送到终端设备的实例，但是应用实例不限于此。数据发送系统1000可以应用到任何系统，只要该系统根据诸如终端设备和通信环境的能力的某些条件选择并发送适当的层，其中向终端设备发送已被可伸缩编码的编码数据。

与以上参考图1至31所述效果相同的效果可以通过图39所说明的数据发送系统1000应用与对参考图1至31所描述的分层编码/分层解码应用的相同技术来获得。

[可伸缩编码的应用实例：第二系统]

可伸缩编码还可以用于通过多种通信介质发送，就像在例如图40所说明的例子中。

图40所说明的数据发送系统1100，广播站1101通过地面广播111发送基本层的可伸缩编码数据(BL)1121。此外，广播站1101通过任意网络1112发送增强层的可伸缩编码数据(EL)1122，该任意网络由有线通信网络、无线通信网络或者有线和无线通信网络这二者配置(例如，数据被分组并发送)。

终端设备1102具有接收广播站1101广播的地面广播1111并且接收通过地面广播1111发送的基本层的可伸缩编码数据(BL)1121的功能。终端设备1102还具有用于通过网络1112执行通信并且接收通过网络1112发送的增强层的可伸缩编码数据(EL)1122的通信功能。

例如，根据用户指令等，通过解码通过地面广播1111获取的基本层的可伸缩编码数据(BL)1121，终端设备1102获取基本层的图像，存储所获取的可伸缩编码数据，或者把所获取的数据发送到另一设备。

此外，根据用户指令等，终端设备1102合成通过地面广播1111获取的基本层的可伸缩编码数据(BL)1121与通过网络1112获取的增强层的可伸缩编码数据(EL)1122，以便获取可伸缩编码数据(BL+EL)，解码可伸缩编码数据，以获取或存储增强层的图像，或者把可伸缩编码数据发送到另一设备。

如上所述，可伸缩编码数据可以通过例如对每层不同的通信介质发送。因而，负载可以分布，延迟或上溢的发生可以被抑制。

此外，依赖于情况，用于发送的通信介质可以配置为对每一层是可选择的。例如，它可以配置为：使其数据量相对大的基本层的可伸缩编码数据(BL)1121通过具有宽带宽的通信介质发送，而其数据量相对小的增强层的可伸缩编码数据(EL)1122通过具有窄带宽的通信介质发送。此外，例如，发送增强层的可伸缩编码数据(EL)1122的通信介质可以配置为：根据网络1112的可用带宽，在网络1112和地面广播1111之间切换。这种相似性适用于任意层的数据。

通过这样进行控制，可以进一步抑制数据发送负载的增加。

这里，层的数目是任意的，并且用于发送的通信介质的数目也是任意的。此外，作为数据输送目的地的终端设备1102的数目也是任意的。此外，虽然在以上给出的描述中已经描述了广播从广播站1101执行的例子，但是使用的例子不限于此。数据发送系统1100可以应用到任意系统，只要该系统把被编码(以可伸缩编码的方式)的编码数据分成以层为单位的多个部分，并且通过多条线路发送划分的数据就可以。

于是，即使在图40所说明的数据发送系统1100，通过以与参考图1至31所描述的对分层编码/分层解码的应用相同方式来应用本技术，也有可能获得类似于以上参考图1至31所述效果的效果。

[可伸缩编码的应用实例：第三系统]

可伸缩编码还可以用于存储编码数据，就像图41所说明的例子那样。

图41所说明的成像系统1200中，成像设备1201把主体1211成像所获取的图像数据进行可伸缩编码并且把得到的图像数据提供给可伸缩编码数据存储设备1202，作为可伸缩编码数据(BL+EL)1202。

根据情况，可伸缩编码数据存储设备1202以不同质量存储从成像设备1201提供的可伸缩编码数据(BL+EL)1202。例如，在正常时间的情况下，可伸缩编码数据存储设备1202从可伸缩编码数据(BL+EL)1202提取基本层的数据并且把提取出的基本层的数据存储为具有低质量和小数据量的基本层的可伸缩编码数据(BL)1222。相反，例如，在关注时间的情况下，可伸缩编码数据存储设备1202按照原样存储具有高质量和大数据量的可伸缩编码数据(BL+EL)1221。

以这种方式，可伸缩编码数据存储设备1202可以仅必要时以高图像质量存储图像。从而，在图像质量退化造成的图像价值减小被抑制的同时，数据量的增加可以被抑制，由此存储区域的使用效率可以提高。

例如，成像设备1201可以是监控相机。当被监控的对象(例如，入侵者)在捕捉图像中不可见时(例如，在正常时间的情况下)，有可能捕捉到的图像的内容不重要。因而，数据量减小是优先的，图像的图像数据(可伸缩编码数据)以低质量存储。相反，当被监控的对象作为主体1211在捕捉到的图像中可见时(在关注时间的情况下)，有可能捕捉到的图像具有重要的内容。因而，图像质量是优先的，图像的图像数据(可伸缩编码数据)以高质量存储。

正常时间还是关注时间可以由例如可伸缩编码数据存储设备1202通过分析图像来确定。此外，成像设备1201可以确定正常时间或者关注时间，并且可以向可伸缩编码数据存储设备1202发送确定结果。

这里，正常时间还是关注时间的确定标准可以是任意的，被认为是确定标准的图像可以具有任何内容。当然，图像内容之外的其它条件可以用作确定标准。例如，确定的标准可以根据所记录的语音的尺寸、波形等来改变，可以对每个预定的时间改变，或者可以根据从外部提供的指令(诸如用户的指令)来改变。

此外，虽然已经给出了对两种状态(即，正常时间和关注时间)之间改变的例子的描述，但是状态数目是任意的，状态改变可以在三种或更多种状态之间进行，诸如正常时间、低关注时间、中等关注时间和高关注时间。但是，改变状态的上限数目依赖于可伸缩编码数据的层数。

另外，成像设备1201可以根据状态确定可伸缩编码的层数。例如，在正常时间，成像设备1201可以生成具有低质量和小数据量的基本层的可伸缩编码数据(BL)1222，并且把生成的可伸缩编码数据(BL)1222提供给可伸缩编码数据存储设备1202。另外，例如，在关注时间，成像设备1201可以生成具有高质量和大数据量的基本层的可伸缩编码数据(BL+EL)1221，并且把生成的可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储设备1202。

以上描述中，虽然监控相机作为例子进行了描述，但是成像系统1200可以在任何应用中使用，应用不限于监控相机。

于是，即使在图41所说明的成像系统1200，通过以与参考图1至31描述的应用到分层编码/分层解码相同方式来应用本技术，也有可能获得类似于以上参考图1至31所述效果的效果。

另外，本技术是以分段单元、从事先准备的具有不同分辨率等的多种编码数据选择适当的数据来使用，但还适用于诸如像MPEG/DASH的HTTP流数据。即，关于编码和解码的信息可以在多种编码数据之间共享。

<9.第九实施例>

[其它例子]

虽然在以上给出的描述中已经描述了本技术适用的设备、系统等的例子，但是本技术不限于此。因而，本技术可以作为安装到这种设备的所有配置来应用，所述配置把这种系统配置为，例如作为系统LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元，或者通过把其它功能添加到单元所获取的装置等(换句话说，设备配置的一部分)。

[视频机]

本技术作为装置应用的一种例子将参考图42来描述。图42说明了本技术适用的视频机的示意性配置实例。

最近，电子设备的多种功能的实现在发展，在制造或开发中，在配置的一部分为了出售、供应等而提供的情况下，不仅具有一个功能的配置被应用，而且具有多个功能的装置被应用，这种装置是通过组合具有相关功能的多种配置获取的，这是常见的。

图42所说明的视频机1300具有这种多功能配置、并且是通过组合具有图像编码或图像解码(任意一个或二者兼有)功能的设备与具有该功能的其它功能的设备来获得的。

如图42所说明的，视频机1300包括模块组，模块组包括视频模块1311、外部存储器1312、电源管理模块1313、前端模块1314等，以及具有连接模块1321、相机1322、传感器1323等相关功能的设备。

模块被形成为具有功能的部件，通过把彼此相关的几个部件功能布置到一起而具有统一性。虽然具体物理配置是任意的，但是，例如也可以考虑通过在配线板等上布置各自都具有功能的多个处理器、诸如电阻器或电容器的电子电路以及其它设备等以便集成到一起所获得的模块。此外，还可以考虑通过组合模块与其它模块、处理器等构成新模块。

在图42所说明的例子，视频模块1311是通过组合具有图像处理功能的配置而获得的，包括：应用处理器；视频处理器；宽带调制解调器1333；及RF模块1334。

处理器是通过在半导体芯片上集成具有预定功能的配置作为SoC(片上系统)获得的，并且例如还存在被称为系统LSI(大规模集成)等的处理器。具有预定功能的配置可以是逻辑电路(硬件配置)，包括CPU、ROM、RAM等以及利用它们执行的程序(软件配置)的配置，或者组合上述两种配置的配置。例如，它可以配置为使得处理器包括逻辑电路、CPU、ROM、RAM等，有些功能由逻辑电路(硬件配置)实现，其它功能由CPU执行的程序(软件配置)实现。

图42所说明的应用处理器1331是执行关于图像处理应用的处理器。为了实现预定功能，应用处理器1331执行的应用可以不仅执行计算过程，而且必要时控制视频模块1311内部和外部(诸如视频处理器1332)的配置。

视频处理器1332是具有图像编码和图像解码(任何一个或二者兼有)功能的处理器。

宽带调制解调器1333通过数字调制等把通过诸如互联网或公共电话网络的公共线路执行的有线或无线(或者有线和无线)宽带通信发送的数据(数字信号)转换成模拟信号，或者把宽带通信接收的模拟信号解调，以转换成数据(数字信号)。例如，宽带调制解调器1333处理任意信息，诸如视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序以及设置数据。

RF模块1334是对通过天线发送/接收的RF(射频)信号执行频率转换、调制/解调、放大、过滤器过程等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等生成RF信号。此外，例如，RF模块1334通过对经前端模块1314接收的RF信号执行频率转换等生成基带信号。

此外，如图42的虚线1341指示的，应用处理器1331和视频处理器1332可以集成，以便配置为一个处理器。

外部存储器1312是部署在视频模块1311外面并且包括由视频模块1311使用的存储设备的模块。外部存储器1312的存储设备可以由任何物理配置实现。但是，一般而言，由于存储设备被频繁地用于存储具有大容量的数据，如以帧为单位配置的图像数据，因此存储设备优选地由以相对低成本具有大容量的半导体存储器实现，诸如DRAM(动态随机存取存储器)。

电源管理模块1313管理并控制电力向视频模块1311(视频模块1311中的每种配置)的供应。

前端模块1314是为RF模块1334提供前端功能(天线侧的发送/接收端电路)的模块。如在图42所说明的，例如，前端模块1314包括天线单元1351、过滤器1352和放大单元1353。

天线单元1351包括发送/接收无线信号的天线及其外围配置。天线单元1351发送作为无线信号从放大单元1353提供的信号并且向过滤器1352提供作为电信号(RF信号)接收到的无线信号。过滤器1352对通过天线单元1351接收的RF信号执行过滤器过程等并且把该过程之后的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334提供的RF信号并且把放大的RF信号提供给天线单元1351。

连接模块1321是具有与到外部的连接相关功能的模块。连接模块1321的物理配置是任意的。例如，连接模块1321包括具有宽带调制解调器1333对应的通信规范之外的通信功能、外部输入/输出端子等配置。

例如，连接模块1321可以配置为包括具有与无线电通信规范相符的通信功能的模块以及发送/接收与这些规范相符的信号的天线，其中无线电通信规范诸如Bluetooth(注册商标)、IEEE 802.11(例如，Wi-Fi(无线保真度；注册商标))、NFC(近场通信)和IrDA(红外线数据联盟)。此外，例如，连接模块1321可以配置为包括具有与有线通信规范相符的通信功能的模块以及与这些规范相符的端子，其中有线通信规范诸如USB(通用串行总线)和HDMI(注册商标)(高清晰度多媒体接口)。此外，例如，连接模块1321可以配置为具有模拟输入/输出端子等的附加数据(信号)发送功能等。

此外，连接模块1321可以配置为包括是数据(信号)发送目的地的设备。例如，连接模块1321可以配置为包括对诸如磁盘、光盘、磁光盘或半导体存储器的记录介质执行数据读取或数据写入的驱动器(不仅包括可移动介质的驱动器，而且还包括硬盘、SSD(固态驱动器)、NAS(网络附连储存器)等)。此外，连接模块1321可以配置为包括图像或音频的输出设备(监视器、扬声器等)。

相机1322是具有给主体成像而获取主体的图像数据的功能的模块。例如，通过相机1322执行的成像过程获取的图像数据提供给视频处理器1332并且被编码。

传感器1323是具有任意传感器功能的模块，其中传感器诸如音频处理器、超声波传感器、光学传感器、亮度传感器、红外线传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁性识别传感器、碰撞传感器或者温度传感器。例如，被传感器1323检测的数据提供给应用处理器1331并且被应用等使用。

在以上给出的描述，描述为模块的每种配置都可以由处理器实现，描述为处理器的每种配置都可以由模块实现。

如随后将描述的，本技术可以应用到具有如上所述配置的视频机1300的视频处理器1332。从而，视频机1300可以配置为本技术适用的装置。

[视频处理器的配置]

图43说明了本技术适用的视频处理器1332(图42)的示意性配置实例。

在图43所说明的例子，视频处理器1332具有接收视频信号和音频信号的输入并且根据预定系统和功能编码接收信号的功能，以及解码编码的视频数据和编码的音频数据并且输出视频信号和音频信号的功能。

如图43所说明的，视频处理器1332包括：视频输入处理单元1401；第一图像放大/减小单元1402；第二图像放大/减小单元1403；视频输出处理单元1404；帧存储器1405；以及存储器控制单元1406。此外，视频处理器1332还包括：编码/解码引擎1407；视频ES(基本流)缓冲区1408A和1408B，以及音频ES(基本流)缓冲区1409A和1409B。此外，视频处理器1332还包括：音频编码器1410；音频解码器1411；多路复用器(MUX)1412；多路分解器(DMUX)1413；以及流缓冲区1414。

例如，视频输入处理单元1401获取从连接模块1321(图42)等输入的视频信号并且把获取的视频信号转换成数字图像数据。第一图像放大/减小单元1402对图像数据执行格式转换以及图像放大/减小过程。第二图像放大/减小单元1403通过视频输出处理单元1404根据输出目的地的格式对图像数据执行图像放大/减小过程、或者执行类似于第一图像放大/减小单元1402的格式转换和图像放大/减小过程等。视频输出处理单元1404对图像数据执行格式转换、到模拟信号的转换等等，并且把得到的信号作为再现视频信号输入到例如连接模块1321(图42)等。

帧存储器1405是用于图像数据的存储器，该存储器被视频输入处理单元1401、第一图像放大/减小单元1402、第二图像放大/减小单元1403、视频输出处理单元1404和编码/解码引擎1407共享。帧存储器1405实现为诸如DRAM的半导体存储器。

存储器控制单元1406接收从编码/解码引擎1407提供的同步信号并且控制对帧存储器1405的访问，以便根据写入到访问管理表1406A中的对帧存储器1405的访问时间表进行写入/读取。访问管理表1406A由存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/减小单元1402、第二图像放大/减小单元1403等执行的过程来更新。

编码/解码引擎1407执行图像数据的编码过程并且执行视频流的解码过程，其中视频流是通过编码图像数据获取的数据。例如，编码/解码引擎1407编码从帧存储器1405读取的图像数据并且顺序地把读出的图像数据作为视频流写入视频ES缓冲区1408A。此外，例如，编码/解码引擎1407顺序地从视频ES缓冲区1408B读取视频流、解码读出的视频流，并且顺序地把解码的视频流作为图像数据写入帧存储器1405。在这种编码或解码过程，编码/解码引擎1407使用帧存储器1405作为工作区域。此外，例如，在开始每个宏块的过程时，编码/解码引擎1407向存储器控制单元1406输出同步信号。

视频ES缓冲区1408A缓冲由编码/解码引擎1407生成的视频流并把视频流提供给多路复用器(MUX)1412。视频ES缓冲区1408B缓冲从多路分解器(DMUX)1413提供的视频流并且把视频流提供给编码/解码引擎1407。

音频ES缓冲区1409A缓冲由音频编码器1410生成的音频流并且把音频流提供给多路复用器(MUX)1412。音频ES缓冲区1409B缓冲从多路分解器(DMUX)1413提供的音频流并且把音频流提供给音频解码器1411。

音频编码器1410数字交换例如从连接模块1321(图42)等输入的音频信号，并且例如根据诸如MPEG音频系统或AC3(AudioCode number 3)系统的预定系统编码该数字信号。音频编码器1410顺序地把通过编码音频信号获取的数据的音频流写入音频ES缓冲区1409A。音频解码器1411解码从音频ES缓冲区1409B提供的音频流、执行解码音频流到例如模拟信号等的转换，并且把转换后的信号作为再现音频信号例如提供给连接模块1321(图42)等。

多路复用器(MUX)1412多路复用视频流和音频流。多路复用方法(换句话说，通过多路复用生成的位流的格式)是任意的。此外，在多路复用时，多路复用器(MUX)1412可以把预定首部信息等添加到位流。换句话说，多路复用器(MUX)1412可以通过多路复用过程转换流格式。例如，通过多路复用视频流和音频流，多路复用器(MUX)1412把视频流和音频流转换成作为具有发送格式的位流的传输流。此外，例如，通过多路复用视频流和音频流，多路复用器(MUX)1412把视频流和音频流转换成具有用于记录格式的数据(文件数据)。

多路分解器(DMUX)1413多路分解位流，在位流中，视频流和音频流以对应于多路复用器(MUX)1412执行的多路复用过程的方法被去多路复用。换句话说，多路分解器(DMUX)1413从流缓冲区1414读取的位流提取视频流和音频流(视频流和音频流被分离)。换句话说，多路分解器(DMUX)1413可以通过多路分解过程转换流格式(多路复用器(MUX)1412执行转换的逆转换)。例如，多路分解器(DMUX)1413通过流缓冲区1414获取例如从连接模块1321(图42)、宽带调制解调器1333等(图42)等提供的传输流并且多路分解所获取的传输流，由此把传输流转换成视频流和音频流。此外，例如，多路分解器(DMUX)1413获取例如连接模块1321(图42)通过流缓冲区1414从各种记录介质读取的文件数据并且多路分解所获取的文件数据，由此把文件数据转换成视频流和音频流。

流缓冲区1414缓冲位流。例如，流缓冲区1414缓冲从多路复用器(MUX)1412提供的传输流并且在预定时间或者基于从外部发送的请求把传输流例如提供给连接模块1321(图42)、宽带调制解调器1333(图42)等。

此外，例如，流缓冲区1414缓冲从多路复用器(MUX)1412提供的文件数据，并且在预定时间或者基于从外部发送的请求把文件数据例如提供给连接模块1321(图42)等。

此外，流缓冲区1414缓冲例如通过连接模块1321(图42)、宽带调制解调器1333(图42)等获取的传输流，并且在预定时间或者基于从外部发送的请求等把传输流提供给多路分解器(DMUX)1413。

此外，流缓冲区1414缓冲例如连接模块1321(图42)等从各种记录介质读取的文件数据，并且在预定时间或者基于从外部发送的请求等把文件数据提供给多路分解器(DMUX)1413。

接下来，将描述具有这种配置的视频处理器1332的操作例子。例如，从连接模块1321(图42)等输入到视频处理器1332的视频信号被视频输入处理单元1401根据诸如4:2:2Y/Cb/Cr系统的预定系统转换成数字图像数据，并且顺序地写入帧存储器1405。这种数字图像数据被第一图像放大/减小单元1402或第二图像放大/减小单元1403读取，并且格式转换成诸如4:2:0Y/Cb/Cr系统等的预定系统，并且对数字图像数据执行放大/减小过程，处理后的数字图像数据再次写入帧存储器1405。这种图像数据被编码/解码引擎1407编码并且作为视频流写入视频ES缓冲区1408A。

此外，从连接模块1321(图42)等输入到视频处理器1332的音频信号被音频编码器1410编码并且作为音频流写入音频ES缓冲区1409A。

存储在视频ES缓冲区1408A中的视频流和存储在音频ES缓冲区1409A中的音频流被多路复用器(MUX)1412读取、被多路复用，转换成传输流、文件数据等。多路复用器(MUX)1412生成的传输流缓冲到流缓冲区1414，然后例如通过连接模块1321(图42)、宽带调制解调器1333(图42)等输出到外部网络。此外，多路复用器(MUX)1412生成的文件数据缓冲到流缓冲区1414，然后输出到例如连接模块1321(图42)等，并且记录在各种记录介质中。

此外，例如通过连接模块1321(图42)、宽带调制解调器1333(图42)等从外部网络输入到视频处理器1332的传输流缓冲到流缓冲区1414，然后被多路分解器(DMUX)1413多路分解。此外，例如通过连接模块1321(图42)等从那各种记录介质读取并输入到视频处理器1332的文件数据缓冲到流缓冲区1414，然后被多路分解器(DMUX)1413多路分解。换句话说，输入到视频处理器1332的传输流或文件数据被多路分解器(DMUX)1413分离成视频流和音频流。

音频流通过音频ES缓冲区1409B提供给音频解码器1411并且被解码，音频信号被再现。此外，视频流写入视频ES缓冲区1408B，然后被编码/解码引擎1407顺序读取，被解码并写入帧存储器1405。解码图像数据被第二图像放大/减小单元1403放大或减小并且被写入帧存储器1405。然后，解码图像数据被视频输出处理单元1404读取，具有转换成诸如4:2:2Y/Cb/Cr系统的预定系统的格式，被进一步转换成模拟信号，视频信号被再现并输出。

本技术应用到如此配置的视频处理器1332的情况下，根据以上所述每种实施例的本技术可以应用到编码/解码引擎1407。换句话说，例如，编码/解码引擎1407可以配置为具有根据第一实施例的图像编码设备100(图1)或者根据第二实施例的图像解码设备200(图19)的功能。通过如此配置，视频处理器1332可以获取与以上参考图1至31所描述的优点相同的优点。

此外，在编码/解码引擎1407，本技术(换句话说，根据以上所述每种实施例的图像编码设备和图像解码设备的功能)可以由诸如逻辑电路的硬件实现，可以由诸如内置程序的软件实现，或者可以同时由硬件和软件实现。

[视频处理器的另一配置实例]

图44是说明本技术适用的视频处理器1332(图42)的示意性配置的另一实例图。在图44所说明的例子的情况下，视频处理器1332具有根据预定系统编码/解码视频数据的功能。

更具体而言，如图44所说明的，视频处理器1332包括：控制单元1511；显示接口1512；显示引擎1513；图像处理引擎1514；以及内部存储器1515。此外，视频处理器1332还包括：编解码器引擎1516；存储器接口1517；多路复用器/多路分解器(MUX DMUX)1518；网络接口1519；以及视频接口1520。

控制单元1511控制布置在视频处理器1332的处理单元的操作，其中处理单元诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516。

如在图44所说明的，例如，控制单元1511包括主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行控制位于视频处理器1332中每个处理单元的程序。主CPU 1531根据程序等生成控制信号并且把该控制信号提供给每个处理单元(换句话说，控制每个处理单元的操作)。子CPU 1532对主CPU 1531实现辅助角色。例如，子CPU 1532执行主CPU1531执行程序的子过程、子例程等。系统控制器1533控制主CPU 1531和子CPU 1532的操作，诸如要主CPU 1531和子CPU 1532执行程序的指定。

显示接口1512在控制单元1511的控制下把图像数据输出到例如连接模块1321(图42)等。例如，显示接口1512把作为数字数据的图像数据转换成模拟信号并且把图像数据输出到连接模块1321(图42)的监控设备等，作为数字数据的再现视频信号或图像数据。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种转换过程，诸如格式转换、尺寸转换以及色域转换，以调整到显示图像等的监控设备的硬件规范。

在控制单元1511的控制下，为了提高图像数据的图像质量等，图像处理引擎154执行预定图像处理，诸如过滤过程。

内部存储器1515是视频处理器1332内部的存储器，被显示引擎1513、图像处理引擎1514和编解码器引擎1516共享。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514和编解码器引擎1516中执行的数据互换。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据、并且必要时(例如，根据请求)把数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。虽然这个内部存储器1515可以由任何存储设备实现，但是一般而言，内部存储器1515常用于存储具有小容量的数据，诸如以块或参数为单位配置的图像数据，因而它优选地由具有相对小容量(例如，与外部存储器1312相比)和高响应速度的半导体存储器实现，诸如SRAM(静态随机存取存储器)。

编解码器引擎1516执行与编码或解码图像数据相关的过程。编解码器引擎1516对应的编码/解码系统是任意的，其数目可以是一个或两个或更多个。例如，编解码器引擎1516可以包括多个编码/解码系统的编解码器功能、并且通过使用多个编码/解码系统中选定的一个来执行图像数据编码或者编码图像数据的解码。

在图44所说明的例子，例如，编解码器引擎1516包括MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545和MPEG-DASH 1551，作为关于编解码器的过程的功能块。

MPEG-2视频1541是根据MPEG-2系统编码或解码图像数据的功能块。AVC/H.2641542是根据AVC系统编码或解码图像数据的功能块。此外，HEVC/H.2651543是根据HEVC系统编码或解码图像数据的功能块。HEVC/H.265(可伸缩)1544是根据HEVC系统可伸缩编码或可伸缩解码图像数据的功能块。HEVC/H.265(多视图)1545是根据HEVC系统多视点编码或多视点解码图像数据的功能块。

MPEG-DASH 1551是根据MPEG-DASH(经HTTP的MPEG-动态自适应流媒体)系统发送/接收图像数据的功能块。MPEG-DASH是通过使用HTTP(超文本传输协议)流化视频的技术、并且具有从彼此不同分辨率等的多个编码数据片段中适当选择其一的特性，其中数据是事先以片段为单位准备并发送的。MPEG-DASH 1551执行与规范相符的流生成、流发送控制等，对于编码/解码图像数据，使用上述MPEG-2视频1541或HEVC/H.265(多视图)1545。

存储器接口1517是外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据通过存储器接口1517提供给外部存储器1312。此外，从外部存储器1312读出的数据通过存储器接口1517提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

多路复用器/多路分解器(MUX DMUX)1518多路复用或多路分解关于图像的各种数据，诸如编码数据、图像数据或视频信号的位流。多路复用/多路分解方法是任意的。例如，在多路复用过程时，多路复用器/多路分解器(MUX DMUX)1518不仅可以把多个数据片段布置成一个、而且可以向数据添加预定首部信息等。此外，在多路分解过程时，多路复用器/多路分解器(MUX DMUX)1518不仅可以把一个数据片段分成多个部分、而且可以向划分的数据添加预定首部信息等。换句话说，多路复用器/多路分解器(MUX DMUX)1518通过多路复用/多路分解过程转换数据格式。例如，通过多路复用位流，多路复用器/多路分解器(MUXDMUX)1518可以把位流转换成用于发送的格式的传输流、或者用于记录的文件格式的数据(文件数据)。很显然，逆转换可以通过多路分解过程执行。

网络接口1519是专用接口，诸如宽带调制解调器1333(图42)或者连接模块1321(图42)。视频接口1520是诸如连接模块1321(图42)或相机1322(图42)的专用接口。

接下来，将描述这种视频处理器1332的操作例子。例如，当传输流通过连接模块1321(图42)、宽带调制解调器1333(图42)等从外部网络接收时，传输流通过网络接口1519提供给多路复用器/多路分解器(MUX DMUX)1518，被多路分解，被编解码器引擎1516解码。对于通过编解码器引擎1516执行的解码过程获取的图像数据，例如，预定图像处理由图像处理引擎1514执行，预定转换由显示引擎1513执行，得到的图像数据通过显示接口1512提供给例如连接模块1321(图42)等，图像显示在监视器上。此外，例如，通过由编解码器引擎1516执行的解码过程获取的图像数据被编解码器引擎1516重新编码，被多路复用器/多路分解器(MUX DMUX)1518多路复用，转换成文件数据，通过视频接口1520输出到例如连接模块1321(图42)等，在各种记录介质上记录。

此外，例如，通过由连接模块1321(图42)等从图中未示出的记录介质读取的图像数据获取的编码数据的文件数据，通过视频接口1520被提供给多路复用器/多路分解器(MUX DMUX)1518，被多路分解，并且被编解码器引擎1516解码。通过由编解码器引擎1516执行的解码过程获取的图像数据接受图像处理引擎1514执行的预定图像处理，预定转换由显示引擎1513执行，得到的图像数据通过显示接口1512提供给例如连接模块1321(图42)等，图像显示在监视器上。此外，例如，通过由编解码器引擎1516执行的解码过程获取的图像数据被编解码器引擎1516重新编码，被多路复用器/多路分解器(MUX DMUX)1518多路复用，转换成传输流，通过网络接口1519提供给例如连接模块1321(图42)、宽带调制解调器1333(图42)等，发送到图中未示出的另一设备。

此外，例如，视频处理器1332的处理单元之间的图像数据或其它数据的互换是利用内部存储器1515或外部存储器1312执行的。此外，例如，电源管理模块1313控制电力向控制单元1511的供应。

本技术应用到如此配置的视频处理器1332的情况下，根据以上所述每种实施例的本技术可以应用到编解码器引擎1516。换句话说，例如，编解码器引擎1516可以包括实现根据第一实施例的图像编码设备100(图1)或者根据第二实施例的图像解码设备200(图19)的功能块。通过如此配置，视频处理器1332可以获取与以上参考图1至31所描述的那些相同的优点。

此外，在编解码器引擎1516中，本技术(换句话说，根据以上所述每种实施例的图像编码设备和图像解码设备的功能)可以由诸如逻辑电路的硬件实现，可以由诸如内置程序的软件实现，或者可以同时由硬件和软件实现。

如上所述，虽然已经作为例子描述了视频处理器1332的两种配置，但是视频处理器1332的配置是任意的、并且可以是以上所述两种配置之外的配置。此外，这种视频处理器1332可以由一个半导体芯片或多个半导体芯片配置。例如，视频处理器1332可以由多个半导体被层压的三维层压LSI配置。此外，视频处理器1332可以由多个LSI实现。

[对设备的应用实例]

视频机1300可以在处理图像数据的各种设备中设置。例如，视频机1300可以在电视装置900(图35)、移动电话920(图36)、记录和再现设备940(图37)、成像设备960(图38)等中设置。通过在其中设置视频机1300，设备可以获取与以上参考图1至31所描述的优点相同的优点。

此外，例如，视频机1300可以在图39说明的数据发送系统1000的终端设备，诸如个人计算机1004、AV设备1005、平板设备1006和移动电话1007，以及图40所说明的数据发送系统1100的广播站1101和终端设备1102中以及图41所说明的成像系统1200的成像设备1201和可伸缩编码数据存储设备1202中设置。通过在其中设置视频机1300，设备可以获取与以上参考图1至31所描述的优点相同的优点。

此外，即使上述视频机1300的一些配置是包括视频处理器1332的，但还可以实现为本技术在其它情况下应用的配置。例如，只有视频处理器1332配置为本技术适用的视频处理器。此外，如上所述，由虚线1341指示的处理器、视频模块1311等可以配置为本技术适用的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314可以组合，以便配置为本技术适用的视频单元1361。在任何配置，都可以获取与以上参考图1至31所描述的优点相同的优点。

换句话说，类似于视频机1300的情况，包括视频处理器1332的任何配置可以在处理图像数据的各种设备中设置。例如，虚线1341指示的视频处理器1332、处理器和视频模块1311，或者视频单元1361，可以在电视装置900(图35)、移动电话920(图36)、记录和再现设备940(图37)、成像设备960(图38)、图39中说明的数据发送系统1000的终端设备，诸如个人计算机1004、AV设备1005、平板设备1006和移动电话1007，图40所说明的数据发送系统1100的广播站1101和终端设备1102中以及图41所说明的成像系统1200的成像设备1201和可伸缩编码数据存储设备1202等中设置。类似于视频机1300的情况，通过设置本技术适用的任何配置，设备可以获取与以上参考图1至31所描述的优点相同的优点。

另外，本说明书已经描述了诸如跳过许可信息或跳过标识信息的各种信息被多路复用到编码流中、并且编码流从编码侧发送到解码侧的例子。但是，发送信息的技术不限于此。例如，信息可以作为与编码位流关联的独立数据发送或记录，而不多路复用到编码的位流中。这里，术语“关联”代表包括在位流中的图像(片、块等；可以是图像的一部分)和对应于该图像的信息在解码过程时彼此链接。换句话说，信息可以在与图像(或位流)的传输线路不同的传输线路上发送。此外，信息可以记录在与图像(或位流)的记录介质不同的记录介质(或者相同记录介质的不同存储区域)上。此外，信息和图像(或位流)可以在任意单元(诸如多个帧、一个帧或者帧的一部分)中彼此关联。

本公开内容的优选实施例已经参考附图具体描述，但是本公开内容的技术范围不限于以上例子。本领域技术人员应当理解，各种修改或变更可以在权利要求所述的技术主旨的范围内发生、并且它们在本发明的技术范围内。

本技术还可以具有以下配置：

(1)一种图像处理设备，包括：量化单元，使用被应用到正交变换跳过块的加权系数以及量化所述正交变换跳过块，其中在所述正交变换跳过块中正交变换处理被跳过；以及编码单元，编码被量化单元量化的正交变换跳过块的系数。

(2)(1)中所描述的图像处理设备，其中量化单元使用空间域值作为所述加权系数。

(3)(2)中所描述的图像处理设备，其中量化单元使用一个加权系数。

(4)(2)中所描述的图像处理设备，其中量化单元使用在量化正交变换块时使用的量化矩阵的DC分量作为加权系数，其中在所述正交变换块中执行正交变换处理。

(5)(2)中所描述的图像处理设备，其中量化单元利用加权系数矩阵来量化所述正交变换跳过块，所述加权系数矩阵是通过对量化矩阵的DC分量执行矩阵处理所获得的。

(6)(1)中所描述的图像处理设备，其中量化单元利用加权系数矩阵来量化所述正交变换跳过块，所述加权系数矩阵是通过对所述加权系数执行矩阵处理所获得的。

(7)(1)中所描述的图像处理设备，还包括发送单元，该发送单元把所述加权系数作为序列参数集或图片参数集发送。

(8)(1)中所描述的图像处理设备，还包括发送单元，该发送单元发送指示是否许可正交变换处理的跳过的跳过许可信息，作为图片参数集或者作为片首部。

(9)(8)中所描述的图像处理设备，其中发送单元只在执行正交变换的最小块尺寸是4×4时才发送跳过许可信息。

(10)(1)中所描述的图像处理设备，还包括发送单元，该发送单元只在执行正交变换的最小块尺寸是4×4时才发送跳过许可信息作为序列参数集。

(11)(10)中所描述的图像处理设备，其中当跳过许可信息是许可正交变换处理的跳过的值时，发送单元在跳过许可信息之后发送所述加权系数。

(12)一种图像处理设备的图像处理方法，其中图像处理设备使用加权系数应用到正交变换跳过块，量化所述正交变换跳过块，以及编码所述量化的正交变换跳过块的系数，其中在所述正交变换跳过块中正交变换处理被跳过。

(13)一种图像处理设备，包括：过滤单元，当图像经历编码过程时，对局部解码图像执行去块过滤；控制单元，控制由过滤单元进行的去块过滤，以便针对正交变换处理被跳过的正交变换跳过块与执行了正交变换的正交变换块之间的边界增加去块过滤的强度；以及编码单元，使用过滤单元执行了去块过滤的图像，并且编码该图像。

(14)一种图像处理设备的图像处理方法，其中当图像经历编码过程时，图像处理设备对局部解码图像执行去块过滤，控制由过滤单元进行的去块过滤，以便针对正交变换处理被跳过的正交变换跳过块与执行了正交变换的正交变换块之间的边界增加去块过滤的强度，使用过滤单元执行了去块过滤的图像，并且编码该图像。

(15)一种图像处理设备，包括：解码单元，对位流执行解码过程，以生成图像；过滤单元，对解码单元生成的图像执行去块过滤；及控制单元，控制由过滤单元进行的去块过滤，以便针对正交变换处理被跳过的正交变换跳过块与执行了正交变换的正交变换块之间的边界增加去块过滤的强度。

(16)一种图像处理设备的图像处理方法，其中图像处理设备对位流执行解码过程，以生成图像，对所生成的图像执行去块过滤，并且控制去块过滤，以便针对正交变换处理被跳过的正交变换跳过块与执行了正交变换的正交变换块之间的边界增加去块过滤的强度。

(21)一种图像处理设备，包括：

解码单元，解码编码数据并生成量化系数；及

逆量化单元，使用应用到正交变换跳过块的加权系数来逆量化由解码单元生成的正交变换跳过块的量化系数，其中在所述正交变换跳过块中正交变换处理被跳过。

(22)根据(21)的图像处理设备，其中逆量化单元使用一个加权系数。

(23)根据(22)的图像处理设备，其中逆量化单元利用所述加权系数来逆量化具有4×4块尺寸的正交变换跳过块的量化系数。

(24)根据(23)的图像处理设备，还包括接收单元，该接收单元接收作为图片参数集发送的、指示是否许可正交变换处理的跳过的跳过许可信息。

(25)根据(24)的图像处理设备，其中接收单元还接收所发送的加权系数，并且逆量化单元利用接收单元接收的加权系数来逆量化正交变换跳过块的量化系数。

(26)根据(21)的图像处理设备，其中逆量化单元利用量化矩阵来逆量化非正交变换跳过块的量化系数，其中所述量化矩阵与通过对加权系数执行矩阵处理获得的加权系数矩阵不同，其中在所述非正交变换跳过块中执行正交变换处理。

(27)根据(24)的图像处理设备，还包括发送单元，该发送单元通过接收广播信号提取期望的通道信号，并且通过解码提取出的信号获得编码数据，

其中解码单元解码发送单元从广播信号获得的编码数据。

(28)根据(24)的图像处理设备，还包括多路分解器，该多路分解器多路分解所发送的编码数据，以分成视频编码数据和音频编码数据，

其中解码单元解码被多路分解器分解的、与音频编码数据分离的视频编码数据。

(29)根据(24)的图像处理设备，还包括再现单元，该再现单元再现视频数据，所述视频数据是由解码单元对编码数据执行解码和由逆量化单元执行逆量化处理获得的。

(30)根据(24)的图像处理设备，还包括对音频数据执行编码和解码的音频编解码器单元。

(31)根据(24)的图像处理设备，还包括读出记录在存储介质上的编码数据的再现单元，

其中解码单元解码再现单元从存储介质读出的编码数据。

(32)一种图像处理方法，包括：

解码编码数据并生成量化系数；以及

利用被应用到其中正交变换处理被跳过的正交变换跳过块的加权系数，来逆量化所生成的正交变换跳过块的量化系数。

标号列表

100 图像编码设备

104 正交变换单元

105 量化单元

106 无损编码单元

108 逆量化单元

109 逆正交变换单元

111 去块过滤器

121 正交变换跳过单元

131 跳过编码单元

132 跳过确定单元

141 量化矩阵设置单元

142 加权系数生成单元

143 量化处理单元

151 边界确定单元

152 强度调整单元

153 过滤单元

200 图像解码设备

202 无损解码单元

203 逆量化单元

204 逆正交变换单元

206 去块过滤器

221 逆正交变换跳过单元

231 TransformSkipFlag缓冲区

232 控制信号生成单元

241 量化矩阵缓冲区

242 加权系数生成单元

243 量化参数缓冲区

244 逆量化单元

251 边界确定单元

252 强度调整单元

253 过滤单元

Claims (11)

1.一种图像处理设备，包括：

解码单元，解码编码数据并生成量化系数；以及

逆量化单元，使用所有系数具有相同值的矩阵来逆量化由解码单元生成的正交变换跳过块的量化系数，其中在所述正交变换跳过块中正交变换处理被跳过。

2.如权利要求1所述的图像处理设备，其中所述矩阵是4×4的矩阵。

3.如权利要求1所述的图像处理设备，其中逆量化单元利用所述矩阵来逆量化具有4×4块尺寸的正交变换跳过块的量化系数。

4.如权利要求1所述的图像处理设备，还包括接收单元，该接收单元接收作为图片参数集发送的、并且指示是否许可正交变换处理的跳过的跳过许可信息。

5.如权利要求1所述的图像处理设备，其中逆量化单元利用与所述矩阵不同的量化矩阵来逆量化经历正交变换处理的非正交变换跳过块的量化系数。

6.如权利要求1所述的图像处理设备，还包括发送单元，该发送单元通过接收广播信号提取期望的信道信号并且通过解码提取出的信号获得编码数据，

其中解码单元解码由发送单元从广播信号获得的编码数据。

7.如权利要求1所述的图像处理设备，还包括多路分解器，该多路分解器多路分解所发送的编码数据，以分成视频编码数据和音频编码数据，

其中解码单元解码由多路分解器与音频编码数据分离的视频编码数据。

8.如权利要求1所述的图像处理设备，还包括再现单元，该再现单元再现视频数据，所述视频数据是通过针对编码数据由解码单元执行解码并由逆量化单元执行逆量化处理获得的。

9.如权利要求1所述的图像处理设备，还包括对音频数据执行编码和解码的音频编解码器单元。

10.如权利要求1所述的图像处理设备，还包括读出记录在存储介质上的编码数据的再现单元，

其中解码单元解码由再现单元从存储介质读出的编码数据。

11.一种图像处理方法，包括：

解码编码数据并生成量化系数；及

利用所有系数具有相同值的矩阵来逆量化正交变换跳过块的所述生成的量化系数，其中在所述正交变换跳过块中正交变换处理被跳过。