CN105900424A - 解码装置、解码方法、编码装置以及编码方法 - Google Patents

Abstract

本公开内容涉及一种包括电路的解码装置，该电路被配置成对比特流进行解码并且生成量化值；在应用了变换跳过的变换块的块尺寸大于4乘4块尺寸的情况下，通过使用扁平缩放列表对生成的量化值进行逆量化。

Description

解码装置、解码方法、编码装置以及编码方法

技术领域

本公开内容涉及解码装置和解码方法以及编码装置和编码方法，并且更具体地，涉及在对除了4乘4像素以外的尺寸的块应用变换跳过(transform skip)的情况下可以改进编码效率的解码装置和解码方法以及编码装置和编码方法。

<相关申请的交叉引用>

本申请要求2013年10月11日提交的日本优先权专利申请JP2013-214118的权益，其全部内容通过引用合并到本文中。

背景技术

近年来，基于采用正交变换(如离散余弦变换)执行压缩以及通过使用图像信息特有的冗余执行运动补偿的方法如MPEG(动态图像专家组阶段)的装置不仅在信息分发(如广播站)中广泛推广，而且在针对普通家庭的信息接收中也广泛推广。

特别地，MPEG2(ISO/IEC 13818-2)方法被限定为通用图像编码方法，并且是包括隔行扫描图像和逐行扫描图像两者以及标准分辨率图像和高分辨率图像的标准。例如，MPEG2现已广泛用于各种应用，如专业使用和用户使用。例如，在720乘480像素的标准分辨率的隔行扫描图像的情况下，分配4Mbps至8Mbps的代码量(比特率)。例如，在1920乘1088像素的高分辨率的隔行扫描图像的情况下，分配18Mbps至22Mbps的代码量(比特率)。因此，可以通过使用MPEG2方法来实现高压缩率和高图像质量。

MPEG2主要是针对适于广播的高图像质量编码，但是不支持相较于MPEG1使用较少代码量(较低比特率)的编码方法。换言之，MPEG2不支持较高压缩率的编码方法。随着便携式终端变得广泛流行，考虑到对这样的编码方法的需求在未来有所增长，并且为了响应这样的需求，MPEG4编码方法被标准化。对于MPEG4的图像编码方法，1998年12月在国际标准中将规范采纳为ISO/IEC 14496-2。

此外，在最近几年，被称为H.26L(ITU-T Q6/16VCEG)的标准已经被标准化，这最初是为了电视会议的图像编码目的。与编码方法如MPEG2和MPEG4相比，H.26L因为编码和解码处理而需要较大的计算量，但是已知实现了更高的编码效率。

近年来，作为MPEG4的活动的一部分，增强压缩视频编码的联合模型已进行标准化，以实现更高的编码效率，其基于H.26L并且另外采用H.26L中不支持的功能。这种标准化在2003年3月加入到国际标准中，名为H.264和MPEG-4第10部分(AVC(高级视频编码))。

此外，作为其发展，FRExt(保真度范围缩放)在2005年2月被标准化，FRExt(保真度范围缩放)包括作用于色差信号格式(如4：2：2和4：4：4)以及RGB所需的编码工具，以及包括在MPEG2中限定的量化矩阵和8乘8DCT(离散余弦变换)。因此，AVC方法成为甚至能够精细地表达电影中包含的胶片噪声的编码方法，并且取得进展以用于各种应用中，如BD(蓝光(注册商标)盘)。

然而，最近，对于更高压缩率的编码处理，如对具有是高分辨率电视图像约4倍的约4000乘2000像素的图像的压缩，或者将高分辨率电视图像分发到仅存在有限传输容量的环境(如因特网)中的需求越来越大。因此，ITU-T下的VCEG(视频编码专家组)正在继续研究编码效率的改进。

目前，为了改进编码效率仍大于AVC，作为ITU-T和ISO/IEC的联合标准化组织的JCT-VC(联合协作组视频编码)已经对被称为HEVC(高效率视频编码)的编码方法进行标准化。截至2013年10月，NPL 1已作为草案发行。

然而，其中TU(变换单元)的尺寸为4乘4像素，HEVC可以使用对所考虑的TU不进行正交变换和逆正交变换的变换跳过的功能。

更特别地，当要被编码的图像是非天然图像如CG(计算机图形)图像和个人计算机的画面时，4乘4像素很可能被选作TU的尺寸。当正交变换不被应用于非天然图像时可以增大编码效率。因此，当TU的尺寸为4乘4像素时，HEVC通过使得能够应用变换跳过来改进编码效率。

另一方面，在NPL 2中，考虑了编码方法以改进色差信号格式(如4：2：2和4：4：4)的图像以及画面内容的编码。

在NPL 3中，考虑了在变换跳过被应用于具有大于4乘4像素的尺寸的TU的情况下的编码效率。

此外，在NPL 4中，当TU的最小尺寸为除了4乘4像素以外的例如8乘8像素时，考虑将变换跳过应用于最小尺寸的TU。

[引用列表]

[非专利文献]

NPL 1：Benjamin Bross，Gary J.Sullivan，Ye-Kui Wang，“Editors'proposed corrections to HEVC version 1”，JCTVC-M0432_v3，2013年4月18日-4月26日

NPL 2：David Flynn，Joel Sole，Teruhiko Suzuki，“High EfficiencyVideo Coding(HEVC)，Range Extension text specification:Draft 4”，JCTVC-N1005_v1，2013年4月18日-4月26日

NPL 3：Xiulian Peng，Jizheng Xu，Liwei Guo，Joel Sole，MartaKarczewicz，“Non-RCE2:Transform skip on large Tus”，JCTVC-N0288_r1，2013年7月25日-8月2日

NPL 4：Kwanghyun Won，Seungha Yang，Byeungwoo Jeon，“Transform skip based on minimum TU size”，JCTVC-N0167，2013年7月25日-8月2日

发明内容

技术问题

在HEVC中，在执行变换跳过的像素域中的TU的量化期间，扁平矩阵(flat matrix)被设置作为用于具有4乘4像素的TU的缩放列表(scaling list)的默认值，以使得在频域中除了扁平矩阵以外不使用缩放列表(量化矩阵)。然而，除了扁平矩阵以外的矩阵被设置作为具有除了4乘4像素以外的尺寸的TU的缩放列表的默认值。

因此，如在NPL 3和NPL 4中所描述的，当变换跳过应用于具有4乘4像素以外的尺寸的TU时，在执行变换跳过的TU的量化期间可以使用除了扁平矩阵以外的缩放列表。因此，降低编码效率。

本发明是鉴于这样的情况而提出的，并且是在对具有除了4乘4像素以外的尺寸的块执行变换跳过的情况下改进编码效率。

问题的解决方案

根据本公开内容的第一实施方式的解码装置包括电路，该电路被配置成对比特流进行解码并且生成量化值；以及在应用了变换跳过的变换块的块尺寸大于4乘4块尺寸的情况下，通过使用扁平缩放列表对生成的量化值进行逆量化。

根据本公开内容的第一实施方式的解码方法与根据本公开内容的第一实施方式的解码装置对应。

在本公开内容的第一实施方式中，通过对比特流进行解码生成量化值，并且本公开内容使用扁平缩放列表对量化值进行逆量化。

根据本公开内容的第二实施方式的编码装置包括：电路，该电路被配置成在变换跳过被应用于大于4乘4块尺寸的变换块的情况下，通过使用扁平缩放列表，通过对应用了变换跳过的变换块进行量化而生成量化值；以及对生成的量化值进行编码。

根据本公开内容的第二实施方式的编码方法与根据本公开内容的第二实施方式的编码装置对应。

在本公开内容的第二实施方式中，在变换跳过被应用于大于4乘4块尺寸的变换块的情况下，通过使用扁平缩放列表，通过对应用了变换跳过的变换块进行量化而生成量化值，以及对生成的量化值进行编码。

应当指出的是，可以通过使计算机执行程序来实现第一实施方式的解码装置和第二实施方式的编码装置。

可以以使得程序经由传输介质来传输或将程序记录至记录介质的方式来提供由计算机执行以便实现第一实施方式的解码装置和第二实施方式的编码装置的程序。

第一实施方式的解码装置和第二实施方式的编码装置可以是独立的装置，或者可以是构成单个装置的内部块。

本发明的效果

根据本公开内容的第一实施方式，解码可以被执行。此外，编码流可以被解码，该编码流的编码效率在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下得到改进。

根据本公开内容的第二实施方式，编码可以被执行。可以改进在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下的编码效率。

应当指出的是，文中所描述的效果不限于此，并且可以是在本公开内容中所描述的效果中的任何一个。

附图说明

图1是示出应用本公开内容的编码装置的实施方式的配置的示例的框图。

图2是示出SPS的语法的示例的图示。

图3是示出SPS的语法的示例的图示。

图4是示出PPS的语法的示例的图示。

图5是示出PPS的语法的示例的图示。

图6是用于对设置缩放列表进行说明的图示。

图7是示出图1的编码单元的配置的示例的框图。

图8是用于说明CU的图示。

图9是示出图7的列表设置单元的配置的示例的框图。

图10是用于说明流生成处理的流程图。

图11是用于说明图10的编码处理的细节的流程图。

图12是用于说明图10的编码处理的细节的流程图。

图13是用于说明图11的缩放列表确定处理的细节的流程图。

图14是示出应用本公开内容的解码装置的实施方式的配置的示例的框图。

图15是示出图14的解码单元的配置的示例的框图。

图16是用于说明由图14的解码装置执行的图像生成处理的流程图。

图17是用于说明图16的解码处理的细节的流程图。

图18是示出计算机的硬件的配置的示例的框图。

图19是示出多视点图像编码方法的示例的图示。

图20是示出应用本公开内容的多视点图像编码装置的配置的示例的图示。

图21是示出应用本公开内容的多视点图像解码装置的配置的示例的图示。

图22是示出分层图像编码方法的示例的图示。

图23是用于说明空间可缩放编码的示例的图示。

图24是用于说明时间可缩放编码的示例的图示。

图25是用于说明信噪比的可缩放编码的示例的图示。

图26是示出应用本公开内容的分层图像编码装置的配置的示例的图示。

图27是示出应用本公开内容的分层图像解码装置的配置的示例的图示。

图28是示出应用本公开内容的电视接收装置的示意性配置的示例的图示。

图29是示出应用本公开内容的蜂窝电话的示意性配置的示例的图示。

图30是示出应用本公开内容的记录/再现装置的示意性配置的示例的图示。

图31是示出应用本公开内容的图像捕获装置的示意性配置的示例的图示。

图32是示出可缩放编码使用的示例的框图。

图33是示出可缩放编码使用的另一示例的框图。

图34是示出可缩放编码使用的另一示例的框图。

图35示出了应用本公开内容的视频装置的示意性配置的示例。

图36示出了应用本公开内容的视频处理器的示意性配置的示例。

图37示出了应用本公开内容的视频处理器的示意性配置的另一示例。

具体实施方式

<第一实施方式>

(编码装置的实施方式的配置的示例)

图1是示出应用本公开内容的编码装置的实施方式的配置的示例的框图。

图1的编码装置10包括设置单元11、编码单元12和传输单元13，并且编码装置10根据基于HEVC方法的方法对图像进行编码。

更特别地，编码装置10的设置单元11设置SPS(序列参数集)，所述SPS包括指示TU的最小尺寸的最小TU尺寸信息，所述TU的最小尺寸是可以根据用户的命令等执行变换跳过的TU(正交变换块)的尺寸。设置单元11还设置PPS(图片参数集)，所述PPS包括指示是允许还是不允许对最小尺寸的TU应用变换跳过的跳过允许信息。此外，设置单元11设置VUI(视频可用性信息)、SEI(补充增强信息)等。设置单元11向编码单元12提供已被设置的参数集，如SPS、PPS、VUI、SEI。

编码单元12以帧为单位接收图像。编码单元12参照从设置单元11提供的参数集，根据基于HEVC方法的方法对所接收的图像进行编码。编码单元12根据参数集以及作为编码的结果生成的编码数据来生成编码流，并且将编码流提供给传输单元13。

传输单元13将从编码单元12提供的编码流传输至后面描述的解码装置。

(SPS的语法的示例)

图2和图3是示出SPS的语法的示例的图示。

如图2中所示，在SPS中设置最小TU尺寸信息(log2_min_transform_block_size_minus2)。例如，当指示8乘8像素时，最小TU尺寸信息为一。

在SPS中设置指示在量化期间是否使用缩放列表的缩放列表使用标志(scaling_list_enabled_flag)。当在量化期间使用缩放列表时。缩放列表使用标志为一，当在量化期间不使用缩放列表时，缩放列表使用标志为零。

当缩放列表使用标志为一时，SPS缩放列表标志(sps_scaling_list_data_present_flag)指示缩放列表是包括在SPS中还是未被设置在SPS中。当缩放列表包括在SPS中时，SPS缩放列表标志为一。当缩放列表未包括在SPS中时，SPS缩放列表标志为零。

当SPS缩放列表标志为一时，缩放列表(scaling_list_data)被设置在SPS中。

(PPS的语法的示例)

图4和图5是示出PPS的语法的示例的图示。

如图4中所示，在PPS中设置跳过允许信息(transform_skip_enabled_flag)。因此，能够以图片为单位来控制对最小尺寸TU应用变换跳过。当指示允许对最小尺寸TU应用变换跳过时，跳过允许信息为一。当指示不允许对最小尺寸TU应用变换跳过时，跳过允许信息为零。

如图4所示，PPS缩放列表标志(pps_scaling_list_data_present_flag)指示缩放列表是包括在PPS中还是未被设置在PPS中。当缩放列表包括在PPS中时，PPS缩放列表标志为一。当缩放列表未包括在PPS中时，PPS缩放列表标志为零。

如图5中所示，当PPS缩放列表标志为一时，缩放列表(scaling_list_data)被设置在PPS中。在下面的说明中，被设置在SPS和PPS中的缩放列表被称为设置缩放列表。

(关于设置缩放列表的说明)

图6是用于对设置缩放列表进行说明的图示。

如图6所示，在HEVC中，4乘4像素、8乘8像素、16乘16像素以及32乘32像素可以被选为TU的尺寸。因此，针对每个尺寸准备缩放列表。然而，对于大TU，如16乘16像素和32乘32像素，缩放列表的数据量大。编码效率由于缩放列表的传输而降低。

因此，如图6所示，大TU(如16乘16像素和32乘32像素)的缩放列表被降采样至8乘8矩阵，其被设置在SPS和PPS中并且作为设置缩放列表而传输。然而，直流分量大大影响图像质量，并且因此，直流分量被单独传输。

解码装置使用零阶保持(zero-order hold)对设置缩放列表进行上采样，所述设置缩放列表是被这样传输的8乘8矩阵，并且因此，大TU(如16乘16像素和32乘32像素)的缩放列表被恢复。

(编码单元的配置的示例)

图7是示出图1的编码单元12的配置的示例的框图。

图7的编码单元12包括A/D转换单元31、画面排序缓冲器32、计算单元33、正交变换单元34、量化单元35、无损编码单元36、累积缓冲器37、逆量化单元38、逆正交变换单元39以及相加单元40。编码单元12包括去块(deblock)滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46、运动预测/补偿单元47、预测图像选择单元48以及速率控制单元49。此外，编码单元12包括跳过设置单元50和列表设置单元51。

编码单元12的A/D转换单元31将以帧为单位接收的作为编码目标的图像从模拟转换为数字。A/D转换单元31将作为转换后的数字信号的图像输出至画面排序缓冲器32，以在其中存储图像数据。

画面排序缓冲器32以帧为单位将图像从所存储的显示顺序排序为用于根据GOP结构进行编码的帧的顺序。画面排序缓冲器32将经排序的图像输出至计算单元33、帧内预测单元46和运动预测/补偿单元47。

计算单元33从画面排序缓冲器32提供的图像中减去从预测图像选择单元48提供的预测图像，并且对图像进行编码。计算单元33将作为结果获得的图像输出至正交变换单元34，作为残差信息(差值)。当未从预测图像选择单元48提供预测图像时，计算单元33将从画面排序缓冲器32读取的图像输出至正交变换单元34，按原样作为残差信息。

正交变换单元34以TU为单位对计算单元33提供的残差信息执行正交变换。TU的尺寸可以是4乘4像素、8乘8像素、16乘16像素和32乘32像素。正交变换方法的示例包括DCT(离散余弦变换)。

当TU具有32乘32像素时，DCT的正交变换矩阵的左半部分如下。

[数学式1]

DCT的正交变换矩阵的右半部分如下。

[数学式2]

TU具有4乘4像素、8乘8像素以及16乘16像素的DCT的正交变换矩阵是通过将具有32乘32像素的TU的DCT的正交变换矩阵分别跳过到1/8、1/4、1/2而获得的。因此，正交变换单元34可以被设置作为所有尺寸TU的共同计算单元，不必要对每个尺寸的TU提供计算单元。

当最佳预测模式是帧内预测模式并且TU具有4乘4像素时，DST(离散正弦变换)用作正交变换方法。DST的正交变换矩阵H由以下表达式(1)表示。

[数学式3]

如上所述，当最佳预测模式是帧内预测模式并且TU具有4乘4像素时，即，当由于图像更类似于在其周围已被编码的外围图像而残差信息明显减少时，那么，DST用作正交变换方法，并且因此改进了编码效率。

正交变换单元34基于从跳过设置单元50提供的最小TU尺寸信息确定是否以帧为单位应用变换跳过。当确定能够应用变换跳过时，正交变换单元34基于作为正交变换的结果而获得的正交变换系数来计算在执行正交变换的情况下的成本函数值，以及在不执行正交变换的情况下的成本函数值。

当使用正交变换的成本函数值小于不使用正交变换的成本函数值时，正交变换单元34向量化单元35提供正交变换系数。然后，正交变换单元34向无损编码单元36和逆正交变换单元39提供指示不存在变换跳过的变换跳过标志。

另一方面，当不使用正交变换的成本函数值小于使用正交变换的成本函数值时，正交变换单元34执行变换跳过，并且向量化单元35提供残差信息。然后，正交变换单元34向无损编码单元36和逆正交变换单元39提供指示存在变换跳过的变换跳过标志。

应当指出的是，变换跳过不仅可以应用于亮度信号而且还可以应用于色差信号。不管最佳预测模式是帧内预测模式还是帧间预测模式都可以执行变换跳过。

在确定不能应用变换跳过或者没有提供最小TU尺寸信息的情况下，正交变换单元34向量化单元35提供正交变换系数。

量化单元35使用从列表设置单元51提供的缩放列表来量化从正交变换单元34提供的正交变换系数或残差信息。量化单元35将作为量化的结果而获得的量化值提供给无损编码单元36。

无损编码单元36获得从正交变换单元34提供的量化值。无损编码单元36获得来自帧内预测单元46的指示最佳帧内预测模式的信息(以下称为帧内预测模式信息)。无损编码单元36从运动预测/补偿单元47获得指示最佳帧间预测模式的信息(以下称为帧间预测模式信息)、运动矢量、用于识别参考图像的信息等。

无损编码单元36还从自适应偏移滤波器42获得关于偏移滤波器的偏移滤波信息，并且从自适应环路滤波器43获得滤波器系数。

无损编码单元36对从量化单元35提供的量化值执行无损编码，如可变长度编码(例如，CAVLC(上下文自适应可变长度编码)等)和算术编码(例如，CABAC(上下文自适应二进制算术编码)等)。

无损编码单元36执行无损编码，以对帧内预测模式信息或帧间预测模式信息、运动矢量、用于识别参考图像的信息、变换跳过标志、偏移滤波信息和滤波器系数进行编码，作为关于编码的编码信息。无损编码单元36将被进行无损编码的编码信息以及量化值作为编码数据提供给累积缓冲器37，以在其中累积数据。

应当指出的是，经无损编码的编码信息可以是与经无损编码的量化值有关的头部信息(例如，片头部)。例如，变换跳过标志(transform_skip_flag)被设置在residual_coding中。

累积缓冲器37临时存储从无损编码单元36提供的编码数据。累积缓冲器37向传输单元13提供所存储的编码数据以及从图1的设置单元11提供的参数集，作为编码流。

从量化单元35输出的量化值还被输入到逆量化单元38中。逆量化单元38使用从列表设置单元51提供的缩放列表，以根据与量化单元35的量化方法对应的方法对从量化单元35提供的量化值执行逆量化。逆量化单元38将作为逆量化的结果而获得的残差信息或正交变换系数提供给逆正交变换单元39。

逆正交变换单元39基于从正交变换单元34提供的变换跳过标志，以TU为单位对从逆量化单元38提供的正交变换系数执行逆正交变换。逆正交变换的方法的示例包括IDCT(逆离散余弦变换)和IDST(逆离散正弦变换)。逆正交变换单元39将作为逆正交变换的结果而获得的残差信息或从逆量化单元38提供的残差信息提供给相加单元40。

相加单元40通过将逆正交变换单元39提供的残差信息与预测图像选择单元48提供的预测图像相加来执行解码。相加单元40向去块滤波器41和帧存储器44提供解码图像。

去块滤波器41执行自适应去块滤波处理，以从相加单元40所提供的解码图像去除块噪声，并且将作为结果获得的图像提供给自适应偏移滤波器42。

自适应偏移滤波器42执行自适应偏移滤波(SAO(样本自适应偏移))处理，以主要从已经经历了去块滤波器41的自适应去块滤波处理的图像中去除振铃(ringing)。

更特别地，自适应偏移滤波器42确定针对作为最大编码单元的每个LCU(最大编码单元)的自适应偏移滤波处理的类型，并且得到在自适应偏移滤波处理中使用的偏移。自适应偏移滤波器42使用所得到的偏移来执行所确定类型的自适应偏移滤波处理，以对已经经历了自适应去块滤波处理的图像进行滤波。

自适应偏移滤波器42将已经经历了自适应偏移滤波处理的图像提供给自适应环路滤波器43。自适应偏移滤波器42向无损编码单元36提供用于指示已经进行的自适应偏移滤波处理的类型和偏移的信息，作为偏移滤波信息。

例如，自适应环路滤波器43由二维维纳(Wiener)滤波器构成。例如，自适应环路滤波器43针对每个LCU，对已经经历了自适应偏移滤波处理并且从自适应偏移滤波器42提供的图像执行自适应环路滤波(ALF)处理。

更特别地，自适应环路滤波器43针对每个LCU计算在自适应环路滤波处理中使用的滤波器系数，以使得在原始图像(其是从画面排序缓冲器32输出的图像)与已经经历了自适应环路滤波处理的图像之间的残差最小。然后，自适应环路滤波器43使用所计算的滤波器系数，以针对每个LCU对已经经历了自适应偏移滤波处理的图像执行自适应环路滤波处理。

自适应环路滤波器43将已经经历了自适应环路滤波处理的图像提供给帧存储器44。自适应环路滤波器43将用于自适应环路滤波处理的滤波器系数提供给无损编码单元36。

在这种情况下，针对每个LCU执行自适应环路滤波处理，但是自适应环路滤波处理的处理单元不限于LCU。然而，通过在自适应偏移滤波器42和自适应环路滤波器43中使用相同的处理单元，可以高效地进行处理。

帧存储器44对自适应环路滤波器43提供的图像和相加单元40提供的图像进行累积。在累积在帧存储器44中并且尚未经历滤波处理的图像中，将与PU(预测单元)相邻的图像作为外围图像经由开关45提供给帧内预测单元46。另一方面，将已经经历了滤波处理并且被累积在帧存储器44中的图像作为参考图像经由开关45输出至运动预测/补偿单元47。

帧内预测单元46使用经由开关45从帧存储器44中读取的外围图像，来以PU为单位在作为候选的所有帧内预测模式下执行帧内预测处理。

帧内预测单元46基于从画面排序缓冲器32读取的图像和作为帧内预测处理的结果而生成的预测图像来对于作为候选的所有帧内预测模式计算成本函数值(其细节将在稍后说明)。然后，帧内预测单元46确定成本函数值为最小值的帧内预测模式是最佳帧内预测模式。

帧内预测单元46将在最佳帧内预测模式下生成的预测图像和相应的成本函数值提供给预测图像选择单元48。当预测图像选择单元48通知选择在最佳帧内预测模式下生成的预测图像时，帧内预测单元46将帧内预测模式信息提供给无损编码单元36。

应当指出的是，成本函数值还被称为RD(率失真)成本，并且例如根据高复杂度模式或低复杂度模式的方法来计算，高复杂度模式或低复杂度模式被实现为如JM(联合模型)中所定义的，该JM(联合模型)是H.264/AVC方法中的参考软件。应当指出的是，H.264/AVC方法的参考软件在http://iphome.hhi.de/suehring/tml/index.htm中公开。

更特别地，当高复杂度模式用作用于计算成本函数值的方法时，针对所有候选预测模式临时执行多达解码的操作，并且针对每个预测模式计算由下面的表达式(4)所表示的成本函数值。

[数学式4]

成本(模式)＝D+λ·R…(4)

在这种情况下，D表示原始图像与解码图像之间的差值(噪声)。R表示生成的代码量，包括多达正交变换的系数。

λ是拉格朗日待定乘子(Lagrange undetermined multiplier)，其作为量化参数QP的函数给出。

另一方面，当低复杂度模式用作用于计算成本函数值的方法时，生成预测图像并且针对所有候选预测模式计算编码信息的代码量，并且针对每个预测模式计算由下面的表达式(5)所表示的成本函数。

[数学式5]

成本(模式)＝D+QPtoQuant(QP)·Header_Bit

在这种情况下，D表示原始图像与解码图像之间的差值(噪声)。Header_Bit表示编码信息的代码量。QPtoQuant表示作为量化参数QP的函数给出的函数。

在低复杂度模式下，在所有预测模式下仅生成预测图像，并且不必生成解码图像。鉴于此，与高复杂度模式相比，可以用较小的计算量实现低复杂度模式。

运动预测/补偿单元47以PU为单位执行作为候选的所有帧间预测模式的运动预测/补偿处理。更特别地，运动预测/补偿单元47基于从画面排序缓冲器32提供的图像和经由开关45从帧存储器44中读取的参考图像，以PU为单位检测作为候选的所有帧间预测模式的运动矢量。然后，运动预测/补偿单元47基于运动矢量以PU为单位对参考图像执行补偿处理，并且生成预测图像。

在这种情况下，运动预测/补偿单元47基于预测图像和从画面排序缓冲器32提供的图像计算用作候选的所有帧间预测模式的成本函数值，并且确定成本函数值为最小值的帧间预测模式是最佳帧间预测模式。然后，运动预测/补偿单元47将最佳帧间预测模式的成本函数值以及相应的预测图像提供给预测图像选择单元48。当预测图像选择单元48通知选择在最佳帧间预测模式下生成的预测图像时，运动预测/补偿单元47将帧间预测模式信息、相应的运动矢量、用于识别参考图像的信息等输出至无损编码单元36。

基于从帧内预测单元46和运动预测/补偿单元47提供的成本函数值，预测图像选择单元48确定最佳帧内预测模式和最佳帧间预测模式中的相应的成本函数值较小的一个为最佳预测模式。然后，预测图像选择单元48将最佳预测模式下的预测图像提供给计算单元33和相加单元40。预测图像选择单元48向帧内预测单元46或运动预测/补偿单元47通知选择最佳预测模式下的预测图像。

速率控制单元49基于在累积缓冲器37中累积的编码数据的代码量，对量化单元35的量化操作的速率进行控制以不引起上溢和下溢。

基于包括在从图1的设置单元11提供的PPS中的跳过允许信息，跳过设置单元50向正交变换单元34和列表设置单元51提供包括在从设置单元11提供的SPS中的最小TU尺寸信息。

列表设置单元51基于从跳过设置单元50提供的最小TU尺寸信息将由最小TU尺寸信息指示的最小尺寸和具有4乘4像素的TU的缩放列表的默认值(以下称为默认缩放列表)设置为扁平矩阵。在这种情况下，认为TU的最小尺寸是除了4乘4像素以外的其他尺寸，但是如果TU的最小尺寸是4乘4像素，那么仅使具有4乘4像素的TU的默认缩放列表成为扁平矩阵。列表设置单元51还将除了扁平矩阵以外的矩阵设置为尺寸大于最小TU尺寸信息所指示的最小尺寸的TU的默认缩放列表。

列表设置单元51获得包括在从设置单元11提供的SPS和PPS中的每个尺寸的TU的设置缩放列表。基于SPS，列表设置单元51针对每个尺寸的TU，将默认缩放列表、设置缩放列表或作为扁平矩阵的缩放列表(以下称为扁平缩放列表)提供给量化单元35和逆量化单元38。

如上所述，列表设置单元51将扁平矩阵设置为最小尺寸TU的默认缩放列表，该最小尺寸TU是以下尺寸的TU：在其中变换跳过是可能的。因此，这可以防止其中执行了变换跳过的TU的残差信息被使用除了扁平矩阵以外的缩放列表而量化。更特别地，这防止在像素域中的残差信息的量化期间使用频域中的加权系数。

(关于编码单元的说明)

图8是用于说明编码单元(CU)的图示，所述编码单元(CU)是根据HEVC方法的编码单元。

HEVC方法针对于大图像帧的图像，如具有4000像素乘2000像素的UHD(超高分辨率)，并且因此，将编码单元的尺寸固定在16像素乘16像素不是最好的。因此，在HEVC方法中，CU被定义为编码单元。

CU与AVC方法中的宏块作用相同。更特别地，CU被划分为PU并且被划分为TU。

然而，CU的尺寸是由二的幂次方个像素表示的正方形，其是根据序列可变的。更特别地，通过在水平方向和垂直方向上将CU以任意次数划分成两部分来设置CU，以使得作为最大尺寸的CU的LCU不会变得小于作为最小尺寸的CU的SCU(最小编码单元)。更特别地，当进行分层，以使得较高水平的分层的尺寸是较低水平的分层的尺寸的1/4，直到LCU变为SCU时，任何给定水平的分层的尺寸是CU的尺寸。

例如，在图8中，LCU的尺寸为128，以及SCU的尺寸为8。因此，LCU的分层的深度为0至4，分层深度数为5。更特别地，对应于CU的划分数是0至4中的任一个。

应当指出的是，指定LCU的尺寸和SCU的尺寸的信息包括在SPS中。另一方面，对应于CU的划分数由split_flag指定，split_flag指示在每个水平的分层中是否进行进一步划分。CU的细节在非专利文献1中有所描述。

如同CU的split_flag，可以使用split_transform_flag指定TU的尺寸。在SPS中，在帧间预测和帧内预测中的TU的最大划分数被分别指定为max_transform_hierarchy_depth_inter和max_transform_hierarchy_depth_intra。

在本说明书中，CTU(编码树单元)被认为是包括有LCU的CTB(编码树块)以及以下参数的单元：当在LCU基本(水平)中进行处理时使用的参数。构成CTU的CU被认为是包括有CB(编码块)以及当在CU基本(水平)中进行处理时使用的参数的单元。

(列表设置单元51的配置的示例)

图9是示出图7的列表设置单元51的配置的示例的框图。

如图9所示，跳过设置单元50获得包括在从图1的设置单元11提供的PPS中的跳过允许信息和包括在SPS中的最小TU尺寸信息。在跳过允许信息为一的情况下，跳过设置单元50将最小TU尺寸信息提供给图7的正交变换单元34和列表设置单元51。

如图9所示，列表设置单元51由默认设置单元71、扁平设置单元72以及列表获得单元73构成。

默认设置单元71基于从跳过设置单元50提供的最小TU尺寸信息将由最小TU尺寸信息指示的最小尺寸和4乘4像素的默认缩放列表设置为扁平矩阵。默认设置单元71将尺寸大于最小TU尺寸信息所指示的最小尺寸的默认缩放列表设置为除了扁平矩阵以外的矩阵。

默认设置单元71基于包括在从设置单元11提供的SPS中的SPS缩放列表标志或包括在PPS中的PPS缩放列表标志，将针对每个尺寸的TU的默认缩放列表提供给图7的量化单元35和逆量化单元38。

扁平设置单元72保存用于每个尺寸的TU的扁平缩放列表。扁平设置单元72基于包括在从设置单元11提供的SPS中的缩放列表使用标志，将用于每个尺寸的TU的默认缩放列表提供给量化单元35和逆量化单元38。

列表获得单元73获得包括在从设置单元11提供的SPS和PPS中的用于每个尺寸的TU的设置缩放列表。列表获得单元73将TU的尺寸为4乘4像素或8乘8像素的设置缩放列表按原样提供给量化单元35和逆量化单元38。列表获得单元73对TU的尺寸为16乘16像素或32乘32像素的8乘8像素的设置缩放列表进行上采样、生成用于16乘16像素或32×32像素的缩放列表、并且将该缩放列表提供给量化单元35和逆量化单元38。

(关于编码装置的处理的说明)

图10是用于说明由图1的编码装置10执行的流生成处理的流程图。

在图10的步骤S11中，编码装置10的设置单元11设置参数集。设置单元11将已设置的参数集提供给编码单元12。

在步骤S12中，编码单元12根据基于HEVC方法的方法，以帧为单位执行用于对从外部输入的图像进行编码的编码处理。该编码处理的细节稍后将参照图11和图12加以说明。

在步骤S13中，编码单元12的累积缓冲器37(图7)根据在其中累积的编码数据以及从设置单元11提供的参数集来生成编码流，并且将编码流提供给传输单元13。

在步骤S14中，传输单元13将从设置单元11提供的编码流传输至后述的解码装置，并且终止处理。

图11和图12是用于说明图10的步骤S12的编码处理的细节的流程图。

在图11的步骤S30中，编码单元12(图7)执行用于确定每个尺寸的TU的缩放列表的缩放列表确定处理。缩放列表确定处理的细节将参照图13稍后加以说明。

在步骤S31中，A/D转换单元31执行A/D转换来以帧为单位转换被接收作为编码目标的图像。A/D转换单元31将被转换为数字信号的图像输出至画面排序缓冲器32，以在其中存储该图像。

在步骤S32中，画面排序缓冲器32将帧的图像从所存储的显示顺序排序为用于根据GOP结构进行编码的帧的顺序。画面排序缓冲器32将帧顺序已被排序的图像提供给计算单元33、帧内预测单元46和运动预测/补偿单元47。

在步骤S33中，帧内预测单元46在所有候选帧内预测模式下以PU为单位执行帧内预测处理。帧内预测单元46基于从画面排序缓冲器32读取的图像和作为帧内预测处理的结果而生成的预测图像来计算所有候选帧内预测模式的成本函数值。然后，帧内预测单元46确定成本函数值为最小值的帧内预测模式是最佳帧内预测模式。帧内预测单元46将在最佳帧内预测模式下生成的预测图像和相应的成本函数值提供给预测图像选择单元48。

运动预测/补偿单元47在作为候选的所有帧间预测模式下以PU为单位执行运动预测/补偿处理。运动预测/补偿单元47基于预测图像和从画面排序缓冲器32提供的图像计算用作候选的所有帧间预测模式的成本函数值，并且确定成本函数值为最小值的帧间预测模式是最佳帧间预测模式。然后，运动预测/补偿单元47将最佳帧间预测模式的成本函数值和相应的预测图像提供给预测图像选择单元48。

在步骤S34中，预测图像选择单元48基于通过步骤S33中的处理从运动预测/补偿单元47和帧内预测单元46提供的成本函数值，来确定最佳帧内预测模式和最佳帧间预测模式中的成本函数值为最小值的一个是最佳预测模式。然后，预测图像选择单元48将最佳预测模式下的预测图像提供给计算单元33和相加单元40。

在步骤S35中，预测图像选择单元48确定最佳预测模式是否是最佳帧间预测模式。当在步骤S35中确定最佳预测模式是最佳帧间预测模式时，预测图像选择单元48向运动预测/补偿单元47通知选择在最佳帧间预测模式下生成的预测图像。

然后，在步骤S36中，运动预测/补偿单元47将帧间预测模式信息、运动矢量以及用于识别参考图像的信息提供给无损编码单元36，并且随后执行步骤S38中的处理。

另一方面，当在步骤S35中确定最佳预测模式不是最佳帧间预测模式时，并且更具体地，当确定最佳预测模式是最佳帧内预测模式时，那么，预测图像选择单元48向帧内预测单元46通知选择在最佳帧内预测模式下生成的预测图像。然后，在步骤S37中，帧内预测单元46将帧内预测模式信息提供给无损编码单元36，并且随后执行步骤S38中的处理。

在步骤S38中，计算单元33通过从画面排序缓冲器32所提供的图像中减去预测图像选择单元48所提供的预测图像来执行编码。计算单元33将作为结果获得的图像输出至正交变换单元34，作为残差信息。

在步骤S39中，正交变换单元34以TU为单位对计算单元33所提供的残差信息执行正交变换。

在步骤S40中，正交变换单元34确定在步骤S30的缩放列表确定处理中是否从跳过设置单元50提供最小TU尺寸信息。

当在步骤S40中确定从跳过设置单元50提供最小TU尺寸信息时，并且更具体地，当跳过允许信息为一时，随后执行步骤S41中的处理。在步骤S41中，正交变换单元34基于最小TU尺寸信息，以TU为单位确定是否可以应用变换跳过。

更特别地，当确定TU的尺寸是由最小TU尺寸信息指示的最小尺寸时，正交变换单元34以TU为单位确定可以应用变换跳过。另一方面，当确定TU的尺寸不是由最小TU尺寸信息指示的最小尺寸时，正交变换单元34确定不能应用变换跳过。

当在步骤S41中确定可以应用变换跳过时，正交变换单元34基于作为正交变换的结果而获得的正交变换系数，以TU为单位计算执行了正交变换的成本函数值以及不执行正交变换的成本函数值。然后，在步骤S42中，正交变换单元34以TU为单位确定是否执行变换跳过。

更特别地，在不执行正交变换的成本函数值小于执行正交变换的成本函数值的情况下，那么正交变换单元34确定要执行变换跳过。另一方面，在执行正交变换的成本函数值小于不执行正交变换的成本函数值的情况下，正交变换单元34确定不执行变换跳过。

当在步骤S42中确定执行变换跳过时，在步骤S43中，正交变换单元34以TU为单位将计算单元33所提供的残差信息输出至量化单元35。正交变换单元34以TU为单位还向无损编码单元36和逆正交变换单元39提供指示存在变换跳过的变换跳过标志。然后，随后执行步骤S45中的处理。

另一方面，在步骤S40中确定从跳过设置单元50没有提供最小TU尺寸信息时，并且更具体地，当跳过允许信息为零时，那么随后执行步骤S44中的处理。当在步骤S41中确定不能应用变换跳过时，随后执行步骤S44中的处理。此外，当在步骤S42确定不执行变换跳过时，随后执行步骤S44中的处理。

在步骤S44中，正交变换单元34以TU为单位将正交变换系数输出至量化单元35。正交变换单元34以TU为单位向无损编码单元36和逆正交变换单元39提供指示不存在变换跳过的变换跳过标志。然后，随后执行步骤S45中的处理。

在步骤S45中，量化单元35使用从列表设置单元51提供的用于每个尺寸的TU的缩放列表，以TU为单位对残差信息或由正交变换单元34提供的正交变换系数进行量化。量化单元35将作为量化的结果而获得的量化值提供给无损编码单元36和逆量化单元38。

在图12的步骤S46中，逆量化单元38使用由列表设置单元51提供的用于每个尺寸的TU的缩放列表，以TU为单位对由量化单元35提供的量化值进行逆量化。逆量化单元38将作为逆量化的结果而获得的残差信息或正交变换系数提供给逆正交变换单元39。

在步骤S47中，逆正交变换单元39基于从正交变换单元34提供的变换跳过标志，以TU为单位确定是否执行变换跳过。

当变换跳过标志指示不存在变换跳过或者变换跳过标志未被正交变换单元34提供时，在步骤S47中确定不执行变换跳过。然后，随后执行步骤S48中的处理。

在步骤S48中，逆正交变换单元39以TU为单位对逆量化单元38所提供的正交变换系数执行逆正交变换。逆正交变换单元39将作为结果获得的残差信息提供给相加单元40，随后执行步骤S49中的处理。

另一方面，当变换跳过标志指示存在变换跳过时，在步骤S47中确定执行变换跳过。然后，逆正交变换单元39将逆量化单元38所提供的残差信息提供给相加单元40，并随后执行步骤S49中的处理。

在步骤S49中，相加单元40通过将逆正交变换单元39所提供的残差信息与预测图像选择单元48所提供的预测图像相加来执行解码。相加单元40向去块滤波器41和帧存储器44提供解码图像。

在步骤S50中，去块滤波器41对从相加单元40提供的解码图像执行去块滤波处理。去块滤波器41将作为结果获得的图像提供给自适应偏移滤波器42。

在步骤S51中，自适应偏移滤波器42针对每个LCU对去块滤波器41所提供的图像执行自适应偏移滤波处理。自适应偏移滤波器42将作为结果获得的图像提供给自适应环路滤波器43。自适应偏移滤波器42针对每个LCU将偏移滤波信息提供给无损编码单元36。

在步骤S52中，自适应环路滤波器43针对每个LCU对从自适应偏移滤波器42提供的图像执行自适应环路滤波处理。自适应环路滤波器43将作为结果获得的图像提供给帧存储器44。自适应环路滤波器43将在自适应环路滤波处理中使用的滤波器系数提供给无损编码单元36。

在步骤S53中，帧存储器44累积自适应环路滤波器43所提供的图像和相加单元40所提供的图像，累积在帧存储器44中的尚未经历滤波处理的、并且与PU相邻的图像被作为外围图像经由开关45提供给帧内预测单元46。另一方面，累积在帧存储器44中的已经经历滤波处理的图像被作为参考图像经由开关45输出至运动预测/补偿单元47。

在步骤S54中，无损编码单元36执行无损编码，以对帧内预测模式信息或帧间预测模式信息、运动矢量、用于识别参考图像的信息、变换跳过标志、偏移滤波信息以及滤波器系数进行编码，作为编码信息。

在步骤S55中，无损编码单元36执行无损编码以对由量化单元35提供的量化值进行编码。然后，无损编码单元36根据经无损编码的量化值以及步骤S54的处理中经无损编码的编码信息来生成编码数据，并且将编码数据提供给累积缓冲器37。

在步骤S56中，累积缓冲器37临时累积由无损编码单元36提供的编码数据。

在步骤S57中，速率控制单元49基于在累积缓冲器37累积的编码数据来控制量化单元35的量化操作的速率，以不引起上溢和下溢。然后，随后执行图10的步骤S12中的处理，然后执行步骤S13中的处理。

为了简化说明，在图11和图12的编码处理中，在任何时间内执行帧内预测处理和运动预测/补偿处理，但是在实际中，根据图片类型等，仅执行帧内预测处理和运动预测/补偿处理中的任一个。

图13是用于说明图11的步骤S30中的缩放列表确定处理的细节的流程图。

在图13的步骤S71中，跳过设置单元50(图9)确定包括在从图1的设置单元11提供的PPS中的跳过允许信息是否为一。当在步骤S71中确定跳过允许信息为一时，在步骤S72中，跳过设置单元50将包括在从设置单元11提供的SPS中的最小TU尺寸信息提供给正交变换单元34和列表设置单元51。

在步骤S73中，列表设置单元51的默认设置单元71基于从跳过设置单元50提供的最小TU尺寸信息，针对每个尺寸的TU设置默认缩放列表。然后，随后执行步骤S75中的处理。

另一方面，当在步骤S71中确定跳过允许信息为零时，在步骤S74中，默认设置单元71针对每个尺寸的TU设置默认缩放列表。

更特别地，默认设置单元71针对具有4乘4像素的TU将扁平矩阵设置为默认缩放列表。默认设置单元71将除了扁平矩阵以外的矩阵设置为尺寸大于4乘4像素的TU的默认缩放列表。然后，随后执行步骤S75中的处理。

在步骤S75中，列表获得单元73确定包括在从设置单元11提供的SPS中的缩放列表使用标志是否为一。当在步骤S75中确定缩放列表使用标志为一时，随后执行步骤S76中的处理。

在步骤S76中，列表获得单元73确定包括在从设置单元11提供的SPS中的SPS缩放列表标志是否为一，或者包括在PPS中的PPS缩放列表标志是否为一。

当在步骤S76中确定SPS缩放列表标志或PPS缩放列表标志为一时，随后执行步骤S77中的处理。在步骤S77中，列表获得单元73针对每个尺寸的TU获得包括在SPS或PPS中的设置缩放列表。

列表获得单元73将TU的尺寸为4乘4像素或8乘8像素的设置缩放列表按原样提供给量化单元35和逆量化单元38。列表获得单元73对TU的尺寸为16乘16像素或32乘32像素的8乘8像素的设置缩放列表进行上采样、生成16乘16像素或32乘32像素的缩放列表、并且将该缩放列表提供给量化单元35和逆量化单元38。然后，随后执行图11的步骤S30中的处理，以及然后执行步骤S31中的处理。

另一方面，当在步骤S76中确定SPS缩放列表标志和PPS缩放列表标志不为一时，随后执行步骤S78中的处理。在步骤S78中，默认设置单元71针对每个尺寸的TU将默认缩放列表提供给量化单元35和逆量化单元38。然后，随后执行图11的步骤S30中的处理，以及然后执行步骤S31中的处理。

当在步骤S75中确定缩放列表使用标志不为一时，随后执行步骤S79中的处理。在步骤S79中，扁平设置单元72将所存储的用于每个尺寸的TU的扁平缩放列表提供给量化单元35和逆量化单元38。然后，随后执行图11的步骤S30中的处理，以及然后执行步骤S31中的处理。

如上所述，编码装置10将扁平矩阵设置为其中可以执行变换跳过的最小尺寸TU的默认缩放列表，该最小尺寸是除了4乘4像素以外的尺寸。因此，即使在对具有除了4乘4像素以外的尺寸的TU执行变换跳过时，也可以防止在像素域中的执行变换跳过的TU的量化期间使用频域中的除了扁平矩阵以外的缩放列表。因此，可以改进编码效率。

(解码装置的实施方式的配置的示例)

图14是示出应用本公开内容的解码装置的实施方式的配置的示例的框图，其中该解码装置被配置为对从图1的编码装置10传输的编码流进行解码。

图14的解码装置110包括接收单元111、提取单元112和解码单元113。

解码装置110的接收单元111接收从图1的编码装置10传输的编码流，并且将编码流提供给提取单元112。

提取单元112从接收单元111提供的编码流中提取参数集和编码数据，并且将参数集和编码数据提供给解码单元113。

解码单元113根据基于HEVC方法的方法对从提取单元112提供的编码数据进行解码。在这种情况下，需要时，解码单元113还参照从提取单元112提供的参数集。解码单元113输出作为解码的结果获得的图像。

(解码单元的配置的示例)

图15是示出图14的解码单元113的配置的示例的框图。

图15的解码单元113包括累积缓冲器131、无损解码单元132、逆量化单元133、逆正交变换单元134、相加单元135、去块滤波器136、自适应偏移滤波器137、自适应环路滤波器138和画面排序缓冲器139。解码单元113还包括D/A转换单元140、帧存储器141、开关142、帧内预测单元143、运动补偿单元144、开关145、跳过设置单元146和列表设置单元147。

解码单元113的累积缓冲器131从图14的提取单元112接收编码数据，并且累积编码数据。累积缓冲器131将累积的编码数据提供给无损解码单元132。

无损解码单元132对来自累积缓冲器131的编码数据执行无损解码，如可变长度解码和算术解码，从而获得量化值和编码信息。无损解码单元132将量化值提供给逆量化单元133。无损解码单元132将作为编码信息的帧内预测模式信息等提供给帧内预测单元143。无损解码单元132将运动矢量、帧间预测模式信息、用于识别参考图像的信息等提供给运动补偿单元144。

此外，无损解码单元132将作为编码信息的帧内预测模式信息或帧间预测模式信息提供给开关145。无损解码单元132将作为编码信息的偏移滤波信息提供给自适应偏移滤波器137。无损解码单元132将作为编码信息的滤波器系数提供给自适应环路滤波器138。

无损解码单元132将作为编码信息的变换跳过标志提供给逆正交变换单元134。

逆量化单元133、逆正交变换单元134、相加单元135、去块滤波器136、自适应偏移滤波器137、自适应环路滤波器138、帧存储器141、开关142、帧内预测单元143、运动补偿单元144、跳过设置单元146以及列表设置单元147分别执行与图7中的逆量化单元38、逆正交变换单元39、相加单元40、去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46、运动预测/补偿单元47、跳过设置单元50以及列表设置单元51相同的处理，从而对图像进行解码。

更特别地，逆量化单元133根据与图7的量化单元35的量化方法对应的方法，使用从列表设置单元147提供的缩放列表对从无损解码单元132提供的量化值执行逆量化。逆量化单元133将作为逆量化的结果获得的残差信息或正交变换系数提供给逆正交变换单元134。

逆正交变换单元134基于从无损解码单元132提供的变换跳过标志，以TU为单位对从逆量化单元133提供的正交变换系数执行逆正交变换。逆正交变换单元134将作为逆正交变换的结果获得的残差信息或从逆量化单元133提供的残差信息提供给相加单元135。

相加单元135通过将逆正交变换单元134提供的残差信息与开关145提供的预测图像相加来执行解码。相加单元135将解码图像提供给去块滤波器136和帧存储器141。

去块滤波器136对相加单元135提供的图像执行自适应去块滤波处理，并且将作为结果获得的图像提供给自适应偏移滤波器137。

自适应偏移滤波器137使用由无损解码单元132给出的偏移滤波信息所指示的偏移，以针对每个LCU执行由偏移滤波信息指示的类型的自适应偏移滤波处理，以对已经经历了自适应去块滤波处理的图像进行滤波。自适应偏移滤波器137将已经经历了自适应偏移滤波处理的图像提供给自适应环路滤波器138。

自适应环路滤波器138使用由无损解码单元132提供的滤波器系数，以针对每个LCU对自适应偏移滤波器137所提供的图像执行自适应环路滤波处理。自适应环路滤波器138还将作为结果获得的图像提供给帧存储器141和画面排序缓冲器139。

画面排序缓冲器139以帧为单位存储从自适应环路滤波器138提供的图像。画面排序缓冲器139将按照所存储的编码顺序的以帧为单位的图像排序为原始显示顺序，并且将经排序的图像提供给D/A转换单元140。

D/A转换单元140将从画面排序缓冲器139提供的以帧为单位的图像从数字转换为模拟，并且输出经转换的图像。

帧存储器141累积自适应环路滤波器138所提供的图像和相加单元135所提供的图像。在累积在帧存储器141中并且尚未经历滤波处理的图像中，与PU(预测单元)相邻的图像被作为外围图像经由开关142提供给帧内预测单元143。另一方面，将已经经历了滤波处理并且累积在帧存储器141中的图像作为参考图像经由开关142输出至运动补偿单元144。

帧内预测单元143使用经由开关142从帧存储器141读取的外围图像，以在从无损解码单元132提供的帧内预测模式信息所指示的最佳帧内预测模式下执行帧内预测处理。帧内预测单元143将作为结果生成的预测图像提供给开关145。

运动补偿单元144经由开关142从帧存储器141读取参考图像，所述参考图像由用于识别从无损解码单元132提供的参考图像的信息来识别。运动补偿单元144使用从无损解码单元132提供的参考图像和运动矢量，以在从无损解码单元132提供的帧间预测模式信息所指示的最佳帧间预测模式下执行运动补偿处理。运动补偿单元144将作为结果生成的预测图像提供给开关145。

当从无损解码单元132提供帧内预测模式信息时，开关145将从帧内预测单元143提供的预测图像提供给相加单元135。另一方面，当从无损解码单元132提供帧间预测模式信息时，开关145将从运动补偿单元144提供的预测图像提供给相加单元135。

跳过设置单元146基于从图14的提取单元112提供的PPS中所包括的跳过允许信息，将从提取单元112提供的SPS中所包括的最小TU尺寸信息提供给列表设置单元147。

列表设置单元147以与图9的列表设置单元51相同的方式配置。列表设置单元147基于从跳过设置单元146提供的最小TU尺寸信息，将扁平矩阵设置为以下TU的默认缩放列表：具有4乘4像素以及由最小TU尺寸信息所指示的最小尺寸的TU。列表设置单元147将除了扁平矩阵以外的矩阵设置为以下TU的默认缩放列表：该TU的尺寸大于最小TU尺寸信息所指示的最小尺寸。

列表设置单元147获得从提取单元112提供的设置缩放列表，包括在SPS和PPS中的TU的每个尺寸。列表设置单元147基于SPS针对TU的每个尺寸将默认缩放列表、设置缩放列表和扁平缩放列表提供给逆量化单元133。

(关于解码装置的处理的说明)

图16是用于说明由图14的解码装置110执行的图像生成处理的流程图。

在图16的步骤S111中，解码装置110的接收单元111接收从图1的编码装置10传输的编码流，并且将编码流提供给提取单元112。

在步骤S112中，提取单元112从接收单元111所提供的编码流中提取编码数据和参数集，并且将编码数据和参数集提供给解码单元113。

在步骤S113中，如果需要，解码单元113根据基于HEVC方法的方法，使用从提取单元112提供的参数集来执行用于对提取单元112所提供的编码数据进行解码的解码处理。该解码处理的细节稍后将参照图17加以说明。然后，终止处理。

图17是用于说明图16的步骤S113中的解码处理的细节的流程图。

在图17的步骤S131中，解码单元113(图15)执行与图13的缩放列表确定处理相同的缩放列表确定处理。然而，缩放列表仅被提供给逆量化单元133。

在步骤S132中，累积缓冲器131接收来自图14的提取单元112的以帧为单位的编码数据，并且累积编码数据。累积缓冲器131将累积的编码数据提供给无损解码单元132。

在步骤S133中，无损解码单元132执行无损解码，以对由累积缓冲器131给出的编码数据进行解码，并且获得量化值和编码信息。无损解码单元132将量化值提供给逆量化单元133。无损解码单元132将作为编码信息的变换跳过标志提供给逆正交变换单元134。

无损解码单元132将作为编码信息的帧内预测模式信息等提供给帧内预测单元143。无损解码单元132将运动矢量、帧间预测模式信息、用于识别参考图像的信息等提供给运动补偿单元144。

此外，无损解码单元132将作为编码信息的帧内预测模式信息或帧间预测模式信息提供给开关145。无损解码单元132将作为编码信息的偏移滤波信息提供给自适应偏移滤波器137。无损解码单元132将滤波器系数提供给自适应环路滤波器138。

在步骤S134中，逆量化单元133使用从列表设置单元147提供的用于每个尺寸的TU的缩放列表，来以TU为单位对由无损解码单元132给出的量化值进行逆量化。逆量化单元133将作为结果获得的残差信息或正交变换系数提供给逆正交变换单元134。

在步骤S135中，逆正交变换单元134基于从无损解码单元132提供的变换跳过标志，以TU为单位确定是否执行变换跳过。

当变换跳过标志指示不存在变换跳过或变换跳过标志未被无损解码单元132提供时，在步骤S135中确定不执行变换跳过。然后，随后执行步骤S136中的处理。

在步骤S136中，逆正交变换单元134以TU为单位对逆量化单元133所提供的正交变换系数执行逆正交变换。逆正交变换单元134将作为结果获得的残差信息提供给相加单元135，并且随后执行步骤S137中的处理。

另一方面，当变换跳过标志指示存在变换跳过时，在步骤S135中确定执行变换跳过。然后，逆正交变换单元134将由逆量化单元133提供的残差信息提供给相加单元135，并且随后执行步骤S137中的处理。

在步骤S137中，运动补偿单元144确定是否从无损解码单元132提供帧间预测模式信息。当在步骤S137中确定提供帧间预测模式信息时，随后执行步骤S138中的处理。

在步骤S138中，运动补偿单元144基于从无损解码单元132提供的参考图像识别信息读取参考图像，并且使用运动矢量和参考图像在由帧间预测模式信息指示的最佳帧间预测模式下执行运动补偿处理。运动补偿单元144经开关145将作为结果生成的预测图像提供给相加单元135，并且随后执行步骤S140中的处理。

另一方面，当在步骤S137中确定不提供帧间预测模式信息时，并且更特别地，当帧内预测模式信息被提供给帧内预测单元143时，随后执行步骤S139中的处理。

在步骤S139中，帧内预测单元143使用经由开关142从帧存储器141读取的外围图像，以在由帧内预测模式信息指示的帧内预测模式下执行帧内预测处理。帧内预测单元143经由开关145将作为帧内预测处理的结果而生成的预测图像提供给相加单元135，并且随后执行步骤S140中的处理。

在步骤S140中，相加单元135通过将逆正交变换部134所提供的残差信息与开关145所提供的预测图像相加来执行解码。相加单元135将解码图像提供给去块滤波器136和帧存储器141。

在步骤S141中，去块滤波器136对由相加单元135提供的图像执行去块滤波处理，从而去除块噪声。去块滤波器136将作为结果获得的图像提供给自适应偏移滤波器137。

在步骤S142中，自适应偏移滤波器137基于从无损解码单元132提供的偏移滤波信息，针对每个LCU对已经被去块滤波器136进行了去块滤波处理的图像执行自适应偏移滤波处理，并且自适应偏移滤波器137将已经经历了自适应偏移滤波处理的图像提供给自适应环路滤波器138。

在步骤S143中，自适应环路滤波器138使用由无损解码单元132提供的滤波器系数，以针对每个LCU对由自适应偏移滤波器137提供的图像执行自适应环路滤波处理。自适应环路滤波器138将作为结果获得的图像提供给帧存储器141和画面排序缓冲器139。

在步骤S144中，帧存储器141累积相加单元135所提供的图像和自适应环路滤波器138所提供的图像。在累积在帧存储器141中并且尚未经历滤波处理的图像中，将与PU(预测单元)相邻的图像作为外围图像经由开关142提供给帧内预测单元143。另一方面，将已经经历了滤波处理的累积在帧存储器141中的图像作为参考图像经由开关142提供给运动补偿单元144。

在步骤S145中，画面排序缓冲器139以帧为单位存储从自适应环路滤波器138提供的图像，并且将按照所存储的编码顺序的以帧为单位的图像排序为原始显示顺序，并且将经排序的图像提供给D/A转换单元140。

在步骤S146中，D/A转换单元140将从画面排序缓冲器139提供的以帧为单位的图像从数字转换为模拟，并且输出经转换的图像。然后，随后执行图16的步骤S113中的处理，并且终止处理。

如上所述，如同编码装置10，解码装置110将扁平矩阵设置为可以执行变换跳过的最小尺寸TU的默认缩放列表，其中该最小尺寸是除了4乘4像素以外的尺寸。因此，这可以对编码流进行解码，在编码装置10执行具有除了4乘4像素以外的尺寸的TU的变换跳过的情况下，该编码流被编码以便改进编码效率。

在第一实施方式中，可以对如NPL 4中所描述的最小尺寸TU执行变换跳过。另外，如在NPL 3中所描述的，可以对所有尺寸的TU执行变换跳过。在这种情况下，所有尺寸的默认缩放列表是扁平矩阵。

此外，可以对尺寸等于或小于预定尺寸的TU执行变换跳过。在这种情况下，例如，编码装置10在PPS等中设置用于表示可以执行变换跳过的最大尺寸TU的跳过TU信息，并且将跳过TU信息传输至解码装置110。编码装置10和解码装置110基于跳过TU信息，将扁平矩阵设置为以下尺寸的默认缩放列表：该尺寸等于或小于可以执行变换跳过的由跳过TU信息指示的尺寸。例如，当跳过TU信息指示16乘16像素时，4乘4像素、8乘8像素、16乘16像素的TU的默认缩放列表被配置为扁平矩阵。

应当指出的是，由跳过TU信息指示的尺寸需要等于或大于由最小TU尺寸信息指示的TU的最小尺寸，并且需要等于或小于TU的最大尺寸。可以根据最小TU尺寸信息和表示最小尺寸TU与最大尺寸TU之间的差值的差值信息(log2_diff_max_min_transform_blocksize)来得到最大尺寸TU。

可以针对被帧内编码的TU和被帧间编码的TU中的每个TU单独设置跳过TU信息。可以针对Y信号的TU、Cb信号的TU和Cr信号的TU中的每个TU单独设置跳过TU信息。

应当指出的是，可以以片(slice)为单位控制在量化期间存在/不存在缩放列表的使用。在这种情况下，当包括在SPS中的缩放列表使用标志为一时，在片头部中设置用于指示在相应的片的量化期间是否使用缩放列表的标志(scaling_list_enabled_flag)。因此，即使当片是否适合于使用缩放列表的量化是取决于每个片而不同时，也可以以最佳方式进行量化。

同样地，可以以CU为单位和以TU为单位来控制在量化期间存在/不存在缩放列表的使用。

<第二实施方式>

(关于应用于本公开内容的计算机的说明)

可以通过硬件执行或者可通过软件执行上述一系列处理。当通过软件执行一系列处理时，构成软件的程序被安装到计算机中。文中，计算机包括包含有专用硬件的计算机，以及例如能够通过安装各种程序执行各种功能的通用个人计算机。

图18是示出通过使用程序来执行上述一系列处理的计算机的硬件配置的示例的框图。

在计算机中，CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203经由总线204彼此连接。

总线204还与输入/输出接口205连接。输入/输出接口205与输入单元206、输出单元207、存储单元208、通信单元209和驱动210连接。

输入单元206由键盘、鼠标、麦克风等构成。输出单元207由显示器、扬声器等构成。存储单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动210驱动可移除介质211，如磁盘、光盘、磁光盘和半导体存储器。

在如上所配置的计算机中，例如，CPU 201经由输入/输出接口205和总线204通过将存储在存储单元208中的程序加载到RAM 203上并且执行该程序来执行上述一系列处理。

由计算机(CPU 201)执行的程序以记录在可移除介质211中的方式来提供，该可移除介质211例如用作封装介质。此外，可以经由有线或无线传输介质如局域网、因特网和数字卫星广播来提供程序。

在计算机中，通过将可移除介质211加载至驱动210中，程序可以经由输入/输出接口205安装到存储单元208中。此外，还可以通过使用通信单元209经由有线或无线传输介质接收程序来将程序安装到存储单元208中。此外，可以预先将程序安装到ROM 202或存储单元208中。

应当指出的是，由计算机执行的程序可以是根据本说明书中描述的顺序以时间序列处理的程序，或者是并行处理或在需要的定时处(如调用时)处理的程序。

<第三实施方式>

(对多视点图像编码/多视点图像解码的应用)

上述的一系列处理可以应用于多视点图像编码/多视点图像解码。图19示出了多视点图像编码方法的示例。

如图19所示，多视点图像包括多个视点(视图)的图像。这种多视点图像的多个视图包括仅使用所考虑视图的图像而不使用其它视图的任何图像来进行编码/解码的基本视图、使用其它视图的任何图像来进行编码/解码的非基本视图。非基本视图可以使用基本视图的图像，或者可以使用另一非基本视图的图像。

当对如图19所示的多视点图像进行编码/解码时，对每个视图的图像进行编码/解码，然而第一实施方式的方法可以适用于每个视图的编码/解码。通过这样做，可以改进变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下的编码效率。

此外，在每个视图的编码/解码中，在第一实施方式的方法中使用的标志和参数可以共享。更特别地，例如，可以在每个视图的编码/解码中共享SPS、PPS、residual_coding的语法元素等。但是应该理解的是，还可以在每个视图的编码/解码中共享除了上述以外的所需信息。

通过这样做，可以抑制冗余信息的传输，并且可以减少传输的信息量(代码量)(即，可以抑制编码效率的降低)。

(多视点图像编码装置)

图20是示出用于执行多视点图像编码的多视点图像编码装置的图示。如图20所示，多视点图像编码装置600包括编码单元601、编码单元602以及复用单元603。

编码单元601对基本视图图像进行编码，并且生成基本视图图像编码流。编码单元602对非基本视图图像进行编码，并且生成非基本视图图像编码流。复用单元603对由编码单元601生成的基本视图图像编码流和由编码单元602生成的非基本视图图像编码流进行复用，并且生成多视点图像的编码流。

编码装置10(图1)可以应用于多视点图像编码装置600的编码单元601和编码单元602。在这种情况下，在每个视图的编码中，可以改进变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下的编码效率。编码单元601和编码单元602可以彼此使用相同的标志和参数(例如，图像之间的处理的语法元素等)(更特别地，可以共享标志和参数)来执行编码，并且因此，这可以抑制编码效率的降低。

(多视点图像解码装置)

图21是示出用于执行多视点图像解码的多视点图像解码装置的图示。如图21所示，多视点图像解码装置610包括解复用单元611、解码单元612以及解码单元613。

解复用单元611对通过复用基本视图图像编码流和非基本视图图像编码流而获得的多视点图像编码流进行解复用，并且提取基本视图图像编码流和非基本视图图像编码流。解码单元612对由解复用单元611提取的基本视图图像编码流进行解码，并且获得基本视图图像。解码单元613对由解复用单元611提取的非基本视图图像编码流进行解码，并且获得非基本视图图像。

解码装置110(图14)可以应用于多视点图像解码装置610的解码单元612和解码单元613。更特别地，在每个视图的解码中，编码流可以被解码，该编码流的编码效率在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下得到改进。解码单元612和解码单元613可以彼此使用相同的标志和参数(例如，图像之间的处理的语法元素等)(更特别地，可以共享标志和参数)来执行解码，并且因此，这可以抑制编码效率的降低。

<第四实施方式>

(对分层图像编码/分层图像解码的应用)

上述一系列处理可以应用于分层图像编码/分层图像解码(可缩放编码/可缩放解码)。图22示出了分层图像编码方法的示例。

分层图像编码(可缩放编码)是使图像成为多个层(分层)并且针对每个层编码图像数据，以使得针对预定参数提供可缩放功能。分层图像解码(可缩放解码)是与分层图像编码对应的解码。

如图22所示，当图像被分层时，单个图像被划分为多个图像(层)，同时具有可缩放功能的预定参数被采用作为参考。被分层的图像(分层图像)包括在分层结构中多个水平(层)的图像，它们的预定参数的值彼此不同。分层图像的多个层包括仅使用所考虑的层中的图像而无需使用其它层中的任何图像来编码/解码的基本层，以及使用其它层中的图像来编码/解码的非基本层(也被称为增强层)。非基本层可以被配置为使用基本层中的图像，或者可以被配置为使用其它非基本层中的图像。

一般地，通过所考虑的图像与另一层中的图像之间的差值图像的数据(差值数据)来构造非基本层以减少冗余。例如，当单个图像被形成两个水平的分层结构时，所述两个水平的分层结构是基本层和非基本层(还被称为增强层)，可以从基本层的数据获得质量低于原始图像的图像，并且可以通过将基本层中的数据与非基本层中的数据结合来获得原始图像(为高质量图像)。

如上所述，通过将图像分层，可以根据不同的情况容易地获得各种质量水平的图像。例如，仅是基本层中的图像压缩信息被传输到性能低的终端如蜂窝电话，其以低时空分辨率或低图像质量再现运动图像，以及不仅基本层中的图像压缩信息，而且增强层中的图像压缩信息被传输到处理性能高的终端如电视和个人计算机，其以高时空分辨率或高图像质量再现运动图像。以此方式，在不执行转码处理的情况下，可以根据终端或网络的性能从服务器传输图像压缩信息。

当如22图所示的分层图像被编码/解码时，每层中的图像被编码/解码，然而上述的第一实施方式的方法可以应用于每层的编码/解码。通过这样做，可以改进变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下的编码效率。

此外，在每层的编码/解码中，在第一实施方式的方法中使用的标志和参数可以被共享。更特别地，例如，可以在每层的编码/解码中共享SPS、PPS、residual_coding的语法元素等。但是应该理解的是，还可以在每层的编码/解码中共享除了上述以外的所需信息。

通过这样做，可以抑制冗余信息的传输，并且可以减少传输的信息量(代码量)(即，可以抑制编码效率的降低)。

(可缩放参数)

在这样的分层图像编码/分层图像解码(可缩放编码/可缩放解码)中，具有可缩放功能的参数可以是任何给定的参数。例如，如图23所示的空间分辨率可以用作该参数(空间可缩放性)。在这个空间可缩放性的情况下，对每层来说图像的分辨率是不同的。更特别地，对每层来说图像的分辨率是不同的。在这种情况下，如图23所示，每个图片被分类为两个水平的分层结构，所示两个水平的分层结构包括在空间方面比原始图像具有较低分辨率的基本层，以及当增强层与基本层结合时提供原始空间分辨率的增强层。但是应当理解，分层结构的水平数量仅仅是示例。可以形成任何给定水平数量的分层结构。

另外，例如，如图24所示的时间分辨率可以被应用，作为给出这样的可缩放性(时间可缩放性)的参数。在时间可缩放性的情况下，对每层来说帧速率是不同的。更特别地，在这种情况下，如图24所示，每个图片被分类为两个水平的分层结构，所述两个水平的分层结构包括比原始运动图片具有较低帧速率的基本层，以及当增强层与基本层结合时提供原始帧速率的增强层。但是应当理解，分层结构的水平的数量仅仅是示例。可以形成任何给定水平数量的分层结构。

此外，例如，信噪比(SNR)可以被应用，作为用于给出这样的可缩放性(SNR可缩放性)的参数。在该SNR可缩放性的情况下，对每层来说SNR是不同的。更特别地，在这种情况下，如图25所示，每个图片被分类为两个水平的分层结构，所述两个水平的分层结构包括比原始图像具有较低SNR的基本层，以及当增强层与基本层结合时提供原始SNR的增强层。但是应当理解，分层结构的水平的数量仅仅是示例。可以形成任何给定水平数量的分层结构。

应该理解的是，用于给出这样的可缩放性的参数可以是除了上述示例以外的其他。例如，用于给出上述可缩放性的参数可以是比特深度(比特深度可缩放性)。在该比特深度可缩放性的情况下，对每层来说比特深度是不同的。在这种情况下，例如，基本层由8比特图像形成，并且当向其添加增强层时，可以获得10比特图像。

此外，用于给出上述可缩放性的参数可以是色度格式(色度可缩放性)。在该色度可缩放性的情况下，对每层来说色度格式是不同的。在这种情况下，例如，基本层由4：2：0格式的分量图像形成，并且当向其添加增强层时，可以获得4：2：2格式的分量图像。

(分层图像编码装置)

图26是示出用于执行上述分层图像编码的分层图像编码装置的图示。如图26所示，分层图像编码装置620包括编码单元621、编码单元622、以及复用单元623。

编码单元621对基本层图像进行编码，并且生成基本层图像编码流。编码单元622对非基本层图像进行编码，并且生成非基本层图像编码流。复用单元623对由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流进行复用，并且生成分层图像编码流。

该编码装置10(图1)可以被应用于分层图像编码装置620的编码单元621和编码单元622。更特别地，在每层的编码中，可以改进变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下的编码效率。例如，编码单元621和编码单元622可以彼此使用相同的标志和参数(例如，图像之间的处理的语法元素等)(更特别地，可以共享标志和参数)来控制帧内预测的滤波处理，并且因此，这可以抑制编码效率的降低。

(分层图像解码装置)

图27是示出用于执行上述分层图像解码的分层图像解码装置的图示。如图27所示，分层图像解码装置630包括解复用单元631、解码单元632以及解码单元633。

解复用单元631对通过复用基本层图像编码流和非基本层图像编码流而获得的分层图像编码流进行解复用，并且提取基本层图像编码流和非基本层图像编码流。解码单元632对由解复用单元631提取的基本层图像编码流进行解码并且获得基本层图像。解码单元633对由解复用单元631提取的非基本层图像编码流进行解码并且获得非基本层图像。

解码装置110(图14)可以被应用于分层图像解码装置630的解码单元632和解码单元633。更特别地，在每层的解码中，编码流可以被解码，该编码流的编码效率在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下得到改进。解码单元612和解码单元613可以彼此使用相同的标志和参数(例如，图像之间的处理的语法元素等)(更特别地，可以共享标志和参数)来执行解码，并且因此，这可以抑制编码效率的降低。

<第五实施方式>

(电视接收装置的配置的示例)

图28示出了应用本公开内容的电视接收装置的示意性配置的示例。电视接收装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口单元909。此外，电视接收装置900包括控制单元910、用户接口单元911等。

调谐器902从经由天线901接收的广播信号中提取所需信道的信号，并且解调所提取的信号。然后，调谐器902将通过解调获得的编码比特流输出至解复用器903。

解复用器903从编码比特流中分离观看目标的节目的视频分组和音频分组，并且将所提取的数据分组输出至解码器904。此外，解复用器903将数据分组如EPG(电子节目指南)提供给控制单元910。应当注意的是，解复用器903可以在编码比特流被加扰的情况下采用解复用器等执行解扰。

解码器904执行解码处理以对数据分组进行解码。解码器904将根据解码处理生成的视频数据输出至视频信号处理单元905。解码器904将根据解码处理生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905根据用户的设置来执行降噪和视频处理，以处理视频数据。视频信号处理单元905基于经由网络提供的应用使用处理来生成图像数据等，并且生成要被显示在显示单元906上的节目的视频数据。视频信号处理单元905生成用于显示用于选择项目的菜单画面等的视频数据，并且将菜单画面的视频数据叠加到节目的视频数据上。视频信号处理单元905基于因此生成的视频数据生成驱动信号，并且驱动显示单元906。

显示单元906基于由视频信号处理部905给出的驱动信号驱动显示装置(例如，液晶显示元件等)，并且使显示装置显示节目的视频。

音频信号处理单元907对音频数据执行预定处理，诸如降噪，对经处理的音频数据执行D/A转换处理和放大处理，并且将数据提供给扬声器908，以使得输出该音频。

外部接口单元909是用于与外部装置和网络连接的接口，并且其发送和接收数据，如视频数据和音频数据。

控制单元910连接至用户接口单元911。用户接口单元911由操作开关、远程控制信号接收单元等构成。用户接口单元911响应于用户的操作将操作信号提供给控制单元910。

控制单元910由CPU(中央处理单元)、存储器等构成。例如，存储器存储由CPU执行的程序、当CPU执行处理时所需的各种类型的数据、EPG数据、经由网络获得的数据等。当电视接收装置900被激活时，以预定定时由CPU读取并且执行存储在存储器中的程序。CPU执行程序，从而控制每个单元，以使得电视接收装置900根据用户的操作来执行操作。

应当指出的是，电视接收装置900设置有总线912，该总线912用于控制单元910与调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等之间的连接。

在如上所述配置的电视接收装置中，解码器904设置有根据本申请的解码装置的功能(解码方法)。因此，编码流可以被解码，该编码流的编码效率在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下得到改进。

<第六实施方式>

(蜂窝电话的配置的示例)

图29示出了应用本公开内容的蜂窝电话的示意性配置的示例。蜂窝电话920包括通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用器单元928、记录/再现单元929、显示单元930以及控制单元931。通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用器单元928、记录/再现单元929、显示单元930以及控制单元931经由总线933彼此连接。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。

蜂窝电话920执行各种类型的操作，如音频信号的发送/接收、电子邮件或图像数据的发送/接收、捕获图像、以及在各种模式下记录数据，所述模式包括语音电话呼叫模式、数据通信模式等。

在语音电话呼叫模式下，通过音频编解码器923将麦克风925生成的音频信号转换为模拟数据，数据被压缩并且提供给通信单元922。通信单元922执行音频数据调制处理、频率转换处理等，并且生成传输信号。通信单元922将传输信号提供给天线921以将传输信号传输至小区站点，未示出。通信单元922放大经由天线921接收的无线电信号、执行频率转换处理、解调处理等，并且将获得的音频数据提供给音频编解码器923。音频编解码器923提取音频数据，并且将数据转换为模拟音频信号，并且将模拟音频信号输出至扬声器924。

当在数据通信模式下发送邮件时，例如，控制单元931接收文本数据，所述文本数据是根据利用操作单元932执行的操作而输入的，并且将输入文本显示在显示单元930上。控制单元931基于由操作单元932给出的用户命令生成邮件数据，并且将邮件数据提供给通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并且从天线921发送所获得的传输信号。通信单元922放大由天线921接收的接收信号，并且执行频率转换处理、解调处理等，从而恢复邮件数据。将邮件数据提供给显示单元930，从而显示邮件的内容。

应当指出的是，蜂窝电话920可以使用记录/再现单元929将所接收的邮件数据记录至记录介质。记录介质是任何给定的可重写记录介质。例如，记录介质可以是半导体存储器如RAM或内置闪存，并且可以是可移除记录介质如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或存储卡。

当在数据通信模式下发送图像数据时，由相机单元926生成的图像数据被发送至图像处理单元927。图像处理单元927对图像数据执行编码处理，并且生成编码数据。

解复用器单元928根据预定方法对图像处理单元927生成的编码数据和音频编解码器923提供的音频数据进行复用，并且将数据提供给通信单元922。通信单元922对复用数据执行调制处理、频率转换处理等，并且从天线921发送所获得的传输信号。通信单元922放大经由天线921接收的无线电信号，执行频率转换处理、解调处理等，并且恢复复用数据。将复用数据提供给解复用器单元928。解复用器单元928对复用数据进行分离，并且将编码数据提供给图像处理单元927，以及将音频数据提供给音频编解码器923。图像处理单元927对编码数据执行解码处理，并且生成图像数据。将图像数据提供给显示单元930，并且显示所接收的图像。音频编解码器923将音频数据转换为模拟音频信号，并且将信号提供给扬声器924，从而输出所接收的音频。

在如上所述配置的蜂窝电话装置中，图像处理单元927设置有根据本申请的编码装置和解码装置的功能(编码方法和解码方法)。因此，可以改进在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下的编码效率。此外，编码流可以被解码，该编码流的编码效率在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下得到改进。

<第七实施方式>

(记录/再现装置的配置的示例)

图30示出了应用本公开内容的记录/再现装置的示意性配置的示例。例如，记录/再现装置940将所接收的广播节目的音频数据和视频数据记录到记录介质上，并且以根据用户命令的定时将所记录的数据提供给用户。例如，记录/再现装置940可以从另一装置获得音频数据和视频数据，并且可以将它们记录到记录介质上。例如，记录/再现装置940解码并输出记录在记录介质上的音频数据和视频数据，使得可以在监视器装置等上显示图像，并且可以输出音频。

记录/再现装置940包括调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动)单元944、磁盘驱动945、选择器946、解码器947、OSD(屏幕显示)单元948、控制单元949以及用户接口单元950。

调谐器941从经由天线接收的广播信号中调谐到所需信道的信号(未示出)。调谐器941将通过解调所需信道的接收信号而获得的编码比特流输出至选择器946。

外部接口单元942由IEEE 1394接口、网络接口单元、USB接口、闪速存储器接口等中的至少之一构成。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口。外部接口单元942接收要被记录的数据，如视频数据和音频数据。

当从外部接口单元942提供的视频数据和音频数据没有被编码时，编码器943根据预定方法执行编码，并且将编码比特流输出至选择器946。

HDD单元944将内容数据(如视频和音频、各种类型的程序、其他数据等)记录至内部硬盘，并且在再现期间从硬盘读取内容数据。

磁盘驱动945向加载的光盘记录信号以及从加载的光盘再现信号。光盘的示例包括DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)和蓝光(注册商标)盘等。

在视频和音频的记录期间，选择器946选择来自调谐器941和编码器943中任一个的编码比特流，并且将编码比特流提供给HDD单元944和磁盘驱动945中的任一个。在视频和音频的再现期间，选择器946将从HDD单元944或磁盘驱动945输出的编码比特流提供给解码器947。

解码器947执行解码处理，以对编码比特流进行解码。解码器947将根据解码处理生成的视频数据提供给OSD单元948。解码器947输出根据解码处理生成的音频数据。

OSD单元948生成用于显示菜单画面等(该菜单画面等用于选择项目)的视频数据，并且将菜单画面的视频数据叠加和输出到从解码器947输出的视频数据上。

控制单元949与用户接口单元950连接。用户接口单元950由操作开关、远程控制信号接收单元等构成，并且将响应于用户操作的操作信号提供给控制单元949。

控制单元949由CPU、存储器等构成。例如，存储器存储由CPU执行的程序以及当CPU执行处理时所需的各种类型的数据。当记录/再现装置940被激活时，以预定定时由CPU读取并且执行存储在存储器中的程序。CPU执行程序，从而控制每个单元，以使得记录/再现装置940根据用户的操作来执行操作。

在如上所述配置的记录/再现装置中，解码器947设置有根据本申请的解码装置的功能(解码方法)。因此，编码流可以被解码，该编码流的编码效率在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下得到改进。

<第八实施方式>

(图像捕获装置的配置的示例)

图31示出了应用本公开内容的图像捕获装置。图像捕获装置960捕获对象的图像，并且使对象的图像被显示在显示单元上，以及使图像被作为图像数据记录在记录介质中。

图像捕获装置960包括光学块961、图像捕获单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储单元967、介质驱动968、OSD单元969以及控制单元970。控制单元970与用户接口单元971连接。此外，图像数据处理单元964、外部接口单元966、存储单元967、介质驱动968、OSD单元969、控制单元970等经由总线972连接。

光学块961包括聚焦透镜和光圈机构。光学块961使对象的光学图像形成在图像捕获单元962的图像捕获表面上。图像捕获单元962包括图像传感器如CCD或CMOS，并且使用光电转换根据光学图像生成电信号，并且将电信号提供给相机信号处理单元963。

相机信号处理单元963对图像捕获单元962提供的电信号执行各种类型的相机信号处理，如拐点校正(knee correction)、伽马校正以及颜色校正。相机信号处理单元963将已进行相机信号处理的图像数据输出至图像数据处理单元964。

图像数据处理单元964执行编码处理，以对从相机信号处理单元963接收的图像数据进行编码。图像数据处理单元964将通过执行编码处理生成的编码数据提供给外部接口单元966和介质驱动968。图像数据处理单元964执行解码处理，以对从外部接口单元966和介质驱动968提供的编码数据进行解码。图像数据处理单元964将通过执行解码处理生成的图像数据提供给显示单元965。图像数据处理单元964执行处理以将从相机信号处理单元963提供的图像数据提供给显示单元965，并且将从OSD单元969获得的显示数据叠加到图像数据上，并且将数据提供给显示单元965。

OSD单元969生成显示数据，如包括符号、字符或数字的图标和菜单画面，并且将显示数据输出至图像数据处理单元964。

例如，外部接口单元966由USB输入/输出端子构成，并且当打印图像时，外部接口单元966连接至打印机。如果需要，外部接口单元966还连接至驱动，并且如果需要，可移除介质如磁盘、光盘等被加载，并且如果需要，安装从其中读取的计算机程序。此外，外部接口单元966包括连接至预定网络(如LAN或因特网)的网络接口。例如，控制单元970根据由用户接口单元971给出的命令从介质驱动968中读取编码数据，并且可以从外部接口单元966将数据提供给经由网络连接的另一装置。控制单元970经由外部接口单元966获得经由网络从另一装置提供的图像数据和编码数据，并且可以将数据提供给图像数据处理单元964。

由介质驱动968驱动的记录介质可以是能够读取和写入的任何给定的可移除介质，如磁盘、磁光盘、光盘或半导体存储器。记录介质可以是作为可移除介质的任何类型，并且可以是磁带装置、或磁盘、或存储卡。但应该理解的是，记录介质可以是非接触式IC(集成电路)卡等。

介质驱动968和记录介质可以被集成，并且例如，如同内部硬盘驱动和SSD(固态驱动)，介质驱动968和记录介质可以由非可移动存储介质来配置。

控制单元970由CPU构成。例如，存储单元967存储由控制单元970执行的程序、当使用控制单元970进行处理时所需的各种数据。以预定定时，诸如在激活图像捕获装置960期间，由控制单元970读取并且执行存储在存储单元967中的程序。控制单元970执行该程序，从而控制每个单元，以使得图像捕获装置960根据用户的操作进行操作。

在如上所述配置的图像捕获装置中，图像数据处理单元964设置有根据本申请的编码装置和解码装置的功能(编码方法和解码方法)。因此，可以改进在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下的编码效率。此外，编码流可以被解码，该编码流的编码效率在变换跳过被应用于除了4乘4像素以外的尺寸的块的情况下得到改进。

<可缩放编码的应用的示例>

(第一系统)

接下来，将说明被使用可缩放编码(分层编码)编码了的可缩放编码数据的使用的更具体示例。例如，如图32的示例所示，可缩放编码用于选择要被传输的数据。

在如图32所示的数据传输系统1000中，分发服务器1002读取存储在可缩放编码数据存储单元1001中的可缩放编码数据，并且经由网络1003将可缩放编码数据分发给终端装置，如个人计算机1004、视听装置1005、平板装置1006、蜂窝电话1007等。

在这种情况下，分发服务器1002根据例如通信环境和终端装置的性能来选择适当质量的编码数据，并且传输编码数据。即使当分发服务器1002不必要地传输高质量数据时，终端装置不必需获得高质量图像，这可能导致延迟和溢出。可能不必要地占用通信带宽，以及可能不必要地增加终端装置的负荷。相反地，即使当分发服务器1002不必要地传输低质量数据时，终端装置可能无法获得足够质量的图像。鉴于此，如果需要，分发服务器1002根据例如通信环境和终端装置的性能，将存储在可缩放编码数据存储单元1001中的可缩放编码数据读取为适当质量的编码数据，并且传输可缩放编码数据。

例如，可缩放编码数据存储单元1001存储被以可缩放的方式编码的可缩放编码数据(BL+EL)1011。可缩放编码数据(BL+EL)1011是包括基本层和增强层两者的编码数据，并且是可以通过对数据进行解码来提供增强层中的图像和基本层中的图像两者的数据。

分发服务器1002根据例如通信环境和数据所发送到的终端装置的性能来选择最佳层，并且读取该层中的数据。例如，对于处理性能高的个人计算机1004和平板装置1006，分发服务器1002从可缩放编码数据存储单元1001中读取高质量可缩放编码数据(BL+EL)1011，并且按原样传输高质量可缩放编码数据(BL+EL)1011。相反地，例如，对于处理性能低的视听装置1005和蜂窝电话1007，分发服务器1002从可缩放编码数据(BL+EL)1011中提取基本层中的数据，并且传输可缩放编码数据(BL)1012，可缩放编码数据(BL)1012是与可缩放编码数据(BL+EL)1011具有相同内容但是质量低于可缩放编码数据(BL+EL)1011的数据。

如上所述，通过使用可缩放编码数据，可以容易地调整数据量，并且因此，这可以抑制延迟和溢出的发生，并且这可以抑制不必要地增加通信介质和终端装置的负荷。可缩放编码数据(BL+EL)1011在层之间具有较少冗余，并且因此，与使每层中的编码数据成为单独的数据相比，可以减少数据量。因此，可以更有效地使用可缩放编码数据存储单元1001的存储区域。

应当指出的是，终端装置可以是各种类型的装置，如个人计算机1004到蜂窝电话1007，并且因此，终端装置的硬件的性能根据装置的不同而不同。此外，终端装置执行各种类型的应用，并且因此，软件的性能变化很大。此外，例如，作为通信介质的网络1003还可以是各种类型的通信网络，包括有线网络、无线网络、或者包括有线网络和无线网络两者的网络，如因特网和LAN(局域网)，并且因此网络的数据传输性能变化很大。此外，网络的数据传输性能可能因其他通信等而变化。

因此，在数据传输开始之前，分发服务器1002可以与作为数据的传输目的地的终端装置进行通信，并且分发服务器1002可以获得关于终端装置的性能(如终端装置的硬件性能、由终端装置执行的应用(软件)的性能等)的信息，以及关于通信环境(如网络1003的可用带宽等)的信息。然后，分发服务器1002可以基于这里获得的信息选择适当的层。

应当指出的是，可以由终端装置提取层。例如，个人计算机1004对所传输的可缩放编码数据(BL+EL)1011进行解码，并且可以显示基本层中的图像，或者可以显示增强层中的图像。例如，个人计算机1004可以从所传输的可缩放编码数据(BL+EL)1011中提取基本层中的可缩放编码数据(BL)1012、可以存储可缩放编码数据(BL)1012、可以将可缩放编码数据(BL)1012转移至另一装置、可以执行解码以及可以显示基本层中的图像。

但是应该理解的是，可以提供任何数量的可缩放编码数据存储单元1001、任何数量的分发服务器1002、任何数量的网络1003以及任何数量的终端装置。例如，在上述的说明中，分发服务器1002将数据传输给终端装置，但是使用的示例不限于此。只要数据传输系统1000是在数据传输系统1000将以可缩放的方式进行编码的编码数据传输至终端装置时在根据通信环境和终端装置的性能选择适当的层后向终端装置传输编码数据的系统，那么这可以应用于任何给定系统。

(第二系统)

例如，如在图33所示的示例中，可缩放编码用于经由多种通信介质的传输。

在图33所示的数据传输系统1100中，广播站1101经由地面广播1111传输基本层中的可缩放编码数据(BL)1121。广播站1101经由任何给定的网络1112传输增强层中的可缩放编码数据(EL)1122(例如，增强层中的可缩放编码数据(EL)1122形成数据分组，并且传输数据分组)，所述网络1112由包括有线网络、无线网络的通信网络或者包括有线网络和无线网络两者的通信网络构成。

终端装置1102具有对从广播站1101传输的地面广播1111的接收功能，并且接收经由地面广播1111传输的基本层中的可缩放编码数据(BL)1121。此外，终端装置1102还包括用于经由网络1112进行通信的通信功能，并且接收经由网络1112传输的增强层中的可缩放编码数据(EL)1122。

例如，终端装置1102响应于用户命令等对经由地面广播1111获得的基本层中的可缩放编码数据(BL)1121进行解码并且获得基本层中的图像，存储基本层中的可缩放编码数据(BL)1121，或者将基本层中的可缩放编码数据(BL)1121传输到另一装置。

例如，终端装置1102响应于用户命令等将经由地面广播1111获得的基本层中的可缩放编码数据(BL)1121和经由网络1112获得的增强层中的可缩放编码数据(EL)1122组合，使得终端装置1102获得可缩放编码数据(BL+EL)，对可缩放编码数据(BL+EL)进行解码以获得增强层中的图像，存储可缩放编码数据(BL+EL)，或者将可缩放编码数据(BL+EL)传输到另一装置。

如上所述，例如，针对每层，可缩放编码数据可以经由不同的通信介质进行传输。因此，可以分散负荷，并且这可以抑制延迟和溢出的发生。

根据情况，用于传输的通信介质可以被配置为对于每层是可选择的。例如，包括相对多的数据的基本层中的可缩放编码数据(BL)1121可以经由具有宽带宽的通信介质进行传输，包括相对少的数据的增强层中的可缩放编码数据(EL)1122可以经由具有窄带宽的通信介质进行传输。另外，例如，可以根据网络1112的可用带宽来确定传输增强层中的可缩放编码数据(EL)1122的通信介质是被配置为网络1112还是地面广播1111。应当理解的是，这也适用于任何给定层中的数据。

通过执行这样的控制，可以更大地抑制由于数据传输而产生的负荷增大。

应该理解的是，没有特别地限制层的数量，并且也没有特别地限制用于传输的通信介质的数量。没有特别地限制作为数据传输的目的地的终端装置1102的数量。此外，在上述示例中，来自广播站1101的广播被用作示例，但是使用的示例不限于此。只要数据传输系统1100是将以可缩放的方式进行编码的编码数据以层为单位划分为多条数据并且经由多个通信电路传输数据的系统，那么这可以应用于任何给定的系统。

(第三系统)

例如，如在图34所示的示例中，可缩放编码用于编码数据的存储。

在图34所示的图像捕获系统1200中，图像捕获装置1201以可缩放的方式来编码通过对对象1211进行图像捕获而获得的图像数据，并且将图像数据提供给可缩放编码数据存储器装置1202作为可缩放编码数据(BL+EL)1221。

可缩放编码数据存储器装置1202以适合于情况的质量来存储由图像捕获装置1201提供的可缩放编码数据(BL+EL)1221。例如，在正常状态下，可缩放编码数据存储器装置1202从可缩放编码数据(BL+EL)1221中提取基本层中的数据，并且将数据存储为低质量并且具有较少数据量的基本层中的可缩放编码数据(BL)1222。相反地，例如，当给予关注时，可缩放编码数据存储器装置1202按原样存储高质量并且具有较多数据量的可缩放编码数据(BL+EL)1221。

通过这样做，可缩放编码数据存储器装置1202可以仅在需要时保存具有高质量的图像，并且因此，在抑制由图像质量下降造成的图像值的减小的同时，还可以抑制数据量的增大，并且可以改善存储区中的使用效率。

例如，假设图像捕获装置1201是监视摄像机。当监视目标(例如，入侵者)未出现在所捕获的图像中时(在正常状态下)，所捕获的图像的内容并不重要，并且因此，将较高的优先级给予数据量的减少，并且使用低质量存储图像数据(可缩放编码数据)。相反地，当监视目标出现在所捕获的图像中作为对象1211时(当给予关注时)，所捕获的图像的内容是重要的，并且因此，将较高的优先级给予图像质量，并且使用高质量存储图像数据(可缩放编码数据)。

例如，可以通过使可缩放编码数据存储器装置1202分析图像来确定状态是正常还是给予关注。图像捕获装置1201可以做出确定，并且可以将确定结果传输到可缩放编码数据存储器装置1202。

没有特别地限定用于确定状态是正常还是给予关注的确定准则，并且没有特别地限制用作为确定准则的图像的内容。应该理解的是，除了图像内容以外的条件也可以用作为确定准则。例如，可以根据所收集音频的幅度、波形等进行切换，可以在每个预定的时间段进行切换，并且可以响应于从外部给出的命令(例如用户命令)进行切换。

在上述的说明中，例如，正常状态和给予关注状态这两种状态被切换，但是状态的数量可以是任何给定的数量。例如，可以切换三个或更多个状态，如正常状态、较少给予关注状态、给予关注状态、以及高度给予关注状态。然而，被切换的状态的上限数量取决于可缩放编码数据的层数。

图像捕获装置1201可以根据状态确定可缩放编码的层数。例如，在正常状态下，图像捕获装置1201可以生成低质量并且具有较少数据量的基本层中的可缩放编码数据(BL)1222，并且可以将基本层中的可缩放编码数据(BL)1222提供给可缩放编码数据存储器装置1202。例如，当给予关注时，图像捕获装置1201可以生成高质量并且具有较多数据量的基本层中的可缩放编码数据(BL+EL)1221，并且可以将基本层中的可缩放编码数据(BL+EL)1221提供给可缩放编码数据存储器装置1202。

在上述的说明中，作为示例说明了监视摄像机，但是没有特别地限制图像捕获系统1200的目的，并且其不限于监视摄像机。

<第九实施方式>

(实施方式的其他示例)

在上述的说明中，说明了应用本公开内容的装置和系统的示例，但是本公开内容不限于此。本公开内容还可以被实施为在由这种装置或系统构成的装置上实施的任何类型的配置，例如用作系统LSI(大规模集成电路)的处理器、使用多个处理器等的模块、使用多个模块等的单元、以及具有除了单元以外的其他功能的装置(更特别地，装置的一部分的配置)。

(视频装置的配置的示例)

将参照图35说明将本公开内容实施为装置的示例。图35示出了应用本公开内容的视频装置(video set)的示意性配置的示例。

近年来，电子装置具有越来越多的功能，并且当在开发和制造期间一部分配置进行销售、供应等时，在许多情况下，本公开内容不仅被实施为具有单一功能的配置，而且还被实施为具有相关功能的多种配置的组合以及具有多种功能的单个装置。

如图35所示，视频装置1300被配置为具有如上所述的许多功能，并且是由具有与图像的编码和解码相关的功能的装置(功能可以具有编码和解码功能中的任一个，或者功能可以具有编码和解码功能两者)以及具有与功能相关的另一功能的装置构成的组合。

如图35所示，视频装置1300包括模块组，如视频模块1311、外部存储器1312、电源管理模块1313、前端模块1314等，以及包括具有与连接器1321、相机1322、传感器1323等相关的功能的装置。

通过结合彼此相关的若干个类似部件的功能并且形成具有类似功能的部件而构成模块。没有特别地限制特定的物理配置，但是，例如，模块可以被认为是通过将具有功能的电子电路元件(如多个处理器、电阻器、电容器等)和其他装置集成和布置在电路板等上而形成的。新的模块可以被认为是通过将模块与另一模块、处理器等组合而形成的。

在图35的示例，视频模块1311是通过组合具有与图像处理相关的功能的配置而形成的，并且包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。

处理器是通过SoC(片上系统)将具有预定功能的配置集成在半导体芯片上而形成的，并且例如被称为系统LSI(大规模集成电路)等。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM等以及使用CPU、ROM、RAM等执行的程序(软件配置)，或者可以是其二者的组合。例如，处理器可以具有逻辑电路、CPU、ROM、RAM等，并且一些功能可以由逻辑电路(硬件配置)来实现，而其他功能可以由CPU所执行的程序(软件配置)来实现。

图35的应用处理器1331是用于执行与图像处理相关的应用的处理器。为了实现预定功能，由应用处理器1331执行的应用执行算术处理，此外，如果需要，由应用处理器1331执行的应用可以控制视频模块1311(如视频处理器1332)中的配置和视频模块1311外的配置。

视频处理器1332是具有与图像的编码/解码(编码和解码中任一个或者编码和解码两者)有关的功能的处理器。

宽带调制解调器1333是用于执行与经由有线线路或无线线路(或两者)的宽带通信有关的处理的处理器(或模块)，其中该宽带通信经由宽带通信线路(如因特网和公共电话网络)来执行。例如，宽带调制解调器1333通过对数据进行数字调制而将要传输的数据(数字信号)转换为模拟信号，并且通过对所接收的模拟信号进行解调来转换所接收的模拟信号，以将所接收的模拟信号转换为数据(数字信号)。例如，宽带调制解调器1333可以数字调制或解调任何给定的信息，如要由视频处理器1332处理的图像数据、通过对图像数据进行编码获得的流、应用程序、设置数据等。

例如，RF模块1334是用于对经由天线发送/接收的RF(射频)信号执行频率转换、调制/解调、放大、滤波处理的模块。例如，RF模块1334通过对宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。例如，RF模块1334对经由前端模块1314接收的RF信号执行频率转换，从而生成基带信号。

如图35中的虚线1341所示，应用处理器1331和视频处理器1332可以被集成以被配置为单个处理器。

外部存储器1312是设置在视频模块1311的外部的模块，并且外部存储器1312具有由视频模块1311使用的存储器装置。外部存储器1312的存储器装置可以通过任何物理配置来实现，但是一般地，外部存储器1312的存储器装置经常用于以帧为单位存储大量数据如图像数据，并且因此，外部存储器1312的存储器装置优选地使用相对便宜的大容量半导体存储器如DRAM(动态随机存取存储器)来实现。

电源管理模块1313管理和控制供应给视频模块1311(视频模块1311中的每个元件)的电力。

前端模块1314是用于向RF模块1334提供前端功能的模块(在天线侧的发送/接收端的线路)。如35图所示，例如，前端模块1314包括天线单元1351、滤波器1352以及放大单元1353。

天线单元1351具有用于发送和接收无线电信号并且对其进行配置的天线。天线单元1351将从放大单元1353提供的信号作为无线电信号进行发送，并且将所接收的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波处理等，并且将经处理的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334提供的RF信号，并且将RF信号提供给天线单元1351。

连接器1321是具有关于与外部连接的功能的模块。没有特别地限制连接器1321的物理配置。例如，连接器1321具有外部输入/输出端子、如下配置、等等，所述配置具有除了由宽带调制解调器1333支持的通信规范以外的通信功能。

例如，连接器1321可以具有下述模块：所述模块具有基于无线通信规范如蓝牙(注册商标)、IEEE 802.11(例如，Wi-Fi(无线保真、注册商标))、NFC(近场通信)、IrDA(红外数据协会)等的通信功能，以及可以具有用于基于标准发送和接收信号的天线。例如，连接器1321可以具有下述模块：所述模块具有基于有线通信规范如USB(通用串行总线)、HDMI(注册商标)(高清晰度多媒体接口)等的通信功能，以及可以具有基于标准的端子。此外，例如，连接器1321可以具有其他数据(信号)传输功能，如模拟输入/输出端子等。

应当指出的是，连接器1321可以包括在数据(信号)的传输目的地处的装置。例如，连接器1321可以具有用于从记录介质读取数据和将数据写入记录介质的驱动，所述记录介质诸如是磁盘、光盘、磁光盘或半导体存储器，(不仅包括用于可移除介质的驱动，而且包括硬盘、SSD(固态驱动)、NAS(网络附加存储)等)。连接器1321可以具有用于图像和音频的输出装置(监视器，扬声器等)。

相机1322是具有对对象进行图像捕获并且获得对象的图像数据的功能的模块。例如，将由相机1322捕获的图像数据提供给视频处理器1332，并且对图像数据进行编码。

例如，传感器1323是具有任何给定传感器功能的模块，如音频传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、震动传感器、温度传感器。例如，将由传感器1323检测到的数据提供给应用处理器1331，并且由应用程序等使用数据。

上述说明中作为模块说明的配置可以被实施为处理器。相反地，上述说明中作为处理器说明的配置可以被实施为模块。

在如上配置的视频装置1300中，本公开内容可以应用于如下所述的视频处理器1332。因此，视频装置1300可以被实施为应用本公开内容的装置。

(视频处理器的配置的示例)

图36示出了应用本公开内容的视频处理器1332(图35)的示意性配置的示例。

在图36的示例中，视频处理器1332具有接收视频信号和音频信号的输入以及根据预定方法对信号进行编码的功能，以及对经编码的视频数据和音频数据进行解码并且再现和输出视频信号和音频信号的功能。

如图36所示，视频处理器1332包括视频输入处理单元1401、第一图像放大缩小单元1402、第二图像放大缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。视频处理器1332包括编码/解码引擎1407、视频ES(基本流)缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用单元(MUX(复用器))1412、解复用单元(DMUX(解复用器))1413以及流缓冲器1414。

视频输入处理单元1401接收例如从连接器1321(图35)等输入的视频信号，并且将视频信号转换为数字图像数据。例如，第一图像放大缩小单元1402可以执行图像数据的格式转换，图像的放大缩小处理等。对于图像数据，如同第一图像放大缩小单元1402，第二图像放大缩小单元1403根据经由视频输出处理单元1404的输出的目的地处的格式来执行图像的放大缩小处理，并且执行图像数据的放大缩小处理格式转换、图像的放大缩小处理等。例如，视频输出处理单元1404对图像数据执行格式转换，将图像数据转换为模拟信号，并且将模拟信号作为再现的视频信号输出至例如连接器1321(图35)等。

帧存储器1405是由视频输入处理单元1401、第一图像放大缩小单元1402、第二图像放大缩小单元1403、视频输出处理单元1404以及编码/解码引擎1407共享的图像数据存储器。例如，帧存储器1405被实施为半导体存储器，如DRAM。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写入存取管理表1406A中的帧存储器的存取时间表来控制对帧存储器1405的写入/从帧存储器1405的读取。存储器控制单元1406根据由编码/解码引擎1407、第一图像放大缩小单元1402、第二图像放大缩小单元1403等执行的处理对存取管理表1406A进行更新。

编码/解码引擎1407执行图像数据的编码处理和视频流的解码处理，所述视频流是通过对图像数据进行编码而获得的数据。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将图像数据作为视频流顺序写入视频ES缓冲器1408A中。例如，从视频ES缓冲器1408B顺序读取视频流，以及对视频流进行解码，并且将视频流顺序写入帧存储器1405中作为图像数据。编码/解码引擎1407使用帧存储器1405作为其进行编码和解码时的工作区。例如，编码/解码引擎1407在对宏块开始处理时的时间点将同步信号输出至存储器控制单元1406。

视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲，并且将视频流提供给复用单元(MUX)1412。视频ES缓冲器1408B对由解复用单元(DMUX)1413提供的视频流进行缓冲，并且将视频流提供给编码/解码引擎1407。

音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，并且将音频流提供给复用单元(MUX)1412。音频ES缓冲器1409B对由解复用单元(DMUX)1413提供的音频流进行缓冲，并且将音频流提供给音频解码器1411。

例如，音频编码器1410对例如从连接器1321(图35)等输入的音频信号进行数字转换，并且根据预定方法如MPEG音频方法和AC3(音频编码号3)方法对音频信号进行编码。音频编码器1410向音频ES缓冲器1409A顺序写入音频流，所述音频流是通过对音频信号进行编码而获得的数据。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，并且例如将其转换为模拟信号，以及将其作为再现的音频信号提供给例如连接器1321(图35)等。

复用单元(MUX)1412复用视频流和音频流。没有特别限制复用方法(更具体地，通过复用而生成的比特流的格式)。在该复用期间，复用单元(MUX)1412可以将预定的头部信息等添加至比特流。因此，复用单元(MUX)1412可以通过复用对流的格式进行转换。例如，复用单元(MUX)1412复用视频流和音频流，从而将其转换为传送流，所述传送流是用于传送的格式的比特流。例如，复用单元(MUX)1412复用视频流和音频流，从而将其转换为用于记录的文件格式的数据(文件数据)。

解复用单元(DMUX)1413根据与复用单元(MUX)1412进行的复用相对应的方法，对通过复用视频流和音频流而获得的比特流进行解复用。更特别地，解复用单元(DMUX)1413从比特流中提取视频流和音频流，所述比特流是从流缓冲器1414中读取的(将视频流和音频流彼此分离)。更特别地，解复用单元(DMUX)1413可以通过解复用来对流的格式进行转换(由复用单元(MUX)1412进行转换的逆转换)。例如，解复用单元(DMUX)1413经由流缓冲器1414获得从连接器1321、宽带调制解调器1333等(两者都示于图35中)提供的传送流，并且解复用所述传送流，从而能够将传送流转换为视频流和音频流。例如，解复用单元(DMUX)1413经由流缓冲器1414获得通过例如连接器1321(图35)从各种类型的记录介质读取的文件数据，并且解复用该文件数据，从而能够将文件数据转换为视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对复用单元(MUX)1412提供的传送流进行缓冲，并且在预定时间点或响应于外部给出的请求等，流缓冲器1414将传送流提供给例如连接器1321和宽带调制解调器1333(两者都示于图35中)等。

例如，流缓冲器1414对从复用单元(MUX)1412提供的文件数据进行缓冲，并且在预定时间点或响应于外部给出的请求等，流缓冲器1414将文件数据提供给例如连接器1321(图35)，并且将文件数据记录至各种类型的记录介质。

此外，流缓冲器1414对经由例如连接器1321和宽带调制解调器1333(两者都示于图35中)获得的传送流进行缓冲，并且在预定时间点或响应于外部给出的请求等，流缓冲器1414将传送流提供给解复用单元(DMUX)1413。

流缓冲器1414对通过例如连接器1321(图35)从各种类型的记录介质读取的文件数据进行缓冲，并且在预定时间点或响应于外部给出的请求等，流缓冲器1414将文件数据提供给解复用单元(DMUX)1413。

接下来，将说明这样配置的视频处理器1332的操作的示例。例如，以预定方法(如4：2：2Y/Cb/Cr方法等)，视频处理单元1401将从连接器1321(图35)等输入到视频处理器1332中的视频信号转换为数字图像数据，并且将数字图像数据顺序写入帧存储器1405。由第一图像放大缩小单元1402或第二图像放大缩小单元1403读取数字图像数据，其以预定方法(如4：2：0Y/Cb/Cr方法等)执行格式转换，并且执行放大缩小处理，数字图像数据被再次写回帧存储器1405。图像数据被编码/解码引擎1407进行编码，并且被作为视频流写入视频ES缓冲器1408A。

从连接器1321(图35)等输入到视频处理器1332中的音频信号被音频编码器1410进行编码，并且被作为音频流写入音频ES缓冲器1409A中。

视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流由复用单元(MUX)1412读取，并且被复用以转换为传送流、文件数据等。将由复用单元(MUX)1412生成的传送流缓冲至流缓冲器1414，并且此后，例如，经由连接器1321、宽带调制解调器1333(两者都示于图35中)等将传送流输出至外部网络。将由复用单元(MUX)1412生成的文件数据缓冲至流缓冲器1414，并且此后，例如，将文件数据输出至连接器1321(图35)等，并且将文件数据记录至各种类型的记录介质。

例如，在流缓冲器1414中对经由连接器1321、宽带调制解调器1333(两者都示于图35中)等从外部网络输入到视频处理器1332中的传送流进行缓冲，并且此后，由解复用单元(DMUX)1413进行解复用。在流缓冲器1414中对通过例如连接器1321(图35)等从各种类型的记录介质读取并且输入到视频处理器1332中的文件数据进行缓冲，并且此后，由解复用单元(DMUX)1413进行解复用。更特别地，被输入到视频处理器1332中的传送流或者文件数据被解复用单元(DMUX)1413分离为视频流和音频流。

将音频流经由音频ES缓冲器1409B提供给音频解码器1411，对音频流进行解码并且再现音频信号。将视频流写入视频ES缓冲器1408B，并且此后，由编码/解码引擎1407顺序地读取并且解码视频流，并且将视频流写入帧存储器1405。通过第二图像放大缩小单元1403对解码图像数据进行放大缩小处理，并且将其写入帧存储器1405。然后，通过视频输出处理单元1404读取解码的图像数据，并且以预定方法(如4：2：2Y/Cb/Cr方法)对其格式进行转换，并且进一步转换为模拟信号，从而再现并且输出视频信号。

当本公开内容被应用于如上所述配置的视频处理器1332时，根据上述每个实施方式的本公开内容可以被应用于编码/解码引擎1407。更特别地，例如，编码/解码引擎1407可以具有根据第一实施方式的编码装置和解码装置的功能。通过这样做，视频处理器1332可以实现与上述参照图1至图17说明的作用相同的效果。

在编码/解码引擎1407中，可以通过硬件如逻辑电路、可以通过软件如包括的程序、或者可以通过硬件和软件两者来实现本公开内容(更具体地，根据上述各实施方式的图像编码装置和图像解码装置的功能)。

(视频处理器的配置的另一示例)

图37示出了应用本公开内容(图35)的视频处理器1332的示意性配置的另一示例。在图37的示例中，视频处理器1332具有根据预定方法对视频数据进行编码/解码的功能。

更特别地，如图37所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。视频处理器1332包括编解码器引擎1516、存储器接口1517、复用/解复用单元(MUX DMUX)1518、网络接口1519以及视频接口1520。

控制单元1511对视频处理器1332中的每个处理单元，如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516，的操作进行控制。

如图37所示，例如，控制单元1511包括主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行用于对视频处理器1332中的每个处理单元的操作进行控制的程序等。主CPU 1531根据程序等生成控制信号，并且将控制信号提供给每个处理单元(更具体地，主CPU 1531对每个处理单元的操作进行控制)。子CPU 1532对主CPU 1531起着辅助作用。例如，子CPU 1532执行由主CPU 1531执行的程序等的子处理、子例程等。系统控制器1533对主CPU 1531和子CPU 1532的操作进行控制，如指定由主CPU 1531和子CPU 1532执行的程序。

在控制单元1511的控制下，显示接口1512将图像数据输出至例如连接器1321(图35)等。例如，显示接口1512将数字数据的图像数据转换为模拟信号，并且作为再现的视频信号或者仍作为数字数据的图像数据而输出给连接器1321(图35)的监视装置等。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种类型的变换处理，如格式转换、尺寸转换、色域转换等，以使其符合显示图像的监视装置等的硬件规格。

在控制单元1511的控制下，图像处理引擎1514对图像数据执行预定图像处理，如用于图像质量改善的滤波处理。

内部存储器1515是设置在视频处理器1332内部的并且由显示引擎1513、图像处理引擎1514和编解码器引擎1516共享的存储器。内部存储器1515用于在例如显示引擎1513、图像处理引擎1514与编解码器引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且如果需要(例如，响应于请求)，将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。可以通过任何存储器装置来实现内部存储器1515，但是一般地，内部存储器1515通常用于存储少量数据，如参数和以块为单位的图像数据，并且因此，内部存储器1515优选地实施为容量相对较小但是具有相对较快的响应速度(例如，与外部存储器1312相比)的半导体存储器，如SRAM(静态随机存取存储器)。

编解码器引擎1516执行用于对图像数据进行编码和解码的处理。编解码器引擎1516支持的编码/解码的方法可以是任何方法。方法的数量可以是一种，或者可以是两种或更多种。例如，编解码器引擎1516可以具有用于多个编码/解码方法的编解码器功能，并且可以根据从中选择的方法之一对图像数据进行编码或对编码数据进行解码。

在图37所示的示例中，例如，编解码器引擎1516包括用作为与编解码器有关的处理的功能块的MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551。

MPEG-2视频1541是用于根据MPEG-2方法对图像数据进行编码和解码的功能块。AVC/H.2641542是用于根据AVC方法对图像数据进行编码和解码的功能块。HEVC/H.2651543是用于根据HEVC方法对图像数据进行编码和解码的功能块。HEVC/H.265(可缩放)1544是用于根据HEVC方法以可缩放的方式对图像数据进行编码和解码的功能块。HEVC/H.265(多视图)1545是用于根据HEVC方法对图像数据进行多视点编码和多视点解码的功能块。

MPEG-DASH 1551是用于根据MPEG-DASH(MPEG-基于HTTP的动态自适应流)发送和接收图像数据的功能块。MPEG-DASH是使用HTTP(超文本传输协议)以流来传送视频的技术，其特征在于以段(segment)为单位选择多条编码数据中的适当的一条，并且传输该条编码数据，其中所述多条编码数据的预先准备的分辨率等是彼此不同的。例如，MPEG-DASH 1551基于标准生成流，并且对流执行传输控制，在图像数据的编码/解码中使用上述的MPEG-2视频1541至HEVC/H.265(多视图)1545。

存储器接口1517是外部存储器1312的接口。从图像处理引擎1514和编解码器引擎1516提供的数据经由存储器接口1517提供给外部存储器1312。从外部存储器1312读取的数据经由存储器接口1517提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用/解复用单元(MUX DMUX)1518执行各种类型的图像数据(如比特流、图像数据、和编码数据的视频信号)的复用和解复用。没有特别地限制复用/解复用的方法。例如，在复用期间，复用/解复用单元(MUXDMUX)1518可以将多条数据组合成一条，此外，复用/解复用单元(MUXDMUX)1518还可以将预定的头部信息等添加至数据。在解复用期间，复用/解复用单元(MUX DMUX)1518可以把一条数据分为多条，此外，复用/解复用单元(MUX DMUX)1518还可以将预定的头部信息等添加至每条所划分的数据。更特别地，复用/解复用单元(MUX DMUX)1518可以通过复用/解复用来转换数据的格式。例如，复用/解复用单元(MUXDMUX)1518对比特流进行复用，以使得可以将其转换为传送流(所述传送流是传送格式的比特流)以及用于记录的文件格式的数据(文件数据)。应当理解，可以通过解复用进行逆转换。

例如，网络接口1519是用于宽带调制解调器1333、连接器1321(两者都示于图35中)等的接口。例如，视频接口1520是用于连接器1321、相机1322(两者都示于图35中)等的接口。

接下来，将说明视频处理器1332的操作的示例。例如，当视频处理器1332经由例如连接器1321、宽带调制解调器1333(两者都示于图35中)等从外部网络接收传送流时，传送流经由网络接口1519提供给复用/解复用单元(MUX DMUX)1518并且进行解复用，并且通过编解码器引擎1516进行解码。例如，由编解码器引擎1516进行解码而获得的图像数据经历图像处理引擎1514的预定图像处理，以及显示引擎1513的预定转换，并且将图像数据经由显示接口1512提供给例如连接器1321(图35)等，以及在监视器上显示图像。例如，由编解码器引擎1516进行解码而获得的图像数据被编解码器引擎1516再次编码，并且被复用/解复用单元(MUX DMUX)1518进行复用并且转换为文件数据，经由视频接口1520输出至例如连接器1321(图35)等，并且被记录至各种类型的记录介质。

此外，例如，通过连接器1321(图35)等从记录介质(未示出)读取的、通过对图像数据进行编码而获得的编码数据的文件数据被经由视频接口1520提供给复用/解复用单元(MUX DMUX)1518并且进行解复用，并且被编解码器引擎1516进行解码。由编解码器引擎1516进行解码而获得的图像数据经历图像处理引擎1514的预定图像处理，以及显示引擎1513的预定转换，并且经由显示接口1512被提供给例如连接器1321(图35)等，以及在监视器上显示图像。例如，由编解码器引擎1516进行解码而获得的图像数据被编解码器引擎1516再次编码，并且被复用/解复用单元(MUX DMUX)1518进行复用以转换为传送流，该传送流被经由网络接口1519提供给例如连接器1321、宽带调制解调器1333(两者都示于图35中)等，并且被传输至另一装置，未示出。

应当指出，使用例如内部存储器1515和外部存储器1312来交换视频处理器1332中的每个处理单元之间的图像数据和其他数据。电源管理模块1313控制对例如控制单元1511的电力供应。

当本公开内容被应用于如上所述配置的视频处理器1332时，根据上述每个实施方式的本公开内容可以被应用于编解码器引擎1516。更特别地，例如，编解码器引擎1516可以具有用于实现根据第一实施方式的编码装置和解码装置的功能块。此外，例如，编解码器引擎1516执行这种方式，使得视频处理器1332可以实现与上述参照图1至图17说明的作用相同的效果。

在编解码器引擎1516中，可以通过硬件如逻辑电路、可以通过软件如包括的程序、或者可以通过硬件和软件两者来实现本公开内容(更具体地，根据上述各实施方式的图像编码装置和图像解码装置的功能)。

在上述的说明中，示出了视频处理器1332的配置的两个示例，但是没有特别地限制视频处理器1332的配置，视频处理器1332的配置可以是除了上述两个示例以外的其他配置。该视频处理器1332可以被配置为单个半导体芯片，但是也可以被配置为多个半导体芯片。例如，其可以是堆叠有多个半导体的三维堆叠的LSI。此外，其可以由多个LSI来实现。

(对装置的应用的示例)

视频装置1300可以被并入用于处理图像数据的各种类型的装置中。例如，视频装置1300可以被并入电视接收装置900(图28)、蜂窝电话920(图29)、记录/再现装置940(图30)、图像捕获装置960(图31)等中。当并入视频装置1300时，装置可以实现与上述参照图1至图17说明的作用相同的效果。

例如，视频装置1300可以被并入图32的数据传输系统1000中的终端装置(如个人计算机1004、视听装置1005、平板装置1006、蜂窝电话1007等)，图33的数据传输系统1100中的广播站1101、终端装置1102等，以及图34的图像捕获系统1200中的图像捕获装置1201、可缩放编码数据存储器装置1202等中。当并入视频装置1300时，装置可以实现与上述参照图1至图17说明的作用相同的效果。

即使上述视频装置1300的每个配置的一部分被并入，只要其能够包括视频处理器1332，那么其可以被实施为应用了本公开内容的配置。例如，仅视频处理器1332可以实施为应用了本公开内容的视频处理器。例如，如上所述，视频模块1311、由虚线指示的处理器1341等可以实施为应用了本公开内容的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313以及前端模块1314可以被组合，并且可以实施应用了本公开内容的视频单元1361。在任何配置中，装置可以实现与上述参照图1至图17说明的作用相同的效果。

更特别地，如同视频装置1300的情况，只要包括视频处理器1332，那么任何配置可以被并入处理图像数据的各种类型的装置中。例如，视频模块1311、视频单元1361或由虚线指示的处理器1341、或者视频处理器1332可以被并入例如电视接收装置900(图28)，蜂窝电话920(图29)，记录/再现装置940(图30)，图像捕获装置960(图31)，图32的数据传输系统1000中的终端装置(如个人计算机1004、视听装置1005、平板装置1006、蜂窝电话1007等)，图33的数据传输系统1100中的广播站1101、终端装置1102等，以及图34的图像捕获系统1200中的图像捕获装置1201、可缩放编码数据存储器装置1202等中。当并入应用了本公开内容的任何配置时，如同视频装置1300的情况，装置可以实现与上述参照图1至图17说明的作用相同的效果。

在本说明书中，例如，各种类型的信息(如最小TU尺寸信息和跳过TU信息)被复用到编码数据上，并且从编码侧传输到解码侧。然而，用于传输信息的方法不限于这些示例。例如，该信息可以不被复用到编码数据，并且可以作为与编码数据相关联的单独数据而传输或记录。在这种情况下，术语“相关联”是指当进行解码时，允许在比特流中所包括的图像(其可以是图像的一部分，如片或块)和对应于该图像的信息之间的链接。更特别地，该信息可以经由不同于编码数据的传输路径来进行传输。该信息可以被记录至不同于编码数据的记录介质(或相同记录介质的另一记录区域)。此外，例如，信息和编码数据可以以任何给定的单位(如多个帧、单个帧、或帧的一部分)彼此相关联。

在本说明书中，系统是指多个构成元件(装置、模块(部件)等)的集合，所有构成元件是否设置在同一壳体中并不重要。因此，容纳在分离的壳体中并且经由网络连接的多个装置以及包括容纳在单个壳体中的多个模块的单个装置都是系统。

在本说明书中记载的效果仅是示例，并且不限于此。可以有其他的效果。

本公开内容的实施方式不限于上述实施方式。在不偏离本公开内容主旨的情况下，本公开内容的实施方式可以以各种方式而改变。

例如，本公开内容还可以应用于允许变换跳过的、除了HEVC方法以外的其他编码方法的编码装置和解码装置。

本公开内容还可以应用于在经由网络介质接收编码流时所使用的编码装置和解码装置，所述网络介质诸如是卫星广播、有线电视、因特网、蜂窝电话等，或者可以在存储器介质(如光盘、磁盘或闪速存储器)上执行处理。

此外，本公开内容可以被配置为云计算，在云计算中以如下方式处理单个功能：经由网络以合作的方式通过多个设备来分散该单个功能。

上述流程图中说明的每个步骤可以由单个设备来执行，或者可以由多个设备以分散的方式来执行。

此外，在单个步骤中包括多个处理的情况下，包括在该步骤中的多个处理可以由单个设备来执行，或者可以由多个设备以分散的方式来执行。

应当指出的是，本技术可以被配置如下。

(1)一种解码装置，包括：

电路，所述电路被配置成

对比特流进行解码并且生成量化值；以及

在应用了变换跳过的变换块的块尺寸大于4乘4块尺寸的情况下，通过使用扁平缩放列表对生成的量化值进行逆量化。

(2)根据上述(1)所述的解码装置，其中，

所述扁平缩放列表与应用了变换跳过的所述变换块的块尺寸相对应。

(3)根据上述(1)或(2)所述的解码装置，其中，当应用了变换跳过的所述变换块的块尺寸是8乘8块尺寸时，通过使用8乘8块尺寸的扁平缩放列表对生成的量化值进行逆量化。

(4)根据上述(1)至(3)中任一项所述的解码装置，其中，当应用了变换跳过的所述变换块的块尺寸是16乘16块尺寸时，通过使用16乘16块尺寸的扁平缩放列表对生成的量化值进行逆量化。

(5)根据上述(1)至(4)中任一项所述的解码装置，其中，当应用了变换跳过的所述变换块的块尺寸是32乘32块尺寸时，通过使用32乘32块尺寸的扁平缩放列表对生成的量化值进行逆量化。

(6)根据上述(1)至(5)中任一项所述的解码装置，其中，所述电路还被配置为确定所述变换块的块尺寸是否大于4乘4块尺寸，以及变换跳过是否被应用于所述变换块，

其中，在确定所述变换块的块尺寸大于4乘4块尺寸以及确定变换跳过已被应用于所述变换块的情况下，通过使用与所述变换块的块尺寸相对应的扁平缩放列表对生成的量化值进行逆量化。

(7)根据上述(6)所述的解码装置，其中，所述电路还被配置为通过使用transform_skip_flag来确定变换跳过是否被应用于所述变换块，所述transform_skip_flag指示变换跳过是否被应用于所述变换块。

(8)根据上述(1)至(7)中任一项所述的解码装置，其中，

所述比特流包括通过对图像和所述图像的预测图像之间的残差进行编码而获得的残差数据，以及

所述电路还被配置为对所述残差数据进行解码并且生成所述量化值。

(9)根据上述(1)至(8)中任一项所述的解码装置，其中，所述变换块是通过以递归方式四次划分编码块而获得的。

(10)根据上述(1)至(9)中任一项所述的解码装置，其中，通过使用被设置为所述扁平缩放列表的扁平矩阵对生成的量化值进行逆量化。

(11)根据上述(1)至(10)中任一项所述的解码装置，其中，所述扁平矩阵具有量化缩放因子，所述量化缩放因子的值设置为16。

(12)根据上述(1)至(11)中任一项所述的解码装置，其中，

在应用变换跳过的情况下，通过使用所述扁平缩放列表对产生的量化值进行逆量化，以及

在不应用变换跳过的情况下，通过使用默认缩放列表对产生的量化值进行逆量化。

(13)一种解码方法，其中，解码装置经由处理器执行以下步骤：

解码步骤，用于对比特流进行解码并且生成量化值；以及

逆量化步骤，用于在应用了变换跳过的变换块的块尺寸大于4乘4块尺寸的情况下，通过使用扁平缩放列表对生成的量化值进行逆量化。

(14)一种编码装置，包括：

电路，所述电路被配置成

在变换跳过被应用于大于4乘4块尺寸的变换块的情况下，通过使用扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成量化值；以及

对生成的量化值进行编码。

(15)根据上述(14)所述的编码装置，其中，所述扁平缩放列表与应用了变换跳过的所述变换块的块尺寸相对应。

(16)根据上述(14)或(15)所述的编码装置，其中，在应用了变换跳过的所述变换块的块尺寸是8乘8块尺寸的情况下，通过使用8乘8块尺寸的扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成所述量化值。

(17)根据上述(14)至(16)中任一项所述的编码装置，其中，在应用了变换跳过的所述变换块的块尺寸是16乘16块尺寸的情况下，通过使用16乘16块尺寸的扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成所述量化值。

(18)根据上述(14)至(17)中任一项所述的编码装置，其中，在应用了变换跳过的所述变换块的块尺寸是32乘32块尺寸的情况下，通过使用32乘32块尺寸的扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成所述量化值。

(19)根据上述(14)至(18)中任一项所述的编码装置，其中，所述电路还被配置为确定所述变换块的块尺寸是否大于4乘4块尺寸，以及变换跳过是否被应用于所述变换块，

其中，在确定所述变换块的块尺寸大于4乘4块尺寸以及确定变换跳过已被应用于所述变换块的情况下，通过使用与所述变换块的块尺寸相对应的扁平缩放列表，通过对所述变换块进行量化而生成所述量化值。

(20)根据上述(19)所述的编码装置，其中，所述电路还被配置为设置用于指示变换跳过是否被应用于所述变换块的transform_skip_flag。

(21)根据上述(14)至(20)中任一项所述的编码装置，其中，所述量化值是通过对所述变换块的图像和所述图像的预测图像之间的残差进行量化而生成的。

(22)根据上述(14)至(21)中任一项所述的编码装置，其中，所述变换块是通过以递归方式四次划分编码块而获得的。

(23)根据上述(14)至(22)中任一项所述的编码装置，其中，所述量化值是通过使用被设置为所述扁平缩放列表的扁平矩阵通过对应用了变换跳过的所述变换块进行量化而生成的。

(24)根据上述(14)至(23)中任一项所述的编码装置，其中，所述扁平矩阵具有量化缩放因子，所述量化缩放因子的值设置为16。

(25)根据上述(14)至(24)中任一项所述的编码装置，其中，基于transform_skip_flag，变换跳过被应用于所述变换块或不被应用于所述变换块。

(26)根据上述(14)至(25)中任一项所述的编码装置，其中，

在变换跳过被应用的情况下，通过使用所述扁平缩放列表通过对所述变换块进行量化而生成所述量化值，以及

在变换跳过不被应用的情况下，通过使用默认缩放列表通过对所述变换块进行量化而生成所述量化值。

(27)根据上述(14)至(26)中任一项所述的编码装置，其中，在应用了变换跳过的所述变换块的块尺寸大于4乘4块尺寸，并且与跳过对所述变换块执行变换的情况相关联的成本函数值小于与不跳过对所述变换块执行变换的情况相关联的成本函数值的情况下，通过使用所述扁平缩放列表通过对所述变换块进行量化而生成所述量化值。

(28)一种编码方法，其中，编码装置经由处理器执行以下步骤：

量化步骤，用于在变换跳过被应用于大于4乘4块尺寸的变换块的情况下，通过使用扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成量化值；以及

编码步骤，用于对生成的量化值进行编码。

附图标记列表

10 编码装置

13 传输单元

34 正交变换单元

35 量化单元

51 列表设置单元

110 解码装置

133 逆量化单元

134 逆正交变换单元

Claims (28)

1.一种解码装置，包括：

电路，所述电路被配置成

对比特流进行解码并且生成量化值；以及

在应用了变换跳过的变换块的块尺寸大于4乘4块尺寸的情况下，通过使用扁平缩放列表对生成的量化值进行逆量化。

2.根据权利要求1所述的解码装置，其中，

所述扁平缩放列表与应用了变换跳过的所述变换块的块尺寸相对应。

3.根据权利要求2所述的解码装置，其中，当应用了变换跳过的所述变换块的块尺寸是8乘8块尺寸时，通过使用8乘8块尺寸的扁平缩放列表对生成的量化值进行逆量化。

4.根据权利要求2所述的解码装置，其中，当应用了变换跳过的所述变换块的块尺寸是16乘16块尺寸时，通过使用16乘16块尺寸的扁平缩放列表对生成的量化值进行逆量化。

5.根据权利要求2所述的解码装置，其中，当应用了变换跳过的所述变换块的块尺寸是32乘32块尺寸时，通过使用32乘32块尺寸的扁平缩放列表对生成的量化值进行逆量化。

6.根据权利要求1所述的解码装置，其中，所述电路还被配置为确定所述变换块的块尺寸是否大于4乘4块尺寸，以及变换跳过是否被应用于所述变换块，

其中，在确定所述变换块的块尺寸大于4乘4块尺寸以及确定变换跳过已被应用于所述变换块的情况下，通过使用与所述变换块的块尺寸相对应的扁平缩放列表对生成的量化值进行逆量化。

7.根据权利要求6所述的解码装置，其中，所述电路还被配置为通过使用transform_skip_flag来确定变换跳过是否被应用于所述变换块，所述transform_skip_flag指示变换跳过是否被应用于所述变换块。

8.根据权利要求1所述的解码装置，其中，

所述比特流包括通过对图像和所述图像的预测图像之间的残差进行编码而获得的残差数据，以及

所述电路还被配置为对所述残差数据进行解码并且生成所述量化值。

9.根据权利要求1所述的解码装置，其中，所述变换块是通过以递归方式四次划分编码块而获得的。

10.根据权利要求1所述的解码装置，其中，通过使用被设置为所述扁平缩放列表的扁平矩阵对生成的量化值进行逆量化。

11.根据权利要求10所述的解码装置，其中，所述扁平矩阵具有量化缩放因子，所述量化缩放因子的值设置为16。

12.根据权利要求1所述的解码装置，其中，

在应用变换跳过的情况下，通过使用所述扁平缩放列表对产生的量化值进行逆量化，以及

在不应用变换跳过的情况下，通过使用默认缩放列表对产生的量化值进行逆量化。

13.一种解码方法，其中，解码装置经由处理器执行以下步骤：

解码步骤，用于对比特流进行解码并且生成量化值；以及

逆量化步骤，用于在应用了变换跳过的变换块的块尺寸大于4乘4块尺寸的情况下，通过使用扁平缩放列表对生成的量化值进行逆量化。

14.一种编码装置，包括：

电路，所述电路被配置成

在变换跳过被应用于大于4乘4块尺寸的变换块的情况下，通过使用扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成量化值；以及

对生成的量化值进行编码。

15.根据权利要求14所述的编码装置，其中，所述扁平缩放列表与应用了变换跳过的所述变换块的块尺寸相对应。

16.根据权利要求14所述的编码装置，其中，在应用了变换跳过的所述变换块的块尺寸是8乘8块尺寸的情况下，通过使用8乘8块尺寸的扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成所述量化值。

17.根据权利要求14所述的编码装置，其中，在应用了变换跳过的所述变换块的块尺寸是16乘16块尺寸的情况下，通过使用16乘16块尺寸的扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成所述量化值。

18.根据权利要求14所述的编码装置，其中，在应用了变换跳过的所述变换块的块尺寸是32乘32块尺寸的情况下，通过使用32乘32块尺寸的扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成所述量化值。

19.根据权利要求14所述的编码装置，其中，所述电路还被配置为确定所述变换块的块尺寸是否大于4乘4块尺寸，以及变换跳过是否被应用于所述变换块，

其中，在确定所述变换块的块尺寸大于4乘4块尺寸以及确定变换跳过已被应用于所述变换块的情况下，通过使用与所述变换块的块尺寸相对应的扁平缩放列表，通过对所述变换块进行量化而生成所述量化值。

20.根据权利要求19所述的编码装置，其中，所述电路还被配置为设置用于指示变换跳过是否被应用于所述变换块的transform_skip_flag。

21.根据权利要求14所述的编码装置，其中，所述量化值是通过对所述变换块的图像和所述图像的预测图像之间的残差进行量化而生成的。

22.根据权利要求14所述的编码装置，其中，所述变换块是通过以递归方式四次划分编码块而获得的。

23.根据权利要求14所述的编码装置，其中，所述量化值是通过使用被设置为所述扁平缩放列表的扁平矩阵通过对应用了变换跳过的所述变换块进行量化而生成的。

24.根据权利要求23所述的编码装置，其中，所述扁平矩阵具有量化缩放因子，所述量化缩放因子的值设置为16。

25.根据权利要求14所述的编码装置，其中，基于transform_skip_flag，变换跳过被应用于所述变换块或不被应用于所述变换块。

26.根据权利要求14所述的编码装置，其中，

在变换跳过被应用的情况下，通过使用所述扁平缩放列表通过对所述变换块进行量化而生成所述量化值，以及

在变换跳过不被应用的情况下，通过使用默认缩放列表通过对所述变换块进行量化而生成所述量化值。

27.根据权利要求14所述的编码装置，其中，在应用了变换跳过的所述变换块的块尺寸大于4乘4块尺寸，并且与跳过对所述变换块执行变换的情况相关联的成本函数值小于与不跳过对所述变换块执行变换的情况相关联的成本函数值的情况下，通过使用所述扁平缩放列表通过对所述变换块进行量化而生成所述量化值。

28.一种编码方法，其中，编码装置经由处理器执行以下步骤：

量化步骤，用于在变换跳过被应用于大于4乘4块尺寸的变换块的情况下，通过使用扁平缩放列表，通过对应用了变换跳过的所述变换块进行量化而生成量化值；以及

编码步骤，用于对生成的量化值进行编码。