CN105594208A - 解码装置、解码方法、编码装置以及编码方法 - Google Patents

Abstract

本公开内容涉及使得能够通过优化“变换跳跃”模式来提高编码效率的解码装置、解码方法、编码装置以及编码方法。针对由跳跃了水平变换或垂直变换的、图像与该图像的预测图像之间的差组成的残差信息，逆正交变换单元跳跃所述水平变换或所述垂直变换。本公开内容可以应用于例如具有“变换跳跃”模式的高效率视频编码(HEVC)解码装置等。

Description

解码装置、解码方法、编码装置以及编码方法

技术领域

本公开内容涉及解码装置、解码方法、编码装置和编码方法，并且更具体地涉及能够通过优化变换跳跃来提高编码效率的解码装置、解码方法、编码装置和编码方法。

背景技术

近年来，符合通过使用图像信息特有的冗余的正交变换如离散余弦变换(DCT)以及运动补偿来进行压缩的方案如运动图像专家组阶段(MPEG)的装置已变得广泛用于广播站的信息分发和一般家庭的信息接收的目的。

特别地，MPEG-2(ISO/IEC13818-2)方案被定义为通用图像编码方案。MPEG-2是涵盖隔行扫描图像、逐行扫描图像、标准分辨率图像和高清晰度图像的标准。MPEG2现在被广泛用于宽范围的应用例如专业用途和消费者用途。使用MPEG2方案，例如，可以通过在具有720×480像素的标准分辨率的隔行扫描图像的情况下分配4Mbps至8Mbps的比特率和在具有1920×1088像素的高分辨率的隔行扫描图像的情况下分配18Mbps至22Mbps的代码量来实现高压缩率和良好的图像质量。

MPEG2主要针对适于广播的高清晰度编码，但是不支持编码量(比特率)比MPEG1的编码量(比特率)低的编码方案，即不支持高压缩率的编码方案。随着移动终端的普及，认为对这样的编码方案的需求在未来将会增长，并且因此已经对MPEG4编码方案进行标准化。对于MPEG-4的图像编码方案的国际标准于1998年12月被批准为ISO/IEC14496-2。

另外，在最近几年，针对视频会议的图像编码的目的的标准如H.26L(ITU-TQ6/16VCEG)已经被标准化。与编码方案例如MPEG2或MPEG4相比，H.26L由于编码和解码而需要较大的计算量，但是已知实现了高编码效率。

另外，当前，作为MPEG4的活动之一，已经将结合了甚至在H.26L中不支持的功能并且基于H.26L实现高编码效率的标准化执行为增强的压缩视频编码的联合模型。作为标准化日程，在2003年3月建立了名为H.264和MPEG-4第10部分(高级视频编码(AVC))的国际化标准。

此外，随着H.264/AVC的扩展，在2005年2月对包括例如RGB或4:2:2或4:4:4的色差信号格式的专业用途所需要的编码工具或者MPEG2中指定的8×8离散余弦变换(DCT)以及量化矩阵的保真度范围扩展(FRExt)进行了标准化。因此，AVC方案成为能够还表达包含在影片中的胶卷噪声的编码方案，并且AVC方案被用于宽范围的应用例如蓝光(注册商标)盘(BD)中。

然而，近年来，对下述的需求不断增长：能够对为高清晰度图像的4倍高的约4000×2000像素的图像进行压缩并且在受限传输能力环境例如因特网中传送高清晰度图像的高压缩率编码。为此，ITU-T下的视频编码专家组(VCEG)正在继续研究编码效率的改进。

另外，目前，为了进一步改进编码效率使其高于AVC中的编码效率，作为ITU-T和ISO/IEC联合标准化组织的联合协作团队-视频编码(JCTVC)已经对所谓高效率视频编码(HEVC)的编码方案进行标准化。非专利文献1目前于2013年10月已发行作为草案。

同时，在HEVC中，当TU尺寸为4×4像素时，可以使用功能如变换跳跃，其中不对变换单元(TU)执行正交变换或逆正交变换。

换言之，当当前要被编码的图像是计算机图形(CG)或非自然图像如个人计算机的画面时，4×4像素很可能被选作TU尺寸。另外，在非自然图像中，存在当不执行正交变换时编码效率增加的情况。因此，在HEVC中，当TU尺寸为4×4像素时，应用变换跳跃以改善编码效率。

变换跳跃适用于亮度信号和色度信号二者。不管是在帧内预测模式下还是在帧间预测模式下进行编码，变换跳跃均适用。

另一方面，在非专利文献2中，考虑了改进对色度信号格式如4：2：2或4：4：4的图像或画面内容进行编码的编码方案。

另外，在非专利文献3中，考虑了当将变换跳跃应用于具有大于4×4像素的尺寸的TU时的编码效率。

另外，在非专利文献4中，考虑了当TU的最小尺寸为8×8像素而不是4×4像素时将变换跳跃应用于TU的最小尺寸。

引文列表

非专利文献

非专利文献1：BenjaminBross,GaryJ.Sullivan,Ye-KuiWang,"Editors'proposedcorrectionstoHEVCversion1,"JCTVC-M0432_v3,2013年4月18日-4月26日

非专利文献2：DavidFlynn,JoelSole,TeruhikoSuzuki,"HighEfficiencyVideoCoding(HEVC),RangeExtensiontextspecification:Draft4,"JCTVC-N1005_v1,2013年4月18日-4月26日

非专利文献3：XiulianPeng,JizhengXu,LiweiGuo,JoelSole,MartaKarczewicz,"Non-RCE2:TransformskiponlargeTUs,"JCTVC-N0288_r1,2013年7月25日-8月2日

非专利文献4：KwanghyunWon,SeunghaYang,ByeungwooJeon,"TransformskipbasedonminimumTUsize,"JCTVC-N0167,2013年7月25日-8月2日

发明内容

本发明要解决的问题

在HEVC中，难以设置是在水平方向上还是在垂直方向上分别执行变换跳跃。因此，既不在水平方向上也不在垂直方向上执行变换跳跃，或者在水平方向和垂直方向上均执行变换跳跃。

然而，存在以下情况：当在水平方向和垂直方向中的一个方向上执行正交变换时，改进了编码效率，或者当在水平方向和垂直方向中的另一方向上不执行正交变换时，改进了编码效率，并且反之亦然。在此情况下，期望通过执行变换跳跃优化使得在水平方向和垂直方向中的一个方向上不执行变换跳跃而在水平方向和垂直方向中的另一方向上执行变换跳跃，改进编码效率。

鉴于上述情况做出本公开内容，并且期望通过优化变换跳跃来改进编码效率。

解决问题的方案

根据本公开内容的第一方面的解码装置包括逆正交变换单元，该逆正交变换单元针对在水平方向和垂直方向中的一个方向上经历了变换跳跃的、图像与该图像的预测图像之间的差，在水平方向和垂直方向中的所述一个方向上执行变换跳跃。

根据本公开内容的第一方面的解码方法对应于根据本发明的第一方面的解码装置。

在本公开内容的第一方面，针对在水平方向和垂直方向中的一个方向上经历了变换跳跃的图像与该图像的预测图像之间的差，在水平方向和垂直方向中的所述一个方向上执行变换跳跃。

根据本公开内容的第二方面的编码装置包括正交变换单元，该正交变换单元针对图像与该图像的预测图像之间的差，在水平方向和垂直方向中的一个方向上执行变换跳跃。

根据本公开内容的第二方面的编码方法对应于根据本发明的第二方面的编码装置。

在本公开内容的第二方面，针对图像与该图像的预测图像之间的差，在水平方向和垂直方向中的一个方向上执行变换跳跃。

可以通过使计算机执行程序来实现根据第一方面的解码装置和根据第二方面的编码装置。

由计算机执行以实现根据第一方面的解码装置以及根据第二方面的编码装置的程序可以被提供成使得该程序经由传输介质被传送或者被记录在记录介质中。

根据第一方面的解码装置和根据第二方面的编码装置可以是独立的装置，或者可以是构成单个装置的内部块。

发明效果

根据本公开内容的第一方面，可以执行解码。另外，根据本公开内容的第一方面，可以对通过优化变换跳跃而改进了编码效率的编码流进行解码。

根据本公开内容的第二方面，可以执行编码。另外，根据本公开内容的第二方面，可以通过优化变换跳跃来改进编码效率。

本文描述的效果并不一定限于此，而是可以获得在本发明中所描述的任何效果。

附图说明

图1是示出根据本公开内容的第一实施方式的编码装置的示例性配置的框图。

图2是用于描述缩放列表的传送的图。

图3是示出图1的编码单元的示例性配置的框图。

图4是用于描述CU的图。

图5是示出图3的正交变换单元、量化单元和跳跃控制单元的示例性配置的框图。

图6是用于描述通过图5的列表判定单元来判定缩放列表的方法的图。

图7是示出图3的逆量化单元、逆正交变换单元和跳跃控制单元的示例性配置的框图。

图8是示出residual_coding的语法的示例的图。

图9是示出residual_coding的语法的示例的图。

图10是用于描述流生成处理的流程图。

图11是用于描述图10的编码处理的细节的流程图。

图12是用于描述图10的编码处理的细节的流程图。

图13是用于描述图11的水平/垂直正交变换处理的流程图。

图14是用于描述图12的水平/垂直逆正交变换处理的流程图。

图15是示出根据本公开内容的第一实施方式的解码装置的示例性配置的框图。

图16是示出图15的解码单元的示例性配置的框图。

图17是用于描述图15的解码装置的图像生成处理的流程图。

图18是用于描述图17的解码处理的细节的流程图。

图19是示出帧间预测的PU的示例的图。

图20是示出帧间预测的PU的形状的图。

图21是示出根据本公开内容的第二实施方式的编码装置的编码单元的示例性配置的框图。

图22是用于描述由旋转单元执行的旋转处理的图。

图23是用于描述图21的编码单元的编码处理的流程图。

图24是用于描述图21的编码单元的编码处理的流程图。

图25是用于描述图23的旋转处理的细节的流程图。

图26是示出根据本公开内容的第二实施方式的解码装置的解码单元的示例性配置的框图。

图27是用于描述图26的解码单元的解码处理的流程图。

图28是示出计算机的示例性硬件配置的框图。

图29是示出示例性多视图图像编码方案的图。

图30是示出应用了本公开内容的多视图图像编码装置的示例性配置的图。

图31是示出应用了本公开内容的多视图图像解码装置的示例性配置的图。

图32是示出示例性可伸缩图像编码方案的图。

图33是用于描述示例性空间可伸缩编码的图。

图34是用于描述示例性时间可伸缩编码的图。

图35是用于描述信噪比的示例性可伸缩编码的图。

图36是示出应用了本公开内容的可伸缩图像编码装置的示例性配置的图。

图37是示出应用了本公开内容的可伸缩图像解码装置的示例性配置的图。

图38是示出应用了本公开内容的电视装置的示例性示意配置的图。

图39是示出应用了本公开内容的移动电话的示例性示意的图。

图40是示出应用了本公开内容的记录/重现装置的示例性示意配置的图。

图41是示出应用了本公开内容的成像装置的示例性示意的图。

图42是示出可伸缩编码应用例的框图。

图43是示出另一可伸缩编码应用例的框图。

图44是示出另一可伸缩编码应用例的框图。

图45示出应用了本公开内容的视频集合的示例性示意配置。

图46示出应用了本公开内容的视频处理器的示例性示意配置。

图47示出应用了本公开内容的视频处理器的另一示例性示意配置。

具体实施方式

<第一实施方式>

(根据第一实施方式的编码装置的示例性配置)

图1是示出根据本公开内容的第一实施方式的编码装置的示例性配置的框图。

图1的编码装置10包括设置单元11、编码单元12和传送单元13，并且根据基于HEVC方案的方案对图像进行编码。

具体地，编码装置10的设置单元11设置包括缩放列表(量化矩阵)的序列参数集(SPS)。设置单元11设置图片参数集(PPS)，该图片参数集包括缩放列表、跳跃许可信息(transform_skip_enabled_flag)等，该跳跃许可信息指示变换跳跃的应用是否被许可。当许可变换跳跃的应用时，跳跃许可信息为1，以及当未许可变换跳跃的应用时，跳跃许可信息为0。

设置单元11设置视频可用性信息(VUI)、补充增强信息(SEI)等。设置单元11将所设置的参数集如SPS、PPS、VUI和SEI提供给编码单元12。

将帧单位的图像输入到编码单元12。编码单元12根据基于HEVC方案的方案、参考从设置单元11提供的参数集，对输入图像进行编码。编码单元12从参数集和由编码所获得的编码数据生成编码流，并且将编码流提供给传送单元13。

传送单元13将从编码单元12提供的编码流传送至后面将要描述的解码装置。

(缩放列表的传送的描述)

图2是用于描述缩放列表的传送的图。

在HEVC中，可以选择4×4像素、8×8像素、16×16像素或32×32像素作为TU尺寸，如图2所示。因此，针对所述尺寸中的每个尺寸准备缩放列表。然而，由于具有大尺寸例如16×16像素或32×32像素的TU的缩放列表的数据量较大，所以缩放列表的传送降低了编码效率。

在这点上，将具有大尺寸如16×16像素或32×32像素的TU的缩放列表下采样为8×8矩阵、设置为SPS或PPS、并且进行传送，如图2所示的那样。然而，直流(DC)成分对图像质量具有较大的影响，并且因此将DC成分单独传送。

解码装置通过零阶保持对所传送的作为8×8矩阵的缩放列表进行上采样，并且恢复具有大尺寸如16×16像素或32×32像素的TU的缩放列表。

(编码单元的示例性配置)

图3是示出图1的编码单元12的示例性配置的框图。

图3的编码装置12包括A/D转换器31、画面重排缓冲器32、运算单元33、正交变换单元34、量化单元35、无损编码单元36、累积缓冲器37、逆量化单元38、逆正交变换单元39以及加法单元40。编码单元12还包括去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46、运动预测/补偿单元47、预测图像选择单元48以及速率控制单元49。编码单元12还包括跳跃控制单元50和跳跃控制单元51。

编码单元12的A/D转换器31对作为编码对象输入的帧单位的图像执行A/D转换。A/D转换器31输出作为经转换的数字信号的图像，该图像将被存储在画面重排缓冲器32中。

画面重排缓冲器32按照根据GOP结构的编码顺序，对所存储的显示顺序的帧单位的图像进行重排。画面重排缓冲器32将重排的图像输出至运算单元33、帧内预测单元46、以及运动预测/补偿单元47。

运算单元33通过从画面重排缓冲器32提供的图像中减去由预测图像选择单元48提供的预测图像来执行编码。运算单元33将作为结果所获得的图像输出至正交变换单元34作为残差信息(差)。另外，当从预测图像选择单元48没有提供预测图像时，运算单元33将从画面重排缓冲器32读取的图像未作改变地输出至正交变换单元34作为残差信息。

正交变换单元34基于从跳跃控制单元50提供的控制信号，以TU为单位来针对从运算单元33提供的残差信息在水平方向上执行正交变换处理。另外，正交变换单元34基于控制信号，以TU为单位来针对在水平方向上的正交变换处理的结果，在垂直方向上执行正交变换处理。

TU的尺寸包括4×4像素、8×8像素、16×16像素和32×32像素。正交变换方案的示例包括离散余弦变换(DCT)。通过将DCT的在TU为32×32像素时的正交变换矩阵稀疏为1/8、1/4或1/2，获得DCT的在TU为4×4像素、8×8像素或16×16像素时的正交变换矩阵。因此，正交变换单元34优选地包括与TU的所有尺寸共同的运算单元，并且正交变换单元34不需要包括针对TU的每个尺寸的运算单元。

另外，当最佳预测模式是帧内预测模式以及TU为4×4像素时，将离散正弦变换(DST)用作正交变换方案。如上所述，当最佳预测模式是帧内预测模式以及TU为4×4像素时，即，当显著的是随着更接近编码相邻图像则残差信息减小时，将DST用作正交变换方案，并且因此改进了编码效率。

正交变换单元34将在垂直方向上经历了正交变换处理的残差信息提供给跳跃控制单元50作为最终的正交变换处理结果。另外，正交变换单元34将与由跳跃控制单元50判定的最佳变换跳跃对应的正交变换处理结果提供给量化单元35。

量化单元35保存在SPS或PPS中所包括的每个TU尺寸的缩放列表。量化单元35基于表示从跳跃控制单元50提供的最佳变换跳跃的变换跳跃信息和所保存的缩放列表以TU为单位判定缩放列表。量化单元35使用缩放列表以TU为单位对从正交变换单元34提供的正交变换处理结果进行量化。量化单元35将由量化所获得的量化值提供给无损编码单元36。

无损编码单元36获取从跳跃控制单元50提供的变换跳跃信息。无损编码单元36从帧内预测单元46获取表示最佳帧内预测模式的信息(在下文中被称为“帧内预测模式信息”)。另外，无损编码单元36从运动预测/补偿单元47获取表示最佳帧间预测模式的信息(在下文中，称为“帧间预测模式信息”)、运动矢量、指定参考图像的信息等。

另外，无损编码单元36从自适应偏移滤波器42获取与偏移滤波有关的偏移滤波信息，并且从自适应环路滤波器43获取滤波器系数。

无损编码单元36对从量化单元35提供的量化值执行无损编码，如可变长度编码(例如，上下文自适应可变长度编码(CAVLC))或算术编码(例如，上下文自适应二进制算术编码(CABAC))。

另外，无损编码单元36针对帧内预测模式信息和帧间预测模式信息、运动矢量、指定参考图像的信息、变换跳跃信息、偏移滤波信息和滤波器系数中的任一者执行无损编码作为与编码有关的编码信息。无损编码单元36提供经历了无损编码的编码信息和量化值，上述二者将被累积在累积缓冲器37中作为编码数据。

经历了无损编码的编码信息可以被视为经历了无损编码的量化值的报头信息(例如，片报头)。例如，变换跳跃信息被设置为residual_coding。

累积缓冲器37暂时存储从无损编码单元36提供的编码数据。累积缓冲器37将所存储的编码数据与从图1的设置单元11提供的参数集一起提供给传送单元13作为编码流。

从量化单元35输出的量化值还被输入至逆量化单元38。逆量化单元38保存在SPS或PPS中所包括的每个TU尺寸的缩放列表。逆量化单元38基于从跳跃控制单元51提供的变换跳跃信息和所保存的缩放列表以TU为单位判定缩放列表。逆量化单元38使用缩放列表以TU为单位对量化值执行逆量化。逆量化单元38将作为逆量化的结果而获得的正交变换处理结果提供给逆正交变换单元39。

逆正交变换单元39基于从跳跃控制单元51提供的控制信号，以TU为单位来针对从逆量化单元38提供的正交变换处理结果在水平方向上执行逆正交变换处理。然后，逆正交变换单元39基于控制信号，以TU为单位针对在水平方向上经历了逆正交变换处理的正交变换处理结果在垂直方向上执行逆正交变换处理。逆正交变换方案的示例包括逆DCT(IDCT)和逆DST(IDST)。逆正交变换单元39将由在垂直方向上进行逆正交变换处理所获得的残差信息提供给加法单元40。

加法单元40将从逆正交变换单元39提供的残差信息与从预测图像选择单元48提供的预测图像相加，并且对相加结果进行解码。加法单元40将解码图像提供给去块滤波器41和帧存储器44。

去块滤波器41对从加法单元40提供的解码图像执行自适应去块滤波处理以去除块失真，并且将作为结果而获得的图像提供给自适应偏移滤波器42。

自适应偏移滤波器42对经历了由去块效应滤波器41执行的自适应去块滤波处理的图像执行自适应偏移滤波(样本自适应偏移(SAO))处理，以主要去除振铃效应。

具体地，自适应偏移滤波器42针对作为极大编码单位的每个最大编码单位(LCU)判定自适应偏移滤波处理的类型，并且获得在自适应偏移滤波处理中所使用的偏移量。自适应偏移滤波器42使用所获得的偏移量，对经历了自适应去块滤波处理的图像执行所判定类型的自适应偏移滤波处理。

自适应偏移滤波器42将经历了自适应偏移滤波处理的图像提供给自适应环路滤波器43。另外，自适应偏移滤波器42将所执行的自适应偏移滤波处理的类型和表示偏移的信息提供给无损编码单元36作为偏移滤波信息。

例如，自适应环路滤波器43由二维Wiener滤波器构成。自适应环路滤波器43例如以LCU为单位对经历了自适应偏移滤波处理并且从自适应偏移滤波器42提供的图像执行自适应环路滤波(ALF)处理。

具体地，自适应环路滤波器43以LCU为单位计算在自适应环路滤波处理中所使用的滤波器系数，使得作为从画面重排缓冲器32输出的图像的原始图像与经历了自适应环路滤波处理的图像之间的残差最小化。然后，自适应环路滤波器43使用所计算出的滤波器系数以LCU为单位对经历了自适应偏移滤波处理的图像执行自适应环路滤波处理。

自适应环路滤波器43将经历了自适应环路滤波处理的图像提供给帧存储器44。另外，自适应环路滤波器43将在自适应环路滤波处理中所使用的滤波器系数提供给无损编码单元36。

在此，假定自适应环路滤波处理是以LCU为单位来执行的，但自适应环路滤波处理的处理单位不限于LCU。在此，由于自适应偏移滤波器42的处理单位与自适应环路滤波器43的处理单位是相同的，所以可以有效地执行处理。

帧存储器44累积从自适应环路滤波器43提供的图像和从加法单元40提供的图像。在帧存储器44中累积的但没有经历滤波处理的图像当中预测单位(PU)的相邻图像经由开关45被提供给帧内预测单元46作为相邻图像。另一方面，经历了滤波处理并在帧存储器44中累积的图像经由开关45被输出至运动预测/补偿单元47作为参考图像。

帧内预测单元46使用经由开关45从帧存储器44读取的相邻图像，以PU为单位执行作为候选的所有帧内预测模式的帧内预测处理。

另外，基于从画面重排缓冲器32读取的图像和作为帧内预测处理的结果而生成的预测图像，帧内预测单元46针对作为候选的所有帧内预测模式计算成本函数值(这将在后面进行详细描述)。然后，帧内预测单元46将成本函数值最小的帧内预测模式判定为最佳帧内预测模式。

帧内预测单元46将以最佳帧内预测模式生成的预测图像以及相应的成本函数值提供给预测图像选择单元48。当预测图像选择单元48给出了表示以最佳帧内预测模式生成的预测图像被选择的通知时，帧内预测单元46将帧内预测模式信息提供给无损编码单元36。

另外，成本函数值还被称为速率失真(RD)成本，并且成本函数值是基于由作为例如在H.264/AVC方案中的参考软件的联合模型(JM)判定的高复杂度模式和低复杂度模式中的任一者的技术来计算的。另外，在http://iphome.hhi.de/suehring/tml/index.htm中可找到H.264/AVC方案中的参考软件。

具体地，当采用高复杂度模式作为成本函数值计算技术时，相当于假定对作为候选的所有预测模式执行解码，并且在各预测模式下计算由以下公式(1)表示的成本函数值。

[数学公式1]

Cost(Mode)＝D+λ·R...(1)

D表示原始图像与解码图像之间的差(失真)，R表示包括相当于正交变换系数的生成编码量，以及λ表示根据量化参数QP给出的拉格朗日待定乘子。□

同时，当采用低复杂度模式作为成本函数值计算技术时，对作为候选的所有预测模式执行预测图像的生成和编码信息的编码量的计算，并且在各预测模式下计算由以下公式(2)表示的成本函数。

[数学公式2]

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit...(2)

D表示原始图像与预测图像之间的差(失真)，Header_Bit表示编码信息的编码量，以及QPtoQuant表示根据量化参数QP所给出的函数。

在低复杂度模式下，由于对于所有预测模式仅需要生成预测图像而没有必要生成解码图像，所以计算量较小。

帧内预测模式是表示PU的尺寸、预测方向等的模式。

运动预测/补偿单元47以PU为单位针对作为候选的所有帧间预测模式执行运动预测/补偿处理。具体地，基于从画面重排缓冲器32提供的图像和通过开关45从帧存储器44读取的参考图像，运动预测/补偿单元47以PU为单位检测作为候选的所有帧间预测模式的运动矢量。运动预测/补偿单元47基于所检测出的运动矢量以PU为单位对参考图像执行补偿处理，并且生成预测图像。

此时，运动预测/补偿单元47基于预测图像和从画面重排缓冲器32提供的图像，针对作为候选的所有帧间预测模式计算成本函数值，并且将成本函数值最小的帧间预测模式判定为最佳帧间预测模式。然后，运动预测/补偿单元47将最佳帧间预测模式的成本函数值和对应的预测图像提供给预测图像选择单元48。另外，当从预测图像选择单元48给出了表示以最佳帧间预测模式生成的预测图像被选择的通知时，运动预测/补偿单元47将帧间预测模式信息、相应运动矢量、指定参考图像的信息等输出至无损编码单元36。帧间预测模式是表示PU的尺寸等的模式。

基于从帧内预测单元46和运动预测/补偿单元47提供的成本函数值，预测图像选择单元48将相应的成本函数值中较小的最佳帧内预测模式和最佳帧间预测模式中的一个判定为最佳预测模式。然后，预测图像选择单元48将最佳预测模式的预测图像提供给运算单元33和加法单元40。另外，预测图像选择单元48向帧内预测单元46或运动预测/补偿单元47通知最佳预测模式的预测图像被选择。

速率控制单元49基于在累积缓冲器37中所累积的编码数据来控制量化单元35的量化操作的速率，使得既不发生上溢也不发生下溢。

当TU为4×4像素时，跳跃控制单元50将用于执行控制使得执行水平方向上的变换跳跃的水平跳跃开启信号和用于执行控制使得执行垂直方向上的变换跳跃的垂直跳跃开启信号提供给正交变换单元34作为控制信号。另外，跳跃控制单元50将垂直跳跃开启信号和用于执行控制使得不执行水平方向上的变换跳跃的水平跳跃关闭信号提供给正交变换单元34作为控制信号。

另外，跳跃控制单元50将水平跳跃开启信号和用于执行控制使得不执行垂直方向上的变换跳跃的垂直跳跃关闭信号提供给正交变换单元34作为控制信号。此外，跳跃控制单元50将水平跳跃关闭信号和垂直跳跃关闭信号提供给正交变换单元34作为控制信号。

当TU尺寸为4×4像素时，跳跃控制单元50根据控制信号以TU为单位，针对从正交变换单元34提供的四个正交变换处理结果计算成本函数值。跳跃控制单元50以TU为单位，生成如下变换跳跃信息：该变换跳跃信息指示与其中成本函数值最小的正交变换处理结果相对应的变换跳跃在水平方向和垂直方向上的存在或不存在作为最佳变换跳跃。另外，跳跃控制单元50再次将对应于最佳变换跳跃的控制信号提供给正交变换单元34。

当TU尺寸不为4×4像素时，跳跃控制单元50生成表示在水平方向和垂直方向上不存在变换跳跃的变换跳跃信息作为最佳变换跳跃。另外，跳跃控制单元50将水平跳跃关闭信号和垂直跳跃关闭信号提供给正交变换单元34作为与最佳变换跳跃控制对应的控制信号。跳跃控制单元50将所生成的变换跳跃信息提供给量化单元35、无损编码单元36以及跳跃控制单元51。

跳跃控制单元51将从跳跃控制单元50提供的变换跳跃信息提供给逆量化单元38。另外，跳跃控制单元51将与由变换跳跃信息表示的最佳变换跳跃对应的控制信号提供给逆正交变换单元39。

(编码单位的描述)

图4是用于描述作为HEVC方案中的编码单位的编码单位(CU)的图。

在HEVC方案中，由于大图像帧如4000×2000像素的超高清晰度(UHD)的图像也是目标，所以将编码单位的尺寸固定为16×16像素不是最佳的。因此，在HEVC方案中，将CU定义为编码单位。

在AVC方案中CU承担着与宏块相同的作用。具体地，将CU划分成PU或TU。

然而，CU的尺寸是对于每个序列变化的正方形，并且由2的幂的像素表示。具体地，CU被设置为使得作为CU的最大尺寸的LCU在水平方向和垂直方向上被2分割任意次数，使得LCU不小于作为CU的最小尺寸的最小编码单位(SCU)。换言之，当LCU被分层为使得上层的尺寸是下层的尺寸的四分之一(1/4)直到LCU变成SCU为止时，任意层的尺寸为CU的尺寸。

例如，在图4中，LCU的尺寸为128，SCU的尺寸为8。因此，LCU的分层深度为0至4，分层深度数目为5。换言之，与CU对应的划分数目为0至4中的任一个。

另外，指定LCU和SCU的尺寸的信息被包括在SPS中。由表示在每个层中是否执行进一步分割的split_flag指定与CU对应的划分数目。CU的细节在非专利文献1中有所描述。

与CU的split_flag类似，可以使用split_transform_flag来指定TU尺寸。在帧间预测时TU的最大划分数目和在帧内预测时TU的最大划分数目由SPS分别指定为max_transform_hierarchy_depth_inter和max_transform_hierarchy_depth_intra。

在本说明书中，编码树单位(CTU)被假定为包括LCU的编码树块(CTB)以及当对LCU基(等级)执行处理时所使用的参数的单位。另外，将构成CTU的CU假定为包括编码块(CB)和当对CU基(等级)执行处理时所使用的参数的单位。

(正交变换单元34、量化单元35以及跳跃控制单元50的示例性配置)

图5是示出图3的正交变换单元34、量化单元35和跳跃控制单元50的示例性配置的框图。

如图5所示，正交变换单元34包括水平方向运算单元71和垂直方向运算单元72。

正交变换单元34的水平方向运算单元71基于从跳跃控制单元50提供的控制信号，以TU为单位来针对从图3的运算单元33提供的残差信息在水平方向上执行正交变换处理。具体地，水平方向运算单元71基于水平跳跃关闭信号，以TU为单位来针对残差信息在水平方向上执行正交变换。然后，水平方向运算单元71将作为结果获得的正交变换系数提供给垂直方向运算单元72作为水平方向上的正交变换处理的结果。

另外，水平方向运算单元71基于水平跳跃开启信号，以TU为单位对残差信息执行水平方向上的变换跳跃。然后，水平方向运算单元71将从运算单元33提供的残差信息提供给垂直方向运算单元72作为水平方向上的正交变换处理结果。

垂直方向运算单元72基于从跳跃控制单元50提供的控制信号，以TU为单位来针对从水平方向运算单元71提供的水平方向上的正交变换处理的结果，在垂直方向上执行正交变换处理。具体地，垂直方向运算单元72基于垂直跳跃关闭信号，以TU为单位来针对水平方向上的正交变换处理的结果，在垂直方向上执行正交变换。然后，当从跳跃控制单元50提供的控制信号不是与再次提供的最佳变换跳跃对应的控制信号时，垂直方向运算单元72将作为垂直方向上的正交变换的结果而获得的正交变换系数提供给跳跃控制单元50作为最终的正交变换处理结果。

另外，垂直方向运算单元72基于垂直跳跃开启信号，以TU为单位来针对水平方向上的正交变换处理的结果，在垂直方向上执行变换跳跃。然后，当从跳跃控制单元50提供的控制信号不是与再次提供的最佳变换跳跃对应的控制信号时，垂直方向运算单元72将水平方向上的正交变换处理的结果提供给跳跃控制单元50作为最终的正交变换处理结果。

然后，当从跳跃控制单元50提供的控制信号是与再次提供的最佳变换跳跃对应的控制信号时，垂直方向运算单元72将最终的正交变换处理结果提供给量化单元35。

跳跃控制单元50包括控制单元81和判定单元82。

当TU尺寸为4×4像素时，跳跃控制单元50的控制单元81按照所描述的顺序以TU为单位，生成水平跳跃关闭信号和垂直跳跃关闭信号、水平跳跃开启信号和垂直跳跃关闭信号、水平跳跃关闭信号和垂直跳跃开启信号、以及水平跳跃关闭信号和垂直跳跃关闭信号作为控制信号。控制单元81以TU为单位将控制信号提供给正交变换单元34。另外，控制单元81以TU为单位，将与从判定单元82提供的最佳变换跳跃对应的控制信号提供给水平方向运算单元71和垂直方向运算单元72。

当TU尺寸为4×4像素时，判定单元82以TU为单位，针对从垂直方向运算单元72提供的四个正交变换处理结果计算成本函数值。判定单元82以TU为单位，将与其中成本函数值最小的正交变换处理结果对应的水平方向和垂直方向上的变换跳跃的存在或不存在判定作为最佳变换跳跃。另一方面，当TU尺寸不为4×4像素时，判定单元82以TU为单位将不存在水平方向和垂直方向上的变换跳跃判定为最佳变换跳跃。

判定单元82以TU为单位将最佳变换跳提供给控制单元81。另外，判定单元82以TU为单位生成变换跳跃信息，并且将该变换跳跃信息提供给量化单元35、无损编码单元36以及跳跃控制单元51。

量化单元35包括列表判定单元91和运算单元92。

列表判定单元91保存在SPS或PPS中所包括的每个TU尺寸的缩放列表。列表判定单元91基于从判定单元82提供的变换跳跃信息和所保存的缩放列表，以TU为单位判定缩放列表，并且将所判定的缩放列表提供给运算单元92。

正交运算单元92使用从列表判定单元91提供的缩放列表，以TU为单位对从垂直方向运算单元72提供的正交变换处理结果执行量化。量化操作的速率由速率控制单元49来控制。运算单元92将作为量化的结果而获得的量化值提供给图3的无损编码单元36和逆量化单元38。

(缩放列表判定方法的描述)

图6是用于描述通过图5的列表判定单元91来判定缩放列表的方法的图。

如图6所示，当变换跳跃信息表示不存在水平方向上的变换跳跃而存在垂直方向上的变换跳跃时，列表判定单元91读取当前TU的尺寸(在图6为8×8像素)的缩放列表的第一行的值。然后，列表判定单元91将其中第一行的读取值被用作所有行的值的缩放列表判定为当前TU的缩放列表。换言之，当仅对当前TU执行垂直方向上的变换跳跃时，将在行方向上改变而在列方向上不改变的缩放列表判定为当前TU的缩放列表。

在另一方面，当如图6所示的那样变换跳跃信息表示不存在垂直方向上的变换跳跃而存在水平方向上的变换跳跃时，列表判定单元91读取当前TU的尺寸(在图6的示例中为8×8像素)的缩放列表的第一列的值。然后，列表判定单元91将其中第一列的读取值被用作所有列的值的缩放列表判定为当前TU的缩放列表。换言之，当仅对当前TU执行水平方向上的变换跳跃时，将在列方向上改变而在行方向上不改变的缩放列表判定为当前TU的缩放列表。

另外，当变换跳跃信息表示存在水平方向和垂直方向上的变换跳跃时，列表判定单元91将其中所保存的缩放列表的DC分量施加至所有分量的缩放列表判定为当前TU的缩放列表。在此情况下，列表判定单元91可以将平面矩阵判定为当前TU的缩放列表。

如上所述，当在水平方向和垂直方向中的任一者上执行了变换跳跃时，不使用其中执行了变换跳跃的方向上的缩放列表。作为结果，可以防止当在像素域中执行了变换跳跃的方向上的正交变换处理结果被量化时使用频域中的加权系数。因此，改进了编码效率。

(逆量化单元38、逆正交变换单元39和跳跃控制单元51的示例性配置)

图7是示出图3的逆量化单元38、逆正交变换单元39和跳跃控制单元51的示例性配置的框图。

如图7所示，跳跃控制单元51包括接收单元101和控制单元102。

跳跃控制单元51的接收单元101以TU为单位接收来自跳跃控制单元50的变换跳跃信息。接收单元101以TU为单位将变换跳跃信息提供给逆量化单元38和控制单元102。

控制单元102基于从接收单元101提供的变换跳跃信息，以TU为单位生成水平跳跃开启信号和水平跳跃关闭信号中之一和垂直跳跃开启信号和垂直跳跃关闭信号中之一作为控制信号。

具体地，当变换跳跃信息表示不存在水平方向和垂直方向上的变换跳跃时，控制单元102生成水平跳跃关闭信号和垂直跳跃关闭信号作为控制信号。另外，当变换跳跃信息表示存在水平方向上的变换跳跃而不存在垂直方向上的变换跳跃时，控制单元102生成水平跳跃开启信号和垂直跳跃关闭信号作为控制信号。

另一方面，当变换跳跃信息表示不存在水平方向上的变换跳跃而存在垂直方向上的变换跳跃时，控制单元102生成水平跳跃关闭信号和垂直跳跃开启信号作为控制信号。另外，当变换跳跃信息表示存在水平方向和垂直方向上的变换跳跃时，控制单元102生成水平跳跃开启信号和垂直跳跃开启信号作为控制信号。控制单元102将所生成的控制信号提供给逆正交变换单元39。

逆量化单元38包括列表判定单元103和运算单元104。

列表判定单元103保存在SPS或PPS中所包括的每个TU尺寸的缩放列表。类似于图5的列表判定单元91，列表判定单元103基于从接收单元101提供的变换跳跃信息和所保存的缩放列表，以TU为单位判定缩放列表。列表判定单元103以TU为单位将缩放列表提供给运算单元104。

运算单元104使用从列表判定单元103提供的缩放列表，以TU为单位对从图5的运算单元92提供的量化值执行逆量化。运算单元104将由逆量化所获得的正交变换处理结果提供给逆正交变换单元39。

逆正交变换单元39包括水平方向运算单元105和垂直方向运算单元106。

逆正交变换单元39的水平方向运算单元105基于从控制单元102提供的控制信号，以TU为单位来针对从运算单元104提供的正交变换处理结果在水平方向上执行逆正交变换处理。

具体地，水平方向运算单元105基于水平跳跃关闭信号，以TU为单位来针对正交变换处理结果在水平方向上执行逆正交变换。然后，水平方向运算单元105将通过针对正交变换处理结果在水平方向上执行逆正交变换而获得的结果提供给垂直方向运算单元106，作为水平方向上的逆正交变换处理的结果。

另外，水平方向运算单元105基于水平跳跃开启信号，以TU为单位对正交变换处理结果执行水平方向上的变换跳跃。然后，水平方向运算单元105将正交变换处理结果提供给垂直方向运算单元106，作为水平方向上的逆正交变换处理的结果。

垂直方向运算单元106基于从控制单元102提供的控制信号，以TU为单位对从水平方向运算单元105提供的水平方向上的逆正交变换处理的结果，在垂直方向上执行逆正交变换处理。

具体地，垂直方向运算单元106基于垂直跳跃关闭信号，以TU为单位来针对水平方向上的逆正交变换处理的结果，在垂直方向上执行逆正交变换。然后，垂直方向运算单元106将作为垂直方向上的逆正交变换的结果而获得的残差信息提供给图3的加法单元40。

另外，垂直方向运算单元106基于垂直跳跃开启信号，以TU为单位来针对水平方向上的逆正交变换处理的结果，在垂直方向上执行变换跳跃。然后，垂直方向运算单元106将作为水平方向上的逆正交变换处理结果的残差信息提供给加法单元40。

(residual_coding的语法的示例)

图8和图9是示出residual_coding的语法的示例的图。

对于每个TU，TU的变换跳跃信息(transform_skip_indicator)被设置为residual_coding，如图8所示。变换跳跃信息是表示最佳变换跳跃的信息，也就是识别对残差信息已经执行了水平方向上的变换跳跃和垂直方向上的变换跳跃中的哪一个的信息。

当表示不存在水平方向和垂直方向上的变换跳跃时变换跳跃信息为0，以及当表示存在水平方向上的变换跳跃而不存在垂直方向上的变换跳跃时变换跳跃信息为1。另外，当表示不存在水平方向上的变换跳跃而存在垂直方向上的变换跳跃时变换跳跃信息为2，以及当表示存在水平方向和垂直方向上的变换跳跃时变换跳跃信息为3。

另一方面，在其中难以在水平方向和垂直方向上分别设置变换跳跃的存在或不存在的HEVC中，用以识别在水平方向和垂直方向上均已经执行了变换跳跃的变换跳跃标志(transform_skip_flag)被设置为residual_coding。当表示已经执行了变换跳跃时变换跳跃标志为1，以及当表示还没有执行变换跳跃时变换跳跃标志为0。

(编码装置的处理的描述)

图10是用于描述图1的编码装置10的流生成处理的流程图。

在图10的步骤S11中，编码装置10的设置单元11设置参数集。设置单元11将所设置的参数集提供给编码单元12。

在步骤S12中，编码单元12根据基于HEVC方案的方案来执行用于对从外部输入的帧单位的图像进行编码的编码处理。随后将参考图11和图12来描述编码处理的细节。

在步骤S13中，编码单元12(图3)的累积缓冲器37根据从设置单元11提供的参数集和累积在累积缓冲器37中的编码数据来生成编码流，并且将编码流提供给传送单元13。

在步骤S14中，传送单元13将从设置单元11提供的编码流传送至将在后面描述的解码装置，并且结束处理。

图11和图12是用于描述图10的步骤S12的编码处理的细节的流程图。

在图11的步骤S31中，编码单元12(图3)的A/D转换器31对作为编码对象输入的帧单位的图像执行A/D转换。A/D转换器31输出作为经转换的数字信号的图像，该图像将被存储在画面重排缓冲器32中。

在步骤S32中，画面重排缓冲器32根据GOP结构，按照编码顺序对所存储的显示顺序的帧图像的进行重排。画面重排缓冲器32将重排的帧单位的图像提供给运算单元33、帧内预测单元46、以及运动预测/补偿单元47。

在步骤S33中，帧内预测单元46以PU为单位，执行作为候选的所有帧内预测模式的帧内预测处理。另外，基于从画面重排缓冲器32读取的图像和作为帧内预测处理的结果而生成的预测图像，帧内预测单元46针对作为候选的所有帧内预测模式计算成本函数值。然后，帧内预测单元46将成本函数值最小的帧内预测模式判定为最佳帧内预测模式。帧内预测单元46将以最佳帧内预测模式生成的预测图像以及相应的成本函数值提供给预测图像选择单元48。

运动预测/补偿单元47以PU为单位对作为候选的所有帧间预测模式执行运动预测/补偿处理。运动预测/补偿单元47基于预测图像和从画面重排缓冲器32提供的图像，针对作为候选的所有帧间预测模式计算成本函数值，并且将成本函数值最小的帧间预测模式判定为最佳帧间预测模式。然后，运动预测/补偿单元47将最佳帧间预测模式的成本函数值和对应的预测图像提供给预测图像选择单元48。

在步骤S34中，基于通过步骤S33的处理从帧内预测单元46和运动预测/补偿单元47提供的成本函数值，预测图像选择单元48将相应的成本函数值中较小的最佳帧内预测模式和最佳帧间预测模式中的一个判定为最佳预测模式。然后，预测图像选择单元48将最佳预测模式的预测图像提供给运算单元33和加法单元40。

在步骤S35中，预测图像选择单元48确定最佳预测模式是否为最佳帧间预测模式。当在步骤S35中确定出最佳预测模式是最佳帧间预测模式时，预测图像选择单元48向运动预测/补偿单元47给出表示以最佳帧间预测模式生成的预测图像被选择的通知。

然后，在步骤S36中，运动预测/补偿单元47将帧间预测模式信息、运动矢量以及指定参考图像的信息提供给无损编码单元36，并且处理前进至步骤S38。

另一方面，当在步骤S35中确定出最佳预测模式不是最佳帧间预测模式时，即，当最佳预测模式是最佳帧内预测模式时，预测图像选择单元48向帧内预测单元46给出表示以最佳帧内预测模式生成的预测图像被选择的通知。然后，在步骤S37中，帧内预测单元46将帧内预测模式信息提供给无损编码单元36，并且处理前进至步骤S38。

在步骤S38中，运算单元33通过从画面重排缓冲器32提供的图像中减去由预测图像选择单元48提供的预测图像来执行编码。运算单元33将作为结果而获得的图像输出至正交变换单元34作为残差信息。

在步骤S39中，编码单元12执行水平/垂直正交变换处理，其中以TU为单位针对残差信息在水平方向和垂直方向上执行正交变换处理。将参考后面要说明的图13来详细描述水平/垂直正交变换处理。

在步骤S40中，量化单元35(图5)的列表判定单元91基于从跳跃控制单元50提供的变换跳跃信息和所保存的缩放列表，以TU为单位判定缩放列表。列表判定单元91以TU为单位将缩放列表提供给运算单元92。

在步骤S41中，运算单元92使用从列表判定单元91提供的缩放列表，以TU为单位对从正交变换单元34提供的正交变换处理结果进行量化。量化单元35将作为量化的结果而获得的量化值提供给无损编码单元36和逆量化单元38。

在图12的步骤S42中，逆量化单元38(图7)的列表判定单元103基于从跳跃控制单元50提供的变换跳跃信息和所保存的缩放列表，以TU为单位判定缩放列表。列表判定单元103以TU为单位将缩放列表提供给运算单元104。

在步骤S43中，运算单元104使用从列表判定单元103提供的缩放列表，以TU为单位对从运算单元92提供的量化值执行逆量化。运算单元104将由逆量化所获得的正交变换处理结果提供给逆正交变换单元39。

在步骤S44中，编码单元12执行水平/垂直逆正交变换处理，其中基于变换跳跃信息以TU为单位来针对正交变换处理结果在水平方向和垂直方向上执行逆正交变换处理。将参考后面要说明的图14来详细描述水平/垂直逆正交变换处理。

在步骤S45中，加法单元40将从逆正交变换单元39(图7)的垂直方向运算单元106提供的残差信息与从预测图像选择单元48提供的预测图像相加，并且对相加结果进行解码。加法单元40将解码图像提供给去块滤波器41和帧存储器44。

在步骤S46中，去块滤波器41对从加法单元40提供的解码图像执行去块滤波处理。去块滤波器41将作为结果而获得的图像提供给自适应偏移滤波器42。

在步骤S47中，自适应偏移滤波器42针对每个LCU对从去块滤波器41提供的图像执行自适应偏移滤波处理。自适应偏移滤波器42将作为结果而获得的图像提供给自适应环路滤波器43。另外，自适应偏移滤波器42针对每个LCU将偏移滤波信息提供给无损编码单元36。

在步骤S48中，自适应环路滤波器43针对每个LCU，对从自适应偏移滤波器42提供的图像执行自适应环路滤波处理。自适应环路滤波器43将作为结果而获得的图像提供给帧存储器44。另外，自适应环路滤波器43将在自适应环路滤波处理中所使用的滤波器系数提供给无损编码单元36。

在步骤S49中，帧存储器44累积从自适应环路滤波器43提供的图像和从加法单元40提供的图像。在帧存储器44中累积的但没有经历滤波处理的图像当中PU中的相邻图像经由开关45被提供给帧内预测单元46作为相邻图像。另一方面，经历了滤波处理并在帧存储器44中累积的图像经由开关45被输出至运动预测/补偿单元47作为参考图像。

在步骤S50中，无损编码单元36对帧内预测模式信息和帧间预测模式信息、运动矢量、指定参考图像的信息、变换跳跃信息、偏移滤波信息和滤波器系数中的任一者执行无损编码作为编码信息。

在步骤S51中，无损编码单元36对从量化单元35提供的量化值执行无损编码。然后，无损编码单元36根据在步骤S50的处理中经历了无损编码的编码信息和经历了无损编码的量化值来生成编码数据，并且将所生成的编码数据提供给累积缓冲器37。

在步骤S52中，累积缓冲器37暂时累积从无损编码单元36提供的编码数据。

在步骤S53中，速率控制单元49基于在累积缓冲器37中所累积的编码数据，控制量化单元35的量化操作的速率，使得既不发生上溢也不发生下溢。然后，该处理返回至图10的步骤S12，然后前进至步骤S13。

在图11和图12的编码处理中，为了简化描述，不断地执行帧内预测处理和运动预测/补偿处理，但实际上，可以根据图像类型等仅执行帧内预测处理和运动预测/补偿处理中的一个。

图13是用于描述图11的步骤S39的水平/垂直正交变换处理的流程图。水平/垂直正交变换处理是以TU为单位来执行的。

在图13的步骤S71中，跳跃控制单元50(图5)的控制单元81确定TU尺寸是否为4×4像素。当在步骤S71中确定出TU尺寸为4×4像素时，该处理前进至步骤S72。

在步骤S72中，控制单元81生成水平跳跃关闭信号和垂直跳跃关闭信号，并且将水平跳跃关闭信号和垂直跳跃关闭信号提供给水平方向运算单元71和垂直方向运算单元72作为控制信号。

在步骤S73中，正交变换单元34的水平方向运算单元71基于从控制单元81提供的水平跳跃关闭信号，针对从运算单元33提供的残差信息在水平方向上执行正交变换。然后，水平方向运算单元71将作为结果获得的正交变换系数提供给垂直方向运算单元72作为水平方向上的正交变换处理的结果。

在步骤S74中，垂直方向运算单元72基于从控制单元81提供的垂直跳跃关闭信号，针对从水平方向运算单元71提供的水平方向上的正交变换处理的结果在垂直方向上执行正交变换。然后，垂直方向运算单元72将作为结果而获得正交变换系数提供给判定单元82作为最终的正交变换处理结果。

在步骤S75中，控制单元81生成水平跳跃开启信号和垂直跳跃关闭信号，并且将水平跳跃开启信号和垂直跳跃关闭信号提供给水平方向运算单元71和垂直方向运算单元72作为控制信号。因此，水平方向运算单元71基于水平跳跃开启信号来执行变换跳跃，并且将从运算单元33提供的残差信息提供给垂直方向运算单元72作为水平方向上的正交变换处理结果。

在步骤S76中，垂直方向运算单元72基于从控制单元81提供的垂直跳跃关闭信号，针对从水平方向运算单元71提供的水平方向上的正交变换处理的结果，在垂直方向上执行正交变换。然后，垂直方向运算单元72将作为结果而获得正交变换系数提供给判定单元82作为最终的正交变换处理结果。

在步骤S77中，控制单元81生成水平跳跃关闭信号和垂直跳跃开启信号，并且将水平跳跃关闭信号和垂直跳跃开启信号提供给水平方向运算单元71和垂直方向运算单元72作为控制信号。

在步骤S78中，水平方向运算单元71基于从控制单元81提供的水平跳跃关闭信号，针对从运算单元33提供的残差信息在水平方向上执行正交变换。然后，水平方向运算单元71将作为结果获得的正交变换系数提供给垂直方向运算单元72作为水平方向上的正交变换处理的结果。垂直方向运算单元72基于从控制单元81提供的垂直跳跃开启信号来执行变换跳跃，并且将从水平方向运算单元71提供的水平方向上的正交变换处理的结果提供给判定单元82作为最终的正交变换处理结果。

在步骤S79中，控制单元81生成水平跳跃开启信号和垂直跳跃开启信号，并且将水平跳跃开启信号和垂直跳跃开启信号提供给水平方向运算单元71和垂直方向运算单元72作为控制信号。

在步骤S80中，水平方向运算单元71和垂直方向运算单元72基于从控制单元81提供的控制信号，执行水平方向上的变换跳跃和垂直方向上的变换跳跃。作为结果，从运算单元33提供的残差信息被提供给判定单元82作为最终的正交变换处理结果。

在步骤S81中，判定单元82通过步骤S74、S76、S78和S80的处理针对从垂直方向运算单元72提供的四个正交变换处理结果计算成本函数值，判定最佳变换跳跃。判定单元82将最佳变换跳跃提供给控制单元81，并且处理前进至步骤S83。

另一方面，当在步骤S71中确定出TU尺寸不为4×4像素时，该处理前进至步骤S82。在步骤S82中，判定单元82将最佳变换跳跃判定为水平方向和垂直方向上不存在变换跳跃。判定单元82将最佳变换跳跃提供给控制单元81，并且处理前进至步骤S83。

在步骤S83中，判定单元82生成表示在步骤S81或步骤S82中所判定的最佳变换跳跃的变换跳跃信息。判定单元82将变换跳跃信息提供给量化单元35、无损编码单元36以及跳跃控制单元51。

在步骤S84中，控制单元81将与从判定单元82提供的最佳变换跳跃对应的控制信号提供给水平方向运算单元71和垂直方向运算单元72。

在步骤S85中，水平方向运算单元71和垂直方向运算单元72基于从控制单元81提供的与最佳变换跳跃对应的控制信号，在水平方向和垂直方向上执行正交变换处理。垂直方向运算单元72将作为结果而获得的最终正交变换处理结果提供给量化单元35。然后，该处理返回至图11的步骤S39，然后前进至步骤S40。

在以上描述中，当TU尺寸为4×4像素时，判定最佳变换跳跃，然后执行与最佳变换跳跃对应的水平方向和垂直方向上的正交变换处理，但这也可以不执行。在此情况下，垂直方向运算单元72暂时保存最终的正交变换处理结果、判定最佳变换跳跃、然后输出与所保存的最佳变换跳跃对应的最终正交变换处理结果。

图14是用于描述图12的步骤S44的水平/垂直逆正交变换处理的流程图。水平/垂直逆正交变换处理是以TU为单位来执行的。

在图14的步骤S101中，跳跃控制单元51(图7)的接收单元101接收从图5的判定单元82提供的变换跳跃信息。

在步骤S102中，控制单元102确定当将变换跳跃信息除以2时余数是否为1。

在确定出当在步骤S102中将变换跳跃信息除以2时余数为1的情况下，即当变换跳跃信息为1或3时，控制单元102生成水平跳跃开启信号。然后，控制单元102将水平跳跃开启信号提供给逆正交变换单元39作为控制信号。

因此，逆正交变换单元39的水平方向运算单元105对从运算单元104提供的正交变换处理结果执行水平方向上的变换跳跃。然后，水平方向运算单元105将从运算单元104提供的正交变换处理结果提供给垂直方向运算单元106作为在水平方向上经历了逆正交变换处理的正交变换处理结果，并且处理前进至步骤S104。

另一方面，在确定出当在步骤S102中将变换跳跃信息除以2时余数不为1的情况下，即当变换跳跃信息为0或2时，控制单元102生成水平跳跃关闭信号。然后，控制单元102将水平跳跃关闭信号提供给逆正交变换单元39作为控制信号。

然后，在步骤S103中，水平方向运算单元105基于水平跳跃关闭信号，对从运算单元104提供的正交变换处理结果在水平方向上执行逆正交变换。然后，水平方向运算单元105将在水平方向上经历了逆正交变换的正交变换处理结果提供给垂直方向运算单元106，作为在水平方向上经历了逆正交变换处理的正交变换处理结果，并且处理前进至步骤S104。

在步骤S104中，控制单元102确定当将从判定单元82提供的变换跳跃信息除以2时商是否为1。

在确定出当在步骤S104中将从判定单元82提供的变换跳跃信息除以2时商为1的情况下，即当变换跳跃信息为2或3时，控制单元102生成垂直跳跃开启信号。然后，控制单元102将垂直跳跃开启信号提供给逆正交变换单元39作为控制信号。

因此，垂直方向运算单元106对从水平方向运算单元105提供的并且在水平方向上经历了逆正交变换处理的正交变换处理结果执行垂直方向上的变换跳跃。然后，垂直方向运算单元106将作为在水平方向上经历了逆正交变换处理的正交变换处理结果的残差信息提供给图3的加法单元40。然后，该处理返回至图12的步骤S44，然后前进至步骤S45。

另一方面，在确定出当在步骤S104中将从判定单元82提供的变换跳跃信息除以2时商不为1的情况下，即当变换跳跃信息为0或1时，控制单元102生成垂直跳跃关闭信号。然后，控制单元102将垂直跳跃关闭信号提供给逆正交变换单元39作为控制信号。

然后，在步骤S105中，垂直方向运算单元106基于垂直跳跃关闭信号，针对从水平方向运算单元105提供的并且在水平方向上经历了逆正交变换处理的正交变换处理结果在垂直方向上执行逆正交变换。然后，垂直方向运算单元106将作为结果而获得的残差信息提供给加法单元40。然后，该处理返回至图12的步骤S44，然后前进至步骤S45。

如上所述，编码装置10可以执行水平方向和垂直方向中的一个方向上的变换跳跃，从而优化了变换跳跃。作为结果，能够改进编码效率。

(根据第一实施方式的解码装置的示例性配置)

图15是示出根据本公开内容的第一实施方式的对从图1的编码装置10传送的编码流进行解码的解码装置的示例性配置的框图。

图15的解码装置110包括接收单元111、提取单元112和解码单元113。

解码装置110的接收单元111接收从图1的编码装置10传送的编码流，并且将编码流提供给提取单元112。

提取单元112从由接收单元111提供的编码流中提取参数集和编码数据，并且将参数集和编码数据提供给解码单元113。

解码单元113根据基于HEVC方案的方案对从提取单元112提供的编码数据进行解码。此时，解码单元113在必要时还引用从提取单元112提供的参数集。解码单元113输出作为解码的结果而获得的图像。

(解码单元的示例性配置)

图16是示出图15的解码单元113的示例性配置的框图。

图16的解码单元113包括累积缓冲器131、无损解码单元132、逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器136、自适应偏移滤波器137、自适应环路滤波138、以及画面重排缓冲器139。解码单元113还包括D/A转换器140、帧存储器141、开关142、帧内预测单元143、运动补偿单元144、开关145、以及跳跃控制单元146。

解码单元113的累积缓冲器131接收来自图15的提取单元112的编码数据并且累积编码数据。累积缓冲器131将所累积的编码数据提供给无损解码单元132。

无损解码单元132通过对从累积缓冲器131提供的编码数据执行无损解码例如可变长度解码或算术解码来获得量化值和编码信息。无损解码单元132将量化值提供给逆量化单元133。另外，无损解码单元132将作为编码信息等的帧内预测模式信息提供给帧内预测单元143。无损解码单元132将运动矢量、帧间预测模式信息、指定参考图像的信息等提供给运动补偿单元144。

另外，无损解码单元132将作为编码信息的帧内预测模式信息和帧间预测模式信息中的一者提供给开关145。无损解码单元132将作为编码信息的偏移滤波信息提供给自适应偏移滤波器137。无损解码单元132将作为编码信息的滤波器系数提供给自适应环路滤波器138。

另外，无损解码单元132将作为编码信息的变换跳跃信息提供给跳跃控制单元146。

对图像进行解码，使得逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器136、自适应偏移滤波器137、自适应环路滤波器138、帧存储器141、开关142、帧内预测单元143、运动补偿单元144以及跳跃控制单元146执行与图3的逆量化单元38、逆正交变换单元39、加法单元40、去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46、运动预测/补偿单元47以及跳跃控制单元51相同的处理。

具体地，逆量化单元133与图7的逆量化单元38具有相似的配置。逆量化单元133保存从图15的提取单元112提供的SPS或PPS中所包含的每个TU尺寸的缩放列表。逆量化单元133基于从跳跃控制单元146提供的变换跳跃信息和所保存的缩放列表以TU为单位判定缩放列表。逆量化单元133使用缩放列表，以TU为单位对从无损解码单元132提供的量化值执行逆量化。逆量化单元133将作为结果而获得的正交变换处理结果提供给逆正交变换单元134。

逆正交变换单元134与图7的逆正交变换单元39具有相似的配置。逆正交变换单元134基于从跳跃控制单元146提供的控制信号，以TU为单位来针对从逆量化单元133提供的正交变换处理结果在水平方向上执行逆正交变换处理。然后，逆正交变换单元134基于控制信号，以TU为单位来针对在水平方向上经历了逆正交变换处理的正交变换处理结果在垂直方向上执行逆正交变换处理。逆正交变换单元134将由在垂直方向上进行逆正交变换处理所获得的残差信息提供给加法单元135。

加法单元135通过将从逆正交变换单元134提供的残差信息与从开关145提供的预测图像相加来执行解码。加法单元135将解码图像提供给去块滤波器136和帧存储器141。

去块滤波器136对从加法单元135提供的图像执行自适应去块滤波处理，并且将作为结果而获得的图像提供给自适应偏移滤波器137。

自适应偏移滤波器137针对每个LCU，使用由从无损解码单元132提供的偏移滤波信息表示的偏移量，针对经历了自适应去块滤波处理的图像执行由偏移滤波信息表示的类型的自适应偏移滤波处理。自适应偏移滤波器137将经历了自适应偏移滤波处理的图像提供给自适应环路滤波器138。

自适应环路滤波器138针对每个LCU，使用从无损解码单元132提供的滤波器系数，针对从自适应偏移滤波器137提供的图像执行自适应环路滤波处理。自适应环路滤波器138将作为结果而获得的图像提供给帧存储器141和画面重排缓冲器139。

画面重排缓冲器139以帧为单位存储从自适应环路滤波器138提供的图像。画面重排缓冲器139按照原始显示次序对所存储的按照编码次序布置的帧单位的图像进行重排，并且将所得到的图像提供至D/A变换器140。

D/A转换器140对从画面重排缓冲器139提供的帧单位的图像执行D/A转换，并且输出所得图像。

帧存储器141累积从自适应环路滤波器138提供的图像和从加法单元135提供的图像。在帧存储器141中累积的但没有经历滤波处理的图像当中PU中的相邻图像经由开关142被提供给帧内预测单元143作为相邻图像。另一方面，经历了滤波处理并在帧存储器141中累积的图像经由开关142被提供给运动补偿单元144作为参考图像。

帧内预测单元143使用经由开关142从帧存储器141读取的相邻图像，执行由从无损解码单元132提供的帧内预测模式信息表示的最佳帧内预测模式的帧内预测处理。帧内预测单元143将作为结果而生成的预测图像提供给开关145。

运动补偿单元144经由开关142，从帧存储器141读取由指定从无损解码单元132提供的参考图像的信息所指定的参考图像。运动补偿单元144使用参考图像和从无损解码单元132提供的运动矢量，执行由从无损解码单元132提供的帧间预测模式信息表示的最佳帧间预测模式的运动补偿处理。运动补偿单元144将作为结果而生成的预测图像提供给开关145。

当由无损解码单元132提供帧内预测模式信息时，开关145将由帧内预测单元143提供的预测图像提供给加法单元135。另一方面，当由无损解码单元132提供了帧间预测模式信息时，开关145将由运动补偿单元144提供的预测图像提供给加法单元135。

跳跃控制单元146与图7的跳跃控制单元51具有相似的配置。跳跃控制单元146接收从无损解码单元132提供的变换跳跃信息，并且将变换跳跃信息提供给逆量化单元133。另外，跳跃控制单元146将与由变换跳跃信息表示的最佳变换跳跃对应的控制信号提供给逆正交变换单元134。

(解码装置的处理的描述)

图17是用于描述图15的解码装置110的图像生成处理的流程图。

在图17的步骤S111中，解码装置110的接收单元111接收从图1的编码装置10传送的编码流，并且将编码流提供给提取单元112。

在步骤S112中，提取单元112从接收单元111提供的编码流提取编码数据和参数集，并且将编码数据和参数集提供给解码单元113。

在步骤S113中，解码单元113根据需要使用从提取单元112提供的参数集，根据基于HEVC方案的方案来执行对从提取单元112提供的编码数据进行解码的解码处理。将参考后面要描述的图18来详细描述解码处理。然后，该处理结束。

图18是用于描述图17的步骤S113的解码处理的细节的流程图。

在图18的步骤S131中，解码单元113(图16)的累积缓冲器131从图15的提取单元112接收帧单位的编码数据，并且累积帧单位的编码数据。累积缓冲器131将所累积的编码数据提供给无损解码单元132。

在步骤S132中，无损解码单元132通过对从累积缓冲器131提供的编码数据执行无损解码来获得量化值和编码信息。无损解码单元132将量化值提供给逆量化单元133。无损解码单元132将作为编码信息的变换跳跃信息提供给跳跃控制单元146。跳跃控制单元146将变换跳跃信息传送提供给逆量化单元133。

另外，无损解码单元132将作为编码信息等的帧内预测模式信息提供给帧内预测单元143。无损解码单元132将运动矢量、帧间预测模式信息、指定参考图像的信息等提供给运动补偿单元144。

另外，无损解码单元132将作为编码信息的帧内预测模式信息和帧间预测模式信息中的一者提供给开关145。无损解码单元132将作为编码信息的偏移滤波信息提供给自适应偏移滤波器137，并且将滤波器系数提供给自适应环路滤波器138。

在步骤S133中，逆量化单元133基于从跳跃控制单元146提供的变换跳跃信息和所保存的缩放列表，以TU为单位判定缩放列表。

在步骤S134中，逆量化单元133使用缩放列表，以TU为单位对从无损解码单元132提供的量化值执行逆量化。运算单元104将由逆量化所获得的正交变换处理结果提供给逆正交变换单元134。

在步骤S135中，解码单元113基于变换跳跃信息，对正交变换处理结果执行与图14中相同的水平/垂直逆正交变换处理。

在步骤S136中，运动补偿单元144确定是否从无损解码单元132提供了帧间预测模式信息。当在步骤S136中确定出提供了帧间预测模式信息时，该处理前进至步骤S137。

在步骤S137中，运动补偿单元144基于从无损解码单元132提供的参考图像指定信息来读取参考图像，并且使用运动矢量和参考图像来执行由帧间预测模式信息表示的最佳帧间预测模式的运动补偿处理。运动补偿单元144经由开关145将作为结果而生成的预测图像提供给加法单元135，并且该处理前进至步骤S139。

另一方面，当确定出在步骤S136中未提供帧间预测模式的信息时，即当帧内预测模式信息被提供至帧内预测单元143时，该处理前进至步骤S138。

在步骤S138中，帧内预测单元143使用经由开关142从帧存储器141读取的相邻图像，执行由帧内预测模式信息表示的帧内预测模式的帧内预测处理。帧内预测单元143经由开关145将作为帧内预测处理的结果而生成的预测图像提供给加法单元135，并且该处理前进至步骤S139。

在步骤S139中，加法单元135通过将从逆正交变换单元134提供的残差信息与从开关145提供的预测图像相加来执行解码。加法单元135将解码图像提供给去块滤波器136和帧存储器141。

在步骤S140中，去块滤波器136通过对从加法单元135提供的图像执行去块滤波处理来去除块失真。去块滤波器136将作为结果而获得的图像提供给自适应偏移滤波器137。

在步骤S141中，自适应偏移滤波器137针对每个LCU，基于从无损解码单元132提供的偏移滤波信息来针对经历了由去块滤波器136执行的去块滤波处理的图像执行自适应偏移滤波处理。自适应偏移滤波器137将经历了自适应偏移滤波处理的图像提供给自适应环路滤波器138。

在步骤S142中，自适应环路滤波器138针对每个LCU，使用从无损解码单元132提供的滤波器系数来针对从自适应偏移滤波器137提供的图像执行自适应环路滤波处理。自适应环路滤波器138将作为结果而获得的图像提供给帧存储器141和画面重排缓冲器139。

在步骤S143中，帧存储器141累积从加法单元135提供的图像和从自适应环路滤波器138提供的图像。在帧存储器141中累积的但没有经历滤波处理的图像当中PU中的相邻图像经由开关142被提供给帧内预测单元143作为相邻图像。另一方面，在帧存储器141中累积的并经历了滤波处理的图像经由开关142被提供给运动补偿单元144作为参考图像。

在步骤S144中，画面重排缓冲器139以帧为单位存储从自适应环路滤波器138提供的图像、按照原始显示次序对所存储的按照编码顺序布置的帧单位的图像进行重排、然后将所得到的图像提供给D/A转换器140。

在步骤S145中，D/A转换器140对从画面重排缓冲器139提供的帧单位的图像执行D/A转换，并且输出所得图像。然后，该处理返回至图17的步骤S113，然后结束。

如上所述，解码装置110可以执行水平方向和垂直方向中的一个方向上的变换跳跃。作为结果，可以对其中编码装置10的编码效率被改进的编码流进行解码。

变换跳跃方向候选可以是与水平方向和垂直方向的两者或一者以及另一者不同的帧内预测的预测方向或根据帧间预测的PU的形状的一个预测方向。

在此情况下，图5的控制单元81基于帧内预测的预测方向或帧间预测的PU的形状，生成用于当TU的尺寸为4×4像素时判定最佳变换跳跃的控制信号。

具体地，当与当前TU对应的PU的最佳预测模式是帧内预测模式时，控制单元81基于由帧内预测模式表示的预测方向来生成控制信号。

例如，当预测方向接近垂直方向时，控制单元81生成水平跳跃开启信号和垂直跳跃关闭信号、或者水平跳跃关闭信号和垂直跳跃关闭信号作为控制信号。另外，当预测方向接近水平方向时，控制单元81生成水平跳跃关闭信号和垂直跳跃开启信号、或者水平跳跃关闭信号和垂直跳跃关闭信号作为控制信号。此外，当预测方向不接近垂直方向或水平方向时，控制单元81生成水平跳跃开启信号和垂直跳跃开启信号、或者水平跳跃关闭信号和垂直跳跃关闭信号作为控制信号。

另外，当与当前TU对应的PU的最佳预测模式是帧间预测模式时，控制单元81基于由帧间预测模式表示的尺寸的PU的形状来生成控制信号。

在此，帧间预测的PU(以下称为“帧间PU”)被形成为如图19所示。换言之，通过如图19的上部所示的那样对称地划分CU或通过如图19的下部所示的那样不对称地划分CU来形成帧间PU。

具体地，如果CU为2N×2N像素，则帧间PU可以是用作CU的2N×2N像素、通过将CU左右对称2分割而获得的N×2N像素、或通过将CU上下对称2分割而获得的2N×N个像素。然而，帧间PU不能作为通过将CU左右和上下对称2分割而获得的N×N像素。因此，例如，当将8×8像素用作帧间PU时，CU需要为8×8像素而不是16×16像素。

另外，帧间PU可以为：通过将CU左右不对称并且左侧较小来2分割而获得的1/2N×2N像素(左)；或者通过将CU左右不对称并且右侧较小来2分割而获得的1/2N×2N像素(右)。此外，帧间PU可以为：通过将CU上下不对称并且上侧较小来2分割而获得的2N×1/2N像素(上)；或者通过将CU上下不对称并且下侧较小来2分割而获得的2N×1/2N像素(下)。

在HEVC方案中，CU的最小尺寸为8×8像素，并且帧间PU的最小尺寸为4×8像素或8×4像素。

如上所述形成的N×2N像素、1/2N×2N像素(左)、或1/2N×2N像素(右)的帧间PU的形状为如图20的A中所示的竖向长矩形形状。当最佳预测模式表示帧间PU的尺寸中之一时，在当前要被编码的图像中沿垂直方向布置的像素之间的相关度较高。因此，当由最佳预测模式表示的尺寸的帧间PU的形状为竖向长矩形形状时，控制单元81生成水平跳跃开启信号和垂直跳跃关闭信号，使得执行水平方向上的变换跳跃。

另一方面，2N×N像素、2N×1/2N像素(上)或2N×1/2N像素(下)的帧间PU的形状为如图20的B所示的横向长矩形形状。当最佳预测模式表示帧间PU的尺寸中之一时，在当前要被编码的图像中沿水平方向布置的像素之间的相关度较高。因此，当由最佳预测模式表示的尺寸的帧间PU的形状为横向长矩形形状时，控制单元81生成水平跳跃关闭信号和垂直跳跃开启信号使得执行垂直方向上的变换跳跃。

另外，当由最佳预测模式表示的帧间PU的尺寸为2N×2N像素并且帧间PU的形状为方形时，控制单元81生成水平跳跃开启信号和垂直跳跃开启信号，使得执行水平方向上的变换跳跃和垂直方向上的变换跳跃。

如上所述，当变换跳跃方向候选为帧内预测的预测方向或根据帧间PU的形状的一个预测方向时，编码装置10将变换跳跃标志设置为residual_coding并且传送residual_coding，而不是变换跳跃信息。当变换跳跃标志表示存在变换跳越时，解码装置110执行帧内预测的预测方向上的变换跳跃或者根据帧间PU的形状的方向上的变换跳跃。

在第一实施方式中，当TU尺寸为4×4像素时，可以执行变换跳跃，但可以进行变换跳跃的TU尺寸不限于4×4像素。例如，可以针对如在非专利文献4中所描述的最小尺寸的TU进行变换跳跃，或者可以针对如在非专利文献3中所描述的所有尺寸的TU进行变换跳越。另外，可以针对预定尺寸或更小尺寸的TU进行变换跳跃。

另外，在第一实施方式中，当TU尺寸为4×4像素时，使得变换跳跃可行，而当TU尺寸为4×4像素并且跳跃许可信息为1时，变换跳跃可以是可行的。

<第二实施方式>

(根据第二实施方式的编码装置的编码单元的示例性配置)

除了编码单元12之外，根据本公开内容的第二实施方式的编码装置具有与图1的编码装置10的配置类似的配置。因此，以下将集中于编码单元进行描述。

图21是示出根据本公开内容的第二实施方式的编码装置的编码单元的示例性配置的框图。

在图21所示的配置中，与图3中的部件相同的部件用相同的附图标记来表示。将适当地省略重复的描述。

图21的编码单元160的配置与图3的编码单元12的配置不同之处在于：新提供了旋转单元161，并且取代无损编码单元36而提供了无损编码单元162。编码单元160在帧内预测时基于变换跳跃信息来旋转量化值。

具体地，从跳跃控制单元50输出的变换跳跃信息被输入至编码单元160的旋转单元161。另外，从帧内预测单元46输出的帧内预测模式信息被输入至旋转单元161。旋转单元161基于变换跳跃信息和帧内预测模式信息，以TU为单位执行用于旋转从量化单元35输出的二维量化值的旋转处理。

换言之，当最佳预测模式为帧内预测模式时，对于接近相邻图像的位置处的PU内的像素，残差信息减小，这是由于该像素与相邻图像的像素之间的相关度较高。然而，随着PU内的像素与相邻图像之间的距离增大，该像素与相邻图像的像素之间的相关度减小，并且残差信息增大。因此，当执行变换跳跃并且对残差信息进行量化时，通过扫描处理从二维值转换成一维值的量化值在低阶侧变为零以及在高阶侧变为非零。作为结果，降低了编码效率。

因此，旋转单元161在基于变换跳跃信息执行了变换跳跃的方向上对量化值进行旋转，使得量化值在低阶侧变为非零以及在高阶侧变为零。当执行了水平方向和垂直方向二者上的变换跳跃时在水平方向和垂直方向二者上的旋转在DakeHe、JinbWang、GaelleMartin-Cocher的“RotationofResidualBlockforTransformSkipping”JCTVC-J0093,2012年7月11日-20日中有所描述。旋转单元161将经历了旋转处理的量化值提供给无损编码单元162。

类似于图3的无损编码单元36，无损编码单元162对编码信息执行无损编码。另外，无损编码单元162对从旋转单元161提供的并且经历了旋转处理的量化值执行无损编码。此时，无损编码单元162执行用于将经历了旋转处理的二维量化值转换成一维量化值的扫描处理，并且对一维量化值执行无损编码。即使当在图3的无损编码单元36中对量化值执行了无损编码时仍然执行扫描处理。无损编码单元162提供经历了无损编码的量化值和编码信息，上述二者将被累积在累积缓冲器37中作为编码数据。

(旋转处理的描述)

图22是用于描述由旋转单元161执行的旋转处理的图。

如图22的左侧所示，当最佳预测模式为帧内预测模式并且执行了水平方向和垂直方向上的变换跳跃时，左上方像素的量化值为零而右下方像素的量化值为非零(NZ)。换言之，一维量化值在低阶侧为零而在高阶侧为非零。因此，在此情况下，旋转单元161通过在水平方向上将二维量化值旋转90°并且在垂直方向上旋转90°，使高阶侧的一维量化值为零以及低阶侧的一维量化值为非零。

尽管未示出，但是当仅在水平方向上执行变换跳跃时，左下方像素的量化值为零并且右上方像素的量化值为非零。因此，在此情况下，旋转单元161通过在水平方向上将二维量化值旋转90°，使高阶侧的一维量化值为零以及低阶侧的一维量化值为非零。

另一方面，当仅在垂直方向上执行变换跳跃时，右上方像素的量化值为零并且左下方像素的量化值为非零。因此，在此情况下，旋转单元161通过在水平方向上将二维量化值旋转90°，使高阶侧的一维量化值为零以及低阶侧的一维量化值为非零。

(编码处理的描述)

图23和图24是用于描述图21的编码单元160的编码处理的流程图。

图23的步骤S161至S171的处理与图11的步骤S31至S41的处理相同，因此省略其描述。

步骤S171的处理之后，在步骤S172中，旋转单元161基于变换跳跃信息，以TU为单位执行用于旋转从量化单元35输出的二维量化值的旋转处理。将参考后面要描述的图25来详细描述旋转处理。

图24的步骤S173至S181的处理与图12的步骤S42至S50的处理相同，因此省略其描述。

在步骤S182中，无损编码单元162对从旋转单元161提供的并且经历了旋转处理的量化值执行无损编码。然后，无损编码单元162根据在步骤S181的处理中经历了无损编码的编码信息和经历了无损编码的量化值来生成编码数据，并且将编码数据提供给累积缓冲器37。

步骤S183至S184的处理与图12的步骤S52至S53的处理相同，因此省略其描述。

图25是用于描述图23的步骤S172的旋转处理的细节的流程图。旋转处理是例如以TU为单位来执行的。

在图25中的步骤S200中，旋转单元161确定是否从帧内预测单元46提供了帧内预测模式信息。当在步骤S200中确定出提供了帧内预测模式信息时，即当最佳预测模式为帧内预测模式时，该处理前进至步骤S201。

在步骤S201中，旋转单元161确定从跳跃控制单元50提供的变换跳跃信息是否表示存在水平方向上的变换跳跃。

当在步骤S201中确定出变换跳跃信息表示存在水平方向上的变换跳跃时，该处理前进至步骤S202。在步骤S202中，旋转单元161确定变换跳跃信息是否表示存在垂直方向上的变换跳跃。

当在步骤S202中确定出变换跳跃信息表示存在垂直方向上的变换跳跃时，即当执行了水平方向和垂直方向上的变换跳跃时，该处理前进至步骤S203。在步骤S203中，旋转单元161在水平方向和垂直方向上将从量化单元35提供的量化值旋转90°。旋转单元161将经旋转的二维量化值提供给无损编码单元162。然后，该处理返回至图23的步骤S172，并且该处理前进至图24的步骤S173。

另一方面，当在步骤S202中确定出变换跳跃信息不表示存在垂直方向上的变换跳跃时，即当执行了水平方向上的变换跳跃而尚未执行垂直方向上的变换跳跃时，该处理前进至步骤S204。

在步骤S204中，旋转单元161在水平方向上将从量化单元35提供的量化值旋转90°。旋转单元161将经旋转的二维量化值提供给无损编码单元162。然后，该处理返回至图23的步骤S172，并且该处理前进至图24的步骤S173。

另外，当在步骤S201中确定出变换跳跃信息不表示存在水平方向上的变换跳跃时，该处理前进至步骤S205。

在步骤S205中，旋转单元161确定变换跳跃信息是否表示存在垂直方向上的变换跳跃。当在步骤S205中确定出变换跳跃信息表示存在垂直方向上的变换跳跃时，即当尚未执行水平方向上的变换跳跃而执行了垂直方向上的变换跳跃时，该处理前进至步骤S206。

在步骤S206中，旋转单元161在垂直方向上将从量化单元35提供的量化值旋转90°。旋转单元161将经旋转的二维量化值提供给无损编码单元162。然后，该处理返回至图23的步骤S172，并且该处理前进至图24的步骤S173。

另一方面，当在步骤S205中确定为变换跳跃信息不表示存在垂直方向上的变换跳跃时，即当尚未执行水平方向和垂直方向上的变换跳跃时，旋转单元161将量化值提供给无损编码单元162而未进行改变。然后，该处理返回至图23的步骤S172，并且该处理前进至图24的步骤S173。

另外，当在步骤S200中确定未提供帧内预测模式信息时，即当最佳预测模式为帧间预测模式时，旋转单元161将未作改变的量化值提供给无损编码单元162。然后，该处理返回至图23的步骤S172，并且该处理前进至图24的步骤S173。

如上所述，编码单元160在其中执行了变换跳跃的方向上旋转量化值，并且对经旋转的量化值执行无损编码。作为结果，在帧内预测的时刻，当前经历了无损编码的高阶侧的一维量化值变为零以及低阶侧的一维量化值变为非零，并且因此进一步改进了编码效率。

可以对经历了由旋转单元161执行的旋转处理的量化值进行逆旋转，并且然后将该量化值提供给逆量化单元38。在此情况下，在逆量化单元38的前一级布置旋转单元，该旋转单元执行由旋转单元161执行的旋转的逆旋转。

(根据第二实施方式的解码装置的解码单元的示例性配置)

除了解码单元113之外，根据本公开内容的第二实施方式的解码装置具有与图15的解码装置110的配置类似的配置。因此，以下将集中于解码单元进行描述。

图26是示出根据本公开内容的第二实施方式的解码装置的解码单元的示例性配置的框图。

在图26所示的配置中，与图16中的部件相同的部件用相同的附图标记来表示。将适当地省略重复的描述。

图26的解码单元180的配置与图16的解码单元113的配置不同之处在于：新提供了旋转单元181，并且取代逆量化单元133而提供了逆量化单元182。解码单元180在帧内预测时，基于变换跳跃信息来针对量化值执行编码单元160中的旋转的逆旋转。

具体地，从无损解码单元132向解码单元180的旋转单元181提供变换跳跃信息、帧内预测模式信息和量化值。旋转单元181基于变换跳跃信息和帧内预测模式信息，以TU为单位执行用于与旋转单元161中的旋转反向地旋转量化值的逆旋转处理。

换言之，当提供了帧内预测模式信息并且变换跳跃信息表示存在水平方向和垂直方向上的变换跳跃时，旋转单元181以与旋转单元161中的旋转相反的方向将量化值在水平方向上旋转90°并且在垂直方向上旋转90°。另一方面，当提供了帧内预测模式信息并且变换跳跃信息表示存在水平方向上的变换跳跃而不存在垂直方向上的变换跳跃时，旋转单元181以与旋转单元161中的旋转相反的方向将量化值在水平方向上旋转90°。

另外，当提供了帧内预测模式信息并且变换跳跃信息表示存在垂直方向上的变换跳跃而不存在水平方向上的变换跳跃时，旋转单元181以与旋转单元161中的旋转相反的方向将量化值在垂直方向上旋转90°。旋转单元181将经历了逆旋转处理的量化值提供给逆量化单元182。

类似于图16的逆量化单元133，逆量化单元182保存每个TU尺寸的缩放列表。类似于逆量化单元133，逆量化单元182以TU为单位判定缩放列表。逆量化单元182使用缩放列表，以TU为单位对从旋转单元181提供的并经历了逆旋转处理的量化值执行逆量化。逆量化单元182将作为结果而获得的正交变换处理结果提供给逆正交变换单元134。

(解码装置的处理的描述)

图27是用于描述图26的解码单元180的解码处理的流程图。

图27的步骤S200至S201的处理与图18的步骤S131至S132的处理相同，因此省略其描述。

在步骤S202中，旋转单元181基于变换跳跃信息和帧内预测模式信息来执行逆旋转处理。逆旋转处理类似于图25的旋转处理，二者不同之处在于旋转方向相反。

在步骤S203中，逆量化单元182基于从跳跃控制单元146提供的变换跳跃信息和所保存的缩放列表，以TU为单位判定缩放列表。

在步骤S204中，逆量化单元182使用缩放列表，以TU为单位对从旋转单元181提供的并经历了逆旋转处理的量化值执行逆量化。运算单元104将由逆量化所获得的正交变换处理结果提供给逆正交变换单元134。

步骤S205至S215的处理与图18的步骤S135至S145的处理相同，因此省略其描述。

如上所述，解码单元180以与编码单元160相反的方向，在执行变换跳跃的方向上旋转经历了无损解码的量化值。因此，可以对由编码单元160改进了在帧内预测时的编码效率的编码流进行解码。

<第三实施方式>

(根据本公开内容的计算机的描述)

可以由硬件或软件执行上述一系列处理。当由软件执行一系列处理时，构成软件的程序安装在计算机中。此处，计算机的示例包括结合至专用硬件中的计算机以及包括安装在其中的各种程序并且能够执行各种功能的通用个人计算机。

图28是示出通过程序执行上述一系列处理的计算机的示例性硬件配置的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203经由总线204彼此连接。

另外，输入/输出(I/O)接口205连接至总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接至I/O接口205。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210驱动可移除介质211例如磁盘、光盘、磁光盘或半导体存储器。

在具有以上配置的计算机中，CPU201例如通过将存储在存储单元208中的程序通过I/O接口205和总线204加载至RAM203上并且执行该程序，执行上述一系列处理。

例如，由计算机(CPU201)执行的程序可以被记录在可移除介质211例如封装介质等中并且被提供。另外，可以通过有线传送介质或无线传送介质例如局域网(LAN)、因特网或数字卫星传播来提供程序。

在计算机中，可移除介质211安装至驱动器210，并且然后可以通过I/O接口205将程序安装在存储单元208中。另外，可以由通信单元209经由有线传送介质或无线传送介质接收程序并且然后将程序安装在存储单元208中。此外，可以将程序预先安装在ROM202或存储单元208中。

另外，程序可以是其中按照本公开内容中所描述的顺序按时间顺序进行处理的程序或者可以为其中并行或在需要时例如调用时进行处理的程序。

<第四实施方式>

(应用于多视图图像编码和多视图图像解码)

可以将上述一系列处理应用于多视图图像编码和多视图图像解码。图29示出了示例性多视图图像编码方案。

如图29所示，多视图图像包括多个视图的图像。多视图图像的多个视图包括：基本视图，其中仅使用其自身视图的图像而不使用其他视图的图像来执行编码和解码；以及非基本视图，其中使用其他视图的图像来执行编码和解码。作为非基本视图，可以使用基本视图的图像，并且可以使用其他非基本视图的图像。

当对图29的多视图图像进行编码和解码时，对每个视图的图像进行编码和解码，但是可以将根据第一实施方式的技术应用于各个视图的编码和解码。相应地，可以通过优化变换跳跃来改进编码效率。

另外，可以在各个视图的编码和解码时共享在根据第一实施方式的技术中所使用的标志或参数。更具体地，例如，可以在各个视图的编码和解码时共享SPS、PPS和residual_coding的语法元素。当然，在对各个层进行编码和解码时还可以共享任何其他必要的信息。

因此，可以防止冗余信息的传送并且减少了要传送的信息量(比特率)(即，可以防止编码效率降级)。

(多视图图像编码装置)

图30是示出执行上述多视图图像编码的多视图图像编码装置的图。如图30所示，多视图图像编码装置600包括编码单元601、编码单元602以及复用器603。

编码单元601对基本视图图像进行编码，并且生成基本视图图像编码流。编码单元602对非基本视图图像进行编码，并且生成非基本视图图像编码流。复用器603对由编码单元601生成的基本视图图像编码流和由编码单元602生成的非基本视图图像编码流进行复用，并且生成多视图图像编码流。

可以将编码装置10(图1)应用为多视图图像编码装置600的编码单元601和编码单元602。换言之，可以在执行每个视图的编码时通过优化变换跳跃来改进编码效率。另外，编码单元601和编码单元602可以使用相同的标志或参数(例如，与图像间处理有关的语法元素)执行编码(即，可以共享标志或参数)，并且因此可以防止编码效率降低。

(多视图图像解码装置)

图31是示出执行上述多视图图像解码的多视图图像解码装置的图。如图31所示，多视图图像解码装置610包括解复用器611、解码单元612和解码单元613。

解复用器611对通过复用基本视图图像编码流和非基本视图图像编码流而获得的多视图图像编码流进行解复用，并且提取基本视图图像编码流和非基本视图图像编码流。解码单元612对由解复用器611提取的基本视图图像编码流进行解码，并且获得基本视图图像。解码单元613对由解复用器611提取的非基本视图图像编码流进行解码，并且获得非基本视图图像。

解码装置110(图15)可以应用为多视图图像解码装置610的解码单元612和解码单元613。换言之，在执行每个视图的解码时可以对如下编码流进行解码：在该编码流中，通过优化变换跳跃改进了编码效率。另外，解码单元612和解码单元613可以使用相同的标志或参数(例如，与图像间处理有关的语法元素)进行解码(即，可以共享标志或参数)，并且因此可以防止编码效率降低。

<第五实施方式>

(应用于可伸缩图像编码和可伸缩图像解码)

上述一系列处理可以应用于可伸缩图像编码和可伸缩图像解码(可伸缩编码和可伸缩解码)。图32示出了示例性可伸缩图像编码方案。

可伸缩图像编码(可伸缩编码)是如下方案：其中，将图像划分成多个层(被分级)，使得图像数据具有某个参数的可伸缩功能，并且在每一层上执行编码。可伸缩图像解码(可伸缩解码)是与可伸缩图像编码对应的解码。

如图32所示，为了对图像进行分层，基于具有可伸缩功能的特定参数将图像划分成多个图像(层)。换言之，分层图像(可伸缩图像)包括多个层的图像，所述多个层在特定参数的值方面彼此不同。可伸缩图像的多个层包括：基本层，在该基本层中仅使用其自身层的图像而不使用其他层的图像进行编码和解码；以及非基本层(还被称为“增强层”)，在该非基本层中使用其他层的图像进行编码和解码。作为非基本层，可以使用基本层的图像，并且可以使用任何其他非基本层的图像。

通常，非基本层配置有其自身图像与其他层的图像之间的差分图像的数据(差分数据)，以使得减少冗余。例如，当一个图像被分层为两个层即基本层和非基本层(其还被称为增强层)时，当仅使用基本层的数据时获得比原始图像质量低的图像，并且当对基本层的数据和非基本层的数据进行组合时获得原始图像(即，高质量图像)。

由于如上所述那样对图像进行分层，所以可以根据情况容易获得各种质量的图像。例如，对于具有低处理能力的终端例如移动终端，仅传送基本层的图像压缩信息，并且对低空间分辨率和时间分辨率或者低质量的运动图像进行重现，对具有高处理能力的终端例如电视机或个人计算机，传送增强层以及基本层的图像压缩信息，并且对高空间分辨率和高时间分辨率或者高质量的运动图像进行重现。换言之，在不执行代码转换处理的情况下，可以从服务器传送根据终端或网络的能力的图像压缩信息。

当对图32中所示的可伸缩图像进行编码和解码时，对各个层的图像进行编码和解码，但是可以将根据第一实施方式的技术应用于各个层的编码和解码。相应地，可以通过优化变换跳跃来改进编码效率。

另外，可以在对各个层进行编码和解码时共享在根据第一实施方式的技术中所使用的标志或参数。更具体地，例如，可以在各个层的编码和解码时共享SPS、PPS和residual_coding的语法元素。当然，在对各个层进行编码和解码时还可以共享任何其他必要的信息。

因此，可以防止冗余信息的传送并且减少了要传送的信息量(比特率)(即，可以防止编码效率降级)。

(可伸缩参数)

在可伸缩图像编码和可伸缩图像解码(可伸缩编码和可伸缩解码)中，任意参数具有可伸缩功能。例如，如图33所示，可以将空间分辨率用作参数(空间可伸缩性)。在空间可伸缩性的情况下，各个层具有不同的图像分辨率。换言之，在此情况下，如图33所示，每个图片被分层为两个层即基本层和增强层，其中，在基本层中空间分辨率低于原始图像的空间分辨率，可将增强层与基本层进行组合以获得原始空间分辨率。当然，层的数目为示例，并且每个图片可以被分层为任意数目的层。

作为具有这样的可伸缩性的另一参数，例如，如图34所示可以应用时间分辨率(时间可伸缩性)。在时间可伸缩性的情况下，各个层具有不同的帧速率。换言之，在此情况下，如图34所示，每个图片被分层为两个层即基本层和增强层，其中，在基本层中帧速率低于原始运动图像的帧速率，可将增强层与基本层进行组合以获得原始帧速率。当然，层的数目为示例，并且每个图片可以被分层为任意数目的层。

作为具有这样的可伸缩性的另一参数，可以应用例如信噪比(SNR)(SNR可伸缩性)。在SNR可伸缩性的情况下，各个层具有不同的SNR。换言之，在此情况下，如图35所示，每个图片被分层为两个层即基本层和增强层，其中，在基本层中SNR低于原始图像的SNR，可将增强层与基本层进行组合以获得原始SNR。当然，层的数目为示例，并且每个图片可以被分层为任意数目的层。

可以将不同于上述示例的参数用作具有可伸缩性的参数。例如，可以将位深度用作具有可伸缩性的参数(位深度可伸缩性)。在位深度可伸缩性的情况下，各个层具有不同的位深度。在此情况下，例如，基本层(baselayer)包括8位图像，并且可以通过将增强层(enhancementlayer)与基本层进行相加来获得10位图像。

作为具有可伸缩性的另一参数，可以使用例如色度格式(色度可伸缩性)。在色度可伸缩性的情况下，各个层具有不同的色度格式。在此情况下，例如，基本层(baselayer)包括4:2:0格式的组成图像，并且可以通过将增强层(enhancementlayer)与基本层进行相加来获得4:2:2格式的组成图像。

(可伸缩图像编码装置)

图36是示出执行上述可伸缩图像编码的可伸缩图像编码装置的图。可伸缩图像编码装置620包括编码单元621、编码单元622以及复用器623，如图36所示。

编码单元621对基本层图像进行编码，并且生成基本层图像编码流。编码单元622对非基本层图像进行编码，并且生成非基本层图像编码流。复用器623对由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流进行复用，并且生成可伸缩图像编码流。

可以将编码装置10(图1)应用为可伸缩图像编码装置620的编码单元621和编码单元622。换言之，可以在执行每个层的编码时通过优化变换跳跃来改进编码效率。另外，编码单元621和编码单元622可以使用相同的标志或参数(例如，与图像间处理有关的语法元素)对例如帧内预测滤波处理进行控制(即，可以共享标志或参数)，并且因此可以防止编码效率降低。

(可伸缩图像解码装置)

图37是示出执行上述可伸缩图像解码的可伸缩图像解码装置的图。如图37所示，可伸缩图像解码装置630包括解复用器631、解码单元632和解码单元633。

解复用器631对通过复用基本层图像编码流和非基本层图像编码流而获得的可伸缩图像编码流进行解复用，并且提取基本层图像编码流和非基本层图像编码流。解码单元632对由解复用器631提取的基本层图像编码流进行解码，并且获得基本层图像。解码单元633对由解复用器631提取的非基本层图像编码流进行解码，并且获得非基本层图像。

可以将解码装置110(图15)应用为可伸缩图像解码装置630的解码单元632和解码单元633。换言之，可以在执行每个层的解码时，对通过优化变换跳跃改进了编码效率的编码流进行解码。另外，解码单元612和解码单元613可以使用相同的标志或参数(例如，与图像间处理有关的语法元素)进行解码(即，可以共享标志或参数)，并且因此可以防止编码效率降低。

<第六实施方式>

(电视装置的示例性配置)

图38示出应用了本公开内容的电视装置的示意性配置。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908以及外部I/F单元909。电视装置900还包括控制单元910、用户I/F单元911等。

调谐器902将由天线901接收到的广播信号调谐至期望的信道，然后进行解调，并且将所获得的编码比特流输出至解复用器903。

解复用器903从编码比特流提取观看目标的节目的视频包或音频包，并且将所提取的包的数据输出至解码器904。解复用器903将数据包的数据如电子节目指南(EPG)提供给控制单元910。另外，当执行了加扰时，通过解复用器等来执行解扰。

解码器904执行对包进行解码的解码处理，并且将通过解码处理而生成的视频数据和音频数据输出至视频信号处理单元905和音频信号处理单元907。

视频信号处理单元905根据视频数据的用户设置来执行噪声消除处理或视频处理。视频信号处理单元905生成要在显示单元906上显示的节目的视频数据、根据基于经由网络提供的应用的处理而得到的图像数据等。视频信号处理单元905生成用于显示例如用于选择项目的菜单画面的视频数据，并且使得该视频数据被叠加在节目的视频数据上。视频信号处理单元905基于如上所述生成的视频数据来生成驱动信号，并且驱动显示单元906。

显示单元906基于从视频信号处理单元905提供的驱动信号来驱动显示装置(例如液晶显示装置等)，并且使得显示节目视频等。

音频信号处理单元907对音频数据执行特定处理例如噪声消除处理、对所处理的音频数据执行数模(D/A)转换处理和放大处理、并且将所得到的数据提供给扬声器908以输出声音。

外部I/F单元909是用于与外部装置或网络连接进行连接的接口，并且执行对数据例如视频数据和音频数据的传送和接收。

用户I/F单元911与控制单元910连接。用户I/F单元911包括操作开关、远程控制信号接收单元等，并且将根据用户的操作的操作信号提供给控制单元910。

控制单元910包括中央处理单元(CPU)、存储器等。存储器存储由CPU执行的程序、当CPU执行处理所需的各种数据、EPG数据、经由网络获取的数据等。在某一时刻如在电视装置900被激活时由CPU读取并执行在存储器中所存储的程序。CPU执行该程序，并且控制各个单元使得根据用户的操作来操作电视装置900。

电视装置900设置有总线912，用以将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部I/F单元909等与控制单元910连接。

在具有上述配置的电视装置中，解码器904设置有根据本公开内容的解码装置(解码方法)的功能。因此，可以对其中通过优化变换跳跃而改进了编码效率的编码流进行解码。

<第七实施方式>

(移动电话的示例性配置)

图39示出应用了本公开内容的移动电话的示意性配置。移动电话920包括通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、复用/分离单元928、记录/重现单元929、显示单元930、以及控制单元931。这些单元经由总线933彼此连接。

另外，天线921连接至通信单元922，而扬声器924和麦克风925连接至音频编解码器923。另外，操作单元932连接至控制单元931。

移动电话920在各种模式如音频呼叫模式和数据通信模式下执行各种操作，例如对音频信号的传送和接收、对电子邮件或图像数据的传送和接收、图像捕获或数据记录。

在音频呼叫模式下，由麦克风925生成的音频信号通过音频编解码器923被转换成声音数据、被压缩、然后被提供给通信单元922。通信单元922对音频数据执行例如调制处理和频率变换处理，并且生成传送信号。另外，通信单元922将传送信号提供给天线921，使得传送信号被传送至基站(未示出)。另外，通信单元922对通过天线921接收到的接收信号执行放大处理、频率变换处理和解调处理，并且将所获得的音频数据提供给音频编解码器923。音频编解码器923对音频数据进行压缩、将所压缩的数据转换成模拟音频信号、并且将模拟音频信号输出至扬声器924。

在数据通信模式下，当执行邮件传送时，控制单元931接收通过对操作单元932进行操作而输入的文本数据，并且使输入文本被显示在显示单元930上。另外，控制单元931例如基于通过操作单元932输入的用户指令来生成邮件数据，并且将邮件数据提供给通信单元922。通信单元922对邮件数据执行例如调制处理和频率变换处理，并且通过天线921传送所得到的传送信号。另外，通信单元922对通过天线921接收到的接收信号执行例如放大处理、频率变换处理和解调处理，并且恢复邮件数据。邮件数据被提供给显示单元930，使得显示邮件内容。

移动电话920可以通过记录/重现单元929将所接收的邮件数据存储在存储介质中。存储介质是任意的可重写存储介质。存储介质的示例包括：半导体存储器，如RAM或内置闪速存储器、硬盘、磁盘、磁光盘、光盘；以及可移除介质，如通用串行总线(USB)存储器或存储卡。

在数据通信模式下，当图像数据被传送时，通过摄像机单元926生成的图像数据被提供给图像处理单元927。图像处理单元927执行对图像数据进行编码的编码处理，并且生成编码数据。

复用/分离单元928根据特定方案对通过图像处理单元927生成的编码数据和从音频编解码器923提供的音频数据进行复用，并且将所得到的数据提供给通信单元922。通信单元922对复用数据执行例如调制处理和频率变换处理，并且通过天线921传送所得到的传送信号。另外，通信单元922对通过天线921接收到的接收信号执行例如放大处理、频率变换处理和解调处理，并且恢复复用数据。复用数据被提供给复用/分离单元928。复用/分离单元928对复用数据进行解复用，并且将编码数据和音频数据提供给图像处理单元927和音频编解码器923。图像处理单元927执行对编码数据进行解码的解码处理，并且生成图像数据。图像数据被提供给显示单元930，使得显示所接收的内容。音频编解码器923将音频数据转换成模拟音频信号、将模拟音频信号提供给扬声器924、并且输出所接收的音频。

在具有上述配置的移动电话中，图像处理单元927设置有根据本公开内容的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以通过优化变换跳跃来改进编码效率。另外，可以对其中通过优化变换跳跃而改进了编码效率的编码流进行解码。

<第八实施方式>

(记录/重现装置的示例性配置)

图40示出应用了本公开内容的记录/重现装置的示意性配置。记录/重现装置940将例如所接收的广播节目的音频数据和视频数据记录在记录介质中，并且根据用户的指令在某一时刻将所记录的数据提供给用户。另外，记录/重现装置940可以从另一装置获取例如音频数据或视频数据，并且使所获取的数据被记录在记录介质中。此外，记录/重现装置940对在记录介质中所记录的音频数据或视频数据进行解码并输出，使得可以在监视装置中执行图像显示或声音输出。

记录/重现装置940包括调谐器941、外部I/F单元942、编码器943、硬盘驱动器(HDD)单元944、盘驱动器945、选择器946、解码器947、屏上显示(OSD)单元948、控制单元949以及用户I/F单元950。

调谐器941将通过天线(未图示)接收到的广播信号调谐至期望信道。调谐器941对期望信道的接收信号进行解调，并且将所获得的编码比特流输出至选择器946。

外部I/F单元942配置有IEEE1394接口、网络接口、USB接口、闪速存储器接口等中的至少一个。外部I/F单元942是用于与外部装置、网络、存储卡等连接的接口，并且接收要记录的数据如视频数据和音频数据。

编码器943根据特定方案对从外部I/F单元942提供的非编码的视频数据或音频数据进行编码，并且将经编码的比特流输出至选择器946。

HDD单元944将内容数据如视频或声音、各种程序和其他数据记录在内部硬盘中，并且在重现等时从硬盘读取所记录的数据。

盘驱动器945在安装的光盘中记录信号，并且重现来自光盘的信号。光盘的示例包括DVD盘(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)和蓝光(注册商标)盘。

当记录视频或声音时，选择器946选择从调谐器941提供的编码比特流和从编码器943提供的编码比特流中的任一者，并且将所选择的编码比特流提供给HDD单元944或盘驱动器945中的任一者。另外，当重现视频或声音时，选择器946将从HDD单元944或盘驱动器945输出的编码比特流提供给解码器947。

解码器947执行对编码比特流进行解码的解码处理。解码器947将通过执行解码处理而生成的视频数据提供给OSD单元948。另外，解码器947输出通过执行解码处理而生成的音频数据。

OSD单元948生成用于显示例如用于例如选择项目的菜单画面的视频数据，并且输出该视频数据，将该视频数据叠加在从解码器947输出的视频数据上。

用户I/F单元950连接至控制单元949。用户I/F单元950包括操作开关、远程控制信号接收单元等，并且将根据用户的操作的操作信号提供给控制单元949。

控制单元949配置有CPU、存储器等。存储器存储由CPU执行的程序和当CPU执行处理时所需的各种数据。在某一时刻如在记录/重现装置940被激活时由CPU读取并执行在存储器中所存储的程序。CPU执行该程序，并且控制各个单元使得根据用户的操作来操作记录/重现装置940。

在具有上述配置的记录/重现装置中，解码器947设置有根据本公开内容的解码装置(解码方法)的功能。因此，可以对其中通过优化变换跳跃而改进了编码效率的编码流进行解码。

<第九实施方式>

(成像装置的示例性配置)

图41示出应用了本公开内容的成像装置的示意性配置。成像装置960拍摄对象，并且使得对象的图像被显示在显示单元上或者将图像数据记录在记录介质中。

成像装置960包括光学块961、成像单元962、摄像机信号处理单元963、图像数据处理单元964、显示单元965、外部I/F单元966、存储单元967、介质驱动器968、OSD单元969以及控制单元970。另外，用户I/F单元971连接至控制单元970。此外，图像数据处理单元964、外部I/F单元966、存储单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972彼此连接。

光学块961配置有聚焦透镜、光圈机构等。光学块961在成像单元962的成像平面上形成对象的光学图像。成像单元962配置有CCD图像传感器或CMOS图像传感器，并且成像单元962根据通过光电转换而获得的光学图像来生成电信号，并且将电信号提供给摄像机信号处理单元963。

摄像机信号处理单元963对从成像单元962提供的电信号进行各种摄像机信号处理如拐点校正、伽马校正和颜色校正。摄像机信号处理单元963将经过了摄像机信号处理的图像数据提供给图像处理单元964。

图像数据处理单元964执行对从摄像机信号处理单元963提供的图像数据进行编码的编码处理。图像数据处理单元964将通过执行编码处理所生成的编码数据提供给外部I/F单元966或者介质驱动器968。另外，图像数据处理单元964执行对从外部I/F单元966或者介质驱动器968提供的编码数据进行解码的解码处理。图像数据处理单元964将通过执行解码处理所生成的图像数据提供给显示单元965。另外，图像数据处理单元964执行将从摄像机信号处理单元963提供的图像数据提供给显示单元965的处理，或者将从OSD单元969获取的显示数据提供给显示单元965，将该显示数据叠加到图像数据上。

OSD单元969生成包括符号、文字或者图或显示数据如图标的菜单画面，并且将所生成的菜单画面或显示数据输出至图像数据处理单元964。

外部I/F单元966被配置有例如USBI/O终端等，并且当打印图像时，将外部I/F单元966连接至打印机。另外，在必要时将驱动器连接至外部I/F单元966、适当地安装可移除介质如磁盘或光盘、并且在必要时安装从可移除介质读取的计算机程序。此外，外部I/F单元966包括用于连接特定网络如LAN或因特网的网络接口。控制单元970可以例如根据通过用户I/F单元971给出的指令966从媒体驱动器968读取编码数据，并且通过外部I/F单元将所读取的编码数据提供给经由网络连接的其他装置。另外，控制单元970可以通过外部I/F单元966经由网络获取从另一装置提供的编码数据或图像数据，并且将所获取的编码数据或图像数据提供给图像数据处理单元964。

作为由介质驱动器968驱动的记录介质，例如，可以使用任意的可读/可写可移除介质如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以是与可移除介质的类型无关的磁带装置、盘或存储卡。当然，记录介质可以是非接触型集成电路(IC)卡等。

另外，介质驱动器968可以与记录介质集成以配置非便携式存储介质，如内部HDD或固态驱动器(SSD)。

控制单元970配置有CPU。存储单元967存储由控制单元970执行的程序、当控制单元970执行处理等时所需的各种数据。在某一时刻如在成像装置960被激活时由控制单元970读取并执行在存储单元967中所存储的程序。控制单元970执行该程序，并且控制各个单元使得根据用户的操作来操作成像装置960。

在具有上述配置的成像装置中，图像数据处理单元964设置有根据本公开内容的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以通过优化变换跳跃来改进编码效率。另外，可以对其中通过优化变换跳跃而改进了编码效率的编码流进行解码。

<可伸缩编码的应用>

(第一系统)

接着，将描述通过可伸缩编码生成的可伸缩编码数据的具体应用示例。例如，如图42所示，可伸缩编码用于选择要传送的数据。

在图42所示的数据传送系统1000中，分发服务器1002读取在可伸缩编码数据存储单元1001中所存储的可伸缩编码数据，并且经由网络1003将可伸缩编码数据分发至终端装置例如个人计算机1004、AV装置1005、平板电脑装置1006和移动电话1007。

此时，分发服务器1002根据终端装置的能力或通信环境来选择合适的高质量编码数据，并且传送所选择的高质量编码数据。虽然分发服务器1002不必要地传送高质量数据，但是终端装置不一定获得高质量图像，并且可能发生延迟或溢位。另外，可能不必要地占用通信频带，并且可能不必要地增加终端装置的负荷。另一方面，虽然分发服务器1002不必要地传送低质量数据，但是终端装置不可能获得足够质量的图像。因此，分发服务器1002读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据作为适于终端装置的能力或通信环境的质量的编码数据，并且然后传送所读取的数据。

例如，可伸缩编码数据存储单元1001假定存储通过可伸缩编码进行编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是包括基本层和增强层二者的编码数据，并且可以通过对可伸缩编码数据(BL+EL)1011进行解码来获得基本层的图像和增强层的图像二者。

分发服务器1002根据数据被传送至的终端装置的能力或通信环境等来选择合适的层，并且读取所选择的层的数据。例如，针对具有高处理能力的个人计算机1004或平板电脑装置1006，分发服务器1002从可伸缩编码数据存储单元1001读取高质量可伸缩编码数据(BL+EL)1011，并且传送可伸缩编码数据(BL+EL)1011而不进行改变。另一方面，例如，针对具有低处理能力的AV装置1005或移动电话1007，分发服务器1002从可伸缩编码数据(BL+EL)1011中提取基本层的数据，并且传送可伸缩编码数据(BL)1012，该可伸缩编码数据(BL)1012是与可伸缩编码数据(BL+EL)1011相同的内容但是质量低于可伸缩编码数据(BL+EL)1011。

如上所述，可以使用可伸缩编码数据容易地调整数据的量，从而可以防止发生延迟或溢位并且防止终端装置或通信介质的负荷不必要地增加。另外，可伸缩编码数据(BL+EL)1011在层之间的冗余减少，从而可以将数据的量减小至比当将单独的数据用作每个层的编码数据时更小。因此，可以更高效地使用可伸缩编码数据存储单元1001的存储器区域。

另外，各种装置例如个人计算机1004至移动电话1007均可用作终端装置，并且因此终端装置的硬件性能根据每个装置而不同。另外，由于各种应用可以由终端装置执行，所以软件具有各种能力。此外，包括有线网络和无线网络中之一或二者的所有的通信线网络例如因特网或LAN可以应用为用作通信介质的网络1003，并且因此可以提供各种数据传送能力。此外，可以由其他通信等来进行改变。

鉴于此，分发服务器1002可以被配置成在开始数据传送之前与用作数据的传送目的地的终端装置进行通信，并且获得与终端装置的能力例如终端装置的硬件性能或者由终端装置执行的应用(软件)的性能有关的信息、以及与通信环境例如网络1003的可用带宽有关的信息。然后，分发服务器1002可以基于所获得的信息选择合适的层。

另外，可以在终端装置中进行层的提取。例如，个人计算机1004可以对传送的可伸缩编码数据(BL+EL)1011进行解码并且显示基本层的图像或者增强层的图像。另外，例如，个人计算机1004可以从传送的可伸缩编码数据(BL+EL)1011中提取基本层的可伸缩编码数据(BL)1012、存储基本层的可伸缩编码数据(BL)1012、将基本层的可伸缩编码数据(BL)1012传送至其他装置、对基本层的可伸缩编码数据(BL)1012进行解码并且显示基本层的图像。

当然，可伸缩编码数据存储单元1001的数目、分发服务器1002的数目、网络1003的数目以及终端装置的数目是任意的。结合其中分发服务器1002将数据传送至终端装置的示例进行了以上描述，但应用示例不限于该示例。数据传送系统1000可以应用于下述任何系统：其中，当由可伸缩编码生成的编码数据被传送至终端装置时，根据终端装置的能力或通信环境选择合适的层，并且传送编码数据。

(第二系统)

例如，如图43所示，可伸缩编码用于使用多个通信介质的传送。

在图43中所示的数据传送系统1100中，广播站1101通过地面广播1111来传送基本层的可伸缩编码数据(BL)1121。另外，广播站1101经由被配置有包括有线网络和无线网络中之一或二者的通信网络的任意网络1112，传送增强层的可伸缩编码数据(EL)1122(例如，对可伸缩编码数据(EL)1122进行打包并且然后传送得到的包)。

终端装置1102具有接收由广播站1101广播的地面广播1111的接收功能，并且接收通过地面广播1111传送的基本层的可伸缩编码数据(BL)1121。终端装置1102还具有经由网络1112进行通信的通信功能，并且接收经由网络1112传送的增强层的可伸缩编码数据(EL)1122。

终端装置1102例如根据用户指令等对通过地面广播1111获取的基本层的可伸缩编码数据(BL)1121进行解码、获得基本层的图像、存储所获得的图像并且将所获得的图像传送至其他装置。

另外，终端装置1102例如根据用户指令等将通过地面广播1111获取的基本层的可伸缩编码数据(BL)1121与通过网络1112获取的增强层的可伸缩编码数据(EL)1122进行组合、获得可伸缩编码数据(BL+EL)、对可伸缩编码数据(BL+EL)进行解码以获得增强层的图像、存储所获得的图像并且将所获得的图像传送至其他装置。

如上所述，可以例如通过不同的通信介质传送相应的层的可伸缩编码数据。因此，可以分散负载，并且可以防止发生延迟或溢位。

另外，可以根据情况来选择用于每个层的传送的通信介质。例如，可以通过具有大带宽的通信介质传送具有相对大的数据量的基本层的可伸缩编码数据(BL)1121，并且可以通过具有小带宽的通信介质传送具有相对小的数据量的增强层的可伸缩编码数据(EL)1122。另外，例如，可以根据网络1112的可用带宽，在网络1112和地面广播1111之间切换用于传送增强层的可伸缩编码数据(EL)1122的通信介质。当然，该情况同样应用于任意层的数据。

由于如上所述进行控制，所以可以进一步抑制数据传送中的负荷的增加。

当然，层的数目是任意的，并且用于传送的通信介质的数目也是任意的。另外，用作数据分发目的地的终端装置1102的数目也是任意的。以上结合来自广播站1101的广播的示例描述了以上描述，但是应用示例不限于该示例。数据传送系统1100可以应用于下述任何系统：其中，由可伸缩编码生成的编码数据被划分成两个或更多个层单位并且被通过多条线路传送。

(第三系统)

例如，如图44所示，可伸缩编码用于存储编码数据。

在图44所示的成像系统1200中，成像装置1201拍摄对象1211、对所获得的图像数据进行可伸缩编码、并且将可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202以根据情况的质量对从成像装置1201提供的可伸缩编码数据(BL+EL)1221进行存储。例如，在正常时间期间，可伸缩编码数据存储装置1202从可伸缩编码数据(BL+EL)1221中提取基本层的数据，并且将所提取的数据以低质量存储作为具有小的数据量的基本层的可伸缩编码数据(BL)1222。另一方面，例如，在观察时间期间，可伸缩编码数据存储装置1202在没有改变的情况下以高质量存储具有大的数据量的可伸缩编码数据(BL+EL)1221。

因此，可伸缩编码数据存储装置1202可以仅在需要时以高质量存储图像，因此可以在抑制由质量劣化而引起的图像的值的减小的同时，抑制数据量的增大，并且改进存储器区域的使用率。

例如，成像装置1201是监视摄像机。当在拍摄的图像(上没有显示监视目标(例如，侵入者)时在正常时间期间)，拍摄的图像的内容可能没有意义，因此优先减小数据量，并且以低质量存储图像数据(可伸缩编码数据)。另一方面，当在拍摄的图像上显示监视目标例如对象1211时(在观察时间期间)，拍摄的图像的内容可能是有意义的，因此优先图像质量，并且以高质量存储图像数据(可伸缩编码数据)。

可以例如通过经由可伸缩编码数据存储装置1202对图像进行分析来确定是正常时间还是观察时间。另外，成像装置1201可以进行确定并且将确定结果传送至可伸缩编码数据存储装置1202。

另外，对于是正常时间还是观察时间的确定准则是任意的，并且用作确定准则的图像的内容是任意的。当然，不同于图像内容的条件可以为确定准则。例如，可以根据记录的声音的幅度或波形来进行切换，可以以特定时间间隔进行切换，或者可以根据外部指令例如用户指令来进行切换。

结合其中在正常时间和观察时间的两个状态之间进行切换的示例描述了以上描述，但状态的数目是任意的。例如，可以在三个或更多个状态例如正常时间、低水平观察时间、观察时间、高水平观察时间等中进行切换。此处，要切换的状态的上限数目取决于可伸缩编码数据的层的数目。

另外，成像装置1201可以根据状态确定用于可伸缩编码的层的数目。例如，在正常时间期间，成像装置1201可以以低质量生成具有小的数据量的基本层的可伸缩编码数据(BL)1222，并且将基本层的可伸缩编码数据(BL)1222提供给可伸缩编码数据存储装置1202。另外，例如，在观察时间期间，成像装置1201可以以高质量生成具有大的数据量的基本层的可伸缩编码数据(BL+EL)1221，并且将基本层的可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。

结合监视摄像机的示例进行了以上描述，但成像系统1200的目的是任意的并且不限于监视摄像机。

<第十实施方式>

(其他实施方式)

结合根据本公开内容的装置、系统等的示例描述了以上实施方式，但本公开内容不限于以上示例并且可以被实现为安装在装置中的任何部件或者构成系统的装置，例如用作系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、其中还将任何其他功能添加至单元的集合(即，装置的一些部件)等。

(视频集合的示例性配置)

将参照图45来描述本公开内容被实现为集合的示例。图45示出应用了本公开内容的视频集合的示例性示意配置。

近年来，电子装置的功能已经变得多样化，并且当一些部件在研发或制造中被实现为出售、提供等时，存在具有相关功能的多个部件被组合并实现为具有多个功能的集合的情况以及实现被进行为具有单个功能的部件的情况。

图45所示的视频集合1300为其中具有与图像编码和/或图像解码有关的功能的装置和具有与该功能有关的任何其他功能的装置进行组合的多功能配置。

如图45所示，视频集合1300包括模块组例如视频模块1311、外部存储器1312、功率管理模块1313和前端模块1314以及具有相关功能的装置例如连接器1321、摄像机1322和传感器1323。

模块为具有集成有若干相关部件功能的多个功能的部件。具体物理配置是任意的，但是，例如，模块被配置成使得具有相应功能的多个处理器、电子电路元件例如电阻器和电容器及其他装置被布置并集成在布线基板上。另外，可以通过将其他模块或处理器与模块组合来获得新的模块。

在图45的示例的情况下，视频模块1311为具有与图像处理有关的功能的部件的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和射频(RF)模块1334。

处理器是其中具有特定功能的配置被通过片上系统(SoC)集成至半导体芯片上的处理器，并且也称为例如系统LSI等。具有特定功能的配置可以为逻辑电路(硬件配置)，可以为CPU、ROM、RAM和使用CPU、ROM和RAM执行的程序(软件配置)，并且可以为软件配置和硬件配置的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，可以通过逻辑电路(硬件配置)实现一些功能，并且可以通过由CPU执行的程序(软件配置)实现其他功能。

图45的应用处理器1331是执行与图像处理有关的应用的处理器。由应用处理器1331执行的应用可以不仅进行计算处理还根据需要控制视频模块1311的内部和外部的部件例如视频处理器1332，以便实现特定功能。

视频处理器1332为具有与图像编码和/或图像解码有关的功能的处理器。

宽带调制解调器1333是执行与经由宽带线(如因特网或公共电话线网络)进行的有线和/或无线宽带通信相关的处理的处理器(或模块)。例如，宽带调制解调器1333例如通过数字调制将要被传送的数据(数字信号)转换成模拟信号、解调所接收到的模拟信号、并且将模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333可以对任意信息(如由视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序或设置数据)进行数字调制和解调。

RF模块1334是对通过天线接收的RF信号进行频率变换处理、调制/解调处理、放大处理、滤波处理等的模块。例如，RF模块1334对由宽带调制解调器1333生成的基带信号进行例如频率变换，并且生成RF信号。另外，例如，RF模块1334对通过前端模块1314接收的RF信号进行例如频率变换，并且生成基带信号。

另外，如图45的虚线1341所示，即，可以将应用处理器1331和视频处理器1332集成为单个处理器。

外部存储器1312被安装在视频模块1311外部，并且是具有视频模块1311所使用的存储装置的模块。外部存储器1312的存储装置可以由任何物理配置实现，但是通常用于存储大容量数据例如以帧为单位的图像数据，并且因此期望使用相对廉价的大容量半导体存储器例如动态随机存取存储器(DRAM)实现外部存储器1312的存储装置。

功率管理模块1313管理和控制视频模块1311(视频模块1311中的相应的部件)的供电。

前端模块1314为对RF模块1334提供前端功能(天线侧的收发端的电路)的模块。如图45所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。

天线单元1351包括收发无线电信号的天线以及外围配置。天线单元1351传送从放大单元1353提供的作为无线电信号的信号，并且将所接收的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对通过天线单元1351接收的RF信号进行例如滤波处理，并且将经处理的RF信号提供给RF模块1334。放大单元1353对从RF模块1334提供的RF信号进行放大，并且将经放大的RF信号提供给天线单元1351。

连接器1321是具有与外部的连接有关的功能的模块。连接器1321的物理配置是任意的。例如，连接器1321包括如下配置：该配置具有与由宽带调制解调器1333、外部I/O端子等支持的通信标准不同的通信功能。

例如，连接器1321可以包括具有基于无线通信标准例如蓝牙(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi)(注册商标))、近场通信(NFC)、红外数据关联(IrDA)的通信功能的模块、收发满足标准的信号的天线等。另外，例如，连接器1321可以包括具有基于有线通信标准例如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标)的通信功能的模块或者满足标准的端子。此外，例如，连接器1321可以包括任何其他数据(信号)传送功能等例如模拟I/O端子。

另外，连接器1321可以包括数据(信号)的传送目的地的装置。例如，连接器1321可以包括从记录介质例如磁盘、光盘、磁光盘或半导体存储器读取数据或者将数据记录在记录介质中的驱动器(包括硬盘、SSD、网络附接存储(NAS)等以及可移除介质的驱动器)。另外，连接器1321可以包括输出图像或声音的输出装置(监视器、扬声器等)。

摄像机1322为具有拍摄对象并获得对象的图像数据的功能的模块。例如，通过摄像机1322的拍摄获得的图像数据被提供给视频处理器1332并且由视频处理器1332编码。

传感器1323为具有任意传感器功能的模块，例如声音传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、振动传感器或温度传感器。例如，由传感器1323检测的数据被提供给应用处理器1331并且被应用等使用。

以上被描述为模块的配置可以实现为处理器，并且被描述为处理器的配置可以实现为模块。

在具有以上配置的视频集合1300中，本公开内容可以应用于随后要描述的视频处理器1332。因此，视频集合1300可以被实现为本公开内容所应用的集合。

(视频集合的示例性配置)

图46示出应用了本公开内容的视频处理器1332(图45)的示例性示意配置。

在图46的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且根据特定方案对视频信号和音频信号进行编码的功能，以及对经编码的视频数据和经编码的音频数据进行解码并且对视频信号和音频信号进行重现和输出的功能。

如图46所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。视频处理器1332还包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和视频基本流(ES)缓冲器1408B以及音频ES缓冲器1409A和1409B。视频处理器1332还包括音频编码器1410、音频解码器1411、复用器(复用器(MUX))1412、解复用器(解复用器(DMUX))1413和流缓冲器1414。

例如，视频输入处理单元1401获取从连接器1321(图45)等输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据进行例如格式转换处理和图像放大/缩小处理。第二图像放大/缩小单元1403根据图像数据被通过视频输出处理单元1404输出至的目的地的格式对图像数据进行图像放大/缩小处理，或者对图像数据进行与第一图像放大/缩小单元1402的那些相同的格式转换处理和图像放大/缩小处理。视频输出处理单元1404对图像数据进行格式转换并将图像数据转换成模拟信号，并且将重现的视频信号输出至例如连接器1321(图45)等。

帧存储器1405为由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据存储器。帧存储器1405被实现为例如半导体存储器例如DRAM。

存储器控制单元1406接收来自编码/解码引擎1407的同步信号，并且根据写入在访问管理表1406A中的针对帧存储器1405的访问计划来控制对帧存储器1405的写入/读取访问。访问管理表1406A被根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理通过存储器控制单元1406进行更新。

编码/解码引擎1407进行对图像数据进行编码的编码处理以及对作为通过对图像数据进行编码获得的数据的视频流进行解码的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将编码图像数据作为视频流按顺序写入视频ES缓冲器1408A中。另外，例如，编码/解码引擎1407按顺序读取来自视频ES缓冲器1408B的视频流，按顺序对视频流进行解码并且将解码图像数据按顺序写入帧存储器1405中。编码/解码引擎1407在编码或解码时将帧存储器1405用作工作区域。另外，编码/解码引擎1407例如在开始每个宏块的处理时将同步信号输出至存储器控制单元1406。

视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲，并且然后将视频流提供给复用器(MUX)1412。视频ES缓冲器1408B对从解复用器(DMUX)1413提供的视频流进行缓冲，并且然后将视频流提供给编码/解码引擎1407。

音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，并且然后将音频流提供给复用器(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413提供的音频流进行缓冲，并且然后将音频流提供给音频解码器1411。

例如，音频编码器1410将从例如连接器1321(图45)等输入的音频信号转换成数字信号，并且根据特定方案例如MPEG音频方案或音频代码数目3(AC3)方案对数字信号进行编码。音频编码器1410将作为通过对音频信号进行编码获得的数据的音频流按顺序写入音频ES缓冲器1409A中。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码、进行例如至模拟信号的转换并且将重现的音频信号提供给例如连接器1321(图45)等。

复用器(MUX)1412对视频流和音频流进行复用。复用方法(即，通过复用生成的比特流的格式)是任意的。另外，在复用时，复用器(MUX)1412可以将特定报头信息等添加至比特流。换言之，复用器(MUX)1412可以通过复用对流格式进行转换。例如，复用器(MUX)1412对要转换成作为传送格式的比特流的传送流的视频流和音频流进行复用。另外，例如，复用器(MUX)1412对要转换成记录文件格式的数据(文件数据)的视频流和音频流进行进行复用。

解复用器(DMUX)1413通过与由复用器(MUX)1412进行的复用对应的方法，对通过对视频流和音频流进行复用获得的比特流进行解复用。换言之，解复用器(DMUX)1413从由流缓冲器1414读取的比特流提取视频流和音频流(将视频流和音频流进行分离)。换言之，解复用器(DMUX)1413可以通过解复用对流的格式进行转换(由复用器(MUX)1412进行的转换的逆转换)。例如，解复用器(DMUX)1413可以通过流缓冲器1414获取从例如连接器1321或宽带调制解调器1333(二者均参见图45)提供的传送流，并且通过解复用将传送流转换成视频流和音频流。另外，例如，解复用器(DMUX)1413可以通过流缓冲器1414获取例如通过连接器1321从各种记录介质(图45)读取的文件数据，并且通过解复用将文件数据转换成视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用器(MUX)1412提供的传送流进行缓冲，并且以特定定时或基于外部请求等将传送流提供给例如连接器1321或宽带调制解调器1333(均参见图45)。

另外，例如，流缓冲器1414对从复用器(MUX)1412提供的文件数据进行缓冲，以特定定时或基于外部请求等将文件数据提供给例如连接器1321(图45)等，并且使得文件数据记录在各种记录介质中。

另外，流缓冲器1414对通过例如连接器1321或宽带调制解调器1333(均参见图45)获取的传送流进行缓冲，并且以特定定时或基于外部请求等将传送流提供给解复用器(DMUX)1413。

另外，流缓冲器1414将从各种记录介质读取的文件数据缓冲在例如连接器1321(图45)等中，并且以特定定时或者基于外部请求等将文件数据提供给解复用器(DMUX)1413。

接着，将描述具有以上配置的视频处理器1332的操作。从例如连接器1321(图45)等输入至视频处理器1332的视频信号被根据视频输入处理单元1401中的特定方案例如4:2:2Y/Cb/Cr方案转换成数字图像数据并且被按顺序写入帧存储器1405中。数字图像数据被读出至第一图像放大/缩小单元1402或第二图像放大/缩小单元1403、经受进行至特定方案例如4:2:2Y/Cb/Cr方案的格式转换的格式转换处理以及放大/减小处理，并且被再次写入帧存储器1405中。图像数据被编码/解码引擎1407编码，并且被作为视频流写入视频ES缓冲器1408A中。

另外，从连接器1321(图45)等输入至视频处理器1332的音频信号被音频处理器1410编码，并且被作为音频流写入音频ES缓冲器1409A中。

视频ES缓冲器1048A的视频流和音频ES缓冲器1409A的音频流被读出至复用器(MUX)1412并由复用器(MUX)1412复用，并且被转换成传送流、文件数据等。由复用器(MUX)1412生成的传送流被缓冲在流缓冲器1414中，并且然后被通过例如连接器1321或宽带调制解调器1333(均参见图45)输出至外部网络。另外，由复用器(MUX)1412生成的文件数据被缓冲在流缓冲器1414中，然后被输出至例如连接器1321(图45)等并且被记录在各种记录介质中。

另外，通过例如连接器1321或宽带调制解调器1333(二者均参见图45)从外部网络输入至视频处理器1332的传送流被缓冲在流缓冲器1414中并且然后被解复用器(DMUX)1413解复用。另外，从各种记录介质读入至例如连接器1321(图45)等中并且然后被输入至视频处理器1332的文件数据被缓冲在流缓冲器1414中并且然后被解复用器(DMUX)1413解复用。换言之，输入至视频处理器1332的传送流或文件数据通过解复用器(DMUX)1413解复用成视频流和音频流。

音频流被通过音频ES缓冲器1409B提供给音频解码器1411并且被解码，并且因此音频信号被重现。另外，视频流被写入视频ES缓冲器1408B中、按顺序读出至编码/解码引擎1407并被编码/解码引擎1407解码并且被写入帧存储器1405中。解码图像数据进行由第二图像放大/缩小单元1403进行的放大/减小处理，并且被写入帧存储器1405中。然后，解码图像数据被读出至视频输出处理单元1404、经受进行至特定方案例如4:2:2Y/Cb/Cr方案的格式转换的格式转换处理并且被转换成模拟信号，并且因此视频信号被重现。

当将本公开内容应用于具有以上配置的视频处理器1332时，优选的是，将本公开内容的以上实施方式应用于编码/解码引擎1407。换言之，例如，编码/解码引擎1407优选地具有根据第一实施方式的编码装置或解码装置的功能。因此，视频处理器1332可以获得与以上参照图1至图20描述的效果相同的效果。

另外，在编码/解码引擎1407中，本公开内容(即，根据以上实施方式的图像编码装置和图像解码装置的功能)可以由硬件例如逻辑电路或软件例如嵌入程序中之一或二者来实现。

(视频处理器的另一示例性配置)

图47示出应用了本公开内容的视频处理器1332(图45)的另一示例性示意配置。在图47的示例的情况下，视频处理器1332具有根据特定方案对图像数据进行编码和解码的功能。

更具体地，如图47所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。视频处理器1332还包括编解码引擎1516、存储器接口1517、复用/解复用单元(MUXDMUX)1518、网络接口1519和视频接口1520。

控制单元1511控制视频处理器1332中的每个处理单元例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的操作。

如图47所示，控制单元1511包括例如主CPU1531、子CPU1532和系统控制器1533。主CPU1531执行例如用于控制视频处理器1332中的每个处理单元的操作的程序。主CPU1531例如根据程序生成控制信号并且将控制信号提供给每个处理单元(即，控制每个处理单元的操作)。子CPU1532承担主CPU1531的辅助作用。例如，子CPU1532执行由主CPU1531执行的程序的子处理或子程序。系统控制器1533控制主CPU1531和子CPU1532的操作，并且例如指定由主CPU1531和子CPU1532执行的程序。

显示接口1512在控制单元1511的控制下将图像数据输出至例如连接器1321(图45)等。例如，显示接口1512将数字数据的图像数据转换成模拟信号，并且将模拟信号作为重现的视频信号输出至例如连接器1321(图45)的监视器装置，或者将数字数据的图像数据输出至例如连接器1321(图45)的监视器装置。

显示引擎1513在控制单元1511的控制下对图像数据进行各种转换处理例如格式转换处理、尺寸转换处理和色域转换处理，以遵从例如显示图像的监视器装置的硬件规范。

图像处理引擎1514在控制单元1511的控制下对图像数据进行用于改进图像质量的特定图像处理例如滤波处理。

内部存储器1515是安装在视频处理器1332中并且由显示引擎1513、图像处理引擎1514和编解码引擎1516共享的存储器。内部存储器1515用于在例如显示引擎1513、图像处理引擎1514和编解码引擎1516之间进行的数据传送。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据，并且根据需要(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以由任何存储装置实现，但是由于内部存储器1515多用于存储小容量数据例如块单位的图像数据或参数，所以期望使用容量相对小(例如，与外部存储器1312相比)并且响应速度快的半导体存储器例如静态随机存取存储器(SRAM)来实现内部存储器1515。

编解码引擎1516进行与图像数据的编码和解码有关的处理。由编解码引擎1516支持的编码/解码方案是任意的，并且编解码引擎1516可以支持一个或更多个方案。例如，编解码引擎1516可以具有支持多个编码/解码方案的编解码功能并且使用选自所述方案中的方案进行图像数据的编码或编码数据的解码。

在图47所示的示例中，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545和MPEG-DASH1551作为与编解码有关的处理的功能块。

MPEG-2视频1541是根据MPEG-2方案对图像数据进行编码或解码的功能块。AVC/H.2641542是根据AVC方案对图像数据进行编码或解码的功能块。HEVC/H.2651543是根据HEVC方案对图像数据进行编码或解码的功能块。HEVC/H.265(可伸缩)1544是根据HEVC方案对图像数据进行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视图)1545是根据HEVC方案对图像数据进行多视图编码或多视图解码的功能块。

MPEG-DASH1551是根据HTTP上的MPEG动态自适应流送(MPEG-DynamicAdaptiveStreaming，MPEG-DASH)传送和接收图像数据的功能块。MPEG-DASH是使用超文本传送协议(HyperTextTransferProtocol，HTTP)来流送视频的技术，并且具有特征：从以片段为单位在先前准备的分辨率等不同的多条编码数据中选择合适的一个数据并且传送所选择的一个数据。MPEG-DASH1551进行遵从标准的流的生成、流的传送控制等，并且使用用于对图像数据进行编码和解码的MPEG-2视频1541至HEVC/H.265(多视图)1545。

存储器接口1517为针对外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516提供的数据被通过存储器接口1517提供给外部存储器1312。另外，从外部存储器1312读取的数据被通过存储器接口1517提供给视频处理器1332(图像处理引擎1514或编解码引擎1516)。

复用/解复用单元(MUXDMUX)1518对与图像有关的各种数据例如编码数据的比特流、图像数据和视频信号进行复用/解复用。复用/解复用方法是任意的。例如，在复用时，复用/解复用单元(MUXDMUX)1518可以不仅将多条数据组合成一条数据并且还将特定报头信息等添加至数据。另外，在解复用时，复用/解复用单元(MUXDMUX)1518可以不仅将一条数据划分成多条数据而且还将特定报头信息等添加至所划分的每条数据。换言之，复用/解复用单元(MUXDMUX)1518可以通过复用和解复用来转换数据格式。例如，复用/解复用单元(MUXDMUX)1518可以对要转换成用作传送格式的比特流或记录文件格式的数据(文件数据)的传送流的比特流进行复用。当然，也可以通过解复用进行逆转换。

网络接口1519是用于例如宽带调制解调器1333或连接器1321(二者均参见图45)的接口。视频接口1520是用于例如连接器1321或摄像机1322(二者均参见图45)的接口。

接着，将描述视频处理器1332的示例性操作。例如，当通过例如连接器1321或宽带调制解调器1333(二者均参见图45)从外部网络接收传送流时，传送流被通过网络接口1519提供给复用/解复用单元(MUXDMUX)1518、被解复用并且然后被编解码引擎1516解码。通过编解码引擎1516的解码获得的图像数据进行例如由图像处理引擎1514进行的特定图像处理、进行由显示引擎1513进行的特定转换并且被通过显示接口1512提供给例如连接器1321(图45)等，并且因此图像被显示在监视器上。另外，例如，通过编解码引擎1516的解码获得的图像数据再次被编解码引擎1516编码、被复用/解复用单元(MUXDMUX)1518复用以转换成文件数据、通过视频接口1520输出至例如连接器1321(图45)等并且然后被记录在各种记录介质中。

此外，例如，通过对通过连接器1321(图45)等从记录介质(未示出)读取的图像数据进行编码获得的编码数据的文件数据被通过视频接口1520提供给复用/解复用单元(MUXDMUX)1518并被解复用，并且被编解码引擎1516解码。通过编解码引擎1516的解码获得的图像数据进行由图像处理引擎1514进行的特定图像处理、进行由显示引擎1513进行的特定转换并且被通过显示接口1512提供给例如连接器1321(图45)等，并且因此将图像显示在监视器上。另外，例如，通过编解码引擎1516的解码获得的图像数据再次被编解码引擎1516编码、被复用/解复用单元(MUXDMUX)1518复用以转换成传送流、通过网络接口1519提供给例如连接器1321或宽带调制解调器1333(二者均参见图45)并且被传送至其他装置(未示出)。

另外，例如使用内部存储器1515或外部存储器1312进行图像数据或其他数据在视频处理器1332中的处理单元之间的传送。此外，功率管理模块1313控制例如对控制单元1511的供电。

当将本公开内容应用于具有以上配置的视频处理器1332时，期望将本公开内容的以上实施方式应用于编解码引擎1516。换言之，例如，优选的是，编解码引擎1516具有实现根据第一实施方式的编码装置和解码装置的功能块。此外，例如，当编解码引擎1516如上述进行操作时，视频处理器1332可以具有与以上参照图1至图20描述的效果相同的效果。

另外，在编解码引擎1516中，本公开内容(即，根据以上实施方式的图像编码装置和图像解码装置的功能)可以由硬件例如逻辑电路或软件例如嵌入程序中之一或二者来实现。

以上描述了视频处理器1332的两个示例性配置，但视频处理器1332的配置是任意的并且可以具有与以上两个示例性配置不同的任何配置。另外，视频处理器1332可以被配置有单个半导体芯片或者可以被配置有多个半导体芯片。例如，视频处理器1332可以被配置有其中堆叠有多个半导体的三维堆叠LSI。另外，视频处理器1332可以由多个LSI来实现。

(对装置的应用示例)

可以将视频集合1300结合到处理图像数据的各种装置中。例如，可以将视频集合1300结合至电视装置900(图38)、移动电话920(图39)、记录/重现装置940(图40)、成像装置960(图41)等中。由于结合了视频集合1300，装置可以具有与以上参照图1至图20描述的效果相同的效果。

另外，视频集合130也可以结合至：终端装置例如图42的数据传送系统1000中的个人计算机1004、AV装置1005、平板电脑装置1006或移动电话1007；图43的数据传送系统1100中的广播站1101或终端装置1102；或者图44的成像系统1200中的成像装置1201或可伸缩编码数据存储装置1202。由于结合了视频集合1300，装置可以具有与以上参照图1至图20描述的效果相同的效果。

另外，当部件包括视频处理器1332时，甚至视频集合1300的每个部件可以被实现为应用本公开内容的部件。例如，仅有视频处理器1332可以被实现为应用本公开内容的视频处理器。另外，例如，上述由虚线1341指示的处理器、视频模块1311等可以被实现为例如应用本公开内容的处理器或模块。另外，例如，视频模块1311、外部存储器1312、功率管理模块1313和前端模块1314的组合可以被实现为应用本公开内容的视频单元1361。这些配置可以具有与以上参照图1至图20描述的效果相同的效果。

换言之，与视频集合1300的情况相似，包括视频处理器1332的配置可以结合至处理图像数据的各种装置中。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361可以结合至电视装置900(图38)、移动电话920(图39)、记录/重现装置940(图40)、成像装置960(图41)、终端装置等中，终端装置比如图42的数据传送系统1000中的个人计算机1004、AV装置1005、平板电脑装置1006或移动电话1007；图43的数据传送系统1100中的广播站1101或终端装置1102；图44的成像系统1200中的成像装置1201或可伸缩编码数据存储装置1202。另外，类似于视频集合1300，由于结合了应用本公开内容的配置，装置可以具有与以上参照图1至图20描述的效果相同的效果。

在本说明书中，结合以下示例进行描述：其中，将各种信息如变换跳跃信息和变换跳跃标志复用至编码数据中以及将所述各种信息从编码侧传送至解码侧。然而，传送信息的技术不限于本示例。例如，在不被复用成编码数据的情况下，信息可以被传送或记录为与编码数据关联的单独的数据。此处，术语“关联”意味着在解码时包括在比特流中的图像(或图像的一部分例如切片或块)可以与和图像对应的信息链接。换言之，可以通过与编码数据不同的传送路径来传送信息。另外，可以将信息记录在与编码数据不同的记录介质(或者相同记录介质的不同记录区域)中。此外，信息和编码数据可以例如在多个帧、单个帧或帧的一部分的任意单元中彼此相关联。

在本说明书中，系统代表多个部件(装置、模块(部分)等)的集合，并且所有部件不一定均被布置在单个壳体内。因此，被布置在单个壳体中的并经由网络彼此连接的多个装置和被布置在单个外壳中的包括多个模块的单个装置二者被认为是系统。

在本说明书中所描述的效果仅仅是示例，并且可以获得其他的效果。

另外，本公开内容的实施方式并不限于上述实施方式，并且可以在不脱离本公开内容的要旨的围内进行各种改变。

例如，本公开内容还可以应用于根据除了HEVC方案之外的可以执行变换跳跃的编码方案的编码装置或解码装置。

另外，本公开内容可以应用于当通过网络介质如卫星广播、有线电视、因特网或移动电话接收到编码流时或当在存储介质如光盘、磁盘或闪速存储器上对编码流进行处理时所使用的编码装置或解码装置。

例如，本公开内容可具有云计算配置：其中，共享一个功能并且由多个装置经由网络对该功能共同进行处理。

参考流程图的上述步骤可以由单个装置来执行，或者可以由多个装置共享和执行。

另外，当单个步骤中包括多个处理时，在单个步骤中所包括的多个处理可以由单个装置执行或者可以由多个装置共享和执行。

本公开内容也可以具有以下配置。

(1)一种解码装置，包括：

逆正交变换单元，所述逆正交变换单元针对在水平方向和垂直方向中的一个方向上经历了变换跳跃的、图像与所述图像的预测图像之间的差，在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

(2)根据(1)所述的解码装置，其中，

所述逆正交变换单元被配置成针对在所述水平方向和所述垂直方向中的一个方向上经历了变换跳跃的所述差，在所述水平方向和所述垂直方向中的另一方向上执行逆正交变换。

(3)根据(1)或(2)所述的解码装置，其中，

所述逆正交变换单元基于用于识别在所述水平方向和所述垂直方向中的哪个方向上已经执行了变换跳跃的变换跳跃信息，针对所述差在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

(4)根据(1)或(2)所述的解码装置，其中，

所述逆正交变换单元基于用于识别已经执行了变换跳跃的变换跳跃标志和所述预测图像的帧内预测的预测方向，针对所述差在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

(5)根据(1)、(2)或(4)所述的解码装置，其中，

所述逆正交变换单元基于用于识别已经执行了变换跳跃的变换跳跃标志和所述预测图像的帧间预测块的形状，针对所述差在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

(6)根据(1)至(5)中任一项所述的解码装置，还包括：

逆量化单元，所述逆量化单元使用在行方向上不改变而在列方向上改变的量化矩阵针对下述差执行逆量化：所述差在所述水平方向上经历了变换跳跃并且被量化，其中，

所述逆正交变换单元针对经历了由所述逆量化单元执行的逆量化的所述差，在所述水平方向上执行变换跳跃。

(7)根据(1)至(6)中任一项所述的解码装置，还包括：

逆量化单元，所述逆量化单元使用在列方向上不改变而在行方向上改变的量化矩阵针对下述差执行逆量化：所述差在所述垂直方向上经历了变换跳跃并且被量化，其中，

所述逆正交变换单元针对经历了由所述逆量化单元执行的逆量化的所述差，在所述垂直方向上执行变换跳跃。

(8)根据(1)至(7)中任一项所述的解码装置，还包括：

无损解码单元，所述无损解码单元针对下述差的无损编码结果执行无损解码：所述差在所述水平方向和所述垂直方向中的一个方向上经历了变换跳跃并且在所述水平方向和所述垂直方向中的所述一个方向上被旋转；以及

旋转单元，所述旋转单元在所述水平方向和所述垂直方向中的一个方向上旋转下述差：所述差经历了由所述无损解码单元执行的无损解码，其中，

所述逆正交变换单元被配置成针对由所述旋转单元旋转的所述差，在所述水平方向和所述垂直方向中的一个方向上执行变换跳跃。

(9)根据(8)所述的解码装置，其中，

所述预测图像通过帧内预测来生成。

(10)一种解码方法，包括：

逆正交变换步骤：由解码装置针对在水平方向和垂直方向中的一个方向上经历了变换跳跃的、图像与所述图像的预测图像之间的差，在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

(11)一种编码装置，包括：

正交变换单元，所述正交变换单元针对图像与所述图像的预测图像之间的差，在水平方向和垂直方向中的一个方向上执行变换跳跃。

(12)根据(11)所述的编码装置，其中，

所述正交变换单元被配置成针对所述差，在所述水平方向和所述垂直方向中的另一方向上执行正交变换。

(13)根据(11)或(12)所述的编码装置，还包括：

传送单元，所述传送单元传送变换跳跃信息，所述变换跳跃信息用于识别通过所述正交变换单元针对所述差在所述水平方向和所述垂直方向中的哪个方向上已经执行了变换跳跃。

(14)根据(11)或(12)所述的编码装置，还包括：

传送单元，所述传送单元传送变换跳跃标志，所述变换跳跃标志用于识别通过所述正交变换单元针对所述差已经执行了变换跳跃，其中，

所述正交变换单元基于所述预测图像的帧内预测的预测方向，选择所述水平方向和所述垂直方向中的所述一个方向。

(15)根据(11)或(12)所述的编码装置，还包括：

传送单元，所述传送单元传送变换跳跃标志，所述变换跳跃标志用于识别通过所述正交变换单元对所述差已经执行了变换跳跃，其中，

所述正交变换单元基于所述预测图像的帧间预测块的形状，选择所述水平方向和所述垂直方向中的所述一个方向。

(16)根据(11)至(15)中任一项所述的编码装置，还包括：

量化单元，所述量化单元使用在行方向上不改变而在列方向上改变的量化矩阵对下述差执行量化：所述差经历了由所述正交变换单元在所述水平方向上执行的变换跳跃。

(17)根据(11)至(16)中任一项所述的编码装置，还包括：

量化单元，所述量化单元使用在列方向上不改变而在行方向上改变的量化矩阵对下述差执行量化：所述差经历了由所述正交变换单元在所述垂直方向上执行的变换跳跃。

(18)根据(11)至(17)中任一项所述的编码装置，还包括：

旋转单元，所述旋转单元在所述水平方向和所述垂直方向中的一个方向上旋转下述差：所述差经历了由所述正交变换单元执行的变换跳跃；以及

无损编码单元，所述无损编码单元针对由所述旋转单元旋转的所述差执行无损编码。

(19)根据(18)所述的编码装置，其中，

所述预测图像通过帧内预测来生成。

(20)一种编码方法，包括：

正交变换步骤：由编码装置针对图像与所述图像的预测图像之间的差在水平方向和垂直方向中的一个方向上执行变换跳跃。

附图标记列表

10编码装置

13传送单元

34正交变换单元

35量化单元

110解码装置

132无损解码单元

133逆量化单元

134逆正交变换单元

161旋转单元

162无损编码单元

181旋转单元

Claims (20)

1.一种解码装置，包括：

逆正交变换单元，所述逆正交变换单元针对在水平方向和垂直方向中的一个方向上经历了变换跳跃的、图像与所述图像的预测图像之间的差，在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

2.根据权利要求1所述的解码装置，其中，

所述逆正交变换单元被配置成针对在所述水平方向和所述垂直方向中的一个方向上经历了变换跳跃的所述差，在所述水平方向和所述垂直方向中的另一方向上执行逆正交变换。

3.根据权利要求1所述的解码装置，其中，

所述逆正交变换单元基于用于识别在所述水平方向和所述垂直方向中的哪个方向上已经执行了变换跳跃的变换跳跃信息，针对所述差在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

4.根据权利要求1所述的解码装置，其中，

所述逆正交变换单元基于用于识别已经执行了变换跳跃的变换跳跃标志和所述预测图像的帧内预测的预测方向，针对所述差在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

5.根据权利要求1所述的解码装置，其中，

所述逆正交变换单元基于用于识别已经执行了变换跳跃的变换跳跃标志和所述预测图像的帧间预测块的形状，针对所述差在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

6.根据权利要求1所述的解码装置，还包括：

逆量化单元，所述逆量化单元使用在行方向上不改变而在列方向上改变的量化矩阵针对下述差执行逆量化：所述差在所述水平方向上经历了变换跳跃并且被量化，其中，

所述逆正交变换单元针对经历了由所述逆量化单元执行的逆量化的所述差，在所述水平方向上执行变换跳跃。

7.根据权利要求1所述的解码装置，还包括：

逆量化单元，所述逆量化单元使用在列方向上不改变而在行方向上改变的量化矩阵针对下述差执行逆量化：所述差在所述垂直方向上经历了变换跳跃并且被量化，其中，

所述逆正交变换单元针对经历了由所述逆量化单元执行的逆量化的所述差，在所述垂直方向上执行变换跳跃。

8.根据权利要求1所述的解码装置，还包括：

无损解码单元，所述无损解码单元针对下述差的无损编码结果执行无损解码：所述差在所述水平方向和所述垂直方向中的一个方向上经历了变换跳跃并且在所述水平方向和所述垂直方向中的所述一个方向上被旋转；以及

旋转单元，所述旋转单元在所述水平方向和所述垂直方向中的一个方向上旋转下述差：所述差经历了由所述无损解码单元执行的无损解码，其中，

所述逆正交变换单元被配置成针对由所述旋转单元旋转的所述差，在所述水平方向和所述垂直方向中的一个方向上执行变换跳跃。

9.根据权利要求8所述的解码装置，其中，

所述预测图像通过帧内预测来生成。

10.一种解码方法，包括：

逆正交变换步骤：由解码装置针对在水平方向和垂直方向中的一个方向上经历了变换跳跃的、图像与所述图像的预测图像之间的差，在所述水平方向和所述垂直方向中的所述一个方向上执行变换跳跃。

11.一种编码装置，包括：

正交变换单元，所述正交变换单元针对图像与所述图像的预测图像之间的差，在水平方向和垂直方向中的一个方向上执行变换跳跃。

12.根据权利要求11所述的编码装置，其中，

所述正交变换单元被配置成针对所述差，在所述水平方向和所述垂直方向中的另一方向上执行正交变换。

13.根据权利要求11所述的编码装置，还包括：

传送单元，所述传送单元传送变换跳跃信息，所述变换跳跃信息用于识别通过所述正交变换单元针对所述差在所述水平方向和所述垂直方向中的哪个方向上已经执行了变换跳跃。

14.根据权利要求11所述的编码装置，还包括：

传送单元，所述传送单元传送变换跳跃标志，所述变换跳跃标志用于识别通过所述正交变换单元针对所述差已经执行了变换跳跃，其中，

所述正交变换单元基于所述预测图像的帧内预测的预测方向，选择所述水平方向和所述垂直方向中的所述一个方向。

15.根据权利要求11所述的编码装置，还包括：

传送单元，所述传送单元传送变换跳跃标志，所述变换跳跃标志用于识别通过所述正交变换单元对所述差已经执行了变换跳跃，其中，

所述正交变换单元基于所述预测图像的帧间预测块的形状，选择所述水平方向和所述垂直方向中的所述一个方向。

16.根据权利要求11所述的编码装置，还包括：

量化单元，所述量化单元使用在行方向上不改变而在列方向上改变的量化矩阵对下述差执行量化：所述差经历了由所述正交变换单元在所述水平方向上执行的变换跳跃。

17.根据权利要求11所述的编码装置，还包括：

量化单元，所述量化单元使用在列方向上不改变而在行方向上改变的量化矩阵对下述差执行量化：所述差经历了由所述正交变换单元在所述垂直方向上执行的变换跳跃。

18.根据权利要求所述的编码装置11，还包括：

旋转单元，所述旋转单元在所述水平方向和所述垂直方向中的一个方向上旋转下述差：所述差经历了由所述正交变换单元执行的变换跳跃；以及

无损编码单元，所述无损编码单元针对由所述旋转单元旋转的所述差执行无损编码。

19.根据权利要求18所述的编码装置，其中，

所述预测图像通过帧内预测来生成。

20.一种编码方法，包括：

正交变换步骤：由编码装置针对图像与所述图像的预测图像之间的差，在水平方向和垂直方向中的一个方向上执行变换跳跃。