CN107637081A

CN107637081A - 图像解码装置以及图像编码装置

Info

Publication number: CN107637081A
Application number: CN201680034650.5A
Authority: CN
Inventors: 猪饲知宏; 筑波健史
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2015-06-16
Filing date: 2016-06-02
Publication date: 2018-01-26
Also published as: WO2016203981A1; HK1250587A1; JPWO2016203981A1; US20180192076A1

Abstract

对用于降低一部分区域的残差信息的方法和通过切片分割、四叉树分割来切换自由度高的预测块、变换块的方法进行组合，实现高效率的编码/解码处理。将图片分割为编码树块单位以进行解码的图像解码装置中，具备：编码树分割部，其将上述编码树块作为根编码树进行递归式分割；CU分割标志解码部，其对表示是否分割上述编码树的编码单元分割标志进行解码；以及残差模式解码部，其对残差模式进行解码，该残差模式表示对于上述编码树以下的残差是以第一模式进行解码，还是以与第一模式不同的第二模式进行解码。

Description

图像解码装置以及图像编码装置

技术领域

本发明涉及对表示图像的编码数据进行解码的图像解码装置、以及通过对图像进行编码来生成编码数据的图像编码装置。

背景技术

为了高效地传输或者记录运动图像，使用了通过对运动图像进行编码来生成编码数据的运动图像编码装置、以及通过对该编码数据进行解码来生成解码图像的运动图像解码装置。

作为具体的运动图像编码方式，可以列举出例如H.264/MPEG-4.ACV、作为其后续编码解码器的HEVC(High-Efficiency Video Coding：高效视频编码)所提出的方式(非专利文献1)等。

在这种运动图像编码方式中，构成运动图像的图像(图片)通过由分割图像而得到的切片、分割切片而得到的编码单位(有时也被称为编码单元(Coding Unit))、以及分割编码单位而得到的块即预测单元(PU)、变换单元(TU)所构成的层次结构来进行管理，一般按照每个块来编码/解码。

另外，在这样的运动图像编码方式中，通常基于通过对输入图像进行编码/解码而得到的局部解码图像来生成预测图像，并对从输入图像(原图像)中减去该预测图像而得到的预测残差(有时候也称为“差分图像”或者“残差图像”)进行编码。此外，作为预测图像的生成方法，可以列举出画面间预测(帧间预测)以及画面内预测(帧内预测)。

在非专利文献1中公开了如下技术：采用四叉树分割来实现上述编码单元以及变换单元，由此选择自由度高的块尺寸，取得码量和精度的平衡。

在非专利文献2、非专利文献3、非专利文献4中公开了通过以图片为单位降低内部分辨率从而降低码量的被称作ARC(Adaptive Resolution Coding：自适应分辨率编码)或者RRU(Reduced resolution update：降低分辨率更新)的技术。

现有技术文献

非专利文献

非专利文献1:ITU-T Rec.H.265(V2)，(2014年10月29日公开)

非专利文献2:ITU-T Rec.H.263Annex P and Annex Q

非专利文献3:T.Davies，P.Topiwala，“AHG18:Adaptive Resolution Coding(ARC)”，JCTVC-G264，7th Meeting:Geneva，CH，21-30November，2011

非专利文献4:Alexis Tourapis，Lowell Winger，“Reduced resolution update modefor enhanced compression”，JCTVC-H0447，8th Meeting:San Jose，CA，USA，1-10February，2012

发明内容

本发明所要解决的技术问题

然而，在非专利文献2、非专利文献3、非专利文献4中存在如下问题：对用于进行自由度高的块尺寸选择的切片分割、四叉树分割和用于降低内部分解率的方法进行高效组合的方法并不清楚。

进而，由于没有考虑在进行分辨率变更的情形下对伴随着分辨率变更的编码数据的削减量(量化)的影响，因此存在产生固定的码量降低以及画质低下的问题。即，没有公开对针对进行分辨率变换的区域的码量降低以及画质低下进行控制的方法。

解决问题的手段

本发明的一个方式是一种图像解码装置，其将图片分割为编码树块单位来进行解码，该图像解码装置的特征在于，具备：编码树分割部，其将所述编码树块作为根编码树进行递归式分割；CU分割标志解码部，其对表示是否分割所述编码树的编码单元分割标志进行解码；以及残差模式解码部，其对残差模式进行解码，该残差模式表示对于所述编码树以下的残差是以第一模式进行解码，还是以与第一模式不同的第二模式进行解码。

根据本发明的一个方式，其特征在于，所述残差模式解码部仅在最上位的编码树中从编码数据中解码残差模式(rru_flag)，而在与其相比为下位的编码树中则不解码残差模式(rru_flag)。

根据本发明的一个方式，其特征在于，所述残差模式解码部仅在指定的层次的编码树中解码残差模式，在与其相比为下位的编码树中，除了指定的层次的编码树以外，省略残差模式的解码。

根据本发明的一个方式，其特征在于，所述CU分割标志解码部在所述残差模式表示以所述第二模式进行解码的情形下，使分割的层次与残差模式表示以所述第一模式进行解码的情形相比减1。

根据本发明的一个方式，其特征在于，在残差模式为所述第一模式的情形下，当编码树的尺寸即编码块尺寸(log2CbSize)比最小编码块(MinCbLog2Size)大时，所述CU分割标志解码部从编码数据中解码所述CU分割标志，在残差模式为所述第二模式的情形下，当编码树的尺寸即编码块尺寸(log2CbSize)比最小编码块(MinCbLog2Size+1)大时，所述CU分割标志解码部从编码数据中解码所述CU分割标志，而在除此以外的情形下，所述CU分割标志解码部省略所述CU分割标志的解码，导出表示不分割所述CU分割标志的0。

根据本发明的一个方式，其特征在于，所述残差模式解码部在成为叶子的编码树即编码单元中对残差模式进行解码。

根据本发明的一个方式，其特征在于，还具备跳过标志解码部，其在成为叶子的编码树即编码单元中，对表示是否省略残差的解码而进行解码的跳过标志进行解码，所述残差模式解码部在所述跳过标志表示不解码残差的情形下，在所述编码单元中对残差模式进行解码，在除此以外的情形下则不对残差模式进行解码。

根据本发明的一个方式，其特征在于，还具备CBF标志解码部，其对表示编码单元是否包含残差的CBF标志进行解码，所述残差模式解码部在所述CBF标志表示存在残差的情形下，对所述残差模式进行解码，而在除此以外的情形下，导出表示所述残差模式为所述第一模式的残差模式。

根据本发明的一个方式，其特征在于，所述残差模式解码部，在编码树的尺寸即编码块尺寸(log2CbSize)比规定的最小编码块尺寸(MinCbLog2Size)大的情形下，从编码数据中解码所述残差模式，而在除此以外的情形下，当在编码数据中不存在所述残差模式时，将所述残差模式导出为所述第一模式。

根据本发明的一个方式，其特征在于，还具备PU分割模式解码部，其对表示是否将编码单元进一步分割为预测块的PU分割模式进行解码，所述残差模式解码部仅在所述PU分割模式为表示不进行PU分割的值的情形下对残差模式进行解码，而在除此以外的情形下，不对残差模式进行解码。

根据本发明的一个方式，其特征在于，还具备PU分割模式解码部，其对表示是否将编码单元进一步分割为预测块的PU分割模式进行解码，所述PU分割模式解码部，在所述残差模式表示所述第二模式的情形下，省略所述PU分割模式的解码，导出表示不进行PU分割的值，而在所述残差模式表示所述第一模式的情形下，则对所述PU分割模式进行解码。

根据本发明的一个方式，其特征在于，还具备PU分割模式解码部，其对表示是否将编码单元进一步分割为预测块的PU分割模式进行解码，在所述残差模式表示所述第二模式的情形下，当编码块尺寸(log2CbSize)等于最小编码块(MinCbLog2Size)与1的和(MinCbLog2Size+1)时，所述PU分割模式解码部对所述PU分割模式进行解码，在所述残差模式表示所述第一模式的情形下，当为帧间或者当编码块尺寸(log2CbSize)等于最小编码块(MinCbLog2Size)时，所述PU分割模式解码部对所述PU分割模式进行解码，而在除此以外的情形下，所述PU分割模式解码部省略所述PU分割模式的解码，导出表示不进行PU分割的值。

根据本发明的一个方式，其特征在于，还具备TU分割模式解码部，其对表示是否将编码单元进一步分割为变换块的TU分割模式进行解码，在所述残差模式表示所述第二模式的情形下，当编码块尺寸(log2CbSize)为最大变换块(MaxTbLog2SizeY)与1的和(MaxTbLog2SizeY+1)以下且比最小变换块(MinCbLog2Size)与1的和(MinCbLog2Size+1)大时，所述TU分割模式解码部对所述TU分割标志进行解码，在所述残差模式表示所述第一模式的情形下，当编码块尺寸(log2CbSize)为最大变换块(MaxTbLog2SizeY)以下且比最小变换块(MinCbLog2Size)大时，所述TU分割模式解码部对所述TU分割标志进行解码，而在除此以外的情形下，所述TU分割模式解码部省略所述TU分割标志的解码，导出表示不进行分割的TU分割标志的值。

根据本发明的一个方式，其特征在于，还具备TU分割模式解码部，其对表示是否将编码单元进一步分割为变换块的TU分割模式进行解码，在所述残差模式表示所述第二模式的情形下，当编码变换深度(trafoDepth)未达最大编码深度(MaxTrafoDepth)与1的差(MaxTrafoDepth-1)时，所述TU分割模式解码部对所述TU分割标志进行解码，在所述残差模式表示所述第一模式的情形下，当编码变换深度(trafoDepth)未达最大编码深度(MaxTrafoDepth)时，所述TU分割模式解码部对所述TU分割标志进行解码，而在除此以外的情形下，所述TU分割模式解码部省略所述TU分割标志的解码，导出表示不进行分割的值。

根据本发明的一个方式，其特征在于，还具备：残差解码部，其对残差进行解码；以及逆量化部，其对被解码出的所述残差进行逆量化，所述逆量化部在所述残差模式为所述第一模式的情形下，通过第一量化步幅进行逆量化，而在所述残差模式为所述第二模式的情形下，通过根据所述第一量化步幅导出的第二量化步幅进行逆量化。

根据本发明的一个方式，其特征在于，还具备用于解码量化步幅修正值的量化步幅控制信息解码，所述逆量化部通过对第一量化步幅加上所述量化步幅修正值来导出第二量化步幅。

本发明的一个方式为一种图像解码装置，其将图片分割为切片单位，并将所述切片进一步分割为编码树块单位来进行解码，该图像解码装置的特征在于，切片内的最上位块尺寸可变。

根据本发明的一个方式，其特征在于，对表示切片开头的水平位置的值和表示垂直位置的值进行解码。

根据本发明的一个方式，其特征在于，对表示切片开头的开头地址的值进行解码，并基于成为选项的最上位块尺寸中的最小块尺寸来导出切片开头位置或者对象块的水平位置和垂直位置。

发明效果

本发明通过在切片开头或着构成四叉树的层次中以较少的码量对用于编码残差的残差模式进行编码，从而起到了对进行自由度高的块尺寸选择的切片分割、四叉树分割和特定区域的残差降低进行组合而能够实现最优的编码效率的效果。

附图说明

图1是表示本发明的一个实施方式所涉及的运动图像解码装置所具备的CU信息解码部以及解码模块的构成例的功能框图。

图2是表示上述运动图像解码装置的概略构成的功能框图。

图3是表示由本发明的一个实施方式所涉及的运动图像编码装置生成且由上述运动图像解码装置解码的编码数据的数据构成的图，图3的(a)至图3的(d)分别是表示图片层、切片层、树块层以及CU层的图。

图4是表示PU分割类型的图案的图。图4的(a)至图4的(h)分别表示PU分割类型为2N×2N、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N以及N×N的情形下的分区形状。

图5是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400)的概略动作的流程图。

图6是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500)、PU信息解码部12(PU信息解码S1600)、TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

图7是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

图8是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码S1760)的概略动作的流程图。

图9是表示本发明的一个实施方式所涉及的CU信息的语法表的构成例的图。

图10是表示本发明的一个实施方式所涉及的CU信息、PT信息PTI、TT信息TTI的语法表的构成例的图。

图11是表示本发明的一个实施方式所涉及的PT信息PTI的语法表的构成例的图。

图12是表示本发明的一个实施方式所涉及的TT信息TTI的语法表的构成例的图。

图13是表示本发明的一个实施方式所涉及的TU信息的语法表的构成例的图。

图14是表示本发明的一个实施方式所涉及的量化预测残差的语法表的构成例的图。

图15是表示本发明的一个实施方式所涉及的量化预测残差信息的语法表的构成例的图。

图16是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码S1760A)的概略动作的流程图。

图17是用于说明发明的一个实施方式所涉及的预测图像生成部14(预测残差生成S2000)、逆量化/逆变换部15(逆量化/逆变换S3000A)、加法器17(解码图像生成S4000)的概略动作的流程图。

图18是用于说明发明的一个实施方式所涉及的预测图像生成部14(预测残差生成S2000)、逆量化/逆变换部15(逆量化/逆变换S3000A)、加法器17(解码图像生成S4000)的概略动作的流程图。

图19是用于说明发明的一个实施方式所涉及的逆量化/逆变换部15(逆量化/逆变换S3000B)的概略动作的流程图。

图20是用于说明发明的一个实施方式所涉及的逆量化/逆变换部15(逆量化/逆变换S3000B)的概略动作的流程图。

图21是表示由本发明的一个实施方式所涉及的运动图像编码装置生成且由上述运动图像解码装置解码的编码数据的数据构成的图。

图22是表示本发明的一个实施方式所涉及的CU信息的语法表的构成例的图。

图23是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400A)的概略动作的流程图。

图24是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400)的概略动作的流程图。

图25是表示由本发明的一个实施方式所涉及的运动图像编码装置生成且由上述运动图像解码装置解码的编码数据的数据构成的图。

图26是表示本发明的一个实施方式所涉及的CU信息的语法表的构成例的图。

图27是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400)的概略动作的流程图。

图28是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400)的概略动作的流程图。

图29是表示由本发明的一个实施方式所涉及的运动图像编码装置生成且由上述运动图像解码装置解码的编码数据的数据构成的图。

图30是表示本发明的一个实施方式所涉及的CU信息的语法表的构成例的图。

图31是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400)的概略动作的流程图。

图32是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400)的概略动作的流程图。

图33是表示由本发明的一个实施方式所涉及的运动图像编码装置生成且由上述运动图像解码装置解码的编码数据的数据构成的图。

图34是表示本发明的一个实施方式所涉及的CU信息、PT信息PTI、TT信息TTI的语法表的构成例的图。

图35是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500)、PU信息解码部12(PU信息解码S1600)、TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

图36是表示由本发明的一个实施方式所涉及的运动图像编码装置生成且由上述运动图像解码装置解码的编码数据的数据构成的图。

图37是表示本发明的一个实施方式所涉及的CU信息、PT信息PTI、TT信息TTI的语法表的构成例的图。

图38是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500)、PU信息解码部12(PU信息解码S1600)、TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

图39是表示由本发明的一个实施方式所涉及的运动图像编码装置生成且由上述运动图像解码装置解码的编码数据的数据构成的图。

图40是表示变换树信息TTI的语法表的构成例的图。

图41是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

图42是表示本发明的一个实施方式所涉及的CU信息、PT信息PTI、TT信息TTI的语法表的构成例的图。

图43是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500)、PU信息解码部12(PU信息解码S1600)、TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

图44是表示本发明的一个实施方式所涉及的CU信息、PT信息PTI、TT信息TTI的语法表的构成例的图。

图45是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500)、PU信息解码部12(PU信息解码S1600)、TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

图46是表示本发明的一个实施方式所涉及的TT信息TTI的语法表的构成例的图。

图47是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码1700)的概略动作的流程图。

图48是表示由本发明的一个实施方式所涉及的运动图像编码装置生成且由上述运动图像解码装置解码的编码数据的数据构成的图。

图49是用于对使用了本发明的一个实施方式所涉及的根据每个图片而不同的编码树块的构成进行说明的图。

图50是对使用了本发明的一个实施方式所涉及的在图片内根据每个切片而不同的编码树块(最上位块尺寸)的构成进行说明的图。

图51是对使用了本发明的一个实施方式所涉及的在图片内根据每个切片而不同的编码树块(最上位块尺寸)的情形下的切片开头位置的问题进行说明的图。

图52是对使用了本发明的一个实施方式所涉及的在图片内根据每个切片而不同的编码树块(最上位块尺寸)时将切片开头位置的水平位置、垂直位置包含在编码数据中的示例进行说明的图。

图53是对使用了本发明的一个实施方式所涉及的在图片内根据每个切片而不同的编码树块(最上位块尺寸)时基于切片地址slice_segment_address导出切片开头位置的水平位置、垂直位置的导出方法进行说明的图。

图54是对使用了本发明的一个实施方式所涉及的在图片内根据每个切片而不同的编码树块(最上位块尺寸)的情形下的切片开头位置的问题进行说明的图。

图55是对使用了本发明的一个实施方式所涉及的在图片内根据每个切片而不同的编码树块(最上位块尺寸)时的分辨率变模式的解码处理进行说明的流程图。

图56是表示本发明的一个实施方式所涉及的运动图像编码装置的概略构成的功能框图。

图57是表示搭载了上述运动图像编码装置的发送装置以及搭载了上述运动图像解码装置的接收装置的构成的图。图57(a)表示搭载了运动图像编码装置的发送装置，图57(b)表示搭载了运动图像解码装置的接收装置。

图58是表示搭载了上述运动图像编码装置的记录装置以及搭载了上述运动图像解码装置的再生装置的构成的图。图58(a)表示搭载了运动图像编码装置的记录装置，图58(b)表示搭载了运动图像解码装置的再生装置。

具体实施方式

参照图1至图58对本发明的一个实施方式进行说明。首先，参照图2对运动图像解码装置(图像解码装置)1以及运动图像编码装置(图像编码装置)2的概要进行说明。图2是表示运动图像解码装置1的概略构成的功能框图。

图2所示的运动图像解码装置1以及运动图像编码装置2安装了在HEVC(High-Efficiency Video Coding：高效视频编码)中采用的技术。运动图像编码装置2对在这些运动图像编码方式中被规定为从编码器向解码器传输的语法(syntax)的值进行熵编码并生成编码数据#1。

作为熵编码方式，已知上下文自适应型可变长编码(CAVLC：Context-basedAdaptive Variable Length Coding)以及上下文自适应型二值算术编码(CABAC：Context-based Adaptive Binary Arithmetic Coding)。

在使用了CAVLC以及CABAC的编码/解码中，进行适应上下文的处理。所谓上下文是指编码/解码的情况(文理)，是根据相关语法的过去的编码/解码结果来定的。作为相关语法，例如存在与帧内预测、帧间预测相关的各种语法、与亮度(Luma)、色差(Chroma)相关的各种语法、以及与CU(Coding Unit：编码单位)尺寸相关的各种语法等。此外，在CABAC中，有时候也将与语法对应的二值数据(二进制列)中的、成为编码/解码对象的二进制的位置作为上下文使用。

在CAVLC中，自适应地变更用于编码的VLC表，对各种语法进行编码。另一方面，在CABAC中，对能取预测模式以及变换系数等的多值的语法实施二值化处理，并根据发生概率对由该二值化处理得到的二值数据自适应地进行算术编码。具体地，准备多个用于保持二进制值(0或1)的发生概率的缓冲存储器，根据上下文选择1个缓冲存储器，并基于记录在该缓冲存储器中的发生概率进行算术编码。此外，基于进行解码/编码的二进制值更新该缓冲存储器的发生概率，由此能够根据上下文维持合适的发生概率。

对运动图像解码装置1输入运动图像编码装置2对运动图像进行编码得到的编码数据#1。运动图像解码装置1对输入的编码数据#1进行解码并将运动图像#2输出到外部。在对运动图像解码装置1进行详细说明之前，关于编码数据#1的构成进行如下说明。

〔编码数据的构成〕

使用图3对由运动图像编码装置2生成且由运动图像解码装置1解码的编码数据#1的构成例进行说明。编码数据#1例示地包含序列以及构成序列的多个图片。

在图3中示出了编码数据#1中的图片层以下的层次的构造。图3的(a)至(e)分别是表示规定图片PICT的图片层、规定切片S的切片层、规定编码树块(Coding Tree block)CTB的树块层、规定编码树(Coding Tree；CT)的编码树层、以及规定编码树块CTU中所包含的编码单位(Coding Unit；CU)的CU层的图。

(图片层)

在图片层中，规定了为了对处理对象的图片PICT(以下也称为对象图片)进行解码而由运动图像解码装置1参照的数据的集合。如图3的(a)所示，图片PICT包括图片报头PH以及切片S_l至S_NS(NS为在图像PICT中包含的切片的总数)。

另外，以下，在不需要区分切片S_l～S_NS的每一个的情形下，有时省略符号的下标而记述。此外，关于在以下说明的编码数据#1中包含的数据并且是带下标的其他数据，也是相同的。

在图片报头PH中，包含为了决定对象图片的解码方法而由运动图像解码装置1参照的编码参数组。图片报头PH也称为图片参数组(PPS：Picture Parameter Set)。

(切片层)

在切片层中，规定了为了对处理对象的切片S(也称为对象切片)进行解码而由运动图像解码装置1参照的数据的集合。如图3的(b)所示，切片S包含切片报头SH以及树块CTU₁至CTU_NC(NC为在切片S中包含的树块的总数)。

在切片报头SH中，包含为了决定对象切片的解码方法而由运动图像解码装置1参照的编码参数组。指定切片类型的切片类型指定信息(slice_type)为在切片报头SH中包含的编码参数的一例。

作为可由切片类型指定信息指定的切片类型，可举出(1)在编码时仅使用帧内预测的I切片、(2)在编码时使用单方向预测或者帧内预测的P切片、(3)在编码时使用单方向预测、双方向预测或者帧内预测的B切片等。

此外，在切片报头SH中，也可以包含由运动图像解码装置1具备的环路滤波器(未图示)参照的滤波器参数。

(树块层)

在树块层中，规定了为了对处理对象的树块CTU(以下也称为对象树块)进行解码而由运动图像解码装置1参照的数据的集合。树块CTB是将切片(图片)分割为固定尺寸的块。此外，在固定尺寸的块即树块中，当注目于区域的图像数据(像素)时，不只包含树块、区域的图像数据，还包含用于解码图像数据的信息(例如分割信息等)，在这种情形下，有时候称为树单元。以下，不进行区分而仅称为树块CTU。以下，对于编码树、编码单元等，同样不只包含对应的区域的图像数据还包含用于解码图像数据的信息(例如分割信息等)来进行处理。

树块CTU包括树块报头CTUH和编码单位信息CQT。这里，首先，关于树块CTU与编码树CT的关系进行如下说明。

树块CTU是将切片(图片)分割为固定尺寸的单元。

树块CTU具有编码树(CT)。编码树(CT)通过递归式的四叉树分割被分割。以下，将通过该递归式的四叉树分割而获得的树构造及其节点称为编码树(coding tree)。

以下，将与编码树的末端的节点即叶子(leaf)对应的单元，作为编码节点(codingnode)而参照。此外，由于编码节点成为编码处理的基本的单位，所以，以下将编码节点也称为编码单位(CU)。也就是说，最上位的编码树CT是CTU(CQT)，而末端的编码树CT是CU。

即，编码单位信息CU_l至CU_NL是与对树块CTU进行递归式四叉树分割而获得的各编码节点(编码单位)对应的信息。

此外，编码树的根(root)与树块CTU相对应。换言之，树块CTU(CQT)与递归式地包含多个编码节点(CT)的四叉树分割的树构造的最上位节点相对应。

另外，各编码节点的尺寸为该编码节点直接所属的编码节点(即该编码节点的1层次上位的节点的单元)的尺寸的纵横的一半。

此外，各编码节点可取的尺寸依赖于在编码数据#1的序列参数集SPS中包含的、编码节点的尺寸指定信息以及最大层次深度(maximum hierarchical depth)。例如，在树块CTU的尺寸为64×64像素且最大层次深度为3的情形下，该树块CTU以下的层次中的编码节点可取4种尺寸、即64×64像素、32×32像素、16×16像素以及8×8像素中的任一种。

(树块报头)

树块报头CTUH中包含为了决定对象树块的解码方法而由运动图像解码装置1参照的编码参数。具体地，如图3的(c)所示，包含指定对象树块的过滤方法的SAO。将CTUH等CTU中包含的信息称为编码树单元信息(CTU)信息。

(编码树)

编码树CT具有用于对树块进行分割的信息即树块分割信息SP。例如，具体而言，如图3的(d)所示，树块分割信息SP可以是表示是否对对象树块整体或者树块的部分区域进行四分割的标志即CU分割标志(split_cu_flag)。当CU分割标志split_cu_flag为1时，将编码树CT进一步分割为四个编码树CT。当split_cu_flag为0时，表示编码树CT是未被分割的末端节点。将编码树所具有的CU分割标志split_cu_flag等信息称为编码树信息(CT信息)。CT信息除了包含表示是否对该编码树进一步进行分割的CU分割标志split_cu_flag之外，还可以包含在该编码树和其以下的编码单元中适用的参数。例如，在CT信息中，当编码数据具有残差模式时，某个被解码出的残差模式的值作为对该残差模式进行解码得到的编码树和其以下的编码单元的残差模式的值而适用。

(CU层)

在CU层中，规定了为了对处理对象的CU(以下，也称为对象CU)进行解码而由运动图像解码装置1参照的数据的集合。

这里，在对编码单位信息CU中包含的数据的具体内容进行说明之前，关于CU中包含的数据的树构造进行说明。编码节点成为预测树(predictiontree；PT)以及变换树(transform tree；TT)的根的节点。对预测树以及变换树进行如下说明。

在预测树中，编码节点被分割为一个或者多个预测块，且规定了各预测块的位置和尺寸。用其他表述来说，预测块是构成编码节点的一个或者多个不重复的区域。此外，预测树包含通过上述分割而获得的一个或者多个预测块。

预测处理按照该每个预测块而进行。以下，将预测的单位即预测块也称为预测单位(PU；prediction unit)。

粗略地说，预测树中的分割种类有帧内预测的情形和帧间预测的情形的这两种。

在帧内预测的情形下，分割方法有2N×2N(与编码节点同一尺寸)和N×N。

此外，在帧间预测的情形下，分割方法有2N×2N(与编码节点同一尺寸)、2N×N、N×2N、以及N×N等。

此外，在变换树中，编码节点被分割为一个或者多个变换块，且规定了各变换块的位置和尺寸。用其他表述来说，变换块是构成编码节点的一个或者多个不重复的区域。此外，变换树包含通过上述分割而获得的一个或者多个变换块。

变换处理按照该每个变换块而进行。以下，将变换的单位即变换块也称为变换单位(transform unit；TU)。

(编码单位信息的数据构成)

接着，参照图3的(e)对编码单位信息CU中包含的数据的具体内容进行说明。如图3的(e)所示，编码单位信息CU具体包含CU信息(跳过标志SKIP、CU预测类型信息Pred＿type)、PT信息PTI以及TT信息TTI。

[跳过标志]

跳过标志SKIP是表示是否对对象CU应用了跳过模式的标志(skip_flag)，在跳过标志SKIP的值为1的情形下，即在对对象CU应用了跳过模式的情形下，该编码单位信息CU中的PT信息PTI、TT信息TTI被省略。此外，跳过标志SKIP在I切片中被省略。

[CU预测类型信息]

CU预测类型信息Pred＿type包含CU预测方式信息(PredMode)以及PU分割类型信息(PartMode)。

CU预测方式信息(PredMode)用于指定作为关于对象CU中所包含的各PU的预测图像生成方法使用跳过模式、帧内预测(帧内CU)以及帧间预测(帧间CU)中的哪一个。此外，以下，将对象CU中的跳过、帧内预测以及帧间预测的类别称为CU预测模式。

PU分割类型信息(PartMode)用于指定对象编码单位(CU)向各PU的分割的图案即PU分割类型。以下，将像这样按照PU分割类型将对象编码单位(CU)向各PU分割的情形称作PU分割。

例示性地，PU分割类型信息(PartMode)可以是表示PU分割图案的种类的索引，也可以被指定对象预测树中包含的各PU的形状、尺寸以及在对象预测树内的位置。此外，PU分割也称为预测单位分割类型。

另外，可选择的PU分割类型根据CU预测方式和CU尺寸而不同。此外，进一步来说，可选择的PU分割类型在帧间预测以及帧内预测各自的情形下不同。此外，关于PU分割类型的细节将在后面叙述

此外，在不是I切片的情形下，CU预测方式信息(PredMode)的值以及PU分割类型信息(PartMode)的值可以通过指定CU分割标志(split_cu_flag)、跳过标志(skip_flag)、合并标志(merge_flag；后述)、CU预测方式信息(PredMode)以及PU分割类型信息(PartMode)的组合的索引(cu_split_pred_part_mode)来确定。如cu_split_pred_part_mode那样的索引也称为绑定语法(或者联合编码)。

[PT信息]

PT信息PTI是与对象CU中所包含的PT相关的信息。换言之，PT信息PTI是与PT中所包含的1个或者多个PU分别相关的信息的集合。如上所述，预测图像的生成是以PU为单位来进行的，因此，PT信息PTI在由运动图像解码装置1生成预测图像之际被参照。如图3的(d)所示，PT信息PTI包含具有各PU中的包含预测信息等的PU信息PUI₁至PUI_NP(NP为对象PT中所包含的PU的总数)。

预测信息PUI根据预测类型信息Pred_mode指定何种预测方法，而包含帧内预测信息或者帧间预测信息。以下，将应用帧内预测的PU也称为帧内PU，将应用帧间预测的PU也称为帧间PU。

帧间预测信息包含运动图像解码装置1通过帧间预测来生成帧间预测图像之际被参照的编码参数。

作为帧间预测参数，可列举出例如合并标志(merge_flag)、合并索引(merge_idx)、估计运动矢量索引(mvp_idx)、参照图像索引(ref_idx)、帧间预测标志(inter_pred_flag)、以及运动矢量残差(mvd)。

帧内预测信息包含运动图像解码装置1通过帧内预测来生成帧内预测图像之际被参照的编码参数。

作为帧内预测参数，可列举出例如估计预测模式标志、估计预测模式索引、以及剩余预测模式索引。

另外，也可以在帧内预测信息中编码出表示是否使用PCM模式的PCM模式标志。在编码出了PCM模式标志的情形下，即PCM模式标志表示使用PCM模式时，预测处理(帧内)、变换处理、以及熵编码的各处理被省略。

[TT信息]

TT信息TTI是与CU中所包含的TT相关的信息。换言之，TT信息TTI是与TT中所包含的1个或者多个TU分别相关的信息的集合，在由运动图像解码装置1解码残差数据之际被参照。另外，以下有时也将TU称作块。

如图3的(e)所示，TT信息TTI包含：表示对象CU是否包含残差数据的信息CU残差标志CBP_TU、用于指定对象CU向各变换块的分割图案的TT分割信息SP_TU、以及TU信息TUI₁至TUI_NT(NT为对象CU中所包含的块的总数)。

当CU残差标志CBP＿TU为0时，对象CU不包含残差数据即TT信息TTI。当CU残差标志CBP＿TU为1时，对象CU包含残差数据即TT信息TTI。CU残差标志CBP＿TU例如可以是表示在对对象块以下分割而得到的所有残差块中不存在残差的残差根标志rqt_root_cbf(Residual Quad Tree Root Coded Block Flag)。TT分割信息SP_TU具体而言是用于决定对象CU中所包含的各TU的形状、尺寸以及在对象CU内的位置的信息。例如，TT分割信息SP_TU能够根据表示是否进行成为对象的节点的分割的TU分割标志(split_transform_flag)和表示其分割的深度的TU深度(TU层次、trafoDepth)来实现。TU分割标志split_transform_flag是表示是否对进行变换(逆变换)的变换块进行分割的标志，在进行分割的情形下，使用更小的块来进行变换(逆变换、逆量化、量化)。

此外，例如在CU的尺寸为64×64的情形下，通过分割而获得的各TU可取从32×32像素至4×4像素为止的尺寸。

TU信息TUI₁至TUI_NT是与TT中所包含的1个或者多个TU分别相关的单独的信息。例如，TU信息TUI包含量化预测残差。

各量化预测残差是运动图像编码装置2通过对处理对象的块即对象块实施以下的处理1至3而生成的编码数据。

处理1：对从编码对象图像之中减去预测图像得到的预测残差进行DCT变换(Discrete Cosine Transform：离散余弦变换)；

处理2：对由处理1获得的变换系数进行量化；

处理3：对由处理2量化后的变换系数进行可变长编码；

另外，上述量化参数qp表示在运动图像编码装置2对变换系数进行量化之际使用的量化步幅QP的大小(QP＝2^qp/6)。

(PU分割类型)

在PU分割类型(PartMode)中，如果将对象CU的尺寸设为2N×2N像素，则有如下的合计8种的图案。即为2N×2N像素、2N×N像素、N×2N像素以及N×N像素的4个对称分割(symmetric splittings)、以及2N×nU像素、2N×nD像素、nL×2N像素及nR×2N像素的4个非对称分割(asymmetric splittings)。另外，意味着N＝2^m(m为1以上的任意整数)。以下，将分割对称CU而获得的区域也称作分区。

在图4的(a)至(h)中关于各个分割类型而具体地图示出CU中的PU分割的边界的位置。

此外，图4的(a)表示不进行CU分割的2N×2N的PU分割类型。

此外，图4的(b)、(c)以及(d)分别表示PU分割类型为2N×N、2N×nU以及2N×nD的情形下的分区的形状。以下，将PU分割类型为2N×N、2N×nU以及2N×nD的情形下的分区总称为横长分区。

此外，图4的(e)、(f)以及(g)分别表示PU分割类型为N×2N、nL×2N以及nR×2N的情形下的分区的形状。以下，将PU分割类型为N×2N、nL×2N以及nR×2N的情形下的分区总称为纵长分区。

此外，将横长分区以及纵长分区总称为长方形分区。

此外，图4的(h)表示PU分割类型为N×N的情形下的分区的形状。对于图4的(a)以及(h)的PU分割类型，基于其分区的形状，也将其称作正方形分割。此外，图4的(b)至(g)的PU分割类型也称作非正方形分割。

此外，在图4的(a)至(h)中，对各区域赋予的编号表示区域的识别编号，并按照该识别编号的顺序对区域进行处理。即，该识别编号表示区域的扫描顺序。

此外，设定为在图4的(a)至(h)中左上为CU的基准点(原点)。

[帧间预测的情形下的分割类型]

在帧间PU中，定义了上述8个种类的分割类型之中N×N(图4(h))以外的7个种类。另外，上述4个非对称分割有时也称作AMP(Asymmetric Motion Partition、非对称分区)。一般地，在由非对称分区分割的CU中包含形状或者尺寸不同的分区。此外，对称分割有时也称作对称分区。一般地，在由对称分区分割的CU中包含形状以及尺寸相同的分区。

此外，上述N的具体值根据该PU所属的CU的尺寸来规定，nU、nD、nL以及nR的具体值根据N的值来确定。例如，128×128像素的帧间CU可以分割为128×128像素、128×64像素、64×128像素、64×64像素，128×32像素、128×96像素、32×128像素以及96×128像素的帧间PU。

[帧内预测的情形下的分割类型]

在帧内PU中，定义了如下2个种类的分割图案。即，不分割对象CU的、也就是将对象CU自身作为一个PU处理的分割图案2N×2N、以及将对象CU对称地向4个PU分割的图案N×N。

因此，在帧内PU中，如果以图4所示的示例来说，则能够获取图(a)以及(h)的分割图案。

例如，128×128像素的帧内CU可以分割为128×128像素以及64×64像素的帧内PU。

此外，在I切片的情形下，在编码单位信息CU中，可以包含用于确定PU分割类型(PartMode)的帧内分割模式(intra_part_mode)。

〔运动图像解码装置〕

以下，参照图1至图24来说明本实施方式所涉及的运动图像解码装置1的构成。

(运动图像解码装置的概要)

运动图像解码装置1按照每个PU生成预测图像，通过对生成的预测图像和由编码数据#1解码的预测残差进行加法运算从而生成解码图像#2，并将生成的解码图像#2输出到外部。

这里，预测图像的生成是参照通过对编码数据#1进行解码而得到的编码参数而进行的。编码参数是指为了生成预测图像而被参照的参数。在编码参数中，除了包含在画面间预测中被参照的运动矢量和在画面内预测中被参照的预测模式等预测参数之外，还包含PU的尺寸和形状、块的尺寸和形状、以及原图像和预测图像的残差数据等。以下，将编码参数包含的信息中除了上述残差数据之外的全部信息的集合称为辅助信息。

此外，以下，将成为解码的对象的图片(帧(frame))、切片、树块、块以及PU分别称为对象图片、对象切片、对象树块、对象块、以及对象PU。

此外，树块的尺寸例如为64×64像素，PU的尺寸例如为64×64像素、32×32像素、16×16像素、8×8像素、4×4像素等。但这些尺寸仅是例示，树块和PU的尺寸也可以是以上所示尺寸以外的尺寸。

(运动图像解码装置的构成)

再次参照图2对运动图像解码装置1的概略构成进行如下说明。图2是表示运动图像解码装置1的概略构成的功能框图。

如图2所示的运动图像解码装置1具备：解码模块10、CU信息解码部11、PU信息解码部12、TU信息解码部13、预测图像生成部14、逆量化/逆变换部15、帧存储器16以及加法器17。

[基本解码过程]

图1是用于说明运动图像解码装置1的概略动作的流程图。

(S1100)解码模块10从编码数据#1中解码SPS、PPS等参数集信息。

(S1200)解码模块10从编码数据#1中解码切片报头(切片信息)。

以下，解码模块10关于对象图片包含的各CTB反复进行S1300到S4000的处理从而导出各CTB的解码图像。

(S1300)CU信息解码部11从编码数据#1中解码编码树单元信息(CTU信息)。

(S1400)CU信息解码部11从编码数据#1中解码编码树信息(CT信息)。

(S1500)CU信息解码部11从编码数据#1中解码编码单元信息(CU信息)。

(S1600)PU信息解码部12从编码数据#1中解码预测单元信息(PT信息PTI)。

(S1700)TU信息解码部13从编码数据#1中解码变换单元信息(TT信息TTI)。

(S2000)预测图像生成部14关于对象CU包含的各PU基于PT信息PTI生成预测图像。

(S3000)逆量化/逆变换部15关于对象CU包含的各TU基于TT信息TTI执行逆量化/逆变换处理。

(S4000)解码模块10利用加法器17对由预测图像生成部14提供的预测图像Pred和由逆量化/逆变换部15提供的预测残差D进行加法计算，从而生成关于对象CU的解码图像P。

(S5000)解码模块10对解码图像P附加去块滤波器、采样自适应滤波器(SAO)等环路滤波器。

以下，对各模块的概略动作进行说明。

[解码模块]

解码模块10进行解码处理以从二进制解码语法值。更具体而言，解码模块10基于从提供源提供的编码数据以及语法类别对根据CABAC以及CAVLC等熵编码方式被编码的语法值进行解码，并将解码后的语法值返回至提供源。

在以下所示的示例中，编码数据以及语法类别的提供源为CU信息解码部11、PU信息解码部12以及TU信息解码部13。

[CU信息解码部]

CU信息解码部11使用解码模块10，针对从运动图像编码装置2输入的1帧的量的编码数据#1，进行树块以及CU级别的解码处理。具体而言，CU信息解码部11通过以下的过程从编码数据#1中解码CTU信息、CT信息、CU信息、PT信息PTI、TT信息TTI。

首先，CU信息解码部11参照编码数据#1中所包含的各种报头，将编码数据#1依次分离为切片、树块。

这里，在各种报头中，含有：(1)关于对象图片向切片的分割方法的信息、以及(2)关于属于对象切片的树块的尺寸、形状以及在对象切片内的位置的信息。

而且，在CU信息解码部11中，作为CT信息，对树块报头CTUH中所包含的树块分割信息SP＿CTU进行解码，将对象树块分割为CU。接下来，CU信息解码部11获取与通过分割而得到的CU对应的编码单位信息(以下，称为CU信息)。CU信息解码部11将树块中所包含的各CU依次作为对象CU，来执行与对象CU对应的CU信息的解码处理。

CU信息解码部11对于与关于对象CU所得到的变换树相关的TT信息TTI、以及与关于对象CU所得到的预测树相关的PT信息PTI进行解复用。此外，在TT信息TTI中，如上所述，包含与变换树中所包含的TU对应的TU信息TUI。另外，在PT信息PTI中，如上所述，包含与对象预测树中所包含的PU对应的PU信息PUI。

CU信息解码部11将关于对象CU所得到的PT信息PTI提供给PU信息解码部12。另外，CU信息解码部11将关于对象CU所得到的TT信息TTI提供给TU信息解码部13。

更详细地，CU信息解码部11如图5所示进行以下的动作。图5是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400)的概略动作的流程图。

(S1311)CU信息解码部11从编码数据#1中解码CTU信息，对用于管理被递归式分割的编码树CT的变量进行初始化。具体而言，如下式那样，对表示编码树的层次的CT层次(CT深度、CU层次、CU深度)cqtDepth设定0，作为编码单元尺寸即CU尺寸(这里，对数CU尺寸log2CbSize＝变换树块的尺寸)，设定编码树块的尺寸即CTB尺寸CtbLog2SizeY(CtbLog2Size)。

cqtDepth＝0

log2CbSize＝CtbLog2SizeY

此外，虽然CT层次(CT深度)cqtDepth被设定为在最上位层次为0，随着下位层加深而一个一个增大，但并不局限于此。虽然在以上记载中，通过将CU尺寸以及CTB尺寸限定为2的指数幂(4,8,16,32,64,128,256,……等)从而用以2为底的对数来处理这些块的尺寸，但并不局限于此。此外，当块尺寸为4,8,16,32,64,128,256时，2,3,4,5,6,7,8分别为对数值。

以下，CU信息解码部11递归式地对编码树TU(coding_quadtree：编码四叉树)进行解码(S1400)。CU信息解码部11对最上位(根)的编码树coding_quadtree(xCtb，yCtb，CtbLog2SizeY，0)进行解码(SYN1400)。此外，xCtb，yCtb为CTB的左上坐标，CtbLog2SizeY为CTB的块尺寸(例如64，128，256)。

(S1411)CU信息解码部11判定对数CU尺寸log2CbSize是否比规定的最小CU尺寸MinCbLog2SizeY(最小变换块尺寸)大(SYN1411)。在对数CU尺寸log2CbSize比MinCbLog2SizeY大的情形下，进入S1421，在除此以外的情形下，进入S1422。

(S1421)在判定为对数CU尺寸log2CbSize比MinCbLog2SizeY大的情形下，CU信息解码部11对SYN1421中所示的语法要素即CU分割标志(split_cu_flag)进行解码。

(S1422)在除此以外的情形(对数CU尺寸log2CbSize为MinCbLog2SizeY以下)，即编码数据#1中没有出现CU分割标志split_cu_flag的情形下，CU信息解码部11省略从编码数据#1解码CU分割标志split_cu_flag的，而将CU分割标志split_cu_flag导出为0。

(S1431)在CU分割标志split_cu_flag为0以外(＝1)的情形下(SYN1431)，CU信息解码部11解码对象编码树中所包含的1个以上的编码树。这里，是解码对数CT尺寸log2CbSize－1、CT层次cqtDepth+1即位置(x0,y0)、(x1,y0)、(x0,y1)、(x1,y1)的4个下位编码树CT。CU信息解码部11在下位编码树CT中也继续进行从S1411开始的CT解码处理S1400。

coding_quadtree(x0,y0,log2CbSize－1,cqtDepth+1)(SYN1441A)

coding_quadtree(x1,y0,log2CbSize－1,cqtDepth+1)(SYN1441B)

coding_quadtree(x0,y1,log2CbSize－1,cqtDepth+1)(SYN1441C)

coding_quadtree(x1,y1,log2CbSize－1,cqtDepth+1)(SYN1441D)

这里，x0，y0是对象编码树的左上坐标，x1、y1是如下式那样，在对CT坐标加上对象CT尺寸(1<<log2CbSize)的1/2而导出的坐标。

x1＝x0+(1<<(log2CbSize－1))

y1＝y0+(1<<(log2CbSize－1))

此外，<<表示左移。1<<N与2^N同值(下同)。同样地，以下，>>表示右移。

在除此以外的情形下(在CU分割标志split_cu_flag为0的情形下)，进入S1500以对编码单元进行解码。

(S1441)如上所述，在对编码树coding_quadtree进行递归式解码之前，根据下式，对表示编码树的层次的CT层次cqtDepth加1，并对编码单元尺寸即对数CU尺寸log2CbSize减1(使编码单元尺寸成为一半)之后进行更新。

cqtDepth＝cqtDepth+1

log2CbSize＝log2CbSize－1

(S1500)CU信息解码部11对编码单元CU coding_unit(x0,y0,log2CbSize)进行解码(SYN1450)。这里，x0，y0是编码单元的坐标。这里，编码树的尺寸即log2CbSize与编码单元的尺寸相等。

[PU信息解码部]

PU信息解码部12使用解码模块10，针对从CU信息解码部11提供的PT信息PTI，进行PU级别的解码处理。具体而言，PU信息解码部12，通过以下的过程来对PT信息PTI进行解码。

PU信息解码部12参照PU分割类型信息Part＿type，来决定对象预测树中的PU分割类型。接下来，PU信息解码部12将对象预测树中所包含的各PU依次作为对象PU，来执行与对象PU对应的PU信息的解码处理。

即，PU信息解码部12根据与对象PU对应的PU信息，来进行用于预测图像的生成的各参数的解码处理。

PU信息解码部12将关于对象PU所解码出的PU信息提供给预测图像生成部14。

更详细地，CU信息解码部11和PU信息解码部12如图6所示进行以下的动作。图6是用于说明S1600中所示的PU信息解码的概略动作的流程图。

图10是表示本发明的一个实施方式所涉及的CU信息、PT信息PTI、TT信息TTI的语法表的构成例的图。图11是表示本发明的一个实施方式所涉及的PT信息PTI的语法表的构成例的图。

S1511CU信息解码部11从编码数据#1中解码跳过标志skip_flag。

S1512CU信息解码部11判定跳过标志skip_flag是否为0以外(＝1)。在跳过标志skip_flag为0以外(＝1)的情形下，PU信息解码部12省略从编码数据#1中解码预测类型Pred＿type即CU预测方式信息PredMode和PU分割类型信息PartMode，分别导出帧间预测、不进行分割(2N×2N)。此外，在跳过标志skip_flag为0以外(＝1)的情形下，TU信息解码部13省略S1700所示的从编码数据#1中解码TT信息TTI的处理，导出对象CU不存在TU分割且对象CU的量化预测残差TransCoeffLevel[][]为0。

S1611PU信息解码部12从编码数据#1中解码CU预测方式信息PredMode(语法要素pred_mode_flag)。

S1621PU信息解码部12从编码数据#1中解码PU分割类型信息PartMode(语法要素part_mode)。

S1631PU信息解码部12根据PU分割类型信息Part＿type所表示的PU分割数从编码数据#1中解码对象CU包含的各PU信息。

例如，在PU分割类型为2N×2N的情形下，解码将CU作为1个PU得到的下述1个PU信息PUI。

prediction_unit(x0，y0，nCbS，nCbS)(SYN1631A)

在PU分割类型为2N×N的情形下，解码对CU进行上下分割得到的下述2个PU信息PUI。

prediction_unit(x0,y0,nCbS,nCbS)(SYN1631B)

prediction_unit(x0,y0+(nCbS/2),nCbS,nCbS/2)(SYN1631C)

在PU分割类型为N×2N的情形下，解码对CU进行左右分割得到的下述2个PU信息PUI。

prediction_unit(x0,y0,nCbS,nCbS)(SYN1631D)

prediction_unit(x0+(nCbS/2),y0,nCbS/2,nCbS)(SYN1631E)

在PU分割类型为N×N的情形下，解码对CU进行四等分得到的下述4个PU信息PUI。

prediction_unit(x0,y0,nCbS,nCbS)(SYN1631F)

prediction_unit(x0+(nCbS/2),y0,nCbS/2,nCbS)(SYN1631G)

prediction_unit(x0,y0+(nCbS/2),nCbS,nCbS/2)(SYN1631H)

prediction_unit(x0+(nCbS/2),y0+(nCbS/2),nCbS/2,nCbS/2)(SYN1631I)

S1632在跳过标志为1的情形下，以2N×2N作为PU分割类型，解码1个PU信息PUI。

prediction_unit(x0,y0,nCbS,nCbS)(SYN1631S)

S1700是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500)、PU信息解码部12(PU信息解码S1600)、TU信息解码部13(TT信息解码S1700)的概略动作的流程图。

[TU信息解码部]

TU信息解码部13使用解码模块10，关于从CU信息解码部11提供的TT信息TTI，进行TU级别的解码处理。具体而言，TU信息解码部13通过以下的过程来对TT信息TTI进行解码。

TU信息解码部13参照TT分割信息SP＿TU，将对象变换树分割为节点或TU。此外，TU信息解码部13若被指定了关于对象节点进一步进行分割，则递归式地进行TU的分割处理。

若分割处理结束，则TU信息解码部13将对象预测树中所包含的各TU依次作为对象TU，来执行与对象TU对应的TU信息的解码处理。

即，TU信息解码部13根据与对象TU对应的TU信息，来进行用于变换系数的还原的各参数的解码处理。

TU信息解码部13将针对对象TU而解码出的TU信息提供给逆量化/逆变换部15。

更详细地，TU信息解码部13如图7所示进行以下的动作。图7是用于说明发明的一个实施方式所涉及的TU信息解码部13(TT信息解码S1700)的概略动作的流程图。

(S1711)TU信息解码部13从编码数据#1中解码CU残差标志rqt_root_cbf(SYN1711所示的语法要素)，该CU残差标志rqt_root_cbf表示对象CU是否具有0以外的残差(量化预测残差)。

(S1712)TU信息解码部13在CU残差标志rqt_root_cbf为0以外(＝1)的情形下(SYN1712)，进入S1721以解码TU。相反地，在CU残差标志rqt_root_cbf为0的情形下，省略从编码数据#1中解码对象CU的TT信息TTI的处理，作为TT信息TTI而导出对象CU不存在TU分割，且对象CU的量化预测残差为0。

(S1713)TU信息解码部13对用于管理被递归式分割的变换树的变量进行初始化。具体而言，如下式那样，对表示变换树的层次的TU层次trafoDepth设定0，并设定编码单元的尺寸(这里为对数CT尺寸log2CbSize)来作为变换单元尺寸即TU尺寸(这里为对数TU尺寸log2TrafoSize)。

trafoDepth＝0

log2TrafoSize＝log2CbSize

接着，对最上位(根)的变换树transform_tree(x0，y0，x0，y0，log2CbSize，0，0)进行解码(SYN1720)。这里，x0，y0是对象CU的坐标。

以下，TU信息解码部13对变换树TU(transform_tree)进行递归式解码。

(S1720)以通过递归式分割得到的叶子节点(变换块)的尺寸成为规定的尺寸的方式对变换树TU进行分割。也就是说，以成为变换的最大尺寸MaxTbLog2SizeY以下且最小尺寸MinTbLog2SizeY以上的方式进行分割。例如，就最大尺寸MaxTbLog2SizeY而言，表示64×64的6适合，就最小尺寸MinTbLog2SizeY而言，表示4×4的2等适合。若在变换树TU比最大尺寸MaxTbLog2SizeY大的情形下不对变换树进行分割，则变换块不会成为最大尺寸MaxTbLog2SizeY以下，因此必定进行分割。此外，若在变换树TU为最小尺寸MinTbLog2SizeY的情形下进行分割，则变换块会不足最小尺寸MinTbLog2SizeY，因此不进行分割。此外，为了使递归式层次不会过深，作为对象TU的层次trafoDepth，限制为最大TU层次(MaxTrafoDepth)以下是适合的。

(S1721)TU信息解码部13中所包含的TU分割标志解码部，在对象TU尺寸(例如对数TU尺寸log2TrafoSize)在规定的变换尺寸的范围内(这里为MaxTbLog2SizeY以下且比MinTbLog2SizeY大)，且对象TU的层次trafoDepth不足规定的层次MaxTrafoDepth的情形下，对TU分割标志(split_transform_flag)进行解码。更具体而言，在对数TU尺寸log2TrafoSize<＝最大TU尺寸MaxTbLog2Size且对数TU尺寸log2TrafoSize＞最小TU尺寸MinTbLog2SizeY且TU层次trafoDepth＜最大TU层次MaxTrafoDepth的情形下，对TU分割标志(split_transform_flag)进行解码。

(S1731)TU信息解码部13中所包含的TU分割标志解码部，遵照S1721的条件对TU分割标志split_transform_flag进行解码。

(S1732)TU信息解码部13中所包含的TU分割标志解码部，在除此以外的情形下，也就是在编码数据#1中没有出现split_transform_flag的情形下，省略从编码数据#1中解码TU分割标志split_transform_flag，在对数TU尺寸log2TrafoSize比最大TU尺寸MaxTbLog2SizeY大的情形下，导出对TU分割标志split_transform_flag进行分割(＝1)，在除此以外的情形下(对数TU尺寸log2TrafoSize与最小TU尺寸MaxTbLog2SizeY相等或者TU层次trafoDepth与最大TU层次MaxTrafoDepth相等)，导出不对TU分割标志split_transform_flag进行分割(＝0)。

(S1741)TU信息解码部13中所包含的TU分割标志解码部，在TU分割标志split_transform_flag为表示分割的0以外(＝1)的情形下，解码对象编码单元CU中所包含的变换树。这里，是解码对数CT尺寸log2CbSize－1、TU层次trafoDepth+1即位置(x0,y0)、(x1,y0)、(x0,y1)、(x1,y1)的4个下位变换树TT。TU信息解码部13进一步在下位的编码树TT中也继续进行从S1711开始的TT信息解码处理S1700。

transform_tree(x0,y0,x0,y0,log2TrafoSize－1,trafoDepth+1,0)(SYN1741A)

transform_tree(x1,y0,x0,y0,log2TrafoSize－1,trafoDepth+1,1)(SYN1741B)

transform_tree(x0,y1,x0,y0,log2TrafoSize－1,trafoDepth+1,2)(SYN1741C)

transform_tree(x1,y1,x0,y0,log2TrafoSize－1,trafoDepth+1,3)(SYN1741D)

这里，x0，y0是对象变换树的左上坐标，x1、y1是如下式那样，在对变换树坐标(x0，y0)加上对象TU尺寸1<<log2TrafoSize)的1/2而导出的坐标。

x1＝x0+(1<<(log2TrafoSize－1))

y1＝y0+(1<<(log2TrafoSize－1))

在除此以外的情形下(在TU分割标志split_transform_flag为0的情形下)，进入S1751以对变换单元进行解码。

如上所述，在对变换树transform_tree进行递归式解码之前，根据下式，对表示变换树的层次的TU层次trafoDepth加1，并对对象TU尺寸即对数CT尺寸log2TrafoSize减1之后进行更新。

trafoDepth＝trafoDepth+1

log2TrafoSize＝log2TrafoSize－1

(S1751)在TU分割标志split_transform_flag为0的情形下，TU信息解码部13对表示在对象TU中是否含有残差的TU残差标志进行解码。虽然在这里使用表示在对象TU的亮度分量中是否含有残差的亮度残差标志cbf_luma作为TU残差标志，但并不局限于此。

(S1760)在TU分割标志split_transform_flag为0的情形下，TU信息解码部13对SYN1760中所示的变换单元TU transform_unit(x0,y0,xBase,yBase,log2TrafoSize,trafoDepth,blkIdx)进行解码。

图8是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码S1600)的概略动作的流程图。

图12是表示本发明的一个实施方式所涉及的TT信息TTI的语法表的构成例的图。图13是表示本发明的一个实施方式所涉及的TU信息的语法表的构成例的图。

(S1761)TU信息解码部13对TU中是否含有残差(TU残差标志是否为0以外)进行判定。此外，虽然在这里(SYN1761中)，通过由下式导出的cbfLuma||cbfChroma来判定TU中是否含有残差，但并不局限于此。也就是说，也可以使用表示在对象TU的亮度分量中是否含有残差的亮度残差标志cbf_luma来作为TU残差标志。

cbfLuma＝cbf_luma[x0][y0][trafoDepth]

cbfChroma＝cbf_cb[xC][yC][cbfDepthC]||cbf_cr[xC][yC][cbfDepthC])

此外，cbf_cb、cbf_cr是从编码数据#1中解码出的标志，表示在对象TU的色差分量Cb、Cr中是否含有残差，||表示逻辑或。这里，根据TU的亮度位置(x0、y0)、色差位置(xC、yC)、TU深度trafoDepth、cfbDepthC的语法要素cbf_luma、cbf_cb、cbf_cr来导出亮度的TU残差标志cbfLuma、色差的TU残差标志cbfChroma，并将其和(逻辑或)作为对象TU的TU残差标志导出。

(S1771)在TU中包含残差的情形下(在TU残差标志为0以外的情形下)，TU信息解码部13对QP更新信息(量化修正值)进行解码。这里，QP更新信息是表示与量化参数QP的预测值即量化参数预测值qPpred的差分值的值。这里，差分值是基于作为编码数据的语法要素的绝对值cu_qp_delta_abs和编码cu_qp_delta_sign_flag进行解码的，但并不局限于此。

(S1781)TU信息解码部13对TU残差标志(这里为cbfLuma)是否为0以外进行判定。

(S1800)在TU残差标志(这里为cbfLuma)为0以外的情形下，TU信息解码部13对量化预测残差进行解码。此外，TU信息解码部13也可以依次解码多个颜色分量来作为量化预测残差。在图示的示例中，TU信息解码部13，在TU残差标志(这里为cbfLuma)为0以外的情形下，对亮度量化预测残差(第一颜色分量)residual_coding(x0,y0,log2TrafoSize－rru_flag,0)进行解码，在第二颜色分量残差标志cbf_cb为0以外的情形下，对residual_coding(x0,y0,log2TrafoSize－rru_flag，0)、第三颜色分量量化预测残差residual_coding(x0,y0,log2TrafoSizeC－rru_flag,2)进行解码。

[预测图像生成部]

预测图像生成部14关于对象CU中所包含的各PU，基于PT信息PTI来生成预测图像。具体而言，预测图像生成部14关于对象预测树中所包含的各对象PU，遵照与对象PU对应的PU信息PUI中所包含的参数来进行帧内预测或帧间预测，从而根据作为解码完毕图像的局部解码图像P’生成预测图像Pred。预测图像生成部14将已生成的预测图像Pred提供给加法器17。

此外，关于预测图像生成部14基于运动补偿预测参数(运动矢量、参照图像索引、帧间预测标志)来生成对象CU中所包含的PU的预测图像的手法，说明如下。

在帧间预测标志表示单预测的情形下，预测图像生成部14生成与位于参照图像索引所示的参照图像的运动矢量所示的地点上的解码图像相当的预测图像。

另一方面，在帧间预测标志表示双预测的情形下，预测图像生成部14针对2组参照图像索引与运动矢量的组合的每个组合，通过运动补偿来生成预测图像，并计算平均，或者，基于对象图片与各参照图像的显示时间间隔来对各预测图像进行加权相加，从而生成最终的预测图像。

[逆量化/逆变换部]

逆量化/逆变换部15关于对象CU中所包含的各TU，基于TT信息TTI来执行逆量化/逆变换处理。具体而言，逆量化/逆变换部15针对对象变换树中所包含的各对象TU，对于与对象TU对应的TU信息TUI中所包含的量化预测残差进行逆量化以及逆正交变换，从而还原每个像素的预测残差D。此外，这里，正交变换是指从像素区域到频域的正交变换。因此，逆正交变换是从频域到像素区域的变换。另外，作为逆正交变换的示例，可列举逆DCT变换(Inverse Discrete Cosine Transform：逆离散余弦变换)、以及逆DST变换(InverseDiscrete Sine Transform：逆离散正弦变换)等。逆量化/逆变换部15将还原后的预测残差D提供给加法器17。

[帧存储器]

在帧存储器16中，解码出的解码图像P与用于该解码图像P的解码的参数一起被依次记录。在帧存储器16中，在对对象树块进行解码的时刻，记录有与先于该对象树块而解码出的全部的树块(例如以光栅扫描顺序先行的全部的树块)对应的解码图像。作为帧存储器16中所记录的解码参数的示例，可列举CU预测方式信息(PredMode)等。

[加法器]

加法器17通过对由预测图像生成部14提供的预测图像Pred与由逆量化/逆变换部15提供的预测残差D进行加法运算，来生成关于对象CU的解码图像P。此外，加法器17还可以执行如后述那样用于放大解码图像P的处理。

此外，在运动图像解码装置1中，对于图像内的全部的树块，在树块单位的解码图像生成处理结束的时刻，与输入至运动图像解码装置1的1帧的量的编码数据#1对应的解码图像#2被输出至外部。

＜本发明的构成＞

本发明的运动图像解码装置1是一种将图片分割为编码树块单位来进行解码的图像解码装置，其具备：编码树分割部(CU信息解码部11)，其将编码树块作为根编码树进行递归式分割；CU分割标志解码部，其对表示是否分割编码树的编码单元分割标志进行解码；以及残差模式解码部，其对残差模式RRU(rru_flag、分辨率变换模式)进行解码，该残差模式表示对于编码树以下的残差是以第一模式进行解码，还是以与第一模式不同的第二模式进行解码。

以下，以残差模式rru_flag＝0作为第一模式且残差模式rru_flag＝1作为第二模式为例进行说明，但值的分配并不局限于此。此外，残差模式不限定为例如普通分辨率(第一模式)和缩小分辨率(第二模式)两种，例如，作为第二模式，也可以使用水平缩小分辨率(rru_mode＝1)、垂直缩小分辨率(rru_mode＝2)、水平垂直缩小分辨率(rru_mode＝3)。

以下，关于本发明的运动图像解码装置1，以P1：基于残差模式的TU信息解码部13的TU信息解码、P2：基于残差模式的块像素值解码、P3：基于残差模式的量化控制、P4：残差模式rru_flag的解码、P5：基于残差模式的标志解码限制、P6：以切片级别进行分辨率变更(残差模式变更)的顺序进行说明。

＜＜P1：基于残差模式的TU信息解码＞＞

如已经使用图7所说明的那样(S1751、SN1751)，在TU分割标志split_transform_flag为0的情形下，TU信息解码部13对TU残差标志cbf_luma进行解码。

(S1760)TU信息解码部13对变换单元TU transform_unit(x0,y0,xBase,yBase,log2TrafoSize,trafoDepth,blkIdx)进行解码，得到量化预测残差。图15是表示本发明的一个实施方式所涉及的量化预测残差信息的语法表的构成例的图。

图16是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码1760A)的概略动作的流程图。S1761、S1771、S1781如在TU信息解码S1760中已经说明的那样，因此省略说明。在TU信息解码1760A中，代替S1800而进行S1800A的处理。

(S1800A)在TU残差标志(这里为cbfLuma)为0以外的情形下，TU信息解码部13解码对象区域(对象TU)的量化预测残差。在本实施方式中，在残差模式rru_flag为第一模式(＝0)的情形下，解码与对象TU对应的区域的尺寸(TU尺寸)的量化预测残差，而在残差模式rru_flag为第二模式(！＝0)的情形下，解码TU尺寸的一半尺寸的量化预测残差。例如，在TU尺寸为32×32的情形下，当残差模式rru_flag为第一模式(＝0)时，解码32×32的残差，而当残差模式rru_flag为第一模式(＝0)时，解码16×16的残差。当TU尺寸为对数量化尺寸log2TrafoSize时，解码(1<<log2TrafoSize)×(1<<log2TrafoSize)尺寸的量化预测残差。此外，量化尺寸与变换的尺寸(逆变换的尺寸)对应。

此外，在残差模式rru_flag为第二模式(！＝0)的情形下，也能仅在水平方向使量化预测残差的尺寸成为一半，该情形下，在残差模式rru_flag为第二模式(！＝0)的情形下，对(1<<(log2TrafoSize－1))×(1<<log2TrafoSize)尺寸的量化预测残差进行解码。

此外，在残差模式rru_flag为第二模式(！＝0)的情形下，也能仅在垂直方向使量化预测残差的尺寸成为一半，该情形下，在残差模式rru_flag为第二模式(！＝0)的情形下，对(1<<log2TrafoSize)×(1<<(log2TrafoSize－1))尺寸的量化预测残差进行解码。

关于实际解码的量化预测残差块尺寸，也可以根据log2TrafoSize－rru_flag作为对数尺寸导出。也就是说，在残差模式rru_flag为第一模式(＝0)的情形下，对数量化预测残差块的尺寸为对数TU尺寸log2TrafoSize，而在残差模式rru_flag为第二模式(！＝0)时，对数量化预测残差块的尺寸为对数TU尺寸log2TrafoSize－1。

关于S1800A的动作的细节，使用图16的流程图进行以下说明。

(S1811)TU信息解码部13判定残差模式rru_flag是否为第一模式(＝0)。

(S1821)当残差模式rru_flag为第一模式(＝0)时，TU信息解码部13使量化预测残差块的尺寸为TU尺寸(对数量化预测残差块尺寸为log2TrafoSize)。量化预测残差块尺寸(＝逆变换尺寸)为(1<<log2TrafoSize)×(1<<log2TrafoSize)。

(S1822)当残差模式rru_flag为第二模式(！＝0)时，TU信息解码部13使量化预测残差块的尺寸为TU尺寸的1/2(对数量化预测残差块尺寸为log2TrafoSize-rru_flag＝log2TrafoSize-1)。量化预测残差块尺寸(＝逆变换尺寸)为(1<<(log2TrafoSize-1))×(1<<(log2TrafoSize-1))。

(S1831)TU信息解码部13导出量化预测残差块的尺寸(对数量化预测残差块尺寸)的残差。

此外，虽然在上述流程图中是关于亮度进行处理，但关于其它颜色分量也进行同样处理即可。即，在色差的TU尺寸为log2TrafoSizeC的情形下，当残差模式rru_flag为第一模式(＝＝0)时，对log2TrafoSizeC尺寸的量化预测残差进行解码，而当残差模式rru_flag为第二模式(！＝0)时，对log2TrafoSizeC－1尺寸的量化预测残差进行解码。在以上构成中，通过仅从编码数据中解码比实际的对象TU尺寸(变换块尺寸)小的(例如对象TU尺寸的1/2的残差信息)的量化预测残差，能够导出对象TU尺寸的预测残差D，起到降低残差信息的码量的效果。此外，起到简化残差信息的解码处理的效果。

在解码并处理被缩小后的块的量化预测残差的情形下，是某处进行放大是适当的。以下，关于在预测残差图像的阶段进行放大的方法(P2A)和在解码图像的阶段进行解码的方法(P2B)进行说明。但就进行放大的方法而言，在以下两种中相同，例如可以在存储到用于保存解码图像的块的帧缓冲器的时刻进行放大，也可以在预测和再生等中从帧缓冲器中读取时进行放大。

＜＜P2：基于残差模式的块像素值解码的构成＞＞

＜P2A：基于残差模式的预测残差D放大＞

对运动图像解码装置1的一个构成进行说明。

(S2000)预测图像生成部14关于对象CU中所包含的各PU基于PT信息PTI生成预测图像。

(S3000A)

(S3011)逆量化/逆变换部15关于对象CU中所包含的各TU基于TT信息TTI执行预测残差残差TransCoeffLevel的逆量化。例如，根据下式将预测残差残差TransCoeffLevel变换为逆量化预测残差d[][]。

d[x][y]＝Clip3(coeffMin,coeffMax,((TransCoeffLevel[x][y]*m[x][y]*levelScale[qP％6]<<(qP/6))+(1<<(bdShift－1)))>>bdShift))

这里，coeffMin,coeffMax是逆量化预测残差的最小值和最大值，Clip3(x,y,z)是将z限定为x以上且y以下的值的Clip函数。m[x][y]是表示被叫做比例列表的频率位置(x,y)的各自的逆量化的权重的矩阵。比例列表m[][]例如可以基于PPS进行解码，作为m[x][y]，可以使用不基于频率位置的固定值(例如16)。qP是对象块的量化参数(例如从0到51)，levelScale[qP％6]、bdShift是从各自的量化参数中导出的量化尺度和量化位移值。通过对量化预测残差乘以量化尺度并以量化位移值右移，从而利用整数运算来实现与量化预测残差乘以小数点精度的量化步幅等价的运算。这里，若将变换块尺寸设为nTbS(＝1<<log2TrafoSize)，则例如从{40,45,51,57,64,72}、bdShift＝BitDepthY+log2(nTbS)－5中导出levelScale[qP％6](＝32*2^(qP+1)/6)即可。

(S3021)逆量化/逆变换部15基于TT信息TTI对被逆量化后的残差执行逆变换，导出预测残差D。

例如，根据下式将逆量化预测残差d[][]变换为预测残差g[x][y]。首先，逆量化/逆变换部15通过垂直方向一维变换导出中间值e[x][y]。

e[x][y]＝Σ(transMatrix[y][j]×d[x][j])

这里，transMatrix[][]是针对每个变换块尺寸nTbS而规定的nTbS×nTbS的矩阵。在4×4变换(nTbS＝4)的情形下，例如可以使用transMatrix[][]＝{{29 55 74 84}{74 740－74}{84－29－7455}{55－84 74－29}}。符号Σ表示关于下标j对到j＝0..nTbS－1为止的矩阵transMatrix[y][j]和d[x][j]的积进行加法运算的处理。也就是说，e[x][y]是通过对基于d[x][y]的各列(column)即d[x][j](j＝0..nTbS－1)和矩阵transMatrix的积得到的列进行排列而得到的。

逆量化/逆变换部15对中间值e[][]进行clip，导出g[x][y]。

g[x][y]＝Clip3(coeffMin,coeffMax,(e[x][y]+64)>>7)

逆量化/逆变换部15通过水平方向一维变换导出预测残差r[x][y]。

r[x][y]＝ΣtransMatrix[x][j]×g[j][y]

上述符号Σ表示关于下标j对到j＝0..nTbS－1为止的矩阵transMatrix[x][j]和g[j][y]的积进行加法运算的处理。也就是说，r[x][y]是通过对基于g[x][y]的各行(row)即g[j][y](j＝0..nTbS－1)和矩阵transMatrix的积得到的行进行排列而得到的。

(S3035)在残差模式表示第二模式的情形下(！＝0)，逆量化/逆变换部15将逆量化/逆变换后的预测残差D放大到TU尺寸(S3036)。在除此以外(残差模式为第一模式即为0)的情形下，不将逆量化/逆变换后的预测残差D放大到TU尺寸。

例如，逆量化/逆变换部15根据下式对预测残差rlPicSampleL[x][y]进行放大。rˊ[][][]是放大后的预测残差。

tempArray[n]＝(fL[xPhase,0]*rlPicSampleL[xRef－3,yPosRL]+

fL[xPhase,1]*rlPicSampleL[xRef－2,yPosRL]+

fL[xPhase,2]*rlPicSampleL[xRef－1,yPosRL]+

fL[xPhase,3]*rlPicSampleL[xRef－0,yPosRL]+

fL[xPhase,4]*rlPicSampleL[xRef+1,yPosRL]+

fL[xPhase,5]*rlPicSampleL[xRef+2,yPosRL]+

fL[xPhase,6]*rlPicSampleL[xRef+3,yPosRL]+

fL[xPhase,7]*rlPicSampleL[xRef+4,yPosRL]+offset1)>>shift1

rˊ＝(fL[yPhase,0]*tempArray[0]+

fL[yPhase,1]*tempArray[1]+

fL[yPhase,2]*tempArray[2]+

fL[yPhase,3]*tempArray[3]+

fL[yPhase,4]*tempArray[4]+

fL[yPhase,5]*tempArray[5]+

fL[yPhase,6]*tempArray[6]+

fL[yPhase,7]*tempArray[7]+offset2)>>shift2

这里，xRef,yRefRL是参照像素的整数坐标，xPhase,yPhase是以1/16像素精度来表达理想参照像素坐标和参照像素整数坐标的差异的相，fL[i,j]是基于相为i时距参照像素的整数坐标的相对位置为j的权重，offset1、offset2表示循环用变量中分别使用(1<<(shift1-1))、(1<<(shift2-1))，shift1、shift2是乘以权重之后规格化至原来的值的范围内的shift值。虽然在以上记载中通过使用了分离式滤波器的滤波处理来实现放大，但并不局限于此。例如，在使放大率为2倍的情形下，上述值可以通过xRef＝x>>1、yRefRL＝y>>1、xPhase＝((x×16)>>1)-xRef×16、yPhase＝((y×16)>>1)-xRefRL×16从对象像素的位置(x,y)中导出。

就滤波系数fL而言，例如针对以2倍的放大而产生的整数位置(相＝0)以及1/2像素差异位置(在1/16像素精度的相中相＝8)，可以分别使用以下的值。

fL[0,n]＝{0,0,0,64,0,0,0,0}

fL[8,n]＝{-1,4,-11,40,40,11,4,1}

此外，放大率不限于2倍，也可以是1.33倍、1.6倍、(2倍)、2.66倍、4倍等。上述放大率分别是相当于在量化预测残差(逆变换)的尺寸为12、10、(8)、6、4的情形下将放大后的尺寸放大到16的情形的值。

(S4000)解码模块10利用加法器17对由预测图像生产部14提供的预测图像Pred和由逆量化/逆变换部15提供的预测残差D进行加法运算，由此生成关于对象CU的解码图像P。

在以上的构成中，在残差模式为第二模式(！＝0)的情形下，逆量化/逆变换部15对变换图像进行放大。因此，通过仅对比实际的对象TU尺寸小的(例如对象TU尺寸的1/2的残差信息)进行解码，能够导出对象TU尺寸的预测残差D，起到了降低残差信息的码量的效果。此外，起到了简化残差信息的解码处理的效果。

＜P2B：基于残差模式的解码图像放大＞

对运动图像解码装置1的一个构成进行说明。

(S3000)逆量化/逆变换部15通过S3011、S3012的处理执行逆量化/逆变换。

(S3011)逆量化/逆变换部15关于对象CU中所包含的各TU基于TT信息TTI执行逆量化。关于逆量化的细节已经进行过说明，因此省略。

(S3021)逆量化/逆变换部15基于TT信息TTI对被逆量化后的残差执行逆变换，导出预测残差D。关于逆变换的细节已经进行过说明，因此省略。

(S4000A)解码模块10生成解码图像P。

(S4011)解码模块10利用加法器17对由预测图像生产部14提供的预测图像Pred和由逆量化/逆变换部15提供的预测残差D进行加法运算，由此生成关于对象CU的解码图像P。

(S4015)在残差模式表示第二模式的情形下(！＝0)，对基于预测图像Pred和预测残差D解码出的解码图像进行放大(S3036)。在除此以外(残差模式为第一模式即为0)的情形下，不对解码图像进行放大。

放大的细节与放大预测残差图像的P2A相同。但是，输入rlPicSampleL[x][y]变为解码图像来代替预测残差，输出rˊ[][][]变为放大后的解码图像。

在以上的构成中，在残差模式为第二模式(！＝0)的情形下，解码模块10对解码图像进行放大。因此，通过仅对比实际的对象区域小的区域尺寸的预测残差信息(例如对象区域的1/2尺寸的预测残差信息)进行解码，能够导出对象区域的解码图像，起到了降低残差信息的码量的效果。此外，起到了简化残差信息的解码处理的效果。

＜＜P3：基于残差模式的量化控制的构成例＞＞

(S3005)在残差模式表示第二模式的情形下(！＝0)，逆量化/逆变换部15设定第二QP值来作为量化参数qP(S3007)。在除此以外(残差模式为第一模式即为0)的情形下，设定第一QP值来作为量化参数qP。

例如，逆量化/逆变换部15使用基于量化修正值CuQpDeltaVal和量化参数预测值qPpred导出的以下的值qP1来作为第一QP值。

qP1＝qP_pred+CuQpDeltaVal

此外，在qP1的导出中也可以使用下式。

qP1＝((qP_pred+CuQpDeltaVal+52+2*QpBdOffset_Y)％(52+QpBdOffset_Y))－QpBdOffset_Y

此外，QpBdOffset_Y是用于针对像素值的每个比特深度用(例如8,10,12)而对量化进行调整的修正值。

此外，逆量化/逆变换部15使用基于量化修正值CuQpDeltaVal和量化参数预测值QPpred导出的以下的值qP2来作为第二QP值。量化参数预测值QPpred例如使用对象块的左块的QP与上块的QP的平均值等。

qP2＝qP1+offset_rru

这里，offset_rru可以是固定的常数(例如5或6)，也可以是由切片报头或PPS编码了的值。

接着，逆量化/逆变换部15如已经说明的那样使用基于残差模式设定的量化参数qP(这里为qP1、qP2)进行逆量化(S3011)、逆变换(S3021)。

＜基于残差模式的量化控制的其它构成例＞

图20是用于说明发明的一个实施方式所涉及的逆量化/逆变换部15(逆量化/逆变换S3000C)的概略动作的流程图。

(S3005)在残差模式表示第一模式的情形下(＝0)，作为量化步幅QP，设定通常的量化步幅QP。在除此以外(残差模式为第二模式即为！＝0)的情形下，作为量化步幅QP，对通常的QP值加上QP修正差分来对量化步幅QP进行修正。

例如，逆量化/逆变换部15使用对通常的QP值qP加上QP修正差分offset_rru而得到的值来作为QP值。

qP＝qP+offset_rru

接着，逆量化/逆变换部15如已经说明的那样使用基于残差模式设定的量化参数qP进行逆量化(S3011)、逆变换(S3021)。

根据以上的基于残差模式的量化控制，起到了如下效果：通过基于残差模式对量化参数qP进行控制，能够适当的控制成为残差模式的适用对象的区域(例如图片、切片、CTU、CT、CU、TU)的残差信息的码量的降低量。此外，由于残差信息的码量与画质相关，因此作为结果，起到了能够适当的控制成为残差模式的适用对象的区域的画质的效果。

此外，上述构成基于发明人实验上及解析上发现的以下的见解。将分辨率设为1/2。实验上，若将某区域的尺寸缩小为1/2来进行变换，则在同一量化参数(量化步幅)中，码量变为约1/2。若基于残差模式，使得尤其不是图片整体，而是切片、编码单元等图片的一部分区域的分辨率降低(使量化残差的信息降低)，则变更为1/2的码量这一情形，可能会使码量过于降低，或者码量的降低仍然不充分。若为了解决该问题，而对以区域为单位控制量化的参数即量化参数修正(也被称为量化步幅差分、qpOffset、deltaQP、dQP等)进行编码，则这次存在如下问题：在量化参数修正中码量成为必须，作为整体来说码量降低的效果变小，或者导致编码效果降低。

此外，根据发明人的解析上的理解，当将某区域的尺寸缩小到1/2来进行变换，则被编码的能量变为1/2。即，与N尺寸的变换(例如DCT变换)相比，在N/2尺寸的变换中，随着面积变为1/4，像素区域的能量变为1/4。对于此，在N/2尺寸的变换中通常设定为：用于变换时进行的规格化处理而分割的数量(一种量化步幅)被设定为小至1/2，而小的能量也作为变换系数而保留。作为结果，在将某区域的尺寸缩小至1/2的情形下，在变换系数区域得到的能量变为缩小前的1/2(＝1/4*2)。这个事实意味着：当作为残差模式选择了对于残差进行较少编码的模式，使图片的一部分区域的分辨率降低(使量化残差的信息降低)时，在此，画质降低了使码量与约1/2这样的缩小率相适应而预先决定的削减率。由于削减率是固定的，因此与上述码量相同，存在画质过于降低或者根据情形画质的降低不充分的问题。不使用自以往开始就存在的量化参数修正，而根据残差模式来控制使量化粗化的区域的码量以及画质，是本实施方式的构成的目的(效果)所在。

＜＜P4：残差模式解码部的构成＞＞

以下，进一步依次说明残差模式解码部的构成不同的运动图像解码装置1的形态。以下，按照P4a：CTU层的残差模式解码部的构成、P4b：CT层的残差模式的构成、P4c：CU层的残差模式的构成、P4d：TU层的残差模式的构成的顺序进行说明。

＜P4a：CTU层的残差模式解码部的构成＞

以下，使用图21至图23来说明运动图像解码装置1的一个构成。

图21是表示通过本发明的一个实施方式所涉及的由运动图像编码装置生成并由上述运动图像解码装置解码的编码数据的数据构成的图。如图21(c)所示，运动图像解码装置1对编码数据#1中的CTU层次(这里为CTU报头、CTUH)所包含的残差模式RRU(rru_flag)进行解码。

图23是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400A)的概略动作的流程图。与已经说明过的图5相比，CU信息解码部11进行S1300A的处理来代替S1300的处理。即，在CU信息解码部11对编码单元(CU分割标志或CU信息、PT信息PTI、TT信息TTI)进行解码之前，CU信息解码部11所包含的残差模式解码部从编码数据中解码SYN1305所示的残差模式rru_flag(S1305)。

除此以外的CU信息解码部11的动作与使用图5已经说明过的S1300的处理相同。

该构成的残差模式解码部仅在最上位的编码树即编码树单元CTU中从编码数据#1中解码残差模式(rru_flag)，在与其相比为下位的编码树中不解码残差模式(rru_flag)，而是将在上位的编码树中解码出的残差模式的值用作位于下位的树中的对象块的残差模式。例如，在对象CT的层次为cqtDepth的情形下，使用在上位的编码树CT即cqtDepth－1、cqtDepth－2的编码树CT等中解码出的残差模式的值、在CTU报头中解码出的残差模式的值、或者在切片报头、参数集中解码出的残差模式的值。

在以上的构成中，仅在构成图片的切片以下的最大单位区域即编码树单元(CTU块)中，将残差模式rru_flag包含在编码数据中，因此具有抑制残差模式rru_flag的码量的效果。此外，由于在编码树单元以下并用了基于四叉树的块分割，因此起到了如下效果：在根据残差模式rru_flag使残差的构成改变的区域中也能实现自由度高的块尺寸下的预测、变换。

简单地说，在以上的构成中，能够从残差模式为第一模式且块尺寸较大的情形、残差模式为第一模式且块尺寸较小的情形、残差模式为第二模式且块尺寸较大的情形、以及残差模式为第二模式且块尺寸较小的情形中选择编码效率最高的模式，因此起到了提高编码效率的效果。

＜基于残差模式的值的CU分割标志解码＞

此外，在如本构成的以CTU级别解码残差模式的构成(P4a)、后述的以CT级别解码残差模式的构成(P4b)这样在解码CU分割标志之前对残差模式进行解码的构成中，基于残差模式的值解码CU分割标志是合适的。以下，使用图23所示的以下的S1411A的处理关于该构成进行说明。本构成的CU信息解码部11进行S1411A的处理来代替S1411的处理。

(S1411A)如图22的SYN1311A的语法构成中也表示的那样，CU信息解码部11根据残差模式，判定对数CU尺寸log2CbSize是否比规定的最小CU尺寸MinCbLog2SizeY大。在对数CU尺寸log2CbSize+残差模式rru_mode比MinCbLog2SizeY大的情形下，从编码数据中解码SYN1321的语法要素所表示的CU分割标志split_cu_flag(S1421)，在除此以外的情形下，省略CU分割标志split_cu_flag的解码，推定为表示不进行分割的0(S1422)。

此外，通过对残差模式的值进行加法运算得到的判定式的项(log2CbSize+rru_mode)，在残差模式为0以外时，可以通过加1的处理(log2CbSize+(rru_mode？1:0))来导出(下同)。上述的S1411A的处理与以下处理相等。即，CU信息解码部11，在残差模式为第一模式即为0的情形下，当对数CU尺寸log2CbSize比规定的最小CU尺寸MinCbLog2SizeY大时(编码块尺寸比最小编码块大时)，对CU分割标志split_cu_flag进行解码(S1421)，在除此以外的情形下，不对CU分割标志split_cu_flag进行解码，推定为表示不进行分割的0(S1422)。CU信息解码部11，在残差模式为第二模式即为1的情形下，当对数CU尺寸log2CbSiz比规定的最小CU尺寸MinCbLog2SizeY+1大时(编码块尺寸比最小编码块+1大时)，对CU分割标志split_cu_flag进行解码(S1421)，在除此以外的情形下，不对CU分割标志split_cu_flag进行解码，推定为表示不进行分割的0(S1422)。

在以上记载中，在残差模式为第二模式的情形下，CU信息解码部11中所包含的CU分割标志解码部对作为分割的阈值的最小CU尺寸MinCbLog2SizeY加上1。即，在残差模式为第一模式的情形下，当CU分割尺寸与最小CU尺寸MinCbLog2SizeY相等时，不对区域进行分割，而结束编码树的四叉树分割，而在残差模式为第二模式的情形下，当通过上述加1的运算，CU分割标志与最小CU尺寸MinCbLog2SizeY+1相等时，不对区域进行分割，而结束编码树的四叉树分割。该情形对应的是：与残差模式为第一模式的情形相比，在第二模式的情形下，将编码树的四叉树分割中可能的最大的层次的深度缩减1级。此外，在残差模式为0以外时，也可以将加上2的处理(log2CbSize+(rru_mode？2:0))作为判定式，以代替基于残差模式的值加1得到的判定式(log2CbSize+rru_mode)。该情形下，在残差模式为第二模式时，能够将用于进行四叉树分割的最大的层次的数量缩减2级。

在以上的构成中，起到了防止过度分割导致块尺寸变得过小的效果。此外，与残差模式rru_flag为第一模式(＝0)的情形相比，在残差模式rru_flag为第二模式(！＝0)的情形下，仅将分割进行至1个较低的层次(不对CU分割标志进行解码)，因此起到了减小关于CU分割标志的系统开销的效果。

＜P4b：CT层的残差模式的构成＞

以下，使用图25至图27来说明运动图像解码装置1的其他构成。

图25是表示由本发明的一个实施方式所涉及的运动图像编码装置生成并由上述运动图像解码装置解码的编码数据的数据构成的图。如图25(c)所示，运动图像解码装置1对编码数据#1中的CT层次所包含的残差模式rru_flag进行解码。

图27是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400B)的概略动作的流程图。

与已经使用图6说明过的CU信息解码部11相比在追加了S1405的对残差模式rru_flag的解码处理这一点上不同。

(S1405)CU信息解码部11在分割CTB的编码树(CT)中，对作为SYN1405中所示的语法要素的残差模式rru_flag进行解码。

S1405的动作与S1305不同，在比最上位层次的编码树(CTB)靠下的层次中也能对残差模式rru_flag进行解码。

此外，优选如图26的SYN1404所示的那样，CU信息解码部11包含的残差模式解码部，在CT层次cqtDepth满足特定条件的情形，例如与规定的层次rruDepth相等的情形下，对残差模式rru_flag进行解码。

此外，在CT层次cqtDepth与规定的层次rruDepth相等的情形下对残差模式rru_flag进行解码这一情形与下述情形等价：在编码树为特定尺寸的情形下对残差模式进行解码。因此，也可以不使用CT层次cqtDepth而使用CT尺寸(CU尺寸)。

优选如下式那样在对数CT尺寸log2CbSize＝＝log2RRUSize的情形下对残差模式rru_flag进行解码。也就是说，也可以使用SYN1404ˊ来代替SYN1404。

if(cqtDepth＝＝rruDepth) SYN1404

if(log2CbSize＝＝log2RRUSize) SYN1404ˊ

此外，log2RRUSize是对残差模式进行解码的块的尺寸。例如，表示32×32至256×256的5至8等是合适的。也可以是将对残差模式进行解码的块的尺寸log2RRUSize包含在编码数据中并且由参数集、切片报头进行解码的构成。

在以上的构成中，起到了如下效果：在根据残差模式rru_flag使残差的构成改变的区域中也能实现自由度高的块尺寸下的预测、变换。此外，在仅在特定的层次中对残差模式rru_flag进行解码的情形下，起到了减小残差模式的系统开销的效果。

此外，如已经说明过的那样，在CT层次中对残差模式进行解码的本构成的CU信息解码部11，也可以使用已经说明过的在图23中说明过的S1411A的处理(相当于图23的SYN1411A)，以代替S1411的处理。

＜P4b：CT层的残差模式的构成＞

图28是表示编码树级别的语法表的其他构成例的图。在该构成中，如SYN1404A所示的那样，CU信息解码部11所包含的残差模式解码部，在CT层次cqtDepth满足特定条件的情形，例如CT层次cqtDepth不足规定的层次rruDepth的情形下，对残差模式rru_flag进行解码。此外，优选如SYN1404A中的！rru_flag的条件所示的那样，在已经在上位的层次中解码出残差模式rru_flag为第二模式(！＝0)的情形下，省略残差模式rru_flag的解码(保持1不变)。例如，在规定的层次rruDepth为64×64块的层次的情形下，当CU尺寸为64×64时，对残差模式rru_flag进行解码。

此外，由于在CT层次cqtDepth不足规定的层次rruDepth的情形下对残差模式rru_flag进行解码即为仅在编码树的尺寸较大且编码树的层次较小的情形下对残差模式rru_flag进行解码，因此也可以使用编码树CT尺寸(CU尺寸)来代替CT层次cqtDepth。

优选如下式那样，在对数CT尺寸log2CbSize＝＝log2RRUSize的情形下，对残差模式rru_flag进行解码。也就是说，可以使用SYN1404Aˊ来代替SYN1404A。

if(cqtDepth＜rruDepth&&！rru_flag)SYN1404A

if(log2CbSize＜log2RRUSize&&！rru_flag)SYN1404Aˊ

在以上的构成中，起到了如下效果：在根据残差模式rru_flag使残差的构成改变的区域中也能实现自由度高的块尺寸下的预测、变换。此外，同时起到了减小残差模式的系统开销的效果。

＜P4c：CU层的残差模式的构成＞

以下，使用图29至图31来说明运动图像解码装置1的其他构成。

图29是表示由本发明的一个实施方式所涉及的运动图像编码装置生成并由上述运动图像解码装置解码的编码数据的数据构成的图。如图29(d)所示，运动图像解码装置1在编码数据#1中的CU分割标志SP为1时对包含在CT层次中的残差模式RRU(rru_flag)进行解码。

图31是用于说明发明的一个实施方式所涉及的CU信息解码部11(CTU信息解码S1300、CT信息解码S1400C)的概略动作的流程图。

CU信息解码部11的处理与已经使用图6说明过的S1400的处理相比，在对CU信息解码追加了S1435所示的残差模式解码处理这一点上不同。

(S1435)CU信息解码部11在CU分割标志split_cu_flag为1的情形下(S1431、SYN1431)，对作为SYN1435中所示的语法要素的残差模式rru_flag进行解码。

S1435的动作与S1305不同，在比最上位层次的编码树(CTB)靠下的层次中也能对残差模式rru_flag进行解码。此外，优选如SYN1434中的！rru_flag的条件所示的那样，在已经在上位的层次中解码出残差模式rru_flag为第二模式(！＝0)的情形下，省略残差模式rru_flag的解码，对象块也被保持为第二模式。残差模式rru_flag被初始化为0，直到其在对象块或者对象块的上位层次中被解码。

在以上的构成中，起到了如下效果：在根据残差模式rru_flag使残差的构成改变的区域中也能实现自由度高的块尺寸下的预测、变换。

此外，在仅在特定的层次中对残差模式rru_flag进行解码的情形下，起到了减小残差模式的系统开销的效果。

此外，本构成的CU信息解码部11同样也可以使用已经说明过的图23中所示的上述S1411A的处理，以代替S1411的处理。

在使用了S1411A的构成中，还起到了防止过度分割导致块尺寸变得过小的效果。此外，与残差模式rru_flag为第一模式(＝0)的情形相比，在残差模式rru_flag为第二模式(！＝0)的情形下，仅将分割进行至1个较低的层次(不对CU分割标志进行解码)，因此起到了减小关于CU分割标志的系统开销的效果。

图32是表示编码树级别的语法表的其他构成例的图。在该构成中，优选如SYN1434A所示的那样，在CU分割标志split_cu_flag和CT层次cqtDepth满足规定条件的情形下，对残差模式rru_flag进行解码。例如，在CU分割标志split_cu_flag为1的情形(分割为小CU的情形)下，当CT层次cqtDepth为规定的层次rruDepth时，对残差模式rru_flag进行解码，而在CU分割标志split_cu_flag为0的情形(不分割为小CU的情形)下，当CT层次cqtDepth为不足规定的层次rruDepth时，对残差模式rru_flag进行解码。在除此以外的情形下，省略残差模式rru_flag的解码。在省略残差模式rru_flag的解码的情形下，当在上位层次的CT中残差模式rru_flag已经被解码时，使用该残差模式的值。在除此以外的情形下，将残差模式rru_flag的值设为0。

例如，在规定的层次rruDepth为64×64块的层次的情形下，当在CU尺寸为64×64时进一步对CU进行分割时(32×32)对残差模式rru_flag进行解码，与此同时，当不对CU进行分割时也是同样地，在CU尺寸为64×64以上的情形下，对残差模式rru_flag进行解码。

＜P4c：CU层的残差模式的构成＞

以下，使用图33至图35来说明运动图像解码装置1的其他构成。

图33是表示由本发明的一个实施方式所涉及的运动图像编码装置生成并由上述运动图像解码装置解码的编码数据的数据构成的图。如图33(e)所示，运动图像解码装置1对编码数据#1中的CU层次所包含的残差模式rru_flag进行解码。

图35是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500A)、PU信息解码部12(PU信息解码S1600)、TU信息解码部13(TT信息解码S1700)的概略动作的流程图。

与已经使用图6说明过的CU信息解码部11相比在追加了S1505的对残差模式rru_flag的解码处理这一点上不同。

(S1505)CU信息解码部11对作为SYN1505中所示的语法要素的残差模式rru_flag进行解码。

S1505的动作与S1305不同，在作为最下位层次的编码树的编码单元CU中也能对残差模式rru_flag进行解码。

在以上的构成中，起到了如下效果：在根据残差模式rru_flag使残差的构成改变的区域中也能进行使用了四叉树的自由度高的块尺寸下的预测、变换。此外，由于在各编码树(CT)中能够切换残差模式rru_flag，因此起到了如下效果：与CTU中切换的情形相比，能够实现自由度更高的构成。

＜P4c：CU层的残差模式的构成＞

以下，使用图36至图38来说明运动图像解码装置1的其他构成。

图36是表示由本发明的一个实施方式所涉及的运动图像编码装置生成并由上述运动图像解码装置解码的编码数据的数据构成的图。如图36(e)所示，运动图像解码装置1对编码数据#1中的位于CU层次所包含的跳过标志SKIP之后的残差模式rru_flag进行解码。

图38是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500B)、PU信息解码部12(PU信息解码S1600)、TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

与已经使用图6说明过的CU信息解码部11相比在追加了S1515的对残差模式rru_flag的解码处理这一点上不同。

(S1515)CU信息解码部11，在跳过标志为1的情形下(S1512、SYN1512)，对作为SYN1515中所示的语法要素的残差模式rru_flag进行解码。在除此以外的情形下(跳过标志＝0)，CU信息解码部11省略残差模式rru_flag，导出表示残差模式为第一模式的0。

S1515的动作与S1305不同，能够在作为最下位层次的编码树的编码单元CU中对残差模式rru_flag进行解码。

在以上的构成中，起到了如下效果：在根据残差模式rru_flag使残差的构成改变的情形下，也能实现自由度高的四叉树分割。此外，由于在各编码单元中能够切换残差模式rru_flag，因此起到了能够实现自由度高的构成的效果。

进而，在以上的构成中，仅在不是省略残差的跳过模式的情形(有可能对残差进行编码的模式)下对残差模式rru_flag进行解码，而在不存在残差的情形即跳过模式为1的情形下则省略残差模式rru_flag的解码，因此，起到了减小残差模式的系统开销的效果。

＜P4d：TU层的残差模式的构成＞

以下，使用图39至图41来说明运动图像解码装置1的其他构成。

图39是表示由本发明的一个实施方式所涉及的运动图像编码装置生成并由上述运动图像解码装置解码的编码数据的数据构成的图。如图39(e)所示，运动图像解码装置1对编码数据#1中的位于TU层次所包含的CU残差标志CBP＿TU之后的残差模式rru_flag进行解码。

图40是表示变换树信息TTI的语法表的构成例的图。

图41是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码S1700A)的概略动作的流程图。

与已经使用图6说明过的CU信息解码部11相比在追加了S1715的对残差模式rru_flag的解码处理这一点上不同。在本实施方式中，将S1700的处理替换为S1700A的处理。

(S1715)TU信息解码部11，在CU残差标志rqt_root_cbf为0以外(＝1)的情形下(S1712、SYN1712)，对作为SYN1715中所示的语法要素的残差模式rru_flag进行解码。在除此以外的情形下(跳过标志＝0)，CU信息解码部11省略残差模式rru_flag，导出表示残差模式为第一模式的0。

S1700A的动作与S1700不同，能够在作为不再进行分割的最下位层次(叶子)的编码树的编码单元CU中对残差模式rru_flag进行解码(S1715)。

进而，在以上的构成中，仅在CU中存在残差(预测量化残差)的情形(CU残差标志为0以外的情形)下对残差模式rru_flag进行解码，而在CU中不存在残差的情形(CU残差标志为0的情形)下则省略残差模式rru_flag的解码，因此，起到了减小残差模式的系统开销的效果。

＜＜P5：基于残差模式的标志解码限制＞＞

＜P5a：基于残差模式的PU分割标志解码限制＞

以下，使用图42至图43来说明运动图像解码装置1的其他构成。

S1611PU信息解码部12从编码数据#1中解码预测类型Pred＿type(CuPredMode、语法要素为pred_mode_flag)。

S1615PU信息解码部12所具备的PU分割模式解码部，仅在残差模式rru_flag为第一模式(＝0)的情形下对PU分割类型Pred＿type进行解码(S1621)，而在除此以外的情形下，省略PU分割类型Pred＿type的解码，作为PU分割类型，导出表示不分割预测块的值(2N×2N)。

更详细而言，如图42的SYN1615所示，当预测类型CuPredMode为帧内(MODE_INTRA)以外、或者对数CT尺寸log2CbSize为最小对数CT尺寸MinCbLog2SizeY，且残差模式rru_flag为0时(＝！rru_flag)，从编码数据#1中解码PU分割类型(S1621)。而在除此以外的情形下，省略PU分割类型的解码，作为PU分割类型，导出表示不分割预测块的值(2N×2N)。

上述图像解码装置具备用于对PU分割模式进行解码的PU信息解码部12(PU分割模式解码部)，该PU分割模式表示是否将编码单元进一步分割为预测块(PU)，在残差模式表示“第二模式”的情形下，PU分割模式解码部省略上述PU分割模式的解码，在上述残差模式表示“第一模式”的情形下，PU分割模式解码部对上述PU分割模式进行解码。在残差模式表示“第二模式”的情形下，也就是PU分割模式的解码被省略的情形下，PU信息解码部12导出表示不进行PU分割的值(2N×2N)。

在以上的构成中，仅在残差模式rru_flag为第一模式(＝0)的情形下对PU分割模式进行解码，而在残差模式rru_flag为第二模式(！＝0)的情形下则省略PU分割模式的解码，因此，起到了减小PU分割模式的系统开销的效果。

＜P5a：基于残差模式的PU分割标志解码限制＞

以下，使用图44至图45来说明运动图像解码装置1的其他构成。

图45是用于说明发明的一个实施方式所涉及的CU信息解码部11(CU信息解码S1500)、PU信息解码部12(PU信息解码S1600A)、TU信息解码部13(TU信息解码S1700)的概略动作的流程图。

(S1615A)PU信息解码部12所具备的PU分割模式解码部，仅在残差模式rru_flag为第一模式(＝0)的情形下对PU分割类型进行解码(S1621)，而在除此以外的情形下，省略PU分割类型的解码，作为PU分割类型，导出表示不进行分割的2N×2N。

更详细而言，SYN1615A所示，当预测类型CuPredMode为帧内(MODE_INTRA)且残差模式rru_flag为第一模式(＝0)时(＝！rru_flag)、或者、对数CT尺寸log2CbSize与最小对数CT尺寸MinCbLog2SizeY+残差模式相等时(log2CbSize＝＝(MinCbLog2SizeY+rru_flag)，从编码数据#中解码PU分割类型(S1621)。而在除此以外的情形下，省略PU分割类型的解码，作为PU分割类型，导出表示不分割预测块的2N×2N(＝0)。

此外，对数CT尺寸log2CbSize为最小对数CT尺寸MinCbLog2SizeY+残差模式rru_flag的情形等于下述情形：在残差模式rru_flag为第一模式(＝0)的情形下，判定对数CT尺寸log2CbSize是否为最小对数CT尺寸MinCbLog2SizeY，而在残差模式rru_flag为第二模式(！＝0)的情形下，判定对数CT尺寸log2CbSize是否为最小对数CT尺寸MinCbLog2SizeY+1。

上述图像解码装置具备用于对PU分割模式进行解码的PU分割模式解码部，该PU分割模式表示是否将编码单元进一步分割为预测块(PU)，在残差模式表示“第二模式”的情形下，PU分割模式解码部省略上述PU分割模式的解码，导出表示不进行PU分割的值(2N×2N)，而在上述残差模式表示“第一模式”的情形下，PU分割模式解码部对上述PU分割模式进行解码。

进而，在以上的构成中，仅在残差模式rru_flag为第一模式(＝0)的情形下对PU分割模式进行解码，而在残差模式rru_flag为第二模式(！＝0)的情形下则省略PU分割模式的解码，因此，起到了减小PU分割模式的系统开销的效果。

＜P5b：基于残差模式的TU分割标志解码限制C＞

以下，使用图46至图47来说明运动图像解码装置1的其他构成。图46是表示本发明的一个实施方式所涉及的TT信息TTI的语法表的构成例的图。图47是用于说明发明的一个实施方式所涉及的TU信息解码部13(TU信息解码S1700C)的概略动作的流程图。

TU信息解码部13所包含的TU分割标志解码部，在对象TU尺寸进入规定的变换尺寸的范围内、或者对象TU的层次不足规定的层次的情形下，对TU分割标志(split_transform_flag)进行解码。更具体而言，如图46的SYN1721C所示，在对数TU尺寸log2TrafoSize<＝最大TU尺寸MaxTbLog2SizeY与残差模式的和(MaxTbLog2SizeY+残差模式rru_flag)、且对数TU尺寸log2TrafoSize>最小TU尺寸MinTbLog2SizeY与残差模式的和(MaxTbLog2SizeY+残差模式rru_flag)、且TU层次trafoDepth＜最大TU层次MaxTrafoDepth与残差模式的差(MaxTrafoDepth－残差模式rru_flag)的情形下，对TU分割标志(split_transform_flag)进行解码(S1731)。在除此以外的情形，即编码数据中没有出现split_transform_flag的情形下，省略TU分割标志的解码，并且，在对数TU尺寸log2TrafoSize比最大TU尺寸MaxTbLog2SizeY+残差模式rru_flag大的情形下，将TU分割标志split_transform_flag导出为1，在除此以外的情形下(对数TU尺寸log2TrafoSize等于最小TU尺寸MaxTbLog2SizeY与残差模式的和(MaxTbLog2SizeY+残差模式rru_flag)、或者TU层次trafoDepth等于最大TU层次与残差模式的差(MaxTrafoDepth－残差模式rru_flag))，将TU分割标志split_transform_flag导出为表示不进行分割的0(S1732)。

本构成是将后述的、基于残差模式的TU分割标志解码限制A和基于残差模式的TU分割标志解码限制B组合而成的构成，起到了限制A的效果和限制B的效果。

＜P5b：基于残差模式的TU分割标志解码限制C＞

此外，在以上的记载中，发明的一个实施方式所涉及的TU信息解码部13根据图46的SYN1721C(＝图47的S1721C)所示的条件，对TU分割标志(split_transform_flag)进行解码。即，使用对象TU尺寸log2TrafoSize和TU层次trafoDepth两者来对TU分割标志(split_transform_flag)进行解码，但也可以如以下的S1721A所示那样使用对象TU尺寸log2TrafoSize进行条件判定。

(S1721A)log2TrafoSize<＝(MaxTbLog2SizeY+rru_flag)&&log2TrafoSize>(MinTbLog2SizeY+rru_flag)

在该构成中，具备用于对TU分割模式进行解码的TU信息解码部13(TU分割模式解码部)，该TU分割模式表示是否将编码单元进一步分割为变换块(TU)，在上述残差模式表示“第二模式”的情形下，当编码块尺寸log2CbSize为最大变换块MaxTbLog2SizeY+1以下且比最小变换块MinCbLog2Size+1大时，上述TU分割模式解码部对上述TU分割模式(split_transform_flag)进行解码，在上述残差模式表示“第一模式”的情形下，当编码块尺寸log2CbSize为最大变换块MaxTbLog2SizeY以下且比最小变换块MinCbLog2Size大时，上述TU分割模式解码部对上述TU分割模式(split_transform_flag)进行解码，而在除此以外(编码块尺寸log2CbSize比最大变换块MaxTbLog2SizeY大、或者为最小变换块MinCbLog2Size以下)的情形下，上述TU分割模式解码部省略上述TU分割模式(split_transform_flag)的解码，导出表示不进行分割的值。

也就是说，在残差模式rru_flag为第一模式即为0的情形下，使用通常的最大TU尺寸MaxTbLog2SizeY(变换块的最大尺寸)和最小TU尺寸MinTbLog2SizeY(变换块的最小尺寸)，而在残差模式rru_flag为第二模式即为1的情形下，作为最大尺寸，使用通常的最大TU尺寸MaxTbLog2SizeY与1的和(MaxTbLog2SizeY+1)，作为最小TU尺寸，使用通常的最小TU尺寸MinTbLog2SizeY与1的和(MinTbLog2SizeY+1)。这是与如下情形对应的处理：在残差模式为第二模式即为0以外的情形下，不是解码对象TU尺寸(nTbS×nTb)的量化预测残差，而是解码例如对象TU尺寸的1/2的尺寸(nTbS/2×nTb/2)的量化预测残差，来作为对象TU(尺寸为nTbS×nTbS、nTbS＝1<<log2TrafoSize)的量化预测残差(前述的＜＜P1：基于残差模式的TU信息解码＞＞)。

例如，在成为逆变换对象的块(量化预测残差块)的最大尺寸为32×32(MaxTbLog2SizeY＝5)，成为逆变换对象的块的最小尺寸为4×4(MaxTbLog2SizeY＝2)的情形下，基于残差模式rru_flag进行以下的处理。

在残差模式rru_flag为第一模式即为0的情形下，当对象TU尺寸(对数TU尺寸log2TrafoSize)比最大尺寸的32×32(MaxTbLog2SizeY＝5)大时，省略TU分割标志split_transform_flag的解码，并导出为表示进行分割的1，而当对象TU尺寸(对数TU尺寸log2TrafoSize)与最小尺寸的4×4(MaxTbLog2SizeY＝2)相等时，省略TU分割标志split_transform_flag的解码，并导出为表示不进行分割的0。

在残差模式rru_flag为第二模式即为0以外的情形下，当对象TU尺寸的1/2(对数TU尺寸log2TrafoSize－1)比最大尺寸的32×32(MaxTbLog2SizeY＝5)大时，省略TU分割标志split_transform_flag的解码，并导出为表示进行分割的1，而当对象TU尺寸的1/2(对数TU尺寸log2TrafoSize－1)与最小尺寸的4×4(MaxTbLog2SizeY＝2)相等时，省略TU分割标志split_transform_flag的解码，并导出为表示不进行分割的0。

根据以上的记载，起到了与残差模式为第二模式相适应而成为逆变换对象的块的尺寸不会变得过小的效果。由此通过使用小到必要以上的变换块(2×2变换)，而起到了无需使用处理复杂的编码效率上的意义较小的处理的效果。此外，由于残差模式为第二模式，起到了不用安装专用的小块预测或者小块变换的效果。

＜P5b：基于残差模式的TU分割标志解码限制B＞

此外，在以上的记载中，发明的一个实施方式所涉及的TU信息解码部13根据图46的SYN1721A(＝图47的S1721C)所示的条件，对TU分割标志(split_transform_flag)进行解码。即，使用对象TU尺寸log2TrafoSize和TU层次trafoDepth两者来对TU分割标志(split_transform_flag)进行解码，但也可以如以下的S1721B所示那样使用对象TU层次trafoDepth进行条件判定。

(S1721B)trafoDepth<(MaxTrafoDepth－rru_flag)

在上述的构成中，上述图像解码装置具备用于对TU分割模式进行解码的TU分割模式解码部，该TU分割模式表示是否将编码单元进一步分割为变换块(TU)，在上述残差模式表示“第二模式”的情形下，当编码变换深度trafoDepth不足最大编码深度MaxTrafoDepth与1的差(MaxTrafoDepth－1)时，上述TU分割模式解码部对上述TU分割模式split_transform_flag进行解码，在上述残差模式表示“第一模式”的情形下，当编码变换深度trafoDepth不足最大编码深度MaxTrafoDepthY时，上述TU分割模式解码部对上述TU分割模式split_transform_flag进行解码，而在除此以外的情形(对象TU层次trafoDepth的残差模式为“第一模式”且为最大编码深度MaxTrafoDepthY以上的情形、或者残差模式为“第二模式”且为MaxTrafoDepthY+1以上的情形)下，上述TU分割模式解码部省略上述TU分割模式(split_transform_flag)的解码，导出表示不对变换块(TU)进行分割的值(2N×2N)。

根据以上的记载，起到了与残差模式为第二模式相适应而成为逆变换对象的块的尺寸不会变得过小的效果。

＜变形例＞

关于上述限制A、限制B、限制C，可以进一步使用下式的条件。

(S1721Aˊˊ)log2TrafoSize<＝(MaxTbLog2SizeY+(rru_flag？1：0))&&log2TrafoSize>(MinTbLog2SizeY+(rru_flag？2：0))

(S1721Bˊˊ)trafoDepth<(MaxTrafoDepth－(rru_flag？2：0))

(S1721Cˊˊ)log2TrafoSize<＝(MaxTbLog2SizeY+(rru_flag？1：0))&&log2TrafoSize>(MinTbLog2SizeY+(rru_flag？2：0))&&trafoDepth<(MaxTrafoDepth－(rru_flag？2：0))

此外，虽然在上述记载中，在残差模式为第二模式的情形下，设为最小变换块尺寸MinCbLog2Size与1的和(MinCbLog2Size+1)，但为了进一步限制较小的块，在残差模式为第二模式的情形下，也可以使用最小变换块尺寸MinCbLog2Size与2的和(MinCbLog2Size+2)。更具体而言，在对数TU尺寸log2TrafoSize<＝最大尺寸MaxTbLog2SizeY+(残差模式rru_flag？1：0)、且对数TU尺寸log2TrafoSize>MinTbLog2SizeY+(残差模式rru_flag？2：0)、且TU层次trafoDepth＜最大TU层次MaxTrafoDepth+残差模式rru_flag的情形下、对TU分割标志(split_transform_flag)进行解码(S1731)。在除此以外的情形，即编码数据中没有出现split_transform_flag的情形下，省略TU分割标志的解码，并且，在对数TU尺寸log2TrafoSize比最大尺寸MaxTbLog2SizeY+(残差模式rru_flag？1：0)大的情形下，将TU分割标志split_transform_flag导出为1，在除此以外的情形下(对数TU尺寸log2TrafoSize等于最小尺寸MaxTbLog2SizeY+(残差模式rru_flag？2：0)、或者TU层次trafoDepth等于最大TU层次MaxTrafoDepth)，将TU分割标志split_transform_flag导出为表示不进行分割的0(S1732)。

＜＜P6：以切片为单位的分辨率变更＞＞

直到以上记载为止，关于以CTU级别解码残差模式的示例进行了说明，但也可以以切片为单位解码残差模式。以下，关于以CTU级别解码残差模式的示例进行说明。残差模式是降低量化预测残差的模式，能够以较少的码量来编码某区域的图像。此外，对于相同大小的区域，能够以比其小的变换块进行解码。逆向而言，能够对于比本来的变换块的最大尺寸(例如64×64)大的区域(例如128×128)进行变换。因此，对于使用了较大的块的编码有效。因此，在以下的示例中，关于将残差模式捕捉为分辨率变换模式，根据残差模式(以下为分辨率变换模式)来变更编码树块尺寸(最大块尺寸)的图像解码装置进行说明。

＜P6共用：切片不同的残差模式＞

图49是对本发明的一个实施方式所涉及的使用了以图片为单位而不同的编码树块(编码模式的值)的构成进行说明的图。本实施方式的运动图像编码装置1的CU解码部11从编码数据#1中解码切片开头的切片报头，并解码在切片报头中定义的分辨率变换模式(残差模式)。进而，CU解码部11基于分辨率变换模式(残差模式)对用于分割图片以及切片的最上位的块即树块(CTU)的尺寸进行变更。例如，与分辨率变换模式(残差模式)为第一模式(＝0)相比，将分辨率变换模式(残差模式)为第一模式(＝0)的情形下的CTU尺寸设为2倍。更具体而言，CU解码部11在切片开头对分辨率变换模式(残差模式)进行解码，在分辨率变换模式(残差模式)为第一模式(＝0)的情形下，将解码出的规定的树块尺寸(CTU尺寸)用作用于分割图片以及切片的最上位的块即树块(CTU)的尺寸(CTU尺寸)来进行解码，而在残差模式为第二模式(＝1)的情形下，将解码出的规定的编码树块尺寸的2倍的树块尺寸(CTU尺寸)用作CTU尺寸来进行解码。如已经在P1：基于残差模式的TU信息解码中说明的那样，在对象切片的残差模式rru_flag为第一模式(＝0)的情形下，TU信息解码部13对与属于对象切片的对象CU的对象TU对应的区域的尺寸(TU尺寸)的量化预测残差进行解码，而在残差模式rru_flag为第二模式(！＝0)的情形下，TU信息解码部13对TU尺寸的一半尺寸的量化预测残差进行解码。此外，为了对已解码出的规定的编码树块尺寸的区域的图像进行解码，在残差模式为第二模式的情形下，可以如在P2a中说明的那样对预测残差图像进行放大，也可以如在P2b中说明的那样对解码图像进行放大。本构成在以下说明的P6a、P6b的构成中也是同样的。

＜P6a：切片位置导出＞

图50是对本发明的一个实施方式所涉及的使用了在图片内按照每个切片而不同的编码树块(最上位块尺寸)的构成进行说明的图。本发明为一种图像解码装置，其将图片分割为切片单位并将上述切片进一步分割为编码树块单位以进行解码，其特征在于，切片内的编码树块(最上位块的尺寸、CTU尺寸)可变。CU解码部11具备残差模式解码部，其在切片报头中对作为表示上述分辨率的信息的分辨率变更模式(残差模式)进行解码。由此，起到了能够以比图片更细小的单位控制量化预测残差的码量的效果。

图51是对使用了本发明的一个实施方式所涉及的在图片内按照每个切片而不同的编码树块(最上位块尺寸)的情形下的切片开头位置的问题进行说明的图。图51(a)表示编码树块尺寸为64×64(分辨率变换模式＝0)且由0到4的CTU构成的切片#0和编码树块尺寸为128×128(分辨率变换模式＝1)且由5到7的CTU构成的切片#1。图51(b)表示编码树块尺寸为128×128(分辨率变换模式＝1)且由0到2的CTU构成的切片#0、编码树块尺寸为64×64(分辨率变换模式＝0)且由3到4的CTU构成的切片#1、以及编码树块尺寸为64×64(分辨率变换模式＝0)且由5到7的CTU构成的切片#2。在切片地址slice_segment_address在切片开头被编码的情形下，图51(a)的切片#1和图51(b)的切片#3具有相同的5的切片地址slice_segment_address，但切片开头的位置(水平位置、垂直位置)不同。以往，在图片内相同的编码树块尺寸的情形下，能够从切片地址slice_segment_address中唯一地导出切片开头的位置。但是，当在图片内编码数块尺寸按照每个切片而不同时，不仅取决于切片地址slice_segment_address以及对象切片的编码数块尺寸，还取决于在图片上位于比对象切片靠前的位置的切片的编码树块尺寸。因此，存在无法由切片地址slice_segment_address导出切片开头的位置的问题。

图52是对使用了本发明的一个实施方式所涉及的在图片内按照每个切片而不同的编码树块(最上位块尺寸)时将切片开头位置的水平位置slice_addr_x、垂直位置slice_addr_y包含在编码数据中的示例进行说明的图。在本示例中，明示地，通过在切片开头对切片开头位置的水平位置、垂直位置进行解码，来导出切片开头的位置。例如，对于表示切片开头的水平位置的值和垂直位置，可以基于能在图片内使用的编码数块的最小值来设定，也可以基于固定的尺寸来设定。在图52的(a)例中，针对切片#1，(水平位置slice_addr_x、垂直位置slice_addr_y)＝(0、1)。这里，由于是基于32×32块而设定的，因此切片#1的开头坐标为(32×slice_addr_x、32×slice_addr_y)的(0、32)。在图52的(b)例中，针对切片#1，(水平位置slice_addr_x、垂直位置slice_addr_y)＝(0、2)。针对切片#2，(水平位置slice_addr_x、垂直位置slice_addr_y)＝(2、2)。这里，由于是基于32×32块而设定的，因此切片#1、切片#2的开头坐标分别为(0、32)、(64、64)。也就是说，特征在于：对表示切片开头的水平位置的值和表示垂直位置的值进行解码。此外，由于切片开头位置的水平位置、垂直位置总是为(0、0)，所以开头切片可以构成为在开头切片以外的切片中，对切片开头位置的水平位置、垂直位置进行解码。

根据上述结构的图像解码装置，起到了如下效果：即使在图片内使用了按照每个切片而不同的编码树块(最上位块尺寸)时也能确定切片开头的位置。

图53是对使用了本发明的一个实施方式所涉及的在图片内按照每个切片而不同的编码树块(最上位块尺寸)时基于切片地址slice_segment_address导出切片开头位置的水平位置、垂直位置的导出方法进行说明的图。在本示例中，使用能在图片内使用的编码树块的最小值MinCtbSizeY，并基于切片地址slice_segment_address，来导出切片开头的位置(xSicePos、ySlicePos)。首先，将切片地址slice_segment_address代入SliceAddrRs中。如以下那样，基于图片的宽度pic_width_in_luma_samples和高度pic_height_in_luma_samples，导出构成图片的编码树块的最小值MinCtbSizeY的宽度PicWidthInMinCtbsY和高度PicHeightInMinCtbsY。

MinCtbSizeY＝1<<MinCtbLog2SizeY

PicWidthInMinCtbsY＝Ceil(pic_width_in_luma_samples÷MinCtbSizeY)

PicHeightInMinCtbsY＝Ceil(pic_height_in_luma_samples÷MinCtbSizeY)

此外，Ceil(x)是用于将实数x变换为x以上的最小整数的函数。接着，根据下式导出切片开头的位置(xSicePos、ySlicePos)。

xSlicePos＝(SliceAddrRs％PicWidthInMinCtbsY)<<MinCtbLog2SizeY

ySlicePos＝(SliceAddrRs％PicWidthInMinCtbsY)<<MinCtbLog2SizeY

逆向而言，基于能在图片中使用的编码树块的最小值来设定切片地址slice_segment_address。在图53的示例中，能使用的编码树块尺寸为64×64和128×128，因此最小值为64×64。在图53(a)中，将切片#1的开头地址设定(解码)为5。括号内的值表示当编码树块尺寸为64×64时的各区域的编号，该编号被编码为切片开头的地址。在图53(b)中，将切片#1的开头地址设定(解码)为10。括号内的值表示当编码树块尺寸为64×64时的各区域的编号，该编号被编码为切片开头的地址。

也就是说，特征在于：对表示切片开头的开头地址的值进行解码，并基于成为选项的最上位块尺寸中的最小块尺寸来导出切片开头位置或者对象块的水平位置和垂直位置。

＜P6b：分辨率变更限制＞

图54是对比较例的使用了按照每个图片而不同的编码树块的构成进行说明的图。图54(a)、(b)示出了当在图片的左端以外存在切片边界时(当切片开始位置的水平坐标为0以外时)也能对编码树块尺寸进行变更的示例。在该示例中，例如在如图54(a)那样，与前一个切片的编码树块尺寸相比，下一个切片的编码树块尺寸在图片左端以外变大的示例中，将“？”所示的区域分配给哪个切片，如何进行解码是不清楚的。此外，存在当定义分配方法时处理也变得复杂的问题。就图54(b)而言，虽然比较容易地解决了在编码树块尺寸在图片左端以外的切片中比前一个切片小的示例中，将“？”表示的区域分配给哪个切片，但存在需要光栅扫描以外的扫描顺序等、切片内的编码树块的扫描顺序不同等、处理变得复杂的问题。

再次使用图50来说明分辨率变更限制。本实施方式的图片解码装置，如图50所示那样，仅在切片开始位置为图片左端的情形下(切片开始位置的水平位置为0的情形下)，对编码树块尺寸(最上位块尺寸)进行变更。也就是说，仅在切片开始位置为图片左端或者磁贴左端的情形下，适用与前一个切片不同的编码树块尺寸。例如，图50(a)是编码树块尺寸在图片左端变大的示例，图50(b)是编码树块尺寸在图片左端变小的示例。

图55是表示本发明的一个实施方式所涉及的仅在位于图片左端的切片中进行分辨率变更(编码树块的变更)处理的示例的构成的流程图。如图55所示，本发明的图像解码装置1仅在某切片的切片开始位置的水平位置为0的情形下(切片开始位置为图片左端)，适用与上述某切片的前一个(正前一个)切片的分辨率变换模式不同的分辨率变换模式(残差模式)。即，仅在某切片的切片开始位置的水平位置为0的情形下(切片开始位置为图片左端)，使用与上述某切片正前一个的前一切片不同的编码树块尺寸。此外，在将图片分割为矩形的磁贴被用作切片的上位结构(磁贴包含切片)的情形下，不限于图片左端，在磁贴左端也可以进行分辨率变换模式变更(编码树块尺寸变更)。即，本发明的图像解码装置1仅在切片开始位置的水平位置为0或者磁贴内水平位置为0的情形下(切片开始位置为图片左端或者磁贴左端)，适用与前一个切片不同的分辨率变换模式(残差模式)。本发明的图像解码装置1仅在切片的切片开始位置的水平位置为0或者磁贴内水平位置为0的情形下(切片开始位置为图片左端或者磁贴左端)，适用与上述切片的前一个切片不同的编码树块尺寸。

基于以上记载，本发明的图像解码装置1通过对编码数据#1进行解码，不会使处理复杂化而能够变更最上位块尺寸，该编码数据#1是同一图片内的前一个切片的编码树块尺寸与后一个切片的最上位块尺寸(编码树块尺寸)在后一个切片的切片开始位置为图片左端(或者磁贴左端)以外的情形下必须相等的数据。本发明的图像解码装置1对编码数据#1进行解码，该编码数据是除了在后一个切片的切片开始位置的图片内水平位置或者磁贴内水平位置为0的情形以外，互相位于前后的切片的最上位块尺寸必须相等的数据。

根据图55所示结构的图像解码装置，在使用按照每个切片而不同的编码树块(最上位块尺寸)的情形下，仅在图片左端，进行分辨率变更(编码树块变更)处理，因此起到了使编码树块的扫描处理变得容易的效果。

〔运动图像编码装置〕

以下，关于本实施方式所涉及的运动图像编码装置2，参照图56进行说明。

(运动图像编码装置的概要)

概略而言，运动图像编码装置2是通过对输入图像#10进行编码从而生成编码数据#1并进行输出的装置。

(运动图像编码装置的构成)

首先，使用图56来说明运动图像编码装置2的构成例。图56是表示运动图像编码装置2的构成的功能框图。如图56所示，运动图像编码装置2具备：编码设定部21、逆量化/逆变换部22、预测图像生成部23、加法器24、帧存储器25、减法器26、变换/量化部27、以及编码数据生成部(适应处理单元)29。

编码设定部21基于输入图像#10生成与编码相关的图像数据以及各种设定信息。

具体地，编码设定部21生成下一图像数据以及设定信息。

首先，编码设定部21通过将输入图像#10依次分割成切片单位、树块单位，来生成关于对象CU的CU图像#100。

另外，编码设定部21基于分割处理的结果来生成报头信息H’。报头信息H’包含：(1)与属于对象切片的树块的尺寸、形状以及在对象切片内的位置相关的信息、以及(2)与属于各树块的CU的尺寸、形状以及在对象树块内的位置相关的CU信息CU’。

进而，编码设定部21参照CU图像#100以及CU信息CU’来生成PT设定信息PTI’。在PT设定信息PTI’中，包含：(1)对象CU到各PU的可能的分割图案、以及(2)与能分配给各PU的预测模式的全部组合相关的信息。

编码设定部21将CU图像#100提供给减法器26。另外，编码设定部21将报头信息H’提供给编码数据生成部29。另外，编码设定部21将PT设定信息PTI’提供给预测图像生成部23。

逆量化/逆变换部22通过对由变换/量化部27提供的每块的量化预测残差进行逆量化以及逆正交变换，来还原每块的预测残差。关于逆正交变换，与针对图1所示的逆量化/逆变换部13所说明的相同，故在此省略其说明。

另外，逆量化/逆变换部22遵照由TT分割信息(后述)指定的分割图案来综合每块的预测残差，生成针对对象CU的预测残差D。逆量化/逆变换部22将关于已生成的对象CU的预测残差D提供给加法器24。

预测图像生成部23参照帧存储器25中记录的局部解码图像P’以及PT设定信息PTI’，生成关于对象CU的预测图像Pred。预测图像生成部23将通过预测图像生成处理而得到的预测参数设定为PT设定信息PTI’，并将设定后的PT设定信息PTI’转发至编码数据生成部29。此外，预测图像生成部23所执行的预测图像生成处理与运动图像解码装置1所具备的预测图像生成部14相同，故在此省略说明。

加法器24通过将由预测图像生成部23提供的预测图像Pred与由逆量化/逆变换部22提供的预测残差D进行加法运算，来生成关于对象CU的解码图像P。

在帧存储器25中，依次记录解码出的解码图像P。在帧存储器25中，在对对象树块进行解码的时刻，与用于该解码图像P的解码的参数一起记录有与先于该对象树块解码出的全部的树块(例如以光栅扫描顺序先行的全部的树块)对应的解码图像。

减法器26通过从CU图像#100中减去预测图像Pred，来生成关于对象CU的预测残差D。减法器26将已生成的预测残差D提供给变换/量化部27。

变换/量化部27通过对预测残差D进行正交变换以及量化来生成量化预测残差。此外，这里的正交变换是指从像素区域到频域的正交变换。另外，作为逆正交变换的例子，可列举DCT变换(Discrete Cosine Transform)以及DST变换(Discrete Sine Transform)等。

具体地，变换/量化部27参照CU图像#100以及CU信息CU’，决定对象CU向1个或多个块的分割图案。另外，遵照所决定的分割图案将预测残差D分割成针对各块的预测残差。

另外，变换/量化部27在通过对针对各块的预测残差进行正交变换而生成了频域上的预测残差后，通过对该频域上的预测残差进行量化来生成每块的量化预测残差。

另外，变换/量化部27生成TT设定信息TTI’，该TT设定信息TTI’包含：已生成的每块的量化预测残差、用于指定对象CU的分割图案的TT分割信息以及与对象CU到各块的可能的全部分割图案相关的信息。变换/量化部27将已生成的TT设定信息TTI’提供给逆量化/逆变换部22以及编码数据生成部29。

编码数据生成部29对报头信息H’、TT设定信息TTI’以及PT设定信息PTI’进行编码，并将编码得到的报头信息H、TT设定信息TTI以及PT设定信息PTI进行复用来生成编码数据#1并输出。

(与运动图像解码装置的对应关系)

运动图像编码装置2包含与运动图像解码装置1的各构成对应的构成。在此，对应是指处于进行同样的处理或逆向的处理的关系。

例如，如上所述，运动图像解码装置1所具备的预测图像生成部14的预测图像生成处理与运动图像编码装置2所具备的预测图像生成部23的预测图像生成处理相同。

例如，在运动图像解码装置1中由比特串解码出语法值的处理，与在运动图像编码装置2中由语法值编码比特串的处理作为逆向的处理而对应。

以下，对运动图像编码装置2中的各构成与运动图像解码装置1的CU信息解码部11、PU信息解码部12以及TU信息解码部13处于怎样的对应进行说明。由此，运动图像编码装置2中的各构成的动作/功能将更加详细明确。

编码数据生成部29对应于解码模块10。更详细而言，解码模块10基于编码数据以及语法类别来导出语法值，而编码数据生成部29基于语法值以及语法类别来生成编码数据。

编码设定部21对应于上述运动图像解码装置1的CU信息解码部11。将编码设定部21与上述CU信息解码部11比较如下。

预测图像生成部23对应于上述运动图像解码装置1的PU信息解码部12以及预测图像生成部14。将它们比较如下。

如上所述，PU信息解码部12将运动信息所涉及的编码数据和语法类别提供给解码模块10，并基于由解码模块10解码出的运动信息来导出运动补偿参数。另外，预测图像生成部14基于所导出的运动补偿参数来生成预测图像。

与此相对，预测图像生成部23在预测图像生成处理中决定运动补偿参数，并将运动补偿参数所涉及的语法值和语法类别提供给编码数据生成部29。

变换/量化部27对应于上述运动图像解码装置1的TU信息解码部13以及逆量化/逆变换部15。将它们比较如下。

上述TU信息解码部13所具备的TU分割设定部131将表示是否进行节点的分割的信息所涉及的编码数据以及语法类别提供给解码模块10，并基于由解码模块10解码出的表示是否进行节点的分割的信息来进行TU分割。

进而，上述TU信息解码部13所具备的变换系数还原部132将判定信息以及变换系数所涉及的编码数据以及语法类别提供给解码模块10，并基于由解码模块10解码出的判定信息以及变换系数来导出变换系数。

与此相对，变换/量化部27决定TU分割的分割方式，并将表示是否进行节点的分割的信息所涉及的语法值以及语法类别提供给编码数据生成部29。

另外，变换/量化部27将对预测残差进行变换/量化而得到的量化变换系数所涉及的语法值以及语法类别提供给编码数据生成部29。

本实施方式的运动图像编码装置2是一种将图片分割为编码树块单位来进行编码的图像编码装置，其具备：编码树分割部，其将上述编码树块作为根的编码树进行递归式分割；CU分割标志解码部，其对表示是否分割上述编码树的编码单元分割标志进行编码；以及残差模式解码部，其对残差模式进行编码，该残差模式表示对于上述编码树以下的残差是以第一模式进行解码，还是以与第一模式不同的第二模式进行编码。

＜＜P1：基于残差模式的TU信息编码＞＞

另外，上述变换/量化部27所具备的变换部，仅将比实际的变换块的尺寸(对象TU尺寸)小(例如对象TU尺寸的1/2的残差信息)的量化预测残差编码为编码数据，由此起到了降低残差信息的码量的效果。此外，起到了简化残差信息的编码处理的效果。＜＜P2：基于残差模式的块像素值编码的构成＞＞

此外，上述变换/量化部27所具备的变换部，在残差模式为第二模式的情形下，缩小预测残差之后进行变换。

进而，上述TU信息解码部13所具备的逆量化/逆变换部15，在残差模式为第二模式的情形下，对变换图像进行放大(与P2A对应)或者与解码图像(P2B)对应。因此，通过仅编码比实际的对象区域小的区域尺寸的预测残差信息(例如对象区域的1/2尺寸的预测残差信息)，能够导出对象区域的解码图像，起到了降低残差信息的码量的效果。此外，起到了简化残差信息的编码处理的效果。

＜＜P3：基于残差模式的量化控制的构成例＞＞

运动图像编码装置2还具备用于对残差进行变换、量化的变换/量化部27、以及用于对被量化的残差进行解码的编码数据生成部29，变换/量化部27在残差模式为“第二模式”(0)的情形下根据第一量化参数进行量化，量化部在残差模式为“第一模式”(1)的情形下根据由第一量化参数导出的第二量化参数进行量化。

运动图像编码装置2还具备用于对量化参数修正值进行编码的量化参数控制信息编码，逆量化部通过对第一量化参数加上量化步幅修正值来导出第二量化参数。

此外，根据上述TU信息解码部13所具备的TU编码部，通过基于残差模式来控制量化参数qP，起到了能够适当地控制成为残差模式的对象的区域的残差信息的码量降低量的效果。

＜＜P4：残差模式编码部的构成＞＞

进而，残差模式编码部仅在最上位的编码树中基于编码数据对残差模式(rru_flag)进行编码，而在比其靠下位的编码树中则不对残差模式(rru_flag)进行编码。

进而，残差模式编码部仅在指定的层次的编码树中对残差模式进行编码，而在与其相比为下位的编码树中，除了指定的层次的编码树之外，省略残差模式的编码。

进而，分割标志编码部在残差模式表示“以第二模式进行编码”的情形下，使分割的层次与残差模式表示“以第一模式进行编码”的情形相比减1。

进而，在残差模式为第一模式的情形下，当编码树的尺寸即编码块尺寸log2CbSize比最小编码块MinCbLog2Size大时，分割标志编码部基于编码数据来编码CU分割标志，在残差模式为第二模式的情形下，当编码树的尺寸即编码块尺寸log2CbSize比最小编码块MinCbLog2Size+1大时，分割标志编码部基于编码数据来编码CU分割标志，而在除此以外的情形下，分割标志编码部省略CU分割标志的编码，将CU分割标志设定为表示不分割的0。

进而，残差模式编码部在不再进行分割的编码树即成为叶子的编码树也就是编码单元中对残差模式进行编码。

进而，运动图像编码装置2具备对跳过标志进行编码的跳过标志编码部，该跳过标志表示是否在不再进行分割的编码树即成为叶子的编码树也就是编码单元中省略残差的编码来进行编码，残差模式编码部当在编码单元中跳过标志表示不对残差进行编码时对残差模式进行编码，而除此以外不对残差模式进行编码。

进而，运动图像编码装置2具备对CBF标志(rqt_root_flag)进行编码的CBF标志编码部，该CBF标志表示编码单元是否包含残差，残差模式编码部在CBF标志表示存在残差的情形(！＝0)下，对残差模式进行编码，而在除此以外的情形下，导出残差模式为第一模式。

此外，根据上述TU信息编码部13所具备的TU编码部，起到了如下效果：在基于残差模式rru_flag使残差的构成改变的情形下也能实现自由度高的四叉树下的分割。

＜＜P5：残差模式编码部的构成＞＞

运动图像编码装置2具备对PU分割模式进行编码的PU信息编码部12(PU分割模式编码部)，该PU分割模式表示是否将编码单元进一步分割为预测块(PU)，PU分割模式编码部在残差模式表示“第一模式”的情形下，省略PU分割模式的编码，而在残差模式表示“第二模式”的情形下，对PU分割模式进行编码。PU信息编码部12在残差模式表示“第一模式”的情形下，也就是PU分割标志的编码被省略的情形下，设定表示不进行PU分割的值(2N×2N)。

运动图像编码装置2具备对TU分割标志split_transform_flag进行编码的TU分割设定部131，该TU分割标志表示是否将编码单元进一步分割为变换块(TU)，在残差模式表示“第一模式”的情形下，当编码块尺寸log2CbSize为最大变换块MaxTbLog2SizeY+1以下且比最小变换块MinCbLog2Size+1大时，TU分割设定部131对TU分割标志split_transform_flag进行编码，在残差模式表示“第二模式”的情形下，当编码块尺寸log2CbSize为最大变换块MaxTbLog2SizeY以下且比最小变换块MinCbLog2Size大时，TU分割设定部131对TU分割标志(split_transform_flag)进行编码，而在除此以外(编码块尺寸log2CbSize比最大变换块MaxTbLog2SizeY大或者为最小变换块MinCbLog2Size以下)的情形下，TU分割设定部131省略TU分割标志split_transform_flag的编码，设定表示不分割的值。

〔应用例〕

上述运动图像编码装置2以及运动图像解码装置1能搭载于进行运动图像的发送、接收、记录，再生的各种装置而被利用。此外，运动图像既可以是由照相机等拍摄出的自然运动图像，也可以是由计算机等生成的人工运动图像(包含CG以及GUI)。

首先，参照图57来说明能将上述运动图像编码装置2以及运动图像解码装置1用于运动图像的发送以及接收的情形。

图57的(a)是表示搭载有运动图像编码装置2的发送装置PROD＿A的构成的框图。如图57的(a)所示，发送装置PROD＿A具备：通过对运动图像进行编码而得到编码数据的编码部PROD＿A1、通过以编码部PROD＿A1所得到的编码数据来调制载波而得到调制信号的调制部PROD＿A2、以及发送由调制部PROD＿A2得到的调制信号的发送部PROD＿A3。上述运动图像编码装置2可以用作该编码部PROD＿A1。

发送装置PROD＿A还可以具备：对运动图像进行拍摄的照相机PROD＿A4、记录运动图像的记录介质PROD＿A5、用于将运动图像从外部输入的输入端子PROD＿A6、以及生成或加工图像的图像处理部A7，以作为输入至编码部PROD＿A1的运动图像的提供源。在图57的(a)中，例示了发送装置PROD＿A具备上述全部的构成，但也可以省略一部分。

此外，记录介质PROD＿A5既可以记录未被编码的运动图像，也可以记录以与传输用编码方式不同的记录用编码方式而编码出的运动图像。在后者的情形下，在记录介质PROD＿A5与编码部PROD＿A1之间，可以存在按照记录用编码方式对从记录介质PROD＿A5读出的编码数据进行解码的解码部(未图示)。

图57的(b)是表示搭载有运动图像解码装置1的接收装置PROD＿B的构成的框图。如图57的(b)所示，接收装置PROD＿B具备：接收调制信号的接收部PROD＿B1、通过对由接收部PROD＿B1接收到的调制信号进行解调来得到编码数据的解调部PROD＿B2、以及通过对由解调部PROD＿B2得到的编码数据进行解码来得到运动图像的解码部PROD＿B3。上述运动图像解码装置1可以用作该解码部PROD＿B3。

接收装置PROD＿B还可以具备：对运动图像进行显示的显示器PROD＿B4、用于记录运动图像的记录介质PROD＿B5、以及用于将运动图像输出至外部的输出端子PROD＿B6，以作为由解码部PROD＿B3输出的运动图像的提供目的地。在图57的(b)中，例示了接收装置PROD＿B具备上述全部的构成，但也可以省略一部分。

此外，记录介质PROD＿B5既可以用于记录未被编码的运动图像，也可以是以与传输用编码方式不同的记录用编码方式而编码出的记录介质。在后者的情形下，在解码部PROD＿B3与记录介质PROD＿B5之间，可以存在按照记录用编码方式对从解码部PROD＿B3获取到的运动图像进行编码的编码部(未图示)。

此外，传输调制信号的传输介质既可以是无线，也可以是有线。另外，传输调制信号的传输形态既可以是广播(在此是指发送目的地未被预先确定的发送形态)，也可以是通信(在此是指发送目的地被预先确定的发送形态)。即，调制信号的传输可以通过无线广播、有线广播、无线通信、以及有线通信的任一者来实现。

例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是以无线广播来收发调制信号的发送装置PROD＿A/接收装置PROD＿B的一例。另外，电缆电视广播的广播站(广播设备等)/接收站(电视接收机等)是以有线广播来收发调制信号的发送装置PROD＿A/接收装置PROD＿B的一例。

另外，利用了互联网的VOD(Video On Demand；视频点播)服务或运动图像共有服务等的服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是以通信来收发调制信号的发送装置PROD＿A/接收装置PROD＿B的一例(通常，在LAN中使用无线或有线的任一者来作为传输介质，而在WAN中则使用有线来作为传输介质)。在此，个人计算机包含台式PC、笔记本式PC以及平板型PC。另外，智能手机还包含多功能便携式电话终端。

此外，运动图像共有服务的客户端除了对从服务器下载了的编码数据进行解码并显示于显示器的功能之外，还具有对由照相机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共有服务的客户端作为发送装置PROD＿A以及接收装置PROD＿B这两者来发挥功能。

接下来，参照图58来说明能将上述运动图像编码装置2以及运动图像解码装置1用于运动图像的记录以及再生的情形。

图58的(a)是表示搭载有上述运动图像编码装置2的记录装置PROD＿C的构成的框图。如图58的(a)所示，记录装置PROD＿C具备：通过对运动图像进行编码而得到编码数据的编码部PROD＿C1、以及将由编码部PROD＿C1得到的编码数据写入记录介质PROD＿M的写入部PROD＿C2。上述运动图像编码装置2可以用作该编码部PROD＿C1。

此外，记录介质PROD＿M既可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD＿C的类型，也可以是(2)如SD存储卡或USB(Universal Serial Bus：通用串行总线)闪速存储器等那样与记录装置PROD＿C连接的类型，还可以是(3)如DVD(DigitalVersatile Disc：数字多功能光盘)或BD(Blu-ray Disc：蓝光光盘(注册商标))等那样被装填在内置于记录装置PROD＿C的驱动器装置(未图示)中。

另外，记录装置PROD＿C还可以具备：对运动图像进行拍摄的照相机PROD＿C3、用于将运动图像从外部输入的输入端子PROD＿C4、用于接收运动图像的接收部PROD＿C5、以及生成或加工图像的图像处理部C6，以作为输入至编码部PROD＿C1的运动图像的提供源。在图58的(a)中，例示了记录装置PROD＿C具备上述全部的构成，但也可以省略一部分。

此外，接收部PROD＿C5既可以接收未被编码的运动图像，也可以接收以与记录用编码方式不同的传输用编码方式而编码出的编码数据。在后者的情形下，在接收部PROD＿C5与编码部PROD＿C1之间，可以存在对以传输用编码方式编码出的编码数据进行解码的传输用解码部(未图示)。

作为这样的记录装置PROD＿C，可以列举出例如DVD刻录机、BD刻录机、HDD(HardDisk Drive：硬盘驱动器)刻录机等(该情形下，输入端子PROD＿C4或接收部PROD＿C5成为运动图像的主要提供源)。另外，便携式摄像机(该情形下，照相机PROD＿C3成为运动图像的主要提供源)、个人计算机(该情形下，接收部PROD＿C5或图像处理部C6成为运动图像的主要提供源)、智能手机(该情形下，照相机PROD＿C3或接收部PROD＿C5成为运动图像的主要提供源)等也是这样的记录装置PROD＿C的一例。

图58的(b)是示出了搭载有上述运动图像解码装置1的再生装置PROD＿D的构成的块。如图58的(b)所示，再生装置PROD＿D具备：对写入记录介质PROD＿M的编码数据进行读出的读出部PROD＿D1、以及通过对由读出部PROD＿D1读出的编码数据进行解码来得到运动图像的解码部PROD＿D2。上述运动图像解码装置1可以用作该解码部PROD＿D2。

此外，记录介质PROD＿M既可以是(1)如HDD或SSD等那样内置于再生装置PROD＿D的类型，也可以是(2)如SD存储卡或USB闪速存储器等那样与再生装置PROD＿D连接的类型，还可以是(3)如DVD或BD等那样装填在内置于再生装置PROD＿D的驱动器装置(未图示)中。

另外，再生装置PROD＿D还可以具备：对运动图像进行显示的显示器PROD＿D3、用于将运动图像输出至外部的输出端子PROD＿D4、以及发送运动图像的发送部PROD＿D5，以作为由解码部PROD＿D2输出的运动图像的提供目的地。在图58的(b)中，例示了再生装置PROD＿D具备上述全部的构成，但也可以省略一部分。

此外，发送部PROD＿D5既可以发送未被编码的运动图像，也可以发送以与记录用编码方式不同的传输用编码方式而编码出的编码数据。在后者的情形下，在解码部PROD＿D2与发送部PROD＿D5之间，可以存在以传输用编码方式来编码运动图像的编码部(未图示)。

作为这样的再生装置PROD＿D，可以列举出例如DVD播放器、BD播放器、HDD播放器等(该情形下，连接有电视接收机等的输出端子PROD＿D4成为运动图像的主要提供目的地)。另外，电视接收机(该情形下，显示器PROD＿D3成为运动图像的主要提供目的地)、数字标牌(也被称为电子标牌或电子公告板等，显示器PROD＿D3或发送部PROD＿D5成为运动图像的主要提供目的地)、台式PC(该情形下，输出端子PROD＿D4或发送部PROD＿D5成为运动图像的主要提供目的地)、笔记本式或平板型PC(该情形下，显示器PROD＿D3或发送部PROD＿D5成为运动图像的主要提供目的地)、智能手机(该情形下，显示器PROD＿D3或发送部PROD＿D5成为运动图像的主要提供目的地)等也是这样的再生装置PROD＿D的一例。

(硬件的实现以及软件的实现)

另外，上述运动图像解码装置1以及运动图像编码装置2的各块既可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以使用CPU(Central ProcessingUnit：中央处理器)而以软件方式实现。

在后者的情形下，上述各装置具备：执行用于实现各功能的程序的命令的CPU、存放有上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(RandomAccess Memory：随机存取存储器)、存放上述程序以及各种数据的存储器等存储装置(记录介质)等。而且，本发明的目的还能通过将对实现上述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)按计算机可读的方式进行了记录的记录介质提供给上述各装置，并由该计算机(或CPU、MPU)读出记录在记录介质中的程序代码并加以执行，从而实现。

作为上述记录介质，能够使用例如:磁带或磁盒等带类、包含软盘(注册商标)/硬盘等磁盘或CD－ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你光盘)/DVD(Digital Versatile Disc：数字多功能光盘)/CD－R(CD Recordable：可记录光盘)/蓝光光盘(Blu-ray Disc(注册商标))等光盘的盘类、IC卡(包括存储卡)/光卡等卡类、掩模ROM/EPROM(Erasable ProgrammableRead-Only Memory:可擦除可编程只读存储器)/EEPROM(注册商标)(ElectricallyErasable and Programmable Read-Only Memory:电可擦可编程只读存储器)/闪速ROM等半导体存储器类、或者PLD(Programmable logic device：可编程逻辑器件)或FPGA(FieldProgrammable Gate Arrayy：现场可编程门阵列)等逻辑电路类等。

另外，可以将上述各装置构成为能与通信网络连接，并经由通信网络来提供上述程序代码。该通信网络只要能传输程序代码即可，并没有特别限定。例如，能利用互联网、内联网、外联网、LAN(Local Area Network：局域网)、ISDN(Integrated Services DigitalNetwork：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(CommunityAntenna television/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。另外，构成该通信网络的传输介质也只要是能传输程序代码的介质即可，并不限定于特定的构成或种类。例如，既可以以IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、电缆TV线路、电话线、ADSL(Asymmetric DigitalSubscriber Line：非对称数字用户线路)线路等有线来进行利用，也可以以IrDA(InfraredData Association：红外数据协会)或遥控器那样的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据率)、NFC(Near Field Communication：近场通信)、DLNA(注册商标)(Digital Living Network Alliance：数字生活网络联盟)、便携式电话网、卫星线路、地面波数字网等无线来进行利用。此外，本发明还能以将上述程序代码以电子式传输具现化得到的嵌入至载波中的计算机数据信号的形态来实现。

本发明不限于上述实施方式，能在权利要求所示的范围内进行各种变更。即，对在权利要求所示的范围内适当变更后的技术手段进行组合而得到的实施方式也包含在本发明的技术范围中。

工业实用性

本发明能适宜应用于对编码图像数据而得到的编码数据进行解码的图像解码装置、以及生成编码图像数据而得到的编码数据的图像编码装置。另外，能适宜应用于由图像编码装置生成、且由图像解码装置参照的编码数据的数据结构。

符号说明

1 运动图像解码装置(图像解码装置)

10 解码模块

11 CU信息解码部(残差模式解码部、CU分割标志解码部)

12 PU信息解码部

13 TU信息解码部(残差模式解码部、TU分割标志解码部)

16 帧存储器

2 运动图像编码装置(图像编码装置)

131 TU分割设定部

21 编码设定部

25 帧存储器

29 编码数据生成部(CU分割标志编码部、TU分割标志编码部、残差模式编码部)

Claims

1.一种图像解码装置，其将图片分割为编码树块单位来进行解码，其特征在于，具备：

编码树分割部，其将所述编码树块作为根编码树进行递归式分割；

CU分割标志解码部，其对表示是否分割所述编码树的编码单元分割标志进行解码；以及

残差模式解码部，其对残差模式进行解码，该残差模式表示对于所述编码树以下的残差是以第一模式进行解码，还是以与第一模式不同的第二模式进行解码。

2.根据权利要求1所述的图像解码装置，其特征在于，

所述残差模式解码部仅在最上位的编码树中从编码数据中解码残差模式(rru_flag)，而在与其相比为下位的编码树中则不解码残差模式(rru_flag)。

3.根据权利要求1所述的图像解码装置，其特征在于，

所述残差模式解码部仅在指定的层次的编码树中解码残差模式，在与其相比为下位的编码树中，除了指定的层次的编码树以外，省略残差模式的解码。

4.根据权利要求1所述的图像解码装置，其特征在于，

所述CU分割标志解码部在所述残差模式表示以所述第二模式进行解码的情形下，使分割的层次与残差模式表示以所述第一模式进行解码的情形相比减1。

5.根据权利要求1所述的图像解码装置，其特征在于，

在残差模式为所述第一模式的情形下，当编码树的尺寸即编码块尺寸(log2CbSize)比最小编码块(MinCbLog2Size)大时，所述CU分割标志解码部从编码数据中解码所述CU分割标志，

在残差模式为所述第二模式的情形下，当编码树的尺寸即编码块尺寸(log2CbSize)比最小编码块(MinCbLog2Size+1)大时，所述CU分割标志解码部从编码数据中解码所述CU分割标志，

在除此以外的情形下，所述CU分割标志解码部省略所述CU分割标志的解码，导出表示不分割所述CU分割标志的0。

6.根据权利要求1所述的图像解码装置，其特征在于，

所述残差模式解码部在成为叶子的编码树即编码单元中对残差模式进行解码。

7.根据权利要求6所述的图像解码装置，其特征在于，

具备跳过标志解码部，其在成为叶子的编码树即编码单元中，对表示是否省略残差的解码而进行解码的跳过标志进行解码，

所述残差模式解码部在所述跳过标志表示不解码残差的情形下，在所述编码单元中对残差模式进行解码，在除此以外的情形下，不对残差模式进行解码。

8.根据权利要求6所述的图像解码装置，其特征在于，

具备CBF标志解码部，其对表示编码单元是否包含残差的CBF标志进行解码，

所述残差模式解码部在所述CBF标志表示存在残差的情形下，对所述残差模式进行解码，在除此以外的情形下，导出表示所述残差模式为所述第一模式的残差模式。

9.根据权利要求6所述的图像解码装置，其特征在于，

所述残差模式解码部，在编码树的尺寸即编码块尺寸(log2CbSize)比规定的最小编码块尺寸(MinCbLog2Size)大的情形下，从编码数据中解码所述残差模式，在除此以外的情形下，当在编码数据中不存在所述残差模式时，将所述残差模式导出为所述第一模式。

10.根据权利要求6所述的图像解码装置，其特征在于，

具备PU分割模式解码部，其对表示是否将编码单元进一步分割为预测块的PU分割模式进行解码，

所述残差模式解码部仅在所述PU分割模式为表示不进行PU分割的值的情形下对残差模式进行解码，在除此以外的情形下，不对残差模式进行解码。

11.根据权利要求6所述的图像解码装置，其特征在于，

所述PU分割模式解码部，在所述残差模式表示所述第二模式的情形下，省略所述PU分割模式的解码，导出表示不进行PU分割的值，而在所述残差模式表示所述第一模式的情形下，对所述PU分割模式进行解码。

12.根据权利要求1所述的图像解码装置，其特征在于，

在所述残差模式表示所述第二模式的情形下，当编码块尺寸(log2CbSize)等于最小编码块(MinCbLog2Size)与1的和(MinCbLog2Size+1)时，所述PU分割模式解码部对所述PU分割模式进行解码，

在所述残差模式表示所述第一模式的情形下，当为帧间或者当编码块尺寸(log2CbSize)等于最小编码块(MinCbLog2Size)时，所述PU分割模式解码部对所述PU分割模式进行解码，

在除此以外的情形下，所述PU分割模式解码部省略所述PU分割模式的解码，导出表示不进行PU分割的值。

13.根据权利要求1所述的图像解码装置，其特征在于，

具备TU分割模式解码部，其对表示是否将编码单元进一步分割为变换块的TU分割模式进行解码，

在所述残差模式表示所述第二模式的情形下，当编码块尺寸(log2CbSize)为最大变换块(MaxTbLog2SizeY)与1的和(MaxTbLog2SizeY+1)以下且比最小变换块(MinCbLog2Size)与1的和(MinCbLog2Size+1)大时，所述TU分割模式解码部对所述TU分割标志进行解码，

在所述残差模式表示所述第一模式的情形下，当编码块尺寸(log2CbSize)为最大变换块(MaxTbLog2SizeY)以下且比最小变换块(MinCbLog2Size)大时，所述TU分割模式解码部对所述TU分割标志进行解码，

在除此以外的情形下，所述TU分割模式解码部省略所述TU分割标志的解码，导出表示不进行分割的TU分割标志的值。

14.根据权利要求1所述的图像解码装置，其特征在于，

在所述残差模式表示所述第二模式的情形下，当编码变换深度(trafoDepth)未达最大编码深度(MaxTrafoDepth)与1的差(MaxTrafoDepth-1)时，所述TU分割模式解码部对所述TU分割标志进行解码，

在所述残差模式表示所述第一模式的情形下，当编码变换深度(trafoDepth)未达最大编码深度(MaxTrafoDepth)时，所述TU分割模式解码部对所述TU分割标志进行解码，

在除此以外的情形下，所述TU分割模式解码部省略所述TU分割标志的解码，导出表示不进行分割的值。

15.根据权利要求1所述的图像解码装置，其特征在于，具备：

残差解码部，其对残差进行解码；以及

逆量化部，其对被解码出的所述残差进行逆量化；

所述逆量化部在所述残差模式为所述第一模式的情形下，通过第一量化步幅进行逆量化，而在所述残差模式为所述第二模式的情形下，通过根据所述第一量化步幅导出的第二量化步幅进行逆量化。

16.根据权利要求15所述的图像解码装置，其特征在于，

所述图像解码装置具备用于解码量化步幅修正值的量化步幅控制信息解码，

所述逆量化部通过对第一量化步幅加上所述量化步幅修正值来导出第二量化步幅。

17.一种图像解码装置，其将图片分割为切片单位，并将所述切片进一步分割为编码树块单位来进行解码，其特征在于，切片内的最上位块尺寸可变。

18.根据权利要求16所述的图像解码装置，其特征在于，

对表示切片开头的水平位置的值和表示垂直位置的值进行解码。

19.根据权利要求16所述的图像解码装置，其特征在于，

对表示切片开头的开头地址的值进行解码，并基于成为选项的最上位块尺寸中的最小块尺寸来导出切片开头位置或者对象块的水平位置和垂直位置。

20.一种图像编码装置，其将图片分割为编码树块单位来进行编码，其特征在于，具备：

CU分割标志解码部，其对表示是否分割所述编码树的编码单元分割标志进行编码；以及

残差模式解码部，其对残差模式进行编码，该残差模式表示对于所述编码树以下的残差是以第一模式进行解码，还是以与第一模式不同的第二模式进行编码。