CN108650508B - 图像解码装置、图像解码方法、图像编码装置及图像编码方法 - Google Patents

图像解码装置、图像解码方法、图像编码装置及图像编码方法 Download PDF

Info

Publication number
CN108650508B
CN108650508B CN201810470679.9A CN201810470679A CN108650508B CN 108650508 B CN108650508 B CN 108650508B CN 201810470679 A CN201810470679 A CN 201810470679A CN 108650508 B CN108650508 B CN 108650508B
Authority
CN
China
Prior art keywords
prediction
unit
size
flag
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810470679.9A
Other languages
English (en)
Other versions
CN108650508A (zh
Inventor
山本智幸
猪饲知宏
八杉将伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN108650508A publication Critical patent/CN108650508A/zh
Application granted granted Critical
Publication of CN108650508B publication Critical patent/CN108650508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明旨在实现在使用非对称分区的情况下的码量的削减、以及活用了非对称分区的性质的效率好的编码/解码处理。图像解码装置具备将表示单预测或双预测的任一者的预测方式的运动补偿参数进行导出的运动补偿参数导出部，且在预测单位为给定的尺寸以下的情况下，所述运动补偿参数导出部切换所述预测方式来导出所述运动补偿参数。

Description

图像解码装置、图像解码方法、图像编码装置及图像编码方法
本申请是2012年9月28日向中国国家知识产权局提出的题为“图像解码装置、图像解码方法及图像编码装置”的申请No.201280047298.0的分案申请。
技术领域
本发明涉及对表征图像的编码数据进行解码的图像解码装置、以及图像解码方法、以及通过对图像进行编码来生成编码数据的图像编码装置。
背景技术
为了高效地传输或记录运动图像，使用了通过对运动图像进行编码来生成编码数据的运动图像编码装置、以及通过对该编码数据进行解码来生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式，例如可列举出：作为H.264/MPEG-4.AVC、VCEG(Video Coding Expert Group)中的共同开发用编解码器的KTA软件中所采用的方式、TMuC(Test Model under Consideration)软件中所采用的方式、或作为其后继编解码器的HEVC(High-Efficiency Video Coding)的方式(非专利文献1、4)等。
在这样的运动图像编码方式中，构成运动图像的图像(图片)是基于由通过分割图像而得到的切片、通过分割切片而得到的编码单位(有时也称为编码组件(Coding Unit))、以及通过分割编码单位而得到的块以及分区组成的阶层结构来进行管理的，通常按每块来进行编码/解码。
另外，在这样的运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像来生成预测图像，并对从输入图像(原图像)中减去该预测图像而得到的预测残差(有时也称为”差分图像”或”残差图像”)进行编码。另外，作为预测图像的生成方法，可列举出画面间预测(帧间预测)以及画面内预测(帧内预测)。
在帧内预测中，基于同一帧内的局部解码图像来依次生成该帧中的预测图像。
另一方面，在帧间预测中，通过对解码了帧全体后的参考帧(解码图像)内的参考图像，应用利用了运动矢量的运动补偿，来按每个预测单位(例如，块)生成预测对象帧内的预测图像。
关于帧间预测，在近期召开的JCT-VC的第6次会(Torino，IT，14-22July，2011)中，在使用帧间预测的情况下，采用了将作为编码处理的单位的编码单位分割为非对称的分区(PU)的技术(AMP；Asymmetric Motion Partition，非专利文献2，3)。
另外，在分区的类型是非对称分区的情况下，提出了进行非正方形的四叉树变换(NSQT；Non-Square Quadtree Transform)(非专利文献2)。
先行技术文献
非专利文献
非专利文献1：“WD4：Working Draft 4of High-Efficiency Video Coding(JCTVC-F803_d1)”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16 WP3 and ISO/IEC JTCl/SC29/WG11 6th Meeting：Torino，IT，14-22 July，2011(2011年9月8日公开)
非专利文献2：“CE2：Non-Square Quadtree Transform for symmetric andasymmetric motion partition(JCTVC-F412)”，Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting：Torino，IT，14-22 July，2011(2011年7月2日公开)
非专利文献3：“CE2：Test results of asymmetric motion partition(AMP)(JCTVC-F379)”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3 and ISO/IEC JTC1/SC29/WG116th Meeting：Torino，14-22 July，2011(2011年7月2日公开)
非专利文献4：“WD4：Working Draft 4 of High-Efficiency Video Coding(JCTVC-F803_d5)”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting：Torino，IT，14-22July，2011(2011年10月28日公开)
发明概要
发明要解决的课题
然而，在帧间预测中，由于新追加上述的非对称分区，因此边侧(side)信息的码量增加。另外，存在如下课题：不管新追加的非对称分区与现有的对称分区在性质上是否不同，其性质在编码处理中都不能充分活用。
发明内容
本发明鉴于上述问题而提出，其目的在于，提供能实现在使用非对称分区的情况下的码量的削减、以及活用了非对称分区的性质的效率好的编码/解码处理的图像解码装置、图像解码方法以及图像编码装置。
用于解决课题的手段
为了解决上述的课题，本发明的一形态所涉及的图像解码装置是使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行解码的图像解码装置，所述图像解码装置具备：运动补偿参数导出部，其导出表示所述单预测或所述双预测的任一者的预测方式的运动补偿参数，在所述预测单位为给定的尺寸以下的情况下，所述运动补偿参数导出部切换所述预测方式来导出所述运动补偿参数。
为了解决上述的课题，本发明的一形态所涉及的图像解码方法是使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行解码的图像解码方法，所述图像解码方法至少包含：导出表示所述单预测或所述双预测的任一者的预测方式的运动补偿参数的步骤；以及判定所述预测单位的尺寸是否为给定的尺寸以下的步骤，在导出所述运动补偿参数的步骤中，在所述预测单位为所述给定的尺寸以下的情况下，切换所述预测方式来导出所述运动补偿参数。
为了解决上述的课题，本发明的一形态所涉及的图像编码装置是使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行编码的图像编码装置，所述图像编码装置具备：运动补偿参数导出部，其导出表示所述单预测或所述双预测的任一者的预测方式的运动补偿参数，在所述预测单位为给定的尺寸以下的情况下，所述运动补偿参数导出部切换所述预测方式来导出所述运动补偿参数。
为了解决上述的课题，本发明的一形态所涉及的图像解码装置是按每个编码单位对图像编码数据进行解码而生成解码图像的图像解码装置，所述图像解码装置具备：CU信息解码部，其解码对分割所述编码单位的分割类型进行指定的信息；以及算术解码部，其通过利用上下文的算术解码或不利用上下文的算术解码，由所述图像编码数据，解码二进制值，在所述CU信息解码部解码对作为所述分割类型的非对称的分割(AMP；AsymmetricMotion Partition)进行指定的信息的情况下，所述算术解码部根据所述二进制值的位置，切换所述利用了上下文的算术解码与所述不利用上下文的算术解码，来进行解码。
发明效果
根据本发明的一形态，能实现在使用非对称分区的情况下的码量的削减、以及活用了非对称分区的性质的效率好的编码/解码处理。
附图说明
图1是表示本发明的一实施方式所涉及的运动图像解码装置所具备的CU信息解码部以及解码模块的构成例的功能框图。
图2是表示上述运动图像解码装置的概略构成的功能框图。
图3是表示由本发明的一实施方式所涉及的运动图像编码装置生成的、且由上述运动图像解码装置解码的编码数据的数据构成的图，(a)～(d)分别是表示图片层、切片层、树块层、以及CU层的图。
图4是表示PU分割类型的图案的图。(a)～(h)分别示出了PU分割类型为2N×N、2N×nU、2N×nD、2N×N、2N×nU、以及2N×nD的情况下的分区形状。
图5是表示与CU的尺寸以及PU分割类型相对应的定义了PU的个数以及尺寸的PU尺寸表的具体构成例的图。
图6是表示存在具有倾斜的边沿的2N×N的CU以及2N×nU的CU的图。
图7是表示对CU预测类型以及PU分割类型的组合与bin串的对应关系进行定义的二值化信息的一例的表。
图8是表示针对8×8尺寸的CU进行定义的上述二值化信息的一例的图。
图9是针对8×8尺寸的CU进行定义的上述二值化信息的其他例的图。
图10是表示对CU预测类型以及PU分割类型的组合与bin串的对应关系进行定义的二值化信息的其他例的表。
图11是表示对CU预测类型以及PU分割类型的组合与bin串的对应关系进行定义的二值化信息的另一例的表。
图12是表示上述运动图像解码装置所具备的PU信息解码部以及解码模块的构成例的功能框图。
图13是表示非对称分区被选择的CU的图。
图14是表示对称分区被选择的CU中的合并(merge)候选的优先顺位的图。
图15是表示非对称分区被选择的CU中的合并候选的优先顺位的图。(a)以及(b)均示出了在PU分割类型为2N×nU的情况下的CU。(a)示出了小的一方的分区中的合并候选的优先顺位，(b)示出了大的一方的分区中的合并候选的优先顺位。另外，(c)以及(d)均示出了PU分割类型为2N×nD的情况下的CU。另外，(c)示出了大的一方的分区中的合并候选的优先顺位，(d)示出了小的一方的分区中的合并候选的优先顺位。
图16是表示上述运动图像解码装置所具备的TU信息解码部以及解码模块的构成例的功能框图。
图17是表示根据CU的尺寸、TU分割的深度(trafoDepth)、以及对象PU的PU分割类型来定义TU分割图案的变换尺寸决定信息的一例的图。
图18是表示将正方形的节点四叉树分割为正方形或非正方形的分割方式的图。(a)示出了正方形的分割，(b)示出了横长的长方形的分割，以及(c)示出了纵长的长方形的分割。
图19是表示将正方形的节点四叉树分割为正方形或非正方形的分割方式的图。(a)示出了横长的节点的横长的分割，(b)示出了横长的节点的正方形的分割，(c)示出了纵长的节点的纵长的分割，以及(d)示出了纵长的节点的正方形的分割。
图20是表示PU分割类型2N×N的32×32CU中的TU分割的例子的图。
图21是表示PU分割类型2N×nU的32×32CU中的TU分割的例子的图。
图22是表示在遵照图17所示的变换尺寸决定信息来进行分割的情况下的TU分割的流程的图。(a)示出了PU分割类型为2N×2N的情况，(b)示出了PU分割类型为2N×nU的情况。
图23是表示在进行PU分割类型为2N×2N的区域的分割的情况下的TU分割的流程的一例的图。
图24是表示CU解码处理的流程的一例的流程图。
图25是表示本发明的一实施方式所涉及的运动图像编码装置的概略构成的功能框图。
图26是表示CU编码处理的流程的一例的流程图。
图27是表示搭载有上述运动图像编码装置的发送装置、以及搭载有上述运动图像解码装置的接收装置的构成的图。(a)示出了搭载有运动图像编码装置的发送装置，(b)示出了搭载有运动图像解码装置的接收装置。
图28是表示搭载有上述运动图像编码装置的记录装置以及搭载有上述运动图像解码装置的再生装置的构成的图。(a)示出了搭载有运动图像编码装置的记录装置，(b)示出了搭载有运动图像解码装置的再生装置。
图29是表示上述运动图像解码装置所具备的PU信息解码部的运动补偿参数导出部的详细的构成例的功能框图。
图30是表示上述运动图像解码装置所具备的解码模块的运动信息解码部的详细的构成例的功能框图。
图31是现有技术中的PU的语法表的例子，是表示在不进行双预测限制的情况下的编码数据的构成的图。
图32是示出帧间预测标志的含义的图。(a)示出在为2值标志的情况下的帧间预测标志的含义，(b)示出在为3值标志的情况下的帧间预测标志的含义。
图33是表示PU的语法表的例子的图，(a)以及(b)各自示出在进行双预测限制的情况下的编码数据的构成的尤其是帧间预测标志inter_pred_flag的部分。
图34是与双预测限制相关的语法表的例子的图。(a)示出了在包含对序列参数集是否进行双预测限制进行限制的标志disable_bipred_in_small_PU在内的情况。(b)是设置预测制约标志use_restricted_prediction作为公共的标志的例子。(c)是将表示禁止双预测的PU的尺寸的disable_bipred_size包含在编码数据中的例子。
图35是表示实施双预测限制的范围以及双预测限制方法的对应关系的图。
图36是表示与双预测限制相关的语法表的例子的图。
图37是说明与双预测限制相关的结合表的图，(a)、(b)、(c)是用于说明combined_inter_pred_ref_idx的值的例子的图，(d)是表示对最大值MaxPredRef的导出方法进行表示的表以及伪代码的图。
图38是说明针对结合表的可变表的图，(a)是表示变换可变表EncTable和逆变换可变表DecTable的例子的图，(b)是表示逆变换可变表DecTable的图。
图39是说明与双预测限制相关的inter_pred_flag的解码的图。
图40是说明与双预测限制相关的结合结合帧间预测参考索引标志combined_inter_pred_ref_idx的解码的图。
图41是表示在使用逆变换可变表的情况下的combined_inter_pred_ref_idx的解码处理的伪代码。
图42是表示在使用变换可变表的情况下的combined_inter_pred_ref_idx的编码处理的伪代码。
图43是表示合并运动补偿参数导出部的构成的框图。
图44是表示合并运动补偿参数导出部的动作的流程图。
图45是说明相邻合并候选导出部1212A的动作的图。
图46的(a)～(c)是说明时间性合并候选导出部1212B的动作的图。
图47是说明唯一候选导出部1212C的动作的图。
图48的(a)～(c)是说明结合双预测合并候选导出部1212D的动作的图。
图49的(a)、(b)是说明非缩放双预测合并候选导出部1212E的动作的图。
图50是说明零矢量合并候选导出部1212F的动作的图。
图51是说明双单预测变换的动作的图。
图52是说明双预测限制方法的例子的图，(a)是表示对于4x4、4x8、4x8的尺寸的PU，一样地应用基本帧间PU的双预测限制、合并PU的双预测限制、双预测合并候选导出的跳过的例子的图，(b)、(c)是表示不进行合并PU的双预测限制、双预测合并候选导出的跳过而仅对基本帧间PU进行双预测限制的例子的图，(d)是表示对于4x4、4x8、4x8的尺寸的PU，一样地应用基本帧间PU的双预测限制，对于8x8的尺寸的PU应用合并PU的双预测限制、双预测合并候选导出的跳过的例子的图。
图53是说明双预测限制方法的例子的图，(a)是表示对于4x4、4x8、4x8、8x8应用基本帧间PU的双预测限制和双预测合并候选导出的跳过的例子的图，(b)是表示对于4x4、4x8、4x8、8x8应用双预测合并候选导出的跳过的例子的图。
图54是表示基本运动补偿参数导出部的构成的框图。
图55是表示PU信息生成部的构成的框图。
图56是表示合并运动补偿参数生成部的构成的框图。
图57是表示基本运动补偿参数生成部的构成的框图。
图58是定义H.264/AVC中的级别规制的表。
图59是定义H.264/AVC中的级别规制的表。
图60是表示自适应的PU尺寸制约以及双预测限制的图。(a)示出了16×16CU的情况，(b)示出了8×8CU的情况。
图61是表示PU信息解码部所具备的合并运动补偿参数导出部等的构成例的框图。
图62是表示与双预测限制相关的语法表的一例的图。
图63是表示针对双预测限制PU判定部的动作而示出的伪代码的一例的图。
图64是表示与双预测限制相关的语法表的其他例的图。
图65是表示针对双预测限制PU判定部的动作而示出的伪代码的其他例的图。
图66是表示与双预测限制相关的语法表的另一例的图。
图67是表示针对双预测限制PU判定部的动作而示出的伪代码的另一例的图。
图68是表示针对双预测限制PU判定部的动作而示出的伪代码的另一例的变形例的图。
图69是表示与双预测限制相关的语法表的又一例的图。
图70是表示针对双预测限制PU判定部的动作而示出的伪代码的又一例的图。
图71是表示针对合并运动补偿参数导出部以及双单预测变换部的处理的流程的一例而示出的流程图。
图72是表示PU信息解码部所具备的合并运动补偿参数导出部等的构成例的框图。
图73是针对合并运动补偿参数导出部以及双单预测变换部的处理的流程的变形例而示出的流程图。
图74是由合并候选导出处理、双单变换处理、列表创建处理组成的一系列的处理的时序图。
图75是由合并候选导出处理、双单变换处理、列表创建处理组成的一系列的处理的时序图。
图76是表示PU信息解码部所具备的合并运动补偿参数导出部等的构成例的框图。
图77是说明使X座标整数化的整数化处理的具体例的图。
图78是说明使Y座标整数化的整数化处理的具体例的图。
图79是说明使X座标以及Y座标整数化的整数化处理的具体例的图。
图80是说明仅在一方的列表中使X座标以及Y座标整数化的整数化处理的具体例的图。
图81是表示PU信息生成部所具备的合并运动补偿参数生成部等的构成例的框图。
图82是表示PU信息生成部所具备的合并运动补偿参数生成部等的构成例的框图。
图83是表示PU信息生成部所具备的合并运动补偿参数生成部等的构成例的框图。
图84是定义本发明中的级别规制的表。
图85是定义本发明中的级别规制的另一例的表。
图86是针对双预测限制PU判定部的动作而示出的伪代码的另一例的变形例的图。
图87是针对运动补偿参数限制部的动作而示出的伪代码的例子的图。
图88是表示PU信息生成部30的另一构成的框图。
具体实施方式
参考图1～图24来说明本发明的一实施方式。首先，在参考图2的同时说明运动图像解码装置(图像解码装置)1以及运动图像编码装置(图像编码装置)2的概要。图2是表示运动图像解码装置1的概略构成的功能框图。
图2所示的运动图像解码装置1以及运动图像编码装置2安装有在H.264/MPEG-4AVC规格中所采用的技术、在作为VCEG(Video Coding Expert Group)中的共同开发用编解码器的KTA软件中所采用的技术、在TMuC(Test Model under Consideration)软件中所采用的技术、以及在作为其后继编解码器的HEVC(High-Efficiency Video Coding)中所提案的技术。
运动图像编码装置2在这些运动图像编码方式中，将对从编码器传输至解码器进行了规定的语法(syntax)的值进行熵编码来生成编码数据#1。
作为熵编码方式，已知有上下文自适应型可变长编码(CAVLC：Context-basedAdaptive Variable Length Coding)、以及上下文自适应型2值算术编码(CABAC：Context-based Adaptive Binary Arithmetic Coding)。
在基于CAVLC以及CABAC的编码/解码中，进行与上下文相适应的处理。上下文是指，编码/解码的状况(文胍)，是根据关联语法的过去的编码/解码结果来确定的。作为关联语法，例如有与帧内预测、帧间预测相关的各种语法；与亮度(Luma)、色差(Chroma)相关的各种语法；以及与CU(Coding Unit编码单位)尺寸相关的各种语法等。另外，在CABAC中，还有将与语法对应的2值数据(二进制串)中的作为编码/解码对象的二进制的位置用作上下文的情况。
在CAVLC中，自适应地变更用于编码的VLC表，对各种语法进行编码。另一方面，在CABAC中，对能取得预测模式以及变换系数等的多值的语法，实施2值化处理，并对通过该2值化处理而得到的2值数据对应于发生概率地自适应地进行算术编码。具体而言，准备多个保持二进制值(0或1)的发生概率的缓冲器，并根据上下文来选择一个缓冲器，基于该缓冲器中所记录的发生概率来进行算术编码。另外，通过基于进行解码/编码的二进制值来更新该缓冲器的发生概率，从而能对应于上下文来维持适当的发生概率。
对于运动图像解码装置1输入由运动图像编码装置2编码运动图像而得到的编码数据#1。运动图像解码装置1对所输入的编码数据#1进行解码并将运动图像#2输出至外部。在运动图像解码装置1的详细的说明之前，以下说明编码数据#1的构成。
〔编码数据的构成〕
使用图3，来说明由运动图像编码装置2生成且由运动图像解码装置1解码的编码数据#1的构成例。编码数据#1例示地包含序列、以及构成序列的多个图片。
编码数据#1中的图片层以下的阶层的结构如图3所示。图3的(a)～(d)分别是表示对图片PICT进行规定的图片层、对切片S进行规定的切片层、对树块(Tree block)TBLK进行规定的树块层、对树块TBLK中所含的编码单位(Coding Unit；CU)进行规定的CU层的图。
(图片层)
在图片层，规定了运动图像解码装置1为了解码处理对象的图片PICT(以下也称为对象图片)而参考的数据的集合。图片PICT如图3的(a)所示，包含：图片报头PH、以及切片S1～SNS(NS是图片PICT中所含的切片的总数)。
此外，以下，在不需区分切片S1～SNS的每一个的情况下，有时省略标号的下标来记述。另外，关于以下说明的编码数据#1中所含的数据，即带下标的其他数据也同样。
在图片报头PH中，含有运动图像解码装置1为了决定对象图片的解码方法而参考的编码参数群。例如，运动图像编码装置2在编码时用到的表示可变长编码的模式的编码模式信息(entropy_coding_mode_flag)是图片报头PH中所含的编码参数的一例。
在entropy_coding_mode_flag为0的情况下，该图片PICT是通过CAVLC(Context-based Adaptive Variable Length Coding)进行编码的。另外，在entropy_coding_mode_flag为1的情况下，该图片PICT是通过CABAC(Context-based Adaptive BinaryArithmetic Coding)进行编码的。
此外，图片报头PH也称为图片/参数/集合(PPS：Picture Parameter Set)。
(切片层)
在切片层，规定了运动图像解码装置1为了解码出处理对象的切片S(也称为对象切片)而参考的数据的集合。切片S如图3的(b)所示，包含：切片报头SH、以及树块TBLK1～TBLKNC(NC是切片S中所含的树块的总数)。
在切片报头SH中，含有运动图像解码装置1为了决定对象切片的解码方法而参考的编码参数群。对切片类型进行指定的切片类型指定信息(slice_type)是切片报头SH中所含的编码参数的一例。
作为能通过切片类型指定信息进行指定的切片类型，可列举：(1)在编码时仅使用帧内预测的I切片，(2)在编码时使用单预测或帧内预测的P切片，(3)在编码时使用单预测、双预测或帧内预测的B切片等。
另外，在切片报头SH中，可以不含由运动图像解码装置1所具备的环路滤波器(未图示)参考的滤波器参数。
(树块层)
在树块层，规定了运动图像解码装置1为了解码处理对象的树块TBLK(以下，也称为对象树块)而参考的数据的集合。
树块TBLK包含：树块报头TBLKH、以及编码单位信息CU1～CUNL(NL是树块TBLK中所含的编码单位信息的总数)。在此，首先，关于树块TBLK与编码单位信息CU的关系，说明如下。
树块TBLK被分割为用于对帧内预测或帧间预测、以及用于变换的各处理的块尺寸进行确定的组件。
树块TBLK的上述组件通过递归式的四叉树分割进行了分割。以下，将通过该递归式的四叉树分割而得到的树结构称为编码树(coding tree)。
以下，将与编码树的末端的节点即叶(1eaf)对应的组件作为编码节点(codingnode)来进行参考。另外，编码节点成为编码处理的基本的单位，因此以下将编码节点也称为编码单位(CU)。
也就是，编码单位信息CU1～CUNL是与将树块TBLK递归式地进行四叉树分割而得到的各编码节点(编码单位)对应的信息。
另外，编码树的根(root)与树块TBLK相对应。换言之，树块TBLK与递归式地包含多个编码节点的四叉树分割的树结构的最上位节点相对应。
此外，各编码节点的尺寸在纵横方向上均是该编码节点直接所属的编码节点(即，该编码节点的1阶层上位的节点的组件)的尺寸的一半。
另外，各编码节点可取的尺寸取决于编码数据#1的序列参数集SPS中所含的编码节点的尺寸指定信息以及最大阶层深度(maximum hierarchical depth)。例如，在树块TBLK的尺寸为64×64像素、且最大阶层深度为3的情况下，该树块TBLK以下的阶层中的编码节点可取4种尺寸，即，64×64像素、32×32像素、16×16像素、以及8×8像素的任一者。
(树块报头)
在树块报头TBLKH中，含有运动图像解码装置1为了决定对象树块的解码方法而参考的编码参数。具体而言，如图3的(c)所示，包含：对对象树块到各CU的分割图案进行指定的树块分割信息SP_TBLK、以及用于指定量化步长的大小的量化参数差分Δqp(qp_delta)。
树块分割信息SP_TBLK是表征用于分割树块的编码树的信息，具体而言，是针对对象树块中所含的各CU的形状、尺寸、以及对象树块内的位置进行指定的信息。
此外，树块分割信息SP_TBLK可以不显性地包含CU的形状或尺寸。例如树块分割信息SP_TBLK可以是表示是否针对对象树块全体或树块的部分区域进行四分割的标志(split_coding_unit_flag)的集合。在此情况下，能通过并用树块的形状或尺寸来确定各CU的形状或尺寸。
另外，量化参数差分Δqp是对象树块中的量化参数qp、与在该对象树块之前刚编码出的树块中的量化参数qp’的差分qp-qp’。
(CU层)
在CU层，规定了运动图像解码装置1为了对处理对象的CU(以下，也称为对象CU)实施解码而参考的数据的集合。
在此，在进行编码单位信息CU中所含的数据的具体的内容的说明之前，说明CU中所含的数据的树结构。编码节点成为预测树(prediction tree；PT)以及变换树(transformtree；TT)的根的节点。关于预测树以及变换树，说明如下。
在预测树中，将编码节点分割为1个或多个预测块，并规定各预测块的位置和尺寸。若换一种的表现，则预测块是构成编码节点的1个或多个不重复的区域。另外，预测树包含上述的通过分割而得到的1个或多个预测块。
预测处理按该预测块的每一个来进行。以下，将作为预测的单位的预测块也称为预测单位(prediction unit；PU)。
预测树中的分割的种类大致上分为帧内预测的情况、以及帧间预测的情况这两种情况。
在帧内预测的情况下，分割方法中存在2N×2N(与编码节点为同一尺寸)以及N×N。
另外，在帧间预测的情况下，分割方法中存在2N×2N(与编码节点为同一尺寸)、2N×N、N×2N以及N×N等。
另外，在变换树中，将编码节点分割为1个或多个变换块，并规定各变换块的位置和尺寸。若换一种表现，则变换块是构成编码节点的1个或多个不重复的区域。另外，变换树包含通过上述的分割而得到的1个或多个变换块。
变换处理按该变换块的每一块来进行。以下，将作为变换的单位的变换块也称为变换单位(transform unit；TU)。
(编码单位信息的数据结构)
接着，在参考图3的(d)的同时说明编码单位信息CU中所含的数据的具体的内容。如图3的(d)所示，编码单位信息CU具体而言，包含：跳过模式标志SKIP、CU预测类型信息Pred_type、PT信息PTI、以及TT信息TTI。
[跳过标志]
跳过标志SKIP是表示是否针对对象CU应用了跳过模式的标志，在跳过标志SKIP的值为1的情况下，即，对对象CU应用了跳过模式的情况下，省略其编码单位信息CU中的PT信息PTI。此外，跳过标志SKIP在I切片中被省略。
[CU预测类型信息]
CU预测类型信息Pred_type包含CU预测方式信息PredMode以及PU分割类型信息PartMode。
CU预测方式信息PredMode用于指定使用帧内预测(帧内CU)、以及帧间预测(帧间CU)的哪一者，来作为针对对象CU中所含的各PU的预测图像生成方法。此外，以下，将对象CU中的跳过、帧内预测、以及帧间预测的类别称为CU预测模式。
PU分割类型信息PartMode对对象编码单位(CU)到各PU的分割的图案即PU分割类型进行指定。以下，将如此遵照PU分割类型来将对象编码单位(CU)分割到各PU的动作称为PU分割。
PU分割类型信息PartMode例示性地，既可以是表示PU分割图案的种类的索引，也可以被指定了对象预测树中所含的各PU的形状、尺寸、以及在对象预测树内的位置。
此外，可选择的PU分割类型根据CU预测方式和CU尺寸而不同。另外，若进一步讲，能选择的PU分割类型在帧间预测以及帧内预测各自的情况下是不同的。另外，关于PU分割类型的细节将后述。
另外，在不是I切片的情况下，PU分割类型信息PartMode的值可以根据对树块的分割(partition)、预测方式、以及CU的分割(split)的方法的组合进行指定的索引(cu_split_pred_part_mode)来确定。
[PT信息]
PT信息PTI是与对象CU中所含的PT相关的信息。换言之，PT信息PTI是与PT中所含的1个或多个PU各自相关的信息的集合。如上所述，预测图像的生成是以PU为单位来进行的，因此PT信息PTI在由运动图像解码装置1生成预测图像时被参考。PT信息PTI如图3的(d)所示，包含着含有各PU中的预测信息等在内的PU信息PUI1～PUINP(NP是对象PT中所含的PU的总数)。
预测信息PUI对应于预测类型信息Pred_mode指定哪一种预测方法的情形而包含帧内预测信息或帧间预测信息。以下，将应用帧内预测的PU也称为帧内PU，将应用帧间预测的PU也称为帧间PU。
帧间预测信息包含运动图像解码装置1通过帧间预测来生成帧间预测图像时所参考的编码参数。
作为帧间预测参数，例如可列举合并标志(merge_flag)、合并索引(merge_idx)、估计运动矢量索引(mvp_idx)、参考图像索引(ref_idx)、帧间预测标志(inter_pred_flag)、以及运动矢量残差(mvd)。
帧内预测信息包含运动图像解码装置1在通过帧内预测来生成帧内预测图像时所参考的编码参数。
作为帧内预测参数，例如可列举估计预测模式标志、估计预测模式索引、以及残余预测模式索引。
此外，在帧内预测信息中，可以对表示是否使用PCM模式的PCM模式标志进行编码。在编码了PCM模式标志的情况下，在PCM模式标志示出了使用PCM模式时，省略预测处理(帧内)、变换处理以及熵编码的各处理。
[TT信息]
TT信息TTI是与CU中所含的TT相关的信息。换言之，TT信息TTI是与TT中所含的1个或多个TU各自相关的信息的集合，在由运动图像解码装置1解码残差数据时被参考。此外，以下，有时也将TU称为块。
TT信息TTI如图3的(d)所示，含有：对对象CU到各变换块的分割图案进行指定的TT分割信息SP_TU、以及TU信息TUI1～TUINT(NT是对象CU中所含的块的总数)。
TT分割信息SP_TU，具体而言，是用于决定对象CU中所含的各TU的形状、尺寸、以及在对象CU内的位置的信息。例如，TT分割信息SP_TU能根据表示是否进行作为对象的节点的分割的信息(split_transform_flag)、以及表示该分割的深度的信息(trafoDepth)来实现。
另外，例如在CU的尺寸为64×64的情况下，通过分割而得到的各TU可取32×32像素～4×4像素的尺寸。
TU信息TUI1～TUINT是与TT中所含的1个或多个TU各自相关的个别的信息。例如，TU信息TUI含有量化预测残差。
各量化预测残差是通过由运动图像编码装置2对处理对象的块即对象块实施以下的处理1～3而生成的编码数据。
处理1：对从编码对象图像中减去预测图像后的预测残差进行DCT变换(DiscreteCosine Transform)；
处理2：对通过处理1而得到的变换系数进行量化；
处理3：对通过处理2而量化后的变换系数进行可变长编码；
此外，上述的量化参数qp表征运动图像编码装置2对变换系数进行量化时用到的量化步长QP的大小(QP＝2qp/6)。
(PU分割类型)
若将对象CU的尺寸设为2N×2N像素，则在PU分割类型中存在如下的合计8种图案。即，2N×2N像素、2N×N像素、N×2N像素、及N×N像素这4种对称的分割(symmetricsplittings)、以及2N×nU像素、2N×nD像素、nL×2N像素、以及nR×2N像素这4种非对称的分割(asymmetric splittings)。此外，意味着N＝2m(m为1以上的任意的整数)。以下，将对对象CU进行分割而得到的区域也称为分区。
在图4的(a)～(h)中，关于各自的分割类型，具体图示了CU中的PU分割的边界的位置。
此外，图4的(a)示出了不进行CU的分割的2N×2N的PU分割类型。
另外，图4的(b)、(c)、以及(d)分别示出了在PU分割类型分别为2N×N、2N×nU、以及2N×nD的情况下的分区的形状。以下，将PU分割类型为2N×N、2N×nU、以及2N×nD的情况下的分区合起来称为横长分区。
另外，图4的(e)、(f)、以及(g)分别示出了在PU分割类型为N×2N、nL×2N、以及nR×2N的情况下的分区的形状。以下，将PU分割类型为N×2N、nL×2N、以及nR×2N的情况下的分区合起来称为纵长分区。
另外，将横长分区以及纵长分区合起来称为长方形分区。
另外，图4的(h)示出了PU分割类型为N×N的情况下的分区的形状。将图4的(a)以及(h)的PU分割类型，基于其分区的形状，还称为正方形分割。另外，将图4的(b)～(g)的PU分割类型还称为非正方形分割。
另外，在图4的(a)～(h)中，对各区域所赋予的编号示出了区域的识别编号，按照该识别编号顺序，对区域进行处理。即，该识别编号表征了区域的扫描顺序。
另外，在图4的(a)～(h)中，设左上为CU的基准点(原点)。
[帧间预测的情况下的分割类型]
在帧间PU中，定义了上述8种分割类型当中除N×N(图4的(h))以外的7种。此外，有时将上述4种非对称的分割也称为AMP(Asymmetric Motion Partition)。
此外，上述的N的具体的值根据该PU所属的CU的尺寸来规定，nU、nD、nL、以及nR的具体的值与N的值对应地确定。例如，128×128像素的帧间CU能分割成128×128像素、128×64像素、64×128像素、64×64像素、128×32像素、128×96像素、32×128像素、以及96×128像素的帧间PU。
[帧内预测的情况下的分割类型]
在帧内PU中，定义了下面2种分割图案。即，不分割对象CU的，即对象CU自身作为1个PU被对待的分割图案2N×2N、以及将对象CU对称地分割为4个PU的图案N×N。
因此，在帧内PU中，若以图4所示的例子而言，能取(a)以及(h)的分割图案。
例如，128×128像素的帧内CU能分割成128×128像素、以及64×64像素的帧内PU。
此外，在I切片的情况下，在编码单位信息CU中，可以含有用于确定PU分割类型PartMode的帧内分割模式(intra_part_mode)。
(TU分割以及节点内的TU的顺序)
接下来，使用图18～图20来说明TU分割以及节点内的TU的顺序。TU分割的图案根据CU的尺寸、分割的深度(trafoDepth)、以及对象PU的PU分割类型来确定。
另外，TU分割的图案之中，包含正方形的四叉树分割以及非正方形的四叉树分割。TU分割的图案的具体例如图18以及图19所示。
图18示出了将正方形的节点四叉树分割为正方形或非正方形的分割方式。
图18的(a)示出了将正方形的节点四叉树分割为正方形的分割方式。另外，同图的(b)示出了将正方形的节点四叉树分割为横长的长方形的分割方式。而且，同图的(c)示出了将正方形的节点四叉树分割为纵长的长方形的分割方式。
另外，图19示出了将非正方形的节点四叉树分割为正方形或非正方形的分割方式。
图19的(a)示出了将横长的长方形的节点四叉树分割为横长的长方形的分割方式。另外，同图的(b)示出了将横长的长方形的节点四叉树分割为正方形的分割方式。另外，同图的(c)示出了将纵长的长方形的节点四叉树分割为纵长的长方形的分割方式。而且，同图的(d)示出了将纵长的长方形的节点四叉树分割为正方形的分割方式。
另外，图20示出了PU分割类型2N×N的32×32CU的TU分割的例子。在同图中，“depth”示出了分割的深度(trafoDepth)。另外，“split”示出了该depth中的split_transform_flag的值。若“split”为“1”，则针对该depth的节点进行TU分割，若为“0”，则不进行TU分割。
关于CU的尺寸、分割的深度(trafoDepth)、以及对象PU的PU分割类型、与TU分割图案的对应关系的细节将后述。
〔运动图像解码装置〕
以下，参考图1～图24来说明本实施方式所涉及的运动图像解码装置1的构成。
(运动图像解码装置的概要)
运动图像解码装置1按每个PU来生成预测图像，并通过对所生成的预测图像、与从编码数据#1解码出的预测残差进行相加来生成解码图像#2，且将所生成的解码图像#2输出至外部。
在此，预测图像的生成是参考通过对编码数据#1进行解码而得到的编码参数来进行的。编码参数是指为了生成预测图像而参考的参数。在编码参数中，除了在画面间预测中所参考的运动矢量和在画面内预测中所参考的预测模式等的预测参数之外，还包含PU的尺寸或形状、块的尺寸或形状、以及原图像与预测图像的残差数据等。以下，将编码参数中所含的信息当中除上述残差数据以外的全部的信息的集合称为边侧信息。
另外，以下，将作为解码的对象的图片(帧)、切片、树块、块、以及PU分别称为对象图片、对象切片、对象树块、对象块、以及对象PU。
此外，树块的尺寸例如为64×64像素，PU的尺寸例如为64×64像素、32×32像素、16×16像素、8×8像素或4×4像素等。然而，这些尺寸只不过是例示，树块以及PU的尺寸可以是以上所示的尺寸以外的尺寸。
(运动图像解码装置的构成)
再次参考图2，关于运动图像解码装置1的概略的构成，说明如下。图2是表示运动图像解码装置1的概略的构成的功能框图。
如图2所示，运动图像解码装置1具备：解码模块10、CU信息解码部11、PU信息解码部12、TU信息解码部13、预测图像生成部14、逆量化/逆变换部15、帧存储器16以及加法器17。
[解码模块]
解码模块10进行由二进制解码得到语法值的解码处理。解码模块10更具体而言，基于从提供源提供的编码数据以及语法类别，来对通过CABAC以及CAVLC等的熵编码方式而编码出的语法值进行解码，并将解码出的语法值返回给提供源。
在以下所示的例子中，编码数据以及语法类别的提供源是CU信息解码部11、PU信息解码部12、以及TU信息解码部13。
作为解码模块10中的解码处理的例子，针对从CU信息解码部11对解码模块10提供了编码数据的二进制(比特串)、以及语法类别“split_coding_unit_flag”的情况，说明如下。即，在此情况下，解码模块10参考“split_coding_unit_flag”相关的比特串与语法值的对应关系，从二进制导出语法值，并将导出的语法值返回至CU信息解码部11。
[CU信息解码部]
CU信息解码部11使用解码模块10，针对从运动图像编码装置2输入的1帧的量的编码数据#1，进行树块以及CU级别下的解码处理。CU信息解码部11具体而言，通过以下的过程来对编码数据#1进行解码。
首先，CU信息解码部11参考编码数据#1中所含的各种报头，将编码数据#1依次分离为切片、树块。
在此，在各种报头中，含有：(1)关于对象图片到切片的分割方法的信息、以及(2)关于属于对象切片的树块的尺寸、形状以及在对象切片内的位置的信息。
而且，CU信息解码部11参考树块报头TBLKH中所含的树块分割信息SP_TBLK，来将对象树块分割为CU。
接下来，CU信息解码部11获取与通过分割而得到的CU对应的编码单位信息(以下，称为CU信息)。CU信息解码部11将树块中所含的各CU依次作为对象CU，来执行与对象CU对应的CU信息的解码处理。
即，CU信息解码部11对与就对象CU所得到的变换树相关的TT信息TTI、以及与就对象CU所得到的预测树相关的PT信息PTI进行解复用。
此外，在TT信息TTI中，如上所述，包含与变换树中所含的TU对应的TU信息TUI。另外，在PT信息PTI中，如上所述，包含与对象预测树中所含的PU对应的PU信息PUI。
CU信息解码部11将针对对象CU所得到的PT信息PTI提供给PU信息解码部12。另外，CU信息解码部11将针对对象CU所得到的TT信息TTI提供给TU信息解码部13。
[PU信息解码部]
PU信息解码部12使用解码模块10，针对从CU信息解码部11提供的PT信息PTI，进行PU级别的解码处理。PU信息解码部12，具体而言，通过以下的过程来对PT信息PTI进行解码。
PU信息解码部12参考PU分割类型信息Part_type，来决定对象预测树中的PU分割类型。接下来，PU信息解码部12将对象预测树中所含的各PU依次作为对象PU，来执行与对象PU对应的PU信息的解码处理。
即，PU信息解码部12根据与对象PU对应的PU信息，来进行用于预测图像的生成的各参数的解码处理。
PU信息解码部12将针对对象PU所解码出的PU信息提供给预测图像生成部14。
[TU信息解码部]
TU信息解码部13使用解码模块10，针对从CU信息解码部11提供的TT信息TTI，进行TU级别的解码处理。TU信息解码部13，具体而言，通过以下的过程来对TT信息TTI进行解码。
TU信息解码部13参考TT分割信息SP_TU，将对象变换树分割为节点或TU。此外，TU信息解码部13若被指定了针对对象节点来进行进一步分割，则递归式地进行TU的分割处理。
若分割处理结束，则TU信息解码部13将对象预测树中所含的各TU依次作为对象TU，来执行与对象TU对应的TU信息的解码处理。
即，TU信息解码部13根据与对象TU对应的TU信息，来进行用于变换系数的还原的各参数的解码处理。
TU信息解码部13将针对对象TU而解码出的TU信息提供给逆量化/逆变换部15。
[预测图像生成部]
预测图像生成部14针对对象CU中所含的各PU，基于PT信息PTI来生成预测图像。具体而言，预测图像生成部14针对对象预测树中所含的各对象PU，遵照与对象PU对应的PU信息PUI中所含的参数来进行帧内预测或帧间预测，从而从作为解码完毕图像的局部解码图像P’生成预测图像Pred。预测图像生成部14将已生成的预测图像Pred提供给加法器17。
此外，关于预测图像生成部14基于运动补偿预测参数(运动矢量、参考图像索引、帧间预测标志)来生成对象CU中所含的PU的预测图像的手法，说明如下。
在帧间预测标志表示单预测的情况下，预测图像生成部14生成与位于参考图像索引所示的参考图像的运动矢量所示的地点上的解码图像相当的预测图像。
另一方面，在帧间预测标志表示双预测的情况下，预测图像生成部14针对2组的参考图像索引与运动矢量的组合的每个组合，通过运动补偿来生成预测图像，计算平均，或者，基于对象图片和各参考图像的显示时间间隔来对各预测图像进行加权相加，从而生成最终的预测图像。
[逆量化/逆变换部]
逆量化/逆变换部15针对对象CU中所含的各TU，基于TT信息TTI来执行逆量化/逆变换处理。具体而言，逆量化/逆变换部15针对对象变换树中所含的各对象TU，对与对象TU对应的TU信息TUI中所含的量化预测残差进行逆量化以及逆正交变换，从而还原每个像素的预测残差D。此外，在此，正交变换是指，从像素区域到频域的正交变换。因此，逆正交变换是从频域到像素区域的变换。另外，作为逆正交变换的例子，可列举逆DCT变换(InverseDiscrete Cosine Transform)、以及逆DST变换(Inverse Discrete Sine Transform)等。逆量化/逆变换部15将还原后的预测残差D提供给加法器17。
[帧存储器]
在帧存储器16中，与用于该解码图像P的解码的参数一起，依次记录解码出的解码图像P。在帧存储器16中，在对对象树块进行解码的时间点上，记录有与先于该对象树块而解码出的全部的树块(例如，以光栅扫描顺序先行的全部的树块)对应的解码图像。作为帧存储器16中所记录的解码参数的例子，可列举CU预测方式信息PredMode等。
[加法器]
加法器17通过对由预测图像生成部14提供的预测图像Pred、与由逆量化/逆变换部15提供的预测残差D进行相加，来生成关于对象CU的解码图像P。
此外，在运动图像解码装置1中，对于图像内的全部的树块，在树块单位的解码图像生成处理结束的时间点，输入至运动图像解码装置1的与1帧的量的编码数据#1对应的解码图像#2被输出至外部。
以下，针对(1)CU信息解码部11，(2)PU信息解码部12，以及(3)TU信息解码部13的构成，同与各自的构成对应的解码模块10的构成一起来详细说明。
(1)CU信息解码部的细节
接下来，使用图1来说明CU信息解码部11以及解码模块10的构成例。图1是针对在运动图像解码装置1中用于解码出CU预测信息的构成，即CU信息解码部11以及解码模块10的构成进行例示的功能框图。
以下，按照CU信息解码部11以及解码模块10的顺序来说明各部的构成。
(CU信息解码部)
如图1所示，CU信息解码部11具备：CU预测模式决定部111、PU尺寸决定部112、以及PU尺寸表113。
CU预测模式决定部111将CU预测模式的编码数据以及语法类别、以及PU分割类型的编码数据以及语法类别提供给解码模块10。另外，CU预测模式决定部111从解码模块10获取解码出的CU预测模式的语法值、以及PU分割类型的语法值。
具体而言，CU预测模式决定部111按如下方式来决定CU预测模式以及PU分割类型。
首先，CU预测模式决定部111将跳过标志SKIP通过解码模块10进行解码，并决定对象CU是否为跳过CU。
在对象CU不是跳过CU的情况下，由解码模块10来对CU预测类型信息Pred_type进行解码。另外，不仅基于CU预测类型信息Pred_type中所含的CU预测方式信息PredMode，来决定对象CU是帧内CU还是帧间CU，而且基于PU分割类型信息PartMode来决定PU分割类型。
PU尺寸决定部112参考PU尺寸表113，根据对象CU的尺寸、在CU预测模式决定部111中决定出的CU预测类型以及PU分割类型，来决定PU的个数以及尺寸。
PU尺寸表113是将PU的个数以及尺寸、与CU的尺寸和CU预测类型-PU分割类型的组合建立对应的表。
在此，使用图5，关于PU尺寸表113的具体的构成例，说明如下。
在图5所示的PU尺寸表113中，根据CU的尺寸、PU分割类型(帧内CU以及帧间CU)来定义了PU的个数以及尺寸。此外，表中的“d”表示CU的分割深度。
在PU尺寸表113中，作为CU的尺寸，定义了64×64、32×32、16×16、以及8×8这4种。
另外，在PU尺寸表113中，对于CU的尺寸，定义了各PU分割类型中的PU的个数以及尺寸。
例如，在为64×64的帧间CU、且为2N×N分割的情况下，PU为2个，尺寸均为64×32。
另外，在为64×64的帧间CU、且为2N×nU分割的情况下，PU为2个，尺寸为64×16和64×48。
另外，在为8×8的帧内CU、且为N×N分割的情况下，PU为4个，尺寸全部为4×4。
此外，跳过CU的PU分割类型被估计为2N×2N。另外，表中，以“-”所表示的地方示出了是不能选择的PU分割类型。
即，在CU尺寸为8×8的情况下，在帧间CU中，非对称分区(2N×nU、2N×nD、nL×2N、以及nR×2N)的PU分割类型为不可选择。另外，在帧间CU的情况下，N×N的PU分割类型为不可选择。
另外，在帧内预测中，仅在CU尺寸为8×8的情况下能选择N×N的PU分割类型。
(解码模块)
如图1所示，解码模块10具备：CU预测模式解码部(解码单元、变更单元)1011、二值化信息存储部1012、上下文存储部1013、以及概率设定存储部1014。
CU预测模式解码部1011根据从CU预测模式决定部111提供的编码数据以及语法类别，由编码数据中所含的二进制进行语法值的解码。具体而言，CU预测模式解码部1011遵照二值化信息存储部1012中所存储的二值化信息，来进行CU预测模式以及PU分割类型的解码处理。另外，CU预测模式解码部1011进行跳过标志的解码处理。
在二值化信息存储部1012中存储有用于由CU预测模式解码部1011由二进制来解码语法值的二值化信息。二值化信息是表示二进制(bin串)与语法值的对应关系的信息。
在上下文存储部1013中，存储有CU预测模式解码部1011在解码处理时参考的上下文。
在概率设定存储部1014中，记录有CU预测模式解码部1011在通过算术解码处理从编码数据中解码bin串时所参考的概率设定值。此外，概率设定值中存在与各上下文对应的记录设定值、以及既定的概率设定值。与各上下文对应的概率设定值基于算术解码的结果而被更新。另一方面，既定的概率设定值是恒定的，不基于算术解码的结果而被更新。此外，概率设定值可以不是概率的值自身，而是以与概率的值对应的整数值所示的状态来表现。
[具体的构成例]
[1-1]对上下文的参考进行限制的构成例
CU预测模式解码部1011在PU分割类型为非对称分区时，可以不使用CABAC的上下文而对表示非对称分区的分割的种类的信息进行解码处理。换言之，在通过算术解码从编码数据中对于与表示非对称分区的分割的种类的信息对应的bin串进行解码时，可以不使用在概率设定存储部1014中按每个上下文而记录的概率设定值，而使用既定的概率设定值(例如与0、1的发生概率为等概率对应的概率设定值)来进行解码处理。
以下，在参考图7的同时，例示如此进行上下文的参考的限制的构成。
CU预测模式解码部1011假设规定的概率来对表示非对称分区的分割的种类的信息进行解码。
参考图7的同时，关于本构成例进一步具体例示如下。在图7所示的对应关系表BT1中，关于长方形的分割，前缀部示出了分割的方向是横长(水平)以及纵长(垂直)的哪一者，后缀部示出了分割的种类。
例如，在前缀部示出PU分割类型为横长的分割时，后缀部示出从2N×N、2N×nU、以及2N×nD这3个横长的分割当中选择哪一者。
CU预测模式解码部1011在PU分割类型为长方形的分割的情况下，可以取代概率设定存储部1014中所设定的按每个上下文而记录的概率设定值，而是参考概率设定存储部1014中所设定的既定的概率设定值，来进行后缀部的各bin的算术解码。此外，该概率设定值例如能假设等概率来进行设定。
在此，利用了上下文的CABAC的算术解码是指，在根据二进制的位置(上下文)来记录/更新二进制值的发生概率(对其进行表示的状态)时，基于该发生概率(状态)来进行算术解码的处理。另一方面，不利用上下文的CABAC的算术解码是指，不进行二进制值的发生概率(状态)的更新，而基于根据概率设定值而确定的固定概率来进行算术解码。在不利用上下文的情况下，对应于编码处理、解码处理中的发生概率(状态)的更新所不需要的部分，处理负荷降低，吞吐量得以提高。另外，不需要对于与上下文相应的发生概率(状态)进行蓄积的存储器。在使用概率0.5作为固定概率的情况下，有时也称为EP编码(等概率、EqualProbability编码)或者Bypass(旁路)。
使用图6来说明基于上述构成的作用/效果。首先，上下文对于编码效率的提高有效的情况，是指在特定的状况下相同的码连续发生的情况。通过参考上下文来解码后缀部而编码效率得以提高的情况，具体而言，是指在选择了横长的分割的状况下连续选择2N×N、2N×nU或2N×nD的情况。例如，在选择了2N×N的预测单位的下一预测单位中选择2N×N那样的情况。
另一方面，分区大多如图6所示那样，被设定为不跨边沿边界。
即，如图6所示，在具有倾斜的边沿E1位于区域内时，按照不跨该边沿E1的方式来决定CU10以及C20的PU分割类型。
更具体而言，在CU10中，边沿E1位于区域的垂直方向靠中央，在CU20中，边沿E1位于区域上方。
如此在具有倾斜的边沿E1位于区域内的情况下，CU10按照不跨边沿E1的方式，基于2N×N的PU分割类型，分割成对称的PU11以及PU12。
另外，CU20按照不跨边沿E1的方式，基于2N×nU的分割类型，分割成非对称的PU21以及PU22。
如此，在具有倾斜的边沿E1位于区域内的情况下，也有同一形状的分区连续不出现的时候。
这样的情况不符合2N×N、2N×nU或2N×nD被连续选择的情况。这样的情况之中，存在即使不使用上下文而编码效率也不下降的情况。
如上述构成那样，通过对于前缀部假设规定的概率来解码上述信息，能在维持编码效率的同时，简化pred_type的解码处理。
[作用/效果]
本发明还能如下地表现。即，本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个来生成预测图像从而还原图像的图像解码装置，其中，向上述预测单位分割的分割类型包含向长方形的预测单位的分割，所述图像解码装置具备：解码单元，其不使用上下文，而解码出包含表示上述长方形是纵长以及横长的哪一者的码、以及表示上述长方形的种类的码在内的用于确定向上述长方形的预测单位的分割的码当中的、表示上述长方形的种类的码。
由此，能在维持编码效率的同时，谋求因不参考上下文所带来的处理的简化。
此外，上述的例子还能表现为：在与包含多个长方形分区在内的PU分割对应的PU分割类型的集合，也即同时包含对称分割和非对称分割的分割类型在内的PU分割类型的集合中，在解码用于选择任一者的PU分割类型的信息时，可以不使用上下文来解码。
另外，在上述的例子中，在与非对称分区的选择所涉及的信息对应的bin串当中，并不是在全部的bin的解码中不使用上下文，而是可以在一部分的bin中使用上下文。例如，在上述的图7的例子中，在大于8×8的CU中选择了包含长方形分区在内的分割的情况下，对最大2位的bin进行解码。其中第1位是表示是对称分割还是非对称分割的信息。第2位是在第1位表示‘0’即非对称分割的情况下被解码的bin，表征非对称分割中的小的PU与大的PU的位置关系。关于第1位，基于前述的图6说明过的理由，还存在相同的码不连续的情况，因此优选不设定上下文。另一方面，关于第2位，在利用非对称分区这样的前提条件成立了的状态下，小的PU有局部易贴近单侧的边(例如第2位表征2NxnU和2N×nD的选择信息的情况下，上方侧或下方侧的任一者)的趋势，因此优选设定上下文。
[1-2]对CU预测类型信息(pred_type)进行解码的构成
CU预测模式解码部1011如以下所示，可以构成为参考二值化信息存储部1012中所存储的二值化信息来对CU预测类型信息进行解码。
使用图7来说明二值化信息存储部1012中所存储的二值化信息的构成例。图7是表示对CU预测类型以及PU分割类型的组合、与bin串的对应关系进行定义的二值化信息的一例的表。
此外，在图7中，例示地，以将bin串与CU预测类型-PU分割类型建立对应的表形式来示出了二值化信息，但不限于此。二值化信息也可以是用于导出PU分割类型以及CU预测类型的导出式。关于在后说明的二值化信息也同样。
另外，二值化信息不是必须作为数据来进行存储，也可以作为进行解码处理的程序的逻辑来予以实现。
在图7所例示的对应关系表BT1中，根据CU预测类型以及PU分割类型、以及CU尺寸，来将bin串建立了对应。
首先，说明CU尺寸的定义。在对应关系表BT1中，作为CU尺寸的定义，定义了CU尺寸大于8×8的情况下(CU＞8×8)的非8×8CU1012B、以及CU尺寸为8×8(CU＝＝8×8)的情况下的8×8CU1012A的2种对应关系。
此外，在非8×8CU1012B以及8×8CU1012A各自建立了对应的bin串由前缀部(prefix)和后缀部(suffix)构成。
另外，在对应关系表BT1中，关于各CU尺寸的定义，作为CU预测类型，定义了前述的帧内CU(图示为“帧内”)以及帧间CU(图示为“帧间”)的2系统。进而，按照各CU预测类型来定义了PU分割类型。
具体而言，如下所述。首先，在帧内CU的情况下，基于2N×2N以及N×N的2种PU分割类型来进行了定义。
关于2N×2N，说明如下。在非8×8CU1012B中，仅定义了前缀部，bin串为“000”。后缀部未被编码。另外，在8×8CU1012A中，前缀部为“000”，后缀部为“0”。
另一方面，关于N×N，仅定义了非8×8CU1012B。在此情况下，前缀部为“000”，后缀部为“1”。
如此，在帧内CU的情况下，关于后缀部，以“000”为公共形式。
接下来，在帧间CU的情况下，针对2N×2N、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N这7种PU分割类型进行了定义。
在PU分割类型为2N×2N时，在非8×8CU1012B以及8×8CU1012A的任一者中均仅定义了前缀部，bin串为“1”。
在非8×8CU1012B中，针对进行水平方向的分割的横长分区的PU分割类型、2N×N、2N×nU、以及2N×nD，分配有公共的前缀部“01”。
另外，2N×N、2N×nU、以及2N×nD的后缀部分别为“1”、“00”、以及“01”。
另外，针对进行垂直方向的分割的纵长分区的PU分割类型、N×2N、nL×2N、以及nR×2N，分配有公共的前缀部“001”。
N×2N、nL×2N、以及nR×2N的后缀部分别为“1”、“00”、以及“01”。关于后缀部，与进行上述的水平方向的分割的PU分割类型的情况相同。
也就是，在横长分区以及纵长分区的定义中，后缀部表征分割的种类。即，在对称分割的情况下，bin为“1”。另外，“00”示出了比分割的边界为对称分割时位于更靠原点侧，“01”示出了比分割的边界为对称分割时位于更远离原点的一侧。
接下来，在8×8CU1012A中，针对2N×2N、2N×N、以及N×2N仅定义了前缀部。2N×2N、2N×N、以及N×2N的前缀部分别为“1”、“01”、以及“001”。
CU预测模式解码部1011在遵照上述的二值化信息的解码处理中，可以对前缀部以及后缀部的各bin位置，使用不同的上下文。
在对前缀部以及后缀部的各bin位置使用不同的上下文的情况下，上下文如下合计为8个。
首先，前缀部被定义了最大3比特的bin，因此上下文的数量为3个。
以下，关于后缀部，首先，在2N×2N以及N×N的情况下，为1个。而且，在横长分区(2N×N、2N×nU、以及2N×nD)的情况下，为2个，在纵长分区(N×2N、nL×2N、以及nR×2N)的情况下，为2个。
[1-3]在小尺寸的CU中针对帧内CU来解码短的码的构成
CU预测模式解码部1011可以构成为：在小尺寸的CU中，针对帧内CU来解码短的码。小尺寸的CU设为给定尺寸以下的尺寸的CU，但以下，例示性地设为8×8尺寸的CU。
[构成例1-3-1]
为此，可以如图8所示构成二值化信息存储部1012中所存储的二值化信息。图8示出了作为二值化信息的定义的8×8CU1012A的其他的构成例。即，图8所示的8×8CU1012A_1是图7所示的对应关系表BT1中所含的8×8CU1012A的其他的构成例子。
如图8所示，在作为二值化信息的定义的8×8CU1012A_1中，在作为小尺寸的CU的8×8尺寸的CU中，对帧内CU分配短的码。
在图8所示的8×8CU1012A_1中，在大尺寸的CU中分配有比对帧内CU所分配的码更短的码(参考图7的非8×8CU1012B)。此外，大尺寸的CU是指，不是小尺寸的CU的CU，具体而言，表示尺寸大于8×8的CU。
另外，在8×8CU1012A_1中，分配给帧内CU的码比分配给帧间CU的码更短。换言之，在同一尺寸的CU中，较之于不是帧内CU的其他的PU分割类型，对帧内CU分配短的码。
例如，在8×8CU1012A_1中，对帧内CU分配有1比特的码，对帧间CU分配有2比特或3比特的码。
在帧间预测难以命中的区域中，存在使用小的CU的帧内预测的趋势。故而，在小的CU中，帧内CU的使用率高。另一方面，在图7所示的构成例中，对帧内CU分配有长的码。与此相对，根据上述数据构成，对小的尺寸的帧内CU分配短的码。
由此，在帧间预测难以命中的区域中，CU预测模式解码部1011针对小的尺寸的帧内CU解码短的码。由此，起到编码效率得以提高这样的效果。
此外，在上述构成中，优选地，CU预测模式解码部1011在大尺寸的CU的前缀部和小尺寸的CU的前缀部中设定不同的上下文。
为此，可以在上下文存储部1013中存储用于对大尺寸的CU的前缀部进行解码的上下文即8×8CU prefix1013A、以及用于对小尺寸的CU的前缀部进行解码的上下文即非8×8CU prefix1013B。在此，8×8CU prefix1013A与非8×8CU prefix1013B是不同的上下文。
在小尺寸的CU(CU＝＝8×8)与大尺寸的CU(CU＞8×8)之间，前缀部的各bin的含义不同。
例如，前缀部的第1比特，在小尺寸的CU中，是表示CU预测类型是表示帧内CU以及帧间CU的哪一者的信息，而在大尺寸的CU中，是表示是2N×2N的帧间CU还是除此以外的帧间CU的信息。
另外，含义不同的bin的出现趋势不同。故而，在对大尺寸的CU以及小尺寸的CU两者的前缀部设定了同一上下文的情况下，bin的出现趋势不同，因此存在编码效率下降的风险。
根据上述构成，能配合出现趋势不同的bin来设定不同的上下文，因此能使bin的编码效率得以提高。
[构成例1-3-2]
另外，如图9所示，可以构成二值化信息存储部1012中所存储的二值化信息。图9示出了二值化信息的定义即8×8CU1012A的另一构成例。即，图9所示的8×8CU1012A_2是图7所示的对应关系表BT1中所含的8×8CU1012A的另一构成例子。
在图9所示的8×8CU1012A_2中，bin串由标志(flag)、前缀部以及后缀部这3部分构成。
在帧内CU的情况下，标志是“1”，在帧间CU的情况下，标志是“0”。
另外，在帧内CU的情况下，仅定义了后缀部。即，在PU分割类型为2N×2N时，后缀部为“0”，在为N×N时，后缀部为“1”。
另一方面，在帧间CU的情况下，仅定义了前缀部。即，在为2N×2N、2N×N、以及N×2N时，分别为“1”、“01”、以及“00”。
在图9所示的8×8CU1012A_2中，与图8所示的8×8CU1012A_1同样，在大尺寸的CU中分配有比对帧内CU所分配的码更短的码，而且分配给帧内CU的码比分配给帧间CU的码更短。
通过如图9所示来构成8×8CU1012A_2，从而在帧间预测难以命中的区域中，CU预测模式解码部1011针对小的尺寸的帧内CU解码短的码。由此，起到编码效率得以提高这样的效果。
此外，在上述构成中，优选地，对标志设定与在前缀部以及后缀部中所设定的上下文不同的独自的上下文。另外，优选地，对于前缀部，在小尺寸的CU以及大尺寸的CU之间，设定同一上下文。
例如，在上下文存储部1013中，存储将8×8CU prefix1013A与非8×8CUprefix1013B进行综合而得到的一个上下文即可。
在上述构成中，设计为：在小尺寸的CU的前缀部与大尺寸的CU的前缀部之间，各bin为相同的含义。故而，在两者之间，通过设定同一上下文，能使bin的编码效率得以提高。
[作用/效果]
本发明还能按如下方式来表现。即，本发明的一形态所涉及的图像解码装置是按每个编码单位从图像编码数据解码用于还原图像的信息来还原图像的图像解码装置，具备：解码单元，其针对对预测单位的尺寸与应用于编码单位的预测方式的组合所分配的码，对于对给定尺寸以下的尺寸的编码单位应用画面内预测的预测方式的组合，解码比对该组合以外的组合所分配的码更短的码。
由此，能在给定尺寸以下的尺寸的编码单位，对发生概率高的组合分配短的码，起到编码效率得以提高这样的效果。
[1-4]根据邻近的预测参数来变更bin串的解释的构成
CU预测模式解码部1011可以构成为：参考分配到相邻区域的预测参数，来变更bin串的解释。
[构成例1-4-1]
为此，可以如图10所示来构成二值化信息存储部1012中所存储的二值化信息。
图10是表示二值化信息存储部1012中所存储的二值化信息的又一构成例的图。
在图10所示的二值化信息对应关系表BT20中，构成为：通过将图7所示的8×8CU1012A置换成帧间CU的定义(1012D)以及帧内CU的定义(1012C)，从而bin串的解释对应于相邻区域的预测参数的值而变化。
具体而言，在对应关系表BT20中，构成为：在关于小尺寸的CU的定义中，在相邻CU的至少一者为帧间CU的情况下的二值化信息的定义即帧间CU1012D、与相邻CU均为帧内CU的情况下的二值化信息的定义即帧内CU1012C之间，bin串的解释变化。
在帧间CU1012D(相邻CU的至少一者为帧间CU的情况下)中，在前缀部的bin串为“000”时，解释为对象CU是帧内CU(2N×2N或N×N)，在前缀部的bin串为“1”时，解释为对象CU是帧间CU的2N×2N。
另一方面，在帧内CU1012C(相邻CU均是帧内CU的情况下)中，在前缀部的bin串为“1”时，解释为对象CU为帧内CU(2N×2N或N×N)，在前缀部的bin串为“000”时，解释为对象CU为帧间CU的2N×2N。
在邻近的CU是帧内CU的情况下，基于空间相关性，对象CU也是帧内CU的可能性高。由此，在邻近的CU是帧内CU的情况下，通过对帧内CU分配短的码，能削减码量。
另外，在小尺寸的CU中，帧内CU的发生频度变高。故而，在小的尺寸的CU中，通过对帧内CU分配短的码，能谋求编码效率的进一步的提高。
与此相对，在不是小尺寸的CU的CU(例如，大尺寸的CU)中，如图10所示，可以不是“在相邻CU均为帧内的情况下，对帧内CU分配短的码”的构成。关于在哪种尺寸的CU中应用“在相邻CU均为帧内的情况下，对帧内CU分配短的码”的构成，其能根据帧内CU的发生频度来决定。一般而言，越是小的尺寸的CU，帧内CU的选择率高的趋势越明显，因此优选构成为：包括最小尺寸的CU在内，在给定的大小(例如16×16)以下的尺寸的CU中对帧内CU分配短的码。根据上述构成，在邻近的CU是帧内CU的情况下，CU预测模式解码部1011参考帧内CU1012C，对帧内CU分配短的码。另一方面，在邻近的CU之中含有帧间CU的情况下，CU预测模式解码部1011参考帧间CU1012D来对帧间CU分配短的码。其结果，能削减码量，谋求编码效率的提高。
[构成例1-4-2]
另外，可以如图11所示构成二值化信息存储部1012中所存储的二值化信息。
图11是表示二值化信息存储部1012中所存储的二值化信息的又一构成例的图。
在图11所示的二值化信息对应关系表BT30中，构成为：通过将图7所示的非8×8CU1012B置换成『上CU的尺寸为对象CU以上』的定义(1012B_1)以及『上CU的尺寸小于对象CU』的定义(1012B_2)，从而bin串的解释对应于相邻区域的预测参数的值而变化。
即，在对应关系表BT30中，构成为：在关于大尺寸的CU的定义中，在上相邻CU为对象CU以上的尺寸的情况、与上相邻CU小于对象尺寸的情况之间，bin串的解释变化。
在『上CU的尺寸为对象CU以上』1012B_1(上相邻CU为对象CU以上的尺寸的情况)下，在前缀部的bin串为“001”时，解释为对象CU为纵长分区，在前缀部的bin串为“01”时，解释为对象CU为横长分区。
另一方面，在『上CU的尺寸小于对象CU』1012B_2(上相邻CU为比对象CU小的尺寸的情况)下，在前缀部的bin串为“01”时，解释为对象CU为纵长分区，在前缀部的bin串为“001”时，解释为对象CU为横长分区。
在相邻CU的尺寸小于对象CU的情况下，在该相邻CU内存在边沿的可能性高。
因此，在这样的情况下，对象CU在同相当于与相邻CU的边界的边垂直的方向上被分区分割的可能性高。故而，在上相邻CU为比对象CU小的尺寸的情况下，纵长分区被选择的可能性高。
由此，在上相邻CU为比对象CU小的尺寸的情况下，通过对被选择的可能性高的纵长分区分配短的码，能使编码效率得以提高。
根据上述构成，在上相邻CU为比对象CU小的尺寸的情况下，CU预测模式解码部1011参考『上CU的尺寸小于对象CU』1012B_2，来对纵长分区分配短的码。
另一方面，在上相邻CU为对象CU以上的尺寸的情况下，CU预测模式解码部1011参考『上CU的尺寸为对象CU以上』1012B_1，对横长分区分配短的码。其结果，能削减码量，谋求编码效率的提高。
若进一步讲，优选不依赖于基于相邻CU的前缀部的解释，而使后缀部的解释相同。在对应关系表BT30中，不依赖于前缀部是纵长分区还是横长分区，同一后缀部的解释相同。即，在对应关系表BT30的例子中，可以不根据前缀部是纵长分区还是横长分区而变更后缀部的解码处理。
即，在对应关系表BT30中，构成为：PU分割类型(分割数)不依赖于进行参考的参数。
由于分割数不依赖于进行参考的参数的值，因此即使在参考参数中产生了差错的情况下，对以后的可变长解码处理的影响也少。具体而言，即使CU的尺寸产生错误，表示前缀部是纵长和横长哪一者的分区的解释错误的情况下，也能包括后缀部在内，持续后续语法的解码。
即，由于能不依赖于相邻CU的尺寸而进行后缀部的解码处理，因此将不受相邻参数的差错影响，抗错性得以提高。
此外，在左相邻CU为比对象CU小的尺寸的情况下，横长分区被选择的可能性高。由此，在左相邻CU为小于对象CU的尺寸的情况下，可以对易于被选择的横长分区分配短的码。由此能得到与上述同样的效果。
另外，优选对最小尺寸的CU不进行基于相邻CU的尺寸的解释的切换处理。在对象CU为最小尺寸的CU的情况下，对象CU始终为相邻CU以下的尺寸，因此通过省略解释的切换处理，能简化解码处理。
此外，上相邻CU的尺寸小于对象CU的尺寸还可谓是，在对象CU的上边(除顶点)，存在处于相对于该上边而垂直的位置关系的CU边界。
由此，在对象CU的上边(除顶点)存在处于相对于该上边而垂直的位置关系的CU边界或PU边界的情况下，可以对纵长分区分配短的码。
另外，尽管以上说明了与对象CU相邻的相邻CU，但不限于此。关于以空间相关性被认可的程度而位于邻近的CU，也可谓同样的。
若更一般化地来说，以上的构成如下。即，以上的构成中，针对多个二进制串、与多个对应的分割数彼此相等的pred_type，根据相邻的预测参数来决定pred_type的发生可能性的优先顺位，并将优先顺位越高的pred_type与越短的二进制串建立关联。
此外，上述说明中的上侧相邻CU的尺寸小于对象CU的尺寸这样的条件还能如下地表现。
(1)将对象CU内的左上像素设为(xc，yc)。
(2)作为上侧相邻CU，导出包含(xc，yc-1)的CU，并将该上侧相邻CU的左上像素设为(xu，yu)。
(3)若”log2CUSize[xu][yu]＜log2CUSize[xc][yc]“成立，则判定为上侧相邻CU的尺寸小于对象CU的尺寸。在此，log2CUSize[x][y]是将以(x，y)的像素为左上像素的CU的尺寸的2作为底的对数值。
在此，优选地，如上所述仅将位于对象CU的左上像素之上的CU的尺寸与对象CU的尺寸进行比较来判定。
尽管以上针对上侧相邻CU的情况进行了记载，但在判定左侧相邻CU的尺寸的情况下，也优选仅将位于对象CU的左上像素之左的CU的尺寸与对象CU的尺寸进行比较来判定。
此外，尽管在上述判定过程的(3)中列举了对CU的尺寸的值直接进行比较的例子，但也可以对与CU的尺寸建立了关联的别的值进行比较。例如，上述(3)的条件可以使用与将树块(LCU)分割几次相对应的CU分割深度(cuDepth[x][y])的值，根据”cuDepth[xu][yu]＞cuDepth[xc][yc]”这样的式子来判定。
[作用/效果]
本发明还能如下地表现。即，本发明的一形态所涉及的图像解码装置是按照将编码单位分割成1以上的数而得到的预测单位的每一个生成预测图像来还原图像的图像解码装置，具备：变更单元，其根据对作为解码的对象的上述预测单位即对象预测单位的邻近的解码完毕预测单位所分配的解码完毕参数，来变更与将作为解码对象的上述编码单位即对象编码单位向上述预测单位进行分割的类型即分割类型和预测方式的多个组建立了对应的多个码。
由此，能根据邻近的解码完毕预测单位所分配的解码完毕参数，对发生概率更高的预测方式以及分割类型的组，分配更短的码，由此能使编码效率得以提高。
(2)PU信息解码部的细节
接下来，使用图12来说明PU信息解码部12以及解码模块10的构成例。图12是针对在运动图像解码装置1中用于解码运动信息的构成，即PU信息解码部12以及解码模块10的构成进行例示的功能框图。
以下，按照PU信息解码部12以及解码模块10的顺序来说明各部的构成。
(PU信息解码部)
如图12所示，PU信息解码部12具备：运动补偿参数导出部(双预测限制单元、候选决定单元、估计单元)121、合并候选优先顺位信息存储部122、以及参考帧设定信息存储部123。
运动补偿参数导出部121从编码数据导出对象CU中所含的各PU的运动补偿参数。
运动补偿参数导出部121具体而言，通过以下的过程来导出运动补偿参数。在此，在对象CU是跳过CU的情况下，可以取代合并索引而对跳过索引进行解码，基于其值来导出跳过CU中的预测参数。
首先，运动补偿参数导出部121判定跳过标志。其结果，若对象CU是非跳过CU，则使用运动信息解码部1021来解码合并标志。
在此，在对象CU是跳过CU或合并PU的情况下，运动补偿参数导出部121对合并索引进行解码，并基于解码出的合并索引的值来导出预测参数(运动矢量、参考图像索引、帧间预测标志)。此外，运动补偿参数导出部121遵照合并候选优先顺位信息存储部122中所存储的合并候选信息，来决定以合并索引所指定的合并候选。
另一方面，在对象CU既不是跳过CU也不是合并PU的情况下，运动补偿参数导出部121对预测参数(帧间预测标志、参考图像索引、运动矢量差分、估计运动矢量索引)进行解码。
进而，运动补偿参数导出部121不仅基于估计运动矢量索引的值来导出估计运动矢量，还基于运动矢量差分和估计运动矢量来导出运动矢量。
在合并候选优先顺位信息存储部122中存储有合并候选信息，该合并候选信息包含：表示将哪一个区域作为合并候选的信息、以及表示合并候选的优先顺位的信息。
在参考帧设定信息存储部123中存储有参考帧设定信息，该参考帧设定信息用于决定使用参考一个参考图像的单预测、以及参考两个参考图像的双预测的哪一者的画面间预测的预测方式。
(解码模块)
如图12所示，解码模块10具备运动信息解码部1021。运动信息解码部1021根据从运动补偿参数导出部121提供的编码数据以及语法类别，来从编码数据中所含的二进制进行语法值的解码。由运动信息解码部1021解码的运动补偿参数是合并标志(merge_flag)、合并索引(merge_idx)、估计运动矢量索引(mvp_idx)、参考图像索引(ref_idx)、帧间预测标志(inter_pred_flag)、运动矢量差分(mvd)。
[用于在合并PU中导出预测参数的构成例]
[2-1]合并候选的位置以及优先顺位的例
使用图13～图15来说明合并PU中的预测参数导出。
运动补偿参数导出部121可以构成为：在PU分割类型为非对称的情况下，以与在PU分割类型为对称的情况下不同的方法来决定合并候选的优先顺位。
首先，说明非对称分区的特性。在非对称分区中，在小的一方的分区中存在长边方向的边沿的可能性高。另外，存在有边沿的区域被导出了准确的运动矢量的可能性高。
使用图13，具体说明如下。图13示出了非对称分区被选择的CU。如图13所示，在对象CU30中，区域内存在具有倾斜的边沿E1，选择了2N×nU的PU分割类型。
在对象CU中包含PU31和PU32。在此，将对象PU设为PU31。具有倾斜的边沿E1在对象PU31的区域内横穿。
在图13所示的例子中，在对象PU31的短边侧附近的区域则0，存在与位于对象PU31的区域内的边沿相同的边沿的可能性高。因此，分配有与对象PU31相同的运动矢量(mv)的可能性高。
因此，在存在边沿的可能性高的区域，即小的分区中，参考分配给短边侧的区域的运动矢量，在大的分区中，参考分配给小的分区的周边的区域的运动矢量，由此能提高运动矢量的精度。
为此，将在合并候选优先顺位信息存储部122中所存储的合并候选优先顺位信息的构成设为包含对称PU分割类型122A以及非对称PU分割类型122B的2个合并候选优先顺位信息。
使用图14，关于对称PU分割类型122A的合并候选优先顺位信息，说明如下。
图14示出了对称分区被选择的CU。如图14所示，在对称CU中，选择了2N×N的PU分割类型。另外，在同图中，以“CurrPU”来示出了对象PU。在对象PU中，作为合并候选，按照左(L)、上(U)、右上(UR)、左下(BL)、左上(UL)的顺序分配了优先顺位。
另外，使用图15，关于非对称PU分割类型122B的合并候选优先顺位信息，说明如下。图15的(a)以及(b)分别示出了2N×nU的小的一方的分区、以及2N×nU的大的一方的分区中的优先顺位的设定。另外，图15的(c)以及(d)分别示出了2N×nD的大的一方的分区、以及2N×nD的小的一方的分区中的优先顺位的设定。
如图15的(a)以及(d)所示，在非对称分区内的小的一方的分区中，对短边侧的合并候选分配高的优先顺位。
具体而言，在2N×nU以及2N×nD的小的一方的PU中，分别如(a)以及(d)所示，按照与短边相邻(L)、与顶点相邻(UR，BL，UL)、与长边相邻(U)的顺序分配了优先顺位。
另外，如图15的(b)以及(c)所示，在非对称分区内的大的一方的分区中，对接近小的一方的分区的位置的合并候选分配高的优先顺位。
具体而言，在2N×nU的大的一方的PU中，如图15的(b)所示，按照小的一方的PU内的合并候选(U)、离小的一方的PU近的合并候选(UR，UL)、除此以外的合并候选(L，BL)的顺序分配了优先级。
另外，在2N×nD的大的一方的PU中，如图15的(c)所示，按照离小的一方的PU近的合并候选(L，BL)、除此以外的合并候选(U，BL，UL)的顺序分配了优先顺位。
此外，对优先顺位高的候选，分配小的合并索引，并对小的合并索引分配短的码。另外，可以设为仅能选择优先顺位高的候选的合并候选。
此外，上述的说明针对合并PU中的预测参数导出进行了记载，但也可以将同样的导出方法用于在帧间CU内的非合并PU中用于运动矢量的还原的估计运动矢量的导出。一般而言，在非对称PU内的各PU中，在导出与相邻区域对应的运动参数的估计值或预测值时，能适应上述方式。
[作用/效果]
本发明还能按以下方式表现。即，本发明的一形态所涉及的图像解码装置是按照将编码单位分割成1以上的数而得到的预测单位的每一个通过画面间预测的预测方式生成预测图像来还原图像的图像解码装置，向上述预测单位分割的分割类型包含将编码单位分割成多个不同的大小的预测单位的非对称分割或将编码单位分割成多个相同的大小的预测单位的对称分割，所述图像解码装置具备：估计单元，其在上述分割类型为非对称分割的情况下，通过与在上述分割类型为对称分割的情况下不同的估计方法，来进行画面间预测的预测参数的估计。
由此，在分割类型为非对称分割的情况下、与在上述分割类型为对称分割的情况下变更不同的估计方法，从而起到能通过与分割类型相应的优选的估计方法来进行画面间预测的预测参数的估计这样的效果。
[2-2]基于CU尺寸与跳过/合并的组合的合并候选的变更
运动补偿参数导出部121可以构成为：根据CU尺寸与该CU是否为进行跳过/合并的CU这一情形的组合来变更合并候选。为此，能使合并候选优先顺位信息存储部122中所存储的合并候选信息构成为包含小PU尺寸122C以及大PU尺寸122D的2个定义信息。
小PU尺寸122C的合并候选信息是针对应用于小尺寸的PU的合并候选数进行定义。另外，大PU尺寸122D的合并信息是针对应用于大尺寸的PU的合并候选数进行定义。
作为一例，在合并候选信息中，按照对小PU尺寸122C所定义的合并候选数(小尺寸的PU的合并候选数)较之于对大PU尺寸122D所定义的合并候选数(大尺寸的PU的合并候选数)更少的方式来进行定义。
在选择小尺寸的PU的区域中，运动复杂的情况多。故而，分配给邻近的PU的运动矢量的相关有变小的趋势。
故而，即使增加合并候选，也有估计精度的提高较之于在大尺寸的PU的情况下更少的情况。
由此，更优选通过减少合并候选数来削减边侧信息的码量。
上述例中，在合并候选信息中，由于使运动复杂的情况多的小尺寸的PU的合并候选数比大尺寸的PU的合并候选数少，因此能削减边侧信息的码量。
关于小尺寸PU与大尺寸PU的组合的例子，列举如下。
·小尺寸PU是至少一边小于给定的阈值(例如8)的PU，大尺寸PU是除此以外的PU。例如，16×4、4×16、8×4、4×8、4×4的尺寸的PU是小尺寸PU，8×8、16×16的尺寸的PU是大尺寸PU。
·小尺寸PU是面积小于给定的阈值(例如64)的PU，大尺寸PU是除此以外的PU。例如，8×4、4×8、4×4的尺寸的PU是小尺寸PU，8×8、16×4、4×16、16×16等的尺寸的PU是大尺寸PU。
·小尺寸PU是给定的尺寸(例如8×8)以下的CU中所含的PU，大尺寸PU是比其大的CU中所含的PU。例如，8×8CU中所含的8×8、8×4、4×8、4×4的尺寸的PU是小尺寸PU。
·小尺寸PU是在对适用非对称分割的CU中的小的一方的PU，大尺寸PU是在适用非对称分割的CU中的大的一方的PU。
另外，作为其他例，在合并候选信息中，优选使小的PU中基于时间预测的合并候选的数量比大的PU中基于时间预测的合并候选的数量少。在小的PU中，可以定义为：在合并候选信息中不含基于时间预测的合并候选。
另外，在小尺寸的PU被选择那样的运动复杂的区域中，用于时间预测的collocatedPU与对象PU的相关小，因此时间预测被选择的可能性低。由此，优选减少基于时间预测的合并候选的数量或不含基于时间预测的合并候选。
[作用/效果]
本发明还能按以下方式表现。即，本发明的一形态所涉及的图像解码装置是按照将编码单位分割成1以上的数而得到的预测单位的每一个，通过画面间预测的预测方式生成预测图像来还原图像的图像解码装置，具备：候选决定单元，其在成为解码对象的上述预测单位即对象预测单位是根据分配给该对象预测单位的邻近的区域的预测参数来进行该对象预测单位的预测参数的估计的预测单位的情况下，对应于该对象预测单位的尺寸来决定用于估计的区域的候选。
由此，由于削减候选数因此能削减边侧信息，其结果，能使编码效率得以提高。
[2-3]参考帧数的决定
既可以将运动补偿参数导出部121按以下的[2-3-1]～[2-3-4]所示来构成，也可以由此来决定在帧间预测中应用单预测以及双预测的哪一者的预测方式。
[2-3-1]小尺寸PU中的双预测限制
运动补偿参数导出部121可以参考参考帧设定信息存储部123中所存储的参考帧设定信息，来决定在帧间预测中应用单预测以及双预测的哪一种预测方式。
运动补偿参数导出部121可以构成为在小尺寸的PU中限制双预测。为此，将参考帧设定信息设为包含小PU尺寸123A以及大PU尺寸123B的2个定义信息的构成。
大PU尺寸123B被定义为在大的尺寸的PU中可选择的预测方式。在大PU尺寸123B中，可以按照在大的尺寸的PU中双预测以及单预测任一者的预测方式均无限制而能选择的方式来定义。
小PU尺寸123A被定义为在小的尺寸的PU中可选择的预测方式。在小PU尺寸123A中，按照在小的尺寸的PU中限制双预测的方式来定义。
作为小PU尺寸123A的定义的一例，定义如下意思：在帧间CU中所含的不应用合并的PU、也即尺寸小于16×16的PU中，省略帧间预测标志的解码来应用单预测。
另外，作为小PU尺寸123A的定义的其他例，定义如下意思：在帧间CU中所含的应用了合并的PU、也即尺寸小于16×16的PU中，应用单预测。
另外，作为小PU尺寸123A的定义的另一例，在跳过CU中所含的各PU中应用单预测。
另外，作为小PU尺寸123A的定义的又一例，在帧间CU中所含的不应用合并的PU、也即尺寸小于16×16的PU中，不应用加权预测。即，省略与加权预测相关的信息。
以下，关于基于参考帧设定信息来限制双预测的情况，使用语法表以及框图来进一步说明编码数据的构成以及运动图像解码装置的构成的细节。
(双预测限制的种类)
PU的种类之中，存在：对象CU为跳过的PU(跳过PU)、对象PU适应合并的PU(合并PU)、对象PU既不是跳过也不是合并的PU(基本帧间PU或非运动信息省略PU)。在基本帧间PU中，从编码数据解码出表示是双预测还是单预测的帧间预测标志，并导出运动补偿参数。与此相对，在跳过PU以及合并PU中，不解码帧间预测标志而导出运动补偿参数。在这些PU中，基于跳过索引或合并索引来从跳过候选或合并候选中选择用于运动补偿的候选，并基于该选择候选中的运动补偿参数来导出对象PU中的运动补偿参数。通常，跳过PU的运动补偿参数的导出方法与合并PU同样。此外，在使用序列参数集的标志等来限制合并的利用的情况下，除了不解码运动矢量残差(mvd)这点外，可使用与基本帧间PU相同的方法。在此情况下，关于跳过PU的双预测限制的动作，进行与基本帧间PU相同的动作。
图35的(a)示出各PU中的双预测限制的例子。作为情况，有仅对基本帧间PU进行双预测限制的情况、以及对应用运动补偿预测的全部PU进行双预测限制的情况。在仅对基本帧间PU进行双预测限制的情况下，在跳过PU以及合并PU中不进行双预测限制，而仅对基本帧间PU进行双预测限制。在仅对基本帧间PU进行双预测限制的情况下，以及在对全部PU进行双预测限制的情况下，均能实现运动图像编码装置以及运动图像解码装置中的处理量的降低和电路规模的削减。
图35的(b)示出各PU中的双预测限制的方法。在跳过PU以及合并PU的情况下，通过导出表示在基于跳过候选或合并候选的运动补偿参数中不进行双预测的信息，来进行双预测限制。具体而言，在运动补偿参数导出部中如后所述，通过将运动补偿参数中所含的帧间预测标志的值从双预测变换成单预测来进行双预测限制。在对基本帧间PU进行双预测限制的情况下，根据PU尺寸信息来判定双预测限制的应用有无。在不应用双预测限制的情况下进行帧间预测标志的解码。另外，在应用双预测限制的情况下不仅省略帧间预测标志的解码，还进行将帧间预测标志的值估计为单预测的处理。
在此，PU尺寸信息是用于判定是否为小的PU的信息，能使用对象CU的尺寸和PU分割类型、或者、对象CU的尺寸和PU分割数、或者、PU的宽度或者高度、或者PU的面积等。
跳过PU以及合并PU、与基本帧间PU，不仅是运动补偿参数的解码方法不同，而且被使用的场景也不同。跳过PU和合并PU通过限制可选择的运动补偿参数来进行码量的降低。在这样的PU中，主要被用于运动为相同的区域。在运动为相同的情况下，基于2个预测图像接近的双预测的除噪效果大的情况多。故而，较之于基本帧间PU的双预测限制，在跳过PU以及合并PU中，与基本帧间PU相比，因双预测限制而编码效率下降的情况容易发生。故而，如上所述仅在基本帧间PU中使用双预测的限制、或如后所述，变更在基本帧间PU、以及跳过PU和合并PU中限制的PU尺寸的方法也优选。另外，基本帧间PU中的双预测限制从编码数据的结构的观点来看，存在因不编码帧间预测标志所带来的码量降低效果，因此更加有效。
(PU的运动补偿参数)
PU的运动补偿参数以预测列表利用标志predFlagL0以及predFlagL1、参考索引编号refIdxL0以及refIdxL1和运动矢量mvL0以及mvL1来表现。预测列表利用标志predFlagL0、predFlagL1表示是否使用参考预测列表。以下，以1来表示利用的情况，以0来表示不利用的情况。在使用2个参考预测列表的情况下，predFlagL0＝1、predFlagL1＝1的情况对应于双预测，使用1个参考预测列表的情况，即(predFlagL0，predFlagL1)＝(1，0)或者(predFlagL0，predFlagL1)＝(0，1)的情况对应于单预测。此外，是否为双预测，还能以后述的帧间预测标志来表现，在从编码数据解码关于参考图片的数量是1(单预测)还是2(双预测)的信息的情况下，对其使用。
在预测列表利用标志predFlagL0为1的情况下，通过参考索引编号refIdxL0来指定L0列表的参考图片，通过运动矢量mvL0来指定针对所指定的参考图片的运动矢量。
在预测列表利用标志predFlagL1为1的情况下，通过参考索引编号refIdxL1来指定L1列表的参考图片，通过运动矢量mvL1来指定针对所指定的参考图片的运动矢量。
此外，在不使用列表X的情况下(X为0或者1)，即，预测列表利用标志predFlagLX为0的情况下，基本上将参考索引编号refIdxLX的值设为-1，将运动矢量mvL1的值设为(0，0)。
(帧间预测标志的细节)
在此，说明帧间预测标志的细节。帧间预测标志inter_pred_flag除了表示是单预测还是双预测的2值标志的情况之外，还存在包含从多个参考列表之中选择在单预测中参考的参考图像的列表(参考列表)的信息在内的情况。例如，作为包含对2种参考列表(L0列表和L1列表)的哪一者进行选择的标志在内的3值标志，可以定义帧间预测标志。以下，说明各情况。
在解码模块10中，从切片报头等中解码用于选择是使用L0、L1列表还是使用结合列表(LC列表)来作为参考帧列表的结合列表标志ref_pic_list_combination_flag。关于单预测的情况下的参考帧决定方法，根据结合列表标志的值而不同。在结合列表标志为1的情况下，使用结合列表LC作为用于单预测的参考帧的指定的参考列表，在各PU中不需要用于指定参考列表的标志。故而帧间预测标志inter_pred_flag可以是2值标志。在结合列表标志为0的情况下，在各PU中需要从L0列表或者L1列表中选择参考列表，故而帧间预测标志inter_pred_flag成为3值标志。
图32的(a)示出2值标志的情况下的帧间预测标志的含义，图32的(b)示出3值标志的情况下的帧间预测标志的含义。
(双预测限制中的语法表例)
图31是现有技术中的PU的语法表的例子，示出在不进行双预测限制的情况下的编码数据的构成。图33是PU的语法表的例子，(a)以及(b)示出在各自进行双预测限制的情况下的编码数据的构成的尤其是帧间预测标志inter_pred_flag的部分。图33的(a)是帧间预测标志始终为2值标志的情况下的语法表的例子。在此情况下，区分通过inter_pred_flag来表示单预测的Pred_LC、以及表示双预测的Pred_Bi这2者。在切片为B切片且双预测有效的情况(DisableBiPred＝false)下，为了区分单预测与双预测，编码数据包含帧间预测标志inter_pred_flag，在双预测并非有效的情况(DisableBiPred＝true)下，始终是单预测，因此不包含帧间预测标志inter_pred_flag。
图33的(b)是帧间预测标志为3值标志的情况下的语法表的例子。在利用结合列表的情况下通过inter_pred_flag来区分对使用1个LC列表的参考帧的单预测进行表示的Pred_LC、与表示双预测的Pred_Bi这2者，但在除此以外的情况下，区分表示L1列表的单预测的Pred_L1、表示L1列表的单预测的Pred_L2、以及表示双预测的Pred_Bi这3者。在切片为B切片且双预测有效的情况(DisableBiPred＝false)下，编码数据为了对单预测和双预测进行指定而包含第1帧间预测标志inter_pred_flag0，在双预测非有效的情况下，只限于不使用结合列表的情况，编码数据为了对用于指定参考列表的单预测以及双预测进行指定而包含第2帧间预测标志inter_pred_flag1。不使用结合列表的情况具体如图33的(a)所示，通过！UsePredRefLC&&！NoBackPredFlag来判定。即，通过指定是否使用结合列表的标志UsePredRefLC(UsePredRefLC的值为真的情况下表示使用结合列表)、以及表示是否使用后方向预测的标志NoBackPredFlag(NoBackPredFlag的值为真的情况下表示不使用后方向预测)来进行指定。在利用结合列表的情况下，不进行列表选择而可知是结合列表。在不使用后方向预测的情况下禁止Pred_L1，因此在不编码第2帧间预测标志inter_pred_flag1的情况下也可知使用的列表是结合列表(Pred_LC)还是L0列表Pred_L0。此外，在取代NoBackPredFlag而不使用L1列表这一含义下还能使用NoL1PredFlag这样的表现。
可以将是否进行双预测限制、或者在进行双预测限制的情况下的PU尺寸的判定中使用的阈值包含在编码数据中。图34是与双预测限制相关的语法表的例子。图34的(a)示出包含对序列参数集是否进行双预测限制进行限制的标志disable_bipred_in_small_PU的情况。如图所示，双预测限制的标志可以与禁止小尺寸的PU(在此4x4尺寸的PU)的标志disable_inter_4x4不同而独立地进行编码。此外，禁止小尺寸的PU的标志的目的也与双预测限制相同，是降低在生成PU预测图像的情况中的最坏情况的处理量，因此将禁止小尺寸的PU的标志以及禁止小尺寸的双预测的标志均用作公共标志。图34的(b)是设置预测制约标志use_restricted_prediction来作为公共的标志的例子。在此情况下，在预测制约标志为true的情况下，同时禁止小尺寸的PU的应用和小尺寸PU中的双预测。图34的(c)是将表示禁止双预测的PU的尺寸的disable_bipred_size包含在编码数据中的例子。作为disable_bipred_size，在双预测限制的判定方法中能使用后述的以阈值TH的2为底的对数的值等。此外，这些标志既可以以序列参数集以外的参数集来进行编码，也可以以切片报头来进行编码。
以上说明了CABAC的情况下的语法，接下来说明CAVLC的情况下的语法。如上所述，图33是CABAC的情况下的语法表。与此相对，图36是包含CAVLC的情况在内的语法表。图36中的combined_inter_pred_ref_idx是将帧间预测标志inter_pred_flag与参考图片索引(ref_idx_10ref_idx_lc，ref_idx_11)结合后的标志。如图36所示，在编码模式信息(entropy_coding_mode_flag)为0，即CAVLC的情况下，不是对帧间预测标志inter_pred_flag与参考图片索引各个单独编码、解码，而是对作为结合标志的combined_inter_pred_ref_idx进行编码。因此，编码数据包含combined_inter_pred_ref_idx。
进而，在能使用双预测的情况(表示双预测限制的标志DisableBipred为false的情况)下，且combined_inter_pred_ref_idx为给定的值MaxPredRef(后述)，则编码数据还包含帧间预测标志inter_pred_flag。在PU尺寸为小尺寸的情况下DisableBipred设为true。图36的DisableBipred的导出方法是一例，在此情况下，在4x4、4x8、8x4的PU尺寸的情况下成为DisableBipred＝true。
(结合帧间预测参考索引)
图37是用于说明结合帧间预测参考索引combined_inter_pred_ref_idx的图。图37的(a)、(b)、(c)是用于说明combined_inter_pred_ref_idx的值的例子的图。图37的(d)是表示combined_inter_pred_ref_idx的最大值MaxPredRef的导出方法的表TBL37以及伪代码CODE37。combined_inter_pred_ref_idx是为了以短的比特来对发生概率高的帧间预测标志inter_pred_flag与参考图片索引的组合进行编码而使用的。combined_inter_pred_ref_idx是为了选择由在要素中具有发生概率高的参考图片的组合的参考列表LC(LC的C是combined的简称)进行管理的参考图片而使用的索引。
在图37的(a)、(c)的例子中，combined_inter_pred_ref_idx的值的范围为0至8(＝MaxPredRef)。如图37的(c)所示，对易发生的组合(结合参考图片集合)分配0至7。在帧间预测标志inter_pred_flag与参考图片索引的组合为除此以外的情况下，分配8(＝MaxPredRef)。关于图37的(d)所示的最大值MaxPredRef的导出方法，在后说明。
在CAVLC中，combined_inter_pred_ref_idx通过称为变换可变表EncTable的表而被变换成代码编号codeNum，代码编号codeNum通过以MaxPredRef为最大值的truncatedunary code而被编码。即，对codeNum＝EncTable[combined_inter_pred_ref_idx]进行编码。在truncated unary code中，对越小的值以越短的比特数进行编码。另外，通过明显地使用最大值，能无多余的比特地进行编码。此外，基于最大值cMax的情况下的truncatedunary code所得到的代码编号(codeNum)的解码能通过以下面的伪代码所规定的处理来实现。在此，read_bits(1)是从编码数据中读出lbit的二进制并返回其值的函数。
leadingZeroBits＝-1
for(b＝0；！b&&leadingZeroBits＜cMax；leadingZeroBits++)
b＝read_bits(1)
codeNum＝leadingZeroBits
图38的(a)以及(b)分别示出变换可变表EncTable和逆变换可变表DecTable的例子。如图38的(a)的例子所示，通过使用变换可变表EncTable，从而在结合参考图片集合之中，进而对易发生的组合分配小的值，以短的码长进行编码。变换可变表以及逆变换可变表在每对1个combined_inter_pred_ref_idx进行编码、解码时，按照使已产生的值成为短的代码编号的方式来进行更新。由此较之于使用固定的可变表的情况，能以更短的码长来进行编码。图38的(b)表示逆变换可变表DecTable。解码出的codeNum由DecTable而被修正为combined_inter_pred_ref_id。即，combined_inter_pred_ref_idx＝DecTable[combined_inter_pred_ref_idx]。解码动作的细节在帧间预测标志解码部1028的说明中后述。
(双预测限制中的运动补偿参数导出部)
图29示出运动补偿参数导出部121的构成。运动补偿参数导出部121由跳过运动补偿参数导出部1211、合并运动补偿参数导出部1212、基本运动补偿参数导出部1213、双预测限制PU判定部1218以及双单预测变换部1219构成。
在运动补偿参数导出部121中，特别进行在不解码帧间预测标志的情况下的PU即跳过PU与合并PU的双预测限制。
跳过运动补偿参数导出部1211在对象CU为跳过的情况下，导出跳过PU的运动补偿参数，并输入至双单预测变换部1219。双单预测变换部1219对应于双预测限定条件来变换运动补偿参数，并返回至跳过运动补偿参数导出部1211。双预测限定条件是用于决定是否进行双预测限制的条件，其判定如后所述，由双预测限制PU判定部1218执行。另外，关于双单预测变换部1219将双预测变换至单预测的方法(双预测变换方法)的细节将后述。跳过运动补偿参数导出部1211将对应于双预测限定条件而变换后的运动补偿参数作为对象PU的运动补偿参数而输出至外部。此外，在运动补偿参数基于跳过索引而确定的情况下，可以构成为：对跳过候选的各个，在双单预测变换部1219中进行变换，并以跳过索引来选择变换后的跳过候选。此外，在跳过PU的跳过候选导出与合并PU的合并候选导出的导出方法相同的情况下，将跳过运动补偿参数导出部1211置换成合并运动补偿参数导出部1212，并将合并候选置换成跳过候选来导出。
合并运动补偿参数导出部1212在对象PU为合并的情况下，导出对象PU的运动补偿参数，并输入至双单预测变换部1219。双单预测变换部1219对应于双预测限定条件来变换运动补偿参数，并返回到合并运动补偿参数导出部1212。合并运动补偿参数导出部1212将对应于双预测限定条件而变换后的运动补偿参数作为对象PU的运动补偿参数而输出至外部。此外，在运动补偿参数基于合并索引而确定的情况下，可以构成为：对合并候选的各个，在双单预测变换部1219中进行变换，并以合并索引来选择变换后的合并候选。
基本运动补偿参数导出部1213在对象PU既不是跳过也不是合并的情况下，导出对象PU的运动补偿参数，并输出至外部。
双预测限制PU判定部1218参考对象PU的PU尺寸信息，来判定在对象PU中是否进行不使用双预测的双预测限制。可以将是否进行跳过CU以及合并PU的双预测限制、以及是否进行基本帧间PU的双预测限制独立地进行判定。例如，既可以以相同的PU尺寸为阈值来对全部的PU进行双预测限制，也可以以跳过PU以及合并PU中更大的PU尺寸为阈值来进行双预测限制。另外，跳过PU以及合并PU可以不进行双预测限制，而仅对基本帧间PU进行双预测限制。
此外，在限制合并的利用那样的情况下，以跳过PU来解码帧间预测标志的情况下，还能独立地判定是否以跳过PU、合并PU、基本帧间PU各自来进行双预测限制。
另外，在上述的构成中说明了在双单预测变换部1219中基于双预测限制PU判定部1218来判定在跳过运动补偿参数导出部1211中所设定的双预测/单预测的设定，但并不限于该构成。例如，可以构成为：将双预测限制PU判定部1218的判定结果直接输入至跳过运动补偿参数导出部1211，来进行双预测/单预测的设定。
以下，关于上述运动补偿参数导出部121的各构成当中的合并运动补偿参数导出部1212、基本运动补偿参数导出部1213、双预测限制PU判定部1218、以及双单预测变换部1219的细节，依次进行说明。
(合并运动补偿参数导出部1212的细节)
图43是表示合并运动补偿参数导出部1212的构成的框图。此外，在用于跳过PU的情形的情况下，将以下的合并候选置换成跳过候选来使其动作。
合并运动补偿参数导出部1212由相邻合并候选导出部1212A、时间性合并候选导出部1212B、唯一候选导出部1212C、结合双预测合并候选导出部1212D、非缩放双预测合并候选导出部1212E、零矢量合并候选导出部1212F、合并候选导出控制部1212G、合并候选存放部1212H、合并候选选择部1212J构成。在图43中虽未图示，但对相邻合并候选导出部1212A以及时间性合并候选导出部1212B提供存放在帧存储器16中的已解码出的CU以及PU的解码参数，特别是PU单位的运动补偿参数。此外，以下，将相邻合并候选导出部1212A、时间性合并候选导出部1212B、唯一候选导出部1212C、结合双预测合并候选导出部1212D、非缩放双预测合并候选导出部1212E、零矢量合并候选导出部1212F合起来称为合并候选导出单元。
在合并运动补偿参数导出部1212中，合并候选导出控制部1212G控制各合并候选导出单元，导出给定的数MRG_MAX_NUM_CANDS的合并候选并存放至合并候选存放部1212H。在此，合并候选由PU的运动补偿参数即预测列表利用标志predFlagL0和predFlagL1、参考索引编号refIdxL0和refIdxL1、运动矢量mvL0和mvL1构成。在合并候选存放部1212H中将上述运动参数的组作为合并候选进行存放。进行存放的合并候选作为按存放顺序排序后的列表(合并候选列表)而被管理。合并候选选择部1212J选择以合并索引所指定的合并候选并作为预测信息PUI而输出。
结合双预测合并候选导出部1212D、非缩放双预测合并候选导出部1212E尤其导出双预测的合并候选，因此称为双预测合并候选导出单元。
图44是表示合并运动补偿参数导出部1212的动作的流程图。此外，关于各合并候选导出单元导出合并候选的手法，使用别的图进行后述。首先，在相邻合并候选导出部1212A中，使用相邻块的运动补偿参数来求取合并候选A0～合并候选B2(S101)。接下来，在时间性合并候选导出部1212B中，使用已解码出的参考图片的运动补偿参数来求取合并候选T(S102)。在S103中，在排除已导出的合并候选A0～合并候选T之中重复的合并候选后，存放至合并候选存放部1212H。在此，若不重复的合并候选数为MRG_MAX_NUM_CANDS个以上，则结束合并候选的导出(S104中的“是”)。否则(S104中的“否”)，转移至S105。若是B切片(S105中的“是”)，则转移至S106，否则(S105中的“否”)，跳过S107、S108而转移至S109(S105)。在进行双预测限制的情况，在此跳过双方向合并候选导出的情况相当的小尺寸PU的情况下，也跳过S107、S108的双预测运动候选导出的处理而转移至S109(S106)。在S107中，在结合双预测合并候选导出部1212D中，结合双预测合并候选被导出而存放至合并候选存放部1212H。在S108中，在非缩放双预测合并候选导出部1212E中，非缩放双预测合并候选被导出而存放至合并候选存放部1212H。在此若合并候选数为MRG_MAX_NUM_CANDS个以上(S109中的“是”)，则结束合并候选的导出。另外，虽未图示，但在S107以及S108的步骤中，在合并候选数到达了MRG_MAX_NUM_CANDS个的时间点，停止各处理，结束合并候选的导出。在S110中，在零矢量合并候选导出部1212F中，直至合并候选数到达MRG_MAX_NUM_CANDS个为止都导出零矢量的合并候选，并存放至合并候选存放部1212H。
在上述处理中，在小尺寸PU中省略双预测合并候选所涉及的合并候选导出处理，因此能降低与合并候选导出相应的处理量。双预测合并候选所涉及的结合双预测合并候选导出处理(S107)以及非缩放双预测合并候选导出处理(S108)是需要反复进行多个判定的沉重的处理，因此在花费于解码的时间(处理量)受限的小尺寸PU中能省略处理这一事实，对于需要以实际时间来进行解码处理的设备特别有效。此外，双预测的合并候选的省略不限于结合双预测合并候选导出部1212D、非缩放双预测合并候选导出部1212E的动作，还能应用于主要生成双预测的合并候选的其他的合并候选导出处理。
以下，说明各合并候选导出单元的细节。图45是用于说明相邻合并候选导出部1212A的动作的图。如图45所示，通过对包含A0、A1、B0、B1、B2的位置在内的相邻块的运动补偿参数进行复制，来导出各合并候选。导出的顺序设为A1、B1、B0、A0、B2。所导出的合并候选在双单预测变换部1219中变换后存放至合并候选存放部1212H。在双预测限制被执行的情况下，双单预测变换部1219将所输入的合并候选变换成单预测。在变换为单预测的合并候选变为多个的情况(例如L0预测与L1预测的2个)下，将该多个合并候选存放至合并候选存放部1212H。双单预测变换部1219的输出可以是多个合并候选这一情况在以后说明的其他的合并候选导出部中也同样。
此外，在相邻块为非available的情况(unavailable)或帧内块的情况下，不导出对应的合并候选。此外，非available的情况是指，位于画面外的情况、位于切片外的情况、从块的扫描顺序观察处于未解码的情况。A0～B1的位置将PU的左上座标作为(xP，yP)，PU的尺寸作为nPSW、nPSH，能表现如下。
A0：(xP-1，yP+nPSH)
A1：(xP-1，yP+nPSH-1)
B0：(xP+nPSH，yP-1)
B1：(xP+nPSH-1，yP-1)
B2：(xP-1，yP-1)
此外，在与A0、A1、B0、B1的位置对应的合并候选已被全部导出的情况下，不导出与B2的位置对应的合并候选。在PU的分割类型为2N×N或者N×2N的情况且PU的索引为1的情况下的合并候选的导出中，只在各合并候选的运动补偿参数与索引为0的PU的运动补偿参数不一致的情况下，导出对应的合并候选并存放至合并候选存放部1212H。进行块A、块B的运动补偿参数的一致判定的函数equalMotion(A，B)的动作能规定如下。
equalMotion(A，B)＝(predFlagL0A＝＝predFlagL0B)&&(predFlagL1A＝＝predFlagL1B)&&mvL0A[0]＝＝mvL0B[0]&&mvL0A[1]＝＝mvL0B[1]&&mvL1A[0]＝＝mvL1B[0]&&mvL1A[1]＝＝mvL1B[1])
在此，predFlagL0A、predFlagL1A在块A中分别使用L0、L1的参考图片的情况下为1，除此以外为0。mvL0[0]、mvL0[1]是L0的水平运动矢量、垂直运动矢量，mvL1[0]、mvL1[1]是L1的水平运动矢量、垂直运动矢量。此外，在块B的情况下，将上述A置换成B。
图46是说明时间性合并候选导出部1212B的动作的图。参考图46的(a)，时间性合并候选在当前图片为currPic的情况下，是通过将占据与当前图片内的对象PU的空间的位置大致相同的空间的位置的以参考索引编号refIdxL0所指定的参考图片PU、或者以参考图片索引编号所指定的参考图片的PU的运动补偿参数进行复制而被导出的。参考图46的(b)来说明参考索引编号refIdxL0、参考索引编号refIdxL1的导出方法。参考索引编号refIdxLX(在此X为0或者1或者C)使用对象PU的相邻PU、A、B、C的块的参考图片refIdxLXA、refIdxLXB、refIdxLXC并通过以下来求取。
(1)refIdxLXA＝refIdxLXB＝refIdxLXC的情况下，
refIdxLXA＝-1时，refIdxLX＝0；
除此以外时，refIdxLX＝refIdxLXA
(2)refIdxLXA＝refIdxLXB的情况下，
refIdxLXA＝-1时，refIdxLX＝refIdxLXC；
除此以外时，refIdxLX＝refIdxLXA
(3)refIdxLXB＝refIdxLXC的情况下，
refIdxLXB＝-1时，refIdxLX＝refIdxLXA
除此以外时，refIdxLX＝refIdxLXB
(4)refIdxLXA＝refidxLXC的情况下，
refIdxLXA＝-1时，refIdxLX＝refIdxLXB；
除此以外时，refIdxLX＝refIdxLXA
(5)refIdxLXA＝-1的情况下，
refidxLX＝min(refIdxLXB，refidxLXC)
(6)refIdxLXB＝-1的情况下，
refidxLX＝min(refidxLXA，refidxLXC)
(7)refidxLXC＝-1的情况下，
refIdxLX＝min(refIdxLXA，refIdxLXB)
(8)其他的情况下，
refIdxLX＝min(refIdxLXA，refIdxLXB，refIdxLXC)
在此，min是取最小值的函数。
此外，块A、B的座标如下。
A：(xP-1，yP+nPSH-1)
B：(xP+nPSW-1，yP-1)
块C的座标为下记C0、C1、C2的某一者。按C0至C2的顺序进行扫描，在与各位置对应的PU为available、处于帧内以外的情况下，将其位置的PU的refIdxLX设为refIdxLXC。
C0：(xP+nPSW-1，yP-1)
C1：(xP-1，yP+nPSH)
C2：(xP-1，yP-1)
若按如上所述来导出refIdxL0、refIdxL1，则使用以refIdxL0示出的参考图片的位置(xP+nPSW，yP+nPSH)的运动补偿参数来规定L0的运动矢量，使用以refidxL1示出的参考图片的位置(xP+nPSW，yP+nPSH)的运动补偿参数来规定L1的运动矢量，从而导出时间性合并候选。即，根据以LX列表以及refidxLX示出的参考图片来计算针对各参考图片列表LX(X＝0，X＝1或者X＝C)的运动矢量mvLXCol[0]、mvLXCol[0]。具体而言，在以refIdxLX示出的参考图片的位置(xP+nPSW，yP+nPSH)的PU处于unavailable或者处于帧内预测模式的情况下，将时间性合并候选的LX的运动矢量mvLXCol[0]、mvLXCol[1]规定为0。除此以外，即，在该PU的PredFlagL0为0的情况下，将该PU的L1的运动矢量MvL1用作时间性合并候选的LX的运动矢量mvLXCol[0]、mvLXCol[1]。在除此以外的情况下，将该PU的L0的运动矢量MvL0用作时间性合并候选的LX的运动矢量mvLXCol[0]、mvLXCol[1]。
接下来，使用当前帧的POC(Picture Order Count)和参考图片的POC来进行运动矢量的缩放。在时间性合并候选中，也与相邻合并候选同样，在将合并候选存放至合并候选存放部1212H前，对双单预测变换部1219输入合并候选进行变换。变换后的合并候选作为时间性合并候选被存放至合并候选存放部1212H。
唯一候选导出部1212C按照合并候选列表的各合并候选彼此唯一的方式来更新合并候选列表。在合并候选列表中所存放的合并候选为索引0～索引CANDX的情况下，能通过图47的伪代码所示的步骤来得到唯一的合并候选列表。此外，合并候选列表使用存放合并候选的数组motion_cand[]来管理。另外，若将合并候选数设为Numcand，则CANDX＝Numcand-1。针对图47的伪代码的各步骤S，说明如下。
S4701：将索引0至索引CANDX的有效性标志全部初始化为有效。在此motion_valid[]是存放有效性标志的数组。
S4702：若相对于循环变量i(i＝1至CANDX)，与i的合并候选motion_cand[i]相同的运动补偿参数以比i小的编号的索引j(0＜＝j＜i)的motion_cand[j]出现，则将i的有效性标志motion_valid[i]设为无效。在S4702-1中，比较索引i与j的运动补偿参数。在运动补偿参数的比较中使用equalMotion函数。在此equalMotion(A，B)是判定所输入的运动补偿参数A与B的同一性的函数(在同图中，表记为“hasEqualMotion”)。若运动补偿参数一致，则将i的有效性标志motion_valid[i]设为无效。
S4703：将有效性标志motion_valid为true的合并候选motion_cand存放至合并候选列表。该合并候选列表的重构是在由合并候选motion_cand的数组构成的合并候选列表中按照编号从小到大的顺序进行复制来执行的。在此copy(A，B)是将B复制到A的函数。
S4704：对有效性标志motion_valid进行再设定。
S4705：对有效的合并候选数NumCand进行更新。
图48是说明结合双预测合并候选导出部1212D的动作的图。结合双预测合并候选是通过使用合并候选列表中所存放的2个参考合并候选，从一方的参考合并候选中复制列表L0的运动补偿参数，从另一方的参考合并候选中复制列表L1的运动补偿参数，从而被导出的。图48的(c)是用于决定要提取的2个参考合并候选列表的表。以combCandk来表现要导出的结合双预测合并候选的索引。此外，combCandk使用在已导出的合并候选列表的最后的索引的值上加1后的值。K是从0开始的索引，是在将结合双预测合并候选追加至合并候选列表时每次递增1。另外，combIdx索引具有结合双预测合并候选的导出时所使用的临时的索引即0至11的值。针对0至11的combIdx索引，从合并候选列表中选择以2个索引10CandIdx以及11CandIdx示出的索引的参考合并候选。在此选择索引lXCandIdx(X＝0或者X＝1)的索引的候选是指，从合并候选列表中所存放的索引0～CANDX的合并候选当中，提取以索引lXCandIdx示出的候选。图48的(a)示出判定是否导出结合双预测合并候选的判定式。在以l0CandIdx所选择出的合并候选的L0的运动补偿参数predFlagL0l0Cand、refldxL0l0Cand、mvL0l0Cand、以及以l1CandIdx所选择出的L1的合并候选的运动补偿参数predFlagL1l1Cand、refIdxL1l1Cand、mvL1l1Cand全部满足图48(a)的判定式的情况下，导出结合双预测合并候选。图48的(b)是表示以索引combCandk示出的结合双预测合并候选的导出方法的图。通过复制上述L0的运动补偿参数和上述L1的运动补偿参数来导出结合双预测合并候选的运动补偿参数refIdxL0combCandk、refIdxL1combCandk、predFlagL0combCandk、predFlagL1combCandk、mvL0combCandk[0]、mvL0combCandk[1]、mvL1combCandk[0]、mvL1combCandk[1]。在所导出的结合双预测合并候选与合并候选存放部1212H的合并候选列表中所存放的全部的合并候选不一致的情况下，将结合双预测合并候选存放至合并候选列表的最后。一致判定中使用已经说明的函数equalMotion。
若合并候选数到达MRG_MAX_NUM_CANDS个，则结束结合双预测合并候选导出部1212D的动作。若未到达，则使combIdx递增1，使用图48的(c)的表，提取2个参考合并候选，来继续合并候选导出。在针对全部的表进行了提取的时间点，结束结合双预测合并候选导出部1212D的动作。
图49是说明非缩放双预测合并候选导出部1212E的导出的图。图49的(a)示出用于判定是否导出非缩放双预测合并候选的判定式。图49的(b)是表示以索引nscaleCand1示出的非缩放双预测合并候选的导出方法的图。在此，索引nscaleCand1使用在已导出的合并候选列表的最后的索引的值上加1后的值。1是从0开始的索引，在将非缩放双预测合并候选追加至合并候选列表时每次递增1。非缩放双预测合并候选导出部1212E利用已被导出且存放在合并候选存放部1212H中的合并候选的运动矢量，来导出针对2个参考图片的运动矢量彼此处于反转关系那样的合并候选。在将进行参考的合并候选的索引设为origCand、且全部满足图49的(a)的判定式的情况下，遵照图49的(b)来进行非缩放双预测合并候选的导出。针对非缩放双预测合并候选，电使用函数equalMotion，在所导出的结合双预测合并候选与合并候选存放部1212H的合并候选列表中所存放的全部的合并候选不一致的情况下，将结合双预测合并候选存放至合并候选列表的最后。若合并候选数到达了MRG_MAX_NUM_CANDS个，则结束动作，若未到达，则反复处理。
图50是表示零矢量合并候选导出部1212F的动作的图。若合并候选存放部1212H的合并候选数到达了MRG_MAX_NUM_CANDS个，则不进行处理。若未到达，则至合并候选数到达MRG_MAX_NUM_CANDS个为止存放零矢量。即，将进行参考的合并候选的索引设为mvL0zeroCandm，导出L0的运动矢量(mvL0zeroCandm[0]、mvL0zeroCandm[1])、L1的运动矢量(mvL1zeroCandm[0]、mvL1zeroCandm[1])均成为0那样的候选。在此，索引zeroCandm使用在已导出的合并候选列表的最后的索引的值上加1后的值。M是从0开始的索引，在将零矢量预测合并候选追加至合并候选列表时每次递增1。此外，在零矢量合并候选导出部1212F中，也能导出使用2个参考图片的合并候选，即predFlagL1＝1、predFlagL1＝1的合并候选，但设在进行合并PU的双预测限制的情况下，在进行双预测限制的小尺寸的PU中仅导出单预测的合并候选。
合并候选导出控制部1212G进行图44的流程图所示的动作，导出合并候选。
合并候选存放部1212H对已导出的合并候选进行保存。
(基本运动补偿参数导出部1213的细节)
图54是表示基本运动补偿参数导出部1213的构成的框图。基本运动补偿参数导出部1213由相邻运动矢量候选导出部1213A、时间性运动矢量候选导出部1213B、零矢量合并候选导出部1213F、运动矢量候选导出控制部1213G、运动矢量候选存放部1213H、运动矢量候选选择部1213I、运动矢量还原部1213J构成。此外，以下，将相邻运动矢量候选导出部1213A、时间性运动矢量候选导出部1213B、零矢量合并候选导出部1213F合起来称为运动矢量/合并候选导出单元。
在基本运动补偿参数导出部1213中，运动矢量候选导出控制部1213G控制各运动矢量/合并候选导出单元来导出给定的数PMV_MAX_NUM_CANDS的预测运动矢量候选并存放至运动矢量候选存放部1213H。在此，预测运动矢量候选由运动矢量mvL0和mvL1构成。在运动矢量候选存放部1213H中，将上述运动参数的组作为预测运动矢量候选进行存放。存放的预测运动矢量候选作为按存放顺序进行排序后的列表(预测运动矢量候选列表)而被管理。
相邻运动矢量候选导出部1213A与相邻合并候选导出部1212A同样地，通过复制相邻块的运动补偿参数来导出各预测运动矢量候选。
时间性运动矢量候选导出部1213B与时间性合并候选导出部1212B同样地，通过复制已解码完毕的图片的运动补偿参数来导出时间性预测运动矢量候选。
零矢量合并候选导出部1213F将零矢量作为预测运动矢量候选进行导出。
运动矢量候选导出控制部1213G在导出了给定的数PMV_MAX_NUM_CANDS的预测运动矢量候选的时间点，结束导出。另外，使用内部的唯一候选判定部1213C，按照从相邻运动矢量候选导出部1213A以及时间性运动矢量候选导出部1213B导出的预测运动矢量彼此不一致(成为唯一)的方式，存放至运动矢量候选存放部1213H。具体而言，运动矢量候选导出控制部1213G对唯一候选判定部1213C输入2个运动矢量A和运动矢量B，使其判定运动矢量A与运动矢量B是否一致。唯一候选判定部1213C判定所输入的2个运动矢量彼此是否一致。
(双预测限制PU判定部1218的细节：双预测限制的判定方法)
关于在双预测限制PU判定部1218中判定是否为要进行双预测限制的小尺寸的PU的方法的优选例，在以下说明。此外，判定方法不限于以下的例子，还能使用其他参数作为PU尺寸信息。
(判定方法的例1)
在判定方法的例1中，在将用于PU尺寸的判定的阈值设为了TH的情况下，对于小于THxTH的PU的情况进行双预测限制。利用了此时的对象CU尺寸(在此CU Width)和PU分割类型的判定式如以下所示。
DisableBiPred＝((CU Width＝＝TH&&PU分割类型！＝2Nx2N)||CU Width＜TH)？true：false
具体而言，
在TH＝16的情况下，在16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4的各PU中进行双预测限制。
在TH＝8的情况下，在8x4、4x8、4x4的各PU中进行双预测限制。
此外，作为用于PU尺寸的判定的CU尺寸，可以取代CU Width而使用CU尺寸(CUWidth)的以底为2的对数log2CUSize。在此情况下，对16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4进行双预测限制的情况下的判定式如下。
DisableBiPred＝((log2CUSize＝＝4&&PU分割类型！＝2Nx2N)||log2CUSize＜4)？true：false
另外，对8x4、4x8、4x4进行双预测限制的情况下的判定式如下。
DisableBiPred＝(log2CUSize＝＝3&&PU分割类型！＝2Nx2N)
此外，还能使用对象CU尺寸和PU分割类型以外的参数来进行判定。例如，还能使用PU分割数NumPart来进行如下的判定。
DisableBiPred＝((CU Width＝＝TH&&NumPart＞1)&&CU Width＜TH)？true：false
(判定方法的例2)
在判定方法的例2中，在THxTH以下的PU中进行双预测限制。此时的判定式如下。
DisableBiPred＝((CU Width＝＝2*TH&&PU分割类型＝＝NxN)||CUWidth＜2*TH)？true：false
具体而言，
在TH＝16的情况下，在16x16、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4的各PU中进行双预测限制。
在TH＝8的情况下，在8x8、8x4、4x8、4x4的各PU中进行双预测限制。
在TH＝4的情况下，在4x4的PU中进行双预测限制。
此外，在PU尺寸的判定中使用log2CUSize的情况下、对8x8、8x4、4x8、4x4进行双预测限制的情况下的判定式如下。
DisableBiPred＝((log2CUSize＝＝4&&PU分割类型＝＝NxN)||log2CUSize＜4)？true：false
4x4的判定式如下。
DisableBiPred＝((log2CUSize＝＝3&&PU分割类型＝＝NxN))？true：false
此外，还能使用PU的分割数NumPart来进行如下的判定。
DisableBiPred＝((CU Width＝＝2*TH&&NumPart！＝4)||CU Width＜2*TH)？true：false
此外，在上述的例子中，也可以在跳过PU以及合并PU、基本帧间PU中使用不同的PU尺寸(阈值TH)。另外，如图34的(c)所示，可以对用于判定的PU尺寸(阈值TH)进行编码。
(双单预测变换部1219的细节)
双单预测变换部1219在所输入的运动补偿参数示出双预测、而且在双预测限制PU判定部中判定为要进行跳过PU以及合并PU的双预测限制的情况下，将输入至双单预测变换部1219的运动补偿参数变换成单预测。
此外，双单预测变换部1219能切换多个双预测变换方法，可以构成为使用由合并候选导出部指定的双预测变换方法来进行双单预测变换。另外，可以构成为：对双单预测变换部1219输入是否进行双单预测变换，并随之进行切换。
另外，如后所述，双单预测变换部1219在所输入的运动补偿参数为双预测的情况下，可以依次输出2个运动补偿参数。
运动补偿参数，在根据时间性以及空间性地接近的PU的运动补偿参数的复制、或者时间性以及空间性地接近的PU的运动补偿参数的组合而导出的运动补偿参数的帧间预测标志inter_pred_flag为表示双预测的2的情况下，变换成表示单预测的1。另外，在用于内部的处理的帧间预测标志(内部帧间预测标志)是由表示L0预测的1、表示L1预测的2、以及表示双预测的3组成的标志的情况下，进行以下的动作。在内部帧间预测标志为3的情况下，内部帧间预测标志的值变换成表示L0预测的1、或者表示L1预测的2。另外，在变换成L0预测的情况下，还能将与L1预测相关的运动补偿参数例如更新为零。在变换成L1预测的情况下，还能将与L0预测相关的运动补偿参数例如更新为零。此外，内部帧间预测标志与预测列表利用标志predFlagL0、predFlagL1的关系能如下地相互变换。
内部帧间预测标志＝(predFlagL1＜＜1)+predFlagL0
predFlagL0＝内部帧间预测标志&1
predFlagL1＝内部帧间预测标志＞＞1
作为变换成单预测的方法，除了变更帧间预测标志(以及内部帧间预测标志)的方法之外，在预测列表利用标志predFlagL0、predFlagL1的两者是表示进行利用的值即1的情况下，还能通过变换成不使用预测列表利用标志的一者的值的0来进行。
图51是说明向单预测的变换的方法(双预测变换方法)的例子的图。L0选择将预测列表利用标志predFlagL1变更为0。L1选择将预测列表利用标志predFlagL0变更为0。参考索引编号选择将参考索引编号refIdxL0、参考索引编号refidxL1当中值大的一方的列表的预测列表利用标志变更为0。作为数式，为x＝(ref_idx_L1＜ref_idx_L0)？0：1，predFlagLX＝0。由此，使用参考索引编号小的一方的列表。POC选择将当前图片的POC(POC_curr)与以参考索引编号refIdxL0示出的参考图片的POC(POC_L0)的差分、以及当前图片的POC与以参考索引编号refIdxL1示出的参考图片的POC(POC_L1)的绝对值差分当中，值大的一方的列表的预测列表利用标志变更为0。X＝(|POC_L1-POC_curr|＜|POC_L0-POC_curr|)？0：1，predFlagLX＝0。由此，对当前图片使用POC接近的参考图片。
两选择将使用L0的运动补偿参数的情况和使用L1的运动补偿参数的情况的两者作为候选进行使用。即，在所输入的合并候选为双预测的情况下，将像predFlagL1＝0那样变更为使用L0的合并候选、以及变更为predFlagL0＝0那样的合并候选的2个合并候选输出至作为输入源的合并候选导出部。
在发明者所进行的实验中，在PU尺寸为8×4、4×8的情况下限制双预测时，在双单预测变换中进行L1选择的方法中，确认了编码效率的下降几乎为零。在此情况下，双单预测变换还能如下地表现。在CU尺寸log2CUSize为3且PU分割类型PartMode为2N×2N以外的情况下，在预测列表利用标志predFlagL0和预测列表利用标志predFlagL1的两者为1时，将预测列表利用标志predFlagL0设定为0。
一般而言，在运动补偿参数的导出中，使L0列表的参考图片优先的情况多。反之，若基于取代L0列表的参考图片而使用L1列表的参考图片，则能与使这些L0列表优先的导出处理产生差别化。在通过某编码参数而能选择多个导出处理的情况下，若将某群组的导出处理设为L0列表优先，且将其他的群组的导出处理设为L1列表优先，则各导出处理能彼此互补地使用，因此能在更多的运动的性质的序列或区域中有效地作用。故而，在双单预测变换中，能通过使用L1列表而得到高的编码效率。
进一步说明图51的例子以外的向单预测的变换的方法的例子。针对每个双预测合并候选，在为双预测的(predFlagL0和predFlagL1均为1)情况下，可以切换是否使predFlagL1为0(使用L0列表)。例如，在相邻合并候选导出部1212A中，按照A1、B1、B0、A0、B2的顺序来导出合并候选，但也有以A1、B0、B2且以predFlagL1＝0、B1、A0来设为predFlagL1＝1的方法。在该例中，在每次导出合并候选时，交替地选择使用L0列表的情况和使用L1列表的情况。另外，在该例中，对于从在左方向上相邻的块所计算的合并候选A0、A1以及从在上方向上相邻的块所计算的合并候选B0、B1的各个，针对一者设为使用L0列表的情况，针对另一者设为使用L1列表的情况。如此，通过使相邻合并候选的一部分成为predFlagL1＝0，一部分成为predFlagL0＝0，而变换成单预测的情况下，能平衡良好地使用各自的参考列表的运动补偿参数，因此得到高的编码效率。另外，相邻方向为右方向(A0，A1)、上方向(B0，B1，B2)的合并候选优选选择彼此不同的参考列表。此外，关于将哪些合并候选设为predFlagL1＝0，将哪些合并候选设为predFlagL0＝0，可以是上述以外的方法。例如，可以在A1、B0、B2设为predFlagL1＝1，在B1、A0设为predFlagL1＝0。另外，可以按进行导出的顺序或者合并候选列表中存放的情况下的每个索引，来使用相反的参考列表。
另外，通过将参考列表X的预测列表利用标志predFlagLX设为0来进行双单预测变换的情况下，设为不将参考索引编号refIdxLX的值更新为-1，不将运动矢量mvL1的值更新为(0，0)等的初始值，但也能进行更新。在发明者所进行的实验中，确认了不更新这些值而得到了更高的编码效率。在不更新的情况下，即使是限制了参考图片列表的使用的情形，也能在后续的处理中使用已限制一方的参考索引编号以及运动矢量的值。故而，得到高的编码效率。
此外，双单预测变换部1219可以构成为跳过运动补偿参数导出部1211以及合并运动补偿参数导出部1212的内部所具备的单元。另外，在仅对基本帧间PU进行双预测限制的情况下，可以是不具备双单预测变换部1219的构成。
(双预测限制中的运动信息解码部1021)
图30是表示运动信息解码部1021的构成的框图。运动信息解码部1021至少具备帧间预测标志解码部1028。在运动信息解码部1021中，进行特别在对帧间预测标志进行解码的情况下的PU即基本帧间PU的双预测限制。帧间预测标志解码部1028根据在上述的双预测限制PU判定部1218中是否进行基本帧间PU的双预测限制的情形，来变更是否进行帧间预测标志的解码。
此外，在对合并的利用进行限制的情况下，在以跳过PU来解码帧间预测标志的情况下，进行跳过PU的双预测限制。
(帧间预测标志解码部1028)
图39是表示CABAC的情况下的帧间预测标志解码部1028的动作的流程图。帧间预测标志解码部1028在切片为B切片的情况(S131中的“是”)下，转移至S132。除此以外(S131中的“否”)，不对帧间预测标志inter_pred_flag进行解码而结束。在PU尺寸为小PU尺寸的情况(DisableBiPred＝true的情况)下(S132中的“是”)，不对帧间预测标志inter_pred_flag进行解码而结束。在除此以外的情况下(S132中的“否”)，对帧间预测标志inter_pred_flag进行解码(S133)。
图40是表示CAVLC的情况下的帧间预测标志解码部1028的动作的流程图。帧间预测标志解码部1028在切片为B切片的情况(S141中的“是”)下，转移至S142。除此以外(S141中的“否”)，不对帧间预测标志inter_pred_flag进行解码而结束。在PU尺寸为小PU尺寸以外的情况(DisableBiPred！＝true的情况)下(S142中的“否”)，通过S143、S144、145来对结合帧间预测参考索引combined_inter_pred_ref_idx进行解码。在PU尺寸为小PU尺寸的情况下(S142中的“是”)，通过S146、S147、S148来对结合帧间预测参考索引combined_inter_pred_ref_idx进行解码。
在S143以及S146中，计算最大值MaxPredRef。最大值MaxPredRef如图37的(d)的表TBL37以及伪代码CODE37所示。具体而言，在小尺寸PU以外的情况下，即，无双预测限制的情况下(DisableBiPred！＝true)的最大值MaxPredRef是NumPredRefLC+NumPredRefL0*NumPredRefL1或者NumPredRefL0+NumPredRefL0*NumPredRefL1，即，以单预测的结合参考图片集合的数(NumPredRefLC，或者NumPredRefL0)与双预测的结合参考图片集合的数(NumPredRefL0*NumPredRefL1)之和来计算的(S143)。在有双预测限制的情况下(DisableBiPred＝true)的最大值MaxPredRef是NumPredRefLC或者，NumPredRefL0，即，以单预测的结合参考图片集合的数(NumPredRefLC，或者NumPredRefL0)来计算的，不包含双预测的结合参考图片集合(S146)。由此，能排除多余的码。此外，num_ref_idx_lc_active_minus1是从通过参考列表LC所管理的参考列表编号的数(参考列表LC的尺寸)中减去1后的数。num_ref_idx_lc_active_minus1大于0的情形示出了使用参考列表LC的情形。同样地，num_ref_idx_l0_active_minus1是从通过参考列表L0所管理的参考列表编号的数(参考列表L0的尺寸)中减去1后的数，示出了使用参考列表L0。同样地，num_ref_idx_l1_active_minus1是从通过参考列表L1所管理的参考列表编号的数(参考列表L1的尺寸)中减去1后的数。此外，单预测的结合参考图片集合的数量如以下的式子所示，规定为将参考列表的尺寸以最大值(参考列表LC为4，除此以外的参考列表为2)剪切(clip)后的数。
NumPredRefLC＝Min(°4，°num_ref_idx_lc_active_minus1°+°1°)
NumPredRefL0＝Min(°2，°num_ref_idx_l0_active_minus1°+°1°)
NumPredRefL1＝Min(°2，°num_ref_idx_l1_active_minus1°+°1°)
在S144、S147中的combined_inter_pred_ref_idx的解码中，对以最大值为MaxPredRef的unary code编码后的codeNum进行解码。在S145、S148中，将codeNum变换成combined_inter_pred_ref_idx。在小尺寸PU以外的情况下，通过逆变换可变表DecTable变换成combined_inter_pred_ref_idx。即，combined_inter_pred_ref_idx＝DecTable[codeNum](S145)。在小尺寸PU的情况下，将codeNum作为combined_inter_pred_ref_idx的值直接使用。即，combined_inter_pred_ref_idx＝codeNum(S148)。而且，判定combined_inter_pred_ref_idx是否与最大值MaxPredRef一致(S149)。在一致的情况下(S149中的“是”)，进而，在小尺寸PU以外的情况下，对inter_pred_flag进行解码(S150)。该动作与图36所示的语法表的解码对应。
在上述的例子中，通过在小尺寸PU中不使用逆变换可变表来进行了简易的解码，但通过将上述S148的步骤置换成以图41的伪代码示出的处理，也能进行利用了逆变换可变表的combined_inter_pred_ref_idx的解码。逆变换可变表以及变换可变表在使用双预测限制的情况下和不使用双预测限制的情况下使用相同的表。在不使用双预测表的情况下，表的条目当中与双预测对应的条目无效。故而，需要跳过无效的条目的处理。具体而言，在解码部中解码出代码编号后，将逆变换可变表DecTable的条目按照发生概率从高到低的顺序，即，编号从小到大的顺序进行扫描。当条目的内容为双预测，即，使用2个预测列表的情况下无效，因此跳过，仅对有效的情况进行计数。在该计数值与解码出的代码编号一致的情况下，将该计数值的条目的参数设为要解码的combined_inter_pred_ref_idx的值。另外，逆变换可变表DecTable的更新是将包含无效的计数在内的计数值视作代码编号来进行的。具体而言进行图41的动作。图41是表示在使用逆变换可变表的情况下的combined_inter_pred_ref_idx的解码处理的伪代码。以下，针对图41所示的伪代码的各步骤S进行说明。此外，在图41中，根据编码风格，将最大值MaxPredRef表记为uiMaxVal。另外，NumPredRefLC、NumPredRefL0、以及NumPredRefL1分别表记为uiValNumRefIdx0fLC、uiValNumRefIdx0fL0、以及uiValNumRefIdx0fL1。
S501：得到最大值MaxPredRef。
S502：得到在进行双预测限制的情况下的最大值MaxPredRef和uiBipredVal。
S503：通过以最大值MaxPredRef为自变量来调用unary解码处理xReadUnaryMaxSymbol，从而得到代码编号tmp。
S504：使用逆变换可变表m_uiMITableD来从代码编号tmp得到combined_inter_pred_ref_idx。在不进行双预测限制的情况下该值为最终的combined_inter_pred_ref_idx的值。
S505：在进行双预测限制的情况下进入从代码编号得到combined_inter_pred_ref_idx的处理的分支。
S506：之后，在S509的判定中使用，因此得到在不进行双预测限制的情况下的最大值MaxPredRef。
S507：以临时代码编号tmp2为循环变量，从0起至最大值为止进行MaxPredRef处理。第2临时代码编号cx预先被处理为0。
S508：获取以逆变换可变表对临时代码编号tmp2进行变换而得到的临时combined_inter_pred_ref_idx的值x。
S509：判定临时combined_inter_pred_ref_idx的值x是否处于有效范围。有效是指，在进行双预测限制的情况下不超过最大值uiBipredVal的情况、以及在不进行双预测限制的情况下为最大值MaxPredRef的情况。
S510：在第2临时代码编号cx与解码出的代码编号tmp一致的情况下结束循环。结束循环的时间点上的临时代码编号tmp2与不进行双预测限制的情况下的代码编号对应。由此，代入至代码编号tmp。
S511：使第2临时代码编号cx递增。
S512：将结束循环的时间点上的临时combined_inter_pred_ref_idx的值x作为combined_inter_pred_ref_idx的解码值进行获取。
S513：使用不进行双预测限制的情况下的代码编号tmp来调用用于更新逆变换可变表的处理adaptCodeword。
此外，图42是表示在使用可变表的情况下的combined_inter_pred_ref_idx的编码处理的伪代码。
以上，作为小PU尺寸的处理量削减方法，说明了基本帧间PU的双预测限制(帧间预测标志、结合帧间预测参考索引的解码方法的变更)、合并PU的双预测限制(合并候选导出中的双单预测变换)、双预测合并候选计算的跳过，但也可以单独使用这些限制，或者将进行这些限制的PU尺寸设为各自不同的值。图52、图53示出双预测的处理量降低的例子。此外，图中的○表示进行该处理，图中的×表示不进行该处理。
图52的(a)是对于4x4、4x8、4x8的尺寸的PU一样地应用基本帧间PU的双预测限制、合并PU的双预测限制、双预测合并候选导出的跳过的例子。图52的(b)、(c)是不进行合并PU的双预测限制、双预测合并候选导出的跳过而仅对基本帧间PU进行双预测限制的例子。一般在进行合并PU的双预测限制时，存在发生编码效率下降的情况，因此仅对基本帧间PU进行双预测限制的例子是适当的。
图52的(d)是对于4x4、4x8、4x8的尺寸的PU一样地应用基本帧间PU的双预测限制，对于8x8的尺寸的PU应用合并PU的双预测限制、双预测合并候选导出的跳过的例子。较之于基本帧间PU的双预测限制，缓和合并PU的双预测限制在编码效率上是适当的。
图53的(a)是对4x4、4x8、4x8、8x8应用基本帧间PU的双预测限制和双预测合并候选导出的跳过的例子。尽管不进行合并PU的双预测限制，但通过简化被用作合并PU的运动补偿参数的合并候选导出，能使合并PU中的双预测关联的处理量下降。图53的(b)是对4x4、4x8、4x8、8x8应用双预测合并候选导出的跳过的例子。如此，还能单独使用双预测合并候选导出的跳过。
关于这样的情况下的实现，以别的标志来管理判定方法即可。例如，设置表示进行各用预测限制的标志DisableBiPredFlag、DisableBiPredMerge，DisableBiPredMergeDerive，基于以下所示的动作而实现。
例如，在双预测限制PU判定部1218中，将3个标志DisableBiPredFlag、DisableBiPredMerge、DisableBiPredMergeDerive分个导出。若是图52的(d)所示的例子，则能按以下方式导出。
DisableBiPredFlag＝(log2CUSize＝＝3&&PU分割类型！＝2Nx2N)？true：false
DisableBiPredMerge，DisableBiPredMergeDerive＝((log2CUSize＝＝4&&PU分割类型＝＝NxN)||log2CUSize＜4)？true：false
在帧间预测标志解码部1028中，在DisableBiPredFlag为真的情况下，进行帧间预测标志、结合帧间预测参考索引的解码方法的变更。
在合并运动补偿参数导出部1212中，在DisableBiPredMerge为真的情况下，在合并候选导出中使用双单预测变换部1219来进行双单预测变换。
在合并运动补偿参数导出部1212中，在DisableBiPredMergeDerive为真的情况下，在合并候选导出中跳过双预测合并候选导出。
运动补偿参数导出部121参考小PU尺寸123A进行双预测限制所带来的作用/效果如下。双预测较之于单预测处理量更大，另外，小尺寸的PU较之于大尺寸的PU，每单位面积的处理量更大。因此，小尺寸的PU中的双预测容易成为处理的瓶颈。故而，通过在小尺寸的PU中抑制双预测，能抑制处理量过度增大。尤其能抑制对最小的尺寸的PU进行处理那样的最坏情况下的处理量。
此外，针对帧间预测标志，补充如下。在非专利文献1中，帧间预测标志(inter_pred_flag)基本成为了选择双预测还是单预测的标志。然而，在不使用结合列表且后方预测禁止标志为非禁止的情况下，还存在通过inter_pred_flag来发送用于选择L0、L1的任一者作为在单预测中使用的参考帧列表的标志的情况。
[作用/效果]
本发明还能按以下方式来表现。即，本发明的一形态所涉及的图像解码装置是将预测单位内的图像通过参考一个参考图像的单预测、以及参考两个参考图像的双预测的任一者的画面间预测的预测方式来进行还原的图像解码装置，具备：双预测限制单元，其针对被应用上述画面间预测的、给定尺寸以下的尺寸的预测单位即对象预测单位，限制进行双预测。
通过进行上述限制，起到能降低成为解码处理的瓶颈那样的处理的处理量的效果。
[2-3-2]进行双预测的限制的尺寸的决定
以下，使用图58～图70来公开用于决定进行双预测的限制的尺寸的构成。
(级别规制)
首先，使用图58以及图59来说明H.264/AVC中的级别规制(level limit)。图58以及图59是对H.264/AVC中的级别规制进行定义的表。
参考图58来说明级别规制。级别规制中的级别是对解码器的性能、比特/数据流的复杂度进行规定的。
级别由整数部和非整数部来指定。整数部的级别主要表征了与要处理的图像的分辨率相应的大致的区分。如图58所示，对于整数，指定1～5的数。级别1、级别2、以及级别3分别与QICF、CIF、SDTV(标准电视机)的分辨率对应。
另外，级别4与HDTV(高清电视机)的分辨率对应。而且，级别5与超高清HDTV的分辨率对应。
另外，如图58所示，在各整数级别中，进而存在由非整数部来指定中间级别的情况(参考以COL581示出的“Level number”的项目)。
对于这些级别指定，定义表征解码器的性能、比特/数据流的复杂度的参数。
图58所示的表中所规定的参数从Level number(COL581)起，在表中向着右侧依次是MaxMBPS、MaxFS、MaxDPB、MaxBR、MaxCPB、MaxVmvR、MinCR、MaxMvsPer2Mb。
在此，针对以参考编号COL582示出的MaxFS，说明如下。MaxFS以宏块的数量(MBs)来规定最大的帧/尺寸。
例如，在级别2.2以及3中，MaxFS＝1620。另外，在级别3.1中，MaxFS＝3600，在级别3.2中，MaxFS＝5120。
对于画面尺寸，存在480p、720p、1080p、4k等，但这些画面尺寸能以哪种级别进行处理是根据MaxFS来确定的。
1个宏块由16×16＝256像素构成。由此，例如，480p(720×480)中所含的宏块的数量为720×480/256＝1350(MBs)。如上所述，在级别2.2中，MaxFS＝1620，因此能对480p进行处理。
另外，例如，针对720p(1280×720)，每1帧能处理1280×720/256＝3600(MBs)的宏块即可。由此，在级别3.1以及3.2中，能处理720p。此外，在图像尺寸的处理能力的计算中，在不能被16除尽的图像尺寸成为对象的情况下，将图像尺寸取能被16除尽的值来进行计算。例如，将”1080p”作为相当于1920x1088的画面来进行宏块分割后执行计算。
以下，在图58中，在表的右侧示出了在4～5.1的各级别中可处理的画面尺寸。
在级别4～4.2中，能处理1080p。另外，在级别5中，能处理作为在PC显示器中使用的尺寸的2560x1600。另外，在级别5.1中，能处理4k。
此外，在图59中如参考编号COL591所示，在级别3.1以上(720p以上的画面尺寸)，亮度的双预测被容许的最小的块尺寸是8×8(MinLumaBiPredSize)。也就是，在级别3.1以上，禁止以子宏块单位(8×4，4×8，以及4×4)进行的双预测。
H.264/AVC中的宏块在HEVC中是相当于CU、TU以及PU的单位。
虽然在H.264/AVC中仅限制了双预测，但对于小尺寸的PU，在单预测中，用于运动补偿的滤波器处理所需的处理量以及参考像素的转发量也变大。因此，与小PU尺寸的双预测限制同时限制小PU尺寸是适当的。此外，尽管随着级别变大，基本使用的分辨率(图像尺寸)变大，但分辨率越大，处理量以及转发量越严格。同时在分辨率大的情况下，目标(object)尺寸也随之变大(运动的空间相关变大)，因此仅以较大的PU也能实现高的编码效率。反之，能没有编码效率大的下降地，限制小PU尺寸的使用、以及在小PU尺寸的双预测。分辨率基本上与级别对应，因此想根据级别来设置制约的PU尺寸以及想进行双预测的限制的预测单位(PU)是不同的。例如，在level3.1(720P)中，优选不仅对4×4PU设置制约，而且在8×4PU、以及4×8PU中进行双预测的限制。另外，在level5(2560×1600相当以及4k相当)中，优选不仅对8×4PU以及4×8PU设置制约，而且在8×8PU中进行双预测的限制。
另外，在HEVC中，能通过后述的编码数据中的值log2_min_coding_block_size_minus3来控制最小的CU尺寸，但减小最小的CU尺寸的目的是处理量以及转发量的削减，因此同时还限制对处理量以及转发量造成大的影响的双预测是适当的。另外，想限制的处理量以及转发量的程度按最小的CU尺寸的每一种而变化，因此优选按照最小的CU尺寸来自适应地变更双预测的限制。使用图60来说明自适应的制约/限制的例子。图60的(a)例示了16×16CU的情况下的双预测的限制。另外，图60的(b)例示了8×8CU的情况下的双预测的限制。如图60的(a)所例示，关于16×16CU，可取16×16PU、16×8PU、8×16PU、以及8×8PU等。在此，对16×16PU、16×8PU、8×16PU不进行双预测限制，另一方面，对8×8PU进行双预测限制。
另外，如图60的(b)所例示，针对8×8CU，可取8×8PU、8×4PU、以及4×8PU。在此，对8×8PU不进行双预测限制，另一方面，对8×4PU以及4×8PU进行双预测限制。
(基于级别规制的编码数据的限制)
关于图60所示那样的自适应的制约/限制，即使不对运动图像解码装置1实施特别的构成，也能根据级别，通过用于限制在对编码数据进行解码时所导出的运动补偿参数的值的级别规制而予以实现。图84是本发明的级别规制的一例。图84的表中的MaxLog2MinCUSize、MinPUSize、以及MinBipredPUSize分别示出最小CU尺寸的对数值、最小PU尺寸、以及最小双预测PU尺寸、在特定级别中可使用的CU尺寸以及PU尺寸的最小值。如图84所示，在级别level_idc小于给定的阈值TH1的情况下，最小CU尺寸的对数值、最小PU尺寸分别是3、4×4，不对其特别限制。最小双预测PU尺寸是8×4、4×8，将4×4PU的双预测设为不可使用。接下来，在级别level_idc为给定的阈值TH1以上且小于给定的阈值TH2的情况下，最小CU尺寸的对数值(最小PU尺寸的对数值)为3，尽管不受限制，但最小PU尺寸设为8×4、4×8。即，将4×4PU设为不可使用。进而，最小双预测PU尺寸是8×4、4×8，将4×4PU的双预测设为不可使用。接下来，在给定的阈值TH2以上的情况下，最小CU尺寸的对数值为4，最小PU尺寸限制为8×8。即，将8×4PU、4×8PU、4×4PU设为不可使用。进而，最小双预测PU尺寸是16×8，将8×8PU的双预测设为不可使用。此外，8×4PU、4×8PU、4×4PU的双预测也因最小PU尺寸限制而不可使用。此外，阈值TH1设为720P的行即级别2.1、且阈值TH2设为2560×1600相当的行即级别5是适当的，但也可以使用其他的阈值。
图85是本发明的级别规制的另一例子。在本例中，与图84的例子大致相同，但在级别level_idc小于给定的阈值TH0的情况下，最小CU尺寸的对数值、最小PU尺寸、最小双预测PU尺寸分别是3、4×4、4×4，全部不施加限制。如此，可以设置不施加限制的级别。此外，级别规制仅进行编码数据的限制，即，可以不进行小PU尺寸中的帧间预测标志的解码的跳过、合并候选的双单变换、合并候选导出中的双预测合并候选导出的跳过的一部分或者全部。另外，反之，可以并用小PU尺寸中的帧间预测标志的解码的跳过、合并候选的双单变换、合并候选导出中的双预测合并候选导出的跳过的一部分或者全部。
[作用/效果]
根据本级别规制，按照级别来限制可使用的PU尺寸和可使用的双预测PU尺寸的两者，因此能将用于运动补偿的滤波器处理所需的处理量以及参考像素的转发量限制为适当水平。像H.264/AVC中的级别规制那样，在仅对可使用的双预测PU尺寸进行限制的情况下，不进行可使用的PU尺寸的限制，因此在小PU的情况下，存在在单预测中也需要与双预测的情况同样大的处理量以及转发量这样的课题。即，根据本级别规制，伴随双预测的处理量以及转发量受到限制、单预测的处理量以及转发量不受限制这样的失衡消除。
进而，根据本级别规制，使用相同的阈值，按照级别来切换可使用的PU尺寸与可使用的双预测PU尺寸的两者。例如，在阈值TH1的前后，变更最小PU尺寸MinPUSize的情况下，使用相同的阈值TH1来变更最小双预测PU尺寸MinBipredPUSize。如此，通过对可使用的PU尺寸与可使用的双预测PU尺寸的阈值使用相同的值，能在支持特定的级别以下的解码的运动图像解码单元中，将处理量以及转发量限制为适当水平。另外，哪种级别中需要的限制要发生变化将变得简明。
进而，根据本级别规制，使用以下的组合来作为以下的可使用的PU尺寸和可使用的双预测PU尺寸。
4×4PU限制和8×4PU双预制限制
8×4PU限制和8×8PU双预测限制
本组合的PU限制以及双预测限制将进行彼此同程度的处理量以及转发量的限制，因此平衡好。
(构成的说明)
首先，除了图61之外，还参考图62～图70来说明用于决定进行双预测的限制的尺寸的构成。图61所示的构成是在图43所示的构成中将双预测限制PU判定部1218变更为双预测限制PU判定部1218A而得到的。
双预测限制PU判定部1218A判定双预测限定条件，判定是否进行在对象PU中不使用双预测的双预测限制。双预测限制PU判定部1218A也可以独立地判定是否进行跳过CU以及合并PU的双预测限制、以及是否进行基本帧间PU的双预测限制。
此外，像在限制合并的利用的情况下那样，在跳过PU中对帧间预测标志进行解码的情况下，能独立地判定是否在跳过PU、合并PU、基本帧间PU的各者中进行双预测限制。
另外，与图43所示的构成同样，在上述的构成中，可以构成为：在双单预测变换部1219A中，基于双预测限制PU判定部1218A来判定在跳过运动补偿参数导出部1211中所设定的双预测/单预测的设定。另外，不限于此，例如，可以构成为：将双预测限制PU判定部1218A的判定结果直接输入至跳过运动补偿参数导出部1211，进行双预测/单预测的设定。
由双预测限制PU判定部1218A进行的双预测限定条件的判定是基于从编码器侧设定的各种标志/参数来进行的。双预测限制PU判定部1218A具体而言，能按以下的(1A)～(1E)所例示那样构成。以下，关于(1A)～(1E)的各构成例，在示出语法表和伪代码的同时进行说明。此外，级别规制与构成例不是对立的，还能并用。
(1A)设置表示是否进行双预测限制的标志，直接指定双预测限制的尺寸
[语法表]
使用图62来说明与双预测限制相关的语法表的一例。图62是表示与双预测限制相关的语法表的一例的图。如图62所示，在编码数据的序列参数集的RBSP(Raw ByteSequence Payload)中，对log2_min_coding_block_size_minus3(SYN621)、inter_4x4_enabled_flag(SYN622)、restrict_bipred_flag(SYN623)、以及log2_min_bipred_coding_block_size_minus3(SYN625)进行编码。
log2_min_coding_block_size_minus3是决定最小CU尺寸的标志。在log2_min_coding_block_size_minus3中，存放从想指定的最小CU尺寸的对数值之中减去3后的值。例如，在最小CU尺寸为8×8的情况下，log2_min_coding_block_size_minus3＝0，在最小CU尺寸为16×16的情况下，log2_min_coding_block_size_minus3＝1。
inter_4x4_enabled_flag如其名称，是禁止帧间4×4PU的标志。
log2_min_coding_block_size_minus3以及inter 4x4_enabled_flag分别示出最小CU尺寸的对数值Log2MinCUSize和4×4PU使用可能性，对可使用的PU的尺寸进行制约。最小CU尺寸的对数值Log2MinCUSize通过log2_min_coding_block_size_minus3+3而导出。例如，在Log2MinCUSize＝3的情况下最小CU尺寸为8×8，在Log2MinCUSize＝4的情况下最小CU尺寸为16×16。在最小CU尺寸为8×8的情况下，能使用对最小CU进行分割而得到的PU，即8×4PU、4×8PU、4×4PU。但在inter 4x4 enabled_flag为0的情况下，4×4PU成为不可使用。
另外，例如，在Log2MinCUSize＝4(log2_min_coding_block_size_minus3＝1)时，即，最小CU尺寸为16×16CU时，不能使用8×8的CU尺寸。由此，尽管8×8PU可使用，但对8×8进行分割而得到的PU即8×4PU、4×8PU、4×4PU变得不可使用。
restrict_bipred_flag以及log2_min_bipred_coding_block_size_minus3是与双预测限制相关的信息。
restrict_bipred_flag是表示是否要限制双预测的标志。该标志的值在运动图像编码装置2中根据级别而决定。在restrict_bipred_flag为“1”的情况下，表示进行双预测的限制。另外，在restrict_bipred_flag为“0”的情况下，表示不进行双预测的限制。
log2_min_bipred_coding_block_size_minus3直接指定进行双预测限制的最小的CU尺寸(以下，称为最小双预测限制CU尺寸)。log2_min_bipred_coding_block_size_minus3中的尺寸的指定方法与log2_min_coding_block_size_minus3同样。另外，log2_min_bipred_coding_block_size_minus3在restrict_bipred_flag已编码的情况下被解码(SYN625)。
[伪代码]
接下来，使用图63所示的伪代码来说明双预测限制PU判定部1218A的动作。以下，说明图63所示的伪代码的各步骤S。
S631：双预测限制PU判定部1218A判定restrict_bipred_flag是否为“0”。
S632：在restrict_bipred_flag为“0”的情况下，双预测限制PU判定部1218A对DisableBipred变量设定“0”。DisableBipred变量是表示是否进行双预测的限制的变量。在对DisableBipred变量设定了“0”的情况下，不进行双预测的限制。在对DisableBipred变量设定了“1”的情况下，进行双预测的限制。
S633：另一方面，在restrict_bipred_flag不是“0”的情况下，双预测限制PU判定部1218A进一步判定Log2MinBipredCUSize是否为“3”。此外，在此，Log2MinBipredCUSize＝log2_min_bipred_coding_block_size_minus3+3。即，在S633中，判定了进行双预测限制的最小CU尺寸是否为8×8CU。
S634：在Log2MinBipredCUSize为“3”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinBipredCUSize(＝3)一致，且PU的模式为2N×2N以外的模式的PU，限制双预测。
即，在S634中，在最小双预测限制CU尺寸为8×8CU的情况下，针对8×8CU，限制8×8PU以外(2N×2N)的PU中的双预测。
此外，在S634中，“&&”的运算符表示逻辑积。即，在“&&”的左项，判定了对象块的CU尺寸的对数值(log2CUSize)是否与Log2MinBipredCUSize(在此为“3”)一致。另外，在“&&”的右项，判定了PU的模式(PartMode)不是2N×2N。此外，“！＝”是表示”不相等”关系的关系运算符。
S635：另一方面，在Log2MinBipredCUSize不是“3”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinBipredCUSize一致，且PU的模式为N×N的PU(最小PU)，限制双预测。
即，在S635中，在最小双预测限制CU尺寸为8×8以外(例如，16×16)的情况下，针对与最小双预测限制CU尺寸一致的尺寸的CU，限制了最小PU(N×N)中的双预测。图中，记载为“限制B”是表示，“限制双预测(Bi-predictive prediction)”的含义。
此外，S635可以按以下的S635’来变形。
S635’：在Log2MinBipredCUSize不是“3”的情况下，双预测限制PU判定部1218A将DisableBiPred变量设定如下。
在“CU尺寸的对数值(log2CUSize)与Log2MinBipredCUSize一致、且PU的模式为N×N的情况”或”CU尺寸的对数值(log2CUSize)小于Log2MinBipredCUSize的情况”下，限制双预测。
在S635’中，除了S635中的限制，在为比最小双预测限制CU尺寸小的CU尺寸的情况下，还针对全部的模式来限制双预测。
[作用/效果]
本构成例中，能对应于运动图像编码装置2的意图(编码数据中所含的信息)来自适应地进行双预测限制。
运动图像编码装置2例如对应于运动图像的分辨率或运动图像解码装置1的性能来编码与双预测限制相关的信息即可。
由此，在运动图像解码装置1中，能对应于运动图像的分辨率或运动图像解码装置1的性能来进行与双预测限制相关的细微的调整。
(1B)不设置与双预测限制相关的追加的标志而与最小CU尺寸联动地决定双预测限制的尺寸
[语法表]
使用图64来说明与双预测限制相关的语法表的其他例。图64是表示与双预测限制相关的语法表的其他例的图。如图64所示，在编码数据的序列参数集的RBSP中，编码了log2_min_coding_block_size_minus3即可(SYN641)。
[伪代码]
接下来，使用图65所示的伪代码来说明双预测限制PU判定部1218A的动作。以下，说明图65所示的伪代码的各步骤S。
S651：双预测限制PU判定部1218A判定Log2MinCUSize是否为“3”。在此，Log2MinCUSize＝log2_min_coding_block_size_minus3+3。即，在S651中，判定了最小CU尺寸是否为8×8CU。
S652：在Log2MinCUSize为“3”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize(＝3)一致，且PU的模式为2N×2N以外的模式的PU，限制双预测。
即，在S652中，在CU尺寸为8×8CU的情况下，针对与最小CU尺寸一致的尺寸的CU，限制8×8PU以外(2N×2N)的PU中的双预测。
S653：另一方面，在Log2MinCUSize不是“3”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize一致，且PU的模式为N×N的PU(最小PU)，限制双预测。
即，在S653中，在最小CU尺寸为8×8以外(例如，16×16)的情况下，针对与最小CU尺寸一致的尺寸的CU，限制了最小PU(N×N)中的双预测。
[作用/效果]
在本构成例中，对应于最小CU尺寸来进行双预测的限制。由此，能不追加地编码与双预测限制相关的信息而能实现双预测的限制。
(1C)设置表示是否进行双预测限制的标志，与最小CU尺寸联动地决定双预测限制的尺寸
[语法表]
使用图66来说明与双预测限制相关的语法表的另一例。图66是表示与双预测限制相关的语法表的另一例的图。如图66所示，在编码数据的序列参数集的RBSP中，对log2_min_coding_block_size_minus3(SYN661)、restrict_bipred_flag(SYN663)进行编码。此外，在编码数据的序列参数集的RBSP中，可以对inter_4x4_enabled_flag进行编码(SYN662)。
[伪代码]
接下来，使用图67所示的伪代码来说明双预测限制PU判定部1218A的动作。以下，说明图67所示的伪代码的各步骤S。
S671：双预测限制PU判定部1218A判定restrict_bipred_flag是否为“0”。
S672：在restrict_bipred_flag为“0”的情况下，双预测限制PU判定部1218A对DisableBipred变量设定“0”。
S673：另一方面，在restrict_bipred_flag不是“0”的情况下，双预测限制PU判定部1218A进一步判定Log2MinCUSize是否为“3”。
S674：在Log2CUMinSize为“3”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize(＝3)一致，且PU的模式为2N×2N以外的模式的PU，限制双预测。
即，在S674中，与S652同样，在CU尺寸为8×8CU的情况下，针对与最小CU尺寸一致的尺寸的CU，限制8×8PU以外(2N×2N)的PU中的双预测。
S675：在Log2MinCUSize不是“3”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize一致，且PU的模式为N×N的PU(最小PU)，限制双预测。
即，在S675中，与S653同样，在最小CU尺寸为8×8以外(例如，16×16)的情况下，针对与最小CU尺寸一致的尺寸的CU，限制了最小PU(N×N)中的双预测。
[作用/效果]
在本构成例中，根据表示是否进行双预测限制的标志的判定，对应于最小CU尺寸来进行双预测的限制。由此，针对与直接指定最小双预测限制CU尺寸的双预测限制相关的信息，能不追加地编码而进行双预测的限制。在本构成例中，由于通过相同的Log2MinCUSize标志来控制可使用的PU尺寸和可使用的双预测PU尺寸的两者，因此能平衡性好地限制伴随双预测的处理量以及转发量、以及伴随单预测的处理量以及转发量。
此外，本构成例可以按以下所示的(1C’)来变形。
(1C’)1C中，将表示是否进行双预测限制的标志变更为3值的标志
以下，使用图68所示的伪代码，针对在1C中将restrict_bipred_flag设为3值标志的变形例来进行说明。在本变形例中，设restrict_bipred_flag可取0、1、以及其以外的值(例如，2)。以下，说明图67所示的伪代码的各步骤S。
S681：在restrict_bipred_flag为“0”的情况下，双预测限制PU判定部1218A对DisableBipred变量设定“0”。
S682：在restrict_bipred_flag为“1”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
在“CU尺寸的对数值(log2CUSize)与Log2MinCUSize一致、且PU的模式为2N×2N以外的情况”或”CU尺寸的对数值(log2CUSize)小于Log2MinCUSize的情况”下，限制双预测。
S682：在restrict_bipred_flag为上述以外的值的情况(例如，“2”的情况)下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
在“CU尺寸的对数值(log2CUSize)与Log2MinCUSize一致、且PU的模式为N×N的情况”或”CU尺寸的对数值(log2CUSize)小于Log2MinCUSize的情况”下，限制双预测。
[作用/效果]
根据本变形例，由于将restrict_bipred_flag作为3值标志构成，因此能实现与双预测限制相关的更细微的调整。
例如，在16×16CU中，能仅进行8×8PU中的双预测限制，或进行8×8PU、16×8PU、以及8×16PU中的双预测限制。如此，根据本变形例，关于双预测限制，能提供更宽范围的选项。
(1D)表示是否进行双预测限制的标志兼作表示禁止帧间4×4PU的标志
[语法表]
使用图69来说明与双预测限制相关的语法表的又一例。图69是表示与双预测限制相关的语法表的又一例的图。如图69所示，在编码数据的序列参数集的RBSP中，对log2_min_coding_block_size_minus3(SYN691)以及restrict_motion_compensation_flag(SYN692)进行编码。
在此，如下进行图66所示的(1C)的语法表与图69所示的(1D)的语法表的比较。
即，在本构成例所涉及的编码数据的序列参数集的RBSP中，取代图66所示的inter_4x4_enabled_flag(SYN662)以及restrict_bipred_flag(SYN663)，对restrict_motion_compensation_flag(SYN692)进行编码。
restrict_motion_compensation_flag是将！inter_4x4_enabled_flag(“！”表征逻辑否定的逻辑运算符)以及restrict_motion_compensation_flag进行了公共化得到的。即，restrict_motion_compensation_flag既是表示是否禁止帧间4×4的标志，也是表示是否要限制双预测的标志。
[伪代码]
接下来，使用图70所示的伪代码来说明双预测限制PU判定部1218A的动作。以下，说明图70所示的伪代码的各步骤S。
S701：双预测限制PU判定部1218A判定restrict_motion_compensation_flag是否为“0”。
S702：在restrict_motion_compensation_flag为“0”的情况下，双预测限制PU判定部1218A对DisableBipred变量设定“0”。
S703：另一方面，在restrict_motion_compensation_flag不是“0”的情况下，双预测限制PU判定部1218A进一步判定Log2MinCUSize是否为“3”。
S704：在Log2CUSize为“3”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize(＝3)一致，且PU的模式为2N×2N以外的模式的PU，限制双预测。
即，在S704中，与S674同样，在CU尺寸为8×8CU的情况下，针对与最小CU尺寸一致的尺寸的CU，限制8×8PU以外(2N×2N)的PU中的双预测。
S705：在Log2CUSize不是“3”的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize一致，且PU的模式为N×N的PU(最小PU)，限制双预测。
即，在S705中，与S675同样，在最小CU尺寸为8×8以外(例如，16×16)的情况下，针对与最小CU尺寸一致的尺寸的CU，限制了最小PU(N×N)中的双预测。
[作用/效果]
在本构成例中，表示是否进行双预测限制的标志兼作表示是否禁止帧间4×4PU的标志。根据本构成例，能削减标志的数量，能较简易地实现双预测的限制。
(1E)基于级别的值来决定双预测限制的尺寸
[语法表]
使用图64的语法表。如图64所示，在编码数据的序列参数集的RBSP中，对level_idc进行编码即可(SYN642)。
[伪代码]
接下来，使用图86所示的伪代码来说明双预测限制PU判定部1218A的动作。以下，说明图86所示的伪代码的各步骤S。
S861：双预测限制PU判定部1218A判定级别level_idc的值是否小于给定的阈值TH1。
S862：在级别level_idc的值小于TH1的情况下，双预测限制PU判定部1218A不特别地作处理。
S863：另一方面，在级别level_idc的值不小于TH1的情况下，双预测限制PU判定部1218A进一步判定级别level_idc的值是否小于给定的阈值TH2。
S864：在级别level_idc的值小于TH2的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize(＝3)一致，且PU的模式为2N×2N以外的模式的PU，限制双预测。
即，在S864中，针对作为最小CU尺寸的8×8的CU，限制8×8PU以外(2N×2N)的PU中的双预测。
S865：在级别level_idc的值不小于TH2的情况下，双预测限制PU判定部1218A将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize(＝4)一致，且PU的模式为N×N的PU(最小PU)，限制双预测。
即，在S865中，在最小CU尺寸为8×8以外(例如，16×16)的情况下，针对与最小CU尺寸一致的尺寸的CU，限制了最小PU(N×N)中的双预测。此外，在S864以及S865中，双预测限制PU判定部1218A可以按照级别level_idc的值，参考图84的表的MaxLog2MinCUSize来决定Log2MinCUSize。例如，如图84所示，在级别level_idc的值为TH1以上且小于TH2的情况下，MaxLog2MinCuSize＝3，因此在S864中，双预测限制PU判定部1218A能使用MaxLog2MinCuSize＝3，来作为Log2MinCUSize的值。在S865中也同样地，双预测限制PU判定部1218A能使用MaxLog2MinCuSize＝4来作为Log2MinCUSize的值。
[作用/效果]
在本构成例中，按照级别的值来变更进行双预测限制的尺寸。根据本构成例，能不使用进行双预测限制的标志，而对应于以级别示出的目的的环境来实现双预测的限制。
通过如以上的(1A)～(1E)所示来构成，能实现图60所示那样的自适应的制约/限制。此外，如图84、图85所示，还能通过编码数据的限制的级别规制，来实现图60所示那样的自适应的制约/限制。
[2-3-3]用于进行部分双预测限制的构成
以下，再次参考图61来说明用于进行部分双预测限制的构成。图61所示的构成是在图43所示的构成中将双单预测变换部1219变更为双单预测变换部1219A而得到的。
双单预测变换部1219A对所导出的合并候选进行部分双预测限制。更具体而言，以下所示。
首先，双单预测变换部1219A分别获取由相邻合并候选导出部1212A、时间性合并候选导出部1212B所导出的合并候选。
而且，在已获取的合并候选的运动补偿参数表示双预测、且进而在双预测限制PU判定部1218A中判定为进行双预测限制的情况下，双单预测变换部1219A针对已获取的合并候选的至少一部分来限制双预测。
在此，作为从已获取的合并候选中选择对双预测进行限制的合并候选的方法，可列举选择排头N个的合并候选的方法。双单预测变换部1219A例如可以从相邻合并候选中选择排头1个、或排头2个合并候选(双预测)。
另外，可以从相邻合并候选中选择1个或2个，以及从时间性合并候选中选择1个。在8×8PU的双预测中，通过发明者们的实验，得到了对时间性合并候选进行双单变换是有用的这一发现，因此在合并候选当中的进行双单变换的合并候选中包含时间性合并候选的构成是有效的。
也就是，双单预测变换部1219A对选择出的合并候选进行双单变换。关于双单变换如上所述，因此在此省略其说明。
[处理的流程]
使用图71，针对双单预测变换部1219A的处理的流程说明如下。图71是表示合并运动补偿参数导出部1212以及双单预测变换部1219A的处理的流程的一例的流程图。
如图71所示，若相邻合并候选导出部1212A导出相邻合并候选(S711)，则双单预测变换部1219A对所导出的相邻合并候选进行双单变换处理(S714)。在S714中，在双预测限制PU判定部1218A中判定为进行双预测限制的情况下，双单预测变换部1219A针对排头N个的相邻合并候选进行双单变换处理。此外，在图71的图中，虚线示出了与S711～S713的处理并行地执行S714。另外，双单预测变换部1219A从相邻合并候选导出部1212A中1个个地逐次获取所导出的合并候选。但不限于此，双单预测变换部1219A也可以一举获取在相邻合并候选导出部1212A中所导出的合并候选的全部。
接下来，若时间性合并候选导出部1212B导出时间性合并候选(S712)，则双单预测变换部1219A对所导出的时间性合并候选进行双单变换处理(S714)。此时，在S714中，双单预测变换部1219A既可以针对排头N个的时间性合并候选进行双单变换处理，也可以针对全部的时间性合并候选进行双单变换处理，另外，可以省略双单变换处理。
而且，若其他的合并候选被导出(S713)且双单预测变换部1219A中的双单变换处理完成，则处理结束。
[作用/效果]
双单预测变换部1219A从相邻合并候选导出部1212A逐次获取相邻合并候选，在限制了双预测限制的情况下，针对排头N个的合并候选进行双单变换处理。
根据上述构成，针对一部分的合并候选进行双单变换处理，因此较之于针对全部的合并候选进行双单变换处理的情况，将减轻双单变换处理的处理负荷。另外，若设为在至少1个时间性合并候选中进行双单变换的构成，则在处于较大的PU尺寸的8×8PU中进行了双预测限制的情况下，8×8PU的时间性合并候选也为单预测，即被保证可使用，因此能将编码效率的下降抑制在最小限度。另外，由于并行地执行合并候选导出处理与双单变换处理，因此能高效地进行处理。
(变形例)
说明本构成的优选的变形例1～3。
(变形例1)
双单预测变换部1219A可以构成为：在全部的合并候选被导出、且合并候选列表被存放至合并候选存放部1212H后，进行双单预测处理。
为此，如图72所示进行构成变更。图72所示的构成是在图61所示的构成中，将双单预测变换部1219A变更为双单预测变换部1219B而得到的，其中，双单预测变换部1219B基于来自合并候选导出控制部1212G的合并候选列表完成通知而对存放在合并候选存放部1212H中合并候选列表进行双单变换处理。
此外，双单预测变换部1219B中的双单变换处理自身与双单预测变换部1219A同样，因此省略其说明。
[处理的流程]
使用图73，针对图72所示的双单预测变换部1219B的处理的流程，说明如下。图73是表示合并运动补偿参数导出部1212以及双单预测变换部1219B的处理的流程的一例的流程图。
S731～S733与使用图44而示出的S101～S103同样，因此省略其说明。
在紧接S733的S734中，若为B切片(S734中的“是”)，则双预测限制PU判定部1218A判定是否进行双预测限制(S735)。
在进行双预测限制的情况(S735中的“是”)下，双单预测变换部1219B进行合并候选列表的排头N个的合并候选的双单变换(S736)。而且，在双单变换的执行后，导出其他的合并候选(S737)。
与此相对，在不是B切片(S734中的“否”)或不进行双预测限制的情况(S735中的“否”)下，不进行双单变换而导出其他的合并候选(S737)。
[作用/效果]
在通过执行S731～S733而在合并候选存放部1212H中生成合并候选列表后，对双预测限制进行了限制的情况下，双单预测变换部1219B针对合并候选列表的排头N个的合并候选进行双单变换处理。
根据上述构成，由于针对一部分的合并候选进行双单变换处理，因此较之于针对全部的合并候选进行双单变换处理的情况，将减轻双单变换处理的处理负荷。
另外，S731～S733能与S101～S103同样地构成，因此关于合并候选生成处理，能不相对于图44进行大幅度变更即可。如此，能通过简易的构成变更来实现部分双预测限制处理。
(比较)
在此，若进行图61、图71所示的构成与图72、图73所示的构成的比较，则如下所示。
图61、图71所示的构成如已说明的那样，是并行地执行合并候选导出处理与双单变换处理的构成。
因此，一系列的处理的时序表例如如图74所示。在图74所示的时序图中，导出了合并候选A～E，其中，通过双预测的限制来对2个合并候选进行了双单变换。另外，设较之于合并候选A、B、以及D的导出，合并候选C、E的导出更花时间。
如图74所示，合并候选A、B是合并候选A～E中的排头2个合并候选，因此成为双单变换的对象。合并候选A、B的双单变换是在处理时间长的合并候选C、E的执行中并行进行的。故而，在图74所示的例子中，若合并候选C、D的导出处理结束，则开始列表创建处理，通过使列表创建处理结束而使处理全体结束。
与此相对，图72、图73所示的构成是在生成合并候选列表后进行双单变换处理的构成。
因此，一系列的处理的时序图例如如图75所示。图75所示的时序图也与图74同样，导出了合并候选A～E，其中，通过双预测的限制来对2个合并候选进行双单变换。另外，设较之于合并候选A、B、以及D的导出，合并候选C、E的导出更花时间。
在图75所示的例子中，在合并候选A～E被导出后，从合并候选列表完成起，进行了双单变换。
由此，若对图74以及图75所示的例子进行比较，则在图75所示的例子中，较之于图74所示的例子，处理全体结束的时间将会晚进行双单变换的处理时间的量。
另一方面，图75所示的例子中，在合并候选列表创建后追加进行双单变换的处理即可，不必变更从合并候选导出起至合并候选列表创建为止的逻辑。
另外，在图74所示的例子中，在将双单变换后的合并候选作为合并候选列表存放至合并候选存放部1212H后进行唯一校验。由此，如图75所示，若较之于对创建后的合并候选列表中所含的合并候选进行双单变换的情况，则在图73所示的例子中，合并候选列表中所含的合并候选的唯一性得以确保。
另外，尽管在时序图上不利，但也可以设为对双单预测变换部1219A与双单预测变换部1219B进行了组合的类型的构成。即，可以构成为，只针对时间性合并候选，在合并候选导出时(合并候选列表存放前)进行双单变换，而针对除此以外的合并候选，在合并候选列表存放后进行双单变换。在此情况下，能保证在8×8PU中的双预测限制中，有效的时间性合并候选中进行双单变换的同时，以简易的构成进行双单变换。
(变形例2)
在双单预测变换部1219B中，可以根据合并候选列表中所含的单预测的数量来进行双单变换。
具体而言，在双单预测变换部1219B中，在合并候选导出时对单预测的数量进行计数，可以只在合并候选列表中没有N个以上的单预测的情况下，对排头N个的合并候选进行双单变换。此外，N是正整数，例如能设为N＝1。
根据上述构成，在合并候选列表中存在N个以上的单预测的情况下，可以不进行双单变换，因此能谋求合并候选导出处理的负荷减轻。
(变形例3)
双单预测变换部1219A或双单预测变换部1219B可以对应于针对双预测的合并候选的2个运动矢量是否为非整数运动矢量的情况来进行双单变换。
在此，非整数运动矢量是指，在将像素位置表现为整数值时，至少一部分的该运动矢量的分量由非整数来表征的矢量。与此相对，在将像素位置表现为整数值时，将该运动矢量的分量全部由整数表征的矢量称为整数运动矢量。
由于对非整数运动矢量应用用于生成插值图像的插值滤波器，因此处理负荷变高，另外，运动补偿所需的参考像素的范围变大，因此用于参考像素的转发的转发量有变高的趋势。与此相对，在整数运动矢量的情况下，这样的滤波器处理不是必须的。
另外，在整数运动矢量的情况下，运动补偿所需要的参考范围与对象块相同。由此，在双预测中包含整数运动矢量的情况下，即使进行双预测，转发量以及处理量也不会变得那么多。
为此，双单预测变换部1219A或双单预测变换部1219B在针对双预测的合并候选的2个运动矢量的至少一者为整数运动矢量的情况下，可以省略双单变换。
即，双单预测变换部1219A或双单预测变换部1219B可以只在针对双预测的合并候选的2个运动矢量均是非整数运动矢量的情况下进行双单变换。
另外，可以将双单预测变换部1219A或双单预测变换部1219B构成如下。即，双单预测变换部1219A或双单预测变换部1219B在针对双预测的合并候选的2个运动矢量均是整数运动矢量的情况下，可以省略双单变换。
另外，双单预测变换部1219A或双单预测变换部1219B在针对双预测的合并候选的2个运动矢量的至少一者是非整数运动矢量的情况下，可以进行双单变换。
根据上述构成，由于不必针对双预测的全部来进行双单变换，因此能将双预测限制所涉及的合并候选的变换抑制至最小限度。
[2-3-4]运动矢量的整数化
以下，使用图76～图80来说明运动矢量的整数化。首先，使用图76，公开用于进行运动矢量的整数化的构成。图76所示的构成是在图61所示的构成中，将双单预测变换部1219A变更为运动矢量整数化部1220而得到的。
运动矢量整数化部1220将非整数运动矢量中所含的1个以上的非整数的分量当中至少1个分量变换成整数的分量。以下，将运动矢量整数化部1220所执行的上述变换称为运动矢量的整数化。
更具体而言，运动矢量整数化部1220在双预测被限制的情况下，在从相邻合并候选导出部1212A或时间性合并候选导出1212B输入的合并候选中包含双预测时，判定双预测的2个运动矢量是否为非整数运动矢量。而且，在双预测的2个运动矢量当中至少一者为非整数运动矢量的情况下，运动矢量整数化部1220使该非整数运动矢量整数化。
接下来，使用图77～图80来说明整数化处理的具体例。图77～图80是表示运动矢量整数化部1220中的整数化处理的具体例的图。
此外，以下，设运动矢量由(X，Y)的二维座标显示来表征。另外，在以下的说明中，为了说明方便，非整数运动矢量不仅指X分量、Y分量，还指作为非整数的非整数运动矢量。另外，mv_Lx表示列表Lx(x＝0或1)的运动矢量。另外，mv_Lx[0]表示运动矢量的X分量，mv_Lx[1]表示运动矢量的Y分量。
[使X座标整数化]
运动矢量整数化部1220可以如图77所例示那样使运动矢量的X座标整数化。以下，说明图77所示的伪代码的各步骤S。
S771：判定L0的运动矢量是否为非整数矢量。此外，运动矢量的座标分量的下位2比特是表征小数位置的比特。“mv_L0[x]&3”(x＝0or1)判定了座标分量的下位2比特是否为“11(3)”，判定了座标位置是否示出了小数位置。
S772：在L0的运动矢量为非整数矢量的情况下，通过将L0的X座标的下位2比特设定为“00”来进行L0的运动矢量的X座标的整数化。此外，“～”是比特否定的运算符，“～3”是“11”的比特否定，即表示“00”。另外，“&＝”是比特积代入的运算符。例如，“A&＝B”表示“A＝A&B”。
S773：判定L1的运动矢量是否为非整数矢量。
S774：在L1的运动矢量为非整数矢量的情况下，进行L1的运动矢量的X座标的整数化。
[使Y座标整数化]
另外，运动矢量整数化部1220可以如图78所例示那样，使运动矢量的Y座标整数化。以下，说明图78所示的伪代码的各步骤S。
S781：判定L0的运动矢量是否为非整数矢量。
S782：在L0的运动矢量为非整数矢量的情况下，进行L0的运动矢量的Y座标的整数化。
S783：判定L1的运动矢量是否为非整数矢量。
S784：在L1的运动矢量为非整数矢量的情况下，进行L1的运动矢量的Y座标的整数化。
[使X座标以及Y座标整数化]
另外，运动矢量整数化部1220可以如图79所例示那样，使运动矢量的X座标以及Y座标整数化。以下，说明图79所示的伪代码的各步骤S。
S791：判定L0的运动矢量是否为非整数矢量。
S792：在L0的运动矢量为非整数矢量的情况下，进行L0的运动矢量的X座标以及Y座标的整数化。
S793：判定L1的运动矢量是否为非整数矢量。
S794：在L1的运动矢量为非整数矢量的情况下，进行L1的运动矢量的X座标以及Y座标的整数化。
[仅在一方的列表使X座标以及Y座标整数化]
另外，运动矢量整数化部1220可以如图80所例示那样，可以仅使一方的列表的运动矢量的X座标以及Y座标整数化。以下，说明图80所示的伪代码的各步骤S。
S801：判定LX的运动矢量是否为非整数矢量(其中，X＝0或1)。
S802：在LX的运动矢量为非整数矢量的情况下，进行LX的运动矢量的X座标以及Y座标的整数化。
[作用/效果]
如已说明的那样，在整数运动矢量的情况下，可以不必进行基于插值滤波器的滤波器处理。由此，运动补偿所参考的参考范围与对象块一致。故而，即使进行双预测，滤波器处理的处理量以及参考像素的转发量也不会变得那么多。
故而，在双预测的运动矢量的至少一者是X座标以及Y座标均为非整数分量的非整数运动矢量的情况下，若能将X座标以及Y座标均具有非整数分量的非整数运动矢量的至少一方的非整数分量变换成整数分量，则较之于将非整数运动矢量直接处理，还存在处理量以及转发量被更加得到抑制的情况。
另外，若将非整数运动矢量变换成整数运动矢量，则参考范围与对象块一致，因此能进一步谋求处理量以及转发量的减轻。
此外，运动矢量整数化部1220对于X座标以及Y座标的任一者不是非整数分量的非整数运动矢量，也可以应用上述整数化处理。
(3)TU信息解码部的细节
接下来，使用图16来说明TU信息解码部13以及解码模块10的构成例。图16是针对在运动图像解码装置1中用于进行TU分割解码处理、变换系数解码处理、以及预测残差导出处理的构成，即，TU信息解码部13以及解码模块10的构成进行例示的功能框图。
以下，按照TU信息解码部13以及解码模块10的顺序，来说明各部的构成。
[TU信息解码部]
如图16所示，TU信息解码部13具备TU分割设定部131以及变换系数还原部132。
TU分割设定部131基于从编码数据解码出的参数、CU尺寸以及PU分割类型，来设定TU分割的方式。另外，变换系数还原部132遵照由TU分割设定部131设定的TU分割，来还原各TU的预测残差。
[TU分割设定部]
首先，参照图16来说明TU分割设定部131的细节。TU分割设定部131，更具体而言，具备：对象区域设定部1311、分割决定部1312、分割区域设定部(变换单位分割单元、分割单元)1313、以及变换尺寸决定信息存储部1314。
对象区域设定部1311设定作为对象区域的节点即对象节点。对象区域设定部1311在针对对象变换树而开始了TU分割的处理时，设定对象CU全体作为对象区域的初始值。另外，将分割的深度设定为“0”。
分割决定部1312使用区域分割标志解码部1031来对表示是否分割由对象区域设定部1311设定的对象节点的信息(split_transform_flag)进行解码，并基于解码出的信息来决定是否进行对象节点的分割。
分割区域设定部1313针对由分割决定部1312决定为要分割的对象节点来决定分割区域。具体而言，分割区域设定部1313针对决定为要分割的对象节点，不仅将分割的深度加1，而且基于变换尺寸决定信息存储部1314中所存储的变换尺寸决定信息来分割对象节点。
此外，通过分割而得到的各对象节点进一步由对象区域设定部1311作为对象区域进行设定。
即，在TU分割中，针对分割出的对象节点，由对象区域设定部1311、分割决定部1312以及分割区域设定部1313递归式地反复进行“对象区域的设定”、“分割的决定”、以及“分割区域的设定”的一系列的处理。
在变换尺寸决定信息存储部1314中存储有表示对象节点的分割方式的变换尺寸决定信息。变换尺寸决定信息，具体而言，是对CU的尺寸、TU分割的深度(trafoDepth)、以及对象PU的PU分割类型、与TU分割图案的对应关系进行定义的信息。
在此，使用图17，关于变换尺寸决定信息的具体的构成例，说明如下。在图17所示的变换尺寸决定信息中，根据CU的尺寸、TU分割的深度(trafoDepth)、以及对象PU的PU分割类型，定义了TU分割图案。此外，此外，表中的“d”表示CU的分割深度。
在变换尺寸决定信息中，作为CU的尺寸，定义了64×64、32×32、16×16、以及8×8的4种。
另外，在变换尺寸决定信息中，根据CU的尺寸，定义了可选择的PU分割类型。
在CU的尺寸为64×64、32×32、以及16×16的情况下，作为PU分割类型，能选择2N×2N、2N×nU、2N×nD、N×2N、nL×2N、以及nR×2N的任一者。
另外，在CU的尺寸为8×8的情况下，作为PU分割类型，能选择2N×2N、2N×N以及N×2N的任一者。
另外，在变换尺寸决定信息中，根据CU的尺寸以及PU分割类型，定义了各TU分割的深度中的TU分割图案。
例如，在CU的尺寸为64×64的情况下，如下所示。首先，TU分割的深度“0”未被定义，64×64的CU强制地进行分割(在图17中以※1示出)。这是由于，将变换单位的最大尺寸定义为32×32。
在TU分割深度“1”以及“2”，在仅包含正方形的四叉树分割的情况下与在仅包含非正方形的四叉树分割的情况下，定义了不同的TU分割图案。
在PU分割类型为2N×2N且仅包含正方形的四叉树分割的TU分割图案的情况下，在TU分割深度“1”，定义了32×32的正方形四叉树分割，在TU分割深度“2”，定义了16×16的正方形四叉树分割。
PU分割类型为2N×2N、2N×nU、2N×nD、N×2N、nL×2N以及nR×2N的任一者、且仅包含非正方形的四叉树分割的情况下的定义如下。
首先，在TU分割深度“1”，定义了32×32的正方形四叉树分割。接下来，在TU分割深度“2”，相对于PU分割类型：2N×2N、2N×nU、2N×nD，定义了32×8的非正方形四叉树分割，相对于PU分割类型：N×2N、nL×2N、nR×2N，定义了8×32的非正方形四叉树分割。
进而，针对CU的尺寸为8×8的情况，例示如下。在CU的尺寸为8×8的情况下，可选择的PU分割类型是2N×2N、2N×2、以及N×2N。针对各PU分割类型，在TU分割深度“1”，定义了8×8的正方形四叉树分割，在TU分割深度“2”，定义了4×4的正方形四叉树分割。此外，TU分割的深度“3”未被定义，而处于强制性地非分割(在图17中，以※2示出)。
在此，使用图20，针对TU分割设定部131中的TU分割，进一步详细说明如下。图20是CU的尺寸为32×32、且PU分割类型为2N×N的情况下的TU分割的例子的图。
首先，对象区域设定部1311在TU分割处理开始时，将对象CU全体作为对象区域的初始值进行设定，而且设为depth＝0。此外，在depth＝0，在区域垂直方向中央以虚线示出了PU边界B1。
接下来，分割决定部1312基于表示是否对对象节点进行分割的信息(split_transform_flag)，来决定对象节点的分割与否。
由于split＝1，因此分割决定部1312决定对对象节点进行分割。
分割区域设定部1313将depth加1，基于变换尺寸决定信息，针对对象节点来设定TU分割图案。分割区域设定部1313针对作为对象区域的对象CU，执行depth＝1的TU分割。
遵照图17所示的变换尺寸决定信息的定义，分割区域设定部1313在depth＝1处，将对象节点四叉树分割为32×8的区域。
由此，对象节点以图18的(b)所示的分割方式被分割为TU0、TU1、TU2、以及TU3的4个横长的长方形区域。
进而，对象区域设定部1311在depth＝1的分割深度，将TU0、TU1、TU2、以及TU3的各节点依次设定为对象区域。
在此，由于针对TU1设定了split＝1，因此分割决定部1312决定对TUl进行分割。
分割区域设定部1313针对TU1来执行depth＝2的TU分割。遵照图17所示的变换尺寸决定信息的定义，分割区域设定部1313在depth＝2，将对象节点四叉树分割为16×4的区域。
由此，作为对象节点的TU1以图19的(a)所示的分割方式被分割为TU1-0、TU1-1、TU1-2、以及TU1-3的4个横长的长方形区域。
[3-1]PU分割类型为非对称的情况下导出分割区域尺寸的构成例
分割区域设定部1313在PU分割类型为非对称的情况下，可以构成为：在小的一方的PU中应用长方形(非正方形)的变换，另一方面，在大的一方的PU的至少一部分中应用正方形的变换。
例如，在变换尺寸决定信息存储部1314中所存储的变换尺寸决定信息中，设置作为定义信息的小PU尺寸1314A、以及大PU尺寸1314B。
关于小PU尺寸1314A，定义为：在非对称地分割出的PU当中的小的尺寸的PU中应用长方形的变换。
关于大PU尺寸1314B，定义为：在非对称地分割出的PU当中的大的尺寸的PU中应用正方形的变换。
另外，分割区域设定部1313根据非对称地分割出的PU的尺寸，参考小PU尺寸1314A的定义信息和大PU尺寸1314B的定义信息的任一者，来设定分割区域。
使用图21，针对基于上述构成例的TU分割，说明如下。
图21是PU分割类型为2N×nU的情况下的基于上述构成例的TU分割的例子的图。
首先，对象区域设定部1311在TU分割处理开始时，将对象CU全体设定为对象区域的初始值，而且设depth＝0。此外，在depth＝0处，在比区域垂直方向中央更上方，以虚线示出了PU边界B2。
接下来，分割决定部1312基于表示是否对对象节点进行分割的信息(split_transform_flag)来决定对象节点的分割与否。
由于split＝1，因此分割决定部1312决定对对象节点进行分割。
分割区域设定部1313将depth加1，并基于变换尺寸决定信息，针对对象节点来设定TU分割图案。分割区域设定部1313针对作为对象区域的对象CU，执行depth＝1的TU分割。
在此，分割区域设定部1313遵照小PU尺寸1314A，针对非对称地分割出的PU当中的小的尺寸的PU，进行横长的长方形的TU分割。
另外，分割区域设定部1313遵照大PU尺寸1314B，针对非对称地分割出的PU当中的大的尺寸的PU，包含正方形的TU分割。此外，分割区域设定部1313针对位于PU边界侧的区域，如图21所示也可包含长方形的TU分割区域。
其结果是，分割区域设定部1313在depth＝1，将对象节点四叉树分割为2个长方形的节点以及2个正方形的节点。
由此，对象节点被分割为横长的长方形的TU0以及TU1、以及正方形的TU2以及TU3的4个区域。
进而，对象区域设定部1311在depth＝1的分割深度，将TU0、TU1、TU2、以及TU3的各节点依次设定为对象区域。
在此，由于针对TU0以及TU2设定了split＝1，因此分割决定部1312决定对TU0以及TU2进行分割。
分割区域设定部1313针对TU0以及TU2执行depth＝2的TU分割。分割区域设定部1313在depth＝2，将TU0进行TU分割，成为4个横长的长方形，将TU2进行TU分割，成为4个正方形。
由此，TU0被分割成4个横长的长方形区域的TU0-0、TU0-1、TU0-2、以及TU0-3。另外，TU2被分割成4个横长的长方形区域的TU2-0、TU2-1、TU2-2、以及TU2-3。
此外，如上所述，在进行PU分割类型为非对称的CU中的TU分割的情况下，优选按照分区不跨PU边界且分割后的各TU分割区域的面积变得相同的方式进行分割。
[作用/效果]
本发明还能如下地表现。即，本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个来生成预测图像，并按照将编码单位分割为1以上的数而得到的变换单位的每一个来解码预测残差，并通过对预测图像相加预测残差来还原图像的图像解码装置，向上述预测单位分割的分割类型包含将编码单位分割成多个不同大小的预测单位的非对称分割或将编码单位分割成多个相同大小的预测单位的对称分割，该图像解码装置具备：变换单位分割单元，其在成为解码对象的上述编码单位即对象编码单位的分割类型为非对称分割时，根据上述对象编码单位中所含的预测单位的大小，来决定变换单位的分割方式。
由此，在分割类型为非对称分割时，能根据上述对象编码单位中所含的预测单位的大小，来选择效率良好且能去除相关那样的变换单位的分割方式。
[3-2]在一部分的CU尺寸中，当PU分割类型为正方形的分割时应用非矩形变换的构成例
[构成例3-2-1]
分割区域设定部1313在PU分割类型为正方形的分割的情况下，可以将对象节点分割为非正方形。
为此，在变换尺寸决定信息存储部1314中所存储的变换尺寸决定信息中，在PU分割类型为正方形的分割的情况下，可以定义按照将对象节点分割为非正方形这一意思进行定义的正方形PU分割类型1314C。
而且，在PU分割类型为正方形的分割的情况下，分割区域设定部1313参考正方形PU分割类型1314C来将对象节点分割为非正方形。
在CU尺寸为32×32尺寸、且PU分割类型为2N×2N的情况下，分割区域设定部1313可以在TU分割中将区域分割为32×8的节点。
另外，在CU尺寸为32×32尺寸、且PU分割类型为2N×2N的情况下，分割区域设定部1313可以追加地解码表示TU分割的分割方式的信息，并基于解码出的信息而分割为32×8、16×16、8×32的任一者的节点。
另外，在CU尺寸为32×32尺寸、且PU分割类型为2N×2N的情况下，分割区域设定部1313可以基于相邻CU的尺寸以及PU分割类型，来估计对对象CU进行分割的TU尺寸。另外，分割区域设定部1313可以按以下的(i)～(iii)来进行估计。
(i)在左边存在CU边界或PU边界、且在上边不存在CU边界以及PU边界的边界的情况下，选择32×8。
(ii)在上边存在CU边界或PU边界，且在左边不存在CU边界以及PU边界的边界的情况下，选择8×32。
(iii)上述(i)以及(ii)以外(在左边或上边存在边界，或在左边以及上边均不存在边界的情况下)，选择16×16。
[作用/效果]
本发明还能如下地表现。即，本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个来生成预测图像，并按照将编码单位分割为1以上的数而得到的变换单位的每一个来解码出预测残差，通过对预测图像相加预测残差来还原图像的图像解码装置，向上述变换单位进行分割的分割方式包含正方形以及长方形的分割，该图像解码装置具备：分割单元，其在成为解码对象的上述预测单位即对象预测单位的形状为正方形的情况下，通过长方形的分割方式来分割对象变换单位。
基于上述构成的作用/效果如下。与在区域内是否存在边沿、与图像是否具有方向性无关地，存在选择正方形的预测单位的情况。例如，在存在许多横边沿的目标正在移动的情况下，在目标内，运动是一样的，因此选择正方形的预测单位。然而，在这样的情况下，期望在变换处理中应用沿横边沿的、在水平方向上较长的形状的变换单位。
根据上述构成，在成为解码对象的上述预测单位即对象预测单位的形状为正方形的情况下，通过长方形的分割方式来分割对象变换单位。
由此，在正方形的编码单位中，也能选择长方形的变换单位，故而能使针对上述那样的区域的编码效率得以提高。
[构成例3-2-2]
在上述构成3-2-1的基础上，分割区域设定部1313在CU尺寸为16×16尺寸且PU分割类型为2N×2N的情况下，在各分割深度上进行分割如下。
分割深度＝1...分割为16×4的TU。
分割深度＝2...分割为4×4的TU。
根据上述构成，在4×4的TU，不依赖于16×16CU的PU分割类型，对扫描顺序进行统一。在4×4的TU，若因16×16CU的PU分割类型不同而导致扫描顺序不统一，则必须对应于16×16CU的PU分割类型来变更扫描处理，因此处理变复杂。由此，这样的扫描顺序的不统一易成为处理的瓶颈。
根据上述构成，使扫描顺序统一，从而起到能简化处理这样的效果。
使用图22以及图23，更具体地说明如下。首先，从图22所示的TU分割起进行说明。图22示出了遵照图17所示的变换尺寸决定信息进行了分割的情况下的TU分割的流程。
如图22的(a)所示，在PU分割类型为2N×2N的情况下...，在depth＝1，分割区域设定部1313进行对象节点的正方形的四叉树分割。另外，在depth＝2，分割区域设定部1313对分割为正方形的各节点，进一步进行正方形的四叉树分割。在此，扫描顺序使用递归式的z扫描。具体而言，如图22所图示。
如图22的(b)所示，在PU分割类型为2N×nU的情况下...，在depth＝1，分割区域设定部1313对对象节点进行横长的长方形的四叉树分割。另外，在depth＝2，分割区域设定部1313对分割为横长的长方形的各节点，进一步进行正方形的四叉树分割。在此，各TU的扫描顺序使用光栅扫描。具体而言，如图22所图示。
接下来，说明图23所示的TU分割。图23示出了在遵照正方形PU分割类型1314C进行了PU分割类型为2N×2N的区域的分割的情况下的TU分割的流程。
在PU分割类型：2N×2N的情况下...，在depth＝1，分割区域设定部1313对对象节点进行横长的长方形的四叉树分割。另外，在depth＝2，分割区域设定部1313对分割为横长的长方形的各节点进一步进行正方形的四叉树分割。
其结果，扫描顺序使用光栅扫描。由此，在PU分割类型为2N×nU的情况与为2N×2N的情况之间，扫描顺序能统一成光栅扫描。
[变换系数还原部]
接下来，再次参考图16来说明变换系数还原部132的细节。变换系数还原部132更具体而言，具备非零系数判定部1321以及变换系数导出部1322。
非零系数判定部1321使用判定信息解码部(系数解码单元)1032，对对象CU中所含的针对各TU或变换树的非零变换系数的存在与否信息进行解码，判定在各TU中是否存在非零变换系数。
变换系数导出部1322使用变换系数解码部(系数解码单元)1033来还原存在非零变换系数的各TU的变换系数，另一方面，将不存在非零变换系数的各TU的变换系数设定为0(零)。
[解码模块]
如图16所示，解码模块10具备：区域分割标志解码部1031、判定信息解码部1032、变换系数解码部1033、以及上下文存储部1034。
区域分割标志解码部1031根据从分割决定部1312提供的编码数据以及语法类别，由编码数据中所含的二进制进行语法值的解码。区域分割标志解码部1031对表示是否要分割对象节点的信息(split_transform_flag)进行解码。
判定信息解码部1032根据从变换系数导出部1322提供的非零变换系数的存在与否信息的编码数据以及语法类别，由该编码数据中所含的二进制进行语法值的解码。由判定信息解码部1032进行解码的语法，具体而言，是no_residual_data_flag、cbf_luma，cbf_cb、cbf_cr以及cbp等。
变换系数解码部1033根据从变换系数导出部1322提供的变换系数的编码数据以及语法类别，由该编码数据中所含的二进制进行语法值的解码。由变换系数解码部1033进行解码的语法，具体而言，是作为变换系数的绝对值的级别(level)、变换系数的符号(sign)、连续的零的游程的长度(run)等。
上下文存储部1034存储有判定信息解码部1032以及变换系数解码部1033在解码处理时所参考的上下文。
[3-3]在变换系数解码时参考上下文的具体的构成
判定信息解码部1032以及变换系数解码部1033分别在PU分割类型为非对称分割的情况下，可以构成为：对于小的一方的PU中所含的TU与大的一方的PU中所含的TU使用不同的上下文，对变换系数所涉及的语法值进行解码。例如，作为这样的语法的种类，包含：非零变换系数标志、变换系数级别、变换系数的游程、TU树的各节点中的非零变换系数的存在与否信息。也可以包含所述语法的组合。
为此，在上下文存储部1034中，可以存储：包含在小的一方的PU中的TU所参考的上下文中的变换系数所涉及的各种语法值对应的概率设定值即小PU尺寸1034A、以及包含在大的一方的PU中的TU所参考的上下文中的概率设定值即大PU尺寸1034B。在此，小PU尺寸1034A以及大PU尺寸1034B是与不同的上下文对应的概率设定值。
判定信息解码部1032，在对象TU包含于小的PU的情况下，参考小PU尺寸1034A，另一方面，在对象TU包含于大的一方的PU的情况下，参考大PU尺寸1034B，对对象TU中的Cbf(cbf_luma，cbf_cb，cbf_cr等)进行算术解码。
另外，变换系数解码部1033，在对象TU包含于小的PU的情况下，参考小PU尺寸1034A，另一方面，在对象TU包含于大的一方的PU的情况下，参考大PU尺寸1034B，对对象TU中的变换系数(level，sign，run等)进行算术解码。
此外，判定信息解码部1032以及变换系数解码部1033，在对象TU包含于大的一方的PU的情况下，在对象TU位于离小的一方的PU近的一侧时，也可以参考小PU尺寸1034A。
换言之，在对象TU包含于大的一方的PU的情况下，但对象TU位于PU边界的邻近时，判定信息解码部1032以及变换系数解码部1033也可以参考小PU尺寸1034A。
在小的一方的PU，存在边沿的可能性高，变换系数易发生。与此相对，在大的一方的PU，变换系数难以发生。在对象TU包含于小的PU的情况下与包含于大的一方的PU的情况下，通过使用不同的上下文，能进行与各区域内中的变换系数的发生概率相应的可变长解码。
[作用/效果]
本发明还能如下地表现。即，本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个来生成预测图像，并按照将编码单位分割为1以上的数而得到的变换单位的每一个来解码预测残差，通过对预测图像相加预测残差来还原图像的图像解码装置，向上述预测单位分割的分割类型包含：分割为不同大小的预测单位的向非对称形状的分割以及分割为相同大小的预测单位的向对称形状的分割，该图像解码装置具备：系数解码单元，其在成为解码对象的上述预测单位即对象预测单位的分割类型为向非对称形状的分割时，在通过该分割而得到的小的预测单位以及大的预测单位之间，参考不同的上下文来解码变换系数。
由此，能进行与小的预测单位中所含的变换单位以及大的预测单位中所含的变换单位的各自的区域内的变换系数的发生概率相应的可变长解码。
(处理的流程)
使用图24，关于运动图像解码装置1中的CU解码处理，说明如下。此外，以下，设对象CU是帧间CU或跳过CU。图24是表示运动图像解码装置1中的CU解码处理(帧间/跳过CU)的流程的一例的流程图。
若CU解码处理开始，则CU信息解码部11使用解码模块10来针对对象CU解码CU预测信息(S11)。该处理是以CU单位进行的。
具体而言，在CU信息解码部11中，CU预测模式决定部111使用解码模块10来对跳过标志SKIP进行解码。另外，若跳过标志未示出是跳过CU，则CU预测模式决定部111进而使用解码模块10来对CU预测类型信息Pred_type进行解码。
接下来，进行PU单位的处理。即，PU信息解码部12所具备的运动补偿参数导出部121对运动信息进行解码(S12)，而且预测图像生成部14基于解码出的该运动信息，通过帧间预测来生成预测图像(S13)。
接下来，TU信息解码部13进行TU分割解码处理(S14)。具体而言，在TU信息解码部13中，TU分割设定部131基于从编码数据解码出的参数和CU尺寸以及PU分割类型，来设定TU分割的方式。该处理是以CU单位进行的。
接下来，进行TU单位的处理。即，TU信息解码部13对变换系数进行解码(S15)，逆量化/逆变换部15由解码出的变换系数导出预测残差(S16)。
接下来，在加法器17中，通过对预测图像与预测残差进行相加来生成解码图像(S17)。该处理是以CU单位来进行的。
〔运动图像编码装置〕
以下，参考图25以及图26来说明本实施方式所涉及的运动图像编码装置2。
(运动图像编码装置的概要)
运动图像编码装置2，简言之，是通过对输入图像#10进行编码来生成编码数据#1并输出的装置。
(运动图像编码装置的构成)
首先，使用图25来说明运动图像编码装置2的构成例。图25是表示运动图像编码装置2的构成的功能框图。如图25所示，运动图像编码装置2具备：编码设定部21、逆量化/逆变换部22、预测图像生成部23、加法器24、帧存储器25、减法器26、变换/量化部27、以及编码数据生成部(编码单元)29。
编码设定部21基于输入图像#10来生成与编码相关的图像数据以及各种的设定信息。
具体而言，编码设定部21生成下一图像数据以及设定信息。
首先，编码设定部21通过将输入图像#10依次分割成切片单位、树块单位，来生成关于对象CU的CU图像#100。
另外，编码设定部21基于分割处理的结果来生成报头信息H’。报头信息H’包含：(1)属于对象切片的树块的尺寸、形状以及在对象切片内的位置有关的信息、以及(2)属于各树块的CU的尺寸、形状以及在对象树块内的位置有关的CU信息CU’。
进而，编码设定部21参考CU图像#100以及CU信息CU’来生成PT设定信息PTI’。在PT设定信息PTI’中，包含：(1)对象CU的到各PU的可能的分割图案、以及(2)能分配给各PU的预测模式的全部的组合有关的信息。
编码设定部21计算各分割图案以及各预测模式的组合的成本，来决定最低成本的分割图案以及预测模式。
编码设定部21将CU图像#100提供给减法器26。另外，编码设定部21将报头信息H’提供给编码数据生成部29。另外，编码设定部21将PT设定信息PTI’提供给预测图像生成部23。
逆量化/逆变换部22通过对由变换/量化部27提供的每块的量化预测残差进行逆量化以及逆正交变换，来还原每块的预测残差。关于逆正交变换，与针对图2所示的逆量化/逆变换部15所说明的相同，故在此省略其说明。
另外，逆量化/逆变换部22遵照由TT分割信息(后述)指定的分割图案来综合每块的预测残差，生成针对对象CU的预测残差D。逆量化/逆变换部22将针对已生成的对象CU的预测残差D提供给加法器24。
预测图像生成部23参考帧存储器25中所记录的局部解码图像P’、以及PT设定信息PTI’，生成针对对象CU的预测图像Pred。预测图像生成部23将通过预测图像生成处理而得到的预测参数设定为PT设定信息PTI’，并将设定后的PT设定信息PTI’转发至编码数据生成部29。此外，预测图像生成部23所执行的预测图像生成处理与运动图像解码装置1所具备的预测图像生成部14相同，故在此省略说明。
加法器24通过将由预测图像生成部23提供的预测图像Pred与由逆量化/逆变换部22提供的预测残差D进行相加，来生成针对对象CU的解码图像P。
在帧存储器25中，依次记录解码出的解码图像P。在帧存储器25中，在对对象树块进行解码的时间点上，与用于该解码图像P的解码的参数一起记录有与先于该对象树块解码出的全部的树块(例如，光栅扫描顺序下先行的全部的树块)对应的解码图像。
减法器26通过从CU图像#100中减去预测图像Pred，来生成针对对象CU的预测残差D。减法器26将已生成的预测残差D提供给变换/量化部27。
变换/量化部27通过对预测残差D进行正交变换以及量化来生成量化预测残差。此外，在此正交变换是指，从像素区域到频域的正交变换。另外，作为逆正交变换的例子，可列举DCT变换(Discrete Cosine Transform)以及DST变换(Discrete Sine Transform)等。
具体而言，变换/量化部27参考CU图像#100以及CU信息CU’，来决定对象CU到1个或多个块的分割图案。另外，遵照所决定的分割图案，来将预测残差D分割成针对各块的预测残差。
另外，变换/量化部27在通过对针对各块的预测残差进行正交变换而生成了频域上的预测残差后，通过对该频域上的预测残差进行量化来生成每块的量化预测残差。
另外，变换/量化部27生成包含已生成的每块的量化预测残差、对对象CU的分割图案进行指定的TT分割信息、以及对象CU到各块的可能的全部分割图案有关的信息在内的TT设定信息TTI’。变换/量化部27将已生成的TT设定信息TTI’提供给逆量化/逆变换部22以及编码数据生成部29。
在以PT设定信息PTI’示出的预测类型为帧间预测的情况下，PU信息生成部30对PT设定信息PTI’进行编码，并导出PT设定信息PTI。另外，生成针对合并候选的PTI设定信息PTI’，并提供给编码设定部21。
编码数据生成部29对报头信息H’、TT设定信息TTI’、以及PT设定信息PTI’进行编码，并将编码出的报头信息H、TT设定信息TTI、以及PT设定信息PTI进行复用来生成编码数据#1并输出。
(与运动图像解码装置的对应关系)
运动图像编码装置2包含与运动图像解码装置1的各构成对应的构成。在此，对应是指，处于进行同样的处理或互逆的处理的关系。
例如，如上所述，运动图像解码装置1所具备的预测图像生成部14的预测图像生成处理与运动图像编码装置2所具备的预测图像生成部23的预测图像生成处理相同。
例如，在运动图像解码装置1中，从比特串解码语法值的处理与在运动图像编码装置2中从语法值编码出比特串的处理，作为互逆的处理而对应。
以下，说明运动图像编码装置2中的各构成与运动图像解码装置1的CU信息解码部11、PU信息解码部12以及TU信息解码部13处于怎样的对应。由此将进一步明确运动图像编码装置2中的各构成的动作/功能。
编码数据生成部29对应于解码模块10。更具体而言，解码模块10基于编码数据以及语法类别来导出语法值，相对于此，编码数据生成部29基于语法值以及语法类别来生成编码数据。
编码设定部21对应于运动图像解码装置1的CU信息解码部11。将编码设定部21与CU信息解码部11比较如下。
CU信息解码部11将CU预测类型信息所涉及的编码数据和语法类别提供给解码模块10，并基于由解码模块10解码出的CU预测类型信息来决定PU分割类型。
与此相对，编码设定部21决定PU分割类型并生成CU预测类型信息，并将CU预测类型信息所涉及的语法值和语法类别提供给编码数据生成部29。
此外，编码数据生成部29可以具备与解码模块10所具备的二值化信息存储部1012、上下文存储部1013、以及概率设定存储部1014同样的构成。
PU信息生成部30以及预测图像生成部23对应于运动图像解码装置1的PU信息解码部12以及预测图像生成部14。将它们比较如下。
如上所述，PU信息解码部12将运动信息所涉及的编码数据和语法类别提供给解码模块10，并基于由解码模块10解码出的运动信息来导出运动补偿参数。另外，预测图像生成部14基于所导出的运动补偿参数来生成预测图像。
与此相对，PU信息生成部30以及预测图像生成部23在预测图像生成处理中决定运动补偿参数，并将运动补偿参数所涉及的语法值和语法类别提供给编码数据生成部29。
另外，PU信息生成部30以及预测图像生成部23可以具备与PU信息解码部12所具备的合并候选优先顺位信息存储部122、以及参考帧设定信息存储部123同样的构成。
变换/量化部27对应于运动图像解码装置1的TU信息解码部13以及逆量化/逆变换部15。将它们比较如下。
TU信息解码部13所具备的TU分割设定部131将表示是否进行节点的分割的信息所涉及的编码数据以及语法类别提供给解码模块10，并基于由解码模块10解码出的表示是否进行节点的分割的信息来进行TU分割。
进而，TU信息解码部13所具备的变换系数还原部132将判定信息以及变换系数所涉及的编码数据以及语法类别提供给解码模块10，并基于由解码模块10解码出的判定信息以及变换系数来导出变换系数。
与此相对，变换/量化部27决定TU分割的分割方式，并将表示是否进行节点的分割的信息所涉及的语法值以及语法类别提供给编码数据生成部29。
另外，变换/量化部27将对预测残差进行变换/量化而得到的量化变换系数所涉及的语法值以及语法类别提供给编码数据生成部29。
此外，变换/量化部27可以具备与TU分割设定部131所具备的变换尺寸决定信息存储部1314同样的构成。另外，编码数据生成部29可以具备与解码模块10所具备的上下文存储部1034同样的构成。
(PU信息生成部30的细节)
图55是表示PU信息生成部30的构成的框图。PU信息生成部30具备用于生成运动补偿参数的运动补偿参数生成部301。运动补偿参数生成部301具备：双预测限制PU判定部1218、双单预测变换部1219、合并运动补偿参数生成部3012、以及基本运动补偿参数生成部3013。合并运动补偿参数生成部3012生成合并候选，并作为PTI设定信息PTI’而提供给编码设定部21。另外，合并运动补偿参数生成部3012将用于选择合并候选的索引作为PT设定信息PTI进行输出。基本运动补偿参数生成部3013根据所输入的PTI设定信息PTI’，在此为运动补偿参数，来编码PT设定信息PTI。
接下来，使用图56，关于合并运动补偿参数生成部3012的更详细的构成，说明如下。图56是表示合并运动补偿参数生成部3012的构成的框图。此外，跳过PU的运动参数导出也在合并运动补偿参数生成部3012中进行。
合并运动补偿参数生成部3012由相邻合并候选导出部1212A、时间性合并候选导出部1212B、唯一候选导出部1212C、结合双预测合并候选导出部1212D、非缩放双预测合并候选导出部1212E、零矢量合并候选导出部1212F、合并候选导出控制部1212G、合并候选存放部1212H构成。
用于导出合并候选的处理与合并运动补偿参数导出部1212同样地，针对在双预测限制PU判定部1218中判定为要进行双预测限制的小尺寸的PU，使用双单预测变换部1219，若为双预测，则变换成单预测的运动补偿参数，从而仅导出单预测的合并候选。各部的细节已说明，故省略。
合并运动补偿参数生成部3012生成合并候选作为PTI设定信息PTI’而提供给编码设定部21。另外，将合并索引作为PT设定信息PTI提供给编码数据生成部29。
接下来，使用图57，关于基本运动补偿参数生成部3013的更详细的构成，说明如下。图57是表示基本运动补偿参数生成部3013的构成的框图。基本运动补偿参数生成部3013由相邻运动矢量候选导出部1213A、时间性运动矢量候选导出部1213B、零矢量合并候选导出部1213F、运动矢量候选导出控制部1213G、运动矢量候选存放部1213H、运动矢量候选选择部3013A、差分运动矢量计算部3013B构成。
导出预测运动矢量候选的处理与图54所示的基本运动补偿参数导出部1213相同，故省略说明。运动矢量候选选择部3013A从运动矢量候选存放部1213H中所存放的预测运动矢量候选之中选择离所提供的预测运动矢量最近的预测运动矢量候选，并将其索引作为预测运动矢量索引进行导出。所选择的预测运动矢量被提供给差分运动矢量计算部3013B。差分运动矢量计算部3013B将所提供的运动矢量与预测运动矢量的差分作为差分运动矢量进行计算。帧间预测标志、参考索引编号、以及所导出的预测运动矢量索引、差分运动矢量作为PT设定信息PT而被提供给编码数据生成部29。
(与具体的构成的对应关系)
[1]’编码设定部以及编码数据生成部
[1-1]’对上下文的参考进行限制的构成例
编码数据生成部29在PU分割类型为非对称分区时，也可以不使用CABAC的上下文而对表示非对称分区的分割的种类的信息进行编码处理。
具体的构成例如与在运动图像解码装置1的构成例[1-1]中说明的相同，故在此省略说明。其中，将构成例[1-1]的说明中的“CU预测模式解码部1011”、“概率设定存储部1014”、以及“解码(进行)”分别改称为“编码数据生成部29”、“相当于概率设定存储部1014的构成”、以及“编码(进行)”。
[1-2]’对CU预测类型信息(pred_type)进行编码的构成
编码数据生成部29可以构成为：参考二值化信息来对CU预测类型信息进行编码。
具体的构成例如与在运动图像解码装置1的构成例[1-2]中说明的相同，故在此省略说明。其中，将构成例[1-2]的说明中的“CU预测模式解码部1011”、“二值化信息存储部1012”、以及“解码(进行)”分别改称为“编码数据生成部29”、“相当于二值化信息存储部1012的构成”、以及“编码(进行)”。
[1-3]’在小尺寸的CU中针对帧内CU来编码短的码的构成
编码数据生成部29可以构成为：在小尺寸的CU中，针对帧内CU来编码出短的码。
具体的构成例如与在运动图像解码装置1的构成例[1-3]中说明的相同，故在此省略说明。其中，将构成例[1-3]的说明中的“CU预测模式解码部1011”、“上下文存储部1013”、“二值化信息存储部1012”、以及“解码(进行)”分别改称为“编码数据生成部29”、“相当于上下文存储部1013的构成”、“相当于二值化信息存储部1012的构成”、以及“编码(进行)”。
[1-4]’根据邻近的预测参数来变更bin串的解释的构成
编码数据生成部29可以构成为：参考分配给相邻区域的预测参数来变更bin串的解释。
具体的构成例如与在运动图像解码装置1的构成例[1-4]中说明的相同，故在此省略说明。其中，将构成例[1-4]的说明中的“CU预测模式解码部1011”、“二值化信息存储部1012”、以及“解码(进行)”分别改称为“编码数据生成部29”、“相当于二值化信息存储部1012的构成”以及“编码(进行)”。
[2]’预测图像生成部以及编码数据生成部
[2-1]’合并候选的位置以及优先顺位的例
PU信息生成部30在PU分割类型为非对称的情况下，可以构成为：以与PU分割类型为对称的情况不同的方法来决定合并候选的优先顺位。
具体的构成例如与在运动图像解码装置1的构成例[2-1]中说明的相同，故在此省略说明。其中，将构成例[2-1]的说明中的“运动补偿参数导出部121”、以及“合并候选优先顺位信息存储部122”分别改称为“运动补偿参数生成部301”、以及“相当于合并候选优先顺位信息存储部122的构成”。
[2-2]’基于CU尺寸与跳过/合并的组合的合并候选的变更
PU信息生成部30可以构成为：根据CU尺寸、与该CU是否为进行跳过/合并的CU的组合，来变更合并候选。
具体的构成例如与在运动图像解码装置1的构成例[2-2]中说明的相同，故在此省略说明。其中，将构成例[2-2]的说明中的“运动补偿参数导出部121”、以及“合并候选优先顺位信息存储部122”分别改称为“运动补偿参数生成部301”、以及“相当于合并候选优先顺位信息存储部122的构成”。
[2-3]’参考帧数的决定
关于运动补偿参数生成部301，既可以如以下的[2-3-1]’～[2-3-4]’所示地构成，也可以由此来决定在帧间预测中应用单预测以及双预测的哪一者的预测方式。
[2-3-1]’小尺寸PU中的双预测限制
运动补偿参数生成部301可以参考参考帧设定信息来决定在帧间预测中应用单预测以及双预测的哪一者的预测方式。
具体的构成例如与在运动图像解码装置1的构成例[2-3-1]中说明的相同，故在此省略说明。其中，将构成例[2-3-1]的说明中的“运动补偿参数导出部121”、以及“参考帧设定信息存储部123”分别改称为“运动补偿参数生成部301”、以及“相当于参考帧设定信息存储部123的构成”。
在参考帧设定信息中，通过将小尺寸的预测方向限定为单预测，能大幅度地降低运动补偿参数生成部301中的预测图像生成所需的处理量。另外，在小尺寸的PU中通过将合并候选限制为单预测，也能降低预测图像生成所需的处理量。进而，在小尺寸的PU中，通过省略双预测合并候选的导出，也能降低合并候选的导出所需的处理量。
[2-3-2]’进行双预测的限制的尺寸的决定
PU信息生成部30可以决定进行双预测的限制的尺寸来进行编码。具体的构成如图81所示。图81所示的构成是在图55、56所示的PU信息生成部30中将双预测限制PU判定部1218变更为双预测限制PU判定部1218A而得到的。
关于进一步的细节，例如与在运动图像解码装置1的构成例[2-3-2]中说明的相同，故在此省略说明。其中，将构成例[2-3-2]的说明中的“运动补偿参数导出部121”、“合并运动补偿参数导出部1212”以及“参考帧设定信息存储部123”分别改称为“运动补偿参数生成部301”、“合并运动补偿参数生成部3012”以及“相当于参考帧设定信息存储部123的构成”。
[2-3-3]’用于进行部分双预测限制的构成
PU信息生成部30可以进行部分双预测限制。具体的构成如图81以及图82所示。图81所示的构成是在图55、56所示的PU信息生成部30中将双单预测变换部1219变更为双单预测变换部1219A而得到的。图82所示的构成是在图55、56所示的PU信息生成部30中将双单预测变换部1219变更为双单预测变换部1219B而得到的。
关于进一步的细节，例如与在运动图像解码装置1的构成例[2-3-3]中说明的相同，故在此省略说明。其中，将构成例[2-3-3]的说明中的“运动补偿参数导出部121”、“合并运动补偿参数导出部1212”以及“参考帧设定信息存储部123”分别改称为“运动补偿参数生成部301”、“合并运动补偿参数生成部3012”以及“相当于参考帧设定信息存储部123的构成”。
[2-3-4]’运动矢量的整数化
PU信息生成部30可以进行运动矢量的整数化。具体的构成如图83所示。图83所示的构成是在图55、56所示的PU信息生成部30中将双单预测变换部1219变更为双单预测变换部1219A而得到的。图82所示的构成是在图55、56所示的PU信息生成部30中将双单预测变换部1219变更为运动矢量整数化部1220而得到的。
关于进一步的细节，例如与在运动图像解码装置1的构成例[2-3-4]中说明的相同，故在此省略说明。其中，将构成例[2-3-4]的说明中的“运动补偿参数导出部121”、“合并运动补偿参数导出部1212”以及“参考帧设定信息存储部123”分别改称为“运动补偿参数生成部301”、“合并运动补偿参数生成部3012”以及“相当于参考帧设定信息存储部123的构成”。
如[2-3-2]’～[2-3-4]’所示，通过限制双预测，能降低运动补偿参数生成部301中的预测图像生成所需的处理量。
(编码数据上的运动补偿参数的限制)
在运动图像解码装置中，说明了基于级别规制的编码数据的限制。这是按每个级别对导出编码数据而得到的运动补偿参数的值进行限制。这样的限制能由以下所示的运动图像编码装置2予以实现。此外，在此说明不进行帧间预测标志的编码的跳过、合并候选的双单变换、合并候选导出的例子。
本构成的运动图像编码装置2使用图88所示的PU信息生成部30。PU信息生成部30具备运动补偿参数生成部301。运动补偿参数生成部301具备：合并运动补偿参数生成部3012以及基本运动补偿参数生成部3013。可以取代预测限制PU判定部1218而具备运动补偿参数限制部3014。在本构成中，不进行合并候选的双单变换，因此不含双单预测变换部1219，但也可以为了在小PU尺寸的情况下进行合并候选的双单变换而构成为包含双单预测变换部1219。
运动补偿参数限制部3014输入PU尺寸信息和PTI设定信息PTI’，并根据PTI设定信息PTI’的运动补偿参数来计算追加成本。追加成本被传输至编码设定部21。所传输的追加成本被追加至最小成本，因此通过设定大的追加成本，能防止特定的运动补偿参数的选择。
[伪代码]
接下来，使用图87所示的伪代码来说明运动补偿参数限制部3014的动作。以下，说明图87所示的伪代码的各步骤S。
S871：运动补偿参数限制部3014判定级别level_idc的值是否小于给定的阈值TH1。
S872：在级别level_idc的值小于TH1的情况下，运动补偿参数限制部3014不特别地进行处理。
S873：另一方面，在级别level_idc的值不小于TH1的情况下，运动补偿参数限制部3014进一步判定级别level_idc的值是否小于给定的阈值TH2。
S874：在级别level_idc的值小于TH2的情况下，运动补偿参数限制部3014将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize(＝3)一致，且PU的模式为2N×2N以外的模式的PU，限制双预测。
即，在S874中，针对作为最小CU尺寸的8×8的CU，限制8×8PU以外(2N×2N)的PU中的双预测。
进而，在PTI设定信息PTI’符合上述限制的情况下，将追加成本设定得充分大。在不符合的情况下，将追加成本设为0。
S874′：在级别level_idc的值小于TH1的情况下，运动补偿参数限制部3014对可使用的PU尺寸进行限制。即，将运动补偿参数限制设为进行限制的标志inter_4x4_enable_flag＝0，来对4×4PU的使用进行限制。进而，在PTI设定信息PTI’符合上述限制的情况下，即PU尺寸为4×4的情况下，将追加成本设定得充分大。在不符合的情况下，将追加成本设为0。此外，尽管上述使用了inter_4x4_enable_flag作为对运动补偿参数进行限制的标志，但也可以是对4×4PU的使用进行限制的其他的标志(例如，use_restricted_prediction)。
S875：在级别level_idc的值不小于TH2的情况下，运动补偿参数限制部3014将DisableBipred变量设定如下。
针对CU尺寸的对数值(log2CUSize)与Log2MinCUSize(＝4)一致，且PU的模式为N×N的PU(最小PU)，限制双预测。
即，在S875中，在最小CU尺寸为8×8以外(例如，16×16)的情况下，针对与最小CU尺寸一致的尺寸的CU，限制了最小PU(N×N)中的双预测。
进而，在PTI设定信息PTI’符合上述限制的情况下，将追加成本设定得充分大。在不符合的情况下，将追加成本设为0。
S875′：在级别level_idc的值不小于TH2的情况下，运动补偿参数限制部3014通过对可使用的CU尺寸进行限制，来限制可使用的PU尺寸。即，将CU尺寸的对数值Log2MinCuSize限制为4以上。将log2_min_cu_size_minus3限制为1以上。
进而，在PTI设定信息PTI’符合上述限制的情况下，即CU尺寸为8×8的情况下，将追加成本设定得充分大。在不符合的情况下，将追加成本设为0。此外，在S874中，运动补偿参数限制部3014可以根据级别level_idc的值，参考图84的表的MaxLog2MinCUSize来决定Log2MinCUSize。例如，如图84所示，在级别level_idc的值为TH1以上且小于TH2的情况下，MaxLog2MinCuSize＝3，因此在S874中，运动补偿参数限制部3014能使用MaxLog2MinCuSize＝3作为Log2MinCUSize的值。
[3]’变换/量化部以及编码数据生成部
[3-1]’在PU分割类型为非对称的情况下导出分割区域尺寸的构成例
变换/量化部27在PU分割类型为非对称的情况下，可以构成为：在小的一方的PU中，应用长方形(非正方形)的变换，另一方面，在大的一方的PU中，应用正方形的变换。
具体的构成例如与在运动图像解码装置1的构成例[3-1]中说明的相同，故在此省略说明。其中，将构成例[3-1]的说明中的“对象区域设定部1311”、“分割决定部1312”以及“分割区域设定部1313”改称为”变换/量化部27”。另外，将构成例[3-1]的说明中的“变换尺寸决定信息存储部1314”改称为“相当于变换尺寸决定信息存储部1314的构成”。
[3-2]’在一部分的PU分割类型为正方形的分割时应用非矩形变换的构成例
变换/量化部27在PU分割类型为正方形的分割的情况下，可以构成为：将对象节点分割为非正方形。另外，在上述构成的基础上，在CU尺寸为16×16尺寸、且PU分割类型为2N×2N的情况下，变换/量化部27可以构成为：能使扫描顺序在各分割深度统一。
具体的构成例如与在运动图像解码装置1的构成例[3-2]中说明相同，故在此省略说明。其中，将构成例[3-2]的说明中的“分割区域设定部1313”、以及“变换尺寸决定信息存储部1314”分别改称为“变换/量化部27”、以及“相当于变换尺寸决定信息存储部1314的构成”。
[3-3]’在变换系数编码时参考上下文的具体的构成
编码数据生成部29在PU分割类型为非对称分割的情况下，可以构成为：对于小的一方的PU中所含的TU与大的一方的PU中所含的TU，使用不同的上下文，对非零变换系数的存否信息以及变换系数的至少一者进行编码。
具体的构成例如与在运动图像解码装置1的构成例[3-3]中说明的相同，故在此省略说明。其中，将构成例[3-3]的说明中的“判定信息解码部1032”以及“变换系数解码部1033”改称为“编码数据生成部29”。另外，将构成例[3-3]的说明中的”解码(进行)”，以及“上下文存储部1034”分别改称为“编码(进行)”、以及“相当于上下文存储部1034的构成”。
(处理的流程)
使用图26，关于运动图像编码装置2中的CU编码处理，说明如下。此外，以下，设对象CU是帧间CU或跳过CU。图24是表示运动图像编码装置2中的CU编码处理(帧间/跳过CU)的流程的一例的流程图。
若CU编码处理开始，则编码设定部21针对对象CU决定CU预测信息，编码数据生成部29对由编码设定部21决定的CU预测信息进行编码(S21)。该处理是以CU单位进行的。
具体而言，编码设定部21决定对象CU是否为跳过CU。在对象CU是跳过CU的情况下，编码设定部21使跳过标志SKIP在编码数据生成部20中被编码。另外，在对象CU不是跳过CU的情况下，编码设定部21使CU预测类型信息Pred_type在编码数据生成部20中被编码。
接下来，进行PU单位的处理。即，预测图像生成部23导出运动信息，编码数据生成部29对由预测图像生成部23导出的运动信息进行编码(S22)。另外，预测图像生成部14基于导出的该运动信息，通过帧间预测来生成预测图像(S23)。
接下来，变换/量化部27进行TU分割编码处理(S24)。具体而言，变换/量化部27基于对象CU的CU尺寸以及PU分割类型来设定TU分割的方式。该处理是以CU单位进行的。
接下来，进行TU单位的处理。即，变换/量化部27将预测残差变换/量化成变换系数(S25)，编码数据生成部29对变换/量化后的变换系数进行编码(S26)。
接下来，逆量化/逆变换部22对变换/量化后的变换系数进行逆量化/逆变换来还原预测残差，而且加法器24对预测图像以及预测残差进行相加，从而来生成解码图像(S27)。该处理是以CU单位进行的。
〔应用例〕
上述的运动图像编码装置2以及运动图像解码装置1能搭载于进行运动图像的发送、接收、记录，再生的各种装置而被利用。此外，运动图像既可以是由照相机等摄像得到的自然运动图像，也可以是由计算机等生成的人工运动图像(包含CG以及GUI)。
首先，参考图27来说明能将上述的运动图像编码装置2以及运动图像解码装置1利用于运动图像的发送以及接收。
图27的(a)是表示搭载有运动图像编码装置2的发送装置PROD_A的构成的框图。如图27的(a)所示，发送装置PROD_A具备：通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过以编码部PROD_A1所得到的编码数据来调制载波而得到调制信号的调制部PROD_A2、以及发送由调制部PROD_A2得到的调制信号的发送部PROD_A3。上述的运动图像编码装置2能作为该编码部PROD_A1而被利用。
发送装置PROD_A还可以具备：对运动图像进行摄像的照相机PROD_A4、记录运动图像的记录介质PROD_A5、用于将运动图像从外部输入的输入端子PROD_A6、以及生成或加工图像的图像处理部A7，作为输入至编码部PROD_A1的运动图像的提供源。在图27的(a)中，例示了发送装置PROD_A具备上述全部的构成，但也可以省略一部分。
此外，记录介质PROD_A5既可以记录未被编码的运动图像，也可以记录以与传输用的编码方式不同的记录用的编码方式而编码出的运动图像。在后者的情况下，在记录介质PROD_A5与编码部PROD_A1之间，插入遵照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)即可。
图27的(b)是表示搭载有运动图像解码装置1的接收装置PROD_B的构成的框图。如图27的(b)所示，接收装置PROD_B具备：接收调制信号的接收部PROD_B1、通过对由接收部PROD_B1接收到的调制信号进行解调来得到编码数据的解调部PROD_B2、以及通过对由解调部PROD_B2得到的编码数据进行解码来得到运动图像的解码部PROD_B3。上述的运动图像解码装置1被用作该解码部PROD_B3。
接收装置PROD_B还可以具备：对运动图像进行显示的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5、以及用于将运动图像输出至外部的输出端子PROD_B6，来作为由解码部PROD_B3输出的运动图像的提供目的地。在图27的(b)中，例示了接收装置PROD_B具备上述全部的构成，但也可以省略一部分。
此外，记录介质PROD_B5既可以用于记录未被编码的运动图像，也可以记录以与传输用的编码方式不同的记录用的编码方式而编码出的运动图像。在后者的情况下，在解码部PROD_B3与记录介质PROD_B5之间，插入遵照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)即可。
此外，传输调制信号的传输介质既可以是无线，也可以是有线。另外，传输调制信号的传输形态既可以是广播(在此，是指发送目的地预先不确定的发送形态)，也可以是通信(在此，是指发送目的地预先确定的发送形态)。即，调制信号的传输可以通过无线广播、有线广播、无线通信、以及有线通信的任一者来实现。
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是以无线广播来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。另外，电缆电视广播的广播站(广播设备等)/接收站(电视接收机等)是以有线广播来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。
另外，利用了互联网的VOD(Video On Demand)服务或运动图像共有服务等的服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是以通信来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例(通常，在LAN中使用无线或有线的任一者来作为传输介质，在WAN中使用有线来作为传输介质)。在此，个人计算机之中包含台式PC、笔记本PC、以及平板型PC。另外，智能手机之中还包含多功能便携式电话终端。
此外，运动图像共有服务的客户端除了对从服务器下载了的编码数据进行解码并显示于显示器的功能之外，还具有对由照相机摄像得到的运动图像进行编码并上传至服务器的功能。即，运动图像共有服务的客户端作为发送装置PROD_A以及接收装置PROD_B的两者来发挥功能。
接下来，参考图28来说明能将上述的运动图像编码装置2以及运动图像解码装置1利用于运动图像的记录以及再生。
图28的(a)是表示搭载有上述的运动图像编码装置2的记录装置PROD_C的构成的框图。如图28的(a)所示，记录装置PROD_C具备：通过对运动图像进行编码而得到编码数据的编码部PROD_C1、以及将由编码部PROD_C1得到的编码数据写入至记录介质PROD_M的写入部PROD_C2。上述的运动图像编码装置2作为该编码部PROD_C1而被利用。
此外，记录介质PROD_M既可以像(1)HDD(Hard Disk Drive)或SSD(Solid StateDrive)等那样，是内置于记录装置PROD_C的类型，也可以像(2)SD存储卡或USB(UniversalSerial Bus)闪速存储器等那样，是与记录装置PROD_C连接的类型，还可以像(3)DVD(Digital Versatile Disc)或BD(Blu-ray Disc：注册商标)等那样，被装填在内置于记录装置PROD_C的驱动器装置(未图示)中。
另外，记录装置PROD_C还可以具备：对运动图像进行摄像的照相机PROD_C3、用于将运动图像从外部输入的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5、以及生成或加工图像的图像处理部C6，来作为输入至编码部PROD_C1的运动图像的提供源。在图28的(a)中，例示了记录装置PROD_C具备上述全部的构成，但也可以省略一部分。
此外，接收部PROD_C5既可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式而编码出的编码数据。在后者的情况下，在接收部PROD_C5与编码部PROD_C1之间，插入对于以传输用的编码方式编码出的编码数据进行解码的传输用解码部(未图示)即可。
作为这样的记录装置PROD_C，例如可列举DVD刻录机、BD刻录机、HDD(Hard DiskDrive)刻录机等(在此情况下，输入端子PROD_C4或接收部PROD_C5成为运动图像的主要的提供源)。另外，手提摄像机(在此情况下，照相机PROD_C3成为运动图像的主要的提供源)，个人计算机(在此情况下，接收部PROD_C5或图像处理部C6成为运动图像的主要的提供源)、智能手机(在此情况下，照相机PROD_C3或接收部PROD_C5成为运动图像的主要的提供源)等也是这样的记录装置PROD_C的一例。
图28的(b)是示出了搭载有上述的运动图像解码装置1的再生装置PROD_D的构成的块。如图28的(b)所示，再生装置PROD_D具备：对写入至记录介质PROD_M的编码数据进行读出的读出部PROD_D1、以及通过对读出部PROD_D1读出的编码数据进行解码来得到运动图像的解码部PROD_D2。上述的运动图像解码装置1作为该解码部PROD_D2而被利用。
此外，记录介质PROD_M既可以像(1)HDD或SSD等那样，是内置于再生装置PROD_D的类型，也可以像(2)SD存储卡或USB闪速存储器等那样，是与再生装置PROD_D连接的类型，还可以像(3)DVD或BD等那样，装填在内置于再生装置PROD_D的驱动器装置(未图示)中。
另外，再生装置PROD_D还可以具备：对运动图像进行显示的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4、以及发送运动图像的发送部PROD_D5，来作为由解码部PROD_D2输出的运动图像的提供目的地。在图28的(b)中，例示了再生装置PROD_D具备上述全部的构成，但也可以省略一部分。
此外，发送部PROD_D5既可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式而编码出的编码数据。在后者的情况下，在解码部PROD_D2与发送部PROD_D5之间，插入以传输用的编码方式来编码运动图像的编码部(未图示)即可。
作为这样的再生装置PROD_D，例如可列举DVD播放器、BD播放器、HDD播放器等(在此情况下，连接电视接收机等的输出端子PROD_D4成为运动图像的主要的提供目的地)。另外，电视接收机(在此情况下，显示器PROD_D3成为运动图像的主要的提供目的地)、数字标牌(也称为电子标牌或电子公告板等，显示器PROD_D3或发送部PROD_D5成为运动图像的主要的提供目的地)、台式PC(在此情况下，输出端子PROD_D4或发送部PROD_D5成为运动图像的主要的提供目的地)、笔记本式或平板型PC(在此情况下，显示器PROD_D3或发送部PROD_D5成为运动图像的主要的提供目的地)、智能手机(在此情况下，显示器PROD_D3或发送部PROD_D5成为运动图像的主要的提供目的地)等也是这样的再生装置PROD_D的一例。
〔总结〕
本发明的一形态所涉及的图像解码装置是使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行解码的图像解码装置，所述图像解码装置具备：运动补偿参数导出部，其导出表示所述单预测或所述双预测的任一者的预测方式的运动补偿参数，在所述预测单位为给定的尺寸以下的情况下，所述运动补偿参数导出部切换所述预测方式来导出所述运动补偿参数。
本发明的一形态所涉及的图像解码装置具备：合并候选导出单元，其在将预测单位的运动补偿参数作为合并候选进行导出的处理中，基于相邻的预测单位的运动补偿参数来导出该合并候选，在所述合并候选表示所述双预测的情况下，所述运动补偿参数导出部使用所述单预测作为所述预测方式来导出所述运动补偿参数。
本发明的一形态所涉及的图像解码装置中，所述运动补偿参数至少包含：表示是否使用第1参考预测列表的第1预测列表利用标志、以及表示是否使用第2参考预测列表的第2预测列表利用标志，所述运动补偿参数导出部使用所述第1预测列表利用标志以及所述第2预测列表利用标志来导出所述运动补偿参数。
本发明的一形态所涉及的图像解码装置中，在所述第1预测列表利用标志以及第2预测列表利用标志示出了利用该第1预测列表利用标志以及第2预测列表利用标志的情况下，所述运动补偿参数导出部变换为不利用所述第1预测列表利用标志或所述第2预测列表利用标志。
本发明的一形态所涉及的图像解码装置中，所述预测单位的尺寸是使用该预测单位的宽度和高度来计算的。
本发明的一形态所涉及的图像解码方法是使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行解码的图像解码方法，所述图像解码方法至少包含：导出表示所述单预测或所述双预测的任一者的预测方式的运动补偿参数的步骤；以及判定所述预测单位的尺寸是否为给定的尺寸以下的步骤，在导出所述运动补偿参数的步骤中，在所述预测单位为所述给定的尺寸以下的情况下，切换所述预测方式来导出所述运动补偿参数。
本发明的一形态所涉及的图像编码装置是使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行编码的图像编码装置，所述图像编码装置具备：运动补偿参数导出部，其导出表示所述单预测或所述双预测的任一者的预测方式的运动补偿参数，在所述预测单位为给定的尺寸以下的情况下，所述运动补偿参数导出部切换所述预测方式来导出所述运动补偿参数。
本发明的一形态所涉及的图像解码装置是按每个编码单位对图像编码数据进行解码而生成解码图像的图像解码装置，所述图像解码装置具备：CU信息解码部，其解码对分割所述编码单位的分割类型进行指定的信息；以及算术解码部，其通过利用上下文的算术解码或不利用上下文的算术解码，由所述图像编码数据解码二进制值，在所述CU信息解码部解码对作为所述分割类型的非对称的分割(AMP；Asymmetric Motion Partition)进行指定的信息的情况下，所述算术解码部根据所述二进制值的位置，切换所述利用上下文的算术解码与所述不利用上下文的算术解码来进行解码。
根据本发明的上述的形态，能实现在使用非对称分区的情况下的码量的削减、以及活用了非对称分区的性质的效率好的编码/解码处理。
另外，本发明还能按以下方式表现。本发明的一形态所涉及的图像解码装置是按每个编码单位从图像编码数据中解码用于还原图像的信息来还原图像的图像解码装置，具备：解码单元，其针对对预测单位的尺寸与应用于编码单位的预测方式的组合所分配的码，对于对给定尺寸以下的尺寸的编码单位应用画面内预测的预测方式的组合，解码比分配给该组合以外的组合的码更短的码。
在上述的构成中，关于给定尺寸以下的尺寸的编码单位，其是与该给定尺寸大的尺寸的编码单位相比而在帧间预测难以命中那样尺寸的编码单位。
在帧间预测难以命中的区域中，有应用给定尺寸以下的尺寸的小的编码单位的趋势。此外，以下，将比给定尺寸大的尺寸的编码单位称为大的编码单位。
给定尺寸以下的尺寸的编码单位例示性地，是最小尺寸的编码单位，是8×8像素的编码单位。
关于这样的小的编码单位，较之于大的编码单位，空间相关性更高，因此为了谋求预测精度的提高而多应用帧内CU。
在上述的构成中，针对编码尺寸小、且预测方式为画面内预测的组合，较之于除此以外的组合，分配更短的码。
故而，根据上述的构成，能对在给定尺寸以下的尺寸的编码单位中发生概率高的组合分配短的码，起到编码效率得以提高这样的效果。
关于本发明的一形态所涉及的图像解码装置，优选地，上述解码单元对于上述组合，较之于对于比上述给定尺寸大的尺寸的编码单位应用画面内预测的预测方式的组合所分配的码，解码更短的码。
根据上述的构成，较之于在画面内预测难以命中的大的编码单位中应用画面内预测的预测方式的情况，在画面内预测易于命中的小的编码单位中应用画面内预测的预测方式的情况下，解码更短的码。
由此，能对出现频度高的组合解码短的码，其结果，能使编码效率得以提高。
关于本发明的一形态所涉及的图像解码装置，优选地，上述解码单元对于上述组合，较之于对于与上述给定尺寸为同一尺寸的编码单位应用画面内预测以外的预测方式的组合所分配的码，解码更短的码。
根据上述的构成，较之于在小的编码单位中预测难以命中的画面间预测，能针对预测易于命中的画面内预测，解码更短的码。
由此，能对出现频度高的组合，解码短的码，其结果，能使编码效率得以提高。
本发明的一形态所涉及的图像解码装置是通过参考一个参考图像的单预测以及参考两个参考图像的双预测的任一者的画面间预测的预测方式来还原预测单位内的图像的图像解码装置，具备：双预测限制单元，其针对应用上述画面间预测的、给定尺寸以下的尺寸的预测单位即对象预测单位，限制进行双预测。
双预测较之于单预测，处理量更多。此外，双预测是指，在画面间预测中使用2个进行参考的图像的预测方式。参考的图像相对于对象帧，在时间上既可以在前方也可以在后方。
另外，在给定尺寸以下的尺寸的小的预测单位中，较之于比给定尺寸大的尺寸的大的预测单位，每单位面积的处理量多。
因此，若在小的预测单位中进行双预测，则处理量均多，因此易成为解码处理的瓶颈。
根据上述的构成，在小的预测单位中限制进行双预测。此外，限制包含：省略双预测中的一部分的处理、以及不进行双预测的处理。
通过进行上述限制，从而起到能降低成为解码处理的瓶颈那样处理的处理量这样的效果。
关于本发明的一形态所涉及的图像解码装置，优选地，上述双预测限制单元对不省略上述对象预测单位中的预测图像的生成中所利用的运动矢量的至少一部分的解码的预测单位，也即，根据分配给该上述对象预测单位的邻近的预测单位的预测参数不进行分配至该对象预测单位的预测参数的估计的上述对象预测单位，进行上述限制。
根据上述的构成，不进行所谓的跳过处理以及合并处理，而实际在对象预测单位中导出预测参数的情况下，限制双预测。
在不进行跳过处理或合并处理的情况下，需要对运动矢量全部进行解码，处理量会增加。因此，通过在那样的情况下进行上述限制，能降低成为解码处理的瓶颈那样的处理的处理量。
关于本发明的一形态所涉及的图像解码装置，优选地，上述双预测限制单元省略解码表示进行双预测以及单预测的哪一者的信息，来进行单预测。
根据上述的构成，能简化限制双预测的对象预测单位中的解码处理。另外，由于进行单预测是预先确定的，因此能避免对表示进行双预测以及单预测的哪一者的信息进行解码这样的开销。
关于本发明的一形态所涉及的图像解码装置，优选地，上述双预测限制单元省略与双预测中的加权预测相关的信息的处理。
根据上述的构成，通过省略与双预测中的加权预测相关的信息的处理，能减轻双预测中的处理量。其结果，能降低与加权预测相关的信息的处理那样的成为解码处理的瓶颈那样的处理的处理量。
关于本发明的一形态所涉及的图像解码装置，可以是，该图像解码装置具备从用于解码完毕的预测单位的解码的运动补偿参数中导出合并候选的合并候选导出单元，上述双预测限制单元具备在由上述合并候选导出单元导出的合并候选为双预测的情况下将该双预测变换成单预测。
根据上述的构成，即使在对象预测单位中的预测图像的解码中使用合并处理的情况下，也能限制双预测，能简化对象预测单位中的解码处理。
关于本发明的一形态所涉及的图像解码装置，可以是，上述双单预测变换单元，在使用2个表示参考图片列表的使用的有无的标志即2个预测列表利用标志的情况下，该2个预测列表利用标志的两者示出了使用上述参考图片列表时，将上述2个预测列表利用标志的一者的标志变换成表示不使用上述参考图片列表。
根据上述的构成，在使用预测列表利用标志来控制是进行双预测还是单预测的图像解码装置中，能限制双预测，能简化对象预测单位中的解码处理。
关于本发明的一形态所涉及的图像解码装置，可以是，上述双单预测变换单元将表示使用L0列表的参考图片列表的标志变换成表示不使用该L0列表的标志。
根据上述的构成，在使用预测列表利用标志来控制是进行双预测还是进行单预测的解码装置中，能保持编码效率地限制双预测，能简化对象预测单位中的解码处理。
在此，L0列表是主要在前方向预测中使用的图片的列表。一般而言，在运动补偿参数的导出中，使L0列表的参考图片优先的情况多。反之，通过取代L0列表的参考图片而使用L1列表的参考图片，能与使这些L0列表优先的导出处理实现差别化。在通过某编码参数而能选择多个导出处理的情况下，若将某群组的导出处理设为L0列表优先、且将其他的群组的导出处理设为L1列表优先，则各导出处理能彼此互补地使用，因此在更加众多的运动的性质的序列或区域中有效地作用。故而，在双单预测变换中，通过使用L1列表，能得到高的编码效率。
关于本发明的一形态所涉及的图像解码装置，可以是，上述双单预测变换单元在将表示上述参考图片列表的使用的有无的标志变换成表示不使用上述参考图片列表的情况下，不进行参考索引编号以及运动矢量的更新。
根据上述的构成，即使在限制了参考图片列表的使用的情况下，在后续的处理中也能使用已限制一方的参考索引编号以及运动矢量的值。故而，较之于进行更新的情况，能保持编码效率地限制双预测，能简化对象预测单位中的解码处理。
关于本发明的一形态所涉及的图像解码装置，可以是，在上述双预测限制单元解码与结合帧间预测参考索引对应的代码编号的情况下，将代码编号的值的最大值按如下方式设定：在限制双预测时设定为单预测的结合参考图片集合的个数，在不限制双预测时设定为单预测的结合参考图片集合的个数与双预测的结合参考图片集合的个数之和。
根据上述的构成，在使用结合帧间预测参考索引的图像解码装置中，进行单预测是预先确定的，因此能避免解码与双预测的情况对应的代码编号这样的开销。
关于本发明的一形态所涉及的图像解码装置，可以是，上述双预测限制单元在对结合帧间预测参考索引进行解码的情况下，在限制双预测时，使用可变表从代码编号中导出上述结合帧间预测参考索引，在不限制时，不使用可变表而从代码编号中导出上述结合帧间预测参考索引。
根据上述的构成，在使用可变表从代码编号中解码结合帧间预测参考索引的图像解码装置中，能简化在限制双预测的情况下与可变表相关的解码处理。
关于本发明的一形态所涉及的图像解码装置，可以是，上述双预测限制单元在解码出的结合帧间预测参考索引表示结合参考图片集合以外的情况下，在限制双预测时，省略表示进行双预测以及单预测的哪一者的信息的解码而进行单预测，在不限制双预测时，执行表示进行双预测以及单预测的哪一者的信息的解码。
根据上述的构成，在使用结合帧间预测参考索引的图像解码装置中进行单预测是预先确定的，因此能避免解码表示进行双预测以及单预测的哪一者的信息这样的开销。
关于本发明的一形态所涉及的图像解码装置，可以是，该图像解码装置具备：合并候选导出单元，其在使用用于对象预测单位中的预测图像的解码的合并处理的情况下，导出作为运动补偿参数的候选即合并候选，上述合并候选导出单元具备：相邻合并候选导出单元，其从用于与上述对象预测单位相邻的相邻对象预测单位的解码的运动补偿参数，导出合并候选；以及双预测合并候选导出单元，其从多个参考图片导出合并候选，上述合并候选导出单元在上述对象预测单位为给定的尺寸时，不使用上述双预测合并候选导出单元的合并候选。
根据上述的构成，通过省略针对双预测的合并候选的导出，能简化合并候选的导出。
本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个生成预测图像来还原图像的图像解码装置，具备：变更单元，其根据对作为解码对象的上述预测单位即对象预测单位的邻近的解码完毕预测单位所分配的解码完毕参数，来变更相对于将作为解码对象的上述编码单位即对象编码单位向着上述预测单位进行分割的类型即分割类型与预测方式的多个组而建立对应的多个码。
生成预测图像的单位是以作为编码处理的单位的编码单位为基准而决定的。具体而言，将与编码单位相同的区域或对编码单位进行分割而得到的区域设为预测单位。
在上述的构成中，向上述预测单位分割的分割类型可以包含向正方形的分割以及向非正方形的分割。向正方形的分割是通过分割而得到的预测单位为正方形的情况。
例如，将正方形的编码单位四分割为4个正方形的情况符合该情况。另外，将与正方形的编码单位相同的尺寸的区域设为预测单位的非分割的情况也符合。非分割的情况下的分割类型一般表征为2N×2N。
向非正方形的分割是通过分割而得到的预测单位为非正方形的情况。例如，将编码单位的区域分割成大的长方形以及小的长方形的情况符合该情况。
另外，码是指，编码出的参数值的二进制(bin)串。二进制串既可以直接进行编码，也可以通过算术编码来进行编码。预测方式是画面间预测以及画面内预测的任一者。另外，预测方式以及分割类型的组例如有时还通过(画面内预测、非分割)、pred_type这样的参数值来表征。
另外，在上述的构成中，码与预测方式及分割类型的组呈一一对应关系。
根据上述的构成，根据解码完毕参数来变更上述对应关系。换言之，即使是相同的码，也根据解码完毕参数来变更表示是哪一种预测方式以及分割类型的组的解释。
故而，能对发生概率更高的预测方式以及分割类型的组来分配更短的码。
具体而言，在与对象编码单位相邻的编码单位是进行画面内预测的编码单位的情况下，对象编码单位也采用画面内预测的可能性变高。
由此，在这样的情况下，期望对包含画面内预测的组分配短的码。
根据上述的构成，根据分配给邻近的解码完毕预测单位的解码完毕参数，来对发生概率更高的预测方式以及分割类型的组分配更短的码，因此能使编码效率得以提高。
关于本发明的一形态所涉及的图像解码装置，优选地，上述变更单元，在上述对象编码单位的邻近的解码完毕编码单位中分配了画面内预测的预测方式时，将与包含画面内预测的预测方式在内的组建立对应的码变更为短的码。
根据上述的构成，在对象编码单位的邻近的解码完毕编码单位中分配了画面内预测的预测方式时，将与包含画面内预测的预测方式在内的组建立对应的码变更为短的码。
此外，邻近可以有多种情形，例如可列举将上相邻编码单位以及左相邻编码单位设为邻近。
在此情况下，在上相邻编码单位以及左相邻编码单位的任一者、或者两者中，分配画面内预测的预测方式即可。
在对象编码单位的邻近的解码完毕编码单位中分配了画面内预测的预测方式时，对象编码单位也被分配画面内预测的可能性高。
故而，能缩短与发生频度高的组建立对应的码，编码效率得以提高。
关于本发明的一形态所涉及的图像解码装置，优选地，在与上述对象编码单位相邻的解码完毕编码单位小于上述对象编码单位时，上述变更单元将与包含进行向相邻的方向的分割的分割类型在内的组建立对应的码变更为短的码。
根据上述的构成，在与上述对象编码单位相邻的解码完毕编码单位小于上述对象编码单位时，将与包含进行向相邻的方向的分割的分割类型在内的组建立对应的码变更为短的码。
在与上述对象编码单位相邻的解码完毕编码单位小于上述对象编码单位时，对于对象编码单位与相邻的解码完毕编码单位之间的边界，在垂直的方向上存在边沿的可能性高。即，对象编码单位在与上述解码完毕编码单位相邻的方向上出现边沿的情况多。
在这样的情况下，向相邻的方向的分割的分割类型变得容易选择。
故而，能缩短与发生频度高的组建立对应的码，编码效率得以提高。
本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个，通过画面间预测的预测方式生成预测图像来还原图像的图像解码装置，具备：候选决定单元，其在成为解码对象的上述预测单位即对象预测单位是从分配给该对象预测单位的邻近的区域的预测参数来进行该对象预测单位的预测参数的估计的预测单位的情况下，根据该对象预测单位的尺寸，来决定估计中所使用的区域的候选。
根据上述的构成，根据对象预测单位的尺寸，来决定所谓的跳过、合并中所使用的区域的候选。或者，对应于解码出的差分运动矢量，来设定用在为了还原运动矢量而使用的估计运动矢量的导出中的区域的候选。
根据对象预测单位的尺寸，画面间预测的运动矢量的相关会变动。例如，在选择给定的尺寸以下的小的预测单位的区域中，目标的运动复杂的情况多，运动矢量的相关小。
由此，根据上述构成，例如能根据运动的复杂度来削减候选数。由此，能削减边侧信息，其结果，能使编码效率得以提高。
关于本发明的一形态所涉及的图像解码装置，优选地，上述候选决定单元使给定的尺寸以下的小的预测单位的上述候选的数量少于比该小的预测单位大的预测单位的上述候选的数量。
根据上述的构成，能使给定的尺寸以下的小的预测单位的上述候选的数量少于比该小的预测单位大的预测单位的上述候选的数量。
如上所述，在选择给定的尺寸以下的小的预测单位的区域中，目标的运动复杂的情况多，运动矢量的相关小。
故而，在上述那样的区域中，使候选数少而更能削减边侧信息，因此优选。
在本发明的一形态所涉及的图像解码装置中，优选地，上述候选决定单元在给定的尺寸以下的小的预测单位中，不将时间预测包含于上述候选。
根据上述的构成，在给定的尺寸以下的小的预测单位中，不将时间预测包含于上述候选。
在小的预测单位被选择那样的运动复杂的区域中，用于时间预测的关联预测单位(collocated PU)与对象预测单位的相关小，因此时间预测被选择的可能性小。由此，在这样的区域中，优选不将时间预测包含于合并候选。
本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个生成预测图像来还原图像的图像解码装置，向上述预测单位分割的分割类型包含向长方形的预测单位的分割，该图像解码装置具备：解码单元，其不使用上下文，而对在包含表示上述长方形是纵长以及横长的哪一者的码、以及表示上述长方形的种类的码在内的用于确定到上述长方形的预测单位的分割的码当中表示上述长方形的种类的码进行解码。
根据上述的构成，在向预测单位分割的分割类型为向长方形的预测单位的分割的情况下，不使用上下文而对表示长方形的种类的码进行解码。
长方形的种类，例如在分割类型为横长的长方形的分割的情况下，是2N×N、2N×nU、2N×nD的3种类。
预测单位的分割按照不跨位于编码单位的区域内的边沿的方式来执行的情况多。在具有斜度的边沿位于区域内的情况下，有时不必连续选择同一长方形的种类。在这样的区域中，即使使用上下文来进行解码处理，也有编码效率不提高的情况。
反过来说，在这样的区域中，即使不利用上下文进行解码处理，也有编码效率不下降的情况。
根据上述的构成，在上述那样的区域中，能在维持编码效率的同时，谋求因不参考上下文所带来的处理的简化。
本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个，通过画面间预测的预测方式生成预测图像来还原图像的图像解码装置，向上述预测单位分割的分割类型包含将编码单位分割为多个不同大小的预测单位的非对称分割或将编码单位分割为多个相同大小的预测单位的对称分割，该图像解码装置具备：估计单元，其在上述分割类型为非对称分割的情况下，通过与上述分割类型为对称分割的情况下不同的估计方法，来进行画面间预测的预测参数的估计。
根据上述的构成，在分割类型为非对称分割的情况下，通过与上述分割类型为对称分割的情况下不同的估计方法，来进行画面间预测的预测参数的估计。
选择了非对称分割的编码单位，在用于得到预测单位的分割中，被非对称地分割为：小的一方的预测单位、以及大的一方的预测单位。
另外，在选择非对称分割的编码单位中，沿长边方向横跨小的一方的预测单位的边沿存在的可能性高。
另外，存在边沿的区域被导出准确的运动矢量的可能性高。也就是，在分割类型为非对称分割的情况下、与在上述分割类型为对称分割的情况下，精度高的运动矢量被导出的区域是不同的。
由此，在分割类型为非对称分割的情况下、与上述分割类型为对称分割的情况下变更不同的估计方法，从而起到能通过与分割类型相应的优选的估计方法来进行画面间预测的预测参数的估计这样的效果。
本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个来生成预测图像，而且按照将编码单位分割为1以上的数而得到的变换单位的每一个来解码预测残差，并通过对预测图像相加预测残差来还原图像的图像解码装置，向上述预测单位分割的分割类型包含将编码单位分割为多个不同大小的预测单位的非对称分割或将编码单位分割为多个相同大小的预测单位的对称分割，该图像解码装置具备：变换单位分割单元，其在成为解码对象的上述编码单位即对象编码单位的分割类型为非对称分割时，根据上述对象编码单位中所含的预测单位的大小，来决定变换单位的分割方式。
根据上述的构成，在成为解码对象的上述编码单位即对象编码单位的分割类型为非对称分割时，根据上述对象编码单位中所含的预测单位的大小，来决定变换单位的分割方式。
在应用非对称分割时，相对于在小的一方的预测单位中包含边沿的可能性高的情况，在大的一方的预测单位中包含边沿的可能性低。
在预测残差无方向性的情况下，作为变换单位的分割方式，较之于应用长方形的变换的情况，应用正方形的变换能效率更好地去除相关。
根据上述的构成，在分割类型为非对称分割时，能根据上述对象编码单位中所含的预测单位的大小来选择效率良好地去除相关那样的变换单位的分割方式。其结果，编码效率得以提高。
本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个来生成预测图像，并按照将编码单位分割为1以上的数而得到的变换单位的每一个来解码预测残差，且通过对预测图像相加预测残差来还原图像的图像解码装置中，向上述变换单位进行分割的分割方式包含正方形以及长方形的分割，该图像解码装置具备：分割单元，其在成为解码对象的上述预测单位即对象预测单位的形状为正方形的情况下，通过长方形的分割方式来分割对象变换单位。
与区域内是否存在边沿，图像有无方向性无关地，存在选择正方形的预测单位的情况。例如，在存在许多横边沿的目标正在移动的情况下，在目标内，运动是一样的，因此选择正方形的预测单位。然而，在这样的情况下，期望在变换处理中应用沿横边沿的、在水平方向上长的形状的变换单位。
根据上述构成，在成为解码对象的上述预测单位即对象预测单位的形状为正方形的情况下，通过长方形的分割方式来分割对象变换单位。
由此，在正方形的编码单位中，也能选择长方形的变换单位，故而能使针对上述那样的区域的编码效率得以提高。
关于本发明的一形态所涉及的图像解码装置，优选地，上述分割单元进而在给定的大小的编码单位中与分割深度2对应的变换单位的形状为正方形的情况下，在上述给定的大小的编码单位中，将与分割深度1对应的对象变换单位设为长方形。
根据上述的构成，在对象预测单位的形状为正方形的情况下，通过长方形的分割方式来分割对象变换单位。
若通过正方形的四叉树分割方式将变换单位递归式地分割2次，即，将分割深度提升至2，则得到16个正方形的变换单位。在此情况下，关于扫描顺序，递归式地应用z扫描。以往，在对象编码单位的分割类型为正方形的分割的情况下，应用了该分割方式。
另一方面，在通过横长的四叉树分割方式来分割变换单位的情况下，在分割深度2，将各节点分割为正方形的变换单位。即，以分割深度为2，最终得到16个正方形的变换单位。在此情况下，关于扫描顺序，对16个正方形的变换单位应用光栅扫描。以往，在对象编码单位的分割类型为非正方形的分割的情况下，应用了该分割方式。
由此，在对象编码单位的分割类型为正方形的分割的情况下以及为非正方形的分割的情况下，扫描顺序不同。
与此相对，根据上述构成，在编码单位的分割类型为正方形的分割，即对象预测单位的形状为正方形的情况下，通过长方形的分割方式来分割对象变换单位。
故而，起到能使扫描顺序在为正方形的分割的情况下以及为非正方形的分割的情况下统一这样的效果。
本发明的一形态所涉及的图像解码装置是按照将编码单位分割为1以上的数而得到的预测单位的每一个来生成预测图像，而且按编码单位或作为分割出的编码单位而获取的变换单位的每一个来解码预测残差，并通过对预测图像相加预测残差来还原图像的图像解码装置，向上述预测单位分割的分割类型包含：作为向不同大小的预测单位的分割的向非对称形状的分割以及作为向相同大小的预测单位的分割的向对称形状的分割，该图像解码装置具备：系数解码单元，其在成为解码对象的上述预测单位即对象预测单位的分割类型为向非对称形状的分割时，在通过该分割而得到的小的预测单位以及大的预测单位之间，参考不同的上下文来解码变换系数。
在通过非对称分割而得到的小的预测单位中，存在边沿的可能性高，变换系数易发生。与此相对，在大的预测单位中变换系数难以发生。对象变换单位在包含于小的预测单位的情况下和包含于大的预测单位的情况下，通过使用不同的上下文，能进行与各自的区域内中的变换系数的发生概率相应的可变长解码。
本发明的一形态所涉及的图像编码装置是按每个编码单位来编码用于还原图像的信息从而生成图像编码数据的图像编码装置，具备：编码单元，其针对对预测单位的尺寸与应用于编码单位的预测方式的组合所分配的码，对于对给定尺寸以下的尺寸的编码单位应用画面内预测的预测方式的组合，编码比分配给该组合以外的组合的码更短的码。
此外，具备与上述图像解码装置对应的构成的图像编码装置也落入本发明的范畴。根据如上所述构成的图像编码装置，能起到与本发明的一形态所涉及的图像解码装置同样的效果。
本发明的一形态所涉及的图像解码装置是对编码数据进行解码、通过参考一个参考图像的单预测以及参考两个参考图像的双预测的任一者的画面间预测的预测方式来还原预测单位内的图像的图像解码装置，具备：双预测限制单元，其基于上述编码数据中所含的表示进行双预测的限制的预测单位的尺寸的信息即双预测限制信息，来进行双预测的限制。
根据上述的构成，若图像编码装置在图像的编码中按照意图来自适应地对双预测限制信息进行编码，则在图像解码装置中能进行与上述意图相应的双预测的限制。由此，起到能进行与图像的分辨率或图像编码装置/图像解码装置的性能相应的细微的调整这样的效果。
在本发明的一形态所涉及的图像解码装置中，优选地，具备：限制信息解码单元，其在上述编码数据中所含的表示是否进行双预测的限制的标志即双预测限制标志是表示进行双预测的限制时，对上述双预测限制信息进行解码。
根据上述的构成，能按照从图像编码装置显式示出的标志来自适应地进行双预测的限制。由此，能在图像解码装置中进行图像编码装置所意图的双预测限制处理。
关于本发明的一形态所涉及的图像解码装置，优选地，上述双预测限制标志是根据上述编码数据的数据流的复杂度以及对上述编码数据进行解码的图像解码装置的性能的至少任一者来设定的。
双预测限制标志如上所述，是表示是否进行双预测的限制的标志。该双预测限制标志是在图像编码装置中根据编码数据的数据流的复杂度以及图像解码装置的性能的至少任一者来设定的。作为表示编码数据的数据流的复杂度以及图像解码装置的性能的指标，例如可列举H.264/AVC中的级别规制(level limit)。在级别规制中，规定了解码器对比特/数据流进行解码的速度等。另外，级别规制由整数级别以及子级别(小数点以下的级别)的2种级别构成。整数级别规定了大体的范围，规定了level1～5。
例如，level4对应于HDTV(High Definition Television；高清电视)的1080p的分辨率，level5对应于4k的分辨率。
另外，进而，在子级别中，规定了各整数级别中的详细的规格。
在此，对应于级别，想设置制约的PU尺寸以及想进行双预测的限制的预测单位(PU)是不同的。例如，在level4(HD)，优选不仅对4×4PU设置制约，而且在8×4PU、以及4×8PU中进行双预测的限制。另外，在level5(4k)，优选不仅对8×4PU以及4×8PU设置制约，而且在8×8PU中进行双预测的限制。
另外，优选地，这样的双预测的限制在图像编码装置中显式被指定。
根据上述的构成，当图像编码装置在编码数据中根据级别而设定了双预测限制标志以及双预测限制信息的情况下，能在图像解码装置中进行基于了双预测限制标志以及双预测限制信息的双预测的限制。
即，能遵照在图像编码装置中显式地设定的双预测的限制的指定，来在图像解码装置中进行双预测的限制。
如此，通过根据双预测限制标志的判定结果来进行基于双预测限制信息的双预测限制，即起到能根据数据流的复杂度/图像解码装置的性能(级别)，自适应地进行双预测的限制这样的效果。
本发明的一形态所涉及的图像解码装置是对编码数据进行解码、通过参考一个参考图像的单预测以及参考两个参考图像的双预测的任一者的画面间预测的预测方式来还原预测单位内的图像的图像解码装置，上述预测单位可取的尺寸根据编码的单位即编码单位的尺寸而确定，该图像解码装置具备：双预测限制单元，其根据上述编码数据中所含的表示编码单位的最小尺寸的标志的值来进行双预测的限制。
例如，在引用文献1中，通过“log2_min_coding_block_size_minus3”这样的参数来规定最小的编码单位(CU)的尺寸。另外，预测单位(PU)的形状(尺寸)还考虑编码单位(CU)的尺寸而规定。在最小CU尺寸为8×8的情况下，除了8×8PU之外，还能使用将8×8CU进行分割而得到的8×4PU、4×8PU、4×4PU。另外，在最小CU尺寸为16×16的情况下，能使用8×8PU，但不能使用8×4PU、4×8PU、4×4PU。
如上所述，优选对应于根据编码数据的数据流的复杂度以及图像解码装置的性能的至少任一者而设定的所谓的级别来进行双预测的限制。
若基于最小CU尺寸来进行双预测的限制，则能取得进行双预测限制的PU尺寸与限制单预测自身的PU尺寸的平衡。即，伴随双预测的处理量以及转发量受限、但单预测的处理量以及转发量不受限这样的失衡将消除。
最小CU尺寸如引用文献1所呈示，被规定为既存的参数。由此，通过活用这样的既存的参数，较之于追加双预测限制专用的标志的情况，能不招致码量的增大而可简易地进行双预测的限制。
在本发明的一形态所涉及的图像解码装置中，优选地，上述双预测限制单元在表示是否进行双预测的限制的标志即双预测限制标志表示进行双预测的限制时，进行上述双预测的限制。
根据上述的构成，能进行基于由图像编码装置设定的预测限制标志的双预测的限制。由此，能基于由图像编码装置显式设定的指定来自适应地进行双预测的限制。
关于本发明的一形态所涉及的图像解码装置，优选地，上述双预测限制标志是根据上述编码数据的数据流的复杂度以及对上述编码数据进行解码的图像解码装置的性能的至少任一者而设定的。
根据上述的构成，能根据级别来自适应地进行双预测的限制。
本发明的一形态所涉及的图像解码装置中，优选地，上述双预测限制标志至少可取3值，上述双预测限制单元进行与上述双预测限制标志的值相应的双预测的限制。
根据上述的构成，关于双预测的限制，能进行与双预测限制标志的值相应的细微的调整。例如，在将双预测限制标志的值设定为3值的情况下，考虑如下的双预测的限制。即，针对某尺寸的CU，能通过可取3值的双预测限制标志来表现不进行双预测的限制的情况、限制2N×2N/PU以外的双预测的情况、以及限制N×N/PU的双预测的情况的3个情况。
更具体而言，能根据双预测限制标志的值，选择在16×16CU中不进行双预测的限制的情况、仅对8×8PU限制双预测的情况、以及针对8×8PU、16×8PU、8×16PU限制双预测的情况。
在本发明的一形态所涉及的图像解码装置中，优选地，上述双预测限制标志还兼作对针对作为处理对象的编码单位而预先规定的最小尺寸的帧间预测单位进行禁止的标志。
在上述的构成中，在禁止最小的PU(N×N)中的帧间预测单位的情况下，能设定为上述双预测限制标志表示进行双预测的限制。反之也同样。
例如，作为表示是否容许最小的PU(N×N)中的帧间预测单位的标志，在引用文献1中，规定了inter_4x4_enabled_flag。此外，在CU的尺寸为8×8以上的情况下，或inter_4x4_enabled_flag为“1”的情况下，容许N×N的帧间预测。
在此，若设为！inter_4x4_enabled_flag(“！”表征逻辑否定的逻辑运算符)，则如此构成的标志能称为表示是否禁止帧间4×4的标志。
在针对CU的尺寸而可取的最小的尺寸的PU(N×N)中，限制双预测的情况下，能通过如上所述构成的标志来实现。由此，在这样的情况下，能削减标志的数量，能较简易地实现双预测的限制。
本发明的一形态所涉及的图像解码装置是对编码数据进行解码、且通过参考一个参考图像的单预测以及参考两个参考图像的双预测的任一者的画面间预测的预测方式来还原预测单位内的图像的图像解码装置，具备：合并候选导出单元，其从用于解码完毕的预测单位的解码的运动补偿参数中导出合并候选；以及双预测限制单元，其对上述导出的合并候选的至少一部分进行双预测的限制。
双预测较之于单预测，处理量更多。此外，单预测是指，在画面间预测中使用1个参考的图像的预测方式，双预测是指，在画面间预测中使用2个参考的图像的预测方式。参考的图像相对于对象帧，在时间上既可以在前方也可以在后方。
根据上述的构成，即使在对象预测单位中的预测图像的解码中使用合并处理的情况下，也能限制双预测，能简化对象预测单位中的解码处理。此外，限制包括：省略双预测中的一部分的处理、将变换双预测的运动矢量变换为进一步减轻处理负荷的情况、以及不进行(禁止)双预测的处理。
通过在所导出的合并候选的至少一部分进行上述双预测的限制，起到能降低成为解码处理的瓶颈那样的处理的处理量的效果。
在本发明的一形态所涉及的图像解码装置中，优选地，上述双预测限制单元在上述双预测的限制中将上述双预测变换成单预测。
在上述构成中，“限制双预测”是指，将双预测变换成单预测，不必进行双预测。如已说明的那样，单预测没有双预测处理复杂，另外处理量也少。
另外，“将双预测变换成单预测”是指，将所参考的参考图像的个数从两个限制到一个。
根据上述的构成，在对象预测单位中的预测图像的解码中使用合并处理的情况下，通过如上所述限制双预测，能简化对象预测单位中的解码处理。
在本发明的一形态所涉及的图像解码装置中，优选地，上述双预测限制单元对于上述导出的合并候选当中双预测的合并候选，也即2个运动矢量的至少一者是包含非整数的分量的非整数运动矢量的合并候选，来进行上述双预测的限制。
根据上述的构成，将2个运动矢量为非整数运动矢量的合并候选设为双预测的限制对象。另一方面，在合并候选为整数运动矢量的情况下不必限制双预测。
在此，非整数运动矢量是指，在将像素位置表现为整数值时，至少一部分的该运动矢量的分量由非整数来表征。
由于对非整数运动矢量应用用于生成插值图像的插值滤波器，因此有处理负荷变高的趋势。与此相对，在整数运动矢量的情况下，这样的滤波器处理不是必须的。
另外，由于在整数运动矢量的情况下插值滤波器处理非必须，因此运动补偿所参考的范围能设为与对象块相同。
故而，在整数运动矢量的情况下，即使进行双预测，转发量以及处理量也不会过度增大。
根据上述的构成，对于即使不限制双预测也不会产生那么多负荷的整数运动矢量，能省略双单变换，因此能减轻对合并候选进行双单变换的双预测限制处理的负荷。
在本发明的一形态所涉及的图像解码装置中，优选地，上述双预测限制单元对于上述导出的合并候选当中包括含有非整数的分量的非整数运动矢量在内的双预测的合并候选，将该非整数运动矢量所含的非整数的分量的至少一部分变换成整数的分量。
在上述的构成中，“限制双预测”是指，限制基于非整数运动矢量的双预测。
如上所述针对整数运动矢量，不必应用插值滤波器。由此，通过使双预测的合并候选的非整数运动矢量的分量进行整数化，能使运动补偿所参考的范围与对象块的范围更一致。此外，若将全部的分量整数化，则运动补偿所参考的范围与对象块一致。
此外，整数化以(X，Y)的二维座标表现的情况下，既可以仅对X座标进行，也可以仅对Y座标进行，还可以对X座标以及Y座标的两者进行。另外，可以仅对L0以及L1列表的一者进行整数化。
若通过如此得到的整数化后的运动矢量来进行双预测，则较之于直接以非整数运动矢量进行双预测的情况，能抑制转发量以及处理量的增大。
在本发明的一形态所涉及的图像解码装置中，优选地，上述双预测限制单元对于上述导出的合并候选当中给定的数量的合并候选，进行上述双预测的限制。
根据上述的构成，能对所导出的合并候选当中的一部分的合并候选进行双预测的限制。例如，在规定了合并候选的导出的顺序的情况下、或者存放有已导出的合并候选的列表中规定了顺序的情况下，能将排头N个设为双预测的限制对象。此外，N是正整数，可以是N＝1。
由此，较之于对全部的合并候选进行双预测的限制的情况，能减轻处理负荷。
在本发明的一形态所涉及的图像解码装置中，优选地，在上述导出的合并候选中未包含给定数量以上的单预测的情况下，上述双预测限制单元进行上述双预测的限制。
在合并候选列表中，存在：在包含给定数以上的单预测的情况下，即使容许双预测，从整体上看处理负荷也不会增大那么多的情况。根据上述构成，在这样的情况下，能省略双预测的限制处理，能谋求基于双预测的限制处理的不可增大的抑制。
在本发明的一形态所涉及的图像解码装置中，优选地，在上述合并候选导出单元导出了全部的合并候选之后，上述双预测限制单元对上述导出的合并候选进行上述双预测的限制。
根据上述的构成，首先，生成合并候选列表。另外，在合并候选的导出中，这样的处理是一般性的。根据上述构成，不必对如此一般性的合并候选列表生成处理，施加变更即可，因此能防止处理逻辑变得复杂。
在本发明的一形态所涉及的图像解码装置中，优选地，与上述合并候选导出单元导出合并候选的处理并行地，上述双预测限制单元进行将针对上述导出的合并候选的上述双预测加以限制的处理。
根据上述的构成，在将合并候选存放至合并候选列表前，限制双预测。另外，该处理是与导出合并候选的处理并行执行的。
通过这样的并行化，能谋求处理效率的提高。在处理的时延的容许范围窄的情况下特别有用。
另外，在通过合并候选的双单变换来进行双预测的限制，校验合并候选的唯一性的情况下，进行合并候选列表的生成，较之于在进行唯一性的校验后进行双单变换的情况，能使合并候选的无重复地创建合并候选列表。
本发明的一形态所涉及的图像编码装置是按每个编码单位编码用于还原图像的信息来生成图像编码数据的图像编码装置，具备：编码单元，其在编码数据中编码双预测限制标志，该双预测限制标志是表示是否根据上述编码数据的数据流的复杂度以及对上述编码数据进行解码的图像解码装置的性能的至少任一者，而在参考一个参考图像的单预测以及参考两个参考图像的双预测的画面间预测当中进行双预测的限制的标志。
本发明的一形态所涉及的图像编码数据的数据结构是按每个编码单位将用于还原图像的信息由图像编码装置进行编码的图像编码数据的数据结构，包含：双预测限制标志，其是表示是否根据上述编码数据的数据流的复杂度以及对上述编码数据进行解码的图像解码装置的性能的至少任一者，而在参考一个参考图像的单预测以及参考两个参考图像的双预测的画面间预测当中进行双预测的限制的标志。
此外，具备与上述图像解码装置对应的构成的图像编码装置以及由该图像编码装置生成的图像编码数据的数据结构也落入本发明的范畴。根据如上所述构成的图像编码装置以及图像编码数据的数据结构，能起到与本发明的一形态所涉及的图像解码装置同样的效果。
(硬件的实现以及软件的实现)
另外，上述的运动图像解码装置1以及运动图像编码装置2的各块既可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以使用CPU(CentralProcessing Unit)而以软件方式实现。
在后者的情况下，上述各装置具备：对实现各功能的程序的命令进行执行的CPU、存放有上述程序的ROM(Read Only Memory)、展开上述程序的RAM(Random AccessMemory)、存放上述程序以及各种数据的存储器等的存储装置(记录介质)等。而且，本发明的目的还能通过将实现上述的功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)按计算机可读的方式进行了记录的记录介质提供给上述各装置，并由该计算机(或CPU或MPU)读出记录介质中所记录的程序代码并加以执行，从而实现。
作为上述记录介质，例如能使用磁带或磁盒等的带类、包含软盘(注册商标)/硬盘等的磁盘或CD-ROM(Compact Disc Read-Only Memory)/MO盘(Magneto-Optical disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)/CD-R(CD Recordable)/蓝光光盘(Blu-rayDisc：注册商标)等的光盘的盘类、IC卡(包括存储卡)/光卡等的卡类、掩模ROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(注册商标)(ElectricallyErasable and Programmable Read-Only Memory)/闪速ROM等的半导体存储器类、或者PLD(Programmable logic device)或FPGA(Field Programmable Gate Array)等的逻辑电路类等。
另外，可以将上述各装置构成为能与通信网络连接，并经由通信网络来提供上述程序代码。该通信网络只要能传输程序代码即可，并不特别限定。例如，能利用互联网、内联网、外联网、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。另外，构成该通信网络的传输介质也只要是能传输程序代码的介质即可，并不限定于特定的构成或种类。例如，既可以以IEEE(Institute of Electrical and ElectronicEngineers)1394、USB、电力线输送、电缆TV线路、电话线、ADSL(Asymmetric DigitalSubscriber Line)线路等的有线，也可以以IrDA(Infrared Data Association)或遥控器那样的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High Data Rate)、NFC(NearField Communication)、DLNA(Digital Living Network Alliance)、便携式电话网、卫星线路、地面波数字网等的无线来进行利用。此外，本发明还能以将上述程序代码具现化为电子式的传输的嵌入至载波中的计算机数据信号的形态来予以实现。
本发明不限于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，在权利要求所示的范围内对酌情变更后的技术手段进行组合而得到的实施方式也包含在本发明的技术的范围中。
工业实用性
本发明优选应用于对编码图像数据而得到的编码数据进行解码的图像解码装置、以及生成编码图像数据而得到的编码数据的图像编码装置。另外，能优选应用于由图像编码装置生成、且由图像解码装置参考的编码数据的数据结构。
标号说明
1 运动图像解码装置
10 解码模块
11 CU信息解码部
12 PU信息解码部
13 TU信息解码部
16 帧存储器
111 CU预测模式决定部
112 PU尺寸决定部
121 运动补偿参数导出部(双预测限制单元、候选决定单元、估计单元)
122 合并候选优先顺位信息存储部
123 参考帧设定信息存储部
131 TU分割设定部
132 变换系数还原部
1011 CU预测模式解码部(解码单元、变更单元)
1012 二值化信息存储部
1013 上下文存储部
1014 概率设定存储部
1021 运动信息解码部(限制信息解码单元)
1031 区域分割标志解码部
1032 判定信息解码部(系数解码单元)
1033 变换系数解码部(系数解码单元)
1311 对象区域设定部
1312 分割决定部
1313 分割区域设定部(变换单位分割单元、分割单元)
1314 变换尺寸决定信息存储部
2 运动图像编码装置
21 编码设定部
23 预测图像生成部
25 帧存储器
27 变换/量化部
29 编码数据生成部(编码单元)
1211 跳过运动补偿参数导出部
1212 合并运动补偿参数导出部(合并候选导出部)
1213 基本运动补偿参数导出部
1218 双预测限制PU判定部
1219 双单预测变换部
1220 运动矢量整数化部
1212A 相邻合并候选导出部
1212B 时间性合并候选导出部
1212C 唯一候选导出部
1212D 结合双预测合并候选导出部
1212E 非缩放双预测合并候选导出部
1212F 零矢量合并候选导出部
1212G 合并候选导出控制部
1212H 合并候选存放部
1212J 合并候选选择部
1213A 相邻运动矢量候选导出部
1213B 时间性运动矢量候选导出部
1213F 零矢量合并候选导出部
1213G 运动矢量候选导出控制部
1213H 运动矢量候选存放部
1213I 运动矢量候选选择部
1213J 运动矢量还原部
1218A 双预测限制PU判定部
1219A 双单预测变换部(双预测限制单元)
1219B 双单预测变换部(双预测限制单元)
3012 合并运动补偿参数生成部
3013 基本运动补偿参数生成部
3013A 运动矢量候选选择部
3013B 差分运动矢量计算部
3014 运动补偿参数限制部

Claims (4)

1.一种图像解码装置，对图像编码数据中所包含的切片类型进行解码，并且使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对处理对象的切片中所包含的预测单位内的图像进行解码，其特征在于，
所述图像解码装置具备：运动补偿参数导出部，其导出表示是否使用参考预测列表的第1预测列表利用标志和第2预测列表利用标志，
所述切片类型包括：仅使用帧内预测的I切片、使用单预测或帧内预测的P切片、以及使用单预测、双预测或帧内预测的B切片，
在所述第1预测列表利用标志和所述第2预测列表利用标志的值为1，所述预测单位的尺寸为给定的尺寸以下，并且所述预测单位的尺寸为8×4或4×8的情况下，所述运动补偿参数导出部将所述第1预测列表利用标志的值或所述第2预测列表利用标志的值变换为0。
2.一种图像解码方法，对图像编码数据中所包含的切片类型进行解码，并且使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对处理对象的切片中所包含的预测单位内的图像进行解码，其特征在于，
所述图像解码方法至少包含：
导出表示是否使用参考预测列表的第1预测列表利用标志和第2预测列表利用标志的步骤，
所述切片类型包括：仅使用帧内预测的I切片、使用单预测或帧内预测的P切片、以及使用单预测、双预测或帧内预测的B切片，
在进行导出的所述步骤中，在所述第1预测列表利用标志和所述第2预测列表利用标志的值为1，所述预测单位的尺寸为给定的尺寸以下，并且所述预测单位的尺寸为8×4或4×8的情况下，将所述第1预测列表利用标志的值或所述第2预测列表利用标志的值变换为0。
3.一种图像编码装置，对图像编码数据中所包含的切片类型进行编码，并且使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对处理对象的切片中所包含的预测单位内的图像进行编码，其特征在于，
所述图像编码装置具备：运动补偿参数导出部，其导出表示是否使用参考预测列表的第1预测列表利用标志和第2预测列表利用标志，
所述切片类型包括：仅使用帧内预测的I切片、使用单预测或帧内预测的P切片、以及使用单预测、双预测或帧内预测的B切片，
在所述第1预测列表利用标志和所述第2预测列表利用标志的值为1，所述预测单位的尺寸为给定的尺寸以下，并且所述预测单位的尺寸为8×4或4×8的情况下，所述运动补偿参数导出部将所述第1预测列表利用标志的值或所述第2预测列表利用标志的值变换为0。
4.一种图像编码方法，对图像编码数据中所包含的切片类型进行编码，并且使用参考一个参考图像的单预测或参考两个参考图像的双预测作为画面间预测的预测方式来对处理对象的切片中所包含的预测单位内的图像进行编码，其特征在于，
所述图像编码方法至少包括：导出表示是否使用参考预测列表的第1预测列表利用标志和第2预测列表利用标志的步骤，
所述切片类型包括：仅使用帧内预测的I切片、使用单预测或帧内预测的P切片、以及使用单预测、双预测或帧内预测的B切片，
在进行导出的所述步骤中，在所述第1预测列表利用标志和所述第2预测列表利用标志的值为1，所述预测单位的尺寸为给定的尺寸以下，并且所述预测单位的尺寸为8×4或4×8的情况下，将所述第1预测列表利用标志的值或所述第2预测列表利用标志的值变换为0。
CN201810470679.9A 2011-09-29 2012-09-28 图像解码装置、图像解码方法、图像编码装置及图像编码方法 Active CN108650508B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011-215475 2011-09-29
JP2011215475 2011-09-29
JP2011242843 2011-11-04
JP2011-242843 2011-11-04
JP2011289936 2011-12-28
JP2011-289936 2011-12-28
CN201280047298.0A CN103828364B (zh) 2011-09-29 2012-09-28 图像解码装置、图像解码方法及图像编码装置
PCT/JP2012/075200 WO2013047811A1 (ja) 2011-09-29 2012-09-28 画像復号装置、画像復号方法および画像符号化装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280047298.0A Division CN103828364B (zh) 2011-09-29 2012-09-28 图像解码装置、图像解码方法及图像编码装置

Publications (2)

Publication Number Publication Date
CN108650508A CN108650508A (zh) 2018-10-12
CN108650508B true CN108650508B (zh) 2022-07-29

Family

ID=47995834

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810470679.9A Active CN108650508B (zh) 2011-09-29 2012-09-28 图像解码装置、图像解码方法、图像编码装置及图像编码方法
CN201810467382.7A Active CN108632608B (zh) 2011-09-29 2012-09-28 图像解码装置、图像解码方法、图像编码装置及图像编码方法
CN201280047298.0A Active CN103828364B (zh) 2011-09-29 2012-09-28 图像解码装置、图像解码方法及图像编码装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201810467382.7A Active CN108632608B (zh) 2011-09-29 2012-09-28 图像解码装置、图像解码方法、图像编码装置及图像编码方法
CN201280047298.0A Active CN103828364B (zh) 2011-09-29 2012-09-28 图像解码装置、图像解码方法及图像编码装置

Country Status (9)

Country Link
US (5) US10075733B2 (zh)
EP (2) EP2763414B1 (zh)
JP (2) JP5976658B2 (zh)
CN (3) CN108650508B (zh)
DK (1) DK2763414T3 (zh)
IN (1) IN2014CN02456A (zh)
MX (2) MX353235B (zh)
MY (1) MY164898A (zh)
WO (1) WO2013047811A1 (zh)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
KR102415787B1 (ko) * 2010-05-04 2022-06-30 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
ES2864874T3 (es) * 2011-01-13 2021-10-14 Nec Corp Dispositivo, método y programa de descodificación de video
EP3454561B1 (en) * 2011-09-14 2020-02-05 Samsung Electronics Co., Ltd. Method and device for encoding a prediction unit (pu) based on its size and corresponding decoding device
WO2013047805A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
GB2496201A (en) * 2011-11-07 2013-05-08 Sony Corp Context adaptive data encoding and decoding
CN103765890A (zh) 2011-11-08 2014-04-30 株式会社东芝 图像编码方法、图像解码方法、图像编码装置和图像解码装置
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US10721487B2 (en) * 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
SG10201702738RA (en) * 2012-07-02 2017-05-30 Samsung Electronics Co Ltd Method and apparatus for encoding video and method and apparatus for decoding video determining inter-prediction reference picture list depending on block size
US9380305B2 (en) * 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof
US9832478B2 (en) * 2013-05-14 2017-11-28 Mediatek Inc. Video encoding method and apparatus for determining size of parallel motion estimation region based on encoding related information and related video decoding method and apparatus
US9918098B2 (en) * 2014-01-23 2018-03-13 Nvidia Corporation Memory management of motion vectors in high efficiency video coding motion vector prediction
US10327001B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
MX368411B (es) * 2014-08-08 2019-10-02 Koninklijke Philips Nv Metodos y aparatos para codificacion de imagenes de alto rango dinamico (hdr).
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016074147A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
EP3202143B8 (en) * 2014-11-18 2019-09-25 MediaTek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
KR102272971B1 (ko) 2015-04-13 2021-07-05 미디어텍 인크. 비디오 코딩에서 최악의 경우의 대역폭을 줄이기 위한 제약된 인트라 블록 카피 방법
WO2016178485A1 (ko) * 2015-05-05 2016-11-10 엘지전자 주식회사 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치
US10602188B2 (en) * 2015-06-10 2020-03-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
CN108141582B (zh) * 2015-08-07 2022-06-03 Lg 电子株式会社 视频编译系统中的帧间预测方法和装置
US10687073B2 (en) * 2015-10-22 2020-06-16 Lg Electronics Inc. Method for encoding/decoding image and device therefor
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
CN109496430B (zh) * 2016-05-13 2022-06-14 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
CN116506597A (zh) * 2016-08-03 2023-07-28 株式会社Kt 视频解码方法、视频编码方法和视频数据的传送方法
CN115022623A (zh) * 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN114531585B (zh) * 2016-10-04 2023-03-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN116668728A (zh) 2016-11-08 2023-08-29 株式会社Kt 对视频进行解码和编码的方法、发送压缩数据的方法
CA3046942A1 (en) * 2016-12-16 2018-06-21 Sharp Kabushiki Kaisha Image decoding device and image encoding device
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
CN113784144B (zh) * 2017-06-26 2023-11-28 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法、解码方法和非暂时性存储介质
US20230308626A1 (en) * 2017-07-17 2023-09-28 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
JP6487002B2 (ja) * 2017-08-25 2019-03-20 株式会社東芝 復号方法および復号装置
WO2019083393A1 (en) * 2017-10-27 2019-05-02 Huawei Technologies Co., Ltd. METHODS AND APPARATUSES FOR SIGNALING PARTITIONING INFORMATION FOR IMAGE ENCODING AND DECODING
MX2020006250A (es) 2017-12-14 2020-09-25 Lg Electronics Inc Método y dispositivo para decodificar iimágen de conformidad con la inter-predicción en el sistema de codificación de imágen.
US11153602B2 (en) 2018-01-24 2021-10-19 Vid Scale, Inc. Generalized bi-prediction for video coding with reduced coding complexity
WO2019163795A1 (ja) * 2018-02-21 2019-08-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び符号化方法
US11470346B2 (en) * 2018-05-09 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
US11412211B2 (en) 2018-05-23 2022-08-09 Kt Corporation Method and apparatus for processing video signal
WO2019234613A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with partition into 3 sub-blocks by horizontal and vertical splits
EP3788787A1 (en) 2018-06-05 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Interaction between ibc and atmvp
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
SG11202013028PA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Interaction between lut and amvp
MX2020013829A (es) 2018-06-29 2022-05-18 Beijing Bytedance Network Tech Co Ltd Poda parcial/total cuando se añade un candidato a hmvp para fusión/amvp.
TWI719523B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 哪個查找表需要更新或不更新
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
GB2588006B (en) 2018-06-29 2023-03-22 Beijing Bytedance Network Tech Co Ltd Number of motion candidates in a look up table to be checked according to mode
WO2020003266A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Resetting of look up table per slice/tile/lcu row
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
TWI748202B (zh) 2018-07-02 2021-12-01 大陸商北京字節跳動網絡技術有限公司 Lamvr中取整和修剪的順序
BR112021000004A8 (pt) * 2018-07-06 2023-02-07 Mediatek Inc Informações de movimento herdadas para decodificar uma unidade de codificação atual em um sistema de codificação de vídeo
CN110719481B (zh) * 2018-07-15 2023-04-14 北京字节跳动网络技术有限公司 跨分量编码信息导出
US10798376B2 (en) * 2018-07-17 2020-10-06 Tencent America LLC Method and apparatus for video coding
AU2018217336A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
MX2021001745A (es) 2018-08-17 2021-07-16 Huawei Tech Co Ltd Gestión de imágenes de referencia en codificación de video.
WO2020039323A1 (en) * 2018-08-19 2020-02-27 Beijing Bytedance Network Technology Co., Ltd. Forced boundary partitioning when using tree partitions
MX2021002396A (es) 2018-08-28 2021-05-12 Huawei Tech Co Ltd Metodo y aparato de particion de imagenes.
CN110876058B (zh) * 2018-08-30 2021-09-21 华为技术有限公司 一种历史候选列表更新方法与装置
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
CN116055720A (zh) * 2018-09-21 2023-05-02 Oppo广东移动通信有限公司 视频信号编码/解码方法及其设备
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
CN112997495B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 当前图片参考中的取整
EP3893508A4 (en) * 2018-12-07 2022-09-14 Sharp Kabushiki Kaisha MOBILE IMAGE DECODING DEVICE
WO2020116242A1 (ja) * 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10887611B2 (en) * 2018-12-27 2021-01-05 Qualcomm Incorporated Pruning for illumination compensation mode
CN111416975B (zh) * 2019-01-08 2022-09-16 华为技术有限公司 预测模式确定方法和装置
CN114157864B (zh) 2019-01-08 2022-10-28 华为技术有限公司 图像预测方法、装置、设备、系统及存储介质
KR102450491B1 (ko) * 2019-01-09 2022-09-30 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 조합된 인터 및 인트라 예측을 위한 시스템 및 방법
JP7303255B2 (ja) * 2019-01-09 2023-07-04 ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド ビデオコーディングの方法、ビデオコーディングデバイス、コンピュータ可読記憶媒体およびコンピュータプログラム
CN117294842A (zh) * 2019-01-09 2023-12-26 北京达佳互联信息技术有限公司 视频编解码方法、设备和非暂时性计算机可读存储介质
MX2021008389A (es) * 2019-01-09 2023-01-27 Beijing Dajia Internet Information Tech Co Ltd Sistema y metodo para mejorar la inter e intraprediccion combinada.
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
JP6801830B1 (ja) * 2019-03-08 2020-12-16 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US20220182657A1 (en) * 2019-03-11 2022-06-09 Vid Scale, Inc. Symmetric merge mode motion vector coding
PL3915254T3 (pl) 2019-03-12 2024-03-11 Beijing Dajia Internet Information Technology Co., Ltd. Sposób oraz urządzenie do kodowania wideo do predykcji trójkątnej
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US11394990B2 (en) 2019-05-09 2022-07-19 Tencent America LLC Method and apparatus for signaling predictor candidate list size
CN110363776B (zh) * 2019-06-28 2021-10-22 联想(北京)有限公司 图像处理方法及电子设备
US20230107012A1 (en) * 2021-10-05 2023-04-06 Mellanox Technologies, Ltd. Hardware accelerated video encoding
CN115103194B (zh) * 2022-06-16 2023-03-24 慧之安信息技术股份有限公司 基于多解码模式的视频解码方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087414A (zh) * 2006-06-08 2007-12-12 株式会社日立制作所 图像编码装置和图像编码方法
CN101502124A (zh) * 2006-07-28 2009-08-05 株式会社东芝 图像编码和解码的方法以及装置

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
WO2003003745A1 (en) 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
JP4047183B2 (ja) 2002-03-07 2008-02-13 キヤノン株式会社 画像圧縮符号化装置及びその制御方法
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US8009739B2 (en) * 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7761238B2 (en) 2003-10-03 2010-07-20 Allan Robert Moser Method and apparatus for discovering patterns in binary or categorical data
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
KR100648258B1 (ko) 2004-08-02 2006-11-23 삼성전자주식회사 고속의 디코딩을 수행하는 파이프라인 구조의 내용 기반적응적 이진 산술 디코더
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
EP1832116A1 (en) 2004-12-22 2007-09-12 Koninklijke Philips Electronics N.V. Video stream modifier
US8565307B2 (en) * 2005-02-01 2013-10-22 Panasonic Corporation Picture encoding method and picture encoding device
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
US20070025442A1 (en) * 2005-07-28 2007-02-01 Sanyo Electric Co., Ltd. Coding method for coding moving images
JP2007067731A (ja) * 2005-08-30 2007-03-15 Sanyo Electric Co Ltd 符号化方法
EP1928184B1 (en) 2005-09-20 2017-09-27 Mitsubishi Electric Corporation Image encoding apparatus, image encoding method
EP2765780A1 (en) 2005-12-05 2014-08-13 Huawei Technologies Co., Ltd. Binarizing method and device thereof
US7983343B2 (en) 2006-01-12 2011-07-19 Lsi Corporation Context adaptive binary arithmetic decoding for high definition video
KR100736104B1 (ko) 2006-04-06 2007-07-06 삼성전자주식회사 독립적 파싱을 지원하는 비디오 코딩 방법 및 장치
JP4734168B2 (ja) * 2006-05-09 2011-07-27 株式会社東芝 画像復号化装置及び画像復号化方法
US8559514B2 (en) * 2006-07-27 2013-10-15 Qualcomm Incorporated Efficient fetching for motion compensation video decoding process
JP4878262B2 (ja) * 2006-10-31 2012-02-15 キヤノン株式会社 エントロピー符号化装置
US20080120676A1 (en) * 2006-11-22 2008-05-22 Horizon Semiconductors Ltd. Integrated circuit, an encoder/decoder architecture, and a method for processing a media stream
US7365659B1 (en) 2006-12-06 2008-04-29 Silicon Image Gmbh Method of context adaptive binary arithmetic coding and coding apparatus using the same
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
KR101539240B1 (ko) 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
BRPI0818344A2 (pt) * 2007-10-12 2015-04-22 Thomson Licensing Métodos e aparelhos para codificação e decodificação de vídeo de partições de modo bi-preditivo geometricamente particionadas
US8379729B2 (en) * 2007-11-21 2013-02-19 Texas Instruments Incorporated Content adaptive error localization to improve quality of corrupted video data streams upon decode
CN101163244A (zh) * 2007-11-22 2008-04-16 上海交通大学 视频解码器运动补偿过程中的像素缓存方法及系统
US9008171B2 (en) 2008-01-08 2015-04-14 Qualcomm Incorporated Two pass quantization for CABAC coders
US8891615B2 (en) 2008-01-08 2014-11-18 Qualcomm Incorporated Quantization based on rate-distortion modeling for CABAC coders
SG155790A1 (en) 2008-03-18 2009-10-29 Radiantrust Pte Ltd Method for embedding covert data in a text document using space encoding
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
WO2010005691A1 (en) * 2008-06-16 2010-01-14 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US20100127904A1 (en) 2008-11-26 2010-05-27 Horizon Semiconductors Ltd. Implementation of a rapid arithmetic binary decoding system of a suffix length
US9788010B2 (en) * 2009-05-07 2017-10-10 Texas Instruments Incorporated Reducing computational complexity when video encoding uses bi-predictively encoded frames
US8498330B2 (en) * 2009-06-29 2013-07-30 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for coding mode selection
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101700358B1 (ko) 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8588536B2 (en) * 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
US9973768B2 (en) * 2010-03-16 2018-05-15 Texas Instruments Incorporated CABAC decoder with decoupled arithmetic decoding and inverse binarization
CN105959703B (zh) * 2010-04-13 2019-06-04 Ge视频压缩有限责任公司 解码器、编码器、生成数据流的方法及解码数据流的方法
CN106060561B (zh) * 2010-04-13 2019-06-28 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
WO2011130854A1 (en) 2010-04-19 2011-10-27 Research In Motion Limited Methods and devices for reordered parallel entropy coding and decoding
KR102415787B1 (ko) * 2010-05-04 2022-06-30 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
US20130058410A1 (en) * 2010-05-13 2013-03-07 Sharp Kabushiki Kaisha Encoding device, decoding device, and data structure
CN101917615A (zh) * 2010-06-03 2010-12-15 北京邮电大学 一种混合视频编码框架中的增强型双向运动矢量预测方法
US9398308B2 (en) * 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
KR102062821B1 (ko) * 2010-09-29 2020-01-07 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US8548057B2 (en) * 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
US9848197B2 (en) 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
GB2488830B (en) * 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
IN2014CN01784A (zh) * 2011-08-30 2015-05-29 Nokia Corp
EP3454561B1 (en) 2011-09-14 2020-02-05 Samsung Electronics Co., Ltd. Method and device for encoding a prediction unit (pu) based on its size and corresponding decoding device
WO2013047805A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
CN104081772B (zh) * 2011-10-06 2018-04-10 弗劳恩霍夫应用研究促进协会 熵编码缓冲器配置
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
KR20130049525A (ko) * 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
US9451287B2 (en) 2011-11-08 2016-09-20 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9143781B2 (en) * 2012-04-03 2015-09-22 Qualcomm Incorporated Weighted prediction parameter coding
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
EP2904797B1 (en) 2012-10-01 2021-08-11 Nokia Technologies Oy Method and apparatus for scalable video coding
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US20140198846A1 (en) 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087414A (zh) * 2006-06-08 2007-12-12 株式会社日立制作所 图像编码装置和图像编码方法
CN101502124A (zh) * 2006-07-28 2009-08-05 株式会社东芝 图像编码和解码的方法以及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Complexity Limitations for High Definition;Alexander (Sandy) MacInnis等;《Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)，4th Meeting: Klagenfurt, Austria, 22-26 July, 2002，Document: JVT-D134》;20020726;第1-3页 *
Motion Compensation Complexity Reduction for Bi-Prediction;Hui Yong Kim等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，6th Meeting: Torino, 14-22July, 2011，Document: JCTVC-F356》;20110722;第1-11页 *

Also Published As

Publication number Publication date
US20210409760A1 (en) 2021-12-30
WO2013047811A1 (ja) 2013-04-04
US10075733B2 (en) 2018-09-11
CN108632608B (zh) 2022-07-29
JPWO2013047811A1 (ja) 2015-03-30
MX2014003736A (es) 2014-05-01
US20200304830A1 (en) 2020-09-24
US20150312588A1 (en) 2015-10-29
US20170310991A1 (en) 2017-10-26
JP5976658B2 (ja) 2016-08-24
CN103828364B (zh) 2018-06-12
CN108632608A (zh) 2018-10-09
DK2763414T3 (da) 2020-11-30
EP2763414A1 (en) 2014-08-06
CN103828364A (zh) 2014-05-28
IN2014CN02456A (zh) 2015-06-19
US10743024B2 (en) 2020-08-11
JP2016195452A (ja) 2016-11-17
EP2763414B1 (en) 2020-09-23
JP6190499B2 (ja) 2017-08-30
EP3754982A1 (en) 2020-12-23
MX353235B (es) 2018-01-08
CN108650508A (zh) 2018-10-12
MX337446B (es) 2016-03-07
US11128889B2 (en) 2021-09-21
MY164898A (en) 2018-01-30
US20190110070A1 (en) 2019-04-11
US10194169B2 (en) 2019-01-29
EP2763414A4 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
CN108650508B (zh) 图像解码装置、图像解码方法、图像编码装置及图像编码方法
JP6190494B2 (ja) 画像復号装置、画像復号方法および画像符号化装置
US11871031B2 (en) Method for inducing prediction motion vector and apparatuses using same
TWI805627B (zh) 視訊寫碼中之仿射預測
KR101768401B1 (ko) 화상 복호 장치
RU2611992C2 (ru) Повышение пропускной способности для кодирования уровня коэффициентов cabac
PH12016500079B1 (en) Palette prediction in palette-based video coding
US11330297B2 (en) Methods incorporating extensions to copy-above mode for palette mode coding
KR20160138102A (ko) 비디오 코딩에서 팔레트 코딩된 블록들의 팔레트 사이즈, 팔레트 엔트리들 및 필터링의 결정
EP4035378A1 (en) Quantization parameter signaling for joint chroma residual mode in video coding
CN111819851A (zh) 用于使用预测运动向量起点对视频编码执行运动向量预测的系统和方法
WO2013065431A1 (ja) 画像復号装置、画像復号方法および画像符号化装置
JP2013223049A (ja) 画像復号装置、および画像符号化装置
US20240137556A1 (en) Affine prediction in video coding
US20230231992A1 (en) Geometric partition mode in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant