CN115398917A

CN115398917A - 运动图像解码装置及运动图像解码方法

Info

Publication number: CN115398917A
Application number: CN202180024998.7A
Authority: CN
Inventors: 中条健; 猪饲知宏; 青野友子; 佐佐木瑛一; 桥本知典; 周天洋; 八杉将伸
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2020-04-02
Filing date: 2021-03-26
Publication date: 2022-11-25
Also published as: JPWO2021200658A1; WO2021200658A1; US20230147701A1; TW202139699A

Abstract

在B切片的运动矢量的编码、解码中，若设定为在图片报头中定义的将L1预测的运动矢量的差分值设为零的模式，则不论参照图片列表结构如何，都不运行对称运动矢量差分模式。当一个图片内存在多个切片时，根据选择的参照图片，编码效率会明显变差。本发明的特征在于：具有将能以图片单位切换的双向预测的L1预测的运动矢量的差分设为零的模式，当两个参照图片列表内可参照的短期参照图片全部为以前的或未来的图片时，可应用所述模式。

Description

运动图像解码装置及运动图像解码方法

技术领域

本发明的实施方式涉及一种运动图像编码装置、运动图像解码装置、以及预测图像生成装置。

背景技术

为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置、以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。

作为具体的运动图像编码方式，可列举例如H.264/AVC(Advanced Video Coding：高级视频编码)或H.265/HEVC(High-Efficiency Video Coding：高效视频编码)等。

上述运动图像编码方式中，构成运动图像的图像(图片)通过包含切片、编码树单元(CTU：Coding Tree Unit)、编码单位(也有时称为编码单元(Coding Unit：CU))、以及转换单元(TU：Transform Unit)的分级结构进行管理，并按每一CU进行编码/解码，上述切片是通过对图像进行分割而得，上述编码树单元是通过对切片进行分割而得，上述编码单位是通过对编码树单元进行分割而得，上述转换单元是通过对编码单位进行分割而得。

此外，上述运动图像编码方式中，通常基于通过对输入图像进行编码/解码而得的局部解码图像来生成预测图像，对从输入图像(原图像)减去该预测图像而得的预测误差(也有时称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举画面间预测(帧间预测)、以及画面内预测(帧内预测)。

此外，作为近年来的运动图像编码和解码的技术可列举非专利文献1。

非专利文献1中采用如下方法：在B切片的运动矢量的编码、解码中，在图片报头中定义有将L1预测的运动矢量的差分值设为零的模式。

现有技术文献

非专利文献

非专利文献1：“Versatile Video Coding(Draft 8)”，JVET-P2001-vE，JointVideo Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,2020-3-12

发明内容

发明所要解决的问题

然而，非专利文献1记载的方法中，在B切片的运动矢量的编码、解码中，在图片报头中定义有将L1预测的运动矢量的差分值设为零的模式。但是，若设定该模式，则不论参照图片列表结构如何，都不运行对称运动矢量差分模式。因此，当一个图片内存在多个切片时，有如下问题：根据选择的参照图片，编码效率可能会明显变差。

用于解决问题的方案

本发明的一个方案的运动图像解码装置的特征在于：

具有将能以图片单位切换的双向预测的L1预测的运动矢量的差分设为零的模式，

当两个参照图片列表内可参照的短期参照图片全部为以前的或者未来的图片时，可应用将所述L1预测的运动矢量差分设为零的模式。

通过如此构成，即使一个图片中存在多个切片，也能高效地编码、解码。

本发明的一个方案的运动图像解码装置的特征在于的特征在于：

具有预测部，该预测部对包含多个参照图片列表的参照图片列表结构进行解码，且以图片单位或者切片单位从所述参照图片列表结构选择参照图片列表，

当所述预测部以图片单位选择参照图片列表时，可以图片单位应用将双向预测的L1预测的运动矢量的差分设为零的模式，

当所述预测部以切片单位选择参照图片列表时，可以切片单位应用将上述L1预测的运动矢量的差分设为零的模式。

发明效果

根据本发明的一方案，可解决上述问题。

附图说明

图1是表示本实施方式的图像传输系统的构成的概略图。

图2是表示搭载有本实施方式的运动图像编码装置的发送装置、以及搭载有运动图像解码装置的接收装置的构成的图。PROD_A表示搭载有运动图像编码装置的发送装置，PROD_B表示搭载有运动图像解码装置的接收装置。

图3是表示搭载有本实施方式的运动图像编码装置的记录装置、以及搭载有运动图像解码装置的播放装置的构成的图。PROD_C表示搭载有运动图像编码装置的记录装置，PROD_D表示搭载有运动图像解码装置的播放装置。

图4是表示编码流的数据的分级结构的图。

图5是表示参照图片和参照图片列表的一例的概念图。

图6是表示运动图像解码装置的构成的概略图。

图7是说明运动图像解码装置的概略性动作的流程图。

图8是说明合并候选的配置的图。

图9是表示帧间预测参数导出部的构成的概略图。

图10是表示合并预测参数导出部、以及AMVP预测参数导出部的构成的概略图。

图11是表示帧间预测图像生成部的构成的概略图。

图12是表示运动图像编码装置的构成的框图。

图13是表示帧间预测参数编码部的构成的概略图。

图14是表示帧内预测参数编码部的构成的概略图。

图15是表示序列参数集(SPS：Sequence Paramenter Set)和图片参数集(PPS：Picture Parameter Set)的语法的一部分的图。

图16是表示图片报头PH的语法的一部分的图。

图17是表示切片报头的语法的一部分的图。

图18是表示对参照图片列表进行定义的ref_pic_lists()和对参照图片列表结构ref_pic_list_struct(listIdx、rplsIdx)进行定义的语法的图。

图19是表示编码单元CU的语法的一部分的图。

图20是表示本实施方式中的编码单元CU的语法的图。

图21是表示本实施方式中的编码单元CU的语法的图。

图22是表示本实施方式中的图片报头PH和切片报头的语法的一部分的图。

具体实施方式

(第一实施方式)

以下，参照附图对本发明的实施方式进行说明。

图1是表示本实施方式的图像传输系统1的构成的概略图。

图像传输系统1是传输对分辨率已转换的不同分辨率的图像进行编码而成的编码流，并对传输的编码流进行解码而将图像逆转换为原来的分辨率后进行显示的系统。图像传输系统1构成为包含分辨率转换装置(分辨率转换部)51、运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31、分辨率逆转换装置(分辨率逆转换部)61、以及运动图像显示装置(图像显示装置)41。

分辨率转换装置51对运动图像中所含的图像T的分辨率进行转换，将包含分辨率不同的图像的可变分辨率运动图像信号供给至图像编码装置11。此外，分辨率转换装置51将表示图像有无分辨率转换的信息供给至运动图像编码装置11。当该信息表示分辨率转换时，运动图像编码装置将后述的分辨率转换信息ref_pic_resampling_enabled_flag设定为1，使其包含在编码数据的序列参数集SPS(Sequence Parameter Set)中进行编码。

运动图像编码装置11中输入分辨率已转换的图像T。

网络21将运动图像编码装置11生成的编码流Te传输至运动图像解码装置31。网络21为因特网(Internet)、广域网(WAN：Wide Area Network)、局域网络(LAN：Local AreaNetwork)或它们的组合。网络21未必限定于双向的通信网络，也可以为数字地面广播、卫星广播等传输广播波的单向的通信网络。此外，网络21也可以由DVD(Digital VersatileDisc(数字通用光盘)：注册商标)、BD(Blue-ray Disc(蓝光光盘)：注册商标)等记录编码流Te的存储介质代替。

运动图像解码装置31对网络21传输的各编码流Te进行解码，生成可变分辨率解码图像信号并供给至分辨率逆转换装置61。

当可变分辨率解码图像信号中所含的分辨率转换信息表示分辨率转换时，分辨率逆转换装置61对经分辨率转换的图像进行逆转换，从而生成原始尺寸的解码图像信号。

运动图像显示装置41上显示由分辨率逆转换部输入的解码图像信号所表示的一个或多个解码图像Td的全部或一部分。运动图像显示装置41具有例如液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。作为显示器的形态，可列举固定型、移动型、HMD(Head Mounted Display：头戴式显示器)等。此外，当运动图像解码装置31具有高处理能力时，显示画质高的图像，当只具有更低处理能力时，显示无需高处理能力、高显示能力的图像。

<运算符>

以下记载本说明书中所使用的运算符。

＞＞为位元右移，＜＜为位元左移，&为按位元AND，|为按位元OR，|＝为OR代入运算符，||表示逻辑或。

x？y：z是在x为真(0以外)的情况下取y，在x为假(0)的情况下取z的三项运算符。

Clip3(a，b，c)是将c截取为a以上且b以下的值的函数，且是在c＜a的情况下返回a，在c＞b的情况下返回b，在其他情况下返回c的函数(其中，a＜＝b)。

abs(a)是返回a的绝对值的函数。

Int(a)是返回a的整数值的函数。

floor(a)是返回a以下的最大整数的函数。

ceil(a)是返回a以上的最小整数的函数。

a/d表示以d除a的除法运算(小数点之后舍去)。

min(a，b)表示a和b中较小一方的值。

<编码流Te的结构>

在详细说明本实施方式的运动图像编码装置11和运动图像解码装置31之前，对通过运动图像编码装置11生成且通过运动图像解码装置31解码的编码流Te的数据结构进行说明。

图4是表示编码流Te中的数据的分级结构的图。编码流Te例示性地包含序列、以及构成序列的多个图片。图4中，示出表示确定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所含的编码树单元、编码树单元中所含的编码单元的图。

(编码视频序列)

在编码视频序列中，规定有供运动图像解码装置31参照的数据的集合以将处理对象的序列SEQ解码。如图4所示，序列SEQ包含视频参数集VPS(Video Parameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture Parameter Set)、自适应参数集(APS：Adaptation Parameter Set)、图片PICT、以及补充增强信息SEI(Supplemental Enhancement Information)。

视频参数集VPS在由多个层构成的运动图像中，规定有对多个运动图像共通的编码参数的集合以及运动图像中所含的多个层和各个层关联的编码参数的集合。

在序列参数集SPS中，规定有供运动图像解码装置31参照的编码参数的集合以将对象序列解码。例如规定有图片的宽度和高度。另外，SPS也可以有多个。该情况时，从PPS选择多个SPS中的任一个。

(编码图片)

在编码图片中，规定有供运动图像解码装置31参照的数据的集合以对处理对象的图片PICT进行解码。图片PICT如图4所示，包含图片报头PH、切片0～切片NS-1(NS为图片PICT中所含的切片的总数)。

以下，当无须区分各个切片0～切片NS-1时，有时会省略号的下标来记述。此外，对于以下说明的编码流Te中所含的数据，即附有下标的其他数据也同样。

(编码切片)

在编码切片中，规定有供运动图像解码装置31参照的数据的集合以对处理对象的切片S进行解码。如图4所示，切片包含切片报头和切片数据。

切片报头中，包含运动图像解码装置31为了决定对象切片的解码方法而参照的编码参数群。指定切片类型的切片类型指定信息(slice_type)为切片报头中所包含的编码参数的一例。

作为可通过切片类型指定信息指定的切片类型，可列举(1)编码时仅使用帧内预测的I切片、(2)编码时使用单预测(L0预测)、或帧内预测的P切片、(3)编码时使用单预测(仅使用参照图片列表0的L0预测或仅使用参照图片列表1的L1预测)、双预测或帧内预测的B切片等。另外，帧间预测并不限于单预测、双预测，也可以使用更多参照图片生成预测图像。以下，在称为P、B切片的情况下，是指包含能使用帧间预测的块的切片。

另外，切片报头也可以包含向图片参数集PPS的参照(pic_parameter_set_id)。

(编码切片数据)

在编码切片数据中，规定有供运动图像解码装置31参照的数据的集合以对处理对象的切片数据进行解码。切片数据如图4的编码切片报头所示，包含CTU。CTU是构成切片的固定尺寸(例如64×64)的块，有时也称为最大编码单位(LCU：Largest Coding Unit)。

(编码树单元)

图4中规定有供运动图像解码装置31参照的数据的集合以对处理对象的CTU进行解码。CTU通过递归性的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或者三叉树分割(TT(Ternary Tree)分割)而分割为编码处理的基本单位即编码单元CU。将BT分割与TT分割并称为多叉树分割(MT(Multi Tree)分割)。将通过递归性的四叉树分割而得的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树、以及三叉树的中间节点为编码节点，CTU自身也被规定为最上位的编码节点。

CT中，作为CT信息，包含表示是否进行CT分割的CU分割标志(split_cu_flag)、表示是否进行QT分割的QT分割标志(qt_split_cu_flag)、表示MT分割的分割方向的MT分割方向(mtt_split_cu_vertical_flag)、表示MT分割的分割类型的MT分割类型(mtt_split_cu_binary_flag)。split_cu_flag、qt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flag针对每个编码节点而传输。

亮度和色差也可以使用不同的树。树的类型以treeType表示。例如，当亮度(Y，cIdx＝0)和色差(Cb/Cr，cIdx＝1，2)使用共通的树时，共通的单个树以treeType＝SINGLE_TREE表示。当亮度和色差使用不同的两个树(DUAL树)时，亮度的树以treeType＝DUAL_TREE_LUMA表示，色差的树以treeType＝DUAL_TREE_CHROMA表示。

(编码单元)

图4中规定有供运动图像解码装置31参照的数据的集合以对处理对象的编码单元进行解码。具体而言，CU包含CU报头CUH、预测参数、转换参数、量化转换系数等。CU报头中规定有预测模式等。

预测处理有以CU单位进行的情况、以及以将CU进一步分割的子CU单位进行的情况。当CU与子CU的尺寸相等时，CU中的子CU为一个。当CU的尺寸大于子CU的尺寸时，CU被分割为子CU。例如当CU为8×8、子CU为4×4时，CU被分割水平二分割、垂直二分割的四个子CU。

预测的种类(预测模式)有帧内预测和帧间预测这两种。帧内预测是同一图片内的预测，帧间预测是指彼此不同的图片间(例如显示时间间、层图像间)进行的预测处理。

转换/量化处理是以CU单位进行，但量化转换系数也可以以4×4等子块单位进行熵编码。

(预测参数)

预测图像是通过随附于块的预测参数导出。预测参数中有帧内预测和帧间预测的预测参数。

以下，将对帧间预测的预测参数进行说明。帧间预测参数是由预测列表利用标志predFlagL0、predFlagL1、参照图片索引refIdxL0、refIdxL1、运动矢量mvL0、mvL1构成。predFlagL0、predFlagL1是表示是否使用参照图片列表(L0列表、L1列表)的标志，值为1时使用对应的参照图片列表。另外，本说明书中记为“表示是否为XX的标志”时，标志非0(例如1)时视为是XX，标志为0时视为并非XX，在逻辑否定、逻辑积等中将1处理为真，将0处理为假(以下同样)。然而，实际的装置、方法中，真值、假值，也可以采用其他值。

用于导出帧间预测参数的语法元素有例如合并模式中使用的仿射标志affine_flag、合并标志merge_fag、合并索引merge_idx、MMVD标志mmvd_flag、AMVP模式中使用的用于选择参照图片的帧间预测标识符inter_pred_idc、参照图片索引refIdxLX、用于导出运动矢量的预测矢量索引mvp_LX_idx、差分矢量mvdLX、运动矢量精度模式amvr_mode。

(参照图片列表)

参照图片列表是包含参照图片存储器306中存储的参照图片的列表。图5是表示参照图片和参照图片列表的一例的概念图。在图5的表示参照图片的一例的概念图中，矩形表示图片，箭头表示图片的参照关系，横轴表示时间，矩形中的I、P、B分别表示帧内图片、单预测图片、双预测图片，矩形中的数字表示解码顺序。如图所示，图片的解码顺序为I0、P1、B2、B3、B4，显示顺序为I0、B3、B2、B4、P1。图5中示出图片B3(对象图片)的参照图片列表的示例。参照图片列表是表示参照图片的候选的列表，一个图片(切片)也可以具有一个以上的参照图片列表。图例中，对象图片B3具有L0列表RefPicList0和L1列表RefPicList1的参照图片列表。各个CU中，由refIdxLX指定实际参照参照图片列表RefPicListX(X＝0或1)中的哪个图片。图是refIdxL0＝2、refIdxL1＝0的例。另外，LX是不区分L0预测与L1预测时使用的记述方法，以后，通过将LX替换为L0、L1来区分L0列表对应的参数与L1列表对应的参数。

(合并预测和AMVP预测)

预测参数的解码(编码)方法中有合并预测(merge)模式和AMVP(Advanced MotionVector Prediction，高级运动矢量预测)模式，merge_flag是用于对它们进行识别的标志。合并预测模式中，预测列表利用标志predFlagLX、参照图片索引refIdxLX、运动矢量mvLX不包含于编码数据中，而是根据已处理的附近块的预测参数等导出。AMVP模式中，inter_pred_idc、refIdxLX、mvLX包含于编码数据中。另外，mvLX是作为识别预测矢量mvpLX的mvp_LX_idx和差分矢量mvdLX而编码。此外，除合并预测模式之外，还有仿射预测模式、MMVD预测模式。

inter_pred_idc是表示参照图片的种类和数量的值，取PRED_L0、PRED_L1、PRED_BI中的任一值。PRED_L0、PRED_L1分别表示使用L0列表、L1列表中管理的一张参照图片的单预测。PRED_BI表示使用L0列表和L1列表中管理的两张参照图片的双预测。

merge_idx是表示是否将从处理结束的块导出的预测参数候选(合并候选)中的任一预测参数用作对象块的预测参数的索引。

(运动矢量)

mvLX表示不同的两个图片上的块间的移位量。mvLX相关的预测矢量、差分矢量分别称为mvpLX、mvdLX。

(帧间预测标识符inter_pred_idc和预测列表利用标志predFlagLX)

inter_pred_idc与predFlagL0、predFlagL1的关系如下所述，可相互转换。

inter_pred_idc＝(predFlagL1＜＜1)+predFlagL0

predFlagL0＝inter_pred_idc&1

predFlagL1＝inter_pred_idc＞＞1

另外，帧间预测参数可以使用预测列表利用标志，也可以使用帧间预测标识符。此外，使用预测列表利用标志的判定也可以替换为使用帧间预测标识符的判定。相反，使用帧间预测标识符的判定也可以替换为使用预测列表利用标志的判定。

(双预测biPred的判定)

作为是否为双预测的标志biPred，能根据两个预测列表利用标志是否均为1而导出。例如能根据下式导出。

biPred＝(predFlagL0＝＝1&&predFlagL1＝＝1)

或者，biPred也可以根据帧间预测标识符是否为表示使用两个预测列表(参照图片)的值而导出。例如能根据下式导出。

biPred＝(inter_pred_idc＝＝PRED_BI)？1：0

(运动图像解码装置的构成)

对本实施方式的运动图像解码装置31(图6)的构成进行说明。

运动图像解码装置31构成为包含熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆转换部311、以及加法部312、预测参数导出部320。另外，也存在配合后述的运动图像编码装置11，而使运动图像解码装置31中不包含环路滤波器305的构成。

参数解码部302还具有报头解码部3020、CT信息解码部3021、以及CU解码部3022(预测模式解码部)，CU解码部3022还具有TU解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据对VPS、SPS、PPS、APS等参数集信息、切片报头(切片信息)进行解码。CT信息解码部3021从编码数据对CT进行解码。CU解码部3022从编码数据对CU进行解码。当TU含有预测误差时，TU解码部3024从编码数据对QP(Quantization Parameter：量化参数)更新信息(量化修正值)和量化预测误差(residual_coding)进行解码。

当为跳过模式(skip_mode＝＝0)以外时，TU解码部3024从编码数据对QP更新信息和量化预测误差进行解码。更具体而言，TU解码部3024在skip_mode＝＝0时，将表示对象块中是否含有量化预测误差的标志cu_cbp解码，当cu_cbp为1时对量化预测误差进行解码。当编码数据中不存在cu_cbp时，导出为0。

TU解码部3024从编码数据将表示转换基底的索引mts idx解码。此外，TU解码部3024从编码数据将表示二次转换的利用和转换基底的索引stIdx解码。stIdx为0时表示不适用二次转换，stIdx为1时表示二次转换基底的集合(一对)中的一个转换，stIdx为2时表示上述一对中的另一个转换。

此外，TU解码部3024也可以将子块转换标志cu_sbt_flag解码。cu_sbt_flag为1时，将CU分割为多个子块，仅对特定的一个子块进行残差解码。而且，TU解码部3024也可以将表示子块的数量是4还是2的标志cu_sbt_quad_flag、表示分割方向的cu_sbt_horizontal_flag、表示含有非零的转换系数的子块的cu_sbt_pos_flag解码。

预测图像生成部308构成为包含帧间预测图像生成部309和帧内预测图像生成部310。

预测参数导出部320构成为包含帧间预测参数导出部303和帧内预测参数导出部304。

此外，下文记载使用CTU、CU作为处理单位的示例，但并不限于此示例，也能以子CU单位进行处理。或者，也可以将CTU、CU改称为块，将子CU改称为子块，而成为以块或者子块为单位的处理。

熵解码部301对从外部输入的编码流Te进行熵解码，对各个码(语法元素)进行解码。熵编码中存在如下方式：使用根据语法元素种类或周围状况而自适应地选择的上下文(概率模型)对语法元素进行可变长度编码的方式；以及使用预先规定的表或计算式对语法元素进行可变长度编码的方式。前者的CABAC(Context Adaptive Binary ArithmeticCoding：上下文自适应二元算术编码)将指定上下文的CABAC状态(占优符号的类型(0或1)和概率的概率状态索引pStateIdx)储存于存储器中。熵解码部301利用分段(区块(tile)、CTU行、切片)的开头将所有CABAC状态初始化。熵解码部301将语法元素转换为二进制串(Bin String)，将二进制串的各位元解码。当使用上下文时，对语法元素的各位元导出上下文索引ctxInc，使用上下文将位元解码，更新所使用的上下文的CABAC状态。未使用上下文的位元是以等概率(EP，bypass)解码，省略ctxInc导出和CABAC状态。已解码的语法元素中，存在用于生成预测图像的预测信息、以及用于生成差分图像的预测误差等。

熵解码部301将已解码的码输出至参数解码部302。已解码的码是指例如预测模式predMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX、amvr_mode等。对哪个码进行解码的控制基于参数解码部302的指示来进行。

(基本流程)

图7是对运动图像解码装置31的概略性动作进行说明的流程图。

(S1100：参数集信息解码)报头解码部3020从编码数据将VPS、SPS、PPS等参数集信息解码。

(S1200：切片信息解码)报头解码部3020从编码数据将切片报头(切片信息)解码。

以下，运动图像解码装置31通过对于对象图片中所含的各CTU反复进行S1300至S5000的处理来导出各CTU的解码图像。

(S1300：CTU信息解码)CT信息解码部3021从编码数据将CTU解码。

(S1400：CT信息解码)CT信息解码部3021从编码数据将CT解码。

(S1500：CU解码)CU解码部3022实施S1510、S1520而从编码数据将CU解码。

(S1510：CU信息解码)CU解码部3022从编码数据将CU信息、预测信息、TU分割标志split_transform_flag、CU残差标志cbf_cb、cbf_cr、cbf_luma等解码。

(S1520：TU信息解码)TU解码部3024在TU中包含预测误差时，从编码数据将QP更新信息和量化预测误差、转换索引mts_idx解码。另外，QP更新信息是与量化参数QP的预测值即量化参数预测值qPpred的差分值。

(S2000：预测图像生成)预测图像生成部308对于对象CU中所含的各块，基于预测信息生成预测图像。

(S3000：逆量化/逆转换)逆量化/逆转换部311对于对象CU中所包含的各TU执行逆量化/逆转换处理。

(S4000：解码图像生成)加法部312通过将由预测图像生成部308供给的预测图像与由逆量化/逆转换部311供给的预测误差相加，来生成对象CU的解码图像。

(S5000：环路滤波)环路滤波器305对解码图像实施去块滤波、SAO(SampleAdaptive Offset：取样自适应偏移)、ALF(Adaptive Loop Filter：自适应环路滤波)等环路滤波来生成解码图像。

(帧间预测参数导出部的构成)

图9示出表示本实施方式的帧间预测参数导出部303的构成的概略图。帧间预测参数导出部303基于从参数解码部302输入的语法元素，参照预测参数存储器307中存储的预测参数而导出帧间预测参数。此外，将帧间预测参数输出至帧间预测图像生成部309、预测参数存储器307。帧间预测参数导出部303和作为其内部元素的AMVP预测参数导出部3032、合并预测参数导出部3036、仿射预测部30372、MMVD预测部30373、GPM预测部30377、DMVR部30537、MV(Motion Vector：运动矢量)加法部3038在运动图像编码装置、运动图像解码装置中为共通的单元，因此，也可以将它们统称为运动矢量导出部(运动矢量导出装置)。

尺度参数导出部30378导出参照图片的水平方向的缩放比RefPicScale[i][j][0]、以及、参照图片的垂直方向的缩放比RefPicScale[i][j][1]、以及表示参照图片是否被缩放的RefPicIsScaled[i][j]。在此，i表示参照图片列表是L0列表还是L1列表，将j作为L0参照图片列表或者L1参照图片列表的值以如下方式导出。

RefPicScale[i][j][0]＝

((fRefWidth＜＜14)+(PicOutputWidthL＞＞1))/PicOutputWidthLRefPicScale[i][j][1]＝

((fRefHeight＜＜14)+(PicOutputHeightL>＞1))/PicOutputHeightLRefPicIsScaled[i][j]＝

(RefPicScale[i][j][0]！＝(1＜＜14))||(RefPicScale[i][j][1]！＝(1＜＜14))

此处，变量PicOutputWidthL是当参照编码图片时计算水平方向的缩放比时的值，采用从编码图片的亮度的水平方向的像素数减去左右的偏移值所得的值。变量PicOutputHeightL是当参照编码图片时计算垂直方向的缩放比时的值，采用从编码图片的亮度的垂直方向的像素数减去上下的偏移值所得的值。变量fRefWidth作为列表i的参照图片列表值j的参照图片的PicOutputWidthL的值，变量fRefHight作为列表i的参照图片列表值j的参照图片的PicOutputHeightL的值。

当affine_flag为1、即表示仿射预测模式时，仿射预测部30372导出子块单位的帧间预测参数。

当mmvd_flag为1、即表示MMVD预测模式时，MMVD预测部30373从合并预测参数导出部3036所导出的合并候选和差分矢量导出帧间预测参数。

当GPMFlag为1、即表示GPM(Geometric Partitioning Mode)预测模式时，GPM预测部30377导出GPM预测参数。

当merge_flag为1、即表示合并预测模式时，导出merge_idx，并输出至合并预测参数导出部3036。

当merge_flag为0、即表示AMVP预测模式时，AMVP预测参数导出部3032从inter_pred_idc、refIdxLX或mvp_LX_idx导出mvpLX。

(MV加法部)

在MV加法部3038中将所导出的mvpLX与mvdLX相加，导出mvLX。

(仿射预测部)

作为仿射预测部30372，1)导出对象块的两个控制点CP0、CP1、或者三个控制点CP0，CP1，CP2的运动矢量，2)导出对象块的仿射预测参数，3)从仿射预测参数导出各子块的运动矢量。

当为合并仿射预测时，从对象块的相邻块的运动矢量导出各控制点CP0，CP1，CP2的运动矢量cpMvLX[]。当为帧间仿射预测时，从各控制点CP0，CP1，CP2的预测矢量与从编码数据导出的差分矢量mvdCpLX[]的和导出各控制点的cpMvLX[]。

(合并预测)

图10示出表示本实施方式的合并预测参数导出部3036的构成的概略图。合并预测参数导出部3036具有合并候选导出部30361以及合并候选选择部30362。另外，合并候选构成为包含预测参数(predFlagLX、mvLX、refIdxLX)，并储存于合并候选列表中。根据特定的规则对合并候选列表中储存的合并候选分配索引。

合并候选导出部30361直接使用解码结束的相邻块的运动矢量和refIdxLX而导出合并候选。除此之外，合并候选导出部30361也可以运用后述的空间合并候选导出处理、时间合并候选导出处理、成对(pairwise)合并候选导出处理、以及零合并候选导出处理。

作为空间合并候选导出处理，合并候选导出部30361按照特定的规则，读出预测参数存储器307所存储的预测参数，设定为合并候选。参照图片的指定方法是例如相对于对象块处于预先规定的范围内的相邻块(例如，与对象块的左A1、右B1、右上B0、左下A0、左上B2分别相接的块的全部或一部分)各自相关的预测参数。将各个合并候选称为A1，B1，B0，A0，B2。此处，A1，B1，B0，A0，B2分别为从包含下述坐标的块导出的运动信息。图8的对象图片中，合并候选的配置示为A1，B1，B0，A0，B2的位置。

A1：(xCb-1，yCb+cbHeight-1)

B1：(xCb+cbWidth-1，yCb-1)

B0：(xCb+cbWidth.yCb-1)

A0：(xCb-1，yCb+cbHeight)

B2：(xCb-1，yCb-1)

对象块的左上坐标设为(xCb，yCb)，宽度设为cbWidth，高度设为cbHeight。

作为时间合并导出处理，合并候选导出部30361如图8的同位图片所示，从预测参数存储器307中读出对象块的右下CBR、或者包含中央坐标的参照图像中的块C的预测参数来作为合并候选Col，储存于合并候选列表mergeCandList[]中。

一般地，优先将块CBR加入mergeCandList[]中，当CBR不具有运动矢量(例如帧内预测块)时、以及CBR位于图片外时，将块C的运动矢量加入预测矢量候选中。将运动不同的可能性高的同位块的运动矢量作为预测候选加入，由此，预测矢量的选择项增加，编码效率提高。

ph_temporal_mvp_enabled_flag为0、或cbWidth*cbHeight为32以下时，将对象块的同位运动矢量mvLXCol设定为0，将同位块的可利用性标志availableFlagLXCol设定为0。

在除此之外(SliceTemporalMvpEnabledFlag为1)的情况下，实施下述处理。

例如合并候选导出部30361也可以利用下式导出C的位置(xColCtr，yColCtr)和CBR的位置(xColCBr、yColCBr)。

xColCtr＝xCb+(cbWidth＞＞1)

yColCtr＝yCb+(cbHeight＞＞1)

xColCBr＝xCb+cbWidth

yColCBr＝yCb+cbHeight

若CBR可利用，则利用CBR的运动矢量导出合并候选COL。若CBR不可利用，则利用C导出COL。并且，将availableFlagLXCol设定为1。另外，参照图片也可以为切片报头中所通知的collocated_ref_idx。

成对候选导出部从mergeCandList中已储存结束的两个合并候选(p0Cand，p1Cand)的平均导出成对候选avgK，并储存于mergeCandList[]中。

mvLXavgK[0]＝(mvLXp0Cand[0]+mvLXp1Cand[0])/2

mvLXavgK[1]＝(mvLXp0Cand[1]+mvLXp1Cand[1])/2

合并候选导出部30361导出refIdxLX为0……M、mvLX的X成分、Y成分均为0的零合并候选Z0，……，ZM并储存于合并候选列表中。

储存于mergeCandList[]的顺序例如为空间合并候选(A1，B1，B0，A0，B2)、时间合并候选Col、成对候选avgK、零合并候选ZK。另外，不可利用的(块为帧内预测等)参照块不储存于合并候选列表中。

i＝0

if(availableFlagA1)

mergeCandList[i++]＝A1

if(availableFlagB1)

mergeCandList[i++]＝B1

if(availableFlagB0)

mergeCandList[i++]＝B0

if(availableFlagA0)

mergeCandList[i++]＝A0

if(availableFlagB2)

mergeCandList[i++]＝B2

if(availableFlagCol)

mergeCandList[i++]＝Col

if(availableFlagAvgK)

mergeCandList[i++]＝avgK

if(i＜MaxNumMergeCand)

mergeCandList[i++]＝ZK

合并候选选择部30362根据下式，选择合并候选列表中所含的合并候选中、merge_idx所示的合并候选N。

N＝mergeCandList[merge_idx]

此处，N是表示合并候选的标签，取A1，B1，B0，A0，B2，Col，avgK，ZK等。标签N所示的合并候选的运动信息是以(mvLXN[0]，mvLXN[0])、predFlagLXN，refIdxLXN表示。

将所选择的(mvLXN[0]，mvLXN[0])、predFlagLXN，refIdxLXN作为对象块的帧间预测参数而选择。合并候选选择部30362将所选择的合并候选的帧间预测参数存储于预测参数存储器307中，并输出至帧间预测图像生成部309。

(DMVR)

接着，对DMVR部30375进行的DMVR(Decoder side Motion Vector Refinement)处理进行说明。DMVR部30375对于对象CU，当merge_flag为1、或跳过标志skip_flag为1时，使用参照图像对合并预测部30374导出的该对象CU的mvLX进行修正。具体而言，当合并预测部30374导出的预测参数为双预测时，若与两个参照图片对应，则利用从运动矢量导出的预测图像对运动矢量进行修正。修正后的mvLX供给至帧间预测图像生成部309。

此外，在规定是否进行DMVR处理的标志dmvrFlag的导出中，作为将dmvrFlag设定为1的多个条件之一，包括上述的RefPicIsScaled[0][refIdxL0]的值为0、且RefPicIsScaled[1][refIdxL1]的值为0。当dmvrFlag的值设定为1时，由DMVR部30375执行DMVR处理。

此外，在规定是否进行DMVR处理的标志dmvrFlag的导出中，作为将dmvrFlag设定为1的多个条件之一，包含ciip_flag为0，即不适用帧内帧间(IntraInter)合成处理。

此外，在规定是否进行DMVR处理的标志dmvrFlag的导出中，作为将dmvrFlag设定为1的多个条件之一，包含表示后述的亮度的L0预测的权重预测的系数信息是否存在的标志即luma_weight_l0_flag[i]为0、且表示亮度的L1预测的权重预测的系数信息是否存在的标志即luma_weight_l1_flag[i]的值为0。当dmvrFlag的值设定为1时，由DMVR部30375执行DMVR处理。

另外，在规定是否进行DMVR处理的标志dmvrFlag的导出中，作为将dmvrFlag设定为1的多个条件之一，也可以包含luma_weight_l0_flag[i]为0、且luma_weight_l1_flag[i]的值为0、且表示后述的色差的L0预测的权重预测的系数信息是否存在的标志即chroma_weight_l0_flag[i]为0、且表示色差的L1预测的权重预测的系数信息是否存在的标志即chroma_weight_l1_flag[i]的值为0。当dmvrFlag的值设定为1时，由DMVR部30375执行DMVR处理。

(Prof)

此外，若RefPicIsScaled[0][refIdxLX]的值为1、或RefPicIsScaled[1][refIdxLX]的值为1，则cbProfFlagLX的值设定为FALSE(＝0)。此处，cbProfFlagLX是规定是否进行仿射预测的预测细化(Prediction refinement)(PROF)的标志。

(AMVP预测)

图10示出表示本实施方式的AMVP预测参数导出部3032的构成的概略图。AMVP预测参数导出部3032具有矢量候选导出部3033和矢量候选选择部3034。矢量候选导出部3033基于refIdxLX从预测参数存储器307所存储的解码结束的相邻块的运动矢量导出预测矢量候选，并储存于预测矢量候选列表mvpListLX[]中。

矢量候选选择部3034将mvpListLX[]的预测矢量候选中、mvp_LX_idx表示的运动矢量mvpListLX[mvp_LX_idx]作为mvpLX选择。矢量候选选择部3034将所选择的mvpLX输出至MV加法部3038。

(MV加法部)

MV加法部3038将从AMVP预测参数导出部3032输入的mvpLX与已解码的mvdLX相加而算出mvLX。加法部3038将算出的mvLX输出至帧间预测图像生成部309和预测参数存储器307。

mvLX[0]＝mvpLX[0]+mvdLX[0]

mvLX[1]＝mvpLX[1]+mvdLX[1]

(子块合并的详细分类)

将对子块合并相关的预测处理的种类进行总结。如上所述，大致分为合并预测和AMVP预测。

合并预测进而分为以下类别。

·正常合并预测(基于块的合并预测)

·子块合并预测

子块合并预测进一步分为以下类别。

·子块预测(ATMVP)

·仿射预测

·继承仿射预测(inferred affine prediction)

·构造仿射预测(constructed affine prediction)

另一方面，AMVP预测分为以下类别。

·AMVP(并行)

·MVD仿射预测

MVD仿射预测进一步分为以下类别。

·4参数MVD仿射预测

·6参数MVD仿射预测

另外，MVD仿射预测是指将差分矢量解码而使用的仿射预测。

在子块预测中，与时间合并导出处理相同，判定对象子块的同位子块COL的可利用性availableFlagSbCol，当可利用时，导出预测参数。当至少上述SliceTemporalMvpEnabledFlag为0时，availableFlagSbCol设定为0。

MMVD预测(Merge with Motion Vector Difference)可以分类为合并预测，也可以分类为AMVP预测。当为前者时，若merge_flag＝1则将mmvd_flag和MMVD相关语法元素解码，当为后者时，若merge_flag＝0则将mmvd_flag和MMVD相关语法元素解码。

环路滤波器305是设置于编码环路内的滤波器，且为去除块失真或振铃失真而改善画质的滤波器。环路滤波器305对加法部312生成的CU的解码图像，实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。

参照图片存储器306将CU的解码图像存储于按每个对象图片和每个对象CU预先规定的位置。

预测参数存储器307将预测参数存储于按每个CTU或者CU预先规定的位置。具体而言，预测参数存储器307存储参数解码部302解码后的参数和预测参数导出部320所导出的参数等。

预测参数导出部320导出的参数被输入至预测图像生成部308。此外，预测图像生成部308从参照图片存储器306读出参照图片。预测图像生成部308在predMode所示的预测模式下，使用参数和参照图片(参照图片块)生成块或者子块的预测图像。在此，参照图片块是指参照图片上的像素的集合(通常为矩形，故称为块)，且是为了生成预测图像而参照的区域。(帧间预测图像生成部309)

当predMode表示帧间预测模式时，帧间预测图像生成部309利用从帧间预测参数导出部303输入的帧间预测参数和参照图片，通过帧间预测而生成块或者子块的预测图像。

图11是表示本实施方式的预测图像生成部308中所含的帧间预测图像生成部309的构成的概略图。帧间预测图像生成部309构成为包含运动补偿部(预测图像生成装置)3091、合成部3095。合成部3095构成为包含帧内帧间合成部30951、GPM合成部30952、BDOF部30954、权重预测部3094。

(运动补偿)

运动补偿部3091(插补图像生成部3091)基于从帧间预测参数导出部303输入的帧间预测参数(predFlagLX、refIdxLX、mvLX)，从参照图片存储器306读出参照块，由此生成插补图像(运动补偿图像)。参照块是refIdxLX所指定的参照图片RefPicLX上、相对于对象块的位置发生mvLX移位后的位置的块。此处，当mvLX并非整数精度时，实施被称为运动补偿滤波的、用于生成小数位置的像素的滤波，生成插补图像。

运动补偿部3091首先，利用下式导出与预测块内坐标(x，y)对应的整数位置(xInt，yInt)和相位(xFrac，yFrac)。

xInt＝xPb+(mvLX[0]＞＞(log2(MVPREC)))+x

xFrac＝mvLX[0]&(MVPREC-1)

yInt＝yPb+(mvLX[1]＞＞(log2(MVPREC)))+y

yFrac＝mvLX[1]&(MVPREC-1)

在此，(xPb，yPb)是尺寸为bW*bH的块的左上坐标，x＝0……bW-1、y＝0……bH-1，MVPREC表示mvLX的精度(1/MVPREC像素精度)。例如为MVPREC＝16。

运动补偿部3091通过对参照图片refImg使用插补滤波进行水平插补处理，而导出临时图像temp[][]。以下的∑是关于k＝0..NTAP-1的k的和，shift1是对值的范围进行调整的标准化参数，offset1＝1＜＜(shift1-1)。

temp[x][y]＝(∑mcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offsetl)>＞shift1

接着，运动补偿部3091通过对临时图像temp[][]进行垂直插补处理而导出插补图像Pred[][]。以下的∑是关于k＝0..NTAP-1的k的和，shift2是对值的范围进行调整的标准化参数，offset2＝1＜＜(shift2-1)。

Pred[x][y]＝(∑mcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)＞＞shift2

另外，当为双预测时，按每个L0列表、L1列表导出上述的Pred[][](称为插补图像PredL0[][]和PredL1[][])，根据PredL0[][]和PredL1[][]生成插补图像Pred[][]。

另外，运动补偿部3091具有根据尺度参数导出部30378所导出的参照图片的水平方向的缩放比RefPicScale[i][j][0]和参照图片的垂直方向的缩放比RefPicScale[i][j][1]缩放插补图像的功能。

合成部3095具有帧内帧间合成部30951、GPM合成部30952、权重预测部3094、以及BDOF部30954。

(内插滤波(interpolation filter)处理)

以下，对预测图像生成部308执行的内插滤波处理、且为适用上述重取样而在单一的序列中参照图片的尺寸发生变化时的内插滤波处理进行说明。另外，该处理也可以例如通过运动补偿部3091执行。

预测图像生成部308在从帧间预测参数导出部303输入的RefPicIsScaled[i][j]的值表示参照图片被缩放时，切换多个滤波系数，执行内插滤波处理。

(帧内帧间合成处理)

帧内帧间合成部30951通过帧间预测图像与帧内预测图像的加权和生成预测图像。

预测图像的像素值predSamplesComb[x][y]在表示是否适用帧内帧间合成处理的标志ciip_flag为1时，可以如下方式导出。

predSamplesComb[x][y]＝(w*predSamplesIntra[x][y]

+(4-w)*predSamplesInter[x][y]+2)＞＞2

此处，predSamplesIntra[x][y]是帧内预测图像，由planar预测限定。predSamplesInter[x][y]是重建的帧间预测图像。

权重w以如下方式导出。

当对象编码块的左邻的最下方的块和对象编码块的上邻的最右的块这两者是帧内时，w设定为3。

在除此之外的情况下，即，当对象编码块的左邻的最下方的块和对象编码块的上邻的最右的块这两者不是帧内时，w设定为1。

在除此之外的情况下，w设定为2。

(GPM合成处理)

GPM合成部30952生成利用了上述GPM预测的预测图像。

(BDOF预测)

接着，对BDOF部30954进行的BDOF预测(Bi-Directional Optical Flow，BDOF处理)的细节进行说明。BDOF部30954在双预测模式中，参照两个预测图像(第一预测图像和第二预测图像)以及梯度修正项生成预测图像。

(权重预测)

权重预测部3094根据插补图像predSamplesLX生成块的预测图像pbSamples。

首先，表示是否进行权重预测处理的变量weightedPredFlag以如下方式导出。当slice_type等于P时，weightedPredFlag设定为与PPS中定义的pps_weighted_pred_flag相等。除此之外，当slice_type等于B时，weightedPredFlag设定为与PPS中定义的pps_weighted_bipred_flag&&(！dmvrFlag)相等。

以下，bcw_idx为具有以CU为单位的权重的双预测的权重索引。当未通知bcw_idx时，设为bcw_idx＝0。bcwIdx在合并预测模式中设置附近块的bcwldxN，在AMVP预测模式中设置对象块的bcw_idx。

若变量weightedPredFlag的值等于0、或变量bcwIdx的值为0，则作为通常的预测图像处理，预测图像pbSamples以如下方式导出。

当预测列表利用标志中的一方(predFlagL0或者predFlagL1)为1(单预测)的(不使用权重预测)时，进行将predSamplesLX(LX为L0或者L1)与像素位元数bitDepth相配合的下式的处理。

pbSamples[x][y]＝Clip3(0，(1＜＜bitDepth)-1，(predSamplesLX[x][y]+offset1)>＞shift1)

此处，shift1＝14-bitDepth、offset1＝1＜＜(shift1-1)。PredLX是L0或者L1预测的插补图像。

此外，当预测列表利用标志这两者(predFlagL0和predFlagL1)为1(双预测PRED_BI)、且不使用权重预测时，进行将predSamplesL0、predSamplesL1平均且与像素位元数相配合的下式的处理。

pbSamp1es[x][y]＝Clip3(0，(1＜＜bitDepth)-1，(predSamplesL0[x][y]+predSamplesL1[x][y]+offset2)＞＞shift2)

此处，shift2＝15-bitDepth、offset2＝1＜＜(shift2-1)。

若当变量weightedPredFlag的值等于1、且变量bcwIdx的值等于0时，则作为权重预测处理，预测图像pbSamples以如下方式导出。

变量shift1设定为等于Max(2、14-bitDepth)。变量log2Wd、o0、o1、w0、以及w1以如下方式导出。

若当cIdx为0的亮度时，适用以下方法。

log2Wd＝luma_log2_weight_denom+shift1

w0＝LumaWeightL0[refIdxL0]

w1＝LumaWeightL1[refIdxL1]

o0＝luma_offset_10[refIdxL0]＜＜(bitDepth-8)

o1＝luma_offset_11[refIdxL1]<<(bitDepth-8)

在除此之外(cIdx非0的色差)的情况下，适用以下方法。

log2Wd＝ChromaLog2WeightDenom+shift1

w0＝ChromaWeightL0[refIdxL0][cIdx-1]

w1＝ChromaWeightL1[refIdxL1][cIdx-1]

o0＝ChromaOffsetL0[refldxL0][cIdx-1]＜＜＜(bitDepth-8)

o1＝ChromaOffsetL1[refIdxL1][cIdx-1]＜＜(bitDepth-8)

x＝0..nCbW-1和y＝0..nCbH-1的预测图像的像素值pbSamples[x][y]以如下方式导出。

接着，若当predFlagL0等于1、predFlagL1等于0时，则预测图像的像素值pbSamples[x][y]以如下方式导出。

if(log2Wd>＝1)

pbSamples[x][y]＝Clip3(0，(1＜＜bitDepth)-1，

((predSamplesL0[x][y]*w0+2^(log2Wd-1))＞＞log2Wd)+o0)

else

pbSamples[x][y]＝Clip3(0，(1＜＜bitDepth)-1，predSamplesL0[x][y]*w0+o0)

除此之外，若当predFlagL0为0、predFlagL1为1时，则预测图像的像素值pbSamples[x][y]以如下方式导出。

if(log2Wd>＝1)

pbSamples[x][y]＝Clip3(0，(1＜＜bitDepth)-1，

((predSamplesL1[x][y]*w1+2^(log2Wd-1))＞＞log2Wd)+o1)

else

pbSamples[x][y]＝Clip3(0，(1＜＜bitDepth)-1、predSamplesL1[x][y]*w1+o1)

除此之外，若当predFlagL0等于1、predFlagL1等于1时，则预测图像的像素值pbSamples[x][y]以如下方式导出。

pbSamples[x][y]＝Clip3(0，(1＜＜bitDepth)-1，

(predSamplesL0[x][y]*w0+predSamplesL1[x][y]*w1+

((o0+o1+1)＜＜log2Wd))＞＞(1og2Wd+1))

(BCW预测)

BCW(Bi-prediction with CU-level Weights：CU等级双向加权预测)预测是能切换以CU等级预先决定的权重系数的预测方法。

输入指定当前的编码块的宽度和高度的两个变量nCbW和nCbH、(nCbW)x(nCbH)的两个排列predSamplesL0和predSamplesL1、表示是否使用预测列表的标志predFlagL0和predFlagL1、参照图片索引refIdxL0和refIdxL1、BCW预测的索引bcw_idx、以及指定亮度、色差成分的索引的变量cIdx，进行BCW预测处理，输出(nCbW)x(nCbH)的排列pbSamples的预测图像的像素值。

当表示是否以SPS等级使用该预测的sps_bcw_enabled_flag为TURE、变量weightedPredFlag为0、两个参照图片索引refIdxL0和refIdxL1所示的参照图片均没有权重预测系数、且编码块尺寸为一定尺寸以下时，明确地通知CU等级的语法的bcw_idx，将该值代入至变量bcwIdx。若当不存在bcw_idx时，则将0代入至变量bcwIdx。

当变量bcwIdx为0时，预测图像的像素值以如下方式导出。

pbSamples[x][y]＝Clip3(0，(1<<bitDepth)-1，

(predSamμlesL0[x][y]+predSamplesL1[x][y]+offset2)＞＞shift2)在除此之外的情况下(bcwIdx非0的情况)，适用以下方式。

变量w1设定为等于bcwWLut[bcwIdx]。bcwWLut[k]＝{4、5、3、10、-2}。

变量w0设定为(8-w1)。此外，预测图像的像素值以如下方式导出。pbSamples[x][y]＝Clip3(0、(1＜＜bitDepth)-1、

(w0*predSamplesL0[x][y]+

w1*predSamplesL1[x][y]+offset3)＞＞(shift2+3))

当在AMVP预测模式中使用BCW预测时，帧间预测参数解码部303将bcw_idx解码，发送给BCW部30955。此外，当在合并预测模式中使用BCW预测时，帧间预测参数解码部303将合并索引merge_idx解码，合并候选导出部30361导出各合并候选的bcwIdx。具体而言，合并候选导出部30361将合并候选的导出中使用的相邻块的权重系数用作对象块中使用的合并候选的权重系数。即，在合并模式中，将以前使用的权重系数继承为对象块的权重系数。

(帧内预测图像生成部310)

当predMode表示帧内预测模式时，帧内预测图像生成部310使用从帧内预测参数导出部304输入的帧内预测参数和从参照图片存储器306读出的参照像素进行帧内预测。

逆量化/逆转换部311使从参数解码部302输入的量化转换系数逆量化来求出转换系数。

加法部312将从预测图像生成部308输入的块的预测图像与从逆量化/逆转换部311输入的预测误差按每个像素相加，而生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306中，此外，输出至环路滤波器305。

逆量化/逆转换部311使从参数解码部302输入的量化转换系数逆量化而求出转换系数。

(运动图像编码装置的构成)

接着，对本实施方式的运动图像编码装置11的构成进行说明。图12是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包含预测图像生成部101、减法部102、转换/量化部103、逆量化/逆转换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、图框存储器)108、参照图片存储器(参照图像存储部、图框存储器)109、编码参数决定部110、参数编码部111、预测参数导出部120、熵编码部104。

预测图像生成部101按每个CU生成预测图像。预测图像生成部101包含已说明的帧间预测图像生成部309和帧内预测图像生成部310，但省略相关说明。

减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值来生成预测误差。减法部102将预测误差输出至转换/量化部103。

转换/量化部103对于从减法部102输入的预测误差，通过频率转换算出转换系数，并通过量化而导出量化转换系数。转换/量化部103将量化转换系数输出至参数编码部111和逆量化/逆转换部105。

逆量化/逆转换部105与运动图像解码装置31中的逆量化/逆转换部311(图6)相同，而省略说明。算出的预测误差被输出至加法部106。

参数编码部111包含报头编码部1110、CT信息编码部1111、以及CU编码部1112(预测模式编码部)。CU编码部1112还具有TU编码部1114。以下，对各模块的概略动作进行说明。

报头编码部1110对报头信息、分割信息、预测信息、量化转换系数等参数进行编码处理。

CT信息编码部1111对QT、MT(BT、TT)分割信息等进行编码。CU编码部1112对CU信息、预测信息、分割信息等进行编码。

TU编码部1114在TU中包含预测误差时，对QP更新信息和量化预测误差进行编码。

CT信息编码部1111、CU编码部1112将帧间预测参数(predMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX)、帧内预测参数(intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_reminder、intra_chroma_pred_mode)、量化转换系数等语法元素供给至参数编码部111。

由参数编码部111将量化转换系数和编码参数(分割信息、预测参数)输入至熵编码部104。熵编码部104对它们进行熵编码而生成编码流Te并进行输出。

预测参数导出部120是包含帧间预测参数编码部112和帧内预测参数编码部113的单元，且从编码参数决定部110输入的参数导出帧内预测参数和帧内预测参数。导出的帧内预测参数和帧内预测参数被输出至参数编码部111。

(帧间预测参数编码部的构成)

帧间预测参数编码部112如图13所示，构成为包含参数编码控制部1121和帧间预测参数导出部303。帧间预测参数导出部303的构成与运动图像解码装置的构成共通。参数编码控制部1121包含合并索引导出部11211和矢量候选索引导出部11212。

合并索引导出部11211导出合并候选等，并输出至帧间预测参数导出部303。矢量候选索引导出部11212导出预测矢量候选等，并输出至帧间预测参数导出部303和参数编码部111。

(帧内预测参数编码部113的构成)

帧内预测参数编码部113如图14所示，具有参数编码控制部1131和帧内预测参数导出部304。帧内预测参数导出部304的构成与运动图像解码装置的构成共通。

参数编码控制部1131导出IntraPredModeY和IntraPredModeC。进而，参照mpmCandList[]来决定intra_luma_mpm_flag。将这些预测参数输出至帧内预测参数导出部304和参数编码部111。

然而，与运动图像解码装置不同的是，是由编码参数决定部110、预测参数存储器108对帧间预测参数导出部303、帧内预测参数导出部304进行输入，并输出至参数编码部111。

加法部106针对每个像素将从预测图像生成部101输入的预测块的像素值与从逆量化/逆转换部105输入的预测误差相加来生成解码图像。加法部106将所生成的解码图像存储于参照图片存储器109中。

环路滤波器107对加法部106生成的解码图像实施去块滤波、SAO、ALF。另外，环路滤波器107未必包含上述三种滤波器，也可以例如为仅有去块滤波器的构成。

预测参数存储器108将编码参数决定部110生成的预测参数存储于针对每个对象图片和每个CU预先规定的位置。

参照图片存储器109将环路滤波器107生成的解码图像存储于针对每个对象图片和每个CU预先规定的位置。

编码参数决定部110选择编码参数的多个集合中的一个集合。编码参数是指上述QT、BT或者TT分割信息、预测参数、或者与它们相关地生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。

编码参数决定部110针对多个集合的每一个算出信息量的大小和表示编码误差的RD成本值。RD成本值例如为码量与均方误差乘以系数λ所得的值的和。码量是对量化误差与编码参数进行熵编码而得的编码流Te的信息量。均方误差是减法部102中所算出的预测误差的均方和。系数λ是比预先设定的零大的实数。编码参数决定部110选择算出的成本值最小的编码参数的集合。编码参数决定部110将所决定的编码参数输出至参数编码部111和预测参数导出部120。

另外，也可以由计算机实现上述实施方式中的运动图像编码装置11、运动图像解码装置31的一部分、例如熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆转换部311、加法部312、预测参数导出部320、预测图像生成部101、减法部102、转换/量化部103、熵编码部104、逆量化/逆转换部105、环路滤波器107、编码参数决定部110、参数编码部111、预测参数导出部120。在该情况下，也可以通过将用于实现该控制功能的程序记录于计算机可读取的记录介质，将记录于该记录介质的程序读入计算机系统并执行而实现。另外，在此所述的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统，包含OS(Operating System：操作系统)和外围设备等硬件。此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进而，“计算机可读取记录介质”也可以是指包含如经由因特网等网络、电话线路等通信线路发送程序的情况下的通信线那样、短时间、动态地保持程序的记录介质、如成为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样、在一定时间保持程序的记录介质。此外，上述程序也可以是用于实现上述功能的一部分的程序，进而也可以是能够通过与已记录于计算机系统的程序进行组合来实现上述功能的程序。

此外，也可以将上述实施方式的运动图像编码装置11、运动图像解码装置31的一部分、或全部以LSI(Large Scale Integration：大规模集成电路)等集成电路的形式实现。运动图像编码装置11、运动图像解码装置31的各功能块可以个别地处理器化，也可以将一部分、或全部集成而处理器化。此外，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。此外，在因半导体技术的进步而出现了代替LSI的集成电路化的技术的情况下，也可以使用该技术的集成电路。

以上，参照附图对本发明的一个实施方式进行了详细说明，但具体构成并不限定于上述内容，能够在不脱离本发明主旨的范围内进行各种设计变更等。

(语法)

图15的(a)表示非专利文献1的序列参数集(SPS)的语法的一部分。

long_term_ref_pics_flag是表示是否使用长期图片的标志。

inter_layer_ref_pics_present_flag是表示是否使用层间预测的标志。

sps_idr_rp1_present_flag是表示IDR图片的切片报头是否存在参照图片列表的语法元素的标志。

rpl1_same_as_rpl0_flag是表示是否存在用于参照图片列表1的信息的标志。当rpl1_same_as_rpl0_flag为1时，不存在用于参照图片列表1的信息，表示与num_ref_pic_lists_in_sps[0]和ref_pic_list_struct(0，rplsIdx)相同。

sps_smvd_enabled_flag表示是否将对称运动矢量差分模式(SMVD)适用于运动矢量的编码、解码。当sps_smvd_enabled_flag为1时，表示可适用对称运动矢量差分模式。当sps_smvd_enabled_flag为0时，表示不适用对称运动矢量差分模式。

图15的(b)表示非专利文献1中的图片参数集(PPS)的语法的一部分。

rpl_info_in_ph_flag为1是表示图片报头中是否存在参照图片列表信息的标志。rpl_info_in_ph_flag等于1表示图片报头中存在参照图片列表信息。rpl_info_in_ph_flag等于0表示图片报头中不存在参照图片列表信息，但切片报头中可能存在参照图片列表信息。

图16表示非专利文献1的图片报头PH的语法的一部分。

ph_inter_slice_allowed_flag是表示图片内的切片是否为帧间的标志。当ph_inter_slice_allowed_flag为0时，表示图片内的所有切片的slice_type为2(I Slice)。ph_inter_slice_allowed_flag为1时，表示图片中所含的至少一个以上切片的slice_type为0(B Slice)或1(P Slice)。

mvd_l1_zero_flag是表示双向预测的L1预测中是否适用使运动矢量的差分为零的模式的标志。mvd_l1_zero_flag为1时，不调用mvd_coding()，而将表示运动矢量的差分信息的变量MvdL1[x0][y0][compIdx]和MvdCpL1[x0][y0][cpIdx][compIdx]设定为0。mvd_coding()是通知对于参照图片列表1的运动矢量的差分信息的语法结构。当mvd_l1_zero_flag为0时，调用mvd_coding，对需要的运动矢量的差分信息进行编码、解码。

图17的(a)表示非专利文献1的切片报头的语法的一部分。这些语法例如通过参数解码部302解码。

当num_ref_idx_active_override_flag为1时，表示P和B切片中存在语法元素num_ref_idx_active_minus1[0]、B切片中存在语法元素num_ref_idx_active_minus1[1]。当num_ref_idx_active_override_flag为0时，表示P和B切片中不存在语法元素num_ref_idx_active_minus1[i]。若当不存在时，则推测为num_ref_idx_active_override_flag的值等于1。

num_ref_idx_active_minus1[i]用于导出参照图片列表i中实际可使用的参照图片数量。实际可使用的参照图片数量即变量NumRefIdxActive[i]可由图17的(b)所示的方法导出。hum_ref_idx_active_minus1[i]的值必须为0以上14以下的值。当切片为B切片、且num_ref_idx_active_override_flag为1、且不存在num_ref_idx_active_minus1[i]时，推测为num_ref_idx_active_minus1[i]等于0。

图17的(b)表示基于预测参数导出部320的非专利文献1的变量NumRefIdxActive[i]的导出方法。对参照图片列表i(＝0，1)实施以下处理。当为B切片、或、P切片且i＝0时，若num_ref_idx_active_override_flag等于1，则将num_ref_idx_active_minus1[i]的值加上1所得的值代入至变量NumRefIdxActive[i]。在除此之外的情况下(当为B切片、或、P切片且i＝0时，num_ref_idx_active_override_flag等于0时)，若num_ref_entries[i][RplsIdx[i]]的值为num_ref_idx_default_active_minus1[i]加上1所得的值以上，则将num_ref_idx_default_active_minus1[i]加上1所得的值代入至变量NumRefIdxActive[i]。在除此之外的情况下(当为B切片、或、P切片且i＝0时，num_ref_idx_active_override_flag不等于0时)，将num_ref_entries[i][RplsIdx[i]]的值代入至变量NumRefIdxActive[i]。num_ref_idx_default_active_minus1[i]是PPS中定义的变量NumRefIdxActive[i]的默认值。当为I切片、或为P切片且i＝1时，将0代入至变量NumRefIdxActive[i]。

图18的(a)表示非专利文献1的定义参照图片列表的ref_pic_lists()的语法。ref_pic_lists()有时存在于图片报头或切片报头。若rpl_sps_flag[i]为1，则表示ref_pic_lists()的参照图片列表i基于SPS的ref_pic_list_struct(listIdx、rplsIdx)中的一个而导出。在此，listIdx等于i。

当rpl_sps_flag[i]为0时，表示参照图片列表i基于ref_pic_list_struct(listIdx、rplsIdx)导出。此处，listIdx与ref_pic_lists()中直接包含的i相等。当不存在rpl_sps_flag[i]时，适用以下方式。num_ref_pic_lists_in_sps[i]为0时，rpl_sps_flag[i]的值推测为0。在除此之外的情况下(num_ref_pic_lists_in_sps[i]大于0时)，若rpl1_idx_present_flag等于0、且i等于1，则推测为rpl_sps_flag[1]的值等于rpl_sps_flag[0]。

rpl_idx[i]表示ref_pic_list_struct(listIdx、rplsIdx)的索引。ref_pic_list_struct(listIdx、rplsIdx)用于导出参照图片i。此处，listIdx等于i。若不存在，则推测为rpl_idx[i]的值等于0。rpl_idx[i]的值处于0以上且num_ref_pic_lists_in_sps[i]-1以下的范围内。当rpl_sps_flag[i]为1、且num_ref_pic_lists_in_sps[i]为1时，推测为rpl_idx[i]的值等于0。当rpl_sps_flag[i]为1、且rpl1_idx_present_flag为0时，推测为rpl_idx[1]的值等于rpl_idx[0]。变量RplsIdx[i]以如下方式导出。

Rplsldx[i]＝(rpl_sps_flag[i])？rpl_idx[i]：num_ref_pic_lists_in_sps[i]

图18的(b)表示对非专利文献1的参照图片列表结构ref_pic_list_struct(listIdx、rplsIdx)进行定义的语法。

ref_pic_list_struct(listIdx、rplsIdx)有时存在于SPS、图片报头、或切片报头中。根据语法包含于SPS中、或包含于图片报头中、或包含于切片报头中，而适用以下方式。当存在于图片或切片报头中时，ref_pic_list_struct(listIdx、rplsIdx)表示当前的图片(包含切片的图片)的参照图像列表listIdx。当存在于SPS中时，ref_pic_list_struct(listIdx、rplsIdx)表示参照图片列表listIdx的候选。而且，当前的图片从图片报头或切片报头，利用索引值参照SPS中所含的ref_pic_list_struct(listIdx、rplsIdx)的列表。

在此，num_ref_entries[listIdx][rplsIdx]表示ref_pic_list_struct(listIdx、rplsIdx)的数量。num_ref_entries[listIdx][rplsIdx]的值取0以上且MaxDpbSize+13以下的值。MaxDpbSize是由轮廓(profile)等级决定的解码图片的数量。

ltrp_in_header_flag[listIdx][rplsIdx]是表示ref_pic_list_struct(listIdx、rplsIdx)中是否存在长期参照图片的标志。

inter_layer_ref_pic_flag[listIdx][rplsIdx][i]是表示ref_pic_list_struct(listIdx、rplsIdx)的参照图片列表的第i个条目是否为层间预测的标志。

st_ref_pic_flag[listIdx][rplsIdx][i]是表示ref_pic_list_struct(listldx、rplsIdx)的参照图片列表的第i个条目是否为短期参照图片的标志。

abs_delta_poc_st[listIdx][rplsIdx][i]是用于导出短期参照图片的POC的差分绝对值的语法元素。

strp_entry_sign_flag[listIdx][rplsIdx][i]是用于导出正负符号的标志。

rpls_poc_lsb_lt[listIdx][rplsIdx][i]是用于导出ref_pic_list_struct(listIdx、rplsIdx)的参照图片列表的第i个长期参照图片的POC的语法元素。

ilrp_idx[listIdx][rplsIdx][i]是用于导出ref_pic_list_struct(listIdx、rplsIdx)的参照图片列表的第i个层问预测的参照图片的层信息的语法元素。

图19表示非专利文献1的CU的语法的一部分。这些语法例如通过参数解码部302解码。

如IF_SYMMVD1所示，当sps_smvd_enabled_flag为1、且mvd_l1_zero_flag为FALSE、且inter_pred_idc[x0][y0]为双向预测(PRED_BI)、且inter_affine_flag为FALSE、且变量RefldxSymL0大于-1、变量RefIdxSymL1大于-1时，该CU中存在sym_mvd_flag[x0][y0]。sps_smvd_enabled_flag是表示是否将对称运动矢量差分模式适用于运动矢量的编码、解码的标志。mvd_l1_zero_flag是表示双向预测的L1预测中是否适用使运动矢量的差分为零的模式的标志。inter_pred_idc[x0][y0]为帧间预测标识符。sym_mvd_flag[x0][y0]是表示是否适用对称运动矢量差分模式的标志。当不存在symmvd_flag[x0][y0]时，推定为0。在此，排列的索引x0、y0表示以图片的左上为基准的CU的左上的亮度的像素位置(x0，y0)。

变量RefIdxSymL0是对称运动矢量差分模式的参照图片列表0的参照索引值，变量RefIdxSymL1是对称运动矢量差分模式的参照图片列表1的参照索引值。

当为双向预测、且具有两个参照图片夹着当前的图片的关系时，参照图片列表0中与当前的图片的POC差最小的参照索引值设定为变量RefIdxSymL0，参照图片列表1中与当前的图片的POC差最小的参照索引值设定为变量RefIdxSymL1。若当不存在符合条件的索引值时，则代入-1。

inter_affine_flag[x0][y0]是表示在将P或B切片解码时，是否基于仿射模型的运动补偿生成当前的CU的预测像素的标志。

接着，若inter_pred_idc[x0][y0]不为PRED_L1、就是说，当为使用参照图片列表0的单向预测或者双向预测时，对用于L0预测的运动矢量信息进行编码、解码。在除此之外的情况下，将0代入至变量MvdL0[x0][y0][0]和变量MvdL0[x0][y0][1]。在用于L0预测的运动矢量的差分信息中，变量MvdL0[x0][y0][0]表示水平方向的值，变量MvdL0[x0][y0][1]表示垂直方向的值。

当对用于L0预测的运动矢量信息进行编码、解码时，若NumRefIdxActive[0]大于1且sym_mvd_flag[x0][y0]为FALSE，则存在ref_idx_10[x0][y0]。

ref_idx_10[x0][y0]表示当前的CU的参照图片列表0的参照图片索引。当不存在ref_idx_10[x0][y0]时，以如下方式推定的sym_mvd_flag[x0][y0]为1时，ref_idx_l0[x0][y0]设定为RefIdxSymL0的值。除此之外的情况下(sym_mvd_flag[x0][y0]为0时)，ref_idx_l0[x0][y0]设为0。

接着，当inter_pred_idc[x0][y0]非PRED_L0时、即为使用参照图片列表1的单向预测或双向预测时，对用于L1预测的运动矢量信息进行编码、解码。在除此之外的情况下，将0代入至变量MvdL1[x0][y0][0]和变量MvdL1[x0][y0][1]。

当对用于L1预测的运动矢量信息进行编码、解码时，若NumRefIdxActive[1]大于1且sym_mvd_flag[x0][y0]为FALSE，则存在ref_idx_l1[x0][y0]。

ref_idx_l1[x0][y0]表示当前的CU的参照图片列表0的参照图片索引。当不存在ref_idx_l1[x0][y0]时，以如下方式推定的sym_mvd_flag[x0][y0]为1时，ref_idx_l1[x0][y0]设定为RefIdxSymL1的值。除此之外的情况下(sym_mvd_flag[x0][y0]为0时)，ref_idx_l1[x0][y0]设为0。

变量MotionModelIdc[x0][y0]表示CU的运动补偿的模型，0表示通常的块运动补偿，1表示4参数的仿射运动补偿，2表示6参数的仿射运动补偿。根据MotionModelIdc[x0][y0]的值，使用函数mvd_coding(x0，y0，refList，cpIdx)，对运动矢量的差分信息进行编码、解码。此处，自变量refList提供参照图片列表的值，自变量cpIdx提供变量MotionModelIdc[x0][y0]的值。

mvp_l0_flag[x0][y0]表示参照图片列表0的预测矢量索引。当不存在mvp_l0_flag[x0][y0]时，推测为0。

如IF_SYMMVD2所示，当mvd_l1_zero_flag为1、且inter_pred_idc[x0][y0]为PRED_BI(双向预测)时，适用使用于L1预测的运动矢量的差分信息为零的模式。在该情况下，将0代入至变量MvdL1[x0][y0][0]和变量MvdL1[x0][y0][1]。此外，将0代入至用于仿射预测的六个运动矢量的差分信息MvdCpL1[x0][y0][0][0]、MvdCpL1[x0][y0][0][1]、MvdCpL1[x0][y0][1][0]、MvdCpL1[x0][y0][1][1]、MvdCpL1[x0][y0][2][0]、MvdCpL1[x0][y0][2][1]。

在除此之外的情况下，进行如下处理。若sym_mvd_flag[x0][y0]为1，则将-MvdL0[x0][y0][0]代入至变量MvdL1[x0][y0][0]，将-MvdL0[x0][y0][1]代入至变量MvdL1[x0][y0][1]，不对L1预测的运动矢量的差分信息进行编码、解码。当sym_mvd_flag[x0][y0]为FALSE时，利用函数mvd_coding对用于L1预测的运动矢量的差分信息进行编码、解码。

接着，根据MotionModelIdc[x0][y0]的值，利用函数mvd_coding对仿射预测时的用于L1预测的运动矢量的差分信息进行编码、解码。

mvp_l1_flag[x0][y0]表示参照图片列表1的预测矢量索引。当不存在mvp_l1_flag[x0][y0]时，推测为0。

作为非专利文献1记载的方法的问题，可列举图片报头中定义有mvd_l1_zero_flag的点。在非专利文献1中，能使一个图片内存在多个切片，各个切片能选择不同的参照图片列表。将mvd_11_zero_flag设为1的编码效率依赖于参照图片列表。因此，当一个图片内存在多个切片时，根据选择的参照图片，编码效率可能明显变差。

因此，在本实施方式中，对于表示两个参照图片与当前的图片为相同方向(二者均为以前的图片、或二者均为未来的图片)的变量IdenticalDirecitionFlag进行定义。而且，添加为mvd_l1_zero_flag的编码、解码处理的条件之一。即，本实施方式中，参照图片列表不采用如由以前和未来的两个参照图像夹着当前的图片那样的结构。

具体而言，在本实施方式中，当如图20的IF_SYMMVD2_A所示，当mvd_11_zero_flag为1、且变量IdenticalDirecitionFlag为1、且inter_pred_idc[x0][y0]为PRED_BI(双向预测)时，用于L1预测的运动矢量的差分信息为0。在该情况下，将0代入至变量MvdL1[x0][y0][0]和变量MvdL1[x0][y0][1]。此外，将0代入至用于仿射预测的运动矢量的差分信息MvdCpL1[x0][y0][0][0]、MvdCpL1[x0][y0][0][1]、MvdCpL1[x0][y0][1][0]、MvdCpL1[x0][y0][1][1]、MvdCpL1[x0][y0][2][0]、MvdCpL1[x0][y0][2][1]。这些语法例如通过预测参数导出部120或者参数编码部111编码，通过参数解码部302或者预测参数导出部320解码。

变量IdenticalDirecitionFlag在对P或B图片的切片报头进行编码或解码且切片的参照图片列表被制作后、且在CU的编码或解码之前被设定。

变量IdenticalDirecitionFlag以如下方式导出。

若在当前的切片的参照图片列表0和参照图片列表1内的所有短期参照图片aPic与当前的图片CurrPic的POC的差DiffPicOrderCnt(aPic，CurrPic)小于0时，则将IdenticalDirecitionFlag设定为1。

在除此之外的情况下，若当CurrPic与aPic的POC的差DiffPicOrderCnt(CurrPic，aPic)小于0时，则将IdenticalDirecitionFlag设定为1。

在除此之外的情况下，将IdenticalDirecitionFlag设定为0。

此处，变量PicOrderCntVal是表示描述从与各图片相关的DPB起的输出顺序的POC(Picture Order Count：图像顺序编号)。PicOrderCnt(picX)是表示图片picX的PicOrderCntVal的函数，函数DiffPicOrderCnt(picA，picB)如下所示。

DiffPicOrderCnt(picA，picB)＝PicOrderCnt(picA)-PicOrderCnt(picB)

若在aPic与CurrPic的POC的差DiffPicOrderCnt(aPic，CurrPic)小于0时，则所有短期参照图片aPic相对于当前的图片CurrPic成为以前的图片。

此外，若在CurrPic与aPic的POC的差DiffPicOrderCnt(CurrPic，aPic)小于0时，则所有短期参照图片aPic相对于当前的图片CurrPic成为未来的图片。

作为变量IdenticalDirecitionFlag的其他导出方法，也可以定义为，仅当两个参照图片相对于当前的图片均为以前的图片时，将变量IdenticalDirecitionFlag设定为1。就是说，参照图片列表不是如由以前和未来的两个参照图像夹着当前的图片那样的结构。在该情况下，以如下方式导出。

若在当前的切片的参照图片列表0和参照图片列表1中的所有参照图片aPic与当前的图片CurrPic的POC的差DiffPicOrderCnt(aPic，CurrPic)小于0时，则将IdenticalDirecitionFlag设定为1。

在除此之外的情况下，将IdenticalDirecitionFlag设定为0。

另外，该标志也可以替换以往在非专利文献1中用作变量NoBackwadPredFlag的标志。

此外，作为其他实施方式，也可以在决定了ref_idx_l0[x0][y0]和ref_idX_l1[x0][y0]之后，设定变量IdenticalDirecitionFlag。在该情况下，变量IdenticalDirecitionFlag以如下方式导出。

若当参照图片列表0的ref_idx_10[x0][y0]和参照图片列表1的ref_idx_11[x0][y0]所指示的两个短期参照图片aPic与当前的图片CurrPic的POC的差DiffPicOrderCnt(aPic，CurrPic)分别小于0时，则将IdenticalDirecitionFlag设为1。

在除此之外的情况下，若当CurrPic与aPic的POC的差DiffPicOrderCnt(CurrPic，aPic)分别小于0时，则将IdenticalDirecitionFlag设定为1。

在除此之外的情况下，将IdenticalDirecitionFlag设定为0。

此外，作为其他实施方式，变量IdenticalDirecitionFlag以如下方式导出。

若当参照图片列表0的ref_idx_l0[x0][y0]和参照图片列表1的ref_idx_l1[x0][y0]所指示的两个短期参照图片aPic与当前的图片CurrPic的POC的差DiffPicOrderCnt(aPic，CurrPic)分别小于0时，则将IdenticalDirecitionFlag设定为1。

在除此之外的情况下，将IdenticalDirecitionFlag设定为0。

作为非专利文献1记载的方法的其他问题，可列举如图19所示，当图片报头中mvd_l1_zero_flag为1时，即使sps_smvd_enabled_flag为1，不论参照图片列表结构如何，始终不运行对称运动矢量差分模式的点。非专利文献1中，能使一个图片内存在多个切片，各个切片能选择不同的参照图片列表。因此，当一个图片内存在多个切片时，根据选择的参照图片，编码效率可能明显变差。

因此，在本实施方式中，如图21的IF_SYMMVD1_A所示，从对称运动矢量差分模式的适用条件中删除mvd_l1_zero_flag为1这一条件，变更为以下的条件。

if(sps_smvd_enabled_flag&&

inter_pred_idc[x0][y0]＝＝PRED_BI&&

！inter_affine_flag[x0][y0]&&

RefIdxSymL0＞-1&&RefIdxSymL1＞-1)

即，当mvd_l1_zero_flag为0时，本实施方式中，也基于上述的条件式，由预测参数导出部120或者参数编码部111对sym_mvd_flag[x0][y0]进行编码。而且，由参数解码部302或者预测参数导出部320对sym_mvd_flag[x0][y0]进行解码。

也可以不删除mvd_l1_zero_flag的判定，取而代之而对本实施方式中如图21的IF_SYMMVD2_A所示，对适用于双向预测的L1预测中使运动矢量的差分为零的模式的条件，如下所示加上变量IdenticalDirecitionFlag为1这一条件。IdenticalDirecitionFlag是表示两个参照图片与当前的图片是否为相同方向(二者均为以前的图片、或、二者均为未来的图片)的标志。

if(mvd_l1_zero_flag&&IdenticalDirectionFlag&&

inter_pred_idc[x0][y0]＝＝PRED_BI){

即，当两个参照图片与当前的图片为相同方向(二者均为以前的图片、或二者均为未来的图片)(IdenticalDirectionFlag为1)时，在L1预测中，使运动矢量的差分为零。在该情况下，将0代入至变量MvdL1[x0][y0][0]和变量MvdL1[x0][y0][1]。此外，将0代入至用于仿射预测的六个运动矢量的差分信息MvdCpL1[x0][y0][0][0]、MvdCpL1[x0][y0][0][1]、MvdCpL1[x0][y0][1][0]、MvdCpL1[x0][y0][1][1]、MvdCpL1[x0][y0][2][0]、MvdCpL1[x0][y0][2][1]。

此外，作为适用于双向预测的L1预测(inter_pred_idc[x0][y0]！＝PRED_L0)中使运动矢量的差分为零的模式的条件，也可以如以下(IF_SYMMVD2_B)所示。

if(mvd_l1_zero_flag&&

inter_pred_idc[x0][y0]＝＝PRED_BI&&

！(RefIdxSymL0＞-1&&RefIdxSymL1＞-1)){

通过如此设置，能解决如下问题：当图片报头中mvd_l1_zero_flag设定为1时，即使sps_smvd_enabled_flag设定为1，不论参照图片列表结构如何，都不运行对称运动矢量差分模式。

此外，作为变量IdenticalDirecitionFlag的导出方法的其他实施方式，也可以使用采用对称运动矢量差分模式的参照图片列表的参照索引值的如下的式。

IdenticalDirecitionFlag＝(RefIdxSymL0＞-1&&RefIdxSymL1>-1)？0∶1

此处，变量RefIdxSymL0是对称运动矢量差分模式的参照图片列表0的参照索引值，变量RefIdxSymL1是对称运动矢量差分模式的参照图片列表1的参照索引值。

此外，作为变量IdenticalDirecitionFlag的导出方法的其他实施方式，也可以为以下实施方式。若在当前的切片的参照图片列表0和参照图片列表1中、激活的短期参照图片aPic[i](i＝0，1)与当前的图片CurrPic的POC的差DiffPicOrderCnt(aPic[i]，CurrPic)分别小于0时，则将IdenticalDirecitionFlag设定为1。

在除此之外的情况下，若当DiffPicOrderCnt(CurrPic，aPic[i])分别小于0时，则将IdenticalDirecitionFlag设定为1。

在除此之外的情况下，将IdenticalDirecitionFlag设定为0。

aPic[i](i＝0，1)是当前的切片的参照图片列表i和参照图片列表1中、变量NumRefIdxActive[0]和NumRefIdxActive[1]所定义的实际可使用的激活的短期参照图片。

作为变量IdenticalDirecitionFlag的其他导出方法，也可以定义为，仅当ref_idx_l0[x0][y0]和ref_idx_11[x0][y0]所指示的两个参照图片相对于当前的图片均为以前的图片时，将变量IdenticalDirecitionFlag设定为1。

若在当前的切片的参照图片列表0和参照图片列表1中、变量NumRefIdxActive[0]和NumRefIdxActive[1]所定义的实际可使用的激活的短期参照图片aPic与当前的图片CurrPic的POC的差DiffPicOrderCnt(aPic，CurrPic)小于0时，则将IdenticalDirecitionFlag设定为1。

在除此之外的情况下，将IdenticalDirecitionFlag设定为0。

图22是对解决非专利文献1记载的方法的问题的其他实施方式中使用的图片报头PH和切片报头的语法进行说明的图。这些语法例如通过预测参数导出部120或者参数编码部111编码，通过参数解码部302或者预测参数导出部320解码。

图22的(a)的图片报头PH中，当ph_inter_slice_allowed_flag为1、且rpl_info_in_ph_flag为1时，对mvd_l1zero_flag进行编码、解码。ph_inter_slice_allowed_flag是表示图片内的切片是否为帧间的标志。rpl_info_in_ph_flag是表示图片报头中是否存在参照图片列表信息的标志。

图22的(b)的切片报头中，当ph_inter_slice_allowed_flag为0、且slice_type为B时，对mvd_l1_zero_flag进行编码、解码。即，当图片报头PH中不存在参照图片列表信息、切片报头中存在参照图片列表信息、且为B切片时，对mvd_l1_zero_flag进行编码、解码。

通过如此构成，能以参照图片列表被变更的时序设定mvd_l1_zero_flag，因此，能解决如下问题：即使sps_smvd_enabled_flag设定为1，不论参照图片列表结构如何，都不运行对称运动矢量差分模式。

〔应用例〕

上述运动图像编码装置11和运动图像解码装置31可搭载于进行运动图像的发送、接收、记录、播放的各种装置而利用。另外，运动图像可以是由相机等拍摄的自然运动图像，也可以是由计算机等生成的人工运动图像(包含CG(Computer Graphics：计算机动画)和GUI(Graphical User Interface：图形用户界面))。

首先，参照图2对能将上述运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。

图2的PROD_A是表示搭载有运动图像编码装置11的发送装置PROD_A的构成的框图。如图2所示，发送装置PROD_A具有：编码部PROD_A1，其通过对运动图像进行编码而获得编码数据；调制部PROD_A2，其通过利用编码部PROD_A1所获得的编码数据对载波进行调制而获得调制信号；以及发送部PROD_A3，其发送调制部PROD_A2所获得的调制信号。上述运动图像编码装置11用作该编码部PROD_A1。

发送装置PROD_A也可以还具备作为输入至编码部PROD_A1的运动图像的供给源的拍摄运动图像的相机PROD_A4、记录运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6、以及生成或加工图像的图像处理部A7。在图2中，示例出发送装置PROD_A具有这些所有部件的构成，但也可以省略一部分。

另外，记录介质PROD_A5可以记录未编码的运动图像，也可以记录以与传输用的编码方式不同的记录用的编码方式编码的运动图像。当为后者时，在记录介质PROD_A5与编码部PROD_A1之间，介插将从记录介质PROD_A5读出的编码数据按照记录用的编码方式进行解码的解码部(未图示)为好。

图2的PROD_B是表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图2所示，接收装置PROD_B具有：接收部PROD_B1，其接收调制信号；解调部PROD_B2，其通过对接收部PROD_B1接收到的调制信号进行解调而获得编码数据；以及解码部PROD_B3，其通过对解调部PROD_B2获得的编码数据进行解码而获得运动图像。上述运动图像解码装置31用作该解码部PROD_B3。

接收装置PROD_B也可以还具有作为解码部PROD_B3输出的运动图像的供给目的地的显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5、以及用于将运动图像输出至外部的输出端子PROD_B6。图中，例示出接收装置PROD_B具有这些所有部件的构成，但也可以省略一部分。

另外，记录介质PROD_B5可以用于记录未编码的运动图像，也可以为经与传输用的编码方式不同的记录用的编码方式编码。当为后者时，在解码部PROD_B3与记录介质PROD_B5之间，介插将从解码部PROD_B3获得的运动图像按照记录用的编码方式编码的编码部(未图示)为好。

另外，传输调制信号的传输介质可以是无线，也可以是有线。此外，传输调制信号的传输方式可以是广播(此处是指未预先特定发送目的地的发送方式)，也可以是通信(此处是指预先特定发送目的地的发送方式)。即，调制信号的传输也可以通过无线广播、有线广播、无线通信、以及有线通信中的任一个实现。

例如，数字地面广播的广播台(广播设备等)/接收台(电视接收器等)是以无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。此外，有线电视广播的广播台(广播设备等)/接收台(电视接收器等)是以有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。

此外，使用因特网的VOD(Video On Demand：视频点播)服务或运动图像共享服务等的服务器(工作站等)/客户端(电视接收器、个人计算机、智能型手机等)是利用通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一例(通常，LAN中使用无线或有线中的任一个作为传输介质，WAN中使用有线作为传输介质)。在此，个人计算机包含台式PC(Personal Computer：个人计算机)、膝上型PC以及平板型PC。此外，智能型手机也包含多功能移动电话终端。

另外，运动图像共享服务的客户端除对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有将利用相机拍摄的运动图像编码并上传至服务器的功能。即，运动图像共享服务的客户端作为发送装置PROD_A和接收装置PROD_B这两者发挥功能。

接着，参照图3对能将上述运动图像编码装置11和运动图像解码装置31用于运动图像的记录和播放的情况进行说明。

图3的PROD_C是表示搭载有上述运动图像编码装置11的记录装置PROD_C的构成的框图。如图3所示，记录装置PROD_C具有：编码部PROD_C1，其通过对运动图像进行编码而获得编码数据；以及写入部PROD_C2，其将编码部PROD_C1获得的编码数据写入至记录介质PROD_M。上述运动图像编码装置11用作该编码部PROD_C1。

另外，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD_C的类型，也可以是(2)如SD(Secure Digital：安全数字)内存卡或USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型，还可以是(3)如DVD(Digital Versatile Disc：注册商标)或BD(Blu-ray Disc：注册商标)等那样装填于记录装置PROD_C中内置的驱动器装置(未图示)。

此外，记录装置PROD_C也可以还具有作为输入至编码部PROD_C1的运动图像的供给源的拍摄运动图像的相机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5、以及生成或加工图像的图像处理部PROD_C6。在图3中，例示出记录装置PROD_C具有这些所有部件的构成，但也可以省略一部分。

另外，接收部PROD_C5可以接收未编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码的编码数据。当为后者时，接收部PROD_C5与编码部PROD_C1之间，介插将以传输用的编码方式编码的编码数据解码的传输用解码部(未图示)为好。

作为这种记录装置PROD_C，可列举例如DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5成为运动图像的主要供给源)。此外，便携式摄像机(在该情况下，相机PROD_C3成为运动图像的主要供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部C6成为运动图像的主要供给源)、智能型手机(在该情况下，相机PROD_C3或接收部PROD_C5成为运动图像的主要供给源)等也为这种记录装置PROD_C的一例。

图3PROD_D是表示搭载有上述运动图像解码装置31的播放装置PROD_D的构成的块。如图3所示，播放装置PROD_D具有：读出部PROD_D1，其将写入于记录介质PROD_M的编码数据读出；以及解码部PROD_D2，其通过将读出部PROD_D1读出的编码数据解码而获得运动图像。上述运动图像解码装置31用作该解码部PROD_D2。

另外，记录介质PROD_M可以是(1)如HDD或SSD等那样内置于播放装置PROD_D的类型，也可以是(2)如SD内存卡或USB闪存等那样连接于播放装置PROD_D的类型，还可以(3)如DVD或BD等那样装填于播放装置PROD_D中内置的驱动器装置(未图示)。

此外，播放装置PROD_D也可以还具有作为解码部PROD_D2输出的运动图像的供给目的地的、显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4、以及发送运动图像的发送部PROD_D5。在图3中，示例出播放装置PROD_D具有全部这些部件的构成，但也可以省略一部分。

另外，发送部PROD_D5可以发送未编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码的编码数据。当为后者时，在解码部PROD_D2与发送部PROD_D5之间，介插将运动图像以传输用的编码方式编码的编码部(未图示)为好。

作为这种播放装置PROD_D，可列举例如DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收器等的输出端子PROD_D4成为运动图像的主要供给目的地)。此外，电视接收器(在该情况下，显示器PROD_D3成为运动图像的主要供给目的地)、数字标牌(也可以称为电子广告牌或电子指示板等，显示器PROD_D3或发送部PROD_D5成为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5成为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5成为运动图像的主要供给目的地)、智能型手机(在该情况下，显示器PROD_D3或发送部PROD_D5成为运动图像的主要供给目的地)等也是这种播放装置PROD_D的一例。

(以硬件实现和以软件实现)

此外，上述运动图像解码装置31和运动图像编码装置11的各块可通过形成于集成电路(IC芯片)上的逻辑电路以硬件实现，也可以使用CPU(Central Processing Unit：：中央处理器)以软件实现。

当为后者时，上述各装置具有执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(Random Access Memory：随机存取存储器)、储存上述程序和各种数据的存储器等存储装置(记录介质)等。而且，本发明的实施方式的目的，也可以通过将以计算机可读取地记录有实现上述功能的软件即上述各装置的控制程式的程序代码(执行形式程序、中间码程序、源程序)的记录介质供给至上述各装置，由该计算机(或CPU或MPU(Microprocessor Unit：微处理器))读出并执行记录介质中记录的程序代码而达成。

作为上述记录介质，可使用例如磁带或卡式磁带等磁带类、包含软盘(注册商标)/硬盘等磁盘或CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你磁光盘)/DVD(Digital VersatileDisc：注册商标)/CD-R(CD Recordable：光盘刻录片)/蓝光光盘(Blu-rayDisc：注册商标)等光盘的盘类、IC卡(包含内存卡)/光卡等卡类、光罩式ROM/EPROM(ErasableProgrammable Read-Only Memory(可擦可编程只读存储器))/EEPROM(ElectricallyErasable and Programmable Read-Only Memory(电可擦可编程只读存储器)：注册商标)/闪存ROM等半导体存储器类、或者PLD(Programmable logic device：可编程逻辑器件)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等逻辑电路类等。

此外，也可以将上述各装置构成为可与通信网络连接，经由通信网络供给上述程序代码。该通信网络只要可传输程序代码即可，并无特别限定。例如可使用因特网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network)、ISDN(Integrated ServicesDigital Network：整体服务数字网络)、VAN(Value-Added Network：增值网络)、CATV(Community Antenna television/Cable Television：小区天线电视/有线电视)通信网络、虚拟专用网络(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也只要为可传输程序代码的介质即可，并不限定于特定的构成或种类。例如可利用IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、有线TV线、电话线、ADSL(AsymmetricDigital SubscriberLine：非对称数字用户线)线路等有线，且可利用IrDA(Infrared DataAssociation：红外线数据协会)、遥控器之类的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance(数字生活网络联盟)：注册商标)、便携电话网、卫星线路、数字地面广播网等无线。另外，本发明的实施方式也可以以利用电子传输使上述程序代码具体化并嵌入于载波的计算机数据信号的形态实现。

本发明的实施方式并不限定于上述实施方式，能够在权利要求所示的范围进行各种变更。即，将在权利要求所示的范围内适当变更的技术手段加以组合而得到的实施方式也包含于本发明的技术范围内。

产业上的可利用性

本发明的实施方式可优选地应用于对图像数据经编码的编码数据进行解码的运动图像解码装置、以及生成图像数据经编码的编码数据的运动图像编码装置。此外，可优选地应用于由运动图像编码装置生成、且由运动图像解码装置参照的编码数据的数据结构。

(关联申请的相互参照)

本申请基于2020年4月2日提出申请的日本专利申请：日本特愿2020-066614主张优先权的利益，并通过对其进行参照而将其全部内容包含在本说明书中。

附图标记说明

31：图像解码装置

301：熵解码部

302：参数解码部

303：帧间预测参数导出部

304：帧内预测参数导出部

305、107：环路滤波器

306、109：参照图片存储器

307、108：预测参数存储器

308、101：预测图像生成部

309：帧间预测图像生成部

310：帧内预测图像生成部

311、105：逆量化/逆转换部

312、106：加法部

320：预测参数导出部

11：图像编码装置

102：减法部

103：转换/量化部

104：熵编码部

110：编码参数决定部

111：参数编码部

112：帧间预测参数编码部

113：帧内预测参数编码部

120：预测参数导出部

Claims

1.一种运动图像解码装置，其特征在于，具有：

解码部，按每个切片解码参照图片列表结构；以及

预测部，基于所述参照图片列表结构导出参照图片列表，

所述解码部导出对称运动矢量差分参照索引，

所述预测部导出同位块和标志，

利用包含所述同位块的合并候选列表导出对象块的运动矢量，

在当前的切片的参照图片列表0和参照图片列表1的所有的参照图片aPic与当前的图片CurrPic的POC的差DiffPicOrderCnt(aPic，CurrPic)小于第一阈值时，将所述标志设定为第一值，在除此之外的情况下，将所述标志设定为第二值。

2.一种运动图像解码方法，其特征在于，

按每个切片解码参照图片列表结构，

基于所述参照图片列表结构导出参照图片列表，

导出对称运动矢量差分参照索引，

利用包含同位块的合并候选列表导出对象块的运动矢量，

在当前的切片的参照图片列表0和参照图片列表1的所有的参照图片aPic与当前的图片CurrPic的POC的差DiffPicOrderCnt(aPic，CurrPic)小于第一阈值时，将标志设定为第一值，在除此之外的情况下，将所述标志设定为第二值。