CN117834904A - 图像解码装置以及图像编码装置 - Google Patents

Abstract

存在如下问题：在基于以往的帧内预测模式单位的模板预测图像与模板图像的差分的基于模板的帧内模式导出中，模板图像的导出和成本计算需要很多的计算量。本发明的特征在于，具备：帧内预测图像生成部，生成针对规定的帧内预测模式候选的模板预测图像；模板成本导出部，根据上述模板预测图像和作为对象块的附近的图像的模板图像导出成本；以及帧内预测图像生成部，使用选择出的帧内预测模式来生成帧内预测图像，将模板预测图像的插补滤波器的抽头数设为小于帧内预测的插补滤波器的抽头数。

Description

图像解码装置以及图像编码装置

技术领域

本发明的实施方式涉及图像解码装置以及运动图像编码装置。

背景技术

为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置，以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。

作为具体的运动图像编码方式，例如可以列举出H.264/AVC、HEVC(High-Efficiency Video Coding：高效运动图像编码)、Versatile Video Coding(VVC：多功能视频编码)中提出的方式等。

在这样的运动图像编码方式中，构成运动图像的图像(图片)通过分级结构来管理，并按每个CU进行编码/解码，该分级结构包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU：Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit：CU))以及通过分割编码单位而得到的转换单元(TU：Transform Unit)。

此外，在这样的运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。

此外，作为近年来的运动图像编码和解码的技术，可列举出非专利文献1。非专利文献1中公开了一种基于模板的帧内模式导出(Template based Intra Mode Derivation，TIMD)预测，解码器使用邻接区域的像素来导出帧内方向预测模式编号，由此生成预测图像。

现有技术文献

非专利文献

非专利文献1

K.Cao，N.Hu，V.Seregin，M.Karczewicz，Y.Wang，K.Zhang，L.Zhang，“EE2-related：Fusion for template-based intra mode derivation”，JVET-W0123

发明内容

发明要解决的问题

在像非专利文献1这样的基于模板的帧内模式导出中，使用对象块的附近的模板参照区域的图像，根据针对帧内预测模式候选的对象块的邻接图像(模板图像)生成模板预测图像。然后，选择模板图像和模板预测图像的成本小的帧内预测模式候选作为对象块的帧内预测模式。然而，存在如下问题：需要进行针对多个帧内预测模式候选的模板预测图像的导出以及成本计算，计算量非常大。

本发明的目的在于确保预测图像的精度的同时，降低基于模板的帧内模式导出的复杂度。

技术方案

图像解码器的特征在于，具备：参数解码部，从编码数据解码基于模板的帧内预测标志；参照样本导出部，使用对象块附近的模板参照区域的图像来导出参照样本；帧内预测图像生成部，使用上述参照样本来生成针对规定的帧内预测模式候选的模板预测图像；模板成本导出部，根据上述模板预测图像和作为对象块的附近的图像的模板图像导出成本；以及帧内预测模式选择部，基于上述成本来选择对象块的帧内预测模式，在上述预测标志为规定值的情况下，使用上述选择出的帧内预测模式来生成对象块的预测图像。

图像解码器的特征在于，上述参照样本导出部通过根据图像的比特深度使对象块附近的模板参照区域的像素值向右移位，来导出上述参照样本的像素值，上述成本导出部通过根据图像的比特深度使对象块的周围的像素值向右移位，来导出上述模板图像的像素值。

图像解码器的特征在于，上述帧内预测图像生成部在生成上述模板预测图像的情况下，参照MTAP个参照样本，在生成对象块的预测图像的情况下，参照NTAP个参照样本，MTAP小于NTAP。

图像编码器的特征在于，具备：参数编码部，根据编码数据对基于模板的帧内预测标志进行编码；参照样本导出部，使用对象块附近的模板参照区域的图像来导出参照样本；帧内预测图像生成部，使用上述参照样本来生成针对规定的帧内预测模式候选的模板预测图像；模板成本导出部，根据上述模板预测图像和作为对象块的附近的图像的模板图像导出成本；以及帧内预测模式选择部，基于上述成本来选择对象块的帧内预测模式，在上述预测标志为规定值的情况下，使用上述选择出的帧内预测模式来生成对象块的预测图像。

图像编码器的特征在于，上述参照样本导出部通过根据图像的比特深度使对象块附近的模板参照区域的像素值向右移位，来导出上述参照样本的像素值，上述成本导出部通过根据图像的比特深度使对象块的周围的像素值向右移位，来导出上述模板图像的像素值。

图像编码器的特征在于，上述帧内预测图像生成部在生成上述模板预测图像的情况下，参照MTAP个参照样本，在生成对象块的预测图像的情况下，参照NTAP个参照样本，MTAP小于NTAP。

有益效果

根据本发明的一个方案，能在确保预测图像的精度的同时，降低基于模板的帧内模式导出的复杂度。

附图说明

图1是表示本实施方式的图像传输系统的构成的概略图。

图2是表示编码流的数据的分级结构的图。

图3是表示帧内预测模式的种类(模式编号)的概略图。

图4是表示运动图像解码装置的构成的概略图。

图5是表示帧内预测图像生成部的构成的图。

图6是表示对象块、模板区域、模板参照区域的关系的图。

图7是表示TIMD预测部的详情的图。

图8是与TIMD预测相关的语法的示例。

图9是表示实现限制图像的比特深度的模板区域和模板参照区域的导出的TIMD预测部的构成的图。

图10是表示TIMD预测的帧内预测模式搜索时的模板预测图像生成中的滤波器抽头数的切换的图。

图11是表示运动图像编码装置的构成的框图。

具体实施方式

(第一实施方式)

以下，参照附图对本发明的实施方式进行说明。

图1是表示本实施方式的图像传输系统1的构成的概略图。

图像传输系统1是传输对编码对象图像进行编码而得到的编码流，对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括：运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。

运动图像编码装置11被输入图像T。

网络21将运动图像编码装置11生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Internet)、广域网(WAN：Wide Area Network)、小型网络(LAN：Local AreaNetwork，局域网)或它们的组合。网络21不一定限定于双向的通信网，也可以是传输地上数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用DVD(DigitalVersatile Disc：数字通用光盘，注册商标)、BD(Blu-ray Disc：蓝光光盘，注册商标)等记录有编码流Te的存储介质代替。

运动图像解码装置31对网络21所传输的编码流Te分别进行解码，生成解码后的一个或多个解码图像Td。

运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。作为显示器的形式，可以列举出固定式、移动式、HMD(Head Mounted Display：头戴显示器)等。此外，在运动图像解码装置31具有高处理能力的情况下，显示画质高的图像，在仅具有低处理能力的情况下，显示不需要高处理能力、高显示能力的图像。

<运算符>

以下对在本说明书中使用的运算符进行描述。

>>表示向右位移，<<表示向左位移，&表示逐位AND，|表示逐位OR，^表示逐位XOR，|＝表示OR代入运算符，！表示逻辑否定(NOT)，&&表示逻辑积(AND)，||表示逻辑和(OR)。

x？y:z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。

Clip3(a,b,c)是将c截取到a以上b以下的值的函数，是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中a<＝b)。

Clip1Y(c)是在Clip3(a,b,c)中设定为a＝0，b＝(1<<BitDepthY)-1的运算符。BitDepthY是亮度的位深度。

abs(a)是返回a的绝对值的函数。

Int(a)是返回a的整数值的函数。

Floor(a)是返回a以下的最大整数的函数。

Log2(a)是返回以2为底的对数的函数。

Ceil(a)是返回a以上的最小整数的函数。

a/d表示a除以d(舍去小数点以下)。

Min(a,b)是返回a和b中较小的值的函数。

<编码流Te的结构>

在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前，对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。

图2是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。图2中分别示出了表示规定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中包括的编码树单元以及编码树单元中包括的编码单元的图。

(编码视频序列)

在编码视频序列中，规定有供运动图像解码装置31参照以便对处理对象的序列SEQ进行解码的数据的集合。如图2的编码视频序列所示，序列SEQ包括：视频参数集VPS(Video Parameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture Parameter Set)、图片PICT以及补充增强信息SEI(Supplemental EnhancementInformation)。

视频参数集VPS在由多层构成的运动图像中，规定有多个运动图像通用的编码参数的集合，以及运动图像中包括的多层和与各层关联的编码参数的集合。

在序列参数集SPS中，规定有供运动图像解码装置31参照以便对对象序列进行解码的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，从PPS中选择多个SPS中的任一个SPS。

在图片参数集PPS中，规定有供运动图像解码装置31参照以便对对象序列内的各图片进行解码的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)、指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，PPS可以存在多个。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个PPS。

(编码图片)

在编码图片中，规定有供运动图像解码装置31参照以便对处理对象的图片PICT进行解码的数据的集合。如图2的编码图片所示，图片PICT包括切片0～切片NS-1(NS为图片PICT中包括的切片的总数)。

需要说明的是，以下，在无需对各切片0～切片NS-1进行区别的情况下，有时会省略代码的后缀来进行记述。此外，对于以下说明的编码流Te中包括的数据、即标注有后缀的其他数据而言也是同样的。

(编码切片)

在编码切片中，规定有供运动图像解码装置31参照以便对处理对象的切片S进行解码的数据的集合。如图2的编码切片所示，切片包括切片报头和切片数据。

切片报头中包括供运动图像解码装置31参照以便确定对象切片的解码方法的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中包括的编码参数的一个示例。

作为能由切片类型指定信息指定的切片类型，可列举出：(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是，帧间预测不限于单向预测、双向预测，也可以使用更多的参照图片来生成预测图像。以下，称为P、B切片的情况是指包括能使用帧间预测的块的切片。

需要说明的是，切片报头中也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。

(编码切片数据)

在编码切片数据中，规定有供运动图像解码装置31参照以便对处理对象的切片数据进行解码的数据的集合。如图2的编码切片报头所示，切片数据包括CTU。CTU是构成切片的固定尺寸(例如64×64)的块，也称为最大编码单位(LCU：Largest Coding Unit)。

(编码树单元)

在图2的编码树单元中，规定有供运动图像解码装置31参照以便对处理对象的CTU进行解码的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Ternary Tree)分割)分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点，CTU本身也被规定为最上层的编码节点。

(编码单元)

如图2的编码单元所示，规定有供运动图像解码装置31参照以便对处理对象的编码单元进行解码的数据的集合。具体而言，CU由CU报头CUH、预测参数、转换参数、量化转换系数等构成。在CU报头中规定有预测模式等。

预测处理存在以CU为单位进行的情况和以进一步分割CU而得到的子CU为单位进行的情况。在CU与子CU的尺寸相等的情况下，CU中的子CU为1个。在CU的尺寸大于子CU的尺寸的情况下，CU被分割成子CU。例如，在CU为8×8、子CU为4×4的情况下，CU被分割成由水平分割的两部分和垂直分割的两部分构成的4个子CU。

预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。

转换/量化处理以CU为单位来进行，但量化转换系数也可以以4×4等子块为单位来进行熵编码。

(预测参数)

预测图像由附加于块的预测参数导出。预测参数中存在帧内预测和帧间预测的预测参数。

以下，对帧内预测的预测参数进行说明。帧内预测参数由亮度预测模式IntraPredModeY和色差预测模式IntraPredModeC构成。图3是表示帧内预测模式的种类(模式编号)的概略图。如图3所示，帧内预测模式例如存在67种(0～66)。例如是平面预测(0)、DC预测(1)、Angular(角度)预测(2～66)。除此以外，还可以使用颜色分量间线性模型(CCLM：Cross Component Linear Model)预测、多模型线性模型(MMLM：Multi Mode LinearModel)预测这种线性模型(LM：Linear Model)预测。而且，可以在色差中追加LM模式。此外，还可以使用基于模板的帧内模式导出(Template based Intra Mode Derivation，TIMD)预测、解码器侧帧内模式导出(Decoder Intra Mode Derivation，DIMD)预测。

(运动图像解码装置的构成)

对本实施方式的运动图像解码装置31(图4)的构成进行说明。

运动图像解码装置31构成为包括：熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆转换部311以及加法部312、预测参数导出部320。需要说明的是，根据后述的运动图像编码装置11，也存在运动图像解码装置31中不包括环路滤波器305的构成。

参数解码部302具备报头解码部3020、CT信息解码部3021以及CU解码部3022(预测模式解码部)，CU解码部3022还具备TU解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据解码VPS、SPS、PPS、APS等参数集信息、切片报头(切片信息)。CT信息解码部3021从编码数据解码CT。CU解码部3022从编码数据解码CU。TU解码部3024在TU中包括预测误差的情况下，从编码数据解码QP(Quantization Parameter：量化参数)更新信息(量化校正值)和量化预测误差(residual_coding)。

TU解码部3024在跳跃模式以外(skip_mode＝＝0)的情况下，从编码数据解码QP更新信息和量化预测误差。更具体而言，TU解码部3024在skip_mode＝＝0的情况下，对表示在对象块中是否包括量化预测误差的标志cu_cbp进行解码，在cu_cbp为1的情况下对量化预测误差进行解码。在cu_cbp不存在于编码数据的情况下导出为0。

预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。

预测参数导出部320构成为包括帧间预测参数导出部303和帧内预测参数导出部304。

此外，在下文中对将CTU、CU用作处理单位的示例进行了记载，但不限于该示例，也可以以子CU为单位进行处理。或者，也可以将CTU、CU替换为块，将子CU替换为子块，进行以块或者子块为单位的处理。

熵解码部301对从外部输入的编码流Te进行熵解码，对各个代码(语法要素)进行解码。熵编码中存在如下方式：使用根据语法要素的种类、周围的状况而适当选择出的上下文(概率模型)对语法要素进行可变长度编码的方式CABAC(Context Adaptive BinaryArithmetic Coding：自适应二进制算术编码)；以及使用预定的表或计算式对语法要素进行可变长度编码的方式。熵解码部301在分段(块(tile)、CTU行、切片)的起点对所有CABAC状态进行初始化。熵解码部301将语法要素转换成二进制串(Bin String)，对二进制串的各位进行解码。在使用上下文的情况下，对语法要素的各位导出上下文索引ctxInc，使用上下文来对位进行解码，并更新所使用的上下文的CABAC状态。未使用上下文的位以等概率(EP，bypass)进行解码，省略ctxInc导出、CABAC状态。

熵解码部301将解码后的代码输出至参数解码部302。基于参数解码部302的指示来进行对哪一个代码进行解码的控制。

(帧内预测参数导出部304的构成)

帧内预测参数导出部304基于从熵解码部301输入的代码，参照存储于预测参数存储器307的预测参数来对帧内预测参数，例如对帧内预测模式IntraPredMode进行解码。帧内预测参数导出部304将解码后的帧内预测参数输出至预测图像生成部308，再存储于预测参数存储器307。帧内预测参数导出部304也可以导出在亮度和色差上不同的帧内预测模式。

帧内预测参数导出部304对如图8所示的与帧内预测有关的语法要素进行解码。

环路滤波器305是设于编码环路内的滤波器，是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。

参照图片存储器306将加法部312所生成的CU的解码图像按每个对象图片和对象CU存储于预定的位置。

预测参数存储器307将预测参数按每个解码对象的CTU或CU存储于预定的位置。具体而言，预测参数存储器307存储由参数解码部302解码后的参数和由熵解码部301分离后的预测模式predMode等。

预测图像生成部308被输入预测模式predMode、预测参数等。此外，预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在预测模式predMode所指示的预测模式下，使用预测参数和读出的参照图片(参照图片块)来生成块或子块的预测图像。在此，参照图片块是指参照图片上的像素的集合(通常为矩形，因此称为块)，是为了生成预测图像而参照的区域。

(帧内预测图像生成部310)

在预测模式predMode表示帧内预测模式的情况下，帧内预测图像生成部310使用从帧内预测参数导出部304输入的帧内预测参数和从参照图片存储器306中读出的参照像素来进行帧内预测。

具体而言，帧内预测图像生成部310从参照图片存储器306中读出对象图片上的距离对象块预定的范围的邻接块。预定的范围是在对象块的左、左上、左下、上、右上的邻接块，根据帧内预测模式参照的区域不同。

帧内预测图像生成部310参照读出的解码像素值和IntraPredMode所表示的预测模式来生成对象块的预测图像。帧内预测图像生成部310将生成的块的预测图像输出至加法部312。

以下，对基于帧内预测模式的预测图像的生成进行说明。在平面(Planar)预测、DC预测、角度(Angular)预测中，将与预测对象块邻接(接近)的已解码的周边区域设定为参照区域R。然后，通过在特定的方向上外插参照区域R上的像素来生成预测图像。例如，参照区域R可以设定为包括预测对象块的左和上(或者进一步左上、右上、左下)的L字型的区域。

(预测图像生成部的详情)

接着，使用图5对帧内预测图像生成部310的构成的详情进行说明。帧内预测图像生成部310具备参照样本滤波部3103(第二参照图像设定部)、预测部3104、以及预测图像校正部3105(预测图像校正部、滤波切换部、加权系数变更部)。

预测部3104基于参照区域R上的各参照像素(参照图像)、应用参照样本滤波(第一滤波)生成的已滤波参照图像、以及帧内预测模式，来生成预测对象块的预测图像(临时预测图像、校正前预测图像)，并输出至预测图像校正部3105。预测图像校正部3105根据帧内预测模式来修正临时预测图像，生成并输出预测图像(已校正预测图像)。

以下，对帧内预测图像生成部310所具备的各部进行说明。

(参照样本滤波部3103)

参照样本滤波部3103参照参照图像来导出参照区域R上的各位置(x,y)的参照样本s[x][y]。此外，参照样本滤波部3103根据帧内预测模式，对参照样本s[x][y]应用参照样本滤波(第一滤波)，更新参照区域R上的各位置(x,y)的参照样本s[x][y](导出已滤波参照图像s[x][y])。具体而言，对位置(x,y)和其周边的参照图像应用低通滤波，导出已滤波参照图像。需要说明的是，不一定对全部帧内预测模式应用低通滤波器，也可以对一部分帧内预测模式应用低通滤波器。需要说明的是，将在参照样本滤波部3103中对参照区域R上的参照图像应用的滤波称为“参照样本滤波(第一滤波)”，与之相对，将在后述的预测图像校正部3105中对临时预测图像进行校正的滤波称为“位置依存滤波(第二滤波)”。

(预测部3104的构成)

预测部3104基于帧内预测模式、参照图像以及已滤波参照像素值生成预测对象块的临时预测图像(临时预测像素值、校正前预测图像)，输出至预测图像校正部3105。预测部3104在内部具备平面预测部31041、DC预测部31042、角度预测部31043、LM预测部31044、MIP(Matrix-based Intra Prediction：基于矩阵的帧内预测)部31045、TIMD预测部31047(基于模板的帧内模式导出(Template-based Intra Mode Derivation：TIMD))。预测部3104根据帧内预测模式来选择特定的预测部，输入参照图像、已滤波参照图像。帧内预测模式与所对应的预测部的关系如下所示。

·平面预测····平面预测部31041

·DC预测····DC预测部31042

·角度预测····角度预测部31043

·LM预测····LM预测部31044

·矩阵帧内预测··MIP部31045

·TIMD预测······TIMD预测部31047

(平面预测)

平面预测部31041根据预测对象像素位置与参照像素位置的距离，对参照样本s[x][y]进行线性相加，生成临时预测图像predSamples[x][y]，输出至预测图像校正部3105。需要说明的是，s[][]也可以称为p[][]。

(DC预测)

DC预测部31042导出相当于参照样本s[x][y]的平均值的DC预测值，输出将DC预测值作为像素值的临时预测图像q[x][y]。

(角度预测)

角度预测部31043使用帧内预测模式所指示的预测方向(参照方向)的参照样本s[x][y]来导出预测图像predSamples[][](＝临时预测图像q[][])，输出至预测图像校正部3105。

在IntraPredMode>＝DIR的情况下

ref[x]＝s[-1-refIdx+x][-1-refIdx](x＝0..bW+refIdx+1)

进而对x＝0..bW-1，y＝0..bH-1进行以下

iIdx＝(((y+1+refIdx)*intraPredAngle)>>5)+refIdx

iFact＝((y+1+refIdx)*intraPredAngle)&31

predSamples[x][y]＝Clip1(((Σ(fT[i]*ref[x+iIdx+i]))+32)>>6)

在除此以外的情况下(IntraPredMode<DIR)

ref[x]＝s[-1-refIdx][-1-refIdx+x](x＝0..bH+refIdx+1)

进而对x＝0..bW-1，y＝0..bH-1进行以下

iIdx＝(((x+1+refIdx)*intraPredAngle)>>5)+refIdx

iFact＝((x+1+refIdx)*intraPredAngle)&31

predSamples[x][y]＝Clip1(((Σ(fT[i]*ref[y+iIdx+i]))+32)>>6)

DIR、refIdx为规定的常数，例如DIR＝34、66等。refIdx＝0、1、2等。在为通常的角度预测的情况下，可以对编码数据的语法进行解码并设定refIdx的值。fT为帧内预测图像用的插补滤波系数。在后述的TIMD预测的预测图像生成的情况下，也可以固定为refIdx＝0。此外，在模板预测图像的导出的情况下，也可以使用refIdx＝2或4。

(LM预测)

LM预测部31044基于亮度的像素值来预测色差的像素值。具体而言，是一种基于解码后的亮度图像，使用线性模型来生成色差图像(Cb、Cr)的预测图像的方式。作为LM预测之一，存在CCLM(Cross-Component Linear Model)预测。CCLM预测是对一个块使用用于根据亮度预测色差的线性模型的预测方式。

(矩阵帧内预测)

MIP部31045通过从邻接区域导出的参照样本s[x][y]与加权矩阵的积和运算来生成临时预测图像q[x][y]，输出至预测图像校正部3105。

(TIMD预测)

TIMD预测是一种使用没有明确地通过信号进行通信的帧内预测模式来生成预测图像的预测方式(也称为基于模板的帧内模式)。帧内预测参数导出部304首先生成导出帧内预测模式候选的对象块的邻接区域、即模板图像的模板预测图像。接着，使用对象块的附近的参照区域(模板参照区域)的图像，生成针对多个帧内预测模式候选的模板预测图像。然后，选择在模板图像与模板预测图像的成本(例如差分绝对值和)最小的模板预测图像的导出中使用的帧内预测模式候选作为对象块的TIMD帧内预测模式。TIMD预测部31047使用该TIMD帧内预测模式来生成预测图像(临时预测图像)。详情将在后文加以记述。

(预测图像校正部3105的构成)

预测图像校正部3105根据帧内预测模式对从预测部3104输出的临时预测图像进行修正。具体而言，预测图像校正部3105针对临时预测图像的各像素，根据参照区域R与对象预测像素的位置，导出依存于位置的加权系数。然后，通过对参照样本s[][]和临时预测图像q[x][y]进行加权相加(加权平均)，导出修正临时预测图像的预测图像(已校正的预测图像)Pred[][]。需要说明的是，在一部分的帧内预测模式中，也可以不通过预测图像校正部3105对临时预测图像q[x][y]进行校正而设定为预测图像。

(实施例1)

图8示出了与TIMD相关的编码数据的语法例。参数解码部302从编码数据解码表示是否按每个块使用TIMD的基于模板的帧内预测标志timd_flag。在timd_flag为1的情况下，参数解码部302也可以不从编码数据解码与帧内模式相关的数个语法要素。在timd_flag为0的情况下，对intra_luma_mpm_flag进行解码。intra_luma_mpm_flag是表示是否从预测候选列表candModeList(Most Probable Mode(MPM)列表)导出帧内预测模式的标志。在intra_luma_mpm_flag为1的情况下，对intra_luma_not_planar_flag和intra_luma_mpm_idx进行解码。在intra_luma_mpm_flag为0的情况下，对intra_luma_mpm_reminder进行解码。intra_not_planar_flag是表示是否进行平面预测的标志。intra_luma_mpm_idx是将存储于MPM列表candModeList[]的帧内预测模式之一指定为预测候选的索引。intra_luma_mpm_reminder是从除了MPM列表以外的帧内预测模式中选择预测候选的索引。

例如，将对象块的左上坐标设为(xC,yC)，将块宽度设为bW，将块高度设为bH。可以将与对象块的左侧邻接的块A的intraPredMode设为intraPredModeA，将与上侧邻接的块B的intraPredMode设为intraPredModeB，并通过以下方式导出对象块的预测模式候选。块A(以下称为A)是包括坐标(xC-1,yC+bH-1)的块。块B(以下称为B)是包括坐标(xC+bW-1,yC-1)的块。

candModePredModeA＝(A不可用||A为MODE_INTRA以外)？INTRA_PLANAR:intraPredModeA

candModePredModeB＝(B不可用||B为MODE_INTRA以外||B的位置为比对象块的上侧CTU边界靠上)？INTRA_PLANAR:intraPredModeB

需要说明的是，比CTU边界靠上能通过yC-1<((yC>>CtbLog2SizeY)<<CtbLog2SizeY)是否为真来判定。在此，CtbLog2SizeY＝Log2(CTU尺寸)。可以对编码数据中的语法要素sps_log2_ctu_size_minus5进行解码，并通过CtbLog2SizeY＝sps_log2_ctu_size_minus5+5来导出。此外，可以以如下方式导出candModeList。

candModeList[0]＝candIntraPredModeA

candModeList[1]＝candIntraPredModeB

minAB＝Min(candIntraPredModeA,candIntraPredModeB)

candModeList[2]＝2+((minAB+61)％64)

candModeList[3]＝2+((minAB-1)％64)

candModeList[4]＝2+((minAB+60)％64)

在timd_flag为1的情况下，TIMD预测部31047使用对象块附近的模板参照区域的图像，生成针对帧内预测模式候选的模板预测图像，选择合适的帧内预测模式作为对象块的模板图像的预测图像。

图6示出由TIMD预测参照的模板区域RT和模板参照区域(模板参照样本区域)RTRS。模板区域是模板图像的区域。模板参照区域是在生成作为模板图像的预测图像的模板预测图像时所参照的区域。

图7示出了本实施方式的TIMD预测部31047的构成。TIMD预测部31047由参照样本导出部4701、模板导出部4702、帧内预测图像导出部4703、帧内预测模式候选导出部4711、模板预测图像生成部4712、模板成本导出部4713以及帧内预测模式选择部4714构成。需要说明的是，可以将帧内预测模式候选导出部4711、模板预测图像生成部4712、模板成本导出部4713统称为模板帧内预测模式导出装置4710。

帧内预测模式候选导出部4711根据对象块的邻接块的帧内预测模式导出帧内预测模式候选的列表timdModeList[]。例如可以将MPM列表candModeList[]用作timdModeList。

timdModeList[i]＝candModeList[i](i＝0..candModeList的要素数-1)

模板导出部4702导出对象块的模板图像tempSamples。如图6所示，可以从与对象块邻接的1像素宽度的L字型的模板区域RT导出。

tempSamples[x+i][y+j]＝recSamples[xC+i][yC+j](i＝-1..bW-1,j＝-1)，(i＝-1,j＝-1..bH-1)

将用于tempSamples导出的recSamples上的区域称为模板区域RT，并通过坐标(i,j)的集合来表示。就是说，RT＝{{i＝-1..bW-1,j＝-1}，{i＝-1,j＝-1..bH-1}}。此外，也可以不使用tempSamples，而是将与模板区域对应的解码图像的排列recSamples用作模板图像(在该情况下，将tempSamples所在的区域称为模板区域)。

或者，模板区域也可以是与对象块邻接的2像素宽度的L字型的区域。

tempSamples[x+i][y+j]＝recSamples[xC+i][yC+j](i＝-2..bW-1,j＝-2..-1)，(i＝-2..-1,j＝-2..bH-1)

参照样本导出部4701从模板参照区域RTRS导出参照样本refUnit。需要说明的是，也可以是由参照样本滤波部3103进行参照样本导出部4701的动作的构成。

refUnit[x][y]＝recSamples[xNbCmp+x][yNbComp+y]

在此，xNbCmp＝xC，yNbCmp＝yC，取x＝-1-refIdxW、y＝-1-refIdxH..refH-1以及x＝-1-refIdxW..refW-1、y＝-1-refIdxH的范围。在此，refIdxW、refIdxH是模板参照区域距离对象块边界的距离。可以设为refIdxW＝refIdxH＝2or 4，也可以根据块尺寸来变更。

refIdxW＝refIdxH＝(bW>＝8)&&(bH>＝8)？4:2

在此，refW＝bW*2，refH＝bH*2。

而且，可以对参照样本refUnit[x][y]执行滤波，导出参照样本p[x][y]。

模板预测图像生成部4712根据模板参照区域生成帧内预测模式IntraPredMode的预测图像(模板预测图像)。预测部3104也可以代替模板预测图像生成部4712进行预测图像生成。例如，平面预测部31041、DC预测部31042、角度预测部31043可以进行模板预测图像的生成和对象块的预测图像的生成这两方。

具体而言，针对timdModeList[i]中包括的各帧内模式intraPredMode中的每一个(tIntraPredMode＝timdModeList[i])，根据参照样本refUnit[x][y]或者滤波后的参照样本p[x][y]生成一维参照像素排列ref[]。然后，将tIntraPredMode和ref[]传输至帧内预测图像导出部4703。帧内预测图像导出部4703生成与tIntraPredMode对应的模板预测图像tpredSamples[][]，输出至模板预测图像生成部4712。

模板预测图像生成部4712例如以以下的(算式TIMD-ANGULAR-REF)方式生成ref[]。以下，根据p[][]生成tpredSamples[][]，但也可以使用refUnit[][]来代替p[][]。(算式TIMD-ANGULAR-REF)

在tIntraPredMode>＝DIR的情况下

ref[x]＝p[-1-refIdx+x][-1-refIdx]，(x＝0..bW+refIdx+1)

在除此以外的情况下(tIntraPredMode<DIR)

ref[x]＝p[-1-refIdx][-1-refIdx+x]，(x＝0..bH+refIdx+1)

DIR为规定的常数，例如DIR＝34、66等。在此，refIdx是距离对象块的距离。在模板区域的情况下，refIdx＝0(或1)，在用于模板区域的预测的模板参照区域的情况下，使用refIdx>0(例如，refIdx＝2、4等)。refIdx可以通过块尺寸来变更。

refIdx＝(bW>＝8)&&(bH>＝8)4:2

模板预测图像生成部4712(帧内预测图像导出部4703)例如以以下的(算式TIMD-ANGULAR-PRED)方式生成与tIntraPredMode对应的模板预测图像tpredSamples[][]。

(算式TIMD-ANGULAR-PRED)

在tIntraPredMode>＝DIR的情况下

iIdx＝(((y+1+refIdx)*intraPredAngle)>>5)+refIdx

iFact＝((y+1+refIdx)*intraPredAngle)&31

tpredSamples[x][y]＝Clip1((Σ(filt[i]*ref[x+iIdx+i])+32)>>6)

在除此以外的情况下(tIntraPredMode<DIR)

iIdx＝(((x+1+refIdx)*intraPredAngle)>>5)+refIdx

iFact＝((x+1+refIdx)*intraPredAngle)&31

tpredSamples[x][y]＝Clip1((Σ(filt[i]*ref[y+iIdx+i])+32)>>6)

x＝-1..bW-1，y＝-1以及x＝-1，y＝-1..bH-1。

在此，Σ是i＝0..MTAP-1为止的总和，fT是模板预测图像用的插补滤波系数。用于模板预测图像的导出的插补滤波的抽头数MTAP例如是4。

intraPredAngle是各帧内预测模式的角度参数。

filt可以以如下方式从iFast导出。filtG[phase][j]是用于生成模板预测图像的插补滤波的系数。

filt[j]＝filtG[iFact][j]

模板成本导出部4713根据各帧内预测模式候选的模板预测图像tpredSamples与对象块的模板图像tempSamples的差分导出帧内预测模式候选的成本tempCost。成本可以是SAD(Sum of Absolute Difference)。

tempCost＝Σabs(tpredSamples[i][j]–tempSamples[i][j])

(i,j)例如为(i＝-1..bW-1,j＝-1)，(i＝-1,j＝-1..bH-1))

或者，成本也可以是SATD(Sum of Absolute Transformed Difference)。

帧内预测模式选择部4714将与tempCost的最小值对应的帧内预测模式作为TIMD帧内预测模式IntraPredMode导出。

帧内预测图像导出部4703导出通过上述导出的与IntraPredMode对应的帧内预测图像predSamples[][]。需要说明的是，可以通过预测部3104导出。

(算式INTRA-ANGULAR-PRED)

在IntraPredMode>＝DIR的情况下

ref[x]＝p[-1-refIdx+x][-1-refIdx]，(x＝0..bW+refIdx+1)

在除此以外的情况下(IntraPredMode<DIR)

ref[x]＝p[-1-refIdx][-1-refIdx+x]，(x＝0..bH+refIdx+1)

if(intraPredMode>＝DIR){

iIdx＝(((y+1)*intraPredAngle)>>5)

iFact＝((y+1)*intraPredAngle)&31

predSamples[x][y]＝Clip1((Σ(fT[i]*ref[x+iIdx+i])+32)>>6)

}else{/*intraPredMode<DIR*/

iIdx＝(((x+1)*intraPredAngle)>>5)

iFact＝((x+1)*intraPredAngle)&31

predSamples[x][y]＝Clip1((Σ(fT[i]*ref[y+iIdx+i])+32)>>6)

}

在此，Σ是i＝0..NTAP-1为止的和，fT是帧内预测图像用的插补滤波系数。用于帧内预测图像的导出的插补滤波的抽头数NTAP例如是6。

fT可以以如下方式从iFast导出。fG[phase][j]是用于生成帧内预测图像的插补滤波的系数。

fT[j]＝fG[iFact][j]

此外，如下所述，帧内预测图像导出部4703可以根据差分minDistVerHor和规定的阈值THRES从fG和fC选择滤波器系数。minDistVerHor是水平方向、垂直方向与IntraPredMode的差分。

fT[j]＝minDistVerHor>THRES:fG[iFact][j]:fC[iFact][j]

fC[phase][j]可以是在系数中包括负值的高频分量的保存良好的滤波器，fG可以是在系数中不包括负值的低通效果好的滤波器。fC的示例为cubic convolution，fG的示例为gauss函数，但并不限于此。就是说，可以是满足min(fC[phase][j])<min(fG[phase][j])的fC、fG。而且，可以是min(fC[phase][j])>min(fG[phase][j])。此外，在phase＝0的位置，fC的系数除了一个系数以外都可以为0，fG的系数中的两个以上系数可以是0以外的值。例如，可以是以下。

fC[][0]＝{0,0,64,0,0,0}

fG[][0]＝{0,16,32,16,0,0}

(块尺寸的其他模板参照区域)

此外，作为其他构成，可以在水平方向、垂直方向的每一个上改变参照样本导出部4701的模板参照区域RTRS以及模板预测图像生成部4712的ref到对象块的距离refIdxW、refIdxH。

refIdxW＝(bW>＝8)？4:2

refIdxH＝(bH>＝8)？4:2

(算式TIMD-ANGULAR-PRED)

在tIntraPredMode>＝DIR的情况下

ref[x]＝p[-1-refIdxW+x][-1-refIdxH]，(x＝0..bW+refIdxW+1)

在除此以外的情况下(tIntraPredMode<DIR)

ref[x]＝p[-1-refIdxW][-1-refIdxH+x]，(x＝0..bH+refIdxH+1)

模板预测图像生成部4712

在tIntraPredMode>＝DIR的情况下

iIdx＝(((y+1+refIdxH)*intraPredAngle)>>5)+refIdxH

iFact＝((y+1+refIdxH)*intraPredAngle)&31

tpredSamples[x][y]＝Clip1((Σ(filt[i]*ref[x+iIdx+i])+32)>>6)

在除此以外的情况下(tIntraPredMode<DIR)

iIdx＝(((x+1+refIdxW)*intraPredAngle)>>5)+refIdxW

iFact＝((x+1+refIdxW)*intraPredAngle)&31

tpredSamples[x][y]＝Clip1((Σ(filt[i]*ref[y+iIdx+i])+32)>>6)

x＝-1..bW-1，y＝-1以及x＝-1，y＝-1..bH-1。

根据上述构成，按照对象块的尺寸使由模板预测图像参照的区域可变，因此，实现模板预测图像的精度提高，TIMD帧内预测图像的精度提高的效果。

(变更抽头数的实施例的总结)

图10是表示TIMD预测的帧内预测模式搜索时和帧内预测图像生成时的滤波器抽头数的切换的图。帧内预测图像导出部4703由MTAPS滤波器47031、NTAPS滤波器47033、存储器47032构成。

在模板预测图像生成部4712导出模板预测图像的情况下，帧内预测图像导出部4703的MTAPS滤波器47031参照tIntraPredMode和存储于存储器47032的参照样本p[][]，根据(算式TIMD-ANGULAR-PRED)导出模板预测图像tpredSamples[][]。tIntraPredMode是从模板预测图像生成部4712输入的帧内预测模式候选。

在TIMD预测部31047导出帧内预测图像的情况下，帧内预测图像导出部4703的NTAPS滤波器47033参照由帧内预测模式选择部4714选择出的IntraPredMode和存储于存储器47032的参照样本p[][]，根据(算式INTRA-ANGULAR-PRED)生成帧内预测图像predSamples[][]。然后，将predSamples[][]作为对象块的帧内预测图像输出。

如上所述，模板预测图像生成部4712(预测部3104、帧内预测图像导出部4703)在生成上述模板预测图像的情况下，使用i＝0..MTAP-1的ref[i]与滤波器系数filt的积和来生成预测图像。即参照MTAP个参照样本p(refUnit)。此外，TIMD预测部31047(预测部3104、帧内预测图像导出部4703)在生成对象块的预测图像的情况下，使用i＝0..NTAP-1的ref[i]与滤波器系数fT的积和来生成预测图像。即参照NTAP个参照样本p(refUnit)。在本实施方式中，对用于模板预测图像的生成的滤波器和用于对象块的预测图像生成的滤波器进行切换。然后，用于模板预测图像的生成的滤波器的抽头数MTAP可以设定为小于用于对象块的预测图像生成的滤波器的抽头数NTAPS。例如，可以是{MTAP＝2,NTAP＝4}、{MTAP＝2,NTAP＝6}、{MTAP＝4,NTAP＝6}、{MTAP＝2,NTAP＝8}、{MTAP＝4,NTAP＝8}中的任一者。

此外，在模板预测图像生成部4712中，根据tIntraPredMode使用规定的滤波器系数filt[][]而不切换滤波器。然后，在TIMD预测部31047的对象块的预测图像的生成中，设为根据IntraPredMode切换fG[][]和fC[][]的构成。由此，实现削减使用固定的滤波器的模板预测图像的生成的处理量。

根据上述构成，在使用多个帧内预测候选，针对对象块反复进行模板预测图像(帧内预测图像)的导出的TIMD预测中，实现削减模板图像的预测图像导出的处理量的效果。

<TIMD预测的构成的总结>

解码器具备：参数解码部302，从编码数据解码基于模板的帧内预测标志，该基于模板的帧内预测标志表示是否通过使用邻接区域的像素来导出帧内预测模式编号生成预测图像；参照样本导出部4701，使用对象块附近的模板参照区域的图像来导出参照样本；模板预测图像生成部4712，使用上述参照样本来生成针对规定的帧内预测模式候选的模板预测图像；模板成本导出部4713，根据上述模板预测图像和作为对象块的附近的图像的模板图像导出成本；以及帧内预测模式选择部4714，基于上述成本来选择帧内预测模式(TIMD帧内预测模式)，在上述基于模板的帧内预测标志为规定值的情况下，使用上述TIMD帧内预测模式来生成对象块的预测图像。

<其他构成例1>

图9是表示通过在模板区域和模板参照样本区域的导出中限制比特深度来实现基于模板的帧内模式导出的TIMD预测部31047的构成的图。本构成例的TIMD预测部31047在上述的构成中具备位移位导出部4704。

位移位导出部4704根据图像的比特深度bitDepth导出移位值bitShift。例如，在bitDepth大于规定的比特深度TIMD_DEPTH的情况下，将bitShift设为1以上，除此以外，将bitShift设为0。

bitShift＝max(bitDepth–TIMD_DEPTH,0)

在此，TIMD_DEPTH为规定值，例如为10。

模板导出部4702a可以根据图像的比特深度bitDepth导出对象块的模板图像。例如，在bitDepth大于规定的比特深度TIMD_DEPTH的情况下，可以使用由上述的bitShift得到的右移位从模板区域的图像recSamples中导出模板图像tempSamples。

tempSamples[x+i][y+j]＝(recSamples[xC-1+i][yC-1+j]+bitOffset)>>bitShift(i＝0..bW,j＝0)，(i＝0,j＝0..bH)

bitOffset＝(bitShift>0)？1<<(bitShift-1):0

需要说明的是，也可以设为bitOffset＝(1<<bitShift)>>1，得到相同的值。

参照样本导出部4701a在图像的比特深度大于规定的比特深度TIMD_DEPTH的情况下，可以使用由上述的bitShift得到的右移位从模板参照区域的图像recSamples中导出参照样本refUnit。

refUnit[x][y]＝(recSamples[xNbCmp+x][yNbComp+y]+bitOffset)>>bitShift

在此，xNbCmp＝xC，yNbCmp＝yC，取x＝-1-refIdxW、y＝-1-refIdxH..refH-1以及x＝-1-refIdxW..refW-1、y＝-1-refIdxH的范围。

需要说明的是，也可以将(算式TIMD-ANGULAR-REF)设为如下方式，不通过参照样本导出部4701a，而是通过模板图像导出部(帧内预测图像部4703)来进行移位运算。

在tIntraPredMode(IntraPredMode)>＝DIR的情况下

ref[x]＝(p[-1-refIdx+x][-1-refIdx]+bitOffet)>>bitShift，(x＝0..bW+refIdx+1)

在除此以外的情况下(tIntraPredMode<DIR)

ref[x]＝(p[-1-refIdx][-1-refIdx+x]+bitOffet)>>bitShift，(x＝0..bH+refIdx+1)

如已说明的那样，p(或refUnit)用于生成模板预测图像tpredSamples。在使用TIMD预测的情况下，通过预先限制p(或refUnit)的比特深度(以及对应的值域)，容易导出模板预测图像tpredSamples。此外，tempSamples的区间也通过相同的位移位量bitShif来限制比特深度(以及对应的值域)，因此tempCost的导出也在规定的值域中被简化。

如上所述，参照样本导出部4701通过根据图像的比特深度针对对象块附近的模板参照区域的图像向右移位，导出上述参照样本。此外，上述成本导出部也可以通过根据图像的比特深度针对对象块附近的图像使像素值向右移位，导出上述模板图像。由此，也能以固定的比特深度来对比特深度比规定的比特深度大的图像进行处理，因此起到降低处理量的效果。

加法部312按每个像素将从预测图像生成部308输入的块的预测图像和从逆量化/逆转换部311输入的预测误差相加，生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306，再输出至环路滤波器305。

(运动图像编码装置的构成)

接着，对本实施方式的运动图像编码装置11的构成进行说明。图11是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括：预测图像生成部101、减法部102、转换/量化部103、逆量化/逆转换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111、预测参数导出部120以及熵编码部104。

预测图像生成部101按每个将图像T的各图片分割而成的区域即CU生成预测图像。预测图像生成部101包括帧内预测图像生成部310。预测图像生成部101进行与已说明的预测图像生成部308相同的动作，在此省略其说明。

减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值，生成预测误差。减法部102将预测误差输出至转换/量化部103。

转换/量化部103对从减法部102输入的预测误差，通过频率转换计算出转换系数，并通过量化导出量化转换系数。转换/量化部103将量化转换系数输出至参数编码部111和逆量化/逆转换部105。

逆量化/逆转换部105与运动图像解码装置31中的逆量化/逆转换部311(图4)相同，并省略其说明。计算出的预测误差输出至加法部106。

参数编码部111具备报头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)。CU编码部1112还具备TU编码部1114。以下，对各模块的概略动作进行说明。

报头编码部1110进行报头信息、分割信息、预测信息、量化转换系数等参数的编码处理。

CT信息编码部1111对QT、MT(BT、TT)分割信息等进行编码。

CU编码部1112对CU信息、预测信息、分割信息等进行编码。

TU编码部1114在TU中包括预测误差的情况下，对QP更新信息和量化预测误差进行编码。

CT信息编码部1111、CU编码部1112将帧间预测参数、帧内预测参数、量化转换系数等语法要素提供给参数编码部111。

熵编码部104被从参数编码部111输入量化转换系数和编码参数。熵编码部104对它们进行熵编码，生成并输出编码流Te。

预测参数导出部120是包括帧间预测参数编码部112、帧内预测参数编码部113的单元，根据从编码参数确定部110输入的参数来导出帧间预测参数和帧内预测参数。导出的帧间预测参数和帧内预测参数输出至参数编码部111。

(帧内预测参数编码部113的构成)

帧内预测参数编码部113对从编码参数确定部110输入的IntraPredMode等进行编码。帧内预测参数编码部113包括与由帧内预测参数导出部304导出帧内预测参数的构成部分相同的构成。

加法部106将从预测图像生成部101输入的预测块的像素值和从逆量化/逆转换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。

环路滤波器107对加法部106所生成的解码图像，实施去块滤波器、SAO、ALF。需要说明的是，环路滤波器107不一定包括上述三种滤波器，例如也可以是仅包括去块滤波器的构成。

预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和CU存储于预定的位置。

参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和CU存储于预定的位置。

编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的QT、BT或TT分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。

编码参数确定部110对多个集合的每一个集合计算出表示信息量的尺寸和编码误差的RD成本值。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此，熵编码部104将选择出的编码参数的集合作为编码流Te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。

需要说明的是，可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31的一部分、例如，熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆转换部311、加法部312、预测参数导出部320、预测图像生成部101、减法部102、转换/量化部103、熵编码部104、逆量化/逆转换部105、环路滤波器107、编码参数确定部110、参数编码部111以及预测参数导出部120。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一者的计算机系统，采用包括OS、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读取的记录介质”可以包括：像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样在短时间内、动态地保存程序的介质；像作为此情况下的服务器、客户端的计算机系统内部的易失性存储器那样在固定时间内保存程序的介质。此外，上述程序可以是用于实现上述功能的一部分的程序，而且也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。

此外，也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路来实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法并不限于LSI，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。

以上，参照附图对该发明的一个实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。

工业上的可利用性

本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的运动图像解码装置，以及生成将图像数据编码而得到的编码数据的运动图像编码装置。此外，能优选地应用于由运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据结构。

附图标记说明

31图像解码装置

301熵解码部

302参数解码部

303帧间预测参数导出部

304帧内预测参数导出部

308预测图像生成部

309帧间预测图像生成部

310帧内预测图像生成部

31047TIMD预测部

4701参照样本导出部

4702模板导出部

4703帧内预测图像导出部

47031MTAPS滤波器

47032存储器

47033NTAPS滤波器

4704位移位导出部

4711帧内预测模式候选导出部

4712模板预测图像生成部

4713模板成本导出部

4714帧内预测模式选择部

311逆量化/逆转换部

312加法部

320预测参数导出部

11图像编码装置

101预测图像生成部

102减法部

103转换/量化部

104熵编码部

105逆量化/逆转换部

107环路滤波器

110编码参数确定部

111参数编码部

112帧间预测参数编码部

113帧内预测参数编码部

1110报头编码部

1111CT信息编码部

1112CU编码部(预测模式编码部)

1114TU编码部

120预测参数导出部

Claims (6)

1.一种图像解码装置，其特征在于，具备：

参数解码部，从编码数据解码基于模板的帧内预测标志；

参照样本导出部，使用对象块附近的模板参照区域的图像来导出参照样本；

帧内预测图像生成部，使用上述参照样本来生成针对规定的帧内预测模式候选的模板预测图像；

模板成本导出部，根据上述模板预测图像和作为对象块的附近的图像的模板图像导出成本；以及

帧内预测模式选择部，基于上述成本来选择对象块的基于模板的帧内模式，

在上述预测标志为规定值的情况下，使用上述基于模板的帧内模式来生成对象块的预测图像。

2.根据权利要求1所述的图像解码装置，其特征在于，

上述参照样本导出部通过根据图像的比特深度使对象块附近的模板参照区域的像素值向右移位，来导出上述参照样本的像素值，上述成本导出部通过根据图像的比特深度使对象块的周围的像素值向右移位，来导出上述模板图像的像素值。

3.根据权利要求1所述的图像解码装置，其特征在于，

上述帧内预测图像生成部在生成上述模板预测图像的情况下，参照MTAP个参照样本，在生成对象块的预测图像的情况下，参照NTAP个参照样本，MTAP小于NTAP。

4.一种图像编码装置，其特征在于，具备：

参照样本导出部，使用对象块附近的模板参照区域的图像来导出参照样本；

帧内预测图像生成部，使用上述参照样本来生成针对规定的帧内预测模式候选的模板预测图像；

模板成本导出部，根据上述模板预测图像和作为对象块的附近的图像的模板图像导出成本；

帧内预测模式选择部，基于上述成本来选择对象块的基于模板的帧内模式；以及

参数编码部，根据上述基于模板的帧内模式对基于模板的帧内预测标志进行编码，

在上述预测标志为规定值的情况下，使用上述基于模板的帧内模式来生成对象块的预测图像。

5.根据权利要求4所述的图像编码装置，其特征在于，

上述参照样本导出部通过根据图像的比特深度使对象块附近的模板参照区域的像素值向右移位，来导出上述参照样本的像素值，上述成本导出部通过根据图像的比特深度使对象块的周围的像素值向右移位，来导出上述模板图像的像素值。

6.根据权利要求4所述的图像编码装置，其特征在于，

上述帧内预测图像生成部在生成上述模板预测图像的情况下，参照MTAP个参照样本，在生成对象块的预测图像的情况下，参照NTAP个参照样本，MTAP小于NTAP。