CN111373751A - 图像滤波装置、图像解码装置以及图像编码装置 - Google Patents

Abstract

本发明对输入图像数据应用与图像特性对应的滤波器。本发明在CNN滤波器(107)具备神经网络，该神经网络被输入将亮度或色差作为像素值的一个或多个第一种输入图像数据，以及将与用于生成预测图像和差分图像的参考参数对应的值作为像素值的一个或多个第二种输入图像数据，输出将亮度或色差作为像素值的一个或多个第一种输出图像数据。

Description

图像滤波装置、图像解码装置以及图像编码装置

技术领域

本发明的一个方案涉及一种图像滤波装置、图像解码装置以及图像编码装置。

背景技术

为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置，以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。

作为具体的运动图像编码方式，例如可列举出在H.264/AVC、HEVC(High-Efficiency Video Coding：高效运动图像编码)中提出的方式等。

在这种运动图像编码方式中，构成运动图像的图像(图片)由包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU：Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit：CU))以及通过分割编码单位而得到的块即由预测单元(PU)、变换单元(TU)组成的分级结构来管理，并按每个CU进行编码/解码。

此外，在这种运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测残差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举画面间预测(帧间预测)以及画面内预测(帧内预测)。

此外，作为近年来的运动图像编码和解码的技术，可列举非专利文献1。

此外，作为称为Variable-filter-size Residue-learning CNN(VRCNN)的使用神经网络的技术，可列举非专利文献2。

现有技术文献

非专利文献

非专利文献1：“Algorithm Description of Joint Exploration Test Model6”，JVET-F1001，Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，31 March-7 April 2017

非专利文献2：“A Convolutional Neural Network Approach forPost-Processingin HEVC Intra Coding”

发明内容

发明要解决的问题

然而，使用了上述神经网络的滤波技术仅根据量化参数切换整个网络，存在应用与输入图像数据的特性对应的滤波器的情况下网络规模变大这一问题。此外，存在无法应用适合每个区域的编码的滤波器这一问题。

本发明是鉴于上述问题而完成的，其目的在于，实现与以往的构成相比，对于输入图像数据抑制其网络规模的同时实现与图像特性对应的滤波器的应用。

技术方案

为了解决上述的问题，本发明的图像滤波装置具备神经网络，该神经网络被输入一个或多个第一种输入图像数据以及一个或多个第二种输入图像数据，输出一个或多个第一种输出图像数据，所述一个或多个第一种输入图像数据将亮度或色差作为像素值，所述一个或多个第二种输入图像数据将与用于生成预测图像和差分图像的参考参数对应的值作为像素值，所述一个或多个第一种输出图像数据将亮度或色差作为像素值。

为了解决上述的问题，本发明的图像滤波装置具备：多个专用神经网络；以及公共神经网络，上述专用神经网络根据向该图像滤波装置输入的输入图像数据的滤波参数值选择性地作用于该输入图像数据，上述公共神经网络与上述滤波参数值无关地共同作用于上述专用神经网络的输出图像数据。

为了解决上述的问题，本发明的图像滤波装置具备：多个专用神经网络；以及公共神经网络，上述公共神经网络作用于向该图像滤波装置输入的输入图像数据，上述专用神经网络根据上述输入图像数据的滤波参数值选择性地作用于上述公共神经网络的输出图像数据。

有益效果

与以往的构成相比，能对输入图像数据应用与图像特性对应的滤波器。

附图说明

图1是表示本实施方式的编码流的数据的分级结构的图。

图2是表示PU分割模式的图案的图。图2的(a)～(h)分别示出了PU分割模式为2N×2N、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N以及N×N的情况下的分区形状。

图3是表示参考图片和参考图片列表的一个示例的概念图。

图4是表示第一实施方式的图像编码装置的构成的框图。

图5是表示第一实施方式的图像解码装置的构成的概略图。

图6是表示实施方式的图像编码装置的帧间预测图像生成部的构成的概略图。

图7是表示本实施方式的图像解码装置的帧间预测图像生成部的构成的概略图。

图8是表示第一实施方式的图像滤波装置的输入输出的一个示例的概念图。

图9是表示第一实施方式的图像滤波装置的构成的概略图。

图10是表示第一实施方式的图像滤波装置的构成的变形例的概略图。

图11是用于说明量化参数的一个示例的图。

图12是用于说明预测参数的一个示例的图。

图13是用于说明帧内预测的一个示例的图。

图14是用于说明帧内预测参数的一个示例的图。

图15是用于说明分割深度信息的一个示例的图。

图16是用于说明分割深度信息的另一个示例的图。

图17是用于说明预测参数的另一个示例的图。

图18是表示第二实施方式的图像滤波装置的构成的概略图。

图19是表示第三实施方式的图像滤波装置的一个示例的概念图。

图20是表示第三实施方式的图像滤波装置的构成的概略图。

图21是表示第三实施方式的图像滤波装置的构成的变形例的概略图。

图22是表示第四实施方式的图像滤波装置的一个示例的概念图。

图23是表示第四实施方式的图像滤波装置的一个示例的变形例的概念图。

图24是表示第五实施方式的图像滤波装置的一个示例的概念图。

图25是表示第六实施方式的图像滤波装置的变形例的概念图。

图26是表示第七实施方式的图像编码装置的构成的框图。

图27是表示本实施方式的图像滤波装置的构成的概略图。

图28是表示本实施方式的图像滤波装置的参数的更新的一个示例的概念图。

图29是表示传输参数的数据结构的图。

图30是表示第七实施方式的图像解码装置的构成的框图。

图31是表示搭载有本实施方式的图像编码装置的发送装置和搭载有图像解码装置的接收装置的构成的图。图31的(a)表示搭载有图像编码装置的发送装置，图31的(b)表示搭载有图像解码装置的接收装置。

图32是表示搭载有本实施方式的图像编码装置的记录装置和搭载有图像解码装置的再现装置的构成的图。图32的(a)表示搭载有图像编码装置的记录装置，图32的(b)表示搭载有图像解码装置的再现装置。

图33是表示本实施方式的图像传输系统的构成的概略图。

图34是表示第一实施方式的图像滤波装置的输入输出的另一个示例的概念图。

具体实施方式

(第一实施方式)

以下，参照附图对本发明的实施方式进行说明。

图33是表示本实施方式的图像传输系统1的构成的概略图。

图像传输系统1是传输对编码对象图像进行了编码而得到的代码，并对所传输的代码进行解码而显示图像的系统。图像传输系统1构成为包括：图像编码装置11、网络21、图像解码装置31以及图像显示装置41。

向图像编码装置11输入表示单层或者多层的图像的图像T。层是指在存在一个以上构成某一时间的图片的情况下用于区分多张图片的概念。例如，当将同一图片在画质、分辨率不同的多层进行编码时则成为可伸缩编码，当将不同视点的图片在多个层进行编码时则成为视点可伸缩编码。当在多个层的图片间进行预测(层间预测、视点间预测)的情况下，编码效率大幅提高。此外，即使在不进行预测的情况(同时联播)下，也能汇总编码数据。

网络21将图像编码装置11所生成的编码流Te传输至图像解码装置31。网络21是互联网(intemet)、广域网(WAN：Wide Area Network)、小型网络(LAN：Local Area Network，局域网)或这些的组合。网络21不一定限定于双向的通信网，也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用DVD(Digital Versatile Disc：数字通用光盘)、BD(Blue-ray Disc：蓝光光盘)等记录有编码流Te的存储介质代替。

图像解码装置31对网络21所传输的编码流Te分别进行解码，生成分别解码后的一个或多个解码图像Td。

图像显示装置41显示图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。此外，在空间可伸缩编码、SNR可伸缩编码中，在图像解码装置31、图像显示装置41具有高处理能力的情况下显示画质高的扩展层图像，在仅具有较低处理能力的情况下显示不需要扩展层那么高的处理能力、显示能力的基本层图像。

<运算符>

以下记述在本说明书中使用的运算符。

>>为向右位移，<<为向左位移，&为逐位AND，|为逐位OR，|＝为OR代入运算符)。

x？y：z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。

Clip3(a，b，c)是将c限幅于a以上b以下的值的函数，是在c＜a的情况下返回a、在c＞b的情况下返回b、在其他情况下返回c的函数(其中a＜＝b)。

<编码流Te的结构>

在对本实施方式的图像编码装置11和图像解码装置31进行详细说明之前，对由图像编码装置11生成并由图像解码装置31进行解码的编码流Te的数据结构进行说明。

图1是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列以及构成序列的多张图片。图1的(a)～(f)分别是表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元(Coding Unit：CU)的图。

(编码视频序列)

在编码视频序列中，规定有图像解码装置31为了对处理对象的序列SEQ进行解码而参考的数据的集合。序列SEQ如图1的(a)所示，包括视频参数集(Video Parameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture Parameter Set)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。在此，在#后示出的值表示层ID。在图1中示出存在#0和#1即层0和层1的编码数据的示例，但层的种类和层数并不取决于此。

视频参数集VPS在由多个层构成的运动图像中，规定有多个运动图像通用的编码参数的集合，以及运动图像中所包括的多个层和与各层关联的编码参数的集合。

在序列参数集SPS中，规定有图像解码装置31为了对对象序列进行解码而参考的编码参数的集合。例如，规定了图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，从PPS中选择多个SPS中的任一个。

在图片参数集PPS中，规定有图像解码装置31为了对对象序列内的各图片进行解码而参照的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)和指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，PPS可以存在多个。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个。

(编码图片)

在编码图片中，规定有图像解码装置31为了对处理对象的图片PICT进行解码而参考的数据的集合。图片PICT如图1的(b)所示，包括切片S0～S_NS-1(NS为图片PICT中所包括的切片的总数)。

需要说明的是，以下，在无需对各切片S0～S_NS-1进行区分的情况下，有时会省略代码的下标来进行记述。此外，以下所说明的编码流Te中所包括的且带有下标的其他数据也是同样的。

(编码切片)

在编码切片中，规定有图像解码装置31为了对处理对象的切片S进行解码而参考的数据的集合。切片S如图1的(c)所示，包括切片标头(slice header)SH和切片数据SDATA。

切片标头SH中包括图像解码装置31用于确定对象切片的解码方法而参考的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片标头SH中所包括的编码参数的一个示例。

作为能由切片类型指定信息指定的切片类型，可列举：(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片，以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。

需要说明的是，切片标头SH中也可以包括上述编码视频序列中所包括的对图片参数集PPS的参考(pic_parameter_set_id)。

(编码切片数据)

在编码切片数据中，规定有图像解码装置31为了对处理对象的切片数据SDATA进行解码而参考的数据的集合。切片数据SDATA如图1的(d)所示，包括编码树单元(CTU：Coding Tree Unit)。CTU是构成切片的固定大小(例如64×64)的块，有时也称为最大编码单位(LCU：Largest Coding Unit)。

(编码树单元)

如图1的(e)所示，规定有图像解码装置31为了对处理对象的编码树单元进行解码而参考的数据的集合。编码树单元通过递归的四叉树分割来进行分割。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(CN：Coding Node)。四叉树的中间节点为编码节点，编码树单元本身也被规定为最上层的编码节点。CTU包括分割标志(cu_split_flag)，在cu_split_flag为1的情况下，分割为四个编码节点CN。在cu_split_flag为0的情况下，编码节点CN具有一个编码单元(Coding Unit：CU)来作为节点而不被分割。编码单元CU是编码节点的末端节点，且不进行进一步分割。编码单元CU为编码处理的基本单位。

此外，在编码树单元CTU的大小为64×64像素的情况下，编码单元的大小可以取64×64像素、32×32像素、16×16像素以及8×8像素中的任一种。

(编码单元)

如图1的(f)所示，规定有图像解码装置31为了对处理对象的编码单元进行解码而参考的数据的集合。具体而言，编码单元包括预测树、变换树以及CU报头CUH。在CU报头中规定了预测模式、分割方法(PU分割模式)等。

在预测树中规定有将编码单元分割为一个或多个而得到的各预测单元(PU)的预测信息(参考图片索引、运动矢量等)。如果换为其他表述，则预测单元是构成编码单元的一个或多个不重复的区域。此外，预测树包括通过上述分割而得到的一个或多个预测单元。需要说明的是，以下将进一步分割预测单元而得到的预测单位称为“子块”。子块由多个像素构成。在预测单元与子块的大小相等的情况下，预测单元中的子块为一个。在预测单元的大小大于子块的大小的情况下，预测单元被分割为子块。例如在预测单元为8×8、子块为4×4的情况下，预测单元被分割为四个子块，包括水平分割的两部分和垂直分割的两部分。

预测处理可以按每个该预测单元(子块)进行。

预测树中的分割的种类大体来说有帧内预测的情况和帧间预测的情况这两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。

在帧内预测的情况下，分割方法有2N×2N(与编码单元相同大小)和N×N。

此外，在帧间预测的情况下，分割方法根据编码数据的PU分割模式(part_mode)来进行编码，有2N×2N(与编码单元相同大小)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N以及N×N等。需要说明的是，2N×N、N×2N表示1∶1的对称分割，2N×nU、2N×nD以及nL×2N、nR×2N表示1∶3、3∶1的非对称分割。将CU中所包括的PU依次表示为PU0、PU1、PU2、PU3。

图2的(a)～(h)中具体图示出各个PU分割模式中的分区的形状(PU分割的边界的位置)。图2的(a)表示2N×2N的分区，图2的(b)、(c)、(d)分别表示2N×N、2N×nU以及2N×nD的分区(横长分区)。图2的(e)、(f)、(g)分别表示N×2N、nL×2N、nR×2N的情况下的分区(纵长分区)，图2的(h)表示N×N的分区。需要说明的是，将横长分区和纵长分区统称为长方形分区，将2N×2N、N×N统称为正方形分区。

此外，在变换树中，编码单元被分割为一个或多个变换单元，并规定有各变换块的位置和大小。如果换为其他表述，则变换单元是构成编码单元的一个或多个不重复的区域。此外，变换树包括通过上述分割而得到的一个或多个变换单元。

变换树的分割中有将与编码单元相同的大小的区域分配为变换单元的分割和与上述CU的分割相同地通过递归的四叉树分割来进行的分割。

变换处理按每个该变换单元进行。

(预测参数)

预测单元(Prediction Unit：PU)的预测图像通过与PU关联的预测参数来导出。预测参数中有帧内预测的预测参数或者帧间预测的预测参数。以下，对帧间预测的预测参数(帧间预测参数)进行说明。帧间预测参数由预测列表利用标志predFlagL0、predFlagL1、参考图片索引refIdxL0、refIdxL1以及运动矢量mvL0、mvL1构成。预测列表利用标志predFlagL0、predFlagL1是表示是否使用各个被称为L0列表、L1列表的参考图片列表的标志，在值为1的情况下使用对应的参考图片列表。需要说明的是，在本说明书中记为“表示是否为××的标志”的情况下，将标志为0以外(例如1)设为是××的情况，将标志为0设为不是××的情况，在逻辑非、逻辑积等中将1视为真，将0视为假(以下同样)。但是，在实际的装置、方法中也可以使用其他值作为真值、假值。

用于导出编码数据中所包括的帧间预测参数的语法要素中，例如有PU分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX。

(参考图片列表)

参考图片列表是由存储于参考图片存储器306的参考图片构成的列表。图3是表示参考图片和参考图片列表的一个示例的概念图。在图3的(a)中，矩形表示图片，箭头表示图片的参考关系，横轴表示时间，矩形中的I、P、B分别表示帧内图片、单向预测图片、双向预测图片，矩形中的数字表示解码顺序。如图3的(a)所示，图片的解码顺序为I0、P1、B2、B3、B4，显示顺序为I0、B3、B2、B4、P1。在图3的(b)中示出参考图片列表的示例。参考图片列表是表示参考图片的候选的列表，一张图片(切片)可以具有一个以上的参考图片列表。在图3的(b)的示例中，对象图片B3具有L0列表RefPicList0和L1列表RefPicList1这两个参考图片列表。对象图片为B3的情况下的参考图片为I0、P1、B2，参考图片具有这些图片来作为要素。在各预测单元中，由参考图片索引refIdxLX指定实际上以参考图片列表RefPicListX中的哪一张图片来进行参考。在图3的(b)中示出根据refIdxL0和refIdxL1参考参考图片P1和B2的示例。

(合并预测和AMVP预测)

预测参数的解码(编码)方法中有合并预测(merge)模式和AMVP(Adaptive MotionVector Prediction：自适应运动矢量预测)模式，合并标志merge_flag是用于识别它们的标志。合并预测模式是不将预测列表利用标志predFlagLX(或帧间预测标识符inter_pred_idc)、参考图片索引refIdxLX、运动矢量mvLX包括于编码数据而从已处理的附近PU的预测参数中导出的使用模式，AMVP模式是在编码数据中包括帧间预测标识符inter_pred_idc、参考图片索引refIdxLX、运动矢量mvLX的模式。需要说明的是，运动矢量mvLX被编码为识别预测矢量mvpLX的预测矢量索引mvp_LX_idx和差分矢量mvdLX。

帧间预测标识符inter_pred_idc是表示参照图片的种类和数量的值，取PRED_L0、PRED_L1、PRED_BI中的任一值。PRED_L0、PRED_L1表示使用分别在L0列表、L1列表的参考图片列表中进行管理的参考图片，表示使用一张参考图片(单向预测)。PRED_BI表示使用两张参考图片(双向预测BiPred)，使用在L0列表和L1列表中进行管理的参考图片。预测矢量索引mvp_LX_idx是表示预测矢量的索引，参考图片索引refIdxLX是表示在参考图片列表中进行管理的参考图片的索引。需要说明的是，LX是在不对L0预测和L1预测进行区分的情况下使用的记述方法，通过将LX替换为L0、L1对针对L0列表的参数和针对L1列表的参数进行区分。

合并索引merge_idx是表示是否使用从已完成处理的PU导出的预测参数候选(合并候选)中的任一个预测参数作为解码对象PU的预测参数的索引。

(运动矢量)

运动矢量mvLX表示不同的两张图片上的块间的偏移量。将与运动矢量mvLX有关的预测矢量、差分矢量分别称为预测矢量mvpLX、差分矢量mvdLX。

(帧间预测标识符inter_pred_idc和预测列表利用标志predFlagLX)

帧间预测标识符inter_pred_idc与预测列表利用标志predFlagL0、predFlagL1的关系能如下进行相互变换。

inter_pred_idc＝(predFlagL1＜＜1)+predFlagL0

predFlagL0＝inter_pred_idc&1

predFlagL1＝inter_pred_idc>>1

需要说明的是，帧间预测参数可以使用预测列表利用标志，也可以使用帧间预测标识符。此外，使用了预测列表利用标志的判定可以替换为使用了帧间预测标识符的判定。反之，使用了帧间预测标识符的判定也可以替换为使用了预测列表利用标志的判定。

(双向预测biPred的判定)

是否为双向预测BiPred的标志biPred能根据两个预测列表利用标志是否均为1而导出。例如能通过以下算式导出。

biPred＝(predFlagL0＝＝1&&predFlagL1＝＝1)

标志biPred也能根据帧间预测标识符是否是表示使用两个预测列表(参考图片)的值而导出。例如能通过以下算式导出。

biPred＝(inter_pred_idc＝＝PRED_BI)？1：0

上述算式也能通过以下算式来表示。

biPred＝(inter_pred_idc＝＝PRED_BI)

需要说明的是，PRED_BI可以使用例如3的值。

(图像解码装置的构成)

接着，对本实施方式的图像解码装置31的构成进行说明。图5是表示本实施方式的图像解码装置31的构成的概略图。图像解码装置31构成为包括：熵解码部301、预测参数解码部(预测图像解码装置)302、CNN(Convolutional Neural Network、卷积神经网络)滤波器305、参考图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312。

此外，预测参数解码部302构成为包括帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。

熵解码部301对从外部输入的编码流Te进行熵解码，分离各个代码(语法要素)并进行解码。在分离后的代码中存在用于生成预测图像的预测信息和用于生成差分图像的残差信息等。

熵解码部301将分离后的代码的一部分输出至预测参数解码部302。分离后的代码的一部分例如是量化参数(QP)、预测模式predMode、PU分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX。基于预测参数解码部302的指示来进行对哪一个代码进行解码的控制。熵解码部301将量化系数输出至逆量化/逆变换部311。该量化系数是在编码处理中对残差信号进行DCT(Discrete Cosine Transform，离散余弦变换)、DST(Discrete Sine Transform，离散正弦变换)、KLT(Karyhnen LoeveTransform，卡胡南列夫变换)等频率变换并量化而得到的系数。

此外，熵解码部301将分离后的代码的一部分输出至后述的CNN滤波器305。分离后的代码的一部分是指例如量化参数(QP)、预测参数、深度信息(分割信息)。

帧间预测参数解码部303基于从熵解码部301输入的代码，参考存储于预测参数存储器307的预测参数来对帧间预测参数进行解码。

帧间预测参数解码部303将解码后的帧间预测参数输出至预测图像生成部308，此外，存储于预测参数存储器307。

帧内预测参数解码部304基于从熵解码部301输入的代码，参考存储于预测参数存储器307的预测参数来对帧内预测参数进行解码。帧内预测参数是指在一张图片内对CU进行预测的处理中所使用的参数，例如，帧内预测模式IntraPredMode。帧内预测参数解码部304将解码后的帧内预测参数输出至预测图像生成部308，此外，存储于预测参数存储器307。

帧内预测参数解码部304也可以导出在亮度和色差上不同的帧内预测模式。在该情况下，帧内预测参数解码部304将亮度预测模式IntraPredModeY解码为亮度的预测参数，将色差预测模式IntraPredModeC解码为色差的预测参数。亮度预测模式IntraPredModeY为35个模式，平面预测(0)、DC预测(1)、方向预测(2～34)与其对应。色差预测模式IntraPredModeC使用平面预测(0)、DC预测(1)、方向预测(2～34)、LM模式(35)中的任一种。帧内预测参数解码部304也可以对表示IntraPredModeC是否是与亮度模式相同的模式的标志进行解码，如果标志指示是与亮度模式相同的模式，则将IntraPredModeY分配至IntraPredModeC，如果标志指示是与亮度模式不同的模式，则将平面预测(0)、DC预测(1)、方向预测(2～34)、LM模式(35)解码作为IntraPredModeC。

CNN滤波器305从熵解码部301获取量化参数和预测参数，将加法部312所生成的CU的解码图像作为输入图像(滤波前图像)，对滤波前图像实施处理，并输出输出图像(滤波后图像)。CNN滤波器305具有与后述的图像编码装置11所具备的CNN滤波器107相同的功能。

参考图片存储器306按每个编码对象的图片和CU将加法部312所生成的CU解码图像存储于预定的位置。

预测参数存储器307将预测参数按每个解码对象的图片和预测单元(或子块、固定大小块、像素)存储于预定的位置。具体而言，预测参数存储器307存储由帧间预测参数解码部303解码后的帧间预测参数、由帧内预测参数解码部304解码后的帧内预测参数以及由熵解码部301分离后的预测模式predMode。在所存储的帧间预测参数中，例如有预测列表利用标志predFlagLX(帧间预测标识符inter_pred_idc)、参考图片索引refidxLX以及运动矢量mvLX。

预测图像生成部308被输入从熵解码部301输入的预测模式predMode，此外，预测参数解码部302被输入预测参数。此外，预测图像生成部308从参考图片存储器306中读出参考图片。预测图像生成部308在预测模式predMode所指示的预测模式下，使用被输入的预测参数和读出的参考图片(参考图片块)来生成PU或子块的预测图像。

在此，在预测模式predMode指示帧间预测模式的情况下，帧间预测图像生成部309使用从帧间预测参数解码部303输入的帧间预测参数和读出的参考图片(参考图片块)，通过帧间预测来生成PU或子块的预测图像。

帧间预测图像生成部309对预测列表利用标志predFlagLX为1的参考图片列表(L0列表或者L1列表)，根据参考图片索引refIdxLX所指示的参考图片，从参考图片存储器306中读出参考图片块，所述参考图片块位于以解码对象PU为基准的运动矢量mvLX所示的位置。帧间预测图像生成部309以读出的参考图片块为基础进行预测，生成PU的预测图像。帧间预测图像生成部309将生成的PU的预测图像输出至加法部312。在此，参考图片块是指参考图片上的像素的集合(通常为矩形因此称为块)，是为了生成PU或子块的预测图像而参考的区域。

在预测模式predMode指示帧内预测模式的情况下，帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和读出的参考图片来进行帧内预测。具体而言，帧内预测图像生成部310从参考图片存储器306中读出作为解码对象的图片的在已解码的PU中位于距离解码对象PU预定的范围的邻接PU。预定的范围是指在解码对象PU以所谓的光栅扫描的顺序依次移动的情况下，例如为左、左上、上、右上的邻接PU中的任一个，根据帧内预测模式而不同。光栅扫描的顺序是在各图片中针对从上端至下端各行依次从左端移动至右端的顺序。

帧内预测图像生成部310基于读出的邻接PU在帧内预测模式IntraPredMode所指示的预测模式下进行预测，并生成PU的预测图像。帧内预测图像生成部310将生成的PU的预测图像输出至加法部312。

在帧内预测参数解码部304中，在导出亮度和色差上不同的帧内预测模式的情况下，帧内预测图像生成部310根据亮度预测模式IntraPredModeY，通过平面预测(0)、DC预测(1)、方向预测(2～34)中的任一种来生成亮度的PU的预测图像，并根据色差预测模式IntraPredModeC，通过平面预测(0)、DC预测(1)、方向预测(2～34)、LM模式(35)中的任一中来生成色差的PU的预测图像。

逆量化/逆变换部311将从熵解码部301输入的量化系数逆量化来求出变换系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST、逆KLT等逆频率变换，计算残差信号。逆量化/逆变换部311将计算出的残差信号输出至加法部312。

加法部312将从帧间预测图像生成部309或帧内预测图像生成部310输入的PU的预测图像和从逆量化/逆变换部311输入的残差信号与每个像素相加，生成PU的解码图像。加法部312将生成的PU的解码图像存储于参考图片存储器306，并向外部输出解码图像Td，该解码图像Td将生成的PU的解码图像按每张图片整合而得到。

(帧间预测图像生成部309)

图7是表示本实施方式的预测图像生成部308中所包括的帧间预测图像生成部309的构成的概略图。帧间预测图像生成部309构成为包括运动补偿部(预测图像生成装置)3091和权重预测部3094。

(运动补偿)

运动补偿部3091基于从帧间预测参数解码部303输入的帧间预测参数(预测列表利用标志predFlagLX、参考图片索引refidxLX、运动矢量mvLX)，从参考图片存储器306中读出位于在由参考图片索引refIdxLX指定的参考图片RefX中以解码对象PU的位置为起点而偏移运动矢量mvLX的位置的块，由此生成插值图像(运动补偿图像predSamplesLX)。在此，在运动矢量mvLX的精度并非整数精度的情况下，实施称为运动补偿滤波的用于生成小数位置的像素的滤波，生成运动补偿图像。

(权重预测)

权重预测部3094通过将输入的运动补偿图像predSamplesLX与权重系数相乘，生成PU的预测图像。

(图像编码装置的构成)

接着，对本实施方式的图像编码装置11的构成进行说明。图4是表示本实施方式的图像编码装置11的构成的框图。图像编码装置11构成为包括：预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、加法部106、CNN(ConvolutionalNeural Network、卷积神经网络)滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参考图片存储器(参考图像存储部、帧存储器)109、编码参数确定部110以及预测参数编码部111。预测参数编码部111构成为包括帧间预测参数编码部112和帧内预测参数编码部113。

预测图像生成部101针对图像T的各图片，按每个将此图片分割而成的区域即编码单元CU生成预测单元PU的预测图像P。在此，预测图像生成部101基于从预测参数编码部111输入的预测参数而从参考图片存储器109中读出已解码的块。从预测参数编码部111输入的预测参数例如在帧间预测的情况下，是指运动矢量。预测图像生成部101以对象PU作为起点，读出运动矢量所示的位于参考图像上的位置的块。此外，在帧内预测的情况下，预测参数是指例如帧内预测模式。从参考图片存储器109中读出在帧内预测模式下使用的邻接PU的像素值，生成PU的预测图像P。预测图像生成部101针对读出的参考图片块，使用多种预测方式中的一种预测方式来生成PU的预测图像。预测图像生成部101将生成的PU的预测图像输出至减法部102。

需要说明的是，预测图像生成部101是与已说明的预测图像生成部308相同的动作。例如，图6是表示预测图像生成部101中所包括的帧间预测图像生成部1011的构成的概略图。帧间预测图像生成部1011构成为包括运动补偿部10111和权重预测部10112。运动补偿部10111和权重预测部10112分别是与上述的运动补偿部3091、权重预测部3094相同的构成，因此在此省略其说明。

预测图像生成部101使用从预测参数编码部输入的参数，以从参考图片存储器中读出的参考块的像素值为基础来生成PU的预测图像P。由预测图像生成部101生成的预测图像被输出至减法部102、加法部106。

减法部102从图像T所对应的PU的像素值中减去从预测图像生成部101输入的PU的预测图像P的信号值，生成残差信号。减法部102将生成的残差信号输出至变换/量化部103。

变换/量化部103对从减法部102输入的残差信号进行频率变换，计算出变换系数。变换/量化部103对计算出的变换系数进行量化，求出量化系数。变换/量化部103将求出的量化系数输出至熵编码部104和逆量化/逆变换部105。

熵编码部104被从变换/量化部103输入量化系数，被从预测参数编码部111输入编码参数。在所输入的编码参数中，例如有量化参数、深度信息(分割信息)、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX、预测模式predMode以及合并索引merge_idx等代码。

熵编码部104对被输入的量化系数和编码参数进行熵编码来生成编码流Te，并将生成的编码流Te输出至外部。

逆量化/逆变换部105对从变换/量化部103输入的量化系数进行逆量化，求出变换系数。逆量化/逆变换部105对求出的变换系数进行逆频率变换，计算出残差信号。逆量化/逆变换部105将计算出的残差信号输出至加法部106。

加法部106将从预测图像生成部101输入的PU的预测图像P的信号值和从逆量化/逆变换部105输入的残差信号的信号值与每个像素相加，生成解码图像。加法部106将生成的解码图像存储于参考图片存储器109。

(图像滤波装置的构成)

CNN滤波器107是本实施方式的图像滤波装置的一个示例。本实施方式的图像滤波装置作为作用于局部解码图像的滤波器发挥作用。本实施方式的图像滤波装置具备神经网络，该神经网络被输入一个或多个第一种输入图像数据以及一个或多个第二种输入图像数据，输出一个或多个第一种输出图像数据，所述一个或多个第一种输入图像数据将亮度或色差作为像素值，所述一个或多个第二种输入图像数据将与用于生成预测图像和差分图像的参考参数对应的值作为像素值，所述一个或多个第一种输出图像数据将亮度或色差作为像素值。

在此，本说明书中的参考参数是指为了生成预测图像和差分图像而参照的参数，作为一个示例，可以包括上述的编码参数。具体记载参考参数的一个示例如下所述。

·图像滤波装置发挥作用的图像(以下也称为输入图像)的量化参数

·表示输入图像的帧内预测和帧间预测的类别的参数

·表示输入图像的帧内预测方向的参数(帧内预测模式)

·表示输入图像的帧间预测的参考图片的参数

·表示输入图像的分区的分割深度的参数

·表示输入图像的分区的大小的参数

需要说明的是，只要没有特别引起混淆，有时也将参考参数称为参数。此外，也可以将参考参数在编码数据中明确地传输。

CNN滤波器107将加法部106所生成的解码图像的数据作为第一种输入图像(滤波前图像)数据来输入，对滤波前图像实施处理，输出第一种输出图像(滤波后图像)数据。本实施方式的图像滤波装置也能从预测参数编码部111或熵解码部301获取量化参数、预测参数作为第二种输入图像数据，对滤波前图像实施处理。在此，希望由图像滤波装置进行滤波后的输出图像与原图像尽可能一致。

图像滤波装置具有降低编码失真即块失真的效果和降低振铃失真的效果。

在此，CNN是指至少具有卷积层(乘积累加运算中的权重系数和偏置/偏移不取决于图片内的位置的层)的神经网络的总称。也将权重系数称为内核。CNN滤波器107除包括卷积层之外，还能包括称为全连接层(FCN)的权重计算取决于图片内的位置的层。此外，CNN滤波器107也可以包括作为属于层的神经元仅与该层的一部分的输入连接的构成(换言之，神经元具有空间上的位置，仅与接近空间上的位置的输入连接的构成)的LCN(LocallyConnected Networks：本地连接网络)层。在CNN滤波器107中，向卷积层输入的输入大小可以与输出大小不同。即，CNN滤波器107能包括通过使应用卷积滤波器的位置移动的情况下的移动量(步骤大小)大于1来使输出大小比输入大小更小的层。此外，也能包括输出大小大于输入大小的逆卷积层(Deconvolution)。逆卷积层有时也称为转置卷积(TransposedConvolution)。此外，CNN滤波器107也可以包括池化层(Pooling)、丢弃(DropOut)层等。池化层是将大的图像划分为小的窗口，与划分出的各窗口对应地获得最大值、平均值等代表值的层，丢弃层是通过根据概率将输出设为固定值(例如0)来追加随机性的层。

图8是表示CNN滤波器107的输入输出的一个示例的概念图。在图8所示的一个示例中，滤波前图像包括三个图像的通道和一个编码参数(参考参数)的通道，该图像的通道包括亮度(Y)的通道、第一色差(Cb)的通道以及第二色差(Cr)的通道，该编码参数的通道包括量化参数(QP)的通道。此外，滤波后图像包括三个图像的通道，该三个图像的通道包括实施处理后的亮度(Y’)的通道、实施处理后的色差(Cb’)的通道以及实施处理后的色差(Cr’)的通道。

需要说明的是，图8是CNN滤波器107的输入输出的一个示例，例如，将滤波前图像的Y(亮度)、第一色差(Cb)以及第二色差(Cr)分开输入各通道的构成当然也包括于本实施方式的构成。而且，将滤波前图像的Y(亮度)、第一色差(Cb)以及第二色差(Cr)分开输入各通道的构成当然也包括于本实施方式的构成。此外，所输入的滤波前图像不限于Y、Cb、Cr的通道，例如，也可以是R、G、B的通道、X、Y、Z的通道、CMYK的通道。此外，使用了亮度和色差的通道也不限于Y、Cb、Cr，例如也可以是表示为Y、U、V或Y、Pb、Pr或Y、Dz、Dx、I、Ct、Cp的通道。图34是表示CNN滤波器107的输入输出的另一个示例的概念图。

在图34的(a)中，将滤波前图像按亮度(Y)和量化参数(QP)的通道、第一色差(Cb)和量化参数(QP)的通道以及第二色差(Cr)和量化参数(QP)的通道划分，输入CNN滤波器107。CNN滤波器107构成为包括：CNN滤波器107-1，在亮度(Y)和量化参数(QP)的通道实施处理，输出(Y’)；CNN滤波器107-2，在第一色差(Cb)和量化参数(QP)的通道实施处理，输出(U’)；以及CNN滤波器107-3，在第二色差(Cr)和量化参数(QP)的通道实施处理，输出(V’)。需要说明的是，参考参数(编码参数)不限于量化参数(QP)，也能利用一个以上的编码参数。此外，CNN滤波器107不限于包括使用各种不同的组件(电路、软件)而构成的CNN滤波器107-1、CNN滤波器107-2、CNN滤波器107-3的构成。例如，CNN滤波器107也可以是在由多种不同的组件(电路、软件)中的一种组件构成的基础上以不同的模式进行动作的构成。

此外，在图34的(b)中，将滤波前图像按亮度(Y)和量化参数(QP)的通道、第一色差(Cb)、第二色差(Cr)以及量化参数(QP)的通道划分，输入CNN滤波器107。CNN滤波器107构成为包括：CNN滤波器107-4，在亮度(Y)和量化参数(QP)的通道实施处理，输出(Y’)；以及CNN滤波器107-5，在第一色差(Cb)、第二色差(Cr)以及量化参数(QP)的通道实施处理，输出(U’、V’)。需要说明的是，参考参数(编码参数)不限于量化参数(QP)，也能利用一个以上的编码参数。此外，CNN滤波器107不限于包括使用各种不同的组件(电路、软件)而构成的CNN滤波器107-4、CNN滤波器107-5的构成。例如，CNN滤波器107也可以是在由多种不同的组件(电路、软件)中的一种组件构成的基础上以不同的模式进行动作的构成。该构成用于对交织了亮度和参考参数的图像(输入)进行处理，对交织了第一色差、第二色差以及参考参数的图像(输入)进行处理的情况。

在图34的(b)所示的构成中，亮度(Y)的处理和色差的处理(交织了第一色差(Cb)和第二色差(Cr)的通道的处理)是指分别在不同的CNN滤波器107中进行处理。在该构成中，即使在亮度(Y)与第一色差(Cb)和第二色差(Cr)的分辨率不同的情况下，在第一色差(Cb)和第二色差(Cr)的交织中运算量也不大。此外，CNN滤波器107能分开处理亮度(Y)和色差(第一色差(Cb)和第二色差(Cr))，因此能进行亮度和色差的并行处理。此外，在信息量增大即处理色差的情况下能同时利用第一色差、第二色差以及编码参数，因此，能在图34的(b)所示的构成中提高CNN滤波器107的精度。

图9是表示本实施方式的CNN滤波器107的构成的一个示例的概略图。CNN滤波器107包括多个convX层。

在此，在本实施方式中，convX层可以包括下述的构成中至少任一种。

(1)conv(x)：实施应用滤波器的处理(convolution：卷积)的构成

(2)act(conv(x))：卷积后实施激活(activation)(非线性函数，例如sigmoid、tanh、relu、elu、selu等)的构成

(3)batch_norm(act(conv(x)))：卷积和激活后实施批量归一化(输入区间的归一化)的构成

(4)act(batch_norm(conv(x)))：卷积和激活期间实施批量归一化(输入区间的归一化)的构成

(5)pooling：在conv层间实施信息的压缩、小型化的构成

此外，CNN滤波器107也可以是除convX层之外包括以下层的至少任一种的构成。

(5)pooling：在conv层间实施信息的压缩、小型化的构成

(6)add/sub：以要素为单位进行加法的构成(包括进行减法的构成)

(7)concatenate/stack：叠加多个输入构成新的大输入的构成

(8)fcn：实施全连接的滤波器的构成

(9)lcn：实施部分连接的滤波器的构成

在图9所示的示例中，CNN滤波器107包括三个convX层(conv1、conv2、conv3)和一个add层。所输入的滤波前图像具有(N1+N2)×H1×W1的大小。在此，N1表示图像的通道数。例如，在滤波前图像仅包括亮度(Y)的通道的情况下，N1为“1”。在包括Y、Cb、Cr的通道的情况下，N1为“3”。在包括R、G、B的通道的情况下，N1为“3”。W1是图片的宽度区块大小，H1是图片的高度区块大小。N2表示编码参数的通道数。例如，在编码参数仅包括量化参数(QP)的通道的情况下，N2为“1”。已知具备add层的构成是通过CNN滤波器来预测滤波后图像与滤波前图像的差分(residual)的构成，特别在加深CNN层的构成中有效。需要说明的是，如已知重叠多个导出差分的层的称为ResNet的构成，add层不限于一个，也可以存在多个add层。

此外，如后文所述，网络可以包括分支，或者可以具备将分支的输入、输出捆绑成束的Concatenate(连结)层。例如，在将N1×H1×W1的数据与N2×H1×W1的数据连结时成为(N1+N2)×H1×W1的数据。

作为CNN滤波器107的第一个目的conv层的conv1被输入(N1+N2)×H1×W1的数据，输出Nconv1×H1×W1的数据。作为CNN滤波器107的第二个目的conv层的conv2被输入Nconv1×H1×W1的数据，输出Nconv2×H1×W1的数据。作为CNN滤波器107的第三个目的conv层的conv3被输入Nconv2×H1×W1的数据，输出N1×H1×W1的数据。作为add层的add将作为conv层的输出的N1×H1×W1的数据与N1×H1×W1的滤波前图像按每个像素相加，输出N1×H1×W1的数据。

如图9所示，通过CNN滤波器107实施处理使图片的通道数从N1+N2减少到N1。需要说明的是，在本实施方式中，CNN滤波器107以通道在前(通道×高度×宽度)的数据形式进行处理，但也可以通道在后(高度×宽度×通道)的数据形式进行处理。

需要说明的是，CNN滤波器107也能设置在通过卷积层减小输出大小后，通过逆卷积层增大输出大小，恢复原始状态的自动编码层。由多个卷积层构成的深度网络也称为DNN(Deep Neural Network：深度神经网络)。图像滤波装置也可以具有使网络输出的一部分再次输入网络的RNN(Recurrent Neural Network：循环神经网络)。在RNN中，能将重新输入的信息认为是该网络的内部状态。

为了控制重新输入信息(内部状态)的更新、传递，能进一步将利用神经网络的子网络的LSTM(Long Short-Term Memory：长短期记忆网络)、GRU(Gated Recurrent Unit：门控循环单元)作为构成要素组合多个图像滤波装置。

作为滤波前图像的编码参数的通道，除了量化参数(QP)的通道之外，还能追加分割信息(PartDepth)的通道、预测模式信息(PredMode)的通道。

(量化参数(QP))

量化参数(QP)是控制图像的压缩率和画质的参数。在本实施方式中，量化参数(QP)具有值越大画质越差，代码量减少的特性，以及值越小，画质越好，代码量增加的特性。作为量化参数(QP)，例如能使用导出预测残差的量化宽度的参数。

作为以图片为单位的量化参数(QP)，能输入处理对象帧的代表性的一个量化参数(QP)。例如，量化参数(QP)能根据应用于对象图片的参数集来指定。此外，量化参数(QP)能基于应用于图片的构成要素的量化参数(QP)来计算。具体而言，能基于应用于切片的量化参数(QP)的平均值来计算出量化参数(QP)。

此外，作为分割图片的单位的量化参数(QP)，能输入以规定的基准分割了图片的每个单位的量化参数(QP)。例如，能将量化参数(QP)应用于每个切片。此外，也能将量化参数(QP)应用于切片内的块。此外，能在从既存的编码单位中独立出的区域单位(例如，将图片分割为16×9个而得到的各区域)中指定量化参数(QP)。在该情况下，量化参数(QP)取决于切片数、变换单元数，因此，与区域对应的量化参数(QP)的值不固定，无法构成CNN滤波器，因此考虑将区域内的量化参数(QP)的平均值用作代表值的方法。此外，也存在将区域内的一个位置的量化参数(QP)用作代表值的方法。此外，也存在将区域内的多个位置的量化参数(QP)的中间值(median)、众数值(mode)用作代表值的方法。

此外，作为输入特定个数的量化参数(QP)的情况，可以以量化参数(QP)的个数为固定的方式生成量化参数(QP)的列表并向CNN滤波器输入。例如，考虑生成每个切片的量化参数(QP)的列表，生成最大值、最小值、中间值这三个量化参数(QP)的列表并输入的方法。

此外，作为以组件为单位的量化参数(QP)，能输入应用于处理对象的组件的量化参数(QP)。作为该量化参数(QP)的示例，能列举出亮度量化参数(QP)、色差量化参数(QP)。

此外，在以块为单位应用CNN滤波器的情况下，作为周边量化参数(QP)，可以输入对象块的量化参数(QP)和块周边的量化参数(QP)。

能根据图片和编码参数来设计CNN滤波器107。即，不仅能根据能从方向性、活动性等图像数据导出的图片特性，而且能根据编码参数来设计CNN滤波器107，因此，CNN滤波器107能按每个编码参数来实现不同强度的滤波。因此，由于本实施方式具备CNN滤波器107，因此能不按每个编码参数导入不同的网络地进行与编码参数对应的处理。

图10是表示本实施方式的图像滤波装置的构成的变形例的概略图。如图10所示，作为图像滤波装置的CNN滤波器也可以不包括add层，而仅包括convX层。在不包括add层的变形例中，CNN滤波器也输出N1*H1*W1的数据。

参照图11，对参考参数为量化参数(QP)的一个示例进行说明。图11的(a)所示的量化参数(QP)配置于变换单元的单位区域(或量化参数(QP)相同的单位区域)。在图11的(b)中示出将图11的(a)所示的量化参数(QP)输入到例如像素等单位区域的情况。在以像素为单位进行输入时，能将直接与各像素对应的量化参数(QP)用于处理，能进行与各像素对应的处理。此外，根据量化参数(QP)的变化位置，可知变换单元的边界，能将处于同一变换单元内，或是邻接的不同的变换单元的像素的信息用于滤波处理。此外，不仅能利用像素值的变化，还能利用量化参数(QP)的变化的大小。例如，能利用量化参数(QP)是平坦，是慢慢地变化，是急剧地变化，还是连续地变化等的信息。此外，可以在输入CNN滤波器107前进行归一化、标准化以使其接近平均值为0，方差为1。这对于量化参数以外的编码参数、像素值也是同样的。

图12表示参考参数为预测参数的一个示例。预测参数包括表示是帧内预测还是帧间预测的信息，以及表示在是帧间预测的情况下用于预测的参考图片的张数的预测模式。

图12的(a)所示的预测参数以编码单元(预测单元)为单位进行配置。将图12的(a)所示的预测参数在像素等单位区域输入的情况在图12的(b)中示出。与图11的(b)所示的示例同样，在以像素为单位进行输入时，能将空间上直接与各像素对应的预测参数用于处理，能进行与各像素对应的处理。就是说，能与作为(x，y)坐标的像素值的(R，G，B)、(Y，Cb，Cr)同时利用(x，v)坐标的预测参数。此外，根据预测参数的变化位置，可知编码单元的边界，能将处于同一编码单元内，还是邻接的不同的编码单元的像素的信息用于滤波处理。此外，不仅能利用像素值的变化，还能利用预测参数的变化的大小。例如，能利用预测参数是平坦，是慢慢地变化，是急剧地变化，还是连续地变化等的信息。需要说明的是，对于分配为预测参数的值，只要分配与相近性质的预测模式相近的值即可，不限于图12的(b)所示的数字的示例。例如可以是，对帧内预测分配“-2”，对单向预测分配“2”，对双向预测分配“4”。

参照图13，对帧内预测的预测模式的定义进行说明。图13表示预测模式的定义。如图13所示，对亮度像素定义有67种预测模式，各预测模式通过“0”～“66”的编号(帧内预测模式索引)来确定。此外，对各预测模式分配如下名称。即，“0”为“Planar(平面预测)”，“1”为“DC(DC预测)”，“2”～“66”为“Angular(方向预测)”。在色差像素的情况下，能使用“Planar(平面预测)”、“VER(垂直预测)”、“HOR(水平预测)”、“DC(DC预测)”、“VDIR(45度预测)”、LM预测(色差预测模式)以及DM预测(沿用亮度的帧内预测模式)。LM预测是基于亮度的预测的色差的线性预测。换言之，LM预测是利用亮度像素值与色差像素值的相互关联的预测。

图14表示参考参数为亮度像素的帧内预测参数的一个示例。帧内预测参数包括按各分区确定的预测参数的值。帧内预测参数例如可以包括帧内预测模式等。

图14的(a)所示的帧内预测参数以编码单元(预测单元)为单位进行配置。在图14的(b)中示出将图14的(a)所示的预测参数输入到像素等单位区域的情况。与图11的(b)所示的示例同样，在以像素为单位进行输入时，能将直接与各像素对应的帧内预测参数用于处理，能进行与各像素对应的处理。此外，根据帧内预测参数的变化位置，可知编码单元的边界，能利用是同一编码单元，还是邻接的不同的编码单元的像素的信息。此外，不仅能利用像素值的变化，还能利用帧内预测参数的变化的大小。例如，能利用帧内预测参数是慢慢地变化，是急剧地变化，还是连续地变化等的信息。

图15表示参考参数为深度信息(分割信息)的一个示例。深度信息按各分区根据变换单元来确定。深度信息例如根据编码单元的分割次数来确定，与编码单元的大小对应。

图15的(a)所示的深度信息以编码为单元(预测单元单位)进行配置。在图15的(b)中示出将图15的(a)所示的深度信息输入到像素等单位区域的情况。与图11的(b)所示的示例同样，在以像素为单位进行输入时，能将直接与各像素对应的深度信息用于处理，能进行与各像素对应的处理。此外，根据深度信息的变化位置，可知编码单元的边界，能利用是同一编码单元，还是邻接的不同的编码单元的像素的信息。此外，不仅能利用像素值的变化，还能利用深度信息的变化的大小。例如，能利用深度信息是慢慢地变化，是急剧地变化，还是连续地变化等的信息。

此外，也可以使用表示分区的水平大小和垂直大小的大小信息来代替深度信息。

图16表示参考参数为作为包括分区的水平大小和垂直大小的大小信息的一个示例。在图16所示的示例中，按每个单位区域输入两个信息，即水平大小和垂直大小的信息。在图16的示例中，将作为分区的水平大小W(宽度)和垂直大小H(高度)的两对数值加上规定的偏移(-2)而得到的数的log2(W)-2、log2(H)-2用作参考参数。例如，(1，1)、(2，1)、(0，0)、(2，0)、(1，2)、(0，1)的分区大小(W，H)分别为(8，8)、(16，8)、(4，4)、(16，4)、(8，16)、(4，8)。

图16所示的示例中的分区大小也能考虑为从规定值的值减去表示变换单元的水平和垂直方向的分割次数的值D的2的对数值(3-log2(D))。

图16的(a)所示的大小信息以变换块为单位进行配置。在图16的(b)中示出将图16的(a)所示的大小信息输入至像素等单位区域的情况。在图16的(b)所示的示例中，也起到与图15的(b)所示的示例同样的效果。

图17表示编码参数由多个预测参数组成的另一个示例。在图17所示的示例中，除预测模式之外，也将参考图片信息包括于预测参数。

图17的(a)所示的预测参数以变换块为单位进行配置。在图17的(b)中示出将图17的(a)所示的预测参数输入至像素等单位区域的情况。在图17的(b)所示的示例中，也起到与图12的(b)所示的示例同样的效果。

(CNN滤波器的学习方法)

CNN滤波器107使用训练数据和误差函数来进行学习。

作为CNN滤波器107的训练数据，能输入上述的滤波前图像、参考参数、原图像的集合。此外，希望使从CNN滤波器107输出的滤波后图像在某个参考参数中与原图像的误差最小化。

此外，作为CNN滤波器107的误差函数，能使用对通过CNN滤波器107实施了滤波处理后的滤波后图像相对于原图像的误差进行评估的函数(例如，平均绝对值误差meanabsolute error、均方误差mean square error)。除图像的误差之外，也能将参数的大小作为正则化项加入误差函数来使用。在正则化中，能使用参数的绝对值、平方值这两方(分别称为lasso、ridge、elasticnet)。

而且，如后所述，在传输CNN参数的方式中，可以进一步将CNN参数的代码量加入误差函数的误差。

也能使用评估图像的好坏的其他CNN网络来进行学习。在该情况下，将作为评估对象的CNN滤波器107(Generator：发生器)的输出串行输入不同的评估用CNN网络(Discriminator：鉴别器)，使评估用CNN网络的评估值最小化(或最大化)。在CNN滤波器107进行学习的同时使评估用CNN网络进行学习也是合适的。同时使生成用和评估用两种网络学习的方法称为生成对抗网络(Generative Adversarial Networks：GAN)。

需要说明的是，图像解码装置31的CNN滤波器305通过与图像编码装置11的CNN滤波器107同样的方法进行学习。需要说明的是，在图像编码装置11和图像解码装置31两者使用相同的CNN滤波器的构成中，将两个CNN滤波器的CNN参数设为相同。

预测参数存储器108将编码参数确定部110所生成的预测参数按每个编码对象的图片和CU存储于预定的位置。

参考图片存储器109将CNN滤波器107所生成的解码图像按每个编码对象的图片和CU存储于预定的位置。

编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是上述的预测参数、与该预测参数关联而生成的作为编码对象的参数。预测图像生成部101使用这些编码参数的每一个集合来生成PU的预测图像。

编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的成本值。成本值例如是代码量与平方误差乘以系数λ而得到的值之和。代码量是对量化误差和编码参数进行熵编码而得到的编码流Te的信息量。平方误差是关于在减法部102中计算出的残差信号的残差值的平方值的像素间的总和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此，熵编码部104将所选择的编码参数的集合作为编码流Te输出至外部，而不输出未被选择的编码参数的集合。编码参数确定部110将确定的编码参数存储于预测参数存储器108。

预测参数编码部111根据从编码参数确定部110输入的参数，导出用于编码的形式，并输出至熵编码部104。用于编码的形式的导出是指例如从运动矢量和预测矢量导出差分矢量。此外，预测参数编码部111从由编码参数确定部110输入的参数中导出生成预测图像所需的参数，并输出至预测图像生成部101。生成预测图像所需的参数是指例如子块单位的运动矢量。

帧间预测参数编码部112基于从编码参数确定部110输入的预测参数来导出差分矢量那样的帧间预测参数。在帧间预测参数编码部112中，作为导出生成输出至预测图像生成部101的预测图像所需的参数的构成，包括一部分与帧间预测参数解码部303(参考图5等)导出帧间预测参数的构成相同的构成。

帧内预测参数编码部113根据从编码参数确定部110输入的帧内预测模式IntraPredMode，导出用于编码的形式(例如mpm_idx、rem_intra_luma_pred_mode等)。

(第二实施方式)

若基于图18对本发明的其他实施方式进行说明，则如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件省略其说明。CNN滤波器的网络结构可以考虑各种形式。在图18所示的第二实施方式中示出与第一实施方式中说明的网络结构(图9、图10)不同的网络结构的CNN滤波器的示例，具有与第一实施方式相同的效果。

在本实施方式中，如图18所示，CNN滤波器107a包括两个convX层(卷积层)conv1、conv2、一个池化层pooling、一个Deconv层(逆卷积层)conv3。convX层conv1、conv2是卷积层，Deconv层conv3是逆卷积层。池化层pooling配置于convX层conv2与convX层conv3之间。

被输入的滤波前图像具有(N1+N2)*H1*W1的大小。在本实施方式中，N1也表示图像的通道数。W1是图片的宽度区块大小，H1是图片的高度区块大小。N2表示编码参数的通道数。

作为CNN滤波器107a的第一个目的convX层的conv1被输入(N1+N2)*H1*W1的数据，输出Nconv1*H1*W1的数据。作为CNN滤波器107a的第二个目的convX层的conv2被输入Nconvl*H1*W1的数据，输出Nconv2*H1*W1的数据。convX层conv2的后段的池化层pooling被输入Nconv2*H1*W1的数据，输出Nconv2*H2*W2的数据。即，池化层pooling将从convX层conv2输出的高度*宽度为H1*W1的大小的数据变换为H2*W2的大小的数据。池化层pooling的后段的Deconv层conv3被输入Nconv2*H2*W2的数据，输出N1*H1*W1的数据。即，Deconv层conv3使从池化层pooling输出的高度*宽度为H2*W2的大小的数据恢复H1*W1的大小的数据。在此使用转置卷积(Transposed Convolution)。

需要说明的是，在本实施方式中，图像解码装置中的CNN滤波器也具有与图像编码装置中的CNN滤波器107a相同的功能。

此外，在本实施方式中，也可以如实施方式1中的图34的(a)所示，采用如下构成：将滤波前图像按亮度(Y)和量化参数(QP)的通道、第一色差(Cb)和量化参数(QP)的通道以及第二色差(Cr)和量化参数(QP)的通道划分，输入CNN滤波器107a。此外，也可以如实施方式1中的图34的(a)所示，采用如下构成：将滤波前图像按亮度(Y)和量化参数(QP)的通道、第一色差(Cb)、第二色差(Cr)以及量化参数(QP)的通道划分，输入CNN滤波器107a。即，CNN滤波器107a可以采用如下构成：对交织了亮度和参考参数的图像(输入)进行滤波处理，对交织了第一色差、第二色差以及参考参数的图像(输入)进行滤波处理。需要说明的是，参考参数(编码参数)不限于量化参数(QP)，CNN滤波器107a也能利用一个以上的编码参数。

根据第二实施方式的构成，能通过使用将在卷积层和池化层缩小的数据在反池化(transpooling)层放大的一种的自动编码型的网络结构来进行考虑了上位概念的特征量的滤波处理。即，在进行与编码参数相应的滤波处理的情况下，能考虑整合了边缘、颜色的更上位的特征量来变更滤波强度。

(第三实施方式)

若基于图19～20对本发明的第三实施方式进行说明，则如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件省略其说明。

在本实施方式中，如图19所示，CNN滤波器107b包括第一CNN滤波器107b1和第二CNN滤波器107b2。第一CNN滤波器107b1被输入滤波前图像。第一CNN滤波器107b1提取方向性、活动性等特征。第二CNN滤波器107b2被输入由第一CNN滤波器107b1实施处理后的数据和作为编码参数的量化参数(QP)。

即，第一CNN滤波器107b1将输入至作为第二神经网络的第二CNN滤波器107b2的第一种输入图像数据作为输出图像。

第二CNN滤波器107b2对提取出的特征实施加权的滤波处理。第二CNN滤波器10762利用编码参数控制如何加权进行滤波处理。从第二CNN滤波器107b2输出滤波后图像。

第一CNN滤波器107b1与上述的CNN滤波器107不同，被输入由包括亮度(Y)的通道、第一色差(Cb)的通道以及第二色差(Cr)的通道的三个通道构成的滤波前图像，输出由包括亮度、两个色差的三个通道构成的滤波后图像。需要说明的是，滤波前图像、滤波后图像的通道不限于Y、Cb、Cr，也可以是R、G、B，还可以进一步加上alpha、深度。

需要说明的是，第二CNN滤波器107b2除量化参数(Qp)之外也可以被输入预测参数等其他编码参数。需要说明的是，当然，除量化参数(QP)之外，输入预测参数等其他编码参数的构成不限于本实施方式，在其他的实施方式中也是同样的。

此外，在本实施方式中，也可以如实施方式1中的图34的(a)所示，采用如下构成：滤波前图像按亮度(Y)的通道、第一色差(Cb)的通道以及第二色差(Cr)的通道划分，输入CNN滤波器107b1。此外，也可以如实施方式1中的图34的(b)所示，采用如下构成：滤波前图像按亮度(Y)的通道、第一色差(Cb)和第二色差(Cr)的通道划分，输入CNN滤波器107b1。即，CNN滤波器b1可以采用如下构成：对交织了亮度和参考参数的图像(输入)进行滤波处理，对交织了第一色差、第二色差以及参考参数的图像(输入)进行滤波处理。需要说明的是，参考参数(编码参数)不限于量化参数(QP)，CNN滤波器b1也能利用一个以上的编码参数。

图20是表示本实施方式的CNN滤波器107b的构成的概略图。如图20所示，第一CNN滤波器107b1包括两个convX层(conv1、conv2)。第二CNN滤波器107b2包括两个convX层(conv3、conv4)和连结(Concatenate)层。

第一CNN滤波器107b1的conv1被输入N1*H1*W1的数据，输出Nconv1*H1*W1的数据。第一CNN滤波器107b1的conv2被输入Nconv1*H1*W1的数据，输出图像处理结果的Nconv2*H1*W1的数据。

第二CNN滤波器107b2的conv4被输入N2*H1*W1的数据，输出Nconv4*H1*W1的数据。第二CNN滤波器107b2的连结层被输入图像处理结果、由conv4实施处理后的编码参数以及(Nconv2+Nconv4)*H1*W1，分别连结并输出Nconv3*H1*W1的数据。第二CNN滤波器107b2的conv3被输入Nconv3*H1*W1的数据，输出N1*H1*W1的数据。

图21是表示本实施方式的图像滤波装置的构成的变形例的概略图。如图21所示，CNN滤波器107c的第二CNN滤波器107c2也可以包括add层。add层输入第二CNN滤波器107b2的conv3所输出的N1*H1*W1的数据和N1*H1*W1的图像数据，输出N1*H1*W1的数据。

需要说明的是，在本实施方式中，图像解码装置中的CNN滤波器也具有与图像编码装置中的CNN滤波器107b、107c相同的功能。

根据第三实施方式的构成，在其他网络进行图像数据的输入和编码数据的输入。能通过采用这样的构成，将图像数据的输入大小和编码数据的输入大小设为不同。此外，通过使用仅专用于图像数据的网络CNN1，不仅能使学习变得容易，而且能使整个网络结构变小。能进一步通过输入编码参数的CNN2的网络，使用编码参数对作为在第一CNN滤波器CNN1中导出的数据的滤波后图像、特征提取进行加权、进一步的特征提取，能进行更高度的滤波处理。

(第四实施方式)

基于图22对本发明的其他实施方式进行说明，如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件省略其说明。

在本实施方式中，如图22所示，CNN滤波器107d包括：作为包括n+1个CNN滤波器CNN0、CNN1......CNNn的多个专用神经网络的第一段CNN滤波器107d1、选择器107d2以及作为公共神经网络的第二段CNN滤波器107d3。

在第一段CNN滤波器107d1中，CNN滤波器CNN0是与上述的CNN滤波器107b1同样的构成，但也是对具有小于FP1的值的滤波参数FP进行了优化的滤波器。此外，CNN滤波器CNN1是对具有FP1以上且小于FP2的值的滤波参数FP进行了优化的滤波器。此外，CNN滤波器CNNn是对具有FPn以上的值的滤波参数FP进行了优化的滤波器。

第一段的CNN滤波器107d1中包括的CNN滤波器CNN0、CNN1......CNNn分别将实施滤波处理后的图像输出至选择器107d2。选择器107d2被输入滤波参数FP，根据被输入的滤波参数FP选择实施了向第二段CNN滤波器107d3输出的滤波处理的图像。因此，第二段CNN滤波器107d3被输入通过针对输入选择器107d2的滤波参数FP的最佳滤波器实施了滤波处理而获得的图像。换言之，本实施方式的专用神经网络根据向图像滤波装置输入的输入图像数据中的滤波参数的值选择性地作用于输入图像数据。

需要说明的是，选择CNN滤波器的滤波参数FP可以在编码数据中明确地进行编码，也可以根据编码参数导出。例如，可以根据作为编码参数之一的量化参数的代表值(平均值等)导出滤波参数FP。

第二段CNN滤波器107d3对输入图像实施滤波处理，输出滤波后图像。换言之，本实施方式的公共神经网络与滤波参数的值无关地共同作用于专用神经网络的输出图像数据。

需要说明的是，选择器107d2用于选择的滤波参数FP不限于输入图像的量化参数(QP)的代表值。滤波参数FP可以在编码数据中明确地传输。此外，作为滤波参数FP，除了输入图像的量化参数之外，能列举出：表示输入图像的帧内预测和帧间预测的类别的参数、表示输入图像的帧内预测方向的参数(帧内预测模式)、表示输入图像的分区的分割深度(深度信息、分割信息)的参数、表示输入图像的分区的大小的参数。需要说明的是，在这些参数中也可以使用特定位置的值(左上、中央)、平均值、最小值、最大值、中间值、众数值等代表值。

图23是表示本实施方式的图像滤波装置的构成的变形例的概略图。如图23所示，在CNN滤波器107e中，作为包括n+1个CNN滤波器CNN0、CNN1......CNNn的多个专用神经网络的第一段的CNN滤波器107e2和选择器107e3也能配置于作为公共神经网络的CNN滤波器107e1的后段。在该情况下，CNN滤波器107e1作用于向CNN滤波器107e输入的输入图像数据，CNN滤波器107e2根据输入图像数据的滤波参数的值选择性地作用于CNN滤波器107el的输出图像数据。此外，选择器107e3输出滤波后图像。

需要说明的是，在本实施方式中，图像解码装置中的CNN滤波器也具有与图像编码装置中的CNN滤波器相同的功能。

根据第四实施方式的构成，能通过使用根据滤波参数FP的大小切换网络的部分(107e2)和不根据滤波参数的大小而使用相同的网络的部分(107e1)，使网络结构小于通过量化参数等编码参数切换整个滤波器的构成。除了网络结构小的一方运算量小且高速之外，还有学习参数稳定且能对较多的输入图像实施合适的滤波处理的效果。

需要说明的是，在本实施方式中，也可以如实施方式1中的图34的(a)所示，采用如下构成：滤波前图像按亮度(Y)的通道、第一色差(Cb)的通道以及第二色差(Cr)的通道划分，输入CNN滤波器107d1。此外，也可以如实施方式1中的图34的(b)所示，采用如下构成：滤波前图像按亮度(Y)的通道、第一色差(Cb)和第二色差(Cr)的通道划分，输入CNN滤波器107d1。即，CNN滤波器d1可以对交织了亮度和参考参数的图像(输入)进行滤波处理，对交织了第一色差、第二色差以及参考参数的图像(输入)进行滤波处理。需要说明的是，参考参数(编码参数)不限于量化参数(QP)，CNN滤波器d1也能利用一个以上的编码参数。

(第五实施方式)

若基于图24对本发明的其他实施方式进行说明，则如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件省略其说明。

在本实施方式中，如图24所示，CNN滤波器107f包括：作为包括n+1个CNN滤波器CNN0、CNN1......CNNn的第一段CNN滤波器107f1、选择器107f2以及第二段CNN滤波器107f3。

在第一段的CNN滤波器107f1中，CNN滤波器CNN1是对具有大于QP1L且小于QP1H的值的量化参数(QP)进行了优化的滤波器。此外，CNN滤波器CNN2是对具有大于QP2L且小于QP2H的值的量化参数(QP)进行了优化的滤波器。此外，CNN滤波器CNN3是对具有大于QP3L且小于QP3H的值的量化参数(QP)进行了优化的滤波器。此外，CNN滤波器CNN4是对具有大于QP4L且小于QP4H的值的量化参数(QP)进行了优化的滤波器。其他CNN滤波器也是同样的滤波器。

作为阈值QP1L、QP1H......QP4L、QP4H的具体例，能分配QP1L＝0、QP1H＝18、QP2L＝12、QP2H＝30、QP3L＝24、QP3H＝42、QP4L＝36、QP4H＝51的值。

在该情况下，例如，如果量化参数(QP)为10，则选择器107f2选择CNN滤波器CNN1。此外，如果量化参数(QP)为15，则选择器107f2选择CNN滤波器CNN1和CNN滤波器CNN2。此外，如果量化参数(QP)为20，则选择器107f2选择CNN滤波器CNN2。此外，如果量化参数(QP)为25，则选择器107f2选择CNN滤波器CNN2和CNN滤波器CNN3。此外，如果量化参数(QP)为30，则选择器107f2选择CNN滤波器CNN3。

第二段的CNN滤波器107f3在选择器107f2选择了一种CNN滤波器的情况下将输入图像作为滤波后图像输出，在选择器107f2选择了两种CNN滤波器的情况下，将两个输入图像的平均值作为滤波后图像输出。

需要说明的是，在本实施方式中，图像解码装置中的CNN滤波器也具有与图像编码装置中的CNN滤波器107f相同的功能。

根据第五实施方式的构成，能通过使用根据量化参数QP的大小切换网络的部分(107f1)和不根据量化参数QP的大小而使用相同的网络的部分(107f2)，使网络结构小于通过量化参数等编码参数切换整个滤波器的构成。除了网络结构小的一方运算量小且高速之外，还有学习参数稳定且能对较多的输入图像实施合适的滤波处理的效果。此外，能通过使各CNN滤波器的优化的范围重叠来避免切换滤波器时区块的边界出现视觉上的失真。

(第六实施方式)

若基于图25对本发明的其他实施方式进行说明，则如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件省略其说明。

如上所述，图像滤波装置可以利用降低块失真的功能和降低振铃失真的滤波器。此外，也可以与降低块失真的去块滤波器(DF：Deblocking Filter)、降低振铃失真的采样自适应偏移(SAO：Sample Adaptive Offset)等的其他滤波器并用进行处理。

在本实施方式中，对与去块滤波器(DF)的处理和样本自适应偏移(SAO)的处理并用CNN滤波器的构成进行说明。

(第一示例)

图25的(a)表示本实施方式的第一示例。在第一示例中，图像滤波装置107g包括CNN滤波器107g1和采样自适应偏移(SAO)107g2。CNN滤波器107g1作为降低块失真的滤波器发挥作用。

(第二示例)

图25的(b)表示本实施方式的第二示例。在第二示例中，图像滤波装置107h包括去块滤波器(DF)107h1和CNN滤波器107g2。CNN滤波器107h2作为在去块滤波器的后段进一步降低振铃噪声的滤波器发挥作用。

(第三示例)

图25的(c)表示本实施方式的第三示例。在第三示例中，图像滤波装置107i包括第一CNN滤波器107i1和第二CNN滤波器107i2。第一CNN滤波器107i1作为降低块失真的滤波器发挥作用，第二CNN滤波器107i2作为在降低块失真的滤波器的后段进一步降低振铃噪声的滤波器发挥作用。

需要说明的是，在任一示例中，图像解码装置中的CNN滤波器都具有与图像编码装置中的CNN滤波器相同的功能。

此外，输入至本实施方式的图像滤波装置107g～图像滤波装置107i的滤波前图像可以是与其他的实施方式同样的如下图像：包括三个图像的通道和一个编码参数(参考参数)的通道，该图像的通道包括亮度(Y)的通道、第一色差(Cb)的通道以及第二色差(Cr)的通道，该编码参数的通道包括量化参数(QP)的通道的一个编码参数(参考参数)。此外，可以如图34的(a)所示，采用如下构成：滤波前图像按亮度(Y)和量化参数(QP)的通道、第一色差(Cb)和量化参数(QP)的通道以及第二色差(Cr)和量化参数(QP)的通道划分，输入至图像滤波装置107g～图像滤波装置107i。此外，可以如图34的(b)所示，采用如下构成：滤波前图像按亮度(Y)和量化参数(QP)的通道、第一色差(Cb)、第二色差(Cr)以及量化参数(QP)的通道划分，输入至图像滤波装置107g～图像滤波装置107i。即，图像滤波装置107g～图像滤波装置107i可以对交织了亮度和参考参数的图像(输入)进行滤波处理，对交织了第一色差、第二色差以及参考参数的图像(输入)进行滤波处理。需要说明的是，参考参数(编码参数)不限于量化参数(QP)，图像滤波装置107g～图像滤波装置107i也能利用一个以上的编码参数。

(第七实施方式)

若基于图26～30对本发明的其他实施方式进行说明，则如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件省略其说明。

图26是表示本实施方式的图像编码装置的构成的框图。本实施方式的图像编码装置11j在CNN滤波器107j获取CNN参数，并使用获取到的CNN参数进行滤波处理这一点上与上述实施方式不同。此外，CNN滤波器107j所使用的CNN参数在以序列为单位、以图片为单位等动态更新这一点上与上述实施方式不同。在上述实施方式中，CNN参数为预先设定的固定值，不进行更新。

如图26所示，本实施方式的图像编码装置11j除了图4所示的图像编码装置11所具备的构成之外，还具备：CNN参数确定部114、CNN参数编码部115以及复用部116。

CNN参数确定部114获取图像T(输入图像)和加法部106的输出(滤波前图像)，以使输入图像与滤波前图像的差异较小的方式更新作为神经网络参数的CNN参数。

图27是表示CNN滤波器107j的构成的一个示例的概略图。如上所述，CNN滤波器包括convX层等多层，图27所示的CNN滤波器107j包括三层。各层能通过层ID来识别。在图27所示的CNN滤波器107j中，输入侧的层的层ID为L-2，正中间的层的层ID为L-1，输出侧的层的层ID为L。

此外，各层包括多个单元，各单元能通过单元ID来识别。正中间的层L-1的最上的单元的单元ID为(L-1，0)，输出侧的层L上的单元的单元ID为(L，0)，输出侧的层L下的单元的单元ID为(L，1)。如图27所示，各层的单元分别与下一层的单元连接。在图27中，单元彼此的连接用箭头表示。此外，各连接的权重不同，通过权重系数来控制。

CNN参数确定部114输出包括权重系数和偏置(偏移)这两方的滤波系数。此外，CNN参数确定部114输出标识符作为CNN参数。在CNN滤波器由多个CNN层构成的情况下，标识符是识别CNN层的CNN ID。此外，在通过层ID、单元ID来识别CNN层的情况下，标识符为层ID、单元ID。

此外，CNN参数确定部114输出表示单元结构的数据作为CNN参数。作为表示单元结构的数据，例如能举出3*3等滤波大小。在使滤波大小可变的情况下输出表示滤波大小的数据作为CNN。在使滤波大小固定的情况下，无需输出表示滤波大小的数据。

CNN参数确定部114进行更新所有参数的全部更新或更新一部分层的单元的参数的部分更新。CNN参数确定部114将表示是否输出更新内容作为差分的数据附加于CNN参数进行输出。

CNN参数确定部114例如能直接输出滤波系数等CNN参数值。此外，CNN参数确定部114例如能输出与更新前的CNN参数值的差分、与默认值的差分等的差分参数值。此外，CNN参数确定部114能以规定的方式压缩CNN参数值并输出。

参照图28，对层、单元的构成和CNN参数(滤波系数、权重系数)的更新进行说明。

在各层中，将层的输入值Z^(L-1) _ijk与L层的参数(滤波系数)h_pqr、h₀的积和转变为激活函数(提供给图28所示的式(1))，向下一层输出应用激活函数(1)而得出的值Z^L _iik。在此，N为层的输入通道数，W为层的输入宽度，H为层的输入高度。此外，kN为内核(滤波)的输入通道数，基本上等于N。此外，kW为内核的宽度，kH为内核的高度。

在本实施方式中，CNN参数确定部114能动态地更新CNN参数(滤波系数)h_pqr、h₀的至少一部分。

在本实施方式中，CNN参数由网络抽象层(NAL)结构的数据传输。图29的(a)表示本实施方式的既定NAL构造的数据的序列SEQ的编码视频序列。在本实施方式中，序列SEQ中所包括的序列参数集SPS(Sequence Parameter Set)传输更新类别(表示是否为一部分/全部/差分等)、CNN的层ID(L)、CNN的单元ID(m)、L层、单元IDm的滤波大小(kW*kH)、滤波系数(h_pqr、h₀)等应用于整个图像序列的更新参数。此外，序列SEQ中包括的图片参数集PPS(Picture Parameter Set)传输更新类别(表示是否为一部分/全部/差分等)、层ID(L)、单元ID(m)、滤波大小(kW*kH)、滤波系数(h_pqr、h₀)等应用于某张图片的更新参数。

此外，如图29的(b)所示，序列包括多张图片。CNN参数确定部114能以序列为单位输出CNN参数。在该情况下，能更新整个序列的CNN参数。此外，CNN参数确定部114能以图片为单位进行输出。在该情况下，能更新某一时间的CNN参数。

需要说明的是，参照图27～29进行了说明的事项是编码侧、解码侧通用的事项，对于后述的CNN滤波器305j来说也是同样的。此外，参照图27～29进行了说明的事项也应用于输出至图像编码装置11j的CNN滤波器107j的CNN参数，还应用于输出至图像解码装置31j的CNN滤波器305j的CNN参数。

此外，输入本实施方式的CNN滤波器107j的滤波前图像可以是与其他的实施方式同样的如下图像：包括三个图像的通道和一个编码参数(参考参数)的通道，该图像的通道包括含有亮度(Y)的通道、第一色差(Cb)的通道以及第二色差(Cr)的通道，该编码参数的通道包括量化参数(QP)的通道。此外，可以如图34的(a)所示，采用如下构成：滤波前图像按亮度(Y)和量化参数(QP)的通道、第一色差(Cb)和量化参数(QP)的通道以及第二色差(Cr)和量化参数(QP)的通道划分，输入CNN滤波器107j。此外，也可以如图34的(a)所示，采用如下构成：滤波前图像按分为亮度(Y)和量化参数(QP)的通道、第一色差(Cb)、第二色差(Cr)以及量化参数(QP)的通道划分，输入CNN滤波器107j。即，CNN滤波器107j可以对交织了亮度和参考参数的图像(输入)进行滤波处理，对交织了第一色差、第二色差以及参考参数的图像(输入)进行滤波处理。需要说明的是，参考参数(编码参数)不限于量化参数(QP)，CNN滤波器107j也能利用一个以上的编码参数。

CNN参数编码部115获取CNN参数确定部114所输出的CNN参数，对CNN参数进行编码并输出至复用部116。

复用部116将熵编码部104所输出的编码数据与CNN参数编码部115进行了编码的CNN参数复用生成流，并将流输出至外部。

图30是表示本实施方式的图像解码装置的构成的框图。本实施方式的图像解码装置31j在CNN滤波器305j获取CNN参数，并使用获取到的CNN参数进行滤波处理。此外，CNN滤波器305j所使用的CNN参数以序列为单位、以图片为单位等动态地更新。

如图30所示，除了图5所示的图像解码装置31所具备的构成之外，本实施方式的图像解码装置31j还具备解复用部313和CNN参数解码部314。

解复用部313输入流，对编码数据和编码后的CNN参数进行解复用。

CNN参数解码部314对编码后的CNN参数进行解码，并输出至CNN滤波器305j。

需要说明的是，可以通过计算机实现前述的实施方式中的图像编码装置11、图像解码装置31的一部分，例如，熵解码部301、预测参数解码部302、CNN滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、CNN滤波器107、编码参数确定部110以及预测参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于图像编码装置11、图像解码装置31中的任一个的计算机系统，采用包括OS、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读记录介质”也可以包括：像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质；以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外，上述程序可以是用于实现上述功能的一部分的程序，还也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。

此外，也可以将上述的实施方式中的图像编码装置11、图像解码装置31中的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路而实现。图像编码装置11、图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法并不限于LSI，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。

以上，参照附图对该发明的一实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。

〔应用例〕

上述图像编码装置11和图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。

首先，参照图31对能将上述的图像编码装置11和图像解码装置31用于运动图像的发送和接收的情况进行说明。

图31的(a)是表示搭载有图像编码装置11的发送装置PROD_A的构成的框图。如图31的(a)所示，发送装置PROD_A具备：通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的图像编码装置11被用作该编码部PROD_A1。

作为输入至编码部PROD_A1的运动图像的供给源，发送装置PROD_A也可以进一步具备：拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。在图31的(a)中举例示出了发送装置PROD_A具备全部这些的构成，但也可以省略一部分。

需要说明的是，记录介质PROD_A5可以是记录有未被编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。

图31的(b)是表示搭载有图像解码装置31的接收装置PROD_B的构成的框图。如图31的(b)所示，接收装置PROD_B具备：接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的图像解码装置31被用作该解码部PROD_B3。

接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地，也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图31的(b)中举例示出了接收装置PROD_B具备全部这些的构成，但也可以省略一部分。

需要说明的是，记录介质PROD_B5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。

需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先确定的发送方案)，也可以是通信(在此，指发送目的地已预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信的任一个来实现。

例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。

此外，使用互联网的VOD(Video On Demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常，在LAN中使用无线或有线的任一个作为传输介质，在WAN中使用有线作为传输介质)。在此，个人计算机包括台式PC、膝上型PC以及平板型PC。此外，智能手机中也包括多功能便携电话终端。

需要说明的是，运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。

接着，参照图32，对能将上述的图像编码装置11和图像解码装置31用于运动图像的记录和再现的情况进行说明。

图32的(a)是表示搭载有上述的图像编码装置11的记录装置PROD_C的构成的框图。如图32的(a)所示，记录装置PROD_C具备：通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的图像编码装置11被用作该编码部PROD_C1。

需要说明的是，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质，也可以是(2)如SD存储卡、USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质，还可以是(3)如DVD(Digital_Versatile Disc：数字通用光盘)、BD(Blu-ray Disc：蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。

此外，作为输入至编码部PROD_C1的运动图像的供给源，记录装置PROD_C也可以进一步具备：拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图32的(a)中举例示出了记录装置PROD_C具备全部这些的构成，但也可以省略一部分。

需要说明的是，接收部PROD_C5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。

作为这种记录装置PROD_C，例如可举出：DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外，便携式摄像机(在该情况下，摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(在该情况下，摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。

图32的(b)是表示搭载有上述的图像解码装置31的再现装置PROD_D的构成的框图。如图32的(b)所示，再现装置PROD_D具备：读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的图像解码装置31被用作该解码部PROD_D2。

需要说明的是，记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质，也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质，也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。

此外，作为解码部PROD_D2所输出的运动图像的供给目的地，再现装置PROD_D也可以进一步具备：显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图32的(b)中举例示出了再现装置PROD_D具备全部这些的构成，但也可以省略一部分。

需要说明的是，发送部PROD_D5可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。

作为这种再现装置PROD_D，例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外，电视接收机(在该情况下，显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。

(硬件实现以及软件实现)

此外，上述的图像解码装置31以及图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以利用CPU(Central Processing Unit：中央处理器)而以软件方式地实现。

在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(Random AccessMemory：随机存取存储器)、以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后，本发明的实施方案的目的在于通过以下方式也能达到：将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。

作为上述记录介质，例如能使用：磁带、盒式磁带等带类；包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你磁光盘)/DVD(Digital Versatile Disc：数字通用光盘)/CD-R(CD Recordable：光盘刻录片)/蓝光光盘(Blu-ray Disc：注册商标)等光盘的盘类；IC卡(包括存储卡)/光卡等卡类；掩模ROM/EPROM(Erasable ProgrammableRead-Only Memory：可擦可编程只读存储器)/EEPROM(ElectricallyErasableandProgrammableRead-OnlyMemory：电可擦可编程只读存储器)/闪存ROM等半导体存储器类；或者PLD(Programmable logic device：可编程逻辑器件)、FPGA(Field Programmable GateArray：现场可编程门阵列)等逻辑电路类等。

此外，也可以将上述各装置构成为能与通信网络连接，并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可，不被特别限定。例如，可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network：局域网)、ISDN(IntegratedServices Digital Network：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(Community Antenna television/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也是为能传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line：非对称数字用户线路)线路等有线中，还是在如IrDA(InfraredData Association：红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。

本发明的实施方式并不限定于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而获得的实施方式也包括在本发明的技术范围内。

〔总结〕

本发明的方案1的图像滤波装置(CNN滤波器107、305)具备神经网络，该神经网络被输入一个或多个第一种输入图像数据以及一个或多个第二种输入图像数据，输出一个或多个第一种输出图像数据，所述一个或多个第一种输入图像数据将亮度或色差作为像素值，所述一个或多个第二种输入图像数据将与用于生成预测图像和差分图像的参考参数对应的值作为像素值，所述一个或多个第一种输出图像数据将亮度或色差作为像素值。

根据上述的构成，能对输入图像数据应用与图像特性对应的滤波。

本发明的方案2的图像滤波装置(CNN滤波器107、305)也可以在上述方案1中进一步具备更新上述神经网络所使用的神经网络参数的参数确定部(CNN参数确定部114)。

根据上述的构成，能更新神经网络所使用的参数。

本发明的方案3的图像滤波装置(CNN滤波器107、305)也可以是，在上述方案1或2中，上述参考参数中包括该图像滤波装置发挥作用的图像的量化参数。

本发明的方案4的图像滤波装置(CNN滤波器107、305)也可以是，在上述方案1～3中，上述参考参数中包括表示该图像滤波装置发挥作用的图像的帧内预测和帧间预测的类别的参数。

本发明的方案5的图像滤波装置(CNN滤波器107、305)也可以是，在上述方案1～4中，上述参考参数中包括表示该图像滤波装置发挥作用的图像的帧内预测方向的参数(帧内预测模式)。

本发明的方案6的图像滤波装置(CNN滤波器107、305)也可以是，在上述方案1～4中，上述参考参数中包括表示该图像滤波装置发挥作用的图像的分区的分割深度的参数。

本发明的方案7的图像滤波装置(CNN滤波器107、305)也可以是，在上述方案1～6中，上述参考参数中包括表示该图像滤波装置发挥作用的图像的分区的大小的参数。

本发明的方案8的图像滤波装置(CNN滤波器107、305)也可以在上述方案1～7中具备将输入上述神经网络的上述第一种输入图像数据作为输出图像的第二神经网络。

在本发明的方案9的图像滤波装置(CNN滤波器107、305)中，也可以是，上述方案1～8中的上述神经网络以将第一色差(Cb)和第二色差(Cr)作为像素值的上述第一种输入图像数据和上述第二种输入图像数据为输入，输出将第一色差(Cb)和第二色差(Cr)作为像素值的第一种输出图像数据。

在本发明的方案10的图像滤波装置(CNN滤波器107、305)中，也可以是，上述方案1～8中的上述神经网络具备如下组件：被输入将亮度作为像素值的上述第一种输入图像数据和上述第二种输入图像数据，输出将亮度作为像素值的第一种输出图像数据；以及被输入将第一色差和第二色差作为像素值的上述第一种输入图像数据和上述第二种输入图像数据，输出将第一色差和第二色差作为像素值的第一种输出图像数据。

本发明的方案11的图像滤波装置(CNN滤波器107d、107f)具备：多个专用神经网络(107d1、107f1)；以及公共神经网络(107d3、107f3)，上述专用神经网络(107d1、107f1)根据向该图像滤波装置(107)输入的输入图像数据的滤波参数值选择性地作用于该输入图像数据，上述公共神经网络(107d3、107f3)与上述滤波参数值无关地共同作用于上述专用神经网络的输出图像数据。

根据上述的构成，能对图像数据实施基于滤波参数值的滤波处理和不基于滤波参数值的滤波处理两方。

本发明的方案12的图像滤波装置(CNN滤波器107e)具备：多个专用神经网络(107e2)；以及公共神经网络(107e1)，上述公共神经网络(107e1)作用于向该图像滤波装置(107)输入的输入图像数据，上述专用神经网络(107e2)根据上述输入图像数据的滤波参数值选择性地作用于上述公共神经网络的输出图像数据。

根据上述构成，起到与方案3相同的效果。

本发明的方案13的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案11或12中，上述滤波参数是该图像滤波装置发挥作用的图像的量化参数。

根据上述的构成，能使用与图像对应的滤波参数。

本发明的方案14的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案11或12中，上述滤波参数是表示该图像滤波装置发挥作用的图像的帧内预测和帧间预测的类别的参数。

本发明的方案15的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案11或12中，上述滤波参数是表示该图像滤波装置发挥作用的图像的帧内预测方向的参数(帧内预测模式)。

本发明的方案16的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案11或12中，上述滤波参数是表示该图像滤波装置发挥作用的图像的分区的分割深度的参数。

本发明的方案17的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案11或12中，上述滤波参数是表示该图像滤波装置发挥作用的图像的分区的大小的参数。

本发明的方案18的图像解码装置(31、31j)是一种对图像进行解码的图像解码装置，其中，具备方案1～15的图像滤波装置作为作用于解码图像的滤波器。

本发明的方案19的图像编码装置(11、11j)是一种对图像进行编码的图像编码装置，其中，具备方案1～15的图像滤波装置作为作用于局部解码图像的滤波器。

此外，本发明的方案13～17可以采用以下的构成。

本发明的方案13的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案9或10中，上述滤波参数是该图像滤波装置发挥作用的图像的量化参数的平均值。

根据上述的构成，能使用与所有图像对应的滤波参数。

本发明的方案14的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案9或10中，上述滤波参数是表示该图像滤波装置发挥作用的图像的帧内预测和帧间预测的类别的参数的平均值。

本发明的方案15的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案9或10中，上述滤波参数是表示该图像滤波装置发挥作用的图像的帧内预测方向的参数(帧内预测模式)的平均值。

本发明的方案16的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案9或10中，上述滤波参数是表示该图像滤波装置发挥作用的图像的分区的分割深度的参数的平均值。

本发明的方案17的图像滤波装置(CNN滤波器107d、107e、107f)也可以是，在上述方案9或10中，上述滤波参数是表示该图像滤波装置发挥作用的图像的分区的大小的参数的平均值。

本发明并不限定于上述的各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而获得的实施方式也包括在本发明的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。

工业上的可利用性

本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的图像解码装置，以及生成将图像数据编码而得到的编码数据的图像编码装置。此外，能优选地应用于由图像编码装置生成并被图像解码装置参考的编码数据的数据结构。

(相关申请的交叉引用)

本申请涉及于2017年8月10日提出申请的申请号为2017-155903号的申请以及于2018年3月20日提出申请的申请号为2018-053226号的申请，并基于上述申请主张优先权。所述申请的内容通过参照包括在本说明书中。

符号说明

11 图像编码装置

31 图像解码装置

107 CNN滤波器(图像滤波装置)

114 CNN参数确定部(参数确定部)

Claims (19)

1.一种图像滤波装置，其特征在于，

在图像滤波装置中具备神经网络，

所述神经网络被输入一个或多个第一种输入图像数据以及一个或多个第二种输入图像数据，输出一个或多个第一种输出图像数据，所述一个或多个第一种输入图像数据将亮度或色差作为像素值，所述一个或多个第二种输入图像数据将与用于生成预测图像或差分图像的参考参数对应的值作为像素值，所述一个或多个第一种输出图像数据将亮度或色差作为像素值。

2.根据权利要求1所述的图像滤波装置，其特征在于，

还具备更新上述神经网络所使用的神经网络参数的参数确定部。

3.根据权利要求1或2所述的图像滤波装置，其特征在于，

上述参考参数中包括所述图像滤波装置发挥作用的图像的量化参数。

4.根据权利要求1～3中任一项所述的图像滤波装置，其特征在于，

上述参考参数中包括表示所述图像滤波装置发挥作用的图像的帧内预测和帧间预测的类别的参数。

5.根据权利要求1～4中任一项所述的图像滤波装置，其特征在于，

上述参考参数中包括表示所述图像滤波装置发挥作用的图像的帧内预测方向的参数，即帧内预测模式。

6.根据权利要求1～5中任一项所述的图像滤波装置，其特征在于，

上述参考参数中包括表示所述图像滤波装置发挥作用的图像的分区的分割深度的参数。

7.根据权利要求1～6中任一项所述的图像滤波装置，其特征在于，

上述参考参数中包括所述图像滤波装置发挥作用的图像的分区的大小的参数。

8.根据权利要求1～7中任一项所述的图像滤波装置，其特征在于，

具备将输入上述神经网络的上述第一种输入图像数据作为输出图像的第二神经网络。

9.根据权利要求1～8中任一项所述的图像滤波装置，其特征在于，

上述神经网络以将第一色差和第二色差作为像素值的上述第一种输入图像数据和上述第二种输入图像数据为输入，输出将第一色差和第二色差作为像素值的第一种输出图像数据。

10.根据权利要求1～8中任一项所述的图像滤波装置，其特征在于，

上述神经网络具备：

被输入将亮度作为像素值的上述第一种输入图像数据和上述第二种输入图像数据，输出将亮度作为像素值的第一种输出图像数据的组件；以及

被输入将第一色差和第二色差作为像素值的上述第一种输入图像数据和上述第二种输入图像数据，输出将第一色差和第二色差作为像素值的第一种输出图像数据的组件。

11.一种图像滤波装置，其特征在于，

在图像滤波装置中具备：

多个专用神经网络；和

公共神经网络，

上述专用神经网络根据向所述图像滤波装置输入的输入图像数据的滤波参数值选择性地作用于所述输入图像数据，

上述公共神经网络与上述滤波参数值无关地共同作用于上述专用神经网络的输出图像数据。

12.一种图像滤波装置，其特征在于，

在图像滤波装置中具备：

多个专用神经网络；和

公共神经网络，

上述公共神经网络作用于向所述图像滤波装置输入的输入图像数据，

上述专用神经网络根据上述输入图像数据的滤波参数值选择性地作用于上述公共神经网络的输出图像数据。

13.根据权利要求11或12所述的图像滤波装置，其特征在于，

上述滤波参数是所述图像滤波装置发挥作用的图像的量化参数。

14.根据权利要求11或12所述的图像滤波装置，其特征在于，

上述滤波参数是表示所述图像滤波装置发挥作用的图像的帧内预测和帧间预测的类别的参数。

15.根据权利要求11或12所述的图像滤波装置，其特征在于，

上述滤波参数是表示所述图像滤波装置发挥作用的图像的帧内预测方向的参数，即帧内预测模式。

16.根据权利要求11或12所述的图像滤波装置，其特征在于，

上述滤波参数是表示所述图像滤波装置发挥作用的图像的分区的分割深度的参数。

17.根据权利要求11或12所述的图像滤波装置，其特征在于，

上述滤波参数是表示所述图像滤波装置发挥作用的图像的分区的大小的参数。

18.一种对图像进行解码的图像解码装置，其中，

具备权利要求1～17中任一项所述的图像滤波装置作为作用于解码图像的滤波器。

19.一种对图像进行编码的图像编码装置，其中，

具备权利要求1～17中任一项所述的图像滤波装置作为作用于局部解码图像的滤波器。

Images