CN109644268B - 包括基于cnn的环路滤波器的编码方法与装置及解码方法与装置 - Google Patents

Abstract

本发明涉及一种包括基于CNN的环路滤波器的编码装置及解码装置。根据一实施例的编码装置，包括：滤波部，通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息；逆滤波部，通过对所述滤波信息执行逆滤波而生成逆滤波信息；预测部，基于所述原始图像与重建信息生成所述预测图像；基于CNN的环路滤波器，输入得到所述逆滤波信息与所述预测图像，从而输出所述重建信息；以及编码部，基于所述滤波信息与所述预测图像信息执行编码。

Description

包括基于CNN的环路滤波器的编码方法与装置及解码方法与 装置

技术领域

下列的实施例涉及包括基于CNN的环路滤波器的编码方法与装置及解码方法与装置。

背景技术

现有的环路滤波技术，是为缓解由于量化导致的因邻近的编码块间像素值的差异引起的区块边界在视觉上十分刺眼的问题，沿着区块边界，利用区块编码类型、区块边界像素强度、运动信息、量化后残差信号存在信息等，缓解邻近编码块的边界的像素间差异的方法。此时，尽管通过使用固定的滤波器系数而未传送系数，但仅在缓解编码块的边界的画质退化方面具有效果。

近来，在高效率视频编码(HEVC，High Efficiency Video Coding)标准中，不仅对编码块边界适用去区块滤波(de-blocking filtering)，进一步地，还适用用于减少由于量化引起的在图像边缘引起垂直方向发生的环状伪影(ringing artefact)及亮度差伪影的取样自适应偏移(Sample Adaptive Offset)滤波作为第二次环路滤波。此时，不仅不能很好地改善高频模糊伪影(blurring artefact)，此外，由于需要将样本偏移及边缘方向类型传送至解码器，由此，在提高编码效率方面具有局限。

发明内容

要解决的技术问题

实施例能够提供技术，通过执行环路滤波改善由于量化引起的区块边界伪影、环状伪影、以及高频模糊伪影(blurring artefact)。

并且，实施例能够提供技术，在编码装置及解码装置中使用得到训练的基于CNN的环路滤波器，不传送环路滤波器系数的同时改善画质。

并且，实施例能够提供技术，编码装置及解码装置使用得到训练的基于CNN的环路滤波器，将画质得到改善的帧作为参考帧，很大地提高编码效率或解码效率。

并且，实施例能够提供技术，按照切片类型适用环路滤波。

并且，实施例能够提供技术，按照编码块适用环路滤波。

并且，实施例能够提供技术，按照指定的图像区域适用环路滤波。

解决问题的技术方法

根据一实施例的基于CNN的环路滤波器学习方法，包括以下步骤：通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息(filteringinformation)；通过对所述滤波信息执行逆滤波而生成逆滤波信息(inverse filteringinformation)；通过将所述逆滤波信息输入至基于CNN的环路滤波器(CNN based in-loopfilter)而生成重建信息；计算所述重建信息与基于所述原始图像的原始信息的差异；以及基于所述差异调整所述基于CNN的环路滤波器的权重(weight)，并且，所述预测图像基于所述原始图像与所述重建信息生成。

生成所述滤波信息的步骤，包括：通过对所述残差图像进行变换及量化，从而生成滤波信息的步骤，生成所述逆滤波信息的步骤，包括：通过对所述滤波信息进行反量化及反变换，从而生成逆滤波信息的步骤。

生成所述滤波信息的步骤包括：基于根据量化参数(quantization parameter)的量化区间，对所述残差图像执行滤波的步骤，所述调整步骤，包括：调整对于所述量化区间的权重的步骤。

生成所述滤波信息的步骤，包括：基于根据畸变值的畸变值区间对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述畸变值区间的权重的步骤。

生成所述滤波信息的步骤，包括：基于图像特性的纹理复杂度区间，对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述纹理复杂度区间的权重的步骤。

生成所述滤波信息的步骤，包括：基于图像特性的运动复杂度区间对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述运动复杂度区间的权重的步骤。

生成所述重建信息的步骤，包括：通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息的步骤，所述重建信息的形式与所述原始图像的形式相同。

通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息的步骤，包括：对所述预测信息执行环路滤波的步骤。

生成所述重建信息的步骤，包括：通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息的步骤，所述重建信息的形式与所述残差图像的形式相同。

通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息的步骤，包括：对所述预测信息执行环路滤波的步骤。

根据一实施例的编码装置，包括：滤波部，通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息；逆滤波部，通过对所述滤波信息执行逆滤波而生成逆滤波信息；预测部(estimator)，基于所述原始图像与重建信息生成所述预测图像；基于CNN的环路滤波器，输入得到所述逆滤波信息与所述预测图像，从而输出所述重建信息；以及编码部(encoder)，基于所述滤波信息与所述预测图像信息执行编码。

所述滤波部，通过对所述残差图像进行变换及量化而生成滤波信息，所述逆滤波部，通过对所述滤波信息进行反量化及反变换而生成逆滤波信息。

所述重建信息的形式与所述原始图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息。

所述装置还包括对所述预测信息执行环路滤波的环路滤波器。

所述环路滤波器，包括：去区块滤波器(deblocking filter(DF))、取样自适应偏移滤波器(sample adaptive offset(SAO)filter)，以及自适应环路滤波器(adaptiveloop filter(ALF))中的至少一个。

所述重建信息的形式与所述残差图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息。

所述装置还包括对所述预测信息执行环路滤波的环路滤波器。

所述装置还包括对所述重建信息执行环路滤波的环路滤波器。

根据一实施例的解码装置，包括：熵解码部(entropy decoder)，对编码的比特流信息进行解码从而输出滤波信息与待预测信息；逆滤波部，通过对所述滤波信息执行逆滤波而生成逆滤波信息；预测部，基于所述待预测信息生成预测图像；以及基于CNN的环路滤波器，输入得到所述逆滤波信息与所述预测图像，从而输出重建信息。

所述重建信息的形式与所述原始图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息。

所述装置还包括对所述逆滤波信息执行环路滤波的环路滤波器。

所述环路滤波器，包括：去区块滤波器(DF)、取样自适应偏移滤波器(SAOfilter)，以及自适应环路滤波器(ALF)中的至少一个。

所述重建信息的形式与所述残差图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息。

所述装置还包括通过对所述重建信息与所述预测图像进行相加而生成最终重建信息的加法器。

所述装置还包括对所述逆滤波信息执行环路滤波的环路滤波器。

所述环路滤波器，包括：去区块滤波器(DF)、取样自适应偏移滤波器(SAOfilter)，以及自适应环路滤波器(ALF)中的至少一个。

所述重建信息的形式与所述残差图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息输入至所述基于CNN的环路滤波器，从而生成残差重建信息。

所述装置还包括对所述残差重建信息与所述预测图像进行相加而生成最终重建信息的加法器。

所述装置还包括对所述最终重建信息执行环路滤波的环路滤波器。

所述环路滤波器，包括：去区块滤波器(DF)、取样自适应偏移滤波器(SAOfilter)，以及自适应环路滤波器(ALF)中的至少任一个。

附图说明

图1为说明利用编码装置和/或解码装置的系统的一例的附图。

图2a为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图的一例的附图。

图2b为显示图1所示的预测部的模块图的一例的附图。

图3为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图另一例的附图。

图4为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图的另一例的附图。

图5为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图另一例的附图。

图6为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图的另一例的附图。

图7为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图的另一例的附图。

图8a为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图的一例的附图。

图8b为显示图8a所示的预测部的模块图的一例的附图。

图9为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

图10为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

图11为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

图12为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

图13为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

图14为说明根据一实施例的基于CNN的环路滤波器的结构的附图。

图15为说明根据一实施例的基于CNN的环路滤波器的按照区间的训练方法的附图。

图16为说明根据一实施例的基于CNN的环路滤波器的按照区间的训练方法的附图。

图17为说明根据一实施例的基于CNN的环路滤波器的训练方法的附图的一例。

图18为说明根据一实施例的基于CNN的环路滤波器的适用方法的附图的另一例。

图19为说明根据一实施例的基于CNN的环路滤波器的适用方法的附图的另一例。

图20为说明根据一实施例的基于CNN的环路滤波器的适用方法的附图的另一例。

图21为说明根据一实施例的基于CNN的环路滤波器的适用方法的附图的另一例。

具体实施方式

本发明所公开的根据本发明的概念的实施例，对于特定结构或者功能的说明仅用于对按照本发明的概念的实施例进行说明，由此，根据本发明的概念的实施例能够以多种形态进行实施，并非限定于本发明说明的实施例。

根据本发明的概念的实施例能够进行多种变更，并且，能够具有多种形态，由此，将实施例示例于附图中并在本说明书中进行详细说明。然而，这并非用于将按照本发明的概念的实施例限定于特定的公开形态，还应包括本发明的思想及技术范围内的变更、均等物，或替代物。

第一或第二等术语能够用于说明多种构成要素，然而，所述构成要素并非限定于所述术语。所述术语仅用于将一个构成要素区别于其他构成要素，例如，在不脱离基于本发明的概念的权利要求范围内，第一构成要素能够命名为第二构成要素，类似地，第二构成要素同样能够命名为第一构成要素。

当说明一个构成要素“连接”或者“接触”另一个构成要素时，能够直接连接或接触于其他构成要素，然而，也能够理解为在其中存在其他构成要素。相反，当说明一个构成要素“直接连接”或“直接接触”时，应理解为在其中不存在其他构成要素。说明构成要素间关系的表达，例如“在～之间”与“直接在～之间”或者“直接邻近于～”等也应以相同方式进行解释。

实施利中使用的术语仅用于说明特定实施例，并非用于限定实施例。在内容中没有特别说明的情况下，单数表达包括复数含义。在本说明书中，“包括”或者“具有”等术语用于表达存在说明书中所记载的特征、数字、步骤、操作、构成要素、配件或其组合，并不排除还具有一个或以上的其他特征、数字、步骤、操作、构成要素、配件或其组合，或者附加功能。

在没有其他定义的情况下，包括技术或者科学术语在内的在此使用的全部术语，都具有本领域普通技术人员所理解的通常的含义。通常使用的与词典定义相同的术语，应理解为与相关技术的通常的内容相一致的含义，在本申请中没有明确言及的情况下，不能理想化或解释为过度的形式上的含义。

下面，将参照附图对实施例进行详细说明。然而，专利申请范围并非限定于或受限于上述实施例。各附图中使用的相同的附图标记表示相同的部件。

图1为说明利用编码装置和/或解码装置的系统的一例的附图。

参照图1，利用编码装置和/或解码装置的系统10能够包括用户终端11与服务器终端12。用户终端11能够包括电子装置(electronic device)。电子装置能够体现为个人电脑(personal computer，PC)、数据服务器、电视机(TV)，或便携设备。

便携设备能够体现为笔记本电脑(laptop)、移动电话、智能手机(smart phone)、平板(tablet)电脑、移动联网设备(mobile internet device，MID)、个人数码助理(personal digital assistant，PDA)、企业数字助理(enterprise digital assistant，EDA)、静态式数字照相机(digital still camera)、数字摄像机(digital video camera)、便携式多媒体播放器(portable multimedia player，PMP)、便携式游戏机(playstationportable，PSP)、个人/便携式导航设备(personal navigation device或者portablenavigation device，PND)、掌上游戏机(handheld game console)、无线通信终端(wireless communication terminal)、电子书(e-book)，或数码设备(smart device)。

服务器终端12能够包括应用服务器或服务服务器等。

用户终端11与服务器终端12能够包括：用于与各种设备或者有线/无线通信网(network)进行通信的通信调制解调器等通信装置、为了对图像进行编码或解码，或者编码及解码，而存储为进行画面间(inter)或者画面内(intra)预测的各种程序与数据的存储器18、执行程序而实现计算及控制的处理器14等的多种设备。

并且，用户终端11与服务器终端12能够将通过编码装置编码为比特流(bitstream)的图像传送至图像解码装置。例如，用户终端11与服务器终端12能够实时或非实时地将编码的图像传送至图像解码装置。

用户终端11与服务器终端12能够通过有线/无线通信网络或者多种通信接口，将编码的图像传送至图像解码装置。例如，有限/无线通信网能够是互联网、近距离无线通信网、无线局域网、无线宽带接入网，或者移动通信网等。通信接口能够包括电缆，或者通用串行总线(Universal Serial Bus，USB)等。

并且，通过编码装置编码为比特流的图像，能够通过可计算机读写的记录媒介从编码装置传送至解码装置。

解码装置能够将编码的图像进行解码，从而再生重建的图像。

编码装置与解码装置能够分别是不同的装置，也能够根据体现为一个编码及解码装置。当使用一个编码及解码装置时，编码装置的预测部、反量化部、反变换部、加法部、滤波器部及DPB按照记载的顺序与解码装置的预测部、反量化部、反变换部、加法部、滤波器部及DPB实质上是相同的技术要素，由此，能够体现为至少包括相同的结构或至少执行相同的功能。并且，熵编码部当执行逆向功能时，能够与熵解码部对应。

由此，在接下来的对于技术要素以及技术要素的作用原理等的详细说明中，省略相应技术要素的重复说明。

并且，解码装置是将编码装置执行的编码方法适用于解码的计算装置，在下面的说明中，以编码装置为主进行说明。编码装置能够称为编码器，解码装置能够称为解码器。

图2a为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图的一例的附图，图2b为显示图1所示的预测部的模块图的一例的附图。

参照2a及图2b，编码装置100包括变换及量化部120(transformer andquantizer)、熵编码部130(entropy encoder)、反量化及反变换部140(inverse-quantizerand inverse-transformer)、基于CNN的环路滤波器150a(CNN based in-loop filter)、解码图像缓存160(decoded picture buffer，DPB)、预测部170(estimator)，以及多个加法器(adder)。

编码装置100能够对输入图像110(input image)或者输入切片110(input slice)进行编码(encoding)。例如，编码装置100能够对分割输入图像110或输入切片110的多个像素块f进行编码。编码装置100还能够包括分割输入图像110或输入切片110的分割部(未图示)。分割部(未图示)能够将输入图像110或输入切片110分割为指定大小(M×N)的区块。此时，M或N能够是1以上的自然数。

分割部(未图示)能够基于输入图像110或输入切片110的特性或分辨率等决定区块的大小(M×N)。分割部(未图示)能够将区块的大小(M×N)确定为2的乘方。分割部(未图示)能够将区块的大小(M×N)确定为正方形或矩形。例如，当分割部(未图示)确定为正方形时，区块的大小(M×N)能够是256×256、128×128、64×64、32×32、16×16、8×8，或4×4等。

加法器能够基于像素块f及预测块

生成残差块e。例如，残差块e能够是相当于像素块f及预测块

的差异的区块。预测块

能够是预测部170对像素块(f)使用画面内预测(intra prediction)或画面间预测(inter prediction)等生成的区块。变换及量化部120能够对残差块e进行变换及量化。变换及量化部120能够通过向残差块e执行变换及量化而非对像素块f执行变换及量化，从而提高编码效率。

变换及量化部120能够通过向残差块e执行滤波生成滤波信息

(filtering information；

)。例如，变换及量化部120能够向残差块e进行变换和/或量化。

变换及量化部120能够将残差块e变换为频域(frequency domain)。残差块e的各像素能够对应变换的残差块的变换系数。

变换及量化部120能够使用变换矩阵变换残差块e。变换矩阵能够是一维、二维，或三维变换矩阵。例如，变换及量化部120能够以离散余弦变换(discrete cosinetransform，DCT)、离散正弦变换(discrete cosine transform，DST)、水平、垂直单位等使用变换矩阵。变换及量化部120能够根据残差块e的大小、形态、类型(亮度/色差)、编码模式、预测模式信息、量化参数、或邻居区块的编码信息等确定是否使用变换矩阵。变换及量化部120能够变换残差块e生成变换区块E。

变换及量化部120能够对变换块E执行量化，从而输出量化的残差

变换及量化部120能够对变换块E的变换系数执行量化。变换及量化部120能够根据基于量化参数(quantization parameter，QP)的量化区间、基于图像信号特性的畸变值区间、基于图像信号特性的纹理复杂度区间，以及基于图像信号特性的运动复杂度区间中的至少一个以上对残差图像e执行滤波。图像信号能够包括残差块e。

变换及量化部120能够基于量化参数(QP)执行量化。变换及量化部120能够根据变换块E的区块单位确定量化参数。量化参数能够确定为序列(sequence)、图像(picture)、切片(slice)，或者区块(block)等单位。

变换及量化部120能够从变换块E的邻居区块诱导至少一个量化参数。变换及量化部120能够使用至少一个量化参数预测变换块E的量化参数。例如，变换及量化部120能够从变换块E的左、左上、左下、上、右上、右下、下等邻居区块诱导至少一个量化参数。变换及量化部120计算从预测的量化参数与邻居区块诱导的量化参数的差分，并传送至熵编码部130。

当变换及量化部120无法从变换块E的邻居区块诱导量化参数时，变换及量化部120基于以序列、图像、切片，或者区块等单位传送的参数设定量化参数。变换及量化部120能够计算基本参数与量化参数的差分并传送至熵编码部130。

变换及量化部120能够将量化的残差变换

传送至熵编码部130和/或反量化及反变换部140。

熵编码部130能够对预测块

和/或量化的残差变换

执行熵编码。例如，熵编码部130能够使用基于上下文自适应变长编码(CAVLC)、基于上下文自适应的二进制算术编码(CABAC)、或基于语法的上下文自适应二进制算术编码(SBAC)等编码方式执行熵编码。

熵编码部130能够执行熵编码，从而将编码数据输出为比特流。编码数据能够包括将量化参数进行编码的比特流与将编码的比特流进行解码所需的多种信息。并且，编码数据能够包括编码的区块形态、量化参数、量化区块编码的比特流，以及预测所需的信息等。

反量化及反变换部140能够对滤波信息

进行逆滤波而生成逆滤波信息(inversefiltering information；

)。逆滤波信息

能够是指重建残差块

例如，反量化及反变换部140能够对量化的残差变换

执行反量化和/或反变换而生成重建残差块

反量化及反变换部140能够逆向执行变换及量化部120的动作。例如，反量化及反变换部140能够对量化的残差变换

执行反量化，并执行反变换。反量化及反变换部140能够将变换及量化部120的变换结构及量化结构构成为相反的方式。

在图1中为说明的便利，将变换及量化部120图示为执行变换及量化的方式，然而，并非限定于此，能够分别体现为对残差块e进行变换的变换部，对残差块e进行量化的量化部。

并且，反量化及反变换部140虽图示为执行反量化及反变换的方式，但并非限定于此，能够分别体现为将量化的残差变换

反量化的反量化部，与将量化的残差变换

反变换的反变换部。

加法器能够基于预测块

及重建残差块

生成初始重建块

(preliminary reconstruction)。初始重建块

能够是将预测块

及重建残差块

相加的区块。

基于CNN的环路滤波器150a对预测信息执行环路滤波而生成重建信息。预测信息能够是初始重建块

二次重建块

或者重建残差块

等。重建信息能够是重建块

二次重建残差块

或者

)最终重建块

等。在图2a及图2b中，对基于CNN的环路滤波器150a对初始重建块

)行环路滤波而生成重建块

的动作进行说明。

基于CNN的环路滤波器150a能够对二次预测块(初始重建块

)执行环路滤波而生成重建块

初始重建块

能够是将重建残差块

与预测块

相加的区块。重建块

能够是相比预测块

或初始重建块

画质得到提高的区块。

基于CNN的环路滤波器150a能够使用深度卷积神经网络(deep convolutionalneural network)。即，基于CNN的环路滤波器150a能够基于多个训练数据得到训练。基于CNN的环路滤波器150a能够训练为对任意的输入图像生成适合的输出图像。

基于CNN的环路滤波器150a能够包括输入层(input layer)、隐藏层(hiddenlayer)，以及输出层(output layer)。输入层(input layer)、隐藏层(hidden layer)，及输出层(output layer)能够分别包括多个节点。

邻近的层之间的节点能够以具有连接权重的方式相互连接。各节点能够基于活性化模型动作。能够根据活性化模型确定对应输入值的输出值。任意节点的输出值能够输入为与相应节点连接的下一层的节点。下一层的节点能够输入有从多个节点输出的值。在任意节点的输出值输入为下一层的节点的过程中，能够适用连接权重。下一层的节点能够基于活性化模型将对应输入值的输出值输出至与相应节点连接的下一层节点。

输出层能够包括对应环路滤波的节点。输出层的节点能够输出对应执行环路滤波的图像(或区块)的特征值。

基于CNN的环路滤波器150a能够对初始重建块

按照切片、编码块、或者指定的区域执行滤波。对此，编码装置100对作为滤波的结果生成的重建块

进行编码，改善编码效率与复杂度。

基于CNN的环路滤波器150a能够对初始重建块

执行滤波而生成重建块

即，基于CNN的环路滤波器150a能够学习从而基于初始重建块

生成重建块

例如，基于CNN的环路滤波器150a能够学习从而基于初始重建块

及像素块f生成重建块

基于CNN的环路滤波器150a能够将重建块

传送至解码图像缓存160。

下面的内容中将参考附图，对基于CNN的环路滤波器150a的构成、训练方法等进行说明。

解码图像缓存160能够存储重建块

或将其输出至显示装置等进行显示(display)。

当解码图像缓存160存储重建块

时，解码图像缓存160在预测部170生成预测块

时，传送重建块

而实现使用。例如，预测部170在之后的画面内预测(intraprediction)或者画面间预测(inter prediction)动作过程中，使用重建块

生成预测块

预测部170能够基于像素块f及重建块

生成预测块

重建块

与像素块f能够具有时间差。例如，重建块

能够是相比像素块f更早生成的区块。

预测部170能够基于像素块f及重建块

生成预测块

的信息。例如，预测块

的信息能够包括画面内预测模式、画面间运动预测模式、运动区块模式，及运动向量中的至少一个。

预测部170能够包括帧内估计部171、运动估计部172、帧内预测部173、运动补偿部174、模式确定部175，以及预测图像生成部176。

帧内估计部171及运动估计部172能够接收输入图像110及(从解码图像缓存160)重建块

帧内估计部171能够基于输入图像110及重建块

确定帧内模式(intra mode)。帧内估计部171能够将帧内模式传送至帧内预测部173及熵编码部130。

帧内预测部173能够在帧内模式基于输入图像110及重建块

执行画面内预测，并传送至模式确定部175。

运动估计部172能够基于输入图像110及重建块

提取运动向量(motionvectors，MVs)。运动估计部172能够将运动向量传送至运动补偿部174。

运动补偿部174能够基于输入图像110及重建块

的运动向量补偿画面内运动，并传送至模式确定部175。

模式确定部175基于来自帧内预测部173及运动补偿部174的数据确定编码模式。例如，编码模式能够有帧内模式(intra mode)、帧间模式(inter mode)等。

预测图像生成部176能够基于模式确定部175确定的编码模式生成预测块

预测图像生成部176能够将生成的预测块

传送至加法器或者熵编码部130。

图3为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图另一例的附图。

参照图3，编码装置100包括变换及量化部120、熵编码部130、反量化及反变换部140、环路滤波器145(in-loop filter)、基于CNN的环路滤波器150b、解码图像缓存160，预测部170，及多个加法器。

图3所示的变换及量化部120、熵编码部130、反量化及反变换部140、解码图像缓存160、预测部170，及多个加法器与图2a所示的变换及量化部120、熵编码部130、反量化及反变换部140、解码图像缓存160、预测部170，及多个加法器的构成及动作实质上相同。对此，下面对环路滤波器145及基于CNN的环路滤波器150b进行说明。

环路滤波器145能够从加法器接收初始重建块

环路滤波器145对初始重建块

执行滤波生成二次重建块

环路滤波器145包括去区块滤波器(deblocking filter，DF)、取样自适应偏移滤波器(sample adaptive offset(SAO)filter)，及自适应环路滤波器(adaptive loopfilter，ALF)中的至少一个。

即，当环路滤波器145包括1个滤波器时，环路滤波器145能够体现为去区块滤波器(DF)、取样自适应偏移滤波器(SAO filter)，及自适应环路滤波器(ALF)中的一个滤波器。

当环路滤波器145包括2个滤波器时，环路滤波器145能够体现为包括去区块滤波器(DF)及取样自适应偏移滤波器(SAO filter)。或者，环路滤波器145能够体现为包括取样自适应偏移滤波器(SAO filter)及自适应环路滤波器(ALF)。或者，环路滤波器145能够体现为包括去区块滤波器(DF)及自适应环路滤波器(ALF)。

当环路滤波器145包括3个滤波器时，环路滤波器145能够体现为包括去区块滤波器(DF)、取样自适应偏移滤波器(SAO filter)，及自适应环路滤波器(ALF)。

去区块滤波器(DF)能够对初始重建块

进行滤波从而缓解在初始重建块

的边界区域出现的区块间像素值差异畸变。区块间像素值差异能够出现在量化过程中。去区块滤波器(DF)能够将确定的滤波器系数使用于滤波。

取样自适应偏移滤波器(SAO filter)能够按照编码块单位修正环状伪影(ringing artefact)或像素值区间畸变。取样自适应偏移滤波器(SAO filter)能够向对初始重建块

执行去区块滤波的结果与像素块f，以偏移重建差异值。

自适应环路滤波器(ALF)能够对初始重建块

对执行所述取样自适应偏移滤波的结果使用1阶段线性映射模型而执行滤波。

基于CNN的环路滤波器150b对预测信息执行滤波而生成重建信息。预测信息包括二次重建块

重建信息包括最终重建块

即，基于CNN的环路滤波器150b能够学习从而基于二次重建块

生成最终重建块

例如，基于CNN的环路滤波器150b能够学习从而基于二次重建块

及像素块f生成最终重建块

基于CNN的环路滤波器150b能够将重建块

传送至解码图像缓存160。

图4为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图的另一例的附图。

参照图4，编码装置100包括变换及量化部120、熵编码部130、反量化及反变换部140、基于CNN的环路滤波器150c、解码图像缓存160、预测部170，及多个加法器。

图4所示的变换及量化部120、熵编码部130、反量化及反变换部140、解码图像缓存160、预测部170，及多个加法器与图2a所示的变换及量化部120、熵编码部130、反量化及反变换部140、解码图像缓存160、预测部170，及多个加法器的构成及动作实质上相同。对此，下面对基于CNN的环路滤波器(150c)进行说明。

基于CNN的环路滤波器150c能够对预测信息执行滤波而生成重建信息。基于CNN的环路滤波器150c能够从加法器接收初始重建块

基于CNN的环路滤波器150c能够对初始重建块

执行滤波而生成重建残差块

即，基于CNN的环路滤波器150c能够学习从而基于初始重建块

生成重建残差块

例如，基于CNN的环路滤波器150c能够学习从而基于初始重建块

及残差块e生成重建残差块

基于CNN的环路滤波器150c能够将重建残差块

传送至加法器。

加法器能够对重建残差块

及预测块

进行相加而生成重建块

加法器能够将重建块

传送至解码图像缓存160。

图5为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图另一例的附图。

参照图5，编码装置100包括变换及量化部120、熵编码部130、反量化及反变换部140、环路滤波器145、基于CNN的环路滤波器150d、解码图像缓存160、预测部170，及多个加法器。

图5所示的变换及量化部120、熵编码部130、反量化及反变换部140、环路滤波器145、解码图像缓存160、预测部170，及多个加法器能够与图3所示的变换及量化部120、熵编码部130、反量化及反变换部140、环路滤波器145、解码图像缓存160、预测部170，及多个加法器具有实质上相同的构成及动作。对此，下面将对基于CNN的环路滤波器150d进行说明。

基于CNN的环路滤波器150d能够对预测信息执行环路滤波而生成重建信息。基于CNN的环路滤波器150d能够从环路滤波器145接收二次重建块

基于CNN的环路滤波器150d能够对二次重建块

执行滤波而生成重建残差块

重建残差块

能够是比图4所示的重建残差块

更接近0的值。

即，基于CNN的环路滤波器150d能够学习从而基于二次重建块

生成重建残差块

例如，基于CNN的环路滤波器150d能够学习从而基于二次重建块

及残差块e生成重建残差块

基于CNN的环路滤波器150d能够将重建残差块

传送至加法器。

加法器能够通过对重建残差块

及预测块

进行相加而生成最终重建块

加法器能够将最终重建块

传送至解码图像缓存160。

图6为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图的另一例的附图。

参照图6，编码装置100包括变换及量化部120、熵编码部130、反量化及反变换部140、基于CNN的环路滤波器150e、解码图像缓存160、预测部170，以及多个加法器。

图6所示的变换及量化部120、熵编码部130、反量化及反变换部140、解码图像缓存160、预测部170，以及多个加法器与图2a所示的变换及量化部120、熵编码部130、反量化及反变换部140、解码图像缓存160、预测部170，及多个加法器具有实质上相同的构成及动作。对此，下面将对基于CNN的环路滤波器150e进行说明。

基于CNN的环路滤波器150e能够对预测信息执行环路滤波而生成重建信息。基于CNN的环路滤波器150e能够从反量化及反变换部140接收反量化及反变换的重建残差块

基于CNN的环路滤波器150e能够对重建残差块

执行滤波而生成重建信息。重建信息能够包括二次重建残差块

即，基于CNN的环路滤波器150e能够学习从而基于重建残差块

生成二次重建残差块

例如，基于CNN的环路滤波器150e能够学习从而基于重建残差块

及残差块e生成二次重建残差块

基于CNN的环路滤波器150e能够将重建残差块

传送至加法器。

加法器能够对重建残差块

及预测块

进行相加而生成重建块

加法器能够将重建块

传送至解码图像缓存160。

图7为显示根据一实施例的包括基于CNN的环路滤波器的编码装置的模块图的另一例的附图。

参照图7，编码装置100包括变换及量化部120、熵编码部130、反量化及反变换部140、基于CNN的环路滤波器150e、环路滤波器147、解码图像缓存160、预测部170，及多个加法器。

图7所示的变换及量化部120、熵编码部130、反量化及反变换部140、基于CNN的环路滤波器150e、解码图像缓存160、预测部170，及多个加法器与图6所示的变换及量化部120、熵编码部130、反量化及反变换部140、基于CNN的环路滤波器150e、解码图像缓存160、预测部170，及多个加法器具有实质上相同的构成及动作。对此，下面将对环路滤波器147进行说明。

环路滤波器147能够从加法器接收重建块

重建块

能够是一次重建块

环路滤波器147能够对一次重建块

执行滤波而生成最终重建块

环路滤波器147能够将最终重建块

传送至解码图像缓存160。

环路滤波器147能够与图3中的说明相同，包括去区块滤波器(DF)、取样自适应偏移滤波器(SAO filter)，及自适应环路滤波器(ALF)中的至少一个。

图8a为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图的一例的附图，图8b为显示图8a所示的预测部的模块图的一例的附图。

参照图8a及图8b，解码装置200能够包括熵解码部210、反量化及反变换部220、基于CNN的环路滤波器230a、编码图像缓存240、预测部250，及加法器。

解码装置200是将在图2a至图7中的编码装置100中执行的编码方法对应于适用解码的计算装置。即，熵解码部210、反量化及反变换部220、编码图像缓存240、预测部250，及加法器与图2a所示的熵编码部130、反量化及反变换部140、变换及量化部120、解码图像缓存160、预测部170，及加法器对应。

熵解码部210通过在编码的比特流信息执行解析而实现解码。熵解码部210执行解码而输出滤波信息与待预测信息。熵解码部210能够将量化的残差

传送至反量化及反变换部140和/或预测部170。

反量化及反变换部220能够对变换和/或量化的残差

执行反量化和/或反变换而生成重建残差块

反量化及反变换部220能够将重建残差块

传送至加法器。

加法器从反量化及反变换部220接收重建残差块

从预测部170接收预测块

加法器对重建残差块

及预测块

进行相加而生成初始重建块

加法器能够将初始重建块

传送至基于CNN的环路滤波器230a。

基于CNN的环路滤波器230a能够对预测信息执行环路滤波而生成重建信息。预测信息能够包括初始重建块

重建信息能够包括重建块

如图2a所述，基于CNN的环路滤波器230a能够使用深度卷积神经网络。即，基于CNN的环路滤波器230a能够基于多个训练数据实现训练。基于CNN的环路滤波器230a能够得到训练从而对任意输入图像生成适合的输出图像。

即，基于CNN的环路滤波器230a能够包括输入层、隐藏层，及输出层。输入层、隐藏层，及输出层能够分别包括多个节点。

基于CNN的环路滤波器230a能够对二次预测块

按照切片、编码块、或指定区域执行滤波。对此，解码装置200对作为滤波结果而生成的重建块

进行解码，从而改善解码效率与复杂度。

基于CNN的环路滤波器230a能够对初始重建块

执行滤波从而生成重建块

即，基于CNN的环路滤波器230a能够学习从而基于初始重建块

生成重建块

例如，基于CNN的环路滤波器230a能够学习从而基于初始重建块

及像素块f生成重建块

基于CNN的环路滤波器230a能够将重建块

传送至编码图像缓存240。

在下面的内容中，将参照附图对基于CNN的环路滤波器230a的构成、训练方法等进行说明。

编码图像缓存240能够存储重建块

或者将其输出至显示装置而进行显示。

当编码图像缓存240存储重建块

时，编码图像缓存240在预测部250生成预测块

时传送重建块

而实现使用。例如，预测部250能够在之后的画面内预测或者画面间预测动作过程中使用重建块

而生成预测块

预测部250能够基于重建块

生成预测块

预测部250能够包括帧内预测部251、运动补偿部252，及预测图像生成部253。

帧内预测部251及运动补偿部252能够从编码图像缓存240接收重建块

从熵解码部210接收量化的残差

帧内预测部251能够在帧内模式中基于量化的残差

及重建块

执行画面内预测，并将结果值传送至预测图像生成部253。

运动补偿部252能够基于量化的残差

及重建块

的运动向量补偿画面内运动，并将结果值传送至预测图像生成部253。

预测图像生成部253能够基于帧内预测部251及运动补偿部252的结果值生成预测块

预测图像生成部253能够将生成的预测块

传送至加法器。

图9为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

参照图9，解码装置200包括熵解码部210、反量化及反变换部220、环路滤波器225、基于CNN的环路滤波器230b、编码图像缓存240、预测部250，及加法器。

图9所示的熵解码部210、反量化及反变换部220、编码图像缓存240、预测部250，以及加法器与图8a所示的解码部210、反量化及反变换部220、编码图像缓存240、预测部250，及加法器具有实质上相同的构成及动作。对此，下面将对环路滤波器225及基于CNN的环路滤波器230b进行说明。

环路滤波器225能够从加法器接收初始重建块

环路滤波器225能够对初始重建块

执行滤波而生成二次重建块

环路滤波器225能够将二次重建块

传送至基于CNN的环路滤波器230b。

如上所述，环路滤波器225能够包括去区块滤波器(DF)、取样自适应偏移滤波器(SAO filter)，及自适应环路滤波器(ALF)中的至少一个。

基于CNN的环路滤波器230b能够对预测信息执行环路滤波而生成重建信息。预测信息能够包括二次重建块

重建信息能够包括最终重建块

即，基于CNN的环路滤波器230b能够学习从而基于二次重建块

生成最终重建块

例如，基于CNN的环路滤波器230b能够学习从而基于二次重建块

及像素块f生成最终重建块

基于CNN的环路滤波器230b能够将最终重建块

传送至编码图像缓存240。

图10为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

参照图10，解码装置200包括熵解码部210、反量化及反变换部220、基于CNN的环路滤波器230c、编码图像缓存240、预测部250，及多个加法器。

图10所示的熵解码部210、反量化及反变换部220、编码图像缓存240、预测部250，以及多个加法器与图8a所示的解码部210、反量化及反变换部220、编码图像缓存240、预测部250，以及加法器具有实质上相同的构成及动作。对此，下面将对CNN的环路滤波器230c进行说明。

基于CNN的环路滤波器230c能够对预测信息执行环路滤波而生成重建信息。预测信息能够包括初始重建块

重建信息能够包括重建残差块

基于CNN的环路滤波器230c能够从加法器接收初始重建块

基于CNN的环路滤波器230c能够对初始重建块

执行滤波从而生成重建残差块

即，基于CNN的环路滤波器230c能够学习从而基于初始重建块

生成重建残差块

例如，基于CNN的环路滤波器230c能够学习从而基于初始重建块

及残差块e生成重建残差块

基于CNN的环路滤波器230c能够将重建残差块

传送至加法器。

加法器能够对重建残差块

及预测块

进行相加而生成重建块

加法器能够将重建块

传送至编码图像缓存240。

图11为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

参照图11，解码装置200包括熵解码部210、反量化及反变换部220、环路滤波器225、基于CNN的环路滤波器230d、编码图像缓存240、预测部250，以及多个加法器。

图11所示的熵解码部210、反量化及反变换部220、环路滤波器225、基于CNN的环路滤波器230d、编码图像缓存240、预测部250，以及多个加法器与图9所示的熵解码部210、反量化及反变换部220、环路滤波器225、编码图像缓存240、预测部250，以及加法器具有实质上相同的构成与动作。对此，将对基于CNN的环路滤波器230d进行说明。

基于CNN的环路滤波器230d能够对预测信息执行环路滤波生成重建信息。预测信息包括二次重建块

重建信息能够包括重建残差块

基于CNN的环路滤波器230d能够从环路滤波器225接收二次重建块

基于CNN的环路滤波器230d能够对二次重建块

执行滤波而生成重建残差块

重建残差块

能够是相比图10所示的重建残差块

更接近0的值。

即，基于CNN的环路滤波器230d能够学习从而基于二次重建块

生成重建残差块

例如，基于CNN的环路滤波器230d能够学习从而基于二次重建块

及残差块e生成重建残差块

基于CNN的环路滤波器230d能够将重建残差块

传送至加法器。

加法器能够对重建残差块

及预测块

进行相加而生成最终重建块

加法器能够将最终重建块

传送至编码图像缓存240。

图12为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

参照图12，解码装置200包括熵解码部210、反量化及反变换部220、基于CNN的环路滤波器230e、编码图像缓存240、预测部250，以及加法器。

图12所示的熵解码部210、反量化及反变换部220、编码图像缓存240、预测部250，以及多个加法器与图8a所示的解码部210、反量化及反变换部220、编码图像缓存240、预测部250，以及加法器具有实质上相同的构成及动作。下面，将对基于CNN的环路滤波器230e进行进行说明。

基于CNN的环路滤波器230e能够对预测信息执行环路滤波而生成重建信息。预测信息包括预测残差块

重建信息包括二次重建残差块

基于CNN的环路滤波器230e能够从反量化及反变换部220接收反量化及反变换的重建残差块

基于CNN的环路滤波器230e能够对重建残差块

执行滤波而生成二次重建残差块

即，基于CNN的环路滤波器230e能够学习从而基于重建残差块

生成二次重建残差块

例如，基于CNN的环路滤波器230e能够学习从而基于重建残差块

及残差块e生成二次重建残差块

基于CNN的环路滤波器230e能够将二次重建残差块

传送至加法器。

加法器能够对二次重建残差块

及预测块

进行相加而生成重建块

加法器能够将重建块

传送至编码图像缓存240。

图13为显示根据一实施例的包括基于CNN的环路滤波器的解码装置的模块图另一例的附图。

参照图13，解码装置200包括熵解码部210、反量化及反变换部220、基于CNN的环路滤波器230e、环路滤波器227、编码图像缓存240、预测部250，及加法器。

图13所示的熵解码部210、反量化及反变换部220、基于CNN的环路滤波器230e、编码图像缓存240、预测部250，及加法器与图12所示的解码部210、反量化及反变换部220、基于CNN的环路滤波器230e、编码图像缓存240、预测部250，以及加法器具有实质上相同的构成与动作。对此，下面将对环路滤波器227进行说明。

环路滤波器227能够从加法器接收重建块

重建块

能够是初始重建块

环路滤波器227能够对初始重建块

执行滤波而生成二次最终重建块

环路滤波器227能够将最终重建块

传送至编码图像缓存240。

环路滤波器227能够如图9所示，包括去区块滤波器(DF)、取样自适应偏移滤波器(SAO filter)，以及自适应环路滤波器(ALF)中的至少一个。

图14为说明根据一实施例的基于CNN的环路滤波器的结构的附图。

参照图14，基于CNN的环路滤波器150包括输入层151(input layer)、隐藏层152(hidden layer)，及输出层153(output layer)。

输入层151能够接收输入图像。输入图像能够包括退化的重建图像。例如，输入层151能够输入有通过反量化及反变换部140执行反量化及反变换的重建图像。输入图像能够包括区块边界伪影、环状伪影，以及高频模糊伪影。重建图像能够包括退化(degradation)现象。

输入层151能够对输入图像执行图像分块(image patch)而提取至隐藏层153。例如，输入层151能够将输入图像以f₁×f₁的大小执行图像分块。

隐藏层152能够执行非线性映射(non-linear mapping)。隐藏层152能够包括N个卷积层(convolutional layer)。此时，随着从第一卷积层152-1逐渐进行至第N卷积层152-N，图像画质能够得到提高。

基于CNN的环路滤波器150能够通过隐藏层152、输出层153，及损失函数(lossfunction)执行对基于CNN的环路滤波器的训练。

能够将第一卷积层152-1对应于公式1。

【公式1】

F₁(Y)＝max(0,W₁·Y+B₁)

W₁:64(9×9)convolution filters(9×9×1×64)

能够将第二卷积层对应于公式2。

【公式2】

F₂(Y)＝max(0,W₂·F₁(Y)+B₂)

W₂:64(9×9)convolution filters(9×9×64×64)

基于相同的原理，能够将第N卷积层(152-N)对应于公式3。

【公式3】

F_N(Y)＝max(0,W_N·F_N-1(Y)+B_N)

W_N:64(9×9)convolution filters(9×9×64×64)

即，隐藏层152能够使用线性整流函数(Rectified Linear Unit，ReLU)函数提高训练的效率与速度。

输出层153能够对应于公式4。

【公式4】

F(Y)＝W_N+1·F_N(Y)+B_N+1

W_N+1:1(9×9)convolution filters(9×9×64×1)

输出层153能够输出经过滤波画质得到提高的输出图像。

损失函数能够对应于公式5。

【公式5】

基于CNN的环路滤波器150能够得到训练从而通过损失函数最小化滤波错误。

图15为说明根据一实施例的基于CNN的环路滤波器的按照区间的训练方法的附图。

参照图15，基于CNN的环路滤波器150能够按照量化区间执行训练。基于CNN的环路滤波器150能够根据量化参数(quantization parameter，QP)对不同畸变值的重建图像进行处理。由此，基于CNN的环路滤波器150按照量化区间执行训练从而有效地执行滤波。

量化参数(QP)能够是大于0小于51的值。各量化区间能够至少包括一个量化参数(QP)，此时，还能够具有多个量化区间共同包括的量化参数(QP)。例如，第一区间与第二区间能够共同包括量化参数(QP)5。

在编码装置100进行编码时使用的量化参数(QP)能够是在解码装置200得到确认的值，编码装置100能够不将编码时使用的量化参数(QP)传送至解码装置200。由此，编码装置100不会发生过度开销(overhead)，并提高编码效率。

编码装置100能够使用第N区间的量化参数(QP)生成重建训练图像300。编码装置100能够将重建训练图像300传送至基于CNN的环路滤波器150。

基于CNN的环路滤波器150能够对重建训练图像300执行滤波而生成输出图像，从而传送至加法器。

加法器对输出图像及原输入训练图像400(original input image)进行差分而传送至基于CNN的环路滤波器150。

基于CNN的环路滤波器150基于差分调节隐藏层152的权重(weight)。例如，基于CNN的环路滤波器150能够调节权重(weights)而使得输出图像与输入训练图像400不存在差异。此时，能够通过使用反向传播(back propagation)方法进行为实现基于CNN的环路滤波器150的权重调节的学习。

重建训练图像300及输入训练图像400能够体现为多种实施例。即CNN的环路滤波器150能够具有无数的训练方法。基于CNN的环路滤波器150能够根据训练方法不同地动作。

作为一例，重建训练图像300能够是在环路滤波器140执行滤波之前的重建图像(reconstructed frames prior to in-loop filtering)。基于CNN的环路滤波器150对执行滤波之前的重建图像执行滤波从而生成接近输入训练图像400的输出图像。此时，基于CNN的环路滤波器150能够以图2a所示的基于CNN的环路滤波器150a动作。

作为另一例，重建训练图像300能够是在环路滤波器140执行滤波的图像(reconstructed frames after in-loop filtering)。即，基于CNN的环路滤波器150对执行滤波的图像执行滤波而生成更接近原输入训练图像400的输出图像。此时，基于CNN的环路滤波器150能够以图3所示的基于CNN的环路滤波器150b动作。

作为另一例，重建训练图像300能够是在环路滤波器140执行滤波的图像，输入训练图像400能够是残差图像e。此时，基于CNN的环路滤波器150能够在适用滤波的图像上进行滤波而生成重建残差图像。此时，基于CNN的环路滤波器150能够以图5所示的基于CNN的环路滤波器150d动作。

图16为说明根据一实施例的基于CNN的环路滤波器的按照区间的训练方法的附图。

参照图16，基于CNN的环路滤波器150能够按照畸变值区间执行训练。基于CNN的环路滤波器150能够根据量化参数(QP)具有不同的畸变值。对此，基于CNN的环路滤波器150按照畸变值区间执行训练从而有效地执行滤波。

在编码装置100进行编码时使用的畸变值区间是能够在解码装置200确认的值，编码装置100能够不将进行编码时使用指数(index)传送至解码装置200。由此，编码装置100不发生额外开销，并提高编码效率。

畸变值能够是输入训练图像600及重建训练图像的差异。

编码装置100能够生成属于第N区间的畸变值的重建训练图像500。编码装置100能够将重建训练图像500传送至基于CNN的环路滤波器150。

基于CNN的环路滤波器150能够对重建训练图像500执行滤波从而生成输出图像并传送至加法器。加法器能够对输出图像及原输入训练图像600进行差分传送至基于CNN的环路滤波器150。

基于CNN的环路滤波器150能够基于差分调节隐藏层152的权重。例如，基于CNN的环路滤波器150能够调节权重(weights)使得输出图像与输入训练图像600不存在差异。此时，基于CNN的环路滤波器150的调整权重的学习能够使用反向传播方法。

重建训练图像500能够是重建残差图像。重建残差图像能够是对残差图像执行变换及量化，之后再次执行反量化及反变换的图像。

输入训练图像600能够是残差图像。残差图像能够是将输入图像与重建图像进行差分的图像。重建图像能够是执行环路滤波的图像或者未执行环路滤波的图像。

即，基于CNN的环路滤波器150能够对重建残差图像执行滤波而生成接近残差图像的输出图像。此时，基于CNN的环路滤波器150能够以图6所示的基于CNN的环路滤波器150e动作。

并且，基于CNN的环路滤波器150能够按照图像的切片类型(slice type)执行滤波。下面，对基于CNN的环路滤波器150按照切片类型执行滤波的动作进行说明。

图17为说明根据一实施例的基于CNN的环路滤波器的训练方法的附图的一例。

参照图17，基于CNN的环路滤波器150在低延迟架构(low delay configuration)的编码或解码过程中对多个图像执行滤波。

多个图像的切片类型能够是帧内切片(intra slice(I slice))，以及预测切片(predictive slice(P slice))。

帧内切片的图像700-1及700-N能够执行画面内预测。预测切片的图像700-2～700-4能够执行画面间预测。

例如，预测切片的图像700-2能够参照帧内切片的图像700-1预测图像。预测切片的图像700-3能够参照帧内切片的图像700-1及预测切片的图像700-2预测图像。预测切片的图像700-4能够参照帧内切片的图像700-1及预测切片的图像700-2～700-3预测图像。

基于CNN的环路滤波器150能够对帧内切片的图像700-1及700-N执行滤波从而持续提供畸变小的图像。基于CNN的环路滤波器150能够周期性地提供帧内切片的图像700-1及700-N。

图18为说明根据一实施例的基于CNN的环路滤波器的适用方法的附图的另一例。

参照图18，基于CNN的环路滤波器150能够在低延迟架构(low delayconfiguration)的编码或解码过程中对多个图像800-1～800-3、800-5，及800-5选择性地执行滤波。

多个图像800-1～800-3、800-5，及800-5的切片类型能够是帧内切片(I slice)，或者预测切片(P slice)。

帧内切片的图像800-1能够执行画面内预测。预测切片的图像800-2、800-3、800-5，及800-7能够执行画面间预测。

例如，预测切片的图像800-2能够参照帧内切片的图像800-1预测图像。预测切片的图像800-3能够参照帧内切片的图像700-1及预测切片的图像800-2预测图像。基于相同的原理，预测切片的图像800-5及800-7能够参照之前的切片的图像预测图像。

基于CNN的环路滤波器150能够对帧内切片的图像800-1及预测切片的图像800-3、800-5，及800-7执行滤波从而持续提供畸变较小的图像。基于CNN的环路滤波器150按照周期或选择性地执行滤波而提供预测切片的图像800-3、800-5，及800-7。

基于CNN的环路滤波器150不仅在低延迟架构下选择性地执行滤波，并且能够按照一系列的各输入切片，以及在输入切片内按照编码单位(Coding Tree Unit，CTU)或编码块(Coding Unit，CU)或者指定的图像区域选择性地适用。

图19为说明根据一实施例的基于CNN的环路滤波器的适用方法的附图的另一例。

参照图19，基于CNN的环路滤波器150能够在全画面内结构(All intraconfiguration)的编码或解码过程中对多个图像900-1～900-N执行滤波。

多个图像900-1～900-N的切片类型能够是帧内切片(I slice)。

帧内切片的图像900-1～900-N能够执行画面内预测。即，帧内切片的图像900-1～900-N的畸变值不会传达至其他图像，基于CNN的环路滤波器150对全部帧内切片的图像900-1～900-N进行滤波从而提供高画质的图像。

基于CNN的环路滤波器150不仅在低延迟架构下选择性地执行滤波，并且能够按照一系列的各输入切片，以及在输入切片内按照编码单位(Coding Tree Unit，CTU)或编码块(Coding Unit，CU)或者指定的图像区域选择性地适用。

图20为说明根据一实施例的基于CNN的环路滤波器的适用方法的附图的另一例，图21为说明根据一实施例的基于CNN的环路滤波器的适用方法的附图的另一例。

参照图20及图21，基于CNN的环路滤波器150能够在分层B图像结构(hierarchicalB-picture configuration)的编码或解码过程中对多个图像1010-1～1010-3、1020-1～1020-2、1030-1～1030-4、1040-1～1040-4执行滤波。

分层B图像结构能够包括第一层至第四层。

第一层图像1010-1～1010-3的切片类型能够是帧内切片(I slice)或者预测切片(P slice)。帧内切片的图像1010-1～1010-3能够执行画面内预测。

第二层至第四层图像1020-1～1020-2、1030-1～1030-4、1040-1～1040-4的切片类型能够是两侧预测切片(bi-predictive slice，B slice))。两侧预测切片(B slice)的图像1020-1～1020-2、1030-1～1030-4、1040-1～1040-4能够参照下列层的图像预测图像。此时，两侧预测切片(B slice)的图像1020-1～1020-2、1030-1～1030-4、1040-1～1040-4，在下列层不论是之前的图像(前)或者之后的图像(后)都能够进行参照。例如，第二层的图像1020-1能够参照第一层的图像1010-1及1010-2。第二层的图像1020-2能够参照第一层的图像1010-2及1010-3。

基于相同的原理，第四层的图像1040-1能够参照第三层的图像1030-1及第一层的图像1010-1，第四层的图像1040-3能够参照第二层的图像1020-1及第三层的图像1030-2。

基于CNN的环路滤波器150能够选择特定层执行滤波。作为一例，基于CNN的环路滤波器150能够对第一层的图像1010-1～1010-3执行滤波。

作为另一例，基于CNN的环路滤波器150能够对第一层的图像1010-1～1010-3及第二层的图像1020-1及1020-2执行滤波。基于CNN的环路滤波器150对第一层的图像1010-1～1010-3及第二层的图像1020-1及1020-2执行滤波的动作能够如图20所示。

作为另一例，基于CNN的环路滤波器150能够对第一层的图像1110-1～1110-3、第二层的图像1120-1及1120-2，及第三层的图像1130-1～1130-4执行滤波。基于CNN的环路滤波器150对第一层的图像1110-1～1110-3、第二层的图像1120-1及1120-2，及第三层的图像1130-1～1130-4执行滤波的动作能够如图21所示。

基于CNN的环路滤波器150不仅在低延迟架构下选择性地执行滤波，并且能够按照一系列的各输入切片，以及在输入切片内按照编码单位(Coding Tree Unit，CTU)或编码块(Coding Unit，CU)或者指定的图像区域选择性地适用。

基于CNN的环路滤波器150能够对图像内的特定区域执行滤波。例如，基于CNN的环路滤波器150能够将图像分割为多个区域，在多个区域中只选择部分区域执行滤波。此时，基于CNN的环路滤波器150能够进行信令而确定是否对部分区域适用滤波。

并且，基于CNN的环路滤波器150能够基于图像内动作的量与纹理复杂度中的至少一个执行滤波。

以上说明的实施例能够通过硬件构成要素、软件构成要素，和/或硬件构成要素及软件构成要素的组合实现。例如，实施例中说明的装置、方法，以及构成要素，能够利用例如处理器、控制器、算术逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digitalsignal processor)、微型计算机、现场可编程阵列(field programmable gate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器、或能够执行与应答命令(instruction)的任何其他装置，能够利用一个以上的通用计算机或特殊目的计算机进行体现。处理装置能够执行操作系统(OS)及在所述操作系统中执行的一个以上的软件应用。并且，处理装置应答软件的执行，从而访问、保存、操作、处理及生成数据。为方便理解，说明为仅具有一个处理装置的方式，但本领域普通技术人员应理解处理装置能够包括多个处理元件(processing element)和/或多个类型的处理要素。例如，处理装置能够包括多个处理器或一个处理器及一个控制器。并且，也能够包括类似于并行处理器(parallelprocessor)的其他处理配置(processing configuration)。

软件能够包括计算机程序(computer program)、代码(code)、指令(instruction)，或其中的一个以上的组合，能够将处理装置构成为实现以所期待的方式操作，或者，单独或共同(collectively)命令处理装置的方式。软件和/或数据为通过处理装置进行解释或者向处理装置提供命令或数据，能够具体体现于(embody)任何类型的设备、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储媒介或装置，或者永久体现于所传送的信号波(signal wave)。软件分散于通过网络连接的计算机系统上，能够以分散的方式存储或执行。软件及数据能够存储于一个以上的计算机读写记录媒介。

根据实施例的方法以能够通过多种计算机手段执行的程序命令的形态体现，并记录在计算机读写媒介。所述计算机读写媒介能够以单独或者组合的形式包括程序命令、数据文件、数据结构等。记录在所述媒介的程序命令能够是为实现实施例特别设计与构成的，或者是计算机软件负责人公知而能够使用的。计算机读写记录媒介能够包括硬盘、软盘以及磁带等磁性媒介(magnetic media)；与CD-ROM、DVD等类似的光学媒介(optical media)；与光磁软盘(floptical disk)类似的磁光媒介(magneto-optical media)，以及与只读存储器(ROM)、随机存取存储器(RAM)、闪存等类似的为存储并执行程序命令而特别构成的硬件装置。程序命令的例子不仅包括通过编译器生成的机器语言代码，还包括使用解释器等的能够由计算机执行的高级语言代码。为执行实施例的操作，所述硬件装置能够构成为以一个以上的软件模块实现操作的方式。

综上，通过有限的附图对实施例进行了说明，本领域普通技术人员能够基于所述记载进行多种更改与变形。例如，所说明的技术按照与说明的方法不同的顺序执行，和/或所说明的系统、结构、装置、电路等构成要素按照与说明的方法不同的形态进行结合或组合，或者由其他构成要素或者等同物置换或代替，也能得到适当的结果。

由此，其他体现，其他实施例以及权利要求范围的等同物，均属于本发明的权利要求范围。

Claims (26)

1.一种基于CNN的环路滤波器学习方法，包括以下步骤：

通过对相当于原始图像与预测图像之间的差异的残差图像执行变换及量化，从而生成经变换及量化后的信息；

通过对所述经变换及量化后的信息执行反量化及反变换而生成经反量化及反变换后的信息；

通过将所述经反量化及反变换后的信息输入至基于CNN的环路滤波器而生成重建信息；

计算所述重建信息与基于所述原始图像的原始信息的差异；以及

基于所述差异调整所述基于CNN的环路滤波器的权重，

并且，所述预测图像基于所述原始图像与所述重建信息生成，

其中，基于CNN的环路滤波器的权重与基于CNN的环路滤波器的各层之间的多个连接权重有关，所述权重被确定为最小化训练期间的一个或多个预定损失函数，所述权重根据以下至少一个获得：畸变值区间、纹理复杂度区间、运动复杂度区间、切片类型、编码分层水平、编码模式以及邻居编码块。

2.根据权利要求1所述的基于CNN的环路滤波器学习方法，

生成所述经变换及量化后的信息的步骤，包括：

基于根据畸变值的畸变值区间对所述残差图像进行变换及量化的步骤，

所述调整的步骤，包括：

调整对于所述畸变值区间的权重的步骤。

3.根据权利要求1所述的基于CNN的环路滤波器学习方法，

生成所述经变换及量化后的信息的步骤，包括：

基于图像特性的纹理复杂度区间，对所述残差图像进行变换及量化的步骤，

所述调整的步骤，包括：

调整对于所述纹理复杂度区间的权重的步骤。

4.根据权利要求1所述的基于CNN的环路滤波器学习方法，

生成所述经变换及量化后的信息的步骤，包括：

基于图像特性的运动复杂度区间对所述残差图像进行变换及量化的步骤，

所述调整的步骤，包括：

调整对于所述运动复杂度区间的权重的步骤。

5.根据权利要求1所述的基于CNN的环路滤波器学习方法，

生成所述重建信息的步骤，包括：

通过将预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息的步骤，所述预测信息是初始重建块，所述初始重建块为预测块及重建残差块相加，

所述重建信息体现的是重建图像信息。

6.根据权利要求5所述的基于CNN的环路滤波器学习方法，

通过将所述预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息的步骤，还包括：

对所述预测信息在输入至所述基于CNN的环路滤波器之前执行另外的环路滤波生成二次重建块的步骤，其中输入至所述基于CNN的环路滤波器的所述预测信息是二次重建块。

7.根据权利要求1所述的基于CNN的环路滤波器学习方法，

生成所述重建信息的步骤，包括：

通过将预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息的步骤，所述预测信息是重建残差块，

所述重建信息体现的是重建残差信息。

8.根据权利要求7所述的基于CNN的环路滤波器学习方法，

通过将所述预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息的步骤，包括：

对所述预测信息在输入至所述基于CNN的环路滤波器之前执行另外的环路滤波生成二次重建残差块的步骤，其中输入至所述基于CNN的环路滤波器的所述预测信息是二次重建残差块。

9.一种编码装置，包括：

变换及量化部，通过对相当于原始图像与预测图像之间的差异的残差图像执行变换及量化，从而生成经变换及量化后的信息；

反量化及反变换部，通过对所述经变换及量化后的信息执行反量化及反变换而生成经反量化及反变换后的信息；

预测部，基于所述原始图像与重建信息生成所述预测图像；

基于CNN的环路滤波器，输入所述经反量化及反变换后的信息与所述预测图像，从而输出所述重建信息；以及

编码部，基于所述经变换及量化后的信息与所述预测图像信息执行编码，

其中，基于CNN的环路滤波器的权重与基于CNN的环路滤波器的各层之间的多个连接权重有关，所述权重被确定为最小化训练期间的一个或多个预定损失函数，所述权重根据以下至少一个获得：畸变值区间、纹理复杂度区间、运动复杂度区间、切片类型、编码分层水平、编码模式以及邻居编码块。

10.根据权利要求9所述的编码装置，

所述重建信息体现的是重建图像信息，

所述基于CNN的环路滤波器，通过将预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息，所述预测信息是初始重建块，所述初始重建块为预测块及重建残差块相加。

11.根据权利要求10所述的编码装置，还包括：

对所述预测信息在输入至所述基于CNN的环路滤波器之前执行与基于CNN的环路滤波不同的另外环路滤波生成二次重建块的另外环路滤波器，其中输入至所述基于CNN的环路滤波器的所述预测信息是二次重建块。

12.根据权利要求11所述的编码装置，

所述另外环路滤波器，包括：

去区块滤波器、取样自适应偏移滤波器，以及自适应环路滤波器中的至少一个。

13.根据权利要求9所述的编码装置，

所述重建信息体现的是重建残差信息，

所述基于CNN的环路滤波器，通过将预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息，所述预测信息是重建残差块。

14.根据权利要求13所述的编码装置，还包括：

对所述预测信息在输入至所述基于CNN的环路滤波器之前执行与基于CNN的环路滤波不同的另外环路滤波生成二次重建残差块的另外环路滤波器，其中输入至所述基于CNN的环路滤波器的所述预测信息是二次重建残差块。

15.根据权利要求9所述的编码装置，还包括，

对所述重建信息执行与基于CNN的环路滤波不同的另外环路滤波的另外环路滤波器。

16.一种与权利要求9至15中任一项所述的编码装置配合使用的解码装置，包括：

熵解码部，对编码的比特流信息进行解码从而输出经变换及量化后的信息与待预测信息；

反量化及反变换部，通过对所述经变换及量化后的信息执行反量化及反变换而生成经反量化及反变换后的信息；

预测部，基于所述待预测信息生成预测图像；以及

基于CNN的环路滤波器，输入所述经反量化及反变换后的信息与所述预测图像，从而输出重建信息。

17.根据权利要求16所述的解码装置，

所述重建信息体现的是重建图像信息，

所述基于CNN的环路滤波器，通过将预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息，所述预测信息是初始重建块，所述初始重建块为预测块及重建残差块相加。

18.根据权利要求17所述的解码装置，还包括：

对所述经反量化及反变换后的信息执行与基于CNN的环路滤波不同的另外环路滤波的另外环路滤波器。

19.根据权利要求18所述的解码装置，

所述另外环路滤波器，包括：

去区块滤波器、取样自适应偏移滤波器，以及自适应环路滤波器中的至少一个。

20.根据权利要求16所述的解码装置，

所述重建信息体现的是重建残差信息，

所述基于CNN的环路滤波器，通过将预测信息输入至所述基于CNN的环路滤波器，从而生成重建信息，所述预测信息是重建残差块。

21.根据权利要求20所述的解码装置，还包括：

对所述经反量化及反变换后的信息执行与基于CNN的环路滤波不同的另外环路滤波的另外环路滤波器。

22.根据权利要求21所述的解码装置，

所述另外环路滤波器，包括：

去区块滤波器、取样自适应偏移滤波器，以及自适应环路滤波器中的至少一个。

23.根据权利要求16所述的解码装置，

所述重建信息体现的是重建残差信息，

所述基于CNN的环路滤波器，通过将所述经反量化及反变换后的信息输入至所述基于CNN的环路滤波器，从而生成残差重建信息。

24.根据权利要求23所述的解码装置，还包括：

对所述残差重建信息与所述预测图像进行相加而生成最终重建信息的加法器。

25.根据权利要求24所述的解码装置，还包括：

对所述最终重建信息执行与基于CNN的环路滤波不同的另外环路滤波的另外环路滤波器。

26.根据权利要求25所述的解码装置，

所述另外环路滤波器，包括：

去区块滤波器、取样自适应偏移滤波器，以及自适应环路滤波器中的至少一个。

Images