CN115914654A - 一种用于视频编码的神经网络环路滤波方法及装置 - Google Patents

Abstract

本申请提供一种用于视频编码的神经网络环路滤波方法及装置，该方法包括：在视频编解码器的编码端，获取当前帧的原始图像、前一模块输出的重建图像及其他边信息；将当前帧的原始图像、前一模块输出的重建图像及其他边信息，输入至编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流；在视频编解码器的解码端，获取当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息；将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至解码端的基于自编码器的环路滤波器模块，得到第二重建图像。该方案能够提升进一步提升编码性能，即在同等质量下降低码率，或者同等码率下，提升质量。

Description

一种用于视频编码的神经网络环路滤波方法及装置

技术领域

本发明属于视频编码技术领域，特别涉及一种用于视频编码的神经网络环路滤波方法及装置。

背景技术

视频编解码作为一种基础技术被广泛应用于各行各业。环路滤波在视频编解码中占有重要地位，其通常位于当前图像整个编解码流程末尾，可以有效去除块效应提升视觉质量、利用重建图像内部信息增强当前重建图像的质量，同时增强的图像又会有益于后续图像的编码。目前的环路滤波方法根据所用技术的不同分为传统的人工设计环路滤波方法如去块效应滤波器DBK(Deblocking Filter)、样点自适应补偿SAO(Sample AdaptiveOffset)、自适应环路滤波ALF(Adaptive Loop Filter)、以及新一代标准VVC中的环路重整形LMCS(Luma Mapping With Chroma Scaling)滤波器等；以及神经网络滤波器如多种不同形式的CNN或者其他网络结构的环路滤波器，重点在于引入神经网络到环路滤波中，通常该滤波器既可以和上述人工设计环路滤波器进行组合，也可以替代其中一个或者多个滤波器，相关研究成果证明神经网络环路滤波器可以带来较大的性能提升。

当前神经网络环路滤波器多从输入和网络结构对算法进行改进以提升性能，例如输入上除了当前帧的重建图像以外，可能包含量化参数QP、预测信号Pred、其他已经编码过的边信息等；在网络结构上可能包含典型的残差网络模块、注意力机制、多尺度机制等。

这些方法都可以提升网络的性能，但是由于所增强的信息依赖于重建图像的质量，不能增强重建图像所丢失的信息因而提升能力有限。

发明内容

本说明书实施例的目的是提供一种用于视频编码的神经网络环路滤波方法及装置。

为解决上述技术问题，本申请实施例通过以下方式实现的：

第一方面，本申请提供一种用于视频编码的神经网络环路滤波方法，该方法包括：

在视频编解码器的编码端，获取当前帧的原始图像、前一模块输出的重建图像及其他边信息；

将当前帧的原始图像、前一模块输出的重建图像及其他边信息，输入至编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流；

在视频编解码器的解码端，获取当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息；

将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至解码端的基于自编码器的环路滤波器模块，得到第二重建图像。

在其中一个实施例中，编码端的基于自编码器的环路滤波器模块包括编码器和第一解码器；

将当前帧的原始图像、前一模块输出的重建图像及其他边信息，输入至编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流，包括：

当前帧的原始图像、前一模块输出的重建图像及其他边信息输入至编码器，得到当前帧的环路滤波码流；

当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至第一解码器，得到第一重建图像。

在其中一个实施例中，当前帧的原始图像、前一模块输出的重建图像及其他边信息输入至编码器，得到当前帧的环路滤波码流，包括：

将当前帧的原始图像、前一模块输出的重建图像及其他边信息进行归一化，得到归一化后特征；

将归一化后特征输入编码器，提取得到特征向量；

将特征向量经过量化、熵编码转换为当前帧的环路滤波码流。

在其中一个实施例中，解码端的基于自编码器的环路滤波器模块包括第二解码器；

将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至解码端的基于自编码器的环路滤波器模块，得到第二重建图像，包括：

将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至第二解码器，得到第二重建图像。

在其中一个实施例中，编码器和/或解码器由神经网络构成；

解码器包括第一解码器和第二解码器。

在其中一个实施例中，神经网络采用卷积神经网络、全连接网络、循环神经网络、可逆神经网络中任意一种。

在其中一个实施例中，神经网络的参数由编码器和解码器联合训练得到。

在其中一个实施例中，由编码器和解码器联合训练神经网络的参数，包括：

训练当前帧的原始图像经过前序编码，得到前序编码码流及前序编码码率、训练其他边信息、训练前一模块输出的重建图像；

将训练当前帧的原始图像、训练其他边信息、训练前一模块输出的重建图像输入预设编码器，得到训练码率和训练码流；

训练码流、训练其他边信息、训练前一模块输出的重建图像输入预设解码器，得到训练重建图像；

根据训练当前帧的原始图像、训练重建图像、训练码率、前序编码码率，确定损失函数；

当损失函数值或迭代次数满足预设条件时，对应的参数作为神经网络的参数。

在其中一个实施例中，其他边信息至少包括块划分信息、预测模式、运动矢量、其他帧的重建图像、滤波器控制参数、量化参数中的一种或者多种。

第二方面，本申请提供一种用于视频编码的神经网络环路滤波装置，该装置包括：

第一获取模块，用于在视频编解码器的编码端，获取当前帧的原始图像、前一模块输出的重建图像及其他边信息；

编码模块，用于将当前帧的原始图像、前一模块输出的重建图像及其他边信息，输入至编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流；

第二获取模块，用于在视频编解码器的解码端，获取当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息；

解码模块，用于将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至解码端的基于自编码器的环路滤波器模块，得到第二重建图像。

由以上本说明书实施例提供的技术方案可见，该方案：使用原始图像作为输入之一，且输出的边信息由基于自编码器的环路滤波器模块自动生成而非人工设计，该方法能够提升进一步提升编码性能，即在同等质量下降低码率，或者同等码率下，提升质量。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有的混合编码框架示意图；

图2为现有的VVC环路滤波模块示意图；

图3为现有的环路滤波技术的示意图；

图4为图3中CNNLF的结构示意图；

图5为本申请提供的用于视频编码的神经网络环路滤波方法的流程示意图；

图6为本申请提供的基于自编码器的环路滤波器模块的结构示意图，其中，图6(a)为编码端的结构示意图，图6(b)为解码端的结构示意图；

图7为本申请提供的神经网络参数的训练框图；

图8为本申请提供的AELF与其他滤波器模块进行组合的示意图，其中，A～E表示AELF的允许插入位置；

图9为本申请提供的AELF替代传统滤波器的部分或者全部滤波器的示意图；

图10为本申请提供的一种具体实施例示意图；

图11为图10中注意力模块的结构示意图；

图12为本申请提供的用于视频编码的神经网络环路滤波装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

在不背离本申请的范围或精神的情况下，可对本申请说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本申请的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

本申请中的“份”如无特别说明，均按质量份计。

视频编解码是视频转换为二进制码流，旨在满足一定失真条件下，最小化输出码流的大小。常见的视频编解码标准包含国际ITU-T和ISO所联合制定的H.264/AVC，H.265/HEVC，H.266/VVC，谷歌发布的VP9，AV1，AV2以及国内所制定的AVS1，AVS2，AVS3等。这些编解码标准大都沿用了H.264/AVC的混合编码框架，如图1所示，具体细节略有不同。

可以理解的，本申请针对视频编解码中的环路滤波模块进行改进，图1中的其他模块是本申请的必要步骤，对其不做特殊限制，即其他模块的改进可以和本申请进行融合。

下面首先对图1的关键步骤进行介绍。视频压缩编码的输入为待压缩视频，按照一定的编码结构(如低延时配置、随机访问配置或者全帧内编码模式)对图像顺序进行一定调整后编码。其中低延时配置是指编码结构为IPPPP即视频的第一帧编码为I帧，即仅允许使用帧内编码模式，仅使用包含当前帧信息的码流即可进行解码；后续帧编码为P帧，即允许使用当前帧的前面帧作为参考帧进行运动估计和补偿；其中的随机访问配置(RandomAccess，RA)一般会设置为层级编码结构Hierarchical结构，按照GOP(Group of Pictures，画面组)进行编码每个GOP的起始帧编码为I帧，GOP中间的帧编码为B帧(允许使用当前帧的前面帧和后面帧作为参考)。

对于待编码的图像一般会划分为图像块(在HEVC，VVC中定义为CTU(coding treeunit，编码树单元))，也可能对图像块进一步划分，通过比较不同划分的率失真代价选择最佳的划分。对每种划分，编码器会利用当前图像已经编码过图像块的重建图像以及时序上的已经编码的重建帧作为参考，进行帧内预测或者运动估计和运动补偿得到当前划分的块的预测块。原始图像块和预测图像块作差得到残差块经过正变换得到变换系数，之后进行量化去除视觉冗余。为了利用前后编码块之间的相关性提升编码效率，编码端对解码过程进行重现。即，量化后的系数经过反量化、反变换得到重建残差，再与预测图像块相加得到重建图像块。对于帧内预测模式，直接使用该重建图像块作为预测参考；对于帧间预测模式，使用环路滤波后的重建图像作为参考。所有编码块重建完毕后会经过环路滤波模块去除块效应、降低震铃效应、提升重建图像质量，滤波后的图像作为最终输出。

现有技术中，常见的环路滤波包含：DBK、SAO、ALF、LMCS等。如图2所示，给出了最新一代国际标准VVC的环路滤波模块。

如图3所示为一种环路滤波技术，该技术中提出基于神经网络的环路滤波模块CNNLF(Convolutional Neural Network Loop Filter)，该技术提出对于视频编码中的I帧关键帧的使用CNNLF替代DBK和SAO，对于B帧需要在DBK+SAO和CNNLF之间进行决策，选择较好的滤波器使用。其中CNNLF的结构如图4所示。该技术除了基本的重建图像输入rec_yuv之外，利用了多个边信息，包含预测重建图像pred_yuv，块划分par_yuv，基本量化参数BaseQP和片级别的量化参数Slice QP，在网络结构方面使用了较为简单的残差卷积神经网络结构。实际上，目前大部分的基于神经网络的环路滤波器的主要区别于输入以及网络结构。

现有的基于神经网络的环路滤波技术区别如下：1)神经网络输入不同，除了基本的重建图像作为输入，其他的信息可能还包含编码过程中生成的预测图像、块划分信息、编码边信息(如QP，SAO的滤波参数)、前后帧的重建图像等；2)神经网络的结构不同，例如卷积神经网络CNN为常见基本结构，其中区别可能在层数、通道数量、是否进行下采样、是否包含注意力机制等方面，也有使用其他结构进行环路滤。3)模型个数不同，对于亮度和两个色度分量采用不同的模型，也有学者使用相同的模型处理三个分量。此外，在模型个数方面，也有工作对于不同的量化参数QP使用不同的神经网路。4)与传统滤波器位置关系不同。有的工作提出使用神经网络滤波器替代部分或者全部传统滤波器，例如上图3中在I帧中使用CNNLF替代了传统的DBK和SAO滤波器。有的工作在神经网络和传统滤波器之间进行模式决策，选择两者中较好者，如上图3中对于B帧在CNNLF和DBK+SAO之间选择。还有部分工作将神经网络滤波器放在传统滤波器的不同位置。

这些工作都相对于传统滤波器有较大的性能提升，但是神经网络的作用仅用于对重建图像的增强，没有考虑传输额外的边信息对于环路滤波器的增益作用。尽管在传统滤波器和神经网络滤波器之间进行决策选择较好者，需要传输1个比特的边信息标注使用的滤波器类型。

基于上述缺陷，本申请提供一种用于视频编码的神经网络环路滤波方法，采用端到端的传输边信息的环路滤波器，其使用原始图像作为输入之一，且输出的边信息由神经网络自动生成而非人工设计。该方法能够提升进一步提升编码性能，即在同等质量下降低码率，或者同等码率下，提升质量。

下面结合附图和实施例对本发明进一步详细说明。

参照图5，其示出了适用于本申请实施例提供的用于视频编码的神经网络环路滤波方法的流程示意图。

如图5所示，用于视频编码的神经网络环路滤波方法，可以包括：

S510、在视频编解码器的编码端，获取当前帧的原始图像、前一模块输出的重建图像及其他边信息。

S520、将当前帧的原始图像、前一模块输出的重建图像及其他边信息，输入至编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流。

S530、在视频编解码器的解码端，获取当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息。

S540、将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至解码端的基于自编码器的环路滤波器模块，得到第二重建图像。

具体的，在视频编解码器的编码端和解码端均设置有基于自编码器的环路滤波模块(AELF)，其在编码端的结构如图6(a)，即在编码端的AELF包括编码器和第一解码器；在解码端的解码器的结构如图6(b)所示，即在解码端的AELF包括第二解码器。该模块可以和传统环路滤波模块如DBK、SAO、LMCS、ALF等进行组合或者替代部分或传统滤波。可选的，编码器和/或解码器由神经网络构成，可以理解的，该解码器可以包括第一解码器和第二解码器。

一个实施例中，S520将当前帧的原始图像、前一模块输出的重建图像及其他边信息，输入至编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流，包括：

当前帧的原始图像、前一模块输出的重建图像及其他边信息输入至编码器，得到当前帧的环路滤波码流；

当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至第一解码器，得到第一重建图像。

编码端的基于自编码器的环路滤波器模块的输入包含三部分：当前帧的原始图像记录为I、前一模块输出的重建图像I'和其他边信息S。其中，前一模块输出的重建图像为AELF的主要输入，当前帧的原始图像等价于待编码图像，用于生成码流补充仅依赖前一模块输出的重建图像所不能生成的信息；其他边信息可能为前序模块中的如块划分信息、预测模式、运动矢量、其他帧的重建图像、SAO滤波器控制参数、量化参数QP等，通常而言该信息可以进一步提升环路滤波性能，同时该部分的输入也可以省略好处在于节省计算量、内存以及缓存大小，但其代价是编码性能降低。

一个实施例中，当前帧的原始图像、前一模块输出的重建图像及其他边信息输入至编码器，得到当前帧的环路滤波码流，包括：

将当前帧的原始图像、前一模块输出的重建图像及其他边信息进行归一化，得到归一化后特征；

将归一化后特征输入编码器，提取得到特征向量；

将特征向量经过量化、熵编码转换为当前帧的环路滤波码流。

具体为，在编码端当前帧的原始图像记录为I、前一模块输出的重建图像I'和其他边信息S，经过归一化后输入神经网络提取特征向量，该特征向量经过量化、熵编码转换为当前帧的环路滤波码流(可以简称为码流)。

一个实施例中，S540将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至解码端的基于自编码器的环路滤波器模块，得到第二重建图像，包括：

将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至第二解码器，得到第二重建图像。

具体的，在解码端，以前一模块输出的重建图像、编码端生成的码流和其他边信息作为输入进入由神经网络构成的解码端合成为最终重建图像。

其中，神经网络不作特殊约束，可以是卷积神经网络、全连接网络，也可以是循环神经网络、可逆神经网络。可以理解的，神经网络的权重为已经预先训练好的参数。

一个实施例中，神经网络的参数由编码器和解码器联合训练得到。可以理解的，该解码器可以为第一解码器，也可以为第二解码器。

具体的，由编码器和解码器联合训练神经网络的参数，包括：

训练当前帧的原始图像经过前序编码，得到前序编码码流及前序编码码率、训练其他边信息、训练前一模块输出的重建图像；

将训练当前帧的原始图像、训练其他边信息、训练前一模块输出的重建图像输入预设编码器，得到训练码率和训练码流；

训练码流、训练其他边信息、训练前一模块输出的重建图像输入预设解码器，得到训练重建图像；

根据训练当前帧的原始图像、训练重建图像、训练码率、前序编码码率，确定损失函数；

当损失函数值或迭代次数满足预设条件时，对应的参数作为神经网络的参数。

为了得到已经预先训练好的参数，编码器和解码器需要进行联合训练。

为了阅读方便，进行神经网络训练时采用的初始数据及中间数据、输出数据均省略“训练”字样，例如，训练当前帧的原始图像简写为当前帧的原始图像，训练重建图像简写为重建图像。

如图7给出了用于训练神经网络参数的训练框图。可以理解的，根据图7中训练好的的编码器参数可以应用于图6(a)中的编码器，根据图7中训练好的解码器参数可以应用于图6(a)中的第一解码器和图6(b)中的第二解码器。利用图7所示的训练框图训练神经网络参数的具体训练过程为：当前帧的原始图像I，首先联合其他信息(如时序前后帧的重建图像、编码控制参数等)经过前序编码(如H.264/AVC，H.265/HEVC，H.266/VVC等传统编码方法)得到前序编码码流及前序编码码率，前序编码码率标记为R_t、其他边信息S和前一模块输出的重建图像I′，即基本的训练数据单元由<I，I′，S，R_t>构成；通过编码不同视频的不同图像生成训练数据集。训练中将当前帧的原始图像I、其他边信息S和前一模块输出的重建图像I′作为预设编码器的输入后得到所估计的码率R_n和码流。编码器中包含量化，输出的码流有可能包含边信息以及数据信息，其中边信息和数据信息如Hyperprior模型。然后，该码流、前一模块输出的重建图像I′和其他边信息S联合作为预设解码器的输入，该码流经过预设解码器得到最终的重建图像

损失函数L综合考虑了前序编码码率R_t和环路滤波模块所消耗的码率R_n，前一模块输出的重建图像

与当前帧的原始图像I之间的失真，具体如下：

其中，

衡量前一模块输出的重建图像

和当前帧的原始图像之间的失真，可以是客观质量衡量指标均方误差MSE，也可以是主观质量衡量指标如多尺度结构相似性MS-SSIM模型；R_t+R_n综合考虑前序编码码率和环路滤波模块消耗的码率以综合平衡整体码率；λ控制失真和码率之间的折中。

若损失函数值或者迭代次数满足预设条件时，对应的参数作为神经网络的参数，否则重复迭代。

可以理解的，本申请提出的基于自编码器的环路滤波器模块(AELF)可以与传统的滤波器模块进行组合，也可以替代部分或者全部的传统滤波器模块。图8和图9给出了环路滤波器模块的整体连接关系。图8是将本申请提出的AELF与其他滤波器模块进行组合，图中A～E表示AELF的允许插入位置。图9是将本申请提出的AELF替代图2传统滤波器的部分或者全部滤波器。这些方案的区别在于AELF位于不同的位置，以及与传统滤波器组合关系不同，因而AELF所发挥的作用不同，从而影响神经网络的复杂度和性能增益。

图10给出了本申请的一个具体实施例。图10中的编码器和Hyper编码器对应图7中的编码器；量化参数QP和前序编码码率R_t对应图7中的其他边信息；解码器和Hyper解码器对应图7中的解码器；图10中的两部分码流共同构成图7中的码流。图10中的编码器生成主要码流，Hyper编码器和解码器共同估计注意力模块量化后所生成的特征的分布(假设其符合高斯分布)的均值μ和方差σ，该参数在算术编码和算术解码过程中用于确定符号的出现概率，因此需要将中间生成的隐变量经过量化和编码后写入码流，保证解码端可以获得两类参数。该高斯分布一方面用于估计量化后特征的码率，另一方面用于算术编码中符号概率估计。其中，图10中Conv表示卷积层，A×B×C/S中A、B、C和S分别表示卷积通道数量，卷积核宽、卷积核高和卷积步长，↑和↓分别表示上采样和下采样；ReLU为非线性激活层，Q表示量化(可以采用均匀量化)，AE和AD分别表示算术编码器和算术解码器；ABS表示绝对值；GDN和IGDN为基于深度学习的端到端图像编码常用的Generative Divisive Normalization和Inverse Generative Divisive Normalization非线性激活层；Concat表示连接层；注意力模块如图11所示。

目前的神经网络环路滤波器将神经网络功能定位为对编码后图像的增强不传输码流，本申请在此基础上，将原始图像引入环路滤波器过程，额外编码由神经网络学习到的特征信息/边信息。

另外，目前大部分神经网络仅用于对重建图像的增强，没有考虑传输额外的边信息对于环路滤波器的增益作用。尽管在传统滤波器和神经网络滤波器之间进行决策选择较好者，需要传输1个比特的边信息标注使用的滤波器类型，但是本申请提出了一种新型的端到端的传输边信息的环路滤波器，其使用原始图像作为输入之一，且输出的边信息由神经网络自动生成而非人工设计。本发明引入以最小化率失真代价D+λ·R为神经网络参数为优化目标，其中D和R分别表示失真和码率。该方法能够提升进一步提升编码性能，即在同等质量下降低码率，或者同等码率下，提升质量；尤其是在超低码率的情况下，该方法能够补全重建图像所缺少的关键信息。

参照图12，其示出了根据本申请一个实施例描述的用于视频编码的神经网络环路滤波装置的结构示意图。

如图12所示，用于视频编码的神经网络环路滤波装置1200，可以包括：

第一获取模块1210，用于在视频编解码器的编码端，获取当前帧的原始图像、前一模块输出的重建图像及其他边信息；

编码模块1220，用于将当前帧的原始图像、前一模块输出的重建图像及其他边信息，输入至编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流；

第二获取模块1230，用于在视频编解码器的解码端，获取当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息；

解码模块1240，用于将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至解码端的基于自编码器的环路滤波器模块，得到第二重建图像。

可选的，编码端的基于自编码器的环路滤波器模块包括编码器和第一解码器；编码模块1220还用于：

当前帧的原始图像、前一模块输出的重建图像及其他边信息输入至编码器，得到当前帧的环路滤波码流；

当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至第一解码器，得到第一重建图像。

可选的，编码模块1220还用于：

将当前帧的原始图像、前一模块输出的重建图像及其他边信息进行归一化，得到归一化后特征；

将归一化后特征输入编码器，提取得到特征向量；

将特征向量经过量化、熵编码转换为当前帧的环路滤波码流。

可选的，解码端的基于自编码器的环路滤波器模块包括第二解码器；解码模块1240还用于：

将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至第二解码器，得到第二重建图像。

可选的，编码器和/或解码器由神经网络构成；

解码器包括第一解码器和第二解码器。

可选的，神经网络采用卷积神经网络、全连接网络、循环神经网络、可逆神经网络中任意一种。

可选的，神经网络的参数由编码器和解码器联合训练得到。

可选的，该装置还包括：

参数训练模块，用于：

训练当前帧的原始图像经过前序编码，得到前序编码码流及前序编码码率、训练其他边信息、训练前一模块输出的重建图像；

将训练当前帧的原始图像、训练其他边信息、训练前一模块输出的重建图像输入预设编码器，得到训练码率和训练码流；

训练码流、训练其他边信息、训练前一模块输出的重建图像输入预设解码器，得到训练重建图像；

根据训练当前帧的原始图像、训练重建图像、训练码率、前序编码码率，确定损失函数；

当损失函数值或迭代次数满足预设条件时，对应的参数作为神经网络的参数。

可选的，其他边信息至少包括块划分信息、预测模式、运动矢量、其他帧的重建图像、滤波器控制参数、量化参数中的一种或者多种。

本实施例提供的一种用于视频编码的神经网络环路滤波装置，可以执行上述方法的实施例，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种用于视频编码的神经网络环路滤波方法，其特征在于，所述方法包括：

在视频编解码器的编码端，获取当前帧的原始图像、前一模块输出的重建图像及其他边信息；

将所述当前帧的原始图像、所述前一模块输出的重建图像及所述其他边信息，输入至所述编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流；

在视频编解码器的解码端，获取所述当前帧的环路滤波码流、所述前一模块输出的重建图像及所述其他边信息；

将所述当前帧的环路滤波码流、所述前一模块输出的重建图像及所述其他边信息输入至所述解码端的基于自编码器的环路滤波器模块，得到第二重建图像。

2.根据权利要求1所述的方法，其特征在于，所述编码端的基于自编码器的环路滤波器模块包括编码器和第一解码器；

所述将所述当前帧的原始图像、所述前一模块输出的重建图像及所述其他边信息，输入至所述编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流，包括：

所述当前帧的原始图像、所述前一模块输出的重建图像及所述其他边信息输入至所述编码器，得到所述当前帧的环路滤波码流；

所述当前帧的环路滤波码流、所述前一模块输出的重建图像及所述其他边信息输入至所述第一解码器，得到所述第一重建图像。

3.根据权利要求2所述的方法，其特征在于，所述当前帧的原始图像、所述前一模块输出的重建图像及所述其他边信息输入至所述编码器，得到所述当前帧的环路滤波码流，包括：

将所述当前帧的原始图像、所述前一模块输出的重建图像及所述其他边信息进行归一化，得到归一化后特征；

将所述归一化后特征输入所述编码器，提取得到特征向量；

将所述特征向量经过量化、熵编码转换为所述当前帧的环路滤波码流。

4.根据权利要求2所述的方法，其特征在于，所述解码端的基于自编码器的环路滤波器模块包括第二解码器；

所述将所述当前帧的环路滤波码流、所述前一模块输出的重建图像及所述其他边信息输入至所述解码端的基于自编码器的环路滤波器模块，得到第二重建图像，包括：

将所述当前帧的环路滤波码流、所述前一模块输出的重建图像及所述其他边信息输入至所述第二解码器，得到第二重建图像。

5.根据权利要求4所述的方法，其特征在于，所述编码器和/或所述解码器由神经网络构成；

所述解码器包括所述第一解码器和所述第二解码器。

6.根据权利要求5所述的方法，其特征在于，所述神经网络采用卷积神经网络、全连接网络、循环神经网络、可逆神经网络中任意一种。

7.根据权利要求6所述的方法，其特征在于，所述神经网络的参数由所述编码器和所述解码器联合训练得到。

8.根据权利要求7所述的方法，其特征在于，所述由所述编码器和所述解码器联合训练所述神经网络的参数，包括：

所述训练当前帧的原始图像经过前序编码，得到前序编码码流及前序编码码率、所述训练其他边信息、所述训练前一模块输出的重建图像；

将所述训练当前帧的原始图像、所述训练其他边信息、所述训练前一模块输出的重建图像输入预设编码器，得到训练码率和训练码流；

所述训练码流、所述训练其他边信息、所述训练前一模块输出的重建图像输入预设解码器，得到训练重建图像；

根据所述训练当前帧的原始图像、所述训练重建图像、所述训练码率、前序编码码率，确定损失函数；

当损失函数值或迭代次数满足预设条件时，对应的参数作为所述神经网络的参数。

9.根据权利要求1所述的方法，其特征在于，所述其他边信息至少包括块划分信息、预测模式、运动矢量、其他帧的重建图像、滤波器控制参数、量化参数中的一种或者多种。

10.一种用于视频编码的神经网络环路滤波装置，其特征在于，所述装置包括：

第一获取模块，用于在视频编解码器的编码端，获取当前帧的原始图像、前一模块输出的重建图像及其他边信息；

编码模块，用于将所述当前帧的原始图像、所述前一模块输出的重建图像及所述其他边信息，输入至所述编码端的基于自编码器的环路滤波器模块，得到第一重建图像和当前帧的环路滤波码流；

第二获取模块，用于在视频编解码器的解码端，获取所述当前帧的环路滤波码流、所述前一模块输出的重建图像及所述其他边信息；

解码模块，用于将所述当前帧的环路滤波码流、所述前一模块输出的重建图像及所述其他边信息输入至所述解码端的基于自编码器的环路滤波器模块，得到第二重建图像。

Images