CN113259671B - 视频编解码中的环路滤波方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种视频编解码中的环路滤波方法、装置、设备及存储介质，涉及视频编解码技术领域。所述方法包括：获取视频序列中的当前帧的类型；若当前帧的类型为帧内预测帧，则采用第一滤波模型对当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，第一滤波模型是用于对帧内预测帧进行环路滤波处理的机器学习模型；若当前帧的类型为帧间预测帧，则采用第二滤波模型对当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，第二滤波模型是用于对帧间预测帧进行环路滤波处理的机器学习模型。本申请实施例通过为I帧和非I帧分别选用相应的环路滤波模型，从而有助于提升滤波质量，特别是提升非I帧的滤波质量。

Description

视频编解码中的环路滤波方法、装置、设备及存储介质

技术领域

本申请实施例涉及视频编解码技术领域，特别涉及一种视频编解码中的环路滤波方法、装置、设备及存储介质。

背景技术

在目前的视频编解码技术中，通过采用经离线训练的环路滤波模型对视频序列中的重建帧进行滤波处理，这种方法相较于传统滤波方法的滤波质量更优。

在相关技术中，通过构建环路滤波模型的训练集，采用该训练集对环路滤波模型进行离线训练。完成训练的环路滤波模型将被用于在视频序列的编解码过程中，对该视频序列中的重建帧进行滤波处理。

由于视频序列中的图像帧包括I帧和非I帧，非I帧包括P帧和B帧，在相关技术中，采用同一个环路滤波模型对I帧和非I帧进行滤波处理，导致滤波质量提升有限。

发明内容

本申请实施例提供了一种视频编解码中的环路滤波方法、装置、设备及存储介质，可以提升环路滤波模型的滤波质量。所述技术方案如下：

一方面，本申请实施例提供了一种视频编解码中的环路滤波方法，所述方法包括：

获取视频序列中的当前帧的类型，所述类型包括帧内预测帧和帧间预测帧；

若所述当前帧的类型为所述帧内预测帧，则采用第一滤波模型对所述当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，所述第一滤波模型是用于对所述帧内预测帧进行环路滤波处理的机器学习模型；

若所述当前帧的类型为所述帧间预测帧，则采用第二滤波模型对所述当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，所述第二滤波模型是用于对所述帧间预测帧进行环路滤波处理的机器学习模型。

另一方面，本申请实施例提供了一种视频编解码中的环路滤波模型的训练方法，所述方法包括：

生成第一训练集，所述第一训练集包括第一训练样本，所述第一训练样本的样本数据包括第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，所述第一训练样本的标签数据包括所述第一图像；

采用所述第一训练集训练生成第一滤波模型，所述第一滤波模型是用于对视频序列中的帧内预测帧进行环路滤波处理的机器学习模型；

生成第二训练集，所述第二训练集包括第二训练样本，所述第二训练样本的样本数据包括第二图像经帧间预测模式进行压缩重建后得到的第二重建图像，所述第二训练样本的标签数据包括所述第二图像；

采用所述第二训练集训练生成第二滤波模型，所述第二滤波模型是用于对所述视频序列中的帧间预测帧进行环路滤波处理的机器学习模型。

另一方面，本申请实施例提供了一种视频编解码中的环路滤波装置，所述装置包括：

类型获取模块，用于获取视频序列中的当前帧的类型，所述类型包括帧内预测帧和帧间预测帧；

第一滤波模块，用于若所述当前帧的类型为所述帧内预测帧，则采用第一滤波模型对所述当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，所述第一滤波模型是用于对所述帧内预测帧进行环路滤波处理的机器学习模型；

第二滤波模块，用于若所述当前帧的类型为所述帧间预测帧，则采用第二滤波模型对所述当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，所述第二滤波模型是用于对所述帧间预测帧进行环路滤波处理的机器学习模型。

另一方面，本申请实施例提供了一种视频编解码中的环路滤波模型的训练装置，所述装置包括：

第一生成模块，用于生成第一训练集，所述第一训练集包括第一训练样本，所述第一训练样本的样本数据包括第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，所述第一训练样本的标签数据包括所述第一图像；

第一训练模块，用于采用所述第一训练集训练生成第一滤波模型，所述第一滤波模型是用于对视频序列中的帧内预测帧进行环路滤波处理的机器学习模型；

第二生成模块，用于生成第二训练集，所述第二训练集包括第二训练样本，所述第二训练样本的样本数据包括第二图像经帧间预测模式进行压缩重建后得到的第二重建图像，所述第二训练样本的标签数据包括所述第二图像；

第二训练模块，用于采用所述第二训练集训练生成第二滤波模型，所述第二滤波模型是用于对所述视频序列中的帧间预测帧进行环路滤波处理的机器学习模型。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频编解码中的环路滤波方法。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频编解码中的环路滤波模型的训练方法。

再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频编解码中的环路滤波方法。

再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频编解码中的环路滤波模型的训练方法。

还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述视频编解码中的环路滤波方法。

还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述视频编解码中的环路滤波模型的训练方法。

本申请实施例提供的技术方案可以包括如下有益效果：

在对当前帧的重建帧进行环路滤波处理时，基于该当前帧的类型，选择不同的环路滤波模型进行处理；相比于相关技术中采用同一个环路滤波模型对I帧和非I帧进行滤波处理，本申请实施例实现了对I帧和非I帧(也即帧内预测帧和帧间预测帧)的区别对待，通过为I帧和非I帧分别选用相应的环路滤波模型，从而有助于提升滤波质量，特别是提升非I帧的滤波质量。

附图说明

图1是本申请示例性示出的一种视频编码的示意图；

图2是本申请一个实施例提供的通信系统的简化框图；

图3是本申请示例性示出的视频编码器和视频解码器在流式传输环境中的放置方式的示意图；

图4是本申请一个实施例提供的帧间预测模式下的编码示意图；

图5是本申请一个实施例提供的帧内预测模式下的编码示意图；

图6是本申请一个实施例提供的视频编解码中的环路滤波方法的流程图；

图7是本申请一个实施例提供的环路滤波模型的训练方法的流程图；

图8示出了采用相关技术训练的环路滤波模型输出的滤波图像的采用率的示意图；

图9示出了采用本申请技术方案训练的环路滤波模型输出的滤波图像的采用率的示意图；

图10示出了相关技术和本申请技术方案的BD-rate结果比对的示意图；

图11是本申请一个实施例提供的视频编解码中的环路滤波装置的框图；

图12是本申请一个实施例提供的环路滤波模型的训练装置的框图；

图13是本申请一个实施例提供的计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例进行介绍说明之前，首先对本申请实施例中涉及的一些名词概念进行定义说明。

I图像(I picture)：只使用帧内预测解码的图像，也称为I帧。

P图像(P picture)：帧间预测中只使用显示顺序上过去的参考图像进行解码的图像，也称为P帧。

B图像(B picture)：帧间预测中可使用显示顺序上过去的和将来的参考图像进行解码的图像，也称为B帧。

帧内预测帧：视频序列中，采用帧内预测模式进行编解码的图像帧，包括I帧。

帧间预测帧：视频序列中，采用帧间预测模式进行编解码的图像帧，包括P帧和B帧。

AI(All Intra，全帧内编码)模式：视频序列中所有帧都是I帧编码的编码模式。

RA(Random Access，随机介入)模式：表示分批B帧结构，在视频序列中周期性地插入一些I帧的编码模式。

LD(Low Delay，低时延)模式：视频序列中只有第一帧是I帧编码，其他都是非I帧编码的编码模式。例如，视频序列中只有第一帧是I帧编码，其他都是B帧编码。

环路滤波(loop filter)：滤波器在解码环路内，滤波后的图像可以作为参考帧用于运动估计和补偿。

请参考图1，当前块101包括在运动搜索过程期间已由编码器发现的样本，根据已产生空间偏移的相同大小的先前块，可预测所述样本。另外，可从一个或多个参考图片相关联的元数据中导出所述MV(Motion Vector，运动矢量)，而非对MV直接编码。例如，使用关联于A0、A1和B0、B1、B2(分别对应102到106)五个周围样本中的任一样本的MV，(按解码次序)从最近的参考图片的元数据中导出所述MV。

如图2所示，其示出了本申请一个实施例提供的通信系统的简化框图。通信系统200包括多个设备，所述设备可通过例如网络250彼此通信。举例来说，通信系统200包括通过网络250互连的第一设备210和第二设备220。在图2的实施例中，第一设备210和第二设备220执行单向数据传输。举例来说，第一设备210可对视频数据例如由第一设备210采集的视频图片流进行编码以通过网络250传输到第二设备220。已编码的视频数据以一个或多个已编码视频码流形式传输。第二设备220可从网络250接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。

在另一实施例中，通信系统200包括执行已编码视频数据的双向传输的第三设备230和第四设备240，所述双向传输可例如在视频会议期间发生。对于双向数据传输，第三设备230和第四设备240中的每个设备可对视频数据(例如由设备采集的视频图片流)进行编码，以通过网络250传输到第三设备230和第四设备240中的另一设备。第三设备230和第四设备240中的每个设备还可接收由第三设备230和第四设备240中的另一设备传输的已编码视频数据，且可对所述已编码视频数据进行解码以恢复视频数据，且可根据恢复的视频数据在可访问的显示装置上显示视频图片。

在图2的实施例中，第一设备210、第二设备220、第三设备230和第四设备240可为服务器、个人计算机和智能电话等计算机设备，但本申请公开的原理可不限于此。本申请实施例适用于PC(Personal Computer，个人计算机)、手机、平板电脑、媒体播放器和/或专用视频会议设备。网络250表示在第一设备210、第二设备220、第三设备230和第四设备240之间传送已编码视频数据的任何数目的网络，包括例如有线连线的和/或无线通信网络。通信网络250可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络250的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。

作为实施例，图3示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV(电视)、在包括CD(Compact Disc，光盘)、DVD(Digital Versatile Disc，数字通用光盘)、存储棒等的数字介质上存储压缩视频等等。

流式传输系统可包括采集子系统313，所述采集子系统可包括数码相机等视频源301，所述视频源创建未压缩的视频图片流302。在实施例中，视频图片流302包括由数码相机拍摄的样本。相较于已编码的视频数据304(或已编码的视频码流)，视频图片流302被描绘为粗线以强调高数据量的视频图片流，视频图片流302可由电子装置320处理，所述电子装置320包括耦接到视频源301的视频编码器303。视频编码器303可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流302，已编码的视频数据304(或已编码的视频码流304)被描绘为细线以强调较低数据量的已编码的视频数据304(或已编码的视频码流304)，其可存储在流式传输服务器305上以供将来使用。一个或多个流式传输客户端子系统，例如图3中的客户端子系统306和客户端子系统308，可访问流式传输服务器305以检索已编码的视频数据304的副本307和副本309。客户端子系统306可包括例如电子装置330中的视频解码器310。视频解码器310对已编码的视频数据的传入副本307进行解码，且产生可在显示器312(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流311。在一些流式传输系统中，可根据某些视频编码/压缩标准对已编码的视频数据304、视频数据307和视频数据309(例如视频码流)进行编码。

应注意，电子装置320和电子装置330可包括其它组件(未示出)。举例来说，电子装置320可包括视频解码器(未示出)，且电子装置330还可包括视频编码器(未示出)。其中，视频解码器用于对接收到的已编码视频数据进行解码；视频编码器用于对视频数据进行编码。

在对视频帧中的待编码块进行编码时，可以使用帧间预测模式或帧内预测模式，在一个或多个已编码参考块的基础上，生成一个预测块。预测块可以是待编码块的预估版本。可通过从预测块中减去该待编码块来生成残差块，反之亦然，该残差块可用于表示预测残差(或称为预测误差)。由于需要用于表示预测残差的数据量，通常可能少于需要用于表示待编码块的数据量，因此可以对残差块进行编码以实现较高的压缩比。例如，如图4所示，对于帧间预测模式，已编码参考块41和待编码块42位于两个不同的图像(即视频帧)中。如图5所示，对于帧内预测模式，已编码参考块51和待编码块52位于同一个图像(即视频帧)中。

视频编码方式包括帧间编码和帧内编码。帧间编码是指使用帧间预测对编码单元或图像进行编码。帧内编码是指使用帧内预测对编码单元进行编码。需要注意的是，使用普通帧内预测的编码单元称为普通帧内编码单元；使用IBC(Intra Block Copy，帧内块复制)模式的编码单元称为块复制帧内编码单元。

帧间预测是指使用先前解码图像生成当前图像样本预测值的过程。帧内预测是指在相同解码图像中使用先前解码的样值生成当前样本预测值的过程。帧内预测分为普通帧内预测和IBC(也称为块复制帧内预测)。

在本申请实施例提供的技术方案中，在对当前帧的重建帧进行环路滤波处理时，基于该当前帧的类型，选择不同的环路滤波模型进行处理；相比于相关技术中采用同一个环路滤波模型对I帧和非I帧进行滤波处理，本申请实施例实现了对I帧和非I帧(也即帧内预测帧和帧间预测帧)的区别对待，通过为I帧和非I帧分别选用相应的环路滤波模型，从而有助于提升滤波质量，特别是提升非I帧的滤波质量。

需要说明的一点是，本申请实施例提供的技术方案可以应用于H.266/VCC标准、H.265/HEVC(High Efficient Video Coding，高效率视频压缩编码)、AVS(Audio Videocoding Standard，音视频编码标准)(如AVS3)或者下一代视频编解码标准中，本申请实施例对此不作限定。

还需要说明的一点是，本申请实施例提供的视频编解码中的环路滤波方法，各步骤的执行主体可以是解码端设备，也可以是编码端设备。在视频解码和视频编码的过程中，都可以采用本申请实施例提供的技术方案，对视频序列中的重建帧进行环路滤波处理。解码端设备和编码端设备均可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备，如PC、手机、平板电脑、媒体播放器、专用视频会议设备、服务器等等。

另外，本申请所提供的方法可以单独使用或以任意顺序与其他方法合并使用。基于本申请所提供方法的编码器和解码器，可以由1个或多个处理器或是1个或多个集成电路来实现。下面，通过几个实施例对本申请技术方案进行介绍说明。

请参考图6，其示出了本申请一个实施例提供的视频编解码中的环路滤波方法的流程图。为了便于说明，仅以各步骤执行主体为计算机设备进行介绍说明。该方法可以包括如下几个步骤(601～603)：

步骤601，获取视频序列中的当前帧的类型，该类型包括帧内预测帧和帧间预测帧。

视频序列包括多个连续的图像帧，当前帧是指当前正在处理的图像帧，该当前帧可以是视频序列中的任意一个图像帧。

帧内预测帧是指视频序列中，采用帧内预测模式进行编解码的图像帧。帧内预测帧也可以称为I帧。

帧间预测帧是指视频序列中，采用帧间预测模式进行编解码的图像帧。帧间预测帧也可以称为非I帧，即包括P帧和B帧。

步骤602，若当前帧的类型为帧内预测帧，则采用第一滤波模型对当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，第一滤波模型是用于对帧内预测帧进行环路滤波处理的机器学习模型。

步骤603，若当前帧的类型为帧间预测帧，则采用第二滤波模型对当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，第二滤波模型是用于对帧间预测帧进行环路滤波处理的机器学习模型。

当前帧的重建帧是指对当前帧进行压缩重建后生成的图像帧。例如，可以对当前帧进行压缩处理(也即编码处理，包括帧内或帧间预测、残差计算、变换、量化等处理)，得到压缩处理后的当前帧；然后对该压缩处理后的当前帧进行重建(也即解码处理，包括反量化、反变换、重构残差、重构图像等处理)，得到当前帧的重建帧。

在本申请实施例中，在对当前帧的重建帧进行环路滤波处理时，基于该当前帧的类型，选择不同的环路滤波模型进行处理；相比于相关技术中采用同一个环路滤波模型对I帧和非I帧进行滤波处理，本申请实施例实现了对I帧和非I帧(也即帧内预测帧和帧间预测帧)的区别对待，通过为I帧和非I帧分别训练相应的环路滤波模型，从而有助于提升滤波质量，特别是提升非I帧的滤波质量。

在本申请实施例中，第一滤波模型是用于对帧内预测帧进行环路滤波处理的机器学习模型，第二滤波模型是用于对帧间预测帧进行环路滤波处理的机器学习模型。在本申请实施例中，对第一滤波模型和第二滤波模型的网络结构不作限定，例如可以是CNN(Convolutional Neural Network，卷积神经网络)。另外，第一滤波模型和第二滤波模型的模型结构可以相同或类似，本申请实施例对此也不作限定。

在对视频序列中的重建帧进行环路滤波处理时，如果该重建帧是I帧的重建帧，则采用第一滤波模型对该重建帧进行滤波处理，得到滤波后的重建帧；如果该重建帧是非I帧的重建帧，则采用第二滤波模型对该重建帧进行滤波处理，得到滤波后的重建帧。

另外，对于编码端设备来说，编码端设备在采用上述方式得到当前帧的滤波后的重建帧之后，通过比较未经过滤波处理的重建帧和滤波后的重建帧分别与当前帧的原始图像之间的差异，来决定是否采用环路滤波模型进行滤波处理。该过程可以通过帧级或者CTU(Coding Tree Unit，编码树单元)级的RDO(Rate Distortion Optimization，率失真优化)选择是否在当前帧或当前块采用环路滤波模型进行滤波处理。并且，编码端设备会将该决定结果通过标志(flag)告知给解码端设备。解码端设备在对视频序列进行解码时，根据该标志确定出是否需要采用环路滤波模型进行滤波处理，如果需要则同样根据当前帧的类型，选择相应的环路滤波模型对当前帧的重建帧进行滤波处理。

在示例性实施例中，步骤602可以包括如下几个子步骤：

1、获取第一滤波模型的输入数据，该第一滤波模型的输入数据包括当前帧的重建帧；

可选地，第一滤波模型的输入数据还包括当前帧的编码信息，该编码信息包括对当前帧进行编码处理时所用到的参数，如量化参数(QP，也可称为量化步长)、残差信息等。

2、采用第一滤波模型对该第一滤波模型的输入数据进行处理，得到滤波后的重建帧。

通过将该第一滤波模型的输入数据输入至第一滤波模型，由第一滤波模型输出滤波后的重建帧。

在示例性实施例中，步骤603可以包括如下几个子步骤：

1、获取第二滤波模型的输入数据，该第二滤波模型的输入数据包括当前帧的重建帧；

可选地，第二滤波模型的输入数据还包括当前帧的参考帧。对于非I帧(也即帧间预测帧)，由于其采用帧间预测模式进行运动矢量预测，因此其存在参考帧。非I帧的重建质量与其参考帧也息息相关。因此，在对非I帧的重建帧进行滤波处理时，除了要输入当前帧的重建帧，还需要输入该当前帧的参考帧。

可选地，第二滤波模型的输入数据还包括当前帧的编码信息，例如第二滤波模型的输入数据可以包括当前帧的重建帧和当前帧的编码信息，又例如第二滤波模型的输入数据可以包括当前帧的重建帧、当前帧的参考帧和当前帧的编码信息。有关该编码信息的介绍说明可参见上文，此处不再赘述。

2、采用第二滤波模型对该第二滤波模型的输入数据进行处理，得到滤波后的重建帧。

通过将该第二滤波模型的输入数据输入至第二滤波模型，由第二滤波模型输出滤波后的重建帧。

在一个示例中，对当前帧的重建帧和当前帧的参考帧进行整合处理，得到整合处理后的数据；将整合处理后的数据输入至第二滤波模型进行处理，得到滤波后的重建帧。也即，将当前帧的重建帧和当前帧的参考帧整合之后，一起输入至第二滤波模型进行处理。例如，采用串联的方式，将当前帧的重建帧和当前帧的参考帧整合起来。

在另一个示例中，对当前帧的重建帧和当前帧的参考帧进行做差处理，得到做差处理后的数据；将做差处理后的数据输入至第二滤波模型进行处理，得到滤波处理后的重建帧。例如，将当前帧的重建帧减去当前帧的参考帧，得到做差处理后的数据；或者，将当前帧的参考帧减去当前帧的重建帧，得到做差处理后的数据。

上文介绍的两个示例，仅是为了示例性说明第二滤波模型的输入数据除了包括当前帧的重建帧之外，还需要包括当前帧的参考帧，第二滤波模型的输入需要综合这两方面数据，在其它可能的实施例中，还可以对当前帧的重建帧和当前帧的参考帧做其他处理后输入至第二滤波模型，本申请实施例对此不作限定。

综上所述，本申请实施例提供的技术方案，在对当前帧的重建帧进行环路滤波处理时，基于该当前帧的类型，选择不同的环路滤波模型进行处理；相比于相关技术中采用同一个环路滤波模型对I帧和非I帧进行滤波处理，本申请实施例实现了对I帧和非I帧(也即帧内预测帧和帧间预测帧)的区别对待，通过为I帧和非I帧分别选用相应的环路滤波模型，从而有助于提升滤波质量，特别是提升非I帧的滤波质量。

另外，第二滤波模型的输入数据除了包括当前帧的重建帧之外，还包括该当前帧的参考帧，由于非I帧的重建质量与其参考帧也息息相关，通过第二滤波模型根据当前帧的重建帧和参考帧进行滤波处理，有助于提升非I帧的重建质量。

另外，环路滤波模型的输入数据还可以包括量化参数、残差信息等编码信息，从而为环路滤波模型提供更为丰富的有用输入数据，进一步提升滤波质量。

在上文介绍的图6实施例中，主要对环路滤波模型在视频编解码过程中的使用过程进行了介绍说明，下面，将通过图7实施例，对环路滤波模型的训练过程进行介绍说明。

请参考图7，其示出了本申请一个实施例提供的环路滤波模型的训练方法的流程图。该方法各步骤的执行主体可以是计算机设备，如PC、服务器或者其它具备计算处理能力的电子设备。该方法可以包括如下几个步骤(701～704)：

步骤701，生成第一训练集，该第一训练集包括第一训练样本，第一训练样本的样本数据包括第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，第一训练样本的标签数据包括第一图像。

步骤702，采用第一训练集训练生成第一滤波模型，第一滤波模型是用于对视频序列中的帧内预测帧进行环路滤波处理的机器学习模型。

第一训练集是用于训练第一滤波模型的训练样本集。该第一训练集中可以包括至少一个第一训练样本。每个第一训练样本包括样本数据和标签数据。其中，样本数据是第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，有关压缩重建的过程已经在图6实施例中进行了介绍说明，此处不再赘述。标签数据则是第一图像本身。

在示例性实施例中，步骤701可以包括如下几个子步骤：

1、获取图片数据集，该图片数据集中包括样本图片；

2、对样本图片进行压缩重建，得到压缩重建后的样本图片；

3、基于压缩重建后的样本图片，生成第一训练集。

图片数据集中包括至少一个样本图片。由于第一训练集是用于训练第一滤波模型的训练样本集，而第一滤波模型是用于对视频序列中的I帧(也即帧内预测帧)进行环路滤波处理的机器学习模型，因此基于图片数据集构建生成第一训练集，相比于基于视频数据集构建生成第一训练集，可以提升第一训练集中的训练样本的多样性，从而使得最终训练生成的第一滤波模型更加鲁棒。当然，在其它可能的实施例中，基于视频数据集构建生成第一训练集也是可以的，本申请实施例对此不作限定。

另外，在对第一滤波模型进行训练的过程中，将第一训练样本的输入数据输入至第一滤波模型，由该第一滤波模型输出滤波后的图像帧，然后基于该滤波后的图像帧与第一训练样本的标签数据之间的差异，构建第一滤波模型的损失函数，通过不断调整第一滤波模型的参数，以最小化该损失函数的值，从而得到完成训练的第一滤波模型。第一训练样本的输入数据除了包括第一图像对应的第一重建图像之外，还可以包括该第一图像的编码信息，即包括对第一图像进行编码处理时所用到的参数，如量化参数、残差信息等。

步骤703，生成第二训练集，该第二训练集包括第二训练样本，第二训练样本的样本数据包括第二图像经帧间预测模式进行压缩重建后得到的第二重建图像，第二训练样本的标签数据包括第二图像。

步骤704，采用第二训练集训练生成第二滤波模型，第二滤波模型是用于对视频序列中的帧间预测帧进行环路滤波处理的机器学习模型。

第二训练集是用于训练第二滤波模型的训练样本集。该第二训练集中可以包括至少一个第二训练样本。每个第二训练样本包括样本数据和标签数据。其中，样本数据是第二图像经帧间预测模式进行压缩重建后得到的第二重建图像，有关压缩重建的过程已经在图6实施例中进行了介绍说明，此处不再赘述。标签数据则是第二图像本身。

在示例性实施例中，步骤703可以包括如下几个子步骤：

1、获取视频数据集，该视频数据集中包括样本视频序列；

2、对样本视频序列中的图像帧进行压缩重建，得到压缩重建后的样本视频序列；

3、从压缩重建后的样本视频序列中选帧，生成第二训练集。

视频数据集中包括至少一个样本视频序列。由于第二训练集是用于训练第二滤波模型的训练样本集，而第二滤波模型是用于对视频序列中的非I帧(也即帧间预测帧)进行环路滤波处理的机器学习模型，因此需要基于视频数据集来构建生成第二训练集。

可选地，在压缩重建过程中，采用第一滤波模型对样本视频序列中的帧内预测帧进行滤波处理，该滤波处理后的帧内预测帧，可以作为其它帧间预测帧的参考帧。通过上述方式，能够尽可能地使得训练数据和测试数据在分布上尽量相似，从而提升最终训练生成的第二滤波模型的鲁棒性。

另外，在对第二滤波模型进行训练的过程中，将第二训练样本的输入数据输入至第二滤波模型，由该第二滤波模型输出滤波后的图像帧，然后基于该滤波后的图像帧与第二训练样本的标签数据之间的差异，构建第二滤波模型的损失函数，通过不断调整第二滤波模型的参数，以最小化该损失函数的值，从而得到完成训练的第二滤波模型。第二训练样本的输入数据包括第二图像对应的第二重建图像，可选地还包括第二图像的参考帧，可选地还可以包括该第二图像的编码信息，即包括对第二图像进行编码处理时所用到的参数，如量化参数、残差信息等。

综上所述，本申请实施例提供的技术方案，通过分别训练生成第一滤波模型和第二滤波模型，该第一滤波模型用于对视频序列中的I帧进行环路滤波处理，第二滤波模型用于对视频序列中的非I帧进行环路滤波处理，通过为I帧和非I帧分别训练相应的环路滤波模型，从而有助于提升滤波质量，特别是提升非I帧的滤波质量。

另外，基于图片数据集构建生成第一训练集，相比于基于视频数据集构建生成第一训练集，可以提升第一训练集中的训练样本的多样性，从而使得最终训练生成的第一滤波模型更加鲁棒。

另外，在压缩重建过程中，采用第一滤波模型对样本视频序列中的帧内预测帧进行滤波处理，该滤波处理后的帧内预测帧，可以作为其它帧间预测帧的参考帧。通过上述方式，能够尽可能地使得训练数据和测试数据在分布上尽量相似，从而提升最终训练生成的第二滤波模型的鲁棒性。

下面，通过几组比对数据，体现本申请技术方案相比于相关技术的有益效果。

如果采用相关技术，基于图片数据集构建训练集，然后采用该训练集训练环路滤波模型，并将该环路滤波模型应用于视频序列的所有图像帧，对于AI模式、RA模式和LD模式的视频序列，该环路滤波模型输出的滤波图像的采用率如图8所示。在图8中，曲线81示出了AI模式对应的采用率，曲线82示出了RA模式对应的采用率，曲线83示出了LD模式对应的采用率。从图8中可以明显看出，AI模式对应的采用率接近100％，而RA模式和LD模式对应的采用率除了第0帧100％采用外(第0帧是I帧)，非I帧上的采用率非常低，基本接近于0。由于RA模式和LD模式下，视频序列中大部分是非I帧，非I帧上过低的采用率将大大限制重建精度的提升。

如果采用本申请技术方案，训练生成上文介绍的第一滤波模型和第二滤波模型，采用第一滤波模型对I帧进行滤波处理，采用第二滤波模型对非I帧进行滤波处理，同样对于AI模式、RA模式和LD模式的视频序列，环路滤波模型输出的滤波图像的采用率如图9所示。在图9中，曲线91示出了AI模式对应的采用率，曲线92示出了RA模式对应的采用率，曲线93示出了LD模式对应的采用率。从图9中可以明显看出，AI模式对应的采用率与相关技术相仿，接近100％。而RA模式和LD模式对应的采用率则明显高于相关技术，特别是在非I帧上的采用率，从而提升滤波性能。

另外，图10示出了相关技术和本申请技术方案，在RA模式和LD模式下的BD-rate结果比对。BD-rate为负值时，表示相同PSNR(Peak Signal to Noise Ratio，峰值信噪比)条件下，码率减少，性能提高。BD-rate为正值时，表示相同PSNR条件下，码率增加，性能下降。一般来说，码率越低，PSNR越大，越能够说明方案具有较好的性能。图10左侧的图示(a)示出了采用相关技术在RA模式的3种不同分辨率的视频序列上的BD-rate结果，图10左侧的图示(b)示出了采用相关技术在LD模式的3种不同分辨率的视频序列上的BD-rate结果。图10右侧的图示(c)示出了采用本申请技术方案在RA模式的3种不同分辨率的视频序列上的BD-rate结果，图10右侧的图示(d)示出了采用本申请技术方案在RA模式的3种不同分辨率的视频序列上的BD-rate结果。从图10的BD-rate结果比对可以看出，本申请技术方案相比于相关技术在相同条件下码率更少，性能更优。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图11，其示出了本申请一个实施例提供的视频编解码中的环路滤波装置的框图。该装置具有实现上述视频编解码中的环路滤波方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置1100可以包括：类型获取模块1110、第一滤波模块1120和第二滤波模块1130。

类型获取模块1110，用于获取视频序列中的当前帧的类型，所述类型包括帧内预测帧和帧间预测帧。

第一滤波模块1120，用于若所述当前帧的类型为所述帧内预测帧，则采用第一滤波模型对所述当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，所述第一滤波模型是用于对所述帧内预测帧进行环路滤波处理的机器学习模型。

第二滤波模块1130，用于若所述当前帧的类型为所述帧间预测帧，则采用第二滤波模型对所述当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，所述第二滤波模型是用于对所述帧间预测帧进行环路滤波处理的机器学习模型。

综上所述，本申请实施例提供的技术方案，在对当前帧的重建帧进行环路滤波处理时，基于该当前帧的类型，选择不同的环路滤波模型进行处理；相比于相关技术中采用同一个环路滤波模型对I帧和非I帧进行滤波处理，本申请实施例实现了对I帧和非I帧(也即帧内预测帧和帧间预测帧)的区别对待，通过为I帧和非I帧分别选用相应的环路滤波模型，从而有助于提升滤波质量，特别是提升非I帧的滤波质量。

在示例性实施例中，所述第二滤波模块1130，包括：

数据获取单元，用于获取所述第二滤波模型的输入数据，所述第二滤波模型的输入数据包括所述当前帧的重建帧和所述当前帧的参考帧；

滤波处理单元，用于采用所述第二滤波模型对所述输入数据进行处理，得到所述滤波后的重建帧。

在示例性实施例中，所述滤波处理单元，用于：

对所述当前帧的重建帧和所述当前帧的参考帧进行整合处理，得到整合处理后的数据；

将所述整合处理后的数据输入至所述第二滤波模型进行处理，得到所述滤波后的重建帧。

在示例性实施例中，所述滤波处理单元，用于：

对所述当前帧的重建帧和所述当前帧的参考帧进行做差处理，得到做差处理后的数据；

将所述做差处理后的数据输入至所述第二滤波模型进行处理，得到所述滤波处理后的重建帧。

在示例性实施例中，所述第二滤波模型的输入数据还包括所述当前帧的编码信息，所述编码信息包括对所述当前帧进行编码处理时所用到的参数。

在示例性实施例中，采用如下方式训练生成所述第一滤波模型和所述第二滤波模型：

生成第一训练集，所述第一训练集包括第一训练样本，所述第一训练样本的样本数据包括第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，所述第一训练样本的标签数据包括所述第一图像；

采用所述第一训练集训练生成所述第一滤波模型；

生成第二训练集，所述第二训练集包括第二训练样本，所述第二训练样本的样本数据包括第二图像经帧间预测模式进行压缩重建后得到的第二重建图像，所述第二训练样本的标签数据包括所述第二图像；

采用所述第二训练集训练生成所述第二滤波模型。

在示例性实施例中，所述生成第二训练集，包括：

获取视频数据集，所述视频数据集中包括样本视频序列；

对所述样本视频序列中的图像帧进行压缩重建，得到压缩重建后的样本视频序列；其中，在压缩重建过程中，采用所述第一滤波模型对所述样本视频序列中的帧内预测帧进行滤波处理；

从所述压缩重建后的样本视频序列中选帧，生成所述第二训练集。

在示例性实施例中，所述生成第一训练集，包括：

获取图片数据集，所述图片数据集中包括样本图片；

对所述样本图片进行压缩重建，得到压缩重建后的样本图片；

基于所述压缩重建后的样本图片，生成所述第一训练集。

请参考图12，其示出了本申请一个实施例提供的环路滤波模型的训练装置的框图。该装置具有实现上述环路滤波模型的训练方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置1200可以包括：第一生成模块1210、第一训练模块1220、第二生成模块1230和第二训练模块1240。

第一生成模块1210，用于生成第一训练集，所述第一训练集包括第一训练样本，所述第一训练样本的样本数据包括第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，所述第一训练样本的标签数据包括所述第一图像。

第一训练模块1220，用于采用所述第一训练集训练生成第一滤波模型，所述第一滤波模型是用于对视频序列中的帧内预测帧进行环路滤波处理的机器学习模型。

第二生成模块1230，用于生成第二训练集，所述第二训练集包括第二训练样本，所述第二训练样本的样本数据包括第二图像经帧间预测模式进行压缩重建后得到的第二重建图像，所述第二训练样本的标签数据包括所述第二图像。

第二训练模块1240，用于采用所述第二训练集训练生成第二滤波模型，所述第二滤波模型是用于对所述视频序列中的帧间预测帧进行环路滤波处理的机器学习模型。

综上所述，本申请实施例提供的技术方案，通过分别训练生成第一滤波模型和第二滤波模型，该第一滤波模型用于对视频序列中的I帧进行环路滤波处理，第二滤波模型用于对视频序列中的非I帧进行环路滤波处理，通过为I帧和非I帧分别训练相应的环路滤波模型，从而有助于提升滤波质量，特别是提升非I帧的滤波质量。

在示例性实施例中，所述第一生成模块1210，用于：

获取图片数据集，所述图片数据集中包括样本图片；

对所述样本图片进行压缩重建，得到压缩重建后的样本图片；

基于所述压缩重建后的样本图片，生成所述第一训练集。

在示例性实施例中，所述第二生成模块1230，用于：

获取视频数据集，所述视频数据集中包括样本视频序列；

对所述样本视频序列中的图像帧进行压缩重建，得到压缩重建后的样本视频序列；其中，在压缩重建过程中，采用所述第一滤波模型对所述样本视频序列中的帧内预测帧进行滤波处理；

从所述压缩重建后的样本视频序列中选帧，生成所述第二训练集。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图13，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以是上文介绍的编码端设备，也可以是上文介绍的解码端设备，还可以是上文介绍的用于训练环路滤波模型的设备。该计算机设备150可以包括：处理器151、存储器152、通信接口153、编码器/解码器154和总线155。

处理器151包括一个或者一个以上处理核心，处理器151通过运行软件程序以及模块，从而执行各种功能应用以及信息处理。

存储器152可用于存储计算机程序，处理器151用于执行该计算机程序，以实现上述视频编解码中的环路滤波方法，或者实现上述环路滤波模型的训练方法。

通信接口153可用于与其它设备进行通信，如收发音视频数据。

编码器/解码器154可用于实现编码和解码功能，如对音视频数据进行编码和解码。

存储器152通过总线155与处理器151相连。

此外，存储器152可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，易失性或非易失性存储设备包括但不限于：磁盘或光盘，EEPROM(ElectricallyErasable Programmable Read-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable Read-Only Memory，可擦除可编程只读存储器)，SRAM(StaticRandom-Access Memory，静态随时存取存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，PROM(Programmable read-only memory，可编程只读存储器)。

本领域技术人员可以理解，图13中示出的结构并不构成对计算机设备150的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时实现上述视频编解码中的环路滤波方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频编解码中的环路滤波模型的训练方法。

在示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述视频编解码中的环路滤波方法。

在示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述视频编解码中的环路滤波模型的训练方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种视频编解码中的环路滤波方法，其特征在于，所述方法包括：

获取视频序列中的当前帧的类型，所述类型包括帧内预测帧和帧间预测帧；

若所述当前帧的类型为所述帧内预测帧，则采用第一滤波模型对所述当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，所述第一滤波模型是用于对所述帧内预测帧进行环路滤波处理的机器学习模型；

若所述当前帧的类型为所述帧间预测帧，则获取第二滤波模型的输入数据，所述第二滤波模型的输入数据包括：所述当前帧的重建帧、所述当前帧的参考帧和所述当前帧的编码信息；其中，所述第二滤波模型是用于对所述帧间预测帧进行环路滤波处理的机器学习模型，所述编码信息包括对所述当前帧进行编码处理时所用到的参数；采用所述第二滤波模型对所述第二滤波模型的输入数据进行处理，得到滤波后的重建帧。

2.根据权利要求1所述的方法，其特征在于，所述采用所述第二滤波模型对所述第二滤波模型的输入数据进行处理，得到滤波后的重建帧，包括：

对所述当前帧的重建帧和所述当前帧的参考帧进行整合处理，得到整合处理后的数据；

将所述整合处理后的数据和所述当前帧的编码信息输入至所述第二滤波模型进行处理，得到所述滤波后的重建帧。

3.根据权利要求1所述的方法，其特征在于，所述采用所述第二滤波模型对所述第二滤波模型的输入数据进行处理，得到滤波后的重建帧，包括：

对所述当前帧的重建帧和所述当前帧的参考帧进行做差处理，得到做差处理后的数据；

将所述做差处理后的数据和所述当前帧的编码信息输入至所述第二滤波模型进行处理，得到所述滤波处理后的重建帧。

4.根据权利要求1至3任一项所述的方法，其特征在于，采用如下方式训练生成所述第一滤波模型和所述第二滤波模型：

生成第一训练集，所述第一训练集包括第一训练样本，所述第一训练样本的样本数据包括第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，所述第一训练样本的标签数据包括所述第一图像；

采用所述第一训练集训练生成所述第一滤波模型；

生成第二训练集，所述第二训练集包括第二训练样本，所述第二训练样本的样本数据包括第二图像经帧间预测模式进行压缩重建后得到的第二重建图像，所述第二训练样本的标签数据包括所述第二图像；

采用所述第二训练集训练生成所述第二滤波模型。

5.根据权利要求4所述的方法，其特征在于，所述生成第二训练集，包括：

获取视频数据集，所述视频数据集中包括样本视频序列；

对所述样本视频序列中的图像帧进行压缩重建，得到压缩重建后的样本视频序列；其中，在压缩重建过程中，采用所述第一滤波模型对所述样本视频序列中的帧内预测帧进行滤波处理；

从所述压缩重建后的样本视频序列中选帧，生成所述第二训练集。

6.根据权利要求5所述的方法，其特征在于，所述生成第一训练集，包括：

获取图片数据集，所述图片数据集中包括样本图片；

对所述样本图片进行压缩重建，得到压缩重建后的样本图片；

基于所述压缩重建后的样本图片，生成所述第一训练集。

7.一种视频编解码中的环路滤波模型的训练方法，其特征在于，所述方法包括：

生成第一训练集，所述第一训练集包括第一训练样本，所述第一训练样本的样本数据包括第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，所述第一训练样本的标签数据包括所述第一图像；

采用所述第一训练集训练生成第一滤波模型，所述第一滤波模型是用于对视频序列中的帧内预测帧进行环路滤波处理的机器学习模型；

获取视频数据集，所述视频数据集中包括样本视频序列；

对所述样本视频序列中的图像帧进行压缩重建，得到压缩重建后的样本视频序列；其中，在压缩重建过程中，采用所述第一滤波模型对所述样本视频序列中的帧内预测帧进行滤波处理，得到的滤波处理后的帧内预测帧，作为所述样本视频序列中的帧间预测帧的参考帧；

从所述压缩重建后的样本视频序列中选帧，生成第二训练集，所述第二训练集包括第二训练样本，所述第二训练样本的样本数据包括第二图像经帧间预测模式进行压缩重建后得到的第二重建图像、所述第二图像的参考帧和所述第二图像的编码信息，所述第二图像的编码信息包括对所述第二图像进行编码处理时所用到的参数；所述第二训练样本的标签数据包括所述第二图像，所述第二图像包括所述样本视频序列中的帧间预测帧；

采用所述第二训练集训练生成第二滤波模型，所述第二滤波模型是用于对所述视频序列中的帧间预测帧进行环路滤波处理的机器学习模型。

8.根据权利要求7所述的方法，其特征在于，所述生成第一训练集，包括：

获取图片数据集，所述图片数据集中包括样本图片；

对所述样本图片进行压缩重建，得到压缩重建后的样本图片；

基于所述压缩重建后的样本图片，生成所述第一训练集。

9.一种视频编解码中的环路滤波装置，其特征在于，所述装置包括：

类型获取模块，用于获取视频序列中的当前帧的类型，所述类型包括帧内预测帧和帧间预测帧；

第一滤波模块，用于若所述当前帧的类型为所述帧内预测帧，则采用第一滤波模型对所述当前帧的重建帧进行滤波处理，得到滤波后的重建帧；其中，所述第一滤波模型是用于对所述帧内预测帧进行环路滤波处理的机器学习模型；

第二滤波模块，用于若所述当前帧的类型为所述帧间预测帧，则获取第二滤波模型的输入数据，所述第二滤波模型的输入数据包括：所述当前帧的重建帧、所述当前帧的参考帧和所述当前帧的编码信息；其中，所述第二滤波模型是用于对所述帧间预测帧进行环路滤波处理的机器学习模型了，所述编码信息包括对所述当前帧进行编码处理时所用到的参数；采用所述第二滤波模型对所述第二滤波模型的输入数据进行处理，得到滤波后的重建帧。

10.一种视频编解码中的环路滤波模型的训练装置，其特征在于，所述装置包括：

第一生成模块，用于生成第一训练集，所述第一训练集包括第一训练样本，所述第一训练样本的样本数据包括第一图像经帧内预测模式进行压缩重建后得到的第一重建图像，所述第一训练样本的标签数据包括所述第一图像；

第一训练模块，用于采用所述第一训练集训练生成第一滤波模型，所述第一滤波模型是用于对视频序列中的帧内预测帧进行环路滤波处理的机器学习模型；

第二生成模块，用于获取视频数据集，所述视频数据集中包括样本视频序列；对所述样本视频序列中的图像帧进行压缩重建，得到压缩重建后的样本视频序列；其中，在压缩重建过程中，采用所述第一滤波模型对所述样本视频序列中的帧内预测帧进行滤波处理，得到的滤波处理后的帧内预测帧，作为所述样本视频序列中的帧间预测帧的参考帧；从所述压缩重建后的样本视频序列中选帧，生成第二训练集，所述第二训练集包括第二训练样本，所述第二训练样本的样本数据包括第二图像经帧间预测模式进行压缩重建后得到的第二重建图像、所述第二图像的参考帧和所述第二图像的编码信息，所述第二图像的编码信息包括对所述第二图像进行编码处理时所用到的参数；所述第二训练样本的标签数据包括所述第二图像，所述第二图像包括所述样本视频序列中的帧间预测帧；

第二训练模块，用于采用所述第二训练集训练生成第二滤波模型，所述第二滤波模型是用于对所述视频序列中的帧间预测帧进行环路滤波处理的机器学习模型。

11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一项所述的方法，或者实现如权利要求7至8任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一项所述的方法，或者实现如权利要求7至8任一项所述的方法。

Images