CN116630171A - 图像滤波方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像滤波方法、装置、设备及存储介质，可以应用于云技术、人工智能、智慧交通、辅助驾驶、视频等各种场景，该方法包括：确定待滤波图像的编码信息，编码信息包括分类信息，该分类信息用于指示待滤波图像的编码图像类型、编码模式中的至少一个；将待滤波图像和分类信息输入滤波模型中，以基于分类信息对待滤波图像进行滤波，得到滤波后图像。即本申请的滤波模型为通用滤波模型，可对帧内和/或帧间编码模式下的待滤波图像进行滤波，降低模型参数存储代价，且基于分类信息对待滤波图像进行差异化滤波，进而可以提高待滤波图像的滤波效果。

Description

图像滤波方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像滤波方法、装置、设备及存 储介质。

背景技术

传统的环路滤波器有去块效应滤波(deblocking filter，简称DBF)、样本自适应偏移 (sample adaptive offset，简称SAO)和自适应环路滤波(adaptive loop filter，简称ALF)， 主要针对重建图像进行滤波，减弱块效应、振铃效应等，从而提升重建图像的质量，理想 情况是通过滤波器将重建图像恢复到原始图像。由于传统滤波器的很多滤波系数是人工设 计的，存在很大的优化空间。鉴于深度学习工具在图像处理方面的卓越表现，基于深度学 习的环路滤波器被应用于环路滤波器模块。但是，目前基于深度学习的环路滤波器仍存在 性能优化上的缺陷，需要进一步提升滤波器的性能。

发明内容

本申请提供一种图像滤波方法、装置、设备及存储介质，以降低模型参数存储代价的 同时，提高图像滤波效果。

第一方面，本申请提供一种图像滤波方法，包括：

确定待滤波图像的编码信息，所述编码信息包括所述待滤波图像的分类信息，所述 分类信息指示所述待滤波图像的编码图像类型、编码模式中的至少一个；

将所述待滤波图像和所述分类信息输入同一个基于深度学习的滤波模型中，以基于 所述分类信息对所述待滤波图像进行滤波，得到滤波后图像。

第二方面，本申请提供一种图像滤波装置，包括：

确定单元，用于确定待滤波图像的编码信息，所述编码信息包括所述待滤波图像的 分类信息，所述分类信息指示所述待滤波图像的编码图像类型、编码模式中的至少一个；

滤波单元，用于将所述待滤波图像和所述分类信息输入同一个基于深度学习的滤波 模型中，以基于所述分类信息对所述待滤波图像进行滤波，得到滤波后图像。

第三方面，提供了一种电子设备，包括：处理器和存储器，该存储器用于存储计算机 程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。

第四方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使 得计算机执行第一方面的方法。

第五方面，提供了一种芯片，用于实现上述第一方面中任一方面或其各实现方式中的 方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安 装有所述芯片的设备执行如上述第一方面中任一方面或其各实现方式中的方法。

第六方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令 使得计算机执行上述第一方面中任一方面或其各实现方式中的方法。

第七方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第 一方面中任一方面或其各实现方式中的方法。

综上，在本申请中，通过确定待滤波图像的编码信息，编码信息包括待滤波图像的分 类信息，该分类信息指示所述待滤波图像的编码图像类型、编码模式中的至少一个；将待 滤波图像和分类信息输入同一个基于深度学习的滤波模型中，以基于分类信息对待滤波图 像进行滤波，得到滤波后图像。即本申请实施例的滤波模型为通用滤波模型，即可以实现 对帧内编码模式下的待滤波图像进行滤波，也可以实现对帧间编码模式下的待滤波图像进 行滤波，其模型参数存储代价低，且本申请实施例将待滤波图像和该待滤波图像的分类信 息同时输入滤波模型中，以根据分类信息对待滤波图像进行差异化滤波，进而可以提高待 滤波图像的滤波效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的 附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的 附图。

图1为本申请实施例涉及的一种视频编解码系统的示意性框图；

图2是本申请实施例提供的视频编码器的示意性框图；

图3是本申请实施例提供的视频解码器的示意性框图；

图4为本申请一实施例提供的图像滤波方法的流程图；

图5A为本申请实施例涉及的一种应用场景示意图；

图5B为本申请实施例涉及的一种应用场景示意图；

图5C为本申请实施例涉及的一种应用场景示意图；

图6A至图6C为图像划分示意图；

图7A为本申请实施例涉及的一种滤波方案示意图；

图7B为本申请实施例涉及的一种滤波方案示意图；

图7C为本申请实施例涉及的一种滤波方案示意图；

图8A为本申请实施例涉及的一种残差块示意图；

图8B为本申请实施例涉及的一种残差块示意图；

图8C为本申请实施例涉及的一种残差块示意图；

图8D为本申请实施例涉及的一种残差块示意图；

图9为本申请实施例涉及的模型训练示意图；

图10为本申请一实施例提供的图像滤波装置的结构示意图；

图11是本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他 实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等 是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数 据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述 的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖 不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必 限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、 产品或设备固有的其它步骤或单元。

为了便于理解本申请的实施例，首先对本申请实施例涉及到的相关概念进行如下简单 介绍：

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模 拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、 技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的 实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是 研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的 技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、 大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算 机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼 近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习 行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器 学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领 域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请可应用于图像编解码领域、视频编解码领域、硬件视频编解码领域、专用电路 视频编解码领域、实时视频编解码领域等。例如，本申请的方案可结合至音视频编码标准 (audio video coding standard，简称AVS)，例如，H.264/音视频编码(audio videocoding， 简称AVC)标准，H.265/高效视频编码(high efficiency video coding，简称HEVC)标准 以及H.266/多功能视频编码(versatile video coding，简称VVC)标准。或者，本申请的方 案可结合至其它专属或行业标准而操作，所述标准包含ITU-TH.261、 ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、 ISO/IECMPEG-4Visual，ITU-TH.264(还称为ISO/IECMPEG-4AVC)，包含可分级视频编解 码(SVC)及多视图视频编解码(MVC)扩展。应理解，本申请的技术不限于任何特定编解码 标准或技术。

为了便于理解，首先结合图1对本申请实施例涉及的视频编解码系统进行介绍。

图1为本申请实施例涉及的一种视频编解码系统的示意性框图。需要说明的是，图1 只是一种示例，本申请实施例的视频编解码系统包括但不限于图1所示。如图1所示，该视频编解码系统100包含编码设备110和解码设备120。其中编码设备用于对视频数据进 行编码(可以理解成压缩)产生码流，并将码流传输给解码设备。解码设备对编码设备编 码产生的码流进行解码，得到解码后的视频数据。

本申请实施例的编码设备110可以理解为具有视频编码功能的设备，解码设备120可 以理解为具有视频解码功能的设备，即本申请实施例对编码设备110和解码设备120包括 更广泛的装置，例如包含智能手机、台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电视、相机、显示装置、数字媒体播放器、视频游戏控制 台、车载计算机等。

在一些实施例中，编码设备110可以经由信道130将编码后的视频数据(如码流)传输给解码设备120。信道130可以包括能够将编码后的视频数据从编码设备110传输到解 码设备120的一个或多个媒体和/或装置。

在一个实例中，信道130包括使编码设备110能够实时地将编码后的视频数据直接发 射到解码设备120的一个或多个通信媒体。在此实例中，编码设备110可根据通信标准来调制编码后的视频数据，且将调制后的视频数据发射到解码设备120。其中通信媒体包含无线通信媒体，例如射频频谱，可选的，通信媒体还可以包含有线通信媒体，例如一根或 多根物理传输线。

在另一实例中，信道130包括存储介质，该存储介质可以存储编码设备110编码后的 视频数据。存储介质包含多种本地存取式数据存储介质，例如光盘、DVD、快闪存储器等。在该实例中，解码设备120可从该存储介质中获取编码后的视频数据。

在另一实例中，信道130可包含存储服务器，该存储服务器可以存储编码设备110编 码后的视频数据。在此实例中，解码设备120可以从该存储服务器中下载存储的编码后的 视频数据。可选的，该存储服务器可以存储编码后的视频数据且可以将该编码后的视频数 据发射到解码设备120，例如web服务器(例如，用于网站)、文件传送协议(FTP)服务器等。

一些实施例中，编码设备110包含视频编码器112及输出接口113。其中，输出接口113可以包含调制器/解调器(调制解调器)和/或发射器。

在一些实施例中，编码设备110除了包括视频编码器112和输入接口113外，还可以包括视频源111。

视频源111可包含视频采集装置(例如，视频相机)、视频存档、视频输入接口、计算机图形系统中的至少一个，其中，视频输入接口用于从视频内容提供者处接收视频数据，计算机图形系统用于产生视频数据。

视频编码器112对来自视频源111的视频数据进行编码，产生码流。视频数据可包括 一个或多个图像(picture)或图像序列(sequence of pictures)。码流以比特流的形式包含 了图像或图像序列的编码信息。编码信息可以包含编码图像数据及相关联数据。相关联数 据可包含序列参数集(sequence parameter set，简称SPS)、图像参数集(pictureparameter set， 简称PPS)及其它语法结构。SPS可含有应用于一个或多个序列的参数。PPS可含有应用于 一个或多个图像的参数。语法结构是指码流中以指定次序排列的零个或多个语法元素的集 合。

视频编码器112经由输出接口113将编码后的视频数据直接传输到解码设备120。编 码后的视频数据还可存储于存储介质或存储服务器上，以供解码设备120后续读取。

在一些实施例中，解码设备120包含输入接口121和视频解码器122。

在一些实施例中，解码设备120除包括输入接口121和视频解码器122外，还可以包括显示装置123。

其中，输入接口121包含接收器及/或调制解调器。输入接口121可通过信道130接收编码后的视频数据。

视频解码器122用于对编码后的视频数据进行解码，得到解码后的视频数据，并将解 码后的视频数据传输至显示装置123。

显示装置123显示解码后的视频数据。显示装置123可与解码设备120整合或在解码 设备120外部。显示装置123可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。

此外，图1仅为实例，本申请实施例的技术方案不限于图1，例如本申请的技术还可以应用于单侧的视频编码或单侧的视频解码。

下面对本申请实施例涉及的视频编码框架进行介绍。

图2是本申请实施例提供的视频编码器的示意性框图。应理解，该视频编码器200可 用于对图像进行有损压缩(lossy compression)，也可用于对图像进行无损压缩(lossless compression)。该无损压缩可以是视觉无损压缩(visually losslesscompression)，也可以 是数学无损压缩(mathematically lossless compression)。

该视频编码器200可应用于亮度色度(YCbCr，YUV)格式的图像数据上。

例如，该视频编码器200读取视频数据，针对视频数据中的每帧图像，将一帧图像划 分成若干个编码树单元(coding tree unit，CTU)，在一些例子中，CTB可被称作“树型块”、 “最大编码单元”(Largest Coding unit，简称LCU)或“编码树型块”(coding treeblock，简 称CTB)。每一个CTU可以与图像内的具有相等大小的像素块相关联。每一像素可对应一 个亮度(luminance或luma)采样及两个色度(chrominance或chroma)采样。因此，每一个CTU 可与一个亮度采样块及两个色度采样块相关联。一个CTU大小例如为128×128、64×64、 32×32等。一个CTU又可以继续被划分成若干个编码单元(Coding Unit，CU)进行编码， CU可以为矩形块也可以为方形块。CU可以进一步划分为预测单元(prediction Unit，简 称PU)和变换单元(transform unit，简称TU)，进而使得编码、预测、变换分离，处理 的时候更灵活。在一种示例中，CTU以四叉树方式划分为CU，CU以四叉树方式划分为 TU、PU。

视频编码器及视频解码器可支持各种PU大小。假定特定CU的大小为2N×2N，视 频编码器及视频解码器可支持2N×2N或N×N的PU大小以用于帧内预测，且支持2N ×2N、2N×N、N×2N、N×N或类似大小的对称PU以用于帧间预测。视频编码器及视 频解码器还可支持2N×nU、2N×nD、nL×2N及nR×2N的不对称PU以用于帧间预测。

在一些实施例中，如图2所示，该视频编码器200可包括：预测单元210、残差单元220、变换/量化单元230、反变换/量化单元240、重建单元250、环路滤波单元260、解码 图像缓存270和熵编码单元280。需要说明的是，视频编码器200可包含更多、更少或不 同的功能组件。

可选的，在本申请中，当前块(current block)可以称为当前编码单元(CU)或当前预测单元(PU)等。预测块也可称为预测图像块或图像预测块，重建图像块也可称为重 建块或图像重建图像块。

在一些实施例中，预测单元210包括帧间预测单元211和帧内预测单元212。由于视频的一个帧中的相邻像素之间存在很强的相关性，在视频编解码技术中使用帧内预测的方法消除相邻像素之间的空间冗余。由于视频中的相邻帧之间存在着很强的相似性，在视频编解码技术中使用帧间预测方法消除相邻帧之间的时间冗余，从而提高编码效率。

帧间预测单元211可用于帧间预测，帧间预测可以参考不同帧的图像信息，帧间预测 使用运动信息从参考帧中找到参考块，根据参考块生成预测块，用于消除时间冗余；帧间 预测所使用的帧可以为P帧和/或B帧，P帧指的是向前预测帧，B帧指的是双向预测帧。运动信息包括参考帧所在的参考帧列表，参考帧索引，以及运动矢量。运动矢量可以是整像素的或者是分像素的，如果运动矢量是分像素的，那么需要再参考帧中使用插值滤波做出所需的分像素的块，这里把根据运动矢量找到的参考帧中的整像素或者分像素的块叫参考块。有的技术会直接把参考块作为预测块，有的技术会在参考块的基础上再处理生成预测块。在参考块的基础上再处理生成预测块也可以理解为把参考块作为预测块然后再在预测块的基础上处理生成新的预测块。

帧内预测单元212只参考同一帧图像的信息，预测当前码图像块内的像素信息，用于 消除空间冗余。帧内预测所使用的帧可以为I帧。

HEVC使用的帧内预测模式有平面模式(Planar)、DC和33种角度模式，共35种预 测模式。VVC使用的帧内模式有Planar、DC和65种角度模式，共67种预测模式。AVS3 使用的帧内模式有DC、Plane、Bilinear和63种角度模式，共66种预测模式。

在一些实施例中，帧内预测单元212可以采用帧内块复制技术和帧内串复制技术实 现。

残差单元220可基于CU的像素块及CU的PU的预测块来产生CU的残差块。举例 来说，残差单元220可产生CU的残差块，使得残差块中的每一采样具有等于以下两者之 间的差的值：CU的像素块中的采样，及CU的PU的预测块中的对应采样。

变换/量化单元230可量化变换系数。残差视频信号经过DFT，DCT等变换操作，将信号转换到变换域中，称之为变换系数。在变换域中的信号，进一步的进行有损的量化操作，丢失掉一定的信息，使得量化后的信号有利于压缩表达。在一些视频编码标准中，可 能有多于一种变换方式可以选择，因此，编码端也需要为当前编码CU选择其中的一种变 换，并告知解码端。量化的精细程度通常由量化参数(QP)来决定，QP取值较大大，表 示更大取值范围的系数将被量化为同一个输出，因此通常会带来更大的失真，及较低的码 率；相反，QP取值较小，表示较小取值范围的系数将被量化为同一个输出，因此通常会 带来较小的失真，同时对应较高的码率。

反变换/量化单元240可分别将逆量化及逆变换应用于量化后的变换系数，以从量化 后的变换系数重建残差块。

重建单元250可将重建后的残差块的采样加到预测单元210产生的一个或多个预测块 的对应采样，以产生与TU相关联的重建图像块。通过此方式重建CU的每一个TU的采样块，视频编码器200可重建CU的像素块。

环路滤波单元260可执行消块滤波操作以减少与CU相关联的像素块的块效应。重建 图像与原始图像相比，由于存在量化的影响，部分信息与原始图像有所不同，产生失真(Distortion)。对重建图像进行滤波操作，例如DBF，SAO或者ALF等滤波器，可以有 效的降低量化所产生的失真程度。由于这些经过滤波后的重建图像，将做为后续编码图像 的参考，用于对将来的信号进行预测，所以上述的滤波操作也被称为环路滤波，及在编码 环路内的滤波操作。

解码图像缓存270可存储重建后的像素块。帧间预测单元211可使用含有重建后的像 素块的参考图像来对其它图像的PU执行帧间预测。另外，帧内预测单元212可使用解码图像缓存270中的重建后的像素块来对在与CU相同的图像中的其它PU执行帧内预测。

熵编码单元280可接收来自变换/量化单元230的量化后的变换系数。量化后的变换 域信号，将根据各个值出现的频率，进行统计压缩编码，最后输出二值化(0或者1)的 压缩码流。同时，编码产生其他信息，例如选择的模式，运动矢量等，也需要进行熵编码 以降低码率。统计编码是一种无损编码方式，可以有效的降低表达同样的信号所需要的码 率。常见的统计编码方式有变长编码(VLC，Variable Length Coding)或者基于上下文的 二值化算术编码(CABAC，Content Adaptive Binary Arithmetic Coding)。

图3是本申请实施例提供的视频解码器的示意性框图。

如图3所示，视频解码器300包含：熵解码单元310、预测单元320、反量化/变换单元330、重建单元340、环路滤波单元350及解码图像缓存360。需要说明的是，视频解 码器300可包含更多、更少或不同的功能组件。

视频解码器300可接收码流。熵解码单元310可解析码流以从码流提取语法元素。作 为解析码流的一部分，熵解码单元310可解析码流中的经熵编码后的语法元素。预测单元 320、反量化/变换单元330、重建单元340及环路滤波单元350可根据从码流中提取的语法元素来解码视频数据，即产生解码后的视频数据。

在一些实施例中，预测单元320包括帧间预测单元321和帧内预测单元322。

帧间预测单元321可执行帧内预测以产生PU的预测块。帧间预测单元321可使用帧内预测模式以基于空间相邻PU的像素块来产生PU的预测块。帧间预测单元321还可根 据从码流解析的一个或多个语法元素来确定PU的帧内预测模式。

帧内预测单元322可根据从码流解析的语法元素来构造第一参考图像列表(列表0)及 第二参考图像列表(列表1)。此外，如果PU使用帧间预测编码，则熵解码单元310可解析 PU的运动信息。帧内预测单元322可根据PU的运动信息来确定PU的一个或多个参考块。帧内预测单元322可根据PU的一个或多个参考块来产生PU的预测块。

反量化/变换单元330可逆量化(即，解量化)与TU相关联的变换系数。反量化/变换单 元330可使用与TU的CU相关联的QP值来确定量化程度。

在逆量化变换系数之后，反量化/变换单元330可将一个或多个逆变换应用于逆量化 变换系数，以便产生与TU相关联的残差块。

重建单元340使用与CU的TU相关联的残差块及CU的PU的预测块以重建CU的 像素块。例如，重建单元340可将残差块的采样加到预测块的对应采样以重建CU的像素 块，得到重建图像块。

环路滤波单元350可执行消块滤波操作以减少与CU相关联的像素块的块效应。

视频解码器300可将CU的重建图像存储于解码图像缓存360中。视频解码器300可将解码图像缓存360中的重建图像作为参考图像用于后续预测，或者，将重建图像传输给显示装置呈现。

视频编解码的基本流程如下：在编码端，将一帧图像划分成块，针对当前块，预测单 元210使用帧内预测或帧间预测产生当前块的预测块。残差单元220可基于预测块与当前 块的原始块计算残差块，即预测块和当前块的原始块的差值，该残差块也可称为残差信息。 该残差块经由变换/量化单元230变换与量化等过程，可以去除人眼不敏感的信息，以消 除视觉冗余。可选的，经过变换/量化单元230变换与量化之前的残差块可称为时域残差块，经过变换/量化单元230变换与量化之后的时域残差块可称为频率残差块或频域残差块。熵编码单元280接收到变化量化单元230输出的量化后的变化系数，可对该量化后的 变化系数进行熵编码，输出码流。例如，熵编码单元280可根据目标上下文模型以及二进 制码流的概率信息消除字符冗余。

在解码端，熵解码单元310可解析码流得到当前块的预测信息、量化系数矩阵等，预 测单元320基于预测信息对当前块使用帧内预测或帧间预测产生当前块的预测块。反量化/变换单元330使用从码流得到的量化系数矩阵，对量化系数矩阵进行反量化、反变换得到残差块。重建单元340将预测块和残差块相加得到重建块。重建块组成重建图像，环路 滤波单元350基于图像或基于块对重建图像进行环路滤波，得到解码图像。编码端同样需 要和解码端类似的操作获得解码图像。该解码图像也可以称为重建图像，重建图像可以为 后续的帧作为帧间预测的参考帧。

需要说明的是，编码端确定的块划分信息，以及预测、变换、量化、熵编码、环路滤波等模式信息或者参数信息等在必要时携带在码流中。解码端通过解析码流及根据已有信息进行分析确定与编码端相同的块划分信息，预测、变换、量化、熵编码、环路滤波等模 式信息或者参数信息，从而保证编码端获得的解码图像和解码端获得的解码图像相同。

上述是基于块的混合编码框架下的视频编解码器的基本流程，随着技术的发展，该框 架或流程的一些模块或步骤可能会被优化，本申请适用于该基于块的混合编码框架下的视 频编解码器的基本流程，但不限于该框架及流程。

在一些实施例中，本申请实施例可应用于各种图像处理场景，包括但不限于云技术、 人工智能、智慧交通、辅助驾驶等。

下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可 以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图4为本申请一实施例提供的图像滤波方法的流程图，如图4所示，该方法包括如下 步骤：

S401、确定待滤波图像的编码信息，编码信息包括待滤波图像的分类信息，该分类信息指示待滤波图像的编码图像类型、编码模式中的至少一个。

在一些实施例中，本申请实施例可以应用于编码端也可以应用于解码端，也就是说， 本申请实施例的执行主体可以为上述图1和图2中的编码器，也可以是图1和图3中的解码器。

在一些实施例中，本申请实施例还可以应用于其他显示设备，例如，解码器将解码后 的重建图像发送给显示设备，该显示设备采用本申请实施例的图像滤波方法对重建图像进 行滤波，并对滤波后的图像进行显示。

也就是说，本申请实施例的执行主体为具有图像滤波功能的装置，例如为图像滤波装 置，该图像滤波装置为电子设备，或者为电子设备中的一部分，例如为电子设备中的处理 器。该电子设备可以为编码器、解码器、编解码器、显示设备等。

为了便于描述，下面以执行主体为电子设备为例，对本申请实施例的方法进行介绍。

本申请实施例涉及的滤波器为神经网络滤波器，即滤波模型，在一些实施例中，该滤波模型也称为基于神经网络的环内滤波器(Neural Network in-Loop Filter，NNLF)。

本申请实施例的滤波模型不仅可以实现帧内编码图像的滤波，也可以实现帧间编码 图像的滤波，也就是说，本申请实施例的滤波模型为通用滤波模型，进而可以降低模型参 数的存储代价。

本申请实施例的应用场景包括但不限于如下几种：

场景1，如图5A所示，上述待滤波图像为上述重建单元重建后的图像。也就是说，本申请实施例的环路滤波单元为该滤波模型，图2中的重建单元250将重建图像输入环路滤波单元260中的滤波模型进行滤波，得到滤波后图像，将该滤波后图像存放在解码图像缓存中。或者，图3中的重建单元340将重建图像输入环路滤波单元350中的滤波模型进 行滤波，得到滤波后图像，将该滤波后图像存放在解码图像缓存中，或者用于显示。

场景2，如图5B所示，上述待滤波图像为经过DBF、SAO、ALF中至少一个滤波 后的图像。也就是说，本申请实施例的环路滤波单元不仅包括传统滤波器，例如包括DBF、 SAO和ALF中的至少一个，还包括滤波模型。图2中的重建单元250将重建图像输入环 路滤波单元260中的传统滤波器进行滤波后，滤波后的图像再输入滤波模型进行滤波，得 到滤波后图像，将该滤波后图像存放在解码图像缓存中。或者，图3中的重建单元340将 重建图像输入环路滤波单元350中的传统滤波器进行滤波后，滤波后的图像再输入滤波模 型进行滤波，得到滤波后图像，将该滤波后图像存放在解码图像缓存中，或者用于显示。

需要说明的是，上述图5B只是示出了传统滤波器与本申请的滤波模型结合使用的一 种示例。在一些场景中，传统滤波器与本申请的滤波模型的组合方式包括但不限于：先使 用滤波模型进行滤波后，再使用传统滤波器进行滤波，或者先使用传统滤波器进行滤波后， 接着使用滤波模型进行滤波后，再使用传统滤波器进行滤波，或者还可以包括其他的组合 方式，本申请对此不做限制。

场景3，如图5C所示，上述待滤波图像为待显示图像。例如，图3中的重建单元340将重建图像输入环路滤波单元350中进行滤波后，滤波后的图像存储在解码图像缓存中。解码图像缓存中的图像作为后续图的参考图像进行预测，例如预测单元320从解码图像缓存中读取参考图像进行预测。另外，解码图像缓存中的图像还用于显示，但是在用于显示之前，首先使用本申请实施例的滤波模型进行滤波，对滤波后的图像进行显示。

由上述图5A和图5B所示，在一些实施例中，本申请实施例的滤波后图像用于后续图像的参考图像。

由上述图5C所示，在一些实施例中，本申请实施例的滤波后图像用于显示，且不用于后续图像的参考图像。

本申请实施例的滤波模型为通用滤波模型，可以用于对帧内编码的图像进行滤波， 也可以用于对帧间编码的图像进行滤波。但是由于帧内编码和帧间编码之间的差异，为了 提高滤波准确性，本申请实施例在向滤波模型输入待滤波图像外，该输入指示该待滤波图 像的编码图像类型、编码模式等的分类信息。

本申请实施例对待滤波图像的编码信息不做限制，可以是待滤波图像在编码过程中 所涉及的编码类型信息。

在一些实施例中，待滤波图像的编码信息包括分类信息，该分类信息指示待滤波图 像的编码图像类型、编码模式中的至少一个。

本申请实施例涉及的编码图像类型包括全帧内编码图像和可帧间编码图像。

其中，全帧内编码图像是指该图像的编码类型全为帧内编码方式，也就是说，全帧内编码图像进行预测的参考信息全部来自本图像的空域信息。

可帧间编码图像是指该图像的编码类型可以是帧间编码方式，也就是说，可帧间编 码图像进行预测过程中可以参考其它参考帧的时域参考信息。

在一些实施例中，编码模式的分类包括编码总模式，例如，包括帧间编码模式和帧内编码模式这两种类型。

对于编码端，编码总模式可以根据待滤波图像对应的所有预测单元所使用的预测模 式确定，例如，在该待滤波图像的编码过程中，若待滤波图像对应的所有预测单元使用帧 内预测模式进行预测时，则确定该待滤波图像的编码总模式为帧内编码模式，若待滤波图 像对应的所有预测单元使用帧间预测模式进行预测时，则确定该待滤波图像的编码总模式 为帧间编码模式。

对于解码端，则获取该待滤波图像的编码总模式的方式至少包括如下两种方式：

方式一，码流中包括该待滤波图像的编码总模式，这样，解码端通过解码码流，得到该待滤波图像的编码总模式。

方式二，解码端根据待滤波图像对应的所有预测单元所使用的预测模式确定该待滤 波图像的编码总模式。例如，在该待滤波图像的解码过程中，若待滤波图像对应的所有预 测单元使用帧内预测模式进行预测时，则确定该待滤波图像的编码总模式为帧内编码模 式，若待滤波图像对应的所有预测单元使用帧间预测模式进行预测时，则确定该待滤波图 像的编码总模式为帧间编码模式。

在一些实施例中，编码模式的分类还可以具体到编码子模式。编码子模式可以理解 为待滤波图像的具体编码方式，例如具体为帧内编码模式中的哪一种子模式，或者具体为 帧间编码模型中的哪一种子模式。

常见的帧内编码技术包括：普通帧内编码模式、MIP模式(Matrix weighted IntraPrediction，MIP)、帧内块复制技术(Intra Block Copy，IBC)、帧内串预测技术(IntraString Prediction，ISP)、调色板技术(Palette，PLT)等。

常见的帧间编码技术包括：普通帧间编码模式、运动合并模式(Merge模式)、运 动合并且残差跳过模式(Skip模式)、帧间和帧内联合预测模式(Combined Inter and IntraPrediction，CIIP)等。

对于编码端，编码子模式可以根据待滤波图像对应的所有预测单元所使用的预测模 式确定，例如，在该待滤波图像的编码过程中，若待滤波图像对应的所有预测单元使用普 通帧内编码模式进行预测时，则确定该待滤波图像的编码子模式为普通帧内编码模式，若 待滤波图像对应的所有预测单元使用Merge模式进行预测时，则确定该待滤波图像的编码 子模式为Merge模式。

对于解码端，则获取该待滤波图像的编码子模式的方式至少包括如下两种方式：

方式一，码流中包括该待滤波图像的编码子模式，这样，解码端通过解码码流，得到该待滤波图像的编码子模式。

方式二，解码端根据待滤波图像对应的所有预测单元所使用的预测模式确定该待滤 波图像的编码子模式。例如，在该待滤波图像的解码过程中，若待滤波图像对应的所有预 测单元使用普通帧内编码模式进行预测时，则确定该待滤波图像的编码子模式为普通帧内 编码模式，若待滤波图像对应的所有预测单元使用Merge模式进行预测时，则确定该待滤 波图像的编码子模式为Merge模式。

本申请实施例在滤波时，将待滤波图像和指示待滤波图像的编码图像类型、编码模 式中的至少一个的分类信息输入滤波模型中，得到待滤波图像的滤波后图像。

在一些实施例中，待滤波图像的分类信息可以为包括多元素的矩阵。

在一些实施例中，待滤波图像的分类信息为一个元素的数据。

下面结合具体的示例，对本申请实施例中，确定待滤波图像的编码信息的过程进行 详细介绍。

情况一，若分类信息指示待滤波图像的编码图像类型，则上述S401中确定待滤波图 像的编码信息包括如下步骤：

S401-A1、获取待滤波图像中多个图像区域对应的编码图像类型；若该多个图像区域 均属于全帧内编码图像，则确定分类信息的取值为第一数值；

S401-A2、若该多个图像区域均属于可帧间编码图像，则确定分类信息的取值为第二 数值；

S401-A3、若待滤波图像横跨条带边界或片边界，则确定分类信息的取值为第三数值， 或者根据该多个图像区域中属于全帧内编码图像的图像区域和属于可帧间编码图像的图 像区域分别在待滤波图像中的比例，确定分类信息。

具体的，本申请实施例的编码图像分为全帧内编码图像和可帧间编码图像，其中如 图6A至图6C所示，图像包括帧(frame)、条带(slice)、片(tile)。当分类信息表示 编码图像类型时，所述分类信息可在条带级别、片级别、或帧头级别其中之一中进行指示。

滤波模型在实际使用的时候一般不会直接输入一个整帧进行滤波，而是将图像划分 为子图像，然后逐步将子图像输入到滤波模型进行滤波。由于子图像的大小可大可小，因 此就会存在输入到滤波模型的待滤波图像可能存在横跨条带/片边界的情况。本申请实施 例的待滤波图像可以理解为一个子图像。

基于此，本申请实施例根据待滤波图像的编码图像类型以及待滤波图像是否横跨条 带边界或片边界，来确定待滤波图像的分类信息。

上述待滤波图像中的多个图像区域可以是待滤波图像中的所有图像区域，也可以是 待滤波图像中的部分图像区域，例如为待滤波图像的80％图像区域。

具体的，若待滤波图像的多个图像区域中的全部图像区域均属于全帧内编码图像， 则确定分类信息的取值为第一数值；若待滤波图像的多个图像区域中的全部图像区域均属 于可帧间编码图像，则确定分类信息的取值为第二数值。

本申请实施例对第一数值和第二数值的具体取值不做限制。

可选的，第一数值为0。

可选的，第二数值为1。

在一种示例中，本申请实施例的分类信息为一个元素的数据，例如，若待滤波图像的多个图像区域中的全部图像区域均属于全帧内编码图像，则确定分类信息的取值为1；若待滤波图像的多个图像区域中的全部图像区域均属于可帧间编码图像，则确定待滤波图像的分类信息的取值为0。

在另一种示例中，本申请实施例的分类信息为矩阵，该矩阵可以与待滤波图像的大 小一致，也可以与待滤波图像的大小不一致。例如，若当前待滤波图像的多个图像区域全 部属于全帧内编码图像，则确分类信息为全零矩阵。若当前待滤波图像的多个图像区域全 部属于可帧间编码图像，则确定分类信息为全1矩阵。

若待滤波图像横跨条带边界或片边界时，可以根据如下两种方式确定待滤波图像的 分类信息。

方式1，若待滤波图像横跨条带边界或片边界，则确定分类信息的取值为第三数值。

本申请实施例对第三数值的具体取值不做限制，只要与上述第一数值和第二数值不 同即可。

在一种示例中，若上述分类信息为一个元素的数据，例如若待滤波图像横跨条带边 界或片边界，则确定分类信息为2。

在另一种示例中，若上述分类信息为一个矩阵，例如，若待滤波图像横跨条带边界或片边界，则确定分类信息为全2矩阵。

方式2，若待滤波图像横跨条带边界或片边界，则根据待滤波图像的多个图像区域中属于全帧内编码图像的图像区域和属于可帧间编码图像的图像区域分别在待滤波图像中的比例，确定分类信息。

上述方式2中，根据待滤波图像的多个图像区域中属于全帧内编码图像的图像区域 和属于可帧间编码图像的图像区域分别在待滤波图像中的比例，确定分类信息的实现方式 包括但不限于如下几种示例：

示例1，若待滤波图像的多个图像区域中属于全帧内编码图像的图像区域在待滤波 图像中的比例大于或等于第一阈值，则确定分类信息的取值为第一数值；若待滤波图像的 多个图像区域中属于全帧内编码图像的图像区域在待滤波图像中的比例小于第一阈值，则 确定分类信息的取值为第二数值。

示例2，若待滤波图像的多个图像区域中属于全帧内编码图像的图像区域在待滤波 图像中的比例大于或等于第一阈值，则确定分类信息的取值为第一数值；若待滤波图像的 多个图像区域中属于全帧内编码图像的图像区域在待滤波图像中的比例小于第一阈值、且 大于或等于第二阈值，则确定分类信息的取值为第二数值；若待滤波图像的多个图像区域 中属于全帧内编码图像的图像区域在待滤波图像中的比例小于第二阈值，则确定分类信息 的取值为第三数值。

本申请实施例对第一阈值和第二阈值的具体取值不做限制，且第一阈值大于第二阈 值。

可选的，第一阈值大于50％，且小于100％。

在上述情况一中，分类信息指示待滤波图像的编码图像类型，将该分类信息输入滤 波模型后，滤波模型可以根据待滤波图像的编码图像类型，对待滤波图像进行准确滤波。

情况二，编码模式包括帧内编码模式和帧间编码模式，若上述分类信息指示待滤波 图像的编码模式，该分类信息包括第一分类信息和第二分类信息中的至少一个。本实施例 中，所述分类信息在块级别进行指示。

其中，第一分类信息用于指示待滤波图像中一个或多个像素点所对应的编码模式。

第二分类信息用于指示待滤波图像中预设大小区域对应的编码模式。

针对第一分类信息和第二分类信息，该情况二中确定待滤波图像的编码信息包括如 下两种子情况，分别为情况1和情况2。其中，情况1是确定第一分类信息的过程，情况 2是确定第二分类信息的过程。

情况1，若分类信息包括第一分类信息，该第一分类信息为包括多个元素的矩阵，每个元素与待滤波图像中的一个或多个像素点的编码模式相对应，则上述S401中确定待滤波图像的编码信息包括如下步骤：

S401-B、获取待滤波图像中一个或多个像素点对应的编码模式，根据待滤波图像中 一个或多个像素点所对应的编码模式，确定第一分类信息。

在该情况1中，可以根据待滤波图像中一个或多个像素点的编码模式，确定第一分类信息。例如，若待滤波图像中每个像素点的编码模式为帧内编码模式，则确定该第一分类信息中各矩阵元素的取值为第一数值。

在一些实施例中，上述S401-B的实现方式包括如下几种示例：

示例1，若待滤波图像中所有像素点对应的编码模式为帧内编码模式时，则确定第一分类信息中各矩阵元素的取值为第一数值。

示例2，若待滤波图像中所有像素点对应的编码模式为帧间编码模式时，则确定第一分类信息中各矩阵元素的取值为第二数值。

示例3，若待滤波图像中第一图像区中的一个或多个像素点对应的编码模式为帧内 编码模式，第二图像区域中的一个或多个像素点对应的编码模式为帧间编码模式时，则确 定第一分类信息中第一图像区域中的一个或多个像素点对应的矩阵元素取值为第一数值， 第二图像区域中的一个或多个像素点对应的矩阵元素取值为第二数值。

本申请实施例对第一数值和第二数值的具体取值不做限制。

可选的，第一数值为0。

可选的，第二数值为1。

在一种可能的实现方式中，第一分类信息的大小与待滤波图像的大小一致，也就是 说，第一分类信息中的每一个矩阵元素与待滤波图像中的每一个像素一一对应。这样可以 根据待滤波图像中的每一个像素对应的编码模式，确定第一分类信息的取值，例如，若待 滤波图像中的每一个像素对应的编码模式为帧内编码模式，则确定第一分类信息中每个矩 阵元素的取值均为第一数值(例如均为0)。若待滤波图像中的每一个像素对应的编码模 式为帧间编码模式，则确定第一分类信息中每个矩阵元素的取值均为第二数值(例如均为 1)。若待滤波图像中的第一部分像素对应的编码模式为帧内编码模式，第二部分像素对应的编码模式为帧间编码模式，则确定第一分类信息中第一部分像素对应的矩阵元素的取值均为第一数值(例如均为0)，第二部分像素对应的矩阵元素的取值均为第二数值。

在另一种可能的实现方式中，第一分类信息的大小与待滤波图像的大小不一致，例 如，第一分类信息的大小小于待滤波图像的大小。示例性的，待滤波图像的大小为64×64，则第一分类信息的大小为64/n×64/m，其中n，m均为正整数，例如第一分类信息的 大小为32×32，第一分类信息中的一个矩阵元素对应待滤波图像中的4个像素点，这样 可以根据待滤波图像中的每4个像素点对应的编码模式，确定第一分类信息中对应的矩阵 元素的值。

例如，待滤波图像中的像素点1、像素点2、像素点3和像素点4与第一分类信息中的矩阵元素1对应，若像素点1、像素点2、像素点3和像素点4对应的编码模式均为帧 内编码模式，则确定第一分类信息中的矩阵元素1的取值为第一数值。若像素点1、像素 点2、像素点3和像素点4对应的编码模式均为帧间编码模式，则确定第一分类信息中的 矩阵元素1的取值为第二数值。若像素点1、像素点2、像素点3和像素点4中多数像素 点对应的编码模式为帧间编码模式，则确定第一分类信息中的矩阵元素1的取值为第二数 值。若像素点1、像素点2、像素点3和像素点4中多数像素点对应的编码模式为帧内编 码模式，则确定第一分类信息中的矩阵元素1的取值为第一数值。

情况2，若分类信息包括第二分类信息，则上述S401中确定待滤波图像的编码信息包括如下步骤：

S401-C，根据待滤波图像中不同编码模式所对应的图像区域在待滤波图像中的比例， 确定第二分类信息。

在该情况2中，可以根据待滤波图像中不同编码模式所对应的图像区域在待滤波图 像中的比例(或占比)，确定第二分类信息。例如，若待滤波图像中帧内编码模式对应的图像区域大于帧间编码模式对应的图像区域时，则确定第二分类信息的取值为第一数值。

在一些实施例中，上述S401-C的实现方式包括但不限于如下几种方式：

方式1，若待滤波图像中帧内编码模式对应的图像区域在待滤波图像中的比例大于 或等于第一预设阈值时，则确定第二分类信息的取值为第一数值；若待滤波图像中帧内编 码模式对应的图像区域在待滤波图像中的比例小于第一预设阈值时，则确定第二分类信息 的取值为第二数值。

可选的，第二分类信息为一元素的数值，例如，为0或1，例如，若待滤波图像中 帧内编码模式对应的图像区域在待滤波图像中的比例大于或等于第一预设阈值时，则确定第二分类信息的取值为0，若待滤波图像中帧内编码模式对应的图像区域在待滤波图像中的比例大于或等于第一预设阈值时，则确定第二分类信息的取值为1。

可选的，第二分类信息为矩阵，例如，若待滤波图像中帧内编码模式对应的图像区域在待滤波图像中的比例大于或等于第一预设阈值时，则确定第二分类信息为全0矩阵，若待滤波图像中帧内编码模式对应的图像区域在待滤波图像中的比例小于第一预设阈值时，则确定第二分类信息为全1矩阵。

本申请实施例对第一预设阈值的具体取值不做限制。

可选的，第一预设阈值为80％。

举例说明，若待滤波图像中帧内编码模式对应的图像区域大于或等于待滤波图像大 小的80％时，则确定第二分类信息的取值为0(若第二分类信息为矩阵时，则第二分类信息中的各元素的取值均为0)。若待滤波图像中帧内编码模式对应的图像区域小于待滤波图像大小的80％时，则确定第二分类信息的取值为1(若第二分类信息为矩阵时，则第二 分类信息中的各元素的取值均为1)。

方式2，若待滤波图像中帧内编码模式对应的图像区域在待滤波图像中的比例大于 或等于第一预设阈值时，则确定第二分类信息的取值为第一数值；若待滤波图像中帧内编 码模式对应的图像区域在待滤波图像中的比例小于第一预设阈值、且大于或等于第二预设 阈值时，则确定第二分类信息的取值为第二数值；若待滤波图像中帧内编码模式对应的图 像区域在待滤波图像中的比例小于第二预设阈值时，则确定第二分类信息的取值为第三数 值。

本申请实施例对第一数值、第二数值和第三数值的具体取值不做限制。

可选的，第一数值为0。

可选的，第二数值为1。

可选的，第三数值为2。

本申请实施例对第一预设阈值和第二预设阈值的具体取值不做限制。

可选的，第一预设阈值为80％。

可选的，第二预设阈值为60％。

举例说明，若待滤波图像中帧内编码模式对应的图像区域大于或等于待滤波图像大 小的80％时，则确定第二分类信息的取值为0(若第二分类信息为矩阵时，则第二分类信息中的各元素的取值均为0)。若待滤波图像中帧内编码模式对应的图像区域小于待滤波图像大小的80％，且大于或等于待滤波图像大小的60％时，则确定第二分类信息的取值为1(若第二分类信息为矩阵时，则第二分类信息中的各元素的取值均为1)。若待滤波图 像中帧内编码模式对应的图像区域小于待滤波图像大小的60％时，则确定第二分类信息的 取值为2(若第二分类信息为矩阵时，则第二分类信息中的各元素的取值均为2)。

在该情况二中，分类信息指示待滤波图像的编码模式，该编码模式可以理解为待滤 波图像的编码总模式，例如为帧内编码模式或帧间编码模式，将该分类信息输入滤波模型 后，滤波模型可以根据待滤波图像的编码模式，对待滤波图像进行准确滤波，进而提高滤 波效果。

情况三，待滤波图像的编码模式包括：普通帧内编码模式、矩阵加权帧内预测MIP模式、帧内块复制IBC模式、帧内串预测ISP模式、调色板PLT模式、普通帧间编码模 式、跳过Skip模式、运动合并Merge模式、帧间和帧内联合预测CIIP模式中的至少一个。 此时，若分类信息指示待滤波图像的编码模式，所述分类信息在块级别进行指示。则若所 述分类信息指示所述待滤波图像的编码模式，上述S401中确定待滤波图像的编码信息包 括如下步骤：

S401-D、获取所述待滤波图像中多个图像区域对应的编码模式，根据待滤波图像中 每个图像区域对应的编码模式，确定分类信息。

本申请实施例中，待滤波图像的一个图像区域可以为一个像素点，也可以是几个连 续的像素点，或者为一个编码块。本申请实施例中，通过获取待滤波图像中多个图像区域 对应的编码模式，根据待滤波图像中多个图像区域对应的编码模式，确定待滤波图像的分 类信息。例如，若待滤波图像中多个图像区域对应的编码模式为普通帧内编码模式，则确 定分类信息的取值为第一数值。

在一些实施例中，可以根据编码模式的索引，来确定分类信息，即上述S401-D包括如下步骤：

S401-D1、确定待滤波图像中多个图像区域对应的编码模式的索引；

S401-D2、根据待滤波图像中多个图像区域对应的编码模式的索引，确定分类信息。

在一些实施例中，一个编码模式对应一个索引，普通帧内编码模式、MIP模式、IBC模式、ISP模式、PLT模式、普通帧间编码模式、skip模式、merge模式、CIIP模式分别 预设不同的索引值。基于此，可以根据待滤波图像中每个图像区域对应的编码模式的索引， 确定分类信息，例如，待滤波图像中每个图像区域对应的编码模式均为普通帧内编码模式， 普通帧内编码模式的索引值为0，则可以确定分类信息为0值或为全0的矩阵。

在一些实施例中，多个编码模式对应一个索引，例如普通帧内编码模式的索引值为 0，MIP模式、IBC模式、ISP模式和PLT模式的索引值为1，普通帧间编码模式的索引值 为2，skip模式和merge模式的索引值为3，CIIP模式的索引值为4。基于此，可以根据 待滤波图像中多个图像区域对应的编码模式的索引，确定分类信息。例如，待滤波图像中 第一区域对应的编码模式为skip模式和merge模式，第二区域对应的编码模式为普通帧间 编码模式，这样可以确定分类信息中第一区域对应的元素的值为3，编码模式指示信息中 第二区域对应的元素的值为2。此时，该分类信息为一个矩阵。

上述情况一至情况三分别对分类信息指示待滤波图像的编码图像类型和编码方式分 别进行介绍。

在一些实施例中，可以为分类信息通过3个矩阵来指示上述情况一至情况三所述的 编码图像类型和编码模式。示例性的，矩阵A用于指示待滤波图像的编码图像类型，具体根据上述情况一的描述，确定矩阵A的取值。矩阵B用于指示待滤波图像的编码模式为 帧内编码模式还是帧间编码模式，或者帧内编码模式和帧间编码模式共存，具体根据上述 情况二的描述，确定矩阵B的取值。矩阵C用于指示待滤波图像具体使用的编码模式， 例如为帧内编码模式或帧间编码模式中的具体哪一种编码模式，具体根据上述情况三的描 述，确定矩阵C的取值。

若分类指示信息同时指示编码图像类型和编码模式时，则分类信息包括矩阵A，以及矩阵B和矩阵C中的至少一个。

示例性的，若分类指示信息指示编码图像类型，不指示编码模式时，则分类信息可以只包括矩阵A，不包括矩阵B和矩阵C。

示例性的，若分类指示信息不指示编码图像类型，但指示编码模式时，则分类信息不包括矩阵A，且包括矩阵B和矩阵C中的至少一个。

可选的，根据实际情况，上述矩阵也可以为只有一个元素的数据。

本申请实施例中，根据上述方法，确定出待滤波图像的分类信息后，执行如下S402的步骤。

S402、将待滤波图像和待滤波图像的分类信息输入同一个基于深度学习的滤波模型 中，以基于分类信息对待滤波图像进行滤波，得到滤波后图像。

本申请实施例的滤波模型为基于深度学习的通用模型，为了提高模型的预测准确性， 如图7A所示，将待滤波图像输入滤波模型外，还将待滤波图像的分类信息输入滤波模型 中，能够为图像提供更加精细化的图像信息，这样根据待滤波图像的分类信息对待滤波图 像的各图像区域进行滤波时，可以提高滤波效果。

本申请实施例对滤波模型的具体网络结构不做限制，图7A只是一种示例。

在一些实施例中，上述S402中将待滤波图像和待滤波图像的分类信息输入同一个基 于深度学习的滤波模型中包括如下步骤：

S402-A、将待滤波图像和分类信息中的至少一个进行预处理后，输入滤波模型中。

示例1，将待滤波图像和分类信息进行合并图层(concat)后，输入滤波模型中。

示例2，将待滤波图像和分类信息进行相乘后，输入滤波模型中。

示例3，如图7B所示，将待滤波图像和分类信息相乘后输入第一特征提取单元，得到待滤波图像和分类信息融合后的第一特征信息；将待滤波图像输入第二特征提取单元中进行特征提取，得到待滤波图像的第二特征信息；将第一特征信息和第二特征信息输入滤波模型中，得到待滤波图像的滤波后图像。

本申请实施例对滤波模型的具体网络结构不做限制，图7B只是一种示例。

本申请实施例对第一特征提取单元和第二特征提取单元的具体网络结构不做限制。

示例性的，如图7B所示，第一特征提取单元包括一个卷积层conv和一个激活函数，第二特征提取单元也包括一个卷积层和一个激活函数。可选的，激活函数除了为图7B所 示的prelu激活函数外，还可以是其他类型的激活函数，例如relu激活函数，本申请实施 例对此不作限制。

在一些实施例中，上述S402中将待滤波图像和待滤波图像的分类信息输入同一个基 于深度学习的滤波模型中包括如下步骤：

S402-B、将待滤波图像对应的预测图像、量化参数和块划分信息中的至少一个，以及 待滤波图像和分类信息输入滤波模型。

其中，预测图像为当前待滤波图像对应的预测图像，由各预测块拼接而成。

块划分信息为与当前待滤波图像对应的块划分图像。具有两种生成方式：第一种方式 是，为块划分边界和非块划分边界分配不同的值；第二种方式是，各块划分边界内的区域 (编码单元)采用当前区域内待滤波图像的均值填充。

量化参数包括序列级量化参数和条带级量化参数中的至少一个。

序列级量化参数为作用在当前序列(所有帧、条带和片等)的量化参数，其它量化参 数在此基础上增加偏置量得到。

条带级量化参数为作用在当前条带的量化参数。

在一种示例中，将待滤波图像对应的预测图像、量化参数和块划分信息中的至少一 个，与待滤波图像和分类信息进行融合后，输入滤波模型中，得到待滤波图像的滤波后图 像。

在另一种示例中，S402-B包括如下步骤：

S402-B1、将预测图像输入第一处理单元，得到预测图像的特征信息；

S402-B2、将待滤波图像输入第二处理单元，得到待滤波图像的特征信息；

S402-B3、将预测图像的特征信息、量化参数和块划分信息中的至少一个，以及待滤 波图像的特征信息和分类信息输入滤波模型，得到待滤波图像的滤波后图像。

本申请实施例，首先将待滤波图像对应的预测图像输入第一处理单元，得到预测图 像的特征信息。将待滤波图像输入第二处理单元，得到待滤波图像的特征信息。将预测图 像的特征信息、量化参数和块划分信息中的至少一个，如图7C所示，将预测图像的特征信息、量化参数以及待滤波图像的特征信息和分类信息输入滤波模型，得到待滤波图像的滤波后图像。

本申请实施例对第一处理单元、第二处理单元和滤波模型的具体网络结构不做限制。

示例性的，如图7C所示，第一处理单元包括一个卷积层和一个激活函数。

示例性的，如图7C所示，第二处理单元包括一个卷积层和一个激活函数。

可选的，上述激活函数除了为图7C所示的prelu激活函数外，还可以是其他类型的激活函数，本申请实施例对此不作限制。

本申请实施例的滤波模型的网络结构除了图7C所示的结构外，还可以为其他结构， 本申请对滤波模型的具体网络结构不做限制。

在一些实施例中，将预测图像的特征信息、量化参数和块划分信息中的至少一个，与待滤波图像的特征信息和分类信息进行融合后，输入滤波模型中。

例如，图7C中可以将预测图像的特征信息、量化参数以及待滤波图像的特征信息和 分类信息进行合并后，输入滤波模型中。

再例如，图7C中可以将预测图像的特征信息、量化参数以及待滤波图像的特征信息 和分类信息进行相乘后，输入滤波模型中。

在一些实施例中，本申请实施例的滤波模型包括N个残差块，N为正整数。

上述N个残差块的网络结构可以相同，也可以不相同。

在一些实施例中，N个残差块中至少一个残差块所包括的各卷积层的输入通道数和 输出通道数相同。

示例性的，如图8A所示，N个残差块中的至少一个残差块包括一个1x1卷积层和3x3卷积层，该1x1卷积层和3x3卷积层的输入输出通道数都相等。

在一些实施例中，在图8A所示的残差块的基础上增加注意力层，例如如图8B所示，增加卷积块注意模块(Convolutional Block Attention Module，CBAM)。

在一些实施例中，N个残差块中至少一个残差块所包括的各卷积层的输入通道数和 输出通道数不相同。

示例性的，如图8C所示，N个残差块中的至少一个残差块包括一个1x1卷积层和3x3卷积层，该1x1卷积层和3x3卷积层的输入输出通道数不相等。举例说明，可以设定 在激活函数前增加通道数，在激活函数后降低通道数：第1个1x1卷积层输入输出通道数 分别为64和192，第2个1x1卷积成输入输出通道数分别为192和64，第3个3x3卷积 层的输入输出通道数分别为64和64。

在一些实施例中，在图8C所示的残差块的基础上增加注意力层，例如如图8D所示，增加卷积块注意模块(Convolutional Block Attention Module，CBAM)。

需要说明的是，上述图7A至图8D只是本申请涉及的滤波模型的一种网络结构示意， 本申请实施例的滤波模型的网络结构包括但不限于上述图7A至图8D所示，且上述图7A至图8D所示的具体网络参数也只是一种示例，本申请实施例不局限于此。

本申请实施例提供的图像滤波方法，通过确定待滤波图像的编码信息，编码信息包 括待滤波图像的分类信息，该分类信息指示待滤波图像的编码图像类型、编码模式中的至 少一个；将待滤波图像和分类信息输入同一个基于深度学习的滤波模型中，以基于分类信 息对待滤波图像进行滤波，得到滤波后图像。即本申请实施例的滤波模型为通用滤波模型， 即可以实现对帧内编码模式下的待滤波图像进行滤波，也可以实现对帧间编码模式下的待 滤波图像进行滤波，其模型参数存储代价低，且本申请实施例将待滤波图像和该待滤波图 像的分类信息同时输入滤波模型中，以根据分类信息对待滤波图像进行差异化滤波，进而 可以提高待滤波图像的滤波效果。

上文对本申请实施例涉及的图像滤波方法进行详细介绍，在使用滤波模型进行上述 图像滤波之前，首先需要对滤波模型进行训练。下面对滤波模型的训练过程进行介绍。

如图9所示，本申请实施例的滤波模型的训练过程包括如下几个步骤：

步骤1，使用(编解码)软件生成训练集。

需要说明的是，该训练集中所包括的训练图像即包括帧内编码模式下的图像，也包 括帧间编码模式下的图像。

另外，该训练集中还包括各训练图像的编码信息，其中编码信息包括分类信息，该分类信息指示训练图像的编码图像类型、编码模式中的至少一个。

步骤2，使用训练集对滤波模型进行训练。

具体的，将上述训练图像和训练图像的分类信息输入滤波模型中对滤波模型进行训 练，得到训练后的滤波模型。

在模型训练过程中，会用到损失函数，损失函数是衡量预测值与真实值的差异，损失值loss越大，表示差异越大，而训练的目标就是要减小loss。本申请实施例的损失函数有：L1范数损失函数、L2范数损失函数和smooth L1损失函数。

由于滤波模型在实际使用的时候一般不会直接输入一个整帧进行滤波，而是将图像 划分为子图像，然后逐步将子图像输入到滤波模型进行滤波。由于子图像的大小可大可小， 因此就会存在输入到滤波模型的待滤波图像可能存在横跨条带/片边界的情况。

基于此，在一些实施例中，除了将训练图像和训练图像的分类信息输入滤波模型外， 还可以将训练图像对应的预测图像、量化参数和块划分信息中的至少一个输入滤波模型 中，以使滤波图像对训练图像的更多信息进行学习，进而提高模型的滤波效果。

步骤3，将训练好的滤波模型集成至软件进行滤波。

例如，将上述训练好的滤波模型集成至上述编码器和/或解码器中，以对重建图像进 行滤波。以提高重建效果。

应理解，图4至图9仅为本申请的示例，不应理解为对本申请的限制。

以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方 式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变 型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个 具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要 的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施 方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公 开的内容。

上文结合图4至图11，详细描述了本申请的方法实施例，下文详细描述本申请的装置实施例。

图10为本申请一实施例提供的图像滤波装置的结构示意图，装置10包括：

确定单元11，用于确定待滤波图像的编码信息，所述编码信息包括所述待滤波图像 的分类信息，所述分类信息指示所述待滤波图像的编码图像类型、编码模式中的至少一个；

滤波单元12，用于将所述待滤波图像和所述分类信息输入同一个基于深度学习的滤 波模型中，以基于所述分类信息对所述待滤波图像进行滤波，得到滤波后图像。

在一些实施例中，编码图像类型包括全帧内编码图像和可帧间编码图像，若所述分 类信息指示所述待滤波图像的编码图像类型，可选的，上述分类信息在条带级别、图像块 级别、或图像头级别进行指示，

此时确定单元11，具体用于获取所述待滤波图像中多个图像区域对应的编码图像类 型；若所述多个图像区域均属于所述全帧内编码图像，则确定所述分类信息的取值为第一 数值；

若所述多个图像区域均属于所述可帧间编码图像，则确定所述分类信息的取值为第 二数值；

若所述待滤波图像横跨条带边界或片边界，则确定所述分类信息的取值为第三数值， 或者根据所述多个图像区域中属于所述全帧内编码图像的图像区域和属于所述可帧间编 码图像的图像区域分别在所述待滤波图像中的比例，确定所述分类信息的取值。

在一些实施例中，确定单元11，具体用于若所述待滤波图像的多个图像区域中属于 所述全帧内编码图像的图像区域在所述待滤波图像中的比例大于或等于第一阈值，则确定 所述分类信息的取值为所述第一数值；

若所述待滤波图像的多个图像区域中属于所述全帧内编码图像的图像区域在所述待 滤波图像中的比例小于所述第一阈值，则确定所述分类信息的取值为所述第二数值。

在一些实施例中，确定单元11，具体用于若所述待滤波图像的多个图像区域中属于 所述全帧内编码图像的图像区域在所述待滤波图像中的比例大于或等于第一阈值，则确定 所述分类信息的取值为所述第一数值；

若所述待滤波图像的多个图像区域中属于所述全帧内编码图像的图像区域在所述待 滤波图像中的比例小于所述第一阈值、且大于或等于第二阈值，则确定所述分类信息的取 值为所述第二数值；

若所述待滤波图像的多个图像区域中属于所述全帧内编码图像的图像区域在所述待 滤波图像中的比例小于所述第二阈值，则确定所述分类信息的取值为所述第三数值。

在一些实施例中，编码模式包括帧内编码模式和帧间编码模式，若所述分类信息指 示待滤波图像的编码模式，所述分类信息包括第一分类信息和第二分类信息中的至少一 个；

其中，所述第一分类信息用于指示所述待滤波图像中一个或多个像素点所对应的编 码模式，所述第二分类信息用于指示所述待滤波图像中预设大小区域对应的编码模式。可 选的，所述分类信息在块级别进行指示。

在一些实施例中，若所述分类信息包括所述第一分类信息，所述第一分类信息为包 括多个元素的矩阵，所述矩阵中的每个元素与所述待滤波图像中的一个或多个像素点的编 码模式相对，则确定单元11，具体用于获取所述待滤波图像中一个或多个像素点对应的 编码模式；根据所述待滤波图像中一个或多个像素点所对应的编码模式，确定所述第一分 类信息。

在一些实施例中，确定单元11，具体用于

若所述待滤波图像中所有像素点对应的编码模式为所述帧内编码模式时，则确定所 述第一分类信息中各矩阵元素的取值为第一数值；

若所述待滤波图像中所有像素点对应的编码模式为所述帧间编码模式时，则确定所 述第一分类信息中各矩阵元素的取值为第二数值；

若所述待滤波图像中第一图像区域中的一个或多个像素点对应的编码模式为所述帧 内编码模式，第二图像区域中的一个或多个像素点对应的编码模式为所述帧间编码模式 时，则确定所述第一分类信息中所述第一图像区域中的一个或多个像素点对应的矩阵元素 取值为所述第一数值，所述第二图像区域中的一个或多个像素点对应的矩阵元素取值为所 述第二数值。

在一些实施例中，若所述分类信息包括所述第二分类信息，则确定单元11，具体用于根据所述待滤波图像中不同编码模式所对应的图像区域在所述待滤波图像中的比例，确定所述第二分类信息。

在一些实施例中，确定单元11，具体用于若所述待滤波图像中所述帧内编码模式对 应的图像区域在所述待滤波图像中的比例大于或等于第一预设阈值时，则确定所述第二分 类信息的取值为第一数值；若所述待滤波图像中所述帧内编码模式对应的图像区域在所述 待滤波图像中的比例小于所述第一预设阈值时，则确定所述第二分类信息的取值为第二数 值。

在一些实施例中，确定单元11，具体用于若所述待滤波图像中所述帧内编码模式对 应的图像区域在所述待滤波图像中的比例大于或等于第一预设阈值时，则确定所述第二分 类信息的取值为第一数值；

若所述待滤波图像中所述帧内编码模式对应的图像区域在所述待滤波图像中的比例 小于所述第一预设阈值、且大于或等于第二预设阈值时，则确定所述第二分类信息的取值 为第二数值；

若所述待滤波图像中所述帧内编码模式对应的图像区域在所述待滤波图像中的比例 小于所述第二预设阈值时，则确定所述第二分类信息的取值为第三数值。

在一些实施例中，所述编码模式包括：普通帧内编码模式、矩阵加权帧内预测MIP模式、帧内块复制IBC模式、帧内串预测ISP模式、调色板PLT模式、普通帧间编码模 式、跳过Skip模式、运动合并Merge模式、帧间和帧内联合预测CIIP模式中的至少一个；

若所述分类信息指示所述待滤波图像的编码模式，可选的，所述分类信息在块级别 进行指示。

此时，则确定单元11，具体用于获取所述待滤波图像中多个图像区域对应的编码模 式；根据所述待滤波图像中多个图像区域对应的编码模式，确定所述分类信息。

在一些实施例中，确定单元11，具体用于确定所述待滤波图像中多个图像区域对应 的编码模式的索引；根据所述待滤波图像中多个图像区域对应的编码模式的索引，确定所 述分类信息。

在一些实施例中，一个编码模式对应一个索引，或者多个编码模式对应一个索引。

在一些实施例中，滤波单元12，具体用于将所述待滤波图像和所述分类信息中的至 少一个进行预处理后，输入所述滤波模型中。

在一些实施例中，滤波单元12，具体用于将所述待滤波图像和所述分类信息进行合 并图层后，输入所述滤波模型中。

在一些实施例中，滤波单元12，具体用于将所述待滤波图像和所述分类信息相乘后 输入第一特征提取单元，得到所述待滤波图像和所述分类信息融合后的第一特征信息；将 所述待滤波图像输入第二特征提取单元中进行特征提取，得到所述待滤波图像的第二特征 信息；将所述第一特征信息和所述第二特征信息输入所述滤波模型中。

在一些实施例中，滤波单元12，具体用于将所述待滤波图像对应的预测图像、量化参数和块划分信息中的至少一个，以及所述待滤波图像和所述分类信息输入所述滤波模型中。

在一些实施例中，滤波单元12，具体用于将所述预测图像输入第一处理单元，得到所述预测图像的特征信息；将所述待滤波图像输入第二处理单元，得到所述待滤波图像的特征信息；将所述预测图像的特征信息、所述量化参数和所述块划分信息中的至少一个，以及所述待滤波图像的特征信息和所述分类信息输入所述滤波模型中。

可选的，所述量化参数包括序列级量化参数和条带级量化参数中的至少一个。

在一些实施例中，所述滤波模型包括N个残差块，所述N为正整数。

在一些实施例中，所述N个残差块中至少一个残差块所包括的各卷积层的输入通道 数和输出通道数相同，或者，所述N个残差块中至少一个残差块所包括的各卷积层的输入 通道数和输出通道数不相同。

在一些实施例中，所述N个残差块中至少一个残差块包括注意力层。

在一些实施例中，所述滤波后图像用于后续图像的参考图像，或者，所述滤波后图像用于显示，且不用于后续图像的参考图像。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施 例。为避免重复，此处不再赘述。具体地，图10所示的装置10可以执行上述方法实施例， 并且装置16中的各个模块的前述和其它操作和/或功能分别为了实现上述方法实施例，为 了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块 可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组 合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成 逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现 为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选 地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可 编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取 存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图11是本申请实施例提供的电子设备的示意性框图，该电子设备可以为上述的图像 滤波装置、或视频编码器、或视频解码器。

如图11所示，该电子设备40可包括：

存储器41和存储器42，该存储器41用于存储计算机程序，并将该程序代码传输给该存储器42。换言之，该存储器42可以从存储器41中调用并运行计算机程序，以实现 本申请实施例中的方法。

例如，该存储器42可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该存储器42可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件等等。

在本申请的一些实施例中，该存储器41包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可 擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器 (Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形 式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储 器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、 双倍数据速率同步动态随机存取存储器(DoubleData Rate SDRAM，DDR SDRAM)、增 强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取 存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者 多个模块被存储在该存储器41中，并由该存储器42执行，以完成本申请提供的方法。该 一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述 该计算机程序在该视频制作设备中的执行过程。

如图11所示，该电子设备40还可包括：

收发器40，该收发器43可连接至该存储器42或存储器41。

其中，存储器42可以控制该收发器43与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器43可以包括发射机和接 收机。收发器43还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该视频制作设备中的各个组件通过总线系统相连，其中，总线系统除包括 数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算 机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一 种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的 方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序 产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部 分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、 计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或 者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可 以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个 网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能 够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视 频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk， SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及 算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以 硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可 以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本 申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通 过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示 或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件 可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元 上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如， 在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独 物理存在，也可以两个或两个以上模块集成在一个模块中。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟 悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖 在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (29)

1.一种图像滤波方法，其特征在于，包括：

确定待滤波图像的编码信息，所述编码信息包括所述待滤波图像的分类信息，所述分类信息指示所述待滤波图像的编码图像类型、编码模式中的至少一个；

将所述待滤波图像和所述分类信息输入同一个基于深度学习的滤波模型中，以基于所述编码信息对所述待滤波图像进行滤波，得到滤波后图像。

2.根据权利要求1所述的方法，其特征在于，所述编码图像类型包括全帧内编码图像和可帧间编码图像，若所述分类信息指示所述待滤波图像的编码图像类型，则所述确定待滤波图像的编码信息，包括：

获取所述待滤波图像中多个图像区域对应的编码图像类型；

若所述多个图像区域均属于所述全帧内编码图像，则确定所述分类信息的取值为第一数值；

若所述多个图像区域均属于所述可帧间编码图像，则确定所述分类信息的取值为第二数值；

若所述待滤波图像横跨条带边界或片边界，则确定所述分类信息的取值为第三数值，或者根据所述多个图像区域中属于所述全帧内编码图像的图像区域和属于所述可帧间编码图像的图像区域分别在所述待滤波图像中的比例，确定所述分类信息的取值。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个图像区域中属于所述全帧内编码图像的图像区域和属于所述可帧间编码图像的图像区域分别在所述待滤波图像中的比例，确定所述分类信息，包括：

若所述多个图像区域中属于所述全帧内编码图像的图像区域在所述待滤波图像中的比例大于或等于第一阈值，则确定所述分类信息的取值为所述第一数值；

若所述多个图像区域中属于所述全帧内编码图像的图像区域在所述待滤波图像中的比例小于所述第一阈值，则确定所述分类信息的取值为所述第二数值。

4.根据权利要求2所述的方法，其特征在于，所述根据所述多个图像区域中属于所述全帧内编码图像的图像区域和属于所述可帧间编码图像的图像区域分别在所述待滤波图像中的比例，确定所述编码图像类型指示信息，包括：

若所述多个图像区域中属于所述全帧内编码图像的图像区域在所述待滤波图像中的比例大于或等于第一阈值，则确定所述分类信息的取值为所述第一数值；

若所述多个图像区域中属于所述全帧内编码图像的图像区域在所述待滤波图像中的比例小于所述第一阈值、且大于或等于第二阈值，则确定所述分类信息的取值为所述第二数值；

若所述多个图像区域中属于所述全帧内编码图像的图像区域在所述待滤波图像中的比例小于所述第二阈值，则确定所述分类信息的取值为所述第三数值。

5.根据权利要求2所述的方法，其特征在于，所述分类信息在条带级别、图像块级别、或图像头级别进行指示。

6.根据权利要求1所述的方法，其特征在于，所述编码模式包括帧内编码模式和帧间编码模式，若所述分类信息指示待滤波图像的编码模式，所述分类信息包括第一分类信息和第二分类信息中的至少一个；

其中，所述第一分类信息用于指示所述待滤波图像中一个或多个像素点所对应的编码模式，所述第二分类信息用于指示所述待滤波图像中预设大小区域对应的编码模式。

7.根据权利要求6所述的方法，其特征在于，若所述分类信息包括所述第一分类信息，则所述确定待滤波图像的编码信息，包括：

获取所述待滤波图像中一个或多个像素点对应的编码模式；

根据所述待滤波图像中一个或多个像素点所对应的编码模式，确定所述编码信息中的第一分类信息；

其中，所述第一分类信息为包括多个元素的矩阵，所述矩阵中的每个元素与所述待滤波图像中的一个或多个像素点的编码模式相对应。

8.根据权利要求7所述的方法，其特征在于，所述根据所述待滤波图像中一个或多个像素点所对应的编码模式，确定所述第一分类信息，包括：

若所述待滤波图像中所有像素点对应的编码模式为所述帧内编码模式时，则确定所述第一分类信息中各矩阵元素的取值为第一数值；

若所述待滤波图像中所有像素点对应的编码模式为所述帧间编码模式时，则确定所述第一分类信息中各矩阵元素的取值为第二数值；

若所述待滤波图像中第一图像区域中的一个或多个像素点对应的编码模式为所述帧内编码模式，第二图像区域中的一个或多个像素点对应的编码模式为所述帧间编码模式时，则确定所述第一分类信息中所述第一图像区域中的一个或多个像素点对应的矩阵元素取值为所述第一数值，所述第二图像区域中的一个或多个像素点对应的矩阵元素取值为所述第二数值。

9.根据权利要求6所述的方法，其特征在于，若所述分类信息包括所述第二分类信息，则所述确定待滤波图像的编码信息，包括：

根据所述待滤波图像中不同编码模式所对应的图像区域在所述待滤波图像中的比例，确定所述第二分类信息。

10.根据权利要求9所述的方法，其特征在于，所述根据所述待滤波图像中不同编码模式所对应的图像区域在所述待滤波图像中的比例，确定所述第二分类信息，包括：

若所述待滤波图像中所述帧内编码模式对应的图像区域在所述待滤波图像中的比例大于或等于第一预设阈值时，则确定所述第二分类信息的取值为第一数值；

若所述待滤波图像中所述帧内编码模式对应的图像区域在所述待滤波图像中的比例小于所述第一预设阈值时，则确定所述第二分类信息的取值为第二数值。

11.根据权利要求9所述的方法，其特征在于，所述根据所述待滤波图像中不同编码模式所对应的图像区域在所述待滤波图像中的比例，确定所述第二分类信息，包括：

若所述待滤波图像中所述帧内编码模式对应的图像区域在所述待滤波图像中的比例大于或等于第一预设阈值时，则确定所述第二分类信息的取值为第一数值；

若所述待滤波图像中所述帧内编码模式对应的图像区域在所述待滤波图像中的比例小于所述第一预设阈值、且大于或等于第二预设阈值时，则确定所述第二分类信息的取值为第二数值；

若所述待滤波图像中所述帧内编码模式对应的图像区域在所述待滤波图像中的比例小于所述第二预设阈值时，则确定所述第二分类信息的取值为第三数值。

12.根据权利要求6所述的方法，其特征在于，所述分类信息在块级别进行指示。

13.根据权利要求1所述的方法，其特征在于，所述编码模式包括：普通帧内编码模式、矩阵加权帧内预测MIP模式、帧内块复制IBC模式、帧内串预测ISP模式、调色板PLT模式、普通帧间编码模式、跳过Skip模式、运动合并Merge模式、帧间和帧内联合预测CIIP模式中的至少一个；

若所述分类信息指示所述待滤波图像的编码模式，则所述确定待滤波图像的编码信息，包括：

获取所述待滤波图像中多个图像区域对应的编码模式；

根据所述待滤波图像中多个图像区域对应的编码模式，确定所述编码信息中的分类信息。

14.根据权利要求13所述的方法，其特征在于，所述根据所述待滤波图像中多个图像区域对应的编码模式，确定所述编码信息中的分类信息，包括：

确定所述待滤波图像中多个图像区域对应的编码模式的索引；

根据所述待滤波图像中多个图像区域对应的编码模式的索引，确定所述分类信息。

15.根据权利要求14所述的方法，其特征在于，一个编码模式对应一个索引，或者多个编码模式对应一个索引。

16.根据权利要求13所述的方法，其特征在于，所述分类信息在块级别进行指示。

17.根据权利要求1-16任一项所述的方法，其特征在于，所述将所述待滤波图像和所述分类信息输入同一个基于深度学习的滤波模型中，包括：

将所述待滤波图像和所述分类信息中的至少一个进行预处理后，输入所述滤波模型中。

18.根据权利要求17所述的方法，其特征在于，所述将所述待滤波图像和所述分类信息中的至少一个进行预处理后，输入所述滤波模型中，包括：

将所述待滤波图像和所述分类信息进行合并图层后，输入所述滤波模型中。

19.根据权利要求17所述的方法，其特征在于，所述将所述待滤波图像和所述分类信息中的至少一个进行预处理后，输入所述滤波模型中，包括：

将所述待滤波图像和所述分类信息相乘后输入第一特征提取单元，得到所述待滤波图像和所述分类信息融合后的第一特征信息；

将所述待滤波图像输入第二特征提取单元中进行特征提取，得到所述待滤波图像的第二特征信息；

将所述第一特征信息和所述第二特征信息输入所述滤波模型中。

20.根据权利要求1-16任一项所述的方法，其特征在于，所述将所述待滤波图像和所述分类信息输入同一个基于深度学习的滤波模型中，包括：

将所述待滤波图像对应的预测图像、量化参数和块划分信息中的至少一个，以及所述待滤波图像和所述分类信息输入所述滤波模型中。

21.根据权利要求20所述的方法，其特征在于，所述将所述待滤波图像对应的预测图像、量化参数和块划分信息中的至少一个，以及所述待滤波图像和所述分类信息输入所述滤波模型中，包括：

将所述预测图像输入第一处理单元，得到所述预测图像的特征信息；

将所述待滤波图像输入第二处理单元，得到所述待滤波图像的特征信息；

将所述预测图像的特征信息、所述量化参数和所述块划分信息中的至少一个，以及所述待滤波图像的特征信息和所述分类信息输入所述滤波模型中。

22.根据权利要求20所述的方法，其特征在于，所述量化参数包括序列级量化参数和条带级量化参数中的至少一个。

23.根据权利要求1-16任一项所述的方法，其特征在于，所述滤波模型包括N个残差块，所述N为正整数。

24.根据权利要求23所述的方法，其特征在于，所述N个残差块中至少一个残差块所包括的各卷积层的输入通道数和输出通道数相同，或者，所述N个残差块中至少一个残差块所包括的各卷积层的输入通道数和输出通道数不相同。

25.根据权利要求23所述的方法，其特征在于，所述N个残差块中至少一个残差块包括注意力层。

26.根据权利要求1-16任一项所述的方法，其特征在于，所述滤波后图像用于后续图像的参考图像，或者，所述滤波后图像用于显示，且不用于后续图像的参考图像。

27.一种图像滤波装置，其特征在于，包括：

确定单元，用于确定待滤波图像的编码信息，所述编码信息包括所述待滤波图像的分类信息，所述分类信息指示所述待滤波图像的编码图像类型、编码模式中的至少一个；

滤波单元，用于将所述待滤波图像和所述分类信息输入同一个基于深度学习的滤波模型中，以基于所述分类信息对所述待滤波图像进行滤波，得到滤波后图像。

28.一种电子设备，其特征在于，包括：

处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至26中任一项所述的方法。

29.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行权利要求1至26中任一项所述的方法。