CN117151986A - 图像滤波方法、装置及设备 - Google Patents

图像滤波方法、装置及设备 Download PDF

Info

Publication number
CN117151986A
CN117151986A CN202210551039.7A CN202210551039A CN117151986A CN 117151986 A CN117151986 A CN 117151986A CN 202210551039 A CN202210551039 A CN 202210551039A CN 117151986 A CN117151986 A CN 117151986A
Authority
CN
China
Prior art keywords
image
image block
filtered
block
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210551039.7A
Other languages
English (en)
Inventor
王力强
常仁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210551039.7A priority Critical patent/CN117151986A/zh
Priority to PCT/CN2023/079134 priority patent/WO2023221599A1/zh
Publication of CN117151986A publication Critical patent/CN117151986A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种图像滤波方法、装置及设备,可应用于通过获取待滤波图像；确定基于神经网络的滤波器，并根据与基于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式，对待滤波图像进行划分，得到N个待滤波图像块，N为正整数；使用基于神经网络的滤波器，对N个待滤波图像块分别进行滤波，得到滤波后图像。即本申请实施例中，通过将基于神经网络的滤波器在实际使用过程中的分块方式，与在训练时所使用的分块方式保持一致，以使得基于神经网络的滤波器发挥出最佳滤波性能，进而提高了图像的滤波效果。

Description

图像滤波方法、装置及设备
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像滤波方法、装置及设备。
背景技术
数字视频技术可以并入多种视频装置中，例如数字电视、智能手机、计算机、电子阅 读器或视频播放器等。随着视频技术的发展，视频数据所包括的数据量较大，为了便于视 频数据的传输，视频装置执行视频压缩技术，以使视频数据更加有效的传输或存储。
在视频压缩技术中会造成图像损失，为了降低损失，则对重建图像进行滤波。随着神 经网络技术的快速发展，在一些场景中，使用基于神经网络的滤波器对重建图像进行滤波。
但是，由于基于神经网络的滤波器在训练过程与实际使用过程中的数据处理不一致， 使得基于神经网络的滤波器的滤波效果差。
发明内容
本申请提供一种图像滤波方法、装置及设备，可以提高图像的滤波效果。
第一方面，本申请提供一种图像滤波方法，包括：
获取待滤波图像；
确定基于神经网络的滤波器，并根据与所述基于神经网络的滤波器在训练过程中所使 用的训练图像的相同的分块方式，对所述待滤波图像进行划分，得到N个待滤波图像块， 所述N为正整数；
使用所述基于神经网络的滤波器，对所述N个待滤波图像块分别进行滤波，得到滤波 后图像。
第二方面，本申请提供一种图像滤波装置，包括：
获取单元，用于获取待滤波图像；
划分单元，用于确定基于神经网络的滤波器，并根据与所述基于神经网络的滤波器在 训练过程中所使用的训练图像的相同的分块方式，对所述待滤波图像进行划分，得到N个 待滤波图像块，所述N为正整数；
滤波单元，用于使用所述基于神经网络的滤波器，对所述N个待滤波图像块分别进行 滤波，得到滤波后图像。
第三方面，提供了一种电子设备，包括：处理器和存储器，该存储器用于存储计算机 程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。
第四方面，提供了一种芯片，用于实现上述第一方面中任一方面或其各实现方式中的 方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安 装有所述芯片的设备执行如上述第一方面中任一方面或其各实现方式中的方法。
第五方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使 得计算机执行第一方面的方法。
第六方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令 使得计算机执行上述第一方面中任一方面或其各实现方式中的方法。
第七方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第 一方面中任一方面或其各实现方式中的方法。
综上，在本申请中，通过获取待滤波图像；确定基于神经网络的滤波器，并根据与基 于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式，对待滤波图像进 行划分，得到N个待滤波图像块，N为正整数；使用基于神经网络的滤波器，对N个待 滤波图像块分别进行滤波，得到滤波后图像。即本申请实施例中，通过将基于神经网络的 滤波器在实际使用过程中的分块方式，与在训练时所使用的分块方式保持一致，以使得基 于神经网络的滤波器发挥出最佳滤波性能，进而提高了图像的滤波效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的 附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的 附图。
图1为本申请实施例涉及的一种应用场景示意图；
图2为本申请实施例涉及的一种视频编解码系统的示意性框图；
图3为本申请实施例提供的编码框架的示意图；
图4为本申请实施例提供的解码框架的示意图；
图5A至图5C为图像类型示意图；
图6为本申请实施例涉及的滤波示意图；
图7A至图7D为一种图像分块方式；
图8为本申请一实施例提供的图像滤波方法流程图；
图9A至图9D为本申请实施例涉及的一种图像分块示意图；
图10A至图10D为本申请实施例涉及的另一种图像分块示意图；
图11A至图11D为本申请实施例涉及的另一种图像分块示意图；
图12A至图12D为本申请实施例涉及的一种图像块扩充示意图；
图13A至图13D为本申请实施例涉及的另一种图像块扩充示意图；
图14A和图14B为本申请实施例涉及的一种空域参考图像块示意图；
图15A和图15B为本申请实施例涉及的另一种空域参考图像块示意图；
图16A和图16B为本申请实施例涉及的另一种空域参考图像块示意图；
图17A和图17B为本申请实施例涉及的另一种空域参考图像块示意图；
图18A至图18D为本申请实施例涉及的时域参考图像块示意图；
图19为本申请一实施例提供的图像滤波方法流程示意图；
图20是本申请一实施例提供的图像滤波装置的示意性框图；
图21是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他 实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等 是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数 据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述 的那些以外的顺序实施。此外，术语“包括”和“具备”以及他们的任何变形，意图在于覆盖 不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必 限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、 产品或设备固有的其它步骤或单元。
图1为本申请实施例涉及的一种应用场景示意图，包括电子设备100，该电子设备100 上安装有基于神经网络的滤波器200。这样，电子设备100获得待滤波图像后，将该点滤波图像输入基于神经网络的滤波器200中进行滤波。
在一些实施例中，电子设备100包括显示装置，这样，电子设备100可以通过显示装置将滤波后图像进行显示。
本申请实施例对电子设备100的具体类型不做限制，可以是任意具有数据处理功能的 设备。
在一些实施例中，电子设备100可以为终端设备，例如包含智能手机、台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电视、相机、显示 设备、数字媒体播放器、视频游戏控制台、车载计算机等。
在一些实施例中，上述电子设备100还可以是服务器。该服务器可以是一台或多台。 服务器是多台时，存在至少两台服务器用于提供不同的服务，和/或，存在至少两台服务 器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以 限定。
可选的，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务 器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network， 内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器也可 以成为区块链的节点。
在一些实施例中，上述服务器为拥有强大计算资源的云服务器，具备高度虚拟化，高 度分布式的特点。
在一些实施例中，上述待滤波图像是图像采集设备采集的。例如，图像采集设备将采 集的待滤波图像发送给电子设备100，电子设备100通过基于神经网络的滤波器对拍摄的 待滤波图像进行滤波。再例如，电子设备100具有图像采集功能，这样电子设备100可以采集图像，并将采集的待滤波图像输入基于神经网络的滤波器中进行滤波。
在一些实施例中，上述电子设备100可以为编码设备，待滤波图像可以理解为重建图 像。这样，编码设备对当前图像进行编码后重建，得到重建图像，将该重建图像输入基于神经网络的滤波器进行滤波。
在一些实施例中，上述电子设备100可以为解码设备，解码设备解码码流后进行图像 重建，得到重建图像，接着，将该重建图像输入基于神经网络的滤波器进行滤波。
本申请实施例可以应用于任意需要对图像进行滤波的场景。
在一些实施例中，本发明实施例可应用于各种场景，包括但不限于云技术(例如云游 戏)、人工智能、智慧交通、辅助驾驶等。
在一些实施例中，本申请可应用于图像编解码领域、视频编解码领域、硬件视频编解 码领域、专用电路视频编解码领域、实时视频编解码领域等。例如，本申请的方案可结合至音视频编码标准(audio video coding standard，简称AVS)，例如，H.264/音视频编码(audio video coding，简称AVC)标准，H.265/高效视频编码(high efficiency videocoding， 简称HEVC)标准以及H.266/多功能视频编码(versatile video coding，简称VVC)标准。 或者，本申请的方案可结合至其它专属或行业标准而操作，所述标准包含ITU-TH.261、 ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、 ISO/IECMPEG-4Visual，ITU-TH.264(还称为ISO/IECMPEG-4AVC)，包含可分级视频编解 码(SVC)及多视图视频编解码(MVC)扩展。应理解，本申请的技术不限于任何特定编解码 标准或技术。
为了便于理解，首先结合图2对本申请实施例涉及的视频编解码系统进行介绍。
图2为本申请实施例涉及的一种视频编解码系统的示意性框图。需要说明的是，图2 只是一种示例，本申请实施例的视频编解码系统包括但不限于图2所示。如图2所示，该视频编解码系统包含编码设备110和解码设备120。其中编码设备用于对视频数据进行编码(可以理解成压缩)产生码流，并将码流传输给解码设备。解码设备对编码设备编码产 生的码流进行解码，得到解码后的视频数据。
本申请实施例的编码设备110可以理解为具有视频编码功能的设备，解码设备120可 以理解为具有视频解码功能的设备，即本申请实施例对编码设备110和解码设备120包括 更广泛的装置，例如包含智能手机、台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电视、相机、显示装置、数字媒体播放器、视频游戏控制 台、车载计算机等。
在一些实施例中，编码设备110可以经由信道130将编码后的视频数据(如码流)传输给解码设备120。信道130可以包括能够将编码后的视频数据从编码设备110传输到解 码设备120的一个或多个媒体和/或装置。
在一个实例中，信道130包括使编码设备110能够实时地将编码后的视频数据直接发 射到解码设备120的一个或多个通信媒体。在此实例中，编码设备110可根据通信标准来调制编码后的视频数据，且将调制后的视频数据发射到解码设备120。其中通信媒体包含无线通信媒体，例如射频频谱，可选的，通信媒体还可以包含有线通信媒体，例如一根或 多根物理传输线。
在另一实例中，信道130包括存储介质，该存储介质可以存储编码设备110编码后的 视频数据。存储介质包含多种本地存取式数据存储介质，例如光盘、DVD、快闪存储器等。在该实例中，解码设备120可从该存储介质中获取编码后的视频数据。
在另一实例中，信道130可包含存储服务器，该存储服务器可以存储编码设备110编 码后的视频数据。在此实例中，解码设备120可以从该存储服务器中下载存储的编码后的 视频数据。可选的，该存储服务器可以存储编码后的视频数据且可以将该编码后的视频数 据发射到解码设备120，例如web服务器(例如，用于网站)、文件传送协议(FTP)服务器等。
一些实施例中，编码设备110包含视频编码器112及输出接口113。其中，输出接口113可以包含调制器/解调器(调制解调器)和/或发射器。
在一些实施例中，编码设备110除了包括视频编码器112和输入接口113外，还可以包括视频源111。
视频源111可包含视频采集装置(例如，视频相机)、视频存档、视频输入接口、计算机图形系统中的至少一个，其中，视频输入接口用于从视频内容提供者处接收视频数据，计算机图形系统用于产生视频数据。
视频编码器112对来自视频源111的视频数据进行编码，产生码流。视频数据可包括 一个或多个图像(picture)或图像序列(sequence of pictures)。码流以比特流的形式包含 了图像或图像序列的编码信息。编码信息可以包含编码图像数据及相关联数据。相关联数 据可包含序列参数集(sequence parameter set，简称SPS)、图像参数集(pictureparameter set， 简称PPS)及其它语法结构。SPS可含有应用于一个或多个序列的参数。PPS可含有应用于 一个或多个图像的参数。语法结构是指码流中以指定次序排列的零个或多个语法元素的集 合。
视频编码器112经由输出接口113将编码后的视频数据直接传输到解码设备120。编 码后的视频数据还可存储于存储介质或存储服务器上，以供解码设备120后续读取。
在一些实施例中，解码设备120包含输入接口121和视频解码器122。
在一些实施例中，解码设备120除包括输入接口121和视频解码器122外，还可以包括显示装置123。
其中，输入接口121包含接收器及/或调制解调器。输入接口121可通过信道130接收编码后的视频数据。
视频解码器122用于对编码后的视频数据进行解码，得到解码后的视频数据，并将解 码后的视频数据传输至显示装置123。
显示装置123显示解码后的视频数据。显示装置123可与解码设备120整合或在解码 设备120外部。显示装置123可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
此外，图2仅为实例，本申请实施例的技术方案不限于图2，例如本申请的技术还可以应用于单侧的视频编码或单侧的视频解码。
下面对本申请实施例涉及的视频编码框架进行介绍。
图3为本申请实施例提供的编码框架的示意图。
应理解，该编码框架可用于对图像进行有损压缩(lossy compression)，也可用于对 图像进行无损压缩(lossless compression)。该无损压缩可以是视觉无损压缩(visually lossless compression)，也可以是数学无损压缩(mathematically losslesscompression)。
该编码框架可应用于亮度色度(YCbCr，YUV)格式的图像数据上。
例如，该编码框架读取视频数据，针对视频数据中的每帧图像，将一帧图像划分成若 干个编码树单元(coding tree unit，CTU)，在一些例子中，CTU可被称作“树型块”、“最大编码单元”(Largest Coding unit，简称LCU)或“编码树型块”(coding tree block，简称CTB)。每一个CTU可以与图像内的具备相等大小的像素块相关联。每一像素可对应一个 亮度(luminance或luma)采样及两个色度(chrominance或chroma)采样。因此，每一个CTU 可与一个亮度采样块及两个色度采样块相关联。一个CTU大小例如为128×128、64×64、 32×32等。一个CTU又可以继续被划分成若干个编码单元(Coding Unit，CU)进行编码，CU可以为矩形块也可以为方形块。CU可以进一步划分为预测单元(prediction Unit，简 称PU)和变换单元(transform unit，简称TU)，进而使得编码、预测、变换分离，处理 的时候更灵活。在一种示例中，CTU以四叉树方式划分为CU，CU以四叉树方式划分为 TU、PU。
视频编码器及视频解码器可支持各种PU大小。假定特定CU的大小为2N×2N，视 频编码器及视频解码器可支持2N×2N或N×N的PU大小以用于帧内预测，且支持2N ×2N、2N×N、N×2N、N×N或类似大小的对称PU以用于帧间预测。视频编码器及视 频解码器还可支持2N×nU、2N×nD、nL×2N及nR×2N的不对称PU以用于帧间预测。
如图3所示，该编码框架包括：预测单元11、残差产生单元12、变换单元13、量化 单元14、逆量化单元15、逆变换单元16、重建单元17、滤波单元18及熵编码单元19。 预测单元11包含帧间预测单元101及帧内预测单元102。帧间预测单元101包含运动估 计单元1011及运动补偿单元1012。需要说明的是，该编码框架可包含更多、更少或不同 的功能组件。
可选的，在本申请中，当前块(current block)可以称为当前编码单元(CU)或当前预测单元(PU)等。预测块也可称为预测图像块或图像预测块，重建图像块也可称为重 建块或图像重建图像块。
其中，编码端接收到视频之后，对于构成视频的每帧图像，将该图像划分成多个待编 码图像块。对于当前待编码图像块，预测单元11首先通过参考重建图像块对当前待编码图像块进行预测，得到当前待编码图像块的预测信息。其中，编码端可以采用帧间预测或者帧内预测技术得到预测信息。
具体地，帧间预测单元101中的运动估计单元1011可搜索参考图片的列表中的参考 图片以查找待编码图像块的参考块。运动估计单元1011可产生指示该参考块的索引，及指示待编码图像块与该参考块之间的空间位移的运动向量。运动估计单元1011可将参考块的索引及该运动向量作为该待编码图像块的运动信息而输出。运动补偿单元1012可基于该待编码图像块的运动信息得到该待编码图像块的预测信息。
帧内预测单元102可以采用帧内预测模式对当前待编码图像块产生预测信息。目前存 在15种帧内预测模式，包括Planar模式、DC模式以及13种角度预测模式。帧内预测单元102也可以采用帧内块复制(Intra Block Copy，IBC)、帧内串复制(Intra String Copy，ISC)技术等。
HEVC使用的帧内预测模式有平面模式(Planar)、DC和33种角度模式，共35种预 测模式。VVC使用的帧内模式有Planar、DC和65种角度模式，共67种预测模式。AVS3 使用的帧内模式有DC、Plane、Bilinear和63种角度模式，共66种预测模式。
残差产生单元12用于对当前待编码图像块的原始信号减去预测信息，得到残差信号。 经过预测后，残差信号的幅值远小于原始信号。
变换单元13和量化单元14用于对残差信号进行变换和量化操作。经过变换量化后， 得到变换量化系数。
熵编码单元19用于通过熵编码技术编码量化系数以及编码中的其他指示信息，得到 码流。
进一步地，编码端还需要重建当前待编码图像块，以实现对后续待编码图像块的编码 提供参考像素。具体地，在得到当前待编码图像块的变换量化系数之后，逆量化单元15 和逆变换单元16对当前待编码图像块的变换量化系数进行反量化和反变换，得到重建的 残差信号，重建单元17将重建的残差信号与当前待编码图像块对应的预测信息相加，得到当前待编码图像块的重建信号，根据该重建信号得到重建图像块。
更进一步地，滤波单元18可以对重建图像块可以进行滤波，其中可以采用去块效应 滤波(deblocking filter，DBF)、自适应样点补偿(Sample Adaptive Offset，SAO)或者自适应环路滤波(Adaptive Loop Filter，ALF)等。其中，该重建图像块可以对后续待编 码图像块进行预测。
在一些实施例中，重建图像块可以存储在解码图像缓存中帧间预测单元101可使用含 有重建后的像素块的参考图像来对其它图像的PU执行帧间预测。另外，帧内预测单元102 可使用解码图像缓存中的重建图像块对在与CU相同的图像中的其它PU执行帧内预测。
图4为本申请实施例提供的解码框架的示意图。
如图4所示，该解码框架包括：熵解码单元21、预测单元22、逆量化单元23、逆变 换单元24、重建单元25、滤波单元26。预测单元22包括：运动补偿单元221及帧内预 测单元222。
具体地，解码端获取到码流之后，首先熵解码单元21对码流进行熵解码，得到当前待重建图像块的变换量化系数，然后逆量化单元23和逆变换单元24对变换量化系数进行反量化和反变换，得到当前待重建图像块的重建的残差信号。预测单元22对当前待重建 图像块进行预测，得到当前待重建图像块的预测信息。如果预测单元22采用帧间预测， 则运动补偿单元221可根据从码流解析的语法元素来构造第一参考图片列表(列表0)及第 二参考图片列表(列表1)。此外，则熵解码单元21可解析待重建图像块的运动信息。运 动补偿单元221可根据该运动信息来确定待重建图像块的一个或多个参考块。运动补偿单 元221可根据一个或多个参考块来产生待重建图像块的预测信息。如果预测单元22采用 帧内预测，则熵解码单元21可解析使用的帧内预测模式的索引，帧内预测单元222可以 根据该索引，采用该帧内预测模式进行帧内预测，得到待重建图像块的预测信息。帧内预 测单元222也可以采用IBC或者ISC技术等。
进一步地，重建单元25用于将预测信息和上述重建的残差信号相加，得到当前待重 建图像块的重建信号，然后根据该重建信号得到当前待重建图像块对应的当前重建图像 块，其中，该当前重建图像块可以对后续其他待重建图像块进行预测。类似于上述编码端 的情况，可选地，在解码端滤波单元26可以对当前重建图像块进行滤波。
需要说明的是，编码端确定的块划分信息，以及预测、变换、量化、熵编码、环路滤波等模式信息或者参数信息等在必要时携带在码流中。解码端通过解析码流及根据已有信息进行分析确定与编码端相同的块划分信息，预测、变换、量化、熵编码、环路滤波等模 式信息或者参数信息，从而保证编码端获得的解码图像和解码端获得的解码图像相同。
上述是基于块的混合编码框架下的视频编解码器的基本流程，随着技术的发展，该框 架或流程的一些模块或步骤可能会被优化，本申请适用于该基于块的混合编码框架下的视 频编解码器的基本流程，但不限于该框架及流程。
由上述视频编解码的预测方式可知，编码图像分为全帧内编码图像和可帧间编码图 像，如图5A至图5C所示，其中图像包括帧(frame)、条带(slice)、片(tile)。图5A 中灰色虚线代表最大编码单元CTU的边界，图5B中黑色实线代表条带，图5C中黑色实 线片边界。
其中，全帧内编码图像进行预测的参考信息全部来自当前图像的空域信息。可帧间编 码图像进行预测过程中可以参考其它参考帧的时域参考信息。
由上述视频编解码的相关知识可知，传统的环路滤波器有DBF、SAO和ALF，主要 针对重建图像进行滤波，减弱块效应、振铃效应等，从而提升重建图像的质量，理想情况 是通过滤波器将重建图像恢复到原始图像。但是，由于传统滤波器的很多滤波系数是人工 设计的，存在很大的优化空间。鉴于深度学习工具在图像处理方面的卓越表现，基于深度 学习的滤波器被应用于环路滤波器模块。
本申请实施例涉及的主要是技术是基于神经网络的滤波器，例如基于神经网络的环路 滤波器(Neural Network Loop Filter，NNLF)。如图6所示，将滤波前的图像的待滤波图 像输入训练好的基于神经网络的环路滤波器NNLF中进行滤波，得到滤波图像。
在一些实施例中，在基于神经网络的滤波器的训练过程中，需要输入图像，并指定目 标图像作为优化目标对滤波器参数进行训练。训练过程中，输入图像和目标图像在空间上 是对齐的。一般输入图像从重建的失真图像中选取，目标图像从原始图像中选取作为最佳 的优化目标。
在模型训练过程中会用到损失函数，损失函数是衡量预测值与真实值的差异，损失值 loss越大，表示差异越大，而训练的目标就是要减小loss。对于基于深度学习的编码工具， 常用的损失函数有：L1范数损失函数、L2范数损失函数和平滑smooth L1损失函数。
基于神经网络的滤波器在实际使用的时候，一般不会直接输入整帧图像进行滤波，而 是将图像划分为子图像，然后逐步将子图像输入到基于神经网络的滤波器进行滤波。
因此，在基于神经网络的滤波器的训练过程中，也会将输入图像和目标图像进行划分， 得到输入图像块和目标图像块构成的匹配对，进而根据匹配对对基于神经网络的滤波器进 行训练。
在一些实施例中，在对输入图像和目标图像进行划分时，采用在一帧图像中进行随机 裁剪的方式，选取输入图像块和目标图像块形成的匹配对，如图7A和图7B所示，采用随机裁剪的方式在输入图像和目标图像中进行随机裁剪，得到1到5号图像块。然后，在 实际滤波的过程中，通常采用以CTU为基本单元进行滤波，例如图7C和图7D所示，以 A至E这5个CTU进行实际滤波。
由上述可知，由于基于神经网络的滤波器在训练过程中的图像块的划分方式，与实际 使用过程中图像块的划分方式不一致，导致基于神经网络的滤波器的滤波效果差。
为了解决上述技术问题，本申请实施例在实际滤波过程中，根据与基于神经网络的滤 波器在训练过程中所使用的训练图像的相同的分块方式，对待滤波图像进行划分，得到N 个待滤波图像块，针对N个待滤波图像块中的每个待滤波图像块使用基于神经网络的滤波 器对该待滤波图像块进行滤波，得到最终的滤波图像。即本申请实施例中，通过将基于神 经网络的滤波器在实际使用过程中的分块方式，与在训练时所使用的分块方式保持一致， 以使得基于神经网络的滤波器发挥出最佳滤波性能，进而提高了图像的滤波效果。
下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可 以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图8为本申请一实施例提供的图像滤波方法流程图，如图8所示，本申请实施例包括 如下步骤：
S801、获取待滤波图像。
本申请实施例中，获取待滤波图像的方法包括但不限于如下几种情况：
情况1，对于非视频编解码场景。在一种示例中，该待滤波图像可以是图像采集设备 采集的，例如通过摄像头拍摄的。在另一种示例，该待滤波图像可以是图像生成设备生成 的，例如通过图像绘制装置，绘制而成。
情况2，对于视频编解码场景，获取待滤波图像的方式至少包括如下几种：
方式1，对于编码端，该待滤波图像可以是编码之前的图像，也就是说，在编码端，在对待滤波图像进行编码之前，首先对该待滤波图像进行滤波，再对滤波后图像进行编码。例如，编码端编码待滤波图像1之前，首先将该待滤波图像1输入基于神经网络的滤波器 中进行滤波，得到滤波后的图像2。接着，对该图像2进行块划分，得到多个编码块，针 对每个编码块采用帧间或帧内等预测方法进行预测，得到编码块的预测块，将编码块与预 测块作差，得到残差块，对残差块进行变换和量化，得到量化系数，最后对量化系数进行 编码。
方式2，对于编码端，该待滤波图像可以是重建图像，也就是说，对当前图像进行重建，得到当前图像的重建图像；将重建图像，确定为待滤波图像。例如，编码端对该当前 图像进行块划分，得到多个编码块，针对每个编码块采用帧间或帧内等预测方法进行预测，得到编码块的预测块，将编码块与预测块作差，得到残差块，对残差块进行变换和量化， 得到量化系数，最后对量化系数进行编码。另外，编码端还对量化参数进行反量化，得到 编码块的变换系数，对变换系数进行反变换，得到残差块，将残差块与预测块相加，得到 该编码块的重建块。将当前图像中所有编码块的重建块进行组合，得到当前图像的重建图 像。将该重建图像作为待滤波图像，输入基于神经网络的滤波器中进行滤波，得到滤波后 图像。
方式3，对于解码端，该待滤波图像可以是重建图像，也就是说，对当前图像进行重建，得到当前图像的重建图像；将重建图像，确定为待滤波图像。例如，解码端对接收到 的码流进行解码，得到当前图像中当前块的量化系数，接着，对量化系数进行反量化，得 到当前块的变换系数，对变换系数进行反变换，得到残差块。进一步的，采用帧间或帧内 等预测方法对当前块进行预测，得到当前块的预测块，将残差块与预测块相加，得到该当 前块的重建块。将当前图像中所有块的重建块进行组合，得到当前图像的重建图像。将该 重建图像作为待滤波图像，输入基于神经网络的滤波器中进行滤波，得到滤波后图像。
需要说明的是，本申请实施例中，确定待滤波图像的方式包括但不限于上述几种，本 申请还可以通过其他方法，得到待滤波图像，本申请实施例对此不做限制。
S802、确定基于神经网络的滤波器，并根据与基于神经网络的滤波器在训练过程中所 使用的训练图像的相同的分块方式，对待滤波图像进行划分，得到N个待滤波图像块，N 为正整数。
本申请实施例中，在使用基于神经网络的滤波器对待滤波图像进行滤波之前，首先需 要确定滤波器。
在一些实施例中，上述基于神经网络的滤波器为预设的或默认的，这样可以直接使用 该预设的或默认的基于神经网络的滤波器进行滤波即可。
在一些实施例中，本申请实施例包括多个基于神经网络的候选滤波器，以下简称候选 滤波器。这样可以从这多个候选滤波器中，确定一个候选滤波器作为本申请实施例的基于 神经网络的滤波器。
在一种示例中，这多个候选滤波器中至少两个候选滤波器的网络结构不完全相同。
在另一种示例中，这多个候选滤波器中至少两个候选滤波器在训练过程中所使用的训 练图像的分块方式不同。例如，候选滤波器1在训练时，将输入图像中的一个CTU确定为一个输入块，将目标图像中相同位置处的一个CTU确定为一个目标块，进而以该输入 块为输入，以该目标块为目标对该候选滤波器1进行训练。再例如，候选滤波器2在训练 时，将输入图像中的2个CTU确定为一个输入块，将目标图像中相同位置处的2个CTU 确定为一个目标块，进而以该输入块为输入，以该目标块为目标对该候选滤波器2进行训 练。
也就是说，本申请实施例多个候选滤波器的网络结构、训练参数、训练方式等信息不 完全相同。
上述，从多个候选滤波器中确定基于神经网络的滤波器的方式包括但不限于如下几 种：
方式1，将候选滤波器中的任意一个候选滤波器确定为本步骤基本神经网络的滤波器。
方式2，将上述多个候选滤波器中滤波效果最佳的候选滤波器，作为本申请的基于神 经网络的滤波器。具体是，使用上述多个候选滤波器中的每个候选滤波器对待滤波图像进 行滤波，得到每个候选滤波器下的滤波后图像，将这多个滤波后图像进行比较，确定出效 果最佳的滤波后图像，进而将该效果最佳的滤波后图像对应的候选滤波器，确定为本步骤 基于神经网络的滤波器。
本申请实施例中，对确定滤波后图像的图像效果的方法不做限制，例如通过确定图像 清晰度、锐度、伪影等图像指标，来确定滤波后图像的图像效果。
方式3，将上述多个候选滤波器中失真最小的候选滤波器，作为本申请的基于神经网 络的滤波器。具体是，使用上述多个候选滤波器中的每个候选滤波器对待滤波图像进行滤 波，得到每个候选滤波器下的滤波后图像，将每个候选滤波器下的滤波后图像与待滤波图 像进行比较，确定出每个候选滤波器对应的失真，进而将失真最小的候选滤波器，确定为 本步骤基于神经网络的滤波器。
本申请实施例对上述确定候选滤波器对应的失真的方法不做限制，例如，将候选滤波 器下的滤波后图像与待滤波图像的差值，确定为该候选滤波器对应的失真。
需要说明的是，本申请实施例中，确定基于神经网络的滤波器的方式包括但不限于如 上几种。
根据上述方法，确定出该基于神经网络的滤波器后，则获取该基于神经网络的滤波器 在训练过程中所使用的训练图像的分块方式。例如，该基于神经网络的滤波器的文件中包 括该基于神经网络的滤波器在训练过程中所使用的训练图像的分块方式，这样可以直接从 该基于神经网络的滤波器的文件中读取该基于神经网络的滤波器在训练过程中所使用的 训练图像的分块方式。
本申请实施例中，为了提升基于神经网络的滤波器的滤波性能，则该基于神经网络的 滤波器在实际使用过程中的分块方式，与在训练时所使用的分块方式保持一致。
基于此，在实际滤波过程中，本申请实施例使用基于神经网络的滤波器在训练过程中 所使用的训练图像的分块方式，对待滤波图像进行划分，得到N个待滤波图像块。也就是 说，本申请实施例，在实际滤波时，使用基于神经网络的滤波器在训练过程中所使用的训 练图像的分块方式，对待滤波图像进行划分，得到N个待滤波图像块。例如，基于神经网络的滤波器在训练过程中，将训练图像中的每一个CTU确定为一个训练图像块进行模型 训练，这样，在实际滤波时，也将待滤波图像中的每一个CTU确定为一个待滤波图像进 行滤波，进而保证了基于神经网络的滤波器在实际使用过程中的分块方式与训练过程中的 分块方式保持一致，可以使得基于神经网络的滤波器发挥出最佳性能，进而提高了滤波效果。
本申请实施例对基于神经网络的滤波器在训练过程中所使用的训练图像的分块方式 的具体类型不做限制，可以是任意分块方式。
在一些实施例中，若上述基于神经网络的滤波器在训练时所使用的训练图像的分块方 式包括将训练图像中的M个CTU确定为一个训练图像块，M为正整数时，则上述S802 中根据与基于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式，对待滤波图像进行划分，得到N个待滤波图像块包括如下S802-A：
S802-A、将待滤波图像中的M个CTU确定为一个待滤波图像块，得到N个待滤波图像块。
本申请实施例对上述M的具体取值不做限制。
示例1，M＝1，如图9A所示，在基于神经网络的滤波器的训练过程中，将训练图像的一个CTU确定为一个训练图像块对基于神经网络的滤波器进行训练，其中图9A中一个 最小的虚线框内的区域为一个CTU。
在一种可能的实现方式中，若基于神经网络的滤波器是通过有监督的训练方法训练得 到时，则上述训练图像包括输入图像和目标图像，其中目标图像可以理解为监督图像。在 具体的训练过程中，如图9B所示，将输入图像的一个CTU确定为一个输入图像块，如图 9C所示，将目标图像的一个CTU确定为一个目标图像块，该输入图像块与该目标图像块组成一个匹配对，也就是说，一个匹配对中的输入图像块在输入图像中的位置，与目标图像块在目标图像中的位置一致。接着，将输入图像块输入基于神经网络的滤波器中进行滤波，得到该输入图像块对应的滤波图像块。将该输入图像块的滤波图像块与目标图像块进行比较，计算损失，并根据该损失对该基于神经网络的滤波器的参数进行调整。接着，参 照上述方法，继续以下一个匹配对中的输入图像块作为输入，以下一个匹配对中的目标图 像块为目标，对该基于神经网络的滤波器进行训练，得到训练好的基于神经网络的滤波器。
由上述可知，在该示例1中，上述基于神经网络的滤波器在训练过程中，将训练图像 中的一个CTU确定为一个训练图像块，对应的，在实际滤波过程中，如图9D所示，将待 滤波图像中的一个CTU确定为一个待滤波图像块，进而得到N个待滤波图像块。
示例2，M＝4，如图10A所示，在基于神经网络的滤波器的训练过程中，将训练图像的4个CTU确定为一个训练图像块对基于神经网络的滤波器进行训练。
在一种可能的实现方式中，若基于神经网络的滤波器是通过有监督的训练方法训练得 到时，则上述训练图像包括输入图像和目标图像，其中目标图像可以理解为监督图像。在 具体的训练过程中，如图10B所示，将输入图像的4个CTU确定为一个输入图像块，如图10C所示，将目标图像的4个CTU确定为一个目标图像块，该输入图像块与该目标图 像块组成一个匹配对，也就是说，一个匹配对中的输入图像块在输入图像中的位置，与目 标图像块在目标图像中的位置一致。接着，将输入图像块输入基于神经网络的滤波器中进 行滤波，得到该输入图像块对应的滤波图像块。将该输入图像块的滤波图像块与目标图像 块进行比较，计算损失，并根据该损失对该基于神经网络的滤波器的参数进行调整。接着， 参照上述方法，继续以下一个匹配对中的输入图像块作为输入，以下一个匹配对中的目标 图像块为目标，对该基于神经网络的滤波器进行训练，得到训练好的基于神经网络的滤波 器。
由上述可知，在该示例2中，上述基于神经网络的滤波器在训练过程中，将训练图像 中的4个CTU确定为一个训练图像块，对应的，在实际滤波过程中，如图10D所示，将 待滤波图像中的4个CTU确定为一个待滤波图像块，进而得到N个待滤波图像块。
上述以M为1或4为例进行说明，在一些实施例中，M还可以是2、3、5等任意正 整数，本申请实施例对此不做限制。
在一些实施例中，若上述基于神经网络的滤波器在训练时所使用的训练图像的分块方 式包括将训练图像中的P个残缺CTU确定为一个训练图像块，P为正整数时，则上述S802 中根据与基于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式，对待 滤波图像进行划分，得到N个待滤波图像块包括如下S802-B：
S802-B、将待滤波图像中的P个残缺CTU确定为一个待滤波图像块，得到N个待滤波图像块。
本申请实施例对上述P的具体取值不做限制。
举例说明，假设P＝4，如图11A所示，在基于神经网络的滤波器的训练过程中，将训练图像的4个残缺CTU确定为一个训练图像块，对基于神经网络的滤波器进行训练。
在一种可能的实现方式中，若基于神经网络的滤波器是通过有监督的训练方法训练得 到时，则上述训练图像包括输入图像和目标图像，其中目标图像可以理解为监督图像。在 具体的训练过程中，如图11B所示，将输入图像的4个残缺CTU确定为一个输入图像块， 如图11C所示，将目标图像的4个残缺CTU确定为一个目标图像块，该输入图像块与该目标图像块组成一个匹配对。接着，将输入图像块输入基于神经网络的滤波器中进行滤波，得到该输入图像块对应的滤波图像块。将该输入图像块的滤波图像块与目标图像块进行比较，计算损失，并根据该损失对该基于神经网络的滤波器的参数进行调整。接着，参照上 述方法，继续以下一个匹配对中的输入图像块作为输入，以下一个匹配对中的目标图像块 为目标，对该基于神经网络的滤波器进行训练，得到训练好的基于神经网络的滤波器。
由上述可知，在该示例中，上述基于神经网络的滤波器在训练过程中，将训练图像中 的4个残缺CTU确定为一个训练图像块，对应的，在实际滤波过程中，如图11D所示， 将待滤波图像中的4个残缺CTU确定为一个待滤波图像块，进而得到N个待滤波图像块。
上述以P为4为例进行说明，在一些实施例中，上述P还可以是1、2、3、5等任意 正整数，本申请实施例对此不做限制。
在上述示例中，4个残缺CTU为相邻，在一些实施例中，上述若P大于1时，则P 个残差CTU也可以不全相邻。也就是说，P个残差CTU中所有残差CTU均不相邻，或 者，P个残差CTU中部分残差CTU相邻，部分残差CTU不相邻。
上述实施例中示出了训练图像的分块方式包括将训练图像中的M个CTU确定为一个 训练图像块，或者，将训练图像中的P个残缺CTU确定为一个训练图像块。需要说明的是，本申请实施例涉及的训练图像的分块方式包括但不限于上述示例，本申请实施例对此不做限制。
根据上述步骤，使用基于神经网络的滤波器在训练过程中所使用的训练图像的分块方 式，对待滤波图像进行划分，得到N个待滤波图像块后，执行如下S803。
S803、使用基于神经网络的滤波器，对N个待滤波图像块分别进行滤波，得到滤波后图像。
本申请实施例中，使用与训练图像的分块方式相同的分块方式，对待滤波图像进行划 分，得到N个待滤波图像块。针对N个待滤波图像块中的每一个待滤波图像块，将该待滤波图像块输入基于神经网络的滤波器中进行滤波，得到该待滤波图像块的滤波后图像块。根据上述方法，可以确定出N个待滤波图像块中，每个待滤波图像块的滤波后图像块，这N个待滤波图像块的滤波后图像块组成滤波后图像。
由于在滤波过程中，结合图像块边界外的相邻内容进行滤波可以提升图像块边界区域 的滤波效果。基于此，为了进一步提升基于神经网络的滤波器的滤波效果，则在一些实施 例中，上述基于神经网络的滤波器是经过训练图像块的扩充图像块训练得到。也就是说， 本申请实施例中，在滤波器的训练过程中，除了根据上述的训练图像的分块方式对训练图 像进行划分，得到训练图像块外，还可以对该训练图像块向外进行扩充，得到扩充图像块， 并使用该扩充图像块对基于神经网络的滤波器进行训练。此时，上述S803包括如下S803-A1至S803-A3的步骤：
S803-A1、针对N个待滤波图像块中的每一个待滤波图像块，根据训练图像块的扩充 方式对待滤波图像块进行扩充，得到扩充后的待滤波图像块；
S803-A2、使用基于神经网络的滤波器，对扩充后的待滤波图像块进行滤波，得到滤 波后的扩充图像块；
S803-A3、将滤波后的扩充图像块中待滤波图像块对应的图像区域，确定为待滤波图 像块的滤波后图像块。
本申请实施例中，为了进一步提高待滤波图像的滤波效果，则本申请实施例采用与训 练图像块相同的扩充方式进行扩充，对待滤波图像块进行扩充。具体的，在实际滤波过程 中，使用与训练图像的分块方式相同的分块方式，对待滤波图像进行划分，得到N个待滤 波图像块。针对N个待滤波图像块中的每一个待滤波图像块，使用与训练图像块相同的扩 充方式，对待滤波图像块向外进行扩充，得到扩充后的待滤波图像块。接着，将扩充后的待滤波图像块输入基于神经网络的滤波器中进行滤波，得到该扩充后的待滤波图像块的滤波后的扩充图像块。由于该滤波后的扩充图像块与待滤波图像块的大小不一致，因此，对滤波后的扩充图像块进行裁剪，具体是，将滤波后的扩充图像块中待滤波图像块对应的图像区域，确定为该待滤波图像块的滤波后图像块。根据上述步骤，可以确定出N个待滤波 图像块中每个待滤波图像块的滤波后图像块，这N个待滤波图像块的滤波后图像块进行拼接，得到最终的滤波后图像。
本申请实施例对训练图像块的具体扩充方式不做限制。
在一些实施例中，训练图像块的扩充方式包括对训练图像块的至少一个边界区域向外 进行扩充，此时，S803-A1中根据训练图像块的扩充方式对待滤波图像块进行扩充，得到 扩充后的待滤波图像块包括：对待滤波图像块的至少一个边界区域向外进行扩充，得到扩 充后的待滤波图像块。
在一些示例中，如图12A所示，在基于神经网络的滤波器的训练过程中，将训练图像 块的四周向外进行扩充，并使用扩充后的训练图像块对基于神经网络的滤波器进行训练。
在一种可能的实现方式中，若基于神经网络的滤波器是通过有监督的训练方法训练得 到时，则上述训练图像包括输入图像和目标图像，其中目标图像可以理解为监督图像。在 具体的训练过程中，如图12B所示，将输入图像的一个CTU确定为一个输入图像块，对该输入图像块的四周向外进行扩充，得到扩充后的输入图像块。如图12C所示，将目标图 像的一个CTU确定为一个目标图像块，对该目标图像块的四周向外进行扩充，得到扩充 后的目标图像块。接着，将扩充后的输入图像块输入基于神经网络的滤波器中进行滤波， 得到该扩充后的输入图像块对应的滤波图像块。将该扩充后的输入图像块的滤波图像块与 扩充后的目标图像块进行比较，计算损失，并根据该损失对该基于神经网络的滤波器的参 数进行调整。接着，参照上述方法，继续以下一个匹配对中的扩充后的输入图像块作为输 入，以下一个匹配对中的扩充后的目标图像块为目标，对该基于神经网络的滤波器进行训 练，得到训练好的基于神经网络的滤波器。
由上述可知，在该示例中，上述基于神经网络的滤波器在训练过程中，将训练图像中 的一个CTU确定为一个训练图像块，并对训练图像块的四周向外进行扩充，得到扩充后的训练图像块。对应的，在实际滤波过程中，如图12D所示，将待滤波图像中的一个CTU 确定为一个待滤波图像块，接着，使用上述训练图像块的扩充方式，对待滤波图像块的四 周向外进行扩充，得到扩充后的待滤波图像块，接着，将扩充后的待滤波图像块输入基于 神经网络的滤波器中进行滤波，得到滤波后的扩充图像块，再将滤波后的扩充图像块中待 滤波图像块对应的图像区域，确定为待滤波图像块的滤波后图像块。
在一些示例中，如图13A所示，在基于神经网络的滤波器的训练过程中，将训练图像 块的左边界、上边界向外进行扩充，并使用扩充后的训练图像块对基于神经网络的滤波器 进行训练。
在一种可能的实现方式中，若基于神经网络的滤波器是通过有监督的训练方法训练得 到时，则上述训练图像包括输入图像和目标图像，其中目标图像可以理解为监督图像。在 具体的训练过程中，如图13B所示，将输入图像的一个CTU确定为一个输入图像块，对该输入图像块的左边界、上边界向外进行扩充，得到扩充后的输入图像块。如图13C所示，将目标图像的一个CTU确定为一个目标图像块，对该目标图像块的左边界、上边界向外 进行扩充，得到扩充后的目标图像块。接着，将扩充后的输入图像块输入基于神经网络的 滤波器中进行滤波，得到该扩充后的输入图像块对应的滤波图像块。将该扩充后的输入图 像块的滤波图像块与扩充后的目标图像块进行比较，计算损失，并根据该损失对该基于神 经网络的滤波器的参数进行调整。接着，参照上述方法，继续以下一个匹配对中的扩充后 的输入图像块作为输入，以下一个匹配对中的扩充后的目标图像块为目标，对该基于神经 网络的滤波器进行训练，得到训练好的基于神经网络的滤波器。
由上述可知，在该示例中，上述基于神经网络的滤波器在训练过程中，将训练图像中 的一个CTU确定为一个训练图像块，并对训练图像块的左边界、上边界向外进行扩充，得到扩充后的训练图像块。对应的，在实际滤波过程中，如图13D所示，将待滤波图像中 的一个CTU确定为一个待滤波图像块，接着，使用上述训练图像块的扩充方式，对待滤 波图像块的左边界、上边界向外进行扩充，得到扩充后的待滤波图像块，接着，将扩充后 的待滤波图像块输入基于神经网络的滤波器中进行滤波，得到滤波后的扩充图像块，再将 滤波后的扩充图像块中待滤波图像块对应的图像区域，确定为待滤波图像块的滤波后图像 块。
在一些示例中，训练图像块的扩充方式还包括对训练图像块的其他边界向外进行扩 充，本申请实施例对此不做限制。
在一些实施例中，为了进一步提高基于神经网络的滤波器的滤波效果，在训练过程中， 除了输入了输入图像块，还输入该输入图像块的参考图像块。为了保持实际滤波过程与训 练过程的一致，则上述S803包括如下S803-B1至S803-B3的步骤：
S803-B1、针对N个待滤波图像块中的每一个待滤波图像块，确定待滤波图像块的参 考图像块；
S803-B2、将待滤波图像块，以及待滤波图像块的参考图像块，输入基于神经网络的 滤波器中进行滤波，得到待滤波图像块的滤波后图像块。
本申请实施例中，若基于神经网络的滤波器在训练过程中，输入信息包括输入图像块 和该输入图像块的参考图像块时，则在实际滤波过程中，输入信息除了包括待滤波图像块 外，还包括该待滤波图像块的参考图像块。
本申请实施例对上述确定待滤波图像块的参考图像块的方式不做限制。
在一些实施例中，待滤波图像块的参考图像块的确定方式，与训练图像块的参考图像 块的确定方式不相同。
在一些实施例中，待滤波图像块的参考图像块的确定方式，与输入图像块的参考图像 块的确定方式相同。此时，上述S803-B1中确定待滤波图像块的参考图像块包括如下S803-B11和S803-B12的步骤：
S803-B11、获取输入图像块的参考图像块的确定方式，该确定方式用于根据输入图像 块的空域或时域信息，确定对应的参考图像块；
S803-B12、根据输入图像块的参考图像块的确定方式，确定待滤波图像块的参考图像 块。
本申请实施例中，输入图像块的参考图像块的确定方式可以从该基于神经网络的滤波 器的文件中读取。在一些实施例中，若基于神经网络的滤波器的训练设备与实际滤波设备 为同一设备时，则该设备上保存有输入图像块的参考图像块的确定方式。
在获取输入图像块的参考图像块的确定方式后，使用输入图像块的参考图像块的确定 方式，确定待滤波图像块的参考图像块。也就是说，本申请实施例中，待滤波图像块的参 考图像块的确定方式与输入图像块的参考图像块的确定方式一致。
本申请实施例对参考图像块的具体类型不做限制。
在一些实施例中，若输入图像块的参考图像块包括输入图像块的时域参考图像块和空 域参考图像块中的至少一个时，则待滤波图像块的参考图像块包括待滤波图像块的时域参 考图像块和空域参考图像块中的至少一个。
其中，空域参考块可以选择当前输入图像块固定相对位置的图像区域，即输入图像块 的空域参考块与输入图像块处于同一帧，即均处于输入图像。
时域参考块与空域参考块的区别在于，时域参考块与当前输入图像块处于不同帧，其 中时域参考块的参考位置可以选择与当前输入图像相同空间位置的参考块。
本申请实施例中，待滤波图像块的参考图像块的类型与输入图像块的参考图像块的类 型相同。
示例1，若输入图像块的参考图像块包括空域参考图像块，则待滤波图像块的参考图 像块也包括空域参考图像块。此时，上述S803-B12包括如下步骤：
S803-B12-A、根据输入图像块的空域参考图像块的确定方式，确定待滤波图像块的空 域参考图像块。
在该示例中，若输入图像块的参考图像块包括空域参考图像块时，则根据输入图像块 的空域参考图像块的确定方式，确定待滤波图像块的空域参考图像块，进而实现对待滤波 图像块的空域参考图像块的准确确定。
在一种可能的实现方式中，可以使用输入图像块的空域参考图像块的确定方式，确定 待滤波图像块的空域参考图像块，进而保证了基于神经网络的滤波器在训练过程与实际滤 波过程的输入信息保持一致，提升基于神经网络的滤波器的滤波性能。
本申请实施例对空域参考图像块的具体类型不做限制。
在一些实施例中，若输入图像块的空域参考图像块包括输入图像中位于输入图像块的 左上方图像块、左侧图像块和上方图像块中的至少一个时，则待滤波图像块的空域参考图 像块包括待滤波图像中位于该待滤波图像块的左上方图像块、左侧图像块和上方图像块中 的至少一个。此时，S803-B12-A包括将待滤波图像中位于待滤波图像块的左上方图像块、 左侧图像块和上方图像块中的至少一个，确定为待滤波图像块的空域参考图像块。
例如，图14A所示，若输入图像块的空域参考图像块包括输入图像中位于输入图像块 的左上方图像块，则如图14B所示，将待滤波图像中位于所述待滤波图像块的左上方图像 块，确定为待滤波图像的空域参考图像块。
再例如，图15A所示，若输入图像块的空域参考图像块包括输入图像中位于输入图像 块的左侧图像块，则如图15B所示，将待滤波图像中位于待滤波图像块的左侧图像块，确定为待滤波图像的空域参考图像块。
再例如，图16A所示，若输入图像块的空域参考图像块包括输入图像中位于输入图像 块的上方图像块，则如图16B所示，将待滤波图像中位于待滤波图像块的上方图像块，确定为待滤波图像的空域参考图像块。
再例如，图17A所示，若输入图像块的空域参考图像块包括输入图像中位于输入图像 块的左上方图像块、左侧图像块和上方图像块，则如图17B所示，将待滤波图像中位于待滤波图像块的左上方图像块、左侧图像块和上方图像块，确定为待滤波图像的空域参考图像块。
本申请实施例中，为了进一步提升滤波效果，在训练过程中，除了输入了输入图像块 外，还输入该输入图像块的空域参考图像块，以提升基于神经网络的滤波器的滤波效果。 这样在实际滤波过程中，为了保持实际滤波过程与训练过程中输入信息的一致性，则采用 与输入图像块的空域参考图像块的确定方式相同的确定方式，确定待滤波图像块的空域参 考图像块，进而将待滤波图像块以及待滤波图像块的空域参考图像块输入该基于神经网络 的滤波器中，实现对待滤波图像的滤波效果。
示例2，若输入图像块的参考图像块包括时域参考图像块，则待滤波图像块的参考图 像块也包括时域参考图像块。此时，上述S803-B12包括如下步骤：
S803-B12-B、根据输入图像块的时域参考图像块的确定方式，确定待滤波图像块的时 域参考图像块。
在该示例中，若输入图像块的参考图像块包括时域参考图像块时，则根据输入图像块 的时域参考图像块的确定方式，确定待滤波图像块的时域参考图像块，进而实现对待滤波 图像块的时域参考图像块的准确确定。
在一种可能的实现方式中，可以使用输入图像块的时域参考图像块的确定方式，确定 待滤波图像块的时域参考图像块，进而保证了基于神经网络的滤波器在训练过程与实际滤 波过程的输入信息保持一致，提升基于神经网络的滤波器的滤波性能。
在一些实施例中，S803-B12-B包括：确定待滤波图像的参考图像；将待滤波图像的参考图像中待滤波图像块对应位置处的图像块，确定为待滤波图像块的时域参考图像块。
例如，图18A和图18B所示，输入图像块的时域参考图像块为输入图像的参考图像中，与输入图像块对应位置处的图像块。也就是说，输入图像块的时域参考图像块在输入图像的参考图像中的位置，与输入图像块在输入图像中的位置一致。此时，如图18C和图18D所示，确定待滤波图像块的时域参考图像块的过程是，首先确定该滤波图像的参考图像，将该滤波图像的参考图像中待滤波图像块对应位置处的图像块，确定为待滤波图像块的时域参考图像块。
本申请实施例对参考图像的类型不做限制，例如本申请实施例的方法应用于编码端 时，则上述待滤波图像的参考图像可以为任一已编码图像，若本申请实施例的方法应用于 解码端时，则上述待滤波图像的参考图像可以为任一已解码图像。
本申请实施例中，为了进一步提升滤波效果，在训练过程中，除了输入了输入图像块 外，还输入该输入图像块的时域参考图像块，以提升基于神经网络的滤波器的滤波效果。 这样在实际滤波过程中，为了保持实际滤波过程与训练过程中输入信息的一致性，则采用 与输入图像块的时域参考图像块的确定方式相同的确定方式，确定待滤波图像块的时域参 考图像块，进而将待滤波图像块以及待滤波图像块的时域参考图像块输入该基于神经网络 的滤波器中，实现对待滤波图像的滤波效果。
在一些实施例后，若输入图像块的参考图像块包括空域参考图像块和时域参考图像块 时，则待滤波图像块的参考图像块也包括空域参考图像块和时域参考图像块，其中，待滤 波图像块的空域参考图像块和时域参考图像块的确定过程，参照上述空域参考图像块和时 域参考图像块的确定过程，在此不再赘述。
根据上述方法，使用基于神经网络的滤波器，对N个待滤波图像块分别进行滤波，得 到滤波后图像。
在一些实施例中，本申请实施例的滤波方法可应用于环路滤波模块中，此时，本申请 实施例的方法还包括基于该滤波后图像生成用于预测的参考图像，并将生成的参考图像存 入缓存解码，以作为后续解码图像的参考图像。其中，基于该滤波后图像生成参考图像的 方式可以是，将该滤波图像直接作为参考图像，或者对该滤波图像进行再处理，例如进行 其他方式的滤波等处理，将再处理后的图像作为参考图像。可选的，该滤波后图像还可以 被显示设备显示。
在一些实施例中，本申请实施例的方法还可以应用于视频后处理，即基于该滤波后图 像生成显示图像，并将生成的显示图像输入显示设备进行显示，且跳过将该滤波后图像或 该滤波后图像的再处理图像存入解码缓存。也就是说，本申请实施例中，上述基于滤波后 图像生成显示图像输入显示设备进行显示，但是不作为参考图像存入解码缓存。示例性的， 通过解码视频确定出当前图像的重建图像后，将该重建图像作为参考图像存入解码缓存， 或者使用传统的环路滤波方法，例如使用DBF、SAO和ALF等至少一个滤波器，对该重建图像进行滤波，且将滤波后的图像作为参考图像，存储解码缓存。接着，将上述重建图 像作为待滤波图像，通过本申请实施例的方法，使用基于神经网络的滤波器对该重建图像 进行滤波，得到滤波后图像，基于该滤波后图像生成显示图像，将该显示图像输入显示设 备进行显示。
在一些实施例中，上述待滤波后图像还可以通DBF、SAO和ALF等至少一个滤波器再进行滤波。
在一些实施例中，本申请实施例的待滤波图像可以是经过DBF、SAO和ALF等至少一个滤波器滤波后的图像，接着，再通过本申请实施例的方法，使用基于神经网络的滤波器，对该滤波后的图像再进行滤波。
本申请实施例提供的图像滤波方法，通过获取待滤波图像；确定基于神经网络的滤波 器，并根据与基于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式， 对待滤波图像进行划分，得到N个待滤波图像块，N为正整数；使用基于神经网络的滤波 器，对N个待滤波图像块分别进行滤波，得到滤波后图像。即本申请实施例中，通过将基于神经网络的滤波器在实际使用过程中的分块方式，与在训练时所使用的分块方式保持一致，以使得基于神经网络的滤波器发挥出最佳滤波性能，进而提高了图像的滤波效果。
图19为本申请一实施例提供的图像滤波方法流程示意图。图19可以理解为上述图8 所示的滤波方法的一具体实施例。
如图19所示，本申请实施例的图像滤波方法包括：
S901、获取待滤波图像。
对于非视频编解码场景，该待滤波图像可以为图像采集设备采集得到，或者为图像绘 制装置绘制而成等。
对于视频编解码场景，则该待滤波图像可以为重建图像。
上述S901的具体实现方式参照上述S801的描述，在此不再赘述。
S902、确定基于神经网络的滤波器，并根据与基于神经网络的滤波器在训练过程中所 使用的训练图像的相同的分块方式，对待滤波图像进行划分，得到N个待滤波图像块，N 为正整数。
例如，基于神经网络的滤波器在训练过程中用的训练图像的分块方式为将训练图像中 的一个CTU确定为一个训练图像块，这样，在实际滤波时，将待滤波图像的一个CTU确定为一个待滤波图像块，得到N个待滤波图像块。
上述S902的具体实现方式参照上述S802的描述，在此不再赘述。
S903、针对N个待滤波图像块中的每一个待滤波图像块，根据输入图像块的参考图像块的确定方式，确定待滤波图像块的参考图像块。
本申请实施例中，待滤波图像块的参考图像块的确定方式与输入图像块的参考图像块 的确定方式一致。
在一些实施例中，若输入图像块的参考图像块包括输入图像块的时域参考图像块和空 域参考图像块中的至少一个时，则待滤波图像块的参考图像块包括待滤波图像块的时域参 考图像块和空域参考图像块中的至少一个。
上述S903的具体实现方式参照上述S803-B12的描述，在此不再赘述。
S904、将待滤波图像块，以及待滤波图像块的参考图像块，输入基于神经网络的滤波 器中进行滤波，得到滤波后图像。
本申请实施例中，为了进一步提升滤波效果，在训练过程中，除了输入了输入图像块 外，还输入该输入图像块的参考图像块，以提升基于神经网络的滤波器的滤波效果。这样 在实际滤波过程中，为了保持实际滤波过程与训练过程中输入信息的一致性，则采用与输 入图像块的参考图像块的确定方式相同的确定方式，确定待滤波图像块的参考图像块，进 而将待滤波图像块以及待滤波图像块的参考图像块输入该基于神经网络的滤波器中，实现 对待滤波图像的滤波效果。
本申请实施例提供的图像滤波方法，通过与基于神经网络的滤波器在训练过程中所使 用的训练图像的相同的分块方式，对待滤波图像进行划分，得到N个待滤波图像块；针对 N个待滤波图像块中的每一个待滤波图像块，根据输入图像块的参考图像块的确定方式， 确定待滤波图像块的参考图像块；将待滤波图像块，以及待滤波图像块的参考图像块，输 入基于神经网络的滤波器中进行滤波，得到滤波后图像。即本申请实施例中，通过将基于 神经网络的滤波器在实际使用过程中的分块方式，与在训练时所使用的分块方式保持一 致，且将输入图像块的参考图像块的确定方式，与待滤波图像块的参考图像块的确定方式 保持一致，以进一步提高基于神经网络的滤波器的滤波效果。
应理解，图8至图19仅为本申请的示例，不应理解为对本申请的限制。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方 式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变 型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个 具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要 的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施 方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公 开的内容。
还应理解，在本申请的各种方法实施例中，上述各过程的序号的大小并不意味着执行 顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实 施过程构成任何限定。另外，本申请实施例中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。具体地，A和/或B可以表示：单独存在A，同 时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对 象是一种“或”的关系。
上文结合图8至图19，详细描述了本申请的方法实施例，下文结合图20至图21， 详细描述本申请的装置实施例。
图20是本申请一实施例提供的图像滤波装置的示意性框图。该装置10可以为电子设备或者为电子设备中的一部分。
如图20所示，图像滤波装置10可包括：
获取单元11，用于获取待滤波图像；
划分单元12，用于确定基于神经网络的滤波器，并根据与所述基于神经网络的滤波 器在训练过程中所使用的训练图像的相同的分块方式，对所述待滤波图像进行划分，得到 N个待滤波图像块，所述N为正整数；
滤波单元13，用于使用所述基于神经网络的滤波器，对所述N个待滤波图像块分别进行滤波，得到滤波后图像。
在一些实施例中，若所述训练图像的分块方式包括将所述训练图像中的M个编码树 单元CTU确定为一个训练图像块，所述M为正整数时，则划分单元12，具体用于将所述 待滤波图像中的M个CTU确定为一个待滤波图像块，得到所述N个待滤波图像块。
在一些实施例中，若所述训练图像的分块方式包括将所述训练图像中的P个残缺编码 树单元CTU确定为一个训练图像块，所述P为正整数时，则划分单元12，具体用于将所述待滤波图像中的P个残缺CTU确定为一个待滤波图像块，得到所述N个待滤波图像块。
在一些实施例中，若所述基于神经网络的滤波器是经过所述训练图像块的扩充图像块 训练得到时，则滤波单元13，具体用于针对所述N个待滤波图像块中的每一个待滤波图 像块，根据所述训练图像块的扩充方式对所述待滤波图像块进行扩充，得到扩充后的待滤 波图像块；使用所述基于神经网络的滤波器，对所述扩充后的待滤波图像块进行滤波，得 到滤波后的扩充图像块；将所述滤波后的扩充图像块中所述待滤波图像块对应的图像区 域，确定为所述待滤波图像块的滤波后图像块。
在一些实施例中，若所述训练图像块的扩充方式包括对所述训练图像块的至少一个边 界区域向外进行扩充，则滤波单元12，具体用于对所述待滤波图像块的至少一个边界区 域向外进行扩充，得到所述扩充后的待滤波图像块。
在一些实施例中，所述训练图像包括输入图像和所述输入图像对应的目标图像，所述 基于神经网络的滤波器是以输入图像块为输入，以目标图像块为目标进行训练得到，所述 输入图像块是通过所述训练图像的分块方式对所述输入图像进行图像划分得到，所述目标 图像块是通过所述训练图像的分块方式对所述目标图像进行图像划分得到。
在一些实施例中，若所述基于神经网络的滤波器在训练时还输入所述输入图像块的参 考图像块时，则滤波单元13，具体用于针对所述N个待滤波图像块中的每一个待滤波图 像块，确定所述待滤波图像块的参考图像块；将所述待滤波图像块，以及所述待滤波图像 块的参考图像块，输入所述基于神经网络的滤波器中进行滤波，得到所述待滤波图像块的 滤波后图像块。
在一些实施例中，滤波单元13，具体用于获取所述输入图像块的参考图像块的确定 方式，所述确定方式用于根据所述输入图像块的空域或时域信息，确定对应的参考图像块； 根据所述输入图像块的参考图像块的确定方式，确定所述待滤波图像块的参考图像块。
在一些实施例中，若所述输入图像块的参考图像块包括所述输入图像块的时域参考图 像块和空域参考图像块中的至少一个时，则所述待滤波图像块的参考图像块包括所述待滤 波图像块的时域参考图像块和空域参考图像块中的至少一个。
在一些实施例中，若所述输入图像块的参考图像块也包括所述输入图像块的空域参考 图像块时，则滤波单元13，具体用于根据所述输入图像块的空域参考图像块的确定方式， 确定所述待滤波图像块的空域参考图像块。
在一些实施例中，若所述输入图像块的空域参考图像块包括所述输入图像中位于所述 输入图像块的左上方图像块、左侧图像块和上方图像块中的至少一个时，则滤波单元13， 具体用于将所述待滤波图像中位于所述待滤波图像块的左上方图像块、左侧图像块和上方 图像块中的至少一个，确定为所述待滤波图像块的空域参考图像块。
在一些实施例中，若所述输入图像块的参考图像块也包括所述输入图像块的时域参考 图像块时，则滤波单元13，具体用于根据所述输入图像块的时域参考图像块的确定方式， 确定所述待滤波图像块的时域参考图像块。
在一些实施例中，所述输入图像块的时域参考图像块包括所述输入图像的参考图像中 所述输入图像块对应位置处的图像块，则滤波单元13，具体用于确定所述待滤波图像的 参考图像；将所述待滤波图像的参考图像中所述待滤波图像块对应位置处的图像块，确定 为所述待滤波图像块的时域参考图像块。
在一些实施例中，获取单元11，具体用于对当前图像进行重建，得到所述当前图像的重建图像；将所述重建图像，确定为所述待滤波图像。
在一些实施例中，滤波单元13，还用于基于所述滤波后图像生成用于预测的参考图 像，存入解码缓存中。
在一些实施例中，滤波单元13，还用于基于所述滤波后图像生成显示图像，并将所述显示图像输入显示设备进行显示，且跳过将所述滤波后图像或者所述滤波后图像的再处理图像存入解码缓存。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施 例。为避免重复，此处不再赘述。具体地，图20所示的装置可以执行上述方法的实施例， 并且装置中的各个模块的前述和其它操作和/或功能分别为了实现上述方法实施例，为了 简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块 可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组 合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成 逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现 为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选 地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可 编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取 存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图21是本申请实施例提供的电子设备的示意性框图，该电子设备用于执行上述方法 实施例。
如图21所示，该电子设备30可包括：
存储器31和处理器32，该存储器31用于存储计算机程序33，并将该程序代码33传输给该处理器32。换言之，该处理器32可以从存储器31中调用并运行计算机程序33， 以实现本申请实施例中的方法。
例如，该处理器32可用于根据该计算机程序33中的指令执行上述方法步骤。
在本申请的一些实施例中，该处理器32可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件等等。
在本申请的一些实施例中，该存储器31包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可 擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器 (Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形 式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储 器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、 双倍数据速率同步动态随机存取存储器(DoubleData Rate SDRAM，DDR SDRAM)、增 强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取 存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序33可以被分割成一个或多个模块，该一个 或者多个模块被存储在该存储器31中，并由该处理器32执行，以完成本申请提供的录制页面的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序33在该电子设备中的执行过程。
如图21所示，该电子设备30还可包括：
收发器34，该收发器34可连接至该处理器32或存储器31。
其中，处理器32可以控制该收发器34与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器34可以包括发射机和接 收机。收发器34还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备30中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
根据本申请的一个方面，提供了一种计算机存储介质，其上存储有计算机程序，该计 算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。
本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计 算机执行上述方法实施例的方法。
根据本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序 产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设 备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该 电子设备执行上述方法实施例的方法。
换言之，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计 算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时， 全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用 计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介 质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算 机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、 数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向 另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计 算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等 数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid statedisk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及 算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以 硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可 以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本 申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通 过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示 或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件 可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元 上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如， 在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独 物理存在，也可以两个或两个以上模块集成在一个模块中。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟 悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖 在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (17)

1.一种图像滤波方法，其特征在于，包括：
获取待滤波图像；
确定基于神经网络的滤波器；
根据与所述基于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式，对所述待滤波图像进行划分，得到N个待滤波图像块，所述N为正整数；
使用所述基于神经网络的滤波器，对所述N个待滤波图像块分别进行滤波，得到滤波后图像。
2.根据权利要求1所述的方法，其特征在于，若所述训练图像的分块方式包括将所述训练图像中的M个编码树单元CTU确定为一个训练图像块，所述M为正整数时，则所述根据与所述基于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式，对所述待滤波图像进行划分，得到N个待滤波图像块，包括：
将所述待滤波图像中的M个CTU确定为一个待滤波图像块，得到所述N个待滤波图像块。
3.根据权利要求1所述的方法，其特征在于，若所述训练图像的分块方式包括将所述训练图像中的P个残缺编码树单元CTU确定为一个训练图像块，所述P为正整数时，则所述根据与所述基于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式，对所述待滤波图像进行划分，得到N个待滤波图像块，包括：
将所述待滤波图像中的P个残缺CTU确定为一个待滤波图像块，得到所述N个待滤波图像块。
4.根据权利要求2或3所述的方法，其特征在于，若所述基于神经网络的滤波器是经过所述训练图像块的扩充图像块训练得到时，则所述使用所述基于神经网络的滤波器，对所述N个待滤波图像块分别进行滤波，得到滤波图像，包括：
针对所述N个待滤波图像块中的每一个待滤波图像块，根据所述训练图像块的扩充方式对所述待滤波图像块进行扩充，得到扩充后的待滤波图像块；
使用所述基于神经网络的滤波器，对所述扩充后的待滤波图像块进行滤波，得到滤波后的扩充图像块；
将所述滤波后的扩充图像块中所述待滤波图像块对应的图像区域，确定为所述待滤波图像块的滤波后图像块。
5.根据权利要求4所述的方法，其特征在于，若所述训练图像块的扩充方式包括对所述训练图像块的至少一个边界区域向外进行扩充，则所述根据所述训练图像块的扩充方式对所述待滤波图像块进行扩充，得到扩充后的待滤波图像块，包括：
对所述待滤波图像块的至少一个边界区域向外进行扩充，得到所述扩充后的待滤波图像块。
6.根据权利要求1-3、5任一项所述的方法，其特征在于，所述训练图像包括输入图像和所述输入图像对应的目标图像，所述基于神经网络的滤波器是以输入图像块为输入，以目标图像块为目标进行训练得到，所述输入图像块是通过所述训练图像的分块方式对所述输入图像进行图像划分得到，所述目标图像块是通过所述训练图像的分块方式对所述目标图像进行图像划分得到。
7.根据权利要求6所述的方法，其特征在于，若所述基于神经网络的滤波器在训练时还输入所述输入图像块的参考图像块时，则所述使用所述基于神经网络的滤波器，对所述N个待滤波图像块分别进行滤波，得到滤波后图像，包括：
针对所述N个待滤波图像块中的每一个待滤波图像块，确定所述待滤波图像块的参考图像块；
将所述待滤波图像块，以及所述待滤波图像块的参考图像块，输入所述基于神经网络的滤波器中进行滤波，得到所述待滤波图像块的滤波后图像块。
8.根据权利要求7所述的方法，其特征在于，所述确定所述待滤波图像块的参考图像块，包括：
获取所述输入图像块的参考图像块的确定方式，所述确定方式用于根据所述输入图像块的空域或时域信息，确定对应的参考图像块；
根据所述输入图像块的参考图像块的确定方式，确定所述待滤波图像块的参考图像块。
9.根据权利要求8所述的方法，其特征在于，若所述输入图像块的参考图像块包括所述输入图像块的时域参考图像块和空域参考图像块中的至少一个时，则所述待滤波图像块的参考图像块包括所述待滤波图像块的时域参考图像块和空域参考图像块中的至少一个。
10.根据权利要求9所述的方法，其特征在于，若所述输入图像块的参考图像块也包括所述输入图像块的空域参考图像块时，则所述根据所述输入图像块的参考图像块的确定方式，确定所述待滤波图像块的参考图像块，包括：
根据所述输入图像块的空域参考图像块的确定方式，确定所述待滤波图像块的空域参考图像块。
11.根据权利要求10所述的方法，其特征在于，若所述输入图像块的空域参考图像块包括所述输入图像中位于所述输入图像块的左上方图像块、左侧图像块和上方图像块中的至少一个时，则所述根据所述输入图像块的空域参考图像块的确定方式，确定所述待滤波图像块的空域参考图像块，包括：
将所述待滤波图像中位于所述待滤波图像块的左上方图像块、左侧图像块和上方图像块中的至少一个，确定为所述待滤波图像块的空域参考图像块。
12.根据权利要求9所述的方法，其特征在于，若所述输入图像块的参考图像块也包括所述输入图像块的时域参考图像块时，则所述根据所述输入图像块的参考图像块的确定方式，确定所述待滤波图像块的参考图像块，包括：
根据所述输入图像块的时域参考图像块的确定方式，确定所述待滤波图像块的时域参考图像块。
13.根据权利要求12所述的方法，其特征在于，所述输入图像块的时域参考图像块包括所述输入图像的参考图像中所述输入图像块对应位置处的图像块，则所述根据所述输入图像块的时域参考图像块的确定方式，确定所述待滤波图像块的时域参考图像块，包括：
确定所述待滤波图像的参考图像；
将所述待滤波图像的参考图像中所述待滤波图像块对应位置处的图像块，确定为所述待滤波图像块的时域参考图像块。
14.根据权利要求1-3任一项所述的方法，其特征在于，所述获取待滤波图像，包括：
对当前图像进行重建，得到所述当前图像的重建图像；
将所述重建图像，确定为所述待滤波图像。
15.一种图像滤波装置，其特征在于，包括：
获取单元，用于获取待滤波图像；
划分单元，用于确定基于神经网络的滤波器，并根据与所述基于神经网络的滤波器在训练过程中所使用的训练图像的相同的分块方式，对所述待滤波图像进行划分，得到N个待滤波图像块，所述N为正整数；
滤波单元，用于使用所述基于神经网络的滤波器，对所述N个待滤波图像块分别进行滤波，得到滤波后图像。
16.一种电子设备，其特征在于，所述电子设备用于执行如权利要求1至14任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至14中任一项所述的方法。
CN202210551039.7A 2022-05-18 2022-05-18 图像滤波方法、装置及设备 Pending CN117151986A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210551039.7A CN117151986A (zh) 2022-05-18 2022-05-18 图像滤波方法、装置及设备
PCT/CN2023/079134 WO2023221599A1 (zh) 2022-05-18 2023-03-01 图像滤波方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210551039.7A CN117151986A (zh) 2022-05-18 2022-05-18 图像滤波方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117151986A true CN117151986A (zh) 2023-12-01

Family

ID=88834537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210551039.7A Pending CN117151986A (zh) 2022-05-18 2022-05-18 图像滤波方法、装置及设备

Country Status (2)

Country Link
CN (1) CN117151986A (zh)
WO (1) WO2023221599A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108184129B (zh) * 2017-12-11 2020-01-10 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络
CN110351568A (zh) * 2019-06-13 2019-10-18 天津大学 一种基于深度卷积网络的视频环路滤波器
CN111741300B (zh) * 2020-05-28 2023-03-07 杭州师范大学 一种视频处理方法
CN114025164A (zh) * 2021-09-30 2022-02-08 浙江大华技术股份有限公司 图像编码方法、图像解码方法、编码器以及解码器
CN114501012B (zh) * 2021-12-31 2024-06-11 浙江大华技术股份有限公司 图像滤波、编解码方法以及相关设备

Also Published As

Publication number Publication date
WO2023221599A9 (zh) 2024-01-25
WO2023221599A1 (zh) 2023-11-23

Similar Documents

Publication Publication Date Title
KR102431537B1 (ko) 루마 및 크로마 성분에 대한 ibc 전용 버퍼 및 디폴트 값 리프레싱을 사용하는 인코더, 디코더 및 대응하는 방법들
US11405610B2 (en) Encoder, a decoder and corresponding methods for intra prediction
WO2017071480A1 (zh) 参考帧编解码的方法与装置
US10887622B2 (en) Division-free bilateral filter
US20220295071A1 (en) Video encoding method, video decoding method, and corresponding apparatus
CN113545063A (zh) 使用线性模型进行帧内预测的方法及装置
CN113785573A (zh) 编码器、解码器和使用自适应环路滤波器的对应方法
WO2019010305A1 (en) REMOVING COLOR FOR VIDEO CONTENT OF FORMAT NO 4: 4: 4
CN114205582B (zh) 用于视频编解码的环路滤波方法、装置及设备
US20240236371A1 (en) Video encoding method, video decoding method, device, system, and storage medium
CN113748677A (zh) 编码器、解码器及对应的帧内预测方法
CN115349257B (zh) 基于dct的内插滤波器的使用
US11838508B2 (en) Apparatus and method for chrominance quantization parameter derivation
US20210377564A1 (en) Method and apparatus of intra prediction mode signaling
CN113938679A (zh) 图像类型的确定方法、装置、设备及存储介质
CN115086664A (zh) 未匹配像素的解码方法、编码方法、解码器以及编码器
CN117151986A (zh) 图像滤波方法、装置及设备
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
CN116760976B (zh) 仿射预测决策方法、装置、设备及存储介质
RU2803063C2 (ru) Кодер, декодер и соответствующие способы, которые используются для процесса преобразования
RU2820991C1 (ru) Кодирующее устройство, декодирующее устройство и соответствующие способы уменьшения сложности при внутрикадровом прогнозировании для планарного режима
US20240236372A1 (en) Video encoding and decoding method, and device
RU2809192C2 (ru) Кодер, декодер и соответствующие способы межкадрового предсказания
WO2023122969A1 (zh) 帧内预测方法、设备、系统、及存储介质
CN116405701A (zh) 图像滤波方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication