CN111711824A - 视频编解码中的环路滤波方法、装置、设备及存储介质 - Google Patents

视频编解码中的环路滤波方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111711824A
CN111711824A CN202010603973.XA CN202010603973A CN111711824A CN 111711824 A CN111711824 A CN 111711824A CN 202010603973 A CN202010603973 A CN 202010603973A CN 111711824 A CN111711824 A CN 111711824A
Authority
CN
China
Prior art keywords
frame
residual
data
fusion
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010603973.XA
Other languages
English (en)
Other versions
CN111711824B (zh
Inventor
朱晗
许晓中
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010603973.XA priority Critical patent/CN111711824B/zh
Publication of CN111711824A publication Critical patent/CN111711824A/zh
Application granted granted Critical
Publication of CN111711824B publication Critical patent/CN111711824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种视频编解码中的环路滤波方法、装置、设备及存储介质，涉及视频编解码技术领域。所述方法包括：获取视频中当前帧对应的重建帧和残差分布信息，该残差分布信息是指影响或反映残差信号数据分布的信息；对重建帧和残差分布信息进行融合处理，得到融合数据；通过环路滤波模型对融合数据进行滤波处理，得到滤波后的重建帧。本申请通过在环路滤波模型的输入数据中加入能影响或反映残差信号数据分布的信息，使得模型能更好的学习量化后残差到量化前残差的映射(模拟量化反过程)，从而恢复或缓解不同程度的量化损失，能够针对影响编码损失程度的因素设计模型，提升环路滤波模型对量化损失程度的敏感性，从而提升模型的滤波质量。

Description

视频编解码中的环路滤波方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频编解码技术领域，特别涉及一种视频编解码中的环路滤波方法、装置、设备及存储介质。
背景技术
近年来，随着深度学习技术的发展，已经有不少研究尝试采用深度学习模型替代传统视频编码框架中的部分模块或提出基于深度学习的端到端编码框架，尤其是在环路滤波工具上，相比于传统滤波工具能明显提升编码性能。基于深度学习的环路滤波工具主要思路是通过神经网络学习重建图像到原始图像的映射关系，通常用来替换或帮助传统滤波工具修复有损编码带来的信息损失、抑制编码噪声，从而提升重建帧质量。
基于深度学习的环路滤波工具通常采用卷积神经网络学习重建图像到原始图像的映射关系，从而达到缓解或修复编码损失的目的。但目前基于深度学习的环路滤波工具在模型设计上并未充分考虑到影响编码损失程度的因素，导致滤波质量还有很明显的提升空间。
发明内容
本申请实施例提供了一种视频编解码中的环路滤波方法、装置、设备及存储介质，能够针对影响编码损失程度的因素设计模型，提升环路滤波模型对量化损失程度的敏感性，从而提升模型的滤波质量。所述技术方案如下：
一方面，本申请实施例提供了一种视频编解码中的环路滤波方法，所述方法包括：
获取视频中当前帧对应的重建帧和残差分布信息，所述残差分布信息是指影响或反映残差信号数据分布的信息；
对所述重建帧和所述残差分布信息进行融合处理，得到融合数据；
通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建帧。
另一方面，本申请实施例提供了一种环路滤波模型的训练方法，所述方法包括：
获取训练样本，所述训练样本的样本数据包括样本图像对应的重建图像和残差分布信息，所述训练样本的标签数据包括所述样本图像，所述残差分布信息是指影响或反映残差信号数据分布的信息；
对所述重建图像和所述残差分布信息进行融合处理，得到融合数据；
通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建图像；
基于所述滤波后的重建图像和所述标签数据，计算所述环路滤波模型对应的损失函数值；
基于所述损失函数值调整所述环路滤波模型的参数，对所述环路滤波模型进行训练。
另一方面，本申请实施例提供了一种视频编解码中的环路滤波装置，所述装置包括：
信息获取模块，用于获取视频中当前帧对应的重建帧和残差分布信息，所述残差分布信息是指影响或反映残差信号数据分布的信息；
信息融合模块，用于对所述重建帧和所述残差分布信息进行融合处理，得到融合数据；
滤波处理模块，用于通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建帧。
另一方面，本申请实施例提供了一种环路滤波模型的训练装置，所述装置包括：
样本获取模块，用于获取训练样本，所述训练样本的样本数据包括样本图像对应的重建图像和残差分布信息，所述训练样本的标签数据包括所述样本图像，所述残差分布信息是指影响或反映残差信号数据分布的信息；
信息融合模块，用于对所述重建图像和所述残差分布信息进行融合处理，得到融合数据；
滤波处理模块，用于通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建图像；
损失计算模块，用于基于所述滤波后的重建图像和所述标签数据，计算所述环路滤波模型对应的损失函数值；
参数调整模块，用于基于所述损失函数值调整所述环路滤波模型的参数，对所述环路滤波模型进行训练。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频编解码中的环路滤波方法。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述环路滤波模型的训练方法。
再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频编解码中的环路滤波方法。
再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述环路滤波模型的训练方法。
还一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频编解码中的环路滤波方法。
还一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述环路滤波模型的训练方法。
本申请实施例提供的技术方案可以包括如下有益效果：
考虑到无论是帧内预测还是帧间预测，无论帧间预测中参考帧的质量如何，主要区别都在于预测帧的质量，预测编码的准确程度直接影响了残差信号的分布，而压缩损失都来自于对残差信号进行量化，因此通过在环路滤波模型的输入数据中加入能影响或反映残差信号数据分布的信息，如预测帧信息或重建残差信息，使得模型能更好的学习量化后残差到量化前残差的映射(模拟量化反过程)，从而恢复或缓解不同程度的量化损失，能够针对影响编码损失程度的因素设计模型，提升环路滤波模型对量化损失程度的敏感性，从而提升模型的滤波质量。
附图说明
图1是本申请示例性示出的一种视频编码过程的基本流程图；
图2是本申请一个实施例提供的通信系统的简化框图；
图3是本申请示例性示出的视频编码器和视频解码器在流式传输环境中的放置方式的示意图；
图4是本申请一个实施例提供的视频编解码中的环路滤波方法的流程图；
图5至8是基于图4实施例提供的几种融合处理方式的示意图；
图9是本申请另一个实施例提供的视频编解码中的环路滤波方法的流程图；
图10是本申请一个实施例提供的量化参数图像的示意图；
图11至14是基于图9实施例提供的几种融合处理方式的示意图；
图15是本申请一个实施例提供的环路滤波模型的训练方法的流程图；
图16是本申请一个实施例提供的视频编解码中的环路滤波装置的框图；
图17是本申请一个实施例提供的环路滤波模型的训练装置的框图；
图18是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行介绍说明之前，首先结合图1对视频编码技术进行简单介绍。图1示例性示出了一种视频编码过程的基本流程图。
视频信号是指包括多个帧的图像序列。帧(frame)是视频信号空间信息的表示。以YUV模式为例，一个帧包括一个亮度样本矩阵(Y)和两个色度样本矩阵(Cb和Cr)。从视频信号的获取方式来看，可以分为摄像机拍摄到的以及计算机生成的两种方式。由于统计特性的不同，其对应的压缩编码方式也可能有所区别。
在一些主流的视频编码技术中，如H.265/HEVC(High Efficient Video Coding，高效率视频压缩编码)、H.266/VVC(Versatile Video Coding，通用视频编码)标准、AVS(Audio Video coding Standard，音视频编码标准)(如AVS3)中，采用了混合编码框架，对输入的原始视频信号进行如下一系列的操作和处理：
1、块划分结构(block partition structure)：输入图像划分成若干个不重叠的处理单元，每个处理单元将进行类似的压缩操作。这个处理单元被称作CTU(Coding TreeUnit，编码树单元)，或者LCU(Large Coding Unit，最大编码单元)。CTU再往下，可以继续进行更加精细的划分，得到一个或多个基本编码的单元，称之为CU(Coding Unit，编码单元)。每个CU是一个编码环节中最基本的元素。以下描述的是对每一个CU可能采用的各种编码方式。
2、预测编码(Predictive Coding)：包括了帧内预测和帧间预测等方式，原始视频信号经过选定的已重建视频信号的预测后，得到残差视频信号。编码端需要为当前CU决定在众多可能的预测编码模式中，选择最适合的一种，并告知解码端。其中，帧内预测是指预测的信号来自于同一图像内已经编码重建过的区域。帧间预测是指预测的信号来自已经编码过的，不同于当前图像的其他图像(称之为参考图像)。
3、变换编码及量化(Transform&Quantization)：残差视频信号经过DFT(DiscreteFourier Transform，离散傅里叶变换)、DCT(Discrete Cosine Transform，离散余弦变换)等变换操作，将信号转换到变换域中，称之为变换系数。在变换域中的信号，进一步进行有损的量化操作，丢失掉一定的信息，使得量化后的信号有利于压缩表达。在一些视频编码标准中，可能有多于一种变换方式可以选择，因此，编码端也需要为当前CU选择其中的一种变换，并告知解码端。量化的精细程度通常由量化参数来决定。QP(Quantization Parameter，量化参数)取值较大，表示更大取值范围的系数将被量化为同一个输出，因此通常会带来更大的失真，及较低的码率；相反，QP取值较小，表示较小取值范围的系数将被量化为同一个输出，因此通常会带来较小的失真，同时对应较高的码率。
4、熵编码(Entropy Coding)或统计编码：量化后的变换域信号，将根据各个值出现的频率，进行统计压缩编码，最后输出二值化(0或者1)的压缩码流。同时，编码产生其他信息，例如选择的模式、运动矢量等，也需要进行熵编码以降低码率。统计编码是一种无损编码方式，可以有效的降低表达同样的信号所需要的码率。常见的统计编码方式有变长编码(Variable Length Coding，简称VLC)或者基于上下文的二值化算术编码(ContentAdaptive Binary Arithmetic Coding，简称CABAC)。
5、环路滤波(Loop Filtering)：已经编码过的图像，经过反量化、反变换及预测补偿的操作(上述2～4的反向操作)，可获得重建的解码图像。重建图像与原始图像相比，由于存在量化的影响，部分信息与原始图像有所不同，产生失真(distortion)。对重建图像进行滤波操作，例如去块效应滤波(deblocking)，SAO(Sample Adaptive Offset，样本自适应偏移量)或者ALF(Adaptive Lattice Filter，自适应格型滤波器)等滤波器，可以有效的降低量化所产生的失真程度。由于这些经过滤波后的重建图像，将作为后续编码图像的参考，用于对将来的信号进行预测，所以上述的滤波操作也被称为环路滤波，及在编码环路内的滤波操作。
根据上述编码过程可以看出，在解码端，对于每一个CU，解码器获得压缩码流后，先进行熵解码，获得各种模式信息及量化后的变换系数。各个系数经过反量化及反变换，得到残差信号。另一方面，根据已知的编码模式信息，可获得该CU对应的预测信号，两者相加之后，即可得到重建信号。最后，解码图像的重建值，需要经过环路滤波的操作，产生最终的输出信号。
目前，混合编码框架的编码过程大概可以抽象成以下表达式：
Ires＝Iorg-Ipred (1)
Figure BDA0002560216230000061
Irec＝Ires′+Ipred (3)
Figure BDA0002560216230000062
其中，Ires表示残差图像，残差图像Ires是基于原始图像Iorg和预测图像Ipred计算得到的；Ires′表示重建残差图像，重建残差图像Ires′是对残差图像Ires进行变换量化和反量化反变换处理后得到的图像；Irec表示重建图像(也称为重建帧)，重建图像Irec是基于重建残差图像Ires′和预测图像Ipred计算得到的；Irec′表示滤波后的重建图像，该滤波后的重建图像Irec′是采用环路滤波模型对重建图像Irec进行滤波处理后得到的。
一些离线训练的深度学习环路滤波工具大多以重建图像或经过原有滤波器(如DBF(Deblocking Filter，去块滤波器)、SAO(Sample Adaptive Offset，样本自适应偏移量)、ALF(Adaptive Lattice Filter，自适应格型滤波器)中的一个或多个)后的重建图像作为输入，对应的训练集通常是压缩重建后的图像数据集。由于压缩损失主要来自于量化过程，已经有一些研究或者标准提案通过在模型输入中添加量化有关信息(主要是量化精细程度相关信息)来提升模型处理不同量化损失的泛化能力。
量化过程中QP取值较大表示更大取值范围的系数将被量化为同一个输出，因此通常会带来更大的失真，及较低的码率。相反，QP取值较小表示较小取值范围的系数将被量化为同一个输出，因此通常会带来较小的失真，同时对应较高的码率。上述方案在模型输入中添加了量化有关信息，使得模型能够更好的学习映射关系和量化步长之间的关系，从而提升模型的泛化能力。然而，即使在同一QP下，残差信号自身分布也将影响量化的损失程度：对于固定QP大小的量化方法，同一取值范围内量化前残差系数值越接近该范围的输出值时损失越小；对于采用加权量化矩阵的方法，为了提升主观质量对不同位置的系数采用不同的量化步长，则残差信号内高频系数越多损失则越大。
忽略残差信号自身分布差异对损失程度影响的一个直接体现是这些模型在I帧滤波上有明显的质量提升，但对于帧间预测帧(B帧和P帧)则效果非常有限。这是由于帧内预测和帧间预测在预测帧Ipred上存在明显差异，帧间预测的预测精度与参考帧息息相关，当I帧经过深度学习环路滤波模型(如CNNLF(Convolutional Neural Network Loop Filter，卷积神经网络环路滤波器))提升质量后，以它为参考帧的帧间预测重建帧Irec(未经过滤波)的质量也将明显提升(损失变小)，导致CNNLF对Irec的质量提升有限。
为了进一步提升视频编解码中基于深度学习方法的环路滤波工具在应用中的效果，本申请提出了一种对量化损失敏感的环路滤波工具。通过在模型输入中加入能影响或反映残差信号分布的信息，如预测帧Ipred或重建残差图像Ires′，使得模型能更专注于学习量化后残差到量化前残差的映射(模拟量化反过程)，从而恢复或缓解不同程度的量化损失。另外，该方法适用性广，可与目前已有的基于深度学习环路滤波方法或网络相结合或是提出一种新的滤波网络，应用到使用了基于深度学习的环路滤波模型的视频编解码器或视频压缩的后处理产品中。
如图2所示，其示出了本申请一个实施例提供的通信系统的简化框图。通信系统200包括多个设备，所述设备可通过例如网络250彼此通信。举例来说，通信系统200包括通过网络250互连的第一设备210和第二设备220。在图2的实施例中，第一设备210和第二设备220执行单向数据传输。举例来说，第一设备210可对视频数据例如由第一设备210采集的视频图片流进行编码以通过网络250传输到第二设备220。已编码的视频数据以一个或多个已编码视频码流形式传输。第二设备220可从网络250接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。
在另一实施例中，通信系统200包括执行已编码视频数据的双向传输的第三设备230和第四设备240，所述双向传输可例如在视频会议期间发生。对于双向数据传输，第三设备230和第四设备240中的每个设备可对视频数据(例如由设备采集的视频图片流)进行编码，以通过网络250传输到第三设备230和第四设备240中的另一设备。第三设备230和第四设备240中的每个设备还可接收由第三设备230和第四设备240中的另一设备传输的已编码视频数据，且可对所述已编码视频数据进行解码以恢复视频数据，且可根据恢复的视频数据在可访问的显示装置上显示视频图片。
在图2的实施例中，第一设备210、第二设备220、第三设备230和第四设备240可为服务器、个人计算机和智能电话等计算机设备，但本申请公开的原理可不限于此。本申请实施例适用于PC(Personal Computer，个人计算机)、手机、平板电脑、媒体播放器和/或专用视频会议设备。网络250表示在第一设备210、第二设备220、第三设备230和第四设备240之间传送已编码视频数据的任何数目的网络，包括例如有线连线的和/或无线通信网络。通信网络250可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络250的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
作为实施例，图3示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV(电视)、在包括CD(Compact Disc，光盘)、DVD(Digital Versatile Disc，数字通用光盘)、存储棒等的数字介质上存储压缩视频等等。
流式传输系统可包括采集子系统313，所述采集子系统可包括数码相机等视频源301，所述视频源创建未压缩的视频图片流302。在实施例中，视频图片流302包括由数码相机拍摄的样本。相较于已编码的视频数据304(或已编码的视频码流)，视频图片流302被描绘为粗线以强调高数据量的视频图片流，视频图片流302可由电子装置320处理，所述电子装置320包括耦接到视频源301的视频编码器303。视频编码器303可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流302，已编码的视频数据304(或已编码的视频码流304)被描绘为细线以强调较低数据量的已编码的视频数据304(或已编码的视频码流304)，其可存储在流式传输服务器305上以供将来使用。一个或多个流式传输客户端子系统，例如图3中的客户端子系统306和客户端子系统308，可访问流式传输服务器305以检索已编码的视频数据304的副本307和副本309。客户端子系统306可包括例如电子装置330中的视频解码器310。视频解码器310对已编码的视频数据的传入副本307进行解码，且产生可在显示器312(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流311。在一些流式传输系统中，可根据某些视频编码/压缩标准对已编码的视频数据304、视频数据307和视频数据309(例如视频码流)进行编码。
应注意，电子装置320和电子装置330可包括其它组件(未示出)。举例来说，电子装置320可包括视频解码器(未示出)，且电子装置330还可包括视频编码器(未示出)。其中，视频解码器用于对接收到的已编码视频数据进行解码；视频编码器用于对视频数据进行编码。
需要说明的一点是，本申请实施例提供的技术方案可以应用于H.266/VVC标准、H.265/HEVC标准、AVS(如AVS3)或者下一代视频编解码标准中，本申请实施例对此不作限定。
还需要说明的一点是，本申请实施例提供的视频编解码中的环路滤波方法，各步骤的执行主体可以是解码端设备，也可以是编码端设备。在视频解码和视频编码的过程中，都可以采用本申请实施例提供的技术方案，对视频中的重建帧进行环路滤波处理。解码端设备和编码端设备均可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备，如PC、手机、平板电脑、媒体播放器、专用视频会议设备、服务器等等。
另外，本申请所提供的方法可以单独使用或以任意顺序与其他方法合并使用。基于本申请所提供方法的编码器和解码器，可以由1个或多个处理器或是1个或多个集成电路来实现。下面，通过几个实施例对本申请技术方案进行介绍说明。
请参考图4，其示出了本申请一个实施例提供的视频编解码中的环路滤波方法的流程图。为了便于说明，仅以各步骤执行主体为计算机设备进行介绍说明。该方法可以包括如下几个步骤(401～403)：
步骤401，获取视频中当前帧对应的重建帧和残差分布信息，该残差分布信息是指影响或反映残差信号数据分布的信息。
视频中包括多个连续的图像帧，当前帧是指当前正在处理的图像帧，该当前帧可以是视频中的任意一个图像帧。
当前帧对应的重建帧是指对当前帧进行压缩重建后生成的图像帧。例如，可以对当前帧进行压缩处理(也即编码处理，包括帧内或帧间预测、残差计算、变换、量化等处理)，得到压缩处理后的当前帧；然后对该压缩处理后的当前帧进行重建(也即解码处理，包括反量化、反变换、重构残差、重构图像等处理)，得到当前帧对应的重建帧。
残差分布信息是指影响或反映残差信号数据分布的信息。在一个示例中，残差分布信息包括当前帧对应的预测帧。当前帧对应的预测帧是采用帧内预测模式或帧间预测模式预测当前帧中的像素值，所得到的预测图像。在另一个示例中，残差分布信息包括当前帧对应的重建残差图像。重建残差图像是对当前帧所在的码流中对应的残差图像数据进行反量化反变换处理后得到的图像。当前帧所在的码流是指视频编码后传输的码流中，与当前帧相关的一部分码流数据，这部分码流数据中可以包括当前帧对应的残差图像数据、量化参数等数据。其中，残差图像数据是指编码端对当前帧对应的残差图像进行变换和量化处理后得到的数据，通过对该残差图像数据进行反量化和反变换处理，即可恢复出残差图像，该恢复得到的残差图像称为重建残差图像。当然，在一些其他示例中，残差分布信息还可以包括当前帧对应的预测帧和当前帧对应的重建残差图像，或者包括其他能够影响或反映残差信号分布的信息，本申请实施例对此不做限定。
步骤402，对重建帧和残差分布信息进行融合处理，得到融合数据。
在本申请实施例中，融合处理是指对多种不同信息进行整合，得到的融合数据中能够体现各种组成信息的成分或影响。可选地，融合处理包括但不限于以下一种方法或多种方法的组合：通道级联(concatenate)处理、逐像素相加。
在一个示例中，对重建帧和残差分布信息进行直接融合处理，得到融合数据。
如图5所示，以残差分布信息包括当前帧对应的预测帧Ipred为例，对当前帧对应的重建帧Irec和预测帧Ipred进行通道级联处理，得到融合数据。
如图7所示，以残差分布信息包括当前帧对应的重建残差图像Ires′为例，对当前帧对应的重建帧Irec和重建残差图像Ires′进行通道级联处理，得到融合数据。
在另一个示例中，对重建帧和残差分布信息分别进行特征提取之后，再进行融合处理得到融合数据。如包括以下步骤：
1、提取重建帧对应的第一特征图；
2、提取残差分布信息对应的第二特征图；
3、对第一特征图和第二特征图进行融合处理，得到融合数据。
在进行特征图提取时，可以采用神经网络来实现。例如，通过卷积神经网络对重建帧进行卷积处理，得到对应的第一特征图；又例如，通过卷积神经网络对残差分布信息进行卷积处理，得到对应的第二特征图。用于对重建帧进行特征提取处理和用于对残差分布信息进行特征提取处理的两个神经网络，其结构可以相同也可以不同，网络参数可以各自独立设定。另外，上述步骤1和2可以同时执行，也可以先后执行，本申请实施例对此不作限定。
另外，在对特征图进行融合处理时，同样可以采用通道级联处理、逐像素相加等融合处理方式，本申请实施例对此不做限定。
如图6所示，以残差分布信息包括当前帧对应的预测帧Ipred为例，提取重建帧Irec对应的第一特征图Frec，以及预测帧Ipred对应的第二特征图Fpred，对第一特征图Frec和第二特征图Fpred进行通道级联处理，得到融合数据。
如图8所示，以残差分布信息包括当前帧对应的重建残差图像Ires′为例，提取重建帧Irec对应的第一特征图Frec，以及重建残差图像Ires′对应的第二特征图Fres′，对第一特征图Frec和第二特征图Fres′进行通道级联处理，得到融合数据。
步骤403，通过环路滤波模型对融合数据进行滤波处理，得到滤波后的重建帧。
在得到融合数据之后，将该融合数据输入至环路滤波模型，由该环路滤波模型进行滤波处理，输出滤波后的重建帧。环路滤波模型是用于进行环路滤波处理的机器学习模型，在本申请实施例中，对环路滤波模型的网络结构不作限定，例如可以是CNN(Convolutional Neural Network，卷积神经网络)或者其他神经网络结构。
在示例性实施例中，在对重建帧和残差分布信息进行融合处理之前，还可以先对该重建帧和残差分布信息进行预处理，经过预处理后的重建帧和残差分布信息再进行融合处理得到融合数据。上述预处理包括但不限于归一化处理、标准化处理、正则化处理等预处理方法中的至少一项，本申请实施例对此不作限定。通过执行上述预处理过程，使得图像中的像素值集中在某一个合适的取值范围之内，在训练过程中有助于提升模型的收敛速度，缩短模型的训练耗时。
需要说明的是，环路滤波模型可以包括融合模块和滤波模块。其中，融合模块用于执行上述融合处理，滤波模块用于执行上述滤波处理。在融合模块采用神经网络来实现特征提取的情况下，在模型训练的过程中需要对融合模块和滤波模块均进行训练。
综上所述，本申请实施例提供的技术方案，考虑到无论是帧内预测还是帧间预测，无论帧间预测中参考帧的质量如何，主要区别都在于预测帧的质量，预测编码的准确程度直接影响了残差信号的分布，而压缩损失都来自于对残差信号进行量化，因此通过在环路滤波模型的输入数据中加入能影响或反映残差信号数据分布的信息，如预测帧信息或重建残差信息，使得模型能更好的学习量化后残差到量化前残差的映射(模拟量化反过程)，从而恢复或缓解不同程度的量化损失，能够针对影响编码损失程度的因素设计模型，提升环路滤波模型对量化损失程度的敏感性，从而提升模型的滤波质量。
请参考图9，其示出了本申请一个实施例提供的视频编解码中的环路滤波方法的流程图。为了便于说明，仅以各步骤执行主体为计算机设备进行介绍说明。该方法可以包括如下几个步骤(901～904)：
步骤901，获取视频中当前帧对应的重建帧和残差分布信息，该残差分布信息是指影响或反映残差信号数据分布的信息。
步骤902，获取生成重建帧所使用的量化参数。
上述量化参数是指在生成重建帧的过程中所采用的量化参数。量化参数可以构成一个量化参数图像(QP map)，该量化参数图像的长可以等于重建帧的长，该量化参数图像的宽可以等于重建帧的宽。可选地，上述当前帧对应的重建帧、残差分布信息(如预测帧或重建残差图像)和量化参数的长相等且宽也相等。例如，重建帧、残差分布信息和量化参数的长均与当前帧的长相同，重建帧、残差分布信息和量化参数的宽均与当前帧的宽相同。
可选地，在获取量化参数之后，根据该量化参数生成与重建帧的长和宽均相等的量化参数图像。其中，量化参数图像中与重建帧中的目标像素对应位置处的像素值，等于目标像素量化所采用的QP值。例如，量化参数图像中坐标为(x,y)的像素值，等于重建帧中坐标为(x,y)的像素量化所采用的QP值。另外，量化参数图像用于进行下面步骤中的融合处理。
如图10所示，其示例性示出了两个QP map(即量化参数图像)的示意图。如图10中的(a)部分所示，如果在生成重建帧时未采用Delta QP(也称为“差分QP”)，则QP map中各个像素对应的QP值相同；如图10中的(b)部分所示，如果在生成重建帧时采用了Delta QP，则QP map中各个像素对应的QP值可以以CTU为单位进行灵活设定，例如QP map中各CTU对应的QP值可以相同，也可以不同。
步骤903，对重建帧、残差分布信息和量化参数进行融合处理，得到融合数据。
在一个示例中，对重建帧、残差分布信息和量化参数进行直接融合处理，得到融合数据。
如图11所示，以残差分布信息包括当前帧对应的预测帧Ipred为例，对当前帧对应的重建帧Irec、预测帧Ipred和量化参数IQP进行通道级联处理，得到融合数据。
如图13所示，以残差分布信息包括当前帧对应的重建残差图像Ires′为例，对当前帧对应的重建帧Irec、重建残差图像Ires′和量化参数IQP进行通道级联处理，得到融合数据。
在另一个示例中，对重建帧、残差分布信息和量化参数分别进行特征提取之后，再进行融合处理得到融合数据。如包括以下步骤：
1、提取重建帧对应的第一特征图；
2、提取残差分布信息对应的第二特征图；
3、提取量化参数对应的第三特征图；
4、对第一特征图、第二特征图和第三特征图进行融合处理，得到融合数据。
在进行特征图提取时，可以采用神经网络来实现。例如，通过卷积神经网络对重建帧进行卷积处理，得到对应的第一特征图；又例如，通过卷积神经网络对残差分布信息进行卷积处理，得到对应的第二特征图；再例如，通过卷积神经网络对量化参数进行卷积处理，得到对应的第三特征图。用于对重建帧进行特征提取处理、用于对残差分布信息进行特征提取处理，以及用于对量化参数进行特征提取处理的三个神经网络，其结构可以相同也可以不同，网络参数可以各自独立设定。另外，上述步骤1～3可以同时执行，也可以先后执行，本申请实施例对此不作限定。
另外，在对特征图进行融合处理时，同样可以采用通道级联处理、逐像素相加等融合处理方式，本申请实施例对此不做限定。
如图12所示，以残差分布信息包括当前帧对应的预测帧Ipred为例，提取重建帧Irec对应的第一特征图Frec、预测帧Ipred对应的第二特征图Fpred，以及量化参数IQP对应的第三特征图FQP，对第一特征图Frec、第二特征图Fpred和第三特征图FQP进行通道级联处理，得到融合数据。
如图14所示，以残差分布信息包括当前帧对应的重建残差图像Ires′为例，提取重建帧Irec对应的第一特征图Frec、重建残差图像Ires′对应的第二特征图Fres′，以及量化参数IQP对应的第三特征图FQP，对第一特征图Frec、第二特征图Fres′和第三特征图FQP进行通道级联处理，得到融合数据。
步骤904，通过环路滤波模型对融合数据进行滤波处理，得到滤波后的重建帧。
在得到融合数据之后，将该融合数据输入至环路滤波模型，由该环路滤波模型进行滤波处理，输出滤波后的重建帧。
在示例性实施例中，在获取生成重建帧所使用的量化参数之后，还包括如下步骤：对量化参数进行变换处理，得到变换后的量化参数。该变换后的量化参数用于与重建帧和残差分布信息进行融合处理，得到融合数据。
此处的变换处理可以是线性变换处理或者非线性变换处理。通过对量化参数进行变换处理，可以将QP值变换到一个适当的取值范围，采用变换后的量化参数在后续步骤中与重建帧和残差分布信息进行融合处理，相比于直接采用原始的量化参数与重建帧和残差分布信息进行融合处理，可以通过变换处理调节不同类型的数据(即重建帧像素值、残差分布信息和QP值)在进行数据融合时的影响比重，提升数据融合处理时的灵活性和准确性。
在一个示例中，对量化参数进行线性变换处理，得到变换后的量化参数。
示例性地，线性变换处理可以表示为f(x)＝ax+b，其中，x表示原始的量化参数，f(x)表示变换后的量化参数，a、b为预设常数。
在另一个示例中，对量化参数进行非线性变换处理，得到变换后的量化参数。
示例性地，非线性变换处理可以表示为f(x)＝(ax+b)2，其中，x表示原始的量化参数，f(x)表示变换后的量化参数，a、b为预设常数。示例性地，非线性变换处理还可以表示为f(x)＝axn+b，其中，x表示原始的量化参数，f(x)表示变换后的量化参数，a、b、n为预设常数。
上述线性变换处理和非线性变换处理中涉及的参数，如a、b、n等参数，均可以根据实验或者经验进行设置和调整，通过选取合适的取值有助于提升最终的滤波效果。
需要说明的一点是，在本申请实施例中，对获取重建帧、残差分布信息和量化参数的时间先后顺序不做限定，这些信息可以同时获取，也可以依次先后获取。
综上所述，本申请实施例提供的技术方案，考虑到量化损失程度与量化精细程度和残差信号分布都有关，通过在环路滤波模型的输入中加入量化参数来提升模型在不同量化精细程度上的泛化能力，在环路滤波模型的输入中加入残差分布信息来提升模型在不同残差信号分布上的泛化能力，从而提升模型最终的滤波质量。
在示例性实施例中，当编解码过程中采用了不同的量化方式，可以针对不同的量化方式分别设置对应的环路滤波模型。
例如，在帧内预测帧得到的残差信号和帧间预测帧得到的残差信号采用不同的变换、量化方式的情况下，可以设置两个环路滤波模型，记为第一环路滤波模型和第二环路滤波模型，其中，第一环路滤波模型是针对帧内预测帧设置的，第二环路滤波模型是针对帧间预测帧设置的，且第一环路滤波模型和第二环路滤波模型是两个不同的环路滤波模型。
在当前帧的类型为帧内预测帧的情况下，通过第一环路滤波模型对融合数据进行滤波处理，得到滤波后的重建帧。在当前帧的类型为帧间预测帧的情况下，通过第二环路滤波模型对融合数据进行滤波处理，得到滤波后的重建帧。
通过上述方式，根据量化方式的不同训练不同的环路滤波模型，有助于提升模型在不同量化方式上的表现性能。
在示例性实施例中，为了使模型更好的学习与量化损失相关的特征，可以引入注意力机制。在一些实施例中，该注意力机制可以在信息融合处理过程中引入，如对重建帧和残差分布信息(可选还包括量化参数)进行直接融合处理时引入，或对重建帧和残差分布信息(可选还包括量化参数)分别对应的特征图进行融合处理时引入。在另一些实施例中，该注意力机制也可以在滤波处理过程中引入，即在滤波网络提取特征时，引入注意力机制对不同的特征或区域确定不同的权重进行滤波处理。当然，还可以在融合处理过程和滤波处理过程中均引入注意力机制，本申请实施例对此不做限定。可选地，该注意力机制为通道注意力机制，其原理是因为卷积神经网络处理得到的特征图中每个通道是由不同的卷积核得到，通常可以理解为代表了不同的特征，这些特征对滤波的贡献程度是不同的，因此采用通道注意力机制相当于对不同的特征赋予不同的权重值，这个权重值是在训练中学习到的，目的是使得卷积神经网络能更好的学习更有用的特征，最终提升模型的滤波质量。
在上文介绍的实施例中，主要对环路滤波模型在视频编解码过程中的使用过程进行了介绍说明，下面，将通过几个实施例，对环路滤波模型的训练过程进行介绍说明。
请参考图15，其示出了本申请一个实施例提供的环路滤波模型的训练方法的流程图。该方法各步骤的执行主体可以是计算机设备，如PC、服务器或者其它具备计算处理能力的电子设备。该方法可以包括如下几个步骤(1501～1505)：
步骤1501，获取训练样本，训练样本的样本数据包括样本图像对应的重建图像和残差分布信息，训练样本的标签数据包括上述样本图像，残差分布信息是指影响或反映残差信号数据分布的信息。
训练样本的数量可以是多个。每个训练样本包括样本数据和标签数据。其中，样本数据包括样本图像对应的重建图像和残差分布信息，标签数据则是样本图像本身。在一些实施例中，样本数据还包括生成该重建图像所使用的量化参数。有关重建图像(也即重建帧)、残差分布信息和量化参数的介绍说明可参见上文实施例，此处不再赘述。
步骤1502，对重建图像和残差分布信息进行融合处理，得到融合数据。
在一些实施例中，在样本数据还包括量化参数的情况下，对重建图像、残差分布信息和量化参数进行融合处理，得到融合数据。
另外，有关融合处理的过程可参见上文实施例中的介绍说明，此处不再赘述。
步骤1503，通过环路滤波模型对融合数据进行滤波处理，得到滤波后的重建图像。
步骤1504，基于滤波后的重建图像和标签数据，计算环路滤波模型对应的损失函数值。
步骤1505，基于损失函数值调整环路滤波模型的参数，对环路滤波模型进行训练。
在对环路滤波模型进行训练的过程中，将训练样本的样本数据融合后输入至环路滤波模型，由该环路滤波模型输出滤波后的重建图像，然后基于该滤波后的重建图像与训练样本的标签数据之间的差异，构建环路滤波模型的损失函数，通过不断调整环路滤波模型的参数，以最小化该损失函数的值，从而得到完成训练的环路滤波模型。
另外，损失函数可以基于样本图像与模型输出的滤波后的重建图像之间的距离损失进行构建，该距离可以是MSE(Mean Squared Error，均方误差)、SSIM(StructuralSimilarity，结构相似性)、L1距离等，本申请实施例对此不作限定。
需要说明的是，在进行融合处理时，如果采用上文介绍的特征图提取的方式，那么在训练过程中还需要对用于提取特征图的神经网络(如卷积神经网络)进行训练。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图16，其示出了本申请一个实施例提供的视频编解码中的环路滤波装置的框图。该装置具有实现上述视频编解码中的环路滤波方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置1600可以包括：信息获取模块1610、信息融合模块1620和滤波处理模块1630。
信息获取模块1610，用于获取视频中当前帧对应的重建帧和残差分布信息，所述残差分布信息是指影响或反映残差信号数据分布的信息。
信息融合模块1620，用于对所述重建帧和所述残差分布信息进行融合处理，得到融合数据。
滤波处理模块1630，用于通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建帧。
在示例性实施例中，所述残差分布信息包括所述当前帧对应的预测帧。
在示例性实施例中，所述残差分布信息包括所述当前帧对应的重建残差图像，所述重建残差图像是对所述当前帧所在码流中对应的残差图像数据进行反量化反变换处理后得到的图像。
在示例性实施例中，所述信息融合模块1620，用于提取所述重建帧对应的第一特征图；提取所述残差分布信息对应的第二特征图；对所述第一特征图和所述第二特征图进行融合处理，得到所述融合数据。
在示例性实施例中，所述信息获取模块1610，还用于获取生成所述重建帧所使用的量化参数。所述信息融合模块1620，用于对所述重建帧、所述残差分布信息和所述量化参数进行融合处理，得到所述融合数据。
可选地，所述信息融合模块1620，用于提取所述重建帧对应的第一特征图；提取所述残差分布信息对应的第二特征图；提取所述量化参数对应的第三特征图；对所述第一特征图、所述第二特征图和所述第三特征图进行融合处理，得到所述融合数据。
可选地，所述信息获取模块1610，还用于对所述量化参数进行变换处理，得到变换后的量化参数；其中，所述变换处理包括线性变换处理或非线性变换处理，所述变换后的量化参数用于与所述重建帧和所述残差分布信息进行融合处理，得到所述融合数据。
在示例性实施例中，所述滤波处理模块1630，用于在所述当前帧的类型为帧内预测帧的情况下，通过第一环路滤波模型对所述融合数据进行滤波处理，得到所述滤波后的重建帧；在所述当前帧的类型为帧间预测帧的情况下，通过第二环路滤波模型对所述融合数据进行滤波处理，得到所述滤波后的重建帧；其中，所述第一环路滤波模型和所述第二环路滤波模型是两个不同的环路滤波模型，且所述帧内预测帧得到的残差信号和所述帧间预测帧得到的残差信号采用不同的量化方式。
在示例性实施例中，所述信息融合模块1620，还用于在所述融合处理的过程中，引入注意力机制确定融合权重进行所述融合处理，得到所述融合数据。
在示例性实施例中，所述滤波处理模块1630，还用于在所述滤波处理的过程中，引入注意力机制对不同的特征或区域确定不同的权重进行所述滤波处理。
在示例性实施例中，所述融合处理包括但不限于以下至少一项：通道级联处理、逐像素相加。
综上所述，本申请实施例提供的技术方案，考虑到无论是帧内预测还是帧间预测，无论帧间预测中参考帧的质量如何，主要区别都在于预测帧的质量，预测编码的准确程度直接影响了残差信号的分布，而压缩损失都来自于对残差信号进行量化，因此通过在环路滤波模型的输入数据中加入能影响或反映残差信号分布的信息，如预测帧信息或重建残差信息，使得模型能更好的学习量化后残差到量化前残差的映射(模拟量化反过程)，从而恢复或缓解不同程度的量化损失，能够针对影响编码损失程度的因素设计模型，提升环路滤波模型对量化损失程度的敏感性，从而提升模型的滤波质量。
请参考图17，其示出了本申请一个实施例提供的环路滤波模型的训练装置的框图。该装置具有实现上述环路滤波模型的训练方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置1700可以包括：样本获取模块1710、信息融合模块1720、滤波处理模块1730、损失计算模块1740和参数调整模块1750。
样本获取模块1710，用于获取训练样本，所述训练样本的样本数据包括样本图像对应的重建图像和残差分布信息，所述训练样本的标签数据包括所述样本图像，所述残差分布信息是指影响或反映残差信号数据分布的信息。
信息融合模块1720，用于对所述重建图像和所述残差分布信息进行融合处理，得到融合数据。
滤波处理模块1730，用于通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建图像。
损失计算模块1740，用于基于所述滤波后的重建图像和所述标签数据，计算所述环路滤波模型对应的损失函数值。
参数调整模块1750，用于基于所述损失函数值调整所述环路滤波模型的参数，对所述环路滤波模型进行训练。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图18，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以是上文介绍的编码端设备，也可以是上文介绍的解码端设备，还可以是上文介绍的用于训练环路滤波模型的设备。该计算机设备180可以包括：处理器181、存储器182、通信接口183、编码器/解码器184和总线185。
处理器181包括一个或者一个以上处理核心，处理器181通过运行软件程序以及模块，从而执行各种功能应用以及信息处理。
存储器182可用于存储计算机程序，处理器181用于执行该计算机程序，以实现上述视频编解码中的环路滤波方法，或者实现上述环路滤波模型的训练方法。
通信接口183可用于与其它设备进行通信，如收发音视频数据。
编码器/解码器184可用于实现编码和解码功能，如对音视频数据进行编码和解码。
存储器182通过总线185与处理器181相连。
此外，存储器182可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，易失性或非易失性存储设备包括但不限于：磁盘或光盘，EEPROM(ElectricallyErasable Programmable Read-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable Read-Only Memory，可擦除可编程只读存储器)，SRAM(StaticRandom-Access Memory，静态随时存取存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，PROM(Programmable read-only memory，可编程只读存储器)。
本领域技术人员可以理解，图18中示出的结构并不构成对计算机设备180的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时实现上述视频编解码中的环路滤波方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述环路滤波模型的训练方法。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频编解码中的环路滤波方法。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述环路滤波模型的训练方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种视频编解码中的环路滤波方法，其特征在于，所述方法包括：
获取视频中当前帧对应的重建帧和残差分布信息，所述残差分布信息是指影响或反映残差信号数据分布的信息；
对所述重建帧和所述残差分布信息进行融合处理，得到融合数据；
通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建帧。
2.根据权利要求1所述的方法，其特征在于，所述残差分布信息包括所述当前帧对应的预测帧。
3.根据权利要求1所述的方法，其特征在于，所述残差分布信息包括所述当前帧对应的重建残差图像，所述重建残差图像是对所述当前帧所在的码流中对应的残差图像数据进行反量化反变换处理后得到的图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述重建帧和所述残差分布信息进行融合处理，得到融合数据，包括：
提取所述重建帧对应的第一特征图；
提取所述残差分布信息对应的第二特征图；
对所述第一特征图和所述第二特征图进行融合处理，得到所述融合数据。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取生成所述重建帧所使用的量化参数；
所述对所述重建帧和所述残差分布信息进行融合处理，得到融合数据，包括：
对所述重建帧、所述残差分布信息和所述量化参数进行融合处理，得到所述融合数据。
6.根据权利要求5所述的方法，其特征在于，所述对所述重建帧、所述残差分布信息和所述量化参数进行融合处理，得到所述融合数据，包括：
提取所述重建帧对应的第一特征图；
提取所述残差分布信息对应的第二特征图；
提取所述量化参数对应的第三特征图；
对所述第一特征图、所述第二特征图和所述第三特征图进行融合处理，得到所述融合数据。
7.根据权利要求5所述的方法，其特征在于，所述获取生成所述重建帧所使用的量化参数之后，还包括：
对所述量化参数进行变换处理，得到变换后的量化参数；
其中，所述变换处理包括线性变换处理或非线性变换处理，所述变换后的量化参数用于与所述重建帧和所述残差分布信息进行融合处理，得到所述融合数据。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建帧，包括：
在所述当前帧的类型为帧内预测帧的情况下，通过第一环路滤波模型对所述融合数据进行滤波处理，得到所述滤波后的重建帧；
在所述当前帧的类型为帧间预测帧的情况下，通过第二环路滤波模型对所述融合数据进行滤波处理，得到所述滤波后的重建帧；
其中，所述第一环路滤波模型和所述第二环路滤波模型是两个不同的环路滤波模型，且所述帧内预测帧得到的残差信号和所述帧间预测帧得到的残差信号采用不同的量化方式。
9.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括以下至少一项：
在所述融合处理的过程中，引入注意力机制确定融合权重进行所述融合处理，得到所述融合数据；
在所述滤波处理的过程中，引入注意力机制对不同的特征或区域确定不同的权重进行所述滤波处理。
10.根据权利要求1至7任一项所述的方法，其特征在于，所述融合处理包括以下至少一项：通道级联处理、逐像素相加。
11.一种环路滤波模型的训练方法，其特征在于，所述方法包括：
获取训练样本，所述训练样本的样本数据包括样本图像对应的重建图像和残差分布信息，所述训练样本的标签数据包括所述样本图像，所述残差分布信息是指影响或反映残差信号数据分布的信息；
对所述重建图像和所述残差分布信息进行融合处理，得到融合数据；
通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建图像；
基于所述滤波后的重建图像和所述标签数据，计算所述环路滤波模型对应的损失函数值；
基于所述损失函数值调整所述环路滤波模型的参数，对所述环路滤波模型进行训练。
12.一种视频编解码中的环路滤波装置，其特征在于，所述装置包括：
信息获取模块，用于获取视频中当前帧对应的重建帧和残差分布信息，所述残差分布信息是指影响或反映残差信号数据分布的信息；
信息融合模块，用于对所述重建帧和所述残差分布信息进行融合处理，得到融合数据；
滤波处理模块，用于通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建帧。
13.一种环路滤波模型的训练装置，其特征在于，所述装置包括：
样本获取模块，用于获取训练样本，所述训练样本的样本数据包括样本图像对应的重建图像和残差分布信息，所述训练样本的标签数据包括所述样本图像，所述残差分布信息是指影响或反映残差信号数据分布的信息；
信息融合模块，用于对所述重建图像和所述残差分布信息进行融合处理，得到融合数据；
滤波处理模块，用于通过环路滤波模型对所述融合数据进行滤波处理，得到滤波后的重建图像；
损失计算模块，用于基于所述滤波后的重建图像和所述标签数据，计算所述环路滤波模型对应的损失函数值；
参数调整模块，用于基于所述损失函数值调整所述环路滤波模型的参数，对所述环路滤波模型进行训练。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一项所述的方法，或者实现如权利要求11所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一项所述的方法，或者实现如权利要求11所述的方法。
CN202010603973.XA 2020-06-29 2020-06-29 视频编解码中的环路滤波方法、装置、设备及存储介质 Active CN111711824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010603973.XA CN111711824B (zh) 2020-06-29 2020-06-29 视频编解码中的环路滤波方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010603973.XA CN111711824B (zh) 2020-06-29 2020-06-29 视频编解码中的环路滤波方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111711824A true CN111711824A (zh) 2020-09-25
CN111711824B CN111711824B (zh) 2021-07-02

Family

ID=72543696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010603973.XA Active CN111711824B (zh) 2020-06-29 2020-06-29 视频编解码中的环路滤波方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111711824B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468826A (zh) * 2020-10-15 2021-03-09 山东大学 一种基于多层gan的vvc环路滤波方法及系统
CN114449296A (zh) * 2020-11-06 2022-05-06 北京大学 基于卷积神经网络的环路滤波方法和装置
WO2022227062A1 (zh) * 2021-04-30 2022-11-03 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
CN115348448A (zh) * 2022-10-19 2022-11-15 北京达佳互联信息技术有限公司 滤波器训练方法、装置、电子设备及存储介质
WO2023000182A1 (zh) * 2021-07-20 2023-01-26 Oppo广东移动通信有限公司 图像编解码及处理方法、装置及设备
CN115883851A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
CN116112694A (zh) * 2022-12-09 2023-05-12 无锡天宸嘉航科技有限公司 一种应用于模型训练的视频数据编码方法及系统
WO2023082520A1 (zh) * 2021-11-15 2023-05-19 深圳市中兴微电子技术有限公司 图像处理方法及装置、存储介质及电子装置
WO2023151365A1 (zh) * 2022-02-10 2023-08-17 腾讯科技（深圳）有限公司 图像滤波方法、装置、设备及存储介质、程序产品
CN116665004A (zh) * 2023-07-31 2023-08-29 深圳海岸线数据技术有限公司 一种扩展现实图像处理方法、系统、设备及存储介质
WO2023197230A1 (zh) * 2022-04-13 2023-10-19 Oppo广东移动通信有限公司 滤波方法、编码器、解码器以及存储介质
WO2023225854A1 (zh) * 2022-05-24 2023-11-30 Oppo广东移动通信有限公司 一种环路滤波方法、视频编解码方法、装置和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3451670A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
CN110740319A (zh) * 2019-10-30 2020-01-31 腾讯科技（深圳）有限公司 视频编解码方法、装置、电子设备及存储介质
CN110798690A (zh) * 2019-08-23 2020-02-14 腾讯科技（深圳）有限公司 视频解码方法、环路滤波模型的训练方法、装置和设备
CN111052740A (zh) * 2017-07-06 2020-04-21 三星电子株式会社 用于编码或解码图像的方法和装置
WO2020123052A1 (en) * 2018-12-11 2020-06-18 Google Llc Guided restoration of video data using neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052740A (zh) * 2017-07-06 2020-04-21 三星电子株式会社 用于编码或解码图像的方法和装置
EP3451670A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
CN111194555A (zh) * 2017-08-28 2020-05-22 交互数字Vc控股公司 用模式感知深度学习进行滤波的方法和装置
WO2020123052A1 (en) * 2018-12-11 2020-06-18 Google Llc Guided restoration of video data using neural networks
CN110798690A (zh) * 2019-08-23 2020-02-14 腾讯科技（深圳）有限公司 视频解码方法、环路滤波模型的训练方法、装置和设备
CN110740319A (zh) * 2019-10-30 2020-01-31 腾讯科技（深圳）有限公司 视频编解码方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAN ZHU ET AL.: "Residual Convolutional Neural Network Based In-Loop Filter with Intra and Inter Frames Processed Respectively for Avs3", 《2020 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》 *
WEI JIA ET AL.: "Residue guided loop filter for HEVC post", 《ARXIV:1907.12681V1》 *
YINGBIN WANG ET AL.: "Dense Residual Convolutional Neural Network based In-Loop Filter for HEVC", 《2018 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468826B (zh) * 2020-10-15 2021-09-24 山东大学 一种基于多层gan的vvc环路滤波方法及系统
CN112468826A (zh) * 2020-10-15 2021-03-09 山东大学 一种基于多层gan的vvc环路滤波方法及系统
CN114449296A (zh) * 2020-11-06 2022-05-06 北京大学 基于卷积神经网络的环路滤波方法和装置
CN114449296B (zh) * 2020-11-06 2023-07-18 北京大学 基于卷积神经网络的环路滤波方法和装置
WO2022227062A1 (zh) * 2021-04-30 2022-11-03 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2023000182A1 (zh) * 2021-07-20 2023-01-26 Oppo广东移动通信有限公司 图像编解码及处理方法、装置及设备
CN115883851A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
WO2023051222A1 (zh) * 2021-09-28 2023-04-06 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
WO2023082520A1 (zh) * 2021-11-15 2023-05-19 深圳市中兴微电子技术有限公司 图像处理方法及装置、存储介质及电子装置
WO2023151365A1 (zh) * 2022-02-10 2023-08-17 腾讯科技（深圳）有限公司 图像滤波方法、装置、设备及存储介质、程序产品
WO2023197230A1 (zh) * 2022-04-13 2023-10-19 Oppo广东移动通信有限公司 滤波方法、编码器、解码器以及存储介质
WO2023225854A1 (zh) * 2022-05-24 2023-11-30 Oppo广东移动通信有限公司 一种环路滤波方法、视频编解码方法、装置和系统
CN115348448B (zh) * 2022-10-19 2023-02-17 北京达佳互联信息技术有限公司 滤波器训练方法、装置、电子设备及存储介质
CN115348448A (zh) * 2022-10-19 2022-11-15 北京达佳互联信息技术有限公司 滤波器训练方法、装置、电子设备及存储介质
CN116112694A (zh) * 2022-12-09 2023-05-12 无锡天宸嘉航科技有限公司 一种应用于模型训练的视频数据编码方法及系统
CN116112694B (zh) * 2022-12-09 2023-12-15 无锡天宸嘉航科技有限公司 一种应用于模型训练的视频数据编码方法及系统
CN116665004A (zh) * 2023-07-31 2023-08-29 深圳海岸线数据技术有限公司 一种扩展现实图像处理方法、系统、设备及存储介质
CN116665004B (zh) * 2023-07-31 2023-11-10 深圳海岸线数据技术有限公司 一种扩展现实图像处理方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111711824B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN111711824B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN111819852B (zh) 用于变换域中残差符号预测的方法及装置
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN111819854B (zh) 用于协调多符号位隐藏和残差符号预测的方法和装置
US9414086B2 (en) Partial frame utilization in video codecs
CN111866512A (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
US20230319314A1 (en) Video coding with neural network based in-loop filtering
EP3711302B1 (en) Spatially adaptive quantization-aware deblocking filter
CN111741299B (zh) 帧内预测模式的选择方法、装置、设备及存储介质
US10009622B1 (en) Video coding with degradation of residuals
CN113259671B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN115668915A (zh) 图像编码方法、图像解码方法及相关装置
WO2021185257A1 (zh) 图像编码方法、图像解码方法及相关装置
JP2022548354A (ja) ビデオ復号方法、ビデオ符号化方法、装置、機器及び記憶媒体
CN116349225A (zh) 用于逐块图像压缩中的去块的内容自适应在线训练方法和装置
US9210424B1 (en) Adaptive prediction block size in video coding
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
CN114257810A (zh) 上下文模型的选择方法、装置、设备及存储介质
CN111953972A (zh) IBC模式下的Hash表构建方法、装置、设备
CN113132731A (zh) 视频解码方法、装置、设备及存储介质
CN111212288A (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
CN116760976B (zh) 仿射预测决策方法、装置、设备及存储介质
US20240015336A1 (en) Filtering method and apparatus, computer-readable medium, and electronic device
CN114286095B (zh) 视频解码方法、装置及设备
WO2022188239A1 (zh) 系数的编解码方法、编码器、解码器及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028472

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant