CN116433783A

CN116433783A - 用于视频处理的方法及装置、存储介质及电子装置

Info

Publication number: CN116433783A
Application number: CN202111679995.5A
Authority: CN
Inventors: 周怡; 邹文杰; 黄成�; 白雅贤
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2021-12-31
Filing date: 2021-12-31
Publication date: 2023-07-14
Also published as: WO2023124673A1

Abstract

本发明实施例提供了一种用于视频处理的方法及装置、存储介质及电子装置，其中，该方法包括：确定经重构视频单元的神经网络环路滤波启用标志；基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。通过本发明，解决了相关技术中存在的处理后的图像质量较差的问题。

Description

用于视频处理的方法及装置、存储介质及电子装置

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种用于视频处理的方法及装置、存储介质及电子装置。

背景技术

神经网络(Neural Network，简称为NN)为代表的机器学习技术运用于图像/视频编码成为趋势，其中基于神经网络的环路滤波(Neural Network In-loop Filter，简称为NNF))建立从失真域到原始/无损域的非线性映射关系，可大幅提升重建视频质量。

由于NNF网络训练的离线性，一般情况下，NNF后仍旧会使用自适应环路滤波(Adaptive Loop Filter，简称为ALF)滤波器来进一步提高编码图像的性能。NNF对视频的亮度分量大多可以达到最优的性能，ALF滤波模块在Slice(条带)层级进行决策选择时，若仅仅根据亮度分量的率失真优化性能进行判断，存在将ALF滤波模块关闭的情况。而色度分量的NNF大多情况下不是最优的，需要再进行色度ALF以及分量间自适应环路滤波(Cross-component Adaptive Loop Filter，简称为CCALF)让色度分量达到更好的性能。

但在目前的ALF滤波技术中，NNF滤波后直接使用ALF模块会导致以下问题：

如果条带层级亮度分量NNF后达到最优的性能，ALF滤波在亮度分量不再有提升，那么当前条带层级的亮度ALF就会置为关闭状态。然而一旦根据亮度的性能将ALF关闭，那么色度ALF以及CCALF都将被强制关闭，不会再进行色度的ALF滤波操作。NNF滤波后的色度分量若不进行ALF滤波，可能引入更多的值与原始值之间的偏差，导致图像质量无法达到最佳。

针对相关技术中存在的处理后的图像质量较差的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种用于视频处理的方法及装置、存储介质及电子装置，以至少解决相关技术中存在的处理后的图像质量较差的问题。

根据本发明的一个实施例，提供了一种用于视频处理的方法，包括：确定经重构视频单元的神经网络环路滤波启用标志；基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。

在一个可选的实施例中，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。

在一个可选的实施例中，所述自适应环路滤波启用标志包括亮度自适应环路滤波启用标志以及色度自适应环路滤波启用标志。

在一个可选的实施例中，所述色度自适应环路滤波启用标志包括以下至少之一：第一色度自适应环路滤波启用标志；第二色度自适应环路滤波启用标志；第一色度跨分量自适应环路滤波启用标志；第二色度跨分量自适应环路滤波启用标志。

在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述自适应环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波且所述自适应环路滤波启用标志在图像层级或条带层级指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

在一个可选的实施例中，所述方法还包括：基于所述色度自适应环路滤波启用标志确定是否对所述经重构视频单元执行色度自适应环路滤波。

在一个可选的实施例中，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志包括：为所述经重构视频单元设置与亮度分量的自适应环路滤波器相关联的第一标志。

在一个可选的实施例中，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志包括：为所述经重构视频单元设置与色度分量的自适应环路滤波器相关联的第二标志。

在一个可选的实施例中，在所述自适应环路滤波启用标志取值为第一值的情况下，所述自适应环路滤波启用标志用于指示对所述经重构视频单元执行自适应环路滤波；在所述自适应环路滤波启用标志取值为第二值的情况下，所述自适应环路滤波启用标志用于指示不对所述经重构视频单元执行自适应环路滤波；其中，所述第一值与所述第二值不同。

在一个可选的实施例中，对所述经重构视频单元执行自适应环路滤波包括以下操作至少之一：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波。

在一个可选的实施例中，在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，基于以下各项决策中的至少之一为所述经重构视频单元设置自适应环路滤波启用标志：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波的决策；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波的决策；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波的决策；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波的决策；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波的决策。

在一个可选的实施例中，所述神经网络环路滤波相关的滤波器信息包括神经网络环路滤波启用标志以及神经网络环路滤波引用的自适应参数集。

在一个可选的实施例中，所述神经网络环路滤波启用标志包括以下至少之一：亮度神经网络环路滤波启用标志；第一色度神经网络环路滤波启用标志；第二色度神经网络环路滤波启用标志。

在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述神经网络环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

在一个可选的实施例中，所述经重构视频单元对应于以下至少之一：视频图像、视频切片、视频图案块、条带Slice、编解码树单元CTU、编解码单元CU。

根据本发明的另一个实施例，还提供了一种用于视频处理的方法，包括：接收以下信息至少之一：与经重构视频单元的神经网络环路滤波相关的滤波器信息，与经重构视频单元的自适应环路滤波相关的滤波器信息；确定所述经重构视频单元的神经网络环路滤波启用标志以及所述经重构视频单元的自适应环路滤波启用标志；基于所述自适应环路滤波启用标志对所述经重构视频单元执行自适应环路滤波。

在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述自适应环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，确定所述经重构视频单元的亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，在图像层级或条带层级确定所述经重构视频单元的亮度自适应环路滤波启用标志；在所述亮度自适应环路滤波启用标志指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，确定所述经重构视频单元的色度自适应环路滤波启用标志。

在一个可选的实施例中，确定所述经重构视频单元的亮度自适应环路滤波启用标志包括：确定所述经重构视频单元的与亮度分量的自适应环路滤波器相关联的第一标志的值。

在一个可选的实施例中，确定所述经重构视频单元的色度自适应环路滤波启用标志包括：确定所述经重构视频单元的与色度分量的自适应环路滤波器相关联的第二标志的值。

在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述神经网络环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

根据本发明的另一个实施例，还提供了一种用于视频处理的装置，包括：确定模块，用于确定经重构视频单元的神经网络环路滤波启用标志；设置模块，用于基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；通知模块，用于通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。

在一个可选的实施例中，所述通知模块包括：通知单元，用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述自适应环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

根据本发明的另一个实施例，还提供了一种用于视频处理的装置，包括：接收模块，用于接收以下信息至少之一：与经重构视频单元的神经网络环路滤波相关的滤波器信息，与经重构视频单元的自适应环路滤波相关的滤波器信息；识别模块，用于在神经网络环路滤波启用标志指示对所述经重构视频单元执行神经网络环路滤波的情况下，识别所述经重构视频单元的自适应环路滤波启用标志；滤波模块，用于基于所述自适应环路滤波启用标志对所述经重构视频单元执行自适应环路滤波。

在一个可选的实施例中，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集APS。

在一个可选的实施例中，所述识别模块包括：识别单元，用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述自适应环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，可以基于经重构视频单元的神经网络环路滤波启用标志来为经重构视频单元设置自适应环路滤波启用标志，从而基于设置结果来执行自适应环路滤波，避免了在进行神经网络环路滤波后直接关闭自适应环路滤波，而导致的无法对图像进行进一步的亮度和/或色度处理，进而出现的图像质量无法达到最佳的问题，达到了提升图像质量的效果。

附图说明

图1是相关技术中的H.266/VVC环路滤波流程；

图2是相关技术中的NN滤波、ALF滤波流程示意图；

图3是本发明实施例的用于视频处理的方法的移动终端的硬件结构框图；

图4是根据本发明实施例的用于视频处理的方法的流程图一；

图5是根据本发明实施例的加入亮度开关后的picture/slice层的传输流程图；

图6是根据本发明实施例的加入update操作后的整体流程图；

图7是根据本发明实施例的update操作的具体流程图；

图8是根据本具体实施例的编码端基于NN滤波的ALF-SPLIT操作流程图；

图9是根据本发明实施例的加入了亮度开关之后picture/slice层的传输流程图；

图10是根据本发明实施例的加入了色度开关之后picture/slice层的传输流程图；

图11是根据本发明实施例的包含CC-ALF的ALF滤波框架图；

图12是根据本发明实施例的用于视频处理的方法的流程图二；

图13是根据本发明具体实施例的解码端基于NN滤波的ALF-SPLIT操作流程图；

图14是根据本具体实施例的编码端基于NN滤波的ALF-SPLIT操作流程图；

图15是根据本具体实施例的加入ALF-SPLIT开关后的picture/slice层的传输流程示意图；

图16是根据本发明实施例的一种用于视频处理的装置的结构框图；

图17是根据本发明实施例的另一种用于视频处理的装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

首先对本发明的相关技术进行说明：

新一代视频编码标准H.266/VVC(Versatile Video Coding，多功能视频编码，H.266的别称)采用基于块的混合编码框架，方块效应、振铃效应、颜色偏差以及图像模糊等失真效应仍存在于采用H.266/VVC标准的压缩视频中。为了降低这类失真对视频质量的影响，H.266/VVC中采用了环路滤波技术(In-loop Filtering)，包括亮度映射与色度缩放(Luma Mapping With Chroma Scaling,简称为LMCS)、去方块滤波(Deblocking Filter,简称为DBF)、像素自适应补偿(Sample Adaptive Offset，简称为SAO)以及自适应环路滤波(Adaptive LoopFilter，简称为ALF)。LMCS通过对动态范围内信息重新分配码字提高压缩效率；DBF用于降低方块效应；SAO用于改善振铃效应；ALF可以减少解码误差。H.266/VVC环路滤波流程如图1所示，其中，图1是相关技术中的H.266/VVC标准中环路滤波流程示意图；继H.266/VVC发布之后，基于NN的视频编码是下一代视频编码的研究热点。其中，在环路滤波模块中，NN滤波模块可以作为一个新的模块加入环路滤波中，也可以代替原本的DBF和SAO模块，这样既能节省传输开销，又能提高图像质量。一般地，编解码器中，基于NN滤波后仍旧会使用ALF滤波器来进一步提高图像性能，具体如图2所示，其中，图2中设置了“Slice级ALF开关”，该开关主要用于控制是否开启当前slice的亮度ALF。其中，图2是相关技术中的NN滤波、ALF滤波流程示意图。

根据本发明的一种实施例，编码端操作步骤如下：

(1)若序列参数集(Sequence parameter set，简称为SPS)层NN滤波开启，则对LMCS后的重建图像按照以下a-c步骤进行NN滤波。若关闭，则按传统的滤波流程(DBF、SAO)进行操作滤波。

a.预做NN滤波；

b.通过率失真优化(Rate Distortion Optimization，简称为RDO)进行NN滤波的slice/块(块可以指代CTU块，也可以是NN滤波块)级开关决策；

c.得到NN滤波后的重建图像。

(2)进行ALF滤波操作。

a.对亮度分量进行分类，色度不需要分类；

b.对亮度和色度分别计算新的APS滤波集；

c.对亮度进行Slice/CTU级的开关决策以及滤波集选择；

d.进行当前slice/CTU的ALF开关决策以及滤波集选择。先对亮度进行ALF决策，若决策后亮度ALF开启，则令当前slice的ALF开启，继续进行色度的Slice/CTU级的开关决策以及滤波集选择；若决策后亮度ALF关闭，则令当前slice的ALF关闭，色度ALF默认为关闭状态，不再进行色度的Slice/CTU级的开关决策以及滤波集选择。

e.得到经过ALF滤波后的重建图像。

(3)进行CCALF滤波操作。若当前slice开启ALF，则按以下a-c步骤进行CCALF滤波操作，输出最终的重建帧；若当前slice关闭ALF，则CCALF默认为关闭状态，不再进行CCALF操作，直接输出上一步的结果作为最终的重建帧。

a.对色度计算CCALF滤波集；

b.进行Slice/CTU级的开关决策以及滤波集选择；

c.得到CCALF滤波后的重建图像。

根据本发明的一种实施例，解码端滤波的操作步骤如下：

(1)若SPS层NN滤波开启，则对LMCS后的重建图像按照以下a-d步骤进行NN滤波。若关闭，则按传统的滤波流程(DBF、SAO)进行操作滤波。

a.从码流中获取NN滤波的Slice/CTU级的开关决策；

b.根据Slice的开关，若开，继续获取CTU的开关，转至步骤c；若关，不执行NN滤波操作，转至步骤d；

c.依次从码流中获取每个CTU的开关信息，若当前CTU开关信息为开，进行NN操作，若关，直接输出重建图；

d.得到NN滤波后的重建图像。

(2)若SPS层ALF滤波开启，则对(1)的重建图像按照以下a-d步骤进行ALF滤波处理。若关闭，直接输出(1)的重建图像。

a.分类：对亮度分量进行分类，色度不需要分类。

b.从码流中获取当前slice的ALF开关决策。首先从码流中获取当前slice的ALF开关信息，若开启则亮度支持使用ALF进行滤波；继续分别获取第一色度分量和第二色度分量的Slice级ALF开关信息，若开启，对应色度分量支持使用ALF进行滤波。当前slice的ALF开关信息，若关闭，则本Slice不支持亮度ALF、色度ALF和CCALF。

c.若当前Slice支持使用ALF，依次从码流中获取每个CTU中每个分量的ALF开关决策。若开关为开，则对CTU对应分量进行ALF滤波操作。

(3)进行ALF滤波操作，得到重建图像。

a.从码流中获取当前slice/CTU的CCALF开关决策。当前slice的ALF若开启，则；继续分别获取第一色度分量和第二色度分量的Slice级CC ALF开关信息，若开启，对应色度分量支持使用CCALF进行滤波；当前slice的ALF关闭，则默认CCALF为关闭状态，不再获取CCALF的信息。

b.若当前Slice支持使用CC ALF，依次从码流中获取每个CTU中每个分量的CC ALF开关决策。若开关为开，则对CTU对应分量进行CC ALF滤波操作。

c.进行CCALF滤波，得到重建图像。

由上述内容可知，NN滤波后的亮度ALF处于关闭状态，而亮度ALF一旦关闭，那么色度ALF以及CCALF也被强制关闭，由此可能会导致处理后的图像质量较低。

针对相关技术中存在的上述问题，在本发明实施例中提出了在NN滤波后的ALF模块中，将亮度ALF、色度ALF分开，让亮度ALF在关闭情况下，也会去进行色度ALF以及CCALF。由于NN滤波对亮度有明显的提升，所以在许多情况下，NN滤波后的亮度ALF处于关闭状态，而亮度ALF一旦关闭，那么色度ALF以及CCALF也被强制关闭。所以将亮度色度分开可以更好地满足色度的滤波需求，进一步提升色度性能。

下面结合实施例对本发明如何解决相关技术中存在的上述问题进行说明：

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图3是本发明实施例的用于视频处理的方法的移动终端的硬件结构框图。如图3所示，移动终端可以包括一个或多个(图3中仅示出一个)处理器302(处理器302可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器304，其中，上述移动终端还可以包括用于通信功能的传输设备306以及输入输出设备308。本领域普通技术人员可以理解，图3所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。

存储器304可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的用于视频处理的方法对应的计算机程序，处理器302通过运行存储在存储器304内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器304可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器304可进一步包括相对于处理器302远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置306包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置306可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种用于视频处理的方法，图4是根据本发明实施例的用于视频处理的方法的流程图一，如图4所示，该流程包括如下步骤：

步骤S402，确定经重构视频单元的神经网络环路滤波启用标志；

步骤S404，基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；

步骤S406，通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。

其中，执行上述操作的可以中视频编码侧的设备，例如，处理器，控制器，或者具备类似处理能力的设备等等。

在上述实施例中，所确定的神经网络环路滤波启用标志可以是确定神经网络环路滤波启用标志的具体状态，或者确定神经网络环路滤波启用标志的具体取值，其中，不同的状态或者不同的取值对应于不同的含义，例如，在确定神经网络环路滤波启用标志的状态为开，或者取值为1(当然，也可以是其他的取值，例如，取值为真等等)时，说明需要执行神经网络环路滤波，在确定神经网络环路滤波启用标志的状态为关，或者取值为0(当然，也可以是其他的取值，例如，取值为假等等)时，说明不需要执行神经网络环路滤波，同样地，设置自适应环路滤波启动标志实际上也是设置自适应环路滤波启动标志的状态，或者设置自适应环路滤波启动标志的具体值，且自适应环路滤波启动标志的不同的状态或者不同的取值也会对应不同的含义，在此，不再赘述。

此外，上述的通知与所述经重构视频单元的神经网络环路滤波相关的滤波器信息和/或与所述经重构视频单元的自适应环路滤波相关的滤波器信息的操作与设置自适应环路滤波启用标志的操作并没有必然的先后关系，可以先设置自适应环路滤波启用标志，再通知与神经网络环路滤波相关的滤波器信息和/或与自适应环路滤波相关的滤波器信息，还可以先通知与神经网络环路滤波相关的滤波器信息和/或与自适应环路滤波相关的滤波器信息，再设置自适应环路滤波启用标志，当然，还可以同时执行设置自适应环路滤波启用标志的操作和通知与神经网络环路滤波相关的滤波器信息和/或与自适应环路滤波相关的滤波器信息的操作。

在本实施例中，无论神经网络环路滤波和自适应环路滤波启动与否，都可以执行通知与神经网络环路滤波相关的滤波器信息和/或与自适应环路滤波相关的滤波器信息的操作。需要说明的是，在与神经网络环路滤波相关的滤波器信息和/或与自适应环路滤波相关的滤波器信息中如果涉及到S402和S404的操作结果的话，则需要在执行完成S402和S404之后，再去执行S406，对于解码端，也是类似的。

通过上述实施例，可以基于经重构视频单元的神经网络环路滤波启用标志来为经重构视频单元设置自适应环路滤波启用标志，从而基于设置结果来执行自适应环路滤波，避免了在进行神经网络环路滤波后直接关闭自适应环路滤波，而导致的无法对图像进行进一步的亮度和/或色度处理，进而出现的图像质量无法达到最佳的问题，达到了提升图像质量的效果。

在一个可选的实施例中，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。在本实施例中，自适应环路滤波启用标志可以是通过S404所确定出的，上述的自适应环路滤波引用的自适应参数集可以包括与色度相关的APS和/或与亮度相关的自适应参数集APS，关于与色度相关的APS和/或与亮度相关的APS的具体计算方式以及选择策略请参见后续具体实施例中的具体描述。

在一个可选的实施例中，所述自适应环路滤波启用标志包括亮度自适应环路滤波启用标志以及色度自适应环路滤波启用标志。在本实施例中，可以基于神经网络环路滤波启用标志来分别设置亮度自适应环路滤波启用标志以及色度自适应环路滤波启用标志，也就是说，亮度自适应环路滤波的启动与否与色度自适应环路滤波的启动与否没有必然的关联，通过将亮度、色度分开设置可以更好地满足色度的滤波需求，进一步提升色度性能。

在一个可选的实施例中，所述色度自适应环路滤波启用标志包括以下至少之一：第一色度自适应环路滤波启用标志；第二色度自适应环路滤波启用标志；第一色度跨分量自适应环路滤波启用标志；第二色度跨分量自适应环路滤波启用标志。在本实施例中，可以将色度自适应滤波启用标志进一步细分为多种类型色度的自适应环路滤波启用标志，其中，上述的第一色度自适应环路滤波启用标志可以指代蓝差Cb色度分量的自适应环路滤波启用标志，上述的第二色度自适应环路滤波启用标志可以指代红差Cr色度分量的自适应环路滤波启用标志，上述的第一色度跨分量自适应环路滤波启用标志可以指代Cb CCALF启用标志，上述的第二色度跨分量自适应环路滤波启用标志可以指代Cr CCALF启用标志。

在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述自适应环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。下面对各语法元素进行具体说明：

根据本发明的一种实施方式，在编码位流的SPS层级通过信令通知神经网络环路滤波启用标志以及自适应环路滤波启用标志。

表1是编码位流SPS层级的语法表，具体如下所示(需要说明的是，在后续的各表格中，各个标识的取值仅是示例性说明，在实际应用中还可以取其他类型的值，例如，用“真”和“假”来替代“1”和“0”，或者用其他类型的字符或符号来替代“1”和“0”等等)：

表1

表1中相关语法字段的语义说明如下，其中：

sps_nn_enabled_flag：SPS层级NNF滤波启用标志，用于指示SPS层级是否开启NNF滤波，为1表示开启，为0表示不开启。

sps_alf_enabled_flag：SPS层级ALF滤波启用标志，用于指示SPS层级是否开启ALF滤波，为1表示开启，为0表示不开启。

sps_ccalf_enabled_flag：SPS层级ALF滤波启用标志，用于指示SPS层级是否开启CC-ALF滤波，为1表示开启，为0表示不开启。

根据本发明的一种实施方式，在编码位流的PPS层级通过信令通知与神经网络环路滤波相关的滤波器信息的位置，以及与自适应环路滤波相关的滤波器信息的位置。

表2是编码位流PPS层级的语法表，具体如下所示：

表2

表2中相关语法字段的语义说明如下，其中：

pps_nnf_info_in_ph_flag：指示NNF滤波信息是否出现在PH层级。等于1时表示NNF滤波信息在PH层级，等于0表示NNF滤波信息在SH层级。解码器可以通过解析PH层级或SH层级中相关语法元素确定各个分量的NNF启用标志以及对应的滤波器信息。

pps_alf_info_in_ph_flag：指示ALF滤波信息是否出现在PH层级。等于1时表示ALF滤波信息在PH层级，等于0表示ALF滤波信息在SH层级。解码器可以通过解析PH层级或SH层级中相关语法元素确定各个分量的ALF启用标志以及对应的滤波器信息。

根据本发明的一种实施方式，在编码位流的PH层级信令通知神经网络环路滤波相关的滤波器信息以及自适应环路滤波相关的滤波器信息。

表3是编码位流PH层级的语法表，具体如下所示：

表3

表3中相关语法字段的语义说明如下：

其中，当pps_alf_info_in_ph_flag等于1时，表示ALF滤波信息出现在PH层级。解码器解析PH层级中alf_split_structure()语法结构或者alf_structure()语法结构确定各个分量的ALF启用标志以及对应的滤波器信息。

根据本发明的一种实施方式，在编码位流的SH层级信令通知神经网络环路滤波相关的滤波器信息以及自适应环路滤波相关的滤波器信息。

表4是编码位流SH层级的语法表，具体如下所示：

表4

表4中相关语法字段的语义说明如下，其中：

其中，当pps_alf_info_in_ph_flag等于0时，表示ALF滤波信息出现在SH层级。解码器解析SH层级中alf_split_structure()语法结构或者alf_structure()语法结构确定各个分量的ALF启用标志以及对应的滤波器信息。

PH层级或SH层级中包括的nn_structure()(即，表3中的nn_structure()以及表4中的nn_structure())语法结构具体如表5所示：

表5

其中：

nn_structure()语法结构中的神经网络环路滤波启用标志包括以下至少之一：

亮度分量神经网络环路滤波启用标志(nnf_luma_enabled_flag)；

第一色度分量神经网络环路滤波启用标志(nnf_cb_enabled_flag)；

第二色度分量神经网络环路滤波启用标志(nnf_cr_enabled_flag)；

nn_luma_enabled_flag:标识当前图像/Slice亮度分量是否使用NN，为1表示使用NN，为0表示不使用。

nn_cb_enabled_flag:标识当前图像/Slice亮度分量是否使用NN，为1表示使用NN，为0表示不使用。

nn_cr_enabled_flag:标识当前图像/Slice亮度分量是否使用NN，为1表示使用NN，为0表示不使用。

根据本发明的一种实施方式，在编码位流的SPS层级设置的NNF滤波启用标志(sps_nn_enabled_flag)指示SPS层级执行NNF滤波的情况下，编码位流的PH层级或SH层级中包括alf_split_structure()语法结构，用于在编码位流的PH层级或SH层级分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

alf_split_structure()语法结构中的自适应环路滤波启用标志包括以下至少之一：

亮度分量自适应环路滤波启用标志(alf_luma_enabled_flag)；

第一色度自适应环路滤波启用标志(alf_cb_enabled_flag)；

第二色度自适应环路滤波启用标志(alf_cr_enabled_flag)；

第一色度分量间自适应环路滤波启用标志(alf_cc_cb_enabled_flag)；

第二色度分量间自适应环路滤波启用标志(alf_cc_cr_enabled_flag)。

PH层级或SH层级中包括的alf_split_structure()语法结构具体如表6所示：

表6

表6中相关语法字段的语义说明如下，其中：

alf_luma_enabled_flag:PH层级或SH层级亮度分量ALF滤波启用标志，用于指示PH层级或SH层级是否开启亮度分量ALF滤波。为1表示开启，为0表示不开启。

num_alf_aps_ids_luma:标识当前图像/条带亮度ALF使用APS滤波子集的数量。alf_aps_id_luma[i]:标识第i个亮度APS滤波子集的ID号。

alf_cb_enabled_flag:PH层级或SH层级第一色度(即Cb蓝差)分量ALF滤波启用标志，用于指示PH层级或SH层级是否开启第一色度(即Cb蓝差)分量ALF滤波。为1表示开启，为0表示不开启。

alf_cr_enabled_flag:PH层级或SH层级第二色度(即Cr红差)分量ALF滤波启用标志，用于指示PH层级或SH层级是否开启第一色度(即Cr红差)分量ALF滤波。为1表示开启，为0表示不开启。

alf_aps_id_chroma:标识当前图像/条带色度ALF使用APS滤波器的ID。

alf_cc_cb_enabled_flag:PH层级或SH层级第一色度分量间(即亮度针对Cb蓝差)ALF滤波启用标志，用于指示PH层级或SH层级是否开启第一色度分量间(即亮度针对Cb蓝差)ALF滤波。为1表示开启，为0表示不开启。

alf_cc_cb_aps_id:标识当前图像/条带色度Cb分量使用CC-ALF滤波器的编号。

alf_cc_cr_enabled_flag:PH层级或SH层级第二色度分量间(即亮度针对Cr红差)ALF滤波启用标志，用于指示PH层级或SH层级是否开启第二色度分量间(即亮度针对Cr红差)ALF滤波。为1表示开启，为0表示不开启。

alf_cc_cr_aps_id:标识当前图像/条带色度Cr分量使用CC-ALF滤波器的编号。

根据本发明的一种实施方式，在编码位流的SPS层级设置的NNF滤波启用标志(sps_nn_enabled_flag)指示SPS层级不执行NNF滤波的情况下，编码位流的PH层级或SH层级中包括H.266/VVC标准中所定义的picture_header_structure()和slice_header()语法结构。

根据本发明的一种实施方式，在编码位流的CTU层级信令通知神经网络环路滤波相关的滤波器信息以及自适应环路滤波相关的滤波器信息。

表7是CTU层级的语法表，具体如下所示：

表7

表7中相关语法字段的语义说明如下：

nn_ctb_flag[0][CtbAddrX][CtbAddrY]：标识该CTB亮度神经网络环路滤波启用标志；

nn_ctb_flag[1][CtbAddrX][CtbAddrY]：标识该CTB第一色度神经网络环路滤波启用标志；

nn_ctb_flag[2][CtbAddrX][CtbAddrY]：标识该CTB第二色度神经网络环路滤波启用标志；

其中，sps_nn_enabled_flag相当于表1中所示的SPS层级的NNF滤波启用标志，其用于指示SPS层级是否开启NNF滤波，为1表示开启，为0表示不开启。

根据本发明的一种实施方式，在编码位流的SPS层级设置的NNF滤波启用标志(sps_nn_enabled_flag)指示SPS层级执行NNF滤波的情况下，编码位流的CTU层级中包括alf_split_ctb_structure()语法结构，用于在编码位流的CTB层级分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

alf_split_ctb_structure()语法结构中的自适应环路滤波启用标志包括以下至少之一：

亮度分量自适应环路滤波启用标志(alf_luma_enabled_flag)；

第一色度自适应环路滤波启用标志(alf_cb_enabled_flag)；

第二色度自适应环路滤波启用标志(alf_cr_enabled_flag)；

CTU层级中包括的alf_split_ctb_structure()语法结构具体如表8所示：

表8

表8中相关语法字段的语义说明如下，其中：

alf_luma_enabled_flag：CTB层级亮度分量ALF滤波启用标志，用于指示CTB层级是否开启亮度分量ALF滤波，为1表示开启，为0表示不开启，其中，通过引入luma相关元素来实现引入亮度总开关的目的；

alf_cb_enabled_flag：CTB层级第一色度分量ALF滤波启用标志，用于指示CTB层级是否开启第一色度分量ALF滤波，为1表示开启，为0表示不开启；

alf_cr_enabled_flag：CTB层级第二色度分量ALF滤波启用标志，用于指示CTB层级是否开启第二色度分量ALF滤波，为1表示开启，为0表示不开启。

此外，在上述alf_split_ctb_structure()语法结构中：

alf_ctb_flag[0][CtbAddrX][CtbAddrY]：标识该CTB是否使用亮度ALF滤波；

alf_ctb_flag[1][CtbAddrX][CtbAddrY]：标识该CTB是否使用第一色度ALF滤波；

alf_ctb_flag[2][CtbAddrX][CtbAddrY]：标识该CTB是否使用第二色度ALF滤波。

根据本发明的一种实施方式，在编码位流的SPS层级设置的NNF滤波启用标志(sps_nn_enabled_flag)指示SPS层级不执行NNF滤波的情况下，编码位流的CTU层级包括H.266/VVC标准中所定义的coding_tree_unit()语法结构。

在一个可选的实施例中，在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。在本实施例中，设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志实际上是对亮度自适应环路滤波启用标志的状态和色度自适应环路滤波启用标志的状态进行设置。可选地，若SPS层NN滤波开启，则对LMCS后的重建图像按照以下a-c操作进行NN滤波。若关闭，则按传统的滤波流程(DBF，SAO)进行操作滤波。

a.预做NN滤波；

b.通过RDO进行NN滤波的slice/块(块可以指代CTU块，也可以是NN滤波块)级开关决策；

c.重建NN滤波后的输出。

在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波且所述自适应环路滤波启用标志在图像层级或条带层级指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。在本实施例中，设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志实际上是对亮度自适应环路滤波启用标志的状态和色度自适应环路滤波启用标志的状态进行设置。在本实施例中，在确定需要执行神经网络环路滤波，并且，在确定不需要执行亮度自适应环路滤波的情况下可以引入一个色度自适应环路滤波启用标志update(更新)操作，即，在该情况下，可以为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志，即，若当前SPS层级NNF滤波启用标志开启并且当前PH层级/SH层级的ALF滤波启用标志关闭时会触发色度自适应环路滤波启用标志的update操作。

下面对具体如何设置色度自适应环路滤波启用标志进行说明，具体可以参见附图7中所示的update更新操作。在本实施例中，update中实际上主要包含的是色度ALF flag(标志)的传输，本实施例主要改变码流传输方式，编码端与前述实施例中的相同。但是在传输时，会根据NN去自适应调整传输参数。加入update操作后的整体流程可以参见附图6，其中，update更新操作的具体流程可以参见附图7。在图6和图7中，可以基于各个开关所对应的字段的取值来确定各个开关是否开启，例如，可以在开关对应的字段取值为1时，确认开关开启，在开关对应的字段取值为0时确认开关关断。对于后续其他附图中所涉及到的开关均是类似的操作，即，在开关对应的字段取值为1时，确认开关开启，在开关对应的字段取值为0时确认开关关断。后续不再赘述。

在加入update操作后，PH层级、SH层级、以及CTU层级的语法语义会对应调整。

根据本发明的一种实施方式，在编码位流的SPS层级设置的NNF滤波启用标志(sps_nn_enabled_flag)指示SPS层级执行NNF滤波，而编码位流的PH层级或SH层级的ALF滤波启用标志(alf_enabled_flag)指示PH层级或SH层级不执行ALF滤波的情况下，编码位流的PH层级或SH层级中包括alf_update_structure()语法结构，用于在编码位流的PH层级或SH层级更新色度自适应环路滤波启用标志，即分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

根据本发明的一种实施方式，在编码位流的PH层级通过信令通知神经网络环路滤波相关的滤波器信息以及自适应环路滤波相关的滤波器信息，表9是加入了update操作后，PH层级中包括的picture_header_structure()语法结构表，具体如下所示：

表9

其中，上述的alf_update_structure()是新加入到PH层级语法结构中的元素，用于更新色度ALF滤波的启用标志。在PH层级语法结构中现有的自适应滤波启用标志(alf_enabled_flag)等于0时，表示需要执行色度自适应环路滤波启用标志的更新操作。

根据本发明的一种实施方式，在编码位流的SH层级信令通知神经网络环路滤波相关的滤波器信息以及自适应环路滤波相关的滤波器信息，表10是加入了update操作后，SH层级中包括的slice_header()语法结构表，具体如下所示：

表10

其中，上述的alf_update_structure()是新加入到SH层级语法结构中的元素，用于更新色度ALF滤波的启用标志。SH层级语法结构中自适应滤波启用标志(alf_enabled_flag)等于0时，表示需要执行色度自适应环路滤波启用标志的更新操作。

PH层级或SH层级中包括的alf_update_structure()语法结构具体如表11所示：

表11

根据本发明的一种实施方式，在编码位流的SPS层级设置的NNF滤波启用标志(sps_nn_enabled_flag)指示SPS层级执行NNF滤波，而编码位流的PH层级或SH层级的ALF滤波启用标志(alf_enabled_flag)指示PH层级或SH层级不执行ALF滤波的情况下，编码位流的CTU层级中包括alf_update_structure()语法结构，用于在编码位流的CTU层级更新色度自适应环路滤波启用标志，即分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

表12是加入了update操作后，CTU层级中包括的coding_tree_unit()语法结构表，具体如下所示：

表12

其中，上述的alf_update_ctb_structure()是新加入到CTU层级语法结构中的元素，用于更新色度ALF滤波的启用标志。PH层级或SH层级语法结构中自适应滤波启用标志(alf_enabled_flag)等于0时，表示需要执行色度自适应环路滤波启用标志的更新操作。

根据本发明的一种实施方式，在编码位流的CTB层级可以通过信令通知自适应环路滤波相关的滤波器信息，既，通过CTB层级中的相关结构来实现自适应环路滤波相关的滤波信息的通知。

其中，CTB层级中包括的alf_update_ctb_structure()元素是用于指示传输色度ALF的CTB级开关信息，该元素语义具体如表13：

表13

其中：

alf_ctb_flag[1]用于指示该CTB第一色度自适应环路滤波启用标志；

alf_ctb_flag[2]用于指示该CTB第二色度自适应环路滤波启用标志；

alf_ctb_filter_alt_idx[0]用于指示该第一色度自适应网络环路滤波使用的滤波器ID；

alf_ctb_filter_alt_idx[1]用于指示该第二色度自适应网络环路滤波使用的滤波器ID。

在一个可选的实施例中，所述方法还包括：基于所述色度自适应环路滤波启用标志确定是否对所述经重构视频单元执行色度自适应环路滤波。在本实施例中，不同的色度自适应环路滤波启用标志所对应的操作是不同的，在色度自适应环路滤波启用标志取值为1时，可以表示需要对所述经重构视频单元执行色度自适应环路滤波，在色度自适应环路滤波启用标志取值为0时，可以表示不需要对所述经重构视频单元执行色度自适应环路滤波，当然，将取值设置为1和0仅是示例性说明。

在一个可选的实施例中，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志包括：为所述经重构视频单元设置与亮度分量的自适应环路滤波器相关联的第一标志。在原本的VVC标准中，亮度ALF的开启取决于ALF总控开关，总控开关开启，则亮度ALF一定使用，总控开关关闭，亮度ALF关闭，色度也关闭。这样是不合理的，因此可以在alf_structure()中新增亮度ALF开关或是对色度增加一个总开关，本实施例主要改变码流传输方式，编码端与前述实施例中的相同。但是在传输时，会根据NN去自适应调整传输参数。本实施例中主要对修改的alf_structure()与alf_ctb_structure()进行说明，在本实施例中，可以在alf_structure()中添加用于表示亮度总开关的元素，在alf_ctb_structure()中可以添加CTB级的用于表示亮度总开关的元素。在本实施例中，在加入了亮度开关之后picture/slice层的传输流程可以参见附图9。

下面对修改后的alf_structure()和修改后的alf_ctb_structure()分别进行说明：

修改后的alf_structure()的语法语义可以参见表14：

表14

其中，alf_luma_enabled_flag是新增加的亮度总开关，用于表示亮度ALF是否开启，上述alf_structure()中的其他元素与现有的H.266/VVC中所定义的alf_structure()语法结构中的元素一致。

修改后的alf_ctb_structure()的语法语义可以参见表15：

表15

其中，alf_luma_enabled_flag是新增加的CTB级的亮度总开关。

需要说明的是，其中alf_enabled_flag可以传输也可以不传输。不传输时，alf_enabled_flag按如下方式取值：

alf_enabled_flag＝alf_luma_enabled_flag||alf_cb_enabled_flag||alf_cr_enabled_flag||alf_cc_cb_enabled_flag||alf_cc_cr_enabled_flag。

在一个可选的实施例中，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志包括：为所述经重构视频单元设置与色度分量的自适应环路滤波器相关联的第二标志。本实施例中主要是对增加色度总开关进行说明，在本实施例中，可以在alf_structure()中添加用于表示色度总开关的元素，在alf_ctb_structure()中可以添加CTB级的用于表示色度总开关的元素，其中，加入色度总开关后的picture/slice层的传输流程可以参见附图10，此外，加入色度总开关后，alf_enabled_flag只作用于亮度上，语法语义表18-19所示：

修改后的alf_structure()的语法语义如表16所示：

表16

其中，alf_chroma_enabled_flag是新增加的色度总开关，用于表示色度ALF是否开启，上述alf_structure()中的其他元素与现有的H.266/VVC中所定义的alf_structure()语法结构中的元素一致。

修改后的alf_ctb_structure()的语法语义如表17所示：

表17

/>

其中，alf_chroma_enabled_flag是新增加的CTB级的色度总开关。

在一个可选的实施例中，在所述自适应环路滤波启用标志取值为第一值的情况下，所述自适应环路滤波启用标志用于指示对所述经重构视频单元执行自适应环路滤波；在所述自适应环路滤波启用标志取值为第二值的情况下，所述自适应环路滤波启用标志用于指示不对所述经重构视频单元执行自适应环路滤波；其中，所述第一值与所述第二值不同。在本实施例中，上述的第一值可以为“1”或者“真”或者其他的值，上述的第二值可以为“0”或者“假”或者其他的值。

在一个可选的实施例中，对所述经重构视频单元执行自适应环路滤波包括以下操作至少之一：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波。在本实施例中，亮度自适应环路滤波为Luma ALF，第一色度自适应环路滤波为Cb ALF，第二色度自适应环路滤波为Cr ALF，第一色度跨分量自适应环路滤波为CbCCALF，第二色度跨分量自适应环路滤波为Cr CCALF。其中，第一色度分量为蓝差(Cb)色度分量，第二色度分量为红差(Cr)色度分量。

在一个可选的实施例中，在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，基于以下各项决策中的至少之一为所述经重构视频单元设置自适应环路滤波启用标志：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波的决策；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波的决策；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波的决策；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波的决策；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波的决策。在本实施例中，若ALF-SPLIT开启条件成立则需要分别对亮度分量、色度分量执行滤波决策。

在一个可选的实施例中，所述神经网络环路滤波相关的滤波器信息包括神经网络环路滤波启用标志以及神经网络环路滤波引用的自适应参数集。在本实施利中，神经网络环路滤波启用标志在不同的状态或者说不同的取值下所执行的操作也是不同的。

在一个可选的实施例中，所述神经网络环路滤波启用标志包括以下至少之一：亮度神经网络环路滤波启用标志；第一色度神经网络环路滤波启用标志；第二色度神经网络环路滤波启用标志。在本实施例中，可以分别确定亮度神经网络环路滤波启用标志、第一色度神经网络环路滤波启用标志以及第二色度神经网络环路滤波启用标志，继而基于亮度神经网络环路滤波启用标志、第一色度神经网络环路滤波启用标志以及第二色度神经网络环路滤波启用标志来分别执行对应的操作。在本实施例中，用于指示神经网络环路滤波启用标志的语法结构可以如表18所示：

表18

其中，nn_luma_enabled_flag标识上述的亮度神经网络环路滤波启用标志；

nn_cb_enabled_flag标识上述的第一色度神经网络环路滤波启用标志；

nn_cr_enabled_flag标识上述的第二色度神经网络环路滤波启用标志。

在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述神经网络环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。前述实施例中已对个各个语法元素进行了具体描述，在此，不再赘述。

上述各实施例中的操作都是对编码端中的操作进行的说明。

下面结合具体实施例对编码端中的流程进行整体说明，图8是根据本具体实施例的编码端基于NN滤波的ALF-SPLIT操作流程图，具体包括如下步骤：

步骤1：NN滤波

若SPS层NN滤波开启，则对LMCS后的重建图像按照以下a-c操作进行NN滤波。若关闭，则按传统的滤波流程(DBF，SAO)进行操作滤波。具体包括如下a-c子步骤：

a.预做NN滤波；

c.重建NN滤波后的输出。

下面对各个子步骤进行具体说明：

针对步骤1-a：预做NN滤波操作：

得到LMCS的重建图像之后，首先进行NN滤波。

首先配置需要输入网络的各项数据，比如重建图像样本、QP信息、CU划分信息、去方块滤波信息、预测样本等等，然后将这些信息输入到网络模块，得到经过NN处理后的样本。

针对步骤1-b：Slice/块级NN滤波开关决策：

假设slice对应通道的NN滤波置为开启状态，计算其中的每个块的NN滤波前的cost与NN滤波后的cost，比较后得到每个块的开关状态，最终得到Slice开启NN滤波的cost；

假设slice不使用NN滤波，得到slice不采用NN滤波的cost；

针对当前slice的各个通道分别比较NN滤波前的cost与NN滤波后的cost，确定slice级NN滤波是否开启，若slice开启NN滤波，确定每个块级NN滤波是否开启。

针对步骤1-c：重建NN滤波后输出：

根据步骤1-b的slice/块级开关决策，得到NN滤波后的重建图像。

步骤2：自适应环路滤波(ALF)

对重建图像按照以下步骤进行自适应环路滤波处理，具体包括如下子步骤：

a.对亮度分量进行分类，色度不需要分类；

b.对亮度和色度分别计算新的APS滤波集；

c.进行ALF的slice/ctu级滤波决策。

若ALF-SPLIT开启条件成立，则对亮度和色度分别进行Slice/CTU级的开关决策以及滤波集选择；若ALF-SPLIT开启条件不成立，则先对亮度进行Slice/CTU级的开关决策以及滤波集选择，若抉择后亮度ALF处于开启状态，则将当前slice的ALF设为开启状态，继续进行色度的Slice/CTU级的开关决策以及滤波集选择，若决策后亮度ALF处于关闭状态，则将当前slice的ALF设为关闭状态，默认色度ALF为关闭状态，不再进行色度的Slice/CTU级的开关决策以及滤波集选择。

d.重建亮度和色度ALF后的输出。

下面对各个子步骤进行说明：

针对步骤2-a：分类

亮度ALF分类：

主要根据4x4像素块的内容特性，选择滤波器类型作为分类结果。4x4像素块的滤波器类确定方法步骤如下：

(1)计算拉普拉斯梯度

针对每个4x4亮度块，计算以该块为中心的8x8像素块中每个像素，在水平0°、垂直90°、135°、45°方向的一维拉普拉斯算子梯度。为了减少计算复杂度，仅针对横纵坐标都为偶数或都不为偶数的部分像素点，计算在水平0°、垂直90°、135°、45°方向的梯度，得到g_h、g_v。

(2)计算方向性因子D

方向性因子D体现梯度方向，首先根据g_h、g_v计算水平和垂直方向的梯度最大最小值的比值、对角方向的梯度最大最小值比值，然后与阈值t1＝2、t2＝4.5比较，得到方向性因子。

(3)计算活动性因子A

活动性因子A体现梯度的强弱，根据g_h、g_v以查表方式获得。

(4)分类结果

4x4小块的分类为：filtIdx＝5*D+A。

色度不需要分类

针对步骤2-b：计算新的APS滤波集

亮度计算APS滤波集方式：

构建APS滤波器的基本思想是:将Slice分成4x4的块，根据梯度计算每个4x4的块的方向性和活动度，进而得到每个块的滤波器类。针对每个滤波器类，将所有采用该类滤波器的4x4的块作为一个整体，利用维纳霍夫方程，从而求得该类滤波器的系数。

为了提高算法性能和降低计算复杂度，可以做如下优化：

(1)ALF并不是对每个CTU都能提高压缩性能，因此利用率失真优化策略，确定不采用ALF的CTU，将不采用ALF的CTU排除，重新计算滤波器系数。该优化策略可迭代多次，以至达到最优。

(2)APS滤波系数需要编码传输，合并减少25类滤波器可以提高压缩效率。获得25组滤波系数之后,对相邻滤波器类采用其中一组滤波器系数,如果引起的压缩性能下降有限,对相邻滤波器类进行融合成成一类。该优化策略可迭代多次，以至达到最优。

色度计算APS滤波集方式：

针对色度分量，将slice划分成8个部分，每个区域内分别包含连续整数个CTU，各部分CTU数量保持基本一致。为每个区域，计算一组滤波器系数，共得到8组滤波器。然后，类似亮度分量，可以通过合并色度分量区域的方式优化合并滤波器组，从而节省编码比特。

针对步骤2-c：Slice/CTU级的开关决策以及滤波集选择

亮度开关决策以及滤波集选择：

亮度可以在slice和CTU开关级别选择是否开启ALF操作。

对于亮度ALF，滤波系数集包含16个固定子集和最多7个APS子集，每个子集包含25个滤波器类。对于每个选用亮度ALF的CTU，选用的滤波子集由编码的子集索引确定，选用的滤波器类由像素块的内容特征确定，具体使用哪个滤波集根据RDO选择。

色度开关决策以及滤波集选择：

同样色度可以在slice和CTU开关级别选择是否开启ALF操作。

色度ALF只使用APS滤波器子集。APS层编码传输色度APS子集时，与亮度信息APS子集共用一个ID号，也最多维持7个APS子集。每个Slice只使用一个APS子集，且Cb分量和Cr分量共同使用一个APS子集。

色度分量Cb和Cr，每个APS子集都包含最多8个滤波器。每个CTU选择使用其中的一个滤波器，Cb分量和Cr分量可以使用不同索引的滤波器，具体使用哪个滤波器根据RDO选择。

此外，加入亮度和色度开关后的picture/slice层的传输流程可以参见附图5。在图5中，Luma ALF开关主要是用于控制是否开启亮度ALF，即在用于指示该Luma ALF开关的字段取值为1时，表示开启，取值为0时，表示关闭；Cb ALF开关主要是用于控制是否开启第一色度分量Cb ALF，即在用于指示该Cb ALF开关的字段取值为1时，表示开启，取值为0时，表示关闭；Cr ALF开关主要是用于控制是否开启第二色度分量Cr ALF，即在用于指示该CrALF开关的字段取值为1时，表示开启，取值为0时，表示关闭；Cb CC ALF开关主要是用于控制是否开启第一色度分量分量间ALF，即在用于指示该Cb CC ALF开关的字段取值为1时，表示开启，取值为0时，表示关闭；Cr CC ALF开关主要是用于控制是否开启第二色度分量分量间ALF，即在用于指示该Cr CC ALF开关的字段取值为1时，表示开启，取值为0时，表示关闭。

针对步骤2-d：ALF滤波操作

亮度滤波操作：

根据以上步骤，可以为每个4x4的亮度块确定一个7x7的滤波模板。然后对4x4的亮度块中的每一个像素进行滤波处理。

色度滤波操作：

根据以上步骤，可以为每个色度CTU确定一个5x5的滤波模板。然后对CTU中的色度块中的每一个像素进行滤波处理。

合并亮度和色度得到ALF后的重建帧。

步骤3：分量间自适应环路滤波(CCALF)

通常视频的亮度分量包含的细节纹理较多，而色度分量相对平坦。另外，人眼对亮度信息更敏感，视频编码也会尽量保留更多的细节。可以通过对亮度信息进行ALF补偿色度分量的细节，进而改善色度分量的压缩性能。因此，H.266/VVC中引入了分量间ALF(CC-ALF)，利用ALF滤波之前的重建亮度值进行CC-ALF，对色度值进行补充和修正，包含CC-ALF的ALF滤波框架如图11所示。

CCALF编码端具体步骤如下：

若SPS层的NN滤波开启，则直接进行以下CCALF的步骤，输出最终的重建帧；若SPS层的NN滤波关闭，则需要判断当前slice的亮度ALF是否开启，若开启则进行如下CCALF的步骤，若当前slice的亮度ALF关闭，则默认CCALF为关闭状态，不再进行CCALF操作，直接输出上一步的结果作为最终重建帧。具体包括如下子步骤：

a.对色度计算CCALF滤波集；

b.进行Slice/CTU级的开关决策以及滤波集选择；

c.重建CCALF后的输出。

下面对各个子步骤进行说明：

针对步骤3-a：计算CCALF滤波集

将slice划分成4个部分，每个区域内分别包含连续整数个CTU，各部分CTU数量保持基本一致。为每个区域，计算一组滤波器系数，共得到4组滤波器。然后，类似色度ALF，可以通过合并色度分量区域的方式优化合并滤波器组，从而节省编码比特。

针对步骤3-b：Slice/CTU级的开关决策以及滤波集选择

CCALF操作可以在slice和CTU开关级别选择是否开启。

CC-ALF只使用APS滤波器子集。APS层编码传输CC-ALF的APS子集时，最多维持7个APS子集。每个Slice只使用一个APS子集，且Cb分量和Cr分量可以使用不同的APS子集。

CC-ALF针对色度分量Cb和Cr，每个APS子集都包含最多4个滤波器。每个CTU选择使用其中的一个滤波器，Cb分量和Cr分量可以使用不同索引的滤波器，具体使用哪个滤波器根据RDO选择。

针对步骤3-c：CCALF滤波操作

根据以上步骤，可以为每个色度CTU确定一个3x4的滤波模板。然后对CTU中的色度块中的每一个像素进行滤波处理。

需要说明的是，上述具体实施例中所提及的滤波系数可以在APS层传输，当aps_params_type为ALF_APS时，解析alf_data()语法结构。alf_data()中包含了ALF的滤波集参数，解码端通过解析APS层中的alf_data()获取ALF对应的滤波集参数。语法语义如表19所示：

表19

其中，alf_data()的语法语义如表20所示：

表20

/>

其中：

alf_luma_filter_signal_flag:标识是否包含亮度ALF滤波系数，为1表示包含，为О表示不包含。

alf_chroma_filter_signal_flag:标识是否包含色度ALF滤波系数，为1表示包含，为0表示不包含。

alf_cc_cb_filter_signal_flag:标识是否包含Cb分量CC-ALF滤波系数，为1表示包含，为0表示不包含。

alf_cc_cr_filter_signal_flag:标识是否包含Cr分量CC-ALF滤波系数，为1表示包含，为0表示不包含。

alf_luma_clip_flag:标识是否包含亮度钳位门限值，为1表示包含，为О表示不包含。alf_luma_num_filters_signalled_minus1:标识亮度ALF子集中包含的滤波器数量，为该值加1。

alf_luma_coeff_delta_idx[filtIdx]:标识亮度ALF第filteridx个分类所使用的滤波器的序号，因为多个滤波器类可能使用同一组滤波器。

alf_luma_coeff_abs[sfIdx][j]:标识亮度ALF第filtIdx个滤波器的第j个滤波系数的绝对值。

alf_luma_coeff_sign[sfldx][j]:标识亮度ALF第filtldx个滤波器的第j个滤波系数的符号。

alf_luma_clip_idx[sfldx][j]:标识亮度ALF第filtldx个滤波器的第j个滤波系数对应钳位门限值。

alf_chroma_clip_flag:标识是否包含色度钳位门限值,为1表示包含，为О表示不包含。alf_chroma_num_alt_filters_minus1:标识色度ALF子集中包含的滤波器数量，为该值加1。

alf_chroma_coeff_abs[altldx][j]:标识色度ALF第altIdx个滤波器的第j个滤波系数的绝对值。

alf_chroma_coeff_sign[altldx][j]:标识色度ALF第altIdx个滤波器的第j个滤波系数的符号。

alf_chroma_clip_idx[altIldx][j]:标识色度ALF第altldx个滤波器的第j个滤波系数对应钳位门限值。

alf_cc_cb_filters_signalled_minus1:标识色度Cb分量CC-ALF子集中包含的滤波器数量，为该值加1。

alf_cc_cb_mapped_coeff_abs[k][j]:标识色度Cb分量CC-ALF第i个滤波器的第j个滤波系数的绝对值。

alf_cc_cb_coef_sign[k][j]:标识色度Cb分量CC-ALF第i个滤波器的第j个滤波系数的符号。

alf_cc_cr_filters_signalled_minus1:标识色度Cr分量CC-ALF子集中包含的滤波器数量，为该值加1。

alf_cc_cr_mapped_coeff_abs[k][j]:标识色度Cr分量CC-ALF第i个滤波器的第j个滤波系数的绝对值。

alf_cc_or_coeff_sign[k][j]:标识色度Cr分量CC-ALF第i个滤波器的第j个滤波系数的符号。

在本实施例中还提供了一种用于视频处理的方法，图12是根据本发明实施例的用于视频处理的方法的流程图二，如图12所示，该流程包括如下步骤：

步骤S1202，接收以下信息至少之一：与经重构视频单元的神经网络环路滤波相关的滤波器信息，与经重构视频单元的自适应环路滤波相关的滤波器信息；

步骤S1204，确定所述经重构视频单元的神经网络环路滤波启用标志以及所述经重构视频单元的自适应环路滤波启用标志；

步骤S1206，基于所述自适应环路滤波启用标志对所述经重构视频单元执行自适应环路滤波。

其中，执行上述操作的可以中视频解码侧的设备，例如，处理器，控制器，或者具备类似处理能力的设备等等。

通过上述实施例，可以基于经重构视频单元的神经网络环路滤波启用标志来为经重构视频单元设置自适应环路滤波启用标志，从而可以基于神经网络环路滤波启用标志来识别所述经重构视频单元的自适应环路滤波启用标志，进而基于识别结果来执行自适应环路滤波，避免了在进行神经网络环路滤波后直接关闭自适应环路滤波，而导致的无法对图像进行进一步的亮度和/或色度处理，进而出现的图像质量无法达到最佳的问题，达到了提升图像质量的效果。

在本实施例中，神经网络滤波自适应参数集APS语法元素具体如表21所示：

表21

if(aps_params_type＝＝NNF_APS)
	nnf_data()

自适应参数集类型(aps_params_type)字段取值NNF_APS指示NN滤波自适应参数集。

其中，nnf_data中携带的滤波参数信息，主要包括：

滤波系数绝对值；

滤波系数符号。

作为一种可选实施方式，nnf_data中与亮度分量NN滤波相关语法元素具体如表22所示：

表22

作为一种可选实施方式，nnf_data中与色度分量NN滤波相关语法元素具体如表23所示：

表23

在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述神经网络环路滤波相关的滤波器信息中包括的神经网络环路滤波启用标志：

序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

上述各实施例中的操作都是对解码端中的操作进行的说明。

下面结合具体实施例对解码端中的流程进行整体说明，具体包括如下步骤：

图13是根据本发明具体实施例的解码端基于NN滤波的ALF-SPLIT操作流程图，主方案ALF_SPLIT操作应用于解码端滤波操作时如图13所示，其中，当前Slice的亮度和色度ALF，以及CCALF的Slice/CTU级开关以及滤波集的选择通过解析码流获得。整体流程如下：

ALF-SPLIT开启条件：SPS层NN滤波开关开启

(1)得到LMCS的重建图像之后，若SPS层的NN滤波开关开启，则按以下步骤进行NN滤波；若SPS层的NN滤波关闭，则按照传统的滤波流程进行滤波。

a.从码流中获取滤波的Slice/块级的开关决策。

b.根据开关信息重建NN滤波后的输出。

(2)对NN后的重建图像进行ALF处理，得到最终重建图像。

a.分类。对亮度分量进行分类，色度不需要分类。

b.从码流中获取当前slice/CTU的ALF开关决策。

若ALF-SPLIT开启条件成立，从码流中分别获取亮度和色度的Slice/CTU级的开关信息以及对应的滤波集；若ALF-SPLIT开启条件不成立，则从码流中获取当前slice的开关信息，若开启则亮度ALF设置为开启，继续获取色度的Slice级开关信息，然后根据亮度色度的开关情况去获取ctu开关信息以及对应的滤波集。若当前slice的ALF关闭，则亮度ALF设置为关闭，不再获取色度的slice开关信息，默认色度ALF为关闭状态。

c.对亮度色度进行ALF滤波操作。

(3)对NN后的重建图像进行CCALF处理，输出最终得重建帧。

a.从码流中获取当前slice/CTU的CCALF开关决策。

若ALF-SPLIT开启条件成立，直接从码流中获取当前slice CCALF的Slice/CTU级的开关信息以及对应的滤波集；若ALF-SPLIT开启条件不成立，则需要判断当前slice亮度ALF是否开启，若开启，则继续从码流中获取CCALF的Slice/CTU级的开关信息以及对应的滤波集，若当前slice的ALF处于关闭状态，则默认CCALF为关闭状态，不再进行色度的Slice/CTU级的开关决策以及滤波集选择。

b.进行CCALF滤波。

根据本发明的一个具体实施例，还提供了一种改变ALF-SPLIT的开启条件的方案，

前述的方案(具体可参见前述的对编码端中的流程进行整体说明的方案)中的ALF-SPLIT仅为一种实现方法。前述方案的主要思想是在NN滤波后，将亮度色度ALF划分开。考虑到NN后ALF大量关闭是因为NN的对亮度性能有大量提升，导致亮度ALF大量关闭，强制色度ALF以及CCALF关闭。那如果当前picture/slice没有进行NN滤波时，亮度ALF一般处于开启状态，就不需要进行ALF-SPLIT。

前述的方案中出现以下两种情况时，不需要进行ALF-SPLIT操作：

当NN进行滤波决策时，若slice层决定关闭NN滤波。

当前slice的NN滤波开关开启，但是其中多数CTU的NN滤波开关关闭。

基于以上2点，本具体实施方案从NN滤波模块中提取ALF-SPLIT的开关，增加ALF-SPLIT针对NN滤波的自适应性，提出以下可选实施方案。

本具体实施例中方案主要改变编码端，解码端与前述实施例中格的一致。

图14是根据本具体实施例的编码端基于NN滤波的ALF-SPLIT操作流程图，编码端整体流程具体如下：

(1)对LMCS后的重建图像进行NN滤波。

a.NN滤波操作。与前述实施例中的编码端1-a步骤相同；

b.NN的Slice/块级NN滤波开关决策，并生成ALF-SPLIT的开关决策。NN的Slice/块级NN滤波开关决策与前述实施例中格的编码端步骤1-b一致。ALF-SPLIT的开关决策有两种生成方式，并将ALF-SPLIT开关决策写入码流。

①根据NN的slice开关，决定是否开启ALF-SPLIT。若当前slice的NN滤波开启，则令ALF-SPLIT开启条件成立；若关闭，则设置ALF-SPLIT开启条件不成立。

②根据NN的CTU开关占比，决定是否开启ALF-SPLIT。若当前slice为开启状态，则统计开启的CTU所占CTU总数的比例，若大于阈值，这里假设阈值为50％，则设置ALF-SPLIT的flag为开启，否则设置ALF-SPLIT的flag为关闭；若当前slice的NN滤波为关闭状态，则ALF-SPLIT的flag为关闭。

c.重建NN滤波后输出。与前述实施例中编码端1-c步骤相同。

(2)进行ALF滤波操作。获取ALF-SPLIT开启条件是否成立，其他步骤与前述实施例中编码端步骤2一致。

(3)进行CCALF滤波操作。获取ALF-SPLIT开启条件是否成立，与前述实施例中编码端步骤3一致。

下面对本具体实施例中涉及到的语法语义进行说明：

加入ALF-SPLIT开关后的picture/slice层的传输流程示意图可以参见附图15。

本具体实施例中的语法语义主要改变PH层，SH层以及CTU层的ALF-SPLIT开关条件，其余层未发生改变。在nn_structure()会传输ALF-SPLIT的开关信息。

本具体实施例中的nn_structure()的语法语义具体参见表24：

表24

其中，该表24实际上是在表18的基础上额外增加了alf_split_enabled_flag元素，该新增元素用于表示ALF-SPLIT技术是否开启。为1表示开启，为0表示不开启。不存在时，按其等于0处理。

(这个语法元素根据NN中的信息生成，比如上面提到的使用NN滤波开启的CTU占比若大于阈值，则开启)。

在本具体实施例中，在编码位流的PH层级通过信令通知神经网络环路滤波相关的滤波器信息以及自适应环路滤波相关的滤波器信息。本具体实施例中所涉及到的PH层中的语法语义具体参见表25：

表25

其中，该表25实际上是在表格3的基础上，调整了alf_split_structure()的执行前提，即在确定alf_split_enabled_flag等于1时，执行ALF-SPLIT操作。

在本具体实施例中，在编码位流的SH层级通过信令通知神经网络环路滤波相关的滤波器信息以及自适应环路滤波相关的滤波器信息。本具体实施例中所涉及到的SH层中的语法语义具体参见表26：

表26

其中，该表26实际上是在表格4的基础上，调整了alf_split_structure()的执行前提，即在确定alf_split_enabled_flag等于1时，执行ALF-SPLIT操作。

CTU层中的语法语义具体参见表27：

表27

根据本发明的一个具体实施例，还提供了一种在不改码流的情况下实现ALF-SPLIT，本具体实施例只涉及编码端修正，不改变码流的传输。

编码端步骤如下：

(1)NN操作滤波。与前述的方案(具体可参见前述的对编码端中的流程进行整体说明的方案)的步骤1一致。

(2)进行ALF滤波操作。

a.对亮度分量进行分类，色度不需要分类；

b.对亮度和色度分别计算新的APS滤波集；

c.进行ALF的slice/ctu级滤波决策。

则对亮度和色度分别进行Slice/CTU级的开关决策以及滤波集选择，若亮度色度在决策后至少有一个开启，那么当前slice的ALF开关置为开启。若亮度色度ALF在决策后都关闭，则当前slice的ALF开关设置为关闭。

d.重建亮度和色度ALF后的输出

(3)进行CCALF滤波操作。

a.对色度计算CCALF滤波集

b.进行CCALF的Slice/CTU级的开关决策以及滤波集选择。

若决策后当前slice开启CCALF，则更新当前slice的ALF开关置为开启。若决策后关闭CCALF，则保持之前的ALF开关不变。

c.重建CCALF后的输出。

需要说明的是，在该情况下，色度ALF和CCALF一旦做了，那么亮度ALF便会传输信息。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种用于视频处理的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图16是根据本发明实施例的一种用于视频处理的装置的结构框图，如图16所示，该装置包括：

第一确定模块162，用于确定经重构视频单元的神经网络环路滤波启用标志；

设置模块164，用于基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；

通知模块166，用于通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。

在一个可选的实施例中，所述通知模块166用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述自适应环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

在一个可选的实施例中，所述装置还用于：在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

在一个可选的实施例中，所述装置还用于：在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波且所述自适应环路滤波启用标志在图像层级或条带层级指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

在一个可选的实施例中，所述装置还用于：基于所述色度自适应环路滤波启用标志确定是否对所述经重构视频单元执行色度自适应环路滤波。

在一个可选的实施例中，所述装置用于通过如下方式为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志：为所述经重构视频单元设置与亮度分量的自适应环路滤波器相关联的第一标志。

在一个可选的实施例中，所述装置用于通过如下方式为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志：为所述经重构视频单元设置与色度分量的自适应环路滤波器相关联的第二标志。

在一个可选的实施例中，所述装置用于通过如下方式至少之一对所述经重构视频单元执行自适应环路滤波：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波。

在一个可选的实施例中，在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，所述装置用于基于以下各项决策中的至少之一为所述经重构视频单元设置自适应环路滤波启用标志：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波的决策；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波的决策；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波的决策；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波的决策；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波的决策。

在一个可选的实施例中，所述通知模块166用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述神经网络环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

图17是根据本发明实施例的另一种用于视频处理的装置的结构框图，如图17所示，该装置包括：

接收模块172，用于接收以下信息至少之一：与经重构视频单元的神经网络环路滤波相关的滤波器信息，与经重构视频单元的自适应环路滤波相关的滤波器信息；

第二确定模块174，用于确定所述经重构视频单元的神经网络环路滤波启用标志以及所述经重构视频单元的自适应环路滤波启用标志；

滤波模块176，用于基于所述自适应环路滤波启用标志对所述经重构视频单元执行自适应环路滤波。

在一个可选的实施例中，所述第二确定模块174用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述自适应环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

在一个可选的实施例中，所述装置还用于：在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，确定所述经重构视频单元的亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

在一个可选的实施例中，所述装置还用于：在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，在图像层级或条带层级确定所述经重构视频单元的亮度自适应环路滤波启用标志；在所述亮度自适应环路滤波启用标志指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，确定所述经重构视频单元的色度自适应环路滤波启用标志。

在一个可选的实施例中，所述装置用于通过如下方式确定所述经重构视频单元的亮度自适应环路滤波启用标志：确定所述经重构视频单元的与亮度分量的自适应环路滤波器相关联的第一标志的值。

在一个可选的实施例中，所述装置用于通过如下方式确定所述经重构视频单元的色度自适应环路滤波启用标志：确定所述经重构视频单元的与色度分量的自适应环路滤波器相关联的第二标志的值。

在一个可选的实施例中，所述第二确定模块174用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述神经网络环路滤波启用标志：序列参数集SPS、图像参数集PPS、图像头PH、条带头SH、编解码树单元CTU。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种用于视频处理的方法，其特征在于，包括：

确定经重构视频单元的神经网络环路滤波启用标志；

基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；

通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。

2.根据权利要求1所述的方法,其特征在于，所述自适应环路滤波相关的滤波器信息包括所述自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。

3.根据权利要求1所述的方法,其特征在于，所述自适应环路滤波启用标志包括亮度自适应环路滤波启用标志以及色度自适应环路滤波启用标志。

4.根据权利要求3所述的方法,其特征在于，所述色度自适应环路滤波启用标志包括以下至少之一：

第一色度自适应环路滤波启用标志；

第二色度自适应环路滤波启用标志；

第一色度跨分量自适应环路滤波启用标志；

第二色度跨分量自适应环路滤波启用标志。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述自适应环路滤波启用标志：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波且所述自适应环路滤波启用标志在图像层级或条带层级指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：

基于所述色度自适应环路滤波启用标志确定是否对所述经重构视频单元执行色度自适应环路滤波。

9.根据权利要求6至8中任一项所述的方法，其特征在于，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志包括：

为所述经重构视频单元设置与亮度分量的自适应环路滤波器相关联的第一标志。

10.根据权利要求6至8中任一项所述的方法，其特征在于，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志包括：

为所述经重构视频单元设置与色度分量的自适应环路滤波器相关联的第二标志。

11.根据权利要求1至10中任一项所述的方法,其特征在于，

在所述自适应环路滤波启用标志取值为第一值的情况下，所述自适应环路滤波启用标志用于指示对所述经重构视频单元执行自适应环路滤波；

在所述自适应环路滤波启用标志取值为第二值的情况下，所述自适应环路滤波启用标志用于指示不对所述经重构视频单元执行自适应环路滤波；

其中，所述第一值与所述第二值不同。

12.根据权利要求11所述的方法，其特征在于，对所述经重构视频单元执行自适应环路滤波包括以下操作至少之一：

对所述经重构视频单元的亮度分量执行亮度自适应环路滤波；

对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波；

对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波；

对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波；

对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波。

13.根据权利要求1所述的方法，其特征在于，在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，基于以下各项决策中的至少之一为所述经重构视频单元设置自适应环路滤波启用标志：

对所述经重构视频单元的亮度分量执行亮度自适应环路滤波的决策；

对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波的决策；

对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波的决策；

对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波的决策；

对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波的决策。

14.根据权利要求1所述的方法,其特征在于，所述神经网络环路滤波相关的滤波器信息包括神经网络环路滤波启用标志以及神经网络环路滤波引用的自适应参数集。

15.根据权利要求1所述的方法,其特征在于，所述神经网络环路滤波启用标志包括以下至少之一：

亮度神经网络环路滤波启用标志；

第一色度神经网络环路滤波启用标志；

第二色度神经网络环路滤波启用标志。

16.根据权利要求1至15中任一项所述的方法，其特征在于，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述神经网络环路滤波启用标志：

17.根据权利要求1至16中任一项所述的方法,其特征在于，所述经重构视频单元对应于以下至少之一：

视频图像、视频切片、视频图案块、条带Slice、编解码树单元CTU、编解码单元CU。

18.一种用于视频处理的方法，其特征在于，包括：

接收以下信息至少之一：与经重构视频单元的神经网络环路滤波相关的滤波器信息，与经重构视频单元的自适应环路滤波相关的滤波器信息；

确定所述经重构视频单元的神经网络环路滤波启用标志以及所述经重构视频单元的自适应环路滤波启用标志；

基于所述自适应环路滤波启用标志对所述经重构视频单元执行自适应环路滤波。

19.根据权利要求18所述的方法,其特征在于，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。

20.根据权利要求18所述的方法,其特征在于，所述自适应环路滤波启用标志包括亮度自适应环路滤波启用标志以及色度自适应环路滤波启用标志。

21.根据权利要求20中所述的方法,其特征在于，所述色度自适应环路滤波启用标志包括以下至少之一：

第一色度自适应环路滤波启用标志；

第二色度自适应环路滤波启用标志；

第一色度跨分量自适应环路滤波启用标志；

第二色度跨分量自适应环路滤波启用标志。

22.根据权利要求18至21中任一项所述的方法，其特征在于，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述自适应环路滤波启用标志：

23.根据权利要求18所述的方法，其特征在于，所述方法还包括：

在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，确定所述经重构视频单元的亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

24.根据权利要求18所述的方法，其特征在于，所述方法还包括：

在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，在图像层级或条带层级确定所述经重构视频单元的亮度自适应环路滤波启用标志；

在所述亮度自适应环路滤波启用标志指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，确定所述经重构视频单元的色度自适应环路滤波启用标志。

25.根据权利要求23或24所述的方法，其特征在于，所述方法还包括：

26.根据权利要求23至25中任一项所述的方法，其特征在于，确定所述经重构视频单元的亮度自适应环路滤波启用标志包括：

确定所述经重构视频单元的与亮度分量的自适应环路滤波器相关联的第一标志的值。

27.根据权利要求23至25中任一项所述的方法，其特征在于，确定所述经重构视频单元的色度自适应环路滤波启用标志包括：

确定所述经重构视频单元的与色度分量的自适应环路滤波器相关联的第二标志的值。

28.根据权利要求18至27中任一项所述的方法,其特征在于，

其中，所述第一值与所述第二值不同。

29.根据权利要求18所述的方法，其特征在于，对所述经重构视频单元执行自适应环路滤波包括以下操作至少之一：

30.根据权利要求18所述的方法,其特征在于，所述神经网络环路滤波相关的滤波器信息包括神经网络环路滤波启用标志以及神经网络环路滤波引用的自适应参数集。

31.根据权利要求18所述的方法,其特征在于，所述神经网络环路滤波启用标志包括以下至少之一：

亮度神经网络环路滤波启用标志；

第一色度神经网络环路滤波启用标志；

第二色度神经网络环路滤波启用标志。

32.根据权利要求18至31中任一项所述的方法，其特征在于，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述神经网络环路滤波启用标志：

33.根据权利要求18至32中任一项所述的方法,其特征在于，所述经重构视频单元对应于以下至少之一：

34.一种用于视频处理的装置，其特征在于，包括：

确定模块，用于确定经重构视频单元的神经网络环路滤波启用标志；

设置模块，用于基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；

通知模块，用于通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。

35.根据权利要求34所述的装置，其特征在于，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。

36.根据权利要求34或35所述的装置，其特征在于，所述通知模块包括：

通知单元，用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述自适应环路滤波启用标志：

37.一种用于视频处理的装置，其特征在于，包括：

接收模块，用于接收以下信息至少之一：与经重构视频单元的神经网络环路滤波相关的滤波器信息，与经重构视频单元的自适应环路滤波相关的滤波器信息；

识别模块，用于在神经网络环路滤波启用标志指示对所述经重构视频单元执行神经网络环路滤波的情况下，识别所述经重构视频单元的自适应环路滤波启用标志；

滤波模块，用于基于所述自适应环路滤波启用标志对所述经重构视频单元执行自适应环路滤波。

38.根据权利要求37所述的装置，其特征在于,所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。

39.根据权利要求37或38所述的装置，其特征在于，所述识别模块包括：

识别单元，用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述自适应环路滤波启用标志：

40.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至17任一项中所述的方法的步骤，或者实现权利要求18至33任一项中所述的方法的步骤。

41.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至17任一项中所述的方法的步骤，或者实现权利要求18至33任一项中所述的方法的步骤。