CN117412040A - 环路滤波方法、装置及设备 - Google Patents

环路滤波方法、装置及设备 Download PDF

Info

Publication number
CN117412040A
CN117412040A CN202210800574.1A CN202210800574A CN117412040A CN 117412040 A CN117412040 A CN 117412040A CN 202210800574 A CN202210800574 A CN 202210800574A CN 117412040 A CN117412040 A CN 117412040A
Authority
CN
China
Prior art keywords
sample
reconstructed
neural network
network filter
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210800574.1A
Other languages
English (en)
Inventor
周川
吕卓逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210800574.1A priority Critical patent/CN117412040A/zh
Priority to PCT/CN2023/103925 priority patent/WO2024007952A1/zh
Publication of CN117412040A publication Critical patent/CN117412040A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了一种环路滤波方法、装置及设备，属于编解码技术领域，本申请实施例提供的环路滤波方法，包括：获取重构样本和重构样本对应的标识，标识用于表征重构样本对应的样本类型；基于与标识相关联的神经网络滤波器对重构样本执行滤波处理，得到目标样本。

Description

环路滤波方法、装置及设备
技术领域
本申请属于编解码技术领域，具体涉及一种环路滤波方法、装置及设备。
背景技术
为了降低音视频压缩过程中因方块效应、振铃效应等失真效应对音视频质量的影响，引入了环路滤波器，通过环路滤波器对输入的重构样本进行环路滤波，提高音视频的质量。
然而，在相关技术中，环路滤波器的输入只能是一种类型的重构样本，环路滤波器不能处理多种类型的重构样本，这限制了环路滤波器的适用性。
发明内容
本申请实施例提供一种环路滤波方法、装置及设备，能够解决现有方案中环路滤波器不能处理多种类型的重构样本，进而限制了环路滤波器的适用性的问题。
第一方面，提供了一种环路滤波方法，包括：
获取重构样本和所述重构样本对应的标识，所述标识用于表征重构样本对应的样本类型；
基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本。
第二方面，提供了一种环路滤波装置，包括：
获取模块，用于获取重构样本和所述重构样本对应的类型标识，所述标识用于表征重构样本对应的样本类型；
滤波模块，用于基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本。
第三方面，提供了一种终端，该终端包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。
本申请实施例中，获取重构样本和重构样本对应的标识，其中，上述标识用于表征重构样本对应的样本类型，进而使用与该标识相关联的神经网络滤波器对重构样本执行滤波处理，得到目标样本。在上述环路滤波过程中，可以使用与标识相关联的神经网络滤波器处理不同类型的重构样本，以提高了环路滤波器的适用性。
附图说明
图1是本申请实施例提供的环路滤波方法的流程示意图；
图2是本申请实施例提供的环路滤波方法的应用场景图之一；
图3是本申请实施例提供的环路滤波方法的应用场景图之二；
图4是本申请实施例提供的环路滤波方法的应用场景图之三；
图5是本申请实施例提供的环路滤波方法的应用场景图之四；
图6是本申请实施例提供的环路滤波装置的结构图；
图7是本申请实施例提供的通信设备的结构图；
图8是本申请实施例提供的终端的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的环路滤波方法进行详细地说明。
请参阅图1，图1是本申请实施例中环路滤波方法的流程图。本实施例提供的环路滤波方法包括以下步骤：
S101，获取重构样本和所述重构样本对应的标识。
上述重构样本为在编解码过程中重建的音视频样本，上述标识用于表征重构样本对应的样本类型，也就是说，上述标识可以表征输入至神经网络滤波器中的重构样本对应的样本类型。
可选地，重构样本对应的样本类型包括未滤波的重构样本、去块滤波后的重构样本、自适应环路补偿后的重构样本以及自适应环路滤波后的重构样本等其中的至少两种。
示例性的，若标识为0，表示神经网络滤波器的输入为未滤波的重构样本；若标识为1，表示神经网络滤波器的输入为去块滤波后的重构样本；若标识为2，表示神经网络滤波器的输入为自适应样本补偿后的重构样本；若标识为3，表示神经网络滤波器的输入为自适应环路滤波后的重构样本。
示例性的，若标识为0，表示神经网络滤波器的输入为去块滤波后的重构样本；若标识为1，表示神经网络滤波器的输入为未滤波的重构样本；若标识为2，表示神经网络滤波器的输入为自适应样本补偿后的重构样本。
可选地，所述获取重构样本和所述重构样本对应的标识包括：
在所述环路滤波方法应用于编码端的情况下，获取重构样本，并根据所述重构样本在不同的滤波模式下对应的率失真代价，确定所述重构样本对应的标识；
在所述环路滤波方法应用于解码端的情况下，基于对获取到的码流的解码结果，得到重构样本和所述重构样本对应的标识。
需要说明的是，在环路滤波方法应用于编码端的情况下，编码端获取重构样本，并计算重构样本在不同的滤波模式下对应的率失真代价，基于最小率失真代价对应的滤波模式，确定该重构样本对应的标识，其中，上述滤波模式表征使用神经网络滤波器对重构样本进行滤除处理的方式。
例如，若重构样本在“神经网络滤波器-自适应环路补偿-自适应环路滤波”这一滤波模式下对应的率失真代价最小，则可以设定该重构样本对应的表示为0，该标识用于表征输入至神经网络滤波器中的重构样本为去块滤波后的重构样本。
需要说明的是，在环路滤波方法应用于解码端的情况下，解码端对获取到的码流进行解码，基于解码结果，得到重构样本和该重构样本对应的标识。
S102，基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本。
可选地，神经网络滤波器为与每个标识对应的一个滤波器，或者，神经网络滤波器与每个标识一一对应。也就是说，不同标识对应同一个神经网络滤波器，在标识不同的情况下，该神经网络滤波器输入的重构样本不同；或者，不同的标识对应不同的神经网络滤波器，且不同的神经网络滤波器输入的重构样本不同。
应理解，上述目标样本可以是最终的重构样本，也可以作为其他滤波器的输入，例如自适应环路滤波(Adaptive Loop Filter，ALF)和像素自适应偏移(Sample AdaptiveOffset，SAO)滤波器。
具体的如何使用神经网络滤波器对所述重构样本执行滤波处理的实施方式，请参阅后续实施例。
本申请实施例中，获取重构样本和重构样本对应的标识，其中，上述标识用于表征重构样本对应的样本类型，进而使用与该标识相关联的神经网络滤波器对重构样本执行滤波处理，得到目标样本。在上述环路滤波过程中，可以使用与标识相关联的神经网络滤波器处理不同类型的重构样本，以提高了环路滤波器的适用性。
可选地，在所述标识用于表征相关联的神经网络滤波器输入的重构样本为第一样本的情况下，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本包括：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本进行自适应样本补偿和自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
本实施例中，上述第一样本为未滤波的重构样本，在标识用于表征相关联的神经网络滤波器输入的重构样本为未滤波的重构样本的情况下，一种可选地实施方式为：使用神经网络滤波器对重构样本执行样本增强处理，并对样本增强处理后的重构样本进行自适应样本补偿和自适应环路滤波，得到目标样本。其中，上述样本增强处理用于提高重构样本的质量，降低样本失真。
另一种可选地实施方式为：使用神经网络滤波器对重构样本执行样本增强处理，并对样本增强处理后的重构样本进行自适应环路滤波，得到目标样本。
另一种可选地实施方式为：使用神经网络滤波器对重构样本执行样本增强处理，得到目标样本。
需要说明的是，上述样本增强处理用于去除重构样本中因方块效应和振铃效应等人为引入的噪声，降低重构样本的失真，从而提高重构样本的质量。
应理解，是否对经过神经网络滤波器处理后的重构样本执行后续滤波操作，与神经网络滤波器的处理能力相关。对于处理能力较强的神经网络滤波器而言，在经过该神经网络滤波器处理后，可以极大的提高重构样本的质量，直接得到目标样本。
为便于理解，请参阅图2，在图2示出的应用场景中，神经网络滤波器输入的是未滤波的重构样本，使用神经网络滤波器对重构样本执行样本增强处理，并对样本增强处理后的重构样本进行自适应样本补偿和自适应环路滤波，得到目标样本。
可选地，在所述标识用于表征相关联的神经网络滤波器输入的重构样本为第二样本的情况下，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本包括：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
本实施例中，上述第二样本为去块滤波后的重构样本，在标识用于表征相关联的神经网络滤波器输入的重构样本为去块滤波后的重构样本的情况下，一种可选地实施方式为：使用神经网络滤波器对重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到目标样本。
另一种可选地实施方式为：使用所述神经网络滤波器对重构样本执行样本增强处理，得到目标样本。
为便于理解，请参阅图3，在图3示出的应用场景中，神经网络滤波器输入的是去块滤波后的重构样本，使用神经网络滤波器对重构样本执行样本增强处理，并对样本增强处理后的重构样本进行自适应环路滤波，得到目标样本。
可选地，在所述标识用于表征相关联的神经网络滤波器输入的重构样本为第三样本的情况下，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本包括：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
本实施例中，上述第三样本为自适应环路补偿后的重构样本，或者自适应环路滤波后的重构样本。在标识用于表征相关联的神经网络滤波器输入的重构样本为第三样本的情况下，可选地实施方式为：使用神经网络滤波器对重构样本执行样本增强处理，得到目标样本。
为便于理解，请参阅图4，在图4示出的应用场景中，神经网络滤波器输入的是自适应环路补偿后的重构样本，使用神经网络滤波器对重构样本执行样本增强处理，得到目标样本。
可选地，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理之后，所述方法还包括：
将第四样本和第五样本输入至预设的处理器中，得到所述目标样本。
本实施例中，上述处理器又称为缩放器，上述处理器的输入为第四样本和第五样本，其中，第四样本为神经网络滤波器输出的重构样本，第五样本为去块滤波后的重构样本、自适应环路补偿后的重构样本和自适应环路滤波后的重构样本中的任意一种重构样本。
需要说明的是，本实施例中的处理器用于对第四样本和第五样本对应像素位置的像素进行一定规则的计算，例如对两个样本进行加权处理，以此降低样本的失真，提高样本质量。
例如，请参阅图5，在图5示出的应用场景中，神经网络滤波器的输入为去块滤波后的重构样本，处理器的输入为去块滤波后的重构样本和神经网络滤波器输出的重构样本。
可选地，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理包括：
在所述标识与所述重构样本所在图像一一对应的情况下，使用与所述标识相关联的神经网络滤波器对所述重构样本所在图像中的每个宏块执行滤波处理；
在所述标识与所述重构样本中的每个宏块一一对应的情况下，对于所述重构样本中的任一宏块，使用与所述宏块对应的标识相关联的神经网络滤波器对所述宏块执行滤波处理。
一种可能存在的情况为标识与重构样本所在图像一一对应，这种情况下，对重构样本所在图像中的每个宏块使用一个神经网络滤波器进行滤波处理。
另一种可能存在的情况为标识与重构样本中的每个宏块一一对应，这种情况下，对于重构样本中的任一宏块，使用与该宏块对应的神经网络滤波器执行滤波处理。
本申请实施例提供的环路滤波方法，执行主体可以为环路滤波装置。本申请实施例中以环路滤波装置执行环路滤波方法为例，说明本申请实施例提供的环路滤波装置。
如图6所示，本申请实施例还提供了一种环路滤波装置600，包括：
获取模块601，用于获取重构样本和所述重构样本对应的类型标识，所述标识用于表征重构样本对应的样本类型；
滤波模块602，用于基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本。
可选地，在所述标识表征相关联的神经网络滤波器输入的重构样本为第一样本的情况下，所述滤波模块602，具体用于：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本进行自适应样本补偿和自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
可选地，在所述标识表征相关联的神经网络滤波器输入的重构样本为第二样本的情况下，所述滤波模块602，还具体用于：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
可选地，在所述标识用于表征相关联的神经网络滤波器输入的重构样本为第三样本的情况下，所述滤波模块602，还具体用于：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
可选地，所述滤波模块602，还具体用于：
将第四样本和第五样本输入至预设的处理器中，得到所述目标样本；
其中，所述第四样本为所述神经网络滤波器输出的重构样本，所述第五样本为去块滤波后的重构样本、自适应环路补偿后的重构样本和自适应环路滤波后的重构样本中的任意一种重构样本。
可选地，所述滤波模块602，还具体用于：
在所述标识与所述重构样本所在图像一一对应的情况下，使用与所述标识相关联的神经网络滤波器对所述重构样本所在图像中的每个宏块执行滤波处理；
在所述标识与所述重构样本中的每个宏块一一对应的情况下，对于所述重构样本中的任一宏块，使用与所述宏块对应的标识相关联的神经网络滤波器对所述宏块执行滤波处理。
可选地，所述获取模块601，具体用于：
在所述环路滤波装置应用于编码端的情况下，获取重构样本，并根据所述重构样本在不同的滤波模式下对应的率失真代价，确定所述重构样本对应的标识；
在所述环路滤波装置应用于解码端的情况下，基于对获取到的码流的解码结果，得到重构样本和所述重构样本对应的类型标识。
本申请实施例中，获取重构样本和重构样本对应的标识，其中，上述标识用于表征重构样本对应的样本类型，进而使用与该标识相关联的神经网络滤波器对重构样本执行滤波处理，得到目标样本。在上述环路滤波过程中，可以使用与标识相关联的神经网络滤波器处理不同类型的重构样本，以提高了环路滤波器的适用性。
该装置实施例与上述图1所示的环路滤波方法实施例对应，上述方法实施例中的各个实施过程和实现方式均可适用于该装置实施例中，且能达到相同的技术效果。
本申请实施例中的环路滤波装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件、例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
可选地，如图7所示，本申请实施例还提供一种通信设备700，包括处理器701和存储器702，存储器702上存储有可在所述处理器701上运行的程序或指令，例如，该通信设备700为终端时，该程序或指令被处理器701执行时实现上述环路滤波方法实施例的各个步骤，且能达到相同的技术效果。
本申请实施例还提供一种终端，包括处理器701和通信接口，处理器701用于执行以下操作：
获取重构样本和所述重构样本对应的标识；
基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本。
该终端实施例与上述终端侧方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该终端实施例中，且能达到相同的技术效果。具体地，图8为实现本申请实施例的一种终端的硬件结构示意图。
该终端800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元807、存储器809、以及处理器810等部件。
本领域技术人员可以理解，终端800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的终端结构并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8071。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
本申请实施例中，射频单元801接收来自网络侧设备的下行数据后，可以传输给处理器810进行处理；射频单元801可以向网络侧设备发送上行数据。通常，射频单元801包括但不限于天线、放大器、收发信机、耦合器、低噪声放大器、双工器等。
存储器809可用于存储软件程序或指令以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。
处理器810可包括一个或多个处理单元；可选的，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
其中，处理器810用于执行以下操作：
获取重构样本和所述重构样本对应的标识；
基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述环路滤波方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述环路滤波方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述环路滤波方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (18)

1.一种环路滤波方法，其特征在于，包括：
获取重构样本和所述重构样本对应的标识，所述标识用于表征重构样本对应的样本类型；
基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本。
2.根据权利要求1所述的方法，其特征在于，在所述标识用于表征相关联的神经网络滤波器输入的重构样本为第一样本的情况下，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本包括：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本进行自适应样本补偿和自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
3.根据权利要求1所述的方法，其特征在于，在所述标识用于表征相关联的神经网络滤波器输入的重构样本为第二样本的情况下，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本包括：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
4.根据权利要求1所述的方法，其特征在于，在所述标识用于表征相关联的神经网络滤波器输入的重构样本为第三样本的情况下，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本包括：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
5.根据权利要求1所述的方法，其特征在于，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理之后，所述方法还包括：
将第四样本和第五样本输入至预设的处理器中，得到所述目标样本；
其中，所述第四样本为所述神经网络滤波器输出的重构样本，所述第五样本为去块滤波后的重构样本、自适应环路补偿后的重构样本和自适应环路滤波后的重构样本中的任意一种重构样本。
6.根据权利要求1所述的方法，其特征在于，所述基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理包括：
在所述标识与所述重构样本所在图像一一对应的情况下，使用与所述标识相关联的神经网络滤波器对所述重构样本所在图像中的每个宏块执行滤波处理；
在所述标识与所述重构样本中的每个宏块一一对应的情况下，对于所述重构样本中的任一宏块，使用与所述宏块对应的标识相关联的神经网络滤波器对所述宏块执行滤波处理。
7.根据权利要求1所述的方法，其特征在于，所述获取重构样本和所述重构样本对应的标识包括：
在所述环路滤波方法应用于编码端的情况下，获取重构样本，并根据所述重构样本在不同的滤波模式下对应的率失真代价，确定所述重构样本对应的标识；
在所述环路滤波方法应用于解码端的情况下，基于对获取到的码流的解码结果，得到重构样本和所述重构样本对应的标识。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述神经网络滤波器为与每个标识对应的一个滤波器，或者，所述神经网络滤波器与每个标识一一对应。
9.根据权利要求1-7中任一项所述的方法，其特征在于，所述重构样本对应的样本类型至少包括以下其中两种：
未滤波的重构样本、去块滤波后的重构样本、自适应环路补偿后的重构样本以及自适应环路滤波后的重构样本。
10.一种环路滤波装置，其特征在于，包括：
获取模块，用于获取重构样本和所述重构样本对应的类型标识，所述标识用于表征重构样本对应的样本类型；
滤波模块，用于基于与所述标识相关联的神经网络滤波器对所述重构样本执行滤波处理，得到目标样本。
11.根据权利要求10所述的装置，其特征在于，在所述标识表征相关联的神经网络滤波器输入的重构样本为第一样本的情况下，所述滤波模块，具体用于：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本进行自适应样本补偿和自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
12.根据权利要求10所述的装置，其特征在于，在所述标识表征相关联的神经网络滤波器输入的重构样本为第二样本的情况下，所述滤波模块，还具体用于：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，并对样本增强处理后的重构样本执行自适应环路滤波，得到所述目标样本；
或者，使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
13.根据权利要求10所述的装置，其特征在于，在所述标识用于表征相关联的神经网络滤波器输入的重构样本为第三样本的情况下，所述滤波模块，还具体用于：
使用所述神经网络滤波器对所述重构样本执行样本增强处理，得到所述目标样本。
14.根据权利要求10所述的装置，其特征在于，所述滤波模块，还具体用于：
将第四样本和第五样本输入至预设的处理器中，得到所述目标样本；
其中，所述第四样本为所述神经网络滤波器输出的重构样本，所述第五样本为去块滤波后的重构样本、自适应环路补偿后的重构样本和自适应环路滤波后的重构样本中的任意一种重构样本。
15.根据权利要求10所述的装置，其特征在于，所述滤波模块，还具体用于：
在所述标识与所述重构样本所在图像一一对应的情况下，使用与所述标识相关联的神经网络滤波器对所述重构样本所在图像中的每个宏块执行滤波处理；
在所述标识与所述重构样本中的每个宏块一一对应的情况下，对于所述重构样本中的任一宏块，使用与所述宏块对应的标识相关联的神经网络滤波器对所述宏块执行滤波处理。
16.根据权利要求10所述的装置，其特征在于，所述获取模块，具体用于：
在所述环路滤波装置应用于编码端的情况下，获取重构样本，并根据所述重构样本在不同的滤波模式下对应的率失真代价，确定所述重构样本对应的标识；
在所述环路滤波装置应用于解码端的情况下，基于对获取到的码流的解码结果，得到重构样本和所述重构样本对应的类型标识。
17.一种终端，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-9中任一项所述的环路滤波方法的步骤。
18.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-9中任一项所述的环路滤波方法的步骤。
CN202210800574.1A 2022-07-06 2022-07-06 环路滤波方法、装置及设备 Pending CN117412040A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210800574.1A CN117412040A (zh) 2022-07-06 2022-07-06 环路滤波方法、装置及设备
PCT/CN2023/103925 WO2024007952A1 (zh) 2022-07-06 2023-06-29 环路滤波方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210800574.1A CN117412040A (zh) 2022-07-06 2022-07-06 环路滤波方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117412040A true CN117412040A (zh) 2024-01-16

Family

ID=89454276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210800574.1A Pending CN117412040A (zh) 2022-07-06 2022-07-06 环路滤波方法、装置及设备

Country Status (2)

Country Link
CN (1) CN117412040A (zh)
WO (1) WO2024007952A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
WO2019009448A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
CN108184129B (zh) * 2017-12-11 2020-01-10 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络
US10999606B2 (en) * 2019-01-08 2021-05-04 Intel Corporation Method and system of neural network loop filtering for video coding
CN114208203A (zh) * 2019-09-20 2022-03-18 英特尔公司 基于分类器的卷积神经网络环路滤波器

Also Published As

Publication number Publication date
WO2024007952A1 (zh) 2024-01-11

Similar Documents

Publication Publication Date Title
CN109685746B (zh) 图像亮度调整方法、装置、存储介质及终端
CN104202604A (zh) 视频增强的方法和装置
CN111402165B (zh) 图像处理方法、装置、设备及存储介质
CN109618228B (zh) 视频增强控制方法、装置以及电子设备
CN110557417B (zh) 一种图像处理方法及装置、存储介质
CN111953668A (zh) 网络安全信息处理方法及装置
US11146826B2 (en) Image filtering method and apparatus
CN106020846A (zh) 桌面工具显示方法及装置
CN117412040A (zh) 环路滤波方法、装置及设备
CN112969130A (zh) 音频信号处理方法、装置和电子设备
CN111767558A (zh) 数据访问监控方法、装置及系统
CN116193419A (zh) 通话方法、装置及设备
JP7176132B2 (ja) 画像処理方法および電子デバイス
CN109065066B (zh) 一种通话控制方法、装置及设备
CN116366841A (zh) 环路滤波方法及终端
CN113038179A (zh) 视频编码方法、视频解码方法、装置及电子设备
CN117933333A (zh) 神经网络模型损失值的确定方法及相关应用方法和设备
WO2023109766A1 (zh) 环路滤波、视频编码、视频解码方法、电子设备及介质
CN114501035B (zh) 视频编解码滤波处理方法、系统、设备及存储介质
WO2024078416A1 (zh) 色度分量预测方法、装置及设备
CN117915097A (zh) 帧内预测方法、装置及设备
WO2024078404A1 (zh) 特征图处理方法、装置及设备
WO2023051375A1 (zh) 帧内预测方法及装置
CN115866263A (zh) 视频解码方法、视频编码方法及相关设备
CN117915100A (zh) 色度分量预测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination