CN117813823A - 视频编解码中自适应环路滤波器的改进融合模式 - Google Patents

视频编解码中自适应环路滤波器的改进融合模式 Download PDF

Info

Publication number
CN117813823A
CN117813823A CN202280055966.8A CN202280055966A CN117813823A CN 117813823 A CN117813823 A CN 117813823A CN 202280055966 A CN202280055966 A CN 202280055966A CN 117813823 A CN117813823 A CN 117813823A
Authority
CN
China
Prior art keywords
function
indication
filter
predefined
aps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280055966.8A
Other languages
English (en)
Inventor
尹文斌
张凯
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN117813823A publication Critical patent/CN117813823A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种处理视频数据的方法。该方法包括利用融合模式融合自适应环路滤波器(ALF)处理单元的多个中间滤波结果以生成最终滤波结果；以及基于所述最终滤波结果在包括所述ALF处理单元的视频与所述视频的比特流之间执行转换。还公开了相应的用于处理视频数据的装置和非暂时性计算机可读记录介质。

Description

视频编解码中自适应环路滤波器的改进融合模式
相关申请的交叉引用
本专利申请要求北京字节跳动网络技术有限公司于2021年8月14日提交的题为“视频编解码中自适应环路滤波器的改进融合模式”的第PCT/CN2021/112641号国际申请的利益，现将其并入作为参考。
技术领域
本专利文档涉及视频编解码技术。
背景技术
数字视频占用了互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。
发明内容
所公开的各方面/实施例提供了使用融合模式从视频单元生成自适应环路滤波器(ALF)处理单元的滤波结果的技术，其中融合模式包括自适应环路滤波器(ALF)的多个中间滤波结果。在一个实施例中，多个中间滤波结果是由从相同的自适应参数集(APS)、不同的APS或预定义滤波器集获得的滤波器产生的。通过应用融合模式，相对于常规的视频编解码技术，视频编解码过程得到了改进。
第一方面涉及一种处理视频数据的方法。该方法包括利用融合模式融合自适应环路滤波器(ALF)处理单元的多个中间滤波结果以生成最终滤波结果；以及基于所述最终滤波结果在包括所述ALF处理单元的视频与所述视频的比特流之间执行转换。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述融合模式包括ALF融合模式。可选地，在前述任一方面中，该方面的另一实施方式提供，所述多个中间滤波结果是通过应用由所述融合模式选择的多个不同滤波器来获得的。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的所述多个不同滤波器是从自适应参数集(APS)中获得的，每个所述自适应参数集包含一个或多个滤波器。可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的所述多个不同滤波器是从相同的自适应参数集(APS)中获得的。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的所述多个不同滤波器是从不同的自适应参数集(APS)中获得的。可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的所述多个不同滤波器中的一些滤波器是从相同的自适应参数集(APS)中获得的，并且由所述融合模式选择的所述多个不同滤波器中的一些滤波器是从不同的APS中获得的。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的所述多个不同滤波器都是从预定义滤波器集中获得的。可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的所述多个不同滤波器是从自适应参数集和预定义滤波器集两者中获得的。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述ALF处理单元的所述最终滤波结果是通过所述融合模式生成的。可选地，在前述任一方面中，该方面的另一实施方式提供，所述ALF处理单元的所述最终滤波结果是通过利用函数融合所述多个中间滤波结果而生成的。
可选地，在前述任一方面中，该方面的另一实施方式提供，基于所述ALF处理单元的统计信息生成用于所述多个中间滤波结果中的每一个中间滤波结果的所述函数的函数参数的指示。可选地，在前述任一方面中，该方面的另一实施方式提供，基于所述ALF处理单元的梯度信息生成用于所述多个中间滤波结果中的每一个中间滤波结果的所述函数的函数参数的指示。可选地，在前述任一方面中，该方面的另一实施方式提供，基于所述ALF处理单元的信息生成用于所述多个中间滤波结果中的每一个中间滤波结果的所述函数的函数参数的指示。
可选地，在前述任一方面中，该方面的另一实施方式提供，基于所述函数的函数参数的指示的滤波器索引被用于所述融合模式，并且所述滤波器索引被设置在自适应参数集(APS)或预定义滤波器集内。可选地，在前述任一方面中，该方面的另一实施方式提供，在所述APS或所述预定义滤波器集中的有效滤波器或可用滤波器具有所述函数的函数参数的单独指示。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数的函数参数的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，以预测方式对所述函数参数的指示进行编解码。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于一个或多个查找表。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述ALF处理单元是多个ALF处理单元中的一个，并且所述多个ALF处理单元的每一个ALF处理单元具有对应于自适应参数集(APS)或预定义滤波器集内的分配滤波器的类别索引。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数的函数参数的多个指示被用于产生最终融合输出。
可选地，在前述任一方面中，该方面的另一实施方式提供，对于参与所述融合模式的所有中间滤波结果，所述函数参数的所述多个指示是相同的。可选地，在前述任一方面中，该方面的另一实施方式提供，所述最终滤波结果由所述中间滤波结果中的N个融合而成，N是正整数，并且所述融合模式的所述最终滤波结果被公式表示为：
Ffinal＝W×F1+W×F2+…+W×FN
其中，W表示所述函数参数的指示，F1…FN表示所述中间滤波结果，并且Ffinal表示所述融合模式的所述最终滤波结果。
可选地，在前述任一方面中，该方面的另一实施方式提供，对于参与所述融合模式的每一个所述中间滤波结果，所述函数参数的所述多个指示是不同的。可选地，在前述任一方面中，该方面的另一实施方式提供，所述最终滤波结果由所述中间滤波结果中的N个中间滤波结果融合而成，N是正整数，并且所述融合模式的所述最终滤波结果被公式表示为：
Ffinal＝W1×F1+W2×F2+…+WN×FN
其中，W1...WN表示所述函数参数的指示，F1…FN表示所述中间滤波结果，并且Ffinal表示所述融合模式的所述最终滤波结果。
可选地，在前述任一方面中，该方面的另一实施方式提供，W1+…+WN＝1。可选地，在前述任一方面中，该方面的另一实施方式提供，Ffinal＝Shift((W1×F1+W2×F2+…+WN×FN)，S)采用积分形式，Shift表示移位操作，并且S表示所述移位操作的长度。可选地，在前述任一方面中，该方面的另一实施方式提供，W1+…+WN＝1＜＜S，其中S表示所述移位操作的长度。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数的函数参数的值的指示取决于样点的位置。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数的函数参数的值的指示取决于样点的强度。
可选地，在前述任一方面中，该方面的另一实施方式提供，对所述最终滤波结果进行限幅。可选地，在前述任一方面中，该方面的另一实施方式提供，根据下式对所述最终滤波结果进行限幅：
Ffinal＝Clip3(minV,maxV，Ffinal)
其中，Clip3表示限幅函数，minV表示函数输出的最小值，maxV表示函数输出的最大值，并且Ffinal表示所述融合模式的所述最终滤波结果。可选地，在前述任一方面中，该方面的另一实施方式提供，minV和maxV中的一个或多个被包括在所述比特流中。可选地，在前述任一方面中，该方面的另一实施方式提供，minV和maxV中的一个或多个取决于比特深度。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的滤波器都不是来自相同的自适应参数集(APS)或预定义滤波器集。可选地，在前述任一方面中，该方面的另一实施方式提供，分配给所述ALF处理单元的类别索引的滤波器是从APS、多个APS中的一个APS或预定义滤波器集中选择的，并且所述ALF处理单元包括当前ALF处理单元。
可选地，在前述任一方面中，该方面的另一实施方式提供，每个所选择的滤波器被配置为从所述多个中间滤波结果生成中间滤波结果，并且所述ALF处理单元包括当前ALF处理单元。可选地，在前述任一方面中，该方面的另一实施方式提供，所述最终滤波单元是基于所述多个中间滤波结果和所述函数的函数参数的对应指示而生成的，并且所述ALF处理单元包括当前ALF处理单元。
可选地，在前述任一方面中，该方面的另一实施方式提供，类别合并不应用于所选择的每个APS或预定义滤波器集。可选地，在前述任一方面中，该方面的另一实施方式提供，类别合并的结果在所选择的APS或预定义滤波器集之间存在差异。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式针对所述ALF处理单元的每个类别索引选择的滤波器之间的所述函数的函数参数的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。
可选地，在前述任一方面中，该方面的另一实施方式提供，以预测方式对所述函数参数的指示进行编解码。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于一个或多个查找表。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
可选地，在前述任一方面中，该方面的另一实施方式提供，类别合并结果在所选择的APS或预定义滤波器集之间是相同的。可选地，在前述任一方面中，该方面的另一实施方式提供，根据所选择的APS或预定义滤波器集中的类别合并结果，合并由所述融合模式针对不同类别选择的滤波器之间的所述函数的函数参数的指示。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式针对不同类别选择的滤波器之间的所述函数的函数参数的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，以预测方式对所述函数参数的指示进行编解码。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于一个或多个查找表。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的滤波器中的一些或全部来自相同的自适应参数集或预定义滤波器集。可选地，在前述任一方面中，该方面的另一实施方式提供，对于由所述融合模式选择并从不同的APS或不同的预定义滤波器集获得的滤波器，分配给所述ALF处理单元的类别索引的滤波器是从APS、多个APS中的一个或预定义滤波器集中选择的，并且所述ALF处理单元包括当前ALF处理单元。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择并从相同的APS或相同的预定义滤波器集获得的滤波器使用融合模式滤波器索引来指示从所述APS或预定义滤波器集中选择哪些滤波器进行融合。
可选地，在前述任一方面中，该方面的另一实施方式提供，每个所选择的滤波器针对所述ALF处理单元生成所述多个中间滤波结果中的一个中间滤波结果，并且所述ALF处理单元包括当前ALF处理单元。可选地，在前述任一方面中，该方面的另一实施方式提供，所述ALF处理单元的所述最终滤波结果是基于所述多个中间滤波结果和所述函数的参数的对应指示而生成的，并且所述ALF处理单元包括当前ALF处理单元。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数的函数参数的基于类别索引的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，以预测方式对所述函数参数的指示进行编解码。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于一个或多个查找表。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数的函数参数的基于融合模式滤波器索引的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，以预测方式对所述函数参数的指示进行编解码。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于一个或多个查找表。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述ALF处理单元的所述最终滤波结果是通过利用函数融合所述多个中间滤波结果而生成的，并且所述函数包括基于机器学习的函数或基于神经网络的函数。可选地，在前述任一方面中，该方面的另一实施方式提供，一个或多个语法元素被用于ALF的所述最终滤波结果。
可选地，在前述任一方面中，该方面的另一实施方式提供，来自所述一个或多个语法元素的视频单元级标志用于指示所述融合模式是否被应用于当前视频单元。可选地，在前述任一方面中，该方面的另一实施方式提供，所述视频单元级标志被包括在所述比特流中、是导出的、预定义的或实时确定的。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的滤波器的数量被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，APS索引或预定义滤波器集索引被包括在所述比特流中、是导出的、预定义的或实时确定的。
可选地，在前述任一方面中，该方面的另一实施方式提供，最大APS索引或最大预定义滤波器集索引被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，固定数量的APS索引或预定义滤波器集索引被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，当APS索引或预定义滤波器索引大于最大APS索引或最大预定义滤波器集索引时，不将所述APS索引或所述预定义滤波器索引用于所述融合模式。
可选地，在前述任一方面中，该方面的另一实施方式提供，当APS索引或预定义滤波器索引大于最大APS索引或最大预定义滤波器集索引时，将所述融合模式应用于所述ALF处理单元，并且所述ALF处理单元包括当前ALF处理单元。可选地，在前述任一方面中，该方面的另一实施方式提供，当APS索引或预定义滤波器索引小于最大APS索引或最大预定义滤波器集索引时，不将所述融合模式应用于所述ALF处理单元，并且所述ALF处理单元包括当前ALF处理单元，并且其中所述ALF处理单元包括当前ALF处理单元。
可选地，在前述任一方面中，该方面的另一实施方式提供，当从相同的APS或相同的预定义滤波器集获得由所述融合模式选择的一个以上滤波器时，融合模式滤波器索引被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，用于由所述融合模式选择的每个滤波器的函数的函数参数的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。可选地，在前述任一方面中，该方面的另一实施方式提供，以预测方式对所述函数参数的指示进行编解码。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于一个或多个查找表。可选地，在前述任一方面中，该方面的另一实施方式提供，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
可选地，在前述任一方面中，该方面的另一实施方式提供，由所述融合模式选择的第一滤波器的函数参数的指示被设置为1，由所述融合模式选择的第二滤波器的所述函数参数的所述指示默认设置为0，并且所述函数参数的指示设置为0的所述第二滤波器不应用于所述融合模式。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述融合模式独立地用于包括所述ALF处理单元的视频单元。可选地，在前述任一方面中，该方面的另一实施方式提供，两种或更多种不同的融合模式被联合用于包括所述ALF处理单元的视频单元。可选地，在前述任一方面中，该方面的另一实施方式提供，两种或更多种不同的融合模式独立地用于不同的颜色分量或不同的颜色空间。
可选地，在前述任一方面中，该方面的另一实施方式提供，两种或更多种不同的融合模式被联合用于不同的颜色分量或不同的颜色空间。可选地，在前述任一方面中，该方面的另一实施方式提供，所述ALF处理单元被设置在视频单元中，并且其中所述视频单元包括图片序列、图片、子图片、条带(slice)、片(tile)、一个或多个编解码树单元(CTU)、CTU行、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、包含一个以上亮度样点或像素的任何区域，或包含一个以上色度样点或像素的任何区域。
可选地，在前述任一方面中，该方面的另一实施方式提供，在所述比特流中以序列级、图片组级、图片级、条带(slice)级、片(tile)组级或者在序列标头、图片标头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码器能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带(slice)标头或片(tile)组标头中指示是否应用或如何应用所述方法。
可选地，在前述任一方面中，该方面的另一实施方式提供，在预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带(slice)、片(tile)、子图片或包含一个以上样点或像素的区域中指示是否应用或如何应用所述方法。
可选地，在前述任一方面中，该方面的另一实施方式提供，是否应用或如何应用所述方法取决于编解码信息，并且其中所述编解码信息包括块大小、颜色格式、单树或双树分割、颜色分量、条带(slice)类型或图片类型。
可选地，在前述任一方面中，该方面的另一实施方式提供，所述转换包括将所述视频数据编码到所述比特流中。可选地，在前述任一方面中，该方面的另一实施方式提供，所述转换包括从所述比特流中解码所述视频数据。
第二方面涉及一种处理视频数据的方法，包括：确定非线性滤波操作被应用于视频单元；为所述视频单元生成至少一个第一滤波索引；基于所述至少一个第一滤波索引导出第一滤波系数集；以及基于所述第一滤波系数集执行所述非线性滤波操作。
可选地，在前述任一方面中，该方面的另一实施方式提供，基于所述至少一个第一滤波索引和至少一个滤波限幅语法元素导出第一限幅参数集，并且所述非线性滤波操作进一步基于所述第一限幅参数集。
第三方面涉及一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使所述处理器执行所公开的任何方法。
第四方面涉及一种非暂时性计算机可读记录介质，存储通过由视频处理装置执行的所公开的任何方法。
第五方面涉及一种非暂时性计算机可读存储介质，存储使处理器执行所公开的任何方法。
为了清楚起见，前述实施例中的任何一个可以与前述其他实施例中任何一个或多个相结合，以在本公开的范围内创建新的实施例。
通过结合附图和权利要求进行的以下详细描述，可以更清楚地理解这些特征以及其他特征。
附图说明
为了更完整地理解本公开，现在参考以下结合附图和详细描述的简要描述，其中相同的附图标记表示相同的部分。
图1是图片中4:2:2亮度和色度样点的标称垂直位置和水平位置的示例。
图2是编码器框图的示例。
图3是67种帧内预测模式的示例。
图4是交叉分量采样自适应偏移(CCSAO)的过程的示例。
图5是用于CCSAO分类器的候选位置的图示。
图6是镜像填充的示例。
图7是针对扩展填充的示例。
图8是显示示例视频处理系统的框图。
图9是视频处理装置的框图。
图10是示出视频编解码系统的示例的框图。
图11是示出视频编码器的示例的框图。
图12是示出视频解码器的示例的框图。
图13是根据本公开的实施例的一种处理视频数据的方法。
具体实施方式
首先应该理解的是，尽管下面提供了一个或多个实施例的例示性具体实施，但是所公开的系统和/或方法可以使用任何数量的技术来实现，无论是当前已知的还是现有的技术。本公开不应以任何方式限于以下所示的例示性具体实施、附图和技术，包括本文所示和描述的示例性设计和具体实施，而是可以在所附权利要求及其等效物的全部范围内进行修改。
在一些描述中使用H.266术语只是为了便于理解而不是为了限制所公开技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。
本公开涉及视频编解码技术。具体地，本公开涉及图像/视频编解码中的环路内滤波器和其他编解码工具。这些构思可以单独地或以各种组合应用于任何现有的视频编解码标准或非标准视频编解码器，如高效视频编解码(HEVC)和通用视频编解码(VVC)。所提出的构思也可以应用于未来的视频编解码标准或视频编解码器。
视频编解码标准主要是通过众所周知的国际电信联盟-电信(ITU-T)和国际标准化组织(ISO)/国际电工委员会(IEC)标准的发展而演进的。ITU-T产生了H.261和H.263，ISO/IEC产生了运动图像专家组(MPEG)-1和MPEG-4Visual，并且两个组织联合产生了H.262/MPEG-2Video和H.264/MPEG-4高级视频编解码(AVC)和H.265/高效视频编解码(HEVC)标准。
自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，视频编解码专家组(VCEG)和MPEG于2015年联合成立了联合视频探索组(JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(JEM)的参考软件中。
2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)创建，旨在制定多功能视频编解码(VVC)标准，目标是与HEVC相比比特率降低百分之五十(50％)。VVC测试模型(VTM)的第一个版本也在当时发布。
VVC的最新版本，即H.266，体现在2020年8月发布的题为“多功能视频编解码”的ITU-T文档中。VVC的参考软件被称为VVC测试模型(VTM)。VTM体现在题为“JVET软件手册”的JVET文档中，该文档由Bossen等人于2020年8月13日发布。
讨论了颜色空间和色度二次采样。
颜色空间，也称为颜色模型(或颜色系统)，是一种抽象的数学模型，它简单地将颜色范围描述为数字的元组，通常描述为3或4个值或颜色分量(例如，红色、蓝色、绿色(RGB)等)。从根本上讲，颜色空间是对坐标系和子空间的阐述。
对于视频压缩，最常用的颜色空间是YCbCr和RGB。
YCbCr、Y’CbCr或Y Pb/Cb Pr/Cr,，也称为YCBCR或Y’CBCR，是在视频和数字摄影系统中用作彩色图像流水线的一部分的颜色空间族。Y’是亮度分量，CB(也称为Cb)和CR(也称为Cr)是蓝色差异和红色差异色度分量。Y’(带上标符号)与作为亮度的Y不同，这意味着光强度是基于伽玛校正的RGB原色进行非线性编码的。
色度二次采样是利用人类视觉系统对色差的敏锐度低于对亮度的敏锐度，通过对色度信息实现比亮度信息更低的分辨率来对图像进行编码的实践。
讨论了4:4:4格式。
三个Y’CbCr分量中的每一个都具有相同的采样率，因此不存在色度二次采样。这种方案有时用于高端胶片扫描仪和电影后期制作。
讨论了4:4:2格式。
两个色度分量以亮度采样率的一半进行采样：水平色度分辨率减半，而垂直色度分辨率不变。这在几乎没有视觉差异的情况下将未压缩视频信号的带宽减少了三分之一。
图1示出了图片中4:2:2亮度和色度采样100的标称垂直和水平位置。VVC工作草案中描述了4:2:2彩色格式的标称垂直和水平位置示例。
讨论了4:2:0格式。
在4:2:0中，与4:1:1相比，水平采样增加了一倍，但由于在此方案中Cb和Cr通道仅在每条交替线上进行采样，因此垂直分辨率减半。因此，数据速率是相同的。Cb和Cr分别在水平和垂直方向上以2的因子进行二次采样。4:2:0方案存在三种变型，具有不同的水平和垂直位置。
在MPEG-2中，Cb和Cr在水平上位于同一位置。Cb和Cr在垂直方向上位于像素之间(位于间隙中)。
在联合图像专家组(JPEG)/JPEG文件交换格式(JFIF)、H.261和MPEG-1中，Cb和Cr位于交替亮度样点之间的间隙中间。
在4:2:0的DV中，Cb和Cr在水平方向上位于同一位置。在垂直方向上，它们在交替的线上位于同一位置。
表3-1从chroma_format_idc和separate_colour_plane_flag导出的SubWidthC和SubHeightC值
讨论了一种典型视频编解码器的编解码流程。
图2是编码器框图200的示例。编码器200适合于实现VVC的技术。编码器200包括三个环路内滤波器，即去块滤波器(DF)202、样点自适应偏移(SAO)204和自适应环路滤波器(ALF)206。与使用预定义滤波器的DF 202不同，SAO 204和ALF 206利用当前图片的原始样点，通过分别添加偏移量和应用有限脉冲响应(FIR)滤波器，来减少原始样点和重构样点之间的均方误差，编解码边信息发信号通知偏移量和滤波器系数。ALF 206位于每个图片的最后处理级，并且可以被视为试图捕捉和修复由先前级产生的伪影的工具。
编码器200还包括被配置为接收输入视频的帧内预测组件208和运动估计/补偿(ME/MC)组件210。帧内预测组件208被配置为执行帧内预测，而ME/MC组件210被配置为利用从参考图片缓冲器212获得的参考图片来执行帧间预测。来自帧间预测或帧内预测的残差块被馈送到变换组件214和量化组件216中，以生成量化的残差变换系数，这些系数被馈送到熵编码组件218中。熵编码组件218对预测结果和量化的变换系数进行熵编码，并将其向视频解码器(未示出)发送。从量化组件216输出的量化分量可以被馈送到逆量化组件220、逆变换组件222和重构(REC)组件224。REC组件224能够将图像输出到DF 202、SAO 204和ALF206，以用于在这些图像被存储在参考图片缓冲器212中之前进行滤波。
图片/条带(slice)/片(tile)被划分为编解码树单元(CTU)的序列。本文讨论的CTU概念与HEVC中的概念相同。对于具有三个样点阵列的图片(例如，非单色情况)，CTU由一个N×N的亮度样点块以及两个对应的色度样点块组成。CTU中亮度块的最大允许大小被指定为128×128(尽管亮度变换块的最大大小是64×64)。
在HEVC中，使用表示为编解码树的四叉树结构将CTU划分为编解码单元(CU)，以适应各种局部特性。使用图片间(时间)预测还是图片内(空间)预测对图片区域进行编解码的决定是在叶CU级做出的。每个叶CU可以根据PU划分类型进一步划分为一个、两个或四个预测单元(PU)。在一个PU内，应用相同的预测过程，并且在PU的基础上将相关信息发送到解码器。在通过应用基于PU划分类型的预测过程获得残差块之后，可以根据与CU的编解码树类似的另一个四叉树结构将叶CU分割为变换单元(TU)。HEVC结构的一个关键特征是HEVC结构具有包括CU、PU和TU在内的多个分割概念。
在VVC中，使用二元和三元分割结构的具有嵌套多类型树(MTT)的四叉树取代了多个分割单元类型的概念。也就是说，使用二元和三元分割结构的MTT去除了CU、PU和TU概念的分离，除了CU可能大于PU的少数情况之外，例如当CU的大小大于最大变换长度时。使用二元和三元分割结构的MTT支持对于CU分割形状的更大灵活性。在编解码树结构中，CU可以具有正方形或矩形形状。CTU首先由四叉树(也称为四叉树(quadtree)或四叉树(quad tree))结构进行分割。然后，可以通过多类型树结构进一步分割四叉树的叶节点。
讨论了帧内预测。
图3是67种帧内预测模式300的示例。为了捕获自然视频中呈现的任意边缘方向，定向帧内模式的数量从HEVC中使用的33个扩展到65个。附加的定向模式在图3中被描绘为虚线箭头，并且平面和直流(DC)模式保持相同。这些密度更大的定向帧内预测模式适用于所有块大小以及亮度和色度帧内预测两者。
如图3所示，常规的角帧内预测方向被定义为顺时针方向从45度到-135度。在VTM中，对于非正方形块，用广角帧内预测模式自适应地替换几种常规的角帧内预测模式。使用原始方法发信号通知被替换的模式，并在解析后将其重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码不变。
在HEVC中，每个帧内编解码块都具有正方形形状，并且其每条边的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测器。在VVC中，块可以具有矩形形状，这在一般情况下需要每个块使用除法运算。为了避免DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。
讨论了帧间预测。
对于每个帧间预测编解码单元(CU)，运动参数由运动矢量、参考图片索引和参考图片列表使用索引组成，并且对于用于帧间预测样点生成的VVC的新编解码特征需要附加信息。运动参数可以以显式或隐式的方式发信号通知。当用跳过模式对CU进行编解码时，该CU与一个预测单元(PU)相关联，并且不具有有效的残差系数、不具有编解码的运动矢量delta或参考图片索引。指定合并模式，从而从相邻CU获得当前CU的运动参数，包括空间和时间候选，以及VVC中引入的附加调度。合并模式可以应用于任何帧间预测的CU，而不仅仅是用于跳过模式。合并模式的另选方案是运动参数的显式传输，其中运动矢量、每个参考图片列表的对应参考图片索引和参考图片列表使用标志以及其他所需信息按每个CU显式地发信号通知。
讨论了去块滤波器。
去块滤波是视频编解码器中典型的环路内滤波器。在VVC中，对CU边界、变换子块边界和预测子块边界应用去块滤波过程。预测子块边界包括由基于子块的时间运动矢量预测(SbTMVP)和仿射模式引入的预测单元边界，并且变换子块边界包括由子块变换(SBT)和子分割内(ISP)模式引入的变换单元边界以及由于较大CU的隐式划分而引起的变换。如在HEVC中所做的，去块滤波器的处理顺序被定义为首先对整个图片的垂直边缘进行水平滤波，然后对水平边缘进行垂直滤波。这种特定的顺序使得多个水平滤波或垂直滤波过程能够在并行线程中应用，或者仍然可以在逐个编解码树块(CTB)的基础上实现，仅具有小的处理延迟。
讨论了样点自适应偏移。
通过使用编码器为每个CTB指定的偏移，将样点自适应偏移(SAO)应用于去块滤波器之后的重构信号。视频编码器首先决定是否对当前条带(slice)应用SAO过程。如果SAO应用于条带(slice)，则每个CTB被分类为五种SAO类型之一，如表3-2中所示。SAO的概念是将像素分类成多个类别，并通过向每个类别的像素添加偏移来减少失真。SAO操作包括边缘偏移(EO)和带偏移(BO)，边缘偏移使用边缘特性以用于SAO类型1至4中的像素分类，带偏移使用像素强度以用于SAO类型5中的像素分类。每个适用的CTB都有SAO参数，包括sao_merge_left_flag、sao_merge_up_flag、SAO类型和四个偏移。如果sao_merge_left_flag等于1，则当前CTB将重用SAO类型和CTB向左的偏移。如果sao_merge_up_flag等于1，则当前CTB将重用上述CTB的SAP类型和偏移。
表3-2 SAO类型规格
讨论了自适应环路滤波器。
用于视频编解码的自适应环路滤波是通过使用基于维纳的自适应滤波器来最小化原始样点和解码样点之间的均方误差。ALF位于每个图片的最后处理级，可以被视为捕捉和修复来自先前级的伪影的工具。合适的滤波器系数由编码器确定，并显式地发信号通知给解码器。为了实现更好的编解码效率，特别是对于高分辨率视频，通过对图片中的不同区域或块应用不同的滤波器来对亮度信号使用局部自适应。除了滤波器自适应之外，编解码树单元(CTU)级的滤波器开/关控制也有助于提高编解码效率。在语法方面，滤波器系数在称为自适应参数集的图片级标头中发送，并且CTU的滤波器开/关标志在条带(slice)数据中的CTU级交织。这种语法设计不仅支持图片级优化，而且实现了低编码延迟。
讨论了双边环路内滤波器。
讨论了双边图像滤波器。
双边图像滤波器是一种非线性滤波器，它在保持边缘结构的同时平滑噪声。双边滤波是一种使滤波器权重不仅随着样点之间的距离而减小，而且随着强度差异的增大而减小的技术。通过这种方式，可以改善边缘的过度平滑。权重被定义为：
Δx和Δy是垂直和水平方向上的距离，且ΔI是样点之间的强度差异。
边缘保留去噪双边滤波器对域滤波器和距离滤波器均采用低通高斯滤波器。域低通高斯滤波器为空间上接近中心像素的像素赋予更高的权重。距离低通高斯滤波器为与中心像素相似的像素赋予更高的权重。将距离滤波器和域滤波器相结合，边缘像素处的双边滤波器变为沿边缘定向的细长高斯滤波器，并且在梯度方向上大大减小。这就是为什么双边滤波器可以在保留边缘结构的同时平滑噪声的原因。
讨论了视频编解码中的双边滤波器。
提出了视频编解码中的双边滤波器作为VVC的编解码工具。例如，参见J.Strom、P.Wennersten、J.Enhorn、D.Liu、K.Andersson和R.Sjoberg，“与SAO相结合的双边环路滤波器”，《IEEE图片编解码研讨会(PCS)论文集》(2019年11月)。该滤波器充当与样点自适应偏移(SAO)滤波器并行的环路滤波器。双边滤波器和SAO两者都作用于相同的输入样点，每个滤波器产生一个偏移，然后将这些偏移添加到输入样点以产生输出样点，该输出样点在限幅后进入下一级。空间滤波强度σd由块大小决定，较小的块被更强地滤波，并且强度滤波强度σr由量化参数决定，更强的滤波用于更高的QP。仅使用四个最接近的样点，因此经滤波的样点强度IF可以计算为：
IC表示中心样点的强度，并且ΔIA＝IA-IC表示该中心样点与上述样点之间的强度差异。ΔIB,ΔIL和ΔIR分别表示中心样点与下方、左侧和右侧样点之间的强度差异。
遗憾的是，用于视频编解码中的自适应环路滤波器的现有设计存在问题和/或缺陷。例如，在当前的ALF设计中，每个ALF处理单元独立地使用每个在线训练的滤波器或预定义滤波器来生成最终的滤波输出。
本文公开了解决一个或多个上述问题的技术。例如，本公开提供了使用融合模式从视频单元生成自适应环路滤波器(ALF)处理单元的滤波结果的技术，融合模式包括自适应环路滤波器(ALF)的多个中间滤波结果。在一个实施例中，多个中间滤波结果是由从相同的自适应参数集(APS)、不同的APS或预定义滤波器集获得的滤波器产生的。通过应用融合模式，相对于常规的视频编解码技术，视频编解码过程得到了改进。
下面的详细实施例应被视为解释一般概念的示例。这些实施例不应当以狭隘的方式来解释。此外，这些实施例可以以任何方式进行组合。
在下面的讨论中，视频单元(也称为视频数据单元)可以是图片序列、图片、子图片、条带(slice)、编解码树单元(CTU)、块或区域。视频单元还可以指序列参数集(SPS)、图片参数集(PPS)、视频参数集(VPS)、自适应参数集(APS)、图片标头、条带(slice)标头或CTU线(例如，CTU行或CTU列)。视频单元可以包括一个颜色分量或者可以包括多个颜色分量。
所公开的方法可以与环路内滤波器或后处理结合使用。
在以下讨论中，SatShift(x,n)定义为：
Shift(x,n)定义为Shift(x,n)＝(x+offset0)>>n。
在一个示例中，offset0和/或offset1被设置为(1<<n)>>1或(1<<(n-1))。在另一示例中，offset0和/或offset1被设置为0。
在另一示例中，offset0＝offset1＝((1<<n)>>1)-1或((1<<(n-1)))-1。
Clip3(min,max,x)定义为：
图4是CCSAO 400的过程的示例。在第三代音频视频编解码标准(AVS3)中采用了CCSAO，该标准利用共址的亮度样点的强度来确定色度样点滤波器的偏移。如图所示，CCSAO400包括用于Y分量402的去块滤波器(DBF)、用于U分量404的DBF以及用于V分量406的DBF。CCSAO 400还包括用于Y分量408的SAO、用于U分量410的SAO和用于V分量412的SAO。CCSAO400还包括用于Y分量414的CCSAO、用于U分量416的CCSAO和用于V分量418的CCSAO。如图所示，使用CCSAO过程400组合各种输出以获得Y、U和V分量。
图5是用于CCSAO分类器500的候选位置的图示。例如，使用共址的色度(颜色)分量U 504、共址的色度(颜色)分量Y 506和/或相邻像素/样点508来对共址和相邻亮度(亮度)分量Y 502进行分类。
图6是镜像填充600的示例。如图所示，视频单元602包含多个样点/像素604。在镜像填充600中，使用镜像技术在视频单元602周围添加填充的样点/像素606，这有效地增加了视频单元602的大小。也就是说，填充被用于扩展视频单元602的大小。
图7是针对扩展填充700的示例。如图所示，视频单元702包含多个样点/像素704。在扩展填充700中，使用扩展技术在视频单元702周围添加填充的样点/像素706，这有效地增加了视频单元702的大小。也就是说，填充被用于扩展视频单元702的大小。
示例1
1)在一个示例中，所提出/描述的用于滤波的融合模式可以应用于视频编解码中的任何环路内滤波、预处理或后处理滤波方法(包括但不限于ALF/CCALF或任何其他滤波方法)。
a)在一个示例中，所提出的融合模式可以应用于环路内滤波方法。
i.在一个示例中，所提出的融合模式可以应用于ALF。
ii.在一个示例中，所提出的融合模式可以应用于CCALF。
iii.在一个示例中，所提出的融合模式可以应用于其他环路内滤波方法。
b)在一个示例中，所提出的融合模式可以应用于预处理滤波方法。
c)另选地，所提出的融合模式可以应用于后处理滤波方法。
1)在一个示例中，所提出/描述的用于滤波的融合模式可以应用于视频编解码中的任何环路内滤波、预处理或后处理滤波方法(包括但不限于ALF/CCALF或任何其他滤波方法)。
a)在一个示例中，所提出的融合模式可以应用于环路内滤波方法。
i.在一个示例中，所提出的融合模式可以应用于ALF。
ii.在一个示例中，所提出的融合模式可以应用于CCALF。
iii.在一个示例中，所提出的融合模式可以应用于其他环路内滤波方法。
b)在一个示例中，所提出的融合模式可以应用于预处理滤波方法。
c)另选地，所提出的融合模式可以应用于后处理滤波方法。
示例2
2)待滤波样点(例如，ALF处理单元中的样点)的最终滤波结果可以由一个以上的滤波器产生，并且这种过程被称为ALF融合模式。
a)在ALF融合模式中，从发信号通知/导出的现有滤波器生成一个/多个虚拟滤波器。
i.此外，另选地，虚拟滤波器可以通过与发信号通知/导出的现有滤波器相关联的滤波器系数的函数来生成。
1.在一个示例中，函数是线性加权和。
2.在一个示例中，函数是非线性函数。
b)在ALF融合模式中，可以首先生成由于多个发信号通知/导出的现有滤波器引起的多个临时滤波结果，并且可以利用这些临时滤波结果来生成最终滤波结果。
i.此外，另选地，最终滤波结果可以由多个临时滤波结果的函数生成。
1.在一个示例中，函数是线性加权和。
2.在一个示例中，函数是非线性函数。
c)在以上示例中，发信号通知/导出的现有滤波器可以来自相同或不同的ALFAPS。
d)在以上示例中，发信号通知/导出的现有滤波器可以来自预定义滤波器集。
e)在一个示例中，一个ALF处理单元内的所有样点可以共享相同的融合过程。
f)在一个示例中，一个视频单元(例如，CTB/CTU)内的所有样点可以共享相同的融合过程。
g)此外，另选地，函数参数(例如，权重)的指示可以进一步在比特流中发信号通知。
i.在一个示例中，它们可以在PH/SH/CTU/CTB/区域级发信号通知。
h)此外，另选地，函数参数(例如，权重)的指示可以即时导出。
示例3
3)在一个示例中，ALF处理单元的滤波结果可以通过利用所提出的用于ALF的融合模式/方法融合多个中间滤波结果来生成。中间滤波结果可以由来自相同/不同的APS/预定义滤波器集的滤波器产生。
a)中间滤波结果可以由多个参与滤波器生成。
i.在一个示例中，参与滤波器可以全部来自包含一个/多个滤波器的AP。
1.参与滤波器可以全部来自相同的APS。
2.参与滤波器可以全部来自不同的APS。
3.一些参与滤波器可以来自相同的APS，而其他滤波器可以来自不同的APS。
ii.在一个示例中，参与滤波器可以全部来自预定义滤波器集。
iii.另选地，参与滤波器可以来自APS和预定义滤波器集两者。
b)在一个示例中，ALF处理单元的最终滤波结果可以通过所提出的融合模式/方法产生。
i.在一个示例中，ALF处理单元的最终滤波结果可以通过利用函数(例如，加权和函数)融合一个/多个中间滤波结果来生成。
1.在一个示例中，可以基于ALF处理单元/视频单元的统计信息来生成每个中间滤波结果的函数参数(例如，权重)的指示。
2.另选地，可以基于ALF处理单元/视频单元的梯度信息来生成每个中间滤波结果的函数参数(例如，权重)的指示。
3.在一个示例中，可以基于ALF处理单元/视频单元的其他信息来生成每个中间滤波结果的函数参数(例如，权重)的指示。
4.在一个示例中，函数参数(例如，权重)的基于APS/预定义滤波器集内的滤波器索引的融合指示可以用于所提出的融合模式。
a)在一个示例中，APS/预定义滤波器集内的有效/可用滤波器可以具有函数参数(例如，权重)的单独融合指示。
b)函数参数(例如权重)的融合指示可以发信号通知/导出/预定义/即时确定。
i.可以以预测的方式对函数参数(例如权重)的融合指示进行编解码。
ii.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
iii.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
5.在一个示例中，每个ALF处理单元可以具有对应于APS或预定义滤波器集内的所分配滤波器的类别索引。
a)在一个示例中，函数参数(例如，权重)的多个指示可以用于产生最终融合输出。
1.在一个示例中，对于参与融合模式的所有中间滤波结果，函数参数(例如，权重)的指示可以是相同的。
a.在一个示例中，假设最终滤波结果是由N个中间滤波结果融合的。所提出的融合模式的最终滤波结果可以被公式表示为：
Ffinal＝W×F1+W×F2+…+W×FN
W表示函数参数(例如权重)的融合指示，F1…FN表示中间滤波结果，并且Ffinal表示融合模式的最终滤波结果。
2.在一个示例中，对于参与融合模式的每个融合的中间滤波结果，函数参数(例如，权重)的指示可以是不同的。
a.在一个示例中，假设最终滤波结果是由N个中间滤波结果融合的。所提出的融合模式的最终滤波结果可以被公式表示为：
Ffinal＝W1×F1+W2×F2+…+WN×FN
W1…WN表示函数参数(例如权重)的融合指示，F1…FN表示中间滤波结果，并且Ffinal表示融合模式的最终滤波结果。
在一个示例中，W1+…+WN＝1。
以积分形式，Ffinal＝Shift((W1×F1+W2×F2+…+WN×FN)，S)，S表示移位操作的长度，Shift表示移位操作，整数W1…WN表示函数参数(例如权重)的融合指示，F1…FN表示中间滤波结果，并且Ffinal表示融合模式的最终滤波结果。
在一个示例中，W1+…+WN＝1＜＜S。
3.函数参数(例如，权重)值的指示可以取决于样点的位置。
4.函数参数(例如权重)值的指示可以取决于样点的强度。
5.在一个示例中，可以对融合的结果进行限幅。例如，Ffinal＝Clip3(minV,maxV，Ffinal)。
a.可以发信号通知minV和/或maxV。
b.minV和/或maxV可以取决于比特深度。
b)在一个示例中，没有一个参与滤波器来自相同的APS/预定义滤波器集。
i.在一个示例中，可以从APS/APS/预定义滤波器集中选择分配给当前ALF处理单元的类别索引的滤波器。
ii.在一个示例中，每个所选择的滤波器可以为当前ALF处理单元生成中间滤波结果。
iii.在一个示例中，当前ALF处理单元的最终滤波结果可以基于中间滤波结果和函数参数(例如，权重)的对应指示来生成。
iv.在一个示例中，类别合并可以不应用于所选择的APS/预定义滤波器集中的每一个，或者类别合并结果可以在所选择的APS/预定义滤波器集之间具有差异。
1.在一个示例中，ALF处理单元的每个类别索引的参与滤波器之间的函数参数(例如，权重)的融合指示可以发信号通知/导出/预定义/即时确定。
a)在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
b)在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
c)在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
v.在一个示例中，类别合并结果在所选择的APS/预定义滤波器集之间可以是相同的。
1.在一个示例中，可以根据所选择的APS/预定义滤波器集中的类别合并结果来合并不同类的参与滤波器之间的函数参数(例如，权重)的融合指示。
2.另选地，可以发信号通知/导出/预定义/即时确定不同类的参与滤波器之间的函数参数(例如，权重)的合并融合指示。
a)在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
b)在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
c)在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
c)在一个示例中，所有/一些参与滤波器来自相同的APS/预定义滤波器集。
i.在一个示例中，对于来自不同的APS/预定义滤波器集的参与滤波器，可以从APS/APS/预定义滤波器集中选择分配给当前ALF处理单元的类别索引的滤波器。
ii.在一个示例中，来自相同的APS或预定义滤波器集的参与滤波器可以使用融合模式滤波器索引来指示从APS/预定义滤波器集中选择哪些滤波器进行融合。
iii.在一个示例中，每个所选择的滤波器可以为当前ALF处理单元生成中间滤波结果。
iv.在一个示例中，当前ALF处理单元的最终滤波结果可以基于中间滤波结果和函数参数(例如，权重)的对应指示来生成。
v.在一个示例中，函数参数(例如，权重)的基于类别索引的融合指示可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
vi.另选地，函数参数(例如，权重)的基于融合模式滤波器索引的融合指示可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
ii.另选地，ALF处理单元的最终滤波结果可以利用其他融合函数通过若干中间滤波结果来生成。
c)在一个示例中，一个/多个语法元素可以用于所提出的ALF的融合模式。
i.在一个示例中，视频单元级标志可用于指示所提出的融合模式是否被应用于当前视频单元。
1.视频单元级标志可以发信号通知/导出/预定义/即时确定。
ii.在一个示例中，可以发信号通知/导出/预定义/即时确定总参与滤波器的数量。
iii.在一个示例中，APS/预定义滤波器集索引可以发信号通知/导出/预定义/即时确定。
iv.在一个示例中，最大APS/预定义滤波器集索引可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，固定数量的APS/预定义滤波器集索引可以总是发信号通知/导出/预定义/即时确定。
2.在一个示例中，如果发信号通知/导出/预定义/确定的APS/预定义滤波器集索引中的一个大于最大APS/预定义滤波器集索引，则对应的APS/预定义滤波器集索引可以不用于融合模式。
3.在一个示例中，如果发信号通知/导出/预定义/确定的APS/预定义滤波器集索引中的一个以上大于最大APS/预定义滤波器集索引，则融合模式可以应用于当前视频单元。
4.在一个示例中，如果仅一个发信号通知/导出/预定义/确定的APS/预定义滤波器集索引小于最大APS/预定义滤波器集索引，则融合模式可以不应用于当前视频单元。
v.在一个示例中，当一个以上的参与滤波器来自相同的APS/预定义滤波器集时，可以发信号通知/导出/预定义/即时确定融合模式滤波器索引。
vi.在一个示例中，每个参与滤波器的函数参数(例如，权重)的指示可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，可以以预测的方式对函数参数(例如，权重)的融合指示进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
vii.在一个示例中，默认情况下，一个参与滤波器的函数参数(例如，权重)的指示可以设置为1，而其他参与滤波器的函数参数(例如权重)的指示可以设置为0。在这种情况下，可以不应用所提出的融合模式/方法。
示例4
4)在一个示例中，上述融合模式/方法可以独立地用于视频单元。
示例5
5)另选地，上述融合模式/方法可以联合用于视频单元。
示例6
6)在一个示例中，上述融合模式/方法可以独立地用于不同的颜色分量/空间。
示例7
7)另选地，上述融合模式/方法可以联合用于不同的颜色分量/空间。
示例8
8)在上述示例中，视频单元可以指序列/图片/子图片/条带(slice)/片(tile)/编解码树单元(CTU)/CTU行/CTU组/编解码单元(CU)/预测单元(PU)/变换单元(TU)/编解码树块(CTB)/编解码块(CB)/预测块(PB)/变换块(TB)/包含一个以上亮度或色度样点/像素的任何其他区域。
示例9
9)是否应用和/或如何应用上述公开的方法可以在序列级/图片组级/图片级/条带(slice)级/片(tile)组级发信号通知，例如在序列标头/图片标头/SPS/VPS/DPS/DCI/PPS/APS/条带(slice)标头/片(tile)组标头中。
示例10
10)是否应用和/或如何应用上述公开的方法可以在包含一个以上样点或像素的PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带(slice)/片(tile)/子图片/其他类型的区域发信号通知。
示例11
是否应用和/或如何应用上述公开的方法可以取决于编解码信息，诸如块大小、颜色格式、单/双树分割、颜色分量、条带(slice)/图片类型。
还讨论了其他技术。
示例12
1.视频单元内的ALF处理单元可以被设计/定义为各种形状或大小。
a)在一个示例中，ALF处理单元可以用作在ALF中产生分类结果的单元。
i.当前ALF处理单元的类别索引可以发信号通知/导出/预定义/即时确定。
b)在一个示例中，ALF处理单元可以用作产生转置索引的单元。
i.在一个示例中，ALF处理单元可以对所应用的/所选择的一个或多个滤波器使用不同的转置函数来生成最终/中间滤波结果。
1.在一个示例中，转置函数可以是镜像函数。
2.在一个示例中，转置函数可以是旋转函数。
3.在一个示例中，转置函数可以是仿射函数。
4.在一个示例中，转置函数可以是其他变换函数。
5.在一个示例中，转置函数可以是镜像和旋转函数的组合。
6.另选地，转置函数可以是若干变换函数的组合。
7.在一个示例中，转置函数可以由一个或多个索引来指示，该索引可以在视频单元中从编码器发信号通知到解码器。
ii.ALF处理单元的转置索引可以发信号通知/导出/预定义/即时确定。
c)在一个示例中，ALF处理单元可以用作收集ALF中的统计信息的单元。
i.在一个示例中，ALF处理单元内的样点可以用于基于分类/限幅结果生成滤波器系数。
ii.在一个示例中，ALF处理单元内的样点可以用于生成转置索引或选择转置函数。
d)在一个示例中，ALF处理单元可以用作根据分类结果在APS/预定义滤波器集中选择特定滤波器的单元。
i.在一个示例中，APS/预定义滤波器集内的滤波器索引可以被分配给ALF处理单元。
a.在一个示例中，APS/预定义滤波器集内的滤波器索引可以发信号通知/导出/预定义/即时确定。
ii.在一个示例中，ALF处理单元内的样点可以使用相同的滤波器进行滤波。
e)在一个示例中，ALF处理单元可以具有不同的形状。
i.在一个示例中，ALF处理单元可以是正方形。
ii.在一个示例中，ALF处理单元可以是菱形。
iii.在一个示例中，ALF处理单元可以是矩形。
iv.在一个示例中，ALF处理单元可以是对称的。
v.或者，ALF处理单元可以是非对称的。
vi.在一个示例中，ALF处理单元可以是其他设计形状。
f)在一个示例中，ALF处理单元的大小可以为M×N。
i.在一个示例中，M可以等于N。
ii.在一个示例中，M可以不同于N。
iii.在一个示例中，M或N可以是1。
iv.另选地，M和N可以同时为1。
g)在一个示例中，视频单元可以包含一个/多个ALF处理单元。
i.在一个示例中，视频单元可以是CU。
ii.在一个示例中，视频单元可以是CTU。
iii.在一个示例中，视频单元可以是CTU行。
iv.另选地，视频单元可以是包含一个以上亮度或色度样点/像素的任何其他区域。
示例13
2)在一个示例中，待滤波的样点(例如，ALF处理单元中的样点)的滤波结果可以由通过ALF融合模式生成的一个/多个虚拟滤波器产生。
a)在一个示例中，所生成的一个或多个滤波器可以由来自相同或不同的APS/预定义滤波器集的滤波器产生。
b)在一个示例中，一个ALF处理单元内的所有样点可以共享相同的融合过程。
c)在一个示例中，可以通过函数(例如，加权和)融合多个参与滤波器的每个位置的系数/限幅索引来生成一个/多个虚拟滤波器。
i.在一个示例中，可以通过ALF的分类方法来生成ALF处理单元的类别索引。
ii.在一个示例中，可以基于当前ALF处理单元的统计信息来生成ALF处理单元的转置索引。
iii.在一个示例中，可以将特定的滤波器分配给特定的类/类别索引。
1.在一个示例中，可以根据当前ALF处理单元的类别索引来分配ALF处理单元的滤波器索引。
2.在一个示例中，APS/预定义滤波器集内的滤波器的总数可以等于类的数量。
3.在一个示例中，APS/预定义滤波器集内的滤波器的总数可以不同于类的数量。
a)在一个示例中，可以使用/发信号通知/导出/预定义/即时确定类别索引和对应滤波器索引之间的映射表。
iv.在一个示例中，来自APS/预定义滤波器集的多个滤波器可以用于所提出的针对ALF系数/限幅索引的融合模式。
1.在一个示例中，参与滤波器可以全部来自包含一个/多个滤波器的AP。
a)参与滤波器可以全部来自相同的APS。
b)参与滤波器可以全部来自不同的APS。
c)在一个示例中，一些参与滤波器可以来自相同的APS，而其他滤波器可以来自不同的APS。
2.在一个示例中，参与滤波器可以全部来自预定义滤波器集。
3.另选地，参与滤波器可以来自APS和预定义滤波器集两者。
v.在一个示例中，参与滤波器的滤波器长度可以相同。
vi.另选地，参与滤波器的滤波器长度可以不同。
a)在一个示例中，具有较短滤波器长度的滤波器可以将缺失系数设置为零，以对准所有参与滤波器的滤波器长度。
vii.在一个示例中，函数参数(例如，权重)的基于滤波器索引的指示可以用于所提出的融合模式。
1.在一个示例中，APS/预定义滤波器集内的有效/可用滤波器可以具有函数参数(例如，权重)的单独指示。
2.在一个示例中，当APS/预定义滤波器集内的有效/可用滤波器被分配给ALF处理单元时，函数参数(例如，权重)的对应指示可以用于所提出的融合模式。
3.函数参数(例如，权重)的指示可以发信号通知/导出/预定义/即时确定。
a)函数参数(例如，权重)的指示可以以预测的方式进行编解码。
b)在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
c)在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
viii.在一个示例中，对于ALF处理单元/类别索引，参与滤波器的每个位置的函数参数(例如，权重)的指示可以被定义为Wij，i∈[0，N-1]且j∈[0，L-1]。
1.在一个示例中，N可以表示参与滤波器的总数。
2.在一个示例中，L可以表示在参与滤波器中要导出/发信号通知/使用/预定义的滤波器系数的最大数量。
3.在一个示例中，生成的虚拟滤波器可以被公式表示为：
Fnew＝[fnew0，fnew1，...fnewL-1]
fnewj＝f0jW0j+f1jW1j+…+fN-1jWN-1jFnew表示所生成的虚拟滤波器，并且fnewj表示所生成虚拟滤波器的滤波器系数。fij表示参与滤波器i的位置j处的滤波器系数。
4.在一个示例中，每个参与滤波器的每个位置可以使用函数参数(例如，权重)的相同指示进行融合。
a.在一个示例中，假设附加的虚拟滤波器由M个滤波器融合。所生成的系数可以被公式表示为：
CA0＝W1C10+W2C20+…+WMCM0
CA1＝W1C11+W2C21+…+WMCM1
CAi＝W1C1i+W2C2i+…+WMCMi
CAN＝W1C1N+W2C2N+…+WMCMNW1…WM表示函数参数(例如，权重)的相同指示，CAi表示所生成的系数，N表示在参与滤波器中要导出/发信号通知/使用/预定义的滤波器系数的最大数量，并且i表示系数位置i。在一个示例中，W1+…+WM＝1。以积分形式，CAi＝Shift((W1C1i+W2C2i+…+WMCMi)，S)。整数W1…WM表示函数参数(例如权重)的指示。在一个示例中，W1+…+WM＝1＜＜S。
5.另选地，每个参与滤波器的每个位置可以使用函数参数(例如，权重)的独立指示进行融合。
a)在一个示例中，假设附加的虚拟滤波器由M个滤波器融合。产生的系数可以被公式表示为：
CA0＝W10C10+W20C20+…+WM0CM0
CA1＝W11C11+W21C21+…+WM1CM1
CAi＝W1iC1i+W2iC2i+…+WMiCMi
CAN＝W1NC1N+W2NC2N+…+WMNCMN
W1i…WMi表示不同滤波器的函数参数(例如，权重)的指示，N表示在参与滤波器中要导出/发信号通知/使用/预定义的滤波器系数的最大数量，i表示位置并且CAi表示所生成的系数。在一个示例中，W1i+…+WMi＝1。以积分形式，CAi＝Shift((W1iC1i+W2iC2i+…+WMiCMi)，S)。整数W1i…WMi表示函数参数(例如权重)的指示。在一个示例中，W1i+…+WMi＝1＜＜S。
6.在一个示例中，可以对融合的结果进行限幅。例如，CAi＝Clip3(minV,maxV，CAi)。
a)在一个示例中，可以发信号通知minV和/或maxV。
7.在一个示例中，当参与的滤波器中没有一个来自相同的APS/预定义滤波器集时，可以使用与每个APS/预定义滤波器集中的当前ALF处理单元的类别索引相对应的滤波器进行融合。
a)在一个示例中，类别合并可以不应用于每个APS/预定义滤波器集，或者合并结果可以在所选择的APS/预定义滤波器集之间存在差异。
i.在一个示例中，对于每个类的每个参与滤波器的每个位置的函数参数(例如，权重)的指示可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
b)在一个示例中，类别合并结果在所选择的APS/预定义滤波器集之间可以是相同的。
i.在一个示例中，针对不同类的每个参与滤波器的每个位置的函数参数(例如，权重)的指示可以根据所选择的APS/预定义滤波器集的类别合并结果来合并。
ii.另选地，可以发信号通知/导出/预定义/即时确定合并类之间的函数参数(例如，权重)的指示。
1.在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
4.在一个示例中，当一个以上的参与滤波器来自相同的APS/预定义滤波器集时，融合模式滤波器索引可用于指示APS/预定义滤波器集中由融合模式选择了哪些滤波器。
a)在一个示例中，一个/多个参与滤波器可以来自不同的APS/预定义滤波器集。
i.在一个示例中，类别合并可以不应用于每个APS/预定义滤波器集，或者合并结果可以在所选择的APS/预定义滤波器集之间存在差异。
1.在一个示例中，对于每个类的每个参与滤波器的每个位置的函数参数(例如，权重)的指示可以发信号通知/导出/预定义/即时确定。
a.在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
b.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
c.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
ii.在一个示例中，类别合并结果在不同的所选择的APS/预定义滤波器集之间可以是相同的。
1.在一个示例中，针对不同类的每个参与滤波器的每个位置的函数参数(例如，权重)的指示可以根据所选择的APS/预定义滤波器集的类别合并结果来合并。
2.另选地，可以发信号通知/导出/预定义/即时确定合并类之间的函数参数(例如，权重)的指示。
a)在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
b)在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
c)在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
b)在一个示例中，一个/多个参与滤波器可以来自相同的APS/预定义滤波器集。
i.在一个示例中，融合模式滤波器索引可用于指示APS/预定义滤波器集内的哪些滤波器被选择。
ii.在一个示例中，可以发信号通知/导出/预定义/即时确定融合模式滤波器索引。
iii.在一个示例中，函数参数(例如，权重)的基于融合模式滤波器索引的指示可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，可以以预测的方式对函数参数(例如，权重)的指示进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
9.在一个示例中，在对应于当前ALF处理单元的类别索引的参与滤波器之间对于每个位置的函数参数(例如，权重)的指示可以是相同的。
10.在一个示例中，在对应于当前ALF处理单元的类别索引的参与滤波器之间对于每个位置的函数参数(例如，权重)的指示可以是不同的。
11.在一个示例中，对于一些位置的函数参数(例如，权重)的指示可以是相同的，而对于其他位置的函数参数(例如，权重)的指示在对应于当前ALF处理单元的类别索引的参与滤波器之间可以是不同的。
ix.在一个示例中，分配给不同类的滤波器可以使用函数参数(例如，权重)设置的相同指示。
x.另选地，分配给不同类的滤波器可以使用函数参数(例如，权重)设置的不同指示。
d)在一个示例中，可以基于不同类型的信息来生成用于融合的函数参数(例如，权重)的指示。
i.在一个示例中，可以基于当前ALF处理单元/视频单元/条带(slice)/图片/序列的统计信息来生成函数参数(例如，权重)的指示。
ii.在一个示例中，可以基于参与滤波器的统计信息来生成函数参数(例如，权重)的指示。
iii.另选地，可以基于当前视频单元的编码信息(包括非零变换系数的模式、大小、数量或其他编解码信息)来生成函数参数(例如，权重)的指示。
e.在一个示例中，可以通过利用其他融合函数融合多个参与滤波器的每个位置的系数，由多个滤波器生成一个/多个附加虚拟滤波器。
f.在一个示例中，一个/多个语法元素可以用于所提出的ALF融合模式。
i.在一个示例中，多个APS/预定义滤波器集内的滤波器可以由当前视频单元用于所提出的融合模式。
ii.在一个示例中，视频单元级标志可以被发信号通知/导出/预定义/即时确定，以指示融合模式是否被应用于当前视频单元。
iii.在一个示例中，可以发信号通知/导出/预定义/即时确定当前视频单元的参与滤波器的数量。
iv.在一个示例中，可以发信号通知/导出/预定义/即时确定视频单元级标志，以指示是否需要发信号通知包含融合的虚拟滤波器的一个/多个APS。
1.在一个示例中，可以发信号通知/导出/预定义/即时确定包含融合的虚拟滤波器的APS的数量。
v.在一个示例中，最大APS/预定义滤波器集索引可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，对于视频单元，固定数量的APS/预定义滤波器集索引可以总是发信号通知/导出/预定义/即时确定。
2.在一个示例中，如果发信号通知/导出/预定义/确定的APS/预定义滤波器集索引中的一个大于最大APS/预定义滤波器集索引，则对应的APS/预定义滤波器集索引可以不用于融合模式。
3.在一个示例中，如果发信号通知/导出/预定义/确定的APS/预定义滤波器集索引中的一个以上大于最大APS/预定义滤波器集索引，则融合模式可以应用于当前视频单元。
4.在一个示例中，如果仅一个/少于一个信号通知/导出/预定义/确定的APS/预定义滤波器集索引小于最大APS/预定义滤波器集索引，则融合模式可以不应用于当前视频单元。
vi.在一个示例中，每个参与滤波器的每个位置的函数参数(例如，权重)的指示可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，可以以预测的方式对函数参数(例如，权重)的融合指示进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
vii.在一个示例中，每个参与滤波器的每个位置的函数参数(例如，权重)索引的指示可以发信号通知/导出/预定义/即时确定。
1.在一个示例中，可以以预测的方式对函数参数(例如，权重)索引的指示进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可以基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可以基于相关性。
viii.在一个示例中，默认情况下，一个参与滤波器的函数参数(例如，权重)的指示可以设置为1，而其他参与滤波器的函数参数(例如，权重)的指示可以设置为0。在这种情况下，可以不应用所提出的融合模式/方法。
ix.在一个示例中，当一个以上的参与滤波器来自相同的APS/预定义滤波器集时，可以发信号通知/导出/预定义/即时确定融合模式滤波器索引。
图8是示出其中可以实现本文公开的各种技术的示例视频处理系统800的框图。各种实施方式可以包括视频处理系统800的一些或全部组件。视频处理系统800可以包括用于接收视频内容的输入802。视频内容可以以原始或未压缩格式(例如，8位或10位多分量像素值)接收，或者可以以压缩或编码格式接收。输入802可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)之类的有线接口和诸如Wi-Fi或蜂窝接口之类的无线接口。
视频处理系统800可以包括可以实现本文档中描述的各种编码方法的编码组件804。编码组件804可以降低从输入802到编码组件804的输出的视频的平均比特率，以产生视频的编码表示。因此，编码技术有时被称为视频压缩或视频转码技术。编码组件804的输出可以被存储，或者经由连接的通信进行传输，如组件806所表示的。在输入802处接收到的所存储或传送的视频的比特流(或编码)表示可以由组件808用于生成像素值或发送到显示接口810的可显示视频。从比特流表示生成用户可观看视频的过程有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编码”操作或工具，但应当理解，编码工具或操作在编码器处使用，而反转编码结果的相应解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、外围组件互连(PCI)、集成驱动电子(IDE)接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
图9是视频处理装置900的框图。视频处理装置900可以用于实现本文描述的一种或多种方法。视频处理装置900可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。视频处理装置900可以包括一个或多个处理器902、一个或多个存储器904和视频处理硬件906(也称为视频处理电路)。处理器902可以被配置为实现本文档中描述的一种或多种方法。存储器(多个存储器)904可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件906可以用于在硬件电路中实现本文档中描述的一些技术。在一些实施例中，视频处理硬件906可以部分或完全位于处理器902内，例如图形处理器。
图10是示出可利用本公开的技术的示例视频编解码系统1000的框图。如图10所示，视频编解码系统1000可以包括源设备1010和目标设备1020。源设备1010生成编码视频数据，其可以被称为视频编码设备。目标设备1020可以对由源设备1010生成的编码视频数据进行解码，其可以被称为视频解码设备。
源设备1010可以包括视频源1012、视频编码器1014和输入/输出(I/O)接口1016。
视频源1012可以包括诸如视频捕获设备之类的源、从视频内容提供者接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或此类源的组合。视频数据可以包括一个或多个图片。视频编码器1014对来自视频源1012的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编码表示的比特序列。比特流可以包括编码图片和相关数据。编码图片是图片的编码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口1016可以包括调制器/解调器(调制解调器)和/或发射器。编码视频数据可以通过网络1030经由I/O接口1016直接传输到目标设备1020。编码视频数据也可以存储在存储介质/服务器1040上以供目标设备1020访问。
目标设备1020可以包括I/O接口1026、视频解码器1024和显示设备1022。
I/O接口1026可以包括接收器和/或调制解调器。I/O接口1026可以从源设备1010或存储介质/服务器1040获取编码视频数据。视频解码器1024可对编码视频数据进行解码。显示设备1022可以向用户显示解码视频数据。显示设备1022可以与目标设备1020集成，或者可以在可以被配置为与外部显示设备交接的目标设备1020的外部。
视频编码器1014和视频解码器1024可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、多功能视频译码(VVC)标准以及其他当前和/或另外的标准。
图11是示出视频编码器1100的示例的框图，其可以是图10中所示的视频编解码系统1000中的视频编码器1014。
视频编码器1100可以被配置为执行本公开的任何或全部技术。在图11的示例中，视频编码器1100包括多个功能组件。本公开中所描述的技术可在视频编码器1100的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或全部技术。
视频编码器1100的功能组件可以包括分割单元1101、预测单元1102、残差生成单元1107、变换单元1108、量化单元1109、逆量化单元1110、逆变换单元1111、重构单元1112、缓冲器1113和熵编码单元1114，预测单元1102可以包括模式选择单元1103、运动估计单元1104、运动补偿单元1105和帧内预测单元1106。
在其他示例中，视频编码器1100可包括更多、更少或不同的功能组件。在一个示例中，预测单元1102可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测，至少一个参考图片是当前视频块所在的图片。
此外，诸如运动估计单元1104和运动补偿单元1105之类的一些组件可以高度集成，但是为了解释的目的而在图11的示例中单独表示。
分割单元1101可将一个图片分割成一个或多个视频块。图10的视频编码器1014和视频解码器1024可以支持各种视频块大小。
模式选择单元1103可以例如基于误差结果来选择编码模式(帧内或帧间)中的一种，并且将得到的帧内或帧间编码块提供给残差生成单元1107以生成残差块数据并提供给重构单元1112以重构编码块以用作参考图片。在一些示例中，模式选择单元1103可以选择帧内和帧间预测(CIIP)模式的组合，预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元1103还可以针对块选择运动矢量的分辨率(例如，子像素或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元1104可以通过将来自缓冲器1113的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元1105可以基于来自缓冲器1113的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。
运动估计单元1104和运动补偿单元1105可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带。I条带(或I帧)是可压缩性最低的，但不需要其他视频帧来解码。P条带(或P帧)可以使用先前帧中的数据进行解压缩，并且比I帧更具可压缩性。B条带(或B帧)可以使用先前帧和前向帧进行数据参考，以获得最高的数据压缩量。
在一些示例中，运动估计单元1104可以针对当前视频块执行单向预测，并且运动估计单元1104可搜索列表0或列表1的参考图片以寻找当前视频块的参考视频块。然后运动估计单元1104可以生成指示列表0或列表1中包含参考视频块的参考图片的参考索引和指示当前视频块与参考视频块之间的空间位移的运动矢量。运动估计单元1104可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元1105可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中，运动估计单元1104可以针对当前视频块执行双向预测，运动估计单元1104可以在列表0中的参考图片中搜索当前视频块的参考视频块并且还可以在列表1中的参考图片中搜索当前视频块的另一个参考视频块。然后，运动估计单元1104可以生成指示列表0和列表1中包含参考视频块的参考图片的参考索引和指示参考视频块与当前视频块之间的空间位移的运动矢量。运动估计单元1104可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元1105可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中，运动估计单元1104可以输出完整的运动信息集以用于解码器的解码处理。
在一些示例中，运动估计单元1104可以不输出当前视频的完整的运动信息集。相反，运动估计单元1104可以参考另一视频块的运动信息来发信号通知当前视频块的运动信息。例如，运动估计单元1104可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中，运动估计单元1104可以在与当前视频块相关联的语法结构中指示向视频解码器1024指示当前视频块具有与另一视频块相同的运动信息的值。
在另一个示例中，运动估计单元1104可以在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与所指示的视频块的运动矢量之间的差。视频解码器1024可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上文所讨论的，视频编码器1014可以预测性地发信号通知运动矢量。可以由视频编码器1014实施的预测性信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元1106可以对当前视频块执行帧内预测。当帧内预测单元1106对当前视频块执行帧内预测时，帧内预测单元1106可以基于同一图片中的其他视频块的解码样点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元1107可以通过从当前视频块减去(例如，由负号指示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样点的不同样点分量的残差视频块。
在其他示例中，可能不存在当前视频块的残差数据，例如在跳过模式下，并且残差生成单元1107可以不执行减法运算。
变换单元1108可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来生成当前视频块的一个或多个变换系数视频块。
在变换单元1108生成与当前视频块相关联的变换系数视频块之后，量化单元1109可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元1110和逆变换单元1111可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元1112可以将重构的残差视频块添加到来自由预测单元1102生成的一个或多个预测视频块的对应样点，以生成与当前块相关联的重构视频块以存储在缓冲器1113中。
在重构单元1112重构视频块之后，可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元1114可以从视频编码器1100的其他功能组件接收数据。当熵编码单元1114接收数据时，熵编码单元1114可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。
图12是示出视频解码器1200的示例的框图，其可以是图中所示的视频译码系统1200中的视频解码器1224。
视频解码器1200可以被配置为执行本公开的任何或全部技术。在图12的示例中，视频解码器1200包括多个功能组件。本公开中所描述的技术可在视频解码器1200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或全部技术。
在图12的示例中，视频解码器1200包括熵解码单元1201、运动补偿单元1202、帧内预测单元1203、逆量化单元1204、逆变换单元1205、重构单元1206和缓冲器1207。在一些示例中，视频解码器1200可以执行与关于视频编码器1214(图12)所描述的编码过程大体上相反的解码过程。
熵解码单元1201可以检索编码比特流。编码比特流可以包括熵编码的视频数据(例如，编码的视频数据块)。熵解码单元1201可以对熵编码的视频数据进行解码，并且根据熵解码的视频数据，运动补偿单元1202可以确定包括运动矢量、运动矢量精度、参考图片列表索引的运动信息以及其他运动信息。例如，运动补偿单元1202可以通过执行AMVP和合并模式信令来确定这样的信息。
运动补偿单元1202可以产生运动补偿块，可能基于插值滤波器执行插值。用于与子像素精度一起使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元1202可以使用由视频编码器1214在对视频块进行编码期间使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元1202可以根据接收的语法信息来确定由视频编码器1214使用的插值滤波器并且使用插值滤波器来产生预测块。
运动补偿单元1202可以使用一些语法信息来确定用于对编码视频序列的帧和/或条带(slice)进行编码的块的大小、描述如何对编码视频序列的图片的每个宏块进行分割的分割信息、指示如何对每个分割进行编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)，以及用于对编码视频序列进行解码的其他信息。
帧内预测单元1203可以使用例如在比特流中接收的帧内预测模式来从空间相邻块形成预测块。逆量化单元1204对在比特流中提供并由熵解码单元1201解码的量化视频块系数进行逆量化，即去量化。逆变换单元1205应用逆变换。
重构单元1206可以将残差块与由运动补偿单元1202或帧内预测单元1203生成的对应预测块相加以形成解码块。如果需要，还可以应用去块滤波器来对解码块进行滤波，以便去除块效应伪影。然后将解码视频块存储在缓冲器1207中，该缓冲器为随后的运动补偿/帧内预测提供参考块并且还产生解码视频以用于在显示设备上呈现。
图13是根据本公开的实施例的处理视频数据的方法1300。方法1300可以由具有处理器和存储器的编解码装置(例如编码器)来执行。当使用融合模式将多个滤波器应用于视频单元时，可以实现方法1300。
在框1302中，编解码装置利用融合模式融合自适应环路滤波器(ALF)处理单元的多个中间滤波结果以生成最终滤波结果。在一个实施例中，中间滤波结果是在最终滤波结果之前或者发生在整个滤波过程的中间的滤波结果。在一个实施例中，最终滤波结果是整个滤波过程中的最后滤波结果。
在框1304中，编解码装置基于最终滤波结果在包括视频单元的视频与视频的比特流之间执行转换。
在一个实施例中，融合模式包括ALF融合模式。在一个实施例中，多个中间滤波结果是通过应用由融合模式选择的多个不同滤波器来获得的。在一个实施例中，由融合模式选择的滤波器可以被称为参与的滤波器、参与滤波器或其变体。
在一个实施例中，由融合模式选择的多个不同滤波器是从自适应参数集(APS)中获得的，每个自适应参数集包含一个或多个滤波器。在一个实施例中，由融合模式选择的多个不同滤波器是从相同的自适应参数集(APS)中获得的。
在一个实施例中，由融合模式选择的多个不同滤波器是从不同的自适应参数集(APS)中获得的。在一个实施例中，由融合模式选择的多个不同滤波器中的一些滤波器是从相同的自适应参数集(APS)中获得的，并且由融合模式选择的多个不同滤波器中的一些滤波器是从不同的APS中获得的。
在一个实施例中，由融合模式选择的多个不同滤波器都是从预定义滤波器集中获得的。在一个实施例中，由融合模式选择的多个不同滤波器是从自适应参数集(APS)和预定义滤波器集两者中获得的。
在一个实施例中，ALF处理单元的最终滤波结果是通过融合模式生成的。在一个实施例中，ALF处理单元包括经过ALF滤波的视频单元的部分。也就是说，在一个实施例中，当前使用例如ALF滤波器进行滤波的视频单元的区域是ALF处理单元。在一个实施例中，ALF处理单元的最终滤波结果是通过利用函数融合多个中间滤波结果而生成的。
在一个实施例中，基于ALF处理单元的统计信息生成用于多个中间滤波结果中的每一个中间滤波结果的函数的函数参数的指示。在一个实施例中，基于ALF处理单元的梯度信息生成用于多个中间滤波结果中的每一个中间滤波结果的函数的函数参数的指示。在一个实施例中，基于ALF处理单元的信息生成用于多个中间滤波结果中的每一个的函数的函数参数的指示。
在一个实施例中，基于函数的函数参数的指示的滤波器索引被用于融合模式，并且滤波器索引被设置在自适应参数集(APS)或预定义滤波器集内。在一个实施例中，在APS或预定义滤波器集内的有效滤波器或可用滤波器具有函数的函数参数的单独指示。
在一个实施例中，函数的函数参数的指示被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，以预测方式对函数参数的指示进行编解码(例如，在APS中发信号通知用于帧间预测的参数，将当前APS内部的参数用于帧内预测，等等)。在一个实施例中，函数参数的指示基于一个或多个查找表。在一个实施例中，函数参数的指示基于编解码信息之间的相关性，并且编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
在一个实施例中，ALF处理单元是多个ALF处理单元中的一个，并且多个ALF处理单元的每一个ALF处理单元具有对应于自适应参数集(APS)或预定义滤波器集内的分配滤波器的类别索引。在一个实施例中，函数的函数参数的多个指示被用于产生最终融合输出。
在一个实施例中，对于参与融合模式的所有中间滤波结果，函数参数的多个指示是相同的。在一个实施例中，最终滤波结果由中间滤波结果中的N个融合而成，N是正整数，并且融合模式的最终滤波结果被公式表示为：
Ffinal＝W×F1+W×F2+…+W×FN
W表示函数参数的指示，F1…FN表示中间滤波结果，并且Ffinal表示融合模式的最终滤波结果。
在一个实施例中，对于参与融合模式的每一个中间滤波结果，函数参数的多个指示是不同的。在一个实施例中，最终滤波结果由中间滤波结果中的N个中间滤波结果融合而成，N是正整数，并且融合模式的最终滤波结果被公式表示为：
Ffinal＝W1×F1+W2×F2+…+WN×FN
W1…WN表示函数参数的指示，F1…FN表示中间滤波结果，并且Ffinal表示融合模式的最终滤波结果。
在一个实施例中，W1+…+WN＝1。在一个实施例中，Ffinal＝Shift((W1×F1+W2×F2+…+WN×FN)，S)采用积分形式，Shift表示移位操作，并且S表示移位操作的长度。在一个实施例中，W1+…+WN＝1＜＜S，S表示移位操作的长度。
在一个实施例中，函数的函数参数的值的指示取决于样点的位置。在一个实施例中，函数的函数参数的值的指示取决于样点的强度。
在一个实施例中，对最终滤波结果进行限幅。在一个实施例中，根据以下来对最终滤波结果进行限幅：
Ffinal＝Clip3(minV,maxV，Ffinal)
Clip3表示限幅函数，minV表示函数输出的最小值，maxV表示函数输出的最大值，并且Ffinal表示融合模式的最终滤波结果。在一个实施例中，minV和maxV中的一个或多个被包括在比特流中。在一个实施例中，minV和maxV中的一个或多个取决于位深度。
在一个实施例中，由融合模式选择的滤波器都不是来自相同的自适应参数集(APS)或预定义滤波器集。在一个实施例中，分配给ALF处理单元的类别索引的滤波器是从APS、多个APS中的一个APS或预定义滤波器集中选择的，并且ALF处理单元包括当前ALF处理单元。
在一个实施例中，每个所选择的滤波器被配置为从多个中间滤波结果生成中间滤波结果，并且ALF处理单元包括当前ALF处理单元。在一个实施例中，最终滤波单元是基于多个中间滤波结果和函数的函数参数的对应指示而生成的，并且ALF处理单元包括当前ALF处理单元。
在一个实施例中，类别合并不应用于所选择的每个APS或预定义滤波器集。在一个实施例中，类别合并的结果在所选择的AP或预定义滤波器集之间存在差异。
在一个实施例中，由融合模式针对ALF处理单元的每个类别索引选择的滤波器之间的函数的函数参数的指示被包括在比特流中、是导出的、预定义的或实时确定的。
在一个实施例中，以预测的方式对函数参数的指示进行编解码。在一个实施例中，函数参数的指示基于一个或多个查找表。在一个实施例中，函数参数的指示基于编解码信息之间的相关性，并且编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
在一个实施例中，类别合并结果在所选择的APS或预定义滤波器集之间是相同的。在一个实施例中，根据所选择的APS或预定义滤波器集中的类别合并结果，合并由融合模式针对不同类别选择的滤波器之间的函数的函数参数的指示。
在一个实施例中，由融合模式针对不同类别选择的滤波器之间的函数的函数参数的指示被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，以预测的方式对函数参数的指示进行编解码。在一个实施例中，函数参数的指示基于一个或多个查找表。在一个实施例中，函数参数的指示基于编解码信息之间的相关性，并且编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
在一个实施例中，由融合模式选择的滤波器中的一些或全部来自相同的自适应参数集(APS)或预定义滤波器集。在一个实施例中，对于由融合模式选择并从不同的APS或不同的预定义滤波器集获得的滤波器，分配给ALF处理单元的类别索引的滤波器是从APS、多个APS中的一个或预定义滤波器集中选择的，并且ALF处理单元包括当前ALF处理单元。
在一个实施例中，由融合模式选择并从相同的APS或相同的预定义滤波器集获得的滤波器使用融合模式滤波器索引来指示从APS或预定义滤波器集中选择哪些滤波器进行融合。
在一个实施例中，每个所选择的滤波器针对ALF处理单元生成多个中间滤波结果中的一个中间滤波结果，并且ALF处理单元包括当前ALF处理单元。在一个实施例中，ALF处理单元的最终滤波结果是基于多个中间滤波结果和函数的参数的对应指示而生成的，并且ALF处理单元包括当前ALF处理单元。
在一个实施例中，函数的函数参数的基于类别索引的指示被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，以预测的方式对函数参数的指示进行编解码。在一个实施例中，函数参数的指示基于一个或多个查找表。在一个实施例中，函数参数的指示基于编解码信息之间的相关性，并且编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
在一个实施例中，函数的函数参数的基于融合模式滤波器索引的指示被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，以预测的方式对函数参数的指示进行编解码。在一个实施例中，函数参数的指示基于一个或多个查找表。在一个实施例中，函数参数的指示基于编解码信息之间的相关性，并且编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
在一个实施例中，ALF处理单元的最终滤波结果是通过利用函数融合多个中间滤波结果而生成的，并且函数包括基于机器学习的函数或基于神经网络的函数。在一个实施例中，一个或多个语法元素被用于ALF的最终滤波结果。
在一个实施例中，来自一个或多个语法元素的视频单元级标志用于指示融合模式是否被应用于当前视频单元。在一个实施例中，视频单元级标志被包括在比特流中、是导出的、预定义的或实时确定的。
在一个实施例中，由融合模式选择的滤波器的数量被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，APS索引或预定义滤波器集索引被包括在比特流中、是导出的、预定义的或实时确定的。
在一个实施例中，最大APS索引或最大预定义滤波器集索引被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，固定数量的APS索引或预定义滤波器集索引被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，当APS索引或预定义滤波器索引大于最大APS索引或最大预定义滤波器集索引时，不将APS索引或预定义滤波器索引用于融合模式。
在一个实施例中，当APS索引或预定义滤波器索引大于最大APS索引或最大预定义滤波器集索引时，将融合模式应用于ALF处理单元，并且ALF处理单元包括当前ALF处理单元。在一个实施例中，当APS索引或预定义滤波器索引小于最大APS索引或最大预定义滤波器集索引时，不将融合模式应用于ALF处理单元，并且ALF处理单元包括当前ALF处理单元，并且ALF处理单元包括当前ALF处理单元。
在一个实施例中，当从相同的APS或相同的预定义滤波器集获得由融合模式选择的一个以上滤波器时，融合模式滤波器索引被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，用于由融合模式选择的每个滤波器的函数的函数参数的指示被包括在比特流中、是导出的、预定义的或实时确定的。在一个实施例中，以预测的方式对函数参数的指示进行编解码。在一个实施例中，函数参数的指示基于一个或多个查找表。在一个实施例中，函数参数的指示基于编解码信息之间的相关性，并且编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
在一个实施例中，由融合模式选择的第一滤波器的函数参数的指示被设置为1，由融合模式选择的第二滤波器的函数参数的指示默认设置为0，并且函数参数的指示设置为0的第二滤波器不应用于融合模式。
在一个实施例中，融合模式独立地用于包括ALF处理单元的视频单元。在一个实施例中，两种或更多种不同的融合模式被联合用于包括ALF处理单元的视频单元。在一个实施例中，两种或更多种不同的融合模式独立地用于不同的颜色分量或不同的颜色空间。
在一个实施例中，两种或更多种不同的融合模式被联合用于不同的颜色分量或不同的颜色空间。在一个实施例中，ALF处理单元被设置在视频单元中，并且视频单元包括图片序列、图片、子图片、条带(slice)、片(tile)、一个或多个编解码树单元(CTU)、CTU行、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、包含一个以上亮度样点或像素的任何区域，或包含一个以上色度样点或像素的任何区域。
在一个实施例中，在比特流中以序列级、图片组级、图片级、条带(slice)级、片(tile)组级或者在序列标头、图片标头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码器能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带(slice)标头或片(tile)组标头中指示是否应用或如何应用方法。
在一个实施例中，在预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带(slice)、片(tile)、子图片或包含一个以上样点或像素的区域中指示是否应用或如何应用方法。
在一个实施例中，是否应用或如何应用方法取决于编解码信息，并且编解码信息包括块大小、颜色格式、单树或双树分割、颜色分量、条带(slice)类型或图片类型。
在一个实施例中，转换包括将视频数据编码成比特流。在一个实施例中，转换包括从比特流中解码视频数据。
接下来提供一些实施例所优选的解决方案列表。
以下解决方案显示了本公开中讨论的技术的示例实施例(例如，示例1)。
1.一种视频处理的方法，包括：针对包括视频单元的视频与所述视频的比特流之间的转换，通过根据规则将多个中间滤波结果融合在一起来确定滤波器处理单元的最终滤波结果；以及使用所述最终滤波结果来执行所述转换。
2.根据1所述的方法，其中，所述规则指定用于所述中间滤波结果的参与滤波器是预定义的。
3.根据1所述的方法，其中，所述规则指定用于所述中间滤波结果的参与滤波器在相同的自适应参数集中识别。
4.根据1所述的方法，其中，所述规则指定用于所述中间滤波结果的参与滤波器在不同的自适应参数集中识别。
5.根据1-4中任一项所述的方法，其中，所述规则指定所述融合包括利用函数融合一个或多个中间滤波结果。
6.根据5所述的方法，其中，所述函数由用于所述融合的权重定义。
7.根据1-6中任一项所述的方法，其中，所述滤波器处理单元由类别索引识别。
8.根据7所述的方法，其中，所述规则指定根据所述类别索引来选择用于所述转换的所述参与滤波器。
9.根据8所述的方法，其中，所述参与滤波器在相同的自适应参数集中或相同的预定义集中识别。
10.根据1-9中任一项所述的方法，其中，所述比特流中包括语法元素，所述语法元素指示所述规则用于确定所述最终滤波结果的方式。
11.根据10所述的方法，其中，所述语法元素指示所述函数使用的权重。
12.根据1-11中任一项所述的方法，其中，所述视频单元是序列、图片、子图片、条带(slice)、片(tile)、编解码树单元(CTU)、CTU行、CTU组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)，包含一个以上亮度或色度样点/像素的任何其他区域。
13.根据1-12中任一项所述的方法，其中，所述视频单元是像素。
14.根据13所述的方法，其中，所述语法元素在序列级、图片组级、图片级、条带(slice)级、片(tile)组级、在序列标头、图片标头、序列参数集、视频参数集、解码参数集、图片参数集、解码能力信息、自适应参数集、条带(slice)标头或片(tile)组标头中。
15.根据1-14中任一项所述的方法，其中，基于所述视频的编解码信息选择性地应用所述规则。
16.根据15所述的方法，其中，所述编解码信息包括颜色格式、分割类型或图片类型。
17.根据1-16中任一项所述的方法，其中，所述滤波器是交叉分量自适应环路滤波器。
18.根据1-17中任一项所述的方法，其中，所述滤波器作为环路内滤波器应用。
19.根据1-17中任一项所述的方法，其中，所述滤波器作为后处理滤波器应用。
20.根据1-19中任一项所述的方法，其中，所述转换包括从所述视频生成所述比特流。
21.根据1-20中任一项所述的方法，其中，所述转换包括从所述比特流生成所述视频。
22.一种视频解码装置，包括被配置为实现根据1至20中的一项或多项中所述的方法的处理器。
23.一种视频编码装置，包括被配置为实现根据1至20中的一项或多项中所述的方法的处理器。
24.一种其上存储有计算机代码的计算机程序产品，所述代码在由处理器执行时使所述处理器实现根据1至20中任一项中所述的方法。
25.一种视频处理方法，包括根据1-19中任一项或多项所述的方法生成比特流，并将所述比特流存储在计算机可读介质上。
26.本文档中描述的一种方法、装置或系统。
以下文档通过引用的方式整体并入：
[1]J.Strom、P.Wennersten、J.Enhorn、D.Liu、K.Andersson和R.Sjoberg，“与SAO相结合的双边环路滤波器”，《IEEE图片编解码研讨会(PCS)论文集》(2019年11月)。
本文档中描述的所公开的解决方案、示例、实施例、模块和功能操作以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文档中公开的结构及其结构等效物，或它们中的一种或多种的组合。所公开的实施例以及其他实施例可以实现为一个或多个计算机程序产品，即，计算机程序指令的一个或多个模块，其被编码在计算机可读介质上以用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合物，或它们中的一种或多种的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所考虑的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中一种或多种的组合的代码。传播信号是人工生成的信号，例如机器生成的电、光或电磁信号，该信号被生成为对信息进行编码以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以采用任何形式的编程语言编写，包括编译或解释语言，并且其可以采用任何形式部署，包括部署为独立式程序或者模块、组件、子例程或者适合于在计算环境中使用的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在包含其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于所考虑程序的单个文件或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在一个计算机上或位于一个站点或分布在多个站点并通过通信网络互连的多个计算机上执行。
本文档中描述的过程和逻辑流程可以通过由一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能而执行。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适合于执行计算机程序的处理器同时包括通用和专用的微处理器以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。一般来说，计算机还可以包括或者可操作地耦合至用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘，或者光盘)，从其接收数据或者向其传递数据，或者两者兼有。然而，计算机不需要有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如包括半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存存储器设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及光盘只读存储器(CD ROM)和数字多功能光盘只读存储器(DVD-ROM)盘。处理器和存储器可以由专用逻辑电路补充或结合在专用逻辑电路中。
虽然本专利文档包含许多细节，但这些不应被解释为对任何主题的范围或可能要求保护的内容的限制，而是对特定技术的特定实施例可能特有的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以单独在多个实施中或以任何合适的子组合来实施。此外，尽管以上可能将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在一些情况下，可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者为实现期望的结果要执行所有示出的操作。此外，本专利文档中描述的实施例中各种系统组件的分离不应理解为在所有实施例中都需要这种分离。
仅描述了几个具体实施和示例，并且可以基于本专利文档中描述和说明的内容进行其他具体实施、增强和变化。
虽然本专利文档包含许多细节，但这些不应被解释为对任何主题的范围或可能要求保护的内容的限制，而是对特定技术的特定实施例可能特有的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以单独在多个实施中或以任何合适的子组合来实施。此外，尽管以上可能将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在一些情况下，可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者为实现期望的结果要执行所有示出的操作。此外，本专利文档中描述的实施例中各种系统组件的分离不应理解为在所有实施例中都需要这种分离。
仅描述了几个具体实施和示例，并且可以基于本专利文档中描述和说明的内容进行其他具体实施、增强和变化。

Claims (96)

1.一种处理视频数据的方法，包括：
利用融合模式融合自适应环路滤波器(ALF)处理单元的多个中间滤波结果以生成最终滤波结果；以及
基于所述最终滤波结果在包括所述ALF处理单元的视频与所述视频的比特流之间执行转换。
2.根据权利要求1所述的方法，其中，所述融合模式包括ALF融合模式。
3.根据权利要求1-2中任一项所述的方法，其中，所述多个中间滤波结果是通过应用由所述融合模式选择的多个不同滤波器来获得的。
4.根据权利要求3所述的方法，其中，由所述融合模式选择的所述多个不同滤波器是从自适应参数集(APS)中获得的，每个所述自适应参数集包含一个或多个滤波器。
5.根据权利要求3所述的方法，其中，由所述融合模式选择的所述多个不同滤波器是从相同的自适应参数集(APS)中获得的。
6.根据权利要求3所述的方法，其中，由所述融合模式选择的所述多个不同滤波器是从不同的自适应参数集(APS)中获得的。
7.根据权利要求3所述的方法，其中，由所述融合模式选择的所述多个不同滤波器中的一些滤波器是从相同的自适应参数集(APS)中获得的，并且由所述融合模式选择的所述多个不同滤波器中的一些滤波器是从不同的APS中获得的。
8.根据权利要求3所述的方法，其中，由所述融合模式选择的所述多个不同滤波器都是从预定义滤波器集中获得的。
9.根据权利要求3所述的方法，其中，由所述融合模式选择的所述多个不同滤波器是从自适应参数集和预定义滤波器集两者中获得的。
10.根据权利要求1-9中任一项所述的方法，其中，所述ALF处理单元的所述最终滤波结果是通过所述融合模式生成的。
11.根据权利要求10所述的方法，其中，所述ALF处理单元的所述最终滤波结果是通过利用函数融合所述多个中间滤波结果而生成的。
12.根据权利要求11所述的方法，其中，基于所述ALF处理单元的统计信息生成用于所述多个中间滤波结果中的每一个中间滤波结果的所述函数的函数参数的指示。
13.根据权利要求11所述的方法，其中，基于所述ALF处理单元的梯度信息生成用于所述多个中间滤波结果中的每一个中间滤波结果的所述函数的函数参数的指示。
14.根据权利要求11所述的方法，其中，基于所述ALF处理单元的信息生成用于所述多个中间滤波结果中的每一个中间滤波结果的所述函数的函数参数的指示。
15.根据权利要求11所述的方法，其中，基于所述函数的函数参数的指示的滤波器索引被用于所述融合模式，并且所述滤波器索引被设置在自适应参数集(APS)或预定义滤波器集内。
16.根据权利要求15所述的方法，其中，在所述APS或所述预定义滤波器集中的有效滤波器或可用滤波器具有所述函数的函数参数的单独指示。
17.根据权利要求15所述的方法，其中，所述函数的函数参数的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。
18.根据权利要求17所述的方法，其中，以预测方式对所述函数参数的指示进行编解码。
19.根据权利要求17所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
20.根据权利要求17所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
21.根据权利要求11-20中任一项所述的方法，其中，所述ALF处理单元是多个ALF处理单元中的一个，并且所述多个ALF处理单元的每一个ALF处理单元具有对应于自适应参数集(APS)或预定义滤波器集内的分配滤波器的类别索引。
22.根据权利要求21所述的方法，其中，所述函数的函数参数的多个指示被用于产生最终融合输出。
23.根据权利要求22所述的方法，其中，对于参与所述融合模式的所有中间滤波结果，所述函数参数的所述多个指示是相同的。
24.根据权利要求23所述的方法，其中，所述最终滤波结果由所述中间滤波结果中的N个中间滤波结果融合而成，N是正整数，并且所述融合模式的所述最终滤波结果被公式表示为：
Ffinal＝W×F1+W×F2+…+W×FN
其中，W表示所述函数参数的指示，F1…FN表示所述中间滤波结果，并且Ffinal表示所述融合模式的所述最终滤波结果。
25.根据权利要求22所述的方法，其中，对于参与所述融合模式的每一个所述中间滤波结果，所述函数参数的所述多个指示是不同的。
26.根据权利要求25所述的方法，其中，所述最终滤波结果由所述中间滤波结果中的N个中间滤波结果融合而成，N是正整数，并且所述融合模式的所述最终滤波结果被公式表示为：
Ffinal＝W1×F1+W2×F2+…+WN×FN
其中，W1…Wn表示所述函数参数的指示，S1…FN表示所述中间滤波结果，并且Ffinal表示所述融合模式的所述最终滤波结果。
27.根据权利要求26所述的方法，其中，W1+…+WN＝1。
28.根据权利要求26所述的方法，其中，Ffinal＝Shift((W1×F1+W2×F2+…+WN×FN),S)采用积分形式，Shift表示移位操作，并且S表示所述移位操作的长度。
29.根据权利要求26所述的方法，其中，W1+…+WN＝1＜＜S，S表示所述移位操作的长度。
30.根据权利要求11-29中任一项所述的方法，其中，所述函数的函数参数的值的指示取决于样点的位置。
31.根据权利要求11-30中任一项所述的方法，其中，所述函数的函数参数的值的指示取决于样点的强度。
32.根据权利要求11-31中任一项所述的方法，其中，对所述最终滤波结果进行限幅。
33.根据权利要求32所述的方法，其中，根据下式对所述最终滤波结果进行限幅：
Ffinal＝Clip3(minV,maxV,Ffinal)
其中，Clip3表示限幅函数，minV表示函数输出的最小值，maxV表示函数输出的最大值，并且Ffinal表示所述融合模式的所述最终滤波结果。
34.根据权利要求33所述的方法，其中，minV和maxV中的一个或多个被包括在所述比特流中。
35.根据权利要求34所述的方法，其中，minV和maxV中的一个或多个取决于比特深度。
36.根据权利要求1-35中任一项所述的方法，其中，由所述融合模式选择的滤波器都不是来自相同的自适应参数集(APS)或预定义滤波器集。
37.根据权利要求1-36中任一项所述的方法，其中，分配给所述ALF处理单元的类别索引的滤波器是从APS、多个APS中的一个APS或预定义滤波器集中选择的，并且所述ALF处理单元包括当前ALF处理单元。
38.根据权利要求1-36中任一项所述的方法，其中，每个所选择的滤波器被配置为从所述多个中间滤波结果生成中间滤波结果，并且所述ALF处理单元包括当前ALF处理单元。
39.根据权利要求1-36中任一项所述的方法，其中，所述最终滤波单元是基于所述多个中间滤波结果和所述函数的函数参数的对应指示而生成的，并且所述ALF处理单元包括当前ALF处理单元。
40.根据权利要求1-39中任一项所述的方法，其中，类别合并不应用于所选择的每个APS或预定义滤波器集。
41.根据权利要求1-39中任一项所述的方法，其中，类别合并的结果在所选择的APS或预定义滤波器集之间存在差异。
42.根据权利要求11-41中任一项所述的方法，其中，由所述融合模式针对所述ALF处理单元的每个类别索引选择的滤波器之间的所述函数的函数参数的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。
43.根据权利要求42所述的方法，其中，以预测方式对所述函数参数的指示进行编解码。
44.根据权利要求42所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
45.根据权利要求42所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
46.根据权利要求1-45中任一项所述的方法，其中，类别合并结果在所选择的APS或预定义滤波器集之间是相同的。
47.根据权利要求11-46所述的方法，其中，根据所选择的APS或预定义滤波器集中的类别合并结果，合并由所述融合模式针对不同类别选择的滤波器之间的所述函数的函数参数的指示。
48.根据权利要求46所述的方法，其中，由所述融合模式针对不同类别选择的滤波器之间的所述函数的函数参数的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。
49.根据权利要求48所述的方法，其中，以预测方式对所述函数参数的指示进行编解码。
50.根据权利要求48所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
51.根据权利要求50所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
52.根据权利要求1-35中任一项所述的方法，其中，由所述融合模式选择的滤波器中的一些或全部来自相同的自适应参数集或预定义滤波器集。
53.根据权利要求52所述的方法，其中，对于由所述融合模式选择并从不同的APS或不同的预定义滤波器集获得的滤波器，分配给所述ALF处理单元的类别索引的滤波器是从APS、多个APS中的一个或预定义滤波器集中选择的，并且所述ALF处理单元包括当前ALF处理单元。
54.根据权利要求52所述的方法，其中，由所述融合模式选择并从相同的APS或相同的预定义滤波器集获得的滤波器使用融合模式滤波器索引来指示从所述APS或预定义滤波器集中选择哪些滤波器进行融合。
55.根据权利要求52所述的方法，其中，每个所选择的滤波器针对所述ALF处理单元生成所述多个中间滤波结果中的一个中间滤波结果，并且所述ALF处理单元包括当前ALF处理单元。
56.根据权利要求52所述的方法，其中，所述ALF处理单元的所述最终滤波结果是基于所述多个中间滤波结果和所述函数的参数的对应指示而生成的，并且所述ALF处理单元包括当前ALF处理单元。
57.根据权利要求52所述的方法，其中，所述函数的函数参数的基于类别索引的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。
58.根据权利要求57所述的方法，其中，以预测方式对所述函数参数的指示进行编解码。
59.根据权利要求57所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
60.根据权利要求57所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
61.根据权利要求52所述的方法，其中，所述函数的函数参数的基于融合模式滤波器索引的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。
62.根据权利要求61所述的方法，其中，以预测方式对所述函数参数的指示进行编解码。
63.根据权利要求61所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
64.根据权利要求61所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
65.根据权利要求10所述的方法，其中，所述ALF处理单元的所述最终滤波结果是通过利用函数融合所述多个中间滤波结果而生成的，并且所述函数包括基于机器学习的函数或基于神经网络的函数。
66.根据权利要求1-65中任一项所述的方法，其中，一个或多个语法元素被用于ALF的所述最终滤波结果。
67.根据权利要求66所述的方法，其中，来自所述一个或多个语法元素的视频单元级标志用于指示所述融合模式是否被应用于当前视频单元。
68.根据权利要求67所述的方法，其中，所述视频单元级标志被包括在所述比特流中、是导出的、预定义的或实时确定的。
69.根据权利要求66所述的方法，其中，由所述融合模式选择的滤波器的数量被包括在所述比特流中、是导出的、预定义的或实时确定的。
70.根据权利要求66所述的方法，其中，APS索引或预定义滤波器集索引被包括在所述比特流中、是导出的、预定义的或实时确定的。
71.根据权利要求66所述的方法，其中，最大APS索引或最大预定义滤波器集索引被包括在所述比特流中、是导出的、预定义的或实时确定的。
72.根据权利要求66所述的方法，其中，固定数量的APS索引或预定义滤波器集索引被包括在所述比特流中、是导出的、预定义的或实时确定的。
73.根据权利要求66所述的方法，其中，当APS索引或预定义滤波器索引大于最大APS索引或最大预定义滤波器集索引时，不将所述APS索引或所述预定义滤波器索引用于所述融合模式。
74.根据权利要求66所述的方法，其中，当APS索引或预定义滤波器索引大于最大APS索引或最大预定义滤波器集索引时，将所述融合模式应用于所述ALF处理单元，并且所述ALF处理单元包括当前ALF处理单元。
75.根据权利要求66所述的方法，其中，当APS索引或预定义滤波器索引小于最大APS索引或最大预定义滤波器集索引时，不将所述融合模式应用于所述ALF处理单元，并且所述ALF处理单元包括当前ALF处理单元，并且其中所述ALF处理单元包括当前ALF处理单元。
76.根据权利要求1-75中任一项所述的方法，其中，当从相同的APS或相同的预定义滤波器集获得由所述融合模式选择的一个以上滤波器时，融合模式滤波器索引被包括在所述比特流中、是导出的、预定义的或实时确定的。
77.根据权利要求1-76中任一项所述的方法，其中，用于由所述融合模式选择的每个滤波器的函数的函数参数的指示被包括在所述比特流中、是导出的、预定义的或实时确定的。
78.根据权利要求77所述的方法，其中，以预测方式对所述函数参数的指示进行编解码。
79.根据权利要求77所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
80.根据权利要求77所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性，并且所述编解码信息包括图片顺序计数(POC)距离、时间层或条带(slice)类型。
81.根据权利要求1-80中任一项所述的方法，其中，由所述融合模式选择的第一滤波器的函数参数的指示被设置为1，由所述融合模式选择的第二滤波器的所述函数参数的所述指示默认设置为0，并且所述函数参数的指示设置为0的所述第二滤波器不应用于所述融合模式。
82.根据权利要求1-81中任一项所述的方法，其中，所述融合模式独立地用于包括所述ALF处理单元的视频单元。
83.根据权利要求1-81中任一项所述的方法，其中，两种或更多种不同的融合模式被联合用于包括所述ALF处理单元的视频单元。
84.根据权利要求1-81中任一项所述的方法，其中，两种或更多种不同的融合模式独立地用于不同的颜色分量或不同的颜色空间。
85.根据权利要求1-81中任一项所述的方法，其中，两种或更多种不同的融合模式被联合用于不同的颜色分量或不同的颜色空间。
86.根据权利要求1-85中任一项所述的方法，其中，所述ALF处理单元被设置在视频单元中，并且其中所述视频单元包括图片序列、图片、子图片、条带(slice)、片(tile)、一个或多个编解码树单元(CTU)、CTU行、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、包含一个以上亮度样点或像素的任何区域，或包含一个以上色度样点或像素的任何区域。
87.根据权利要求1-85中任一项所述的方法，其中，在所述比特流中以序列级、图片组级、图片级、条带(slice)级、片(tile)组级或者在序列标头、图片标头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码器能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带(slice)标头或片(tile)组标头中指示是否应用或如何应用所述方法。
88.根据权利要求1-85中任一项所述的方法，其中，在预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带(slice)、片(tile)、子图片或包含一个以上样点或像素的区域中指示是否应用或如何应用所述方法。
89.根据权利要求1-85中任一项所述的方法，其中，是否应用或如何应用所述方法取决于编解码信息，并且其中所述编解码信息包括块大小、颜色格式、单树或双树分割、颜色分量、条带(slice)类型或图片类型。
90.根据权利要求1所述的方法，其中，所述转换包括将所述视频数据编码到所述比特流中。
91.根据权利要求1所述的方法，其中，所述转换包括从所述比特流中解码所述视频数据。
92.一种处理视频数据的方法，包括：
确定非线性滤波操作被应用于视频单元；
为所述视频单元生成至少一个第一滤波索引；
基于所述至少一个第一滤波索引导出第一滤波系数集；以及
基于所述第一滤波系数集执行所述非线性滤波操作。
93.根据权利要求92所述的方法，其中，基于所述至少一个第一滤波索引和至少一个滤波限幅语法元素导出第一限幅参数集，并且所述非线性滤波操作进一步基于所述第一限幅参数集。
94.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1至93中任一项所述的方法。
95.一种非暂时性计算机可读记录介质，存储通过由视频处理装置执行的根据权利要求1至93中任一项所述的方法生成的视频的比特流。
96.一种非暂时性计算机可读存储介质，存储使处理器执行根据权利要求1至93中任一项所述的方法的指令。
CN202280055966.8A 2021-08-14 2022-08-05 视频编解码中自适应环路滤波器的改进融合模式 Pending CN117813823A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021112641 2021-08-14
CNPCT/CN2021/112641 2021-08-14
PCT/CN2022/110536 WO2023020305A1 (en) 2021-08-14 2022-08-05 Improved fusion mode for adaptive loop filter in video coding

Publications (1)

Publication Number Publication Date
CN117813823A true CN117813823A (zh) 2024-04-02

Family

ID=85240025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280055966.8A Pending CN117813823A (zh) 2021-08-14 2022-08-05 视频编解码中自适应环路滤波器的改进融合模式

Country Status (3)

Country Link
US (1) US20240179310A1 (zh)
CN (1) CN117813823A (zh)
WO (1) WO2023020305A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
GB2580173B (en) * 2018-12-21 2022-07-27 Canon Kk A filter
WO2020211770A1 (en) * 2019-04-15 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Temporal prediction of parameters in non-linear adaptive loop filter
CN117499679A (zh) * 2019-04-16 2024-02-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
CN117319686A (zh) * 2019-07-26 2023-12-29 寰发股份有限公司 用于视频编解码的方法及其装置

Also Published As

Publication number Publication date
WO2023020305A1 (en) 2023-02-23
US20240179310A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
CN114339221B (zh) 用于视频编解码的基于卷积神经网络的滤波器
CN114846793A (zh) 跨分量自适应环路滤波器
CN115428449A (zh) 交叉分量自适应环路滤波器
US20240064315A1 (en) Use of offsets with adaptive colour transform coding tool
CN115066899A (zh) 编解码视频的可分二次变换处理
CN117596400A (zh) 编解码块的缩放过程
CN117376556A (zh) 位置相关帧内预测样点滤波
WO2022268185A1 (en) Bilateral filter in video coding
CN115314711A (zh) 图像/视频编解码的基于神经网络的滤波
CN115211108A (zh) 环路滤波和视频片之间的相互作用
WO2023020305A1 (en) Improved fusion mode for adaptive loop filter in video coding
WO2023020318A1 (en) Fusion mode for adaptive loop filter in video coding
WO2023020309A1 (en) Advanced fusion mode for adaptive loop filter in video coding
WO2022218281A1 (en) Guided filter in video coding
WO2024078582A1 (en) Switchable input sources based extended taps for adaptive loop filter in video coding
WO2024094071A1 (en) Using side information for adaptive loop filter in video coding
WO2024002168A1 (en) Padding methods for adaptive loop filter in video coding
WO2024094059A1 (en) Adaptive filter reusing methods on adaptive loop filter in video coding
WO2024078566A1 (en) Multiple input sources based extended taps for adaptive loop filter in video coding
WO2024094066A1 (en) Using side information for sample adaptive offset in video coding
WO2024099432A1 (en) Using side information for adaptive loop filter in video coding
WO2023213265A1 (en) Extended taps using different sources for adaptive loop filter in video coding
WO2023213298A1 (en) Filter shape switch for adaptive loop filter in video coding
WO2024094042A1 (en) Using side information for bilateral filter in video coding
WO2022268184A1 (en) Adaptive Bilateral Filter In Video Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication