CN117882370A - 视频编解码中的自适应环路滤波器的高级融合模式 - Google Patents

视频编解码中的自适应环路滤波器的高级融合模式 Download PDF

Info

Publication number
CN117882370A
CN117882370A CN202280055946.0A CN202280055946A CN117882370A CN 117882370 A CN117882370 A CN 117882370A CN 202280055946 A CN202280055946 A CN 202280055946A CN 117882370 A CN117882370 A CN 117882370A
Authority
CN
China
Prior art keywords
filter
filters
indication
predefined
aps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280055946.0A
Other languages
English (en)
Inventor
尹文斌
张凯
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN117882370A publication Critical patent/CN117882370A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

一种处理媒体数据的方法。该方法包括使用融合模式的一个或多个虚拟滤波器对视频单元的样点进行滤波，以产生滤波结果；以及基于滤波后的样点，执行包括视频单元的视频和视频的比特流之间的转换。还公开了对应的视频编解码装置和非暂时性计算机可读记录介质。

Description

视频编解码中的自适应环路滤波器的高级融合模式
相关申请的交叉引用
本专利申请要求北京字节跳动网络技术有限公司于2021年8月14日提交的题为“视频编解码中的自适应环路滤波器的高级融合模式”的国际申请No.PCT/CN2021/112640的权益，其通过引用并入本文。
技术领域
本专利文档涉及视频编解码技术。
背景技术
数字视频在互联网和其他数字通信网络上占用了最大的带宽。能够接收及显示视频的连接用户设备数量与日俱增，从而数字视频使用的带宽需求预计将持续增长。
发明内容
所公开的方面/实施例提供了使用融合模式的一个或多个虚拟滤波器对视频单元的样点进行滤波以产生滤波结果的技术。在实施例中，样点包括自适应环路滤波器(ALF)处理单元中的样点，融合模式包括ALF融合模式，并且一个或多个虚拟滤波器通过ALF融合模式生成。通过应用融合模式，视频编解码过程相对于传统视频编解码技术得到了改进。
第一方面涉及一种处理视频数据的方法。所述方法包括：使用融合模式的一个或多个虚拟滤波器对视频单元的样点进行滤波，以产生滤波结果；以及基于滤波后的样点，执行包括所述视频单元的视频和所述视频的比特流之间的转换。
可选地，在任一前述方面，该方面的另一实现提供了所述样点包括自适应环路滤波器(ALF)处理单元中的样点，所述融合模式包括ALF融合模式，并且所述一个或多个虚拟滤波器通过所述ALF融合模式生成。
可选地，在任一前述方面，该方面的另一实现提供了所述一个或多个虚拟滤波器基于来自相同自适应参数集(APS)的多个滤波器、基于来自不同自适应参数集(APS)的多个滤波器、或者基于来自预定义滤波器集的多个滤波器。
可选地，在任一前述方面，该方面的另一实现提供了所述ALF处理单元中的所有样点共享对应于所述融合模式的相同融合过程。可选地，在任一前述方面，该方面的另一实现提供了所述融合模式包括多个滤波器，并且一个或多个虚拟滤波器通过用函数融合所述多个滤波器的每个位置的系数或限幅索引而被生成。
可选地，在任一前述方面，该方面的另一实现提供了所述ALF处理单元的分类索引基于ALF的分类方法而被生成。可选地，在任一前述方面，该方面的另一实现提供了所述ALF处理单元的转置索引基于所述ALF处理单元的统计信息而被生成，并且所述ALF处理单元包括当前ALF处理单元。
可选地，在任一前述方面，该方面的另一实现提供了所述融合模式包括多个滤波器，并且来自所述多个滤波器的特定滤波器被分配给特定分类或分类索引。
可选地，在任一前述方面，该方面的另一实现提供了所述ALF处理单元的滤波器索引根据当前ALF处理单元的分类索引而被分配。
可选地，在任一前述方面，该方面的另一实现提供了所述多个滤波器被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中，并且所述多个滤波器的总数等于所述多个滤波器的分类数量。
可选地，在任一前述方面，该方面的另一实现提供了所述多个滤波器被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中，并且所述多个滤波器的总数不同于所述多个滤波器的分类数量。
可选地，在任一前述方面，该方面的另一实现提供了所述多个滤波器的分类数量在分类索引中被表示，并且所述分类索引和对应滤波器索引之间的映射表被使用、被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了所述融合模式包括被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中的多个滤波器，并且所述多个滤波器用于自适应环路滤波器(ALF)系数或限幅索引的ALF的所提出的融合模式。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述多个滤波器都是从包括所述多个滤波器的所述APS获得的。可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述多个滤波器都是从所述APS中的相同APS获得的。可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述多个滤波器都是从所述APS中的不同APS获得的。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述多个滤波器中的一些滤波器是从所述APS中的相同APS获得的，并且通过所述融合模式选择的一些滤波器是从所述APS中的不同APS获得的。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述多个滤波器都是从所述预定义滤波器集获得的。可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述多个滤波器都是从所述APS和所述预定义滤波器集两者获得的。可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述多个滤波器具有相同的滤波器长度。可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述多个滤波器具有不同的滤波器长度。
可选地，在任一前述方面，该方面的另一实现提供了所述滤波器中的第一滤波器具有比所述滤波器中的第二滤波器短的滤波器长度，并且所述滤波器中的所述第一滤波器将缺失系数设置为零，使得所述滤波器中的所述第一滤波器的滤波器长度与所述滤波器中的第二滤波器的滤波器长度对齐。
可选地，在任一前述方面，该方面的另一实现提供了函数参数的基于滤波器索引的指示用于所述融合模式。可选地，在任一前述方面，该方面的另一实现提供了自适应参数集(APS)或预定义滤波器集内的有效或可用滤波器具有用于所述融合模式的函数参数的单独指示。可选地，在任一前述方面，该方面的另一实现提供了当自适应参数集(APS)或预定义滤波器集内的有效或可用滤波器被分配给自适应环路滤波器(ALF)处理单元时，函数参数的指示用于所述融合模式。
可选地，在任一前述方面，该方面的另一实现提供了用于所述融合模式的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示以预测方式进行编解码。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于一个或多个查找表。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式针对自适应环路滤波器(ALF)处理单元或分类索引选择的滤波器的每个位置的函数参数的指示被定义为Wij，其中i∈[0，N-1]且j∈[0，L-1]，其中N表示通过所述融合模式选择的滤波器的总数，并且其中L表示通过所述融合模式选择的所述滤波器中要被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量。
可选地，在任一前述方面，该方面的另一实现提供了所述融合模式的虚拟滤波器被公式化为：
Fnew＝[fnew0，fnew1，...fnewL-1]
fnewj＝f0jW0j+f1jW1j+…+fN-1jWN-1j
其中Fnew表示所述虚拟滤波器，其中fnewj表示所述虚拟滤波器的滤波器系数，并且其中fij表示所选择的滤波器i的位置j处的滤波器系数。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述滤波器中的每一个的每个位置使用用于融合的函数参数的相同指示。
可选地，在任一前述方面，该方面的另一实现提供了所述虚拟滤波器由M个滤波器融合，并且系数被公式化为：
CA0＝W1C10+W2C20+…+WMCM0
CA1＝W1C11+W2C21+…+WMCM1
CAi＝W1C1i+W2C2i+…+WMCMi
…
CAN＝W1C1N+W2C2N+…+WMCMN
其中W1…WM表示所述函数参数的相同指示，其中CAi表示所生成的系数，其中N表示通过所述融合模式选择的所述滤波器中被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量，其中i表示系数位置，其中W1+…+WM＝1，其中在积分形式中，CAi＝Shift((W1C1i+W2C2i+…+WMCMi)，S)，其中Shift表示比特移位运算，其中S表示所述比特移位运算的长度，其中整数W1…WM表示所述函数参数的相同指示，并且其中W1+…+WM＝1＜＜S。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的滤波器的每个位置使用用于融合的函数参数的独立指示。
可选地，在任一前述方面，该方面的另一实现提供了虚拟滤波器由M个滤波器融合，并且系数被公式化为：
CA0＝W10C10+W20C20+…+WM0CM0
CA1＝W11C11+W21C21+…+WM1CM1
CAi＝W1iC1i+W2iC2i+…+WMiCMi
…
CAN＝W1NC1N+W2NC2N+…+WMNCMN
其中W1i…WMi表示不同滤波器的函数参数的独立指示，其中N表示通过所述融合模式选择的所述滤波器中被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量，其中i表示系数位置，其中CAi表示所生成的系数，其中W1i+…+WMi＝1，其中在积分形式中，CAi＝Shift((W1iC1i+W2iC2i+…+WMiCMi)，S)，其中Shift表示比特移位运算，其中S表示所述比特移位运算的长度，其中整数W1i...WMi表示所述函数参数的独立指示，并且其中W1i+…+WMi＝1＜＜S。
可选地，在任一前述方面，该方面的另一实现提供了所述融合模式的结果根据CAi＝Clip3(minV，maxV，CAi)而被限幅，其中CAi表示所生成的系数，其中Clip3表示限幅函数，其中min V和max V表示函数输出的最小值和最大值，并且其中min V和max V中的一个或多个被包括在所述比特流中。
可选地，在任一前述方面，该方面的另一实现提供了当通过所述融合模式选择的所述滤波器都不来自相同的自适应参数集(APS)或相同的预定义滤波器集时，每个APS或预定义滤波器集中与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的所述滤波器用于融合。
可选地，在任一前述方面，该方面的另一实现提供了分类Merge不应用于每个APS或预定义滤波器集，并且Merge结果在所选择的APS或所选择的预定义滤波器集之间具有差异。可选地，在任一前述方面，该方面的另一实现提供了每个分类的通过所述融合模式选择的所述滤波器中的每一个的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示以预测方式进行编解码。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于一个或多个查找表。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
可选地，在任一前述方面，该方面的另一实现提供了分类Merge结果在所选择的APS或所选择的预定义滤波器集之间是相同的。可选地，在任一前述方面，该方面的另一实现提供了根据所选择的APS或所选择的预定义滤波器集的分类Merge结果，不同分类的通过所述融合模式选择的所述多个滤波器的每个位置的函数参数的指示被合并。
可选地，在任一前述方面，该方面的另一实现提供了合并分类中的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示以预测方式进行编解码。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于一个或多个查找表。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
可选地，在任一前述方面，该方面的另一实现提供了当从相同的自适应参数集(APS)或相同的预定义滤波器集获得通过所述融合模式选择的多于一个滤波器时，融合模式滤波器索引用于指示在APS或预定义滤波器集中通过所述融合模式选择哪些滤波器。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述滤波器中的一个或多个来自不同的APS或不同的预定义滤波器集。可选地，在任一前述方面，该方面的另一实现提供了分类Merge不应用于每个APS或预定义滤波器集，或者Merge结果在所选择的APS或所选择的预定义滤波器集之间具有差异。可选地，在任一前述方面，该方面的另一实现提供了每个分类的通过所述融合模式选择的所述滤波器中的每一个的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示以预测方式进行编解码。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于一个或多个查找表。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
可选地，在任一前述方面，该方面的另一实现提供了分类Merge结果在所选择的APS或所选择的预定义滤波器集之间是相同的。可选地，在任一前述方面，该方面的另一实现提供了根据所选择的APS或所选择的预定义滤波器集的分类Merge结果，不同分类的通过所述融合模式选择的所述滤波器的每个位置的函数参数的指示被合并。可选地，在任一前述方面，该方面的另一实现提供了合并分类中的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示以预测方式进行编解码。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于一个或多个查找表。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述滤波器中的一个或多个来自相同的APS或相同的预定义滤波器集。可选地，在任一前述方面，该方面的另一实现提供了融合模式滤波器索引用于指示在自适应参数集(APS)或预定义滤波器集中通过所述融合模式选择哪些滤波器。可选地，在任一前述方面，该方面的另一实现提供了所述融合模式滤波器索引被包括在比特流中、被推导、预定义或实时确定。可选地，在任一前述方面，该方面的另一实现提供了融合参数的基于融合模式滤波器索引的指示被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示以预测方式进行编解码。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于一个或多个查找表。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
可选地，在任一前述方面，该方面的另一实现提供了与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器中的每个位置的所述函数参数的指示是相同的。
可选地，在任一前述方面，该方面的另一实现提供了与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器中的每个位置的所述函数参数的指示是不同的。可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的所述滤波器中的一些位置的所述函数参数的指示是相同的，并且通过所述融合模式选择的所述滤波器中的一些位置的函数参数的指示在与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器之间是相同的。
可选地，在任一前述方面，该方面的另一实现提供了所述融合模式包括多个滤波器，并且分配给不同分类的所述滤波器使用函数参数设置的相同指示。可选地，在任一前述方面，该方面的另一实现提供了所述融合模式包括多个滤波器，并且分配给不同分类的所述滤波器使用函数参数设置的不同指示。可选地，在任一前述方面，该方面的另一实现提供了用于基于所述融合模式进行融合的函数参数的指示基于不同类型的信息而被生成。
可选地，在任一前述方面，该方面的另一实现提供了用于基于所述融合模式进行融合的函数参数的指示基于当前自适应环路滤波器(ALF)处理单元、所述视频单元、条带、图片或图片的序列的统计信息而被生成。可选地，在任一前述方面，该方面的另一实现提供了用于基于所述融合模式进行融合的函数参数的指示基于针对所述融合模式选择的所述滤波器的统计信息而被生成。
可选地，在任一前述方面，该方面的另一实现提供了用于基于所述融合模式进行融合的函数参数的指示基于当前视频单元的编码信息而被生成，并且所述编码信息包括编解码模式、所述当前视频单元的尺寸或非零变换系数的数量。
可选地，在任一前述方面，该方面的另一实现提供了所述一个或多个虚拟滤波器通过融合通过所述融合模式和其他融合函数选择的多个滤波器的每个位置的系数而被生成。可选地，在任一前述方面，该方面的另一实现提供了所述融合模式包括自适应环路滤波器(ALF)融合模式，并且一个或多个语法元素用于所述ALF融合模式。
可选地，在任一前述方面，该方面的另一实现提供了多个自适应参数集(APS)或预定义滤波器集内的滤波器由所述视频单元用于所述融合模式，并且所述视频单元包括当前视频单元。可选地，在任一前述方面，该方面的另一实现提供了视频单元级别标志被包括在所述比特流中、被推导、预定义或实时确定以指示所述融合模式是否被应用于所述视频单元，并且所述视频单元包括当前视频单元。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的多个滤波器被包括在所述比特流中、被推导、预定义或实时确定，并且所述视频单元包括当前视频单元。
可选地，在任一前述方面，该方面的另一实现提供了视频单元级别标志被包括在所述比特流中、被推导、预定义或实时确定以指示包含融合虚拟滤波器的一个或多个自适应参数集(APS)是否被包括在所述比特流中。可选地，在任一前述方面，该方面的另一实现提供了包含所述融合虚拟滤波器的所述一个或多个APS的数量被包括在所述比特流中、被推导、预定义或实时确定。可选地，在任一前述方面，该方面的另一实现提供了最大自适应参数集(APS)索引或最大预定义滤波器集索引被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了固定数量的自适应参数集(APS)索引或固定数量的预定义滤波器集索引被包括在所述比特流中、被推导、预定义或实时确定。可选地，在任一前述方面，该方面的另一实现提供了当被包括在所述比特流中、被推导、预定义或实时确定的对应自适应参数集(APS)索引或对应预定义滤波器集索引大于最大APS索引或最大预定义滤波器集索引时，APS或预定义滤波器集不用于所述融合模式。
可选地，在任一前述方面，该方面的另一实现提供了当被包括在所述比特流中、被推导、预定义或实时确定的自适应参数集(APS)或预定义滤波器集之一大于最大APS索引或最大预定义滤波器集索引时，所述融合模式被应用于所述视频单元，并且所述视频单元是当前视频单元。
可选地，在任一前述方面，该方面的另一实现提供了当被包括在所述比特流中、被推导、预定义或实时确定的自适应参数集(APS)或预定义滤波器集中的仅一个或都不小于最大APS索引或最大预定义滤波器集索引时，所述融合模式被应用于所述视频单元，并且所述视频单元是当前视频单元。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的每个滤波器的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示以预测方式进行编解码。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于一个或多个查找表。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的每个滤波器的每个位置的函数参数索引的指示被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示以预测方式进行编解码。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于一个或多个查找表。可选地，在任一前述方面，该方面的另一实现提供了所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
可选地，在任一前述方面，该方面的另一实现提供了通过所述融合模式选择的第一滤波器的函数参数的指示被设置为1，通过所述融合模式选择的第二滤波器的函数参数的指示被默认设置为零，并且所述函数参数的指示被设置为零的所述第二滤波器不应用于所述融合模式。
可选地，在任一前述方面，该方面的另一实现提供了当通过所述融合模式选择的多于一个滤波器来自相同的自适应参数集(APS)或相同的预定义滤波器集时，融合模式滤波器索引被包括在所述比特流中、被推导、预定义或实时确定。
可选地，在任一前述方面，该方面的另一实现提供了所述融合模式被独立用于所述视频单元。可选地，在任一前述方面，该方面的另一实现提供了两个或更多个不同融合模式被联合用于所述视频单元。可选地，在任一前述方面，该方面的另一实现提供了两个或更多个不同融合模式被独立用于不同颜色分量或不同颜色空间。
可选地，在任一前述方面，该方面的另一实现提供了两个或更多个不同融合模式被联合用于不同颜色分量或不同颜色空间。可选地，在任一前述方面，该方面的另一实现提供了所述视频单元包括图片的序列、图片、子图片、条带、片、一个或多个编解码树单元(CTU)、CTU行、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、包含多于一个亮度样点或像素的任何区域、或者包含多于一个色度样点或像素的任何区域。
可选地，在任一前述方面，该方面的另一实现提供了是否或如何应用所述方法在序列级别、图片组级别、图片级别、条带级别、片组级别的比特流中或在序列标头、图片标头、序列参数集(SPS)、视频参数集(VPS)、依赖性参数集(DPS)、解码器能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带标头或片组标头中被指示。
可选地，在任一前述方面，该方面的另一实现提供了是否或如何应用所述方法在预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、片、子图片、或者包含多于一个样点或像素的区域中被指示。
可选地，在任一前述方面，该方面的另一实现提供了是否或如何应用所述方法依赖于编解码信息，并且所述编解码信息包括块尺寸、颜色格式、单树或双树分割、颜色分量、条带类型或图片类型。
可选地，在任一前述方面，该方面的另一实现提供了所述转换包括将所述视频数据编码为所述比特流。可选地，在任一前述方面，该方面的另一实现提供了所述转换包括从所述比特流解码所述视频数据。
第二方面涉及一种处理视频数据的方法，包括：确定非线性滤波操作被应用于视频单元；生成所述视频单元的至少一个第一滤波索引；基于所述至少一个第一滤波索引，推导第一滤波系数集；以及基于所述第一滤波系数集，执行所述非线性滤波操作。
可选地，在任一前述方面，该方面的另一实现提供了第一限幅参数集基于所述至少一个第一滤波索引和至少一个滤波限幅语法元素而被推导，并且其中所述非线性滤波操作进一步基于所述第一限幅参数集。
第三方面涉及一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器执行任一公开的方法。
第四方面涉及一种存储通过由视频处理装置执行的任一公开的方法生成的视频的比特流的非暂时性计算机可读记录介质。
第五方面涉及一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器执行任一公开的方法。
为了清楚起见，前述实施例之一可与前述其他实施例中任何一个或多个相结合，以在本公开的范围内创建新的实施例。
通过结合附图和权利要求进行的以下详细描述，可以更清楚地理解这些特征和其他特征。
附图说明
为了更完整地理解本公开，现在结合附图和详细描述参考以下简要描述，其中相同的附图标记表示相同的部分。
图1是图片中4∶2∶2亮度和色度样点标称垂直和水平位置的示例。
图2是编码器框图的示例。
图3是67个帧内预测模式的示例。
图4是跨分量样点自适应偏移(CCSAO)过程的示例。
图5是针对CCSAO分类器使用的候选位置的图示。
图6是镜像填充的示例。
图7是用于扩展填充的示例。
图8是示出示例视频处理系统的框图。
图9是视频处理装置的框图。
图10是图示视频编解码系统的示例的框图。
图11是图示视频编码器的示例的框图。
图12是图示视频解码器的示例的框图。
图13是根据本公开的实施例的处理视频数据的方法。
具体实施方式
一开始就应该理解，尽管下面提供了一个或多个实施例的说明性实现，但所公开的系统和/或方法可以使用无论是当前已知的还是现有的任何数量的技术来实现。本公开不应以任何方式局限于以下所示的说明性实现、附图和技术，包括本文说明和描述的示例性设计和实现，而是可以在所附权利要求及其等效物的全部范围内进行修改。
H.266术语用于某些描述只是为了便于理解，而非为了限制所公开技术的范围。因此，本文所描述的技术也可应用于其他视频编解码器协议和设计。
本公开涉及视频编解码技术。具体地，本公开涉及图像/视频编解码中的环路内滤波器和其他编解码工具。这些思想可以单独地或以各种组合应用于任何现有的视频编解码标准或非标准视频编解码，如高效视频编解码(HEVC)和通用视频编解码(VVC)。所提出的思想还可应用于未来的多项视频编解码标准或视频编解码。
所述视频编解码标准主要通过众所周知的国际电信联盟电信标准分局(ITU-T)和国际标准化组织(ISO)/国际电工委员会(IEC)标准的发展而演进。ITU-T制作了H.261和H.263；ISO/IEC制作了运动图像专家组(MPEG)-1和MPEG-4视觉；这两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)以及H.265/高效视频编解码(HEVC)标准。
H.262，即视频编解码标准，是基于混合视频编解码结构，其中使用的是时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，视频编解码专家组(VCEG)和MPEG于2015年联合成立了联合视频探索团队(JVET)。自此，众多新的方法为JVET所采用，并投入名为联合探索模型(JEM)的参考软件中。
2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)创建了联合视频专家组(JVET)，其致力于制定通用视频编解码(VVC)标准，目标是相比HEVC降低50％的比特率。VVC测试模型(VTM)的第一个版本也在当时发布。
VVC的最新版本，也称为H.266，收录于2020年8月发布的名称为“通用视频编解码”的ITU-T文件。VVC的参考软件被称为VVC测试模型(VTM)。VTM收录于Bossen等人于2020年8月13日发布的名称为JVET软件手册”的JVET文件。
讨论了颜色空间和色度子采样。
颜色空间，也称为颜色模型(或颜色系统)，是一种抽象的数学模型，其将颜色的范围简单地描述为数字的元组，通常为3或4个值或颜色分量(如红、蓝、绿(RGB)等)。本质上，颜色空间是坐标系和子空间的细化。
对于视频压缩，最常用的颜色空间是YCbCr和RGB。
YCbCr、Y’CbCr或Y Pb/Cb Pr/Cr，也称为YCBCR或Y’CBCR，是一系列颜色空间，用作视频和数字摄影系统中彩色图像管道的一部分。Y’是亮度分量，CB(又称为Cb)和CR(又称为Cr)是蓝差色度分量和红差色度分量。Y’(带素数)区别于Y，Y是亮度，这意味着光强度是基于伽玛校正的RGB原色进行非线性编码的。
色度子采样是利用人类视觉系统对色差的敏锐度低于对亮度的敏锐度的原理，实现色度信息的分辨率低亮度信息的分辨率，从而对图像进行编码的实践。
讨论了4∶4∶4格式。
三个Y’CbCr分量中的每个分量都具有相同的采样率，因此不存在色度子采样。这种方案有时用于高端电影扫描仪和电影后期制作。
讨论了4∶4∶2格式。
以亮度采样率的一半对两个色度分量进行采样：水平色度分辨率减半，而垂直色度分辨率不变。这将未压缩视频信号的带宽减少了三分之一，几乎没有视觉差异。
图1示出了图片中4∶2∶2亮度和色度样点100的标称垂直和水平位置。4∶2∶2颜色格式的标称垂直和水平位置示例如VVC工作草案所示。
讨论了4∶2∶0格式。
与4∶1∶1相比，4∶2∶0中的水平采样增加了一倍，但由于在该方案中，Cb和Cr通道仅在每条交替线上进行采样，因而垂直分辨率减半。因此，数据速率相同。Cb和Cr分别在水平方向和垂直方向上以2为因子进行子采样。4∶2∶0方案有三种变体，这三种变体具有不同的水平和垂直定位。
在MPEG-2中，Cb和Cr水平共址。Cb和Cr在垂直方向上位于像素之间(间隔定位)。
在联合图像专家组(JPEG)/JPEG文件交换格式(JFIF)、H.261和MPEG-1中，Cb和Cr间隔定位，位于交替亮度样点之间的中间位置。
在4∶2∶0DV中，Cb和Cr在水平方向上共址。在垂直方向上，二者在交替线上共址。
表3-1从chroma_format_idc和separate_colour_plane_flag推导的SubWidthC和SubHeightC值
讨论了典型视频编解码器的编解码流程。
图2是编码器框图200的示例。编码器200适合用于实现VVC的技术。编码器200包括三个环路内滤波器，即去方块滤波器(DF)202、样点自适应偏移(SAO)204和自适应环路滤波器(ALF)206。与使用预定义滤波器的DF 202不同，SAO 204和ALF 206利用当前图片的原始样点，通过分别添加偏移和应用有限脉冲响应(FIR)滤波器，以编解码侧信息信令通知所述偏移和滤波器系数，从而减少原始样点和重构样点之间的均方误差。ALF 206位于每张图片的最后处理阶段，并且可被视为试图捕捉及修复先前阶段所创建伪像的工具。
编码器200还包括帧内预测组件208和运动估计/补偿(ME/MC)组件210，其被配置为接收输入视频。帧内预测组件208被配置为执行帧内预测，而ME/MC组件210被配置为利用从参考图片缓冲器212获得的参考图片来执行帧间预测。来自帧间预测或帧内预测的多个残差块被馈送至变换组件214和量化组件216中，以生成多个量化的残差变换系数，这些系数被馈送至熵编解码组件218中。熵编解码组件218对所述预测结果和所述量化变换系数进行熵编解码，并将其发送至视频解码器(未示出)。从量化组件216输出的多个量化分量可以被馈送至逆量化组件220、逆变换组件222和重构(REC)组件224。REC组件224能够将图像输出到DF 202、SAO 204和ALF 206，用于在这些图像被存储于参考图片缓冲器212之前进行滤波。
图片/条带/片被划分为编解码树单元(CTU)的序列。此处讨论的CTU概念与HEVC的概念相同。对于具有三个样点阵列的图片(例如，非单色情况)，CTU由一个N×N的亮度样点块以及两个相应的色度样点块组成。CTU中亮度块的最大允许尺寸被指定为128×128(尽管亮度变换块的最大尺寸为64×64)。
在HEVC中，使用表示为编解码树的四叉树结构将CTU划分为编解码单元(CU)，以适应各种局部特性。使用图片间(时间)预测还是图片内(空间)预测对图片区域进行编解码的决定是在叶CU级别做出的。每个叶CU可以根据PU划分类型进一步划分为一个、两个或四个预测单元(PU)。在一个PU内，应用相同的预测过程，并且在PU的基础上将相关信息发送到解码器。在应用基于所述PU划分类型的预测过程获得残差块后，可以根据与CU的编解码树类似的另一种四叉树结构将叶CU分割为多个变换单元(TUs)。HEVC结构的一个关键特征是，HEVC结构具有包括CU、PU和TU的多个分割概念。
在VVC中，具有使用二元和三元划分分割结构的嵌套多类型树(MTT)的四叉树取代了多个分割单元类型的概念。也就是说，使用二元和三元划分分割结构的MTT取消了CU、PU和TU概念的分离，除了CU可能大于PU的少数几种情况，例如CU的尺寸大于最大变换长度的情况。使用二元和三元划分分割结构的MTT支持针对CU分割形状更大的灵活性。在编解码树结构中，CU的形状可为正方形或矩形。CTU首先由四叉树结构进行分割。然后，可以通过多类型树结构进一步分割四叉树叶节点。
讨论了帧内预测。
图3是67个帧内预测模式300的示例。为了捕获自然视频中呈现的多个任意边缘方向，定向帧内模式的数量从HEVC中使用的33个扩展到65个。附加的定向模式在图3中被描绘为虚线箭头，并且平面和直流(DC)模式保持相同。这些密度较大的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。
如图3所示，传统的角帧内预测方向被定义为从45度到-1 35度的顺时针方向。在VTM中，对于非正方形块，以若干广角帧内预测模式自适应地替换若干传统的角帧内预测模式。使用原始方法将被替换模式进行信令通知，并在解析后重新映射到广角模式的索引。帧内预测模式的总数不变，即67，且帧内模式编解码不变。
在HEVC中，每个帧内编解码块都是正方形，其每条边的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测器。在VVC中，块的形状可为矩形，使其在一般情况下需要使用每个块的除法运算。为了避免针对DC预测的除法运算，仅使用较长边计算非正方形块的平均值。
讨论了帧间预测。
对于每个帧间预测的编解码单元(CU)，由运动矢量、参考图片索引和参考图片列表用法索引、以及待用于帧间预测样点生成的VVC的新编解码特征所需的附加信息组成的运动参数。所述运动参数可显式或隐式地进行信令通知。当用跳跃模式对CU进行编解码时，所述CU与一个预测单元(PU)相关联，且不具有有效的残差系数，不具有编解码的运动矢量delta或参考图片索引。指定Merge模式以从多个邻近CU获得针对当前CU的多个运动参数，包括空间和时间候选，以及VVC中引入的附加调度。Merge模式可应用于任何帧间预测CU，而不仅仅是用于跳过模式。Merge模式的替代方案是运动参数的显式传输，其中运动矢量、每个参考图片列表的对应参考图片索引和参考图片列表用法标志以及其他所需信息按每个CU显式地进行信令通知。
讨论了去方块滤波器。
视频编解码器中的去方块滤波典型的环路内滤波器。在VVC中，对CU边界、变换子块边界和预测子块边界应用去方块滤波过程。所述预测子块边界包括基于子块的时间运动矢量预测(SbTMVP)和仿射模式引入的预测单元边界，并且变换子块边界包括子块变换(SBT)和子分区内(ISP)模式引入的变换单元边界以及由于较大CU的隐式划分而引起的变换。如同在HEVC中进行的，解块滤波器的处理顺序被定义为对于整张图片，首先针对垂直边缘进行水平滤波，然后针对水平边缘进行垂直滤波。这种特定的顺序使得多个水平滤波或垂直滤波过程能够应用于并行线程中，或者仍然可以逐个CTB为基础在编解码树块(CTB)上实现，而仅具有较小处理延迟。
讨论了样点自适应偏移。
通过使用编码器针对每个CTB指定的偏移，将样点自适应偏移(SAO)应用于去方块滤波器之后的重构信号。视频编码器首先决定是否针对当前条带应用SAO过程。如果针对条带应用SAO，则每个CTB被分类为五种SAO类型之一，如表3-2所示。SAO的概念是将像素分类为类别，并通过向每个类别的像素添加偏移来减少失真。SAO操作包括边缘偏移(EO)和带偏移(BO)，边缘偏移针对SAO类型1至4中的像素分类使用边缘特性，带偏移针对SAO类型5中的像素分类使用像素强度。每个适用的CTB都有SAO参数，包括sao_merge_left_flag、sao_merge_up_flag、SAO类型和四个偏移。如果sao_merge_left_flag等于1，则当前CTB将重新使用SAO类型和CTB向左的偏移。如果sao_merge_up_flag等于1，则当前CTB将重新使用以上CTB的SAO类型和偏移。
表3-2 SAO类型的规范
SAO类型 待使用的样点自适应偏移类型 类别数量
0 无 0
1 1-D 0-度模式边缘偏移 4
2 1-D 90-度模式边缘偏移 4
3 1-D 135-度模式边缘偏移 4
4 1-D 45-度模式边缘偏移 4
5 带偏移 4
讨论了自适应环路滤波器。
针对视频编解码的自适应环路滤波是通过使用基于维纳的自适应滤波器最小化原始样点和解码样点之间的均方误差。ALF位于针对每张图片的最后处理阶段，并且可被视为捕捉和修复前一阶段伪影的工具。合适的滤波器系数由编码器确定，并显式地信令通知给所述解码器。为了实现更好的编解码效率，特别是针对高分辨率视频，对图片中不同区域或块应用不同滤波器，以针对亮度信号使用局部自适应。除了滤波器自适应之外，编解码树单元(CTU)级别的滤波器开/关控制也有助于提高编解码效率。在语法方面，滤波器系数在称为自适应参数集的图片级别标头中进行发送，并且CTU的滤波器开/关标志在条带数据中的CTU级别交织。这种语法设计不仅支持图片级别优化，还实现了低编码延迟。
双边环路内滤波器。
讨论了双边图像滤波器。
双边图像滤波器是一种非线性滤波器，其在保持边缘结构的同时平滑噪声。双边滤波是一种使滤波器权重不仅随着样点之间的距离而减小，而且随着强度差增大而减小的技术。这样，可以改善边缘的过度平滑。权重定义为：
其中Δx和Δy是垂直和水平方向上的距离，ΔI是样点之间的强度差。
保边去噪双边滤波器针对域滤波器和范围滤波器均采用低通高斯滤波器。域低通高斯滤波器为空间上接近中心像素的像素赋予更高的权重。范围低通高斯滤波器为与中心像素相似的像素赋予更高的权重。结合了范围滤波器和域滤波器，边缘像素处的双边滤波器变为沿边缘定向的细长高斯滤波器，并且在梯度方向上大大减小。这就是为什么双边滤波器可以在保持边缘结构的同时平滑噪声的原因。
讨论了视频编解码中的双边滤波器。
提出视频编解码中的双边滤波器作为针对VVC的编解码工具。例如，参见J.Strom、P.Wennersten、J.Enhorn、D.Liu、K.Andersson和R.Sjoberg，“与SAO相结合的双边环路滤波器”，载于IEEE图片编解码研讨会(PCS)，2019年11月。该滤波器充当与样点自适应偏移(SAO)滤波器并行的环路滤波器。双边滤波器和SAO都作用于相同的输入样点，每个滤波器产生一个偏移，然后将这些偏移添加到输入样点以产生输出样点，该输出样点在限幅后进入下一阶段。空间滤波强度σd由块尺寸决定，将较小的块进行更强的滤波，高强滤波强度σr由量化参数决定，针对更高的QP使用更强的滤波。仅使用四个最接近的样点，因此滤波后的样点强度IF可计算为：
其中IC表示中心样点的强度，其中ΔIA＝IA-IC表示中心样点和以上样点之间的强度差。ΔIB、ΔIL、和ΔIR分别表示中心样点与下方样点、左侧样点和右侧样点之间的强度差。
不幸的是，针对视频编解码中自适应环路滤波器的现有设计存在问题和/或缺点。例如，在当前ALF设计中，每个ALF处理单元独立使用每个在线训练的滤波器或预定义滤波器生成最终滤波输出。
本文公开了解决一个或多个上述问题的技术。举例来说，本公开提供使用融合模式的一个或多个虚拟滤波器对视频单元的样点进行滤波以产生滤波结果的技术。在实施例中，样点包括自适应环路滤波器(ALF)处理单元中的样点，融合模式包括ALF融合模式，并且一个或多个虚拟滤波器由ALF融合模式生成。通过应用融合模式，视频编解码过程相对于传统视频编解码技术得到了改进。
下面的详细实施例应当被认为是解释一般概念的示例。不应当以狭隘的方式来解释这些实施例。此外，这些实施例可以任何方式进行组合。
在下面的讨论中，视频单元(也称为视频数据单元)可以是图片的序列、图片、子图片、条带、编解码树单元(CTU)、块或区域。视频单元还可以指序列参数集(SPS)、图片参数集(PPS)、视频参数集(VPS)、自适应参数集(APS)、图片标头、条带标头或CTU行(例如，CTU行或CTU列)。视频单元可包括一个颜色分量或可包括多个颜色分量。
所公开的方法可以与环路内滤波器或后处理结合使用。
在以下讨论中，将SatShift(x，n)定义为：
将Shift(x，n)定义为Shift(x，n)＝(x+offset0)＞＞n。
在一个示例中，offset0和/或offset1被设置为(1＜＜n)＞＞1或(1＜＜(n-1))。在另一示例中，offset0和/或offset1被设置为0。
在另一个示例中，offset0＝offset1＝((1＜＜n)＞＞1)-1或((1＜＜(n-1)))-1。
将Clip3(min，max，x)定义为：
图4是CCSAO 400过程的示例。在第三代音视频编解码标准(AVS3)中采用了CCSAO，其利用共位亮度样点的强度确定色度样点滤波器的偏移。如图所示，CCSAO 400包括针对Y分量的去方块滤波(DBF)402、针对U分量的DBF 404以及针对V分量的DBF 406。CCSAO 400还包括针对Y分量的SAO 408、针对U分量的SAO 410和针对V分量的SAO 412。CCSAO 400进一步包括针对Y分量的CCSAO 414、针对U分量的CCSAO 416和针对V分量的CCSAO 418。如图所示，使用CCSAO过程400组合各种输出以获得Y、U和V分量。
图5是针对CCSAO分类器500使用的候选位置的图示。例如，使用共位色度(颜色)分量U 504、共位色度(颜色)分量Y 506和/或邻近像素/样点508对共位及邻近亮度(视亮度)分量Y 502进行分类。
图6是镜像填充600的示例。如图所示，视频单元602包含多个样点/像素604。在镜像填充600中，使用镜像技术在视频单元602周围添加填充的样点/像素606，这有效地增加了视频单元602的尺寸。即，填充被用于扩展视频单元602的尺寸。
图7是用于扩展填充700的示例。如图所示，视频单元702包含多个样点/像素704。在扩展填充700中，使用扩展技术在视频单元702周围添加填充的样点/像素706，这有效地增加了视频单元702的尺寸。即，填充被用于扩展视频单元702的尺寸。
示例1
1)在一个示例中，针对滤波提出/描述的融合模式可应用于视频编解码中的任何环路内滤波、预处理滤波方法或后处理滤波方法(包括但不限于ALF/CCALF或任何其他滤波方法)。
a)在一个示例中，提出的融合模式可应用于环路内滤波方法。
i.在一个示例中，提出的融合模式可应用于ALF。
ii.在一个示例中，提出的融合模式可应用于CCALF。
iii.在一个示例中，提出的融合模式可应用于其他环路内滤波方法。
b)在一个示例中，提出的融合模式可应用于预处理滤波方法。
c)可替代地，提出的融合模式可应用于后处理滤波方法。
示例2
2)待滤波样点(例如，ALF处理单元中的样点)的最终滤波结果可由多于一个滤波器产生，且这种过程被称为ALF融合模式。
a)在ALF融合模式中，一个/多个虚拟滤波器生成自被信令通知/推导的现有滤波器。
i.此外，可替代地，虚拟滤波器可通过滤波器系数的函数生成，滤波器系数与信令通知/推导的现有滤波器相关联。
1.在一个示例中，函数是线性加权和。
2.在一个示例中，函数是非线性函数。
b.在ALF融合模式中，由多个被信令通知/推导的现有滤波器产生的多个临时滤波结果可首先生成，且可利用这些临时滤波结果生成最终滤波结果。
i.此外，可替代地，最终滤波结果可通过多个临时滤波结果的函数生成。
1.在一个示例中，函数是线性加权和。
2.在一个示例中，函数是非线性函数。
c)在以上示例中，被信令通知/推导的现有滤波器可来自相同或不同的ALF APS。
d.在上述示例中，被信令通知/推导的现有滤波器可来自预定义滤波器集。
e.在一个示例中，一个ALF处理单元内的所有样点可共享相同的融合过程。
f.在一个示例中，一个视频单元(例如，CTB/CTU)内的所有样点可共享相同的融合过程。
g.此外，可替代地，函数参数(例如，权重)的指示可在比特流中被进一步信令通知。
i.在一个示例中，它们可以在PH/SH/CTU/CTB/区域级别中被信令通知。
h)此外，可替代地，函数参数(例如，权重)的指示可被即时推导。
示例3
3)在一个示例中，待滤波样点(例如，ALF处理单元中的样点)的滤波结果可由通过ALF融合模式生成的一个/多个虚拟滤波器产生。
a)在一个示例中，生成的一个/多个滤波器可由来自相同或不同的APS/预定义滤波器集的滤波器产生。
b)在一个示例中，一个ALF处理单元内的所有样点可共享相同的融合过程。
c)在一个示例中，可通过将多个参与的滤波器(participated filter)的每个位置的多个系数/限幅索引与函数(例如，加权和)融合，生成一个/多个虚拟滤波器。
i.在一个示例中，可通过ALF的分类方法生成ALF处理单元的分类索引。
ii.在一个示例中，可基于当前ALF处理单元的统计信息生成ALF处理单元的转置索引。
iii.在一个示例中，可将特定滤波器分配给特定分类/分类索引。
1.在一个示例中，可根据当前ALF处理单元的分类索引分配ALF处理单元的滤波器索引。
2.在一个示例中，APS/预定义滤波器集内的滤波器的总数可等于分类数量。
3.在一个示例中，APS/预定义滤波器集内的滤波器的总数可不同于分类数量。
a)在一个示例中，分类索引和对应滤波器索引之间的映射表可被使用/信令通知/推导/预定义/即时确定。
iv.在一个示例中，来自APS/预定义滤波器集的多个滤波器可用于针对ALF系数/限幅索引的提出的融合模式。
1.在一个示例中，参与的滤波器可全部来自包含一个/多个滤波器的APS。
a)参与的滤波器可全部来自相同APS。
b)参与的滤波器可全部来自不同APS。
c)在一个示例中，参与的滤波器中的一些可来自相同APS，而其他滤波器可来自不同APS。
2.在一个示例中，参与的滤波器可全部来自预定义滤波器集。
3.可替代地，参与的滤波器可来自APS和预定义滤波器集两者。
v.在一个示例中，参与的滤波器的滤波器长度可相同。
vi.可替代地，参与的滤波器的滤波器长度可不同。
a)在一个示例中，具有较短滤波器长度的滤波器可将多个缺失系数设置为零，以对齐所有参与的滤波器的滤波器长度。
vii.在一个示例中，函数参数(例如，权重)的基于滤波器索引的指示可用于提出的融合模式。
1.在一个示例中，APS/预定义滤波器集内的有效/可用滤波器可具有函数参数(例如，权重)的单独指示。
2.在一个示例中，当APS/预定义滤波器集内的有效/可用滤波器被分配给ALF处理单元时，函数参数(例如，权重)的对应指示可用于提出的融合模式。
3.函数参数(例如，权重)的指示可被信令通知/推导/预定义/即时确定。
a)函数参数(例如，权重)的指示可以预测方式进行编解码。
b)在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
c)在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
viii.在一个示例中，对于ALF处理单元/分类索引，参与的滤波器的每个位置的函数参数(例如，权重)的指示可被定义为Wij，其中i∈[0，N-1]且j∈[0，L-1]。
1.在一个示例中，N可表示参与的滤波器的总数。
2.在一个示例中，L可表示在参与的滤波器中待推导/信令通知/使用/预定义的最大数量的滤波器系数。
3.在一个示例中，所生成的虚拟滤波器可公式化为：
Fnew＝[fnew0，fnew1，...fnewL-1]
fnewj＝f0jW0j+f1jW1j+…+fN-1jWN-1j
其中Fnew表示所生成的虚拟滤波器，且fnewj表示所生成的虚拟滤波器的滤波器系数。fij表示参与的滤波器i的位置j处的滤波器系数。
4.在一个示例中，每个参与的滤波器的每个位置可使用用于融合的函数参数(例如，权重)的相同指示。
a.在一个示例中，假设附加虚拟滤波器由M个滤波器融合。所生成的系数可公式化为：
CA0＝W1C10+W2C20+…+WMCM0
CA1＝W1C11+W2C21+…+WMCM1
CAi＝W1C1i+W2C2i+…+WMCMi
CAN＝W1C1N+W2C2N+…+WMCMN
其中，W1...WM代表函数参数(例如，权重)的相同指示，CAi代表所生成的系数，N代表参与的滤波器中待推导/信令通知/使用/预定义的最大数量的滤波器系数，i代表系数位置i。在一个示例中，W1+…+WM＝1。在积分形式中，CAi＝Shift((W1C1i+W2C2i+…+WMCMi)，S)。其中整数W1…WM代表函数参数(例如，权重)的指示。在一个示例中，W1+…+WM＝1＜＜S。
5.可替代地，每个参与的滤波器的每个位置可以使用用于融合的函数参数(例如，权重)的独立指示。
a)在一个示例中，假设附加虚拟滤波器由M个滤波器融合。所产生的系数可公式化为：
CA0＝W10C10+W20C20+…+WM0CM0
CA1＝W11C11+W21C21+…+WM1CM1
CAi＝W1iC1i+W2iC2i+…+WMiCMi
…
CAN＝W1NC1N+W2NC2N+…+WMNCMN
其中，W1i…WMi代表不同滤波器的函数参数(例如，权重)的指示，N代表参与的滤波器中待推导/信令通知/使用/预定义的最大数量的滤波器系数，i代表位置且CAi代表所生成的系数。在一个示例中，W1i+…+WMi＝1。在积分形式中，CAi＝Shift((W1iC1i+W2iC2i+…+WMiCMi)，S)。其中整数W1i…WMi代表函数参数(例如，权重)的指示。在一个示例中，W1i+…+WMi＝1＜＜S。
6.在一个示例中，可对融合的结果进行限幅。例如，CAi＝Clip3(minV，maxV，CAi)。
a)在一个示例中，minV和/或maxV可被信令通知。
7.在一个示例中，当参与的滤波器都不来自相同的APS/预定义滤波器集时，可使用与每个APS/预定义滤波器集中当前ALF处理单元的分类索引相对应的滤波器进行融合。
a)在一个示例中，分类Merge可不应用于每个APS/预定义滤波器集，或者Merge结果可在选择的APS/预定义滤波器集之间具有差异。
i.在一个示例中，每个分类的每个参与的滤波器的每个位置的函数参数(例如，权重)的指示可被信令通知/推导/预定义/即时确定。
1.在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
b)在一个示例中，分类Merge结果在选择的APS/预定义滤波器集之中可相同。
i.在一个示例中，可根据选择的APS/预定义滤波器集的分类Merge结果合并不同分类的每个参与的滤波器的每个位置的函数参数(例如，权重)的指示。
ii.可替代地，合并分类之中的函数参数(例如，权重)的指示可被信令通知/推导/预定义/即时确定。
1.在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
4.在一个示例中，当多于一个参与的滤波器来自相同的APS/预定义滤波器集时，融合模式滤波器索引可用于指示通过APS/预定义滤波器集中的融合模式选择哪些滤波器。
a)在一个示例中，参与的滤波器中的一个/多个可来自不同的APS/预定义滤波器集。
i.在一个示例中，分类Merge可不应用于每个APS/预定义滤波器集，或者Merge结果可在选择的APS/预定义滤波器集之间具有差异。
1.在一个示例中，每个分类的每个参与的滤波器的每个位置的函数参数(例如，权重)的指示可被信令通知/推导/预定义/即时确定。
a.在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
b.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
c.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
ii.在一个示例中，在不同选择的APS/预定义滤波器集之间，分类Merge结果可相同。
1.在一个示例中，可根据选择的APS/预定义滤波器集的分类Merge结果合并不同分类的每个参与的滤波器的每个位置的函数参数(例如，权重)的指示。
2.可替代地，合并分类之中的函数参数(例如，权重)的指示可被信令通知/推导/预定义/即时确定。
a)在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
b)在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
c)在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
b)在一个示例中，一个/多个参与的滤波器可来自相同的APS/预定义滤波器集。
i.在一个示例中，融合模式滤波器索引可用于指示选择APS/预定义滤波器集内的哪些滤波器。
ii.在一个示例中，融合模式滤波器索引可被信令通知/推导/预定义/即时确定。
iii.在一个示例中，函数参数(例如，权重)的基于融合模式滤波器索引的指示可被信令通知/推导/预定义/即时确定。
1.在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
9.在一个示例中，对应于当前ALF处理单元的分类索引的参与的滤波器中的每个位置的函数参数(例如，权重)的指示可相同。
10.在一个示例中，对应于当前ALF处理单元的分类索引的参与的滤波器中的每个位置的函数参数(例如，权重)的指示可不同。
11.在一个示例中，在对应于当前ALF处理单元的分类索引的参与的滤波器之间，一些位置的函数参数(例如，权重)的指示可相同，而其他位置的函数参数(例如，权重)的指示可不同。
ix.在一个示例中，分配给不同分类的滤波器可使用函数参数(例如，权重)设置的相同指示。
x.可替代地，分配给不同分类的滤波器可使用函数参数(例如，权重)设置的不同指示。
d)在一个示例中，可基于不同类型的信息生成用于融合的函数参数(例如，权重)的指示。
i.在一个示例中，可基于当前ALF处理单元/视频单元/条带/图片/序列的统计信息生成函数参数(例如，权重)的指示。
ii.在一个示例中，可基于参与的滤波器的统计信息生成函数参数(例如，权重)的指示。
iii.可替代地，可基于当前视频单元的编码信息(包括模式、尺寸、非零变换系数的数量或其他编解码信息)生成函数参数(例如，权重)的指示。
e.在一个示例中，通过将多个参与的滤波器的每个位置的系数与其他融合函数融合，可由多个滤波器生成一个/多个附加虚拟滤波器。
f.在一个示例中，一个/多个语法元素可用于提出的ALF融合模式。
i.在一个示例中，当前视频单元可将多个APS/预定义滤波器集内的滤波器用于提出的融合模式。
ii.在一个示例中，视频单元级别标志可被信令通知/推导/预定义/即时确定，以指示融合模式是否应用于当前视频单元。
iii.在一个示例中，当前视频单元的参与的滤波器的数量可被信令通知/推导/预定义/即时确定。
iv.在一个示例中，视频单元级别标志可被信令通知/推导/预定义/即时确定，以指示是否需要信令通知包含融合虚拟滤波器的一个/多个APS。
1.在一个示例中，包含融合虚拟滤波器的APS的数量可被信令通知/推导/预定义/即时确定。
v.在一个示例中，最大APS/预定义滤波器集索引可被信令通知/推导/预定义/即时确定。
1.在一个示例中，对于视频单元，固定数量的APS/预定义滤波器集索引可总是被信令通知/推导/预定义/即时确定。
2.在一个示例中，如果信令通知/推导/预定义/确定的APS/预定义滤波器集索引之一大于最大APS/预定义滤波器集索引，则对应的APS/预定义滤波器集索引可不用于融合模式。
3.在一个示例中，如果多于一个信令通知/推导/预定义/确定的APS/预定义滤波器集索引大于最大APS/预定义滤波器集索引，则融合模式可应用于当前视频单元。
4.在一个示例中，如果仅信令通知/推导/预定义/确定的APS/预定义滤波器集索引中的一个/少于一个小于最大APS/预定义滤波器集索引，则融合模式不应用于当前视频单元。
vi.在一个示例中，每个参与的滤波器的每个位置的函数参数(例如，权重)的指示可被信令通知/推导/预定义/即时确定。
1.在一个示例中，函数参数(例如，权重)的融合指示可以预测方式进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
vii.在一个示例中，每个参与的滤波器的每个位置的函数参数(例如，权重)索引的指示可被信令通知/推导/预定义/即时确定。
1.在一个示例中，函数参数(例如，权重)索引的指示可以预测方式进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
viii.在一个示例中，一个参与的滤波器的函数参数(例如，权重)的指示可默认设置为1，而其他参与的滤波器的函数参数(例如，权重)的指示可默认设置为0。在此情况下，可不应用提出的融合模式/方法。
ix.在一个示例中，当多于一个参与的滤波器来自相同的APS/预定义滤波器集时，融合模式滤波器索引可被信令通知/推导/预定义/即时确定。
示例4
4)在一个示例中，上述融合模式/方法可独立用于视频单元。
示例5
5)可替代地，上述融合模式/方法可联合用于视频单元。
示例6
6)在一个示例中，上述融合模式/方法可独立用于不同颜色分量/空间。
示例7
7)可替代地，上述融合模式/方法可联合用于不同颜色分量/空间。
示例8
8)在上述示例中，视频单元可指序列/图片/子图片/条带/片/编解码树单元(CTU)/CTU行/CTU的组/编解码单元(CU)/预测单元(PU)/变换单元(TU)/编解码树块(CTB)/编解码块(CB)/预测块(PB)/变换块(TB)/包含多于一个亮度或色度样点/像素的任何其他区域。
示例9
9)是否应用和/或如何应用上述公开的方法可在序列级别/图片组级别/图片级别/条带级别/片组级别，诸如在序列标头/图片标头/SPS/VPS/DPS/DCI/PPS/APS/条带标头/片组标头中被信令通知。
示例10
10)是否应用和/或如何应用上述公开的方法可在包含多于一个样点或像素的PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/片/子图片/其他类型区域被信令通知。
示例11
是否应用和/或如何应用上述公开的方法可依赖于编解码信息，诸如块尺寸、颜色格式、单/双树分割、颜色分量、条带/图片类型。
讨论了其他技术。
示例12
1.视频单元内的ALF处理单元可被设计/定义为各种形状或尺寸。
a)在一个示例中，ALF处理单元可用作用于在ALF中产生分类结果的单元。
i.当前ALF处理单元的分类索引可被信令通知/推导/预定义/即时确定。
b)在一个示例中，ALF处理单元可用作用于产生转置索引的单元。
i.在一个示例中，ALF处理单元可对应用/选择的一个/多个滤波器使用不同的转置函数，以生成最终/中间滤波结果。
1.在一个示例中，转置函数可以是镜像函数。
2.在一个示例中，转置函数可以是旋转函数。
3.在一个示例中，转置函数可以是仿射函数。
4.在一个示例中，转置函数可以是其他变换函数。
5.在一个示例中，转置函数可以是镜像函数和旋转函数的组合。
6.可替代地，转置函数可以是若干变换函数的组合。
7.在一个示例中，转置函数可由一个或多个索引指示，可在视频单元中从编码器信令通知给解码器。
ii.ALF处理单元的转置索引可被信令通知/推导/预定义/即时确定。
c)在一个示例中，ALF处理单元可用作用于收集ALF中的统计信息的单元。
i.在一个示例中，ALF处理单元内的样点可用于基于分类/限幅结果生成滤波器系数。
ii.在一个示例中，ALF处理单元内的样点可用于生成转置索引或选择转置函数。
d)在一个示例中，ALF处理单元可用作用于根据分类结果来选择APS/预定义滤波器集内的特定滤波器的单元。
i.在一个示例中，APS/预定义滤波器集内的滤波器索引可被分配给ALF处理单元。
a.在一个示例中，APS/预定义滤波器集内的滤波器索引可被信令通知/推导/预定义/即时确定。
ii.在一个示例中，ALF处理单元内的样点可使用相同滤波器进行滤波。
e)在一个示例中，ALF处理单元可具有不同的形状。
i.在一个示例中，ALF处理单元可以是正方形。
ii.在一个示例中，ALF处理单元可以是菱形。
iii.在一个示例中，ALF处理单元可以是矩形。
iv.在一个示例中，ALF处理单元可以是对称的。
v.可替代地，ALF处理单元可以是非对称的。
vi.在一个示例中，ALF处理单元可以是其他设计形状。
f)在一个示例中，ALF处理单元的尺寸可以为M×N。
i.在一个示例中，M可以等于N。
ii.在一个示例中，M可以不同于N。
iii.在一个示例中，M或N可以为1。
iv.可替代地，M和N可以同时为1。
g)在一个示例中，视频单元可包含一个/多个ALF处理单元。
i.在一个示例中，视频单元可以是CU。
ii.在一个示例中，视频单元可以是CTU。
iii.在一个示例中，视频单元可以是CTU行。
iv.可替代地，视频单元可以是包含多于一个亮度或色度样点/像素的任何其他区域。
示例13
2)在一个示例中，可通过将多个中间滤波结果与ALF的提出的融合模式/方法融合，生成ALF处理单元的滤波结果。中间滤波结果可由来自相同/不同的APS/预定义滤波器集的滤波器产生。
a)中间滤波结果可由多个参与的滤波器生成。
i.在一个示例中，参与的滤波器可全部来自包含一个/多个滤波器的APS。
1.参与的滤波器可全部来自相同APS。
2.参与的滤波器可全部来自不同APS。
3.参与的滤波器中的一些可来自相同APS，而其他滤波器可来自不同APS。
ii.在一个示例中，参与的滤波器可全部来自预定义滤波器集。
iii.可替代地，参与的滤波器可来自APS和预定义滤波器集两者。
b)在一个示例中，可通过提出的融合模式/方法产生ALF处理单元的最终滤波结果。
i.在一个示例中，可通过将一个/多个中间滤波结果与函数(例如，加权和函数)融合，生成ALF处理单元的最终滤波结果。
1.在一个示例中，可基于ALF处理单元/视频单元的统计信息，生成每个中间滤波结果的函数参数(例如，权重)的指示。
2.可替代地，可基于ALF处理单元/视频单元的梯度信息，生成每个中间滤波结果的函数参数(例如，权重)的指示。
3.在一个示例中，可基于ALF处理单元/视频单元的其他信息，生成每个中间滤波结果的函数参数(例如，权重)的指示。
4.在一个示例中，函数参数(例如，权重)的基于APS/预定义滤波器集的融合指示内的滤波器索引可用于提出的融合模式。
a)在一个示例中，APS/预定义滤波器集内的有效/可用滤波器可具有函数参数(例如，权重)的单独融合指示。
b)函数参数(例如，权重)的融合指示可被信令通知/推导/预定义/即时确定。
i.函数参数(例如，权重)的融合指示可以预测方式进行编解码。
ii.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
iii.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
5.在一个示例中，每个ALF处理单元可具有对应于APS或预定义滤波器集内的分配滤波器的分类索引。
a)在一个示例中，函数参数(例如，权重)的多个指示可用于产生最终融合输出。
1.在一个示例中，针对参与融合模式的所有中间滤波结果，函数参数(例如，权重)的指示可相同。
a.在一个示例中，假设最终滤波结果由N个中间滤波结果融合。提出的融合模式的最终滤波结果可公式化为：
Ffinal＝W×F1+W×F2+…+W×FN
其中W代表函数参数(例如，权重)的融合指示，F1…FN代表中间滤波结果，且Ffinal表示融合模式的最终滤波结果。
2.在一个示例中，针对参与融合模式的每个融合中间滤波结果，函数参数(例如，权重)的指示可不同。
a.在一个示例中，假设最终滤波结果由N个中间滤波结果融合。提出的融合模式的最终滤波结果可公式化为：
Ffinal＝W1×F1+W2×F2+…+WN×FN
其中W1…WN代表函数参数(例如，权重)的融合指示，F1…FN代表中间滤波结果，Ffinal表示融合模式的最终滤波结果。
a.在一个示例中，W1+…+WN＝1。
b.在积分形式中，Ffinal＝Shift((W1×F1+W2×F2+…+WN×FN)，S)。其中，整数W1…WN代表函数参数(例如，权重)的融合指示，F1…FN代表中间滤波结果，Ffinal表示融合模式的最终滤波结果。
c.在一个示例中，W1+…+WN＝1＜＜S。
3.函数参数(例如，权重)值的指示可依赖于样点的位置。
4.函数参数(例如，权重)值的指示可依赖于样点的强度。
5.在一个示例中，可以对融合的结果进行限幅。例如，Ffinal＝Clip3(minV，maxV，Ffinal)。
a.minV和/或maxV可被信令通知。
b.minV和/或maxV可依赖于比特深度。
b)在一个示例中，参与的滤波器都不来自相同的APS/预定义滤波器集。
i.在一个示例中，可从APS/多个APS/预定义滤波器集选择分配给当前ALF处理单元的分类索引的滤波器。
ii.在一个示例中，每个选择的滤波器可生成当前ALF处理单元的中间滤波结果。
iii.在一个示例中，可基于中间滤波结果和函数参数(例如，权重)的对应指示，生成当前ALF处理单元的最终滤波结果。
iv.在一个示例中，分类Merge可不应用于每个选择的APS/预定义滤波器集，或者分类Merge结果可在选择的APS/预定义滤波器集之间具有差异。
a.在一个示例中，ALF处理单元的每个分类索引的参与的滤波器之间的函数参数(例如，权重)的融合指示可被信令通知/推导/预定义/即时确定。
a)在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
b)在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
c)在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
v.在一个示例中，分类Merge结果在选择的APS/预定义滤波器集之间可相同。
1.在一个示例中，可根据选择的APS/预定义滤波器集中的分类Merge结果合并不同分类的参与的滤波器之间的函数参数(例如，权重)的融合指示。
2.可替代地，不同分类的参与的滤波器之间的函数参数(例如，权重)的合并融合指示可被信令通知/推导/预定义/即时确定。
a)在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
b)在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
c)在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
c)在一个示例中，参与的滤波器中的全部/一些来自相同的APS/预定义滤波器集。
i.在一个示例中，针对来自不同的APS/预定义滤波器集的参与的滤波器，分配给当前ALF处理单元的分类索引的滤波器可选自APS/多个APS/预定义滤波器集。
ii.在一个示例中，来自相同APS或预定义滤波器集的参与的滤波器可使用融合模式滤波器索引来指示从APS/预定义滤波器集选择哪些滤波器进行融合。
iii.在一个示例中，每个选择的滤波器可生成当前ALF处理单元的中间滤波结果。
iv.在一个示例中，可基于中间滤波结果和函数参数(例如，权重)的对应指示，生成当前ALF处理单元的最终滤波结果。
v.在一个示例中，函数参数(例如，权重)的基于分类索引的融合指示可被信令通知/推导/预定义/即时确定。
1.在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
vi.可替代地，函数参数(例如，权重)的基于融合模式滤波器索引的融合指示可被信令通知/推导/预定义/即时确定。
1.在一个示例中，函数参数(例如，权重)的指示可以预测方式进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
ii.可替代地，ALF处理单元的最终滤波结果可通过具有其他融合函数的若干中间滤波结果生成。
c)在一个示例中，一个/多个语法元素可用于ALF的提出的融合模式。
i.在一个示例中，视频单元级别标志可用于指示提出的融合模式是否应用于当前视频单元。
1.视频单元级别标志可被信令通知/推导/预定义/即时确定。
ii.在一个示例中，参与的滤波器的总数可被信令通知/推导/预定义/即时确定。
iii.在一个示例中，APS/预定义滤波器集索引可被信令通知/推导/预定义/即时确定。
iv.在一个示例中，最大APS/预定义滤波器集索引可被信令通知/推导/预定义/即时确定。
1.在一个示例中，固定数量的APS/预定义滤波器集索引可总是被信令通知/推导/预定义/即时确定。
2.在一个示例中，如果信令通知/推导/预定义/确定的APS/预定义滤波器集索引之一大于最大APS/预定义滤波器集索引，则对应的APS/预定义滤波器集索引可不用于融合模式。
3.在一个示例中，如果信令通知/推导/预定义/确定的APS/预定义滤波器集索引中的多于一个大于最大APS/预定义滤波器集索引，则融合模式可应用于当前视频单元。
4.在一个示例中，如果仅信令通知/推导/预定义/确定的APS/预定义滤波器集索引中的一个小于最大APS/预定义滤波器集索引，则融合模式可不应用于当前视频单元。
v.在一个示例中，当多于一个参与的滤波器来自相同的APS/预定义滤波器集时，融合模式滤波器索引可被信令通知/推导/预定义/即时确定。
vi.在一个示例中，每个参与的滤波器的函数参数(例如，权重)的指示可被信令通知/推导/预定义/即时确定。
1.在一个示例中，函数参数(例如，权重)的融合指示可以预测方式进行编解码。
2.在一个示例中，函数参数(例如，权重)的融合指示可基于一个/多个查找表。
3.在一个示例中，函数参数(例如，权重)的融合指示可基于相关性。
vii.在一个示例中，一个参与的滤波器的函数参数(例如，权重)的指示可默认设置为1，而其他参与的滤波器的函数参数(例如，权重)的指示可默认设置为0。在此情况下，可不应用提出的融合模式/方法。
图8是示出示例视频处理系统800的框图，其中可实现本文公开的各种技术。各种实现可包括视频处理系统800的部分或全部组件。视频处理系统800可包括用于接收视频内容的输入802。视频内容可以原始或未压缩的格式接收，例如，8比特或10比特多分量像素值，或者可以是压缩或编码的格式。输入802可表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
视频处理系统800可包括编解码组件804，其可实现本文中描述的各种编解码或编码方法。编解码组件804可将视频的平均比特率从输入802降至编解码组件804的输出，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件804的输出可以被存储，或经由所连接通信被发送，如组件806所表示的。在输入802处所接收视频的存储或传送比特流(或编解码)表示可由组件808用于生成像素值或发送至显示接口810的可显示视频。从比特流表示生成用户可观看视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，而反转编解码结果的相应解码工具或操作由解码器执行。
外围总线接口或显示接口的示例可包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括串行高级技术附件(SATA)、外围组件互连(PCI)、电子集成驱动器(IDE)接口等。本文中描述的技术可以体现在各种电子设备中，例如移动电话、笔记本电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
图9是视频处理装置900的框图。视频处理装置900可用于实现本文所描述的一个或多个方法。视频处理装置900可体现于智能手机、平板电脑、计算机、物联网(IoT)接收器等。视频处理装置9可包括一个或多个处理器902、一个或多个存储器904和视频处理硬件906(也称为视频处理电路)。一个或多个处理器902可被配置为实现本文中描述的一个或多个方法。存储器904可用于存储用于实现本文所描述的方法和技术的数据和代码。视频处理硬件906可用于在硬件电路中实现本文中描述的一些技术。在一些实施例中，视频处理硬件906可部分或完全位于处理器902内，例如图形处理器。
图10是图示可利用本公开技术的视频编解码系统1000的示例的框图。如图10所示，视频编解码系统1000可包括源设备1010和目的地设备1020。源设备1010生成可被称为视频编码设备的编码视频数据。目的地设备1020可对源设备1010生成的编码视频数据进行解码，源设备1010可被称为视频解码设备。
源设备1010可包括视频源1012、视频编码器1014和输入/输出(I/O)接口1016。
视频源1012可包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统之类的源，或者此类源的组合。视频数据可包括一个或多个图片。视频编码器1014对来自视频源1 012的视频数据进行编码以生成比特流。比特流可包括形成视频数据编解码表示的比特序列。比特流可包括编解码图片和关联数据。编解码图片是图片的编解码表示。关联数据可包括序列参数集、图片参数集和其他语法结构。I/O接口1016可包括调制器/解调器(调制解调器)和/或发送器。编码视频数据可以通过网络1030经由I/O接口1016直接发送到目的地设备1020。编码视频数据也可以存储在存储介质/服务器1040上，以供目的地设备1020访问。
目的地设备1020可包括I/O接口1026、视频解码器1024和显示设备1022。
I/O接口1026可包括接收器和/或调制解调器。I/O接口1026可以从源设备1010或存储介质/服务器1040获取编码视频数据。视频解码器1024可以对编码视频数据进行解码。显示设备1022可以向用户显示解码的视频数据。显示设备1022可以集成于目的地设备1020；也可以外接于目的地设备1020，目的地设备1020可被配置为与外部显示设备交互。
视频编码器1014和视频解码器1024可以根据视频压缩标准进行操作，视频压缩标准如高效视频编解码(HEVC)标准、通用视频编解码(VVM)标准和其他当前和/或进一步标准。
图11是图示视频编码器1100的示例的框图，视频编码器1100可以是图10所示的视频编解码系统1000中的视频编码器1014。
视频编码器1100可被配置为执行本公开的任何或全部技术。在图11的示例中，视频编码器1100包括多个功能组件。本公开中描述的技术可以在视频编码器1100的各种组件之间共享。在一些示例中，处理器可被配置为执行本公开中描述的任何或全部技术。
视频编码器1100的功能组件可包括分割单元1101、预测单元1102(其可以包括模式选择单元1103、运动估计单元1104、运动补偿单元1105和帧内预测单元1106)、残差生成单元1107、变换单元1108、量化单元1109、逆量化单元1110、逆变换单元1111、重构单元1112、缓冲器1113和熵编码单元11 14。
在其他示例中，视频编码器1100可包括更多、更少或不同的功能组件。在一个示例中，预测单元11 02可包括块内复制(IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所在的图片。
此外，诸如运动估计单元1104和运动补偿单元1105的一些组件可以高度集成，但是出于解释目的在图11的示例中分开表示。
分割单元1101可以将一张图片分割为一个或多个视频块。图10的视频编码器1014和视频解码器1024可以支持各种视频块尺寸。
模式选择单元1103可以，例如基于误差结果，选择编解码模式，即帧内或帧间中的一者，并将所得帧内或帧间编解码块提供至残差生成单元1107以生成残差块数据并提供至重构单元11 12以重构该编码块从而用作参考图片。在一些示例中，模式选择单元1103可以选择帧内和帧间预测组合(CIIP)模式，其中预测是基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元1103还可以对于该块针对运动矢量选择分辨率(例如，子像素或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元1104可以通过比较来自缓冲器111 3的一个或多个参考帧与当前视频块，生成当前视频块的运动信息。运动补偿单元1105可基于运动信息和除了与当前视频块相关联的图片之外的来自缓冲器11 1 3的图片的解码样点，确定针对当前视频块的预测视频块。
运动估计单元1104和运动补偿单元1105可针对当前视频块执行不同的操作，例如，这依赖于当前视频块是I条带、P条带还是B条带。I条带(或I帧)是最不可压缩的，但不需要其他视频帧进行解码。P条带(或P帧)可使用前一帧中的数据进行解压缩，并且比I帧更可压缩。B条带(或B帧)可使用前一帧和前向帧两者进行数据参考，以获得最高的数据压缩量。
在一些示例中，运动估计单元1104可针对当前视频块执行单向预测，并且运动估计单元1104可以搜索列表0或列表1的参考图片以查找针对当前视频块的参考视频块。运动估计单元1104可接着生成指示列表0或列表1中参考图片的参考索引，其包含参考视频块及指示当前视频块与参考视频块之间空间位移的运动矢量。运动估计单元11 04可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元1105可基于当前视频块的运动信息指示的参考视频块生成当前块的预测视频块。
在其他示例中，运动估计单元1104可针对当前视频块执行双向预测，运动估计单元11 04可以搜索列表0中的参考图片，以查找针对当前视频块的参考视频块，并且还可以搜索列表1中的参考图片，以查找针对当前视频块的另一参考视频块。运动估计单元1104可接着生成指示列表0和列表1中参考图片的参考索引，其包含参考视频块与指示参考视频块与当前视频块之间空间位移的运动矢量。运动估计单元1104可以输出当前视频块的参考索引和运动矢量作为当前视频块中的运动信息。运动补偿单元1105可基于由当前视频块的运动信息指示的参考视频块生成当前视频块中的预测视频块。
在一些示例中，运动估计单元1104可以输出运动信息完整集用于解码器的解码处理。
在一些示例中，运动估计单元1104可以不输出针对当前视频的运动信息完整集。相反，运动估计单元1104可参考另一视频块的运动信息信令通知当前视频块的运动信息。例如，运动估计单元1104可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元1104可以在与当前视频块相关联的语法结构中指示一个值，该值向视频解码器1024指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元1104可以在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与所指示视频块的运动矢量之间的差。视频解码器1024可以使用所指示视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所述，视频编码器1014可以预测性地信令通知运动矢量。可以由视频编码器1014实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令。
帧内预测单元1106可对当前视频块执行帧内预测。当帧内预测单元1106对当前视频块执行帧内预测时，帧内预测单元1106可基于同一图片中其他视频块的解码样点生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元1107可以通过从当前视频块减去(例如，由减号指示)当前视频块的(一个或多个)预测视频块，生成针对当前视频块的残差数据。当前视频块的残差数据可包括与当前视频块中样点的不同样点分量相对应的残差视频块。
在其他示例中，例如在跳过模式中，可能不存在针对当前视频块的残差数据，并且残差生成单元1107可以不执行减法运算。
变换单元1108可通过将一个或多个变换应用于与当前视频块相关联的残差视频块，生成针对当前视频块的一个或多个变换系数视频块。
在变换单元1108生成与当前视频块相关联的变换系数视频块之后，量化单元1109可基于与当前视频块相关联的一个或多个量化参数(QP)值，量化与当前视频块相关联的变换系数视频块。
逆量化单元1110和逆变换单元1111可以分别将逆量化和逆变换应用到变换系数视频块，以从变换系数视频块重构残差视频块。重构单元1112可将重构的残差视频块添加到来自预测单元1102所生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块用以存储于缓冲器1113中。
在重构单元1112重构视频块之后，可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元1114可以从视频编码器1100的其它功能组件接收数据。当熵编码单元11 14接收数据时，熵编码单元11 14可执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。
图12是图示视频解码器1200的示例的框图，视频解码器1200可以是图10中图示的视频编解码系统1000中的视频解码器1 024。
视频解码器1200可被配置为执行本公开的任何或全部技术。在图12的示例中，视频解码器1200包括多个功能组件。本公开中描述的技术可以在视频解码器1200的各种组件之间共享。在一些示例中，处理器可被配置为执行本公开中描述的任何或全部技术。
在图12的示例中，视频解码器1200包括熵解码单元1201、运动补偿单元1202、帧内预测单元1203、逆量化单元1204、逆变换单元1205、重构单元1206和缓冲器1207。在一些示例中，视频解码器1200可以执行一种解码遍次，其通常与关于视频编码器1014(图10)的描述中的编码遍次互逆。
熵解码单元1201可检索编码比特流。编码比特流可包括熵编解码视频数据(例如，视频数据的编码块)。熵解码单元1201可对熵译码视频数据进行解码，并且从熵解码视频数据中，运动补偿单元1202可确定包括运动矢量、运动矢量精度、参考图片列表索引及其它运动信息的运动信息。运动补偿单元1202例如可以通过执行AMVP和Merge模式信令来确定此类信息。
运动补偿单元1202可产生运动补偿块，可能基于插值滤波器执行插值。与子像素精度配合使用的插值滤波器的标识符可包括在语法元素中。
运动补偿单元1202可使用视频编码器1014在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元1202可根据所接收的语法信息来确定视频编码器1014所使用的插值滤波器，并使用插值滤波器来产生预测块。
运动补偿单元1202可使用语法信息中的一部分来确定用于对编码视频序列的(一个或多个)帧和/或(一个或多个)条带进行编码的块的尺寸、描述编解码视频序列中图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、针对每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及对编码视频序列进行解码的其他信息。
帧内预测单元1203可使用例如在比特流中接收的帧内预测模式，以从空间上相邻的块形成预测块。逆量化单元1204逆量化，即去量化在比特流中提供并由熵解码单元1201解码的量化视频块系数。逆变换单元1205应用逆变换。
重构单元1206可将残差块与由运动补偿单元1202或帧内预测单元1203生成的对应预测块求和以形成解码块。如果需要，还可以应用去方块滤波器对解码块进行滤波，以便去除块伪影。然后将解码的视频块存储在缓冲器1207中，缓冲器1207为随后的运动补偿/帧内预测提供参考块，并且还产生用于在显示设备上呈现的解码视频。
图13是根据本公开实施例的处理视频数据的方法1300。方法1300可以由具有处理器和存储器的编解码装置(例如，编码器)执行。在使用融合模式对视频单元进行滤波时可实现方法1300。
在框1302中，编解码装置使用融合模式的一个或多个虚拟滤波器对视频单元的样点进行滤波，以产生滤波结果。在实施例中，虚拟滤波器包括线性或非线性加权和函数。在实施例中，所述融合模式是联合使用多个滤波器来对视频单元进行滤波的技术。
在框1304中，编解码装置基于滤波后的样点，执行包括视频单元的视频和视频的比特流之间的转换。
在实施例中，所述样点包括自适应环路滤波器(ALF)处理单元中的样点，所述融合模式包括ALF融合模式，并且所述一个或多个虚拟滤波器通过所述ALF融合模式生成。在实施例中，所述ALF处理单元包括经过ALF滤波的视频单元的部分。也就是说，在实施例中，当前正在使用例如ALF滤波器进行滤波的视频单元的区域是ALF处理单元。
在实施例中，所述一个或多个虚拟滤波器基于来自相同自适应参数集(APS)的多个滤波器、基于来自不同自适应参数集(APS)的多个滤波器、或者基于来自预定义滤波器集的多个滤波器。
在实施例中，所述ALF处理单元中的所有样点共享对应于所述融合模式的相同融合过程。在实施例中，所述融合模式包括多个滤波器，并且一个或多个虚拟滤波器通过用函数融合所述多个滤波器的每个位置的系数或限幅索引而被生成。
在实施例中，所述ALF处理单元的分类索引基于ALF的分类方法而被生成。在实施例中，所述ALF处理单元的转置索引基于所述ALF处理单元的统计信息而被生成，并且所述ALF处理单元包括当前ALF处理单元。
在实施例中，所述融合模式包括多个滤波器，并且来自所述多个滤波器的特定滤波器被分配给特定分类或分类索引。
在实施例中，所述ALF处理单元的滤波器索引根据当前ALF处理单元的分类索引而被分配。
在实施例中，所述多个滤波器被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中，并且所述多个滤波器的总数等于所述多个滤波器的分类数量。
在实施例中，所述多个滤波器被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中，并且所述多个滤波器的总数不同于所述多个滤波器的分类数量。
在实施例中，所述多个滤波器的分类数量在分类索引中被表示，并且所述分类索引和对应滤波器索引之间的映射表被使用、被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，所述融合模式包括被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中的多个滤波器，并且所述多个滤波器用于自适应环路滤波器(ALF)系数或限幅索引的ALF的所提出的融合模式。
在实施例中，通过所述融合模式选择的所述多个滤波器都是从包括所述多个滤波器的所述APS获得的。在实施例中，通过所述融合模式选择的滤波器可以被称为参与的滤波器、参与滤波器(participating filter)或其变体。
在实施例中，通过所述融合模式选择的所述多个滤波器都是从所述APS中的相同APS获得的。在实施例中，通过所述融合模式选择的所述多个滤波器都是从所述APS中的不同APS获得的。
在实施例中，通过所述融合模式选择的所述多个滤波器中的一些滤波器是从所述APS中的相同APS获得的，并且通过所述融合模式选择的一些滤波器是从所述APS中的不同APS获得的。
在实施例中，通过所述融合模式选择的所述多个滤波器都是从所述预定义滤波器集获得的。在实施例中，通过所述融合模式选择的所述多个滤波器都是从所述APS和所述预定义滤波器集两者获得的。在实施例中，通过所述融合模式选择的所述多个滤波器具有相同的滤波器长度。在实施例中，通过所述融合模式选择的所述多个滤波器具有不同的滤波器长度。
在实施例中，所述滤波器中的第一滤波器具有比所述滤波器中的第二滤波器短的滤波器长度，并且所述滤波器中的所述第一滤波器将缺失系数设置为零，使得所述滤波器中的所述第一滤波器的滤波器长度与所述滤波器中的第二滤波器的滤波器长度对齐。
在实施例中，函数参数的基于滤波器索引的指示用于所述融合模式。在实施例中，自适应参数集(APS)或预定义滤波器集内的有效或可用滤波器具有用于所述融合模式的函数参数的单独指示。在实施例中，当自适应参数集(APS)或预定义滤波器集内的有效或可用滤波器被分配给自适应环路滤波器(ALF)处理单元时，函数参数的指示用于所述融合模式。
在实施例中，用于所述融合模式的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。在实施例中，所述函数参数的指示以预测方式进行编解码。在实施例中，所述函数参数的指示基于一个或多个查找表。在实施例中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
在实施例中，通过所述融合模式针对自适应环路滤波器(ALF)处理单元或分类索引选择的滤波器的每个位置的函数参数的指示被定义为Wij，其中i∈[0，N-1]且j∈[0，L-1]，其中N表示通过所述融合模式选择的滤波器的总数，并且其中L表示通过所述融合模式选择的所述滤波器中要被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量。
在实施例中，所述融合模式的虚拟滤波器被公式化为：
Fnew＝[fnew0，fnew1，...fnewL-1]
fnewj＝f0jW0j+f1jW1j+…+fN-1jWN-1j
其中Fnew表示所述虚拟滤波器，其中fnewj表示所述虚拟滤波器的滤波器系数，并且其中fij表示所选择的滤波器i的位置j处的滤波器系数。
在实施例中，通过所述融合模式选择的所述滤波器中的每一个的每个位置使用用于融合的函数参数的相同指示。
在实施例中，所述虚拟滤波器由M个滤波器融合，并且系数被公式化为：
CA0＝W1C10+W2C20+…+WMCM0
CA1＝W1C11+W2C21+…+WMCM1
CAi＝W1C1i+W2C2i+…+WMCMi
…
CAN＝W1C1N+W2C2N+…+WMCMN
其中W1...WM表示所述函数参数的相同指示，其中CAi表示所生成的系数，其中N表示通过所述融合模式选择的所述滤波器中被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量，其中i表示系数位置，其中W1+…+WM＝1，其中在积分形式中，CAi＝Shift((W1C1i+W2C2i+…+WMCMi)，S)，其中Shift表示比特移位运算，其中S表示所述比特移位运算的长度，其中整数W1…WM表示所述函数参数的相同指示，并且其中W1+…+WM＝1＜＜S。
在实施例中，通过所述融合模式选择的滤波器的每个位置使用用于融合的函数参数的独立指示。
在实施例中，虚拟滤波器由M个滤波器融合，并且系数被公式化为：
CA0＝W10Ci0+W20C20+…+WM0CM0
CA1＝W11C11+W21C21+…+WM1CM1
CAi＝W1iC1i+W2iC2i+…+WMiCMi
…
CAN＝W1NC1N+W2NC2N+…+WMNCMN
其中W1i…WMi表示不同滤波器的函数参数的独立指示，其中N表示通过所述融合模式选择的所述滤波器中被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量，其中i表示系数位置，其中CAi表示所生成的系数，其中W1i+…+WMi＝1，其中在积分形式中，CAi＝Shift((W1iC1i+W2iC2i+…+WMiCMi)，S)，其中Shift表示比特移位运算，其中S表示所述比特移位运算的长度，其中整数W1i…WMi表示所述函数参数的独立指示，并且其中W1i+…+WMi＝1＜＜S。
在实施例中，所述融合模式的结果根据CAi＝Clip3(minV，maxV，CAi)而被限幅，其中CAi表示所生成的系数，其中Clip3表示限幅函数，其中min V和max V表示函数输出的最小值和最大值，并且其中min V和max V中的一个或多个被包括在所述比特流中。
在实施例中，当通过所述融合模式选择的所述滤波器都不来自相同的自适应参数集(APS)或相同的预定义滤波器集时，每个APS或预定义滤波器集中与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的所述滤波器用于融合。
在实施例中，分类Merge不应用于每个APS或预定义滤波器集，并且Merge结果在所选择的APS或所选择的预定义滤波器集之间具有差异。在实施例中，每个分类的通过所述融合模式选择的所述滤波器中的每一个的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，所述函数参数的指示以预测方式进行编解码。在实施例中，所述函数参数的指示基于一个或多个查找表。在实施例中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
在实施例中，分类Merge结果在所选择的APS或所选择的预定义滤波器集之间是相同的。在实施例中，根据所选择的APS或所选择的预定义滤波器集的分类Merge结果，不同分类的通过所述融合模式选择的所述多个滤波器的每个位置的函数参数的指示被合并。
在实施例中，合并分类中的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。在实施例中，所述函数参数的指示以预测方式进行编解码。在实施例中，所述函数参数的指示基于一个或多个查找表。在实施例中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
在实施例中，当从相同的自适应参数集(APS)或相同的预定义滤波器集获得通过所述融合模式选择的多于一个滤波器时，融合模式滤波器索引用于指示在APS或预定义滤波器集中通过所述融合模式选择哪些滤波器。
在实施例中，通过所述融合模式选择的所述滤波器中的一个或多个来自不同的APS或不同的预定义滤波器集。在实施例中，分类Merge不应用于每个APS或预定义滤波器集，或者Merge结果在所选择的APS或所选择的预定义滤波器集之间具有差异。在实施例中，每个分类的通过所述融合模式选择的所述滤波器中的每一个的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，所述函数参数的指示以预测方式进行编解码。在实施例中，所述函数参数的指示基于一个或多个查找表。在实施例中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
在实施例中，分类Merge结果在所选择的APS或所选择的预定义滤波器集之间是相同的。在实施例中，根据所选择的APS或所选择的预定义滤波器集的分类Merge结果，不同分类的通过所述融合模式选择的所述滤波器的每个位置的函数参数的指示被合并。在实施例中，合并分类中的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，所述函数参数的指示以预测方式进行编解码。在实施例中，所述函数参数的指示基于一个或多个查找表。在实施例中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
在实施例中，通过所述融合模式选择的所述滤波器中的一个或多个来自相同的APS或相同的预定义滤波器集。在实施例中，融合模式滤波器索引用于指示在自适应参数集(APS)或预定义滤波器集中通过所述融合模式选择哪些滤波器。在实施例中，所述融合模式滤波器索引被包括在比特流中、被推导、预定义或实时确定。在实施例中，融合参数的基于融合模式滤波器索引的指示被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，所述函数参数的指示以预测方式进行编解码。在实施例中，所述函数参数的指示基于一个或多个查找表。在实施例中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
在实施例中，与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器中的每个位置的所述函数参数的指示是相同的。
在实施例中，与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器中的每个位置的所述函数参数的指示是不同的。在实施例中，通过所述融合模式选择的所述滤波器中的一些位置的所述函数参数的指示是相同的，并且通过所述融合模式选择的所述滤波器中的一些位置的函数参数的指示在与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器之间是相同的。
在实施例中，所述融合模式包括多个滤波器，并且分配给不同分类的所述滤波器使用函数参数设置的相同指示。在实施例中，所述融合模式包括多个滤波器，并且分配给不同分类的所述滤波器使用函数参数设置的不同指示。在实施例中，用于基于所述融合模式进行融合的函数参数的指示基于不同类型的信息而被生成。
在实施例中，用于基于所述融合模式进行融合的函数参数的指示基于当前自适应环路滤波器(ALF)处理单元、所述视频单元、条带、图片或图片的序列的统计信息而被生成。在实施例中，用于基于所述融合模式进行融合的函数参数的指示基于针对所述融合模式选择的所述滤波器的统计信息而被生成。
在实施例中，用于基于所述融合模式进行融合的函数参数的指示基于当前视频单元的编码信息而被生成，并且所述编码信息包括编解码模式、所述当前视频单元的尺寸或非零变换系数的数量。
在实施例中，所述一个或多个虚拟滤波器通过融合通过所述融合模式和其他融合函数选择的多个滤波器的每个位置的系数而被生成。在实施例中，所述融合模式包括自适应环路滤波器(ALF)融合模式，并且一个或多个语法元素用于所述ALF融合模式。
在实施例中，多个自适应参数集(APS)或预定义滤波器集内的滤波器由所述视频单元用于所述融合模式，并且所述视频单元包括当前视频单元。在实施例中，视频单元级别标志被包括在所述比特流中、被推导、预定义或实时确定以指示所述融合模式是否被应用于所述视频单元，并且所述视频单元包括当前视频单元。
在实施例中，通过所述融合模式选择的多个滤波器被包括在所述比特流中、被推导、预定义或实时确定，并且所述视频单元包括当前视频单元。
在实施例中，视频单元级别标志被包括在所述比特流中、被推导、预定义或实时确定以指示包含融合虚拟滤波器的一个或多个自适应参数集(APS)是否被包括在所述比特流中。在实施例中，包含所述融合虚拟滤波器的所述一个或多个APS的数量被包括在所述比特流中、被推导、预定义或实时确定。在实施例中，最大自适应参数集(APS)索引或最大预定义滤波器集索引被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，固定数量的自适应参数集(APS)索引或固定数量的预定义滤波器集索引被包括在所述比特流中、被推导、预定义或实时确定。在实施例中，当被包括在所述比特流中、被推导、预定义或实时确定的对应自适应参数集(APS)索引或对应预定义滤波器集索引大于最大APS索引或最大预定义滤波器集索引时，APS或预定义滤波器集不用于所述融合模式。
在实施例中，当被包括在所述比特流中、被推导、预定义或实时确定的自适应参数集(APS)或预定义滤波器集之一大于最大APS索引或最大预定义滤波器集索引时，所述融合模式被应用于所述视频单元，并且所述视频单元是当前视频单元。
在实施例中，当被包括在所述比特流中、被推导、预定义或实时确定的自适应参数集(APS)或预定义滤波器集中的仅一个或都不小于最大APS索引或最大预定义滤波器集索引时，所述融合模式被应用于所述视频单元，并且所述视频单元是当前视频单元。
在实施例中，通过所述融合模式选择的每个滤波器的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，所述函数参数的指示以预测方式进行编解码。在实施例中，所述函数参数的指示基于一个或多个查找表。在实施例中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
在实施例中，通过所述融合模式选择的每个滤波器的每个位置的函数参数索引的指示被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，所述函数参数的指示以预测方式进行编解码。在实施例中，所述函数参数的指示基于一个或多个查找表。在实施例中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
在实施例中，通过所述融合模式选择的第一滤波器的函数参数的指示被设置为1，通过所述融合模式选择的第二滤波器的函数参数的指示被默认设置为零，并且所述函数参数的指示被设置为零的所述第二滤波器不应用于所述融合模式。
在实施例中，当通过所述融合模式选择的多于一个滤波器来自相同的自适应参数集(APS)或相同的预定义滤波器集时，融合模式滤波器索引被包括在所述比特流中、被推导、预定义或实时确定。
在实施例中，所述融合模式被独立用于所述视频单元。在实施例中，两个或更多个不同融合模式被联合用于所述视频单元。在实施例中，两个或更多个不同融合模式被独立用于不同颜色分量或不同颜色空间。
在实施例中，两个或更多个不同融合模式被联合用于不同颜色分量或不同颜色空间。在实施例中，所述视频单元包括图片的序列、图片、子图片、条带、片、一个或多个编解码树单元(CTU)、CTU行、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、包含多于一个亮度样点或像素的任何区域、或者包含多于一个色度样点或像素的任何区域。
在实施例中，是否或如何应用所述方法在序列级别、图片组级别、图片级别、条带级别、片组级别的比特流中或在序列标头、图片标头、序列参数集(SPS)、视频参数集(VPS)、依赖性参数集(DPS)、解码器能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带标头或片组标头中被指示。
在实施例中，是否或如何应用所述方法在预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、片、子图片、或者包含多于一个样点或像素的区域中被指示。
在实施例中，是否或如何应用所述方法依赖于编解码信息，并且所述编解码信息包括块尺寸、颜色格式、单树或双树分割、颜色分量、条带类型或图片类型。
在实施例中，所述转换包括将所述视频数据编码为所述比特流。在实施例中，所述转换包括从所述比特流解码所述视频数据。
以下提供一些实施例优选的解决方案列表。
以下解决方案示出了本公开中讨论的技术的示例实施例(例如，示例1)。
1.一种视频处理的方法，包括：对于包括视频单元的视频和所述视频的比特流之间的转换，确定用于对通过根据规则对所述视频单元的至少一些样点进行滤波而获得的滤波结果执行附加滤波的一个或多个虚拟滤波器；以及使用所述一个或多个虚拟滤波器来执行所述转换。
2.根据权利要求1所述的方法，其中，所述规则指定所述一个或多个虚拟滤波器使用对应于所述视频单元的自适应参数集中指示的滤波器而被生成。
3.根据权利要求1所述的方法，其中，所述规则指定所述一个或多个虚拟滤波器使用预定义滤波器集而被生成。
4.根据权利要求1至3中任一项所述的方法，其中，所述规则指定所述一个或多个虚拟滤波器通过根据函数融合用于生成所述一个或多个虚拟滤波器的滤波器的每个位置的系数或限幅索引而被生成。
5.根据权利要求4所述的方法，其中，所述函数包括加权和函数。
6.根据权利要求1至5中任一项所述的方法，其中，所述规则还指定使用滤波器分类方法来生成处理单元的分类索引。
7.根据权利要求1至5中任一项所述的方法，其中，所述规则还指定使用处理单元的统计信息来生成所述处理单元的转置索引。
8.根据权利要求1至7中任一项所述的方法，其中，所述一个或多个虚拟滤波器具有相同的长度。
9.根据权利要求1至7中任一项所述的方法，其中，所述规则还指定确定或指示在所述视频单元的转换期间使用的参与滤波器的每个位置的函数参数，其中，函数参数被指示为W_ij，其中i∈[0，N-1]且j∈[0，L-1]，其中N和L是正整数。
10.根据权利要求9所述的方法，其中，所述规则指定对应于当前滤波器单元的分类索引的相同位置处的每个滤波器的函数参数是相同的。
11.根据权利要求9所述的方法，其中，所述规则指定对应于当前滤波器单元的分类索引的相同位置处的每个滤波器的函数参数是不同的。
12.根据权利要求1至11中任一项所述的方法，其中，所述视频单元是序列、图片、子图片、条带、片、编解码树单元(CTU)、CTU行、CTU的组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、包含多于一个亮度或色度样点/像素的任何其他区域。
13.根据权利要求1至12中任一项所述的方法，其中，所述规则指定语法元素指示对所述规则的使用。
14.根据权利要求1 3所述的方法，其中，所述语法元素处于序列级别、图片组级别、图片级别、条带级别、片组级别、序列标头、图片标头、序列参数集、视频参数集、解码参数集、图片参数集、解码能力信息、自适应参数集、条带标头或片组标头。
15.根据权利要求1至13中任一项所述的方法，其中，所述规则基于所述视频的编解码信息而被选择性地应用。
16.根据权利要求15所述的方法，其中，所述编解码信息包括颜色格式、分割类型或图片类型。
17.根据权利要求1至16中任一项所述的方法，其中，所述滤波器是跨分量自适应环路滤波器。
18.根据权利要求1至17中任一项所述的方法，其中，所述滤波器被应用为环路内滤波器。
19.根据权利要求1至17中任一项所述的方法，其中，所述滤波器被应用为后处理滤波器。
20.根据权利要求1至19中任一项所述的方法，其中，所述转换包括从所述视频生成所述比特流。
21.根据权利要求1至20中任一项所述的方法，其中，所述转换包括从所述比特流生成所述视频。
22.一种视频解码装置，包括处理器，其中所述处理器被配置为实现根据权利要求1至20中的一项或多项所述的方法。
23.一种视频编码装置，包括处理器，其中所述处理器被配置为实现根据权利要求1至20中的一项或多项所述的方法。
24.一种存储有计算机代码的计算机程序产品，其中，所述代码在由处理器执行时使得所述处理器实现根据权利要求1至20中任一项所述的方法。
25.一种视频处理的方法，包括根据权利要求1至19中的任一项或多项所述的方法来生成比特流，并将所述比特流存储在计算机可读介质上。
26.一种在本文档中描述的方法、装置或系统。
通过引用整体并入以下文档：
[1]J.Strom、P.Wennersten、J.Enhorn、D.Liu、K.Andersson和R.Sjoberg，“与SAO相结合的双边环路滤波器”，载于IEEE图片编解码研讨会(PCS)，2019年11月。
本文中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文中公开的结构及其结构等效物，或其一个或多个的组合。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即在计算机可读介质上编码以供数据处理装置执行或控制其操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、实现机器可读传播信号的物质组合，或其一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备、和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外，装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。传播信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息用于传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以编写为任何形式的编程语言(包括编译或解释语言)，也可以部署为任何形式，包括作为独立程序或作为模块、组件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)，专用于该程序的单个文件中，或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点或分布在多个站点上，并通过通信网络互连。
本文中描述的过程和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。所述过程和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以实现为专用逻辑电路，例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC)。
例如，适用于执行计算机程序的处理器包括通用微处理器和专用微处理器，以及任何类型数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备；磁盘，例如内置硬盘或可移动磁盘；磁光盘；以及光盘只读存储器(CD ROM)和数字通用盘只读存储器(DVD-ROM)盘。所述处理器和所述存储器可以由专用逻辑电路补充，或Merge到专用逻辑电路中。
虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件实施例中各种系统分量的分离不应理解为在所有实施例中都需要这样的分离
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。
虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件实施例中各种系统分量的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (114)

1.一种处理视频数据的方法，包括：
使用融合模式的一个或多个虚拟滤波器对视频单元的样点进行滤波，以产生滤波结果；以及
基于滤波后的样点，执行包括所述视频单元的视频和所述视频的比特流之间的转换。
2.根据权利要求1所述的方法，其中，所述样点包括自适应环路滤波器(ALF)处理单元中的样点，其中，所述融合模式包括ALF融合模式，并且其中，所述一个或多个虚拟滤波器通过所述ALF融合模式生成。
3.根据权利要求1至2中任一项所述的方法，其中，所述一个或多个虚拟滤波器基于来自相同自适应参数集(APS)的多个滤波器、基于来自不同自适应参数集(APS)的多个滤波器、或者基于来自预定义滤波器集的多个滤波器。
4.根据权利要求2所述的方法，其中，所述ALF处理单元中的所有样点共享对应于所述融合模式的相同融合过程。
5.根据权利要求1所述的方法，其中，所述融合模式包括多个滤波器，并且其中，一个或多个虚拟滤波器通过用函数融合所述多个滤波器的每个位置的系数或限幅索引而被生成。
6.根据权利要求2所述的方法，其中，所述ALF处理单元的分类索引基于ALF的分类方法而被生成。
7.根据权利要求2所述的方法，其中，所述ALF处理单元的转置索引基于所述ALF处理单元的统计信息而被生成，并且其中，所述ALF处理单元包括当前ALF处理单元。
8.根据权利要求1至7中任一项所述的方法，其中，所述融合模式包括多个滤波器，并且其中，来自所述多个滤波器的特定滤波器被分配给特定分类或分类索引。
9.根据权利要求2所述的方法，其中，所述ALF处理单元的滤波器索引根据当前ALF处理单元的分类索引而被分配。
10.根据权利要求3所述的方法，其中，所述多个滤波器被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中，并且其中，所述多个滤波器的总数等于所述多个滤波器的分类数量。
11.根据权利要求3所述的方法，其中，所述多个滤波器被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中，并且其中，所述多个滤波器的总数不同于所述多个滤波器的分类数量。
12.根据权利要求11所述的方法，其中，所述多个滤波器的分类数量在分类索引中被表示，并且其中，所述分类索引和对应滤波器索引之间的映射表被使用、被包括在所述比特流中、被推导、预定义或实时确定。
13.根据权利要求1所述的方法，其中，所述融合模式包括被包括在自适应参数集(APS)中或者被包括在预定义滤波器集中的多个滤波器，并且其中，所述多个滤波器用于自适应环路滤波器(ALF)系数或限幅索引的ALF的所提出的融合模式。
14.根据权利要求13所述的方法，其中，通过所述融合模式选择的所述多个滤波器都是从包括所述多个滤波器的所述APS获得的。
15.根据权利要求13所述的方法，其中，通过所述融合模式选择的所述多个滤波器都是从所述APS中的相同APS获得的。
16.根据权利要求13所述的方法，其中，通过所述融合模式选择的所述多个滤波器都是从所述APS中的不同APS获得的。
17.根据权利要求13所述的方法，其中，通过所述融合模式选择的所述多个滤波器中的一些滤波器是从所述APS中的相同APS获得的，并且其中，通过所述融合模式选择的一些滤波器是从所述APS中的不同APS获得的。
18.根据权利要求13所述的方法，其中，通过所述融合模式选择的所述多个滤波器都是从所述预定义滤波器集获得的。
19.根据权利要求13所述的方法，其中，通过所述融合模式选择的所述多个滤波器都是从所述APS和所述预定义滤波器集两者获得的。
20.根据权利要求13所述的方法，其中，通过所述融合模式选择的所述多个滤波器具有相同的滤波器长度。
21.根据权利要求13所述的方法，其中，通过所述融合模式选择的所述多个滤波器具有不同的滤波器长度。
22.根据权利要求13所述的方法，其中，所述滤波器中的第一滤波器具有比所述滤波器中的第二滤波器短的滤波器长度，并且其中，所述滤波器中的所述第一滤波器将缺失系数设置为零，使得所述滤波器中的所述第一滤波器的滤波器长度与所述滤波器中的第二滤波器的滤波器长度对齐。
23.根据权利要求1所述的方法，其中，函数参数的基于滤波器索引的指示用于所述融合模式。
24.根据权利要求1所述的方法，其中，自适应参数集(APS)或预定义滤波器集内的有效或可用滤波器具有用于所述融合模式的函数参数的单独指示。
25.根据权利要求1所述的方法，其中，当自适应参数集(APS)或预定义滤波器集内的有效或可用滤波器被分配给自适应环路滤波器(ALF)处理单元时，函数参数的指示用于所述融合模式。
26.根据权利要求1所述的方法，其中，用于所述融合模式的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
27.根据权利要求26所述的方法，其中，所述函数参数的指示以预测方式进行编解码。
28.根据权利要求26所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
29.根据权利要求26所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
30.根据权利要求1所述的方法，其中，通过所述融合模式针对自适应环路滤波器(ALF)处理单元或分类索引选择的滤波器的每个位置的函数参数的指示被定义为Wij，其中i∈[0,N-1]且j∈[0,L-1]，其中N表示通过所述融合模式选择的滤波器的总数，并且其中L表示通过所述融合模式选择的所述滤波器中要被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量。
31.根据权利要求30所述的方法，其中，所述融合模式的虚拟滤波器被公式化为：
Fnew＝[fnew0,fnew1,…fnewL-1]
fnewj＝f0jW0j+f1jW1j+…+fN-1jWN-1j
其中Fnew表示所述虚拟滤波器，其中fnewj表示所述虚拟滤波器的滤波器系数，并且其中fij表示所选择的滤波器i的位置j处的滤波器系数。
32.根据权利要求30所述的方法，其中，通过所述融合模式选择的所述滤波器中的每一个的每个位置使用用于融合的函数参数的相同指示。
33.根据权利要求32所述的方法，其中，所述虚拟滤波器由M个滤波器融合，并且其中，系数被公式化为：
CA0＝W1C10+W2C20+…+WMCM0
CA1＝W1C11+W2C21+…+WMCM1
CAi＝W1C1i+W2C2i+…+WMCMi
…
CAN＝W1C1N+W2C2N+…+WMCMN
其中W1…WM表示所述函数参数的相同指示，其中CAi表示所生成的系数，其中N表示通过所述融合模式选择的所述滤波器中被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量，其中i表示系数位置，其中W1+…+WM＝1，其中在积分形式中，CAi＝Shift((W1C1i+W2C2i+…+WMCMi),S)，其中Shift表示比特移位运算，其中S表示所述比特移位运算的长度，其中整数W1…WM表示所述函数参数的相同指示，并且其中W1+…+WM＝1＜＜S。
34.根据权利要求1所述的方法，其中，通过所述融合模式选择的滤波器的每个位置使用用于融合的函数参数的独立指示。
35.根据权利要求30所述的方法，其中，虚拟滤波器由M个滤波器融合，并且其中，系数被公式化为：
CA0＝W10C10+W20C20+…+WM0CM0
CA1＝W11C11+W21C21+…+WM1CM1
CAi＝W1iC1i+W2iC2i+…+WMiCMi
…
CAN＝W1NC1N+W2NC2N+…+WMNCMN
其中W1i…WMi表示不同滤波器的函数参数的独立指示，其中N表示通过所述融合模式选择的所述滤波器中被推导、包括在所述比特流中、使用或预定义的滤波器系数的最大数量，其中i表示系数位置，其中CAi表示所生成的系数，其中W1i+…+WMi＝1，其中在积分形式中，CAi＝Shift((W1iC1i+W2iC2i+…+WMiCMi),S)，其中Shift表示比特移位运算，其中S表示所述比特移位运算的长度，其中整数W1i…WMi表示所述函数参数的独立指示，并且其中W1i+…+WMi＝1＜＜S。
36.根据权利要求1所述的方法，其中，所述融合模式的结果根据CAi＝Clip3(minV,maxV,CAi)而被限幅，其中CAi表示所生成的系数，其中Clip3表示限幅函数，其中minV和maxV表示函数输出的最小值和最大值，并且其中minV和maxV中的一个或多个被包括在所述比特流中。
37.根据权利要求1所述的方法，其中，当通过所述融合模式选择的所述滤波器都不来自相同的自适应参数集(APS)或相同的预定义滤波器集时，每个APS或预定义滤波器集中与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的所述滤波器用于融合。
38.根据权利要求37所述的方法，其中，分类Merge不应用于每个APS或预定义滤波器集，并且其中，Merge结果在所选择的APS或所选择的预定义滤波器集之间具有差异。
39.根据权利要求1所述的方法，其中，每个分类的通过所述融合模式选择的所述滤波器中的每一个的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
40.根据权利要求39所述的方法，其中，所述函数参数的指示以预测方式进行编解码。
41.根据权利要求39所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
42.根据权利要求39所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
43.根据权利要求37所述的方法，其中，分类Merge结果在所选择的APS或所选择的预定义滤波器集之间是相同的。
44.根据权利要求38所述的方法，其中，根据所选择的APS或所选择的预定义滤波器集的分类Merge结果，不同分类的通过所述融合模式选择的所述多个滤波器的每个位置的函数参数的指示被合并。
45.根据权利要求38所述的方法，其中，合并分类中的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
46.根据权利要求45所述的方法，其中，所述函数参数的指示以预测方式进行编解码。
47.根据权利要求45所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
48.根据权利要求45所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
49.根据权利要求1所述的方法，其中，当从相同的自适应参数集(APS)或相同的预定义滤波器集获得通过所述融合模式选择的多于一个滤波器时，融合模式滤波器索引用于指示在APS或预定义滤波器集中通过所述融合模式选择哪些滤波器。
50.根据权利要求49所述的方法，其中，通过所述融合模式选择的所述滤波器中的一个或多个来自不同的APS或不同的预定义滤波器集。
51.根据权利要求50所述的方法，其中，分类Merge不应用于每个APS或预定义滤波器集，或者其中，Merge结果在所选择的APS或所选择的预定义滤波器集之间具有差异。
52.根据权利要求51所述的方法，其中，每个分类的通过所述融合模式选择的所述滤波器中的每一个的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
53.根据权利要求52所述的方法，其中，所述函数参数的指示以预测方式进行编解码。
54.根据权利要求52所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
55.根据权利要求52所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
56.根据权利要求50所述的方法，其中，分类Merge结果在所选择的APS或所选择的预定义滤波器集之间是相同的。
57.根据权利要求56所述的方法，其中，根据所选择的APS或所选择的预定义滤波器集的分类Merge结果，不同分类的通过所述融合模式选择的所述滤波器的每个位置的函数参数的指示被合并。
58.根据权利要求56所述的方法，其中，合并分类中的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
59.根据权利要求56所述的方法，其中，所述函数参数的指示以预测方式进行编解码。
60.根据权利要求56所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
61.根据权利要求56所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
62.根据权利要求55所述的方法，其中，通过所述融合模式选择的所述滤波器中的一个或多个来自相同的APS或相同的预定义滤波器集。
63.根据权利要求48所述的方法，其中，融合模式滤波器索引用于指示在自适应参数集(APS)或预定义滤波器集中通过所述融合模式选择哪些滤波器。
64.根据权利要求63所述的方法，其中，所述融合模式滤波器索引被包括在比特流中、被推导、预定义或实时确定。
65.根据权利要求63所述的方法，其中，融合参数的基于融合模式滤波器索引的指示被包括在所述比特流中、被推导、预定义或实时确定。
66.根据权利要求65所述的方法，其中，所述函数参数的指示以预测方式进行编解码。
67.根据权利要求65所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
68.根据权利要求65所述的方法，其中所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
69.根据权利要求65所述的方法，其中，与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器中的每个位置的所述函数参数的指示是相同的。
70.根据权利要求65所述的方法，其中，与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器中的每个位置的所述函数参数的指示是不同的。
71.根据权利要求65所述的方法，其中，通过所述融合模式选择的所述滤波器中的一些位置的所述函数参数的指示是相同的，并且通过所述融合模式选择的所述滤波器中的一些位置的函数参数的指示在与当前自适应环路滤波器(ALF)处理单元的分类索引相对应的通过所述融合模式选择的所述滤波器之间是相同的。
72.根据权利要求1所述的方法，其中，所述融合模式包括多个滤波器，并且其中，分配给不同分类的所述滤波器使用函数参数设置的相同指示。
73.根据权利要求1所述的方法，其中，所述融合模式包括多个滤波器，并且其中，分配给不同分类的所述滤波器使用函数参数设置的不同指示。
74.根据权利要求1所述的方法，其中，用于基于所述融合模式进行融合的函数参数的指示基于不同类型的信息而被生成。
75.根据权利要求1所述的方法，其中，用于基于所述融合模式进行融合的函数参数的指示基于当前自适应环路滤波器(ALF)处理单元、所述视频单元、条带、图片或图片的序列的统计信息而被生成。
76.根据权利要求1所述的方法，其中，用于基于所述融合模式进行融合的函数参数的指示基于针对所述融合模式选择的所述滤波器的统计信息而被生成。
77.根据权利要求1所述的方法，其中，用于基于所述融合模式进行融合的函数参数的指示基于当前视频单元的编码信息而被生成，并且其中，所述编码信息包括编解码模式、所述当前视频单元的尺寸或非零变换系数的数量。
78.根据权利要求1所述的方法，其中，所述一个或多个虚拟滤波器通过融合通过所述融合模式和其他融合函数选择的多个滤波器的每个位置的系数而被生成。
79.根据权利要求1所述的方法，其中，所述融合模式包括自适应环路滤波器(ALF)融合模式，并且其中，一个或多个语法元素用于所述ALF融合模式。
80.根据权利要求1所述的方法，其中，多个自适应参数集(APS)或预定义滤波器集内的滤波器由所述视频单元用于所述融合模式，并且其中，所述视频单元包括当前视频单元。
81.根据权利要求1所述的方法，其中，视频单元级别标志被包括在所述比特流中、被推导、预定义或实时确定以指示所述融合模式是否被应用于所述视频单元，并且其中，所述视频单元包括当前视频单元。
82.根据权利要求1所述的方法，其中，通过所述融合模式选择的多个滤波器被包括在所述比特流中、被推导、预定义或实时确定，并且其中，所述视频单元包括当前视频单元。
83.根据权利要求1所述的方法，其中，视频单元级别标志被包括在所述比特流中、被推导、预定义或实时确定以指示包含融合虚拟滤波器的一个或多个自适应参数集(APS)是否被包括在所述比特流中。
84.根据权利要求63所述的方法，其中，包含所述融合虚拟滤波器的所述一个或多个APS的数量被包括在所述比特流中、被推导、预定义或实时确定。
85.根据权利要求1所述的方法，其中，最大自适应参数集(APS)索引或最大预定义滤波器集索引被包括在所述比特流中、被推导、预定义或实时确定。
86.根据权利要求1所述的方法，其中，固定数量的自适应参数集(APS)索引或固定数量的预定义滤波器集索引被包括在所述比特流中、被推导、预定义或实时确定。
87.根据权利要求1所述的方法，其中，当被包括在所述比特流中、被推导、预定义或实时确定的对应自适应参数集(APS)索引或对应预定义滤波器集索引大于最大APS索引或最大预定义滤波器集索引时，APS或预定义滤波器集不用于所述融合模式。
88.根据权利要求1所述的方法，其中，当被包括在所述比特流中、被推导、预定义或实时确定的自适应参数集(APS)或预定义滤波器集之一大于最大APS索引或最大预定义滤波器集索引时，所述融合模式被应用于所述视频单元，并且其中，所述视频单元是当前视频单元。
89.根据权利要求1所述的方法，其中，当被包括在所述比特流中、被推导、预定义或实时确定的自适应参数集(APS)或预定义滤波器集中的仅一个或都不小于最大APS索引或最大预定义滤波器集索引时，所述融合模式被应用于所述视频单元，并且其中，所述视频单元是当前视频单元。
90.根据权利要求1所述的方法，其中，通过所述融合模式选择的每个滤波器的每个位置的函数参数的指示被包括在所述比特流中、被推导、预定义或实时确定。
91.根据权利要求90所述的方法，其中，所述函数参数的指示以预测方式进行编解码。
92.根据权利要求90所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
93.根据权利要求90所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
94.根据权利要求1所述的方法，其中，通过所述融合模式选择的每个滤波器的每个位置的函数参数索引的指示被包括在所述比特流中、被推导、预定义或实时确定。
95.根据权利要求94所述的方法，其中，所述函数参数的指示以预测方式进行编解码。
96.根据权利要求94所述的方法，其中，所述函数参数的指示基于一个或多个查找表。
97.根据权利要求94所述的方法，其中，所述函数参数的指示基于编解码信息之间的相关性(例如，POC距离、时域层或条带类型)。
98.根据权利要求1所述的方法，其中，通过所述融合模式选择的第一滤波器的函数参数的指示被设置为1，其中，通过所述融合模式选择的第二滤波器的函数参数的指示被默认设置为零，并且其中，所述函数参数的指示被设置为零的所述第二滤波器不应用于所述融合模式。
99.根据权利要求1所述的方法，其中，当通过所述融合模式选择的多于一个滤波器来自相同的自适应参数集(APS)或相同的预定义滤波器集时，融合模式滤波器索引被包括在所述比特流中、被推导、预定义或实时确定。
100.根据权利要求1至99中任一项所述的方法，其中，所述融合模式被独立用于所述视频单元。
101.根据权利要求1至99中任一项所述的方法，其中，两个或更多个不同融合模式被联合用于所述视频单元。
102.根据权利要求1至101中任一项所述的方法，其中，两个或更多个不同融合模式被独立用于不同颜色分量或不同颜色空间。
103.根据权利要求1至101中任一项所述的方法，其中，两个或更多个不同融合模式被联合用于不同颜色分量或不同颜色空间。
104.根据权利要求1至103中任一项所述的方法，其中，所述视频单元包括图片的序列、图片、子图片、条带、片、一个或多个编解码树单元(CTU)、CTU行、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、包含多于一个亮度样点或像素的任何区域、或者包含多于一个色度样点或像素的任何区域。
105.根据权利要求1至103中任一项所述的方法，其中，是否或如何应用所述方法在序列级别、图片组级别、图片级别、条带级别、片组级别的比特流中或在序列标头、图片标头、序列参数集(SPS)、视频参数集(VPS)、依赖性参数集(DPS)、解码器能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带标头或片组标头中被指示。
106.根据权利要求1至103中任一项所述的方法，其中，是否或如何应用所述方法在预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、片、子图片、或者包含多于一个样点或像素的区域中被指示。
107.根据权利要求1至103中任一项所述的方法，其中，是否或如何应用所述方法依赖于编解码信息，并且其中所述编解码信息包括块尺寸、颜色格式、单树或双树分割、颜色分量、条带类型或图片类型。
108.根据权利要求1的方法，其中，所述转换包括将所述视频数据编码为所述比特流。
109.根据权利要求1的方法，其中，所述转换包括从所述比特流解码所述视频数据。
110.一种处理视频数据的方法，包括：
确定非线性滤波操作被应用于视频单元；
生成所述视频单元的至少一个第一滤波索引；
基于所述至少一个第一滤波索引，推导第一滤波系数集；以及
基于所述第一滤波系数集，执行所述非线性滤波操作。
111.根据权利要求110的方法，其中，第一限幅参数集基于所述至少一个第一滤波索引和至少一个滤波限幅语法元素而被推导，并且其中所述非线性滤波操作进一步基于所述第一限幅参数集。
112.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器执行根据权利要求1至111中任一项所述的方法。
113.一种存储通过由视频处理装置执行的根据权利要求1至111中任一项所述的方法生成的视频的比特流的非暂时性计算机可读记录介质。
114.一种存储指令的非暂时性计算机可读存储介质，其中所述指令使得处理器执行根据权利要求1至111中任一项所述的方法。
CN202280055946.0A 2021-08-14 2022-08-08 视频编解码中的自适应环路滤波器的高级融合模式 Pending CN117882370A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2021/112640 2021-08-14
CN2021112640 2021-08-14
PCT/CN2022/110763 WO2023020309A1 (en) 2021-08-14 2022-08-08 Advanced fusion mode for adaptive loop filter in video coding

Publications (1)

Publication Number Publication Date
CN117882370A true CN117882370A (zh) 2024-04-12

Family

ID=85240026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280055946.0A Pending CN117882370A (zh) 2021-08-14 2022-08-08 视频编解码中的自适应环路滤波器的高级融合模式

Country Status (2)

Country Link
CN (1) CN117882370A (zh)
WO (1) WO2023020309A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
WO2020094154A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Improvements for region based adaptive loop filter
GB2580173B (en) * 2018-12-21 2022-07-27 Canon Kk A filter

Also Published As

Publication number Publication date
WO2023020309A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
CN114208174B (zh) 预测过程中的调色板模式编解码
US20240064315A1 (en) Use of offsets with adaptive colour transform coding tool
CN115428449A (zh) 交叉分量自适应环路滤波器
CN115066899A (zh) 编解码视频的可分二次变换处理
CN115211108A (zh) 环路滤波和视频片之间的相互作用
WO2022268185A1 (en) Bilateral filter in video coding
US20220337853A1 (en) On Neural Network-Based Filtering for Imaging/Video Coding
CN117882370A (zh) 视频编解码中的自适应环路滤波器的高级融合模式
WO2023020318A1 (en) Fusion mode for adaptive loop filter in video coding
WO2023020305A1 (en) Improved fusion mode for adaptive loop filter in video coding
WO2024094059A1 (en) Adaptive filter reusing methods on adaptive loop filter in video coding
WO2024002168A1 (en) Padding methods for adaptive loop filter in video coding
WO2024099432A1 (en) Using side information for adaptive loop filter in video coding
WO2024094071A1 (en) Using side information for adaptive loop filter in video coding
WO2024078566A1 (en) Multiple input sources based extended taps for adaptive loop filter in video coding
WO2024078582A1 (en) Switchable input sources based extended taps for adaptive loop filter in video coding
WO2024094066A1 (en) Using side information for sample adaptive offset in video coding
WO2023213265A1 (en) Extended taps using different sources for adaptive loop filter in video coding
WO2023213298A1 (en) Filter shape switch for adaptive loop filter in video coding
WO2024094042A1 (en) Using side information for bilateral filter in video coding
WO2024022377A1 (en) Using non-adjacent samples for adaptive loop filter in video coding
WO2023237094A1 (en) Extended Taps Using Different Sources for Adaptive Loop Filter in Video Coding
WO2024008105A1 (en) Multi-source based extended taps for adaptive loop filter in video coding
WO2022218285A1 (en) Guided filter usage
WO2024037652A1 (en) Using different sources for hadamard domain filter in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication