CN112514401A - 环路滤波的方法与装置 - Google Patents

环路滤波的方法与装置 Download PDF

Info

Publication number
CN112514401A
CN112514401A CN202080004298.7A CN202080004298A CN112514401A CN 112514401 A CN112514401 A CN 112514401A CN 202080004298 A CN202080004298 A CN 202080004298A CN 112514401 A CN112514401 A CN 112514401A
Authority
CN
China
Prior art keywords
ccalf
alf
filter coefficients
image block
loop filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080004298.7A
Other languages
English (en)
Inventor
马思伟
孟学苇
郑萧桢
王苫社
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
SZ DJI Technology Co Ltd
Original Assignee
Peking University
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, SZ DJI Technology Co Ltd filed Critical Peking University
Publication of CN112514401A publication Critical patent/CN112514401A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

提供环路滤波的方法与装置，通过优化编解码环路滤波过程中的编码方式，降低环路滤波的复杂度，提高编解码性能。一种环路滤波的方法包括：确定图像的多套滤波器系数；根据色度原始像素值、经自适应环路滤波ALF前的亮度重建像素值、经ALF后的色度重建像素值和经过跨分量自适应环路滤波CCALF的色度重建像素值分别计算所述多套候选滤波器系数中每套滤波器系数的失真；根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。

Description

环路滤波的方法与装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本发明涉及数字视频编码技术领域，并且更为具体地，涉及一种环路滤波的方法与装置。
背景技术
目前，为了减少视频存储和传输所占用的带宽，需要对视频数据进行编码压缩处理。目前常用的编码技术中，视频的编码压缩处理过程包括：块划分、预测、变换、量化和熵编码过程，形成一个混合视频编码框架。在该混合视频编码框架的基础上，经过几十年的发展，逐渐形成了视频编解码技术标准，目前主流的一些视频编解码标准包括：国际视频编码标准H.264/MPEG-AVC、H.265/MEPG-HEVC、国内音视频编码标准AVS2，以及正在制定的H.266/VVC国际标准和AVS3国内标准。
在块划分、预测、变换、量化和熵编码的编码过程中，由于量化的存在，解码重构视频中会存在块效应、振铃效应等压缩失真，同时，帧间预测模式中，重构视频中的压缩失真会影响后续图像的编码质量。因此，为了降低压缩失真，通过编解码结构框架中引入环路滤波(in loop filter)技术，提高当前解码图像质量以及为后续编码图像提供高质量的参考图像，提高压缩效率。
在目前正在制定的通用视频编码(Versatile Video Coding，VVC)标准以及部分高性能视频编码(High Efficiency Video Coding，HEVC)标准中，环路滤波器包括去块滤波(deblocking filter，DBF)，自适应样值补偿滤波(Sample Adaptive Offset，SAO)以及自适应环路滤波(Adaptive Loop Filter，ALF)。其中，滤波的过程仍有改进的空间。
发明内容
本发明提供一种环路滤波的方法与装置，相对于现有技术，可以降低环路滤波的复杂度，提高滤波的效果。
第一方面，提供了一种环路滤波的方法，包括：
确定图像的多套滤波器系数；
根据色度原始像素值、经自适应环路滤波ALF前的亮度重建像素值、经ALF后的色度重建像素值和经过跨分量自适应环路滤波CCALF的色度重建像素值分别计算所述多套候选滤波器系数中每套滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
第二方面，提供了一种环路滤波的方法，包括：
计算图像块级方差covariance；
确定图像的多套CCALF滤波器，以及分别初始化所述多套CCALF滤波器系数；
根据所述图像块级方差分别训练所述多套CCALF滤波器系数；
分别计算所述多套CCALF滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
第三方面，提供了一种环路滤波的方法，包括：
根据当前图像块经ALF前的色度重建像素值训练所述当前图像块的CCALF滤波器系数；
根据训练得到的所述当前图像块的CCALF滤波器系数对所述当前图像块进行CCALF；
对所述当前图像块进行ALF，其中，所述当前图像块的CCALF和ALF是并行处理的。
第四方面，提供了一种环路滤波的装置，包括：存储器，用于存储代码；
处理器，用于执行所述存储器中存储的代码，以执行如下操作：
确定图像的多套滤波器系数；
根据色度原始像素值、经自适应环路滤波ALF前的亮度重建像素值、经ALF后的色度重建像素值和经过跨分量自适应环路滤波CCALF的色度重建像素值分别计算所述多套候选滤波器系数中每套滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
第五方面，提供了一种环路滤波的装置，包括：
存储器，用于存储代码；
处理器，用于执行所述存储器中存储的代码，以执行如下操作：
计算图像块级方差covariance；
确定图像的多套CCALF滤波器，以及分别初始化所述多套CCALF滤波器系数；
根据所述图像块级方差分别训练所述多套CCALF滤波器系数；
分别计算所述多套CCALF滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
第六方面，提供了一种环路滤波的装置，包括：
存储器，用于存储代码；
处理器，用于执行所述存储器中存储的代码，以执行如下操作：
根据当前图像块经ALF前的色度重建像素值训练所述当前图像块的CCALF滤波器系数；
根据训练得到的所述当前图像块的CCALF滤波器系数对所述当前图像块进行CCALF；
对所述当前图像块进行ALF，其中，所述当前图像块的CCALF和ALF是并行处理的。
附图说明
图1是应用本申请实施例的技术方案的架构图。
图2是根据本申请实施例的视频编码框架示意图。
图3是根据本申请实施例的视频解码框架示意图。
图4是根据本申请实施例的维纳滤波器示意图。
图5a是根据本申请实施例的一种ALF滤波器示意图。
图5b是根据本申请实施例的另一种ALF滤波器示意图。
图6是本申请一个实施例的环路滤波的方法的示意性流程图。
图7是本申请一个实施例的CCALF滤波器的形状示意图。
图8是本申请另一个实施例的环路滤波的方法的示意性流程图。
图9是本申请另一个实施例的环路滤波的装置的示意性流程图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
本申请实施例可适用于标准或非标准的图像或视频编码器。例如，VVC标准的编码器。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。
还应理解，本申请实施例中的公式只是一种示例，而非限制本申请实施例的范围，各公式可以进行变形，这些变形也应属于本申请保护的范围。
还应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
图1是应用本申请实施例的技术方案的架构图。
如图1所示，系统100可以接收待处理数据102，对待处理数据102进行处理，产生处理后的数据108。例如，系统100可以接收待编码数据，对待编码数据进行编码以产生编码后的数据，或者，系统100可以接收待解码数据，对待解码数据进行解码以产生解码后的数据。在一些实施例中，系统100中的部件可以由一个或多个处理器实现，该处理器可以是计算设备中的处理器，也可以是移动设备(例如无人机)中的处理器。该处理器可以为任意种类的处理器，本发明实施例对此不做限定。在一些可能的设计中，该处理器可以包括编码器、解码器或编解码器等。系统100中还可以包括一个或多个存储器。该存储器可用于存储指令和数据，例如，实现本发明实施例的技术方案的计算机可执行指令、待处理数据102、处理后的数据108等。该存储器可以为任意种类的存储器，本发明实施例对此也不做限定。
图2是根据本申请实施例的视频编码框架2示意图。如图2所示，在接收待编码视频后，从待编码视频的第一帧开始，依次对待编码视频中的每一帧进行编码。其中，当前编码帧主要经过：预测(Prediction)、变换(Transform)、量化(Quantization)和熵编码(Entropy Coding)等处理，最终输出当前编码帧的码流。对应的，解码过程通常是按照上述过程的逆过程对接收到的码流进行解码，以恢复出解码前的视频帧信息。
具体地，如图2所示，所述视频编码框架2中包括一个编码控制模块201，用于进行编码过程中的决策控制动作，以及参数的选择。例如，如图2所示，编码控制模块201控制变换、量化、反量化、反变换的中用到的参数，控制进行帧内或者帧间模式的选择，以及运动估计和滤波的参数控制，且编码控制模块201的控制参数也将输入至熵编码模块中，进行编码形成编码码流中的一部分。
对当前待编码帧开始编码时，对待编码帧进行划分202处理，具体地，首先对其进行条带(slice)划分，再进行块划分。可选地，在一个示例中，待编码帧划分为多个互不重叠的最大的编码树单元(Coding Tree Unit，CTU)，各CTU还可以分别按四叉树、或二叉树、或三叉树的方式迭代划分为一系列更小的编码单元(Coding Unit，CU)，一些示例中，CU还可以包含与之相关联的预测单元(Prediction Unit，PU)和变换单元(Transform Unit，TU)，其中PU为预测的基本单元，TU为变换和量化的基本单元。一些示例中，PU和TU分别是在CU的基础上划分成一个或多个块得到的，其中一个PU包含多个预测块(Prediction Block，PB)以及相关语法元素。一些示例中，PU和TU可以是相同的，或者，是由CU通过不同的划分方法得到的。一些示例中，CU、PU和TU中的至少两种是相同的，例如，不区分CU、PU和TU，全部是以CU为单位进行预测、量化和变换。为方便描述，下文中将CTU、CU或者其它形成的数据单元均称为编码块。
应理解，在本申请实施例中，视频编码针对的数据单元可以为帧，条带，编码树单元，编码单元，编码块或以上任一种的组。在不同的实施例中，数据单元的大小可以变化。
具体地，如图2所示，待编码帧划分为多个编码块后，进行预测过程，用于去除当前待编码帧的空域和时域冗余信息。当前比较常用的预测编码方法包括帧内预测和帧间预测两种方法。帧内预测仅利用本帧图像中己重建的信息对当前编码块进行预测，而帧间预测会利用到之前已经重建过的其它帧图像(也被称作参考帧)中的信息对当前编码块进行预测。具体地，在本申请实施例中，编码控制模块201用于决策选择帧内预测或者帧间预测。
当选择帧内预测模式时，帧内预测203的过程包括获取当前编码块周围已编码相邻块的重建块作为参考块，基于该参考块的像素值，采用预测模式方法计算预测值生成预测块，将当前编码块与预测块的相应像素值相减得到当前编码块的残差，当前编码块的残差经过变换204、量化205以及熵编码210后形成当前编码块的码流。进一步的，当前待编码帧的全部编码块经过上述编码过程后，形成待编码帧的编码码流中的一部分。此外，帧内预测203中产生的控制和参考数据也经过熵编码210编码，形成编码码流中的一部分。
具体地，变换204用于去除图像块的残差的相关性，以便提高编码效率。对于当前编码块残差数据的变换通常采用二维离散余弦变换(Discrete Cosine Transform，DCT)变换和二维离散正弦变换(Discrete Sine Transform，DST)变换，例如在编码端将待编码块的残差信息分别与一个N×M的变换矩阵及其转置矩阵相乘，相乘之后得到当前编码块的变换系数。
在产生变换系数之后用量化205进一步提高压缩效率，变换系数经量化可以得到量化后的系数，然后将量化后的系数进行熵编码210得到当前编码块的残差码流，其中，熵编码方法包括但不限于内容自适应二进制算术编码(Context Adaptive BinaryArithmetic Coding，CABAC)熵编码。
具体地，帧内预测203过程中的已编码相邻块为：当前编码块编码之前，已进行编码的相邻块，该相邻块的编码过程中产生的残差经过变换204、量化205、反量化206、和反变换207后，与该相邻块的预测块相加得到的重建块。对应的，反量化206和反变换207为量化206和变换204的逆过程，用于恢复量化和变换前的残差数据。
如图2所示，当选择帧间预测模式时，帧间预测过程包括运动估计208和运动补偿209。具体地，根据重建视频帧中的参考帧图像进行运动估计208，在一张或多张参考帧图像中根据一定的匹配准则搜索到与当前编码块最相似的图像块为匹配块，该匹配块与当前编码块的相对位移即为当前待编码块的运动矢量(Motion Vector，MV)。对待编码帧中的全部编码块进行运动估计之后，基于运动矢量和参考帧对当前待编码帧进行运动补偿209，获得当前待编码帧的预测值。将该待编码帧像素的原始值与对应的预测值相减得到待编码帧的残差。当前待编码帧的残差经过变换204、量化205以及熵编码210后形成待编码帧的编码码流中的一部分。此外，运动补偿209中产生的控制和参考数据也经过熵编码210编码，形成编码码流中的一部分。
其中，如图2所示，重建视频帧为经过滤波211之后得到视频帧。滤波211用于减少编码过程中产生的块效应和振铃效应等压缩失真。在编码过程中，重建视频帧用于为帧间预测提供参考帧；在解码过程中，重建视频帧经过后处理后输出为最终的解码视频。在本申请实施例中，滤波211包括以下滤波技术中的至少一种：去块DB滤波、自适应样值补偿偏移SAO滤波、自适应环路滤波ALF、跨分量ALF(Cross-Component ALF，CCALF)。在一个示例中，ALF设置于DB和/或SAO之后。在一个示例中，采用经ALF前的亮度分量对经ALF之后的色度分量进行滤波。滤波211过程中的滤波参数同样被传送至熵编码中进行编码，形成编码码流中的一部分。
图3是根据本申请实施例的视频解码框架3示意图。如图3所示，视频解码执行与视频编码相对应的操作步骤。首先利用熵解码301得到编码码流中的残差数据、预测语法、帧内预测语法、运动补偿语法以及滤波语法中的一种或多种数据信息。其中，残差数据经过反量化302和反变换303得到原始残差数据信息。此外，根据预测语法确定当前解码块使用帧内预测还是帧间预测。如果是帧内预测304，则根据解码得到的帧内预测语法，利用当前帧中已重建图像块按照帧内预测方法构建预测信息；如果是帧间预测，则根据解码得到的运动补偿语法，在已重建的图像中确定参考块，得到预测信息；接下来，再将预测信息与残差信息进行叠加，并经过滤波311操作便可以得到重建视频帧，重建视频帧经过后处理306后得到解码视频。
具体地，在本申请实施例中，所述滤波311可以与图2中的滤波211相同，包括以下至少一种：去块DB滤波、自适应样值补偿偏移SAO滤波、自适应环路滤波ALF、跨分量ALF(Cross-Component ALF，CCALF)。其中，滤波311中的滤波参数和控制参数可以通过对编码码流进行熵解码得到，基于得到的滤波参数和控制参数分别进行滤波。
一个示例中，DB滤波用于处理预测单元PU和变换单元TU边界的像素，利用训练得到的低通滤波器进行边界像素的非线性加权，从而减少块效应。一个示例中，SAO滤波以帧图像中的编码块为单元，用于对编码块内的像素值进行分类，并为每一类像素加上补偿值，不同的编码块采用不同的滤波形式且不同的编码块中不同类的像素补偿值不同，使得重构帧图像更接近原始帧图像，避免振铃效应。一个示例中，ALF滤波为一种维纳滤波(wienerfiltering)过程，根据维纳滤波的原理，计算出滤波系数进行滤波，主要用于最小化重构帧图像与原始帧图像之间的均方误差(Mean-square Error，MSE)，从而进一步改善重建帧的图像质量，提高运动估计和运动补偿的准确度并有效的提高整个编码系统的编码效率，但是与此同时，ALF滤波的复杂度高、运算耗时，在实际应用过程中存在一定的缺陷。
为方便理解，下面结合图4、图5a和图5b对ALF滤波过程的一个示例进行描述。
ALF滤波系数计算原理
首先，根据维纳滤波原理，说明计算ALF滤波系数的计算方法，如图4所示，当前编码的原始编码帧中的一个像素信号为X，经过编码以及DB滤波和SAO滤波后的重建像素信号为Y，在此过程中Y引入的噪声或者失真为e，重建像素信号经过维纳滤波器中的滤波系数f滤波后，形成ALF重建信号
Figure BDA0002924149660000091
使得该ALF重建信号
Figure BDA0002924149660000092
与原始像素信号的均方误差最小，得到f即为ALF滤波系数，具体地，f的计算公式如下：
Figure BDA0002924149660000093
可选地，在一种可能的实施方式中，一组ALF滤波系数组成的滤波器如图5a和图5b所示，具有C0～C12呈对称分布的13个滤波系数，滤波器长度L为7；或者具有C0～C6呈对称分布的7个滤波系数，滤波器长度L为5。可选地，图5a所示的滤波器也称为7*7的滤波器，适用于编码帧亮度分量，图5b所示的滤波器也称为5*5的滤波器，适用于编码帧色度分量。
应理解，在本申请实施例中，所述ALF滤波器系数组成的滤波器还可以为其它形式的滤波器，例如具有呈对称分布，滤波器长度为9等滤波器形式，本申请实施例对此不做限定。
可选地，在一种线性ALF滤波过程中，对于重建图像帧中的待滤波像素点，使用周围像素点的加权平均来得到当前点滤波之后的结果，即ALF重建图像帧中对应的像素点。具体地，重建图像帧中像素点I(x，y)为当前待滤波像素点，(x，y)为当前待滤波像素点在编码帧中的位置坐标，滤波器中心的滤波系数与其对应，滤波器中其它滤波系数与I(x，y)周围的像素点一一对应，滤波器中的滤波系数值即为权值，将滤波器中的滤波系数值与对应的像素点相乘后相加，再平均得到的数值即为当前待滤波像素点I(x，y)滤波后的像素值O(x，y)，具体的计算公式如下：
Figure BDA0002924149660000101
其中，w(i，j)表示滤波器中的任意一个滤波系数，(i，j)表示滤波器中的滤波系数距离中心点的相对位置，i和j均为小于L/2大于-L/2的整数，其中L为滤波器的长度。例如，如图5a中的滤波器所示，滤波器中心的滤波系数C12表示为w(0，0)，C12上方的滤波系数C6表示为w(0，1)，C12右方的滤波系数C11表示为w(1，0)。
按照此方式，依次对重建图像帧中的每个像素点进行滤波，得到滤波后的ALF重建图像帧。
可选地，在一种可能的实现方式中，所述滤波器的滤波系数w(i，j)为[-1，1)之间的整数。
可选地，在一种可能的实施方式中，对所述滤波器系数w(i，j)放大128倍后取整得到w’(i，j)，w’(i，j)为[-128，128)之间的整数。具体地，对放大后的w’(i，j)进行编码传输易于硬件编解码实现，且采用放大后的w’(i，j)进行滤波得到O(x，y)的计算公式如下：
Figure BDA0002924149660000102
可选地，在另一种非线性ALF滤波过程中，不再直接采用滤波器作为权值，将多个像素点的加权平均得到滤波之后的结果。而是引入非线性参数因子，优化滤波效果，具体地，采用非线性ALF滤波对I(x，y)进行滤波计算得到O’(x，y)的计算公式如下：
Figure BDA0002924149660000111
其中，所述滤波器的滤波系数w(i，j)为[-1，1)之间的整数。K(d，b)是一个修正(clip)的操作，K(d，b)＝min(b，max(-b，d))。
具体地，在K(d，b)clip操作中，k(i，j)代表环路滤波ALF修正clip参数，下文也简称修正参数或者clip参数，每一个滤波系数w(i，j)都会对应一个clip的参数。对于编码帧亮度分量，clip参数从{1024，181，32，6}中选择一个，对于编码帧色度分量，clip参数从{1024，161，25，4}中选择一个，且需要将每一个clip参数对应的索引，即修正(clip)索引参数写入码流。如果clip参数是1024，就要将clip索引参数0写入码流，同理，如果是181，就要将1写入码流，因此可以看出编码帧亮度分类和编码帧色度分类的clip索引参数均为0～3之间的整数。
像素分类划分
其次，若对一个像素点计算一组对应的ALF滤波系数，其计算复杂度大且耗时，并且如果将每一个像素点的ALF系数都写入码流，会到来巨大的开销，因此，需要对重建图像中的像素点进行分类划分，每一类像素点采用同一组ALF滤波系数(一种滤波器)，这样能够减少计算复杂度，提高编码效率。
可选地，像素分类的方式可以有很多种。例如，可以只对像素的亮度Y分量进行分类，对色度UV分量不进行分类。例如，对亮度Y分量划分为25类，色度UV分量不划分，只有一类。换言之，对于一帧图像来讲，亮度Y分量的编码帧最多可以对应25组滤波器，色度UV分量的编码帧对应一组滤波器。
应理解，在本申请实施例中，像素类别可以是对应于亮度Y分量的类别，但本申请实施例对此并不限定，像素类别也可以是对应于其他分量或所有分量的类别。为方便描述，下文以对亮度Y分量的编码帧进行分类划分和ALF滤波为例进行说明。
可选地，在一种可能的实施方式中，将经过DB滤波和SAO滤波后的重建图像帧划分为多个4*4像素的块。将该多个4*4的块进行分类。
例如，每一个4*4的块都可以根据拉普拉斯(Laplace)方向进行分类：
Figure BDA0002924149660000121
C代表像素块所属类别。D为拉普拉斯方向，
Figure BDA0002924149660000122
是进行方向D(Direction)分类之后的细分类结果，
Figure BDA0002924149660000123
的获取可以有多种方式，这里只是代表细分类的结果。
方向D的计算方式如下，首先，计算当前4*4块在不同方向上的拉普拉斯梯度，计算公式为：
Figure BDA0002924149660000124
Figure BDA0002924149660000125
Figure BDA0002924149660000126
Figure BDA0002924149660000127
其中，i和j是当前4*4块的左上像素点的坐标。
R(k，l)代表4*4块中位于(k，l)位置的重构像素值。Vk，l代表4*4块中位于(k，l)坐标的像素点在竖直方向的拉普拉斯梯度。Hk，l代表4*4块中位于(k，l)坐标的像素点在水平方向拉普拉斯梯度。D1k，l代表4*4块中位于(k，l)坐标的像素点在135度方向拉普拉斯梯度。D2k，l代表4*4块中位于(k，l)坐标的像素点在45度拉普拉斯梯度。
对应的，计算得到的gv代表当前4*4块在竖直方向的拉普拉斯梯度。gh代表当前4*4块在水平方向的拉普拉斯梯度。gd1代表当前4*4块在135度方向的拉普拉斯梯度。gd2代表当前4*4块在45度方向的拉普拉斯梯度。
然后，根据四个方向上拉普拉斯梯度的极值比，判断方向D，具体计算公式如下：
Figure BDA0002924149660000131
Figure BDA0002924149660000132
Figure BDA0002924149660000133
Figure BDA0002924149660000134
其中，
Figure BDA0002924149660000135
代表水平、竖直方向拉普拉斯梯度值的最大值。
Figure BDA0002924149660000136
代表水平、竖直方向拉普拉斯梯度值的最小值。
Figure BDA0002924149660000137
代表45、135方向拉普拉斯梯度值的最大值。
Figure BDA0002924149660000138
代表45、135方向拉普拉斯梯度值的最小值。Rh，v代表水平、竖直方向拉普拉斯梯度的比值。Rd0，d1代表45、135方向拉普拉斯梯度的比值。
如果
Figure BDA0002924149660000139
而且
Figure BDA00029241496600001310
D设置为0。
如果
Figure BDA00029241496600001311
而且
Figure BDA00029241496600001312
D设置为1。
如果
Figure BDA00029241496600001313
而且
Figure BDA00029241496600001314
D设置为2。
如果
Figure BDA00029241496600001315
而且
Figure BDA00029241496600001316
D设置为3。
如果
Figure BDA00029241496600001317
而且
Figure BDA00029241496600001318
D设置为4。
t1和t2代表预先设置的阈值。
可选地，在一种可能的实施方式中，
Figure BDA00029241496600001319
的计算方式如下，
Figure BDA00029241496600001320
将A量化得到0～4之间的整数，得到
Figure BDA00029241496600001321
因此，综合D和A的取值，C的取值范围为0～24之间的整数，在本申请实施例中，最多将一帧图像中的4*4块划分为25类。
可选地，在一种可能的实施方式中，编码帧中具有N类4*4块，每一类4*4块具有一组ALF滤波系数，其中，N为1～25之间的整数。
应理解，在本申请实施例中，对整帧图像除了可以划分为多个4*4的块以外，还可以为划分为其它像素大小的块，例如，划分为多个8*8或者16*16大小的块，本申请实施例对此不做限制。
还应理解，在本申请实施例中，除了上述根据拉普拉斯(Laplace)方向进行分类外，还可以采用其他的分类方法对块进行分类，本申请实施例对此不做限定。
还应理解，在本申请实施例中，分类数量除了25种外，还可以分类为其它任意数量，本申请实施例对此也不做限定。
基于块的ALF滤波
ALF滤波可以分为基于帧的ALF，基于块的ALF以及基于四叉树的ALF。其中，基于帧的ALF为采用一组滤波系数对整帧进行滤波，基于块的ALF为将编码帧划分为大小相等的图像块，对图像块进行判断是否进行ALF滤波，基于四叉树的ALF则是基于四叉树的划分方式将编码帧划分为大小不同的图像块，进行判断是否进行ALF滤波。其中，基于帧的ALF计算简单，但滤波效果不佳，而基于四叉树的ALF计算复杂度较高，因此，在一些标准或技术中，例如最新正在研究制定的VVC标准中，其参考软件VTM采用的是基于块的ALF。
以VTM中基于块的ALF作为示例说明。在VTM中，编码帧具有帧级ALF滤波标志位，且具有块级ALF滤波标志位。可选地，该块级可以为CTU，CU或者其它划分方式的图像块，本申请实施例对此不做限定，为方便描述，下文以CTU级ALF滤波标志位进行举例说明。
具体地，当帧级ALF滤波标志位标识不进行ALF滤波时，则不标识编码帧中CTU级ALF滤波标志位，当帧级ALF滤波标志位标识进行ALF滤波时，对编码帧中CTU级ALF滤波标志位进行标识表示当前CTU是否进行ALF滤波。
可选地，编码帧中包括Z个CTU，计算编码帧中的N组ALF滤波系数的方法如下：对编码帧中Z个CTU是否进行ALF滤波进行组合，针对每一种组合方式，计算得到该方式下的N组ALF滤波系数和编码帧的率失真代价(Rate-distortion Cost，RD Cost)。其中，每一组ALF滤波系数中的第i组ALF的计算方式为：在当前CTU组合方式下，将进行ALF滤波的CTU中的第i类像素进行f计算，其它不进行ALF滤波的CTU中的第i类像素则不进行f计算，计算得到当前组合方式下的第i组ALF系数。应理解，不同组合方式下，计算得到的N组ALF滤波系数可能互不相同。
比较多个组合方式下的RD Cost，其中，RD Cost最小的组合方式确定为最终的组合方式。且在该组合方式下计算得到的N组ALF滤波系数为适应性最优的ALF滤波系数。
当RD Cost最小的组合方式为Z个CTU中至少一个CTU进行ALF滤波时，编码帧的帧级ALF标志位标识为进行ALF滤波，CTU级的ALF标志位依次在CTU数据中标识是否进行ALF滤波。例如，标识位标识为0时，表示不进行ALF滤波，标识位标识为1时，表示进行ALF滤波。
特别地，当RD Cost最小的组合方式为Z个CTU均不进行ALF滤波时，此时，编码帧不进行ALF滤波，将编码帧的帧级ALF标志位标识为不进行ALF滤波。此时，CTU级的ALF标志位不进行标识。
应理解，本申请实施例中的ALF不仅适用于VVC标准中，还适应用于其它采用基于块的ALF技术方案或者标准中。
跨分量ALF(Cross Component ALF，CCALF)
一个示例中，CCALF用于利用亮度分量的数值来对色度分量进行调整，提升色度分量质量。为方便理解，下面结合图6对CCALF和ALF过程的一个示例进行描述。当前块包括亮度分量和色度分量，其中色度分量包括第一色度分量(例如图6中的Cb)和第二色度分量(例如图6中的Cr)。
亮度分量依次经过SAO和ALF进行滤波。第一色度分量依次经过SAO和ALF进行滤波。第二色度分量依次经过SAO和ALF进行滤波。另外，还采用CCALF滤波器对色度分量进行CCALF。
在一个示例中，CCALF滤波器的形状可以如图7所示。该CCALF滤波器中采用3x4菱形，共8个系数。图中标识2所在位置为当前的第一色度分量或者第二色度分量的像素点，使用周围的7个点的加权平均得到中间标识2所在位置像素点滤波之后的结果。
一帧图像中总共可以有多套滤波器，其中，第一色度分量和第二色度分量可以从同一拨CCALF滤波器中分别选择相同或不同的目标滤波器进行滤波，或者，也可以分别从不同拨CCALF滤波器中各自选择出目标滤波器进行滤波。
当前图像使用的CCALF滤波器的总数需要写入码流，其中，该CCALF滤波器的总数可以包括第一色度分量的CCALF滤波器总数和/或第二色度分量的CCALF滤波器总数。在第一色度分量的CCALF滤波器总数和第二色度分量的CCALF滤波器总数相同，或者第一色度分量和第二色度分量可以从同一拨CCALF滤波器中选择目标滤波器的情况中，可以仅用一个CCALF滤波器的总数来指示。
对于当前块，还将该当前块所选择的目标滤波器的索引编码到码流中。在第一色度分量和第二色度分量分别所选择的目标滤波器的索引相同或不同的情况中，可以分别将该两个色度分量的目标滤波器的索引编码到码流中。或者，在第一色度分量和第二色度分量分别所选择的目标滤波器的索引相同情况中，可以将仅将一个索引编码到码流中，该索引用来指示该两个色度分量的目标滤波器。
在一个示例中，在确定CTU的CCALF滤波器系数时，根据自适应参数集(AdaptationParameter Sets，APS)中确定该CCALF滤波器系数。
确定当前帧多个可用的CCALF APS，称为APS0，APS1，...APSN，N为大于1的整数。其中，每一个APSn，n为不大于N的任意整数，该APSn包含多套滤波器系数，称为f0，f1，...fL，L为大于1的整数。不同的APS中所包含的滤波器系数的数量可以相同也可以不同。
对每一个APS中的每一套滤波器系数，分别采用该滤波器系数对当前帧进行CCALF，并根据CCALF的结果来计算当前帧的失真(distortion)。在利用每套APS计算出当前帧的失真后，根据每套APS计算出的失真结果分别决策当前帧中的每个CTU是否开启CCALF，以及在确定开启CCALF的情况下该CTU的CCALF滤波器系数。然后再根据每个APS的决策结果计算RD cost，根据RD cost结果从中选择出最优的APS。
然而，在该示例中，由于存在多个APS，以及每个APS中包含多套滤波器系数，导致在确定CTU的CCALF滤波器系数的过程中需要进行多次CCALF。例如，在存在8个可用APS以及每个APS包含4套滤波器系数的情况下，一个CTU需要进行32次CCALF。
可选的，在另一个示例中，如图6所示，步骤S601中，确定当前帧的可用的CCALFAPS，称为APS0，APS1，...APSN，N为大于1的整数。
步骤S602中，对于每一个APSn，n为不大于N的任意整数，该APSn包含多套滤波器系数，称为f0，f1，...fL，L为大于1的整数。不同的APS中所包含的滤波器系数的数量可以相同电可以不同。确定第一个APS(也即APS0)中的L套滤波器系数。
步骤S603中，计算采用APS0中每套滤波器系数进行CCALF时所造成的失真。重复步骤S603，直至分别计算APS0中所有滤波器系数进行CCALF后所造成的失真。
其中，在步骤S603中，可采用以下公式来计算失真：
Figure BDA0002924149660000171
其中，o(k)，l(k)，c(k)和y(k)分别为色度原始像素值、经ALF前的亮度重建像素值、经ALF后的色度重建像素值和经过CCALF的色度重建像素值。N是CCALF滤波器抽头的数量。一个示例中，N可以取值为8。滤波器系数f＝(w0，w1，...，wN-1)T，是根据开启了滤波的CTU计算得到的。失真可通过以下公式估计得到：
Figure BDA0002924149660000181
Figure BDA0002924149660000182
Figure BDA0002924149660000183
其中，<·，·>表示内积，K表示开启了滤波的区域，Rll(k)是l(k)的自相关矩阵，Rco(k)是c(k)和o(k)的互相关向量。
步骤S604中，根据每一次步骤S603所计算的失真结果来决策各CTU是否开启CCALF，对于决定开启CCALF的CTU，还决策该CTU所采用的滤波器系数。
步骤S605中，计算步骤S604中的决策结果的RD cost。至此，得到APS0的RD cost。然后重复步骤602至步骤605，得到APS1的RD cost。以此循环，直至计算出每个APS的RDcost。
本示例中，由于步骤S603采用新的计算方式来计算失真，无需采用每个APS中的每套滤波器分别对CTU进行CCALF得到结果，可以减少计算量以及对图像缓存的访问，有利于软硬件的设计。
在一个示例中，在确定CTU的CCALF滤波器系数时，从预设滤波器中选择一个滤波器并计算该滤波器的滤波器系数作为该CTU的CCALF滤波器系数。具体的，确定当前CTU多个可用的CCALF滤波器，对每一个CCALF滤波器，对该滤波器的系数初始化，并利用当前CTU的原始色度值、进行ALF之前的亮度重建值以及进行ALF之后的色度重建值计算当前CTU的方差(covariance)。然后利用各CTU的方差计算当前帧的方差，并根据该当前帧的方差来对滤波器的系数进行训练。
然而，在该示例中，在训练每一个CCALF滤波器的系数时，由于需要用到当前CTU的原始色度值、进行ALF之前的亮度重建值以及进行ALF之后的色度重建值，需要不停访问图像的缓存(buffer)去读取数据。这不利于硬件的设计。而且，由于片上存储器非常有限，图像缓存一般是位于片下并位于在外部存储中，相比访问片上存储器的数据，访问片下存储器的数据需要消耗更多的能量以及会有更大的延迟。
可选的，在另一示例中，如图8所示，步骤S801中，在确定CTU的CCALF滤波器系数时，首先计算CTU级的方差。例如，可利用当前CTU的原始色度值、进行ALF之前的亮度重建值以及进行ALF之后的色度重建值计算当前CTU的方差。
步骤S802中，确定当前CTU多个可用的CCALF滤波器，对每一个CCALF滤波器的系数进行初始化。
步骤S803中，在步骤S802的初始化结果的基础上，对其中一个CCALF滤波器系数进行训练。训练每一个CCALF滤波器的系数时，直接采用步骤S801计算好的CTU级的方差来计算帧级的方差。
步骤S804中，根据步骤S803得到的帧级方差计算对应的CCALF滤波器的系数。
步骤S805中，根据计算出的CCALF滤波器系数计算失真。可选的，该计算失真的方法可以采用图6所示实施例中步骤S603中计算失真的方法。
步骤S806中，根据步骤S805的计算结果来决策各CTU是否开启CCALF，对于决定开启CCALF的CTU，还决策该CTU所采用的滤波器系数。
步骤S807中，计算步骤S806中的决策结果的RD cost。至此，得到第一CCALF滤波器的RD cost。然后重复步骤803至步骤807，计算第二个CCALF滤波器的RD cost。以此循环，当当前循环和上一次循环相比RDCost没有减小，或者循环次数达到阈值时，就中止循环。
在一些示例中，在CCALF滤波器系数的训练过程中，需要采用经过ALF之后的色度重建像素值，这导致CCALF滤波器系数的训练过程和ALF无法在编码器/解码器中并行处理。因此，可选的，可以将CCALF滤波器系数的训练过程中所采用的经ALF之后的色度重建像素值替换成经ALF之前的色度重建像素值，以使得CCALF滤波器系数的训练过程和ALF无法在编码器/解码器中并行处理。
图9是本申请实施例的另一种编码端的环路滤波的装置30的示意性框图，该环路滤波的装置30为视频编码端中的环路滤波的装置，可选地，该环路滤波的装置20可以对应于环路滤波的方法100。
如图9所述，所述环路滤波的装置30包括：处理器31和存储器32；
存储器32可用于存储程序，处理器31可用于执行所述存储器中存储的程序。
一个示例中，处理器31可用于执行如下操作：
确定图像的多套滤波器系数；
根据色度原始像素值、经自适应环路滤波ALF前的亮度重建像素值、经ALF后的色度重建像素值和经过跨分量自适应环路滤波CCALF的色度重建像素值分别计算所述多套候选滤波器系数中每套滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
应理解，装置实施例与方法实施例相互对应，类似的描述可以参照方法实施例。
一个示例中，处理器31可用于执行如下操作：
计算图像块级方差covariance；
确定图像的多套CCALF滤波器，以及分别初始化所述多套CCALF滤波器系数；
根据所述图像块级方差分别训练所述多套CCALF滤波器系数；
分别计算所述多套CCALF滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
一个示例中，处理器31可用于执行如下操作：
根据当前图像块经ALF前的色度重建像素值训练所述当前图像块的CCALF滤波器系数；
根据训练得到的所述当前图像块的CCALF滤波器系数对所述当前图像块进行CCALF；
对所述当前图像块进行ALF，其中，所述当前图像块的CCALF和ALF是并行处理的。
本申请实施例还提供了一种电子设备，该电子设备可以包括上述本申请各种实施例的环路滤波的装置。
应理解，本申请实施例的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器包括但不限于以下各种：通用处理器，中央处理器CPU、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specificintegrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图6至图9所示实施例的方法。
本申请实施例还提出了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行图6至图9所示实施例的方法。
本申请实施例还提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行图6至图9所示实施例的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种环路滤波的方法，其特征在于，包括：
确定图像的多套滤波器系数；
根据色度原始像素值、经自适应环路滤波ALF前的亮度重建像素值、经ALF后的色度重建像素值和经过跨分量自适应环路滤波CCALF的色度重建像素值分别计算所述多套候选滤波器系数中每套滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
2.根据权利权要1所述的环路滤波的方法，其特征在于，
所述多套候选滤波器系数位于所述图像的自适应参数集Adaptation parameter set中。
3.一种环路滤波的方法，其特征在于，包括：
计算图像块级方差covariance；
确定图像的多套CCALF滤波器，以及分别初始化所述多套CCALF滤波器系数；
根据所述图像块级方差分别训练所述多套CCALF滤波器系数；
分别计算所述多套CCALF滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
4.一种环路滤波的方法，其特征在于，包括：
根据当前图像块经ALF前的色度重建像素值训练所述当前图像块的CCALF滤波器系数；
根据训练得到的所述当前图像块的CCALF滤波器系数对所述当前图像块进行CCALF；
对所述当前图像块进行ALF，其中，所述当前图像块的CCALF和ALF是并行处理的。
5.一种环路滤波的装置，其特征在于，包括：
存储器，用于存储代码；
处理器，用于执行所述存储器中存储的代码，以执行如下操作：
确定图像的多套滤波器系数；
根据色度原始像素值、经自适应环路滤波ALF前的亮度重建像素值、经ALF后的色度重建像素值和经过跨分量自适应环路滤波CCALF的色度重建像素值分别计算所述多套候选滤波器系数中每套滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
6.根据权利权要5所述的环路滤波的装置，其特征在于，
所述多套候选滤波器系数位于所述图像的自适应参数集Adaptation parameter set中。
7.一种环路滤波的装置，其特征在于，包括：
存储器，用于存储代码；
处理器，用于执行所述存储器中存储的代码，以执行如下操作：
计算图像块级方差covariance；
确定图像的多套CCALF滤波器，以及分别初始化所述多套CCALF滤波器系数；
根据所述图像块级方差分别训练所述多套CCALF滤波器系数；
分别计算所述多套CCALF滤波器系数的失真；
根据所述每套滤波器系数的失真决策当前图像块是否开启CCALF。
8.一种环路滤波的装置，其特征在于，包括：
存储器，用于存储代码；
处理器，用于执行所述存储器中存储的代码，以执行如下操作：
根据当前图像块经ALF前的色度重建像素值训练所述当前图像块的CCALF滤波器系数；
根据训练得到的所述当前图像块的CCALF滤波器系数对所述当前图像块进行CCALF；
对所述当前图像块进行ALF，其中，所述当前图像块的CCALF和ALF是并行处理的。
CN202080004298.7A 2020-04-09 2020-04-09 环路滤波的方法与装置 Pending CN112514401A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/084071 WO2021203394A1 (zh) 2020-04-09 2020-04-09 环路滤波的方法与装置

Publications (1)

Publication Number Publication Date
CN112514401A true CN112514401A (zh) 2021-03-16

Family

ID=74953138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004298.7A Pending CN112514401A (zh) 2020-04-09 2020-04-09 环路滤波的方法与装置

Country Status (2)

Country Link
CN (1) CN112514401A (zh)
WO (1) WO2021203394A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489977A (zh) * 2021-07-02 2021-10-08 浙江大华技术股份有限公司 环路滤波方法、视频/图像编解码方法及相关装置
CN114025160A (zh) * 2021-11-26 2022-02-08 成都爱奇艺智能创新科技有限公司 一种视频滤波方法、装置、电子设备及存储介质
CN114125445A (zh) * 2021-06-30 2022-03-01 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质
CN114640847A (zh) * 2021-06-30 2022-06-17 杭州海康威视数字技术股份有限公司 编解码方法、装置及其设备
CN115348448A (zh) * 2022-10-19 2022-11-15 北京达佳互联信息技术有限公司 滤波器训练方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130113880A1 (en) * 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
CN103141094A (zh) * 2010-10-05 2013-06-05 联发科技股份有限公司 自适应环路滤波方法和装置
US20140092999A1 (en) * 2012-09-28 2014-04-03 Vid Scale, Inc. Cross-plane filtering for chroma signal enhancement in video coding
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
CN104735450A (zh) * 2015-02-26 2015-06-24 北京大学 一种在视频编解码中进行自适应环路滤波的方法及装置
CN105357538A (zh) * 2015-11-26 2016-02-24 广东中星电子有限公司 自适应环路滤波方法和装置
US20170163954A1 (en) * 2014-06-30 2017-06-08 Sony Corporation Image processing device, imaging device, information processing device, image processing method, and program
CN107079166A (zh) * 2014-10-28 2017-08-18 联发科技（新加坡）私人有限公司 用于视频编码的引导交叉分量预测的方法
CN109691102A (zh) * 2016-08-31 2019-04-26 高通股份有限公司 跨分量滤波器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015053001A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 画像処理装置及び画像処理方法
AU2018311926B2 (en) * 2017-08-03 2022-08-18 FG Innovation Company Limited Systems and methods for partitioning video blocks in an inter prediction slice of video data
WO2019089695A1 (en) * 2017-11-01 2019-05-09 Vid Scale, Inc. Methods for simplifying adaptive loop filter in video coding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141094A (zh) * 2010-10-05 2013-06-05 联发科技股份有限公司 自适应环路滤波方法和装置
US20130113880A1 (en) * 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
US20140092999A1 (en) * 2012-09-28 2014-04-03 Vid Scale, Inc. Cross-plane filtering for chroma signal enhancement in video coding
US20170163954A1 (en) * 2014-06-30 2017-06-08 Sony Corporation Image processing device, imaging device, information processing device, image processing method, and program
CN107079166A (zh) * 2014-10-28 2017-08-18 联发科技（新加坡）私人有限公司 用于视频编码的引导交叉分量预测的方法
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
CN104735450A (zh) * 2015-02-26 2015-06-24 北京大学 一种在视频编解码中进行自适应环路滤波的方法及装置
CN105357538A (zh) * 2015-11-26 2016-02-24 广东中星电子有限公司 自适应环路滤波方法和装置
CN109691102A (zh) * 2016-08-31 2019-04-26 高通股份有限公司 跨分量滤波器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125445A (zh) * 2021-06-30 2022-03-01 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质
CN114640847A (zh) * 2021-06-30 2022-06-17 杭州海康威视数字技术股份有限公司 编解码方法、装置及其设备
CN113489977A (zh) * 2021-07-02 2021-10-08 浙江大华技术股份有限公司 环路滤波方法、视频/图像编解码方法及相关装置
CN113489977B (zh) * 2021-07-02 2022-12-06 浙江大华技术股份有限公司 环路滤波方法、视频/图像编解码方法及相关装置
CN114025160A (zh) * 2021-11-26 2022-02-08 成都爱奇艺智能创新科技有限公司 一种视频滤波方法、装置、电子设备及存储介质
CN114025160B (zh) * 2021-11-26 2023-06-02 成都爱奇艺智能创新科技有限公司 一种视频滤波方法、装置、电子设备及存储介质
CN115348448A (zh) * 2022-10-19 2022-11-15 北京达佳互联信息技术有限公司 滤波器训练方法、装置、电子设备及存储介质
CN115348448B (zh) * 2022-10-19 2023-02-17 北京达佳互联信息技术有限公司 滤波器训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021203394A1 (zh) 2021-10-14

Similar Documents

Publication Publication Date Title
CN111149358B (zh) 仿射帧间预测中子块尺寸推导的限制
CN112514401A (zh) 环路滤波的方法与装置
CN112544081B (zh) 环路滤波的方法与装置
CN113228646A (zh) 具有非线性限幅的自适应环路滤波(alf)
US20150016516A1 (en) Method for intra prediction improvements for oblique modes in video coding
TWI737137B (zh) 視訊編碼之非線性適應性迴圈濾波方法和裝置
JP7308983B2 (ja) クロマのためのクロスコンポーネント適応（アダプティブ）ループフィルタ
CN111742552B (zh) 环路滤波的方法与装置
CN116982262A (zh) 视频编码中依赖性量化的状态转换
CN114424544A (zh) 允许基于矩阵的帧内预测块具有多个变换块
CN113196762A (zh) 图像分量预测方法、装置及计算机存储介质
WO2024007116A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2023193253A1 (zh) 解码方法、编码方法、解码器以及编码器
CN114175653B (zh) 用于视频编解码中的无损编解码模式的方法和装置
WO2023193254A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2023197181A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2023197179A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2024012576A1 (en) Adaptive loop filter with virtual boundaries and multiple sample sources
WO2023141970A1 (zh) 解码方法、编码方法、解码器、编码器和编解码系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210316

WD01 Invention patent application deemed withdrawn after publication