CN113785569A - 视频编码的非线性适应性环路滤波方法和装置 - Google Patents

视频编码的非线性适应性环路滤波方法和装置 Download PDF

Info

Publication number
CN113785569A
CN113785569A CN202080010751.5A CN202080010751A CN113785569A CN 113785569 A CN113785569 A CN 113785569A CN 202080010751 A CN202080010751 A CN 202080010751A CN 113785569 A CN113785569 A CN 113785569A
Authority
CN
China
Prior art keywords
adaptive loop
reconstructed
clipping
alf
clipped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080010751.5A
Other languages
English (en)
Other versions
CN113785569B (zh
Inventor
赖贞延
陈庆晔
庄子德
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113785569A publication Critical patent/CN113785569A/zh
Application granted granted Critical
Publication of CN113785569B publication Critical patent/CN113785569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于重建视频的自适应环路滤波(ALF)处理的方法和装置。根据一种方法，根据中心重建像素的比特深度来确定用于ALF处理的限幅值。导出用于当前块的当前ALF输出，其中，当前ALF输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素和中心重建像素之间计算每个原始差，并根据对应的限幅值对每个原始差进行限幅，以形成一个限幅差。在另一种方法中，即使目标限幅值为零，目标限幅值也总是在编码器侧发信或在解码器侧解析。在另一种方法中，使用固定长度代码对限幅值进行编码或解码。

Description

视频编码的非线性适应性环路滤波方法和装置
【相关申请的交叉引用】
本发明要求2019.1.25申请的申请号为62/796,608的美国临时专利申请和2019.4.11申请的申请号为62/832,349的美国临时专利申请的优先权。以上美国临时专利申请的内容通过引用并入本文。
【技术领域】
本发明涉及视频编解码系统中的自适应环路滤波(adaptive loop filter,简写为ALF)处理。特别地，本发明涉及视频编码器或解码器中的非线性ALF处理。
【背景技术】
运动估计是一种有效的帧间编码技术，以利用视频序列中的时间冗余。运动补偿的帧间编解码已在各种国际视频编码标准中广泛使用。各种编解码标准中采用的运动估计通常是基于块的技术，其中为每个宏块或类似块配置确定运动信息，例如编解码模式和运动矢量。另外，还自适应地应用帧内编解码，其中在不参考任何其他图片的情况下处理图片。帧间预测残差或帧内预测残差通常通过变换、量化和熵编解码进一步处理以生成压缩视频比特流。在编解码过程中，特别是在量化过程中，会引入编解码伪像。为了减轻编码伪像，已在重建的视频中应用了附加处理，以提高新型编码系统中的图像质量。通常在环路操作中配置附加处理，以使编码器和解码器可以导出相同的参考图片以实现改进的系统性能。
图1A示出了结合有环路处理的示例性自适应帧间/帧内视频编解码系统。对于帧间预测，运动估计(ME)/运动补偿(MC)112用于基于来自其他图片的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据，并且所选择的预测数据被提供给加法器116以形成预测误差，也称为残差。预测误差随后由变换(T)118以及之后的量化(Q)120处理。然后，经变换和量化的残差由熵编码器122编码，以形成与压缩视频数据相对应的视频比特流。然后，将与变换系数相关联的比特流与诸如运动、模式以及与图像区域相关联的其他信息之类的辅助信息(side information)打包在一起。辅助信息还可以进行熵编解码以减少所需带宽。因此，如图1A所示，与辅助信息相关的数据被提供给熵编码器122。当使用帧间预测模式时，也必须在编码器端重建参考图片。因此，经逆量化(IQ)124和逆变换(IT)126处理经变换和量化的残差以重建残差。然后在重建(REC)128处将残差加回到预测数据136以重建视频数据。重建的视频数据可以存储在参考图片缓冲器134中，并用于其他帧的预测。
如图1A所示，输入视频数据在编解码系统中经历了一系列处理。由于一系列处理，来自REC 128的重建视频数据可能会遭受各种损害。因此，在将重建视频数据存储在参考图片缓冲器134中之前，将各种环路处理应用于重建的视频数据，以提高视频质量。在正在开发的高效视频编解码(HEVC)标准中，已经开发了去块滤波器(DF)130、样本自适应偏移(SAO)131和自适应环路滤波器(ALF)132以增强图像质量。环路滤波器信息可能必须合并到比特流中，以便解码器可以正确恢复所需的信息。因此，来自SAO和ALF的环路滤波器信息被提供给熵编码器122以合并到比特流中。在图1A中，首先将DF 130应用于重建的视频；然后将SAO 131应用于经DF处理的视频；然后将ALF 132应用于经SAO处理的视频。但是，可以重新安排DF、SAO和ALF之间的处理顺序。
图1B中示出了用于图1A的编码器的相应解码器。视频比特流由视频解码器142解码，以恢复经变换和量化的残差、SAO/ALF信息和其他系统信息。在解码器侧，仅执行运动补偿(MC)113，而不执行ME/MC。解码过程类似于编码器端的重建回路。恢复的经过变换和量化的残差、SAO/ALF信息以及其他系统信息用于重建视频数据。DF 130、SAO 131和ALF 132对重建的视频进行进一步处理，以生成最终的增强解码视频。
HEVC中的编解码处理根据最大编解码单元(LCU)来应用。使用四叉树将LCU自适应地划分成编解码单元。在每个叶子CU中，对每个8x8块执行DF，在HEVC测试模型版本4.0(HM-4.0)中，DF适用于8x8块边界。对于每个8x8块，首先应用跨垂直块边界的水平滤波，然后应用跨水平块边界的垂直滤波。在亮度块边界的处理期间，滤波器参数推导涉及每一侧的四个像素，并且在滤波之后每侧最多可以改变三个像素。对于跨垂直块边界的水平滤波，未滤波的重建像素(即，DF前像素(pre-DF pixel))用于滤波参数推导，并且还用作滤波的源像素。对于跨水平块边界的垂直滤波，未滤波的重建像素(即，DF前像素)用于滤波参数推导，而DF中间像素(DF intermediate pixel)(即，水平滤波后的像素)用于滤波。对于色度块边界的DF处理，滤波器参数推导涉及每一侧的两个像素，并且在滤波之后每侧最多改变一个像素。对于跨越垂直块边界的水平滤波，未滤波的重建像素用于滤波参数推导，并用作滤波的源像素。对于跨越水平块边界的垂直滤波，将经DF处理的中间像素(即，水平滤波之后的像素)用于滤波参数推导，并且还用作滤波的源像素。
如图1A所示，在HM-4.0中也采用了样本自适应偏移(SAO)131。SAO可以视为滤波的一种特殊情况，其中处理仅适用于一个像素。在SAO中，首先进行像素分类以将像素分为不同的组(也称为类别或类)。每个像素的像素分类基于3x3窗口。在对图片或区域中的所有像素进行分类后，将为每个像素组导出一个偏移量并进行传输。HEVC(高效视频编解码)未采用ALF。但是，正在考虑将ALF用于新兴的视频编码标准，命名为VVC(通用视频编解码)。通过最小化滤波样本和原始样本之间的失真之和，可以得出ALF的滤波系数。此外，利用开/关控制标志在比特流中发信得出的滤波器系数。可以在一个切片中使用多个滤波器，并且滤波器选择包括基于块的分类的隐式选择和通过发信语法的显式选择。
在HM-4.0中，将DF应用于8x8块边界，以减少在块边界处的伪像的可见性。图2示出了块210中的垂直边界212和块220中的水平边界222，其中部分地示出了8×8块(4×8或8×4)。在一幅图片中，所有垂直边界可以并行地水平滤波，然后所有水平边界可以并行地垂直滤波。在亮度边界的处理过程中，滤波器参数推导涉及到每侧的四个像素(p0-p3,q0-q3)，并且在滤波后每侧最多可以改变三个像素(p0-p2,q0-q2)。对于亮度水平DF，使用DF前像素(即水平DF之前的像素)来导出滤波器参数和滤波。对于亮度垂直DF，DF前像素用于导出滤波器参数，而H-DF像素(即水平DF之后的像素)用于滤波。在色度边界处理过程中，每侧的两个像素(p0-p1,q0-q1)参与滤波器参数推导，并且每侧的最多一个像素(p0,q0)在滤波后发生变化。对于色度水平DF，使用DF前像素来导出滤波器参数和滤波。对于色度垂直DF，H-DF像素用于导出滤波器参数和滤波。
在HM-4.0中，将SAO应用于亮度和色度分量，并且每个亮度分量均被独立处理。SAO可以将一张图片划分为多个LCU对齐区域，并且每个区域可以从两种频带偏移(BandOffset，简写为BO)类型、四种边缘偏移(Edge Offset，简写为EO)类型和无处理(OFF)中选择一种SAO类型。对于每个要处理(也称为要滤波)的像素，BO使用像素强度将像素分类为一个频带。如图3所示，像素强度范围被平均分为32个频带。在像素分类之后，将为每个频带的所有像素得出一个偏移，然后选择中心16个频带或外部16个频带的偏移并进行编解码。至于EO，它使用待处理像素的两个相邻像素将像素分类。四种EO类型分别对应于0°、90°、135°、和45°，如图4所示。与BO相似，除了类别0外，每个类别的所有像素都获得了一个偏移，类别0被强制使用零偏移。表1示出了EO像素分类，其中“C”表示要分类的像素。
表1.
分类 条件
1 C<两个相邻
2 C<一个相邻&&C＝＝一个相邻
3 C>一个相邻&&C＝＝一个相邻
4 C>两个相邻
0 以上均非
在HM-4.0中，ALF具有两个滤波形状选项，分别针对亮度和色度，分别为十字11x5(510)和雪花5x5(520)，如图5所示。在每张图片中，亮度分量可以选择一种形状，并且色度分量可以选择一种形状。每张图像最多可应用16个亮度滤波器和最多1个色度滤波器。为了允许ALF定位，有两种模式用于亮度像素来选择滤波器。一种是基于区域的自适应(region-based adaptation，简写为RA)模式，另一种是基于块的自适应(block-based adaptation，简写为BA)模式。RA模式将一张亮度图像分为16个区域。一旦知道图片大小，就确定并固定了16个区域。区域可以合并，合并后的每个区域都使用一个滤波器。BA模式将边缘活动性和方向用作每个4x4块的属性。如图6所示，计算4×4块(610)的特性需要5×5像素(612)。在计算出4×4块的特性之后，将它们分为15类。类别可以合并，合并后每个类别将使用一个滤波器。至于色度分量，因为它们是相对平坦的，所以不使用局部适应，并且图片的两个分量共享一个滤波器。
在正在开发的新兴VVC(通用视频编解码)标准中，已经公开了更灵活的ALF以改善性能。对于基于块的分类，将一张图片划分为几个4x4亮度块，并为每个4x4亮度块导出一个组索引(group index)。组索引用于从滤波器集中选择亮度滤波器。为了减少滤波器系数所需的数据，可以基于一个4x4块的特征来旋转滤波器系数，从而不需要传输某些系数。在VVC中，一个亮度滤波器组的ALF最多可使用25个组，这与基于梯度大小的5个活动级别和基于梯度方向的5个方向相关。不同的组可以共享一个滤波器，其中多个组可以合并为一个合并的组，而一个合并的组则具有一个滤波器。
当基于LCU的处理用于DF、SAO和ALF时，整个解码过程可以逐LCU在光栅扫描中以LCU流水线方式进行，以并行处理多个LCU。在这种情况下，DF、SAO和ALF需要行缓冲器(linebuffer)，因为处理一个LCU行(row)需要上方LCU行中的像素。如果使用片外行缓冲器(例如DRAM)，则外部存储器带宽和功耗将增加；如果使用了片上行缓冲器(例如SRAM)，则芯片面积将增加。因此，尽管行缓冲器已经比图像缓冲器小得多，但是仍然希望减少行缓冲器。
图7解释了基于LCU解码的DF、SAO和ALF所需的亮度行缓冲器的数量。给定当前的LCU(较低的H.LCU边界710和左侧的V.LCU边界712)，首先通过水平DF，然后通过垂直DF处理行A-J。接下来，建议延迟行K-N的水平DF，直至下层LCU可用，以避免H-DF像素的行缓冲器用于行K-N的垂直DF，此时不能处理行K-N的水平DF，由于下层LCU尚不可用，并且DF在水平边界的每一侧需要四个DF前像素和四个H-DF像素，以分别导出滤波器参数和滤波，如4像素条纹(720)所示。因此，DF必须存储四行(K-N)的DF前像素。接下来，将在DF输出像素上应用SAO。由于行K-N的垂直DF不会改变行K，因此可以将水平DF附加应用在行K上用于SAO以处理行J，如3x3正方形(730)所示。请注意，行K的H-DF像素将不会存储在行缓冲器中，而在下层LCU出现时必须再次生成，这在硬件上不是问题。在SAO处理行A-J之后，可以计算4x4块属性，如4x4正方形(740)所示。指示了5x5支撑区域(supporting area)(742)。此时，ALF可以处理行A-H。此后，在下方LCU(lower LCU)出现之前，无法对当前LCU做进一步的处理。当下方LCU到来时，首先由DF处理行K-P，然后由SAO处理行K-P。当SAO应用于行K时，需要行J。因此，必须为SAO存储DF输出像素的一行(J)。接下来，计算行I-P的4×4块属性。最后，ALP可以滤波行I-P。当行I被ALF滤波时，它需要行G-K，如滤波形状(750)所示，其中指示了滤波中心(752)。但是，计算行I-J的块属性仍需要行F-J。因此，必须为ALF存储五行(F-J)SAO输出像素。总体而言，整个环路滤波需要10个亮度行缓冲器。当考虑整个解码系统时，由于帧内亮度预测已经存储了DF前像素的一行(N)，因此可以共享该亮度行缓冲器。此外，如果滤波器索引行缓冲器可用于存储行G-J的BA模式滤波器选择，则在行I-J的滤波期间不必再次计算块属性。这样，可以为ALF保留一行(F)SAO输出像素。滤波器索引行缓冲器每4x4块仅需要4比特，与像素行缓冲器相比仅约10％。
图8解释了基于LCU解码的DF、SAO和ALF所需的色度行缓冲器的数量。给定当前的LCU(H.LCU边界810和V.LCU边界812)，首先通过水平DF处理行A-M，然后通过垂直DF处理行A-L。接下来，建议延迟行N的水平DF，直到下方LCU出现为止，以便与帧内色度预测共享行N的DF前像素的行缓冲器。至于行M-N的垂直DF，它必须等待下方LCU。请回想一下，色度DF读取两个H-DF像素，并且可能在边界的每一侧写入一个像素，如2像素条纹所示。因此，对于DF，必须存储一行(M)的H-DF像素和一行(N)的DF前像素。接下来，将在DF输出像素上应用SAO。由于行M-N的垂直DF将不会改变行M，因此行M的H-DF像素也是行M的DF输出像素，并且SAO可以处理行L，如3×3正方形(820)所示。在SAO处理行A-L之后，ALF可以处理行A-J。此后，在下一个LCU出现之前，无法对当前LCU做进一步的处理。当下方LCU到来时，首先通过水平DF处理行N-P，然后通过垂直DF和SAO处理行M-P。当SAO处理行M时，需要行L。因此，必须为SAO存储DF输出像素的一行(L)。最后，ALF可以滤波行K-P。当行K被滤波时，它需要行I-M，如由具有滤波器中心(822)的滤波形状(820)所示。因此，必须为ALF存储四行SAO输出像素(I-L)。总体而言，整个环路滤波需要七个色度行缓冲器。
虚拟边界以减少行缓冲器的使用
为了消除SAO和ALF的行缓冲器要求，我们引入了虚拟边界(virtual boundary，简写为VB)的概念。如图9A所示，VB是水平LCU边界向上移动了N个像素。在图9B中，VB是左移N个像素的垂直LCU边界。对于每个LCU，SAO和ALF可以在下层LCU出现之前处理VB之上的像素，但在下层LCU出现之前无法处理VB之下的像素，这是由DF引起的。考虑到HM-4.0中的DF，建议的VB和水平LCU边界之间的间隔设置为亮度为三个像素(即图9A和图9B中的N＝3)和色度为一个像素(即在图9A和图9B中N＝1)。对SAO和ALF进行了修改，以确保VB一侧上的每个要处理的像素都不需要从VB另一侧进行任何数据访问，除非可以在不使用任何其他行缓冲器的情况下及时获取数据。
在第11届JVET会议上，下一代视频编解码标准(通用视频编解码(VVC))的草案中采用了基于4x4块自适应的ALF。对于一个4x4的块，需要一个8x8的窗口来计算块的属性，并且滤波器足迹(filter footprint)是1个7x7菱形滤波器(用于亮度)和一个5x5菱形滤波器(用于色度)。因此，所需的没有虚拟边界的行缓冲器是在4个亮度DF行缓冲器和2个色度DF行缓冲器之上附加的7个亮度行缓冲器和3个色度行缓冲器。虚拟边界的概念仍然可以在VVC中应用，以减少行缓冲器的使用。在以上描述中，最大编解码单元(LCU)在VVC中被重命名为编解码树单元(CTU)。但是，提出了一些修改以适合当前ALF设计的功能。
非线性ALF
在VTM3.0(VVC(通用视频编解码)测试模型3.0版)中，自适应环路滤波器的滤波过程如下执行：
O(x,y)＝∑(i,j)w(i,j).I(x+i,y+j), (1)
在上式中，样本I(x+i,y+j)是输入样本，O(x,y)是滤波后的输出样本(即滤波结果)，而w(i,j)表示滤波系数。由于ALF被应用于重建样本，所以样本I(x+i,y+j)对应于重建样本。在ALF处理的中心位置处的中心重建像素对应于(i，j)＝(0，0)，即I(i，j)。实际上，在VTM3.0中，它是使用整数算法实现的定点精度计算(fixed point precisioncomputation)：
Figure GDA0003334756830000081
在上式中，L表示滤波器长度，其中w(i，j)是定点精度的滤波器系数。
可以如下重新编写公式(1)，而不会影响编解码效率：
O(x,y)＝I(x,y)+∑(i,j)≠(0,0)w(i,j).(I(x+i,y+j)-I(x,y)), (3)
在上式中，w(i,j)是与公式(1)中相同的滤波器系数，除了w(0,0)，它在公式(3)中等于1，而在公示(1)中等于(1-∑(i,j)≠(0,0)w(i,j))。
使用上面的公式(3)的滤波器公式，当相邻样本值(I(x+i,y+j))与正在被滤波的当前样本值(I(x,y))完全不同时，我们可以通过使用简单的限幅函数来减少相邻样本值(I(x+i,y+j))的影响，从而轻松地引入非线性以提高ALF的效率。
在JVET-M0385((J.Taquet等人，“Non-Linear Adaptive Loop Filter”，ITU-TSG16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，第13次会议：马萨诸塞州马拉喀什，2019年1月9日至18日，文档：JVET-M0385)中，公开了一种非线性ALF。它在测试软件VTM3.0中对自适应环路滤波器的输入样本值引入了自适应限幅操作。这种自适应限幅的目的是引入一些非线性，以限制要滤波的输入样本值与该滤波器的其他相邻输入样本值之间的差异。
根据JVET-M0385，对ALF滤波器的操作进行了如下修改：
O′(x,y)＝I(x,y)+∑(i,j)≠(0,0)w(i,j).K(I(x+i,y+j)-I(x,y),k(i,j)), (4)
在上式中，O’(x,y)对应于修改后的ALF滤波器输出，I(x，y)对应于ALF之前的样本，K(d,b)＝min(b,max(-b,d))是限幅函数，而k(i,j)是限幅参数，它取决于(i,j)处的滤波器系数。编码器执行优化以找到最佳的k(i,j)。如等式(4)所示，将限幅函数应用于差异(I(x+i,y+j)-I(x,y))，该差异对应于偏离中心(off-center)重建像素(即，I(x+i,y+j),(i,j)≠(0,0))和ALF的中心重建像素(即，I(x,y),)之间的差异。根据等式(4)，差异(I(x+i,y+j)-I(x,y))由具有k(i,j)限幅参数的限幅函数限幅。在本公开中，项K(I(x+i,y+j)-I(x,y),k(i,j))被称为限幅差(clipped difference)。换句话说，修改后的ALF输出O′(x,y)包括限幅差的加权和(即，∑(i,j)≠(0,0)w(i,j).K(I(x+i,y+j)-I(x,y),k(i,j)))。如等式(4)所示，将非中心滤波位置与中心重建像素之差(I(x+i,y+j)-I(x,y))的加权和修改为一个新项K(I(x+i,y+j)-I(x,y),k(i,j))。项(I(x+i,y+j)-I(x,y))被称为非中心滤波位置与中心重建像素之间的原始差。
在根据JVET-M0385的实施方式中，为每个ALF滤波器指定限幅参数k(i,j)，其中每个滤波器系数发信一个限幅值。这意味着每个亮度滤波器在比特流中发信12个限幅值，而色度滤波器则发信6个限幅值。
为了限制信令成本和编码器复杂性，限幅值被限制为JVET-M0385中的一小部分可能值。此外，仅将4个可能的值用于帧间切片，将3个可能的值用于帧内切片。
由于亮度的局部差异的方差通常比色度的高，因此亮度和色度滤波器使用了两个不同的集合。此外，每个组中都包含最大样本值，因此可以在不需要时禁用限幅。
表2提供了根据JVET-M0385提出的一组限幅值。
表2:允许的限幅值
Figure GDA0003334756830000091
Figure GDA0003334756830000101
使用与集合中的限幅值的索引相对应的Golomb编码在切片标头中对限幅值进行编码。
使用与集合中的限幅值的索引相对应的第k个指数Golomb编码，在切片标头中对限幅值进行编码。
此外，仅当非中心系数为非零时，才发信相应的限幅值。换句话说，在对限幅值进行解码之前，应首先重建滤波器系数。表3中提供了语法表。
表3.用于ALF数据的语法表示例.
Figure GDA0003334756830000102
Figure GDA0003334756830000111
Figure GDA0003334756830000121
使用虚拟边界降低了ALF的缓冲器要求
在JVET-M0301((A.Kotra等人，“Non-CE:Loop filter line buffer reduction”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，第13次会议：马萨诸塞州马拉喀什，2019年1月9日至18日，文档：JVET-M0301)中，公开了一种降低ALF(自适应环路滤波器)的行缓冲器需求的机制。该贡献使用虚拟边界(VB)的概念，虚拟边界是向上移动“N”个样本的水平CTU边界。修改后的ALF块分类和修改后的ALF滤波应用于虚拟边界附近的样本，以减少所需的行缓冲器数量。修改后的ALF块分类仅使用VB之上的样本对给定的4x 4块(VB之上)进行分类。类似地，对于VB以下的4×4块的分类，使用了属于VB以下的线的样本。修改后的ALF滤波使用了原始ALF滤波器的条件禁用(conditionaldisabling)和截断版本的组合。
在虚拟边界处截断的ALF滤波
滤波器的截断版本用于对属于接近虚拟边界的行的亮度样本进行滤波。滤波器的这些截断版本可用于N＝4和N＝6的情况。同样，滤波器的截短版本也用于色度ALF滤波。
除了ALF滤波的截断版本以外，还考虑了有条件地禁用ALF滤波。
如果填充系数的绝对和大于阈值(T)乘以非填充系数的绝对和，则对于那些相应的行禁用滤波器。图10示出了在虚拟边界处的修改的亮度ALF滤波器处理的示例。图10A示出了用于行M滤波的修改后的ALF；图10B示出了用于行H滤波的修改后的ALF；图10C示出了用于行L滤波的修改后的ALF；图10D示出了用于行I滤波的修改后的ALF；图10E示出了用于行J滤波的修改后的ALF；图10F示出了用于行K滤波的修改后的ALF。
例如，对于行M和H，如果(2*abs(c0)>(T*(2*(abs(c1)+abs(c2)+abs(c3)+abs(c4)+abs(c5)+abs(c6)+abs(c7)+abs(c8)+abs(c9)+abs(c10)+abs(c11))+abs(c12))),则对于行M和H，禁用ALF滤波。
类似地，对于行L和I，如果(2*(abs(c0)+abs(c1)+abs(c2)+abs(c3))>(T*(2*(abs(c4)+abs(c5)+abs(c6)+abs(c7)+abs(c8)+abs(c9)+abs(c10)+abs(c11))+abs(c12))),则对于行L和I，禁用ALF滤波。
类似地，对于行J和K，如果(2*(abs(c0)+abs(c1)+abs(c2)+abs(c3)+abs(c4)+abs(c5)+abs(c6)+abs(c7)+abs(c8))>(T*(2*(sbs(c9)+abs(c10)+abs(c11))+abs(c12))),则对于行J和K，禁用ALF滤波。
在上文中，T通常是阈值，其可以采用介于0和1之间的分数值。例如，T值可以是0.5、0.6或0.7
图11示出了在虚拟边界处的修改的色度ALF滤波器处理的示例。图11A示出了用于行N滤波的修改的ALF；图11B示出了用于行K滤波的修改后的ALF；图11C示出了用于行M滤波的修改后的ALF；图11D示出了用于行L滤波的修改后的ALF。
对于行N和K,如果(2*abs(c0)>(T*(2*(abs(c1)+abs(c2)+abs(c3)+abs(c4)+abs(c5))+abs(c6)))),则对于行N和K禁用ALF滤波。
对于行M和L,如果((2*(abs(c0)+abs(c1)+abs(c2)+abs(c3))>(T*(2*(abs(c4)+abs(c5))+abs(c6)))),则对于行M和L禁用ALF滤波,其中函数abs(x)定义如下:
Figure GDA0003334756830000141
【发明内容】
公开了一种用于重建视频的自适应环路滤波(ALF)处理的方法和装置。根据该方法，接收重建像素，其中重建像素包括当前块。根据ALF处理的中心位置处的中心重建像素的比特深度来确定用于ALF处理的一个或多个限幅值。导出当前块的当前ALF输出，其中当前ALF输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素和中心重建像素之间计算每个原始差，并根据对应的限幅值对每个原始差进行限幅，以形成一个限幅差。提供滤波后重建的像素，其中滤波后重建的像素包括当前的ALF输出。
在一个实施例中，针对不同的比特深度使用不同的限幅值集合。在另一个实施例中，不同的限幅值集合被用于帧内和帧间编码模式。在又一个实施例中，将不同的限幅值集用于重建的亮度像素和重建的色度像素。在一实施例中，重建的像素对应于亮度像素。在另一个实施例中，重建的像素对应于色度像素。限幅值可以在切片、图块或图块组中发信。
在一个实施例中，通过与将第一限幅值左移或右移N比特相对应的至少一个操作，从针对第二比特深度的第二限幅值中获得针对第一比特深度的第一限幅值，并且N为一个正整数。
在一个实施例中，将ALF处理应用于编码器侧的重建像素。在另一实施例中，将ALF处理应用于解码器侧的重建像素。
公开了用于重建视频的自适应环路滤波(ALF)处理的另一种方法和装置。根据该方法，为ALF处理确定一个或多个限幅值，其中即使目标限幅值为零，也总是在编码器侧发信目标限幅值或在解码器侧解析目标限幅值。
公开了用于重建视频的自适应环路滤波(ALF)处理的另一种方法和装置。根据该方法，确定一个或多个限幅值用于ALF处理，其中所述一个或多个限幅值在编码器侧被编码或在解码器侧使用固定长度代码被解码。在一个实施例中，固定长度代码对应于两比特代码。在另一个实施例中，固定长度代码对应于截断的一元代码。
【附图说明】
图1A示出了结合了DF、SAO和ALF环路处理的示例性自适应帧间/帧内视频编解码系统。
图1B示出了结合了DF、SAO和ALF环路处理的示例性自适应帧间/帧内视频解码系统。
图2示出了应用于8x8块边界以减小在块边界处的伪像的可见性的去块滤波处理的示例，其中示出了垂直边界和水平边界。
图3示出了频带偏移(BO)的示例，其中像素强度范围被均分为32个频带，并且为每个频带确定偏移值。
图4示出了对应于HEVC(高效视频编解码)标准中用于确定当前像素的类别以应用SAO(样本自适应偏移)的0、90、135及45的边缘偏移窗口。
图5示出了自适应环路滤波器(ALF)的示例，其中ALF具有两个滤波器形状选项，分别对应于亮度和色度的十字11x5和雪花5x5。
图6示出了在用于自适应环路滤波器(ALF)的块自适应(BA)模式下4x4块的边缘属性计算的示例。
图7示出了利用基于LCU的解码进行DF、SAO和ALF所需的亮度行缓冲器数量的示例。
图8示出了利用基于LCU的解码进行DF、SAO和ALF所需的色度行缓冲器数量的示例。
图9A示出了通过将水平LCU边界向上移动N个像素而得到的VB的示例。
图9B示出了通过将垂直LCU边界左移N个像素而得到的VB的示例。
图10A-10F示出了在虚拟边界处的修改后的亮度ALF滤波器处理的示例，其中图10A示出了用于行M滤波的修改后的ALF；图10B示出了用于行H滤波的修改后的ALF；图10C示出了用于行L滤波的修改后的ALF；图10D示出了用于行I滤波的修改后的ALF；图10E示出了用于行J滤波的修改后的ALF；图10F示出了用于行K滤波的修改后的ALF。
图11A-11D示出了在虚拟边界处的修改的色度ALF滤波器处理的示例。其中图11A示出了用于行N滤波的修改后的ALF；图11B示出了用于行K滤波的修改后的ALF；图11C示出了用于行M滤波的修改后的ALF；图11D示出了用于行L滤波的修改后的ALF。
图12示出了对于亮度分量的7x7滤波器和色度分量的5x5滤波器，具有相同颜色的样本使用相同的限幅值的示例。
图13示出了根据本发明的实施例的示例性的重建视频的ALF处理的流程图，其中用于ALF处理的限幅值取决于被滤波的中心重建像素的比特深度。
图14示出了根据本发明实施例的重建视频的示例性ALF处理的流程图，其中即使在目标限幅值为零的情况下，也总是在编码器侧发信或在解码器侧解析目标限幅值。
图15示出了根据本发明实施例的重建视频的示例性ALF处理的流程图，其中限幅值在编码器侧被编码或在解码器侧使用固定长度代码被解码。
【具体实施方式】
以下描述是实施本发明的最佳构想模式。进行该描述是为了说明本发明的一般原理，而不应被认为是限制性的。本发明的范围最好通过参考所附的权利要求来确定。
方法1
在JVET-M0385中，提出了一种非线性ALF。它介绍了VTM3.0中自适应环路滤波器的滤波过程的自适应限幅操作。提出了四组/集合(set)不同的限幅值，并且使用集合中限幅值的索引在片段头中对限幅值进行了编码。四组的所有裁切值都是预定义的，并且裁切值集的选择基于当前的编解码模式(即帧内或帧间)和当前的编解码颜色分量(即亮度或色度)。根据该方法，基于当前样本值的比特深度，提出了一组自适应限幅值，其中，这些当前样本值对应于ALF处理的中心位置处的中心重建像素。例如，存在四个不同的限幅值集合，并且每个集合的选择可以基于当前编解码模式和当前编解码分量。例如，当当前样本的比特深度等于10比特时，将四个剪切集值(clipping set value)设置为{10，102，1024}，{6，32，181，1024}，{4，24，1024}，和{4，25，161，1024}。当当前样本的比特深度等于8比特时，所有剪切集值将右移2，即{10>>2，102>>2，1024>>2}，{6>>2，32>>2、181>>2、1024>>2}，{4>>2、24>>2、1024>>2}和{4>>2、25>>2、161>>2，1024>>2}。当当前样本的比特深度等于12比特时，所有剪切设置值将左移2，即{10<<2，102<<2，1024<<2}，{6<<2，32<<2、181<<2、1024<<2}，{4<<2、24<<2、1024<<2}和{4<<2、25<<2、161<<2，1024<<2}。
在另一个实施例中，限幅值的可用数量可以基于当前样本的比特深度而不同。例如，如果当前样本的比特深度等于10比特，则将四组限幅值设计为{10，102，1024}，{6，32，181，1024}，{4，24，1024}和{4，25，161，1024}。但是，如果当前样本的比特深度等于12比特，则只能使用大于100的限幅值。如果当前样本的比特深度等于8比特，则只能使用小于100的限幅值。可以通过ALF滤波器系数在切片标头、图块组标头或自适应参数集处发信索引选择。
方法2
在JVET-M0385中，为了发信限幅值，在切片、图块或图块组中，对于亮度分量附加12个参数，对于色度分量附加6个参数，因为亮度分量的滤波器足迹是对称的7x7菱形滤波器，色度分量的滤波器足迹是对称的5x5菱形滤波器。
根据该方法，减少发信的限幅值的数量。在一个实施例中，为了进一步减少发信的限幅值的数量，距中心位置相同距离的ALF滤波器中的样本可以共享相同的限幅值。以此方式，仅需要发信用于亮度分量的三个附加参数和用于色度分量的两个附加参数。例如，如图12所示，对于亮度分量的7×7滤波器1210和色度分量的5×5滤波器1220，具有相同颜色的样本使用相同的限幅值。在另一实施例中，仅需要发信一个限幅值，并且可以通过添加偏移量或乘以比率来导出具有不同距离的其他限幅值，其中，通过比较不同距离处的限幅值与发信的限幅值来决定偏移量或比率。偏移量或比率可以是预定义的非零值，并且该值取决于QP、图片分辨率、样本比特深度，或者可以在切片、图块、图块组或自适应参数集中发信偏移或比率。
以上方法也可以用于导出色度ALF滤波器限幅值。在另一个实施例中，对于色度分量，可以基于亮度分量的限幅值来得出限幅值集合。色度限幅集合可以直接重用亮度分量的限幅集合，也可以在重用后进行一些修改。例如，可以使用预定义的非零偏移或比率来微调用于色度的限幅值集合。色度限幅值可以取决于QP、图片分辨率或样本比特深度来确定偏移或比率。此外，可以在切片、图块、图块组或自适应参数集中直接发信偏移或比率。
在另一个实施例中，限幅技术也可以用于ALF滤波和当前样本的输出。ALF滤波器修改如下：
Figure GDA0003334756830000181
在上式中，M(d,b)＝min(b,max(-b,d))是限幅函数，m(i,j)是限幅参数，其取决于(i,j)滤波器系数。编码器执行优化以找到最佳的m(i,j)。
限幅参数m(i,j)可以如上文所述的k(i,j)一样，应用限幅值的所有修改。
在另一个实施例中，限幅技术只能用于ALF滤波和当前样本的输出。ALF滤波器修改如下：
Figure GDA0003334756830000191
限幅参数m(i,j)可以如上文所述的k(i,j)一样，应用限幅值的所有修改。
方法3
在JVET-M0385中，仅当非中心系数不为零时，才会发信相应的限幅值。换句话说，在对限幅值进行解码之前，应首先重建滤波器系数。但是，这将引入一些延迟或解析吞吐量问题。为了解决该问题，提出了以下方法。在一个实施例中，即使非中心系数为零，也总是发信相应的限幅值。在另一个实施例中，当如表4的示例性语法表中所示使用由alf_luma_coeff_delta_prediction_flag表示的滤波器系数预测时，总是发信相应的限幅值(即，alf_luma_clip_idx[][])。但是，如果未启用滤波器系数预测，则将有条件地发信相应的限幅值。如表4所示，仅当filterCoefficients[sigFiltIdx][j]或alf_luma_coeff_delta_prediction_flag不为零时，才发信alf_luma_clip_idx[sigFiltIdx][j]。
表4.ALF数据语法表示例.
Figure GDA0003334756830000192
Figure GDA0003334756830000201
当允许固定的滤波器集合时，在固定的滤波器中定义的滤波器系数也可以用于预测滤波器系数。因此，发信限幅值的标准也应考虑这一因素。在表5中示出了包含实施例的示例性语法表。因此，当启用滤波器系数预测时(即，预测子是由(alf_luma_use_fixed_filter_flag&&alf_luma_fixed_filter_usage[filtidx]))指示的一个固定滤波器或由alf_luma_coeff_delta_prediction_flag指示的先前发信的滤波器)，则总是发信限幅值。如果禁用了滤波器系数预测，则当滤波器系数不为零时发信限幅值。
表5.ALF数据语法表示例.
Figure GDA0003334756830000211
在另一个实施例中，发信限幅值的语法被简化。使用表6中的u(2)，用一个固定长度代码(fixed-length code)替代第k阶指数Golomb代码，例如如表6和表7中的示例语法表所示的两比特(即，使用表6中的u(2)的alf_luma_clip_idx[][]和alf_chroma_clip_idx[]，其中u(u)表示使用2比特的无正负号整数(unsigned integer))或截断的一元代码(即，使用表7中的tu(v)的alf_luma_clip_idx[][]和alf_chroma_clip_idx[]，其中tu(v)表示截断的一元代码，其最多使用maxVal比特，其中语法元素的语义中定义了maxVal)，其中灰色区域中的文本对应于已删除的文本。
表6.ALF数据语法表示例.
Figure GDA0003334756830000212
Figure GDA0003334756830000221
表7.ALF数据语法表示例.
Figure GDA0003334756830000231
Figure GDA0003334756830000241
可以在编码器和/或解码器中实现任何上述提议的方法。例如，可以在编码器和/或解码器的环路滤波模块中实现任何所提出的方法。可替代地，任何提出的方法可以被实现为耦合到编码器和/或解码器的环路滤波模块的电路。
图13示出了根据本发明的实施例的示例性的重建视频的ALF处理的流程图，其中用于ALF处理的限幅值取决于被滤波的中心重建像素的比特深度。流程图中示出的步骤可以被实现为在编码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中所示的步骤也可以基于硬件来实现，例如被布置为执行流程图中的步骤的一个或多个电子设备或处理器。根据该方法，在步骤1310中接收重建像素，其中，重建像素包括当前块。在步骤1320中，根据ALF处理的中心位置处的中心重建像素的比特深度，确定一个或多个限幅值用于ALF处理。在步骤1330中，为当前块导出当前ALF输出，其中当前ALF输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅每个原始差，以形成一个限幅差(clipped difference)。在步骤1340中提供滤波后的重建像素，其中滤波后的重建像素包括当前的ALF输出。
图14示出了根据本发明实施例的重建视频的示例性ALF处理的流程图，其中即使在目标限幅值为零的情况下，也总是在编码器侧发信目标限幅值或在解码器侧解析目标限幅值。根据该方法，在步骤1410中接收重建像素，其中，重建像素包括当前块。在步骤1420中，为ALF处理确定一个或多个限幅值，其中即使目标限幅值为零，也总是在编码器侧发信目标限幅值或在解码器侧解析目标限幅值。在步骤1430中，为当前块导出当前ALF输出，其中，当前ALF输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅每个原始差，以形成一个限幅差。在步骤1440中提供滤波后的重建像素，其中滤波后的重建像素包括当前的ALF输出。
图15示出了根据本发明实施例的重建视频的示例性ALF处理的流程图，其中使用固定长度代码在编码器侧编码限幅值或在解码器侧解码限幅值。根据该方法，在步骤1510中接收重建像素，其中，重建像素包括当前块。在步骤1520中为ALF处理确定一个或多个限幅值，其中使用固定长度码在编码器侧编码所述一个或多个限幅值或在解码器侧解码所述一个或多个限幅值。在步骤1530中，为当前块导出当前ALF输出，其中，当前ALF输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅每个原始差，以形成一个限幅差。在步骤1540中提供滤波后的重建像素，其中滤波后的重建像素包括当前的ALF输出。
所示的流程图旨在说明根据本发明的视频编解码的示例。本领域技术人员可以在不脱离本发明的精神的情况下修改每个步骤、重新布置步骤、拆分步骤或组合步骤以实施本发明。在本公开中，已经使用特定的语法和语义来说明用于实现本发明的实施例的示例。本领域技术人员可以通过用等效的语法和语义替换语法和语义来实践本发明，而不脱离本发明的精神。
呈现以上描述是为了使本领域技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员将是显而易见的，并且本文中定义的一般原理可以应用于其他实施例。因此，本发明并不旨在限于所示出和描述的特定实施例，而是与和本文所公开的原理和新颖特征相一致的最广范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解可以实施本发明。
如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中以执行本文描述的处理的程序代码。本发明的实施例还可以是要在数字信号处理器(DSP)上执行以执行本文描述的处理的程序代码。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的许多功能。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。可以以不同的编程语言和不同的格式或样式来开发软件代码或固件代码。也可以为不同的目标平台编译软件代码。然而，不同的代码格式、软件代码的样式和语言以及配置代码以执行根据本发明的任务的其他手段将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式来体现。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落入权利要求等同含义和范围内的所有改变均应包含在其范围之内。

Claims (19)

1.一种用于重建视频的自适应环路滤波处理的方法，该方法包括：
接收多个重建像素，其中，该多个重建像素包括当前块；
根据在该自适应环路滤波处理的中心位置处的中心重建像素的比特深度来确定用于该自适应环路滤波处理的一个或多个限幅值；
导出当前自适应环路滤波输出用于该当前块，其中该当前自适应环路滤波输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅该每个原始差，以形成一个限幅差；以及
提供滤波后的重建像素，其中该滤波后的重建像素包括该当前自适应环路滤波输出。
2.根据权利要求1所述的方法，其特征在于，不同的限幅值集合被用于不同的比特深度。
3.根据权利要求1所述的方法，其特征在于，不同的限幅值集合用于帧内和帧间编解码模式。
4.根据权利要求1所述的方法，其特征在于，不同的限幅值集合用于重建的亮度像素和重建的色度像素。
5.根据权利要求1所述的方法，其特征在于，通过与将第一限幅值左移或右移N比特相对应的至少一个操作，从针对第二比特深度的第二限幅值中获得针对第一比特深度的该第一限幅值，其中N为正整数。
6.根据权利要求1所述的方法，其特征在于，该重建像素对应于亮度像素。
7.根据权利要求1所述的方法，其特征在于，该重建像素对应于色度像素。
8.根据权利要求1所述的方法，其特征在于，该自适应环路滤波处理在编码器侧被应用于该重建像素。
9.根据权利要求1所述的方法，其特征在于，该自适应环路滤波处理在解码器侧被应用于该重建像素。
10.根据权利要求1所述的方法，其特征在于，该一个或多个限幅值在切片、图块或图块组中发信。
11.一种用于重建视频的自适应环路滤波处理的装置，该装置包括一个或多个电子电路或处理器，其被布置为：
接收多个重建像素，其中，该多个重建像素包括当前块；
根据在该自适应环路滤波处理的中心位置处的中心重建像素的比特深度来确定用于该自适应环路滤波处理的一个或多个限幅值；
导出当前自适应环路滤波输出用于该当前块，其中该当前自适应环路滤波输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅该每个原始差，以形成一个限幅差；以及
提供滤波后的重建像素，其中该滤波后的重建像素包括该当前自适应环路滤波输出。
12.一种用于重建视频的自适应环路滤波处理的方法，该方法包括：
接收多个重建像素，其中，该多个重建像素包括当前块；
为该自适应环路滤波处理确定一个或多个限幅值，其中即使目标限幅值为零，也总是在编码器侧发信该目标限幅值或在解码器侧解析该目标限幅值；
为该当前块导出当前自适应环路滤波输出，其中该当前自适应环路滤波输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅该每个原始差，以形成一个限幅差；以及
提供滤波后的重建像素，其中该滤波后的重建像素包括该当前自适应环路滤波输出。
13.根据权利要求12所述的装置，其特征在于，该一个或多个限幅值在切片、图块或图块组中发信。
14.一种用于重建视频的自适应环路滤波处理的装置，该装置包括一个或多个电子电路或处理器，用于：
接收多个重建像素，其中，该多个重建像素包括当前块；
为该自适应环路滤波处理确定一个或多个限幅值，其中即使目标限幅值为零，也总是在编码器侧发信该目标限幅值或在解码器侧解析该目标限幅值；
为该当前块导出当前自适应环路滤波输出，其中该当前自适应环路滤波输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅该每个原始差，以形成一个限幅差；以及
提供滤波后的重建像素，其中该滤波后的重建像素包括该当前自适应环路滤波输出。
15.一种用于重建视频的自适应环路滤波处理的方法，该方法包括：
接收多个重建像素，其中，该多个重建像素包括当前块；
为该自适应环路滤波处理确定一个或多个限幅值，使用固定长度代码在编码器侧发信该一个或多个限幅值或在解码器侧解析该一个或多个限幅值；
为该当前块导出当前自适应环路滤波输出，其中该当前自适应环路滤波输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅该每个原始差，以形成一个限幅差；以及
提供滤波后的重建像素，其中该滤波后的重建像素包括该当前自适应环路滤波输出。
16.根据权利要求15所述的方法，其特征在于，该固定长度代码对应于两比特代码。
17.根据权利要求15所述的方法，其特征在于，该固定长度代码对应于截断的一元代码。
18.根据权利要求15所述的方法，其特征在于，该一个或多个限幅值在切片、图块或图块组中发信。
19.一种用于重建视频的自适应环路滤波处理的装置，所述装置包括一个或多个电子电路或处理器，其被布置为：
接收多个重建像素，其中，该多个重建像素包括当前块；
为该自适应环路滤波处理确定一个或多个限幅值，使用固定长度代码在编码器侧发信该一个或多个限幅值或在解码器侧解析该一个或多个限幅值；
为该当前块导出当前自适应环路滤波输出，其中该当前自适应环路滤波输出包括原始差的限幅差的加权和，并且在非中心滤波位置处的第一重建像素与中心重建像素之间计算每个原始差，并且其中，根据相应的限幅值限幅该每个原始差，以形成一个限幅差；以及
提供滤波后的重建像素，其中该滤波后的重建像素包括该当前自适应环路滤波输出。
CN202080010751.5A 2019-01-25 2020-01-21 视频编码的非线性适应性环路滤波方法和装置 Active CN113785569B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962796608P 2019-01-25 2019-01-25
US62/796,608 2019-01-25
US201962832349P 2019-04-11 2019-04-11
US62/832,349 2019-04-11
PCT/CN2020/073567 WO2020151714A1 (en) 2019-01-25 2020-01-21 Method and apparatus for non-linear adaptive loop filtering in video coding

Publications (2)

Publication Number Publication Date
CN113785569A true CN113785569A (zh) 2021-12-10
CN113785569B CN113785569B (zh) 2023-09-08

Family

ID=71735436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080010751.5A Active CN113785569B (zh) 2019-01-25 2020-01-21 视频编码的非线性适应性环路滤波方法和装置

Country Status (6)

Country Link
US (2) US11477448B2 (zh)
EP (1) EP3915253A4 (zh)
KR (1) KR20210117327A (zh)
CN (1) CN113785569B (zh)
TW (1) TWI737137B (zh)
WO (1) WO2020151714A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017200A1 (en) * 2022-07-18 2024-01-25 Mediatek Inc. Method and apparatus for adaptive loop filter with tap constraints for video coding

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021022051A2 (pt) * 2019-05-04 2021-12-28 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes usando um filtro loop adaptativo
US11418779B2 (en) 2019-06-11 2022-08-16 Qualcomm Incorporated Clipping indices coding for adaptive loop filter in video coding
CN113766248B (zh) * 2019-06-25 2022-10-18 北京大学 环路滤波的方法与装置
CN115643402B (zh) * 2019-12-28 2023-09-19 北京达佳互联信息技术有限公司 用于对视频数据进行编码的方法、设备和介质
US20220103825A1 (en) * 2020-09-30 2022-03-31 Qualcomm Incorporated Constraining operational bit depth of adaptive loop filtering for coding of video data at different bit depth
US11750846B2 (en) * 2021-03-22 2023-09-05 Tencent America LLC Method and apparatus for video filtering
WO2024016983A1 (en) * 2022-07-20 2024-01-25 Mediatek Inc. Method and apparatus for adaptive loop filter with geometric transform for video coding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274158A1 (en) * 2010-05-10 2011-11-10 Mediatek Inc. Method and Apparatus of Adaptive Loop Filtering
CN103051890A (zh) * 2011-09-27 2013-04-17 美国博通公司 根据视频编码进行自适应环路滤波
US20130156097A1 (en) * 2011-12-20 2013-06-20 Texas Instruments Incorporated Adaptive Loop Filtering (ALF) for Video Coding
EP3297282A1 (en) * 2016-09-15 2018-03-21 Thomson Licensing Method and apparatus for video coding with adaptive clipping
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
CN107925762A (zh) * 2015-09-03 2018-04-17 联发科技股份有限公司 基于神经网络的视频编解码处理方法和装置
CN108605143A (zh) * 2016-02-04 2018-09-28 联发科技股份有限公司 视频编码中的非局部自适应环内滤波器的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094750A1 (en) 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using multiple filter shapes
US9807395B2 (en) * 2011-01-18 2017-10-31 Dolby International Ab Video decoder with reduced dynamic range transform with inverse transform shifting memory
US9277228B2 (en) 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
RU2718230C2 (ru) 2011-11-08 2020-03-31 Кт Корпорейшен Способ декодирования видеосигнала
US9596463B2 (en) 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
BR112014029917A2 (pt) 2013-04-05 2017-07-25 Sony Corp aparelho e método de processamento de imagem.
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10469876B2 (en) * 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
US10419758B2 (en) * 2017-03-16 2019-09-17 Mediatek Inc. Non-local adaptive loop filter processing
WO2018174593A1 (ko) 2017-03-22 2018-09-27 김기백 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
EP3632110A1 (en) * 2017-07-05 2020-04-08 ARRIS Enterprises LLC Post-filtering for weighted angular prediction
WO2019135655A1 (ko) * 2018-01-08 2019-07-11 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274158A1 (en) * 2010-05-10 2011-11-10 Mediatek Inc. Method and Apparatus of Adaptive Loop Filtering
CN103051890A (zh) * 2011-09-27 2013-04-17 美国博通公司 根据视频编码进行自适应环路滤波
US20130156097A1 (en) * 2011-12-20 2013-06-20 Texas Instruments Incorporated Adaptive Loop Filtering (ALF) for Video Coding
CN107925762A (zh) * 2015-09-03 2018-04-17 联发科技股份有限公司 基于神经网络的视频编解码处理方法和装置
CN108605143A (zh) * 2016-02-04 2018-09-28 联发科技股份有限公司 视频编码中的非局部自适应环内滤波器的方法和装置
EP3297282A1 (en) * 2016-09-15 2018-03-21 Thomson Licensing Method and apparatus for video coding with adaptive clipping
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JONATHON TAQUET, CHRISTOPHE GISQUET, GUILLAUME LAROCHE, PATRICE ONNO: "Non-Linear Adaptive Loop Filter", pages 1 - 2 *
YONGSEOK CHOI; JAEHWAN JOO: "Exploration of Practical HEVC/H.265 Sample Adaptive Offset Encoding Policies", 《IEEE SIGNAL PROCESSING LETTERS》 *
谢丽丽: "高效视频编码环路滤波技术优化", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
赵娜娜: "视频图像预处理关键技术研究", 《硕士论文》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017200A1 (en) * 2022-07-18 2024-01-25 Mediatek Inc. Method and apparatus for adaptive loop filter with tap constraints for video coding

Also Published As

Publication number Publication date
US11477448B2 (en) 2022-10-18
US20220394246A1 (en) 2022-12-08
TW202034701A (zh) 2020-09-16
TWI737137B (zh) 2021-08-21
KR20210117327A (ko) 2021-09-28
CN113785569B (zh) 2023-09-08
EP3915253A1 (en) 2021-12-01
WO2020151714A1 (en) 2020-07-30
US11909965B2 (en) 2024-02-20
EP3915253A4 (en) 2022-11-09
US20220094919A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
CN113785569B (zh) 视频编码的非线性适应性环路滤波方法和装置
CN113287316B (zh) 减少环路滤波缓冲器的方法及装置
US10419763B2 (en) Method and apparatus of context modelling for syntax elements in image and video coding
CN113994670B (zh) 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
CN114430903B (zh) 视频编解码的方法和装置
IL225591A (en) A method and device for adaptive loop filtering
EP2708027A1 (en) Method and apparatus for reduction of in-loop filter buffer
EP4022914A1 (en) Method and apparatus for adaptive loop filtering at picture and sub-picture boundary in video coding
KR102598576B1 (ko) 비디오 코딩에서의 필터링을 위한 장치 및 방법
KR20220100991A (ko) 비디오 필터링 방법 및 장치
US20240089439A1 (en) Image decoding device, method, and non-transitory computer-readable storage medium
RU2783342C1 (ru) Способ и устройство для нелинейной адаптивной контурной фильтрации при кодировании видео

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220425

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant