CN113287316B - 减少环路滤波缓冲器的方法及装置 - Google Patents

减少环路滤波缓冲器的方法及装置 Download PDF

Info

Publication number
CN113287316B
CN113287316B CN201980068336.2A CN201980068336A CN113287316B CN 113287316 B CN113287316 B CN 113287316B CN 201980068336 A CN201980068336 A CN 201980068336A CN 113287316 B CN113287316 B CN 113287316B
Authority
CN
China
Prior art keywords
block
pixels
target
line
virtual boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980068336.2A
Other languages
English (en)
Other versions
CN113287316A (zh
Inventor
陈庆晔
庄子德
苏郁琪
徐志玮
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113287316A publication Critical patent/CN113287316A/zh
Application granted granted Critical
Publication of CN113287316B publication Critical patent/CN113287316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于环路处理重建视频的方法和装置。根据一种方法，确定当前图片中待处理像素的虚拟边界，其中虚拟边界与块边界对齐，并且虚拟边界第一侧上的至少一个待处理像素需要虚拟边界的第二侧上的一个或多个第二像素。根据该方法，如果目标待处理像素需要来自虚拟边界的第二侧的至少一个第二像素，则修改环路处理，并且修改后的环路处理消除了对虚拟边界的第二侧的任何第二像素的需要。根据另一种方法，当用于分类的一个10×10窗口中的所需像素的一部分在虚拟边界的另一侧时，改变块分类的操作。

Description

减少环路滤波缓冲器的方法及装置
【相关申请的交叉引用】
本发明要求以下申请的优先权：在2018年10月23日提出的申请号为62/749,145的美国临时专利申请、在2018年10月23日提出的申请号为62/750,282的美国临时专利申请、在2018年11月16日提出的申请号为62/768,200的美国临时专利申请。上述美国临时专利申请整体以引用方式并入本文中。
【技术领域】
本发明涉及视频编码系统中的滤波处理。特别地，本发明涉及与视频编码器或解码器中的图块(tile)或切片边界上的环路滤波器处理有关的方法和装置。
【背景技术】
运动估计是一种有效的帧间编解码技术，以利用视频序列中的时间冗余。运动补偿的帧间编解码已在各种国际视频编解码标准中广泛使用。各种编解码标准中采用的运动估计通常是基于块的技术，其中，针对每个宏块或类似块配置确定运动信息，例如编解码模式和运动矢量。另外，还自适应地应用帧内编解码，其中在不参考任何其他图片的情况下处理图片。帧间预测残差或帧内预测残差通常通过变换、量化和熵编解码进一步处理以生成压缩视频比特流。在编码过程中，特别是在量化过程中，会引入编解码伪像。为了减轻编解码伪像，在较新的编解码系统中已将附加处理应用于重建的视频，以提高图片质量。通常以环路操作来配置附加处理，以便编码器和解码器可以导出相同的参考图片以实现改进的系统性能。
图1A示出了结合有环路处理的示例性自适应帧间/帧内视频编解码系统。对于帧间预测，运动估计(ME)/运动补偿(MC)112用于基于来自其他图片的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据，并且所选择的预测数据被提供给加法器116以形成预测误差，也称为残差。预测误差随后由变换(T)118，然后由量化(Q)120处理。然后，经变换和量化的残差由熵编码器122编解码，以形成与压缩视频数据相对应的视频比特流。然后，将与变换系数相关联的比特流与诸如运动、模式之类的辅助信息(sideinformation)以及与图片区域相关联的其他信息打包在一起。辅助信息也可以经过熵编解码以减少所需的带宽。因此，如图1A所示，与辅助信息相关的数据被提供给熵编码器122。当使用帧间预测模式时，也必须在编码器端重建参考图片。因此，通过逆量化(IQ)124和逆变换(IT)126处理经变换和量化的残差以恢复残差。然后在重建(REC)128处将残差加回到预测数据136以重建视频数据。重建的视频数据可以存储在参考图片缓冲器134中，并用于其他帧的预测。
如图1A所示，输入视频数据在编码系统中经历了一系列处理。由于一系列处理，来自REC 128的重建视频数据可能遭受各种损害。因此，在将重建视频数据存储在参考图片缓冲器134中之前，对重建视频数据进行各种环路处理，以提高视频质量。在正在开发的高效视频编解码(HEVC)标准中，已经开发了去块滤波器(DF)130、样本自适应偏移(SAO)131和自适应环路滤波器(ALF)132以增强图片质量。环路滤波器信息可能必须合并到比特流中，以便解码器可以正确恢复所需的信息。因此，来自SAO和ALF的环路滤波器信息被提供给熵编解码器122以合并到比特流中。在图1A中，首先将DF 130应用于重建的视频；然后将SAO 131应用于DF处理的视频；ALF 132应用于SAO处理的视频。但是，可以重新安排DF、SAO和ALF之间的处理顺序。
在图1B中示出了用于图1A的编码器的相应解码器。视频比特流由视频解码器142解码以恢复经变换和量化的残差、SAO/ALF信息和其他系统信息。在解码器侧，仅执行运动补偿(MC)113，而不执行ME/MC。解码过程类似于编码器端的重建循环。被恢复的经变换和量化的残差、SAO/ALF信息以及其他系统信息用于重建视频数据。DF 130、SAO 131和ALF 132对重建的视频进行进一步处理，以生成最终的增强解码视频。
HEVC中的编解码过程是根据最大编解码单元(LCU)来应用的。使用四叉树将LCU自适应地划分为编解码单元。在每个叶子CU中，对每个8x8块执行DF，在HEVC测试模型版本4.0(HM-4.0)中，DF适用于8x8块边界。对于每个8x8块，首先应用跨垂直块边界的水平滤波，然后应用跨水平块边界的垂直滤波。在亮度块边界的处理期间，滤波器参数推导涉及每一侧的四个像素，并且在滤波之后每侧最多可以改变三个像素。对于跨越垂直块边界的水平滤波，未滤波的重建像素(即，预DF像素(pre-DF pixel))用于滤波参数推导，并且还用作滤波的源像素。对于跨水平块边界的垂直滤波，未滤波的重建像素(即，预DF像素)用于滤波参数推导，而DF中间像素(DF intermediate pixel)(即，水平滤波后的像素)用于滤波。对于色度块边界的DF处理，滤波器参数推导涉及每一侧的两个像素，并且在滤波之后每侧最多改变一个像素。对于跨越垂直块边界的水平滤波，未滤波的重建像素用于滤波参数推导，并用作滤波的源像素。对于跨越水平块边界的垂直滤波，将经DF处理的中间像素(即，水平滤波之后的像素)用于滤波参数推导，并且还用作滤波的源像素。
在HM-4.0中也采用了样本自适应偏移(SAO)131，如图1A所示。SAO可以视为滤波的一种特殊情况，其中该处理仅适用于一个像素。在SAO中，首先要进行像素分类，以将像素分为不同的组(也称为类别或类)。每个像素的像素分类基于3x3窗口。在对图片或区域中的所有像素进行分类后，将为每个像素组导出一个偏移量并进行传输。HEVC(高效视频编解码)未采用ALF。但是，正在考虑将ALF用于新兴的视频编解码标准，命名为VVC(通用视频编解码)。通过最小化滤波样本和原始样本之间的失真之和，可以得出ALF的滤波系数。此外，使用开/关控制标志在比特流中发信得出的滤波器系数。可以在一个切片中使用多个滤波器，并且滤波器选择包括基于块的分类的隐式选择和发信的语法的显式选择。
在HM-4.0中，将DF应用于8x8块边界，以减少在块边界处的伪影的可见性。图2示出了块210中的垂直边界212和块220中的水平边界222，其中部分地示出了8×8块(4×8或8×4)。在一幅图片中，所有垂直边界都可以并行地水平滤波，然后所有水平边界都可以并行地垂直滤波。在亮度边界的处理过程中，滤波器参数推导涉及到每侧的四个像素(p0-p3，q0-q3)，并且在滤波后每侧最多可以改变三个像素(p0-p2，q0-q2)。对于亮度水平DF，使用DF之前的像素(即水平DF之前的像素)来导出滤波器参数和滤波。对于亮度垂直DF，预DF像素用于导出滤波器参数，而H-DF像素(即水平DF之后的像素)用于滤波。在色度边界的处理期间，滤波器参数推导涉及每侧的两个像素(p0-p1，q0-q1)，并且在滤波后每侧的最多一个像素(p0，q0)发生变化。对于色度水平DF，预DF像素用于导出滤波器参数和滤波。对于色度垂直DF，H-DF像素用于导出滤波器参数和滤波。
在HM-4.0中，SAO被应用于亮度和色度分量，并且每个亮度分量被独立地处理。SAO可以将一张图片划分为多个LCU对齐区域，并且每个区域可以从两种频带偏移(BandOffset，简写为BO)类型，四种边缘偏移(Edge Offset，简写为EO)类型和无处理(OFF)中选择一种SAO类型。对于每个要处理(也称为要滤波)的像素，BO使用像素强度将像素分类为一个带。如图3所示，将像素强度范围平均分为32个频带。在像素分类之后，为每个频带的所有像素得出一个偏移量，然后选择中心16个频带或外部16个频带的偏移量并进行编解码。至于EO，它使用待处理像素的两个相邻(neighbor)像素将像素分类。四种EO类型分别对应于0°、90°、135°和45°，如图4所示。类似于BO，对于类别0以外的每个类别的所有像素推导出一个偏移量，其中类别0被强制为使用零偏移。表1示出了EO像素分类，其中“C”表示要分类的像素。
表1.
分类 条件
1 C<两个相邻
2 C<一个相邻&&C＝＝一个相
3 C>一个相邻&&C＝＝一个相邻
4 C>两个相邻
0 以上都不是
在HM-4.0中，ALF具有两个滤波形状选项，用于亮度和色度的cross11x5(510)和nowflake5x5(520)，如图5所示。在每张图片中，亮度分量可以选择一种形状，而色度分量可以选择一种形状。每张图片最多可应用16个亮度滤波器和最多1个色度滤波器。为了允许ALF局部化(localization)，亮度像素有两种模式可以选择滤波器。一种是基于区域的自适应(region-based adaptation，简写为RA)模式，另一种是基于块的自适应(block-basedadaptation，简写为BA)模式。RA模式将一张亮度图片分为16个区域。一旦知道图片大小，就确定并固定了16个区域。区域可以合并，合并后的每个区域都使用一个滤波器。BA模式将边缘活动和方向用作每个4x4块的属性。如图6A所示，计算4×4块(610)的属性需要5×5像素(612)。计算完4x4块的属性后，将它们分为15类。类别可以合并，合并后每个类别将使用一个滤波器。至于色度分量，因为它们是相对平坦的，所以不使用局部适应(localadaptation)，并且图片的两个分量共享一个滤波器。
在正在开发的新兴VVC(通用视频编解码)标准中，已经公开了更灵活的ALF以改善性能。对于基于块的分类，将一张图片划分为几个4x4亮度块，并为每个4x4亮度块导出一组索引。该组索引用于从滤波器集合中选择亮度滤波器。为了减少滤波器系数所需的数据，可以基于一个4x4块的特征来旋转滤波器系数，以便不需要传输某些系数。在VVC中，一个亮度滤波器集合的ALF最多可使用25个组，这与基于梯度大小的5个活动级别和基于梯度方向的5个方向相关。不同的组可以共享一个滤波器，其中多个组可以合并为一个合并的组，而一个合并的组则具有一个滤波器。
为了确定组索引，计算每个4x4块的梯度(gradient)。梯度包括对应于GradH：水平梯度，GradV：垂直梯度，Grad45：Diagonal45梯度和Grad135：Diagonal135梯度的四种类型。水平、垂直、对角线45°和对角线135°的梯度在相应方向上使用三个连续的像素，其中心权重等于-2，两个侧权重等于1。在评估块620的选定位置评估块分类，如图6B中所示，其中以灰色显示的目标4x4块622位于评估块的中心。8x8评估块由在4x4块的每个方向上扩展的2个像素组成。使用32个位置(即所选位置)上的梯度来计算一个4x4块的梯度总和，其中所选位置由带有梯度位置(例如Di，j)的小方框表示。每种类型总共累积了32个梯度，由于计算每个梯度在每个方向上需要一个额外的像素，因此需要访问10×10个样本才能得出梯度。如图6B所示，所选位置对应于2：1水平子采样位置，偶数行和奇数行之间有一个像素的偏移。
为了确定组指数，进一步计算以下两个比率：
RatioHV＝max(GradH,GradV)/min(GradH,GradV),
RatioDia＝max(Grad135,Grad45)/min(Grad135,Grad45)
方向指数(Direction)如下确定：
if(RatioHV<2&&RatioDia<2) Direction＝0
else if(RatioHV>RatioDia) Direction＝(RatioHV>4.5)？2:1
else Direction＝(RatioDia>4.5)？4:3
通过将(GradH+GradV)的总和量化为5个级别(活动(Activity))来确定5个活动级别。组索引是根据(5 x Direction+Activity)计算得出的。
图6C中示出了用于亮度的7x7菱形滤波器和用于色度分量的5x5菱形滤波器的示例，其中，系数是沿对角线630的半对称。在图6B中，系数0-6用于5x5菱形滤波器，系数0-12用于7x7菱形滤波器。系数以8比特表示，其中1比特为正负号(sign)，而7比特为小数部分。如果需要，非中心系数(Non-center coefficient)被发信，并且在[-128，127]范围内具有一个限幅阈值(clipping threshold)。中心系数设置为等于1。
VTM 4.0中ALF的线缓冲器(line buffer)要求如图6D所示。滤波器占用面积(footprint)是用于亮度的7x7菱形滤波器和用于色度的5x5菱形滤波器。亮度滤波过程总共需要6条线。色度滤波器处理总共需要4条线。
在图6E中示出了VTM 4.0中ALF的基于线缓冲器需求4x4块的分类。对4x4块执行分类。一个4x4块需要一个10×10的窗口，该窗口包含在7x7菱形滤波器中。如果ALF的不可用区域与4x4网格对齐，则仅需要7条线。
为了减少线缓冲器的使用，在HEVC标准开发期间提出了虚拟边界。这个概念是当ALF应用于虚拟边界一侧的像素时，则不能使用另一侧的像素，如图6F所示。
当基于LCU的处理用于DF、SAO和ALF时，整个解码过程可以以LCU流水线方式并行处理多个LCU，在光栅扫描中逐LCU完成。在这种情况下，DF、SAO和ALF需要线缓冲器，因为处理一个LCU行需要来自上述LCU行(row)的像素。如果使用片外线缓冲器(例如DRAM)，则外部记忆体带宽和功耗将增加；如果使用了片上线缓冲器(例如SRAM)，则将增加芯片面积。因此，尽管线缓冲器已经比图片缓冲器小得多，但是仍然希望减少线缓冲器。
图7解释了基于LCU解码的DF、SAO和ALF所需的亮度线缓冲器的数量。给定当前的LCU(下方的H.LCU边界710和左侧的V.LCU边界712)，首先通过水平DF，然后通过垂直DF处理线A-J。接下来，建议将线K-N的水平DF延迟到下方(lower)LCU可用，以避免线K-N的垂直DF的H-DF像素的线缓冲器，由于下方LCU尚不可用，因此目前无法处理，并且DF在水平边界的每一侧需要四个pre-DF像素和四个H-DF像素，以分别导出滤波器参数和滤波，如4像素条纹(720)所示。因此，DF必须存储四行(K-N)的pre-DF像素。接下来，将在DF输出像素上应用SAO。由于线K-N的垂直DF不会改变线K，因此可以在线K上将水平DF附加用于SAO以处理线J，如3x3正方形(730)所示。请注意，线K的H-DF像素将不会存储在线缓冲器中，而在下方LCU出现时必须再次生成，这在硬件上不是问题。在SAO处理线A-J之后，可以计算4x4块属性，如4x4正方形(740)所示。指示了5x5支撑区域(742)。此时，ALF可以处理线A-H。此后，在下方LCU出现之前，无法对当前LCU进行进一步的处理。当下方LCU到来时，首先由DF处理线K-P，然后由SAO处理线K-P。当SAO应用于线K时，需要线J。因此，必须为SAO存储DF输出像素的一行(J)。接下来，计算线I-P的4×4块属性。最后，ALF可以滤波线I-P。当滤波线I时，它需要线G-K，如滤波器形状(750)所示，并指示滤波器中心(752)。但是，计算线I-J的块属性仍需要线F-J。因此，必须为ALF存储五行(F-J)SAO输出像素。总体而言，整个环路滤波需要10个亮度线缓冲器。当考虑整个解码系统时，由于帧内亮度预测已经存储了预DF像素的一行(N)，因此可以共享该亮度线缓冲器。此外，如果可以使用滤波器索引线缓冲器来存储针对线G-J的BA模式滤波器选择，则在对线I-J进行滤波期间不必再次计算块属性。这样，可以为ALF保存一行(F)SAO输出像素。滤波器索引线缓冲器每4x4块仅需要4比特，与像素线缓冲器相比仅约10％。
图8解释了基于LCU解码的DF、SAO和ALF所需的色度线缓冲器的数量。给定当前的LCU(H.LCU边界810和V.LCU边界812)，首先通过水平DF处理线A-M，然后通过垂直DF处理线A-L。接下来，建议延迟线N的水平DF，直到下方LCU出现为止，以便与帧内色度预测共享线N的预DF像素的线缓冲器。至于线M-N的垂直DF，它必须等待下方LCU。请回想一下，色度DF读取两个H-DF像素，并可能在边界的每一侧写入一个像素，如2像素条纹(2-pixel stripe)所示。因此，对于DF，必须存储一行(M)的H-DF像素和一行(N)的预DF像素。接下来，将在DF输出像素上应用SAO。由于用于线M-N的垂直DF将不会改变线M，所以线M的H-DF像素也是线M的DF输出像素，并且SAO可以处理线L，如3×3正方形所示(830)。SAO处理线A-L之后，ALF可以处理线A-J。此后，在下方LCU出现之前，无法对当前LCU进行进一步的处理。当下方LCU到来时，首先通过水平DF处理线N-P，然后通过垂直DF和SAO处理线M-P。当SAO处理线M时，需要线L。因此，必须为SAO存储DF输出像素的一行(L)。最后，线K-P可以通过ALF进行滤波。当线K被滤波时，它需要线I-M，如由具有滤波器中心(822)的滤波器形状(820)所示。因此，必须为ALF存储四行(I-L)SAO输出像素。总的来说，整个环路滤波需要七个色度线缓冲器。
虚拟边界以减少线缓冲器的使用
为了消除SAO和ALF的线缓冲器要求，我们引入了虚拟边界(VB)的概念。如图9A所示，VB在水平LCU边界上向上移动了N个像素。在图9B中，VB在垂直LCU边界上左移了N个像素。对于每个LCU，SAO和ALF可以在下方LCU出现之前处理VB上方的像素，但是直到下方LCU出现之前，才可以处理VB下方的像素，这是由DF引起的。考虑到HM-4.0中的DF，建议的VB和水平LCU边界之间的间隔设置为亮度的三个像素(即图9A和图9B中的N＝3)和色度的一个像素(即在图9A和图9B中N＝1)。对SAO和ALF进行了修改，以确保VB一侧上的每个要处理的像素都不需要从VB另一侧进行任何数据访问，除非可以在不使用任何其他线缓冲器的情况下及时获得该数据。
【发明内容】
公开了一种用于重建视频的环路处理的方法和装置。根据该方法，接收与当前图片相关联的重建像素，其中，将当前图片划分为多个块，以对重建像素进行环路处理。确定当前图片中待处理像素的虚拟边界，其中虚拟边界与块边界对齐，并且虚拟边界第一侧的至少一个待处理像素需要在虚拟边界第二侧的一个或多个第二像素。根据该方法，如果目标待处理像素需要来自虚拟边界的第二侧的至少一个第二像素，则修改环路处理，并且修改后的环路处理消除了对虚拟边界第二侧的任何第二像素的需要。
在一个实施例中，多个块对应于4x4块。在一实施例中，多个块对应于最小单位，其中所有样本共享相同的环路处理。在一个实施例中，环路处理对应于SAO(样本自适应偏移)处理或ALF(自适应环路滤波器)处理。在一实施例中，重建的像素对应于亮度像素。对于当前图片的色度重建像素，允许色度虚拟边界穿过色度块。
在一个实施例中，如果要处理的目标像素需要来自虚拟边界的第二侧的任何第二像素，则使用填充产生来自虚拟边界的第二侧的上述第二像素。在另一个实施例中，如果要处理的目标像素需要来自虚拟边界的第二侧的任何第二像素，则使用对称填充来填充来自虚拟边界的第二侧的该第二像素。
根据另一实施例，修改的环路处理使用具有减小的占用面积的修改的滤波器来消除对虚拟边界的第二侧上的任何第二像素的需要。
修改的环路处理可以在编码器侧以及解码器侧应用于重建的像素。
根据另一种方法，为属于待处理像素的目标块确定覆盖目标块的扩展块。基于扩展块为目标块导出块分类，其中如果导出块分类所需的扩展块的任何目标像素在虚拟边界的第二侧，则修改与块分类相关联的至少一个操作。然后，如果所述导出块分类所需的扩展块的任何目标像素在虚拟边界的第二侧，则使用块分类将自适应环路滤波器处理应用于目标块，其中与块分类相关联的至少一个操作被修改。
在一个实施例中，为目标块确定评估块，其中目标块位于评估块的中心，并且将周围像素添加到评估块以形成扩展块。例如，目标块对应于4x4块，评估块对应于8x8块，扩展块对应于10×10块。在另一实施例中，目标块对应于最小单位，其中所有采样共享相同的自适应环路滤波器处理。
在一个实施例中，基于评估块的所选位置处的梯度来导出块分类。在一个实施例中，如果用于评估块的目标所选位置的目标梯度要求虚拟边界第二侧上扩展块的任何目标像素，则将目标梯度从用于块分类的梯度总和中排除或设置为零。在这种情况下，梯度的总和通过评估块所选位置处可用梯度的总数进行归一化。替代地，根据在评估块的所选位置处的可用梯度的总数对梯度的总和加权。
在一个实施例中，如果用于评估块的目标所选位置的目标梯度要求在虚拟边界的第二侧上扩展块的任何目标像素，则用于评估块的目标所选位置的目标梯度被修改为排除虚拟边界的第二侧上的扩展块的所述任何目标像素。
在一个实施例中，评估块的所选位置对应于在偶数线和奇数线之间具有一个像素偏移的2：1水平子采样位置。
【附图说明】
图1A示出了结合了DF、SAO和ALF环路处理的示例性自适应帧间/帧内视频编码系统。
图1B示出了结合了DF、SAO和ALF环路处理的示例性自适应帧间/帧内视频解码系统。
图2示出了应用于8x8块边界以减小在块边界处的伪影的可见性的解块滤波处理的示例，其中示出了垂直边界和水平边界。
图3示出了频带偏移(BO)的示例，其中像素强度范围被平均分为32个频带，并且为每个频带确定偏移值。
图4示出了对应于HEVC(高效视频编解码)标准中用于确定当前像素的类别以应用SAO(样本自适应偏移)的0°、90°、135°和45°的边缘偏移(EO)窗口。
图5示出了自适应环路滤波器(ALF)的示例，其中ALF具有两个滤波器形状选项，分别对应于亮度和色度的cross11x5和snowflake5x5。
图6A示出了用于自适应环路滤波器(ALF)的块自适应(BA)的示例，其中BA模式使用边缘活动性和方向作为每个4x4块的属性。
图6B示出了通过评估评估块的选定位置处的梯度来对目标块进行块分类的示例，其中以灰色显示的目标4x4块位于评估块的中心。
图6C示出了用于亮度分量的7x7菱形滤波器和用于色度分量的5x5菱形滤波器的示例，其中系数在对角线上为半对称。
图6D示出了VTM 4.0中ALF的线缓冲器要求的示例，其中滤波器占用面积是用于亮度的7x7菱形滤波器和用于色度的5x5菱形滤波器。
图6E图示了VTM 4.0中用于ALF的基于线缓冲器要求4x4块的分类的示例，其中对4x4块执行了分类。
图6F图示了这样的概念的示例：当将ALF应用于虚拟边界一侧的像素时，则另一侧的像素将无法使用。
图7示出了利用基于LCU的解码进行DF、SAO和ALF所需的亮度线缓冲器数量的示例。
图8示出了利用基于LCU的解码进行DF、SAO和ALF所需的色度线缓冲器数量的示例。
图9A示出了通过将水平LCU边界向上移动N个像素而得到的VB的示例。
图9B示出了通过将垂直LCU边界左移N个像素而得到的VB的示例。
图10示出了针对VB上方的像素的示例VB处理，其中当前LCU的所有像素均已通过REC处理，并且四行(p0-p3)预DF像素存储在DF线缓冲器中。
图11示出了针对VB上方的像素的示例VB处理，其中VB上方的像素由水平DF处理。
图12示出了针对VB上方的像素的示例VB处理，其中VB上方的像素由垂直DF处理。
图13示出了针对VB上方的像素的示例VB处理，其中VB上方的像素将由SAO处理。
图14示出了针对VB上方的像素的示例VB处理，其中VB上方的所有像素均已通过SAO处理。
图15示出了针对VB上方的像素的示例VB处理，其中由于线p0-p2的SAO输出像素尚不可用，因此直接将线p4-p7的块属性重新用于线p3。
图16示出了针对VB上方的像素的示例VB处理，其中snowflake5x5被选择用于ALF，snowflake5x5的最后一行(线p2)的SAO输出像素(用于滤波线p4)和snowflake5x5的最后两行(线p1-p2)的SAO输出像素(用于滤波线p3)尚不可用，并被预DF像素替换。
图17示出了针对VB上方的像素的示例VB处理，其中为ALF选择了cross9x9，cross9x9的最后一行(线p2)的SAO输出像素(用于滤波线p6)和cross9x9的最后两行(线p1-p2)的SAO输出像素(用于滤波线p5)尚不可用，并被预DF像素替换。
图18示出了针对VB上方的像素的示例VB处理，其中也为ALF选择了cross9x9，cross9x9的最后三行(线p0-p2)的SAO输出像素(用于滤波线p4)尚不可用，并被预DF像素替换。
图19示出了针对VB上方的像素的示例VB处理，其中VB上方的所有像素均已通过ALF处理。此时，可以在下方LCU出现之前将VB上方的像素写入已解码的图片缓冲器。
第20-29图示出了针对VB下方的像素的提议的亮度VB处理。
图20示出了针对VB下方的像素的示例VB处理，其中可以从DF线缓冲器读取四行(即p0-p3)预DF像素。
图21示出了针对VB下方的像素的示例VB处理，其中线p3的像素和VB下方的像素由水平DF处理。
图22示出了针对VB下方的像素的示例VB处理，其中VB下方的像素由垂直DF处理。
图23示出了针对VB下方的像素的示例VB处理，其中VB下方的像素将由SAO处理。
图24示出了针对VB下方的像素的示例VB处理，其中VB下方(以及下一个VB上方)的所有像素均已由SAO处理。
图25示出了针对VB下方的像素的示例VB处理，其中，将线p3的SAO输出像素替换为可用DF输出像素。
图26示出了针对VB下方的像素的示例VB处理，其中，为了滤波线p2，将snowflake5x5的第二行(即线p3)的SAO输出像素替换为DF输出像素；snowflake5x5的第一行(即，线p4)的SAO输出像素被线p3的最近的DF输出像素代替。
图27示出了针对低于VB的像素的示例VB处理，其中为ALF选择了cross9x9；对于滤波线p2，通过将六个丢弃系数(discarded coefficient)加到中心像素，将滤波器形状减小为cross9x3；将cross9x3的第一行(即，线p3)的SAO输出像素替换为DF输出像素。
图28示出了针对VB下方的像素的示例VB处理，其中也为ALF选择了cross9x9；对于滤波线p0，通过将两个舍弃系数加到中心像素，将滤波器形状减小为cross9x7；将cross9x7的第一行(即，线p3)的SAO输出像素替换为DF输出像素。
图29示出了针对VB下方的像素的示例VB处理，其中VB下方(以及下一个VB上方)的所有像素均已由ALF处理。
图30-38示出了对于VB上方的像素的色度VB处理。
图39-47示出了对于VB下方的像素的色度VB处理。
图48示出了根据本发明的实施例的示例性的重建视频的环路处理的流程图。
图49示出了根据本发明的实施例的对重建视频的示例性自适应环路滤波器处理的流程图。
【具体实施方式】
以下描述是实施本发明的最佳构想模式。进行该描述是为了说明本发明的一般原理，而不应被认为是限制性的。本发明的范围最好通过参考所附的权利要求书来确定。
亮度VB处理可以分为两部分。第一部分处理VB上方的像素，而第二部分处理VB下方的像素。图10-19示出了针对VB上方的像素的各种提议的亮度VB处理。在图10中，当前LCU的所有像素已经由REC处理，并且四行(p0-p3)预DF像素被存储在DF线缓冲器中。在图11中，通过水平DF处理VB上方的像素。请回想一下，亮度DF在8x8块边界的每一侧读取四个像素并最多写入三个像素。在图12中，通过垂直DF处理VB上方的像素。在图13中，VB上方的像素将由SAO处理。最初，线p3的SAO处理可能需要线p2的DF输出像素。由于线p2的DF输出像素尚不可用，因此将它们替换为线p2的预DF像素，以进行线p3的SAO处理。在图14中，已经通过SAO处理了VB上方的所有像素。在图15-18中，ALF将处理VB上方的像素。最初，计算线p3的ALF块属性需要线p0-p4的SAO输出像素。由于线p0-p2的SAO输出像素尚不可用，因此将线p4-p7的块属性直接用于线p3，如图15所示。在滤波期间，最初也可能需要VB下方的SAO输出像素。在这些情况下，SAO输出像素将替换为预DF像素。在图16中，为ALF选择了snowflake5x5时，snowflake5x5的最后一行(即线p2)的SAO输出像素(用于滤波线p4)，snowflake5x5的最后两行(即线p1-p2)的SAO输出像素(用于滤波线p3)尚不可用，并被预DF像素取代。在图17中，在为ALF选择cross9x9的情况下，cross9x9的最后一行(即线p2)的SAO输出像素(用于滤波线p6)，snowflake5x5的最后两行(即线p1-p2)的SAO输出像素(用于滤波线p5)尚不可用，并被预DF像素取代。在图18中，其中也为ALF选择了cross9x9，cross9x9的最后三行(线p0-p2)的SAO输出像素(用于滤波线p4)尚不可用，并被预DF像素替换。至于滤波线p3，它最初需要线q0，其属于下方LCU。在这种情况下，将滤波器形状减小为cross9x7，并将原始cross9x9的两个垂直端的系数添加到中心像素。以此方式，不需要改变ALF语法，并且可以避免系数的乘法和除法归一化。类似地，用于滤波线p3的cross9x7的最后三行(即，线p0-p2)的SAO输出像素尚不可用，并被预DF像素代替。在图19中，ALF已经处理了VB上方的所有像素。此时，可以在下方LCU出现之前将VB上方的像素写入已解码的图片缓冲器。
图20-29示出了针对VB下方的像素的提议亮度VB处理。在图20中，可以从DF线缓冲器中读取四行(即，p0-p3)预DF像素。在图21中，线p3的像素和VB以下的像素由水平DF处理。请注意，计算线p0-p3的水平DF决策需要线p0-p7的预DF像素。为了节省线p4-p7的线缓冲器，在图11中的线p3-p7的水平DF期间，计算这些水平DF决策并将其存储在决策线缓冲器中。决策缓冲器每8x8块仅需要一比特，并且可以简单地实现为片上寄存器或SRAM。在图22中，通过垂直DF处理VB下方的像素。请记住，垂直DF决策使用预DF像素，因此在图21中完成水平DF之前，必须先计算水平LCU边界处的垂直DF决策。在图23中，VB下方的像素将是由SAO处理。最初，线p2的SAO处理可能需要线p3的DF输出像素。由于线p3的DF输出像素已经可用，因此SAO输入像素不会更改。在图24中，SAO已经处理了VB下方(下一个VB上方)的所有像素。在图25-28中，ALF将处理VB下方的像素。最初，计算线p0-p3的ALF块属性需要线p0-p4的SAO输出像素。但是，线p3-p4的SAO输出像素不再可用。因此，如图25所示，将线p3的SAO输出像素替换为可用的DF输出像素。此外，沿垂直方向重复填充以从线p3的DF输出像素生成线p4的像素。在滤波期间，最初也可能需要VB上方的SAO输出像素。在这些情况下，将SAO输出像素替换为线p3的DF输出像素，并可以填充或减小滤波器形状。在图26中，对于ALF选择了snowflake5x5，为了滤波线p2，将snowflake5x5的第二行(即线p3)的SAO输出像素替换为DF输出像素；snowflake5x5的第一行(即，线p4)的SAO输出像素被线p3的最近的DF输出像素代替。此外，将线p2的滤波输出像素与线p2的SAO输出像素进一步平均，以生成线p2的最终ALF输出像素。为了滤波线p1，将snowflake5x5的第一行(即线p3)的SAO输出像素替换为DF输出像素。在图27中，为ALF选择cross9x9时，对于滤波线p2，通过将六个舍弃系数与中央像素相加，将滤波器形状减小为cross9x3，cross9x3的第一行(即，线p3)的SAO输出像素替换为DF输出像素。对于滤波线p1，通过将四个舍弃系数添加到中心像素，将滤波器形状减小为cross9x5，并且将cross9x5的第一行(即，线p3)的SAO输出像素替换为DF输出像素。在图28中，对于ALF也选择了cross9×9，对于滤波线p0，通过将两个舍弃系数加到中心像素，将滤波器形状减小为cross9×7；将cross9x7的第一行(即，线p3)的SAO输出像素替换为DF输出像素。对于滤波线q0，滤波器形状不变，并且用DF输出像素代替cross9x9的第一行(即，线p3)的SAO输出像素。以此方式，不需要改变ALF语法，并且可以避免系数的乘法和除法归一化。在图29中，ALF已经处理了VB以下(和下一个VB以上)的所有像素。此时，可以将VB下方(和下一个VB上方)的像素写入解码后的图片缓冲器。
表2总结了亮度VB处理的设计原理。在图11和图21中，可以看到水平DF对线p3进行了两次处理。这仅在基于LCU的处理中发生，而不在像HM这样的基于图片的处理中发生。冗余计算对硬件的影响很小，因为已经分配了DF硬件，并且DF并不是系统的吞吐量瓶颈。可以通过增加一个线缓冲器来存储线p3的H-DF像素来避免冗余计算。但是，这绝对不是在硬件上的良好折衷。
表2.亮度VB处理建议摘要
所提出的色度VB处理具有与所提出的亮度VB处理相同的概念和相似的原理，并在表3中进行了总结。图30-38示出了对于VB上方的像素的色度VB处理，并且图39-47示出了对于VB下方的像素的色度VB处理。请注意，由于色度垂直DF不使用任何预DF像素，并且线p1的H-DF像素已经存储在线缓冲器中，因此对于线p1没有色度水平DF的冗余计算。
表3.建议的色度VB处理摘要
虚拟边界的概念仍然可以在VVC中应用，以减少线缓冲器的使用。在以上描述中，最大编解码单元(LCU)被重命名为VVC中的编解码树单元(CTU)。但是，提出了一些修改以适合当前ALF设计的功能。
方法1
虚拟边界的位置应与最小单位(例如4x4块)的边界对齐。由于一个4×4亮度块中的所有像素共享相同的滤波器系数(即，共享相同的ALF处理)，所以当虚拟边界与4×4亮度块的边界对齐时，具有虚拟边界的ALF的处理变得简单。换句话说，一个4x4亮度块中的所有像素应位于虚拟边界的同一侧。虚拟边界不能将任何4x4亮度块分成两个区域。由于没有色度分量的分类，因此不需要与色度分量的虚拟边界的位置相关的约束。在一个实施例中，所提议的虚拟边界和水平CTU边界之间的空间对于亮度设置为四个像素(即，图9A和图9B中的N＝4)，对于色度设置为一个像素(即，图9A和图9B中的N＝1)。
方法2
由于使用基于块的分类来实现ALF的高编解码增益，因此与其他4x4块相比，虚拟边界以上或虚拟边界以下的4x4块可被视为不同的组。如图7所示，将虚拟边界设置为线J和线K之间的边界。线G-J和线K-N中的4×4块被视为与其他线(诸如线C-F)中的4×4块不同的组。我们可以对线G-J和线K-N中的4x4块应用不同的分类规则。换句话说，用于将4x4块分组为不同类别的分类规则包括4x4块的位置或虚拟边界。在一实施例中，对于普通的4×4块，存在原始的25个类别；与那些在虚拟边界上方的4x4块情况相对应的一个附加(即第26个)类别，以及与那些在虚拟边界以下的4x4块情况相对应的另一个(第27个)类别。在另一个实施例中，对于普通的4x4块有原始的25个类别；虚拟边界上方或下方的那些4x4块被分类为另外的第26类。在另一个实施例中，对于普通的4x4块有原始的25个类别；通过使用相同的分类规则，在虚拟边界上方或下方的那些4x4块又被分为另外25个类别。在一实施例中，ALF不应用于虚拟边界上方或下方的这些4×4块。在另一个实施例中，针对虚拟边界上方或下方的这些4×4块禁用ALF的决定以序列级别、图片级别、图块级别或切片级别来发信。
对于一个4x4块，需要一个10×10窗口来计算块属性。在一个实施例中，虚拟边界另一侧的所需像素在块属性计算过程中不使用。在另一实施例中，当所需像素位于虚拟边界的另一侧时，使用填充技术来生成所需数据，包括活动性、梯度、梯度方向等。
方法3
虚拟边界的位置是一个4x4亮度块在垂直方向上的中间位置。在一个实施例中，提议的虚拟边界和水平CTU边界之间的间隔被设置为对于亮度为六个像素(即，图9A和图9B中的N＝6)和对于色度为一个像素(即，图9A和图9B中N＝1)。那些跨越虚拟边界的4×4亮度块(例如，图7中的线G-J中的4×4块)未被ALF滤波。
方法4
虚拟边界的概念进一步扩展为一个保护带(guard band)。对于保护带中的那些像素，将禁用ALF。对于保护带上方的待滤波像素或待滤波4x4块，不能使用保护带下方的像素，但可以参考保护带中的像素。对于保护带下方的待滤波像素或待滤波4x4块，不能使用保护带上方的像素，但可以参考保护带中的像素。在一个实施例中，保护带被设置为用于亮度的四个像素(即，图9A和图9B中的N＝4)，并且高度是4个像素。即，保护带被定义为图7中的线G-J的区域。对于那些在保护带上方的要被滤波的像素或要被滤波的4x4块(即，图7中的线A-F)仅可以使用线J以上(包括线J)的像素。对于保护带下方(即，图7中的线K-P)的那些要被滤波的像素或要被滤波的4×4块，只能使用G行以下(包括G行)的像素。在另一个实施例中，对于在保护带以下的那些要被滤波的像素或要被滤波的4x4块(即，图7中的线K-P)，仅可以使用预定行以下(包括预定行)的像素，并且如果所需像素在预定行上方，则可以使用填充技术生成所需像素。例如，预定行可以是线I或线J。
方法5
当虚拟边界或保护带的概念被应用并且填充技术被用于生成所需像素而不是访问真实像素时，ALF的输出值可以是滤波结果和未滤波像素的加权和。当在滤波过程中使用较少的实际像素时(即，在滤波过程中使用较多的填充像素)，则减少了滤波结果的权重。在一实施例中，使用方法1中公开的虚拟边界。因此，提议的虚拟边界和水平CTU边界之间的空间对于亮度设置为四个像素(即，图9A和图9B中的N＝4)，对于色度设置为一个像素(即，图9A和图9B中的N＝1)。线G和线N中ALF的输出值等于滤波后的结果。线H和线M中ALF的输出值等于((滤波后的结果+未滤波的结果)/2)。线I和线L中ALF的输出值等于((滤波后的结果+3×未滤波的结果)/4)。线J和线K中ALF的输出值等于((滤波后的结果+7×未滤波的结果)/8)。在另一个实施例中，线G和线N中的ALF的输出值等于((滤波后的结果+未滤波的结果)/2)。线H和线M中ALF的输出值等于(滤波后的结果+3×未滤波的结果)/4。线I和线L中ALF的输出值等于(滤波后的结果+7×未滤波的结果)/8。线J和线K中的ALF的输出值等于(滤波后的结果+15×未滤波的结果)/16。在另一个实施例中，线G和线N的ALF的输出值等于(4×滤波后的结果+0×未滤波的结果)/4。线H和线M中ALF的输出值等于(3×滤波后的结果+1×未滤波的结果)/4。线I和线L中ALF的值等于((2×滤波后的结果+2×未滤波的结果)/4)。线J和线K中ALF的输出值等于((1×滤波后的结果+3×未滤波的结果)/4)。在另一个实施例中，当产生滤波结果和未滤波结果的加权和时考虑舍入偏移(rounding offset)。在另一实施例中，线G和线N中的ALF的输出值等于((7×滤波后的结果+1×未滤波后的结果)/8)。线H和线M中ALF的输出值等于((5×滤波后的结果+3×未滤波的结果)/8)。线I和线L中ALF的输出值等于((3×滤波后的结果+5×未滤波的结果)/8)。线J和线K中ALF的输出值等于((1×滤波后的结果+7×未滤波的结果)/8)。在另一个实施例中，当产生滤波结果和未滤波结果的加权和时考虑舍入偏移。在另一个实施例中，当产生滤波结果和未滤波结果的加权和时不考虑舍入偏移。
方法6
上述方法中的填充技术可以是直接填充、偶数镜像填充、奇数镜像填充、一些预定义值、待滤波像素、待滤波像素行、ALF处理之前的一些中间结果，或上述内容的某种组合。在另一实施例中，当所需像素不可用时，填充技术将使用滤波器形状的对称线。例如，使用方法1中提出的虚拟边界。提议的虚拟边界和水平CTU边界之间的空间对于亮度设置为四个像素(即，图9A和图9B中的N＝4)，对于色度设置为一个像素(即，图9A和图9B中的N＝1)。当要滤波的像素位于线K时，由于虚拟边界，无法访问线H-J中的实际像素。我们用L线代替J线，M线代替I线，N线代替K线。当要滤波的像素位于L线时，I和J线的真实像素不能被访问；线N用于替换线J，线O用于替换线I。
为了减少ALF的线缓冲器的使用，上述方法可以单独使用或组合在一起以实现一个整体解决方案。
方法7
在一个实施例中，在虚拟边界的另一侧的所需像素在包括分类和滤波操作在内的ALF处理中被填充的样本所代替。换句话说，填充技术用于为ALF中的所有过程生成所需的样本，而不是访问虚拟边界另一侧的真实像素。例如，在计算梯度时，如果在分类中使用的一个10×10窗口中的某些所需像素在虚拟边界的另一侧，则使用填充技术生成相应的像素。
在一个实施例中，当用于分类的一个10×10窗口中的所需像素的一部分在虚拟边界的另一侧时，改变块分类的操作。例如，如果在分类中使用的一个10×10窗口中一部分所需像素位于虚拟边界的另一侧，则将那些位于虚拟边界另一侧的梯度设置为零(即不使用)，然后将梯度的总和通过可用梯度的总数归一化。在另一示例中，如果在分类中使用的一个10×10窗口中的一部分所需像素在虚拟边界的另一侧，则更改所需梯度的图案，以避免使用在虚拟边界另一侧的那些像素。
可以在编码器和/或解码器中实现任何前述提出的方法。例如，可以在编码器和/或解码器的环路滤波模块中实现任何所提出的方法。可替代地，任何提出的方法可以被实现为耦合到编码器和/或解码器的环路滤波模块的电路。
图48示出了根据本发明的实施例的示例性的重建视频的环路处理的流程图。流程图中所示的步骤可被实现为可在编码器侧的一个或多个处理器(例如，一个或多个CPU)上执行的程序代码。流程图中所示的步骤也可以基于硬件来实现，例如被布置为执行流程图中的步骤的一个或多个电子设备或处理器。根据该方法，在步骤4810中接收与当前图片相关联的重建像素，其中，将当前图片划分为多个块，以进行重建像素的所述环路处理。在步骤4820中确定当前图片中待处理像素的虚拟边界，其中该虚拟边界与块边界对齐，并且该虚拟边界的第一侧上的至少一个待处理像素需要该虚拟边界的第二侧上的一个或多个第二像素。在步骤4830中，如果目标待处理像素需要来自虚拟边界的第二侧的至少一个第二像素，则修改所述环路处理，其中，所述修改后的环路处理消除了对虚拟边界的第二侧的任何第二像素的需要。
图49示出了根据本发明的实施例的重建视频的示例性自适应环路滤波器处理的流程图。根据另一种方法，在步骤4910中接收与当前图片相关联的重建像素，其中，将当前图片划分为多个块，以用于重建像素的所述自适应环路滤波器处理。在步骤4920中，确定当前图片中待处理像素的虚拟边界，其中，在虚拟边界的第一侧上的至少一个待处理像素需要在所述虚拟边界的第二侧上的一个或多个第二像素。在步骤4930中，为属于待处理像素的目标块确定覆盖目标块的扩展块。在步骤4940中，基于扩展块为目标块导出块分类，其中，如果所述导出块分类所需的扩展块的任何目标像素在虚拟边界的第二侧，则至少一个与像素块分类相关联的操作被修改。在步骤4950中，如果所述导出块分类所需的扩展块的任何目标像素在虚拟边界的第二侧，则使用具有至少一个操作被修改的块分类将所述自适应环路滤波器处理应用于目标块。
所示的流程图旨在说明根据本发明的视频编解码的示例。本领域技术人员可以在不脱离本发明的精神的情况下修改每个步骤、重新布置步骤、拆分步骤或组合步骤以实施本发明。在本公开中，已经使用特定的语法和语义来示出用于实现本发明的实施例的示例。本领域技术人员可以通过用等效的语法和语义替换语法和语义来实践本发明，而不脱离本发明的精神。
呈现以上描述是为了使本领域技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员将是显而易见的，并且本文中定义的一般原理可以应用于其他实施例。因此，本发明并不旨在限于所示出和描述的特定实施例，而是与和本文所公开的原理和新颖特征相一致的最广范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解可以实施本发明。
如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中以执行本文描述的处理的程序代码。本发明的实施例还可以是要在数字信号处理器(DSP)上执行以执行本文描述的处理的程序代码。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的许多功能。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。可以以不同的编程语言和不同的格式或样式来开发软件代码或固件代码。也可以为不同的目标平台编译软件代码。然而，不同的代码格式、软件代码的样式和语言以及配置代码以执行根据本发明的任务的其他方式将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而不是前述描述来指示。落入权利要求书等同含义和范围内的所有改变均应包含在其范围之内。

Claims (11)

1.一种用于重建视频的自适应环路滤波器处理的方法，该方法包括：
接收与当前图片相关联的多个重建像素，其中，将该当前图片划分为多个块，用于该多个重建像素的自适应环路滤波处理；
确定该当前图片中多个待处理像素的虚拟边界，其中，在该虚拟边界的第一侧上的至少一个待处理像素需要在该虚拟边界的第二侧上的一个或多个第二像素；
对于属于该多个待处理像素的目标块，确定覆盖该目标块的扩展块；
基于该扩展块导出该目标块的块分类，其中如果所述导出该块分类所需的该扩展块的任何目标像素在该虚拟边界的该第二侧，则修改与该块分类相关联的至少一个操作；以及
如果所述导出该块分类所需的该扩展块的任何目标像素在该虚拟边界的该第二侧，则使用具有该至少一个操作被修改的该块分类将该自适应环路滤波器处理应用于该目标块。
2.根据权利要求1所述的方法，其特征在于，针对该目标块确定评估块，其中，该目标块位于该评估块的中心，并且将周围像素添加到该评估块以形成该扩展块。
3.根据权利要求2所述的方法，其特征在于，该目标块对应于4x4块，该评估块对应于8x8块，并且该扩展块对应于10×10块。
4.根据权利要求3所述的方法，其特征在于该目标块对应于最小单元，并且其中每个最小块中的所有样本共享相同的自适应环路滤波器处理。
5.根据权利要求2所述的方法，其特征在于，该块分类是基于该评估块的所选位置处的梯度而得出的。
6.根据权利要求5所述的方法，其特征在于，如果用于该评估块的目标所选位置的目标梯度需要该虚拟边界的该第二侧上的该扩展块的任何目标像素，则从该块分类的该梯度的总和中排除该目标梯度，或将该目标梯度设置为零。
7.根据权利要求6所述的方法，其特征在于，根据该评估块的该所选位置处的可用梯度的总数对该梯度的总和加权。
8.根据权利要求6所述的方法，其特征在于，通过在该评估块的该所选位置处的可用梯度的总数将该梯度的总和归一化。
9.根据权利要求5所述的方法，其特征在于，如果用于该评估块的目标所选位置的目标梯度需要该虚拟边界的该第二侧上的该扩展块的任何目标像素，则修改该评估块的该目标所选位置的该目标梯度，以排除该虚拟边界的该第二侧上的该扩展块的所述任何目标像素。
10.根据权利要求5所述的方法，其特征在于，该评估块的该所选位置对应于在偶数线和奇数线之间具有一个像素偏移的2：1水平子采样位置。
11.一种用于重建视频的自适应环路滤波器处理的装置，该装置包括一个或多个电子电路或处理器，其被布置为：
接收与当前图片相关联的多个重建像素，其中，将该当前图片划分为多个块，用于该多个重建像素的自适应环路滤波处理；
确定该当前图片中多个待处理像素的虚拟边界，其中，在该虚拟边界的第一侧上的至少一个待处理像素需要在该虚拟边界的第二侧上的一个或多个第二像素；
对于属于该多个待处理像素的目标块，确定覆盖该目标块的扩展块；
基于该扩展块导出该目标块的块分类，其中如果导出该块分类所需的该扩展块的任何目标像素在该虚拟边界的该第二侧，则修改与该块分类相关联的至少一个操作；以及
如果导出该块分类所需的该扩展块的任何目标像素在该虚拟边界的该第二侧，则使用具有该至少一个操作被修改的该块分类将该自适应环路滤波器处理应用于该目标块。
CN201980068336.2A 2018-10-23 2019-10-18 减少环路滤波缓冲器的方法及装置 Active CN113287316B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862749145P 2018-10-23 2018-10-23
US62/749,145 2018-10-23
US201862750282P 2018-10-25 2018-10-25
US62/750,282 2018-10-25
US201862768200P 2018-11-16 2018-11-16
US62/768,200 2018-11-16
PCT/CN2019/111895 WO2020083108A1 (en) 2018-10-23 2019-10-18 Method and apparatus for reduction of in-loop filter buffer

Publications (2)

Publication Number Publication Date
CN113287316A CN113287316A (zh) 2021-08-20
CN113287316B true CN113287316B (zh) 2023-07-21

Family

ID=70331215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980068336.2A Active CN113287316B (zh) 2018-10-23 2019-10-18 减少环路滤波缓冲器的方法及装置

Country Status (5)

Country Link
US (1) US11743458B2 (zh)
EP (2) EP3868109A4 (zh)
CN (1) CN113287316B (zh)
TW (1) TWI738092B (zh)
WO (1) WO2020083108A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994671B (zh) * 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
BR112021024638A2 (pt) 2019-06-14 2022-01-18 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meio de armazenamento e meio de gravação não transitórios legíveis por computador
WO2021004491A1 (en) 2019-07-09 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
CA3146773A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
EP3984219A4 (en) 2019-07-15 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. CLASSIFICATION IN AN ADAPTIVE LOOP FILTERING
CN114128284A (zh) * 2019-08-08 2022-03-01 松下电器（美国）知识产权公司 用于视频编码的系统和方法
WO2021025165A1 (en) 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2021049593A1 (en) 2019-09-11 2021-03-18 Panasonic Intellectual Property Corporation Of America System and method for video coding
KR20220061980A (ko) 2019-09-22 2022-05-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 패딩 프로세스
EP4022910A4 (en) 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
US11425405B2 (en) * 2019-11-15 2022-08-23 Qualcomm Incorporated Cross-component adaptive loop filter in video coding
WO2021118296A1 (ko) * 2019-12-12 2021-06-17 엘지전자 주식회사 루프 필터링을 제어하는 영상 코딩 장치 및 방법
EP4218235A4 (en) * 2020-09-23 2024-04-03 Beijing Dajia Internet Information Technology Co., Ltd. ENHANCEMENT OF CHROMINANCE CODING IN ADAPTIVE INTER-COMPONENT SAMPLE SHIFT WITH VIRTUAL BOUNDARY
CN113099221B (zh) * 2021-02-22 2023-06-02 浙江大华技术股份有限公司 跨分量样点自适应补偿方法、编码方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503456A (zh) * 2011-05-10 2014-01-08 联发科技股份有限公司 用于减少环内滤波缓冲区的方法及其装置
CN103891292A (zh) * 2011-10-24 2014-06-25 联发科技股份有限公司 非跨图块环路滤波方法及其装置
CN104885052A (zh) * 2012-12-19 2015-09-02 高通股份有限公司 读写存储设备的数据映像中的虚拟边界码

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
CN106028050B (zh) 2011-05-16 2019-04-26 寰发股份有限公司 用于亮度和色度分量的样本自适应偏移的方法和装置
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
WO2015070739A1 (en) 2013-11-15 2015-05-21 Mediatek Inc. Method of block-based adaptive loop filtering
WO2021004491A1 (en) * 2019-07-09 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503456A (zh) * 2011-05-10 2014-01-08 联发科技股份有限公司 用于减少环内滤波缓冲区的方法及其装置
CN103891292A (zh) * 2011-10-24 2014-06-25 联发科技股份有限公司 非跨图块环路滤波方法及其装置
CN104885052A (zh) * 2012-12-19 2015-09-02 高通股份有限公司 读写存储设备的数据映像中的虚拟边界码

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ching-Yeh Chen et al..Adaptive loop filter with zero pixel line buffers for lcu-based decoding.《JCTVC-F054》.2011,全文. *

Also Published As

Publication number Publication date
EP3868109A4 (en) 2022-08-17
EP3868109A1 (en) 2021-08-25
US11743458B2 (en) 2023-08-29
US20210360238A1 (en) 2021-11-18
WO2020083108A1 (en) 2020-04-30
TWI738092B (zh) 2021-09-01
EP4192016A1 (en) 2023-06-07
TW202023278A (zh) 2020-06-16
CN113287316A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN113287316B (zh) 减少环路滤波缓冲器的方法及装置
CN113785569B (zh) 视频编码的非线性适应性环路滤波方法和装置
EP2708027B1 (en) Method and apparatus for reduction of in-loop filter buffer
US10003798B2 (en) Method and apparatus for reduction of deblocking filter
JP5763210B2 (ja) 改良されたループ型フィルタリング処理のための方法と装置
US10306246B2 (en) Method and apparatus of loop filters for efficient hardware implementation
US8913656B2 (en) Method and apparatus for in-loop filtering
US20160241881A1 (en) Method and Apparatus of Loop Filters for Efficient Hardware Implementation
WO2015070739A1 (en) Method of block-based adaptive loop filtering
CN113994670A (zh) 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
MX2013002070A (es) Metodo y aparato de filtrado de circuito adaptativo.
RU2783342C1 (ru) Способ и устройство для нелинейной адаптивной контурной фильтрации при кодировании видео
TW202420827A (zh) 用於視訊編解碼的具有虛擬邊界和多源的自適應環路濾波器的方法和裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220426

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant