CN105850121A - 用于基于块的自适应环路滤波的滤波器控制的方法 - Google Patents

用于基于块的自适应环路滤波的滤波器控制的方法 Download PDF

Info

Publication number
CN105850121A
CN105850121A CN201480060385.9A CN201480060385A CN105850121A CN 105850121 A CN105850121 A CN 105850121A CN 201480060385 A CN201480060385 A CN 201480060385A CN 105850121 A CN105850121 A CN 105850121A
Authority
CN
China
Prior art keywords
loop filter
adaptive loop
reconstruction
present image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480060385.9A
Other languages
English (en)
Other versions
CN105850121B (zh
Inventor
陈庆晔
蔡家扬
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105850121A publication Critical patent/CN105850121A/zh
Application granted granted Critical
Publication of CN105850121B publication Critical patent/CN105850121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明揭露了一种用于重建视频的具有隐式地基于样本的开/关控制的自适应环路滤波的方法以及装置，以提升性能。在一个实施例中，与重建的当前图像单元相关联的视频数据的每个像素被分类为第一组以及第二组。接着，自适应环路滤波被应用到属于第一组的这些像素。对于第二组的像素，自适应环路滤波不被应用。图像单元可对应于一个编码树块或一个编码树单元。本发明也揭露了将每个像素分类为第一组或第二组的多种分类方式。具有隐式地基于样本的开/关控制的自适应环路滤波还可被用作为支持基于块的开/关控制的系统中的附加模式。

Description

用于基于块的自适应环路滤波的滤波器控制的方法
【相关申请的交叉引用】
本发明主张申请于2013年11月15日，序列号为61/904,511，标题为“Block-based Adaptive Loop Filtering”的美国临时专利申请以及申请于2014年3月5日，序列号为61/948,183，标题为“Block-based Adaptive Loop Filtering”的美国临时专利申请的优先权。将以上美国临时专利申请以参考的方式并入本文中。
【技术领域】
本发明涉及视频编码。特别地，本发明涉及用于视频编码的基于块(block-based)的自适应环路滤波(Adaptive Loop Filtering，ALF)的滤波器开/关控制。
【背景技术】
高效视频编码(High efficiency video coding，HEVC)是由视频编码联合合作小组(Joint Collaborative Team on Video Coding，JCT-VC)开发的新一代的国际视频编码标准。此标准是基于现有的混合编码方法。根据HEVC，一张图片被分割为多个不重叠的最大编码单元(Largest Coding Unit，LCU)，也被称为编码树块(Coding Tree Block，CTB)。编码单元(Coding Unit，CU)的像素值被空间或时间预测。所得到的残差信号被转换以用于进一步的冗余移除。接着，转换系数被量化及熵编码。重建的图片是从已解码的残差信号机预测信号中恢复。于重建后，重建的图片进一步由环路滤波来处理以减少编码失真。
在HEVC测试模型7(HEVC Test Model 7，HM-7)之前，一种环路滤波技术，被称为自适应环路滤波(Adaptive Loop Filtering，ALF)，被包含于测试模型中。为了优化性能，ALF使用维纳滤波技术来导出滤波器系数。此外，多个滤波器可被用于不同的图片区域。系数被编码于自适应参数集(AdaptationParameter Set，APS)，且开/关控制旗标被编码于CTU等级的语法元素。如图1所示，滤波器形状为中心具有3x3方块的9x7的交叉。由于此9x7滤波器的对称性，只有一半的系数需要被编码。
图2所示为结合环路处理的自适应帧间/帧内视频编码系统的示例。输入图片由帧内预测210或帧间预测(即，运动估计/运动补偿212)来编码。对于帧间预测，运动估计/运动补偿212用于基于来自其它单个图片或多个图片的视频数据提供预测数据。开关214选择帧内预测210或帧间预测的数据，且已选择的预测数据被提供到加法器216以形成预测误差，也被称为残差。接着，预测误差由转换/量化(Transform/Quantization，T/Q)218来处理。接着，已转换及已量化的残差由熵编码器222来编码以产生对应于已压缩视频数据的视频比特流。接着，与残差相关联的比特流根据辅助信息(side information)(例如运动、模式、以及与图像区域相关联的其它信息)被打包。辅助信息也可被熵编码以减少所需的带宽。于帧内模式，重建的块可用于形成空间邻近块的帧内预测。因此，来自重建(Reconstruction，REC)228的重建的块可被提供到帧内预测210。当帧间预测模式被使用时，参考的单个图片或多个图片也必须于编码器端被重建。因此，已转换及已量化的残差由逆量化/逆转换(InverseQuantization/Inverse Transform，IQ/IT)226处理以恢复此残差。接着，残差被加回到REC 228的预测数据236以重建视频数据。重建视频数据可被储存于参考图片缓冲器234，且被用于其它帧的预测。
如图2所示，输入的视频数据于编码系统中进行一系列的处理。来自REC228的重建视频数据可能会因为一系列处理而受到各种损害。因此，为了提高视频质量，于重建视频数据被储存于参考图片缓冲器234之前，各种环路处理被应用于重建视频数据。包括解块(deblocking，DB)处理模块230、样本自适应偏置(Sample Adaptive Offset，SAO)处理模块231、ALF 232的环路滤波被开发出来以增强图片质量。环路滤波器信息可被并入(incorporate)到比特流中，以使解码器可以合适地恢复所需的信息。于图2中，在来自REC 228的重建视频被DF 230以及SAO 231处理之后，ALF 232被应用。另外，ALF 232还可被应用于来自REC 228的重建视频，或于来自REC 228的重建视频被DF 230处理之后，ALF 232被应用。
【发明内容】
本发明揭露了一种用于重建视频的具有隐式地基于样本的开/关控制的自适应环路滤波的方法以及装置，以提升性能。在一个实施例中，与重建的当前图像单元相关联的视频数据的每个像素被分类为第一组以及第二组。接着，自适应环路滤波(Adaptive Loop Filtering，ALF)被应用到属于第一组的这些像素。对于第二组的像素，ALF不被应用。图像单元可对应于一个编码树块(coding treeblock，CTB)或一个编码树单元(coding tree unit，CTU)。
分类(Classification)被逐像素地应用于与重建的当前图像单元相关联的视频数据。此外，分类采用编码器侧以及解码器侧均可用的重建视频数据，以使基于样本的开/关控制可以被隐式地获得，而不需传送用于每个像素的开/关控制。分类过程(classification process)可由线性滤波、非线性滤波、边缘检测、待分类像素以及相邻像素之间的差别或相似性、强度(intensity)、边缘偏置(edge offset，EO)分类、带宽偏置(band offset，BO)分类、残差幅度、及任何其组合所组成的组中来选择。已选择的分类过程可于已编码比特流的序列等级、图片等级、条带等级或块等级被传送。与分类相关联的辅助信息可被显式地传送或被隐式地确定。
具有隐式地基于样本的开/关控制的自适应环路滤波也可被并入使用块ALF开/关控制的视频编码系统。在此情况下，ALF模式可用于指示被用于对应的序列、图片、条带或块中的一个块或多个块的ALF模式。ALF模式从由ALF开启模式(ALF-On mode)、ALF关闭模式(ALF-Off mode)以及ALF隐式开/关模式(ALF Implicit On/Off mode)所组成的组中选择。如果ALF隐式开/关模式被选择，具有隐式地基于样本的开/关控制的自适应环路滤波被应用。如果ALF关闭模式被选择，则对于与重建的当前图像单元相关联的视频数据的所有像素，自适应环路滤波被略过。如果ALF开启模式被选择，则将自适应环路滤波应用到与重建的当前图像单元相关联的视频数据中的所有样本。
【附图说明】
图1所示为对应于中心具有3x3方块的9x7的交叉的滤波器形状。
图2所示为结合环路处理的帧内/帧间视频编码系统的示例。
图3A所示为被用于分类的高通线性滤波器的示例。
图3B所示为被用于分类的低通线性滤波器的示例。
图3C以及图3D所示为被用于分类的索贝尔滤波器的两个示例。
图3E至图3F所示为通过比较待分类像素以及用于分类的两个相邻像素，对应于待分类像素以及相邻像素之间的相似性的一维滤波器的两个示例。
图3G所示为通过比较待分类像素以及用于分类的四个相邻像素，对应于待分类像素以及相邻像素之间的相似性的二维滤波器的示例。
图4A至图4D所示为基于3x3窗口的，具有分别对应于0°、90°、135°以及45°的四种配置的边缘偏置(edge offset，EO)像素分类。
图5所示为根据本发明实施例的结合用于重建视频的具有隐式地基于样本的开/关控制的自适应环路滤波的视频编码系统的示范性流程图。
【具体实施方式】
容易理解的是本发明的组件，通常被描述并显示于本发明的附图中，可以被布置以及设计成多种不同的结构。因此，下文对本发明的系统以及方法的实施例的更细节的描述，如附图中所表示的，并非意在限制本发明要求保护的的范围，而仅仅是代表本发明所选择的实施例。
参考本说明书全文的“一个实施例”，“一实施例”，或类似的语言表示描述于相关的实施例中的一个特定特征、结构、或特性，其可以被包含于本发明的至少一个实施例。因此，出现于本说明书全文各种地方的短语“于一个实施例”或“在一实施例中”不一定全是指相同的实施例。
此外，所描述的特征、结构、或特性可以在一个或多个实施例中以任何合适的方式进行组合。然而，本领域技术人员将认识到，本发明在没有一个或多个具体细节，或具有其他其它方法、部件等情况下可以被实现。于其它实例中，公知的结构或操作未被示出或做细节上的描述，以避免混淆本发明的方面。
本发明所示的实施例将通过参考附图做最好的理解，其中，全文相同的部分由相同的数字来指定。下文的描述旨在仅通过示例的方式，以及简单示出与本文要求保护的发明一致的装置以及方法的某些选择的实施例。
于先前的方法，开/关控制旗标被编码于编码树单元(coding tree unit，CTU)等级以指示对于每个CTU ALF是否被启用(即，ALF启用)或禁用(即，ALF禁用)。三个开/关控制旗标分别用于三个颜色分量，颜色分量具有用于每个编码树块(CTB)的一个旗标。当开/关控制旗标被启用(即，ALF启用被选择)时，接着，一个CTB中的所有像素都被ALF滤波。如果开/关控制旗标是禁用(即，ALF禁用被使用)，所有的像素都不被滤波。然而，由于CTB中的变化，一个CTB中的并非所有像素在ALF滤波过程后都可提供编码增益。于自适应环路滤波后，某些像素甚至可能会导致失真增加。因此，为了进一步提高编码效率，当ALF被启用时，本发明揭露了隐式地像素等级开/关控制方式。根据隐式地像素等级开/关控制方案，关于是否应用自适应环路滤波的决定(decision)对块中的单个像素做出，而不是对块中的所有像素做出。此外，此决定是基于编码器侧以及解码器侧均可共用的重建数据隐式地做出。因此，不需要对单个像素传送开/关决定(On/Off decision)。
在一个实施例中，对于当前CTB，当ALF被启用时，本发明揭露了基于编码器以及解码器都可用的重建样本或已处理的重建样本将CTB中的像素分类为两个组(滤波器开启组以及滤波器关闭组)的分类方式。只有滤波器开启组中的像素将被ALF滤波，且滤波器关闭组的像素不会被滤波。已处理的重建样本可对应于将解块(deblocking)应用于重建样本后的输出数据。已处理的重建样本也可对应于将跟随于样本自适应偏置(Sample Adaptive Offset，SAO)的解块应用于重建样本后的输出数据。因为分类是基于编码器以及解码器均可用的重建样本来导出，因此不需要传送与基于像素的开/关控制相关联的信息。因此，基于像素的开/关控制被隐式地确定。此隐式地像素开/关方法可被融入到ALF启用的情形。即，如果ALF启用被使用，则隐式地像素开/关总是被应用。
可选地，隐式地像素开/关可作为新的模式(例如，ALF隐式开/关)被增加到支持基于块的ALF的系统中，其中，整个块都被ALF处理，或整个块都不被ALF处理。只有当ALF隐式开/关模式被选择用于当前CTB时，隐式地像素开/关模式被应用。当ALF启用模式被使用时，所有像素都被ALF滤波。在此情况下，对于每个CTB，一共有三种模式，即，ALF启用，ALF隐式开/关，以及ALF禁用模式。
在另一实施例中，隐式地像素开/关分类被融入ALF过程。分类方法可以是以下方法中的任何一种，包括：线性滤波、边缘检测、待分类像素以及相邻像素之间的差别或相似度、强度、SAO分类、残差幅度等。分类方法的任何组合也可被使用。某些示范性滤波器如下所示。如图3A所示的高通线性滤波器或如图3B所示的低通线性滤波器可被使用。图3C以及图3D所示为索贝尔滤波器的两个示例。图3E至如3G所示为待分类像素以及相邻像素之间的相似性的三个示例。图3E以及图3F对应于比较待分类像素(即，中心像素)以及两个相邻像素的一维滤波器。图3G对应于比较待分类像素(即，中心像素)以及四个相邻像素的二维滤波器。
图4A至图4D所示为基于3x3窗口的，具有分别对应于0°、90°、135°以及45°的四种配置的边缘偏置(edge offset，EO)像素分类。用于SAO的分类包括HEVC标准中的四种EO。用于SAO的基于EO的分类也可用于本发明的像素分类。三个划线方格中突出显示的三个位置的像素值被比较以确定底层像素(underlying pixel)是否将被ALF处理。被用于SAO分类的带宽偏置(band offset，BO)也可被用于本发明的像素分类。于本发明的另一实施例中，强度被用于像素分类。例如，只有强度在一个预定义的强度间隔中的像素将被滤波。如果有任何附加的辅助信息需要被用于分类，则辅助信息可以于序列等级、图片等级、条带等级或块等级显式地传送，或根据分类方法被隐式地预定义。例如，辅助信息可对应于用于比较用于分类的高通滤波器输出的阈值。此外，分类方法可被适应性地应用于序列等级、图片等级、条带等级、或块等级。在此情况下，对应的一个等级或多个等级需要一个或多个索引，以指示哪种分类方法将被用于ALF过程。
图5所示为根据本发明实施例的结合用于重建视频的具有隐式地基于样本的开/关控制的自适应环路滤波的视频编码系统的示范性流程图。如步骤510所示，系统接收与重建的当前图像单元相关联的视频数据。视频数据可从存储器(例如：计算机存储器、缓冲器(RAM或DRAM)或其它媒体)中获取。输入数据还可从处理器(例如：控制器、中央处理单元、数字信号处理器或、产生输入数据的电子电路)接收。如步骤520所示，基于可共用于编码器侧以及解码器侧的重建视频，将与重建的当前图像单元相关联的视频数据的每个像素分类为第一组或第二组。如步骤530所示，将自适应环路滤波应用到与重建的当前图像单元相关联的视频数据中属于第一组的像素。如步骤540所示，对与重建的当前图像单元相关联的视频数据中属于第二组的像素跳过自适应环路滤波。
根据本发明，以上所示的流程图旨在说明自适应环路滤波方法的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。
如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (16)

1.一种用于重建视频的自适应环路滤波方法，用于视频编码系统或视频解码系统中，其特征在于，所述重建视频的每个图片被分割为多个图像单元，所述方法包含：
接收与重建的当前图像单元相关联的视频数据；以及
应用隐式地基于样本的开/关自适应环路滤波到所述视频数据，其中，所述应用隐式地基于样本的开/关自适应环路滤波的步骤包括：
基于可共用于编码器侧以及解码器侧的重建视频，将与所述重建的当前图像单元相关联的所述视频数据的每个像素分类为第一组或第二组；
将自适应环路滤波应用到与所述重建的当前图像单元相关联的所述视频数据中属于所述第一组的像素；以及
对与所述重建的当前图像单元相关联的所述视频数据中属于所述第二组的像素跳过所述自适应环路滤波。
2.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，所述图像单元对应于一个编码树块或一个编码树单元。
3.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素的步骤将分类过程应用到与所述重建的当前图像单元相关联的所述视频数据，其中，所述分类过程是从由线性滤波、非线性滤波、边缘检测、待分类像素以及多个相邻像素之间的差别或相似性、强度、边缘偏置分类、带宽偏置分类、残差幅度、以及任何以上过程的组合所组成的滤波器组中选择。
4.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素的步骤将分类过程应用到与所述重建的当前图像单元相关联的所述视频数据，其中，所述分类过程是从适应于比特流的序列等级、图片等级、条带等级或块等级的滤波器组中选择。
5.如权利要求4所述的用于重建视频的自适应环路滤波方法，其特征在于，所述块等级对应于编码树块等级或编码树单元等级。
6.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，与所述重建的当前图像单元相关联的所述视频数据对应于所述重建的当前图像单元、将解块过程应用到所述重建的当前图像单元所产生的第一输出数据、或将所述解块过程以及样本自适应偏置过程应用到所述重建的当前图像单元所产生的第二输出数据。
7.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，进一步包括：于比特流的序列等级、图片等级、条带等级或块等级并入与所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素相关联的辅助信息。
8.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，与所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素相关联的辅助信息被隐式地确定。
9.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，对于所述视频编码系统，还包括：
从由自适应环路滤波关闭模式、自适应环路滤波开启模式、以及自适应环路滤波隐式开/关模式所组成的滤波器模式组中选择用于所述重建的当前图像单元的自适应环路滤波模式，其中，只有在所述自适应环路滤波隐式开/关模式被选择时，所述应用隐式地基于样本的开/关自适应环路滤波被执行；
如果所述自适应环路滤波关闭模式被选择，对与所述重建的当前图像单元相关联的所述视频数据的所有像素略过所述自适应环路滤波；
如果所述自适应环路滤波开启模式被选择，将所述自适应环路滤波应用于与所述重建的当前图像单元相关联的所述视频数据的所有样本；以及
将一个或多个语法元素并入已编码比特流以传送被选择以用于所述重建的当前图像单元的所述自适应环路滤波模式。
10.如权利要求9所述的用于重建视频的自适应环路滤波方法，其特征在于，所述一个或多个语法元素被并入所述已编码比特流的序列等级、图片等级、条带等级、或块等级，以传送所述自适应环路滤波模式。
11.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，对于所述视频解码系统，还包括：
从已编码比特流中解析用于所述重建的当前图像单元的自适应环路滤波模式，其中，所述自适应环路滤波模式属于由自适应环路滤波关闭模式、自适应环路滤波开启模式、以及自适应环路滤波隐式开/关模式所组成的滤波器模式组，且只有在所述自适应环路滤波隐式开/关模式被选择时，所述应用隐式地基于样本的开/关自适应环路滤波被执行；
如果所述自适应环路滤波关闭模式被选择，对与所述重建的当前图像单元相关联的所述视频数据的所有像素略过所述自适应环路滤波；以及
如果所述自适应环路滤波开启模式被选择，将所述自适应环路滤波应用于与所述重建的当前图像单元相关联的所述视频数据的所有样本。
12.如权利要求11所述的用于重建视频的自适应环路滤波方法，其特征在于，所述自适应环路滤波模式是从所述已编码比特流的序列等级、图片等级、条带等级、或块等级中解析。
13.一种对重建视频应用自适应环路滤波的装置，用于视频编码系统或视频解码系统中，其特征在于，所述重建视频的每个图片被分割为多个图像单元，所述装置包含一个或多个被配置如下的电子电路：
接收与来自存储器或来自处理器的重建的当前图像单元相关联的视频数据；以及
应用隐式地基于样本的开/关自适应环路滤波到所述视频数据，其中，所述应用隐式地基于样本的开/关自适应环路滤波的步骤包括：
基于可共用于编码器侧以及解码器侧的重建视频，将与所述重建的当前图像单元相关联的所述视频数据的每个像素分类为第一组或第二组；
将自适应环路滤波应用到与所述重建的当前图像单元相关联的所述视频数据中属于所述第一组的像素；以及
对与所述重建的当前图像单元相关联的所述视频数据中属于所述第二组的像素跳过所述自适应环路滤波。
14.如权利要求13所述的对重建视频应用自适应环路滤波的装置，其特征在于，所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素的步骤将分类过程应用到与所述重建的当前图像单元相关联的所述视频数据，其中，所述分类过程是从由线性滤波、非线性滤波、边缘检测、待分类像素以及多个相邻像素之间的差别或相似性、强度、边缘偏置分类、带宽偏置分类、残差幅度、以及任何以上过程的组合所组成的滤波器组中选择。
15.如权利要求13所述的对重建视频应用自适应环路滤波的装置，其特征在于，对于所述视频编码系统，所述装置还包括一个或多个被配置如下的电子电路：
从由自适应环路滤波关闭模式、自适应环路滤波开启模式、以及自适应环路滤波隐式开/关模式所组成的滤波器模式组中选择用于所述重建的当前图像单元的自适应环路滤波模式，其中，只有在所述自适应环路滤波隐式开/关模式被选择时，所述应用隐式地基于样本的开/关自适应环路滤波被执行；
如果所述自适应环路滤波关闭模式被选择，对与所述重建的当前图像单元相关联的所述视频数据的所有像素略过所述自适应环路滤波；
如果所述自适应环路滤波开启模式被选择，将所述自适应环路滤波应用于与所述重建的当前图像单元相关联的所述视频数据的所有样本；以及
将一个或多个语法元素并入已编码比特流以传送被选择以用于所述重建的当前图像单元的所述自适应环路滤波模式。
16.如权利要求13所述的对重建视频应用自适应环路滤波的装置，其特征在于，对于所述视频解码系统，所述装置还包括一个或多个被配置如下的电子电路：
从已编码比特流中解析用于所述重建的当前图像单元的自适应环路滤波模式，其中，所述自适应环路滤波模式属于由自适应环路滤波关闭模式、自适应环路滤波开启模式、以及自适应环路滤波隐式开/关模式所组成的滤波器模式组，且只有在所述自适应环路滤波隐式开/关模式被选择时，所述应用隐式地基于样本的开/关自适应环路滤波被执行；
如果所述自适应环路滤波关闭模式被选择，对与所述重建的当前图像单元相关联的所述视频数据的所有像素略过所述自适应环路滤波；以及
如果所述自适应环路滤波开启模式被选择，将所述自适应环路滤波应用于与所述重建的当前图像单元相关联的所述视频数据的所有样本。
CN201480060385.9A 2013-11-15 2014-11-13 用于基于块的自适应环路滤波的滤波器控制的方法 Active CN105850121B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361904511P 2013-11-15 2013-11-15
US61/904,511 2013-11-15
US201461948183P 2014-03-05 2014-03-05
US61/948,183 2014-03-05
PCT/CN2014/090978 WO2015070772A1 (en) 2013-11-15 2014-11-13 Method of filter control for block-based adaptive loop filtering

Publications (2)

Publication Number Publication Date
CN105850121A true CN105850121A (zh) 2016-08-10
CN105850121B CN105850121B (zh) 2018-10-12

Family

ID=53056766

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480060386.3A Active CN105794206B (zh) 2013-11-15 2014-11-10 用于重建视频的自适应环路滤波方法
CN201480060385.9A Active CN105850121B (zh) 2013-11-15 2014-11-13 用于基于块的自适应环路滤波的滤波器控制的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480060386.3A Active CN105794206B (zh) 2013-11-15 2014-11-10 用于重建视频的自适应环路滤波方法

Country Status (6)

Country Link
US (2) US10567806B2 (zh)
EP (3) EP3069511A4 (zh)
CN (2) CN105794206B (zh)
BR (1) BR112016011075B1 (zh)
CA (1) CA2929894A1 (zh)
WO (2) WO2015070739A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109845255A (zh) * 2016-10-03 2019-06-04 夏普株式会社 用于将解块滤波器应用于重构视频数据的系统和方法
CN113228646A (zh) * 2018-12-21 2021-08-06 佳能株式会社 具有非线性限幅的自适应环路滤波(alf)
CN114630132A (zh) * 2020-12-10 2022-06-14 脸萌有限公司 视频编解码的基于神经网络的环路内滤波器中的模型选择

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072750A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 에지 타입의 오프셋을 적용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
EP3310058B1 (en) * 2015-06-12 2023-02-22 Panasonic Intellectual Property Management Co., Ltd. Image coding method, image decoding method, image coding device and image decoding device
US10382766B2 (en) * 2016-05-09 2019-08-13 Qualcomm Incorporated Signalling of filtering information
EP4192016A1 (en) 2018-10-23 2023-06-07 HFI Innovation Inc. Method and apparatus for reduction of in-loop filter buffer
WO2020094154A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Improvements for region based adaptive loop filter
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
KR20220030953A (ko) 2019-07-09 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링을 위한 샘플 결정
CN117939170A (zh) 2019-07-11 2024-04-26 北京字节跳动网络技术有限公司 自适应环路滤波中的样点填充
KR20220030995A (ko) 2019-07-14 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 변환 블록 크기 제한
US11616962B2 (en) * 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
CN114175637B (zh) 2019-07-15 2024-04-12 北京字节跳动网络技术有限公司 自适应环路滤波中的分类
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
CN114450954A (zh) * 2019-09-27 2022-05-06 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
JP7180001B2 (ja) * 2019-12-24 2022-11-29 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 適応ループフィルタ処理のための仮想境界処理
CN112927311B (zh) * 2021-02-24 2022-06-03 上海哔哩哔哩科技有限公司 样点自适应补偿的边带补偿模式的数据处理方法、装置
CN113259669B (zh) * 2021-03-25 2023-07-07 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
CN115842914A (zh) * 2021-12-14 2023-03-24 中兴通讯股份有限公司 环路滤波、视频编码、视频解码方法、电子设备及介质
WO2024073145A1 (en) * 2022-09-30 2024-04-04 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for adaptive loop filtering and cross-component adaptive loop filter

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013003726A1 (en) * 2011-06-29 2013-01-03 Cisco Technology, Inc Block based adaptive loop filter
US20130058421A1 (en) * 2010-05-17 2013-03-07 Thomson Licensing Methods and apparatus for adaptive directional filter for video restoration
WO2013085585A1 (en) * 2011-12-06 2013-06-13 Sony Corporation Syntax extension of adaptive loop filter in hevc
US20130272624A1 (en) * 2012-04-11 2013-10-17 Texas Instruments Incorporated Virtual Boundary Processing Simplification for Adaptive Loop Filtering (ALF) in Video Coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042946B2 (en) 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US20040076333A1 (en) 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
CN1571515A (zh) * 2004-05-13 2005-01-26 中国科学院计算技术研究所 一种环路滤波器及滤波方法
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
WO2012094750A1 (en) * 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using multiple filter shapes
DK2882190T3 (en) * 2011-04-21 2019-02-18 Hfi Innovation Inc Method and apparatus for improved ring-structured filtration
US8908979B2 (en) 2011-06-16 2014-12-09 Samsung Electronics Co., Ltd. Shape and symmetry design for filters in video/image coding
US9485521B2 (en) * 2011-09-19 2016-11-01 Lg Electronics Inc. Encoding and decoding image using sample adaptive offset with start band indicator
KR101892329B1 (ko) * 2011-11-03 2018-08-27 톰슨 라이센싱 이미지 정교화에 기초한 비디오 인코딩 및 디코딩

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130058421A1 (en) * 2010-05-17 2013-03-07 Thomson Licensing Methods and apparatus for adaptive directional filter for video restoration
WO2013003726A1 (en) * 2011-06-29 2013-01-03 Cisco Technology, Inc Block based adaptive loop filter
WO2013085585A1 (en) * 2011-12-06 2013-06-13 Sony Corporation Syntax extension of adaptive loop filter in hevc
US20130272624A1 (en) * 2012-04-11 2013-10-17 Texas Instruments Incorporated Virtual Boundary Processing Simplification for Adaptive Loop Filtering (ALF) in Video Coding

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109845255A (zh) * 2016-10-03 2019-06-04 夏普株式会社 用于将解块滤波器应用于重构视频数据的系统和方法
US11310495B2 (en) 2016-10-03 2022-04-19 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
CN113228646A (zh) * 2018-12-21 2021-08-06 佳能株式会社 具有非线性限幅的自适应环路滤波(alf)
US11750804B2 (en) 2018-12-21 2023-09-05 Canon Kabushiki Kaisha Adaptive loop filtering (ALF) with non-linear clipping
CN113228646B (zh) * 2018-12-21 2024-04-05 佳能株式会社 具有非线性限幅的自适应环路滤波(alf)
CN114630132A (zh) * 2020-12-10 2022-06-14 脸萌有限公司 视频编解码的基于神经网络的环路内滤波器中的模型选择
CN114630132B (zh) * 2020-12-10 2023-12-19 脸萌有限公司 视频编解码的基于神经网络的环路内滤波器中的模型选择

Also Published As

Publication number Publication date
CA2929894A1 (en) 2015-05-21
US10123048B2 (en) 2018-11-06
EP3761641A1 (en) 2021-01-06
US20160261863A1 (en) 2016-09-08
EP3069511A4 (en) 2017-09-27
WO2015070772A1 (en) 2015-05-21
CN105850121B (zh) 2018-10-12
WO2015070739A1 (en) 2015-05-21
CN105794206A (zh) 2016-07-20
EP3069512A1 (en) 2016-09-21
BR112016011075B1 (pt) 2023-04-04
CN105794206B (zh) 2018-12-28
EP3069512A4 (en) 2017-06-14
EP3069511A1 (en) 2016-09-21
US20160269753A1 (en) 2016-09-15
BR112016011075A2 (zh) 2017-08-08
US10567806B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
CN105850121A (zh) 用于基于块的自适应环路滤波的滤波器控制的方法
US20240121407A1 (en) Sample adaptive offset parameter estimation for image and video coding
AU2011313735B2 (en) Method and apparatus of adaptive loop filtering
CN103891292B (zh) 视频数据环路滤波处理方法及其装置
RU2696552C1 (ru) Способ и устройство для видеокодирования
DK2697973T3 (en) Method and device for loop filtration across slab or tile borders
CN103404137B (zh) 有效的样本自适应补偿的方法和装置
CN113785569B (zh) 视频编码的非线性适应性环路滤波方法和装置
CN104303506A (zh) 自适应采样点偏移信息的编解码装置及方法
CN103891277A (zh) 回路滤波方法及其装置
CA2805722A1 (en) Method and apparatus of region-based adaptive loop filtering
CN106464870A (zh) 用于对帧内画面进行编码和解码的基于模板匹配的方法和装置
CN103051892B (zh) 内嵌式回路滤波方法以及内嵌式回路滤波装置
CN103843350A (zh) 回路滤波方法及其装置
CN103947208A (zh) 减少解块滤波器的方法及装置
CN112544081B (zh) 环路滤波的方法与装置
US11962786B2 (en) Multi-stage block coding
CN109845256A (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN102577382A (zh) 用于视频编码器和解码器的有效自适应滤波的方法和装置
CN104521234A (zh) 合并去区块处理和取样自适应偏移处理的视频处理方法和装置
Jia et al. Residual guided deblocking with deep learning
US20150110410A1 (en) Encoding apparatus and encoding method
CN111083486A (zh) 一种确定编码单元的色度信息的方法和装置
JP7460802B2 (ja) 画像強調方法及び装置
CN113243105A (zh) 亮度分量预测方法、编码器、解码器以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant