CN105794206B - 用于重建视频的自适应环路滤波方法 - Google Patents

用于重建视频的自适应环路滤波方法 Download PDF

Info

Publication number
CN105794206B
CN105794206B CN201480060386.3A CN201480060386A CN105794206B CN 105794206 B CN105794206 B CN 105794206B CN 201480060386 A CN201480060386 A CN 201480060386A CN 105794206 B CN105794206 B CN 105794206B
Authority
CN
China
Prior art keywords
filter
video
group
loop filter
rebuilding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480060386.3A
Other languages
English (en)
Other versions
CN105794206A (zh
Inventor
蔡家扬
陈庆晔
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105794206A publication Critical patent/CN105794206A/zh
Application granted granted Critical
Publication of CN105794206B publication Critical patent/CN105794206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭露了一种用于重建视频的自适应环路滤波方法，以提高性能。在一个实施例中，环路滤波器是从一个或多个候选滤波器中选择，其中，一个或多个候选滤波器包括全对称滤波器候选。候选滤波器也可包含1/2对称滤波器候选，旗标用于在不同对称之间做选择。在另一实施例中，揭露了基于优先级的块滤波器合并。根据相邻块组中组成员的优先级顺序，产生从由相邻块组中对应组成员使用的对应滤波器中选择的不多于第一数量的滤波器候选组成的滤波器合并列表。在又一实施例中，环路滤波器被相同组的多个图像单元的重建视频共用。滤波器合并组被连续组索引的差值确定。

Description

用于重建视频的自适应环路滤波方法
【相关申请的交叉引用】
本发明主张申请于2013年11月15日，序列号为61/904,511，标题为“Block-basedAdaptive Loop Filtering”的美国临时专利申请的优先权。将此美国临时专利申请以参考的方式并入本文中。
【技术领域】
本发明涉及视频编码。特别地，本发明涉及用于视频编码的基于块的自适应环路滤波(Block-Based Adaptive Loop Filtering)。
【背景技术】
高效视频编码(High efficiency video coding，HEVC)是由视频编码联合合作小组(Joint Collaborative Team on Video Coding，JCT-VC)开发的新一代的国际视频编码标准。此标准是基于现有的混合编码方法。根据HEVC，一张图片被分为多个不重叠的最大编码单元(Largest Coding Unit，LCU)，也被称为编码树块(Coding Tree Block，CTB)。编码单元(Coding Unit，CU)的像素值被空间或时间预测。所得到的残差信号被转换以用于进一步的冗余移除。接着，转换系数被量化及熵编码。重建的图片是从已解码的残差信号机预测信号中恢复。于重建后，重建的图片进一步由环路滤波来处理以减少编码失真。
在HEVC测试模型7(HEVC Test Model 7，HM-7)之前，一种环路滤波技术，称为自适应环路滤波(Adaptive Loop Filtering，ALF)，被包含于测试模型中。为了优化性能，ALF使用维纳滤波技术来导出滤波器系数。此外，多个滤波器可被用于不同的图片区域。系数被编码于自适应参数集(Adaptation Parameter Set，APS)，且开/关控制旗标被编码于CTU等级的语法元素。如图1所示，滤波器形状为中心具有3x3方块的9x7的交叉。由于此9x7滤波器的1/2对称性，只有一半的系数需要被编码。
图2所示为结合环路处理的自适应帧间/帧内视频编码系统的示例。输入图片由帧内预测210或帧间预测212(即，运动估计/运动补偿)来编码。对于帧间预测，运动估计/运动补偿212用于基于来自其它单个图片或多个图片的视频数据提供预测数据。开关214选择帧内预测210或帧间预测212的数据，且已选择的预测数据被提供到加法器216以形成预测误差，也被称为残差。接着，预测误差由转换/量化(Transform/Quantization，T/Q)218来处理。接着，已转换及已量化的残差由熵编码器222来编码以产生对应于已压缩视频数据的视频比特流。接着，与残差相关联的比特流根据辅助信息(side information)(例如运动、模式、以及与图像区域相关联的其它信息)被打包。辅助信息也可被熵编码以减少所需的带宽。于帧内模式，重建的块可用于形成空间邻近块的帧内预测。因此，来自重建(Reconstruction，REC)228的重建的块可被提供到帧内预测210。当帧间预测模式被使用时，参考的单个图片或多个图片也必须于编码器端被重建。因此，已转换及已量化的残差由逆量化/逆转换(Inverse Quantization/Inverse Transform，IQ/IT)226处理以恢复此残差。接着，残差被加回到REC 228的预测数据236以重建视频数据。重建视频数据可被储存于参考图片缓冲器234，且被用于其它帧的预测。
如图2所示，输入的视频数据于编码系统中进行一系列的处理。来自REC228的重建视频数据可能会因为一系列处理而受到各种损害。因此，为了提高视频质量，于重建视频数据被储存于参考图片缓冲器234之前，各种环路处理被应用于重建视频数据。包括解块(deblocking，DB)处理模块(图2中简写为DB)230、样本自适应偏置(Sample AdaptiveOffset，SAO)处理模块(图2中简写为SAO)231、ALF 232的环路滤波被开发出来以增强图片质量。环路滤波器信息可被并入(incorporate)到比特流中，以使解码器可以合适地恢复所需的信息。于图2中，在来自REC 228的重建视频被DF 230以及SAO 231处理之后，ALF 232被应用。另外，ALF 232还可被应用于来自REC 228的重建视频，或于来自REC 228的重建视频被DF 230处理之后，ALF 232被应用。
【发明内容】
本发明揭露了一种用于重建视频的自适应环路滤波方法，以提高性能。在一个实施例中，环路滤波器是从一个或多个候选滤波器中选择，其中，一个或多个候选滤波器包括圆形对称滤波器候选(circular symmetrical filter candidate)(也称为全对称滤波器候选)，且接着，环路滤波器被应用到与重建块相关联的第一视频数据。候选滤波器也可包含1/2对称滤波器候选(1/2-symmetrical filter candidate)。一个旗标可被并入比特流以从全对称滤波器候选以及1/2对称滤波器候选之间做选择。第一视频数据对应于重建视频数据、将解块过程(deblocking process)应用到重建视频数据所产生的输出数据、或将解块过程以及样本自适应偏置(Sample Adaptive Offset，SAO)过程应用到重建视频数据所产生的输出数据。
在另一实施例中，环路滤波器是从具有不同类型的对称自适应滤波器(adaptivefilter symmetry)的两个或者更多候选滤波器中选择，且接着，环路滤波器被应用到与重建块相关联的第一视频数据。环路滤波器的选择可以是隐式地或显式地。显式地选择是于比特流中并入旗标。
在另一实施例中，揭露了一种基于优先级的块滤波器合并。选择由对应于当前重建块的相邻块的组成员(set member)组成的相邻块组(neighboring block set)。根据相邻块组中组成员的优先级顺序，产生从由相邻块组中对应组成员使用的对应滤波器中选择的不多于第一数量的滤波器候选组成的滤波器合并列表。接着，环路滤波器从滤波器合并列表中被选择，且被应用到与当前重建块相关联的视频数据。每个对应组成员的对应滤波器以具有最高优先级的组成员到具有最低优先级的组成员的顺序被增加到滤波器合并列表中，直到达到最大数量的滤波器候选或达到具有最低优先级的组成员。于其它对应滤波器之前被增加到滤波器合并列表中的一个对应滤波器会被指定一个比其它对应滤波器小的滤波器索引。从滤波器合并列表中选择的环路滤波器可由滤波器索引来编码以确定所选择的环路滤波器。
在又一实施例中，环路滤波器可由相同组的多个图像单元中的重建视频共用。换句话说，多个图像单元被合并(merge)以使用相同的环路滤波器。因此，相同组的所有图像单元中的重建视频可使用用于该组的相同滤波器参数。重建视频的每个图片被分区为第一数量的图像单元，且第一数量的图像单元中的每一个被指定一个图像单元索引。根据本实施例，第一数量的图像单元被分为第二数量的滤波器组，且对应环路滤波器被选择以用于每个滤波器组。对应环路滤波器被应用于与每个滤波器组中所有图像单元相关联的视频数据。使用由每个组中图像单元的数量表示的用于每个滤波器组的组索引来传送与第二数量的滤波器组相关联的用于环路滤波器共用的信息。与滤波器组的环路滤波器相关联的滤波器信息也被传送于比特流中。在一个示例中，对于所有滤波器组，与每个滤波器组的对应环路滤波器相关联的组索引以及滤波器信息被并入已编码比特流的连续位置。
【附图说明】
图1所示为对应于中心具有3x3方块的9x7的交叉的滤波器形状。
图2所示为结合环路处理的帧内/帧间视频编码系统的示例。
图3A所示为具有9x9交叉以及3x3方块的滤波器覆盖区(footprint)的1/2对称滤波器的示例。
图3B所示为根据本发明实施例的具有9x9交叉以及3x3方块的滤波器覆盖区的全对称滤波器的示例。
图4所示为根据本发明实施例的被用于基于优先级的滤波器合并的当前块C的相邻块组的示例。
图5所示为根据本发明实施例的使用连续组索引的差值的滤波器合并的传送示例。
图6所示为根据本发明实施例的基于优先级的滤波器合并的示范性流程图。
图7所示为根据本发明实施例的于编码器侧用于滤波器合并的传送的示范性流程图，其中，重建视频的每个图片被分区为第一数量的图像单元，且第一数量的图像单元中的每一个被指定一个图像单元索引。
图8所示为根据本发明实施例的于解码器侧用于滤波器合并的传送的示范性流程图，其中，重建视频的每个图片被分区为第一数量的图像单元，且第一数量的图像单元中的每一个被指定一个图像单元索引。
【具体实施方式】
容易理解的是本发明的组件，通常被描述并显示于本发明的附图中，可以被布置以及设计成多种不同的结构。因此，下文对本发明的系统以及方法的实施例的更细节的描述，如附图中所表示的，并非意在限制本发明要求保护的范围，而仅仅是代表本发明所选择的实施例。
参考本说明书全文的“一个实施例”，“一实施例”，或类似的语言表示描述于相关的实施例中的一个特定特征、结构、或特性，其可以被包含于本发明的至少一个实施例。因此，出现于本说明书全文各种地方的短语“于一个实施例”或“在一实施例中”不一定全是指相同的实施例。
此外，所描述的特征、结构、或特性可以在一个或多个实施例中以任何合适的方式进行组合。然而，本领域技术人员将认识到，本发明在没有一个或多个具体细节可以被实现，或以其它方法、部件等方式实现。于其它实例中，公知的结构或操作未被示出或做细节上的描述，以避免混淆本发明的方面。
本发明所示的实施例将通过参考附图做最好的理解，其中，全文相同的部分由相同的数字来指定。下文的描述旨在仅通过示例的方式，以及简单示出与本文要求保护的发明一致的装置以及方法的某些选择的实施例。
于本发明的各实施例中，揭露了基于块的自适应环路滤波技术以提高编码效率。
第一实施例–对称自适应滤波器。与编码滤波器系数相关联的比特率开销(bitrate overhead)取决于待编码滤波器抽头(filter tap)的数量。当对称滤波器被使用，只有部分滤波器系数需要被编码。在相关技术中，除了中心系数外，被称为1/2对称滤波器的设计只让一半的滤波器系数被编码。如图3A所示，滤波器系数的分布是沿对角线方向1/2对称，且只有一半的滤波器抽头需要被编码。
于本发明的第一实施例中，揭露了全对称滤波器。如图3B所示，滤波器系数的分布像一个同心圆。对于具有9x9交叉以及3x3方块的滤波器覆盖区的全对称滤波器的示例，只有5个滤波器系数需要被编码。因此，与图3A中的滤波器相比，系数的数量从11个减少到了5个。此外，旗标可被编码以指示哪个滤波器对称被选择。例如，旗标可用于分别在如图3A以及图3B所示的1/2对称滤波器以及全对称滤波器之间做选择。第一实施例中的可切换的滤波器对称设计(switchable filter symmetry design)允许适应性地切换于两个或者更多种类的对称自适应滤波器之间，例如：于图3A中的1/2对称滤波器、以及图3B中的全对称滤波器之间切换。虽然根据本发明第一实施例，具有9x9交叉以及3x3方块的滤波器覆盖区被用作可选择滤波器对称的示例，其它滤波器覆盖区也可用于提供可选择滤波器对称。例如，具有7x7交叉以及3x3方块的滤波器覆盖区也可被使用。
第二实施例–基于优先级的块滤波器合并。虽然与1/2对称滤波器相比，全对称滤波器可以进一步减少与滤波器系数相关联的比特率开销，滤波器合并技术甚至可以完全节约(totally spare)出用于传送一个块的系数的需求。通常，相邻编码块的纹理特性非常类似于当前编码块。因此，用于相邻编码块的环路滤波器可被当前编码块直接使用，以节省比特率开销。两个相邻块共用相同滤波器系数的情形被称为滤波器合并。滤波器合并可使用任何环路滤波器类型，例如：1/2对称滤波器、全对称滤波器、或非对称滤波器。
于本发明的第二实施例中，揭露了基于优先级的块滤波器合并方案。编码过程被描述如下：
步骤1：从M个可能的相邻块中选择N个候选。M个可能相邻块具有预定义的优先级顺序。如果可能的相邻块位于图片、条带、或区块边界外，则其被认为是不可用的。
步骤2：从多达N个候选中，选择一个滤波器且于比特流中编码其滤波器索引。
因此，于步骤1之后，解码器可重建N个候选，且接着根据已解码的滤波器索引选择滤波器。例如，如图4所示，C为当前编码块，且有6个可能的相邻块。于图4中，与相邻块相关联的数量指示被用于形成合并列表的优先级顺序。例如，在此示例中块C上方的块具有优先级“0”，即，最高优先级。左侧的块具有优先级“1”，即，第二最高优先级。合并列表是基于相邻块使用的环路滤波器来产生。合并列表产生过程开始于具有最高优先级的相邻块。由相邻块使用的环路滤波器被增加到合并列表中，且滤波器索引被指定至已增加的滤波器。如果滤波器已经位于合并列表中，则产生过程移至下一相邻块。合并列表产生过程一直继续直到达到最大数量的候选，或最后一个相邻块(即，最低优先级相邻块)已经被检查。在一个示例中，多达4个来自相邻块的滤波器候选可被选择作为合并列表。因此，2比特滤波器索引将可足够指示哪个相邻块的滤波器候选被选择以用于当前编码块。换句话说，当前块与相邻块合并，且使用与对应相邻块相同的滤波器参数。
第三实施例–语法结构。本发明的实施例使用分层的语法结构来传送被选择用于每个编码块的ALF滤波器。例如，如下所示，不同类型的语法元素可被包含于序列等级、图片等级、条带等级、以及编码树块(coding tree block，CTB)等级：
a.序列等级
1比特旗标被编码以指示用于当前编码序列的ALF是否被启用。
b.图片等级
共用的滤波器参数被编码于图片等级。于图片等级被共用的滤波器可被认为是不同条带中的全局共用滤波器(global sharing filter)。
c.条带水平
独立的旗标(例如，3)被编码以指示用于编码条带中编码块的每个颜色分量的ALF是否被启用。
d.CTB等级
CTB等级中的三个滤波器模式被使用，三个滤波器模式包括新滤波器(NEW)模式、块合并(MERGE)模式、以及共用滤波器(SHARE)模式。滤波器模式索引被编码以指示哪个滤波器模式被选择。对于新滤波器模式，新的滤波器系数被编码以用于当前CTB。对于块合并模式，相邻滤波器被使用且仅有合并索引被编码。对于共用滤波器模式，被编码于图片等级的共用滤波器被使用，且于滤波器模式索引后没有语法元素被编码。
第四实施例–用于滤波器合并的语法结构。于HM7.0中，ALF参数被编码于图片等级，且多个滤波器被提供以用于亮度分量。图片中的像素被分类为多个组，且每个组具有一个对应滤波器。连续组可以被合并且共用相同滤波器以减少所需要的辅助信息(sideinfromation)。然而，当滤波器数量小时，初始的合并语法是没有效率的。因此，揭露了一种改进的语法设计，合并信息是通过使用连续组索引之间的差值来表示。例如，每个帧被分区为多个图像分区或图像单元，例如：CTB或编码单元。每个图像分区或图像单元被指定一个图像单元索引。滤波器被用于每个组，且该组可被组索引确定，组索引可对应于用于该组中第一图像单元的图像单元索引。例如，如图5所示，用于每帧的亮度分量的4个滤波器可被使用，且与底层图像分区或图像单元相关联的对应组索引分别为0、4、10、以及12。换句话说，图像单元索引为0到3的图像单元使用第一滤波器，图像单元索引为4到9的图像单元使用第二滤波器等。在本发明实施例中，两个连续组索引之间的差值被编码以表示合并信息。因此，对应组索引差值为4(即：4-0)、6(即：10-4)、以及2(即：12-10)。组索引差值等于对应组中图像单元的数量。此外，两个组索引之间的差值以及对应滤波器系数可以交错的方式被编码。换句话说，每个组索引及相关联的滤波器参数位于比特流中的连续位置，且其被应用于所有组。表1所示为根据本实施例的示范性语法设计。
表1
于表1中，每帧的滤波器总数量是由备注(1)所示的num_filters_per_frame_minus1+1来指示。由备注(2)之间所指示，当前组索引是从先前组索引以及组索引差值来恢复。于备注(3)所指示，用于当前组索引的对应滤波器系数被并入对应组索引之后。
图6所示为根据本发明实施例的基于优先级的滤波器合并的示范性流程图。如步骤610所示，系统接收与当前重建块相关联的第一块数据。对于编码，与当前重建块相关联的第一块数据对应于与来自编码器侧的重建环路的当前重建块相关的数据。对于解码，与当前重建块相关联的第一块数据对应于与从比特流中编码及重建的当前重建块相关的数据。第一块数据对应于当前重建块、将解块过程应用到所述当前重建块得到的第一输出数据、或将解块过程以及样本自适应偏置过程应用到当前重建块得到的第二输出数据。第一块数据可从存储器(例如：计算机存储器、缓冲器(RAM或DRAM)或其它媒体)中获取。输入数据还可从处理器(例如：控制器、中央处理单元、数字信号处理器或、产生输入数据的电子电路)接收。于步骤620中，选择由对应于当前重建块的相邻块的组成员所组成的相邻块组。如步骤630所示，根据相邻块组中组成员的优先级顺序，产生从由相邻块组中对应组成员使用的对应滤波器中选择的不多于第一数量的滤波器候选组成的滤波器合并列表。于步骤640中，从滤波器合并列表中选择环路滤波器，且于步骤650中，使用对应滤波器候选的滤波器参数将环路滤波器应用到第一块数据。
图7所示为根据本发明实施例的用于编码器侧的滤波器合并的传送的示范性流程图，其中，重建视频的每个图片被分区为第一数量的图像单元，且第一数量的图像单元中的每一个被指定一个图像单元索引。于步骤710中，将第一数量的图像单元分为第二数量的滤波器组。于步骤720中，选择用于每个滤波器组的对应环路滤波器。于步骤730中，将对应环路滤波器应用到与所述每个滤波器组中所有图像单元相关联的第一视频数据。于步骤740中，使用由所述每个组中图像单元的总数量表示的用于每个滤波器组的组索引来传送与第二数量的滤波器组相关联的环路滤波器共用的信息。于步骤750中，将与对应环路滤波器相关联的滤波器信息传送给第二数量的滤波器组。
图8所示为根据本发明实施例的用于解码器侧的滤波器合并的传送的示范性流程图，其中，重建视频的每个图片被分区为第一数量的图像单元，且第一数量的图像单元中的每一个被指定一个图像单元索引。于步骤810中，系统接收与第一数量的图像单元相关联的第一视频数据。于步骤820中，从已编码比特流中导出由所述每个滤波器组中图像单元的总数量表示的用于每个滤波器组的组索引。于步骤830中，从已编码比特流中导出用于所述每个滤波器组的与对应环路滤波器相关联的滤波器信息。于步骤840中，将对应环路滤波器应用到与所述每个滤波器组中所有图像单元相关联的第一视频数据。
根据本发明以上所示的流程图旨在说明自适应环路滤波方法的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分步骤，或合并步骤来实施本发明。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。
如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (17)

1.一种用于重建视频的自适应环路滤波方法，其特征在于，所述方法包括：
接收与重建视频数据相关联的第一视频数据；
从具有不同类型的对称自适应滤波器的两个或者更多候选滤波器中选择第一环路滤波器，其中，所述两个或者更多候选滤波器包括全对称滤波器候选；以及
将所述第一环路滤波器应用于所述第一视频数据。
2.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，所述第一视频数据对应于所述重建视频数据、将解块过程应用到所述重建视频数据所产生的第一输出数据、或将所述解块过程以及样本自适应偏置过程应用到所述重建视频数据所产生的第二输出数据。
3.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，所述两个或者更多候选滤波器也包括1/2对称滤波器候选。
4.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，旗标被并入比特流以从所述全对称滤波器候选以及具有不同类型的对称自适应滤波器候选之间做选择。
5.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，
所述第一环路滤波器是根据比特流中的旗标被选择。
6.一种用于重建视频的自适应环路滤波方法，其特征在于，所述方法包括：
接收与当前重建块相关联的第一块数据；
选择由对应于所述当前重建块的相邻块的组成员组成的相邻块组；
根据所述相邻块组中所述组成员的优先级顺序，产生从由所述相邻块组中对应组成员使用的对应滤波器中选择的不多于第一数量的滤波器候选组成的滤波器合并列表；
从所述滤波器合并列表中选择环路滤波器；以及
使用对应滤波器候选的滤波器参数将所述环路滤波器应用到所述第一块数据。
7.如权利要求6所述的用于重建视频的自适应环路滤波方法，其特征在于，所述产生所述滤波器合并列表的步骤以具有最高优先级的组成员到具有最低优先级的组成员的顺序将每个对应组成员的所述对应滤波器增加到所述滤波器合并列表中，直到达到所述第一数量的滤波器候选或达到具有所述最低优先级的组成员。
8.如权利要求7所述的用于重建视频的自适应环路滤波方法，其特征在于，于第二对应滤波器之前被加入到所述滤波器合并列表的第一对应滤波器被指定一个比所述第二对应滤波器小的滤波器索引。
9.如权利要求6所述的用于重建视频的自适应环路滤波方法，其特征在于，从所述滤波器合并列表中选择的所述环路滤波器可由滤波器索引来编码以确定所述环路滤波器。
10.如权利要求6所述的用于重建视频的自适应环路滤波方法，其特征在于，如果所述相邻块组中的所述相邻块位于图片边界外、与包含所述当前重建块的当前条带不同的条带中、或与包括所述当前重建块的当前区块不同的区块中，所述相邻块被认为是不可用的，且所述对应滤波器不被增加到所述滤波器合并列表中。
11.如权利要求6所述的用于重建视频的自适应环路滤波方法，其特征在于，所述第一块数据对应于所述当前重建块、将解块过程应用到所述当前重建块得到的第一输出数据、或将所述解块过程以及样本自适应偏置过程应用到所述当前重建块得到的第二输出数据。
12.一种视频编码器中用于重建视频的自适应环路滤波方法，其特征在于，
所述重建视频的每个图片被分区为第一数量的图像单元，且所述第一数量的图像单元中的每一个被指定一图像单元索引，所述方法包括：
将所述第一数量的图像单元分为第二数量的滤波器组；
为每个滤波器组选择对应环路滤波器；
将所述对应环路滤波器应用至与所述每个滤波器组中所有图像单元相关联的第一视频数据；
使用由所述每个滤波器组中图像单元的总数量表示的用于每个滤波器组的组索引来传送与所述第二数量的滤波器组相关联的用于环路滤波器共用的信息；以及
传送与用于所述第二数量的滤波器组的每个对应环路滤波器相关联的滤波器信息。
13.如权利要求12所述的视频编码器中用于重建视频的自适应环路滤波方法，其特征在于，对于所有滤波器组，与每个滤波器组的每个对应环路滤波器相关联的所述组索引以及所述滤波器信息被并入已编码比特流的连续位置。
14.如权利要求12所述的视频编码器中用于重建视频的自适应环路滤波方法，其特征在于，所述第一视频数据对应于所述重建视频、将解块过程应用于所述重建视频所得到的第一输出数据、或将所述解块过程以及样本自适应偏置过程应用到所述重建视频所得到的第二输出数据。
15.一种视频解码器中用于重建视频的自适应环路滤波方法，其特征在于，
所述重建视频的每个图片被分区为第一数量的图像单元，且所述第一数量的图像单元中的每一个被指定一图像单元索引，所述方法包括：
接收与所述第一数量的图像单元相关联的第一视频数据；
从已编码比特流中导出由所述每个滤波器组中图像单元的总数量表示的用于每个滤波器组的组索引；
从所述已编码比特流中导出与用于所述每个滤波器组的每个对应环路滤波器相关联的滤波器信息；以及
将每个对应环路滤波器应用到与所述每个滤波器组中所有图像单元相关联的所述第一视频数据。
16.如权利要求15所述的视频解码器中用于重建视频的自适应环路滤波方法，
其特征在于，对于所有滤波器组，与每个滤波器组的每个对应环路滤波器相关联的所述组索引以及所述滤波器信息被并入所述已编码比特流的连续位置。
17.如权利要求15所述的视频解码器中用于重建视频的自适应环路滤波方法，
其特征在于，所述第一视频数据对应于所述重建视频、将解块过程应用到所述重建视频所得到的第一输出数据，或将所述解块过程以及样本自适应偏置过程应用到所述重建视频所得到的第二输出数据。
CN201480060386.3A 2013-11-15 2014-11-10 用于重建视频的自适应环路滤波方法 Active CN105794206B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361904511P 2013-11-15 2013-11-15
US61/904,511 2013-11-15
US201461948183P 2014-03-05 2014-03-05
US61/948,183 2014-03-05
PCT/CN2014/090683 WO2015070739A1 (en) 2013-11-15 2014-11-10 Method of block-based adaptive loop filtering

Publications (2)

Publication Number Publication Date
CN105794206A CN105794206A (zh) 2016-07-20
CN105794206B true CN105794206B (zh) 2018-12-28

Family

ID=53056766

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480060386.3A Active CN105794206B (zh) 2013-11-15 2014-11-10 用于重建视频的自适应环路滤波方法
CN201480060385.9A Active CN105850121B (zh) 2013-11-15 2014-11-13 用于基于块的自适应环路滤波的滤波器控制的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480060385.9A Active CN105850121B (zh) 2013-11-15 2014-11-13 用于基于块的自适应环路滤波的滤波器控制的方法

Country Status (6)

Country Link
US (2) US10567806B2 (zh)
EP (3) EP3761641A1 (zh)
CN (2) CN105794206B (zh)
BR (1) BR112016011075B1 (zh)
CA (1) CA2929894A1 (zh)
WO (2) WO2015070739A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107005713A (zh) * 2014-11-04 2017-08-01 三星电子株式会社 施加边缘类型偏移的视频编码方法和设备以及视频解码方法和设备
CN107736027B (zh) * 2015-06-12 2021-06-01 松下知识产权经营株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US10382766B2 (en) * 2016-05-09 2019-08-13 Qualcomm Incorporated Signalling of filtering information
CN109845255A (zh) * 2016-10-03 2019-06-04 夏普株式会社 用于将解块滤波器应用于重构视频数据的系统和方法
US11743458B2 (en) 2018-10-23 2023-08-29 Hfi Innovation Inc. Method and apparatus for reduction of in-loop filter buffer
CN112997500B (zh) * 2018-11-09 2023-04-18 北京字节跳动网络技术有限公司 对基于区域的自适应环路滤波器的改进
GB2580173B (en) 2018-12-21 2022-07-27 Canon Kk A filter
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
CN117395397A (zh) * 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
JP7291845B2 (ja) 2019-07-11 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングにおけるサンプルパディング
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
US11616962B2 (en) * 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
WO2021008546A1 (en) 2019-07-15 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Accessing samples across video unit boundaries in adaptive loop filtering
CN114503594B (zh) 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
EP4022910A4 (en) * 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
WO2021133236A1 (en) * 2019-12-24 2021-07-01 Telefonaktiebolaget Lm Ericsson (Publ) Virtual boundary processing for adaptive loop filtering
US11716469B2 (en) * 2020-12-10 2023-08-01 Lemon Inc. Model selection in neural network-based in-loop filter for video coding
CN112927311B (zh) * 2021-02-24 2022-06-03 上海哔哩哔哩科技有限公司 样点自适应补偿的边带补偿模式的数据处理方法、装置
CN113259669B (zh) * 2021-03-25 2023-07-07 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
CN115842914A (zh) * 2021-12-14 2023-03-24 中兴通讯股份有限公司 环路滤波、视频编码、视频解码方法、电子设备及介质
WO2024073145A1 (en) * 2022-09-30 2024-04-04 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for adaptive loop filtering and cross-component adaptive loop filter

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1571515A (zh) * 2004-05-13 2005-01-26 中国科学院计算技术研究所 一种环路滤波器及滤波方法
CN1669326A (zh) * 2002-07-15 2005-09-14 皇家飞利浦电子股份有限公司 使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码
CN101411202A (zh) * 2006-03-30 2009-04-15 株式会社东芝 图像编码装置和方法以及图像解码装置和方法
CN102804776A (zh) * 2010-05-10 2012-11-28 联发科技股份有限公司 自适应回路滤波方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US20130058421A1 (en) * 2010-05-17 2013-03-07 Thomson Licensing Methods and apparatus for adaptive directional filter for video restoration
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
WO2012094750A1 (en) 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using multiple filter shapes
CA2823902C (en) * 2011-04-21 2018-03-27 Mediatek Inc. Method and apparatus for improved in-loop filtering
US8908979B2 (en) * 2011-06-16 2014-12-09 Samsung Electronics Co., Ltd. Shape and symmetry design for filters in video/image coding
NO335667B1 (no) * 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
WO2013042884A1 (ko) * 2011-09-19 2013-03-28 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
KR101892329B1 (ko) * 2011-11-03 2018-08-27 톰슨 라이센싱 이미지 정교화에 기초한 비디오 인코딩 및 디코딩
US20130142251A1 (en) * 2011-12-06 2013-06-06 Sony Corporation Syntax extension of adaptive loop filter in hevc
US8983218B2 (en) * 2012-04-11 2015-03-17 Texas Instruments Incorporated Virtual boundary processing simplification for adaptive loop filtering (ALF) in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669326A (zh) * 2002-07-15 2005-09-14 皇家飞利浦电子股份有限公司 使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码
CN1571515A (zh) * 2004-05-13 2005-01-26 中国科学院计算技术研究所 一种环路滤波器及滤波方法
CN101411202A (zh) * 2006-03-30 2009-04-15 株式会社东芝 图像编码装置和方法以及图像解码装置和方法
CN102804776A (zh) * 2010-05-10 2012-11-28 联发科技股份有限公司 自适应回路滤波方法和装置

Also Published As

Publication number Publication date
EP3069511A4 (en) 2017-09-27
EP3069511A1 (en) 2016-09-21
WO2015070739A1 (en) 2015-05-21
BR112016011075A2 (zh) 2017-08-08
EP3069512A4 (en) 2017-06-14
CN105850121A (zh) 2016-08-10
BR112016011075B1 (pt) 2023-04-04
CA2929894A1 (en) 2015-05-21
CN105850121B (zh) 2018-10-12
US20160269753A1 (en) 2016-09-15
EP3761641A1 (en) 2021-01-06
US20160261863A1 (en) 2016-09-08
CN105794206A (zh) 2016-07-20
US10567806B2 (en) 2020-02-18
EP3069512A1 (en) 2016-09-21
WO2015070772A1 (en) 2015-05-21
US10123048B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
CN105794206B (zh) 用于重建视频的自适应环路滤波方法
EP3590256B1 (en) Method and apparatus of implicit intra coding tool settings with intra directional prediction modes for video coding
CN111869219B (zh) 对图像进行编码或解码的方法和装置
AU2019246538B2 (en) Image processing device and image processing method
CN105828076B (zh) 一种编码设备及方法
CN109891883A (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
CN110024384A (zh) 基于帧间预测模式处理视频的方法和用于该方法的设备
AU2011236109B2 (en) Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
CN105474639A (zh) 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序
KR20130006616A (ko) 비디오 인코딩 및 디코딩을 위한 암시적인 적응 움직임 벡터 예측자 선택을 위한 방법 및 장치
CN105981385A (zh) 具有边界滤波控制的帧内预测编码方法及其装置
KR101715150B1 (ko) 패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치
TWI727826B (zh) 使用內預測之寫碼技術
US11611769B2 (en) Video coding with triangular shape prediction units
JP2022539768A (ja) 画像予測方法、エンコーダ、デコーダ及び記憶媒体
CN106134192B (zh) 图像解码装置、图像解码方法及集成电路
CN109845256A (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN115104301A (zh) 用于视频编码或解码的基于神经网络的帧内预测
JP2024026317A (ja) 符号化ユニットを復号および符号化する方法、装置およびプログラム
CN102577382A (zh) 用于视频编码器和解码器的有效自适应滤波的方法和装置
CN115002460A (zh) 视频解码设备、视频编码设备和非暂时性计算机可读介质
KR20200000543A (ko) 지도 학습을 이용한 영상 개선 방법 및 장치
JP2023528609A (ja) 符号化・復号方法、装置及びそのデバイス
CN111083486A (zh) 一种确定编码单元的色度信息的方法和装置
CN110944175A (zh) 一种视频编解码方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant