CN103503456B - 用于重建视频的环内处理方法及其装置 - Google Patents

用于重建视频的环内处理方法及其装置 Download PDF

Info

Publication number
CN103503456B
CN103503456B CN201280021140.6A CN201280021140A CN103503456B CN 103503456 B CN103503456 B CN 103503456B CN 201280021140 A CN201280021140 A CN 201280021140A CN 103503456 B CN103503456 B CN 103503456B
Authority
CN
China
Prior art keywords
pixel
loop processing
video
virtual boundary
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280021140.6A
Other languages
English (en)
Other versions
CN103503456A (zh
Inventor
黄毓文
蔡家扬
陈庆晔
傅智铭
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103503456A publication Critical patent/CN103503456A/zh
Application granted granted Critical
Publication of CN103503456B publication Critical patent/CN103503456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本发明揭露一种用于重建视频的环内处理方法及其装置。该方法及其装置配置该环内处理，从而使得该处理不需要虚拟边界另一侧的像素或需要虚拟边界另一侧较少的像素。当待处理像素的该环内处理需要该虚拟边界另一侧的像素时，由替换像素替换该虚拟边界另一侧的像素。当该处理需要该虚拟边界另一侧的像素时，也可配置该环内处理以跳过该像素。当该环内处理需要该虚拟边界另一侧的像素时，也可配置该环内处理以改变ALF滤波形状或滤波尺寸。已滤波的输出可与该待处理像素进行线性或非线性结合以生成最终滤波输出。

Description

用于重建视频的环内处理方法及其装置
交叉引用
本发明要求如下优先权：编号为61/484,449，申请日为2011年5月10日，名称为“Reduction of Decoder Line Buffers for SAO and ALF”的美国临时专利申请，编号为61/498,265，申请日为2011年6月17日，名称为“Reduction of SAO and ALF Line Buffersfor LCU-based Decoding”的美国临时专利申请，编号为61/521,500，申请日为2011年8月9日，名称为“Reduction of Decoder Line Buffers for SAO and ALF”的美国临时专利申请，编号为61/525,442，申请日为2011年8月19日，名称为“Boundary Processing forSample Adaptive Offset or Loop Filter”的美国临时专利申请，编号为61/532,958，申请日为2011年9月9日，名称为“Virtual Boundary Processing for Sample AdaptiveOffset”的美国临时专利申请，编号为61/543,199，申请日为2011年10月4日，名称为“Reduction of Decoder Line Buffers for SAO and ALF”的美国临时专利申请。上述美国临时专利申请在此一并作为参考。
技术领域
本发明有关于视频编码系统。特别地，本发明有关于用于减少与视频编码器或解码器相关联的SAO与ALF行缓冲区(line buffer)的方法及其装置。
背景技术
运动估计(motion estimation)是利用视频序列中时间冗余(temporalredundancy)的一种有效帧间编码技术。运动补偿帧间编码(motion compensated inter-frame coding)已经广泛应用于各种国际视频编码标准。在各种编码标准中采用的运动估计是通常以区块(block)为基础的技术，其中为每个宏块(macroblock)或相似区块配置确定例如编码模式与运动矢量的运动信息。此外，也可自适应地采用帧内编码(intra-coding)，其中在无需参考任何其他图像的情况下处理图像。通常可进一步由变换(transformation)、量化(quantization)以及熵编码(entropy coding)处理帧间预测与帧内预测残差(residue)以生成压缩视频比特流。在编码进程期间，尤其是在量化进程中引入了编码伪影(coding artifact)。为了减轻编码伪影，在较新的编码系统中可对重建视频采用附加处理以提高图像品质。经常在环内操作(in-loop operation)中配置上述附加处理从而使得编码器与解码器可得到相同的参考图像以取得改进的系统性能。
图1A描述包含环内处理的示例自适应帧间/帧内视频编码系统。对于帧间预测，可使用运动估计(Motion Estimation,ME)/运动补偿(Motion Compensation,MC)模块112基于其他图像的视频数据提供预测数据。开关114选择帧内预测模块110或帧间预测数据并且将选择的预测数据提供至加法器116以产生预测误差(prediction error)，也称为残差。然后变换(T)模块118处理预测误差，接着量化(Q)模块120处理预测误差。接着，熵编码器122编码已变换及已量化的残差从而形成对应压缩视频数据的视频比特流。然后，将边信息(side information)加入与变换系数相关联的比特流，其中上述边信息可为例如与图像区域相关联的运动、模式及其他信息。上述边信息也可进行熵编码处理以减小需求带宽。相应地如图1A所示也将边信息数据提供给熵编码器122。当使用帧间预测模式时，必须也在编码器端重建参考图像。因此，逆量化(Inverse Quantization,IQ)模块124与逆变换(InverseTransformation,IT)模块126处理已变换及已量化残差以恢复残差。接着重建(REC)模块128将上述残差叠加至预测数据136以重建视频数据。可将上述重建视频数据储存至参考图像缓冲器134中并且将上述重建视频数据用于其他帧的预测。
如图1A所示，接收的视频数据在解码系统中经过一系列处理。由于上述一系列处理，来自REC模块128的重建视频数据经受了各种损害。相应地，在重建视频数据储存入参考图像缓冲器134之前对上述重建视频数据采用各种环路处理从而改善视频品质。在当前发展的高效率视频编码(High Efficiency Video Coding,HEVC)标准中，已经发展出了去块滤波(Deblocking Filter,DF)130、样本自适应偏移(Sample Adaptive Offset,SAO)131与自适应环路滤波(Adaptive Loop Filter,ALF)132以提高图像品质。环内滤波信息也必须并入比特流中从而使得解码器可正确恢复所需信息。因此，将来自SAO、ALF的环内滤波信息提供至熵编码器122用于并入视频比特流中。在图1A中，首先对重建视频应用DF130；接着将SAO131应用于DF已处理视频；然后将ALF132应用于SAO已处理视频。然而，可重新调整DF、SAO、ALF的处理顺序。
图1B显示图1A的编码器的对应解码器。视频解码器142解码视频比特流以恢复已变换与已量化的残差、SAO/ALF信息与其他系统信息。在解码器端，仅执行运动补偿(MC)模块113来代替ME/MC。解码进程与在编码器端的重建环路相似。使用已恢复变换与量化残差、SAO/ALF信息与其他系统信息来重建视频数据。DF130、SAO131、ALF132可进一步处理已重建视频以产生最终改进的解码视频。
依据最大编码单元(Largest Coding Unit,LCU)应用HEVC中的编码进程。可使用四叉树划分(quadtree)自适应地将LCU分割为编码单元。在每个叶编码单元(Leaf CU)中，为每个8×8区块执行DF并且在HEVC测试模型版本4.0(HM-4.0)中，将DF应用于8×8区块边界。对于每个8×8区块，首先采用贯穿垂直区块边界的水平滤波，然后接着采用贯穿水平区块边界的垂直滤波。在亮度(luma)区块边界处理期间，将每边的四个像素用于滤波参数推导，以及在滤波后可改变每边上的多达三个像素。对于贯穿垂直区块边界的水平滤波，将未滤波的重建像素（即DF前像素）用于滤波参数推导并且将其作为源像素用于滤波。对于贯穿水平区块边界的垂直滤波，将未滤波的重建像素（即DF前像素）用于滤波参数推导并且将DF中间像素（即水平滤波后的像素）用于滤波。对于色度(chroma)区块边界的DF处理，将每边的两个像素用于滤波参数推导，以及在滤波后可改变每边上的至多一个像素。对于贯穿垂直区块边界的水平滤波，将未滤波的重建像素用于滤波参数推导并且将其作为源像素用于滤波。对于贯穿水平区块边界的垂直滤波，将DF处理中间像素（即在水平滤波后的像素）用于滤波参数推导并也将其作为源像素用于滤波。
如图1A所示，在HM-4.0中也采用样本自适应偏移(SAO)131。可将SAO视为一种处理仅应用于一个像素的特定滤波情况。在SAO中，首先执行像素分类以将像素分为不同组（也称为类别或种类）。每个像素的像素分类以3×3窗口为基础。基于图像或区域中的所有像素分类，为每组像素取得并发送一个偏移量。在HM-4.0中，将SAO应用于亮度与色度组分，并且可单独处理每个亮度组分。SAO可将一幅图像划分为多个LCU对齐区域(LCU-alignedregion)，并且每个区域可在两种带偏移(Band Offset,BO)类型、四种边偏移(EdgeOffset,EO)类型以及非处理(OFF)中选择一种SAO类型。对于每个待处理（也称为待滤波）的像素，BO使用像素强度(pixel intensity)将像素归类于带中。像素强度范围可平均分为32个带。在像素分类后，为每个带中的所有像素取得一个偏移量，并且选择并编码中心16个带以及外围16个带的偏移量。对于EO，其使用待处理像素的两个相邻像素以将像素分至类别中。如图2A所示，四个EO类型对应0°、90°、135°与45°。与BO相似，可为每个类别的所有像素取得一个偏移量，其中类别0除外，并且强制类别0使用零偏移量。列表1列举了EO像素分类，其中“C”表示待分类的像素。
列表1.
类别 条件
1 C<两个相邻像素值
2 C<一个相邻像素值&&C==一个相邻像素值
3 C>一个相邻像素值&&C==一个相邻像素值
4 C>两个相邻像素值
0 其他
如图1A所示，自适应环路滤波(ALF)132是HM-4.0中的一种提高图像品质的环内滤波方法。可使用多种类型的亮度滤波轨迹(footprint)与色度滤波轨迹。例如，图2B所示为9×9十字形滤波以及图2C所示为5×5雪花形滤波。每幅图像可为亮度信号选择一种滤波形状以及为色度信号选择一种滤波形状。在HM-4.0中，可为每幅图像使用多达十六种亮度ALF滤波以及最多一种色度ALF滤波。为了允许ALF定位，存在用于亮度像素的两种模式以选择滤波。一种模式是基于区域自适应(Region-based Adaptation,RA)模式，以及另一种模式是基于区块自适应(Block-based Adaptation,BA)模式。除了在图像层用于自适应模式选择的RA与BA，滤波使用旗标(filter usage flag)可进一步控制大于阈值的编码单元(CU)以局部地启动或禁用ALF操作。至于色度组分，既然它们相对较一致，则在HM-4.0中不使用局部自适应，并且图像的两个色度组分共享相同滤波。
RA模式简单地将一幅亮度图像分割为16个区域。一旦获知图像尺寸，则决定并固定16个区域。上述区域可合并，并且在合并后一种滤波用于每个区域。因此，对于RA模式，为每幅图像发送多达16种滤波。另一方面，BA模式使用边缘活动与方向作为每个4×4区块的特性(property)。计算4×4区块的特性需要相邻像素。例如，如图2D所示，在HM-3.0中使用8×8窗口210并且在HM-4.0中使用5×5窗口220。在计算完4×4区块的特性后，将区块分类为15个类别。上述类别可进行合并，并且在合并后为每个类别使用一种滤波。因此，对于BA模式，发送多达15种滤波。
图1A与图1B描述依据HM-4.0的示例编码器与解码器实施例。编码进程分为两部分。一部分是基于LCU处理，包含帧内预测(Intra Prediction,IP)模块110、运动估计/运动补偿(Motion Estimation/Motion Compensation,ME/MC)模块112、变换(T)模块118、量化(Q)模块120、逆量化(IQ)模块124、逆变换(IT)模块126与重建(REC)模块128。另一部分是基于图像处理，包含去块滤波(DF)130、样本自适应偏移(SAO)131以及自适应环路滤波(ALF)132。熵编码器122可使用基于图像处理并且使用队列参数集合(Sequence Parameter Set,SPS)、图像参数集合(Picture Parameter Set,PPS)或条带层语法元素指示上述选择。熵编码器122也可使用基于LCU处理并且使用LCU层语法元素指示上述选择。相似地，解码进程也可分为两部分。一部分是基于LCU处理，包含使用帧内预测(IP)模块110、运动补偿(MC)模块113、逆量化(IQ)模块124、逆变换(IT)模块126以及重建(REC)模块128。另一部分是基于图像处理，包含去块滤波(DF)130、样本自适应偏移(SAO)131以及自适应环路滤波(ALF)132。熵解码器142可属于如SPS、PPS或条带层语法元素所指示的基于图像处理。熵解码器142也可属于如LCU层语法元素指示的基于LCU处理。在基于软件实施例中，对于DF、SAO与ALF，基于图像处理比基于LCU处理更容易实现。然而，对于基于硬件或基于嵌入式软件实施例，由于需要较大的图像缓冲区，因此基于图像处理实际上是无法接受的。芯片上图像缓冲区(on-chip picture buffer)可降低对高系统带宽的需求。然而，芯片上图像缓冲区可显著地增加芯片成本。另一方面，芯片外图像缓冲区(off-chip picture buffer)将明显增加外部存储器访问、功率消耗以及数据访问延迟。因此，对于符合成本效益的编码器与解码器产品使用基于LCU的DF、SAO、ALF是非常令人满意的。
当基于LCU处理用于DF、SAO与ALF时，可随着用于多个LCU并行处理的LCU管线方式，依据逐行扫描顺序(raster scan order)以LCU为单位进行编码与解码处理。在这种情况下，因为处理一个LCU行需要来自上部LCU行的像素，所以需要用于DF、SAO与ALF的行缓冲区。如果使用芯片外行缓冲区（例如DRAM），则将导致外部存储器带宽与功率消耗的大幅度增加。另一方面，如果使用芯片上行缓冲区（例如SRAM），则将增加芯片区域并且相应地增加芯片成本。因此，虽然行缓冲区比图像缓冲区小，但是进一步减少行缓冲区以减小行缓冲区成本仍是令人满意的。
图3A描述在基于LCU编码或解码系统中处理与DF、SAO、ALF相关的亮度组分所需的行缓冲区示例。线310与312分别指示水平与垂直的LCU边界，其中当前LCU位于水平LCU边界的上部以及垂直LCU边界的右侧。水平DF首先处理并且接着由垂直DF处理行A至行J。对于在水平LCU边界周围的行K至行N的水平DF处理经常必须等到水平LCU边界以下的行变成可用为止。否则，必须使用行缓冲区以临时存储用于垂直DF的行K至行N对应的水平处理去块滤波(Horizontally Processed DF,H-DF)像素，如图3A中的4像素条320所示，上述行缓冲区将需要存储位于水平LCU边界两侧的四个DF前像素(pre-DF pixel)与四个H-DF像素以分别取得滤波参数并进行滤波。由上可知，行缓冲区也可临时存储用于水平DF的垂直处理去块滤波(Vertically processed DF,V-DF)像素。DF前像素指的是完全未由DF处理过的重建像素。相应地，在典型系统中，使用四行（K-N）以存储用于随后DF处理的DF前像素。基于图1A与图1B所示的系统配置，接着对DF输出像素使用SAO。既然用于行K-N的垂直DF未改变行K（依据HM-4.0，仅可改变区块边界处的三个亮度像素），如3×3的方块330所示，可对行K采用水平DF从而允许行J上的SAO处理。行K上的H-DF像素将不存储在行缓冲区中并且当处理较下方的LCU时，必须再次从DF前像素中生成行K的H-DF像素。然而因为操作中涉及的功率消耗非常微小，所以对于基于硬件的系统将不会成为问题。
在SAO处理完行A至行J之后，可为基于区块的自适应处理计算如矩形340所示的4×4区块的特性。依据HM-4.0，获取4×4区块的的区块特性需要矩形342所示的5×5窗口。基于获取的4×4区块的区块特性，如果选择雪花形ALF滤波则可将ALF应用于行A至行H。既然对于像素位置352需要如ALF滤波器350所示的来自行K的SAO已处理数据，所以不能将ALF应用于行I。在完成行A至行H的ALF后，直到较下方的LCU变为可用为止将不对当前LCU进行进一步处理。当较下方的LCU变为可用时，DF将首先处理行K至行P并且接着SAO处理行K至行P。当SAO处理行K时将需要行J。然而，必须仅存储与行K与行J上的像素比较相关联的EO部分结果（也可称为中间结果）而不存储实际的像素值。上述部分结果需要每像素两个比特，其仅需要像素行缓冲区的分别用于使用10比特像素的高效率(High Efficiency,HE)编码系统配置以及使用8比特像素的低复杂度(Low Complexity,LC)编码系统配置的20%与25%。因此，必须为SAO储存一行(J)的SAO部分结果。接着可计算行I至行P的4×4区块特性并且相应地应用ALF。
当滤波行I时，需要如图3A中的5×5雪花形滤波器350所示的行G至行K。然而，行I与行J的区块特性获取仍需要行F至行J。因此，必须存储5行（F至J）的SAO输出像素用于ALF处理。如果使用滤波指数行缓冲区以存储行G至行J的BA模式滤波选择，则无需在行I与行J的ALF处理期间再次计算区块特性。相应地，对于ALF，将去除用于一行(F)的SAO输出像素的行缓冲区。滤波指数行缓冲区（每区块4个比特）仅需要像素行缓冲区的大约10%的大小。因此，必须为ALF储存4行（G至J）的SAO输出像素与一行滤波指数（行G至行K上的4×4区块）。总之，整个环内滤波需要大约8.3个亮度行缓冲区。当考虑整个解码系统时，既然帧内亮度预测已经存储了一行（N）的DF前像素，所以可共享这一亮度行缓冲区。
相似地可取得用于色度组分的DF、SAO与ALF所需的行缓冲区。如图3B所示，图3B描述在虚拟边界周围用于色度组分的DF、SAO、ALF处理所需的行缓冲区示例。为了简化起见，这里不再赘述。色度组分的DF处理仅使用区块边界处的两个像素以决定DF选择。对区块边界处的一个像素使用DF。相应地，整个环内滤波需要大约6.2个色度行缓冲区。
在上述示例编码系统的分析中，已经显示对于亮度与色度组分的DF、SAO与ALF处理分别需要8.3行与6.2行的行缓冲区。对于HDTV信号，每行具有大约两千个像素。系统所需的整个行缓冲区变得相当大。因此减少DF、SAO与ALF处理所需的行缓冲区是令人满意的。
发明内容
本发明揭露一种用于重建视频的环内处理方法及其装置。该方法配置环内处理从而使得不需要来自虚拟边界另一侧的源像素或需要较少来自虚拟边界另一侧的源像素。根据本发明一实施例，该方法包含：接收重建视频数据、已处理重建视频数据或两者结合；决定与视频数据边界相关的虚拟边界；决定待处理像素；以及对该虚拟边界一侧的该待处理像素采用环内处理，其中配置该环内处理以不需要来自该虚拟边界另一侧的源像素或需要较少源像素。该环内处理可对应于SAO(样本自适应偏移)处理或ALF(自适应环路滤波)处理。可将该方法应用于亮度组分与色度组分。当该环内处理需要来自该虚拟边界另一侧的源像素时，根据本发明的一实施例使用替换像素。该替换像素可使用预定值或自适应值。此外，可由该虚拟边界该一侧的源像素、该虚拟边界该另一侧的源像素或上述替换像素的线性组合或非线性组合中取得该替换像素。当该待处理像素的该环内滤波需要来自该虚拟边界另一侧的一个或多个源像素时，也可配置该环内处理跳过该待处理像素。当该环内处理需要该虚拟边界另一侧的一个或多个源像素时，也可配置该环内处理以改变ALF滤波形状或滤波尺寸。已滤波的输出可与该待处理像素进行线性或非线性结合以生成最终滤波输出，其中对该待处理像素采用环内处理生成该已滤波的输出。该虚拟边界可对应于水平LCU（最大编码单元）边界上方N个像素处，其中N为1到4的整数。
本发明的用于重建视频的环内处理方法及其装置可减少或消除行缓冲区的数量并节省成本。
附图说明
图1A描述包含DF、SAO、ALF环内处理的示例自适应帧间/帧内视频编码系统。
图1B描述包含DF、SAO、ALF环内处理的示例自适应帧间/帧内视频解码系统。
图2A描述在HM-4.0中使用的以决定当前像素应用SAO(样本自适应偏移)种类的对应0°、90°、135°与45°的边偏移(EO)窗口。
图2B描述用于ALF的9×9十字形滤波示例。
图2C描述用于ALF的5×5雪花形滤波示例。
图2D描述用于决定基于区块自适应处理中4×4区块特性的8×8窗口与5×5窗口示例。
图3A描述在虚拟边界周围用于亮度组分的DF、SAO、ALF处理所需的行缓冲区示例。
图3B描述在虚拟边界周围用于色度组分的DF、SAO、ALF处理所需的行缓冲区示例。
图4描述水平虚拟边界示例。
图5描述垂直虚拟边界示例。
图6-14描述根据本发明实施例的用于虚拟边界上方像素的环内处理期间的各种步骤示例。
图15-24描述根据本发明实施例的用于虚拟边界下方像素的环内处理期间的各种步骤示例。
具体实施方式
如上所示的行缓冲区分析说明DF处理需要4个行缓冲区用于亮度组分以及两个行缓冲区用于色度组分。需要额外的行缓冲区用以支持SAO与ALF处理。为了消除或减少用于SAO与ALF的行缓冲区需求，本发明揭露虚拟边界(Virtual Boundary,VB)。图4描述用于水平LCU边界的VB示例，其中从水平LCU边界将VB向上偏移N个像素的距离。对于每个LCU，在较下方LCU变为可用之前SAO与ALF可处理VB上方的像素。然而，因为DF未处理VB下方的像素，所以直到较下方LCU变为可用之前SAO与ALF不能处理VB下方的像素。如前所述，用于亮度组分的四个行缓冲区以及用于色度组分的两个行缓冲区存储当前LCU底部的DF前像素。相应地，对于亮度组分，N等于4以及对于每个色度组分，N等于2。在DF处理VB上方的像素后，可为VB一侧的每个待处理像素修改SAO处理以减少或消除来自VB另一侧的数据存取。相应地，可在不依赖或减少依赖较下方LCU的情况下，为所有VB上方的像素执行SAO。最后，为VB一侧的每个待处理像素修改ALF以减少或消除来自VB另一侧的任何数据存取。
可使用图3A描述为亮度组分使用VB以减少或消除SAO与ALF的行缓冲区需求，其中线314指示水平VB。当处理当前LCU时，DF可处理行A至行J（水平地与垂直地）。然而，因为较下方LCU不可用，所以垂直DF不能处理行K至行N。如果行A至行J的SAO与ALF处理不需要VB下方的任何像素，则在无需较下方LCU的情况下，SAO与ALF可处理行A至行J。当较下方LCU变为可用时，DF可处理行K至行P。同时，如果可修改行K至行P的SAO与ALF处理以减少或消除对VB上方的像素依赖，则可减少或消除用于存储行F至行J的行缓冲区。
图4描述了水平VB处理示例，而如图5所示VB处理也可应用于垂直VB边界，其中从垂直LCU边界将垂直VB边界向左偏移N个像素距离。如果使用HM-4.0，则对于亮度组分，N等于4；并且对于色度组分，N等于2。
下面揭露水平VB处理的详细示例。可将亮度VB处理分为两部分。第一部分对应VB上方的像素处理，而第二部分对应VB下方的像素处理。图6-14根据本发明实施例描述用于VB上方待处理像素的与DF、SAO与ALF相关联的亮度VB处理。在图6中，线610指示水平LCU边界并且线620指示水平VB、线630指示垂直LCU边界。REC已经处理了当前LCU的所有像素，并且四行(p0-p3)DF前像素存储在DF行缓冲区。在图7中，如阴影区域710所示，水平DF处理VB上方的像素与VB下方的一行(p3)。如前所述，亮度DF读取四个像素以评估边界强度并且重写8×8区块边界的每一侧的多达三个像素。在图8中，如阴影区域810所示，垂直DF处理VB上方的像素以生成DF输出。在图9中，SAO910处理VB上方的像素。同时，图7中的水平DF已经处理完行p3并且垂直DF将不改变行p3。因此，行p3的DF输出像素对于SAO处理行p4是可用的。在行p4的SAO处理期间，如果选择了非零度EO，则行p4上的每个待处理像素（标为C）需要与行p3上的相邻像素（标为N）做比较。可将上述SAO部分结果代替实际的像素数据存储在SAO行缓冲区中。每个待处理像素需要两个比特以指示对应像素是否大于、等于或小于对应相邻像素。也可使用其他方法有效存储部分结果。例如，两个待处理像素（C1、C2）与两个相邻像素（N1、N2）的部分结果可从4个比特压缩为2个比特以表示C1>N1&&C2>N2、C1<N1&&C2<N2以及其他。因此，在高效率(HE)模式与低复杂度(LC)模式下，SAO像素行缓冲区的数量分别等于原来的0.1与0.125。在图10中，如阴影区域1010所示，SAO已经处理了VB上方的所有像素。
图11-14描述ALF进一步处理VB上方像素的示例。在滤波期间，依据传统方法，需要VB下方的SAO输出像素。在这种情况下，依据本发明必须修改滤波。图11描述使用5×5雪花形滤波器1110的ALF示例。在传统方法中，行p5上的ALF滤波将必须使用VB下方的数据。然而，根据本发明的实施例将使用填充(padding)、平均或其他方法以在不参考VB下方任意数据的情况下生成所需数据。既然相应ALF1120需要VB下方的两行（p3与p2），则依据本发明实施例跳过行p4的ALF滤波。如图11的箭头所示，填充意味着VB同侧最近像素替换VB另一侧的像素。数据填充示例包含重复填充(repetitive padding)、奇对称镜面填充(mirror-basedpadding with odd symmetry)或偶对称镜面填充(mirror-based padding with evensymmetry)。平均意味着滤波输出像素与滤波输入像素进行平均作为最终ALF输出像素。换句话说，像素C上的滤波输出与像素C平均以取得最终输出。相应地，图11描述使用填充与平均以消除VB另一侧像素需求的示例。虽然平均用作滤波输出与待滤波像素线性组合以生成最终ALF输出的示例，但也可使用其他线性组合。例如可使用加权总和以结合滤波输出与待滤波像素。此外，也可使用非线性组合来结合滤波输出与待滤波像素。例如，使用滤波输出与待滤波像素的差值的绝对值来决定如何生成最终滤波输出。如果绝对值较小，则可接受滤波输出作为最终滤波输出。如果绝对值较大，忽略滤波输出并且使用待处理像素作为最终输出。否则，使用滤波输出与待处理像素之间的差值。图12描述为ALF选择的9×9十字形滤波器示例。将滤波尺寸减小为如1210所示的9×7以及如1220所示的9×5以分别用于滤波行p7与行p6。为了保持合适的滤波输出电平，将舍弃的系数加入中心像素以标准化滤波系数。图13描述进一步减小为如1310所示的9×3以及如1320所示的9×1以分别用于滤波行p5与行p4的9×9十字形滤波器。再次，将舍弃的系数加入中心像素。通过将舍弃的系数加入中心像素将消除改变ALF语法的需求并且也达到在不需乘除运算的情况下将系数标准化的目的。图14描述ALF已经处理了VB上方所有像素的情况。同时，可将VB上方的像素写入待解码图像缓冲区。当较下方LCU可用时，系统准备处理VB下方的像素。
图15-24根据本发明实施例描述用于VB下方像素的亮度VB处理示例。图15描述从DF行缓冲区读取4行（p0-p3）DF前像素的情况。图16描述如阴影区域1610所示水平DF首先处理VB下方像素的情况。如前所述，计算行p0-p3的水平DF决策(decision)需要行p0-p7的DF前像素。为了减少用于储存行p4-p7的行缓冲区，在图7的行p3-p7的水平DF期间，计算上述水平DF决策并且将其存储在决策行缓冲区(decision line buffer)。决策缓冲区仅需要每8×8区块一个比特并且可作为芯片上寄存器或SRAM来简单实施。图17描述垂直DF处理VB下方像素的情况。同时，行p0-p3与行q0-q3完成DF处理。值得注意的是，垂直DF决策使用DF前像素。因此，在如图16所示执行水平DF之前，必须计算在水平LCU边界处的垂直DF决策。
图18描述对VB下方像素完成DF处理之后执行SAO，其中对行p3的像素C采用SAO1810。在图9中的行p4的SAO处理期间，对于非零度EO，行p4上的每个像素（称为当前像素C）与行p3上的相邻像素（标为N）做比较。根据本发明一实施例，将上述SAO部分结果储存在SAO行缓冲区。现在，可从SAO行缓冲区读出部分结果用于行p3的SAO处理。当处理行p3时，对于行p3的每个待处理像素（图18中的像素C），根据本发明实施例在VB上方像素的SAO处理期间存储了与当前像素C与行p4上相邻像素之间关系相关联的部分结果。然而，将行p3上的像素视为相邻像素N的同时，行p4上的像素也视为当前像素C。需要两个比特来指示C>N、C<N、C==N关系中的一个。在本发明另一实施例中，来自SAO行缓冲区的两个比特代表与行p3上两个待处理像素（N1、N2）与行p4上两个对应像素（C1、C2）之间关系相关联的部分结果以指示C1>N1&&C2>N2、C1<N1&&C2<N2或其他。如果选择其他，则在EO进程中将使用C1==N1&&C2==N2。图19描述SAO已经处理了当前VB下方（以及下一个VB上方）的所有像素。
图20-23描述VB下方像素的ALF处理示例步骤。依据传统方法，计算行p0-p3的ALF区块特性需要行p0-p4的SAO输出像素。然而，行p4的SAO输出像素不再可用。因此，图20显示根据本发明的实施例以消除贯穿VB的像素的ALF处理依赖性。图20描述在垂直方向上重复填充的示例，如箭头所示，以从行p3的SAO输出像素生成行p4的像素从而基于5×5窗口2020决定4×4区块2010的区块特性。在滤波期间，根据传统方法，也需要VB上方的SAO输出像素。在这种情况中，必须修改滤波从而可消除贯穿VB的像素的ALF处理依赖性。图21描述为ALF选择5×5雪花形滤波器的示例。跳过行p3的ALF滤波2110（2110指示行p3的像素C的ALF滤波），并且行p2的ALF滤波（2120指示行p2的像素C的ALF滤波）使用填充与平均。在与图11相关的说明中已经描述了填充与平均方法。
图22描述为ALF选择9×9十字形滤波器的情况。根据本发明一实施例，将滤波器尺寸减小为9×1（如2210所示）以及9×3（如2220所示）以分别用于滤波行p3与行p2，从而消除VB上方SAO处理数据的ALF处理依赖性。为了滤波系数标准化的目的，将舍弃的系数加入中心像素。图23描述根据本发明将滤波器尺寸减小为9×5（如2310所示）以及9×7（如2320所示）以分别用于滤波行p1与行p0的实施例。再次，为了滤波系数标准化的目的，将舍弃的系数加入中心像素。图24描述ALF已经处理了VB下方（以及下一个VB上方）的所有像素的情况。同时，可将VB下方（以及下一个VB上方）的像素写入待解码图像缓冲区。
图6-24所示的亮度VB处理是根据本发明描述的一实施例。列表2总结在SAO/ALF处理各种步骤中使用的特定示例技术以去除贯穿VB的依赖性。在图7与图16中，可知水平DF两次处理行p3。上述仅发生在基于LCU处理中，而不在基于图像处理中。因为DF硬件已经进行分配并且DF不是系统的吞吐量瓶颈，所以多余计算对硬件造成极微小的影响。任意增加一个行缓冲区以存储行p3的H-DF像素可避免上述多余计算。
列表2.
如上述细节示例所示，如果对ALF采用VB处理技术以去除对VB另一侧像素的ALF处理依赖性，则用于亮度组分的整个环内滤波的行缓冲区由8.3行减为4.2行并且用于色度组分的整个环内滤波的行缓冲区由6.2行减为2.2行。如果对SAO与ALF皆采用VB处理，则用于亮度组分的整个环内滤波的行缓冲区变为4.1行并且用于色度组分的整个环内滤波的行缓冲区变为2.1行。在上述示例中，修改ALF或SAO以去除对VB另一侧像素的依赖性。也可实施本发明以修改ALF及/或SAO从而减小对VB另一侧像素的依赖性。
图6-24中所示的依据本发明的SAO与ALF的VB处理示例完全消除了对超出DF处理分配行缓冲区的附加行缓冲区的需要，除了某些SAO部分结果与DF决策的小缓冲区。然而，根据本发明的另一实施例也可减小对贯穿VB的SAO与ALF数据的依赖性，从而减少超出为DF处理分配的附加行缓冲区。虽然在上述示例中使用3×3窗口进行SAO分类，但也可使用其他窗口形状及/或尺寸用于取得自适应SAO处理的分类。虽然使用9×9十字形滤波器或5×5雪花形滤波器作为ALF处理示例，但也可使用其他滤波器形状或滤波器尺寸实施本发明。此外，除了DF，将SAO与ALF作为两个环内处理，也可为编码或解码系统使用其他类型环内处理实施本发明以减少或消除相关行缓冲区。
虽然依据本发明使用图6-24的步骤描述亮度VB处理示例，但可类似取得对色度组分实施本发明的步骤。
与上述示例相关的系统性能与无亮度VB处理的传统系统进行比较。测试结果显示具有亮度与色度VB处理的系统在BD率(BD-rate)方面与传统系统具有近似相同的性能。BD率是视频编码领域常见的性能测量值。虽然具有近似相同的性能，但根据本发明的示例系统实质上减小了对行缓冲区的需求。根据本发明的VB处理的优势是明显的。
在上述VB处理示例中，使用SAO与ALF作为自适应环内处理的示例。自适应环内处理一般包含两个步骤，其中第一步骤与使用待处理像素周围的相邻像素决定分类相关联以及第二步骤是根据上述决定分类自适应地应用环内处理。决定分类的进程可包含贯穿VB的像素。根据本发明的实施例减小或消除对贯穿VB的像素的依赖性。如果决定分类的进程依靠贯穿VB的像素，则根据本发明的另一实施例可跳过决定分类的进程。当跳过决定分类进程时，也可跳过相应的环内处理。可替换地，基于从VB相同侧的一个或多个相邻像素取得的分类，执行上述环内处理。
上述的根据本发明的具有虚拟边界(VB)处理的视频编码系统实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(Digital Signal Processor,DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field ProgrammableGate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。

Claims (22)

1.一种用于重建视频的环内处理方法，该用于重建视频的环内处理方法包含：
接收重建视频数据；
决定与该重建视频数据相关联的待处理像素；
决定与视频数据边界相关的虚拟边界；以及
对该虚拟边界一侧的每一个待处理像素采用环内处理，其中配置该环内处理均不需要来自该虚拟边界另一侧的源像素，该环内处理对应于样本自适应偏移处理或自适应环路滤波处理。
2.如权利要求1所述的用于重建视频的环内处理方法，其特征在于，该重建视频数据对应于亮度组分或色度组分。
3.如权利要求1所述的用于重建视频的环内处理方法，其特征在于，如果在该虚拟边界该一侧的该待处理像素的该环内处理需要来自该虚拟边界该另一侧的第一源像素，则具有预定值的第一替换像素、具有自适应值的第二替换像素、由该虚拟边界该一侧的一个或多个第二源像素取得的第三替换像素、由该虚拟边界该另一侧的一个或多个第三源像素取得的第四替换像素或上述替换像素的组合来替换来自该虚拟边界该另一侧的该第一源像素。
4.如权利要求3所述的用于重建视频的环内处理方法，其特征在于，基于数据填充取得该第三替换像素或该第四替换像素，其中该数据填充对应于替换填充、奇对称镜面填充或偶对称镜面填充。
5.如权利要求3所述的用于重建视频的环内处理方法，其特征在于，当该待处理像素位于该虚拟边界下方时，由将整个处理结果改变为与先前环内处理处理过的该重建视频数据相关联的中间结果或未处理结果来取得该第四替换像素。
6.如权利要求5所述的用于重建视频的环内处理方法，其特征在于，该环内处理对应于样本自适应偏移处理；其中该先前环内处理对应于去块滤波；以及其中该中间结果对应于水平去块滤波处理像素。
7.如权利要求5所述的用于重建视频的环内处理方法，其特征在于，该环内处理对应于自适应环路滤波处理；其中该先前环内处理对应于去块滤波与跟随的样本自适应偏移处理；以及其中该中间结果对应于水平去块滤波处理像素或去块滤波输出像素。
8.如权利要求1所述的用于重建视频的环内处理方法，其特征在于，当用于该待处理像素的该环内处理需要来自该虚拟边界该另一侧的一个或多个源像素时，配置该环内处理跳过该待处理像素。
9.如权利要求1所述的用于重建视频的环内处理方法，其特征在于，当用于该待处理像素的该环内处理需要来自该虚拟边界该另一侧的一个或多个源像素时，配置该环内处理改变滤波形状或滤波尺寸，其中该环内处理对应于自适应环路滤波处理。
10.如权利要求1所述的用于重建视频的环内处理方法，其特征在于，已滤波输出与该待处理像素进行线性或非线性结合以生成最终滤波输出，其中对该待处理像素采用该环内处理以生成该已滤波输出。
11.如权利要求1所述的用于重建视频的环内处理方法，其特征在于，该虚拟边界位于水平最大编码单元边界上方N个像素处，其中N为1至4的整数。
12.如权利要求1所述的用于重建视频的环内处理方法，其特征在于，该重建视频数据包含已处理重建视频数据、未处理重建视频数据或两者结合。
13.一种用于重建视频的环内处理装置，该用于重建视频的环内处理装置包含：
接收重建视频数据的装置；
决定与视频数据边界相关的虚拟边界的装置；以及
对该虚拟边界一侧的每一个待处理像素采用环内处理的装置，其中配置该环内处理均不需要来自该虚拟边界另一侧的源像素或需要来自该虚拟边界该另一侧的减少的源像素并且其中每一个待处理像素与该重建视频数据相关联，该环内处理对应于样本自适应偏移处理或自适应环路滤波处理。
14.如权利要求13所述的用于重建视频的环内处理装置，其特征在于，该重建视频数据对应于亮度组分或色度组分。
15.如权利要求13所述的用于重建视频的环内处理装置，其特征在于，如果在该虚拟边界该一侧的该待处理像素的该环内处理需要来自该虚拟边界该另一侧的第一源像素，则具有预定值的第一替换像素、具有自适应值的第二替换像素、由该虚拟边界该一侧的一个或多个第二源像素取得的第三替换像素、由该虚拟边界该另一侧的一个或多个第三源像素取得的第四替换像素或上述替换像素的线性组合或非线性组合来替换来自该虚拟边界该另一侧的该第一源像素。
16.如权利要求15所述的用于重建视频的环内处理装置，其特征在于，基于数据填充取得该第三替换像素或该第四替换像素，其中该数据填充对应于替换填充、奇对称镜面填充或偶对称镜面填充。
17.如权利要求15所述的用于重建视频的环内处理装置，其特征在于，当该待处理像素位于该虚拟边界下方时，由将整个处理结果改变为与先前环内处理处理过的该重建视频数据相关联的中间结果或未处理结果来取得该第四替换像素。
18.如权利要求17所述的用于重建视频的环内处理装置，其特征在于，该环内处理对应于样本自适应偏移处理；其中该先前环内处理对应于去块滤波；以及其中该中间结果对应于水平去块滤波处理像素。
19.如权利要求17所述的用于重建视频的环内处理装置，其特征在于，该环内处理对应于自适应环路滤波处理；其中该先前环内处理对应于去块滤波与跟随的样本自适应偏移处理；以及其中该中间结果对应于水平去块滤波处理像素或去块滤波输出像素。
20.如权利要求13所述的用于重建视频的环内处理装置，其特征在于，当用于该待处理像素的该环内处理需要来自该虚拟边界该另一侧的一个或多个源像素时，配置该环内处理跳过该待处理像素。
21.如权利要求13所述的用于重建视频的环内处理装置，其特征在于，当用于该待处理像素的该环内处理需要来自该虚拟边界该另一侧的一个或多个源像素时，配置该环内处理改变滤波形状或滤波尺寸，其中该环内处理对应于自适应环路滤波处理。
22.如权利要求13所述的用于重建视频的环内处理装置，其特征在于，已滤波输出与该待处理像素进行结合以生成最终滤波输出，其中对该待处理像素采用该环内处理以生成该已滤波输出。
CN201280021140.6A 2011-05-10 2012-04-19 用于重建视频的环内处理方法及其装置 Active CN103503456B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201161484449P 2011-05-10 2011-05-10
US61/484,449 2011-05-10
US201161498265P 2011-06-17 2011-06-17
US61/498,265 2011-06-17
US201161521500P 2011-08-09 2011-08-09
US61/521,500 2011-08-09
US201161525442P 2011-08-19 2011-08-19
US61/525,442 2011-08-19
US201161532958P 2011-09-09 2011-09-09
US61/532,958 2011-09-09
US201161543199P 2011-10-04 2011-10-04
US61/543,199 2011-10-04
PCT/CN2012/074354 WO2012152174A1 (en) 2011-05-10 2012-04-19 Method and apparatus for reduction of in-loop filter buffer

Publications (2)

Publication Number Publication Date
CN103503456A CN103503456A (zh) 2014-01-08
CN103503456B true CN103503456B (zh) 2017-03-22

Family

ID=47138783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280021140.6A Active CN103503456B (zh) 2011-05-10 2012-04-19 用于重建视频的环内处理方法及其装置

Country Status (6)

Country Link
US (1) US20130322523A1 (zh)
EP (1) EP2708027B1 (zh)
JP (1) JP5689563B2 (zh)
KR (1) KR101567467B1 (zh)
CN (1) CN103503456B (zh)
WO (1) WO2012152174A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288500B2 (en) 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
WO2012175003A1 (en) * 2011-06-20 2012-12-27 Mediatek Singapore Pte. Ltd. Method and apparatus of chroma intra prediction with reduced line memory
US10484693B2 (en) * 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
CA2982695C (en) * 2011-06-24 2019-05-21 Lg Electronics Inc. Image information encoding and decoding method
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
JP2014197723A (ja) 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
US8983218B2 (en) 2012-04-11 2015-03-17 Texas Instruments Incorporated Virtual boundary processing simplification for adaptive loop filtering (ALF) in video coding
US20130343447A1 (en) * 2012-06-25 2013-12-26 Broadcom Corporation Adaptive loop filter (ALF) padding in accordance with video coding
US9344717B2 (en) 2012-08-06 2016-05-17 Mediatek Inc. Method and apparatus for sample adaptive offset in a video decoder
US9596461B2 (en) 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
JP6327153B2 (ja) * 2012-12-06 2018-05-23 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR102164698B1 (ko) * 2013-03-25 2020-10-14 광운대학교 산학협력단 입력 버퍼를 재사용하는 샘플 적응적 오프셋 처리 장치 및 샘플 적응적 오프셋 처리 장치의 동작 방법
US9686561B2 (en) 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
EP3055998A1 (en) * 2013-10-11 2016-08-17 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
CN105530519B (zh) * 2014-09-29 2018-09-25 炬芯（珠海）科技有限公司 一种环内滤波方法及装置
JP6519185B2 (ja) * 2015-01-13 2019-05-29 富士通株式会社 動画像符号化装置
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
US10306246B2 (en) 2015-02-13 2019-05-28 Mediatek Inc. Method and apparatus of loop filters for efficient hardware implementation
CN107637057A (zh) 2015-06-03 2018-01-26 联发科技股份有限公司 图像和视频数据的调色板编解码方法
CN105306957B (zh) * 2015-10-23 2019-04-26 湘潭中星电子有限公司 自适应环路滤波方法和设备
CN107040778A (zh) * 2016-02-04 2017-08-11 联发科技股份有限公司 环路滤波方法以及环路滤波装置
CN105872553B (zh) * 2016-04-28 2018-08-28 中山大学 一种基于并行计算的自适应环路滤波方法
CN109565604A (zh) * 2016-12-30 2019-04-02 华为技术有限公司 图像滤波方法、装置以及设备
CA3048382A1 (en) * 2017-01-12 2018-07-19 Sony Corporation Image processing apparatus and image processing method
WO2019131400A1 (ja) * 2017-12-26 2019-07-04 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
US10659780B2 (en) 2018-03-09 2020-05-19 Mediatek Inc. De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
CN112602328B (zh) * 2018-08-31 2022-07-26 联发科技股份有限公司 用于视频编解码中的虚拟边界的环路内滤波的方法和装置
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
CN113287316B (zh) * 2018-10-23 2023-07-21 寰发股份有限公司 减少环路滤波缓冲器的方法及装置
WO2020135346A1 (en) * 2018-12-23 2020-07-02 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using an adaptive loop filter
US11089335B2 (en) 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
DE112019006649T8 (de) * 2019-01-14 2022-01-20 Mediatek Inc. Verfahren und Vorrichtung einer In-Loop-Filterung für virtuelle Grenzlinien
US11159791B2 (en) * 2019-03-16 2021-10-26 Mediatek Inc. Method and apparatus for signaling adaptive loop filter parameters in video coding
CN113994671A (zh) 2019-06-14 2022-01-28 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
CN114424539A (zh) * 2019-06-14 2022-04-29 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
JP7291846B2 (ja) 2019-07-09 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングのためのサンプル決定
AU2020309130B2 (en) 2019-07-11 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
MX2022000120A (es) 2019-07-15 2022-02-16 Beijing Bytedance Network Tech Co Ltd Clasificacion en filtrado de bucle adaptativo.
US11641465B2 (en) * 2019-07-25 2023-05-02 Hfi Innovation Inc. Method and apparatus of cross-component adaptive loop filtering with virtual boundary for video coding
WO2021025169A1 (en) * 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2021025167A1 (en) * 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
CN114503594B (zh) * 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
JP7326600B2 (ja) 2019-09-27 2023-08-15 北京字節跳動網絡技術有限公司 異なるビデオユニット間の適応ループフィルタリング
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
US20230055874A1 (en) * 2019-11-18 2023-02-23 Lg Electronics Inc. Image coding device and method
WO2021101203A1 (ko) * 2019-11-18 2021-05-27 엘지전자 주식회사 필터링 기반 영상 코딩 장치 및 방법
US20230007310A1 (en) * 2019-11-18 2023-01-05 Lg Electronics Inc. Image coding apparatus and method based on signaling of information for filtering
CN115023954A (zh) * 2019-11-18 2022-09-06 Lg电子株式会社 用于控制环路滤波的图像编码装置和方法
WO2021118295A1 (ko) * 2019-12-12 2021-06-17 엘지전자 주식회사 루프 필터링을 제어하기 위한 영상 코딩 장치 및 방법
US20230007266A1 (en) * 2019-12-12 2023-01-05 Lg Electronics Inc. Apparatus and method for coding image on basis of signaling of information for filtering
MX2022007224A (es) 2019-12-12 2022-09-21 Lg Electronics Inc Dispositivo de codificacion de imagenes y metodo para controlar el filtrado en bucle.
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
CN115176468A (zh) * 2020-02-03 2022-10-11 抖音视界有限公司 跨分量自适应环路滤波器
US20230096855A1 (en) * 2020-02-25 2023-03-30 Lg Electronics Inc. In-loop filtering-based image coding device and method
WO2021194222A1 (ko) * 2020-03-23 2021-09-30 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding
US11546638B2 (en) * 2020-12-08 2023-01-03 Tencent America LLC Method and apparatus for video filtering
US11924415B2 (en) * 2021-05-11 2024-03-05 Tencent America LLC Method and apparatus for boundary handling in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068364A (zh) * 2006-06-16 2007-11-07 威盛电子股份有限公司 视频编码器与图形处理单元

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7302104B2 (en) * 2001-12-28 2007-11-27 Ricoh Co., Ltd. Smoothing tile boundaries of images encoded and decoded by JPEG 2000
US7826535B2 (en) * 2002-04-11 2010-11-02 Broadcom Corporation Adaptive pixel processing
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
CN100438629C (zh) * 2005-09-19 2008-11-26 华为技术有限公司 图像编码处理中的环路滤波方法
US8559499B2 (en) * 2007-10-26 2013-10-15 Zoran (France) S.A. Frame buffer compression for video processing devices
TWI422228B (zh) * 2009-01-15 2014-01-01 Silicon Integrated Sys Corp 去方塊濾波方法及影像處理裝置
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
CN107172424B (zh) * 2011-03-30 2020-04-14 Lg 电子株式会社 环路滤波方法及其设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068364A (zh) * 2006-06-16 2007-11-07 威盛电子股份有限公司 视频编码器与图形处理单元

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Line Memory Reduction for ALF Decoding;Semih Esenlik等;《JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20110323;第1页摘要，第2页第1-8行、第3页第11行至第4页第12行以及图1-4 *

Also Published As

Publication number Publication date
CN103503456A (zh) 2014-01-08
JP5689563B2 (ja) 2015-03-25
KR20140029436A (ko) 2014-03-10
EP2708027A4 (en) 2015-04-22
JP2014517555A (ja) 2014-07-17
EP2708027A1 (en) 2014-03-19
US20130322523A1 (en) 2013-12-05
KR101567467B1 (ko) 2015-11-09
WO2012152174A1 (en) 2012-11-15
EP2708027B1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
CN103503456B (zh) 用于重建视频的环内处理方法及其装置
RU2694012C1 (ru) Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений
CN113287316B (zh) 减少环路滤波缓冲器的方法及装置
JP5763210B2 (ja) 改良されたループ型フィルタリング処理のための方法と装置
CN105898335B (zh) 提升硬件效率的环路滤波方法以及环路滤波装置
CN104883578B (zh) 对帧内预测模式进行解码的方法
CN107277539B (zh) 减少用于上下文自适应熵解码中的行缓存的方法及装置
CN103947208B (zh) 减少解块滤波器的方法及装置
CN103209324B (zh) 一种施加边缘补偿的方法
KR101253156B1 (ko) 영상 신호의 인코딩/디코딩 방법
TWI647951B (zh) 影像編碼設備
CN105306957B (zh) 自适应环路滤波方法和设备
CN105794210A (zh) 用于运动边界处理的方法以及装置
CN103931180A (zh) 图像解码设备
CN107197259A (zh) 贯穿图块或条带边界的环路滤波方法及其装置
CN103442229A (zh) 适用于hevc标准的编码器中sao模式判决的比特率估计方法
WO2022116113A1 (zh) 一种帧内预测方法、装置及解码器和编码器
CN103491372A (zh) 一种适用于hevc标准的去方块滤波器的滤波方法
WO2022188114A1 (zh) 帧内预测方法、编码器、解码器以及存储介质
KR101184571B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant