CN103051892B - 内嵌式回路滤波方法以及内嵌式回路滤波装置 - Google Patents
内嵌式回路滤波方法以及内嵌式回路滤波装置 Download PDFInfo
- Publication number
- CN103051892B CN103051892B CN201210389240.6A CN201210389240A CN103051892B CN 103051892 B CN103051892 B CN 103051892B CN 201210389240 A CN201210389240 A CN 201210389240A CN 103051892 B CN103051892 B CN 103051892B
- Authority
- CN
- China
- Prior art keywords
- pixel column
- image unit
- block
- level
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明提供一种用于重建后的影像数据的内嵌式回路处理方法以及装置,该重建后的影像数据分割为多个影像单元。横跨多个垂直影像单元边界的该重建后的影像数据会进行水平去块,多个水平影像单元边界的每一侧的水平去块处理后的影像数据的n个像素进行垂直去块。该n个重建后的像素行的至少其一进行水平去块以产生像素行pn-1的至少一水平去块处理后的像素行,以及基于像素行pn-1的该水平去块处理后的像素行来对像素行pn的至少一水平去块处理后的像素行进行取样点自适应性偏移处理。上述步骤会在目前影像单元以下的相邻影像单元到达前执行。
Description
技术领域
本发明所揭露的实施例是相关于一影像编码系统(videocodingsystem),尤指一种相关于一影像编码器或是解码器的内嵌式回路滤波器的实作的方法以及装置。
背景技术
移动估测(motionestimation)是一种利用连续影像中的时间域冗余(temporalredundancy)的高效率帧间(interframe)编码机制。移动补偿(motion-compensated)的帧间编码被广泛地使用于多种国际影像编码标准当中。多种编码标准通常采用以区块(block)为基础单元的移动估测技术,其中针对每一巨集区块(macroblock)或是类似区块设定会决定出移动信息(motioninformation),例如编码模式(codingmode)以及移动向量(motionvector)。除此之外,亦可以自适应的(adaptive)方式来采用帧内编码(intra-coding),即仅处理单个帧(frame)而不参考其他帧。帧间预测(inter-predicted)或是帧内预测(intra-predicted)的残值(residue)通常会另外经由转换(transformation)、量化(quantization)以及熵编码(entropycoding)来产生一压缩影像位流。在编码处理的过程中会产生编码失真(codingartifact),特别是在量化的处理的时候,因此,为了减轻编码失真的效应,在一些较新的编码系统中,会另外采用额外的处理予重建后的影像以加强画面的品质,一般来说,会将上述的额外的处理内嵌在一回路处理中,如此一来,编码器以及解码器便可以利用同样的参考画面来使系统表现获得改善。
随着高效能影像编码标准(HighEfficiencyVideoCoding,HEVC)的发展,去块滤波器(deblockingfilter,DF)、取样点自适应性偏移(sampleadaptiveoffset,SAO)以及自适应性回路滤波器(adaptiveloopfilter,ALF)都被使用来加强画面的品质。内嵌式回路滤波器信息可能需要被纳入在位流中,以使解码器能够正常地恢复(recover)所需的信息。因此,通常来自取样点自适应性偏移以及自适应性回路滤波器的内嵌式回路滤波器信息会被输入至熵编码器中以纳入位流。在高效能影像编码标准中,去块滤波器是被使用于重建后的影像,首先水平去块滤波器会处理跨越垂直区块边界的重建后的影像数据,接着垂直去块滤波器会处理跨越水平区块边界的经由水平去块滤波器处理后的影像数据。在进行完水平去块滤波以及垂直去块滤波之后,再对经过完整去块滤波处理过的影像数据进行取样点自适应性偏移,接下来再对取样点自适应性偏移完的影像数据进行自适应性回路滤波处理。高效能影像编码标准中的回路处理的顺序是为去块滤波器、取样点自适应性偏移以及自适应性回路滤波器,然而在其他影像系统中,依据不同的回路滤波器,上述处理顺序则可以有不同的先后顺序。
图1为具有内嵌式回路处理的一示范性自适应性影像编码系统的示意图。影像位流经由影像解码器142解码来恢复转换后以及量化后的残值、取样点自适应性偏移/自适应性回路滤波器信息以及其他系统信息。编码过的残值通过反量化(inversequantization,IQ)124以及反转换(inversetransformation,IT)126来恢复该残值。该恢复的残值接着会被加回至重建器128中的预估数据136以产生重建后的影像数据。一切换器114会视基础的影像数据是采用一帧内预测模式(intramode)或是一帧间模式(intermode)的编码,而从帧内预测区块(intrapredictionblock)110或是移动补偿区块113中选择该预估数据。最后,重建的影像另经由去块滤波器130、取样点自适应性偏移器131以及自适应性回路滤波器132来产生强化后的解码影像。强化及重建后的影像数据会被储存在参考画面缓冲器134,并用来作为其他帧的预估之用。
高效能影像编码标准中的编码处理是依据最大编码单元(largestcodingunit,LCU)来进行,经由使用四分树(quadtree)可以使最大编码单元被自适应性地分割为多个编码单元,在每一叶节点(leaf)编码单元中,对每一8x8区块边界来进行去块滤波处理,并且在高效能影像编码标准的测试系统模型版本4.0(HM-4.0)中,亦对8x8区块边界进行去块滤波处理。对每一8x8区块来说,首先会跨越垂直区块边界进行水平滤波,接着会跨越水平区块边界进行垂直滤波。一般而言,编码处理可以将一画面分割为多个影像单元(imageunit),并且自适应性地来为每一影像单元选择编码参数,而该影像单元可以是一最大编码单元、一巨集区块、一影像切片(slice)、一影像块(tile)或是其他影像结构。在处理一亮度区块边界(lumablockboundary)的期间,每一边的n个像素都和滤波器参数的推导有关,且在滤波处理过后,每一边最多可以改变m个像素。对高效能影像编码标准来说,亮度成分的n是设定为4,对跨越垂直区块边界的水平滤波而言,重建后的像素(即未经过去块滤波处理的像素)是用于滤波器参数的推导,并且亦可当作来源像素(sourcepixel)来进行滤波处理。如图1所示,内嵌于回路中的第一个滤波元件是去块滤波器130,去块滤波器130是用来处理重建后的影像数据,尽管如此,在一影像系统中,可以在去块滤波处理程序之前先处理重建后的影像数据以产生处理后的重建后的影像数据,在这样的状况下,去块滤波器所处理的是为处理后的重建后的影像数据。于此说明书内容中,经过去块滤波处理之前的影像数据是指紧接该去块滤波处理之前的影像数据,可以是该重建后的影像数据或是该处理后的重建后的影像数据。为了方便起见,在此说明书内容中,该重建后的影像数据亦包括该处理后的重建后的影像数据。
图2A为每一侧具有n(n=4)个边界像素的一垂直区块边界210的范例的示意图。右侧的n个边界像素是标记为q0、q1、q2以及qn-1,其中q0是紧邻边界的像素。左侧的n(n=4)个边界像素是标记为p0、p1、p2以及pn-1,其中p0是紧邻边界的像素。关于跨越垂直区块边界的水平滤波处理,重建后的像素(即未经过去块滤波处理的像素)是用于滤波器参数的推导,而水平去块像素(即经过水平滤波处理的像素)是用作垂直滤波。图2B为每一侧具有n(n=4)个边界像素的一水平区块边界220的范例的示意图。下侧的n个边界像素是标记为q0、q1、q2以及qn-1,其中q0是紧邻边界的像素。上侧的n(n=4)个边界像素是标记为p0、p1、p2以及pn-1,其中p0是紧邻边界的像素。该区块边界的每一侧的n个像素是用作滤波器参数的推导以及滤波操作,去块滤波仅改变该区块边界的每一侧的m个像素,其中m等于或是小于n。在高效能影像编码标准中,将亮度成分的m设定为3,因此,在去块滤波处理之后仅有边界像素(q0到qm-1)或是(p0到pm-1)会有变化。对一彩度区块边界(chromablockboundary)的去块滤波处理来说,每一侧上的两个像素(即n=2),即(p0以及p1)或是(q0以及q1),是相关于滤波器参数的推导,且每一侧上的至少一像素(即m=1),即p0或是q0,在去块滤波处理之后会有变化。对跨越垂直区块边界的水平滤波处理而言,重建后的像素是用作滤波器参数的推导以及作为滤波处理的来源像素。对跨越水平区块边界的垂直滤波处理而言,水平去块滤波处理后的中间像素(即水平滤波处理后的像素)是用作滤波器参数的推导以及作为滤波处理的来源像素。
如图1所示,在高效能影像编码标准的测试系统模型版本4.0(HM-4.0)中亦采用取样点自适应性偏移器131。取样点自适应性偏移被视为滤波处理的一特殊案例,其仅针对一个像素来作处理。处理取样点自适应性偏移能够将一画面分割为多个最大编码单元对齐区域(LCU-alignedregion),且每一区域都能够在两个带状偏移(bandoffset,BO)类型、四个边缘偏移(edgeoffset,EO)类型以及不处理(关闭)之间选择一个取样点自适应性偏移类型。对每一待处理(亦称作待滤波)的像素而言,带状偏移使用像素强度(pixelintensity)来将像素分类至一能带,如图3所示,像素强度的范围可以平均被分为32个能带,在像素被分类完之后,可以为每一能带中的所有像素导出一偏移量,且中间16个能带或是外侧16个能带的偏移量会被选取并编码。在取样点自适应性偏移的处理当中,首先进行像素的分类以将像素分类为不同的若干组(亦称为类别),如图4所示,每一像素的像素分类是依据一3x3窗,其中对应0°、90°、135°以及45°的四组配置被用来作为分类之用。在对一画面或是一区域中的所有像素的分类后,每一像素组中可得到一偏移量并将其传送出去。在高效能影像编码标准的测试系统模型版本4.0中,取样点自适应性偏移是被使用在亮度成分以及彩度成分,且每一亮度成分都是独立处理。和带状偏移相似,可以由除了类别0之外的每一类别的所有像素得到一偏移,其中类别0会强制使用0偏移(zerooffset)。以下表1列出了边缘偏移(EO)像素的分类,其中C代表要被分类的像素。
表1.
类别 | 情况 |
1 | C<两相邻像素 |
2 | C<一相邻像素&&C==一相邻像素 |
3 | C>一相邻像素&&C==一相邻像素 |
4 | C>两相邻像素 |
0 | 以上皆非 |
如图1所示,在高效能影像编码标准的测试系统模型版本4.0中,内嵌于回路中的另一个滤波元件是为自适应性回路滤波器132。自适应性回路滤波器132亦是用来增强画面品质,使用了多种类型的亮度滤波器足印(footprint)以及彩度滤波器足印,举例来说,图5A所示为一11x5的十字型滤波器(crossshapedfilter)的示意图,而图5B中所示为一5x5的雪片型滤波器(snow-flakeshapedfilter)的示意图。每一画面都能够为亮度信号选择一个滤波器形状,并且也为彩度信号选择一个滤波器形状。在高效能影像编码标准的测试系统模型版本4.0中,每一画面最多可以使用16个亮度自适应性回路滤波器以及一个彩度自适应性回路滤波器。为了允许自适应性回路滤波器的局部化处理(localization),有两种模式可以供亮度像素来选择滤波器,一种是为基于区域的自适应性(region-basedadaptation,RA)模式,另一种是为基于区块的自适应性(block-basedadaptation,BA)模式。对于画面层级(picturelevel)上的自适应性模式的选择来说,除了基于区域的自适应性模式以及基于区块的自适应性模式之外,大于一临界值的编码单元(codingunit,CU)可以另外被滤波器使用旗标(filterusageflag)所控制而局部地启动或是停止自适应性回路滤波器的运作。在高效能影像编码标准的测试系统模型版本4.0中,关于彩度成分的部分,由于其相对地平坦,因此并未使用局部的自适应性处理,且一画面中的两个彩度成分会共享同一滤波器。
该基于区域的自适应性模式单纯地将一亮度画面分割为16个区域,而一旦该亮度画面的尺寸是已知,该16个区域即确定且固定。该16个区域可以被合并,并且在合并之后的每一区域都使用一滤波器,因此,该基于区域的自适应性模式的每一画面最多使用16个滤波器。另一方面,该基于区块的自适应性模式使用边缘活动以及方向(edgeactivityanddirection)的特性来处理每一4x4区块。计算一4x4区块的特性可能需要邻近的像素,举例来说,如图6所示,在高效能影像编码标准的测试系统模型版本4.0中,一5x5窗610被用来处理一相关的4x4窗620。在计算出4x4区块的特性后,该区块被归类至15个类别中的其中之一。该些类别可以被合并,并且在合并之后的每一类别都使用一滤波器,因此,该基于区块的自适应性模式的每一画面最多使用15个滤波器。
如图1所示,在高效能影像编码标准的测试系统模型版本4.0中的示范性解码器实施例当中,解码处理程序被分为两个部分。其一是基于最大编码单元的处理程序,包括有帧内预测(intraprediction,IP)器110、移动补偿器113、反转换器126、反量化器124以及重建器128,其二是基于画面的处理程序,包括有去块滤波器130、取样点自适应性偏移器131以及自适应性回路滤波器132。当SPS、PPS或是影像切片层级(slice-level)语法元素(syntaxelements)被解析时,熵解码(entropydecoding,ED)器142属于该基于画面的处理程序,而当最大编码单元的语法元素被解析时,熵解码器142则属于该基于最大编码单元的处理程序。在基于个人电脑的软件环境下,对去块滤波处理、取样点自适应性偏移处理以及自适应性回路滤波处理来说,基于画面的处理程序较基于最大编码单元的处理程序容易实作。然而,若是在硬件中或是嵌入式软件中来实作解码器,基于画面的处理程序需要画面缓冲器,而由于芯片需要内建画面缓冲器,因此会导致较高的系统成本;另一方面,使用芯片外画面缓冲器会需要对外部存储器进行存取的动作,因此会明显地提高系统对频宽的需求,此外,耗电量以及数据存取的延迟时间也将因此增加。因此,较佳的实作方式是使用基于最大编码单元的解码配置来设计去块滤波器、取样点自适应性偏移以及自适应性回路滤波器。
当使用基于最大编码单元的处理程序来设计去块滤波器、取样点自适应性偏移以及自适应性回路滤波器时,可以使用最大编码单元来以一光栅扫描(rasterscan)的顺序来进行多个最大编码单元的平行处理,以完成编码以及解码处理程序。在这样的状况下,由于处理一个最大编码单元像素行(LCUrow)需要上一个最大编码单元像素行的像素,因此去块滤波器、取样点自适应性偏移以及自适应性回路滤波器便需要像素行缓冲器(linebuffer)。若使用芯片外像素行缓冲器(例如动态随机存取存储器),则会造成外部存储器频宽以及耗电量的大幅上升,另一方面,若是使用芯片内建的像素行缓冲器(例如静态随机存取存储器),则会导致芯片面积的上升,因而造成芯片成本的上升。虽然基于最大编码单元处理程序的像素行缓冲器已经较画面缓冲器小的多,但仍然存在降低像素行缓冲器以降低成本的需求。
图7为在一基于最大编码单元的编码或是解码系统中处理有关去块滤波处理、取样点自适应性偏移处理以及自适应性回路滤波处理的亮度成分时对于像素行缓冲器的需求的范例的示意图。粗体线710以及粗体线712分别表示水平最大编码单元边界以及垂直最大编码单元边界,且目前所处理的最大编码单元是位于水平最大编码单元边界710的上侧,以及垂直最大编码单元边界712的右侧。一开始时,水平去块滤波器会先对第A像素行~第J像素行的像素来进行处理,接下来则是由垂直去块滤波器来对像第A像素行~第J像素行的像素来进行处理。为了方便起见,第X像素行可以用像素行X来表示。对于水平最大编码单元边界710的上方的像素行K~像素行N的水平去块滤波处理来说,需要等到取得水平最大编码单元边界710的下方的四行像素行之后,才能够来进行处理。为了避免水平去块处理后的像素需要用到像素行缓冲器,因此可以将像素行K~像素行N的水平滤波处理延后到水平最大编码单元边界710的下方的像素可取得之后才来进行。如此一来,由于稍后才会对其进行去块滤波处理,因此去块滤波处理前的像素(即重建后的像素)中的这四行像素行(即像素行K~像素行N)必须要先被储存起来。去块滤波处理前的像素指的是完全没有经过去块滤波处理的重建后的像素。因此,在一典型的系统中,这四(n=4)行(像素行K~像素行N)像素行是用来储存去块滤波处理前的像素,以便进行后续的去块滤波处理程序。依据图1所示的系统配置,接下来会对去块滤波器130所输出的像素来进行取样点自适应性偏移处理,由于去块滤波器130已对像素行A~像素行J进行了处理,因此取样点自适应性偏移器131可以接着对像素行A~像素行J进行处理。另外,因为取样点自适应性偏移器131依据如方框730所示的一3x3窗来进行边缘偏移类型(EOtype)的处理,所以取样点自适应性偏移器131能够被用来处理至去块滤波器130所输出的像素行I的像素。像素行J需要去块滤波器130所输出的像素行K的像素来构成该3x3窗,然而去块滤波器130所输出的像素行K还没有办法被取得。在取样点自适应性偏移器131处理完像素行A~像素行I的像素之后,由于像素行J尚未被取样点自适应性偏移器131处理完,因此仍然无法计算出一4x4区块740的特性,因此,在这一次的流程中,自适应性回路滤波器132仅能处理像素行A~像素行F的像素。如图7所示,自适应性回路滤波器132通过该5x5雪片状滤波器来对像素行F进行处理,其中另标示出滤波器足印750所依据的一基础像素(underlyingpixel)752,在此流程中,直到较下面的最大编码单元取得之前,都无法对目前的最大编码单元再进行任何进一步的处理。
在得到较下面的最大编码单元后,可以由像素行缓冲器中读取出目前的最大编码单元的像素行K~像素行N(在较下面的最大编码单元到达之后,仍然将位于最大编码单元边界710以及最大编码单元712的右上角的象限的最大编码单元称作“目前的最大编码单元”),并且由水平去块滤波器130来产生经过水平去块处理后的像素行K~像素行N,水平去块滤波器处理程序可以被用来执行位在下方的相邻最大编码单元的重建后的像素行。图7中仅绘示了该下方的相邻最大编码单元中的两行像素行(像素行O以及像素行P)以说明底下的最大编码单元边界710的上方的重建后的影像数据的内嵌式回路处理。垂直去块滤波处理程序被用来对经过水平去块程序处理后的像素行K~像素行N进行处理,垂直去块滤波处理程序会对目前的最大编码单元的有关于像素行K~像素行N的四个边界上的像素进行处理,例如图7中的长条方框720。在像素行K~像素行N经过垂直去块滤波处理过后,像素行J~像素行P便能够来进行取样点自适应性偏移的处理程序。当对像素行J进行取样点自适应性偏移处理的时候,需要利用像素行I来决定有关于边缘偏移的分类,因此,去块滤波器130所输出的像素中的两行像素行(即像素行I以及像素行J)必须要为了取样点自适应性偏移的处理程序而被储存在像素行缓冲器之中。接着,便可以将像素行G~像素行P中的4x4区块的特性都计算出来,并且也可以依此通过自适应性回路滤波器132来对像素行G~像素行P进行滤波处理。当自适应性回路滤波器132处理过像素行G之后,需要取样点自适应性偏移器131来对像素行E~像素行I的像素数据进行处理,经过了进一步的分析之后,可以发现取样点自适应性偏移器131所输出的像素中的五行像素行(即行E~行I)必须要为了进行自适应性回路滤波处理程序而被储存在像素行缓冲器之中,因此,所有的内嵌式滤波处理总共需要11个亮度像素行缓冲器(4个未经过去块滤波处理的像素行、2个去块滤波处理后的像素行以及5个取样点自适应性偏移处理后的像素行)。
图8有关于基于最大编码单元的解码系统中的去块滤波处理、取样点自适应性偏移处理以及自适应性回路滤波处理的彩度成分对于像素行缓冲器的需求的范例的示意图。粗体线810以及粗体线812分别表示水平最大编码单元边界以及垂直最大编码单元边界,且目前所处理的最大编码单元是位于水平最大编码单元边界810的上侧,以及垂直最大编码单元边界812的右侧。一开始时,水平去块滤波器会先对目前的最大编码单元的像素行A~像素行J的像素来进行处理,然而,由于较下面的最大编码单元尚未被得到,因此去块滤波器并不能够对像素行M~像素行N进行垂直滤波处理,必须要先取得水平最大编码单元边界810之下的两行水平去块处理后的像素行。和内嵌式亮度处理程序相似,为了避免水平去块处理后的影像数据需要用到像素行缓冲器,对于像素行M以及像素行N的水平滤波处理可延后到取得较下面的最大编码单元之后才来进行,如此一来,去块滤波处理前的影像数据(即重建后的影像数据)中的这两行像素行(即像素行M以及像素行N)必须要为了去块处理而先被储存起来。接下来,会对去块滤波器所输出的像素来进行取样点自适应性偏移处理,取样点自适应性偏移器131对每一像素的处理是依据如图8所示的方框820的一3x3窗来进行,因为去块滤波器已经处理完像素行A~像素行L的像素,所以取样点自适应性偏移器131可以对像素行A到像素行K进行处理。在取样点自适应性偏移器处理完像素行A到像素行K之后,自适应性回路滤波器便可以对像素行A到像素行I来进行处理。由于使用了一5x5雪片状滤波器,故如滤波器足印830的像素行I上的基础像素832所示,自适应性回路滤波器不能够对超过像素行I的像素行来进行处理,在此流程中,直到较下面的最大编码单元取得之前,都无法对目前的最大编码单元进行任何进一步的处理。在得到较下面的最大编码单元后,去块滤波器会首先对像素行M~像素行P来进行处理,接着像素行L~像素行P便能够来进行取样点自适应性偏移的处理程序。图8中仅绘示了下方的相邻最大编码单元中的两行像素行(像素行O以及像素行P)以说明在底下的最大编码单元边界810的上方的重建后的影像数据的内嵌式回路处理。当取样点自适应性偏移器在处理像素行L的时候,会需要用到相邻的像素行K,因此去块滤波器所输出的像素中的两像素行(即像素行K以及像素行L)必须要为取样点自适应性偏移处理程序而储存起来。在像素行L~像素行P经过取样点自适应性偏移处理过后,像素行J~像素行P便能够来进行自适应性回路滤波器的滤波处理程序,而当对像素行J进行滤波的时候,会需要相邻的像素行H~像素行L,经过了进一步的分析之后,可以发现取样点自适应性偏移器所输出的像素中的四行像素行(即行H~行K)必须要为了进行自适应性回路滤波处理程序而被储存在像素行缓冲器之中。因此,所有的内嵌式滤波处理总共需要8个彩度像素行缓冲器。
在上述关于一示范性解码系统的分析中,可以发现用于亮度成分以及彩度成分的去块滤波器、取样点自适应性偏移器以及自适应性回路滤波器对于像素行缓冲器的需求分别是11个以及8个。对于高画质数字电视信号来说,每一像素行可能具有接近两千个像素,因此整体系统对于像素行缓冲器的需求会是一个可观的数目,所以减少内嵌式回路处理系统中像素行缓冲器的数目已成为一个亟需解决的问题。
发明内容
本发明揭露一种用于重建后的影像数据的内嵌式回路处理方法以及装置,其中该重建后的影像数据是被分割为多个影像单元,每一影像单元是对应于一最大编码单元(LCU)、一影像切片(slice)或是一影像块(tile)。此外,针对横跨多个垂直影像单元边界来对该重建后的影像数据进行水平去块,接着对多个水平影像单元边界的每一边的水平去块处理后的影像数据的n个像素进行垂直去块。依据本发明的实施例,针对像素行pn-1而对该n个重建后的像素行的至少其中之一进行该水平去块以产生至少一水平去块处理后的像素行,以及针对像素行pn而基于给像素行pn-1的该水平去块处理后的像素行来对至少一水平去块处理后的像素行进行取样点自适应性偏移(sampleadaptiveoffset,SAO)处理,其中上述步骤会在目前的影像单元以下的一相邻影像单元到达之前执行。
在本发明的一实施例中,该方法另包括有当该目前的影像单元以下的该相邻影像单元到达之前,储存去块滤波器输出像素的一像素行pn来对像素行pn-1进行取样点自适应性偏移。在本发明的另一实施例中,该方法另包括有储存该n个水平去块处理后的像素行于一个或是多个像素行缓冲器,并从该一个或是多个像素行缓冲器中读取出该n个水平去块处理后的像素行,以及当该目前的影像单元以下的该相邻影像单元到达时,对该n个水平去块处理后的像素行进行该垂直去块。
在本发明的又一实施例中,在该目前的影像单元以下的该相邻影像单元到达之前,该n个重建后的像素行的至少一像素行p0并未经过水平去块的处理。该方法另可包括有为像素行p0储存该重建后的像素行于一像素行缓冲器中,且为像素行p0自该像素行缓冲器中读取该重建后的像素行,以及为目前的影像单元之下的相邻影像单元来依据该重建后的像素行p0以及编码数据进行一帧间预测,来为该目前的影像单元之下的该相邻影像单元来产生重建后的影像。另外,该方法另可包括有在进行该帧间预测之后,为像素行p0对该重建后的像素行进行该水平去块以为像素行p0产生一水平去块处理后的像素行,以及为像素行p0对该一水平去块处理后的像素行进行该垂直去块。
本发明会将一部份的像素行(例如像素行K~像素行N)的水平滤波处理延后到较下面的最大编码单元可取得之后才来进行,因此,在较下面的最大编码单元到达之前,可使用水平去块滤波器来对一像素行(例如像素行K)进行处理,所以得以对更多一行像素行(例如像素行J)来进行取样点自适应性偏移的处理,此外,像素行I中经过水平去块处理之后的输出像素将不会被储存于像素行缓冲器之中,因而节省了像素行缓冲器的空间。
附图说明
图1为具有内嵌去块滤波器、取样点自适应性偏移器以及自适应性回路滤波器的回路处理的一示范性自适应性影像编码系统的示意图。
图2A为每一侧具有4个边界像素的一垂直区块边界的示意图。
图2B为每一侧具有4个边界像素的一水平区块边界的示意图。
图3为取样点自适应性偏移中将像素强度范围平均分为32个能带的带状偏移的示意图。
图4为取样点自适应性偏移中依据一3x3窗来将边缘偏移像素分类,其具有0°、90°、135°以及45°的四组配置的示意图。
图5A为自适应性回路滤波器的一11x5的十字型滤波器的示意图。
图5B为自适应性回路滤波器的一5x5的雪片型滤波器的示意图。
图6为使用具有一5x5支援窗的一4x4基于区块的自适应性窗的基于区块的自适应性模式的自适应性回路滤波器的示意图。
图7为在一基于最大编码单元的编码或是解码系统中处理有关去块滤波处理、取样点自适应性偏移处理以及自适应性回路滤波处理的亮度成分时对于像素行缓冲器的需求的的示意图。
图8有关于基于最大编码单元的解码系统中的去块滤波处理、取样点自适应性偏移处理以及自适应性回路滤波处理的彩度成分对于像素行缓冲器的需求的的示意图。
图9为依据本发明一实施例的进行基于最大编码单元的解码系统的去块滤波处理、取样点自适应性偏移处理以及自适应性回路滤波处理所需要的该亮度像素行缓冲器的示意图。
图10为依据本发明一实施例的基于最大编码单元解码系统的去块滤波器、取样点自适应性偏移器以及自适应性回路滤波器所需要的彩度像素行缓冲器的示意图。
附图标号
110帧内预测区块
113移动补偿区块
114切换器
124反量化器
126反转换器
128重建器
130去块滤波器
131取样点自适应性偏移器
132自适应性回路滤波器
134参考画面缓冲器
136预估数据
142熵解码器
210垂直区块边界
220水平区块边界
610、742、9525x5窗
620、740、9504x4窗
710、810、910、1010水平最大编码单元边界
712、812、912、1012垂直最大编码单元边界
720、730、820、840、920、930、1020、1040方框
750、830、940、1030滤波器足印
752、832、942、1032基础像素
具体实施方式
图9为依据本发明一实施例的处理流程的范例示意图,其中绘示了进行基于最大编码单元的解码系统的去块滤波处理、取样点自适应性偏移处理以及自适应性回路滤波处理所需要的亮度像素行缓冲器。一已知的目前的最大编码单元是位于水平最大编码单元边界910以及垂直最大编码单元边界912的右上方的象限中。像素行A到像素行J首先会经过水平去块滤波处理,接着再经过垂直去块滤波处理。如同之前所述,为了避免为了像素行K到像素行N的垂直去块滤波处理而需使用水平去块处理后像素的像素行缓冲器,可以将像素行K~像素行N的水平滤波处理延后到较下面的最大编码单元可取得之后才来进行,因此,当取得较下面的最大编码单元的时候,去块滤波处理前的像素中的这四行像素行(即像素行K~像素行N)会被储存起来。接下来,取样点自适应性偏移便准备好对经过去块滤波处理之后所输出的像素来进行处理,由于对像素行K到像素行N所进行的垂直去块滤波处理不会改变像素行K,所以水平去块滤波处理可以额外地被用来对像素行K进行处理(即边界像素行pn-1),因此,如图9中的3x3窗930所示,由于可以得到额外的去块滤波处理后的像素行K,因此取样点自适应性偏移可以被额外地使用来对像素行J进行处理。当像素行K已完成水平去块滤波处理之后,为了节省像素行缓冲器的空间,像素行K中经过水平去块处理之后的输出像素将不会被储存于像素行缓冲器之中。当需要像素行K中经过水平去块之后的像素来进行垂直去块滤波处理程序的时候,可以再重新产生一次像素行K中经过水平去块之后的像素,这样的作法对于基于硬件的实作来说并不是一个大问题。在经过对像素行A到像素行J的取样点自适应性偏移处理程序之后,如4x4窗950所示的4x4区块特性便可以依据5x5窗952而计算出来。此时可以对像素行A到像素行H来进行自适应性回路滤波处理的程序。处理完自适应性回路滤波处理程序之后,直到可以取得较下面的最大编码单元之前,目前的最大编码单元不会进行其他更进一步的处理。
当较下面的最大编码单元到达的时候,首先使用去块滤波器来对像素行K到像素行P进行处理,接着再使用取样点自适应性偏移器来对像素行K到像素行P进行处理,水平去块滤波处理是用来处理目前的最大编码单元(在较下面的最大编码单元到达之后,位于最大编码单元边界910以及最大编码单元边界912的右上方的象限的最大编码单元仍然被称作“目前的最大编码单元”)的最下面的三行像素行(即像素行L到像素行N),接着可以对经过水平去块处理之后的像素来进行垂直去块滤波处理(举例来说,如长条方框920所示)。当在对像素行K进行取样点自适应性偏移处理的时候,如3x3窗930所示,需要使用到像素行J,因此,有需要将去块滤波器所输出的像素中的一像素行(即像素行J)储存起来,以便进行后续的取样点自适应性偏移运算,接着,便可以计算出像素行I到像素行P的4x4区块特性。最后,可以对像素行I到像素行P进行自适应性回路滤波处理,当自适应性回路滤波器在对像素行I进行滤波处理程序的时候,需要像素行G到像素行K(如基础像素942的滤波器足印940所示),然而,如窗952所示,计算相关于像素行I到像素行J的4x4区块(窗950所示)的特性需要用到像素行F到像素行J经过取样点自适应性偏移处理之后的数据,因此,取样点自适应性偏移器所输出的像素的五行像素行(即像素行F到像素行J)必须要储存起来,以便进行后续的自适应性回路滤波器处理。因此,内嵌式回路滤波器所需要的亮度像素行缓冲器的数量总共是10个,较图7所示的方法少了一个像素行缓冲器,因为帧内亮度预测(intralumaprediction)已经储存去块滤波处理前的像素中的一行像素行(即像素行N),此亮度像素行缓冲器是对应于边界像素行p0且能够被内嵌式回路滤波器共享。目前方的最大编码单元的编码数据到达的时候,可以使用图1中所示的熵解码器142来恢复下方的最大编码单元的残值。对于帧内编码影像数据来说,下方的最大编码单元的重建后影像数据可以依据重建后的像素行p0以及下方的最大编码单元的恢复后的残值来恢复。虽然在此并未清楚载明,应当理解的是对下方的最大编码单元的帧内预测解码也可能需要紧邻于下方的最大编码单元的左边最大编码单元边界的重建后的数据。除此之外,若是一滤波器索引像素行缓冲器(filterindexlinebuffer)是用来储存像素行G到像素行J的基于区块的自适应性(block-basedadaptation,BA)模式滤波器的选择,便不需要在对像素行I到像素行J进行滤波器处理的时候再次计算区块特性,如此一来,取样点自适应性偏移器所输出的像素中的一像素行(即像素行F)便可为了进行自适应性回路滤波处理而被节省下来,相较于像素行缓冲器来说,对于每一4x4区块,滤波器索引像素行缓冲器仅需要4位,这仅仅是像素行缓冲器的大约10%。
在上述范例中,需要将去块滤波器所输出的像素中的一像素行(即像素行J)储存在像素行缓冲器中,以便后续的取样点自适应性偏移处理程序的进行,其中去块滤波器所输出的像素会依边缘偏移(edgeoffset,EO)分类来储存。表1所示为基于高效能影像编码标准的测试系统模型版本4.0(HM-4.0)的边缘偏移分类的范例,其中中心像素的值会与两个相邻的像素值进行比较,换句话说,可以依据中心像素值以及各自的相邻像素值的差距的正负号来决定该边缘偏移分类,如此一来,可将部分导出信息(partialderivedinformation)储存下来,而非储存实际的像素值。在以上范例中,可将像素行J以及像素行I之间的正负号的信息(部分导出信息)储存下来,而非储存像素行J的经过去块滤波处理后的像素值。根据所使用的内嵌式回路滤波器,可以决定出部分导出信息,除此之外,基于基本的内嵌式回路滤波器,部分导出信息可以由重建后的影像数据、水平去块处理后的影像数据、完整经过去块滤波处理后的数据或是经过取样点自适应性偏移处理后的数据来得到。
以上示范性实施例中,在较下面的最大编码单元到达之前使用水平去块滤波器来对像素行(即对应pn-1的像素行)进行处理,因此得以对更多一行像素行(即像素行J)来进行取样点自适应性偏移的处理,随后,可以得到关于像素行G到像素行J的区块特性,并且使用自适应性回路滤波器来在下面的最大编码单元到达之前对像素行A到像素行H进行处理。在此范例中,有四个像素(n=4)会关系到滤波器参数的推导以及滤波操作,且去块滤波器会对三个像素(m=3)来进行处理,因此,最大编码单元边界的每一侧仅有一个像素(n-m=1)没有被处理(即pn-1或是qn-1)。上述实施例可以被延伸至具有更多不被去块滤波所改变的像素的去块滤波器,也就是n-m>1。除此之外,当去块滤波器、取样点自适应性偏移器以及自适应性回路滤波器使用特定内嵌式回路滤波器信息或是参数来说明本发明实施例的详细的步骤的时候,该些特定信息以及参数并非用来限制本发明,且熟习此领域者应可将使用其他经过变化的内嵌式回路滤波器的信息以及参数来将本发明应用于编码系统中。
图10为依据本发明一实施例的处理流程的示意图,其中所示为基于最大编码单元解码系统的去块滤波器、取样点自适应性偏移器以及自适应性回路滤波器所需要的彩度像素行缓冲器。对于具有较低的水平最大编码单元边界1010以及左侧的垂直最大编码单元边界1012的一个已知的目前的最大编码单元,首先使用水平去块滤波器来对像素行A到像素行M进行处理,接下来使用垂直去块滤波器来对像素行A到像素行L进行处理。由于对像素行M到像素行N的垂直去块滤波处理不会改变像素行M,像素行M中经过水平去块处理后的像素也是像素行M的去块滤波器的输出像素。此流程中对像素行M使用水平去块的好处是可以让取样点自适应性偏移器多处理一额外的像素行,即像素行L。因为可以得到经过去块滤波处理过后的像素行M,因此在图10中如正方框1020所示,可以对像素行L进行基于一3x3窗的取样点自适应性偏移的分类。在本发明的实施例中,为了与帧内彩度预测处理一起共享像素行N的去块滤波器处理前的像素的像素行缓冲器,可以延后对像素行N的水平去块滤波处理直到较下面的最大编码单元到达为止。至于对于像素行M到像素行N的垂直去块滤波器,则需要等待取得较下面的最大编码单元。在像素行A到像素行L完成取样点自适应性偏移的处理之后,便可以对像素行A到像素行J进行自适应性回路滤波处理流程,对于图10中所示的基础像素1032的5x5滤波器足印1030,自适应性回路滤波器最多可处理至像素行J。在此之后,直到可以取得较下面的最大编码单元之前,目前的最大编码单元不会执行任何更进一步的运算。
当可以取得较下面的最大编码单元的时候,像素行N到像素行P首先会进行水平去块滤波处理,接着会对像素行M到像素行P进行垂直去块滤波处理的程序,其中对水平边界1010的上方的两个像素的垂直去块滤波处理程序如图10中的长方框1040所示。接着,再对经过去块滤波处理之后的像素来进行取样点自适应性偏移的处理,当对像素行M进行取样点自适应性偏移的处理时,为了得到基于一3x3窗的取样点自适应性偏移分类的数据,需要用到像素行L。然而,取样点自适应性偏移器已经对像素行L进行过处理,且不再可以得到像素行L的去块滤波器输出结果,因此,去块滤波器输出像素的一像素行(即像素行L)必须要为了取样点自适应性偏移而先被缓冲器储存下来。最终,使用自适应性回路滤波器来对像素行K到像素行P进行滤波处理,当自适应性回路滤波器在对像素行K进行滤波处理的时候,会需要用到像素行I到像素行M,经过详细的计算,可以得知取样点自适应性偏移器所输出的像素的四行像素行(像素行I到像素行L)必须要为了自适应性回路滤波处理而先被储存起来,因此,内嵌式回路滤波器总共需要七个彩度像素行缓冲器。
在本发明另一实施例中,在像素行K到像素行N的水平去块滤波处理结束之后,经过水平去块处理后的输出像素中的四行像素行(即像素行K到像素行N)被储存在像素行缓冲器中,以等待进行垂直去块滤波的处理。当得到较下面的最大编码单元之后,水平去块处理过的像素行K到像素行N便从像素行缓冲器中被读取出来,并使用垂直去块滤波器来对像素行K到像素行N进行处理。虽然本实施例中的去块滤波处理的流程较为直觉,但是像素行缓冲器完全不能被帧内预测处理流程所共用,帧内预测是对去块滤波处理前的影像数据进行处理,然而,像素行缓冲器储存的是水平去块处理后的影像数据。为了克服这个问题,本发明又揭露一实施例,依据此实施例,水平去块滤波器会对像素行A到像素行M进行处理,接着将像素行K到像素行M的水平去块处理后的像素以及像素行N的去块滤波处理前的像素均存在像素行缓冲器之中,接下来对像素行A到像素行J进行垂直去块滤波处理,至于取样点自适应性偏移处理以及自适应性回路滤波处理则可以遵照如图7以及图8所示的传统的方法,或是遵照如图9以及图10中所示的本发明的方法。当较下面的最大编码单元到达的时候,可以将像素行N的去块滤波处理前的像素从像素行缓冲器中读取出来,并且与较下面的最大编码单元的编码数据一起被用于帧内亮度预测,接着可以对重建后的像素行N来进行水平去块滤波处理,并且从像素行缓冲器当中将像素行K到像素行M的经过水平去块处理后的像素读取出来,以及对像素行K到像素行P进行垂直去块滤波处理。取样点自适应性偏移处理以及自适应性回路滤波处理可以遵照如图7以及图8所示的传统的方法,或是遵照如图9以及图10中所示的本发明的方法。
在本发明又一实施例中,将针对像素行p0到像素行pk-1而延后一水平最大编码单元边界的上方的像素行的水平去块滤波处理,其中1<k<n,像素行p0到像素行pk-1的去块滤波处理之前的像素会被储存在像素行缓冲器中以便进行水平去块滤波的处理流程。另一方面,会对像素行pk到像素行pn-1进行水平去块滤波处理流程,以及将像素行pk到像素行pn-1的水平去块处理后的输出储存于像素行缓冲器之中。在此状况下,像素行p0的去块滤波处理之前的像素会被储存在一像素行缓冲器中,且该像素行缓冲器可以与帧内预测处理时所需的像素行缓冲器共用。
在本发明的另一实施例中,由于将像素行p0的一部分的水平去块滤波处理流程延后,因此重建后的像素行p0的一部分被储存在一像素行缓冲器中,当较下面的最大编码单元的编码数据到达的时候,可以恢复该较下面的最大编码单元的残值,接着将该重建后的像素行p0的一部分自像素行缓冲器当中读取出来,并且与该较下面的最大编码单元的残值一起使用来产生至少一部分的重建后的影像给位在目前的影像单元的下方的相邻影像单元。
当一水平最大编码单元边界的上方的像素行于下方的最大编码单元到达之前尚未全部经过水平滤波处理的时候,可以为了下方的最大编码单元的像素行(水平最大编码单元边界之下的n行像素行)的滤波处理而将滤波器决定信息(例如开启/关闭的决定或是强/弱滤波器的决定)储存下来。
上述的像素行缓冲器可以通过使用芯片上的储存装置来实作,例如静态随机存取存储器(staticrandomaccessmemory,SRAM),以降低芯片外存储器所耗占的系统频宽以及功率。本发明中的像素行缓冲器可以使用单一整合的存储器装置或是多个存储器装置来实作。
上述说明的用意在于使所属领域中技术人员得以采用本发明说明书中叙述的特定应用以及要求来实践本发明,而凡依本发明权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围,因此,本发明并不受限于上述的特定实施例,而应被给予与本发明所公开的操作原理和新颖的技术特征相一致的最宽范围。在以上的详细描述中,说明了各种特定细节以使本发明得以被透彻理解,然而,所属领域中技术人员应当能理解,本发明是可以被实施的。
上述的本发明实施例可以实作在各式各样的硬件、软件代码或是上述两者的结合的应用当中。举例来说,本发明的一实施例可以是整合于一影像压缩芯片中的一电路,或是整合于影像压缩软件中的程序代码以执行上述的处理程序;本发明的一实施例亦可是执行于一数字信号处理系统中的程序代码以执行上述的处理程序。本发明亦可涉及于一电脑处理器、一数字信号处理器、一微处理器或是现场可编程门阵列(fieldprogrammablegatearray,FPGA)所执行的若干功能,这些处理器可以依据本发明来设定而执行体现本发明的特定方法的机器可读软件代码或是固体代码,以执行特定工作,其中软件代码或是固体代码可以透过不同的程序语言或是不同的格式以及风格来开发,且软件代码亦可以在不同的目标平台上被编译。然而,使用不同的格式、风格或是语言的软件代码以及使用其他配置程序代码的方法来依据本发明而执行这些工作将不会背离本发明的精神以及范围。
本发明可以通过其他特定形式来体现而不背离其精神或是基本的技术特征,而所描述的实施例在所有方面都仅是说明性的,而不是限制性的,因此,本发明的范畴应由权利要求而非由上述的描述所指示。等同于本发明的权利要求的含义和范畴内的所有变化都被包括在权利要求的范畴内。
Claims (20)
1.一种用于一重建后的影像数据的内嵌式回路处理方法,其特征在于,所述重建后的影像数据是被分割为多个影像单元,并对横跨多个垂直影像单元边界的所述重建后的影像数据进行一水平去块,接着对多个水平影像单元边界的每一侧的水平去块处理后的影像数据的n个像素进行一垂直去块,以及所述垂直去块的多个垂直滤波器参数是依据所述多个水平影像单元边界的每一侧的n个水平去块处理后的像素行所产生,其中n是一第一整数,所述方法包括有:
为一目前影像单元接收所述重建后的影像数据,其中所述重建后的影像数据包括有一水平影像单元边界的上方的n个重建后的像素行,其包括像素行p0到像素行pn-1,且像素行p0是最接近所述水平影像单元边界;
对所述n个重建后的像素行的至少其中之一进行所述水平去块以产生针对像素行pn-1的至少一水平去块处理后的像素行;以及
基于针对像素行pn-1的所述水平去块处理后的像素行,来对针对像素行pn的至少一水平去块处理后的像素行进行取样点自适应性偏移处理;
其中上述步骤会在所述目前影像单元以下的一相邻影像单元到达之前执行。
2.如权利要求1所述的内嵌式回路处理方法,其特征在于,所述的内嵌式回路处理方法另包括有:
储存去块滤波器输出像素的一像素行pn,以便于所述目前的影像单元以下的所述相邻影像单元到达时对像素行pn-1进行取样点自适应性偏移处理。
3.如权利要求1所述的内嵌式回路处理方法,其特征在于,在所述目前影像单元以下的所述相邻影像单元到达之前,所有的所述n个重建后的像素行都会进行所述水平去块;以及所述内嵌式回路处理方法另包括有:
储存所述n个水平去块处理后的像素行于一个或是多个像素行缓冲器之中;
从所述一个或是多个像素行缓冲器中读取出所述n个水平去块处理后的像素行;以及
当所述目前影像单元以下的所述相邻影像单元到达时,对所述n个水平去块处理后的像素行进行所述垂直去块。
4.如权利要求1所述的内嵌式回路处理方法,其特征在于,所述影像单元是对应于一最大编码单元、一影像切片或是一影像块。
5.如权利要求1所述的内嵌式回路处理方法,其特征在于,在所述目前影像单元以下的所述相邻影像单元到达之前,所述n个重建后的像素行的至少一像素行p0并未被所述水平去块所处理。
6.如权利要求5所述的内嵌式回路处理方法,其特征在于,所述的内嵌式回路处理方法另包括有:
将针对像素行p0的所述重建后的像素行储存于一像素行缓冲器之中;
自所述像素行缓冲器中读取出针对像素行p0的所述重建后的像素行;以及
基于针对像素行p0的所述重建后的像素行以及所述目前影像单元之下的所述相邻影像单元的编码数据来进行一帧间预测,以针对所述目前的影像单元之下的所述相邻影像单元来产生一重建后的影像。
7.如权利要求6所述的内嵌式回路处理方法,其特征在于,所述的内嵌式回路处理方法另包括有:
在进行所述帧间预测之后,针对像素行p0的所述重建后的像素行进行所述水平去块,以针对像素行p0产生一水平去块处理后的像素行;以及
对针对像素行p0的所述水平去块处理后的像素行进行所述垂直去块。
8.如权利要求5所述的内嵌式回路处理方法,其特征在于,在所述目前影像单元以下的所述相邻影像单元到达之前,所述n个重建后的像素行中的像素行p0到像素行pk-1并未被所述水平去块所处理;以及所述方法另包括有:
在所述目前影像单元以下的所述相邻影像单元到达之前,将针对像素行p0到像素行pK-1的重建后的像素行以及针对像素行pK到像素行pK-1的水平去块处理后的像素行储存于一个或是多个像素行缓冲器之中,其中1<K<n,且K是一第二整数。
9.如权利要求5所述的内嵌式回路处理方法,其特征在于,所述的内嵌式回路处理方法另包括有:
另包括有当得到所述目前影像单元之下的所述相邻影像单元时,储存针对所述目前影像单元的所述水平滤波处理的滤波器决定信息。
10.如权利要求5所述的内嵌式回路处理方法,其特征在于,所述的内嵌式回路处理方法另包括有储存相关于在所述水平图像单元边界之上的一重建后的像素行或是一水平去块后的像素行的至少部分导出信息,其中所述部分导出信息是用于所述水平去块或是取样点自适应性偏移处理,以及其中当得到所述目前的影像单元之下的所述相邻影像单元时,所述水平去块或是取样点自适应性偏移处理是用于所述水平影像单元边界以上的一重建后的像素行或是一水平去块后的像素行的所述至少一部分。
11.一种用于重建后的影像数据的内嵌式回路处理装置,其特征在于,所述重建后的影像数据是被分割为多个影像单元,并对横跨多个垂直影像单元边界的所述重建后的影像数据进行一水平去块,接着对多个水平影像单元边界的每一侧的水平去块处理后的影像数据的n个像素进行一垂直去块,以及所述垂直去块的多个垂直滤波器参数是依据所述多个水平影像单元边界的每一侧的n个水平去块处理后的像素行所产生,其中n是一第一整数,所述装置包括有:
接收模块,为一目前影像单元接收所述重建后的影像数据,其中所述重建后的影像数据包括有一水平影像单元边界的上方的n个重建后的像素行,其包括像素行p0到像素行pn-1,且像素行p0是最接近所述水平影像单元边界;
去块滤波器,对所述n个重建后的像素行的至少其中之一进行所述水平去块以产生针对像素行pn-1的至少一水平去块处理后的像素行;以及
取样点自适应性偏移器,基于针对像素行pn-1的所述水平去块处理后的像素行,对针对像素行pn的至少一水平去块处理后的像素行进行取样点自适应性偏移处理;
其中上述装置要执行的步骤会在所述目前影像单元以下的一相邻影像单元到达之前完成。
12.如权利要求11所述的内嵌式回路处理装置,其特征在于,所述的内嵌式回路处理装置另包括有:
存储器,储存去块滤波器输出像素的一像素行pn,以便于所述目前影像单元以下的所述相邻影像单元到达时,像素行pn-1进行取样点自适应性偏移处理。
13.如权利要求11所述的内嵌式回路处理装置,其特征在于,在所述目前影像单元以下的所述相邻影像单元到达之前,所有的所述n个重建后的像素行都会进行所述水平去块;以及所述内嵌式回路处理装置另包括有:
一个或多个像素行缓冲器,储存所述n个水平去块处理后的像素行;
读取模块,从所述一个或是多个像素行缓冲器中读取出所述n个水平去块处理后的像素行;以及
其中当所述目前影像单元以下的所述相邻影像单元到达时,所述去块滤波器对所述n个水平去块处理后的像素行进行所述垂直去块。
14.如权利要求11所述的内嵌式回路处理装置,其特征在于,所述影像单元是对应于一最大编码单元、一影像切片或是一影像块。
15.如权利要求11所述的内嵌式回路处理装置,其特征在于,在所述目前影像单元以下的所述相邻影像单元到达之前,所述n个重建后的像素行的至少一像素行p0并未被所述去块滤波器进行所述水平去块处理。
16.如权利要求15所述的内嵌式回路处理装置,其特征在于,所述的内嵌式回路处理装置另包括有:
像素行缓冲器,储存针对像素行p0的所述重建后的像素行;
读取模块,自所述像素行缓冲器中读取出针对像素行p0的所述重建后的像素行;以及
帧间预测区块,基于针对像素行p0的所述重建后的像素行以及所述目前影像单元之下的所述相邻影像单元的编码数据来进行一帧间预测,以针对所述目前影像单元之下的所述相邻影像单元来产生一重建后的影像。
17.如权利要求16所述的内嵌式回路处理装置,其特征在于,所述去块滤波器在进行所述帧间预测之后,针对像素行p0的所述重建后的像素行进行所述水平去块,以针对像素行p0产生一水平去块处理后的像素行;以及
所述去块滤波器对针对像素行p0的所述水平去块处理后的像素行进行所述垂直去块。
18.如权利要求15所述的内嵌式回路处理装置,其特征在于,所述去块滤波器在所述目前影像单元以下的所述相邻影像单元到达之前,并未对所述n个重建后的像素行中的像素行p0到像素行pk-1进行所述水平去块处理;以及所述装置另包括有:
一个或多个像素行缓冲器,在所述目前影像单元以下的所述相邻影像单元到达之前,储存将针对为像素行p0到像素行pK-1的重建后的像素行以及针对像素行pK到像素行pK-1的水平去块处理后的像素行,其中1<K<n,且K是一第二整数。
19.如权利要求15所述的内嵌式回路处理装置,其特征在于,所述的内嵌式回路处理装置另包括有储存器,当得到所述目前的影像单元之下的所述相邻影像单元时,储存针对所述目前的影像单元的所述水平滤波处理的滤波器决定信息。
20.如权利要求15所述的内嵌式回路处理装置,其特征在于,所述的内嵌式回路处理装置另包括有储存器,储存相关于在所述水平影像单元边界之上的一重建后的像素行或是一水平去块后的像素行的至少部分导出信息,其中所述部分导出信息是用于所述水平去块或是取样点自适应性偏移处理;以及其中当得到所述目前的影像单元之下的所述相邻影像单元时,所述去块滤波器或所述取样点自适应性偏移器处理用于所述水平影像单元边界以上的一重建后的像素行或是一水平去块后的像素行的至少一部分。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161547273P | 2011-10-14 | 2011-10-14 | |
US61/547,273 | 2011-10-14 | ||
US13/633,162 | 2012-10-02 | ||
US13/633,162 US8913656B2 (en) | 2011-10-14 | 2012-10-02 | Method and apparatus for in-loop filtering |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103051892A CN103051892A (zh) | 2013-04-17 |
CN103051892B true CN103051892B (zh) | 2015-12-09 |
Family
ID=48064377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210389240.6A Active CN103051892B (zh) | 2011-10-14 | 2012-10-15 | 内嵌式回路滤波方法以及内嵌式回路滤波装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103051892B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102166335B1 (ko) * | 2013-04-19 | 2020-10-15 | 삼성전자주식회사 | Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
US10708588B2 (en) | 2013-06-19 | 2020-07-07 | Apple Inc. | Sample adaptive offset control |
CN103338374B (zh) * | 2013-06-21 | 2016-07-06 | 华为技术有限公司 | 图像处理方法及装置 |
US20160080771A1 (en) * | 2014-09-17 | 2016-03-17 | Mediatek Inc. | Motion compensation apparatus having at least one processing circuit shared by normal mode and resized reference frame mode and related motion compensation method |
US10306246B2 (en) | 2015-02-13 | 2019-05-28 | Mediatek Inc. | Method and apparatus of loop filters for efficient hardware implementation |
CN105992011B (zh) * | 2015-02-26 | 2019-04-09 | 扬智科技股份有限公司 | 环路滤波的计算方法及装置 |
CN105306957B (zh) * | 2015-10-23 | 2019-04-26 | 湘潭中星电子有限公司 | 自适应环路滤波方法和设备 |
CN110392259A (zh) * | 2018-04-16 | 2019-10-29 | 晨星半导体股份有限公司 | 影像压缩系统及利用影像压缩系统以压缩影像画面的方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI335764B (en) * | 2007-07-10 | 2011-01-01 | Faraday Tech Corp | In-loop deblocking filtering method and apparatus applied in video codec |
US9131241B2 (en) * | 2008-11-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Adjusting hardware acceleration for video playback based on error detection |
KR101749269B1 (ko) * | 2009-06-30 | 2017-06-22 | 삼성전자주식회사 | 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법 |
KR20110001990A (ko) * | 2009-06-30 | 2011-01-06 | 삼성전자주식회사 | 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치 |
JP5441803B2 (ja) * | 2010-04-12 | 2014-03-12 | キヤノン株式会社 | 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム |
-
2012
- 2012-10-15 CN CN201210389240.6A patent/CN103051892B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN103051892A (zh) | 2013-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103051892B (zh) | 内嵌式回路滤波方法以及内嵌式回路滤波装置 | |
CN105898335B (zh) | 提升硬件效率的环路滤波方法以及环路滤波装置 | |
CN106878729B (zh) | 基于分区基础的自适应环路滤波方法和装置 | |
CN103460699B (zh) | 环路滤波方法及其设备 | |
CN103947208B (zh) | 减少解块滤波器的方法及装置 | |
CN103931180B (zh) | 图像解码设备 | |
US8913656B2 (en) | Method and apparatus for in-loop filtering | |
EP3057320A1 (en) | Method and apparatus of loop filters for efficient hardware implementation | |
CN104303506A (zh) | 自适应采样点偏移信息的编解码装置及方法 | |
CN105850121A (zh) | 用于基于块的自适应环路滤波的滤波器控制的方法 | |
CN105230020A (zh) | 用于视频编码的采样自适应偏移处理的方法 | |
CN103370936A (zh) | 用于改进环内滤波的方法与装置 | |
CN103503456A (zh) | 用于减少环内滤波缓冲区的方法及其装置 | |
CN103209324A (zh) | 一种施加边缘补偿的方法 | |
CN105049845A (zh) | 视频解码器中用于视频数据的环路滤波器处理方法及装置 | |
CN104170379A (zh) | 用于图像解码的方法和装置 | |
CN103636227A (zh) | 贯穿图块或条带边界的环路滤波方法及其装置 | |
CN103200402A (zh) | 清除解块人为噪声的方法 | |
CN104584561A (zh) | 应用于视频译码器中的取样自适应偏移处理方法及装置 | |
EP3884667B1 (en) | Video coding with triangular shape prediction units | |
CN104521234B (zh) | 合并去区块处理和取样自适应偏移处理的视频处理方法和装置 | |
CN107040778A (zh) | 环路滤波方法以及环路滤波装置 | |
CN103988511A (zh) | 具有简化边界强度决定的去块滤波方法和设备 | |
CN111164975B (zh) | 图像数据编码和解码 | |
CN110249630B (zh) | 去块效应滤波装置、方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160908 Address after: Hsinchu County, Taiwan, China Patentee after: Atlas Limited by Share Ltd Address before: Hsinchu Science Park, Taiwan, China Patentee before: MediaTek.Inc |