CN102055971A - 视频压缩的去区块效应滤波装置与方法 - Google Patents

Abstract

一种视频压缩的去区块效应滤波装置用来滤除一图像序列的宏区块间的边界与宏区块内部的区块效应，此装置利用一第一交换缓冲器与一第二交换缓冲器来缓冲宏区块的一第一与一第二滤波器所需的部分数据，并以暂存器群组实现缓冲功能来增加数据交换弹性。此第一滤波器与此第二滤波器分别独立进行此图像序列的宏区块间的垂直与水平方向的去区块效应滤除过程，其中，通过一适应性队列接收来自此第一滤波器的输出数据的一部分，并暂存于其内部缓冲器，然后输出数据作为此第二滤波器的输入数据的一部分。

Description

视频压缩的去区块效应滤波装置与方法

技术领域

本发明是关于一种视频压缩的去区块(de-blocking)效应滤波装置与方法。

背景技术

以区块为基础的视频压缩(block based video compression)会引起在区块边界间，视觉上质量不一致的区块效应。时下的视频压缩技术使用一种后处理装置(post-processing)，例如去区块效应滤波器，来减少此区块效应与增进压缩效能。如图1A的范例所示，不含在视频编码器/解码器的编码/解码回路里的去区块效应滤波器称为外回路(out-loop)滤波器110。而H.264/进阶视频编码(Advanced Video Coding，AVC)技术所使用的去区块效应滤波器是在编码/解码回路内，分别采用内回路(in-loop)滤波器122与124，如图1B的范例所示，来去除(remove)区块效应与增进压缩效能。

如图2A的图像序列(video sequence)的范例所示，H.264/AVC视频压缩标准可以容许一已压缩的图像序列200是由交织式(interlaced)的帧画面(frame-picture)210和场画面(field-picture)220来任意组合。如图2B的范例所示，一张帧画面230又可分为一上场画面(top-field)232与一下场画面(bottom-field)234，上场画面是由偶数的像素列(pixel row)组成的，下场画面是由奇数的像素列组成的。交织式图像序列200的格式称为画面适应性帧场(picture adaptive frame field，PICAFF)格式。

如图3的宏区块格式(macroblock format)的范例所示，一张帧画面300可分割成多个宏区块(macroblock，MB)302，每一宏区块是由一个16×16像素点灰阶部件(pixels luma component)310和两个颜色部件(chromacomponent)，例如颜色部件312与314，组成的，而16×16像素点灰阶部件(pixels luma component)310是由16个4×4小区块(block)组成的。H.264/AVC的颜色部件有三种格式，分别为4:2:0、4:2:2、以及4:4:4格式。如图3的范例所示，一个4:2:0格式的颜色部件是由8×8像素点组成的，例如颜色部件312与314；一个4:2:2格式的颜色部件是由16×8像素点组成的，例如颜色部件322与324；一个4:4:4格式的颜色部件是由16×16像素点组成的，例如颜色部件332与334。

如图4的范例所示，在一帧画面400内的一对宏区块，可以是一帧-宏区块对(frame-MB pair)410或是一场-宏区块对(field-MB pair)420，其中此对宏区块有相同的水平位置(the same horizontal position)且其垂直位置在帧画面内是相邻的(adjacent)。在场-宏区块对420里的上场-宏区块(top-field macroblock)422是由偶数的像素列组成的，而下场-宏区块(bottom-field macroblock)424是由奇数的像素列组成的。H.264/AVC视频压缩标准可以容许一张帧画面400是由帧-宏区块对410和场-宏区块对420来任意组合，此种格式称为宏区块适应性帧场(macroblock adaptive framefield，MBAFF)格式。

对于备有4:2:0格式的颜色部件的一宏区块，去区块效应滤波器需要处理48个区块边(block edge)，包括24个垂直边(vertical edge)与24个水平边(horizontal edge)；对于备有4:2:2格式的颜色部件的一宏区块，则需要处理64个区块边；对于备有4:4:4格式的颜色部件的一宏区块，则需要处理96个区块边。如图5的范例所示，H.264/AVC视频压缩的去区块效应滤波器在处理去区块效应时，是先处理区块的垂直边510，之后再处理水平边。并且，垂直边被去除区块效应的像素会被用来作为水平边520去除区块效应时的输入数据，其中v指的是垂直边的像素，在510的左方为未滤除像素，在510的右方为已滤除像素；而h指的是水平边的像素，在520的上方为未滤除像素，在520的下方为已滤除像素。换句话说，被垂直滤波器(verticalfilter)去除区块效应的像素被当作输入，再被水平滤波器(horizontalfilter)去除区块效应。

如图6的范例所示，对于一个垂直区块边510或水平区块边520，会依序以一排像素接着一排像素来处理4排总共32个像素，而每一排像素是由8个跨该区块边的像素所组成的。这8个像素以p3、p2、p1、p0、q0、q1、q2、q3来表示，其中p0和q0是位于该区块边的各一方(each side)的两邻近像素。此8个像素和相关参数，例如边界强度(boundary strength)，当作是去区块效应滤波器的输入数据，由去区块效应滤波器去除区块效应后的8个像素以p’3、p’2、p’1、p’0、q’0、q’1、q’2、q’3来表示。此去区块效应滤波器一次处理一排的像素，称之为线滤波器(line filter)。

依此，对于一个每秒30张画面的高清(full HD)图像序列，如果其颜色部件使用4:2:0格式，则去区块效应滤波器每秒需要处理高达11,705,280个区块边。如果去区块效应滤波器是以处理器上的软件方法来实现，则此处理器的工作时钟(working clock)也会超过500MHz。当图像序列使用MBAFF格式的视频压缩，如图7的范例所示，如果目前的帧-宏区块(current frameMB)705的邻近上方是一场-宏区块，则去区块效应滤波器必须额外处理两个上方宏区块(上场-宏区块710与下场-巨方块720)的边界，对于该图像序列，总共每秒需要处理高达12,194,880个区块边；并且，进行垂直方向处理时，读取与写入存储器总共高达32×195840×2个字节，进行水平方向处理时，读取与写入存储器总共高达32×(195840+16320)×2个字节。换句话说，去区块效应滤波器的存储器频宽的需求高达每秒780,472,320个字节。

在美国专利公开号2008/0043853的文献中，揭露一去区块效应滤波器。如图8的范例所示，去区块效应滤波器801使用一处理单元(processingunit)802，来对被安排在目前宏区块(current MB)804的跨边812的多列上的多群像素，同时处理行方向边去除(column-direction edge filtering)区块效应，例如在第一时钟周期(clock cycle)处理像素E4至E7与像素G4至G7，在第二时钟周期处理像素F4至F7与像素H4至H7。并且使用一重新安排单元(rearrangement unit)803，将已处理过的像素重排至不同的行，例如将列E里的像素E4至E7安排至行4里的像素E4、F4、G4、H4，列F里的像素F4至F7安排至行5里的像素E5、F5、G5、H5，列G里的像素G4至G7安排至行6里的像素E6、F6、G6、H6，列H里的像素H4至H7安排至行7里的像素E7、F7、G7、H7。如此，以减少水平边的去区块效应的处理时间，此处理时间是读出必要像素的等待时间。

Cheng-An Chien等人于2008和2009年提出一种具有高吞吐量(highthroughput)的内回路去区块效应滤波器，如图9的范例所示，去区块效应滤波器910采用一4×4/8×8线滤波器912和一种缓冲器管理方法(buffermanagement scheme)，来支持H.264/AVC的多种视频编码标准，例如PICAFF格式与MBAFF格式。此缓冲器管理方法采用两种内部缓冲器来储存参考宏区块对(reference MB pair)的数据，并且于切换水平与垂直边的滤除运作(filtering operation)之际，帮内部像素重新安排处理时程，而无需将此像素写入存储器920。

发明内容

本发明的实施范例可提供一种视频压缩的去区块效应滤波装置与方法，用来滤除一图像序列的宏区块间的边界与宏区块内部的区块效应，每两相邻区块的垂直或水平方向的每一边界数据是由一前段像素数据与一后段像素数据所组成。

在一实施范例中，所揭露者是关于一种视频压缩的去区块效应滤波装置。此装置包含一适应性队列(adaptive queue)、一第一与一第二交换缓冲器(swap buffer)、一第一滤波器、以及一第二滤波器。此第一滤波器将先前储存于此第一交换缓冲器的一前段像素数据输入，并且将一目前正要处理的宏区块的未滤除像素数据(non-filtered pixel data)输入并当成是一后段像素数据，经进行一垂直方向的去区块效应滤除过程之后，输出一前段已滤除像素数据(filtered pixel data)至此适应性队列，并输出一后段已滤除像素数据且回存至此第一交换缓冲器；此第二滤波器将先前储存于此第二交换缓冲器的一前段像素数据输入，并且将此适应性队列的一输出数据当成是一后段像素数据，经进行一水平方向的去区块效应滤除过程之后，将所有输出的一全段已滤除像素数据回存至此第二交换缓冲器。

在另一实施范例中，所揭露者是关于一种视频压缩的去区块效应滤波方法。此方法包含：输入先前储存于一第一交换缓冲器的一前段像素数据，并且将一目前正要处理的宏区块的未滤除像素输入并当成是一后段像素数据；进行一垂直方向的去区块效应滤除过程之后，输出一前段已滤除像素数据至一适应性队列，并输出一后段已滤除像素数据且回存至此第一交换缓冲器；将先前储存于一第二交换缓冲器的一前段像素数据输入，并且将此适应性队列的一输出数据当成是一后段像素数据；以及进行一水平方向的去区块效应滤除过程之后，将所有输出的一全段已滤除像素数据回存至此第二交换缓冲器。

兹配合下列图标、实施范例的详细说明及申请专利范围，将上述及本发明的其它目的与优点详述于后。

附图说明

图1A是一范例示意图，说明外回路去区块效应滤波器。

图1B是一范例示意图，说明内回路去区块效应滤波器。

图2A是一范例示意图，说明已压缩的图像序列是由交织式的帧画面和场画面来组合。

图2B是一范例示意图，说明帧画面、上场画面、以及下场画面。

图3是一范例示意图，说明宏区块格式。

图4是一范例示意图，说明宏区块适应性帧场格式。

图5是一范例示意图，说明被垂直滤波器去除区块效应的像素被当作输入，再被水平滤波器去除区块效应。

图6是一范例示意图，说明线滤波器的输入和输出数据。

图7是一范例示意图，说明使用MBAFF格式时，对于目前的帧-宏区块，去区块效应滤波器需要处理紧邻上方的下场-宏区块之间的边，以及与上方的上场-宏区块之间的边。

图8是一种去区块效应滤波器的架构的一个范例示意图。

图9是一具有高吞吐量的内回路去区块效应滤波器的一个范例示意图。

图10是一去区块效应滤波装置的一个范例示意图，与所揭露的某些实施范例一致。

图11A图11B是范例示意图，说明滤波器将区块中的像素数据写入存储器时，设定已滤除像素数据的相对应的旗帜，与所揭露的某些实施范例一致。

图12A与图12B的范例分别说明对使用4:2:0格式编码的宏区块，当进行垂直方向与水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。

图13A与图13B的范例分别说明对使用4:2:2格式编码的宏区块，当进行垂直方向与水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。

图14A与图14B的范例分别说明对使用4:4:4格式编码的宏区块，当进行垂直方向与水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。

图15A是一范例示意图，说明对使用4:2:0格式与MBAFF格式的宏区块的特殊情况，当第二滤波器进行水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。

图15B是一范例示意图，说明对使用4:2:2格式与MBAFF格式的宏区块的特殊情况，当第二滤波器进行水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。

图15C是一范例示意图，说明对使用4:4:4格式与MBAFF格式的宏区块的特殊情况，当第二滤波器进行水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。

图16是一范例示意图，说明适应性队列的结构，与所揭露的某些实施范例一致。

图17A至图17H是范例示意图，说明对使用4:2:0格式的宏区块，第一滤波器与第二滤波器进行去区块效应滤除过程期间，其区块边界的滤除顺序，与所揭露的某些实施范例一致。

图18A至图18H是范例示意图，说明对使用4:2:0格式与MBAFF格式的宏区块，第一滤波器与第二滤波器进行去区块效应滤除过程期间，其区块边界的滤除顺序，与所揭露的某些实施范例一致。

图19是一范例示意图，说明对于使用4:2:0格式的宏区块，其去区块效应滤波器需要的暂存器群组，与所揭露的某些实施范例一致。

图20是一范例示意图，说明对于使用4:2:2格式的宏区块，其去区块效应滤波器需要的暂存器群组，与所揭露的某些实施范例一致。

图21是一范例示意图，说明对于使用4:4:4格式的宏区块，其去区块效应滤波器需要的暂存器群组，与所揭露的某些实施范例一致。

图22是一范例示意图，说明如何再使用宏区块的部分数据来减少缓冲器的大小，与所揭露的某些实施范例一致。

图23是一范例示意图，说明如何分享缓冲器，来储存数据以同时提供给一存储器和第二滤波器，与所揭露的某些实施范例一致。

图24是一范例示意图，说明前述暂存器群组里具有彼此之间交换与转换数据的能力，与所揭露的某些实施范例一致。

图25A与图25B的范例示意图说明对于使用MBAFF格式的宏区块，处理其水平边去区块效应时，如何利用暂存器群组进行数据转换，与所揭露的某些实施范例一致。

[主要元件标号说明]

200 已压缩的图像序列         210 帧画面

220 场画面                   230帧画面

232 上场画面                 234 下场画面

300 帧画面                   302 宏区块

310 16×16像素点灰阶部件     312、314 4:2:0格式的颜色部件

322、324 4:2:2格式的颜色部件 332、334 4:4:4格式的颜色部件

400 帧画面                   410 帧-宏区块对

420 场-宏区块对              422 上场-宏区块

424 下场-宏区块

510 垂直边                   520 水平边

705 目前的帧-宏区块          710 上方的上-场宏区块

720 上方的下-场宏区块

801 去区块效应滤波器         802 处理单元

803 重新安排单元             804 目前宏区块

812 边

910 去区块效应滤波器         912 线滤波器

920 存储器

1000 去区块效应滤波装置      1010 第一滤波器

1020 第二滤波器              1012 第一交换缓冲器

1022 第二交换缓冲器          1030 适应性队列

1052 样本解码器              1054 参数计算器

1062 适应性存储器读取器      1064 适应性存储器写入器

1070 存储器

1102 区块

p’2、p’1、p’0、q’0、q’1、q’2

1510 灰阶部件

1512、1514 8×8像素点颜色部件

1522、1524 16×8像素点颜色部件

1532、1534 16×16像素点颜色部件

1610 第一滤波器输出的部分数据

1620 帧格式数据              1632、1634 场格式数据

2410 宏区块对                2412 使用场格式的宏区块对

2422 上场-部分               2424 下场-部分

2430 交换

2510 上方宏区块对            2512 使用帧格式的宏区块对

2522 上场-部分               2524 下场-部分

具体实施方式

本发明的实施范例提供一种装置与方法，利用缓冲(buffer)宏区块的一第一与一第二滤波器所需的部分数据，并以暂存器(register)实现缓冲功能来增加数据交换弹性(flexibility of data exchange)，以减少存储器存取次数、提升去区块效应滤波器的效能和吞吐量、以及减少其内部缓冲器的大小。此第一与第二滤波器分别独立进行一图像序列的相邻区块间的垂直与水平方向的去区块效应滤除过程。

图10是一去区块效应滤波装置的一个范例示意图，与所揭露的某些实施范例一致。图10的范例中，去区块效应滤波装置1000用来滤除一图像序列的宏区块间的边界与宏区块内部的区块效应，在两相邻区块间的垂直或水平方向的每一边界数据被分成两部分，一部分称为前段像素数据，记为{p3、p2、p1、p0}，而另一部分称为后段像素数据，记为{q0、q1、q2、q3}。滤波装置1000可包含一适应性队列1030、一第一交换缓冲器1012、一第二交换缓冲器1022、一第一滤波器1010、以及一第二滤波器1020。

第一滤波器1010与第二滤波器1020分别独立进行该图像序列的区块间的垂直与水平方向的边界数据的去区块效应滤除过程。第一滤波器1010进行垂直方向的去区块效应滤除过程后，将输出的部分数据写入适应性队列1030。一旦适应性队列1030里有任何数据，第二滤波器1020则读出此数据并当成是输入数据的一部分，来开始进行水平方向的去区块效应滤除过程。

目前正要处理的宏区块的未滤除像素数据可来自一样本解码器(sampledecoder)1052，并且当成是输入第一滤波器1010的一后段像素数据{q0、q1、q2、q3}。而输入第一滤波器1010的一前段像素数据{p3、p2、p1、p0}是来自先前储存于第一交换缓冲器1012的数据。第一滤波器1010进行一垂直方向去区块效应滤除过程(vertical deblocking filtering)后，输出一后段已滤除像素数据{q’0、q’1、q’2、q’3}，且回存至第一交换缓冲器1012；并且输出一前段已滤除像素数据{p’3、p’2、p’1、p’0}，且由适应性队列1030来储存。

输入第二滤波器1020的一前段像素数据{p3、p2、p1、p0}是来自先前储存于第二交换缓冲器1022的数据。输入第二滤波器1020的一后段像素数据{q0、q1、q2、q3}是来自适应性队列1030的输出数据。第二滤波器1020进行一水平方向的去区块效应滤除过程(horizontal deblocking filtering)后，将所有输出的一全段已滤除像素数据{p’3、p’2、p’1、p’0、q’0、q’1、q’2、q’3}，回存至第二交换缓冲器1022。

当处理的宏区块是MBAFF格式时，可将第二滤波器1020输出的已滤除像素数据{p’3、p’2、p’1、p’0、q’0、q’1、q’2、q’3}的一部分数据经由第二交换缓冲器1022，再回存至第一交换缓冲器1012。去区块效应滤波装置1000可通过一参数计算器(parameter calculator)1054来产生相关参数，例如边界强度，或旗帜(flag)等，并可提供给第一滤波器1010与第二滤波器1020，作为进行去区块效应滤除过程的输入参数。

去区块效应滤波装置1000可包括一适应性存储器读取器(adaptivememory reader)1062与一适应性存储器写入器(adaptive memorywriter)1064。第二交换缓冲器1022的初始数据可由适应性存储器读取器1062来提供，而适应性存储器读取器1062可从一存储器1070读取数据。进行去区块效应滤除过程的期间，储存于第一交换缓冲器1012与第二交换缓冲器1022的数据可经由适应性存储器写入器1064来写入存储器1070。存储器1070不限制设置在去区块效应滤波装置1000的外部或是内部。

例如，当去区块效应滤除过程是进行水平边的横跨目前正要处理的宏区块以及其上方紧邻的宏区块的边界时，第二交换缓冲器1022的初始数据可由适应性存储器读取器1062来提供，而适应性存储器读取器1062是从存储器1070读取此初始数据。从存储器1070读取此初始数据的次数与参数计算器1054产生的相关参数和旗帜有关。例如，当边界强度等于4时，则从存储器1070读取整个4×4的区块；当边界强度等于1或2或3时，则从存储器1070读取一4×3的区块；对于使用MBAFF格式的宏区块的特殊情况下，则从存储器1070读取一4×3的区块；如果其水平边属于颜色部件，则从存储器1070读取一4×2的区块；当边界强度等于0或一全域旗帜(global flag)等于1(或True)时，则没有从存储器1070读取任何数据。

当去区块效应滤波器进行的垂直与水平方向的去区块效应滤除过程完成后，存在第一交换缓冲器1012与第二交换缓冲器1022里的已滤除像素数据会被回存至存储器1070。写入数据至存储器1070的总次数与一些旗帜有关，此旗帜是由第一滤波器1010与第二滤波器1020产生的，因为当第一滤波器1010与第二滤波器1020进行相对应的垂直与水平边的去区块效应滤除过程后，会产生相对应的旗帜来代表已滤除像素数据的数值是否与滤除之前不同，如果不同则将相对应的旗帜设定为1(或True)，反之设定为0(或False)。

例如图11A的范例所示，当第一滤波器1010进行垂直方向去区块效应滤除过程完成后，第一滤波器1010将区块1102中行0与行3中部分像素数据的数值进行修改，并设定已滤除像素数据的相对应的旗帜，例如flag＝1，来别于未被修改的像素数据，例如flag＝0，其中行0的像素数据中有标记p’2、p’1、p’0、q’0、q’1、q’2以及行3的像素数据中有标记p’1、p’0、q’0、q’1者皆代表是数值有被修改的已滤除像素数据；而行1与行2的像素数据未被写入存储器，因为其相对应的旗帜会显示出其滤除后的数值与滤除前相同，所以不需写入存储器而可降低写入次数。类似地，如图11B的范例所示，当第二滤波器1020对区块1103进行水平方向去区块效应滤除过程完成后，只会将行3的像素数据写入存储器，因为第二滤波器1020产生的相对应的旗帜只显示行3的像素数据被第二滤波器1020修改过。

以下以H.264/AVC的颜色部件的三种格式，即4:2:0、4:2:2、以及4:4:4格式，为范例来说明进行去区块效应滤除过程时，区块的宏区块进行水平与垂直方向的边界像素的滤除顺序。图12A与图12B的范例分别说明对使用4:2:0格式编码的宏区块，当进行垂直方向与水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。图12A的范例中，垂直边界的像素数据是依图中垂直边0至垂直边23的顺序(如图中虚线上的数字所示)来进行垂直方向去区块效应滤除过程，其中，垂直边0至15是16×16像素点灰阶部件310的垂直边，而垂直边16至19与垂直边20至23分别是8×8像素点颜色部件312与314的垂直边。而图12B的范例中，水平边界的像素数据是依图中水平边0至水平边23的顺序(如图中虚线上的数字所示)来进行水平方向去区块效应滤除过程，其中，水平边0至15是16×16像素点灰阶部件310的水平边，而水平边16至19与水平边20至23分别是8×8像素点颜色部件312与314的水平边。

图13A与图13B的范例分别说明对使用4:2:2格式编码的宏区块，当进行垂直方向与水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。图13A的范例中，垂直边界的像素数据是依图中垂直边0至垂直边31的顺序(如图中虚线上的数字所示)来进行垂直方向去区块效应滤除过程，其中，垂直边0至15是16×16像素点灰阶部件310的垂直边，而垂直边16至23与垂直边24至31分别是16×8像素点颜色部件322与324的垂直边。而图13B的范例中，水平边界的像素数据是依图中水平边0至水平边31的顺序(如图中虚线上的数字所示)来进行水平方向去区块效应滤除过程，其中，水平边0至15是16×16像素点灰阶部件310的水平边，而水平边16至23与水平边24至31分别是16×8像素点颜色部件322与324的水平边。

图14A与图14B的范例分别说明对使用4:4:4格式编码的宏区块，当进行垂直方向与水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。图14A的范例中，垂直边界的像素数据是依图中垂直边0至垂直边47的顺序(如图中虚线上的数字所示)来进行垂直方向去区块效应滤除过程，其中，垂直边0至15是16×16像素点灰阶部件310的垂直边，而垂直边16至31与垂直边32至47分别是16×16像素点颜色部件332与334的垂直边。而图14B的范例中，水平边界的像素数据是依图中水平边0至水平边47的顺序(如图中虚线上的数字所示)来进行水平方向去区块效应滤除过程，其中，水平边0至15是16×16像素点灰阶部件310的水平边，而水平边16至31与水平边31至47分别是16×16像素点颜色部件332与334的水平边。

当去区块效应滤除过程所处理的宏区块是MBAFF格式时，图15A的范例说明对使用4:2:0格式的宏区块的特殊情况，当第二滤波器1020进行水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。图15A的范例中，水平边界的像素数据是依图中的下列水平边的顺序来进行垂直方向去区块效应滤除过程，亦即0→0’→1→1’→2→2’→3→3’，然后依序4至15，然后16→16’→17→17’→18→19→20→20’→21→21’→22→23，其中，水平边0至3是16×16像素点灰阶部件1510与上方紧邻的上场-宏区块的边界的水平边，水平边0’至3’是灰阶部件1510与上方紧邻的下场-宏区块的边界的水平边，而4至15是灰阶部件1510内部的水平边；水平边16至17是8×8像素点颜色部件1512与上方紧邻的上场-宏区块的边界的水平边，水平边16’至17’是颜色部件1512与上方紧邻的下场-宏区块的边界的水平边，而18至19是颜色部件1512内部的水平边；水平边20至21是8×8像素点颜色部件1514与上方紧邻的上场-宏区块的边界的水平边，水平边20’至21’是颜色部件1514与上方紧邻的下场-宏区块的边界的水平边，而22至23是颜色部件1514内部的水平边。

图15B的范例说明对使用4:2:2格式及MBAFF格式的宏区块的特殊情况，当第二滤波器进行水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。图15B的范例中，水平边界的像素数据是依图中的下列水平边的顺序来进行垂直方向去区块效应滤除过程，亦即0→0’→1→1’→2→2’→3→3’，然后依序4至15，然后16→16’→17→17’→18→18’→19→19’→20→21→22→23，然后24→24’→25→25’→26→26’→27→27’→28→29→30→31，其中，水平边16至19是16×8像素点颜色部件1522与上方紧邻的上场-宏区块的边界的水平边，水平边16’至19’是颜色部件1522与上方紧邻的下场-宏区块的边界的水平边，而20至23是颜色部件1522内部的水平边；水平边24至27是16×8像素点颜色部件1524与上方紧邻的上场-宏区块的边界的水平边，水平边24’至27’是颜色部件1524与上方紧邻的下场-宏区块的边界的水平边，而28至31是颜色部件1524内部的水平边。

图15C的范例说明对于使用4:4:4格式及MBAFF格式的宏区块的特殊情况，当第二滤波器进行水平方向去区块效应滤除过程时，边界的像素数据的滤除顺序，与所揭露的某些实施范例一致。图15B的范例中，水平边界的像素数据是依图中的下列水平边的顺序来进行垂直方向去区块效应滤除过程，亦即0→0’→1→1’→2→2’→3→3’，然后依序4至15，然后16→16’→17→17’→18→18’→19→19’，然后依序20至31，然后32→32’→33→33’→34→34’→35→35’，然后依序36至47，其中，水平边16至19是16×16像素点颜色部件1532与上方紧邻的上场-宏区块的边界的水平边，水平边16’至19’是颜色部件1532与上方紧邻的下场-宏区块的边界的水平边，而20至31是颜色部件1532内部的水平边；水平边32至35是16×16像素点颜色部件1534与上方紧邻的上场-宏区块的边界的水平边，水平边32’至35’是颜色部件1534与上方紧邻的下场-宏区块的边界的水平边，而36至47是颜色部件1534内部的水平边。

如前所述，第一滤波器1010进行垂直方向的去区块效应滤除过程后，将输出的部分数据写入适应性队列1030。一旦适应性队列1030里有任何数据，第二滤波器1020则读出此数据并当成是输入数据的一部分，来开始进行水平方向的去区块效应滤除过程。

图16是一范例示意图，说明适应性队列1030的结构，与所揭露的某些实施范例一致。在图16的范例中，适应性队列1030的接收数据是第一滤波器1010输出的部分数据1610，然后这些数据以一队列方式被暂存于内部缓冲器里，适应性队列1030的输出数据作为第二滤波器1020的输入数据的一部分。对于使用MBAFF格式的宏区块的特殊情况，适应性队列1030会先将数据从帧格式(frame format)，例如帧格式数据1620，转换成第二滤波器1020所需要的场格式(field format)数据，例如场格式数据1632或场格式数据1634，后，再输出至第二滤波器1020。

也就是说，本发明的实施范例可通过适应性队列1030，来接收第一滤波器1010输出的部分数据，并以一队列方式暂存于至少一内部缓冲器里；通过适应性队列1030，可先将数据从宏区块使用的格式转换成第二滤波器1020所需要的格式数据后，再输出至第二滤波器1020；然后，适应性队列1030的输出数据作为第二滤波器1020的输入数据的一部分。

因为垂直与水平方向的边界数据可同时由第一滤波器1010与第二滤波器1020独立进行去区块效应滤除过程，所以，适应性队列1030可于此两滤波器之间缓冲数据的进出。并且，对于使用MBAFF格式的宏区块，适应性队列1030也可以接收帧区块(frame block)并输出场区块(field block)，以减少调换(transposition)与帧/场转换(frame-field conversion)所衍生的延迟时间(latency)。

图17A至图17H是范例示意图，说明对使用4:2:0格式的宏区块，第一滤波器1010与第二滤波器1020进行去区块效应滤除过程期间，其区块边界的滤除顺序，与所揭露的某些实施范例一致。如图17A至图17H的范例步骤所示，第一滤波器1010分别对垂直边0至垂直边7(图中以v0至v7表示)进行去区块效应滤除过程，当第一滤波器1010处理完垂直边1(v1)之后，将输出的部分数据写入适应性队列1030，而第二滤波器1020则读出此数据并当成是输入数据的一部分，来开始对水平边0至水平边5(图中以h0至h5表示)进行去区块效应滤除过程。如图17C的范例步骤所示，当第二滤波器1020处理水平边0(h0)的时候，第一滤波器1010也同时处理垂直边2(v2)，再者如图17D的范例步骤所示，当第二滤波器1020处理水平边1(h1)的时候，第一滤波器1010也同时处理垂直边3(v3)，也就是说，本发明的实施范例可以让第一滤波器1010与第二滤波器1020分别独立进行去区块效应滤除过程，以提升去区块效应滤波器的效能和吞吐量。

图18A至图18H是范例示意图，说明对使用4:2:0格式及MBAFF格式的宏区块，第一滤波器1010与第二滤波器1020进行去区块效应滤除过程期间，其区块边界的滤除顺序，与所揭露的某些实施范例一致。如图18A至图18H的范例步骤所示，第一滤波器1010分别对垂直边0至垂直边7(图中以v0至v7表示)进行去区块效应滤除过程，当第一滤波器1010处理完垂直边5(v5)之后，将输出的部分数据写入适应性队列1030，而适应性队列1030会先将帧格式的数据，转换成第二滤波器1020的输入数据所需要的场格式的数据，而第二滤波器1020则读出此场格式的数据并当成是输入数据的一部分，来开始对水平边0与水平边0’(图中以h0与h0’表示)进行去区块效应滤除过程。如图18G的范例步骤所示，当第二滤波器1020处理水平边0(h0)的时候，第一滤波器1010也同时处理垂直边6(v6)，再者如图18H的范例步骤所示，当第二滤波器1020处理水平边0’(h0’)的时候，第一滤波器1010也同时处理垂直边7(v7)，也就是说对使用MBAFF格式的宏区块而言，本发明的实施范例同样能让第一滤波器1010与第二滤波器1020分别独立进行去区块效应滤除过程，以提升去区块效应滤波器的效能和吞吐量。

在进行去区块效应滤除过程期间，既有的已知技术是缓冲整个宏区块的数据，而本发明的实施范例是缓冲(buffering)宏区块的部分数据，这些被缓冲的部分数据是第一滤波器1010与第二滤波器1020需要的数据，并且可采用暂存器来达成缓冲的效益，以增加数据交换(data exchange)的弹性，也较适合使用MBAFF格式的宏区块。以图19的范例来说，对于使用4:2:0格式的宏区块，一共享了32个暂存器，此32个暂存器记为V0至V7、VX0至VX7、H0至H7、以及HX0至HX7。暂存器群组(register group)VREG由暂存器V0至V7共同组成；而暂存器群组VREG_EXT由暂存器VX0至VX7共同组成。暂存器群组HREG由暂存器H0至H7共同组成；而暂存器群组HREG_EXT由暂存器HX0至HX7共同组成。

第一交换缓冲器1012是由暂存器群组VREG以及暂存器群组VREG_EXT组成的，用来储存第一滤波器1010需要的数据。第二交换缓冲器1022是由暂存器群组HREG以及暂存器群组HREG_EXT组成的，用来储存第二滤波器1020需要的数据。暂存器群组中暂存器的数量在某些实施范例中可以是不同的。也就是说，本发明的实施范例是利用缓冲中器储存宏区块的第一滤波器1010与第二滤波器1020所需的部分数据，并以多个暂存器群组实现缓冲功能来增加数据交换弹性。图19至图21的范例分别说明使用三种格式的宏区块，其去区块效应滤波器需要的暂存器群组，与所揭露的某些实施范例一致。其中，宏区块中的各区块上的标号数字代表区块号码，例如#5代表区块5。

对于使用4:2:0格式的宏区块，如图19的范例所示，暂存器V0至V3、VX0至VX3、H0至H3、以及HX0至HX3用来储存灰阶部件310的数据，每一暂存器的大小为32-位×4；而暂存器V4至V7、VX4至VX7、H4至H7、以及HX4至HX7是用来储存颜色部件312与314的数据，其中暂存器V4至V5、VX4至VX5、H4至H5、以及HX4至HX5是用来储存颜色部件312的数据，每一暂存器的大小为32-位×2；而暂存器V6至V7、VX6至VX7、H6至H7、以及HX6至HX7是用来储存颜色部件314的数据，每一暂存器的大小为32-位×2。

对于使用4:2:2格式的宏区块，如图20的范例所示，一共享了40个暂存器，此40个暂存器记为V0至V7、VX0至VX7、H0至H11、以及HX0至HX11。其与使用4:2:0格式的宏区块的不同处为，暂存器群组HREG由暂存器H0至H11共同组成；而暂存器群组HREG_EXT由暂存器HX0至HX11共同组成。暂存器V4至V7、VX4至VX7、H4至H11、以及HX4至HX11是用来储存颜色部件322与324的数据，其中暂存器V4至V5、VX4至VX5、H4至H7、以及HX4至HX7是用来储存颜色部件322的数据，每一暂存器的大小为32-位×2；而暂存器V6至V7、VX6至VX7、H8至H11、以及HX8至HX11是用来储存颜色部件324的数据，每一暂存器的大小为32-位×2。

对于使用4:4:4格式的宏区块，如图21的范例所示，一共享了48个暂存器，此48个暂存器记为V0至V11、VX0至VX11、H0至H11、以及HX0至HX11。其与使用4:2:2格式的宏区块的不同处为，暂存器群组VREG由暂存器V0至V11共同组成；而暂存器群组VREG_EXT由暂存器VX0至VX11共同组成。暂存器V4至V11、VX4至VX11、H4至H11、以及HX4至HX11是用来储存颜色部件332与334的数据，其中暂存器V4至V7、VX4至VX7、H4至H7、以及HX4至HX7是用来储存颜色部件332的数据，每一暂存器的大小为32-位×2；而暂存器V8至V11、VX8至VX11、H8至H11、以及HX8至HX11是用来储存颜色部件334的数据，每一暂存器的大小为32-位×2。

承上述，以图17的区块边界的滤除顺序以及图19的使用4:2:0格式的暂存器群组为范例，图22说明如何再使用(re-use)宏区块的部分数据来减少缓冲器的大小，与所揭露的某些实施范例一致。参考图22，以暂存器V0为例，第一滤波器1010在处理垂直边0之后，其输出数据{q’0、q’1、q’2、q’3}回存至暂存器V0而成为第一滤波器1010处理垂直边界1所需的前段输入数据{p3、p2、p1、p0}；也就是说，使用同一暂存器来储存目前边的已滤除数据(filtered data of current edge)，作为处理下一个边的部分输入数据。所以，当处理垂直边1、2、3时，存在暂存器V0的数据是第一滤波器1010的前段输入数据{p3、p2、p1、p0}，可以再被使用，如此可以减少缓冲器里的数据量；而其输出数据{p’3、p’2、p’1、p’0}则写入适应性队列1030。

图23的范例示意图，进一步说明如何分享(share)缓冲器，来储存数据以同时提供给一存储器和第二滤波器1020，与所揭露的某些实施范例一致。参考图23，在第二滤波器1020处理任何水平边之前，暂存器H0-H7与HX0-HX7用来储存由适应性存储器读取器1062从存储器1070读取的数据。而这些被存在暂存器H0-H7与HX0-HX7的数据是用来作为第二滤波器1020的前段输入数据{p3、p2、p1、p0}。第二滤波器1020的后段输入数据{q0、q1、q2、q3}则来自适应性队列1030。

承图17的区块边界的滤除顺序所述，以暂存器H0为例，第二滤波器1020在处理水平边0之后，其输出数据{p’3、p’2、p’1、p’0}回存至暂存器HX0；其输出数据{q’0、q’1、q’2、q’3}回存至暂存器H0而成为第二滤波器1020处理水平边界4所需的前段输入数据{p3、p2、p1、p0}，所以，当处理水平边4、8、12时，存在暂存器H0的数据可以再被使用，如此可以减少缓冲器里的数据量。在第二滤波器1020处理完水平边12后，因为已滤除数据(filtered data of current edge)已经储存在暂存器H0与HX0里，所以暂存器H0与HX0可用来作为一适应性存储器写入器1064的暂时缓冲器(temporary buffer)。换句话说，可分享暂存器H0与HX0来储存由存储器1070读取的数据，以及来储存已滤除数据，并经由适应性存储器写入器1064写入存储器1070。

图24的范例示意图进一步说明前述暂存器群组里具有彼此之间交换(swap)与转换(convert)数据的能力，与所揭露的某些实施范例一致。参考图24，暂存器V0-V3与VX0-VX3包含宏区块对2410的像素数据，宏区块对2410位于目前正在处理的宏区块对2412的左边。当宏区块对2412使用场格式时，储存在暂存器V0-V3与VX0-VX3的数据从帧格式被转换成场格式。所以，储存在暂存器V0-V3与VX0-VX3的数据分别成为上场-部分(top-fieldportion)2422和下场-部分(bottom-field portion)2424。

如果目前的宏区块是上场宏区块，则储存在暂存器V0-V3的数据会被第一滤波器1010使用。如果目前的宏区块是下场宏区块，则储存在暂存器V0-V3的数据与VX0-VX3的数据彼此先交换2430后，储存在暂存器V0-V3的数据再被第一滤波器1010使用。第一滤波器1010处理完宏区块边界(macroblockboundary)的垂直边之后，储存在暂存器V0-V3的数据与VX0-VX3的数据从场格式被转换成帧格式。此数据交换与格式转换是在一个时钟周期(clockcycle)里进行，可减少因格式转换所引起的数据转换的延迟(latency)。

图25A与图25B的范例示意图进一步说明对对于使用MBAFF格式的宏区块，处理其水平边去区块效应时，如何利用暂存器群组进行数据转换，与所揭露的某些实施范例一致。参考图25A，暂存器H0-H3与HX0-HX3包含了上方宏区块对2510的像素数据，上方宏区块对2510位于正在处理的目前宏区块对2512的上方。如标号2530所指，当宏区块对2512使用帧格式，而其上方邻近的宏区块对2510使用场格式时，则储存在暂存器H0-H3(即暂存器群组HREG)与HX0-HX3(即暂存器群组HREG_EXT)的数据从帧格式被转换成场格式。所以，储存在暂存器H0-H3与HX0-HX3的数据分别成为上场-部分(top-field portion)2522和下场-部分(bottom-field portion)2524；并且分别是第二滤波器1020处理完水平边0、1、2、3以及水平边0’、1’、2’、3’时的输入数据。

如图25B的范例所示，第二滤波器1020处理完此水平边之后，储存在暂存器H0-H3与HX0-HX3的数据(上场-部分2522与下场-部分2524)从场格式被转换成帧格式数据2532与2534。转换成帧格式的数据然后作为第二滤波器1020处理目前正在处理的宏区块的其它水平边，例如水平边4、5、6、7，的输入数据。

综上所述，本发明的实施范例所提供的视频压缩的去区块效应滤波装置与方法是利用缓冲器储存宏区块的两滤波器所需的部分数据，并以暂存器群组实现缓冲功能来增加数据交换弹性。此去区块效应滤波装置中的两滤波器是分别独立进行一图像序列的相邻区块间的垂直与水平方向的去区块效应滤除过程。此实施范例可减少存储器存取次数、提升去区块效应滤波器的效能和吞吐量、以及减少其内部缓冲器的大小。

以上所述者仅为本发明的实施范例，当不能依此限定本发明实施的范围。即大凡本发明权利要求范围所作的均等变化与修饰，皆应仍属本发明权利要求涵盖的范围。

Claims (18)

1.一种视频压缩的去区块效应滤波装置，用于滤除一图像序列的区块间的边界区块效应，每两相邻区块的垂直或水平方向的每一边界数据是由一前段像素数据与一后段像素数据所组成，该装置包含：

一适应性队列；

一第一与一第二交换缓冲器；

一第一滤波器，将先前储存于该第一交换缓冲器的一前段像素数据输入，并且将一目前正要处理的宏区块的未滤除像素输入并当成是一后段像素数据，经进行一垂直方向的去区块效应滤除过程之后，输出一前段已滤除像素数据至该适应性队列，并输出一后段已滤除像素数据且回存至该第一交换缓冲器；以及

一第二滤波器，将先前储存于该第二交换缓冲器的一前段像素数据输入，并且将该适应性队列的一输出数据当成是一后段像素数据，经进行一水平方向的去区块效应滤除过程之后，将所有输出的一全段已滤除像素数据回存至该第二交换缓冲器。

2.根据权利要求1所述的去区块效应滤波装置，其中当该目前正要处理的宏区块是使用宏区块适应性帧场格式时，该第二滤波器输出的该已滤除像素数据的一部分数据经由该第二交换缓冲器，再回存至该第一交换缓冲器。

3.根据权利要求1所述的去区块效应滤波装置，其中该第二交换缓冲器的初始数据是通过一适应性存储器读取器从一存储器读取的数据来提供，而且该适应性存储器读取器读取该存储器的次数是由该目前正要处理的宏区块的格式与一参数计算器所提供的至少一参数来决定。

4.根据权利要求1所述的去区块效应滤波装置，其中该第一与第二交换缓冲器分别以多个第一暂存器群组与多个第二暂存器群组来实现。

5.根据权利要求4所述的去区块效应滤波装置，其中该多个第一与第二暂存器群组里具有彼此之间交换与转换数据的能力。

6.根据权利要求4所述的去区块效应滤波装置，该装置分享该多个第一与第二暂存器群组，一方面藉以储存由一存储器读取的数据，另一方面藉以储存该第一与第二交换缓冲器里已滤除像素数据，以经由一适应性存储器写入器写入该存储器，而且该适应性存储器写入器写入该存储器的次数是由该第一与该第二滤波器的一输出旗帜来决定。

7.根据权利要求4所述的去区块效应滤波装置，其中该第一滤波器需要的数据储存于该多个第一暂存器群组，而该第二滤波器需要的数据储存于该多个第二暂存器群组。

8.根据权利要求1所述的去区块效应滤波装置，其中该第一滤波器分别连接至该适应性队列与该第一交换缓冲器，而该第二滤波器分别连接至该适应性队列与该第二交换缓冲器。

9.根据权利要求1所述的去区块效应滤波装置，该装置通过一参数计算器来产生至少一相关参数，并提供给该第一与第二滤波器，作为进行去区块效应滤除过程的输入参数。

10.根据权利要求1所述的去区块效应滤波装置，该装置还包括：

一适应性存储器读取器，该第二交换缓冲器的初始数据是通过该适应性存储器读取器从一存储器读取的数据来提供；以及

一适应性存储器写入器，经由该适应性存储器写入器，将该第一与第二交换缓冲器里已滤除像素数据写入该存储器。

11.一种视频压缩的去区块效应滤波方法，用于滤除一图像序列的区块间的边界区块效应，每两相邻区块的垂直或水平方向的每一边界数据是由一前段像素数据与一后段像素数据所组成，该方法包括：

输入先前储存于一第一交换缓冲器的一前段像素数据，并且将一目前正要处理的宏区块的未滤除像素输入并当成是一后段像素数据；

进行一垂直方向的去区块效应滤除过程之后，输出一前段已滤除像素数据至一适应性队列，并输出一后段已滤除像素数据且回存至该第一交换缓冲器；

将先前储存于一第二交换缓冲器的一前段像素数据输入，并且将该适应性队列的一输出数据当成是一后段像素数据；以及

进行一水平方向的去区块效应滤除过程之后，将所有输出的一全段已滤除像素数据回存至该第二交换缓冲器。

12.根据权利要求11所述的去区块效应滤波方法，该方法还包括：

利用该第一与第二交换缓冲器储存该目前正要处理的宏区块的该垂直方向与该水平方向的去区块效应滤除过程所需的部分数据，并以多个暂存器群组实现缓冲功能来增加数据交换弹性。

13.根据权利要求12所述的去区块效应滤波方法，该方法还包括：

分享该多个暂存器群组，一方面藉以储存由一适应性存储器读取器从一存储器读取的数据，另一方面藉以储存该第一与第二交换缓冲器里已滤除数据，以经由一适应性存储器写入器写入该存储器。

14.根据权利要求13所述的去区块效应滤波方法，该方法还包括：

该适应性存储器读取器从该存储器读取的次数是由该目前正要处理的宏区块的格式与一参数计算器所提供的至少一参数来决定；以及

该适应性存储器写入器写入该存储器的次数是由该垂直方向与该水平方向的去区块效应滤除过程的一输出旗帜来决定。

15.根据权利要求11所述的去区块效应滤波方法，该方法还包括：

通过一第一与一第二滤波器来分别进行该垂直方向与该水平方向的去区块效应滤除过程。

16.根据权利要求15所述的去区块效应滤波方法，该方法还包括：

通过该适应性队列，接收该第一滤波器输出的部分数据，并以一队列方式暂存于至少一内部缓冲器里；

通过该适应性队列，先将数据从宏区块使用的格式转换成该第二滤波器所需要的格式数据后，再输出至该第二滤波器；

将该适应性队列的输出数据作为该第二滤波器的输入数据的一部分。

17.根据权利要求15所述的去区块效应滤波方法，该方法还包括：

该第一滤波器进行一目前垂直边的去区块效应滤除过程之后，储存该目前垂直边的已滤除数据于一暂存器；以及

将该暂存器里该已滤除数据作为处理下一个垂直边的部分输入数据。

18.根据权利要求15所述的去区块效应滤波方法，该方法还包括：

该第二滤波器进行一目前水平边的去区块效应滤除过程之后，储存该目前水平边的已滤除数据于一暂存器；以及

将该暂存器里该已滤除数据作为处理下一个水平边的部分输入数据。

Images