CN1870752A - 应用于视频编码/解码的解块滤波方法及其装置 - Google Patents

Abstract

一种应用于视频编码/解码的解块滤波方法，其步骤包含依据一解块方向，依序读取相邻于一垂直边界的该子块，并对该垂直边界进行该解块处理；将一目前子块的像素数据进行转置；对该目前子块的一平行边界进行该解块处理，相邻于该平行边界的另一子块的像素数据则转置后输出；依序储存多个该目前子块；以及在该目前宏块的解块处理完成后，将该多个目前子块的像素数据转置输出。

Description

应用于视频编码/解码的解块滤波方法及其装置

【技术领域】

本发明是关于一种应用于视频编码/解码的解块滤波方法及其装置，尤其关于一种以相对较小的暂存空间即可进行解块处理的解块滤波方法及其装置。

【现有技术】

由于信息科技的快速发展，许多声音及影像皆可以数字的格式加以储存及播放，因而大大扩展了影音信息的应用范围。然而，若是影音数据未经任何处理即加以完整地储存，必须付出相当大的储存空间，尤其是记录影像的视频数据，这对于影音档案后续的储存及传输将有不利的影响。为了解决视频档案过大的问题，已发展出许多视频编码技术，可有效压缩视频的档案大小，并在播放时仍保有原来的画质，或是画质失真的程度在可接受的范围内。

以块为基础的视频编码方法已广泛地应用在许多视频标准上，例如MPEG-1(运动图像专家组等级一)、MPEG-2、MPEG-4以及H.26x等系列标准。以ITU-T及ISO/IEC共同制定的视频编码标准H.264/AVC(MPEG-4 Part 10Advanced Video Coding)为例，说明针对单个视频帧的编码方法。H.264/AVC视频编码方法是将一视频帧以16×16个像素为单位分割成多个宏块，每一宏块再细分出4×4个子块。如图1所示，以粗线区隔的宏块1是由子块a至p所组成，而每一个子块则由4×4个像素所组成。之后，再针对每一个子块的像素进行预测运算，子块中的像素值即以预测值取代原始值以降低数据量。经编码后的视频帧，由于子块中的像素值并非原始像素值，因此视频帧经解码后，子块间的像素值差异太大而无法自然地呈现画面。

为减少这种画面不自然的情形，视频帧经解码后必须再经过解块处理，即是降低位于子块边界的像素值差异。请参照图2，解块处理必须参考子块a中像素P1至P4的像素值及子块b中像素P5至P8的像素值来修正像素P4及像素P5的像素值，使像素P4及P5像素值的差异降低，子块a及子块b的边界Eab则不易察觉。因此，为了对边界Eab进行解块处理，必须参考子块a及子块b中所有像素的像素值。

现有技术是以一个宏块为单位，针对其中子块间的边界进行解块处理。请参照图3A，亮度数据是以4×4个子块表示，而解块处理的顺序是先处理垂直方向的边界Lv1、Lv2、Lv3、Lv4，再处理水平方向的边界Lh1、Lh2、Lh3、Lh4，在处理水平方向的边界时，可先将子块数据转置，如此即可以同一组解块滤波器进行解块处理。请参照图3B，关于色度数据则是以2×2个子块表示，在进行解块处理时，同样是先处理垂直方向的边界Cv1、Cv2，将数据转置后，再处理水平方向的边界Ch1、Ch2。需注意者，宏块的右边界及下边界暂时不进行解块处理，而在相处理相邻宏块的左边界及上边界时再处理。

以亮度数据为例，由上述进行解块处理的过程可知，欲处理一个宏块中子块的所有边界，必须暂存整个宏块的像素数据。且，为了处理宏块的上边界及右边界，必须参考相邻宏块的子块A、B、C、D及子块E、F、G、H的像素数据。由于解块滤波装置必须具备足够的储存空间才能暂存所需的参考数据，因此无法有效降低成本。此外，为了加载及输出相对大量的参考数据，亦必须耗用可观的数据传输频宽。

综上所述，如何以相对较小的暂存空间即可进行解块处理便是目前亟需解决的问题。

【发明内容】

针对上述问题，本发明的目的在于提供一种应用于视频编码/解码的解块滤波方法及其装置，其可以相对较小的暂存空间即可进行解块处理。

为达上述目的，本发明的应用于视频编码/解码的解块滤波方法是应用于一视频编码/解码方法，该视频编码/解码方法将一视频帧分割成多个宏块，该宏块分割成M×M个子块，该子块是由N×N个像素所组成，该解块滤波方法用以对一目前宏块中的该子块的边界进行一解块处理。

该解块滤波方法的步骤包含依据一解块方向，依序读取相邻于一垂直边界的该子块，并对该垂直边界进行该解块处理；将一目前子块的像素数据进行转置；对该目前子块的一平行边界进行该解块处理，相邻于该平行边界的另一子块的像素数据则转置后输出；依序储存M个该目前子块；以及重复上述步骤，该目前宏块的解块处理完成后，将该M个目前子块的像素数据转置输出。

本发明的应用于视频编码/解码的解块滤波装置用以实施上述解块滤波方法，该解块滤波装置包含一第一储存组件，用以储存该子块的像素数据；一转置储存组件，用以将该子块的像素数据转置并储存；一第二储存组件，用以储存已转置的该子块的像素数据；一解块滤波器，用以将任意二个该子块的相邻边界进行一解块处理；一第一多任务器；一第二多任务器；一第三多任务器以及一第四多任务器。

该第一多任务器包含二个输入端口以及一输出端口，其中的一该输入端口接收该子块的像素数据，另一该输入端口信号连接于该第二储存组件，该输出端口连接于该解块滤波器，该第一多任务器可选择性输出该二个输入端口所接收到的像素数据。该第二多任务器包含二个输入端口以及一输出端口，该二个输入端口分别信号连接于该第一储存组件以及该转置储存组件，该输出端口连接于该解块滤波器，该第二多任务器可选择性输出该二个输入端口所接收到的像素数据。该第三多任务器包含二个输入端口以及一输出端口，该二个输入端口信号连接于该解块滤波器，其中的一该输入端口接收已转置的该子块，另一该输入端口接收未转置的该子块，该输出端口连接于该转置储存组件，该第三多任务器可选择性输出该二个输入端口所接收到的像素数据。该第四多任务器包含二个输入端口以及一输出端口，该二个输入端口分别信号连接于该解块滤波器以及该转置储存组件，该第四多任务器可选择性输出已完成该解块处理的该子块。

依据本发明的应用于视频编码/解码的解块滤波方法及其装置，其仅需要相对较小的储存空间即可将整个宏块中的边界处理完成，因此可减少内存的使用而降低成本，同时避免耗用太多传输数据的频宽。

【附图说明】

图1显示对一宏块进行解块处理所需的子块的示意图。

图2为进行解块处理的示意图。

图3A为已知对一宏块的亮度数据进行解块处理的示意图。

图3B为已知对一宏块的色度数据进行解块处理的示意图。

图4为本发明较佳实施例的应用于视频编码/解码的解块滤波方法的流程图。

图5A为本发明对一宏块的亮度数据进行解块处理的示意图。

图5B为本发明对一宏块的色度数据进行解块处理的示意图。

图6为本发明较佳实施例的应用于视频编码/解码的解块滤波装置的方框图。

图7A、7B、7C为本发明对一宏块的三种特定边界进行解块处理的示意图。

组件符号说明：

1     宏块

6     应用于视频编码/解码的解块滤波装置

61    第一储存组件

62            转置储存组件

63            第二储存组件

64            解块滤波器

65            第一多任务器

66            第二多任务器

67            第三多任务器

68            第四多任务器

A～H、a～p    子块

Eab           边界

C0～C7        边界

Cv1～Cv2      边界

Ch1～Ch2      边界

DS            已解块子块

L0～L31       边界

Lv1～Lv4      边界

Lh1～Lh4      边界

P1～P8        像素

S41～S46      应用于视频编码/解码的解块滤波方法的步骤

UDS           未解块子块

【具体实施方式】

以下将参照相关附图，说明依本发明较佳实施例的应用于视频编码/解码的解块滤波方法及其装置，其中相同的组件将以相同的参照符号加以说明。

本发明较佳实施例的解块滤波方法是应用于一视频编码/解码方法，该视频编码/解码方法用以将一视频数据串流编码/解码，该视频数据包含多个视频帧，该视频帧分割成多个宏块，该宏块分割成M×M个子块，该子块是由N×N个像素所组成，其中M、N为正整数，本发明的该解块滤波方法即是以一个宏块为单位，对其中的子块的边界进行解块处理。以下将正在解块处理的宏块称为目前宏块，正在解块处理的子块称为目前子块。

请参照图4，说明本发明较佳实施例的解块滤波方法。首先依据一解块方向，依序读取相邻于一垂直边界的子块，并对垂直边界进行解块处理(S41)，其中，垂直边界是指目前子块中与解块方向互相垂直的边界。接着，目前子块的两个垂直边界皆已处理完成后，将其像素数据进行转置(S42)，其中，目前宏块中的右边界及下边界并不与目前宏块中的边界一起处理，因此，包含目前宏块中与解块方向垂直的右边界或下边界的目前子块仅处理一个垂直边界后即进行像素数据的转置。之后，对目前子块的平行边界进行解块处理，而相邻于平行边界的另一子块则将像素数据转置后输出(S43)，其中，平行边界与解块方向互相平行，而且靠近于目前宏块的上边界或左边界。目前子块的两个垂直边界及一个平行边界经解块处理后，即将目前子块储存(S44)，当需要此子块时，即可对其第四个边界进行解块处理，而储存子块的数量为一个宏块的宽度，即M个子块。步骤S45则判断目前宏块的解块处理是否完成，若尚未完成，即重复上述步骤，将目前宏块中的子块逐一进行处理。若已完成，则将储存的M个子块的像素数据转置后输出(S46)。

以下以H.264/AVC的视频编码标准举一实例，说明本发明较佳实施例的解块滤波方法的流程。H.264/AVC定义16×16像素为一个宏块，4×4像素为一个子块，因此一个宏块中包含4×4个子块。请参照图5A，一个宏块中的亮度数据以4×4个子块表示(图中粗线标示的区域)，其中标示L0至L31的边界需进行解块处理。以由左而右，并由下而下的解块方向为例，对边界进行解块处理的顺序即如数字所表示。例如，欲对边界L0进行处理时，即加载子块E及子块a(标示符号与图1相同)，处理后即输出子块E，再加载子块b对边界L1进行处理。子块a的边界L0及L1(即垂直边界)处理后，即将子块a的像素数据转置并对边界L2(即平行边界)进行处理。其中子块A、B、C、D可预先加载，并将像素数据转置后储存，如此，在处理边界L2、L4、L6、L7时即可直接加以应用。子块a的边界L0、L1、L2处理完后则加以储存，其可在处理边界L10时加以应用，而子块A则将像素数据转置回来后输出。

接着加载子块c以处理边界L03，再转置像素数据处理边界L04，输出子块B后将子块b加以储存备用。如此重复相关步骤直到将所有边界处理完成，最后将子块m、n、o、p输出，准备对下一个宏块进行解块处理。需注意者，宏块的右边界及下边界并不进行解块处理，而是在处理相邻宏块的左边界及上边界时处理。因此，若子块的边界包含宏块的右边界或下边界与解码方向垂直者，则直接进行平行边界的处理。例如，以水平方向进行解块处理，宏块的右边界即与解块方向垂直，图5A中的子块d、h、l、p的右边界即不处理，而直接处理其上边界L7、L15、L23、L31。

以2×2个子块表示的色度数据亦是以相同的顺序进行解块处理。如图5B所示，若同样是以由左而右，并由下而下的解块方向，则处理的顺序亦为子块的左边界、右边界、上边界、下边界，即依边界C0至边界C7的数字顺序进行处理。

请参照图6，本发明较佳实施例的应用于视频编码/解码的解块滤波装置6包含一第一储存组件61、一转置储存组件62、一第二储存组件63、一解块滤波器64、一第一多任务器65、一第二多任务器66、一第三多任务器67以及一第四多任务器68。第一储存组件61是用以储存子块的像素数据，以处理该子块的边界。第一储存组件61可为一移位缓存器，可储存一个子块的像素数据，即N×N×8位。转置储存组件62是用以将子块的像素数据转置并加以储存，其可为一转置缓存器，同样可储存一个子块的像素数据，即N×N×8位。第二储存组件63则用以储存已经过转置的子块的像素数据，其可储存一个宏块宽度的子块，即M×N×N×8位，以上例而言，其储存空间即为4×4×4×8位。第二储存组件63可为一内存，例如静态随机存取内存(SDRAM)，较佳的是，第二储存组件63包含二个传输端口，可同时读出与写入数据。解块滤波器64则可依据任意二个子块的像素数据，对其相邻的边界进行解块处理。

第一多任务器65包含二个输入端口以及一输出端口，其中的一输入端口接收加载的未解块子块UDS的像素数据，另一输入端口则信号连接于第二储存组件63，其输出端口连接于解块滤波器64，第一多任务器65可选择性输出二个输入端口所接收到的像素数据。第二多任务器66包含二个输入端口以及一输出端口，其中的一输入端口信号连接于第一储存组件61，另一输入端口信号连接于转置储存组件62，其输出端口则连接于解块滤波器64，第二多任务器66可选择性输出二个输入端口所接收到的像素数据。第三多任务器67包含二个输入端口以及一输出端口，二个输入端口信号皆连接于解块滤波器64，其中的一输入端口是接收已经过转置的子块像素数据，另一输入端口是接收未经过转置的子块像素数据，其输出端口连接于转置储存组件62，第三多任务器67则可选择性输出二个输入端口所接收到的像素数据。第四多任务器68包含二个输入端口以及一输出端口，其中的一输入端口信号连接于解块滤波器64，另一输入端口信号连接于转置储存组件62，第四多任务器.68可选择性输出已解块子块DS的像素数据。

请参照图7A至图7C，说明本发明的应用于视频编码/解码的解块滤波装置6在解块处理的过程中像素数据处理的情形，其中的点线代表像素数据移动的方向。请参照图7A，其显示对边界L0、L8、L16、L24进行解块处理的情形。以处理边界L0为例，解块滤波装置6先加载子块E储存于第一储组件61中，再加载子块a。子块E及子块a再分别经过第二多任务器66及第一多任务器65传送到解块滤波器64中进行解块处理。处理后的子块a为了处理边界L1，因此储存于第一储组件61中，而子块E则直接输出。

图7B则显示对其它垂直边界进行解块处理的情形。以处理边界L1为例，加载子块b，并与储存于第一储组件61中子块a进行解块处理。处理后的子块a为了处理边界L2，因此将像素数据转置储存于转置储存组件62中，而原先储存于转置储存组件62的子块则可直接输出。子块b则储存于第一储组件61以准备处理边界L3。

图7C则显示对平行边界进行解块处理的情形。以处理边界L2为例，第二储存组件63已事先储存了经过转置的子块A、B、C、D，因此，第二储存组件63中子块A与转置储存组件62中的子块A直接传送至解块滤波器64进行解块处理。处理完的子块A储存于第二储存组件63中，等待处理边界L10，此时第二储存组件63中则储存有子块A、B、C、D。子块A则传送至再经过转置并储存于转置储存组件62中，待下个子块传入转置储存组件62时即将子块A输出。

以H.264/AVC的视频编码标准而言，依据本发明的应用于视频编码/解码的解块滤波方法及其装置，其仅需要六个子块的储存空间即可将整个宏块中的边界处理完成，因此可减少内存的使用而降低成本。此外，依据本发明的解块滤波方法及其装置，在大部份处理过程中，加载子块及进行解块处理是同时进行，因此可有效提升解块处理的效率，并避免耗用太多传输数据的频宽。

以上所述仅为举例性，而非为限制性者。任何本领域的熟练技术人员均可依据上述本发明的实施例进行等效的修改，而不脱离其精神与范畴。例如，前述是以由左至右再由上至下的解块方向作说明，本领域的熟练技术人员可改以由上至下再由左至右的解块方向来实现本发明。又，宏块的大小及子块亦可依需求而改变，例如M亦可为2、4或8，N亦可为2、8或16。故任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包含于后附的权利要求的保护范围中。

Claims (19)

1.一种解块滤波方法，其应用于一视频编码/解码方法，该视频编码/解码方法用以将一视频数据串流编码/解码，该视频数据包含多个视频帧，该视频帧分割成多个宏块，该宏块分割成M×M个子块，该子块是由N×N个像素所组成，其中M、N为正整数且M≥2，N≥2，该解块滤波方法用以对一目前宏块中的该子块的边界进行一解块处理，该解块滤波方法的步骤包含：

依据一解块方向，依序读取相邻于一垂直边界的该子块，并对该垂直边界进行该解块处理，该垂直边界与该解块方向互相垂直；

将一目前子块的像素数据进行转置，该目前子块是指该垂直边界已进行该解块处理的该子块，其中该垂直边界不包含该目前宏块与该解块方向垂直的右边界或下边界；

对该目前子块的一平行边界进行该解块处理，相邻于该平行边界的另一子块的像素数据则转置后输出，该平行边界与该解块方向互相平行，且靠近于该目前宏块的上边界或左边界；

依序储存M个该目前子块；以及

重复上述步骤，该目前宏块的解块处理完成后，将该M个目前子块的像素数据转置输出。

2.根据权利要求1所述的解块滤波方法，还包含：

读取并储存M个相邻子块，该相邻子块相邻于该目前宏块中与该解块方向平行的上边界或左边界。

3.根据权利要求1所述的解块滤波方法，其中该解块方向为由左至右，并由上而下。

4.根据权利要求1所述的解块滤波方法，其中该解块方向为由上至下，并由左而右。

5.根据权利要求1所述的解块滤波方法，其中N等于2、4、8或16。

6.根据权利要求1所述的解块滤波方法，其中M等于2、4或8。

7.根据权利要求1所述的解块滤波方法，其中该视频编码/解码方法为H.264/AVC的视频编码标准。

8.一种解块滤波装置，其应用于一视频编码/解码系统，该视频编码/解码系统用以将一视频数据串流编码/解码，该视频数据包含多个视频帧，该视频帧分割成多个宏块，该宏块分割成M×M个子块，该子块是由N×N个像素所组成，其中M、N为正整数且M≥2，N≥2，该解块滤波装置包含：

一第一储存组件，用以储存该子块的像素数据；

一转置储存组件，用以将该子块的像素数据转置并储存；

一第二储存组件，用以储存已转置的该子块的像素数据；

一解块滤波器，用以将任意二个该子块的相邻边界进行一解块处理；

一第一多任务器，包含二个输入端口以及一输出端口，其中的一该输入端口接收该子块的像素数据，另一该输入端口信号连接于该第二储存组件，该输出端口连接于该解块滤波器，该第一多任务器可选择性输出该二个输入端口所接收到的像素数据；

一第二多任务器，包含二个输入端口以及一输出端口，该二个输入端口分别信号连接于该第一储存组件以及该转置储存组件，该输出端口连接于该解块滤波器，该第二多任务器可选择性输出该二个输入端口所接收到的像素数据；

一第三多任务器，包含二个输入端口以及一输出端口，该二个输入端口信号连接于该解块滤波器，其中的一该输入端口接收已转置的该子块，另一该输入端口接收未转置的该子块，该输出端口连接于该转置储存组件，该第三多任务器可选择性输出该二个输入端口所接收到的像素数据；以及

一第四多任务器，包含二个输入端口以及一输出端口，该二个输入端口分别信号连接于该解块滤波器以及该转置储存组件，该第四多任务器可选择性输出已完成该解块处理的该子块。

9.根据权利要求8所述的解块滤波装置，其中该第一储存组件为一移位缓存器。

10.根据权利要求9所述的解块滤波装置，其中该移位缓存器的储存空间为N×N×8位。

11.根据权利要求8所述的解块滤波装置，其中该转置储存组件为一转置缓存器。

12.根据权利要求11所述的解块滤波装置，其中该转置缓存器的储存空间为N×N×8位。

13.根据权利要求8所述的解块滤波装置，其中该第二储存组件为一内存。

14.根据权利要求13所述的解块滤波装置，其中该内存的储存空间为M×N×N×8位。

15.根据权利要求13所述的解块滤波装置，其中该内存包含二个传输端口，可同时读出及写入数据。

16.根据权利要求13所述的解块滤波装置，其中该内存为一静态随机存取内存。

17.根据权利要求8所述的解块滤波装置，其中N等于2、4、8或16。

18.根据权利要求8所述的解块滤波装置，其中M等于2、4或8。

19.根据权利要求8所述的解块滤波装置，其中该视频编码/解码系统遵循H.264/AVC的视频编码标准。

Images