CN101119494B - 决定区块式数字编码影像边界强度的方法 - Google Patents

Abstract

本发明提出一种决定区块式数字编码影像边界强度的方法，其于一跨帧预测式编码的宏区块中，若判定二相邻区块中任一区块的编码数据具有非零的预测差值，则将此二相邻区块的边界强度设为一第一强度值，以及若此二相邻区块属于相同的运动补偿区块，则将此二相邻区块的边界强度设为一第二强度值。去区块程序针对边界强度等于第二强度值的数据不做任何去区块处理。本发明所述的决定区块式数字编码影像边界强度的方法，其能有效率地决定数字影像的边界强度，以增进整体去区块处理的效率。

Description

决定区块式数字编码影像边界强度的方法

技术领域

本发明有关于一种数字影像处理技术，特别是关于一种决定区块式数字编码影像边界强度(boundary strength或boundaryfilter strength)的方法。

背景技术

区块式数字影像编码技术通常会将影像帧(frame)分成多个宏区块(macro block或MB)，并就其中像素(picture element或pixel)的亮度数据和颜色数据分别加以编码。例如，H.264的编码技术中，宏区块是指包括16×16个像素的影像区域。每一宏区块的编码方式可以是同帧式预测(Intra Prediction)或跨帧式预测(Inter Prediction)。同帧式预测的编码方式基本上是参照同一帧中已经编码的区块，而就之间的差异进行编码。跨帧式预测则是参照不同帧中已经编码的区块，并就之间的差异进行编码。通常对于与另一帧的内容有关联的宏区块倾向于使用跨帧式预测的编码方式。

常用的跨帧式预测编码技术中，运动补偿(motioncompensation)无疑于其中居极为重要的地位。运动补偿技术自不同帧中已编码的视频图像建立运动补偿区块，并以运动向量(motion vector)表示相对于运动补偿区块的位移量。用以建立运动补偿区块的视频图像通常称为参考图像(reference picture)。除了运动向量之外，编码数据亦包括原始影像数据区块和其对应的运动补偿区块的差值(residual)，此差值本文以下称为预测差值(prediction residual)。诸如H.264的编码技术，其运动向量的单位可以精确至四分之一个像素。

 诸如H.264的编码技术，上述的运动补偿区块可以是于一宏区块内如图9A所示的16×16、8×16、16×8或8×8的区域，所述区域称为分割(partition)。例如，若一宏区块分为4个8×8的区域，则如图9A所示，此宏区块将会包括D0至D3共四个分割区域。当分割是8×8的模式时，其又可以细分为如图9B所示的8×8、4×8、8×4或4×4的区域，所述区域称为次分割(sub-partition)。运动补偿区块亦可以是一个次分割。此种将宏区块又分成可变大小的运动补偿区块的方式称为树状结构运动补偿(treestructured motion compensation)。每一运动补偿区块可以对应一或二个运动向量。当一运动补偿区块对应至二个运动向量时，此二运动向量可以对应至相同或不同的参考图像。以分割或次分割区域作为运动补偿预测单位的编码技术，诸如H.264，位于同一分割或次分割区域内的区块将对应于相同的运动补偿区块和相同的运动向量。

为了使动态区域和静态区域的编码效率更为精进，诸如H.264的编码技术还可以分别针对每一垂直相邻的宏区块对(macroblock pair)以帧或图场(field)的模式编码。本文对于以帧和图场模式编码的宏区块分别称为Frame MB和Field MB。此种特殊的编码模式通常称为宏区块调适性帧/图场编码(macroblock adaptive frame/field coding)或简称为MBAFF。当二相邻宏区块(可以分属于不同的宏区块对)均为Frame MB或均为Field MB时，此二相邻宏区块称为具有相同的适配性(以下称Parity)，否则则称其Parity不同。

区块式数字影像编码/译码系统中的译码动作主要包括逆向量化(inverse quantization)和逆向余弦转换(inverse cosinetransform)。解量化的动作可能无法百分之百恢复原来的影像数据值，其于余弦转换的区块单元的边界(edge)尤其明显，此种 问题称为区块效应(block effect)。区块效应通常会造成译码影像视觉上的区块化，是以诸如H.264的编译码技术于其编码和译码模块中均包括去区块(deblocking)处理的功能，以缓和或消除区块效应。图1显示去区块处理模块120于区块式数字影像编码器或译码器100中的地位，其接收译码单元110的影像数据输出V，对影像数据V作必要的去区块处理，而后将去区块处理后的结果D(V)输出至帧缓冲区(frame buffer)130。数字影像编码器或译码器100尚包括其他的模块，为了说明简洁起见，并未显示于图1中。

传统去区块处理模块的主要运作内容可以图2的流程表示，其包括决定影像帧内所有需要去区块处理的边界(步骤22)、决定所有边界的边界强度(步骤24)以及依据边界强度对影像帧进行去区块处理(步骤26)。此处的边界是指其位于区块单元的上下或左右边侧，其可能位于宏区块或影像帧的内部。诸如H.2 64的编译码技术中，边界强度可以是介于0至4间的数值。去区块处理模块对于边界强度为0的边界不做任何去区块的处理。边界强度值愈大，其施加于对应边界邻近影像数据的去区块强度愈强。例如，边界强度值等于4的去区块强度即大于边界强度值等于3、2或1的去区块强度。典型的去区块处理在于改变边界两侧(左右或上下)的像素值(亮度或颜色)，使其差值变小而减少视觉上的突兀。边界强度值愈大，去区块强度愈大，则边界两侧的像素值改变的幅度也将愈大。

由以上说明可知，以诸如H.264的编码技术对数字影像做区块式编码或译码时，每一帧均需要有效率地决定所有的边界强度以利后续去区块处理的进行。故其有必要提出快速的决定区块式数字影像边界强度的方法，以增进整体去区块处理以及编码/译码动作的效能。

发明内容

本发明提出一种快速决定区块式数字影像边界强度的方法，以增进整体去区块处理的效率。

本发明另提出一种以宏区块为基础的决定区块式数字影像边界强度的方法，其能有效率地决定数字影像的边界强度。

本发明提出一种决定区块式数字编码影像边界强度的方法，其包括：依据一宏区块的编码方式为同帧预测或跨帧预测以及其他编码信息决定位于此宏区块的左侧边界(left edges)、上方边界(top edges)和内部边界(internal edges)的边界强度，所述其他编码信息包括预测差值、运动向量的数目和内容、运动补偿区块和参考图像中的一个或多个；其中若该宏区块的编码方式为跨帧式预测，则当该宏区块内的二相邻区块均不具有非零的预测差值且该二相邻区块属于相同的运动补偿区块时，将该二相邻区块的边界强度设定为一第一强度值，其中作用于此区块式数字编码影像的去区块程序依据边界强度的不同而有不同强度的运算；其中，该去区块程序针对边界强度等于该第一强度值的边界不做任何去区块运算。

本发明的决定区块式数字编码影像边界强度的方法亦可以包括：若二相邻区块中任一区块的编码数据具有非零的预测差值，则将此二相邻区块的边界强度设为一第一强度值；以及若此二相邻区块的编码数据均不具有非零的预测差值且此二相邻区块属于相同的运动补偿区块，则将此二相邻区块的边界强度设为一第二强度值，其中的二相邻区块位于区块式数字编码影像中的同一宏区块内，此宏区块采用跨帧预测的编码方式，且作用于该区块式数字编码影像的去区块程序依据边界强度值的不同而有不同强度的运算；其中，该去区块程序针对边界强度等于该第一强度值相对于边界强度等于该第二强度值施以较强的去区块处理强度。

本发明所述的决定区块式数字编码影像边界强度的方法，其能有效率地决定数字影像的边界强度，以增进整体去区块处理的效率。

图1显示去区块处理模块于区块式数字影像编码器或译码器中的地位。

图2显示去区块处理模块已知的主要运作内容。

图3A例示一宏区块和其邻接宏区块的关系图。

图3B例示一宏区块的左侧边界、上方边界以及内部边界于宏区块中的位置。

图4显示依据本发明的数字影像去区块方法的主要流程。

图5显示依据本发明一实施例对于一Intra MB的左侧边界、上方边界和内部边界的边界强度决定方法。

图6显示依据本发明一实施例对于一Inter MB的内部边界的边界强度决定方法的流程图。

图6A例示其两侧的区块分别属于相同和不同分割区域的内部边界。

图7显示依据本发明一实施例对于一Inter MB的上方边界的边界强度决定方法的流程图。

图8显示依据本发明一实施例对于一Inter MB的左侧边界的边界强度决定方法的流程图。

图9A显示一宏区块划分为分割区域的可能方式。

图9B显示一8×8分割区域划分为次分割区域的可能方式。

具体实施方式

本文所称的边界强度是指二相邻区块(左右相邻或上下相邻)间的边界的强度，以下在不至误解的前提下，有时可能直接称为二相邻区块的边界强度，其意指该二相邻区块交接处边界的边界强度。

图3A例示一宏区块Cur MB和其邻接宏区块的关系图，邻接 于宏区块Cur MB上方的宏区块于本文中将统称为Cur MB的Top MB，而邻接于其左侧的宏区块则统称为其Left MB。图3B例示一宏区块M的左侧边界E0-E3、上方边界E4-E7以及内部边界E8-E31于宏区块M中的位置。宏区块可再分为如图3B所示的16个大小为4×4的区块B0-B15。举例而言，介于区块B0和区块B1间的边界是内部边界E8，而介于区块B8和区块B10间的边界是内部边界E28。

不同于传统的以边界为基础的边界强度决定方法，依据本发明的边界强度决定方法以宏区块为基础，其可以快速地决定区块式数字影像中各种边界的强度。本发明针对每一宏区块，先决定其编码方式，再依据其他编码信息决定该宏区块所有左侧边界、上方边界以及内部边界的边界强度。由以下的实施例说明可知，前述的其他编码信息可能包括预测差值、运动向量的数目和内容、运动补偿区块和参考图像。参见图4，其显示依据本发明的数字影像去区块方法的主要流程，其包括依据本发明一实施例的边界强度决定方法。图4的数字影像去区块方法包括步骤42的依据数字影像中每一宏区块的编码方式为同帧式预测或跨帧式预测以及其他编码信息决定每一宏区块的左侧边界、上方边界和内部边界的边界强度，以及步骤44的依据边界强度对影像帧进行去区块处理。

以同帧预测方式编码的宏区块以下简称Intra MB，而以跨帧预测方式编码的宏区块以下简称Inter MB。以下分别详细说明依据本发明的Intra MB和Inter MB的左侧边界、上方边界和内部边界的边界强度决定方法。

图5显示依据本发明一实施例对于一Intra MB的左侧边界、上方边界和内部边界的边界强度决定方法。针对此Intra MB的每一边界E，若边界E是一左侧边界，意即位于Intra MB和其Left MB间的边界，则其边界强度等于4(步骤52j、步骤52)。若边界E是一上方边界，意即位于Intra MB和其Top MB间的边界，且Intra MB和其Top MB均为Frame MB(即MBAFF中的帧编码宏区块)，则其边界强度等于4(步骤54j、55j、54)，否则其边界强度等于3(步骤54j、55j、55)。若边界E是一内部边界，则其边界强度等于3(步骤56)。如前所述，边界强度值愈大，去区块处理程序施加于对应边界邻近影像数据的去区块强度愈强。换言之，去区块处理程序对于Intra MB的左侧边界和上方边界可能施用最强的去区块运算。

图6显示依据本发明一实施例对于一Inter MB的内部边界的边界强度决定方法的流程图。针对此Inter MB的每一内部边界E，若内部边界E两侧的区块有任一区块的编码数据具有非零的预测差值(prediction residual)，则其边界强度等于2(步骤61j、步骤61)。若内部边界E两侧的区块属于相同的运动补偿区块，则其边界强度等于0(步骤62j、步骤62)。若内部边界E两侧的区块具有不同数目的运动向量，则其边界强度等于1(步骤63j、步骤63)。若内部边界E两侧的区块均具有一个运动向量，且对应于不同的参考图像(reference picture)或者该二区块运动向量的水平分量或垂直分量的差大于或等于一个像素，则其边界强度等于1(步骤64j、步骤64)。若内部边界E两侧的区块均具有二个运动向量，且该二区块对应于相同的参考图像，意即四个运动向量均对应至同一参考图像，则当分属该二个不同区块的任二个运动向量的水平分量或者垂直分量的差大于或等于一个像素之时，其边界强度等于1(步骤65j、步骤65)。若内部边界E两侧的区块均具有二个运动向量，且该二区块对应于不同的参考图像，则其边界强度等于1(步骤66j、步骤66)。若内部边界E两侧的区块均具有二个运动向量，且该二区块对应于不同的参考图 像A和参考图像B，则当对应于参考图像A的二个运动向量与参考图像B的二个运动向量的水平分量或者垂直分量的差大于或等于一个像素，则其边界强度等于1(步骤67j、步骤67)。其他状况，内部边界E的边界强度等于0(步骤68)。

对于以四分之一个像素为运动向量单位的编码技术，诸如H.264，一个像素的差距通常表示二者相差4。但是若目前考虑的宏区块是Field MB之时，其垂直分量一个像素的差距表示二者相差2。

如前所述，位于同一分割或次分割区域内的区块将对应于相同的运动补偿区块。是以图6的步骤62j中，内部边界E两侧的区块是否属于相同的运动补偿区块可以经由检视此二区块是否位于同一宏区块中的同一分割或次分割区域之内而判定。图6A例示其两侧的区块分别属于相同和不同分割区域的内部边界E1和E2。由图6A可知，内部边界E1两侧的区块B0和B1均属于分割区域D0，而内部边界E2两侧的区块B9和B12则分别属于不同的分割区域D0和D1。以此方式可判定内部边界E1两侧的区块(B0和B1)是属于相同的运动补偿区块(D0)，然内部边界E2两侧的区块(B9和B12)则属于不同的运动补偿区块(D0和D1)。本领域技术人员当可由此例的说明配合图9A和图9B对于分割和次分割区域的揭示轻易推知于他种分割或次分割模式情况下的判定方法。

图7显示依据本发明一实施例对于一Inter MB的上方边界的边界强度决定方法的流程图。针对此Inter MB的每一上方边界E，若此Inter MB的Top MB是一Intra MB，则上方边界E的边界强度等于3(步骤71j、步骤71)。若此Inter MB和其Top MB的Parity不同，则当上方边界E两侧的区块有任一区块的编码数据具有非零的预测差值时，其边界强度设定为2，否则其边界强度 等于1(步骤72j、步骤72)。若此Inter MB和其Top MB的Parity相同，则依照图6所示的内部边界的方式，决定上方边界E的边界强度(步骤72j、步骤73)。

图8显示依据本发明一实施例对于一Inter MB的左侧边界的边界强度决定方法的流程图。针对此Inter MB的每一左侧边界E，若此Inter MB的Left MB是一Intra MB，则左侧边界E的边界强度等于4(步骤81j、步骤81)。若此Inter MB和其Left MB的Parity相同，则依照图6所示的内部边界的方式，决定左侧边界E的边界强度(步骤82j、步骤82)。若此Inter MB和其Left MB的Parity不同，则当此左侧边界E两侧的区块有任一区块的编码数据具有非零的预测差值时，其边界强度等于2，否则其边界强度等于1(步骤82j、步骤83)。

以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，例如，虽然以上说明多基于H.264的编码协定，然本发明的应用显然不限于此。又如区块、宏区块、分割区域或次分割区域的大小、运动向量的单位以及边界强度值(0-4)的变异等等，上述变异或修改均应视为在本揭示范畴之内而为所附的权利要求书所保护。

附图中符号的简单说明如下：

22-26：去区块处理流程

42-44：包括本发明边界强度决定方法的去区块处理流程

52-56：依据本发明的Intra MB边界强度决定方法的步骤

52j、54j、55j：依据本发明的Intra MB边界强度决定方法的判断步骤

61-68：依据本发明的Inter MB内部边界的边界强度决定方法的步骤

61j-67j：依据本发明的Inter MB内部边界的边界强度决定方法的判断步骤

71-73：依据本发明的Inter MB上方边界的边界强度决定方法的步骤

71j、72j：依据本发明的Inter MB上方边界的边界强度决定方法的判断步骤

81-83：依据本发明的Inter MB左侧边界的边界强度决定方法的步骤

81j-82j：依据本发明的Inter MB左侧边界的边界强度决定方法的判断步骤

100：区块式数字影像编码器或译码器

110：译码单元

120：去区块处理模块

130：帧缓冲区

B0-B15：4×4区块

Cur MB：目前宏区块

D(V)：去区块处理后的影像数据

D0-D4：分割区域或次分割区域

E、E1-E31：边界

Intra MB：以同帧预测方式编码的宏区块

Inter MB：以跨帧预测方式编码的宏区块

Left MB：相邻的左侧宏区块

M：宏区块

Top MB：相邻的上方宏区块

V：已译码影像数据

Claims (11)

1.一种决定区块式数字编码影像边界强度的方法，其特征在于，包括以下步骤：

若二相邻区块中任一区块的编码数据具有非零的预测差值，则将该二相邻区块的边界强度设为一第一强度值；以及

若该二相邻区块的编码数据均不具有非零的预测差值且该二相邻区块属于相同的运动补偿区块，则将该二相邻区块的边界强度设为一第二强度值，

其中该二相邻区块位于该区块式数字编码影像中的同一宏区块内，该宏区块采用跨帧预测的编码方式，且作用于该区块式数字编码影像的去区块程序依据边界强度值的不同而有不同强度的运算；

其中，该去区块程序针对边界强度等于该第一强度值相对于边界强度等于该第二强度值施以较强的去区块处理强度。

2.根据权利要求1所述的决定区块式数字编码影像边界强度的方法，其特征在于，该去区块程序针对边界强度等于该第二强度值的边界不做任何去区块运算。

3.根据权利要求1所述的决定区块式数字编码影像边界强度的方法，其特征在于，决定该二相邻区块是否属于相同运动补偿区块的方式是检视该二相邻区块是否位于该宏区块的同一分割或次分割区域之内。

4.根据权利要求2所述的决定区块式数字编码影像边界强度的方法，其特征在于，更包括以下步骤：

若该二相邻区块属于不同的运动补偿区块且具有不同数目的运动向量，则将该二相邻区块的边界强度设为一第三强度值。

5.根据权利要求4所述的决定区块式数字编码影像边界强度的方法，其特征在于，该去区块程序针对边界强度等于该第一强度值相对于边界强度等于该第三强度值施以较强的去区块处理强度。 

6.一种决定区块式数字编码影像边界强度的方法，其特征在于，包括以下步骤：

依据一宏区块的编码方式为同帧预测或跨帧预测以及其他编码信息决定该宏区块的左侧边界、上方边界和内部边界的边界强度，所述其他编码信息包括预测差值、运动向量的数目和内容、运动补偿区块和参考图像中的一个或多个；

其中若该宏区块的编码方式为跨帧式预测，则当该宏区块内的二相邻区块均不具有非零的预测差值且该二相邻区块属于相同的运动补偿区块时，将该二相邻区块的边界强度设定为一第一强度值，其中作用于该区块式数字编码影像的去区块程序依据边界强度的不同而有不同强度的运算；其中，该去区块程序针对边界强度等于该第一强度值的边界不做任何去区块运算。

7.根据权利要求6所述的决定区块式数字编码影像边界强度的方法，其特征在于，若该宏区块的编码方式为同帧式预测，则将该宏区块的左侧边界的边界强度设为一第二强度值；当该宏区块与一其上方区块均为帧模式编码的宏区块时，则将该宏区块的上方边界的边界强度设为该第二强度值，反之，则设为一第三强度值；将该宏区块的内部边界的边界强度均设为该第三强度值。

8.根据权利要求6所述的决定区块式数字编码影像边界强度的方法，其特征在于，决定该二相邻区块是否属于相同运动补偿区块的方式是检视该二相邻区块是否位于该宏区块的同一分割或次分割区域之内。

9.根据权利要求7所述的决定区块式数字编码影像边界强度的方法，其特征在于，更包括以下步骤：

若该二相邻区块属于不同的运动补偿区块且具有不同数目的运动向量，则将该二相邻区块的边界强度设为一第四强度值。 

10.根据权利要求9所述的决定区块式数字编码影像边界强度的方法，其特征在于，该去区块程序针对边界强度等于该第三强度值相对于边界强度等于该第四强度值施以较强的去区块处理强度。

11.根据权利要求7所述的决定区块式数字编码影像边界强度的方法，其特征在于，该去区块程序针对边界强度等于该第二强度值相对于边界强度等于该第三强度值施以较强的去区块处理强度。 

Images