CN1224274C - 误差隐蔽方法和设备 - Google Patents

Abstract

本发明涉及一种隐蔽以宏块(Macroblock)压缩形式传输的图象信号101中的误差的方法。该方法包含解码步骤102、用于检测误差宏块的步骤103、分类步骤以及根据其类别来纠正误差宏块的纠正步骤109。本发明提供了一种经济合算的分类步骤。为此，分类步骤包含：在步骤104中，对于每个有效周围宏块，对于与误差宏块相邻的一行或列的每个像素，计算梯度(gradient)；在步骤107中，估算梯度的方向变化次数C_方向；在步骤105和106中，将梯度与第一和第二阈值进行比较；并在步骤108中，根据步骤104到107的结果，对误差宏块进行分类。本发明具体涉及纠正MPEG-压缩视频信号，特别是在资源问题发生的系统中，例如在移动电话中。

Description

误差隐蔽方法和设备

技术领域

本发明涉及一种在以宏块压缩形式传输的图象信号中隐蔽(conceal)误差的方法，每个宏块包含成行、成列的像素，该方法至少

包含以下步骤：

a)解码传输的图象信号；

b)检测误差宏块；

c)分类误差宏块，以便获得误差宏块所属的类别；

d)根据其类别，纠正误差宏块。

本发明还涉及一种相应的设备，用于执行这种隐蔽方法。

本发明具体地涉及纠正MPEG压缩的视频信号。

背景技术

视频信号压缩的目的之一是通过如无线电信道或互联网的网络进行传输。传输误差会损害解码流的视觉效果，因此需要一些有效的误差隐蔽技术。误差隐蔽可包含利用在解码流发现的空间冗余来插入缺漏的数据，就是说，利用周围的像素来插入宏块。可以找到一些具有不同属性的空间隐蔽算法。当在解码器中可使用不同的隐蔽算法时，最好包含一种能保存边缘信息的算法和另一种专用于重构平滑变换的算法。欧洲专利EP 0782347描述了一种方法来将误差宏块分类为单调(monotonous)类、边缘(edge)类和纹理(texture)类，并根据这种分类来矫正误差宏块。分类考虑到有效周围宏块的预定数目，在这些宏块中不包含误差。它包括：

-将每个有效的周围宏块分类为单调类、边缘类和纹理类，单调类代表其中不包含边缘的宏块，边缘类代表其中包含一个边缘的宏块，而纹理类代表其中包含多于一个边缘的宏块；

-如果只有一对相对于误差宏块相对放置的有效周围宏块是边缘类，并具有相同的边缘方向，则将该误差宏块分类为边缘类；并且，否则，根据具有单调类或纹理类的周围宏块的数目，将其分类为单调类或纹理类。

分类每个周围宏块的建议方法包括若干步骤，包括方差计算和较大数目的定向投影。因此，本方法耗资巨大并且不能实时应用于如移动电话的具有少量资源等的处理机上。

而且，根据有效的周围宏块来分类误差宏块的方法假设误差宏块具有预定数目的周围宏块，这不一定是正确的，因为一方面，突发性误差可能会跨越宏块的若干行；另一方面，误差宏块可能处于图象的边沿。

发明内容

本发明的目的是提供一种经济合算的隐蔽误差的方法与设备。

为此，如第一段所述，根据本发明的一种隐蔽误差的方法的特征在于：

i)所述误差宏块具有至少一个其中不包含差错的有效周围宏块。

ii)所述分类步骤包含至少以下子步骤：

-通过减去所述行或列的两个连续像素的值，对于每个有效周围宏块，对于与误差宏块相邻的一行或列的每个像素，计算梯度；

-估算梯度方向变换的次数C_方向；

iii)如果至少一个梯度的绝对值高于第一预定阈值，将误差宏块分类为边缘类；如果C_方向绝对是正数，且高于第二预定阈值的梯度绝对值的数目大于α乘C_方向，则将误差宏块分类为纹理类，其中α是可编程量；以及，否则，将误差宏块分类为噪声或单调类。

根据本发明，以一种经济合算的方式确定误差宏块的类别。事实上，对于这种确定，只考虑与误差宏块直接相邻的像素。就是说，如果我们考虑使用16*16像素的宏块的MPEG-4标准，当误差宏块周围有4个宏块有效时，也就是说这些宏块中不包含差错时，只需计算60个梯度，并将其与2个阈值相比较来确定误差宏块的类别。并且，不管有效周围宏块的数目有多少，只要这个误差宏块有至少一个有效周围宏块，该分类步骤就可以应用于任何误差宏块。因此，只要在图象中有一个有效宏块，就可以通过循环使用这种隐蔽方法来隐蔽其他的宏块。

在一种优选的实施方案中，纠正步骤使用一种利用预定选择顺序从一套算法中选出的算法，所述的套和/或选择顺序根据误差宏块的类别而变化。根据这种优选实施方案，可选出最佳的可用算法来纠正给定类别的宏块。如果由于任何原因，这种算法不能隐蔽误差的宏块，则尝试另一种算法，依此类推。

在另一种优选的实施方案中，如果误差宏块属于边缘类或纹理类，选择顺序中的第一算法是算法M_边缘(Medge)，它能够保存边缘信息；而如果误差宏块属于噪声类或单调类，选择顺序中的第一算法是专用于重构平滑变化的算法M_平滑(Msmooth)。

在一种实施方案中，M_边缘是四线性内插(quadrilinearinterpolation)。

在另一种实施方案中，M_平滑是最大平滑内插。

本发明还涉及一种包含一套指令的计算机程序，这套指令被载入处理机或计算机时，会使处理机或计算机执行上述的隐蔽方法。

下面结合具体实施方案的描述将使本发明的这些和其它的方面更清楚。

附图说明

现在结合例子和附图来具体描述本发明，其中：

图1显示了根据本发明的一种方法的框图；

图2a解释了梯度的计算；

图2b解释了基于计算所得的梯度的分类；

图3a解释了应用于边缘类的宏块的根据本发明的方法；

图3b解释了应用于纹理类的宏块的根据本发明的方法；

图4a解释了应用于噪声类的宏块的根据本发明的方法；

图4b解释了应用于单调类的宏块的根据本发明的方法；

图5是指示对应于每个类别的一套算法和选择顺序的表格。

具体实施方式

在图1中描述了根据本发明的隐蔽方法。这种方法至少包含应用于传输的图象信号101上的解码步骤102、检测步骤103、梯度计算步骤104、第一比较步骤105、第二比较步骤106、估算步骤107、分类步骤108和纠正步骤109。

接下来，传输的图象信号101是使用16*16宏块编码的MPEG-4视频信号，每个宏块包含具有色度或亮度值或二者的像素(下面，术语“值”表示色度或亮度)。对于本领域的技术人员来说，显然根据本发明的隐蔽方法预期与利用基于块的处理进行编码的任何信号一起使用。

在检测步骤103中，分析该宏块以确定其是否是错误的。这样的确定对本领域技术人员来说是公知的，并可以被找到，例如在1993年2月12日提交的标题为“用于在数字视频处理系统中隐蔽误差的设备”的US专利5,455,629中可以找到。如果此宏块是错误的，则在梯度计算步骤104中计算所有有效周围宏块的相邻行、列的2个连续像素之间的梯度。图2中详细描述了这种计算。在第一比较步骤105中，计算的梯度的绝对值与第一阈值进行比较，且确定绝对值高于第一阈值的梯度的数目N1。在第二比较步骤106中，计算的梯度的绝对值与第二阈值进行比较，且确定绝对值高于第二阈值的梯度的数字N2。在估算步骤107中，确定梯度的方向变化的次数C_方向。在分类步骤108中，根据N1、N2和C_方向的值来确定误差宏块的类别。在纠正步骤109中，根据其类别来纠正误差宏块。

图2a表示了梯度的计算。此图显示了具有4个有效周围宏块的8*8误差宏块。误差宏块的像素由虚线代表。只考虑顶部、底部周围宏块的2个相邻行和左侧、右侧周围宏块的2列用于计算梯度。下面的表格指明了如何计算梯度，以及如何确定梯度的方向变化。在此例中，考虑4个像素：201到204；此计算对于2个相邻行和列的所有像素是相同的，特别是对于像素205到207。

-Grad×××代表像素×××的梯度

-Val×××代表像素×××的值

如果像素位置由行数i和列数j来代表：

-对于位置(i，j)上的相邻行的像素，Grad(i，j)＝Val(i，j+1)-Val(i，j)

-对于位置(i，j)上的相邻列的像素，Grad(i，j)＝Val(i+1，j)-Val(i，j)

	Grad 201	Grad 202	Grad 203	C方向
					值	Val 202-Val 201	Val 203-Val 202	Val 204-Val 203
符号	＞0	＞0	＞0	0
					符号	＞0	＞0	＜0	1
符号	＞0	0	＜0	1
					符号	＞0	＜0	＞0	2

图2b表示了基于计算的梯度的分类。在步骤208中，分类步骤108确定N1是否严格为正数或不是。由于第一阈值相对高，所以N1严格为正数的这一事实就指明在有效周围宏块中至少有一个强大的边缘。因此，如果N1严格为正数，就在步骤209中将误差宏块分类为边缘类。如果N1等于0，分类步骤108就确定N2是高于还是等于α*C_方向的量，其中α是可编程量。由于第二阈值相对高但小于第一阈值，所以第二阈值之上的梯度指示明显的边缘。当对于给定像素出现梯度的方向变化而没有任何强大的或明显的边缘时，这通常指示噪声。因此，如果C_方向严格为正数，且N2高于或等于α*C_方向的量，则在步骤211中将误差宏块分类为纹理类，这意味着该宏块是结构化纹理，具有可被视觉检测到的明显边缘。如果C_方向等于0或N2小于α*C_方向的量，这意味着误差宏块周围的梯度是单调的，或在误差宏块中的噪声远远多于明显边缘，且在步骤212中将该误差宏块分类为单调或噪声类。

在图3a到4b中，利用有效周围宏块的2个相邻行和列描述了误差宏块。指示了周围像素的亮度值，在0到255之间。在这些例子中，第一阈值等于40，第二阈值等于10，且可编程量α等于1.2。对于本领域的技术人员来说，显然可以容易地修改这些值来获得最佳可能的结果。

图3a表示了应用于边缘类的宏块的根据本发明的方法。梯度的计算指明：有2个梯度的绝对值高于第一阈值，这对应于强大边缘。因此，这个误差宏块被分类为边缘类。

图3b表示了应用于纹理类的宏块的根据本发明的方法。梯度的计算指明：

-  N1＝0    N2＝28    C_方向＝21

因此，明显边缘的数目N2大于方向改变次数C_方向的可编程量α，且该误差宏块被分类为纹理类。

图4a表示了应用于噪声类的宏块的根据本发明的方法。梯度的计

算指明：

-    N1＝0    N2＝1    C_方向＝25

因此，明显边缘的数目N2小于方向改变次数C_方向的可编程量α，且该误差宏块被分类为噪声类。

图4b表示了应用于单调类的宏块的根据本发明的方法。梯度的计算指明：

-    N1＝0    N2＝0    C_方向＝0

因此，该误差宏块被分类为单调类。

图5是表示用于每个类别的一套算法和选择顺序的表。在给定系统中，给定的算法可能不能用于隐蔽误差宏块，例如因为：

-误差宏块不具有足够有效的周围宏块；

-在系统中不具有足够的存储器资源来使用给定算法；

-时间限制使之不可能使用给定算法。

因此，对于误差宏块的每个类别，系统中都可以以一种选择顺序得到一套算法。该系统首先尝试通过选择顺序中的第一算法来隐蔽给定的误差宏块。如果对于此误差宏块不能使用这种算法，该系统则尝试通过选择顺序中的第二算法来隐蔽给定的误差宏块，依此类推。尽管第二算法中的隐蔽质量不如第一算法好，但使用这样的一套算法有这样一个优点：几乎始终可以对误差宏块进行隐蔽。

对于边缘或纹理类的误差宏块，选择顺序中的第一算法是四线性内插。这种算法包含从误差像素周围的顶部、底部、左侧、右侧的最近有效像素中插入此误差像素的值。四线性内插的一个例子在Proc.Globelcom’95第1778-1783页中由Susanna Aign和Khaled Fazel所著的文件“用于分级MPEG-2视频编/解码器的时间与空间的误差隐蔽技术”中有描述。这种算法被公知为擅长在误差宏块中保存边缘信息。选择顺序中的第二算法是最大平滑内插。最大平滑内插的一个例子在‘IEEE通信会报的1993年10月第41卷No.10中由Yao Wang、QuinFan Zhu和Leonard Shaw所著的文件“在变换编码中的最大平滑图象恢复”中有描述。这种算法被公知为擅长重构平滑变化。选择顺序中的第三算法是简单内插，其包含例如使用有效周围宏块的平均值来替换误差宏块。即使隐蔽的质量不是可能最佳的，这种简单内插也预期能隐蔽大多数的误差宏块。

对于噪声或单调类的误差宏块，选择顺序中的第一算法是最大平滑内插，第二算法是四线性内插，并且第三算法是简单内插。

上面的附图及其描述只是解释了本发明，而不对其进行限制。在这方面，作出下面的结尾评述。

当对误差宏块进行分类后，有不同的方式来隐蔽该误差宏块。图5为每个类别提供了一套算法，可用于隐蔽此类别的误差宏块。对于本领域技术人员来说，显然可以使用其他算法而不偏离本发明的范围。

可以在预定集成于机顶盒或电视接收机的集成电路中实施根据本发明的隐蔽方法。载入程序存储器的一套指令使该集成电路执行该隐蔽方法。这套指令可被存储在如盘的数据载体上。可以从数据载体上读取这套指令，以便将其载入随后将执行其任务的集成电路的程序存储器中。

Claims (5)

1.一种隐蔽以宏块压缩形式传输的图象信号中的误差的方法，每个宏块包含成行和成列的像素，该方法至少包含以下步骤：

a)解码传输的图象信号；

b)检测误差宏块；

c)分类误差宏块，以获得误差宏块所属的类别；

d)根据其类别，纠正误差宏块；

所述方法的特征还在于：

i)所述误差宏块具有至少一个其中不包含差错的有效周围宏块；

ii)所述分类步骤包含至少以下子步骤：

-通过减去所述行或列的两个连续像素的值，对于每个有效周围宏块，对于与误差宏块相邻的一行或列的每个像素，计算梯度；

-估算梯度的方向变换的次数C_方向；

iii)如果至少一个梯度的绝对值高于第一预定阈值，则将误差宏块分类为边缘类；

如果C_方向绝对为正的，并且高于第二预定阈值的梯度的绝对值的数目大于α乘C_方向，则将误差宏块分类为纹理类，其中α是可编程量；和

否则，将误差宏块分类为噪声类或单调类。

2.如权利要求1的方法，其中所述纠正步骤使用一种从具有预定选择顺序的一套算法中选出的算法，所述的套和/或选择顺序根据误差宏块的类别而改变。

3.如权利要求2的方法，其中如果误差宏块属于边缘类或纹理类，则选择顺序中的第一算法是能够保存边缘信息的算法M_边缘；而如果误差宏块属于噪声类或单调类，则选择顺序中的第一算法是专用于重构平滑变化的算法M_平滑。

4.如权利要求3的方法，其中所述算法M_边缘是四线性内插。

5.如权利要求3的方法，其中所述算法M_平滑是最大平滑内插。

Images