CN1463555A - 误差掩蔽的方法和设备 - Google Patents

Abstract

本发明涉及一种掩蔽在以宏块(Macroblock)压缩形式传输的图象信号101中的误差的方法。该方法包含解码步骤102、用于检测误差宏块的步骤103、分类步骤、根据其分类来纠正误差宏块的纠正步骤109。本发明提供了一种成本合算的分类步骤。为此，分类步骤包含在步骤104中为每个有效的周围宏块和与误差宏块相邻的一行或列的每个象素计算梯度(gradient)，在步骤107中估算梯度的方向变化次数C_方向，在步骤105和106中将梯度与第一、第二阈值进行比较，并在步骤108中根据步骤104到107的结果对误差宏块进行分类。本发明具体涉及纠正MPEG－压缩的视频信号，特别是在资源问题发生的系统中，例如在移动电话中。

Description

误差掩蔽的方法和设备

技术领域

本发明涉及一种掩蔽在以宏块压缩形式传输的图象信号中的误差的方法，每个宏块包含成行、成列的象素，该方法至少包含步骤：

a)解码传输的图象信号；

b)检测误差宏块；

c)分类误差宏块，以便获得误差宏块所属的类别；

d)根据其类别，纠正误差宏块。

本发明还涉及一种相应的设备，用于执行这种掩蔽方法。

本发明具体地涉及纠正MPEG压缩的视频信号。

背景技术

视频信号压缩的目的之一是通过如无线电信道或互联网的网络进行传输。传输误差会损害解码流的视觉效果，因此需要一些有效的误差掩蔽技术。误差掩蔽可包含利用在解码流发现的空间冗余来插入缺漏的数据，就是说，利用周围的象素来插入宏块。可以找到一些具有不同属性的空间掩蔽算法。当在解码器中可使用不同的掩蔽算法时，最好包含一种能保留边缘信息的算法和另一种专用于重建平滑变换的算法。欧洲专利EP 0782347描述了一种方法来将误差宏块分类为单调类、边缘类和纹理类，并根据这种分类来矫正误差宏块。分类考虑到有效周围宏块的预定数目，在这些宏块中不包含误差。它包括：

-将每个有效的周围宏块分类为单调类、边缘类和纹理类，单调类代表其中不包含边缘的宏块，边缘类代表其中包含一个边缘的宏块，纹理类代表其中包含多于一个边缘的宏块；

-如果只有一对相对于误差宏块相对放置的有效周围宏块是边缘类，并具有相同的边缘方向，则将该误差宏块定为边缘类；或者，根据具有单调类或纹理类的周围宏块的数目，来将其定为单调类或纹理类。

分类每个周围宏块的建议方法包括若干步骤，包括方差计算和较大数目的方向预测。因此，本方法耗资巨大并且不能实时应用于如移动电话的具有少量资源等的处理机上。

而且，根据有效的周围宏块来分类误差宏块的方法假设误差宏块具有预定数目的周围宏块，这不一定是正确的，因为一方面，突发性误差可能会跨越宏块的若干行；另一方面，误差宏块可能处于图象的边沿。

发明内容

本发明的目的是提供一种成本合算的掩蔽误差的方法与设备。

为此，如第一段所述，根据本发明的一种掩蔽误差的方法的特征在于：

1)所述误差宏块具有至少一个其中不包含误差的有效周围宏块。

2)所述分类步骤包含至少以下子步骤：

-通过使所述行或列的两个连续象素的值相减，为每个有效的周围宏块和与误差宏块相邻的一行或列的每个象素计算梯度；

-估算梯度方向变换的次数C_方向；

3)如果至少一个梯度的绝对值高于第一预定阈值，就将误差宏块定为边缘类；如果C_方向严格是正数，且高于第二预定阈值的梯度绝对值的数目大于α乘C_方向，则定为纹理类，其中α是可编程量；或者定为噪声或单调类。

根据本发明，以一种成本合算的方式确定误差宏块的类别。事实上，在这种确定中只考虑与误差宏块直接相邻的象素。就是说，如果我们考虑使用了16*16象素的宏块的MPEG-4标准，当误差宏块周围有4个宏块有效时，也就是说这些宏块中不包含误差时，只需计算60个梯度，并将其与2个阈值相比较来确定误差宏块的类别。并且，不管有效周围宏块的数目有多少，只要这个误差宏块有至少一个有效周围宏块，该分类步骤就可以应用于任何误差宏块。因此，只要在图象中有一个有效宏块，就可以通过循环使用这种掩蔽方法来掩蔽其他的宏块。

在一种优选的实施方案中，纠正步骤使用一种以预定选择顺序从一套算法中选出的算法，所述的套和/或选择顺序根据误差宏块的类别而变化。根据这种优选实施方案，可选出最佳的可得的算法来纠正给定类别的宏块。如果由于任何原因，这种算法不能掩蔽误差的宏块，则尝试另一种算法，依此类推。

在另一种优选的实施方案中，如果误差宏块属于边缘类或纹理类，选择顺序的第一算法是算法M_边缘，它能够保留边缘信息；如果误差宏块属于噪声类或单调类，选择顺序的第一算法是算法M_平滑，它专用于重建平滑变换。

在一种实施方案中，M_边缘是四重线性内插(quadrilinearinterpolation)。

在另一种实施方案中，M_平滑是最大化平滑内插。

本发明还涉及一种包含一套指令的计算机程序，这套指令被载入处理机或计算机时，会使处理机或计算机执行上述的掩蔽方法。

下面结合具体实施方案的描述将使本发明的这些和其它的方面更清楚。

附图说明

现在结合例子和附图来具体描述本发明，其中：

图1显示了根据本发明的一种方法的框图；

图2a解释了梯度的计算；

图2b解释了基于计算所得的梯度的分类；

图3a解释了应用于边缘类的宏块的根据本发明的方法；

图3b解释了应用于纹理类的宏块的根据本发明的方法；

图4a解释了应用于噪声类的宏块的根据本发明的方法；

图4b解释了应用于单调类的宏块的根据本发明的方法；

图5是指示对应于每个类别的一套算法和选择顺序的表格。

具体实施方案

图1中描述了根据本发明的掩蔽方法。这种方法至少包含应用于传输的图象信号101上的解码步骤102，检测步骤103，梯度计算步骤104，第一比较步骤105，第二比较步骤106，估算步骤107，分类步骤108和纠正步骤109。

接下来，传输的图象信号101是使用16*16宏块编码的MPEG-4视频信号，每个宏块包含具有色度或亮度值或二者都有的象素(下面，“值”表示或者色度，或者亮度)。对本领域的技术人员来说显而易见：根据本发明的掩蔽方法要与利用基于块的处理进行编码的任何信号一起使用。

在检测步骤103中，分析该宏块以确定其是否误差。这种确定对本领域技术人员来说是公知的，并可以被找到，例如在1993年2月12日提交的标题为“用于在数字视频处理系统中掩蔽误差的仪器”的US专利5,455,629中可以找到。如果此宏块是误差的，则在梯度计算步骤104中计算所有有效周围宏块的相邻行、列的2个连续象素之间的梯度。图2中详细描述了这种计算。在第一比较步骤105中，计算的梯度的绝对值与第一阈值进行比较，且确定绝对值高于第一阈值的梯度的数目N1。在第二比较步骤106中，计算的梯度的绝对值与第二阈值进行比较，且确定绝对值高于第二阈值的梯度的数字N2。在估算步骤107中确定梯度的方向变化的次数C_方向。在分类步骤108中，根据N1、N2和C_方向的值来确定误差宏块的类别。在纠正步骤109中，根据其类别来纠正误差宏块。

图2a解释了梯度的计算。此图显示了具有4个有效周围宏块的8*8误差宏块。误差宏块的象素由虚线代表。只考虑顶部、底部周围宏块的2个相邻行和左侧、右侧周围宏块的2列用于计算梯度。下面的表格指明了如何计算梯度，和如何确定梯度的方向变化。在此例中，考虑4个象素：201到204；对2个相邻行和列的所有象素的计算与此相同，特别是对象素205到207。

-Grad×××代表象素×××的梯度

-Val×××代表象素×××的值

如果象素位置由行数i和列数j代表：

-对于位置(i，j)上的相邻行的象素，Grad(i，j)＝Val(i，j+1)-Val(i，j)

-对于位置(i，j)上的相邻列的象素，Grad(i，j)＝Val(i+1，j)-Val(i，j)

	Grad 201	Grad 202	Grad 203	C方向
					值	Val 202-Val 201	Val 203-Val 202	Val 204-Val 203
符号	＞0	＞0	＞0	0
					符号	＞0	＞0	＜0	1
符号	＞0	0	＜0	1
					符号	＞0	＜0	＞0	2

图2b解释了基于计算得到的梯度的分类。在步骤208中，分类步骤108确定了N1严格为正数或不是。由于第一阈值较高，N1严格为正数这一事实就指明在有效周围宏块中至少有一个强大的边缘。因此，如果N1严格为正数，就在步骤209中将误差宏块定为边缘类。如果N1等于0，分类步骤108就确定N2是高于还是等于α*C_方向的量，其中α是可编程量。由于第二阈值较高但小于第一阈值，第二阈值之上的梯度指示明显的边缘。对于给定象素，当出现梯度的方向变化而没有任何强大的或明显的边缘时，这通常会指示噪声。因此，如果C_方向严格为正数，且N2高于或等于α*C_方向的量，则在步骤211中将误差宏块定为纹理类，这意味着该宏块是结构化的纹理，具有可以看出的明显的边缘。如果C_方向等于0或N2小于α*C_方向的量，这意味着误差宏块周围的梯度是单调的，或在误差宏块中的噪声远远多于明显边缘，且在步骤212中将该误差宏块定为单调或噪声类。

在图3a到4b中利用有效周围宏块的2个相邻行和列描述了这些误差宏块。在0到255之间的值指示了周围象素的亮度值。在这些例子中，第一阈值等于40，第二阈值等于10，且可编程量α等于1.2。本领域的技术人员能清楚看出，可以通过简单地修改这些值来获得最佳可能的结果。

图3a解释了应用于边缘类的宏块的根据本发明的方法。梯度的计算指明：有2个梯度的绝对值高于对应强大边缘的第一阈值。因此，这个误差宏块被定为边缘类。

图3b解释了应用于纹理类的宏块的根据本发明的方法。梯度的计算指明：

-    N1＝0    N2＝28    C_方向＝21

因此，明显边缘的数目N2大于方向改变次数C_方向的可编程量α，且该误差宏块被定为纹理类。

图4a解释了应用于噪声类的宏块的根据本发明的方法。梯度的计算指明：

-    N1＝0    N2＝1    C_方向＝25

因此，明显边缘的数目N2小于方向改变次数C_方向的可编程量α，且该误差宏块被定为噪声类。

图4b解释了应用于单调类的宏块的根据本发明的方法。梯度的计算指明：

-    N1＝0    N2＝0    C_方向＝0

因此该误差宏块被定为单调类。

图5是表示为每个类别的一套算法和选择顺序的表。在给定系统中，给定的算法可能不能用于掩蔽误差宏块，例如因为：

-误差宏块不具有足够的有效周围宏块；

-在系统中不具有足够的存储器资源来使用给定算法；

-时间限制使其不可能使用给定算法。

因此，对于误差宏块的每个类别，系统中都可以以一种选择顺序得到一套算法。该系统首先尝试通过选择顺序的第一算法来掩蔽给定的误差宏块。如果对于此误差宏块不能使用这种算法，该系统则尝试通过选择顺序的第二算法来掩蔽给定的误差宏块，依此类推。尽管第二算法的掩蔽质量不如第一算法好，但像这样使用一套算法有这样一个优点：几乎始终可以对误差宏块进行掩蔽。

对于边缘或纹理类的误差宏块，选择顺序的第一算法是四重线性内插。这种算法包含利用误差象素周围的顶部、底部、左侧、右侧的最近有效象素来插入修改此误差象素的值。四重线性内插的一个例子在Proc.Globelcom’95第1778-1783页中由Susanna Aign和KhaledFazel所著的文件“用于分级MPEG-2视频编/解码器的时间、空间的误差掩蔽技术”中有描述。这种算法被公知为擅长在误差宏块中保留边缘信息。选择顺序的第二算法是最大化平滑内插。最大化平滑内插的一个例子在‘IEEE通信会报的1993年10月第41卷No.10’中由Yao Wang、QuinFan Zhu和Leonard Shaw所著的文件“在变换编码中的最大化平滑图象恢复”中有描述。这种算法被公知为擅长重建平滑变化。选择顺序的第三算法是简单内插，包含例如使用有效周围宏块的平均值来替换误差宏块。尽管不能得到最佳可能的掩蔽质量，但这种简单内插能掩蔽大多数误差宏块。

对于噪声或单调类的误差宏块，选择顺序的第一算法是最大化平滑内插，第二算法是四重线性内插，第三算法是简单内插。

上面的附图和对其的描述只是解释了本发明，而不对其进行限制。在这方面，作出下面的结尾评述。

当对误差宏块进行分类后，有不同的方式来掩蔽该误差宏块。图5为每个类别提供了一套算法，可用于掩蔽本类别的误差宏块。对本领域技术人员很清楚，可以不偏离本发明范围地使用其他算法。

可以在集成于置顶盒或电视接收机的集成电路中实施根据本发明的掩蔽方法。载入程序存储器的一套指令使该集成电路执行该掩蔽方法。这套指令可被存储在如唱片的数据载体上。可以从数据载体上读取这套指令，以便将其载入随后执行其任务的集成电路的程序存储器中。

Claims (11)

1.一种掩蔽在以宏块压缩形式传输的图象信号中的误差的方法，每个宏块包含成行、成列的象素，该方法至少包含步骤：

a)解码传输的图象信号；

b)检测误差宏块；

c)分类误差宏块，以便获得误差宏块所属的类别；

d)根据其类别，纠正误差宏块；

所述的方法的特征还在于：

1)所述误差宏块具有至少一个其中不包含误差的有效周围宏块；

2)所述分类步骤包含至少以下子步骤：

-通过使所述行或列的两个连续象素的值相减，为每个有效的周围宏块和与误差宏块相邻的一行或列的每个象素计算梯度；

-估算梯度方向变换的次数C_方向；

3)如果至少一个梯度的绝对值高于第一预定阈值，就将误差宏块定为边缘类；如果C_方向严格为正数，且高于第二预定阈值的梯度绝对值的数目大于α乘C_方向，则定为纹理类，其中α是可编程量；或者定为噪声类或单调类。

2.如权利要求1的掩蔽方法，其中所述纠正步骤使用一种从具有预定选择顺序的一套算法中选出的算法，所述的套和/或选择顺序根据误差宏块的类别而改变。

3.如权利要求2的掩蔽方法，其中如果误差宏块属于边缘类或纹理类，选择顺序的第一算法是算法M_边缘，它能够保留边缘信息；如果误差宏块属于噪声类或单调类，选择顺序的第一算法是算法M_平滑，它专用于重建平滑变换。

4.如权利要求3的掩蔽方法，其中所述M_边缘是四重线性内插。

5.如权利要求3的掩蔽方法，其中所述M_平滑是最大化平滑内插。

6.一种用于掩蔽在以宏块压缩形式传输的图象信号中的误差的设备，每个宏块包含成行、成列的象素，该掩蔽设备至少包含：

a)用于解码传输的图象信号的装置；

b)用于检测误差宏块的装置；

c)用于分类误差宏块，以便获得误差宏块所属的类别的装置；

d)用于根据其类别，纠正误差宏块的装置；

所述设备的特征还在于：

1)所述误差宏块具有至少一个其中不包含误差的有效周围宏块；

2)所述分类装置至少包含：

-用于通过使所述行或列的两个连续象素的值相减，为每个有效的周围宏块和与误差宏块相邻的一行或列的每个象素计算梯度的装置；

-用于估算梯度方向变换的次数C_方向的装置；

3)如果至少一个梯度的绝对值高于第一预定阈值，就将误差宏块定为边缘类；如果C_方向严格为正数，且高于第二预定阈值的梯度绝对值的数目大于α乘C_方向，则定为纹理类，其中α是可编程量；或者定为噪声类或单调类。

7.如权利要求6的掩蔽设备，其中所述用于纠正的装置使用一种从具有预定选择顺序的一套算法中选出的算法，所述的套和/或选择顺序根据误差宏块的类别而改变。

8.如权利要求7的掩蔽设备，其中如果误差宏块属于边缘类或纹理类，选择顺序的第一算法是算法M_边缘，它能够保留边缘信息；如果误差宏块属于噪声类或单调类，选择顺序的第一算法是算法M_平滑，它专用于重建平滑变换。

9.如权利要求8的掩蔽设备，其中所述M_边缘是四重线性内插。

10.如权利要求8的掩蔽设备，其中所述M_平滑是最大化平滑内插。

11.一种包含一套指令的计算机程序，当这套程序被载入处理机或计算机时，会使该处理机或计算机执行如权利要求1的掩蔽方法。

Images