CN1268132C - 数字图象后处理的方法和装置 - Google Patents

Abstract

本发明涉及一种用于包含象素的数字图象的后处理方法，该方法包括一个步骤，在该步骤中，进行频率变换TF(21)，适于从一组象素(y)中提供一组变换的系数(Y)，提取SEP(22)包含于该组变换的系数中的原始低频系数(Ybfo)和原始高频系数(Yhfo)，校正COR(23)，适于从原始低频系数中提供一组校正的变换的系数(Yc)，和组合(24)，适于从原始高频系数和校正的变换系数组中提供一组组合的变换系数(Yadd)，和一个对该组组合的变换的系数进行逆频率变换ITF(25)的步骤，适于提供准备在屏幕上显示的一组处理过的象素(yout)。

Description

数字图象后处理的方法和装置

发明领域

本发明涉及的是一种方法和一种装置，用于包含象素的数字图象的后处理。

本发明还涉及一个实施这种后处理方法的计算机程序产品。

本发明特别适用于依照基于块的编码技术，如MPEG标准，进行了先期编码和后期解码的数字图象的校正，以便减少由基于决的编码技术产生的视觉人工效应。

发明背景

国际专利申请WO97/29594描述了一种方法和一种装置，用于对解码的视频数据进行后处理，以便使一幅图象中的分决人工效应最小化，而不会影响对比度。

为此，图1中所描述的依照现有技术的对数据进行后处理的方法包括下列步骤：

-对解码的视频数据(x)进行低通滤波(11)，适于提供滤波的数据(xf)，

-对滤波的数据和解码的视频数据进行DCT变换(12，13)，适于提供变换的滤波数据(Xf)和变换的解码数据(X)，

-调整变换的滤波后数据中的ADJ低频系数(14)，适于提供调整的低频系数(Xbf)，

将包含于变换的解码数据的高频系数(Xhf)与所调整的低频系数组合，适合于提供被组合的变换数据(Xc)，和

-对组合的变换数据进行IDCT(逆离散余弦变换)(17)，适于提供准备在屏幕上显示的处理过的数据(xc)。

这种对解码的视频数据进行后处理的方法必需包括一个低通滤波步骤，用来滤除高频分量。该方法允许在空间域提取低频数据，并对其进行第一次DCT变换和调整，以便提供调整的低频系数。通过对解码的视频数据进行第二次DCT变换，提取高频系数(15)。这样，由于部分数据处理方法是在空间域中实现的，使得该方法实现起来很复杂，且计算量很大。

而且，一个包含在变换的滤波数据中的低频系数是在间隔[Xq-q/2，Xq+q/2]中调整的，其中Xq是该量化低频系数的值，q是量化步长值，因此，这样一种方法需要存取编码参数，通常情况下是不可能的。

发明目的和简介

本发明的一个目的是提供一种解码视频数据的后处理方法，该方法可以以一种简单且经济的方式来实现。

为此，依照本发明的数字图象后处理方法的特征是，它包含下列步骤：

-频率变换，适于从一组象素中提供一组变换的系数，

-提取该组变换的系数中包含的原始低频系数和原始高频系数，

-校正，适于从原始低频系数中提供一组校正的变换系数，和

-组合，适于从原始高频系数和该组校正的变换系数中提供一组组合的变换系数。

在这样的一种后处理方法中，对数据进行处理，特别是在空间域中对原始高频和低频系数进行了分离。因此，可以以一种简单且经济的方式实现该后处理方法，因为原始低频数据是单独提取的，并通过变换的系数进行了校正。结果是，既不需要空间域中的低通滤波步骤，也不需要对滤波的数据和解码的视频数据进行双频率变换。

如果频率变换步骤采用与先前的视频数据编码中的块编码技术所用的频率变换相同的方式进行频率变换，如在已经依照MPEG标准进行了先前编码和后期解码的数据的情况中进行的DCT变换，该方法是特别适用的。该方法还允许更好地控制分块人工效应的校正。

此外，特别是当一组变换的系数的前一半构成原始低频系数，而该组的后一半构成原始高频系数时，该后处理方法更加有效。

在图象中高频恢复方面，该方法还是一种非常灵活的方法，其中组合步骤可以线性组合校正的变换高频系数和原始高频系数，以便提供组合的变换系数组。

附图简介

参照后面描述的实施方案，利用非限定的例子，来阐述和明确本发明的这些和其它的特征。

附图中：

图1说明了依照现有技术的后处理数据方法，

图2是一个显示依照本发明的后处理数据的方法的主要步骤的示意图，

图3说明了一种校正分块人工效应的方法，和

图4是一个显示依照本发明的后处理数据的方法的一个实施方案的示意图。

优选实施方案的描述

本发明涉及的是对依照基于块的编码技术进行了先期编码和后期解码，并因此包含分块人工效应的数字图象进行后处理的方法。如后面将要描述的，依照本发明的对视频数据进行后处理的方法将确定：

-在一个变换系数的块中必需保留的原始高频系数，以便维持图象的细节，如轮廓，以及

-必需校正的原始低频系数，以便有效抑制分块人工效应。

图2概要显示了依照本发明的后处理解码视频数据的方法的主要步骤。该方法包括的步骤有：

-频率变换TF(21)，适于从一组象素(y)中提供一组变换的系数(Y)，

-提取包含于该变换的系数组中的原始低频系数(Ybfo)和原始高频系数(Yhfo)的SEP(22)，

-校正COR(23)，适于从原始低频系数中提供一组校正的变换的系数(Yc)，

-组合(24)，适于从原始高频系数和校正的变换系数组中提供一组组合的变换系数(Yadd)，和

-对该组组合的变换的系数进行逆频率变换ITF(25)，适于提供准备在屏幕上显示的一组处理过的象素(yout)。

该组象素最好是一个N象素的段，在MPEG标准中，N＝8，为此编码块通常包括8个8象素行。该组象素也可以由一个完整的或部分的编码块构成。频率变换步骤最好使用DCT类型的变换，这种变换特别适用于MPEG标准。

在该优选的实施方案中，在变换步骤中将一段象素变换为一段DCT系数。之后，在提取步骤中提取该段DCT系数的前一半，即构成原始低频系数(Ybfo)的前4个DCT系数，和后半段DCT系数；即构成原始高频系数(Yhfo)的后4个DCT系数。这样将该DC T系数段分隔成两个部分允许更好地校正分块人工效应。与现有技术相比，这种方法还容易进行最佳调整，现有技术需要从无数可用滤波器中优化调整一个低通滤波器。

提取步骤(22)还包括一个截断子步骤，在该子步骤中，利用4个零系数使前4个DCT系数完整，以便提供一个截断的DCT系数段。该截断子步骤有些类似于一个低通滤波操作。随后在校正步骤(23)中，校正该截断系数段，以便提供一个包括4个校正的低频DCT系数(Ybfc)和4个校正的高频DCT系数(Yhfc)的校正DCT系数段。在组合步骤(24)中，组合该4个原始的高频系数和校正DCT系数段，以便提供一个组合的DCT系数(Yadd)段。

在一个特别有利的实施方案中，该组合的DCT系数段对应于4个校正的低频DCT系数(Ybfc)和4个原始高频系数(Yhfo)的级连(concatenation)。在该优选实施方案中，组合的DCT系数段对应于4个校正的低频DCT系数(Ybfc)和4个组合的高频系数(Yhfc)的级连，产生该4个校正的高频DCT系数(Yhfc)和4个原始高频系数(Yhfo)的线性组合，即：

Yhfadd＝a.Yhfc+(1-b).Yhfo

其中a和b为0和1之间的实值，例如，如果Yhf c不为0则a＝1/2，如果Yhfc等于0，则b＝1/2。如果在校正的DCT系数中出现高频，则这样的一个组合给原始的高频系数更大的权重，而在相反的情况中，则引入一个衰减。

最后通过IDCT变换将组合的DCT系数段变换到空间域，提供一个准备在屏幕上显示的处理过的象素段(yout)。

该后处理数据的方法还包括至少一个图象的水平处理，与该图象的至少一个垂直处理相关联。实际上，分块人工效应可能出现在一个编码块的边缘，即在垂直和水平限定该块的四个段上。如果水平处理该图象，将校正垂直的分块人工效应；相反，如果垂直处理该图象，将校正水平的分块人工效应。如果图象由两个半帧组成，该后处理数据的方法可连续用于构成一个帧的两个半帧。在数字图象中，最好用于亮度数据。

实施的校正步骤是基于本领域的熟练人员所熟知的大量的分块人工效应校正方法，最好是那些不使用编码参数的方法，因为这些参数并非总是能够获得。

在该优选实施方案中，数据校正方法被称为DFD方法(DCT频率解块)。这样的一个数据校正方法包括图3中显示的下列步骤，即：

-计算第一N象素段(u)的第一离散余弦变换DCT1(31)，在所用的例子中N＝8，产生一个第一变换段U，

-计算第二N象素段(v)的第一离散余弦变换DCT1(32)，该第二段与第一段相邻，产生一个第二变换段V，

-确定(33)一个预定的最大频率(kpred)，该频率是U和V的最大频率ku和kv的函数，如下：

kpred＝2.max(ku，kv)+2

其中ku＝max(k∈{0，...，N-1}/U(k)≠0)，

kv＝max(k∈{0，...，N-1}/V(k)≠0)，

max是给出一组确定值中k的最大值的函数。

-处理(35)一个包括2N个象素，在我们的例子中即16个象素，并对应于第一个段(u)和第二个段(v)的级连(34)的级连段(w)，这一处理步骤包括下列子步骤：

-计算该级连段(w)的第二离散余弦变换DCT2(36)，产生一个变换的级连段W，

-通过将那些具有高于预定最大频率(kpred)的奇频率(oddfrequency)k的变换的级连段W设置为0，来进行校正(37)，提供一个校正的变换级连段Wc，

-计算该校正的变换级连段Wc的一个逆离散余弦变换IDCT2(38)，提供一个校正的级连段(cw)。

在本发明的一个优选实施方案中，依照下面的规则来产生滤波阈值：

kumax＝max(k∈{0，...，N-1}/abs(U(k))＞T)

kvmax＝max(k∈{0，...，N-1}/abs(V(k))＞T)

其中T为不等于0的阈值。

在确定步骤(33)中，根据引入的阈值T，计算一个更精确的预定最大频率(kpred)，允许对分块人工效应进行一个更有效的校正。该阈值T的值是由段u和v的大小来决定的。实际上，可以处理一个只包含段u和v的象素，例如，偶数行或奇数行象素的一个部分。

校正步骤COR(37)最好包括一个根据初始段u和v，和变换的段U和V的象素值来检测固有轮廓的子步骤。该子步骤允许辨别分块人工效应的固有轮廓。如果满足下面的两个条件，在检测到一个固有轮廓：

-块间边界的两个边上的段u和v的象素平均值相差一个相当大的值，该值大于一个预定值M，

-由于ku和kv很小并小于一个预定值k0，很显然，段u和v具有一个低空间活度，。

图4是一个显示依照本发明的后处理数据方法的实施方案的示意图，包括校正参考图3所描述的分块人工效应的DFD方法。这样的一种后处理视频数据的方法包括下列步骤：

-DCT变换(41)，适于根据第一组象素(u)提供第一段DCT系数(U)，

-DCT变换(42)，适于根据与第一组象素相邻的第二组象素(v)提供第二段DCT系数(V)，

-提取(43)第一段DCT系数(U)中包含的第一原始低频系数(Ubfo)和第一原始高频系数(Uhfo)，适于提供包括第一原始低频系数的第一段截断的DCT系数(Ut)，

-提取(44)第二段DCT系数(V)中包含的第二原始低频系数(Vbfo)和第二原始高频系数(Vhfo)，适于提供包括第二原始低频系数的第二段截断的DCT系数(Vt)，

-校正(23)，适于根据第一和第二原始低频系数(分别为Ubfo、Vbfo)提供第一和第二段校正的DCT系数(分别为Uc、Vc)，包括下列子步骤：

-第一段截断DCT系数(Ut)的IDCT变换(231)，来提供一个第一段预处理象素(ut)，

-第二段截断DCT系数(Vt)的IDCT变换(232)，来提供一个第二段预处理象素(vt)，

-依照参考图3所描述的原理，对该预处理象素段进行DFD校正(230)，适于提供校正象素段(uc、vc)，

-对第一校正的象素段(uc)进行DCT变换(233)，适于提供第一段校正的DCT系数(Uc)，

-对第二校正的象素段(vc)进行DCT变换(234)，适于提供第二段校正的DCT系数(Vc)，

-组合(45)，适于根据第一原始高频系数(Uhfo)和第一段校正的DCT系数(Uc)提供一个第一段组合的DCT系数(Uadd)，

-组合(46)，适于根据第二原始高频系数(Vhfo)和第二段校正的DCT系数(Vc)提供一个第二段组合的DCT系数(Vadd)，

-第一段组合的DCT系数(Uadd)的IDCT变换(47)，适于提供第一段在屏幕上显示的处理过的象素(uout)，和

-第二段组合的DCT系数(Vadd)的IDCT变换(48)，适于提供第二段在屏幕上显示的与第一段处理过的象素(uout)相邻的处理过的象素(vout)。

参考图4所描述的后处理方法具有的优势是，它不会降低最初不包含任何分块人工效应的图象的质量。事实上，在这种图象的显示中，原始的低频系数没有经过任何的修正，因为采用了DFD校正方法，组合的高频DCT系数与原始的高频系数是相同的。在现有技术中，在空间领域使用低通滤波器，在另一方面会导致最初不包含任何分块人工效应的图象的质量下降。

本发明可以以嵌入到下面描述的实施该后处理数据方法的一个或几个电路中的软件形式来实现，或者以硬件方式实现。仍用图2中的功能模块来表示对应于该方法的一个用于后处理数字图象的装置，该装置包括：

-频率变换装置TF(21)，适于从一组象素(y)中提供一组解码的变换系数(Y)，

-提取SEP(22)包含于变换的系数组中的原始低频系数(Ybfo)和原始高频系数(Yhfo)的装置，

-校正装置COR(23)，适于从原始低频系数中提供一组校正的变换的系数(Yc)，和

-组合装置(24)，适于从原始高频系数和校正的变换系数组中提供一组组合的变换系数(Yadd)，和

-对该组组合的变换的系数进行逆频率变换的装置ITF(25)，适于提供准备在屏幕上显示的一组处理过的象素(yout)。

这样一个后处理装置可以插入到一个视频解码器和一个电视接收机之间，以便后处理解码的数字图象并在电视接收机上显示后处理过的数字图象。可以独立构建这样一个装置。也可以是视频解码器或电视接收机的一部分。

有多种借助于软件来实现上述功能的方式。在这一点上，图2-图4是非常概略的。因此，尽管一个附图以独立模块的形式显示了不同的功能，但不排除可采用一个软件来实现多个功能。也不排除可采用一组软件来实现一个功能。可以借助于一个适当编程的视频解码电路、一个机顶盒或一个电视接收机来实现这些功能。包含在一个程序存储器中的一套指令可以使电路进行参考图2-4所描述的不同的操作。也可以通过读取一个记录载体，如一个包含一套指令的磁盘，将该套指令加载到程序存储器中。也可以通过一个通信网络，如因特网，来进行读取。在这种情况下，一个服务供应商在出售感兴趣的服务程序时，提供该组指令。

本文中，放置在括号间的参考标记不应理解为对权利要求的限制。使用动词“包括”及其变化形式，表示不排除可采用权利要求声明的部件和步骤之外的部件和步骤。在一个部件或步骤之前使用冠词“一个”，表示不排除可采用多个这样的部件或步骤。

Claims (5)

1.一种对包含象素的数字图象进行后处理的方法，该方法包括下列步骤：

频率变换(21)，适于从一组象素(y)中提供一组变换的系数(Y)，

包含于所变换的系数组中的原始低频系数(Ybfo)和原始高频系数(Yhfo)的提取(22)，

校正(23)，适于从原始低频系数中提供一组被校正的变换的系数(Yc)，和

组合(24)，适于从原始高频系数和从校正的变换系数组中提供一组组合的变换系数(Yadd)。

2.依照权利要求1的后处理数字图象的方法，其中提取步骤(22)适于提取变换的系数组(Y)中的前一半作为原始低频系数(Ybfo)，和提取该变换的系数组的后一半作为原始高频系数(Yhfo)。

3.依照权利要求1的后处理数字图象的方法，其中组合步骤(24)适于线性组合所校正的变换高频系数(Yhfc)和原始高频系数(Yhfo)，以便提供组合的变换系数组(Yadd)。

4.一种用于对包含象素的数字图象进行后处理的装置，该装置包括：

频率变换装置(21)，适于从一组象素(y)中提供一组解码的变换的系数(Y)，

提取包含于变换的系数组中的原始低频系数(Ybfo)和原始高频系数(Yhfo)的装置(22)，

校正装置(23)，适于从原始低频系数中提供一组被校正的变换的系数(Yc)，和

组合装置(24)，适于从原始高频系数和从校正的变换系数组中提供一组组合的变换系数(Yadd)。

5.一种用于接收数字图象并包括一个依照权利要求4的后处理装置的电视接收机，适于对数字图象进行后处理，以便将后处理过的数字图象显示在电视接收器的屏幕上。

Images