CN1348311A - 视频数据处理方法 - Google Patents

Abstract

本发明涉及一种处理包含在数字输入图像内的数据的方法和装置。所述装置包括一个用来通过通道CH(23)将译码后的模拟图像(S2)传送给电视接收机(27)的译码单元(20),该译码单元(20)包括一个能够对已经被编码的数字图像(S1)进行译码的装置MPD(21)和一个数模转换器DAC(22)。该电视接收机包括一个为装置DET(25)提供数字输入图像(S3)的模数转换器ADC(24),并由装置DET(25)来检测上述数字输入图像是否已经依据块编码技术而被编码。一个修正或后处理装置COR(26),其操作取决于由检测设备提供的数据,这样就能够使得数字图像在显示屏幕上的显示质量得到改进。

Description

视频数据处理方法

技术领域

本发明涉及一种处理包含在数字输入图像内的数据的方法。

该方法可以用来对数字图像内事先已经被编码并且随后根据块编码技术被解码的块进行检测，例如MPEG(运动图像专家组)标准，并且还可以用于对包含在块内的数据进行修正以减小由块编码技术引起的可视化非自然信号。

背景技术

由Hoon Peak和Sang-Uk Lee公开的收录在“关于图像处理的第三IEEE国际研讨会公报，第2卷，Lausanne，瑞士，1996年9月16-19日，53-56页”中，题目为“使用相邻块的DCT系数上的先验信息来减少分块非自然信号的一种基于投影的后处理技术”的文章描述了一种处理包含在数字输入图像内的数据的方法。

和当前正在使用的大多数方法相比，上述方法是用在频率域内的，也就是说在对数字输入图像进行离散变换后，不在空间域内。该离散变换例如可以是离散余弦变换DCT。该处理方法的目的就是修正与块非自然信号相对应的DCT系数。为了查找并消除与块非自然信号相关的频率，现有技术方法包括以下步骤：●对N像素的段u进行第一离散余弦变换U，本例中N＝8：U＝DCT[u]＝{U(0)，U(1)，…，U(N-1)}， $U\left(k\right)=\mathrm{\α}\left(k\right)\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}u\left(n\right)\cos \left(\frac{\mathrm{\π}(2n+1)k}{2N}\right)$

其中k为变换后的数据U的频率，k∈[0，N-1]●对N像素中与段u相邻的第二段v进行第二离散余弦变换V：V＝DCT(v)＝{V(0)，V(1)，…，V(N-1)}，也就是， $V\left(k\right)=\mathrm{\α}\left(k\right)\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}v\left(n\right)\cos \left(\frac{\mathrm{\π}(2n+1)k}{2N}\right)$ 对2N，也就是16个像素的段w进行全面离散余弦变换W，段w相当于段u和v的结合：W＝DCT[w]＝{W(0)，W(1)，…，W(N-1)}，也就是， $W\left(K\right)=\frac{1}{\sqrt{2}}\mathrm{\α}\left(k\right)\underset{n=0}{\overset{2N-1}{\mathrm{\Σ}}}v\left(n\right)\cos \left(\frac{\mathrm{\π}(2n+1)k}{4N}\right)$

图1示出了分别属于8×8像素的两个块(11，12)并且位于块边界(16)两侧的两个相邻段u(13)和v(14)。当假设段u和v的频率内容是接近的并且段的内容也是一致的，那么如果在段u和v之间出现一个块非自然信号则对应第一和第二段结合的段w(15)将包括比段u和v还高的高空间频率。现在，W可以以下列方式表示成U和V的函数： $W\left(k\right)={\{}_{\frac{1}{\sqrt{2}}\mathrm{\α}\left(k\right)\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}[u\left(n\right)\cos \left(\frac{\mathrm{\π}(2n+1)k}{4N}\right)+{(-1)}^{\frac{k-1}{2}}v\left(n\right)\sin \left(\frac{\mathrm{\π}(2n+1)k}{4N}\right)]\mathrm{k\; odd}}^{\frac{1}{\sqrt{2}}[U\left(\frac{k}{2}\right)+{(-1)}^{\frac{k}{2}}V\left(\frac{k}{2}\right)]\mathrm{k\; pair}}\}$

W的预期大频率kwpred，也就是没有出现块非自然信号的情况，理论上取决于下列方式中U和V的最大频率kumax和kvmax：

kwpred＝2.max(kumax，kvmax)+2

其中kumax＝max(k∈{0，...，N-1}/U(k)≠0)

    kvmax＝max(k∈{0，...，N-1}/V(k)≠0)

并且max为从一组给定的k个值中产生最大值的函数。

对应于比预期最大频率kwpred高的频率kodd的系数W(k)被视为等同于块非自然信号，因此被设为0。

发明内容

本发明的目的就是提供一种数据处理方法，通过该方法，对于显示在屏幕上的数字图像可以获得一个更好的显示质量。本发明将考虑到以下几个方面。

与数字视频信号有关的图像为了能够依据MPEG标准来进行编码而被分为8行8像素块，该图像的第一块在(0，0)处开始。经过数字到模拟、模拟到数字的转换，以及对该数字视频信号的任何可能的预处理运算，一个与该信号相关的原始图像可能发生几个像素的移位并且对应MPEG块的坐标网格的大小也发生了变化。出现在电视机输入端的输入图像并不包含任何这样的信息，依靠该信息既不可能检测出译码后的图像与原始图像之间的变化，也不可能检测出对应译码后的块的坐标网格在大小上的变化。因此，现有技术中采用上述方式的数据处理方法的效率比较低，因为这需要假设译码后的图像的原始位置为(0，0)并且块的大小为8×8像素。

根据本发明，为了消除这些缺陷，处理包含在数字输入图像内的数据的方法其特征在于它还进一步包括依据经全面变换得到的数据来确定实际最大频率的步骤，以及通过对所述数字输入图像一部分的实际最大频率和预期最大频率进行比较来检测坐标网格的步骤。

该坐标网格检测步骤可以测定出数字输入图像是否已经根据块编码技术而被编码，在MPEG标准情况下坐标网格的大小对应于最初8行8像素的编码块，在对正在译码的图像进行重新采样之后，可以在所述标准情况下产生8行10、12或16像素的块。

附图说明

本发明的这些方面以及其它更详细的方面将参照附图通过以下对本发明由实例给出的各个实施例的描述而变得更加清晰，其中：

图1描述了现有技术中的数据处理方法，

图2为表示根据本发明用来处理数字视频信号的数据处理方法的框图，

图3为表示根据本发明用来检测根据块编码技术编码的图像序列的数据处理方法的框图，

图4为检测根据块编码技术编码的图像的步骤流程图，以及

图5为表示根据本发明用来修正编码后的数字图像的数据处理方法的框图。

实施例说明

本发明涉及一种处理包含在数字输入图像内的数据的方法，该方法用于当所述数字输入图像根据块编码技术被事先编码时改进其显示质量。

图2示出了一个用于处理含有已编码的数字图像(S1)的数字视频信号的完整系统。如果该系统包含一个译码单元(20)，则该单元用来通过通道CH(23)将一个译码后的模拟图像(S2)传输到电视接收机(27)。该译码单元包括一个能够对已经根据块编码技术而被编码的数字视频信号进行译码的译码器MPD(21)和一个数模转换器DAC(22)。该电视接收机包括一个为装置DET(25)提供数字输入图像(S3)的模数转换器ADC(24)，并由装置DET(25)来检测上述数字输入图像是否已经依据块编码技术而被译码。一个修正或后处理装置COR(26)，同所述信号编码前执行的信号预处理相反，能够使得该数字图像在显示屏幕上的显示质量得到改进。该后处理过程是依靠由检测设备提供的数据而进行的。

在电视机输入端可得到的视频信号包含有由像素构成的图像，但如果该信号已事先依据块编码技术而被编码，它并不包含任何关于这个信号的可能的编码和译码参数的信息。这就是为什么该检测设备适用于测定对应块的坐标网格的大小和位置，而这些块用于编码技术并在译码过程中被重新采样。该修正装置的恰当应用真正取决于检测和坐标网格的位置。

该数据处理方法尤其适用于依据MPEG标准进行编码及随后译码的数字图像，但是，也同样适用于依据块编码技术，例如H.261或H.263，进行编码及随后译码的其它数字视频信号。

与根据MPEG标准编码的数字视频信号相关的图像被分成8行8像素的块，该图像的第一块在位置(0，0)处开始。经过数字到模拟、模拟到数字的转换，以及对该数字视频信号的可能的预处理运算，一个与所述信号相关的原始图像可能发生几个像素的移位。另一方面，为了在低传输率的情况下保持满意的显示质量，原始图像可以根据不同的水平编码格式进行编码。在这种情况下，为了恢复原始图像的初始格式，在其被编码前对原始图像进行下行水平采样并在随后的译码过程中进行上行水平采样。由于仍然对8行8像素块进行上行采样、编码，从而导致了坐标网格的大小发生了变化。

为了消除这一缺陷，该数据处理方法的目的在于检测依据块编码技术进行编码的数字视频信号。为达到这一目的，上述方法，如图3所示，包含以下步骤：●一个对第一数据组u(13)进行第一离散变换DCT1(31)的步骤，例如余弦变换。在优选形式中，这个数据组由N像素的亮度值构成，在该例中N＝8。该数据处理方法应用于一维上，也就是沿着N个像素的一行以检测所述坐标网格的宽度并沿着N个像素的一列以检测所述坐标网格的高度。●一个对与第一组相邻的第二数据组v(14)进行第二离散变换DCT1(32)的步骤，在优选形式中该第二数据组也由N个像素构成。●一个对数据组w(15)进行全面离散变换DCT2(33)的步骤，数据组w相当于第一和第二组的结合CON(30)，所以在本例中由2N个像素构成。●一个确定步骤PRED(34)，该步骤根据由第一(31)和第二(32)变换DCT1得出的变换后的数据U(13’)和V(14’)确定一个预期最大频率kwpred(37)，计算方式如下：kwpred＝2.max(kumax，kvmax)+2

其中kumax＝max(k∈{0，...，N-1}/abs(U(K))＞T)，

    kvmax＝max(k∈{0，...，N-1}/abs(V(k))＞T)，

    abs(x)是给出x的绝对值的函数，并且

其中的T为大于或等于0的一个阈值●一个确定步骤REA(35)，该步骤根据由全面变换得出的变换后的数据W(15’)确定一个实际最大频率kwmax(38)，计算方式如下：

kwmax＝max(k∈{0，...，2N-1}/abs(W(k))＞T)●一个检测步骤GRI(36)，它可以检测出是否已经根据块编码技术而对数字输入图像进行了编码，这是通过对所述数字输入图像一部分的实际最大频率kwmax(38)和预期最大频率kwpred(37)进行比较来实现的。在优选形式中，所述部分由图像的每20行来构成1行用以检测坐标网格的宽度并且由该图像的每20列来构成1列用以检测坐标网格的高度。这种方法仅需要最小的计算手段却能确保令人满意的检测质量。随后，每增加一个像素，通过迭代变换DCT1和DCT2的计算结果对行或列的每个像素j计算kwpred(j)和kwmax(j)值。该检测步骤就是这样指示一个坐标网格是否已被检测过，并且如果被检测过的话，就将给出该坐标网格(39)的大小和位置。

图4为检测步骤(36)更为详细的流程图。该检测步骤包括一个计算数量X(j)的子步骤COMP(40)：

X(j)＝kwpred(j)-kwmax(j)。

在一个块的边界，X(j)的值比阈值XT大。在优选形式中，阈值XT的值为4。为了检测该坐标网格的位置和大小，符合该要求的X的j值被存储起来并且生成这些取模8的值的直方图。如果该直方图中的一个值高过并且大大高于其它7个值，也就是，在优选形式中如果：●该直方图的第一最大值大于1并等于该直方图的第二最大值的3倍，且●该直方图的第一最大值大于10。则该坐标网格将被检测出。

然后在水平方向上执行一个第一栓测HG(401)，以检测一个宽为8像素的坐标网格是否被检测过。如果是这种情况，该检测步骤就被中断，并产生结果HG1(43)，这就表示一个宽为8或16像素的坐标网格已被检测过，上述宽度对应1/2的图像格式。而在相反的情况下，转换格式的第一子步骤FC1(41)将被执行以便从宽为720像素的原始图像变为宽为540像素的图像，也就是，3/4的图像格式。为达到这一目的，图像的一行通过在原始图像的两个像素之间加入两个零用3的因数进行上行采样，并用滤波器F1进行滤波。滤波器F1具有例如如下的19个参数：

F1＝[9，6，0，-21，-9，0，103，220，295，330，295，220，103，0，-9，-21，0，6，9]

如此获得的信号接下来通过从四个像素中选一个而被下行采样。

接着帧检测方法被再一次用到转换过的数字视频信号。然后就在水平方向上执行一个第二检测HG(402)，以确定经过格式转换的图像中一个宽为8像素的坐标网格是否被检测过。如果是这种情况，该检测步骤就被中断，并产生结果HG2(44)，这就表示在格式转换前的原始图像中一个宽为10像素的坐标网格已被检测到。而在相反的情况下，转换格式的第二子步骤FC2(42)将被执行使得宽为720像素的原始图像变化为宽为480像素的图像，也就是，2/3的图像格式。为达到这一目的，图像的行通过在原始图像的两个像素之间加入一个零用2的因数进行上行采样，并用滤波器F2进行滤波。滤波器F2具有例如如下的15个参数：

F1＝[-3，-37，-41，-20，52，163，248，300，248，163，52，-20，41，-37，-3]

如此获得的信号接下来通过从三个像素中选一个而被下行采样。

接着帧检测方法就被再一次用于转换过的数字视频信号。然后在水平方向上执行一个第三检测HG(403)，以检测经过图像转换的图像中一个宽为8像素的坐标网格是否被检测过。如果是这种情况，该检测步骤就被中断，并产生结果HG3(45)，这就表示在原始图像中一个宽为12像素的坐标网格已被检测到。而在相反的情况下，结果NHG(46)就表示在水平检测中没有坐标网格被检测到。

同时，帧检测方法也在垂直方向上应用于数字输入图像。为了确定一个高度为8像素的坐标网格是否已被检测到，执行一个检测VG(404)。如果是这种情况，该检测步骤就被中断，并产生一个表示高度为8像素的坐际网格已被检测到的结果VG(47)。而在相反的情况下，结果NVG(48)就表示在垂直方向没有坐标网格被检测到。

该坐标网格检测方法是通过采用MPEG标准的图像格式进行描述的。但是，该方法并不仅限于这些格式而是同样适用于并不背离本发明范畴的其它图像格式。

上述检测方法可以检测出由电视机接收的视频信号是否已经根据块编码方法被编码。所述方法还显示出对应已经经过编码的块的坐标网格的大小和位置。为了处理8行8像素块，一种后处理方法被用作由检测方法提供的数据的函数，最好是对格式转换后的图像。该图像随后经过以显示在屏幕上为目的的处理后被再次转换为全屏幕格式(也就是720像素)。

在一种有益的形式中，后处理方法采用了同本发明中的检测方法类似的步骤。图5就说明了这样一种数字视频信号的后处理方法。所述方法包括：●一个对第一N数据组u(13)进行第一离散变换DCT1(31)的步骤，●一个对与第一组相邻的第二N数据组v(14)进行第二离散变换DCT1(32)的步骤，●一个对相当于第一和第二组的结合(30)的2N数据组w(15)进行全面离散变换DCT2(33)并产生一组变换后的数据W(15’)的步骤。●一个确定步骤PRED(34)，该步骤根据由第一(31)和第二(32)变换DCT1得出的变换后的数据U(13’)和V(14’)确定一个预期最大频率kwpred(37)，其频率计算方式如下：kwpred＝2.max(kumax，kvmax)+2

其中kumax＝max(k∈{0，...，N-1}/abs(U(k))＞T)，

    kvmax＝max(k∈{0，...，N-1}/abs(V(k))＞T)，

其中T为一个非零阈值。

依据本发明的确定步骤在引入阈值T的基础上提供了对临界最大频率的求精计算。这种求精实现了对图像的更为有效的修正。阈值T是属于数据组u和v的像素个数的函数。

该后处理方法还包括一个修正步骤PROC(51)，其本身还包括一个在原始数据值u和v以及变换后的数据值U和V的基础上对自然轮廓进行检测的子步骤。该子步骤能够区分上述自然轮廓和由编码非自然信号引起的块边界。如果以下两个条件得以满足的话，自然轮廓将被检测：●位于一个块边界两侧的数据组u和v的平均值的差的绝对值大于M，也就是：| u- v|＞M，并且●数据组u和v显示出低活动性，具体表现在值kumax和kvmax都很低，并且比K0小，也就是：kumax＜K0并且kvmax＜K0。该修正步骤PROC还包括一个子步骤，该子步骤是对经过全面离散变换其频率为偶数，并比预期最大频率高的数据W(15’)进行截取，并产生截取数据(15”)。

该后处理方法最后还包括对截取数据进行反向离散变换IDCT2(52)的步骤，并产生随后将在显示屏幕上显示的译码后的数据(15''')。

与上述可以应用在图像的某一部分例如某些行或某些列的检测方法不同，后处理方法最好应用于整个图像。

此外，该后处理方法可以在检测方法之后采用或者在译码器(21)的输出端使用，译码器提供的参数使得它能够知道对应编码块的帧的位置。

该后处理方法还包括两个连续但不计先后的步骤：●对垂直非自然信号进行修正，符合逐行数据处理。●对水平非自然信号进行修正，符合逐列数据处理。

最后，对于隔行扫描的图像序列，该图像被去隔行扫描以获得两个半帧。接着对这两个半帧分别进行后处理。处理后再对这两个半帧进行重新隔行扫描。

在根据本发明后处理方法的第一种形式中，数据组u(13)和v(14)包含有与N＝8的连续像素相关的亮度值。接着执行根据由第一(31)和第二(32)变换DCT1得出的变换后的数据U(13’)和V(14’)确定预期最大频率kwpred(37)的步骤PRED(34)，为了修正垂直非自然信号，以水平阈值Th＝5来执行，为了修正水平非自然信号而在逐行(也就是无间隔)模式以Tv＝5和在隔行扫描模式以Tv＝3来执行。事实上，上例中对水平非自然信号的修正是通过对其分辨率为水平分辨率一半的数据组u和v进行处理而实现的，这就解释了相对于水平阈值的垂直阈值。关于用来检测自然轮廓的子步骤，M和kO的值最好设为30和3。

在根据本发明后处理方法的第二种形式中，数据组u(13)和v(14)包含有与N＝4的连续像素相关的亮度值。因此，阈值发生变化，例如在M＝25和kO＝1的隔行扫描模式下变为Th＝10，Tv＝5。经过这样的简化，处理算法的复杂度可以降低，但在很大程度上可能降低了修正效率。

最后，在根据本发明后处理方法的第三种形式中，数据组u(13)和v(14)每个都包含有与N＝8的连续像素相关的亮度值。但是，数据组u(13)和v(14)分别被分为子组u’，u”和v’，v”，子组u’和v’包含奇秩数据而u”和v”包含偶秩数据。

计算离散变换(31，32，33)的步骤一方面应用于子组u’和v’，另一方面也应用于子组u”和v”，并分别生成了变换后的数据U’、V’、W’和U”、V”、W”。

同时，确定步骤PRED(34)也提供了预期最大频率kw’pred和kw”pred(37)，计算方法如下：

kw’pred＝2.max(ku’max，kv’max)+2

其中ku’max＝max(k∈{0，...，N-1}/abs(U’(k))＞Th or Tv)，

    kv’max＝max(k∈{0，...，N-1}/abs(V’(K))＞Th or Tv)，

kw”pred＝2.max(ku”max，kv”max)+2

其中ku”max＝max(k∈{0，...，N-1}/abs(U”(k))＞Th or Tv)，

    kv”max＝max(k∈{0，...，N-1}/abs(V”(k))＞Th or Tv)，其中，例如，在隔行扫描模式下Th＝10和Tv＝5。

变换后的数据W’和W”各自的修正步骤PROC(51)为：●检测自然轮廓的子步骤，例如| u′- v′|＞25，ku′max＜1和kv′max＜1其中| u″- v″|＞25，ku″max＜1和kv″max＜1●截取由全面离散变换产生的变换数据W’或W”的子步骤，变换数据的频率比预期最大频率kw’pred或kw”pred高。

这种形式使得处理的复杂度降低而同时还保持有第一种形式的修正效率。检测自然轮廓的子步骤对于根据第三种形式的后处理方法来说并不是必须的。

本发明并不仅限于上述参照图1-5的说明。在附加的权利要求范围内其它多种的变化形式也是显而易见的。

有多种通过软件实现上述功能的方法。就此来说，需要强调的就是图2-5是高度概略的，每幅图仅仅代表一种简单的形式。因此，虽然一幅图用独立的块表示不同的功能，但这并不能排除只用一个简单的软件项目就能实现多个功能的可能性。这也决不能排除通过一组软件项目实现某一个功能的可能性。

采用后处理方法时，这些功能可以通过电视接收机电路或一个合适的程控顶置盒电路来实现。包含在程存储器内的一组指令可以使电路执行如上文中参照图2-5所示的不同操作。指令组也可以通过读取一个数据载体，例如是存储有指令组的光盘，而被装载到程序存储器中。读取也可以通过通讯网例如互联网来实现。在这种情况下，服务供应商将把指令组提供给对它感兴趣的人。

一项权利要求中圆括号内给出的任何参考标记不能被解释为对所述权利要求的限制。动词“包含”的使用并不排除存在除权利要求中定义的组成部分或步骤以外的其它组成部分或步骤。在组成部分或步骤前面使用定冠词“一”或“一个”并不能排除存在多个这些组成部分或步骤。

Claims (5)

1.一种处理包含在数字输入图像中的数据的方法，该方法包含以下步骤：

●对第一数据组(13)进行第一离散变换(31)，

●对与第一组相邻的第二数据组(14)进行第二离散变换(32)，

●对相当于第一和第二组的结合(30)的数据组(15)进行全面离散

变换(33)，

●根据从第一和第二变换(13’，14’)中得到的变换后的数据确定(34)

一个预期最大频率(37)，

所述处理方法其特征在于还包括根据全面变换后得到的变换数据(15’)确定(35)一个实际最大频率(38)的步骤，以及通过比较该数字输入图像一部分的实际最大频率和预期最大频率来检测(36)坐标网格(39)的步骤。

2.根据权利要求1所述的数据处理方法，其特征在于，如果坐标网格(39)被检测到，则该方法包括修正数字输入图像的步骤，采用的修正步骤要考虑所述坐标网格的大小和位置。

3.一种处理包含在数字输入图像中的根据块编码技术进行编码的数据的方法，该方法包含以下步骤：

●对第一数据组(13)进行第一离散变换(31)，

●对与第一组相邻的第二数据组(14)进行第二离散变换(32)，

●对相当于第一和第二组的结合(30)的数据组(15)进行全面离散变换(33)，

●根据从第一和第二变换(13’，14’)中得到的变换后的数据确定(34)一个预期最大频率(37)，

●截取(51)由全面离散变换(15’)产生的并且其频率高于预期最大频率的变换后的数据，

所述处理方法其特征在于第一和第二数据组u(13)和v(14)分别被分为两个子组u’，u”和v’，v”，子组u’和v’包含奇秩数据而u”和v”包含偶秩数据，进行离散变换(31，32，33)的步骤，确定(34)预期最大频率的步骤，以及截取(51)由全面离散变换产生的数据的步骤，一方面被应用于子组u’和v’，另一方面被应用于子组u”和v”

4.一种用于包含一组指令的电视接收机的计算机程序产品，当其被装载到所述电视接收机的电路中时，可以使电视接收机实现权利要求1-3所述的方法。

5.一种用于包含一组指令的顶置盒的计算机程序产品，当其被装载到所述顶置盒电路中时，可以使该顶置盒实现权利要求3所述的方法。

Images