CN1193618C

CN1193618C - 用于运动估算的预处理方法

Info

Publication number: CN1193618C
Application number: CNB018020178A
Authority: CN
Inventors: F·马丁
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-07-13
Filing date: 2001-07-03
Publication date: 2005-03-16
Anticipated expiration: 2021-07-03
Also published as: US20020033901A1; KR20020031182A; CN1386378A; EP1303988A1; WO2002007445A1; JP2004504779A

Abstract

本发明涉及一种处理输入的数字视频信号(IS)的方法以便提供一个变更的数字视频信号(MS)用于运动估算步骤(ME)。所说的处理方法包括计算(HIS)初始值直方图(h)的步骤，该初始值与属于一个视频帧的像素有关，该视频帧包含在所说的数字视频信号中，分析(ANA)直方图以便提供直方图参数(hp)的步骤，以及在直方图参数的基础上校正(COR)初始像素值以便提供变更的像素值，该变更的像素值产生通过运动估算使用的变更的数字视频信号。如果需要，这个处理方法可以还包括滤波(FIL)变更的数字视频信号的步骤，以便提供一个已滤波的变更的数字视频信号(FMS)用于运动估算步骤。这样的处理方法对输入的数字视频信号的内容是适用的并且允许运动估算步骤提供更好的运动矢量用于编码。使用：视频编码器。

Description

用于运动估算的预处理方法

技术领域

本发明涉及一种处理包括视频帧的输入数字视频信号的方法，以便提供一个变更的数字视频信号用于运动估算步骤。本发明还涉及相应于所说处理方法的装置。

可使用这样的处理方法，例如在MPEG-2或MPEG4视频编码之前作为一预处理。

背景技术

上述类型的处理装置已在专利号为n°5,990,962的美国专利中描述。所说的处理装置使用于视频编码设备中并且包括一个运动补偿预测估算电路，用于检测来自一个当前图象和一个过去的图象的变化，以便产生变化数据，以及一个滤波器用于按照由运动补偿预测估算电路产生的变化数据变形当前图象从而将变形的当前图象传送到视频编码装置的运动补偿预测编码部分，以便进行编码。

发明内容

本发明的目的在于提供一个处理输入数字视频信号的方法，它容易实现并且成本低下。本发明考虑以下方面。

按照背景技术的处理方法确实很复杂，因为它需要当前图像与过去的图像进行比较的操作以产生变化数据和按照变化数据使当前图像变形的滤波操作。所说的比较和滤波操作就存储容量和中心处理单元(CPU)的装载量来说是昂贵的。

为解决这个问题，按照本发明的一个方面，一种处理包括视频帧的输入数字视频信号以便提供一个变更的数字视频信号的方法，所说方法包括步骤：

-计算与属于当前视频帧的像素有关的初始值的一个帧直方图，

-根据帧直方图计算直方图参数，和

-在直方图参数的基础上校正初始像素值，以便为当前的视频帧提供变更的像素值。

所说的处理方法适应于输入数字视频信号的内容并且尤其适应于包含所说的输入数字视频信号中的视频帧的亮度或色度分量的直方图。因此，所说的方法既不需要过去视频帧的知识也不需要滤波步骤，使其既简单又有效。

此外，这种方法对某些类型视频帧序列特别有效，例如，黑暗的序列或从一给定的视频帧到下一个视频帧具有大的亮度变化的序列，所说的大的亮度变化是由闪光或图像减弱而引起的。对于这些类型序列，通常的运动估算方法不能提供合适的运动矢量。因此，输入数字视频信号的运动估算和编码不能正确地执行。按照本发明的处理方法提供一个变更的数字视频信号，它允许运动估算步骤确定更好的运动矢量。因此，所说的处理方法导致压缩效率和图像质量的改善。

根据本发明的另一个方面，编码输入数字视频信号的方法，包括步骤：

-预-处理该输入数字视频信号，以便提供一个变更的数字视频信号，

-从变更的数字视频信号估算运动，以便提供运动矢量，

-从运动矢量压缩输入数字视频信号，以便提供已编码的数字视频信号，

预-处理步骤包括子-步骤：

-根据该帧直方图计算直方图参数，和

-在直方图参数的基础上校正该初始像素值，以便为当前的视频帧提供变更的像素值。

根据本发明的再一个方面，一种视频编码器，包括：

-一个预-处理装置用于接收输入数字视频信号和用于供给变更的数字视频信号，

-一个运动估算器用于接收所述变更的数字视频信号和提供运动矢量，

-一个数据压缩器用于接收所述输入数字视频信号和从所述运动矢量推导出已编码的数字视频信号，

该预-处理装置包括：

-用于计算与属于当前视频帧的像素相关的初始值的一个帧直方图的装置，

-用于根据帧直方图计算直方图参数的装置，和

-在直方图参数的基础上用于校正初始像素值，以便为当前的视频帧提供变更的像素值的装置。

附图说明

本发明的这些和其它方面由参照后面所述的实施例的说明将很明白。

现在参照附图通过一个例子来描述本发明，其中：

图1是相应于按照本发明处理方法的一个方块图，

图2a表示其中闪光发生的序列亮度直方图的演变，

图2b表示对一个包括图像减弱到黑暗的序列的亮度直方图的演变，

图3a表示按照本发明的方法直方图转换操作的一个例子，

图3b是在先例子的一个特殊情况，这里直方图分成两部分，

图4表示按本发明的方法的直方图宽度变化操作的一个例子，

图5表示在按照本发明的方法中将直方图的转换操作与宽度变化操作组合的一个例子，

图6表示在按照本发明方法的校正步骤和滤波步骤之后直方图的演变，

图7是相应于按照本发明一个编码方法的方块图。

具体实施方式

本发明涉及一个处理输入数字视频信号(IS)的方法以便提供一个变更的数字视频信号(MS)用于运动估算步骤(ME)。运动估算步骤的目的是计算两个视频帧之间的运动矢量。对于某些类型视频帧序列，例如从一个视频帧到另一个具有大变化亮度值的序列，运动估算步骤不能提供合适的运动矢量。

按照本发明的处理方法适应于输入数字视频信号的内容以便提供一个变更的数字视频信号并且允许运动矢量估算得以改善。

图1是相应于该处理方法的方块图。所说处理方法包括步骤：

-计算(HIS)与属于包含在输入数字视频信号内的视频帧的像素有关连的初始值的直方图(h)，

-分析(ANA)该直方图以提供直方图参数(hp)，和

-在直方图参数的基础上校准(COR)初始像素值以便提供变更的像素值，其产生由运动估算步骤使用的变更的数字视频信号。

如果需要，该处理方法还可以包括一个滤波(FIL)该变更的数字视频信号的步骤以提供一个滤波的变更的数字视频信号(FMS)用于运动估算步骤。

在优选的变形中，该处理方法是基于与属于视频帧的像素有关的亮度值直方图的计算。亮度直方图是对每个亮度值从0到255视频帧中的亮度像素累加的表示。

应该注意计算步骤可应用于与像素有关的色度值或应用于亮度和色度值的组合而不超出本发明的范围。在这个优选的变形中，计算步骤应用于整个视频帧但它还可以应用于所说视频帧的一部分，例如视频帧的一半，以节省存储器成本。

一旦通过计算步骤已提供亮度直方图，该处理方法分析所说的直方图以决定执行哪一种类型校正，并且当这是必须执行时，其使该方法适应于视频帧的内容。相应于连续视频帧直方图的暂时的分析表示视频帧序列的亮度演变并允许视频帧的检测，这里通常的运动估算方法将无效。图2a和2b分别表示对视频帧两个特定的序列的亮度直方图的演变，一个序列其中发生闪光，而一个序列包含图像减弱到黑暗。

图2a中可观察到发生闪光的视频帧的亮度直方图(h(t+1))转换为朝向高的亮度值，如果与在先没有闪光的视频帧的直方图(h(t))相比。相反，图2b中可观察到包括具有一个图像减弱到黑暗的视频序列的视频帧中的亮度直方图(h(t+1))转换为朝向低的亮度值，如果与所说序列先前的视频帧的直方图(h(t))相比。此外，在两种情况下能观察到视频帧亮度直方图(h(t+1))的宽度与相同序列的先前视频帧的直方图(h(t))相比变窄。

为了克服这些问题，需要亮度值的校正步骤。按照本发明的处理方法的校正步骤是利用两种简单的操作实施的。

第一操作相应于如参照图3a和3b所描述的亮度直方图的转换。按照这个转换子步骤，属于当前视频帧F(t)像素(x，y)的初始亮度值Y(x，y，t)经受一个由系数kt的转换，给出变更的亮度值Y′(x，y，t)，它给出如下：

Y′(x，y，t)＝Y(x，y，t)+kt

图3a表示按照本发明转换操作(tr)的一个例子。在当前视频帧上亮度的平均值等于M。然后转换属于所说视频帧像素的初始亮度值Y(x，y，t)以这样一种方法即在当前视频帧上变更的亮度值Y′(x，y，t)的平均值变为M′。因此，kt等于M′和M之间的差。在本发明的特定变形中，M′等于128或靠近这个特定的值，以便对中相应于变更的亮度值Y′(x，y，t)的亮度直方图h′(t)。

图3b表示另一个特定变形，其中M′等于或接近零。在该特定情况中，由转换子-步骤(tr′)计算的修改的亮度值Y′(x，y，t)可以是负的。当所说的变更的亮度值Y′(x，y，t)为负时，执行256的固定的转换，以便维持该修改的亮度值Y′(x，y，t)在[0-255]的范围内。其结果是直方图分成两部分。

在同样的方法中，如果由转换子-步骤(tr)计算的变更的亮度值Y′(x，y，t)是高于255，应用-256的固定的转换来维持该变更的亮度值Y′(x，y，t)在[0-255]范围内。

第二个操作相应于亮度直方图的宽度变化(cd)，它可以是所说直方图的扩展或收缩。图4表示在按照本发明的方法中直方图扩展操作的一个示例。按照这个宽度变化子-步骤，属于当前视频帧F(t)像素(x，y)的初始亮度值Y(x，y，t)乘以一个系数kw，给出一个变更的亮度值Y′(x，y，t)，它给出如下：

Y′(x，y，t)＝kw.(Y(x，y，t)-M)+M

这里M是在整个视频帧上初始亮度值的平均。

如果系数kw是大于1；存在亮度直方图的扩展在不同的情况下存在直方图的收缩。在当直方图的初始宽度由间隔[e1，e2]定义，从而在扩展操作后产生一个变更的间隔[e′1，e′2]时的扩展情况下这样一个操作特别有利。之后像素的变更的亮度值在很大的范围扩展并且简化了由运动估算方法计算运动矢量。在优选的变量中，系数kw由下式计算：

kw = \frac{e^{'} 2 - e^{'} 1}{e 2 - e 1}

这里[e′1，e′2]是例如，由用户确定的变更亮度值间隔。所说的系数kw也能由用户或不超出本发明范围的任何其它方法确定。

在如同转换子-步骤相同的方法中，变更的亮度值Y′(x，y，t)是保持在[0-255]范围内。

转换(tr)和宽度变化(cd)两个操作也能相组合以便具有更有效的校正。图5表示在按照本发明的方法中直方图的转换操作与扩展操作相组合的一个示例。按照这些操作，属于当前视频帧F(t)的像素(x，y)的初始亮度值Y(x，y，t)乘以系数kw而结果由M′值转换，给出变更的亮度值Y′(x，y，t)，如下式：

Y′(x，y，t)＝kw.(Y(x，y，t)-M)+M′

这里M是在整个视频帧上初始亮度值的平均，而M′是在整个视频帧上由用户确定的变更的亮度值的平均。

应注意到除了没有超出本发明范围的用举例方法所描述的以外更复杂的操作是可以想像的。

最后，在直方图扩展操作之后最主要地执行滤波步骤。当系数kw是高于2时，这是特别有用的。在这种情况，直方图是非连续的，对于某些亮度值的像素亮度的累加等于零如图6中所示，而滤波步骤允许直方图曲线由于使用例如一个插入滤波器的方法而被平滑了。

这样的处理方法实现于一集成电路中，它是适合于编程，并且它是被集成到，例如，一个视频编码器中。例如包含在计算机编程的存储器中的一组指令可以使集成电路执行处理方法的不同步骤。一组指令可以通过读数据载体例如，读盘装入编程存储器中。也可能借助服务提供者通过通讯网络例如，因特网使一组指令利用。

本发明也涉及编码一个输入数字视频信号(IS)的方法以便提供一个已编码的数字视频信号(ES)。

图7是相应于所说编码方法的一个方块图，它包括步骤：

-预处理(PP)一个输入数字视频信号(IS)以便提供一个变更的数字视频信号(MS)，

-由变更的数字视频信号估算运动(ME)以便提供运动矢量(MV)，

-压缩(DC)来自运动矢量的输入数字视频信号以便提供一个已编码的数字视频信号(ES)，

按照本发明的编码方法处理步骤包括子-步骤：

-计算(HIS)与属于视频帧像素有关的初始值的直方图(h)，

-分析(ANA)该直方图提供直方图参数(hp)，和

-在直方图参数基础上校正(COR)初始像素值提供变更的像素值，它产生由运动估算步骤使用的变更的数字视频信号。

最后，本发明涉及相应于上面图7所述的一个视频编码器和编码方法。

显而易见的是动词“包括”(“to comprise”)和它的配对不排除除在任何权利要求中定义的那些之外的步骤或元件出现。在一个元件或步骤前面的字母“a”或“an”不排除多个所说的元件或步骤的出现。下面权利要求中的任何参考符号将不应认作为对权利要求的限制。

Claims

1.一种处理包括视频帧的输入数字视频信号以便提供一个变更的数字视频信号的方法，所说方法包括步骤：

-根据帧直方图计算直方图参数，和

2.按权利要求1的方法，其中，计算直方图参数的步骤适用于计算直方图的转换参数，和校正步骤是适用于从初始像素值与转换参数之和推导出变更的像素值。

3.如权利要求1的方法，其中，计算直方图参数的步骤适用于计算直方图的宽度变化参数，和使用校正步骤适用于从初始像素值和宽度变化参数的乘积推导出变更的像素值。

4.如权利要求3的方法，它包括这样的步骤：滤波该变更的像素值，以便提供当前视频帧的已滤波的像素值。

5.编码输入数字视频信号的方法，包括步骤：

-从变更的数字视频信号估算运动，以便提供运动矢量，

预-处理步骤包括子-步骤：

-根据该帧直方图计算直方图参数，和

6.一种视频编码器，包括：

该预-处理装置包括：

-用于根据帧直方图计算直方图参数的装置，和