CN1819620A - 在对视频序列编码之前进行预处理的设备和方法 - Google Patents

Abstract

本发明涉及一种用于在对图像序列编码之前进行预处理的设备，包括：存储当前帧(T)以及至少前两帧(T－1、T－2)的装置(2)，对于当前帧(T)中的每个点(P)以及前两帧(T－1、T－2)中的每个相应点(P′、P″)定义邻近区域的装置(3、4、5)，测量当前点(P)相对于其在前两帧(T－1、T－2)中的位置的运动从而检测当前点是处于运动状态还是处于静态区域的装置(6、7)。根据本发明，该设备包括：如果当前点处于运动状态则对当前点执行空间平滑的装置(14)，如果当前点位于静态区域则执行时空平滑的装置(12、14)。

Description

在对视频序列编码之前进行预处理的设备和方法

技术领域

本发明涉及在对视频图像序列编码之前进行预处理的一种设备和方法。

背景技术

如果图像编码设备对具有缩减的时间或空间熵的图像进行编码，则它们将更为有效。

因此，它们常常与用于对图像进行预处理的设备(其中对图像进行除了，以提供更好的编码)关联在一起。

已经知道，被设计来减少视频序列的时间熵的预处理设备使用线性或非线性滤波器(这增加了逐个图像的时间冗余度)，从而减小预测或插值图像的编码成本。

这些方法的主要缺点是：

-减小的时间清晰度，这在一致区域上的平滑效应中反映出来，

-对象的模糊效应，

-在强运动时特定轮廓的重复。

运动补偿滤波器提供了一定程度的改进，但是在恶劣的运动估计时存在伪像的风险。

同样，被设计来减少视频序列的空间熵的预处理设备使用线性或非线性滤波器，其减少甚至消除高频分量(这主要是造成帧内模式的图像编码成本的原因)。存在许多滤波器，例如一维或二维低通滤波器、Nagao滤波器、平均滤波器以及中位值滤波器。

这些方法的主要缺点是：

-空间清晰度的减小太过明显，尤其是在垂直轴中，这是由于隔行扫描视频的每一帧只有图像的一半垂直分辨率，

-对象的模糊效应，

-恶化的轮廓。

发明内容

本发明旨在克服至少一个上述缺点。

为此，本发明提出了一种用于在对图像序列编码之前进行预处理的设备，包括：

-存储当前帧以及至少前两帧的装置，

-对于当前帧中的每个点以及前两帧中的每个相应点定义邻近区域的装置，

-测量当前点相对于其在前两帧中的位置的运动从而检测当前点是处于运动状态还是处于静态区域的装置。

根据本发明，该设备包括：

-如果当前点处于运动状态则对当前点执行空间平滑的装置，

-如果当前点位于静态区域则执行时空平滑的装置。

有利的是，该设备包括根据当前点的邻近区域中亮度的幅度来增加平滑的严重性的装置。

优选地，该设备包括：

-计算当前帧中当前点的邻近区域中平均亮度的装置，

-计算当前帧以及前一帧中当前点的邻近区域中累积平均亮度的装置，

-计算当前帧以及前一帧之前的帧中当前点的邻近区域中累积平均亮度的装置，

-计算当前帧、前一帧以及前一帧之前的帧中当前点的邻近区域中累积平均亮度的装置，

-根据当前点的运动测量值选择所述平均值之一的装置。

根据优选实施例，该设备包括将所述选中平均值以及当前帧的当前点的亮度值与预定阈值相比较的装置。

优选地，增加平滑严重性的装置根据因子修改当前点的亮度值，其中所述因子取决于所述选中平均值以及当前帧的当前点的值与预定阈值的比较。

根据优选实施例，增加滤波严重性的装置向当前点赋予新的亮度值，所述新的亮度值取决于当前点的亮度值、所述系数、以及所述选中平均值。

本发明还涉及一种在对图像序列编码之前进行预处理的方法，包括：

-存储当前帧以及至少前两帧的步骤，

-对于当前帧中的每个点以及前两帧中的每个相应点确定邻近区域的步骤，

-测量当前点相对于其在前两帧中的位置的运动从而检测当前点是处于运动状态还是处于静态区域的步骤。

根据本发明，该方法包括：

-如果当前点处于运动状态则对当前点执行空间平滑的步骤，

-如果当前点位于静态区域则执行时空平滑的步骤。

附图说明

参考附图，将更好地理解本发明，并且利用示例性实施例和有利的实施方式(决不是限制)来说明本发明，其中：

图1示出了检测静态区域的设备，

图2示出了在当前帧及之前的帧中用来确定当前点的值的窗口，

图3示出了本发明优选实施例的设备，

图4示出了复用模块的操作流程图。

具体实施方式

图1示出了静态区域检测设备。

根据亮度信息执行静态区域的检测。

该设备包括去隔行扫描器1。去隔行扫描器1通过使用公知的去隔行扫描系统(依赖于三个连续帧)将每帧的行数加倍，将输入端的视频信号转换位逐行扫描信号。这有利地用来获得逐行扫描帧，其中每一帧包含图像的完整垂直清晰度，并且然后可以设想逐帧进行比较，因为两个连续帧各自的行现在在空间上处于相同位置。

连续的帧存储在存储器2中，以便随后用来确定静态区域。存储器2相继存储帧，永远保留从去隔行扫描器1接收到的至少两帧。

然后，对于当前帧T、紧接着之前的帧T-1以及帧T-2中的每个点，各自的装置3、4和5计算以当前点为中心的窗口。

对于所有三个帧，窗口的大小在水平方向是三个像素，并且在垂直方向是三个像素。图2图示了这三个窗口。P代表当前帧T的当前点。P’和P″分别代表帧T-1和T-2中与当前点具有相同坐标的点。

当前帧的窗口F(T)：

-在当前点之上的行中，从左向右，由点A、B、C构成；

-在当前点所在的行中，在当前点左侧是D，并且在当前点右侧是E；

-在当前点之下的行中，从左向右，由点F、G和H构成。

帧T-1的窗口F(T-1)由点A’、B’、C’、D’、P’、E’、F’、G’、H’构成，它们在空间上分别对应于点A、B、C、D、P、E、F、G、H。

帧T-2的窗口F(T-2)由点A″、B″、C″、D″、P″、E″、F″、G″、H″构成，它们在空间上分别对应于点A、B、C、D、P、E、F、G、H。

模块6计算ZF(T-1)，对应于确定帧T-1与帧T之间的静态区域。

模块7计算ZF(T-2)，对应于确定帧T-2与帧T之间的静态区域。

为了获得ZF(T-1)和ZF(T-2)，执行如下运算：

$R1=\frac{\left(\right|A-A^{\′}|+|B-B^{\′}|+|C-C^{\′}|+|D-D^{\′}|+|E-E^{\′}|+|F-F^{\′}|+|G-G^{\′}|+|H-H^{\′}\left|\right)}{8}$

$R2=\frac{\left(\right|A-A^{\′\′}|+|B-B^{\′\′}|+|C-C^{\′\′}|+|D-D^{\′\′}|+|E-E^{\′\′}|+|F-F^{\′\′}|+|G-G^{\′\′}|+|H-H^{\′\′}\left|\right)}{8}$

如果R1＜阈值S1，则ZF(T-1)＝1，并且当前点P位于相对于T-1的静态区域中，否则ZF(T-1)＝0。

如果R2＜阈值S2，则ZF(T-2)＝1，并且当前点P位于相对于T-2的静态区域中，否则ZF(T-2)＝0。

优选地，可以采取如下公式：

阈值1＝阈值2＝8

然后，使用ZF(T-1)和ZF(T-2)的值来计算当前点P的新值。

为此，图3示出了用于计算当前点P的新值一种设备。

装置8接收围绕当前点P的窗口F(T)的点作为输入，并且基于这些点(不包括当前点)的亮度值计算值AVG8：

$\mathrm{AVG}8=\frac{A+B+C+D+E+F+G+H}{8}$

装置9接收围绕当前帧T的当前点P的窗口F(T)的点以及窗口F(T-1)中前一帧T-1的相应点作为输入。其根据这些值计算平均值AVG(T-1)17：

$\mathrm{AVG}(T-1)17=\frac{(A+B+C+D+E+F+G+H)+(A^{\′}+B^{\′}+C^{\′}+D^{\′}{+P}^{\′}+E^{\′}+F^{\′}+G^{\′}+H^{\′})}{17}$

装置10接收围绕当前帧T的当前点P的窗口F(T)的点以及窗口F(T-2)中的相应点作为输入。其根据这些值计算平均值AVG(T-2)17：

$\mathrm{AVG}(T-1)17=\frac{(A+B+C+D+E+F-G+H)+(A^{\′\′}+B^{\′\′}+C^{\′\′}+D^{\′\′}+P^{\′\′}+E^{\′\′}+F^{\′\′}+G^{\′\′}+H^{\′\′})}{17}$

装置11接收围绕当前帧T的当前点P的窗口F(T)的点以及窗口F(T-1)和F(T-2)中的相应点作为输入。其根据这些值计算平均值AVG(T-1-2)26：

$\mathrm{AVG}(T-1-2)26=\frac{(A+B+C+D+E+F+G+H)}{26}+\frac{(A^{\′}+B^{\′}+C^{\′}+D^{\′}+P^{\′}+E^{\′}+F^{\′}+G^{\′}+H^{\′})}{26}+$

$\frac{(A^{\′\′}+B^{\′\′}+C^{\′\′}+D^{\′\′}+P^{\′\′}+E^{\′\′}+F^{\′\′}+G^{\′\′}+H^{\′\′})}{26}$

将所获得的结果发送到判决装置12，该判决装置12还接收静态区域ZF(T-1)和ZF(T-2)作为输入，并且产生信号Avg作为输出。

判决装置根据图4中给出的算法将根据静态区域值的各种平均值复用。

在步骤E1中，对ZF(T-1)的值进行测试。

如果ZF(T-1)是“1”，则过程前进到步骤E3。在该步骤E3中，测试ZF(T-2)。如果ZF(T-2)是“1”，则过程前进到步骤E7，其中将Avg赋值为值AVG(T-1-2)26，不然的话，如果ZF(T-2)是“0”，则过程前进到步骤E6，其中将Avg赋值为值AVG(T-2)17。

如果，在步骤E1中ZF(T-1)是“0”，则过程前进到步骤E2，并且测试ZF(T-2)。如果ZF(T-2)是“1”，则过程前进到步骤E5，其中将Avg赋值为值AVG(T-1)17。否则，如果ZF(T-2)是“0”，则过程前进到步骤E4，其中将Avg赋值为值AVG8。

参考图3，将判决装置12的输出发送到比较器13。比较器13还接收阈值S3、S4、S5和S6作为输入。

取决于当前点的值与阈值的比较以及平均值与阈值的比较，从中得到下表中定义的因子α。

当前点值	选中平均值	α
			＜S3	＜S3	0.125
＜S4&＞S3	＜S3	0.25
			＜S5&＞S4	＜S4	0.5
＜S6&＞S5	＜S5	0.75
			其他情形	其他情形	1

优选地，如下定义阈值：

S3＝60

S4＝120

S5＝180

S6＝240

然后，装置14根据α和选中平均值修改当前点。然后如下定义P的新值(由P_new表示)：

P_new＝α×P+(1-α)Avg

这样，当点P相对于前两帧T-1和T-2处于运动状态时，也就是说，并不认为其处于相对于之前的帧的静态区域中(ZF(T-1)＝0并且ZF(T-2)＝0)，通过考虑其邻近区域的点的值(AVG8)，修改当前点P的值，并且向其赋予新值，来执行空间平滑。

当当前点P仅相对于前一帧T-1处于运动状态时，也就是说，认为其相对于T-1进行运动，但是没有相对于T-2进行运动，通过考虑其邻近区域F(T)中的点的值以及前一帧中当前点P’的邻近区域F(T-1)中的点的值(AVG(T-1)17)，修改当前点P的值，并且向其赋予新值，来执行时空平滑。

当当前点P相对于之前的帧T-1不运动而相对于T-2(前一帧之前的帧)处于运动状态时，通过考虑其邻近区域F(T)中的点的值以及帧T-2中当前点P″的邻近区域F(T-2)中的点的值(AVG(T-2)17)，修改当前点P的值，并且向其赋予新值，来执行时空平滑。

当当前点P相对于前一帧T-1、前一帧之前的帧T-2都不运动时，通过考虑其邻近区域F(T)中的点的值、帧T-1中当前点邻近区域F(T-1)中的点的值以及帧T-2中当前点邻近区域F(T-2)中的点的值(AVG(T-1-2)26)，修改当前点P的值，并且向其赋予新值，来执行时空平滑。

接着，根据平均值利用因子α对平滑进行加权。实际上，应用心理视觉特性，根据这种特性，当对象的亮度弱时，其平滑变得更加难以察觉。这样，平滑的严重性取决于该平均亮度值。

隔行扫描模块15用来恢复以隔行扫描形式处理的视频帧。然后将适当处理的视频帧发送到编码设备以进行编码。

Claims (7)

1.一种用于在对图像序列编码之前进行预处理的设备，包括：

-存储当前帧(T)以及至少前两帧(T-1、T-2)的装置(2)，

-对于当前帧(T)中的每个点(P)以及前两帧(T-1、T-2)中的每个相应点(P’、P″)定义邻近区域(F(T)、F(T-1)、F(T-2))的装置(3、4、5)，

-测量当前点(P)相对于其在前两帧(T-1、T-2)中的位置的运动从而检测当前点是处于运动状态还是处于静态区域的装置(6、7)，

其特征在于包括：

-如果当前点处于运动状态则对当前点执行空间平滑的装置(14)，

-如果当前点位于静态区域则执行时空平滑的装置(12、14)。

2.根据权利要求1的设备，其特征在于包括根据当前点(P)的邻近区域中亮度的幅度来增加平滑的严重性的装置(13)。

3.根据权利要求1或2的设备，其特征在于包括：

-计算当前帧(T)中当前点(P)的邻近区域(F(T))中平均亮度的装置(8)，

-计算当前帧(T)以及前一帧(T-1)中当前点(P)的邻近区域(F(T)、F(T-1))中累积平均亮度的装置(9)，

-计算当前帧(T)以及前一帧(T-1)之前的帧(T-2)中当前点的邻近区域(F(T)、F(T-2))中累积平均亮度的装置(10)，

-计算当前帧(T)、前一帧(T-1)以及前一帧(T-1)之前的帧(T-2)中当前点(P)的邻近区域(F(T)、F(T-1)、F(T-2))中累积平均亮度的装置(11)，

-根据当前点(P)的运动测量值(ZF(T-1)、ZF(T-2))选择所述平均值之一的装置(12)。

4.根据权利要求3的设备，其特征在于包括将所述选中平均值以及当前帧(T)的当前点(P)的亮度值与预定阈值(S3、S4、S5、S6)相比较的装置(13)。

5.根据权利要求3或4的设备，其特征在于增加平滑严重性的装置(13)根据因子(α)修改当前点(P)的亮度值，其中所述因子(α)取决于所述选中平均值以及当前帧(T)的当前点(P)的值与预定阈值(S3、S4、S5、S6)的比较。

6.根据权利要求5的设备，其特征在于增加滤波严重性的装置(13)向当前点(P)赋予新的亮度值，所述新的亮度值取决于当前点(P)的亮度值、所述系数(α)、以及所述选中平均值。

7.一种在对图像序列编码之前进行预处理的方法，包括：

-存储当前帧(T)以及至少前两帧(T-1、T-2)的步骤，

-对于当前帧(T)中的每个点(P)以及前两帧中的每个相应点(P’、P″)确定邻近区域(F(T)、F(T-1)、F(T-2))的步骤，

-测量当前点(P)相对于其在前两帧(T-1、T-2)中的位置的运动从而检测当前点(P)是处于运动状态还是处于静态区域的步骤，

其特征在于包括：

-如果当前点(P)处于运动状态则对当前点执行空间平滑的步骤，

-如果当前点(P)位于静态区域则执行时空平滑的步骤。

Images