CN1212579A - 以运动补偿时间内插图像的方法及设备 - Google Patents

Abstract

一种时间内插方法,利用了对位于图像n－1和图像n之间的图像j进行的运动补偿,它对图像n－1和图像n之间的运动进行估计(1),以提供运动矢量场V(n－1,n),并且根据该运动矢量场内插(2)图像j,其特征在于:检测(3)缺陷运动矢量,以及对与这些缺陷矢量对应的内插图像区域进行低通滤波(4)。其应用领域为图像处理,例如标准之间的转换。

Description

以运动补偿时间内插图像的方法及设备

本发明涉及一种在处理连续电视图像序列中采用的，以运动补偿时间内插图像的方法及设备。本发明具体涉及递归PEL类型的运动估计器，即基于像素级而不是图像块级来计算运动的递归PEL类型运动估计器。

能够在像素级计算运动，可大大改善内插系统的质量。然而，却不能在图像中所有点上测量运动：当在一场景中有多个目标的不同运动时，例如在第一平面相对于背景平面运动时，像素会从一个图像到另一个图像显现或消失，这使得不可能测量它们的运动。这些区域的存在干扰运动估计器，产生的缺陷问题严重。所以，需要对这些区域特别处理来抑制或至少掩盖所述缺陷。

法国专利第8904256号描述了一种已知的采用一种低效技术方案的具有运动补偿的内插方法。该方法通过方差型的局部算子来检测缺陷运动矢量。然后，通过迫使缺陷运动矢量为零来修改运动矢量场。之后，对这个新的运动矢量场实施采用运动补偿的内插处理。

从法国专利第9104164号还可得知一种像素标记方法，该方法将像素分类为正常、显现、消失或隐藏的像素，然后根据像素的标记情况来针对性处理。内插基于运动矢量场的时间投影并适于这种像素分类。

虽然第一种方法便于使用，但得到的图像质量常常不令人满意。第二种方法过于复杂，并需要对输入图像的运动矢量场进行估计。所得到的改进效果不足以补偿它带来的复杂程度。

本发明的目的就是要克服上述缺点。

本发明涉及一种时间内插方法，借助了对位于图像n-1和图像n之间的图像j进行的运动补偿，它对图像n-1和图像n之间的运动进行估计，以提供运动矢量场V(n-1,n)，并且根据该运动矢量场内插图像j，其特征在于：检测缺陷运动矢量，以及对与这些缺陷矢量对应的内插图像区域进行低通滤波。

本发明还涉及一种实现上述方法的设备，包括：运动估计器，它接收图像n-1和图像n，以计算运动矢量场V(n-1,n)；内插电路，它根据这两个图像n-1、n和该运动矢量场，计算内插图像Y(j)，其特征在于还包括：检测缺陷运动矢量的电路，接收运动矢量场；和低通滤波电路，用于根据检测电路传送的信息，对所述内插图像进行滤波。

通过以下参照附图对本发明实施例的说明，将清楚地理解本发明及其优点和其它特征，附图中：

图1是本发明设备的示意图；

图2a至图2c表示在标出有缺陷矢量点的图像上进行的形态学运算。

利用本发明，运动补偿内插有缺陷的区域可以得到令人满意的处理。该方法简单易用。与相同复杂度的现有技术相比，本发明给出了更好的结果。比较而言，它改善了图像质量。

图1表示一种实现本发明方法的设备。

该设备的两个输入端并联连接到运动估计器1和内插电路2。运动估计器1的输出端并联连接到缺陷检测电路3的输入端、内插电路2的第三输入端以及低通滤波器4的第一输入端。内插电路2的输出端连接低通滤波器4的第二输入端。缺陷检测电路3连接到低通滤波器4的第三输入端。该滤波器的输出端就是所述设备的输出端。

数字编码的前一图像n-1的亮度信息Yn-1，当前图像n的亮度信息Yn同时出现在所述设备的第一输入端和第二输入端。在这两个图像之间进行运动估计。该运动估计可以是递归PEL类型的。然后，在每个像素的电平上指定一个运动矢量，从而产生位于图像n-1和n之间的要内插的图像j的运动矢量场V(n-1,n)。其中将该矢量场传送到内插电路2的第三输入端。内插电路2的第一、第二输入接收所述亮度信息Yn-1和Yn。在运动矢量场V(n-1,n)的运动信息的基础上，计算内插亮度图像Y(j)，并将其传送给低通滤波器4，而不考虑运动矢量的可能缺陷，该缺陷将在下面说明。

该矢量场也传送给缺陷检测电路3。该电路的功能是检测缺陷运动矢量。这一检测利用对该矢量场的水平和垂直分量的空间非相干性的测量。

通过对当前矢量场的每个矢量的每一分量(时间指标t)的方差计算，来进行这一测量。

在一个示范性实施例中，对于一给定像素，在以该像素为中心的5×5像素窗口上执行所述计算。下面给出该方差计算的数学方程： $\mathrm{moy}\_\mathrm{\νx}(i,j,t)=\frac{1}{25}\underset{k=-2}{\overset{k=2}{\mathrm{\Σ}}}\underset{l=-2}{\overset{l=2}{\mathrm{\Σ}}}\mathrm{\νx}(i+k,j+l,t)$ $\mathrm{moy}\_\mathrm{\νy}(i,j,t)=\frac{1}{25}\underset{k=-2}{\overset{k=2}{\mathrm{\Σ}}}\underset{l=-2}{\overset{l=2}{\mathrm{\Σ}}}\mathrm{\νy}(i+k,j+l,t)$ $\mathrm{var}\_\mathrm{\νx}(i,j,t)=\frac{1}{25}\underset{k=-2}{\overset{k=2}{\mathrm{\Σ}}}\underset{l=-2}{\overset{l=2}{\mathrm{\Σ}}}{(\mathrm{\νx}(i+k,j+l,t)-\mathrm{moy}\_\mathrm{\νx}(i,j,t))}^2$ $\mathrm{var}\_\mathrm{\νy}(i,j,t)=\frac{1}{25}\underset{k=-2}{\overset{k=2}{\mathrm{\Σ}}}\underset{l=-2}{\overset{l=2}{\mathrm{\Σ}}}{(\mathrm{\νy}(i+k,j+l,t)-\mathrm{moy}\_\mathrm{\νy}(i,j,t))}^2$

v(i,j,t)表示指定给图像t的i行j列上像素的运动矢量，

vx(i,j,t)和vy(i,j,t)是运动矢量v(i,j,t)的水平和垂直分量。

moy_v(i,j,t)是图像t的以像素i,j为中心的窗口上的v的平均值。

然后，将结果var_vx(i,j,t)和var_vy(i,j,t)与一阈值相比较。如果两个方差中的一个超过该阈值，则标出该矢量为有缺陷的。例如，取该阈值等于10。随后获得所处理的运动矢量场的二值图像，其中二值值“1”表示缺陷矢量，二值值“0”表示非缺陷矢量。

然后，用数学形态滤波器对该二值图像进行处理，以便去除所析出的标记并扩展缺陷矢量的区域。这一处理将在下面说明，它也由缺陷检测器3来执行。图2a、2b、2c表示对图像像素进行的各种运算。

第一处理操作是在覆盖前面得到的二值图像的滑动构造单元基础上的消蚀(erosion)类型滤波。该构造单元是一预定大小的窗口或图像块，在本例中，为3×3像素大小的块。对于在图像中被标记为“1”的一个像素，如果至少有四个属于该构造单元的相邻像素被标记为“1”，则保留这个标记(“1”)，否则，将其设为“0”。

图2a表示在矢量场处理之后获得的二值图像部分的例子。出现在格子中的星号，代表着经所述方差阈值比较而被标记为缺陷的矢量所对应的像素。图2b表示在利用3×3像素的构造单元消蚀滤波后得到的二值图像。被画叉的星号对应于在形态学消蚀操作后其标记被删掉的像素。它们对应于值“0”，并且所保留的星号对应值“1”。

在该新图像上进行的第二处理操作是扩展类型滤波。采用的构造单元，例如为3×3像素大小的块。对于一个被标记为“0”像素，如果至少有一个属于该构造单元的相邻像素被标记为“1”，则迫使这个像素的标记为“2”。

图2c表示对消蚀的图像执行扩展处理之后得到的三值(ternary)图像。配置单元具有3×3像素的大小。在没有从前面图像中被删去的星号的边界上出现的画圈星号对应于在扩展后得到的像素，从而对应于标记值“2”。

以这种方法得到的三值遮蔽图像在缺陷检测电路输出端获得，并传送给低通滤波器4。

如上所示，内插图像被传送到低通滤波器4的第二输入端，低通滤波器4的第一输入端接收运动矢量场，第三输入端接收三值遮蔽图像。

以下述方式，在缺陷区域执行低通滤波：

-如果当前像素被标记为“0”，则对作为输入所接收的内插图像的相应像素，不进行滤波；

-如果当前像素被标记为“1”，则在所接收图像内相应缺陷像素周围5×5像素大小的区域上，对这个像素进行低通滤波；

-如果当前像素被标记为“2”，则对所接收图像内相应缺陷像素周围3×3像素大小的区域，进行低通滤波。

所给出的滤波窗口的大小只是示例性的。在缺陷区域(标记为“2”的像素)外围进行较轻度的低通滤波，允许图像在缺陷像素区和其余图像区域之间的平缓过渡。

这种滤波可用于与运动矢量有关的并且测量其局部空间相干性的方差值。采用此方差值确定低通滤波器的系数，从而根据当前矢量的置信度来更改低通滤波器的响应。

这种滤波可应用于亮度值，也可应用于色度值。这样，内插电路计算内插的色度图像，在这些图像上执行这些滤波运算。

本发明的应用领域涉及，例如，频率变换、标准间变换或涉及在运动补偿基础上的时间图像内插的任何应用。

Claims (14)

1．一种时间内插方法，借助了对位于图像n-1和图像n之间的图像j进行的运动补偿，它对图像n-1和图像n之间的运动进行估计(1)，以提供运动矢量场V(n-1,n)，并且根据该运动矢量场内插(2)图像j，其特征在于：检测(3)缺陷运动矢量，以及对与这些缺陷矢量对应的内插图像区域进行低通滤波(4)。

2．如权利要求1所述的方法，其特征在于，所述缺陷运动矢量根据用于测量运动矢量局部空间非相干性的方差信息来确定。

3．如权利要求2所述的方法，其特征在于，所述对所述方差值进行滤波。

4．如前述权利要求之一所述的方法，其特征在于，在所述缺陷运动矢量的检测之后是形态学消蚀和扩展操作。

5．如权利要求4所述的方法，其特征在于，所述形态学消蚀操作所用的结构单元是3×3像素大小的窗口。

6．如权利要求4或5所述的方法，其特征在于，低通滤波所采用的滤波窗口对于扩展操作之后标记的像素比对于消蚀操作之后得到标记的像素要小。

7．如权利要求6所述的方法，其特征在于，对于消蚀之后得到的像素所采用的滤波窗口的大小是5×5像素，对于扩展之后得到的像素所采用的滤波窗口的大小是3×3像素。

8．如前述权利要求之一所述的方法，其特征在于，内插和滤波应用于色度信号。

9．一种执行如权利要求1所述方法的设备，包括：运动估计器(1)，它接收图像n-1和图像n，以计算运动矢量场V(n-1,n)；内插电路(2)，它根据这两个图像n-1、n和该运动矢量场，计算内插图像Y(j)，其特征在于还包括：检测缺陷运动矢量的电路(3)，其接收运动矢量场；以及低通滤波电路(4)，用于根据检测电路(3)传送的信息对所述内插图像进行滤波。

10．如权利要求9所述的设备，其特征在于，所述检测电路(3)根据方差信息来检测所述缺陷运动矢量。

11．如权利要求9或10所述的设备，其特征在于，所述缺陷矢量检测电路(3)提供识别与所述缺陷运动矢量有关的像素的二值图像，并且在此图像上执行形态学消蚀和扩展操作，以便向所述低通滤波器(4)提供三值图像。

12．如权利要求9、10或11所述的设备，其特征在于，在尺寸小于用于消蚀操作后得到标记的像素的滤波窗口的用于扩展运算之后标记的像素的滤波窗口上，执行所述内插图像的低通滤波。

13．如权利要求10所述的设备，其特征在于，所述滤波电路(4)根据测量所述运动矢量局部空间非相干性的方差确定所述低通滤波器的系数。

14．如权利要求9所述的设备，其特征在于，所述内插电路(2)内插色度图像，并且所述滤波电路对所述内插的色度图像进行滤波。

Images