CN1578427A - 用于帧频转换的位移向量检测器及其方法 - Google Patents

Abstract

一种在图像信号的帧频转换过程中，通过根据块之间的相关性，有选择地使用中值滤波器，来检测位移向量(MV)的设备和方法。该设备包括第一和第二位移向量检测单元。如果输入图像信号的当前帧中的参考块的位置属于邻近几乎没有位移的图像区域的对象边界区域，则第一位移向量检测单元对参考块进行位移估计，以检测位移向量作为所述参考块的最终MV。如果参考块的位置不属于面对几乎没有位移的区域的对象边界，则第二位移向量检测单元对参考块的MV进行中值滤波，以检测中间MV，作为参考块的最终位移向量。从而，可以避免因中值滤波器而造成的位移假象的出现。

Description

用于帧频转换的位移向量检测器及其方法

技术领域

本发明涉及一种用于图像信号帧频转换的位移向量检测器，以及相关实施方法，特别涉及使用中值滤波器检测位移向量的设备和方法。

背景技术

对图像信号进行帧频转换以使图像信号兼容不同的电视标准。早期，通过帧重复或使用简单的时空滤波器来进行帧频转换。然而，这种帧频转换会造成位移图像抖动或图像边缘模糊。

因此，提出了一种使用位移补偿转换帧频的方法。为了对输入图像信号的位移进行补偿，通过对输入图像信号的位移进行估计，产生位移向量(MV)。

通常，使用块匹配算法，通过位移估计来产生MV。更确切地说，通过将当前帧的参考块移动到前一帧的搜索范围内的位移轨迹方向，检测出与当前帧的参考块最同步的块，并产生参考块与检测出的块的位置的差异作为MV。使用检测平均绝对误差(MAE)以得到块之间的最小误差的方法，检测出前一帧中与当前帧的参考块最同步的块。

然而，当MV有误差的时候，就不能得到正常的位移补偿。因此，传统的帧频转换方法使用中值滤波器将MV的误差最小化。

更确切的说，如果得到了关于当前帧中所有块的MV，则调用(排列)当前帧参考块的MV以及当前帧参考块周围的块的MV。例如，参考块E的位移向量MV4，以及周围块A、B、C、D、F、G、H和I的位移向量MV0、MV1、MV2、MV3、MV5、MV6、MV7和MV8会被调用(排列)，如图1所示。中值滤波器将MV0到MV8的值顺序排列，以检测具有平均值的MV作为参考块E的MV。

中值滤波器在根据和周围块的相关程度减小MV的误差方面有着显著的效果，尤其是在具有大位移和重复的图像或字符。

然而，当中值滤波器在邻近几乎没有位移的区域的对象边界，例如背景处检测MV时，由于中值滤波器得到错误(不精确)的MV，会造成位移假象(artifact)，如破碎图像。更确切的说，如图2A和2B所示，图像在与背景相连的物体边界处被破坏。

当周围块的MV的值与在紧接几乎没有位移的区域的物体边界处的MV的值之间的差异很大的时候，上述现象可能会发生。

发明内容

为了解决上述和/或其它问题，一方面，本发明一般创造性概念提供了一种通过根据帧频改变时块之间的相关性有选择地使用中值滤波器，来检测位移向量(MV)的设备及其方法。

为了解决上述和/或其它问题，另一方面，本发明一般创造性概念提供了一种当帧频改变时，稳定地检测在邻近几乎没有位移的区域的对象边界的位移向量的设备及其方法。

本发明一般创造性的概念的其它方面和优点，部分将在下面的描述中阐明，部分将从下面的描述中显而易见，或者可以通过对本发明一般创造性概念的实践而得知。

本发明一般创造性概念的上述和/或其它方面可以通过提供一个位移向量检测器来实现，所述位移向量检测器包括第一位移向量检测器单元，如果当前帧的参考块位于邻近几乎没有位移的图像区域的对象边界区域，则对检测通过对参考块进行位移估计而检测除第一位移向量，作为参考块的最终位移向量；以及第二位移向量检测器单元，如果参考块不位于邻近几乎没有位移的图像区域的对象边界区域，则检测通过对第一位移向量进行中值滤波而获得的第二位移向量，作为参考块的最终位移向量。

本发明一般创造性概念的上述和/或其它方面也可以通过提供一种位移向量检测器来实现，该位移向量检测器包括：位移估计单元，用来使用前一帧及当前帧，估计位移向量及与关于预定块的位移向量对应的平均绝对误差值；存储单元，用来存储由位移估计单元估计出的位移向量和平均绝对误差值；平均绝对误差方差值计算器，计算当前帧的参考块的平均绝对误差的方差值；中值滤波器，用来对参考块的位移向量进行中值滤波；以及选择单元，根据平均绝对误差的方差值，选择从中值滤波器输出的信号和存储单元中存储的参考块的位移向量中的一个，并将所选择的一个作为参考块的最终位移向量输出。

本发明一般创造性概念的上述和/或其它方面也可以通过提供一种检测位移向量的方法来实现，该方法包括利用前一帧，检测位移向量和与关于预定块的位移向量对应的平均绝对误差；存储检测出的位移向量和检测出的平均绝对误差；计算当前帧的参考块的平均绝对误差的方差值；基于平均误差的方差值，如果参考块的位置不属于邻近几乎没有位移的图像区域的对象边界区域，则检测对参考块的位移向量的中值滤波结果，作为参考块的最终位移向量；如果参考块的位置属于邻近几乎没有位移的图像区域的对象边界区域，则检测所存储的参考块的位移向量，作为参考块的最终位移向量。

附图说明

通过结合附图对实施例进行的描述，本发明创造性的概念的这些和/或其它方面和优点将更清晰易懂，并且更容易被理解，附图中：

图1为展示与块对应的位移向量(MV)的视图，解释了传统中值滤波；

图2A和图2B为通过使用中值滤波器检测出错误的MV的图像的例子；

图3为根据本发明一般创造性概念的实施例的位移向量检测器的方框图；

图4为块的平均绝对误差(MAE)，用于图3的MAE方差值计算器；

图5为根据本发明一般创造性概念的另一个实施例来检测MV的方法的流程图；

图6A为在应用中值滤波器前的图像信号的例子；

图6B为在应用中值滤波器后的图像信号的例子；

图6C为根据本发明一般创造性概念的另一个实施例，通过有选择地应用中值滤波器获得的图像信号的例子。

具体实施方式

下面详细陈述本发明一般创造性概念的实施例，在附图中说明了例子，其中相同的标号总是代表相同的元素。下面通过参考附图，描述实施例，以便说明本发明。

图3为根据本发明的实施例的位移向量检测器的方框图。参考图3，位移向量检测器可包括位移估计单元301，存储单元302，平均绝对误差(MAE)方差值计算器(MAE方差值单元)303，比较单元304，中值滤波器305，及选择单元306。

位移估计单元301可使用输入图像信号的前一帧和当前帧，估计输入图像信号的当前帧关于每个预定的块的位移。预定的块的大小可以是8×8或16×16像素。在下文中，已进行位移估计的块被称为单元块，例如，当前帧的“参考块”。

位移估计单元301可通过估计当前帧的预定的块的位移来检测与每个参考块对应的位移向量(MV)及平均绝对误差(MAE)。MV是具有通过块匹配获得的MAE值中最小的值。与各自的单元块对应的MAE值可用公式(1)求出。

$\mathrm{MAE}=\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\left(\right|f_2(i,j)-f_1(i,j)\left|\right)$

M：块宽度，N：块高度，                        …(1)

f₁(i，j)：前一帧像素，f₂(i，j)：下一帧像素

在检测出当前帧中关于每个预定块的MV和MAE值后，位移估计单元301可将预定块的MV和MAE值存储在存储单元302中。

存储单元302可存储关于预定块的MV和MAE值。存储单元302可根据参考块的索引信息，通过两个输出端输出MV。即，存储单元302可通过两个输出端中的一个输出参考块及周围块的MV，还可通过两个输出端中的另一个输出参考块的MV。可以从系统控制单元(未示出)提供参考块的索引信息，并且可以通过块匹配顺序增加。

当输入了当前帧的参考块的索引信息时，MAE方差值计算器303可从存储在存储单元302中的各个块单元的MAE值中读出参考块及参考块的周围块的MAE值。周围块可邻近或环绕参考块排列，并在一范围(区域)内存在，以检测与参考块对应的图像区域与帧(场)周围图像区域之间的相关性。

举例来说，如果MAE方差值计算器303设计为读取5×5块的MAE值，以计算平均绝对误差(MAE)方差值(mae_variance)，如图4所示，参考块的MAE值为MAE 12，MAE方差值计算器303可从存储单元302中读出25个MAE值，即MAE0到MAE24。

当从存储单元302中读出参考块和周围块的MAE值后，MAE方差值计算器303可根据公式(2)计算MAE的平均值(mae_mean)。

$\mathrm{mae}\_\mathrm{mean}=\frac{1}{M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{\mathrm{MAE}}_i...\left(2\right)$

在上面的公式(2)中，M是用来获得已读出的MAE值的平均值(mae_mean)的周围块的个数。这样，在如上所述读出了25个块的MAE值的情况中，M的值为25。利用计算出的平均值(mae_mean)和MAE值，可根据公式(3)，得到参考块的MAE的方差值(mae_variance)

$\mathrm{mae}\_\mathrm{variance}=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\left(\right|{\mathrm{MAE}}_i-\mathrm{mae}\_\mathrm{mean}\left|\right)...\left(3\right)$

然后，可以将计算出的MAE方差值提供给比较单元304。

比较单元304可对从MAE方差值计算器303传来的MAE方差值与预定阈值进行比较。预定阈值可用来确定参考块的图像区域是否邻近帧中几乎没有位移的图像区域例如背景的对象边界区域。因此，当参考块的图像区域是对象边界区域时，预定阈值可通过参考所得到的MAE方差值来设定。这里，如果帧中位移量小于预定值，则可以确定该图像区域中几乎没有位移。

如果MAE方差值比预定阈值大，比较单元304输出表明参考块的位置不在物体的对象边界区域的信号。然而，如果MAE方差值不大于预定阈值，比较单元304输出表明参考块的位置在对象边界区域的另一个信号。将来自比较单元304的输出信号提供给选择单元306。

中值滤波器305可对参考块和周围块的MV执行中值滤波。当输入了参考块的索引信息时，存储单元302可向中值滤波器305提供参考块和周围块的MV。然后，中值滤波器305可根据MV的值排列MV，并可将其中一个MV作为中值MV输出。

根据来在比较单元304的输出信号，选择单元306有选择地输出从中值滤波器305输出的中值MV和从存储单元302输出的参考块的MV，作为参考块的最终位移向量(最终MV)。

更确切地说，如果从比较单元304提供的输出信号表明，MAE方差值大于预定阈值，则选择单元306会选择并输出从中值滤波器305输出的中值MV。因此，可以使用从中值滤波器305输出的中值MV作为参考块的实际MV(最终MV)。

同样地，如果从比较单元304提供的输出信号表明，MAE方差值不大于预定的阈值，则选择单元306会选择并输出从存储单元302输出的参考块的MV。因此，可以使用存储单元302中存储的参考块的MV作为参考块的实际MV(最终MV)。

参考图3，如果输入图像信号中当前帧的参考块位于邻近几乎没有位移的图像区域的对象边界区域中，则第一个位移向量检测单元可检测出通过对参考块进行位移估计而得到的MV，作为参考块的最终MV。反之，如果输入图像信号中当前帧的参考块不位于邻近几乎没有位移的图像区域的对象边界区域，则第二个位移向量检测单元可检测出通过对参考块和周围块的MV进行中值滤波得到的中值MV，作为参考块的最终MV。

在图3中，第一个位移向量检测单元可包括位移估计单元301、存储单元302、MAE方差值计算器(MAE方差值单元)303、比较单元304以及选择单元306。第二个位移向量检测单元可包括位移估计单元301、存储单元302、MAE方差值计算器(MAE方差值单元)303、比较单元304、中值滤波器305以及选择单元306。

在前述情况中，尽管用于计算MAE方差值的周围块的数量和用于进行中值滤波的周围块的数量不同，但是用于计算MAE离差值的周围块的数量和用于进行中值滤波的周围块的数量可能是相同的。

图5为展示根据本发明的另一个实施例检测参考块的MV的方法的流程图。

参考图3和图5，在操作501中，使用输入图像信号的当前帧(场)和前一帧(场)中，可对预定的块进行位移估计。可以如上面对位移估计单元301的描述，检测当前帧中关于预定的块的MV和MAE值。

在操作502中，存储检测出的MV和MAE值。

在操作503中，可以从所存储的MAE值中读出参考块和位于基于参考块设定的范围(区域)内的周围块的MAE值。如图3中对MAE方差值计算器303的描述，该范围可以设定为5×5个块。如果该范围设定为5×5个块，则在操作503中，可读出25个MAE值。

在操作504中，可根据公式(2)计算读出的MAE值的平均值(mae_mean)。

在操作505中，可根据公式(3)，利用MAE值和MAE值的平均值(mae_mean)，计算参考块的MAE方差值。

在操作506中，可对MAE方差值和预定阈值进行比较。预定阈值可以和比较单元304中所定义的阈值相同。如果MAE方差值大于预定阈值，即可确定参考块的位置不在邻近几乎没有位移的图像区域的对象边界区域，该方法继续进行到操作507。

操作507到509涉及对参考块的MV进行中值滤波的处理。

因此，在操作507中，可以从所存储MV中读出参考块和周围块的MV。周围块的MV如图1所示。

在操作508中，可根据MV的值，对读出的MV进行排列。在操作509中，可检测位于排列好的MV中间的MV。在操作510中，可将检测出的MV作为参考块的实际的MV(或最终MV)输出。

在操作506中，如果MAE方差值不大于预定的阈值，即可确定参考块的位置在邻近几乎没有位移的图像区域的对象边界区域，该方法继续进行到操作511。

在操作511中，可读出在操作502中存储的参考块的MV。然后，可以将在操作510中读出的MV作为参考块的实际MV输出。

图6A为展示不使用中值滤波器的图像信号的例子，图6B为展示使用中值滤波器的图像信号的例子。图6C为展示根据本发明一般创造性概念有选择地使用中值滤波器时的图像信号的例子。从图6A到图6C可以明显地看出，可以根据本发明一般创造性概念，改善邻近几乎没有位移的图像区域的对象边界区域中位移假象的现象。如上所述，通过有选择地使用中值滤波器，来对通过根据参考块和参考块的周围块之间的相关性进行位移估计而检测到的MV进行中值滤波，本发明一般创造性概念的实施例可以避免由于中值滤波器而造成的图像假象。

尽管展示和描述了本发明一般创造性概念的几个实施方式，但是本领域普通技术人员应当理解，在不脱离本发明的原理和精神的情况下，可以对这些实施例进行修改，本发明的范围由所附权利要求及其等价物限定。

相关申请交叉引用

本申请要求2003年7月4日在韩国知识产权局提交的韩国专利申请第2003-45390号的优先权，通过引用，将其全部公开内容合并于此。

Claims (20)

1、一种位移向量检测器，包括：

第一位移向量检测器单元，如果当前帧的参考块位于邻近位移小于某个值的图像区域的对象的边界区域，则对当前帧的参考块进行位移估计，以检测第一位移向量，作为当前帧的参考块的最终位移向量；以及

第二位移向量检测器单元，如果参考块不位于邻近位移小于所述值的图像区域的对象的边界区域，则对第一位移向量进行中值滤波，以检测第二位移向量，作为当前帧的参考块的最终位移向量。

2、如权利要求1所述的位移向量检测器，其中，第一位移向量检测器和第二位移向量检测器通过使用参考块的平均绝对误差的方差值，来确定参考块的位置是否属于邻近位移小于所述值的区域的对象的边界区域。

3、一种位移向量检测器，包括：

位移估计单元，用来使用前一帧及当前帧，估计位移向量及与关于包括参考块的预定块的位移向量对应的平均绝对误差值；

存储单元，用来存储由位移估计单元估计出的位移向量和平均绝对误差值；

平均绝对误差方差值计算器，利用平均绝对误差值计算当前帧的参考块的平均绝对误差的方差值；

中值滤波器，用来对参考块的位移向量进行中值滤波，以输出作为中值滤波结果的信号；以及

选择单元，根据平均绝对误差的方差值，选择从中值滤波器输出的信号和存储单元中存储的参考块的位移向量中的一个，并将所选择的一个作为参考块的最终位移向量输出。

4、如权利要求3所述的位移向量检测器，其中，所述平均绝对误差方差值计算器计算存储单元中存储的参考块和参考块周围的一个或多个块的平均绝对误差值的平均值，并利用该平均值来计算参考块的平均绝对误差的方差值。

5、如权利要求3所述的位移向量检测器，其中，如果参考块的位置属于邻近位移小于某个值的图像区域的对象的边界区域，则选择单元选择并发送存储单元中存储的参考块的位移向量之一，作为参考块的最终位移向量；如果参考块的位置不属于邻近位移小于所述值的图像区域的对象的边界区域，则选择单元选择并发送从中值滤波器输出的信号，作为最终位移向量。

6、如权利要求3所述的位移向量检测器，其中，如果平均绝对误差的方差值大于预定阈值，则选择单元选择并发送从中值滤波器输出的信号，作为参考块的最终位移向量；如果平均绝对误差的方差值不大于预定阈值，则选择单元选择并发送存储单元中存储的参考块的位移向量作为最终位移向量。

7、如权利要求3所述的位移向量检测器，还包括比较单元，用来对平均绝对误差的方差值与预定阈值进行比较，并基于比较结果来控制所述选择单元。

8、一种检测位移向量的方法，该方法包括：

利用前一帧，检测位移向量和与关于每个预定块的每个位移向量对应的平均绝对误差；

存储检测出的位移向量和检测出的平均绝对误差；

计算当前帧的参考块的平均绝对误差的方差值；

基于平均误差的方差值，如果参考块的位置不属于邻近位移小于某个值的图像区域的对象的边界区域，则检测对参考块的位移向量的中值滤波结果，作为参考块的最终位移向量；

如果参考块的位置属于邻近位移小于某个值的图像区域的对象的边界区域，则检测所存储的参考块的位移向量，作为参考块的最终位移向量。

9、如权利要求8所述的检测位移向量的方法，其中，计算平均绝对误差的方差值包括：

计算参考块和参考块周围的一个或多个块的平均绝对误差值的平均值；

利用所述平均值，计算参考块的平均绝对误差的方差值。

10、如权利要求8所述的检测位移向量的方法，其中，

检测中值滤波结果包括：

比较平均绝对误差的方差值和预定阈值，

如果平均绝对误差的方差值大于预定阈值，则检测中值滤波结果，

作为参考块的最终位移向量；并且

检测所存储的参考块的位移向量作为参考块的最终位移向量包括：

比较平均绝对误差的方差值和预定阈值，

如果平均绝对误差的方差值不大于预定阈值，则检测所存储的参考

块的位移向量作为参考块的最终位移向量。

11、一种用于图像处理设备的位移向量检测器，包括：

中值滤波器，用于对参考块和参考块周围布置的周围块的位移向量进行中值滤波，以生成位移向量之一作为中值位移向量；以及

选择单元，用于从参考块的位移向量和中值位移向量中选择其一，作为参考块的最终位移向量。

12、一种用于图像处理设备的位移向量检测器，包括：

位移向量检测单元，用于生成参考块的位移向量，并利用参考块和参考块周围布置的周围块的位移向量生成中值位移向量，

其中，选择位移向量和中值位移向量之一作为参考块的最终位移向量。

13、如权利要求12所述的位移向量检测器，其中，位移向量检测单元生成与参考块和周围块的位移向量对应的平均绝对误差值，并根据所述平均绝对误差值选择位移向量和中值位移向量之一作为参考块的最终位移向量。

14、如权利要求13所述的位移向量检测器，其中，位移向量检测单元包括：计算器，用于从所述平均绝对误差值生成平均值；比较单元，用于对所述平均值和参考值进行比较，以生成一个信号；以及选择单元，用于根据所述信号，选择位移向量和中值位移向量之一作为参考块的最终位移向量。

15、如权利要求14所述的位移向量检测器，其中，所述信号包括：第一信号，表明参考块不位于图像的边界区域中；以及第二信号，表明参考块位于图像的边界区域中。

16、如权利要求15所述的位移向量检测器，其中，选择单元根据所述第一信号选择位移向量作为参考块的最终位移向量，根据所述第二信号选择中值位移向量作为参考块的最终位移向量。

17、如权利要求12所述的位移向量检测器，其中，位移向量检测单元包括存储单元，用于存储参考块和周围块的位移向量。

18、如权利要求17所述的位移向量检测器，其中，所述存储单元还存储与单元块对应的平均绝对误差值，位移向量检测单元有选择地输出与参考块和周围块对应的平均绝对误差值、与参考块和周围块对应的位移向量、根据参考块的索引信息的参考块的位移向量，所述索引信息表明从存储单元中读取所存储的平均绝对误差值和所存储的位移向量中的哪一个以用于生成参考块的最终位移向量。

19、如权利要求18所述的位移向量检测器，其中，使用所输出的平均绝对误差值来确定产生位移向量和中值位移向量中的哪一个来作为最终位移向量。

20、如权利要求19所述的位移向量检测器，还包括选择单元，用于避免位移向量检测单元生成参考块的中值位移向量作为参考块的最终位移向量，以减少因使用中值位移向量而在图像中发生的图像假象。

Images