CN1984240A - 运动估计设备和运动估计方法 - Google Patents

Abstract

提供一种估计运动的设备和方法。所述设备包括：背景表示计算器，基于将被内插的帧的运动向量，计算表示将被内插的帧的背景运动的背景表示向量；块运动计算器，基于当前帧和先前帧，计算将被内插的帧的各个块的运动向量，向背景表示计算器提供运动向量，并且基于从背景表示计算器输出的背景表示向量，通过局部搜索计算各个块的背景运动向量；运动误差检测器，基于从块运动计算器输出的背景运动向量和背景运动向量，确定每个块是否处于文本区域中；以及运动校正单元，当每个块处于文本区域时基于每个块的外围块的运动向量，确定文本区域中的每个块是否处于边界区域中，并且当文本区域中的每个块处于边界区域中时校正边界区域中的每个块的运动向量。

Description

运动估计设备和运动估计方法

本申请要求于2005年12月14日在韩国知识产权局提交的第10-2005-0123392号韩国专利申请的优先级，该申请全部公开于此以资参考。

技术领域

本发明涉及一种运动估计设备和运动估计方法。更具体地说，本发明涉及一种最小化在文本区域中产生的运动误差的运动估计设备和运动估计方法。

背景技术

通常，在显示设备中使用帧速率转换器来转换帧速率对显示面板的时序(timing)调整、灰度表示等是有效的。为此，已经提出在帧速率转换器和/或解交错器中使用各个块的运动向量估计和补偿运动的方法，以显示自然的运动图像。然而，因为很难找到正确的运动向量，所以这种运动估计和补偿方法在实际使用中具有局限性。

例如，由于文本自身具有许多相似的边缘，因此当文本在运动背景中运动时，在运动背景中滚动文本在寻找其运动向量中有很大困难。

具体地说，由于运动估计误差，在文本区域和运动背景之间的边界区域中图像很容易失真。

因此，需要改进的用于估计运动的设备和方法。

发明内容

本发明的示例性实施例在于至少解决上述问题和/或缺点以及至少提供下述优点。因此，本发明的一个目的是提供一种能够减小文本区域的边界上的图像失真的运动估计设备和运动估计方法。

可通过提供运动估计设备实现本发明的上述和/或其它示例性方面，所述运动估计设备包括：背景表示计算器，基于将被内插的帧的运动向量，计算表示将被内插的帧的背景运动的背景表示向量；块运动计算器，基于当前帧和先前帧，计算将被内插的帧的各个块的运动向量，向背景表示计算器提供运动向量，并且基于从背景表示计算器输出的背景表示向量，通过局部搜索计算各个块的背景运动向量；运动误差检测器，基于从块运动计算器输出的背景运动向量和背景运动向量，确定每个块是否处于文本区域中；以及运动校正单元，当每个块处于文本区域时基于每个块的外围块的运动向量，确定文本区域中的每个块是否处于边界区域中，并且当文本区域中的每个块处于边界区域中时校正边界区域中的每个块的运动向量。

根据本发明的示例性实施例，背景表示计算器可包括：离散度计算器，计算从块运动计算器提供的帧的每个块的运动向量和每个块的外围块的运动向量之间的离散度，并且检测具有小于参考值的离散度的运动向量；直方图产生器，将检测的运动向量产生为直方图；以及表示确定单元，将通过直方图显示最频繁的向量确定为背景表示向量。

根据本发明的示例性实施例，块运动计算器可包括：候选向量计算器，基于当前帧和先前帧，计算关于将被内插的帧的每个块的多个候选向量；运动确定单元，根据准则选择所述多个候选向量中的一个，并且将选择的向量确定为每个块的运动向量；以及背景运动计算器，基于从背景表示计算器输出的背景表示向量，通过局部搜索计算每个块的表示运动向量。

根据本发明的示例性实施例，候选向量计算器可包括：平均运动计算器，基于每个块的外围块的运动向量，计算平均运动向量；行运动计算器，基于水平方向上的块的运动向量，产生搜索区域中的行运动向量；零运动计算器，在没有块运动的位置计算零运动向量；以及全运动计算器，通过在搜索区域中进行全搜索计算全运动向量。

根据本发明的示例性实施例，运动确定单元可基于根据平均运动向量的平均预测误差值、根据行运动向量的行预测误差值、根据零运动向量的零预测误差值和根据全运动向量的全预测误差值，选择平均运动向量、行运动向量、零运动向量和全运动向量中的至少一个作为块的最终运动向量，并将其输出。

根据本发明的示例性实施例，运动误差检测器可包括：文本区域检测器，基于零预测误差值、全预测误差值、确定的运动向量、根据所述运动向量的预测误差值、背景运动向量和根据背景运动向量的预测误差值中的至少一个，确定每个块是否为文本块；文本标记产生器，当块为文本块时，产生所述块的文本标记；以及文本模式确定单元，计算每一帧连续存在文本标记的块的数量，并且如果计算的数量超过参考值，则输出文本模式信号。

根据本发明的示例性实施例，如果将被处理的块满足下面的等式，则文本区域检测器确定将被处理的块是文本块：

或

其中，MV_o ^x和MV_o ^y分别表示运动向量MV_ox方向上的位移和y方向上的位移。

根据本发明的示例性实施例，如果将被处理的块还满足下面的等式，则文本区域检测器确定将被处理的块是文本块：

SAD_fx＞＞TH_α&SAD₀＞α×SAD_fs

其中，SAD_fs表示通过全搜索的最小SAD值，SAD₀表示通过运动向量的最小SAD值，TH_α表示阈值，α表示权值。

根据本发明的示例性实施例，如果将被处理的块还满足下面的等式，则文本区域检测器确定将被处理的块是文本块：

SAD_zero＞＞β×SAD_fs

其中，SAD_ZERO表示零运动向量的最小SAD值，β表示权值。

根据本发明的示例性实施例，如果将被处理的块还满足下面的等式a和等式b中的一个，则文本区域检测器确定将被处理的块是文本块：

a.SAD_b＞＞ω×SAD_fx&MV_b≠MV₀&SAD_b＜SAD₀  或

b.SAD₀≈ρ×SAD_fx&MV_b≈MV₀&SAD_b＜SAD₀

其中，ω和ρ表示权值。

根据本发明的示例性实施例，当连续存在至少三个文本标记时确定相应块处于文本区域中，并且启动所述块的文本标记。

根据本发明的示例性实施例，运动校正单元可包括：边界区域检测器，在x轴方向上和y轴方向上投影文本区域中的块的外围块的运动向量，计算平均向量的离散度，并且如果平均向量中具有最大离散度的平均向量大于参考值，则确定块是边界块。

根据本发明的示例性实施例，运动校正单元可包括：向量校正单元，将边界块的运动向量校正为在计算的平均向量中与背景运动向量差异最大的平均向量。

根据本发明的示例性实施例，运动估计设备还可包括：帧内插器，基于校正的运动向量产生将被内插的帧。

可通过提供运动估计方法实现本发明的上述和/或其它示例性方面，所述运动估计方法包括：基于当前帧和先前帧，计算将被内插的帧的每个块的运动向量，并将其输出；基于将被内插的帧的运动向量，计算表示将被内插的帧的背景运动的背景表示向量；基于背景表示向量，通过局部搜索计算每个块的背景运动向量；基于运动向量和背景运动向量，确定每个块是否处于文本区域中；以及当每个块处于文本区域中时，基于文本区域中块的外围块的运动向量，确定文本区域中的块是否处于边界区域中，并且当文本区域中的块处于边界区域中时，校正边界区域中的块的运动向量。

根据本发明的示例性实施例，计算背景表示向量可包括：计算每帧的每个块的运动向量和每个块的外围块的运动向量之间的离散度；检测具有小于参考值的离散度的向量，并且产生直方图；以及将通过直方图最频繁出现的向量确定为背景表示向量。

根据本发明的示例性实施例，计算每个块的运动向量可包括：基于当前帧和先前帧，计算将被内插的帧的每个块的多个候选向量；根据准则选择多个候选向量中的一个，并且将选择的候选向量确定为每个块的运动向量；以及基于计算的背景表示向量，通过局部搜索计算每个块的表示运动向量。

根据本发明的示例性实施例，计算多个候选向量可包括：基于每个块的外围块的运动向量，计算平均运动向量；基于水平方向上的块的运动向量，产生搜索区域中的行运动向量；在块没有运动的位置计算零运动向量；以及通过在搜索区域中进行全搜索计算全运动向量。

根据本发明的示例性实施例，选择多个候选向量中的一个，并将选择的候选向量确定为每个块的运动向量可包括：基于根据平均运动向量的平均预测误差值、根据行运动向量的行预测误差值、根据零运动向量的零预测误差值和根据全运动向量的全预测误差值，将平均运动向量、行运动向量、零运动向量和全运动向量中的至少一个选择为每个块的运动向量，并将其输出。

根据本发明的示例性实施例，确定每个块是否处于文本区域中可包括：基于零预测误差值、全预测误差值、确定的运动向量、根据所述运动向量的预测误差值、背景运动向量和根据背景运动向量的预测误差值中的至少一个，检测每个块是否在文本区域中；如果块处于文本区域中，则产生所述块的文本标记；以及计算每一帧连续存在文本标记的块的数量，并且如果计算的数量超过参考值，则输出文本模式信号。

根据本发明的示例性实施例，确定每个块是否处于文本区域中可包括：如果每个块满足下面的等式，则确定每个块处于文本区域中：

或

SAD_fx＞＞TH_α&SAD₀＞α×SAD_fs

SAD_zero＞＞β×SAD_fs

a.SA_D＞＞ω×SAD_fx&MV_b≠MV₀&SAD_b＜SAD₀  或

b.SAD₀≈ρ×SAD_fx&MV_b≈MV₀&SAD_b＜SAD₀

根据本发明的示例性实施例，计算块的数量并输出文本模式信号可包括：确定连续存在至少三个文本标记的块处于文本区域中，并且启动所述块的文本标记。

根据本发明的示例性实施例，校正运动向量可包括：如果块处于文本区域中，则通过在x轴方向上和y轴方向上投影块的外围块的运动向量来计算平均向量；以及计算已计算的平均向量的离散度，并且如果平均向量中具有最大离散度的平均向量大于参考值，则确定文本区域中的块处于边界区域中。

根据本发明的示例性实施例，校正运动向量可包括：当文本区域中的块处于边界区域中时，将边界区域中的块的运动向量校正为在计算的平均向量中与背景运动向量差异最大的平均向量。

根据本发明的示例性实施例，运动估计方法还可包括：基于校正的运动向量，产生将被内插的帧。

附图说明

通过下面结合附图对示例性实施例进行的描述，本发明的上述和/或其它方面和优点将会变得更加清楚，其中：

图1是根据本发明的示例性实施例的运动估计设备的控制框图；

图2是根据本发明的示例性实施例的块运动计算器的详细框图；

图3是根据本发明的示例性实施例的背景表示计算器的详细框图；

图4是根据本发明的示例性实施例的运动误差检测器和运动校正单元的详细框图；

图5是示出根据本发明的示例性实施例的运动误差检测器确定块是否在文本区域和文本模式的方法的流程图；

图6是根据本发明的示例性实施例的解释由运动校正单元执行的运动校正方法的示图；

图7是显示通过运动估计设备根据示例性运动估计方法校正的结果图像和未校正图像的示图。

在整个附图中，相同的附图标号将被理解为表示相同的部件、特点和结构。

具体实施方式

提供例如详细的结构和部件的在说明书中定义的内容以帮助全面理解本发明的实施例，并且这些内容只是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可对在此描述的实施例进行各种改变和修改。另外，为了清楚和简明，将省略对已知功能和结构的描述。现将对附图中示出的本发明的示例性实施例进行详细地介绍。

根据本发明的示例性实施例的使因在文本区域中的运动误差而引起的图像失真最小化的运动估计设备和运动估计方法引入下面的假设。

<假设1>文本区域属于能够从背景区域分离的对象区域。

<假设2>在屏幕上滚动的文本具有单一方向性的运动。

<假设3>可将滚动的文本插入到原始图像。

<假设4>滚动的文本在区域中连续运动。

<假设5>文本区域和背景区域在亮度上存在差异。

<假设6>在具有不同运动向量的边界上在文本区域中产生的失真明显。

在上述假设下，根据本发明的示例性实施例，在运动估计设备和运动估计方法中，从背景区域分离对象区域，检测对象区域的文本区域，检测文本区域的具有不同运动的边界区域，并且校正边界区域的运动向量。

图1是根据本发明的示例性实施例的运动估计设备的控制框图。参照图1，运动估计设备可包括：块运动计算器10、背景表示计算器20、运动误差检测器30和运动校正单元40。

块运动计算器10基于当前帧和先前帧，计算与将被内插的帧的块相应的运动向量。将参照图2详细描述块运动计算器10。

参照图2，块运动计算器10包括候选向量计算器60和运动确定单元70。候选向量计算器60基于当前帧和先前帧，计算与每个块相应的多个候选向量。运动确定单元70根据准则将所述多个候选向量中的一个确定为运动向量。

如图2所示，候选向量计算器60可包括：全运动计算器61、平均运动计算器63、行运动计算器65和零运动计算器67。

全运动计算器61将当前帧分成多个块，每个块具有一定大小，并且全运动计算器61将当前帧中将被进行运动估计的块与先前帧的搜索区域进行比较，以估计全运动向量MV_f。

全运动计算器61将全搜索块匹配(FSBM)算法应用于计算多个运动预测误差值。全运动计算器61从具有最小运动预测误差值的位置估计各个块的全运动向量MV_f。可通过各种方法计算运动预测误差值，诸如绝对差值和(SAD)方法、平均绝对差值(MAD)方法等。

平均运动计算器63基于从全运动计算器61接收的全运动向量MV_f，计算与当前块临近的外围块的运动向量的平均向量。也就是说，平均运动计算器63配置包括当前块的具有M×N的大小的窗口，并计算包括在该窗口中的运动向量的平均向量。

例如，窗口可具有3×3的大小。更大的窗口更好的反映整个运动。

为了简化硬件配置并减少计算时间，平均运动计算器63可积累先前帧的块的运动向量，以获得平均运动向量MV_mean。也就是说，需要在当前块之后计算运动向量以获得全运动向量MV_f，这样增加了时间延迟。由于这个原因，使用先前帧的块的运动向量来获得平均运动向量MV_mean。

行运动计算器65使用在水平方向上连续排列的块的运动向量来计算表示当前块的水平运动的度的行运动向量MV_line。

可通过下面的等式1和等式2来获得行运动向量MV_line。

[等式1]

$\mathrm{MV}\_\mathrm{Avg}\left(n\right)=\underset{i=0}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{MotionVector}(i,n)$

[等式2]

LineMV(n)＝LocalMin(MV_Avg(n)，Search_Range)

其中，n表示垂直方向上块的index，i表示水平方向上块的index。

如从等式1中看到的，行运动计算器65基于当前块所属的行上的块的运动向量，计算行平均运动向量MV_Avg(n)。

在示例性实施例中，在假设在表示相同对象的多个块一起运动的全运动中的运动误差具有高斯分布的情况下执行操作。经受全运动的块的运动向量的平均值几乎接近实际全运动。随着获得平均值所使用的块的数量的增加，准确度也变高。

例如，由于在新闻等中的文本滚动占据了屏幕的大部分下部区域，因此如果假设使用480像素的标准清晰度(SD)等级，并且每个块的大小是8×8，则块的数量是480/8，换句话说，就是60。因此，当实际上产生文本滚动时，可通过对相应块的运动向量进行平均来获得与实际正确运动相似的运动向量。

行运动计算器65在以由等式1获得的平均值为中心的搜索区域内获得局部最小值，并且计算该局部最小值作为行运动向量MV_line。

在假设在搜索区域中的SAD值中的局部最小值周围存在正确运动向量的情况下执行操作。实际的SAD值指示局部最小值存在于块近似匹配的区域。

如果在用于计算全运动向量MV_f的全搜索方法中搜索区域的大小为N×M，则可使用较小的搜索区域，诸如N/2×M/2等来获得行运动向量MV_line。

零运动计算器67在以运动向量为零的位置为中心的小搜索区域内寻找局部最小值，并且计算找到的局部最小值作为零运动向量MV_zero。在示例性实施例中，零运动计算器67在以特定位置(零运动向量(0，0))为中心的M×M的搜索区域内获得局部最小值，类似于行运动向量MV_line。

这是因为从运动向量(0，0)周围的最小值获得SAD值，而不是仅获得运动向量(0，0)SAD值，对使噪声等的影响最小化是有效的。

运动确定单元70接收全运动向量MV_f、平均运动向量MV_mean、行运动向量MV_line和零运动向量MV_zero，并且选择这些向量中的一个作为运动向量，并将其输出。更加详细地说，运动确定单元70将根据全运动向量MV_f的全SAD值SAD_fs、根据平均运动向量MV_mean的平均SAD值SAD_mean、根据行运动向量MV_line的行SAD值SAD_line和根据零运动向量MV_zero的零SAD值SAD_zero相互进行比较。基于通过运动确定单元70比较的结果，复用器选择与所述多个SAD值中的最小SAD值相应的运动向量作为最终运动向量，并将其输出。在示例性实施例中，可以通过调整权值给出运动向量的优先级，其中，各个SAD值将与所述权值相乘。

硬件配置需要被简化以获得这种运动向量。这就需要共享运动估计。可在全搜索运动估计器中共享平均运动计算器63、行运动计算器65和零运动计算器67分别获得局部最小值的处理。

平均运动计算器63在具有一定大小(例如3×3)的平均向量MV_mean周围获得局部最小值，行运动计算器65在行平均向量MV_line周围获得局部最小值，并且零运动计算器67在零向量MV_zero周围获得局部最小值。因此，如果全搜索运动估计器设置各个搜索区域，则可计算并存储相应搜索区域中的SAD值。

因此，可仅通过全搜索运动估计器来计算平均运动向量、零运动向量和行运动向量。在示例性实施例中，由于通过全运动计算器61执行通过全搜索的运动估计，因此可通过共享全运动计算器61的硬件来提取各个运动向量。

背景表示计算器20基于从块运动计算器10输出的运动向量，检测在当前运动向量的外围运动向量之间相关性最高且在外围向量中出现最频繁的向量作为相应帧的背景表示向量。更详细地说，如图3所示，背景表示计算器20包括：离散度计算器21、直方图产生器23和表示确定单元25。

在示例性实施例中，离散度计算器21根据下面的等式3计算接收的运动向量和外围运动向量之间的离散度，并检测具有小于参考值的离散度的运动向量MV_a。

[等式3]

$D_{\mathrm{mv}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}|{\mathrm{MV}}_C-{\mathrm{MV}}_i|$

其中，D_mv表示运动向量的离散度，MV_c表示将被处理的当前块的运动向量，MV_i表示当前块的外围运动向量。

如果产生通过离散度计算器21检测的运动向量MV_a，并通过直方图产生器23将其存储为运动向量直方图，则表示确定单元25将由直方图产生器23产生的运动向量直方图中出现最频繁的运动向量确定为背景表示向量MV_back。

在示例性实施例中，如图2所示，块运动计算器10可还包括背景运动计算器80。背景运动计算器80基于从背景表示计算器20输出的背景表示向量MV_back，通过在区域中进行局部搜索计算各个块的背景运动向量MV’_back。

在示例性实施例中，运动误差检测器30基于从块运动计算器10输出的运动向量MV₀、根据运动向量MV₀的最小SAD值SAD₀、背景运动向量MV_back、根据背景运动向量MV_back的最小SAD值SAD_b、根据全运动向量MV_f的最小SAD值SAD_f和零SAD值SAD_ZERO，检测文本区域。

将参照图4和图5更加详细地描述运动误差检测器30。

参照图4，运动误差检测器30包括：文本区域检测器31、文本标记产生器33和文本模式产生器35。

文本区域检测器31确定每个块是否满足特定等式。文本区域检测器31通过图5所示地操作100至操作105确定每个块是否为文本块。所述等式定义如下。

[等式4]

或

[等式5]

SAD_fx＞＞TH_α&SAD₀＞α×SAD_fs

[等式6]

SAD_zero＞＞β×SAD_fs

[等式7]

a.SAD_b》ω×SAD_fx&MV_b≠MV₀&SAD_b＜SAD₀  或

b.SAD₀≈ρ×SAD_fx&MV_b≈MV₀&SAD_b＜SAD₀

其中，MV_o ^x和MV_o ^y分别表示运动向量的x方向位移和y方向位移，TH_α表示阈值，α、β、ω和ρ表示权值。

首先，在操作100，文本区域检测器31确定运动向量MV₀是否满足等式4，所述等式4为上述<假设2>建模以表示单一方向特性，所述单一方向特性是表示对象的运动的运动向量MV₀仅具有x方向运动或y方向运动。

然后，在操作101，确定是否满足为上述<假设3>建模的等式5。当使用插入到原始场景中的文本区域中的具有相同运动的两个帧数据尝试块匹配时，新创建原始场景中不存在的区域或存在的区域消失，因而增加最小SAD值。其结果是，根据表示对象区域的运动的运动向量MV₀的SAD值SAD₀变得比根据全搜索的最小SAD值SAD_fs大。

接下来，在操作102，文本区域检测器31确定是否满足为上述<假设5>建模的等式6。零SAD值SAD_ZERO是对没有运动的块的两帧之间亮度差的和。在亮度高于其外围区域的文本区域中，零SAD值SAD_ZERO将具有较大的值。

接下来，在操作103和操作104，确定是否满足为上述<假设1>建模以检测对象区域的等式7。在这里，考虑背景的运动与对象的运动不同的情况(操作103)和背景的运动与对象的运动相似的情况(操作104)分别定义等式7。

等式7的部分a与背景的运动与对象的运动不同的情况相应，特别是与当表示背景的运动的背景运动向量MV_b与表示对象的运动的运动向量MV₀不同时相应。另外，由于与所述情况相应的区域属于对象区域，因此通过背景运动向量MV_b计算的最小SAD值SAD_b大于由对象的运动向量MV₀计算的最小SAD值SAD₀，并根据全搜索在最小SAD值SAD_b和最小SAD值SAD_min之间的差异较大。

另一方面，等式7的部分b与背景的运动与对象的运动相似的情况相应，特别是与当表示背景的运动的背景运动向量MV_b与表示对象的运动的运动向量MV₀相似时相应，因此，最小SAD值SAD_b与最小SAD值SAD₀相似。然而，由于与所述情况相应的区域属于背景和对象的边界，因此最小SAD值SAD_b或SAD₀与根据全搜索的最小SAD值SAD_fs具有较大的差异。

如果满足上述的所有等式，则在操作105，文本标记产生器33将相应块的文本标记设置为1。否则，在操作106，文本标记产生器33将相应块的文本标记设置为0。

接下来，在操作200，文本模式产生器35确定在块中是否连续存在至少三个文本标记。如果在所述块中连续存在至少三个文本标记，则文本模式产生器35在操作201将所述块确定为文本区域，并且启动文本标记。否则，文本标记失效，并且在操作202，尽管相应块满足等式4至等式7，但是确定相应块不在文本区域。在操作200用于文本模式产生器35的等式与上述<假设4>相应。

另外，如果在操作203文本区域中的块的数量(即，具有文本标记为1的块的数量)超过每一帧的参考值，则在操作204，文本模式产生器35将文文本模式信号设置为1。否则，在操作205，文本模式产生器35将文文本模式信号设置为0。

在示例性实施例中，运动校正单元40确定文本区域中的块是否属于背景和对象之间的边界区域，并且如果文本区域中的块属于边界区域，则校正块的运动向量。将参照图4和图6更加详细地描述运动校正单元40。

如图4所示，运动校正单元40包括：边界区域检测器41和向量校正单元43。

对于处于设置为1的文本模式中的帧，边界区域检测器41确定具有文本标记为1的块是否处于边界区域。

首先，如图6的(A)中所示，边界区域检测器41以将被处理的块为中心配置具有3×3大小的窗口，并且x方向和y方向上投影运动向量。然后，边界区域检测器41获得投影方向上存在的向量的平均值。然后，边界区域检测器41根据投影方向获得x方向上平均向量b的离散度和y方向上平均向量c的离散度。也就是说，离散度越大，运动向量之间的差异就越大。例如，如果对两个投影方向的离散度为D和E，则选择与值D和E中较大的值相应的方向。如果选择的离散度大于参考值，则确定相应区域处于对象和背景之间的边界区域。在图6中，由于投影在x方向上的运动向量的离散度大于投影在y方向上的运动向量的离散度，因此确定边界存在于x方向上。边界区域检测器41的确定与上述<假设6>相应。

在边界区域中，向量校正单元43将被处理的块的运动向量校正为存在于选择的方向上的平均向量中具有最大值的向量。如图6所示，将中心块的运动向量a校正为投影在x方向上的平均向量中具有最大值的最下端向量a’。既不在文本区域中也不在边界区域中的块的运动向量不受运动校正单元40的校正。

在示例性实施例中，如图1所示，运动估计设备可包括：帧内插器50。帧内插器50基于已校正或未校正的运动向量来校正将被插入到当前帧和先前帧之间的内插帧的数据，并将其输出。

参照图7，没有应用本发明的图像(A)和应用本发明的示例性实施例的图像(B)在文本的边界区域有明显地不同。同样，通过在处理对象区域和背景区域之间的边界区域中最小化运动误差，能够最小化边界区域中的图像失真。

在如上所述的示例性实施例中，候选向量计算器60产生四个候选向量，然而，本发明不限于此。另外，文本模式产生器35当至少3个块的文本标记为1时确定相应块处于文本区域中。然而，本发明也可当不同数量的块的文本标记为1时确定相应块处于文本区域中。

从上述描述中明显看出，本发明提供了一种减小文本区域的边界上的图像失真的运动估计设备和运动估计方法。

尽管已经参照其特定的示例性实施例显示和描述了本发明，但本领域的技术人员应该理解，在不脱离本发明的精神和原理的情况下，可以对这些实施例进行改变，本发明的范围由所附权利要求及其等同物限定。

Claims (25)

1、一种运动估计设备，包括：

背景表示计算器，基于将被内插的帧的运动向量，计算表示将被内插的帧的背景运动的背景表示向量；

块运动计算器，基于当前帧和先前帧，计算将被内插的帧的各个块的运动向量，向背景表示计算器提供运动向量，并且基于从背景表示计算器输出的背景表示向量，通过局部搜索计算各个块的背景运动向量；

运动误差检测器，基于从块运动计算器输出的背景运动向量和背景运动向量，确定每个块是否处于文本区域中；以及

运动校正单元，当每个块处于文本区域时基于每个块的外围块的运动向量，确定文本区域中的每个块是否处于边界区域中，并且当文本区域中的每个块处于边界区域中时校正边界区域中的每个块的运动向量。

2、如权利要求1所述的运动估计设备，其中，背景表示计算器包括：

离散度计算器，计算从块运动计算器提供的帧的每个块的运动向量和每个块的外围块的运动向量之间的离散度，并且检测具有小于参考值的离散度的运动向量；

直方图产生器，将检测的运动向量产生为直方图；以及

表示确定单元，将通过直方图显示最频繁的向量确定为背景表示向量。

3、如权利要求1所述的运动估计设备，其中，块运动计算器可包括：

候选向量计算器，基于当前帧和先前帧，计算关于将被内插的帧的每个块的多个候选向量；

运动确定单元，根据标准选择所述多个候选向量中的一个，并且将选择的向量确定为每个块的运动向量；以及

背景运动计算器，基于从背景表示计算器输出的背景表示向量，通过局部搜索计算每个块的表示运动向量。

4、如权利要求3所述的运动估计设备，其中，候选向量计算器包括：

平均运动计算器，基于每个块的外围块的运动向量，计算平均运动向量；

行运动计算器，基于水平方向上的块的运动向量，产生搜索区域中的行运动向量；

零运动计算器，在没有块运动的位置计算零运动向量；以及

全运动计算器，通过在搜索区域中进行全搜索计算全运动向量。

5、如权利要求4所述的运动估计设备，其中，运动确定单元基于根据平均运动向量的平均预测误差值、根据行运动向量的行预测误差值、根据零运动向量的零预测误差值和根据全运动向量的全预测误差值，选择平均运动向量、行运动向量、零运动向量和全运动向量中的至少一个作为块的最终运动向量，并将其输出。

6、如权利要求5所述的运动估计设备，其中，运动误差检测器包括：

文本区域检测器，基于零预测误差值、全预测误差值、确定的运动向量、根据所述运动向量的预测误差值、背景运动向量和根据背景运动向量的预测误差值中的至少一个，确定每个块是否为文本块；

文本标记产生器，当块为文本块时，产生所述块的文本标记；以及

文本模式确定单元，计算每一帧连续存在文本标记的块的数量，并且如果计算的数量超过参考值，则输出文本模式信号。

7、如权利要求6所述的运动估计设备，其中，如果将被处理的块满足下面的等式，则文本区域检测器确定将被处理的块是文本块：

或

其中，MV_o ^x和MV_o ^y分别表示运动向量MV_ox方向上的位移和y方向上的位移。

8、如权利要求7所述的运动估计设备，其中，如果将被处理的块还满足下面的等式，则文本区域检测器确定将被处理的块是文本块：

SAD_fx＞＞TH_α& SAD₀＞α×ASD_fs

其中，SAD_fs表示通过全搜索的最小SAD值，SAD₀表示通过运动向量的最小SAD值，TH_α表示阈值，α表示权值。

9、如权利要求8所述的运动估计设备，其中，如果将被处理的块还满足下面的等式，则文本区域检测器确定将被处理的块是文本块：

SAD_zero＞＞β×SAD_fs

其中，SAD_ZERO表示零运动向量的最小SAD值，β表示权值。

10、如权利要求9所述的运动估计设备，其中，如果将被处理的块还满足下面的等式a和等式b中的一个，则文本区域检测器确定将被处理的块是文本块：

a.SAD_b＞＞ω×SAD_fx & MV_b≠MV₀ & SAD_b＜SAD₀或

b.SAD₀≈ρ×SAD_fx & MV_b≈MV₀ & SAD_b＜SAD₀

其中，ω和ρ表示权值。

11、如权利要求10所述的运动估计设备，其中，当连续存在至少三个文本标记时确定相应块处于文本区域中，并且启动所述块的文本标记。

12、如权利要求1或11所述的运动估计设备，其中，运动校正单元包括：边界区域检测器，在x轴方向上和y轴方向上投影文本区域中的块的外围块的运动向量以计算平均向量，计算平均向量的离散度，并且如果平均向量中具有最大离散度的平均向量大于参考值，则确定块是边界块。

13、如权利要求12所述的运动估计设备，其中，运动校正单元包括：向量校正单元，将边界块的运动向量校正为在计算的平均向量中与背景运动向量差异最大的平均向量。

14、如权利要求1所述的运动估计设备，其中，还包括：帧内插器，基于校正的运动向量产生将被内插的帧。

15、一种运动估计方法，包括：

基于当前帧和先前帧，计算将被内插的帧的每个块的运动向量，并将其输出；

基于将被内插的帧的运动向量，计算表示将被内插的帧的背景运动的背景表示向量；

基于背景表示向量，通过局部搜索计算每个块的背景运动向量；

基于运动向量和背景运动向量，确定每个块是否处于文本区域中；以及

当每个块处于文本区域中时，基于文本区域中块的外围块的运动向量，确定文本区域中的块是否处于边界区域中，并且当文本区域中的块处于边界区域中时，校正边界区域中的块的运动向量。

16、如权利要求15所述的运动估计方法，其中，计算背景表示向量包括：

计算每帧的每个块的运动向量和每个块的外围块的运动向量之间的离散度；

检测具有小于参考值的离散度的向量，并且产生直方图；以及

将通过直方图最频繁出现的向量确定为背景表示向量。

17、如权利要求16所述的运动估计方法，其中，计算每个块的运动向量包括：

基于当前帧和先前帧，计算将被内插的帧的每个块的多个候选向量；

根据准则选择多个候选向量中的一个，并且将选择的候选向量确定为每个块的运动向量；以及

基于计算的背景表示向量，通过局部搜索计算每个块的表示运动向量。

18、如权利要求17所述的运动估计方法，其中，计算多个候选向量包括：

基于每个块的外围块的运动向量，计算平均运动向量；

基于水平方向上的块的运动向量，产生搜索区域中的行运动向量；

在块没有运动的位置计算零运动向量；以及

通过在搜索区域中进行全搜索计算全运动向量。

19、如权利要求18所述的运动估计方法，其中，选择多个候选向量中的一个，并将选择的候选向量确定为每个块的运动向量包括：基于根据平均运动向量的平均预测误差值、根据行运动向量的行预测误差值、根据零运动向量的零预测误差值和根据全运动向量的全预测误差值，将平均运动向量、行运动向量、零运动向量和全运动向量中的至少一个选择为每个块的运动向量，并将其输出。

20、如权利要求19所述的运动估计方法，其中，确定每个块是否处于文本区域中可包括：

基于零预测误差值、全预测误差值、确定的运动向量、根据所述运动向量的预测误差值、背景运动向量和根据背景运动向量的预测误差值中的至少一个，检测每个块是否在文本区域中；

如果块处于文本区域中，则产生所述块的文本标记；以及

计算每一帧连续存在文本标记的块的数量，并且如果计算的数量超过参考值，则输出文本模式信号。

21、如权利要求20所述的运动估计方法，其中，确定每个块是否处于文本区域中包括：如果每个块满足下面的等式，则确定每个块处于文本区域中：

或

SAD_fx＞＞TH_α& SAD₀＞α×SAD_fs，

SAD_zero＞＞β×SAD_fs，

a.SAD_b＞＞ω×SAD_fx& MV_b≠MV₀ & SAD_b＜SAD₀或

b.SAD₀≈ρ×SAD_fx & MV_b≈MV₀ & SAD_b＜SAD₀。

22、如权利要求21所述的运动估计方法，其中，计算块的数量并输出文本模式信号包括：确定连续存在至少三个文本标记的块处于文本区域中，并且启动所述块的文本标记。

23、如权利要求15或22所述的运动估计方法，其中，校正运动向量包括：

如果块处于文本区域中，则通过在x轴方向上和y轴方向上投影块的外围块的运动向量来计算平均向量；以及

计算已计算的平均向量的离散度，并且如果平均向量中具有最大离散度的平均向量大于参考值，则确定文本区域中的块处于边界区域中。

24、如权利要求23所述的运动估计方法，其中，校正运动向量包括：当文本区域中的块处于边界区域中时，将边界区域中的块的运动向量校正为在计算的平均向量中与背景运动向量差异最大的平均向量。

25、如权利要求15或24所述的运动估计方法，还包括：基于校正的运动向量，产生将被内插的帧。

Images