CN101316365A - 运动矢量检测设备、运动矢量检测方法及内插帧创建设备 - Google Patents

Abstract

根据一个实施例，运动矢量检测设备执行多个图像帧的块匹配，以检测运动矢量。运动矢量检测设备具有用于形成结合的宏块的宏块结合部，其中，通过包括在每个宏块中的重复图像的每个运动特性来结合作为块匹配对象的宏块中的包括重复图像的多个宏块。

Description

运动矢量检测设备、运动矢量检测方法及内插帧创建设备

技术领域

本发明的一个实施例涉及运动矢量检测设备、运动矢量检测方法、以及内插帧创建设备。

背景技术

当前，诸如电视机、个人计算机、以及便携式电话的具有图像显示装置的各种设备被实际使用。在这种具有图像显示装置的设备中，应用了一种创建用于内插组成输入图像信号的多个图像帧中的每个图像帧的内插帧，并将所创建的内插帧内插在图像帧之间以显示他们的技术。

创建这种内插帧是为了(例如)防止由于在液晶显示设备中显示相同帧而引起的图像质量的下降、防止由保持型显示器引起的运动模糊、以及使用以低帧速率传送的输入图像信号流畅地显示图像。

当创建这种内插帧时，将两个图像帧划分为预定块，执行块匹配以获取各图像帧中的多个块之间的相关性，以及基于通过块匹配获取的相关性，来检测运动矢量，其中，该运动矢量示出了相互间具有最大相关性的块之间的位移。

传统上，有关这种运动矢量的检测，存在各种提案。例如，在日本专利申请公开(KOKAI)第2000-134628号(专利文献1)中，公开了一种运动矢量的检测方法，其中，对于邻近的第一和第二块，基于在第一块中检测出的运动矢量设置第二块的搜索区域，并在所设置的搜索区域中执行块匹配，以检测第二块的运动矢量。

发明内容

当通过执行块匹配检测运动矢量时，在宏块中有时会包括其中包括有被重复显示的多个非常相似的图像(诸如斑马的条状图案和晶格型图案)的图像(称为重复图像)。

当宏块中包括重复图像时，使用其中包括重复图像的多个宏块形成能够覆盖整个重复图像的组合的宏块，并通过每个组合的宏块执行块匹配，从而检测运动矢量。

然而，在传统技术中，当形成组合的宏块时，仅考虑是否包括重复图像，而没有考虑诸如重复图像中的运动图像(例如，斑马的条状图案)移动的方向或该运动图像移动所朝向的方向的重复图像的运动特性。

所以，例如，包括在右侧方向中移动的运动图像的重复图像的宏块和包括在左侧方向中移动的运动图像的重复图像的宏块已经被形成在组合的宏块中，并且不能在块匹配的过程中检测准确的运动矢量。

因此，为了解决上述问题作出本发明，并且其目的在于提供一种运动矢量检测设备、一种运动矢量检测方法、以及一种内插帧创建设备，它们能够检测具有不同的运动特性(诸如移动方向和移动速度)的重复图像的准确的运动矢量。

为了解决上述问题，本发明提供了一种执行多个图像帧的块匹配以检测运动矢量的运动矢量检测设备，该设备包括：宏块结合部，用于形成结合的宏块，其中，通过包括在每个宏块中的重复图像的每个运动特性来结合作为块匹配的对象的宏块中的包括重复图像的多个宏块。

本发明进一步提供了一种执行多个图像帧的块匹配以检测运动矢量的运动矢量检测方法，该方法包括：形成结合的宏块，其中，通过包括在每个宏块中的重复图像的每个运动特性来结合作为块匹配的对象的宏块中的包括重复图像的多个宏块；以及使用结合的宏块检测运动矢量。

此外，本发明提供了一种内插帧创建设备，包括：运动矢量检测部，用于执行多个图像帧的块匹配以检测运动矢量；以及内插帧创建部，用于基于运动矢量检测部检测出的运动矢量创建将内插在各图像帧之间的内插帧，其中，运动矢量检测部包括宏块结合部，该宏块结合部用于形成结合的宏块，其中，通过包括在每个宏块中的重复图像的每个运动特性来结合作为块匹配的对象的宏块中的包括重复图像的多个宏块。

如以上详细描述的，根据本发明，利用运动矢量检测设备、运动矢量检测方法以及内插帧创建设备，可以检测具有不同运动特性(诸如移动方向和移动速度)的重复图像的准确的运动矢量。

附图说明

现在将参考附图描述实施本发明的多种特征的一般架构。所提供的附图和相关描述用于阐明本发明的实施例，而不用于限制本发明的范围。

图1是示出根据本发明实施例的内插帧创建设备的结构的框图；

图2是示出运动矢量检测单元的内部结构的实例的框图；

图3是示出应用了根据本发明实施例的运动向量检测过程的两个图像帧和内插帧的透视图；

图4是示出内插帧创建设备中的内插帧创建处理的操作过程的流程图；

图5是示意性地示出包括图像帧中的具有不同运动特性的重复图像和结合的宏块的部分的示意图；

图6是示意性地示出包括图像帧中的具有不同运动特性的重复图像的部分的示意图，其中，该重复图像不同于图5中的重复图像；

图7是示出包括重复图像的宏块的SAD分布的示意图；

图8是示出包括具有与图7中相同的运动特性的重复图像的另一个宏块的SAD分布的示意图；

图9是示出包括具有与图7中不同的运动特性的重复图像的宏块的SAD分布的示意图；

图10是示出包括具有与图7中不同的运动特性的重复图像的另一个宏块的SAD分布的示意图；

图11是示出包括图像帧中的具有不同运动特性的重复图像和宏块在其中结合的传统区域的部分的示意图。

具体实施方式

下文中，将参考附图描述根据本发明的各种实施例。

(内插帧创建设备的结构)

图1是示出根据本发明实施例的内插帧创建设备10的结构的框图。该内插帧创建设备10被设置在具有图像显示功能的设备(诸如，电视机、个人计算机、以及便携式电话)中。

该内插帧创建设备10从构成输入的输入图像信号S0(60F/s)的多个图像帧创建用于对多个图像帧进行内插的内插帧，并将其中输出了所创建的内插帧的输出图像信号S1(120F/s)输出至显示面板51。

内插帧创建设备10具有帧存储器20、运动向量检测单元30、内插图像创建单元40、以及控制单元50。

帧存储器20以图像帧为单位存储输入图像信号S0。运动矢量检测单元30对在没有帧存储器20干涉的情况下输入的图像帧和存储在帧存储器20中的图像帧执行块匹配以检测运动矢量V0，并将检测出的运动矢量V0输出至内插图像创建单元40。注意，稍后将详细描述运动矢量检测单元30的结构和操作内容。

内插图像创建单元40基于在没有帧存储器20干涉的情况下输入的图像帧、存储在帧存储器20中的图像帧、以及检测出的运动矢量V0，来创建内插帧SF，并将创建的内插帧SF存储在帧存储器20中。稍后也将详细描述该内插图像创建单元40的操作。控制单元50向运动矢量检测单元30等输出稍后描述的块定时信号BT，以控制内插帧的创建。

接下来，将参考图2描述运动矢量检测单元30的结构。图2是示出作为运动矢量检测单元30的实例的结构框图。

运动矢量检测单元30具有如图2中所示的块相关性计算单元32和矢量选择单元33。

块相关性计算单元32输入输入图像信号S0和一帧延迟信号S10(其从帧存储器20输入)。然后，根据由控制单元50提供的块定时信号BT指示的定时，块相关性计算单元32对作为对象的两个图像帧(这两个图像帧分别构成输入图像信号S0和一帧延迟信号S10)执行块匹配，并输出示出各块之间的相关性的相关性信号。将相关性信号ST输出至矢量选择单元33。

该块相关性计算单元32具有宏块结合部，该宏块结合部通过执行稍后描述的宏块结合过程而形成结合的宏块。

基于输入的相关性信号ST，矢量选择单元33检测示出具有最大相关性的块之间的位移的矢量值，并基于检测出的矢量值输出运动矢量V0。

此处，在块相关性计算单元32和矢量选择单元33中，将作为候选的移动方向中的各块之间的SAD(像素的绝对差分之和)用作相关性信号ST。此外，矢量选择单元33将具有最小SAD值的块判断为具有最大相关性的块。

(内插帧创建设备的操作内容)

接下来，将描述内插帧创建设备10的操作内容。内插帧创建设备10根据图4中所示的流程图执行内插帧创建处理以创建内插帧。

当开始内插帧创建处理时，内插帧创建设备10执行运动矢量检测(S1)，并在随后的S2中执行内插帧创建。当创建内插帧时，控制单元50作为图像信号输出部执行操作，以将输出图像信号输出至显示面板51。

在运动矢量检测中，运动矢量检测单元30执行两个图像帧的块匹配，以检测运动矢量。

在这种情况下，在块相关性计算单元32中，如图3中所示，对作为对象的构成输入图像信号S0的图像帧(前一帧)100和构成一帧延迟信号S10的图像帧(后一帧)200来执行块匹配。

在该块匹配中，根据由块定时信号BT指示的定时，分别将时间上在前的前一帧100和时间上在后的后一帧200划分为多个宏块。

在该实施例中，如图3中所示，前一帧100被划分为包括宏块100a、100b、100c的多个宏块，以及后一帧200被划分为包括宏块200a、200b、100c的多个图像块。

然后，对于前一帧100和后一帧200，在各搜索区域104、204中检测各图像块之间的相关性(例如，宏块100a和宏块200a之间的相关性)，并输出相关性信号ST。

然后，在内插帧创建设备10中，当块相关性计算单元32执行上述的块匹配时，有时会有重复图像被包括在将作为块匹配的对象的宏块中。

重复图像是其中包括多个非常相似图像的图像和其中的非常相似的图像在显示面板51上显示时被重复显示的图像，例如，斑马的条状图案和晶格型图案。

当获取到包括这种重复图像的宏块之间的相关性时，宏块中有时仅包括重复成分(即，个别非常相似的图像，例如，斑马的条状图案的一部分)而不包括整个重复图像。

在这种情况下，例如，当获取到前一帧100的宏块100a和后一帧200的宏块200a之间的相关性时，比较各重复图像中的哪部分变得不明显。

所以，重复图像是否已经移动是不明显的，从而不能检测到准确的运动矢量。

因此，当获取到包括重复图像的宏块之间的相关性时，使用包括整个重复图像的宏块执行块匹配。在这种情况下，例如，如图11中所示，当存在其中包括有多个长矩形条状图像71和多个两端都弯曲的条状图像72的图像时，通过将临近的多个宏块放在一起直到覆盖整个条状图像71和条状图像72(在Z0的范围内)来形成一个宏块，然后执行块匹配。

通过每个宏块中的每个SAD分布中是否存在多个最低点(minimum point)来判断宏块中是否包括重复图像。当存在多个最低点时，判断图像为重复图像，并形成一个宏块。

然后，如图11中所示，通过将条状图像71的运动方向定义为右侧方向Ld而将条状图像72的运动方向定义为左侧方向Rd，即使在各重复图像的运动特性不同时，也将它们两者的重复图像放在一起，以形成宏块。

然而，如果以这种方式形成宏块，则由于具有在右侧方向Ld中移动的成分(条状图像71)和在左侧方向Rd中移动的成分(条状图像72)的不同运动特性的重复图像被混合在一个宏块中，使得准确地获取运动矢量变得不可能。

所以，在根据本实施例的内插帧创建设备10中，如下形成结合的宏块。

此处，图5是示意性地示出包括具有图像帧中的不同运动特性的重复图像和结合的宏块的部分的示意图。

根据本实施例的块相关性计算单元32对包括重复图像的多个宏块M1、M2、M3、M4执行块结合，以通过包括在每个宏块中的重复图像的每个运动特性来结合宏块，形成结合的宏块M10、M20。此处，宏块M1、M2是包括条状图像71的图像，而宏块M3、M4是包括条状图像72的图像。

然后，在重复成分出现期间，块相关性计算单元32作为运动特性检测部来执行操作，以从稍后描述的SAD分布中检测运动特性(诸如，每个重复成分的移动方向和移动速度)，并基于检测结果将其SAD分布彼此相互接近的组判断为具有相同运动特性的重复图像，并形成结合的宏块M10、M20。

在图5的情况下，由于条状图像71的运动特性是右侧方向Ld，条状图像72的运动特性是左侧方向Ld，所以块相关性计算单元32将用于将多个宏块放在一起的范围划分为范围Z1、Z2，并结合各个范围中的宏块M1和M2、以及宏块M3和M4，以形成结合的宏块M10、M20。

在以上形成的结合的宏块M10、M20中，仅包括具有相同运动特性的重复图像，而不包括具有不同移动特性的重复图像。所以，提高了在运动矢量检测单元30中发现的运动矢量的精确性，从而可以检测出准确的运动矢量。

图6是示意性地示出包括图像帧中的具有不同运动特性的重复图像的部分的图，其中，这些重复图像不同于图5中的重复图像。在图6中，假设这样的场景：格子形状作为背景存在，具有重复图像的物体(例如，斑马)横跨在其前方。

如上所述，由于块相关性计算单元32通过重复图像的每个运动特性结合宏块来形成结合的宏块，所以块相关性计算单元32将用于将多个宏块放在一起的范围划分为范围Z1、Z2、Z3，并执行块结合。然后，块相关性计算单元32在范围Z1、Z2、Z3中分别结合宏块M1和M2、宏块M3和M4、宏块M5和M6，以形成结合的宏块M10、M20、M30。

同时，在重复成分出现的周期内，块相关性计算单元32从稍后描述的SAD分布中检测每个重复成分的移动特性(诸如，移动方向和移动速度)。这将参考图7至图10描述。

图7和图8是示出不同宏块的SAD分布的示意图，图7示出了宏块M1的SAD分布，图8示出了宏块M2的SAD分布。图9和图10是示出包括具有不同于图7和图8中的运动特性的重复图像的宏块的SAD分布，图9示出了宏块M5的SAD分布，图10示出了宏块M3的SAD分布。

块相关性计算单元32如下检测包括在每个宏块中的重复图像的运动特性。

块相关性计算单元32首先作为划分部执行操作，并将每个SAD分布划分为如图所示的具有相等间隔u的多个部分。然后，块相关性计算单元32确定其中存在各部分中SAD的最小值的部分。如果SAD的最小值存在于相同的部分中，则判断SAD分布是相互接近的并且重复图像的运动成分是相互一致的。如果SAD的最小值不存在于相同的部分中，则判断重复图像的运动成分相互不一致。

例如，尽管图7和图8中所示的SAD分布在各最小值的尺寸上不同，但是最小值存在于相同的部分r0-r1、r2-r3、r4-r5、r7-r8中。所以，块相关性计算单元32判断在示出了图7和图8中的SAD分布的宏块中，各SAD分布是相互接近的，重复图像的运动成分是相同的，然后结合这些宏块。

相反，在图9中所示的SAD分布的情况下，尽管这些最小值与图7中的SAD分布的最小值一致，但是这些最小值存在于不同部分中。换句话说，在图9中所示的SAD分布中，这些最小值存在于部分r1-r2、r3-r4、r5-r6、r8-r9中。所以，块相关性计算单元32判断示出图9中的SAD分布的宏块在SAD分布方面不同于图7中的宏块，并且重复图像的运动特性不同，然后与图7中的宏块相分离地结合多个宏块。

关于图10，由于最小值和最小值存在的部分不同，所以在这种情况下，也判断SAD分布是与图7中的宏块的SAD分布不同并且重复图像的运动特性是不同的，并与图7中的宏块相分离地结合多个宏块。

如上所述，块相关性计算单元32从SAD分布中检测重复图像的运动特性。这是因为构成重复图像的重复成分的规律性出现在SAD分布中。

当比较多个宏块的SAD分布时，在包括诸如宏块M1和宏块M2的相似重复图像的多个宏块的SAD分布中，尽管最小值的自身尺寸不同(由于处理中的噪声等)，但是重复成分的尺寸或它们出现的间隔被反映到最小值的出现。所以，最小值的出现特性(诸如，最小值的出现间隔及其出现次数)相互一致。

所以，块相关性计算单元32将SAD分布划分为如上所述的多个相等的部分，确定在各部分中存在最小值的部分，判断这些部分是否相互一致，并根据判断结果形成结合的宏块。

在这种情况下，在如上所述的通过块相关性计算单元32判断SAD分布中的最小值分布的一致性的过程中，不仅允许完全一致，而且允许诸如80％一致和60％一致的冗余。

通过形成如上所述的结合的宏块并使用结合的宏块检测运动矢量，对于在不同方向移动的连续重复图像的准确的运动矢量搜索变得可能。

当如上所述从块相关性计算单元32输出相关性信号ST时，矢量选择单元33基于相关性信号ST检测示出了在各块之间具有最大相关性的多个块之间的位移的矢量值，然后输出运动矢量V0。

随后，基于从运动矢量检测单元30输出的运动矢量V0，内插图像创建单元40通过以下方式创建内插帧150，该内插帧将内插在没有帧存储器20干涉的情况下输入的前一帧(参考帧)100和存储在帧存储器20中的后一帧(标准帧，检测对象帧)200之间。

内插图像创建单元40确定在前一帧100中各像素块与后一帧200中各像素块之间的时间距离，并利用从前一帧200到内插帧150的时间距离与确定的时间距离的比来减小运动矢量V0。

然后，内插图像创建单元40基于减小的运动矢量V0使后一帧200中的相应像素块位移，以生成组成内插帧150的多个块。内插图像创建单元40对前一帧100中的每个像素块和后一帧200中的每个像素块重复该过程，从而创建内插帧150。

上述的说明是为了解释本发明的实施例，而不是为了限制本发明的设备和方法，并且可容易地实现本发明的各种修改实例。此外，通过适当地组合各实施例中的部件、功能、特性或方法块而构造的任何设备或方法都包括在本发明中。

尽管描述了本发明的某些实施例，但是这些实施例仅是以实例的方式给出，而不用于限制本发明的范围。确实，本文中描述的新颖方法和系统可以以多种其他形式具体化，另外，在不背离本发明的精神的条件下，可以对本文中描述的方法和系统的形式进行各种省略、代替、和改变。所附的权利要求和他们的等同物用于覆盖将落入本发明的范围和精神中的形式或改变。

Claims (9)

1.一种运动矢量检测设备，用于执行多个图像帧的块匹配以检测运动矢量，所述运动矢量检测设备包括：

宏块结合部，用于形成结合的宏块，其中，通过包括在每个宏块中的重复图像的每个运动特性来结合作为所述块匹配的对象的宏块中的包括所述重复图像的多个宏块。

2.根据权利要求1所述的运动矢量检测设备，进一步包括：

运动特性检测部，用于检测包括在所述每个宏块中的所述重复图像的所述运动特性，其中

所述宏块结合部基于所述运动特性检测部的检测结果形成所述结合的宏块。

3.根据权利要求2所述的运动矢量检测设备，其中：

所述运动特性检测部从所述重复图像的SAD分布中检测所述运动特性。

4.根据权利要求1所述的运动矢量检测设备，进一步包括：

运动特性检测部，用于从包括在所述每个宏块中的所述重复图像的SAD分布中检测所述运动特性；以及

划分部，用于将所述运动特性检测部检测出的所述SAD分布划分为具有相等间隔的多个部分，其中

当所述划分部划分出的各所述部分中的最低点部分不相同时，所述宏块结合部形成所述结合的宏块，其中，在所述最低点部分中存在所述SAD分布中的最低点。

5.一种运动矢量检测方法，用于执行多个图像帧的块匹配以检测运动矢量，所述运动矢量检测方法包括：

形成结合的宏块，其中，通过包括在每个宏块中的重复图像的每个运动特性来结合作为所述块匹配的对象的宏块中的包括所述重复图像的多个宏块；以及

使用所述结合的宏块检测所述运动矢量。

6.一种内插帧创建设备，包括：

运动矢量检测部，用于执行多个图像帧的块匹配以检测运动矢量；以及

内插帧创建部，用于基于所述运动矢量检测部检测出的所述运动矢量创建将内插在各所述图像帧之间的内插帧，

所述运动矢量检测部包括用于形成结合的宏块的宏块结合部，其中，通过包括在每个宏块中的重复图像的每个运动特性来结合作为所述块匹配的对象的宏块中的包括所述重复图像的多个宏块。

7.根据权利要求6所述的内插帧创建设备，其中：

在所述图像帧中，在将作为所述运动矢量检测部进行的所述运动矢量检测的对象的所述图像帧定义为检测对象帧，以及将检测所述运动矢量时参照的所述图像帧定义为参考帧时，所述内插帧创建部基于所述运动矢量检测部检测出的所述运动矢量使所述检测对象帧移位，以创建所述内插帧。

8.根据权利要求6所述的内插帧创建设备，进一步包括：

帧存储器，用于存储所述检测对象帧，其中

所述运动矢量检测部将存储在所述帧存储器中的所述检测对象帧和所述参考帧划分为多个图像块，并对每一个划分的图像块执行所述块匹配，以检测所述运动矢量。

9.根据权利要求6所述的内插帧创建设备，进一步包括：

图像信号输出部，用于将包括所述内插帧的输出图像信号输出至显示面板。

Images