CN101197999B

CN101197999B - 内插帧生成方法及内插帧生成设备

Info

Publication number: CN101197999B
Application number: CN2007101947846A
Authority: CN
Inventors: 山崎雅也; 滨川洋平; 庄野温夫; 吉村博; 平山桂子; 佐藤考; 道庭贤一; 小川佳彦
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-12-08
Filing date: 2007-12-06
Publication date: 2010-08-04
Anticipated expiration: 2027-12-06
Also published as: US8155198B2; JP2008147951A; JP4869049B2; CN101197999A; US20080137747A1

Abstract

根据一个实施例，使用多个输入帧图像生成插入在多个连续帧之间的新内插帧的内插帧生成方法，包括以下步骤：第一检测(ST101)，使用固定尺寸的第一块，通过在输入帧图像之间进行块匹配处理，检测至少一个势运动矢量；第二检测(ST105)，使用具有能够在大于第一块的尺寸的范围内变化的尺寸的第二块，通过在输入帧图像之间进行块匹配处理，检测运动矢量；以及使用势运动矢量生成内插帧(ST107)。该生成(ST107)是在第一检测检测出多个运动矢量时，使用该多个势运动矢量中的最接近第二检测检测出的运动矢量的势运动矢量生成内插帧。

Description

内插帧生成方法及内插帧生成设备

技术领域

本发明的一个实施例涉及一种生成内插帧、在形成移动图像的帧图像之间插入内插帧、以及将物体移动显示为平滑自然的移动的技术。

背景技术

当在液晶显示器(LCD)上显示移动图像时，LCD以(例如)60帧/秒的速率显示帧图像(下文中简称为“帧”)。这些帧是通过处理60场/秒的隔行扫描信号获取的连续扫描图像。具体地，LCD将一帧显示1/60秒。

当观看显示在LCD上的这种图像时，由于观看者眼睛的视觉持续性(persistence of vision)，使得前一帧的图像残留。所以，存在图像中的移动物体显得模糊或物体的移动显得不自然的情况。这种现象在较大屏幕上更加显著。

为了防止这种移动图像的模糊，公知这样的一种方法：通过在两个连续帧之间插入内插帧(interpolated frame)来显示移动图像(参见第2005-6275号日本专利申请KOKAI文件)。在该文件的方法中，在包括在前帧和在后帧的两个输入帧或更多输入帧之间执行形成帧的图像块的匹配，以检测每个块的运动矢量(物体移动的方向和距离)。使用每个块的运动矢量生成位于多个输入帧之间的新的内插帧。将该内插帧插入在两个输入帧之间，从而以更多数目的帧显示移动图像。

上述的块匹配是一种检测在后帧中的哪个图像块与某帧中的预定尺寸的图像块匹配的方法。计算在前帧中的一个图像块的像素和在后帧中的任意一个图像块的相应像素之间的差分(difference)，将具有最低差分累加值(绝对差分和[SAD])的在后帧的图像块检测为最类似于在前帧的图像块的图像块。将在前帧和在后帧的最类似的块之间的位置差检测为运动矢量。

当基于使用SAD的块匹配估计物体的移动时，如果多个输入帧中存在周期性图案，则在周期性图案中的图像块中不能估计出准确的运动矢量。第2005-56410号日本专利申请KOKAI中公开了一种在观测图像是周期性图案的情况下，利用周围图像块的运动矢量校正图像块的运动矢量的方法。另外，作为第2006-208792号日本专利申请(于2006年7月31日递交，下文中称为参考3)，递交了使用两种尺寸的块来检测运动矢量的方法。

如上所述，已知多种使用周围块的运动矢量校正周期性图案中的图像块的运动矢量的方法。但是，在周期性图案的尺寸远大于图像块的情况下，这些方法并不能提供适当的校正。并且，在周围块的运动矢量具有低可靠性的情况下，这些方法也不能提供适当的校正。所以，在上述情况下，这些方法存在不能获取可靠的运动矢量的问题。在图像包括许多周期性图案的情况下，这个问题变得更加显著，所以需要提供针对这个问题的解决方案。

发明内容

本发明的目的在于，提供一种能够不受图像的画面图案的影响、高准确度地检测运动矢量的内插帧生成方法和内插帧生成设备。

根据本发明的一个方面，提供了一种使用多个输入帧图像生成插入在多个连续帧之间的新内插帧的内插帧生成方法，包括以下步骤：第一检测，使用固定尺寸的第一块，通过在输入帧图像之间进行块匹配处理，检测至少一个势运动矢量(potential motion vector)；第二检测，使用具有能够在大于第一块的尺寸的范围内变化的尺寸的第二块，通过在输入帧图像之间进行块匹配处理，检测运动矢量；以及当第一检测检测出的势运动矢量的数目为1时，使用该势运动矢量生成内插帧。该生成是在第一检测检测出多个运动矢量的情况下，使用该多个势运动矢量中的最接近于第二检测检测出的运动矢量的势运动矢量生成内插帧。

通过采取这些措施，使用固定尺寸的块(小块)和大于固定尺寸的块的可变尺寸的块(大块)执行块匹配处理。适当改变大块的尺寸。例如，根据诸如图像帧的周期性重复图案的图像画面图案改变大块的尺寸。尽管存在当图像包括周期性重复图案时在使用小块的检测中检测出多个势运动矢量的情况，但是也可以通过使用大块执行块匹配处理来选定一个运动矢量。另外，在上述措施中，大块的尺寸可变，所以可以以更高的精确度检测运动矢量。

根据本发明，可以提供一种能够不受图像的画面图案的影响、高精确度地检测运动矢量的内插帧生成方法和内插帧生成设备。

本发明的其它目的和优点将在下面的描述中阐述，并且部分地通过下面的描述变得显而易见，或可以通过实施本发明而获知。本发明的目的和优点可以通过下文中特别指出的手段及组合实现和获得。

附图说明

结合在说明书中并组成说明书的一部分的附图示出了本发明的多个实施例，并与上面给出的概括描述和下面给出的实施例的详细描述一起用来解释本发明的原理。

图1是示出根据本发明的内插帧生成设备的实施例的框图；

图2是用于解释块匹配处理的实例的示意图；

图3是示出使用固定尺寸的块和可变尺寸的块的块匹配处理的SAD特性的图表；

图4是图1的运动矢量检测部12的处理过程的流程图；

图5是用于解释块匹配的精确度受块尺寸的影响的示意图；以及

图6是用于解释块匹配的精确度受块尺寸的影响的另一个示意图。

具体实施方式

下文中将参考附图，描述根据本发明的各种实施例。总地来讲，根据本发明的一个实施例，提供了一种使用多个输入帧图像，生成插入在多个连续帧之间的新内插帧的内插帧生成方法，包括以下步骤：第一检测，使用固定尺寸的第一块，通过在输出帧图像之间进行块匹配处理，检测至少一个势运动矢量；第二检测，使用具有能够在大于第一块的尺寸的范围内变化的尺寸的第二块，通过在输入帧图像之间进行块匹配处理，检测运动矢量；以及当第一检测检测出的势运动矢量的数目为1时，使用该势运动矢量生成内插帧。其中，该生成是在第一检测检测出多个运动矢量的情况下，使用该多个势运动矢量中的最接近于第二检测检测出的运动矢量的势运动矢量生成内插帧。

图1是示出根据本发明的内插帧生成设备(帧数改变设备)的实施例的框图。内插帧生成设备10包括：帧存储部11、运动矢量检测部12、及内插图像生成部13。运动矢量检测部12通过块匹配处理，在(例如)输入图像信号中的两个连续帧中检测运动矢量。输入图像信号的帧频(frame rate)是(例如)60帧/秒。

内插图像生成部13基于运动矢量检测部12的检测结果生成内插帧，并将内插帧插入在两个帧之间。其中插入了内插帧的输出图像信号的帧频是(例如)120帧/秒。运动矢量检测部12和内插图像生成部13可以由使用单独电子电路(individual electronic circuits)的硬件或CPU执行的软件(未示出)形成。

同时，运动矢量检测部12具有固定尺寸块处理部121、可变尺寸块处理部122、及块尺寸调整部123，作为与本发明相关的处理功能部。固定尺寸块处理部121使用固定尺寸的块(下文中称为“固定尺寸块”)，通过块匹配处理检测势运动矢量。具体地，固定尺寸块处理部121通过计算部121a计算两个输入帧图像中的图像块的相应像素值之间的绝对差分值，并通过选定部121b选定对应于绝对差分值的SAD最低值的运动矢量作为势运动矢量。

可变尺寸块处理部122使用可变尺寸的块(尺寸上大于固定尺寸块)，通过块匹配处理检测运动矢量。可变尺寸块的尺寸可变，并可以通过块尺寸调整部123调整。块尺寸调整部123根据与块匹配处理有关的两个输入帧图像中的至少一个的画面图案，自适应地调整可变尺寸块的尺寸。

例如，块尺寸调整部123将可变尺寸块的尺寸调整为固定尺寸块的尺寸的N倍(N是大于等于2的自然数)。具体地，块尺寸调整部123通过纵向(横向)连接多个固定尺寸块生成可变尺寸块。优选地，块尺寸调整部123对可变尺寸块的尺寸进行调整，以通过可变尺寸块处理部122仅检测一个运动矢量，也就是说，以将通过可变尺寸块处理部122检测出的运动矢量的数目设置为1。

当固定尺寸块处理部121仅检测出一个势运动矢量时，内插图像生成部13使用势运动矢量生成内插帧。与此相比，当检测出多个势运动矢量时，内插图像生成部13通过使用该多个势运动矢量中的最类似于可变尺寸块处理部122检测出的运动矢量的势运动矢量生成内插帧。

图2是示出块匹配处理的实例的示意图。如图2所示，提供了一种通过在关于点对称的像素块之间进行块匹配处理确定运动矢量的方法。具体地，在图2的方法中，通过逐像素地(pixel by pixel)比较在前帧20和在后帧22(在前帧和在后帧之间容纳有内插帧21)上的图像块计算SAD。这些图像块关于内插帧21中的内插图像块41的插入位置中的点对称。用在这个处理中的图像块的尺寸是固定长度或可变长度的。将连接最类似图像块(即，具有最小SAD)的矢量确定为运动矢量。在在前帧20中的预定搜索范围40和在后帧22中的对应于搜索范围40的搜索范围42中执行该比较。

假设，图像块43和图像块44形成了一对最类似的图像块，将从图像块43到图像块44的矢量确定为内插图像块41的运动矢量。基于图像块43和44的运动矢量和数据，生成内插帧21中的内插图像块41。

图3是示出使用固定尺寸块的块匹配和使用可变尺寸块的块匹配获取的图像块的偏移量(shift amount)和SAD之间的关系(SAD特性)的图表。在图3中，水平轴表示图像块的水平偏移量，垂直轴表示SAD。由水平轴表示的偏移量表示在前帧20或在后帧22上的图像块偏移量。将水平轴的偏移量分成9个区域(区域1至9)，区域5是具有0偏移量的区域。曲线α2表示使用固定尺寸块获取的块匹配处理结果，曲线β2表示使用可变尺寸块获取的块匹配处理结果。

图4是示出图1的运动矢量检测部12的处理过程的流程图。运动矢量检测部12获取固定尺寸矢量处理部121a的检测处理结果(最低点的信息)(块(ST)101)。

如曲线α2所示，当固定尺寸块从-12像素移动到+12像素时，例如，如图3中所示，生成了四个最低点PS10至PS13。运动矢量检测部12在由计算部121a提供的这些最低点的最低值组中确定整个搜索区域中的最小值SADmin(ST102)。运动矢量检测部12选择由存在于用于确定阈值的范围TH中的SAD最低值(PS10、PS11、PS12，即，满足表达式“|最小值-最低值|＜TH...(1)”的最低值)表示的运动矢量作为可靠的势运动矢量。当仅存在一个可靠的势运动矢量时(ST103为否)，选定部121b将SAD最低点的信息作为运动矢量提供给内插图像生成部13(ST104)。

与此相比，当存在如图3的曲线α2所示的多个可靠的运动矢量时(ST103为是)，运动矢量检测部12确定搜索区域中存在周期性图案。然后，块尺寸调整部123根据图像的画面图案，自适应地设置可变尺寸块的尺寸(ST105)。然后，通过可变尺寸块处理部122执行使用可变尺寸块的块匹配处理。从而，获取图3的β2所示的曲线。

接着，运动矢量检测部12选定多个可靠的势运动矢量中的对应于最接近使用可变尺寸块检测出的最低值PL2(图3)的最低值PS10的矢量作为生成内插图像块41的运动矢量(ST106)。最后，运动矢量检测部12将所选定(选择)的矢量传送至内插图像生成部13(ST107)。每当输入图像帧时都重复上述过程。

在块尺寸固定的方法中，即使在步骤ST106中使用具有固定尺寸的大块，也存在获取到具有多个最低点的图表的情况。与此相比，在上述实施例中，根据图像的画面图案自适应地改变一个块的尺寸，从而使得通过块匹配获取的图表仅具有一个最低值。

详细描述图4中的步骤ST105的处理。当帧图像的画面图案中出现周期性重复图案时，存在通过使用固定尺寸块的块匹配生成多个最低点的情况。为了应对这个问题，使用可变尺寸块生成一个最低点，并选择最接近可变尺寸块的最低点的最低点(使用固定尺寸块获取)。从而获取唯一的匹配结果。

在图2所示的方法中，相对于内插帧图像的插入位置中的点，在其间容纳有内插帧的两个帧上平行移动预定尺寸的块。然后，对于该块中的每个像素，计算位于两个帧上的对应位置的像素的像素值之间的差分值，并确定多个差分值的累加值(SAD)。将SAD具有最低值的方向确定为块的运动矢量。

为了执行块匹配，必须在块中包含像素值的变化(通过其可以识别物体的形状)。然而，块的尺寸增加太多会增加该块中包含多个移动物体的可能性，从而会影响匹配的精确度。所以，不可避免地会将块尺寸限制到某个尺寸。然而，当图像包括比该块的水平尺寸宽的水平周期性图案时，不可能从图像的周期性重复图案中辨别出物体的移动，从而不能精确地检测出运动矢量。

具体地，用于通过块匹配精确检测运动矢量的最佳块尺寸随着图像的分辨率和图像中包括的物体移动而变。换言之，存在块尺寸的最佳值。

当考虑如何优化可变尺寸块的块尺寸以精确检测运动矢量而不被周期性重复图案迷惑时，应该将可变尺寸块的宽度设置为包括整个周期性重复图案的尺寸。

参考图5和图6，对此进行说明。当使用如图5所示的固定尺寸块A、B、和C时，多个块的矩形区域中的画面图案相同，所以不能将它们相互分辨开。具体地，尽管SAD值仅具有一个普通自然图像(不包括周期性图案)中的矢量方向上的最低点(＝最小点)，但是SAD值具有包括周期性图案的图像中的搜索范围中的多个矢量方向中的最低点(对应于图5的A、B、C)。

与此相比，当可变尺寸块D、E、和F具有完全覆盖图6中所示的周期性重复图案的宽度的尺寸时，包括在多个块的矩形区域中的画面图案彼此不同。所以，可以唯一地检测出正确的运动矢量。

具体地，根据本实施例，可以将可变尺寸块的尺寸优化为这样的尺寸：足够大以避免周期性重复图案导致的混淆、且足够小以在该块中不包括多个移动物体。另外，可以通过使用具有满足上述条件的尺寸的块，检测物体的移动。

可以使用下述方法(a)和(b)来计算周期性重复图案的宽度，以设置可变尺寸块的尺寸。

(a)在使用固定尺寸块检测矢量的处理中，测量检测出多个可靠的势运动矢量的事件连续出现次数的方法。在该方法中，将可变尺寸块的尺寸设置为固定尺寸块的尺寸的多倍(连续出现次数+1)。

(b)测量输入图像行上的单元图案的重复次数的方法。在该方法中，将可变尺寸块的尺寸设置为单元图案的宽度的多倍(重复次数+1)。

如上所述，在本实施例中，在块匹配中使用具有可变尺寸的可变尺寸块。然后，当在使用固定尺寸块的处理中生成了多个SAD值的最低点时，将使用可变尺寸块获取的SAD值的最低点用作比较值。从而，将对应于最接近使用可变尺寸块获取的SAD值的最低点的最低点(使用固定尺寸块获取的)的矢量选定为运动矢量。

如上所述，由于自适应地改变了可变尺寸块的尺寸，所以即使对于包括周期性重复图案的图像，也可以根据图像的画面图案较高精确度地检测出运动矢量。

以下是上述实施例中公开的技术与前面提到的参考3中公开的技术之间的不同。

在参考3中，使用具有不同尺寸的至少两个块，并在正常条件下，选定通过这些块中的较小块检测出的运动矢量。当在使用较小块的矢量检测中找出多个势运动矢量时，参考使用较大块检测出的矢量，并仅从使用较小块获取的多个运动矢量中选择一个矢量。

与此相比，在本实施例中，根据图像的画面图案，自适应地改变较大块的尺寸。本实施例在使用不同尺寸的块的方面类似于参考3的技术。然而，本实施例的技术要旨在于，根据图像的画面图案自适应地改变块尺寸。具体地，(在参考3的技术中，)即使在使用多个尺寸的多个块中的最大块时，也存在基于重复图案的周期生成多个最低点的情况。

与此相比，根据本发明的实施例，可以找出通过其可以获取一个最低点的块尺寸。所以，可以通过块匹配进一步改善检测运动矢量的精确度。另外，有必要在参考3中推测或随机准备多个不同尺寸的块，并为每个块执行SAD计算。与此相比，根据本发明的实施例可以仅对具有足够尺寸的块计算SAD。

综上所述，根据本发明的实施例，自适应地改变可变尺寸块的尺寸，从而根据画面图案更高精确度地检测运动矢量，即使对于包括周期性重复图案的图像也如此。所以，可以提供一种能够不受图像的画面图案的影响而高精确度地检测运动矢量的内插帧生成方法和内插帧生成设备。

本发明不限于上述实施例。例如，在上述实施例中，对帧图像的水平方向上的周期性图案检测运动矢量。作为另一个实施例，可以简单地想到，可以通过对帧图像的垂直方向上的周期性图案检测运动矢量取得相同的效果。

另外，在上述实施例中，说明的处理包括以下两个步骤：使用一个固定尺寸块进行处理；以及如果需要，使用可变尺寸块进行处理。可以将该处理分为更多的步骤。具体地，可以使用具有不同尺寸的多个固定尺寸块，或可以使用具有不同尺寸的多个可变尺寸块。另外，可以连续或离散地改变可变块的尺寸。

本领域技术人员将很容易想到其它的优点和修改。所以，本发明的更大范围不限于本文中示出和描述的具体细节和代表性实施例。因此，在不脱离所附权利要求及其等同物限定的总的发明概念的精神或范围的条件下，可以进行各种修改。

Claims

1.一种使用多个输入帧图像生成插入在多个连续帧图像之间的新内插帧图像的内插帧图像生成方法，其特征在于，包括以下步骤：

第一检测(ST101)，使用固定尺寸的固定尺寸块，通过在所述输入帧图像之间进行块匹配处理，检测至少一个势运动矢量；

第二检测(ST105)，使用具有能够在大于所述固定尺寸块的尺寸的范围内变化的尺寸的可变尺寸块，通过在所述输入帧图像之间进行块匹配处理，检测运动矢量；以及

当通过所述第一检测检测出的所述势运动矢量的数目为1时，使用所述势运动矢量生成所述内插帧图像(ST107)，当通过所述第一检测检测出多个势运动矢量时，使用所述多个势运动矢量中的最接近通过所述第二检测检测出的所述运动矢量的势运动矢量生成所述内插帧图像。

2.根据权利要求1所述的内插帧图像生成方法，其特征在于，进一步包括以下步骤：

根据至少一个所述输入帧图像的画面图案，自适应地调整所述可变尺寸块的尺寸(ST105)。

3.根据权利要求2所述的内插帧图像生成方法，其特征在于，所述调整(ST105)是调整所述可变尺寸块的尺寸，以将通过所述第二检测检测出的运动矢量的数目设置为1。

4.根据权利要求3所述的内插帧图像生成方法，其特征在于，所述调整(ST105)是将所述可变尺寸块的尺寸设置为所述固定尺寸块的尺寸的N倍。

5.根据权利要求2所述的内插帧图像生成方法，其特征在于，所述调整(ST105)包括以下步骤：

测量在所述输入帧图像之间通过所述第一检测检测出多个势运动矢量的事件连续出现的次数；以及

根据所述测量结果，计算所述输入帧图像之一中的周期性重复图案的宽度，并将所述可变尺寸块的尺寸设置为宽于计算出的宽度。

6.根据权利要求2所述的内插帧图像生成方法，其特征在于，所述调整(ST105)包括以下步骤：

测量所述输入帧图像之一的一行上的单元图案的重复次数；以及

基于所述测量结果，计算所述输入帧图像之一中的周期性重复图案的宽度，并将所述可变尺寸块的尺寸设置为宽于计算出的宽度。

7.根据权利要求1所述的内插帧图像生成方法，其特征在于，所述第一检测(ST101)包括以下步骤：

计算所述输入帧图像中的图像块的相应像素值之间的绝对差分值；以及

选定对应于所述绝对差分值的累加和的最低值的运动矢量作为所述势运动矢量。

8.一种使用多个输入帧图像生成插入在多个连续帧图像之间的新内插帧图像的内插帧图像生成设备，其特征在于，包括：

第一检测部(121)，用于使用固定尺寸的固定尺寸块，通过在所述输入帧图像之间进行块匹配处理，检测至少一个势运动矢量；

第二检测部(122)，用于使用具有能够在大于所述固定尺寸块的尺寸的范围内变化的尺寸的可变尺寸块，通过在所述输入帧图像之间进行块匹配处理，检测运动矢量；以及

生成部(13)，用于在所述第一检测部检测出的所述势运动矢量的数目为1时，使用所述势运动矢量生成所述内插帧图像，当所述第一检测部(121)检测出多个势运动矢量时，所述生成部(13)使用所述多个势运动矢量中的最接近于所述第二检测部(122)检测出的所述运动矢量的势运动矢量，生成所述内插帧图像。

9.根据权利要求8所述的内插帧图像生成设备，其特征在于，进一步包括：

调整部(123)，用于根据所述输入帧图像中的至少一个的画面图案，自适应地调整所述可变尺寸块的尺寸。

10.根据权利要求9所述的内插帧图像生成设备，其特征在于，所述调整部(123)调整所述可变尺寸块的尺寸，以将所述第二检测部检测出的所述运动矢量的数目设置为1。

11.根据权利要求10所述的内插帧图像生成设备，其特征在于，所述调整部(123)将所述可变尺寸块的尺寸设置为所述固定尺寸块的尺寸的N倍。

12.根据权利要求9所述的内插帧图像生成设备，其特征在于，所述调整部(123)执行以下动作：

测量在所述输入帧图像之间通过所述第一检测部检测出多个势运动矢量的事件连续出现的次数；以及

13.根据权利要求9所述的内插帧图像生成设备，其特征在于，所述调整部(123)执行以下动作：

测量所述输入帧图像之一的一行上的单位图案的重复次数；以及

基于所述测量结果计算所述输入帧图像之一中的周期性重复图案的宽度，并将所述可变尺寸块的尺寸设置为宽于计算出的宽度。

14.根据权利要求8所述的内插帧图像生成设备，其特征在于，所述第一检测部(121)包括：

计算部(121a)，用于计算所述输入帧图像中的图像块的相应像素值之间的绝对差分值；以及

选定部(121b)，用于选定对应于所述绝对差分值的累加和的最低值的运动矢量作为所述势运动矢量。