CN101534447B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供了图像处理装置和图像处理方法，其中，该图像处理装置包括：相关值计算部，被配置为确定目标块与每个参考块之间的相关值；确定部，被配置为确定相关值中的最大值；运动矢量检测部，被配置为检测目标块的运动矢量；以及计算部，被配置为计算由运动矢量检测部检测的运动矢量的可靠性的指标。通过本发明，对包括大量噪声或重复图案的图像也能够获得具有高可靠性的运动矢量的可靠性指标。

Description

图像处理装置和图像处理方法

相关申请的交叉参考

本发明包含于2008年3月13日向日本专利局提交的日本专利申请JP 2008-063560的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种检测两个画面图像之间的运动矢量并计算所检测运动矢量的可靠性的图像处理装置和方法。

背景技术

根据图像信息本身来确定两个画面图像之间的运动矢量的块匹配技术是一项历史悠久的技术。

根据块匹配技术，包括作为注目画面图像的参考画面图像和从中出现参考画面图像的运动的原始图像(下文称作目标画面图像)的两个画面图像之间的运动矢量是通过相对于预定大小的矩形区域的块(目标块和参考块)计算参考画面图像和目标画面图像之间的相关性来计算的。块匹配技术包括以下两种情况：一种情况是如在例如通过MPEG(运动图片专家组)系统进行运动检测的情况下，目标画面图像在时间上先于参考画面图像；以及另一种情况是如在例如通过下文所述的图像帧的叠加来减小噪声的情况下，参考画面图像在时间上先于目标画面图像。

注意，在本说明书中，术语画面图像表示由一帧或一场的图像数据形成的图像。然而，为了描述方便，在本说明书的以下描述中，假设一个画面图像由一帧形成并在下文中称作帧。因此，参考画面图像在下文被称作参考帧，而目标画面图像在下文被称作目标帧。

具体地，对于电视相机的云台检测和图像拾取对象跟踪、MPEG(运动图片专家组)系统的运动图片编码等，已开发了利用块匹配的运动矢量匹配技术。在90年代，已促进在包括通过图像叠加进行无传感器相机抖动校正、低照度下图像拾取时的降噪等宽范围内的应用。

此外，利用块匹配的运动矢量检测方法不仅被应用于图像识别应用和相机抖动校正应用中，而且还被应用于如图像拾取装置的快门速度的自动调节和液晶电视机的双倍速帧频转换的新应用中。

在任何情况下，所检测矢量的可靠性都是非常重要的。具体地，如果所检测的运动矢量精确，则能够以高精度定位多个图像，并且能够预期图像拾取对象的跟踪、高精度相机抖动校正等。然而，如果使用低可靠性的运动矢量执行处理，则会在错误的方向上执行校正等，因此，会出现取决于应用的后处理步骤的精度变低的情况。

因此，例如在日本专利公开第2006-318345号中已提出并披露了提取高可靠性的运动矢量的方法。根据该方法，执行MPEG系统编码中的离散余弦转换(DCT)结果中的的AC分量和DC分量的比较，或者执行与图像边缘的比较，从而从特征图像部分中检测出运动矢量来作为具有高可靠性的运动矢量。

还有一种方法可用，其中，在矢量计算之前，预先通过边缘检测或通过角检测器的部分提取出图像中的特征点或奇异点，并根据特征点来确定运动矢量。

此外，日本专利公开第2005-301984号中披露了从表示图像的特征量的活动量(activity)中获得运动矢量可靠性的指标。

发明内容

然而，与上述运动矢量的可靠性相关的现有技术全部都需要提取图像的特征点或特征量的处理，并且除运动矢量的检测处理之外全部都需要提供被配置为提取特征点或特征量的部件。因此，现有技术具有结构复杂并需要提高成本的问题。

此外，使用特征点或特征量的所有上述技术基本上都是针对低噪声图像的，并且都具有在包含高噪声图像的情况下不能正常运行的问题。此外，特征点提取方法具有在噪声或重复图案方面不是很好的问题。

因此，期望提供一种即使在图像具有高噪声或包括重复图案的情况下仍能够通过简单结构估算运动矢量的可靠性的图像处理装置和方法。

根据本发明的实施例，提供了一种图像处理装置，包括：相关值计算部，被配置为设定具有等于在目标画面图像中以预定尺寸形成的目标块的尺寸并由在与目标画面图像不同的参考画面图像中设定的搜索范围内的多个像素形成的多个参考块，并确定目标块与每个参考块之间的相关值；确定部，被配置为确定在通过相关值计算部计算的相关值中的最大值以及除最大值之外的相关值中极大值；运动矢量检测部，被配置为检测所述目标块的运动矢量，作为计算出所述相关值的所述最大值的所述参考块相对于所述目标块的位移量(displacement amount，偏移量)；以及计算部，被配置为计算相关值中的最大值与除最大值之外的相关值中的极大值之间的差值，作为通过运动矢量检测部检测的运动矢量的可靠性的指标。

根据本发明的另一个实施例，提供了一种图像处理装置，包括：相关值计算部，被配置为设定具有等于在目标画面图像中以预定尺寸形成的目标块的尺寸并由在与目标画面图像不同的参考画面图像中设定的搜索范围内的多个像素形成的多个参考块，并确定目标块与每个参考块之间的相关值；确定部，被配置为确定在通过相关值计算部计算的相关值中的最大值以及除最大值之外的相关值中极大值；运动矢量检测部，被配置为检测所述目标块的运动矢量，作为计算出所述相关值中的所述最大值的所述参考块相对于所述目标块的位移量；以及计算部，被配置为计算相关值中的最大值与除最大值之外的相关值中的极大值之间的比，作为通过运动矢量检测部所检测的运动矢量的可靠性的指标。

例如，在目标画面图像和参考画面图像为静止图像的情况下，如果假设不存在任何噪声的理想状态，则当确定在搜索范围内的多个参考块中的每一个与目标块之间的相关值时，认为相关值仅包括一个等于相关值中的最大值的极大值。

然而，在诸如拾取图像的实际图像情况下，由于光量变化、运动目标的移动等以及即使在画面图像为静止图像的情况下的各种类型的噪声的影响，目标画面图像和参考画面图像通常包括相关值的多个极大值。

另外，尽管基于呈现作为相关值中最大值的相关值中的第一极大值的那个参考块的位置来检测运动矢量，但是如果相关值中的第一极大值与除相关值的第一极大值之外的相关值中的另一个极大值(即，相关值的第二极大值)之间的差很小，那么就可能会疑问到底两个极大值中的哪一个是正确。因此，可靠性低。

另一方面，如果相关值中的第一和第二极大值之间的差很大，则认为根据相关值中的第一极大值所确定的运动矢量的可靠性相对较高。

例如，在目标画面图像和参考画面图像为运动图片图像的情况下，相关值由于运动图像部分而很少仅包括第一极大值。此外，对于以块为单位的移动，如果相关值中的第二极大值与相关值中的第一极大值之间的差很小，则由于可能会疑问到底两个极大值中的哪一个是正确，所以可靠性很低。另一方面，如果相关值中的第一极大值与相关值中的第二极大值之间的差很大，则认为根据相关值中的第一极大值所确定的运动矢量的可靠性相对较高。

鉴于以上，根据本发明的第一实施例，相关值中的第一极大值(即，相关值中的极大值)与相关值中的第二极大值之间的差被用作运动矢量可靠性的指标。

同时，根据本发明的第二实施例，相关值中的第一极大值(即，相关值中的最大值)与相关值中的第二极大值之间的比被用作运动矢量可靠性的指标。

即使在相关值的第一极大值或最大值以及相关值的第二极大值中包括噪声，但是如果确定第一极大值或最大值与第二极大值之间的差或第一极大值或最大值与第二极大值之间的比，那么噪声分量就会彼此抵消并且噪声的影响降低。因此，运动矢量可靠性的指标非常可靠。

通过该图像处理装置和方法，不需要使用图像的特征点或特征量，而是仅使用目标块和参考块之间的相关值就能够获得表示运动矢量可靠性的指标。因此，对包括大量噪声或重复图案的图像，还可以获得具有高可靠性的运动矢量的可靠性的指标。

附图说明

图1是示出应用了根据本发明的优选实施例的图像处理装置的图像拾取装置的结构实例的框图；

图2A、图2B以及图3～图10是示出通过图像处理装置进行的块匹配处理的示意图；

图11是示出通过图像处理装置进行的块匹配处理的框图；

图12是示出应用了根据本发明的图像处理方法的拾取图像的实例的示图；

图13是示出与图12的拾取图像相关联的使用图像处理方法检测到的局部运动矢量的示意图；

图14是示出在图像处理方法中所使用的SAD表的示意图；

图15是示出在一维轴上所采用的图14的SAD表的示意图；

图16是示出与图12的拾取图像相关联的通过图像处理方法确定具有高可靠性的局部运动矢量的示图；

图17是示出图像处理装置的全局运动矢量计算块的结构实例的框图；

图18是示出全局运动矢量计算块的操作的示意图；

图19是示出通过图像处理装置的局部运动矢量计算块进行的检测处理操作的实例的流程图；

图20～图24是示出表示通过图像处理方法根据局部运动矢量确定全局运动矢量的处理实例的表达式的示图；

图25和图26是示出通过图像处理方法根据局部运动矢量确定全局运动矢量的处理实例的流程图；

图27是示出与图12的拾取图像相关联的以根据通过图像处理方法确定的全局运动矢量所确定的块为单位的运动矢量的示图；

图28和图29是示出使用图像处理方法确定所检测的局部运动矢量的处理的另一个实例的示图；

图30是示出使用图像处理方法确定所检测的局部运动矢量的处理的再一个实例的示图；以及

图31是示出应用了本发明实施例的另一个图像处理装置的一部分的框图。

具体实施方式

下面，将参照附图描述应用了根据本发明实施例的图像处理装置和图像处理方法的图像拾取装置。

第一实施例

根据本发明第一实施例的图像拾取装置被配置为定位并叠加通过图像拾取器件或成像器所拾取的多个静止图像，从而执行图像的降噪。

在手持图像拾取装置来拾取图像的情况下，有可能发生相机抖动。当通过手持图像拾取装置进行这种图像拾取时，在连续拾取静止图像的情况下，第一个拾取的静止图像被称作目标帧，而第二个和随后拾取的静止图像被称作参考帧。在通过对整个参考帧应用包括平行移动、旋转和放大或缩小的转换处理将参考帧定位在目标帧的位置的情况下，对全部参考帧应用的转换处理被称作全局运动。相机抖动意味着对于目标帧来说发生了通过对目标帧应用包括平行移动、旋转和放大或缩小的转换处理而能够将参考帧定位至目标帧的量的全局运动。

在本实施例中，为了简化描述，虽然第一个拾取的静止图片被用作参考(即，作为目标帧)，但这并不是必须的。任意的第n个目标帧可以被用作目标帧，而任意的第m个(n≠m)静止图像被设定为参考帧，从而重新定义全局运动。或者可以相对于运动图片中时间不同的两个帧图像来定义全局运动。又或者，全局运动的处理无法应用于从拾取图像的一帧内的整个有效图片框架，而是仅能应用于一帧图像的一部分。

全局运动对应于目标帧和参考帧之间的画面图像单位的运动矢量(下文称作全局运动矢量)。因此，如果能够精确地确定全局运动矢量，就能够正确地得到全局运动，并能够适当地校正相机抖动。

在以下描述中，使用运动矢量检测和运动补偿(其中，运动矢量用于叠加不同帧的两个图像以执行图像的定位)来降低噪声在下文被称作降噪(NR)，并且通过降噪降低噪声的图像在下文称作降噪图像。

在本实施例中，通过上述块匹配方法来检测运动矢量。此外，在本实施例中，一个画面图像被划分成许多个块，并通过块匹配方法来检测以块为单位的运动矢量(这种运动矢量在下文称作局部运动矢量)。此外，在块匹配方法中，使用相关值，以下文所述的方式来检测局部运动矢量可靠性的指标。随后，仅从那些被检测具有高可靠性的局部运动矢量中检测作为以一个画面图像为单位的运动矢量的全局运动矢量。

块匹配的概要

图2A～图7示出了块匹配方法的概要。在此处描述的块匹配方法中，如图2A所示，在目标帧100中假设包括水平方向上的多个像素和垂直方向上的多条线的预定尺寸的矩形区域的块(即，目标块102)。

在块匹配中，从参考帧101中搜索出与目标块102具有高相关性的块。图2B所示的被检测为在参考帧101中与目标块102具有最高相关性的块的参考块103在下文称作运动补偿块。此外，在目标块102和与目标块102具有最高相关性的运动补偿块103之间的位移量在下文称作运动矢量(参照图2B的参考数字104)。

在假设目标块102的投影图像块109位于在参考帧101中与目标帧100的目标块102的位置相同位置的情况下，与目标块102和运动补偿块103之间的位移(包括位移量和位移方向)相对应的运动矢量104对应于目标块102的投影图像块109的位置(例如，中心位置)与运动补偿块103的位置(例如，中心位置)之间的位移。因此，运动矢量104具有位移和方向分量。

下面描述块匹配处理的概要。参照图3，假设目标帧100的目标块102的投影图像块109位于参考帧101中与目标帧100的目标块102的位置相同的位置，并且目标块的投影图像块109的中心坐标被确定为用于运动检测的原点105。随后，假设运动矢量104存在于原点105的特定范围内，并且以原点105为中心的预定范围被设定为由图3中的点划线所表示的搜索范围106。

随后，在参考画面图像上设定与目标块102具有相同尺寸的块(即，投影图像块109)。然后，例如，在搜索范围106内的水平方向或垂直方向上以一个像素或多个像素为单位来移动参考块108的位置。因此，在搜索范围106中设定了多个参考块108。

此处，在搜索范围106内移动参考块108意味着由于本实例中的原点105是目标块的中心位置，所以参考块108的中心位置在搜索范围106内移动，并且构成参考块108的像素可以从搜索范围106中突出。

随后，对于在搜索范围106内设定的每个参考块108，设定表示参考块108和目标块102的位移量和位移方向的矢量(即，参考矢量107(参照图7))。然后，估算在位于由每个这样的参考矢量107所表示的位置的参考块108的图像内容和目标块102的图像内容之间的相关性。

参照图4，参考矢量107可表示为矢量(Vx，Vy)，其中，Vx为参考块108在水平方向上(即，X方向上)的位移量，Vy为参考块108在垂直方向上(即，Y方向上)的位移量。如果参考块108的位置坐标(例如，中心位置坐标)与目标块102的位置坐标(例如，中心位置坐标)相同，则参考矢量107表示为矢量(0，0)。

例如，如果参考块108位于与目标块102的位置相比在X方向上偏移1个像素距离的位置，则参考矢量107表示为矢量(1，0)。同时，如果参考块108位于与目标块102的位置相比在X方向上偏移3个像素距离且在Y方向上偏移2个像素距离的位置，则参考矢量107表示为矢量(3，2)。

简而言之，在如图5所示给出目标块102和每个参考块108的位置作为各块的中心位置的情况下，参考矢量107意味着参考块108的中心位置与目标块102的中心位置之间的位移(包括位移量和位移方向的矢量)。

参考块108在搜索范围106内移动，并且在这种情况下，参考块108的中心位置在搜索范围106内移动。由于参考块108包括如上所述在水平方向和垂直方向上的多个像素，所以如图5所示，作为与目标块102进行块匹配处理对象的参考块108的移动的最大范围被给出作为比搜索范围106更大的匹配处理范围110。

随后，被检测为与目标块102的图像内容具有最高相关性的块的参考块108的位置被检测作为目标帧100的目标块102在参考帧101上的位置，即，作为移动后的位置。然后，所检测的参考块被确定为上文所述的运动补偿块103。然后，如图2B所示，所检测运动补偿块103的位置与目标块102的位置之间的位移量被检测作为包括方向分量的运动矢量104。

基本上使用目标块102和参考块108的对应像素值来计算表示目标块102与在搜索范围106内移动的参考块108之间的相关度的相关值。包括使用均方根的方法的各种计算方法可用于计算相关值。

例如，如图6所示，对于各个块中的所有像素，一般在计算运动矢量时使用的相关值中的一个是目标块102中的每个像素的亮度值与搜索范围106中的对应像素的亮度值之间的差的绝对值的总和。差的绝对值的总和称作差分绝对值和(difference absolute valuesum)，并在下文称作SAD(绝对差分和，Sum of Absolute Difference)值。

在SAD值被用作相关值的情况下，随着SAD值减小，相关值增大。因此，在搜索范围106内移动的参考块108中，位于SAD值最低位置的参考块108是具有最高相关性的最高相关性参考块，并且该最高相关性参考块被检测作为运动补偿块103。随后，所检测的运动补偿块103的位置相对于目标块102的位置的位移量被检测作为运动矢量。

如上所述，在块匹配中，通过作为包括方向分量的量的参考矢量107来表示在搜索范围106内设定的多个参考块108中的每一个相对于目标块102的位置的位移量。每个参考块108的参考矢量107都具有与参考块108在参考帧101上的位置相对应的值。如上所述，在块匹配中，作为相关值的SAD值最小的参考块108的参考矢量被检测作为运动矢量104。

因此，在块匹配中，通常如图7所示检测运动矢量104。具体地，在存储器中以与对应于参考块108的位置的参考矢量107(为了简化描述，对应于参考块108的位置的参考矢量107在下文称作参考块108的参考矢量107)对应的关系来预先存储在搜索范围106内设定的多个参考块108中的每一个与目标块102之间的SAD值(为了简化描述，该SAD值在下文称作参考块108的SAD值)。然后，检测在存储器中存储的所有参考块108中具有最小的一个SAD值的参考块108来检测运动矢量104。

在搜索范围106内设定的、与对应于参考块108的位置的参考矢量107相对应地存储的多个参考块108的相关值(在所述实例中为SAD值)被称作相关值表。在所描述的实例中，由于作为差分绝对值和的SAD值被用作相关值，所以相关值表被称作差分绝对值和表或SAD表。

图7示出了SAD表TBL。参照图7，在所示的SAD表TBL中，每个参考块108的相关值(在所示实例中为SAD值)被称作相关值表元素。在图7的实例中，由参考数字111表示的SAD值是参考矢量为矢量(0，0)时的SAD值。此外，在图7的实例中，由于当参考矢量为矢量(3，2)时SAD值的最小值为“7”，所以所确定的运动矢量104为矢量(3，2)。

注意，例如，目标块102和参考块108的位置意味着诸如各个块的中心位置的任意具体位置。此外，参考矢量107表示参考帧101的目标块102的投影图像块109的位置与参考块108的位置之间的位移量(包括方向)。

由于对应于每个参考块108的参考矢量107是参考帧101上参考块108相对于与目标块102对应的投影图像块109的位置的位移，所以如果指定了参考块108的位置，也就对应于该位置指定了参考矢量的值。因此，指定参考块的相关值表元素在匹配处理范围110的存储器中的地址，然后指定对应的参考矢量。

注意，可以相对于两个或两个以上目标块来并行计算这些SAD值。如果待被同时处理的目标块数增多，则处理速度加快。然而，由于用于计算SAD值的硬件规模增大，所以处理速度的加快和电路规模的增大具有折中关系。

实施例的块匹配

上面块匹配的描述涉及一个目标块的运动矢量的计算。由于目标块在目标帧中的所占比率通常很低，所以通常难以将运动矢量直接确定为全局运动矢量。

在本实施例中，如图8所示，例如，目标帧100被划分成64个像素×64条线大小的多个目标块102，并确定每个目标块的运动矢量或局部运动矢量104B。此时，在本实施例中，同时计算表示每个所确定的局部运动矢量的可靠性的指标。

随后，基于局部运动矢量的可靠性指标，仅提取那些关于具有高可靠性的目标帧所确定的局部运动矢量，并且仅根据所提取的具有高可靠性的局部运动矢量来计算全局运动矢量。然后，所计算的全局运动矢量被用于执行参考帧相对于目标帧的定位，随后，叠加以这种方式定位的两个帧以生成降噪图像。

然后，当进行静止图片图像拾取时，图像拾取装置高速拾取图9所示的多个静止图像，将第一个静止图片拾取图像确定为目标帧100，而将预定数目的静止图片拾取图像(包括第二个及随后的静止图片拾取图像)确定为参考帧101。随后，图像拾取装置使用目标帧100和参考帧101执行叠加，并将所得到的叠加图像记录为静止图片拾取图像。具体地，如果图像拾取者按下图像拾取装置的快门按钮，则高速拾取预定数目的静止图像。随后，在第一个拾取的静止图像(帧)上，叠加并记录时间上在后拾取的多个静止图像(帧)。

注意，尽管没有在本实施例的描述中描述，但是当进行运动图片图像拾取时，当前从图像拾取元件中输出的当前帧的图像被确定为目标帧100的图像，而过去的先前帧的图像被确定为参考帧101的图像。换句话说，当进行运动图片图像拾取时，为了执行当前帧的图像的降噪，在当前帧之前帧的图像被叠加到当前帧上。

图像拾取装置的硬件结构实例

图1示出了作为根据本发明实施例的图像处理装置的图像拾取装置的实例。

参照图1，所示的图像拾取装置包括连接至系统总线2的中央处理单元(CPU)1，并且还包括连接至系统总线2的拾取图像信号处理系统10、用户操作输入单元3、图像存储单元4以及记录和再生装置单元5。注意，尽管在图1中未示出，但CPU 1包括其中存储有用于执行各种软件处理的程序的ROM(只读存储器)、用于工作区的RAM(随机存取存储器)等。

图1的图像拾取装置的图像拾取信号处理系统10响应于通过用户操作输入单元3的图像拾取记录启动操作执行如下所述的拾取图像数据的记录处理。此外，拾取图像信号处理系统10响应于通过用户操作输入单元3的拾取记录图像的再生启动操作来执行记录在记录和再生装置单元5的记录介质上的拾取图像数据的再生处理。

在拾取图像信号处理系统10中，通过包括图像拾取透镜10L的相机光学系统(未示出)接收的来自图像拾取对象的入射光照射在图像拾取元件11上以拾取图像。在本实施例中，图像拾取元件11由CCD(电荷耦合器件)成像器形成。注意，图像拾取元件11还可以由CMOS(互补金属氧化物半导体)成像器形成。

在图像拾取装置中，如果执行了图像拾取记录启动操作，则通过图像拾取透镜10L输入的图像经由图像拾取元件11被转换成拾取图像信号。随后，由红色(R)、绿色(G)和蓝色(B)的三原色所形成的贝尔阵列的原信号形式的模拟拾取图像信号被输出作为与来自定时信号生成部12的定时信号同步的信号。所输出的模拟拾取图像信号被提供给预处理部13，通过预处理部来执行诸如缺陷校正和γ校正的预处理，并且所得到的模拟图像信号被提供给数据转换部14。

数据转换部14将以原信号形式输入其中的模拟拾取图像信号转换成数字拾取图像信号或由亮度信号分量Y和色差信号分量Cb/Cr组成的YC数据。根据通过用户操作输入单元3接收的图像拾取指令，将来自数据转换部14的数字拾取图像信号写入图像存储单元4。

具体地，如果通过用户操作输入单元3接收的图像拾取指令是按压快门按钮而开始的静止图片拾取指令，则将来自数据转换部14的数字拾取图像信号写入图像存储单元4，从而使如上所述将彼此叠加的多个帧被写入图像存储单元4的第一～第N个帧存储器41～4N(N为将叠加的静止图片数)。

在本实施例中，按下快门按钮时的第一个帧的图像数据被作为目标帧的图像数据写入第一帧存储器41。随后，第二个和随后的帧图像的数据被作为参考帧的图像数据顺序写入第二～第N个帧存储器42～4N。

在将不同帧的多个图像写入图像存储单元4之后，通过全局运动矢量计算块15读入目标帧的图像数据和参考帧的图像数据，并执行下文所述的块匹配处理，以执行局部运动矢量LMV的检测、局部运动矢量LMV的可靠性的计算和全局运动矢量GMV的计算。

在本实施例中，全局运动矢量计算部15输出全局运动矢量GMV的信息、目标帧的图像数据TGv和参考帧的图像数据REFv。

来自全局运动矢量计算部15的全局运动矢量GMV的信息和参考帧的图像数据REFv被提供给运动补偿生成部16。运动补偿生成部16基于全局运动矢量GMV对参考帧的图像数据REFv应用对应于全局运动的处理(即，包括平行移动、旋转以及放大或缩小的转换处理)，从而生成运动补偿图像。

随后，来自全局运动矢量计算部15的目标帧的图像数据TGv被提供给相加部17，并且来自运动补偿生成部16的运动补偿图像的图像数据MCv被提供给相加部17。相加部17将图像数据TGv和MCv的相应位置处的像素相加，以执行图像的叠加处理，并输出所得到的和图像(降噪图像)的图像数据MIXv。

来自相加部17的和图像的图像数据MIXv作为在先前目标帧的图像数据上的目标帧的图像数据被重写到图像存储单元4的第一帧存储器41中。

具体地，第一帧存储器41的目标帧的图像数据首先是紧接在按下快门按钮之后的第一帧的图像数据。然而，如果将作为参考帧的第二帧的运动补偿图像的图像数据MCv和目标帧相加，则第一帧存储器41的目标帧的图像数据被重写为相加结果的和图像的图像数据MIXv。随后，对于作为参考帧的第三帧的图像数据，和图像的图像数据MIXv用作目标帧的图像数据。随后，通过全局运动矢量计算部15如上所述类似地计算全局运动矢量GMV，并通过相加部17执行图像叠加处理。然后，将相加结果的和图像的图像数据MIXv作为在先前目标帧的图像数据上的目标帧的图像数据被重写到在图像存储单元4的第一帧存储器41中。此后，对于作为参考图像的第四和随后帧中的每一个执行类似的处理操作。

因此，在执行了直至作为参考图像的第N个图像的图像的叠加处理之后，叠加了所有待叠加的N帧的降噪图像被写入到图像存储单元4的第一帧存储器41中。

随后，将存储在图像存储单元4的第一帧存储器41中、作为叠加结果的降噪图像的和图像(sum image)的图像数据MIXv通过系统总线2提供给静止图片编解码部18，通过静止图片编解码部18进行编解码转换，并例如记录在诸如记录和再生装置单元5的DVD(数字通用盘)或硬盘的记录介质上。在本实施例中，静止图片编解码部18根据JPEG(联合图象专家组)体系来对静止图片执行图像压缩编码处理。

此外，在静止图片图像拾取模式中，在按下快门按钮之前，来自数据转换部14的图像数据通过图像存储单元4的第一帧存储器41被提供给分辨率转换部19，并通过分辨率转换部19被转换成预定分辨率的数据。随后，所得到的图像数据被提供给NTSC(国家电视系统委员会)编码器20，通过编码器将所得到的图像数据转换成NTSC方式的标准色图像信号。随后，所得到的标准色图像信号被提供给例如可由LCD(液晶显示器)面板形成的监控显示单元6，并在监控显示单元6的显示屏上显示静止图片图像拾取模式的监控图像。

响应于通过用户操作输入单元3的再生启动操作来读出记录在记录和再生装置单元5的记录介质上的静止图片的图像数据，并将其提供给静止图片编解码部18，通过静止图片编解码部18将它们进行解码以用于再生。随后，为再生而解码的静止图片的图像数据通过图像存储单元4的缓冲存储器(未示出)被提供给NTSC编码器20，并通过NTSC编码器20被转换成NTSC方式的标准色图像信号。随后，标准色图像信号被提供给监控显示单元6，并在监控显示单元6的显示屏上显示其再生图像。

注意，尽管在图1中未示出，但仍能够通过图像输出终端将来自NTSC编码器20的输出图像信号导向外部。

注意，在本实施例中，虽然通过静止图片编解码部18以压缩形式来记录图像数据，但是也可以省略静止图片编解码部18而不以压缩形式记录图像数据。

此外，可以通过硬件或使用DSP(数字信号处理器)来形成上述全局运动矢量计算部15和运动补偿生成部16。此外，可通过CPU1的软件处理来代替全局运动矢量计算部15和运动补偿生成部16。

类似地，可以通过硬件或使用DSP来形成相加部17。此外，可通过CPU 1的软件处理来代替相加部17。这还可以类似地应用于静止图片编解码部18。

全局运动矢量计算部15

在本实施例中，全局运动矢量计算部15基本上使用参照图2A～图7在上文所述的SAD值来执行块匹配处理，以执行局部运动矢量检测。然而，注意，在本实施例中，全局运动矢量计算部15由如下所述的硬件构成，并通过分层块匹配处理和内插处理来计算局部运动矢量。此外，如上所述，全局运动矢量计算部15还计算每个局部运动矢量的可靠性指标。

分层的块匹配处理

在现有块匹配的普遍运动矢量检测处理中，在搜索范围内以像素为单位(即，以一个像素为单位或以多个像素为单位)移动参考块，并计算参考块在每个移动位置处的SAD值。随后，检测在以这种方式计算的SAD值中表示最小值的SAD值，并基于表示最小SAD值的参考块位置来检测运动矢量。

此外，在本实施例中，由于一帧被划分成多块，所以通过顺序转变目标块和参考块对整个画面图像执行上述块匹配处理，从而执行目标帧中所有目标块的局部运动矢量LMV的计算。

然而，上述这种现有运动矢量检测处理存在一个问题：由于参考块在搜索范围内以像素为单位移动，所以用于计算SAD值的匹配处理的次数增加，从而增加了匹配处理时间，并且SAD表的容量也与搜索范围成正比地增大。如果考虑到静止图像像素数的增加、运动图片清晰度的提高(更高的清晰度)以及一个图像的尺寸变大，则这个问题尤其显著。现有运动矢量检测处理还存在一个问题：通过系统总线2访问图像存储器的次数增加，并且必须增大总线带。

考虑到上述问题，在本实施例中，执行分层的块匹配，其中，首先减小目标图像或目标帧以及参考图像或参考帧的尺寸，以准备缩小图像和中间图像，随后，按缩小图像、中间图像和原始图像的顺序执行块匹配的运动矢量搜索，同时将先前阶段的块匹配结果反映在下一阶段的搜索中。通过执行分层的块匹配，以相对少量的计算和处理来有效地执行局部运动矢量的计算。

图11示出了分层的块匹配。参照图11，在所示实例中，基底面目标帧201和基底面参考帧301的尺寸缩小至1/a·1/b(1/a和1/b为缩小率，并且a＞1和b＞1)，以分别生成缩小面目标帧211和缩小面参考帧311。随后，将基底面目标帧201和基底面参考帧301缩小至1/b，以分别生成中间面目标帧221和中间面参考帧321。

尽管可以相对于基底面对缩小面和中间面使用任意倍率(scale)，但是可以将它们适当地设定为1/2～1/8倍，即，转换成像素数时为1/4～1/64倍。注意，在图11的实例中，缩小面相对于中间面的缩小率为1/4，即，a＝4，而中间面相对于基底面的缩小率为1/4，即，b＝4。

此外，为了生成缩小面和中间面，可应用任意的方法。然而，如果应用仅响应于缩小率对原始图像的像素进行采样来生成缩小面或中间面的方法，则生成折返(jreflection)分量，并且在第一层(缩小面)中检测到的运动矢量很可能偏离正确的运动矢量。因此，首先通常将具有适合于缩小率的截止频带的低通滤波器应用于原始图像，然耨执行适合于该缩小率的采样。

在本实施例中，计算在包括通过根据倍率的采样而消失的那些像素的像素的亮度平均值，并将其用作缩小面像素或中间面像素的亮度值。具体地，在1/a缩小的情况下，计算a×a像素的正方形区域中的亮度平均值，并用作缩小面像素或中间面像素的亮度值。在这种情况下，即使首先形成中间面并随后从中间面生成缩小面，仍能够获得与通过原始画面图像直接生成缩小面的情况相同的结果。因此，这种方法效率更高。

注意，当生成缩小图像时，水平方向上的缩小率和垂直方向上的缩小率可以与上述情况相同，或者也可以不同。

在以上述方式生成缩小面或中间面之后，首先为缩小面目标帧211设定缩小面目标块212，并且为缩小面参考帧311设定缩小面搜索范围313。随后，通过缩小面运动矢量检测装置401对在缩小面搜索范围313内的多个缩小面参考块312执行块匹配处理，以检测呈现最小SAD值的缩小面参考块位置，从而检测缩小面运动矢量MVs。

在本实例中，缩小面运动矢量检测装置401对作为缩小面目标块212的大小的块(即，水平方向上的像素数×垂直方向上的线数的块)的块匹配处理单位执行处理。

在缩小面运动矢量MVs的计算结束之后，在大小等于缩小面目标帧211乘以a的中间面目标帧221上设定中间面目标块222。

在图11的实例中，中间面运动矢量检测装置402对作为尺寸与缩小面运动矢量检测装置401的块匹配处理单位相同的块(即，相等像素数＝水平方向上的相等像素数×垂直方向上的相等线数)的中间目标块执行块匹配处理。

在本实例的情况下，由于缩小面具有中间面1/a的尺寸，所以与缩小面目标块212相对应的、包括在中间面目标帧的区域中的中间面目标块222的数目为a，并且所有中间面目标块222设定为中间面运动矢量检测装置402的块匹配处理对象。

随后，在具有尺寸等于缩小面参考帧311的a倍的中间面参考帧321中，设定以缩小面运动矢量MVs为中心的中间面搜索范围323。随后，通过运动矢量检测装置402对中间面搜索范围323内的多个中间面目标块322执行上述块匹配处理，以检测呈现最小SAD值的中间面参考块位置，从而检测中间面运动矢量MVm。

中间面运动矢量检测装置402在中间面搜索范围323内所设定的每个中间面目标块中执行块匹配处理，以检测每个中间面目标块的运动矢量。随后，多个运动矢量中呈现最小SAD值的那一个被检测作为中间面的缩小面运动矢量MVs，即，中间面运动矢量。

在缩小面运动矢量MVs的计算结束之后，在具有等于中间面目标帧221的b倍的尺寸的基底面目标帧201中设定基底面目标块202。

在图11的实例中，基底面运动矢量检测装置403也对作为尺寸与运动矢量检测装置401和402相同(即，相等像素数＝水平方向上的相等像素数×垂直方向上的相等线数)的块的处理单位块执行块匹配处理。

随后，由于以上述处理单位块为单位获得了中间面运动矢量MVm，所以设定作为基底面运动矢量检测装置403的对象的基底面目标帧201的基底面目标块202的数目，以使其等于尺寸等于如图11中的斜线所表示的缩小面的块(即，处理单位块)的数目的b倍。

另一方面，在具有等于中间面参考帧321的b倍的尺寸的基底面参考帧301中，设定以缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量为中心的基底面搜索范围303。通过基底面运动矢量检测装置403在基底面搜索范围303中对多个基底面参考块302执行上述块匹配处理，以检测呈现最小SAD值的基底面参考块的位置，从而检测基底面运动矢量MVb。

由于以相同尺寸的处理单位块为单位获得缩小面运动矢量MVs和中间面运动矢量MVm，所以以缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量为中心所设定的基底面搜索范围303比包括b个基底面目标块202的区域大一点。

基底面运动矢量检测装置403在具有b个基底面目标块202的基底面搜索范围303中所设定的基底面目标块的搜索范围内执行块匹配处理，从而执行基底面目标块的运动矢量的检测。随后，多个运动矢量中呈现最小SAD值的那一个被检测作为基底面运动矢量MVb，即，基底面的基底面运动矢量。

随后，作为以上述方式确定的缩小面运动矢量MVs、中间面运动矢量MVm和基底面运动矢量MVb的合成矢量，检测基底面目标帧201与基底面参考帧301之间的基底面目标块的局部运动矢量LMV。

对目标帧和参考帧的所有区域都执行如上所述的这种分层的块匹配处理，同时顺序转变目标块和参考块，从而以在目标帧中设定的多个目标块为单位计算所有的多个局部运动矢量LMV。

在图11的实例中，运动矢量检测装置401、402和403实际上是一个装置，它们的区别在于从图像存储单元4中读出然后输入的目标块以及从搜索范围内读出的参考块。

注意，在配置基底面目标帧201以获得所有基底面目标块202的局部运动矢量LMV的情况下，应执行目标块的转变，以便在缩小面上设定缩小面目标块，同时，根据倍率1/a和1/b，在水平方向上将缩小面顺序移动与水平方向上的像素数相对应的量，并根据倍率1/a和1/b，将缩小面在垂直方向上顺序移动与垂直方向上的线数相对应的量。

然而，通过由多个局部运动矢量LMV确定全局运动矢量GMV的对象，可以将缩小面目标块设定为在水平方向和垂直方向上顺序移动，使得关于在基底面目标帧201的跳过位置处的基底面目标块获得局部运动矢量LMV。

注意，上述分层的块匹配另外可以省略中间面而仅通过两个分层的缩小面和基底面来执行，或者可以包括用于不同中间面的多个中间层。但是，如果缩小率很高使得在同一单位块中包括了运动图像拾取对象和背景，则最初应该被检测作为不同运动矢量的多个运动矢量被作为单个运动矢量而处理。由于在后续层中无法恢复，所以必须小心地执行缩小率的选择。

局部运动矢量LMV的可靠性的计算

在具有相对大量噪声的图像为目标图像的情况下，由于SAD值受到噪声影响，所以通常不能获得正确的矢量。图12为夜景的照片，其包括相对大量的噪声。如果示出图12的图像与包含非常小的旋转量的同时通过左方的相机抖动所拾取的图像之间的运动矢量，则得到如图13所示的这种结果。图13是通过绘制通过将原始图片缩小至1/8所获得的缩小图像的缩小面运动矢量得到的。

如图13所示，获得其纹理不是特别清晰的夜空的运动矢量作为十分多样的运动。在分层的块匹配中，由于在生成缩小图像时应用低通滤波器，所以耐噪声性相对高。但是，如图13所示，缩小图像受到噪声影响。由于通过缩小面运动矢量周围的搜索获得基底面的局部运动矢量LMV，所以如果缩小画面图像运动矢量偏离了正确的运动矢量，则恢复无效，并且缩小面运动矢量直接受噪声影响并进一步被扰乱。

即使根本不具有噪声的拾取图像为目标图像，但如果图像的纹理不清晰，则由于连续拍摄图像拾取时外部光线的微小变化或曝光时间的差引起的灰阶变化更大，并且所检测的运动矢量通常偏离正确值。此外，当大量的树木或诸如大楼的人工结构具有很多重复的纹理图案时，即使通过刚刚描述的纹理的重复图案，所检测的运动矢量也可能会偏离正确值。

假设刚刚描述的这种情况，在相关技术中已经进行了仅使用具有高可靠性的运动矢量来计算全局运动的尝试。例如，已提出执行目标图像的边缘检测，并确定具有清晰边缘的块的运动矢量作为具有高可靠性的运动矢量，或者使用目标图像的IDCT(离散反余弦变换)结果的DC分量和AC分量来计算可靠性。

还推荐了一种方法，其中，使用作为一种滤波器的角检测器来检测目标图像上的特征点，使得所得到的运动矢量具有高可靠性，或者按照在参考图像上也维持多个特征点的位置关系的假设，从多个运动矢量的组合中提取出高可靠性的运动矢量。

然而，上述这些现有技术并没有假设高噪声的图像，并且明显对于具有高水平噪声的图像无效。

在本实施例中，考虑到上述情况，采用了一种对策来获得可靠性指标值，通过其即使是高噪声环境下的图像也能估算运动矢量的可靠性。

在本实施例中，目标块和参考块之间的相关值中的第一极大值和第二极大值的差或比用作相对于运动矢量可靠性的指标值。在本实施例中，由于目标块和参考块之间的相关值被检测为SAD值，所以相关值中的第一极大值和第二极大值分别为SAD值的第一极小值和第二极小值。

图14示意性示出了关于一个目标块的SAD表的SAD值。在图14中，搜索范围被表示为在图像的水平方向或x方向以及垂直方向或y方向上的二维范围，并在高度方向上(即，在与x和y方向垂直的方向上)取SAD值。因此，SAD表被表示为3次曲面。

在通常的块匹配处理中，为了检测运动矢量，仅将SAD表中SAD值的最小值确定为检测对象。然而，SAD值的这个最小值是SAD表中的SAD值的第一极小值，并且在图14中，该值假设由点501所表示的位置。在图14中，检测运动矢量MV作为从运动的原点(即，(x＝0，y＝0))至由点501所表示的SAD值的最小值位置的矢量。

如果考虑到不存在噪声的理想状态，则当确定搜索范围内的多个参考块和目标块之间的相关值时，由3次曲面表示的SAD表呈现以下状态：其中，3次曲面均匀向下凸出，并且仅存在SAD值的一个极小值。但是，在实际的图像拾取状态下，因为不仅存在光量变化、运动体的运动等影响，而且还存在各种噪声的影响，所以由3次曲面表示的SAD表几乎不呈现均匀向下凸出的形状，而是通常具有SAD值的多个极小值。

因此，在本实施例中，基于呈现等于SAD值的最小值的第一极小值的参考块的位置来检测运动矢量MV。但是，SAD值中除SAD值的第一极小值之外的极小值(即，SAD值的第二极小值)被检测用于生成相对于可靠性的指标。在图14中，由点501表示的位置代表第一极小值，而由另一个点502表示的位置代表极小最小值。

如果限制噪声等的影响，则SAD值的第一极小值和SAD值的第二极小值之间的差值很大，并且通过SAD值的第一极小值(即，通过SAD值的最小值)所检测的运动矢量MV的可靠性很高。另一方面，在包括大量噪声等的另一种环境下，SAD值的第一极小值和SAD值的第二极小值之间的差值很小，不能够区分SAD值的第一和第二极小值中的哪一个正确地对应于运动矢量MV。因此，可靠性很低。

如上所述，SAD值的第一极小值(SAD值的最小值)和SAD值的第二极小值之间的差值被确定作为相对于所检测运动矢量的可靠性指标。图15示出了在一维轴上表示图14中的搜索范围的SAD表。在本实施例中，图15中的第二极小值与第一极小值(即，SAD值的最小值)之间的差被确定为运动矢量MV的指标值Ft。

注意，在仅获得SAD值的第一极小值而没有获得第二极小值的情况下，在本实施例中，将SAD值理论上的最大值或SAD值表中的SAD值的最大值确定为运动矢量MV的可靠性指标值。因此，确定刚刚描述的这种块的运动矢量很高。但是，由于所描述类型的块很少存在，所以可以从可靠性的估算中排除仅从中获得SAD值的第一极小值而没有获得第二极小值的块的运动矢量。

注意，代替SAD值的第一极小值(SAD值的最小值)与SAD值的第二极小值之间的差，SAD值的第一极小值(SAD值的最小值)与SAD值的第二极小值之间的比可以被用作运动矢量MV的指标值Ft。但是，在下面的描述中，使用的是SAD值的第一极小值(SAD值的最小值)与SAD值的第二极小值之间的差。

根据本实施例中的运动矢量的可靠性指标，由于没有如相关技术使用诸如图像的边缘或特性的图像分量而是仅使用了目标帧与参考帧之间的相关值，所以抗噪稳定性很高。换句话说，获得具有高精度的运动矢量的可靠性指标，而不会受到图像噪声影响。

此外，在本实施例中，使用相关值的第一极大值(SAD值的第一极小值)与相关值的第二极大值(SAD值的第二极小值)之间的差或比也是使本实施例中运动矢量的可靠性指标具有很高抗噪稳定性的原因。

具体地，如果噪声水平升高，则即使运动矢量正确，运动矢量的SAD值仍会升高。因此，在为了提取出具有高可靠性的运动矢量而对运动矢量的指标值Ft设定阈值从而执行与阈值的比较处理的情况下，还需要响应于噪声水平改变其本身的阈值。

相反，在使用本实施例中的运动矢量的指标值Ft的情况下，由于相关值中的第一极大值(SAD值的第一极小值)和相关值中的第二极大值(SAD值的第二极小值)都响应于噪声水平而升高，所以在两者的差中，噪声的影响抵消。换句话说，能够实现不取决于噪声水平的固定值的阈值处理。这也类似地应用于相关值中的第一极大值(SAD值的第一极小值)与相关值的第二极大值(SAD值的第二极小值)之间的比被用作运动矢量的指标值的情况。

顺便提及，在对其执行块匹配的目标块的图像的对比度很低的情况下，SAD值的第二极小值与SAD值的最小值之间的差具有减小的趋势。因此，当相同的帧包括具有高对比度的区域和具有低对比度的另一个区域时，如果将相同的阈值用于估算矢量可靠性的估算值Ix，则很可能优先选择具有高对比度的区域。

尽管从运动矢量可靠性的角度来看这是正确的结果，但是为了在一定程度上减小具有低对比度的区域，在本实施例中，用于缓解对比度影响的项被添加至用于确定相对于运动矢量可靠性的指标值的数学运算表达式。具体地，确定目标帧图像的最大亮度值与最小亮度值之间的差值，并在相对于运动矢量可靠性的指标值上反映亮度的差值。注意，为了避免噪声的不良影响，在将低通滤波器应用于目标帧的图像数据之后，执行最大亮度和最小亮度的提取。

鉴于上文所述，给出本实施例中指标值Ft的计算表达式：

Ft＝(Btm2SAD-MinSAD)-(MaxTAR-MinTAR)×Co

                                    ...(表达式1)

其中

Ft：运动矢量的可靠性指标值

Btm2SAD：SAD值的第二极小值

MinSAD：SAD值的最小值(第一极小值)

MaxTAR：目标块的最大亮度值

MinTAR：目标块的最小亮度值

Co：加权系数(≤1)

注意，在相关值的第一极大值与相关值的第二极大值之间的比被用作运动矢量可靠性指标值的情况下，完全类似于上文所给出的(表达式1)，用于缓解对比度影响的项也可以被添加至可靠性指标值计算表达式。但是，在运动矢量的指标值Ft的计算中，实质上并不必须添加用于缓解对比度影响的项，而是可以省略该项。

在上面的描述中，虽然仅确定基底面运动矢量MVb的运动矢量可靠性指标值，但自然也可以关于缩小面运动矢量MVs或中间面运动矢量MVm来类似地确定运动矢量的可靠性指标值。

全局运动矢量GMV的计算

在相关技术中，不使用上述这种运动矢量的可靠性指标值；利用相同的权重来使用对目标帧确定的全部多个局部运动矢量LMV，以计算全局运动矢量GMV。

相反，在本实施例中，能够以上述方式来获得目标帧的多个局部运动矢量LMV中的每一个的可靠性指标值Ft。

随后，可以对以这种方式确定的多个局部运动矢量LMV的可靠性指标值进行标准化，从而对每个局部运动矢量LMV确定例如大于等于0但小于等于1的加权系数。随后，在全局运动矢量GMV的计算运算操作中，可以不通过相同的权重而是通过根据各个加权系数所确定的多个权重来使用局部运动矢量LMV，以计算全局运动矢量GMV。

然而，为了简化全局运动矢量GMV的运算操作处理来降低运算操作负荷，在本实施例中，将局部运动矢量LMV的加权系数W二进值化成0和1。

因此，在本实施例中，设定用于运动矢量的指标值Ft的阈值th，并根据以下运算操作表达式使用每个运动矢量的指标值Ft来计算每个全局运动矢量GMV的加权系数W：

当Ft＞th，W＝1，而

当Ft≤th，W＝0

                                    ...(表达式2)

这等价于将指标值Ft用于判定多个局部运动矢量LMV中的每一个的可靠性并仅从多个局部运动矢量LMV中提取出那些具有高可靠性的局部运动矢量LMV，然后仅将所提取的具有高可靠性的局部运动矢量LMV用于计算全局运动矢量GMV。在本实施例中，由于目标帧中的目标块数相对较多，所以即使在使用如本实例仅提取具有高可靠性的局部运动矢量LMV的方法的情况下，仍能够计算具有高精度的全局运动矢量GMV。

注意，下文将描述通过多个局部运动矢量LMV来计算全局运动矢量GMV的具体处理实例。

尽管从上面参照图12描述的具有大量噪声的图像中获取如图13所示的这些局部运动矢量，但是如果使用根据本实施例的运动矢量的可靠性指标值对图13的图像上表示的局部运动矢量执行可靠性判定，以仅提取那些具有高于阈值的可靠性的可靠性指标值并随后绘制块和运动矢量，则获得如图16所示的这种图像。鉴于此，对于图16所示的多个块，获得基本正确的局部运动矢量，而不受噪声影响。

全局运动矢量计算部15的硬件结构的实例

全局运动矢量计算部15执行如上所述的对每个目标块检测局部运动矢量LMV、计算所检测局部运动矢量LMV的可靠性指标值、计算全局运动矢量GMV等处理。

图17示出了全局运动矢量计算部15的硬件结构的实例。参照图17，全局运动矢量计算部15包括：目标块缓冲块151，用于存储目标块102的像素数据；参考块缓冲块152，用于存储参考块108的像素数据；匹配处理块153，用于计算目标块102和参考块108的对应像素的SAD值；局部运动矢量计算块154，用于根据从匹配处理块153输出的SAD值信息来计算局部运动矢量；控制块155；运动矢量可靠性指标值计算快156；全局运动矢量运算操作块157；以及对比度计算块158。

对比度计算块158包括低通滤波器1581、最大亮度值检测部1582和最小亮度值检测部1583。

此外，尽管未示出，但是在本实例中，由目标帧和参考帧的图像数据所生成的原始图片的目标帧和参考帧的缩小面的图像数据和中间面的图像数据被存储并保留在图像存储单元4中。

如图17所示，控制块155控制全局运动矢量计算部15的处理顺序，并将控制信号提供给全局运动矢量计算部15的组件。

目标块缓冲块151从图像存储单元4的缩小面、中间面或基底面的目标帧的图像数据中读入指定目标块的图像数据，并在控制块155的控制下将图像数据提供给匹配处理块153。

参考块缓冲块152从图像存储单元4的缩小面、中间面或基底面的参考帧的图像数据中读入指定匹配处理范围内的图像数据，并在控制块155的控制下将依次来自匹配处理范围的图像数据中的参考块的图像数据提供给匹配处理块153。

匹配处理块153接收来自目标块缓冲块151的目标块的图像数据和来自参考块缓冲块152的参考块的图像数据，并在控制块155的控制下对缩小面、中间面和基底面执行块匹配处理。随后，匹配处理块153将参考矢量(即，参考块的位置信息)和块匹配处理结果的SAD值提供给局部运动矢量计算块154。

局部运动矢量计算块154包括用于SAD值的第一极小值存储部1541和用于SAD值的第二极小值存储部1542，并执行从来自匹配处理块153的SAD值中检测出SAD值的第一极小值和SAD值的第二极小值的处理。

随后，局部运动矢量计算块154依次更新用于SAD值的第一极小值存储部1541中的SAD值的第一极小值和SAD值的第一极小值的位置信息(即，参考矢量)以及用于SAD值的第二极小值存储部1542中的SAD值的第二极小值和SAD值的第二极小值的位置信息(即，参考矢量)。然后，当对于匹配处理范围内的所有参考块的块匹配处理结束时，局部运动矢量计算块154执行处理操作，以便将处于该时间点的目标块的SAD值的第一极小值和SAD值的第一极小值的位置信息或参考矢量以及SAD值的第二极小值和SAD值的第二极小值的位置信息或参考矢量分别存储在第一极小值存储部1541和第二极小值存储部1542中。

随后，当对于匹配处理范围内的所有参考块的块匹配处理结束时，局部运动矢量计算块154检测在SAD值存储在第一极小值存储部1541中的参考矢量的信息(即，位置信息)，作为在缩小面、中间面和基底面的每一个中的运动矢量。下文将详细描述局部运动矢量计算块154的处理操作。

本实施例中的局部运动矢量计算块154在缩小面匹配处理时将缩小面运动矢量MVs作为局部运动矢量LMV提供给控制块155。

控制块155根据缩小面运动矢量MVs的信息来确定用于中间面的搜索范围，并将控制信号提供给目标块缓冲块151、参考块缓冲块152和匹配处理块153，以使它们执行中间面中的块匹配。

然后，当中间面中的匹配处理结束时，局部运动矢量计算块154将缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量信息作为局部运动矢量LMV提供给控制块155。

控制块155根据缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量信息来确定用于基底面的搜索范围，并将控制信号提供给目标块缓冲块151、参考块缓冲块152和匹配处理块153，以使它们执行基底面中的块匹配。

当基底面中的匹配处理结束时，局部运动矢量计算块154将缩小面运动矢量MVs、中间面运动矢量MVm和基底面运动矢量MVb的合成矢量信息作为局部运动矢量LMV提供给并临时存储在全局运动矢量运算操作块157中。

此外，当基底面中的匹配处理结束时，通过控制块155激活运动矢量可靠性指标值计算部156，以接收从局部运动矢量计算块154提供的第一极小值存储部1541的SAD值的最小值MinSAD和第二极小值存储部1542的SAD值的第二极小值Btm2SAD。

此外，与此同时，将目标块的图像数据从目标块缓冲块151通过低通滤波器1581提供给最大亮度值检测部1582和最小亮度值检测部1583。随后，将通过最大亮度值检测部1582和最小亮度值检测部1583分别检测到的最大亮度值MaxTAR和最小亮度值MinTAR提供给运动矢量可靠性指标值计算部156。

运动矢量可靠性指标值计算部156使用提供给其的信息，根据上文给出的(表达式1)来计算运动矢量的可靠性指标值Ft。随后，运动矢量可靠性指标值计算部156将计算得到的可靠性指标值Ft提供给全局运动矢量运算操作块157。全局运动矢量运算操作块157以与此时提供给其的局部运动矢量LMV相关联的关系来临时存储输入其中的可靠性指标值Ft。

在针对目标帧中所有目标块结束上述一系列处理之后，控制块155将控制指令信号提供给全局运动矢量运算操作块157，从而开始全局运动矢量GMV的运算操作处理。

在本实施例中，全局运动矢量运算操作块157首先根据来自控制块155的控制指令信号，使用以与局部运动矢量LMV相对应的关系而存储的运动矢量可靠性指标值Ft，根据上文给出的(表达式2)来执行存储在其中的多个局部运动矢量LMV的可靠性的判定，从而仅提取那些示出高可靠性的局部运动矢量LMV。

随后，全局运动矢量运算操作块157仅使用所提取的具有高可靠性的局部运动矢量LMV来执行计算全局运动矢量GMV的运算操作处理，并将所得到的全局运动矢量GMV提供给相加部17中的运动补偿生成部16。

如上所述，运动补偿生成部16对通过全局运动矢量计算部15发送至其中的参考帧的图像数据REFv，利用全局运动矢量GMV执行对应于全局运动的转换处理，从而生成运动补偿图像。随后，将所生成的运动补偿图像叠加到目标帧的图像数据上。

由于通过具有高可靠性的局部运动矢量LMV生成本实施例中的全局运动矢量GMV，所以其具有很高的精度，并且通过叠加获得的降噪图像质量很好。

局部运动矢量计算块154的处理操作

为了检测SAD值的最小值，本实施例中的局部运动矢量计算块154确定位置Po作为判定对象点，并执行位置Po处的SAD值与由图18中的虚线框所围绕的位置Po附近和周围的8个SAD值之间的比较。随后，局部运动矢量计算块154判定该判定对象点的SAD值是否为由虚线框所围绕的区域中的9个SAD值中的最小值(下文称作局部极小值)。

然后，如果确定判定对象点的SAD值为局部极小值，则局部运动矢量计算块154将判定对象点的SAD值与至此所存储的SAD值的极小值进行比较。随后，如果局部运动矢量计算块154判定该判定对象点的SAD值低于此前所存储的SAD值的极小值，则用新检测的局部极小SAD值来更新存储在其中的SAD值的极小值。

当如上所述局部运动矢量计算块154以1个像素为单位搜索参考块以检测这个局部极小SAD值时，为了将用于存储SAD值的SAD表的缓冲存储器最小化，如图18所示，准备能够存储水平方向上目标块的尺寸的两行的SAD值+3个SAD值的缓冲存储器。

如图18所示，如果将水平方向上目标块尺寸的两行的SAD值+3个SAD值写入缓冲存储器，则其变得能够判定位置Po处的局部极小值。

为了将缓冲存储器的尺寸最小化，如图18所示，新输入的SAD值被重写到已经存储了不再用于极小值估算或局部极小值检测的旧SAD值的存储位置Pa。具体地，尽管根据顺序将新输入的SAD值写入图18所示的存储位置Pb，但是却重新利用不再使用的存储位置Pa，从而抑止了存储器硬件规模的增大。

注意，除用于存储局部极小值的缓冲器之外，局部运动矢量计算块154还包括上文所述的第一极小值存储部1541和第二极小值存储部1542。

上述这一系列处理是基本处理，并将该基本处理应用于第一极小值和第二极小值，从而检测SAD值的最小值和第二极小值。

在本实施例中，虽然局部运动矢量计算块154对缩小面、中间面和基底面执行相同的操作，但局部运动矢量计算块154检测局部运动矢量LMV并计算基底面上的局部运动矢量LMV的可靠性指标值。因此，对基底面来说仅需要SAD值的第二极小值，并且可以省略缩小面和中间面上的SAD值的第二极小值的计算和存储。

图19示出了通过局部运动矢量计算块154进行第一极小值和第二极小值的检测处理操作的流程。

参照图19，在步骤S101中，局部运动矢量计算块154首先从匹配处理块153中获取SAD值。随后，在步骤S102中，局部运动矢量计算块154将位置Po处的SAD值与位置Po周围位置处的8个SAD值进行互相比较。然后，在步骤S103中，局部运动矢量计算块154基于比较结果来判定位置Po处的SAD值是否为局部极小值。

如果在步骤S103中判定位置Po处的SAD值不是局部极小值，则处理返回步骤S101，以执行下一个SAD值的获取。

另一方面，如果在步骤S103中判定位置Po处的SAD值为局部极小值，则在步骤S104中，局部运动矢量计算块154将存储在其中的SAD值的第一极小值和第二极小值与位置Po处的SAD值进行比较。

随后，局部运动矢量计算块154判定位置Po处的SAD值是否低于存储在其中的SAD值的第一极小值。然后，如果判定位置Po处的SAD值较低，则在步骤S106中，局部运动矢量计算块154用存储在第一极小值存储部1541中的SAD值来更新第二极小值存储部1542，并将位置Po处的SAD值存储在第一极小值存储部1541中。

随后，在步骤S109中，局部运动矢量计算块154判定是否通过目标块完成了对所有参考块的SAD值的计算处理。如果判定还没有完成计算处理，则处理返回步骤S101，在此获取下一个SAD值。另一方面，如果在步骤S109中判定通过目标块完成了对所有参考块的SAD值的计算处理，则局部运动矢量计算块154结束处理程序。

另一方面，如果在步骤S105中判定位置Po处的SAD值等于或高于存储在其中的SAD值的第一极小值，则在步骤S107中，局部运动矢量计算块154判定位置Po处的SAD值是否小于存储在其中的SAD值的第二极小值。如果判定位置Po处的SAD值较小，则在步骤S108中，局部运动矢量计算块154用位置Po处的SAD值来更新存储在第二极小值存储部1542中的SAD值。

处理从步骤S108前进至步骤S109，局部运动矢量计算块154判定是否完成了对所有参考块的SAD值的计算处理。如果判定还没有完成计算处理，则处理返回步骤S101，在此获取下一个SAD值。另一方面，如果在步骤S109中判定对目标块完成了对所有参考块的SAD值的计算处理，则处理程序结束。

另一方面，如果在步骤S107中判定位置Po处的SAD值不小于存储在其中的SAD值的第二极小值，则处理前进至步骤S109，其中，局部运动矢量计算块154判定是否对目标块完成了针对所有参考块的SAD值的计算处理。如果判定还没有完成计算处理，则处理返回步骤S101，在此获取下一个SAD值。另一方面，如果在步骤S109中判定对目标块完成了对所有参考块的SAD值的计算处理，则处理程序结束。

图19所示的处理流程图可以类似地应用于缩小面、中间面和基底面。对于缩小面和中间面，检测最终存储在第一极小值存储部1541中的SAD值作为SAD值的最小值MinSAD，并分别检测对应的参考矢量作为缩小面运动矢量MVs和中间面运动矢量MVm。随后，输出最小值MinSAD以及缩小面运动矢量MVs和中间面运动矢量MVm。

另一方面，对于基底面，检测最终存储在第一极小值存储部1541中的SAD值作为SAD值的最小值MinSAD，并检测对应的参考矢量作为基底面运动矢量MVb。随后，输出SAD值的最小值MinSAD和基底面运动矢量MVb。此外，对于基底面，将最终存储在第一极小值存储部1541中的SAD值(即，最小值MinSAD)和最终存储在第二极小值存储部1542中的SAD值(即，SAD值的第二极小值)提供给运动矢量可靠性指标值计算部156。

全局运动矢量运算操作块157的处理操作

在本实施例中，在通过大量的局部运动矢量LMV计算全局运动矢量GMV或估算全局运动的情况下，使用通过仿射变换(affinetransformation)来表示全局运动的方法。

图20示出了仿射变换的通式作为(表达式3)。在(表达式3)中，v表示目标块的运动矢量的水平分量，w表示目标块的运动矢量的垂直分量，a、b、c、c、e和f表示仿射参数，以及x和y分别表示目标块的中心坐标的水平分量和垂直分量。

在将仿射变换应用于本实施例的情况下，通过每个目标块的中心坐标和在每个目标块上观察到的运动矢量，如图21的(表达式4)表示在由仿射变换确定的理想矢量上观察到的运动矢量的误差的总和ε。

导出全局运动的建议是估计使上述误差总和ε最小的仿射参数a～f，并且能够通过最小平方法来解答。图22～图24示出了根据(表达式5)、另一个(表达式6)以及再一个(表达式7)导出仿射参数a～f的处理以及导出处理的结果。

虽然以这种方式相对容易地计算仿射变换的参数，但它的效果很好。由于不仅对平行运动、旋转以及放大或缩小准备仿射变换，而且对一定程度的变形也准备仿射变换，所以覆盖了大多数相机抖动(即，相机工作的微小校正)。

作为从未指定的大量矢量中导出最优选的全局运动的方法，在本实施例中使用图25和图26所示的方法。根据该方法，从具有高可靠性的块中，逐渐排除诸如运动图像拾取对象的不太可能符合全局运动的那些块，使得全局运动的参数收敛。

首先参照图26，在步骤S201中，全局运动矢量运算操作块157首先对存储在其中的多个局部运动矢量LMV将运动矢量可靠性指标值Ft与预先确定的阈值进行户型比较，从而仅选择具有高可靠性的局部运动矢量LMV的那些目标块(为了简化描述，下文将其称作块)。该处理对应于以下情况：将两个值1和0用作如上所述与上文给出的(表达式2)相关的加权系数W。

随后，在步骤S202中，仅将多个块的所选局部运动矢量LMV用于导出或评价全局运动矢量GMV。换句话说，计算全局运动矢量GMV的仿射参数a～f。

随后，在步骤S203中，全局运动矢量运算操作块157基于导出的全局运动矢量GMV来计算在步骤S201中选择的每个块的理论局部运动矢量LMVs。

然后，对多个所选块中的每一个，在步骤S204中，计算通过块匹配处理确定的局部运动矢量LMV与在步骤S203中确定的理论局部运动矢量LMVs之间的误差EN。

如果重视运算操作的精度，则可以通过勾股定理的相关距离计算来执行通过块匹配确定的运动矢量与理论运动矢量之间的误差的计算。然而，如果更加重视亮度而不是运算操作的精度，则可以将在水平和垂直两个方向之间确定的距离的总和用作近似距离。

随后，在步骤S205中，全局运动矢量计算块157使用对所选多个块确定的所有误差EN来计算所有误差的平均值Eave和最大值Emax。随后，在步骤S206中，全局运动矢量运算操作块157判定平均值Eave是否低于预先确定的阈值θa以及最大值Emax是否低于预先确定的阈值θb。

如果作为步骤S206的判定结果，全局运动矢量运算操作块157判定不满足这些条件，则在步骤S208中，从导出全局运动矢量GMV的那些块中排除在步骤S204中确定的误差EN满足En＝Emax的那些块。可选地，在步骤S208中，全局运动矢量运算操作块157检测误差EN满足En≥θb的那些块，并从导出全局运动矢量GMV的那些块中排除所有被检测的块。

随后，在步骤S209中，作为步骤S208中块排除的结果，全局运动矢量运算操作块157判定剩余块数是否小于预先确定的阈值θc。如果判定剩余块数不小于阈值θc，则处理返回步骤S202，以使用剩余块作为所选择的块来重复从步骤S202开始的上述处理。另一方面，如果在步骤S209中判定剩余块数小于阈值θc，则由于不能够获得正确的全局运动矢量GMV，而在步骤S210中，全局运动矢量运算操作块157确定不使用对象参考帧的图像并跳过随后对参考帧的所有处理。

然后，如果在图25的步骤S206中判定平均值Eave低于阈值θa且最大值Emax低于阈值θb，则在步骤S207中，全局运动矢量运算操作块157确定运算操作已收敛，并最终确定具有此时的值的全局运动矢量GMV。随后，处理程序结束。

注意，可基于确定全局运动矢量GMV时的收敛率和精度之间的平衡来确定是否应该仅排除误差EN等于最大值Emax的块或者是否应该整体排除误差EN高于阈值θb的那些块。如果精度优先，则可以采用前一种方法，以逐一排除误差块，但是如果收敛率优先，则可以选择后一种方法。

注意，对于以上述方式确定的全局运动，根据使用仿射变换的参数a、b、c、d、e和f的图20的(表达式3)所计算的每个目标块的运动矢量(对应于理论局部运动矢量MVs)作为全局运动矢量GMV被从全局运动矢量计算部15提供给运动补偿生成部16。

随后，运动补偿生成部16使用目标块的运动矢量，以生成各个目标块的运动补偿图片，并将对各块生成的运动补偿图片提供给相加部17。

图27示出了关于具有大量噪声的图12的图像所确定的各个目标块的全局运动矢量。

第二实施例

在上述实施例中，局部运动矢量计算块154执行分层的块匹配来计算基底面上的局部运动矢量LMV。随后，运动矢量可靠性指标值计算快156计算相对于基底面的局部运动矢量LMV的指标值Ft，并且全局运动矢量运算操作块157使用基底面的局部运动矢量LMV的运动矢量可靠性指标值Ft来提取出那些具有高可靠性的局部运动矢量LMV，并使用具有高可靠性的局部运动矢量LMV来计算全局运动矢量GMV。

顺便提及，通过使缩小面运动矢量MVs和中间面运动矢量MVm乘以基底面的图像缩小率的倒数，能够获得基底面运动矢量MVb。因此，为了计算全局运动矢量GMV，可以不确定基底面运动矢量MVb，而是通过缩小面运动矢量MVs或中间面运动矢量MVm来确定全局运动矢量GMV。

例如，为了通过缩小面运动矢量MVs确定全局运动矢量GMV，运动矢量可靠性指标值计算块156计算相对于通过局部运动矢量计算块154计算的缩小面的局部运动矢量LMV(即，缩小面运动矢量MVs)的可靠性指标值Ft。随后，全局运动矢量运算操作块157使用缩小面的局部运动矢量LMV的运动矢量可靠性指标值Ft来提取出具有高可靠性的那些局部运动矢量LMV，并使用具有高可靠性的局部运动矢量LMV来计算全局运动矢量GMV。

使用缩小面或中间面的局部运动矢量来确定全局运动矢量GMV提供了以下优点。

第一个优点在于：由于如上所述将低通滤波器用于生成缩小面或中间面，所以消除了噪声，使得所得到的局部运动矢量几乎不受噪声影响。

第二个优点在于：由于减小了缩小面或中间面中的目标块数，所以局部运动矢量的数量减少，并且运算操作成本降低，除此之外，由于处理所需的时间减少，所以能够以更高的速度来执行处理。这是因为，由于如上述实例根据硬件的限制而使缩小面、中间面和基底面的匹配处理块单位通常具有相同的尺寸，所以与仅对基底面执行块匹配处理的替代情况相比，具有小图片尺寸的缩小面的目标块数(即，局部矢量数)相对减少。

此外，在通过缩小面运动矢量来确定全局运动矢量GMV的情况下，能够省略对中间面和基底面的运动矢量检测处理。而且，鉴于此，能够预期处理速度的提高。

因此，具体地，在将缩小面运动矢量用于确定全局运动矢量GMV的情况下，优点是很显著的。

然而，由于通过缩小基底面的图像来生成缩小面或中间面，所以应该考虑到这种缩小面运动矢量或中间面运动矢量的精度相对较低。

因此，在本实施例中，在使用缩小面运动矢量或中间面运动矢量的情况下，首先对缩小面或中间面执行块匹配，然后使用在通过所计算的缩小面运动矢量或所计算的中间面运动矢量表示的缩小面参考块位置或中间面参考块位置附近的缩小面参考块或中间面参考块的SAD值以及SAD值的位置信息来执行内插处理，随后执行像素精度的缩小面运动矢量或中间面运动矢量的检测。下面将描述对缩小面的内插处理。

例如，在水平和垂直方向上都对缩小至1/4的缩小面执行块匹配的情况下，缩小面运动矢量是4像素精度的运动矢量。然而，明显地，在基底面参考帧中，1像素精度的基底面运动矢量MVb存在于通过将缩小面运动矢量MVs放大n倍后获得的运动矢量附近。

因此，在如图28所示确定缩小面上的最小SAD值601的情况下，可以考虑使用最小SAD值601附近的多个SAD值(例如，分别使用在上、下、左、右方向上与最小SAD值601邻近的4个SAD值602、603、604和605)来执行内插处理，以检测4像素精度的运动矢量。在这种情况下，所需的内插倍率为4倍。

例如，可以考虑使用二次曲线来执行对SAD表的内插，从而通过例如以n个像素为单位执行了匹配处理的缩小面SAD表来计算像素精度的运动矢量。在这种情况下，尽管可以不使用二次曲线近似内插法而是使用线性、三次或更高阶曲线近似内插法，但在本实例中，根据精度和硬件结构之间的均衡而使用二次曲线近似内插法。

在二次曲线近似内插法中，如图28所示，使用通过n像素精度的缩小面运动矢量所表示的缩小面SAD表中的SAD值的最小值Smin以及在最小值Smin位置附近的多个SAD值(下文称作邻近缩小面SAD值)(在本实例中，在X方向或水平方向以及Y方向或垂直方向上邻近最小值Smin位置的4个邻近的SAD值Sx1、Sx2和Sy1、Sy2)。

如图29所示，将缩小面SAD值的最小值Smin和在X方向或水平方向上的两个邻近点处的邻近缩小面SAD值Sx1和Sx2用于应用二次近似曲线700，并且近似曲线700假设为最小值的坐标变为提供像素精度的SAD值的最小值SXmin的缩小面运动矢量或高精度缩小面运动矢量的X坐标Vx。给出此时用于二次曲线近似内插的表达式，如下面的(表达式8)：

SXmin＝1/2×(Sx2-Sx1)/(Sx2-2Smin-Sx1)

                                    ...(表达式8)

在根据计算表达式(表达式8)确定像素精度的SAD值的最小值SXmin的SAD表上的X坐标变为像素精度的缩小面SAD值假设为最小值的X坐标Vx。

可通过多次执行的减法来实现计算表达式(表达式8)中的除法。例如，如果将被使用的像素精度为缩小面的1/4像素间距的精度，则可以仅通过两次减法就能实现上述除法。因此，电路规模小且运算操作时间短，并且能够实现与比二次近似曲线内插复杂得多的三次曲线内插非常接近的性能。

类似地，使缩小面SAD值的最小值Smin和在Y方向或垂直方向上与最小值Smin邻近的两个点的邻近缩小面SAD值Sy1和Sy2应用二次近似曲线，并且二次曲线假设为极小值SYmin处的Y坐标变成像素精度的SAD值呈现最小值的Y坐标Vy。通过下面的表达式(表达式9)给出此时的二次曲线近似内插的表达式：

SYmin＝1/2×(Sy2-Sy1)/(Sy2-2Smin+Sy1)

                                    ...(表达式9)

通过以这种方式对X方向和Y方向执行两次二次曲线近似，确定高精度(即，像素精度)的缩小面运动矢量(Vx，Vy)。

虽然在先前的描述中，使用了缩小面SAD值的最小值以及在X方向或水平方向和Y方向或垂直方向上与最小值邻近的两个点的缩小面SAD值，但是在不同方向邻近的缩小面SAD值的数量可以为两个以上。此外，代替在X方向和Y方向上的二次曲线的应用，例如，二次曲线可以被应用于斜方向。此外，近似曲线可以被应用在X和Y方向的斜方向上。

图30示出了通过使用如上所述的这种装置和处理程序，能够通过n个像素单位精度的SAD表的值来获得像素精度的矢量检测结果。图30的横坐标轴表示内插倍率，并表示在一维方向上应该设定多少次分解。由于SAD表为二维的，所以表面积以平方率降低。然而，由于由内插引起的误差仅以线性的程度增加，所以可以认可内插技术的有用性。

其它实施例及变型

在上述实施例中，虽然将本发明应用于判定静止图片的图像拾取时的运动矢量可靠性的情况，但自然本发明能够应用于另一种判定运动图片的图像拾取时所检测的运动矢量的可靠性的情况。

此外，在上述实施例中，虽然检测SAD值作为相关值，但相关值自然不限于SAD值。

此外，在上述实施例中，虽然对从图像存储单元4获取的多个拾取图像执行静止图片的运动检测处理和图像的叠加处理，但可以与运动图片的图像拾取时一样类似地实时处理图像拾取对象的多个图像。

注意，运动矢量检测对象的图像信息不限于拾取图像信息。

此外，在上述实施例中，虽然基于运动矢量可靠性指标值执行运动矢量的可靠性的判定，但是不仅相关值的第一极大值和相关值的第二极大值之间的差或比可被用于执行可靠性的判定，而且假设相关值的第一极大值的参考矢量与假设相关值的第二极大值的参考矢量之间的位置差也可被用于执行可靠性的判定。或者，相关值的第三极大值或更高阶的极大值或假设这种极大值的参考矢量的位置分布可以被进一步参考来进行可靠性的判定。

此外，对于使用运动矢量的可靠性指标值来执行处理的对象，虽然通过局部运动矢量来计算全局运动矢量，但对象不限制于此。

例如，当在上述实施例中计算的运动矢量的可靠性指标值表示可靠性很高时，可以认为这意味着运动矢量具有能够以高精度而被检测的设计图案，即，运动具有特征设计图案。因此，可将在实施例中计算的运动矢量的可靠性指标值用于提取特征部分作为图像内容的应用。

如果从中提取出特征部分作为图像内容的管理对象的图像信息是通过连续拍摄所获取的多个图像的图像信息，则可将不同帧图像中的一个图像设定为目标图像或目标帧，同时将图像中的另一个图像设定为参考图像或参考帧。

此外，在一个静止图像被设定为处理对象的情况下，可以采用图31所示的这种对策。具体地，管理对象的图像801被设定为目标图像802和参考图像803。随后，通过匹配处理部804对目标图像802和参考图像803执行以目标块为单位的匹配处理。这里，将目标块的尺寸设定为将被提取出作为特征部分的图像部的尺寸。

随后，与上文所述的实施例类似，将从匹配处理部804输出的估算值(例如，SAD值)提供给局部运动矢量检测部805。局部运动矢量检测部805以与上文所述类似的方式检测局部运动矢量LMV，并将局部运动矢量LMV提供给特征块计算部807。此外，局部运动矢量检测部805将SAD值的最小值MinSAD和第二极小值Btm2SAD提供给运动矢量可靠性指标值计算部806。

运动矢量可靠性指标值计算部806以目标块为单位来计算局部运动矢量LMV的可靠性的运动矢量可靠性指标值Ft，并将运动矢量可靠性指标值Ft提供给特征块计算部807。

特征块计算部807基于局部运动矢量LMV的可靠性的运动矢量可靠性指标值Ft来估算每个目标块的局部运动矢量LMV的可靠性。随后，特征块计算部807输出表示其局部运动矢量LMV呈现高可靠性的目标块为特征块的特征块计算结果。

注意，可以分别与匹配处理块153、局部运动矢量计算块154和运动矢量可靠性指标值计算块156完全类似地构成匹配处理部804、局部运动矢量检测部805和运动矢量可靠性指标值计算部806。

因此，在本实例的情况下，也可以仅在缩小面上或者也可以在中间面或基底面上执行用于计算局部运动矢量LMV的匹配处理。

虽然使用指定术语描述了本发明的优选实施例，但这种描述仅用于说明的目的，应了解，在不违背所附权利要求的精神或范围的情况下，可以进行各种修改和改变。

Claims (15)

1.一种图像处理装置，包括：

相关值计算装置，用于设定多个参考块，并确定在目标画面图像中以预定尺寸形成的目标块与每个所述参考块之间的相关值，所述多个参考块具有等于所述目标块的尺寸的尺寸，并由在与所述目标画面图像不同的参考画面图像中设定的搜索范围内的多个像素形成；

确定装置，用于确定在通过所述相关值计算装置计算的所述相关值中的最大值以及除所述最大值之外的所述相关值中的极大值；

运动矢量检测装置，用于检测所述目标块的运动矢量，作为计算出所述相关值中的所述最大值的所述参考块相对于所述目标块的位移量；以及

计算装置，用于计算所述相关值中的所述最大值与除所述最大值之外的所述相关值中的所述极大值之间的差，作为通过所述运动矢量检测装置检测的所述运动矢量的可靠性的指标，

其中，用于缓解所述目标画面图像的对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数学运算表达式。

2.根据权利要求1所述的图像处理装置，其中，所述相关值计算装置使用通过缩小原始图像而获得的图像作为所述目标画面图像。

3.根据权利要求2所述的图像处理装置，其中，所述运动矢量检测装置使用所述相关值中的所述最大值以及从位于其相关值为所述最大值的参考块附近的那些参考块确定的所述相关值来执行内插处理，并基于所述内插处理的结果检测所述运动矢量。

4.根据权利要求1所述的图像处理装置，其中，所述目标块是所述目标画面图像在水平方向和垂直方向上被划分成的目标块中的一个，并且

所述运动矢量检测装置使用所述可靠性的指标来判定多个目标块中的每一个的所述运动矢量的可靠性，并且仅使用呈现高可靠性的那些运动矢量来计算整个的所述目标画面图像的运动矢量。

5.根据权利要求1所述的图像处理装置，其中，所述目标块是所述目标画面图像在水平方向和垂直方向上被划分成的目标块中的一个，并且

所述运动矢量检测装置使用所述可靠性的指标来判定多个目标块中的每一个的所述运动矢量的可靠性，并基于判定结果来判定所述目标块的图像的内容是否是特征设计图案。

6.一种图像处理装置，包括：

相关值计算装置，用于设定多个参考块，并确定在目标画面图像中以预定尺寸形成的目标块与每个所述参考块之间的相关值，所述多个参考块具有等于所述目标块的尺寸的尺寸，并由在与所述目标画面图像不同的参考画面图像中设定的搜索范围内的多个像素形成；

确定装置，用于确定在通过所述相关值计算装置计算的所述相关值中的最大值以及除所述最大值之外的所述相关值中的极大值；

运动矢量检测装置，用于检测所述目标块的运动矢量，作为计算出所述相关值中的所述最大值的所述参考块相对于所述目标块的位移量；以及

计算装置，用于计算所述相关值中的所述最大值与除所述最大值之外的所述相关值中的所述极大值之间的比，作为通过所述运动矢量检测装置检测的所述运动矢量的可靠性的指标，

其中，用于缓解所述目标画面图像的对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数学运算表达式。

7.根据权利要求6所述的图像处理装置，其中，所述相关值计算装置使用通过缩小原始图像而获得的图像作为所述目标画面图像。

8.根据权利要求7所述的图像处理装置，其中，所述运动矢量检测装置使用所述相关值中的所述最大值以及从位于其相关值为所述最大值的参考块附近的那些参考块确定的所述相关值来执行内插处理，并基于所述内插处理的结果检测所述运动矢量。

9.根据权利要求6所述的图像处理装置，其中，所述目标块是所述目标画面图像在水平方向和垂直方向上被划分成的目标块中的一个，并且

所述运动矢量检测装置使用所述可靠性的指标来判定多个目标块中的每一个的所述运动矢量的可靠性，并且仅使用呈现高可靠性的那些运动矢量来计算整个的所述目标画面图像的运动矢量。

10.根据权利要求6所述的图像处理装置，其中，所述目标块是所述目标画面图像在水平方向和垂直方向上被划分成的目标块中的一个，并且

所述运动矢量检测装置使用所述可靠性的指标来判定多个目标块中的每一个的所述运动矢量的可靠性，并基于判定结果来判定所述目标块的图像的内容是否是特征设计图案。

11.根据权利要求10所述的图像处理装置，其中，所述相关值计算装置使用一个被设定为处理对象的画面图像作为所述目标画面图像和所述参考画面图像来确定所述目标块与所述参考块之间的相关值。

12.一种图像处理方法，包括：

相关值计算步骤，设定多个参考块，并确定在目标画面图像中以预定尺寸形成的目标块与每个所述参考块之间的相关值，所述多个参考块具有等于所述目标块的尺寸的尺寸，并由在与所述目标画面图像不同的参考画面图像中设定的搜索范围内的多个像素形成；

确定步骤，确定在所述相关值计算步骤中计算的所述相关值中的最大值以及除所述最大值之外的所述相关值中的极大值；

运动矢量检测步骤，检测所述目标块的运动矢量，作为计算出所述相关值中的所述最大值的所述参考块相对于所述目标块的位移量；以及

计算步骤，计算所述相关值中的所述最大值与除所述最大值之外的所述相关值中的所述极大值之间的差，作为通过所述运动矢量检测步骤检测的所述运动矢量的可靠性的指标，其中，用于缓解所述目标画面图像的对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数学运算表达式。

13.一种图像处理方法，包括：

相关值计算步骤，设定多个参考块，并确定在目标画面图像中以预定尺寸形成的目标块与每个所述参考块之间的相关值，所述多个参考块具有等于所述目标块的尺寸的尺寸，并由在与所述目标画面图像不同的参考画面图像中设定的搜索范围内的多个像素形成；

确定步骤，确定在所述相关值计算步骤中计算的所述相关值中的最大值以及除所述最大值之外的所述相关值中的极大值；

运动矢量检测步骤，检测所述目标块的运动矢量，作为计算出所述相关值中的所述最大值的所述参考块相对于所述目标块的位移量；以及

计算步骤，计算所述相关值中的所述最大值与除所述最大值之外的所述相关值中的所述极大值之间的比，作为通过所述运动矢量检测步骤检测的所述运动矢量的可靠性的指标，

其中，用于缓解所述目标画面图像的对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数学运算表达式。

14.一种图像处理装置，包括：

相关值计算装置，用于设定多个参考块，并确定在目标画面图像中以预定尺寸形成的目标块与每个所述参考块之间的相关值，所述多个参考块具有等于所述目标块的尺寸的尺寸，并由在与所述目标画面图像不同的参考画面图像中设定的搜索范围内的多个像素形成；

确定装置，用于确定在通过所述相关值计算装置计算的所述相关值中的最大值以及除所述最大值之外的所述相关值中的极大值；

运动矢量检测装置，用于检测所述目标块的运动矢量，作为计算出所述相关值中的所述最大值的所述参考块相对于所述目标块的位移量；以及

判定装置，用于使用所述相关值中的所述最大值和除所述最大值之外的所述相关值中的所述极大值来判定由所述运动矢量检测装置检测的所述运动矢量的可靠性，

其中，用于缓解所述目标画面图像的对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数学运算表达式。

15.一种图像处理方法，包括：

相关值计算步骤，设定多个参考块，并确定在目标画面图像中以预定尺寸形成的目标块与每个所述参考块之间的相关值，所述多个参考块具有等于所述目标块的尺寸的尺寸，并由在与所述目标画面图像不同的参考画面图像中设定的搜索范围内的多个像素所形成；

确定步骤，确定在所述相关值计算步骤中计算的所述相关值中的最大值以及除所述最大值之外的所述相关值中的极大值；

运动矢量检测步骤，检测所述目标块的运动矢量，作为计算出所述相关值中的所述最大值的所述参考块相对于所述目标块的位移量；以及

判定步骤，使用所述相关值中的所述最大值和除所述最大值之外的所述相关值中的所述极大值来判定在所述运动矢量检测步骤中检测的所述运动矢量的可靠性，

其中，用于缓解所述目标画面图像的对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数学运算表达式。

Images