CN101588501B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理装置和图像处理方法，其中，该图像处理装置包括局部运动矢量检测部、全局运动计算部、全局运动矢量计算部和评估部。通过本发明，能够使图像中的背景静止图片部分与运动图像部分相互分离，并且可以通过块匹配来获得消除了噪声影响的准确运动矢量。

Description

图像处理装置和图像处理方法

相关申请的交叉参考

本申请包含于2008年5月19向日本专利局提交的日本优先专利申请JP 2008-130364的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种适用于使背景的静止图片部分与运动图像拾取对象部分相互分离的图像处理装置和方法。

背景技术

根据图像信息本身来确定两个画面图像之间的运动矢量的块匹配技术是一项历史悠久的技术。

块匹配技术是计算包括作为受关注的画面图像的参考画面图像和从中出现参考画面图像的运动的原始图像(下文称为目标画面图像)的两个画面图像之间的运动矢量的方法。根据块匹配技术，通过计算关于预定大小的矩形区域的块(即，目标块和参考块)的参考画面图像和目标画面图像之间的相关性来计算运动矢量。

块匹配技术包括以下两种情况：目标画面图像在时间上先于参考画面图像；以及参考画面图像在时间上先于目标画面图像。前一种情况的实例是通过MPEG(运动图片专家组)方式进行运动检测，而后一种情况的实例是通过下文所述的图像帧的叠加来降低噪声。

注意，在本说明书中，术语画面图像表示由一帧或一场的图像数据形成的图像。然而，为了描述方便，在本说明书的以下描述中，假设一个画面图像由一帧形成。因此，一个画面图像在下文中被称为一帧。因此，参考画面图像在下文中被称为参考帧，而目标画面图像在下文中被称为目标帧。

具体地，对于电视相机的云台检测和图像拾取对象跟踪、MPEG方式的运动图片编码等，已经开发了利用块匹配的运动矢量检测技术。在90年代，已促进了在包括通过图像叠加进行无传感器相机抖动校正、低照度下进行图像拾取时的降噪等宽范围内的应用。

此外，利用块匹配的运动矢量检测方法不仅被应用于图像识别应用和相机抖动校正应用中，而且还被应用于如图像拾取装置的快门速度的自动调节和液晶电视机的双倍速帧频转换的新应用中。

顺便提及，检测在画面图像中设置的大量目标块中的每一个的运动矢量(即，局部运动矢量)，并使用以这种方式检测的大量局部运动矢量来计算表示在两个画面图像之间施加给整个图像的变形的全局运动。全局运动通常表示运动以及作为图像的静止图片部分的背景的运动量。

作为相关技术，在日本专利公开第2007-221631号中(下文称为专利文献1)披露了一种失真校正方法，其中，将一个画面图像划分为许多块并对每个块确定矢量。然后，以这种方式确定的运动矢量被直接用于计算全局运动。专利文献1的这种技术直至多年前都被一直用作主要针对像素数目较小的运动图片的相机抖动校正技术。

通过专利文献1中披露的技术，可以用低成本的硬件规模来检测全局运动并实现良好的无传感器或无陀螺相机的抖动校正以及对高图片质量的静止图片和运动图片的降噪。

同时，作为确定全局运动的方法，已经提出了对所检测的多个局部运动矢量应用仿射变换的方法。

图51示出了仿射变换作为(表达式1)的通式。参看图51，在(表达式1)中，v表示目标块的运动矢量的水平分量，w表示目标块的运动矢量的垂直分量，以及a、b、c、d、e和f表示仿射参数。在普通的仿射变换中，仿射参数a、b、c、d、e和f都是固定值。此外，x与y分别表示目标块的中心坐标的水平分量和垂直分量。

根据通过全局运动的收敛数学运算处理确定的仿射参数以及每个目标块的中心坐标，获得对应于全局运动的运动矢量。刚刚提及的这种运动矢量在下文中被称为理想运动矢量。在这些理想矢量与通过块匹配检测的观察运动矢量之间的误差总和ε被表示为图52的(表达式2)。

推导全局运动的命题是估计使上述误差总和ε最小化的仿射参数a～f，并且可以通过例如最小二乘法获得解决。图53、图54和图55的(表达式3)、另一个(表达式4)和又一个(表达式5)分别示出了仿射参数a～f的推导过程以及推导过程的结果。

虽然以这种方式较容易地计算仿射变换的参数，但这种计算的效果很好。因为仿射变换不仅为图像的平移、旋转以及扩展或压缩做了准备，而且也为一定程度的变形作了准备，所以覆盖了大多数相机抖动(即，相机工作的精细校正)。

例如，在日本专利公开第2005-321902号(下文中称为专利文献2)中披露了上述这种仿射变换。

发明内容

如果一旦确定了上述全局运动，则由于在上文提及的(表达式1)中给出了坐标，所以能够确定每个目标块的全局运动矢量。如果将该全局运动矢量用于以目标块为单位执行图像的叠加，则可以实现无传感器的相机抖动校正、低照度下图像拾取时的降噪(即，产生降噪图像)等。

然而，必须考虑到拾取图像可能包括运动图像拾取对象。这是因为，如果使用由全局运动产生的全局运动矢量使包括不同于背景静止图片部分的运动图像拾取对象的目标块的图像相互叠加，那么就会产生类似于通过多次曝光的图像状态。

例如，如果目标图像如图56A所示而参考图像如图56B所示，则获得如图56C所示的图像，其中，右下角部分的运动图像拾取对象部分表示多次曝光状态。

因此，还提出了一种方法，其中，将画面图像划分为多个小块并对每一个块检测局部运动矢量，并且用作由例如在MPEG系统中使用的ME(运动估计)技术来表示。

然而，在使用这种方法的情况下，不可避免要使运动补偿块的图像与目标块的图像的相加率适中，从而防止透明的运动图像拾取对象图像部分的误相加以及由变形、掩蔽等引起的边缘部分的变化等。这就可能产生不能实现期望的降噪效果的问题。

如果可以将图像中的背景静止图片部分与运动图像拾取对象等的运动图像部分相互分离，则可以执行将背景静止图片部分的相加率设为高值而将运动图像部分的相加率设为低值处理。这样能够在防止运动图像部分的误相加的同时增强降噪效果。除刚刚描述的对图像相加的这种应用之外，背景部分与运动图像部分的分离还可应用于各种应用。

因此，希望提供一种能够使图像的背景静止图片部分与运动图像部分相互分离以消除上述问题的图像处理装置和方法。

根据本发明的实施例，提供了一种图像处理装置，包括：局部运动矢量检测部，被配置为在与目标画面图像不同的参考画面图像上所设置的搜索范围中设置多个参考块，所述多个参考块具有与设置在所述目标画面图像中的预定尺寸的目标块相同的尺寸并且包括多个像素，确定所述目标块与每个参考块之间的相关值，并检测所述目标块的局部运动矢量作为计算出相关值的最大值的那一个参考块相对于所述目标块的位移。该装置还包括全局运动计算部，被配置为计算表示施加给整个图像的变形的全局运动；全局运动矢量计算部，被配置为使用全局运动来计算目标块的全局运动矢量；以及评估部，被配置为将目标块和对应于局部运动矢量的参考块的相关值与目标块和对应于全局运动矢量的参考块的相关值进行互相比较，并基于比较结果来执行关于目标块是否为背景静止图片部分的评估。

在该图像处理装置中，全局运动矢量计算部使用由全局运动计算部计算的全局运动来计算目标块的全局运动矢量。

然后，评估装置将关于目标块和对应于所检测局部运动矢量的参考块的相关值与关于目标块与对应于所计算全局运动矢量的参考块的相关值进行比较，以评估目标块是否为背景静止图片部分。

如果作为比较结果，评估部判定两个相关值之间的差具有噪声范围内的值，则将目标块评估为背景静止图片部分。然而，如果对目标块做了不同的判定，则可将目标块评估为运动图像部分。

优选地，评估部将关于对应于全局运动矢量的参考块的相关值与一个预定偏移值的和与关于对应于局部运动矢量的参考块的相关值进行比较，并基于比较结果评估目标块是否为背景静止图片部分。

在该图像处理装置中，在将两个相关值进行比较之前，预先将根据噪声范围的大小确定的预定偏移与关于对应于全局运动矢量的参考块的相关值相加。因此，如果关于对应于全局运动矢量的参考块、加上了偏移之后的相关值大于关于对应于局部运动矢量的参考块的相关值，则可将目标块评估为背景静止图片部分。

可选地，评估装置可将通过将关于对应于全局运动矢量的参考块的相关值乘以预定增益获得的值与关于对应于局部运动矢量的参考块的相关值进行比较，并基于比较结果评估目标块是否为背景静止图片部分。

在该图像处理装置中，代替将偏移与相关值相加，将相关值乘以根据噪声范围的大小确定的预定增益。因此，可基于两个相关值的大小关系来评估目标块是否为背景静止图片部分。具体地，如果在乘以预定增益之后的相关值大于关于对应于局部运动矢量的参考块的相关值，则可将目标块评估为背景静止图片部分。

图像处理装置可被配置为，当关于对应于全局运动矢量的参考块的相关值与预定偏移值的和或通过将关于对应于全局运动矢量的参考块的相关值乘以预定增益所获得的值大于关于对应于局部运动矢量的参考块的相关值时，评估部输出关于对应目标块的全局运动矢量；但是当关于对应于全局运动矢量的参考块的相关值与预定偏移值的和或通过将关于对应于全局运动矢量的参考块的相关值乘以预定增益所获得的值小于关于对应于局部运动矢量的参考块的相关值时，评估部输出关于对应目标块的局部运动矢量。

在该图像处理装置中，作为目标块被评估为背景静止图片部分的目标块的运动矢量，输出全局运动矢量。另一方面，作为关于目标块没有被评估为背景静止图片部分的目标块的运动矢量，输出局部运动矢量。从而，对于目标块，输出响应于作为消除了噪声影响的评估结果指定的背景静止图片部分或运动图像部分而被认为是正确的运动矢量。

该信息处理装置可以被配置为使评估部不仅将对应于全局运动矢量的参考块的相关值而且还将位于对应于全局运动矢量的参考块附近的不同参考块的相关值与关于对应于局部运动矢量的参考块的相关值进行比较，并基于比较结果来评估所述目标块是否为背景静止图片部分。

图像处理装置准备用于从全局运动计算的全局运动矢量的精度较低的情况。在该图像处理装置中，不仅将对应于全局运动矢量的参考块的相关值而且还将位于对应于全局运动矢量的参考块附近的不同参考块的相关值与关于对应于局部运动矢量的参考块的相关值进行比较。然后，如果相关值之间的任意差具有在噪声范围内的值，则评估部将目标块评估为背景静止图片部分。

在这种情况下，评估部可将对应于全局运动矢量的参考块的相关值以及位于对应于全局运动矢量的参考块附近的不同参考块的相关值与预定偏移值的和与关于对应于局部运动矢量的参考块的相关值进行比较，并基于比较结果评估目标块是否为背景静止图片部分。

在该图像处理装置中，将对应于全局运动矢量的参考块的相关值与对应于局部运动矢量的参考块的相关值进行比较。对于关于参考块的相关值，预先加上根据噪声范围的大小所确定的预定偏移。因此，如果对应于全局运动矢量的参考块与位于附近的不同参考块中的任何一个、在相加偏移之后的相关值大于关于对应于局部运动矢量的参考块的相关值，则能将目标块评估为背景静止图片部分。

可选地，评估部可将通过将对应于全局运动矢量的参考块的相关值以及位于对应于全局运动矢量的参考块附近的不同参考块的相关值乘以预定增益获得的值与关于对应于局部运动矢量的参考块的相关值进行比较，并基于比较结果评估目标块是否为背景静止图片部分。

在该图像处理装置中，代替使偏移与相关值相加，将相关值乘以根据噪声范围的大小所确定的预定增益。因此，如果判定了相关值的大小关系，就能够评估目标块是否为背景静止图片部分。

总之，通过图像处理装置，能够将图像中的背景静止图片部分与运动图像部分相互分离。然后，可通过块匹配获得消除了噪声影响的正确运动矢量。

结合附图从以下描述和所附权利要求中，本发明上述与其他特征及优点将更加显而易见，在附图中，由类似的参考符号表示类似的部件或元件。

附图说明

图1是示出了应用根据本发明的第一实施例的图像处理装置的图像拾取装置的配置实例的框图；

图2A、图2B以及图3～图10是示出了通过图像处理装置进行的块匹配处理的示意图；

图11是示出了通过图像处理装置进行的块匹配处理的框图；

图12是示出了通过图像处理装置拾取的图像的实例的示意图；

图13是以与图12的拾取图像相关联的关系示出由图像处理装置检测到的局部运动矢量的示意图；

图14是示出了图像处理装置所使用的SAD表的示意图；

图15是示出了在一维轴上所采用的图14的SAD表的示意图；

图16是以与图12的拾取图像相关联的关系示出通过图像处理方法确定为具有高可靠性的局部运动矢量的示图；

图17是示出了图像处理装置的全局运动矢量计算部的配置实例的框图；

图18是示出了图像处理装置的主要处理操作的流程图；

图19是示出了图17所示全局运动矢量计算部的操作的示意图；

图20是示出了通过图像处理装置的局部运动矢量计算部进行的检测处理操作的实例的流程图；

图21A和图21B是示出了至今已知的仿射变换的问题的示意图；

图22是示出了用于使用正交投影变换从局部运动矢量确定全局运动的处理的表达式的示图；

图23是示出了普通仿射变换的示意图；

图24～图30是示出了关于通过图像处理装置执行的从局部运动矢量计算全局运动的处理实例的示图；

图31和图32是示出了关于通过图像处理装置执行的从局部运动矢量计算全局运动的处理实例的流程图；

图33是以与图像相关联的关系示出了通过图像处理装置从所算的全局运动确定的块单位的运动矢量的示图；

图34是示出了通过图像处理装置使用全局运动矢量来评估目标块的背景一致度的处理的示图；

图35是示出了图像处理装置的背景/运动图像拾取对象判定部的配置实例的框图；

图36和图37是示出了通过图35的背景/运动图像拾取对象判定部进行的处理操作的流程图；

图38是示出了图像处理装置的背景/运动图像拾取对象判定部的配置的另一实例的框图；

图39是示出了为全局运动矢量的位置设置了容限的情况下的仿射变换的示意图；

图40是示出了图像处理装置的背景/运动图像拾取对象判定部的配置的又一实例的框图；

图41和图42是示出了通过图40的背景/运动图像拾取对象判定部进行的处理操作的流程图；

图43是示出了图像处理装置的背景/运动图像拾取对象判定部的配置的再一实例的框图；

图44是示出了通过根据本发明的第二实施例的图像处理装置进行的处理操作的流程图；

图45A～图45D是示出了通过根据第二实施例的图像处理装置实现的效果的示图；

图46和图47是示出了确定通过根据第二实施例的图像处理装置检测的局部运动矢量的处理的另一实例的示意图；

图48是示出了确定通过根据第二实施例的图像处理装置检测的局部运动矢量的处理的又一实例的示意图；

图49和图50是示出了根据本发明的不同实施例的图像处理装置的配置实例的框图；

图51～图55是示出了在用于从局部运动矢量确定全局运动的处理实例中所使用的表达式的示图；以及

图56A～图56C是示出了在通过图像叠加形成的图像上运动图像拾取对象部分处的多次曝光的示意图。

具体实施方式

下面，参考附图结合优选实施例详细地描述本发明，其中，根据本发明的图像处理装置和图像处理方法被应用于图像拾取装置。

第一实施例

根据第一实施例的图像拾取装置总体上被配置为使得通过图像拾取装置或成像器拾取的多个静止图像经放置并相互叠加以降低图像的噪声。

在用户用手把持图像拾取装置以拾取图像的环境中，可能发生相机抖动。例如，在通过利用以这种方式由用户手持的图像拾取装置通过连续拍摄来拾取静止图片的情况下，第一静止图片被用作目标帧，而第二个和后续的静止图片被用作参考帧。

在可通过向整个参考帧施加包括平移、旋转以及扩展或压缩的变换处理使参考帧定被置于目标帧的位置的情况下，应用于整个参考帧的变换处理是全局运动。全局运动通常表示移动以及图像的背景静止图片的移动量。刚刚提及的这种背景静止图片在下文中只称为背景。

相机抖动意味着对于目标帧来说发生了通过相对目标帧对参考帧执行包括平移、旋转以及扩展或压缩的图像变换的量的全局运动。

在本实施例的描述中，为了简化描述，所拾取的静止图片中的第一个被用作参考，即，作为目标帧。然而，这并不是必须的。可以使用任意的第n个静止图片来作为目标帧并且可以将任意的第m个(n≠m)静止图片用作参考帧以重新定义全局运动。或者，可以为运动图片中时间上不同的两个帧图像来定义全局运动。又或者，全局运动处理可以不被应用于所拾取图像的一帧内的整个有效图片帧，而是仅应用于一帧图像的一部分。

如果确定了全局运动，则可以从所确定的全局运动中计算出表示施加于图像上的每个坐标位置的目标帧与参考帧之间的整个画面图像的运动的运动矢量。刚刚提及的这种运动矢量在下文中被称为全局运动矢量。可以为在画面图像上设置的大量目标块中的每一个确定全局运动矢量。此外，可以为每个像素确定全局运动矢量。

然后，如果可基于全局运动精确地确定全局运动矢量，则可以顺利地校正相机抖动。或者，可以使帧图像相互叠加同时针对相机抖动来校正全局运动矢量。

在以下描述中，使用运动矢量检测与运动补偿(其中，使用运动矢量来定位不同帧的两个图像)来叠加多个图像以降低噪声被称为降噪(NR)。此外，通过这种降噪而使噪声降低的图像被称为降噪图像。

在本实施例中，一个画面图像被划分为多个块(下文描述为目标块)，并通过上述块匹配方法检测以块为单位的运动矢量。通过块匹配方法对每块所检测的运动矢量在下文中被称为局部运动矢量。

此外，在本实施例中，在块匹配方法中，使用相关值，以下文所述的方式来检测局部运动矢量的可靠性的指标。然后，仅从那些被检测具有高可靠性的局部运动矢量中计算全局运动，并且从所计算的全局运动中检测每块的全局运动矢量。

块匹配的概要

图2A～图7示出了块匹配方法的概要。在此处描述的块匹配方法中，如图2A所示，在目标帧100中假设包括水平方向上的多个像素和垂直方向上的多条线的预定尺寸的矩形区域的块(即，目标块102)。

在块匹配中，从参考帧101中搜索出与目标块102具有高相关性的块。图2B所示的被检测为在参考帧101中与目标块102具有最高相关性的块的参考块103在下文中被称为运动补偿块。此外，在目标块102和与目标块102具有最高相关性的运动补偿块103之间的位移量在下文中被称为运动矢量(参照图2B的参考数字104)。

对应于目标块102与运动补偿块103之间的位置位移(包括位置位移量和位置位移方向)的运动矢量104与目标块102在参考帧101中的投影图像块109的位置与运动补偿块103的位置之间的位置位移相对应。例如，对于投影图像块109的位置和运动补偿块103的位置，使用了它们的中心位置。

假定目标块102的投影图像块109在参考帧101中的位置与目标帧100的目标块102的位置相同。

描述块匹配处理的概要。

参照图3，假设目标帧100的目标块102的投影图像块109位于由图3的虚线表示的参考帧101中与目标帧100的目标块102的位置相同的位置。然后，目标块102的投影图像块109的中心坐标被确定为用于运动检测的原点105。随后，假设运动矢量104存在于用于运动检测的原点105的特定范围内，并且以用于运动检测的原点105为中心的预定范围被设置为由图3中的点划线所表示的搜索范围106。

随后，在参考画面图像上设定与目标块102具有相同尺寸的块(即，参考块108)。然后，例如，在搜索范围106内的水平方向或垂直方向上以一个像素或多个像素为单位来移动参考块108的位置。因此，在搜索范围106中设定了多个参考块108。

此处，在搜索范围106内移动参考块108意味着由于用于运动检测的原点105是目标块的中心位置，所以参考块108的中心位置在搜索范围106内移动。因此，构成参考块108的像素可以从搜索范围106中突出。

随后，对于在搜索范围106内设定的每个参考块108，设置表示参考块108和目标块102的位移量和位移方向的矢量(即，参考矢量107(参照图3))。然后，评估在位于由每个这样的参考矢量107所表示的位置的参考块108的图像内容和目标块102的图像内容之间的相关性。

参照图4，参考矢量107可表示为矢量(Vx，Vy)，其中，Vx为参考块108在水平方向上(即，X方向上)的位移量，Vy为参考块108在垂直方向上(即，Y方向上)的位移量。如果参考块108的位置坐标(例如，中心位置坐标)与目标块102的位置坐标(例如，中心位置坐标)相同，则参考矢量107表示为矢量(0，0)。

例如，如果参考块108位于与目标块102的位置相比在X方向上偏移1个像素距离的位置，则参考矢量107表示为矢量(1，0)。同时，如果参考块108位于与目标块102的位置相比在X方向上偏移3个像素距离且在Y方向上偏移2个像素距离的位置，则参考矢量107表示为矢量(3，2)。

简言之，如图5所示，参考矢量107意味着在相互对应的每个参考块108与目标块102之间的位置位移(包括位置位移量和位置位移方向的矢量)。注意，在图5中，目标块102与参考块108的位置分别由块的中心位置表示。

参考块108在搜索范围106内移动，并且在这种情况下，参考块108的中心位置在搜索范围106内移动。由于参考块108包括在水平方向和垂直方向上的多个像素，所以如图5所示，作为与目标块102进行块匹配处理对象的参考块108的移动的最大范围被给出作为比搜索范围106更大的匹配处理范围110。

随后，被检测为与目标块102的图像内容具有最高相关性的块的参考块108的位置被检测作为目标帧100的目标块102在参考帧101上的位置，即，作为移动后的位置。然后，所检测的参考块被确定为上文所述的运动补偿块103。然后，如图2B所示，所检测的运动补偿块103的位置与目标块102的位置之间的位移量被检测作为包括方向分量的运动矢量104。

基本上使用目标块102和参考块108的对应像素值来计算表示目标块102与在搜索范围106内移动的参考块108之间的相关度的相关值。包括使用均方根方法的各种计算方法可用于计算相关值。

例如，如图6所示，对于各个块中的所有像素，一般在计算运动矢量时使用的相关值中的一个是目标块102中的每个像素的亮度值与搜索范围106中的对应像素的亮度值之间的差的绝对值的总和。差的绝对值的总和称为差分绝对值和(difference absolute valuesum)，并在下文中被称为SAD(绝对差分和，Sum of AbsoluteDifference)值。

在SAD值被用作相关数学运算结果的情况下，随着SAD值减小，相关值增大。因此，在搜索范围106内移动的参考块108中，位于SAD值最低位置的参考块108是具有最高相关性的最高相关性参考块。该最高相关性参考块被检测作为运动补偿块103，所检测运动补偿块103的位置相对于目标块102的位置的位移量被检测作为运动矢量。

应当注意，通常相关性随着相关值的增加而增加。然而，可以认为在SAD值被用作相关数学运算结果的情况下，随着SAD值的减少，相关性增加。

如上所述，在块匹配中，通过作为包括方向分量的量的参考矢量107来表示在搜索范围106内设定的多个参考块108中的每一个相对于目标块102的位置位移量。每个参考块108的参考矢量107都具有与参考块108在参考帧101上的位置相对应的值。如上所述，在块匹配中，作为相关值的SAD值最小的参考块108的参考矢量被检测作为运动矢量104。

因此，在块匹配中，首先确定在搜索范围106内设置的多个参考块108中的每一个与目标块102之间的SAD值(为简化描述，这种SAD值在下文中被称为参考块108的SAD值)。

然后，以这种方式确定的SAD值以与对应于参考块108的位置的参考矢量107的对应关系存储在存储器中。然后，检测存储在存储器中的所有参考块108中具有最低SAD值的参考块108以检测运动矢量104。注意，在下面的描述中，为简化描述，对应于参考块108位置的参考矢量107在下文中被称为参考块108的参考矢量107。

在搜索范围106内设置的、与对应于参考块108的位置的参考矢量107相对应地存储的多个参考块108的相关值(在所述实例中为SAD值)被称为相关值表。在所描述的实例中，由于作为差分绝对值和的SAD值被用作相关值，所以相关值表被称为差分绝对值和表或SAD表。

这在图7中表示为SAD表TBL。参照图7，在所示的SAD表TBL中，每个参考块108的相关值(在所示实例中为SAD值)被称为相关值表元素。在图7的实例中，由参考数字111表示的SAD值是参考矢量为矢量(0，0)时的SAD值。此外，在图7的实例中，由于当参考矢量为矢量(3，2)时SAD值的最小值为“7”，所以所确定的运动矢量104为矢量(3，2)。

注意，例如，目标块102和参考块108的位置意味着诸如各个块的中心位置的任意具体位置。此外，参考矢量107表示参考帧101的目标块102的投影图像块109的位置与参考块108的位置之间的位移量(包括方向)。

对应于每个参考块108的参考矢量107是参考帧101上参考块108相对于与目标块102对应的投影图像块109的位置的位移。因此，如果指定了参考块108的位置，也就指定了对应于该位置的参考矢量的值。因此，指定参考块的相关值表元素在SAD表TBL的存储器中的地址，然后指定对应的参考矢量。

注意，可以相对于两个或两个以上目标块来并行计算这些SAD值。如果待被同时处理的目标块数增多，则处理速度加快。然而，由于用于计算SAD值的硬件规模增大，所以处理速度的加快和电路规模的增大具有折中关系。

实施例的块匹配

上面块匹配的描述涉及一个目标块的运动矢量的计算。由于目标块在目标帧中的所占比率通常很低，所以通常难以将运动矢量直接确定为目标块的全局运动矢量。

在本实施例中，如图8所示，例如，目标帧100被划分成64个像素×64条线大小的多个目标块102。然后，确定每个目标块的运动矢量或局部运动矢量104B。此时，在本实施例中，同时计算表示每个所确定的局部运动矢量的可靠性的指标。

随后，基于局部运动矢量的可靠性指标，仅提取那些关于具有高可靠性的目标帧所确定的局部运动矢量。

然后，仅从所述提取的具有高可靠性的局部运动矢量来计算全局运动。然后，所计算的全局运动被用于以目标块为单位来计算全局运动矢量。

然后，将所计算的全局运动矢量与每个目标块的局部运动矢量进行比较，并基于比较结果评估并判定每个目标块是背景部分还是运动图像拾取对象部分。在本实施例中，将所计算的全局运动矢量与每个目标块的局部运动矢量进行比较以判定两个矢量的一致度。

执行这种评估判定的原因在于考虑到将通过块匹配计算相关值时包括在图像中的噪声的影响。

当关于目标块的全局运动矢量与局部运动矢量相互一致时，能够判定目标块为背景图像部分。因此，该一致度表明了目标块的图像与背景图像部分的一致度，即，背景一致度。该背景一致度在下文被称为命中率(hit ratio)。

如果目标块是背景图像部分，则由于其是静止图像部分，所以能够将运动补偿图像以100％的比率(即，以1∶1的比率)添加到目标块的图像上。由此，可以使降噪(NR)效果最大化。

然后，如果所述背景一致度较低，则估计目标块为运动图像拾取对象部分。因此，如果响应于背景一致度降低运动补偿图像与数据块的图像的相加率(addition ratio)，则能缓和诸如多次曝光的这种状态。

此处，如果全局运动矢量与局部运动矢量并不不相互一致，那么如果不考虑图像噪声就可以判定目标块完全为运动图像拾取对象部分。在这种情况下，关于对应于局部运动矢量的参考块的相关值为最高(即，所述SAD值为最低)，并且相关值大于关于对应于全局运动矢量的参考块的相关值(即，SAD值较低)。

然而，通常诸如所拾取图像的图像包括噪声。如果考虑到这个图像噪声，则即使全局运动矢量与局部运动矢量不相互一致，也存在目标块为背景部分的可能性。然后，考虑到关于上面刚刚描述的这种目标块，关于对应于局部运动矢量的参考块的相关值与关于对应于全局运动矢量的参考块的相关值之间的差小于由于图像噪声而提供的差。

因此，在本实施例中，关于对应于全局运动矢量的参考块的相关值被校正为反映由于图像噪声而提供的差的值。然后，将所校正的相关值与关于对应于局部运动矢量的参考块的相关值相互比较。然后，如果所校正的相关值较高(即，如果SAD值较低)，则将目标块评估为背景图像部分。换言之，在本实施例中，基于所校正的相关值评估背景一致度。此时，认为全局运动矢量与关于目标块的原始局部运动矢量一致。

然后，在本实施例中，如果作为背景一致度的评估结果而判定目标块为背景图像部分，则输出全局运动矢量作为关于目标块的输出运动矢量。另一方面，如果作为背景一致度的评估结果而判定目标块与背景图像部分不一致，则输出局部运动矢量作为关于目标块的输出运动矢量。在本实施例中，输出运动矢量是用于随后阶段处理的运动矢量，在本实施例中为用于降噪处理的运动矢量。

然后，以这种方式计算的以目标块为单位的全局运动矢量或局部运动矢量被用于相对于目标块以块为单位执行参考帧的定位，以生成运动补偿图像(即，运动补偿帧)。然后，将目标帧与运动补偿帧相互叠加以生成降噪图像。

然后，在静止图片图像拾取时，如图9所示，图像拾取装置高速拾取多个静止图像并确定第一个静止图片拾取图像为目标帧100。然后，图像拾取装置确定预定数目的静止图片拾取图像(包括第二个和后续的静止图片拾取图像)为多个参考帧101并执行参考帧101的叠加。然后，图像拾取装置将叠加得到的图像记录为静止图片拾取图像。

具体地，如果图像拾取者按下图像拾取装置的快门按钮，则高速拾取预定数目的静止图像。然后，在第一个拾取的静止图像或帧上，叠加并记录时间上在后拾取的多个静止图像或帧。

注意，尽管在本实施例的描述中没有描述，但是当进行运动图片图像拾取时，如图10所示，当前从图像拾取元件中输出的当前帧的图像被确定为目标帧100的图像，而过去的先前帧图像被确定为参考帧101的图像。换句话说，当进行运动图片图像拾取时，为了执行当前帧的图像的降噪，在当前帧之前帧的图像被叠加到当前帧上。

图像拾取装置的硬件配置的实例

图1示出了作为根据本发明实施例的图像处理装置的图像拾取装置的实例；

参照图1，所示的图像拾取装置包括连接至系统总线2的中央处理部(CPU)1。该图像拾取装置还包括连接至系统总线2的拾取图像信号处理系统10、用户操作输入部3、图像存储部4以及记录和再生装置部5。注意，尽管在图1中未示出，但CPU 1包括其中存储有用于执行各种软件处理的程序的ROM(只读存储器)、用于工作区的RAM(随机存取存储器)等。图1的图像拾取装置的图像拾取信号处理系统10响应于通过用户操作输入部3的图像拾取记录启动操作执行如下所述的拾取图像数据的记录处理。此外，拾取图像信号处理系统10响应于通过用户操作输入部3的拾取记录图像的再生启动操作来执行记录在记录和再生装置部5的记录介质上的拾取图像数据的再生处理。如图1所示，在拾取图像信号处理系统10中，通过包括图像拾取透镜10L的相机光学系统(未示出)接收的来自图像拾取对象的入射光照射在图像拾取元件11上以拾取图像。在本实施例中，图像拾取元件11由CCD(电荷耦合器件)成像器形成。注意，图像拾取元件11还可以由CMOS(互补金属氧化物半导体)成像器形成。

在图像拾取装置中，如果执行了图像拾取记录启动操作，则通过图像拾取透镜10L输入的图像经由图像拾取元件11被转换成拾取图像信号。随后，由红色(R)、绿色(G)和蓝色(B)的三原色所形成的贝尔阵列的原信号形式的模拟拾取图像信号从图像拾取元件11输出作为与来自定时信号生成部12的定时信号同步的信号。所输出的模拟拾取图像信号被提供给预处理部13，通过预处理部来执行诸如缺陷校正和γ校正的预处理，并且将所得到的模拟图像信号提供给数据转换部14。

数据转换部14将以原信号形式输入其中的模拟拾取图像信号转换成数字拾取图像信号或由亮度信号分量Y和色差信号分量Cb/Cr组成的YC数据。根据通过用户操作输入部3接收的图像拾取指令，将来自数据转换部14的数字拾取图像信号写入图像存储部4。

具体地，如果通过用户操作输入部3接收的图像拾取指令是源自按压快门按钮的静止图片拾取指令，则来自数据转换部14的数字拾取图像信号被写入帧存储器41～4N中。在这种情况下，来自数据转换部14的数字拾取图像信号的、如上所述将被相互叠加的多个帧被写入图像存储器部4的第一～第N个帧存储器41～4N中(N是将被叠加的静止图片的数目)。

在本实施例中，按下快门按钮时的第一个帧的图像数据被作为目标帧的图像数据写入第一帧存储器41。随后，第二个和随后的帧图像的数据被作为参考帧的图像数据顺序写入第二～第N个帧存储器42～4N。

在将不同帧的多个图像写入图像存储器部4中之后，通过运动矢量计算部15读入目标帧的图像数据和参考帧的图像数据。然后，运动矢量计算部15执行如下所述的局部运动矢量LMV的检测、局部运动矢量LMV的可靠性计算、全局运动的计算以及全局运动矢量GMV的计算。另外，运动矢量计算部15执行目标块的背景一致度的评估，以生成命中率β。

在本实施例中，运动矢量计算部15输出目标帧的图像数据TGv、参考帧的图像数据REFv和命中率β的信息。此外，运动矢量计算部15输出由全局运动矢量GMV或局部运动矢量LMV形成的降噪运动矢量MVnr的信息。

来自运动矢量计算部15的降噪运动矢量MVnr和参考帧的图像数据REFv的信息被提供给运动补偿图片生成部16。运动补偿图片生成部16对参考帧的图像数据REFv应用对应于全局运动的处理(即，基于降噪运动矢量MVnr的包括平移、旋转以及扩展或压缩的变换处理)，以生成运动补偿图像。

然后，来自运动矢量计算部15的目标帧的图像数据TGv被提供给加法部17，并且来自运动补偿图片生成部16的运动补偿图像的图像数据MCv被提供给加法部17。

此外，来自运动矢量计算部15的目标帧的图像数据TGv与命中率β被提供给相加率计算部21。相加率计算部21根据表示背景一致度的命中率β对目标帧的每个目标块计算相加率α。然后，相加率计算部21将为每个目标块计算的相加率α提供给加法部17。

加法部17将在图像数据TGv与MCv对应位置的像素相加以执行图像的叠加处理，并输出所得到的作为降噪图像的和图像的图像数据MIXv。以目标块为单位执行这种图像叠加。具体地，将运动补偿图像的图像数据MCv的对应块的图像数据以相加率α加入到目标块的图像数据中。

来自加法部17的和图像的图像数据MIXv作为先前目标帧的图像数据上的目标帧的图像数据被重写入图像存储器部4的第一帧存储器41中。

具体地，第一帧存储器41的目标帧的图像数据首先是紧接在按下快门按钮之后的第一帧的图像数据。然后，如果第二参考帧的运动补偿图像的图像数据MCv与目标帧相加，则第一帧存储器41的目标帧的图像数据被重写入加法结果的和图像的图像数据MIXv。

然后，对于第三参考帧的图像数据，和图像的图像数据MIXv被用作为目标帧的图像数据。然后，通过运动矢量计算部15如上所述类似地计算降噪运动矢量MVnr，并通过加法部17执行图像叠加处理。

然后，加法结果的和图像的图像数据MIXv作为在先前目标帧的图像数据上的目标帧的图像数据被重写入图像存储器部4的第一帧存储器41中。此后，对于作为参考图像的第四及后续帧的每一个执行类似的处理操作。

因此，在执行了直至作为参考图像的第N个图像的图像的叠加处理之后，叠加了所有待叠加的N帧的降噪图像被写入到图像存储部4的第一帧存储器41中。

随后，将存储在图像存储部4的第一帧存储器41中、作为叠加结果的降噪图像的和图像的图像数据MIXv通过系统总线2提供给静止图片编解码部18，并通过静止图片编解码部18进行编解码转换。例如，来自静止图片编解码部18的输出数据被记录在诸如记录和再生装置部5的DVD(数字通用盘)或硬盘的记录介质上。在本实施例中，静止图片编解码部18根据JPEG(联合图像专家组)方式对静止图片执行图像压缩编码处理。

此外，在静止图片图像拾取模式中，在按下快门按钮之前，来自数据转换部14的图像数据通过图像存储部4的第一帧存储器41被提供给分辨率转换部19。然后，通过分辨率转换部19被转换成预定分辨率的数据，然后提供给NTSC(国家电视系统委员会)编码器20。NTSC编码器20将图像数据转换成NTSC方式的标准色图像信号。随后，所得到的标准色图像信号被提供给监控显示部6，并在监控显示部6的显示屏上显示静止图片图像拾取模式状态下的再生图像。

响应于通过用户操作输入部3的再生启动操作来读出记录在记录和再生装置部5的记录介质上的静止图片的图像数据，并将其提供给静止图片编解码部18，通过静止图片编解码部18将它们进行解码以用于再生。随后，为再生而解码的静止图片的图像数据通过图像存储部4的缓冲存储器(未示出)被提供给NTSC编码器20，并通过NTSC编码器20被转换成NTSC方式的标准色图像信号。随后，标准色图像信号被提供给监控显示部6，并在监控显示部6的显示屏上显示其再生图像。

注意，尽管在图1中未示出，但仍能够通过图像输出终端将来自NTSC编码器20的输出图像信号导向外部。

注意，在本实施例中，虽然通过静止图片编解码部18以压缩形式来记录图像数据，但是也可以省略静止图片编解码部18而不以压缩形式记录图像数据。

此外，可以由硬件形成上述的运动矢量计算部15和运动补偿图片再生部16。还可以用DSP(数字信号处理器)形成运动矢量计算部15和运动补偿图片再生部16。此外，运动矢量计算部15与运动补偿图片再生部16可被CPU 1的软件处理代替。

类似地，也可以由硬件或用DSP来形成加法部17。此外，加法部17也可被CPU 1的软件处理代替。这被类似地应用于静止图片编解码部18。

运动矢量计算部15

在本实施例中，运动矢量计算部15使用参照图2A～图7在上文所述的SAD值来执行块匹配处理，以执行局部运动矢量LMV的检测。然而，注意，在本实施例中，运动矢量计算部15由如下所述的硬件构成，并通过分层块匹配处理计算局部运动矢量LMV。

此外，如上所述，运动矢量计算部15还计算每个局部运动矢量LMV的可靠性指标。

此外，运动矢量计算部15仅使用具有高可靠性的那些局部运动矢量来计算全局运动。然后，运动矢量计算部15从所计算的全局运动中以块为单位来计算全局运动矢量。此外，运动矢量计算部15执行每个目标块为背景部分还是运动图像拾取目标部分的判定，以计算表示背景一致度的命中率β。

<分层的块匹配处理>

在通常已知的块匹配的运动矢量检测处理中，在搜索范围内以像素为单位(即，以一个像素为单位或以多个像素为单位)移动参考块，并计算参考块在每个移动位置处的SAD值。随后，检测在以这种方式计算的SAD值中表示最小值的SAD值，并基于表示最小SAD值的参考块位置来检测运动矢量。

此外，在本实施例中，由于一帧被划分成多块，所以通过顺序转变目标块和参考块对整个画面图像执行上述块匹配处理。从而执行目标帧中所有目标块的局部运动矢量LMV的计算。

然而，上述这种已知的运动矢量检测处理存在一个问题：由于参考块在搜索范围内以像素为单位移动，所以用于计算SAD值的匹配处理的次数增加，从而与搜索范围成比例地增加了匹配处理时间。此外，已知的运动矢量检测处理存在另一个问题：SAD表的容量也增大。

如果考虑到静止图像像素数目的增加、运动图片清晰度的增强(较高清晰度)以及一个图像的尺寸变得非常大，这个问题就尤其明显。已知的运动矢量检测处理还存在一个问题：通过系统总线2访问图像存储器的次数增加，并且总线频带也必须增加。

考虑到上述问题，在本实施例中，执行分层的块匹配，其中，首先减小目标图像或目标帧以及参考图像或参考帧的尺寸，以准备缩小图像和中间图像，然后按缩小图像、中间图像和原始图像的顺序执行块匹配的运动矢量搜索，同时将先前阶段的块匹配结果反映在下一阶段的搜索中。

通过执行分层的块匹配，以相对少量的计算和相对较短的处理时间来有效地执行局部运动矢量的计算。注意，缩小图像在下文中被称为缩小面，中间图像在下文中被称为中间面，而不处于缩小形式的原始图像在下文中被称为基底面。

图11示出了分层的块匹配。参照图11，在所示实例中，基底面目标帧201和基底面参考帧301的尺寸缩小至1/a·1/b(1/a和1/b为缩小率，其中，a＞1和b＞1)，以分别生成缩小面目标帧211和缩小面参考帧311。

随后，将基底面目标帧201和基底面参考帧301缩小至1/b，以分别生成中间面目标帧221和中间面参考帧321。

尽管可以相对于基底面对缩小面和中间面使用任意倍率(scale)，但是可以将它们适当地设定为1/2～1/8倍，即，转换成像素数时为1/4～1/64倍。注意，在图11的实例中，缩小面相对于中间面的缩小率为1/4，即，a＝4，而中间面相对于基底面的缩小率为1/4，即，b＝4。

此外，为了生成缩小面和中间面，可应用任意的方法。然而，如果应用仅响应于缩小率对原始图像的像素进行采样来生成缩小面或中间面的方法，则生成折返(jreflection)分量，并且在第一层(缩小面)中检测到的运动矢量很可能偏离正确的运动矢量。因此，首先通常将具有适合于缩小率的截止频带的低通滤波器应用于原始图像，然后执行适合于该缩小率的采样。

在本实施例中，计算在包括通过根据倍率的采样而消失的那些像素的像素的亮度平均值，并将其用作缩小面像素或中间面像素的亮度值。具体地，在1/a缩小的情况下，计算a×a像素的正方形区域中的亮度平均值，并用作缩小面像素或中间面像素的亮度值。在这种情况下，即使首先形成中间面并随后从中间面生成缩小面，仍能够获得与通过原始画面图像直接生成缩小面的情况相同的效果。因此，这种方法效率更高。

注意，当生成缩小图像时，水平方向上的缩小率和垂直方向上的缩小率可以与上述情况相同，或者也可以不同。

在以上述方式生成缩小面或中间面之后，首先为缩小面目标帧211设定缩小面目标块212，并且为缩小面参考帧311设定缩小面搜索范围313。

随后，通过缩小面运动矢量检测装置401对在缩小面搜索范围313内的多个缩小面参考块312执行块匹配处理，以检测呈现最小SAD值的缩小面参考块位置。然后，基于缩小面参考块的位置检测对缩小面运动矢量MVs进行检测。

在本实例中，运动矢量检测装置401对作为缩小面目标块212的大小的块(即，水平方向上的像素数×垂直方向上的像素的块)的块匹配处理单位执行处理。

在缩小面运动矢量MVs的计算结束之后，在大小等于缩小面目标帧211乘以a的中间面目标帧221上设定中间面目标块222。

在图11的实例中，中间面运动矢量检测装置402对作为尺寸与缩小面运动矢量检测装置401的块匹配处理单位相同的块的中间目标块执行块匹配处理。相同尺寸的块是相等像素数的块并包括水平方向上的相等像素数×相同垂直方向上的相等像素。

在本实例的情况下，由于缩小面具有中间面1/a的尺寸，所以与缩小面目标块212相对应的、包括在中间面目标帧的区域中的中间面目标块222的数目为a。因此，等于a的所有中间面目标块222被设定为中间面运动矢量检测装置402的块匹配处理对象。

随后，在具有尺寸等于缩小面参考帧311的a倍的中间面参考帧321中，设定以缩小面运动矢量MVs为中心的中间面搜索范围323。随后，通过运动矢量检测装置402对中间面搜索范围323内的多个中间面参考块322执行上述块匹配处理，以检测呈现最小SAD值的中间面参考块位置，以检测中间面运动矢量MVm。

中间面运动矢量检测装置402对设置在中间面搜索范围323中的用于每个中间面目标块的搜索范围中的每个中间面目标块执行块匹配处理，从而检测每个中间面目标块的运动矢量。然后，多个运动矢量中呈现最小SAD值的那一个被检测作为中间面的运动矢量MVm，即，作为中间面运动矢量

在中间面运动矢量MVm的计算结束之后，在具有等于中间面目标帧221的b倍的尺寸的基底面目标帧201中设定基底面目标块202。

在图11的实例中，基底面运动矢量检测装置403也对作为尺寸与运动矢量检测装置401和402相同(即，相等像素数＝水平方向上的相等像素数×垂直方向上的相等像素)的块的处理单位块执行块匹配处理。

随后，以上述处理单位块为单位获得了中间面运动矢量MVm。因此，设定作为基底面运动矢量检测装置403的对象的基底面目标帧201的基底面目标块202的数目，以使其等于尺寸等于如图11中的斜线所表示的缩小面的块(即，处理单位块)的数目的a·b倍。

另一方面，在具有等于中间面参考帧321的b倍尺寸的基底面参考帧301中，设定以缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量为中心的基底面搜索范围303。通过基底面运动矢量检测装置403在基底面搜索范围303中对多个基底面参考块302执行上述块匹配处理，以检测呈现最小SAD值的基底面参考块的位置，从而检测出基底面运动矢量MVb。

以相同尺寸的处理单位块为单位获得缩小面运动矢量MVs和中间面运动矢量MVm。因此，以缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量为中心所设定的基底面搜索范围303比包括b个基底面目标块202的区域大点。

基底面运动矢量检测装置403在用于b个基底面目标块202的基底面搜索范围303中所设定的基底面目标块的搜索范围内执行块匹配处理，从而执行基底面目标块的运动矢量的检测。随后，多个运动矢量中呈现最小SAD值的那一个被检测作为基底面运动矢量MVb，即，基底面的基底面运动矢量。

随后，作为以上述方式确定的缩小面运动矢量MVs、中间面运动矢量MVm和基底面运动矢量MVb的合成矢量，检测基底面目标帧201与基底面参考帧301之间的基底面目标块的局部运动矢量LMV。

对目标帧和参考帧的所有区域都执行上述的这种分层块匹配处理，同时顺序转变目标块和参考块。因此，计算以在目标帧中设置的多个目标块为单位的所有多个局部运动矢量LMV。

在图11的实例中，运动矢量检测装置401、402和403实际上是一个装置，它们的区别在于从图像存储部4中读出然后输入的目标块以及从搜索范围内读出的参考块。

注意，在配置基底面目标帧201以获得所有基底面目标块202的局部运动矢量LMV的情况下，应以以下方式执行目标块的转变。具体地，在缩小面上设置缩小面目标块，同时，根据倍率1/a和1/b，在水平方向上将缩小面目标块顺序移动与水平方向上的像素数相对应的量。同时，在垂直方向上，根据倍率1/a和1/b，将缩小面目标块顺序移动与垂直方向上的像素相对应的量。

然而，对于由多个局部运动矢量LMV确定全局运动矢量GMV的对象，可以采取如下的对策。具体地，将缩小面目标块设置为在水平方向和垂直方向上顺序移动，从而关于在基底面目标帧201的跳过位置处的基底面目标块获得局部运动矢量LMV。

注意，上述分层的块匹配另外可以省略中间面而仅通过两个分层的缩小面和基底面来执行，或者可以包括用于不同中间面的多个中间层。但是，如果缩小率很高而在同一单位块中包括了运动图像拾取对象和背景，则必须小心。具体地，最初应该被检测为不同运动矢量的多个运动矢量被作为单个运动矢量处理，由于在后续层中无法恢复，所以必须小心地执行缩小率的选择。

局部运动矢量LMV的可靠性的计算

在具有相对大量噪声的图像为目标图像的情况下，由于SAD值受到噪声影响，所以通常不能获得正确的矢量。图12为包括相对大量噪声的夜景的照片。如果示出图12的图像与包含非常小的旋转量的同时通过左方的相机抖动所拾取的图像(作为参考图像)之间的运动矢量，则得到如图13所示的这种结果。图13是通过绘制通过将原始图片缩小至1/8所获得的缩小图像的缩小面运动矢量而得到的。

从图13可以看出，获得其纹理不是特别清晰的夜空的运动矢量作为多样运动。在分层块匹配中，由于在生成缩小图像时应用了低通滤波器，所以耐噪声性相对教高。但是，如图13所示，缩小图像受到噪声的影响。

由于通过缩小面运动矢量周围的搜索获得基底面的局部运动矢量LMV，所以如果缩小面运动矢量偏离了正确的运动矢量，则恢复无效，并且缩小面运动矢量直接受到噪声的影响并被进一步地扰乱。

即使根本不具有噪声的拾取图像是对象图像，但如果图像的纹理不清晰，则由于连续拍摄图像拾取时外部光线的微小变化或由曝光时间差引起的灰阶变化更大，并且所检测的运动矢量通常偏离正确值。此外，当大量的树木或诸如大楼的人工结构具有很多重复的纹理图案时，即使通过刚刚描述的纹理的重复图案，所检测的运动矢量也可能会偏离正确值。

假设刚刚描述的这种情况，在相关技术中已经进行了仅使用具有高可靠性的运动矢量来计算全局运动的尝试。例如，已经提出执行目标图像的边缘检测，并确定具有清晰边缘的块的运动矢量作为具有高可靠性的运动矢量。此外，还提出了使用目标图像的IDCT(离散反余弦变换)结果的DC分量和AC分量来计算可靠性。

还推荐了一种方法，其中，使用作为一种滤波器的角检测器来检测目标图像上的特征点，使得所得到的运动矢量具有高可靠性。此外，已提出了以下技术：按照在参考图像上也维持多个特征点的位置关系的假设，从不同点处的多个运动矢量的组合中提取出高可靠性的运动矢量。

然而，上述这些现有技术并没有假设高噪声的图像，并且对于具有高水平噪声的图像明显无效。

在本实施例中，考虑到上述情况，采用了一种对策来获得可靠性指标值，通过这种对策，即使是高噪声环境下的图像仍能够有效地评估运动矢量的可靠性。

在本实施例中，目标块和参考块之间的相关值中的第一极大值和第二极大值的差或比被用作运动矢量可靠性的指标值。在本实施例中，由于目标块和参考块之间的相关值被检测为SAD值，所以相关值中的第一极大值和第二极大值分别为SAD值的第一极小值和第二极小值。

图14示意性示出了关于一个目标块的SAD表的SAD值。在图14中，搜索范围被表示为在图像的水平方向或x方向以及垂直方向或y方向上的二维范围，并在高度方向上(即，在与x和y方向垂直的方向上)取SAD值。因此，SAD表被表示为三次线面(cubiccurved face)。

在通常的块匹配处理中，为了检测运动矢量，仅将SAD表中SAD值的最小值确定为检测对象。然而，SAD值的这个最小值是SAD表中的SAD值的第一极小值，并且在图14中，该值假设由点501所表示的位置。在图14中，检测运动矢量MV作为从运动的原点(即，(x＝0，y＝0))至由点501所表示的SAD值的最小值位置的矢量。

如果考虑到不存在噪声的理想状态，则当确定搜索范围内的多个参考块和目标块之间的相关值时，由三次线面表示的SAD表呈现以下状态：其中，三次线面均匀向下凸出，并且仅存在SAD值的一个极小值。但是，在实际的图像拾取状态下，因为不仅存在光量变化、运动体的运动等影响，而且还存在各种噪声的影响，所以由三次线面表示的SAD表几乎不呈现均匀向下凸出的形状，而是通常具有SAD值的多个极小值。

因此，在本实施例中，基于呈现等于SAD值的最小值的第一极小值的参考块的位置来检测运动矢量MV。然而，SAD值中除SAD值的第一极小值之外的极小值(即，SAD值的第二极小值)被检测用于生成相对于可靠性的指标。在图14中，由点501表示的位置代表第一极小值，而由另一个点502表示的位置代表第二极小值。

如果限制噪声等的影响，则SAD值的第一极小值和SAD值的第二极小值之间的差值很大，并且通过SAD值的第一极小值(即，通过SAD值的最小值)所检测的运动矢量MV的可靠性很高。另一方面，在包括大量噪声等的另一种环境下，SAD值的第一极小值和SAD值的第二极小值之间的差值很小，不能够区分SAD值的第一和第二极小值中的哪一个正确地对应于运动矢量MV。因此，可靠性很低。

如上所述，在本实施例中，SAD值的第一极小值(即，SAD值的最小值)和SAD值的第二极小值之间的差值被确定作为所检测运动矢量的可靠性指标。图15示出了在一维轴上表示图14中的搜索范围的SAD表。在本实施例中，图15中的第二极小值与第一极小值(即，SAD值的最小值)之间的差被确定为运动矢量MV的指标值Ft。

注意，在仅获得SAD值的第一极小值而没有获得第二极小值的情况下，在本实施例中，将SAD值理论上的最大值或SAD值表中的SAD值的最大值确定为运动矢量MV的可靠性指标值。因此，确定刚刚描述的这种块的运动矢量很高。但是，由于所描述类型的块很少存在，所以可以从可靠性的评估中排除仅从中获得SAD值的第一极小值而没有获得第二极小值的块的运动矢量。

注意，代替SAD值的第一极小值(即，SAD值的最小值)与SAD值的第二极小值之间的差，SAD值的第一极小值(即，SAD值的最小值)与SAD值的第二极小值之间的比可以被用作运动矢量MV的可靠性指标值Ft。但是，在下面的描述中，SAD值的第一极小值(即，SAD值的最小值)与SAD值的第二极小值之间的差被用作运动矢量的可靠性指标值Ft。

根据本实施例中的运动矢量的可靠性指标，由于没有如相关技术使用诸如图像的边缘或特性的图像分量而是仅使用了目标帧与参考帧之间的相关值，所以抗噪稳定性很高。换句话说，获得具有高精确度的运动矢量的可靠性指标，而不会受到图像噪声影响。

此外，在本实施例中，使用相关值的第一极大值(即，SAD值的第一极小值)与相关值的第二极大值(即，SAD值的第二极小值)之间的差或比也是使本实施例中运动矢量的可靠性指标具有很高抗噪稳定性的原因。

具体地，如果噪声水平升高，则即使运动矢量正确，通常运动矢量的SAD值也会升高。因此，在为了提取出具有高可靠性的运动矢量而对运动矢量的可靠性指标值Ft设定阈值从而执行与阈值的比较处理的情况下，还需要响应于噪声水平改变其本身的阈值。

相反，在使用本实施例中的运动矢量的可靠性指标值Ft的情况下，如果噪声水平升高，则相关值中的第一极大值(即，SAD值的第一极小值)和相关值中的第二极大值(即，SAD值的第二极小值)都响应于噪声水平而升高。因此，消除了噪声对相关值中的第一极大值(即，SAD值的第一极小值)和相关值中的第二极大值之间的差的影响。

换言之，可以实现不取决于所述噪声水平的固定值的阈值处理。这同样也适用于将相关值中的第一极大值(即，SAD值的第一极小值)和相关值中的第二极大值(即，SAD值的第二极小值)之间的比用作运动矢量的可靠性指标值Ft的情况。

顺便提及，在对其执行块匹配的目标块的图像的对比度很低的情况下，SAD值的第二极小值与SAD值的最小值之间的差具有减小的趋势。因此，当相同的帧包括具有高对比度的区域和具有低对比度的另一个区域时，如果将相同的阈值用于评估矢量可靠性的评估值Ix，则很可能优先选择具有高对比度的区域。

尽管从运动矢量可靠性的角度来看这是正确的结果，但是为了在一定程度上减小具有低对比度的区域，在本实施例中，用于缓解对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数学运算表达式。具体地，确定目标帧图像的最大亮度值与最小亮度值之间的差值，并在运动矢量可靠性的指标值上反映亮度的差值。注意，为了避免噪声的不良影响，在将低通滤波器应用于目标帧的图像数据之后，执行最大亮度和最小亮度的提取。

鉴于上述，给出本实施例中运动矢量的可靠性指标值Ft的计算表达式：

Ft＝(Btm2SAD-MinSAD)-(MaxTAR-MinTAR)×Co

                            ...(表达式6)

其中

Ft：运动矢量的可靠性指标值

Btm2SAD：SAD值的第二极小值

MinSAD：SAD值的最小值(第一极小值)

MaxTAR：目标块的最大亮度值

MinTAR：目标块的最小亮度值

Co：加权系数(≤1)

注意，在相关值的第一极大值与相关值的第二极大值之间的比被用作运动矢量可靠性指标值的情况下，完全类似于上文所给出的(表达式6)，用于缓解对比度影响的项也可以被添加至可靠性指标值计算表达式。但是，在运动矢量的指标值Ft的计算中，实质上并不必须添加用于缓解对比度影响的项，而是可以省略该项。

虽然在上面的描述中，仅确定基底面运动矢量MVb的运动矢量可靠性指标值，但自然也可以相对于缩小面运动矢量MVs或中间面运动矢量MVm来类似地确定运动矢量的可靠性指标值。

全局运动和全局运动矢量GMV的计算

在相关技术中，不使用上述这种运动矢量的可靠性指标值。因此，利用相同的权重来使用对目标帧确定的所有多个局部运动矢量LMV，以计算全局运动矢量GMV。

相反，在本实施例中，能够以上述方式来获得目标帧的多个局部运动矢量LMV中的每一个的可靠性指标值Ft

随后，可以对以这种方式确定的多个局部运动矢量LMV的可靠性指标值进行标准化，从而对每个局部运动矢量LMV确定例如大于等于0但小于等于1的加权系数。随后，可以不通过相同的权重而是通过根据各个加权系数所确定的多个权重来使用局部运动矢量LMV，以计算全局运动。具体地，当使用确定的所有多个局部运动矢量LMV以启动用于计算全局运动的收敛计算时，在局部运动矢量LMV利用对应于各个可靠性指标值Ft的加权系数进行加权之后，才使用这些局部运动矢量LMV。

然而，为了简化全局运动的数学运算处理来降低数学运算负荷，在本实施例中，将局部运动矢量LMV的加权系数W二进值化成0和1。

因此，在本实施例中，设置用于运动矢量的可靠性指标值Ft的阈值th，并根据以下数学运算表达式使用每个运动矢量的可靠性指标值Ft来计算每个局部运动矢量LMV的加权系数W：

当Ft＞th时，W＝1，而

当Ft≤th时，W＝0，        ...(表达式7)

具体地，在本实施例中，运动矢量可靠性指标值Ft被用于判定多个局部运动矢量LMV中的每一个的可靠性，并且仅从多个局部运动矢量LMV中提取出具有高可靠性的那些局部运动矢量。然后，仅将所提取的具高可靠性的局部运动矢量用于计算全局运动。

在本实施例中，由于目标帧中的目标块数相对较多，所以即使在使用如本实例仅提取具有高可靠性的局部运动矢量LMV的方法的情况下，仍能够计算具有高精确度的全局运动。

注意，下文将描述通过多个局部运动矢量LMV来计算全局运动的具体处理实例。

上面描述了以上参照图12所述的具有大量噪声的图像中获取如图13所示的这种局部运动矢量。然而，如果使用根据本实施例的运动矢量的可靠性指标值对图13的图像上表示的局部运动矢量执行可靠性判定，以仅提取具有大于阈值的可靠性的那些可靠性指标值并随后绘制块和运动矢量，则获得如图16所示的这种图像。鉴于此，对于图16所示的多个块，获得基本正确的局部运动矢量，而不受噪声影响。

运动矢量计算部15的硬件配置的实例

运动矢量计算部15执行如上所述的对每个目标块检测局部运动矢量LMV、计算所检测局部运动矢量LMV的可靠性指标值、计算全局运动GM和全局运动矢量GMV等处理。

图17示出了运动矢量计算部15的硬件配置的实例。参照图17，运动矢量计算部15包括：目标块缓存部151，用于存储目标块102的像素数据；以及参考块缓存部152，用于存储参考块108的像素数据。

运动矢量检测部15还包括匹配处理部153，用于计算目标块102和参考块108的对应像素的SAD值。运动矢量检测部15还包括局部运动矢量计算部154，用于根据从匹配处理部153输出的SAD值信息计算局部运动矢量。运动矢量检测部15还包括控制部155、运动矢量可靠性指标值计算部156、全局运动计算部157、全局运动矢量计算部158、对比度计算部159以及背景/运动图像拾取对象判定部150。

对比度计算部159包括低通滤波器1591、最大亮度值检测部1592和最小亮度值检测部1593。

此外，尽管未示出，但是在本实例中，由目标帧和参考帧的图像数据所生成的原始图片的目标帧和参考帧的缩小面的图像数据和中间面的图像数据被存储并保留在图像存储部4中。

如图17所示，控制部155控制运动矢量计算部15的处理顺序，并将控制信号提供给运动矢量计算部15的各个部件。

在控制部155的控制下，目标块缓存部151从图像存储部4的缩小面、中间面或基底面的目标帧的图像数据中读入指定目标块的图像数据，并将所述图像数据提供给匹配处理部153。

在控制部155的控制下，参考块缓存部152从图像存储部4的缩小面、中间面或基底面的参考帧的图像数据中读入指定匹配处理范围内的图像数据。然后，参考块缓存部152将来自匹配处理范围内的图像数据的参考块的图像数据顺序提供给匹配处理部153。

匹配处理部153接收来自目标块缓存部151的目标块的图像数据以及来自参考块缓存部152的参考块的图像数据。然后，匹配处理部153在控制部155的控制下对缩小面、中间面和基底面执行块匹配处理。然后，匹配处理部153将参考矢量(即，参考块的位置信息)以及块匹配处理结果的SAD值提供给局部运动矢量计算部154。

局部运动矢量计算部154包括用于SAD值的第一极小值存储单元1541和用于SAD值的第二极小值存储单元1542，并执行从来自匹配处理部153的SAD值中检测出SAD值的第一极小值和SAD值的第二极小值的处理。

随后，局部运动矢量计算部154依次更新用于SAD值的第一极小值存储单元1541中的SAD值的第一极小值和SAD值的第一极小值的位置信息(即，参考矢量)以及用于SAD值的第二极小值存储单元1542中的SAD值的第二极小值和SAD值的第二极小值的位置信息(即，参考矢量)。局部运动矢量计算部154执行该更新处理直至对匹配处理范围中的所有参考块的块匹配处理都结束。

然后，当所述块匹配处理结束时，该时间点的目标块的SAD值的第一极小值以及SAD值的第一极小值的位置信息或参考矢量存储在用于SAD值的第一极小值存储单元1541中。此外，SAD值的第二极小值以及SAD值的第二极小值的位置信息或参考矢量被存储在用于SAD值的第二极小值存储单元1542中。

随后，当对匹配处理范围内的所有参考块的块匹配处理结束时，局部运动矢量计算部154检测存储在用于SAD的第一极小值存储单元1541中的参考矢量的信息(即，位置信息)，作为在缩小面、中间面和基底面的每一个中的运动矢量。下文将详细描述局部运动矢量计算部154的处理操作。

本实施例中的局部运动矢量计算部154在缩小面匹配处理时将缩小面运动矢量MVs作为局部运动矢量LMV提供给控制块155。

当进行分层的块匹配处理时，控制部155从缩小面运动矢量MVs的信息确定用于中间面的搜索范围。然后，控制部155将控制信号提供给目标块缓存部151、参考块缓存部152和匹配处理部153，以使它们在中间面中执行块匹配。

然后，当中间面中的匹配处理结束时，局部运动矢量计算部154将缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量的信息作为局部运动矢量LMV提供给控制部155。

控制部155从缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量的信息确定用于基底面的搜索范围。然后，控制部155将控制信号提供给目标块缓存部151、参考块缓存部152和匹配处理部153，以使它们在基底面中执行块匹配。

如上所述，控制器155可以控制哪个层应执行分层的块匹配以及是否应该输出该层中的运动矢量作为局部运动矢量LMV。

例如，如果即使牺牲精确度也希望在短时间内获得局部运动矢量LMV，则局部运动矢量计算部154可以仅执行缩小面的块匹配处理。另一方面，在需要高精确度的局部运动矢量LMV的情况下，局部运动矢量计算部154可执行分层的块匹配处理直至基底面块匹配处理。或者，在考虑到精确度和时间的情况下，局部运动矢量计算部154可能执行分层的块匹配处理直至中间面块匹配处理。

当直到基底面的分层匹配处理结束时，局部运动矢量计算部154获得缩小面运动矢量MVs、中间面运动矢量MVm和基底面运动矢量MVb的合成矢量的信息作为局部运动矢量LMV。局部运动矢量LMV被提供给全局运动计算部157。

全局运动计算部157临时存储所接收的局部运动矢量LMV。

此外，当通过局部运动矢量计算部154进行局部运动矢量LMV的匹配处理结束时，通过控制部155激活运动矢量可靠性指标值计算部156。同时，第一极小值存储单元1541的SAD值的最小值MinSAD和第二极小值存储单元1542的SAD值的第二极小值Btm2SAD从局部运动矢量计算部154被提供给运动矢量可靠性指标值计算部156。

此外，此时将目标块的图像数据从目标块缓存部151通过低通滤波器1591提供给最大亮度值检测部1592和最小亮度值检测部1593。然后，分别将由最大亮度值检测部1592和最小亮度值检测部1593检测的最大亮度值MaxTAR和最小亮度值MinTAR提供给运动矢量可靠性指标值计算部156。

运动矢量可靠性指标值计算部156根据上文给出的(表达式6)使用提供给其的信息以计算运动矢量的可靠性指标值Ft。然后，运动矢量可靠性指标值计算部156将所计算的运动矢量可靠性指标值Ft提供给全局运动计算部157。全局运动计算部157以与此时提供的局部运动矢量LMV相关联的关系来临时存储输入其中的运动矢量可靠性指标值Ft。

在对目标帧中的所有目标块都结束了上述的一系列处理之后，控制部155将控制指令信号提供给全局运动计算部157，从而开始全局运动的数学运算处理。

在本实施例中，全局运动计算部157首先根据来自控制部155的控制指令信号使用以与局部运动矢量LMV的对应关系存储的运动矢量可靠性指标值Ft来执行对存储在其中的多个局部运动矢量LMV的可靠性的判定。在本实施例中，根据上文给出的(表达式7)计算每个运动矢量LMV的加权系数W。然后，全局运动计算部157仅提取加权系数W为W＝1并呈现高可靠性的那些局部运动矢量LMV。

然后，全局运动计算部157仅使用所提取的具有高可靠性的局部运动矢量LMV来执行计算全局运动GM的数学运算处理。然后，全局运动计算部157将所得到的全局运动矢量GM提供给全局运动矢量计算部158。

全局运动矢量计算部158将全局运动GM应用于目标块的坐标位置(例如，中心位置)以计算目标块的全局运动矢量GMV。

全局运动矢量计算部158将所计算的全局运动矢量GMV提供给背景/运动图像拾取对象判定部150。此外，将来自局部运动矢量计算部154的局部运动矢量LMV提供给背景/运动图像拾取对象判定部150。

关于上述目标块，背景/运动图像拾取对象判定部150将用于每个目标块的局部运动矢量LMV与全局运动矢量GMV进行比较以判定它们的一致度(即，背景一致度)。在这种情况下，背景/运动图像拾取对象判定部150将关于分别对应于局部运动矢量LMV和全局运动矢量GMV的参考块的相关值(即，SAD值)进行比较以进行背景和运动图像拾取对象的判定。

顺便提及，也可以使用通过局部运动矢量计算部154确定的用于计算全局运动的局部运动矢量LMV和相关值(即，SAD值)作为通过背景/运动图像对象判定部150用于上文所述比较的值。

然而，在这种情况下，局部运动矢量计算部154需要在全局运动计算部157和全局运动矢量计算部158进行处理的时间段内保留局部运动矢量和SAD值。在这种情况下，尤其是因为不知道全局运动矢量GMV对应哪个参考矢量，所以需要保留关于各个目标块的SAD值表的所有SAD值作为将被保留的那些SAD值。因此，为了保留局部运动矢量LMV和SAD值需要具有非常大容量的存储器。

考虑到这一点，在本实施例中，局部运动矢量计算部154执行局部矢量LMV和SAD值的再计算用于背景/运动图像拾取对象判定部150的比较。通过这样的再计算，局部运动矢量计算部154不再需要包括用于存储局部运动矢量LMV和SAD值的存储器，并且可以消除存储器容量的问题。

因此，背景/运动图像拾取对象判定部150使用再计算的局部运动矢量LMV和SAD值来确定表示关于目标块的背景一致度的命中率β。在进行这种再计算时，背景/运动图像拾取对象判定部150还获取关于与全局运动矢量GMV一致的参考矢量(即，参考块位置)的SAD值。然后，背景/运动图像拾取对象判定部150使用再计算的局部运动矢量LMV和SAD值来判定目标块是背景部分还是运动图像拾取对象部分。

背景/运动图像拾取对象判定部150将关于对应于全局运动矢量GMV的参考块的SAD值(其与关于对应于局部运动矢量LMV的参考块的SAD值进行比较)校正为反映图像噪声量的值。

图像噪声通常具有对应于图像亮度值的值。因此，在本实施例中，来自对比度计算部159的最大亮度值检测部1592的最大亮度值MaxTAR和来自最小亮度值检测部1593的最小亮度值MinTAR被提供给背景/运动图像拾取对象判定部150。

背景/运动图像拾取对象判定部150检测图像的亮度值作为最大亮度值MaxTAR与最小亮度值MinTAR之间的差，并响应于所检测的亮度值确定关于对应于全局运动矢量GMV的参考块的SAD值的校正值。

然后，背景/运动图像拾取对象判定部150将所校正的相关值与关于对应于全局运动矢量GMV的参考块的所述校正值进行比较。然后，背景/运动图像拾取对象判定部150判定关于对应于全局运动矢量GMV的参考块的SAD值的校正值是否小于(即，相关值是否大于)关于对应于局部运动矢量LMV的参考块的SAD值的校正值。当前者较低时，背景/运动图像拾取对象判定部150评估并判定目标块为背景部分。

当命中率β具有目标块可被认为是背景部分的这样的值时，背景/运动图像拾取对象判定部150输出全局运动矢量GMV作为经过降噪处理的运动矢量MVnr。在任何其他情况下，背景/运动图像拾取对象判定部150输出局部运动矢量LMV作为关于目标块的降噪处理的运动矢量MVnr。

如上所述，将来自背景/运动图像拾取对象判定部150的降噪处理的运动矢量MVnr提供给运动补偿图片生成部16。

运动补偿图片生成部16对通过运动矢量计算部15传送至其的用于参考帧的图像数据REFv的降噪处理运动矢量MVnr施加变换处理，以生成运动补偿图像的数据MCv。然后，将所生成的运动补偿图像的数据MCv提供给加法部17。

此外，背景/运动图像拾取对象判定部150将所确定的命中率β提供给相加率计算部21。相加率计算部21基于命中率β计算对应于目标图像的运动补偿图像的相加率α。

在这种情况下，可以以块为单位或以像素为单位计算相加率α。即使在以像素为单位计算相加率α的情况下，也由于是以块为单位计算命中率β，所以命中率β自然以块为单位参与相加率的计算。

在以块为单位计算相加率α的情况下，也可以仅响应于命中率β来计算相加率α。自然，可以通过考虑除命中率β以外的其他相加率计算因素来计算相加率α。

在本实施例中，相加率计算部21以像素为单位确定相加率α。为此，将目标图像的数据TGv与运动补偿图像的数据MCv提供给相加率计算部21。

在本实施例中，相加率计算部21使用目标图像的像素与运动补偿图像的像素之间的差值的绝对值(即，像素差绝对值)、目标图像的像素平均值与运动补偿图像的像素平均值之间的差值的绝对值(即，平均量差绝对值)、目标图像的方差差值绝对值以及命中率β来确定相加率α。

例如，作为像素平均值，确定受关注的像素(即，像素本身)附近的九个像素的平均值。作为方差差值绝对值，确定受关注的像素(即，像素自身)与邻近像素之间的差值的方差值的绝对值。

由相加率计算部21确定的相加率α被提供给加法部17。加法部17使运动补偿图像的数据MCv以相加率α与传送给其的目标图像的图像数据TGv相加。

在本实施例中，加法部17以对应于目标块的背景一致度(即，命中率β)的相加率将目标图像与运动补偿图像进行叠加。换言之，在静止图片部分，运动补偿图像与目标图像的相加率较高，而在运动图像拾取对象部分，运动补偿图像与目标图像的相加率较低。

以这种方式，在本实施例中，可以利用各个适当的相加率，在背景部分和运动图像拾取对象部分处执行图像的叠加。因此，通过图像叠加获得了良好的降噪图像。

此外，由于从具有高可靠性的那些局部运动矢量LMV中生成在本实施例中使用的全局运动和全局运动矢量GMV，所以它们是高精确度的运动矢量。此外，关于这点，可获得良好的降噪图像。用于降噪生成的一般处理的流程

图18示出了从进入图像存储器4的拾取图像中生成降噪图像的处理流程。

首先在步骤S1，在运动矢量计算部15中，局部运动矢量计算部154通过块匹配执行局部运动矢量LMV的检测。然后，在步骤S2中，运动矢量可靠性指标值计算部156使用通过局部运动矢量计算部154计算的SAD值的第一极小值MinSAD和第二极小值Btm2SAD计算所检测的局部运动矢量LMV的可靠性的指标值Ft。

然后，在步骤S3，全局运动计算部157基于所计算的可靠性指标值Ft提取高可靠性的局部运动矢量LMV。然后，全局运动计算部157仅使用所提取的高可靠性的局部运动矢量LMV来计算全局运动GM。

然后，在步骤S4，全局运动矢量计算部158使用在步骤S3中计算出的全局运动GM来计算每个目标块的全局运动矢量GMV。

然后，在步骤S5，局部运动矢量计算部154进行块再匹配处理以重新检测所述局部运动矢量LMV。然后，局部运动矢量计算部154存储在从中检测到局部运动矢量LMV的参考块的位置(即，参考矢量)处的SAD值(即，第一极小值MinSAD)。此外，局部运动矢量计算部154还存储了关于对应于在步骤S4中计算出的全局运动矢量GMV的参考块的SAD值。注意，此时，没有必要计算局部运动矢量LMV的可靠性的指标值Ft。

然后，在步骤S6，背景/运动图像拾取对象判定部150将在步骤S5中计算的局部运动矢量LMV与在步骤S4中确定的全局运动矢量GMV进行比较，以评估关于每个目标块的背景一致度从而确定命中率β。然后，背景/运动图像拾取对象判定部150确定关于每个目标块的降噪处理运动矢量MVnr，并将降噪处理运动矢量MVnr输出给运动补偿图片生成部16。

在步骤S6的局部运动矢量LMV与全局运动矢量GMV之间的比较中，将关于对应于局部运动矢量LMV的参考块的SAD值与关于对应于全局运动矢量GMV的参考块的SAD值进行比较。此外，对于关于对应于全局运动矢量GMV的参考块的SAD值，基于上述图像噪声应用校正。

然后，在步骤S7，运动补偿图片生成部16使用在步骤S6中确定的降噪处理运动矢量MVnr来生成用于每个参考块的运动补偿图像，并将所生成的运动补偿图像输出给加法部17。

然后，在本实施例中，在步骤S8，相加率计算部21使用在步骤S6中确定的命中率β以计算用于每个像素的相加率α，并将所计算的相加率α提供给加法部17。

然后，在步骤S9，加法部17以在步骤S8中计算的相加率α将在步骤S7中生成的运动补偿图像叠加在各个像素的目标图像上以生成降噪图像。降噪处理由此结束。

注意，图18示出了一个特定目标帧的处理操作。在叠加大于等于3的多个图像的情况下，将由两个图像生成的降噪图像设为目标帧，而将最新叠加的图像设为参考帧，以重复图18的处理。

现在，将进一步描述运动矢量计算部15的主要部件的详细处理操作。

局部运动矢量计算部154的处理操作

在本实施例中，为了检测SAD值的极小值，局部运动矢量计算部154将关于关注像素或像素自身的差值与关于关注像素周围的像素的差值进行比较。具体地，局部运动矢量计算部154将位置Po确定为判定对象点或像素，并比较判定对象点位置Po处的SAD值与接近判定对象点位置Po和在其周围(由图19中的虚线框包围)的8个SAD值。然后，局部运动矢量计算部154从由虚线框包围的区域中的9个SAD值中判定判定对象点的SAD值是否为最小值(下文中称为局部极小值)。

然后，如果判定对象点的SAD值被确定为局部极小值，则局部运动矢量计算部154将判定对象点的SAD值与目前所存储的SAD值的极小值进行比较。然后，如果局部运动矢量计算部154判定判定对象点的SAD值小于目前所存储的SAD值的极小值，则用新检测到的局部最小SAD值来更新存储于其中的SAD值的极小值。

作为上述的用于检测这种局部极小SAD值的配置，局部运动矢量计算部154被设计曾减小用于存储SAD值的SAD存储器的缓冲存储器的规模。具体地，当局部运动矢量计算部154以一个像素为单位搜索参考块时，如图19所示，准备能够存储水平方向上目标块尺寸的两条线的SAD值+三个SAD值的缓冲存储器作为用于存储SAD值的SAD表的缓冲存储器。

从图19可以看出，如果将水平方向上目标块尺寸的两行的SAD值+三个SAD值写入缓冲存储器，则可以判定处于判定对象点位置Po的局部极小值。

为了使缓冲存储器的尺寸最小化，如图19所示，新输入的SAD值被重写在已存储了旧SAD值但已不再用于极小值评估或局部极小值检测的存储器位置Pa处。具体地，虽然新输入的SAD值按顺序被写入如19所示的存储器位置Pb，但不是存储器位置Pb而是重写利用不再使用的存储器位置Pa来抑制存储器硬件规模的增加。

注意，局部运动矢量计算部154除了用于检测局部极小值的缓冲器外还包括上文所述的第一极小值存储单元1541和第二极小值存储单元1542。

上述的这一系列处理是基本的处理，并将该基本处理应用于第一极小值和第二极小值以检测SAD值的最小值和SAD值的第二极小值。

在本实施例中，局部运动矢量计算部154对缩小面、中间面和基底面执行相同的操作，但其在基底面上检测局部运动矢量LMV并计算局部运动矢量LMV的可靠性指标值。因此，仅对基底面需要SAD值的第二极小值，并且可以省略缩小面和中间面上的SAD值的第二极小值的计算与存储。

图20示出了局部运动矢量计算部154进行的第一极小值和第二极小值的检测处理操作的流程图。

参照图20，在步骤S101，首先，局部运动矢量计算部154从匹配处理部153取得SAD值。然后，在步骤S102，局部运动矢量计算部154将处于判定对象点位置Po处的SAD值与判定对象点位置Po周围位置处的8个SAD值进行比较。然后，在步骤S103中，局部运动矢量计算部154基于比较结果判定判定对象点位置Po处的SAD值是否为局部极小值。

如果在步骤S103中判定处于判定对象点位置Po处的SAD值不是局部极小值，则处理返回至步骤S101以执行接下来的SAD值的获取。

另一方面，如果在步骤S103中判定处于判定对象点位置Po处的SAD值是局部极小值，则在步骤S104中，局部运动矢量计算部154将存储在其中的SAD值的第一极小值和第二极小值与处于判定对象点位置Po处的SAD值进行比较。

然后，在步骤S105，局部运动矢量计算部154判定处于判定对象点位置Po处的SAD值是否小于存储在其中的SAD值的第一极小值。然后，如果判定处于判定对象点位置Po处的SAD值较低，则在步骤S106中，局部运动矢量计算部154用存储在第一极小值存储单元1541中的SAD值更新第二极小值存储单元1542并将处于判定对象点位置Po处的SAD值存储在第一极小值存储单元1541中。

然后，在步骤S109中，局部运动矢量计算部154判定是否利用目标块完成了关于所有参考块的SAD值的计算处理。如果判定计算处理还没有完成，则处理返回至步骤S101，以获取接下来的SAD值。另一方面，如果在步骤S109中判定利用目标块完成了关于所有参考块的SAD值的计算处理，则局部运动矢量计算部154结束处理程序。

另一方面，如果在步骤S105中判定处于判定对象点位置Po处的SAD值大于等于存储在其中的SAD值的第一极小值，则在步骤S107中，局部运动矢量计算部154判定处于判定对象点位置Po处的SAD值是否小于存储在其中的SAD值的第二极小值。如果判定处于判定对象点位置Po处的SAD值较低，则在步骤S108中，局部运动矢量计算部154用处于判定对象点位置Po处的SAD值更新存储在第二极小值存储单元1542中的SAD值。

处理从步骤S108前进至步骤S109，局部运动矢量计算部154判定是否完成了关于所有参考块的SAD值的计算处理。如果判定计算处理还没有完成，则处理返回至步骤S101，以取得接下来的SAD值。另一方面，如果在步骤S109中判定针对目标块完成了关于所有参考块的SAD值的计算处理，则结束处理程序。

另一方面，如果在步骤S107中判定处于判定对象点位置Po处的SAD值不小于存储在其中的SAD值的第二极小值，则处理前进至步骤S109。在步骤S109中，局部运动矢量计算部154判定是否针对目标块完成了关于所有参考块的SAD值的计算处理。

如果在步骤S109中判定关于所有参考块的SAD值的计算处理还没有完成，则处理返回至步骤S101，以取得接下来的SAD值。另一方面，如果在步骤S109中判定针对目标块完成了关于所有参考块的SAD值的计算处理，则结束处理程序。

图20所示的处理流程图可类似地应用于缩小面、中间面和基底面。在这种情况下，对于缩小面和中间面，最终存储在第一极小值存储单元1541中的SAD值被检测为SAD值的最小值MinSAD，并且对应的参考矢量被检测分别作为缩小面运动矢量MVs和中间面运动矢量MVm。然后，输出最小值MinSAD以及缩小面运动矢量MVs和中间面运动矢量MVm。

另一方面，对于基底面，最终存储在第一极小值存储单元1541中的SAD值被检测为SAD值的最小值MinSAD，并且对应的参考矢量被检测为基底面运动矢量MVb。然后，输出SAD值的最小值MinSAD和基底面运动矢量MVb。此外，对于基底面，最终存储在第一极小值存储单元1541中的SAD值(即，最小值MinSAD)以及最终存储在第二极小值存储单元1542中的SAD值(即，SAD值的第二极小值)被提供给运动矢量可靠性指标值计算部156。

全局运动计算部157的处理操作

<扩展仿射变换>

在本实施例中，从大量的局部运动矢量LMV计算或估计全局运动。然后，根据所计算的全局运动，计算全局运动矢量GMV或估计全局运动矢量GMV。在这种情况下，使用通过仿射变换表示全局运动的方法。

然而，普通的仿射变换具有不适于“倾斜失真”的缺点。“倾斜失真”是由相机抖动的俯仰轴(即，垂直方向上的轴)或偏转轴(即，与垂直方向垂直的水平方向上的轴)的旋转分量引起的现象。通过“倾斜失真”，如图21A和图21B所示，准确面对状态的矩形平面变形为梯形，因此，也被称为梯形失真或畸变。

具体地，当相机CAM准确面对图像拾取对象OBJ以如图21A的下侧所示使相机CAM的光轴Lz垂直地扩展至图像拾取对象OBJ的矩形平面时，图像拾取对象OBJ的矩形平面的拾取图像直接呈现如图21A上侧所示的矩形形状。

另一方面，例如，如图21B的下侧所示，如果相机CAM的光轴Lz经受了俯仰轴旋转(即，竖直平面上的旋转)角度θ而没有准确面对图像拾取对象OBJ，则图像拾取对象OBJ的矩形平面的拾取图像呈现出梯形形状，其中，如图21B的上侧所示，图像的左向和右向(即，水平方向)上的长度响应于角度θ角而线性变化。

注意，虽然未示出，但是如果相机CAM的光轴Lz并未准确面对图像拾取对象OBJ而是经受偏转轴旋转(即，水平平面内的旋转)角度θ，则图像拾取对象OBJ的矩形平面的拾取图像呈现出梯形形状，其中，图像的向上和向下方向(即，图像的竖直方向)的长度响应于角度θ角线性变化。

用于将通过相机抖动以上述扭曲形式拾取的图像恢复为准确面对状态的原始形状的图像的方法是“倾斜失真”校正或梯形校正。然而，这种校正并不能用上述仿射变换的参数来表示。具体地，如果需要执行将图21B所示的“倾斜扭曲的”梯形图像恢复为矩形图像的这种“倾斜失真”校正，则图像沿垂直轴或y轴的上部应该被水平收缩而图像的下部应被水平扩展。但是，对于仿射变换的参数，参与水平扩展或收缩的参数为a，并且由于参数a为固定值，仿射变换并不适于上述的校正。

为了避免刚刚描述的这个问题，已经提出了利用正交投影变换来代替仿射变换。正交投影变换由图22所示的(表达式8)表示，并且可以表示从三维空间中的任意平面到另一个平面的投影变换。

然而，难以将正交投影变换应用于这里假设的从大量矢量中指定一个全局运动的情况。这是因为难以根据图22的(表达式8)的形状使用最小二乘法，并且在使用一些其他技术的情况下，还需要大量的数学运算。

作为现实的问题，因为实际的图像拾取对象是三维对象，所以观察的局部运动矢量包括大量距离互不相同的图像拾取部分。在这种情况下，正交投影变换的应用只能是近似的。因此，如果考虑到需要非常高的成本来获得对正交投影变换的通解，则正交投影变换并不能作为降低成本的对策看起来是合理的决定。

为了更加简单地应用正交投影变换，可以采用相对于6个矢量确定解的方法。这是因为，由于必须确定12个参数，所以如果代入6个矢量的坐标，则生成具有6个未知数的6×2的一阶方程式，可以通过6×2矩阵的逆矩阵计算而比较容易地得出解。因此，需要从大量的局部矢量中适当地选择6个矢量。

然而，如果考虑到运动图像拾取对象包括在拾取图像中的情况，则由于不能期望每一个局部矢量都相当准确，所以难以从大量的局部运动矢量中仅提取具有高精确度的那些矢量。因此，难以从大量的局部运动矢量中适当地选择6个矢量。

考虑到上述情况，本实施例使用了即使图像经受“倾斜失真”仍可以顺利地检测全局运动的技术。

具体地，在本实施例中，使用上面参照图21A描述的现有普通仿射变换的修改形式。刚刚描述的普通仿射变换的修改形式在下文中被称为扩展仿射变换。

现在，尝试执行将由图23中实线表示“倾斜扭曲”的梯形图像恢复为由图23中虚线表示的矩形图像的“倾斜失真”校正。在这种情况下，梯形图像的上半部分应沿垂直轴，即，由箭头标记表示的y轴水平地减小，而梯形图像的下半部分应水平扩展。

在普通的仿射变换中，在仿射变换的参数a、b、c、d、e和f中，与水平扩展和收缩有关的参数是a。由于参数a具有固定值，所以普通仿射变换并不适于“倾斜失真”校正。

因此，如果将参数a重写为q0·y+r0以使其值可如图23的下部所示沿y轴变化，则仿射变换变为水平方向上的扩展或收缩比响应于垂直轴而线性变化。换句话说，参数a被替换为用于“倾斜失真”校正的y轴的变量y的函数。这里，对于图23中的“倾斜失真”校正，参数a可以是线性函数，即，函数q0·y+r0。

虽然图23中的仿射变换考虑到通过旋转上述俯仰轴进行“倾斜失真”的校正，但是还需要考虑到通过旋转偏转轴进行“倾斜失真”的校正以及通过俯仰轴和偏转轴的合成旋转进行“倾斜失真”的校正。

因此，在本实施例中，扩展了上面参照图23描述的概念。具体地，为了使仿射变换允许在垂直于任意轴的方向上沿该轴扩展或收缩，参数a、b、d和e由图24的(表达式9)表示的pn·x+qn·y+rn(n＝0，1，2，3)所取代。

这里，在仿射参数a、b、d和e参与图像变换的同时，仿射参数c和f分别参与沿向左或向右方向以及向上或向下方向偏移。因此，仿射参数c和f并不能被替换为函数。

在仿射参数a、b、d和e如(表达式9)表示的情况下，涉及14个参数，并且扩展仿射变换看起来复杂程度非常高。然而，如果(表达式9)被展开并整理，则其具有使用总共12个参数的图25所示的(表达式10)的形式。

如果使用扩展仿射变换的这种表达式，则经过表达式很复杂，但是仍可以通过最小二乘法唯一地推出多个局部运动矢量的解。由于该技术与仿射变换相同，所以分别如图26～图30中的(表达式11)～(表达式15)给出最终结果。

注意，在本实施例中，虽然参与图像变换的所有仿射参数a、b、d和e都被替换为函数，但是如果图像变换只出现在特定方向，则仅关于该方向的参数才被替换为函数。例如，为了仅考虑图23的上侧所示的变换，如图23的下侧所示，仅参数a应用函数替换。

此外，在上述实例中，虽然由于假设线性变形而使用于替换的函数是线性函数，但如果假设曲线是线性的，则函数可以是二次或高阶函数。

<使用扩展的仿射变换计算全局运动>

作为用于从未指定的大量矢量中推导出最优全局运动的技术，本实施例使用了在图31和图32的流程图中示出的方法。根据该方法，当不太可能符合全局运动的块的那些运动矢量(例如，运动图像拾取对象)逐步从具有高可靠性的块中排除时，最小二乘法被用于使全局运动收敛。

根据图31和图32的处理，采用扩展仿射变换以使得可以从许多低矢量精确度的局部运动矢量中排除运动图像拾取对象等的误差矢量，同时在实际的数学运算成本下推导包含“倾斜失真”的最佳全局运动。

顺便提及，由于本实施例中的扩展仿射变换涉及到许多变换参数并且是可变通的，所以存在全局运动的收敛数学运算还可适于运动图像拾取对象的误差运动矢量或噪声的可能性，这就不能排除这种误差运动矢量。

因此，在本实施例中，在收敛数学运算循环的初始阶段，使用普通仿射变换排除误差运动矢量(下文中称为误差矢量)，此后，如图31和图32所示，执行使用扩展仿射变换的收敛数学运算。这是因为，期望使用在矢量误差降到通过使用普通仿射变换不能排除这种倾斜失真因子的程度之后尝试使高精确度收敛同样可适于使用扩展仿射变换的倾斜失真因子的技术。

此外，在本实施例中，检测矢量误差的最高值作为在收敛数学运算的每个周期确定的全局运动GM中确定的运动矢量(即，全局运动矢量)与所检测运动矢量(即，上述的所检测的局部运动矢量LMV)的差。

然后，如果所检测的矢量误差的最高值大于预先确定的阈值，则继续普通的仿射变换，但是如果所检测的矢量误差最高值小于或等于预定阈值，则执行使用扩展仿射变换的收敛数学运算。

现在，将详细描述图31和图32的方法。

首先，在步骤S201中，全局运动计算部157将存储在其中的多个局部运动矢量LMV的运动矢量可靠性指标值与预先确定的阈值进行比较。然后，根据比较结果，全局运动计算部157仅选择运动矢量LMV可靠性指标值Ft大于预定阈值的目标块。刚刚提及的这些目标块在下文中被简称为块。所描述的处理对应于参照上面给出的(表达式7)所描述的1和0两个值被用作权重系数W的情况。

然后，在步骤S202中，全局运动计算部157判定是否是第一次执行收敛数学运算的收敛循环。如果判定收敛循环为第一次执行，则在步骤S203中，全局运动计算部157仅使用所选块的局部运动矢量LMV以及使用普通仿射变换来推导或估算全局运动GM。换言之，全局运动计算部157推导全局运动GM的仿射参数a～f。

然后，在步骤S206中，全局运动计算部157基于所推导的全局运动GM来计算用于数学运算的所选块的理论局部运动矢量LMVs。

然后，在步骤S207中，全局运动计算部157对每一个所选块计算由块匹配处理确定的局部运动矢量LMV与在步骤S206中确定的理论局部运动矢量LMVs之间的误差En。

对于由块匹配确定的局部运动矢量与理论局部运动矢量之间的误差计算，如果重点在于数学运算的精确度，则应利用勾股定理正确地执行距离计算。然而，如果重点在于减少数学运算而非精确度，则可以将水平和垂直方向上两个运动矢量之间确定的距离和用作近似距离。

然后，在步骤S208中，全局运动计算部157使用为所选块确定的所有误差En来计算平均值Eave和误差En的最大值Emax。然后，在步骤S209中，全局运动计算部157判定平均值Eave是否小于预先确定的阈值θa以及最大值Emax是否小于预先确定的阈值θb。

如果作为图32中步骤S209的判定结果判定并不满足这些条件，则处理前进到步骤S211，其中，全局运动计算部157从用于推导全局运动的块中排除在步骤S207中确定的块的误差En中误差En满足En＝Emax的一个块。或者，在步骤S211中，全局运动计算部157检测误差En满足En≥θb的那些块并从用于推导全局运动GM的块中排除所有检测出的块。

然后，在步骤S212，全局运动计算部157判定作为步骤S211中的块排除结果的剩余块数是否小于预先确定的阈值θc。如果在步骤S212中判定剩余块数不小于阈值θc，则处理返回到步骤S212，以将剩余块设置为所选块来重复从步骤S202开始的步骤的处理。

如果剩余块数小于阈值θc，则由于无法获得适当的全局运动GM，所以对象参考帧的图像不能用于与本实施例中的图像进行重叠。因此，如果在步骤S212中判定剩余块数小于阈值θc，则在步骤S213中，全局运动计算部157跳过后面用于参考帧的所有处理。由此，全局运动计算部157结束图31和图32的处理。

另一方面，如果在步骤S202中判定不是第一次执行收敛数学运算的收敛循环，则全局运动计算部157在步骤S204中判定在步骤S208中确定的块的误差En的最大值Emax是否大于预先确定的阈值θd。

将阈值θd选择为以下值：当普通仿射变换被用于执行全局运动GM的数学运算并以上述步骤S211的这种方式排除矢量误差时，不会排除倾斜失真分量的矢量。

如果在步骤S204中判定误差En的最大值Emax大于预定阈值θd，则全局运动计算部157前进至步骤S203的处理，其中，其使用普通仿射变换来推导全局运动GM。换言之，全局运动计算部157计算用于扩展仿射变换的参数。此后，全局运动计算部157重复地执行从上述步骤S203开始的步骤的处理。

如果在步骤S204中判定误差En的最大值Emax小于或等于预定阈值θd，则全局运动计算部157在步骤S205中仅使用所选块的局部运动矢量LMV以及使用扩展仿射变换来推导全局运动。在步骤S205的处理之后，执行以步骤S206开始的步骤的处理。

然后，如果在图31的步骤S209中确定误差En的平均值Eave小于阈值θa且误差En的最大值Emax小于阈值θb，则在步骤S210中，全局运动计算部157判定数学运算收敛，并最终确定该时间点的全局运动GM，此后结束处理程序。

注意，步骤S211中是否应该仅排除误差En为最大误差值Emax的块还是应该排除误差En等于或大于阈值θb的块可以基于当确定全局运动矢量GMV时的收敛的快捷性和精确度之间的平衡来确定。如果精确度优先，则应该采用前一种方法来逐个地排除误差块，但如果快捷性优先，则应该采用后一种方法。

注意，在上述处理程序的步骤S204中，误差En的最大误差值Emax被用于判定使用普通仿射变换的数学运算和使用扩展仿射变换的数学运算之间的转换。然而，可以不仅考虑到误差En的最大误差值Emax还考虑到误差En的平均值Eave来执行步骤S204中的转换判定。

在这种情况下，在步骤S204中，判定误差En的平均值Eave是否大于预先确定的阈值，如果平均值Eave大于阈值，则使用普通仿射变换执行数学运算。然而，如果平均值Eave小于或等于阈值，则使用扩展仿射变换执行数学运算。

或者，可以在步骤S204中判定误差En的最大值Emax和平均值Eave是否大于各个预先确定的阈值。在这种情况下，如果确定它们都大于各个阈值，则可以使用普通仿射变换来执行数学运算。然而，如果确定它们都不大于各个阈值，则可以使用扩展仿射变换来执行数学运算。

注意，因为类似于可以从光学变焦率或设置形状中识别出相机抖动校正范围的事实，可以从最大的相机抖动量中获得倾斜失真分量的最大值，所以阈值的识别相对来说是比较容易的。

全局运动计算部157基于以上述方式计算的全局运动GM来计算每个目标块的全局运动矢量GMV。具体地，全局运动计算部157使用用于所计算的全局运动GM的扩展仿射变换的参数a～l(参见图25)以根据图25的(表达式10)来确定每个目标块的运动矢量，其对应于理论局部运动矢量LMVs。对于图25的(表达式10)中的x和y，使用每个目标块中心位置的坐标。以这种方式确定的运动矢量变为每个目标块的全局运动矢量GMV。

然后，以上述这种方式确定的目标块的全局运动矢量GMV被提供给运动补偿图片生成部16。然后，运动补偿图片生成部16使用目标块的全局运动矢量GMV来生成目标块的运动补偿图片，并将生成的运动补偿图片提供给加法部17。

图33示出了本实施例中从图12包括许多噪声的图像中确定的目标块的全局运动矢量。在图33中，每个目标块的全局运动矢量由空白的箭头标记表示。

背景/运动图像拾取对象判定部150的配置和处理操作的实例

在通过局部运动矢量计算部154进行块的再匹配时，背景/运动图像拾取对象判定部150获取关于由上述全局运动矢量计算部158计算的对应于全局运动矢量GMV的参考块的SAD值。然后，背景/运动图像拾取对象判定部150响应于上述图像噪声利用校正值来校正所获取的SAD值。在本实施例的以下描述中，提供了两种利用校正值进行校正的方法。

<第一实例：通过偏移相加校正SAD值>

图34示出了第一实例的概念。在图34中，横坐标轴表示搜索范围，纵坐标轴表示SAD的值，以及图34示出了关于一个目标块的SAD表的内容，即，SAD值。横坐标轴上的每个值均表示参考块位置，即，参考矢量，并且实线曲线表示与图15非常相似的SAD表的内容。

参见图34，类似于图15，通过块匹配将呈现最小SAD值的参考块的位置或参考矢量501检测作为局部运动矢量LMV。同时，呈现出全局运动矢量GMV的另一个参考块的位置是图34中的位置503。

此时，如果关于局部运动矢量LMV的SAD值和关于全局运动矢量GMV的SAD值保持在与由图像噪声所提供量相对应的差值范围内，则存在全局运动矢量GMV可以是表示最小SAD值的参考矢量的可能性。

具体地，尽管作为参考块的位置的关于全局运动矢量GMV的SAD值必须最初为最小SAD值，但考虑到由于噪声而错误地将位于不同参考块的SAD值，即，局部运动矢量LMV的SAD值确定为最小SAD值。

因此，在本实施例中，为了校正全局运动矢量GMV，对全局运动矢量GMV处的SAD值添加了与图像噪声量相对应的偏移值OFS。在本实例中，从全局运动矢量GMV处的SAD值(由SAD_GMV表示)中减去偏移值OFS以校正SAD值。具体地，在校正后的SAD值由MinSAD_G表示的情况下，其被表示为：

MinSAD_G＝SAD_GMV-OFS        ...(表达式16)

这里，如果偏移值OFS被设置为非常高的值，则运动图像拾取对象的运动矢量也被判定为最小SAD值。因此，在本实施例中，偏移值OFS被设置为小于局部运动矢量的可靠性指标值Ft的阈值th(参见表达式7)的值。

然后，背景/运动图像拾取对象判定部150将所校正的SAD值MinSAD_G与局部运动矢量LMV处的SAD值MinSAD进行比较。如果比较结果表明MinSAD_G＜MinSAD，则评估关于目标块的SAD值的最小值是关于与全局运动矢量GMV相对应的参考块的SAD值的校正值MinSAD_G。图34示出了满足MinSAD_G＜MinSAD情况下的SAD表。

具体地，在SAD表为图34所示的情况下，确定关于目标块的真实局部运动矢量与全局运动矢量GMV一致。然后，在这种情况下，评估与目标块的背景一致度较高同时关于目标块的命中率β具有较大的值。然后，关于目标块的降噪处理运动矢量是全局运动矢量GMV。

这里，在本实施例中，假定命中率β为0≤β≤1范围内的值。如果局部运动矢量LMV和全局运动矢量GMV彼此完全一致，则命中率β可被确定为β＝1。然而，在本实施例中，没有执行局部运动矢量LMV和全局运动矢量GMV彼此是否完全一致的评估，但是将校正的SAD值MinSAD_G与在局部运动矢量LMV处的SAD值(MinSAD)进行比较用于评估。因此，评估结果不仅包括局部运动矢量LMV和全局运动矢量GMV彼此完全一致的情况，而且还包括它们并不完全一致的另一种情况。

然后，如下所述，在本实施例中假设如果满足MinSAD_G＜MinSAD，则命中率β为例如β＝0.75。这里，没有使用β＝1的原因在于上述比较结果包括如上所述局部运动矢量LMV和全局运动矢量GMV彼此并非完全一致的情况。

图35示出了在第一实例的情况下背景/运动图像拾取对象判定部150的配置及其相关元件的实例。

参照图35，所示实例的所述背景/运动图像拾取对象判定部150包括SAD_GMV检测部1501，偏移减法部1502，偏移生成部1503和比较判定部1504。

在本实例中，将从匹配处理部153进行块再匹配时计算的参考块的SAD值和位置信息(即，参考矢量的信息)提供给局部运动矢量计算部154。局部运动矢量计算部154检测块再匹配时的最小SAD值MinSAD，并计算局部运动矢量LMV，即，参考块的位置信息或参考矢量的信息。然后，局部运动矢量计算部154将局部运动矢量LMV和通过块再匹配处理获得的SAD值的最小值MinSAD提供给比较判定部1504。

将从匹配处理部153进行块再匹配时计算的参考块的SAD值和位置信息(即，参考矢量的信息)还提供给SAD_GMV检测部1501。SAD_GMV检测部1501检测关于与全局运动矢量GMV一致的参考矢量的参考块的SAD值SAD_GMV，并将所检测的SAD值SAD_GMV提供给偏移减法部1502。

偏移减法部1502将来自SAD_GMV检测部1501的SAD值SAD_GMV中减去来自偏移生成部1503的偏移值OFS以生成校正后的SAD值MinSAD_G。然后，偏移减法部1502将生成的校正后的SAD值MinSAD_G提供给比较判定部1504。

偏移生成部1503生成对应于图像噪声的偏移值OFS并将其提供给偏移减法部1502。由于图像噪声呈现出对应于图像亮度值的值，所以在本实施例中，不同亮度值和不同偏移值OFS之间的对照表的信息存储在偏移生成部1503中。

偏移生成部1503计算目标块的亮度值作为来自最大亮度值检测部1592的最大亮度值MaxTAR与来自最小亮度值检测部1593的最小亮度值MinTAR的差值。然后，偏移生成部1503使用所计算的目标块的亮度值作为自变量搜索上述对照表，以获取对应于自变量的亮度值的偏移值OFS。

比较判定部1504将对应于局部运动矢量LMV的最小SAD值MinSAD与来自偏移减法部1502的校正后的SAD值MinSAD_G进行比较，并响应于比较结果生成并输出命中率β。

提供给比较判定部1504的还有来自局部运动矢量计算部154的重新计算的局部运动矢量LMV以及来自全局运动矢量计算部158的全局运动矢量GMV。

然后，如果满足MinSAD_G＜MinSAD，则由于背景一致度较高，所以比较判定部1504将全局运动矢量GMV作为降噪处理运动矢量MVnr输出至运动补偿图片生成部16。另一方面，如果不满足MinSAD_G＜MinSAD，则由于背景一致度较低，所以比较判定部1504将局部运动矢量LMV作为降噪处理运动矢量MVnr输出之运动补偿图片生成部16。

注意，用于全局运动矢量GMV的SAD_GMV检测部1501和偏移减法部1502可被配置为以使可包括在局部运动矢量计算部154中。在这种情况下，局部运动矢量计算部154执行块再匹配来检测关于与全局运动矢量GMV相对应的参考块的SAD值SAD_GMV，并执行偏移值OFS的减法数学运算。

<背景/运动图像拾取对象判定处理的流程>

参照图36和图37具体描述具有图35配置的通过局部运动矢量计算部154进行的块再匹配处理以及通过背景/运动图像拾取对象判定部150进行的背景一致度评估处理的流程。通过在控制部155的控制下的各个部件来执行图36和图37的处理。注意，图36和图37的处理用于SAD_GMV检测部1501和偏移减法部1502被配置为包括在局部运动矢量计算部154中的情况。

首先，在步骤S301中，在控制部155的控制下开始块再匹配以在目标块缓冲器部151中设置第一个目标块。然后，在步骤S302中，在控制部155的控制下，从在参考块缓冲器152中缓存的匹配处理范围内的参考帧的图像数据中设置用于将被进行块再匹配处理的参考块。

然后，在步骤S303中，匹配处理部153对所设置的目标块和所设置的参考块执行块匹配处理，以计算SAD值。然后，匹配处理部153将确定的SAD值与参考块的位置信息或参考矢量一起提供给局部运动矢量计算部154。

然后，在步骤S304中，局部运动矢量计算部154判定参考矢量是否与全局运动矢量GMV一致。这对应于SAD_GMV检测部1501的处理操作。

如果在步骤S304中判定参考矢量与全局运动矢量GMV不一致，则在步骤S305中，局部运动矢量计算部154执行最小SAD值MinSAD和参考块位置或参考矢量的更新处理。具体地，局部运动矢量计算部154将至此所存储的最小SAD值MinSAD与新计算的SAD值进行比较，并将较低值存储作为最小SAD值MinSAD。此外，局部运动矢量计算部154还更新表示最小SAD值的参考块位置或参考矢量。

然后，在步骤S308中，控制部155判定搜索范围内的所有参考块和目标块的块匹配是否完成。

然后，如果在步骤S308中判定还没有完成对搜索范围内的所有参考块的处理，则控制部155在步骤S309中设置下一个参考块。然后，处理返回至步骤S302来重复上述从步骤S302开始的步骤的处理。

另一方面，如果在步骤S304中判定参考矢量与全局运动矢量GMV一致，则在步骤S306中，局部运动矢量计算部154从SAD值SAD_GMV中减去偏移值OFS。然后，在步骤S307中，局部运动矢量计算部154将减法结果作为校正后的SAD值MinSAD_G与对应参考块位置(即，对应参考矢量＝全局运动矢量GMV)一起进行存储。

然后，处理前进至步骤S308，其中，控制部155判定是否完成了搜索范围内的所有参考块的处理。

然后，如果在步骤S308中判定完成了搜索范围内的所有参考块的处理，则局部运动矢量计算部154检测局部运动矢量LMV和最小SAD值MinSAD，并将它们提供给比较判定部1504。在图37中的步骤S311中，局部运动矢量计算部154还将校正后的SAD值MinSAD_G提供给比较判定部1504。

然后，在步骤S312中，背景/运动图像拾取对象判定部150的比较判定部1504判定最小SAD值MinSAD是否小于预先确定的阈值TH1。为了解决上述问题而提供了步骤S312中的处理。

具体地，例如，如果对应于目标图像上的运动图像拾取对象部分的块由于参考图像的移动或经受严重变形而消失，则发生检测不到搜索范围内的任一参考块与目标块匹配的情况。

在刚刚所述的这种情况下，SAD表的SAD值为彼此相似的较高值，以及最小SAD值MinSAD接近于其他SAD值。在刚刚所述的这种情况下，通过从与全局运动矢量GMV一致的参考矢量的SAD值中减去偏移值OFS所获得的校正后的SAD值MinSAD_G必定小于最小SAD值MinSAD，并存在将对应部分错误检测为背景部分的可能性。

因此，为了消除该问题，在本实施例中，校正与全局运动矢量GMV一致的参考矢量的SAD值，使得在最小SAD值MinSAD大于阈值TH1的情况下，不执行背景一致度的判定处理。

因此，如果在步骤S312中判定最小SAD值MinSAD大于阈值TH1，则比较判定部1504不使用全局运动矢量GMV执行背景一致度的判定，而是在步骤S313中将命中率β设定为β＝0.25。没有将命中率β设定为β＝0的原因在于考虑到与背景一致的块可能存在于呈现出SAD值大于阈值TH1的那些目标块中。

然后，在步骤S314中，比较判定部1504向运动补偿图片生成部16输出重写计算的局部运动矢量LMV作为目标块的降噪处理运动矢量。

此后，在步骤S320中，控制部155判定是否完成对目标帧中的所有目标块的处理。如果处理还没有完成，则在步骤S321中，控制部155设置下一个目标块。然后，处理返回步骤S302以在控制部155的控制下重复从上述步骤S302开始的步骤的处理。

另一方面，如果在步骤S312中判定最小SAD值MinSAD小于阈值TH1，则在步骤S315中，比较判定部1504将最小SAD值MinSAD与校正后的SAD值MinSAD_G进行比较。然后，在步骤S316中，比较判定部1504判定是否满足MinSAD＞MinSAD_G。如果判定不满足MinSAD＞MinSAD_G，则判定目标块与背景不一致，并在步骤S317中将命中率β设定为β＝0。

处理从步骤S317前进至步骤S314，其中，比较判定部1504向运动补偿图片生成部16输出重新计算的局部运动矢量LMV作为目标块的降噪处理运动矢量。然后，处理前进至步骤S320以重复从上述步骤S320开始的步骤的处理。

另一方面，如果在步骤S316中判定满足MinSAD＞MinSAD_G，则判定目标块与背景一致的程度较高，并在步骤S318中将命中率β设定为β＝0.75。然后，在步骤S319中，比较判定部1504向运动补偿图片生成部16输出全局运动矢量GMV作为目标块的降噪处理运动矢量。

处理从步骤S319前进至步骤S320，其中，控制部155判定是否完成了对目标帧内的所有目标块的处理。如果在步骤S320中判定对目标帧内的所有目标块的所述处理还没有完成，则在步骤S321中控制部155设置下一个目标块。此后，处理返回至步骤S302。

另一方面，如果在步骤S320中判定已经完成对目标帧内的所有目标块的处理，则控制部155结束背景/运动图像拾取对象判定处理操作。

注意，在上述实施例中，从全局运动矢量GMV的SAD值SAD_GMV中减去偏移值OFS来获得校正后的SAD值MinSAD_G，然后将校正后的SAD值MinSAD_G与最小SAD值MinSAD进行比较。然而，如果通过将通过使偏移值OFS与局部运动矢量LMV的最小SAD值MinSAD相加获得的值(MinSAD+OFS)与全局运动矢量GMV的SAD值SAD_GMV进行比较，则也是完全等同的。

<第二实例：通过增益乘法校正SAD值>

在上述第一实例中，应用偏移值OFS来校正关于在与全局运动矢量GMV一致的参考矢量位置处的参考块的SAD值SAD_GMV。可以应用以下这种类似的想法来代替偏移值OFS的加法，可以乘以考虑到图像噪声而确定的增益g来校正SAD值SAD_GMV。在本实例中，由于SAD值SAD_GMV在减小方向上乘以增益g，所以增益g为g＜1。注意，在相关值具有其响应于相关性的增加而增加的特性的情况下，自然满足g＞1。

在第二实例中，全局运动矢量的SAD值SAD_GMV的校正后的SAD值MinSAD_G由下式给出：

MinSAD_G＝SAD_GMV×g         ...(表达式17)

图38是示出了在第二实例的情况下背景/运动图像拾取对象判定部150的配置实例的功能框图。

参照图38，除代替偏移减法部1502包括增益乘法部1505以及代替偏移生成部1503包括增益生成部1506之外，所示背景/运动图像拾取对象判定部150是对参照图35的上述配置的背景/运动图像拾取对象判定部150的修改并且配置和处理操作与其相似。

由于图像噪声对应于图像的亮度值，所以增益生成部1506存储各种亮度值与增益g(g＜1)的对照表的信息，并使用目标块的亮度值作为自变量来输出对应增益g。

增益乘法部1505将来自SAD_GMV检测部1501的SAD值SAD_GMV乘以来自增益生成部1506的增益g，以生成校正后的SAD值MinSAD_G。然后，增益乘法部1505将所生成的校正后的SAD值MinSAD_G提供给比较判定部1504。其他配置和处理操作与上述第一个实例相同。

在根据第二实例的背景/运动图像拾取对象判定处理中，图36所示步骤S306中用于SAD的值SAD_GMV的校正处理被上面给出的表达式17的数学运算处理所取代。其他步骤的处理与第一实例的非常相似。

注意，在上述实例中，全局运动矢量GMV的SAD值SAD_GMV乘以增益g(g＜1)以获得校正后的SAD值MinSAD_G，并将校正后的SAD值MinSAD_G与最小SAD值MinSAD进行比较。然而，如果将通过使局部运动矢量LMV的最小SAD值MinSAD乘以增益g的倒数所获得的值(MinSAD×1/g)与全局运动矢量GMV的SAD值SAD_GMV进行比较，则也是完全等同的。

注意，第二实例中的增益g具有与第一实例的偏移值OFS类似的防止运动图像拾取对象的运动矢量被检测为最小SAD值的值。换言之，在本实例中，也将增益g设置为与偏移值OFS类似考虑到用于局部运动矢量的可靠性指标值Ft的阈值th(参见表达式7)的值。

背景/运动图像拾取对象判定部150的配置和处理操作的其他实例

顺便提及，在上述实施例中，在基于全局运动GM计算的全局运动矢量GMV可以用大于像素间距的精确度来表示的同时，以像素间距的精确度来执行块匹配。因此，与全局运动矢量GMV一致的参考矢量的参考块位置有时会出现误差。

此外，即使在上述实施例中使用扩展仿射变换，但误差可能存在于所确定的全局运动GM和实际全局运动之间。此外，在上述实施例中的分层块匹配中，如果在浅层的块匹配中出现差错，则差错无法在后面的任何层中被恢复。考虑到上述情况，认为最好对全局运动矢量GMV的位置提供特定容限。

在下述实例中考虑到这个问题。在本实例中，不仅使全局运动矢量GMV的位置Pgmv的SAD值而且使位置Pgmv附近和周围的SAD值也经受上述校正，然后与最小SAD值MinSAD进行比较。

例如，如图39所示，假设判定关于目标块的SAD表TBL中的全局运动矢量GMV的位置为位置Pgmv。此时，不仅位置Pgmv的SAD值，而且与位置Pgmv直接相邻的周围邻近位置P1～P8的8个SAD值也经受上述这种校正，并被确定为背景一致度的判定对象。

此外，在本实例的情况下，位置Pgmv和位置P1～P8处SAD值的九个校正SAD值MinSAD_G_0～MinSAD_G_8与重新计算的最小SAD值MinSAD进行比较。然后，如果九个校正SAD值中的任何一个小于最小SAD值MinSAD，则评估目标块的运动矢量具有与全局运动矢量GMV的高一致度，并且还评估背景一致度较高。

在本实例中，在将上述第一实例用作SAD值的校正方法的情况下的背景/运动图像拾取对象判定部150以及背景/运动图像拾取对象判定部150周围的多个元件如图40所示。

参见图40，所示的背景/运动图像拾取对象判定部150是对图35所示的修改，并且不同之处在于代替SAD_GMV检测部1501而包括GMV相邻SAD值检测部1507，另外还包括插入在偏移减法部1502和比较判定部1504之间的最小值检测部1508。

从来自匹配处理部153的位置信息和SAD值中，GMV相邻SAD值检测部1507检测全局运动矢量GMV的位置Pgmv和位置Pgmv的SAD值以及在位置Pgmv附近和周围的8个位置P1～P8和位置P1～P8的SAD值。

然后，GMV相邻SAD值检测部1507将检测的SAD值提供给偏移减法部1502。偏移减法部1502从位置Pgmv及P1～P8的9个SAD值中减去来自偏移生成部1503的偏移量OFS，以生成校正后的SAD值MinSAD_G_0～MinSAD_G_8。然后，偏移减法部1502将校正后的SAD值MinSAD_G_0～MinSAD_G_8提供给最小值检测部1508。

此外，GMV相邻SAD值检测部1507还将检测到的位置Pgmv和P1～P8以分别对应于各个位置的SAD值的这种方式提供给最小值检测部1508。

最小值检测部1508从位置Pgmv以及P1～P8的9个校正后的SAD值MinSAD_G_0～MinSAD_G_8检测最小值，并将检测结果的最小值作为校正SAD值MinSAD_G与校正SAD值MinSAD_G的位置信息一起提供给比较判定部1504。

比较判定部1504将来自局部运动矢量计算部154的作为块再匹配结果而获得的最小SAD值MinSAD与来自最小值检测部1508的校正SAD值MinSAD_G进行比较，以与上述类似的方式执行背景一致度的评估判定。

当不满足MinSAD＞MinSAD_G时，比较判定部1504将命中率β设为β＝0.0，并提供局部运动矢量LMV作为降噪处理运动矢量。该操作与上述实例相同。

另一方面，当满足MinSAD＞MinSAD_G时，比较判定部1504判定对应于校正SAD值MinSAD_G的位置信息是否与全局运动矢量GMV一致，并根据判定结果改变命中率β。例如，如果对应于校正SAD值MinSAD_G的位置信息与全局运动矢量GMV一致，则将命中率β设为β＝0.75。另一方面，如果对应于校正SAD值MinSAD_G的位置信息与全局运动矢量GMV不一致，则将命中率β设为β＝0.5。

此外，在本实例的情况下，当满足MinSAD＞MinSAD_G时，全局运动矢量GMV被输出作为降噪处理运动矢量。

然而，在本实例中，当满足MinSAD＞MinSAD_G时，比较判定部1504还可以将对应于来自最小值检测部1508的位置信息的局部运动矢量LMV输出作为降噪处理运动矢量。

注意，最小值检测部1508可包括在比较判定部1504中。在这种情况下，可以从9个校正SAD值中检测最小值，然后与最小SAD值MinSAD进行比较，或者9个校正SAD值也可以与最小SAD值MinSAD一一进行比较。

<背景/运动图像拾取对象判定处理的流程>

参照图41和图42进一步描述具有上面参照图40描述的配置的局部运动矢量计算部154进行的块再匹配处理以及背景/运动图像拾取对象判定部150进行的背景一致度评估处理的流程。通过在控制部155控制下的各个部件执行图41和图42的处理。注意，在SAD_GMV检测部1501和偏移减法部1502包括在局部运动矢量计算部154中的情况下，由局部运动矢量计算部154和背景/运动图像拾取对象判定部150执行图41和图42的处理。此外，最小值检测部1508包括在比较判定部1504中。

首先，在步骤S401中，在控制部155的控制下，开始块再匹配并在目标块缓冲器部151中设置第一个目标块。然后，在步骤S402中，在控制部155的控制下，从在参考块缓冲器152中缓存的匹配处理范围内的参考帧的图像数据中设置进行块再匹配处理的参考块。

然后，在步骤S403中，匹配处理部153在所设置的目标块和所设置的参考块之间执行块匹配处理以计算SAD值。然后，匹配处理部153将所计算的SAD值与参考块的位置信息或参考矢量提供给局部运动矢量计算部154。

然后，在步骤S404中，局部运动矢量计算部154判定参考矢量是否与全局运动矢量GMV一致以及参考矢量是否与全局运动矢量GMV附近和周围的8个位置P1～P8的任意一个一致。

如果在步骤S404中判定参考矢量与全局运动矢量GMV和8个位置P1～P8的任意一个都不一致，则在步骤S405中，局部运动矢量计算部154执行最小SAD值MinSAD和最小SAD值MinSAD的参考块位置或参考矢量的更新处理。

然后，在步骤S408中，控制部155判定是否完成搜索范围内的所有参考块和参考块的块匹配。

如果在步骤S408中判定还没有完成搜索范围的所有参考块的处理，则在步骤S409中，控制部155设置下一个参考块。然后，处理返回至步骤S402来重复以上述步骤S402开始的步骤的处理。

另一方面，如果在步骤S404中判定参考矢量与全局运动矢量GMV及周围相邻位置P1～P8中的一个一致，则在步骤S406中，局部运动矢量计算部154从SAD值中减去偏移值OFS。然后，局部运动矢量计算部154存储减法结果作为校正SAD值MinSAD_G_0～MinSAD_G_8中的对应一个，并在步骤S407中，存储校的SAD值的参考块的位置或参考矢量。

然后，处理前进至步骤S408，其中，判定是否完成搜索范围内的所有参考块的处理。

然后，如果在步骤S408中判定已经完成搜索范围内的所有参考块的处理，则局部运动矢量计算部154检测局部运动矢量LMV和最小SAD值MinSAD，并将它们提供给比较判定部1504。此外，局部运动矢量计算部154还从9个校正SAD值MinSAD_G_0～MinSAD_G_8中检测校正SAD值MinSAD_G作为最小值，并在图42的步骤S411中将校正SAD值MinSAD_G提供给比较判定部1504。

参照图42，在步骤S412中，背景/运动图像拾取对象判定部150的比较判定部1504判定最小SAD值MinSAD是否小于预先确定的阈值TH1。

如果在步骤S412判定最小SAD值MinSAD大于阈值TH1，则比较判定部1504不使用全局运动矢量GMV执行背景相似度的判定，而是在步骤S413中将命中率β设置为β＝0.25。然后在步骤S414中，比较判定部1504向运动补偿图片生成部16输出重新计算的局部运动矢量LMV作为目标块的降噪处理运动矢量。

然后，处理从步骤S414前进至步骤S422，其中，控制部155判定是否完成目标帧中的所有目标块的处理。如果还没有完成处理，则在步骤S432中，控制部155设置下一个目标块。然后，处理返回步骤S402以在控制部155的控制下重复从步骤S402开始的步骤的上述处理。

如果在步骤S412中判定最小SAD值MinSAD小于阈值TH1，则在步骤S415中，比较判定部1504将最小SAD值MinSAD与校正后的SAD值MinSAD_G进行比较。然后，在步骤S416中，比较判定部1504判定是否满足MinSAD＞MinSAD_G。然后，如果判定不满足MinSAD＞MinSAD_G，则在步骤S417中，比较判定部1504判定目标块与背景并不一致并将命中率β设定为β＝0。

然后，处理从步骤S417前进至步骤S421，其中，比较判定部1504向运动补偿图片生成部16输出全局运动矢量GMV作为目标块的降噪处理运动矢量。然后，过程前进至步骤S422以重复从步骤S422开始的步骤的处理。

另一方面，如果在步骤S416中判定满足MinSAD＞MinSAD_G，则在步骤S418中，判定最小SAD值MinSAD的位置或参考矢量是否与全局运动矢量GMV一致。如果在步骤S418中判定最小SAD值MinSAD的位置或参考矢量与全局运动矢量GMV不一致，则在步骤S419中，比较判定部1504将命中率β设定为β＝0.5。

另一方面，如果在步骤S418中判定最小SAD值MinSAD的位置或参考矢量与全局运动矢量GMV一致，则在步骤S420中，比较判定部1504将命中率β设定为β＝0.75。

然后，接着步骤S419或S420，在步骤S421中，比较判定部1504向运动补偿图片生成部16输出全局运动矢量GMV作为目标块的降噪处理运动矢量。

接着步骤S421，处理前进至步骤S422，其中，控制部155判定是否完成目标帧中的所有目标块的处理。如果在步骤S422中判定目标帧中的所有目标块的处理尚未完成，则在步骤S423中，控制部155设置下一个目标块。此后，处理返回至步骤S402。

另一方面，如果在步骤S422中判定已经完成目标帧中的所有目标块的处理，则控制部155结束背景/运动图像拾取对象判定处理操作。

不仅考虑全局运动矢量GMV位置的SAD值而且考虑全局运动矢量GMV位置的相邻周围位置的SAD值来执行背景/运动图像拾取对象判定的方法也可以应用于上述第二实例的SAD值校正方法中。

图43示出了在应用第二实例的情况下背景/运动图像拾取对象判定部及其相关外围部件的配置实例。除了代替SAD_GMV检测部1501包括GMV临近SAD值检测部1507并且还包含插入在增益乘法部1505和比较判定部1504之间的最小值检测部1508外，图43所示的背景/运动图像拾取对象判定部是对上面参照图38描述的背景/运动图像拾取对象判定部150的修改并具有与其类似的配置。

除上述第二实例被用作SAD值校正方法之外，图43的背景/运动图像拾取对象判定部150执行与图38的背景/运动图像拾取对象判定部150非常相似的操作处理。因此，为了避免赘述，这里省略图43的背景/运动图像拾取对象判定部150的操作处理的详细描述。

第二实施例

在上述第一实施例中，局部运动矢量计算部154执行分层块匹配来计算基底面上的局部运动矢量LMV。然后，运动矢量可靠性指标值计算部156计算基底面的局部运动矢量LMV的可靠性指标值Ft。

此外，全局运动计算部157生成基底面的局部运动矢量LMV的可靠性指标值Ft并使用可靠性指标值Ft来提取具有高可靠性的那些局部运动矢量LMV。然后，全局运动计算部157使用具有高可靠性的局部运动矢量LMV来计算全局运动GM，然后从全局运动GM中计算全局运动矢量GMV。

顺便提及，通过将缩小面运动矢量MVs和中间面运动矢量MVm与基底面的图像缩小率的倒数相乘，可以获得基底面运动矢量MVb。因此，为了计算全局运动GM，可以不确定基底面运动矢量MVb而是从缩小面运动矢量MVs或中间面运动矢量MVm中确定全局运动GM。

例如，为了从缩小面运动矢量MVs中计算全局运动GM，局部运动矢量计算部154首先计算缩小面的局部运动矢量LMV，即，缩小面运动矢量MVs。

然后，运动矢量可靠性指标值计算部156计算所计算缩小面运动矢量MVs的可靠性指标值Ft。此外，全局运动计算部157使用缩小面的局部运动矢量LMV的可靠性指标值来提取具有高可靠性的那些局部运动矢量LMV。然后，全局运动计算部157使用具有高可靠性的局部运动矢量LMV来计算全局运动GM和全局运动矢量GMV。

此外，在使用全局运动GM的情况下，还可以从通过在直到中间面的层中执行块匹配所获得的中间面运动矢量MVm中进行类似计算。然而，可以根据各层来适当地设置执行关于全局运动矢量GMV位置处的SAD值的校正的偏移值OFS或增益g。

以这种方式使用缩小面或中间面的局部运动矢量来确定全局运动GM和全局运动矢量GMV具有以下优点。

第一个优点在于，由于将低通滤波器用于生成上述缩小面或中间面，所以去除了噪声，使得所得到的局部运动矢量不太可能被噪声所影响。

第二个优点在于，由于在缩小面或中间面中减少了目标块的数量，所以局部运动矢量的数目和数学运算成本减少，另外，由于处理所需时间减少了，所以可以以高速执行处理。

缩小面、中间面和基底面的匹配处理块单位由于受上述实例的硬件限制而通常具有相同尺寸。因此，具有较小图片尺寸的缩小面的目标块的数目(即，局部运动矢量的数目)与仅在基底面执行块匹配的可选情况相比相对地少。

然后，在从缩小面运动矢量中确定全局运动和全局运动矢量GMV的情况下，可以省略中间面和基底面上的运动矢量检测处理。换言之，在从中间面运动矢量中确定全局运动和全局运动矢量GMV的情况下，可以省略基底面的运动矢量检测处理。因此，可以与其处理速度的增加。

特别在缩小面运动矢量MVs被用于确定全局运动和全局运动矢量GMV的情况下，优点更为明显。

图44示出了使用缩小面运动矢量MVs确定全局运动和全局运动矢量GMV并将其与基底面上的局部运动矢量LMV相比的处理的一般流程。

首先，在步骤S501中，运动矢量计算部15执行缩小面块匹配以确定缩小面上的每个目标块的局部运动矢量LMVs。然后，运动矢量计算部15评估每个目标块的缩小面的局部运动矢量LMVs的可靠性，并且仅使用具有高可靠性的那些缩小面局部运动矢量LMVs来计算全局运动GM。然后，运动矢量计算部15从所计算的全局运动GM来计算全局运动矢量GMV。

然后，在步骤S502，运动矢量计算部15对分层块匹配执行缩小面块匹配来重新计算缩小面局部运动矢量LMVs。

然后，在步骤S503，运动矢量计算部15根据缩小面局部运动矢量LMVs确定与中间面上的目标块相对应的参考块的搜索范围，并执行中间面块匹配。然后，运动矢量计算部15计算中间面局部运动矢量LMVm。

然后，在步骤S504，运动矢量计算部15根据中间面局部运动矢量LMVm确定与基底面上的目标块相对应的参考块的搜索范围，并执行基底面块匹配。然后，运动矢量计算部15计算基底面局部运动矢量LMVb。然后，运动矢量计算部15使用基底面局部运动矢量LMVb和在步骤S501中计算的全局运动矢量GMV来为每个目标块执行上述背景一致度的评估和判定。然后，运动矢量计算部15确定命中率β并基于评估判定来检测降噪处理运动矢量MVnr。

然后，在步骤S505，运动补偿图片生成部16使用述降噪处理运动矢量MVnr以从参考帧的图像数据中生成以块为单位的运动补偿图片。

然后，在步骤S506，相加率计算部21基于在步骤S504中计算的命中率β以像素为单位或以目标块为单位计算相加率α。然后，在步骤S507中，加法部17以块为单位将在步骤S505中生成的运动补偿图片与目标图像以在步骤S506中计算的相加率α进行相加，从而生成降噪图像。

注意，在上述图44的处理流程中，在运动矢量检测时通过第一次块匹配确定的全局运动GM和全局运动矢量GMV仅被应用于分层块匹配中的基底面运动矢量。

然而，同样在分层块匹配的缩小面和/或中间面上，可使用全局运动矢量GMV、局部运动矢量LMVs和中间面局部运动矢量LMVs来执行目标块的背景一致度评估。在这种情况下，作为背景一致度评估结果的降噪处理运动矢量MVnr可以被用作关于缩小面或中间面上的每个目标块而输出的运动矢量。

这使得可以获得比一般情况下具有更高精确度的关于缩小面或中间面上的每个目标块的运动矢量(即，局部运动矢量)。这类似地应用于基底面。因此，如上所述，根据每层适当地设置偏移值OFS或增益g。

图45A～图45D示出了当根据图44的处理流程执行处理时的块匹配结果和所检测运动矢量的方式的实例。图45A～图45D的实例示出了当将上述处理应用于上述目标图像和参考图像时的处理结果。

图45A示出了当对目标图像和参考图像执行缩小面块匹配时局部运动矢量LMVs的检测结果。

图45B示出了作为对缩小面局部运动矢量LMVs执行可靠性评估的结果被确定为具有高可靠性的缩小面局部运动矢量LMVs和缩小面局部运动矢量LMVs的目标块。注意，图45B右下角的重点强调块是具有高局部运动矢量LMVs的运动图像拾取对象部分。

图45C示出了基于由基底面局部运动矢量LMVb计算的全局运动GM所计算的目标块的全局运动矢量GMV。此外，图45D示出了通过再次执行运动矢量检测，通过背景部分和运动图像拾取对象部分的评估检测的降噪处理运动矢量MVnr。

根据图45D，可以识别出背景部分中的运动矢量有序地被配置为全局运动矢量GMV的状态。

注意，在图45D中，右下角部分的大运动矢量是在使用局部运动矢量LMV和全局运动矢量GMV的评估判定中被确定为运动图像拾取对象(全局运动矢量GMV不会从中输出作为降噪处理运动矢量)的运动图像拾取对象块。同时，中空的矢量表示与全局运动矢量GMV一致的参考矢量在搜索范围内的有效像素区域中不存在的块。

准备图45A～图45D以表明容易被识别的效果，实际目标快的尺寸较小。如下所述，以更小块为单位生成命中率β更加有效。

然而，在图像中的运动图像拾取对象区域和矢量以粗略单位被检测并被跟踪，优选地，基于以如图45D所示的这种粗略单位使用全局运动矢量GMV执行的评估来输出降噪处理运动矢量MVnr。因此，不需要画面图像中所有块的信息，但是如果着重于运动图像拾取对象检测的可靠性，则如图45B的情况，仅从第一次运动矢量检测时具有高可靠性的那些矢量中执行运动图像拾取对象块的分离。

通过内插处理提高精确度

顺便提及，由于缩小面或中间面通过减小基底面而生成，所以应该考虑到这种缩小面运动矢量或中间面动矢量的精确度相对较低。

因此，为了消除或减轻精确度低的问题，在使用缩小面运动矢量或中间面动矢量的情况下，执行内插处理。具体地，使用由所计算的缩小面运动矢量或所计算的中间面运动矢量表示的缩小面参考块位置或中间面参考块位置附近的缩小面参考块或中间面参考块的SAD值以及SAD值的位置信息来执行内插处理。通过该内插处理，可以执行像素精确度的缩小面运动矢量或中间面运动矢量的检测。下文所述的内插处理以缩小面情况下的内插处理为例。

例如，在水平和垂直方向上都缩至1/4的缩小面上执行块匹配的情况下，缩小面运动矢量是4像素精确度的运动矢量。然而，显而易见，在基底面参考帧中，1像素精确度的基底面运动矢量MVb存在于通过将缩小面运动矢量增加至n倍所获得的运动矢量附近。

因此，在如图46所示确定缩小面上的最小SAD值601的情况下，可以理想地使用最小SAD值601附近的多个SAD值(例如，分别使用在上、下、左和右方向上与最小SAD值601相邻的4个SAD值602、603、604和605来执行内插处理，以检测4像素精确度的运动矢量。在这种情况下，所需的内插倍率为四倍。

例如，可以理想地使用二次曲线来对SAD表执行内插，以从例如以n像素为单位已经执行了匹配处理的缩小面SAD表中计算像素精确度的运动矢量。在这种情况下，尽管可以不使用二次曲线近似内插而是使用线性、三次或更高阶曲线近似内插，但在本实例中，根据精确度和硬件配置之间的均衡而使用二次曲线近似内插。

在二次曲线近似内插中，如图46所示，使用通过n像素精确度的缩小面运动矢量所表示的缩小面SAD表中的SAD值的最小值Smin以及在最小值Smin位置附近的多个SAD值(下文称作邻近缩小面SAD值)。在本实例中，使用在缩小面的X方向或水平方向以及Y方向或垂直方向上邻近最小值Smin位置的4个邻近的SAD值Sx1、Sx2和Sy1、Sy2。

如图47所示，在X方向或水平方向上的内插中，缩小面SAD值的最小值Smin和在X方向或水平方向上处于两个相邻点的相邻缩小面SAD值Sx1和Sx2被用于应用二次近似曲线700。具体地，确定经过最小值Smin以及在X方向或水平方向上处于两个相邻点的相邻缩小面SAD值Sx1和Sx2的二次近似曲线700。通过这种方式，如图47所示，二次近似曲线700假设为最小值的坐标变为提供像素精确度的SAD值的最小值SXmin的缩小面运动矢量或高精确度缩小面运动矢量的X坐标Vx。给出此时用于二次曲线近似内插的表达式，如下面的(表达式19)：

Sxmin＝1/2×(Sx2-Sx1)/(Sx2-2Smin+Sx1)...(表达式19)

根据计算表达式(表达式19)确定的像素精确度的SAD值的最小值SXmin假设在SAD表上的X坐标变为像素精确度的缩小面SAD值假定为最小值的X坐标Vx。

可通过多次执行的减法来实现计算表达式(表达式19)中的除法。例如，如果将被使用的像素精确度为缩小面的1/4像素间距的精确度，则可以仅通过两次减法就能实现上述除法。因此，电路规模小且数学运算时间短，并且能够实现与比二次近似曲线内插复杂得多的三次曲线内插非常接近的性能。

类似地，在Y方向或垂直方向上的内插中，缩小面SAD值的最小值Smin和在Y方向或垂直方向上与最小值Smin邻近的两个点的邻近缩小面SAD值Sy1和Sy2用于应用二次近似曲线。因此，二次近似曲线假设为极小值SYmin处的Y坐标变成像素精确度的SAD值呈现最小值的Y坐标Vy。通过下面的表达式(表达式20)给出此时的二次曲线近似内插的表达式：

SYmin＝1/2×(Sy2-Sy1)/(Sy2-2Smin+Sy1)...(表达式20)

通过以这种方式对X方向和Y方向执行两次二次曲线近似，确定高精确度(即，像素精确度)的缩小面运动矢量(Vx，Vy)。

虽然在先前的描述中，使用了缩小面SAD值以及在X方向或水平方向和Y方向或垂直方向上与最小值邻近的两个点的缩小面SAD值的最小值，但是在不同方向邻近的缩小面SAD值的数量可以为两个以上。此外，代替在X方向和Y方向上的二次曲线的应用，例如，二次曲线可以被应用于斜方向。此外，近似曲线可以被应用于除X和Y方向之外的斜方向上。

图48示出了通过使用如上所述的这种装置和处理程序，能够通过n个像素单位精确度的SAD表的值来获得像素精确度的矢量检测结果。图48的横坐标轴表示内插倍率，并表示在一维方向上应该设定多少次分解。由于SAD表为二维的，所以表面积以平方率降低。然而，由于由内插引起的误差仅以线性的程度增加，所以可以认可内插技术的有用性。

注意，自然地，上述参照图46～图48描述的内插法不仅可应用于缩小面，而且还可应用于中间面和基底面。在向基底面应用内插技术的情况下，所获得的局部运动矢量LMV具有比像素间距更高的精确度，即，子像素精确度。

在基底面上确定子像素精确度的局部运动矢量LMV的情况下，将被输出作为降噪处理运动矢量MVnr的全局运动矢量GMV应该为与其一致的基底面的子像素精确度的局部运动矢量LMV。具体地，对于被确定为背景的快，可以输出由全局运动GM计算的全局运动矢量GMV，或者可以输出与全局运动矢量GMV一致的局部运动矢量LMV。尽管可以输出全局运动矢量GMV和局部运动矢量LMV的任意一个，但在这种情况下，最好输出更高精确度的局部运动矢量LMV作为全局运动矢量GMV。

另一方面，在基底面上计算子像素精确度的局部运动矢量LMV的情况下，还具有运动补偿图片生成部16可生成子像素精确度的内插图像来作为运动补偿图片的优点。

实施例的效果

如上所述，根据本实施例，关于图像中所有目标块的运动矢量都可以以高精确度进行检测。此外，可以判定运动矢量表示背景图像部分还是运动图像拾取对象部分。

因此，可以实现具有难度的、从具有高噪声级别的图像中检测高精确度的局部运动矢量或者在整个图像中提取运动图像拾取对象区域。

其他实施例和修改

在先前的描述中，背景/运动图像拾取对象判定部150执行关于目标帧内的所有目标块的背景一致度的评估判定。

然而，背景/运动图像拾取对象判定部150可通过仅使用具有高可靠性的那些局部运动矢量LMV的收敛数学运算来确定全局运动。上面参照图31和图32所示从全局运动的收敛数学运算中排除的具有高可靠性的那些局部运动矢量LMV是运动图像拾取对象块的具有高可靠性的局部运动矢量LMV。另外，最终用于在全局运动的收敛数学运算操作中计算全局运动的那些局部运动矢量LMV可被确定为背景块。

因此，呈现具有高可靠性的局部运动矢量LMV的那些评估块不需要再次经受背景和运动图像拾取对象之间的评估判定。因此，对于刚刚描述的具有高可靠性的局部运动矢量LMV的这种目标块，可以省略块再匹配处理和背景/运动图像拾取对象判定处理。这就可以缩短处理时间和数学运算量。

注意，在全局运动收敛数学运算中，最终用于计算全局运动的局部运动矢量LMV可被判定为背景块，它们的命中率β可被判定为β＝1.0。

然后，当命中率β为1.0时，目标块和补偿图片块之间的相加率被设置为1.0。通过这样，对背景部分执行正向加强相加，可以预期高降噪效果。

注意，在上述实例中，虽然通过运动补偿以目标块为单位生成运动补偿图像，但因为获得了全局运动GM，所以可以通过运动补偿以像素为单位来生成。具体地，例如，在呈现高背景一致度(其中，其命中率β达到1.0或0.75)的目标块的图像的情况下，对每个像素根据全局运动计算全局运动矢量。然后，针对各个像素所计算的全局运动矢量被用于执行运动补偿。由于运动补偿结果可能与像素位置一致，所以还执行内插处理来生成运动补偿像素，并使用运动补偿像素来生成运动补偿图片。

在以这种方式以像素为单位进行运动补偿的情况下，可以期望获得更平滑的运动内插图像。

注意，在上述实施例中，虽然SAD值被检测作为相关值，但相关值当然不限于SAD值。

此外，在上述实施例中，虽然执行关于静止图片的运动检测处理和图像的叠加处理以使多个拾取图像被取入图像存储部4并对由此取入的拾取图像执行上述运动检测和图像叠加处理。然而，处理对象的多个图像可类似地如运动图片的图像拾取时实时地生成。

注意，自然地，运动矢量检测对象的图像信息不受拾取图像信息的限制。

此外，在上述实施例中，基于运动矢量可靠性指标值执行运动矢量的可靠性判定。然而，除相关值的第一极大值与第二极大值之间的差或比，在取相关值的第一极大值的参考矢量与取相关值的第二极大值的另一参考矢量之间的位置差异也可被用于进行可靠性的判定。此外，相关值的第三极大值、高阶极大值或取这种极大值的参考矢量的位置分布可以另外被用于可靠性的判定。

注意，在上述实施例中，为了减小执行全局运动的数学运算处理时的数学运算负荷，对于局部运动矢量LMV的可靠性指标值，二进制至0和1被用于加权系数W。然而，通过局部运动矢量LMV的可靠性指标值的归一化获得、并例如取等于或大于0但等于或小于1的加权系数W可自然地按原样被用于执行全局运动的数学运算处理。

此外，在上述实施例中，虽然在静止图片的图像拾取时将本发明应用于运动矢量检测和背景/运动图像拾取对象判定，但自然地，本发明还可以应用于执行运动图片的图像拾取时的运动矢量检测和背景/运动图像拾取对象判定的情况。

图49示出了考虑到运动图片图像拾取的图像拾取装置的硬件配置的实例。在图49中，与图1所示图像拾取装置类似的那些部件被指定为相同标号并省略了重叠描述。

此外，在通过图49的图像拾取装置进行运动图片的降噪处理时，针对每个1V(V是用于帧或场的垂直周期)从图像拾取元件11输入的拾取图像被用作目标图像，而1V和2V之前的图像至加法之后的输出图像被用作参考图像。

不仅参照1V之前的图像而且参照2V之前的图像的原因在于，在隔行扫描图像的情况下，利用2V之前的图像静止物品呈现较高的匹配率。

此外，在图49的系统中，从局部矢量中计算全局运动，并根据目标图像中的每块或每个像素的运动矢量是否与全局运动一致来生成命中率信息，从而在后续阶段控制相加率α。图像拾取系统由此提供呈现高降噪效果的运动图片。

注意，图49的图像拾取装置中的编解码部22被配置为执行MPEG方式的压缩编码。

此外，在上述实施例中，虽然本发明应用于图像拾取装置叠加图像以执行降噪处理的情况，但本发明不仅仅只应用于上述类型的这种图像拾取装置。

图50示出了执行除降噪处理之外的处理的图像拾取装置。具体地，图50的图像拾取装置包括用于运动图片的无传感器相机抖动校正系统和运动图像拾取对象检测系统。

此外，图50的图像拾取装置包括与图1类似的部件，并且为了避免赘述在此省略重复描述。图50的图像拾取装置与图1的不同之处在于，在运动矢量计算部15的后级设置了分辨率转换部23。此外，在分辨率转换部23的后级设置了编解码部24并执行运动图片压缩编码(例如，MPEG方式的压缩编码)，并将所得到的图像数据记录在记录和再生装置5中。

从记录和再生装置5中读出所记录的图像数据并通过编解码部2进行解码，然后通过NTSC编码器20提供给监控显示部6，使得在监控显示部6上显示再生图像。

在图50的图像拾取装置中，为了执行无传感器(无陀螺)相机抖动校正，通过运动矢量计算部15以上述方式获得的全局运动GM被提供给分辨率转换部23。分辨率转换部23从图像存储部4读出图像以基于所接收的全局运动GM执行空间运动补偿。从而实现相机抖动校正。

此外，在图50的图像拾取装置的运动矢量计算部15中，背景/运动拾取图像判定部将图像分为背景部分和运动图像拾取对象部分，并将所检测的运动图像拾取部分作为运动图像拾取对象信息IM输出至CPU 1。运动图像拾取对象信息IM包括图像中的运动图像拾取对象的位置和运动图像拾取对象的运动矢量。

CPU 1可使用图像中的运动图像拾取对象的位置和运动矢量实现各种应用。例如，可以实现当图像拾取对象的运动图像拾取对象的运动被激活时在图像拾取时自动将快门速度控制为更高速度(即，将曝光时间控制为更短时间)的应用或者当检测到面部之后面部区域丢失时连续估计面部位置用于跟踪的另一应用。

虽然前面的描述针对图像信息是拾取图像信息的情况，但本发明对象的图像信息当然不限于拾取图像信息。

虽然使用特定术语描述了本发明的优选实施例，但这种描述指示为了例示的目的，应理解，在不背离所附权利要求的精神或范围的情况下，可以进行各种修改和变化。

Claims (20)

1.一种图像处理装置，包括：

局部运动矢量检测装置，用于在与目标画面图像不同的参考画面图像上以目标块的投影图像块的中心坐标为中心的预定范围内设置多个参考块，所述多个参考块具有与设置在所述目标画面图像中的预定尺寸的目标块相同的尺寸并且包括多个像素，确定所述目标块与每个参考块之间的相关值，并检测所述目标块的局部运动矢量作为计算出相关值的最大值的那一个参考块相对于所述目标块的位移；

全局运动计算装置，用于计算表示施加给整个图像的变换处理的全局运动，所述全局运动计算装置从关于由所述局部运动矢量检测装置检测到的多个目标块的多个局部运动矢量中呈现高可靠性的所述局部运动矢量来计算所述全局运动；

全局运动矢量计算装置，用于使用所述全局运动来计算所述目标块的全局运动矢量；以及

评估装置，用于将所述目标块和对应于所述局部运动矢量的所述参考块的相关值与所述目标块和对应于所述全局运动矢量的所述参考块的相关值进行互相比较，并基于比较结果来执行关于所述目标块是否为背景静止图片部分的评估。

2.根据权利要求1所述的图像处理装置，其中，所述评估装置将关于对应于所述全局运动矢量的所述参考块的相关值和预定偏移值的和与关于对应于所述局部运动矢量的所述参考块的相关值进行比较，并基于比较结果评估所述目标块是否为背景静止图片部分。

3.根据权利要求2所述的图像处理装置，其中，当关于对应于所述全局运动矢量的所述参考块的相关值和所述预定偏移值的和大于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出关于对应目标块的全局运动矢量，但是当关于对应于所述全局运动矢量的所述参考块的相关值与所述预定偏移值的和小于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出关于所述对应目标块的局部运动矢量。

4.根据权利要求1所述的图像处理装置，其中，所述评估装置将通过使关于对应于所述全局运动矢量的所述参考块的相关值乘以预定增益获得的值与关于对应于所述局部运动矢量的所述参考块的相关值进行比较，并基于比较结果评估所述目标块是否为背景静止图片部分。

5.根据权利要求4所述的图像处理装置，其中，当通过使关于对应于所述全局运动矢量的所述参考块的相关值乘以所述预定增益获得的值大于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出关于对应目标块的全局运动矢量，但是当通过使关于对应于所述全局运动矢量的所述参考块的相关值乘以所述预定增益获得的值小于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出关于所述对应目标块的局部运动矢量。

6.根据权利要求1所述的图像处理装置，其中，所述评估装置不仅将对应于所述全局运动矢量的所述参考块的相关值而且还将位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值与关于对应于所述局部运动矢量的所述参考块的相关值进行比较，并基于比较结果评估所述目标块是否为背景静止图片部分。

7.根据权利要求6所述的图像处理装置，其中，所述评估装置将对应于所述全局运动矢量的所述参考块以及位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值和预定偏移值的和与关于对应于所述局部运动矢量的所述参考块的相关值进行比较，并基于比较结果评估所述目标块是否为背景静止图片部分。

8.根据权利要求7所述的图像处理装置，其中，当关于对应于所述全局运动矢量的所述参考块的相关值和位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值与所述预定偏移值的和中的最小值小于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出表示其相关值被确定为对应于所述全局运动矢量的所述参考块的相关值和位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值与所述预定偏移值的和中的最小值的参考块关于对应目标块的位置的运动矢量，但是当关于对应于所述全局运动矢量的所述参考块的相关值和位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值与所述预定偏移值的和中的最小值大于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出关于所述对应目标块的局部运动矢量。

9.根据权利要求6所述的图像处理装置，其中，所述评估装置将通过使对应于所述全局运动矢量的所述参考块和位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值乘以预定增益获得的值与关于对应于所述局部运动矢量的所述参考块的相关值进行比较，并基于比较结果评估所述目标块是否为背景静止图片部分。

10.根据权利要求9所述的图像处理装置，其中，当通过使对应于所述全局运动矢量的所述参考块和位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值乘以所述预定增益获得的值中的最小值小于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出表示其相关值被确定为对应于所述全局运动矢量的所述参考块和位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值乘以所述预定增益获得的值中的最小值的参考块关于对应目标块的位置的运动矢量，但是当通过使对应于所述全局运动矢量的所述参考块和位于对应于所述全局运动矢量的所述参考块附近的不同参考块的相关值乘以所述预定增益获得的值中的最小值大于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出关于所述对应目标块的局部运动矢量。

11.根据权利要求1所述的图像处理装置，其中，仅当关于对应于将与所述全局运动矢量进行比较的所述局部运动矢量的所述参考块的相关值大于预定阈值时，所述评估装置才将所述全局运动矢量与所述局部运动矢量进行互相比较，并基于比较结果评估所述目标块是否为背景静止图片部分。

12.根据权利要求1所述的图像处理装置，其中，

将与所述全局运动矢量进行比较的所述局部运动矢量是通过所述局部运动矢量检测装置相对于所述目标块再次检测到的局部运动矢量。

13.根据权利要求12所述的图像处理装置，还包括：

用于检测通过所述局部运动矢量检测装置检测到的所述局部运动矢量中呈现出高可靠性的那些局部运动矢量的装置，

所述评估装置从评估的处理对象中排除其局部运动矢量具有高可靠性的目标块。

14.根据权利要求1所述的图像处理装置，其中，所述评估装置确定在所述目标块的局部运动矢量与所述目标块的全局运动矢量之间的一致度的指标值，并基于所确定的指标值来执行所述目标块是否为背景静止图片部分的评估。

15.一种图像处理装置，包括：

局部运动矢量检测装置，用于在与目标画面图像不同的参考画面图像上以目标块的投影图像块的中心坐标为中心的预定范围内设置多个参考块，所述多个参考块具有与设置在所述目标画面图像中的预定尺寸的目标块相同的尺寸并且包括多个像素，确定所述目标块与每个参考块之间的相关值，并检测所述目标块的局部运动矢量作为计算出相关值的最大值的那一个参考块相对于所述目标块的位移；

全局运动计算装置，用于计算表示施加给整个图像的变换处理的全局运动，所述全局运动计算装置从关于由所述局部运动矢量检测装置检测到的多个目标块的多个局部运动矢量中呈现高可靠性的所述局部运动矢量来计算所述全局运动；

判定装置，用于通过使用再计算的局部运动矢量及相关值来判定在所述目标块的局部运动矢量与从所述全局运动确定的所述目标块的全局运动矢量之间的一致度；以及

指标值获取装置，用于获取通过所述判定装置判定的所述目标块的局部运动矢量与全局运动矢量之间的所述一致度的指标值。

16.根据权利要求15所述的图像处理装置，还包括：

运动补偿图像生成装置，用于使用所述目标块的局部运动矢量或全局运动矢量、从所述参考块的图像来生成运动补偿块的图像；以及

用于基于通过所述指标值获取装置获取的所述指标值来控制所述运动补偿块的图像与所述目标块的图像的相加度的装置。

17.根据权利要求16所述的图像处理装置，其中，对于其局部运动矢量与全局运动矢量被确定为相互一致的所述目标块，所述运动补偿图像生成装置从所述参考块的图像中使用所述全局运动、以像素为单位来获取所述运动补偿块的像素信息。

18.根据权利要求16所述的图像处理装置，其中，对于其局部运动矢量与全局运动矢量被确定为相互一致的所述目标块，所述运动补偿图像生成装置从所述参考块的图像中使用所述全局运动、以块为单位获取所述运动补偿块的像素信息。

19.一种图像处理方法，包括：

局部运动矢量检测步骤，在与目标画面图像不同的参考画面图像上以目标块的投影图像块的中心坐标为中心的预定范围内设置多个参考块，所述多个参考块具有与设置在所述目标画面图像中的预定尺寸的目标块相同的尺寸并且包括多个像素，确定所述目标块与每个参考块之间的相关值，并检测所述目标块的局部运动矢量作为计算出相关值的最大值的那一个参考块相对于所述目标块的位移；

全局运动计算步骤，计算表示施加给整个图像的变换处理的全局运动，其中，从关于由所述局部运动矢量检测步骤检测到的多个目标块的多个局部运动矢量中呈现高可靠性的所述局部运动矢量来计算所述全局运动；

全局运动矢量计算步骤，使用在所述全局运动计算步骤中计算的所述全局运动来计算所述目标块的全局运动矢量；以及

评估步骤，将所述目标块与对应于所述局部运动矢量的所述参考块的相关值与所述目标块与对应于所述全局运动矢量的所述参考块的相关值进行互相比较，并基于比较结果来执行关于所述目标块是否为背景静止图片部分的评估。

20.一种图像处理方法，包括：

局部运动矢量检测步骤，在与目标画面图像不同的参考画面图像上以目标块的投影图像块的中心坐标为中心的预定范围内设置多个参考块，所述多个参考块具有与设置在所述目标画面图像中的预定尺寸的目标块相同的尺寸并且包括多个像素，确定所述目标块与每个参考块之间的相关值，并检测所述目标块的局部运动矢量作为计算出相关值的最大值的那一个参考块相对于所述目标块的位移；

全局运动计算步骤，计算表示施加给整个图像的变换处理的全局运动，其中，从关于由所述局部运动矢量检测步骤检测到的多个目标块的多个局部运动矢量中呈现高可靠性的所述局部运动矢量来计算所述全局运动；

判定步骤，通过使用再计算的局部运动矢量及相关值来判定在所述局部矢量检测步骤检测到的所述目标块的局部运动矢量与从所述全局运动确定的所述目标块的全局运动矢量之间的一致度；以及

指标值获取步骤，获取在所述判定步骤中判定的所述目标块的局部运动矢量与全局运动矢量之间的所述一致度的指标值。

Images