CN101562704A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理装置和图像处理方法，图像处理装置包括：运动矢量检测部，被配置为检测设置在图像中并且由多个像所形成的预定尺寸的多个块中的每个的运动矢量；以及全局运动计算部，被配置为利用其中至少一个仿射参数由关于图像的位移轴的变量的函数表示的扩展的仿射变换，使用由运动矢量检测部所检测的块的运动矢量执行收敛数学运算，以计算表示施加于整个图像的变形的全局运动。

Description

图像处理装置和图像处理方法

相关申请的引用

本发明包含有2008年4月15日向日本专利局提交的日本优先专利申请JP 2008-105248中所公开的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及用于计算表示在两幅画面(screen image)之间的整个图像的变形的全局运动的图像处理装置和图像处理方法。

背景技术

根据图像信息本身确定两幅画面之间的运动矢量的块匹配技术是一种具有很长历史的技术。

块匹配技术是一种用于计算两幅画面之间的运动矢量的方法，这两幅画面包括：参考画面，其为受关注画面；以及原始画面(下文中，称作目标画面)，参考画面的运动源于该原始画面。根据块匹配技术，通过相对于预定尺寸的矩形区域的块(目标块和参考块)计算参考画面和目标画面之间的相关性，来计算运动矢量。

块匹配技术包括两种情况，包括目标画面在时间上先于参考画面的情况，以及参考画面在时间上先于目标画面的另一情况。前一种情况的实例为通过MPEG(活动图像专家组)系统的运动检测，而后一种情况的实例为通过下文所述的图像帧的叠加来降噪。

注意，在本说明书中，术语画面表示由一个帧或者一个场的图像数据所形成的图像。然而，为了描述方便，在本说明书的以下描述中，假设由一个帧形成一幅画面。因此，下文中，一幅画面被称作帧。因此，参考画面在下文中称作参考帧，而目标画面在下文中称作目标帧。

特别是对电视摄像机的图像拾取目标跟踪和云台(pan-tilt)检测、MPEG系统的移动图像代码等开发了块匹配的移动矢量检测方法。在九十年代，已经促进了包括通过图像叠加实现的无传感器相机抖动校正、在低亮度环境中图像拍摄时的降噪等的广泛应用。

此外，块匹配的移动矢量检测方法不仅应用于图像识别应用和相机抖动校正应用，而且应用于像图像拾取装置的快门速度自动调节和液晶电视机的双速帧速率变换的新应用。

顺便提及，检测设置在画面中的大量目标块中的每块的运动矢量，即，局部运动矢量，并且使用以这种方式检测的大量局部运动矢量计算全局运动，所述全局运动表示应用于在两幅画面之间的整个图像的变形。全局运动通常指出图像背景的运动和运动量。

作为现有技术，在日本专利公开第2007-221631号(下文中，称作专利文件1)中公开了一种失真校正方法，该方法将一幅画面划分为多个块并且对这些块中的每一个确定一个矢量。然后，以这种方式所确定的运动矢量直接被用于计算全局运动。专利文件1的技术已经被用作主要用于移动图片的相机抖动校正技术，直到几年前，当时的像素数量较小。

对于在专利文件1中所公开的技术，可以使用低成本的硬件规模检测全局运动，并实现用于高图片质量的移动图片和静止图片的良好的无传感器或者无陀螺仪相机抖动校正和降噪。

然而，在将一画面划分为比较大的块(例如约16块)的情况下，存在这样的问题，当在图像中包括移动图像拾取对象时，难以跟踪移动图像拾取对象。

因此，如果块数增加至例如约64块，则可以使用关于比较小的图像区域的大量局部运动矢量，因此，可能使移动图像拾取对象的移动达到某种程度。然而，在采用刚刚描述的这种结构的情况下，使用专利文件1的技术会产生这样的问题，硬件规模增加并且作为专利文件1的技术优势的成本优点大都不能达到。

与此同时，作为确定全局运动的方法，已经公开了将仿射变换(affine transformation)应用于多个检测的局部运动矢量的方法。

图34示出了如(表达式1)的仿射变换的通用公式。参照图34，在(表达式1)中，v表示目标块的移动矢量的水平分量，w表示目标块的移动矢量的垂直分量，以及a、b、c、d、e和f表示仿射参数。在常用仿射变换中，仿射参数a、b、c、d、e和f为固定值。此外，x和y分别表示目标块的中心坐标的水平分量和垂直分量。

采用每个目标块的中心坐标和通过全局运动的收敛数学运算处理确定的仿射参数，获取与全局运动相对应的运动矢量。下文中，刚刚所提到的这种运动矢量称作理想运动矢量。如图35的(表达式2)表示理想矢量和观测到(通过块匹配所检测)的运动矢量之间的误差的总和ε。

导出全局运动的命题是估计最小化上述误差的总和ε的仿射参数a至f，并且可以通过例如最小二乘法解决。图36、37以及38的表达式3、表达式4以及表达式5分别示出了仿射参数a至f的导出过程和该导出过程的结果。

以这种方式比较容易计算仿射变换的参数的同时，其效果也较大。由于仿射变换不仅可针对图像的平行移动、旋转以及扩展或者收缩，而且还可针对某种程度的变形，抵消了大部分的相机抖动，即，相机操作的精确校正。

例如，在日本专利公开第2005-321902号(下文中，称作专利文件2)中公开了如上所述的这种仿射变换。

发明内容

然而，仿射变换的缺点在于，不能用于“倾斜失真”。“倾斜失真”是由相机抖动的俯仰轴(即垂直方向的轴)或者偏航轴(即与垂直方向垂直的水平方向的轴)的旋转分量引起的现象。由于“倾斜失真”，将正对状态的矩形平面变形成为如图39B所示的梯形形状，因此，也称为梯形失真或者梯形畸变。

具体地，当相机CAM正对图像拾取对象OBJ，从而相机CAM的光轴Lz垂直地延伸至如在图39A中的下侧所示的图像拾取目标OBJ的矩形平面时，图像拾取对象OBJ的矩形平面的经拾取的图像直接呈现为如在图39A中的上侧所示的矩形形状。

另一方面，例如，如果相机CAM的光轴Lz进行了角度θ的俯仰轴旋转(即在垂直平面内旋转)，而没有如在图39B的下侧所示的正对图像拾取对象OBJ，则图像拾取对象OBJ的矩形平面的经拾取的图像呈梯形形状，其中，响应于如在图39B的上侧所示的角度θ，沿图像的左侧方向和右侧方向(即水平方向)的长度线性地变化。

应注意，尽管没有示出，但是如果相机CAM的光轴Lz不是正对图像拾取对象OBJ，而是进行了角度θ的偏航轴旋转(即在水平平面内旋转)，则图像拾取对象OBJ的矩形平面的经拾取的图像呈梯形形状，其中，响应于角θ，沿图像的上侧方向和下侧方向(即沿图像的垂直方向)的长度线性地变化。

用于将由于相机抖动的如上所述的这种变形形式所拾取的图像恢复至处于正对状态的原始形状的图像的处理是“倾斜失真”校正或者梯形校正。然而，不能以上述仿射变换的参数表示这种校正。具体地，如果为了执行将如图39B所示的这种“倾斜失真”的梯形图像恢复至矩形形状的图像的这种“倾斜失真”校正，则在水平扩展图像下部的同时，应该水平收缩沿垂直轴或者y轴的上部图像。然而，在仿射变换的参数中，参加水平扩展或者收缩的参数为a，并且由于参数a为固定值，所以仿射变换不能用于上述校正作。

为了避免刚刚描述的这种问题，已经提出了使用正交投影变换代替仿射变换。由图40所示的表达式6来表示正交投影变换，并且可以表示三维空间中从任意平面至另一平面的投影变换。

然而，难以将正交投影变换应用于这种情况：如本文假设那样由多个矢量来规定一个全局运动。这是因为难以根据图40的表达式6的形状使用最小二乘法，此外，在使用某些其它技术的情况下，也需要大量的数学运算。

一个现实问题是，由于实际的图像拾取对象为三维对象，所以经观测的局部运动矢量包括彼此之间距离不同的多个图像拾取部分。在这种情况下，正交投影变换的应用只不过是简单应用。因此，以下看起来合理的判定：如果考虑了获得正交投影变换的通解需要很高的成本，则正交投影变换并不适合作为用于成本降低的对策。

为了应用更简单的正交投影变换，可以采用相对于6个矢量确定解的办法。这是因为，由于必须确定12个参数，所以如果代替了六个矢量的坐标，则生成具有六个未知数的6×2一次方程式，并且可以通过6×6矩阵的逆矩阵计算相对容易地导出解。因此，仅需从多个局部矢量中适当地选择六个矢量。

然而，如果考虑到在经拾取的图像中包含有移动图像拾取对象的情况，则由于不能期待局部矢量中的每个矢量均具有相当大的精度，所以难以从多个局部运动矢量中仅提取具有高精度的那些矢量。因此，难以从大量局部运动矢量中适当选择六个矢量。

因此，即使图像具有“倾斜失真”变形，我们也期望提供可以顺利地检测全局运动的技术。

根据本发明的实施例，提供了一种图像处理装置，包括：运动矢量检测部，被配置为检测设置在图像中并且由多个像素形成的预定尺寸的多个块中的每一个的运动矢量；以及全局运动计算部，被配置为利用其中至少一个仿射参数由关于图像的位移轴的变量的函数表示的扩展的仿射变换，采用由运动矢量检测部所检测的块的运动矢量执行收敛数学运算，以计算表示施加于整个图像的变形的全局运动。

在上述图像处理装置中，代替所有仿射参数为固定值的仿射变换，使用仿射变换参数中的至少一个为关于图像的位移轴的变量的函数的扩展的仿射变换。

例如，如果我们设法执行例如将如图39B所示的这种“倾斜失真的”梯形图像恢复至矩形形状的图象的“倾斜失真”校正，则应该在水平地扩展下部图像的同时，沿垂直轴或者y轴水平地收缩图像的上部。根据图34所示的仿射变换的表达式1中的仿射参数，参加水平扩展或者收缩的参数为a。因此，如果使用了例如将相对于垂直轴或者y轴的变量y的函数用作仿射参数a的扩展的仿射变换，则可以计算也进行了如图39B所示的图象的“倾斜失真”变形的这种全局运动。

由于扩展的仿射变换包括增加的变换参数的数量并且是可变的，所以存在针对诸如移动图像拾取对象或者噪声的错误运动矢量分量的可能性，因而有可能收敛数学运算不能排除误差矢量。

因此，优选地，图像处理装置被配置为，在全局运动计算部的初期收敛数学运算中，通过由运动矢量检测部所检测的块的运动矢量执行使用了固定系数的仿射参数的常用的仿射变换，并且在初期的收敛数学运算之后，开始使用了扩展的仿射变换的收敛数学运算。

在图像处理装置中，在全局运动计算部的初期收敛数学运算中执行使用了固定系数的仿射参数的常用仿射变换。然后，在通过运动矢量检测部从运动矢量分量中排除诸如移动图像拾取对象或者噪声的错误运动矢量分量之后，执行使用了扩展的仿射变换的收敛数学运算。

根据本发明的另一实施例，提供了一种图像处理方法，包括：运动矢量检测步骤，检测设置在图像中并且由多个像素形成的预定尺寸的多个块中的每一个的运动矢量；以及全局运动计算步骤，利用其中至少一个仿射参数由关于图像的位移轴的变量的函数表示的扩展的仿射变换，采用在运动矢量检测步骤中所检测的块的运动矢量来执行收敛数学运算，以计算表示施加于整个图像的变形的全局运动。

总之，对于图像处理装置，由于使用了其中至少一个仿射参数由关于图像的位移轴的变量的函数表示的扩展的仿射变换，所以可以计算也考虑了图像的“倾斜失真”变形的全局运动。

从下文结合附图的具体描述和所附权利要求，将更清楚地理解本发明的上述和其它特征及优点，其中，同样的参照标记表示相同的部件或者元件。

附图说明

图1是示出应用了根据本发明的优选实施例的图像处理装置的图像拾取装置的结构的实例的框图；

图2A、图2B以及图3至图10是示出通过图像处理装置的块匹配处理的示意图；

图11是示出通过图像处理装置的块匹配处理的框图；

图12是示出应用了根据本发明的实施例的图像处理方法的拾取的图像的实例的示意图；

图13是示出在与图12的拾取的图像的相关关系中使用图像处理方法所检测的局部运动矢量的示意图；

图14是示出在图像处理方法中使用的SAD表的图解示图；

图15是示出在一维轴上所获得的图14的SAD表的图解示图；

图16是示出在图12的拾取的图像的相关关系中通过图像处理方法确定具有高可靠性的局部运动矢量的示图；

图17是示出图像处理装置的全局运动矢量计算块的结构的实施例的框图；

图18是示出全局运动矢量计算部的操作的图解示图；

图19是示出通过图像处理装置的局部运动矢量计算块的检测处理操作的实例的流程图；

图20是示出普通的仿射变换的示意图；

图21至图27是示出由图像处理装置执行的用局部运动矢量计算全局运动的处理的实例的示图；

图28和图29是示出由图像处理装置执行的用局部运动矢量计算全局运动的处理的实例的流程图；

图30是示出在图像上的相关关系中通过图像处理装置从经计算的全局运动中确定块单元的运动矢量的示图；

图31和图32是示出确定使用图形处理方法所检测的局部运动矢量的处理的另一实例的图解示图；

图33是示出确定使用图像处理方法所检测的局部运动矢量的处理的又一实例的图解示图；

图34至图38是示出在由局部运动矢量确定全局运动的处理的实例中使用的表达式的示图；

图39A和图39B是示出在现有技术中使用常用仿射变换、由局部运动矢量确定全局运动的情况下存在的问题的图解示图；以及

图40是示出在使用正交投影变换、由局部运动矢量确定全局运动的处理中使用的表达式的示图；

具体实施方式

在下文中，结合其优选实施例详细地描述了本发明，其中，将根据本发明的图像处理装置和图像处理方法应用于图像拾取装置。

[第一实施例]

根据第一实施例的图像拾取装置通常被配置为，将由图像拾取装置或者成像器所拾取的多个静态图像定位并彼此叠加，以减少图像的噪声。

在用户手持图像拾取装置拾取图像的环境中，可能发生相机抖动。例如在以这种方式利用用户手持的图像拾取装置通过连续拍摄拾取静态图片的情况下，第一静态图片被用作目标帧并且第二和随后的静态图片被用作参考帧。

在通过将包括平行移动、旋转以及扩展或者收缩的变换处理应用于整个参考帧而可以将参考帧定位在目标帧位置处的情况下，应用于整个参考帧的变换处理是全局运动。全局运动通常表示图像背景的移动和移动量。

相机抖动表示相对于目标帧发生了一定量的全局运动，所述一定量是参考帧相对于目标帧进行的包括平行移动、旋转以及扩展或者收缩的图像变换。

在本实施例的描述中，经拾取的静态图片中的第一幅被用作基准，即，作为用于简化描述的目标帧。然而，这不是必需的。可以使用任意的第n张静态图片作为目标帧并且使用任意的第m(n≠m)张静态图片作为参考帧重新定义全局运动。或者，可以对在移动图片中时间上不同的两个帧图像定义全局运动。要不然，全局运动处理可以不应用于来自经拾取的图像的一帧内的整个有效图片帧，而仅应用于一帧的部分图像。

如果确定了全局运动，则可以根据经确定的全局运动计算表示应用于在目标帧和参考帧之间的整个画面的运动的运动矢量。下文中，如刚刚提到的这种运动矢量称作全局运动矢量。可以相对于设置在画面上的多个目标块中的每块确定全局运动矢量。

然后，如果可以基于全局运动精确地确定全局运动矢量，则可以适宜地校正相机抖动。或者，可以在对照相机抖动校正全局运动矢量的同时将多个帧图像彼此叠加。

在以下描述中，使用运动矢量检测和运动补偿来叠加多个图像以降低噪声(其中，使用运动矢量定位不同帧的两幅图像)被称作降噪，而通过这样的降噪来减少其噪声的图像被称作降噪图像。

在本实施例中，通过上述块匹配方法来检测运动矢量。此外，在本实施例中，将一幅画面划分为多个块，并且通过块匹配方法来以块为单位检测运动矢量(下文中，这种运动矢量称作局部运动矢量)。此外，使用块匹配方法中的校正值以下述的这种方式检测局部运动矢量的可靠性指数。然后，仅根据这种经检测的局部运动矢量中的具有高可靠性的那些来计算全局运动，并且根据计算出的全局运动检测多个块中的每一块(为下文所述的目标块)的全局运动矢量。

[块匹配的要点]

图2A至图7示出了块匹配方法的要点。这里，在所述的块匹配方法中，在如图2A所示的目标帧100中，假设预定尺寸的矩形区域的块(即目标块102)包括水平方向上的多个像素和垂直方向上的多条线(line)。

在块匹配中，从参考帧101内部搜索出具有与目标块102的高相关性的块。在参考帧101内部作为具有与目标块102最高相关性的块进行检测的图2B所示的参考块103下文中称作运动补偿块。此外，在目标块102和运动补偿块103(与目标块102具有最高相关性)之间的位移量下文中称作运动矢量(参考图2B的参考标记104)。

对应于在目标块102和运动补偿块103之间的位移(包括位移量和位移方向)的运动矢量104对应于在目标块102的投影图像块109的诸如中心位置的位置和运动补偿块103的诸如中心位置的位置之间的位移，其中，假设目标块102的投影图像块109在与目标帧100的目标块102的位置相同的参考帧101的位置处。因此，运动矢量104具有位移以及位移的方向分量。

下面描述块匹配处理的要点。参考图3，假设目标帧100的目标块102的投影图像块109在参考帧101的某个位置处(如图3的虚线所示，该位置与目标帧100的目标块102的位置相同)，并且将目标块102的投影图像块109的中心坐标确定为用于运动检测的原点105。然后，假设运动矢量104存在于用于运动检测的原点105的特定范围内，并且集中在用于运动检测的原点105的预定范围被设置为图3中的点划线所指示的搜索范围106。

然后，与目标块102相同尺寸的块(即参考块108)被设置在参考画面上。然后，在诸如搜索范围106内沿着水平方向和垂直方向以一个像素或者多个像素为单位移动参考块108的位置。因此，多个参考块108被设置在搜索范围106中。

这里，在搜索范围106内移动参考块108，该搜索范围表示：由于用于运动检测的原点105是目标块的中心位置，所以在搜索范围106内移动参考块108的中心位置，而构成参考块108的像素可能从搜索范围106中突出。

然后，对于设置在搜索范围106中的每个参考块108，设置表示参考块108和目标块102的位移量和位移方向的矢量(即参考矢量107)(参考图3)。然后，评价在各个这种参考矢量107所指示的位置处的参考块108的图像内容和目标块102的图像内容之间的相关性。

参考图4，可以将参考矢量107表示为矢量(Vx，Vy)，其中，Vx是在水平方向上(即X方向上)的参考块108的位移量，而Vy是在垂直方向上(即Y方向上)的参考块108的位移量。如果参考块108的位置坐标(诸如中心位置坐标)和目标块102的位置坐标(诸如中心位置坐标)相同，则将参考矢量107表示为矢量(0，0)。

例如，如果参考块108在X方向上离目标块102的位置有一个像素的距离位移的位置处，则参考矢量107表示矢量(1，0)。与此同时，如果参考块108在在X方向上离目标块102的位置有三个像素的距离位移且在Y方向上有两个像素的距离位移的位置处，则参考矢量107为矢量(3，2)。

简言之，如图5所示，参考矢量107表示在彼此相对应的各个参考块108和目标块102之间作为包括位移量和位移方向的矢量的位移。应注意，在图5中，分别由块的中心位置表示目标块102和参考块108的位置。

参考块108在搜索范围106内移动，并且在这种情况下，参考块108的中心位置在搜索范围106内移动。由于参考块108包括在如上所述的水平方向和垂直方向上的多个像素，所以给出目标块102与作为块匹配处理对象的参考块108的移动的最大范围作为匹配处理范围110，该匹配处理范围比如图5所示的搜索范围106宽。

然后，作为与目标块102的图像内容具有最大相关性的块而检测的参考块108的位置被检测作为目标帧100的目标块102在参考帧101上的位置，即作为移动之后的位置。然后，将经检测的参考块确定为上述运动补偿块103。然后，检测在经检测的运动补偿块103的位置和目标块102的位置之间的位移量作为包括如图2B所示的方向分量的运动矢量104。

基本上，使用目标块102和参考块108的对应像素值来计算表示目标块102和在搜索范围106内移动的参考块108之间的相关程度的相关值。相关值的计算可以使用包括采用均方根的方法的各种计算方法。

例如，在计算运动矢量时普遍使用的相关值之中的一个值是，例如，相对于图6所示的块中的所有像素的目标块102中的每个像素的亮度值与搜索范围106中对应像素的亮度值之间的差值的绝对值的总和。该差值的绝对值的总和称作差的绝对值之和，且下文中称作SAD(绝对差之和)值。

在SAD值被用作相关值的情况下，当SAD值减少时，相关性增大。因此，在搜索范围106内移动的参考块108中，处于SAD值最低的位置处的参考块108是具有最高相关值的最高相关参考块。检测该最高相关参考块作为运动补偿块103，并检测目标块102的位置到经检测的运动补偿块103的位置的位移量作为运动矢量。

如上所述，在块匹配中，通过作为包括方向分量的量的参考矢量107表示目标块102的位置到设置在搜索范围106内的多个参考块108中的每个的位移量。每个参考块108的参考矢量107具有在参考帧101上与参考块108的位置相对应的值。如上所述，在块匹配中，检测参考块108的参考矢量作为运动矢量104，其中，该参考块的SAD值作为相关值为最低值。

因此，在块匹配中，首先确定设置在搜索范围106内的多个参考块108中的每一个与目标块102之间的SAD值(下文中，这种SAD值称作参考块108的SAD值，以简化描述)。

然后，将以这种方式确定的SAD值以与参考块108的位置相对应的参考矢量107的对应关系存储在存储器中。然后，检测存储在存储器中的具有所有参考块108的SAD值中的最低一个的参考块108，以检测运动矢量104。应注意，在以下描述中，下文中，与参考块108的位置相对应的参考矢量107称作参考块108的参考矢量107以简化描述。

存储的与对应于参考块108的位置的参考矢量107相对应的、设置在搜索范围106中的多个参考块108的位置的相关值(在上述实例中为SAD值)被称作相关值表。在所述的实例中，由于作为差的绝对值之和的SAD值被用作相关值，所以相关值表称作差的绝对值之和的表或者SAD表。

其表示为图7的SAD表TBL。参考图7，在所示的SAD表TBL中，每个参考块108的相关值(在所述实例中为SAD值)称作相关值表元素。在图7的实例中，通过参考数字111所指示的SAD值为当参考矢量为矢量(0，0)时的SAD值。此外，在图7的实例中，当参考矢量为矢量(3，2)时，由于SAD值的最低值为“7”，所以经确定的运动矢量104为矢量(3，2)。

应注意，目标块102和参考块108的位置是指诸如块的中心位置的任意特定位置。此外，参考矢量107表示在参考帧101的目标块102的投影图像块109的位置与参考块108的位置之间的位移量(包括方向)。

与每个参考块108相对应的参考矢量107是在参考帧101上与目标块102相对应的投影图像块109到参考块108的位移。因此，如果指定了参考块108的位置，则也指定了与该位置相对应的参考矢量的值。从而，指定了在SAD表TBL的存储器中的参考块的相关值表元素的地址，然后指定对应的参考矢量。

应注意，可以相对于两个或更多目标块并行地计算这种SAD值。如果同时被处理的目标块数增加，则处理速度增加。然而，由于用于计算SAD值的硬件的规模增加，所以需要权衡增加处理速度和增加电路规模之间的关系。

[块匹配实施例]

上文描述的块匹配涉及一个目标块的运动矢量的计算。由于目标块在目标帧中占有的比率通常较低，所以通常难以将该运动矢量就这样确定为全局运动矢量。

在本实施例中，如图8所示，目标帧100被划分为诸如64像素×64线的尺寸的多个目标块102，并且确定目标块中的每个的运动矢量或者局部运动矢量104B。这时，在本实施例中，同时计算表示各个确定的局部运动矢量的可靠性的指数。

然后，基于局部运动矢量的可靠性指数，仅提取关于目标帧确定的具有高可靠性的那些局部运动矢量。然后，计算全局运动并且仅用所提取的具有高可靠性的局部运动矢量计算以块为单位的全局运动矢量。然后，计算出的以块为单位的全局运动矢量用于将参考帧以块为单位定位至目标帧，然后，叠加以这种方式定位的两个帧以生成降噪的图像。

然后，图像拾取装置在静态图片图像拾取时以高速拾取如图9所示的多个静态图像，并确定第一静态图片拾取图像作为目标帧100。然后，图像拾取装置确定包括第二和后续静态图片拾取图像的预定数量的静态图片拾取图像作为参考帧101并执行叠加。然后，图像拾取装置记录叠加所得的图像作为静态图片拾取图像。

具体地，如果图像拾取者压下图像拾取装置的快门按钮，则以高速拾取预定数量的静态图像。然后，在首先拾取的静态图像(帧)上，叠加并计录在稍后的时间拾取的多个静态图像(帧)。

应注意，尽管在本实施例中没有描述，但在移动图片图像拾取时，确定当前从图像拾取元件输出的当前帧的图像作为目标帧100的图像，并且确定在过去的以前帧的图像作为参考帧101的图像。换句话说，在移动画面拾取时，为了执行当前帧图像的降噪，在当前帧上叠加当前帧以前的帧的图像。

[图像拾取装置的硬件结构的实例]

图1示出了作为根据本发明实施例的图像处理装置的图像拾取装置的实例。

参照图1，所示的图象拾取装置包括连接至系统总线2的中央处理器(CPU)1，并且还包括：图像拾取信号处理系统10、用户操作输入单元3、连接至系统总线2的图像存储单元4以及记录和再生装置单元5。应注意，尽管图1中没有示出，但是CPU1包括存储用于执行各种软件处理的程序的ROM(只读存储器)、用于工作区的RAM(随机存储器)等。

响应于通过用户操作输入单元3的图像拾取计算开始操作，图1的图像拾取装置的图像拾取信号处理系统10执行如下所述的拾取图像数据的记录处理。此外，响应于通过用户操作输入单元3的拾取记录图像的再生开始操作，图像拾取信号处理系统10执行记录在记录和再生装置单元5的记录介质上的拾取图像数据的再生处理。

在图像拾取信号处理系统10中，经由包括图像拾取透镜10L的未示出的相机光学系统接收的来自图像拾取对象的入射光照射在图像拾取元件11上，以拾取图像。在本实施例中，图像拾取元件11由CCD(电荷耦合装置)成像器构成。应注意，图像拾取元件11也可以由CMOS(互补金属氧化物半导体)成像器构成。

在图像拾取装置中，如果执行图像拾取记录开始操作，则由图像拾取元件11将通过图像拾取透镜10L输入的图像变换成为拾取图像信号。然后，从图像拾取元件11以由红(R)、绿(G)和蓝(B)的三原色所形成的拜尔(bayer)阵列的原始信号(raw signal)的形式输出模拟拾取图像信号作为与来自定时信号生成部12的定时信号同步的信号。向预处理部13提供输出的模拟拾取图像信号，通过其执行诸如缺陷校正和γ校正的预处理，并且向数据转换部14提供所得到的模拟图像信号。

数据转换部14将输入的原始信号形式的模拟拾取图像信号变换成为由亮度信号分量Y和色差信号分量Cb/Cr所构成的数字拾取图像信号或者YC数据。根据通过用户操作输入单元3所接收的图像拾取指令将来自数据转换部14的数字拾取图像信号写入图像存储单元4。

具体地，如果通过用户操作输入单元3所接收的图像拾取指令是由压下快门按钮引起的静态图片拾取指令，则将来自数据转换部14的数字拾取图像信号写入图像存储单元4。在这种情况下，将如上所述的要彼此叠加的来自数据转换部14的数字拾取图像信号的多个帧写入图像存储单元4的第一帧存储器至第N帧存储器41至4N(N为要叠加的静态图片数)。

在本实施例中，将压下快门按钮时的第一帧的图像数据作为目标帧的图像数据写入第一帧存储器41。然后，将第二帧图像和随后帧图像的数据作为参考帧的图像数据连续写入第二帧存储器至第N帧存储器42至4N。

在将不同帧的多个图像写入图像存储单元4之后，由全局运动矢量计算部15读取目标帧的图像数据和参考帧的图像数据。然后，全局运动矢量计算部15执行如下所述的局部运动矢量LMV的检测、局部运动矢量LMV的可靠性计算、全局运动的计算和全局运动矢量GMV的计算。

在本实施例中，全局运动矢量计算部15输出全局运动矢量GMV、目标帧的图像数据TGv和参考帧的图像数据REFv的信息。

向运动补偿图片生成部16提供来自全局运动矢量计算部15的全局运动矢量GMV和参考帧的图像数据REFv的信息。运动补偿图片生成部16基于全局运动矢量GMV将与全局运动相对应的处理(即包括平行移动、旋转和扩展或者收缩的变换处理)应用于参考帧的图像数据REFv，以生成运动补偿图像。

然后，向加法部17提供来自全局运动矢量计算部15的目标帧的图像数据TGv，并且向加法部17提供来自运动补偿图片生成部16的运动补偿图像的图像数据MCv。加法部17将在图像数据TGv和MCv的对应位置处的像素相加以执行图像的叠加处理，并输出所得到的总和图像(为降噪图像)的图像数据MIXv。

在图像存储单元4的第一帧存储器41中将以前的目标帧的图像数重写为来自加法部17的总和图像的图像数据MIXv作为目标帧的图像数据。

具体地，紧随在压下快门按钮之后，第一帧存储器41的目标帧的图像数据首先是第一帧的图像数据。然后，如果把第二参考帧的运动补偿图像的图像数据MCv和目标帧相加，则将第一帧存储器41的目标帧的图像数据改写成为加法的结果的总和图像的图像数据MIXv。

然后，总和图像的图像数据MIXv被用作第三参考帧的图像数据的目标帧的图像数据。然后，通过全局运动矢量计算部15如上所述类似地计算全局运动矢量GMV，并且通过加法部17执行图像叠加处理。

然后，将加法的结果的总和图像的图像数据MIXv作为目标帧的图像数据在以前的目标帧的图像数据上重写入图像存储单元4的第一帧存储器41。此后，对于作为参照图像的第四帧和随后的各个帧也执行类似的处理操作。

因此，在执行图像的叠加处理直到作为参照图像的第N张图像后，在图像存储单元4的第一帧存储器41中写入叠加了所有要叠加的N个帧的降噪图像。

然后，通过系统总线2向静态图片编码解码部18提供存储在图像存储单元4的第一帧存储器41中的作为叠加结果的降噪图像的总和图像的图像数据MIXv并且通过静态图片编码解码部18转换编解码。将来自静态图片编码解码部18的输出数据记录在记录和再生装置单元5的诸如DVD(数字通用光盘)或者硬盘的记录介质上。在本实施例中，静态图片编码解码部18根据JPEG(联合图像专家组)系统对静态图片执行图像压缩编码处理。

此外，在静态图片图像拾取模式中，在按下快门按钮之前，通过图像存储单元4的第一帧存储器41向分辨率转换部19提供来自数据转换部14的图像数据。然后，通过分辨率转换部19将图像数据转换成为预定分辨率的数据，然后，向NTSC(国家电视系统委员会)编码器20提供经变换的数据。NTSC编码器20将图像数据转换成为NTSC系统的标准色图像信号。然后，向可以由诸如LCD(液晶显示)面板形成的监视器显示单元6提供得到的标准色图像信号。然后，在监视器显示单元6的显示屏幕上显示静态图片图像拾取模式下的监视图像。

响应于通过用户操作输入单元3的再生开始操作，读出记录在记录和再生装置单元5的记录介质上的静态图片的图像数据，并向静态图片编码解码部18提供该静态图片的图像数据，并且通过该静态图片编码解码部对静态图片的图像数据进行解码以再生。然后，通过图像存储单元4的未示出的缓冲存储器向NTSC编码器20提供被再生解码的静态图片的图像数据，并且通过NTSC编码器20将该静态图片的图像数据变换成为NTSC系统的标准色图像信号。然后，向监视器显示单元6提供标准色图像信号，并且在监控器显示单元6的显示屏幕上显示其再生图像。

应注意，尽管图1中没有示出，但是可以通过图像输出端向外部导出来自NTSC编码器20的输出图像信号。

应注意，在本实施例中，虽然通过静态图片编码解码部18以压缩形式记录图像数据，但可以省略静态图片编码解码部18，从而不以压缩形式记录图像数据。

此外，可以由硬件构成上述全局运动变量计算部15和运动补偿图片生成部16。此外，可以用DSP(数字信号处理器)构成全局运动变量计算部15和运动补偿图片生成部16。此外，可以由CPU1通过软件处理代替全局运动变量计算部15和运动补偿图片生成部16。

类似地，还可以用硬件或者用DSP构成加法部17。此外，还可以由CPU 1通过软件处理代替加法部17。这还类似地应用于静态图片编码解码部18。

[全局运动矢量计算部15]

在本实施例中，全局运动矢量计算部15参照图2A～图7使用上述SAD值执行块匹配处理，以执行局部运动矢量检测。然而，应注意，在本实施例中，由如下所述的硬件构成全局运动矢量计算部15，并且通过分层块匹配处理和插值处理来计算局部运动矢量。

此外，如上所述，全局运动矢量计算部15还计算每个局部运动矢量中的可靠性指数。

此外，全局运动矢量计算部15仅使用具有高可靠性的那些局部运动矢量来计算全局运动。然后，全局运动矢量计算部15根据计算出的全局运动计算以块为单位的全局运动矢量。

<分层块匹配处理>

现有技术中的普通块匹配中的普通运动矢量检测处理中，在搜索范围内以像素为单位(即以一个像素为单位或者以多个像素为单位)移动参考块，并且计算在每个移动位置处的参考块的SAD值。然后，从以这种方式计算的SAD值中检测出为最低值的SAD值，并基于显示最低SAD值的参考块位置来检测运动矢量。

此外，在本实施例中，由于将一帧划分为多个块，所以通过连续转换目标块和参考块而对整个画面执行上述块匹配处理。从而执行在目标帧中的所有目标块的局部运动矢量LMV的计算。

然而，在如上所述的现有技术中的这种运动矢量检测处理存在的问题在于，由于在搜索范围内以像素为单位移动参考块，所以用于计算SAD值的匹配处理的次数增加，从而与搜索范围成比例地增加了匹配处理次数。此外，现有技术中的运动矢量检测处理还存在另一问题，即SAD表的容量也增加。

如果考虑静态图像的高像素化和活动图像高清化(更高清晰度)并且一幅图像的尺寸变的很大，这个问题就尤其严重了。现有技术中的运动矢量检测处理还存在通过系统总线2进入图像存储器的次数增加并且总线带宽必须增加的问题。

考虑上述问题，在本实施例中，执行分层块匹配，其中，目标图像或者目标帧和参考图像或者参考帧首先减小尺寸，以准备缩小的图像和中间图像，然后，在下一阶段的搜索中反映前一阶段的块匹配结果的情况下，以缩小的图像、中间图像以及原始图像的顺序执行通过块匹配的运动矢量搜索。

通过执行分层块匹配，以较小量的计算和较短的处理时间有效地执行局部运动矢量的计算。应注意，缩小的图像下文中称作缩小平面，中间图像下文中称作中间平面，以及不是缩小形式的原始图像下文中称作基平面。

图11示出了分层块匹配。参考图11，在所示的实例中，将基平面目标帧201和基平面参考帧301在尺寸上减小至1/a·1/b(1/a和1/b为缩小率，其中，a＞1并且b＞1)以分别生成缩小平面目标帧211和缩小平面参考帧311。

然后，将基平面目标帧201和基平面参考帧301减小至1/b以分别生成中间平面目标帧221和中间平面参考帧321。

尽管任意比例均可以应用于相对于基平面的缩小平面和中间平面，但是其可以适当地被设置为1/2～1/8倍，即转换成像素数为1/4～1/64倍。注意，在图11的实例中，相对于中间平面的缩小平面的缩小率为1/4，即，a＝4，并且相对于基平面的中间平面的缩小率为1/4，即，b＝4。

此外，对于缩小平面和中间平面的生成，可以应用任意方法。然而，如果应用仅响应于生成缩小平面或者中间平面的缩小率对原始图像的像素取样的方法，则生成反射分量(reflection component)，在第一层(缩小平面)中检测出的运动矢量很可能偏离正确的运动矢量。因此，通常将具有适合于某个缩小率的截止频率带宽的低通滤波器首先应用于原始图像，然后，执行适合于该缩小率的取样。

在本实施例中，在包括由于以一定比例取样而消失的那些像素的像素中计算亮度平均值并且该亮度平均值被用作缩小平面像素或者中间平面像素的亮度值。具体地，在1/a缩小的情况下，计算在a×a像素的正方形区域中的亮度平均值并且该亮度平均值被用作缩小平面像素或者中间平面像素的亮度值。在这种情况下，即使首先形成中间平面，然后由中间平面生成缩小平面，也可获得与由原始画面直接生成缩小平面的情况下所获得的相同结果。因此，这种方法在效率方面更高。

应注意，当要生成缩小图像时，在水平方向上的缩小率和在垂直方向上的缩小率可以如上述情况一样是相同的或者也可以彼此不同。

在以上述这种方式生成缩小平面和中间平面之后，缩小平面目标块212被设置至缩小平面目标帧211并且缩小平面搜索范围313被设置至缩小平面参考帧311。

然后，通过缩小平面运动矢量检测装置401对在缩小平面搜索范围313中的多个缩小平面参考块312执行块匹配处理，以检测表现出最低SAD值的缩小平面参考块位置。然后，基于再生平面参考块的检测来检测缩小平面运动矢量MVs。

在本实例中，缩小平面运动矢量检测装置401执行用于块匹配处理单元的处理，该块匹配处理单元为缩小平面目标块212的尺寸的块，即，在水平方向上的像素数×在垂直方向上的线数的块。

在缩小平面运动矢量MVs的计算结束之后，中间平面目标块222被设置中间平面目标帧221上，中间平面目标帧221尺寸等于缩小平面目标帧211乘以a。

在图11的实例中，中间平面运动矢量检测装置402对中间目标块执行块匹配处理，该中间目标块是与缩小平面矢量检测装置401的块匹配处理单元相同尺寸的块。相同尺寸的块是相等像素数的块并且包括在水平方向上的相同数量的像素×在垂直方向上相同数量的线。

在本实例的情况下，由于缩小平面具有中间平面的1/a的尺寸，在与缩小平面目标块212相对应的中间平面目标帧的区域中所包括的中间平面目标块222的数量为a。因此，所有的中间平面目标块222被设置为中间平面运动矢量检测装置402的块匹配处理对象。

然后，在具有与缩小平面参考帧311的a倍相等的尺寸的中间平面参考帧321中，设置集中在缩小平面运动矢量MVc处的中间平面搜索范围323。然后，对由运动矢量检测装置402在中间平面搜索范围323内的多个中间平面参考块322执行上述块匹配处理，以检测表现出最低SAD值的中间平面参考块位置，以检测中间平面运动矢量MVm。

中间平面运动矢量检测装置402在设置在中间平面搜索范围323中的各个中间平面目标块的搜索范围内对中间平面目标块中的每个执行块匹配处理，从而检测各个中间平面目标块的运动矢量。然后，检测表现出最低SAD值的多个运动矢量中的那一个作为中间平面的运动矢量MVm，即，作为中间平面运动矢量。

在缩小平面运动矢量MVs的计算结束之后，将基平面目标块202设置在尺寸等于中间平面目标块221的b倍的基平面目标帧201。

在图11的实例中，基平面运动矢量检测装置403还执行用于处理单元块的块匹配处理，该处理单元块与运动矢量检测装置401和402中的块具有相等尺寸，即，相同像素数＝水平方向上的相同像素数×垂直方向上的相同的线数。

然后，以如上所述的处理单元块为单位获得中间平面运动矢量MVm。因此，作为基平面运动矢量检测装置403的对象的基平面目标帧201的基平面目标块202的数量被设置为如图11中斜线所指出的与缩小平面的目标快尺寸相同的块(即处理单元块)的数量的b倍。

另一方面，在尺寸等于中间平面参考帧321的b倍的基平面参考帧301中，设置以缩小平面运动矢量MVs和中间平面运动矢量MVm的合成矢量为中心的基平面搜索范围303。由基平面运动矢量检测装置403对基平面搜索范围303中的多个基平面参考块302执行上述块匹配处理，以检测表现出最低SAD值的基平面参考块的位置，以检测基平面运动矢量MVb。

以相同尺寸的处理单元块为单位获得缩小平面运动矢量MVs和中间平面运动矢量MVm。因此，设置以缩小平面运动矢量MVs和中间平面运动矢量MVm的合成矢量为中心的基平面搜索范围303比包括b个基平面目标块202的区域大一点。

基平面运动矢量检测装置403在设置在基平面搜索范围303中的基平面目标块的搜索范围中对b个基平面目标块202执行块匹配处理，从而执行基平面目标块的运动矢量的检测。然后，检测表现出最低SAD值的多个运动矢量中的一个作为基平面运动矢量MVb，即，基平面的基平面运动矢量。

然后，作为以上述这种方式确定的缩小平面运动矢量MVs、中间平面运动矢量MVm和基平面运矢量MVb的合成矢量，检测基平面目标帧201和基平面参考帧301之间的基平面目标块的局部运动矢量LMV。

在连续转换目标块和参考块的同时，对目标帧和参考帧的所有区域执行上述这种分层块匹配处理，从而以目标帧中设定的多个目标块为单位计算所有的多个局部运动矢量LMV。

在图11的实例中，运动矢量检测装置401、402和403实际上是1个装置，只是与从图像存储单元4中读出和输入的目标块以及从搜索范围内读出的参考块不同。

应注意，在基平面目标帧201被配置为获得所有基平面目标块202的局部运动矢量LMV的情况下，应该以下列方式执行目标块的转换。具体地，在水平方向上，以根据比例1/a和1/b的对应于水平方向上的像素数的数量连续移动缩小平面的同时，在缩小平面上设置缩小平面目标块。与此同时，在垂直方向上，以根据比例1/a和1/b的对应于垂直方向上的线数的数量连续移动缩小平面的同时，设置缩小平面目标块。

然而，从由多个局部运动矢量LMV确定全局运动矢量的目的来看，可以采取以下对策。具体地，可以将缩小平面目标块设定为在水平方向和垂直方向上连续移动，从而获得与在基平面目标帧201的跳过位置处的基平面目标块相关的局部运动矢量LMV。

应注意，也可以省略中间平面仅通过缩小平面和基平面两个分层来执行上述分层块匹配，或者可以包括用于不同中间平面的多个中间层。但是，如果缩小率很高使得在同一单元块中包括了运动图像拾取对象和背景，则必须小心。具体地，最初应该被检测作为不同运动矢量的运动矢量被作为单个运动矢量来处理，而由于在后续层中不能恢复，所以必须小心执行缩小率的选择。

[计算局部运动矢量LMV的可靠性]

在具有较大量的噪声的图像为目标图像的情况下，因为噪声影响SAD值，所以常常不能获得校正矢量。图12是包括较大量的噪声的夜景的照片。如果示出图12的图像和涉及很小量的旋转的同时相机在左侧方向上抖动所拾取的图像之间的运动矢量，则获得如图13所示的这种结果。通过绘制将原图减小至1/8所获得的缩小图像的缩小平面运动矢量而获得图13。

可从图13看出，获得的纹理不是特别清晰的夜空的运动矢量是各种各样完全不同的运动。在分层块匹配中，由于在缩小图像的生成时应用低通滤波器，所以抗噪特性比较高。然而，如图13所示，噪声会影响缩小的图像。

由于通过在缩小平面运动矢量周围搜索来获得基平面的局部运动矢量LMV，所以如果从校正运动矢量移动缩小画面运动矢量，则恢复是无效的，噪声直接影响缩小平面运动矢量，并且进一步扰乱该缩小平面运动矢量。

即使对象图像是完全没有噪声的拾取图像，如果图像的纹理不清晰，则在连续拍摄图像时由于外部光的微小变化或者曝光时间的不同导致灰度(gradation)变化就会更大，并且检测出的运动矢量常常偏离正确值。此外，虽然大量的树和人造建筑物(诸如房屋)具有很多重复的纹理图案，但即便如刚刚所述的这种纹理的重复图案，检测出的运动矢量也可能偏离正确值。

假设如刚刚所述的这种情况，在现有技术中已尝试仅使用具有高可靠性的运动矢量计算全局运动。例如，已经提出了执行目标图像的边缘检测并且确定具有清晰边缘的块的运动矢量作为具有高可靠性的运动矢量。此外，已经提出了使用目标图像的IDCT(离散反余弦变换)结果的DC分量和AC分量计算可靠性。

还推荐了一种方法，其中，使用作为一种滤波器的角检测器(corner detector)来检测目标图像上的特征点，使得所得的运动矢量具有高可靠性。还推荐了一种技术，假设在参考图像上也维持多个特征点的位置关系，从在不同点处的多个运动矢量的组合中提取高可靠性的运动矢量。

然而，上述现有技术中的这些技术没有假设高噪声的图像，并且明显对于噪声水平很高的图像无效。

在本实施例中，考虑到上述情况，采用了一种对策来获得可靠性指数值，通过其能有效估计运动矢量的可靠性，即使是高噪声环境下的图像。

在本实施例中，目标块和参考块之间的相关值中的第一最大值和第二最大值的差值或比率被用作运动矢量可靠性的指数值。在本实施例中，由于检测目标块和参考块之间的相关值作为SAD值，所以相关值的第一最大值和第二最大值分别为SAD值的第一最小值和第二最小值。

图14示意性地示出了关于一个目标块的SAD表的SAD值。在图14中，搜索范围被表示为在图像的水平方向或x方向以及垂直方向或y方向上的二维范围，并在高度方向上(即，在与x和y方向垂直的方向上)取SAD值。因此，SAD表被表示为三次曲面。

在常用的块匹配处理中，为了检测运动矢量，仅将SAD表中SAD值的最低值确定为检测对象。然而，SAD值的这个最低值是SAD表中的SAD值的第一最小值，并且在图14中，该值假设是由点501所表示的位置。在图14中，检测运动矢量MV作为从运动的原点(即(x＝0，y＝0))至由点501所表示的SAD值的最小值位置的矢量。

如果考虑到不存在噪声的理想状态，则当确定搜索范围内的多个参考块和目标块之间的相关值时，由三次曲面表示的SAD表表现出以下状态：三次曲面均匀向下凸出，并且仅存在一个SAD值的最小值。然而，在实际的图像拾取状态下，因为不仅存在光量变化、运动体的运动等的影响，而且还存在各种噪声的影响，所以由三次曲面表示的SAD表几乎不表现出均匀向下凸出的形状，而是通常具有多个SAD值的最小值。

因此，在本实施例中，基于表现出等于SAD值的最低值的第一最小值的参考块的位置来检测运动矢量MV。然而，SAD值中除SAD值的第一最小值之外的最小值(即SAD值的第二最小值)被检测用于生成可靠性的指数。在图14中，由点501表示的位置代表第一最小值，而由另一个点502表示的位置代表第二最小值。

如果噪声等的影响是有限的，则SAD值的第一最小值和SAD值的第二最小值之间的差值很大，并且从SAD值的第一最小值(即从SAD值的最低值)所检测的运动矢量MV的可靠性很高。另一方面，在包括大量噪声等的另一种环境下，SAD值的第一最小值和SAD值的第二最小值之间的差值很小，并且不能够区分SAD值的第一和第二最小值中的哪一个正确地对应于运动矢量MV。因此，可靠性很低。

如上所述，在本实施例中，SAD值的第一最小值(SAD值的最低值)和SAD值的第二最小值之间的差值被确定为所检测的运动矢量的可靠性的指数。图15示出了在一维轴上表示图14中的搜索范围的SAD表。在本实施例中，图15中的第二最小值和第一最小值(即SAD值的最低值)之间的差值被确定为运动矢量MV的指数值Ft。

应注意，在仅获得SAD值的第一最小值而没有获得第二最小值的情况下，在本实施例中，将SAD值理论上的最高值或SAD值表中的SAD值的最高值确定为运动矢量MV的可靠性指数值。因此，确定刚刚描述的这种块的运动矢量很高。然而，由于所描述类型的块很少存在，所以可以从可靠性的评价中排除仅从中获得SAD值的第一最小值而没有获得第二最小值的块的运动矢量。

应注意，代替SAD值的第一最小值(SAD值的最低值)和SAD值的第二最小值之间的差值，SAD值的第一最小值(SAD值的最低值)和SAD值的第二最小值之间的比率可以被用作运动矢量MV的指数值Ft。然而，在以下描述中，使用SAD值的第一最小值(SAD值的最低值)与SAD值的第二最小值之间的差值。

根据本实施例中的运动矢量的可靠性指数，由于没有使用如现有技术中的诸如图像边缘或图像特性的图像分量而仅使用了目标帧与参考帧之间的相关值，所以对于噪声的鲁棒性很高。换句话说，获得具有高精度的运动矢量的可靠性指数，而不会受到图像噪声所影响。

此外，在本实施例中，使用相关值的第一最大值(SAD值的第一最小值)和相关值的第二最大值(SAD值的第二最小值)之间的差值或比率也是使本实施例中运动矢量的可靠性指数具有很高的抗噪强度的原因。

具体地，如果噪声电平升高，则即使运动矢量是正确的，运动矢量的SAD值通常也会升高。因此，在为了提取出具有高可靠性的运动矢量而对运动矢量的可靠性指数值Ft设定阈值以执行与阈值的比较处理的情况下，也需要响应于噪声电平改变其本身的阈值。

相反，在使用本实施例中的运动矢量的指数值Ft的情况下，相关值的第一最大值(SAD值的第一最小值)和相关值的第二最大值(SAD值的第二最小值)都响应于噪声电平而升高。因此，在相关值的第一最大值(SAD值的第一最小值)和相关值的第二最大值之间的差值中，噪声的影响被抵消。

换句话说，可以实现不依赖于噪声电平的固定值的阈值处理。这也类似地应用于相关值的第一最大值(SAD值的第一最小值)和相关值的第二最大值(SAD值的第二最小值)之间的比率被用作运动矢量的指数值的情况。

顺便提及，在要执行块匹配的对象块的图像的对比度很低的情况下，SAD值的第二最小值和SAD值的最低值之间的差值具有减小的趋势。因此，当相同帧包括具有高对比度的区域和具有低对比度的另一个区域时，如果相同的阈值被用于评价矢量可靠性的评价值Ix，则很可能优先选择具有高对比度的区域。

尽管从运动矢量可靠性的角度来看这是正确的结果，但是为了某种程度地救济低对比度的区域，在本实施例中，用于减轻对比度影响的项被添加至用于确定运动矢量的可靠性的指数值的数学运算表达式。具体地，确定目标帧图像的最高亮度值和最低亮度值之间的差值，并在运动矢量的可靠性的指数值上反映亮度的差值。应注意，为了避免噪声的不良影响，在将低通滤波器应用于目标帧的图像数据之后，执行最高亮度和最低亮度的提取。

鉴于上文所述，给出本实施例中指数值Ft的计算表达式：

Ft＝(Btm2SAD-MinSAD)-(MaxTAR-MinTAR)×Co

…(表达式14)

其中

Ft：运动矢量的可靠性指数值

Btm2SAD：SAD值的第二最小值

MinSAD：SAD值的最低值(第一最小值)

MaxTAR：目标块的最高亮度值

MinTAR：目标块的最低亮度值

Co：加权系数(≤1)

应注意，在相关值的第一最大值与相关值的第二最大值之间的比率被用作运动矢量可靠性指数值的情况下，完全类似于上文所给出的(表达式1)，用于减轻对比度影响的项也可以被添加至可靠性指数值计算表达式。然而，在运动矢量的指数值Ft的计算中，实质上并不是必须添加用于减轻对比度影响的项，而可以省略该项。

在上面的描述中，虽然仅确定基平面运动矢量MVb的运动矢量可靠性指数值，当然，关于缩小平面运动矢量MVs或中间平面运动矢量MVm也可以类似地确定运动矢量可靠性指数值。

[运动矢量和全局运动矢量GMV的计算]

在现有技术中，不使用上述的运动矢量的可靠性指数值。因此，关于目标帧确定的多个局部运动矢量LMV全部使用相同的权来计算全局运动。

相反，在本实施例中，能以上文所述方式来获得目标帧的多个局部运动矢量LMV的各自的可靠性指数值Ft。

然后，可以对以这种方式所确定的多个局部运动矢量LMV的可靠性指数值进行规格化，以对局部运动矢量LMV中的每一个设置例如大于等于0而小于等于1的加权系数。然后，可以不利用相同的权而是通过根据各个加权系数所确定的多个权来使用局部运动矢量LMV，以计算全局运动。具体地，当使用所确定的全部多个局部运动矢量LMV，以开始用于计算全局运动的收敛计算时，在局部运动矢量LMV利用与各个可靠性指数值相对应的加权系数加权之后，使用该局部运动矢量LMV。

然而，为了简化全局运动的数学运算处理来降低数学运算负荷，在本实施例中，将局部运动矢量LMV的加权系数W二进值化成0和1。

因此，在本实施例中，设定用于运动矢量的指数值Ft的阈值th，并且根据以下数学运算表达式使用每个运动矢量的指数值Ft来计算每个局部运动矢量LMV的加权系数W：

当Ft＞th时，W＝1，而

当Ft≤th时，W＝0    …(表达式15)

具体地，在本实施例中，将运动矢量可靠性指数值Ft用于判定多个局部运动矢量LMV中每一个的可靠性并且从多个局部运动矢量LMV中仅提取出那些具有高可靠性的局部运动矢量LMV，然后，仅将所提取的具有高可靠性的局部运动矢量LMV用于计算全局运动。

在本实施例中，由于目标帧中的目标块数相对较多，所以即使在使用如本实例一样仅提取具有高可靠性的局部运动矢量LMV的方法的情况下，也能够计算具有高精度的全局运动。

应注意，下文中，描述了根据多个局部运动矢量LMV来计算全局运动的具体处理实例。

在上文中描述了，从参照图12所描述的具有大量噪声的图像中获取如图13所示的这种局部运动矢量。然而，如果使用根据本实施例的运动矢量的可靠性指数值对图13的图像上所表示的局部运动矢量执行可靠性判定，从而仅提取那些具有高于阈值的可靠性的可靠性指数值并随后绘制块和运动矢量，则可获得如图16所示的图像。考虑到这点，对于图16所示的块，可以获得基本正确的局部运动矢量，而不被噪声所影响。

[全局运动矢量计算部15的硬件结构的实例]

全局运动矢量计算部15执行上文所述的对每个目标块检测局部运动矢量LMV、计算所检测局部运动矢量LMV的可靠性指数值、计算全局运动和全局运动矢量GMV等处理。

图17示出了全局运动矢量计算部15的硬件结构的实例。参照图17，全局运动矢量计算部15包括：目标块缓冲部151，被配置为存储目标块102的像素数据；以及参考块缓冲部152，被配置为存储参考块108的像素数据；

全局运动矢量检测部15进一步包括匹配处理部153，被配置为计算目标块102和参考块108的对应像素的SAD值。全局运动矢量检测部15进一步包括局部运动矢量计算部154，被配置为根据从匹配处理部153输出的SAD值信息来计算局部运动矢量。全局运动矢量检测部15进一步包括：控制部155、运动矢量可靠性指数值计算部156、全局运动矢量数学运算部157以及对比度计算部158。

对比度计算部158包括低通滤波器1581、最高亮度值检测部1582和最低亮度值检测部1583。

此外，尽管没有示出，但是在本实例中，由原始图片的目标帧和参考帧的图像数据所生成的目标帧和参考帧的缩小平面的图像数据和中间平面的图像数据被存储并保留在图像存储单元4中。

控制部155控制全局运动矢量计算部15的处理顺序(sequence)，并将控制信号提供给如图17所示的全局运动矢量计算部15的组件。

目标块缓冲部151从图像存储单元4的缩小平面、中间平面或基平面的目标帧的图像数据中读入指定目标块的图像数据，并在控制部155的控制下将图像数据提供给匹配处理部153。

参考块缓冲部152在控制部155的控制下从图像存储单元4的缩小平面、中间平面或基平面的参考帧的图像数据中读入指定匹配处理范围内的图像数据。然后，参考块缓冲部152顺序地将来自匹配处理范围内的图像数据中的参考块的图像数据提供给匹配处理部153。

匹配处理部153接收来自目标块缓冲部151的目标块的图像数据和来自参考块缓冲部152的参考块的图像数据。然后，匹配处理部153在控制部155的控制下对缩小平面、中间平面和基平面执行块匹配处理。然后，匹配处理部153将参考矢量(即参考块的位置信息)和块匹配处理结果的SAD值提供给局部运动矢量计算部154。

局部运动矢量计算部154包括SAD值的第一最小值存储部1541和SAD值的第二最小值存储部1542，并且执行从来自匹配处理部153的SAD值中检测出SAD值的第一最小值和SAD值的第二最小值的处理。

然后，局部运动矢量计算部154顺序更新SAD值的第一最小值存储部1541中的SAD值的第一最小值和SAD值的第一最小值的位置信息(即参考矢量)以及SAD值的第二最小值存储部1542中的SAD值的第二最小值和SAD值的第二最小值的位置信息(即参考矢量)。局部运动矢量计算部154执行该更新处理，直到匹配处理范围中所有参考块的块匹配处理结束。

然后，当块匹配处理结束时，将处于该时间点的目标块的SAD值的第一最小值和SAD值的第一最小值的位置信息或参考矢量存储在SAD值的第一最小值存储部1541中。此外，将SAD值的第二最小值和SAD值的第二最小值的位置信息或参考矢量存储在第二最小值存储部1542中。

然后，当匹配处理范围内的所有参考块的块匹配处理结束时，局部运动矢量计算部154检测存储在SAD值的第一最小值存储部1541中的参考矢量的信息(即位置信息)，作为在缩小平面、中间平面和基平面中的每一个中的运动矢量。下文将详细描述局部运动矢量计算部154的处理操作。

本实施例中的局部运动矢量计算部154在缩小平面匹配处理时将缩小平面运动矢量MVs作为局部运动矢量LMV提供给控制部155。

控制部155根据缩小平面运动矢量MVs的信息来确定中间平面的搜索范围。然后，控制部155将控制信号提供给目标块缓冲部151、参考块缓冲部152和匹配处理部153，以使它们执行中间平面中的块匹配。

然后，当中间平面中的匹配处理结束时，局部运动矢量计算部154将缩小平面运动矢量MVs和中间平面运动矢量MVm的合成矢量信息作为局部运动矢量LMV提供给控制部155。

控制部155根据缩小平面运动矢量MVs和中间平面运动矢量MVm的合成矢量信息来确定基平面的搜索范围。然后，控制部155将控制信号提供给目标块缓冲部151、参考块缓冲部152和匹配处理部153，以使它们执行基平面中的块匹配。

当基平面中的匹配处理结束时，局部运动矢量计算部154将缩小平面运动矢量MVs、中间平面运动矢量MVm和基平面运动矢量MVb的合成矢量信息作为局部运动矢量LMV提供给全局运动矢量计算部157。全局运动矢量计算部157临时存储接收的局部运动矢量LMV。

此外，当基平面中的匹配处理结束时，由控制部155启用(enable)运动矢量可靠性指数值计算部156。与此同时，从局部运动矢量计算部154向运动矢量可靠性指数值计算部156提供第一最小值存储部1541的SAD值的最低值MinSAD和第二最小值存储部1542的SAD值的第二最小值Btm2SAD。

此外，这时，将目标块的图像数据通过低通滤波器1581从目标块缓冲部151提供给最高亮度值检测部1582和最低亮度值检测部1583。然后，分别将由最高亮度值检测部1582和最低亮度值检测部1583所检测的最高亮度值MaxTAR和最低亮度值MinTAR提供给运动矢量可靠性指数值计算部156。

运动矢量可靠性指数值计算部156使用提供给它的信息，根据上文给出的(表达式1)来计算运动矢量的可靠性指数值Ft。然后，运动矢量可靠性指数值计算部156将计算得到的可靠性指数值Ft提供给全局运动矢量计算部157。全局运动矢量计算部157以与这时提供给它的局部运动矢量LMV相关联的关系来临时存储所输入的可靠性指数值Ft。

在目标帧中所有目标块的上述一系列处理结束之后，控制部155将控制指令信号提供给全局运动矢量计算部157，以开始全局运动的数学运算处理。

在本实施例中，全局运动矢量计算部157首先根据来自控制部155的控制指令信号，使用以与局部运动矢量LMV相对应的关系而存储的运动矢量可靠性指数值Ft，根据上文给出的(表达式2)来执行存储在其中的多个局部运动矢量LMV的可靠性的判定。然后，全局运动矢量计算部157仅提取出那些显示高可靠性的局部运动矢量LMV。

然后，全局运动矢量计算部157仅使用具有高可靠性的提取的局部运动矢量LMV来执行计算全局运动的数学运算处理。然后，全局运动矢量计算部157用计算出的全局运动计算全局运动矢量GMV，并且将所得到的全局运动矢量GMV提供给运动补偿图片生成部16。

运动补偿图片生成部16对于通过全局运动矢量计算部15发送来的参考帧的图像数据REFv，利用全局运动矢量GMV执行与全局运动相对应的转换处理，以生成运动补偿图像。然后，通过加法部17将所生成的运动补偿图像叠加在目标帧的图像数据上。

由于根据具有高可靠性的局部运动矢量LMV生成本实施例中的全局运动和全局运动矢量GMV，所以其具有很高的精度，并且通过叠加所获得的降噪图像具有很好的质量。

[局部运动矢量计算部154的处理操作]

为了检测SAD值的最小值，本实施例中的局部运动矢量计算部154确定位置Po作为判定对象点，并且执行判定对象点位置Po处的SAD值和由图18中的虚线框所围绕的判定对象点位置Po附近和周围的8个SAD值之间的比较。然后，局部运动矢量计算部154判定该判定对象点的SAD值是否为由虚线框所围绕的区域中的9个SAD值中的最低值(下文称作局部最小值)。

然后，如果确定判定对象点的SAD值为局部最小值，则局部运动矢量计算部154将判定对象点的SAD值与此时所存储的SAD值的最小值进行比较。然后，如果局部运动矢量计算部154判定该判定对象点的SAD值低于此时所存储的SAD值的最小值，则用新检测出的局部最小SAD值来更新存储在其中的SAD值的最小值。

作为用于检测上述这种局部最小SAD值的结构，设计局部运动矢量计算部154以降低用于存储SAD值的SAD表的缓冲存储器的规模。具体地，当局部运动矢量计算部154以一个像素为单位搜索参考块时，准备可以存储水平方向上目标块的尺寸的两行的SAD值+3个SAD值的缓冲存储器作为如图18所示的用于存储SAD值的SAD表的缓冲存储器。

如图18所示，如果将水平方向上目标块尺寸的两行的SAD值+3个SAD值写入缓冲存储器，则可以判定在判定对象点位置Po处的局部最小值。

为了将缓冲存储器的尺寸最小化，如图18所示，新输入的SAD值被重写在已经存储了不再用于最小值评价或局部最小值检测的旧的SAD值的存储位置Pa。具体地，尽管根据顺序应将新输入的SAD值写入图18所示的存储位置Pb，但是却没有写入存储位置Pb，而是重新利用不再使用的存储位置Pa，从而抑止了存储器硬件规模的增大。

应注意，除用于存储局部最小值的缓冲器之外，局部运动矢量计算部154还包括上文所述的第一最小值存储部1541和第二最小值存储部1542。

上述这一系列处理是基本处理，并将该基本处理应用于第一最小值和第二最小值，以检测SAD值的最小值和SAD值的第二最小值。

在本实施例中，虽然局部运动矢量计算部154对缩小平面、中间平面和基平面执行相同的操作，但局部运动矢量计算部154在基平面上检测局部运动矢量LMV并计算局部运动矢量LMV的可靠性指数值。因此，对基平面来说仅需要SAD值的第二最小值，并且可以省略缩小平面和中间平面上的SAD值的第二最小值的计算和存储。

图19示出了通过局部运动矢量计算部154进行第一最小值和第二最小值的检测处理操作的流程。

参照图19，在步骤S101中，局部运动矢量计算部154首先从匹配处理部153中获取SAD值。然后，在步骤S102中，局部运动矢量计算部154将判定对象点位置Po处的SAD值与判定对象点位置Po周围位置处的8个SAD值互相进行比较。然后，在步骤S103中，局部运动矢量计算部154基于比较结果确定判定对象点位置Po处的SAD值是否为局部最小值。

如果在步骤S103中判定判定对象点位置Po周围的位置处的SAD值不是局部最小值，则处理返回步骤S101，以执行下一个SAD值的获取。

另一方面，如果在步骤S103中判定对象点位置Po处的SAD值为局部最小值，则在步骤S104中，局部运动矢量计算部154将存储在其中的SAD值的第一最小值和第二最小值与判定对象点位置Po处的SAD值进行比较。

然后，在步骤S105中，局部运动矢量计算部154确定判定对象点位置Po处的SAD值是否低于存储在其中的SAD值的第一最小值。然后，如果确定判定对象点位置Po处的SAD值较低，则在步骤S106中，局部运动矢量计算部154用存储在第一最小值存储部1541中的SAD值来更新第二最小值存储部1542，并将判定对象点位置Po处的SAD值存储在第一最小值存储部1541中。

然后，在步骤S109中，局部运动矢量计算部154判定是否通过目标块完成了对所有参考块的SAD值的计算处理。如果判定还没有完成计算处理，则处理返回步骤S101，来获取下一个SAD值。另一方面，如果在步骤S109中判定通过目标块完成了对所有参考块的SAD值的计算处理，则局部运动矢量计算部154结束处理程序。

另一方面，如果在步骤S105中确定判定对象点位置Po处的SAD值等于或高于存储在其中的SAD值的第一最小值，则在步骤S107中，局部运动矢量计算部154确定判定对象点位置Po处的SAD值是否低于存储在其中的SAD值的第二最小值。如果确定判定对象点位置Po处的SAD值较低，则在步骤S108中，局部运动矢量计算部154用判定对象点位置Po处的SAD值来更新存储在第二最小值存储部1542中的SAD值。

处理从步骤S108前进至步骤S109，局部运动矢量计算部154判定是否完成了对所有参考块的SAD值的计算处理。如果判定还没有完成计算处理，则处理返回步骤S101，来获取下一个SAD值。另一方面，如果在步骤S109中判定对目标块完成了针对所有参考块的SAD值的计算处理，则处理程序结束。

另一方面，如果在步骤S107中确定判定对象点位置Po处的SAD值不低于存储在其中的SAD值的第二最小值，则处理前进至步骤S109，其中，局部运动矢量计算部154判定是否对目标块完成了针对所有参考块的SAD值的计算处理。如果判定还没有完成计算处理，则处理返回步骤S101，来获取下一个SAD值。另一方面，如果在步骤S109中判定对目标块完成了针对所有参考块的SAD值的计算处理，则处理程序结束。

图19所示的处理流程图可以类似地应用于缩小平面、中间平面和基平面。在这种情况下，对于缩小平面和中间平面，检测最终存储在第一最小值存储部1541中的SAD值作为SAD值的最低值MinSAD，并分别检测对应的参考矢量作为缩小平面运动矢量MVs和中间平面运动矢量MVm。然后，输出最低值MinSAD以及缩小平面运动矢量MVs和中间平面运动矢量MVm。

另一方面，对于基平面，检测最终存储在第一最小值存储部1541中的SAD值作为SAD值的最低值MinSAD，并检测对应的参考矢量作为基平面运动矢量MVb。然后，输出SAD值的最低值MinSAD和基平面运动矢量MVb。此外，对于基平面，将最终存储在第一最小值存储部1541中的SAD值(即最低值MinSAD)和最终存储在第二最小值存储部1542中的SAD值(即SAD值的第二最小值)提供给运动矢量可靠性指数值计算部156。

[全局运动矢量计算部157的处理操作]

<扩展的仿射变换>

在本实施例中，用大量的局部运动矢量LMV来计算或者估计全局运动。然后，用计算出的全局运动，计算全局运动矢量GMV或者估计全局运动。在这种情况下，使用通过仿射变换来表现全局运动的方法。然而，在本实施例中，使用作为现有技术的常用仿射变换的修改形式的扩展的仿射变换。

在设法执行“倾斜失真”校正时，即将通过图20的实线所表示的这种“倾斜失真”梯形图像恢复至通过图20的虚线所表示的矩形图像时，在梯形图像的下面一半应该沿着垂直轴，即通过箭头所表示的y轴水平扩大的同时，梯形图像的上面一半应该水平收缩。

如上文中所述，在常用仿射变换中，在用于仿射变换的参数a、b、c、d、e和f中，有关水平扩大和收缩的参数为a。由于参数a为固定值，所以常用仿射变换不能用于“倾斜失真”校正。

因此，如果将参数重写成q0·y+r0，从而其值可以沿着如图20的下侧所表示的y轴而改变，然后，响应于垂直轴，仿射变化变成在水平方向上的扩大或收缩比率线性变化。换句话说，将参数a替换成为用于“倾斜失真”校正的y轴变量y的函数。这里，对于在图20中“倾斜失真”校正，参数可以为线性函数，即，函数q0·y+r0。

尽管在图20中仿射变换考虑对由于上述俯仰轴的旋转产生的“倾斜失真”进行校正，但有必要考虑对由于偏航轴的旋转产生的“倾斜失真”进行校正和对由于俯仰轴和偏航轴的合成旋转产生的“倾斜失真”进行校正。

因此，在本实施例中，参照图20，扩展上述概念。具体地，为了使仿射变换允许在与任意轴垂直的方向扩大或收缩，通过如由图21的表达式7所表示的pn·x+qn·y+rn(n＝0、1、2、3)代替参数a、b、d以及e。

这里，在仿射参数a、b、d以及e与图像的变换有关，而仿射参数c和f分别与图像在左右方向(向左或向右)以及上下方向(向上或向下)上的移动有关。因此，仿射参数c和f没有替换成为函数。

在像表达式7那样表示仿射参数a、b、d以及e时，涉及总计14个参数，并且看起来扩展的仿射变换复杂性较高。然而，如果将表达式7展开、整理后，则其具有使用总计12个参数的图22的表达式8的形式。

如果使用扩展的仿射变换的该表达式，则尽管表达式复杂，但可以通过最小二乘法唯一地导出多个局部运动矢量的解。由于该技术为与仿射变换相同的技术，所以分别在图23至图27中仅将最终结果作为表达式9至表达式13给出。

注意，在本实施例中，尽管将参加图像变换的所有的仿射参数a、b、d和e替换成为函数，但如果仅在特定方向上发生图像变换，则可以仅将有关方向的参数替代成为函数。例如，为了仅考虑在图20的上侧所示出的变换，仅将参数a替换成为如在图20的下侧所示的函数。

此外，尽管在上述实例中，因为假设线性变形，所以用于替换的函数为线性函数，但是如果假设曲线变形，则函数可以为二次方程式或者高阶函数。

[使用扩展的仿射变换的全局运动的计算]

作为从非特定的大量矢量中导出最优选的全局运动的技术，本实施例使用图28和图29的流程图所示的方法。根据该方法，从具有高可靠性的块中，逐渐排除诸如运动图像拾取对象的不太可能符合全局运动的那些块的运动矢量的同时，利用最小二乘法使全局运动的参数收敛。

根据图28和图29的处理，采用扩展的仿射变换使得有可能从低矢量精度的众多局部运动矢量中排除移动的图形拾取对象等的误差矢量，同时以可行的数学运算成本导出包括“倾斜失真”的最佳全局运动。

顺便提及，由于在本实施例中扩展的仿射变换包括多个仿射参数并且是灵活的，所以存在这样的可能性：全局运动的收敛数学运算也可以用于移动图像拾取对象或者噪声的错误运动矢量，导致不能排除这种错误运动矢量。

因此，在本实施例中，在收敛数学运算回路的初期阶段，使用常用仿射变换来执行错误运动矢量(下文中称为误差矢量)的排除，此后，如从图28和图29所示，执行使用扩展的仿射变换的收敛数学运算。在矢量误差减少至通过使用常用的仿射变换不能排除这种倾斜失真因素的矢量的程度之后，这是因为为了使用这样的技术，尝试使用扩展的仿射变换的也可用于倾斜失真因素的高精确收敛。

此外，在本实施例中，检测矢量误差的最大值作为由在收敛数学运算的每个循环中所确定的全局运动而确定的运动矢量(全局运动矢量)和检测出的运动矢量(上文所述的局部运动矢量LMV)之间的差值。

然后，如果检测出的矢量误差的最大值高于预先确定的阈值，则继续常用的仿射变换，但是如果检测出的矢量误差的最大值低于预定的阈值，则执行使用扩展的仿射变换的收敛数学运算。

现在，详细地描述图28和图29的方法。

首先，在步骤S201中，全局运动矢量计算部157对存储在其中的多个局部运动矢量LMV的运动矢量可靠性指数值Ft与预先确定的阈值进行比较。然后，通过比较的结果，全局运动矢量计算部157仅选择其运动矢量可靠性指数值Ft高于预定阈值的目标块。该处理对应于以下情况：如参考上文给出的表达式15所描述的那样，将两个值1和0用作加权系数W。

然后，在步骤S202中，全局运动矢量计算部157判定是否是第一次执行收敛数学运算的收敛回路。如果判定第一次执行收敛回路，则全局运动矢量计算部157在步骤S203中仅使用选择的局部运动矢量和使用常用仿射变换导出或者估计全局运动。换句话说，全局运动矢量计算部157导出全局运动的仿射参数a～f。

然后，在步骤S206中，全局运动矢量计算部157基于导出的全局运动来计算用于数学运算的所选块的理论局部运动矢量LMVs。

然后，在步骤S207中，对多个所选块的每一个，计算通过块匹配处理确定的局部运动矢量LMV与在步骤S206中确定的理论局部运动矢量LMVs之间的误差En。

对于通过块匹配处理确定的局部运动矢量LMV与理论局部运动矢量LMVs之间的误差的计算，如果重视数学运算的精度，则应该通过勾股定理来正确地执行距离计算。然而，如果相比精度更重视数学运算的快捷，则可以将水平和垂直两个方向上的两个运动矢量之间确定的距离总和用作近似距离。

随后，在步骤S208中，全局运动矢量计算部157使用对所选块确定的所有误差En来计算所有误差的平均值Eave和最大值Emax。然后，在步骤S209中，全局运动矢量计算部157判定平均值Eave是否低于为其预先确定的阈值θa以及最大值Emax是否低于为其预先确定的阈值θb。

如果判定在步骤S209中不满足条件，则处理前进至步骤S211，全局运动矢量数学运算块157从要被用于导出全局运动的那些块中排除在步骤S207中确定的块的误差En中，误差En满足En＝Emax的一个块。或者，在步骤S211中，全局运动矢量计算部157检测误差En满足En≥θb的那些块，并将所有上述检测出的块从要被用于导出全局运动的块中排除。

然后，在步骤S212中，全局运动矢量计算部157判定作为步骤S211中块排除的结果的剩余块数是否小于预先确定的阈值θc。如果在步骤S212中判定剩余块数不小于阈值θc，则处理返回步骤S202，以将剩余块设置为所选块来重复进行从步骤S202开始的各步骤的处理。

如果剩余块数小于阈值θc，则由于不能获得适当的全局运动，所以不能将对象参考帧的图像用于本实施例的图像的叠加。因此，如果在步骤S212中判定剩余块数小于阈值θc，则全局运动矢量计算部157如在步骤S213中跳过随后对参考帧的所有处理。全局运动矢量计算部157结束对其的图28和图29的处理。

另一方面，如果在步骤S202中判定不是第一次执行收敛数学运算的收敛回路，则全局运动矢量计算部157在步骤S204中判定在步骤S207中所确定的块的误差En的最大值Emax是否高于预先确定的阈值θd。

当将常用的仿射变换用于执行全局运动的数学运算并且以如上述的步骤S211中的这种方式执行误差矢量的排除时，阈值θd被设置为没有排除倾斜失真分量的矢量。

如果在步骤S204中判定误差En的最大值Emax高于预定的阈值θd，则全局运动矢量计算部157将处理前进至步骤S203。在步骤S203中，其使用常用仿射变换导出全局运动。换句话说，全局运动矢量计算部157计算扩展的仿射变换的参数。此后，全局运动矢量计算部157执行从上述步骤S203开始的各步骤的处理。

如果在步骤S204中判定误差En的最大值Emax低于预定的阈值θd，则全局运动矢量计算部157在步骤S205中仅使用所选块的局部运动矢量LMV和使用扩展的仿射变换导出全局运动。在步骤S205中的处理之后，执行从步骤S206开始的各步骤的处理。

然后，如果在图28的步骤S209中判定误差En的平均值Eave低于阈值θa且误差En的最大值Emax低于阈值θb，则在步骤S210中，全局运动矢量计算部157判定数学运算已收敛，并最终确定在此时间点的全局运动。此后，处理程序结束。

应注意，在步骤S211中，可基于确定全局运动矢量GMV时的收敛速度和精度之间的平衡，确定是应该仅排除误差En为最大误差Emax的块还是应该排除误差En高于阈值θb的那些块。如果精度优先，则可以采用前一种方法，以使误差块被逐一排除，但是如果收敛速度优先，则可以采用后一种方法。

应注意，在上述处理程序的步骤S204中，将误差En的最大值Emax用于使用常用仿射变换的数学运算和使用扩展的仿射变换的数学运算之间的转换的判断。然而，可以不仅考虑误差En的最大值Emax而且考虑误差在平均值Eave，来执行在步骤S204中的转换判定。

在这种情况下，在步骤S204中，判定误差En的平均值Eave是否高于预先确定的阈值，如果平均值Eave高于阈值，则使用常用的仿射变换执行数学运算，但是如果平均值Eave小于等于阈值，则使用扩展的仿射变换执行数学运算。

或者，在步骤S204中，对误差En的最大值Emax和平均值Eave这两者都判定其是否高于预先确定的各个阈值。然后，当这两者都高于各个阈值时，使用常用的仿射变换执行数学运算，但是当这两者都不高于各个阈值，使用扩展的仿射变换执行数学运算。

应注意，因为与相机抖动校正的范围可以由光学可变焦距比或者设定形状(set shape)识别相类似，倾斜失真分量的最大值可以由最大相机抖动量中获得，所以阈值的识别比较容易。

全局运动矢量计算部157基于以上述这种方式所计算的全局运动，对每个目标块计算全局运动矢量GMV。具体地，全局运动矢量计算部157对计算出的全局运动的扩展的仿射变换使用参数a～1，以对每个目标块确定运动矢量，每个目标块对应于理论局部运动矢量LMVs。对于在图22的表达式8中的x和y，使用每个目标块的中心位置的坐标。以这种方式所确定的运动矢量变成每个目标块的全局运动矢量GMV。

然后，将以上述这种方式所确定的目标块的全局运动矢量GMV提供给运动补偿图片生成部16。然后，运动补偿图片生成部16使用目标块的全局运动矢量GMV以生成目标块的运动补偿图片并且将经生成的运动补偿图片提供给加法部17。

图30示出了在本实施例中从包括大量噪声的图12的图像中所确定的目标块的全局运动矢量。

[第二实施例]

在上述实施例中，局部运动矢量计算部154执行分层块匹配来计算基平面上的局部运动矢量LMV。然后，运动矢量可靠性指数值计算部156计算相对于基平面的局部运动矢量LMV的可靠性指数值Ft。此外，全局运动矢量计算部157使用基平面的局部运动矢量LMV的可靠性指数值Ft来提取出具有高可靠性的那些局部运动矢量LMV，并且使用具有高可靠性的局部运动矢量LMV来计算全局运动矢量GMV。

顺便提及，通过将缩小平面运动矢量MVs和中间平面运动矢量MVm乘以基平面的图像缩小率的倒数，可以获得基平面运动矢量MVb。因此，为了计算全局运动矢量GMV，可能不确定基平面运动矢量MVb，而是通过缩小平面运动矢量MVs或中间平面运动矢量MVm来确定全局运动矢量GMV。

例如，为了通过缩小平面运动矢量MVs确定全局运动矢量GMV，局部运动矢量计算部154首先计算的缩小平面的局部运动矢量LMV，即，缩小平面运动矢量MVs。

然后，运动矢量可靠性指数值计算部156相对于计算的缩小平面的运动矢量MVs计算可靠性指数值Ft。此外，全局运动矢量计算部157使用缩小平面的局部运动矢量LMV的可靠性指数值Ft来提取出具有高可靠性的那些局部运动矢量LMV。然后，全局运动矢量计算部157使用具有高可靠性的局部运动矢量LMV来计算全局运动和全局运动矢量GMV。

使用以这种方式的缩小平面或中间平面的局部运动矢量来确定全局运动矢量GMV提供了以下优点。

第一个优点在于：由于如上所述将低通滤波器用于生成缩小平面或中间平面，所以消除了噪声，并且结果，所得的局部运动矢量几乎不被噪声所影响。

第二个优点在于：由于减小了缩小平面或中间平面中的目标块数，所以局部运动矢量的数量减少，并且数学运算成本降低，除此之外，由于处理所需的时间减少，所以能够以更高的速度来执行处理。

如上述实例由于硬件的限制，缩小平面、中间平面和基平面的匹配处理块单位通常具有相同的尺寸。因此，与仅对基平面执行块匹配的替代情况相比，具有小图片尺寸的缩小平面的目标块数(即局部矢量数)相对减少。

然后，在通过缩小平面运动矢量来确定全局运动和全局运动矢量GMV的情况下，可能省略对中间平面和基平面的运动矢量检测处理。而且，在这点上，预计能够提高处理速度。

因此，具体地，在将缩小平面运动矢量用于确定全局运动和全局运动矢量GMV的情况下，优点是很显著的。

然而，由于通过缩小基平面的图像来生成缩小平面或中间平面，所以应该考虑到这种缩小平面运动矢量或中间平面运动矢量的精度相对较低。

因此，在本实施例中，在使用缩小平面运动矢量或中间平面运动矢量的情况下，执行插值处理。具体地，使用在通过所计算出的缩小平面运动矢量或所计算出的中间平面运动矢量表示的缩小平面参考块位置或中间平面参考块位置附近的缩小平面参考块或中间平面参考块的SAD值以及SAD值的位置信息来执行插值处理。通过这种插值处理，执行像素精度的缩小平面运动矢量或中间平面运动矢量的检测。下面以在缩小平面的情况下的再生处理为例，描述了对缩小平面的插值处理。

例如，在水平和垂直方向上都对缩小至1/4的缩小平面执行块匹配的情况下，缩小平面运动矢量是4像素精度的运动矢量。然而，明显地，在基平面参考帧中，1像素精度的基平面运动矢量MVb存在于通过将缩小平面运动矢量MVs增至n倍所获得的运动矢量附近。

因此，在如图31所示确定缩小平面上的最低SAD值601的情况下，可以考虑使用最低SAD值601附近的多个SAD值(例如，分别使用在上、下、左、右方向上与最低SAD值601邻近的4个SAD值602、603、604和605)来执行插值处理，以检测4像素精度的运动矢量。在这种情况下，所需的内插倍率为4倍。

例如，可以考虑使用二次曲线来执行对SAD表的插值，以通过例如以n个像素为单位已经执行了匹配处理的缩小平面SAD表来计算像素精度的运动矢量。在这种情况下，尽管可以不使用二次曲线近似插值而是使用线性、三次或更高阶曲线近似插值，但在本实例中，根据精度和硬件结构之间的均衡来使用二次曲线近似插值。

在本二次曲线近似插值中，如图31所示，使用通过n像素精度的缩小平面运动矢量所表示的缩小平面SAD表中的SAD值的最低值Smin以及在最低值Smin位置附近的多个SAD值(下文称作邻近缩小平面SAD值)。在本实例中，使用在X方向或水平方向以及Y方向或垂直方向上邻近最低值Smin位置的4个邻近SAD值Sx1、Sx2和Sy1、Sy2。

如图32所示，将缩小平面SAD值的最低值Smin和在X方向或水平方向上的两个邻近点处的邻近缩小平面SAD值Sx1和Sx2用于应用二次近似曲线700。具体地，确定穿过最低值Smin和在X方向或水平方向上的两个邻近点处的邻近缩小平面SAD值Sx1和Sx2的二次近似曲线700。由此，近似曲线700取最小值的坐标变为，提供像素精度的SAD值的最低值SXmin的缩小平面运动矢量或高精度缩小平面运动矢量的X坐标Vx。给出此时用于二次曲线近似插值的表达式，如下面的表达式16：

SXmin＝1/2×(Sx2-Sx1)/(Sx2-2Smin+Sx1)

…(表达式16)

在根据计算表达式(表达式16)确定的像素精度的SAD值的最低值SXmin在SAD表上采用的X坐标变为像素精度的缩小平面SAD值呈现最低值的X坐标Vx。

可通过多次执行减法来实现计算表达式(表达式16)中的除法。例如，如果所要使用的像素精度为缩小平面的1/4像素间距的精度，则可以仅通过两次减法就能实现上述除法。因此，电路规模较小并且数学运算时间较短，并且能够实现比二次近似曲线插值复杂得多的三次曲线插值的非常接近的性能。

类似地，使用缩小平面SAD值的最低值Smin和在Y方向或垂直方向上与最低值Smin邻近的两个点的邻近缩小平面SAD值Sy1和Sy2以应用二次近似曲线。因此，二次近似曲线呈现最小值SYmin处的Y坐标变成像素精度的SAD值表现出最低值的Y坐标Vy。通过下面的表达式(表达式17)给出此时的二次曲线近似插值的表达式：

SYmin＝1/2×(Sy2-Sy1)/(Sy2-2Smin+Sy1)

…(表达式17)

通过以这种方式对X方向和Y方向执行两次二次曲线近似，确定高精度(即像素精度)的缩小平面运动矢量(Vx，Vy)。

在先前的描述中，虽然使用了缩小平面SAD值的最低值以及在X方向或水平方向和Y方向或垂直方向上与最低值邻近的两个点的缩小平面SAD值，但是在不同方向邻近的缩小平面SAD值的数量可以为两个以上。此外，代替在X方向和Y方向上的二次曲线的应用，例如，二次曲线可以被应用于倾斜方向。此外，除X和Y方向之外，近似曲线还可以被应用在倾斜方向上。

图33示出了通过使用上述这种装置和处理程序，能够通过n个像素单位精度的SAD表的值来获得像素精度的矢量检测结果。图33的横坐标轴表示插值倍率，并表示在一维方向上应该设定几倍的分辨率。由于SAD表为二维，所以表的面积以平方的比例降低。然而，由于由插值引起的误差仅以线性的程度增加，所以可以认可插值技术的有用性。

[其它实施例及变形例]

在上述实施例中，虽然将本发明应用于判定静止图片的图像拾取时所检测的运动矢量可靠性的情况，但自然也可能将本发明应用于另一种情况，即判定运动图片的图像拾取时所检测的运动矢量的可靠性。

此外，在上述实施例中，虽然将SAD值检测作为相关值，但相关值自然不限于SAD值。

此外，在上述实施例中，对在图像存储单元4中获取的多个拾取图像执行静止图片的运动检测处理和图像的叠加处理。然而，图像拾取对象的多个图像也可以与运动图片的图像拾取时一样进行实时处理。

应注意，运动矢量的检测对象的图像信息不限于拾取图像信息。

此外，在上述实施例中，基于运动矢量可靠性指数值执行运动矢量的可靠性的判定。然而，不仅相关值的第一最大值和相关值的第二最大值之间的差值或比率可被用于执行可靠性的判定，而且呈现相关值的第一最大值的参考矢量与呈现相关值的第二最大值的参考矢量之间的位置差也可被用于执行可靠性的判定。或者，相关值的第三最大值或更高阶的最大值或呈现这种最大值的参考矢量的其他位置分布可以被进一步参考来进行可靠性的判定。

应注意，在上述实施例中，为了减少当执行全局运动的数学运算处理时的数学运算负载，将0和1的二进制值用于与局部运动矢量LMV的可靠性指数值相对应的加权系数W。然而，通过局部运动矢量LMV的可靠性指数值的规格化获得的、0～1范围内的加权系数W当然也可以被原样用于执行全局运动的数学运算处理。

虽然已经使用指定术语描述了本发明的优选实施例，但应该了解，在不脱离所附权利要求的精神或范围的情况下，可以进行各种修改和改变。

Claims (19)

1.一种图像处理装置，包括：

运动矢量检测装置，用于检测设置在图像中并且由多个像素形成的预定尺寸的多个块中的每一个的运动矢量；以及

全局运动计算装置，用于利用其中至少一个仿射参数由关于所述图像的位移轴的变量的函数表示的扩展的仿射变换，采用由所述运动矢量检测装置所检测的所述块的运动矢量来执行收敛数学运算，以计算表示施加于整个图像的变形的全局运动。

2.根据权利要求1所述的图像处理装置，其中，在通过所述全局运动计算装置的初期收敛数学运算中，采用由所述运算矢量检测装置所检测的所述块的运动矢量执行使用固定系数的仿射参数的常用仿射变换，并且在所述初期收敛数学运算之后，开始进行使用所述扩展的仿射变换的所述收敛数学运算。

3.根据权利要求2所述的图像处理装置，其中，所述全局运动计算装置包括：

用于使用在利用所述常用仿射变换通过所述收敛数学运算来确定所述全局运动时所用的仿射参数来对所述块中的每一个计算理想运动矢量，然后，计算所述理想运动矢量和由所述运动矢量检测装置所检测的所述块的所述运动矢量之间的差值的最高值和/或平均值的装置；以及

用于当所述差值的最高值和/或平均值变得小于预先设定的阈值时，将所要使用的收敛数学运算从使用所述常用仿射变换的收敛数学运算变为使用所述扩展的仿射变换的收敛数学运算的装置。

4.根据权利要求2所述的图像处理装置，其中，所述全局运动检测装置包括：

相关值计算装置，用于确定与设置在目标画面中的块相对应的目标块和与设置在与所述目标画面不同的参考画面上的块相对应的参考块中的多个块之间的相关值，其中，所述多个参考块设置在所述目标块中的一个块的搜索范围内；

用于确定由所述相关值计算装置计算的所述相关值的最高值和除所述最高值之外的所述相关值的最大值的装置；

运动矢量检测装置，用于检测所述目标块的运动矢量作为计算了所述相关值的所述最高值的所述参考块相对于所述目标块的位移；以及

用于计算所述相关值的所述最高值和所述最大值之间的差值作为由所述运动矢量检测装置所检测的所述运动矢量的可靠性指数的装置；

所述全局运动计算装置使用通过所述运动矢量的所述可靠性指数进行加权的运动矢量，开始所述全局运动的计算数学运算。

5.根据权利要求2所述的图像处理装置，其中，所述运动矢量检测装置包括：

相关值计算装置，用于确定与设置在目标画面中的块相对应的目标块和与设置在与所述目标画面不同的参考画面上的块相对应的参考块中的多个块之间的相关值，其中，所述多个参考块设置在所述目标块中的一个块的搜索范围内；

用于确定由所述相关值计算装置计算的所述相关值的最高值和除所述最高值之外的所述相关值的最大值的装置；

运动矢量检测装置，用于检测所述目标块的运动矢量作为计算了所述相关值的所述最高值的所述参考块相对于所述目标块的位移；以及

用于计算所述相关值的所述最高值和所述最大值之间的差值作为由所述运动矢量检测装置所检测的所述运动矢量的可靠性指数的装置；

所述全局运动计算装置，包括用于使用所述运动矢量的所述可靠性来判定所述运动矢量的可靠性的装置。

所述全局运动计算装置仅使用可靠性被判定为高的所述运动矢量开始所述全局运动的初期收敛数学运算。

6.根据权利要求1所述的图像处理装置，其中，所述全局运动检测装置包括：

相关值计算装置，用于确定与设置在目标画面中的块相对应的目标块和与设置在与所述目标画面不同的参考画面上的块相对应的参考块中的多个块之间的相关值，其中，所述多个参考块设置在所述目标块的一个块中的搜索范围内；

用于确定由所述相关值计算装置计算的所述相关值的最高值和除所述最高值之外的所述相关值的最大值的装置；

运动矢量检测装置，用于检测所述目标块的运动矢量作为计算了所述相关值的所述最高值的所述参考块相对于所述目标块的位移；以及

用于计算所述相关值的所述最高值和所述最大值之间的差值作为由所述运动矢量检测装置所检测的所述运动矢量的可靠性指数的装置；

所述全局运动计算装置使用通过所述运动矢量的所述可靠性指数进行加权的运动矢量，开始所述全局运动的计算数学运算。

7.根据权利要求1所述的图像处理装置，其中，所述运动矢量检测装置包括：

相关值计算装置，用于确定与设置在目标画面中的块相对应的目标块和与设置在与所述目标画面不同的参考画面上的块相对应的参考块中的多个块之间的相关值，其中，所述多个参考块设置在所述目标块中的一个块的搜索范围内；

用于确定由所述相关值计算装置计算的所述相关值的最高值和除所述最高值之外的所述相关值的最大值的装置；

运动矢量检测装置，用于检测所述目标块的运动矢量作为计算了所述相关值的所述最高值的所述参考块相对于所述目标块的位移；以及

用于计算所述相关值的所述最高值和所述最大值之间的差值作为由所述运动矢量检测装置所检测的所述运动矢量的可靠性指数的装置；

所述全局运动计算装置，包括用于使用所述运动矢量的所述可靠性来判定所述运动矢量的可靠性的装置。

所述全局运动计算装置仅使用可靠性被判定为高的运动矢量开始所述全局运动的所述计算数学运算。

8.根据权利要求1所述的图像处理装置，其中，所述全局运动计算装置包括用于使用在通过所述收敛数学运算确定所述全局运动时所用的仿射参数来对所述块中的每一个计算理想运动矢量，并且计算所述理想运动矢量和由所述检测装置所检测的块的所述运动矢量之间的差值的装置；

使用最小二乘法并且使用重复数学运算来执行所述全局运动计算装置的所述收敛数学运算，其中，所述重复数学运算在去除表现出所述差值的最高值的块的所述运动矢量之后，执行下一个循环的数学运算。

9.根据权利要求8所述的图像处理装置，其中，所述全局运动计算装置包括：

用于除所述差值的所述最高值之外还计算所述差值的平均值的装置；以及

用于通过所述差值的所述最高值和所述平均值来判定所述重复数学运算的收敛的完成的装置。

10.根据权利要求9所述的图像处理装置，其中，当在通过所述重复数学运算去除之后剩余的那些运动矢量数变成低于预先确定的值时，所述全局运动计算装置结束全局运动的计算处理。

11.根据权利要求1所述的图像处理装置，其中，所述全局运动计算装置包括用于使用在通过所述收敛数学运算确定所述全局运动时所用的仿射参数来对所述块中的每一个计算理想运动矢量，并且计算所述理想运动矢量和由所述检测装置所检测的块的所述运动矢量之间的差值的装置；

使用最小二乘法并且使用重复数学运算来执行所述全局运动计算装置的所述收敛数学运算，其中，所述重复数学运算在去除表现出所述差值高于预先确定的阈值的那些块的所述运动矢量之后，执行下一个循环的数学运算。

12.根据权利要求11所述的图像处理装置，其中，所述全局运动计算装置包括：

用于除所述差值的所述最高值之外还计算所述差值的平均值的装置；以及

用于通过所述差值的所述最高值和所述平均值来判定所述重复数学运算的收敛的完成的装置。

13.根据权利要求12所述的图像处理装置，其中，当在通过所述重复数学运算去除之后剩余的那些运动矢量数变成低于预先确定的值时，所述全局运动计算装置结束全局运动的计算处理。

14.根据权利要求1所述的图像处理装置，其中，使用通过缩小图像所获得的缩小图像来执行通过所述运动矢量检测装置对所述块的运动矢量的检测。

15.根据权利要求14所述的图像处理装置，其中，所述运动矢量检测装置使用缩小图像中相关值的最高值和通过在相关值为所述最高值的块的附近的参考块所确定的相关值来执行插值处理，并且基于所述插值处理的结果检测每个所述块的所述运动矢量。

16.一种图像处理方法，包括：

运动矢量检测步骤，检测设置在图像中并且由多个像素所形成的预定尺寸的多个块中的每一个的运动矢量；以及

全局运动计算步骤，利用其中至少一个仿射参数由关于所述图像的位移轴的变量的函数表示的扩展的仿射变换，采用由所述运动矢量检测步骤中所检测的所述块的运动矢量来执行收敛数学运算，以计算表示施加于整个图像的变形的全局运动。

17.根据权利要求16所述的图像处理方法，其中，在所述全局运动计算步骤的初期收敛数学运算中，采用在所述运动矢量检测步骤中所检测的所述块的运动矢量执行使用固定系数的仿射参数的常用仿射变换，并且在所述初期收敛数学运算之后，开始进行使用所述扩展的仿射变换的所述收敛数学运算。

18.根据权利要求17所述的图像处理方法，其中，所述全局运动计算步骤包括以下步骤：

使用在利用所述常用仿射变换通过所述收敛数学运算来确定所述全局运动时所用的仿射参数来对所述块中的每一个计算理想运动矢量，然后，计算所述理想运动矢量和在运动矢量检测步骤中所检测的所述块的所述运动矢量之间的差值的最高值和/或平均值；以及

用于当所述差值的最高值和/或平均值变得小于预先设定的阈值时，将所要使用的收敛数学运算从使用所述常用仿射变换的收敛数学运算变为使用所述扩展的仿射变换的收敛数学运算。

19.一种图像处理装置，包括：

运动矢量检测部，被配置为检测设置在图像中并且由多个像素所形成的预定尺寸的多个块中的每一个的运动矢量；以及

全局运动计算部，被配置为利用其中至少一个仿射参数由关于所述图像的位移轴的变量的函数表示的扩展的仿射变换，采用由所述运动矢量检测部所检测的所述块的所述运动矢量来执行收敛数学运算，以计算表示施加于整个图像的变形的全局运动。

Images