CN101405768A - 图像配准方法 - Google Patents

Abstract

本发明提供一种图像配准方法，该方法是用于估计时间序列图像中的目标图像和参考图像之间的运动的区域选择型图像配准方法，可应用于具有任意形状的对象的配准，可针对照明变化和遮挡进行鲁棒和高精度图像配准。该方法是在拍摄对象所得的时间序列图像中的参考图像和目标图像之间进行高精度配准的图像配准方法，将参考图像上的规定区域设定为目标区域，在进行配准时，在所设定的目标区域内，根据表示通过平面投影变换能准确地进行配准的区域的掩模图像的像素，来估计运动参数。通过利用图像间的相似性评价来生成掩模图像。

Description

图像配准方法

技术领域

本发明涉及图像配准方法，特别是涉及估计时间序列图像中的目标图像和参考图像之间的运动的图像配准方法。

背景技术

图像配准是指在将两幅图像(即参考图像和目标图像)重叠时，估计图像一致的变换参数，即，是指估计目标图像和参考图像之间的运动。

图像配准、即目标图像和参考图像之间的运动估计是在超析像处理、图像去马赛克、三维重建、立体视觉、深度估计、图像测量和机器视觉等许多图像处理中最基本且重要的处理(参照非专利文献1、非专利文献2)。

为了进行图像配准，即，为了估计时间序列图像中的目标图像和参考图像之间的运动参数，大多通过平面投影变换进行近似。只要能将配准对象(以下简称为对象)的仅平面区域设定在目标区域(ROI：Regionof Interest)上，就能求出准确的运动参数。

然而，由于在目标区域内不一定仅存在平面(平面区域)，因而往往配准对象的实际运动与根据平面投影变换模型而估计的运动不同。而且，由于照明变化和遮挡等，往往使运动参数的估计失败。

针对这种问题，以往提出了以下等许多方法，例如：利用表示照明变化的基础图像的方法(参照非专利文献3、非专利文献4)，分割成多个区域的方法(参照非专利文献5、非专利文献6)，在二次曲面上对对象形状进行建模的方法(参照非专利文献7)，对脸那样的复杂形状进行建模的方法(参照非专利文献8)，利用运动分割的方法(参照非专利文献9、非专利文献10)对运动分布进行建模的方法(参照非专利文献11)，以及选择并利用适合于运动估计的区域的方法(参照非专利文献12、非专利文献13)。

其中，例如在选择并利用适合于运动估计的区域的方法(以下简称为区域选择型方法)中，在非专利文献12所公开的方法中，求出根据沿空间方向的浓度梯度的大小进行了加权的剩余运动(该剩余运动也称为法向流(normal flow))，将求出的剩余运动的大小较小的区域判断为可准确地进行配准。

然而，由于该法向流容易受到图像内包含的噪声的影响，因而存在这样的问题，即：为了提取准确进行了配准的区域，需要对来自多个图像的结果进行加权平均(参照非专利文献12)、利用概率模型(参照非专利文献14)等的后处理。

并且，在属于区域选择型方法的非专利文献13所公开的方法中，存在这样的问题，即：由于在按所估计的运动进行了变形的图像与参考图像之间，根据目标区域内的各像素的像素值的差异来减小权重，因而权重也根据对象的照明变化而减小，有可能导致配准失败。

这里，对利用平面投影变换的现有的图像配准方法进行说明。即，在进行图像配准时，使用平面投影变换模型来估计图像间的运动、即时间序列图像中的输入图像(目标图像)和参考图像之间的运动。

为了估计表示该平面投影变换模型的参数、即目标图像相对于参考图像的运动参数(变换参数)，定义由下述算式1表示的目标函数。

【算式1】

$E\left(h\right)=\underset{x\∈\mathrm{ROI}}{\mathrm{\Σ}}{|I\left(W(x;h)\right)-I_0\left(x\right)|}^2$

式中，I(x)表示时间序列图像中的输入图像，I₀(x)表示参考图像，ROI表示目标区域。并且，表示用同次坐标表示的图像上的位置。

是表示平面投影变换的8个参数。

$W(x;h)=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

表示目标图像相对于参考图像的运动，即表示平面投影变换。

作为目标区域(ROI)，可使用任一区域，然而往往使用参考图像上的矩形区域。当使上述算式1的目标函数最小化时，全部利用该目标区域ROI内部的像素值。

为了估计使上述算式1最小化的变换参数h，可利用例如梯度法(参照非专利文献15、非专利文献16、非专利文献17和非专利文献18)、不使用重复计算的超平面交叉法(参照非专利文献19)、非专利文献19所公开的超平面交叉法的高速化方法(参照非专利文献20)等方法。

当使用上述那样的属于直接利用目标区域内的像素值的基于区域的方法的现有的图像配准方法，进行拍摄了被认为是刚体的对象而得到的图像间的配准时，有可能由于如下的主要原因而失败。

即，使用属于基于区域的方法的、利用平面投影变换的现有的图像配准方法所进行的配准的失败主要原因包括如下。

失败主要原因之一：对象的形状

当使用在三维空间内任意改变位置和方向的相机拍摄了平面时，可使用平面投影变换模型来表示图像间的变形。这里，假定相机的镜头失真小到可忽略不计，并且另行进行校正。当对象的形状不是平面时，当然，利用平面投影变换模型不能完全表现对象的外形变化，算式1的目标函数的最小值增大。因此，落入与正解运动参数不同的极小位置，有可能导致配准失败。

失败主要原因之二：对象的表面反射特性

当相机的位置和方向相对于平面发生变化时，通过相机观察平面的角度或者相机与平面之间的距离也变化。在平面的表面反射特性是均等扩散的情况下，平面的亮度不会由于观察平面的角度或距离而变化。然而，实际上，由于具有平面形状的对象是完全均等扩散面的情况很少，因而对象(平面)的亮度由于相机相对于对象(平面)的位置或方向而变化。因此，当对象(平面)的亮度变化时，即当图像间的亮度变化时，算式1的目标函数值也变化，目标函数的最小值增大，有可能导致配准失败。

失败主要原因之三：到对象的距离变化

当在时间序列图像上对所拍摄的对象依次进行配准时，在到对象的距离变化时，由于以下原因，有可能导致配准失败。

第一，在摄影相机的镜头可使用针孔镜头进行近似的情况下，即，在即使到对象的距离变化也总是能拍摄对焦的时间序列图像的情况下，当与对象之间的距离逐渐变大时，产生这种问题。在参考图像上将对象拍摄得较大，而随着时间经过在所拍摄的时间序列图像(即，用作输入图像的图像)上对象逐渐变小。为了针对设定在参考图像上的目标区域将输入图像变形来进行配准，需要放大输入图像。伴随图像的放大，图像必定模糊。结果，针对参考图像进行输入图像的配准变成在模糊不同的图像间进行配准，最终导致配准失败。

第二，在摄影相机的镜头可使用薄壁镜头进行近似的情况下，即，在只有当对象存在于规定的距离范围内时才能拍摄对焦的时间序列图像的情况下，当相对于对象的对焦变化时，产生与由于第一原因所产生的问题相同的问题。

失败主要原因之四：照明变化

上述算式1的目标函数表示图像间的像素值之差的平方和。因此，目标函数值当然根据图像间的形状变化而变化，而目标函数值当然也根据图像的亮度变化而变化。对象的亮度根据照明变化而变化，当对象的亮度变化根据图像上的位置而不同时，对配准造成大的障碍。

失败主要原因之五：遮挡

当在目标区域内有配准对象(对象物体，即对象)和其他物体的遮挡时，将对配准造成大的障碍。特别是以遮挡对象物体的方式出现的其他物体表面上的纹理密度或对比度高于对象表面的纹理时，使算式1的目标函数最小化的运动参数h强烈受到其他物体位置的影响，有可能得到与对象的位置和姿势不同的配准结果。并且，还存在这样的问题，即：由于对象的形状和光源位置而产生对象自身的影子，该影子有时变化，而该影子作为对象亮度的变化，给配准结果带来影响。

以往，作为针对上述那样的配准失败主要原因的对策，想出了很多办法。作为主要对策，有如下所示的对策。

对策之一：使用图像的边缘信息

具体地说，例如通过使用图像的拉普拉斯算子或LoG(Laplacian ofGaussian，高斯-拉普拉斯算子)，可减小对象的亮度变化的影响。并且，可在某种程度上吸收对象的模糊变化。然而，该对策存在不能应对平面以外的对象形状和遮挡的问题。

对策之二：使像素值归一化

通过在使目标区域内的像素值归一化之后，使算式1的目标函数最小化，从而可减小对象的亮度变化的影响。当运动被限定为平行移动时，只要利用归一化互相关即可。还提出了当运动是平面投影变换时可利用归一化互相关的方法(参照非专利文献19和非专利文献20)。然而，该对策也存在不能应对平面以外的对象形状和遮挡的问题。

对策之三：使用相邻帧间运动的累积

该对策利用了这一点，即：在时间上接近的相邻帧之间，对象的外形变化小。具体地说，首先，依次求出相邻帧之间的运动参数h_t，t-1。然后，求出针对参考图像的平面投影变换W(x；h_t，0)，将其作为相邻帧之间的平面投影变换的积W(…W(W(x；h_t，t-1)；h_t-1，t-2)；…；h_1，0)。然而，该对策存在配准误差逐渐累积而使位置偏移的问题。

对策之四：更新参考图像

利用这样的对策：使用算式1的最小值等指标，在输入图像相对于参考图像大幅变化之前更新参考图像。然而，尽管不象对策之三那样(即，使用相邻帧之间的运动的累积)，然而该对策也存在配准误差逐渐累积而使位置偏离的问题。

发明内容

鉴于上述情况，本发明的目的是提供一种图像配准方法，该方法是用于估计时间序列图像中的目标图像和参考图像之间的运动的区域选择型图像配准方法，能应用于具有任意形状的对象的配准，能针对照明变化和遮挡进行鲁棒和高精度图像配准。

本发明涉及一种在拍摄对象所得的时间序列图像中的参考图像和目标图像之间进行高精度的配准的图像配准方法，本发明的上述目的是这样来达到的，即：将所述参考图像上的规定区域设定为目标区域，在进行上述配准时，在所设定的所述目标区域内，根据掩模图像的像素来估计运动参数，该掩模图像表示能通过规定变换准确地进行配准的区域，或者通过利用图像间的相似性评价来生成所述掩模图像，或者使用平面投影变换、仿射变换、比例变换、旋转变换、平行移动或者采用它们的组合的变换来作为所述规定变换。

并且，本发明的上述目的是这样来更有效地达到的，即：在用ROI表示所述目标区域，并且通过用某变换参数h使图像I_a(x)变形而大致能在图像I_b(x)上配准的情况下，下面的算式成立，即：

I_b(x)≈I_a(W(x；h))，x∈ROI

此时，与以所述目标区域内的像素x为中心的小区域上的图像I_a(W(x；h))和所述图像I_b(x)之间的SSD定义如下：

$R(x,u)=\underset{x\∈\mathrm{Patch}}{\mathrm{\Σ}}{|I_a\left(W(x;h)\right)-I_b(x-u)|}^2$

式中，

是表示图像间的平行移动的向量，Patch表示所述小区域，当所述SSD全部满足以下三个条件时，将与所述目标区域内的像素x对应的所述掩模图像的像素值设定为1，在除此以外的情况下设定为0，

条件一：

所述SSD与平行移动相关的子像素位置偏差小于0.5[像素]；

条件二：

所述SSD的最小值足够小；

条件三：

当进行了以所述SSD的最小值为中心的抛物线拟合时的水平方向和垂直方向上的二次系数中的任一个大于阈值。

并且，本发明的上述目的是这样来更有效地达到的，即：所述配准由第一阶段配准和第二阶段配准构成，在第一阶段配准中，生成表示相邻帧之间没有变化的像素的跟踪用掩模图像，并估计相邻帧之间的运动参数，在第二阶段配准中，在用通过所述第一阶段配准估计出的运动参数进行了变形的目标图像和参考图像之间，生成表示与参考图像对应良好的目标图像中的像素的误差校正用掩模图像，使用所生成的误差校正用掩模图像来重新估计与参考图像对应的目标图像的运动参数。

附图说明

图1是用于说明本发明中的掩模图像生成方法的示意图。

图2是用于说明本发明中的第一阶段配准的示意图。

图3是用于说明本发明中的第二阶段配准的示意图。

图4是示出使用本发明的图像配准方法的实验一的配准结果的图。

图5是分别示出实验一中本发明的掩模图像Q_t(x)、M_t(x)的面积变化、本发明的第一阶段、第二阶段配准后的平均SSD、以及使用现有的配准方法配准后的平均SSD的图。

图6是示出在实验一中基于所估计的运动参数的距正解位置的距离的RMSE的图。

图7是示出使用本发明的图像配准方法的实验二的配准结果的图。

图8是分别示出实验二中本发明的掩模图像Q_t(x)、M_t(x)的面积变化、本发明的第一阶段、第二阶段配准后的平均SSD、以及使用现有的配准方法配准后的平均SSD的图。

图9是示出使用本发明的图像配准方法的实验三的配准结果的图。

图10是分别示出在实验三中本发明的掩模图像Q_t(x)、M_t(x)的面积变化、本发明的第一阶段、第二阶段配准后的平均SSD、以及使用现有的配准方法配准后的平均SSD的图。

具体实施方式

通常，图像配准方法(以下简称为运动估计方法)可大致分类为基于特征的方法和基于区域的方法。

本发明的图像配准方法属于基于区域的方法，是能应用于具有任意形状的对象而不限于平面形状的对象的配准、并能针对照明变化和遮挡进行鲁棒和高精度图像配准的图像配准方法。

即，本发明是区域选择型图像配准方法，在该区域选择型图像配准方法中使用了表示能根据平面投影变换模型高精度地进行近似的区域的掩模图像。由于本发明的图像配准方法分两个阶段进行图像配准，因而以下将本发明的图像配准方法简称为区域选择两阶段配准方法。

在本发明的第一阶段中，为了针对照明变化和遮挡等实现鲁棒配准，进行基于相邻帧之间的运动的配准。此时，同时利用掩模图像(以下该掩模图像称为跟踪用掩模图像)。并且，为使目标区域的形状为一定，使用所估计的运动参数，使目标帧(以下简称为目标图像)对应于参考帧(以下称为参考图像)进行变形，之后进行运动估计。

然后，在本发明的第二阶段中，为了补偿在第一阶段所估计的运动参数内包含的累积误差，即，为了实现高精度的配准，在根据在第一阶段中估计的运动参数进行了变形的目标帧和参考帧之间再次估计运动参数，同时生成与该运动参数对应的掩模图像(以下该掩模图像称为误差校正用掩模图像)。

在本发明的图像配准方法中，通过进行这种两阶段配准，能应用于具有任意形状的对象的配准，能针对照明变化和遮挡实现鲁棒和高精度的图像配准。

如背景技术中所述，导致使用现有的基于区域的方法的配准失败的原因是将目标区域内的像素值全部同等地利用。

在本发明中，不是按照现有的基于区域的方法那样将目标区域内的像素值全部同等地利用，而是将以下作为着眼点，即：在目标区域内，仅使用形状或亮度相对于参考图像不变化的像素(即，表示通过平面投影变换能准确地进行配准的区域的掩模图像的像素)来估计运动参数，从而在原理上不受这种形状或亮度变化的影响。

并且，在本发明中，通过重复交替地进行区域选择和运动参数估计，实现了高精度的图像配准。

实际上，当使用本发明的图像配准方法针对参考图像进行输入图像的配准时，按以下两个阶段进行。

第一阶段是通过重复计算来同时估计时刻t的掩模图像Q_t(x)、以及使用掩模图像Q_t(x)的相邻帧之间的变换参数h_t，t-1的阶段。

第二阶段是在通过平面投影变换W(W(x；h_t，t-1)；h_t-1，0)进行了变换的输入图像和参考图像之间求出时刻t的掩模图像M_t(x)，并使用求出的M_t(x)来重新估计输入图像相对于参考图像的变换参数h_t，0的阶段。

如上所述，在本发明的图像配准方法中，利用了Q_t(x)和M_t(x)这两种掩模图像。掩模图像Q_t(x)表示在相邻帧之间没有变化的像素，以下称为跟踪用掩模图像。并且，掩模图像M_t(x)表示与参考图像对应良好的输入图像中的像素，以下称为误差校正用掩模图像。另外，跟踪用掩模图像和误差校正用掩模图像都与目标区域一样，用参考图像上的坐标系来表示。

以下，参照附图更详细地说明本发明的图像配准方法。

<1>掩模图像生成方法

如图1(A)所示，假定通过根据某变换参数h对图像I_a(x)进行变形，能在图像I_b(x)上大致进行配准。

【算式2】

I_b(x)≈I_a(W(x；h))，x∈ROI

此时，与以目标区域(ROI)内的像素x为中心的小区域(Patch)对应的图像I_a(W(x；h))和I_b(x)之间的SSD(Sum of Squared Difference，平方差之和)按下述算式3来定义。

【算式3】

$R(x,u)=\underset{x\&Element;\mathrm{Patch}}{\mathrm{\&Sigma;}}{|I_a\left(W(x;h)\right)-I_b(x-u)|}^2$

式中，

是表示图像间的平行移动的向量。

当全部满足以下三个条件时，将与目标区域内的位置x，即与像素x对应的2值跟踪用掩模图像Q(x)设定为1，在除此以外的情况下设定为0。并且，在误差校正用掩模图像M(x)的情况下，也与跟踪用掩模图像Q(x)一样。

条件一：

与平行移动相关的子像素位置偏差应小于0.5[像素](参照图1(B)和图1(C))。图1(B)示出SSD抽样，图1(C)示出将二次曲线与SSD抽样进行了拟合(parabola fitting，抛物线拟合)时的状况。当用算式表示条件一时，为下述算式4。

【算式4】

条件二：

不要误对应。即，SSD的最小值

)应足够小(参照非专利文献21、非专利文献22)。当用算式表示条件二时，为下述算式5。

【算式5】

式中，S是小区域(Patch)的面积，σ_n ²是图像内包含的正态白色噪声的方差，κ₁(≈1)是调整参数。顺便说一下，在后述的使用本发明进行的实验中，使用了S是9[像素]×9[像素]的小区域(Patch)。并且，σ_n ²这一参数按摄影使用的相机和增益等的设定而不同，例如在使用PointGrey公司制DragonFly(单板彩色VGA相机)的情况下，设σ_n＝3.5，在使用SONY公司制VX2000的情况下，设σ_n＝4.5。

条件三：

要有纹理。即，当进行了以SSD最小值为中心的抛物线拟合时的水平方向和垂直方向上的二次系数(省略R()的描述。在将R(u)＝au²+bu+c与R(1)、R(0)、R(1)拟合时，算式a＝(R(-1)+R(1))/2-R(0)、b＝R(1)-R(-1)、c＝R(0)全部成立)中的任一个要大于阈值。当用算式表示条件三时，为下述算式6。

【算式6】

式中，κ₂(≈14.0)是通过实验决定的调整参数。

<2>第一阶段配准

第一阶段配准(以下简称为鲁棒配准)的目的是尽量在长时间内继续进行对象跟踪。

如图2所示，在第一阶段配准中，作为相邻帧之间的平面投影变换W(x；h_t，t-1)与在前一时刻t-1已求出的针对参考图像的平面投影变换W(x；h_t-1，0)之积，求出针对时刻t的输入图像的变换参数。

由于在相邻帧之间图像变化少，因而第一阶段配准不会严重失败。因此，即使对象的亮度或形状相对于参考图像逐渐变化，也能进行鲁棒配准。

总之，在第一阶段配准中，求出使下述算式7所表示的目标函数最小化的运动参数h_t，t-1和跟踪用掩模图像Q_t(x)。

【算式7】

$E_Q\left(h_{t,t-1}\right)=\underset{x\&Element;\mathrm{ROI}}{\mathrm{\&Sigma;}}{Q}_t\left(x\right){|I_t\left(W(W(x;h_{t,t-1});h_{t-\mathrm{1,0}})\right)-I_{t-1}\left(W(x;h_{t-\mathrm{1,0}})\right)|}^2$

式中，h_t-1，0是针对前一帧已求出的运动参数，即第t-1个帧(时刻t-1的输入图像)相对于参考帧(参考图像)的运动参数。h_t，t-1是相邻帧之间运动参数，即第t个帧(时刻t的输入图像)与第t-1个帧(时刻t-1的输入图像)之间的运动参数。I_t(x)和I_t-1(x)分别是时刻t和时刻t-1的输入图像。

由于跟踪用掩模图像Q_t(x)被定义在参考图像上，因而使用已求出的运动参数将输入图像变形成与参考图像一致，之后求出相邻帧之间的运动参数。

具体地说，按照从步骤1到步骤4的步骤，重复交替地求出相邻帧之间的运动参数和跟踪用掩模图像。

步骤1：

使表示重复次数的指数i初始化，即，设i＝0。将在时刻t-1已求出的跟踪用掩模图像Q_t-1(x)设定为时刻t的初始掩模图像Q_t ^<i>(x)。

步骤2：

使用跟踪用掩模图像Q_t ^<i>(x)来求出使算式7最小化的相邻帧之间的运动参数h_t，t-1 ^<i>。

步骤3：

首先，使用在步骤2求出的相邻帧之间的运动参数h_t，t-1 ^<i>来生成进行了平面投影变换后的图像I_t(W(W(x；h_t，t-1)；h_t-1，0))。然后，在所生成的图像I_t(W(W(x；h_t，t-1)；h_t-1，0))和图像I_t-1(W(x；h_t-1，0))之间使用在上述<1>中所述的掩模图像生成方法来生成跟踪用掩模图像Q_t ^<i+1>(x)。

步骤4：

判断相邻帧之间的运动参数的变化是否为恒定值以下。在相邻帧之间的运动参数的变化为恒定值以下的情况下，判断为相邻帧之间的运动参数已收敛，作为相邻帧之间的运动参数而输出h_t，t-1 ^<i>，结束第一阶段配准处理。另一方面，在相邻帧之间的运动参数的变化不为恒定值以下的情况下，即当 $\left|\right|h_{t,t-1}^{<i>}-h_{t,t-1}^{<i-1>}\left|\right|\&GreaterEqual;T_h$ (T_h表示在步骤4所说的恒定值)时，判断为相邻帧之间的运动参数还未收敛，设i←i+1，之后回到步骤2。

<3>第二阶段配准

第二阶段配准(以下称为累积误差校正配准)的目的是校正在第一阶段配准中产生的配准误差。

如图3所示，在第二阶段配准中，在第一阶段配准中求出的图像I_t(W(W(x；h_t，t-1)；h_t-1，0))、即通过平面投影变换W(W(x；h_t，t-1)；h_t-1，0)进行了变换的时刻t的输入图像和参考图像之间，求出时刻t的误差校正用掩模图像M_t(x)，通过使用求出的M_t(x)重新估计时刻t的输入图像相对于参考图像的运动参数h_t，0，来校正配准误差。

跟踪用掩模图像Q_t(x)表示能在相邻帧之间的配准中利用的像素。由于相邻帧之间的变化一般较小，因而跟踪用掩模图像Q_t(x)的面积不怎么减小。与此相对，当输入图像相对于参考图像逐渐变化时，误差校正用掩模图像M_t(x)的面积逐渐减小。

在第二阶段配准中，由于使用误差校正用掩模图像M_t(x)的区域，因而为了获得稳定结果，需要使误差校正用掩模图像M_t(x)的区域大到某种程度以上。因此，当误差校正用掩模图像M_t(x)的区域小时(即，在误差校正用掩模图像M_t(x)的面积不满规定阈值的情况下)，不进行第二阶段配准，而直接使用在第一阶段配准中求出的运动参数。

总之，在第二阶段配准中，求出使下述算式8所表示的目标函数最小化的运动参数h_t，0和误差校正用掩模图像M_t(x)。

【算式8】

$E_M\left(h_{t,0}\right)=\underset{x\&Element;\mathrm{ROI}}{\mathrm{\&Sigma;}}{M}_t\left(x\right){|I_t\left(W(x;h_{t,0})\right)-I_0\left(x\right)|}^2$

式中，作为平面投影变换W(x；h_t，0)的初始值W(x；h_t，0 ^<0>)，使用在第一阶段配准中求出的平面投影变换W(W(x；h_t，t-1)；h_t-1，0)。

具体地说，按照从步骤5到步骤9的步骤求出运动参数h_t，0(即，时刻t的输入图像相对于参考图像的变换参数)和误差校正用掩模图像。与第一阶段配准不同，在第二阶段配准中，不重复进行从步骤5到步骤9的步骤。

步骤5：

将在第一阶段配准中求出的平面投影变换W(W(x；h_t，t-1)；h_t-1，0)设定为平面投影变换W(x；h_t，0)的初始值W(x；h_t，0 ^<0>)。

步骤6：

在通过平面投影变换W(x；h_t，0 ^<0>)进行了变换的时刻t的输入图像、即图像I_t(W(x；h_t，0 ^<0>))和参考图像I₀(x)之间，使用在上述(1)中所述的掩模图像生成方法来生成误差校正用掩模图像M_t ^<1>(x)。

步骤7：

判断在步骤6中生成的误差校正用掩模图像M_t ^<1>(x)的面积是否不满规定阈值。在误差校正用掩模图像M_t ^<1>(x)的面积不满规定阈值的情况下，作为运动参数而输出h_t，0 ^<0>，结束第二阶段配准处理。此时针对时刻t的输入对象的配准处理全部结束。这里，需要根据时间序列图像的运动特性、目标区域中的掩模区域的重心位置、掩模区域的分布等来调整规定阈值。另外，在后述的使用本发明进行的配准实验中，将规定阈值设定为20[像素]×20[像素]。

步骤8：

在误差校正用掩模图像M_t ^<1>(x)的面积是规定阈值以上的情况下，使用在步骤6中生成的误差校正用掩模图像M_t ^<1>(x)来求出使算式8最小化的h_t，0 ^<1>，将其作为运动参数而输出，结束第二阶段配准处理。因此，针对时刻t的输入对象的配准处理全部结束。

步骤9：

最后，在图像I_t(W(x；h_t，0 ^<1>))和参考图像I₀(x)之间，使用在上述(1)中所述的掩模图像生成方法来生成误差校正用掩模图像M_t ^<2>(x)，以便用于确认。

<4>初始值估计

在后述的使用本发明进行的配准实验中，为了估计在第一阶段配准中求出的相邻帧之间的运动参数的初始值，利用了如下的分级检索法(参照非专利文献23)。不过，将级别限制成使缩小图像中的目标区域的面积不小于25[像素]×25[像素]。

<5>重复计算的高速化

在本发明的图像配准方法中，首先，在第一阶段配准中，也需要进行使用梯度法的运动参数估计，其中该梯度法利用了重复计算(将重复次数设定为i_g)，并且只进行与跟踪用掩模图像Q_t(x)同时进行估计用的重复计算(将该重复次数设为i_r)。然后，在第二阶段配准中，需要仅执行一次梯度法(将该重复次数也设为i_g)。

在初始的梯度法中，需要每次重复计算输入图像的赫斯(Hessian)矩阵。因此，在本发明中，需要针对各帧图像求出赫斯矩阵(i_g×i_r+i_g)次，与不进行区域选择的通常梯度法相比较，计算量大幅增加。

另外，提出了一种高速化方法，该方法取代每次重复计算输入图像的赫斯矩阵而仅计算一次参考图像的赫斯矩阵来利用(参照非专利文献15)。在本发明中，通过利用非专利文献15中公开的该高速化方法，在第一阶段配准中，针对各帧图像进行一次赫斯矩阵的计算即可，然后在第二阶段配准中，由于可在预处理中预先计算，因而可实现计算的大幅高速化。

<6>利用本发明进行的配准实验结果

以下，使用本发明的图像配准方法(以下简称为本发明)，利用实际图像来进行若干配准实验，确认了本发明的有效性。即，通过后述的配准实验确认了不仅是平面，还能应用于具有任意形状的对象，并且确认了相对于照明变化和遮挡的鲁棒性以及配准的高精度性的本发明独特的优良效果。

在后述的配准实验中，将PointGrey公司制DragonFly的单板彩色VGA相机(30FPS)固定后加以利用。在配准中，在去马赛克处理后，利用变换后的亮度分量。

实验一(与现有方法的比较实验)：

首先，进行对本发明和现有的图像配准方法(以下简称为现有方法)进行比较的配准实验。

在实验一中，使用由300帧构成的时间序列图像，目标区域(ROI)的尺寸是200[像素]×200[像素]。并且，跟踪对象是贴附在固定平面上的航拍的海报。为了形成照明变化和遮挡，使手在海报上移动。手的影子相当于照明变化，手的部分成为遮挡。

在实验一中，由于在使相机固定的状态下拍摄不移动的固定的平面形状的对象(航拍的海报)，因而，由于对象位置不变化，成为正解的运动参数当然成为单位矩阵。

通过实验一确认如下：在有照明变化或遮挡的情况下，即使在使用现有方法而产生配准失败的状况下，通过使用本发明，能高精度地进行配准而不会失败。

图4示出实验一的配准结果。如图4所示，示出针对在实验一中利用的时间序列图像中的一部分图像(即，第1帧、第72帧、第150帧、第240帧)的配准结果。

具体地说，图4(A)示出设定在参考图像(作为开头帧的第1帧)中的目标区域(ROI)的跟踪结果。而且，图4(B)示出针对目标区域(ROI)，根据所估计的运动参数对输入图像整体进行了平面投影变换的图像。只要准确地估计出运动参数，就会静止显示目标区域。另外，在图4(B)中，用浅蓝色表示跟踪用掩模图像。

图4(C)示出目标区域(ROI)中的跟踪用掩模图像Q_t(x)。图4(D)示出目标区域(ROI)中的误差校正用掩模图像M_t(x)。从图4(C)和图4(D)可知，当有因手的影子引起的照明变化或因手引起的遮挡时，尽管相对于参考图像的误差校正用掩模图像M_t(x)的面积会减小，但由于跟踪用掩模图像Q_t(x)不怎么受影响，因而可继续进行跟踪。另一方面，当消除了因手的影子引起的照明变化或因手引起的遮挡时，相对于参考图像的误差校正用掩模图像M_t(x)的面积会增加。

图5(A)示出在实验一中使用的跟踪用掩模图像Q_t(x)和误差校正用掩模图像M_t(x)的面积变化。从图5(A)可以看出，虚线所示的跟踪用掩模图像的Q_t(x)的面积在有因手引起的遮挡的期间减少，而通过所有帧确保了进行跟踪用的足够面积。

图5(B)示出在实验一中虚线所示的第一阶段配准后和实线所示的第二阶段配准后的平均SSD。这里所说的平均SSD是将在判断为基于梯度法的重复已收敛时的图像间的SSD(最小SSD)除以掩模图像的面积后的结果。

从图5(B)可知，在第一阶段配准中，平均SSD总是为低的值，表示可稳定且高精度地进行配准。另一方面，在第二阶段配准中，随着输入图像相对于参考图像而变化，平均SSD也增加。在图5(B)中，表示第二阶段配准后的平均SSD的实线中断的区间表示，由于图5(A)中的实线所示的误差校正用掩模图像M_t(x)的面积减小而不进行第二阶段配准的帧。

图5(C)示出在实验一中使用现有的配准方法的结果，即示出使用全部利用目标区域内的像素的分级检索法和梯度法的配准后的平均SSD。从图5(C)可以看出，在使用直接利用目标区域且不进行区域选择的现有的配准方法进行图像配准的时候，当在目标区域内有照明变化或遮挡时，该平均SSD单调增大，最后导致配准失败。图5(C)中的平均SSD的值是一个比在利用了图5(B)的本发明的掩模图像的情况下的平均SSD大出2位数的值。图5(C)的平均SSD非常大不仅表示配准可能不稳定，还表示配准不准确。

在实验一中，由于运动是事先已知的，即由于成为正解的运动参数是单位矩阵，因而根据基于所估计的运动参数的位置误差评价了运动估计精度(参照非专利文献15)。图6示出在实验一中使用了设定在目标区域内的200×200处的位置的、基于所估计的运动参数的距正解位置的距离的RMSE(Root Mean Square Error；均方根误差)。

具体地说，在图6中，将基于在(4)中所示的实线表示的本发明的区域选择两阶段配准方法的配准与如下配准进行了比较：与使用在(1)中所示的实线表示的现有的配准方法(即，全部利用目标区域的分级检索法和梯度法)的输入图像和参考图像的直接配准，使用在(2)中所示的虚线表示的现有的配准方法(即，全部利用目标区域的分级检索法和梯度法)的相邻帧之间的运动的累积的配准，以及仅使用在(3)中所示的虚线表示的本发明的第一阶段配准的配准。

从图6可知，基于(1)和(2)的现有的配准方法的配准在72帧附近跟踪失败，而基于(3)的本发明的第一阶段配准和基于(4)的本发明的区域选择两阶段配准方法成功跟踪到最终帧。并且，在(3)的本发明的第一阶段配准方法中，随着时间经过，位置误差逐渐增大，而在(4)的本发明的区域选择两阶段配准方法中，从第二阶段配准再次开始的186帧附近，再次开始高精度的跟踪。

实验二(非平面对象的鲁棒跟踪实验)：

在实验二中，跟踪对象是直径约14[cm]的地球仪，用手使其慢慢向左右旋转，使用拍摄了作为跟踪对象的地球仪的由300帧构成的时间序列图像，目标区域(ROI)的尺寸是100[像素]×100[像素]。

通过实验二确认如下：即使跟踪对象具有非平面的形状，也能使用本发明的区域选择两阶段配准方法进行鲁棒跟踪。

图7示出实验二的配准结果。如图7所示，示出针对在实验二中利用的时间序列图像中的一部分图像(即，第1帧、第104帧、第187帧、第283帧)的配准结果。

具体地说，图7(A)示出设定在参考图像(作为开头帧的第1帧)内的目标区域(ROI)的跟踪结果。然后，图7(B)示出针对目标区域(ROI)，根据所估计的运动参数对输入图像整体进行了平面投影变换后的图像。另外，在图7(B)中，用浅蓝色表示跟踪用掩模图像。图7(C)示出目标区域(ROI)中的跟踪用掩模图像Q_t(x)。图7(D)示出目标区域(ROI)中的误差校正用掩模图像M_t(x)。

图8(A)示出在实验二中使用的跟踪用掩模图像Q_t(x)和误差校正用掩模图像M_t(x)的面积变化。图8(B)示出在实验二中虚线所示的第一阶段配准后和实线所示的第二阶段配准后的平均SSD。并且，图8(C)示出在实验二中使用现有的配准方法的结果，即示出使用全部利用目标区域内的像素的分级检索法和梯度法的配准后的平均SSD。

从图8可知：因为本发明的跟踪用掩模图像Q_t(x)的面积被保持得较大(参照图8(A)的虚线)，还有与全部利用目标区域的现有的配准方法(参照图8(C))相比较，本发明在平均SSD为小值的状态下推移(参照图8(B)的虚线)，因而与跟踪对象是非平面无关，使用本发明可良好地进行跟踪。

并且，从图8可知：由于目标区域的照明变化，本发明的误差校正用掩模图像M_t(x)一时消失，存在不进行第二阶段配准的期间(参照图8(B)的实线)，然而当作为跟踪对象的地球仪的旋转角度复原时，误差校正用掩模图像M_t(x)恢复，通过第二阶段配准来校正累积误差。

实验三(脸的鲁棒跟踪实验)：

在实验三中，跟踪对象是在室内拍摄的人物的脸，由于在固定的室内照明下使脸的方向变化，因而有照明变化，并且，脸不仅仅是非平面，而且形状也有少许变化。在实验三中，使用拍摄作为跟踪对象的脸所得的由600帧构成的时间序列图像，目标区域(ROI)的尺寸是90[像素]×100[像素]。

通过实验三确认如下：即使是在现有的区域的配准方法中通常不被使用的跟踪对象，也能使用本发明的区域选择两阶段配准方法进行鲁棒跟踪。

图9示出实验三的配准结果。如图9所示，示出针对在实验三中利用的时间序列图像中的一部分图像(即，第1帧、第104帧、第460帧、第555帧)的配准结果。

具体地说，图9(A)示出设定在参考图像(作为开头帧的第1帧)内的目标区域(ROI)的跟踪结果。并且，图9(B)示出针对目标区域(ROI)，根据所估计的运动参数对输入图像整体进行了平面投影变换后的图像。另外，在图9(B)中，用浅蓝色表示跟踪用掩模图像。图9(C)示出目标区域(ROI)中的跟踪用掩模图像Q_t(x)。图9(D)示出目标区域(ROI)中的误差校正用掩模图像M_t(x)。

图10(A)示出在实验三中使用的跟踪用掩模图像Q_t(x)和误差校正用掩模图像M_t(x)的面积变化。图10(B)示出在实验三中虚线所示的第一阶段配准后和实线所示的第二阶段配准后的平均SSD。并且，图10(C)示出在实验三中使用现有的配准方法的结果，即示出使用全部利用目标区域内的像素的分级检索法和梯度法的配准后的平均SSD。

从图10可知：在实验三中使用的时间序列图像中，由于输入图像相对于参考图像的变化多，因而本发明的第二阶段配准只进行到初始期间，即进行到第25帧。

然而，从图10可知：因为本发明的跟踪用掩模图像Q_t(x)的面积被保持得较大(参照图10(A)的虚线)，还有与全部利用目标区域的现有的配准方法(参照图10(C))相比较，本发明在平均SSD为小值的状态下推移(参照图10(B)的虚线)，因而即使是人物的脸那样的非平面且形状也变化的跟踪对象，只要使用本发明，即使不利用第二阶段配准来进行累积误差的校正，也能继续进行良好跟踪(参照图9(B))。

另外，在上述本发明的实施方式中，在进行图像配准时，根据平面投影变换进行了图像变形，然而本发明中所说的平面投影变换不仅仅是平面投影变换，作为平面投影变换的特殊情况，还包含仿射变换、比例变换、旋转变换、平行变换以及采用它们的组合的变换。

产业上的可利用性

本发明的图像配准方法是区域选择型图像配准方法，该区域选择型图像配准方法中使用表示可根据平面投影变换模型高精度地进行近似的区域的掩模图像。

在本发明的图像配准方法中，其特征在于，当估计变换参数(运动参数)时，利用表示通过平面投影变换准确地进行了配准的区域的掩模图像。

实际上，重要的特征在于，在使用本发明的图像配准方法进行配准时，进行第一阶段配准和第二阶段配准，在第一阶段配准中，为了针对照明变化和遮挡等实现鲁棒的配准，而生成跟踪用掩模图像，并且进行基于相邻帧之间的运动的配准，在第二阶段配准中，为了补偿在第一阶段配准中估计的运动参数内包含的累积误差，即为了实现高精度的配准，而在根据在第一阶段配准中估计的运动参数进行了变形的目标帧(目标图像)和参考帧(参考图像)之间再次估计运动参数，同时生成与该运动参数对应的误差校正用掩模图像。

根据具有上述特征的本发明的图像配准方法，由于目标图像和参考图像之间的配准是通过进行这种两阶段配准来进行的，因而可取得这样的本发明独特的优良效果，即：不仅对于平面对象，而且对于具有任意形状的对象，都能针对照明变化和遮挡实现鲁棒和高精度的图像配准。

<参考文献一览>

非专利文献1：

エル.ジ一.ブラウン(L.G.Brown)著，「ア一サ一ベイオフレジストレ一シヨン テクニツク(A Survey of Image RegistrationTechniques)」，ACM コンピユ一テイング サ一ベイズ(ACMComputing Surveys)，1992年12月，第24巻，第4号，p.325-376(图像配准技术综述，ACM计算综述，1992年12月，第24卷，第4号，p.325-376)

非专利文献2：

ビ一. ジトバ(B.Zitova)、ジエイ.フラツシヤ一(J.Flusser)共著，「イメ一ジ レジストレ一シヨン メソツド：ア一 サ一ベイ(Image Registration Methods：A Survey)」，イメ一ジ アンド ビジヨン コンピユ一テイング(Image and Vision Computing)，2003年10月，第21巻，第11号，p.977-1000

(图像配准方法：综述，图像和视频计算，2003年10月，第21卷，第11号，p.977-1000)

非专利文献3：

エム.ブラツク(M.Black)、エイ.ジエプソン(A.Jepson)共著，「アイゲン一トラツキング：ロバスト マツチング アンド トラツキング オフ ア一テイキユレイテツド オブジエクト ユ一ジングビユ一一ベ一スド リプリゼンテ一シヨン(Eigen-Tracking：RobustMatching and Tracking of Articulated Objects using a View-BasedRepresentation)」，インタ一ナシヨナル ジヤ一ナル オフ コンピユ一タ ビジヨン(International Journal of Computer Vision)，1998年，第26巻，第1号，p.63-84

(特征跟踪：使用基于阅览的表示的关节物体的鲁棒匹配和跟踪，《国际计算机视觉杂志》，1998年，第26卷，第1号，p.63-84)

非专利文献4：

ジ一.デ一.ハ一ガ一(G.D.Hager)、ピ一.エヌ.ベルヒユム一ル(P.N.Belhumeur)共著，「エフイシヤント リ一ジヨン トラツキング ウイズ パラメトリツク モデルズ オフ ジオメトリ一 アンド イルミネ一シヨン(Efficient Region Tracking withParametric Modelso f Geometry and Illumination)」，IEEE トランス.オン パタ一ン アナリシス アンド マシ一ン インテリジエンス(IEEE Trans. on Pattern Analysis and MachineIntelligence)，1998年10月，第20巻，第10号，p.1025-1039(使用几何和照明的参数模型的有效区域跟踪，《IEEE图形分析和机器智能学报》，1998年10月，第20卷，第10号，p.1025-1039)非专利文献5：

テイ一.イシカワ(T.Ishikawa)、アイ.マシユ一ズ(I.Matthews)、エス.ベイカ一(S.Baker)共著，「エフイシヤント イメ一ジアライメント ウイズ アウトライア一 リジエクシヨン(EfficientImage Alignment with Outlier Rejection)」，テク レポ一ト CMU-RI-TR-02-27(Tech.Report CMU-RI-TR-02-27)，ロボテイクスインステイチユ一ト(Robotics Institute)，カ一ネギ一 メロンユニバ一シテイ一(Carnegie Mellon University)，2002年10月(使用离群值剔除的有效图像配准，技术报告CMU-RI-TR-02-27，机器人技术学会，卡内基美隆大学，2002年10月)

非专利文献6：

エフ.ジユリユ一(F.Jurie)、エム.ド一ム(M.Dhome)共著，「リアル タイム ロバスト テンプレ一ト マツチング(Real TimeRobust Template Matching)」、インプロツク オフ ブリテイツシユ マシ一ン ビジヨン カンフアレンス(In Proc.of BritishMachine Vision Conference)，2002年9月，p.123-132(实时鲁棒模板匹配，《英国机器视觉会议会志》，2002年9月，p.123-132)

非专利文献7：

エイ.シヤシユア(A.Shashua)、ワイ.ウエクスラ一(Y.Wexler)共著，「Q一ワ一ピング：ダイレクト コンピユ一テ一シヨン オフ クオ一ドラテイツク リフアレンス サ一フイス(Q-Warping：Direct Computation of Quadratic Reference Surfaces)」，IEEEトランス.オン パタ一ン アナリシス アンド マシ一ン インテリジエンス(IEEE Trans.on Pattern Analysis and MachineIntelligence)，2001年8月，第23巻，第8号，p.920-925(Q翘曲：二次参考表面的直接计算，《IEEE图形分析和机器智能学报》，2001年8月，第23卷，第8号，p.920-925)

非专利文献8：

テイ一.エフ.ク一ツ(T.F.Cootes)、ジエイ.エドワ一ズ(J.Edwards)、シ一.ジエイ.テ一ラ(C.J.Taylor)共著，「アクテイブ アピアランス モデルズ(Active Appearance Models)」、IEEE トランス.オン パタ一ン アナリシス アンド マシ一ンインテリジエンス(IEEE Trans.on Pattern Analysis and MachineIntelligence)，2001年6月，第23巻，第6号，p.681-685

(活动外观模型，《IEEE图形分析和机器智能学报》，2001年6月，第23卷，第6号，p.681-685)

非专利文献9：

ピ一.プ一スマイ(P.Bouthemy)、イ一.フランコイス(E.Francois)共著，「モ一シヨン セグメンテ一シヨン アンド クオリテイテイブ ダイナミツク シ一ン アナリシス フロム イメ一ジシ一ケンス(Motion Segmentation and Qualitative Dynamic SceneAnalysis from an Image Sequence)」，インタ一ナシヨナル ジヤ一ナル オフ コンピユ一タ ビジヨン(International Journal ofComputer Vision，)，1993年，第10巻，第2号，p.157-182

(按图像顺序的运动分割和定性动态景物分析，《国际计算机视觉杂志》，1993年，第10卷，第2号，p.157-182)

非专利文献10：

アイ.パトラス(I.Patras)、イ一.エイ.ヘンドリクス(E.A.Hendriks)、ア一ル.エル.ラジエンダイク(R.L.Lagendijk)共著，「アンインタ一レイテイブモ一シヨンエステイメイシヨン一セグメンテ一シヨン メソツド ユ一ジング ウオ一タ一シエツド セグメンツ(An Iterative Motion Estimation-Segmentation Method usingWatershed Segments)」，イン プロツクインタ一ナシヨナル カンフアレンス オン イメ一ジ プロセツシング(In Proc.of IEEEInternational Conference on Image Processing)，1998年10月，第2巻，p.642-646

(使用分水岭分割的迭代运动估计分割方法，《国际图像处理会议会志》，1998年10月，第2卷，p.642-646)

非专利文献11：

エム.エム.チヤン(M.M.Chang)、エイ.エム.テカルプ(A.M.Tekalp)、エム.アイ.セザン(M.I.Sezan)共著，「サイマルテイニアス モ一シヨン エステイメ一シヨン アンド セグメンテ一シヨン(Simultaneous Motion Estimation and Segmentation)」，IEEE トランス.オン イメ一ジ プロセツシング(IEEE Trans.onImage Processing)，1997年9，第6巻，第9号，p.1326-1333(同时运动估计和分割，《IEEE图像处理学报》，1997年9月，第6卷，第9号，p.1326-1333)

非专利文献12：

エム.イラニ(M.Irani)、ビ一.ル一ソス(B.Rousso)、エス.ペレグ(S.Peleg)共著，「コンピユ一テイング オキユリユ一デインゲアンド トランスペアレント モ一シヨン(Computing Occludingand Transparent Motions)」，インタ一ナシヨナル ジヤ一ナル オフコンピユ一タ ビジヨン(International Journal of Computer Vision)，1994年2月，第12巻，第1号(计算遮挡和透明运动，《国际计算机视觉杂志》，1994年2月，第12卷，第1号)

非专利文献13：

深尾隆則·金出武雄共著，「オクル一ジヨンに对してロバストな2段階特徵点追従アルゴリズム」，情報処理学会，2003年11月，CVIM-141，p.111-118

(针对遮挡的鲁棒的两阶段特征点跟踪算法，《信息处理学会》，2003年11月，CVIM-141，p.111-118)

非专利文献14：

ア一ル.フアブレツト(R.Fablet)、ピ一.ブ一スマイ(P.Bouthemy)共著，「モ一シヨン レコグニシヨン ユ一ジング ノンパラメトリツク イメ一ジ モ一シヨン モデルズ エステイメ一テイドフロム テンポラル アンド マルチスケ一ル コ一オカレンス スタステイクス(Motion Recognition Using Nonparametric Image MotionModels Estimated from Temporal and Multiscale Co-OccurrenceStatistics)」，IEEE トランス.オン パタ一ン アナリシスアンド マシ一ン インテリジエンス(IEEE Trans.on PatternAnalysis and Machine Intelligence)，2003年12月，第25巻，第12号(使用从时间和多尺度共现统计所估计的非参数图像运动模型的运动识别，《IEEE图形分析和机器智能学报》，2003年12月，第25卷，第12号)

非专利文献15：

エス.バ一カ一(S.Baker)、アイ.マシユ一ズ(I.Matthews)共著，「ル一カス一カナデ 20 イア一ズ オン：ア一 ユニフアイングフ レ一ムワ一ク(Lucas-Kanade 20 Years On：A UnifyingFramework)」，インタ一ナシヨナル ジヤ一ナル オフ コンピユ一タビジヨン(International Journal of Computer Vision)，2004年3月，第56巻，第3号，p.221-255

(卢卡斯·卡纳德法走过20年：一致化框架，《国际计算机视觉杂志》，2004年3月，第56卷，第3号，p.221-255)

非专利文献16：

エム.レイシエ一ル(M.Gleicher)著，「プロジエクテイブ レジストレ一シヨン ウイズ デイフアレンス デコンポジシヨン(Projective Registration with Difference Decomposition)」、プロツクオフIEEEインタ一ナシヨナルカンフアレンスオンコンピユ一タビジヨンアンドパタ一ンレコグニシヨン(Proc.of IEEE International Conference on Computer Vision and PatternRecognition)，サンフアン，アメリカ自治領プエルト リコ(SanJuan，Puerto Rico)，1997年6月，p.331-337

(具有差分分裂的投影配准，《IEEE国际计算机视觉和图形识别会议会志》，美国自治领地波多黎各，圣胡安，1997年6月，p.331-337)

非专利文献17：

ビ一.ル一カス(B.Lucas)、テイ一.カナデ(T.Kanade)共著，「アン イタレ一テイブ イメ一ジ レジストレ一シヨン テクニツクウイズ アン アプリケ一シヨン トウ一 ステレオ ビジヨン(AnIterative Image Registration Technique with an Application toStereo Vision)」，プロツク オフ インタ一ナシヨナル ジヨイントカンフアレンス オン ア一テイフイシヤル インテリジエンス(Proc.of International Joint Conference on ArtificialIntelligence)，バンク一バ カナダ(Vancouver，Canada)，1981年4月，p.674-679

(应用于立体视觉的迭代图像配准技术，《国际人工智能联合会议会志》，加拿大，温哥华，1981年4月，p.674-679)

非专利文献18：

エイチ.ワイ.シユ一ム(H.Y.Shum)、ア一ル.セ一リスキ一(R.Szeliski)共著，「コンストラクシヨン オフ パノラミツク モザイク ウイズ グロ一バル アンド ロ一カル アライメント(Construction of Panoramic Mosaics with Global and LocalAlignment)」，インタ一ナシヨナル ジヤ一ナル オフ コンピユ一タビジヨン(International Journal of Computer Vision)，2002年7月，第48巻，第2号，p.151-152

(具有全局和局部配准的全景马赛克的结构，《国际计算机视觉杂志》，2002年7月，第48卷，第2号，p.151-152)

非专利文献19：

エム.シミズ(M.Shimizu)、エム.オクトミ(M.Okutomi)共著，「マルチ一パラメ一タ シミユレ一シヨン エステイメ一シヨン オンエリア一ベ一スド マツチング(Multi-Parameter SimultaneousEstimation on Area-Based Matching)」，インタ一ナシヨナル ジヤ一ナル オフ コンピユ一タ ビジヨン(Internationalof ComputerVision)、2006年

(针对基于区域的匹配的多参数同时估计，《国际计算机视觉杂志》，2006年)

非专利文献20：

張馴槿·清水雅夫·奥富正敏共著，「画像のレジストレ一シヨンにおける超平面交差法の高速化手法」，電子情報通信学会論文誌，2006年2月，第J89-D巻，第2号，p.332-343

(图像配准中的超平面交叉法的高速化方法，《电子信息通信学会论文志》，2006年2月，第J89-D卷，第2号，p.332-343)

非专利文献21：

テイ一.カナデ(T.Kanade)、エム.オクトミ(M.Okutomi)共著，「ア一 ステレオ マツチング アルゴリズム ウイズ アン アダプテイブ ウインドウ：シオリ一アンド エクスベリメント(A StereoMatching Algorithm with an Adaptive Window：Theory andExperiment)」，IEEE トランス.オン パタ一ン アナリシスアンド マシ一ン インテリジエンス(IEEE Trans.on PatternAnalysis and Machine Intelligence)，1994年9月，第16巻，第9号，p.920-932

(具有自适应窗的立体匹配算法：理论和实验，《IEEE图形分析和机器智能学报》，1994年9月，第16卷，第9号，p.920-932)

非专利文献22：

エム.オクトミ(M.Okutomi)、テイ一.カナデ(T.Kanade)共著，「ア一 マルチプル ベ一スライン ステレオ(A Multiple BaselineStereo)」，IEEE トランス.オン パタ一ン アナリシス アンド マシ一ン インテリジエンス(IEEE Trans.on Pattern Analysisand Machine Intelligence)，1993年4月，第15巻，第4号，p.353-363(多基线立体，《IEEE图形分析和机器智能学报》，1993年4月，第15卷，第4号，p.353-363)

非专利文献23：

ジエイ.ア一ル.ベルゲン(J.R.Bergen)、ピ一.アナンダン(P.Anandan)、ケイ.ジエイ.ハンナ(K.J.Hanna)、ア一ル.ヒンゴラニ一(R.Hingorani)共著，「ハイエラ一チカル モデル一ベ一スド モ一シヨン エステイメ一シヨン(Hierarchical Model-BasedMotion Estimation)」，イン プロツク オフ ヨ一ロピアン カンフアレンス オン コンピユ一タ ビジヨン(In Proc.of EuropeanConference on Computer Vision)，イタリア共和国，サンタ マルゲリ一タ リギユエ一ル(Santa Margherita Liguere)，1992年，p.237-252(基于分层模型的运动估计，《欧洲计算机视觉会议会志》，意大利共和国，圣·马格丽塔·利古雷，1992年，p.237-252)

Claims (5)

1.一种图像配准方法，其在拍摄对象所得的时间序列图像中的参考图像和目标图像之间进行高精度的配准，该图像配准方法的特征在于，

将所述参考图像上的规定区域设定为目标区域，

在进行所述配准时，在所设定的所述目标区域内，根据掩模图像的像素来估计运动参数，该掩模图像表示能通过规定变换准确地进行配准的区域。

2.根据权利要求1所述的图像配准方法，其特征在于，通过利用图像间的相似性评价来生成所述掩模图像。

3.根据权利要求2所述的图像配准方法，其特征在于，所述规定变换是平面投影变换、仿射变换、比例变换、旋转变换、平行移动或者采用它们的组合的变换。

4.根据权利要求3所述的图像配准方法，其特征在于，

在用ROI表示所述目标区域，并且通过用某变换参数h使图像I_a(x)变形而大致能在图像I_b(x)上配准的情况下，下面的算式成立：

I_b(x)≈I_a(W(x；h))，x∈ROI

此时，以所述目标区域内的像素x为中心的小区域上的图像I_a(W(x；h))和所述图像I_b(x)之间的SSD定义如下：

$R(x,u)=\underset{x\&Element;\mathrm{Patch}}{\mathrm{\&Sigma;}}{|I_a\left(W(x;h)\right)-I_b(x-u)|}^2$

式中，u＝[u₁，u₂，1]^T是表示图像间的平行移动的向量，Patch表示所述小区域，

当所述SSD全部满足以下三个条件时，将与所述目标区域内的像素x对应的所述掩模图像的像素值设定为1，在除此以外的情况下设定为0，

条件一：

所述SSD与平行移动相关的子像素位置偏差小于0.5[像素]；

条件二：

所述SSD的最小值足够小；

条件三：

当进行了以所述SSD的最小值为中心的抛物线拟合时的水平方向和垂直方向上的二次系数中的任一个大于阈值。

5.根据权利要求4所述的图像配准方法，其特征在于，所述配准由第一阶段配准和第二阶段配准构成，

在所述第一阶段配准中，生成表示相邻帧之间没有变化的像素的跟踪用掩模图像，并估计相邻帧之间的运动参数，

在所述第二阶段配准中，在用通过所述第一阶段配准估计出的运动参数进行了变形的目标图像和参考图像之间，生成表示与参考图像对应良好的目标图像中的像素的误差校正用掩模图像，使用所生成的误差校正用掩模图像来重新估计目标图像相对于参考图像的运动参数。

Images