CN1755709A - 图像匹配装置、匹配图像方法及计算机程序产品 - Google Patents

Abstract

图像匹配装置包含了数值地求解运动方程的数值分析单元。该运动方程被形成为代表源图像和目的图像之间映射关系的图像匹配状态转变模型。该运动方程代表了包含势能力作用于目的图像的每个格点上的力。该数值分析单元计算势能力，并基于数值分析根据源图像的格点与目的图像的格点之间的映射关系设置该运动方程的解的收敛值。

Description

图像匹配装置、匹配图像方法 及计算机程序产品

技术领域

本发明涉及一种图像匹配装置，其检测源图像和目标图像中的对应点以将所述的点彼此关联起来，本发明还涉及一种匹配图像方法，以及其计算机程序产品。

背景技术

图像匹配是一种用于将一个源图像(起始图像)中各像素的对应点从另一个目的图像(结束图像)中检测出来以发现其间对应关系的技术。图像匹配技术在各种图像处理中使用，例如运动图像的运动检测、立体匹配、图像形态(image morphing)、图像识别、以及运动图像编码。

图像匹配技术可被分成四个主要类型，即光流方法(optical flowmethod)、基于块方法(block-based method)、梯度法(gradient method)，以及贝叶斯法(Bayesian method)，如A.Murat Tekalp，″Digital VideoProcessing″，Prentice Hall，1995中所揭示的。

根据光流方法，基于″恒定亮度变化″的假设导出光流方程式，以便根据作为约束条件的光流方程式求出光流。另一方面，根据基于块方法，图像被分成预定的块，针对每个块，根据模板匹配来检测运动。根据梯度法，沿着图像中的亮度梯度下降的方向执行匹配。在贝叶斯法中，根据概率可能性执行匹配。

另一种高度健壮的常规图像匹配技术在日本专利出版物No.2927350中被揭示，其中多个多分辨图像金字塔由多个多分辨滤波器所产生，并且从所产生的图像金字塔的上层到下层顺序地执行匹配，因此允许进行从图像的粗糙运动到精细运动的不同运动的关联。

然而，常规图像匹配技术难免有问题。本质上对噪声灵敏的光流方法在处理快速运动方面有困难。针对图像中每个块执行图像匹配的基于块方法，虽然在处理图像中对象的诸如水平平移的运动方面表现出高可靠性，但当图像中的对象例如变形或旋转时，则基本上不能保持这样的品质。沿着图像亮度梯度下降的方向进行匹配的梯度法在连续不断地搜索对象的运动方面有困难。此外，在贝叶斯法中，不能容易地确定球面的最佳点。

此外，日本专利出版物No.2927350中所揭示的技术本质上要求多个多分辨率滤波器来将多分辨率图像金字塔的最上层匹配于最低层，这导致在减少计算费用以及结构扩展方面的困难。

因此，按照常规图像匹配技术，取决于噪声的出现和图像对象的运动，方法的可靠性受到损害。此外，图像匹配技术的可靠性的改进不可避免地伴随有更进一步的结构和处理的复杂化，并且以有限的可扩充性告终。

发明内容

根据本发明的一个方面，图像匹配装置包括数值地求解运动方程的数值分析单元，该运动方程包括作用在每个格点(lattiee point)上的势能力(potential energy force)，每个格点对应于位于源图像上每一格点的源位置处的源像素，该数值分析单元包括势能力计算器，其基于在源像素和对应于目的图像上当前位置的区域中的像素之间的像素值梯度，计算每个格点的势能力；以及映射单元，其根据源图像和目的图像之间的映射关系设置源位置和当前位置的收敛值。

根据本发明的另一方面，一种图像匹配方法包括数值地求解运动方程的步骤，该运动方程包括作用在每个格点上的势能力，每个格点对应于位于源图像上每一格点的源位置处的源像素，该数值分析单元包括势能力计算器，其基于在源像素和对应于目的图像上当前位置的区域中像素之间的像素值梯度，计算每个格点的势能力；以及根据源图像和目的图像之间的映射关系设置源位置和当前位置的收敛值。

根据本发明的另一方面，一种根据本发明另一方面的计算机程序产品使计算机执行根据本发明的方法。

附图说明

图1是根据第一实施例的运动补偿装置的功能结构的方框图；

图2是产生图像匹配状态转变模型的处理序列和图像匹配处理的处理序列的流程图；

图3是源图像中点i和目的图像中点q_i之间映射关系的说明性图示；

图4是源图像中点i和目的图像中点q_i之间映射关系的随时间变化的说明性图示；

图5是其中映射分别是双射的和非双射的示例的说明性图示；

图6是由亮度梯度所产生的势能力u(q_i)的工作的说明性图示；

图7是一种模型的说明性图示，其中分别在源图像和目的图像中的相邻格点被视为通过弹簧(spring)相连接，并且在相应格点之间产生弹力；

图8是作用于每个格点上的弹力的状态的说明性图示；

图9是根据图像匹配状态转变模型作用于图像的每个格点上的力的说明性图示；

图10是由数值分析单元求解常微分方程的处理序列的流程图；

图11是在第一模拟中所采用的图像的变化的说明性图示；

图12A是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图12B是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图12C是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图12D是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图12E是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图12F是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图13是第一模拟中像素值的势能力u对时间的图；

图14是第二模拟中所采用的图像的变化的说明性图示；

图15A是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图15B是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图15C是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图15D是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图15E是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图15F是目的图像的模拟结果的说明性图示，其中源图像中的对应点得到反映；

图16是第二模拟中像素值的势能力对时间的图；

图17是图像匹配处理的处理序列的流程图；

图18是向下采样的状态的说明性图示；

图19是利用数值分析单元112求解常微分方程的处理序列的流程图；

图20是根据第三实施例的模拟中的所采用的图像的变化的说明性图示，其伴随有具有大量位移的运动；

图21A是目的图像的映射的说明性图示，其中源图像中的对应点得到反映；

图21B是目的图像的映射的说明性图示，其中源图像中的对应点得到反映；

图21C是目的图像的映射的说明性图示，其中源图像中的对应点得到反映；

图21D是目的图像的映射的说明性图示，其中源图像中的对应点得到反映；

图21E是目的图像的映射的说明性图示，其中源图像中的对应点得到反映；

图22A是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图22B是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图22C是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图22D是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图22E是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图23是根据第三实施例的模拟中的所采用的图像的变化的说明性图示，其中发生诸如对象的反转的运动；

图24A是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图24B是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图24C是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图24D是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图24E是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映；

图25是根据第四实施例的运动补偿装置在由m+1层的图像产生m层图像时进行向下采样的说明性图示；

图26是图像匹配状态转变模型的状态的说明性图示，其中在由四个多分辨率滤波器(s＝0到3)所产生的图像的层次结构中的各层通过弹簧相连以便接受弹力；

图27是根据第五实施例的运动补偿装置进行图像匹配处理时图像匹配状态转变模型的状态的说明性图示；

图28是一个示例的说明性图示，其中亮度变化发生在一个在源图像和目的图像之间运动的对象的表面；

图29是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映，格映射是在图28的图像上的图像匹配时获得的。

图30是图像变化的说明性图示，其中亮度变化发生在一个在源图像和目的图像之间运动的对象的表面上；以及

图31是一个目的图像的格映射的说明性图示，其中源图像中的对应点得到反映。

具体实施方式

下面将参照附图详细描述基于本发明的图像匹配装置、匹配图像方法、以及用于图像匹配的计算机程序产品的示例性实施例。在下面实施例的描述中，根据本发明的图像匹配装置、匹配图像方法、以及用于图像匹配的计算机程序产品通过运动补偿装置，补偿运动方法以及用于运动补偿的计算机程序产品被应用于图像匹配，其中该运动补偿装置补偿运动图像的运动以产生补偿的图像。

应该注意到，除了适用于运动补偿的图像匹配之外，本发明可应用于其他的图像处理，诸如立体匹配、图像形态、图像识别、以及运动图像的编码。

(第一实施例)

图1是根据第一实施例的运动补偿装置的功能结构的方框图。如图1中所示，根据第一实施例的运动补偿装置主要包括图像匹配处理单元110、比例转换单元120、运动补偿单元130、以及帧存储器140。

图像匹配处理单元110从输入图像流中选择任何两个图像(作为起始图像和目的图像)，并且对该起始图像(源图像)和结束图像(目的图像)执行匹配处理。该图像匹配处理单元110包括模型产生单元111和数值分析单元112。

模型产生单元111用于产生动态图像匹配状态转变模型，其被表示为与目的图像上每个点的位置和速度相关的常微分方程。目的图像上的每个点以一比一的比率被映射到源图像上的对应点。该模型产生单元111还执行处理以找到常微分方程的初始值。模型产生单元111预先产生图像匹配状态转变模型，并且在找到源图像各个点和目的图像的点之间对应关系的数值分析单元112的操作之前，将模型存储在诸如存储器的存储介质中。

数值分析单元112是处理器，其分析代表图像匹配状态转变模型的常微分方程，该图像匹配状态转变模型由模型产生单元111基于利用欧拉方法的数值分析由其初始值建立，并且处理器寻找在源图像中的各个点和目的图像中的点之间的对应关系，以便将所发现的对应关系输出给比例转换单元120。一般地，由数值分析单元112进行的数字分析处理被称为离散变量法。

如图1所示，数值分析单元112包括势能计算器151，其计算表示图像匹配状态转变模型的常微分方程中的势能的力F_u(＝u(q_i))的项，弹力计算器152，其计算常微分方程中的弹力F_k(＝k(q_i))项，以及摩擦力计算器153，其计算常微分方程中的摩擦力F_μ(＝μ(dq_i//dt))的项。数值分析单元112通过在势能计算器151、弹力计算器152、和摩擦力计算器153上执行相应的力的计算，求解代表图像匹配状态转变模型的常微分方程，从而找到在源图像中的各个点和目的图像中的点之间的对应关系。

比例转换单元120是处理器，其执行源图像中的各个点和根据所期望的位置通过图像匹配处理单元110找到的目的图像中的点之间对应关系的比例转换，以便将结果输出给运动补偿单元130。

此结果是指在源图像中的各个点和目的图像中的点之间的映射。

运动补偿单元130是处理器，其根据在由比例转换单元120进行的比例转换之后源图像中的各个点和目的图像中的点之间的映射、源图像和目的图像执行运动补偿，以产生对于所期望的位置是新图像的补偿图像。

帧存储器140是存储器，其暂时地存储图像流、源图像、目的图像或作为输入提供给运动补偿单元100的补偿图像。

接下来，描述由具有根据第一实施例的上述结构的运动补偿装置实现的图像匹配状态转变模型的产生。图2是产生图像匹配状态转换模型的处理序列以及图像匹配的处理序列的流程图。

首先，模型产生单元111从输入图像流中选择源图像和目的图像以产生源图像和目的图像的格点(步骤S201)。然后，模型产生单元111初始化相应格点和坐标位置(步骤S202)。进一步地，模型产生单元111产生稍后将描述的图像匹配状态转变模型的微分方程(步骤S203)。该微分方程，稍后将要被详细地描述，是指：

${\stackrel{\·\·}{q}}_i=u\left(q_i\right)+k\left(q_i\right)-\mathrm{\μ}{\stackrel{\·}{q}}_i---\left(17\right)$

接下来描述根据如此产生的图像匹配状态转变模型的图像匹配。此处，“产生”的意思包含将标量和常数项提供给图像匹配状态转换模型的预先确定的微分方程。

数值分析单元112求解方程式(17)的常微分方程，方程式(17)代表由模型产生单元111所产生的图像匹配状态转变模型(步骤S204)。具体地说，势能计算器151计算方程式(17)中势能的力u(q_i)项，弹力计算器152计算方程式(17)中弹力k(q_i)项，以及摩擦力计算器153计算出方程式(17)中摩擦力μ(dq_i/dt)项，由此该常微分方程(17)被解出。在步骤S204中，更进一步地，找到源图像中各个点和目的图像中的点之间的对应关系(步骤S204)。所得到的对应关系作为输出被提供给比例转换单元120。稍后描述常微分方程(17)的求解方法。

下面，描述图像匹配处理中步骤S203的常微分方程的产生原理，即，图像匹配状态转变模型的产生原理。此处在第一实施例中，图像被视为包括象格点那样排列的像素值。寻找两个图像之间的对应关系的图像匹配处理等价于将两个图像之一视为源图像P而将两个图像中的另上个作为目的图像Q，并且找出源图像上哪一点与目的图像上哪一点对应。

此处，源图像上的格点被表示为i＝(i，j)^T，其中i＝0至M-1，j＝0至N-1，而对应于点i的目的图像上的点由q_i表示。则，源图像上的点i与目的图像上的点q_i之间的关系可以被表示为方程式(1)的映射关系：

q_i＝f(i)                      (1)

图像匹配处理被简化为求解映射f。

图3是源图像上的点i与目的图像上的点q_i之间映射关系的说明性图示。图4是源图像上的点i与目的图像上的点q_i之间映射关系的随时间变化的说明性图示。此处，源图像的像素值和目的图像的像素值被分别地表示为I_P(_i)和I_Q(q_i)。在第一实施例中，图像匹配问题被视为动态状态转变模型。换言之，如图4中所示，每个点q_i被视为动态系统中的质点，并且状态转变模型(动态系统)用当做状态的质点来描述，并且状态的收敛值被认为是映射的估计值。

首先，每个点q_i被视为动态系统中的质点，并且基于作用在该质点上的力为q_i建立运动方程。此处，设若像素值在源图像和目的图像上的相应格点之间不变化，则I_P(i)和I_Q(q_i)之间的较小差异意味较接近的匹配。因此，基于势能由I_P(i)和I_Q(q_i)之间的差异所产生以及力由作用于每个点q_i上的势能所产生的假设，此处引入模型。这里，由该势能产生的力由方程式(2)所定义：

F_u＝u(q_i)                            (2)

当考虑到各个点之间的关系时，图像中点之间的相关性在水平和垂直方向上非常高。因此，可期望源图像的某一区域与目的图像的某一区域完全对应。此外，当图像是三维空间的二维投影时，如同由常规照相机获取的图像中那样，源图像的某一表面对应于目的图像的另一表面。换言之，当源图像的某一表面具有类似格的形状时，表面的这种类似格的关系被保持在目的图像的表面中。这样的映射被称为双射的。图5是双射映射和非双射映射例子的说明性图示。

如图5中所示，为建立双射映射模型，通过形成运动方程，各个点q_i由类似弹簧的结构相连，其使得弹力被作用于各个点q_i之间。

当各个点q_i被简单地连接而没有弹力作用时，虽然满足映射的双射性质，但是源图像不能变换，导致对可能估计的映射的显著约束。因此，引起弹力在各个点之间作用的模型被建立，以便允许变换映射的描述。当变换引起变形而干扰映射的双射性质时，可以期望该弹簧的势能力起作用以将映射恢复成原来的格形状，即，满足映射的双射性质。具有这样类似弹簧的弹力的势能力由方程式(3)定义：

F_u＝k(q_i)                         (3)

根据方程式(1)、(2)及(3)，针对目的图像的各个点qi的运动方程由方程式(4)表示：

$m{\stackrel{\·\·}{q}}_i=F_u+F_k---\left(4\right)$

此处，由方程式(4)所表示的运动方程产生永久振荡而且不收敛的解。例如，当基于势能由重力场所产生的假设考虑一维振动的运动方程的例子时，该运动方程可由方程式(5)表示：

$\stackrel{\·\·}{x}=g-\frac{k}{m}x---\left(5\right)$

通过方程式(5)的变换，可以得到其为线性微分方程的方程式(6)。

$\stackrel{\·\·}{x}+\frac{k}{m}x=g---\left(6\right)$

如同方程式(6)的线性微分方程可以按下列方式用解析法解出，并且方程式(6)的拉普拉斯变换产生方程式(7)：

$(s^{2}X\left(s\right)-s{x}_0-{\stackrel{\·}{x}}_0)+\frac{k}{m}X\left(s\right)=\frac{g}{s}$

$X\left(s\right)=\frac{x_{0}s+{\stackrel{\·}{x}}_0}{s^2+{\mathrm{\ω}}^2}+\frac{g}{s(s^2+{\mathrm{\ω}}^2)}---\left(7\right)$

其中，

$\mathrm{\ω}=\sqrt{\frac{k}{m}}$

X₀＝位置的初始值

＝位置的初始速度

利用方程式(7)的拉普拉斯反变换，可以得到该微分方程的解析解，即方程式(8)：

$x=(x_0-\frac{g}{{\mathrm{\ω}}^2})\cos \mathrm{\ωt}+\frac{{\stackrel{\·}{x}}_0}{\mathrm{\ω}}\sin \mathrm{\ωt}+\frac{g}{{\mathrm{\ω}}^2}---\left(8\right)$

从衰减项的缺少明确得知，表示振荡状态的方程式(8)永久地振荡。

因此，当假定与速度相关的摩擦由于某因素而作用于一维振荡器，并且与该摩擦相关的项被引入该方程式时，能量不被存储而且可以被收敛至零。其能量为零的状态意味着没有能量来引起振荡器的振荡，即振荡被停止。当摩擦项被加到方程式(5)时，方程式(5)可被变换成方程式(9)：

$\stackrel{\·\·}{x}=g-\frac{k}{m}x-\frac{\mathrm{\μ}}{m}\stackrel{\·}{x}---\left(9\right)$

通过方程式(9)的变换，可以得到方程式(10)：

$\stackrel{\·\·}{x}+\frac{\mathrm{\μ}}{m}\stackrel{\·}{x}+\frac{k}{m}x=g---\left(10\right)$

方程式(10)的拉普拉斯变换产生方程式(11)：

$X\left(s\right)=\frac{g}{s{(s+\mathrm{\α})}^2}+\frac{x_{0}s}{{(s+\mathrm{\α})}^2}+\frac{{\stackrel{\·}{x}}_0+(\mathrm{\μ}/m)x_0}{{(s+\mathrm{\α})}^2}---\left(11\right)$

因此，方程式(9)的解析解可以由方程式(12)表示：

$x=\frac{g}{{\mathrm{\α}}^2}(1-e^{-\mathrm{\αt}}-\mathrm{\αt}{e}^{-\mathrm{\αt}})+x_0{e}^{-\mathrm{\αt}}(1-\mathrm{\αt})+({\stackrel{\·}{x}}_0+\frac{\mathrm{\μ}}{m}){\mathrm{te}}^{-\mathrm{\αt}}---\left(12\right)$

此处，值-α是该系统的极点，并且如果设置该极点使得方程式(12)中的值t是无限的，则得到方程式(13)：

$\underset{t\→\∞}{\lim }x=\frac{g}{{\mathrm{\α}}^2}---\left(13\right)$

从方程式(13)可以知道，由方程式(9)所表示的模型将收敛至g/α²，与初始值无关。

因此，类似于增加摩擦项到振荡器的运动方程的模型中，摩擦项被加到用于图像匹配的运动方程的模型中，以便产生收敛值。

该摩擦力可以由方程式(14)所表示：

$F_{\mathrm{\μ}}=-\mathrm{\μ}{\stackrel{\·}{q}}_i---\left(14\right)$

其中，

是q_i的速度

μ(≥0)是摩擦系数

当系统的速度足够地低时。

当方程式(14)的摩擦项被加到方程式(4)时，针对目的图像的各个点q_i的运动方程可以表示为方程式(15)：

$m{\stackrel{\·\·}{q}}_i=F_u+F_k+F_{\mathrm{\μ}}---\left(15\right)$

将方程式(2)、(3)以及(14)代入到方程式(15)中，可以得到由方程式(16)所表示的运动方程：

$m{\stackrel{\·\·}{q}}_i=u\left(q_i\right)+k\left(q_i\right)-\mathrm{\μ}{\stackrel{\·}{q}}_i---\left(16\right)$

此处，假若点q_i的质量为m＝1，则可以得到由方程式(17)所表示的运动方程：

${\stackrel{\·\·}{q}}_i=u\left(q_i\right)+k\left(q_i\right)-\mathrm{\μ}{\stackrel{\·}{q}}_i---\left(17\right)$

由方程式(17)所表示的模型被如此形成，使得各个点q_i被当做质点，并且各个质点的势能根据由像素值的梯度所产生的势而降低。方程式(17)的模型作为微分方程用于寻找映射f，其将减少两个图像即源图像和目的图像之间各个点间的像素值的变化。

图像匹配处理单元110的模型产生单元111从输入图像流中提取两个图像，即源图像和目的图像，并且为所提取的两个图像建立由方程式(17)所表示的常微分方程的模型。

下面，描述方程式(17)中像素梯度的势能力u(q_i)。在第一实施例中，该势能被定义为由目标点上的亮度梯度所产生的平面矢量。势能力u(q_i)是指向亮度梯度下降最急剧的方向的矢量。该矢量被如此定义，使得较陡峭的亮度梯度产生较大的矢量，以使作用力在较陡峭的亮度梯度处增加。

当最后势能力u(q_i)根据象元间距离被规格化时，可以得到方程式(18)：

$u\left(q_i\right)=\frac{|I_Q(q_i+u_d)-I_Q\left(q_i\right)|}{\left|\right|u_d\left|\right|}{u}_d$

u_d＝q_min-q_i              --                 (18)

$q_{\min }=\arg \underset{q_{\mathrm{loc}}\∈\mathrm{\Ω}}{\min }|I_P\left(i\right)-I_Q\left(q_{\mathrm{loc}}\right)|$

其中Ω代表空间，此空间表示周围的十个点，包括q_i。

图6是由方程式(18)所表示的亮度梯度的势能力u(q_i)的函数的说明性图示。如图6中所示，势能力u指向亮度梯度最急剧下降的方向。

接下来描述方程式(17)的弹力k(q_i)。图7是基于一假设所建立的模型的说明性图示，该假设为源图像和目的图像的相邻格点由弹簧相连以产生在各个格点之间起作用的弹力。在如图7中所示的模型中，相邻的四个点，即右上点、左上点、右下点、以及左下点被假定相连。

图8是作用于每个格点上的弹力的状态的说明性图示。在该模型中，当弹簧的长度为零时，弹簧被假定处于平衡状态。换言之，当弹簧拉长时，根据其位移，力被作用于该弹簧。因此，弹力总是起作用以便将弹簧拉回到零长度。如图8的(b)所示，各个格点被拉向中心以使由格点形成的形状变形。因此，根据第一实施例，位于图像的外围的格点实际上被连接到如图8的(c)中所示的墙表面(wall surface)。实际的墙表面假设存在于格点的周围并且该位于格点的上方、下方、右侧及左侧的墙表面与格点相连。因此，作用于格点上的力被调整以便可以达到总平衡。因此，由格点所形成的形状的变形可被防止。由格点与实际的墙表面的连接所产生的模型的弹力k(q_i)可以由方程式(19)表示：

$k\left(q_i\right)=k(q_{i-{\left(\mathrm{0,1}\right)}^T}-q_i)+k(q_{i-{(1,0)}^T}-q_i)+k(q_{i+{(1,0)}^T}-q_i)+k(q_{i+{\left(\mathrm{1,0}\right)}^T}-q_i)---\left(19\right)$

其中k是弹簧的常数。

因此，模型产生单元111产生了由方程式(17)的微分方程所表示的运动方程，用方程式(18)定义了方程式(17)中亮度梯度的势能力u(q_i)，以及用方程式(19)定义了弹力，从而建立图像匹配状态转变模型。

图9是图像匹配状态转变模型中作用于图像的每个格点上的力的说明性图示。如图9中所示，亮度梯度的势能力u(q_i)、弹力k(q_i)、以及摩擦力μ(q_i)作用于每个格点上。这三种力的合力的收敛值是映射f的估计结果。

接下来将描述利用图像匹配处理单元110的数值分析单元112对由方程式(17)所表示的常微分方程的求解过程。

如上所述，在方程式(17)中，各个点被连接以接受弹力，以便允许从源图像到目的图像的变换。此外，为系统的收敛，将代表摩擦力的衰减项加到表达式中。由于有这样的摩擦项的增加，能量被消耗以便允许系统在无限时间t的极点处收敛于预定值。数值分析单元112计算出这样的收敛值以作为映射f的估计结果。

具体地说，数值分析单元112借助于数字分析方法，分析表示为方程式(17)的常微分方程，设置足够长的时间T作为时间t以允许系统的收敛，并在时间周期t＝(0，T)中计算该值，以获得被当做映射f的估计结果的收敛值。

如同方程式(17)的常微分方程的数值解是一阶联立方程的解。

换言之，如果变量被定义为由方程式(20)表示的变量，则方程式(17)可以表示为由方程式(21)所表示的一阶联立方程。

$\mathrm{Variant}\left\{\begin{array}{c}{x}_{1i}=q_i\\ x_{2i}={\stackrel{\·}{q}}_i\end{array}\right.---\left(20\right)$

$\left\{\begin{array}{c}{x}_{1i}=x_{2i}\\ x_{2i}=u\left(x_{1i}\right)+k\left(x_{1i}\right)-\mathrm{\μ}{x}_{2i}\end{array}\right.---\left(21\right)$

其中变量(X_1i，X_2i)^T是q_i的位置和速度。

数值分析单元112利用欧拉方法求解这样的一阶联立方程。欧拉方法的公式可以由方程式(22)表示：

x⁽ⁿ⁺¹⁾＝x⁽ⁿ⁾+hF(x⁽ⁿ⁾，t)                         (22)

方程式(22)从t⁽ⁿ⁾到t^(n+l)＝t⁽ⁿ⁾+h展开该解。此处，x⁽ⁿ⁾意指n次迭代。当欧拉方法被用于方程式(21)时，得到根据欧拉方法的常微分方程的修正方程以作为方程式(23)：

$\left\{\begin{array}{c}{x^{(n+1)}}_{1i}={x^{\left(n\right)}}_{1i}+h{x^{\left(n\right)}}_{2i}\\ {x^{(n+1)}}_{2i}={x^{\left(n\right)}}_{2i}+h(u\left({x^{\left(n\right)}}_{1i}\right)+k\left({x^{\left(n\right)}}_{1i}\right)-\mathrm{\μ}{x^{\left(n\right)}}_{2i})\end{array}\right.---\left(23\right)$

按照欧拉方法得到的解如下。图10是由数值分析单元112求解常微分方程的处理序列的流程图。

首先，初始值设置为x⁽⁰⁾ ₁₁＝i，以及x⁽⁰⁾ _2i＝0，其中i＝0至M-1，j＝0至N-1(步骤S1001)。

然后，根据由方程式(24)所表示的修正方程，在t⁽ⁿ⁾时刻，将随后步骤，即第n+1步骤的值计算为x⁽ⁿ⁺¹⁾ _1i＝i，以及x⁽ⁿ⁺¹⁾ _2i＝0(其中i＝0至M-1，j＝0至N-1)：

$\left\{\begin{array}{c}{x^{(n+1)}}_{1i}={x^{\left(n\right)}}_{1i}+{{\mathrm{hx}}^{\left(n\right)}}_{2i}\\ {x^{(n+1)}}_{2i}={x^{\left(n\right)}}_{2i}+h(u\left({x^{\left(n\right)}}_{1i}\right)+k\left({x^{\left(n\right)}}_{1i}\right)-\mathrm{\μ}{x^{\left(n\right)}}_{2i})\end{array}\right.---\left(24\right)$

i＝0，...，M-1；j＝0，...，N-1

此处，u(x⁽ⁿ⁾ _1i)的计算由势能计算器151完成，k(x⁽ⁿ⁾ _1i)的计算由弹力计算器152完成，以及μx⁽ⁿ⁾ _2i的计算由摩擦力计算器153完成。

然后，基于t⁽ⁿ⁺¹⁾＝t⁽ⁿ⁾+h(步骤S1003)，判断t⁽ⁿ⁺¹⁾是否大于T(S1004)。如果t⁽ⁿ⁺¹⁾＞T(步骤S1004中“是”)，处理结束，而如果t⁽ⁿ⁺¹⁾≤T(步骤S1004中“否”)，则重复方程式(22)的修正方程的计算以及t⁽ⁿ⁺¹⁾＝t⁽ⁿ⁾+h的处理，直到t⁽ⁿ⁺¹⁾)＞1成立。此处，由于q_i＝x⁽ⁿ⁺¹⁾，根据方程式(25)可以建立映射：

x⁽ⁿ⁺¹⁾ _1i＝f(i)                               (25)

图11是第一模拟中所采用图像的变化的说明性图示。在第一模拟中，图示左边所示的源图像的对象在图示右边所示的目的图像中向左移动两个像素。

根据第一实施例的图像匹配的模拟在这样的源图像和目的图像上完成。模拟的结果在图12A至12F中示出。

图12A至12F是目的图像模拟结果的说明性图示，其中源图像中的对应点得到反映。根据序列图12A至12F的次序，假设经过时间t。如图12A至12F所示，随着经过所估计的时间，对象的运动达到更接近地匹配。图13示出了第一模拟中像素值的势能力的随时间变化。如图13中所示，可以证实势能力u从像素梯度的峰收敛于谷。

图14是第二模拟中所采用图像的变化的说明性图示。在第二模拟中，图示左侧上所示的源图像的对象被放大为图示右侧所示的目的图像。

根据第一实施例的图像匹配的模拟在这样的源图像和目的图像上完成。模拟的结果在图15A至15F中示出。

图15A至15F是目的图像模拟结果的说明性图示，其中源图像中的对应点得到反映。根据序列图15A至15F的次序，经过了时间t。如图15A至15F中所示，各个像素与由放大所引起运动相匹配。图16示出了第二模拟中像素值的势能的随时间变化。如图16中所示，可以证实势能从像素梯度的峰收敛于谷。

因此，按照根据第一实施例的运动补偿装置实现的图像匹配，图像匹配被视为动态状态转变模型，换言之，各个格点q_i被视为动态系统中的质点，状态转变模型利用被视为状态的各个格点来描述，并且状态的收敛值被当做映射的估计值。因此，该非常健壮并且非常精确的图像匹配可以用简单的结构和处理在像素水平上实现

(第二实施例)。

接下来将描述第二实施例。

在根据第一实施例的运动补偿装置中，以每个格点仅有单一像素的亮度梯度的势能力为基础，形成状态转变模型。因此，当目标像素包含噪声分量时，势空间变得复杂化而引起变形，从而导致模型的收敛需要较长时间。

因此，在根据第二实施例的运动补偿装置中，目标被设置成由用于产生图像匹配状态转变模型的多个像素所组成的块。当包含多个像素的块根据第二实施例被设置成模型的目标时，类似于块匹配法，可以实现在装置的健壮性方面的改善。

根据第二实施例的运动补偿装置的功能结构与根据第一实施例的装置相似。此外，完成图像匹配的全过程类似于参考图2所描述的第一实施例。

根据第二实施例，模型产生单元111根据方程式(26)设置势能力u(q_i)以产生方程式(17)的图像匹配状态转变模型，并且数值分析单元112求解表示为方程式(17)的常微分方程。此处，类似于第一实施例，数值分析单元112求解方程式(17)，并且方程式26)被用于求解像素梯度的势能力u(q_i)。

$u\left(q_i\right)=\frac{|I_Q(q_i+u_d)-I_Q\left(q_i\right)|}{\left|\right|u_d\left|\right|}{u}_d$

u_d＝q_min-q_i                             (26)

$q_{\min }=\underset{q_{\mathrm{loc}}\∈\mathrm{\Ω}}{\arg \min }\frac{1}{N_B}\underset{w\∈B}{\mathrm{\Σ}}|I_P(i+w)-I_Q(q_{\mathrm{loc}}+w)|$

这里，B是作为操作目标的块，其包含围绕目标像素的多个像素。符号N_B表示块B中的像素数目。

数值分析单元112求解由方程式(17)所表示的常微分方程，其中类似于第一实施例，根据方程式(26)确定势能力u(q_i)。

因此，在根据第二实施例的运动补偿装置中，因为包含多个像素的块被设置为图像匹配状态转变模型的目标，即使当噪声分量被加到目标像素上时，也可以实现健壮性的改善。

(第三实施例)

接下来描述第三实施例。

在根据第一或第二实施例的运动补偿装置中，图像匹配状态转变模型按照每个格点处像素梯度的势能力工作。因此，当没有正确地产生像素梯度时，例如，当图像的运动是粗糙的时，由方程式(17)所表示的图像匹配状态转变模型的系统不收敛于期望的平衡位置，因此有时不能实现适当的图像匹配。

因此，在根据第三实施例的运动补偿装置中，在空间方向上多次地对源图像和目的图像执行向下采样，以产生图像的分层结构。该处理从分层结构的上层到下层顺序地实现。

根据第三实施例的运动补偿装置的功能结构与第一实施例的相似。

接下来描述由根据第三实施例的运动补偿装置实现的图像匹配。图17是图像匹配的处理序列的流程图。

首先，模型产生单元111从输入图像流中选择源图像和目的图像以产生源图像和目的图像的格点(步骤S1701)。然后，模型产生单元111初始化各个格位置和坐标位置(步骤S1702)。模型产生单元111在空间方向多次对源图像和目的图像进一步实现向下采样(步骤S1703)。这里，向下采样意味着对源图像和目的图像执行固定尺寸的像素的采样，以产生较高层的子源图像和子目的图像。例如，高斯金字塔是一种向下采样的方法。当向下采样重复地执行以更进一步地从子源图像和子目的图像中提取固定尺寸的像素时，最终产生多层的子源图像和子目的图像。

图18是向下采样的状态的说明性图示。如图18所示，每一原始源图像和原始目的图像经历垂直和水平方向的按1/2采样，以便建立图像的分层金字塔结构，其中像素的数目从上层至下层地增加。然后，针对每一层执行图像匹配。这里，虽然原始图像在水平和垂直方向上经历按1/2采样，但比值不限于1/2。

回到图17，类似于第一实施例，模型产生单元111产生图像匹配状态转变模型的微分方程(由方程式(28)所表示)(步骤s1704)。

根据该第三实施例，模型产生单元111产生图像匹配状态转变模型如下。

首先，图像尺寸在垂直和水平方向上都被设置为2^M。源图像的格点被设置如下。

i＝(i，j)^T，其中i＝0至2^m-1，j＝0至2^m-1，m＝0至M。

当在空间方向上执行向下采样以便在垂直和水平方向上按1/2采样原始图像时，最后得到的分层金字塔结构可以表示如下。

i^(m)＝(i，j)^T，其中i＝0至2^m-l，j＝0至2^m-1，m＝0至M。

当对应于金字塔结构中格点i^(m)的目的图像上的点表示为q_i(m)时，映射关系可以由方程式(27)表示：

$q_{i^{\left(m\right)}}=f^{\left(m\right)}\left(i^{\left(m\right)}\right)---\left(27\right)$

因此，类似于第一实施例中建立的方程式(17)，针对每一层的图像匹配状态转变模型可以用表示为方程式(28)的常微分方程(运动方程)来表示：

${\stackrel{\·\·}{q}}_{i^{\left(m\right)}}=u\left(q_{i^{\left(m\right)}}\right)+k\left(q_{i^{\left(m\right)}}\right)-\mathrm{\μ}{\stackrel{\·}{q}}_{i^{\left(m\right)}}---\left(28\right)$

这里，在第三实施例中，引入层间约束条件，其为“较高层的映射是较低层的初始值”。然而，另一条件可以被设置为约束条件。

然后，数值分析单元112求解由如模型产生单元111所产生的方程式(17)所表示的常微分方程，以找到源图像中各个点和目的图像中的点之间的对应关系(步骤S1705)。所找到的对应关系作为输出被提供给比例转换单元120。

接下来，描述步骤S1705中用数值分析单元112求解由方程式(28)所表示的常微分方程。类似于方程式(17)，方程式(28)在无限时间t的极限收敛于预定值。数值分析单元112计算该收敛值作为映射f(m)的估计结果。

同样地，在第三实施例中，数值分析单元112根据欧拉方法利用数值分析法求解表示为方程式(28)的常微分方程，其中为了系统的收敛，时间t被设置成足够大的值T，以及针对时间周期t＝(0，T)经过计算所获得的收敛值被采用为映射f的估计结果。

图19是由数值分析单元112求解常微分方程的处理序列的流程图。

首先，图像匹配的目标层m被初始化为零(步骤S1901)并且初始值设置为x⁽⁰⁾ _1i(m)＝i^(m)，x⁽⁰⁾ _2i(m)＝0，其中i＝0至2^m-1，j＝0至2^m-1(步骤S1902)。

然后，根据由方程式(29)所表示的修正方程，针对后续步骤，即，第n+1步，在t⁽ⁿ⁾时刻计算值x⁽ⁿ⁺¹⁾ _1i(m)＝i^(m)，x⁽ⁿ⁺¹⁾ _2i(m)＝0，其中i＝0至2^m-1，j＝0至2^m-1(步骤S1903)：

$\left\{\begin{array}{c}{x^{(n+1)}}_{1i^{\left(m\right)}}={x^{\left(n\right)}}_{1i^{\left(m\right)}}+{{\mathrm{hx}}^{\left(n\right)}}_{2i^{\left(m\right)}}\\ {x^{(n+1)}}_{2i^{\left(m\right)}}={x^{\left(n\right)}}_{{2i}^{\left(m\right)}}+h(u\left({x^{\left(n\right)}}_{{1i}^{\left(m\right)}}\right)+k\left({x^{\left(n\right)}}_{{1i}^{\left(m\right)}}\right)-\mathrm{\μ}{x^{\left(n\right)}}_{{2i}^{\left(m\right)}})\end{array}\right.---\left(29\right)$

i＝0，...，2^m-1；j＝0，...，2^m-1

此处，u(x⁽⁰⁾ _1i(m))的计算由势能计算器151执行，k(x⁽⁰⁾ _1i(m))的计算由弹力计算器152执行，以及μx⁽ⁿ⁾ _2i(m)的计算由摩擦力计算器153执行。

然后，基于t⁽ⁿ⁺¹⁾＝t⁽ⁿ⁾+h(步骤S1904)，判断t⁽ⁿ⁺¹⁾是否大于T(步骤S1905)。当t⁽ⁿ⁺¹⁾＞T时(步骤S1905中“是”)，为转变到较低层的处理，图像匹配目标的层m增加一层(步骤S1906)。另一方面，当在步骤S1905t⁽ⁿ⁺¹⁾＞T不成立时，即，当t⁽ⁿ⁺¹⁾≤T时(步骤S1905中“否”)，重复进行由方程式(29)所表示的修正方程的计算以及t⁽ⁿ⁺¹⁾＝t⁽ⁿ⁾+h的处理，直到t⁽ⁿ⁺¹⁾＞T成立。此处，由于q_i＝x⁽ⁿ⁺¹⁾，根据方程式(27)可以建立映射。

当图像匹配处理目标的层m在步骤S1906增加一层时，检查m是否大于M，即图像匹配针对全部层是否完成(S1907)。当判断m的值大于M并且图像匹配处理针对全部层已经完成时(步骤S1907中“是”)，处理结束。相反，当m小于M并且图像匹配处理针对全部层没有完成时(步骤S1907中“否”)，针对全部层重复地执行从S1902到S1906的图像匹配处理。

图20是在根据第三实施例的模拟中所采用的具有大量位移的图像中的变化的说明性图示。在该模拟中，图示左边的源图像的对象做了具有大量位移的运动以得到图示右边所显示的目的图像。

根据第三实施例的图像匹配的模拟针对这样的源图像和目的图像执行。模拟的结果在图21A至21E和图22A至22E中示出。

图21A至21E是目的图像的映射的说明性图示，其中源图像中的对应点得到反映。图21A至21E表示层2(层＝2)到层6(层＝6)的映射，顺序地依此顺序。更进一步，图22A至22E是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映。图22A至22E表示层2(层＝2)到层6(层＝6)的格映射，顺序地依此顺序。如图21A至21E及图22A至22E所示，各个像素与具有大量位置的运动正确地匹配。

图23是关于图像的变化的说明性图示，其中第三实施例的模拟中使用的对象被逆反。在该模拟中，图中左侧示出的源图像的对象进行大量位移的相反移动以得到图中右侧示出的目的图像。

根据第三实施例的图像匹配的模拟在这样的源图像和目的图像上完成。模拟的结果在图24A至24E中示出。

图24A至24E是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映。图24A至24E表示层2(层＝2)到层6(层＝6)的格点映射，顺序地依此顺序。如图24A至24E所示，对应点被正确地找到以跟随各个像素的具有大量位移的反向运动。

因此，根据基于第三实施例的运动补偿装置的图像匹配，在源图像和目的图像上多次地执行在空间方向上的向下采样，以产生图像的分层结构，并且从上层到下层顺序地执行图像匹配。因此，针对包含无论粗糙还是细微的运动的每个像素，可以实现高健壮性和高精确性。

下面将描述第四实施例。

在根据第三实施例的运动补偿装置中，在源图像和目的图像上执行向下采样以产生分层结构，使得在具有小的或大的运动的图像上允许有非常精确的图像匹配。然而，取决于在空间方向上向下采样为分层结构的方式，运动元素不能被适当地传播至上层，从而匹配在上层可变得不充分。

因此，在根据第四实施例的运动补偿装置中，为建立多层金字塔结构而采用多种方式的向下采样。该结构中的每层经由弹簧彼此连接。因而，对向下采样方式的依赖性得以减轻。

根据第四实施例的运动补偿装置的功能结构类似于第一实施例的。此外，根据第四实施例的运动补偿装置100实现的图像匹配的全过程类似于第三实施例。

此处在第四实施例中，诸如临界点滤波器(CPF)的多个多分辨率滤波器被用于向下采样。通过在原始图像上的二维搜索，该多分辨率滤波器被用来发现奇异点，以提取所发现的奇异点以便产生具有比原始图像低的分辨率的另一图像。此处，该奇异点是指具有例如最大像素值或最小像素值的像素。

图25是通过根据第四实施例的运动补偿装置实现的从第m+1层图像产生第m层图像的向下采样的说明性图示。如图25中所示，当进行第m+1层到第m层的向下采样时，四个多分辨率滤波器被按照第四实施例中的方程式(30)所示构成：

CPF0：E＝min(min(A，B)，min(C，D))

CPF1：E＝max(min(A，B)，min(C，D))                   (30)

CPF2：E＝min(max(A，B)，max(C，D))

CPF3：E＝max(max(A，B)，max(C，D))

此处，字符A、B、C、与D表示各个像素的亮度值。通过用根据第四实施例如方程式(30)所表示的多分辨率滤波器进行向下采样，分别提取图像中的亮像素部分与暗像素部分，以形成四层分层结构。

在根据第四实施例的运动补偿装置中，当模型产生单元111产生图像匹配状态转变模型时，金字塔结构的各个层通过弹簧相连以引起弹力作用于层间。如果由方程式(30)所表示的多分辨率滤波器被顺序地从如上所述的表达式表示成s＝0，1，2，3，并且多分辨率滤波器s＝0与多分辨率滤波器s＝3被安排在环上彼此邻近，由多分辨率滤波器之间的连接所引起弹力可以由方程式(31)表示：

F_s＝k_s(q_(i，s-q)-q_(，s)+k_s(q_(i，s+1)-(q_(i，s))      (31)

s＝0，1，2，3

其中k_s是弹簧的常数，并且q_(i，s)是多分辨率滤波器s的格点。

因此，由模型产生单元111所产生的图像匹配状态转变模型的常微分方程(运动方程)可以被表示成方程式(32)，而不是该实施例的方程式(17)：

${\stackrel{\·\·}{q}}_{(i,s)}=u\left(q_{(i,s)}\right)+k\left(q_{(i,s)}\right)-u{\stackrel{\·}{q}}_{(i,s)}+F_s\left(q_{(i,s)}\right)---\left(32\right)$

图26是图像匹配状态转变模型的状态的说明性图示，其中由四个多分辨率滤波器(s＝0至3)所产生图像的分层结构的各个层通过弹簧相连以产生弹力。

根据第四实施例的数值分析单元112利用类似第一实施例所采用的欧拉方法，通过数值分析求解由方程式(32)所表示的常微分方程。此处，u(q_(i，s))和F_S(q_(i，s))的数值分析的计算由势能计算器151执行，k(q_(i，s)的数值分析的计算由弹力计算器152执行，以及

的数值分析的计算由摩擦力计算器153执行。

因而，利用彼此相连的各个多分辨率滤波器可以实现图像匹配。

因此，在根据第四实施例的运动补偿装置中，由多个多分辨率滤波器针对源图像和目的图像形成多个类似金字塔的分层结构，并且建立图像匹配状态转变模型，以使弹力作用于每个分层结构，从而对向下采样的方式的依赖性被减轻，并且可以实现具有较高精确性的图像匹配。

下面将描述第五实施例。

在根据第二实施例的运动补偿装置中，块被设置为包含多个像素，并且块中的像素通过弹簧彼此相连以引起其间的弹力。然后，为图像匹配状态转变模型的建立，计算像素梯度的势能力。然而，根据第二实施例，图像匹配的计算代价可随像素数目增大而增加，从而降低处理的效率。

因此，为了图像匹配状态转变模型的建立，根据第五实施例的运动补偿装置利用弹簧将作为像素集合的块连接起来，以引起弹力作用于块之间。

根据第五实施例的运动补偿装置的功能结构类似于第一实施例的。此外，图像匹配的全部处理序列类似于上面用参考图2所描述的第一实施例。

在根据第五实施例的运动补偿装置中，由模型产生单元111所产生的图像匹配状态转变模型不同于在根据第二实施例的运动补偿装置中产生的模型。

图27是在根据第五实施例的运动补偿装置中进行图像匹配时图像匹配状态转变模型的状态的说明性图示。在第五实施例中，模型产生单元111建立模型，其中如图27所示，由多个像素所形成的块通过弹簧相连以便在块之间产生弹力。

此处，如果源图像上的点被表示为i＝(i，j)^T(其中i＝1至M，j＝1至N)，并且在目的图像中对应于源图像中点i的点被表示为q_i，则方程式(33)的映射关系对于源图像的点i和目的图像的点q_i成立：

q_i＝f(i)                                        (33)

此处，源图像的点i和目的图像的点q_i被设置为绝对位置，并且B被设置为操作的相对目标块。此时，每个块的像素梯度所引起的势能力u(q_i)可以由方程式(34)表示：

$u\left(q_i\right)=\frac{\frac{1}{N_B}\underset{b\∈B}{\mathrm{\Σ}}|I_Q(q_i+u_d+b)-I_Q(q_i+b)|}{\left|\right|u_d\left|\right|}{u}_d$

u_d＝q_min-q_i                                     (34)

$q_{\min }=\arg \underset{q_{\mathrm{\Ω}}\∈\mathrm{\Ω}}{\min }\frac{1}{N_B}\underset{b\∈B}{\mathrm{\Σ}}|I_P(i+b)-I_Q(q_{\mathrm{\Ω}}+b)|$

根据第五实施例，模型产生单元111基于由方程式(34)所表示的势能力u(q_i)的定义，产生由方程式(17)所表示的图像匹配状态转变模型，并且数值分析单元112求解由方程式(17)所表示的常微分方程。此处，类似于第一实施例，数值分析单元112求解方程式(17)，并使用方程式(34)来求解像素梯度的势能力u(q_i)。

因此，根据第五实施例的运动补偿装置建立了图像匹配状态转变模型，其中作为像素集合的块通过弹簧相连以引起其间的弹力，由此允许更加高度健壮的和精确的图像匹配的实现。

下面将描述第六实施例。

由根据第一至第五实施例的运动补偿装置所建立的图像匹配状态转变模型根据像素亮度的差异值考虑势能。然而，该势能力不包括颜色分量。因此，当源图像和目的图像包含具有虽然颜色不同但亮度差较小的对象时，这样的对象可能不被分辨出来，由此可阻碍高精确的图像匹配。

因此，根据第六实施例的运动补偿装置利用包括颜色信息的势能力建立图像匹配状态转变模型。

根据第六实施例的运动补偿装置的功能结构类似于第一实施例。此外，图像匹配的全部处理序列类似于用参考图2所描述的第一实施例。

在第六实施例中，模型产生单元111产生不同于第一至第五实施例中所产生的那些模型的图像匹配状态转变模型。根据第六实施例的模型产生单元111包含LUV色系的颜色信息以作为关于势能力的颜色空间。

第六实施例采用LUV色系，因为当表示成色度图时，RGB色系在色分布中具有偏差。具有色分布中小偏差的颜色空间可以是XYZ色系。在XYZ色系中，可以计算两种颜色之间的距离。如果不论颜色类型如何，相同的距离均可被视为代表相同的色差，则该距离可被用于图像间相关性的确定。换言之，两种颜色间短距离表明两种颜色的相似性，而两种颜色间长距离表明两种颜色间较大的差异。因此，具有短距离的颜色集合可被确定为比具有长距离的颜色集合具有更高的针对图像的相关性。

然而，一般而言，人们知道XYZ色系中的距离与色差的识别之间有较小的相关性。因此，为图像匹配状态转变模型的建立，第六实施例采用LUV色系以包含关于势能力的颜色信息，其中LUV色系是距离和色差的识别具有较高相关性的均匀颜色空间。此处，同样是均匀颜色空间的LAB色系可被用于建立图像匹配状态转变模型。

LUV色系中两种颜色之间的色差可被表示为方程式(35)：

ΔEuv^*＝[(ΔL^*)²+(Δu^*)²+(Δv^*)²]^1/2

ΔL^*＝L^* ₂-L^* ₁                               (35)

Δu^*＝u^* ₂-u^* ₁

Δv^*＝v^* ₂-v^* ₁

其中ΔEuv^*是两种颜色间的色差，而L₁ ^*，u₁ ^*，v₁ ^*与L₂ ^*，u₂ ^*，v₂ ^*是两种颜色的L^*u^*v^*。

当基于方程式(35)表示根据颜色差异值的势能力u(q_i)时，得到方程式(36)：

$u\left(q_i\right)=\frac{\mathrm{\ΔEuv}(q_i+u_d,q_i)}{\left|\right|u_d\left|\right|}{u}_d$

u_d＝q_min-q_i

                                           (36)

$q_{\min }=\arg \underset{q\∈\mathrm{\Ω}}{\min }\mathrm{\ΔEuv}(i,q)$

ΔEuv(x，y)＝((L_P(x)-L_Q(y))²+(u_P(x)-u_Q(y))²+(v_P(x)-v_Q(y))²)^1/2

其中，L_P，u_P，v_P是源图像的L^*u^*v^*，以及L_Q，u_Q，v_Q是目的图像的L^*u^*v^*。

根据第六实施例，模型产生单元111基于由方程式(36)所表示的势能力u(q_i)的定义，产生由方程式(17)所表示的图像匹配状态转变模型，并且数值分析单元112求解由方程式(17)所表示的常微分方程。此处，类似于第一实施例，数值分析单元112求解方程式以求解像素梯度的势能力u(q_i)。

因而，根据第六实施例的运动补偿装置利用包含LUV色系的颜色信息的势能力来建立图像匹配状态转变模型。因此，即使当源图像和目的图像包含具有颜色虽不同但亮度差较小的对象时，第六实施例也可以实现高精确的及健壮的图像匹配。

下面将描述第七实施例。

根据第一至第五实施例的运动补偿装置基于亮度差建立了图像匹配状态转变模型，其中，像素梯度的势能力由亮度的差异值产生。该模型基于这样的假设，即像素的相同格点上没有亮度差，并且亮度的差异值沿着运动的轨迹平稳地减小。因此，当存在亮度变化时，图像匹配会变得不精确。

例如，假定图像匹配是在其中亮度在对象的表面上变化的图像上执行，该对象如图28所示从源图像运动到目的图像。图29是目的图像的格映射的说明性图示，其中源图像上的对应点在如图28所示图像的图像匹配时得到反映。此处，如同从图29中可以看到的，图像匹配的结果被扭曲并且对应点没有正确出现。

因此，根据第七实施例的运动补偿装置基于图像相关的势能力建立图像匹配状态转变模型，它在整个亮度变化上都是健壮的。

根据第七实施例的运动补偿装置的功能结构类似于第一实施例。此外，图像匹配的全部处理序列类似于用参考图2所描述的第一实施例。

根据第七实施例，模型产生单元111产生图像匹配状态转变模型，其中与图像相关的势能力根据交叉相关被公式化。交叉相关在统计学上被称为相关系数，并且它的期望值在标准化协方差上被设置为零。因为该交叉相关不是期望值之间差异的估计，与基于亮度差异值的方法相比，这样的方法可望提高整个亮度变化上的健壮性。

其中考虑到交叉相关的与图像相关的势能力u(q_i)可以由方程式(37)表示：

$u\left(q_i\right)=\frac{\mathrm{dif}}{\left|\right|u_d\left|\right|}{u}_d$

u_d＝q_min-q_i

$q_{\min }=\arg \min \{1.0-\frac{\underset{w\∈B}{\mathrm{\Σ}}{I}_P(i+w)I_Q(q+w)}{\sqrt{\underset{w\∈B}{\mathrm{\Σ}}{I}_P{(i+w)}^2}\sqrt{\underset{w\∈B}{\mathrm{\Σ}}{I}_Q{(q+w)}^2}}\}$

$\mathrm{dif}=255|\frac{\underset{w\∈B}{\mathrm{\Σ}}{I}_P(i+w)I_Q(q_{\min }+w)}{\sqrt{\underset{w\∈B}{\mathrm{\Σ}}{I}_P{(i+w)}^2}\sqrt{\underset{w\∈B}{\mathrm{\Σ}}{I}_Q{(q_{\min }+w)}^2}}-\frac{\underset{w\∈B}{\mathrm{\Σ}}{I}_P(i+w)I_Q(q_i+w)}{\sqrt{\underset{w\∈B}{\mathrm{\Σ}}{I}_P{(i+w)}^2}\sqrt{\underset{w\∈B}{\mathrm{\Σ}}{I}_Q{(q_i+w)}^2}}|---\left(37\right)$

根据第七实施例，模型产生单元111基于由方程式(37)所表示的势能力u(q_i)的定义，产生由方程式(17)所表示的图像匹配状态转变模型，并且，数值分析单元112求解由方程式(17)所表示的常微分方程。此处，类似于第一实施例，数值分析单元112求解方程式(17)来求解像素梯度的势能力u(q_i)。

图30是当从源图像运动到目的图像的对象的表面上亮度变化时，图像中的变化的说明性图示。根据第七实施例，这样的图像上的图像匹配结果在图31中示出。

图31是目的图像的格映射的说明性图示，其中源图像中的对应点得到反映。从图31中可以看到，即使当对象的表面上亮度变化时，也可以正确地找到对应点。

因而，根据第七实施例的运动补偿装置利用交叉相关，基于与图像相关的势能力的公式化来建立图像匹配状态转变模型。因此，即使当对象表面上的亮度变化时，也可以实现高精确的图像匹配。

应该注意到，基于适当的力的组合，可以为图像匹配建立图像匹配状态转变模型，这些力为像素亮度梯度的势能力，基于颜色差异值的势能力，以及其中参考实施例如上所述考虑了交叉相关的与图像相关的势能力。

假定像素亮度梯度的势能力由u₁(q_i)表示，基于颜色的差异值的势能力由u₂(q_i)表示，以及其中考虑交叉相关的与图像相关的势能力由u₃(q_i)表示。则，基于像素亮度梯度的势能力u₁(q_i)以及颜色差异值的势能力u₂(q_i)的组合的图像匹配状态转变模型的运动方程可以被表示为方程式(38)：

${\stackrel{\·\·}{q}}_i=[\mathrm{\α}{u}_1\left(q_i\right)+\mathrm{\β}{u}_2\left(q_i\right)]+k\left(q_i\right)-\mathrm{\μ}{\stackrel{\·}{q}}_i---\left(38\right)$

此处，α和β是加权因子。

则，根据方程式(38)，势能计算器151计算出像素亮度梯度的势能力u₁(q_i)以及基于颜色差异值的势能力u₂(q_i)。

此外，以基于颜色差异值的势能力u₂(q_i)和其中考虑交叉相关的与图像相关的力u₃(q_i)的组合为基础的图像匹配状态转变模型的运动方程可以由方程式(39)表示：

${\stackrel{\·\·}{q}}_i=[\mathrm{\α}{u}_2\left(q_i\right)+\mathrm{\β}{u}_3\left(q_i\right)]+k\left(q_i\right)-\mathrm{\μ}{\stackrel{\·}{q}}_i---\left(39\right)$

此处，α和β是加权因子。

则，根据方程式(39)，势能计算器151计算出基于颜色差异值的势能力u₂(q_i)以及其中考虑了交叉相关的与图像相关的势能力u₃(q_i)。

此外，基于像素亮度梯度的势能力u₁(q_i)和其中考虑了交叉相关的与图像相关的力u₃(q_i)的组合的图像匹配状态转变模型的运动方程可以由方程式(40)表示：

${\stackrel{\·\·}{q}}_i=[\mathrm{\α}{u}_1\left(q_i\right)+\mathrm{\β}{u}_3\left(q_i\right)]+k\left(q_i\right)-\mathrm{\μ}{\stackrel{\·}{q}}_i---\left(40\right)$

其中，α和β是加权因子。

则，根据方程式(40)，势能计算器151计算出像素亮度梯度的势能力u₁(q_i)以及其中考虑了交叉相关的与图像相关的势能力u₃(q_i)。

此外，以像素亮度梯度的势能力u₁(q_i)，基于颜色差异值的势能力u₂(q_i)，以及其中考虑了交叉相关的与图像相关的势能力u₃(q_i)的组合为基础的图像匹配状态转变模型的运动方程可以由方程式(41)表示：

${\stackrel{\·\·}{q}}_i=[\mathrm{\α}{u}_1\left(q_i\right)+\mathrm{\β}{u}_2\left(q_i\right)+\mathrm{\γ}{u}_3\left(q_i\right)]+k\left(q_i\right)-\mathrm{\μ}{\stackrel{\·}{q}}_i---\left(41\right)$

其中α，β，和γ是加权因子。

则，根据方程式(41)，势能计算器151计算出像素亮度梯度的势能力u₁(q_i)，基于颜色差异值的势能力u₂(q_i)，以及其中考虑交叉相关的与图像相关的势能力u₃(q_i)。

通过利用基于三个势能力的适当组合的图像匹配状态转变模型的图像匹配，允许逐个像素地进行更健壮的和精确的图像匹配。

根据第一至第七实施例的运动补偿装置包括诸如中央处理器(CPU)的控制器，诸如只读存储器(ROM)和随机存取存储器(RAM)的存储器，诸如硬磁盘驱动器(HDD)和CD驱动器的外存储器，诸如监视屏的显示器，以及诸如键盘和鼠标的输入设备，从而形成常规的利用计算机的硬件结构。

由根据第一至第七实施例的运动补偿装置执行的运动补偿程序以可安装或可执行的格式的文件被记录在例如光盘，软磁盘(FD)，CD-R，以及数字通用盘(DVD)的计算机可读记录媒质上，以便提供。

进一步地，由根据第一至第七实施例的运动补偿装置执行的运动补偿程序可被存储在连接到诸如Internet的网络的计算机中，并且可经由网络下载以进行提供。更进一步，由根据第一至第七实施例的运动补偿装置执行的运动补偿程序可经由诸如Internet的网络提供或分配。

更进一步，由根据第一至第七实施例的该运动补偿装置执行的运动补偿程序可被预先地嵌入ROM等等中以便提供。

由根据第一至第七实施例的运动补偿装置执行的运动补偿程序具有包括如上所述的各个单元(即，模型产生单元111，数值分析单元112，比例转换单元120，以及运动补偿单元130)的模块结构。在实际硬件中，CPU从记录媒质中读取运动补偿程序并执行该程序以将各个单元装入主存储器，从而在主存储器上产生模型产生单元111，数值分析单元112，比例转换单元120，以及运动补偿单元130。

额外的优点和修改将容易地被本领域技术人员想到。因此，本发明在其较宽的方面不限于此处所示出和所描述的具体细节及典型的实施例。因此，在不背离由所附权利要求和其等同表述所定义的总的发明构思的实质或范围的情况下可以做各种修改。

Claims (13)

1.一种图像匹配装置，包括：

数值地求解运动方程的数值分析单元，该运动方程包括作用在每个格点上的势能力，每个格点对应于位于源图像上每一格点的源位置处的源像素，该数值分析单元包括势能力计算器，其基于在源像素和对应于目的图像上当前位置的区域中的像素之间的像素值梯度，计算每个格点的势能力；以及

映射单元，其根据源图像和目的图像之间的映射关系设置源位置和当前位置的收敛值。

2.根据权利要求1的装置，其中

该运动方程进一步地包含格点之间的弹力，并且

该数值分析单元进一步地包含计算该弹力的弹力计算器。

3.根据权利要求2的装置，其中

该弹力进一步地包含每一周边格点与墙上每一坚固点之间的边界弹力，该墙围绕这些格点，周边格点是这些格点的一部分，周边格点具有作为源图像上的周边的源位置。

4.根据权利要求1的装置，其中

该运动方程进一步地包含作用于每一格点的摩擦力，以及

该数值分析单元包含针对每一格点计算摩擦力的摩擦力计算器

5.根据权利要求1的装置，其中

格点的一部分属于一个块，并且

该势能力计算器设置该块中格点的势能力为共同值。

6.根据权利要求1的装置，进一步地包括采样单元，其执行源图像和目的图像的第一层的采样以产生源图像和目的图像的第二层，

其中该数值分析单元针对源图像和目的图像的第二层求解运动方程，

其中映射单元根据在源图像的第二层和目的图像的第二层之间的第二层映射关系进行设置，

其中该数值分析单元在针对源图像和目的图像的第一层求解运动方程时，基于第二层的映射关系设置每个格点的源位置。

7.根据权利要求1的图像匹配装置，进一步地包括采样单元，其执行源图像和目的图像的第一层的采样以产生源图像和目的图像的第二层，

其中数值分析单元求解包含针对第一层的每一格点，与第二层的具有对应于第一层每个格点的源位置的每一格点之间的层间弹力的运动方程。

8.根据权利要求2的装置，其中

格点的一部分属于一个块，并且

弹力计算器设置该块中的格点的弹力为共同值。

9.根据权利要求1的装置，其中势能力计算器利用源像素和对应于目的图像上当前位置的像素的亮度信息，计算每个格点的势能力。

10.根据权利要求1的图像匹配装置，其中势能力计算器利用源像素和对应于目的图像上当前位置的像素的颜色信息，计算每个格点的势能力。

11.根据权利要求10的装置，其中

颜色信息具有一致空间中的色系，并且

势能力计算器计算色差以计算每个格点的势能力。

12.根据权利要求1的图像匹配装置，其中势能力计算器利用源像素和对应于目的图像上的当前位置的像素的亮度信息之间的交叉相关，计算每个格点的势能力。

13.一种匹配图像的方法，包括

数值地求解运动方程的步骤，该运动方程包括作用在每个格点上的势能力，每个格点对应于位于源图像上每一格点的源位置处的源像素，该数值分析单元包括势能力计算器，其基于在源像素和对应于目的图像上当前位置的区域中像素之间的像素值梯度，计算每个格点的势能力；以及

根据源图像和目的图像之间的映射关系设置源位置和当前位置的收敛值。

Images