CN102750537B - 一种高精度图像自动配准方法 - Google Patents

Abstract

本发明公开了一种高精度图像自动配准方法，包括如下步骤：步骤一、选取两幅在宽基线立体条件下针对同一目标体拍摄的影像；步骤二、利用SIFT特征匹配方法和自适应归一化互相关方法建立两幅影像的初始相关，并得到多个初始匹配特征点；步骤四、基于步骤三中得到的正确初始匹配特征点，再次利用自适应归一化互相关方法和局部单应约束进行匹配传播，以迭代产生更多的匹配特征点；步骤五、再次基于几何关系一致性原则检测所述迭代产生的匹配特征点，剔除其中的误匹配特征点；步骤七、根据步骤六中得到的所有正确匹配特征点对两幅影像进行配准。与现有的基于SIFT特征的图像配准方法相比，算法在抗几何变形和配准精度等方面具有优越性。

Description

一种高精度图像自动配准方法

技术领域

本发明涉及一种配准方法，尤其涉及一种高精度图像自动配准方法。

背景技术

数字图像配准技术作为模式识别和数字图像处理的一种基本手段，在导航、成像制导、地图与地形匹配及变化检测等方面有广泛应用。基于特征的图像配准方法是目前最常用的方法之一。其优点是能够将对整个图像的分析转化为对图像特征的分析，大大减小图像处理过程的运算量，对灰度变化、图像变形以及遮挡等都有较好的适应能力。

基于特征的影像配准方法主要包括特征提取、特征匹配、配准模型选择及其参数估计3个主要步骤。目前的研究主要集中在特征提取与匹配这两个关键步骤上。通常的做法是在两幅图像中检测或选取角点、线段交点、封闭区域及边缘等特征，然后基于灰度相关、链码相关、不变矩之间的距离、动态规划和松弛法等确定这些特征的对应关系，以获得遥感影像配准所需的控制点。近年来，源于计算机视觉的以尺度不变特征变换算法(Scale Invariant FeatureTransform，SIFT)为代表的基于局部不变特征提取与描述的特征匹配方法在影像配准方面得到了较为广泛地研究和应用，在一定程度上解决了场景部分遮挡、旋转缩放、视点变化引起的图像变形等问题。

由于影像成像条件的复杂性，现有的影像匹配方法都不可避免地产生误匹配。因此，选择合适的匹配约束条件以获得一定数量的较为可靠的匹配特征是影像配准中的关键问题。一种直接的策略是针对初始匹配结果，采用双向匹配和随机采样一致性(Random Sample Consensus，RANSAC)算法进行匹配验证。另外一种策略是基于较为可靠的初始匹配结果估计影像的粗配准参数，并以此进行几何约束获得更多的匹配特征、提高配准精度。如苏娟等首先采用基于特征一致的粗配准方法获得影像的初始变换参数，并将其用于直线特征的约束匹配，最终以直线的交点作为最终配准用的控制点；韦燕凤等首先基于边界链码相关和区域不变矩匹配策略建立封闭边界的对应，并对对应重心即匹配点对进行一致性检测获得基元控制点，然后估计影像的初始仿射变换参数并对影像进行初始仿射变换，在此基础上进一步通过显著点片的相关系数匹配来增加控制点个数；类似的，YU等首先利用SIFT方法进行初始匹配并对影像进行粗配准变换，在变换后的影像上基于Harris特征点和相关系数匹配获得比初始匹配更多的基元控制点。

发明内容

基于上述第二种匹配策略，本文提出一种基于SIFT特征的鲁棒图像匹配算法。算法首先综合利用SIFT特征匹配方法和基于SIFT特征尺度和方位信息的自适应归一化互相关(Normalized Cross Correlation，NCC)方法建立初始相关，并基于几何关系一致性检测剔除误匹配；然后在初始相关的基础上，利用自适应NCC和局部单应约束进行匹配传播，迭代产生更多的匹配点并采用几何关系一致性检测剔除可能的误匹配。初始单应采用最小二乘匹配(Least SquaresMatching，LSM)方法估计得到，并采用自适应NCC为其提供良好的初始值。与现有的基于特征点的图像配准方法相比，算法在抗几何变形和配准精度等方面具有优越性。

本发明所述的高精度图像自动配准方法，包括如下步骤：

步骤一、选取两幅在宽基线立体条件下针对同一目标体拍摄的影像；

步骤二、利用尺度不变特征匹配方法和自适应归一化互相关方法建立两幅影像的初始相关，并得到多个初始匹配特征点；

步骤三、基于几何关系一致性原则检测所述多个初始匹配特征点，以剔除其中的误匹配特征点；

步骤四、基于步骤三中得到的正确初始匹配特征点，再次利用自适应归一化互相关方法和局部单应约束进行匹配传播，以迭代产生更多的匹配特征点；

步骤五、再次基于几何关系一致性原则检测所述迭代产生的匹配特征点，剔除其中的误匹配特征点；

步骤六、重复步骤四中的迭代步骤和步骤五中的剔除步骤，直到得到的正确匹配特征点的个数和分布足以实现两幅影像的配准为止；

步骤七、根据步骤六中得到的所有正确匹配特征点对两幅影像进行配准。

优选的是，所述的高精度图像自动配准方法中，所述步骤一中的宽基线定义为一个影像上的任意点，在另一个影像上的对应点可以为任意位置。

优选的是，所述的高精度图像自动配准方法中，在所述步骤二中：基于尺度不变特征尺度和方位信息进行自适应归一化互相关方法。

优选的是，所述的高精度图像自动配准方法中，所述步骤二是通过以下方式实现的：

1)利用基于K-D树快速搜索和欧氏距离比率的SIFT特征匹配算法建立匹配点集Ms；

2)利用自适应归一化互相关方法对匹配点集Ms进行匹配验证，剔除自适应归一化互相关系数小于给定阈值的同名点对，将其余的匹配点集作为初始匹配特征点。

优选的是，所述的高精度图像自动配准方法中，所述给定阈值为0.60。

优选的是，所述的高精度图像自动配准方法中，所述步骤三是通过以下方式实现的：采用基于投影变换模型的几何关系一致性原则算法对所述初始匹配特征点进行几何关系一致性检测，进一步剔除外点后获得最终的初始匹配结果，即正确初始匹配特征点。

优选的是，所述的高精度图像自动配准方法中，所述步骤四是通过以下方式实现的：

1)将正确初始匹配特征点根据自适应归一化互相关系数进行降序排列，选取自适应归一化互相关系数最大的一对特征点匹配种子，记为mi；

2)对mi进行最小二乘匹配，获得该对种子的最大支持区及其对应邻域的局部单应矩阵Hi；

3)进行初始匹配传播：基于由最大支持区域定义的第一基准窗口及其对应邻域的局部单应矩阵Hi，采用自适应归一化互相关方法进行初始匹配传播，将获得的匹配点集记入匹配特征点集，并将mi加入到匹配特征点集，此外，按照预定的步长将基准窗口扩展到第一增长区域，如果第一增长区域内的匹配点用自适应归一化互相关方法能够再次成功匹配，则将其加入到匹配特征点集，否则，将其从匹配特征点集中删除；

4)进行迭代匹配传播：计算两幅影像的同名特征点的重心，并进行重心化，根据重心化后的同名特征点，用直接线性变换算法计算一新单应矩阵H′，基于同名特征点的最大支持区域定义的第二基准窗口和基于同名特征点的重心在第二基准窗口的基础上继续扩大影像窗口区域获得一新扩展窗口，定义第二增长区域为第二基准窗口和新扩展窗口的交集，对每次迭代产生的第二增长区域内的匹配点用自适应归一化互相关方法能够再次成功匹配，则将其加入到匹配特征点集，否则，将其从正确匹配特征点集中删除。

5)重复步骤1)～4)，直至没有新增匹配点，得到最终匹配特征点集M。

优选的是，所述的高精度图像自动配准方法中，所述预定的步长为50像素。

本发明利用SIFT尺度不变特征点的尺度和方位特性，提出了一种基于SIFT特征的两阶段图像配准方法，并同现有的基于特征点的影像配准方法进行了综合对比分析。表明本文算法在配准控制点的数量和配准精度及影像几何变形的适应性等方面具有较大优势。进一步的研究将通过融合与SIFT特征点具有互补特性的特征(如Harris特征点)，以提高匹配传播的鲁棒性。

附图说明

图1为本发明所述的基于局部单应约束的匹配传播的示意图；

图2为基于种子点的匹配传播过程的示意图，其中(a)为初始种子匹配，(b)为初始匹配传播，(c)为第1次迭代匹配传播。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1、图2所示，本发明所述的高精度图像自动配准方法，包括如下步骤：

首先进行特征提取：

采用SIFT算法提取配准特征点。SIFT算法主要包括尺度空间极值点检测、特征点主方位确定、特征描述符生成及特征匹配4个主要步骤。SIFT特征是图像的局部特征，具有多量性、独特性好和信息量丰富的特点，且其对旋转、尺度缩放、亮度变换保持不变性，对视点变化、仿射变换、图像噪声等也保持一定程度的不变性。根据SIFT算法的原理，本文将SIFT特征点表达为：f＝(x，σ，θ，d)，其中x＝(x，y)T、σ和θ分别代表特征点的位置、特征尺度(characteristic scale)和主方位(dominant orientation)，d代表128维的SIFT特征描述符。

然后进行特征匹配：

本文特征匹配方法包括初始匹配和匹配传播两个阶段。除SIFT特征匹配方法外，涉及到的匹配方法主要有基于SIFT的LSM和自适应NCC匹配两种。接下来首先给出上述两种匹配方法的基本原理，然后阐述本文特征匹配方法的具体策略。

3.1基于SIFT的最小二乘及自适应NCC匹配

假设f＝(x，σ，θ，d)和f′＝(x′，σ′，θ′，d′)为基准影像和参考影像中检测到的一对同名SIFT特征点，以x和x′为坐标原点(中心)的两个邻域窗口记为N(x)和N(x′)，其中N(x)的大小为(2w+1)×(2w+1)。利用平面单应H(2维投影变换)近似两个邻域窗口之间的几何关系，则有下式成立：

$\left\{\begin{array}{c}{u}^{\′}=\frac{a_{1}u+a_{2}v+a_3}{a_{7}u+a_{8}v+1}\\ v^{\′}=\frac{a_{4}u+a_{5}v+a_6}{a_{7}u+a_{8}v+1}\end{array}\right.---\left(1\right)$

令 $A=\left[\begin{array}{cc}{a}_1& a_2\\ a_4& a_5\end{array}\right],$ $t=\left[\begin{array}{c}{a}_3\\ a_6\end{array}\right],$ $v=\left[\begin{array}{c}{a}_7\\ a_8\end{array}\right],$ 则 $H=\left[\begin{array}{cc}A& t\\ v^T& 1\end{array}\right].$

其中，A、t、v分别表示邻域窗口之间的仿射、平移及投影变形参数。进一步令u＝[u，v]T∈[-w，w]，u′＝[u′，v′]T为u按式(1)进行投影变换后的坐标。则以x和x′为中心的两个相关窗口W和W′可表达为：

W＝I(x+u)，W′＝I′(x′+Hu)              (2)

基于式(2)并进一步引入亮度补偿参数h0和h1，可建立基于投影变换模型的最小二乘匹配条件方程，线性化后可得最小二乘匹配的误差方程式(限于篇幅，误差方程式各项系数从略)。其中需要迭代估计的参数为

ΔX＝[Δh₀，Δh₁，Δa₁，...，Δa₈]^T。

LSM需要较为良好的待求参数初始值。相比于仿射变形，亮度、平移和投影变形相对较小，其相应的待求参数初始值可分别设置为 因此问题的关键是如何确定仿射变换参数初始值。

将仿射变换矩阵A近似分解为：

$A\≈\left[\begin{array}{cc}{a}_1& a_2\\ a_4& a_5\end{array}\right.==\left[\begin{array}{cc}{s}_x& 0\\ 0& s_y\end{array}\right]\left[\begin{array}{cc}\cos \mathrm{\α}& \sin \mathrm{\α}\\ -\sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]---\left(3\right)$

其中：sx、sy为x、y两个方向上的缩放因子；α为特征点相关窗口的相对旋转角度。

假设σ′＞σ并令s＝σ′/σ、θ＝θ-θ′。由于SIFT检测到的特征点邻域具有尺度和旋转不变性，即：当两个相关窗口W、W′间仅存旋转和尺度变化时，式(3)中的sx＝sy＝s，旋转角度α＝θ。当影像间存在仿射变化时，则sx≠sy≠s。但可在s的局部邻域内搜索最佳参数sx、sy、令：

s_x＝s；s_y＝ks；k＝[0.3，0.4，...，3.0]    (4)

基于式(4)以NCC系数最大为准则搜索最佳参数k则可以确定sy，继而根据(3)式确定A并将其作为LSM的迭代初值。此处NCC计算所采用的相关窗口随特征点邻域的尺度和方位自适应调整，对影像几何变形具有较好的适应性。自适应NCC所用的相关窗口W和W′只需将式(2)中的H用A替换即可。

3.2初始匹配

初始匹配采用如下由粗到精的多层(multi-level)匹配策略：

(1)利用基于K-D树快速搜索和欧氏距离比率的SIFT特征匹配算法[11]建立初始匹配点集Ms；

(2)利用自适应NCC算法对Ms进行匹配验证，剔除NCC系数小于给定阈值(0.60)的同名点对；

(3)采用基于投影变换模型的RANSAC算法对匹配点进行几何关系一致性检测，进一步剔除外点(Outliers)后获得最终的初始匹配结果，即种子匹配。

3.3匹配传播

为直观计，首先以一对种子匹配点对为例阐述基本的匹配传播策略，然后给出整体的匹配传播流程。设m＝(f，f′)为用于匹配传播的一对种子匹配。则基于该种子匹配的匹配传播策略如下

3.3.1种子点的最小二乘匹配

对种子匹配m按§3.1节的方法进行最小二乘匹配。但需注意的是，§3.1节中采用的是固定大小的影像相关窗口(本文设置为35×35像素)。考虑到相对较大的影像窗口对基于局部单应约束的匹配传播有利。为此，对种子匹配m，通过一定的步长扩大其局部邻域N(x)。然后在预先设定的阈值条件下(本文设置为0.85)，重复执行LSM算法寻求种子匹配的最大支持区(Largest Support Region，LSR)及其对应邻域的局部单应H。注意，本文算法中，并非所有种子点都用于后续的匹配传播(这一点将在§3.3.4节中体现)，因而为减少额外计算负担，仅对用于匹配传播的种子点进行最小二乘匹配并寻求其LSR，这也是本文没有在初始匹配阶段执行此操作的原因。

3.3.2初始匹配传播

如图1所示，将m的LSR定义为基准窗口，记为NB(x)。以x为中心按一定的步长扩大NB(x)获得一新的影像窗口并将其定义为扩展窗口，记为NE(x)。现将NE(x)定义为增长区域并假设NB(x)和NE(x)具有相同的局部单应映射H。则基于局部单应约束的匹配传播可以进行[16]。采用自适应NCC算法进行约束匹配传播，但需注意的是此时仿射参数无须像§3.1节阐述的那样迭代搜索，而是直接从H中分解得到，从而在一定程度上降低了匹配传播的计算复杂度。

将初始匹配传播获得的局部匹配点集记为：其中l为匹配点的个数。为剔除可能存在的误匹配，采用基于投影变换模型的RANSAC算法对匹配点进行几何关系一致性检测。注意，此处几何关系一致性检测时用的是以x和x′为原点的重心化坐标。

3.3.3迭代匹配传播

基于初始传播匹配集迭代传播步骤如下：

(1)计算同名特征点集和的重心c和c′：

用直接线性变换(Direct LinearTransformation，DLT)算法估计一新的单应矩阵H′；

(3)定义NE(x)为新的基准窗口，以c为中心在NE(x)窗口大小的基础上继续扩大影像窗口区域获得一新的扩展窗口，记为NE(c)(如图2所示)。定义增长区域为NE(c)和NE(x)的交集(图2中阴影部分)，则对于新的增长区域内的点(图2中圆点)，同§3.3.2节相同的假设和方法基于H′进行约束匹配传播并将新增匹配点加入到

(4)重复步骤(1)～(3)，直至没有新增匹配点。

初始匹配传播和迭代匹配传播的主要差异在于增长区域的定义上，前者以扩展窗口作为增长区域，而后者在迭代的过程中以前一扩展窗口和当前扩展窗口的交集作为增长区域。

3.3.4匹配传播算法总结

基于§3.2节获得的初始匹配点集Ms及上述基本传播策略，完整的匹配传播算法步骤如下：

(1)将种子匹配根据NCC系数进行降序排列，选取NCC系数最大的一对种子匹配，记为mi；

(2)对mi按§3.3.1节所述的方法进行最小二乘匹配，获得该对种子的LSR及其相应的Hi；

(3)按§3.3.2节所述的方法进行初始匹配传播，获得的匹配点集记为M。将mi加入到M。此外，对增长区域内的种子点，如用自适应NCC方法能够再次成功匹配，则将其加入到M。否则，将其从种子点集Ms中删除；

(4)按§3.3.3节所述的方法进行迭代匹配传播并将新增匹配点加入到M。对每次迭代产生的增长区域内的种子点，如用自适应NCC方法能够再次成功匹配，则将其加入到M。否则，将其从种子点集Ms中删除；

(5)重复步骤(1)～(4)，直至没有新增匹配点。返回最终匹配点集M。

针对上述算法，这里需要指出的两点是：(1)扩展窗口增长步长的确定；(2)匹配传播过程中种子点的处理。在没有任何关于影像先验信息的条件下，第(1)个问题较难确定。经过对不同类型的影像进行多次试验，本文将增长步长经验设置为50像素。同时在扩展窗口增长的过程中，如果某方向没有新增匹配点，则该方向不再扩展。对于第(2)个问题的处理，计算机视觉界的密集匹配算法多在匹配传播过程中迭代产生新的种子[17]，然而，本文算法的种子点除了特征点位置外，还需要其对应邻域的单应映射关系，如利用LSM算法迭代更新种子点集，则算法的计算复杂度较高，此外，上述第(3)和第(4)步中的种子点处理方式还考虑到了由于重复纹理特征导致的误匹配的存在，而较强的局部单应约束可以有效地识别它们。

图2示意了本文匹配传播算法的基本过程。图2(a)为分布在参考影像中的局部区域内的种子点，其中第2号种子点用于匹配传播。图2(b)和图2(c)分别示意了基于该对种子的初始传播和第1次迭代传播结果，其中黄色点为经过几何关系一致性检测后的传播匹配点，而红色点为通过自适应NCC方法在匹配传播过程中被再次确认为正确的种子点，绿色点为代表当前匹配点集的重心(初始匹配传播时的重心为第2号种子点)。图2(b)中白色和绿色矩形框为该种子的LSR和扩展窗口，扩展窗口区域被定义为初始匹配传播时的增长区域。而图2(c)中较小和较大的绿色矩形框分别为当前迭代的基准窗口和扩展窗口，其交集定义为当前迭代的增长区域。

4配准模型及参数估计

以上的SIFT特征点匹配和一致性检测均是建立在投影变换基础上的。相对于仿射变换，投影变换模型可更严格地表达两幅影像间的几何变换关系。因此，本文仍然选用式(1)表达的投影变换模型作为配准模型。为比较，还选用了基于三角网的小面元配准模型来评价配准精度[5]。利用最终的匹配点作为配准控制点，即可利用DLT算法线性化求解式(1)中的8个投影变换参数，完成影像的配准。

5试验与分析

5.1试验数据及评价指标

选取5组测试数据进行算法验证。其中，测试数据(a)和(b)来源于：http://www.robots.ox.ac.uk/～vgg/data/data-aff.html；数据(c)～(e)的多源、多时相遥感影像数据来源于：http://vision.ece.ucsb.edu/registration/satellite/testimag/index.htm。通过式(5)计算配准精度对算法性能进行客观测试。

$\mathrm{\ϵ}=\sqrt{\frac{1}{n}\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|x_i^{\′}-{\mathrm{Hx}}_i\left|\right|}^2\right)}---\left(5\right)$

其中n代表配准用的控制点对的个数，和为控制点对，H代表配准所用的投影变换模型，ε为均方误差(单位：像素)。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种高精度图像自动配准方法，其特征在于，包括如下步骤：

步骤一、选取两幅在宽基线立体条件下针对同一目标体拍摄的影像；

步骤二、利用尺度不变特征匹配方法和自适应归一化互相关方法建立两幅影像的初始相关，并得到多个初始匹配特征点；

步骤三、基于几何关系一致性原则检测所述多个初始匹配特征点，以剔除其中的误匹配特征点；

步骤四、基于步骤三中得到的正确初始匹配特征点，再次利用自适应归一化互相关方法和局部单应约束进行匹配传播，以迭代产生更多的匹配特征点；

步骤五、再次基于几何关系一致性原则检测所述步骤四中得到的最终匹配特征点集M中的匹配特征点，剔除其中的误匹配特征点；

步骤六、重复步骤四中的迭代步骤和步骤五中的剔除步骤，直到得到的正确匹配特征点的个数和分布足以实现两幅影像的配准为止；

步骤七、根据步骤六中得到的所有正确匹配特征点对两幅影像进行配准；

其中，所述步骤四是通过以下方式实现的：

1)将正确初始匹配特征点根据自适应归一化互相关系数进行降序排列，选取自适应归一化互相关系数最大的一对特征点匹配种子，记为mi；

2)对mi进行最小二乘匹配，获得该对种子的最大支持区及所述最大支持区对应邻域的局部单应矩阵Hi；

3)进行初始匹配传播：基于由最大支持区域定义的第一基准窗口及所述最大支持区域对应邻域的局部单应矩阵Hi，采用自适应归一化互相关方法进行初始匹配传播，将获得的匹配点集记入匹配特征点集，并将mi加入到匹配特征点集，此外，按照预定的步长将基准窗口扩展到第一增长区域，如果第一增长区域内的匹配点用自适应归一化互相关方法能够再次成功匹配，则将其加入到匹配特征点集，否则，将其从匹配特征点集中删除；

4)进行迭代匹配传播：计算两幅影像的同名特征点的重心，并进行重心化，根据重心化后的同名特征点，用直接线性变换算法计算一新单应矩阵H′，基于同名特征点的最大支持区域定义的第二基准窗口和基于同名特征点的重心在第二基准窗口的基础上继续扩大影像窗口区域获得一新扩展窗口，定义第二增长区域为第二基准窗口和新扩展窗口的交集，对每次迭代产生的第二增长区域内的匹配点用自适应归一化互相关方法能够再次成功匹配，则将其加入到匹配特征点集，否则，将其从正确匹配特征点集中删除；

5)重复步骤1)～4)，直至没有新增匹配点，得到最终匹配特征点集M。

2.如权利要求1所述的高精度图像自动配准方法，其特征在于，所述步骤一中的宽基线定义为一个影像上的任意点，在另一个影像上的对应点可以为任意位置。

3.如权利要求2所述的高精度图像自动配准方法，其特征在于，所述步骤二是通过以下方式实现的：

1)利用基于K-D树快速搜索和欧氏距离比率的SIFT特征匹配算法建立匹配点集Ms；

2)利用自适应归一化互相关方法对匹配点集Ms进行匹配验证，剔除自适应归一化互相关系数小于给定阈值的同名点对，将其余的匹配点集作为初始匹配特征点。

4.如权利要求3所述的高精度图像自动配准方法，其特征在于，所述给定阈值为0.60。

5.如权利要求3所述的高精度图像自动配准方法，其特征在于，所述步骤三是通过以下方式实现的：采用基于投影变换模型的几何关系一致性原则算法对所述初始匹配特征点进行几何关系一致性检测，进一步剔除外点后获得最终的初始匹配结果，即正确初始匹配特征点。

6.如权利要求5所述的高精度图像自动配准方法，其特征在于，所述预定的步长为50像素。