CN107610166B - 一种基于线性特征区域分割的平面地图图像配准方法 - Google Patents

Abstract

一种基于线性特征区域分割的平面地图图像配准方法，用分割线检测法提取线性特征，把线段从线性支持区域中提取出来；用SIFT算法对图像特征点初始匹配；以目标点与有向边界的位置关系分类所有关键点；计算匹配点对子之间的差异值，判断是否为正确匹配；剔除匹配有差异的点对，转入迭代，重新匹配关键点；若所有关键点对正确匹配，则验证图像像素。较粗的像素可以检测图像的细节或噪声在全分辨率下被屏蔽了的全局结构。因此，较高的像素要调整成为较低像素(即较粗像素)，迭代到第一步，直到达到要求的像素为止。最后完成图像配准。本发明以梯度角分割线性支持区域，用SIFT算法及几何异常匹配点对剔除算法，通过模型估计匹配的准确度降低配准的复杂度。

Description

一种基于线性特征区域分割的平面地图图像配准方法

技术领域

本发明属于图像处理领域，涉及一种的自动图像配准的方法，特别涉及一种基于线性特征区域分割的平面地图图像配准方法。

背景技术

图像配准是一项至关重要而又具有挑战性的任务，其目的是使两个或多个图像与不同时间，不同传感器或不同观点捕获的重叠场景对齐。它已被广泛应用于计算机视觉，遥感，医学图像分析，模式匹配等多个领域，但远远不能自动化。

由于存在如下特殊困难，自动图像配准仍然具有挑战性：

(1)要配准的图像通常由不同的传感器或从不同的角度获取，这导致图像(平移，旋转，缩放和剪切)之间的几何变形。在参考图像中退出的场景并不总是保持在相应的感测图像中。

(2)光谱内容差异和光照变化通常存在于多光谱/多传感器图像/多时变图像中。不一致的频谱内容增加了自动配准中相应特征匹配的难度。

(3)特定的干扰导致要配准的图像之间的场景内容不一致。例如，SAR图像中不可避免地出现的斑点噪声使得特征提取和识别困难。为了更好的可视化，地图图像中存在的街道名称的兴趣图标和文本并不总是保持与整个地图图像相同的转换。

基于特征的方法尝试从待配准的图像中提取突出特征，并在这些特征之间建立相应的匹配。突出点，线，曲线，边缘，线交叉点和每个特征周围的区域是最常用的图像特征。基于特征的方法能够处理场景之间显着的几何不一致。此外，它们对于与提取的特征相关联的有限数量的像素具有低的实现复杂性。虽然基于特征的方法对大多数同源图像配准是有效的，但是当直接应用于照射变化，光谱内容差异或不一致对象时，它们具有的性能很有限。

目前常用的特征点匹配方法主要有以下几种。基于SIFT(Scale-InvariantFeature Transform，尺度不变特征转换)的匹配算法，采用高斯核生成对尺度和旋转保持不变的SIFT特征点和SIFT特征向量，由SIFT特征向量的相关性来匹配SIFT特征点。该方法对于遥感图像中的缩放和旋转具有稳定不变性，当图像中存在相同场景灰度不一致或有相似场景的情况时，该方法会产生大量的误匹配点对。基于RANSAC(Random SampleConsensus，随机采样一致性)的匹配算法，通过估计初始特征点样本的变换模型参数，剔除误匹配的特征点对。该方法的时间复杂度依赖于初始特征点的选择，当初始特征点对中错误匹配点对较多时，算法的性能会大幅降低。基于GTM(Graph Transformation Matching，图形变换匹配)的匹配算法，通过比较对应特征点的K近邻，剔除误匹配点对。该方法针对于缩放和旋转变换具有快速剔除误匹配点对的效果，但是当图像之间存在切变时，对应特征点的K近邻结构不具有一致性，因此匹配结果将受到较大影响。

综上所述，针对图像配准过程中，存在较大的仿射变换(包括缩放、旋转、切变)的情况，现有的图像特征点匹配方法很难实现高精度匹配。此外，在地图图像中存在的街道名称的兴趣图标和文本并不总是保持与整个地图图像相同的转换。这很大程度提高了地图图像自动配准的复杂度。

发明内容

本发明的目的是，提供一种基于线性特征区域分割的平面地图图像配准方法，能够适用于地图图像中的街道名称的兴趣图标和文本并不总是保持与整个地图图像相同的转换的情况，在无人工参与的条件下提高配准的精度。

为了实现以上目的，本发明是通过以下技术方案来实现：

一种基于线性特征区域分割的平面地图图像配准方法，该方法包含如下步骤：

S1，采用分割线检测的方法(LSD)进行线性特征的提取，线段从线性支持区域中提取出来，其各个线点共享梯度值大致相同的直线区域。利用梯度的相似度，对线性支持区域进行分割。线性支持区域分割可以分为两个阶段，即梯度角的计算和对线性支持区域像素pi对应梯度角的sin值求和；

S2，采用SIFT算法对图像进行初始化匹配。在参考图像和待配准图像的线性支持区域中利用SIFT算法建立对应的匹配。SIFT匹配包括五个主要的步骤：尺度空间的极值检测、关键点定位、方向分配、关键点的描述和关键点匹配；

S3，通过目标点与有向边界的关系，对所有的关键点进行分类；

S4，计算每一组相对应的匹配点对子的差异值diff_i→j，并对每组相匹配点的差异值diff_i→j进行判断。若diff_i→j≠0，则把差异值最大的点对剔除掉，然后进行迭代的过程(即转向S3)；若diff_i→j＝0，则转向S5；

S5，采用与当前分辨率相关的均方误差值

估计匹配的准确度。对于具有较大分辨率的图像

要实现重新提取和重新匹配进行迭代(即转向S1)，直到分辨率较低

最后，完成参考图像和待配准图像的配准。

步骤S1中，给定输入图像，线性支持区域被定义为直线区域，该区域的点大致共享相同的图像梯度角。我们把共享相同梯度角所对应的像素按照一定阈值进行分组，提取出线性支持区域。假设每个区域R以一个随机选择的像素pi开始。与梯度角正交的区域角度θ_R定义为水平线角度：

然后，当区域角度θ_R达到一定精度τ之时，把水平线方向上的相邻像素

添加到区域R：

重复此过程，直到没有添加新的像素为止。τ的值是用于搜索线路支持区域的角度容差。一个小的τ值会导致线段的过度分割，而较大的一个τ则导致区域R较大。我们利用提取的线性支持区域来表示场景的分割。与对应的线性支持区域相关联的线段由矩形区域Li＝(Oi,θi,li,wi)表示，其中，中心点Oi，区域角度θi，长度li和宽度wi。对于要描述的二进制图像，与属于矩形区域的像素近似的像素被分配为1，而其他被分配为0。

步骤S2中，初始对应关系的建立，从参考和待配准图像的分段线路支持区域建立初始SIFT对应匹配。SIFT匹配包括五个主要步骤：尺度空间极值检测，关键点定位，方向分配，关键点描述符和关键点匹配。如前所述，SIFT匹配通过最近邻方法有效实现。最近邻被定义为128个SIFT向量之间的最小欧几里德距离的关键点。匹配的有效措施是比率d_ratio，其表示最近邻居的距离和第二最近邻居的距离之间的比率。图像被线路支持区域分割，很可能正确的匹配仅发生在具有相同二进制值的关键点之间。因此，可以通过从两个对应的特征点集合中分别提取具有相同像素的关键点之间的匹配来简化线支持区域的初始匹配。

利用SIFT算法完成参考图像与待配准图像之间对应点的匹配工作，其转换表达式如下所示：

其中(x′，y′)是参考图像中的控制点，(x，y)是待配准图像中相对应的控制点，组成匹配点对子，θ是旋转变换的角度，(t_x，t_y)是平移矢量，S是缩放变换的比例因子。

步骤S3中，利用目标点与有向边界的关系，对所有的关键点进行分类。给定属于参考图像和待配准图像的两个初始匹配点集合{p_i}和{q_j}。对于每一个目标对象(p_i,q_i)，存在从(p_i,q_i)开始到其对应任一关键点(p_j,q_j)的N-1个有向边界<p_i→p_j>和<q_i→q_j>。基于关键点和有向边界之间的关系，对特征点集合中的N个关键点进行分类，通常可分为三种情形。以<q_i→q_j>为例，所有的关键点可分为以下三类：位于<q_i→q_j>的左侧、位于<q_i→q_j>的右侧和位于有向边界之上。判断关键点和<q_i→q_j>的位置关系可由：

式中，(x,y)表示关键点的位置，|.|表示矩阵的行列式。上述三种不同的位置关系可以由det(p_i→p_j,p_k)的不同符号表示，包括正号、负号和零。

步骤S4中，利用集合异常值剔除的方法提高配准的精确度。该步骤使用diff_i→j(k)检测每个关键点(p_k,q_k)和对应的有向边界<p_i→p_j>或<q_i→q_j＞的分类差异值。其表达式如下：

如果所有的关键点在集合{p_i}和{q_j}中是正确匹配的，那么，位置关系diff_i→j(k)的值应为0,。而对于具有最大差异累积的候选剔除值i^out,我们用下式进行求解判断：

当候选异常值被识别之后(即diff_i→j(k)≠0，取得最大累积差异值i^out)，要相应地剔除掉所有与候选异常值相关的有向边界。伴随着剩余对应点对的减少，新的迭代过程开始(转向S3)。接着利用位置关系对残留关键点进行分类。当

时，迭代停止。表明对应的位置关系没有差异值，不再需要进行候选异常值的剔除。

步骤S5中，由LSD检测的线段是不完整的，因为具有细节或噪声的线特征容易被检测为重叠的段或几个断裂段。通过LSD方法以更粗糙的分辨率分析有助于检测全局结构，图像细节或噪声在全分辨率下也因此被掩蔽。粗糙的分辨率可以为特征提取和匹配提供更好的初始条件，并且可以滤除相应图像中稍微不同的细节。因此，我们提出了迭代策略，以利用图像下采样到较粗的分辨率图像来确保配准的准确性。迭代之后，重新分割和重新匹配，直到达到预期的准确度。

所以，利用一种多分辨率的迭代方法，检测图像的细节或噪声在全分辨率下被屏蔽的全局结构。利用与当前分辨率相关的均方根误差值

来估计相应匹配的准确度，其表达为：

其中T(·)表示转换模型，对剩余匹配利用公共模型参数估计方法(最小二乘法LSM)估计其参数θ^*，式中L是迭代次数。对于具有较粗分辨率的图像，要求进行迭代，实现重新提取和分配，多分辨率的框架会反复进行，直到

完成参考图像和待配准图像的配准。

本发明公开了一种基于线性特征区域分割的平面地图图像配准方法，采用分割线检测的方法(LSD)进行线性特征的提取，把线段从线性支持区域中提取出来；接着利用SIFT算法对图像特征点进行初始化匹配；以目标点与有向边界的位置关系，对所有的关键点进行分类；通过计算匹配点对子之间的差异值进行判断该匹配是否为正确匹配；若匹配有差异，对该值进行剔除，转入迭代的过程，重新进行关键点的匹配；若判定的所有的点对都是正确匹配的，会进一步验证图像像素。较粗的像素可以检测图像的细节或噪声在全分辨率下被屏蔽的全局结构。因此，当像素较高的时候，要进行像素的调整，再进入迭代，即对图像进行重新检测、提取、SIFT算子配对、差异值剔除等等过程。直到达到要求的像素为止。最后完成两幅图像的配准。利用梯度和像素，降低了点对子匹配的复杂度且提高了特征点匹配的精度，使得图像配准的过程更加高效准确。本发明在无人工参与的条件下，针对图像配准过程利用梯度完成线性区域的分割；对于匹配有差异的点对，能够利用几何异常值剔除掉；通过模型估计有效提高匹配的准确度。

与现有技术相比，本发明的有益效果在于：

(1)解决了地图图像存在较大的仿射变换(包括缩放、旋转、切变)，现有的图像特征点匹配方法很难实现高精度匹配的问题；

(2)此外，还解决了在地图图像中存在的街道名称的兴趣图标和文本并不总是保持与整个地图图像相同转换的问题。

附图说明

图1为本发明一种基于线性特征区域分割的平面地图图像配准方法的流程图；

图2a为本发明具体实施例中以定向边缘<p₁→p₄>和<q₁→q₄>进行分类且不带异常待剔除值的结构示意图；

图2b为本发明具体实施例中以定向边缘<p₁→p₄>和<q₁→q₄>进行带异常待剔除值(p₇,q₇)的分类结构示意图；

图3a是本发明具体实施例中选取的参考地图和待配准地图的示意图；

图3b是本发明具体实施例中两幅地图经过线性检测和线性支持区域提取后的示意图。

图3c是本发明具体实施例中在线性支持区域运用SIFT算法初始化匹配和候选异常值的剔除后的两幅地图的点对应示意图。

图3d是本发明具体实施例中两幅地图拼接配准后所得到的示意图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

如图1所示，一种基于线性特征区域分割的平面地图图像配准方法，该方法包含如下步骤：

S1，从两个图像通道读入待匹配的地图A和地图B(如图3a所示)，我们把共享相同梯度角的所对应的像素按照一定阈值进行分组，提取出线性支持区域，把满足区域角度精度的水平方向上的像素添加到该线性支持区域中。重复该过程直到没有新的像素添加为止。可得到图3b所示的示意图。

S2，对S1中提取后的线性支持区域利用SIFT算法进行关键点的匹配；

S3，利用目标点与有向边界的关系，对所有的关键点进行分类。对于属于地图A和地图B的两个初始匹配点集合{p_i}和{q_j}。对于每一个目标对象(p_i,q_i)，存在从(p_i,q_i)开始到其对应任一关键点(p_j,q_j)的N-1个有向边界<p_i→p_j>和<q_i→q_j>。基于关键点和有向边界之间的关系，对特征点集合中的N个关键点进行分类判断关键点和<q_i→q_j>的位置关系可由：

式中，(x,y)表示关键点的位置，|.|表示矩阵的行列式。上述三种不同的位置关系可以由det(p_i→p_j,p_k)的不同符号表示，正号表示关键点位于<q_i→q_j>的左侧，负号表示位于<q_i→q_j>的右侧，零号表示位于有向边界之上。如图2a中所示，我们可以看到以<p₁→p₄>作为有向边界，而各匹配点(p₁,q₁)、(p₂,q₂)、(p₃,q₃)、(p₄,q₄)、(p₅,q₅)、(p₆,q₆)、(p₇,q₇)都是正确匹配的。

S4，利用集合异常值剔除的方法提高配准的精确度。用diff_i→j(k)检测每个关键点(p_k,q_k)和对应的有向边界<p_i→p_j>或<q_i→q_j>的分类差异值。其表达式如下：

如果所有的关键点在集合{p_i}和{q_j}中是正确匹配的，那么，位置关系diff_i→j(k)的值应为0,。而对于具有最大差异累积的候选剔除值i^out,我们用下式进行求解判断：

当候选异常值被识别之后(即diff_i→j(k)≠0，取得最大累积差异值i^out)，要相应地剔除掉所有与候选异常值相关的有向边界。伴随着剩余对应点对的减少，新的迭代过程开始(转向S3)。接着利用位置关系对残留关键点进行分类。当

时，迭代停止。表明对应的位置关系没有差异值，不再需要进行候选异常值的剔除。

如图2b所示，我们可以看到以<p₁→p₄>作为有向边界，匹配点(p₁,q₁)、(p₂,q₂)、(p₃,q₃)、(p₄,q₄)、(p₅,q₅)、(p₆,q₆)、都是正确匹配的。很显然，匹配点(p₇,q₇)并不是正确匹配，属于异常差异值，所以需要进行剔除迭代的过程。通过几何异常值剔除处理之后最后可以得到图3c所示的两幅地图A和B各匹配点都是正确匹配的示意图。

S5，最后要利用多分辨率的迭代方法，检测图像的细节或噪声在全分辨率下被屏蔽的全局结构。利用与当前分辨率相关的均方根误差值

来估计相应匹配的准确度，其表达为：

其中T(·)表示转换模型，对剩余匹配利用公共模型参数估计方法(最小二乘法LSM)估计其参数θ^*，式中L是迭代次数。对于具有较粗分辨率的图像，要求进行迭代，实现重新提取和分配，多分辨率的框架会反复进行，直到

完成地图A和地图B的的配准。(配准后得到图3d)

综上所述，本发明一种基于线性特征区域分割的平面地图图像配准方法，采用分割线检测的方法提取线性特征，把线段从线性支持区域中提取出来；利用SIFT算法对图像特征点初始化匹配；以目标点与有向边界的位置关系，对所有的关键点分类；通过计算匹配点对子之间的差异值，判断是否为正确匹配；剔除匹配有差异的点对，转入迭代，重新进行关键点匹配；若所有的关键点对都正确匹配，接着进一步验证图像像素。较粗的像素可以检测图像的细节或噪声在全分辨率下被屏蔽了的全局结构。因此，较高的像素要调整成为较低像素(即较粗像素)，迭代到第一步，直到达到要求的像素为止。最后，完成两幅图像的配准。本发明利用梯度角进行线性支持区域的分割，运用SIFT算法以及几何异常匹配点对剔除算法，最后，通过模型估计匹配的准确度使图像配准的复杂度降低，精度提高，配准的过程更高效准确。

本发明利用梯度和像素，降低了点对子匹配的复杂度且提高了特征点匹配的精度，使得图像配准的过程更加高效准确。本发明在无人工参与的条件下，针对图像配准过程中，提出了线性区域分割的方法。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种基于线性特征区域分割的平面地图图像配准方法，其特征在于，所述方法包含如下步骤：

S1，输入参考图像和待配准图像，将共享相同梯度角的点所对应的像素，按照设定阈值进行分组，提取出线性支持区域；利用分割线检测算法进行线性特征的提取，将线段从线性支持区域中提取出来；其中，利用梯度的相似度，对线性支持区域进行分割，包含：梯度角计算及对线性支持区域像素pi对应梯度角的sin值求和；

S2，在参考图像和待配准图像的线性支持区域中，利用SIFT算法建立对应的匹配，进行尺度空间的极值检测、关键点定位、方向分配、关键点的描述和关键点匹配，组成匹配点对子；

S3，通过目标对象与有向边界的关系，对所有的关键点进行分类，进一步包含：给定两个特征点集合，包含：属于参考图像和待配准图像的两个初始匹配点集合{p_i}和{q_j}；对于每一个目标对象(p_i,q_i)，存在从(p_i,q_i)开始到其对应任一关键点(p_j,q_j)的N-1个有向边界<p_i→p_j>和<q_i→q_j>，基于关键点和有向边界之间的位置关系，对特征点集合中的N个关键点进行分类；

S4，计算并判断每一组相对应的匹配点对子的差异值diff_i→j，若diff_i→j≠0，则把差异值最大的点对剔除掉后，转向步骤S3进行迭代；若diff_i→j＝0，则转向步骤S5；

S5，采用与当前分辨率相关的均方误差值

来估计匹配的准确度；设定阈值ε，对于满足

的高分辨率的图像，降低分辨率，转向步骤S1；对于满足

的低分辨率的图像，完成参考图像和待配准图像的配准。

2.如权利要求1所述的基于线性特征区域分割的平面地图图像配准方法，其特征在于：

所述的步骤S1中，假设每个线性支持区域R以一个随机选择的像素pi开始；与线性支持区域的梯度角正交的区域角度θ_R定义为水平线角度：

当区域角度θ_R达到设定精度τ时，把水平线方向上的相邻像素pi添加到线性支持区域R：

重复此过程，直到没有添加新的像素为止；其中，精度τ的值大小与用于检索线性支持区域的角度容差相对应；θ_pi、θ_pi分别是像素pi、

对应的梯度角。

3.如权利要求2所述的基于线性特征区域分割的平面地图图像配准方法，其特征在于：

所述的步骤S1中，利用提取的线性支持区域来表示场景的分割，将与对应的线性支持区域相关联的线段由矩形区域Li＝(Oi,θi,li,wi)表示，其中，Oi为中心点，θi为区域角度，li为长度和wi为宽度；对于要描述的二进制图像，与属于矩形区域的像素近似的像素被分配为1，其他像素被分配为0。

4.如权利要求1所述的基于线性特征区域分割的平面地图图像配准方法，其特征在于：

所述的步骤S2中，通过最近邻的方法实现SIFT算法匹配；最近邻是指128个SIFT向量之间具有最小欧几里德距离的关键点；利用最近邻距离和第二近邻距离之间的比率进行匹配；其中，通过对线性支持区域分割，从属于参考图像和待配准图像的两个初始匹配点集合中，利用相同的像素完成对线性支持区域的初始化匹配。

5.如权利要求4所述的基于线性特征区域分割的平面地图图像配准方法，其特征在于：

利用SIFT算法完成参考图像与待配准图像之间对应点的匹配工作，其转换表达式为：

其中(x′，y′)是参考图像中的控制点，(x，y)是待配准图像中相对应的控制点，两者组成匹配点对子，θ是旋转变换的角度，(t_x，t_y)是平移矢量，s是缩放变换的比例因子。

6.如权利要求1所述的基于线性特征区域分割的平面地图图像配准方法，其特征在于：

所述的步骤S3中，基于关键点和有向边界之间的位置关系，将特征点集合中的N个关键点根据位置关系分为三类：位于有向边界左侧、位于有向边界右侧、位于有向边界之上。

7.如权利要求6所述的基于线性特征区域分割的平面地图图像配准方法，其特征在于：

所述的步骤S4中，进行集合异常值剔除，使用diff_i→j(k)检测每个关键点(p_k,q_k)和对应的有向边界<q_i→q_j>或<q_i→q_j>的分类差异值，其表达式如下：

该式表示所有的关键点在集合{p_i}和{q_j}中均为正确匹配时，位置关系diff_i→j(k)的值为0；其他情况diff_i→j(k)的值为1；其中，det(p_i→p_j,p_k)为关键点和有向边界<q_i→q_j>的位置关系，det(q_i→q_j,q_k)为关键点和有向边界<p_i→p_j>的位置关系；

对于具有最大差异累积的候选剔除值i^out,用下式进行求解判断：

diff_i→j(k)≠0时，求取i^out作为最大累积差异值；当候选异常值被识别之后，将所有与候选异常值相关的有向边界剔除掉；

伴随着剩余对应点对的减少，转向步骤S3开始新的迭代过程，利用位置关系对残留关键点进行分类，直到diff_i→j(k)＝0，

时，对应的位置关系没有差异值，不再需要进行候选异常值的剔除，迭代停止。

8.如权利要求7所述的基于线性特征区域分割的平面地图图像配准方法，其特征在于：

所述的步骤S5中，利用与当前分辨率相关的均方根误差值E(L)来估计匹配的准确度，其表达为：

T(·)表示转换模型，对剩余匹配利用公共模型参数估计的最小二乘法估计参数θ^*，式中L是迭代次数；直到

结束多分辨率的迭代。

Images