CN102750696B - 一种基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法 - Google Patents

Abstract

基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，其步骤为：海岸线及陆地区域影像提取；生成SIFT特征点及特征向量；SIFT特征点匹配；计算单应矩阵；将对应海岸线重叠，计算海岸线对之间的平均横截线距离；调整RANSAC方法的距离阈值，并重新计算海岸线对之间的横截线距离；以横截线距离突变前一个实例作为最优实例，该最优实例单应矩阵即为最优单应矩阵；利用最优单应矩阵完成影像配准。本发明克服了由于海岸带影像陆地特征复杂、水域特征缺失造成的影像配准困难的问题，能够有效地进行海岸带遥感影像的自动配准，配准精度和自动化程度较高。

Description

一种基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法

技术领域

本发明涉及一种海岸带遥感影像自动配准方法，特别是涉及一种基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法。

背景技术

海岸线及海岸带土地利用制图对于航道安全、海岸带资源管理、海岸带环境保护以及海岸带的可持续发展至关重要。随着海岸带地区开发利用强度的不断增强，遥感技术在海岸带地区的应用越来越广泛。为了充分利用海量的不同分辨率、不同时相、不同范围的遥感影像，对遥感影像的自动配准而非人工配准十分必要。海岸带地区处在陆地与海洋的交界处，水域面积广阔，而遥感影像上水域不能为配准提供有用信息；海岸带陆地区域多为丛林、岩石、沙滩等，所能提供的可靠的配准特征数量也很少，且配准特征差异不显著，易产生错误匹配，影响配准精度。影像配准本身可能就是个病态过程，对于一幅影像上提取出来的而在另一幅影像上并无对应特征点的特征，在配准过程中也可能形成一个配准点对。因此海岸带遥感影像相对于陆地区域影像配准难度更高，自动配准精度往往更差。

遥感影像配准方法很多，可以划分为基于区域的配准方法和基于特征的配准方法。基于区域的方法受各种因素的限制，包括大气衰减、明暗效果以及多时相传感器响应差异等，使用有限。目前使用较多的是基于特征的配准方法，其中仿射不变特征配准方法近40年来一直是研究的热点。考虑到其在配准方面的优势，已经被广泛应用到遥感影像的自动配准中。该方法最早由Lowe提出，后来学者先后进行了改进，形成了一系列适用于遥感影像配准的方法。例如，吴波等在2011年第7期《Photogrammetric engineering and remote sensing》撰文“A Triangulation-based Hierarchical Image Matching Method for Wide-Baseline Images”，在用SIFT算法提取放射不变特征后，结合RANSAC方法使用一种自适应的三角形约束方法进行特征的匹配从而进行层次的影像配准。程亮等在2008年第2期《Geoscience and Remote Sensing Letters》撰文“Robust affine invariant feature extraction for image matching”，提出使用MSER算法进行仿射不变特征的寻找，使用SIFT算子进行仿射不变特征的描述，使用信息熵和空间分布对这些特征进行评估，最后进行影像配准。诸如此类的改进方法还很多，由于仿射不变特征本身的优越性，大多数基于仿射不变特征的配准方法都能取得比较好的配准效果，但是海岸带地区由于其情况的复杂性和特殊性，传统的方法应用于海岸带影像配准效果并不理想。

目前，专门针对海岸带遥感影像配准的方法很少，配准的自动化程度不高，对海岸带遥感影像信息尤其是海岸线信息的利用不够充分。例如，Eugenio等在2002年《Geoscience and Remote Sensing》撰文“A contour-based approach to automatic and accurate registration of multitemporal and multisensor satellite imagery”，提出了一种基于海岸线的线特征配准方法，该方法首先使用Sobel算子从海岸带遥感影像上提取海岸线线特征，根据计算得到的影像梯度能量图进行海岸线特征匹配，最后进行影像的配准。该方法基于Sobel算子进行海岸线线特征的提取，海岸线提取的精度有限，同时基于线特征的配准难度较高，自动化程度不高。刘朝霞等在2012年第2期《Geoscience and Remote Sensing》撰文“A Simple and Robust Feature Point Matching Algorithm Based on Restricted Spatial Order Constraints for Aerial Image Registration”提出一种鲁棒性的基于特征的配准方法——受限空间顺序约束方法，该方法基于相邻空间关系定义仿射不变描述子，使用图谱理论对两个配准图谱进行配准得到最小总配准误差的配准转换系数，同时为了排除可疑配准对，使用双向空间顺序和两个规则限制进行约束。该方法在一定程度上可以进行海岸带遥感影像的配准，但是配准精度依赖于影像质量，且配准速度较慢对海岸带影像的信息的利用不充分。已有的少数海岸带遥感影像配准的方法，多是在传统的方法上改进相应的参数，配准精度不高。海岸带地区具有明显的线特征，该特征能够为海岸带影像配准提供可靠的依据。然后线特征的配准方式难度较高，自动化程度也较低，可以考虑利用仿射不变特征提取点特征进行匹配，根据线特征进行约束，从而得到较好的配准效果。

发明内容

本发明要解决技术问题是：克服现有技术的上述不足，提供一种基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，其结合了遥感影像配准中应用最广泛的仿射不变特征，同时充分利用海岸带提供的海岸线信息，可以自动、快捷、准确地进行海岸带遥感影像的配准。

为了解决以上技术问题，本发明提供的一种基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，包括以下步骤：

步骤1、海岸线及陆地区域影像提取——分别提取参考海岸带遥感影像、待配准海岸带遥感影像的海岸线及陆地区域影像；

步骤2、生成SIFT特征点及特征向量——分别使用SIFT算子对两幅陆地区域影像进行仿射不变特征检测，得到两幅陆地区域影像的SIFT特征点，并对检测到的所有SIFT特征点生成特征向量；

步骤3、SIFT特征点匹配——两幅陆地区域影像的SIFT特征点的特征向量之间做距离运算，将特征向量之间距离最近的若干对SIFT特征点作为匹配的SIFT特征点对； 

步骤4、计算单应矩阵参数——使用RANSAC方法对匹配的SIFT特征点对进行处理，RANSAC方法的输入参数为距离阈值、输入的几何模型为参数未知的单应矩阵，处理后获得局内SIFT特征点对及单应矩阵的具体参数，首次执行本步骤时RANSAC方法的距离阈值取值范围为（0，1]；

步骤5、计算平均横截距离——利用步骤4中获得的含有具体参数的单应矩阵对待配准影像的海岸线进行变换，将变换后海岸线与参考影像的海岸线重叠，并计算两海岸线对之间的平均横截线距离；

步骤6、获得最优单应矩阵——逐步增大RANSAC方法的距离阈值，并重复步骤4至步骤5直到平均横截线距离出现突变，得到若干组由距离阈值、局内SIFT特征点对、含有具体参数的单应矩阵、平均横截线距离构成的实例，以平均横截线距离突变前一个实例作为最优实例，该最优实例的距离阈值为最优距离阈值，该最优实例的单应矩阵即为最优单应矩阵；

步骤7、影像配准——利用步骤6中得到的最优单应矩阵对待配准海岸带遥感影像进行变换，完成影像配准。

本发明使用海岸线对平均横截线距离作为约束条件对RANSAC算法的距离阈值进行自动筛选，并且据此获得用于影像配准的单应矩阵。本发明能够充分利用海岸带影像提供的有限的特征点，并且将仿射不变特征与海岸线约束有机的进行结合，自动准确地从中选取可靠的特征点对实现了影像的配准。

平均横截线距离计算方法如下：以设定的打断间隔对参考海岸线打断，对于每个断点在其法线方向上构建横截线，与变换后的海岸线相交，计算横截线长度，若不相交，则横截线长度为0，计算所有横截线的平均距离即为两海岸线之间的平均横截线距离。本发明中，打断间隔设置为10个像素。

本发明中，首次执行步骤4时，距离阈值取值为0.001，第二、第三、第四次执行步骤4时，距离阈值分别取0.1,1，5，第四次执行步骤4以后，距离阈值每次增加5。当前实例的平均横截线距离大于前一实例的平均横截线距离5倍，则判定出现突变，前一实例为最优实例。如果距离阈值增加到100时，平均横截线距离仍未出现突变，则判定当前两影像无法实现自动配准，并停止配准。

进一步的，在所述步骤1中，使用Level set方法提取海岸线，把提取到的海岸线转换成面数据，并对水域部分进行过滤，得到陆地区域影像。为了提高特征点匹配的准确率，匹配SIFT特征点时，当最小特征向量距离与次最小特征向量距离的比值大于0.6时，特征向量距离最小的那一对SIFT特征点作为匹配的SIFT特征点对。

可见，本发明使用一种线状特征作为约束，对仿射不变特征的点匹配过程进行约束，具体在于：使用Level set算法提取海岸线，使用SIFT算法提取仿射不变特征，并使用最邻近和次最邻近的比值进行SIFT特征的匹配，基于海岸线约束进行RANSAC最优阈值的确定以及局内SIFT特征点对，根据最优单应矩阵进行海岸带影像配准。

相比现有技术，本发明充分结合了仿射不变特征在遥感影像特征提取与描述方面的优势以及海岸带所提供的充分可靠的海岸线信息，形成了一种自动、快速、准确的海岸带遥感影像配准方法。具体创新点及有益效果如下：

第一，本发明提出了一种使用线特征作为点特征匹配点对选取的约束，能够自动准确地确定RANSAC距离阈值，为影像自动准确配准的方法提供了一种新的思路。具体使用Level set算法提取海岸线；使用SIFT算子提取仿射不变特征点，并进行特征点对的匹配；最后使用海岸线作为约束条件确定RANSAC算法的距离阈值。这种方法避免了人为确定阈值的不可靠性和不稳定性，其自动化程度高。

第二，本发明能够充分利用海岸带影像提供的有限的特征点，自动准确地从中选取可靠的特征点对进行影像的配准。具体是对于仿射不变特征提取的点特征，使用RANSAC方法进行筛选，同时使用海岸线作为约束，自动准确确定RANSAC距离阈值，从而获得准确的匹配点对。

综上，本发明充分挖掘海岸带可用来进行影像配准的信息，提出了一种以海岸线作为约束，仿射不变特征作为特征提取方法，自动、快速、准确的进行海岸带遥感影像配准的方法。整个方法，自动化程度较高、精度较高，稳定性较高。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明方法流程图。

图2a为参考海岸带遥感影像。

图2b为待配准海岸带遥感影像。

图3a为参考海岸带遥感影像经Level set方法处理后得到影像。

图3b为参考海岸带遥感影像经Level set方法处理后得到影像。

图4a为参考影像提取的特征点示意图。

图4b为待配准影像提取的特征点示意图。

图5a为待配准影像进行仿射变换后与参考影像的对比图。

图5b为匹配结果示意图。

具体实施方式

下面根据附图详细说明本发明，本发明的目的和效果将变得更加明显。

如图1所示为本发明基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法的流程图，包括以下步骤：

步骤1、海岸线及陆地区域影像提取——分别提取参考海岸带遥感影像、待配准海岸带遥感影像的海岸线及陆地区域影像。

图2a为参考海岸带遥感影像，图2b为待配准海岸带遥感影像。本步骤中，使用Level set方法从海岸带遥感影像提取海岸线，并转换成面状数据对遥感影像水域部分进行过滤，获得陆地区域影像。海岸线一方面对海岸带影像进行过滤，得到陆地区域影像，减少计算量；另一方面是为仿射不变特征匹配提供约束，自动确定仿射不变特征点对，减少错误特征点对，提高匹配的正确率。

海岸线的提取算法已经有很多，Level set方法是目前使用较多一种海岸线提取方法，自动化和精度较高。以影像梯度、纹理特征等作为快速行进Level Set的速度项，把影像边界作为初始演化曲线，根据设定行进阈值进行Level Set曲线演进得到影像海岸线。

将海岸线线数据转换为面状数据，使用叠置分析中裁剪功能裁切原始影像数据，得到过滤后遥感影像——陆地区域影像。

如图3a为参考海岸带遥感影像经Level set方法处理后得到影像；图3b为待配准海岸带遥感影像经Level set方法处得到影像，图3a、图3b中白色虚线表示提取到的海岸带，从图中可看出，水域部分已被过滤，呈现为黑色。

步骤2、生成SIFT特征点及特征向量——分别使用SIFT算子对两幅陆地区域影像进行仿射不变特征检测，得到两幅陆地区域影像的SIFT特征点，并对检测到的所有SIFT特征点生成特征向量。

在图像配准领域，SIFT仿射不变特征是目前最好的、使用最多的特征，SIFT算法在一定程度上可解决：旋转、平移、缩放，仿射、投影变换、光照影响、目标遮挡、杂物场景。独特性好，信息量丰富，适用于海量特征数据库中进行快速、准确的匹配。相关的算法已经很成熟，相关代码都已经实现。具体实现时，通过SIFT算法对参考影像和待配准影像进行仿射不变特征提取，得到两组SIFT特征点，存放在二维数组registered[5000][128]、referenced[5000][128]里，每个特征共有128维特征向量。

如图4a为参考影像提取的特征点示意图；图4b为待配准影像提取的特征点示意图，图4a、图4b中白色箭头表示特征向量。

步骤3、SIFT特征点匹配——两幅陆地区域影像的SIFT特征点的特征向量之间做距离运算，将特征向量之间距离最近的若干对SIFT特征点作为匹配的SIFT特征点对。

提取SIFT特征后，对两幅陆地影像上的特征点进行匹配。一个特征在特征数据库中匹配可以使用最近邻的方法，而最近邻定义为特征向量的欧氏距离。然而会有很多的误匹配出现。所以没有和数据库中特征很好的匹配的特征点可以被忽略掉。这里采用利用最近邻（最小特征向量距离）和次最近邻（次最小特征向量距离）的相对值对两幅影像的SIFT特征点进行匹配，计算待配准影像上的每个特征点与参考影像上的特征点的距离（特征向量距离），得到最小特征向量距离和次最小特征向量距离，如果最小特征向量距离和次最小特征向量距离的比值大于设定阈值，这个阈值已经很成熟，一般设为0.6，则认为两个特征点匹配成功。在匹配SIFT特征点时，当最小特征向量距离与次最小特征向量距离的比值大于0.6时，特征向量距离最小的那一对SIFT特征点作为匹配的SIFT特征点对。本例中，通过计算得到23对SIFT特征点对。

步骤4、计算单应矩阵参数——使用RANSAC方法对匹配的SIFT特征点对进行处理，RANSAC方法的输入参数为距离阈值、输入的几何模型为参数未知的单应矩阵，处理后获得局内SIFT特征点对及单应矩阵的具体参数，首次执行本步骤时RANSAC方法的距离阈值取值范围为（0，1]。本例中，初始距离阈值取0.001。

RANSAC算法（方法）是一种鲁棒性的参数估计方法。基本思想是首先根据具体问题设计出某个目标函数，然后通过反复提取最小点集估计该函数中参数的初始值，利用这些初始值把所有的数据分为“局内点”和“局外点”，最后用所有的内点重新计算和估计函数的参数。使用RANSAC算法可以进行SIFT特征点对的筛选，但是RANSAC距离阈值直接关系到筛选的结果，距离阈值过大会导致正确特征点对也被剔除了，距离阈值过小会导致部分错误特征点对未被剔除。从下面的执行步骤可以看出，本发明使用海岸线作为约束自动确定RANSAC距离阈值，实现了海岸带影像的自动配准，克服了业界难题，这正是本发明的特点。

步骤5、计算平均横截距离——利用步骤4中获得的含有具体参数的单应矩阵对待配准影像的海岸线进行变换，将变换后海岸线与参考影像的海岸线重叠，并计算两海岸线对之间的平均横截线距离。

本例中，以10个像素为打断间隔对参考海岸线打断，对于每个断点在其法线方向上构建横截线，与变换后的海岸线相交，计算横截线长度，若不相交，则横截线长度为0，计算所有横截线的平均距离即为两海岸线之间的平均横截线距离。

步骤6、获得最优单应矩阵——逐步增大RANSAC方法的距离阈值，并重复步骤4至步骤5直到平均横截线距离出现突变，得到若干组由距离阈值、局内SIFT特征点对、含有具体参数的单应矩阵、平均横截线距离构成的实例，以平均横截线距离突变前一个实例作为最优实例，该最优实例的距离阈值为最优距离阈值，该最优实例的单应矩阵即为最优单应矩阵。

本实施例中，第二、第三、第四次执行步骤4时，距离阈值分别取0.1,1，5，第四次执行步骤4以后，距离阈值每次增加5。实践表明，按照本实施方法配准影像时，最优距离阈值一般都在在50以内。如果距离阈值增加到100时，平均横截线距离仍未出现突变，则判定当前两影像无法实现自动配准，并停止配准。

步骤7、影像配准——利用步骤6中得到的最优单应矩阵对待配准海岸带遥感影像进行变换，完成影像配准。

图5a为采用最优单应矩阵对待配准海岸带遥感影像进行变换后的影像，图5a中，白色虚线表示待配准影像变换后的海岸线，图5b为匹配结果示意图。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (7)

1.一种基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，包括以下步骤：

步骤1、海岸线及陆地区域影像提取——分别提取参考海岸带遥感影像、待配准海岸带遥感影像的海岸线及陆地区域影像；

步骤2、生成SIFT特征点及特征向量——分别使用SIFT算子对两幅陆地区域影像进行仿射不变特征检测，得到两幅陆地区域影像的SIFT特征点，并对检测到的所有SIFT特征点生成特征向量；

步骤3、SIFT特征点匹配——两幅陆地区域影像的SIFT特征点的特征向量之间做距离运算，将特征向量之间距离最近的若干对SIFT特征点作为匹配的SIFT特征点对； 

步骤4、计算单应矩阵参数——使用RANSAC方法对匹配的SIFT特征点对进行处理，RANSAC方法的输入参数为距离阈值、输入的几何模型为参数未知的单应矩阵，处理后获得局内SIFT特征点对及单应矩阵的具体参数，首次执行本步骤时RANSAC方法的距离阈值取值范围为（0，1]；

步骤5、计算平均横截距离——利用步骤4中获得的含有具体参数的单应矩阵对待配准影像的海岸线进行变换，将变换后海岸线与参考影像的海岸线重叠，并计算两海岸线对之间的平均横截线距离；

两海岸线对之间的平均横截线距离计算方法是，以设定的打断间隔对参考海岸线打断，对于每个断点在其法线方向上构建横截线，与变换后的海岸线相交，计算横截线长度，若不相交，则横截线长度为0，计算所有横截线的平均距离即为两海岸线之间的平均横截线距离；

步骤6、获得最优单应矩阵——逐步增大RANSAC方法的距离阈值，并重复步骤4至步骤5直到平均横截线距离出现突变，得到若干组由距离阈值、局内SIFT特征点对、含有具体参数的单应矩阵、平均横截线距离构成的实例，以平均横截线距离突变前一个实例作为最优实例，该最优实例的距离阈值为最优距离阈值，该最优实例的单应矩阵即为最优单应矩阵；

步骤7、影像配准——利用步骤6中得到的最优单应矩阵对待配准海岸带遥感影像进行变换，完成影像配准。

2.根据权利要求1所述的基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，其特征在于：打断间隔设置为10个像素。

3.根据权利要求1-2任一项所述的基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，其特征在于：首次执行步骤4时，距离阈值取值为0.001，第二、第三、第四次执行步骤4时，距离阈值分别取0.1,1，5，第四次执行步骤4以后，距离阈值每次增加5。

4.根据权利要求3所述的基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，其特征在于：对步骤6中，当前实例的平均横截线距离大于前一实例的平均横截线距离5倍，则判定出现突变，前一实例为最优实例。

5.根据权利要求4所述的基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，其特征在于：步骤6中，如果距离阈值增加到100时，平均横截线距离仍未出现突变，则判定当前两影像无法实现自动配准，并停止配准。

6.根据权利要求1所述的基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，其特征在于：步骤1中，使用Level set方法提取海岸线，把提取到的海岸线转换成面数据，并对水域部分进行过滤，得到陆地区域影像。

7.根据权利要求1所述的基于仿射不变特征与海岸线约束的海岸带遥感影像自动配准方法，其特征在于：步骤3中，匹配SIFT特征点时，当最小特征向量距离与次最小特征向量距离的比值大于0.6时，特征向量距离最小的那一对SIFT特征点作为匹配的SIFT特征点对。