CN109035315A

CN109035315A - 融合sift特征和cnn特征的遥感图像配准方法及系统

Info

Publication number: CN109035315A
Application number: CN201810987940.2A
Authority: CN
Inventors: 邵振峰; 李从敏; 杨珂; 周维勋
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2018-08-28
Filing date: 2018-08-28
Publication date: 2018-12-18

Abstract

本发明提供一种融合SIFT特征和CNN特征的遥感图像配准方法及系统，包括对输入的参考影像和待配准影像进行特征点提取，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先采用迁移学习策略训练完成的CNN模型进行高层特征表达，获取CNN特征；将SIFT特征和CNN特征进行融合，计算相似性，估算参考影像和待配准影像之间几何变换参数，对待配准影像进行几何变换并重采样，获得配准影像。本发明结合传统特征提取的底层特征和基于卷积神经网络提取的高级特征，联合特征能更准确地表达遥感影像内容，极大提高了遥感影像配准精度，具有较强的适应性。

Description

融合SIFT特征和CNN特征的遥感图像配准方法及系统

技术领域

本发明属于遥感影像处理技术领域，涉及一种融合SIFT特征和CNN特征的遥感图像配准方法及系统。

背景技术

影像配准是指根据带有地理参考的影像将未配准的影像进行几何纠正的过程，这些影像内容包含相同的区域，可能来源于不同的拍摄时间、不同的传感器或者不同的拍摄视角。影像配准是遥感图像处理领域的基本问题，对后续应用具有重大的影响，如影像融合、变化检测等。

影像配准主要分为影像匹配、几何变换参数估计和影像变换三个步骤，影像匹配是影像配准的基础。因此，类似于影像匹配，影像配准方法大致可以分为基于区域的匹配方法和基于特征的匹配方法。基于区域的配准方法主要使用互信息(Mutual Information，MI)和归一化互相关(Normalized Cross-Correlation，NCC)来度量影像之间的相似性，获得匹配点对并优化估计几何变换参数。虽然该类方法实现简单，但是对影像灰度、几何畸变以及噪声等比较敏感。基于特征的匹配方法使用点、线、面等特征来建立影像间点对的对应关系，能很好地克服基于区域配准方法的不足。在基于特征的配准方法中，最具有代表性的方法为SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)，对于一般图像来说，SIFT描述子具有良好的尺度、旋转不变性，而且对于影像视角变化、明暗变化等也具有一定的不变性，能够很好地提取图像特征，但是SIFT描述子最初是为自然图像设计的，而遥感影像可能是从不同角度、不同传感器、不同时间获取的，在面对复杂的遥感影像时，SIFT描述子不能很好地表达影像内容。除此之外，在面对复杂多样的遥感影像时，需要根据影像特性人工设计相应配准方法，且配准方法的适应性差。

近年来，基于深度学习的特征提取方法得到了快速发展，这是一种数据驱动的方法，能够从影像中自动学习影像特征。但是，基于深度学习的特征提取方法对样本的依赖大，目前已经有许多针对自然图像的样本库，而遥感影像样本库几乎没有，利用人工进行遥感影像标注代价大。并且，目前，基于深度学习的特征提取方法在遥感影像检索、分类和目标识别等领域得到了应用，但是这些方法都不是为遥感影像配准专门设计的，缺乏相应启发。因此，如何利用深度学习技术来解决遥感影像配准中的难点问题是一件很有意义的事情。

发明内容

针对现有技术的不足，本发明提供一种基于多特征融合的遥感图像配准方法及系统，有效地克服SIFT特征提取算子无法准确表达复杂的遥感影像内容，提高了遥感影像配准的精度，并为复杂多样的遥感影像提供了一种新的配准方法，具有较强的适应性。

为实现上述目的，本发明的技术方案提供一种融合SIFT特征和CNN特征的遥感图像配准方法，包括以下步骤：

步骤a，分别对输入的参考影像和待配准影像进行特征点提取；

步骤b，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；

步骤c，将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先训练完成的CNN模型对输入的特征点的邻域区域进行高层特征表达，获取CNN特征；

其中，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化；

步骤d，将SIFT特征和CNN特征进行融合，并根据相似性度量函数计算特征之间的相似性，获得参考影像和待配准影像之间的初始匹配对；

步骤e，根据特征点之间的几何一致性关系剔除误匹配对，根据正确匹配点对估算参考影像和待配准影像之间的几何变换参数；

步骤f，根据估算的几何变换参数对待配准影像进行几何变换，并进行重采样，获得配准影像。

而且，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化，包括将经自然图像训练过的网络模型作为初始模型，采用遥感样本数据集进行训练优化。

而且，构建遥感样本数据集的实现方式为如下，

设从待配准影像中选取N幅影像{I₁,I₂,...,I_N}，并对每一幅影像进行k次变换{T₁,T₂,...,T_k}，获得相应变换后的影像

当使用经典点特征检测算子，从影像I_i中提取m个特征点{x_i1,x_i2,...,x_im},i＝1,...,N，根据上述变换关系，则从变换后的影像中获得相应特征点构成的同名特征点对为

以特征点为中心，选取特征点的邻域区域，则获得对应的同名图像块实现构建遥感样本数据集。

而且，步骤c中，卷积神经网络采用VGG16模型，选取第6层和第7层的全连接层输出结果作为特征表达结果，分别记为CNN特征f_c6和f_c7。

而且，步骤d中，将SIFT特征和CNN特征进行融合前进行归一化。

本发明还提供一种融合SIFT特征和CNN特征的遥感图像配准系统，包括以下单元：

第一单元，用于分别对输入的参考影像和待配准影像进行特征点提取；

第二单元，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；

第三单元，将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先训练完成的CNN模型对输入的特征点的邻域区域进行高层特征表达，获取CNN特征；

第四单元，将SIFT特征和CNN特征进行融合，并根据相似性度量函数计算特征之间的相似性，获得参考影像和待配准影像之间的初始匹配对；

第五单元，根据特征点之间的几何一致性关系剔除误匹配对，根据正确匹配点对估算参考影像和待配准影像之间的几何变换参数；

第六单元，根据估算的几何变换参数对待配准影像进行几何变换，并进行重采样，获得配准影像。

而且，构建遥感样本数据集的实现方式为如下，

而且，第三单元中，卷积神经网络采用VGG16模型，选取第6层和第7层的全连接层输出结果作为特征表达结果，分别记为CNN特征f_c6和f_c7。

而且，第四单元中，将SIFT特征和CNN特征进行融合前进行归一化。

与现有技术相比，本发明提供的技术方案的有益效果为：

(1)本发明结合了传统特征提取的底层特征和基于卷积神经网络提取的高级特征，并用于遥感影像配准，极大地提高了遥感影像配准的精度；

(2)本发明采用了迁移学习的策略来训练CNN网络参数，使该方法具有较强的适应性。

(3)本发明采用一种新的构建训练样本数据集方式，不依赖于外部数据。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提出的一种基于多特征融合的遥感图像配准方法及系统，首先采用传统点特征检测算子在参考影像和待配准影像上分别提取特征点；其次采用传统局部特征描述子和训练好的CNN模型对以特征点为中心的邻域区域进行联合特征表达，并计算联合特征之间的相似性，获得初始匹配点对；最后采用几何一致性约束剔除误匹配点对，优化求解影像间的几何变换参数，并基于这些参数对待配准影像进行几何变换，获得配准影像。

具体实施时，本发明可采用计算机软件技术实现自动运行流程。为详细说明本发明技术方案，请见图1，本发明实施例提供的一种基于多特征融合的遥感图像配准方法及系统，包括以下步骤：

1)分别对输入的参考影像和待配准影像进行特征点提取；

本发明方法可以采用现有技术中的多种经典点特征检测算子提取特征点，实施例中，优选采用DoG(Difference of Gaussian)算子对分别对输入的参考影像和待配准影像进行特征点提取。

2)采用SIFT方式对步骤1所得特征点的邻域区域进行特征表达，获得SIFT特征；

现有技术可以采用多种传统设计的描述子对步骤1)提取的局部区域进行描述，在众多特征描述符中，由于SIFT描述符具有较好的尺度、旋转不变性，且对视角变化、亮度变化具有一定的不变性，而被广泛应用。因此，本发明优选采用SIFT描述符对特征点的邻域区域进行特征表达。

实施例中，邻域区域大小是s×s。具体实施时可以预设取值，实施例中s的取值为64。

3)将特征点的邻域区域作为卷积神经网络(Convolutional Neural Networks，CNN)的输入端，使用训练好的CNN模型对输入的特征点的邻域区域影像块进行特征表达；

本发明提出，在采用CNN模型对以特征点为中心的局部区域进行特征提取之前，构建了专门的遥感影像数据集对CNN模型的网络参数进行了优化和微调，使之更能准确地表达复杂的遥感影像。并且，构建用于模型训练的遥感数据集时，构建方式简单，且构建时顾及了遥感影像间存在的几何变化、灰度变化以及噪声等因素，使得经过该数据训练的CNN在一定程度上仍然会保持这种不变性。

为了确保卷积神经网络对影像特征表达的准确性，网络中的权重参数极其重要，而对于一幅新的未配准的遥感影像来说，从头开始训练网络参数非常耗时，为了缩短网络训练时间以及增强网络模型对新影像的适应性，本发明采用迁移学习的策略来对参数进行优化，即将现有的经自然图像训练过的网络模型作为本次匹配网络的初始模型，采用目标数据对该网络模型的参数进行优化，到达其网络参数能够很好地描述目标数据的效果。在对步骤1)提取的局部区域进行特征表达之前，需要充足的样本数据对网络参数进行训练优化。目前已有众多公开的自然图像数据集，相比而言，遥感影像的样本数据集几乎没有，且通过人工标记样本数据的代价大。因而，本发明采用一种简单有效的方法来构建遥感影像样本数据。分析遥感影像之间的形变可知，遥感影像间主要存在几何和辐射等差异，本发明实施例在构建遥感影像样本数据集时，顾及了遥感影像间存在的几何变化、灰度变化以及噪声等因素，具体构建方式如下：

设从待配准的影像中选取N幅影像{I₁,I₂,...,I_N}，并对每一幅影像进行k次变换{T₁,T₂,...,T_k}，例如旋转、平移及仿射、亮度、添加噪声等变换，获得变换后的影像当使用经典点特征检测算子如DoG算子，从影像I_i中提取m个特征点{x_i1,x_i2,...,x_im},i＝1,...,N，根据上述变换关系，则可以从变换后的影像中获得特征点那么，其构成的同名特征点对为然后以特征点为中心，选取s×s大小的区域作为该特征点的邻域，则可以获得对应的同名图像块如此构建样本数据。具体实施时，可以根据需要预设N、k、m的取值。

采用这种方式来构建影像数据集有如下优势：1)可以替代人工标注样本，以较小的代价获取充足的遥感样本数据；2)该类样本数据在构造时采用不同的几何和亮度变换，模拟了遥感影像之间的旋转、尺度等几何变换、亮度变换以及噪声等，用该类数据训练的卷积神经网络在一定程度上仍然会保持这种不变性；3)构建样本不依赖于外部数据。

在此发明中，将图像块匹配的问题转化成图像分类的问题，如此，可构建一个m类、每类包含2k个图像块的标签数据，然后从中随机选出80％同名图像块作为训练数据集，剩下的20％作为测试数据集，同时优化预训练的卷积神经网络，获得优化的匹配网络权重。通常CNN网络包含多个卷积层、池化层和全连接层，不同的层可以提取不同级别的图像特征，一般说来，网络层次越深，越能刻画影像内容本质，通常使用CNN网络第6和第7层全连接层的输出结果来作为图像的特征，可参见Donahue J,Jia Y,Vinyals O,et al.DeCAF:a deepconvolutional activation feature for generic visual recognition[J].2013,50(1):I-647。

本发明提出采用迁移学习的策略优化CNN模型网络参数。卷积神经网络中经典的网络结构有多种，如VGG，AlexNet，GoogleNet等。本发明实施例优选所采用的卷积神经网络结构为VGG16模型，该模型已经由ImageNet大规模自然图像数据集进行训练，对网络参数进行初始化，然后采用上述构建的数据集对网络参数进行微调和优化，使之更能准确地提取遥感影像特征。采用这种方式避免了从头开始训练网络参数，在一定程度上能提高算法的效率和适应性。具体实施时，本发明采用优化的VGG16模型的第6和第7层的全连接层输出结果f_c6和f_c7作为提取的高级特征，相比于传统低层特征，CNN提取的高级特征更能表达图像的本质特征，且具有更好的适应性。

实施例中，对于步骤1中从参考影像和待配准影像中提取的任意特征点(x,y)，以该点为中心的s×s邻域区域作为卷积神经网络的输入，并利用训练好的卷积神经网络来提取图像块特征，其特征表达为卷积神经网络的全连接层的输出结果f_c6和f_c7。

4)将SIFT特征和CNN特征进行融合，并根据相似性度量函数计算特征之间的相似性，获得参考影像和待配准影像之间的初始匹配对；

具体实施时，本发明采用的SIFT是为自然图像设计的特征描述符，面对复杂多样的遥感影像时，SIFT不足以准确地表达遥感影像内容,而基于CNN提取的高级特征能够很好地刻画影像本质，因此，将SIFT特征f_T和CNN特征f_c6和f_c7结合形成新的特征，能够更准确地表达影像内容，有利于提高影像配准精度。

实施例中，对于输入的参考影像和待配准影像中的任意特征点P、P′以该点为中心的s×s邻域内的SIFT特征和CNN的联合特征表达分别为P＝{f_T,f_c6,f_c7}、P′＝{f_T′,f_c6′,f_c7′}。即特征点P的联合特征SIFT特征f_T和CNN特征f_c6和f_c7，特征点P′的联合特征SIFT特征f_T′和CNN特征f_c6′和f_c7′，

由于SIFT描述的特征与CNN描述的特征之间具有较大的差异性，在进行相似性计算之前必须进行特征归一化，具体实施时，采用类似于rootSIFT中的归一化算法，对CNN特征f_ci进行归一化，具体表达式为：

其中，f_nci为归一化后的CNN特征。

对于归一化后的联合特征，其相似性度量的计算公式为：

S(P,P′)＝exp(s(f_T,f_T′))×(s(f_nc6,f_nc6′)+s(f_nc7,f_nc7′))

其中，S(.)表示特征向量之间的欧式距离，用来衡量待配准影像和参考影像上的特征点之间的相似性。为了便于表达起见，用f标识参考影像上任意一点的特征，相应地，f′标识待配准影像上任意一点的特征。通过该表达式可以使正确匹配点之间的距离更近，而使错误匹配点之间的距离更远。

计算特征相似性后，对于每一个特征，其最小值S_min(P,P′)与其次小值S_nmin(P,P′)的比值小于一定的阈值Δ，则认为该匹配对是一对正确的匹配对，具体实施时，Δ的取值可优选为0.8；

5)根据特征点之间的几何一致性关系剔除误匹配对，同时根据正确匹配点对估算参考影像和待配准影像之间的几何变换参数；

由于匹配中不可避免地存在误匹配的点对，为保证后续配准精度，需要采用一定的方法剔除误匹配点对。本发明实施例优选采用现有的基于单应性矩阵的RANSAC(RandomSample Consensus)方法剔除误匹配点，获得用于参数估计的匹配点对。

6)根据估算的几何变换参数对待配准影像进行几何变换，并进行重采样，获得配准影像。

具体实施时，根据步骤5)获得的匹配点对，本发明实施例优选采用最小二乘法估算影像间的几何变换参数，并利用这些参数，采用反解法和双线性内插算法纠正待配准影像。最小二乘法、反解法和双线性内插算法为现有技术，本发明不予赘述。

具体实施时，还可采用模块化方式提供相应系统。本发明实施例还提供一种融合SIFT特征和CNN特征的遥感图像配准系统，包括以下单元：

各单元实现可参见相应步骤，本发明不予赘述。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims

1.一种融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于，包括以下步骤：

2.根据权利要求1所述融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于：预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化，包括将经自然图像训练过的网络模型作为初始模型，采用遥感样本数据集进行训练优化。

3.根据权利要求2所述的融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于：构建遥感样本数据集的实现方式为如下，

4.根据权利要求1所述的融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于：步骤c中，卷积神经网络采用VGG16模型，选取第6层和第7层的全连接层输出结果作为特征表达结果，分别记为CNN特征f_c6和f_c7。

5.根据权利要求1或2或3或4所述的融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于：步骤d中，将SIFT特征和CNN特征进行融合前进行归一化。

6.一种融合SIFT特征和CNN特征的遥感图像配准系统，其特征在于，包括以下单元：

7.根据权利要求6所述融合SIFT特征和CNN特征的遥感图像配准系统，其特征在于：预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化，包括将经自然图像训练过的网络模型作为初始模型，采用遥感样本数据集进行训练优化。

8.根据权利要求7所述的融合SIFT特征和CNN特征的遥感图像配准系统，其特征在于：构建遥感样本数据集的实现方式为如下，

9.根据权利要求6所述的融合SIFT特征和CNN特征的遥感图像配准系统，其特征在于：第三单元中，卷积神经网络采用VGG16模型，选取第6层和第7层的全连接层输出结果作为特征表达结果，分别记为CNN特征f_c6和f_c7。

10.根据权利要求6或7或8或9所述的融合SIFT特征和CNN特征的遥感图像配准系统，其特征在于：第四单元中，将SIFT特征和CNN特征进行融合前进行归一化。