CN109784223B - 一种基于卷积神经网络的多时相遥感影像匹配方法及系统 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的多时相遥感影像匹配方法及系统，包括对输入的参考影像和待匹配影像采用固定大小进行分块；采用特征点检测算子在所得的影像块内提取特征点；以提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；采用RANSAC算法和特征点之间的几何约束性对剔除错误匹配对，获得最终匹配结果。本发明在遥感数据训练样本缺失的情况下，能够提高多时相遥感影像匹配配准的精度，具有较强的适应性。

Description

一种基于卷积神经网络的多时相遥感影像匹配方法及系统

技术领域

本发明属于遥感影像处理技术领域，涉及一种基于卷积神经网络的多时相遥感影像匹配方法及系统。

背景技术

多时相遥感影像匹配被广泛的应用于军事和民用领域，例如遥感影像配准、影像融合、以及城市变化检测等。由于气候条件、光照以及地表覆盖类型的变化，不同时间获取的影像可能包含不同的内容，这些影像内容的变化给多时相影像匹配带来了极大困难。

一般说来，影像匹配方法可以分为基于区域的方法和基于特征的方法。基于区域的方法直接利用影像灰度值进行匹配，而多时相的遥感影像灰度差异大，相反，基于特征的方法利用更高级的特征，如点、线、区域等，来对影像进行匹配，因而基于特征的方法更适合于解决多时相遥感影像匹配的问题。基于特征的方法中，SIFT方法最为经典，这得益于其对影像旋转和尺度变化的鲁棒性，大多数的方法都是在SIFT方法上直接或者间接进行改进。然而，在多时相的遥感影像中，影像灰度差异带来的匹配难题远远超过了由影像几何形变带来的问题，此时，再利用SIFT方法匹配时，会得到很多错误的特征点，甚至会因为其匹配结果差而影响匹配结果的后续利用。

近几年来，不少学者提出了基于深度学习的匹配方法。这类方法是基于深度网络的，不需要手工去设计这些特征描述子，可以根据训练样本来直接度量影像块之间的相似性，然而，这些方法几乎都是用于自然影像的匹配，对于多时相的遥感影像匹配问题还未涉及。因而，如何利用深度学习的方法来解决多时相影像匹配的问题是一个积极的尝试。

发明内容

针对现有技术的不足，本发明提供一种基于卷积神经网络的多时相遥感影像匹配方法及系统，有效地克服传统遥感影像配准方法的不足，提高了遥感影像匹配的精度，具有较强的适应性。

为实现上述目的，本发明的技术方案提供一种基于卷积神经网络的多时相遥感影像匹配方法，包括以下步骤：

步骤a，进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；

步骤b，采用特征点检测算子在步骤a划分所得的影像块内提取特征点；

步骤c，以步骤b提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；

步骤d，基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；

步骤e，采用RANSAC算法和特征点之间的几何约束性对步骤d所得匹配结果剔除错误匹配对，获得最终匹配结果。

而且，步骤c中，卷积神经网络采用VGG-16模型，利用VGG-16模型的pool3、pool4和block5conv1层输出的特征向量作为CNN提取的高级特征，将pool4和block5conv1特征上采样至pool3层大小，并对pool3、pool4和block5conv1层特征向量进行归一化，设对pool3、pool4和block5conv1层的特征归一化结果分别为f_pool3、f_pool4和f_block5conv1，获得多尺度卷积特征F_P(x,y)＝{f_pool3,f_pool4,f_block5conv1}。

而且，步骤d中，使用最邻近加权距离来度量特征之间的相似性时，表达式为D(x,y)＝md₁(x,y)+nd₂(x,y)+qd₃(x,y)，

其中，d₁(x,y),d₂(x,y),d₃(x,y)分别为匹配对的特征归一化结果f_pool3、f_pool4和f_block5conv1采用马氏距离计算得到的相似性，m、n、q分别为相应权重。

而且，步骤e中剔除错误匹配对的方式为，首先，采用RANSAC算法对步骤d获取的初始匹配点对进行初步剔除，然后，对于剩下的每一对初始匹配点对，寻找其最邻近的若干特征点并构建几何约束关系，验证该匹配点对，从而剔除误差大的匹配点对。

而且，构建几何约束关系实现如下，

设对于参考影像上任意一点P(x,y)，其在待配准影像上对应的特征点Q(x',y')，两者之间的几何关系为

当特征点Q(x',y')附近的特征点个数多于6个时，选取最邻近的6个来解算上述几何关系，得到系数a_i和b_j，i＝0,1,...,5，j＝0,1,...,5；当特征点Q(x',y')附近的特征点个数较少但不低于4个时，只解算一次项系数，二次项系数则为0；

然后根据该几何关系将参考影像上的特征点P映射到待匹配影像上成为点P'，若P'与Q的距离残差大于给定阈值，则剔除初始匹配点对(P，Q)，否则，认定(P，Q)为一对正确的匹配点，保留在最终结果中。

本发明还相应提供一种基于卷积神经网络的多时相遥感影像匹配系统，包括以下模块：

第一模块，用于进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；

第二模块，用于采用特征点检测算子在第一模块划分所得的影像块内提取特征点；

第三模块，用于以第二模块提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；

第四模块，用于基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；

第五模块，用于采用RANSAC算法和特征点之间的几何约束性对第四模块所得匹配结果剔除错误匹配对，获得最终匹配结果。

而且，步骤c中，卷积神经网络采用VGG-16模型，利用VGG-16模型的pool3、pool4和block5conv1层输出的特征向量作为CNN提取的高级特征，将pool4和block5conv1特征上采样至pool3层大小，并对pool3、pool4和block5conv1层特征向量进行归一化，设对pool3、pool4和block5conv1层的特征归一化结果分别为f_pool3、f_pool4和f_block5conv1，获得多尺度卷积特征F_P(x,y)＝{f_pool3,f_pool4,f_block5conv1}。

而且，步骤d中，使用最邻近加权距离来度量特征之间的相似性时，表达式为D(x,y)＝md₁(x,y)+nd₂(x,y)+qd₃(x,y)，

其中，d₁(x,y),d₂(x,y),d₃(x,y)分别为匹配对的特征归一化结果f_pool3、f_pool4和f_block5conv1采用马氏距离计算得到的相似性，m、n、q分别为相应权重。

而且，步骤e中剔除错误匹配对的方式为，首先，采用RANSAC算法对步骤d获取的初始匹配点对进行初步剔除，然后，对于剩下的每一对初始匹配点对，寻找其最邻近的若干特征点并构建几何约束关系，验证该匹配点对，从而剔除误差大的匹配点对。

而且，构建几何约束关系实现如下，

设对于参考影像上任意一点P(x,y)，其在待配准影像上对应的特征点Q(x',y')，两者之间的几何关系为

当特征点Q(x',y')附近的特征点个数多于6个时，选取最邻近的6个来解算上述几何关系，得到系数a_i和b_j，i＝0,1,...,5，j＝0,1,...,5；当特征点Q(x',y')附近的特征点个数较少但不低于4个时，只解算一次项系数，二次项系数则为0；

然后根据该几何关系将参考影像上的特征点P映射到待匹配影像上成为点P'，若P'与Q的距离残差大于给定阈值，则剔除初始匹配点对(P，Q)，否则，认定(P，Q)为一对正确的匹配点，保留在最终结果中。

与现有技术相比，本发明提供的技术方案的有益效果为：

(1)本发明在遥感影像训练样本缺失的情况下，利用预训练的卷积神经网络的多层卷积层直接从遥感影像中提取多尺度特征，相比于人工设计特征，该高级特征能更好地表达遥感影像，提高影像匹配的正确率；

(2)本发明采用了特征点之间的局部几何关系来剔除错误匹配点对，大大提高了遥感影像匹配的精度。

附图说明

图1为本发明实施例的流程图。

图2为现有技术中VGG-16模型的结构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提出的一种基于卷积神经网络的多时相遥感影像匹配方法，首先，对参考影像和待匹配影像进行分块，并在分块区域内采用Harris算子提取特征点；其次，将以特征点为中心一定大小的影像块输入到卷积神经网络，并利用卷积神经网络的卷积层来表达影像块特征，计算特征之间的相似性，获得初始匹配点对；最后，采用RANSAC算法和特征点之间的几何约束性对初始匹配结果提纯，获得正确匹配点对。

具体实施时，本发明可采用计算机软件技术实现自动运行流程。见图1，本发明实施例提供的一种基于卷积神经网络的多时相遥感影像匹配方法，包括以下步骤：

1)对输入的参考影像和待匹配影像采用固定大小d×d进行分块；具体实施时，可以预设分块尺寸d的取值，用于将大幅面的遥感影像进行分块，例如可以取4或者8。

为了保证获取特征点的均匀性，本发明首先对参考影像和待匹配影像进行分块处理。

2)采用特征点检测算子在步骤1划分的影像块内提取特征点；

为了保证定位的准确性，本发明采用Harris特征提取算子在分块区域内提取特征点。

3)以步骤2)提取的特征点为中心，提取固定大小s×s的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络的卷积层来提取图像特征；具体实施时，可以预设图像块尺寸s的取值，例如可以取96。

本发明采用基于卷积神经网络的方法来提取遥感影像特征，采用神经网络中的某些层的输出来描述特征。通常CNN网络包含多个卷积层、池化层和全连接层，不同的层可以提取不同级别的图像特征，一般说来，处于网络前端的卷积层提取的特征较为低级，包含了更多的几何特征，而处于网络末端的全连接层特征，包含的主要是图像的语义信息，与具体任务有关。本发明所采用的卷积神经网络结构为现有技术中的VGG-16模型，可参见Simonyan,K.,Zisserman,A.,2014.Very Deep Convolutional Networks for Large-Scale Image Recognition,arXiv preprint arXiv:1409.1556.该模型可以预先由ImageNet大规模自然图像数据集进行训练，模型结构简洁，其网络结构可以适用于不同的任务。参见图2，VGG-16包含5个卷积计算块，每个块具有2-3个卷积层和最大池化层，具体实施时，本发明采用VGG-16模型的pool3、pool4和block5conv1层输出的特征向量作为CNN提取的高级特征，由于pool4和block5conv1层的输出向量与pool3层不一致，需要对pool4和block5conv1层的特征向量进行上采样至pool3层大小。对于不同卷积层获取的特征，需要对其进行归一化以消除特征之间的差异，设对pool3、pool4和block5conv1层的特征归一化结果分别为f_pool3、f_pool4和f_block5conv1，则该特征点的联合卷积层特征表达为F_P(x,y)＝{f_pool3,f_pool4,f_block5conv1}。

4)利用最邻近距离与次邻近距离比值获得初始匹配点对；

具体实施时，首先根据公式(1)计算计算特征距离，即对归一化后的卷积层特征分别进行马氏距离计算特征之间的相似性d₁(x,y),d₂(x,y),d₃(x,y)，并加权计算不同层卷积特征，融合的特征具有多尺度特性，然后，计算最邻近距离与次邻近距离的比值δ，当比值δ小于等于预设阈值时，则认为该匹配对是一对正确的匹配对，从而获得初始匹配点集；

D(x,y)＝md₁(x,y)+nd₂(x,y)+qd₃(x,y) (1)

其中，d₁(x,y),d₂(x,y),d₃(x,y)分别为匹配对的特征归一化结果f_pool3、f_pool4和f_block5conv1的相似性，m、n、q分别为相应权重，具体实施时可以预设权重取值。实施例中，优选设置

n＝1,q＝1，比值δ的相应阈值为0.6。

5)采用RANSAC算法和特征点之间的几何约束性对步骤4)的匹配结果提纯，获得最终匹配结果；

由于匹配中不可避免地存在误匹配的点对，为保证后续配准精度，需要采用一定的方法剔除误匹配点对。本发明采用特征点之间的局部几何关系来剔除错误匹配点。首先，采用RANSAC算法初步剔除步骤4)获取的初始匹配点对，然后，对于剩余的每一对初始匹配点对，寻找其最邻近的k个特征点，并依据这些点构建几何约束关系，验证该匹配点对，从而剔除误差大的匹配点对。在本发明中，局部特征点之间的几何关系构建如下：

对于参考影像上任意一点P(x,y)，其在待配准影像上对应的特征点Q(x',y')，两者之间的几何关系为：

当该特征点附近的特征点个数多于6个时，选取最邻近的6个来解算上述几何关系，即k＝6时，解算a_i,(其中，i＝0,1,...,5)，b_j,(其中，j＝0,1,...,5)；当该特征点附近的特征点个数较少但不低于4个时，可选择k＝4，只解算一次项系数a_i，b_j,(其中，i,j＝0,1,2)，二次项系数则为0。然后根据该几何关系将参考影像上的特征点P映射到待匹配影像上成为点P'，若P'与Q的距离残差大于给定阈值，则剔除初始匹配点对(P，Q)，否则，认定(P，Q)为一对正确的匹配点，保留在最终结果中。

具体实施时，还可以采用模块化方式提供相应系统。实施例提供一种基于卷积神经网络的多时相遥感影像匹配系统，包括以下模块：

第一模块，用于进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；

第二模块，用于采用特征点检测算子在第一模块划分所得的影像块内提取特征点；

第三模块，用于以第二模块提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；

第四模块，用于基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；

第五模块，用于采用RANSAC算法和特征点之间的几何约束性对第四模块所得匹配结果剔除错误匹配对，获得最终匹配结果。

具体实现可参见相应步骤，本发明不予赘述。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于卷积神经网络的多时相遥感影像匹配方法，其特征在于，包括以下步骤：

步骤a，进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；

步骤b，采用特征点检测算子在步骤a划分所得的影像块内提取特征点；

步骤c，以步骤b提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；其中，卷积神经网络采用VGG-16模型，利用VGG-16模型的pool3、pool4和block5conv1层输出的特征向量作为CNN提取的高级特征，将pool4和block5conv1特征上采样至pool3层大小，并对pool3、pool4和block5conv1层特征向量进行归一化，设对pool3、pool4和block5conv1层的特征归一化结果分别为f_pool3、f_pool4和f_block5conv1，获得多尺度卷积特征F_P(x,y)＝{f_pool3,f_pool4,f_block5conv1}；

步骤d，基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；

步骤e，采用RANSAC算法和特征点之间的局部几何约束性对步骤d所得匹配结果剔除错误匹配对，获得最终匹配结果，剔除错误匹配对的实现方式包括首先采用RANSAC算法对步骤d获取的初始匹配点对进行初步剔除，然后对于剩下的每一对初始匹配点对，寻找最邻近的若干特征点并构建几何约束关系，验证该匹配点对，从而剔除误差大的匹配点对。

2.根据权利要求1所述基于卷积神经网络的多时相遥感影像匹配方法，其特征在于：步骤d中，使用最邻近加权距离来度量特征之间的相似性时，表达式为D(x,y)＝md₁(x,y)+nd₂(x,y)+qd₃(x,y)，

其中，d₁(x,y),d₂(x,y),d₃(x,y)分别为匹配对的特征归一化结果f_pool3、f_pool4和f_block5conv1采用马氏距离计算得到的相似性，m、n、q分别为相应权重。

3.根据权利要求1或2所述基于卷积神经网络的多时相遥感影像匹配方法，其特征在于：构建局部几何约束关系实现如下，

设对于参考影像上任意一点P(x,y)，其在待配准影像上对应的特征点Q(x',y')，两者之间的几何关系为

当特征点Q(x',y')附近的特征点个数多于6个时，选取最邻近的6个来解算上述几何关系，得到系数a_i和b_j，i＝0,1,...,5，j＝0,1,...,5；当特征点Q(x',y')附近的特征点个数较少但不低于4个时，只解算一次项系数，二次项系数则为0；

然后根据该几何关系将参考影像上的特征点P映射到待匹配影像上成为点P'，若P'与Q的距离残差大于给定阈值，则剔除初始匹配点对(P，Q)，否则，认定(P，Q)为一对正确的匹配点，保留在最终结果中。

4.一种基于卷积神经网络的多时相遥感影像匹配系统，其特征在于，包括以下模块：

第一模块，用于进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；

第二模块，用于采用特征点检测算子在第一模块划分所得的影像块内提取特征点；

第三模块，用于以第二模块提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；其中，卷积神经网络采用VGG-16模型，利用VGG-16模型的pool3、pool4和block5conv1层输出的特征向量作为CNN提取的高级特征，将pool4和block5conv1特征上采样至pool3层大小，并对pool3、pool4和block5conv1层特征向量进行归一化，设对pool3、pool4和block5conv1层的特征归一化结果分别为f_pool3、f_pool4和f_block5conv1，获得多尺度卷积特征F_P(x,y)＝{f_pool3,f_pool4,f_block5conv1}；

第四模块，用于基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；

第五模块，用于采用RANSAC算法和特征点之间的局部几何约束性对第四模块所得匹配结果剔除错误匹配对，获得最终匹配结果，剔除错误匹配对的实现方式包括首先采用RANSAC算法对步骤d获取的初始匹配点对进行初步剔除，然后对于剩下的每一对初始匹配点对，寻找最邻近的若干特征点并构建几何约束关系，验证该匹配点对，从而剔除误差大的匹配点对。

5.根据权利要求4所述基于卷积神经网络的多时相遥感影像匹配系统，其特征在于：步骤d中，使用最邻近加权距离来度量特征之间的相似性时，表达式为D(x,y)＝md₁(x,y)+nd₂(x,y)+qd₃(x,y)，

其中，其中，d₁(x,y),d₂(x,y),d₃(x,y)分别为匹配对的特征归一化结果f_pool3、f_pool4和f_block5conv1采用马氏距离计算得到的相似性，m、n、q分别为相应权重。

6.根据权利要求4或5所述基于卷积神经网络的多时相遥感影像匹配系统，其特征在于：构建局部几何约束关系实现如下，

设对于参考影像上任意一点P(x,y)，其在待配准影像上对应的特征点Q(x',y')，两者之间的几何关系为

当特征点Q(x',y')附近的特征点个数多于6个时，选取最邻近的6个来解算上述几何关系，得到系数a_i和b_j，i＝0,1,...,5，j＝0,1,...,5；当特征点Q(x',y')附近的特征点个数较少但不低于4个时，只解算一次项系数，二次项系数则为0；

然后根据该几何关系将参考影像上的特征点P映射到待匹配影像上成为点P'，若P'与Q的距离残差大于给定阈值，则剔除初始匹配点对(P，Q)，否则，认定(P，Q)为一对正确的匹配点，保留在最终结果中。

Images