CN112883850A - 一种基于卷积神经网络的多视角空天遥感图像匹配方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的多视角空天遥感图像匹配方法，相较于传统匹配算法，不仅能够保证多视角遥感图像的匹配效率，而且能显著提高多视角遥感图像的匹配准确率，具体包括：归一化预处理待匹配的航天遥感图像和航空遥感图像；通过稠密多视角特征提取神经网络对输入图像进行稠密特征提取，得到多视角显著特征点集；结合显著特征点的梯度信息和视角差异信息构建特征描述符；设计用于神经网络训练的三元组损失函数，提升神经网络提取特征点和描述特征的准确度；根据特征点描述值使用Flann特征匹配，再通过RANSAC进行筛选，得到最终匹配结果。

Description

一种基于卷积神经网络的多视角空天遥感图像匹配方法

技术领域

本发明涉及遥感图像处理技术领域，尤其是涉及一种多视角遥感图像特征匹配方法。

背景技术

进入21世纪，航空/航天遥感由于其宏观、快速、准确认识对象的优势使其在很多领域都得到应用，如灾害监测，智慧城市构建，情报侦察等。然而，航天侦察虽覆盖范围广，但难以获得目标全方位立体信息，且由于重返周期问题导致时效性受限。航空遥感监测手段虽然具有获取及时性、低空成像清晰等特性，但对于特定区域只能远距离、大倾角观测。因此，综合利用两者互补优势的空天图像(航天与航空图像)，挖掘与关联不同传感器、不同时相、不同角度、不同分辨率的图像信息，实现高精度、高效率的区域动态监测、变化检测、目标识别与定位等视觉任务，为灾害应急、反恐响应、精确打击等提供支撑，具有重要的理论意义与实用价值。其中，图像匹配是其关键核心技术和基础工作，匹配效果直接影响与制约着后续任务的成败。

图像匹配旨在将两幅图像中具有相同或相似属性的区域或结构进行像素上的对齐与映射，精确获取图像间特定区域发生的几何变换关系。由于航空平台大倾角的观测，造成了空天图像之间存在显著的视角变化和尺度差异，给空天图像特征匹配带来了极大的困难。而随着深度学习的发展，卷积神经网络(Convolution Neural Networks,CNN)在图像处理领域取得了较大的成功。CNN中的卷积层具有强大的特征提取能力，在网络训练的过程中，通过监督信息和反向传播函数更新网络层参数，使得CNN对形变和噪声等也具有较好的鲁棒性。深度学习为遥感图像匹配的研究提供了新的思路，基于深度学习的遥感图像匹配方法也更多的应用于社会生活和工业自动化。

如上所述，多视角遥感图像匹配为灾害应急与敏感区域动态监测提供技术支撑，具有十分重要的理论和实践意义。但是空天图像之间存在显著的视角变化和尺度差异增大了图像特征提取及匹配的难度，使多视角遥感图像匹配成为两种图像信息有效集成的“瓶颈”。因此，多视角遥感图像的匹配成为目前多传感器卫星图像匹配的研究热点及难题。

图1为多视角空天影像，其中左边为航空大倾角影像，右边为航天正射影像，图中白色A框所示为建筑物目标不同视角影像对比，白色B框所示为油罐目标不同视角影像对比，白色C框所示为道路目标不同尺度影像对比，正是由于上述空天图像之间目标特性的差异，使得二者的配准难度大大增加，传统的图像匹配方法并不适合于多视角遥感图像匹配问题，需要结合新的思路对其进行改进。现有图像匹配方法大体上可分为基于灰度的匹配方法和基于特征的匹配方法。下面将分别对这两类方法以及基于深度学习的图像匹配方法和多视角图像匹配的改进方法进行综述分析。

(1)基于灰度的匹配方法

基于灰度的匹配方法直接利用影像或者预设的模板窗口上的灰度信息作为基准进行匹配，而不用考虑显著的特征。经典的基于灰度的匹配方法有相关法(张祖勋等，1998；陆和平和高磊，2009)、互信息法(Maes et al.,1997；Suri and Reinartz,2010)、傅立叶方法(Foroosh et al.,2002)等。基于灰度的匹配方法对同源遥感影像的匹配具有有效性和准确性，然而文献(Zitova and Flusser,2003；宋智礼，2010；叶沅鑫，2013)指出基于灰度的匹配方法对影像间的灰度差异比较敏感，它只能满足灰度特性线性正相关影像的匹配，对于影像间存在较大的几何形变时，该方法往往会失效，很难用于异源遥感影像的匹配。

(2)基于特征的匹配方法

基于特征的图像匹配算法弥补了基于灰度匹配算法的不足，在对存在仿射变换、投影变换的图像对之间的匹配也具有很好的效果。同时，由于基于特征的匹配算法不是针对整幅图像进行匹配，而是在图像中提取出一系列具有代表性的特征，然后将两图像间的特征进行匹配，这样就使得算法复杂度大大降低，匹配速率较快。在一些对实时性要求较高的应用中，通常都使用基于特征的图像匹配算法。因此该算法也是近些年研究的热点：Harries等人提出Harries角点检测算法，经验证，Harries角点能够具有旋转不变性，同时对噪声、亮度变化具有一定的鲁棒性(Harries et al，1998)；Smith和Brady提出SUSAN角点检测法(Smith and Brady,1997)；Davis Lowe等人提出了SIFT描述子检测法，并在后来对该算法进行了完善(Davis Lowe et al,2004)。由于SIFT算法具有很高的鲁棒性，同时对尺度、旋转等变换都具有一定的不变性，所以一直都是研究的一个热点；Bosch等人针对算法对颜色信息的缺失，提出HSV-SIFT算法，即在HSV颜色空间中的每一通道内进行特征点提取，再将特征点在三通道内首尾相连形成3*128维的描述子(Bosch et al，2008)；Yan Ke等人针对SIFT维数过高、匹配时间较长的问题提出通过使用主成分分析法对SIFT算法进行降维，形成了低维度的PCA-SIFT(Yan Ke et al，2004)；GuoshenYu等人针对SIFT算法对仿射变换的敏感性，提出了具有全仿射不变性的ASIFT算法，提高了算法对多视角图像的匹配精度(Morel and Yu,2009)。但上述描述符与传统的SIFT和SURF相似，都是基于局部梯度信息构建，在极端视角的情况下(下视影像与前下视影像)匹配效果并不理想。

(3)基于深度学习的匹配方法

深度学习最早始于研究者们对人工神经网络的研究，其目的在于建立并模拟人脑进行分析学习的神经网络。2016年世界围棋冠军李世石被DeepMind所设计的人工智能系统AlphaGo击败，使得深度学习获得了前所未有的关注度。经过多年的发展，深度学习被运用在了许多领域，其中在计算机视觉中的应用是最多的，例如现在特别火的无人驾驶，深度学习在其中起到了非常重要的作用，需要对大量的目标进行识别并加以判断。

随着人工智能浪潮的兴起，基于深度学习的方法被引入到影像特征匹配中。相较于传统方法，深度学习方法的运行环境需要满足一定要求，但更主要的原因是，在图像匹配领域中，鲜有研究者提出令人满意的网络结构、损失函数以及训练方法。近些年的相关工作如下，LIFT是该领域的先驱者，它将三个卷积神经网络(分别对应关键点检测、方向估计和特征描述三个任务)结合来进行图像匹配。LIFT的训练数据通过DoG检测关键点进行SfM重建之后制作，并且训练关键点方向估计和特征描述的数据不是整张图片而是截取的图像块。更重要的是，整个LIFT并不是端到端的训练，而是先训练关键点检测器，再训练关键点方向估计，最后训练特征描述(Kwang et al,2016)。SuperPoint训练了由一个编码器和两个解码器组成的全卷积神经网络，两个解码器分别对应关键点检测和关键点特征描述。SuperPoint先使用合成的简单几何图形预训练检测器提取明显的、人工可判断的角点，然后作用透视变换制作图像训练集对检测器的网路参数进行微调(Daniel et al,2018)。最新的LF-Net提出一个新颖的端到端网络结构、损失函数和训练方法来学习图像匹配。LF-Net借鉴孪生网络和Q－Learning的思想，令一个分支来生成样本，再以此训练另一个分支的参数。它输入QVGA大小的图片，然后输出一个多尺度的响应分布，接着对响应分布进行处理来预测关键点的位置、尺度和方向，最后截取局部图像输入网络提取特征(Yuki et al,2019)。由此可以看出将深度学习应用于图像匹配领域展现出极大的潜力，此为本发明的思路来源。

(4)多视角遥感图像的匹配方法

在大倾角条件下，图像变形严重，传统的特征检测及描述方法往往不适用，尤其在极端视角下，难以实现可靠匹配。目前空天影像匹配主要有两类方法：一类是直接匹配方法，即直接在空地影像上计算特征描述符，然后通过特征描述符相似性度量来实现特征匹配；另一类是基于几何纠正的匹配方法，即先利用先验信息对空地影像进行几何纠正，生成合成影像，消除或缓解空天影像几何变形，再在合成影像之间进行特征匹配(Gao et al.,2018)。在摄影测量领域，为了克服视角和尺度变化造成的匹配难题，高精度POS数据等先验信息通常被作为辅助信息，在特征点匹配之前对影像进行全局几何纠正，整体上消除或降低影像几何变形的影响，再采用传统特征描述和匹配方法进行特征点匹配(Hu et al.,2015；肖雄武等,2015,2016；闫利等,2016；张力等,2017)。这类方法能够在一定程度上改善影像匹配的效果，但其依赖先验信息，并且由于全局纠正难以准确描述影像之间的局部几何变形，使得匹配效果的改善比较有限。将整幅影像分成多个子区域，分别对子区域进行特征点检测和匹配，可以缓解全局影像几何纠正的不足，增加匹配点的个数(Sun et al.,2014；Ai et al.,2015；Jiang and Jiang,2017)。对于无高精度POS数据的情况，可通过初匹配获取一定数量的匹配点来计算立体像对之间的几何变换模型，进而对影像进行几何纠正(仇春平等,2016；Jiang and Jiang,2017)。但这类方法依赖于初始匹配结果，由于空天大倾角影像的视角变化和尺度差异更显著，现有方法难以获得可靠的初始匹配进行影像几何纠正，进而难以保证最终同名点匹配的可靠性。

综上所述，目前针对多视角特征匹配存在的几何差异、尺度差异等问题开展了大量研究，但对于多视角遥感图像的特征匹配研究还十分鲜见，存在如下问题：1)现有特征点检测算法难以同时适应影像间尺度、视角的变化；2)现有的特征描述方法在提高对空天影像尺度、辐射变化鲁棒性的同时，对图像视角变化鲁棒性的研究缺少实质性进展，仍然难以满足多视角遥感图像高精度匹配的需求。因此，本发明提出一种基于卷积神经网络的多视角空天遥感图像匹配方法，结合神经网络特征提取优势，同时考虑图像的几何特征，旨在解决多视角遥感图像匹配问题。

发明内容

针对上述问题，本发明提出一种基于卷积神经网络的多视角空天遥感图像匹配方法，包括以下步骤：

步骤1，归一化预处理待匹配的航天遥感图像和航空遥感图像；

步骤2，将步骤1中预处理之后的图像对输入神经网络的特征提取器中，获得三维特征图；

步骤3，对步骤2所得的三维特征图进行稠密特征筛选，得到多视角显著特征点集；

步骤4，结合步骤2的三维特征图和步骤3所得的多视角显著特征点集，构建特征点的描述符；

步骤5，神经网络训练的损失函数设为一种三元组损失函数，通过该损失函数使神经网络参数进行自适应调整；

步骤6，根据步骤4得到的特征点的描述值，进行粗匹配；

步骤7，对步骤6所得的粗匹配结果进行精筛，得到最终匹配结果。

进一步的，步骤3的具体实现包含以下子步骤；

3a)为了提取更多以及在多视角和多尺度更显著的特征点，结合稠密特征的思路，使用3*3*n的网格分割步骤2所得的三维特征图F，如下所示：

F^l×w×n＝k×g^3×3×n

g代表着每个网格，k则是网格的数量，l、w和n分别为长度，宽度和通道数；

3b)每个g中存在3*3*n个像素值，相当于9个n维向量，每个向量都代表着图像中一个点的特征，从中筛选出在各个维度特征显著的点，采用以下公式：

D_ij＝max(d_ij),d_ij∈g

其中d_ij代表着每个属于g区域的特征点，i、j代表着特征点在图像中的的像素坐标，I代表着特征点在不同维度的像素值，n则是代表维度，D为筛选出的显著特征点；

3c)为了提取更多显著的特征点和减少提取无用的特征点，在提取每个网格中局部最显著特征点的同时再做一层筛选，设定两个优先级更高的判定：

一、如果该特征点在各个维度的显著度高于等于设定的阈值t1，便将其直接设为显著特征点，保存该特征点位置信息；

二、如果该特征点在各个维度的显著度低于设定的阈值t2，即便是网格区域内最显著特征点，也舍弃该点；

判定公式如下：

D_ij＝d_ij，d_ij≥t1

D_ij≠d_ij，d_ij<t2

其中d_max为全局最显著特征点；

3d)经过多层筛选后，得到代表全图各个显著稠密特征点的像素位置坐标点集D，其中每个显著特征点D_ij∈D,0<i<l,0<j<w。

进一步的，步骤4中所述的构建特征点的描述符，包含以下子步骤；

4a)根据步骤2和步骤3所得的信息确定显著特征点在三维特征图的位置：每个特征点为D_ij＝[D_ij ¹,D_ij ²,…,D_ij ⁿ]^T，其中任一显著特征点在任一维度像素值为D_ij ^m，m的取值为1，2，…，n；n代表着特征点所在的所有维度；

4b)围绕着任一显著特征点D_ij构建描述符，受SIFT匹配算法的启发，首先提取显著特征点的梯度信息：

首先找出特征点D_ij最为显著的维度m，公式如下：

D_ij ^m＝max(D_ij ¹,D_ij ²,…,D_ij ⁿ)

然后在此维度提取该特征点与周围的梯度信息，以该点为中心构造一个3*3的矩阵，该矩阵包含特征点D_ij在内共有9个点，根据这9个点在m维度的像素值计算得出特征点D_ij的梯度信息，计算公式如下：

i′＝[i-1,i,i+1]，j′＝[j-1,j,j+1]

其中e为常数，d_i′j′ ^m为包含特征点D_ij在内及其周围点共9个点在m维度的像素值，通过该公式就能得到包含特征点D_ij简单梯度信息的特征描述值α_ij；

4c)然后提取显著特征点的视角差异信息：

由于提取的显著特征点在某些维度的信息会比较显著，而在另一些维度信息就没那么显著，根据这些差异信息来凸显各个显著特征点之中的差异，计算视角差异信息公式如下：

其中

为特征点D_ij在各个维度的平均像素值，通过该公式计算得出包含特征点D_ij视角差异信息的特征描述值β_ij；

4d)最后综合算得特征描述符

由于上述两种特征描述值均为一维的数值，为了凸显各显著特征点的差异性，最终的特征描述符采取上述两种特征描述值相乘得到的方式，公式如下：

s_ij＝α_ij·β_ij

s_ij便为特征点D_ij的特征描述符，其中包含特征点的梯度信息和视角差异信息，综合得到整幅图像的描述符集合S。

进一步的，t1的取值为

t2的取值为

d_max为全局最显著特征点。

进一步的，步骤5中三元组损失函数设计如下；

首先设有一幅图像对I₁和I₂，同时有一对对应上特征点A和B分别在I₁和I₂中，其中A∈I₁，B∈I₂，所以经过神经网络输出后，A和B的描述符距离公式为：

r为A和B之间的描述符距离，s_A和s_B分别为A和B的描述符数值；

同时会有一对点N₁和N₂，分别为与A和B最为相似的点结构，该点得出的公式如下：

P∈I₁且

其中

表示点到点的像素坐标距离，该距离需大于K，避免N₁与A点相邻，N₂点的计算公式和N₁相同；然后通过下列公式计算A和B点与其不相关的近似点距离：

三元组损失函数中有一个margin值，设置一个合理的margin值很关键，这是衡量相似度的重要指标；简而言之，margin值设置的越小，loss很容易趋近于0，但很难区分相似的图像，margin值设置的越大，loss值较难趋近于0，甚至导致网络不收敛；所以三元损失函数margin值按照下列公式设置：

u＝max(0，M+p²-r²)

最终三元组损失函数公式如下：

其中C为图像对I₁和I₂中的包含A和B在内的对应点集，损失函数越小就代表着对应点描述符的值越接近，不相关点描述符值差异越大，所以神经网络向损失函数越小的方向进化也就意味着向匹配更精确的方向进化。

进一步的，步骤6中根据步骤4得到的特征点的描述值采用使用Flann进行特征匹配，得到粗匹配的结果。

进一步的，步骤7通过RANSAC算法对步骤6所得的粗匹配结果进行精筛，得到多视角遥感图像之间最终的匹配结果。

相较于传统匹配算法，本发明不仅能够保证多视角遥感图像的匹配效率，而且能显著提高多视角遥感图像的匹配准确率。

附图说明

图1为多视角空天影像，其中左：航空大倾角影像；右：航天正射影像；

图2为本发明实施例的流程图。

具体实施方式

本发明技术方案可采用计算机软件技术实现自动运行流程。以下结合附图和实施例详细说明本发明技术方案。如图1，实施例的技术方案的流程包括以下步骤：

步骤1，归一化预处理待匹配的航天卫星遥感图像(正射影像)和航空遥感图像(远距离、大倾角观测)：

在输入图像边界尺寸大于2500像素时，统一压缩至2500像素，避免输入图像过大导致匹配效率低下。同时若输入图像为单通道图像(如灰度图像)，将其扩为与彩色图像一致的三通道图像。同时以平均像素为零点，将图片像素值归一化压缩至(0-1)区域。

步骤2，将预处理图像输入神经网络的特征提取器中，具体包含以下内容：

本发明的神经网络中特征提取器参考了当前比较流行的VGGNet网络架构，采用3*3尺寸的卷积核来堆叠神经网络，这样也加深整个神经网络的深度。卷积核的数值则是随机初始化，然后通过网络训练不断优化，最终特征处理器中的各个卷积核尺寸一样但数值存在变化，意味着多通道卷积提取图像多视角的稠密特征。

通过将图像输入至此多通道卷积网络之中，我们得到一个三维张量F^l×w×n(三维特征图)，其中三个维度分别代表：l、w和n分别为图像的长度，宽度和通道数。类似于n个二维特征图叠加在一起，而每个二维特征图都是通过不同的卷积核多次卷积得来的，意味着每张二维特征图代表了不同视角，尺度和其他情况下的稠密特征。

步骤3，对步骤2所得的3维特征图进行特征筛选，具体包含以下步骤：

a)为了提取更多以及在多视角和多尺度更显著的特征点，本发明结合稠密特征的思路，使用3*3*n的网格分割步骤2所得的三维特征图F，如下所示：

F^l×w×n＝k×g^3×3×n

g代表着每个网格，k则是网格的数量。

b)每个g中存在3*3*n个像素值，相当于9个n维向量，每个向量都代表着图像中一个点的特征，从中筛选出在各个维度特征显著的点，采用以下公式：

D_ij＝max(d_ij),d_ij∈g

其中d_ij代表着每个属于g区域的特征点，i、j代表着特征点在图像中的的像素坐标，I代表着特征点在不同维度的像素值，n则是代表维度，D为筛选出的显著特征点。

c)为了提取更多显著的特征点和减少提取无用的特征点，本发明在提取每个网格中局部最显著特征点的同时再做一层筛选，设定了两个优先级更高的判定：

一、如果该特征点在各个维度的显著度高于等于设定的阈值(阈值为全局显著度最高点的3/4)，便将其直接设为显著特征点，保存该特征点位置信息。

二、如果该特征点在各个维度的显著度低于设定的阈值(阈值为全局显著度最高点的1/4)，即便是网格区域内最显著特征点，也舍弃该点。

判定公式如下：

D_ij＝d_ij，

D_ij≠d_ij，

其中d_max为全局最显著特征点。

d)经过多层筛选后，得到代表全图各个显著稠密特征点的像素位置坐标点集D，其中每个显著特征点D_ij∈D,(0<i<l,0<j<w)。

步骤4，结合步骤2的三维特征图和步骤3所得的二维特征图信息构建特征点的描述符，具体包含以下步骤：

a)根据步骤2和步骤3所得的信息确定显著特征点在三维特征图的位置：每个特征点为D_ij＝[D_ij ¹,D_ij ²,…,D_ij ⁿ]^T,其中任一显著特征点在任一维度像素值为D_ij ^m，m的取值为1，2，…，n；n代表着特征点所在的所有维度。

b)围绕着任一显著特征点D_ij构建描述符，受SIFT匹配算法的启发，首先提取显著特征点的梯度信息：

原本SIFT描述符计算过程较为复杂，且其输出的结果为128维的向量，不利于神经网络训练中的反向传播，于是本发明简化SIFT描述符为一维的数值作为本发明使用的描述符构成之一。首先找出特征点D_ij最为显著的维度m，公式如下：

D_ij ^m＝max(D_ij ¹,D_ij ²,…,D_ij ⁿ)

然后在此维度提取该特征点与周围的梯度信息，以该点为中心构造一个3*3的矩阵，该矩阵包含特征点D_ij在内共有9个点，根据这9个点在m维度的像素值计算得出特征点D_ij的梯度信息，计算公式如下：

(i′＝[i-1,i,i+1]，j′＝[j-1,j,j+1])

其中e为常数，d_i′j′ ^m为包含特征点D_ij在内及其周围点共9个点在m维度的像素值。通过该公式就能得到包含特征点D_ij简单梯度信息的特征描述值α_ij。

c)然后提取显著特征点的视角差异信息：

由于提取的显著特征点在某些维度的信息会比较显著，而在另一些维度信息就没那么显著，根据这些差异信息来凸显各个显著特征点之中的差异。计算视角差异信息公式如下：

其中

为特征点D_ij在各个维度的平均像素值，通过该公式计算得出包含特征点D_ij视角差异信息的特征描述值β_ij。

d)最后综合算得特征描述符：

由于上述两种特征描述值均为一维的数值，为了凸显各显著特征点的差异性，最终的特征描述符采取上述两种特征描述值相乘得到的方式，公式如下：

s_ij＝α_ij·β_ij

s_ij便为特征点D_ij的特征描述符，其中包含特征点的梯度信息和视角差异信息，综合得到整幅图像的描述符集合S。

步骤5，神经网络训练的损失函数设为一种三元组损失函数，损失函数的作用是通过神经网络的输出值来评判网络的优劣，从而让神经网络参数自适应调整，优化特征检测器和特征描述，让神经网络下次输出的结果更优。本发明评判网络的优劣从两个方向出发：在特征提取方面，在图像对之间提取的显著特征点尽量能够匹配的上；在特征描述方面，非相关的显著特征点之间差异性足够大。

首先设有一幅图像对I₁和I₂，同时有一对对应上特征点A和B分别在I₁和I₂中，其中A∈I₁，B∈I₂。所以经过网络输出后，A和B的描述符距离公式为：

r为A和B之间的描述符距离，s_A和s_B分别为A和B的描述符数值。

同时会有一对点N₁和N₂，分别为与A和B最为相似的点结构，该点得出的公式如下：

P∈I₁且

其中

表示点到点的像素坐标距离，该距离需大于K，避免N₁与A点相邻。N₂点也如同上式得出。然后通过下列公式计算A和B点与其不相关的近似点距离：

三元组损失函数中有一个margin值，设置一个合理的margin值很关键，这是衡量相似度的重要指标。简而言之，margin值设置的越小，loss很容易趋近于0，但很难区分相似的图像。margin值设置的越大，loss值较难趋近于0，甚至导致网络不收敛。所以三元损失函数margin值按照下列公式设置：

u＝max(0，M+p²-r²)

最终三元组损失函数公式如下：

其中C为图像对I₁和I₂中的包含A和B在内的对应点集。损失函数越小就代表着对应点描述符的值越接近，不相关点描述符值差异越大，所以神经网络向损失函数越小的方向进化也就意味着向匹配更精确的方向进化。

步骤6，根据步骤4得到的特征点的描述值使用Flann特征匹配，FLANN是快速最近邻搜索包(Fast_Library_for_Approximate_Nearest_Neighbors)的简称，它是一个对大数据集和高维特征进行最近邻搜索的算法的集合，而且这些算法都已经被优化过了。在面对大数据集是它的效果要好于BFMatcher。将步骤4所得一对图像的描述符集合输入该算法中，最终得到粗匹配的结果。

步骤7，通过RANSAC算法对步骤6所得的粗匹配结果进行精筛。随机抽样一致算法(RANdom SAmple Consensus,RANSAC)，采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC算法假设数据中包含正确数据和异常数据(或称为噪声)。正确数据记为内点(inliers)，异常数据记为外点(outliers)。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。该算法核心思想就是随机性和假设性，随机性是根据正确数据出现概率去随机选取抽样数据，根据大数定律，随机性模拟可以近似得到正确结果。假设性是假设选取出的抽样数据都是正确数据，然后用这些正确数据通过问题满足的模型，去计算其他点，然后对这次结果进行一个评分。通过RANSAC精筛步骤6所得的粗匹配结果，得到多视角遥感图像之间最终的匹配结果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于，包括以下步骤：

步骤1，归一化预处理待匹配的航天遥感图像和航空遥感图像；

步骤2，将步骤1中预处理之后的图像对输入神经网络的特征提取器中，获得三维特征图；

步骤3，对步骤2所得的三维特征图进行稠密特征筛选，得到多视角显著特征点集；

步骤4，结合步骤2的三维特征图和步骤3所得的多视角显著特征点集，构建特征点的描述符；

步骤5，神经网络训练的损失函数设为一种三元组损失函数，通过该损失函数使神经网络参数进行自适应调整；

步骤6，根据步骤4得到的特征点的描述值，进行粗匹配；

步骤7，对步骤6所得的粗匹配结果进行精筛，得到最终匹配结果。

2.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于：步骤3的具体实现包含以下子步骤；

3a)为了提取更多以及在多视角和多尺度更显著的特征点，结合稠密特征的思路，使用3*3*n的网格分割步骤2所得的三维特征图F，如下所示：

F^l×w×n＝k×g^3×3×n

g代表着每个网格，k则是网格的数量，l、w和n分别为长度，宽度和通道数；

3b)每个g中存在3*3*n个像素值，相当于9个n维向量，每个向量都代表着图像中一个点的特征，从中筛选出在各个维度特征显著的点，采用以下公式：

D_ij＝max(d_ij),d_ij∈g

其中d_ij代表着每个属于g区域的特征点，i、j代表着特征点在图像中的的像素坐标，I代表着特征点在不同维度的像素值，n则是代表维度，D为筛选出的显著特征点；

3c)为了提取更多显著的特征点和减少提取无用的特征点，在提取每个网格中局部最显著特征点的同时再做一层筛选，设定两个优先级更高的判定：

一、如果该特征点在各个维度的显著度高于等于设定的阈值t1，便将其直接设为显著特征点，保存该特征点位置信息；

二、如果该特征点在各个维度的显著度低于设定的阈值t2，即便是网格区域内最显著特征点，也舍弃该点；

判定公式如下：

D_ij＝d_ij，d_ij≥t1

D_ij≠d_ij，d_ij<t2

其中d_max为全局最显著特征点；

3d)经过多层筛选后，得到代表全图各个显著稠密特征点的像素位置坐标点集D，其中每个显著特征点D_ij∈D,0<i<l,0<j<w。

3.根据权利要求2所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于：步骤4中所述的构建特征点的描述符，包含以下子步骤；

4a)根据步骤2和步骤3所得的信息确定显著特征点在三维特征图的位置：每个特征点为D_ij＝[D_ij ¹,D_ij ²,…,D_ij ⁿ]^T，其中任一显著特征点在任一维度像素值为D_ij ^m，m的取值为1，2，…，n；n代表着特征点所在的所有维度；

4b)围绕着任一显著特征点D_ij构建描述符，受SIFT匹配算法的启发，首先提取显著特征点的梯度信息：

首先找出特征点D_ij最为显著的维度m，公式如下：

D_ij ^m＝max(D_ij ¹,D_ij ²,…,D_ij ⁿ)

然后在此维度提取该特征点与周围的梯度信息，以该点为中心构造一个3*3的矩阵，该矩阵包含特征点D_ij在内共有9个点，根据这9个点在m维度的像素值计算得出特征点D_ij的梯度信息，计算公式如下：

其中e为常数，d_i′j′ ^m为包含特征点D_ij在内及其周围点共9个点在m维度的像素值，通过该公式就能得到包含特征点D_ij简单梯度信息的特征描述值α_ij；

4c)然后提取显著特征点的视角差异信息：

由于提取的显著特征点在某些维度的信息会比较显著，而在另一些维度信息就没那么显著，根据这些差异信息来凸显各个显著特征点之中的差异，计算视角差异信息公式如下：

其中

为特征点D_ij在各个维度的平均像素值，通过该公式计算得出包含特征点D_ij视角差异信息的特征描述值β_ij；

4d)最后综合算得特征描述符

由于上述两种特征描述值均为一维的数值，为了凸显各显著特征点的差异性，最终的特征描述符采取上述两种特征描述值相乘得到的方式，公式如下：

s_ij＝α_ij·β_ij

s_ij便为特征点D_ij的特征描述符，其中包含特征点的梯度信息和视角差异信息，综合得到整幅图像的描述符集合S。

4.根据权利要求2所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于：t1的取值为

t2的取值为

d_max为全局最显著特征点。

5.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于：步骤5中三元组损失函数设计如下；

首先设有一幅图像对I₁和I₂，同时有一对对应上特征点A和B分别在I₁和I₂中，其中A∈I₁，B∈I₂，经过神经网络输出后，A和B的描述符距离公式为：

r为A和B之间的描述符距离，s_A和s_B分别为A和B的描述符数值；

同时会有一对点N₁和N₂，分别为与A和B最为相似的点结构，该点得出的公式如下：

P∈I₁且

其中

表示点到点的像素坐标距离，该距离需大于K，避免N₁与A点相邻，N₂点的计算公式和N₁相同；然后通过下列公式计算A和B点与其不相关的近似点距离：

三元组损失函数中有一个margin值，设置一个合理的margin值很关键，这是衡量相似度的重要指标；简而言之，margin值设置的越小，loss很容易趋近于0，但很难区分相似的图像，margin值设置的越大，loss值较难趋近于0，甚至导致网络不收敛；所以三元损失函数margin值按照下列公式设置：

u＝max(0，M+p²-r²)

最终三元组损失函数公式如下：

其中C为图像对I₁和I₂中的包含A和B在内的对应点集，损失函数越小就代表着对应点描述符的值越接近，不相关点描述符值差异越大，所以神经网络向损失函数越小的方向进化也就意味着向匹配更精确的方向进化。

6.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于：步骤6中根据步骤4得到的特征点的描述值采用使用Flann进行特征匹配，得到粗匹配的结果。

7.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于：步骤7通过RANSAC算法对步骤6所得的粗匹配结果进行精筛，得到多视角遥感图像之间最终的匹配结果。

Images