CN115018892A - 遥感影像的自动配准方法及装置 - Google Patents

Abstract

本发明涉及一种遥感影像的自动配准方法及装置，该方法包括：对不完全重叠的待配准遥感影像对进行预处理，得到对应的多个影像块对，并对所述多个影像块对进行仿射变换；构建影像配准深度神经网络模型并进行训练；将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对；重新投影所述配准后的匹配特征点对至对应的原始待配准遥感影像对中，获得所述待配准遥感影像对的最终匹配结果。本发明可以实现遥感影像精确、高效的自动配准。

Description

遥感影像的自动配准方法及装置

技术领域

本发明涉及计算机视觉与遥感影像处理技术领域，尤其涉及一种遥感影像的自动配准方法及装置。

背景技术

影像配准是计算机视觉和遥感摄影测量领域的重要技术，是影像融合、影像镶嵌、目标检测、三维重建等应用的基础和前提。所谓影像配准，是指对于取自不同时间、不同传感器或不同视角的同一区域景物的两幅影像或者多幅影像进行匹配、叠加的过程。影像配准的精度将在极大程度上影响后期其他图像处理的结果。随着计算机软硬件设备的性能不断提升和图像处理技术的迅猛发展，人们对影像配准的精度和效率不断提出更高的要求。

影像配准的核心任务在于找出影像之间的最优特征空间和几何变换模型，使得由于几何误差造成畸变的原始影像与目标影像之间能够匹配起来。常用的影像匹配方法有基于变换域的匹配方法、基于影像灰度的匹配方法和基于特征的匹配方法。其中研究最多、使用最为广泛的是基于特征的影像匹配方法，该方法通过识别和提取影像中的特征，完成两幅影像之间的配准。在此过程中，要求算法提取的影像特征具有尺度不变性，也就是对于影像之间的平移、旋转、缩放等变换均保持不变性，对于拍摄角度和光照条件的差异也应具有一定的稳定性，但是广泛使用的SIFT（Scale Invariant Feature Transform，尺度不变特征变换）算法和SURF（加速鲁棒特征，Speeded Up Robust Features）算法提取的特征比较单一，且数量有限，无法满足遥感影像精确配准的需求。

对此，深度学习方法可以有效改善这一问题，该方法是一种含有多个隐藏层的机器学习方法，其利用深层次的神经网络模型对样本进行学习和训练，通过计算机学习到的知识自动识别和提取输入影像的多种特征，并可以通过一定的函数运算计算特征之间的匹配程度，从而实现影像的配准。由于深度学习的学习过程完全依靠深度神经网络模型（Deepneural network model）的自我学习能力提取目标特征，并通过不断最小化损失函数（Lossfunction）告知神经网络模型停止学习的时机。整个训练过程不需要人为干预，非常适合用来处理数据量级庞大、种类繁多且复杂的全景影像数据，且具有很强的泛化能力。

发明内容

为解决上述现有技术存在的技术问题，本发明的目的在于提供一种遥感影像的自动配准方法及装置，可以实现遥感影像精确、高效的自动配准。

为实现上述发明目的，本发明的技术方案是：

本发明提供一种遥感影像的自动配准方法，包括：

对不完全重叠的待配准遥感影像对进行预处理，得到对应的多个影像块对，并对所述多个影像块对进行仿射变换；

构建影像配准深度神经网络（Match-CNN）模型并进行训练；

将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对；

重新投影所述配准后的匹配特征点对至对应的原始待配准遥感影像对中，获得所述待配准遥感影像对的最终匹配结果。

根据本发明的一个方面，所述预处理的过程包括：

对所述不完全重叠的待配准遥感影像对进行正射校正；

根据所述待配准遥感影像的图幅范围，对校正后的待配准遥感影像对进行拆分重投影，获得对应的多个影像块对。

根据本发明的一个方面，所述仿射变换的过程包括：

对所述多个影像块对进行缩放变换，模拟载荷在拍摄方向前后移动造成的影像畸变；

对所述多个影像块对进行倾斜变换，模拟载荷的成像光轴与成像平面之间的不同夹角条件对影像造成的仿射失真情况；

对所述多个影像块对进行旋转变换，模拟载荷绕成像光轴运动时产生的畸变。

根据本发明的一个方面，所述影像配准深度神经网络模型依次包括：特征提取模块、特征匹配模块和粗差剔除模块，

所述特征提取模块为两组并行的VGG-16网络模型，将该网络模型最后的三层全连接网络删除，并采用用于一次32倍上采样操作的网络；

所述特征匹配模块由三层全连接网络和一层损失函数组成，所述损失函数用于度量所述影像块对中两个影像块之间的相似度概率。

根据本发明的一个方面，所述将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对，包括：

将仿射变换后的多个影像块对输入训练后的特征提取模块中，提取出对应的特征图像，并保证所述特征图像与输入的图像大小一致；

将所述特征图像输入训练后的特征匹配模块中，利用所述全连接网络学习所述特征图像之间的相似度，对所述损失函数不断进行优化，获得所述多个影像块对对应的匹配特征点对；

利用训练后的粗差剔除模块采用随机采样一致算法（Random Sample Consensus，RANSAC）剔除错误的匹配特征点对，输出配准后的匹配特征点对。

根据本发明的一个方面，所述损失函数为交叉熵函数。

根据本发明的一个方面，采用UBC公开数据集对所述影像配准深度神经网络模型进行训练。

本发明还提供一种利用上述遥感影像的自动配准方法的遥感影像的自动配准装置，包括：

影像处理单元，用于对不完全重叠的待配准遥感影像对进行预处理，得到对应的多个影像块对，并对所述多个影像块对进行仿射变换；

模型构建与训练单元，用于构建影像配准深度神经网络模型并进行训练；

配准单元，用于将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对；以及

结果生成单元，用于重新投影所述配准后的匹配特征点对至对应的原始待配准遥感影像对中，获得所述待配准遥感影像对的最终匹配结果。

根据本发明的另一个方面，所述影像配准深度神经网络模型依次包括：特征提取模块、特征匹配模块和粗差剔除模块。

根据本发明的另一个方面，所述配准单元包括：

特征提取子单元，用于利用所述训练后的特征提取模块提取仿射变换后的多个影像块对中的特征，获得对应的特征图像，并保证所述特征图像与输入的图像大小一致；

特征匹配子单元，用于利用所述训练后的特征匹配模块根据所述特征图像获得所述多个影像块对对应的匹配特征点对；以及

粗差剔除子单元，用于利用所述训练后的粗差剔除模块采用随机采样一致算法剔除错误的匹配特征点对，输出配准后的匹配特征点对。

本发明与现有技术相比，具有如下优点：

根据本发明的方案，结合遥感影像的投影和畸变特征，利用构建的遥感影像配准深度神经网络Match-CNN模型对校正、拆分重投影和仿射变换后的待配准影像进行配准，再将得到的遥感影像之间的同名点对（匹配特征点对）重新投影至原始的遥感影像，从而实现遥感影像之间的精确配准。本发明不需要人工提炼待配准影像的特征或设定匹配准则，真正实现了深度学习方法对遥感影像的自动配准，可以有效解决传统方法的影像配准精度和效率低下的难题。

根据本发明的一个方案，构建Match-CNN模型时，对VGG-16网络进行改进，提升了网络的运行效率，并行加速计算大大提升了配准的效率。

根据本发明的一个方案，该方法具有很好的通用性，可扩展至其他大范围拍摄且具有几何畸变的影像配准任务，如全景影像的自动配准等。未来的影像配准任务，会向不同传感器数据以及不同分辨率数据之间的配准发展，深度学习方法将发挥更大的作用。本发明将为未来利用深度学习方法进行多源异构影像数据的配准提供一种新的尝试和思路。

附图说明

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性表示本发明实施例提供的一种遥感影像的自动配准方法的实现流程图；

图2示意性表示本发明实施例提供的模拟影像仿射变换的结果示意图。

具体实施方式

此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。

此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。

根据本发明的构思，针对遥感影像的配准需求，本发明实施例的遥感影像的自动配准方法及配准装置，结合遥感影像的投影和畸变特征，对待配准影像进行校正、拆分和重投影，自主设计遥感影像配准的Match-CNN深度神经网络模型，将拆分和重投影后的影像块输入Match-CNN模型进行训练，经过影像特征提取、特征匹配和粗差剔除，得到遥感影像之间的同名点对（匹配特征点对），之后将这些同名点对重新投影至原始的遥感影像，从而实现遥感影像之间的精确配准。

参见图1，本发明实施例提供的一种遥感影像的自动配准方法，包括以下步骤：

步骤100，对不完全重叠的待配准遥感影像对进行预处理，得到对应的多个影像块对，并对所述多个影像块对进行仿射变换。

在一个实施例中，步骤100中所述预处理的具体实施过程包括：

对所述不完全重叠的待配准遥感影像对进行正射校正。具体的，对待配准遥感影像（对）进行正射校正，可以消除遥感影像在采集过程中，由传感器造成的几何畸变可能带来的配准误差，保证影像块与原始遥感影像之间的精确对应。

根据所述待配准遥感影像的图幅范围，对校正后的待配准遥感影像对进行拆分重投影，获得对应的多个影像块对。具体的，拆分重投影的实质是对遥感影像进行重新投影，也就是将地球表面的点重新投影至多张平面。该多张平面即为所述多个影像块（对）。

在一个实施例中，步骤100中所述仿射变换的具体实施过程包括：

对所述多个影像块对进行缩放变换，模拟载荷在拍摄方向前后移动造成的影像畸变。具体参见图2（b），为将原始遥感影像块缩小1/4后得到的示例结果（缩放倍数可根据实际情况进行调整）。

对所述多个影像块对进行倾斜变换，模拟载荷的成像光轴与成像平面之间的不同夹角条件对影像造成的仿射失真情况。示例性的，这里的不同夹角条件可参见图2（a）的θ，此处以相机代替卫星传感器（载荷）进行简单示意。具体的，倾斜变换的实质是对影像分别在X方向和Y方向上的缩放进行模拟，具体可分别参见图2（c）和图2（d）。

对所述多个影像块对进行旋转变换，模拟载荷绕成像光轴运动时产生的畸变。具体参见图2（e）。

本发明实施例在将得到的多个影像块对输入影像配准深度神经网络模型之前，对影像块对进行缩放、倾斜和旋转变换，分别模拟获得如上所述对影像造成的畸变结果和仿射失真情况，可以为后续遥感影像的配准提供依据，并提高配准的准确度和精度。

步骤200，构建影像配准深度神经网络模型并进行训练。

在一个实施例中，步骤200中构建并训练的影像配准深度神经网络Match-CNN模型依次包括：特征提取模块、特征匹配模块和粗差剔除模块。具体的，所述特征提取模块为两组并行的VGG-16网络模型，将该网络模型最后的三层全连接网络删除以提升网络的运行效率，并采用用于一次32倍上采样操作的网络，以保证输出的特征图像与输入的图像大小一致。所述特征匹配模块由三层全连接网络和一层损失函数组成，所述损失函数用于度量所述影像块对中两个影像块之间的相似度概率。

在一个实施例中，步骤200中采用UBC公开数据集对所述影像配准深度神经网络模型进行训练。

步骤300，将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对。

在一个实施例中，步骤300中将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络Match-CNN模型，输出配准后的匹配特征点对的具体实施过程包括：

步骤301，将仿射变换后的多个影像块对输入训练后的Match-CNN模型的特征提取模块中，提取出对应的特征图像，并保证所述特征图像与输入的图像大小一致。

步骤302，将所述特征图像输入训练后的Match-CNN模型的特征匹配模块中，利用所述全连接网络学习所述特征图像之间的相似度，对所述损失函数不断进行优化，获得所述多个影像块对对应的匹配特征点对。从而获得两组影像块特征点之间的匹配。

步骤303，利用训练后的Match-CNN模型的粗差剔除模块采用随机采样一致算法剔除错误的匹配特征点对，输出配准后的匹配特征点对。具体的，RANSAC算法的思想在于在一个数据集中随机选取两点，则两点可以确定一条直线，在这条直线的两侧设定一个误差阈值，将位于该误差阈值的范围之内的点称为内点，该误差阈值的范围之外的点称为外点。根据新得到的内点集合拟合出一条新的直线，再以该直线为基准线重新判断内点，如此不断迭代，直到某一次获得的内点数量为最大值时，此时的直线即为最佳拟合直线。

具体的，所述损失函数为交叉熵函数（Cross-Entropy Loss）。

步骤400，重新投影所述配准后的匹配特征点对至对应的原始待配准遥感影像对中，获得所述待配准遥感影像对的最终匹配结果。也就是实现了遥感影像之间的自动配准。

本发明实施例还提供了一种利用上述遥感影像的自动配准方法的装置，包括：影像处理单元、模型构建与训练单元、配准单元和结果生成单元。其中，影像处理单元用于对不完全重叠的待配准遥感影像对进行预处理，得到对应的多个影像块对，并对所述多个影像块对进行仿射变换。模型构建与训练单元用于构建影像配准深度神经网络模型并进行训练。配准单元用于将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对。结果生成单元用于重新投影所述配准后的匹配特征点对至对应的原始待配准遥感影像对中，获得所述待配准遥感影像对的最终匹配结果。

在一个实施例中，模型构建与训练单元构建并训练的影像配准深度神经网络模型依次包括：特征提取模块、特征匹配模块和粗差剔除模块。

在一个实施例中，配准单元包括：特征提取子单元、特征匹配子单元和粗差剔除子单元。其中，特征提取子单元用于利用所述训练后的特征提取模块提取仿射变换后的多个影像块对中的特征，获得对应的特征图像，并保证所述特征图像与输入的图像大小一致。特征匹配子单元用于利用所述训练后的特征匹配模块根据所述特征图像获得所述多个影像块对对应的匹配特征点对。粗差剔除子单元用于利用所述训练后的粗差剔除模块采用随机采样一致算法剔除错误的匹配特征点对，输出配准后的匹配特征点对。

本发明实施例提供的遥感影像的自动配准方法及装置，属于计算机视觉和遥感摄影测量领域的图像处理技术，是影像融合、影像镶嵌、目标检测、三维重建等一系列图像处理操作的基础，实现了基于深度学习方法的遥感影像特征的自动提取和精准匹配，适用于各种场景和各种拍摄设备获取的遥感影像的配准，包括全景影像的配准。

对于本发明的方法所涉及的上述各个步骤的序号并不意味着方法执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明的实施方式的实施过程构成任何限定。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种遥感影像的自动配准方法，包括：

对不完全重叠的待配准遥感影像对进行预处理，得到对应的多个影像块对，并对所述多个影像块对进行仿射变换；

构建影像配准深度神经网络模型并进行训练；

将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对；

重新投影所述配准后的匹配特征点对至对应的原始待配准遥感影像对中，获得所述待配准遥感影像对的最终匹配结果。

2.根据权利要求1所述的方法，其特征在于，所述预处理的过程包括：

对所述不完全重叠的待配准遥感影像对进行正射校正；

根据所述待配准遥感影像的图幅范围，对校正后的待配准遥感影像对进行拆分重投影，获得对应的多个影像块对。

3.根据权利要求1所述的方法，其特征在于，所述仿射变换的过程包括：

对所述多个影像块对进行缩放变换，模拟载荷在拍摄方向前后移动造成的影像畸变；

对所述多个影像块对进行倾斜变换，模拟载荷的成像光轴与成像平面之间的不同夹角条件对影像造成的仿射失真情况；

对所述多个影像块对进行旋转变换，模拟载荷绕成像光轴运动时产生的畸变。

4.根据权利要求1所述的方法，其特征在于，所述影像配准深度神经网络模型依次包括：特征提取模块、特征匹配模块和粗差剔除模块，

所述特征提取模块为两组并行的VGG-16网络模型，将该网络模型最后的三层全连接网络删除，并采用用于一次32倍上采样操作的网络；

所述特征匹配模块由三层全连接网络和一层损失函数组成，所述损失函数用于度量所述影像块对中两个影像块之间的相似度概率。

5.根据权利要求4所述的方法，其特征在于，所述将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对，包括：

将仿射变换后的多个影像块对输入训练后的特征提取模块中，提取出对应的特征图像，并保证所述特征图像与输入的图像大小一致；

将所述特征图像输入训练后的特征匹配模块中，利用所述全连接网络学习所述特征图像之间的相似度，对所述损失函数不断进行优化，获得所述多个影像块对对应的匹配特征点对；

利用训练后的粗差剔除模块采用随机采样一致算法剔除错误的匹配特征点对，输出配准后的匹配特征点对。

6.根据权利要求4或5所述的方法，其特征在于，所述损失函数为交叉熵函数。

7.根据权利要求1所述的方法，其特征在于，采用UBC公开数据集对所述影像配准深度神经网络模型进行训练。

8.一种利用权利要求1-7中任一项所述的遥感影像的自动配准方法的遥感影像的自动配准装置，其特征在于，包括：

影像处理单元，用于对不完全重叠的待配准遥感影像对进行预处理，得到对应的多个影像块对，并对所述多个影像块对进行仿射变换；

模型构建与训练单元，用于构建影像配准深度神经网络模型并进行训练；

配准单元，用于将仿射变换后的多个影像块对输入训练后的影像配准深度神经网络模型，输出配准后的匹配特征点对；以及

结果生成单元，用于重新投影所述配准后的匹配特征点对至对应的原始待配准遥感影像对中，获得所述待配准遥感影像对的最终匹配结果。

9.根据权利要求8所述的装置，其特征在于，所述影像配准深度神经网络模型依次包括：特征提取模块、特征匹配模块和粗差剔除模块。

10.根据权利要求9所述的装置，其特征在于，所述配准单元包括：

特征提取子单元，用于利用所述训练后的特征提取模块提取仿射变换后的多个影像块对中的特征，获得对应的特征图像，并保证所述特征图像与输入的图像大小一致；

特征匹配子单元，用于利用所述训练后的特征匹配模块根据所述特征图像获得所述多个影像块对对应的匹配特征点对；以及

粗差剔除子单元，用于利用所述训练后的粗差剔除模块采用随机采样一致算法剔除错误的匹配特征点对，输出配准后的匹配特征点对。

Images