CN114359355B - 遥感图像配准方法 - Google Patents

Abstract

本发明提供了一种遥感图像配准方法，本发明提出一种特征提取架构，首先利用预训练网络提取图像特征，然后加入通道注意力机制，寻找重要通道特征，减少无关点的干扰。本发明提取网络中不同尺度的特征，设计多尺度的双向匹配关系。补充不同尺度的特征信息对特征关系进行建模，提高模型的鲁棒能力，增强匹配的准确性。本发明改进损失函数，利用回归得到的四个参数设计新的损失函数迭代优化网络模型，提高配准的准确性。

Description

遥感图像配准方法

技术领域

本发明涉及一种遥感图像配准方法。

背景技术

图像配准是图像融合、图像分割和图像拼接等图像处理领域的基础步骤。配准技术通过寻找两幅图像在同一空间中互相对应的点进行匹配和对齐，从而进行研究。其中遥感图像配准技术在城市变化检测、土地利用率监测和环境污染检测方面应用广泛，在实际应用中发挥着重要的作用。现阶段，如何寻找精确的配准技术和高效率的方法是研究领域的热点问题。

目前遥感图像配准技术主要包含人工设计的传统方法和基于深度学习的方法。传统方法是研究者根据特定遥感图像存在的问题，人工设计针对性的解决方法进行处理。但是该方法泛化性较差，人工成本高，且运行时效低。

发明内容

本发明的目的在于提供一种遥感图像配准方法。

为解决上述问题，本发明提供一种遥感图像配准方法，包括：

步骤一：输入两幅图像至特征提取结构，使用预训练的Resnet101和通道注意力机制结合进行特征提取，提取预训练网络的第三层的源特征和目标特征，及提取预训练网络的第四层经过通道注意力机制后的源特征和目标特征；

步骤二：将提取得到的特征输入特征匹配部分，将第三层得到的源特征和目标特征进行双向的互相关匹配，以得到第一匹配关系和第二匹配关系；将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配，以得到第三匹配关系和第四匹配关系；

步骤三：将第一、第二、第三和第四匹配关系送入参数回归网络，以回归出四个变换参数；

步骤四：使用四个变换参数设计损失函数，基于所述损失函数对网络优化迭代，以提取出最优的网络模型；

步骤五：取出最优的网络模型的第四层经过通道注意力机制后的源特征参数和目标特征参数，对源特征参数和目标特征参数进行加权平均合成，得到最终的参数后，对源图像进行仿射变换，变换出最终的配准结果。

进一步的，在上述方法中，将第三层得到的源特征和目标特征进行双向的互相关匹配，包括：

使用皮尔逊相关性，将第三层得到的源特征和目标特征进行双向的互相关匹配

进一步的，在上述方法中，将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配，包括：

使用皮尔逊相关性，将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配。

进一步的，在上述方法中，所述通道注意力机制首先通过并联的平均池化层和最大池化层，然后分别进入一个三层的感知机，最后将两层结果相加，送入激活函数Relu后，得到具有通道注意力机制的特征图。

进一步的，在上述方法中，步骤三：将第一、第二、第三和第四匹配关系送入参数回归网络，以回归出四个变换参数，包括：

将第一、第二、第三和第四匹配关系送入参数回归网络，中，经过两层5x5的卷积和一层全连接层，回归得到四个变换参数。

进一步的，在上述方法中，步骤四：使用四个变换参数设计损失函数，基于所述损失函数对网络优化迭代，以提取出最优的网络模型，包括：

使用网格损失做为基线损失函数，即衡量通过仿射变换后坐标点与人工标记的坐标点之间的距离偏差来指导网络优化，以提取出最优的网络模型。

本发明提出一种特征提取架构，首先利用预训练网络提取图像特征，然后加入通道注意力机制，寻找重要通道特征，减少无关点的干扰。

本发明提取网络中不同尺度的特征，设计多尺度的双向匹配关系。补充不同尺度的特征信息对特征关系进行建模，提高模型的鲁棒能力，增强匹配的准确性。

本发明改进损失函数，利用回归得到的四个参数设计新的损失函数迭代优化网络模型，提高配准的准确性。

附图说明

图1是本发明一实施例的遥感图像配准方法的结构图；

图2是本发明一实施例的通道注意力机制结构图；

图3是本发明一实施例的本文配准结果图；

图4是本发明一实施例的不同算法定性对比的示意图；

图5是本发明一实施例的不同算法定量对比的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1～5所示，本发明提供一种遥感图像配准方法，包括：

步骤一：构建特征提取网络，检测图像中的特征点

遥感图像信息丰富复杂，为了尽可能的提取图像中的特征，使用预训练的Resnet101网络对图像进行特征提取。在提取尽可能多的特征后，为了减少特征匹配阶段的计算量，在预训练的特征提取网络后加入通道注意力机制，筛选出所需的有用特征信息。图2显示了通道注意力机制的结构图。

通道注意力机制首先通过并联的平均池化层和最大池化层，然后分别进入一个三层的感知机，最后将两层结果相加，送入激活函数Relu后，得到具有通道注意力机制的特征图。过程如下公式所示：

M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))，

式中M_c(F)表示通过通道注意力后得到的特征图，σ为参数，MLP为三层感知机，AvgPool为平均池化层，MaxPool为最大池化层，F为输入特征图。

考虑到不同层次的特征对图像的表征能力不同：低层次的特征语义信息表征能力弱，几何细节信息表征能力强；高层次的特征语义信息表征能力强，几何细节信息表征能力弱。所以为了弥补每层特征的不足，提取预训练网络中的第三层特征和通过通道注意力机制后的第四层特征为后续操作做下铺垫。

步骤二：构建双向的互相关匹配关系。

过于依赖单向的匹配关系容易造成配准误差，通过特征提取网络获取的不同尺度的特征信息S、S′、T、T‘，建立双向的互相关关系。设i、j为图像坐标上的坐标点，k为索引，C_ST(i,j,k)和C_TS(i,j,k)分别为预训练网络第三层特征得到的双向的匹配关系(源特征到目标特征的映射，目标特征到源特征的映射)；C_S′T′(i,j,k)和C_T′S′(i,j,k)分别为经过注意力机制后的特征映射关系(源特征到目标特征的映射，目标特征到源特征的映射)。则C_ST(i,j,k)、C_TS(i,j,k)、C_S′T′(i,j,k)和C_T′S′(i,j,k)的表达式为：

C_ST(i,j,k)＝f_T(i,j)^kf_S(i_k,j_k)，

C_TS(i,j,k)＝f_S(i,j)^kf_T(i_k,j_k)，

C_S′T′(i,j,k)＝f_S′(i,j)^kf_T′(i_k,j_k)，

C_T′S′(i,j,k)＝f_T′(i,j)^kf_S′(i_k,j_k)。

步骤三：将得到的匹配关系送入参数回归网络。

为了得到最终的变换参数，将特征匹配得到的特征之间的映射关系送入参数回归网络中，经过两层5x5的卷积和一层全连接层，回归得到四个关系的变换参数θ_S→T、θ_T→S、θ_S‘→T‘、θ_T‘→S‘。

步骤四：设计损失函数，不断迭代优化网络精度。

本发明使用网格损失做为基线损失函数，即衡量通过仿射变换后坐标点与人工标记的坐标点之间的距离偏差来指导网络优化，可以表示为：

其中θ^gt为真实情况的参数，θ为变换后输出的参数。N为坐标点的数目，(x_i,y_i)为横坐标为i，纵坐标为j的坐标点。

本发明得到的变换参数有四个，利用从不同尺度得到的变换参数来优化损失函数，得到来自不同尺度的损失，如下所示：

其中L₁为来自预训练网络第三层的特征损失、L₂为第四层特征经过通道注意力机制后的特征损失，整体损失函数为L。

步骤五：训练至最优的网络，将由经过通道注意力机制后得到的变换参数加权合成，得到最终的变换参数。然后对源图像进行仿射变换，得到配准结果。加权合成的结果如下所示：

其中θ_S‘→T‘为通过通道注意力后的从源特征映射到目标特征的变换参数、θ_T‘→S‘为通过通道注意力后的从目标特征映射到源特征的变换参数，平均合成后得到最终的参数θ_合。

为了评价本发明的算法性能，进行了如下实验，采用韩国首尔大学公布的航空遥感图像数据集(Aerial Image Dataset)中的图像进行训练和测试。对比算法分别为经典的ORB算法和近几年提出的CNNGeo算法。

使用Python语言进行编写、基于Pytorch框架，硬件环境为GTX 1080 Ti显卡，CPU@4.20GHz处理器，8G内存。

实验分析与对比

图3表示的为本文配准方法结果图。图中选出四组图像进行结果展示，第一行和第二行分别为源图像和目标图像，来自Aerial Image Datasets数据集。观察第三行本文的配准结果，并与目标图像进行对比，发现本文的配准效果较好。

图4a、4b为ORB算法、CNN-Geo算法和本申请算法，三种方法的结果对比图。观察图中的棋盘格图和覆盖图对本文进行评估。本文算法的棋盘格拼接处，衔接较好，而其他方法有较大误差，甚至出现失真情况。覆盖图用来观察整体的配准情况，可以发现本文方法的覆盖图几乎没有重影区域，表明本文算法的结果更优于其他两种算法。

图5是使用PCK指标定量评估三种算法的精度。PCK表示图中检测到的正确点与人工标记的正确点之间的概率，公式如下所示：

式中α·max(h,w)表示h×w图像的面积区域由参数α决定。为变换前的点、/>为变换后的点、/>为变换参数，d表示在某个范围内，变换后的点与变换前的点的距离，N代表总点数。

其中PCK越大表示配准的精度越大，配准效果越好。观察图可知，本文方法的PCK精度最高，配准效果最好。

步骤一中，使用预训练网络与注意力机制相结合，对图像进行特征提取操作。使用预训练的网络可以尽可能的提取网络中的特征点，同时为了避免特征太多影响特征匹配的进行。在预训练的模型后加入通道注意力机制提取特征图的关键区域，减少了干扰特征的存在。并且为了获得多尺度信息，从不同的层数获取图像特征。

步骤二使用皮尔逊相关性构造双向的特征匹配关系。为了使网络能够处理非线性特征，使用皮尔逊相关性改进相关关系。单向的特征匹配可能会出现匹配错误，为了减少由单向特征匹配带来的问题，减少单向依赖性，增加一条匹配分支，辅助单向的匹配关系。

步骤四中，还可以对损失函数进行改进。因为取得了多尺度的特征信息，所以对原本单尺度的损失函数进行改进。原本的单尺度损失函数如下所示：

改进后，增加了另一个尺度的损失函数，如下所示：

最后得到的损失函数为：

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (6)

1.一种遥感图像配准方法，其特征在于，包括：

步骤一：输入两幅图像至特征提取结构，使用预训练的Resnet101和通道注意力机制结合进行特征提取，提取预训练网络的第三层的源特征和目标特征，及提取预训练网络的第四层经过通道注意力机制后的源特征和目标特征；

步骤二：将提取得到的特征输入特征匹配部分，将第三层得到的源特征和目标特征进行双向的互相关匹配，以得到第一匹配关系和第二匹配关系；将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配，以得到第三匹配关系和第四匹配关系；

步骤三：将第一、第二、第三和第四匹配关系送入参数回归网络，以回归出四个变换参数；

步骤四：使用四个变换参数设计损失函数，基于所述损失函数对网络优化迭代，以提取出最优的网络模型；

步骤五：取出最优的网络模型的第四层经过通道注意力机制后的源特征参数和目标特征参数，对源特征参数和目标特征参数进行加权平均合成，得到最终的参数后，对源图像进行仿射变换，变换出最终的配准结果。

2.如权利要求1所述的遥感图像配准方法，其特征在于，将第三层得到的源特征和目标特征进行双向的互相关匹配，包括：

使用皮尔逊相关性，将第三层得到的源特征和目标特征进行双向的互相关匹配。

3.如权利要求1所述的遥感图像配准方法，其特征在于，将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配，包括：

使用皮尔逊相关性，将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配。

4.如权利要求1所述的遥感图像配准方法，其特征在于，所述通道注意力机制首先通过并联的平均池化层和最大池化层，然后分别进入一个三层的感知机，最后将两层结果相加，送入激活函数Relu后，得到具有通道注意力机制的特征图。

5.如权利要求1所述的遥感图像配准方法，其特征在于，步骤三：将第一、第二、第三和第四匹配关系送入参数回归网络，以回归出四个变换参数，包括：

将第一、第二、第三和第四匹配关系送入参数回归网络，中，经过两层5x5的卷积和一层全连接层，回归得到四个变换参数。

6.如权利要求1所述的遥感图像配准方法，其特征在于，步骤四：使用四个变换参数设计损失函数，基于所述损失函数对网络优化迭代，以提取出最优的网络模型，包括：

使用网格损失做为基线损失函数，即衡量通过仿射变换后坐标点与人工标记的坐标点之间的距离偏差来指导网络优化，以提取出最优的网络模型。