CN115359271A - 一种大尺度不变性的深空小天体图像匹配的方法 - Google Patents

Abstract

本发明涉及一种大尺度不变性的深空小天体图像匹配的方法，所述方法包括：仿真生成不同轨道绕飞小天体时拍摄的图像，建立训练数据集和测试数据集；然后构建深空尺度估计网络模型，使用训练数据集对网络模型进行训练，通过测试数据集获得输入的测试图像之间的尺度分布，进而实现深空小天体图像匹配；深空尺度估计网络模型包括全局注意力密集ASPP模块和相关感知分布预测模块；全局注意力密集ASPP模块，用于获取相关特征图；相关感知分布预测模块基于Transformer结构的下采样模块建立，用于对相关特征图进行处理得到尺度分布；将尺度分布转换为尺度因子，根据尺度因子实现大尺度变化下的图像匹配。本发明解决了小天体图像在发生大尺度变化时无法正确匹配的问题。

Description

一种大尺度不变性的深空小天体图像匹配的方法

技术领域

本发明涉及图像特征提取和匹配领域，具体涉及一种大尺度不变性的深空小天体图像匹配的方法。

背景技术

小天体探测任务近些年越来越受到关注，考虑到可靠性和安全性，现有很多任务仍需要地面操作人员进行，然而由于小天体一般距地球较远，通讯延迟长，因此数据经过有带宽限制的传输难以完成实时观测、着陆，也无法及时应对各类突发状况。因此未来的小天体探测器需要具备高度自主探测能力，以实现在深空的智能探测。

自主视觉导航是小天体探测任务中的重要技术手段之一，其中图像特征的提取和匹配是视觉导航的基础和前提，其精度直接影响导航的精度和性能。但小天体不同于地面场景，从绕飞到降落的过程中高度变化剧烈，图像会产生非常大程度的特征变化，如在20km观测到的小天体特征与500m的时候完全不同。甚至在距离很远时，小天体只占据画面中的几十个像素点。同时由于小天体探测任务周期长，参考图像和导航图像的光照情况可能差异很大。尺度和光照的变化改变图像特征，影响匹配的鲁棒性，进而影响着陆导航精度。

现有的一些具有光照和尺度不变性的特征方法如SIFT，SURF在深空场景的研究中应用广泛，它们能适应一定范围内尺度的变化，但是对于大于10倍的大范围尺度变化检测能力有限，当光照发生较为强烈的变化时，无法有效匹配对应点。为了解决图像匹配中尺度、光照、视角的鲁棒性，在图像特征提取和匹配领域一些基于深度学习的方法被提出，这些方法通过卷积层提取特征，再利用传统匹配方法或者图神经网络等对特征进行匹配，然而它们在图像发生大尺度变化时表现差强人意。针对大尺度变化的问题，也有一些方法提出先估计大尺度变化图像间的尺度因子，随后将图像变换到相同的尺度层级，进而提高匹配精度。但这些方法能解决的最大尺度范围也不适用于小天体场景。

发明内容

与现有技术的方法不同，针对小天体图像特征匹配中面临的大尺度变化导致的无法有效匹配问题，本发明提出了一种适用于大尺度变化下的小天体图像匹配方法，并设计了一个基于注意力机制的深空尺度估计网络模型用于估计图像的尺度因子，这是第一个应用于深空大尺度图像匹配的方法。大尺度下两张图像无法正确匹配的原因主要是：两张图像的特征金字塔所在级别相距较远，导致无法正确匹配对应的特征描述子。本发明通过深空尺度估计网络模型获得的尺度因子将两张图像调整到相似的尺度层级，能进一步提高大尺度图像的匹配精度。为了适用于深空图像中远大于地面场景的尺度跨度，本发明将全局注意力机制与密集ASPP(Atrous Spatial Pyramid Pooling，空洞空间卷积池化金字塔)结合设计了全局注意力密集ASPP模块(Global Attention-DenseASPP，GA-DenseASPP)用于提取特征，它能融合更大的感受野，全局注意机制融合信道和空间信息的能力以及ASPP的密集连接被证明可以提高网络对深空背景等大尺度场景的特征提取能力；并构建了基于Transformer的相关感知分布预测模块(Correlation-Aware Distribution Predictor，CADP)用于提高尺度分布度量精度，这是首次将Transformer应用到尺度估计问题，并且成功获得了比传统CNN(Convolutional Neural Networks,卷积神经网络)更加准确的效果。在实验结果部分，通过本发明仿真的数据对比了所提出方法和现有匹配方法的性能，所提方法皆达到了SOTA，同时也研究了本发明方法的边界条件，包括尺度跨度和像素占比。本发明方法对小天体表面的不同光照变化更加鲁棒，并且可以从绕飞的不同角度准确预测。

本发明的目的为了解决深空小天体图像在发生大尺度变化时无法正确特征匹配的问题，其能提升图像匹配准确率，有效提高在之后的小天体探测任务中基于视觉导航的精度。为达到上述目的，本发明提出了一种大尺度不变性的深空小天体图像匹配的方法，

本发明提出了一种大尺度不变性的深空小天体图像匹配方法，所述方法包括：

仿真生成不同轨道绕飞小天体时拍摄的图像，建立训练数据集和测试数据集；然后建立深空尺度估计网络模型，使用训练数据集对网络模型进行训练，通过测试数据集获得输入的测试图像之间的尺度分布；

所述深空尺度估计网络模型包括：全局注意力密集ASPP模块和相关感知分布预测模块；所述全局注意力密集ASPP模块，用于对输入图像的特征图进行处理获取相关特征图；所述相关感知分布预测模块基于Transformer结构的下采样模块建立，用于对相关特征图进行处理得到尺度分布；

将尺度分布转换为尺度因子，根据尺度因子对输入图像进行缩放调整到相同级别，实现输入图像的匹配。

作为上述技术方案的改进之一，所述方法中，使用训练数据集对网络模型进行训练时包括以下步骤：

1)仿真生成不同轨道绕飞小天体时拍摄的图像，建立训练数据集和测试数据集；

2)建立深空尺度估计网络模型：所述深空尺度估计网络还包括预训练模型，用于对输入图像进行特征图提取；

基于全局注意力机制、空洞空间卷积池化金字塔ASPP模块，并基于空洞空间卷积池化金字塔ASPP模块和广义相加模型建立全局注意力密集ASPP模块；基于Transformer结构的下采样模块、平均池层和全连接层建立相关感知分布预测模块；基于预训练模型、全局注意力密集ASPP模块和相关感知分布预测模块建立深空尺度估计网络模型；

3)设置损失函数，使用训练数据集对深空尺度估计网络模型进行训练，得到训练好的网络模型。

作为上述技术方案的改进之一，所述步骤1)使用Blender仿真引擎生成小天体图像数据集，具体包括：在Blender仿真引擎中添加小天体模型，将其质心作为世界坐标系原点，在小天体附近放置四个光源，将相机放置在不同轨道高度，环绕拍摄多张图像，其中相机z轴始终指向小天体质心。

作为上述技术方案的改进之一，所述获取相关特征图的过程，具体包括：

首先，对输入的不同轨道绕飞小天体时拍摄的图像，包括高轨道拍摄图像A和低轨道拍摄图像B，分别通过VGG特征提取器获取特征图，并分别将对应的特征图F输入全局注意力密集ASPP模块；

然后，通过广义相加模型对特征图进行处理：分别通过通道注意力门和空间注意力门进行细化，表达式为：

其中，F′和F″分别为通道细化和空间细化的特征图，M_c(F)为通过通道注意力门后得到通道模块的注意力特征图、M_s(F′)为通过空间注意力门后得到空间模块的注意力特征图，

为元素级别乘法；

最后，将细化的特征图F″送入致密空洞空间卷积池化金字塔ASPP模块，通过密集的连接对特征图的多尺度信息进行编码，分别获得图像A、图像B的自相关特征图地图以及图像A和图像B的互相关特征图地图，并将图像A和图像B的自相关特征图地图以及互相关特征图地图在通道维度上进行拼接。

作为上述技术方案的改进之一，所述致密空洞空间卷积池化金字塔ASPP模块包括一个级联的空洞卷积层。

作为上述技术方案的改进之一，所述相关感知分布预测模块包括：堆叠的变换器下采样模块、平均池层和一组全连接层。

作为上述技术方案的改进之一，所述对相关特征图进行处理得到尺度分布，包括：

首先，将拼接后的相关图C_cat输入相关感知分布预测模块；

然后，通过Transformer结构的下采样模块对C_cat的高度和宽度进行下采样处理；

之后，将处理后的相关图前馈到平均池化层进行池化操作；

最后，将池化后的相关图扁平化，并通过一组全连接层处理以获得尺度分布。

作为上述技术方案的改进之一，所述Transformer结构的下采样模块的数量N＝2；所述下采样模块包括一个3×3卷积层，一个多头注意力层，最后是一个3×3卷积层；每个3×3卷积层之后是一个批处理归一化层和ReLu激活函数，最后一个卷积层的步长设置为2。

作为上述技术方案的改进之一，所述方法使用Kullback-Leibler散度作为损失函数Loss(A,B)，表达式为：

其中，KL(·,·)为Kullback-Leibler散度函数，P_s→A为估计分布，

为真实分布。

作为上述技术方案的改进之一，所述方法将尺度分布转换为尺度因子，包括：图像A到图像B的尺度因子S_A→B，表达式为：

其中，σ＝2；

为定义在尺度空间的图像A到B的全局尺度因子(注：对原有尺度因子进行对数运算后的结果为定义在尺度空间中的尺度因子，

其中S_A→B为原有尺度因子，

为定义在尺度空间的尺度因子)，由两部分构成：

为在尺度空间中图像A到B的尺度因子，

为在尺度空间中图像B到A的尺度因子，

当算法估计的

和

完全准确时，二者互为相反数，即可得到

L为尺度级别，L＝13；Sⁱ为第i个级别的尺度因子，Sⁱ＝σ^t；上角标i表示第i个尺度等级，i∈[0,1…,L-1]；t的取值范围是

范围内的所有整数；一个尺度等级Sⁱ分别对应一个分布概率

(对于图像A到B)或

(对于图像B到A)；

表示第i个级别的对于图像A到B的分布概率；

表示第i个级别的对于图像B到A的分布概率。

相比于传统的小天体表面图像匹配方法，一种大尺度不变性的深空小天体图像匹配的方法具有以下优势：

1)提出了用于深空小天体场景的大尺度图像估计深度学习方法，解决了小天体图像在发生大尺度变化时无法正确匹配的问题。实验结果表明，本发明所提方法在尺度估计、图像匹配和相机位姿估计方面皆表现优异。

2)设计了适用于该场景的深空尺度估计网络模型，使用全局注意力机制与密集ASPP相结合的方法提高深空背景下的大尺度特征提取能力，使用基于transformer的CADP模块，获得更高的尺度估计精度。通过与几个最先进的方法进行对比实验，深空尺度估计网络模型能实现从绕飞的不同角度准确预测出更准确的尺度因子，同时对于小天体表面的不同光照情况更加鲁棒。

3)生成了第一个用于小天体尺度估计和图像匹配的仿真数据集，可用于小天体场景的图像匹配、视觉定位、超分辨率重建、语义分割、三维重建等任务。

附图说明

图1为在小天体着陆过程中结合深空尺度估计网络的图像匹配方法示意图；

图2为本发明提出的具有大尺度不变性的小天体图像匹配方法流程图；

图3为本发明建立的深空尺度估计网络总体架构图；

图4为GA-DenseASPP模块架构图；

图5为CADP模块架构图；

图6为仿真图像生成示意图；

图7(a)为真实的67P小天体图像，图7(b)为仿真的67P小天体图像；

图8(a)-(h)为不同光照和尺度下的仿真图像，其中图8(a)、图8(b)、图8(c)、图8(d)是在同一个视角下的不同光照的小天体仿真图像，图8(e)、图8(f)、图8(g)、图8(h)是不同高度拍摄的小天体仿真图像；

图9为本发明建立的Virtual SCB Dataset尺度因子分布示意图；

图10为表2中采样本方法与现有方法进行对比实验时使用的图像对示意图，其中图10(a1)、图10(a2)为表2中第(1)栏使用的图像对，图10(b1)、图10(b2)为表2中第(2)栏使用的图像对，图10(c1)、图10(c2)为表2中第(3)栏使用的图像对，图10(d1)、图10(d2)为表2中第(4)栏使用的图像对。

具体实施方式

以下结合实施例进一步说明本发明所提供的技术方案。

一、大尺度不变性的深空小天体图像匹配方法

如图1所示，在不同尺度之间的图像提取对应点具有挑战性，现有的匹配方法性能不足以达到要求。深空探测是一个典型场景：在绕飞观测和下降着陆过程中，目标小天体在视野中的像素占比差异很大。为了解决该问题，本发明提出了一种具有大尺度不变性的深空小天体图像匹配方法，并提出深空尺度估计网络用于估计小天体图像之间的尺度变化。

1.大尺度不变性的深空小天体图像匹配方法流程

探测器在不同轨道高度时拍摄到的小天体尺度差异很大，甚至在距离很远的时候，小天体只占据几个像素位置。传统基于特征金字塔的多尺度提取方法都是搜索相近的尺度层级，但尺度差异很大时无法有效匹配，甚至在目标很小时经过上采样的特征图，目标会被淹没在噪声中。

因此本发明提出如图2所示的具有大尺度不变性的小天体图像匹配方法，先估计图像之间的尺度因子，再通过尺度因子缩放图像将其调整到相同级别，进而进行匹配。

2.尺度分布

对图像A和图像B，定义L＝13个尺度等级。每个等级分别对应一个分布概率

(对于图像A到B)或

(对于图像B到A)，i∈[0,1…,L-1]，Sⁱ是图A到图B在第i个等级的尺度因子，Sⁱ＝σ^t，其中：σ＝2，t是

范围内的所有整数。因此在尺度空间中图A到B和图B到A的尺度因子为：

联合上式则图A到B的尺度因子

为：

将其转换到图像之间的尺度因子为：

3.深空尺度估计网络模型

3.1总体架构图

本发明的深空尺度估计网络模型的总体架构图如图3所示，网络的输入是ImageA和ImageB。ImageB是在高轨道绕飞时拍摄的图像，而ImageA则是在低轨道接近小天体时的拍摄图像。

首先通过预训练模型提取特征，然后通过GA-DenseASPP模块获取全局注意机制融合通道信息和空间信息，通过空洞卷积获得多尺度信息，利用这些信息获得自相关特征图地图C_A、C_B和互相关C_A-B地图。最后，将三个相关图在通道维度上进行拼接，并输入到CADP中进行尺度分布的估计。得到网络估计的尺度因子之后，对ImageB进行缩放并与ImageA进行匹配。

3.2全局注意力密集ASPP模块(Global Attention-DenseASPP,GA-DenseASPP)

注意机制在特征提取和语义分割等计算机视觉任务中得到了广泛的应用。为了准确提取多尺度信息，本发明提出了GA-DenseASPP来代替ASPP。

如图4所示，特征图以F∈R^675×H×W为输入，其中512、H、W分别表示F的通道、高度、宽度。然后，通过GAM(广义相加模型，Generalized additive model)对特征图进行处理，分别通过通道门和空间门进行细化，可以更好地探索特征图的通道关系和空间关系，如下所示：

其中F′和F″分别为通道细化和空间细化的特征图，M_c(F)、M_s(F′)分别为通道模块和空间模块的注意图，

为元素级别乘法。最后，将最终细化的特征图送入致密空洞空间金字塔池(DenseASPP)。

DenseASPP由一个级联的空洞卷积层组成，它可以通过密集的连接对特征图的多尺度信息进行编码。本发明的GA-DenseASPP对于深空等多尺度场景更有效，可以从不同尺度的特征中准确提取信息。通过GAM将预训练模型提取的特征映射与空间和信道信息进行融合。然后，将其送入DenseASPP的级联卷积层。

3.3相关感知分布预测模块(Correlation-aware Distribution PredictorModule，CADP)

全连接层由于不能捕捉到相关图之间的内在关系，从而导致尺度估计不准确。为了解决这个问题，本发明提出了相关感知分布预测模块(CADP)，它由几个堆叠的变换器下采样模块、平均池层和一组全连接层组成。

如图4所示，CADP将串联的相关图C_cat∈R^675×H×W作为输入，其中675、H、W分别表示F的通道、高度和宽度，然后C_cat被送入Transformer下采样模块以降低其高度和宽度。它的多头注意力层，即使是在最低层也可以捕获整个相关图的长距离依赖关系。之后，下采样的相关图被前馈到平均池化层，其高度和宽度被减少到1。最后，它被扁平化并被一组全连接层处理以预测规模分布。

Transformer下采样块的数量N＝2。该块包括一个3×3卷积层，一个多头注意力层，最后是一个3×3卷积层。每个3×3卷积层之后是一个批处理归一化层和ReLu。为了在特征提取的准确性和计算效率之间进行权衡，减少了相关图的高度和宽度，将后一个卷积层的步长设置为2。与只使用全连接层的方法相比，本发明的CADP更具有相关性意识，其自我注意机制可以整合相关图的内在关系。

3.4损失函数

由于深空尺度估计网络模型输出的是一个尺度的分布，因此使用Kullback-Leibler散度作为损失函数，他可以用来衡量两个分部之间的差异。其中P_B→A为估计分布，

为真实分布。

二、数据集的生成

由于现有的小天体只有实拍任务图像，缺乏能用于特征检测及尺度估计的公开数据集，因此本发明使用Blender生成小天体图像数据集。Blender是一款开源的三维仿真引擎，支持使用python脚本。使用的小天体模型有67P/Churyumov–Gerasimenko。具体过程如下图所示，添加小天体模型，将其质心作为世界坐标系原点，在小天体附近放置四个光源，模拟不同光照强度和光照方向下的相机成像。为了生成不同尺度的图像，将相机放置在不同轨道高度，环绕拍摄多张图像，其中相机z轴(相机的光轴)始终指向小天体质心，以保证小天体处于画面重心，如图6所示。相机的分辨率设置为1024*1024像素。

图7(a)是真实的67P小天体的图像，图7(b)为仿真的67P小天体的图像，与真实图像相比，仿真图像的纹理和阴影都非常逼真，基本能反映真实图像的表面特征。

图8(a)、图8(b)、图8(c)、图8(d)分别是在同一个视角下的不同光照(光源A、B、C、D)小天体的仿真图像，图8(e)、图8(f)、图8(g)、图8(h)分别是不同高度(4km，10km，20km，40km)拍摄的小天体，可以看出当光照和尺度发生剧烈变化时候，小天体表面特征产生了了显著变化，进而影响特征匹配的精度。

本发明生成的小天体图像的高度范围在[5,150]之间，单位是km。一组图像以5km的间隔生成，每组有51张小天体图像。如图9所示，为数据集中各个尺度等级对应的匹配对数量示意图。当生成图像对(pairs)时，每张图像都与其他高度的一到三张拍摄角度相邻的图像配对。总共生成了9145对图像，其中6655对用于训练，864对用于验证，1626对用于测试。

三、实验结果与分析

1.参数设置

输入深空尺度估计网络模型用于训练的图像大小被设置于240*240像素，尺度分布范围为[0.05,20]，参数设置为L＝13和σ＝2。设置DenseASPP的膨胀率为{1,6,12,18}。数据增强包括翻转、旋转和色彩增强。所有的实验都运行在RTX 3080GPU上。它使用预先训练的VGG模型作为特征提取器。

2.尺度估计实验

对比深空尺度估计网络模型和现有方法在本发明提出的数据集上的尺度估计性能：主要使用方法包括基于深度学习的(1)IBE(参考文献：Rau A,Garcia-Hernando G,Stoyanov D,et al.Predicting visual overlap of images through interpretablenon-metric box embeddings[C]//European Conference on ComputerVision.Springer,Cham,2020:629-646.)、(2)ScaleNet和(参考文献：Barroso-Laguna A,Tian Y,Mikolajczyk K.ScaleNet:A Shallow Architecture for Scale Estimation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2022:12808-12818.)基于物理的方法：Area Algorithm。Area Algorithm主要是将图像二值化，大于阈值的设置灰度值为255定义为小行星区域，小于阈值设置为0定义为深空背景，以此来区分小天体和背景：

其中，value是灰度值，theshold为设定阈值。

对比不同图像的小天体面积占比S，并将此定义为图像间的尺度估计结果。

其中，a1是灰度值为图1的小行星区域面积，a2为图2的小行星区域面积。

使用E₁和E₂作为真实尺度因子S和预测的尺度因子

之间的误差：

不同方法之间的对比实验结果如表1所示，数字越小表示预测结果越精确，可以看出不管在全尺度范围还是在不同的尺度层级中，深空尺度估计网络模型皆取得了最优异的结果，相比于其他方法甚至能达到一个数量级的提升。

表1

尺度估计定性结果如表2所示。在进行试验生成数据的过程中会对不同图像对进行标注，标注包括GT(Ground-truth)尺度，用来评估这些方法的精度。

表2

表中数据记录了使用本申请方法与其他方法(IBE、ScaleNet和Area Algorithm)对不同尺度下测试集的图像对进行匹配的试验结果，其中第二列对应的是不同图像对的真实。可以看到，与其他方法相比，深空尺度估计网络模型对光照变化和视点变化的鲁棒性更强，从而能得到更精确的尺度分布。

从上述对本发明的具体描述可以看出，本发明解决了小天体图像在发生大尺度变化时无法正确匹配的问题，生成了第一个用于小天体尺度估计和图像匹配的仿真数据集，可用于小天体场景的图像匹配、视觉定位、超分辨率重建、语义分割、三维重建等任务。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种大尺度不变性的深空小天体图像匹配方法，所述方法包括：

仿真生成不同轨道绕飞小天体时拍摄的图像，建立训练数据集和测试数据集；然后建立深空尺度估计网络模型，使用训练数据集对网络模型进行训练，通过测试数据集获得输入的测试图像之间的尺度分布；

所述深空尺度估计网络模型包括：全局注意力密集ASPP模块和相关感知分布预测模块；所述全局注意力密集ASPP模块，用于对输入图像的特征图进行处理获取相关特征图；所述相关感知分布预测模块基于Transformer结构的下采样模块建立，用于对相关特征图进行处理得到尺度分布；

最后，将尺度分布转换为尺度因子，根据尺度因子对输入图像进行缩放将图像特征调整到相同尺度级别，实现大尺度变化下的图像匹配。

2.根据权利要求1所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述方法中，使用训练数据集对网络模型进行训练时包括以下步骤：

1)仿真生成不同轨道绕飞小天体时拍摄的图像，建立训练数据集和测试数据集；

2)建立深空尺度估计网络模型：所述深空尺度估计网络还包括预训练模型，用于对输入图像进行特征图提取；

建立基于全局注意力机制的空洞空间卷积池化金字塔ASPP模块，并基于空洞空间卷积池化金字塔ASPP模块和广义相加模型建立全局注意力密集ASPP模块；基于Transformer结构的下采样模块、平均池层和全连接层建立相关感知分布预测模块；基于预训练模型、全局注意力密集ASPP模块和相关感知分布预测模块建立深空尺度估计网络模型；

3)设置损失函数，使用训练数据集对深空尺度估计网络模型进行训练，得到训练好的网络模型。

3.根据权利要求2所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述步骤1)使用Blender仿真引擎生成小天体图像数据集，具体包括：在Blender仿真引擎中添加小天体模型，将其质心作为世界坐标系原点，在小天体附近放置四个光源，将相机放置在不同轨道高度，环绕拍摄多张图像，其中相机z轴始终指向小天体质心。

4.根据权利要求1所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述获取相关特征图的过程具体包括：

首先，对输入的不同轨道绕飞小天体时拍摄的图像，包括高轨道拍摄图像A和低轨道拍摄图像B，分别通过VGG特征提取器获取特征图，并分别将对应的特征图F输入全局注意力密集ASPP模块；

然后，通过广义相加模型对特征图进行处理：分别通过通道注意力门和空间注意力门进行细化，表达式为：

其中，F′和F″分别为通道细化和空间细化的特征图，M_c(F)为通过通道注意力门后得到通道模块的注意力特征图、M_s(F′)为通过空间注意力门后得到空间模块的注意力特征图，

为元素级别乘法；

最后，将细化的特征图F″送入致密空洞空间卷积池化金字塔ASPP模块，通过密集的连接对特征图的多尺度信息进行编码，分别获得图像A、图像B的自相关特征图地图以及图像A和图像B的互相关特征图地图，并将图像A和图像B的自相关特征图地图以及互相关特征图地图在通道维度上进行拼接。

5.根据权利要求4所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述致密空洞空间卷积池化金字塔ASPP模块包括一个级联的空洞卷积层。

6.根据权利要求4所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述相关感知分布预测模块包括：堆叠的变换器下采样模块、平均池层和一组全连接层。

7.根据权利要求6所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述对相关特征图进行处理得到尺度分布，包括：

首先，将拼接后的相关图C_cat输入相关感知分布预测模块；

然后，通过Transformer结构的下采样模块对C_cat的高度和宽度进行下采样处理；

之后，将处理后的相关图前馈到平均池化层进行池化操作；

最后，将池化后的相关图扁平化，并通过一组全连接层处理以获得尺度分布。

8.根据权利要求7所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述Transformer结构的下采样模块的数量N＝2；所述下采样模块包括一个3×3卷积层，一个多头注意力层，最后是一个3×3卷积层；每个3×3卷积层之后是一个批处理归一化层和ReLu激活函数，最后一个卷积层的步长设置为2。

9.根据权利要求2所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述方法使用Kullback-Leibler散度作为损失函数Loss(A,B)，表达式为：

其中，KL(·,·)为Kullback-Leibler散度函数，P_B→A为估计分布，

为真实分布。

10.根据权利要求1所述的大尺度不变性的深空小天体图像匹配的方法，其特征在于，所述方法将尺度分布转换为尺度因子，包括：图像A到图像B的尺度因子S_A→B，表达式为：

其中，σ＝2；

为定义在尺度空间的图像A到B的全局尺度因子，

为在尺度空间的图像A到B的尺度因子，

为在尺度空间的图像B到A的尺度因子，

当算法估计的

和

完全准确时，二者互为相反数，即可得到

L为尺度级别，L＝13；Sⁱ为第i个级别的尺度因子，Sⁱ＝σ^t；上角标i表示第i个尺度等级，i∈[0,1…,L-1]；t的取值范围是

范围内的所有整数；一个尺度等级Sⁱ分别对应一个分布概率

或

表示第i个级别的对于图像A到B的分布概率；

表示第i个级别的对于图像B到A的分布概率。

Images