CN115861393A - 图像匹配方法、航天器着陆点定位方法及相关装置 - Google Patents

图像匹配方法、航天器着陆点定位方法及相关装置 Download PDF

Info

Publication number
CN115861393A
CN115861393A CN202310149445.5A CN202310149445A CN115861393A CN 115861393 A CN115861393 A CN 115861393A CN 202310149445 A CN202310149445 A CN 202310149445A CN 115861393 A CN115861393 A CN 115861393A
Authority
CN
China
Prior art keywords
image
dom
affine transformation
descending
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310149445.5A
Other languages
English (en)
Other versions
CN115861393B (zh
Inventor
张天柱
于天一
何建峰
张哲�
张勇东
吴枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202310149445.5A priority Critical patent/CN115861393B/zh
Publication of CN115861393A publication Critical patent/CN115861393A/zh
Application granted granted Critical
Publication of CN115861393B publication Critical patent/CN115861393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种图像匹配方法、航天器着陆点定位方法及相关装置，该图像匹配方法包括：获取航天器的着陆点对应的DOM；获取航天器的下降图像；通过预设仿射回归模型，获取下降图像与DOM之间的仿射变换参数；预设仿射回归模型为以截取DOM和第一仿射变换图像为训练样本，以截取DOM和第一仿射变换图像之间的第一预设仿射变换参数为样本标签训练得到的模型。根据仿射变换参数，对下降图像进行仿射变换，得到校正图像；对校正图像和DOM进行匹配，得到密集匹配结果；密集匹配结果中包含校正图像和DOM之间的坐标点对应关系。这使得本申请能够提高图像匹配效率。

Description

图像匹配方法、航天器着陆点定位方法及相关装置
技术领域
本发明涉及图像匹配技术领域，具体涉及一种图像匹配方法、航天器着陆点定位方法及相关装置。
背景技术
在基于图像匹配技术，定位航天器（例如着陆器）的着陆点的过程中，涉及到两种图像之间的匹配，一种是被探测地（例如火星）的数字正射影像图（Digital OrthophotoMap，DOM），另一种是在航天器的着陆过程中，在不同时刻捕获的航天器的下降图像；下降图像具体为从航天器的角度捕获的被探测地的图像。
然而，由于下降图像的成像条件（比如光照角度、观测角度和摄像机高度等），与DOM的成像条件之间存在较大差异，使得下降图像与该下降图像对应的DOM之间存在显著的差异，具体的，下降图像需要进行仿射变换来消除该差异后，才能与该下降图像对应的DOM匹配。这增加了图像匹配的处理流程，使得图像匹配的时间延长，无法满足用户需要提高图像匹配效率的需求。
发明内容
为了解决现有技术存在的技术问题，本发明提供了一种图像匹配方法、航天器着陆点定位方法及相关装置。
本发明的技术方案如下：
本发明实施例提供了一种图像匹配方法，应用于航天器，包括：
获取航天器的着陆点对应的DOM；
获取所述航天器的下降图像；
通过预设仿射回归模型，获取所述下降图像与所述DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数；
根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像；
基于预设密集匹配规则，对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系。
本发明实施例还提供了一种航天器着陆点定位方法，包括：
获取航天器的着陆点对应的DOM；
获取所述航天器的下降图像集合；所述下降图像集合中包含多张下降图像；其中，设定捕获时间最晚的下降图像中的预设点与所述航天器的着陆点对应；
对相邻的所述下降图像进行匹配，得到第一匹配结果；所述第一匹配结果中包含相邻的所述下降图像之间的坐标点对应关系；
根据所述第一匹配结果，计算该第一匹配结果对应的相邻下降图像之间的第一单应性矩阵；
从所述下降图像集合中选取至少一张下降图像作为目标下降图像；
针对每张所述目标下降图像，采用上述实施例所述的图像匹配方法，对所述目标下降图像和所述DOM进行匹配，得到第二匹配结果；所述第二匹配结果中包含所述目标下降图像和所述DOM之间的坐标点对应关系；
根据所述第二匹配结果，计算所述目标下降图像和所述DOM之间的第二单应性矩阵；
根据所述第一单应性矩阵和所述第二单应性矩阵，在所述DOM中确定出与所述预设点对应的第一DOM点；
根据至少一张所述目标下降图像对应的第一DOM点，在所述DOM中确定出第二DOM点；所述第二DOM点为在所述DOM中定位出的所述航天器的着陆点。
本发明实施例还提供了一种图像匹配装置，应用于航天器，包括：
DOM获取模块，用于获取航天器的着陆点对应的DOM；
下降图像获取模块，用于获取所述航天器的下降图像；
仿射变换参数获取模块，用于通过预设仿射回归模型，获取所述下降图像与所述DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数；
下降图像校正模块，用于根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像；
密集匹配模块，用于基于预设密集匹配规则，对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系。
本发明实施例还提供了一种航天器着陆点定位装置，包括：
DOM获取模块，用于获取航天器的着陆点对应的DOM；
下降图像集合获取模块，用于获取所述航天器的下降图像集合；所述下降图像集合中包含多张下降图像；其中，设定捕获时间最晚的下降图像中的预设点与所述航天器的着陆点对应；
第一匹配模块，用于对相邻的所述下降图像进行匹配，得到第一匹配结果；所述第一匹配结果中包含相邻的所述下降图像之间的坐标点对应关系；
第一单应性矩阵计算模块，用于根据所述第一匹配结果，计算该第一匹配结果对应的相邻下降图像之间的第一单应性矩阵；
目标下降图像选取模块，用于从所述下降图像集合中选取至少一张下降图像作为目标下降图像；
第二匹配模块，用于针对每张所述目标下降图像，采用上述实施例所述的图像匹配方法，对所述目标下降图像和所述DOM进行匹配，得到第二匹配结果；所述第二匹配结果中包含所述目标下降图像和所述DOM之间的坐标点对应关系；
第二单应性矩阵计算模块，用于根据所述第二匹配结果，计算所述目标下降图像和所述DOM之间的第二单应性矩阵；
第一DOM点确定模块，用于根据所述第一单应性矩阵和所述第二单应性矩阵，在所述DOM中确定出与所述预设点对应的第一DOM点；
第二DOM点确定模块，用于根据至少一张所述目标下降图像对应的第一DOM点，在所述DOM中确定出第二DOM点；所述第二DOM点为在所述DOM中定位出的所述航天器的着陆点。
本发明实施例采用上述技术方案，具备如下有益效果：
首先，在获取航天器的着陆点对应的DOM和航天器的下降图像。然后，通过预设仿射回归模型，获取下降图像与DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数。再然后，根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像。最后，基于预设密集匹配规则，对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系。基于此，本申请通过使用预设仿射回归模型来获取下降图像与DOM之间的仿射变换参数，使得本申请能够快速地获取到该仿射变换参数，进而使得本申请能够快速地对下降图像进行仿射变换，大大缩短了图像匹配的时长，满足了用户需要提高图像匹配效率的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例提供的一种利用自监督定位模拟器实现图像匹配的框架图；
图2是本发明实施例提供的一种图像匹配方法的流程示意图；
图3是本发明实施例提供的另一种图像匹配方法的流程示意图；
图4是本发明实施例提供的一种航天器着陆点定位方法的流程示意图；
图5是本发明实施例提供的一种图像匹配装置的结构示意图；
图6是本发明实施例提供的一种航天器着陆点定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在基于图像匹配技术，定位航天器（例如着陆器）的着陆点的过程中，涉及到两种图像之间的匹配，一种是被探测地（例如火星）的数字正射影像图（Digital OrthophotoMap，DOM），另一种是在航天器的着陆过程中，在不同时刻捕获的航天器的下降图像；下降图像具体为从航天器的角度捕获的被探测地的图像。
由于下降图像的成像条件（比如光照角度、观测角度和摄像机高度等），与DOM的成像条件之间存在较大差异，使得下降图像与该下降图像对应的DOM之间存在显著的差异，具体的，下降图像需要进行仿射变换来消除该差异后，才能与该下降图像对应的DOM匹配。目前，通过人工计算下降图像与该下降图像对应的DOM之间的仿射变换参数，并根据该仿射变换参数对下降图像进行仿射变换。
然而，通过人工计算仿射变换参数的方法，存在计算时间较长的问题，这使得现有技术难以快速地对下降图像进行仿射变换，进而难以满足用户需要提高图像匹配效率的需求。
基于此，本发明实施例提供了一种图像匹配方法，该图像匹配方法通过使用预设仿射回归模型来获取下降图像与DOM之间的仿射变换参数，使得本申请能够快速地获取到该仿射变换参数，进而使得本申请能够快速地对下降图像进行仿射变换，大大缩短了图像匹配的时长，满足了用户需要提高图像匹配效率的需求。
下面结合附图，详细说明本申请的技术方案。
本说明书实施例的图像匹配方法在执行过程中，涉及到三种模型，即预设仿射回归模型、预设初始匹配模型和预设密集匹配模型，该三种模型可以集成于自监督定位模拟器中。图1是本发明实施例提供的一种利用自监督定位模拟器实现图像匹配的框架图。
如图1所示，预设初始匹配模型11中包含第一特征提取网络111和相关层112。预设仿射回归模型12中包含第二特征提取网络113、互相关层114、标准化处理函数115、回归网络116和仿射变换单元117。预设密集匹配模型13中包含第三特征提取网络118、自注意力层119、跨注意力层120、密集匹配层121和剪切层122。
下面参考图1，具体说明上述三种模型的训练过程。
一、生成用于训练模型的自监督训练数据
本说明书实施例中，自监督训练数据包括四种图像，即原始DOM
Figure SMS_1
、截取DOM/>
Figure SMS_2
、第一仿射变换图像/>
Figure SMS_3
和第二仿射变换图像/>
Figure SMS_4
。在获取该四种图像的过程中，首先，可以从某星球的DOM中随机截取部分DOM作为原始DOM，其中，某星球可以是任意星球。然后，可以是从原始DOM中截取部分DOM作为截取DOM，截取DOM的面积大小可以是原始DOM的图像面积乘以预设值，例如，截取DOM的面积大小可以等于原始DOM的图像面积的1/4。接下来，根据第一预设仿射变换参数，对截取DOM进行仿射变换，得到第一仿射变换图像。最后，根据第二预设仿射变换参数，对第一仿射变换图像进行仿射变换，得到第二仿射变换图像。
本说明书实施例中，通过根据第一预设仿射变换参数，对截取DOM进行仿射变换，来模拟下降图像与DOM之间的仿射变换；通过根据第二预设仿射变换参数，对第一仿射变换图像进行仿射变换，来模拟连续下降图像之间的仿射变换。由于下降图像与DOM之间的差异大于连续下降图像之间的差异，因此，第二预设仿射变换参数对应的变换程度小于第一预设仿射变换参数对应的变换程度。
二、根据自监督训练数据，训练模型
1、训练预设仿射回归模型
本说明书实施例中，所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一样本标签为所述第一预设仿射变换参数。
本说明书实施例中，所述预设仿射回归模型的训练过程为第一迭代过程；所述第一迭代过程包括：
对所述第一训练样本中的截取DOM和第一仿射变换图像进行特征提取，得到第一特征集合。
计算所述第一特征集合中的截取DOM特征和第一仿射变换图像特征之间的相似度，得到相关图。
根据所述相关图，确定所述第一训练样本中的截取DOM和第一仿射变换图像之间的预测仿射变换参数。
根据所述第一预设仿射变换参数和所述预测仿射变换参数，调整所述预设仿射回归模型的相关参数，使得通过使用所述预设仿射回归模型的相关参数获得的所述预设仿射回归模型的损失函数的值减小。
下面参考图1，说明上述第一迭代过程。
首先，将第一训练样本中的截取DOM输入第二特征提取网络113中，得到截取DOM特征
Figure SMS_5
，以及，将第一训练样本中的第一仿射变换图像输入第二特征提取网络113中，得到第一仿射变换图像特征/>
Figure SMS_6
。第一特征集合中包含截取DOM特征/>
Figure SMS_7
和第一仿射变换图像特征
Figure SMS_8
。
其中，
Figure SMS_9
。
其中，R表示实数；h表示图像的高；w表示图像的宽；d表示图像的特征维度。
本说明书实施例中，第二特征提取网络113可以是预先在ImageNet上训练过的VGG16（视觉几何群网络，Visual Geometry Group Network）。在使用第二特征提取网络113提取上述图像特征的过程中，图像特征在VGG16的pool4层被输出，并使用L2范数进行规范化。
其次，将第一特征集合输入互相关层114，得到相关图；相关图的计算公式如下：
Figure SMS_10
......（1）
其中，
Figure SMS_12
表示相关图，该相关图中包含任意一个截取DOM特征/>
Figure SMS_14
和任意一个第一仿射变换图像特征/>
Figure SMS_17
之间的相似度，其中，/>
Figure SMS_13
；（i，j）表示截取DOM特征/>
Figure SMS_16
的坐标索引，（i′，j＇）表示第一仿射变换图像特征/>
Figure SMS_18
的坐标索引；
Figure SMS_19
表示/>
Figure SMS_11
与/>
Figure SMS_15
进行点积。
再次，通过标准化处理函数115对相关图进行处理。具体的，标准化处理函数115包括L2范数和ReLU激活函数。L2范数用于对相关图进行归一化处理；ReLU激活函数用于将相关图中的负值调整为零。
接着，将标准化处理后的相关图输入回归网络116，得到预测仿射变换参数θ＇。
然后，根据所述第一预设仿射变换参数和所述预测仿射变换参数θ＇，计算仿射变换参数预测损失。具体的，可以通过测量变换栅格
Figure SMS_20
和变换栅格/>
Figure SMS_21
之间的差异来确定仿射变换参数预测损失。其中，/>
Figure SMS_22
表示通过根据预测仿射变换参数θ＇对第一训练样本中的第一仿射变换图像的/>
Figure SMS_23
点进行仿射变换后得到的点；/>
Figure SMS_24
表示通过根据第一预设仿射变换参数（即真实的仿射变换参数）对第一训练样本中的第一仿射变换图像的/>
Figure SMS_25
点进行仿射变换后得到的点。具体的，仿射变换参数预测损失的计算公式如下：
Figure SMS_26
......（2）
其中，
Figure SMS_27
表示仿射变换参数预测损失；h*w表示图像特征点的总个数。
最后，根据所述仿射变换参数预测损失调整所述预设仿射回归模型的相关参数，使得通过使用所述预设仿射回归模型的相关参数获得的所述预设仿射回归模型的损失函数的值减小。
2、训练预设初始匹配模型
本说明书实施例中，所述预设初始匹配模型为根据第二训练样本和第二样本标签训练得到的模型；所述第二训练样本中包含原始DOM和截取DOM；所述第二样本标签为所述第二训练样本中的截取DOM在该第二训练样本中的原始DOM中的真实位置的位置数据。
本说明书实施例中，所述预设初始匹配模型的训练过程为第二迭代过程；所述第二迭代过程包括：
对所述第二训练样本中的原始DOM和截取DOM进行特征提取，得到第二特征集合。
根据所述第二特征集合，计算所述第二训练样本中的截取DOM，分别与该第二训练样本中的原始DOM的不同区域之间的相似度。
根据所述不同区域之间的相似度，在所述不同区域中确定出相似度最高的目标区域。
根据所述目标区域和所述第二样本标签，调整所述预设初始匹配模型的相关参数，使得通过使用所述预设初始匹配模型的相关参数获得的所述预设初始匹配模型的损失函数的值减小。
下面参考图1，说明上述第二迭代过程。
首先，将第二训练样本中的原始DOM输入第一特征提取网络111，得到原始DOM特征
Figure SMS_28
，该原始DOM特征被表示为/>
Figure SMS_29
；以及，将第二训练样本中的截取DOM输入第一特征提取网络111，得到截取DOM特征/>
Figure SMS_30
，该截取DOM特征被表示为/>
Figure SMS_31
。第二特征集合中包含原始DOM特征/>
Figure SMS_32
和截取DOM特征/>
Figure SMS_33
。
本说明书实施例中，第一特征提取网络111可以是现有技术的VGG16网络。
其次，将第二特征集合输入相关层112，得到分数图。该分数图中包含所述第二训练样本中的截取DOM，分别与该第二训练样本中的原始DOM的不同区域之间的相似度。该分数图的计算公式如下：
Figure SMS_34
......（3）
其中，
Figure SMS_35
表示分数图；*表示卷积运算；b为预设偏差，由本领域技术人员根据实际需求设定。
再次，根据所述分数图，在第二训练样本中的原始DOM的不同区域中选取出相似度最大的区域，并将该区域作为与第二训练样本中的截取DOM匹配的目标区域。第一初始匹配结果具体可以为该目标区域的中心点位置坐标。
然后，根据所述目标区域和所述第二样本标签，计算初始匹配损失。具体的，第二样本标签可以是以
Figure SMS_36
为中心的高斯掩模，其中，/>
Figure SMS_37
为第二训练样本中的截取DOM在该第二训练样本中的原始DOM中的实际对应区域的中心点位置坐标。初始匹配损失计算公式如下：
Figure SMS_38
......（4）
其中，
Figure SMS_39
表示初始匹配损失；/>
Figure SMS_40
表示第二样本标签；/>
Figure SMS_41
表示第一初始匹配结果；/>
Figure SMS_42
表示二元交叉熵损失。
最后，根据所述初始匹配损失，调整所述预设初始匹配模型的相关参数，使得通过使用所述预设初始匹配模型的相关参数获得的所述预设初始匹配模型的损失函数的值减小。
此外，为了适应实际应用场景，还可以使用校正后的第一仿射变换图像和该校正后的第一仿射变换图像对应的原始DOM进行模型训练。具体的，参考图1，在通过预设仿射回归模型获取某原始DOM对应的第一仿射变换图像的预测仿射变换参数后，将该预测仿射变换参数和该第一仿射变换图像输入仿射变换单元117，得到校正后的第一仿射变换图像
Figure SMS_43
。然后，将第一仿射变换图像/>
Figure SMS_44
输入第一特征提取网络111，得到图像特征/>
Figure SMS_45
。再然后，将该图像特征/>
Figure SMS_46
和该原始DOM的原始DOM特征/>
Figure SMS_47
输入相关层112，得到对应的分数图。最后，根据该分数图，在该原始DOM的不同区域中选取出相似度最大的区域，并将该区域作为与该校正后的第一仿射变换图像匹配的目标区域。第二初始匹配结果具体可以为该目标区域的中心点位置坐标。
三、训练预设密集匹配模型
本说明书实施例中，所述预设密集匹配模型为根据第三训练样本和第三样本标签训练得到的模型；所述第三训练样本中包含第一仿射变换图像和第二仿射变换图像；所述第三训练样本中的第二仿射变换图像为根据第二预设仿射变换参数，对该第三训练样本中的第一仿射变换图像进行仿射变换后得到的图像；所述第三样本标签为所述第二预设仿射变换参数。
本说明书实施例中，所述预设密集匹配模型的训练过程为第三迭代过程；所述第三迭代过程包括：
对所述第三训练样本中的第一仿射变换图像和第二仿射变换图像进行多级特征提取，得到第三特征集合；所述第三特征集合中的图像特征分为高分辨率特征和低分辨率特征。
通过对所述第三特征集合中的低分辨率第一仿射变换图像特征和低分辨率第二仿射变换图像特征进行匹配，得到所述第三训练样本的第一匹配结果；所述第一匹配结果中包含多个第一匹配对；所述第一匹配对由一个低分辨率第一仿射变换图像特征的位置数据和一个低分辨率第二仿射变换图像特征的位置数据组成；所述一个低分辨率第一仿射变换图像特征和所述一个低分辨率第二仿射变换图像特征相匹配。
针对每个所述第一匹配对，从所述第三特征集合中选取目标高分辨率第一仿射变换图像特征和目标高分辨率第二仿射变换图像特征；所述目标高分辨率第一仿射变换图像特征为所述第三训练样本的第一仿射变换图像中，以所述一个低分辨率第一仿射变换图像特征所在位置为中心的局部区域对应的高分辨率第一仿射变换图像特征；所述目标高分辨率第二仿射变换图像特征为所述第三训练样本的第二仿射变换图像中，以所述一个低分辨率第二仿射变换图像特征所在位置为中心的局部区域对应的高分辨率第二仿射变换图像特征。
通过对所述目标高分辨率第一仿射变换图像特征和所述目标高分辨率第二仿射变换图像特征进行匹配，得到所述第三训练样本的第二匹配结果；所述第二匹配结果中包含多个第二匹配对；所述第二匹配对由一个目标高分辨率第一仿射变换图像特征的位置数据和一个目标高分辨率第二仿射变换图像特征的位置数据组成；所述一个目标高分辨率第一仿射变换图像特征和所述一个目标高分辨率第二仿射变换图像特征相匹配。
根据所述第一匹配结果、所述第二匹配结果和所述第三样本标签，调整所述预设密集匹配模型的相关参数，使得通过使用所述预设密集匹配模型的相关参数获得的所述预设密集匹配模型的损失函数的值减小。
下面参考图1，说明上述第三迭代过程。
首先，将第三训练样本中的第一仿射变换图像和第二仿射变换图像输入第三特征提取网络118。第三特征提取网络118可以是具有FPN（Feature Pyramid Network）结构的标准卷积神经网络（Convolutional Neural Network，CNN），该CNN能够对图像进行多级特征提取。因此，将第三训练样本中的第一仿射变换图像输入第三特征提取网络118后，得到第一仿射变换图像特征
Figure SMS_48
和第一仿射变换图像特征/>
Figure SMS_52
；其中，第一仿射变换图像特征/>
Figure SMS_55
的分辨率大于第一仿射变换图像特征/>
Figure SMS_50
的分辨率。将第三训练样本中的第二仿射变换图像输入第三特征提取网络118后，得到第二仿射变换图像特征/>
Figure SMS_53
和第二仿射变换图像特征
Figure SMS_56
；其中，第二仿射变换图像特征/>
Figure SMS_58
的分辨率大于第二仿射变换图像特征/>
Figure SMS_51
的分辨率。进而，第三特征集合中的图像特征分为高分辨率特征和低分辨率特征，具体的，第三特征集合中包含高分辨率第一仿射变换图像特征/>
Figure SMS_54
、低分辨率第一仿射变换图像特征/>
Figure SMS_57
、高分辨率第二仿射变换图像特征/>
Figure SMS_59
和低分辨率第二仿射变换图像特征/>
Figure SMS_49
。
其次，使用自注意力层119和跨注意力层120来编码
Figure SMS_61
的长距离依赖，得到/>
Figure SMS_63
，以及使用自注意力层119和跨注意力层120来编码/>
Figure SMS_66
的长距离依赖，得到/>
Figure SMS_62
。下面以/>
Figure SMS_64
为例，说明该编码过程。首先，对于自注意力层119，使用三个线性层网络映射/>
Figure SMS_67
，得到K、Q、V；对于跨注意力层120，使用一个线性层映射/>
Figure SMS_68
，得到Q；以及通过两个线性层映射/>
Figure SMS_60
，得到K、V。然后，通过如下计算公式得到/>
Figure SMS_65
：
Figure SMS_69
......（5）
其中，K在注意力建模中表示键向量(Key)；Q在注意力建模中表示查询向量(Query)；V在注意力建模中表示值向量(Value)。
再次，将
Figure SMS_71
和/>
Figure SMS_73
输入密集匹配层121。密集匹配层121用于计算任意一个/>
Figure SMS_75
和任意一个/>
Figure SMS_72
之间的第一相似度。在一个具体的例子中，假定/>
Figure SMS_76
对应的特征点的数目为/>
Figure SMS_77
，
Figure SMS_78
对应的特征点的数目为/>
Figure SMS_70
，则第一相似度的维度为/>
Figure SMS_74
。
然后，根据该第一相似度，生成第一匹配结果。其中，第一匹配结果中，各第一匹配对的生成方法相同。以及，若目标低分辨率第一仿射变换图像特征和目标低分辨率第二仿射变换图像特征相匹配，则需要满足：目标低分辨率第一仿射变换图像特征为第三特征集合中，与目标低分辨率第二仿射变换图像特征最相似的低分辨率第一仿射变换图像特征，且目标低分辨率第二仿射变换图像特征为第三特征集合中，与目标低分辨率第一仿射变换图像特征最相似的低分辨率第二仿射变换图像特征。
最后，使用高分辨特征细化第一匹配结果。下面以第一匹配对
Figure SMS_79
为例，说明使用高分辨特征细化第一匹配结果的过程，其中，/>
Figure SMS_80
为某低分辨率第一仿射变换图像特征的位置坐标；/>
Figure SMS_81
为某低分辨率第二仿射变换图像特征的位置坐标。其他第一匹配对所对应的细化过程同理。
首先，将第一匹配对
Figure SMS_82
和第三特征集合中的高分辨率特征输入剪切层122，剪切层122用于在由第三特征集合中的高分辨率第一仿射变换图像特征构成的特征图中确定/>
Figure SMS_83
对应的位置坐标Y，在该特征图中裁剪出以Y为中心的局部窗口特征，得到目标高分辨率第一仿射变换图像特征。以及，在由第三特征集合中的高分辨率第二仿射变换图像特征构成的特征图中确定/>
Figure SMS_84
对应的位置坐标Z，在该特征图中裁剪出以Z为中心的局部窗口特征，得到目标高分辨率第二仿射变换图像特征。
然后，使用自注意力层119和跨注意力层120来编码目标高分辨率第一仿射变换图像特征的长距离依赖，得到
Figure SMS_85
，以及，使用自注意力层119和跨注意力层120来编码目标高分辨率第二仿射变换图像特征的长距离依赖，得到/>
Figure SMS_86
。
最后，将
Figure SMS_87
和/>
Figure SMS_88
输入密集匹配层121，密集匹配层121还用于计算任意一个/>
Figure SMS_89
和任意一个/>
Figure SMS_90
之间的第二相似度。根据该第二相似度，生成第二匹配结果。生成第二相似度的方法与生成第一相似度的方法相同或相似，以及，生成第二匹配结果的方法与生成第一匹配结果的方法相同或相似，在此不再赘述。
在获取到第一匹配结果和第二匹配结果后，可以根据所述第一匹配结果、所述第二匹配结果和所述第三样本标签，计算密集匹配损失。密集匹配损失的计算公式如下：
Figure SMS_91
......（6）
其中，
Figure SMS_93
表示密集匹配损失；/>
Figure SMS_96
表示低分辨率第一仿射变换图像和低分辨率第二仿射变换图像之间的真实匹配关系；/>
Figure SMS_98
表示第一匹配对；/>
Figure SMS_94
表示/>
Figure SMS_97
对应的第一相似度，要求该/>
Figure SMS_99
；/>
Figure SMS_101
表示第二匹配结果；/>
Figure SMS_92
表示第二匹配对；/>
Figure SMS_95
表示在高分辨率第二仿射变换图像中匹配出的，与高分辨率第一仿射变换图像中的特征点Y对应的点的位置坐标；/>
Figure SMS_100
表示高分辨率第二仿射变换图像中，与高分辨率第一仿射变换图像中的特征点Y实际对应的点的位置坐标。
最后，根据所述密集匹配损失，调整所述预设密集匹配模型的相关参数，使得通过使用所述预设密集匹配模型的相关参数获得的所述预设密集匹配模型的损失函数的值减小。
本说明书实施例还提供了一种图像匹配方法，该方法应用于航天器。图2是本发明实施例提供的一种图像匹配方法的流程示意图。如图2所示，本流程包括：
步骤201：获取航天器的着陆点对应的DOM。
本说明书实施例中，获取航天器的着陆点对应的DOM，具体可以包括：响应于工作人员的DOM输入操作，获取DOM。
步骤202：获取所述航天器的下降图像。
本说明书实施例中，下降图像可以是航天器的所有下降图像中的任意一张下降图像。
步骤203：通过预设仿射回归模型，获取所述下降图像与所述DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数。
本说明书实施例中，预设仿射回归模型为预先训练的能够计算下降图像和DOM之间的仿射变换参数的模型，通过将下降图像和DOM输入预设仿射回归模型，预设仿射回归模型便能够自动输出该下降图像和DOM之间的仿射变换参数。
步骤204：根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像。
本说明书实施例中，由于下降图像和DOM之间存在显著的仿射变换，使得不能直接对下降图像和DOM进行图像匹配，需要先根据下降图像和DOM之间的仿射变换参数，校正下降图像，然后对校正后的下降图像和DOM进行图像匹配。
步骤205：基于预设密集匹配规则，对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系。
本说明书实施例采用上述技术方案，首先，在获取航天器的着陆点对应的DOM和航天器的下降图像。然后，通过预设仿射回归模型，获取下降图像与DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数。再然后，根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像。最后，基于预设密集匹配规则，对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系。基于此，本申请通过使用预设仿射回归模型来获取下降图像与DOM之间的仿射变换参数，使得本申请能够快速地获取到该仿射变换参数，进而使得本申请能够快速地对下降图像进行仿射变换，大大缩短了图像匹配的时长，满足了用户需要提高图像匹配效率的需求。
此外，本说明书实施例通过使用预设仿射回归模型来获取下降图像与DOM之间的仿射变换参数，还能够提高该仿射变换参数的准确性，因此，根据该仿射变换参数，对下降图像进行仿射变换而得到的校正图像更准确，进而使得校正图像和DOM之间的匹配结果更准确。简言之，本说明书实施例还能够提高图像匹配结果的准确性。
本说明书实施例还提供了另一种图像匹配方法。图3是本发明实施例提供的另一种图像匹配方法的流程示意图。如图3所示，本流程包括：
步骤301：获取航天器的着陆点对应的DOM。
步骤302：获取所述航天器的下降图像。
步骤303：基于预设初始匹配规则，对所述DOM和所述下降图像进行匹配，得到初始匹配结果；所述初始匹配结果中包含目标DOM；所述目标DOM为所述DOM中与所述下降图像对应的区域。
本说明书实施例中，下降图像所对应的实际范围，与DOM所对应的实际范围之间往往存在巨大差异，即下降图像仅对应于DOM中的一小部分图像区域，例如，假定DOM对应的实际范围是某城市，则下降图像对应的实际范围可以是该城市的某个区域。
基于此，在获取到下降图像和DOM之后，为了提高图像匹配效率，可以先对下降图像和DOM进行粗粒度匹配，具体为计算下降图像分别与DOM的不同区域之间的相似度，然后，在该DOM的不同区域中，确定出相似度最高的区域，该相似度最高的区域即为DOM中与下降图像对应的目标DOM。
本说明书实施例中，步骤303：基于预设初始匹配规则，对所述DOM和所述下降图像进行匹配，具体可以包括：将所述DOM和所述下降图像输入上述预设初始匹配模型，以使所述DOM和所述下降图像按照所述预设初始匹配规则进行匹配。
步骤304：通过预设仿射回归模型，获取所述下降图像与所述目标DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数。
步骤305：根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像。
步骤306：基于预设密集匹配规则，对所述校正图像和所述目标DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述目标DOM之间的坐标点对应关系。
本说明书实施例中，步骤306：基于预设密集匹配规则，对所述校正图像和所述目标DOM进行匹配，具体可以包括：将所述校正图像和所述目标DOM输入上述预设密集匹配模型，以使所述校正图像和所述目标DOM按照所述预设密集匹配规则进行匹配。
本说明书实施例采用上述技术方案，在获取到下降图像和DOM之后，通过首先对下降图像和DOM进行粗粒度匹配，以在DOM中确定出与下降图像对应的目标DOM，如此，避免了后续将整个DOM与下降图像进行密集匹配，而只需对目标DOM和下降图像进行密集匹配，这使得本说明书实施例进一步提高了图像匹配效率。
基于一个总的发明构思，本发明实施例还提供了一种航天器着陆点定位方法。图4是本发明实施例提供的一种航天器着陆点定位方法的流程示意图，如图4所示，本流程包括：
步骤401：获取航天器的着陆点对应的DOM。
步骤402：获取所述航天器的下降图像集合；所述下降图像集合中包含多张下降图像；其中，设定捕获时间最晚的下降图像中的预设点与所述航天器的着陆点对应。
步骤403：对相邻的所述下降图像进行匹配，得到第一匹配结果；所述第一匹配结果中包含相邻的所述下降图像之间的坐标点对应关系。
本发明实施例中，假定下降图像有I1、I2、I3、I4和I5，且I1、I2、I3、I4和I5依次被捕获，则I5为捕获时间最晚的下降图像。则可以通过预设密集匹配模型，对图像I4和图像I5进行匹配，以及对图像I3和图像I4进行匹配等。最终，得到第一匹配结果。
步骤404：根据所述第一匹配结果，计算该第一匹配结果对应的相邻下降图像之间的第一单应性矩阵。
本发明实施例中，可以基于RANSAC（RANdom SAmple Consensus）算法，根据任意相邻的下降图像对应的第一匹配结果，计算该任意相邻的下降图像之间的第一单应性矩阵。
步骤405：从所述下降图像集合中选取至少一张下降图像作为目标下降图像。
本发明实施例中，可以从所述下降图像集合中除捕获时间最晚的下降图像之外的其他下降图像中，选取至少一张下降图像作为目标下降图像。
步骤406：针对每张所述目标下降图像，采用上述实施例所述的图像匹配方法，对所述目标下降图像和所述DOM进行匹配，得到第二匹配结果；所述第二匹配结果中包含所述目标下降图像和所述DOM之间的坐标点对应关系。
步骤407：根据所述第二匹配结果，计算所述目标下降图像和所述DOM之间的第二单应性矩阵。
步骤408：根据所述第一单应性矩阵和所述第二单应性矩阵，在所述DOM中确定出与所述预设点对应的第一DOM点。
本说明书实施例中，第一DOM点的位置坐标的计算公式如下：
Figure SMS_102
......（7）
其中，
Figure SMS_103
表示第一DOM点的位置坐标；/>
Figure SMS_104
表示目标下降图像和DOM之间的第二单应性矩阵；/>
Figure SMS_105
表示目标下降图像和DOM之间的仿射变换参数；/>
Figure SMS_106
表示第i张下降图像（即目标下降图像）与第（i+1）张下降图像之间的第一单应性矩阵；/>
Figure SMS_107
表示第（i+1）张下降图像与第（i+2）张下降图像之间的第一单应性矩阵；/>
Figure SMS_108
表示捕获时间最晚的下降图像与该捕获时间最晚的下降图像的前一张下降图像之间的第一单应性矩阵；/>
Figure SMS_109
表示捕获时间最晚的下降图像中的预设点的位置坐标。其中，第i张下降图像与第（i+1）张下降图像为相邻的下降图像，且第i张下降图像的捕获时间早于第（i+1）张下降图像的捕获时间，以此类推，可确定其他各下降图像的捕获顺序。
为了更清楚地说明上述过程，下面举例说明。
在一个具体的例子中，假定下降图像有I1、I2、I3、I4和I5，且I1、I2、I3、I4和I5依次被捕获，则I5为捕获时间最晚的下降图像。下降图像有I1和下降图像I2之间的第一单应性矩阵为
Figure SMS_110
，下降图像I2和下降图像I3之间的第一单应性矩阵为/>
Figure SMS_111
，以此类推，下降图像I4和下降图像I5之间的第一单应性矩阵为/>
Figure SMS_112
。假定，目标下降图像为I3，则对应的第一DOM点的位置坐标为：
Figure SMS_113
。
步骤409：根据至少一张所述目标下降图像对应的第一DOM点，在所述DOM中确定出第二DOM点；所述第二DOM点为在所述DOM中定位出的所述航天器的着陆点。
本发明实施例中，首先，针对每张目标下降图像对应的第一DOM点，通过如下公式计算得到各目标下降图像对应的第一DOM点的定位分数：
Figure SMS_114
......（8）
其中，
Figure SMS_115
表示第一DOM点的定位分数；/>
Figure SMS_116
表示使用预设密集匹配模型对目标下降图像和DOM进行匹配时，得到的第一匹配对；/>
Figure SMS_117
表示/>
Figure SMS_118
对应的第一相似度；/>
Figure SMS_119
表示使用预设密集匹配模型对目标下降图像和DOM进行匹配时，得到的第一匹配结果。
然后，从各第一DOM点中选取定位分数大于或等于预设阈值的第一DOM点。其中，预设阈值可以等于0.1。
最后，根据如下公式，在所述DOM中确定出第二DOM点：
Figure SMS_120
......（9）
其中，
Figure SMS_121
表示第二DOM点的位置坐标；/>
Figure SMS_122
表示由定位分数大于或等于预设阈值的第一DOM点构成的集合；/>
Figure SMS_123
表示各定位分数大于或等于预设阈值的第一DOM点的定位分数之和；/>
Figure SMS_124
表示第i个第一DOM点的位置坐标。
基于一个总的发明构思，本发明实施例还提供了一种图像匹配装置，应用于航天器。图5是本发明实施例提供的一种图像匹配装置的结构示意图。如图5所示，本装置包括：
DOM获取模块51，用于获取航天器的着陆点对应的DOM。
下降图像获取模块52，用于获取所述航天器的下降图像。
仿射变换参数获取模块53，用于通过预设仿射回归模型，获取所述下降图像与所述DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数。
下降图像校正模块54，用于根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像。
密集匹配模块55，用于基于预设密集匹配规则，对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系。
本说明书实施的装置，还可以包括初始匹配模块，用于基于预设初始匹配规则，对所述DOM和所述下降图像进行匹配，得到初始匹配结果；所述初始匹配结果中包含目标DOM；所述目标DOM为所述DOM中与所述下降图像对应的区域。
对应的，仿射变换参数获取模块53，具体可以用于：通过预设仿射回归模型，获取所述下降图像与所述目标DOM之间的仿射变换参数。
密集匹配模块55，具体还可以用于基于预设密集匹配规则，对所述校正图像和所述目标DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述目标DOM之间的坐标点对应关系。
本说明书实施的装置，还可以包括预设仿射回归模型训练模块，用于执行第一迭代过程；所述第一迭代过程包括：
对所述第一训练样本中的截取DOM和第一仿射变换图像进行特征提取，得到第一特征集合。
计算所述第一特征集合中的截取DOM特征和第一仿射变换图像特征之间的相似度，得到相关图。
根据所述相关图，确定所述第一训练样本中的截取DOM和第一仿射变换图像之间的预测仿射变换参数。
根据所述第一预设仿射变换参数和所述预测仿射变换参数，调整所述预设仿射回归模型的相关参数，使得通过使用所述预设仿射回归模型的相关参数获得的所述预设仿射回归模型的损失函数的值减小。
本说明书实施例中，初始匹配模块，具体可以用于：
将所述DOM和所述下降图像输入预设初始匹配模型，以使所述DOM和所述下降图像按照所述预设初始匹配规则进行匹配。
所述预设初始匹配模型为根据第二训练样本和第二样本标签训练得到的模型；所述第二训练样本中包含原始DOM和截取DOM；所述第二训练样本中的截取DOM为从该第二训练样本中的原始DOM中截取的部分DOM；所述第二样本标签为所述第二训练样本中的截取DOM在该第二训练样本中的原始DOM中的真实位置的位置数据。
本说明书实施的装置，还可以包括预设初始匹配模型训练模块，用于执行第二迭代过程；所述第二迭代过程包括：
对所述第二训练样本中的原始DOM和截取DOM进行特征提取，得到第二特征集合。
根据所述第二特征集合，计算所述第二训练样本中的截取DOM，分别与该第二训练样本中的原始DOM的不同区域之间的相似度。
根据所述不同区域之间的相似度，在所述不同区域中确定出相似度最高的目标区域。
根据所述目标区域和所述第二样本标签，调整所述预设初始匹配模型的相关参数，使得通过使用所述预设初始匹配模型的相关参数获得的所述预设初始匹配模型的损失函数的值减小。
本说明书实施例中，密集匹配模块55，具体可以用于：将所述校正图像和所述目标DOM输入预设密集匹配模型，以使所述校正图像和所述目标DOM按照所述预设密集匹配规则进行匹配。
所述预设密集匹配模型为根据第三训练样本和第三样本标签训练得到的模型；所述第三训练样本中包含第一仿射变换图像和第二仿射变换图像；所述第三训练样本中的第二仿射变换图像为根据第二预设仿射变换参数，对该第三训练样本中的第一仿射变换图像进行仿射变换后得到的图像；所述第三样本标签为所述第二预设仿射变换参数。
本说明书实施的装置，还可以包括预设密集匹配模型训练模块，用于执行第三迭代过程；所述第三迭代过程包括：
对所述第三训练样本中的第一仿射变换图像和第二仿射变换图像进行多级特征提取，得到第三特征集合；所述第三特征集合中的图像特征分为高分辨率特征和低分辨率特征。
通过对所述第三特征集合中的低分辨率第一仿射变换图像特征和低分辨率第二仿射变换图像特征进行匹配，得到所述第三训练样本的第一匹配结果；所述第一匹配结果中包含多个第一匹配对；所述第一匹配对由一个低分辨率第一仿射变换图像特征的位置数据和一个低分辨率第二仿射变换图像特征的位置数据组成；所述一个低分辨率第一仿射变换图像特征和所述一个低分辨率第二仿射变换图像特征相匹配。
针对每个所述第一匹配对，从所述第三特征集合中选取目标高分辨率第一仿射变换图像特征和目标高分辨率第二仿射变换图像特征；所述目标高分辨率第一仿射变换图像特征为所述第三训练样本的第一仿射变换图像中，以所述一个低分辨率第一仿射变换图像特征所在位置为中心的局部区域对应的高分辨率第一仿射变换图像特征；所述目标高分辨率第二仿射变换图像特征为所述第三训练样本的第二仿射变换图像中，以所述一个低分辨率第二仿射变换图像特征所在位置为中心的局部区域对应的高分辨率第二仿射变换图像特征。
通过对所述目标高分辨率第一仿射变换图像特征和所述目标高分辨率第二仿射变换图像特征进行匹配，得到所述第三训练样本的第二匹配结果；所述第二匹配结果中包含多个第二匹配对；所述第二匹配对由一个目标高分辨率第一仿射变换图像特征的位置数据和一个目标高分辨率第二仿射变换图像特征的位置数据组成；所述一个目标高分辨率第一仿射变换图像特征和所述一个目标高分辨率第二仿射变换图像特征相匹配。
根据所述第一匹配结果、所述第二匹配结果和所述第三样本标签，调整所述预设密集匹配模型的相关参数，使得通过使用所述预设密集匹配模型的相关参数获得的所述预设密集匹配模型的损失函数的值减小。
基于一个总得发明构思，本申请还提供了一种航天器着陆点定位装置。图6是本发明实施例提供的一种航天器着陆点定位装置的结构示意图。如图6所示，该装置包括：
DOM获取模块61，用于获取航天器的着陆点对应的DOM。
下降图像集合获取模块62，用于获取所述航天器的下降图像集合；所述下降图像集合中包含多张下降图像；其中，设定捕获时间最晚的下降图像中的预设点与所述航天器的着陆点对应。
第一匹配模块63，用于对相邻的所述下降图像进行匹配，得到第一匹配结果；所述第一匹配结果中包含相邻的所述下降图像之间的坐标点对应关系；
第一单应性矩阵计算模块64，用于根据所述第一匹配结果，计算该第一匹配结果对应的相邻下降图像之间的第一单应性矩阵。
目标下降图像选取模块65，用于从所述下降图像集合中选取至少一张下降图像作为目标下降图像。
第二匹配模块66，用于针对每张所述目标下降图像，采用如上述实施例所述的图像匹配方法，对所述目标下降图像和所述DOM进行匹配，得到第二匹配结果；所述第二匹配结果中包含所述目标下降图像和所述DOM之间的坐标点对应关系。
第二单应性矩阵计算模块67，用于根据所述第二匹配结果，计算所述目标下降图像和所述DOM之间的第二单应性矩阵。
第一DOM点确定模块68，用于根据所述第一单应性矩阵和所述第二单应性矩阵，在所述DOM中确定出与所述预设点对应的第一DOM点。
第二DOM点确定模块69，用于根据至少一张所述目标下降图像对应的第一DOM点，在所述DOM中确定出第二DOM点；所述第二DOM点为在所述DOM中定位出的所述航天器的着陆点。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。
本发明各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本发明所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像匹配方法，应用于航天器，其特征在于，包括：
获取航天器的着陆点对应的DOM；
获取所述航天器的下降图像；
通过预设仿射回归模型，获取所述下降图像与所述DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数；
根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像；
基于预设密集匹配规则，对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系。
2.根据权利要求1所述的方法，其特征在于，所述通过预设仿射回归模型，获取所述下降图像与所述DOM之间的仿射变换参数之前，还包括：
基于预设初始匹配规则，对所述DOM和所述下降图像进行匹配，得到初始匹配结果；所述初始匹配结果中包含目标DOM；所述目标DOM为所述DOM中与所述下降图像对应的区域；
所述获取所述下降图像与所述DOM之间的仿射变换参数，具体包括：
获取所述下降图像与所述目标DOM之间的仿射变换参数；
所述对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系，具体包括：
对所述校正图像和所述目标DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述目标DOM之间的坐标点对应关系。
3.根据权利要求1所述的方法，其特征在于，所述预设仿射回归模型的训练过程为第一迭代过程；所述第一迭代过程包括：
对所述第一训练样本中的截取DOM和第一仿射变换图像进行特征提取，得到第一特征集合；
计算所述第一特征集合中的截取DOM特征和第一仿射变换图像特征之间的相似度，得到相关图；
根据所述相关图，确定所述第一训练样本中的截取DOM和第一仿射变换图像之间的预测仿射变换参数；
根据所述第一预设仿射变换参数和所述预测仿射变换参数，调整所述预设仿射回归模型的相关参数，使得通过使用所述预设仿射回归模型的相关参数获得的所述预设仿射回归模型的损失函数的值减小。
4.根据权利要求2所述的方法，其特征在于，所述基于预设初始匹配规则，对所述DOM和所述下降图像进行匹配，具体包括：
将所述DOM和所述下降图像输入预设初始匹配模型，以使所述DOM和所述下降图像按照所述预设初始匹配规则进行匹配；
所述预设初始匹配模型为根据第二训练样本和第二样本标签训练得到的模型；所述第二训练样本中包含原始DOM和截取DOM；所述第二训练样本中的截取DOM为从该第二训练样本中的原始DOM中截取的部分DOM；所述第二样本标签为所述第二训练样本中的截取DOM在该第二训练样本中的原始DOM中的真实位置的位置数据。
5.根据权利要求4所述的方法，其特征在于，所述预设初始匹配模型的训练过程为第二迭代过程；所述第二迭代过程包括：
对所述第二训练样本中的原始DOM和截取DOM进行特征提取，得到第二特征集合；
根据所述第二特征集合，计算所述第二训练样本中的截取DOM，分别与该第二训练样本中的原始DOM的不同区域之间的相似度；
根据所述不同区域之间的相似度，在所述不同区域中确定出相似度最高的目标区域；
根据所述目标区域和所述第二样本标签，调整所述预设初始匹配模型的相关参数，使得通过使用所述预设初始匹配模型的相关参数获得的所述预设初始匹配模型的损失函数的值减小。
6.根据权利要求2所述的方法，其特征在于，所述对所述校正图像和所述目标DOM进行匹配，具体包括：
将所述校正图像和所述目标DOM输入预设密集匹配模型，以使所述校正图像和所述目标DOM按照所述预设密集匹配规则进行匹配；
所述预设密集匹配模型为根据第三训练样本和第三样本标签训练得到的模型；所述第三训练样本中包含第一仿射变换图像和第二仿射变换图像；所述第三训练样本中的第二仿射变换图像为根据第二预设仿射变换参数，对该第三训练样本中的第一仿射变换图像进行仿射变换后得到的图像；所述第三样本标签为所述第二预设仿射变换参数。
7.根据权利要求6所述的方法，其特征在于，所述预设密集匹配模型的训练过程为第三迭代过程；所述第三迭代过程包括：
对所述第三训练样本中的第一仿射变换图像和第二仿射变换图像进行多级特征提取，得到第三特征集合；所述第三特征集合中的图像特征分为高分辨率特征和低分辨率特征；
通过对所述第三特征集合中的低分辨率第一仿射变换图像特征和低分辨率第二仿射变换图像特征进行匹配，得到所述第三训练样本的第一匹配结果；所述第一匹配结果中包含多个第一匹配对；所述第一匹配对由一个低分辨率第一仿射变换图像特征的位置数据和一个低分辨率第二仿射变换图像特征的位置数据组成；所述一个低分辨率第一仿射变换图像特征和所述一个低分辨率第二仿射变换图像特征相匹配；
针对每个所述第一匹配对，从所述第三特征集合中选取目标高分辨率第一仿射变换图像特征和目标高分辨率第二仿射变换图像特征；所述目标高分辨率第一仿射变换图像特征为所述第三训练样本的第一仿射变换图像中，以所述一个低分辨率第一仿射变换图像特征所在位置为中心的局部区域对应的高分辨率第一仿射变换图像特征；所述目标高分辨率第二仿射变换图像特征为所述第三训练样本的第二仿射变换图像中，以所述一个低分辨率第二仿射变换图像特征所在位置为中心的局部区域对应的高分辨率第二仿射变换图像特征；
通过对所述目标高分辨率第一仿射变换图像特征和所述目标高分辨率第二仿射变换图像特征进行匹配，得到所述第三训练样本的第二匹配结果；所述第二匹配结果中包含多个第二匹配对；所述第二匹配对由一个目标高分辨率第一仿射变换图像特征的位置数据和一个目标高分辨率第二仿射变换图像特征的位置数据组成；所述一个目标高分辨率第一仿射变换图像特征和所述一个目标高分辨率第二仿射变换图像特征相匹配；
根据所述第一匹配结果、所述第二匹配结果和所述第三样本标签，调整所述预设密集匹配模型的相关参数，使得通过使用所述预设密集匹配模型的相关参数获得的所述预设密集匹配模型的损失函数的值减小。
8.一种航天器着陆点定位方法，其特征在于，包括：
获取航天器的着陆点对应的DOM；
获取所述航天器的下降图像集合；所述下降图像集合中包含多张下降图像；其中，设定捕获时间最晚的下降图像中的预设点与所述航天器的着陆点对应；
对相邻的所述下降图像进行匹配，得到第一匹配结果；所述第一匹配结果中包含相邻的所述下降图像之间的坐标点对应关系；
根据所述第一匹配结果，计算该第一匹配结果对应的相邻下降图像之间的第一单应性矩阵；
从所述下降图像集合中选取至少一张下降图像作为目标下降图像；
针对每张所述目标下降图像，采用如权利要求1或2所述的方法，对所述目标下降图像和所述DOM进行匹配，得到第二匹配结果；所述第二匹配结果中包含所述目标下降图像和所述DOM之间的坐标点对应关系；
根据所述第二匹配结果，计算所述目标下降图像和所述DOM之间的第二单应性矩阵；
根据所述第一单应性矩阵和所述第二单应性矩阵，在所述DOM中确定出与所述预设点对应的第一DOM点；
根据至少一张所述目标下降图像对应的第一DOM点，在所述DOM中确定出第二DOM点；所述第二DOM点为在所述DOM中定位出的所述航天器的着陆点。
9.一种图像匹配装置，应用于航天器，其特征在于，包括：
DOM获取模块，用于获取航天器的着陆点对应的DOM；
下降图像获取模块，用于获取所述航天器的下降图像；
仿射变换参数获取模块，用于通过预设仿射回归模型，获取所述下降图像与所述DOM之间的仿射变换参数；所述预设仿射回归模型为根据第一训练样本和第一样本标签训练得到的模型；所述第一训练样本中包含截取DOM和第一仿射变换图像；所述第一训练样本中的第一仿射变换图像为根据第一预设仿射变换参数，对该第一训练样本中的截取DOM进行仿射变换后得到的图像；所述第一样本标签为所述第一预设仿射变换参数；
下降图像校正模块，用于根据所述仿射变换参数，对所述下降图像进行仿射变换，得到校正图像；
密集匹配模块，用于基于预设密集匹配规则，对所述校正图像和所述DOM进行匹配，得到密集匹配结果；所述密集匹配结果中包含所述校正图像和所述DOM之间的坐标点对应关系。
10.一种航天器着陆点定位装置，其特征在于，包括：
DOM获取模块，用于获取航天器的着陆点对应的DOM；
下降图像集合获取模块，用于获取所述航天器的下降图像集合；所述下降图像集合中包含多张下降图像；其中，设定捕获时间最晚的下降图像中的预设点与所述航天器的着陆点对应；
第一匹配模块，用于对相邻的所述下降图像进行匹配，得到第一匹配结果；所述第一匹配结果中包含相邻的所述下降图像之间的坐标点对应关系；
第一单应性矩阵计算模块，用于根据所述第一匹配结果，计算该第一匹配结果对应的相邻下降图像之间的第一单应性矩阵；
目标下降图像选取模块，用于从所述下降图像集合中选取至少一张下降图像作为目标下降图像；
第二匹配模块，用于针对每张所述目标下降图像，采用如权利要求1或2所述的方法，对所述目标下降图像和所述DOM进行匹配，得到第二匹配结果；所述第二匹配结果中包含所述目标下降图像和所述DOM之间的坐标点对应关系；
第二单应性矩阵计算模块，用于根据所述第二匹配结果，计算所述目标下降图像和所述DOM之间的第二单应性矩阵；
第一DOM点确定模块，用于根据所述第一单应性矩阵和所述第二单应性矩阵，在所述DOM中确定出与所述预设点对应的第一DOM点；
第二DOM点确定模块，用于根据至少一张所述目标下降图像对应的第一DOM点，在所述DOM中确定出第二DOM点；所述第二DOM点为在所述DOM中定位出的所述航天器的着陆点。
CN202310149445.5A 2023-02-16 2023-02-16 图像匹配方法、航天器着陆点定位方法及相关装置 Active CN115861393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310149445.5A CN115861393B (zh) 2023-02-16 2023-02-16 图像匹配方法、航天器着陆点定位方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310149445.5A CN115861393B (zh) 2023-02-16 2023-02-16 图像匹配方法、航天器着陆点定位方法及相关装置

Publications (2)

Publication Number Publication Date
CN115861393A true CN115861393A (zh) 2023-03-28
CN115861393B CN115861393B (zh) 2023-06-16

Family

ID=85658638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310149445.5A Active CN115861393B (zh) 2023-02-16 2023-02-16 图像匹配方法、航天器着陆点定位方法及相关装置

Country Status (1)

Country Link
CN (1) CN115861393B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015290A (zh) * 2024-04-08 2024-05-10 浙江深象智能科技有限公司 图像特征处理方法、图像对比方法、模型训练方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171732A (zh) * 2017-11-24 2018-06-15 中国人民解放军63920部队 一种基于多源图像融合的探测器月面着陆绝对定位方法
US10871377B1 (en) * 2019-08-08 2020-12-22 Phiar Technologies, Inc. Computer-vision based positioning for augmented reality navigation
FR3101467A1 (fr) * 2019-10-01 2021-04-02 Dassault Aviation Systeme de traitement d'images par mise en correspondance multifonctions et modulaire pour aeronef, et procede associe
CN113313147A (zh) * 2021-05-12 2021-08-27 北京大学 一种基于深度语义对齐网络模型的图像匹配方法
US20210366126A1 (en) * 2019-05-29 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image segmentation method and apparatus, model training method and apparatus, device, and storage medium
CN115423691A (zh) * 2022-08-30 2022-12-02 青岛云天励飞科技有限公司 图像矫正模型的训练方法、图像矫正方法、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171732A (zh) * 2017-11-24 2018-06-15 中国人民解放军63920部队 一种基于多源图像融合的探测器月面着陆绝对定位方法
US20210366126A1 (en) * 2019-05-29 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image segmentation method and apparatus, model training method and apparatus, device, and storage medium
US10871377B1 (en) * 2019-08-08 2020-12-22 Phiar Technologies, Inc. Computer-vision based positioning for augmented reality navigation
FR3101467A1 (fr) * 2019-10-01 2021-04-02 Dassault Aviation Systeme de traitement d'images par mise en correspondance multifonctions et modulaire pour aeronef, et procede associe
CN113313147A (zh) * 2021-05-12 2021-08-27 北京大学 一种基于深度语义对齐网络模型的图像匹配方法
CN115423691A (zh) * 2022-08-30 2022-12-02 青岛云天励飞科技有限公司 图像矫正模型的训练方法、图像矫正方法、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AVISHEK GHOSH: "Max-Affine Regression: Provable, Tractable, and Near-Optimal Statistical Estimation", 《ARXIV:1906.09255V1 [STAT.ML]》 *
王镓 等: "基于视觉的嫦娥四号探测器着陆点定位", 中国科学:技术科学 *
邵巍;常晓华;崔平远;崔祜涛;: "惯导融合特征匹配的小天体着陆导航算法", 宇航学报 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015290A (zh) * 2024-04-08 2024-05-10 浙江深象智能科技有限公司 图像特征处理方法、图像对比方法、模型训练方法及装置

Also Published As

Publication number Publication date
CN115861393B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN110148157B (zh) 画面目标跟踪方法、装置、存储介质及电子设备
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
WO2020047420A1 (en) Method and system for facilitating recognition of vehicle parts based on a neural network
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN109191424B (zh) 一种乳腺肿块检测与分类系统、计算机可读存储介质
CN111160375A (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN102782708A (zh) 用于图像辨识的描述符小块的快速子空间投影
WO2017198749A1 (en) Image processing apparatus and method
US20200293857A1 (en) Cnn processing device, cnn processing method, and program
JP2017068608A (ja) 演算装置、方法及びプログラム
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN115861393A (zh) 图像匹配方法、航天器着陆点定位方法及相关装置
CN113920538A (zh) 目标检测方法、装置、设备、存储介质及计算机程序产品
CN112529908A (zh) 一种基于级联卷积网络的数字病理图像分割方法及其模型
CN117576724A (zh) 一种无人机飞鸟检测方法、系统、设备和介质
CN116740135A (zh) 红外弱小目标跟踪方法、装置、电子设备及存储介质
CN115311553A (zh) 目标检测方法、装置、电子设备及存储介质
CN111861962B (zh) 一种数据融合方法及电子设备
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN117036756B (zh) 基于变分自动编码器的遥感图像匹配方法及系统
CN117830701A (zh) 基于注意力机制的多尺度特征融合星图识别方法和装置
CN116758214A (zh) 遥感图像的三维建模方法、装置、电子设备及存储介质
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN113269831B (zh) 基于场景坐标回归网络的视觉重定位方法、系统、装置
CN114998630A (zh) 一种从粗到精的地对空图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant