CN114998630B - 一种从粗到精的地对空图像配准方法 - Google Patents

一种从粗到精的地对空图像配准方法 Download PDF

Info

Publication number
CN114998630B
CN114998630B CN202210844306.XA CN202210844306A CN114998630B CN 114998630 B CN114998630 B CN 114998630B CN 202210844306 A CN202210844306 A CN 202210844306A CN 114998630 B CN114998630 B CN 114998630B
Authority
CN
China
Prior art keywords
image
matching
feature point
adopting
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210844306.XA
Other languages
English (en)
Other versions
CN114998630A (zh
Inventor
刘红敏
毕海旭
王星
樊彬
曾慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210844306.XA priority Critical patent/CN114998630B/zh
Publication of CN114998630A publication Critical patent/CN114998630A/zh
Application granted granted Critical
Publication of CN114998630B publication Critical patent/CN114998630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种从粗到精的地对空图像配准方法，包括：S1，获取待配准的图像对；S2，采用模板匹配的方法对图像对进行配准，得到初步配准结果；S3，基于初步配准结果在目标图像中裁剪出感兴趣区域，采用深度学习的方法对源图像和裁剪出的感兴趣区域提取特征点并匹配，得到特征点匹配结果；S4，基于特征点匹配结果，采用基于随机抽样一致RANSAC的方法对图像对进行尺度对齐，然后对完成尺度对齐的图像对再次执行S3，得到新的特征点匹配结果；S5，重复执行S4预设次数，得到最终的配准结果。本发明的方法能够针对卫星影像和机载图像，实现不同视角下立体结构图像间的像素级配准，具有通用性。

Description

一种从粗到精的地对空图像配准方法
技术领域
本发明涉及计算机视觉中的模板匹配和图像配准技术领域，特别涉及一种适用于大视角下的图像变换估计的从粗到精的地对空图像配准方法。
背景技术
目前在大外观、视点和距离变化下的图像特征配准一直是该领域的难题。在现有的图像配准技术中，配准方法主要可以分为基于区域的方法和基于特征的方法。基于区域的方法在给定图像变换模型下通过最优化技术搜索得到最优的模型参数，通常非常依赖一个较好的初始值。基于特征的方法一般包括图像特征点检测、图像特征点描述、图像特征点匹配、图像变换模型估计四步。
这些方法在有限的外观变化和背景杂波下都能取得不错的效果，例如传统的图像匹配方法包括SIFT（Scale-invariant feature transform，尺度不变特征变换）、ORB（Oriented Fast and Rotated Brief，定向快速旋转简报）等，对视角变化、仿射变换、噪声都有一定的适应性。但在地对空领域，由于两者成像上的巨大差异，如：气候的差异、太阳角度的变化引起阴影方位的差异、成像角度的差异，加上两者成像的传感器自身的差异，使得相同目标在两幅图像中会表现出很大的光谱信息差异，仅通过特征点描述子的方法很难在一些特定的图像变化下取得较好的效果，而目前还不存在能够处理绝大多数图像变化、适用能力强的特征点检测与描述方法。
发明内容
本发明提供了一种从粗到精的地对空图像配准方法，以解决现有技术很难在一些特定的图像变化下取得较好效果的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一种从粗到精的地对空图像配准方法，包括：
S1，获取待配准的图像对；其中，所述图像对包括源图像和目标图像；
S2，采用模板匹配的方法对所述图像对进行配准，得到初步配准结果；
S3，基于初步配准结果在目标图像中裁剪出感兴趣区域，采用深度学习的方法对源图像和裁剪出的感兴趣区域提取特征点并匹配，得到特征点匹配结果；
S4，基于特征点匹配结果，采用基于RANSAC（RANdom SAmple Consensus，随机抽样一致）的方法对所述图像对进行尺度对齐，然后对完成尺度对齐的图像对再次执行S3，得到新的特征点匹配结果；
S5，重复执行S4预设次数，得到最终的配准结果。
进一步地，所述源图像为卫星图，所述目标图像为无人机鸟瞰图；
所述源图像和目标图像中包含不同视角下立体结构建筑物的图像信息。
进一步地，所述采用模板匹配的方法对所述图像对进行配准，包括：
将源图像
Figure 490124DEST_PATH_IMAGE001
和目标图像
Figure 735160DEST_PATH_IMAGE002
输入到QATM（Quality-Aware Template Matching，质量 感知模板匹配方法）模型中，对图像对中立体结构建筑物的图像信息进行提取并进行相似 度度量，最终输出
Figure 19292DEST_PATH_IMAGE001
在
Figure 959042DEST_PATH_IMAGE002
上感兴趣区域，区域框记为
Figure 835731DEST_PATH_IMAGE003
Figure 736822DEST_PATH_IMAGE004
，分别代表框选区域 的位置坐标以及高度和宽度。
进一步地，所述基于初步配准结果在目标图像中裁剪出感兴趣区域，包括：
对于输入的目标图像
Figure 66172DEST_PATH_IMAGE002
，利用初步配准得到的区域框信息进行裁剪，以坐标
Figure 546963DEST_PATH_IMAGE005
为起始点，
Figure 278159DEST_PATH_IMAGE006
为高度和宽度建立裁剪框区域，得到最终的框选区域
Figure 350151DEST_PATH_IMAGE007
。
进一步地，所述采用深度学习的方法对源图像和裁剪出的感兴趣区域提取特征点并匹配，包括：
将
Figure 166797DEST_PATH_IMAGE001
和
Figure 973649DEST_PATH_IMAGE007
输入到Superpoint（Self-Supervised Interest Point Detection and Description，自监督的兴趣点检测和描述）模型中进行特征提取，分别得到两幅图像的特 征点信息和描述符信息；分别将提取到的特征点信息和描述符信息输入到Superglue （Learning Feature Matching With Graph Neural Networks, 使用图神经网络学习特征 匹配）网络中，得到两幅图的特征点匹配关系矩阵P，将
Figure 559351DEST_PATH_IMAGE007
中的所有点坐标加上
Figure 536665DEST_PATH_IMAGE005
来映 射回原图；其中，P代表了两幅图像
Figure 106187DEST_PATH_IMAGE001
和
Figure 397622DEST_PATH_IMAGE007
的匹配概率。
进一步地，基于特征点匹配结果，采用基于RANSAC的方法对所述图像对进行尺度对齐，包括：
基于特征点匹配关系矩阵P，使用RANSAC + 单应估计的方法估计最优单应模型
Figure 103410DEST_PATH_IMAGE008
；然后使用
Figure 251626DEST_PATH_IMAGE008
对
Figure 118563DEST_PATH_IMAGE001
做单应变换得到
Figure 462957DEST_PATH_IMAGE009
，以完成
Figure 23251DEST_PATH_IMAGE001
和
Figure 873526DEST_PATH_IMAGE002
的尺度对齐。
进一步地，所述使用
Figure 89744DEST_PATH_IMAGE008
对
Figure 50878DEST_PATH_IMAGE001
做单应变换得到
Figure 668941DEST_PATH_IMAGE009
，包括：
首先对源图像的目标区域添加对称填充以扩大采样区域，然后使用估计得到的最 优单应模型
Figure 939386DEST_PATH_IMAGE008
对其做单应变换，并裁剪掉黑色缺失部分。
进一步地，所述重复执行S4预设次数，得到最终的配准结果，包括：
对
Figure 393632DEST_PATH_IMAGE009
和
Figure 142145DEST_PATH_IMAGE007
重新提取特征点并匹配，迭代执行S4预设次数，最终得到
Figure 430694DEST_PATH_IMAGE001
在
Figure 809722DEST_PATH_IMAGE002
上的变 换集合
Figure 62849DEST_PATH_IMAGE010
，选取
Figure 303469DEST_PATH_IMAGE011
作为
Figure 692862DEST_PATH_IMAGE001
到
Figure 790262DEST_PATH_IMAGE002
的高精度配准结果；其中，
Figure 468368DEST_PATH_IMAGE011
表示第N次迭 代得到的
Figure 824263DEST_PATH_IMAGE001
的单应变换结果，N表示最大迭代次数。
本发明提供的技术方案带来的有益效果至少包括：
本发明提供的从粗到精的地对空图像配准方法，首先利用基于QATM的模板匹配方法对目标区域进行初步定位，然后使用基于Superpoint+Superglue的特征点匹配的方法对目标区域做尺度对齐，最后利用改进的RANSAC算法进一步优化配准结果，实现地对空图像的高精度对齐配准。本发明提供的融合方法能够针对卫星影像和机载图像，实现不同视角下立体结构图像间的像素级配准。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像配准方法的执行流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
针对地对空匹配中的问题，本实施例提供了一种从粗到精的多特征、多级别、多模型自适应图像配准方法，该方法可以由电子设备实现。该方法采集图像并输入计算机、基于QATM的源图像粗定位、使用深度学习方法对源图像编码并提取特征、处理特征信息做最优匹配、使用RANSAC+单应估计去除误匹配点、利用配准信息对目标区域做尺度对齐、动态更新匹配点，精确优化匹配点。
具体地，该方法的执行流程如图1所示，具体包括以下步骤：
S1，获取待配准的图像对；其中，所述图像对包括源图像和目标图像；
具体地，在本实施例中，源图像为卫星图，目标图像为无人机鸟瞰图；且源图像和目标图像中包含不同视角下立体结构建筑物的图像信息。
S2，采用模板匹配的方法对所述图像对进行配准，得到初步配准结果；
需要说明的是，本实施例使用的模板匹配方法为QATM模板匹配，QATM模板匹配方法可以通过VGG（VGGNet是牛津大学计算机视觉组和DeepMind公司的研究员一起研发的深度卷积神经网络, “VGG”代表了牛津大学的Oxford Visual Geometry Group）特征提取网络对图像对中立体结构建筑物的图像信息进行提取，将模板特征与预先设定的固定大小的候选窗口R的特征进行相似度度量，选择固定大小的相似度最高的目标区域作为匹配结果。
具体地，在本实施例中，上述S2的执行过程如下：
将源图像
Figure 22157DEST_PATH_IMAGE001
和目标图像
Figure 274147DEST_PATH_IMAGE002
输入到QATM模型中，对图像对中立体结构建筑物的图像 信息进行提取并进行相似度度量，最终输出
Figure 249669DEST_PATH_IMAGE001
在
Figure 81358DEST_PATH_IMAGE002
上感兴趣区域，区域框记为
Figure 445344DEST_PATH_IMAGE003
Figure 884546DEST_PATH_IMAGE004
，分别代表框选区域的位置坐标以及高度和宽度。
通过上述步骤可使用模板匹配方法实现图像特定区域的粗定位。
S3，基于初步配准结果在目标图像中裁剪出感兴趣区域，采用深度学习的方法对源图像和裁剪出的感兴趣区域提取特征点并匹配，得到特征点匹配结果；
具体地，在本实施例中，上述S3的执行过程如下：
S31，图像特征信息提取。
将
Figure 83052DEST_PATH_IMAGE001
和
Figure 531482DEST_PATH_IMAGE007
输入到Superpoint(Self-Supervised Interest Point Detection and Description，自监督的兴趣点检测和描述) 模型中进行特征提取，分别得到两幅图像的特 征点信息
Figure 484394DEST_PATH_IMAGE012
和描述符信息
Figure 297760DEST_PATH_IMAGE013
；具体方式为：
S311，对图像的目标区域进行编码，具体方式为：对于输入的目标图像
Figure 234492DEST_PATH_IMAGE002
，利用初 步配准得到的区域框信息进行裁剪，以坐标
Figure 673564DEST_PATH_IMAGE005
为起始点，
Figure 296962DEST_PATH_IMAGE006
为高度和宽度建立 裁剪框区域，得到最终的框选区域
Figure 77967DEST_PATH_IMAGE007
。然后输入到构建好的Encode层中，其作用是对图片降 维，提取特征，编码器由卷积层、池化层和非线性激活函数组成，我们将低维输出中的像素 称为“单元”，使用三个最大池层， 其中编码器中的三个
Figure 236416DEST_PATH_IMAGE014
非重叠最大池操作产生
Figure 495490DEST_PATH_IMAGE015
像素单元，将输入为
Figure 422995DEST_PATH_IMAGE016
的图像映射到中间张量
Figure 171639DEST_PATH_IMAGE017
（具有更小的 空间尺度和更大的通道深度）；
Figure 20647DEST_PATH_IMAGE018
和
Figure 346061DEST_PATH_IMAGE019
分别表示输出图像的高和宽，
Figure 596914DEST_PATH_IMAGE020
代表卷积过 后的特征图的高和宽，F代表通道数，
Figure 968989DEST_PATH_IMAGE021
。
S312，特征点提取，具体方式为：设计一个解码器，对图片的每个像素都计算一个 概率，这个概率表示的就是其为特征点的可能性大小，这一步把寻找兴趣点的回归问题变 成了分类问题，兴趣点探测头计算
Figure 118342DEST_PATH_IMAGE022
并输出大小为
Figure 437328DEST_PATH_IMAGE023
张量；
S313，描述符提取，具体方式为：计算
Figure 808267DEST_PATH_IMAGE024
并输出大小为
Figure 633134DEST_PATH_IMAGE025
的 张量，先学习半稠密的描述子（不使用稠密的方式是为了减少计算量和内存），然后进行双 三次插值算法（bicubic interpolation）得到完整描述子，最后再使用L2标准化（L2- normalizes）得到单位长度的描述；D表示中间变量
Figure 535362DEST_PATH_IMAGE026
的通道数。
S32，图像特征点匹配。
分别将提取到的特征点信息和描述符信息输入到Superglue(Learning Feature Matching With Graph Neural Networks, 使用图神经网络学习特征匹配)网络中，得到两 幅图的特征点匹配关系矩阵P，将
Figure 189198DEST_PATH_IMAGE007
中的所有点坐标加上
Figure 687744DEST_PATH_IMAGE005
来映射回原图；其中，P代 表了两幅图像
Figure 667202DEST_PATH_IMAGE001
和
Figure 525567DEST_PATH_IMAGE007
的匹配概率。具体方式为：
S321，融合特征点位置信息和描述信息，具体方式为：对于获取的特征点和描述 子，以5个多层感知器（全连接）为核心，将关键点位置信息转换为可以与描述符直接相加的 256维数据
Figure 999405DEST_PATH_IMAGE027
，使图形网络能够在以后对外观和位置进行联合推理 （其中，
Figure 407253DEST_PATH_IMAGE028
表示特征点位置信息，
Figure 308344DEST_PATH_IMAGE029
为特征点描述符信息；MLP(Multilayer Perception，多 层感知机)）；然后使用交替的自我和交叉注意层来创建更强大的特征表示f，
Figure 840956DEST_PATH_IMAGE030
；（其中
Figure 115555DEST_PATH_IMAGE031
：表示当前关键点与所 有邻接点的聚合，
Figure 784434DEST_PATH_IMAGE032
，当
Figure 371273DEST_PATH_IMAGE033
为奇数时，
Figure 673073DEST_PATH_IMAGE034
为
Figure 19871DEST_PATH_IMAGE035
，
Figure 339994DEST_PATH_IMAGE033
为偶数时，
Figure 582888DEST_PATH_IMAGE034
为
Figure 886830DEST_PATH_IMAGE036
，
Figure 693112DEST_PATH_IMAGE037
表示为图像A上第i个元素在第
Figure 152562DEST_PATH_IMAGE033
层的中间表达式）；
S322，对融合后的信息计算最优匹配，具体方式为：对上一步得到的特征
Figure 97516DEST_PATH_IMAGE038
和
Figure 888754DEST_PATH_IMAGE039
计算得分矩阵，A中的M个特征点和B中的N个特征点的乘积，
Figure 780618DEST_PATH_IMAGE040
，我们加上一列 dustbin来处理某些不匹配点，将问题转化为最优传输问题，我们需要找到一种映射关系矩 阵P，使得
Figure 340912DEST_PATH_IMAGE041
最大，其中，
Figure 660029DEST_PATH_IMAGE038
和
Figure 141826DEST_PATH_IMAGE042
是原始特征经历了L次的self/cross- attention后得到的输出，对两者求内积得到
Figure 352228DEST_PATH_IMAGE043
；这里使用Sinkhorn算法求解(用来解决最 优传输问题)，最后给定真值标签，最小化分配矩阵P的负对数似然函数。
S4，基于特征点匹配结果，采用基于RANSAC的方法对所述图像对进行尺度对齐，然后对完成尺度对齐的图像对再次执行S3，得到新的特征点匹配结果；
需要说明的是，RANSAC算法的执行过程如下：
1.随机从数据集中抽出4个样本数据(此4个样本之间不能共线)，计算出变换矩阵H，记为模型M；
2. 计算数据集中所有数据与模型M的投影误差，若误差小于阈值，则加入内点集 I，误差计算公式如下所示；其中，
Figure 718094DEST_PATH_IMAGE044
代表第i对样本在目标图像的坐标，
Figure 722959DEST_PATH_IMAGE045
代表 第i对样本在源图像的坐标，
Figure 239522DEST_PATH_IMAGE046
代表变换矩阵H第i行第j列的元素，公式计算了投影点和目 标图像真实点之间的欧氏距离和：
Figure 925718DEST_PATH_IMAGE047
3.如果当前内点集I元素个数大于最优内点集
Figure 726184DEST_PATH_IMAGE048
，则更新
Figure 387103DEST_PATH_IMAGE049
，同时 更新迭代次数
Figure 577913DEST_PATH_IMAGE050
；
4. 如果迭代次数大于K则退出，否则迭代次数加1并重复上述步骤，K在迭代过程中是不断更新而不是固定不变的，K一般通过下式定义：
Figure 412008DEST_PATH_IMAGE051
其中，p为置信度，一般取0.995，w为内点的比例，m为计算模型所需要的最少样本数，其值为4。
基于上述，在本实施例中，上述S4中实现尺度对齐的执行过程如下：
基于特征点匹配关系矩阵P，使用
Figure 629099DEST_PATH_IMAGE052
单应估计的方法估计最优单应模 型
Figure 257658DEST_PATH_IMAGE053
，这里直接调用
Figure 466922DEST_PATH_IMAGE054
库中的
Figure 307970DEST_PATH_IMAGE055
函数实现；然后使用
Figure 755132DEST_PATH_IMAGE053
对
Figure 538280DEST_PATH_IMAGE001
做 单应变换得到
Figure 251153DEST_PATH_IMAGE009
，具体为：首先对源图像的目标区域添加对称填充以扩大采样区域，然后使 用估计得到的最优单应模型
Figure 614001DEST_PATH_IMAGE008
对其做单应变换，并裁剪掉黑色缺失部分。这一步是为了对
Figure 256947DEST_PATH_IMAGE001
和
Figure 696150DEST_PATH_IMAGE002
做尺度对齐，减小两幅图的视点上的差异。
S5，重复执行S4预设次数，得到最终的配准结果。
具体地，在本实施例中，上述S5的执行过程如下：
对
Figure 145586DEST_PATH_IMAGE009
和
Figure 62857DEST_PATH_IMAGE007
重新提取特征点并匹配，迭代执行S4预设次数，最终得到
Figure 51323DEST_PATH_IMAGE001
在
Figure 458165DEST_PATH_IMAGE002
上的变 换集合
Figure 332580DEST_PATH_IMAGE010
，选取
Figure 581771DEST_PATH_IMAGE056
作为
Figure 389190DEST_PATH_IMAGE001
到
Figure 435774DEST_PATH_IMAGE002
的高精度配准结果；其中，
Figure 797486DEST_PATH_IMAGE056
表示第N次迭 代得到的
Figure 322139DEST_PATH_IMAGE001
的单应变换结果，N表示最大迭代次数。
需要说明的是，通过将对齐后的图像，再次输入到本实施例构建的图像匹配框架中，动态更新匹配点数，在动态更新的过程中，两幅图最终会逐渐收敛到相似的视角和尺度，单应矩阵也会慢慢最终收敛到一个定值，当匹配点性能的提升小于设定的阈值Y时，停止迭代，输出两幅图像的精确配准模型。如此通过执行S4至S5即可使用基于RANSAC的方法对匹配后的图像做高精度配准。
本实施例首先利用模板匹配方法对目标区域进行初步定位和尺度对齐，然后引导后续的高精度的特征点匹配，最后利用改进的RANSAC算法进一步优化配准结果，实现地对空图像的高精度对齐配准。本实施例的方法能够针对卫星影像和机载图像，实现不同视角下立体结构图像间的像素级配准。同时，该方法具有通用性，可用于各种成像差异，视点，角度差异较大的图像对间的匹配。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (1)

1.一种从粗到精的地对空图像配准方法，其特征在于，包括：
S1，获取待配准的图像对；其中，所述图像对包括源图像和目标图像；
S2，采用模板匹配的方法对所述图像对进行配准，得到初步配准结果；
S3，基于初步配准结果在目标图像中裁剪出感兴趣区域，采用深度学习的方法对源图像和裁剪出的感兴趣区域提取特征点并匹配，得到特征点匹配结果；
S4，基于特征点匹配结果，采用基于RANSAC（RANdom SAmple Consensus，随机抽样一致）的方法对所述图像对进行尺度对齐，然后对完成尺度对齐的图像对再次执行S3，得到新的特征点匹配结果；
S5，重复执行S4预设次数，得到最终的配准结果；
所述源图像为卫星图，所述目标图像为无人机鸟瞰图；
所述源图像和目标图像中包含不同视角下立体结构建筑物的图像信息；
所述采用模板匹配的方法对所述图像对进行配准，包括：
将源图像
Figure 304181DEST_PATH_IMAGE001
和目标图像
Figure 73554DEST_PATH_IMAGE002
输入到QATM（Quality-Aware Template Matching，质量感知 模板匹配方法）模型中，对图像对中立体结构建筑物的图像信息进行提取并进行相似度度 量，最终输出
Figure 375222DEST_PATH_IMAGE001
在
Figure 1375DEST_PATH_IMAGE002
上感兴趣区域，区域框记为
Figure 450811DEST_PATH_IMAGE003
Figure 86192DEST_PATH_IMAGE004
，分别代表框选区域的位 置坐标以及高度和宽度；
所述基于初步配准结果在目标图像中裁剪出感兴趣区域，包括：
对于输入的目标图像
Figure 242367DEST_PATH_IMAGE002
，利用初步配准得到的区域框信息进行裁剪，以坐标
Figure 242684DEST_PATH_IMAGE005
为 起始点，
Figure 851520DEST_PATH_IMAGE006
为高度和宽度建立裁剪框区域，得到最终的框选区域
Figure 25012DEST_PATH_IMAGE007
；
所述采用深度学习的方法对源图像和裁剪出的感兴趣区域提取特征点并匹配，包括：
将
Figure 35693DEST_PATH_IMAGE001
和
Figure 331545DEST_PATH_IMAGE007
输入到Superpoint（Self-Supervised Interest Point Detection and Description，自监督的兴趣点检测和描述）模型中进行特征提取，分别得到两幅图像的特 征点信息和描述符信息；分别将提取到的特征点信息和描述符信息输入到Superglue （Learning Feature Matching With Graph Neural Networks, 使用图神经网络学习特征 匹配）网络中，得到两幅图的特征点匹配关系矩阵P，将
Figure 427677DEST_PATH_IMAGE007
中的所有点坐标加上
Figure 404861DEST_PATH_IMAGE005
来映 射回原图；其中，P代表了两幅图像
Figure 535628DEST_PATH_IMAGE001
和
Figure 877747DEST_PATH_IMAGE007
的匹配概率；
基于特征点匹配结果，采用基于RANSAC的方法对所述图像对进行尺度对齐，包括：
基于特征点匹配关系矩阵P，使用RANSAC + 单应估计的方法估计最优单应模型
Figure 461176DEST_PATH_IMAGE008
；然 后使用
Figure 976470DEST_PATH_IMAGE008
对
Figure 289640DEST_PATH_IMAGE001
做单应变换得到
Figure 599399DEST_PATH_IMAGE009
，以完成
Figure 670123DEST_PATH_IMAGE001
和
Figure 926792DEST_PATH_IMAGE002
的尺度对齐；
所述使用
Figure 766572DEST_PATH_IMAGE008
对
Figure 512811DEST_PATH_IMAGE001
做单应变换得到
Figure 70831DEST_PATH_IMAGE009
，包括：
首先对源图像的目标区域添加对称填充以扩大采样区域，然后使用估计得到的最优单 应模型
Figure 990246DEST_PATH_IMAGE008
对其做单应变换，并裁剪掉黑色缺失部分；
所述重复执行S4预设次数，得到最终的配准结果，包括：
对
Figure 950112DEST_PATH_IMAGE009
和
Figure 867252DEST_PATH_IMAGE007
重新提取特征点并匹配，迭代执行S4预设次数，最终得到
Figure 646989DEST_PATH_IMAGE001
在
Figure 245461DEST_PATH_IMAGE002
上的变换集合
Figure 59833DEST_PATH_IMAGE010
，选取
Figure 147875DEST_PATH_IMAGE011
作为
Figure 414908DEST_PATH_IMAGE001
到
Figure 941704DEST_PATH_IMAGE002
的高精度配准结果；其中，
Figure 876162DEST_PATH_IMAGE011
表示第N次迭代得到 的
Figure 869526DEST_PATH_IMAGE001
的单应变换结果，N表示最大迭代次数。
CN202210844306.XA 2022-07-19 2022-07-19 一种从粗到精的地对空图像配准方法 Active CN114998630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844306.XA CN114998630B (zh) 2022-07-19 2022-07-19 一种从粗到精的地对空图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210844306.XA CN114998630B (zh) 2022-07-19 2022-07-19 一种从粗到精的地对空图像配准方法

Publications (2)

Publication Number Publication Date
CN114998630A CN114998630A (zh) 2022-09-02
CN114998630B true CN114998630B (zh) 2022-11-04

Family

ID=83021077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844306.XA Active CN114998630B (zh) 2022-07-19 2022-07-19 一种从粗到精的地对空图像配准方法

Country Status (1)

Country Link
CN (1) CN114998630B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457222B (zh) * 2022-09-14 2023-06-16 北京建筑大学 一种在地理信息系统中地理配准三维模型的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318548B (zh) * 2014-10-10 2017-02-15 西安电子科技大学 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
CN107167786B (zh) * 2017-06-05 2021-01-01 中国测绘科学研究院 卫星激光测高数据辅助提取高程控制点方法
CN112147078B (zh) * 2020-09-22 2022-01-18 华中农业大学 一种农作物表型信息多源遥感监测方法
CN112508826B (zh) * 2020-11-16 2022-03-01 哈尔滨工业大学（深圳） 一种印刷品缺陷检测方法
CN114494373A (zh) * 2022-01-19 2022-05-13 深圳市比一比网络科技有限公司 基于目标检测与图像配准的轨道高精度对齐方法及系统

Also Published As

Publication number Publication date
CN114998630A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
Wu et al. Classification of defects with ensemble methods in the automated visual inspection of sewer pipes
CN111797744B (zh) 一种基于共现滤波算法的多模态遥感图像匹配方法
CN112926548A (zh) 一种车道线检测方法、装置、电子设备及存储介质
Misra et al. Feature based remote sensing image registration techniques: A comprehensive and comparative review
Jeon et al. ABCD: Attentive bilateral convolutional network for robust depth completion
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN115147599A (zh) 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法
CN116883466A (zh) 基于位置感知的光学与sar图像配准方法、装置及设备
Zeng et al. Adaptive Edge-aware Semantic Interaction Network for Salient Object Detection in Optical Remote Sensing Images
CN111583417B (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN110135474A (zh) 一种基于深度学习的倾斜航空影像匹配方法和系统
Atik et al. An automatic image matching algorithm based on thin plate splines
Yao et al. Matching wide-baseline stereo images with weak texture using the perspective invariant local feature transformer
Kelenyi et al. SAM-Net: Self-Attention based Feature Matching with Spatial Transformers and Knowledge Distillation
CN113705731A (zh) 一种基于孪生网络的端到端图像模板匹配方法
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN115063459B (zh) 点云配准方法及装置、全景点云融合方法及系统
CN117237623B (zh) 一种无人机遥感图像语义分割方法及系统
Sun et al. Fusion representation learning for keypoint detection and description
CN117095033B (zh) 一种基于图像与几何信息引导的多模态点云配准方法
Nan et al. Multi-scale attention and structural relation graph for local feature matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant