CN117474963A - 多源卫星图像配准方法、系统、存储介质和电子设备 - Google Patents

多源卫星图像配准方法、系统、存储介质和电子设备 Download PDF

Info

Publication number
CN117474963A
CN117474963A CN202311348076.9A CN202311348076A CN117474963A CN 117474963 A CN117474963 A CN 117474963A CN 202311348076 A CN202311348076 A CN 202311348076A CN 117474963 A CN117474963 A CN 117474963A
Authority
CN
China
Prior art keywords
attention
branch
module
deep
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311348076.9A
Other languages
English (en)
Other versions
CN117474963B (zh
Inventor
李军
李良志
马凌飞
苏俊良
章瑞
王亚美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute Of Basic Science And Technology Co ltd
Original Assignee
Nanjing Institute Of Basic Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute Of Basic Science And Technology Co ltd filed Critical Nanjing Institute Of Basic Science And Technology Co ltd
Priority to CN202311348076.9A priority Critical patent/CN117474963B/zh
Publication of CN117474963A publication Critical patent/CN117474963A/zh
Application granted granted Critical
Publication of CN117474963B publication Critical patent/CN117474963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多源卫星图像配准方法、系统、存储介质和电子设备，其中多源卫星图像配准方法包括步骤：S1、将参考卫星图像Pr与感知卫星图像Ps分别输入双分支残差网络的参考分支和感知分支，得到深层参考特征和深层感知特征S2、根据深层参考特征和深层感知特征对参考卫星图像和感知卫星图像进行粗匹配预测；S3、基于全连接层的相似度对粗匹配预测结果进行细匹配，得到最终的匹配结果。该方法利用双分支残差网络提取参考图像和感知图像的深层特征，并基于自注意力机制构建垂直交叉注意力模型来融合多源图像，有效获取特征的全局上下文信息和具有交叉模态的相似性特征，能够快速、准确地实现多模态卫星图像的配准。

Description

多源卫星图像配准方法、系统、存储介质和电子设备
技术领域
本发明属于图像配准技术领域，具体涉及一种多源卫星图像配准方法、系统、计算机存储介质和电子设备。
背景技术
卫星图像配准是同一场景图像间多源卫星信息表示的基础，是进行波段融合、变化检测和图像拼接的前提条件。现有的卫星图像匹配方法大多采用“检测-描述-匹配-几何约束”的处理方式，特别是需要依靠地理对齐的方式来消除图像之间存在的几何误差。然而，由于成像视角的不同，多源卫星图像之间的对应关系仍然存在几十个像素的误差。因此，仅依靠地理对齐的方法来实现卫星图像的亚像素匹配是不可行的，需要进一步执行匹配过程来优化配准精度。然而，由于卫星传感器的拍摄角度、多时相特征和视角的变化，现有的卫星图像匹配方法在考虑同一场景中的两种不同模态时，常常无法获得具有可重复性的关键点。此外，多模态卫星图像和局部几何畸变之间存在非线性辐射差异，使得匹配过程具有极大的挑战性。
因此，如何从多源卫星图像中建立有效的匹配关系是实现卫星图像高效、准确配准的关键。目前常见的卫星图像配准方法包括：基于特征匹配法、基于区域相似性度量法、以及深度学习法等。然而，这些方法主要受到以下几个方面的限制：(1)用于特征检测的接受野大小有限；(2)图像相似性搜索的时间成本较高；(3)跨模态特征的相似性较大。上述方法还无法满足大规模多模态卫星图像的配准要求。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种多源卫星图像配准方法，该方法能够快速、准确地实现多模态卫星图像的配准。
技术方案：本发明一方面公开了一种多源卫星图像配准方法，包括步骤：
S1、将参考卫星图像Pr与感知卫星图像Ps分别输入双分支残差网络的参考分支和感知分支，得到深层参考特征和深层感知特征/>
所述双分支残差网络包括参考分支、感知分支和垂直交叉注意力网络；所述参考分支和感知分支均包括依次连接的卷积层和4个残差模块，所述垂直交叉注意力网络包括4个交叉注意力模块；
参考分支和感知分支的卷积层分别用于提取参考卫星图像和感知卫星图像的浅层特征，得到参考特征图和感知特征图/>
和/>经过第一交叉注意力模块处理后得到第一跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第一残差模块，得到第一深层参考特征/> 和/>进行堆叠后输入感知分支的第一残差模块，得到第一深层感知特征/>
和/>经过第二交叉注意力模块处理后得到第二跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第二残差模块，得到第二深层参考特征/> 和/>进行堆叠后输入感知分支的第二残差模块，得到第二深层感知特征/>
和/>经过第三交叉注意力模块处理后得到第三跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第三残差模块，得到第三深层参考特征/> 和/>进行堆叠后输入感知分支的第三残差模块，得到第三深层感知特征/>
和/>经过第四交叉注意力模块处理后得到第四跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第四残差模块，得到深层参考特征/> 和/>进行堆叠后输入感知分支的第四残差模块，得到深层感知特征/>
S2、根据深层参考特征和深层感知特征/>对参考卫星图像和感知卫星图像进行粗匹配预测；
S3、基于全连接层的相似度对粗匹配预测结果进行细匹配，得到最终的匹配结果。
另一方面，本发明公开了实现上述多源卫星图像配准方法的配准系统，包括：双分支残差网络、粗匹配模块、细匹配模块；
所述双分支残差网络包括参考分支、感知分支和垂直交叉注意力网络；所述参考分支和感知分支均包括依次连接的卷积层和4个残差模块，所述垂直交叉注意力网络包括4个交叉注意力模块；
参考分支的卷积层1-0和感知分支的卷积层2-0分别用于提取参考卫星图像和感知卫星图像的浅层特征，得到参考特征图和感知特征图/>
和/>经过第一交叉注意力模块Cross-Attention 1处理后得到第一跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第一残差模块1-1，得到第一深层参考特征/> 和/>进行堆叠后输入感知分支的第一残差模块2-1，得到第一深层感知特征/>
和/>经过第二交叉注意力模块Cross-Attention 2处理后得到第二跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第二残差模块1-2，得到第二深层参考特征/> 和/>进行堆叠后输入感知分支的第二残差模块2-2，得到第二深层感知特征/>
和/>经过第三交叉注意力模块Cross-Attention 3处理后得到第三跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第三残差模块1-3，得到第三深层参考特征/> 和/>进行堆叠后输入感知分支的第三残差模块2-3，得到第三深层感知特征/>
和/>经过第四交叉注意力模块Cross-Attention 4处理后得到第四跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第四残差模块1-4，得到深层参考特征/> 和/>进行堆叠后输入感知分支的第四残差模块2-4，得到深层感知特征/>
所述粗匹配模块3根据深层参考特征和深层感知特征/>对参考卫星图像和感知卫星图像进行粗匹配预测；
所述细匹配模块4基于全连接层的相似度对粗匹配预测结果进行细匹配，得到最终的匹配结果。
本发明还公开了一种计算机可读取存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述多源卫星图像配准方法。
本发明还公开了一种电子设备，包括处理器及存储介质，所述存储介质为计算机可读取存储介质；所述处理器加载并执行所述存储介质中的指令及数据用于实现上述多源卫星图像配准方法。
有益效果：与现有技术相比，本发明公开的多源卫星图像配准方法、系统、存储介质和电子设备具有如下优点：1、利用双分支残差网络提取参考图像和感知图像的深层特征；2、基于自注意力机制，利用垂直交叉注意力模型融合多源图像，有效获取特征的全局上下文信息，并进一步得到具有交叉模态的相似性特征，改善了跨模态探测器获得的关键点不可重复所带来的限制；3、结合从粗到精的匹配策略，有效促进卫星图像之间建立对应关系，避免了传统的检测、描述、匹配和几何约束的顺序步骤，使得卫星图像融合结果更加鲁棒高效。
附图说明
图1为本发明公开的多源卫星图像配准方法的流程图；
图2为本发明公开的多源卫星图像配准系统的组成示意图；
图3为交叉注意力模块的结构示意图；
图4为第一自注意力网络模块的结构示意图；
图5为实验结果示意图；
图6为本发明公开的电子设备组成示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
本发明公开了一种多源卫星图像配准方法，其流程如图1所示，实现该配准方法的多源卫星图像配准系统如图2所示。一种多源卫星图像配准方法，包括：
S1、将参考卫星图像Pr与感知卫星图像Ps分别输入双分支残差网络的参考分支和感知分支，得到深层参考特征和深层感知特征/>
如图2所示，所述双分支残差网络包括参考分支、感知分支和垂直交叉注意力网络；所述参考分支和感知分支均包括依次连接的卷积层和4个残差模块；参考分支和感知分支的4个残差模块步长大小分别为[1,2,2,2]，特征映射大小分别为所述垂直交叉注意力网络包括4个交叉注意力模块；
参考分支的卷积层1-0和感知分支的卷积层2-0分别用于提取参考卫星图像和感知卫星图像的浅层特征，得到参考特征图和感知特征图/>
和/>经过第一交叉注意力模块Cross-Attention 1处理后得到第一跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第一残差模块1-1，得到第一深层参考特征/>图2中/>表示特征在通道维度的堆叠(concatenate)。/>和/>进行堆叠后输入感知分支的第一残差模块2-1，得到第一深层感知特征/>
和/>经过第二交叉注意力模块Cross-Attention 2处理后得到第二跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第二残差模块1-2，得到第二深层参考特征/> 和/>进行堆叠后输入感知分支的第二残差模块2-2，得到第二深层感知特征
和/>经过第三交叉注意力模块Cross-Attention 3处理后得到第三跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第三残差模块1-3，得到第三深层参考特征/> 和/>进行堆叠后输入感知分支的第三残差模块2-3，得到第三深层感知特征/>
和/>经过第四交叉注意力模块Cross-Attention 4处理后得到第四跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第四残差模块1-4，得到深层参考特征/> 和/>进行堆叠后输入感知分支的第四残差模块2-4，得到深层感知特征/>
垂直交叉注意力网络中的4个交叉注意力模块将参考分支和感知分支的信息进行交互和融合，其输出的跨模态相似性特征不仅保留原有信息，而且能够互相以对方的特征为条件建立信息相似性。
S2、根据深层参考特征和深层感知特征/>对参考卫星图像和感知卫星图像进行粗匹配预测；具体包括：
S21、对深层参考特征和深层感知特征/>进行拼接，构成特征间的得分矩阵SC，SC中位置(i,j)处的元素SC(i,j)为：
其中τ为控制参数；
S22、利用双softmax损失函数得到相互近邻的匹配置信度Pc(i,j)：
Pc(i,j)＝softmax(SC(i,·))j·softmax(SC(·,j))i
S23、基于匹配置信度，采用互临近准则得到粗匹配预测Mc：
其中MNN表示互临近准则；θc∈[0,1]，为预设的粗匹配阈值。
步骤S2由图2中的粗匹配模块3实现。
S3、基于全连接层的相似度对粗匹配预测结果进行细匹配，得到最终的匹配结果；具体包括：
S31、将粗匹配预测Mc中的位置信息(i,j)定位在第二深层参考特征和第二深层感知特征/>上，得到两个特征图Dr和Ds；
S32、在Dr和Ds分别裁剪大小为w×w的匹配窗口和/>将特征图Dr的中心向量与/>的所有向量拼接起来，构成向量R，将特征图Ds的中心向量与/>的所有向量拼接起来，构成向量S；将向量R和向量S的差输入到基于全连接层的相似度网络中得到相似度，并将相似度S(u,v)映射到[0,1]区间：
S(u,v)＝Sigmod(Dense(Ru-Sv)2)
其中Sigmod表示激活函数；Dense表示基于全连接层的相似度网络，包括3层全连接层，每层的神经元数量分别为256，128，1；
S33、根据相似度S(u,v)得到细匹配结果：如果S(u,v)>th，匹配窗口中的第u个像素与/>中的第v个像素为匹配像素对；th为预设的细匹配判定阈值。
步骤S3由图2中的细匹配模块4实现。
垂直交叉注意力网络中的4个交叉注意力模块结构相同，如图3所示；第一交叉注意力模块对和/>的处理步骤包括：
S41、对和/>分别进行补丁嵌入、线性变换以及位置编码(Linear&Positionembedding)，得到特征Ir和Is；
S42、分别根据特征Ir和Is生成查询(Q)、键(K)和值(V)的表示，输入第一自注意力网络模块Self-Attention 1和第二自注意力网络模块Self-Attention 2中得到第一参考注意力特征Tr和第一感知注意力特征Ts；所述第一自注意力网络模块和第二自注意力网络模块权重共享；
第一自注意力网络模块的查询(Q)、键(K)和值(V)的表示为：
Q＝Wq·Ir
K＝Wk·Ir
V＝Wv·Ir
其中Wq,Wk,Wv分别为第一自注意力网络模块中查询元素(Q)、键元素(K)、和值元素(V)的更新权重；
第一自注意力网络模块输出的第一参考注意力特征Tr为：
其中dk表示键元素K的维度大小，上标T表示矩阵或向量的转置；
S43、将上述获得特征Tr和Ts分别进行特征求和、线性投影、和归一化操作(Add&Ins.Norm)，得到特征I′r和I′s；根据I′r生成查询元素(Q)，根据I′s生成键元素(K)、和值元素(V)，输入第三自注意力网络模块Self-Attention 3中，得到第二参考注意力特征T′r；根据I′s生成查询元素(Q)，根据I′r生成键元素(K)、和值元素(V)，输入第四自注意力网络模块Self-Attention 4中，得到第二感知注意力特征T′s；
分别对第二参考注意力特征T′r和第二感知注意力特征T′s分别经过特征求和、线性投影、和归一化操作(Add&Ins.Norm)，得到特征I″r和I″s；
S44、将特征I″r和I″s分别作为特征Ir和Is，再次执行步骤S42和S43，共执行N次，得到第一跨模态相似性特征和/>
第一自注意力网络模块Self-Attention 1、第二自注意力网络模块Self-Attention 2、第三自注意力网络模块Self-Attention 3、第四自注意力网络模块Self-Attention 4的结构均相同，如图4所示。
第一自注意力网络模块、第三自注意力网络模块和第四自注意力网络模块的训练包括步骤：
S51、将训练样本输入双分支残差网络的参考分支和感知分支；训练样本包括参考图像和感知图像，并已标记参考图像与感知图像的匹配像素；
S52、根据粗匹配的匹配置信度Pc(i,j)计算粗匹配损失函数值L1：
其中为训练样本中参考图像与感知图像的匹配像素坐标，/>为匹配像素的数量；
S53、根据细匹配的结果计算细匹配损失函数L2：
其中xi，yi表示细匹配结果得到的感知图像中像素i在参考图像中的匹配像素位置；xgt和ygt表示训练样本标记的感知图像中像素i在参考图像中的匹配像素位置；M为细匹配结果得到的匹配像素对数量；
S54、对第一自注意力网络模块、第三自注意力网络模块和第四自注意力网络模块中的权重参数进行迭代训练，迭代训练的目标为最小化损失函数L：
L＝L1+L2。
本发明分别采用谷歌地图影像、Worldview-2影像、合成孔径雷达-光学影像来验证本发明公开的多源卫星图像配准方法。如图5所示，图(a1)、(b1)为同一区域的两张谷歌地图影像，其视野范围和清晰度有明显差异，将图(a1)作为参考图像，图(b1)作为感知图像，采用上述步骤S1-S3进行配准，得到像素件的匹配关系如图(c1)所示，将参考图像中匹配的像素对应到感知图像中匹配的像素，得到配准后的图像，如图(d1)所示。图(a2)、(b2)为同一区域的两张Worldview-2影像，其视野范围和清晰度有明显差异，将图(a2)作为参考图像，图(b2)作为感知图像，采用上述步骤S1-S3进行配准，得到像素件的匹配关系如图(c2)所示，将参考图像中匹配的像素对应到感知图像中匹配的像素，得到配准后的图像，如图(d2)所示。图(a3)、(b3)为同一区域的两张合成孔径雷达-光学影像，其视野范围和清晰度有明显差异，将图(a3)作为参考图像，图(b3)作为感知图像，采用上述步骤S1-S3进行配准，得到像素件的匹配关系如图(c3)所示，将参考图像中匹配的像素对应到感知图像中匹配的像素，得到配准后的图像，如图(d3)所示。
本发明还公开了一种计算机可读取存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述多源卫星图像配准方法。
本发明还公开了一种电子设备，如图6所示，包括处理器601及存储介质602，所述存储介质为计算机可读取存储介质；所述处理器加载并执行所述存储介质中的指令及数据用于实现上述多源卫星图像配准方法。

Claims (10)

1.一种多源卫星图像配准方法，其特征在于，包括步骤：
S1、将参考卫星图像Pr与感知卫星图像Ps分别输入双分支残差网络的参考分支和感知分支，得到深层参考特征和深层感知特征/>
所述双分支残差网络包括参考分支、感知分支和垂直交叉注意力网络；所述参考分支和感知分支均包括依次连接的卷积层和4个残差模块，所述垂直交叉注意力网络包括4个交叉注意力模块；
参考分支和感知分支的卷积层分别用于提取参考卫星图像和感知卫星图像的浅层特征，得到参考特征图和感知特征图/>
和/>经过第一交叉注意力模块处理后得到第一跨模态相似性特征Fr′0和Fs′0；/>和Fr′0进行堆叠后输入参考分支的第一残差模块，得到第一深层参考特征/>和Fs′0进行堆叠后输入感知分支的第一残差模块，得到第一深层感知特征/>
和/>经过第二交叉注意力模块处理后得到第二跨模态相似性特征/>和/> 和/>进行堆叠后输入参考分支的第二残差模块，得到第二深层参考特征/>和/>进行堆叠后输入感知分支的第二残差模块，得到第二深层感知特征/>
Fr 2和经过第三交叉注意力模块处理后得到第三跨模态相似性特征Fr′2和Fs′2；/>和Fr′2进行堆叠后输入参考分支的第三残差模块，得到第三深层参考特征/>和Fs′2进行堆叠后输入感知分支的第三残差模块，得到第三深层感知特征/>
和/>经过第四交叉注意力模块处理后得到第四跨模态相似性特征Fr′3和Fs′3；/>和Fr′3进行堆叠后输入参考分支的第四残差模块，得到深层参考特征/> 和Fs′3进行堆叠后输入感知分支的第四残差模块，得到深层感知特征/>
S2、根据深层参考特征和深层感知特征/>对参考卫星图像和感知卫星图像进行粗匹配预测；
S3、基于全连接层的相似度对粗匹配预测结果进行细匹配，得到最终的匹配结果。
2.根据权利要求1所述的多源卫星图像配准方法，其特征在于，参考分支和感知分支的4个残差模块步长大小分别为[1,2,2,2]，特征映射大小分别为
3.根据权利要求1所述的多源卫星图像配准方法，其特征在于，所述步骤S2具体包括：
S21、对深层参考特征和深层感知特征/>进行拼接，构成特征间的得分矩阵SC，SC中位置(i,j)处的元素SC(i,j)为：
其中τ为控制参数；
S22、利用双softmax损失函数得到相互近邻的匹配置信度Pc(i,j)：
Pc(i,j)＝softmax(SC(i,·))j·softmax(SC(·,j))i
S23、基于匹配置信度，采用互临近准则得到粗匹配预测Mc：
其中MNN表示互临近准则；θc∈[0,1]，为预设的粗匹配阈值。
4.根据权利要求1所述的多源卫星图像配准方法，其特征在于，所述步骤S3具体包括：
S31、将粗匹配预测Mc中的位置信息(i,l)定位在第二深层参考特征和第二深层感知特征/>上，得到两个特征图Dr和Ds；
S32、在Dr和Ds分别裁剪大小为w×w的匹配窗口和/>将特征图Dr的中心向量与的所有向量拼接起来，构成向量R，将特征图Ds的中心向量与/>的所有向量拼接起来，构成向量S；将向量R和向量S的差输入到基于全连接层的相似度网络中得到相似度，并将相似度S(u,v)映射到[0,1]区间：
S(u,v)＝Sigmod(Dense(Ru-Sv)2)
其中Sigmod表示激活函数；Dense表示基于全连接层的相似度网络，包括3层全连接层，每层的神经元数量分别为256，128，1；
S33、根据相似度S(u,v)得到细匹配结果：如果S(u,v)>th，匹配窗口中的第u个像素与/>中的第v个像素为匹配像素对；th为预设的细匹配判定阈值。
5.根据权利要求1所述的多源卫星图像配准方法，其特征在于，所述垂直交叉注意力网络中的4个交叉注意力模块结构相同；第一交叉注意力模块对和/>的处理步骤包括：
S41、对和/>分别进行补丁嵌入、线性变换以及位置编码，得到特征Ir和Is；
S42、分别根据特征Ir和Is生成查询(Q)、键(K)和值(V)的表示，输入第一自注意力网络模块(Self-Attention 1)和第二自注意力网络模块(Self-Attention2)中得到第一参考注意力特征Tr和第一感知注意力特征Ts；所述第一自注意力网络模块和第二自注意力网络模块权重共享；
第一自注意力网络模块的查询(Q)、键(K)和值(V)的表示为：
Q＝Wq·Ir
K＝Wk·Ir
V＝Wv·Ir
其中Wq,Wk,Wv分别为第一自注意力网络模块中查询元素(Q)、键元素(K)、和值元素(V)的更新权重；
第一自注意力网络模块输出的第一参考注意力特征Tr为：
其中dk表示键元素K的维度大小，上标T表示矩阵或向量的转置；
S43、将上述获得特征Tr和Ts分别进行特征求和、线性投影、和归一化操作，得到特征I′r和I′s；根据I′r生成查询元素(Q)，根据I′s生成键元素(K)、和值元素(V)，输入第三自注意力网络模块(Self-Attention 3)中，得到第二参考注意力特征T′r；根据I′s生成查询元素(Q)，根据I′r生成键元素(K)、和值元素(V)，输入第四自注意力网络模块(Self-Attention 4)中，得到第二感知注意力特征T′s；
分别对第二参考注意力特征T′r和第二感知注意力特征T′s分别经过特征求和、线性投影、和归一化操作，得到特征I″r和I″s；
S44、将特征I″r和I″s分别作为特征Ir和Is，再次执行步骤S42和S43，共执行N次，得到第一跨模态相似性特征Fr′0和Fs′0。
6.根据权利要求5所述的多源卫星图像配准方法，其特征在于，第一自注意力网络模块、第三自注意力网络模块和第四自注意力网络模块的训练包括步骤：
S51、将训练样本输入双分支残差网络的参考分支和感知分支；训练样本包括参考图像和感知图像，并已标记参考图像与感知图像的匹配像素；
S52、根据粗匹配的匹配置信度Pc(i,j)计算粗匹配损失函数值L1：
其中为训练样本中参考图像与感知图像的匹配像素坐标，/>为匹配像素的数量；
S53、根据细匹配的结果计算细匹配损失函数L2：
其中xi，yi表示细匹配结果得到的感知图像中像素i在参考图像中的匹配像素位置；xgt和ygt表示训练样本标记的感知图像中像素i在参考图像中的匹配像素位置；M为细匹配结果得到的匹配像素对数量；
S54、对第一自注意力网络模块、第三自注意力网络模块和第四自注意力网络模块中的权重参数进行迭代训练，迭代训练的目标为最小化损失函数L：
L＝L1+L2。
7.一种多源卫星图像配准系统，其特征在于，包括：双分支残差网络、粗匹配模块、细匹配模块；
所述双分支残差网络包括参考分支、感知分支和垂直交叉注意力网络；所述参考分支和感知分支均包括依次连接的卷积层和4个残差模块，所述垂直交叉注意力网络包括4个交叉注意力模块；
参考分支的卷积层(1-0)和感知分支的卷积层(2-0)分别用于提取参考卫星图像和感知卫星图像的浅层特征，得到参考特征图和感知特征图/>
和/>经过第一交叉注意力模块(Cross-Attention 1)处理后得到第一跨模态相似性特征Fr′0和Fs′0；/>和Fr′0进行堆叠后输入参考分支的第一残差模块(1-1)，得到第一深层参考特征/>和Fs′0进行堆叠后输入感知分支的第一残差模块(2-1)，得到第一深层感知特征/>
和/>经过第二交叉注意力模块(Cross-Attention 2)处理后得到第二跨模态相似性特征/>和/>和/>进行堆叠后输入参考分支的第二残差模块(1-2)，得到第二深层参考特征/>和/>进行堆叠后输入感知分支的第二残差模块(2-2)，得到第二深层感知特征
和/>经过第三交叉注意力模块(Cross-Attention 3)处理后得到第三跨模态相似性特征Fr′2和Fs′2；/>和Fr′2进行堆叠后输入参考分支的第三残差模块(1-3)，得到第三深层参考特征/>和Fs′2进行堆叠后输入感知分支的第三残差模块(2-3)，得到第三深层感知特征/>
和/>经过第四交叉注意力模块(Cross-Attention 4)处理后得到第四跨模态相似性特征Fr′3和Fs′3；/>和Fr′3进行堆叠后输入参考分支的第四残差模块(1-4)，得到深层参考特征/>和Fs′3进行堆叠后输入感知分支的第四残差模块(2-4)，得到深层感知特征/>
所述粗匹配模块(3)根据深层参考特征和深层感知特征/>对参考卫星图像和感知卫星图像进行粗匹配预测；
所述细匹配模块(4)基于全连接层的相似度对粗匹配预测结果进行细匹配，得到最终的匹配结果。
8.根据权利要求7所述的多源卫星图像配准系统，其特征在于，所述粗匹配模块(3)进行粗匹配预测具体包括：
S21、对深层参考特征和深层感知特征/>进行拼接，构成特征间的得分矩阵SC，SC中位置(i,j)处的元素SC(i,j)为：
其中τ为控制参数；
S22、利用双softmax损失函数得到相互近邻的匹配置信度Pc(i,j)：
Pc(i,j)＝softmax(SC(i,·))j·softmax(SC(·,j))i
S23、基于匹配置信度，采用互临近准则得到粗匹配预测Mc：
其中MNN表示互临近准则；θc∈[0,1]，为预设的粗匹配阈值。
9.一种计算机可读取存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至6任一项所述的多源卫星图像配准方法。
10.一种电子设备，其特征在于，包括处理器及存储介质，所述存储介质为权利要求9所述的计算机可读取存储介质；所述处理器加载并执行所述存储介质中的指令及数据用于实现权利要求1至6任一项所述的多源卫星图像配准方法。
CN202311348076.9A 2023-10-18 2023-10-18 多源卫星图像配准方法、系统、存储介质和电子设备 Active CN117474963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311348076.9A CN117474963B (zh) 2023-10-18 2023-10-18 多源卫星图像配准方法、系统、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311348076.9A CN117474963B (zh) 2023-10-18 2023-10-18 多源卫星图像配准方法、系统、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN117474963A true CN117474963A (zh) 2024-01-30
CN117474963B CN117474963B (zh) 2024-04-19

Family

ID=89624801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311348076.9A Active CN117474963B (zh) 2023-10-18 2023-10-18 多源卫星图像配准方法、系统、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN117474963B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223068A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统
CN113223065A (zh) * 2021-03-30 2021-08-06 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar卫星图像与光学图像自动匹配方法
CN115294182A (zh) * 2022-04-25 2022-11-04 北京航空航天大学 一种基于双交叉注意力机制的高精度立体匹配方法
CN115331029A (zh) * 2022-08-19 2022-11-11 西安电子科技大学 基于跨模态转换网络与最优传输理论的异源图像匹配方法
CN115359103A (zh) * 2022-08-24 2022-11-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质
US20220392201A1 (en) * 2021-03-05 2022-12-08 Zhejiang Sensetime Technology Development Co., Ltd. Image feature matching method and related apparatus, device and storage medium
CN115457020A (zh) * 2022-09-29 2022-12-09 电子科技大学 一种融合残差图像信息的2d医学图像配准方法
CN116188825A (zh) * 2023-02-22 2023-05-30 东南大学 一种基于并行注意力机制的高效特征匹配方法
CN116597177A (zh) * 2023-03-08 2023-08-15 西北工业大学 一种基于双分支并行深度交互协同的多源图像块匹配方法
CN116664892A (zh) * 2023-06-12 2023-08-29 成都信息工程大学 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN116757930A (zh) * 2023-06-12 2023-09-15 武汉工程大学 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220392201A1 (en) * 2021-03-05 2022-12-08 Zhejiang Sensetime Technology Development Co., Ltd. Image feature matching method and related apparatus, device and storage medium
CN113223065A (zh) * 2021-03-30 2021-08-06 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar卫星图像与光学图像自动匹配方法
CN113223068A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统
CN115294182A (zh) * 2022-04-25 2022-11-04 北京航空航天大学 一种基于双交叉注意力机制的高精度立体匹配方法
CN115331029A (zh) * 2022-08-19 2022-11-11 西安电子科技大学 基于跨模态转换网络与最优传输理论的异源图像匹配方法
CN115359103A (zh) * 2022-08-24 2022-11-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质
CN115457020A (zh) * 2022-09-29 2022-12-09 电子科技大学 一种融合残差图像信息的2d医学图像配准方法
CN116188825A (zh) * 2023-02-22 2023-05-30 东南大学 一种基于并行注意力机制的高效特征匹配方法
CN116597177A (zh) * 2023-03-08 2023-08-15 西北工业大学 一种基于双分支并行深度交互协同的多源图像块匹配方法
CN116664892A (zh) * 2023-06-12 2023-08-29 成都信息工程大学 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN116757930A (zh) * 2023-06-12 2023-09-15 武汉工程大学 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, P., ET AL.: "An Adaptive Remote Sensing Image-Matching Network Based on Cross Attention and Deformable Convolution", ELECTRONICS, 30 June 2023 (2023-06-30), pages 1 - 18 *
HOU, H., ET AL.: "Attention-Based Matching Approach for Heterogeneous Remote Sensing Images", REMOTE SENSING, 27 December 2022 (2022-12-27), pages 1 - 21 *
刘磊, 等.: "基于卷积与图神经网络的合成孔径雷达与可见光图像配准", 光学学报, 25 December 2022 (2022-12-25), pages 110 - 120 *

Also Published As

Publication number Publication date
CN117474963B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
Zeng et al. 3dmatch: Learning local geometric descriptors from rgb-d reconstructions
CN109064502B (zh) 基于深度学习和人工设计特征相结合的多源图像配准方法
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
WO2019042232A1 (zh) 一种快速鲁棒的多模态遥感影像匹配方法和系统
CN108648240A (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN106447601B (zh) 一种基于投影-相似变换的无人机遥感影像拼接方法
CN102750537B (zh) 一种高精度图像自动配准方法
CN111507222B (zh) 一种基于多源数据知识迁移的三维物体检测框架
CN104200461A (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN106373088A (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN114255197A (zh) 一种红外与可见光图像自适应融合对齐方法及系统
CN116485856B (zh) 一种基于语义分割的无人机图像地理配准方法及相关设备
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统
CN113888629A (zh) 一种基于rgbd相机的快速物体三维位姿估计方法
CN117456136A (zh) 一种基于多模态视觉识别的数字孪生场景智能生成方法
CN112001954B (zh) 一种基于极曲线约束的水下pca-sift图像匹配方法
CN114140700A (zh) 基于级联网络的分步异源图像模板匹配方法
CN106651756B (zh) 一种基于sift和验证机制的图像配准方法
CN113239828A (zh) 一种基于tof摄像模组的人脸识别方法及装置
CN117474963B (zh) 多源卫星图像配准方法、系统、存储介质和电子设备
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
Hamzah et al. Software Calibration for Stereo Camera on Stereo Vision Mobile Robot using Tsai's Method
Yao et al. Matching wide-baseline stereo images with weak texture using the perspective invariant local feature transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant