CN115019071B - 光学图像与sar图像匹配方法、装置、电子设备及介质 - Google Patents

光学图像与sar图像匹配方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115019071B
CN115019071B CN202210557413.4A CN202210557413A CN115019071B CN 115019071 B CN115019071 B CN 115019071B CN 202210557413 A CN202210557413 A CN 202210557413A CN 115019071 B CN115019071 B CN 115019071B
Authority
CN
China
Prior art keywords
feature
image
matching
layer
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210557413.4A
Other languages
English (en)
Other versions
CN115019071A (zh
Inventor
付志涛
李梓谦
唐伯惠
李梦华
聂韩
陈思静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202210557413.4A priority Critical patent/CN115019071B/zh
Publication of CN115019071A publication Critical patent/CN115019071A/zh
Application granted granted Critical
Publication of CN115019071B publication Critical patent/CN115019071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明涉及光学图像与SAR图像匹配方法、装置、电子设备及介质，包括步骤：获取待匹配的第一匹配图像和第二匹配图像；获取第一匹配图像对应的第一密集特征图像和第二匹配图像对应的第二密集特征图像；获取第一密集特征图像对应的第一特征向量，获取第二密集特征图像对应的第二特征向量；获取粗匹配特征点；根据粗匹配特征点获取第三特征图像对应的第三特征向量和第四特征图像对应的第四特征向量；获取精匹配特征点；根据多个精匹配特征点，将第一匹配图像和第二匹配图像进行匹配。解决了光学图像与SAR图像的匹配中特征图像产生的特征点少，导致匹配度低的问题。

Description

光学图像与SAR图像匹配方法、装置、电子设备及介质
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及光学图像与SAR图像匹配方法、装置、电子设备及介质。
背景技术
随着遥感技术的迅猛发展，不同平台和传感器，如Ikonos、Quickbird、TerraSAR-X、Cosmo Skymed和WorldView等，为对地观测提供多种手段，综合利用异源遥感数据之间的优势互补进行各种应用已成为重要研究趋势。光学图像遥感与合成孔径雷达(SyntheticAperture Radar,SAR)作为两大重要的空间遥感技术手段,其图像可以反应不同光学图像和SAR图像联合处理和应用，进一步加强对地观测，但由于存在巨大的辐射和几何视差，光学图像和SAR图像的匹配问题非常具有挑战性。
目前，基于深度学习的方法在光学图像与SAR图像中的应用得到了广泛的关注，Yang等提出一种通过卷积神经网络学习图像多尺度特征并进行多时相遥感图像匹配，Ye等通过将神经网络提取到的特征与SIFT提取的特征进行特征融合将其用于异源遥感图像匹配，Hughes采用多尺度特征空间互相关算子生成待匹配图像的热点图以实现光学图像与SAR图像的稀疏匹配；但上述方法在性能提升上并不显着，这主要是由于SAR图像成像原理的特殊性，在弱纹理区域中，光学图像与SAR图像对所包含的共同特征比例要小很多，而特有特征比例要大得多，此外，固定大小的图像块中的显着特征会减少。
综上所述，光学图像与SAR图像的匹配中特征图像产生的特征点少导致匹配度低。
发明内容
为了现有光学图像与SAR图像的匹配中特征图像产生的特征点少，导致匹配度低的问题，本发明提供了光学图像与SAR图像匹配方法、装置、电子设备及介质。
第一方面，为了解决上述技术问题，本发明提供了光学图像与SAR图像匹配方法，包括以下步骤：
S1，获取待匹配的第一匹配图像和第二匹配图像，第一匹配图像为光学图像，第二匹配图像为SAR图像；
S2，提取第一匹配图像的多个第一特征图像，将多个第一特征图像进行融合，得到第一匹配图像对应的第一密集特征图像，提取第二匹配图像的多个第二特征图像，将多个第二特征图像进行融合，得到第二匹配图像对应的第二密集特征图像；
S3，将第一密集特征图像输入位置编码器，通过位置编码器输出第一密集特征图像对应的第一特征向量，第一特征向量中包括多个第一特征点，每个第一特征点携带有第一位置信息，对于每个第一位置信息，第一位置信息表征了第一特征点在第一密集特征图像上的位置信息，将第二密集特征图像输入位置编码器，通过位置编码器输出第二特征向量，第二特征向量中包括多个第二特征点，每个第二特征点携带有第二位置信息，对于每个第二特征信息，第二位置信息表征了第二特征点在第二密集特征图像上的位置信息；
S4，对于每个第一特征点，确定第一特征点和各个第二特征点对应的第一相似度得分，将各个第一相似度得分中最大的相似度得分对应的第一特征点和第二特征点确定为第一特征点对应的粗匹配特征点；
S5，从第一匹配图像上提取第三特征图像，从第二匹配图像上提取第四特征图像；
S6，根据多个粗匹配特征点，确定第三特征图像对应的第三特征向量，第三特征向量中包括多个第三特征点，对于每个第三特征点，第三特征点携带有第三位置信息，第三位置信息表征了第三特征点在第三特征图像上的位置信息，根据多个粗匹配特征点，确定第四特征图像对应的第四特征向量，第四特征向量中包括多个第四特征点，对于每个第四特征点，第四特征点携带有第四位置信息，第四位置信息表征了第四特征点在第四特征图像上的位置信息；
S7，对于每个第三特征点，确定第三特征点和各个第四特征点对应的第二相似度得分，将各个第二相似度得分中最大的相似度得分对应的第三特征点和第四特征点确定为第三特征点对应的精匹配特征点；
S8，根据多个精匹配特征点，将第一匹配图像和第二匹配图像进行匹配。
本发明提供的光学图像与SAR图像匹配方法的有益效果是：通过第一位置信息和第二位置信息的第一相似度得分，从第一特征向量和第二特征向量中筛选出特征点对(即第一特征点和第二特征点)作为粗匹配特征点，再通过第三位置信息和第四位置信息的第二相似度得分，从第三特征向量和第四特征向量中筛选出特征点对(即第三特征点和第四特征点)作为精匹配特征点，从粗匹配特征点的获取到精匹配特征点的获取，增加了第一匹配图像和第二匹配图像匹配中特征点与特征点的匹配，解决了光学图像与SAR图像的匹配中特征图像产生的特征点少，导致匹配度低的问题。
在上述技术方案的基础上，本发明的光学图像与SAR图像匹配方法还可以做如下改进。
进一步，上述步骤S2具体包括：
将第一匹配图像输入多级特征融合模型中，通过多级特征融合模型输出第一匹配图像对应的第一密集特征图像，将第二匹配图像输入多级特征融合模型中，通过多级特征融合模型输出第二匹配图像对应的第二密集特征图像；
上述多级特征融合模型包括依次连接的8个卷积层，S2包括：
S21，将第一匹配图像输入至第一层卷积层，确定第一层卷积层输出的第一匹配图像所对应的第一特征图像；
将第二个卷积层作为当前模块，通过执行以下步骤，直到当前模块为第八个卷积层，得到每个卷积层输出的第五特征图像；
上述以下步骤包括：
将第一特征图像输入至当前模块，确定当前模块输出的第一特征图像所对应的第五特征图像；
S22，将第一特征图像和多个第五特征图像进行融合，得到第一密集特征图像；
S23，将第二匹配图像输入至第一层卷积层，确定第一层卷积层输出的第一匹配图像所对应的第二特征图像；
将第二个卷积层作为当前模块，通过执行以下步骤，直到当前模块为第八个卷积层，得到每个卷积层输出的第六特征图像；
上述以下步骤包括：
将第二特征图像输入至当前模块，确定当前模块输出的第二特征图像所对应的第六特征图像；
S24，将第二特征图像和多个第六特征图像进行融合，得到第二密集特征图像。
采用上述进一步方案的有益效果是：通过多级特征融合模型可直接获取第一密集特征图像和第二密集特征图像，使得获取结果更准确。
进一步，上述S22具体包括：
对于S21中每层卷积层，将第一层卷积层输出的第一特征图像和第二层卷积层输出的第五特征图像进行连接，得到第七特征图像，将第三层卷积层输出的第五特征图像和第四层卷积层输出的第五特征图像进行连接，得到第八特征图像，将第五层卷积层输出的第五特征图像和第六层卷积层输出的第五特征图像进行连接，得到第九特征图像，将第七层卷积层输出的第五特征图像和第八层卷积层输出的第五特征图像进行连接，得到第十特征图像，将第一层卷积层输出的第三特征图像和第二层至第四层卷积层输出的第五特征图像进行串联，得到第十一特征图像，将第五层至第八层卷积层输出的第五特征图像进行串联，得到第十二特征图像，将第七特征图像、第八特征图像、第九特征图像、第十特征图像、第十一特征图像和第十二特征图像进行融合，得到第一密集特征图像；
上述S24具体包括：
对于上述S23中每层卷积层，将第一层卷积层输出的第二特征图像和第二层卷积层输出的第六特征图像进行连接，得到第十三特征图像，将第三层卷积层输出的第六特征图像和第四层卷积层输出的第六特征图像进行连接，得到第十四特征图像，将第五层卷积层输出的第六特征图像和第六层卷积层输出的第六特征图像进行连接，得到第十五特征图像，将第七层卷积层输出的第六特征图像和第八层卷积层输出的第六特征图像进行连接，得到第十六特征图像，将第一层卷积层输出的第四特征图像和第二层至第四层卷积层输出的第六特征图像进行串联，得到第十七特征图像，将第五层至第八层卷积层输出的第六特征图像进行串联，得到第十八特征图像，将第十三特征、第十四特征图像、第十五特征图像、第十六特征图像、第十七特征图像和第十八特征图像进行融合，得到第二密集特征图像。
采用上述进一步方案的有益效果是：采用上述方法将多级特征融合模型中所有卷积层的输出结果进行融合，得到第一密集特征图像和第二密集特征图像，使得第一密集特征图像和第二密集特征图像拥有更丰富的特征。
进一步，上述S4具体包括：
将第一特征向量和第二特征向量输入粗匹配模块，通过粗匹配模块输出多个粗匹配特征点；
粗匹配模块包括第一自注意力层、第一交叉注意层和第一归一化指数函数层，S4包括：
S41，将第一特征向量和第二特征向量输入第一自注意力层，对于第一特征向量中的每个第一特征点，通过第一自注意力层输出第一特征点与每个第二特征点的第一相似度得分，第一相似度得分表征了第一位置信息与第二位置信息的相似度；
S42，将每个第一相似度得分输入第一交叉注意力层，输出第五特征向量，第五特征向量包含多个第五特征点，对于每个第五特征向量中的每个第五特征点，第五特征点包括第一相似度得分对应的第一特征点的第一位置信息和第二特征点的第二位置信息；
S43，将第五特征向量输入第一归一化指数函数层，通过相互最近邻准则方法判断每个第五特征点中的第一相似度得分是否大于第一预设值，将大于第一预设值对应的第五特征点确定为多个粗匹配特征点。
采用上述进一步方案的有益效果是：通过上述方法粗匹配特征点拥有了更丰富的特征信息(即粗匹配特征点即拥有第一位置信息又拥有第二位置信息)，同时增加了第一匹配图像和第二匹配图像在匹配中特征点的数量(即每个第一特征点都能得到与之匹配的第二特征点)。
进一步，上述根据第三特征向量和第四特征向量，确定多个精匹配特征点，S7具体包括：
将第三特征向量和第四特征向量输入精匹配模块中，通过精匹配模块输出多个精匹配特征点；
精匹配模块包括包括第二自注意力层、第二交叉注意层和第二归一化指数函数层，S7包括：
S71，将第三特征向量和第四特征向量输入第二自注意力层，对于第三特征向量中的每个第三特征点，第一自注意力层输出第三特征点与每个第四特征点的第二相似度得分，第二相似度得分表征了第三位置信息与第四位置信息的相似度；
S72，将每个第二相似度得分输入第一交叉注意力层，输出第六特征向量，第六特征向量包含多个第六特征点，对于第六特征向量中的每个第六特征点，第六特征点包括第二相似度得分对应的第三特征点的第三位置信息和第四特征点的第四位置信息；
S73，将第六特征向量输入第二归一化指数函数层，通过相互最近邻准则方法判断每个第六特征点中的第二相似度得分是否大于第二预设值，将大于第二预设值对应的第五特征点确定为多个精匹配特征点。
采用上述进一步方案的有益效果是：通过上述方法精匹配特征点拥有了更丰富的特征信息(即精匹配特征点即拥有第三位置信息又拥有第四位置信息)，同时增加了第一匹配图像和第二匹配图像在匹配中特征点的数量(即每个第三特征点都能得到与之匹配的第四特征点)。
第二方面，本发明提供了光学图像与SAR图像匹配装置，包括匹配图像获取模块、密集特征图像获取模块、第一向量获取模块、粗匹配特征点获取模块、特征图像获取模块、第二向量获取模块、精匹配特征点获取模块和匹配模块；
匹配图像获取模块，用于获取待匹配的第一匹配图像和第二匹配图像，第一匹配图像为光学图像，第二匹配图像为SAR图像；
密集特征图像获取模块，用于提取第一匹配图像的多个第一特征图像，将多个第一特征图像进行融合，得到第一匹配图像对应的第一密集特征图像，提取第二匹配图像的多个第二特征图像，将多个第二特征图像进行融合，得到第二匹配图像对应的第二密集特征图像；
第一向量获取模块，用于将第一密集特征图像输入位置编码器，通过位置编码器输出第一密集特征图像对应的第一特征向量，第一特征向量中包括多个第一特征点，每个第一特征点携带有第一位置信息，对于每个第一位置信息，第一位置信息表征了第一特征点在第一密集特征图像上的位置信息，将第二密集特征图像输入位置编码器，通过位置编码器输出第二特征向量，第二特征向量中包括多个第二特征点，每个第二特征点携带有第二位置信息，对于每个第二特征信息，第二位置信息表征了第二特征点在第二密集特征图像上的位置信息；
粗匹配特征点获取模块，用于对于每个第一特征点，确定第一特征点和各个第二特征点对应的第一相似度得分，将各个第一相似度得分中最大的相似度得分对应的第一特征点和第二特征点确定为第一特征点对应的粗匹配特征点；
特征图像获取模块，用于从第一匹配图像上提取第三特征图像，从第二匹配图像上提取第四特征图像；
第二向量获取模块，用于根据多个粗匹配特征点，确定第三特征图像对应的第三特征向量，第三特征向量中包括多个第三特征点，对于每个第三特征点，第三特征点携带有第三位置信息，第三位置信息表征了第三特征点在第三特征图像上的位置信息，根据多个粗匹配特征点，确定第四特征图像对应的第四特征向量，第四特征向量中包括多个第四特征点，对于每个第四特征点，第四特征点携带有第四位置信息，第四位置信息表征了第四特征点在第四特征图像上的位置信息；
精匹配特征点获取模块，用于对于每个第三特征点，确定第三特征点和各个第四特征点对应的第二相似度得分，将各个第二相似度得分中最大的相似度得分对应的第三特征点和第四特征点确定为第三特征点对应的粗匹配特征点；
匹配模块，用于根据多个精匹配特征点，将第一匹配图像和第二匹配图像进行匹配。
本发明提供的光学图像与SAR图像匹配装置的有益效果是：通过第一位置信息和第二位置信息的第一相似度得分，从第一特征向量和第二特征向量中筛选出特征点(即第一特征点和第二特征点)作为粗匹配特征点，再通过第三位置信息和第四位置信息的第二相似度得分，从第三特征向量和第四特征向量中筛选出特征点(即第三特征点和第四特征点)作为精匹配特征点，从粗匹配特征点的获取到精匹配特征点的获取，增加了第一匹配图像和第二匹配图像匹配中特征点与特征点的匹配，解决了光学图像与SAR图像的匹配中特征图像产生的特征点少，导致匹配度低的问题。
第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，处理器执行程序时实现如上述的光学图像与SAR图像匹配方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行如上述的光学图像与SAR图像匹配方法的步骤。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面结合附图和实施例对本发明作进一步说明。
图1为本发明实施例的光学图像与SAR图像匹配方法的流程示意图；
图2为本发明实施例的光学图像与SAR图像匹配装置的结构示意图。
具体实施方式
下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。
以下结合附图描述本发明实施例的光学图像与SAR图像匹配方法、装置、电子设备及介质。
如图1所示，本发明实施例的光学图像与SAR图像匹配方法，包括如下步骤：
S1，获取待匹配的第一匹配图像和第二匹配图像，第一匹配图像为光学图像，第二匹配图像为SAR图像。
S2，提取第一匹配图像的多个第一特征图像，将多个第一特征图像进行融合，得到第一匹配图像对应的第一密集特征图像，提取第二匹配图像的多个第二特征图像，将多个第二特征图像进行融合，得到第二匹配图像对应的第二密集特征图像。
可选的，将第一匹配图像输入多级特征融合模型中，通过多级特征融合模型输出第一匹配图像对应的第一密集特征图像，将第二匹配图像输入多级特征融合模型中，通过多级特征融合模型输出第二匹配图像对应的第二密集特征图像；
多级特征融合模型包括依次连接的8个卷积层，其中，第一层和第二层卷积层由32个卷积核组成，第三层和第四层卷积层由64个卷积核组成，第五层和第六次卷积层由128个卷积核组成，第七层和第八层卷积层由256个卷积核组成，另外，第一层至第七层卷积层带有线性整流激活函数以及归一化层，以加快多级特征融合模型的收敛速度，第八层卷积层带有神经元失活层以避免网络出现拟合情况。
可选的，上述S2具体包括如下：
S21，将第一匹配图像输入至第一层卷积层，确定第一层卷积层输出的第一匹配图像所对应的第一特征图像；
将第二个卷积层作为当前模块，通过执行以下步骤，直到当前模块为第八个卷积层，得到每个卷积层输出的第五特征图像；
上述以下步骤包括：
将第一特征图像输入至当前模块，确定当前模块输出的第一特征图像所对应的第五特征图像；
通过上述以下步骤可得到八个第五特征图像。
S22，将第一特征图像和多个第五特征图像进行融合，得到第一密集特征图像；
S23，将第二匹配图像输入至第一层卷积层，确定第一层卷积层输出的第一匹配图像所对应的第二特征图像；
将第二个卷积层作为当前模块，通过执行以下步骤，直到当前模块为第八个卷积层，得到每个卷积层输出的第六特征图像；
上述以下步骤包括：
将第二特征图像输入至当前模块，确定当前模块输出的第二特征图像所对应的第六特征图像；
通过上述以下步骤，可得到八个第六特征图像。
S24，将第二特征图像和多个第六特征图像进行融合，得到第二密集特征图像。
通过多级特征融合模型可直接获取第一密集特征图像和第二密集特征图像，使得获取结果更准确。
可选的，多级特征融合模型将多个卷积层的输出结果进行融合的过程具体包括：
对于S21中每层卷积层，将第一层卷积层输出的第一特征图像和第二层卷积层输出的第五特征图像进行连接，得到第七特征图像，将第三层卷积层输出的第五特征图像和第四层卷积层输出的第五特征图像进行连接，得到第八特征图像，将第五层卷积层输出的第五特征图像和第六层卷积层输出的第五特征图像进行连接，得到第九特征图像，将第七层卷积层输出的第五特征图像和第八层卷积层输出的第五特征图像进行连接，得到第十特征图像，将第一层卷积层输出的第三特征图像和第二层至第四层卷积层输出的第五特征图像进行串联，得到第十一特征图像，将第五层至第八层卷积层输出的第五特征图像进行串联，得到第十二特征图像，将第七特征图像、第八特征图像、第九特征图像、第十特征图像、第十一特征图像和第十二特征图像进行融合，得到第一密集特征图像；
对于S23中每层卷积层，将第一层卷积层输出的第二特征图像和第二层卷积层输出的第六特征图像进行连接，得到第十三特征图像，将第三层卷积层输出的第六特征图像和第四层卷积层输出的第六特征图像进行连接，得到第十四特征图像，将第五层卷积层输出的第六特征图像和第六层卷积层输出的第六特征图像进行连接，得到第十五特征图像，将第七层卷积层输出的第六特征图像和第八层卷积层输出的第六特征图像进行连接，得到第十六特征图像，将第一层卷积层输出的第四特征图像和第二层至第四层卷积层输出的第六特征图像进行串联，得到第十七特征图像，将第五层至第八层卷积层输出的第六特征图像进行串联，得到第十八特征图像，将第十三特征、第十四特征图像、第十五特征图像、第十六特征图像、第十七特征图像和第十八特征图像进行融合，得到第二密集特征图像。
S3，将第一密集特征图像输入位置编码器，通过位置编码器输出第一密集特征图像对应的第一特征向量，第一特征向量中包括多个第一特征点，每个第一特征点携带有第一位置信息，对于每个第一位置信息，第一位置信息表征了第一特征点在第一密集特征图像上的位置信息，将第二密集特征图像输入位置编码器，通过位置编码器输出第二特征向量，第二特征向量中包括多个第二特征点，每个第二特征点携带有第二位置信息，对于每个第二特征信息，第二位置信息表征了第二特征点在第二密集特征图像上的位置信息。
可选的，上述多级特征融合模型中卷积层输出的特征图像之间的连接是指一个特征图像直接连接到另一个特征图像上，例如第一个特征图像上有1-64个特征，第二个特征图像上有1-64个特征，则第一个特征图像上的第1个特征与第二个特征图像上的第2个特征直接连接，第一个特征图像上的第2个特征与第二个特征图像上的第2个特征直接连接，依次类推，直到第一个特征图像上的第64个特征与第二个特征图像上的第64个特征直接连接，卷积层输出的特征图像之间的串联是指将一个特征图像中的特征连接到另一个特征图像最后一个特征之后。
可选的，第一密集图像和第二密集图像是指，通过上述方法，将多级特征融合模型中各卷积层输出的特征图像之间进行融合操作后，形成的融合了不同特征的特征图像。
可选的，位置编码器采用如下方式输出第一特征向量或第二特征向量：
Position＝di+MLP(pi)
其中，Position表示携带有位置信息的特征向量，pi表示多级特征融合模型输出的密集特征图像，di表示对密集特征图像进行展平操作后的结果，MLP表示位置编码器。
S4，对于每个第一特征点，确定第一特征点和各个第二特征点对应的第一相似度得分，将各个第一相似度得分中最大的相似度得分对应的第一特征点和第二特征点确定为第一特征点对应的粗匹配特征点。
可选的，将第一特征向量和第二特征向量输入粗匹配模块，通过粗匹配模块输出多个粗匹配特征点；
粗匹配模块包括第一自注意力层、第一交叉注意层和第一归一化指数函数层，其中，第一自注意力层采用如下方法获取第一相似度得分：
其中，qi表示查询矩阵，查询矩阵里包含了第一特征向量中的所有第一特征点，表示查询矩阵的转置矩阵，kj表示待查询键矩阵，待查询键矩阵里包含了第二特征向量中的所有第二特征点，Softmax()表示计算参数间的第一相似度得分，αij表示第i个第一特征点与第j个第二特征点之间的第一相似度得分，i表示第一特征向量中的第i个第一特征点，j表示第二特征向量中的第j个第二特征点。
另外，第一交叉注意力层采用如下方法获得第五特征向量：
其中，vj表示待提取的位置信息，待提取的位置信息包括第j个第二特征点的第二位置信息以及第j个第二特征点对应的第一特征点的第一位置信息，αij表示第i个第一特征点与第j个第二特征点之间的第一相似度得分第一相似度得分，i表示第一特征向量中的第i个第一特征点，j表示第二特征向量中的第j个第二特征点，m表示一个第五特征点，各个第五特征点形成第五特征向量。
其中，一个第五特征点可以理解为一个特征点对，该特征点对中包括一个第一特征点和与该第一特征点匹配的第二特征点。
可选的，将第五特征向量输入第一归一化指数函数层，通过相互最近邻准则方法判断每个第五特征点中的第一相似度得分是否大于第一预设值，将大于第一预设值对应的第五特征点确定为多个粗匹配特征点。
可选的，第一预设值可按照实际情况自行选择。
S5，从第一匹配图像上提取第三特征图像，从第二匹配图像上提取第四特征图像。
S6，根据多个粗匹配特征点，确定第三特征图像对应的第三特征向量，第三特征向量中包括多个第三特征点，对于每个第三特征点，第三特征点携带有第三位置信息，第三位置信息表征了第三特征点在第三特征图像上的位置信息，根据多个粗匹配特征点，确定第四特征图像对应的第四特征向量，第四特征向量中包括多个第四特征点，对于每个第四特征点，第四特征点携带有第四位置信息，第四位置信息表征了第四特征点在第四特征图像上的位置信息。
可选的，根据粗匹配特征点，使用一个w*w的搜索窗口进行特征搜索，确定第三特征图像对应的第三特征向量和第四特征图像对应的第四特征向量。
S7，对于每个第三特征点，确定第三特征点和各个第四特征点对应的第二相似度得分，将各个第二相似度得分中最大的相似度得分对应的第三特征点和第四特征点确定为第三特征点对应的粗匹配特征点；
可选的，将第三特征向量和第四特征向量输入粗匹配模块，通过精匹配模块输出多个精匹配特征点；
精匹配模块包括第二自注意力层、第二交叉注意层和第二归一化指数函数层，其中，第二自注意力层和第一自注意力层相同，第二交叉注意层和第一交叉注意层相同，第二归一化指数函数层和第一归一化指数函数层相同，且精匹配模块和粗匹配模块的处理过程相同，其区别仅在于输入项由第一特征向量和第二特征向量变为第三特征向量和第四特征向量，因此，不在此重复赘述。
S8，根据多个精匹配特征点，将第一匹配图像和第二匹配图像进行匹配。
如图2所示，本发明实施例的光学图像与SAR图像匹配装置，包括匹配图像获取模块202、密集特征图像获取模块203、第一向量获取模块204、粗匹配特征点获取模块205、特征图像获取模块206、第二向量获取模块207、精匹配特征点获取模块208和匹配模块209；
匹配图像获取模块202，用于获取待匹配的第一匹配图像和第二匹配图像，第一匹配图像为光学图像，第二匹配图像为SAR图像；
密集特征图像获取模块203，用于提取第一匹配图像的多个第一特征图像，将多个第一特征图像进行融合，得到第一匹配图像对应的第一密集特征图像，提取第二匹配图像的多个第二特征图像，将多个第二特征图像进行融合，得到第二匹配图像对应的第二密集特征图像；
第一向量获取模块204，用于将第一密集特征图像输入位置编码器，通过位置编码器输出第一密集特征图像对应的第一特征向量，第一特征向量中包括多个第一特征点，每个第一特征点携带有第一位置信息，对于每个第一位置信息，第一位置信息表征了第一特征点在第一密集特征图像上的位置信息，将第二密集特征图像输入位置编码器，通过位置编码器输出第二特征向量，第二特征向量中包括多个第二特征点，每个第二特征点携带有第二位置信息，对于每个第二特征信息，第二位置信息表征了第二特征点在第二密集特征图像上的位置信息；
粗匹配特征点获取模块205，用于对于每个第一特征点，确定第一特征点和各个第二特征点对应的第一相似度得分，将各个第一相似度得分中最大的相似度得分对应的第一特征点和第二特征点确定为第一特征点对应的粗匹配特征点；
特征图像获取模块206，用于从第一匹配图像上提取第三特征图像，从第二匹配图像上提取第四特征图像；
第二向量获取模块207，用于根据多个粗匹配特征点，确定第三特征图像对应的第三特征向量，第三特征向量中包括多个第三特征点，对于每个第三特征点，第三特征点携带有第三位置信息，第三位置信息表征了第三特征点在第三特征图像上的位置信息，根据多个粗匹配特征点，确定第四特征图像对应的第四特征向量，第四特征向量中包括多个第四特征点，对于每个第四特征点，第四特征点携带有第四位置信息，第四位置信息表征了第四特征点在第四特征图像上的位置信息；
精匹配特征点获取模块208，用于对于每个第三特征点，确定第三特征点和各个第四特征点对应的第二相似度得分，将各个第二相似度得分中最大的相似度得分对应的第三特征点和第四特征点确定为第三特征点对应的粗匹配特征点；
匹配模块209，用于根据多个精匹配特征点，将第一匹配图像和第二匹配图像进行匹配。
可选的，上述密集特征图像获取模块203所实现的功能可通过多级特征融合模型实现，该装置还包括第一融合模块，第一融合模块，用于通过以下方法获取第一密集特征图像和第二密集特征图像:
S21，将第一匹配图像输入至第一层卷积层，确定第一层卷积层输出的第一匹配图像所对应的第一特征图像；
将第二个卷积层作为当前模块，通过执行以下步骤，直到当前模块为第八个卷积层，得到每个卷积层输出的第五特征图像；
以下步骤包括：
将第一特征图像输入至当前模块，确定当前模块输出的第一特征图像所对应的第五特征图像；
S22，将第一特征图像和多个第五特征图像进行融合，得到第一密集特征图像；
S23，将第二匹配图像输入至第一层卷积层，确定第一层卷积层输出的第一匹配图像所对应的第二特征图像；
将第二个卷积层作为当前模块，通过执行以下步骤，直到当前模块为第八个卷积层，得到每个卷积层输出的第六特征图像；
以下步骤包括：
将第二特征图像输入至当前模块，确定当前模块输出的第二特征图像所对应的第六特征图像；
S24，将第二特征图像和多个第六特征图像进行融合，得到第二密集特征图像。
可选的，该装置还包括第二融合模块，用于通过以下方法将多个第一特征图像进行融合，得到第一匹配图像对应的第一密集特征图像，以及将多个第二特征图像进行融合，得到第二匹配图像对应的第二密集特征图像：
对于S21中每层卷积层，将第一层卷积层输出的第一特征图像和第二层卷积层输出的第五特征图像进行连接，得到第七特征图像，将第三层卷积层输出的第五特征图像和第四层卷积层输出的第五特征图像进行连接，得到第八特征图像，将第五层卷积层输出的第五特征图像和第六层卷积层输出的第五特征图像进行连接，得到第九特征图像，将第七层卷积层输出的第五特征图像和第八层卷积层输出的第五特征图像进行连接，得到第十特征图像，将第一层卷积层输出的第三特征图像和第二层至第四层卷积层输出的第五特征图像进行串联，得到第十一特征图像，将第五层至第八层卷积层输出的第五特征图像进行串联，得到第十二特征图像，将第七特征图像、第八特征图像、第九特征图像、第十特征图像、第十一特征图像和第十二特征图像进行融合，得到第一密集特征图像；
对于S23中每层卷积层，将第一层卷积层输出的第二特征图像和第二层卷积层输出的第六特征图像进行连接，得到第十三特征图像，将第三层卷积层输出的第六特征图像和第四层卷积层输出的第六特征图像进行连接，得到第十四特征图像，将第五层卷积层输出的第六特征图像和第六层卷积层输出的第六特征图像进行连接，得到第十五特征图像，将第七层卷积层输出的第六特征图像和第八层卷积层输出的第六特征图像进行连接，得到第十六特征图像，将第一层卷积层输出的第四特征图像和第二层至第四层卷积层输出的第六特征图像进行串联，得到第十七特征图像，将第五层至第八层卷积层输出的第六特征图像进行串联，得到第十八特征图像，将第十三特征、第十四特征图像、第十五特征图像、第十六特征图像、第十七特征图像和第十八特征图像进行融合，得到第二密集特征图像。
上述粗匹配特征点获取模块205所实现的功能可通过粗匹配模块实现，该装置还包括第一注意力模块、第一交叉注意力模块和第一归一化指数函数模块，其中:
第一注意力模块，用于将第一特征向量和第二特征向量输入第一自注意力层，对于第一特征向量中的每个第一特征点，通过第一自注意力层输出第一特征点与每个第二特征点的第一相似度得分，第一相似度得分表征了第一位置信息与第二位置信息的相似度；
第一交叉注意力模块，用于将每个第一相似度得分输入第一交叉注意力层，输出第五特征向量，第五特征向量包含多个第五特征点，对于每个第五特征向量中的每个第五特征点，第五特征点包括第一相似度得分对应的第一特征点的第一位置信息和第二特征点的第二位置信息；
第一归一化指数函数模块，用于将第五特征向量输入第一归一化指数函数层，通过相互最近邻准则方法判断每个第五特征点中的第一相似度得分是否大于第一预设值，将大于第一预设值对应的第五特征点确定为多个粗匹配特征点。
上述精匹配特征点获取模块208所实现的功能可通过精匹配模块实现，该装置还包括第二注意力模块、第二交叉注意力模块和第二归一化指数函数模块，其中:
第二注意力模块，用于将第三特征向量和第四特征向量输入第二自注意力层，对于第三特征向量中的每个第三特征点，第一自注意力层输出第三特征点与每个第四特征点的第二相似度得分，第二相似度得分表征了第三位置信息与第四位置信息的相似度；
第二交叉注意力模块，用于将每个所述第二相似度得分输入第一交叉注意力层，输出第六特征向量，所述第六特征向量包含多个第六特征点，对于第六特征向量中的每个第六特征点，所述第六特征点包括所述第二相似度得分对应的第三特征点的第三位置信息和第四特征点的第四位置信息；
第二归一化指数函数模块，用于将所述第六特征向量输入第二归一化指数函数层，通过相互最近邻准则方法判断每个所述第六特征点中的第二相似度得分是否大于第二预设值，将大于所述第二预设值对应的第五特征点确定为多个精匹配特征点。
本发明实施例的一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现上述光学图像与SAR图像匹配方法的部分或全部步骤。
其中，电子设备可以选用电脑、手机等，相对应地，其程序为电脑软件或手机APP等，且上述关于本发明的一种电子设备中的各参数和步骤，可参考上文中光学图像与SAR图像匹配方法的实施例中的各参数和步骤，在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.光学图像与SAR图像匹配方法，其特征在于，包括以下步骤：
S1，获取待匹配的第一匹配图像和第二匹配图像，所述第一匹配图像为光学图像，所述第二匹配图像为SAR图像；
S2，提取所述第一匹配图像的多个第一特征图像，将多个所述第一特征图像进行融合，得到所述第一匹配图像对应的第一密集特征图像，提取所述第二匹配图像的多个第二特征图像，将多个所述第二特征图像进行融合，得到所述第二匹配图像对应的第二密集特征图像；
S3，将所述第一密集特征图像输入位置编码器，通过所述位置编码器输出所述第一密集特征图像对应的第一特征向量，所述第一特征向量中包括多个第一特征点，每个所述第一特征点携带有第一位置信息，对于每个所述第一位置信息，所述第一位置信息表征了所述第一特征点在所述第一密集特征图像上的位置信息，将所述第二密集特征图像输入位置编码器，通过所述位置编码器输出第二特征向量，所述第二特征向量中包括多个第二特征点，每个所述第二特征点携带有第二位置信息，对于每个所述第二位置信息，所述第二位置信息表征了所述第二特征点在所述第二密集特征图像上的位置信息；
S4，对于每个所述第一特征点，确定所述第一特征点和各个所述第二特征点对应的第一相似度得分，将各个所述第一相似度得分中最大的相似度得分对应的第一特征点和第二特征点确定为所述第一特征点对应的粗匹配特征点；
S5，从所述第一匹配图像上提取第三特征图像，从所述第二匹配图像上提取第四特征图像；
S6，根据多个所述粗匹配特征点，确定所述第三特征图像对应的第三特征向量，所述第三特征向量中包括多个第三特征点，对于每个所述第三特征点，所述第三特征点携带有第三位置信息，所述第三位置信息表征了所述第三特征点在所述第三特征图像上的位置信息，根据多个所述粗匹配特征点，确定所述第四特征图像对应的第四特征向量，所述第四特征向量中包括多个第四特征点，对于每个所述第四特征点，所述第四特征点携带有第四位置信息，所述第四位置信息表征了所述第四特征点在所述第四特征图像上的位置信息；
S7，对于每个所述第三特征点，确定所述第三特征点和各个所述第四特征点对应的第二相似度得分，将各个所述第二相似度得分中最大的相似度得分对应的第三特征点和第四特征点确定为所述第三特征点对应的精匹配特征点；
S8，根据多个所述精匹配特征点，将所述第一匹配图像和所述第二匹配图像进行匹配；
所述步骤S2具体包括：
将所述第一匹配图像输入多级特征融合模型中，通过所述多级特征融合模型输出所述第一匹配图像对应的第一密集特征图像，将所述第二匹配图像输入多级特征融合模型中，通过所述多级特征融合模型输出所述第二匹配图像对应的第二密集特征图像；
所述多级特征融合模型包括依次连接的8个卷积层，所述S2包括：
S21，将所述第一匹配图像输入至第一层所述卷积层，确定所述第一层所述卷积层输出的所述第一匹配图像所对应的第一特征图像；
将所述第二个卷积层作为当前模块，通过执行以下步骤，直到所述当前模块为第八个卷积层，得到每个所述卷积层输出的第五特征图像；
所述以下步骤包括：
将所述第一特征图像输入至当前模块，确定所述当前模块输出的所述第一特征图像所对应的第五特征图像；
S22，将所述第一特征图像和多个第五特征图像进行融合，得到第一密集特征图像；
S23，将所述第二匹配图像输入至第一层所述卷积层，确定所述第一层所述卷积层输出的所述第一匹配图像所对应的第二特征图像；
将所述第二个卷积层作为当前模块，通过执行以下步骤，直到所述当前模块为第八个卷积层，得到每个所述卷积层输出的第六特征图像；
所述以下步骤包括：
将所述第二特征图像输入至当前模块，确定所述当前模块输出的所述第二特征图像所对应的第六特征图像；
S24，将所述第二特征图像和多个第六特征图像进行融合，得到第二密集特征图像。
2.根据权利要求1所述的方法，其特征在于，所述S22具体包括：
对于所述S21中每层所述卷积层，将第一层所述卷积层输出的第一特征图像和第二层所述卷积层输出的第五特征图像进行连接，得到第七特征图像，将第三层所述卷积层输出的第五特征图像和第四层所述卷积层输出的第五特征图像进行连接，得到第八特征图像，将第五层所述卷积层输出的第五特征图像和第六层所述卷积层输出的第五特征图像进行连接，得到第九特征图像，将第七层所述卷积层输出的第五特征图像和第八层所述卷积层输出的第五特征图像进行连接，得到第十特征图像，将第一层所述卷积层输出的第三特征图像和第二层至第四层所述卷积层输出的第五特征图像进行串联，得到第十一特征图像，将第五层至第八层所述卷积层输出的第五特征图像进行串联，得到第十二特征图像，将所述第七特征图像、所述第八特征图像、所述第九特征图像、所述第十特征图像、所述第十一特征图像和所述第十二特征图像进行融合，得到第一密集特征图像；
所述S24具体包括：
对于所述S23中每层所述卷积层，将第一层所述卷积层输出的第二特征图像和第二层所述卷积层输出的第六特征图像进行连接，得到第十三特征图像，将第三层所述卷积层输出的第六特征图像和第四层所述卷积层输出的第六特征图像进行连接，得到第十四特征图像，将第五层所述卷积层输出的第六特征图像和第六层所述卷积层输出的第六特征图像进行连接，得到第十五特征图像，将第七层所述卷积层输出的第六特征图像和第八层所述卷积层输出的第六特征图像进行连接，得到第十六特征图像，将第一层所述卷积层输出的第四特征图像和第二层至第四层所述卷积层输出的第六特征图像进行串联，得到第十七特征图像，将第五层至第八层所述卷积层输出的第六特征图像进行串联，得到第十八特征图像，将所述第十三特征、所述第十四特征图像、所述第十五特征图像、所述第十六特征图像、所述第十七特征图像和所述第十八特征图像进行融合，得到第二密集特征图像。
3.根据权利要求2所述的方法，其特征在于，所述S4具体包括：
将所述第一特征向量和所述第二特征向量输入粗匹配模块，通过所述粗匹配模块输出多个粗匹配特征点；
所述粗匹配模块包括第一自注意力层、第一交叉注意层和第一归一化指数函数层，所述S4包括：
S41，将所述第一特征向量和所述第二特征向量输入第一自注意力层，对于所述第一特征向量中的每个所述第一特征点，通过所述第一自注意力层输出所述第一特征点与每个所述第二特征点的第一相似度得分，所述第一相似度得分表征了所述第一位置信息与所述第二位置信息的相似度；
S42，将每个所述第一相似度得分输入第一交叉注意力层，输出第五特征向量，所述第五特征向量包含多个第五特征点，对于每个所述第五特征向量中的每个第五特征点，所述第五特征点包括所述第一相似度得分对应的第一特征点和第二特征点；
S43，将所述第五特征向量输入第一归一化指数函数层，通过相互最近邻准则方法判断每个所述第五特征点中的第一相似度得分是否大于第一预设值，将大于所述第一预设值对应的第五特征点确定为多个粗匹配特征点。
4.根据权利要求1所述的方法，其特征在于，根据所述第三特征向量和所述第四特征向量，确定多个精匹配特征点，所述S7具体包括：
将所述第三特征向量和所述第四特征向量输入精匹配模块中，通过所述精匹配模块输出多个精匹配特征点；
所述精匹配模块包括包括第二自注意力层、第二交叉注意层和第二归一化指数函数层，所述S7包括：
S71，将所述第三特征向量和所述第四特征向量输入第二自注意力层，对于所述第三特征向量中的每个所述第三特征点，所述第一自注意力层输出所述第三特征点与每个所述第四特征点的第二相似度得分，所述第二相似度得分表征了所述第三位置信息与所述第四位置信息的相似度；
S72，将每个所述第二相似度得分输入第一交叉注意力层，输出第六特征向量，所述第六特征向量包含多个第六特征点，对于第六特征向量中的每个第六特征点，所述第六特征点包括所述第二相似度得分对应的第三特征点和第四特征点；
S73，将所述第六特征向量输入第二归一化指数函数层，通过相互最近邻准则方法判断每个所述第六特征点中的第二相似度得分是否大于第二预设值，将大于所述第二预设值对应的第五特征点确定为多个精匹配特征点。
5.光学图像与SAR图像匹配装置，其特征在于，包括匹配图像获取模块、密集特征图像获取模块、第一向量获取模块、粗匹配特征点获取模块、特征图像获取模块、第二向量获取模块、精匹配特征点获取模块和匹配模块；
所述匹配图像获取模块，用于获取待匹配的第一匹配图像和第二匹配图像，所述第一匹配图像为光学图像，所述第二匹配图像为SAR图像；
所述密集特征图像获取模块，用于提取所述第一匹配图像的多个第一特征图像，将多个所述第一特征图像进行融合，得到所述第一匹配图像对应的第一密集特征图像，提取所述第二匹配图像的多个第二特征图像，将多个所述第二特征图像进行融合，得到所述第二匹配图像对应的第二密集特征图像；
所述第一向量获取模块，用于将所述第一密集特征图像输入位置编码器，通过所述位置编码器输出所述第一密集特征图像对应的第一特征向量，所述第一特征向量中包括多个第一特征点，每个所述第一特征点携带有第一位置信息，对于每个所述第一位置信息，所述第一位置信息表征了所述第一特征点在所述第一密集特征图像上的位置信息，将所述第二密集特征图像输入位置编码器，通过所述位置编码器输出第二特征向量，所述第二特征向量中包括多个第二特征点，每个所述第二特征点携带有第二位置信息，对于每个所述第二位置信息，所述第二位置信息表征了所述第二特征点在所述第二密集特征图像上的位置信息；
所述粗匹配特征点获取模块，用于对于每个所述第一特征点，确定所述第一特征点和各个所述第二特征点对应的第一相似度得分，将各个所述第一相似度得分中最大的相似度得分对应的第一特征点和第二特征点确定为所述第一特征点对应的粗匹配特征点；
所述特征图像获取模块，用于从所述第一匹配图像上提取第三特征图像，从所述第二匹配图像上提取第四特征图像；
所述第二向量获取模块，用于根据多个所述粗匹配特征点，确定所述第三特征图像对应的第三特征向量，所述第三特征向量中包括多个第三特征点，对于每个所述第三特征点，所述第三特征点携带有第三位置信息，所述第三位置信息表征了所述第三特征点在所述第三特征图像上的位置信息，根据多个所述粗匹配特征点，确定所述第四特征图像对应的第四特征向量，所述第四特征向量中包括多个第四特征点，对于每个所述第四特征点，所述第四特征点携带有第四位置信息，所述第四位置信息表征了所述第四特征点在所述第四特征图像上的位置信息；
所述精匹配特征点获取模块，用于对于每个所述第三特征点，确定所述第三特征点和各个所述第四特征点对应的第二相似度得分，将各个所述第二相似度得分中最大的相似度得分对应的第三特征点和第四特征点确定为所述第三特征点对应的粗匹配特征点；
所述匹配模块，用于根据多个所述精匹配特征点，将所述第一匹配图像和所述第二匹配图像进行匹配；
上述密集特征图像获取模块203所实现的功能可通过多级特征融合模型实现，该装置还包括第一融合模块，第一融合模块，用于通过以下方法获取第一密集特征图像和第二密集特征图像:
S21，将第一匹配图像输入至第一层卷积层，确定第一层卷积层输出的第一匹配图像所对应的第一特征图像；
将第二个卷积层作为当前模块，通过执行以下步骤，直到当前模块为第八个卷积层，得到每个卷积层输出的第五特征图像；
以下步骤包括：
将第一特征图像输入至当前模块，确定当前模块输出的第一特征图像所对应的第五特征图像；
S22，将第一特征图像和多个第五特征图像进行融合，得到第一密集特征图像；
S23，将第二匹配图像输入至第一层卷积层，确定第一层卷积层输出的第一匹配图像所对应的第二特征图像；
将第二个卷积层作为当前模块，通过执行以下步骤，直到当前模块为第八个卷积层，得到每个卷积层输出的第六特征图像；
以下步骤包括：
将第二特征图像输入至当前模块，确定当前模块输出的第二特征图像所对应的第六特征图像；
S24，将第二特征图像和多个第六特征图像进行融合，得到第二密集特征图像。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的光学图像与SAR图像匹配方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1至4任一项所述的光学图像与SAR图像匹配方法的步骤。
CN202210557413.4A 2022-05-19 2022-05-19 光学图像与sar图像匹配方法、装置、电子设备及介质 Active CN115019071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210557413.4A CN115019071B (zh) 2022-05-19 2022-05-19 光学图像与sar图像匹配方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210557413.4A CN115019071B (zh) 2022-05-19 2022-05-19 光学图像与sar图像匹配方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN115019071A CN115019071A (zh) 2022-09-06
CN115019071B true CN115019071B (zh) 2023-09-19

Family

ID=83068955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210557413.4A Active CN115019071B (zh) 2022-05-19 2022-05-19 光学图像与sar图像匹配方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115019071B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019042244A1 (zh) * 2017-08-30 2019-03-07 腾讯科技（深圳）有限公司 图像描述生成方法、模型训练方法、设备和存储介质
CN110097093A (zh) * 2019-04-15 2019-08-06 河海大学 一种异源图像精确匹配方法
CN112861672A (zh) * 2021-01-27 2021-05-28 电子科技大学 一种基于光学-sar异源遥感图像匹配方法
CN113838107A (zh) * 2021-09-23 2021-12-24 哈尔滨工程大学 一种基于稠密连接的异源图像自动配准方法
CN114140700A (zh) * 2021-12-01 2022-03-04 西安电子科技大学 基于级联网络的分步异源图像模板匹配方法
CN114358150A (zh) * 2021-12-21 2022-04-15 中国电子科技集团公司第五十四研究所 一种sar-可见光遥感图像匹配方法
WO2022083784A1 (zh) * 2020-10-23 2022-04-28 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法
CN114419408A (zh) * 2021-12-30 2022-04-29 深圳云天励飞技术股份有限公司 目标重识别方法、终端设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977765B2 (en) * 2019-04-10 2021-04-13 Eagle Technology, Llc Hierarchical neural network image registration

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019042244A1 (zh) * 2017-08-30 2019-03-07 腾讯科技（深圳）有限公司 图像描述生成方法、模型训练方法、设备和存储介质
CN110097093A (zh) * 2019-04-15 2019-08-06 河海大学 一种异源图像精确匹配方法
WO2022083784A1 (zh) * 2020-10-23 2022-04-28 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法
CN112861672A (zh) * 2021-01-27 2021-05-28 电子科技大学 一种基于光学-sar异源遥感图像匹配方法
CN113838107A (zh) * 2021-09-23 2021-12-24 哈尔滨工程大学 一种基于稠密连接的异源图像自动配准方法
CN114140700A (zh) * 2021-12-01 2022-03-04 西安电子科技大学 基于级联网络的分步异源图像模板匹配方法
CN114358150A (zh) * 2021-12-21 2022-04-15 中国电子科技集团公司第五十四研究所 一种sar-可见光遥感图像匹配方法
CN114419408A (zh) * 2021-12-30 2022-04-29 深圳云天励飞技术股份有限公司 目标重识别方法、终端设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OS-Flow: A Robust Algorithm for Dense Optical and SAR Image Registration;Yuming Xiang et al.;《IEEE Transactions on Geoscience and Remote Sensing》;第57卷(第9期);第6335-6354页 *
Robust Optical-to-SAR Image Matching Based on Shape Properties;Yuanxin Ye et al.;《IEEE Geoscience and Remote Sensing Letters》;第14卷(第4期);第564-568页 *
基于多尺度支持度匹配SAR图像与光学图像;涂国勇 等;《计算机工程与应用》;第52卷(第11期);第181-184、189页 *

Also Published As

Publication number Publication date
CN115019071A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN109359725B (zh) 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质
EP2124159B1 (en) Image learning, automatic annotation, retrieval method, and device
CN109871821B (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
US11132392B2 (en) Image retrieval method, image retrieval apparatus, image retrieval device and medium
CN110222718B (zh) 图像处理的方法及装置
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN112749726B (zh) 目标检测模型的训练方法、装置、计算机设备和存储介质
Chen et al. Dr-tanet: Dynamic receptive temporal attention network for street scene change detection
EP4246458A1 (en) System for three-dimensional geometric guided student-teacher feature matching (3dg-stfm)
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN115482375A (zh) 一种基于时空通联数据驱动的跨镜目标跟踪方法
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN111428612A (zh) 行人重识别方法、终端、装置及存储介质
CN115019071B (zh) 光学图像与sar图像匹配方法、装置、电子设备及介质
CN116664465A (zh) 一种多模态图像融合方法、装置及计算机设备
CN110750673A (zh) 图像处理方法、装置、设备及存储介质
CN116091844A (zh) 一种基于边缘计算的图像数据处理方法及系统
WO2022252519A1 (zh) 图像处理方法、装置、终端、介质和程序
Huang et al. Improving keypoint matching using a landmark-based image representation
US20220139073A1 (en) Automatic topology mapping processing method and system based on omnidirectional image information
CN115063831A (zh) 一种高性能行人检索与重识别方法及装置
CN112614199A (zh) 语义分割图像转换方法、装置、计算机设备和存储介质
CN111931767A (zh) 一种基于图片信息度的多模型目标检测方法、装置、系统及存储介质
CN116612287B (zh) 图像识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant