CN115630236B - 无源遥感影像的全球快速检索定位方法、存储介质及设备 - Google Patents

无源遥感影像的全球快速检索定位方法、存储介质及设备 Download PDF

Info

Publication number
CN115630236B
CN115630236B CN202211277845.6A CN202211277845A CN115630236B CN 115630236 B CN115630236 B CN 115630236B CN 202211277845 A CN202211277845 A CN 202211277845A CN 115630236 B CN115630236 B CN 115630236B
Authority
CN
China
Prior art keywords
global
feature
image
feature vector
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211277845.6A
Other languages
English (en)
Other versions
CN115630236A (zh
Inventor
李传广
闫丽阳
宋科
张森
芦秋迪
宋瑞丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception World Beijing Information Technology Co ltd
Original Assignee
Perception World Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception World Beijing Information Technology Co ltd filed Critical Perception World Beijing Information Technology Co ltd
Priority to CN202211277845.6A priority Critical patent/CN115630236B/zh
Publication of CN115630236A publication Critical patent/CN115630236A/zh
Application granted granted Critical
Publication of CN115630236B publication Critical patent/CN115630236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种无源遥感影像的全球快速检索定位方法、设备及存储介质，其中定位方法包括：建立全球基准影像瓦片数据库，提取瓦片的局部特征点以及特征描述子，对局部特征点特征进行特征聚合，产生瓦片的全局特征向量，为第一全局特征向量，建立全球基准影像瓦片数据特征库，待匹配的无源遥感影像，采用相同的方法生成待匹配第二全局特征向量，将第二全局特征向量与第一全局特征向量进行特征对比以及相似性检查，计算出相似度最高的影像作为匹配影像，以该匹配影像的地理坐标即为待匹配的无源影像的地理坐标。该方法解决了无地理坐标或精确位置的遥感影像的大致定位问题。

Description

无源遥感影像的全球快速检索定位方法、存储介质及设备
技术领域
本发明涉及遥感影像应用领域，特别地，涉及遥感影像地理定位的技术领域。
背景技术
随着互联网技术的发展，图片分享网站以及社交媒体网站上存在大量的不同来源、不同分辨率以及不同尺寸的遥感影像照片，这些照片大部分都没有地理坐标或精确的位置信息，极大地限制了开源情报信息的获取及关联分析等。因此如何快速准确的确定这些无源遥感影像的地理位置信息等内容，对情报信息的抓取与筛选具有重要作用。同时除网络上可获取的无源遥感影像以外，对于通常我们获取的遥感影像产品，在进行使用前，为使其定位准确，通常需要进行几何精纠正，在地形起伏较大的地区，还需要进行正射纠正，特殊情况下还需要进行大气纠正，这一定位过程较为专业繁琐，限制了大部分非专业人士对遥感影像的使用。
发明内容
为解决以上两个问题，本申请设计发明了一种无源遥感影像的全球快速检索定位方法，通过建立全球基准影像特征库，基于基准影像特征库进行快速检索与定位来实现无源遥感影像的大致定位。
该方法包括：
S1，选择要建立的全球基准影像瓦片数据的数据源以及时间，建立全球基准影像瓦片数据库，
S2，采用卷积神经网络的方式提取瓦片的局部特征点以及特征描述子，采用特征聚合的方法对局部特征点特征进行特征聚合，产生瓦片的全局特征向量，为第一全局特征向量，建立全球基准影像瓦片数据特征库，
S3，待匹配的无源遥感影像，采用与全球基准影像瓦片数据特征库相同的方法生成待匹配第二全局特征向量，
S4，将第二全局特征向量与基于全球基准影像瓦片数据特征库的第一全局特征向量进行特征对比以及相似性检查，计算出相似度最高的影像作为匹配影像，以该匹配影像的地理坐标即为待匹配的无源影像的地理坐标。
在可选的实施例中，全局特征向量的生成方法包括：
基于FEAN特征提取以及聚合网络进行全球基准影像瓦片数据特征库的建立；
FEAN为自监督的网络框架，由卷积编码、特征点生成、描述子生成以及特征聚合四部分构成：
其中卷积编码部分由四个卷积块构成，前三个卷积块由卷积层、最大池化层组成，每经过一个池化层，图像尺寸变为原来的一半，第四个卷积块只包含一个卷积层，最终图像经卷积编码后，尺寸变为原来的八分之一，输入到特征点生成网络以及描述子生成网络中；
特征点生成网络中，先经过一层卷积层，改变通道大小后，经过Softmax交叉熵激活函数，得到每个像素是特征点的概率值后，经过Reshape图像回归操作，将图像映射回原尺寸，输出原尺寸上的特征点；
描述子生成网络中，同样先经过一层卷积层操作，改变通道大小，此通道数即为后续输出的描述子维度，选择128作为描述子的维度，卷积操作后，采用双线性插值将图像扩大为原尺寸，最后对每一个像素的描述子进行L2归一化操作，综合特征点生成网络阶段输出的特征点，输出特征点对应的归一化的描述子；
特征聚合即对特征点的描述子进行聚合，输出影像的全局特征向量；
FEAN输出的特征描述子为128维，经特征聚合后，生成8192维的全局特征向量，采用主成分分析方法对8192维的全局特征向量进行降维降为256维，由此建立256维的全球基准影像瓦片数据特征库。
在可选的实施例中，Softmax交叉熵激活函数公式如下：
Si为第i个像素经过Softmax函数后输出的在该像素上是特征点的概率值，n为输入到特征点生成网络的图像，其图像像素个数；xi为在第i个像素上各通道上像素值的和。
在可选的实施例中，所述方法还包括，基于全球基准影像瓦片数据特征库，建立高效的特征索引结构为后续大规模影像检索提供基础。
在可选的实施例中，所述对比以及相似性检查为：采用动态阈值哈希索引的方法进行检索，包括：
对全球基准影像瓦片数据特征库的第一全局特征向量进行二进制编码，得到全球基准影像瓦片全局特征的二进制哈希编码库，
对待匹配的无源遥感影像的第二全局特征向量进行二进制编码，得到二进制编码A，
基于二进制编码进行特征对比以及相似性检查。
在可选的实施例中，二进制编码方法包括：
(1)选择全球基准瓦片数据特征库中的任一全局特征向量进行二进制编码，假设其中任一瓦片全局特征向量为F，长度为D，计算该全局特征向量在各个维度上的中位数Ti，其中Ti为原始全局特征向量在第i维上的中位数；
以中位数Ti为临界点，当原始全局特征向量在i维上的值Fi大于等于Ti，其二进制编码C中该i维度上的值Ci为1，否则为0，具体公式如下；
(2)其中Fi为原始全局特征向量在第i维上的值，Ti为原始全局特征向量在第i维上的中位数，Ci为原始全局特征向量经动态阈值哈希后得到的二进制编码在第i维上的值；
(3)重复上述第(1)和第(2)步骤，直至对所有的全球基准影像瓦片数据全局特征向量进行二进制编码，得到全球基准影像瓦片全局特征的二进制哈希编码库。
在可选的实施例中，基于二进制编码进行特征对比以及相似性检查为：将待匹配的无源遥感影像的二进制编码A与全球基准影像瓦片数据库中的二进制编码采用汉明距离进行距离计算，以计算各个特征向量之间的距离作为各个影像之间的相似性指标，选择计算距离最小的影像作为匹配影像，以该匹配影像的地理坐标即为待匹配的无源影像的地理坐标。
在可选的实施例中，汉明距离计算公式为：
其中d表示两个二进制编码A与C之间的距离，n表示二进制编码的长度，Ci表示二进制编码C在i位上的值，Ai表示二进制编码A在i位上的值。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算机设备执行时，所述计算机设备执行上述任一项所述的无源遥感影像的全球快速检索定位方法。
本发明另一方面还提供了一种计算机设备，包括：存储器和处理器；
所述存储器用于存储计算机指令；
所述处理器执行所述存储器存储的计算机指令，以使所述计算机设备执行上述任一项所述的无源遥感影像的全球快速检索定位方法。
本发明的发明点和技术效果：
1、基于全球基准影像数据，通过采用特征提取的方式建立全球基准影像数据特征库，后利用图像检索技术对待匹配影像进行特征检索及定位，解决了无地理坐标或精确位置的遥感影像的大致定位问题。
2、本发明建立高效的特征索引结构为后续大规模影像检索提供基础。
3、本发明采用动态阈值哈希索引的方法进行检索，简单快速。
4、全球基准瓦片数据特征库全局特征向量进行二进制编码，二进制编码采用汉明距离进行距离计算，以计算各个特征向量之间的距离作为各个影像之间的相似性指标，方法简单，提高图像检索速度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中的无源遥感影像全球快速检索定位流程图，
图2是本发明实施例中的FEAN网络结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是本发明实施例中的无源遥感影像全球快速检索定位流程图，
图2是本发明实施例中的FEAN网络结构图。
根据需要，选择要建立的全球基准影像瓦片数据的数据源以及时间，如以2020年谷歌地图的全球影像数据为主，建立全球基准影像瓦片数据库。基准影像数据为地面正射投影数据，每个像素都包含绝对平面坐标信息，辅助数字高程模型数据，可获得任意位置的三维地理坐标，因此可将基准影像数据作为先验参考去匹配定位无源遥感影像数据。
因此参考附图1，本发明提供了一种无源遥感影像的全球快速检索定位方法，包括，
S1，选择要建立的全球基准影像瓦片数据的数据源以及时间，建立全球基准影像瓦片数据库，
S2，采用卷积神经网络的方式提取瓦片的局部特征点以及特征描述子，采用特征聚合的方法对局部特征点特征进行特征聚合，产生瓦片的全局特征向量，为第一全局特征向量，建立全球基准影像瓦片数据特征库，
S3，待匹配的无源遥感影像，采用与全球基准影像瓦片数据特征库相同的方法生成待匹配第二全局特征向量，
S4，将第二全局特征向量与基于全球基准影像瓦片数据特征库的第一全局特征向量进行特征对比以及相似性检查，计算出相似度最高的影像作为匹配影像，以该匹配影像的地理坐标即为待匹配的无源影像的地理坐标。
基于全球基准影像瓦片数据库，建立全球基准影像瓦片数据特征库，全球基准影像瓦片数据特征库由每张瓦片的全局特征向量组成，在瓦片全局特征向量的构建过程中，主要有基于传统方式以及卷积神经网络的方式，传统的方式有SIFT或SURF提取瓦片的特征点以及描述子，后进行特征聚合构建瓦片的全局特征向量，基于卷积神经网络的方式可以提取瓦片的全局特征图，输出特定维度的全局特征向量。在本发明中，采用卷积神经网络的方式提取瓦片的局部特征点以及特征描述子，后采用特征聚合的方法对局部特征点特征进行特征聚合，产生瓦片的全局特征向量，其主要流程如下：
(1)基于FEAN(Feature Extraction and Aggregation Network)特征提取以及聚合网络进行全球基准影像瓦片数据特征库的建立。
FEAN是一种自监督的网络框架，主要由卷积编码、特征点生成、描述子生成以及特征聚合四部分构成，其主要的网络结构如图2所示，其中卷积编码部分由四个卷积块构成，前三个卷积块由卷积层、最大池化层组成，每经过一个池化层，图像尺寸变为原来的一半，第四个卷积块只包含一个卷积层，最终图像经卷积编码后，尺寸变为原来的八分之一，输入到特征点生成网络以及描述子生成网络中，特征点生成网络中，先经过一层卷积层，改变通道大小后，经过Softmax交叉熵激活函数，得到每个像素是特征点的概率值后，经过Reshape图像回归操作，将图像映射回原尺寸，输出原尺寸上的特征点；描述子生成网络中，同样先经过一层卷积层操作，改变通道大小，此通道数即为后续输出的描述子维度，本专利为了降低后续计算的复杂性，选择128作为描述子的维度，卷积操作后，采用双线性插值将图像扩大为原尺寸，最后对每一个像素的描述子进行L2归一化操作，综合特征点生成网络阶段输出的特征点，输出特征点对应的归一化的描述子；特征聚合即对特征点的描述子进行聚合，输出影像的全局特征向量。Softmax交叉熵激活函数公式如下：
Si为第i个像素经过Softmax函数后输出的在该像素上是特征点的概率值，n为输入到特征点生成网络的图像，其图像像素个数；xi为在第i个像素上各通道上像素值的和。
(2)FEAN输出的特征描述子为128维，经特征聚合后，生成8192维的全局特征向量，为降低后续检索过程中的计算量，加快检索时间，采用主成分分析方法对8192维的全局特征向量进行降维降为256维，由此建立256维的全球基准影像瓦片数据特征库。
一般方法中，图像检索主要基于图像的纹理、内容语义等组合的图像全局特征，对其进行特征对比以及相似性检查等，从而确定两张图像的相似程度等，本发明中基于全球基准影像瓦片数据特征库，建立高效的特征索引结构为后续大规模影像检索提供基础，常用的相似性检索有暴力检索、哈希检索等，本专利中，采用动态阈值哈希索引的方法进行检索，其具体过程如下：
(1)选择全球基准瓦片数据特征库中的任一全局特征向量进行二进制编码，假设其中任一瓦片全局特征向量为F，长度为D，计算该全局特征向量在各个维度上的中位数Ti，其中Ti为原始全局特征向量在第i维上的中位数；
(2)以中位数Ti为临界点，当原始全局特征向量在i维上的值Fi大于等于Ti，其二进制编码C中该i维度上的值Ci为1，否则为0，具体公式如下所示；
其中Fi为原始全局特征向量在第i维上的值，Ti为原始全局特征向量在第i维上的中位数，Ci为原始全局特征向量经动态阈值哈希后得到的二进制编码在第i维上的值。
(3)重复上述第一，第二步骤，直至对所有的全球基准影像瓦片数据全局特征向量进行二进制编码，得到全球基准影像瓦片全局特征的二进制哈希编码库。
通过以上二进制编码方法进行计算检索：
1、选择需要匹配的无源遥感影像，即待匹配影像，基于FEAN网络，输出该影像的全局特征向量W。
2、将全局特征向量W经过动态阈值哈希处理，得到该特征向量的二进制编码A。
3、将待匹配的无源遥感影像的二进制编码A与全球基准影像瓦片数据库中的二进制编码采用汉明距离进行距离计算，以计算各个特征向量之间的距离作为各个影像之间的相似性指标，选择计算距离最小的影像作为匹配影像，即该匹配影像的地理坐标即为待匹配的无源影像的地理坐标。其汉明距离计算公式如下：
其中d表示两个二进制编码A与C之间的距离，n表示二进制编码的长度，Ci表示二进制编码C在i位上的值，Ai表示二进制编码A在i位上的值。
最终，基于全球基准影像数据，通过采用特征提取的方式建立全球基准影像数据特征库，后利用图像检索技术对待匹配影像进行特征检索及定位，解决了无地理坐标或精确位置的遥感影像的大致定位问题，为遥感影像的后续利用提供了基础。
在另一方面，本申请实施例提供的无源遥感影像的全球快速检索定位方法可以部署于计算机设备。
计算机设备可以包括：输入单元、处理器单元、通信单元、存储单元、输出单元及电源等电子设备。
输入单元，用于输入或载入图像数据，
处理器单元，用于进行图像数据的处理和计算，
通信单元，用于实现数据的接收和发送，
存储单元，用于存储计算机指令，和数据库，
输出单元，用于输出处理结果。
本申请实施例提供的计算机设备可以用于执行前述实施例中的无源遥感影像的全球快速检索定位方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。
可以理解，除了上述内容，还包括一些常规结构和常规方法，由于这些内容都是公知的，不再赘述。但这并不意味着本发明不存在这些结构和方法。
本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (9)

1.一种无源遥感影像的全球快速检索定位方法，其特征在于，包括：
S1，选择要建立的全球基准影像瓦片数据的数据源以及时间，建立全球基准影像瓦片数据库，
S2，采用卷积神经网络的方式提取瓦片的局部特征点以及特征描述子，采用特征聚合的方法对局部特征点特征进行特征聚合，产生瓦片的全局特征向量，为第一全局特征向量，建立全球基准影像瓦片数据特征库，全局特征向量的生成方法包括：
基于FEAN特征提取以及聚合网络进行全球基准影像瓦片数据特征库的建立；
FEAN为自监督的网络框架，由卷积编码、特征点生成、描述子生成以及特征聚合四部分构成：
其中卷积编码部分由四个卷积块构成，前三个卷积块由卷积层、最大池化层组成，每经过一个池化层，图像尺寸变为原来的一半，第四个卷积块只包含一个卷积层，最终图像经卷积编码后，尺寸变为原来的八分之一，输入到特征点生成网络以及描述子生成网络中；
特征点生成网络中，先经过一层卷积层，改变通道大小后，经过Softmax交叉熵激活函数，得到每个像素是特征点的概率值后，经过Reshape图像回归操作，将图像映射回原尺寸，输出原尺寸上的特征点；
描述子生成网络中，同样先经过一层卷积层操作，改变通道大小，此通道数即为后续输出的描述子维度，选择128作为描述子的维度，卷积操作后，采用双线性插值将图像扩大为原尺寸，最后对每一个像素的描述子进行L2归一化操作，综合特征点生成网络阶段输出的特征点，输出特征点对应的归一化的描述子；
特征聚合即对特征点的描述子进行聚合，输出影像的全局特征向量；
FEAN输出的特征描述子为128维，经特征聚合后，生成8192维的全局特征向量，采用主成分分析方法对8192维的全局特征向量进行降维降为256维，由此建立256维的全球基准影像瓦片数据特征库，
S3，待匹配的无源遥感影像，采用与全球基准影像瓦片数据特征库相同的方法生成待匹配第二全局特征向量，
S4，将第二全局特征向量与基于全球基准影像瓦片数据特征库的第一全局特征向量进行特征对比以及相似性检查，计算出相似度最高的影像作为匹配影像，以该匹配影像的地理坐标即为待匹配的无源影像的地理坐标。
2.如权利要求1所述的检索定位方法，其特征在于，Softmax交叉熵激活函数公式如下：
Si为第i个像素经过Softmax函数后输出的在该像素上是特征点的概率值，n为输入到特征点生成网络的图像，其图像像素个数；xi为在第i个像素上各通道上像素值的和。
3.如权利要求1所述的检索定位方法，其特征在于，所述方法还包括，基于全球基准影像瓦片数据特征库，建立高效的特征索引结构为后续大规模影像检索提供基础。
4.如权利要求3所述的检索定位方法，其特征在于，所述高效的特征索引结构为：动态阈值哈希索引的方法进行检索，包括：
对全球基准影像瓦片数据特征库的第一全局特征向量进行二进制编码，得到全球基准影像瓦片全局特征的二进制哈希编码库，
对待匹配的无源遥感影像的第二全局特征向量进行二进制编码，得到二进制编码A，
基于二进制编码进行特征对比以及相似性检查。
5.如权利要求4所述的检索定位方法，其特征在于，二进制编码方法包括：
(1)选择全球基准瓦片数据特征库中的任一全局特征向量进行二进制编码，假设其中任一瓦片全局特征向量为F，长度为D，计算该全局特征向量在各个维度上的中位数Ti，其中Ti为原始全局特征向量在第i维上的中位数；
以中位数Ti为临界点，当原始全局特征向量在i维上的值Fi大于等于Ti，其二进制编码C中第i维度上的值Ci为1，否则为0，具体公式如下；
(2)其中Fi为原始全局特征向量在第i维上的值，Ti为原始全局特征向量在第i维上的中位数，Ci为原始全局特征向量经动态阈值哈希后得到的二进制编码在第i维上的值；
(3)重复上述第(1)和第(2)步骤，直至对所有的全球基准影像瓦片数据全局特征向量进行二进制编码，得到全球基准影像瓦片全局特征的二进制哈希编码库。
6.如权利要求5所述的检索定位方法，其特征在于，
基于二进制编码进行特征对比以及相似性检查为：将待匹配的无源遥感影像的二进制编码A与全球基准影像瓦片数据库中的二进制编码采用汉明距离进行距离计算，以计算各个特征向量之间的距离作为各个影像之间的相似性指标，选择计算距离最小的影像作为匹配影像，以该匹配影像的地理坐标即为待匹配的无源影像的地理坐标。
7.如权利要求6所述的检索定位方法，其特征在于，汉明距离计算公式为：
其中d表示两个二进制编码A与C之间的距离，n表示二进制编码的长度，Ci表示二进制编码C在i位上的值，Ai表示二进制编码A在i位上的值。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算机设备执行时，所述计算机设备执行上述权利要求1-7中任一项所述的无源遥感影像的全球快速检索定位方法。
9.一种计算机设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储计算机指令；
所述处理器执行所述存储器存储的计算机指令，以使所述计算机设备执行如权利要求1-7任一项所述的无源遥感影像的全球快速检索定位方法。
CN202211277845.6A 2022-10-19 2022-10-19 无源遥感影像的全球快速检索定位方法、存储介质及设备 Active CN115630236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211277845.6A CN115630236B (zh) 2022-10-19 2022-10-19 无源遥感影像的全球快速检索定位方法、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211277845.6A CN115630236B (zh) 2022-10-19 2022-10-19 无源遥感影像的全球快速检索定位方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN115630236A CN115630236A (zh) 2023-01-20
CN115630236B true CN115630236B (zh) 2023-08-18

Family

ID=84906901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211277845.6A Active CN115630236B (zh) 2022-10-19 2022-10-19 无源遥感影像的全球快速检索定位方法、存储介质及设备

Country Status (1)

Country Link
CN (1) CN115630236B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468622B (zh) * 2023-03-14 2024-03-15 中国科学院空天信息创新研究院 遥感影像显示方法及装置
CN116596381A (zh) * 2023-05-18 2023-08-15 中国自然资源航空物探遥感中心 一种基于遥感影像的地下开采矿山环境评价系统
CN117274391B (zh) * 2023-11-23 2024-02-06 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656286A (zh) * 2017-09-26 2018-02-02 武汉大学 大倾斜远端观测环境下目标定位方法及系统
CN110363047A (zh) * 2018-03-26 2019-10-22 普天信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN110966991A (zh) * 2019-11-21 2020-04-07 中国人民解放军国防科技大学 一种无控制点下的单幅无人机影像定位方法
CN111504320A (zh) * 2020-04-09 2020-08-07 武汉大学 基于严格几何成像模型的带摆镜光学遥感卫星定位方法
CN112232151A (zh) * 2020-09-30 2021-01-15 河海大学 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
WO2022119057A1 (ko) * 2020-12-02 2022-06-09 서울대학교산학협력단 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법
CN114860974A (zh) * 2021-02-03 2022-08-05 中国人民解放军战略支援部队信息工程大学 一种遥感影像检索定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656286A (zh) * 2017-09-26 2018-02-02 武汉大学 大倾斜远端观测环境下目标定位方法及系统
CN110363047A (zh) * 2018-03-26 2019-10-22 普天信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN110966991A (zh) * 2019-11-21 2020-04-07 中国人民解放军国防科技大学 一种无控制点下的单幅无人机影像定位方法
CN111504320A (zh) * 2020-04-09 2020-08-07 武汉大学 基于严格几何成像模型的带摆镜光学遥感卫星定位方法
CN112232151A (zh) * 2020-09-30 2021-01-15 河海大学 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
WO2022119057A1 (ko) * 2020-12-02 2022-06-09 서울대학교산학협력단 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법
CN114860974A (zh) * 2021-02-03 2022-08-05 中国人民解放军战略支援部队信息工程大学 一种遥感影像检索定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秦剑琪 等.一种面向无人机绝对定位的卫星基准影像检索方法.《武汉大学学报(信息科学版)》.2021,第48卷(第3期),第368-376页. *

Also Published As

Publication number Publication date
CN115630236A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN115630236B (zh) 无源遥感影像的全球快速检索定位方法、存储介质及设备
TWI528196B (zh) Similar image recognition method and apparatus
US20120011119A1 (en) Object recognition system with database pruning and querying
US20120011142A1 (en) Feedback to improve object recognition
US11714921B2 (en) Image processing method with ash code on local feature vectors, image processing device and storage medium
JP5563494B2 (ja) 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム
US10839006B2 (en) Mobile visual search using deep variant coding
CN111666442B (zh) 一种图像检索方法、装置及计算机设备
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
CN112990228B (zh) 图像特征匹配方法和相关装置、设备及存储介质
US20200175259A1 (en) Face recognition method and apparatus capable of face search using vector
TW202217662A (zh) 視覺定位方法及相關模型的訓練方法、電子設備和電腦可讀儲存介質
CN110147460B (zh) 基于卷积神经网络与多视角图的三维模型检索方法及装置
CN110633733B (zh) 图像智能匹配方法、装置及计算机可读存储介质
CN113157962B (zh) 图像检索方法、电子装置和存储介质
CN111583417B (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN113486939A (zh) 一种处理图片的方法、装置、终端及存储介质
WO2021051562A1 (zh) 人脸特征点定位方法、装置、计算设备和存储介质
CN116129228A (zh) 图像匹配模型的训练方法、图像匹配方法及其装置
CN111222558A (zh) 图像处理方法及存储介质
Zhang et al. Hierarchical Image Retrieval Method Based on Bag-of-Visual-Word and Eight-point Algorithm with Feature Clouds for Visual Indoor Positioning
CN111639198A (zh) 媒体文件识别方法、装置、可读介质及电子设备
JP7435907B2 (ja) 画像マッチング装置、制御方法、及びプログラム
CN116563400B (zh) 一种小程序图像信息压缩处理方法
US10657415B2 (en) Image correspondence determining method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant