CN110458175B - 一种基于词汇树检索的无人机影像匹配对选择方法及系统 - Google Patents

一种基于词汇树检索的无人机影像匹配对选择方法及系统 Download PDF

Info

Publication number
CN110458175B
CN110458175B CN201910609524.3A CN201910609524A CN110458175B CN 110458175 B CN110458175 B CN 110458175B CN 201910609524 A CN201910609524 A CN 201910609524A CN 110458175 B CN110458175 B CN 110458175B
Authority
CN
China
Prior art keywords
image
feature
aerial vehicle
unmanned aerial
vocabulary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910609524.3A
Other languages
English (en)
Other versions
CN110458175A (zh
Inventor
姜三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910609524.3A priority Critical patent/CN110458175B/zh
Publication of CN110458175A publication Critical patent/CN110458175A/zh
Application granted granted Critical
Publication of CN110458175B publication Critical patent/CN110458175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于词汇树检索的无人机影像匹配对选择方法及系统，该方法及系统，首先，利用随机采样策略、SIFT算法，对采样得到的影像子集中每张影像进行SIFT特征点提取；其次，针对提取得到的SIFT特征点，构建初始特征集合，并在所述初始特征集合中，将所有SIFT特征点按尺度从大到小排序，在排序后的集合中，选择前h个特征点，构建一个关于h个特征点的特征子集；其次，对于得到的特征子集，采用分层K均值聚类算法，构建用于无人机影像检索的词汇树；其中，利用所述词汇树建立无人机影像索引；最后，利用建立的无人机影像索引，通过自适应相似影像数量选择算法进行无人机影像匹配对选择。

Description

一种基于词汇树检索的无人机影像匹配对选择方法及系统
技术领域
本发明涉及摄影测量与计算机视觉领域，提出一种基于自适应阈值词汇树检索的无人机影像匹配对选择方法及系统。
背景技术
影像匹配是摄影测量和计算机视觉领域的核心研究内容。对于无人机影像而言，由于无人机平台的飞行高度低、所使用的非量测相机像幅小，以及多角度相机的同时拍照，导致无人机影像具有数据量大、分辨率高等特点。穷举匹配模式将造成影像匹配的高昂计算代价。因此，在进行实际影像匹配前，选择重叠影像匹配对是实现影像匹配加速的关键技术。
目前，常用的影像匹配对选择方法可以分为两类。第一类，基于影像先验信息的匹配对选择。影像先验信息主要源于影像数据采集方式和影像粗略POS信。尽管影像先验信息可以为影像匹配对选择提供直接和可靠的线索，但是这类方案的应用范围局限于特殊的数据采集方式或者依赖其他辅助信息。第二类，基于影像视觉相似性的匹配对选择。影像视觉相似性用于定量描述影像的相似程度。基于词汇树的影像检索成为匹配对选择的标准算法，即利用词汇树对影像进行描述，将影像相似性计算问题转换为影像词汇向量的余弦角计算问题，使得特征匹配限定在具有最高相似性的若干张影像之间。虽然基于词汇树的影像检索不依赖其他辅助信息，但是相似影像数量难以确定。
对于大规模无人机影像匹配对选择，基于词汇树的影像检索能够提供稳健、可靠的匹配对，显著降低特征匹配的时间消耗。但是，基于词汇树的影像检索需要考虑精度和效率的平衡问题：如果使用预先建立的词汇树，不完备的词汇树将导致检索精度降低；如果为每个数据集建立对应词汇树，大数据量将会显著增加整体时间消耗。另外，现有词汇树检索方案一般选择固定数量或者固定比例的“相似”影像作为检索结果。这将会导致检索的“相似”影像过多或者数量不足够。因此，十分有必要设计自适应相似性阈值选择方法。
发明内容
本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种无人机影像匹配对选择方法及系统。
本发明解决其技术问题所采用的技术方案是：构造一种基于词汇树检索的无人机影像匹配对选择方法，包括以下步骤：
S1、利用随机采样策略，从输入的无人机影像数据集中采样得到一个给定数量比例p的影像子集；其中，对于采样得到的影像子集，利用尺度不变特征变换SIFT算法提取所述影像子集中每张影像的SIFT特征点；
S2、将每张影像的SIFT特征点进行统计，构建一个关于提取得到的所有SIFT特征点的初始特征集合，在所述初始特征集合中，根据每个特征点的尺度大小，将所有SIFT特征点进行从大到小的排序；其中，在排序后的集合中，选择前h个特征点，构建一个关于所述前h个特征点的特征子集；
S3、基于步骤S2得到的特征子集，采用分层K均值聚类算法，构建用于无人机影像检索的词汇树；
S4、通过步骤S3构建的词汇树，对影像子集中每张影像进行索引，针对每张影像，计算其与数据集中其他影像之间的相似性值，基于索引结果以及影像相似性值的空间分布特性，通过自适应阈值算法进行无人机影像匹配对选择。
进一步的，步骤S3中，采用分层K均值聚类算法构建词汇树的具体操作为：首先利用K-means++算法确定K个初始聚类中心；其次，针对每个特征点，基于所述K个初始聚类中心，搜索与其空间距离最近的聚类中心，并将特征点与最近聚类中心之间的距离作为最近距离测度，这样，基于每个特征点的最近距离测度将步骤S2构建的特征子集划分为K个子集，其中，将所述K个子集作为词汇树的第一层；最后，基于所述K个初始聚类中心，对划分得到的每个子集进行迭代的聚类操作，直到词汇树的层数或者叶子节点达到给定的阈值。
进一步的，所述词汇树包含了V个词汇，步骤S4中利用所述词汇树对影像子集中每张影像进行索引的具体操作为：对于所有特征子集中的每个特征点，从词汇树中搜索与每个特征点距离最近的词汇，记录每个词汇在影像中出现的频数即词频，将所述无人机影像数据集中的每张影像表示为由词频所组成的V维特征向量。
进一步的，将每张影像表示为词汇向量vd＝(t1,...,ti,...,tV)，其中，所述词汇向量vd中的每个组成元素ti，按照词频-逆文档频率算法进行加权得到，具体的计算公式为：
Figure BDA0002121892600000031
其中，nid表示词汇i在影像d中出现的频数；nd表示影像d包含的总词汇数；Ni是包含词汇i的影像数；N表示影像的总数。
进一步的，步骤S4中，进行影像匹配对的子步骤包括：
S41、对于一张影像i，利用该影像的词汇向量vd，计算影像i与数据集中其他影像之间的相似性值，根据得到的相似性值，对所述数据集中影像进行从大到小的排序；然后，将排序后的结果进行幂函数拟合，具体拟合公式如下：
y＝a*xb；
其中，参数a和b是幂函数系数；x和y分别是影像编号和相似性值；
S42、针对影像i，对步骤S41中计算得到的影像i与数据集中其他影像之间的相似性值，进行相似性值的均值μ和标准差σ的统计；其中，将统计得到的均值μ和标准差σ带入到预定义的截断函数中：
y＝μ+k*σ；
其中，k为调节系数；
S43、联立所述拟合公式和截断函数，得到一个影像编号值x，将所述影像编号值x作为临界值x*，将所述临界值x*作为影像i需选择的影像匹配对数量，即在对所述数据集中影像按相似性值进行从大到小的排序集合中，保留所述排序集合中前x*个相似影像作为当前查询影像的匹配对；
S44、返回到步骤S41-S43，完成对数据集中每张影像进行匹配对选择。
本发明公开的一种基于词汇树检索的无人机影像匹配对选择系统，包括以下模块：
特征提取模块，用于利用随机采样策略，从输入的无人机影像数据集中采样得到一个给定数量比例p的影像子集；其中，对于采样得到的影像子集，利用尺度不变特征变换SIFT算法提取所述影像子集中每张影像的SIFT特征点；
特征子集构建模块，用于针对所述影像子集中的每张影像，构建一个关于提取得到的所有SIFT特征点的初始特征集合，在所述初始特征集合中，根据每个特征点的尺度大小，将所有SIFT特征点进行从大到小的排序；其中，在排序后的集合中，选择前h个特征点，构建一个关于所述h个特征点的特征子集；
词汇树构建模块，用于对于特征子集构建模块得到的特征子集，采用分层K均值聚类算法，构建用于无人机影像检索的词汇树；
无人机影像匹配对选择模块，用于通过词汇树构建模块构建的词汇树，对影像子集中每张影像进行索引，针对每张影像，计算其与数据集中其他影像之间的相似性值；基于索引结果以及影像相似性值的空间分布特性，通过自适应阈值算法进行无人机影像匹配对选择。
进一步的，词汇树构建模块中还包括索引子模块，所述索引子模块用于对特征子集中的每个特征点，从词汇树中搜索与每个特征点距离最近的词汇，记录每个词汇在影像中出现的频数即词频，将所述无人机影像数据集中的每张影像表示为由词频所组成的V维特征向量。
进一步的，无人机影像匹配对选择模块中，还包括以下子模块：
幂函数拟合子模块，用于计算影像i与数据集中其他影像之间的相似性值，根据得到的相似性值，对所述数据集中影像进行从大到小的排序；然后，将排序后的结果进行幂函数拟合；
截断函数计算子模块，用于对幂函数拟合子模块中计算得到的影像i与数据集中其他影像之间的相似性值，进行相似性值的均值μ和标准差σ的统计；其中，将统计得到的均值μ和标准差σ带入到预定义的截断函数；
影像匹配对子模块，用于联立所述拟合公式和截断函数，得到一个影像编号值x，将所述影像编号值x作为临界值x*，将所述临界值x*作为影像i需选择的影像匹配对数量，即在对所述数据集中影像按相似性值进行从大到小的排序集合中，保留所述排序集合中前x*个相似影像作为当前查询影像的匹配对。
在本发明所述的一种基于词汇树检索的无人机影像匹配对选择方法及系统中，随机采样策略和尺度约束策略进行影像选择和特征选择，实现高效率的词汇树构建和影像索引。
实施本发明的一种基于词汇树检索的无人机影像匹配对选择方法及系统，具有以下有益效果：
1、分析词汇树检索相似性值的分布特性，提出基于相似性值的均值和标准差统计，实现相似性阈值的自适应选择和稳健的影像匹配对选择；
2、本发明设计的高效影像匹配对选择方法能够解决词汇树检索中相似影像数量难以确定的难题，提高无人机影像特征匹配阶段的时间消耗。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提出的无人机影像匹配对选择方法流程图；
图2是本发明基于分层K均值聚类算法构建的词汇树效果图；
图3是本发明基于无人机倾斜影像检索的相似性值降序排列分布图；
图4是本发明提出的无人机影像匹配对选择系统结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
对于大规模无人机影像匹配对选择，基于词汇树的影像检索能够提供稳健、可靠的匹配对，显著降低特征匹配的时间消耗。但是，基于词汇树的影像检索需要考虑精度和效率的平衡问题：如果使用预先建立的词汇树，不完备的词汇树将导致检索精度降低；如果为每个数据集建立对应词汇树，大数据量将会显著增加整体时间消耗。另外，现有词汇树检索方案一般选择固定数量或者固定比例的“相似”影像作为检索结果。这将会导致检索的“相似”影像过多或者数量不足够。因此，十分有必要设计自适应相似性阈值选择方法。
请参考图1，其为本发明提出的无人机影像匹配对选择方法流程图，本发明的实施方案包括四个步骤，具体为：
步骤S1：考虑无人机影像高重叠度和高分辨率特征的训练特征选择，即利用随机采样策略构造影像子集，本实施例中，输入的数据为任意数量的无人机影像数据集，其中，无人机影像的高冗余性主要表现在两个方面，即影像数量的冗余性和特征数量的冗余性。对于影像数量的冗余性，本发明采用随机采样策略(random sampling strategy)，从原始输入的数据集中选择一个给定数量比例p的影像子集。经过试验分析，本实施例中，数量比例p的取值为20％，即基于输入影像数量的百分之二十来构造的影像子集。
在构建完成影像子集后，利用尺度不变特征变换算法，提取影像子集中每张影像的SIFT特征点，其中，SIFT特征点主要由四个部分的组成，包括特征点在影像平面上的位置(x,y)、特征点在尺度空间对应的尺度因子s、特征点局部区域的主方向o，以及特征点局部区域梯度组成的128维描述子d。由于，特征提取是数字摄影测量和计算机视觉领域的基本问题，本实施例不多赘述。
步骤S2：利用尺度约束策略选择特征子集：为了消除无人机影像高分辨率造成的特征冗余性，本实施例采用尺度约束策略(scale restriction strategy)，针对步骤S1提取的每张影像的SIFT特征点，选择一个给定数量h的特征子集。其中，特征子集的选择步骤具体为：
1)将SIFT特征点-初始特征点按照尺度因子s从大到小的顺序排列；
2)从排序后的特征点中选择前面h个的特征点。
经过试验分析，本实施例中特征数量h的取值为1500。如果所述特征子集包含的特征点数量小于1500，则保留子集中的所有特征点。经过上述处理，将所有保留的特征点组成词汇树的训练特征。
步骤S3：训练特征描述子空间量化构建用于影像检索的词汇树，基于分层K均值聚类算法构建的词汇树效果图，请参见图2，本实施例中，利用特征描述子空间量化来构建词汇树，对于步骤S1中选择的训练特征，采用分层K均值聚类算法进行特征描述子聚类，其中，K值表示词汇树的分支数；对于任意两个特征描述子向量x1和x2，K均值聚类的距离函数定义为特征描述子向量的平方欧式距离，如公式(1)所示：
d(x1,x2)＝x1 T*x2  (1)
构建词汇树具体操作为：将步骤S2选择特征子集作为训练特征集合，首先利用K-means++算法确定K个初始聚类中心；然后，针对每个特征点，基于所述K个初始聚类中心，搜索与其空间距离最近的聚类中心，并将特征点与最近聚类中心之间的距离作为最近距离测度，这样，基于每个特征点的最近距离测度将步骤S2构建的特征子集划分为K个子集，所述K个子集构成词汇树的第一层(根节点为第零层)；依据上述步骤，基于所述K个初始聚类中心，对每个子集进行迭代的聚类操作，直到词汇树的层数或者叶子节点数达到给定的阈值。
当中，利用构建的词汇树，对于待索引的无人机影像的每个特征描述，从步骤2建立的词汇树中搜索距离最近的词汇，本实施例中，将搜索到的结果保存在倒排文档系统中。在基于词汇树的影像检索方案中，倒排文件系统记录了词汇在影像中出现的频数。对于一个包含V个词汇的词汇树，经过上述索引操作，每张影像可以表示为词汇频率(词频)所组成的V维特征向量。与本实施例的检索方案类似，一般采用“词频-逆文档频率”(TF-IDF)进行加权。假设索引影像表示为词汇向量vd＝(t1,...,ti,...,tV)。那么，词汇向量vd的组成元素ti就按照下述公式(2)计算：
Figure BDA0002121892600000081
其中，nid表示词汇i在索引影像d中的频数；nd表示索引影像d包含的总词汇数；Ni是包含词汇i的影像数；N表示索引影像的总数。将数据库影像和查询影像按照上述操作建立索引，影相似性计算就可以表示为对应影像词汇向量的余弦角，即相似影像搜索问题转化为词汇向量的余弦角计算问题。
步骤S4：利用自适应阈值进行无人机影像匹配对选择，具体请参见图3，图3是本发明基于无人机倾斜影像检索的相似性值降序排列分布图：
本实施例中基于自适应阈值选择方案的核心思想是：对于空间邻近的重叠影像对，所述影像对的影像相似性值较大，且随着重叠区域减小而显著降低；相反，对于空间距离远的非重叠影像对，所述影像对的影像相似性值很小，且没有显著的变化。图3中横轴为影像编号；纵轴为相似性值。从图3中，可以明显地看出，“相似”影像的取值大且相似性值变化快(左侧分布图)；“非相似”影像的取值小且相似性值变化慢(右侧分布图)。
自适应阈值检索步骤：
1)根据相似性值分布图，拟采用公式所示的幂函数对数据点进行拟合，具体为对于一张影像i，利用该影像的词汇向量vd，计算影像i与数据集中其他影像之间的相似性值，根据得到的相似性值，对所述数据集中影像进行从大到小的排序；然后，将排序后的结果进行幂函数拟合，具体拟合公式如下：
y＝a*xb；  (3)
其中，a和b是幂函数系数；x和y分别是影像编号和相似性值。从图3可以看出，幂函数能够很好的拟合数据点。
2)统计数据点相似性值的均值μ和标准差σ，即针对影像i，对步骤1)中计算得到的影像i与数据集中其他影像之间的相似性值，进行相似性值的均值μ和标准差σ的统计；拟定义公式所示的截断函数：
y＝μ+k*σ；  (4)
其中，k为调节系数。
3)联立幂函数公式和截断函数公式，解算得到临界值x*，所述临界值x*即表示本实施例所选择的影像匹配对数量，即将所述临界值x*作为影像i需选择的影像匹配对数量，即在对所述数据集中影像按相似性值进行从大到小的排序集合中，保留所述排序集合中前x*个相似影像作为当前查询影像的匹配对。
最后根据上述自适应阈值检索步骤，完成对输入数据集中，所有影像的匹配对查询和选择。
请参考图4，其为本发明公开的一种基于词汇树检索的无人机影像匹配对选择系统结构图，该系统具体包括以下模块：
特征提取模块L1用于利用随机采样策略，从输入的无人机影像数据集中采样得到一个给定数量比例p的影像子集；其中，对于采样得到的影像子集，利用尺度不变特征变换SIFT算法提取所述影像子集中每张影像的SIFT特征点；
特征子集构建模块L2用于针对所述影像子集中的每张影像，构建一个关于提取得到的所有SIFT特征点的初始特征集合，在所述初始特征集合中，根据每个特征点的尺度大小，将所有SIFT特征点进行从大到小的排序；其中，在排序后的集合中，选择前h个特征点，构建一个关于所述h个特征点的特征子集；
词汇树构建模块L3用于对于特征子集构建模块L2得到的特征子集，采用分层K均值聚类算法，构建用于无人机影像检索的词汇树；
无人机影像匹配对选择模块L4用于通过词汇树构建模块L3构建的词汇树，对影像子集中每张影像进行索引，针对每张影像，计算其与数据集中其他影像之间的相似性值；基于索引结果以及影像相似性值的空间分布特性，通过自适应阈值算法进行无人机影像匹配对选择。
该系统中，所述词汇树构建模块中还包括索引子模块L31，所述索引子模块L31用于对特征子集中的每个特征点，从词汇树中搜索与每个特征点距离最近的词汇，记录每个词汇在影像中出现的频数即词频，将所述无人机影像数据集中的每张影像表示为由词频所组成的V维特征向量。
该系统中，所述无人机影像匹配对选择模块L4中，还包括幂函数拟合子模块L41、截断函数计算子模块L42和影像匹配对子模块L43，其中：
幂函数拟合子模块L41用于计算影像i与数据集中其他影像之间的相似性值，根据得到的相似性值，对所述数据集中影像进行从大到小的排序；然后，将排序后的结果进行幂函数拟合；
截断函数计算子模块L42用于对幂函数拟合子模块L41中计算得到的影像i与数据集中其他影像之间的相似性值，进行相似性值的均值μ和标准差σ的统计；其中，将统计得到的均值μ和标准差σ带入到预定义的截断函数；
影像匹配对子模块L43用于联立所述拟合公式和截断函数，得到一个影像编号值x，将所述影像编号值x作为临界值x*，将所述临界值x*作为影像i需选择的影像匹配对数量，即在对所述数据集中影像按相似性值进行从大到小的排序集合中，保留所述排序集合中前x*个相似影像作为当前查询影像的匹配对。
综上所述，本发明的技术关键点在于：
1、对于词汇树检索效率和精度平衡的问题，本实施例中采用随机采样策略和尺度约束策略进行影像选择和特征选择，实现高效率的词汇树构建和影像索引；
2、分析词汇树检索相似性值的分布特性，提出基于相似性值的均值和标准差统计，实现相似性阈值的自适应选择和稳健的影像匹配对选择；
3、本实施例设计的高效影像匹配对选择方法能够解决词汇树检索中相似影像数量难以确定的难题，提高无人机影像特征匹配阶段的时间消耗。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种基于词汇树检索的无人机影像匹配对选择方法，其特征在于，包括以下步骤：
S1、利用随机采样策略，从输入的无人机影像数据集中采样得到一个给定数量比例p的影像子集；其中，对于采样得到的影像子集，利用尺度不变特征变换SIFT算法提取所述影像子集中每张影像的SIFT特征点；
S2、将每张影像的SIFT特征点进行统计，构建一个关于提取得到的所有SIFT特征点的初始特征集合，在所述初始特征集合中，根据每个特征点的尺度大小，将所有SIFT特征点进行从大到小的排序；其中，在排序后的集合中，选择前h个特征点，构建一个关于所述前h个特征点的特征子集；
S3、基于步骤S2得到的特征子集，采用分层K均值聚类算法，构建用于无人机影像检索的词汇树；
S4、通过步骤S3构建的词汇树，对影像子集中每张影像进行索引，针对每张影像，计算其与数据集中其他影像之间的相似性值，基于索引结果以及影像相似性值的空间分布特性，通过自适应阈值算法进行无人机影像匹配对选择，具体步骤包括：
S41、对于一张影像i，利用该影像的词汇向量vd，计算影像i与数据集中其他影像之间的相似性值，根据得到的相似性值，对所述数据集中影像进行从大到小的排序；然后，将排序后的结果进行幂函数拟合，具体拟合公式如下：
y＝a*xb；
其中，参数a和b是幂函数系数；x和y分别是影像编号和相似性值；
S42、针对影像i，对步骤S41中计算得到的影像i与数据集中其他影像之间的相似性值，进行相似性值的均值μ和标准差σ的统计；其中，将统计得到的均值μ和标准差σ带入到预定义的截断函数中：
y＝μ+k*σ；
其中，k为调节系数；
S43、联立所述拟合公式和截断函数，得到一个影像编号值x，将所述影像编号值x作为临界值x*，将所述临界值x*作为影像i需选择的影像匹配对数量，即在对所述数据集中影像按相似性值进行从大到小的排序集合中，保留所述排序集合中前x*个相似影像作为当前查询影像的匹配对；
S44、返回到步骤S41-S43，完成对数据集中每张影像进行匹配对选择。
2.根据权利要求1所述的无人机影像匹配对选择方法，其特征在于，步骤S3中，采用分层K均值聚类算法构建词汇树的具体操作为：首先利用K-means++算法确定K个初始聚类中心；其次，针对每个特征点，基于所述K个初始聚类中心，搜索与其空间距离最近的聚类中心，并将特征点与最近聚类中心之间的距离作为最近距离测度，这样，基于每个特征点的最近距离测度将步骤S2构建的特征子集划分为K个子集，其中，将所述K个子集作为词汇树的第一层；最后，基于所述K个初始聚类中心，对划分得到的每个子集进行迭代的聚类操作，直到词汇树的层数或者叶子节点达到给定的阈值。
3.根据权利要求2所述的无人机影像匹配对选择方法，其特征在于，所述词汇树包含了V个词汇，步骤S4中利用所述词汇树对影像子集中每张影像进行索引的具体操作为：对于所有特征子集中的每个特征点，从词汇树中搜索与每个特征点距离最近的词汇，记录每个词汇在影像中出现的频数即词频，将所述无人机影像数据集中的每张影像表示为由词频所组成的V维特征向量。
4.根据权利要求3所述的无人机影像匹配对选择方法，其特征在于，将每张影像表示为词汇向量vd＝(t1,...,ti,...,tV)，其中，所述词汇向量vd中的每个组成元素ti，按照词频-逆文档频率算法进行加权得到，具体的计算公式为：
Figure FDA0003968742890000031
其中，nid表示词汇i在影像d中出现的频数；nd表示影像d包含的总词汇数；Ni是包含词汇i的影像数；N表示影像的总数。
5.一种基于词汇树检索的无人机影像匹配对选择系统，其特征在于，包括以下模块：
特征提取模块，用于利用随机采样策略，从输入的无人机影像数据集中采样得到一个给定数量比例p的影像子集；其中，对于采样得到的影像子集，利用尺度不变特征变换SIFT算法提取所述影像子集中每张影像的SIFT特征点；
特征子集构建模块，用于针对所述影像子集中的每张影像，构建一个关于提取得到的所有SIFT特征点的初始特征集合，在所述初始特征集合中，根据每个特征点的尺度大小，将所有SIFT特征点进行从大到小的排序；其中，在排序后的集合中，选择前h个特征点，构建一个关于所述h个特征点的特征子集；
词汇树构建模块，用于对于特征子集构建模块得到的特征子集，采用分层K均值聚类算法，构建用于无人机影像检索的词汇树；
无人机影像匹配对选择模块，用于通过词汇树构建模块构建的词汇树，对影像子集中每张影像进行索引，针对每张影像，计算其与数据集中其他影像之间的相似性值；基于索引结果以及影像相似性值的空间分布特性，通过自适应阈值算法进行无人机影像匹配对选择；
无人机影像匹配对选择模块中，还包括以下子模块：
幂函数拟合子模块，用于计算影像i与数据集中其他影像之间的相似性值，根据得到的相似性值，对所述数据集中影像进行从大到小的排序；然后，将排序后的结果进行幂函数拟合，具体拟合公式如下：
y＝a*xb；
其中，参数a和b是幂函数系数；x和y分别是影像编号和相似性值；
截断函数计算子模块，用于对幂函数拟合子模块中计算得到的影像i与数据集中其他影像之间的相似性值，进行相似性值的均值μ和标准差σ的统计；其中，将统计得到的均值μ和标准差σ带入到预定义的截断函数：
y＝μ+k*σ；
其中，k为调节系数；
影像匹配对子模块，用于联立所述拟合公式和截断函数，得到一个影像编号值x，将所述影像编号值x作为临界值x*，将所述临界值x*作为影像i需选择的影像匹配对数量，即在对所述数据集中影像按相似性值进行从大到小的排序集合中，保留所述排序集合中前x*个相似影像作为当前查询影像的匹配对。
6.根据权利要求5所述的无人机影像匹配对选择系统，其特征在于，词汇树构建模块中还包括索引子模块，所述索引子模块用于对特征子集中的每个特征点，从词汇树中搜索与每个特征点距离最近的词汇，记录每个词汇在影像中出现的频数即词频，将所述无人机影像数据集中的每张影像表示为由词频所组成的V维特征向量。
CN201910609524.3A 2019-07-08 2019-07-08 一种基于词汇树检索的无人机影像匹配对选择方法及系统 Active CN110458175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910609524.3A CN110458175B (zh) 2019-07-08 2019-07-08 一种基于词汇树检索的无人机影像匹配对选择方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910609524.3A CN110458175B (zh) 2019-07-08 2019-07-08 一种基于词汇树检索的无人机影像匹配对选择方法及系统

Publications (2)

Publication Number Publication Date
CN110458175A CN110458175A (zh) 2019-11-15
CN110458175B true CN110458175B (zh) 2023-04-07

Family

ID=68482436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910609524.3A Active CN110458175B (zh) 2019-07-08 2019-07-08 一种基于词汇树检索的无人机影像匹配对选择方法及系统

Country Status (1)

Country Link
CN (1) CN110458175B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144239B (zh) * 2019-12-12 2022-03-29 中国地质大学（武汉） 一种利用词汇树引导的无人机倾斜影像特征匹配方法
CN111860535B (zh) * 2020-06-22 2023-08-11 长安大学 一种无人机影像匹配像对提取方法、三维稀疏重建方法
CN111797268B (zh) * 2020-07-17 2023-12-26 中国海洋大学 Rgb-d图像检索方法
CN113065566B (zh) * 2021-03-19 2024-01-09 南京天巡遥感技术研究院有限公司 一种误匹配去除方法、系统及应用
CN113435479A (zh) * 2021-06-03 2021-09-24 湖北大学 基于区域特征表达约束的特征点匹配方法与系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725484B2 (en) * 2005-11-18 2010-05-25 University Of Kentucky Research Foundation (Ukrf) Scalable object recognition using hierarchical quantization with a vocabulary tree
US7945576B2 (en) * 2007-05-29 2011-05-17 Microsoft Corporation Location recognition using informative feature vocabulary trees
US8892542B2 (en) * 2011-02-24 2014-11-18 Nec Laboratories America, Inc. Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval
CN102426019B (zh) * 2011-08-25 2014-07-02 航天恒星科技有限公司 一种无人机景象匹配辅助导航方法及系统
CN103020111B (zh) * 2012-10-29 2015-06-17 苏州大学 基于词汇树层次语义模型的图像检索方法
CN104063701B (zh) * 2014-07-14 2017-07-28 电子科技大学 基于surf词汇树和模板匹配的快速电视台台标识别系统及其实现方法
CN104199842B (zh) * 2014-08-07 2017-10-24 同济大学 一种基于局部特征邻域信息的相似图片检索方法
CN104216974B (zh) * 2014-08-28 2017-07-21 西北工业大学 基于词汇树分块聚类的无人机航拍图像匹配的方法
CN105551022B (zh) * 2015-12-07 2018-03-30 北京大学 一种基于形状交互矩阵的图像错误匹配检验方法
CN106339486A (zh) * 2016-08-30 2017-01-18 西安电子科技大学 一种基于大规模词汇树的增量学习的图像检索方法
CN107045520B (zh) * 2016-11-29 2020-07-03 江南大学 一种基于位置信息加权词汇树的车辆图像检索方法
CN106776856B (zh) * 2016-11-29 2020-07-03 江南大学 一种融合颜色特征与词汇树的车辆图像检索方法
CN106844726B (zh) * 2017-02-10 2020-11-10 成都弥知科技有限公司 一种基于词汇树检索与暴力匹配的图像识别方法
KR102399673B1 (ko) * 2017-06-01 2022-05-19 삼성전자주식회사 어휘 트리에 기반하여 객체를 인식하는 방법 및 장치

Also Published As

Publication number Publication date
CN110458175A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110458175B (zh) 一种基于词汇树检索的无人机影像匹配对选择方法及系统
CN108920720B (zh) 基于深度哈希和gpu加速的大规模图像检索方法
Jégou et al. On the burstiness of visual elements
CN107368807B (zh) 一种基于视觉词袋模型的监控视频车型分类方法
CN108280187B (zh) 一种基于卷积神经网络深度特征的分级图像检索方法
Zhu et al. Exploring consistent preferences: discrete hashing with pair-exemplar for scalable landmark search
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
CN106951551B (zh) 联合gist特征的多重索引图像检索方法
CN102693299A (zh) 一种并行视频拷贝检测系统和方法
WO2001046858A1 (fr) Creation d'un indice vectoriel, recherche de vecteurs similaires et dispositifs correspondants
CN107545276A (zh) 联合低秩表示和稀疏回归的多视角学习方法
CN106126572A (zh) 基于区域验证的图像检索方法
CN110751027A (zh) 一种基于深度多示例学习的行人重识别方法
CN111326236A (zh) 一种医疗图像自动处理系统
US20120117090A1 (en) System and method for managing digital contents
CN105654122A (zh) 基于核函数匹配的空间金字塔物体识别方法
Yang et al. Polar embedding for aurora image retrieval
CN107527058B (zh) 一种基于加权局部特征聚合描述符的图像检索方法
CN110489423B (zh) 一种信息抽取的方法、装置、存储介质及电子设备
Shen et al. Tcl: Tightly coupled learning strategy for weakly supervised hierarchical place recognition
CN112434533A (zh) 实体消歧方法、装置、电子设备及计算机可读存储介质
Gorisse et al. IRIM at TRECVID 2010: semantic indexing and instance search
CN114610941A (zh) 基于对比学习的文物图像检索系统
CN115423090A (zh) 一种面向细粒度识别的类增量学习方法
CN114461827A (zh) 一种以图搜图的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant