CN110807120A - 一种基于特征点聚类的图像检索方法 - Google Patents

一种基于特征点聚类的图像检索方法 Download PDF

Info

Publication number
CN110807120A
CN110807120A CN201810871853.0A CN201810871853A CN110807120A CN 110807120 A CN110807120 A CN 110807120A CN 201810871853 A CN201810871853 A CN 201810871853A CN 110807120 A CN110807120 A CN 110807120A
Authority
CN
China
Prior art keywords
image
feature points
clustering
local feature
retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810871853.0A
Other languages
English (en)
Inventor
史凌波
刘文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoke Yixin (beijing) Technology Co Ltd
Original Assignee
Guoke Yixin (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoke Yixin (beijing) Technology Co Ltd filed Critical Guoke Yixin (beijing) Technology Co Ltd
Priority to CN201810871853.0A priority Critical patent/CN110807120A/zh
Publication of CN110807120A publication Critical patent/CN110807120A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征点聚类的图像检索方法，包括以下步骤：提取图像数据库中所有图像的局部特征点，对提取的所有局部特征点进行聚类；计算其局部特征聚合描述子；对于检索图像，提取其局部特征点，并使用聚类算法对局部特征点进行聚类；计算检索图像的所有类中心之间的最短距离dmin；设定阈值T，若dmin≤T，则将最短距离对应的两个类进行合并；重复执行上步，直到dmin>T为止；选取检索图像的数量最大类中的图像特征点，计算局部特征聚合描述子；计算上步中得到的局部特征聚合描述子与数据库中所有图像的局部特征聚合描述子的距离，最小距离对应的数据库图像即为检索结果。本发明能够有效减少周围背景图像内容的干扰，实现图像的成功检索。

Description

一种基于特征点聚类的图像检索方法
技术领域
本发明涉及一种图像检索方法，具体是一种基于特征点聚类的图像检索方法。
背景技术
随着计算机和互联网的快速发展，图像资源越来越丰富，如何在大规模的图像资源中准确检索到用户需要的图像成为了亟需解决的关键问题，因此，建立一种精确的图像检索方法成为了当下的研究热点。
在图像检索领域中，词袋模型（Bag of Word，BoW）是最常用的检索方法之一。该方法首先将图像数据库中图像的所有特征进行聚类，每一个类中心即为一个视觉词汇，所有类中心共同构成一个视觉码本；然后，将每幅图像的所有特征都映射到视觉码本中，得到一个与视觉码本相对应的词频矢量；最后，通过对词频矢量进行归一化处理，即可得到图像的编码矢量。这样，图像检索便转化为了图像编码矢量之间的距离计算，通过查找距离最小的图像编码矢量，即可实现图像的检索。
由于词袋模型需要构建较大的视觉码本，其在大规模图像检索中的实用性较差。为此，局部特征聚合描述子（Vector of Locally Aggregated Descriptor， VLAD）被提出，该方法是对词袋模型的改进，通过构建较小的视觉码本，即可进行图像编码。与词袋模型相比，局部特征聚合描述子具有更好的适用性，因此广泛应用于大规模图像检索中。
然而，不管是词袋模型还是局部特征聚合描述子，都要求检索图像与数据库中的目标图像具有一致的图像内容，一旦检索图像中存在较多的干扰内容，就会影响图像编码的准确性，从而导致检索失败。
发明内容
本发明的目的在于提供一种基于特征点聚类的图像检索方法，旨在克服上述现有技术的不足，其能有效解决图像中存在较多的干扰内容而导致检索失败的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于特征点聚类的图像检索方法，包括以下步骤：
步骤1：提取图像数据库中所有图像的局部特征点；
步骤2：使用聚类算法对步骤1中提取的所有局部特征点进行聚类，得到K个聚类中心，其中，K的取值为K=1-1000；
步骤3：对于数据库中的每一幅图像，基于步骤1提取的该幅图像的局部特征点和步骤2得到的K个聚类中心，计算其局部特征聚合描述子；
步骤4：对于检索图像，提取其局部特征点，并使用聚类算法对局部特征点进行聚类，生成K’个类，得到K’个类中心，其中，K’的取值为K’=1-10；
步骤5：计算检索图像的所有类中心之间的最短距离；设定阈值T，若
Figure 309926DEST_PATH_IMAGE004
，则将最短距离对应的两个类进行合并；
Figure 173977DEST_PATH_IMAGE006
其中，
Figure 581825DEST_PATH_IMAGE008
和
Figure 138708DEST_PATH_IMAGE010
表示第i个和第j个类中心，
Figure 999217DEST_PATH_IMAGE012
，
Figure 932538DEST_PATH_IMAGE014
；
步骤6：重复执行步骤5，直到
Figure 70258DEST_PATH_IMAGE016
为止，此时，检索图像的聚类个数为K’’，K’’<=K’；
步骤7：对于检索图像的K’’个类，选取特征点数量最大类中的图像特征点，基于步骤2得到的K个聚类中心，计算局部特征聚合描述子；
步骤8：计算步骤7中得到的局部特征聚合描述子与数据库中所有图像的局部特征聚合描述子的欧式距离，最小距离对应的数据库图像即为最终检索结果：
Figure 922676DEST_PATH_IMAGE018
其中，V r 为检索图像的局部特征聚合描述子，V j 为图像数据库中第j幅图像的局部特征聚合描述子，retrievelIdx为计算得到的最小距离图像的编号。
作为本发明进一步的方案：所述步骤1中的局部特征点是SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点或LBP特征点。
作为本发明进一步的方案：所述步骤3具体方法如下：
步骤3-1：计算图像中每一个特征点所属的类编号；
步骤3-2：计算每个聚类的残差向量；
步骤3-3：将步骤3-2求得的k个残差向量合成一个一维向量；
步骤3-4：对一维向量V中的每一个分量进行幂律规一化处理：
Figure 145847DEST_PATH_IMAGE020
其中，
Figure 476334DEST_PATH_IMAGE022
表示一维向量V中第i个分量，
Figure 734140DEST_PATH_IMAGE024
，N表示一维向量V的维度；
Figure 632826DEST_PATH_IMAGE026
，代表归一化参数；
步骤3-5：对处理后的一维向量采用如下公式进行L2范数归一化，得到的一维向量V即为图像的局部特征聚合描述子：
Figure 467927DEST_PATH_IMAGE028
。
作为本发明进一步的方案：所述步骤3-1：采用以下公式计算图像中每一个特征点所属的类编号：
Figure 477471DEST_PATH_IMAGE030
其中，
Figure 855363DEST_PATH_IMAGE032
表示图像第t个特征点，
Figure 784005DEST_PATH_IMAGE034
，n表示图像特征点数量，
Figure 247347DEST_PATH_IMAGE036
表示第j个聚类中心，
Figure 919637DEST_PATH_IMAGE038
，i表示求得的
Figure 886456DEST_PATH_IMAGE032
所属类编号。
作为本发明进一步的方案：所述步骤3-2：采用以下公式计算每个聚类的残差向量：
其中，
Figure DEST_PATH_IMAGE042
表示第i个聚类中心，
Figure DEST_PATH_IMAGE044
表示图像中属于第i个聚类的第k个特征点，m表示图像中属于第i个聚类的特征点总数；
Figure 313895DEST_PATH_IMAGE045
表示第i个聚类的残差向量。
作为本发明进一步的方案：所述步骤3-3：采用以下公式将步骤3-2求得的k个残差向量合成一个一维向量：
Figure 998954DEST_PATH_IMAGE047
。
与现有技术相比，本发明的有益效果是：
本发明方法通过对检索图像的局部特征点进行聚类，将图像局部特征聚合描述子的计算集中到了最大类中的图像特征点上，也就是集中到了图像内容最为丰富的区域，从而能够有效减少周围背景图像内容的干扰，实现图像的成功检索。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
实施例1
一种基于特征点聚类的图像检索方法，包括以下步骤：
步骤1：提取图像数据库中所有图像的局部特征点；
所述步骤1中的局部特征点可以是SIFT特征点，采用MATLAB中SIFT特征提取算子vl_sift，提取图像数据库中所有图像的SIFT特征点；
步骤2：使用K均值聚类算法对步骤1中提取的所有局部特征点进行聚类，得到K个聚类中心，其中，K的取值为K=1-1000；
步骤3：对于数据库中的每一幅图像，基于步骤1提取的该幅图像的局部特征点和步骤2得到的K个聚类中心，计算其局部特征聚合描述子；
步骤4：对于检索图像，提取其局部特征点，并使用K均值聚类算法对局部特征点进行聚类，生成K’个类，得到K’个类中心，其中，K’的取值为K’=1-10；
步骤5：计算检索图像的所有类中心之间的最短距离
Figure 350301DEST_PATH_IMAGE002
；设定阈值T，若
Figure 561840DEST_PATH_IMAGE004
，则将最短距离对应的两个类进行合并；
（公式6）
其中，
Figure 145585DEST_PATH_IMAGE008
和
Figure 159677DEST_PATH_IMAGE010
表示第i个和第j个类中心，
Figure 366668DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE048
步骤6：重复执行步骤5，直到
Figure 808013DEST_PATH_IMAGE016
为止，此时，检索图像的聚类个数为K’’，K’’<=K’；
步骤7：对于检索图像的K’’个类，选取特征点数量最大类中的图像特征点，基于步骤2得到的K个聚类中心，计算局部特征聚合描述子（采用与步骤3中计算其局部特征聚合描述子相同的方法，只是步骤3用了一副图像的所有特征点来计算局部特征聚合描述子，而这里只用了检索图像中特征点数量最大类中的图像特征点来计算局部特征聚合描述子）；
步骤8：计算步骤7中得到的局部特征聚合描述子与数据库中所有图像的局部特征聚合描述子的欧式距离，最小距离对应的数据库图像即为最终检索结果：
Figure 467665DEST_PATH_IMAGE049
其中，V r 为检索图像的局部特征聚合描述子，V j 为图像数据库中第j幅图像的局部特征聚合描述子，retrievelIdx为计算得到的最小距离图像的编号。
实施例2
与实施例1不同的是：所述步骤1中的局部特征点还可以是SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点或LBP特征点。
实施例3
在实施例1的基础上。步骤3的具体方法如下：
步骤3-1：计算图像中每一个特征点所属的类编号：
Figure DEST_PATH_IMAGE050
（公式1）
其中，
Figure 19869DEST_PATH_IMAGE032
表示图像第t个特征点，
Figure 550207DEST_PATH_IMAGE034
，n表示图像特征点数量，
Figure 693613DEST_PATH_IMAGE036
表示第j个聚类中心，
Figure 840560DEST_PATH_IMAGE038
，i表示求得的
Figure 602980DEST_PATH_IMAGE032
所属类编号；
步骤3-2：计算每个聚类的残差向量：
Figure 518983DEST_PATH_IMAGE040
（公式2）
其中，
Figure 302132DEST_PATH_IMAGE042
表示第i个聚类中心，
Figure 936375DEST_PATH_IMAGE044
表示图像中属于第i个聚类的第k个特征点，m表示图像中属于第i个聚类的特征点总数；
Figure 236907DEST_PATH_IMAGE045
表示第i个聚类的残差向量；
步骤3-3：将步骤3-2求得的k个残差向量采用如下公式合成一个一维向量：
Figure 132050DEST_PATH_IMAGE047
（公式3）
步骤3-4：对一维向量V中的每一个分量进行幂律规一化处理：
Figure DEST_PATH_IMAGE051
（公式4）
其中，
Figure DEST_PATH_IMAGE052
表示一维向量V中第i个分量，，N表示一维向量V的维度；
Figure 676481DEST_PATH_IMAGE026
，代表归一化参数；
步骤3-5：对处理后的一维向量采用如下公式进行L2范数归一化：
Figure DEST_PATH_IMAGE053
（公式5）
再次进行归一化后得到的一维向量V即为图像的局部特征聚合描述子。
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims (6)

1.一种基于特征点聚类的图像检索方法，其特征在于，包括以下步骤：
步骤1：提取图像数据库中所有图像的局部特征点；
步骤2：使用聚类算法对步骤1中提取的所有局部特征点进行聚类，得到K个聚类中心，其中，K的取值为K＝1-1000；
步骤3：对于数据库中的每一幅图像，基于步骤1提取的该幅图像的局部特征点和步骤2得到的K个聚类中心，计算其局部特征聚合描述子；
步骤4：对于检索图像，提取其局部特征点，并使用聚类算法对局部特征点进行聚类，生成K’个类，得到K’个类中心，其中，K’的取值为K’＝1-10；
步骤5：计算检索图像的所有类中心之间的最短距离dmin；设定阈值T，若dmin≤T，则将最短距离对应的两个类进行合并；
dmin＝min||μ′i-μ′j||
其中，μ′i和μ′j表示第i个和第j个类中心，i＝1～K′，j＝1～K′；
步骤6：重复执行步骤5，直到dmin>T为止，此时，检索图像的聚类个数为K”，K”<＝K’；
步骤7：对于检索图像的K”个类，选取特征点数量最大类中的图像特征点，基于步骤2得到的K个聚类中心，计算局部特征聚合描述子；
步骤8：计算步骤7中得到的局部特征聚合描述子与数据库中所有图像的局部特征聚合描述子的欧式距离，最小距离对应的数据库图像即为最终检索结果：
retrievelIdx＝argminj||Vr-Vj||
其中，Vr为检索图像的局部特征聚合描述子，Vj为图像数据库中第j幅图像的局部特征聚合描述子，retrievelIdx为计算得到的最小距离图像的编号。
2.根据权利要求1所述的基于特征点聚类的图像检索方法，其特征在于，所述步骤1中的局部特征点是SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点或LBP特征点。
3.根据权利要求1所述的基于特征点聚类的图像检索方法，其特征在于，所述步骤3具体方法如下：
步骤3-1：计算图像中每一个特征点所属的类编号；
步骤3-2：计算每个聚类的残差向量；
步骤3-3：将步骤3-2求得的k个残差向量合成一个一维向量；
步骤3-4：对一维向量V中的每一个分量进行幂律规一化处理：
Vi＝sign(Vi)·|Vi|α
其中，Vi表示一维向量V中第i个分量，i＝1,2,...,N，N表示一维向量V的维度；α≤1，代表归一化参数；
步骤3-5：对处理后的一维向量采用如下公式进行L2范数归一化，得到的一维向量V即为图像的局部特征聚合描述子：
Figure RE-FDA0001850444260000021
4.根据权利要求3所述的基于特征点聚类的图像检索方法，其特征在于，所述步骤3-1：采用以下公式计算图像中每一个特征点所属的类编号：
i＝argminj||xt-μj||
其中，xt表示图像第t个特征点，t＝1,2,...,n，n表示图像特征点数量，μj表示第j个聚类中心，j＝1,2,...,K，i表示求得的xt所属类编号。
5.根据权利要求3所述的基于特征点聚类的图像检索方法，其特征在于，所述步骤3-2：采用以下公式计算每个聚类的残差向量：
Figure RE-FDA0001850444260000022
其中，μi表示第i个聚类中心，
Figure RE-FDA0001850444260000023
表示图像中属于第i个聚类的第k个特征点，m表示图像中属于第i个聚类的特征点总数；vi表示第i个聚类的残差向量。
6.根据权利要求3所述的基于特征点聚类的图像检索方法，其特征在于，所述步骤3-3：采用以下公式将步骤3-2求得的k个残差向量合成一个一维向量：
V＝[v1 v2 Λ vK]。
CN201810871853.0A 2018-08-02 2018-08-02 一种基于特征点聚类的图像检索方法 Pending CN110807120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810871853.0A CN110807120A (zh) 2018-08-02 2018-08-02 一种基于特征点聚类的图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810871853.0A CN110807120A (zh) 2018-08-02 2018-08-02 一种基于特征点聚类的图像检索方法

Publications (1)

Publication Number Publication Date
CN110807120A true CN110807120A (zh) 2020-02-18

Family

ID=69486880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810871853.0A Pending CN110807120A (zh) 2018-08-02 2018-08-02 一种基于特征点聚类的图像检索方法

Country Status (1)

Country Link
CN (1) CN110807120A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283371A (zh) * 2021-06-09 2021-08-20 上海交通大学 一种基于brisk特征的局部放电特征提取及分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283371A (zh) * 2021-06-09 2021-08-20 上海交通大学 一种基于brisk特征的局部放电特征提取及分类方法

Similar Documents

Publication Publication Date Title
Li et al. Weakly supervised object localization with progressive domain adaptation
US10061999B1 (en) System and method for using segmentation to identify object location in images
CN109359725B (zh) 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质
CN109697451B (zh) 相似图像聚类方法及装置、存储介质、电子设备
CN110222218A (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
WO2023108995A1 (zh) 向量相似度计算方法、装置、设备及存储介质
CN104504406B (zh) 一种快速高效的近似重复图像匹配方法
Bi et al. Multiple instance dense connected convolution neural network for aerial image scene classification
Symeonidis et al. Neural attention-driven non-maximum suppression for person detection
CN107527058B (zh) 一种基于加权局部特征聚合描述符的图像检索方法
JP6042778B2 (ja) 画像に基づくバイナリ局所特徴ベクトルを用いた検索装置、システム、プログラム及び方法
CN113255828B (zh) 特征检索方法、装置、设备及计算机存储介质
CN109670068A (zh) 一种多级图像检索方法
Sun et al. Search by detection: Object-level feature for image retrieval
US20170309004A1 (en) Image recognition using descriptor pruning
CN110807120A (zh) 一种基于特征点聚类的图像检索方法
CN112084353A (zh) 一种快速陆标-卷积特征匹配的词袋模型方法
CN110674342B (zh) 查询目标图像的方法和装置
JP5959446B2 (ja) コンテンツをバイナリ特徴ベクトルの集合で表現することによって高速に検索する検索装置、プログラム及び方法
CN111242152A (zh) 基于目标提取的图像检索方法
CN110162654A (zh) 一种基于融合特征与检索结果优化的现勘图像检索算法
Liu et al. A scalable unsupervised feature merging approach to efficient dimensionality reduction of high-dimensional visual data
Jammula Content based image retrieval system using integrated ML and DL-CNN
CN109344902B (zh) 一种基于局部时空连续性聚合描述的视频纹理描述方法
Zhao et al. VLM-guided Explicit-Implicit Complementary novel class semantic learning for few-shot object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200218

WD01 Invention patent application deemed withdrawn after publication