CN109670068A - 一种多级图像检索方法 - Google Patents

一种多级图像检索方法 Download PDF

Info

Publication number
CN109670068A
CN109670068A CN201810873620.4A CN201810873620A CN109670068A CN 109670068 A CN109670068 A CN 109670068A CN 201810873620 A CN201810873620 A CN 201810873620A CN 109670068 A CN109670068 A CN 109670068A
Authority
CN
China
Prior art keywords
image
local feature
images
characteristic point
retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810873620.4A
Other languages
English (en)
Inventor
史凌波
刘文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoke Yixin (beijing) Technology Co Ltd
Original Assignee
Guoke Yixin (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoke Yixin (beijing) Technology Co Ltd filed Critical Guoke Yixin (beijing) Technology Co Ltd
Priority to CN201810873620.4A priority Critical patent/CN109670068A/zh
Publication of CN109670068A publication Critical patent/CN109670068A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Abstract

本发明公开了一种多级图像检索方法，包括以下步骤：提取图像数据库中所有图像的局部特征点；聚类，得到K个聚类中心；对于数据库中的每一幅图像，计算其局部特征聚合描述子；对于检索图像，提取其局部特征点，并计算局部特征聚合描述子；计算检索图像的局部特征聚合描述子与数据库中所有图像的局部特征聚合描述子的距离，最小距离对应的数据库图像即为初步检索结果图像。本发明方法对检索图像进行了多级检索，一方面，对于不存在背景内容干扰或存在少量背景内容干扰的检索图像，可实现直接检索；另一方面，对于存在大量背景内容干扰的检索图像，可有效减少背景内容的干扰，实现成功检索。

Description

一种多级图像检索方法
技术领域
本发明涉及一种检索方法，具体是一种多级图像检索方法。
背景技术
随着计算机和互联网的快速发展，图像资源越来越丰富，如何在大规模的图像资源中准确检索到用户需要的图像成为了亟需解决的关键问题，因此，建立一种精确的图像检索方法成为了当下的研究热点。
在图像检索领域中，局部特征聚合描述子（Vector of Locally AggregatedDescriptor,VLAD）被广泛应用于大规模图像检索中。该方法首先将图像数据库中图像的所有特征点进行聚类，每一个类中心即为一个视觉词汇，所有类中心共同构成一个视觉码本；然后，基于视觉码本对每幅图像的特征点进行量化，计算得到表征图像的局部特征聚合描述子。这样，图像检索便转化为了图像局部特征聚合描述子之间的距离计算，最小距离对应的数据库图像即为检索结果图像。
然而，基于局部特征聚合描述子的检索方法要求检索图像与数据库中的目标图像具有一致的图像内容，一旦检索图像中存在较多的背景内容干扰，就会使得图像特征在量化时出现较大误差，影响图像局部特征聚合描述子计算的准确性，从而导致检索失败。
发明内容
本发明的目的在于提供一种多级图像检索方法，旨在克服上述现有技术的不足，其能有效解决图像中存在较多的干扰内容而导致检索失败的问题。
为实现上述目的，本发明提供如下技术方案：
一种多级图像检索方法，包括以下步骤：
步骤1：提取图像数据库中所有图像的局部特征点；
步骤2：使用聚类算法对步骤1中提取的所有局部特征点进行聚类，得到K个聚类中心；
步骤3：对于数据库中的每一幅图像，基于步骤1提取的局部特征点和步骤2得到的K个聚类中心，计算其局部特征聚合描述子；
步骤4：对于检索图像，提取其局部特征点，并基于步骤2得到的K个聚类中心，计算图像的局部特征聚合描述子；
步骤5：计算检索图像的局部特征聚合描述子与数据库中所有图像的局部特征聚合描述子的欧式距离，最小距离对应的数据库图像即为初步检索结果图像：
其中，V r 为检索图像的局部特征聚合描述子，V j 为图像数据库中第j幅图像的局部特征聚合描述子，retrievelIdx为计算得到的最小距离图像的编号；
步骤6：提取初步检索结果图像的局部特征点，并与检索图像的局部特征点进行特征点匹配，得到匹配的特征点数量N；
匹配方法如下：
步骤6-1：对于初步检索结果图像的任意一个特征点，计算其与检索图像所有特征点之间的最短距离：
步骤6-2：设定阈值，若，则认为该特征点为匹配特征点，统计得到匹配特征点数量N；
步骤7：设定阈值T，若，则以初步检索结果图像为最终检索结果图像；否则，选取检索图像中感兴趣区域作为二级检索图像，再执行步骤4-5得到二级检索结果图像，作为最终检索结果图像。
进一步的，所述步骤2中，K的取值为K=1-1000。
进一步的，所述步骤7中，检索图像中感兴趣区域通过手动选取，采用显著性检测方法设定为检索图像中的固定区域。
进一步的，所述步骤3的具体方法如下：所述步骤3具体方法如下：
步骤3-1：计算图像中每一个特征点所属的类编号；
步骤3-2：计算每个聚类的残差向量；
步骤3-3：将步骤3-2求得的k个残差向量合成一个一维向量；
步骤3-4：对一维向量V中的每一个分量进行幂律规一化处理：
其中，表示一维向量V中第i个分量，，N表示一维向量V的维度；，代表归一化参数；
步骤3-5：对处理后的一维向量采用如下公式进行L2范数归一化，得到的一维向量V即为图像的局部特征聚合描述子：。
进一步的，所述步骤3-1：采用以下公式计算图像中每一个特征点所属的类编号：
其中，表示图像第t个特征点，，n表示图像特征点数量，表示第j个聚类中心，，i表示求得的所属类编号。
进一步的，所述步骤3-2：采用以下公式计算每个聚类的残差向量：
其中，表示第i个聚类中心，表示图像中属于第i个聚类的第k个特征点，m表示图像中属于第i个聚类的特征点总数；表示第i个聚类的残差向量。
进一步的，所述步骤3-3：采用以下公式将步骤3-2求得的k个残差向量合成一个一维向量：
。
与现有技术相比，本发明的有益效果是：
本发明方法对检索图像进行了多级检索，一方面，对于不存在背景内容干扰或存在少量背景内容干扰的检索图像，可实现直接检索；另一方面，对于存在大量背景内容干扰的检索图像，通过选取感兴趣区域作为二级检索图像，可有效减少背景内容的干扰，实现图像的成功检索。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
实施例1
一种多级图像检索方法，包括以下步骤：
步骤1：提取图像数据库中所有图像的局部特征点；
所述步骤1中的局部特征点可以是SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点或LBP特征点；
步骤2：使用K均值聚类算法对步骤1中提取的所有局部特征点进行聚类，得到K个聚类中心，其中，K的取值为K=1-1000；
步骤3：对于数据库中的每一幅图像，基于步骤1提取的局部特征点和步骤2得到的K个聚类中心，计算其局部特征聚合描述子；
步骤4：对于检索图像，提取其局部特征点，并基于步骤2得到的K个聚类中心，计算图像的局部特征聚合描述子（与步骤3中计算其局部特征聚合描述子的方法相同）；
步骤5：计算检索图像的局部特征聚合描述子与数据库中所有图像的局部特征聚合描述子的欧式距离，最小距离对应的数据库图像即为初步检索结果图像：
其中，V r 为检索图像的局部特征聚合描述子，V j 为图像数据库中第j幅图像的局部特征聚合描述子，retrievelIdx为计算得到的最小距离图像的编号；
步骤6：提取初步检索结果图像的局部特征点，并与检索图像的局部特征点进行特征点匹配，得到匹配的特征点数量N；
匹配方法如下：
步骤6-1：对于初步检索结果图像的任意一个特征点，计算其与检索图像所有特征点之间的最短距离：
步骤6-2：设定阈值，若，则认为该特征点为匹配特征点，统计得到匹配特征点数量N；
步骤7：设定阈值T，若，则以初步检索结果图像为最终检索结果图像；否则，选取检索图像中感兴趣区域作为二级检索图像，再执行步骤4-5得到二级检索结果图像，作为最终检索结果图像；
实施例2
在实施例1的基础上。所述步骤7中，检索图像中感兴趣区域可通过手动选取，可采用显著性检测方法设定为检索图像中的固定区域。
实施例3
在实施例1的基础上。步骤3的具体方法如下：
步骤3-1：计算图像中每一个特征点所属的类编号：
（公式1）
其中，表示图像第t个特征点，，n表示图像特征点数量，表示第j个聚类中心，，i表示求得的所属类编号；
步骤3-2：计算每个聚类的残差向量：
（公式2）
其中，表示第i个聚类中心，表示图像中属于第i个聚类的第k个特征点，m表示图像中属于第i个聚类的特征点总数；表示第i个聚类的残差向量；
步骤3-3：将步骤3-2求得的k个残差向量采用如下公式合成一个一维向量：
（公式3）
步骤3-4：对一维向量V中的每一个分量进行幂律规一化处理：
（公式4）
其中，表示一维向量V中第i个分量，，N表示一维向量V的维度；，代表归一化参数；
步骤3-5：对处理后的一维向量采用如下公式进行L2范数归一化：
（公式5）
再次进行归一化后得到的一维向量V即为图像的局部特征聚合描述子。
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims (7)

1.一种多级图像检索方法，其特征在于，包括以下步骤：
步骤1：提取图像数据库中所有图像的局部特征点；
步骤2：使用聚类算法对步骤1中提取的所有局部特征点进行聚类，得到K个聚类中心；
步骤3：对于数据库中的每一幅图像，基于步骤1提取的局部特征点和步骤2得到的K个聚类中心，计算其局部特征聚合描述子；
步骤4：对于检索图像，提取其局部特征点，并基于步骤2得到的K个聚类中心，计算图像的局部特征聚合描述子；
步骤5：计算检索图像的局部特征聚合描述子与数据库中所有图像的局部特征聚合描述子的欧式距离，最小距离对应的数据库图像即为初步检索结果图像：
其中，V r 为检索图像的局部特征聚合描述子，V j 为图像数据库中第j幅图像的局部特征聚合描述子，retrievelIdx为计算得到的最小距离图像的编号；
步骤6：提取初步检索结果图像的局部特征点，并与检索图像的局部特征点进行特征点匹配，得到匹配的特征点数量N；
匹配方法如下：
步骤6-1：对于初步检索结果图像的任意一个特征点，计算其与检索图像所有特征点之间的最短距离：
步骤6-2：设定阈值，若，则认为该特征点为匹配特征点，统计得到匹配特征点数量N；
步骤7：设定阈值T，若，则以初步检索结果图像为最终检索结果图像；否则，选取检索图像中感兴趣区域作为二级检索图像，再执行步骤4-5得到二级检索结果图像，作为最终检索结果图像。
2.根据权利要求1所述的多级图像检索方法，其特征在于，所述步骤2中，K的取值为K=1-1000。
3.根据权利要求1所述的多级图像检索方法，其特征在于，所述步骤7中，检索图像中感兴趣区域通过手动选取，采用显著性检测方法设定为检索图像中的固定区域。
4.根据权利要求1所述的多级图像检索方法，其特征在于，所述步骤3的具体方法如下：所述步骤3具体方法如下：
步骤3-1：计算图像中每一个特征点所属的类编号；
步骤3-2：计算每个聚类的残差向量；
步骤3-3：将步骤3-2求得的k个残差向量合成一个一维向量；
步骤3-4：对一维向量V中的每一个分量进行幂律规一化处理：
其中，表示一维向量V中第i个分量，，N表示一维向量V的维度；，代表归一化参数；
步骤3-5：对处理后的一维向量采用如下公式进行L2范数归一化，得到的一维向量V即为图像的局部特征聚合描述子：。
5.根据权利要求4所述的多级图像检索方法，其特征在于，所述步骤3-1：采用以下公式计算图像中每一个特征点所属的类编号：
其中，表示图像第t个特征点，，n表示图像特征点数量，表示第j个聚类中心，，i表示求得的所属类编号。
6.根据权利要求4所述的多级图像检索方法，其特征在于，所述步骤3-2：采用以下公式计算每个聚类的残差向量：
其中，表示第i个聚类中心，表示图像中属于第i个聚类的第k个特征点，m表示图像中属于第i个聚类的特征点总数；表示第i个聚类的残差向量。
7.根据权利要求4所述的多级图像检索方法，其特征在于，所述步骤3-3：采用以下公式将步骤3-2求得的k个残差向量合成一个一维向量：
。
CN201810873620.4A 2018-08-02 2018-08-02 一种多级图像检索方法 Pending CN109670068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810873620.4A CN109670068A (zh) 2018-08-02 2018-08-02 一种多级图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810873620.4A CN109670068A (zh) 2018-08-02 2018-08-02 一种多级图像检索方法

Publications (1)

Publication Number Publication Date
CN109670068A true CN109670068A (zh) 2019-04-23

Family

ID=66141556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810873620.4A Pending CN109670068A (zh) 2018-08-02 2018-08-02 一种多级图像检索方法

Country Status (1)

Country Link
CN (1) CN109670068A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157962A (zh) * 2021-04-14 2021-07-23 杭州灵伴科技有限公司 图像检索方法、电子装置和存储介质
WO2022227760A1 (zh) * 2021-04-28 2022-11-03 北京百度网讯科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157962A (zh) * 2021-04-14 2021-07-23 杭州灵伴科技有限公司 图像检索方法、电子装置和存储介质
CN113157962B (zh) * 2021-04-14 2022-09-13 杭州灵伴科技有限公司 图像检索方法、电子装置和存储介质
WO2022227760A1 (zh) * 2021-04-28 2022-11-03 北京百度网讯科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
WO2020177432A1 (zh) 基于目标检测网络的多标签物体检测方法、系统、装置
Varish et al. Image retrieval scheme using quantized bins of color image components and adaptive tetrolet transform
Walker et al. Locating Salient Object Features.
CN103207898B (zh) 一种基于局部敏感哈希的相似人脸快速检索方法
US10949702B2 (en) System and a method for semantic level image retrieval
US20210089824A1 (en) Image processing method, image processing device, and storage medium
CN105005565B (zh) 现场鞋底痕迹花纹图像检索方法
CN110909784B (zh) 一种图像识别模型的训练方法、装置及电子设备
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
Ahmed et al. Automated weed classification with local pattern-based texture descriptors.
US8948517B2 (en) Landmark localization via visual search
CN106909895B (zh) 一种基于随机投影多核学习的手势识别方法
US20240153240A1 (en) Image processing method, apparatus, computing device, and medium
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN104504406B (zh) 一种快速高效的近似重复图像匹配方法
CN107895222A (zh) 基于dbscan算法的变压器不良漏抗参数辨识方法
Sundara Vadivel et al. An efficient CBIR system based on color histogram, edge, and texture features
Wang et al. Geometric VLAD for large scale image search
CN107527058B (zh) 一种基于加权局部特征聚合描述符的图像检索方法
CN109670068A (zh) 一种多级图像检索方法
CN107944363A (zh) 人脸图像处理方法、系统及服务器
CN105825215B (zh) 一种基于局部近邻嵌入核函数的仪表定位方法及使用载体
US20170309004A1 (en) Image recognition using descriptor pruning
CN109902692A (zh) 一种基于局部区域深度特征编码的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190423