CN105677898B - 一种基于特征差异性的改进图像搜索方法 - Google Patents

一种基于特征差异性的改进图像搜索方法 Download PDF

Info

Publication number
CN105677898B
CN105677898B CN201610077573.3A CN201610077573A CN105677898B CN 105677898 B CN105677898 B CN 105677898B CN 201610077573 A CN201610077573 A CN 201610077573A CN 105677898 B CN105677898 B CN 105677898B
Authority
CN
China
Prior art keywords
image
value
saliency
sift
significance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610077573.3A
Other languages
English (en)
Other versions
CN105677898A (zh
Inventor
凌强
杜彬彬
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snegrid Electric Technology Co ltd
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201610077573.3A priority Critical patent/CN105677898B/zh
Publication of CN105677898A publication Critical patent/CN105677898A/zh
Application granted granted Critical
Publication of CN105677898B publication Critical patent/CN105677898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于特征差异性的改进图像搜索方法，该方法分为四个步骤，第一步骤使用传统的方法计算出图像的显著性图，将图像划分成多个区域，每个区域分配到一个显著性值；第二步骤使用每个区域内的SIFT描述子计算区域内的SIFT显著性值；第三步骤将前两阶段的显著性值整合在一起，每个SIFT描述子得到新的权重；第四步骤使用新得到的查询图像特征权重完成图像搜索。本发明中利用查询图像自身的特征差异性计算查询图像中各个特征的权重，调整最后的搜索得分。这样能使查询图像中更具信息量的特征在得分中贡献更大，而更具普遍性的特征则会受到压制。该方法能在不大幅提升耗费的同时改进图像搜索的效果。

Description

一种基于特征差异性的改进图像搜索方法
技术领域
本发明涉及计算机视觉、模式识别、图像检索、搜索引擎等技术领域，具体涉及一种基于特征差异性的改进图像搜索方法。
背景技术
随着信息技术和互联网的发展，网络上的多媒体数据量急剧增长，用户对此类数据的检索需求亦在提升。图像检索也被越来越多的用户关注并使用。
由于图像拍摄的角度、环境有着很大的差异，使得图像检索的准确度很难达到用户的需求。且图像中的信息量很大，因此实时地从海量图片中搜索到相似图片也较之文本搜索困难。本发明在不明显提高时间复杂度的情况下能提升一些图像检索的性能，具有很大的价值。
目前图像检索的主流技术是基于SIFT特征(参见文献【1】D.G.Lowe,Distinctiveimage features from scale-invariant keypoints,International Journal ofComputer Vision,vol.60,no.2,pp.91-110,2004.)和词袋模型(Bag-of-words)对图像进行表达，然后利用倒排索引的技术完成检索过程。
该类技术从每副图像提取一些关键区域，然后在关键区域处提取一些高维特征，然后利用词袋模型进行量化得到最终的表达。在完成所有图像的表达后利用统计模型计算出每个visual word的tf-idf权重，最后利用倒排文件检索(参见文献【2】J.Sivic,A.Zisserman,Video Google:A text retrieval approach to object matching invideos,IEEE International Conference on Computer Vision,pp.1470-1477,2003.以及文献【3】J.Philbin,O.Chum,M.Isard,et al,Object retrieval with largevocabularies and fast spatial matching,IEEE Conference on Computer Vision andPattern Recognition,pp.1-8,2007.)。
针对该方法的一些缺陷，一些弥补缺陷提升性能的方法被提出，且不会较大提升时间耗费。且一些方法能以兼容的方式结合起来使性能得到更大的提升。
1)Philbin(参见文献【3】J.Philbin,O.Chum,M.Isard,et al,Object retrievalwith large vocabularies and fast spatial matching,IEEE Conference on ComputerVision and Pattern Recognition,pp.1-8,2007.)于2007年提出使用大词典与利用空间信息的re-rank策略完成大规模的图像检索，该方法被广泛作为baseline使用。
2)Philbin(参见文献【4】O.Chum,J.Philbin,J.Sivic,et al,Total recall:Automatic query expansion with a generative feature model for objectretrieval,IEEE International Conference on Computer Vision,pp.1-8,2007.)于2007年Query expansion的方法提升搜索的召回率，即使用初始搜索结果对query进行信息补充。
3)Jégou(参见文献【5】H.Jégou,M.Douze,C.Schmid,Improving bag-of-featuresfor large scale image search,International Journal of Computer Vision,vol.87,no.3,pp.316-336,2010.)于2008年提出了弱化量化误差影响的Hamming Embedding方法，每个SIFT描述子除了量化到一个Visual word外，还与一个二进制编码绑定，该二进制编码与描述子与Visual word的残差相关。
4)Jégou(参见文献【6】H.Jégou,M.Douze,C.Schmid,On the burstiness ofvisual elements,IEEE Conference on Computer Vision and Pattern Recognition,pp.1169-1176,2009.)于2009年提出在图像中，往往有很多word会很大概率多次出现。Jegou在Hamming Embedding的基础上利用更详尽的量化信息进行统计，解决Intra-burstiness(图像内)和Inter-burstiness(图像间)问题。
5)Chatfield(参见文献【7】K.Chatfield,J.Philbin,A.Zisserman,Efficientretrieval of deformable shape classes using local self-similarities,IEEEInternational Conference on Computer Vision Workshops,pp.264-271,2009.)于2009年提出使用自相似性描述子来表达图像，同事选择特征时采用一个描述子与其最近邻和次近邻的距离比作为依据。
6)Chum(参见文献【8】O.Chum,J.Matas.Unsupervised discovery of co-occurrence in sparse high dimensional data,IEEE Conference on Computer Visionand Pattern Recognition,pp.3416-3423,2010.)于2010年提出通过检测一些word的共发性来来减少一些重复元素的重复得分。
7)
Figure BDA0000920475710000021
(参见文献【9】R.
Figure BDA0000920475710000022
A.Zisserman.Three thingseveryone should know to improve object retrieval,IEEE Conference on ComputerVision and Pattern Recognition,pp.2911-2918,2012.)于2012年在Query expansion的基础上提出discriminative query expansion，通过调整各个特征的权重提升搜索性能。
8)Zheng(参见文献【10】L.Zheng,S.Wang,Z.Liu,et al,Lp-norm idf for largescale image search,IEEE Conference on Computer Vision and PatternRecognition,pp.1626-1633,2013.)于2013年提出在计算idf权重时考虑tf权重，来计算各个word的权重。
9)Harel(参见文献【11】J.Harel,C.Koch,P.Perona.Graph-based visualsaliency,Advances in neural information processing systems,pp.545-552,2006.)于2006年提出使用图模型计算图像的显著性。
本发明中旨在使用原始SIFT描述子(而非量化后的特征)解决visual elements的burstiness问题，利用特征间的差异性计算查询图像中各个特征的权重，调整最后的搜索得分。这样能使查询图像中更具信息量的特征在得分中贡献更大，而更具普遍性的特征则会受到压制。该方法能在不大幅提升耗费的同时改进图像搜索的效果。
发明内容
本发明的目的在于：1)能够使用特征差异性调整各特征的权重，提升图像搜索的性能；2)能够不显著提高时间复杂度；3)能够不显著提高内存用量；4)方法不过于复杂，能与其他方法保持良好的兼容性。
本发明采用的技术方案为：一种基于特征差异性的改进图像搜索方法，该方法分为四个步骤，第一步骤使用传统的方法计算出图像的显著性图，将图像划分成多个区域，每个区域分配到一个显著性值；第二步骤使用每个区域内的SIFT描述子计算区域内的SIFT显著性值；第三步骤将前两阶段的显著性值整合在一起，每个SIFT描述子得到新的权重；第四步骤使用新得到的查询图像特征权重完成图像搜索。
1)图像整体显著性计算
本发明中使用被广泛使用的经典显著性计算方法计算出查询图像的大致显著性分布图，图像被划分成许多区域，每个区域分配到一个自己的显著性值。该阶段使用的特征是一些简单的颜色、纹理特征等。
2)图像局部显著性计算
在整体显著性计算时的图像区域划分下，利用每个小区域内所包含的SIFT特征计算出在该区域下每个SIFT特征的局部显著性值。
3)将前两阶段的显著性值整合
在得到前两阶段的显著性值后，将图像的整体在显著性值和区域内的SIFT显著性值整合在一起，对每一个SIFT特征得到一个最后的显著性值，代表每个特征点的重要程度。
4)图像搜索
使用词袋模型和倒排索引的方法完成在待检索图像库中相似图片的搜索，但在计算每个图像的得分时，特征的贡献程度不仅取决于tf-idf权重，也取决于之前计算的显著性值。
本发明与现有技术相比的优点在于：
(1)、本发明使用了显著性权重对搜索得分作出调整，得到了更准确的搜索性能。
(2)、本发明使用了整体显著性和局部显著性结合的方法，在控制时间复杂度的情况下提升了性能。
(3)、本发明算法的时间复杂度和空间复杂度较低。
附图说明
图1为本发明一种基于特征差异性的改进图像搜索方法流程图。
具体实施方式
本发明通过计算查询图像中各个特征的显著性权重调整搜索得分，完成相似图像的搜索。
1.图像整体显著性计算
本发明中利用简单特征先计算出查询图像的显著性大略趋势。因为如果使用SIFT特征完成所有的计算，算法的时间复杂度会是无法忍受的。本发明中采用传统的显著性计算方法，得到一个32*24的显著性图。该步骤中使用的是图像的灰度、颜色、纹理等简单特征，计算特征间的距离矩阵，再使用该矩阵计算其Markov均衡分布，作为其显著性值。基于简单特征处差异大的地方SIFT特征的差异也会较大的假设，但使用简单特征比使用高维的SIFT特征时复杂度会大大降低。
2.图像局部显著性计算
本发明中在得到图像整体的显著性缩略图后，将其映射到原图上，则每个显著性值对应的会是一块图像区域，而每块区域内都包含一些高维SIFT特征，利用这些局部SIFT特征的差异性可以给每个SIFT特征分配一个权重，即局部显著性值。计算此局部显著性值时计算该区域内各个SIFT特征间的特征距离矩阵，与其对应的空间距离矩阵相乘，得到的矩阵看做Markov矩阵，计算其均衡分布，归一化得到的值即是局部显著性值。
3.将前两阶段的显著性值整合
本发明中将前两阶段得到的显著性值整合起来，作为最终各个特征的权重。整合的方法是完成一种类似插值的操作，即每个特征的权重是在其所属区域的显著性值的基础上，加上其所属区域的显著性值与该显著性值的上一级显著性值之差乘以上局部显著性值。
4.图像搜索
使用词袋模型和倒排索引的方法完成在待检索图像库中相似图片的搜索，每个特征在对得分做出贡献时都要乘以其对应的显著性权重。
算法整体流程图如图1所示：
1)读取待查询图像。
2)对图像提取Hessian-affine区域，在每个区域提取SIFT特征，然后使用词袋模型量化。
3)使用Graph-based visual saliency算法计算图像的缩略显著性图。
4)计算每个小区域内各个SIFT特征的局部显著性值。
5)将两个显著性整合在一起，得到新的显著性权重。
6)利用前面计算的权重在待检索的图像库中完成检索。
7)输出搜索结果。
本发明中的算法在Oxford building数据库上经过测试。该数据库中共5063张图片，其中共55个query image，含有query的相关及不相关图像，以MAP(mean averageprecision)作为衡量指标。测试性能上能得到约两个百分点的提升，时间耗费上每幅queryimage实时搜索时增加了约0.1s左右。

Claims (1)

1.一种基于特征差异性的改进图像搜索方法，其特征在于：该方法分为四个步骤，
第一步骤，图像整体显著性计算：使用传统的方法计算出图像的显著性图，将图像划分成多个区域，每个区域分配到一个显著性值；
第二步骤，图像局部显著性计算：使用每个区域内的SIFT描述子计算区域内的SIFT显著性值；在得到图像整体的显著性缩略图后，将其映射到原图上，则每个显著性值对应的会是一块图像区域，而每块区域内都包含一些高维SIFT特征，利用这些局部SIFT特征的差异性给每个SIFT特征分配一个权重，即局部显著性值，计算此局部显著性值时计算该区域内各个SIFT特征间的特征距离矩阵，与其对应的空间距离矩阵相乘，得到的矩阵看做Markov矩阵，计算其均衡分布，归一化得到的值即是局部显著性值；
第三步骤，将前两阶段的显著性值整合：将前两阶段的显著性值整合在一起，每个SIFT描述子得到新的权重；将前两阶段得到的显著性值整合起来，作为最终各个特征的权重，整合的方法是完成一种插值的操作，即每个特征的权重是在其所属区域的整体显著性值的基础上，加上其所属区域的整体显著性值与该显著性值的上一级显著性值之差乘以上局部显著性值；
第四步骤，图像搜索：使用新得到的查询图像特征权重完成图像搜索；
第一步骤中使用被广泛使用的经典显著性计算方法计算出查询图像的显著性分布图，图像被划分成许多区域，每个区域分配到一个自己的显著性值，该第一步骤使用的特征是一些简单的颜色、纹理特征；
第二步骤中在整体显著性计算时的图像区域划分下，利用每个小区域内所包含的SIFT特征计算出在该区域下每个SIFT特征的局部显著性值；
第三步骤中在得到前两阶段的显著性值后，将图像的整体显著性值和区域内的SIFT显著性值整合在一起，对每一个SIFT特征得到一个最后的显著性值，代表每个特征点的重要程度；
第三步骤中使用词袋模型和倒排索引的方法完成在待检索图像库中相似图片的搜索，但在计算每个图像的得分时，每个特征的贡献程度取决于之前计算的显著性值。
CN201610077573.3A 2016-02-02 2016-02-02 一种基于特征差异性的改进图像搜索方法 Active CN105677898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610077573.3A CN105677898B (zh) 2016-02-02 2016-02-02 一种基于特征差异性的改进图像搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610077573.3A CN105677898B (zh) 2016-02-02 2016-02-02 一种基于特征差异性的改进图像搜索方法

Publications (2)

Publication Number Publication Date
CN105677898A CN105677898A (zh) 2016-06-15
CN105677898B true CN105677898B (zh) 2021-07-06

Family

ID=56303497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610077573.3A Active CN105677898B (zh) 2016-02-02 2016-02-02 一种基于特征差异性的改进图像搜索方法

Country Status (1)

Country Link
CN (1) CN105677898B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596976B (zh) * 2018-04-27 2022-02-22 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254015A (zh) * 2011-07-21 2011-11-23 上海交通大学 基于视觉词组的图像检索方法
CN102629328A (zh) * 2012-03-12 2012-08-08 北京工业大学 融合颜色的显著特征概率潜在语义模型物体图像识别方法
CN104408708A (zh) * 2014-10-29 2015-03-11 兰州理工大学 一种基于全局和局部低秩的图像显著目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120879B2 (en) * 2013-11-29 2018-11-06 Canon Kabushiki Kaisha Scalable attribute-driven image retrieval and re-ranking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254015A (zh) * 2011-07-21 2011-11-23 上海交通大学 基于视觉词组的图像检索方法
CN102629328A (zh) * 2012-03-12 2012-08-08 北京工业大学 融合颜色的显著特征概率潜在语义模型物体图像识别方法
CN104408708A (zh) * 2014-10-29 2015-03-11 兰州理工大学 一种基于全局和局部低秩的图像显著目标检测方法

Also Published As

Publication number Publication date
CN105677898A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN108875813B (zh) 一种基于几何图像的三维网格模型检索方法
Qin et al. Hello neighbor: Accurate object retrieval with k-reciprocal nearest neighbors
CN106570141B (zh) 近似重复图像检测方法
Aly et al. Indexing in large scale image collections: Scaling properties and benchmark
US20200372294A1 (en) Video Content Indexing and Searching
Wei et al. Projected residual vector quantization for ANN search
CN103605765A (zh) 一种基于聚类紧凑特征的海量图像检索系统
Liu et al. Uniting keypoints: Local visual information fusion for large-scale image search
CN107145519B (zh) 一种基于超图的图像检索与标注方法
Tavenard et al. Balancing clusters to reduce response time variability in large scale image search
CN105760875A (zh) 基于随机森林算法的判别二进制图像特征相似实现方法
Yang et al. Weakly supervised class-agnostic image similarity search based on convolutional neural network
CN105677898B (zh) 一种基于特征差异性的改进图像搜索方法
JP6368677B2 (ja) 写像学習方法、情報圧縮方法、装置、及びプログラム
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
Wang et al. Improving feature matching strategies for efficient image retrieval
Arun et al. On integrating re-ranking and rank list fusion techniques for image retrieval
Wang et al. Compressed sensing based feature fusion for image retrieval
CN116452803A (zh) 抠图模型的训练方法、抠图方法、装置、设备及存储介质
Barz et al. Content-based image retrieval and the semantic gap in the deep learning era
CN112650869B (zh) 图像检索重排序方法、装置、电子设备及存储介质
CN101894267A (zh) 一种三维对象特征视图选取方法
CN112597329B (zh) 一种基于改进的语义分割网络的实时图像检索方法
Zhou et al. A practical spatial re-ranking method for instance search from videos
Wu et al. Similar image retrieval in large-scale trademark databases based on regional and boundary fusion feature

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220608

Address after: 230093 room 1701, block C, building 1, zone J, phase II, Hefei Innovation Industrial Park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui

Patentee after: SNEGRID ELECTRIC TECHNOLOGY Co.,Ltd.

Address before: 230026 Jinzhai Road, Baohe District, Hefei, Anhui Province, No. 96

Patentee before: University of Science and Technology of China

TR01 Transfer of patent right