CN107045520B - 一种基于位置信息加权词汇树的车辆图像检索方法 - Google Patents
一种基于位置信息加权词汇树的车辆图像检索方法 Download PDFInfo
- Publication number
- CN107045520B CN107045520B CN201611077648.4A CN201611077648A CN107045520B CN 107045520 B CN107045520 B CN 107045520B CN 201611077648 A CN201611077648 A CN 201611077648A CN 107045520 B CN107045520 B CN 107045520B
- Authority
- CN
- China
- Prior art keywords
- image
- visual
- visual word
- sift
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于位置信息加权词汇树的车辆图像检索方法,发明首先提取训练图像的车辆部分,然后对车辆部分提取局部特征,利用分层K均值方法将局部特征量化为视觉单词词汇树,然后将测试图像提取车身部分并提取其局部特征,再将局部特征分配到对应的视觉单词,同时计算局部特征点的空间位置影响信息,并根据特征点与视觉单词之间的从属关系,将特征点的空间位置信息聚类为视觉单词之间的位置影响,然后将视觉单词的空间位置信息作为加权系数,加入到视觉单词的权值匹配中,最后通过相似度排序检索相似图像。该方法在不影响检索时间的基础上,提高了车辆图像的检索准确率,可满足实际应用要求。
Description
技术领域
本发明涉及一种基于位置信息加权词汇树的车辆图像检索方法,属于图像处理与分析在智能交通系统上的应用。
背景技术
车辆图像检索是智能交通系统的重要组成部分,是公安系统破获车辆被盗等相关案件的重要手段。所以面对城市交通中的海量卡口高清图像,车辆图像检索的准确性和高效性对及时破案极为关键。基于词袋模型的图像检索机制是近几年来图像检索领域的主流方法,该方法将大量训练图像特征(通常是SIFT特征)通过k-means聚类映射为视觉单词的集合,构成视觉单词词典。然后将测试图像的特征逐个匹配量化到视觉单词词典中,得到了图像的视觉单词直方图。由于将大量特征量化到视觉单词这个过程时间耗损过大,为此,Nistér等人提出了利用分层k-means聚类的方法生成视觉单词词汇树,有效解决了搜索非层次化单词带来的量化过程太慢的问题,生成的视觉单词由TF-IDF模型(词频-逆文档频率)加权。由于视觉单词词汇树的方法忽略了视觉单词的空间位置信息,因此,本发明将视觉单词的位置信息作为权值引入到视觉单词的匹配中,细化了特征之间的匹配得分,从而提高车辆图像的检索精度。
发明内容
本发明所要解决的技术问题是提供一种基于位置信息加权词汇树的车辆图像检索方法,本发明检索精度较高,且耗时较少,能够满足现实使用中对准确性和实时性的要求。
为解决上述技术问题,本发明所采用的技术方案是:一种基于位置信息加权词汇树的车辆图像检索方法,其特征在于,包括以下部分:
S01、词汇树的创建:对训练图像库中的每幅图像先提取车身部分,对于剔除掉背景部分的车辆图像提取SIFT特征,这样就得到了一个特征集合F={f(i)}。然后对特征集合F进行分层k-means聚类。初始时,在词汇树的第一层上对特征集合F进行第一次k-means聚类,计算出每个聚类的中心向量Ci。类似的,对新产生的每个聚类再用k-means聚类聚成k个簇集,不断地重复上述操作直到树的深度达到预先设定的L值,每个簇集定义为一个视觉单词,得到视觉单词词汇树;
S02、用权值向量来表示图像:提取测试图像库中图像的车身部分,对于剔除掉背景部分的车辆图像提取SIFT特征,分别将每个SIFT特征分配给词汇树中最为接近的视觉单词,然后依据每幅图像中视觉单词出现的次数以及视觉单词与图像的相关程度来计算图像的视觉单词权值;
S03、视觉单词空间位置权值的计算:根据每幅图像SIFT特征之间的距离远近计算SIFT特征点之间的相互影响,再将SIFT点之间的影响转化为视觉单词之间的空间位置信息,计算位置相似度作为权值;
S04、图像相似度计算:将视觉单词的空间位置权值作为加权系数,计算图像权值向量的欧式距离来判断图像之间的相似程度,并将最为相近的图像作为结果输出。
作为本发明的进一步说明,所述步骤S02具体为:
(1)对测试库中每一幅图像首先提取车身部分,对车身部分提取SIFT特征,这样就得到了一个特征集合F={f(i)}以及相应的图像ID集合imgID={id(i)};
(2)根据距离最近原则将SIFT特征分配给词汇树中最邻近的视觉单词,这样每幅图像的SIFT特征就转化成了视觉单词;
(3)wi,j则表示图像dj中视觉单词Fi的权值,即视觉单词Fi与图像dj的相关程度。权值是按照TF-IDF的原理定义的,mi,j表示视觉单词Fi在图像dj中出现的次数,它可以用来衡量视觉单词用来描述图像的好坏程度。N表示图像库中图像的总数,ni表示包含视觉单词Fi的图像数目。逆文献频率定义为idfi=lg(N/ni),它表示的含义是视觉单词对于区分相似图像和不相似图像的作用大小。所以,wi,j可以表示为
作为本发明的进一步改进,所述步骤S03具体为:
(1)定义图像上一个SIFT特征点的空间边界是以u(i)为中心的半径大小为rc×s(i)的一个圆形区域,记为SCRf(i),其中rc为位置空间的尺度系数,用于控制空间上下文区域的大小,本发明设置尺度系数为1.5,u(i)表示特征点所在图像空间的坐标,s(i)是指该特征的尺度;
(5)对于视觉单词Fm,其余视觉单词对它的空间位置影响为SC(Fm)=[c1(Fm),c2(Fm),L,ct(Fm)],对于查询图像q和图像库中的图像d的同一个视觉单词Fm,它的空间位置信息相似度表示为
本发明的有益效果是,将视觉单词的位置特征作为加权系数,加入到视觉单词的权值匹配中去,细化了特征之间的匹配得分,在没有影响检索时间的基础上,提高了车辆图像检索的准确率。
附图说明
图1为本发明所提供的一种基于位置信息加权词汇树的车辆图像检索方法流程图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明,但应当说明的是,这些实施方式并非对本发明的限制,本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代,均属于本发明的保护范围之内。
针对当前基于词袋模型以及词汇树的车辆图像检索方法忽略了其特征之间的空间位置信息影响,本发明提出了一种基于位置信息加权词汇树的车辆图像检索方法,下面进行详细说明:
在本实施方式中,一种基于位置信息加权词汇树的车辆检索方法,其包括以下部分:
S01、词汇树的创建:对训练图像库中的每幅图像先提取车身部分,对于剔除掉背景部分的车辆图像提取SIFT特征,这样就得到了一个特征集合F={f(i)}。然后对特征集合F进行分层k-means聚类。初始时,在词汇树的第一层上对特征集合F进行第一次k-means聚类,计算出每个聚类的中心向量Ci。类似的,对新产生的每个聚类再用k-means聚类聚成k个簇集,不断地重复上述操作直到树的深度达到预先设定的L值,每个簇集定义为一个视觉单词,得到视觉单词词汇树;
S02、用权值向量来表示图像:提取测试图像库中图像的车身部分,对于剔除掉背景部分的车辆图像提取SIFT特征,分别将每个SIFT特征分配给词汇树中最为接近的视觉单词,然后依据每幅图像中视觉单词出现的次数以及视觉单词与图像的相关程度来计算图像的视觉单词权值;
所述步骤S02具体为:
(1)对测试库中每一幅图像首先提取车身部分,对车身部分提取SIFT特征,这样就得到了一个特征集合F={f(i)}以及相应的图像ID集合imgID={id(i)};
(2)根据距离最近原则将SIFT特征分配给词汇树中最邻近的视觉单词,这样每幅图像的SIFT特征就转化成了视觉单词;
(3)wi,j则表示图像dj中视觉单词Fi的权值,即视觉单词Fi与图像dj的相关程度。权值是按照TF-IDF的原理定义的,mi,j表示视觉单词Fi在图像dj中出现的次数,它可以用来衡量视觉单词用来描述图像的好坏程度。N表示图像库中图像的总数,ni表示包含视觉单词Fi的图像数目。逆文献频率定义为idfi=lg(N/ni),它表示的含义是视觉单词对于区分相似图像和不相似图像的作用大小。所以,wi,j可以表示为
S03、视觉单词空间位置权值的计算:根据每幅图像SIFT特征之间的距离远近计算SIFT特征点之间的相互影响,再将SIFT点之间的影响转化为视觉单词之间的空间位置信息,计算位置相似度作为权值;
所述步骤S03具体为:
(1)定义图像上一个SIFT特征点的空间边界是以u(i)为中心的半径大小为rc×s(i)的一个圆形区域,记为SCRf(i),其中rc为位置空间的尺度系数,用于控制空间上下文区域的大小,本发明设置尺度系数为1.5,u(i)表示特征点所在图像空间的坐标,s(i)是指该特征的尺度;
(5)对于视觉单词Fm,一幅图像中其余视觉单词对它的空间位置影响为SC(Fm)=[c1(Fm),c2(Fm),L,ct(Fm)],对于查询图像q和图像库中的图像d的同一个视觉单词Fm,它的空间位置信息相似度表示为
S04、图像相似度计算:将视觉单词的空间位置权值作为加权系数,计算图像权值向量的欧式距离来判断图像之间的相似程度,并将最为相近的图像作为结果输出。
以上已以较佳实施例公开了本发明,然其并非用以限制本发明,凡采用等同替换或者等效变换方式所获得的技术方案,均落在本发明的保护范围之内。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (2)
1.一种基于位置信息加权词汇树的车辆图像检索方法,其特征在于,包括以下步骤:
S01、词汇树的创建:对训练图像库中的每幅图像先提取车身部分,对于剔除掉背景部分的车辆图像提取SIFT特征,得到一个特征集合F={f(i)},然后对特征集合F进行分层k-means聚类,初始时,在词汇树的第一层上对特征集合F进行第一次k-means聚类,计算出每个聚类的中心向量Ci,类似的,对新产生的每个聚类再用k-means聚类聚成k个簇集,不断地重复上述操作直到树的深度达到预先设定的L值,每个簇集定义为一个视觉单词,得到视觉单词词汇树;
S02、用权值向量来表示图像:提取测试图像库中图像的车身部分,对于剔除掉背景部分的车辆图像提取SIFT特征,分别将每个SIFT特征分配给词汇树中最为接近的视觉单词,然后依据每幅图像中视觉单词出现的次数以及视觉单词与图像的相关程度来计算图像的视觉单词权值;
S03、视觉单词空间位置权值的计算:根据每幅图像SIFT特征之间的距离远近计算SIFT特征点之间的相互影响,再将SIFT点之间的影响转化为视觉单词之间的空间位置信息,计算位置相似度作为权值;
S04、图像相似度计算:将视觉单词的空间位置权值作为加权系数,计算图像权值向量的欧式距离来判断图像之间的相似程度,并将最为相近的图像作为结果输出;
所述步骤S03包括:
(1)定义图像上一个SIFT特征点的空间边界是以u(i)为中心的半径大小为rc×s(i)的一个圆形区域,记为SCRf(i),其中rc为位置空间的尺度系数,用于控制空间上下文区域的大小,设置尺度系数为1.5,u(i)表示特征点所在图像空间的坐标,s(i)是指该特征的尺度;
2.根据权利要求1所述的一种基于位置信息加权词汇树的车辆图像检索方法,所述步骤S02包括:
(1)对测试库中每一幅图像首先提取车身部分,对车身部分提取SIFT特征,得到特征集合F={f(i)}以及相应的图像ID集合imgID={id(i)};
(2)根据距离最近原则将SIFT特征分配给词汇树中最邻近的视觉单词,每幅图像的SIFT特征转化成视觉单词;
(3)wi,j则表示图像dj中视觉单词Fi的权值,即视觉单词Fi与图像dj的相关程度,权值是按照TF-IDF的原理定义的,mi,j表示视觉单词Fi在图像dj中出现的次数,用于衡量视觉单词用来描述图像的好坏程度,N表示图像库中图像的总数,ni表示包含视觉单词Fi的图像数目,逆文献频率定义为idfi=lg(N/ni),它表示的含义是视觉单词对于区分相似图像和不相似图像的作用大小,所以,wi,j表示为
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611077648.4A CN107045520B (zh) | 2016-11-29 | 2016-11-29 | 一种基于位置信息加权词汇树的车辆图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611077648.4A CN107045520B (zh) | 2016-11-29 | 2016-11-29 | 一种基于位置信息加权词汇树的车辆图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107045520A CN107045520A (zh) | 2017-08-15 |
CN107045520B true CN107045520B (zh) | 2020-07-03 |
Family
ID=59542792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611077648.4A Active CN107045520B (zh) | 2016-11-29 | 2016-11-29 | 一种基于位置信息加权词汇树的车辆图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107045520B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710690A (zh) * | 2018-05-22 | 2018-10-26 | 长春师范大学 | 基于几何验证的医学图像检索方法 |
CN109977286B (zh) * | 2019-03-21 | 2022-10-28 | 中国科学技术大学 | 基于内容的信息检索方法 |
CN110458175B (zh) * | 2019-07-08 | 2023-04-07 | 中国地质大学(武汉) | 一种基于词汇树检索的无人机影像匹配对选择方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447120B2 (en) * | 2008-10-04 | 2013-05-21 | Microsoft Corporation | Incremental feature indexing for scalable location recognition |
CN101763647A (zh) * | 2010-02-02 | 2010-06-30 | 浙江大学 | 一种基于关键帧的实时摄像机跟踪方法 |
CN102663411B (zh) * | 2012-02-29 | 2014-06-11 | 宁波大学 | 一种目标人体识别方法 |
CN103020111B (zh) * | 2012-10-29 | 2015-06-17 | 苏州大学 | 基于词汇树层次语义模型的图像检索方法 |
US9710493B2 (en) * | 2013-03-08 | 2017-07-18 | Microsoft Technology Licensing, Llc | Approximate K-means via cluster closures |
CN103778227B (zh) * | 2014-01-23 | 2016-11-02 | 西安电子科技大学 | 从检索图像中筛选有用图像的方法 |
-
2016
- 2016-11-29 CN CN201611077648.4A patent/CN107045520B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107045520A (zh) | 2017-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106776856B (zh) | 一种融合颜色特征与词汇树的车辆图像检索方法 | |
Chen et al. | The image annotation algorithm using convolutional features from intermediate layer of deep learning | |
US10929649B2 (en) | Multi-pose face feature point detection method based on cascade regression | |
CN104850633B (zh) | 一种基于手绘草图部件分割的三维模型检索系统及方法 | |
WO2018137358A1 (zh) | 基于深度度量学习的目标精确检索方法 | |
CN102521366B (zh) | 融合分类与全局索引的图像检索方法和图像检索系统 | |
CN106682233A (zh) | 一种基于深度学习与局部特征融合的哈希图像检索方法 | |
US20190065913A1 (en) | Search method and information processing apparatus | |
CN107045520B (zh) | 一种基于位置信息加权词汇树的车辆图像检索方法 | |
Ye et al. | A new re-ranking method based on convolutional neural network and two image-to-class distances for remote sensing image retrieval | |
CN109635140B (zh) | 一种基于深度学习和密度峰值聚类的图像检索方法 | |
CN110751027B (zh) | 一种基于深度多示例学习的行人重识别方法 | |
Lou et al. | An image classification algorithm based on bag of visual words and multi-kernel learning | |
CN105809113A (zh) | 三维人脸识别方法及应用其的数据处理装置 | |
CN103839074A (zh) | 一种基于素描线段信息和空间金字塔匹配的图像分类方法 | |
CN106203508A (zh) | 一种基于Hadoop平台的图像分类方法 | |
JP2014211730A (ja) | 画像検索システム、画像検索装置および画像検索方法 | |
Sun et al. | Search by detection: Object-level feature for image retrieval | |
CN108549915A (zh) | 基于二值权重的图像哈希码训练模型算法及分类学习方法 | |
Shekar et al. | An unification of inner distance shape context and local binary pattern for shape representation and classification | |
CN104965928A (zh) | 一种基于形状匹配的汉字图像检索方法 | |
Gao et al. | Efficient view-based 3-D object retrieval via hypergraph learning | |
Xie et al. | K-means clustering based on density for scene image classification | |
Basak et al. | An improved Bag-of-Features approach for object recognition from natural images | |
Wang et al. | Boosting 3d model retrieval with class vocabularies and distance vector revision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |