CN102945373A - 基于上下文的局部空间信息建模方法 - Google Patents
基于上下文的局部空间信息建模方法 Download PDFInfo
- Publication number
- CN102945373A CN102945373A CN2012104083678A CN201210408367A CN102945373A CN 102945373 A CN102945373 A CN 102945373A CN 2012104083678 A CN2012104083678 A CN 2012104083678A CN 201210408367 A CN201210408367 A CN 201210408367A CN 102945373 A CN102945373 A CN 102945373A
- Authority
- CN
- China
- Prior art keywords
- context
- local feature
- local
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于上下文的局部空间信息建模方法,包括步骤:在提取每个图像的局部特征后,提取相应的上下文特征;根据每个局部特征对应的视觉单词,从测试图像中随机提取局部特征分组;利用聚类算法,在各组局部特征对应的上下文特征集合上训练得到多组上下文模式;根据局部特征对应的不同上下文模式进行聚集操作,将聚集结果串联得到图像的最终表达。本发明对于未经过对齐处理的图像,依然能够有效地处理其空间信息。在实际应用中,将该方法与现有的考虑绝对空间关系的方法相结合,还能够进一步提升图像分类精度。
Description
技术领域
本发明涉及模式识别,特别涉及基于BoF(bag-of-features)模型的图像分类
背景技术
目前,传统分类算法缺乏有效地表达图像空间信息的能力。这也是计算机视觉系统与人眼视觉系统相比在识别精度上仍存在着巨大差距的重要原因之一。常用的图像空间建模方法往往都只能处理绝对空间信息,例如,金字塔空间匹配算法。这类算法常常要依赖于数据集的偏向性才能发挥作用,只对经过对齐处理的图像有效,而对存在较大偏移的图像甚至完全失效。
因此,鉴于只考虑绝对空间信息的算法已无法满足实际需要,我们提出了一种基于局部特征的上下文的方法来处理图像中的局部空间信息。
发明内容
为了解决现有技术存在的问题,本发明的目的是提供一种基于上下文的局部空间信息建模方法。
一种基于上下文的局部空间信息建模方法,包括步骤:
a在提取每个图像的局部特征后,提取相应的上下文特征;
b根据每个局部特征对应的视觉单词,从测试图像中随机提取局部特征分组;
c利用聚类算法,在各组局部特征对应的上下文特征集合上训练得到多组上下文模式;
d根据局部特征对应的不同上下文模式进行聚集操作,将聚集结果串联得到图像的最终表达。
本发明对于未经过对齐处理的图像,依然能够有效地处理其空间信息。在实际应用中,将该方法与现有的考虑绝对空间关系的方法相结合,还能够进一步提升图像分类精度。
附图说明
图1是基于局部特征上下文的图像分类方法流程图。
具体实施方式
以下结合附图详细说明本发明技术方案中所涉及的各个细节问题。应当指出的是,所描述的实施例仅旨在便于理解,对本发明不起任何限定作用。
基于局部特征的上下文信息,本发明实现了一个图像分类系统。传统的图像分类系统可以分为提取局部特征,训练视觉词典,表达图像,训练分类器以及执行图像分类五个部分。在此基础之上,本发明加入了提取上下文特征、训练上下文词典以及基于上下文的多次聚集这三个主要步骤,其流程图所如图1示。以下详细说明本发明的方法涉及的关键步骤。
首先,在提取每个图像的局部特征(S1)之后,提取相应的上下文特征(S3)。即提取局部特征的周围区域并将其看作一张图像,用其中的局部特征在预先训练好的视觉词典上投票,从而得到统一形式的上下文表达:
ci=φ(li,BC) (1)
其中,BC表示视觉词典;φ表示位于li的局部特征的上下文区域的表达。
其次,根据每个局部特征所对应的视觉单词(即按照欧式距离计算最近的视觉单词),将从测试图像中随机提取的局部特征分组(S4)。
第三,利用聚类算法(如:k近邻聚类算法、混合高斯模型聚类算法等),在各组局部特征对应的上下文特征集合上训练得到多组上下文模式(S5)。
第四,对于所有图像,根据局部特征对应的上下文模式的不同,进行聚集操作(或多次聚集操作)并将聚集结果串联从而得到图像的最终表达(S7):
其中,vj表示与第j个视觉单词bj相关的最终表达;zj∈RM表示图像中的M个局部特征对于视觉单词bj的响应,即用视觉词典对局部特征编码的结果(S6);St表示所有与第t个上下文模式pt相对应的所有局部特征的集合;et∈RM表示与St相关的一个权重向量。以上描述均是在使用硬投票编码方法以及求和聚集的前提下给出,与其它的编码方法(如:软投票、稀疏编码、Super-vector编码、Fisher编码等)以及聚集方法(如:最大值聚集、加权求和聚集等)对应的公式,可以通过修改公式(3)得到,此处不再赘述。
最后,将图像的最终表达作为特征送入支持向量机分类器进行训练(S8)和测试(S9)。
实施例:
为了详细说明本发明的具体实施方式,以某场景分类数据集为例说明。该数据集包含4000余张图像,分别展示了15种不同的场景。实现的系统能够根据图像的内容,给出图像所展示场景的类别标签。具体步骤如下:
从每类场景中随机挑选出100张图像,形成训练图像集。剩下的所有图片组成测试集。
步骤S1,从所有图像中以密集采样的方式提取SIFT局部特征。
步骤S2,从训练集中随机抽取出100万个局部特征,利用k近邻聚类算法学习得到一个包含1024个视觉单词的视觉词典。
步骤S3,提取每个局部特征周围区域作为其上下文区域,并以在S2中得到的视觉词典上硬投票的方式来得到上下文特征。
步骤S4,以硬投票的方式将S2中得到的100万个局部特征分配给视觉词典中的1024个视觉单词,从而形成1024组局部特征。
步骤S5,对于S4中得到的每一组局部特征,找到S3中得到的与之对应的上下文特征,并利用k近邻聚类算法对各组上下文特征得到一个包含8个上下文模式的上下文词典。
步骤S6,以在视觉词典上硬投票的方式对每张图像的局部特征分别进行编码。
步骤S7,对于每张图片的局部特征,根据其上下文特征所对应的上下文模式的不同,分别进行8次聚集操作,并将所有聚集结果与带有金字塔空间匹配的图像表达串联起来,形成最终表达。
步骤S8,将训练图像的表达送入支持向量机训练分类器。
步骤S9,将测试图像的表达送入S8中得到的分类器进行分类。
以上所述,仅为本发明的具体实施方式之一,本发明的保护范围并不局限于此。任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或者替换,都应涵盖在本发明的范围之内。因此,本发明的保护范围应以权利要求书的保护范围为准。
Claims (10)
1.一种基于上下文的局部空间信息建模方法,包括步骤:
a在提取每个图像的局部特征后,提取相应的上下文特征;
b根据每个局部特征对应的视觉单词,从测试图像中随机提取局部特征分组;
c利用聚类算法,在各组局部特征对应的上下文特征集合上训练得到多组上下文模式;
d根据局部特征对应的不同上下文模式进行聚集操作,将聚集结果串联得到图像的最终表达。
2.根据权利要求1所述的方法,其特征在于在视觉词典上以硬投票的方式得到相应的上下文特征。
3.根据权利要求1所述的方法,其特征在于以硬投票的方式将局部特征分配给视觉词典中的各个视觉单词,得到多组局部特征。
4.根据权利要求1所述的方法,其特征在于提取局部特征的周围区域并转换成统一的上下文表达。
5.根据权利要求4所述的方法,其特征在于对局部特征的上下文表达进行非监督学习从而得到局部特征的上下文模式。
6.根据权利要求1所述的方法,其特征在于对不同的视觉单词,自适应地学习不同的上下文模式。
7.根据权利要求1所述的方法,其特征在于根据局部特征对应的不同上下文模式,对局部特征进行多次聚集。
8.根据权利要求1所述的方法,其特征在于所述聚类算法包括k近邻聚类算法或混合高斯模型聚类算法。
9.根据权利要求1所述的方法,其特征在于所述步骤d采用硬投票编码方法以及求和聚集。
10.根据权利要求1所述的方法,其特征在于所述步骤d采用软投票编码方法、稀疏编码法、Super-vector编码法或Fisher编码法以及最大值聚集或加权求和聚集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012104083678A CN102945373A (zh) | 2012-10-24 | 2012-10-24 | 基于上下文的局部空间信息建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012104083678A CN102945373A (zh) | 2012-10-24 | 2012-10-24 | 基于上下文的局部空间信息建模方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102945373A true CN102945373A (zh) | 2013-02-27 |
Family
ID=47728312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012104083678A Pending CN102945373A (zh) | 2012-10-24 | 2012-10-24 | 基于上下文的局部空间信息建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102945373A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104067314A (zh) * | 2014-05-23 | 2014-09-24 | 中国科学院自动化研究所 | 人形图像分割方法 |
CN106203445A (zh) * | 2016-06-30 | 2016-12-07 | 北京小白世纪网络科技有限公司 | 一种基于大规模词典迁移的词典构造方法 |
CN111829579A (zh) * | 2020-06-02 | 2020-10-27 | 深圳全景空间工业有限公司 | 一种室内空间重建的方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102388392A (zh) * | 2009-02-10 | 2012-03-21 | 公立大学法人大阪府立大学 | 模式识别设备 |
-
2012
- 2012-10-24 CN CN2012104083678A patent/CN102945373A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102388392A (zh) * | 2009-02-10 | 2012-03-21 | 公立大学法人大阪府立大学 | 模式识别设备 |
Non-Patent Citations (3)
Title |
---|
杨蕾等: "基于多尺度上下文信息的图像目标分类算法", 《控制与决策》, vol. 26, no. 11, 30 November 2011 (2011-11-30), pages 1643 - 1648 * |
江悦等: "采用上下文金字塔特征的场景分类", 《计算机辅助设计与图形学学报》, vol. 22, no. 8, 31 August 2010 (2010-08-31), pages 1366 - 1373 * |
胡正平等: "多方向上下文特征结合空间金字塔模型的场景分类", 《信号处理》, vol. 27, no. 10, 31 October 2011 (2011-10-31), pages 1536 - 1542 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104067314A (zh) * | 2014-05-23 | 2014-09-24 | 中国科学院自动化研究所 | 人形图像分割方法 |
CN104067314B (zh) * | 2014-05-23 | 2017-03-08 | 银河水滴科技(北京)有限公司 | 人形图像分割方法 |
CN106203445A (zh) * | 2016-06-30 | 2016-12-07 | 北京小白世纪网络科技有限公司 | 一种基于大规模词典迁移的词典构造方法 |
CN106203445B (zh) * | 2016-06-30 | 2019-05-07 | 北京小白世纪网络科技有限公司 | 一种基于大规模词典迁移的词典构造方法 |
CN111829579A (zh) * | 2020-06-02 | 2020-10-27 | 深圳全景空间工业有限公司 | 一种室内空间重建的方法 |
CN111829579B (zh) * | 2020-06-02 | 2022-05-20 | 深圳全景空间工业有限公司 | 一种室内空间重建的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gkioxari et al. | Actions and attributes from wholes and parts | |
Xiao et al. | Sun database: Large-scale scene recognition from abbey to zoo | |
Altwaijry et al. | Learning to match aerial images with deep attentive architectures | |
CN101894276B (zh) | 人体动作识别的训练方法和识别方法 | |
CN102629328B (zh) | 一种融合颜色的显著特征概率潜在语义模型物体图像识别方法 | |
Redondo-Cabrera et al. | Surfing the point clouds: Selective 3d spatial pyramids for category-level object recognition | |
CN101807259B (zh) | 一种基于视觉词汇本集体的不变性识别方法 | |
CN102968635B (zh) | 一种基于稀疏编码的图像视觉特征提取方法 | |
CN103927511B (zh) | 基于差异特征描述的图像识别方法 | |
CN103020647A (zh) | 基于级联的sift特征和稀疏编码的图像分类方法 | |
Zafar et al. | Intelligent image classification-based on spatial weighted histograms of concentric circles | |
CN110210534B (zh) | 基于多包融合的高分遥感图像场景多标签分类方法 | |
CN103400154B (zh) | 一种基于有监督等距映射的人体动作识别方法 | |
CN104598920B (zh) | 基于Gist特征与极限学习机的场景分类方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN103186776B (zh) | 基于多特征和深度信息的人体检测方法 | |
CN102364497A (zh) | 一种应用于电子导盲系统的图像语义提取方法 | |
Verma et al. | A new color SIFT descriptor and methods for image category classification | |
CN106203448A (zh) | 一种基于非线性尺度空间的场景分类方法 | |
Qi et al. | Im2sketch: Sketch generation by unconflicted perceptual grouping | |
Li et al. | Aligning discriminative and representative features: An unsupervised domain adaptation method for building damage assessment | |
CN106650798B (zh) | 一种结合深度学习与稀疏表示的室内场景识别方法 | |
CN103246895B (zh) | 基于深度信息的图像分类方法 | |
Khan et al. | Scale coding bag-of-words for action recognition | |
Van de Weijer et al. | Fusing color and shape for bag-of-words based object recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130227 |