CN108830313B - 一种共生模式图像挖掘方法 - Google Patents
一种共生模式图像挖掘方法 Download PDFInfo
- Publication number
- CN108830313B CN108830313B CN201810556701.1A CN201810556701A CN108830313B CN 108830313 B CN108830313 B CN 108830313B CN 201810556701 A CN201810556701 A CN 201810556701A CN 108830313 B CN108830313 B CN 108830313B
- Authority
- CN
- China
- Prior art keywords
- groups
- visual
- symbiotic
- clustering
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种共生模式图像挖掘方法,包括如下步骤:(1)利用SIFT算法提取图像中的视觉基元;(2)利用语境感知聚类将视觉基元聚类成语境相似组;(3)利用空间聚类将语境相似组分成对象组;(4)合并匹配模式,圈定对象组;(5)对每个对象组进行共生频率检测,在共生频率检测规则下筛出有意义的共生模式。本发明能快速,准确的发现图片中的共生视觉模式,以便于后续的视觉任务。
Description
技术领域
本发明涉及一种共生模式图像挖掘方法,属于图像检索技术领域。
背景技术
有意义的共生视觉模式被定义为在具有相似空间结构的图像中多次出现的模式。与背景相比,有意义的图案具有高视觉显着性,有意义的视觉模式是图像的重要特征,所以它们通常会使图像更加鲜明。发现有意义的经常性视觉模式在计算机视觉中有许多应用,例如图像识别和分割,图像编码,压缩和汇总,图像分类和注释以及对象检索。目前基本上有两种方法来挖掘发现图像中的主题模式:(1)成对匹配,比较特征点之间的数量;(2)语境感知聚类,它在聚类时考虑了视觉基元的空间结构。然而,这两种方法存在严重的问题:即使已经采用优化方法,成对匹配算法中特征点之间的搜索和匹配过程也会导致高的计算复杂度。对于语境感知聚类算法,尽管寻找共生模式时可以避免搜索和匹配,但问题是无法从聚类结果中的所有模式中挑出最有意义的视觉模式。
目前,多媒体数据暴增,互联网上很多图片、视频亟待被提取主题,以便于分类,检索。没有先验知识,很难确定目标群体的重要性。因此,寻找一种快速,简洁,有效的共生模式挖掘算法就显得尤为重要。凭借这一算法,一些具有共生模式的图片/视频可以被自动提取出来,并根据提取出的共生模式进行图片/视频分类,显然是有必要的。
发明内容
本发明的发明目的是提供一种共生模式图像挖掘方法,能快速,准确的发现图片中的共生视觉模式。
为达到上述发明目的,本发明采用的技术方案是:一种共生模式图像挖掘方法,包括如下步骤:
(1)利用SIFT算法提取图像中的视觉基元;
(2)利用语境感知聚类将视觉基元聚类成语境相似组;
(3)利用空间聚类将语境相似组分成对象组;
(4)合并匹配模式,圈定对象组;
(5)对每个对象组进行共生频率检测,在共生频率检测规则下筛出有意义的共生模式。
优选地,步骤(2)在所述语境感知聚类中,使用原始特征的K均值聚类,将视觉基元分类为M个不同的视觉词汇,然后在每个基元的预定空间邻域内产生一个M维合集矢量,然后采用嵌套EM算法来最小化损失函数并且最终获得个语境相似组。
优选地,所述步骤(3)具体包括:应用K均值算法来生成空间分离的图案;采用轮廓系数方法来评估K均值算法在不同簇数量下的分类性能,确定空间聚类的数量,通过评估,选择最佳数量的簇,通过空间聚类,获得模式的中级描述,即对象组。
如果F(p,q)>ηP,将组Wp和Wq合并,其中P是所有上下文相同的组中的对象组的总体量,并且η是阈值参数;对于合并的W组,再次应用空间聚类来将其划分为对象组;利用最大得分法定位对象组使用矩形区域圈定对象组使其内部得分最高;当圈定对象组时,将正得分ξ分配给属于的视觉基元,而负得分ζ被分配给图像中的其他像素。
上述技术方案中,步骤(2)中的语境感知聚类旨在将所有视觉基元分类为更高级别的候选模式,以发现有意义的共生模式。共生视觉模式通常具有相似的空间结构以及相似的特征描述符。因此,为了将视觉基元在特征域聚类,采用语境感知聚类作为算法的第一步。在语境感知聚类中,通过使用原始特征的K均值聚类,视觉基元被分类为M个不同的视觉词汇。然后,在每个基元的预定空间邻域内,可以产生一个M维合集(视觉短语)矢量,它表示在邻域中出现的不同类别的视觉基元的共现。这些合集使我们能够通过进一步应用K均值聚类发现更高层次的空间模式。语境感知聚类算法通过对视觉基元和视觉合集的K均值聚类目标进行联合优化,可以减少视觉原始聚类的模糊性,提高模式挖掘结果。因此,使用语境感知聚类来挖掘视觉模式。
在语境感知聚类中,损失函数可以表示为:
其中rij是视觉基元的二进制指示标,rij=1代表第i个视觉基元被标记为第j个视觉词语,反之亦然;r‘ij是视觉合集的二进制指示标,r’ij=1代表第i个视觉合集被标记为第j个视觉短语,反之亦然。d(fi,uj)代表fi和uj的欧式距离,代表ti和间的汉明距离。
损失函数的第一项表示视觉基元{fi}与视觉词语中心{uj}之间的失真,而第二项表示交易{ti}和视觉短语中心之间的失真。结合这两个方面,具有相似特征和空间结构的视觉基元可以归入同一组。采用嵌套EM算法来最小化损失函数并且最终获得个语境相似组。在相同的语境相似组中的视觉基元表现出它们的在特征描述符和空间结构上的相似性,这暗示这些基元是特定视觉模式的组成元素。
嵌套EM算法是用来优化语境聚类的损失函数的迭代算法,对于损失函数:
其中J1和J2项是耦合的,意味着无法通过分别最小化这两项来最小化J。因此,对损失函数做如下变形:先定义矩阵Q,Q中元素qij=1表示第i个视觉基元属于第j个视觉基元的空间上下文。因此合集的数据集T可以被表示为T=RQ。视觉合集与视觉短语的失真矩阵可表示为于是,损失函数可以表示为:
由于上述技术方案运用,本发明与现有技术相比具有下列优点:
本发明能快速,准确的发现图片中的共生视觉模式,以便于后续的视觉任务:例如图像识别和分割,图像编码,压缩和汇总,图像分类和注释以及对象检索。
附图说明
图1是本发明的流程示意图。
图2是本发明实施例一中通过语境感知聚类得到的语境相似的组的示意图。
具体实施方式
下面结合附图及实施例对本发明作进一步描述:
实施例一:参见图1所示,为本发明的流程示意图,现有一张含有共生模式的图像,
(1)首先用SIFT(尺度不变特征变换)算法提取出视觉基元,
(2)然后用语境感知聚类对这些基元进行聚类。通过使用原始特征的K均值聚类,视觉基元被分类为M个不同的视觉词汇。然后,在每个基元的预定空间邻域内,可以产生一个M维合集(视觉短语)矢量,它表示在邻域中出现的不同类别的视觉基元的共现。这些合集能够通过进一步应用K均值聚类发现更高层次的空间模式。
我们的目标是最小化其损失函数:
采用嵌套EM算法来优化这个损失函数,先将损失函数改写:
(3)在语境感知聚类之后,获得了个语境相似的组,参见图2所示。每个语境相似组表示为Wk={vj},其中vj是由SIFT检测到的视觉基元。再次应用K均值算法来生成空间分离的图案。为了确定空间聚类的数量,我们采用轮廓系数方法来评估K均值算法在不同簇数量下的分类性能。通过评估,我们可以选择最佳数量的簇。通过空间聚类,获得模式的中级描述,即对象组。我们使用来表示Wk中第j个对象组。每个对象组是一个候选视觉模式。
(4)在空间聚类之后,Wk可以从对象组推导出:虽然不同的语境相似的组代表不同的模式,但是我们仍然可以使用它们之间的空间相关性来挖掘更高级别的模式。假设对象组和一直一起出现,这种空间依赖性可能表明了一种潜在的高级模式。也就是说,可能是一种匹配模式。在这种情况下,为了完美地复原共生模式,Wp和Wq应该被合并。
其中xj是vj的位置。
如果F(p,q)>ηP,组Wp和Wq将被合并,其中P是所有上下文相同的组中的对象组的总体量,并且η是阈值参数。对于合并的W组,需要再次应用空间聚类来将其划分为对象组。
Claims (3)
1.一种共生模式图像挖掘方法,其特征在于,包括如下步骤:
(1)利用SIFT算法提取图像中的视觉基元;
(2)利用语境感知聚类将视觉基元聚类成语境相似组;
(3)利用空间聚类将语境相似组分成对象组;
(4)合并匹配模式,圈定对象组;
如果,将组和合并,其中P是所有上下文相同的组中的对象组的总体量,并且是阈值参数;对于合并的W组,再次应用空间聚类来将其划分为对象组;利用最大得分法定位对象组,使用矩形区域圈定对象组,,使其内部得分最高;当圈定对象组时,将正得分μ分配给属于的视觉基元,而负得分被分配给图像中的其他像素;
(5)对每个对象组进行共生频率检测, 在共生频率检测规则下筛出有意义的共生模式;
3.根据权利要求1所述的共生模式图像挖掘方法,其特征在于,所述步骤(3)具体包括:应用K均值算法来生成空间分离的图案;采用轮廓系数方法来评估K均值算法在不同簇数量下的分类性能,确定空间聚类的数量,通过评估,选择最佳数量的簇,通过空间聚类,获得模式的中级描述,即对象组。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810556701.1A CN108830313B (zh) | 2018-05-31 | 2018-05-31 | 一种共生模式图像挖掘方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810556701.1A CN108830313B (zh) | 2018-05-31 | 2018-05-31 | 一种共生模式图像挖掘方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108830313A CN108830313A (zh) | 2018-11-16 |
CN108830313B true CN108830313B (zh) | 2021-11-09 |
Family
ID=64146841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810556701.1A Active CN108830313B (zh) | 2018-05-31 | 2018-05-31 | 一种共生模式图像挖掘方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108830313B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
CN103902965A (zh) * | 2012-12-29 | 2014-07-02 | 深圳先进技术研究院 | 空域共生图像表示方法及其在图像分类、识别中的应用 |
CN104102922A (zh) * | 2014-07-15 | 2014-10-15 | 中国科学院合肥物质科学研究院 | 一种基于上下文感知字典学习的害虫图像分类方法 |
CN104200220A (zh) * | 2014-08-21 | 2014-12-10 | 武汉大学 | 一种基于静态纹理模型聚集的动态纹理识别方法 |
CN106971158A (zh) * | 2017-03-23 | 2017-07-21 | 南京邮电大学 | 一种基于CoLBP共生特征与GSS特征的行人检测方法 |
-
2018
- 2018-05-31 CN CN201810556701.1A patent/CN108830313B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103902965A (zh) * | 2012-12-29 | 2014-07-02 | 深圳先进技术研究院 | 空域共生图像表示方法及其在图像分类、识别中的应用 |
CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
CN104102922A (zh) * | 2014-07-15 | 2014-10-15 | 中国科学院合肥物质科学研究院 | 一种基于上下文感知字典学习的害虫图像分类方法 |
CN104200220A (zh) * | 2014-08-21 | 2014-12-10 | 武汉大学 | 一种基于静态纹理模型聚集的动态纹理识别方法 |
CN106971158A (zh) * | 2017-03-23 | 2017-07-21 | 南京邮电大学 | 一种基于CoLBP共生特征与GSS特征的行人检测方法 |
Non-Patent Citations (3)
Title |
---|
context-aware clustering;Junsong Yuan;《2008 IEEE conferece of computer vision and pattern recognition》;20080628;1-8页 * |
Context-Aware Discovery of Visual Co-occurrence Patterns;hongxing wang;《IEEE transactions on image processing》;20140225;15-28页 * |
基于聚类分析和SIFT的图像感知哈希算法;古明涛;《数据通信》;20150331;36-40页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108830313A (zh) | 2018-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ibrahim et al. | Cluster representation of the structural description of images for effective classification | |
EP2805262B1 (en) | Image index generation based on similarities of image features | |
US9483701B1 (en) | System and method for using segmentation to identify object location in images | |
CN110222218B (zh) | 基于多尺度NetVLAD和深度哈希的图像检索方法 | |
CN110751027B (zh) | 一种基于深度多示例学习的行人重识别方法 | |
WO2023108995A1 (zh) | 向量相似度计算方法、装置、设备及存储介质 | |
CN112926592B (zh) | 一种基于改进Fast算法的商标检索方法及装置 | |
CN111914921A (zh) | 一种基于多特征融合的相似性图像检索方法及系统 | |
US11475684B1 (en) | Methods and systems for performing noise-resistant computer vision techniques | |
Belhaouari et al. | Optimized K‐Means Algorithm | |
Bai et al. | Principal pixel analysis and SVM for automatic image segmentation | |
CN111222546B (zh) | 一种多尺度融合的食品图像分类模型训练及图像分类方法 | |
CN110188864B (zh) | 基于分布表示和分布度量的小样本学习方法 | |
Devareddi et al. | Review on content-based image retrieval models for efficient feature extraction for data analysis | |
Liu et al. | Research of commodity recommendation workflow based on LSH algorithm | |
US20240185582A1 (en) | Annotation-efficient image anomaly detection | |
CN113343920A (zh) | 人脸识别照片的分类方法、装置、电子设备和存储介质 | |
CN108830313B (zh) | 一种共生模式图像挖掘方法 | |
Oh et al. | Deep feature learning for person re-identification in a large-scale crowdsourced environment | |
Chi et al. | Saliency detection via integrating deep learning architecture and low-level features | |
Parseh et al. | Semantic-aware visual scene representation | |
Ghuge et al. | Systematic analysis and review of video object retrieval techniques | |
Ullah et al. | Weakly-supervised action localization based on seed superpixels | |
CN108764262B (zh) | 一种共生图像模式挖掘方法 | |
Valveny et al. | Performance characterization of shape descriptors for symbol representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |