CN103020120B - 一种基于超图的图像混合摘要生成方法 - Google Patents
一种基于超图的图像混合摘要生成方法 Download PDFInfo
- Publication number
- CN103020120B CN103020120B CN201210464502.0A CN201210464502A CN103020120B CN 103020120 B CN103020120 B CN 103020120B CN 201210464502 A CN201210464502 A CN 201210464502A CN 103020120 B CN103020120 B CN 103020120B
- Authority
- CN
- China
- Prior art keywords
- label
- image
- hypergraph
- original image
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于超图的图像混合摘要生成方法,具体包括:步骤1:输入原始图像;步骤2:输入标签列表;步骤3:抽取视觉特征;步骤4:建立超图;步骤5:超图分割;步骤6:选取混合摘要。本发明使用的超图模型,不仅可以利用图像与图像、标签与标签之间的同质关系,同时还可以利用图像与标签之间的异质关系;本发明提出的选取图像摘要和标签摘要的方法,同时考虑了语义和视觉的代表性,选取的图像摘要和标签摘要能够较好地代表所属分组。
Description
一、技术领域
本发明属于图像处理技术领域,特别是一种基于超图的图像混合摘要生成方法。
二、背景技术
随着各种数字化成像设备(如数码相机,手机等)的普及、大容量存储设备成本的降低以及互联网技术的革新,现代生活中多媒体信息(包括图像、视频等)的数量在迅猛增长,特别是数字图像充斥在人们日常生活的方方面面,并且随之诞生了一批图像分享网站(如Flickr,Picasa等)。但是在这些网站上,存在着明显的缺陷:海量的图像无法得到有效的组织,给用户寻找想要的图片以及浏览图片集合造成了不便。
为了更好地组织图像和将图像有效可视化,研究人员提出了图像混合摘要技术。所谓的图像混合摘要,是指从海量的图像集合中选取少量具有代表性的图像和语义标签作为整个集合的代表,方便用户快速浏览和查询。这里的语义标签指的是对图像内容进行描述的文本单词,语义标签简称为标签。
近年来,研究人员提出了许多针对互联网图像的图像混合摘要技术:
文献1(JaffeA,NaamanM,TassaT,andDavisM.GeneratingSummariesforLargeCollectionsofGeo-ReferencedPhotographs.InProceedingsofInternationalConferenceonWorldWideWeb,pages853–854,2006.)Jaff等使用标签和地理信息来产生一个图像摘要集;
文献2(SimonI,SnavelyN,andSeitzSM.SceneSummarizationforOnlineImageCollections.InProceedingsofIEEE11thInternationalConferenceonComputerVision,2007,1-8.)Simon等使用了一个贪婪k-means算法选择了一系列的典型性视图来形成场景摘要;
文献3(FanJ,GaoY,LuoH,KeimDA,andLiZ.ANovelApproachtoEnableSemanticandVisualImageSummarizationforExploratoryImageSearch.InProceedingsofMultimediaInformationRetrieval,2008,358-365.)Fan等首先根据图像的主题关键词形成一个主题词网络,然后再使用混合核和基于代表性的图像采用方法产生图像摘要。
尽管以上文献1~文献3的图像混合摘要生成方法取得了一些成果,但是这些方法由于所用模型的缺陷,生成图像混合摘要的过程中,只能考虑图像与图像之间的关系、标签与标签之间的关系,无法考虑完全以下三种关系:图像与图像之间的关系、标签与标签之间的关系、图像与标签之间的关系,因此生成的图像混合摘要并不理想。
三、发明内容
本发明的目的在于提供一种不仅可以利用图像与图像、标签与标签之间的同质关系,同时还可以利用图像与标签之间的异质关系对图像进行有效分类的基于超图的图像混合摘要生成方法。
实现本发明目的的技术解决方案:一种基于超图的图像混合摘要生成方法,具体包括以下步骤:
步骤1、输入N张原始图像,每一张原始图像应满足以下条件:附带的标签个数不少于1个;
步骤2、输入标签列表:
2.1)输入原始图像的标签列表:每一张原始图像附带的标签的集合,称为该张原始图像的标签列表;
2.2)从所有原始图像的标签列表中统计出独立标签集合L={l1,l2,...,li,...,lM},其中独立标签集合L中任意两个标签l都不重复,M为独立标签的个数;
步骤3、抽取原始图像的视觉特征集合:抽取原始图像的视觉特征集合 Fi={fi 1,fi 2,...,fi j,...,fi k},其中k表示k种视觉特征,fi j表示第i张图像的第j种视觉特征;
步骤4、建立超图,建立超图的过程包括以下两个步骤:
4.1)建立超图的顶点集合V,顶点集合V包括V1,V2:V1表示第1种类型的顶点即原始图像的视觉特征集合V2表示第2种类型的顶点即原始图像的独立标签集合L;
4.2)建立超图的超边集合E,超边集合E包括E1,E2,E3:E1表示第1种超边,连接的是V1类型的顶点;E2表示第2种超边,连接的是V2类型的顶点;E3表示第3种超边,连接的是V1和V2类型的顶点;
步骤5、使用超图谱分解技术对超图的顶点集合V进行分割,将超图的顶点集合V分割成若干组;
步骤6、选取摘要,选取摘要的过程包括以下两个步骤:
6.1)在每一组中选取m个V2类型的顶点对应的独立标签,作为该组的标签摘要集合T;
6.2)在每一组中选取n个V1类型的顶点对应的原始图像,作为该组的图像摘要集合I。
本发明与现有技术相比,其显著优点是:(1)本发明使用的超图模型,不仅可以利用图像与图像之间的关系、标签与标签之间的关系,同时还可以利用图像与标签之间的关系;(2)本发明提出的选取图像摘要和标签摘要的方法,同时考虑了语义和视觉的代表性,选取的图像摘要和标签摘要能够较好地代表所属分组。
四附图说明
图1是本发明基于超图的图像混合摘要生成方法的流程图。
图2是本发明基于超图的图像混合摘要生成方法的超图示意图。
图3是本发明基于超图的图像混合摘要生成方法的效果实例图。
五具体实施方式
下面结合附图对本发明作进一步详细描述。
结合图1、图2,本发明提出的基于超图的图像混合摘要生成方法,具体包括以下步骤:
步骤1、输入N张原始图像,每一张原始图像应满足以下条件:附带的标签个数不少于1个;
步骤2、输入标签列表:
2.1)输入原始图像的标签列表:每一张原始图像附带的标签的集合,称为该张原始图像的标签列表;
2.2)从所有原始图像的标签列表中统计出独立标签集合L={l1,l2,...,li,...,lM},其中独立标签集合L中任意两个标签l都不重复,M为独立标签的个数;
步骤3、抽取原始图像的视觉特征集合:抽取原始图像的视觉特征集合 Fi={fi 1,fi 2,...,fi j,...,fi k},其中k表示k种视觉特征,fi j表示第i张图像的第j种视觉特征;所述的视觉特征包括颜色直方图、颜色相关图、边缘方向直方图、小波纹理和颜色矩。
步骤4、建立超图,如图2所示,超图是一种简单图的扩展,超图中的边可以连接任意个数的顶点。建立超图的过程包括以下两个步骤:
4.1)建立超图的顶点集合V,顶点集合V包括V1,V2:V1表示第1种类型的顶点即原始图像的视觉特征集合V2表示第2种类型的顶点即原始图像的独立标签集合L;
4.2)建立超图的超边集合E,超边集合E包括E1,E2,E3:E1表示第1种超边,连接的是V1类型的顶点;E2表示第2种超边,连接的是V2类型的顶点;E3表示第3种超边,连接的是V1和V2类型的顶点;所述的E1,E2,E3分别定义如下:
(1) 超边定义为:
TH1表示阈值,||·||2表示2-范数;
的权重定义为:
(2) 超边定义为:
TH2表示阈值,dij表示标签li和标签lj之间的关联程度,定义为:
f(li)和f(lj)表示N张原始图像中分别包含标签li和标签lj的图像数量,f(li,lj)表示N张原始图像中同时包括标签li和标签lj的图像数量;
的权重定义为:
(3) 超边定义为:
的权重定义为:
步骤5、使用超图谱分解技术对超图的顶点集合V进行分割,将超图的顶点集合V分割成若干组。超图分割问题通过解以下的优化问题:
其中,函数f(u)表示将顶点u分到某类的概率。e是任意一条超边,u、v是e上任意两个超图顶点。d(v)表示顶点v的度,δ(e)表示超边e的度,w(e)表示超边e的权重。
定义两个矩阵,令Δ=I-Θ,其中I是单位矩阵,则
其中,Dv是顶点的度矩阵,De是超边的度矩阵,W是权重矩阵,H是顶点与超边的关联矩阵。Δ是半正定矩阵,Δ的最小特征值是0,对应的特征向量的是根据线性代数的知识,式(8)的优化问题的解就是矩阵Δ的最小非零特征值对应的特征向量Φ。因此,顶点集合可以分割为两个部分S={v∈V|Φ(v)≥0}和Sc={v∈V|Φ(v)<0}。
另外,拉普拉斯算子Δ为:
使用(3)式,按简单图的谱分割方法分割超图。
步骤6、选取摘要,选取摘要的过程包括以下两个步骤:
6.1)在每一组中选取m个V2类型的顶点对应的独立标签,作为该组的标签摘要集合T,具体如下:
令s(l,c)表示标签l描述第c类的代表性分数,则s(l,c)可定义为:
其中,
K(l)表示与标签l共同出现的标签中,频次最高的k个标签的集合;表示K(l)的所有标签中出现频次最高的标签;表示标签l和标签之间的共同出现的频次;Threshold表示共同出现频次的阈值;最后将每个标签的代表性分数s(l,c)由高到低来排序,则可以选择m个代表性分数最高的标签作为该组的标签摘要集合T。
6.2)在每一组中选取n个V1类型的顶点对应的原始图像,作为该组的图像摘要集合I,具体如下:
令ρ(F,t,c)表示视觉特征F对应的原始图像描述第c类的代表性分数,t为视觉特征F对应的原始图像附带的标签集合,则ρ(F,t,c)可定义如下:
其中,表示第c类中的平均视觉特征,d(t,T)表示标签集合t与标签摘要集合T的关联程度,a表示视觉代表性和语义代表性的平衡因子;最后在该类中,将每张图像的代表性分数按由高到低的顺序进行排序,选择n个代表性分数最高的图像作为该类的图像范例I。
实施例
如图3所示,使用本发明基于超图的图像混合摘要生成方法,对一批原始图像生成图像混合摘要,左边为原始图像,标签摘要包括“花朵、紫色”,“银莲花、白色”和“花丛、野地”,右边为混合摘要结果,可以看出选取的图像摘要和标签摘要能够较好地代表所属分组。
Claims (4)
1.一种基于超图的图像混合摘要生成方法,其特征在于,包括以下步骤:
步骤1、输入N张原始图像,每一张原始图像应满足以下条件:附带的标签个数不少于1个;
步骤2、输入标签列表:
2.1)输入原始图像的标签列表:每一张原始图像附带的标签的集合,称为该张原始图像的标签列表;
2.2)从所有原始图像的标签列表中统计出独立标签集合L={l1,l2,...,lj,...,lM},其中独立标签集合L中任意两个标签l都不重复,M为独立标签的个数;
步骤3、抽取原始图像的视觉特征集合:抽取原始图像的视觉特征集合 其中k表示k种视觉特征,表示第i张图像的第z种视觉特征;
步骤4、建立超图,建立超图的过程包括以下两个步骤:
4.1)建立超图的顶点集合V,顶点集合V包括V1,V2:V1表示第1种类型的顶点即原始图像的视觉特征集合V2表示第2种类型的顶点即原始图像的独立标签集合L;
4.2)建立超图的超边集合E,超边集合E包括E1,E2,E3:E1表示第1种超边,连接的是V1类型的顶点;E2表示第2种超边,连接的是V2类型的顶点;E3表示第3种超边,连接的是V1和V2类型的顶点;所述的E1,E2,E3分别定义如下:
1)超边定义为其中,
TH1表示阈值,||·||2表示2-范数;
的权重定义为:
2)超边定义为其中,
TH2表示阈值,djy表示标签lj和标签ly之间的关联程度,定义为:
f(lj)和f(ly)表示N张原始图像中分别包含标签lj和标签ly的图像数量,f(lj,ly)表示N张原始图像中同时包括标签lj和标签ly的图像数量;
的权重定义为:
3)超边定义为其中
的权重定义为:
步骤5、使用超图谱分解技术对超图的顶点集合V进行分割,将超图的顶点集合V分割成若干组;
步骤6、选取摘要,选取摘要的过程包括以下两个步骤:
6.1)在每一组中选取m个V2类型的顶点对应的独立标签,作为该组的标签摘要集合T;
6.2)在每一组中选取n个V1类型的顶点对应的原始图像,作为该组的图像摘要集合I。
2.根据权利要求1所述的基于超图的图像混合摘要生成方法,其特征在于:步骤3中所述的视觉特征包括颜色直方图、颜色相关图、边缘方向直方图、小波纹理和颜色矩。
3.根据权利要求1所述的基于超图的图像混合摘要生成方法,其特征在于:步骤6.1中所述的在每一组中选取m个V2类型的顶点对应的独立标签,作为该组的标签摘要集合T,具体如下:
令s(l,c)表示标签l描述第c类的代表性分数,则s(l,c)定义为:
其中,
K(l)表示与标签l共同出现的标签中,频次最高的σ个标签的集合;表示K(l)的所有标签中出现频次最高的标签;表示标签l和标签之间的共同出现的频次;Threshold表示共同出现频次的阈值;最后将每个标签的代表性分数s(l,c)由高到低来排序,则选择m个代表性分数最高的标签作为该组的标签摘要集合T。
4.根据权利要求1所述的基于超图的图像混合摘要生成方法,其特征在于:步骤6.2中所述的在每一组中选取n个V1类型的顶点对应的原始图像,作为该组的图像摘要集合I,具体如下:
令ρ(F,t,c)表示视觉特征F对应的原始图像描述第c类的代表性分数,t为视觉特征F对应的原始图像附带的标签集合,则ρ(F,t,c)定义如下:
其中,表示第c类中的平均视觉特征,d(t,T)表示标签集合t与标签摘要集合T的关联程度,a表示视觉代表性和语义代表性的平衡因子;最后在该类中,将每张图像的代表性分数按由高到低的顺序进行排序,选择n个代表性分数最高的图像作为该类的图像范例I。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210464502.0A CN103020120B (zh) | 2012-11-16 | 2012-11-16 | 一种基于超图的图像混合摘要生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210464502.0A CN103020120B (zh) | 2012-11-16 | 2012-11-16 | 一种基于超图的图像混合摘要生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103020120A CN103020120A (zh) | 2013-04-03 |
CN103020120B true CN103020120B (zh) | 2016-07-06 |
Family
ID=47968724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210464502.0A Expired - Fee Related CN103020120B (zh) | 2012-11-16 | 2012-11-16 | 一种基于超图的图像混合摘要生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103020120B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605984B (zh) * | 2013-11-14 | 2016-08-24 | 厦门大学 | 基于超图学习的室内场景分类方法 |
EP3213504B1 (en) * | 2014-10-28 | 2022-04-13 | Hewlett-Packard Development Company, L.P. | Image data segmentation |
CN104835174B (zh) * | 2015-05-25 | 2017-12-15 | 厦门大学 | 基于超图模式搜索的鲁棒模型拟合方法 |
WO2017152403A1 (zh) * | 2016-03-10 | 2017-09-14 | 北京大学深圳研究生院 | 一种基于mcmc框架下的子超图匹配方法和装置 |
CN110516689B (zh) * | 2019-08-30 | 2020-10-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置以及电子设备、存储介质 |
CN113808138B (zh) * | 2021-11-22 | 2022-02-18 | 山东鹰联光电科技股份有限公司 | 一种基于人工智能的电线电缆表面缺陷检测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853299A (zh) * | 2010-05-31 | 2010-10-06 | 杭州淘淘搜科技有限公司 | 一种基于感性认知的图像检索结果排序方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090290802A1 (en) * | 2008-05-22 | 2009-11-26 | Microsoft Corporation | Concurrent multiple-instance learning for image categorization |
-
2012
- 2012-11-16 CN CN201210464502.0A patent/CN103020120B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853299A (zh) * | 2010-05-31 | 2010-10-06 | 杭州淘淘搜科技有限公司 | 一种基于感性认知的图像检索结果排序方法 |
Non-Patent Citations (3)
Title |
---|
CO-CLUSTERING IMAGE FEATURES AND SEMANTIC CONCEPTS;M.Rege等;《Proceedings of the IEEE International Conference on Image Processing》;20061231;第137-140页 * |
Scene Summarization for Online Image Collections;Ian Simon等;《Proceedings of the IEEE 11th International Conference on Computer Vision》;20071231;第1-8页 * |
基于视觉显著性近邻投票的标签排序方法;李旻先等;《南京理工大学学报》;20120831;第36卷(第4期);第561-566页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103020120A (zh) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103020120B (zh) | 一种基于超图的图像混合摘要生成方法 | |
CN104834686B (zh) | 一种基于混合语义矩阵的视频推荐方法 | |
Güneş et al. | Optimizing the color-to-grayscale conversion for image classification | |
US8571332B2 (en) | Methods, systems, and media for automatically classifying face images | |
US20110188742A1 (en) | Recommending user image to social network groups | |
CA2660798A1 (en) | Extracting dominant colors from images using classification techniques | |
US9137574B2 (en) | Method or system to predict media content preferences | |
CN104252616B (zh) | 人脸标注方法、装置及设备 | |
CN103020172A (zh) | 一种利用视频信息搜索物品的方法和装置 | |
CN102799637A (zh) | 一种电视节目内部自动生成主要人物摘要的方法 | |
CN100409248C (zh) | 用于检测彩色图像中的脸部的方法和设备 | |
CN102306179B (zh) | 基于分级颜色分布描述符的图像内容检索方法 | |
CN104216882B (zh) | 文件标注方法及装置 | |
CN105843827A (zh) | 移动终端的图片分类方法和装置 | |
CN103049754A (zh) | 社交网络的图片推荐方法和装置 | |
CN113743079A (zh) | 一种基于共现实体交互图的文本相似度计算方法及装置 | |
CN102253989B (zh) | 图像处理方法、装置及图像检索方法、系统 | |
CN106101839A (zh) | 一种识别电视端用户集合的方法 | |
CN103049570A (zh) | 基于相关保持映射和一分类器的图像视频搜索排序方法 | |
Minu et al. | A novel approach to build image ontology using texton | |
Trongtirakul et al. | Adaptive inertia weight particle swarm algorithm for optimized hyperspectral image enhancement | |
CN108765429A (zh) | 一种基于聚类分析的图像分割系统 | |
CN104715071B (zh) | 一种基于不完整文本描述的特定行人检索方法 | |
Wang et al. | Hyperspectral image classification based on joint sparsity model with low-dimensional spectral–spatial features | |
Stober et al. | Similarity adaptation in an exploratory retrieval scenario |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160706 Termination date: 20181116 |