CN103761503A - 用于相关反馈图像检索的自适应训练样本选取方法 - Google Patents

用于相关反馈图像检索的自适应训练样本选取方法 Download PDF

Info

Publication number
CN103761503A
CN103761503A CN201310735558.XA CN201310735558A CN103761503A CN 103761503 A CN103761503 A CN 103761503A CN 201310735558 A CN201310735558 A CN 201310735558A CN 103761503 A CN103761503 A CN 103761503A
Authority
CN
China
Prior art keywords
image
training sample
finally
retrieval
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310735558.XA
Other languages
English (en)
Inventor
王向阳
张贝贝
李永威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN201310735558.XA priority Critical patent/CN103761503A/zh
Publication of CN103761503A publication Critical patent/CN103761503A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种可增加样本数量及正样本比例的用于相关反馈图像检索的自适应训练样本选取方法，按如下步骤进行：提取图像库中每幅图像的底层视觉特征，然后将提取的特征放入特征库中；将特征库中每幅图像的特征与用户选取的示例图像特征进行相似度比较，最后返回给用户与该示例图像最相似的N副图像；用户将最相似的N副图像标记为正例图像或反例图像；将标记好的图像放到支持向量机中进行训练学习，最终将学习后的结果反馈给用户，用户对反馈结果满意，输出结果；否则，继续此步骤。

Description

用于相关反馈图像检索的自适应训练样本选取方法
技术领域
本发明属于多媒体信息处理的相关反馈图像检索领域，尤其是一种可增加样本数量及正样本比例的用于相关反馈图像检索的自适应训练样本选取方法。
背景技术
目前，随着多媒体技术的快速发展及Internet技术的日益普及，数字图像的来源越来越广泛，每天各个领域都会产生数以千兆字节的图像信息。为了能够从大量的图像数据中快速、准确地找到用户所需内容，基于内容的图像检索技术得到了广泛关注，成为信息检索领域的研究热点，得到了国际学术界广泛研究。所谓基于内容的图像检索，就是根据图像的颜色、纹理、形状等特征，按照某种相似度计算方法，从图像库中找出于用户事先想要查询的图像最相似的若干幅图像。由于图像底层视觉特征与高级语义之间存在代沟，因此人们提出了基于反馈的图像检索方法来解决这一问题。早期的相关反馈技术主要采用启发式方法，并可大致分为两类：查询点移动和权值调整。前者通过修改查询向量的方法移动查询点，使得移动后的查询点靠近特征空间中正样本集中的区域；后者通过调整特征分量权重的方式修改距离度量公制，以加强那些能使正样本聚拢或能区分正、负样本的特征向量。启发式方法基于这样的一种假设：所有正样本大致被包含在特征空间中一个超椭球区域内，但是，该假设过于理想，实际应用中很难满足。目前，基于支持向量机（SVM）的相关反馈方法由于支持向量机具有很好的模式分类性能而被广泛应用。
一般情况下，对于大型的图像数据库，由于图像数据量大，而正例图像占据很小的比例，正确的选择训练样本也尤为重要。截止目前有以下几种主要选取方法：通过反馈结果增加样本数目；通过随机选取训练样本；对图像库进行聚类算法等。其中，通过反馈结果增加样本数目很少，不能满足反馈的需要；通过随机选取方法大大的提高了样本数目，但此类方法只能增加反例样本，且在选取的样本中不能确定是否真的能够代表反例样本；对图像库进行聚类算法，同第一类方法一样，每次增加的数目较少，不能使反馈效果达到理想。即现有方法存在着训练样本少造成不稳定以及正例样本远远少于反例样本造成分类器最优超平面偏移的问题。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种可增加样本数量及正样本比例的用于相关反馈图像检索的自适应训练样本选取方法。
本发明的技术解决方案是：一种用于相关反馈图像检索的自适应训练样本选取方法，其特征在于按如下步骤进行：
a. 提取图像库中每幅图像的底层视觉特征，然后将提取的特征放入特征库中； 
b. 将特征库中每幅图像的特征与用户选取的示例图像特征进行相似度比较，最后返回给用户与该示例图像最相似的N副图像；
c. 将反馈池中的图像根据它们与用户所选择示例图像是否属于同一个语义类，将其标记为正例样本或反例样本；
d. 将标记好的图像放到支持向量机中进行训练学习，最终将学习后的结果反馈给用户，用户对反馈结果满意，输出结果；否则，继续此步骤。
所述d步骤如下：
d.1对图像库中的图像进行K均值聚类得到k类图像
选取当前检索结果中的最相关M幅图像库 S pool ，对图像库S pool 进行K均值聚类，聚类数目由每次反馈时的标记图像决定；
第一步，将标记的N幅图像                                               
Figure 709488DEST_PATH_IMAGE002
作为初始聚类中心；
第二步，计算图像库S pool 中每个图像与各个聚类中心之间的距离，把各个图像分配给距离它最近的聚类中心；
第三步，重新计算每一类的聚类中心；
迭代第二、第三步，直到聚类中心不再发生改变。最终得到：
Figure 403774DEST_PATH_IMAGE004
d.2利用改进的KNN算法选取图像作为训练样本
首先，测量样本之间的距离（相似度）
其度函数为
Figure 976018DEST_PATH_IMAGE008
其次，规范化核函数，公式：
Figure 371228DEST_PATH_IMAGE010
其中，将每个
Figure 247917DEST_PATH_IMAGE012
中的全部图像视作带权无向图G(V,E)，节点V表示图像
Figure 201310735558X100002DEST_PATH_IMAGE013
，E表示节点x i 与x j 之间的权值
Figure 201310735558X100002DEST_PATH_IMAGE015
,
最终，选取k2个最具有代表信息的、离示例图像最近的图像作为训练样本,
令： 
Figure 201310735558X100002DEST_PATH_IMAGE017
最终得到：
Figure 201310735558X100002DEST_PATH_IMAGE019
利用下列公式最终得到训练样本：
Figure 201310735558X100002DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE023
 则是
Figure 821112DEST_PATH_IMAGE024
的k2个离示例样本最接近的训练样本。
本发明在基于传统支持向量机反馈方法的基础上，增加了自适应训练样本的选取处理，解决了传统支持向量机由于训练样本少造成不稳定以及正例样本远远少于反例样本造成分类器最优超平面偏移的问题，对基于相关反馈的图像检索研究与应用有很好的参考和实用价值。
附图说明
图1：本发明实施例的相关反馈图像检索流程图。
图2：本发明实施例的相关反馈图像检索人机交互界面。
图3：本发明实施例反馈前检索结果图。
图4：本发明实施例一次反馈后检索结果图。
图5：本发明实施例两次反馈后检索结果图。
图6：本发明实施例三次反馈后检索结果图。
图7：本发明实施例四次反馈后检索结果图。
具体实施方式
本发明实施例按图1所示步骤进行：
a. 特征提取单元：
提取图像库中每幅图像的底层视觉特征，然后将提取的特征放入特征库中； 
1）颜色特征。本发明用颜色直方图作为颜色特征；首先将颜色空间由RGB转化到HSV空间，然后将HSV颜色空间量化成64份，最后统计落在每一份中像素点的个数。
2）纹理特征。本发明用离散小波变换后的均值和方差作为纹理特征；首先对图像进行3级小波变换，然后计算每级变换后3个高频子带的均值和方差。
3）形状特征。本发明用边缘方向直方图作为形状特征；首先用Sobel算子提取图像边缘，统计图像边缘点在水平、45°、垂直、135°方向像素点个数。
b.  检索单元
1）用户从图像库中任选一副图像作为示例图像。
2）计算该示例图像的底层视觉特征
Figure DEST_PATH_IMAGE025
3）利用欧式距离算法计算x i 与图像库中任意图像x j 之间的相似度。公式：
4）对相似度值
Figure 776560DEST_PATH_IMAGE027
进行排序，并返回前10副图像。
c. 标记单元
将反馈池中的图像根据它们与用户所选择示例图像是否属于同一个语义类，将其标记为正例样本或反例样本，记为
Figure 201310735558X100002DEST_PATH_IMAGE001
。
d. 学习单元：
该单元主要包括两个步骤，一是对图像库中的图像进行K均值聚类，二是对聚类后的图像进行改进的KNN算法计算，从而得到新的训练样本。
1）对图像库中的图像进行K均值聚类得到k类图像。
选取当前检索结果中的最相关M幅图像库S pool ，对图像库S pool 进行K均值聚类，聚类数目由每次反馈时的标记图像决定。
第一步，将标记的N幅图像
Figure 37777DEST_PATH_IMAGE030
作为初始聚类中心。
第二步，计算图像库S pool 中每个图像与各个聚类中心之间的距离（以欧式距离作为相似度测度），把各个图像分配给距离它最近的聚类中心。
第三步，重新计算每一类的聚类中心（即重新计算每个类的均值）。
迭代第二、第三步，直到聚类中心不再发生改变。最终得到：
Figure DEST_PATH_IMAGE031
2）利用改进的KNN算法选取图像作为训练样本。
首先，测量样本之间的距离（相似度）
Figure 582022DEST_PATH_IMAGE032
其度函数为
Figure DEST_PATH_IMAGE033
其次，规范化核函数，公式：
Figure 388435DEST_PATH_IMAGE034
其中，将每个
Figure 205082DEST_PATH_IMAGE012
中的全部图像视作带权无向图G(V,E)，节点V表示图像
Figure 942094DEST_PATH_IMAGE013
，E表示节点x i 与x j 之间的权值
Figure 278528DEST_PATH_IMAGE014
。
最终，选取P个最具有代表信息的、离示例图像最近的图像作为训练样本。
令：，最终得到：
Figure 770689DEST_PATH_IMAGE036
利用下列公式最终得到训练样本：
Figure DEST_PATH_IMAGE037
其中，
Figure 887681DEST_PATH_IMAGE022
 则是
Figure 162805DEST_PATH_IMAGE024
的P个离示例样本最接近的训练样本。
本发明实施例反馈前检索结果、一次反馈后检索结果、两次反馈后检索结果、三次反馈后检索结果及四次反馈后检索结果分别如图3、4、5、6、7所示。
    性能评价指标：
为了评价本发明的工作性能，本发明计算了图像检索系统的查准率。
Figure 619325DEST_PATH_IMAGE038
一般来说，查准率越高，相应图像检索算法越好；反之，就越差。
表1给出了本发明自适应训练样本选取方法的查准率（见附表）。 
表1 各类图像反馈前后的查准率
Figure 16808DEST_PATH_IMAGE040

Claims (2)

1.一种用于相关反馈图像检索的自适应训练样本选取方法，其特征在于按如下步骤进行：
a. 提取图像库中每幅图像的底层视觉特征，然后将提取的特征放入特征库中； 
b. 将特征库中每幅图像的特征与用户选取的示例图像特征进行相似度比较，最后返回给用户与该示例图像最相似的N副图像；
c. 用户将最相似的N副图像标记为正例图像或反例图像；
d. 将标记好的图像放到支持向量机中进行训练学习，最终将学习后的结果反馈给用户，用户对反馈结果满意，输出结果；否则，继续此步骤。
2.根据权利要求1所述用于相关反馈图像检索的自适应训练样本选取方法，其特征在于所述d步骤如下：
d.1对图像库中的图像进行K均值聚类得到k类图像
选取当前检索结果中的最相关M幅图像库 S pool ，对图像库S pool 进行K均值聚类，聚类数目由每次反馈时的标记图像决定；
第一步，将标记的N幅图像                                               
Figure 201310735558X100001DEST_PATH_IMAGE001
作为初始聚类中心；
第二步，计算图像库S pool 中每个图像与各个聚类中心之间的距离，把各个图像分配给距离它最近的聚类中心；
第三步，重新计算每一类的聚类中心；
迭代第二、第三步，直到聚类中心不再发生改变，最终得到：
Figure 201310735558X100001DEST_PATH_IMAGE003
d.2利用改进的KNN算法选取图像作为训练样本
首先，测量样本之间的距离（相似度）
Figure 201310735558X100001DEST_PATH_IMAGE005
其度函数为
Figure 201310735558X100001DEST_PATH_IMAGE007
其次，规范化核函数，公式：
其中，将每个
Figure 201310735558X100001DEST_PATH_IMAGE011
中的全部图像视作带权无向图G(V,E)，节点V表示图像
Figure 310269DEST_PATH_IMAGE012
，E表示节点x i 与x j 之间的权值
Figure DEST_PATH_IMAGE013
,
最终，选取k2个最具有代表信息的、离示例图像最近的图像作为训练样本,
令： 
Figure DEST_PATH_IMAGE015
最终得到：
利用下列公式最终得到训练样本：
Figure DEST_PATH_IMAGE019
其中，
Figure 906684DEST_PATH_IMAGE020
 则是
Figure DEST_PATH_IMAGE021
的k2个离示例样本最接近的训练样本。
CN201310735558.XA 2013-12-28 2013-12-28 用于相关反馈图像检索的自适应训练样本选取方法 Pending CN103761503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310735558.XA CN103761503A (zh) 2013-12-28 2013-12-28 用于相关反馈图像检索的自适应训练样本选取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310735558.XA CN103761503A (zh) 2013-12-28 2013-12-28 用于相关反馈图像检索的自适应训练样本选取方法

Publications (1)

Publication Number Publication Date
CN103761503A true CN103761503A (zh) 2014-04-30

Family

ID=50528739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310735558.XA Pending CN103761503A (zh) 2013-12-28 2013-12-28 用于相关反馈图像检索的自适应训练样本选取方法

Country Status (1)

Country Link
CN (1) CN103761503A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168965A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 特征工程策略确定方法及装置
CN108121781A (zh) * 2017-12-18 2018-06-05 辽宁师范大学 基于高效样本选取与参数优化的相关反馈图像检索方法
CN109344904A (zh) * 2018-10-16 2019-02-15 杭州睿琪软件有限公司 生成训练样本的方法、系统及存储介质
CN110826582A (zh) * 2018-08-10 2020-02-21 阿里巴巴集团控股有限公司 图像特征训练方法、装置和系统
CN110866134A (zh) * 2019-11-08 2020-03-06 吉林大学 一种面向图像检索的分布一致性保持度量学习方法
CN112687376A (zh) * 2021-01-22 2021-04-20 四川大学 一种慢性病群体中资源高消耗人群的个案管理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168965A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 特征工程策略确定方法及装置
CN107168965B (zh) * 2016-03-07 2021-01-12 阿里巴巴集团控股有限公司 特征工程策略确定方法及装置
CN108121781A (zh) * 2017-12-18 2018-06-05 辽宁师范大学 基于高效样本选取与参数优化的相关反馈图像检索方法
CN108121781B (zh) * 2017-12-18 2021-09-24 辽宁师范大学 基于高效样本选取与参数优化的相关反馈图像检索方法
CN110826582A (zh) * 2018-08-10 2020-02-21 阿里巴巴集团控股有限公司 图像特征训练方法、装置和系统
CN110826582B (zh) * 2018-08-10 2023-05-05 阿里巴巴集团控股有限公司 图像特征训练方法、装置和系统
CN109344904A (zh) * 2018-10-16 2019-02-15 杭州睿琪软件有限公司 生成训练样本的方法、系统及存储介质
CN110866134A (zh) * 2019-11-08 2020-03-06 吉林大学 一种面向图像检索的分布一致性保持度量学习方法
CN112687376A (zh) * 2021-01-22 2021-04-20 四川大学 一种慢性病群体中资源高消耗人群的个案管理方法

Similar Documents

Publication Publication Date Title
US11074477B2 (en) Multi-dimensional realization of visual content of an image collection
Ju et al. Depth-aware salient object detection using anisotropic center-surround difference
Hu et al. A performance evaluation of gradient field hog descriptor for sketch based image retrieval
CN102339306B (zh) 基于草图的图像搜索
CN103761503A (zh) 用于相关反馈图像检索的自适应训练样本选取方法
CN103207898B (zh) 一种基于局部敏感哈希的相似人脸快速检索方法
CN110413816B (zh) 彩色草图图像搜索
Chen et al. Ranking consistency for image matching and object retrieval
CN103258037A (zh) 一种针对多组合内容的商标识别检索方法
WO2013053320A1 (zh) 一种图像检索方法及装置
Bui et al. Scalable sketch-based image retrieval using color gradient features
CN102902826B (zh) 一种基于基准图像索引的图像快速检索方法
Yang et al. Prototype-based image search reranking
Yang et al. Adaptive region matching for region‐based image retrieval by constructing region importance index
Heesch et al. NN k networks for content-based image retrieval
CN102024030A (zh) 基于最大期望参数估计的多分类器集成方法
WO2022100133A1 (zh) 场景识别方法、装置、智能设备、存储介质和计算机程序
Schinas et al. CERTH@ MediaEval 2012 Social Event Detection Task.
Martinet et al. A relational vector space model using an advanced weighting scheme for image retrieval
Pedronette et al. A graph-based ranked-list model for unsupervised distance learning on shape retrieval
Chen et al. Person re-identification based on re-ranking with expanded k-reciprocal nearest neighbors
CN102542050A (zh) 基于支持向量机的图像反馈方法及系统
Ma et al. An improved SVM model for relevance feedback in remote sensing image retrieval
Lu et al. Image categorization via robust pLSA
Tang et al. An efficient concept detection system via sparse ensemble learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140430