CN1851703A - 数字图像检索中的主动半监督相关反馈方法 - Google Patents

数字图像检索中的主动半监督相关反馈方法 Download PDF

Info

Publication number
CN1851703A
CN1851703A CN200610040157.2A CN200610040157A CN1851703A CN 1851703 A CN1851703 A CN 1851703A CN 200610040157 A CN200610040157 A CN 200610040157A CN 1851703 A CN1851703 A CN 1851703A
Authority
CN
China
Prior art keywords
image
similarity
picture
width
cloth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200610040157.2A
Other languages
English (en)
Other versions
CN100392657C (zh
Inventor
周志华
陈可佳
戴宏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CNB2006100401572A priority Critical patent/CN100392657C/zh
Publication of CN1851703A publication Critical patent/CN1851703A/zh
Application granted granted Critical
Publication of CN100392657C publication Critical patent/CN100392657C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种数字图像检索中的主动半监督相关反馈方法，包括以下步骤：(1)接受用户的实例图像，包括相关图像和不相关图像；(2)依据实例图像初步计算图像的相似度；(3)基于图像的初步相似度，使用一种半监督协同技术自动选择一些图像加入实例图像集合，共同作为依据生成对检索更为有效的相似度度量；(4)依据新生成的图像相似度对图像排序，生成图像检索结果；(5)依据新生成的图像相似度的绝对值对图像排序，生成用于用户主动相关反馈的图像序列；(6)结束。本发明的显著优点是(1)使用较少的用户标记样本达到学习的目的；(2)通过较少轮次的用户反馈，获得较好的检索效果。

Description

数字图像检索中的主动半监督相关反馈方法
一、技术领域
本发明涉及一种数字图像检索装置，特别涉及一种适用于数字图像检索中的主动半监督相关反馈方法。
二、背景技术
随着数字图像在各行各业中的广泛应用，数字图像积累得越来越多。为了减轻用户的负担，帮助用户快速、准确地从数字图像库中寻找其希望获得的图像，就需要有效的图像检索技术。在进行图像检索时，用户通常向检索装置提交查询图像，然后检索装置将图像库中与查询图像相似的图像查找出来提交给用户。相关反馈是数字图像检索中一种通过与用户交互，不断改善检索效果的机制。其具体过程是在检索装置返回检索结果后，用户对返回图像的相关性进行判断，从中再选择一些相关和不相关的图像提交给检索装置，从而使检索装置能够更有效地检索出符合用户需求的图像。这一过程可以不断重复直至用户对检索结果满意为止。目前的相关反馈机制由于用户在反馈过程中选择的实例图像有限，而这些有限的图像往往又因为是用户随意选择而不是对系统检索最为有效的图像等等原因，在反馈过程中需要与用户多次的交互，给用户带来较大的负担和时间开销。
三、发明内容
1、发明目的：本发明的主要目的是针对目前数字图像检索中的相关反馈过程由于接受的是用户随意选择的有限数量的图像，从而导致需要较多反馈轮次的问题。将机器学习中的主动学习技术和半监督学习技术的思想引入数字图像检索，提供了一种高效的主动半监督相关反馈机制。主动学习是指系统主动选择对于学习更为有效的样本交由用户标记，从而仅使用较少的用户标记样本达到学习的目的。主动学习技术用于相关反馈时，由图像检索装置主动选择对于改善检索性能较为有效的图像，交由用户确定图像的相关性，从而仅通过较少轮次的用户反馈，获得较好的检索效果。半监督学习是指在用户标记样本有限的情况下，系统根据有标记的样本自动标记一些无标记的样本，并使用所有已有标记的样本更有效的实现学习。半监督学习技术用于相关反馈时，系统将根据用户选择或提交的实例图像，选择并自动判断一些图像的相关性，然后将它们加入实例图像的集合，从而更好地检索图像。
2、技术方案：为实现本发明所述目的，本发明提供的一种数字图像检索中的主动半监督相关反馈方法，包括以下步骤：(1)数字图像检索装置从数字图像存储设备中获取数字图像，同时接受用户选择或提交的查询图像，包括相关图像和不相关图像；(2)生成图像的特征表示；(3)依据实例图像初步计算图像的相似度；(4)基于图像的初步相似度，使用一种半监督协同技术自动选择一些图像加入实例图像集合，共同作为依据生成对检索更为有效的相似度度量；(5)依据新生成的图像相似度对图像排序，从而根据从最相关到最不相关的顺序生成图像检索结果；(6)依据新生成的图像相似度的绝对值对图像排序，从而根据从最不确定到最确定的顺序生成用于用户主动相关反馈的图像序列；(7)结束。。需要说明的是，用于相关反馈是一个用户交互过程，因此上述步骤可持续重复，直至用户满意为止。下面将结合附图对最佳实施例进行详细说明。
3、有益效果：本发明的显著优点是(1)使用较少的用户标记样本达到学习的目的；(2)通过较少轮次的用户反馈，获得较好的检索效果。
四、附图说明
图1是数字图像检索装置工作流程图。图2是本发明机制的流程图。
图3是基于相似度度量S1计算第i幅图像的相似度。
五、具体实施方式
如图1所示，数字图像检索装置从数字图像存储设备获取数字图像，假设数字图像存储设备中存储了M幅图像，装置同时接受用户选择或提交的查询图像。然后装置生成图像的特征表示。可以使用数字图像处理教科书中的经典方法生成适用的图像特征，例如颜色、纹理、形状等特征，这样，每幅图像由一个特征向量表示。在每一轮相关反馈中，基于获得的实例图像的特征表示，图像检索装置使用主动半监督检索技术检索图像，产生这一轮的反馈结果，如图2所示。这里获得的实例图像包括用户初始提交的查询图像，也可能包括每一轮反馈中用户选择并指明相关性后加入的图像。假设其中包含了P(P是一个正整数)幅相关图像(图像中存在用户感兴趣的内容)和N(N是一个正整数)幅不相关图像(图像中不存在用户感兴趣的内容)，它们的特征表示组成集合C。这里产生的反馈结果与已有相关反馈机制产生的不同，不仅包括一个用于向用户显示检索结果的图像序列，还包括用于实现主动相关反馈的一个图像序列。用户浏览作为检索结果的图像序列，如果还不满意，可以按照主动反馈图像序列的顺序依次指明排在前面的几幅图像的相关性，将相应图像并加入实例图像集合C提交给系统，进一步检索图像。相关反馈过程可不断进行直到用户满意为止。
本发明的相关反馈机制如图2所示。步骤10是初始动作。步骤11取得实例图像的特征表示并组成集合C。步骤12取出C中相关图像对应的特征组成集合C+，不相关图像对应的特征组成集合C1 -。步骤13取出C中相关图像对应的特征组成集合C+，不相关图像对应的特征组成集合C2 -。步骤14将C1 -中的图像数目N1设为N。步骤15将C2 -中的图像数目N2设为N。步骤16依据C+和C1 -中的图像特征，基于相似度度量S1计算M幅图像的相似度，这里的相似度度量S1可以使用现有的图像相似度度量机制，例如数字图像处理教科书中的基于欧氏距离的相似度度量机制、基于Minkowski距离的相似度度量机制等，步骤16将在后面的部分结合图3进行具体介绍。步骤17依据C+和C2 -中的图像特征，基于相似度度量S2计算M幅图像的相似度，这里的相似度度量S2可以使用现有的图像相似度度量机制，只要与步骤16中使用的S1不同即可；步骤17的具体过程也可参考图3，只需把S1换成S2、把C1 -换成C2 -即可。步骤18基于步骤16获得的M幅图像的相似度，选择不在C+和C2 -中的相似度最小的两幅图像，将对应的特征加入C2 -。步骤19基于步骤17获得的M幅图像的相似度，选择C+和C1 -中相似度最小的两幅图像，将对应的特征加入C1 -。步骤20将C2 -中的图像数目N2加2。步骤21将C1 -中的图像数目N1加2。步骤22和步骤17过程相同，不同的是经过步骤18，C2 -增加了系统自动产生的两幅实例图像所对应的特征。步骤23和步骤16过程相同，不同的是经过步骤19，C1 -增加了系统自动产生的两幅实例图像所对应的特征。步骤24对步骤22和23使用不同相似度度量产生的两种图像相似度进行规范化后求和，作为图像的最终相似度，这里可以使用数据挖掘教科书中的规范化技术，例如min-max规范化、z-score规范化等，使得不同相似度度量产生的贡献相等。步骤25将图像按最终相似度从高到低的顺序排序，作为这一轮检索的结果。步骤26将图像按最终相似度的绝对值从小到大的顺序排序，用于下一轮用户按序指明图像的相关性。这样做是因为图像相似度的绝对值越小，说明系统越难以确定图像是与相关图像还是与不相关图像相似。如果用户能够指明相似度绝对值较小的图像的相关性，将很有效帮助系统判断最难确定的图像，以及与此相似的图像。因此这些图像对改善系统检索效果最为有效，应当排在序列的前面，请用户最先标记。步骤27是图2的结束步骤。
图3详细说明了图2中的步骤16，其作用是依据C+和C1 -中的图像特征，基于相似度度量S1计算M幅图像的相似度。步骤160是图3的起始动作。步骤161将图像计数参数i置为1，步骤162判断i是否不大于图像数M，是则执行步骤163，否则转到步骤165。步骤163依据C+和C1 -中的图像特征，基于相似度度量S1计算第i幅图像的相似度。步骤164将图像计数参数i加1，然后转到步骤162。步骤165是图3的结束步骤。

Claims (3)

1、一种数字图像检索中的主动半监督相关反馈方法，其特征是该方法包括以下步骤：
(1)数字图像检索装置从数字图像存储设备中获取数字图像，同时接受用户选择或提交的查询图像，包括相关图像和不相关图像；
(2)生成图像的特征表示；
(3)依据实例图像初步计算图像的相似度；
(4)基于图像的初步相似度，使用一种半监督协同技术自动选择一些图像加入实例图像集合，共同作为依据生成对检索更为有效的相似度度量；
(5)依据新生成的图像相似度对图像排序，从而根据从最相关到最不相关的顺序生成图像检索结果；
(6)依据新生成的图像相似度的绝对值对图像排序，从而根据从最不确定到最确定的顺序生成用于用户主动相关反馈的图像序列；
(7)结束。
2、根据权利要求1所述的数字图像检索中的主动半监督相关反馈方法，其特征是步骤(4)的方法包括以下步骤：
(11)取得实例图像的特征表示并组成集合C；
(12)取出C中相关图像对应的特征组成集合C+，不相关图像对应的特征组成集合C1 -；
(13)取出C中相关图像对应的特征组成集合C+，不相关图像对应的特征组成集合C2 -；
(14)将C1 -中的图像数目N1设为N；
(15)将C2 -中的图像数目N2设为N；
(16)依据C+和C1 -中的图像特征，基于相似度度量S1计算M幅图像的相似度；
(17)依据C+和C2 -中的图像特征，基于相似度度量S2计算M幅图像的相似度；
(18)基于(16)获得的M幅图像的相似度，选择不在C+和C2 -中的相似度最小的两幅图像，将对应的特征加入C2 -；
(19)基于(17)获得的M幅图像的相似度，选择C+和C1 -中相似度最小的两幅图像，将对应的特征加入C1 -；
(20)将C2 -中的图像数目N2加2；
(21)将C1 -中的图像数目N1加2；
(22)重复(17)、(18)，C2 -增加了系统自动产生的两幅实例图像所对应的特征；
(23)重复(16)、(19)，C1 -增加了系统自动产生的两幅实例图像所对应的特征；
(24)对(22)和(23)使用不同相似度度量产生的两种图像相似度进行规范化后求和，作为图像的最终相似度；
(25)将图像按最终相似度从高到低的顺序排序，作为这一轮检索的结果；
(26)将图像按最终相似度的绝对值从小到大的顺序排序，用于下一轮用户按序指明图像的相关性；
(27)结束。
3、根据权利要求2所述的数字图像检索中的主动半监督相关反馈方法，其步骤(16)的方法包括以下步骤：
(161)将图像计数参数i置为1；
(162)判断i是否不大于图像数M，是则执行(163)，否则转到(165)；
(163)依据C+和C1 -中的图像特征，基于相似度度量S1计算第i幅图像的相似度；
(164)将图像计数参数i加1，然后转到(162)；
(165)结束。
CNB2006100401572A 2006-05-10 2006-05-10 数字图像检索中的主动半监督相关反馈方法 Active CN100392657C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2006100401572A CN100392657C (zh) 2006-05-10 2006-05-10 数字图像检索中的主动半监督相关反馈方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2006100401572A CN100392657C (zh) 2006-05-10 2006-05-10 数字图像检索中的主动半监督相关反馈方法

Publications (2)

Publication Number Publication Date
CN1851703A true CN1851703A (zh) 2006-10-25
CN100392657C CN100392657C (zh) 2008-06-04

Family

ID=37133182

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100401572A Active CN100392657C (zh) 2006-05-10 2006-05-10 数字图像检索中的主动半监督相关反馈方法

Country Status (1)

Country Link
CN (1) CN100392657C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100462978C (zh) * 2007-04-18 2009-02-18 北京北大方正电子有限公司 一种图像检索方法及系统
CN100592297C (zh) * 2008-02-22 2010-02-24 南京大学 一种基于表示转换的多义数字图像检索方法
CN101833565A (zh) * 2010-03-31 2010-09-15 南京大学 一种主动选择代表性图像的相关反馈方法
CN101853400A (zh) * 2010-05-20 2010-10-06 武汉大学 基于主动学习和半监督学习的多类图像分类方法
CN102402713A (zh) * 2010-09-09 2012-04-04 富士通株式会社 机器学习方法和装置
US8165406B2 (en) 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
CN104750697A (zh) * 2013-12-27 2015-07-01 同方威视技术股份有限公司 基于透视图像内容的检索系统、检索方法以及安全检查设备
CN105426447A (zh) * 2015-11-09 2016-03-23 北京工业大学 一种基于超限学习机的相关反馈方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838964A (en) * 1995-06-26 1998-11-17 Gubser; David R. Dynamic numeric compression methods
US6006232A (en) * 1997-10-21 1999-12-21 At&T Corp. System and method for multirecord compression in a relational database
JP4388301B2 (ja) * 2003-05-08 2009-12-24 オリンパス株式会社 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100462978C (zh) * 2007-04-18 2009-02-18 北京北大方正电子有限公司 一种图像检索方法及系统
US8165406B2 (en) 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
CN101896901B (zh) * 2007-12-12 2013-06-19 微软公司 图像搜索中的交互式概念学习
CN100592297C (zh) * 2008-02-22 2010-02-24 南京大学 一种基于表示转换的多义数字图像检索方法
CN101833565A (zh) * 2010-03-31 2010-09-15 南京大学 一种主动选择代表性图像的相关反馈方法
CN101833565B (zh) * 2010-03-31 2011-10-19 南京大学 一种主动选择代表性图像的相关反馈方法
CN101853400A (zh) * 2010-05-20 2010-10-06 武汉大学 基于主动学习和半监督学习的多类图像分类方法
CN101853400B (zh) * 2010-05-20 2012-09-26 武汉大学 基于主动学习和半监督学习的多类图像分类方法
CN102402713A (zh) * 2010-09-09 2012-04-04 富士通株式会社 机器学习方法和装置
CN102402713B (zh) * 2010-09-09 2015-11-25 富士通株式会社 机器学习方法和装置
CN104750697A (zh) * 2013-12-27 2015-07-01 同方威视技术股份有限公司 基于透视图像内容的检索系统、检索方法以及安全检查设备
CN104750697B (zh) * 2013-12-27 2019-01-25 同方威视技术股份有限公司 基于透视图像内容的检索系统、检索方法以及安全检查设备
CN105426447A (zh) * 2015-11-09 2016-03-23 北京工业大学 一种基于超限学习机的相关反馈方法
CN105426447B (zh) * 2015-11-09 2019-02-01 北京工业大学 一种基于超限学习机的相关反馈方法

Also Published As

Publication number Publication date
CN100392657C (zh) 2008-06-04

Similar Documents

Publication Publication Date Title
CN100392657C (zh) 数字图像检索中的主动半监督相关反馈方法
Radenović et al. Revisiting oxford and paris: Large-scale image retrieval benchmarking
CN101853295B (zh) 一种图像检索方法
CN110674407A (zh) 基于图卷积神经网络的混合推荐方法
CN105868236A (zh) 一种同义词数据挖掘方法和系统
CN105631037B (zh) 一种图像检索方法
CN103975323A (zh) 搜索结果的基于原型的重排名
CN105989001B (zh) 图像搜索方法及装置、图像搜索系统
CN101281540A (zh) 用于处理信息的设备、方法和计算机程序
CN102750347B (zh) 一种用于图像或视频搜索重排序的方法
CN114707074B (zh) 一种内容推荐方法、设备和系统
CN103810299A (zh) 基于多特征融合的图像检索方法
Yang et al. Prototype-based image search reranking
CN111209477B (zh) 一种信息推荐的方法及装置、电子设备、存储介质
CN106156284A (zh) 基于随机多视角哈希的大规模近重复视频检索方法
CN106897914A (zh) 一种基于主题模型的商品推荐方法及系统
CN107391577B (zh) 一种基于表示向量的作品标签推荐方法和系统
Sheng Simple multiple noisy label utilization strategies
Sun et al. Assessing image retrieval quality at the first glance
CN103761503A (zh) 用于相关反馈图像检索的自适应训练样本选取方法
CN108304588B (zh) 一种基于k近邻和模糊模式识别的图像检索方法及系统
CN101833565B (zh) 一种主动选择代表性图像的相关反馈方法
CN107885854A (zh) 一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法
Chen et al. Research on clothing image classification by convolutional neural networks
Liu et al. PI3D: Efficient Text-to-3D Generation with Pseudo-Image Diffusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant