CN101271476A - 网络图像搜索中基于聚类的相关反馈检索方法 - Google Patents

Abstract

本发明涉及网络图像搜索中基于聚类的相关反馈检索方法，属于计算机多媒体技术领域；该方法包括：用户首先输入一个或多个关键词，使用基于关键词的检索工具得到并返回第一轮图像的检索结果；将检索到的前n幅图像按底层特征聚类，将聚类后的图像包呈现给用户；用户对这些图像包进行标注；按照标注对第一轮检索结果的对图像进行排序，并将排序后的新的检索结果呈现给用户。该方法优化了现有的网络图像搜索引擎的图片检索功能，提高了检索准确率，同时也可以广泛的应用到网络以外的其他图像数据库的检索中。

Description

网络图像搜索中基于聚类的相关反馈检索方法

技术领域

本发明属于计算机多媒体技术领域，特别涉及网络图像搜索技术。

背景技术

近年来，随着图像获取设备和存储设备的发展，网络上数字图像的数量也在飞速增长。为了在互联网上浩瀚的图像资源中寻找需要的内容，需要有有效的搜索工具和机制。然而，现有的搜索引擎，如Google、Baidu等，只支持基于关键字的图片检索功能。这种基于文本的检索有很多弊端，例如同一个语义可以有多种不同的表达方法，而同一个词语表达的意思也会根据语境而有所不同。这种情况下，输入一个关键字，得到的检索结果通常是数目庞大而且内容混杂的，用户要在其中耐心翻找，才能锁定自己所要的图片。为克服关键字检索中出现的问题，基于内容的图像检索技术(content-based image retrieval，简称CBIR)应运而生，而且已成为近年来非常热门的研究领域。基于内容的图像检索系统自动提取图像的视觉内容(如颜色、纹理和形状等)作为其属性索引来检索图像，克服了基于关键字的检索中存在的问题。

相关反馈机制：这是一种监督学习的技术，核心思想是将用户加入到检索过程中。由用户对单词检索的结果进行标准，是“相关”，还是“不相关”。在当前的相关反馈机制中，通常的反馈方式和原理是：当针对某一个查询进行了一轮检索后，由系统提供一个标注集供用户反馈，即用户需要对标注集中的每幅图像做出反馈，说明其是否与查询图像或查询概念相关，其中与查询图像相关的被标为正例，不相关的被标为负例。再利用监督式或者半监督式的学习方法，学习到用户的查询语义，从而在下一轮中得到更好的检索结果。但是，这种依靠标注的方式存在着一定的缺欠，即检索的结果是与标注图像的数目直接相关的，所以要得到好的检索结果必须要标注很多图像；然而逐一翻看图像并进行标注，这一过程需要花费较长的时间和耐心，这是一项枯燥的、费时费力的工作。

和本发明相关的技术如下：

统计聚类的方法：使用图像的底层视觉特征，利用无监督或半监督的学习方法将图像划分成从属于不同语义的若干类别。

发明内容

本发明为克服已有技术的不足之处，提出一种网络图像搜索中基于聚类的相关反馈检索方法，针对应用Google、Baidu等基于文本的图片检索所得到的首次检索结果，将在线的相关反馈机制和离线的基于统计聚类的预处理结合在一起，来优化关键字搜索的结果，该方法优化了现有的网络图像搜索引擎的图片检索功能，提高了检索准确率，同时也可以广泛的应用到网络以外的其他图像数据库的检索中。

本发明提出的网络图像搜索中基于聚类的相关反馈检索方法，其特征在于，包括以下步骤：

1)用户首先输入一个或多个关键词，使用基于关键词的检索工具得到并返回第一轮图像的检索结果；

2)将检索到的前n幅图像按底层特征聚类，将聚类后的图像包呈现给用户(n的取值范围由用户需求而定一般，若n太小用户得不到满意的结果，n太大会影响计算速度，一般取500-1000即可)；用户对这些图像包进行标注；

3)按照标注对第一轮检索结果的对图像进行排序，并将排序后的新的检索结果呈现给用户。

本发明特点和效果

本发明最主要的特点是用户的标注工作量被大大减小了。有研究表明，人类的视觉和感知系统在110ms之内即可获取一幅图的内容，移动视线大概只需要300ms，所以和逐个标注每幅图片相比，浏览经过组织的图像的集合，对图像的集合进行标注的方法显然更有效率，它避免了用户不停的点击图像，同时帮助用户更好的确定自己的查询概念，避免了关键字查询造成的语义模糊。

附图说明

图1为本发明的总体流程框图。

图2为本实施例中采用Google对“北京”的初始检索结果.

图3本实施例的聚类结果；其中(a)为北京古建筑(b)为北京地图(c)为北京人的生活。

图4为本实施例的重排序后的结果。

具体实施方式

本发明提出的网络图像搜索中基于聚类的相关反馈检索方法，应用于网络图像搜索。本发明方法的流程如图1所示，包括以下步骤：

1)用户首先输入一个或多个关键词，使用基于关键词的检索工具得到并返回第一轮图像的检索结果并显示给用户；

2)将检索到的前n幅图像按底层特征聚类，将聚类后的图像包显示给用户(n的取值范围由用户需求而定一般，若n太小用户得不到满意的结果，n太大会影响计算速度，一般取500-1000即可)；用户对这些图像包进行标注；

3)按照标注对第一轮检索结果的对图像进行排序，并将排序后的新的检索结果显示给用户。

上述的聚类是使用图像的底层视觉特征，利用无监督或半监督的学习方法将图像划分成从属于不同语义的若干图像包，每个图像包里面包括一组视觉上相似的图像；

上述用户对图像包进行标注是，如果这个包里有超过一半的图像符合的用户查询概念(query concept)则标注为正包，如果包里的图像全都不符合查询概念要求则标注为负包，得到两种标签，其他图像包不标记。

在上述步骤3)中对图像进行排序可采用多示例半监督学习算法，该算法输入为：对聚类进行标注后得到的每个类别的标签；该算法输出为：每幅图像的排序结果，具体包括以下步骤：

31)定义某一点多样性密度(DD)为：用来度量有多少正包在这个点附近有样本，同时有多少负包的样本离这个点比较远；(在图像检索中，具有相同语义概念的正例图像往往在整个空间中的一个子区域内分布比较密集，而负例图像通常分散在整个空间中。因此，高密度区域中的图像通常具有相似的标签，而低密度区域的点则不一定有相似标签)；

设标注的正包和负包分别记为L⁺和L^-，L为所有包的集合，有L＝{L⁺，L^-}；则在点x处的多样性密度DD(x，L)定义为

$\mathrm{DD}(x,L)=\mathrm{Pr}\left(x\right|L)=\frac{\mathrm{Pr}\left(L\right|x)\mathrm{Pr}\left(x\right)}{\mathrm{Pr}\left(L\right)},$

进一步简化为

$\mathrm{DD}(x,L)=\mathrm{Pr}\left(L\right|x)=\underset{i=1}{\overset{\left|L^{+}\right|}{\mathrm{\Π}}}\mathrm{Pr}\left(C_i^{+}\right|x)\underset{i=1}{\overset{\left|L^{-}\right|}{\mathrm{\Π}}}\mathrm{Pr}\left(C_i^{-}\right|x),$

其中C_i ⁺表示第i个正包，C_i ^-表示第i个负包；

$\mathrm{Pr}=\underset{j}{\max }[1-|y_i-p(x_{\mathrm{ij}},x)\left|\right],$ 如果C_i是正包则y_i＝1，如果C_i是负包则y_i＝0。x_ij是包C_i里的第j个样本，p(x_ij，x)定义了x_ij和x表示同一概念；如果DD比较高则说明应该更多地将正包的标签传给这个点，反之亦然。

根据上述估算出的在每一包中的每个点的DD，可以得到x_ij对其类别C_i的标签所付出的信任度：

$m(C_i,x_{\mathrm{ij}})=\frac{\mathrm{DD}(x_{\mathrm{ij}},L)}{\underset{x_{\mathrm{ij}}\∈C_i}{\max }\mathrm{DD}(x_{\mathrm{ij}},L)}$

将一幅图像的标签定义为其对应包的标签的加权，既将包的标签转化为包内每幅图像的标签；

L(x_ij)＝m(C_i，x_ij)×L(C_i)；

32)以前n幅中每幅图像为一个节点，构建一个图；该图上的每条边对应着相应两幅图的底层视觉特征的相似度，所有的相似度构成一个相似度矩阵，矩阵中的每个元素W_ij定义为：

其中d_ij表示第i幅图像和第j幅图像的特征之间的欧氏距离；

利用该图将已得到标签的图像的标签扩展为所有检索到的图像的标签(即每一个点根据与其它点的相似度将其标签通过加权的图传给其相邻点，迭代后，这个传播过程可以收敛到一个全局稳定状态，使每一幅图都得到一个实值的标签)；

33)将得到的所有图像的标签值从大到小排序，既得到改进后图像检索结果的重排序。本发明方法的一个实施例说明如下：

1)用户首先输入关键词“北京”，由Google Image Search的API返回第一轮图像的检索结果，如图2，是第一轮图像检索结果的前18幅，包括了与“北京”相关的各个方面的图像，例如北京地图、北京的建筑、现代北京的都市风景以及北京人的生活等等。所有的图像是混杂在一起的。

2)将检索到的前1000幅图像按底层特征聚类，将聚类后的图像呈现给用户，如图3，分别表示三种聚类结果的部分图像；包括北京古建筑，如图3(a)，北京地图，如图3(b)，北京人的生活，如图3(c)；用户对这些图像类进行标注，北京古建筑一类为正包；

3)系统按照标注对第一轮检索结果的图像进行排序，并将排序后的新的检索结果呈现给用户，如图4所示，图中表示重排序后的前18幅图像；将“北京古建筑”的相关图像排在比较靠前的位置。

Claims (3)

1、一种网络图像搜索中基于聚类的相关反馈检索方法，其特征在于，包括以下步骤：

1)用户首先输入一个或多个关键词，使用基于关键词的检索工具得到并返回第一轮图像的检索结果；

2)将检索到的前n幅图像按底层特征聚类，将聚类后的图像包呈现给用户；用户对这些图像包进行标注；

3)按照标注对第一轮检索结果的对图像进行排序，并将排序后的新的检索结果呈现给用户。

2、如权利要求1所述方法，其特征在于，所述的聚类是使用图像的底层视觉特征，利用无监督或半监督的学习方法将图像划分成从属于不同语义的若干图像包，每个图像包里面包括一组视觉上相似的图像。

3、如权利要求1所述方法，其特征在于，所述用户对图像包进行标注是，如果这个包里有超过一半的图像符合的用户查询概念则标注为正包，如果包里的图像全都不符合查询概念要求则标注为负包，得到两种标签，其他图像包不标记。

Images