CN1967526A - 基于对等索引的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于对等索引的图像检索方法，其特征是：采用对等索引的方式表示数据库中的每一个图像，在相关反馈过程中构建和更新对等索引，并用对等索引的相似度计算方式计算图像相似度，最后用结合底层特征与对等索引的图像检索协同框架和相关反馈方法进行图像检索。该方法采用对等索引的方法将用户的相关反馈信息作为知识记录于图像检索系统中，形成图像的语义信息，有助于缩小图像检索过程中的“语义鸿沟”，使检索结果更符合人的语义要求，提高图像检索的准确度，增加图像检索的性能。

Description

基于对等索引的图像检索方法

技术领域

本发明涉及计算机多媒体技术领域，尤其涉及一种基于对等索引的图像检索方法。

背景技术

在多媒体检索领域中，基于内容的检索系统预先得到图像或视频的视觉感知特征(如颜色直方图、纹理、形状、运动矢量等)，查询时要求用户提供描述所需图像的特征，然后进行匹配。这种查询方式普通用户难以理解，很难推广使用。另外，视觉感知特征很难反映图像所表达的概念，查询准确率不高。图像数据中存在着“语义鸿沟”，使得传统的基于内容的图像检索技术无法满足用户的需求，人们更倾向于使用关键字在语义层上进行查询。

图像标注能有效地弥补语义缺失给检索带来的麻烦，但是巨大的人力，物力代价使得纯手工的标注变得不切实际，而且图像寓意丰富，而手工标注存在主观性，从而导致图像检索的不准确性。由于计算机视觉技术发展的限制，计算机无法明确识别图像中的对象从而正确地自动标注图像，导致基于关键字的图像检索也无法满足用户的需求。

发明内容

本发明的目的是为了解决传统基于内容的图像检索和计算机图像自动标注的不足，提供一种基于对等索引的图像检索方法。

包括以下步骤：

(1)首先采用对等索引作为图像的表达方式；

(2)基于对等索引的表达方式，根据图像检索中用户提供的相关反馈信息构建和更新图像的对等索引；对等索引的构建和更新都嵌在用户相关反馈过程中；

(3)在图像相似度计算时，根据图像的对等索引进行图像相似度的计算；

(4)结合底层特征和对等索引特征，构建图像检索协作框架，在协作框架中引入融合对等索引特征的相关反馈。

所述的采用对等索引作为图像的表达方式是指：对于一个图像对等索引的表达，是用一组与之语义相关的图像表示，对等索引的权重用图像语义的相关性表示，图像I_i的对等索引其表达形式为：

$P\left(I_i\right)=\{<v{k}_{i_1},w_{i_1}>;\&CenterDot;\&CenterDot;\&CenterDot;;<{\mathrm{vk}}_{i_k},w_{i_k}>;\&CenterDot;\&CenterDot;\&CenterDot;;<{\mathrm{vk}}_{i_N},w_{i_N}>\}$

其中I_i表示一幅图像，P(I_i)就是图像I_i的对等索引，vk_ik为与I_i语义相似的图像，权重w_iK表示它们之间的语义相关程度。

根据图像检索中用户提供的相关反馈信息构建和更新图像的对等索引，对等索引的构建和更新都嵌在用户相关反馈过程中是指：在图像检索用户相关反馈过程中，进行如下两个步骤：

(1)对于用户提供的相关图像，增加查询图像与相关图像之间的对等索引的权重；

(2)对于用户提供的不相关图像，减小或去掉查询图像与不相关图像之间的对等索引的权重。

图像相似度的计算采用了对等索引相似度的计算公式，对等索引的相似度采用余弦公式进行计算，同时考虑了对等索引在图像库中的分布，根据对等索引的权重和其在图像库中的分布，计算相似度时，先调整其权重：

$w_{i_k}^{\&prime;}=w_{i_k}(\log \frac{M}{M_{i_k}}+1)$

其中，M是图像的总数目，M_ik是对等索引中具有vk_ik的图像的数目，然后将图像的对等索引看成一个向量，再用余弦公式计算其相似性：

$R_{\mathrm{ij}}=\frac{P\left(I_i\right)\&CenterDot;P\left(I_j\right)}{\left|\right|P\left(I_i\right)\left|\right|\left|\right|P\left(I_j\right)\left|\right|}$

其中，‖‖是向量的模，·是点积。

结合底层特征和对等索引特征，构建图像检索协作框架的步骤如下：

(1)基于对等索引计算查询图像与数据库中图像的相似性，得到候选图像；

(2)将候选图像作为进一步的基于底层特征的图像检索的正例，进行伪反馈，优化查询向量和欧拉相似函数中各特征对应的权重，再进行基于底层特征的相似度计算；

(3)根据前两步得到的相似度得到总相似度，总相似度公式为：

S_i ^*＝(1+R_i)S_i

其中S_i ^*为图像I_i与查询图像间的总相似度，R_i是图像I_i与查询图像的对等索引相似度，S_i是I_i与查询图像在底层特征上采用欧拉相似函数计算出的相似度。

在协作框架中引入融合对等索引特征的相关反馈：在图像检索协作框架的相关反馈中包括两个作用：(1)反馈例子用于学习对等索引；(2)结合底层特征和对等索引进行相关反馈，根据相关和不相关的图像，采用一个新的相似度测量方法重新计算每一幅图像的总相似度：

${S_i}^{*}=(1+R_i)S_i+\frac{\mathrm{\&beta;}}{N_R}\underset{k\&Element;N_R}{\mathrm{\&Sigma;}}\left[(1+R_{\mathrm{ik}})S_{\mathrm{ik}}\right]-\frac{\mathrm{\&gamma;}}{N_N}\underset{k\&Element;N_N}{\mathrm{\&Sigma;}}\left[(1+R_{\mathrm{ik}})S_{\mathrm{ik}}\right]$

其中，S_i ^*是图像I_i的总相似度，R_i是I_i与例子图像的对等索引相似度，S_i是I_i的底层特征与优化后的查询向量的相似度，N_R和N_N分别是相关图像和不相关图像的数目，R_ik是I_i与第k相关或不相关图像的对等索引相似度，S_ik是采用优化后的欧拉相似函数计算出的底层特征相似度，β与γ是调整相关图像和不相关图像对总相似函数影响的参数。

本发明基于对等索引的图像检索方法具有如下的有益效果：本发明采用对等索引的方法将用户的相关反馈信息作为知识记录于图像检索系统中，形成图像的语义信息。结合图像底层特征和对等索引的图像检索框架，有助于缩少图像检索过程中的“语义鸿沟”，使检索结果更符合人的语义要求，提高图像检索的准确度，增加图像检索的性能。

附图说明

图1是基于对等索引的图像检索方法流程图；

图2是本发明的图像检索例子示意图；

图3是本发明在图像检索框架中提交图像检索例子后进行查询后的结果图，图中：打黑勾的图像为正例，表示与查询例子语义相关；打黑叉的图像为负例，表示与查询例子语义不相关；

图4是本发明在图像检索框架中对查询后的结果进行相关反馈后的结果图；

图5是本发明是基于对等索引图像检索的例子示意图，打勾的图像表示检索例子；

图6是本发明是基于对等索引图像检索后的结果图。

具体实施方式

为了更好的理解本发明的技术方案，以下结合附图1对本发明作进一步的描述。

先用形式化的语言对对等索引进行描述，对等索引可以表示为：

$P\left(I_i\right)=\{<v{k}_{i_1},w_{i_1}>;\&CenterDot;\&CenterDot;\&CenterDot;;<{\mathrm{vk}}_{i_k},w_{i_k}>;\&CenterDot;\&CenterDot;\&CenterDot;;<{\mathrm{vk}}_{i_N},w_{i_N}>\}$

I_i表示一幅图像，vk_ik为与I_i语义相似的图像，称为视觉关键字，权重w_iK表示它们之间的相关程度。

1.索引的构建和更新

本发明从用户的反馈统计信息中建立或更新对等索引，当用户提交一幅例子图像作为初始查询并对检索出的一些图像做出相关性评价(即相关或者不相关)时，该方法将所有的相关图像与例子图像加进各自的对等索引中，而将所有不相关图像和例子图像从各自的对等索引(如果存在)中去除。学习策略的算法具体如下：

a)收集例子图像I_S，相关图像集合I_R以及不相关图像集合I_N。(步骤105)

b)对每一个I_i∈I_R，如果I_i不在P(I_S)中，则将I_i作为视觉关键字加入到P(I_S)中，对应初始权重设为1。否则，将P(I_S)中I_i对应的权重加1。同样，I_S也被将加入到P(I_i)中或者是在P(I_i)中对应的权重加1。(步骤106)

c)对每一个I_i∈I_N，如果I_i在P(I_S)中，则将I_i对应的权重减5，如果减后结果小于1，则将I_i从P(I_S)中除去。同样，将I_S也从P(I_i)中除去或者是将其在P(I_i)中对应的权重减5。

(步骤106)

随着用户反馈的进行，图像的对等索引不仅在覆盖面上而且在质量(由权重反映出来)上得到提高。该策略的一个优点是它自动且逐步的利用所有用户的交互来获取对等索引，而不需要手工标注。因此，它不仅能够节省大量的时间和人力，还能消除那些由一个或者少量索引者引起的主观感知错误。

2.相似度计算

本发明先采用图像索引频率乘逆图像索引频率来计算对等索引的权重，在对等索引中，语义图像的权重w_iK仅体现了图像索引频率的特性，所以需要对其进行调整以包含逆图像索引频率：

$w_{i_k}^{\&prime;}=w_{i_k}(\log \frac{M}{M_{i_k}}+1)$

其中，M是图像的总数目，M_ik是对等索引中具有vk_ik的图像的数目。

两幅图像的对等索引间的相似度计算采用余弦距离。这样，每一幅图像的对等索引被看成是一个向量，每一个视觉关键字对应一个维度，语义图像对应的权重对应在该维上的值。两对等索引间的相似度可以转化为它们对应的向量之间夹角的余弦值，形式如下：

$R_{\mathrm{ij}}=\frac{P\left(I_i\right)\&CenterDot;P\left(I_j\right)}{\left|\right|P\left(I_i\right)\left|\right|\left|\right|P\left(I_j\right)\left|\right|}$

其中，‖‖是向量的模，·是点积。

3.图像检索协作框架

由于对等索引中包含了用户对图像间语义相关性的感知，所以采用对等索引匹配到的图像与例子图像必然是高度相关的。但是，如果图像检索系统仅仅依赖对等索引来检索图像是非常有限的，因为它仅能检索到那些对等索引非空的图像。另一方面，即使图像数据库中的所有图像都具有对等索引，对于由新提交的图像(没有对等索引)构成的查询来说，任意一幅图像都不会与之匹配。

本发明提出了图像检索协作框架，将基于索引的图像检索与基于内容的图像检索结合起来，包括如下步骤：

a)先基于对等索引来计算查询图像和数据库中的候选图像得到一个候选集合(步骤101)；

b)在把上一步中得到的图像以及它们的相似值用到基于底层特征的相关反馈中去，优化查询向量以及欧拉相似函数中各特征对应的权重(步骤102)；

c)最后，图像I_i与例子图像间的总相似度S_i ^*(步骤103)，计算如下：

S_i ^*＝(1+R_i)S_i

其中，R_i是步骤101中计算出的I_i与例子图像的对等索引相似度，S_i是I_i与查询向量在底层特征上采用欧拉相似函数计算出的相似度。查询向量和欧拉相似函数都是在步骤102处理中得到的优化值。有一个例外情况，如果在步骤101处理中没有匹配到图像，那么步骤102就不能进行。在这种情况下，我们跳过步骤102，直接跳到步骤103，即利用初始查询向量和欧拉相似度公式计算图像间的相似度。

为了精化检索结果，用户可以对检索出的图像标注为相关或者不相关，激发反馈处理。反馈有两个作用，(1)将反馈结果传给步骤106进行对等索引的学习；(2)根据相关和不相关的图像，采用一个新的相似度测量方法重新计算每一幅图像的总相似度：

${S_i}^{*}=(1+R_i)S_i+\frac{\mathrm{\&beta;}}{N_R}\underset{k\&Element;N_R}{\mathrm{\&Sigma;}}\left[(1+R_{\mathrm{ik}})S_{\mathrm{ik}}\right]-\frac{\mathrm{\&gamma;}}{N_N}\underset{k\&Element;N_N}{\mathrm{\&Sigma;}}\left[(1+R_{\mathrm{ik}})S_{\mathrm{ik}}\right]$

其中，S_i ^*是图像I_i的总相似度。R_i是I_i与例子图像的对等索引相似度，S_i是I_i的底层特征与优化后的查询向量的相似度。N_R和N_N分别是相关图像和不相关图像的数目。R_ik是I_i与第k相关(或不相关)图像的对等索引相似度，S_ik是采用优化后的欧拉相似函数计算出的底层特征相似度。β与γ是调整相关图像和不相关图像对总相似函数影响的参数。

实施例1

首先建立一个含4000幅图像的图像库，因为采用本发明所提出的图像检索框架，需要结合图像的底层特征与对等索引特征，所以对每一个图像都提取了底层颜色和纹理特征，对等索引在用户的相关反馈中建立。下面结合本发明的方法详细说明该实施的具体步骤，如下：

(1)如附图2所示，提交一个图像检索例子；

(2)提交图像检索例子后，系统根据底层特征的相似度返回一些检索结果，如附图3所示。用户可以对检索结果进行相关性判断：对相关的图像打勾(黑勾)，对不相关的图像打叉(黑叉)，进行语义相关反馈。

(3)在相关反馈时，系统将根据这些相关反馈信息更新对等索引，即增加打勾图像之间的对等索引的权重，减小打勾图像与打叉图像之间对等索引的权重，并在图像检索框架中采用结合底层特征与对等索引特征的相关反馈度量方法对图像库中的图像进行相似度计算，得到反馈后的结果，如附图4所示。

通过本发明所述方法，可以看到最终的图像检索结果符合用户需求，而且用户只需要做较少次数的相关反馈，极大的提高了图像检索系统的性能。

实施例2

本发明也可以直接选取图像库中的图像作为查询例子，实施过程如下所示：

(1)首先通过打勾的方式选中用户的查询例子，如附图5所示，打勾(黑勾)的图“汽车”作为查询例子。

(2)提交查询例子进行检索，这时在检索过程中采用了根据以前用户的相关反馈信息形成的对等索引和图像的底层特征，通过结合对等索引和底层图像特征的相似度计算，得到结果如附图6所示。

(3)如果用户还不满足，则可以进行相关反馈，即：用户可以进行相关性判断：对相关的图像打勾，对不相关的图像打叉，进行语义相关反馈。

通过本发明所述方法，可以看到用户不做相关反馈也能利用对等索引信息方便快捷地获取所需图像。

Claims (6)

1.一种基于对等索引的图像检索方法，其特征在于包括以下步骤：

(1)首先采用对等索引作为图像的表达方式；

(2)基于对等索引的表达方式，根据图像检索中用户提供的相关反馈信息构建和更新图像的对等索引；对等索引的构建和更新都嵌在用户相关反馈过程中；

(3)在图像相似度计算时，根据图像的对等索引进行图像相似度的计算；

(4)结合底层特征和对等索引特征，构建图像检索协作框架，在协作框架中引入融合对等索引特征的相关反馈。

2.根据权利要求1所述的基于对等索引的图像检索方法，其特征是，所述的采用对等索引作为图像的表达方式是指：对于一个图像对等索引的表达，是用一组与之语义相关的图像表示，对等索引的权重用图像语义的相关性表示，图像I_i的对等索引其表达形式为：

$P\left(I_i\right)=\{<{\mathrm{vk}}_{i_1},w_{i_1}>;\&CenterDot;\&CenterDot;\&CenterDot;;<{\mathrm{vk}}_{i_k},w_{i_k}>;\&CenterDot;\&CenterDot;\&CenterDot;;<{\mathrm{vk}}_{i_N},w_{i_N}>\}---1$

其中I_i表示一幅图像，P(I_i)就是图像I_i的对等索引，vk_ik为与I_i语义相似的图像，权重w_iK表示它们之间的语义相关程度。

3.根据权利要求1所述的基于对等索引的图像检索方法，其特征是，所述的根据图像检索中用户提供的相关反馈信息构建和更新图像的对等索引，对等索引的构建和更新都嵌在用户相关反馈过程中是指：在图像检索用户相关反馈过程中，进行如下两个步骤：

(1)对于用户提供的相关图像，增加查询图像与相关图像之间的对等索引的权重；

(2)对于用户提供的不相关图像，减小或去掉查询图像与不相关图像之间的对等索引的权重。

4.根据权利要求1所述的基于对等索引的图像检索方法，其特征是，所述的在图像相似度计算时，根据图像的对等索引进行图像相似度的计算是指：图像相似度的计算采用了对等索引相似度的计算公式，对等索引的相似度采用余弦公式进行计算，同时考虑了对等索引在图像库中的分布，根据对等索引的权重和其在图像库中的分布，计算相似度时，先调整其权重：

$w_{i_k}^{\&prime;}=w_{i_k}(\log \frac{M}{M_{i_k}}+1)---2$

其中，M是图像的总数目，M_ik是对等索引中具有vk_ik的图像的数目，然后将图像的对等索引看成一个向量，再用余弦公式计算其相似性：

$R_{\mathrm{ij}}=\frac{P\left(I_i\right)\&CenterDot;P\left(I_j\right)}{\left|\right|P\left(I_i\right)\left|\right|\left|\right|P\left(I_j\right)\left|\right|}---3$

其中，

是向量的模，·是点积。

5.根据权利要求1所述的基于对等索引的图像检索方法，其特征是，所述的结合底层特征和对等索引特征，构建图像检索协作框架的步骤如下：

(1)基于对等索引计算查询图像与数据库中图像的相似性，得到候选图像；

(2)将候选图像作为进一步的基于底层特征的图像检索的正例，进行伪反馈，优化查询向量和欧拉相似函数中各特征对应的权重，再进行基于底层特征的相似度计算；

(3)根据前两步得到的相似度得到总相似度，总相似度公式为：

$S_i^{*}=(1+R_i)S_i---4$

其中S_i ^*为图像I_i与查询图像间的总相似度，R_i是图像I_i与查询图像的对等索引相似度，S_i是I_i与查询图像在底层特征上采用欧拉相似函数计算出的相似度。

6.根据权利要求1所述的基于对等索引的图像检索方法，其特征是，所述的在协作框架中引入融合对等索引特征的相关反馈：在图像检索协作框架的相关反馈中包括两个作用：(1)反馈例子用于学习对等索引；(2)结合底层特征和对等索引进行相关反馈，根据相关和不相关的图像，采用一个新的相似度测量方法重新计算每一幅图像的总相似度：

$S_i^{*}=(1+R_i)S_i+\frac{\mathrm{\&beta;}}{N_R}\underset{k\&Element;N_R}{\mathrm{\&Sigma;}}\left[(1+R_{\mathrm{ik}})S_{\mathrm{ik}}\right]-\frac{\mathrm{\&gamma;}}{N_N}\underset{k\&Element;N_N}{\mathrm{\&Sigma;}}\left[(1+R_{\mathrm{ik}})S_{\mathrm{ik}}\right]---5$

其中，S_i ^*是图像I_i的总相似度，R_i是I_i与例子图像的对等索引相似度，S_i是I_i的底层特征与优化后的查询向量的相似度，N_R和N_N分别是相关图像和不相关图像的数目，R_ik是I_i与第k相关或不相关图像的对等索引相似度，S_ik是采用优化后的欧拉相似函数计算出的底层特征相似度，β与γ是调整相关图像和不相关图像对总相似函数影响的参数。

Images