CN101539930B - 一种相关反馈图像检索方法 - Google Patents

Abstract

本发明涉及一种相关反馈图像检索方法，包括具体步骤：初始检索、反馈样本选取、建立支持向量机分类面、通过有偏判别分析建立变换映射、构造分段相似性度量函数、多反馈轮次联合和反馈迭代。本发明通过执行支持向量机分类、有偏判别分析变换映射和多反馈轮次联合三方面的操作，使其在小样本情况下具有高效的智能检索效果，并且能够满足实时性需求。

Description

一种相关反馈图像检索方法

技术领域

本发明涉及图像检索识别领域，更具体地涉及一种相关反馈图像检索方法，尤其是基于分段相似性度量和多轮次联合的相关反馈图像检索方法。

背景技术

图像是多媒体信息库中的最常见，信息最丰富的媒体之一。随着摄影设备的发展和人们对数字图像的需求的日益提高，每天都有成百上千GB，甚至TB的数字图像产生。如何从大量的数字图像数据库中获取用户感兴趣的信息，则成为数字图像利用的一个关键问题。因此，研究图像检索技术对图像数据库的组织和管理，图像信息获取等都是非常有意义的。图像检索技术的应用领域也非常广泛。在艺术品管理领域，图像检索可以用来对博物馆的馆藏资料库进行管理，用户可以通过检索系统来查询馆藏；在互联网应用领域，用户可以输入一些查询条件通过搜索引擎找到符合自己要求的图像资料；在遥感领域，大场景的光学遥感和合成孔径雷达图像越来越多，通过图像检索技术查询用户感兴趣的区域，可以用作环境监测，地貌勘查，城市规划等用途。早期的图像检索技术主要是基于文本的图像检索(Text Based Image Retrieval，TBIR)技术，对图像库中的图像标记一系列的关键词，然后通过文本检索的方法来进行图像检索。由于基于文本的检索方式所需人工标注关键词的代价太大，而且通过有限的关键词很难去准确的描述图像的内容，因此越来越多的研究者将研究重点放在基于内容的图像检索(Content Based Image Retrieval，CBIR)上。在CBIR系统中，用户通过对图像的底层视觉特征(例如：颜色，纹理，形状等)进行提取，然后通过某种相似性度量函数对图像的底层视觉特征进行匹配，从而得到检索结果。但是，由于底层的视觉特征并不能很好的表达高层的语义信息，使得检索结果不能很好的满足用户的要求，检索性能不能达到用户的期望，这就是所谓的“语义鸿沟”。相关反馈(Relevance Feedback)技术是跨越“语义鸿沟”的有力手段，用户在经过初次检索之后，如果检索结果不能满足检索要求，则对当前的检索结果中的一部分图像进行分类，按照其与目标图像类之间的相关性分为相关图像类和不相关图像类，将属于相关图像类和不相关图像类的图像样本分别作为正负反馈样本返回给检索系统，系统根据这些反馈样本，对检索系统中的相似性度量函数进行更新调整，使其更符合用户的检索意图。同时，相关反馈图像检索通常包括多个轮次反馈，综合利用各个轮次的反馈信息将可能有效提高检索性能和稳定性。

到目前为止，人们进行了许多关于相关反馈方面的研究工作：

比较典型的有Rui等提出的查询点移动。该方法利用文本检索中的Rachio公式对目标图像类的示例图像的特征向量进行修改，使得示例图像的特征向量向着用户期望的方向移动，修改后的示例图像的特征向量由原始示例图像特征，正反馈样本和负反馈样本这三部分的加权和组成： $q_{\mathrm{new}}=\mathrm{\αq}+\frac{\mathrm{\β}}{\left|S^{+}\right|}\underset{I_j\∈S^{+}}{\mathrm{\Σ}}{I}_j-\frac{\mathrm{\γ}}{\left|S^{-}\right|}\underset{I_j\∈S^{-}}{\mathrm{\Σ}}{I}_j,$ 其中q_new是修改后的示例图像的特征向量，q为初始的示例图像的特征向量，S⁺为正反馈样本集合，S^-为负反馈样本集合，||为集合的大小，α，β，γ为可调的常数，I_j为反馈样本的特征向量。

另外一种常见的相关反馈方法是特征加权，系统根据反馈回的正负样本对特征向量的每一维赋予不同的权值。对那些能够很好的代表查询目标共有性质的特征赋予较大的权值；反之，对那些不能够很好的代表查询目标性质的特征，赋予较小的权值。

当图像库中的图像在特征空间中的分布呈现出非线性，多峰等较为复杂的分布时，上面这些简单的反馈方法往往达不到很好的效果。在近年的相关反馈技术的发展中，机器学习方法逐渐成为相关反馈算法中的主流方法，例如支持向量机(SVM)，AdaBoost等。在这些基于学习的方法中，大多将相关反馈看作一个带监督的分类问题：利用反馈样本作为训练样本，将相关性信息作为其对应的类别标号，训练一个分类器，并以此作为新的相似性度量函数对图像库中的所有图像与当次检索的目标图像类之间的相似性程度进行计算，排序后输出检索结果。在基于学习框架的这一类相关反馈方法中，支持向量机是目前使用最普遍，最流行的方法之一。支持向量机是基于结构风险最大化的一种学习算法，在训练支持向量机分类器的时候，它在保证训练准确率的同时，也兼顾了分类器的泛化性能。同时分类器的训练速度较快，符合相关反馈图像检索中对实时性的要求。在相关反馈图像检索的实际应用中，反馈样本的数量通常很有限(小样本)。虽然支持向量机在小样本问题上有较好的表现，但是当训练样本的数量远远小于样本的特征向量的维数时，基于支持向量机的相关反馈会出现较为严重的性能下降。所以基于支持向量机的相关反馈算法在小样本情况下准确性还有待改进，目前本领域有专家探讨了在相关反馈图像检索中利用支持向量机和欧氏距离构成相似性度量函数，对基于支持向量机的相关反馈的性能进行改善。但由于欧氏距离只适合于处理数据分布为线性，单峰等较简单的形式的问题，在非线性，多峰等较复杂的分布情况下，欧氏距离显然不是一个合适的度量方式。

发明内容

本发明目的是针对现有图像检索中基于支持向量机的相关反馈技术的不足和缺陷，提出了一种在小样本情况下具有高效智能检索效果的相关反馈图像检索方法。

本发明提供的相关反馈图像检索方法包括以下具体步骤：

步骤1，初始检索：针对检索图像，提取其底层视觉特征，与图像数据库中所有图像形成的特征库进行相似性度量，并按照相似性的大小对图像数据库中图像进行排序，依次输出作为初始检索结果；

步骤2，反馈样本选取：对初始检索结果中最靠前的一部分图像进行分类，即根据这一部分图像在内容上和检索图像之间的相关性，分为相关图像类和不相关图像类；将这一部分图像作为反馈样本返回，其中属于相关图像类的为正反馈样本，属于不相关图像类的为负反馈样本；

步骤3，建立支持向量机分类面：返回的正反馈样本和负反馈样本被用来训练支持向量机分类器，得到支持向量机分类面；

步骤4，通过有偏判别分析建立变换映射：返回的正反馈样本和负反馈样本被用来进行有偏判别分析，得到一个变换映射；

步骤5，构造分段相似性度量函数：利用步骤3中所得支持向量机的分类面，以及步骤4中得到的变换映射，构造一个分段相似性度量函数；

步骤6，多反馈轮次联合：将各轮反馈中得到的分段相似性度量函数加以组合，得到当前反馈轮次的总相似性度量函数；利用总相似性度量函数，对图像数据库中所有图像形成的特征库与检索图像的底层视觉特征进行相似性度量，并按照相似性的大小对图像数据库中图像进行排序，依次输出作为当前检索结果；步骤7，反馈迭代：如果当前检索结果不满足检索要求，则对当前检索结果中最靠前的一部分图像根据在内容上和检索图像之间的相关性进行分类，并加入到之前反馈轮次中已经得到的反馈样本内，然后基于扩大后的反馈样本集重复步骤3～7；如果当前检索结果满足检索要求，则停止反馈。

而且，在步骤4中，通过有偏判别分析得到一个变换映射的具体实现方式为，将正反馈样本和负反馈样本看作两类样本，计算类内散布矩阵和类间散布矩阵；求解一个变换，使得在变换后的空间中，类间散布矩阵和类内散布矩阵的比值最大化；以这个最大化问题的解作为变换映射。

而且，在步骤5中，构造一个分段相似性度量函数的具体实现为，根据支持向量机的分类面将图像数据库中的图像所在特征空间划分为两部分，然后对处于分类面两侧的特征空间中的图像分别采用不同的相似性度量函数来进行度量；

在分类面正侧的特征空间中，对图像数据库中位于这一区域的图像I₊，首先通过有偏判别分析求出的变换映射，变换到新的特征空间中，在新的特征空间中以图像I₊到正反馈样本的质心的欧氏距离作为相似性度量基准；

在分类面负侧的特征空间中，对图像数据库中位于这一区域的图像I_-，以其到分类面的距离作为相似性度量基准。

而且，在步骤6中，将各轮反馈中得到的分段相似性度量函数加以组合，得到当前反馈轮次的总相似性度量函数的具体实施方式为，采用一个加权组合策略将每个反馈轮次中建立起的分段相似性度量函数联合起来，将第i轮反馈过程中得到的分段相似性度量函数记为Similarity_i(x)，则第i轮反馈过程中的总相似性度量函数为

Similarity_total(x)＝w_i·Similarity_i(x)+w_i-1·Similarity_i-1(x)+…+w₁·Similarity₁(x)

其中，w_i，w_i-1，...，w₁为各个反馈轮次中得到的分段相似性度量函数对应的权重。

本发明提供了一种分段相似性度量和多轮次联合的相关反馈图像检索方法，通过执行支持向量机分类、有偏判别分析变换映射和多反馈轮次联合三方面的操作，使其在小样本情况下具有高效的智能检索效果。同时，实施该方法时不会增加过多的计算负担，能够快速提供检索结果，兼顾了检索系统对实时性的要求。

附图说明

图1为本发明流程框图。

具体实施方式

本发明所提供相关反馈图像检索方法的具体实施方式可参见图1，按步骤详述如下：

步骤1，初始检索：针对检索图像，提取其底层视觉特征，与图像数据库中所有图像形成的特征库进行相似性度量，并按照相似性的大小对图像数据库中图像进行排序，依次输出作为初始检索结果。

具体实施时，检索图像可以任意选择，可由用户提供，或者从图像数据库任选。图像数据库中所有图像形成的特征库，即是图像数据库中所有图像的底层视觉特征的集合，可以数据库形式存储，属于基于内容的图像检索的实现基础。初始检索中，对检索图像的底层视觉特征与图像数据库中所有图像形成的特征库进行相似性度量，所采用的具体度量方式可以采用现有度量技术，例如通过欧氏距离进行相似性度量。

步骤2，反馈样本选取：对初始检索结果中最靠前的一部分图像进行分类，即根据这一部分图像在内容上和检索图像之间的相关性，分为相关图像类和不相关图像类；将这一部分图像作为反馈样本返回，其中属于相关图像类的为正反馈样本，属于不相关图像类的为负反馈样本。

具体实施时，可以根据需要设定从初始检索结果中取最靠前的一定数目图像，然后分类挑选反馈样本；也可以设定作为反馈样本的图像数目。因为每屏显示的图像数目通常是固定的，也可设定从初始检索结果中取最靠前的几屏图像，然后分类挑选反馈样本。

步骤3，建立支持向量机分类面：返回的正反馈样本和负反馈样本被用来训练支持向量机分类器，得到支持向量机分类面。

根据支持向量机技术，训练样本S_train：(x_i，y_i)_1≤i≤n，x_i∈R^d，y_i∈{-1，1}由两部分组成，其中x_i为反馈样本的底层视觉特征矢量，y_i为类别标号，正反馈样本的类别标号为+1，负反馈样本的类别标号为-1，N为反馈样本总数，R^d为实数域R上的d维向量空间。为了更好的解决非线性问题，在本发明中采用带有核函数的支持向量机，利用一个非线性映射将样本映射到高维空间中，将原始空间中求解非线性分类面的问题转化为高维空间中的求解线性分类面的问题。

决策函数表示为以下形式：

g(x)＝w·Φ(x)+b                       (1)

相应地，支持向量机分类面可以写成：

w·Φ(x)+b＝0                    (2)

其中，Φ(·)为一个非线性映射，w为权值向量，b为偏移常量。

落在w·Φ(x)+b＝±1这两个超平面上的点称为支持向量(Support Vectors)，支持向量到分类面的距离称为分类间隔(Margin)，大小为1/‖w‖。分类间隔的大小代表了分类器的泛化能力。

此支持向量机分类面的建立在保证分类准确率的同时，使得分类间隔最大化：

$\min \mathrm{\φ}\left(w\right)=\frac{1}{2}{\left|\right|w\left|\right|}^2$

subject to：                                        (3)

y_i(w·Φ(x_i)+b)≥1，i＝1，...，N

根据对(3)式的求解即可得到支持向量机分类面。其中，φ(w)为该最优化问题的目标函数，min表示取最小值，subject to表示以…为条件。通过拉格朗日乘子法对(3)式中的二次规划问题进行求解，可以得到：

w＝∑_iα_iy_iΦ(x_i)                                   (4)

其中，x_i为支持向量，y_i和α_i分别为该支持向量对应的类别标号和拉格朗日系数。

样本到支持向量机分类面的距离可以表示为：

Distance_svm(x)＝∑_iα_iy_iΦ(x_i)·Φ(x)+b             (5)

其中，x为图像数据库中任意一个图像样本对应的底层视觉特征向量。

利用核函数避开非线性映射的显式表达，图像样本到支持向量机分类面的距离可以改写为：

Distance_svm(x)＝∑_iα_iy_iK(x_i·x)+b                     (6)

其中K(.)为核函数，且K(x_i，x)＝Φ(x_i)^T·Φ(x)，上标T表示转置矩阵。

步骤4，通过有偏判别分析建立变换映射：返回的正反馈样本和负反馈样本被用来进行有偏判别分析，得到一个变换映射。

在图像检索中，图像样本往往是不对称的，即和检索目标“相关”的图像I_r都来自于单一类别，而和检索目标“不相关”的图像I_ir来自于图像集中剩下的所有类别。有偏判别分析针对这样的情况，对数据进行了一个(1+x)类的假设，将重点放在“相关”的图像类别上。

为了能更好的处理复杂的非线性问题，在本发明中，采用的是带核函数的有偏判别分析(Biased Discriminant Analysis using Kernel，KBDA)。通过一个非线性映射φ将样本映射到高维空间中。然后在这个高维空间中，寻找一个线性映射w，在经过这样的映射之后，I_r中的图像样本能够相互聚拢，而I_ir中的图像样本能够远离I_r中的图像样本。

w通过以下的最优化问题进行求解：

$W_{\mathrm{opt}}=\underset{w}{\arg \max }\left|\frac{W^T{S}_y^{\mathrm{\φ}}W}{W^T{S}_x^{\mathrm{\φ}}W}\right|---\left(7\right)$

类间散布矩阵S_y ^φ和类内散布矩阵S_x ^φ通过下面的表达形式进行估计：

$S_y^{\mathrm{\φ}}=\underset{i=1}{\overset{N_y}{\mathrm{\Σ}}}{(\mathrm{\φ}\left(y_i\right)-m_x^{\mathrm{\φ}})(\mathrm{\φ}\left(y_i\right)-m_x^{\mathrm{\φ}})}^T---\left(8\right)$

$S_x^{\mathrm{\φ}}=\underset{i=1}{\overset{N_x}{\mathrm{\Σ}}}(\mathrm{\φ}\left(x_i\right)-m_x^{\mathrm{\φ}}){(\mathrm{\φ}\left(x_i\right)-m_x^{\mathrm{\φ}})}^T---\left(9\right)$

其中，集合{x_i}和{y_i}分别为正负反馈样本的底层视觉特征向量，m_x ^φ为 ${\left\{\mathrm{\φ}\left(x_i\right)\right\}}_{1\≤i{\≤N}_x}$ 的均值。在求解和映射过程中，用核函数K(.)来代替非线性映射φ的显式表达：K(x_i，x_j)＝φ(x_i)^Tφ(x_j)。

步骤5，构造分段相似性度量函数：利用步骤3中所得支持向量机的分类面，以及步骤4中得到的变换映射，构造一个分段相似性度量函数。

在经过支持向量机分类器训练和KBDA变换之后，得到了两个新的特征空间，一个是由支持向量机中的核函数张成的特征空间S_SVM(并将支持向量机分类面正侧的特征空间记为S_SVM ⁺，负侧的特征空间记为S_SVM ^-)，另外一个是由KBDA变换映射得到的特征空间S_KBDA。

在图像检索应用中，用户最关心的往往是检索结果中最靠前的那一部分，也就是检索结果前几屏中的图像。因此在本发明中，为了重点改善检索结果前几屏的准确率，首先利用训练好的支持向量机分类器对图像数据库中的图像进行分类，对落于S_SVM ⁺中的图像样本进行KBDA变换映射，在S_KBDA中度量其与检索图像之间的相似性。这一部分的相似性度量采用图像样本到所有正反馈样本的质心的欧氏距离。对于落在在S_SVM ^-中图像样本，采用样本到支持向量机分类面的距离作为其相似性度量。在对S_SVM ⁺和S_SVM ^-这两个区域分别进行相似性度量后，得到了一个分段式的相似性度量函数，表示如下：

$\mathrm{Similarity}\left(x\right)=\left\{\begin{array}{cc}{\mathrm{Dis}\tan \mathrm{ce}}_{\mathrm{Euclidian}}(x^{S_{\mathrm{KBDA}}},m_p^{S_{\mathrm{KBDA}}}),& x\∈S_{\mathrm{SVM}}^{+}\\ \underset{i\∈S_{\mathrm{SVM}}^{+}}{\min }\left[{\mathrm{Dis}\tan \mathrm{ce}}_{\mathrm{Euclidian}}(i,m_p^{S_{\mathrm{KBDA}}})\right]-{\mathrm{Dis}\tan \mathrm{ce}}_{\mathrm{SVM}}\left(x\right),& x\∈S_{\mathrm{SVM}}^{-}\end{array}\right.---\left(10\right)$

其中，

为样本在S_KBDA空间中的投影，为正反馈样本的底层特征向量在S_KBDA空间中的均值，Distance_Euclidian()为欧氏距离。

图像数据库中的待测图像x的Similarity函数值越小，则x与检索图像之间的相似性越大；反之，则相似性越小。

步骤6，多反馈轮次联合：将各轮反馈中得到的分段相似性度量函数加以组合，得到当前反馈轮次的总相似性度量函数；利用总相似性度量函数，对图像数据库中所有图像形成的特征库与检索图像的底层视觉特征进行相似性度量，并按照相似性的大小对图像数据库中图像进行排序，依次输出作为当前检索结果。

为使检索系统的相似性度量函数更加准确，应充分利用相关反馈过程中的各种有用信息。本发明提出通过联合当前反馈轮次和之前所有反馈轮次的相似性度量信息，在没有引入过多额外的计算负担的情况下，使相似性度量函数进一步得到优化。具体实施时，也可联合当前反馈轮次和之前部分反馈轮次的相似性度量信息，以降低有限精度要求的代价进一步减轻计算负担。

本发明提供了进一步技术方案：采用线性组合的方式，将当前反馈轮次中得到的分段相似性度量函数和之前所有反馈迭代过程中得到的分段相似性度量函数进行联合，得到当前的总相似性度量函数，表示如下：

Similarity_total(x)＝w_i·Similarity_i(x)+w_i-1·Similarity_i-1(x)+…+w₁·Similarity₁(x)      (11)

其中，Similarity_i(x)为第i轮反馈过程中得到的分段相似性度量函数，Similarity_i-1(x)为第i-1轮反馈过程中得到的分段相似性度量函数…直到取Similarity₁(x)为最开始第1轮反馈过程中得到的分段相似性度量函数；w_i，w_i-1，…，w₁为各个反馈轮次中得到的分段相似性度量函数对应的权重，可在事先按照一定规则设定。

利用得到的总相似性度量函数Similarity_totat(·)对图像数据库中的图像与检索图像之间的相似性进行度量并按照相似性大小进行排列，以此输出作为当次反馈后的检索结果。

步骤7，反馈迭代：如果当前检索结果不满足检索要求，则对当前检索结果中最靠前的一部分图像根据在内容上和检索图像之间的相关性进行分类，并加入到之前反馈轮次中已经得到的反馈样本内，然后基于扩大后的反馈样本集重复步骤3～7；如果当前检索结果满足检索要求，则停止反馈。

本发明提供的多轮次反馈图像检索方法，可以采用计算机技术自动执行。步骤1～7可以采用顺序执行方式，当执行到步骤7时再根据检索结果判断结束流程还是自动返回步骤3，若返回则继续顺序执行到步骤7继续判断。其中步骤3和步骤4因为互相无依赖关系，执行顺序可以调换，也可以同时进行，都属于本发明权利要求的等同替换方案，应当在保护范围内。当前检索结果是否满足检索要求，可以利用人机交互界面确定，也可以设定相似度阈值由计算机自动判定。

结合本发明的内容进一步提供以下实施例：

本实施例将本发明所提供技术方案应用在高分辨率合成孔径雷达(High-Resolution Synthetic Aperture Radar)图像检索中。实施例中使用的图像数据库中共包括森林、草地、工业区、居民区和裸地5类地物的合成孔径雷达图像样本，共511幅。利用本发明的相关反馈图像检索方法从图像数据库中查找与检索图像属于同一地物类型的图像样本。检索过程中采用以下方式提取检索图像和图像数据库中图像的底层视觉特征：将每幅图像均匀的划分为4个子块，每个子块提取128维的SIFT(Scale Invariant Feature Transform，尺度不变特征变换)特征，组成512维的特征向量。

整个相关反馈图像检索过程实现如下：

1.初始检索

任意挑选一幅图像作为检索图像q，计算其对应的底层视觉特征向量x_q，与图像数据库中的所有图像x的底层视觉特征通过欧氏距离进行相似性度量，相似度 $\mathrm{Sim}(x,x_q)={\left|\right|x-x_q\left|\right|}^{\frac{1}{2}},$ 并按照相似性大小进行排序，依次输出作为初始检索结果。

2.反馈样本获取

将初始检索结果中的前3屏图像进行分类，根据这一部分样本在内容上和检索图像之间的相关性，分为相关图像类和不相关图像类，从这两类中分别选择排在最靠前的各5幅图像作为正负反馈样本，并将正负反馈样本返回给检索系统。

3.建立支持向量机分类面

利用返回到检索系统的正负反馈样本训练一个支持向量机分类器，得到其分类面。在本实施例中，训练支持向量机分类器时采用的核函数是径向基核函数，K(x_i，x_j)＝exp(-γ‖x_i-x_j‖²)，参数γ＝40。其中，exp()为指数函数。

4.通过有偏判别分析建立变换映射

返回到检索系统的正负反馈样本被用来进行有偏判别分析，将正负反馈样本分别作为两类训练样本。通过(8)，(9)式计算类间散布矩阵S_y ^φ和类内散布矩阵S_x ^φ，代入到(7)式中的最优化问题中，求解得到变换映射矩阵，在建立变换映射的过程中，采用的核函数同样为径向基核函数K(x_i，x_j)＝exp(-γ‖x_i-x_j‖²)，参数γ＝40。

5.构造分段相似性度量函数

首先利用训练好的支持向量机分类器对图像数据库中的图像进行分类，对落于分类面正侧S_SVM ⁺中的图像样本利用步骤4中得到的变换映射矩阵映射到新空间S_KBDA，在S_KBDA中，对这一部分图像样本采用图像样本到所有正反馈样本的质心的欧氏距离来度量其与检索图像之间的相似性。对于落在分类面负侧S_SVM ^-中图像样本，采用样本到支持向量机分类面的距离作为其相似性度量。在对S_SVM ⁺和S_SVM ^-这两个区域分别进行相似性度量后，利用(10)式得到一个分段式的相似性度量公式，即分段相似性度量函数Similarity_i(·)。

6.多反馈轮次联合

采用(11)式中线性组合的方式，将当前反馈轮次中得到的分段相似性度量函数和之前所有反馈轮次中得到的分段相似性度量函数Similarity_i(·)进行联合，得到当前的总相似性度量函数Similarity_total(·)。在本实施例中，联合权值的选择规则如下：第i轮反馈中训练得到的相似性度量函数对应的权值w_i＝1/2^n-i，n为当前反馈轮次，且1≤i≤n。这样是为了让与当前反馈轮次越接近的之前反馈轮次所得分段相似性度量函数作用越大。利用总相似性度量函数Similarity_total(·)对图像数据库中的图像与检索图像之间的相似性进行度量并按照相似性大小进行排列，依次输出作为检索结果。

7.反馈迭代

如果当前检索结果不满足检索要求，则对当前检索结果中最靠前的一小部分图像进行分类，获得新的正负反馈样本，加入到之前的反馈轮次中已经得到的反馈样本集中。基于扩大后的反馈样本集重新运行3-7步。

实施例中分别取5幅不同的检索图像进行检索实验。为重点评价按本发明技术方案实现的检索系统在前几屏检索结果中的检索性能，采用如下部分平均准确率(Partial Average Precision，PAP)评价指标： $\mathrm{PAP}=\frac{1}{5}{\mathrm{\Σ}}_{t}P(R=t),t=0.1,...,0.5,$ 其中，P(R＝t)为查全率R＝t时对应的查准率。

表1给出了在对5幅不同的检索图像采用标准支持向量机方法和本发明中的方法分别进行检索时，前3次反馈中的部分平均准确率，并给出了采用本发明中的方法相对于标准支持向量机方法的性能提升百分比。从表1数据可看出，本发明中的方法在部分平均准确率指标上明显优于标准支持向量机方法。在经过少量的几次反馈迭代之后(实施例中为3次)，系统的检索性能已经达到一个较好的水平。同时，该方法没有引入过多额外的计算负担，较好的满足了检索系统中的相关反馈环节对实时性的要求。

表1、前3次反馈的部分平均准确率

Claims (3)

1.一种相关反馈图像检索方法，其特征在于包括以下具体步骤：

步骤1，初始检索：针对检索图像，提取其底层视觉特征，与图像数据库中所有图像形成的特征库进行相似性度量，并按照相似性的大小对图像数据库中图像进行排序，依次输出作为初始检索结果；

步骤2，反馈样本选取：对初始检索结果中最靠前的一部分图像进行分类，即根据这一部分图像在内容上和检索图像之间的相关性，分为相关图像类和不相关图像类；将这一部分图像作为反馈样本返回，其中属于相关图像类的为正反馈样本，属于不相关图像类的为负反馈样本；

步骤3，建立支持向量机分类面：返回的正反馈样本和负反馈样本被用来训练支持向量机分类器，得到支持向量机分类面；

步骤4，通过有偏判别分析建立变换映射：返回的正反馈样本和负反馈样本被用来进行有偏判别分析，得到一个变换映射；

步骤5，构造分段相似性度量函数：利用步骤3中所得支持向量机的分类面，以及步骤4中得到的变换映射，构造一个分段相似性度量函数；构造一个分段相似性度量函数的具体实现如下，

根据支持向量机的分类面将图像数据库中的图像所在特征空间划分为两部分，然后对处于分类面两侧的特征空间中的图像分别采用不同的相似性度量函数来进行度量；

在分类面正侧的特征空间中，对图像数据库中位于这一区域的图像I₊，首先通过有偏判别分析求出的变换映射，变换到新的特征空间中，在新的特征空间中以图像I₊到正反馈样本的质心的欧氏距离作为相似性度量基准；

在分类面负侧的特征空间中，对图像数据库中位于这一区域的图像I-，以其到分类面的距离作为相似性度量基准；

步骤6，多反馈轮次联合：将各轮反馈中得到的分段相似性度量函数加以组合，得到当前反馈轮次的总相似性度量函数；利用总相似性度量函数，对图像数据库中所有图像形成的特征库与检索图像的底层视觉特征进行相似性度量，并按照相似性的大小对图像数据库中图像进行排序，依次输出作为当前检索结果；

步骤7，反馈迭代：如果当前检索结果不满足检索要求，则对当前检索结果中最靠前的一部分图像根据在内容上和检索图像之间的相关性进行分类，并加入到之前反馈轮次中已经得到的反馈样本内，然后基于扩大后的反馈样本集重复步骤3～7；如果当前检索结果满足检索要求，则停止反馈。

2.根据权利要求1所述的相关反馈图像检索方法，其特征在于：在步骤4中，通过有偏判别分析得到一个变换映射的具体实现方式为，将正反馈样本和负反馈样本看作两类样本，计算类内散布矩阵和类间散布矩阵；求解一个变换，使得在变换后的空间中，类间散布矩阵和类内散布矩阵的比值最大化；以这个最大化问题的解作为变换映射。

3.根据权利要求1或2所述的相关反馈图像检索方法，其特征在于：在步骤6中，将各轮反馈中得到的分段相似性度量函数加以组合，得到当前反馈轮次的总相似性度量函数的具体实施方式为，采用一个加权组合策略将每个反馈轮次中建立起的分段相似性度量函数联合起来，将第i轮反馈过程中得到的分段相似性度量函数记为Similarity_i(x)，则第i轮反馈过程中的总相似性度量函数为Similarity_total(x)＝w_i·Similarity_i(x)+w_i-1·Similarity_i-1(x)+…+w₁·Similarity₁(x)

其中，w_i，w_i-1，...，w₁为各个反馈轮次中得到的分段相似性度量函数对应的权重。

Images