CN102750347B - 一种用于图像或视频搜索重排序的方法 - Google Patents

Abstract

本发明公开了一种用于图像或视频搜索重排序的方法，涉及面向多媒体信息检索领域，对图像样本集合按照与查询主题相关性的程度划分为三个等级A、B和C；构建相关图、不相关图和全局图；获取相关散度，不相关散度和全局散度；通过相关散度、不相关散度和全局散度构建目标函数，获取图像样本的新特征向量；将标注图像样本的新特征向量作为训练集输入到训练模型中，获取训练后排序模型；通过训练后排序模型对图像样本进行排序，输出排序结果。本发明设计了一种适用于多媒体检索中与排序相关领域的维数约减方法，使之在有限的监督信息的前提下，充分地利用数据的特有性质，能够有效地利用少量的标注提高排序性能，提高了搜索精度。

Description

一种用于图像或视频搜索重排序的方法

技术领域

本发明涉及面向多媒体信息检索领域，特别涉及一种用于图像或视频搜索重排序的方法。

背景技术

随着信息技术的快速发展，图像和视频等多媒体数据大量涌现，成为人们获取信息的重要途径之一。如何从海量的数据中快速准确的获取用户所需的信息是一项具有挑战性的工作。图像或视频搜索重排序是根据初始的基于文本搜索结果结合其它的可利用的辅助信息训练排序模型，利用新的排序模型对检索结果重新排序的过程，其目的是为了改善检索的准确性以提高用户体验和满意度。

多媒体检索相关领域数据中存在着大量排序信息。排序信息是指排序学习中的训练数据集合所提供的可用于学习排序模型的监督信息，包括数据的相关性等级信息、数据的优先级关系信息以及建立其之上的关系对、关系序列等信息。利用标注信息进行图像或视频的重排序是目前主要的方法，标注信息可以通过人工标注、相关反馈、伪相关反馈、隐相关反馈等途径获取。

在多媒体信息检索领域中，相关性等级信息广泛应用于信息检索中的模型训练中。在大多数情况下，根据与查询的相关性的高低手动地或自动地对每个文档进行不同等级的标注，例如“非常相关”、“一般相关”和“不相关”等，这些描述样本与查询相关程度的度量叫做样本的相关性等级信息。排序学习正是基于这种特殊标注的新的研究领域，然而，排序学习仅仅是利用机器学习的方法学习更有效的排序模型，其侧重点在于学习的过程，并没有考虑到特征维数约简的问题。到目前为止，很少有工作把相关性等级信息用到维数约减过程中。

样本的相关性等级信息不同于传统的类标号信息，前者是在信息检索中用来衡量文档与查询之间的相关程度的度量，后者指的是机器学习与模式识别领域中一类事物的所共同具有的属性。例如在传统的模式分类任务中，同一类的事物会具有共同的特征，不同类的事物具有不同的特征。然而，在排序应用中，由于样本按照与查询相关的程度分为不同的相关性等级，这样即使不同相关性等级的样本之间，也可能由于都与查询相关而存在不同程度的相关性，此外具有相同的相关性等级样本之间，由于相关性等级的不同也会具有不同程度的相关性或者不具有相关性。因此相关性等级信息并不能直接作为样本的类别标号信息对样本进行处理。基于此，根据任意两个样本之间有无相关性，引入了相关图与不相关图的概念来表示两个样本之间的关系。

发明人在实现本发明的过程中，发现现有技术中存在以下不足：

现有技术中的图像或视频搜索重排序方法通常对所提取出来的高维特征向量不进行维数约减处理或者进行无监督的维数约简或者将图像或视频的相关性等级信息简单的作为类别标号信息进行维数约简，然而，由于这些数据通常具有高维特性，直接对它们进行分析和处理会导致如下重要问题：1）计算复杂度高；2）存储代价高昂；3）维数灾难。这成为严重制约多媒体内容分析和检索领域的关键问题。此外，在图像或视频搜索重排序中图像或视频的类别标号并不能充分准确地描述图像与图像之间，或视频与视频之间的关系，因此直接将图像或视频的相关性等级信息作为类别标号信息对数据进行维数约简，使得训练出来的排序模型不够精确，检索精度较低，无法满足实际应用中的需要。

发明内容

本发明提供了一种用于图像或视频搜索重排序的方法，本发明提高了检索的精度，满足了实际应用中的多种需要，详见下文描述：

一种用于图像或视频搜索重排序的方法，所述方法包括以下步骤：

(1)对图像样本集合X按照与查询主题相关性的程度划分为三个等级A、B和C，且A＞B＞C；

(2)对任意的标注图像样本组成的样本对(x_i,x_j)，初始化相关图的权重矩阵ω^r为t×t的零矩阵，根据相关组合确定ω_ij ^r和ω_ji ^r的权重，构建相关图；

(3)对所述任意的标注图像样本组成的样本对(x_i,x_j)，初始化不相关图的权重矩阵ω^u为t×t的零矩阵，根据不相关组合确定ω_ij ^u和ω_ji ^u的权重，构建不相关图；

(4)初始化全局图的权重矩阵ω为n×n的零矩阵，通过k近邻图构建全局图；

(5)通过所述相关图获取相关散度S_r，所述不相关图获取不相关散度S_u，所述全局图获取全局散度S_t；

(6)通过所述相关散度S_r、所述不相关散度S_u和所述全局散度S_t构建目标函数，获取所述图像样本的新特征向量；

(7)将标注图像样本的新特征向量作为训练集输入到训练模型中，获取训练后排序模型；

(8)通过所述训练后排序模型对图像样本进行排序，输出排序结果。

在所述对图像样本集合X按照与查询主题相关性的程度划分为三个等级A、B和C的步骤之前，所述方法还包括：

在搜索引擎中输入查询关键词，获取基于文本的搜索结果，从搜索结果中提取视觉特征组成所述图像样本集合X。

所述对任意的标注图像样本组成的样本对(x_i，x_j)，初始化相关图的权重矩阵ω^r为t×t的零矩阵，根据相关组合确定ω_ij ^r和ω_ji ^r的权重，构建相关图具体为：

1）当(x_i,x_j)为AA或BB组合时，标注图像样本之间的权重为ω_ij ^r=ω_ji ^r=1；

2）当(x_i,x_j)为AB组合时，标注图像样本之间的权重为ω_ij ^r=ω_ji ^r=t(0<t<1)；

3）当(x_i,x_j)为BC组合时，标注图像样本之间的相似度为h，令ω_ij ^r=ω_ji ^r=h；

其中，ω_ij ^r和ω_ji ^r为权重矩阵ω^r中的任意元素，AA、BB、AB和BC为相关组合。

所述对所述任意的标注图像样本组成的样本对(x_i,x_j)，初始化不相关图的权重矩阵ω^u为t×t的零矩阵，根据不相关组合确定ω_ij ^u和ω_ji ^u的权重，构建不相关图具体为：

1）当(x_i,x_j)为AC组合时，标注图像样本之间的权重为ω_ij ^u=ω_ji ^u=1；

2）当(x_i,x_j)为CC组合时，标注图像样本之间的权重为ω_ij ^u=ω_ji ^u=1；

其中，ω_ij ^u和ω_ji ^u为权重矩阵ω^u中的任意元素；AC和CC为不相关性组合。

所述初始化全局图的权重矩阵ω为n×n的零矩阵，通过k近邻图构建全局图具体为：

1）建立图像样本的k近邻图；

2）如果图像样本x_i是图像样本x_j的k近邻或者图像样本x_j是图像样本x_i的k近邻，则计算图像样本x_i与图像样本x_j之间的相似度s，对权重矩阵ω赋值并令ω_ij＝ω_ji＝s；其中，ω_ij和ω_ji为权重矩阵ω中的任意元素。

$S_r=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}^r=2w^T{X}_l(D^r-{\mathrm{\&omega;}}^r)X_l{w}^T=2w^T{X}_l{L}_r{X}_l^{T}w$

$S_u=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}^u=2w^T{X}_l(D^u-{\mathrm{\&omega;}}^u)X_l{w}^T=2w^T{X}_l{L}_u{X}_l^{T}w$

$S_t=\underset{y_i,y_j\&Element;Y}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}=2w^{T}X(D-\mathrm{\&omega;})X^{T}w=2w^T\mathrm{XL}{X}^{T}w$

其中，y_i=w^Tx_i，y_j=w^Tx_j， L_r=D^r-ω^rL_u＝D^u-ω^u，L＝D-ω，D^r、D^u和D是对角矩阵分别为相关图、不相关图以及全局图的拉普拉斯矩阵。

所述目标函数具体为：

$w=\arg \underset{w}{\max }\frac{S_u}{S_r+S_t}=\arg \underset{w}{\max }\frac{w^T{X}_l{L}_u{X}_l^{T}w}{w^T{X}_l{L}_r{X}_l^{T}w+w^T\mathrm{XL}{X}^{T}w}$

其中，上述目标函数的最优解通过X_lL_uX_l ^Tw_i=λ_i(X_lL_rX_l ^T+XLX^T)w_i求解得到，λ_i为(X_lL_rX_l ^T+XLX^T)^-1X_lL_uX_l ^T的第i个最大的特征值，w_i为特征值λ_i对应的特征向量，设由前d个最大的特征值对应的特征向量组成的变换矩阵W=[w₁,…,w_d]∈R^n×d，则新样本特征矩阵Y＝W^TX。

本发明提供的技术方案的有益效果是：本发明能够同时利用标注与未标注的图像或视频数据信息来构建目标函数，并通过目标函数获取标注样本的特征向量，采用标注样本的特征向量对训练排序模型进行训练，输出排序后的结果；本发明设计了一种适用于多媒体检索中与排序相关领域的维数约减方法，使之在有限的监督信息的前提下，充分地利用数据的特有性质，其优势主要体现在：

新颖性：把排序问题中图像样本的相关性等级信息引入到维数约减技术中，分析各个相关性等级之间的相关性与不相关性，并在此基础上建立相关图与不相关图来描述标注样本之间存在的相关性与不相关性。

有效性：通过实验证明了本发明在实验中的性能优越，能够有效的利用少量的标注提高排序性能，提高了搜索精度，因此更适合于重排序问题中；该方法除了利用了标注样本以外还利用了大量的无标注样本，因此是一种典型的半监督的维数约减算法；

实用性：简单可行，可以用在多媒体检索中的图像或视频搜索重排序、个性化推荐等与排序相关的领域。

附图说明

图1为本发明提供的维数约减的示意图；

图2为本发明提供的重排序的示意图；

图3为本发明提供的一种用于图像或视频搜索重排序的方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了提高检索精度，本发明实施例提供了一种用于图像或视频搜索重排序的方法，参见图1、图2和图3，详见下文描述：

本发明实施例所提供的方法主要是根据标注的图像或视频的相关性等级信息构造相关图与不相关图，同时利用所有的图像或视频数据构造保持数据间局部几何性质的全局图，设计适用排序学习中的半监督维数约简方法，以区别于传统的基于类标号信息的维数约减方法。

101：在搜索引擎中输入查询关键词，获取基于文本的搜索结果，从搜索结果中提取视觉特征组成图像样本集合；

102：对图像样本集合按照与查询主题相关性的程度划分为三个等级A、B和C，且A＞B＞C，A表示非常相关，B表示一般相关，C表示不相关；

其中，图像样本集合用X＝[x₁，…,x_n]∈R^p×n表示，p表示图像样本的维度，n表示图像样本的个数。图像样本集合中的所有图像样本包括：标注图像样本和不标注图像样本。不同相关等级下标注的图像样本分别用集合S_A,S_B,S_C表示，X_l=[x_l1,…,x_lt]表示由标注图像样本组成的样本矩阵，t表示标注的图像样本个数。对于由标注的图像样本组成的任意样本对而言，均为AA、BB、CC、AB、AC和BC六种组合中的一种。

103：对任意的标注图像样本组成的样本对(x_i，x_j)，初始化相关图的权重矩阵ω^r为t×t的零矩阵，根据相关组合确定ω_ij ^r和ω_ji ^r的权重，构建相关图；

由于相关性等级A与B均表示与查询相关的图像样本。其中，相关性等级为B的图像样本为相关性一般的图像样本，因此会同时具有与查询相关的信息和与查询不相关的信息。因此上述六种组合中，相关组合为AA、BB、AB、BC四种组合，相关图描述了图像样本之间存在相关性的样本关系图。

其中，该步骤具体为：

1）当(x_i,x_j)为AA或BB组合时，标注图像样本之间的权重为ω_ij ^r=ω_ji ^r=1；

2）当(x_i,x_j)为AB组合时，标注图像样本之间的权重为ω_ij ^r=ω_ji ^r=t(0<t<1)；

3）当(x_i,x_j)为BC组合时，标注图像样本之间的相似度为h，令ω_ij ^r=ω_ji ^r=h。

其中，ω_ij ^r和ω_ji ^r为权重矩阵ω^r中的任意元素。

104：对任意的标注图像样本组成的样本对(x_i，x_j)，初始化不相关图的权重矩阵ω^u为t×t的零矩阵，根据不相关组合确定ω_ij ^u和ω_ji ^u的权重，构建不相关图；

相关性等级为C的图像样本表示与查询不相关，因此认为相关性等级为A的图像样本与相关性等级为C的图像样本之间不具有相关性。此外，由于相关性等级为C的图像样本个体差异很大，因此认为相关性等级为C的图像样本之间不具有相关。因此上述六种组合中，图像样本对之间不具有相关性的组合为AC和CC两种组合。不相关图则描述了图像样本与图像样本之间不具有相关性的样本关系图。

其中，该步骤具体为：

1）当(x_i,x_j)为AC组合时，标注图像样本之间的权重为ω_ij ^u=ω_ji ^u=1；

2）当(x_i,x_j)为CC组合时，标注图像样本之间的权重为ω_ij ^u=ω_ji ^u=1。

其中，ω_ij ^u和ω_ji ^u为权重矩阵ω^u中的任意元素。

为了有效的利用其余未标注样本信息提高检索性能，我们在所有样本的基础上构造能保持样本间局部几何性质的全局图，使得该维数约减算法能同时利用标注样本与未标注样本的信息。

105：初始化全局图的权重矩阵ω为n×n的零矩阵，通过k近邻图构建全局图；

其中，该步骤具体为：

1）建立图像样本的k近邻图；

2）如果图像样本x_i是图像样本x_j的k近邻或者图像样本x_j是图像样本x_i的k近邻，则计算图像样本x_i与图像样本x_j之间的相似度s，对权重矩阵ω赋值并令ω_ij=ω_ji=s(0<s<1)。

其中，ω_ij和ω_ji为权重矩阵ω中的任意元素。

其中，本发明实施例对步骤103、步骤104和步骤105的执行顺序不做限定，可以同时执行，也可以先后执行。

106：通过相关图获取相关散度S_r，不相关图获取不相关散度S_u，全局图获取全局散度S_t；

假设对任意一个图像样本x_i存在线性变换y_i＝w^Tx_i，任意一个图像样本x_j存在线性变换y_j=w^Tx_j，则S_r,S_u,S_t定义如下：

$S_r=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}^r=2w^T{X}_l(D^r-{\mathrm{\&omega;}}^r)X_l{w}^T=2w^T{X}_l{L}_r{X}_l^{T}w$

$S_u=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}^u=2w^T{X}_l(D^u-{\mathrm{\&omega;}}^u)X_l{w}^T=2w^T{X}_l{L}_u{X}_l^{T}w$

$S_t=\underset{y_i,y_j\&Element;Y}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}=2w^{T}X(D-\mathrm{\&omega;})X^{T}w=2w^T\mathrm{XL}{X}^{T}w$

其中，D^r、D^u和D是对角矩阵， L_r=D^r-ω^r，L_u＝D^u-ω^u，L＝D-ω分别为相关图、不相关图以及全局图的拉普拉斯矩阵。

107：通过相关散度S_r、不相关散度S_u和全局散度S_t构建目标函数，获取图像样本的新特征向量；

$w=\arg \underset{w}{\max }\frac{S_u}{S_r+S_t}=\arg \underset{w}{\max }\frac{w^T{X}_l{L}_u{X}_l^{T}w}{w^T{X}_l{L}_r{X}_l^{T}w+w^T\mathrm{XL}{X}^{T}w}$

其中，上述目标函数的最优解可以通过X_lL_uX_l ^Tw_i=λ_i(X_lL_rX_l ^T+XLX^T)w_i求解得到，其中λ_i为(X_lL_rX_l ^T+XLX^T)^-1X_lL_uX_l ^T的第i个最大的特征值，w_i为特征值λ_i对应的特征向量。设由前d个最大的特征值对应的特征向量组成的变换矩阵W=[w₁,…,w_d]∈R^n×d，则新样本特征矩阵Y=W^TX。

其中，图像样本的新特征向量包括：标注图像样本的新特征向量和未标注图像样本的新特征向量。

108：将标注图像样本的新特征向量作为训练集输入到训练模型中，获取训练后排序模型；

其中，训练模型采用现有技术中通用的模型，例如：Ranksvm排序模型，具体实现时，本发明实施例对此不做限制。

109：通过训练后排序模型对图像样本进行排序，输出排序结果。

下面以一个具体的实验来验证本发明实施例提供的一种用于图像或视频搜索重排序的方法的可行性，详见下文描述：

实验采用微软的MSRA-MM1.0图像数据库包含68个查询，共65443幅图片。每个查询所对应的图像样本按照初始的排序搜索结果的顺序进行排列，查询的类别涉及物体、人物、事件和环境等。在该数据库中图像样本被提前标注为非常相关A、一般相关B、不相关C三种相关性等级。由于初始的搜索结果中位置越靠后与查询相关的图像样本的数目越少，因此仅使用每个查询的前500幅图片进行重排序实验。试验中，选取数据库提供的颜色矩特征（225维）、颜色相关图特征（144维）、小波纹理特征（128维）、边缘特征（75维）、HSV颜色直方图特征（64维）、RGB颜色直方图（256维）以及人脸特征（7维）共899维作为图像样本的特征向量。在每个查询中，为每个相关性等级各标注5个图像样本，组成该查询的标注图像样本集合。实验的结果采用通用准则NDCGK衡量前K幅图像的排序性能，K表示图像的深度。完美的排序中的NDCGK应始终为1。实验中引入初始的排序性能、基于最大间隔映射MMP的重排序方法得出的排序性能以及基于线性判别分析LDA的重排序方法的排序性能进行对比，试验中首先分别利用MMP、LDA和相关图对初始数据特征进行维数约减，然后利用通用的排序模型Ranksvm进行重排序，得到对68个查询的排序性能取平均得到的实验结果如下：

其中，Baseline是指初始的排序性能，MMP是指基于最大间隔映射MMP的重排序方法得出的排序性能，LDA基于线性判别分析LDA的重排序方法得出的排序性能，相关图是指利用本方案所得出的排序性能。通过表可以看出，本方法所提出的方案明显的优于基于传统的维数约简的重排序的方法，精度得到了很大的提高，提高了检索的准确性，显著的提高了重排序后的性能。

综上所述，本发明实施例提供了一种用于图像或视频搜索重排序的方法，本发明实施例能够同时利用标注与未标注的图像或视频数据信息来构建目标函数，并通过目标函数获取标注样本的特征向量，采用标注样本的特征向量对训练排序模型进行训练，输出排序后的结果；本发明实施例设计了一种适用于多媒体检索中与排序相关领域的维数约减方法，使之在有限的监督信息的前提下，充分地利用数据的特有性质，其优势主要体现在：

新颖性：把排序问题中图像样本的相关性等级信息引入到维数约减技术中，分析各个相关性等级之间的相关性与不相关性，并在此基础上建立相关图与不相关图来描述标注样本之间存在的相关性与不相关性。

有效性：通过实验证明了本发明实施例在实验中的性能优越，能够有效的利用少量的标注提高排序性能，提高了搜索精度，因此更适合于重排序问题中；该方法除了利用了标注样本以外还利用了大量的无标注样本，因此是一种典型的半监督的维数约减算法；

实用性：简单可行，可以用在多媒体检索中的图像或视频搜索重排序、个性化推荐等与排序相关的领域。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种用于图像或视频搜索重排序的方法，其特征在于，所述方法包括以下步骤：

(1)对图像样本集合X按照与查询主题相关性的程度划分为三个等级A、B和C，且A＞B＞C；

其中，A表示非常相关，B表示一般相关，C表示不相关；图像样本集合X包括：标注图像样本和不标注图像样本；

(2)对任意的标注图像样本组成的样本对(x_i,x_j)，初始化相关图的权重矩阵ω^r为t×t的零矩阵，根据相关组合确定ω_ij ^r和ω_ji ^r的权重，构建相关图；

其中，相关组合为AA、BB、AB、BC；相关图描述了图像样本之间存在相关性的样本关系图；

(3)对所述任意的标注图像样本组成的样本对(x_i,x_j)，初始化不相关图的权重矩阵ω^u为t×t的零矩阵，根据不相关组合确定ω_ij ^u和ω_ji ^u的权重，构建不相关图；

其中，不相关组合为AC和CC；不相关图描述了图像样本与图像样本之间不具有相关性的样本关系图；

(4)初始化全局图的权重矩阵ω为n×n的零矩阵，通过k近邻图构建全局图；

图像样本集合用X＝[x₁,…,x_n]∈R^p×n表示，p表示图像样本的维度，n表示图像样本的个数；X_l＝[x_l1,…,x_lt]表示由标注图像样本组成的样本矩阵，t表示标注的图像样本个数；

(5)通过所述相关图获取相关散度S_r，所述不相关图获取不相关散度S_u，所述全局图获取全局散度S_t；

(6)通过所述相关散度S_r、所述不相关散度S_u和所述全局散度S_t构建目标函数，获取所述图像样本的新特征向量；

其中，图像样本的新特征向量包括：标注图像样本的新特征向量和未标注图像样本的新特征向量；

(7)将标注图像样本的新特征向量作为训练集输入到训练模型中，获取训练后排序模型；

(8)通过所述训练后排序模型对图像样本进行排序，输出排序结果；

其中，步骤(2)的操作具体为：

1)当(x_i,x_j)为AA或BB组合时，标注图像样本之间的权重为ω_ij ^r＝ω_ji ^r＝1；

2)当(x_i,x_j)为AB组合时，标注图像样本之间的权重为ω_ij ^r＝ω_ji ^r＝t，0＜t＜1；

3)当(x_i,x_j)为BC组合时，标注图像样本之间的相似度为h，令ω_ij ^r＝ω_ji ^r＝h；

其中，ω_ij ^r和ω_ji ^r为权重矩阵ω^r中的任意元素；

其中，步骤(3)的操作具体为：

1)当(x_i,x_j)为AC组合时，标注图像样本之间的权重为ω_ij ^u＝ω_ji ^u＝1；

2)当(x_i,x_j)为CC组合时，标注图像样本之间的权重为ω_ij ^u＝ω_ji ^u＝1；

其中，ω_ij ^u和ω_ji ^u为权重矩阵ω^u中的任意元素；

其中，步骤(4)的操作具体为：

1)建立图像样本的k近邻图；

2)如果图像样本x_i是图像样本x_j的k近邻或者图像样本x_j是图像样本x_i的k近邻，则计算图像样本x_i与图像样本x_j之间的相似度s，对权重矩阵ω赋值并令ω_ij＝ω_ji＝s；其中，ω_ij和ω_ji为权重矩阵ω中的任意元素；

其中， $S_r=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}^r={2w}^T{X}_l(D^r-{\mathrm{\&omega;}}^r)X_l{w}^T={2w}^T{X}_l{L}_r{X_l}^{T}w$

$S_u=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}^u={2w}^T{X}_l(D^u-{\mathrm{\&omega;}}^u)X_l{w}^T={2w}^T{X}_l{L}_u{X_l}^{T}w$

$S_t=\underset{y_i,y_j\&Element;Y}{\mathrm{\&Sigma;}}{\left|\right|y_i-y_j\left|\right|}^2{\mathrm{\&omega;}}_{\mathrm{ij}}={2w}^{T}X(D-\mathrm{\&omega;})X^{T}w={2w}^T\mathrm{XL}{X}^{T}w$

其中，y_i＝w^Tx_i，y_j＝w^Tx_j， $D^r=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{\mathrm{ij}}^r,D^u=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{\mathrm{ij}}^u,D=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{\mathrm{ij}},$ D^r、D^u和D是对角矩阵；L_r＝D^r-ω^r，L_u＝D^u-ω^u，L＝D-ω分别为相关图、不相关图以及全局图的拉普拉斯矩阵；

其中，所述目标函数具体为：

$w=\arg \underset{w}{\max }\frac{S_u}{S_r+S_t}=\arg \underset{w}{\max }\frac{w^T{X}_l{L}_u{X_l}^{T}w}{w^T{X}_l{L}_r{X_l}^{T}w+w^T{\mathrm{XLX}}^{T}w}$

其中，上述目标函数的最优解通过X_lL_uX_l ^Tw_i＝λ_i(X_lL_rX_l ^T+XLX^T)w_i求解得到，λ_i为(X_lL_rX_l ^T+XLX^T)^-1X_lL_uX_l ^T的第i个最大的特征值，w_i为特征值λ_i对应的特征向量，设由前d个最大的特征值对应的特征向量组成的变换矩阵W＝[w₁,…,w_d]∈R^n×d，则新样本特征矩阵为Y＝W^TX。

2.根据权利要求1所述的一种用于图像或视频搜索重排序的方法，其特征在于，在所述对图像样本集合X按照与查询主题相关性的程度划分为三个等级A、B和C的步骤之前，所述方法还包括：

在搜索引擎中输入查询关键词，获取基于文本的搜索结果，从搜索结果中提取视觉特征组成所述图像样本集合X。