CN103198117A - 基于内容的图像伪相关重排序方法 - Google Patents

Abstract

一种基于内容的图像伪相关重排序方法，首先根据查询词得到基于文本的检索结果，即样本群；对所检索到的样本群计算伪相关排序等级；根据计算出的伪相关排序等级对检索到的样本重新排序，得到最终重新排序的样本结果。本发明提出了一种新的排序算法，高效地利用了基于内容的图象特征，与用户查询相关的图像优先呈现给用户，提高了检索排序的准确性。本发明主要针对在线检索过程查询与检索结果不相关或者相关性较小的问题提出的重排序算法，人为的加入少量标注信息，充分利用基于内容的图像特征，达到对所有的结果进行有效的排序目。

Description

基于内容的图像伪相关重排序方法

技术领域

本发明涉及一种图像排序算法。特别是涉及一种面向多媒体领域的基于内容的图像伪相关重排序方法。

背景技术

随着多媒体技术的飞速发展,大量的数字图像涌现进人们的日常生活。人们迫切需要一种从海量图像中搜索到自己感兴趣图像的检索工具,由此基于内容的图像检索排序技术应运而生。

在过去的十几年中，人们提出了大量的图像排序算法。流形排序算法是其中一个经典的算法,首先构建K最邻近图,针对相关反馈,分别设计了具有正反馈(提供给用户的检索结果都被用户标记为相关)的情况及正负反馈都有的情况的对应方法，但是此算法只能针对训练集合,对于查询样例位于数据库之外的情况虽然给出了说明,但需要扩展相似矩阵W之后再重新计算归一化相似矩阵S,比较费时,不适合用于在线查询。

多媒体检索相关领域数据中存在着大量排序信息。排序信息是指排序学习中的训练数据集合所提供的可用于学习排序模型的监督信息，包括数据的相关性等级信息、数据的优先级关系信息以及建立其之上的关系对、关系序列等信息。排序信息可以通过人工标或者相关反馈等途径获取。

图像搜索重排序是根据初始的基于文本搜索结果结合图像视觉信息训练排序模型，利用新的排序模型对检索结果重新排序的过程，其目的是为了改善检索的准确性以提高用户体验和满意度。根据信息利用的方式不同，图像搜索重排序可分为三个研究方向：（1）利用标注图像/视频查询样例进行重排序，（2）利用预训练的概念检测器进行重排序，（3）不利用附加信息的重排序。

在信息检索领域中，相关性等级信息广泛应用于信息检索中的模型训练中，例如文本与多媒体检索，问答系统，视觉搜索重排序，协同过滤等。在大多数情况下，根据与查询的相关性的高低手动地或自动地对每个文档进行不同等级的标注，例如“非常相关”、“相关”、“一般相关”、“不相关”等，这些描述样本与查询相关程度的度量叫做样本的相关性等级信息。

样本的相关性等级信息不同于传统的类标号信息，前者是在信息检索中用来衡量文档与查询之间的相关程度的度量，后者指的是机器学习与模式识别领域中一类事物的所共同具有的属性。例如在传统的模式分类任务中，同一类的事物会具有共同的特征，不同类的事物具有不同的特征。在排序应用中，由于样本按照与查询相关的程度分为不同的相关性等级，这样即使不同相关性等级的样本之间，也可能由于都与查询相关而存不同程度的相关性，基于此,我们根据样本之间有无相关性及相关性的大小,将样本进行重新排序，相关性高的排在前面，相关性低的排在后面.但是由于检索结果数量巨大，往往不能获得所有的相关等级信息，而且用户体验不够快速准确，所以我们通过对检索结果进行少量标注，达到对所有的结果进行有效的排序目的，以此来提高用户满意度。

发明内容

本发明所要解决的技术问题是，提供一种既能减少在排序学习过程中的庞大数据量，又能得到较高的检索效果的基于内容的图像伪相关重排序方法。

本发明所采用的技术方案是：一种基于内容的图像伪相关重排序方法，首先根据查询词得到基于文本的检索结果，即样本群；对所检索到的样本群计算伪相关排序等级；根据计算出的伪相关排序等级对检索到的样本重新排序，得到最终重新排序的样本结果。

所述的对所检索到的样本群计算伪相关排序等级包括如下步骤：

1）设定基于文本的检索结果样本群为X={x_l,…x_n}CR^m，x_i表示查询中的一个样本，i表示查询结果中第i个样本，n是查询结果中样本的个数；

2）对步骤1）中的检索结果样本群X={x₁,…x_n}CR^m标注相关性等级：在这n个样本中选出3×k个样本进行标注，其余的不进行标注，用Y^*={y₁ ^*，…y_3×k ^*}表示相关性等级，y_i ^*∈{0,1,2}，建立数据袋X^*={x₁ ^*,…x_3×k ^*}，X^*表示标注的样本群，x^*表示标注样本群中的一个样本；

3）计算相似矩阵W:为每一个未标注的样本在数据袋中寻找t个近邻，其中t≤k，并计算每一个未标注的样本x_i与所对应的近邻的相似距离：

其中d(x_i,x_j)=||x_i,x_j||₂，i∈(0,n-3k),j∈0,3k),

并组成相似矩阵WCR^(n-3k)×3k;

4）计算重构系数矩阵：S=D^-1W，其中DCR^{(n-3k)×(n-3k)}为对角阵，

5）记算伪相关性等级：Y=SY^*;

6）以Y作为排序分数按照从大到小的顺序排序。

对3×k个样本进行标注是，在3×k个样本中，最相关的k个标注等级为2，不相关的标注等级为0，介于最相关的等级与不相关的等级之间的为一般相关标注等级为1。

由步骤4）能够得到表示近邻贡献大小的重构系数c_i:

c_i∈[0,1]，∑c_i=1，与第个近邻越相似，c_i越大，从而得到重构系数的计算方法：

其中c_i表示未知样本x_j的第个近邻的重构系数。

步骤5）所述的伪相关性等级Y={y₁,…y_n},其中y_i∈[0,2],y_i越大表示相关性等级越高。

本发明的基于内容的图像伪相关重排序方法，提出了一种新的排序算法，高效地利用了基于内容的图象特征，与用户查询相关的图像优先呈现给用户，提高了检索排序的准确性。本发明主要针对在线检索过程查询与检索结果不相关或者相关性较小的问题提出的重排序算法，人为的加入少量标注信息，充分利用基于内容的图像特征，达到对所有的结果进行有效的排序目。其优势主要体现在：

1、新颖性：从以往的检索模型可以看出，用来对査询和文档的相关性进行排序，所考虑的因素并不多，主要是利用词频、逆文档频率和文档长度等文本特征，本发明加入了基于内容的图像特征和与查询相关与否的相关等级特征；

2、简化性：对于有监督机器学习来说，首先需要大量的训练数据，在此基础上才可能自动学习排序模型，单靠人工标注大量的训练数据不太现实，本发明没有传统的排序学习过程，所以不需要大量的训练数据，只要少量的标注即可。

3、快捷性：减少了排序学习中准备训练数据和训练排序模型的过程，大大缩短了排序所需要的时间。

4、实用性：本发明的简化性与快捷性致使排序过程操作容易，并且实时性更好，使得在线排序得以实现，在图像检索过程中用户只需标注少量等级信息即可实现重排序。

附图说明

图1是本发明的基于内容的图像重排序的流程图；

图2是本发明计算伪相关的等级算法的系统流程。

具体实施方式

下面结合实施例和附图对本发明的基于内容的图像伪相关重排序方法做出详细说明。

本发明的基于内容的图像伪相关重排序方法，是在少量样本的相关性等级基础上，对其他的样本进行伪相关等级的计算。在线检索过程中得到所有样本的相关性等级是不现实的，数据量庞大并且用户不能样本进行一一标注，所以本发明通过对少量样本进行相关等级标注，以这些标注过的样本为例，根据其他样本与这些样本的距离得到所有样本的伪相关性等级，最后根据等级的高低进行重排序，具体是首先根据查询词得到基于文本的检索结果，即样本群；对所检索到的样本群计算伪相关排序等级；根据计算出的伪相关排序等级对检索到的样本重新排序，得到最终重新排序的样本结果。

如图1、图2所示，所述的对所检索到的样本群计算伪相关排序等级包括如下步骤：

1）设定基于文本的检索结果样本群为X={x₁,…x_n}CR^m，x_i表示查询中的一个样本，i表示查询结果中第i个样本，n是查询结果中样本的个数；

2）对步骤1）中的检索结果样本群X={x₁,…x_n}CR^m标注相关性等级：在这个样本中选出3×k个样本进行标注，其余的不进行标注，对3×k个样本进行标注是，在3×k个样本中，最相关的k个标注等级为2，不相关的标注等级为0，介于最相关的等级与不相关的等级之间的为一般相关标注等级为1，每个等级都标注k个。用Y^*={y₁ ^*,…y_3×k ^*}表示相关性等级，y_i ^*∈{0,1,2},建立数据袋X^*={x₁ ^*,…x_3×k ^*},X^*表示标注的样本群，x^*表示标注样本群中的一个样本；

未标注样本的相关性等级应该介于0-2之间，等级越大表明相关性越强。未标注样本与已标注样本进行对比，如果与标注为2的样本更相似表明与查询非常相关；如果与标注为1的样本更相似，表明与查询一般相关；如果与标注为2或者1的样本都不相似表明与查询不相关。

3）计算相似矩阵W:对于未标注的样本x_i我们逐一计算与数据袋中样本x_i ^*的相似距离，为每一个未标注的样本在数据袋中寻找个近邻，其中t≤k并计算每一个未标注的样本x_i与所对应的近邻的相似距离：

其中:d(x_i,x_j)=||x_i,x_j||₂，i∈(0，n-3k),j∈(0，3k)，

并组成相似矩阵WCR^(n-3k)×3k；

4）计算重构系数矩阵：S=D^-1W,其中DCR^{(n-3k)×(n-3k)}为对角阵，

能够得到表示近邻贡献大小的重构系数c_i:

c_i∈[0,1]，∑c_i=1，与第个近邻越相似，c_i越大，从而得到重构系数的计算方法：,其中c_i表示未知样本x_j的第个近邻的重构系数。

5）记算伪相关性等级：Y=SY^*，用近邻的标注信息与重构系数就可以得到这一系列样本与查询的相关性等级信息Y={y₁,…y_n}其中y_i∈[0,2],y_i越大表示相关性等级越高。在重排序时应该排的越靠前。构造未标注样本的伪相关排序等级：其中y表示待计算样本的伪相关性等级，y_i ^*表示数据袋中标注样本的相关性等级。

6）以F作为排序分数按照从大到小的顺序排序。

由此，本发明得到基于内容的伪相关等级排序需要准备数据、计算近邻、求解重构系数三个阶段。前期的准备包括提供检索结果、确定相关性的等级、样本标注三个过程；计算近邻包括计算样本之间的热核距离，对热核距离进行排序、选取近邻等几个过程；在求解重构系数时，需要根据计算热核距离的结果构建相似矩阵，并且对相似矩阵进行归一化，进而得到重构系数。

Claims (5)

1.一种基于内容的图像伪相关重排序方法，其特征在于，首先根据查询词得到基于文本的检索结果，即样本群；对所检索到的样本群计算伪相关排序等级；根据计算出的伪相关排序等级对检索到的样本重新排序，得到最终重新排序的样本结果。

2.根据权利要求1所述的基于内容的图像伪相关重排序方法，其特征在于，所述的对所检索到的样本群计算伪相关排序等级包括如下步骤：

1）设定基于文本的检索结果样本群为X={x₁,…x_n}CR^m，x_i表示查询中的一个样本，i表示查询结果中第i个样本，n是查询结果中样本的个数；

2）对步骤1）中的检索结果样本群X={x₁,…x_n}CR^m标注相关性等级：在这n个样本中选出3×k个样本进行标注，其余的不进行标注，用Y^*={y₁ ^*,…y_3×k ^*}表示相关性等级，y_i ^*∈{0,1,2},建立数据袋X^*={x₁ ^*,…x_3×k ^*}，X^*表示标注的样本群，x^*表示标注样本群中的一个样本；

3）计算相似矩阵W：为每一个未标注的样本在数据袋中寻找t个近邻，其中t≤k，并计算每一个未标注的样本x_i与所对应的近邻的相似距离：

其中：d(x_i,x_j)=‖x_i,x_j‖₂，i∈(0,n-3k)，j∈(0,3k)，

并组成相似矩阵WCR^(n-3k)×3k；

4）计算重构系数矩阵：S=D^-1W，其中DCR^{(n-3k)×(n-3k)}为对角阵，

5）记算伪相关性等级：Y=SY^*；

6）以Y作为排序分数按照从大到小的顺序排序。

3.根据权利要求2所述的基于内容的图像伪相关重排序方法，其特征在于，对3×k个样本进行标注是，在3×k个样本中，最相关的k个标注等级为2，不相关的标注等级为0，介于最相关的等级与不相关的等级之间的为一般相关标注等级为1。

4.根据权利要求2所述的基于内容的图像伪相关重排序方法，其特征在于，由步骤4）能够得到表示近邻贡献大小的重构系数c_i：

c_i∈[0,1]，∑c_i=1,与第i个近邻越相似，c_i越大，从而得到重构系数的计算方法：

其中c_i表示未知样本x_j的第i个近邻的重构系数。

5.根据权利要求2所述的基于内容的图像伪相关重排序方法，其特征在于，步骤5）所述的伪相关性等级Y={y₁,…y_n},其中y_i∈[0,2]，y_i越大表示相关性等级越高。

Images