CN102831129B

CN102831129B - 一种基于多示例学习的检索方法及系统

Info

Publication number: CN102831129B
Application number: CN201110171932.9A
Authority: CN
Inventors: 李斐; 刘汝杰; 于浩; 石原正树; 上原祐介
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2011-06-16
Filing date: 2011-06-16
Publication date: 2015-03-04
Anticipated expiration: 2031-06-16
Also published as: JP2013004093A; CN102831129A; JP5953960B2

Abstract

本发明实施例公开了一种基于多示例学习的检索方法及系统，其中，所述方法包括：获取训练包以及训练包中的训练示例，所述训练包中包括正训练包；为所述正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度；针对训练包以及测试包中的所有示例，利用所述正训练包中各训练示例的权值，得到各个测试示例的排序分值；根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果。通过本发明，能够使得正训练包中的示例提供的信息得到更为充分的利用，提高检索性能。

Description

一种基于多示例学习的检索方法及系统

技术领域

本发明一般地涉及图像处理技术领域，尤其是一种基于多示例学习的检索方法及系统。

背景技术

随着数字图像数目的急剧增长，需要研究开发快速有效的图像检索技术。该技术可以应用于人们生活的很多方面，比如数字照片管理、在线购物、远程教育等等。

关于图像检索技术，主要包括基于文本的图像检索技术，以及基于内容的图像检索技术。其中，与基于文本的图像检索技术不同，基于内容的图像检索不是基于对图像的文字描述来建立索引，而是自动提取每幅图像的视觉内容特征，例如色彩、纹理、形状等，进而基于视觉内容特征进行索引。进行检索时，用户可以通过选择具有代表性的一幅或多幅例子图像来构造查询，然后由检索系统查找与例子图像在视觉内容特征上相似的图像。

由于区域特征更加符合人类的视觉感知，并且基于区域特征进行检索的技术通常可以获得更加令人满意的检索性能，因此基于区域特征的图像检索成为基于内容的图像检索中重要的手段。所谓基于区域特征进行检索，就是通过图像分割技术提取图像中有意义的区域，然后针对每个区域使用局部特征来描述，综合各区域特征得到图像的特征描述，基于这些特征设计检索算法完成检索。多示例学习就是一种已经被成功地应用于基于区域的图像检索的有效算法。

在基于多示例学习的图像检索中，每幅图像被看作一个包，而图像中的每个区域则被看作一个示例。数据集由一些具有类别标记的包组成，每个包中包含若干个没有类别标记的示例。多示例学习的基本出发点是：如果一个包中至少包含一个正的示例，那么这个包就被标记为正训练包；反之，如果一个包中全部是负的示例，那么这个包就被标记为负训练包。

对于负训练包而言，其中包含的示例一定是负的。但是对于正训练包而言，其中既包含正的示例也包含负的示例，而且系统不知道究竟哪些示例是正的，哪些示例是负的。因此，在多示例学习中，最重要的问题就是如何利用正训练包中的示例提供的信息进行检索。

现有技术中的算法通常使用优化的方法，试图选出正训练包中包含的正示例，这种方法至少具有以下不足：需要事先确定选出的示例数目，比如限制每个正训练包中只能选出一个正的示例，那么也只有一个示例参与最终的检索，但实际上正训练包中往往包含不止一个正的示例，只利用其中一个示例进行检索，会导致正训练包中的示例提供的信息无法得到充分的利用，限制检索的性能。

发明内容

有鉴于此，本发明实施例提供了一种基于多示例学习的检索方法及系统，能够使得正训练包中的示例提供的信息得到更为充分的利用，提高检索性能。

根据本发明实施例的一个方面，提供一种基于多示例学习的检索方法，包括：获取训练包以及训练包中的训练示例，所述训练包中包括正训练包；为所述正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度；针对训练包以及测试包中的所有示例，利用所述正训练包中各训练示例的权值，得到各个测试示例的排序分值；根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果。

根据本发明实施例的另一个方面，提供一种基于多示例学习的检索系统，包括：获取单元，配置为获取训练包以及训练包中的训练示例，所述训练包中包括正训练包；训练示例权值生成单元，配置为为所述正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度；测试示例排序分值获取单元，配置为针对训练包以及测试包中的所有示例，利用所述正训练包中各训练示例的权值，得到各个测试示例的排序分值；检索结果确定单元，配置为根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果。

另外，根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述基于多示例学习的检索方法。

此外，根据本发明的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述基于多示例学习的检索方法。

根据本发明实施例的上述方法，在进行图像检索的过程中，可以为正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度，这样，在最后计算测试包中各测试示例的排序分值时，对于正训练包中的训练示例，就可以使用各自的权值作为其初始标签，最终再根据各个测试实例的排序分值得到测试包的排序分值，并给出检索结果。可见，在本发明实施例中，并没有试图从正训练包中选出有限数目的正示例，而是为正训练包中的各个示例计算出各自的权值，通过该权重的绝对大小反映出各个示例与用户查询语义之间的契合度，这样，再根据各个正训练包中各个示例的权值，得到测试包中各个测试示例的排序分值。这样，使得正训练包中各个训练示例提供的信息得到了充分地利用，便于提高检索的性能。

在下面的说明书部分中给出本发明实施例的其他方面，其中，详细说明用于充分地公开本发明实施例的优选实施例，而不对其施加限定。

附图说明

下面结合具体的实施例，并参照附图，对本发明实施例的上述和其它目的和优点做进一步的描述。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。

图1是示出作为本发明实施例提供的方法的流程图；

图2是示出作为本发明实施例提供的另一方法的流程图；

图3是示出作为本发明实施例提供的第一装置的示意图；

图4是示出作为本发明实施例提供的第二装置的示意图；

图5是示出作为本发明实施例提供的第三装置的示意图；

图6是示出作为本发明实施例提供的第四装置的示意图；和

图7是示出作为本发明的实施例中所采用的信息处理设备的个人计算机的示例性结构的框图。

具体实施方式

下面参照附图来说明本发明实施例。

为了便于理解，下面首先对本发明实施例中涉及的一些概念(包括训练包、训练示例、正训练包、负训练包、正示例、负示例、测试包、测试示例)进行介绍。

首先，在基于多示例学习的框架中，每幅图像被看作是一个包，图像中的每个区域则被看作是一个示例。其中，作为检索种子的例子图像被分割成多个区域之后，每个区域就称为一个训练示例，一个例子图像中的所有训练示例组成一个训练包。换言之，一个例子图像对应一个训练包，一个训练包中包含多个训练示例。

其中，训练示例包括正示例和负示例，正示例是指能够反映出用户查询语义的示例，负示例是指不能反映用户查询语义的示例。训练包可以分为正训练包和负训练包，正训练包是指至少包含一个正示例的包，负训练包中包含的示例全部为负示例。例如，用户想要检索的是带有老虎的图片，则给出的例子图像可能也是一幅带有老虎的图片，但是该图片中可能还包括一些背景，例如树木、草地等等，也就是说，该例子图像中只有部分区域是真正显示的老虎，还有部分区域显示的是树木、草地等等。这样，对该例子图像进行区域分割时，可能就会使得某些区域上带有老虎的图案，而有些区域可能仅仅是树木、草地等等。而由于用户查询语义应该是搜索带有老虎的图片，因此，对于该例子图像，带有老虎图案的区域对应的示例应该是正示例，而带有树木、草地等的区域对应的示例就应该是负示例；而对于该例子图像对应的训练包而言，由于既包括正示例又包括负示例，因此，该训练包是一个正训练包，该例子图像也可以称为正例图像。如果用户想要检索的仍然是带有老虎的图片，但给出的例子图像中包含的全部都是树木、草地等图案，则该例子图像分割出的所有示例都是不能反映出用户查询语义，因此，都属于负示例，相应的，该例子图像对应的训练包也是负训练包，该例子图像也可以称为负例图像。

例子图像可以是由用户在检索开始时提供的，也可以是在检索的过程中在检索系统的提示下用户选择的；例子图像可以有多个，并且既可以提供正例图像，又可以提供负例图像，同时用户会告知系统哪些是正例图像，哪些是负例图像。相应的，检索系统在对例子图像进行区域分割之后，也能够知晓哪些训练包是正训练包，哪些训练包是负训练包。但是，对于系统而言，在刚刚得到正训练包中的示例时，并不知道正训练包中哪些是正示例，哪些是负示例，只有通过分析操作，才能获知示例级别的信息。也正是因此，才将例子图像称为训练图像，也即，为了进行图像检索，首先需要基于例子图像中的示例进行训练，从中获取可用的信息，进而才能完成后续的检索操作。

对于检索系统而言，相当于是从图像数据库中选出符合用户查询语义的图像，其中，图像数据库中包含了各种各样的图像，这些图像就是测试图像，在基于多示例的图像检索中，对于测试图像也需要进行区域分割，分割出的区域称为测试示例，相应的，一个测试图像中的各个测试示例组成一个测试包。

下面对本发明实施例提供的图像检索方法进行详细地介绍。

参见图1，本发明实施例提供的基于多示例学习的检索方法包括以下步骤：

S101：获取训练包以及训练包中的训练示例，所述训练包中包括正训练包。

如前文所述，训练包可以是由用户提供的，例如，用户在开始进行图像检索时，可以选择一幅或多幅图像作为例子图像，检索系统对这些例子图像进行区域分割，每个区域对应一个训练包，一幅例子图像对应一个训练包。在本发明实施例中，训练包中至少包含正训练包，当然，为了得到更好的检索结果，训练包中除了正训练包以外，还可以包含负训练包，也就是说用户在提供例子图像时除了正例图像以外，还可以提供负例图像。

S102：为所述正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度。

在本发明实施例中，并不是从正训练包中选择出有限个数的正示例，而是为正训练包中每个训练示例生成一个权值，该权值用于代表相应的训练示例能够反映用户查询语义的程度。需要说明的是，在本发明实施例中，该权值的绝对大小就能够代表上述能够反映用户查询语义的程度。也就是说，如果正训练包中的某示例确实是正示例，则为其生成的权值大于负示例的权值，并且其权值本身是一个正的值。

S103：针对训练包以及测试包中的所有示例，利用所述正训练包中各训练示例的权值，得到各个测试示例的排序分值。

在针对正训练包中的训练示例得到各自的权值之后，就可以针对训练包及测试包中的所有示例，根据所有示例之间的相似度以及所述正训练包中各训练示例的权值，得到各个测试示例的排序分值。也即，正训练包中各个示例的权值，会应用到为测试包中的测试示例计算排序分值的过程中。

换言之，通常的检索方法就是从正训练包中获取一些信息，然后应用这些信息，从测试包中检索出与反映用户查询语义的包。这些信息例如是示例的排序分值。在传统方法中，排序分值是一个相对的值，并不能直接反映示例符合用户查询语义的程度。而在本发明实施例中，用正训练包中各个示例的权值取代了所述排序分值，从而能够直接反映示例符合用户查询语义的程度。

S104：根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果。

在得到各个测试示例的排序分值之后，就可以根据测试示例的排序分值，确定出测试包的排序分值。例如，对于某测试包而言，可以将其中的各个测试示例的排序分值取均值，作为该测试示例的排序分值。当然，由于一个测试包中通常可能只有一个或少数几个示例是正示例，因此，如果采用前述取平均值的方法来获取测试包的排序分值，则可能会使得测试包的排序分值偏低。为了提高测试包的排序分值的合理性，也可以取该测试包中各个测试示例的排序分值的最大值，作为该测试示例的排序分值。

而在得到各个测试包的排序分值之后，就可以据此为用户提供检索结果了。例如，可以将排序分值排名靠前的前预置数目个测试包对应的图像反馈给用户，或者，按照排序分值对各个测试包进行排序，然后按照该顺序将测试包对应的图像提供给用户，等等。

总之，在进行图像检索的过程中，可以为正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度，这样，在最后计算测试包中各测试示例的排序分值时，对于正训练包中的训练示例，就可以使用各自的权值作为其初始标签，最终再根据各个测试实例的排序分值得到测试包的排序分值，并给出检索结果。可见，在本发明实施例中，并没有试图从正训练包中选出有限数目的正示例，而是为正训练包中的各个示例计算出各自的权值，通过该权重的绝对大小反映出各个示例与用户查询语义之间的契合度，这样，再根据各个正训练包中各个示例的权值，得到测试包中各个测试示例的排序分值。这样，使得正训练包中各个训练示例提供的信息得到了充分地利用，便于提高检索的性能。

具体实现时，为正训练包中的各个训练示例生成前述权值的方法可以有多种，下面对其中一种实现方式进行详细地介绍。参见图2，可以包括以下步骤：

S201：获知正训练包中的训练示例初始权值。

其中，关于正训练包中训练示例的初始权值，可以预先设置在配置文件中，这样，就可以通过读取配置文件的方式，使得系统能够获知该初始权值。例如，可以统一设置为10(当然也可以是其他的值，但通常为正值)。

S202：获取训练包以及训练包中的训练示例，并根据训练示例之间的相似度，采用基于图的算法进行学习，得到各个训练示例的排序分值。

获取到训练包及训练示例之后，可以采用基于图的算法进行学习，得到各个训练示例的排序分值。其中，学习的过程中主要是依据训练示例之间的相似度进行基于图的学习。

这里需要说明的是，基于图的算法进行学习，以便得到每个训练示例的排序分值的过程属于已有技术，并不属于本发明的重点，因此，这里仅进行简单地介绍。

可以通过以下方式进行基于图的学习：首先，构建一张带权图，图中的节点对应训练包中的所有训练示例，也就是说，假设共有两个训练包，每个训练包中有5个训练示例，则构建的图中共有10个节点；图中的边的权值反映其连接的两个节点之间的相似度。然后采用某种基于图的算法进行学习，算法结束时，每个训练示例就可以对应一个排序分值。

其中，在计算节点之间的相似度时，可以是分别从各个训练示例中提取视觉特征(通常是向量的形式)，然后采用向量计算的方法计算两两之间的距离，距离越小，则相似度越高，反之，距离越大，则相似度越低。当然，在实际应用中，除了提取视觉特征以外，还可以通过其他途径获取到关于各个训练示例的特征，例如描述信息等等，也可以将这些信息加入到计算训练示例之间的相似度的过程中。

需要说明的是，以上所述构建一张带权图是一种形象的说法，对于计算机系统而言，该带权图对应的数据是一个n×n的矩阵S，其中，n为训练示例总数。也就是说，在前述例子中，如果共有10个训练示例，则该矩阵共有10行10列，其中第i行第j列的元素S_ij就对应第i个训练示例与第j个训练示例之间的相似度。此外，还可以对该矩阵进行基于行的归一化处理。

关于基于图的算法，可以有多种具体的实现方式，例如，在其中一种实施方式下，可以通过以下方式进行：首先为所有训练示例设置初始标签；例如，如果训练包全部为正训练包，则所有训练示例的初始标签都可以设为1；如果训练包中既有正训练包也有负训练包，则可以将正训练包中所有训练示例的初始标签设为1，负训练包中所有训练示例的初始标签都设为-1；然后将初始标签在之前构建的带权图上进行传播直至达到一个全局稳定的状态，最终即可得到每个训练示例的排序分值。对于计算机系统而言，以上将标签在带权图上进行传播的过程，可以通过以下迭代公式来完成：

f(t+1)＝αSf(t)+(1-α)y (1)

其中，S为前述构建的图对应的归一化矩阵；y为各个训练示例的初始标签组成的标签向量，例如，假设训练包中有一个正训练包和一个负训练包，每个训练包中有5个示例，则y可以为(1，1，1，1，1，-1，-1，-1，-1，-1)^T；α(0＜α＜1)为线性组合系数；f(t)也是一个向量，其中的元素数目与训练示例的数目相同，各个元素对应着第t次迭代之后各个训练示例对应的标签的值；例如，f(1)就代表一次迭代之后各个训练示例的标签组成的向量，在初始状态下，f(0)可以取任意值，在一种具体实施方式下，f(0)可以与y相等。

也就是说，利用公式(1)就可以进行多次迭代，当迭代过程收敛时，就对应着前述在带权图上传播时达到了全局稳定的状态，然后取出对应的f(t)，根据其中的各个元素的值即可得到各个训练示例的排序分值。其中，在具体实现时，可以通过以下方式判断迭代过程是否收敛：判断f(t)与f(t-1)是否很接近(可以计算两者之间的距离，并与一阈值进行比较)，如果是，则收敛，结束迭代过程即可。当然，还可以通过预设迭代次数等方式来实现，这里不再赘述。

其中，之所以采用前述公式(1)进行迭代，是因为需要对以下待优化函数进行优化：

\min [\frac{1}{2} Σ_{i, j} S_{ij} {(f_{i} - f_{j})}^{2} + μ Σ_{i} {(f_{i} - y_{i})}^{2}] - - - (2)

以上待优化函数由两项约束关系组成，其中，第一项约束关系∑_i，jS_ij(f_i-f_j)²为基于带权图得到的平滑性约束(smoothness constraint)，f_i、f_j为f中的第i项及第j项，也即，希望相似的训练示例对应的排序分值不会相差太大；第二项约束关系μ∑_i(f_i-y_i)²是基于初始标签的拟合性约束(fitting constraint)，也即希望最终的排序分值与初始标签不会相差太大。其中，μ为平衡两项重要性的权值，公式(1)中的α可以通过μ计算得到：α＝1/(1+μ)。这样，通过对以上函数进行优化，即可得到公式(1)中的迭代公式，换言之，使用公式(1)进行迭代，就可以使得最终的排序分值能够满足公式(2)中的约束条件，并且这样计算出的排序分值，其高低能够反映出相应的训练示例能够反映出用户查询语义的程度，也即，如果训练示例的排序分值越高，则越能反映出用户查询语义。

需要说明的是，具体实现时，由于训练示例的数目通常不会太大，因此，也可以直接使用公式(1)的解析解得到最终的结果：

f^*＝(1-α)(I-αS)^-1y (3)

其中，I是单位矩阵。

步骤S203：确定训练包中的各个训练示例的正近邻示例集合，针对各个训练示例，根据正近邻示例集合中各训练示例的排序分值，改变正近邻示例集合中训练示例的权值，以便得到正训练包中各个训练示例的最终权值；其中，所述训练示例的正近邻示例集合由与该训练示例具有预置相似关系的正训练包中的训练示例组成；

在步骤S202中，计算出了各个训练示例的排序分值，用以代表各个训练示例能够反映用户查询语义的程度。但是，本发明人在实现本发明的过程中发现，通过该方法计算出的排序分值通常具有相对性，也就是说，各个训练示例的排序分值的相对大小是有意义的。例如，通过上述方法得到的排序分值，对于某正训练包中的各个训练示例而言，可能每个训练示例的排序分值都是负值；其中，对于某示例而言，假设其确实应该是正例，反映到排序分值上，其相对于负例的排序分值而言可能确实要高一些，但其本身却是一个负值，也即其绝对大小失去了其应有的意义。然而实际上，既然是正训练包，则其中至少有一个训练示例应该是正例，正例的排序分值应该是个正值，这样在后续的检索过程中，才能够真正起到积极的作用。因此，如果直接利用该负值进行后续的检索过程，则可能会影响到检索结果的有效性(关于后续的检索过程，主要是指需要为训练示例赋予初始标签，如果直接利用步骤S202中得到的排序分值进行赋值，则可能会将正训练包中正例的初始标签赋为负值)。因此，在本发明实施例中，在得到训练示例的排序分值之后，还需要进行进一步地处理。

为了进行上述进一步地处理操作，可以有多种方法，例如，简单地，可以在计算出各个训练示例的排序分值之后，在各个排序分值加上某偏移值，使得正训练包中至少有一个训练示例的排序分值是正值。这样，就可以避免出现一个正训练包中所有训练示例的排序分值全部为负值的情况。

或者，在本发明实施例中还可以采用如下方法来实现上述处理过程：首先可以针对各个训练示例分别进行以下操作：找出各个训练示例的正近邻示例集合。对于某训练示例L，之所以称之为训练示例L的正近邻示例集合，是因为，首先这个集合是由正训练包中的训练示例组成的，并且，该集合中的各个示例与该训练示例L都具有某种相邻关系。在具体实现时，可以预先设置需要满足何种相邻关系，例如，可以简单地设置为两个训练示例之间的相似度是否大于某阈值；或者，在本发明实施例中，还可以基于步骤S202中构建的带权图中的转移关系计算得到。

其中，在基于带权图中的转移关系进行计算时，可以根据节点之间的一次或多次传递关系，来确定节点之间的相似关系。其中，一次传递就是指两个训练示例之间的相似度，两次传递就是指，如果示例1与示例2之间具有很高的相似度，并且示例2与示例3之间也具有较高的相似度，则即使直接计算示例1与示例3之间的相似度时，得分比较低，也可以认为示例1与示例3之间满足某种相似关系，以此类推。

需要说明的是，并不是每个训练示例都能找到正近邻示例集合，也就是说，对于某训练示例而言，其正近邻示例集合可以为空。

在本发明实施例中，预先获知了正训练包中的各个训练示例的初始权值。因此，在得到每个训练示例的正近邻示例集合之后，就可以对集合内部的示例的权值进行调整。对于同一个正近邻示例集合中的各个示例而言，具体调整时，可以有多种调整策略。例如，在一个策略下，可以根据各个训练示例的排序分值的高低，确定对各个训练示例的调整幅度，例如将排序分值最高的训练示例的权重增大1，第二高的增大0.8，第三高的增大0.5，等等。当然，在其他的调整策略下，还可以仅对排序分值最高的一个训练的示例进行调整，等等，这里不再一一列举。

这里需要说明的是，如果训练包中既包括正训练包，又包括负训练包，则具体在对训练示例的权值进行调整时，可以如下进行：对于正训练包中的训练示例，对其正近邻示例集合中的示例的权值进行增大调整；对于负训练包中的训练示例，对其正近邻示例集合中的示例的权值进行减小调整。也就是说，对于负训练包中的训练示例，由于肯定不是正例，因此，如果正训练包中某示例与其具有相似关系，则该正训练包中的示例也可能不是正例，因此，降低其权重是合理的。

对于正训练包中的训练示例(为便于描述，以正训练包中的某训练示例A为例)，虽然不知道A是正例还是负例，但是具有是正例的可能性，因此，如果正训练包中其他的示例与其具有相似关系，即这些其他示例组成训练示例A的正近邻示例集合，则可以通过训练示例A增大其正近邻示例集合中的示例的权值，这样做的结果存在两种可能：一种可能是该训练示例A如果确实是正例，则其正近邻示例集合中的示例也有很大可能性是正例，因此，将其权值增大是合理的；另一种可能是训练示例A虽然在正训练包中，但却是一个负例，此时，其正近邻示例集合中的示例是正例的可能性比较低，增大其权值看似是不合理的；但是需要说明的是，所有训练示例，都会分别确定了各自的正近邻示例集合(当然，存在集合为空的情况)，正训练包中的同一个训练示例可能出现在不同的正近邻示例集合中。因此，对于上述第二种情况，训练示例A的正近邻示例集合中的示例，可能出现在某训练示例B或其他示例的正近邻示例集合中，而训练示例B或其他示例则可能是负训练包中的示例，因此，又会对其正近邻示例集合中的示例的权值进行减小操作，通过这样的减小操作，又会将之前增大了的权值降下来。总之，对于正训练包中的训练示例而言，可能会经历多次的权重调整操作，有的可能一直被增大，有的可能一直被减小，有的则可能经历部分增大以及部分减小操作，最终使得正训练包中的各个训练示例具有各自的权值。

另外，如果训练包全部由正训练包组成，则对训练示例的权重进行调整时，具体的调整操作可以是增大权值的操作。需要说明的是，针对这种情况，虽然仅能做增大这样一种类型的操作，但是，由于各个训练示例的排序分值不同，并且每个训练示例会出现在多少个正近邻示例集合中也不相同，因此，仍然可能使得正训练包中的各个训练示例具有不同的最终权值。需要说明的是，在只有正训练包的情况下，得到的最终权值仍然能够反映出正训练包中的各个训练示例对用户查询语义的契合程度，这是由前文所记载的“正例之间通常是相似的”这一特点决定，这里不再赘述。

通过上述方法可以为正训练包中的各个训练示例生成权值，之后，在利用该权重进行检索时，还可以包括以下步骤：

S204：针对训练包以及测试包中的所有示例，根据所有示例之间的相似度，采用基于图的算法进行学习，得到各个测试示例的排序分值；其中，正训练包中各个训练示例的初始标签根据所述最终权值确定。

在得到正训练包中各个示例的权值之后，就可以针对训练包以及测试包中的所有示例，基于图的算法进行学习，以便确定各个测试示例的排序分值。其中，在基于图的算法进行学习时，与步骤S202中类似，首先构建带权图，该图中的节点对应训练包及测试包中的所有示例，图中的边的权值反映其连接的两个节点之间的相似度。值得注意的是，在基于图的算法进行学习时，需要为各个示例设定初始标签(例如，在步骤S202中，可以将正训练包中的所有示例的初始标签都设为1，负训练包中的所有示例的初始标签都设为-1，等等)，在本发明实施例中，在需要为测试包中的各个示例计算排序分值时，对于训练包中的正训练包，其中的示例的初始标签可以根据步骤S203中得到的各自的最终权值来确定。

也就是说，在步骤S203中为正训练包中的各个示例分别计算出了权值，在步骤S204中需要基于训练包及测试包中的所有示例进行基于图的算法的学习时，就可以根据计算出的权重，来确定正训练包中各训练示例的初始标签。例如，可以直接将步骤S203中计算出的正训练包中各个训练示例的权值进行归一化处理，然后将归一化处理之后的值，作为正训练包中各训练示例的初始标签。

如果训练包中还包括有负训练包，则负训练包中各个训练示例的初始标签仍然可以设置为-1。与步骤S202类似，将各个示例的初始标签在之前构建的带权图上进行传播直至达到一个全局稳定的状态，最终即可得到各个测试示例的排序分值。对于计算机系统而言，以上将标签在带权图上进行传播的过程，可以通过以下迭代公式来完成：

f(t+1)＝Sf(t) (4)

其中，S是基于训练包及测试包中的所有示例构建的图对应的归一化矩阵，f(t)是一个向量，其中的元素数目为训练示例与测试示例的数目总和，各个元素对应着第t次迭代之后各个示例对应的标签的值；例如，f(1)就代表一次迭代之后各个示例的标签组成的向量，在初始状态下，f(0)可以是各个示例对应的初始标签组成的向量。当迭代过程结束时，f(t)中各个元素的值就可以作为各个示例的排序分值。

需要说明的是，在使用公式(4)的进行迭代时，在每一次迭代之后，都将f(t)中各训练示例的标签重新赋值为初始值，也就是说，在迭代的过程中，训练示例的标签保持不变，或者说是恒等于初始标签(其中，正训练包中的训练示例的标签始终等于之前计算出的权值或者是归一化处理之后的权值，而负训练包中的训练示例的标签始终等于赋予的初始值，例如-1等)。当然，每次迭代之后，测试示例的标签都会发生变化。然而，测试包中各个测试示例的初始标签则可以任意设置，因为最终的计算结果与测试示例的初始标签的取值无关。

另外需要说明的是，与前文所述类似，也可以不使用迭代的方式得到最终的排序分值，而是直接使用公式(4)的解析解得到最终的结果，与迭代得到的结果是相同的。当然，由于测试示例的数目通常比较多，而解析解中涉及到矩阵的逆运算，因此，相对于迭代的方式而言，计算的复杂度会比较高。此外，关于步骤S204中的基于图的学习，未详述部分可以参见前文的介绍，这里不再赘述。

S205：根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果。

与本发明实施例提供的基于多示例学习的检索方法相对应，本发明实施例还提供了一种基于多示例学习的检索系统，参见图3，该系统包括：

获取单元301，配置为获取训练包以及训练包中的训练示例，所述训练包中包括正训练包；

训练示例权值生成单元302，配置为为所述正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度；

测试示例排序分值获取单元303，配置为针对训练包以及测试包中的所有示例，利用所述正训练包中各训练示例的权值，得到各个测试示例的排序分值；

检索结果确定单元304，配置为根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果。

其中，具体在为正训练包中的训练示例生成权值时，参见图4，训练示例权值生成单元302可以包括：

初始权值获知子单元3021，配置为获知正训练包中的训练示例初始权值；

训练示例排序分值获取子单元3022，配置为根据训练示例之间的相似度，采用基于图的算法进行学习，得到各个训练示例的排序分值；

权值修改子单元3023，配置为确定训练包中的各个训练示例的正近邻示例集合，针对各个训练示例，根据正近邻示例集合中各训练示例的排序分值，改变正近邻示例集合中训练示例的权值，以得到正训练包中各个训练示例的最终权值；其中，所述训练示例的正近邻示例集合由正训练包中与该训练示例具有预置相似关系的训练示例组成。

具体实现时，训练包中还可以包括负训练包，相应的，权值修改子单元3023可以包括：

权值增大子单元，配置为针对正训练包中的各个训练示例，根据正近邻示例集合中训练示例的排序分值，增大正近邻示例集合中训练示例的权值；

权值减小子单元，配置为针对负训练包中的各个训练示例，根据正近邻示例集合中训练示例的排序分值，减小正近邻示例集合中训练示例的权值。

具体在修改正近邻示例集合中的训练示例的排序分值时，可以仅对正近邻示例集合中排序分值最大的训练示例的排序分值进行增大或减小的修改，此时，权值修改子单元3023具体可以配置为：改变正近邻示例集合中排序分值最大的训练示例的权值。

具体在确定正近邻示例集合时，可以有多种方式，其中一种方式可以是基于图的算法进行学习的过程中构建的带权图中各节点的一次或多次传递关系，确定训练包中的各个训练示例的正近邻示例集合，也就是说，参见图5，权值修改子单元3023可以包括：

正近邻示例集合确定子单元30231，配置为根据在基于图的算法进行学习的过程中构建的带权图中各节点的一次或多次传递关系，确定训练包中的各个训练示例的正近邻示例集合；所述带权图中的节点对应于训练包中的所有训练示例，带权图的边的权值对应于其连接的两个节点之间的相似度；

修改子单元30232，配置为针对各个训练示例，根据正近邻示例集合中各训练示例的排序分值，改变正近邻示例集合中训练示例的权值，以得到正训练包中各个训练示例的最终权值。

具体实现时，测试示例排序分值获取单元303具体可以配置为，针对训练包以及测试包中的所有示例，根据所有示例之间的相似度，采用基于图的算法进行学习，得到各个测试示例的排序分值；其中，正训练包中各个训练示例的初始标签由各自的权重确定。

在根据测试示例的排序分值来确定测试包的排序分值时，也可以有多种方法，在其中一种方式下，参见图6，检索结果确定单元304可以包括：

测试包排序分值确定子单元3041，配置为将测试包中各个测试示例对应的排序分值的最大值，作为该测试包的排序分值；

确定子单元3042，配置为根据所述测试包的排序分值确定检索结果。

通过本发明实施例提供的上述系统，在进行图像检索的过程中，可以为正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度，这样，在最后计算测试包中各测试示例的排序分值时，对于正训练包中的训练示例，就可以使用各自的权值作为其初始标签，最终再根据各个测试实例的排序分值得到测试包的排序分值，并给出检索结果。可见，在本发明实施例中，并没有试图从正训练包中选出有限数目的正示例，而是为正训练包中的各个示例计算出各自的权值，通过该权重的绝对大小反映出各个示例与用户查询语义之间的契合度，这样，再根据各个正训练包中各个示例的权值，得到测试包中各个测试示例的排序分值。这样，使得正训练包中各个训练示例提供的信息得到了充分地利用，便于提高检索的性能。

需要说明的是，上述系统实施例是在前述方法实施例的基础上进行的介绍，其中未详述部分可参见方法实施例部分的介绍，这里不再赘述。

另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图7所示的通用个人计算机700安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图7中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，也根据需要存储当CPU701执行各种处理等等时所需的数据。

CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。

下述部件连接到输入/输出接口705：输入部分706，包括键盘、鼠标等等；输出部分707，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分708，包括硬盘等等；和通信部分709，包括网络接口卡比如LAN卡、调制解调器等等。通信部分709经由网络比如因特网执行通信处理。

根据需要，驱动器710也连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器710上，使得从中读出的计算机程序根据需要被安装到存储部分708中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

虽然已经详细说明了本发明及其优点，但是应当理解在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

关于包括以上实施例的实施方式，还公开下述附记：

附记1、一种基于多示例学习的检索方法，包括：

获取训练包以及训练包中的训练示例，所述训练包中包括正训练包；

为所述正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度；

针对训练包以及测试包中的所有示例，利用正训练包中各训练示例的权值，得到各个测试示例的排序分值；

根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果。

附记2、根据附记1所述的方法，其特征在于，所述为所述正训练包中的每一个训练示例生成权值包括：

获知正训练包中的训练示例初始权值；

根据训练示例之间的相似度，采用基于图的算法进行学习，得到各个训练示例的排序分值；

确定训练包中的各个训练示例的正近邻示例集合，针对各个训练示例，根据正近邻示例集合中各训练示例的排序分值，改变正近邻示例集合中训练示例的权值，以得到正训练包中各个训练示例的最终权值；其中，所述训练示例的正近邻示例集合由正训练包中与该训练示例具有预置相似关系的训练示例组成。

附记3、根据附记2所述的方法，所述训练包中还包括负训练包，所述针对各个训练示例，根据正近邻示例集合中训练示例的排序分值，改变正近邻示例集合中训练示例的权值包括：

针对正训练包中的各个训练示例，根据正近邻示例集合中训练示例的排序分值，增大正近邻示例集合中训练示例的权值；

针对负训练包中的各个训练示例，根据正近邻示例集合中训练示例的排序分值，减小正近邻示例集合中训练示例的权值。

附记4、根据附记2或3所述的方法，所述根据正近邻示例集合中训练示例的排序分值，改变正近邻示例集合中训练示例的权值包括：

改变正近邻示例集合中排序分值最大的训练示例的权值。

附记5、根据附记2所述的方法，所述确定训练包中的各个训练示例的正近邻示例集合包括：

根据在基于图的算法进行学习的过程中构建的带权图中各节点的一次或多次传递关系，确定训练包中的各个训练示例的正近邻示例集合；所述带权图中的节点对应于训练包中的所有训练示例，带权图的边的权值对应于其连接的两个节点之间的相似度。

附记6、根据附记1所述的方法，所述针对训练包以及测试包中的所有示例，根据所有示例之间的相似度以及所述正训练包中各训练示例的权值，得到测试示例的排序分值包括：

针对训练包以及测试包中的所有示例，根据所有示例之间的相似度，采用基于图的算法进行学习，得到各个测试示例的排序分值；其中，正训练包中各个训练示例的初始标签由各自的权重确定。

附记7、根据附记1所述的方法，所述根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值包括：

将测试包中各个测试示例对应的排序分值的最大值，作为该测试包的排序分值。

附记8、一种基于多示例学习的检索系统，包括：

获取单元，配置为获取训练包以及训练包中的训练示例，所述训练包中包括正训练包；

训练示例权值生成单元，配置为为所述正训练包中的每一个训练示例生成权值，该权值的绝对大小代表相应的训练示例能够反映用户查询语义的程度；

测试示例排序分值获取单元，配置为针对训练包以及测试包中的所有示例，利用所述正训练包中各训练示例的权值，得到各个测试示例的排序分值；

检索结果确定单元，配置为根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果。

附记9、根据附记8所述的系统，其特征在于，所述训练示例权值生成单元包括：

初始权值获知子单元，配置为获知正训练包中的训练示例初始权值；

训练示例排序分值获取子单元，配置为根据训练示例之间的相似度，采用基于图的算法进行学习，得到各个训练示例的排序分值；

权值修改子单元，配置为确定训练包中的各个训练示例的正近邻示例集合，针对各个训练示例，根据正近邻示例集合中各训练示例的排序分值，改变正近邻示例集合中训练示例的权值，以得到正训练包中各个训练示例的最终权值；其中，所述训练示例的正近邻示例集合由正训练包中与该训练示例具有预置相似关系的训练示例组成。

附记10、根据附记9所述的系统，所述训练包中还包括负训练包，所述权值修改子单元包括：

附记11、根据附记9或10所述的系统，所述权值修改子单元具体配置为：改变正近邻示例集合中排序分值最大的训练示例的权值。

附记12、根据附记9所述的系统，所述权值修改子单元包括：

正近邻示例集合确定子单元，配置为根据在基于图的算法进行学习的过程中构建的带权图中各节点的一次或多次传递关系，确定训练包中的各个训练示例的正近邻示例集合；所述带权图中的节点对应于训练包中的所有训练示例，带权图的边的权值对应于其连接的两个节点之间的相似度；

修改子单元，配置为针对各个训练示例，根据正近邻示例集合中各训练示例的排序分值，改变正近邻示例集合中训练示例的权值，以得到正训练包中各个训练示例的最终权值。

附记13、根据附记8所述的系统，所述测试示例排序分值获取单元具体配置为，针对训练包以及测试包中的所有示例，根据所有示例之间的相似度，采用基于图的算法进行学习，得到各个测试示例的排序分值；其中，正训练包中各个训练示例的初始标签由各自的权重确定。

附记14、根据附记8所述的系统，所述检索结果确定单元包括：

测试包排序分值确定子单元，配置为将测试包中各个测试示例对应的排序分值的最大值，作为该测试包的排序分值；

确定子单元，配置为根据所述测试包的排序分值确定检索结果。

Claims

1.一种基于多示例学习的检索方法，包括：

针对训练包以及测试包中的所有示例，利用所述正训练包中各训练示例的权值，得到各个测试示例的排序分值；

根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果；

其中，所述为所述正训练包中的每一个训练示例生成权值包括：

获知正训练包中的训练示例初始权值；

2.根据权利要求1所述的方法，所述训练包中还包括负训练包，所述针对各个训练示例，根据正近邻示例集合中训练示例的排序分值，改变正近邻示例集合中训练示例的权值包括：

3.根据权利要求1所述的方法，所述确定训练包中的各个训练示例的正近邻示例集合包括：

4.根据权利要求1所述的方法，所述针对训练包以及测试包中的所有示例，根据所有示例之间的相似度以及所述正训练包中各训练示例的权值，得到测试示例的排序分值包括：

5.一种基于多示例学习的检索系统，包括：

检索结果确定单元，配置为根据测试包中各个测试示例的排序分值，确定各个测试包的排序分值，并根据所述测试包的排序分值确定检索结果；

其中，所述训练示例权值生成单元包括：

6.根据权利要求5所述的系统，所述训练包中还包括负训练包，所述权值修改子单元包括：

7.根据权利要求5所述的系统，所述权值修改子单元包括：

8.根据权利要求5所述的系统，所述测试示例排序分值获取单元具体配置为，针对训练包以及测试包中的所有示例，根据所有示例之间的相似度，采用基于图的算法进行学习，得到各个测试示例的排序分值；其中，正训练包中各个训练示例的初始标签由各自的权重确定。