CN111026935A - 基于自适应度量融合的跨模态检索重排序方法 - Google Patents

Abstract

本发明属于信息检索、多模态计算领域，具体涉及一种基于自适应度量融合的跨模态检索重排序方法、系统、装置，旨在解决现有跨模态检索方法由于模态间异质性导致检索结果排序效果不佳的问题。本系统方法包括提取各初始查询样本、各初始检索结果样本的特征向量；计算两样本集的距离；获取初始检索结果序列及第一排序序号；通过反向检索，得到第二排序序号；基于第一、第二排序序号得到互相关分值；构建跨模态距离向量；构建单模态距离向量；获取量化间隔及第一评价分值；获取第二评价分值及融合系数；得到最终距离向量，对初始检索结果序列进行重排序；循环重排序。本发明能够一定程度缓解模态间的异质性，提升跨模态检索的效果及性能。

Description

基于自适应度量融合的跨模态检索重排序方法

技术领域

本发明属于信息检索、多模态计算领域，具体涉及一种基于 自适应度量融合的跨模态检索重排序方法、系统、装置。

背景技术

近年来，随着互联网的发展，不同模态数据呈现爆炸式的增 长，如何在海量的大数据中进行跨模态检索成为一个重要且具有挑战性 的任务，引起了学术界和工业界极大的兴趣。在跨模态检索任务中，重 排序方法是一个值得研究的方法，因为该类方法不需要人为干预，不需 要额外标注数据，不需要重新训练，且可以应用在各种不同的初始检索 序列上，进一步获得性能提升。但是其面临的困难是跨模态检索领域存 在模态间的异质性，导致不同模态数据具有不同的特征空间，且两个相 反的检索方向具有不同的分布特征，因此给精确有效的重排序方法带来 了一定的困难。本文提出的基于自适应度量融合的跨模态检索重排序方 法，能够一定程度缓解模态间的异质性(即不同模态的样本具有完全不同的特征空间和数据格式)，实现较好的重排序。

发明内容

为了解决现有技术中的上述问题，即为了解决现有跨模态检 索方法由于模态间异质性，导致的检索结果排序效果不佳的问题，本发 明第一方面，提出了一种基于自适应度量融合的跨模态检索重排序方法， 该方法包括：

步骤S10，获取初始查询样本集及其对应的初始检索结果样 本集，分别提取各初始查询样本、各初始检索结果样本的特征向量；

步骤S20，基于预设的第一相似性度量准则M1，计算各初 始查询样本的特征向量与各初始检索结果样本的特征向量的距离；

步骤S30，根据当前初始查询样本q_i的特征向量与各初始检 索结果样本的特征向量的距离由小到大对各初始检索结果样本进行排序， 得到初始检索结果序列；选取该序列中前k个样本构建检索结果集合，并 将该集合中的各样本g_j在所述初始检索结果序列中的序号作为第一排序 序号；

步骤S40,所述检索结果集合中每个样本根据其与各初始查 询样本的特征向量的距离由小到大分别对所述初始查询样本集进行排序， 并得到q_i在排序后的初始查询样本集中的序号，将其作为第二排序序号；

步骤S50，基于所述第一、第二排序序号得到各检索结果样 本的互相关分值，将所述互相关分值求和得到q_i的互相关分值；

步骤S60，基于所述检索结果集合中各样本和q_i的距离，构 建跨模态距离向量；

步骤S70，基于所述检索结果集合中与q_i距离最小的样本， 计算该样本与检索结果集合中各样本的距离，构建单模态距离向量；

步骤S80，通过向量范数计算所述跨模态距离向量、所述单 模态距离向量的量化间隔；并基于该量化间隔和q_i的互相关分值，得到第 一评价分值；

步骤S90，基于预设的第二相似性度量准则M2，执行步骤 S20-S80得到第二评价分值；并根据所述第一、第二评价分值得到融合系 数；

步骤S100，基于q_i分别在M1及M2下与各初始检索结果样 本的距离，通过所述融合系数进行加权平均，得到最终距离向量；通过 所述最终距离向量，对所述初始检索结果序列进行重排序，得到q_i对应的 重排序后的检索结果序列；

步骤S110，若i小于所述初始查询样本集的样本数，令 i＝i+1，执行步骤S30，否则，输出重排序后的检索结果序列。

在一些优选的实施方式中，步骤S50中“基于所述第一、第 二排序序号得到各检索结果样本的互相关分值”，其方法为：

其中，α为增益系数，

为第一排序序号，

为第二排 序序号，R_i,j为互相关分值。

在一些优选的实施方式中，步骤S80中“通过向量范数计算 跨模态距离向量、单模态距离向量的量化间隔”，其方法为：

G_i ^M1＝Norm(c_i-u_i)

其中，c_i为跨模态距离向量，u_i为单模态距离向量，Norm(·) 为向量范数，G_i ^M1为量化间隔。

在一些优选的实施方式中，步骤S80中“基于该量化间隔和 q_i的互相关分值，得到第一评价分值”，其方法为：

S_i ^M1＝R_i ^M1/exp(G_i ^M1)

其中，G_i ^M1为量化间隔，R_i ^M1为当前初始查询样本的互相关 分值，S_i ^M1为第一评价分值。

在一些优选的实施方式中，步骤S90中“根据所述第一、第 二评价分值得到融合系数”，其方法为：

其中，W_i ^M1为融合系数，

为第一评价分值，

为第二评 价分值。

在一些优选的实施方式中，步骤S100中“通过所述融合系数 进行加权平均，得到最终距离向量”，其方法为：

其中，

为最终距离向量，W_i ^M1为融合系数，

为当前初 始查询样本在M1下与各初始检索结果样本的距离，

为当前初始查询 样本在M2下与各初始检索结果样本的距离。

本发明的第二方面，提出了一种基于自适应度量融合的跨模 态检索重排序系统，该系统包括提取特征模块、计算距离模块、初始检 索排序模块、反向检索排序模块、获取互相关分值模块、构建跨模态距 离向量模块、构建单模态距离向量模块、计算量化间隔模块、获取融合 系数模块、重排序模块、输出模块；

所述提取特征模块，配置为获取初始查询样本集及其对应的 初始检索结果样本集，分别提取各初始查询样本、各初始检索结果样本 的特征向量；

所述计算距离模块，配置为基于预设的第一相似性度量准则 M1，计算各初始查询样本的特征向量与各初始检索结果样本的特征向量 的距离；

所述初始检索排序模块，配置为根据当前初始查询样本q_i的 特征向量与各初始检索结果样本的特征向量的距离由小到大对各初始检 索结果样本进行排序，得到初始检索结果序列；选取该序列中前k个样本 构建检索结果集合，并将该集合中的各样本g_j在所述初始检索结果序列中 的序号作为第一排序序号；

所述反向检索排序模块，配置为所述检索结果集合中每个样 本根据其与各初始查询样本的特征向量的距离由小到大分别对所述初始 查询样本集进行排序，并得到q_i在排序后的初始查询样本集中的序号，将 其作为第二排序序号；

所述获取互相关分值模块，配置为基于所述第一、第二排序 序号得到各检索结果样本的互相关分值，将所述互相关分值求和得到q_i的 互相关分值；

所述构建跨模态距离向量模块，配置为基于所述检索结果集 合中各样本和q_i的距离，构建跨模态距离向量；

所述构建单模态距离向量模块，配置为基于所述检索结果集 合中与q_i距离最小的样本，计算该样本与检索结果集合中各样本的距离， 构建单模态距离向量；

所述计算量化间隔模块，配置为通过向量范数计算所述跨模 态距离向量、所述单模态距离向量的量化间隔；并基于该量化间隔和q_i的 互相关分值，得到第一评价分值；

所述获取融合系数模块，配置为基于预设的第二相似性度量 准则M2，执行计算距离模块-计算量化间隔模块得到第二评价分值；并 根据所述第一、第二评价分值得到融合系数；

所述重排序模块，配置为基于q_i分别在M1及M2下与各初始 检索结果样本的距离，通过所述融合系数进行加权平均，得到最终距离 向量；通过所述最终距离向量，对所述初始检索结果序列进行重排序， 得到q_i对应的重排序后的检索结果序列；

所述输出模块，配置为若i小于所述初始查询样本集的样本 数，令i＝i+1，执行初始检索排序模块，否则，输出重排序后的检索结 果序列。

本发明的第三方面，提出了一种存储装置，其中存储有多条 程序，所述程序应用由处理器加载并执行以实现上述的基于自适应度量 融合的跨模态检索重排序方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存 储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程 序；所述程序适用于由处理器加载并执行以实现上述的基于自适应度量 融合的跨模态检索重排序方法。

本发明的有益效果：

本发明能够一定程度缓解模态间的异质性，提升跨模态检索 的效果及性能。本发明利用初始查询样本和相似性度量准则得到初始检 索结果序列，而后进行反向检索，根据初始查询样本在反向检索结果序 列中的位置，评价该度量准则对于跨模态检索中存在差异的两个相反检 索方向的处理能力。进而，利用与初始查询样本最近的检索结果作为新的查询信息进行单模态查询，对比两次查询得到的检索结果序列的差异， 将该差异量化，并据此来评价跨模态检索中的不同样本模态空间差异对 度量造成的影响。综合以上两个方面，对某一度量在跨模态检索任务中 的性能表现进行综合评价，得到评价分值，而后对多个不同度量的评价 分值进行归一化，自适应得到最终的加权系数，对不同度量进行融合。 最终，根据融合得到的最终度量，对初始检索结果序列进行局部重排序。

本发明不需要人工干预，不需要额外引入训练样本，不需要 重新训练，可自适应的融合多个度量，可应用于不同的跨模态检索系统。 对于跨模态检索任务中的关键困难，模态异质性，能够进行较好的处理， 在极小代价的情况下进一步提升检索的性能，提高跨模态检索系统的准 确率。

附图说明

通过阅读参照以下附图所做的对非限制性实施例所做的详 细描述，本申请的其他特征、目的和优点将会变得更明显。

图1是本发明一种实施例的基于自适应度量融合的跨模态 检索重排序方法的流程示意图；

图2是本发明一种实施例的基于自适应度量融合的跨模态 检索重排序系统的框架示意图；

图3是本发明一种实施例的自适应度量融合的处理过程的 示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合 附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描 述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以 理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发 明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有 关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实 施例中的特征可以相互组合。

本发明的基于自适应度量融合的跨模态检索重排序方法，如 图1所示，包括以下步骤：

步骤S10，获取初始查询样本集及其对应的初始检索结果样 本集，分别提取各初始查询样本、各初始检索结果样本的特征向量；

步骤S20，基于预设的第一相似性度量准则M1，计算各初 始查询样本的特征向量与各初始检索结果样本的特征向量的距离；

步骤S30，根据当前初始查询样本q_i的特征向量与各初始检 索结果样本的特征向量的距离由小到大对各初始检索结果样本进行排序， 得到初始检索结果序列；选取该序列中前k个样本构建检索结果集合，并 将该集合中的各样本g_j在所述初始检索结果序列中的序号作为第一排序 序号；

步骤S40,所述检索结果集合中每个样本根据其与各初始查 询样本的特征向量的距离由小到大分别对所述初始查询样本集进行排序， 并得到q_i在排序后的初始查询样本集中的序号，将其作为第二排序序号；

步骤S50，基于所述第一、第二排序序号得到各检索结果样 本的互相关分值，将所述互相关分值求和得到q_i的互相关分值；

步骤S60，基于所述检索结果集合中各样本和q_i的距离，构 建跨模态距离向量；

步骤S70，基于所述检索结果集合中与q_i距离最小的样本， 计算该样本与检索结果集合中各样本的距离，构建单模态距离向量；

步骤S80，通过向量范数计算所述跨模态距离向量、所述单 模态距离向量的量化间隔；并基于该量化间隔和q_i的互相关分值，得到第 一评价分值；

步骤S90，基于预设的第二相似性度量准则M2，执行步骤 S20-S80得到第二评价分值；并根据所述第一、第二评价分值得到融合系 数；

步骤S100，基于q_i分别在M1及M2下与各初始检索结果样 本的距离，通过所述融合系数进行加权平均，得到最终距离向量；通过 所述最终距离向量，对所述初始检索结果序列进行重排序，得到q_i对应的 重排序后的检索结果序列；

步骤S110，若i小于所述初始查询样本集的样本数，令 i＝i+1，执行步骤S30，否则，输出重排序后的检索结果序列。

为了更清晰地对本发明基于自适应度量融合的跨模态检索 重排序方法进行说明，下面结合附图对本发明方法一种实施例中各步骤 进行展开详述。

步骤S10，获取初始查询样本集及其对应的初始检索结果样 本集，分别提取各初始查询样本、各初始检索结果样本的特征向量。

跨模态检索就是寻找不同模态样本之间的关系，实现利用某 一种模态样本，搜索近似语义的其他模态样本。

本实施例中，优选一对跨模态数据作为样本进行重排序。一 对跨模态数据包括初始查询样本集及其对应的初始检索结果样本集，分 别提取初始查询样本集中各初始查询样本、初始检索结果样本集中各初 始检索结果样本的特征向量。

步骤S20，基于预设的第一相似性度量准则M1，计算各初 始查询样本的特征向量与各初始检索结果样本的特征向量的距离。

在本实施例中，优选两种相似性度量准则，分别记为M1和 M2。在其他实施例中，相似性度量准则可以基于实际情况进行选择多个 度量准则。如图3所示，基于不同度量下的相似度矩阵，经过自适应度 量融合得到度量融合后的相似度矩阵。这里的度量指的是相似性度量， 例如欧式距离等，由于本发明主要是探索跨模态下的检索重排序，在相 似度矩阵下的数据为语句-图片。其中图3中的跨模态反向检索编码和查 询替换间隔量化在下文中介绍。

步骤S30，根据当前初始查询样本q_i的特征向量与各初始检 索结果样本的特征向量的距离由小到大对各初始检索结果样本进行排序， 得到初始检索结果序列；选取该序列中前k个样本构建检索结果集合，并 将该集合中的各样本g_j在所述初始检索结果序列中的序号作为第一排序 序号。

在本实施例中，当前初始查询样本记为q_i，对各初始检索结 果样本，利用步骤S10中得到的距离由小到大进行排序，得到初始检索 结果序列，记初始检索结果序列中前k个检索结果为g_j,j＝1,2,...,k，并构 建检索结果集合，并将该集合中各样本在初始检索结果序列中的序号

作为第一排序序号。

步骤S40，所述检索结果集合中每个样本根据其与各初始查 询样本的特征向量的距离由小到大分别对所述初始查询样本集进行排序， 并得到q_i在排序后的初始查询样本集中的序号，将其作为第二排序序号。

在本实施例中，如图3所示，开始进行跨模态反向检索编码， 利用初始检索结果序列中的各检索结果g_j进行相反方向的检索，即检索 结果集合中每个样本根据其与各初始查询样本的特征向量的距离由小到 大分别对所述初始查询样本集进行排序，并得到所述当前初始查询样本 在各排序后的初始查询样本集中的序号，将其作为第二排序序号。记为

步骤S50，基于所述第一、第二排序序号得到各检索结果样 本的互相关分值，将所述互相关分值求和得到q_i的互相关分值。

在本实施例中，根据q_i和g_j在两个相反方向排序的序号

和

计算互相关分值R_i,j，如公式(1)所示：

其中，参数α为增益系数。

对初始检索结果序列中前k个检索结果得到的R_i,j进行求和， 得到与当前初始查询样本相关的互相关分值R_i ^M1＝∑_jR_i,j,j＝1,2,...,k。到 此为止，模态反向检索编码方法完成。

步骤S60，基于所述检索结果集合中各样本和q_i的距离，构 建跨模态距离向量。

在本实施例中，如图3所示，开始进行查询替换间隔量化， 根据步骤S20中选取的k个检索结果g_j,j＝1,2,...,k和当前初始查询样本q_i之间的跨模态距离分别为c_i,j,j＝1,2,...,k，进而得到跨模态距离向量 c_i＝[c_i,2,c_i,3,...,c_i,k]。

步骤S70，基于所述检索结果集合中与q_i距离最小的样本， 计算该样本与检索结果集合中各样本的距离，构建单模态距离向量。

在本实施例中，计算检索结果集合中与当前初始查询样本最 小距离的检索结果g₁，与其他各检索结果g_j,j＝2,...,k的距离，即单模态距 离，记为u_i,j,j＝2,...,k，进行而得到单模态距离向量u_i＝[u_i,2,u_i,3,...,u_i,k]。

步骤S80，通过向量范数计算所述跨模态距离向量、所述单 模态距离向量的量化间隔；并基于该量化间隔和q_i的互相关分值，得到第 一评价分值。

在本实施例中，计算跨模态距离向量c_i＝[c_i,2,c_i,3,...,c_i,k]与单模 态距离向量u_i＝[u_i,2,u_i,3,...,u_i,k]之间的差异，并进行规范化，得到与当前初 始查询样本相关的量化间隔G_i ^M1，其计算方法如公式(2)所示：

G_i ^M1＝Norm(c_i-u_i) (2)

其中，Norm(·)表示向量范数，其方法可选择任意类型的向 量范数进行实现。

基于所述量化间隔和所述当前初始查询样本互相关分值，得 到第一评价分值，本实施例，提供整体融合和分别融合两种方法，具体 如下：

方法一，整体融合：对上述跨模态反向检索编码方法及查询 替换间隔量化方法进行整体融合，得到在度量准则M1下与初始查询样本 q_i相关的评价分值S_i ^M1，其计算方法如公式(3)所示：

S_i ^M1＝R_i ^M1/exp(G_i ^M1) (3)

方法二，分别融合：对上述跨模态反向检索编码方法及查询 替换间隔量化方法进行分别融合，得到在度量准则M1下与当前初始查询 样本q_i相关的评价分值。即跨模态反向检索编码方法评价分值(S_i ^M1)′＝R_i ^M1， 以及查询替换间隔量化方法评价分值(S_i ^M1)″＝1/exp(G_i ^M1)。

步骤S90，基于预设的第二相似性度量准则M2，执行步骤 S20-S80得到第二评价分值；并根据所述第一、第二评价分值得到融合系 数。

基于预设的第二相似性度量准则M2，可推广到多个相似性 度量准则，基于当前初始查询样本和各初始检索结果样本，重复上述步 骤S20-步骤S80，得到在相似性度量准则M2下与当前初始查询样本q_i相 关的评价分值，并将其作为第二评价分值S_i ^M2，其计算方法为： S_i ^M2＝R_i ^M2/exp(G_i ^M2)或跨模态反向检索编码方法评价分值(S_i ^M2)′＝R_i ^M2、查 询替换间隔量化方法评价分值(S_i ^M2)″＝1/exp(G_i ^M2)。其中，R_i ^M2、G_i ^M2、 (S_i ^M2)′、(S_i ^M2)″为在第二相似性度量准则下对应的值。

基于方法一，整体融合：根据第一评价分值和所述第二评价 分值计算融合系数。计算方法如公式(4)所述：

其中，W_i ^M1为融合系数。

基于方法二，分别融合：分别基于跨模态反向检索编码方法 评价分值和查询替换间隔量化方法评价分值得到对应的融合系数。

步骤S100，基于q_i分别在M1及M2下与各初始检索结果样 本的距离，通过所述融合系数进行加权平均，得到最终距离向量；通过 所述最终距离向量，对所述初始检索结果序列进行重排序，得到q_i对应的 重排序后的检索结果序列。

本实施例中分别基于整体融合方法、分别融合方法得到最终 距离向量。

其中，基于方法一，整体融合：计算方法如公式(5)所示：

其中，

为当前初始查询样本在M1度量下与各初始检索 结果样本的距离，

为当前初始查询样本在M2度量下与各初始检索结 果样本的距离，

表示最终距离向量。

基于最终距离向量，对于初始检索结果序列中的前若干个样 本进行重排序，即可得到最终重排序后的检索结果序列。

基于方法二，分别融合，其处理过程如下：

分别基于对M1及M2进行融合的系数，分别为得到跨模态反 向检索编码方法最终距离度量

以及查询替换间隔量化方法最终距 离度量

基于得到的最终距离向量

及

可先后分两步对初 始检索结果序列进行重排序，并在第二步重排序时缩小重排序的区间范 围。例如先用

对初始检索结果序列的前m个样本进行重排序，而后 利用

在第一步重排序之后得到的结果上，对β·m的区间再次进行重 排序，其中参数β＜1。具体例如根据初始排序序列的前5个样本(k＝5)来评价M1和M2的表现，进而融合M1和M2得到最终距离度量。首先 根据最终距离度量

调整初始排序序列的前10个样本的顺序(m＝10)， 而后在第一步重排序之后得到的结果上，利用

对β·m的区间再次重 排序，其中参数β＜1。另外，可交换

与

的顺序，得到另外一种 重排序步骤方式。

步骤S110，若i小于所述初始查询样本集的样本数，令 i＝i+1，执行步骤S30，否则，输出重排序后的检索结果序列。

本实施例中，依次对每个初始查询样本执行步骤S30-S100， 即可完成整个检索重排序。

本发明第二实施例的一种基于自适应度量融合的跨模态检 索重排序系统，如图2所示，包括：提取特征模块100、计算距离模块 200、初始检索排序模块300、反向检索排序模块400、获取互相关分值 模块500、构建跨模态距离向量模块600、构建单模态距离向量模块700、 计算量化间隔模块800、获取融合系数模块900、重排序模块1000、输出 模块1100；

所述提取特征模块100，配置为获取初始查询样本集及其对 应的初始检索结果样本集，分别提取各初始查询样本、各初始检索结果 样本的特征向量；

所述计算距离模块200，配置为基于预设的第一相似性度量 准则M1，计算各初始查询样本的特征向量与各初始检索结果样本的特征 向量的距离；

所述初始检索排序模块300，配置为根据当前初始查询样本 q_i的特征向量与各初始检索结果样本的特征向量的距离由小到大对各初 始检索结果样本进行排序，得到初始检索结果序列；选取该序列中前k个 样本构建检索结果集合，并将该集合中的各样本g_j在所述初始检索结果序 列中的序号作为第一排序序号；

所述反向检索排序模块400，配置为所述检索结果集合中每 个样本根据其与各初始查询样本的特征向量的距离由小到大分别对所述 初始查询样本集进行排序，并得到q_i在排序后的初始查询样本集中的序号， 将其作为第二排序序号；

所述获取互相关分值模块500，配置为基于所述第一、第二 排序序号得到各检索结果样本的互相关分值，将所述互相关分值求和得 到q_i的互相关分值；

所述构建跨模态距离向量模块600，配置为基于所述检索结 果集合中各样本和q_i的距离，构建跨模态距离向量；

所述构建单模态距离向量模块700，配置为基于所述检索结 果集合中与q_i距离最小的样本，计算该样本与检索结果集合中各样本的距 离，构建单模态距离向量；

所述计算量化间隔模块800，配置为通过向量范数计算所述 跨模态距离向量、所述单模态距离向量的量化间隔；并基于该量化间隔 和q_i的互相关分值，得到第一评价分值；

所述获取融合系数模块900，配置为基于预设的第二相似性 度量准则M2，执行计算距离模块200-计算量化间隔模块800得到第二评 价分值；并根据所述第一、第二评价分值得到融合系数；

所述重排序模块1000，配置为基于q_i分别在M1及M2下与 各初始检索结果样本的距离，通过所述融合系数进行加权平均，得到最 终距离向量；通过所述最终距离向量，对所述初始检索结果序列进行重 排序，得到q_i对应的重排序后的检索结果序列；

所述输出模块1100，配置为若i小于所述初始查询样本集的 样本数，令i＝i+1，执行初始检索排序模块300，否则，输出重排序后 的检索结果序列。

所述技术领域的技术人员可以清楚的了解到，为描述的方便 和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述 方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于自适应度量融合的跨 模态检索重排序系统，仅以上述各功能模块的划分进行举例说明，在实 际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成， 即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施 例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完 成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步 骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当 限定。

本发明第三实施例的一种存储装置，其中存储有多条程序， 所述程序适用于由处理器加载并实现上述的基于自适应度量融合的跨模 态检索重排序方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置； 处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序 适于由处理器加载并执行以实现上述的基于自适应度量融合的跨模态检 索重排序方法。

所述技术领域的技术人员可以清楚的了解到，未描述的方便 和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明， 可以参考前述方法实例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施 例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者 二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储 器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除 可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所 公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的 可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及 步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案 的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来 使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明 的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不 是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包 含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包 括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过 程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技 术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然 不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域 技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换 之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于自适应度量融合的跨模态检索重排序方法，其特征在于，该方法包括：

步骤S10，获取初始查询样本集及其对应的初始检索结果样本集，分别提取各初始查询样本、各初始检索结果样本的特征向量；

步骤S20，基于预设的第一相似性度量准则M1，计算各初始查询样本的特征向量与各初始检索结果样本的特征向量的距离；

步骤S30，根据当前初始查询样本q_i的特征向量与各初始检索结果样本的特征向量的距离由小到大对各初始检索结果样本进行排序，得到初始检索结果序列；选取该序列中前k个样本构建检索结果集合，并将该集合中的各样本g_j在所述初始检索结果序列中的序号作为第一排序序号；

步骤S40，所述检索结果集合中每个样本根据其与各初始查询样本的特征向量的距离由小到大分别对所述初始查询样本集进行排序，并得到q_i在排序后的初始查询样本集中的序号，将其作为第二排序序号；

步骤S50，基于所述第一、第二排序序号得到各检索结果样本的互相关分值，将所述互相关分值求和得到q_i的互相关分值；

步骤S60，基于所述检索结果集合中各样本和q_i的距离，构建跨模态距离向量；

步骤S70，基于所述检索结果集合中与q_i距离最小的样本，计算该样本与检索结果集合中各样本的距离，构建单模态距离向量；

步骤S80，通过向量范数计算所述跨模态距离向量、所述单模态距离向量的量化间隔；并基于该量化间隔和q_i的互相关分值，得到第一评价分值；

步骤S90，基于预设的第二相似性度量准则M2，执行步骤S20-S80得到第二评价分值；并根据所述第一、第二评价分值得到融合系数；

步骤S100，基于q_i分别在M1及M2下与各初始检索结果样本的距离，通过所述融合系数进行加权平均，得到最终距离向量；通过所述最终距离向量，对所述初始检索结果序列进行重排序，得到q_i对应的重排序后的检索结果序列；

步骤S110，若i小于所述初始查询样本集的样本数，令i＝i+1，执行步骤S30，否则，输出重排序后的检索结果序列。

2.根据权利要求1所述的基于自适应度量融合的跨模态检索重排序方法，其特征在于，步骤S50中“基于所述第一、第二排序序号得到各检索结果样本的互相关分值”，其方法为：

其中，α为增益系数，

为第一排序序号，

为第二排序序号，R_i,j为互相关分值。

3.根据权利要求1所述的基于自适应度量融合的跨模态检索重排序方法，其特征在于，步骤S80中“通过向量范数计算跨模态距离向量、单模态距离向量的量化间隔”，其方法为：

G_i ^M1＝Norm(c_i-u_i)

其中，c_i为跨模态距离向量，u_i为单模态距离向量，Norm(·)为向量范数，G_i ^M1为量化间隔。

4.根据权利要求1所述的基于自适应度量融合的跨模态检索重排序方法，其特征在于，步骤S80中“基于该量化间隔和q_i的互相关分值，得到第一评价分值”，其方法为：

S_i ^M1＝R_i ^M1/exp(G_i ^M1)

其中，G_i ^M1为量化间隔，R_i ^M1为当前初始查询样本的互相关分值，S_i ^M1为第一评价分值。

5.根据权利要求1所述的基于自适应度量融合的跨模态检索重排序方法，其特征在于，步骤S90中“根据所述第一、第二评价分值得到融合系数”，其方法为：

其中，W_i ^M1为融合系数，

为第一评价分值，

为第二评价分值。

6.根据权利要求1所述的基于自适应度量融合的跨模态检索重排序方法，其特征在于，步骤S100中“通过所述融合系数进行加权平均，得到最终距离向量”，其方法为：

其中，

为最终距离向量，W_i ^M1为融合系数，

为当前初始查询样本在M1下与各初始检索结果样本的距离，

为当前初始查询样本在M2下与各初始检索结果样本的距离。

7.一种基于自适应度量融合的跨模态检索重排序系统，其特征在于，该系统包括提取特征模块、计算距离模块、初始检索排序模块、反向检索排序模块、获取互相关分值模块、构建跨模态距离向量模块、构建单模态距离向量模块、计算量化间隔模块、获取融合系数模块、重排序模块、输出模块；

所述提取特征模块，配置为获取初始查询样本集及其对应的初始检索结果样本集，分别提取各初始查询样本、各初始检索结果样本的特征向量；

所述计算距离模块，配置为基于预设的第一相似性度量准则M1，计算各初始查询样本的特征向量与各初始检索结果样本的特征向量的距离；

所述初始检索排序模块，配置为根据当前初始查询样本q_i的特征向量与各初始检索结果样本的特征向量的距离由小到大对各初始检索结果样本进行排序，得到初始检索结果序列；选取该序列中前k个样本构建检索结果集合，并将该集合中的各样本g_j在所述初始检索结果序列中的序号作为第一排序序号；

所述反向检索排序模块，配置为所述检索结果集合中每个样本根据其与各初始查询样本的特征向量的距离由小到大分别对所述初始查询样本集进行排序，并得到q_i在排序后的初始查询样本集中的序号，将其作为第二排序序号；

所述获取互相关分值模块，配置为基于所述第一、第二排序序号得到各检索结果样本的互相关分值，将所述互相关分值求和得到q_i的互相关分值；

所述构建跨模态距离向量模块，配置为基于所述检索结果集合中各样本和q_i的距离，构建跨模态距离向量；

所述构建单模态距离向量模块，配置为基于所述检索结果集合中与q_i距离最小的样本，计算该样本与检索结果集合中各样本的距离，构建单模态距离向量；

所述计算量化间隔模块，配置为通过向量范数计算所述跨模态距离向量、所述单模态距离向量的量化间隔；并基于该量化间隔和q_i的互相关分值，得到第一评价分值；

所述获取融合系数模块，配置为基于预设的第二相似性度量准则M2，执行计算距离模块-计算量化间隔模块得到第二评价分值；并根据所述第一、第二评价分值得到融合系数；

所述重排序模块，配置为基于q_i分别在M1及M2下与各初始检索结果样本的距离，通过所述融合系数进行加权平均，得到最终距离向量；通过所述最终距离向量，对所述初始检索结果序列进行重排序，得到q_i对应的重排序后的检索结果序列；

所述输出模块，配置为若i小于所述初始查询样本集的样本数，令i＝i+1，执行初始检索排序模块，否则，输出重排序后的检索结果序列。

8.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-6任一项所述的基于自适应度量融合的跨模态检索重排序方法。

9.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于自适应度量融合的跨模态检索重排序方法。

Images