CN114117153B - 一种基于相似度重学习的在线跨模态检索方法及系统 - Google Patents

Abstract

本发明公开了一种基于相似度重学习的在线跨模态检索方法及系统，包括：获取原始数据样本，并划分为多个小组，构建训练集；构建哈希码学习的目标函数，利用所述训练集对目标函数进行训练，得到每一批数据对应的哈希码和哈希函数，并存入检索库；根据样本外拓展映射生成待查询样本的哈希码；基于数据流中的新样本数据对检索库中原始样本数据的哈希码进行更新；将待查询样本的哈希码与检索库中的更新后的哈希码进行比较，按海明距离从小到大排序返回检索结果。本发明实现了在不重新训练原始数据的前提下为新数据生成哈希表示，同时通过对新旧数据的相似关系的挖掘和新数据标签信息的利用，大大提高了检索精度。

Description

一种基于相似度重学习的在线跨模态检索方法及系统

技术领域

本发明涉及在线场景下的跨模态检索技术领域，尤其涉及一种基于相似度重学习的在线跨模态检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着互联网技术的突飞猛进，大量的多媒体数据呈现井喷式的增长，与此同时，大规模数据检索也越来越受到人们的关注。

近年来，以哈希为代表的近似邻检索技术得到了深入的研究和飞速的进步。传统的哈希学习方法，在保持原始样本空间相似度关系的前提下，将样本压缩为简短的二值码，从而实现使用简单的异或运算来计算样本的汉明距离，进而完成样本的检索。该方法大大提高了检索的效率，降低了检索成本。

然而，这些方法往往是基于批数据（batch-based）来进行训练，不能适用于现实场景中更为常见和实用的流数据。具体来说，在现实场景中，数据往往是以流数据的形式累积出现的，例如，购物网站上每天都会出现新增的购物记录，社交网站上每天都会有新增的聊天信息。对于传统的哈希方法来说，当新数据出现时，需要重新训练全部的数据集以得到对应的哈希表示。显然，在样本规模非常大的情况下，这类方法的更新成本是难以接受的。

在线哈希算法在不使用原始样本重新训练的前提下，学习新的哈希码和哈希函数。已有的Online哈希方法通常采用以下两种策略：

1）仅使用新数据来学习新的哈希函数，显然这样会带来巨大的信息损失；

2）探究新旧数据之间的关系，利用这种相似关系作为纽带，进而在避免使用原始数据重新训练的前提下，高效地挖掘出旧数据中的有效信息，帮助新数据学习对应的哈希码，其本质上是将新旧数据之间的关系作为一种监督信息。这一类方法通常使用构造相似度图的方式来挖掘新旧数据之间的关系，然而，由于新旧数据规模差别过大，导致成对样本数量很少，使得更新严重依赖于不成对样本，造成“更新不平衡”的问题，使损失函数难以优化。同时，跨模态检索时，模态间存在语义鸿沟，样本间的相似度在跨模态时，难以很好的保持，使哈希码的学习更加困难，阻碍了跨模态检索的精度。

发明内容

为了解决上述问题，本发明提出了一种基于相似度重学习的在线跨模态检索方法及系统，基于一个联合矩阵分解哈希的框架来探索新旧样本之间的关系，以实现高效率，高精度的在线跨模态检索。

在一些实施方式中，采用如下技术方案：

一种基于相似度重学习的在线跨模态检索方法，包括：

获取原始数据样本，并划分为多个小组，构建训练集；其中，每个小组包含不同模态的样本特征及其对应的语义标签；

构建哈希码学习的目标函数，利用所述训练集对目标函数进行训练，得到每一批数据对应的哈希码和哈希函数，并存入检索库；

根据样本外拓展映射生成待查询样本的哈希码；基于数据流中的新样本数据对检索库中原始样本数据的哈希码进行更新；

将待查询样本的哈希码与检索库中的更新后的哈希码进行比较，按海明距离从小到大排序返回检索结果。

在另一些实施方式中，采用如下技术方案：

一种基于相似度重学习的在线跨模态检索方法，包括：

数据获取模块，用于获取原始数据样本，并划分为多个小组，构建训练集；其中，每个小组包含不同模态的样本特征及其对应的语义标签；

目标函数训练模块，构建哈希码学习的目标函数，利用所述训练集对目标函数进行训练，得到每一批数据对应的哈希码和哈希函数，并存入检索库；

哈希码更新模块，用于根据样本外拓展映射生成待查询样本的哈希码；基于数据流中的新样本数据对检索库中原始样本数据的哈希码进行更新；

数据检索模块，用于将待查询样本的哈希码与检索库中的更新后的哈希码进行比较，按海明距离从小到大排序返回检索结果。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于相似度重学习的在线跨模态检索方法。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于相似度重学习的在线跨模态检索方法。

与现有技术相比，本发明的有益效果是：

（1）本发明克服了传统方法无法处理流数据的局限性，实现了在不重新训练原始数据的前提下为新数据生成哈希表示，并高效地更新原始数据的哈希码，同时通过对新旧数据的相似关系的挖掘和新数据标签信息的利用，大大提高了检索精度。此外，本发明中定制性的设计了离散优化的方案，避免累积量化误差。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

附图说明

图1为本发明实施例中的基于相似度重学习的在线跨模态检索方法流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种基于相似度重学习的在线跨模态检索方法，首先对训练样本进行均匀分组，生成流数据，然后进行多度量矩阵的学习，之后，利用联合矩阵分解的方式学习新旧数据的公共映射以及不同模态的公共表示。同时在学习过程中，引入两种监督信息：1）通过新学到的多度量矩阵来度量多种模态下新旧样本之间的相似关系；2）通过标签嵌入挖掘新样本之间的类别信息。最后，设计一种策略高效地更新原始样本的哈希码。在检索过程中，通过样本外扩展映射为查询样本生成哈希码，并将其与更新后的检索库中的哈希码进行比较，并依据海明距离从小到大返回。

具体地，参照图1，本发明方法具体包括如下过程：

（1）获取原始数据样本，并划分为多个小组，构建训练集；其中，每个小组包含不同模态的样本特征及其对应的语义标签；

将原始的数据样本随机均等分组，每个小组包含不同模态的样本特征及其对应的标签。其中，不同模态指文本模态，图像模态等。对于文本模态，通常采用Word2Vector特征，Bag-of-Word 特征或者深度特征等；对于图像模态，通常采用SIFT特征，GIST特征或者深度特征等。语义标签指用于区别数据类别信息的标签向量，通常采用独热码表示，例如，待处理数据包含三个类别，将分别表示为[1 0 0]，[0 1 0]，[0 0 1]。

训练过程中以此作为不同时刻的输入记做

，标签为

。其中，t=1,2,...T，表示不同时刻。

训练过程中样本分为原始训练和新样本。均等划分的样本依次输入目标训练模型中，在第t轮训练时，样本可分为前t-1次训练样本和第t次训练新样本。

（2）构建哈希码学习的目标函数，利用所述训练集对目标函数进行训练，得到每一批数据对应的哈希码和哈希函数，并存入检索库；

具体地，利用不同模态的样本特征信息和语义标签信息学习统一的度量矩阵M，以用于后续的样本的相似度度量。

当样本间的关系不能简单的通过单个维度的标准来衡量时，即：其距离\相似关系是由多种因素，多个模态\视图决定的，此时考虑引入多度量矩阵。如社交关系，需要通过多种角度来度量，两个人的关系好，可以体现在空间近，形影不离，也可以体现在爱好相似等。同样，对于多模态\跨模态任务，可以为多模态数据学习一个统一的度量矩阵M。

首先给出距离的度量方式：

（1）

其中，M为我们要学习的度量标准，

；x_i、y_i表示两个样本，A表示两个样本之间的距离，Tr(X) 表示矩阵X的迹。

本实施例中，分别使用视觉特征X₁，文本特征X₂，标签L，来构造3个监督信息矩阵A。

此时，度量标准的学习可以建模为：

（2）

其中，

表示参加与运算的样本集合，P表示参与运算的样本个数，γ表示阈值，q_ij为成对标识，若两个样本相似，则q_ij=1；否则，q_ij=-1；f（*）为公式（1）所示距离度量函数，M是我们要学的度量矩阵，M_k表示k个度量矩阵，最终的统一度量矩阵M由M_k求和得到。

本实施例中，所有的

均代表的是求取F-范数。

将样本特征矩阵分解为映射矩阵U和公共表示矩阵V，为新旧样本特征学习统一的映射矩阵U，为不同模态数据学习公共表示矩阵V；其中，学习相同的映射矩阵来拟合新旧数据之间相似的样本分布，学习相同的表示矩阵V来探索不同模态之间的公共高层语义。具体为：

其中，X₁，X₂表示不同模态的样本特征矩阵，U₁，U₂为映射矩阵，V为公共表示矩阵；λ为超参数。

同时，使用所学的度量矩阵M来计算当前批次的数据和原始累积数据之间的相似关系，并将其作为监督信息，促进模型的训练。

具体地，使用所学的度量矩阵M来计算当前批次的数据和原始累积数据之间的相似关系，具体为：

其中，L^（t-1）为原始累积数据对应的标签矩阵，L^（t）为当前批次数据对应的标签矩阵；M为度量矩阵，

表示新度量下数据流中新旧样本的相似关系。

将相似关系作为一种监督信息，嵌入到哈希码的学习中，具体为：

其中，B^（t）表示第t轮样本数据对应的哈希码，L表示当前批次数据对应的标签矩阵，G为映射矩阵，B^T表示矩阵B的转置。

并且，为了进一步提高检索的精度，我们将当前批次数据的标签矩阵作为另一监督信息嵌入到哈希码的学习过程中，具体为：

其中，L表示当前数据当前批次数据对应的标签矩阵，B^（t）表示第t轮样本数据对应的哈希码，G为映射矩阵。

综合上述特征，构建哈希码学习模型的目标函数为：

其中，X₁，X₂表示不同模态的样本特征矩阵，U₁，U₂为映射矩阵，V为公共表示矩阵；B^（t）表示第t轮样本对应的哈希码，L^（t）表示第t轮样本对应的标签；R,G为映射矩阵，G表示特征映射，R为正交旋转矩阵；λ、

、

、

为超参数。

从该式中可见，为了保证哈希码的离散性，本实施例为其添加了二值约束，并定制了离散求解的优化方案。

由于数据以流数据的形式按批次出现，第t 轮即训练第t个批次的数据。使用构建好的训练集进行每一轮的训练，为每一轮的数据生成对应的哈希表示和哈希函数。

（3）根据样本外拓展映射生成待查询样本的哈希码；

设计样本外扩展策略，为当前批次的哈希码学习对应的哈希表示，可形式化表示为：

基于学习到的映射矩阵W，构建哈希函数：

其中，W为所学的样本外扩展映射，即样本特征与哈希码之间的映射矩阵，用于为新样本生成对应的哈希码。

为第t轮，第m个模态的样本的特征；X_m表示待检索样本的特征；

表是第t轮，第m个模态的样本对应的样本外扩展映射；

表示待检索样本X_m对应的哈希码。

（4）基于新的样本数据对原始样本数据的哈希码进行更新；

由于流数据的变化，导致哈希函数多次更新，进而导致检索库中使用原始的哈希函数生成的哈希码与当前新的哈希函数生成的哈希码之间存在一定的累积误差，为了更好的弥合这个误差我们将原始样本的哈希码进行一个高效的更新，其过程可形式化为：

；

；

其中，

表示第t轮样本对应的映射矩阵，

表示原始样本对应的映射矩阵；V^(t-1)为原始样本对应的公共表示矩阵，

表示为原始样本学到的新的公共表示矩阵；sgn（*）为符号函数，

和γ为超参数；R为映射矩阵，

表示原始数据的新的哈希码；

表示求取F-范数。

由于随着新样本的出现，原始数据的哈希码与新学到的哈希函数生成的哈希码之间存在差距（gap）。上述公式的目的是根据当前的映射U^（t）来学习一个新的公共表示

，然后将这种新的公共表示转化为原始数据的新的哈希码

。

（5）将待查询样本的哈希码与检索库中的更新后的哈希码进行比较，按海明距离从小到大排序返回检索结果。

待查询样本的哈希码与更新后的检索库中的哈希码进行对比，可通过0/1异或运算快速的计算出待检索样本和检索库中另一模态样本的海明距离；

依照海明距离从小到大将检索出来的样本排序返回，海明距离越小代表两个样本越相似。

优选地，取

，

时，整个模型的检索性能最好，可保证检索最靠前的50个样本的平均精度可以达到80%以上。

表1是本实施例的一个仿真实验中给出的在检索出50个样本时的平均精度均值，分割线以上为图像检索文本，分割线以下为文本检索图像，每个仿真实验中都测试了5种哈希码位数（8，16，32，64,128位）的性能表现，并与现有的8种方法（分别记为 OCMH, OLSH,LEMON, SCM-seq, DCH, LCMFH, SCRATCH, DLFH）进行了比较，均可以看出本发明的方法性能较好。平均精度均值（mean Average Precision）的定义如下：

其中，R表示范围中相似视频的总个数，K表示总检索范围，R_i表示检索到第i个样本时检索出相似样本的个数。

表1. 平均精度均值统计表（前50个样本）

实施例二

在一个或多个实施方式中，公开了一种基于相似度重学习的在线跨模态检索系统，该系统采用实施例一中所述的基于相似度重学习的在线跨模态检索方法，实现在线跨模态检索。

实施例三

在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于相似度重学习的在线跨模态检索方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例四

在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的基于相似度重学习的在线跨模态检索方法。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于相似度重学习的在线跨模态检索方法，其特征在于，包括：

获取原始数据样本，并划分为多个小组，构建训练集；其中，每个小组包含不同模态的样本特征及其对应的语义标签；

构建哈希码学习的目标函数，利用所述训练集对目标函数进行训练，得到每一批数据对应的哈希码和哈希函数，并存入检索库；

根据样本外拓展映射生成待查询样本的哈希码；基于数据流中的新样本数据对检索库中原始样本数据的哈希码进行更新；

将待查询样本的哈希码与检索库中的更新后的哈希码进行比较，按海明距离从小到大排序返回检索结果；

构建哈希码学习的目标函数，具体过程包括：

利用不同模态的样本特征信息和语义标签信息学习统一的度量矩阵M；将样本特征矩阵分解为映射矩阵U和公共表示矩阵V，为新旧样本特征学习统一的映射矩阵U，为不同模态数据学习公共表示矩阵V；

使用度量矩阵M来计算当前批次的数据和原始累积数据之间的相似关系，并将其作为监督信息，将当前批次数据的标签矩阵作为另一监督信息，嵌入到目标函数中；

综合上述特征，构建哈希码学习的目标函数。

2.如权利要求1所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，所述不同模态的样本特征至少包括：文本模态的样本特征和图像模态的样本特征。

3.如权利要求1所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，使用度量矩阵M来计算当前批次的数据和原始累积数据之间的相似关系，具体为：

其中，L^（t-1）为原始累积数据对应的标签矩阵，L^（t）为当前批次数据对应的标签矩阵；M为度量矩阵，

表示新度量下数据流中新旧样本的相似关系。

4.如权利要求1所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，将当前批次数据的标签矩阵作为另一监督信息，具体为：

其中，B^（t）表示第t轮样本数据对应的哈希码，L表示当前批次数据对应的标签矩阵，G为映射矩阵，G^T表示矩阵G的转置。

5.如权利要求1所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，所述目标函数具体为：

其中，X₁，X₂表示不同模态的样本特征矩阵，U₁，U₂为映射矩阵，V为公共表示矩阵；B^（t）表示第t轮样本对应的哈希码，L^（t）表示第t轮样本对应的标签；R,G为映射矩阵，λ、

、

、

为超参数。

6.如权利要求1所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，基于新的样本数据对原始样本数据的哈希码进行更新，具体为：

；

；

其中，

表示第t轮样本对应的映射矩阵，

表示原始样本对应的映射矩阵；V^(t-1)为原始样本对应的公共表示矩阵，

表示为原始样本学到的新的公共表示矩阵；

和γ为超参数；R为映射矩阵，

表示求取F-范数；

表示根据新的公共表示矩阵

得到的旧数据对应的新哈希码。

7.一种基于相似度重学习的在线跨模态检索系统，其特征在于，所述系统采用权利要求1-6任一项所述的基于相似度重学习的在线跨模态检索方法。

8.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-6任一项所述的基于相似度重学习的在线跨模态检索方法。

9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-6任一项所述的基于相似度重学习的在线跨模态检索方法。

Images