CN115098620B - 一种注意力相似度迁移的跨模态哈希检索方法 - Google Patents

Abstract

本发明公开了一种注意力相似度迁移的跨模态哈希检索方法，包括：特征提取多模态数据，得到文本特征向量和图像特征图；将图像特征图利用混合自注意力机制分配自注意力权重，利用多头注意力机制对文本特征向量分配自注意力权重，根据自注意力权重大小分别强化关注图像和文本的关键特征；将图像和文本的关键特征进行多模态共同注意力机制处理，将多模态数据特征映射至公共实值空间；计算公共实值空间的特征相似度，利用迁移学习和哈希函数，将相似关系从公共实值空间迁移至哈希空间，训练得到哈希码；根据哈希码计算相似度，并进行排序。本发明能够强化关注图像和文本的关键信息，提升特征提取质量，加强了模态间的信息交互，同时降低了训练难度。

Description

一种注意力相似度迁移的跨模态哈希检索方法

技术领域

本发明涉及跨模态检索的技术领域，尤其是指一种注意力相似度迁移的跨模态哈希检索方法。

背景技术

跨模态检索处理过程一般是对多模态数据进行特征表示；建立模态间关联机制；对数据进行相似度度量以及排序等操作。依据特征表示的不同，跨模态方法可分为跨模态实值检索方法和跨模态哈希检索方法。跨模态哈希检索方法可分为有监督哈希与无监督哈希方法。有监督方法是利用已有标签提取语义信息，融入哈希码来提高检索精度。无监督方法侧重于模态内和模态间的关系学习，利用未标记数据训练样本挖掘数据的内在性质和规律，并将学习的多模态特征转换为二进制哈希码深度特征学习为多模态共同表示学习的重要步骤，在减少异质鸿沟问题中发挥重要作用。

跨模态哈希检索研究已取得重大进展，但现存方法在分析模态信息重要程度方面的工作较少，为此，设计通道空间混合自注意力机制加强关注图像关键特征，使用多头注意力增强文本关键特征的关注，并采用共同注意力机制加强模态信息交互；另外，大多数无监督方法在重构相似矩阵时需要在实值空间构建相似矩阵，会产生大量参数，使用迁移学习的方法，利用实值空间不同实例相似度数值引导汉明码的生成，保留相似关系的同时降低了参数训练复杂度。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种注意力相似度迁移的跨模态哈希检索方法，能够强化关注图像和文本的关键信息，提升特征提取质量，加强了模态间的信息交互，同时降低了训练难度。

为实现上述目的，本发明所提供的技术方案为：一种注意力相似度迁移的跨模态哈希检索方法，包括以下步骤：

S1：获取多模态数据，并对数据进行预处理得到统一大小的图像和去除标点的文本；

S2：对经过预处理后的多模态数据进行特征提取，提取出相应的文本特征向量和图像特征图；

S3：设计包含了通道注意力子分支和空间注意力子分支的混合自注意力机制，将图像特征图利用混合自注意力机制分配自注意力权重，利用多头注意力机制对文本特征向量分配自注意力权重，并根据自注意力权重大小分别强化关注图像和文本的关键特征；

S4：将经过强化关注得到的图像和文本的关键特征，进行多模态共同注意力机制处理，减少图像和文本通道之间的信息不平衡，加强多模态信息交互，并将多模态数据特征映射至公共实值空间；

S5：计算公共实值空间的特征相似度，利用迁移学习和哈希函数，将相似关系从公共实值空间迁移至哈希空间，训练得到哈希码；

S6：根据得到的哈希码计算相似度，并进行排序，选择排名前n个候选集实例作为最终的查询结果。

进一步，在步骤S2中，对于图像数据使用Resnet-50神经网络提取图像特征图，对于文本数据采用Bi-LSTM模型提取特征向量。

进一步，步骤S3的具体操作步骤为：

S31：对于输入的图像特征图F_map，在通道注意力子分支，首先进行全局平均池化，避免空间信息对注意力的影响，依次经过全连接层、Relu激活函数、全连接层、BN层处理，得到通道注意力子分支掩码M_c：

M_c＝BN(FC(Rule(FC(GAP(F_map)))

式中，FC代表全连接层，GAP代表全局平均池化；

对于空间注意力子分支，首先将图像特征图F_map经过1*1*1卷积层组合成单通道的特征融合图，去掉通道后得到特征矩阵F₀，避免通道信息分布对空间注意力权重的影响；将F₀经softmax函数计算获得全局相关性矩阵F₁，F₀和F₁对应元素相乘，获得全局特征矩阵，输入到BN层获得空间注意力子分支掩码，公式表示如下：

F₀＝Conv_1*1*1(F_map)

F₁＝softmax(F₀)

M_s＝BN(F₀*F₁)

式中，Conv_1*1*1表示1*1*1卷积，M_s表示空间注意力子分支掩码。

S32：将通道注意力子分支掩码和空间注意力子分支掩码按比例计算得到混合自注意力机制掩码，处理得到经混合自注意力机制强化关注的图像关键特征F_i，公式表示如下：

F_i＝F_map(1+σ(a*M_c+β*M_s))

式中，α和β为学习得到的可变权重，σ代表Sigmoid函数；

S33：通过Bi-LSTM输出包含所有时间步的输出O＝{O₁,O₂，...,O_t,...,O_m}，其中O_m代表第m个时间步的输出向量，以及最后一个时间步的隐藏状态H_m，为了实现多头注意力机制，将输入的向量看作<Key,Value>键值对的形式，根据给定的任务目标中的查询值Query计算Key与Query之间的相似系数，能够得到Value值对应的权重系数，在此使用Q、K、V分别表示Query、Key和Value，第t个时间步的权重值a_t的公式如下：

Q＝ω_QH_m

V_t＝ω_VO_t

K＝ω_KO_t

式中，ω_Q、ω_V、ω_K为网络参数，随反向传播而修改，O_t代表第t个时间步的输出，V_t代表第t个时间步的Value值，K^T代表K的转置，d_x代表x维向量；

S34：将各时间步权重值与Value值加权求和，得到带有单头自注意力的文本特征向量z_y：

式中，z_y代表第y个单头注意力计算结果；

S35：将步骤S33和S34进行h次，得到多头自注意力文本{z₁,z₂...,z_y,...z_h}，其中z_h代表第h个单头注意力计算结果，将其拼接并做一次线性变换后得到带有多头自注意力的文本特征向量F_t：

F_t＝Concat(z₁,z₂,...,z_y,...,z_h)ω_z

式中，ω_z为网络参数，h为自注意力的头数。

进一步，步骤S4的具体操作步骤为：

S41：对于输入的图像关键特征F_i，利用得softmax函数计算，到图像特征注意力分布A_i：

A_i＝softmax(F_i)

对于输入的文本关键特征F_t，利用softmax函数，得到文本特征注意力分布A_t：

A_t＝softmax(F_t)

S42：将图像关键特征F_i与文本特征注意力分布A_t相乘得到具有共同注意力的图像特征W_I：

式中，表示Hadamard乘积；

将文本关键特征F_t与图像特征注意力分布A_i相乘得到具有共同注意力的文本特征W_T：

S43：将具有共同注意力的图像特征W_I和文本特征W_T经过全连接层处理，映射至k维的公共实值空间，其中k为哈希码的长度。

进一步，步骤S5的具体操作步骤为：

S51：利用余弦相似度公式，计算公共实值空间中模态内相似度S_D：

式中，j和n代表第j和第n个实例，表示第j个具有共同注意力的文本特征或图像特征，/>表示第n个具有共同注意力的文本特征或图像特征，D∈{I,T}，表示文本模态T与图像模态I，/>代表/>的转置矩阵，||W_Dj||_F表示/>的F-范数；

S52：为了便于反向传播，使用以下公式作为哈希函数，计算具有共同注意力的文本和图像特征的哈希码B_D：

B_D＝tanh(ρW_D)∈[-1,1]^k

式中，W_D表示具有共同注意力的文本特征或图像特征，D∈{I,T}，表示文本模态T与图像模态I，ρ为可变参数，k为哈希码的长度；

计算哈希空间内相似度H：

式中，表示第n个实例的哈希码，/>表示第j个实例的哈希码，T代表转置；

S53：根据多模态在公共实值空间内的数据分布，采用相似度重建的方式保持相似关系，将各模态内成对的相似度值迁移至哈希空间，模态内损失函数S_intra表示为：

式中，S_i代表公共实值空间内图像实例的相似度，S_t代表公共实值空间内文本实例的相似度，H_i代表哈希空间内图像实例的相似度，H_t代表哈希空间内文本实例的相似度，ω和γ为可学习的参数，代表各模态的模态内损失函数占模态内损失函数的比例；

S54：模态间相似度迁移利用成对多模态信息进行计算，由于相同模态的同语义实例的特征关系矩阵对角线为1，而不同模态存在语义鸿沟，所以在此约束模态间最大相似度为1，模态间相似度迁移损失函数S_inter为：

式中，1表示长度为L的单位向量，B_I代表图像实例的哈希码，B_T代表文本实例的哈希码，diag(·)函数表示矩阵的对角线元素组成的向量；

S55：最终损失函数loss为：

loss＝minμS_inter+(1-μ)S_intra

式中，μ为可学习的参数，代表各损失函数的比例。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明设计了一种通道注意力子分支和空间注意力子分支的混合自注意力机制，可以有效实现图像的关键信息鉴别。

2、本发明设计共同注意力机制加强模态信息交互，提高了检索精度。

3、本发明利用公共实值空间不同实例之间的相似度数值引导哈希码的生成，保留相似关系的同时降低了参数训练复杂度。

总之，本发明能通过使用注意力机制来提升获取特征的质量，增强模态间信息互补，并且在哈希空间保留相似关系的同时降低了参数训练复杂度，可以充分挖掘模态间的相关性，有效弥合模态间的语义差距进而提高了检索的准确率。

附图说明

图1为本发明方法的框架图。

图2为混合自注意力机制示意图。

图3为多头注意力机制示意图；

图4为相似度迁移说明图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供了一种注意力相似度迁移的跨模态哈希检索方法，使用了Resnet-50和Bi-LSTM作为特征提取的基模型，其包括以下步骤：

1)跨模态特征学习：

将跨模态数据表示为其表示N对图像、文本；为简化符号，分别将I和T表示为图像模态和文本模态实例。

对于图像特征提取，利用Resnet-50神经网络来提取整体图像的特征图。

对于文本特征提取，利用Bi-LSTM模型充分学习文本上下文特征。

2)多模态注意力机制：

如图2和图3所示，对于各模态，存在无关或相关性较小的区域，造成实相似性计算量较大。因此将得到的特征通过自注意力机制获得注意力权重α，权重越大，相关性越高。本发明设计一种包含了通道注意力子分支和空间注意力子分支的混合自注意力机制用于图像信息重要度分辨，利用多头注意力分辨文本信息重要度，混合自注意力机制见附图2所示，多头注意力机制见附图3所示，其包括以下步骤：

2.1)对于输入的图像特征图F_map，在通道注意力子分支，首先进行全局平均池化，避免空间信息对注意力的影响，依次经过全连接层、Relu激活函数、全连接层、BN层处理，得到通道注意力子分支掩码M_c：

M_c＝BN(FC(Rule(FC(GAP(F_map)))

其中FC代表全连接层，GAP代表全局平均池化。

对于空间注意力子分支，首先将图像特征图F_map经过1*1*1卷积层组合成单通道的特征融合图，去掉通道后得到特征矩阵F₀，避免通道信息分布对空间注意力权重的影响；将F₀经softmax函数计算获得全局相关性矩阵F₁，F₀和F₁对应元素相乘，获得全局特征矩阵，输入到BN层获得空间注意力子分支掩码，公式表示如下：

F₀＝Conv_1*1*1(F_map)

F₁＝softmax(F₀)

M_s＝BN(F₀*F₁)

其中Conv_1*1*1表示1*1*1卷积，M_s表示空间注意力子分支掩码。

2.2)将通道注意力子分支掩码和空间注意力子分支掩码按比例计算得到混合自注意力机制掩码，处理得到经混合自注意力机制强化关注的图像关键特征F_i，公式表示如下：

F_i＝F_map(1+σ(a*M_c+β*M_s))

其中α和β为学习得到的可变权重，σ代表Sigmoid函数；

2.3)通过Bi-LSTM输出包含所有时间步的输出O＝{O₁,O₂，...,O_t,...,O_m}，其中O_m代表第m个时间步的输出向量，以及最后一个时间步的隐藏状态H_m，为了实现多头注意力机制，将输入的向量看作<Key,Value>键值对的形式，根据给定的任务目标中的查询值Query计算Key与Query之间的相似系数，可以得到Value值对应的权重系数,之后再用权重系数对Value值进行加权求和，即可得到输出，在此使用Q，K，V分别表示Query，Key和Value，第t个时间步的权重值a_t的公式如下：

Q＝ω_QH_m

V_t＝ω_VO_t

K＝ω_KO_t

其中ω_Q，ω_V，ω_K为网络参数，随反向传播而修改，O_t代表第t个时间步的输出，V_t代表第t个时间步的Value值，K^T代表K的转置，d_x代表x维向量。

2.4)将各时间步权重值与Value值加权求和，得到带有单头自注意力的文本特征向量z_y：

式中，z_y代表第y个单头注意力计算结果；

2.5)将步骤S33和S34进行h次，得到多头自注意力文本{z₁,z₂...,z_y,...z_h}，其中z_h代表第h个单头注意力计算结果，将其拼接并做一次线性变换后得到带有多头自注意力的文本特征向量F_t：

F_t＝Concat(z₁,z₂,...,z_y,...,z_h)ω_z

式中，ω_z为网络参数，h为自注意力的头数。

2.6)对于输入的图像关键特征F_i，利用得softmax函数计算，到图像特征注意力分布A_i：

A_i＝softmax(F_i)

对于输入的文本关键特征F_t，利用softmax函数，得到文本特征注意力分布A_t：

A_t＝softmax(F_t)

2.7)将图像关键特征F_i与文本特征注意力分布A_t相乘得到具有共同注意力的图像特征W_I：

其中表示Hadamard乘积；

将文本关键特征F_t与图像特征注意力分布A_i相乘得到具有共同注意力的文本特征W_T：

2.8)将具有共同注意力的图像特征W_I和文本特征W_T经过全连接层处理，映射至k维的公共实值空间，其中k为哈希码的长度。

3)计算公共实值空间的特征相似度，利用迁移学习和哈希函数，将相似关系从公共实值空间迁移至哈希空间，训练得到哈希码。

跨模态哈希算法需要在哈希空间重构相似关系，现有方法大多需要在实值空间构建实值相似矩阵，再对哈希空间的哈希相似矩阵进行优化，在构建相似关系矩阵时会产生大量参数，增加训练负担，因此，实验采用成对相似度迁移的方法利用实值空间内相似值引导哈希码的生成，如附图4所示，具体操作步骤为：

3.1)利用余弦相似度公式，计算公共实值空间中模态内相似度S_D：

式中，j和n代表第j和第n个实例，表示第j个具有共同注意力的文本特征或图像特征，/>表示第n个具有共同注意力的文本特征或图像特征，D∈{I,T}，表示文本模态T与图像模态I，/>代表/>的转置矩阵，||W_Dj||_F表示/>的F-范数。

3.2)为了便于反向传播，使用以下公式作为哈希函数，计算具有共同注意力的文本和图像特征的哈希码B_D：

B_D＝tanh(ρW_D)∈[-1,1]^k

式中，W_D表示具有共同注意力的文本特征或图像特征，D∈{I,T}，表示文本模态T与图像模态I，ρ为可变参数，k为哈希码的长度；

计算哈希空间内相似度H：

式中，表示第n个实例的哈希码，/>表示第j个实例的哈希码，/>代表/>的转置，/>代表/>的转置。

3.3)根据多模态在公共实值空间内的数据分布，采用相似度重建的方式保持相似关系，将各模态内成对的相似度值迁移至哈希空间，模态内损失函数S_intra表示为：

式中，S_i代表公共实值空间内图像实例的相似度，S_t代表公共实值空间内文本实例的相似度，H_i代表哈希空间内图像实例的相似度，H_t代表哈希空间内文本实例的相似度，ω和γ为可学习的参数，代表各模态的模态内损失函数占模态内损失函数的比例；

3.4)模态间相似度迁移利用成对多模态信息进行计算，由于相同模态的同语义实例的特征关系矩阵对角线为1，而不同模态存在语义鸿沟，所以在此约束模态间最大相似度为1，模态间相似度迁移损失函数S_inter为：

式中，1表示长度为L的单位向量，B_I代表图像实例的哈希码，B_T代表文本实例的哈希码，diag(·)函数表示矩阵的对角线元素组成的向量。

3.5)最终损失函数loss为：

loss＝minμS_inter+(1-μ)S_intra

式中，μ为可学习的参数，代表各损失函数的比例。

4)根据得到的哈希码计算相似度，并进行排序，选择排名前n个候选集实例作为最终的查询结果。

MIRFLICKR-25K数据集包含从Flickr收集的25000个实例。每个图像都带有相关的文本标签。总共选择了20015个图像-文本对，每一对的文本都表示为1386维词袋向量；MSCOCO数据集包括82785张训练图像和40504张验证图像，每个图像有5个标题。在实验中，将训练图像和验证图像合并，并去除那些在文本模态中没有实例的样本。最后，训练数据集包含122218个图文对，每个实例的文本都表示为2026维词袋向量，每个实例至少用80个类中的一个进行标注；IAPR TC-12数据集包含来自275个类的200000个图文对。对于每个实例，文本都转换为1251维的词袋向量。在删除无标注的实例后，使用19998个实例的子集进行实验。

为了验证实验的有效性，对数据集进行进一步划分，划分结果如表1所示。

表1数据集详情

数据集名称	总数目	训练集	验证集
				MIRFLICKR-25K	20015	10000	2000
MSCOCO	122218	10000	5000
				IAPR TC-12	19998	10000	2000

汉明排序是跨模态哈希算法常用的评估性能的方法，本实验使用平均精确度均值(mean Average Precision,MAP)作为评价标准。查询q的精度均值AP的计算方法如下：

式中，P_q(r)表示前r个检索结果的准确性，δ_q(r)用来指示通过查询获得的第r个样本与查询样本是否相关。δ_q(r)＝1表示相关数据，δ_q(r)＝0表示无关数据，l_q是对排名前R的检索结果的正确数目统计。R的整个数据库的数量，MAP是所有查询的平均精度。

本发明提出一种注意力相似度迁移的跨模态哈希检索方法。为验证方法的有效性，使用MAP作为评价标准，在三个常用数据集MIRFLICKR-25K、MSCOCO和IAPR TC-12上，分别当哈希码长度为16bit、32bit和64bit时与DCMH、PRDH、CMHH、SCAHN、CHN、SSAH、UCH方法进行了对比分析，实验结果如表2所示。

表2实验结果分析表

实验结果可以充分证明本发明方法的有效性。通过对不同模态数据进行注意力计算能有效的分辨出重要的特征信息来提升获取特征的质量，进而生成更具辨别性的哈希码，从而实现检索性能的提升。使用共同注意力机制，加强了不同模态信息交互，增强语义互补性。此外，通过对成对相似值的迁移学习，更精确的表示样本间的相似性，减少了不必要的误差，对提升检索性能有着重要的贡献。通过上述步骤，可以充分挖掘模态间的相关性，有效弥合模态间的语义差距进而提高了检索的准确率。

实验结论：针对现有算法对各模态关键信息关注不足以及在实值空间构建关系矩阵会增加训练难度的问题，本发明提出了注意力相似度迁移的跨模态哈希检索方法。在公开的三个多模态数据集MIRFLICKR-25K、IAPR TC-12和MSCOCO上的实验评估表明，本发明方法的使用对检索精度有一定的提升，优于现有方法。在接下来的研究中，将探索中文多模态数据的检索方法，以及增量学习在多模态检索任务中如何应用的问题，具有很好的应用前景，值得推广。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种注意力相似度迁移的跨模态哈希检索方法，其特征在于，包括以下步骤：

S1：获取多模态数据，并对数据进行预处理得到统一大小的图像和去除标点的文本；

S2：对经过预处理后的多模态数据进行特征提取，提取出相应的文本特征向量和图像特征图；

S3：设计包含了通道注意力子分支和空间注意力子分支的混合自注意力机制，将图像特征图利用混合自注意力机制分配自注意力权重，利用多头注意力机制对文本特征向量分配自注意力权重，并根据自注意力权重大小分别强化关注图像和文本的关键特征；具体操作步骤为：

S31：对于输入的图像特征图F_map，在通道注意力子分支，首先进行全局平均池化，避免空间信息对注意力的影响，依次经过全连接层、Relu激活函数、全连接层、BN层处理，得到通道注意力子分支掩码M_c：

M_c＝BN(FC(Rule(FC(GAP(F_map)))

式中，FC代表全连接层，GAP代表全局平均池化；

对于空间注意力子分支，首先将图像特征图F_map经过1*1*1卷积层组合成单通道的特征融合图，去掉通道后得到特征矩阵F₀，避免通道信息分布对空间注意力权重的影响；将F₀经softmax函数计算获得全局相关性矩阵F₁，F₀和F₁对应元素相乘，获得全局特征矩阵，输入到BN层获得空间注意力子分支掩码，公式表示如下：

F₀＝Conv_1*1*1(F_map)

F₁＝softmax(F₀)

M_s＝BN(F₀*F₁)

式中，Conv_1*1*1表示1*1*1卷积，M_s表示空间注意力子分支掩码；

S32：将通道注意力子分支掩码和空间注意力子分支掩码按比例计算得到混合自注意力机制掩码，处理得到经混合自注意力机制强化关注的图像关键特征F_i，公式表示如下：

F_i=F_map(1+α(a*M_c+β*M_s))

式中，α和β为学习得到的可变权重，σ代表Sigmoid函数；

S33：通过Bi-LSTM输出包含所有时间步的输出O＝{O₁,O₂，...,O_t,...,O_m}，其中O_m代表第m个时间步的输出向量，以及最后一个时间步的隐藏状态H_m，为了实现多头注意力机制，将输入的向量看作<Key,Value>键值对的形式，根据给定的任务目标中的查询值Query计算Key与Query之间的相似系数，能够得到Value值对应的权重系数，在此使用Q、K、V分别表示Query、Key和Value，第t个时间步的权重值a_t的公式如下：

Q=ω_QH_m

V_t=ω_VO_t

K＝ω_KO_t

式中，ω_Q、ω_V、ω_K为网络参数，随反向传播而修改，O_t代表第t个时间步的输出，V_t代表第t个时间步的Value值，K^T代表K的转置，d_x代表x维向量；

S34：将各时间步权重值与Value值加权求和，得到带有单头自注意力的文本特征向量z_y：

式中，z_y代表第y个单头注意力计算结果；

S35：将步骤S33和S34进行h次，得到多头自注意力文本{z₁,z₂...,z_y,...z_h}，其中z_h代表第h个单头注意力计算结果，将其拼接并做一次线性变换后得到带有多头自注意力的文本特征向量F_t：

F_t＝Concat(z₁,z₂,...,z_y,...,z_h)ω_z

式中，ω_z为网络参数，h为自注意力的头数；

S4：将经过强化关注得到的图像和文本的关键特征，进行多模态共同注意力机制处理，减少图像和文本通道之间的信息不平衡，加强多模态信息交互，并将多模态数据特征映射至公共实值空间；

S5：计算公共实值空间的特征相似度，利用迁移学习和哈希函数，将相似关系从公共实值空间迁移至哈希空间，训练得到哈希码；具体操作步骤为：

S51：利用余弦相似度公式，计算公共实值空间中模态内相似度S_D：

式中，j和n代表第j和第n个实例，表示第j个具有共同注意力的文本特征或图像特征，/>表示第n个具有共同注意力的文本特征或图像特征，D∈{I,T}，表示文本模态T与图像模态I，/>代表/>的转置矩阵，/>表示/>的F-范数；

S52：为了便于反向传播，使用以下公式作为哈希函数，计算具有共同注意力的文本和图像特征的哈希码B_D：

B_D＝tanh(ρW_D)∈[-1,1]^k

式中，W_D表示具有共同注意力的文本特征或图像特征，D∈{I,T}，表示文本模态T与图像模态I，ρ为可变参数，k为哈希码的长度；

计算哈希空间内相似度H：

式中，表示第n个实例的哈希码，/>表示第j个实例的哈希码，T代表转置；

S53：根据多模态在公共实值空间内的数据分布，采用相似度重建的方式保持相似关系，将各模态内成对的相似度值迁移至哈希空间，模态内损失函数S_intra表示为：

式中，S_i代表公共实值空间内图像实例的相似度，S_t代表公共实值空间内文本实例的相似度，H_i代表哈希空间内图像实例的相似度，H_t代表哈希空间内文本实例的相似度，ω和γ为可学习的参数，代表各模态的模态内损失函数占模态内损失函数的比例；

S54：模态间相似度迁移利用成对多模态信息进行计算，由于相同模态的同语义实例的特征关系矩阵对角线为1，而不同模态存在语义鸿沟，所以在此约束模态间最大相似度为1，模态间相似度迁移损失函数S_inter为：

式中，1表示长度为L的单位向量，B_I代表图像实例的哈希码，B_T代表文本实例的哈希码，diag(·)函数表示矩阵的对角线元素组成的向量；

S55：最终损失函数loss为：

loss＝minμS_inter+(1-μ)S_intra

式中，μ为可学习的参数，代表各损失函数的比例；

S6：根据得到的哈希码计算相似度，并进行排序，选择排名前n个候选集实例作为最终的查询结果。

2.根据权利要求1所述的一种注意力相似度迁移的跨模态哈希检索方法，其特征在于，在步骤S2中，对于图像数据使用Resnet-50神经网络提取图像特征图，对于文本数据采用Bi-LSTM模型提取特征向量。

3.根据权利要求1所述的一种注意力相似度迁移的跨模态哈希检索方法，其特征在于，步骤S4的具体操作步骤为：

S41：对于输入的图像关键特征F_i，利用得softmax函数计算，到图像特征注意力分布A_i：

A_i＝softmax(F_i)

对于输入的文本关键特征F_t，利用softmax函数，得到文本特征注意力分布A_t：

A_t＝softmax(F_t)

S42：将图像关键特征F_i与文本特征注意力分布A_t相乘得到具有共同注意力的图像特征W_I：

式中，表示Hadamard乘积；

将文本关键特征F_t与图像特征注意力分布A_i相乘得到具有共同注意力的文本特征W_T：

S43：将具有共同注意力的图像特征W_I和文本特征W_T经过全连接层处理，映射至k维的公共实值空间，其中k为哈希码的长度。