CN110059154B - 一种基于继承映射的跨模态迁移哈希检索方法 - Google Patents

Abstract

本发明针对大规模数据的跨模态检索提出了一种基于继承映射的跨模态迁移哈希检索方法。首先，通过线性跨模态迁移学习来保持原始异构特征之间的关联关系；同时，继承映射与跨模态迁移相互协作，以确保从原始特征空间到哈希空间的相关性继承。进一步地，为了挖掘原始特征的结构近邻关系，本发明也采用了具有线性复杂度的锚图模型。而且，高层语义信息也通过线性回归的方法被加强。最终，一种高效的迭代优化策略被用来解决离散优化问题，这有效地避免了传统解法造成的松弛和量化误差。

Description

一种基于继承映射的跨模态迁移哈希检索方法

技术领域

本发明涉及跨模态检索方法，更具体地说，涉及一种基于继承映射的跨模态迁移哈希检索方法。

背景技术

近年来，大数据背景下的跨模态检索技术越来越受到人们的关注，其检索效率和精度不论是在学术界还是工业界都存在极大的挑战。而哈希技术旨在将高维的原始数据特征映射成低维的二进制码，这不仅能很好地降低计算机的运算和存储开销，也大大提升检索效率。但是，想要用低维的二进制码实现高性能的检索结果仍然是一个非常大的挑战。因此，本发明主要针对图像-文本两种不同模态数据之间的检索提出了一种高效的跨模态哈希检索方法。

由于不同模态数据存在于不同维度的特征空间，因此跨模态检索方法的核心思想就是如何桥接不同模态之间的间隔。近年来，也有许多基于哈希技术的扩模态检索方法被提出，根据有无使用有标记数据大致可分为两类，一类是无监督学习方法，另一类是有监督的学习方法。无监督哈希通常不使用语义标记。例如，CMFH(Collective MatrixFactorization Hashing)方法首先通过协同矩阵分解的方法对所有模态数据学习统一的哈希码矩阵，然后将学到的哈希码矩阵用于学习特别模态的哈希方程；LSSH(LatentSemantic Sparse Hashing)方法运用稀疏编码和矩阵分解的方式来探索图片的显性结构及文本的隐性概念，因此可以在子空间内保持原始特征的相关性。但是，由于高层语义信息的缺失，无监督的方法往往达不到较好的检索效果。

而有监督哈希通常通过探索高层语义信息以求达到更好的检索效果。例如，SCM(Semantic Correlation Maximization)方法将语义标记无缝地整合到哈希码学习的过程中；DCH(Discriminant Cross-modal Hashing)方法将学习到的哈希码当作一种表征，然后和类标记共同学习一个线性的分类器；FDCH(Fast Discrete Cross-modal Hashing)方法提出使用回归的方法将标记回归到相应的哈希码，同时还引入漂移项来调节回归过程从而提高所学哈希码的质量。本发明也主要关注有监督的学习方法，因为有监督的学习有效地利用了标记信息来加强语意保持从而达到更好的检索效果。大多数有监督的学习方法通常包含两种保持原始特征分布的思想。一种是通过构建局部图模型来保持模态内的近邻关系，但是这种方法通常忽略了不同模态之间的相关性；另一种思想是通过语义标记构建亲属矩阵来保持异构数据之间的相关性，但是它丢弃了原始特征固有的分布特性。因此都无法达到令人满意的检索效果。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于继承映射的跨模态迁移哈希检索方法。所述方法提出使用线性跨模态迁移实现异构数据之间信息的相互嵌入，同时起到从原始特征分布的层面关联异构数据的作用。除此之外，该方法强调跨模态迁移的系数矩阵和原始空间到哈希空间的映射矩阵保持一致。这种方式可以使学习到的哈希码直接有效的继承原始特征的分布特性及异构相关性，从而促进检索效果。

本发明采用的技术方案如下：

一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，包括以下步骤：

步骤1：给定数据集

n代表训练样本对的总数，

表示图片特征，

表示文本特征，y_i∈R^c表示语义标记向量，其中d₁表示图片特征维度，d₂表示文本特征维度，c表示数据集类的总数，则

为图像特征矩阵、

表示文本特征矩阵，Y∈R^c×n表示标记矩阵；

步骤2：构建锚图模型来保持数据模态内的结构近邻关系，具体方法为：将任一模态训练样本当作图模型中的节点，构建节点与锚点之间的权重关系为：

其中，m为模态索引，即m＝(1,2)分别对应图像和文本，σ是带宽参数,r_mj表示锚点且j∈(1,c)，根据锚图计算理论，其拉普拉斯矩阵为

且

其中I为单位矩阵，1为全1向量，因此局部锚图可以被表示为：

其中

为继承映射矩阵，且k为哈希码长度；

步骤3：基于继承映射的跨模态迁移学习，即：

其中，

和

为继承映射矩阵，||·||_F表示F范数；

同时，为了继承原始特征的潜在信息，该对映射矩阵同样用于原始特征空间到哈希空间的映射，即：

s.t.B∈{-1,1}^k×n，

B∈{-1,1}^k×n表示统一的哈希码矩阵；

步骤4：结合所述步骤2和步骤3构建学习统一哈希码的目标函数；

步骤5：求解所述目标函数，得到统一哈希码及继承映射矩阵。

更具体地，计算虚拟类中心作为步骤2中的锚点，r_mj＝[r_mj(1),r_mj(2),...,r_mj(d_m)]且

其中，X_m(j)表示第m模态中第j类的所有样本，K_j表示第j类样本的个数,d表示样本特征的第d个维度。

更具体地，步骤4中所述的目标函数为：

s.t.B∈{-1,1}^k×n

其中，第五项是正则化项，λ_m和γ表示超参且都大于0。

更具体地，所述目标函数求解方法为：

1)首先将目标函数等价改写为：

s.t.B∈{-1,1}^k×n

2)更新Q，U₁，U₂：通固定其他三个变量，对其余一个变量求偏导并

令其等于0可得：

Q＝(YY^T+γI)^-1YB^T

3)更新B：固定其它变量，目标函数可化简为：

s.t.B∈{-1,1}^k×n

且上式可重写为：

s.t.B∈{-1,1}^k×n

既然||B||²是个常数，因此上式可被化简为：

s.t.B∈{-1,1}^k×n

其中

因此统一的哈希码矩阵为：

其中sgn(·)为符号函数。

对于新的样本可以同过学习到的继承映射矩阵直接将原始特征编码成哈希码，编码方法定义为：

本发明具有以下有益效果：

1、跨模态迁移学习能够有效地嵌入异构信息来保持不同模态数据之间的相关关系。同时，本发明也通过继承映射思想将跨模态迁移学习与离散映射无缝结合，能够有效地地继承原始特征的分布及相关关系。

2、本发明结合了跨模态迁移学习、语义回归、离散映射及基于锚图的结构约束。这不仅有效地继承了原始特征的相关性、语义分布特性及固有结构特征；也使得整个算法是线性复杂度，从而确保了在大规模数据检索中的高效性。

附图说明

图1为本发明一种基于继承映射的跨模态迁移哈希检索方法的流程框图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

下面以示例的方式具体说明本发明的方法，该方法包括以下步骤：

第一阶段：数据集处理

本发明在MIRFLICKR-25K和NUS-WIDE两个数据集上进行实验评测。

MIRFLICKR-25K数据集包含25,000个样例，每一个样例包含一个图片-文本对，并且总共给定24个标签，每一个样例至少包含标签。在实验室中，我们选择了至少有20个标签标注20,015个样例进行实验。其中，文本模态被表示为1386维的BoW向量；而对于图像模态，我们使用在ImageNet数据集上预训练的VGG模型对每个图片样本提取4096维的CNN特征。实验中，我们随机取2,000样例作为查询，其余作为被检索的数据库。为了减少计算成本，我们从数据库中取5,000个样例用于训练。

NUS-WIDE数据集包含269,648个样例。实验中，本发明选取样例最多的10个类进行实验，共包含186,577个图像-文本对。对于每一个样例，文本模态被表示成1，000维的BoW向量；同样地，我们对图像模态模型对每个图片样本提取4096维的CNN特征。在此数据集上，我们随机采样2,000各样例作为查询，其余的作为数据库。同样地，随机从数据库中取5,000个数据点用于训练。

第二阶段：模型学习

步骤1：给定数据集

n代表训练样本对的总数，

表示图片特征，

表示文本特征，y_i∈R^c表示语义标记向量，其中d₁表示图片特征维度，d₂表示文本特征维度，c表示数据集类的总数。那么图像特征矩阵、文本特征矩阵及标记矩阵可以分别表示为：

Y∈R^c×n。

步骤2：构建锚图模型来保持数据模态内的结构近邻关系。具体方法为：将所述任一模态训练样本当作图模型中的节点，然后构建节点与锚点之间的权重关系，可公式化为：

其中，m为模态索引，即m＝(1,2)分别对应图像和文本，σ是带宽参数。r_mj是一个d_m维的向量，表示锚点且j∈(1,c)。

进一步地，对于锚点的选择，本发明提出虚拟类中心的方法，这能有效地避免传统的聚类算法造成的计算冗余。详细地，可将虚拟类中心表示为r_mj＝[r_mj(1),r_mj(2),...,r_mj(d_m)]且：

其中，X_m(j)表示第m模态中第j类的所有样本，K_j表示第j类样本的个数,d表示样本特征的第d个维度。根据锚图计算理论，其拉普拉斯矩阵

且

其中I为单位矩阵，1为全1向量。因此局部锚图可以被表示为：

其中

为继承映射矩阵，且k为哈希码长度。

步骤3：基于继承映射的跨模态迁移学习。首先，为了使异构信息能够相互嵌入且加强异构模态间的相关性，本发明定义了一种线性跨模态迁移学习方法，即：

其中，

和

分别对应图片和文本的继承映射矩阵。||·||_F表示F范数。

其次，本阶段的目标是为每一个样例学习紧凑的二进制码b_i∈{-1,1}^k，B∈{-1,1}^k×n表示统一的哈希码矩阵。为了继承原始特征的潜在信息，该对映射矩阵同样用于原始特征空间到哈希空间的映射，即：

s.t.B∈{-1,1}^k×n

除此之外，对于高层语义信息的探索，本发明采用了一种高效稳定的线性回归方法，即：

s.t.B∈{-1,1}^k×n。

其中Q∈R^c×k为语义空间到哈希空间的映射矩阵。

步骤4：综合步骤2和步骤3所述构建学习统一哈希码的目标函数：

s.t.B∈{-1,1}^k×n

其中，第五项是正则化项，λ_m和γ表示超参(且都大于0)。

步骤5：求解步骤4所述目标函数。综上所述，目标函数可被改写为：

s.t.B∈{-1,1}^k×n

1)更新Q，U₁，U₂：通固定其他三个变量，对其余一个变量求偏导并令其等于0可得：

Q＝(YY^T+γI)^-1YB^T

1)更新B：固定其它变量，目标函数可化简为：

s.t.B∈{-1,1}^k×n

且上式可重写为：

s.t.B∈{-1,1}^k×n

既然||B||²是个常数，因此上式可被化简为：

s.t.B∈{-1,1}^k×n

其中

因此统一的哈希码矩阵为：

其中sgn(·)为符号函数。

最终，通过迭代求解方法得到最优的哈希码矩阵B，及继承映射矩阵U₁，U₂。进一步地，对于新的样本可以同过学习到的继承映射矩阵直接将原始特征编码成哈希码。具体地可将其编码方法定义为：

算法实现过程如下：

输入：图像特征矩阵X₁，文本特征矩阵X₂及标记矩阵Y；超参数:λ₁，λ₂，γ

初始化：1.根据上述步骤2构建锚图模型

2.随机初始化继承映射矩阵U₁、U₂及语义映射矩阵Q

循环执行下列语句

1.根据上述步骤5.1)更新继承映射矩阵U₁、U₂及语义映射矩阵Q；

2.根据上述步骤5.2)更新哈希码矩阵B；

直至收敛

输出：继承映射矩阵U₁、U₂及哈希码矩阵B

在两个数据集上进行实验，并对比了当前比较流行的其他6种方法(CMFH，LSSH，SCM，DCH，FDCH)。从表1和表2可以看出：本实施例提供的方法在不同数据集上都表现出优于其他方法的检索性能。

表1

表2

上述虽然结合附图对本申请的具体实施方式进行了描述，但并非对本申请保护范围的限制，所属领域技术人员应该明白，在本申请的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本申请的保护范围以内。

Claims (5)

1.一种基于继承映射的跨模态迁移哈希检索方法，用于图片与文本之间的相互检索，其特征在于，包括以下步骤：

步骤1：给定数据集

n代表训练样本对的总数，

表示图片特征，

表示文本特征，y_i∈R^c表示语义标记向量，其中d₁表示图片特征维度，d₂表示文本特征维度，c表示数据集类的总数，则

为图像特征矩阵、

表示文本特征矩阵，Y∈R^c×n表示标记矩阵；

步骤2：构建锚图模型来保持数据模态内的结构近邻关系，具体方法为：将任一模态训练样本当作图模型中的节点，构建节点与锚点之间的权重关系为：

其中，m为模态索引，即m＝(1,2)分别对应图像和文本，σ是带宽参数,r_mj表示锚点且j∈(1,c)，根据锚图计算理论，其拉普拉斯矩阵为

且

其中I为单位矩阵，1为全1向量，因此局部锚图可以被表示为：

其中

为继承映射矩阵，且k为哈希码长度；

步骤3：基于继承映射的跨模态迁移学习，即：

其中，

和

为继承映射矩阵，||·||_F表示F范数；

同时，为了继承原始特征的潜在信息，映射矩阵U₁、U₂同样用于原始特征空间到哈希空间的映射，即：

B∈{-1,1}^k×n表示统一的哈希码矩阵；

步骤4：结合所述步骤2和步骤3构建学习统一哈希码的目标函数；

步骤5：求解所述目标函数，得到统一哈希码及继承映射矩阵。

2.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，计算虚拟类中心作为步骤2中的锚点，r_mj＝[r_mj(1),r_mj(2),...,r_mj(d_m)]且

其中，X_mj(dk)表示第m模态中第j类的所有样本，K_j表示第j类样本的个数,d表示样本特征的第d个维度。

3.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，步骤4中所述的目标函数为：

s.t.B∈{-1,1}^k×n

其中，第五项是正则化项，λ_m和γ表示超参数且都大于0。

4.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，所述目标函数求解方法为：

1)首先将目标函数等价改写为：

s.t.B∈{-1,1}^k×n

2)更新Q，U₁，U₂：通过固定其中三个变量，对其余一个变量求偏导并令其等于0可得：

Q＝(YY^T+γI)^-1YB^T

3)更新B：固定其它变量，目标函数可化简为：

且上式可重写为：

s.t.B∈{-1,1}^k×n

既然||B||²是个常数，因此上式可被化简为：

其中

因此统一的哈希码矩阵为：

其中sgn(·)为符号函数。

5.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，对于新的样本可以通过学习到的继承映射矩阵直接将原始特征编码成哈希码，编码方法定义为：

Images