CN109885716A - 基于异质多任务学习深度监督离散哈希的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于异质多任务学习深度监督离散哈希的图像检索方法，考虑判别性的实值特征及高质量的哈希码应该适合分类与检索任务，将实值特征空间分类任务与检索任务的学习及二值特征空间分类任务及检索任务的学习融入只有一个输出的单流(one‑stream)网络框架，充分利用异质空间中多个任务的相关信息，实现哈希码的紧致性、判别性的提升，提高哈希检索性能。

Description

基于异质多任务学习深度监督离散哈希的图像检索方法

技术领域

本发明涉及图像检索领域，尤其涉及一种基于异质多任务学习深度监督离 散哈希的图像检索方法。

背景技术

在最近几年，对于大尺度图像检索任务，哈希技术已经受到很多研究者的 关注。哈希的目标是为了将多媒体数据从原始高维空间到紧致的二值空间，同 时保留数据之间的相似性。通过在CPUs或者GPUs上利用XOR及POPCNT 算子计算汉明距离测度，我们可以实现常数或者子线性的搜索速度。对于大尺 度多媒体检索，有效的存储及搜索可以使得哈希技术很受欢迎。

一般而言，我们将现有的哈希方法分类两类：数据独立及数据依赖的哈 希方法。数据独立哈希方法利用随机投影作为哈希函数，将数据点从原始特征 空间映射到二值空间。这些方法为将近邻数据点以高的概率映射到相同的哈希 码提供了理论保证。然而，他们需要长的二值码以实现高的精度。数据依赖的 哈希方法(即哈希学习方法)从训练数据学习哈希函数及紧致的二值码。基于 是否使用语义(标签)信息，这些方法可以进一步分为无监督的哈希方法及监 督的哈希方法。在许多实际应用中，监督的哈希方法跟无监督的哈希方法比展 现了更优越的性能。最近基于深度学习的哈希方法现了比这些传统的哈希方法 更加优越的性能。主要原因是深度哈希方法可以按照端对端的学习框架，同时 进行特征学习及哈希码的学习。现有的深度监督哈希方法主要专注于单个检索 任务而忽略了可以帮助提升哈希码性能的类别信息。最近深度监督的哈希方法 通过将分类任务及检索任务融入同质空间如实值空间，或者将多任务学习在异 质空间分解成两个单任务如在二值空间进行分类任务及在实值空间进行检索 任务。然而，来自于异质空间中的相关任务(如分类任务及检索任务)信息并 没有被充分地用于训练深度哈希模型。

发明内容

本发明所要解决的技术问题是：针对现有技术存在的问题，本发明提供一 种基于异质多任务学习深度监督离散哈希的图像检索方法、模型及模型构建方 法，在实值的视觉空间及离散的二值空间同时进行多任务学习，利用不同空间 不同任务的信息充分地训练监督离散哈希模型。

本发明提供的一种基于异质多任务学习深度监督离散哈希的图像检索模型 构建方法，包括：

S1，收集大量的训练图片，并进行图片类别标注；调整所有图片的大小到 一个固定尺寸；将整个数据库随机划分成三个集合：查询集、数据库集和训练 集；

S2，构建一个哈希学习网络，对所构建的哈希学习网络进行参数初始化； 在哈希学习网络的最后添加损失层，网络的损失函数J定义如下：

J＝J₁+αJ₂+βJ₃+γJ₄+μJ₅

其中，α,β,γ,μ表示超参数用以平衡实值空间分类任务的判别性损失J₁、实 值空间检索任务的成对损失J₂、二值空间分类任务的判别性损失J₃、二值空间 检索任务的非对称成对损失J₄及量化损失J₅；

针对实值空间分类任务，采用下面的判别性损失用于实值特征的学习：

其中，Y∈{0,1}^L×N，m表示每批次输入图像的数目，N表示训 练集图像的数目，N_k表示第k个类别的样本数目；u_i表示网络最后一层经过tanh (·)激活函数的输出的实值特征，Y表示训练集图像的标签矩阵，L表示训 练集图像的类别数目，c_k表示第k类的特征中心；

针对实值空间检索任务，采用下面的成对损失形式：

其中S∈{-1,1}^N×N表示语义相似性矩阵，表示两张图片在视觉空间 里的相似性；

针对二值空间分类任务，利用如下简单的线性模型构建判别性损失：

其中W表示线性分类器的权重，η表示超参数，B∈{-1,1}^m×r表示相应的 离散哈希码，F表示Frobenius范数；

针对二值空间检索任务，采用如下的非对称成对损失：

其中r表示哈希码的码长，U表示输入的每一个批次图像经过网络实值特征 u_i构成的矩阵；

并引入如下的量化损失：

其中b_i表示输入批次图像中第i张图像的哈希码；

S3，将训练图片的RGB三个通道进行归一化处理；将归一化后的图片输入 网络，经过最后tanh(·)激活函数的输出得到实值特征表示采用交替优化算法更新哈希码B、所有类别的特征中心C、网络参数Θ及权重W；

S4，网络模型训练好后，将数据库集中的图片按照S3归一化后，输入训 练好后的哈希网络；利用逐元素的sign(·)函数层替换训练好后的哈希网络最后 的损失层，得到数据库图像的哈希码：

b_d＝sign(H(x_d；Θ))＝sign(u_d)

其中，x_d表示输入的数据库图像，u_d表示对应的网络输出，H表示由网络 参数Θ构成的映射函数；

将训练集作为查询图片输入上述修改后的哈希网络得到查询图片的哈希 码并计算检索的平均精度；按照交叉验证的原则，调整学习率及所有超参数 α,β,γ,μ和η的数值；选择最优的参数训练得到的哈希网络作为最终的检索模型。

进一步，S3中采用交替优化算法更新哈希码B、所有类别的特征中心C、 网络参数Θ及权重W，具体包括：

a.固定B，C及Θ，更新权重W，得到如下关于W的闭式解：

W＝(BB^T+ηI)^-1BY^T

其中I表示单位矩阵；

b.固定W，C及Θ，优化B，表示成如下形式：

其中Tr(·)表示矩阵的迹，const表示与B无关的常数，J(B)表示关于离散哈希码B的子优化目标函数；利用离散环坐标下 降方法学习B，令B_k*表示B的第k行，表示矩阵B去掉第k行后的剩下的矩 阵部分，同理定义W_k*,U_k*,Q_k*及得到：

其中得到如下的最优解：

B_k*＝-sign(z)

c.固定W，B及C，更新Θ，采用Pytorch自带的自动技术，利用方向传播 算法更新Θ；

d.固定W，B及Θ，更新特征中心C＝[c₁,c₂,…,c_L，写成如下闭式解形式：

进一步，所述方法还包括，将查询集图片按照S3归一化后，输入训练好后 的哈希网络，得到查询集图像的哈希码，并计算检索的平均精度。

进一步，S3中采用减均值的归一化处理方法，即对图片减去数据库中所有 图片的均值进行归一化处理。

本发明另一方面提供的一种基于异质多任务学习深度监督离散哈希的图像 检索模型，在如上所述的图像检索模型构建方法上构建实现，包括：

图像检索输入接口，接收要进行检索的图片；

检索图像归一化处理模块，将检索图像的RGB三个通道作归一化处理；

深度监督离散哈希处理，对归一化处理后的图像进行深度监督离散哈希处 理，得到图像的哈希码。

本发明另一方面提供的一种基于异质多任务学习深度监督离散哈希的图像 检索方法，在如上所述的图像检索模型上实现，包括：

输入要检索的图片，将检索图像的RGB三个通道进行归一化处理；对归一 化处理后的图像进行深度监督离散哈希处理，得到图像的哈希码。

与现有技术相比，本发明考虑判别性的实值特征及高质量的哈希码应该适 合分类与检索任务，将实值特征空间分类任务与检索任务的学习及二值特征空 间分类任务及检索任务的学习融入只有一个输出的单流(one-stream)网络框架， 充分利用异质空间中多个任务的相关信息，实现哈希码的紧致性、判别性的提 升，提高哈希检索性能。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1-图3为本发明一实施例的利用t-SNE可视化方法将CIFAR-10测试集 图片分别输入HMDH-C、HMDH-D和本发明实施例方案模型输出的实值特征 投影到二维空间的结果；

图4为本发明实施例方案模型在CIFAR-10及ImageNet-100数据库上的训 练损失曲线。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互 相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似 目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类 似特征中的一个例子而已。

根据本发明提供的一种基于异质多任务学习深度监督离散哈希的图像检 索模型构建方法，包括：

S1，收集大量的训练图片，并进行图片类别标注；调整所有图片的大小到 一个固定尺寸；将整个数据库随机划分成三个集合：查询集、数据库集(检索 集)和训练集；

S2，构建一个哈希学习网络，对所构建的哈希学习网络进行参数初始化； 在哈希学习网络的最后添加损失层，网络的损失函数J定义如下：

J＝J₁+αJ₂+βJ₃+γJ₄+μJ₅

其中，α,β,γ,μ表示超参数用以平衡实值空间分类任务的判别性损失J₁、实 值空间检索任务的成对损失J₂、二值空间分类任务的判别性损失J₃、二值空间 检索任务的非对称成对损失J₄及量化损失J₅。对于实值空间，采用多任务学习 框架，结合实值的分类任务及实值的检索任务提高实值特征的语义表示能力， 为学习高质量的哈希码奠定基础。

针对实值空间分类任务，采用下面的判别性损失用于实值特征的学习：

其中，Y∈{0,1}^L×N，m表示每批次输入图像的数目，N表示训 练集图像的数目，N_k表示第k个类别的样本数目；u_i表示网络最后一层经过tanh (·)激活函数的输出的实值特征，Y表示训练集图像的标签矩阵，L表示训 练集图像的类别数目，c_k表示第k类的特征中心；

针对实值空间检索任务，采用下面的成对损失形式：

其中S∈{-1,1}^N×N表示语义相似性矩阵(当第i张图片与第j张图片属于同一 个类别时S_ij＝1，否则S_ij＝-1)，表示两张图片在视觉空间里的相似性。

考虑到高质量的哈希码应该很适合分类与检索任务。因此对于二值空间， 采用多任务学习框架，结合二值的分类任务及二值的检索任务提高哈希码的语 义表示能力。针对二值空间分类任务，利用如下简单的线性模型构建判别性损 失：

其中W表示线性分类器的权重，η表示超参数，B∈{-1,1}^m×r表示相应的 离散哈希码值，F表示Frobenius范数；

针对二值空间检索任务，采用如下的非对称成对损失：

其中r表示哈希码的码长，U表示输入的每一个批次图像经过网络实值特征 u_i构成的矩阵。高质量的哈希码，其量化误差应该是得到控制的。为此，引入 如下的量化损失：

其中b_i表示输入批次图像中第i张图像的哈希码；

S3，将训练图片的RGB三个通道进行归一化处理；将归一化后的图片输入 网络，经过最后tanh(·)激活函数的输出得到实值特征表示采用交替优化算法更新哈希码B、所有类别的特征中心C、网络参数Θ及权重W；

S4，网络模型训练好后，将数据库集中的图片按照S3归一化后，输入训 练好后的哈希网络；利用逐元素(element-wise)的sign(·)函数层替换训练好 后的哈希网络最后的损失层，得到数据库图像的哈希码：

b_d＝sign(H(x_d；Θ))＝sign(u_d)

其中，x_d表示输入的数据库图像，u_d表示对应的网络输出，H表示由网络 参数Θ构成的映射函数。

将训练集作为查询图片输入上述修改后的哈希网络得到查询图片的哈希 码并计算检索的平均精度(MAP)；按照交叉验证的原则，调整学习率(learning rate)及所有超参数α,β,γ,μ和η的数值；选择最优的参数训练得到的哈希网络 作为最终的检索模型。

优选地，S3中采用交替优化算法更新哈希码B、所有类别的特征中心C、 网络参数Θ及权重W，具体包括：

a.固定B，C及Θ，更新权重W，得到如下关于W的闭式解：

W＝(BB^T+ηI)^-1BY^T

其中I表示单位矩阵；

b.固定W，C及Θ，优化B，表示成如下形式：

其中Tr(·)表示矩阵的迹，const表示与B无关的常数，J(B)表示关于离散哈希码B的子优化目标函数；利用离散环坐标下 降方法学习B，令B_k*表示B的第k行，表示矩阵B去掉第k行后的剩下的矩 阵部分，同理定义W_k*,U_k*,Q_k*及得到：

其中得到如下的最优解：

B_k*＝-sign(z)

c.固定W，B及C，更新Θ，采用Pytorch自带的自动技术，利用方向传播 算法更新Θ；

d.固定W，B及Θ，更新特征中心C＝[c₁,c₂,…,c_L，写成如下闭式解形式：

作为本发明的一种实施方式，所述方法还包括，将查询集图片按照S3归一 化后，输入训练好后的哈希网络，得到查询集图像的哈希码，并计算检索的平 均精度。

作为本发明的一种实施方式，S3中采用减均值的归一化处理方法，即对 图片减去数据库中所有图片的均值进行归一化处理。

根据本发明提供的一种基于异质多任务学习深度监督离散哈希的图像检 索模型，在如上所述的图像检索模型构建方法上构建实现，包括：

图像检索输入接口，接收要进行检索的图片；

检索图像归一化处理模块，将检索图像的RGB三个通道作归一化处理；

深度监督离散哈希处理，对归一化处理后的图像进行深度监督离散哈希处 理，得到图像的哈希码。

根据本发明提供的一种基于异质多任务学习深度监督离散哈希的图像检 索方法，在如上所述的图像检索模型上实现，包括：

输入要检索的图片，将检索图像的RGB三个通道进行归一化处理；对归 一化处理后的图像进行深度监督离散哈希处理，得到图像的哈希码。

下面以一个具体实施例为例进行具体说明。

步骤1：从网上分别下载CIFAR-10及ImageNet-100数据库。对于CIFAR-10 数据库，随机从60000张图像中选出1000张图片作为查询集，将剩余的59000 张图片作为数据库集。然后随机地从数据库集每一类中采样500张图片共计 5000张图片作为训练集。ImageNet-100数据库是ImageNet-1000类数据库的子 集，从中随机选择100个子类作为ImageNet-100数据库。对于ImageNet-100 数据库，我们利用从原ImageNet-1000选择的子类中对应的验证集里选择相应 的5000张图片作为查询集。然后从原ImageNet-1000选择的子类中对应的训 练集作为数据库集。然后，从数据库集每一类中随机选择100张图片共计10000 张图片作为训练集。最后将上述两个数据库中的所有图片大小归一化为 224*224*3。

步骤2：根据如表1所示的网络配置构建哈希学习网络。本实施例所采用 的基础网络结构为VGG-19。

表1

表1为本实施例构建网络的参数配置，其中“Filter num×size×size”表示卷 积核数量及其接受域尺寸；“stride”表示卷积核步长；“pad”表示给输入的每一 个激活谱上填充的像素数目；“LRN”表示激活谱局部响应归一化；“pool”表示 下采样因子；“4096”表示全连接层的输出维度。

本实施例中Conv1-Conv5及Full6-Full7的权重及偏置可以利用在 ImageNet数据库上预训练的VGG-19模型的前7层进行参数初始化。哈希网络 中的Full8层的权重与偏置按照均值为0方差为0.01的高斯分布进行随机初始 化。

步骤3：采用减均值的归一化处理方式，对所有图片减去数据库中所有图 片的均值进行预处理。

步骤4：基础网络中所有卷积层及全连接层的学习率按照交叉验证的方法 从10^-1到10^-6进行调节，将新加层的学习率设置为基础网络学习率的10倍，并 将权重退化参数设置为5×10^-4。按照在训练集中执行交叉验证，对超参数 α,β,γ,μ,η进行调节。从中选择最优的超参数，利用提出的交替优化算法，对 所有变量包括哈希码B，所有类别的特征中心C及网络参数Θ，权重W进行更 新，得到最优的网络模型。

步骤5：测试过程：按照步骤3将查询集及数据库集图像进行归一化处理， 输入步骤4得到的最优的网络模型，得到查询集及数据库集图像的哈希码。利 用MAP评测指标，对所提出的模型在CIFAR-10及ImageNet-100上进行评测。

我们将本发明方案缩写为HMDH。在CIFAR-10数据库上，将HMDH与 当前最好的哈希检索算法包括DDSH(Q.Jiang,X.Cui,and W.Li,“Deep discrete supervised hashing,”IEEE Transactions on Image Processing,vol.27,no.12,pp.5996–6009, 2018.)、DSDH(Q.Li,Z.Sun,R.He,and T.Tan,“Deep supervised discrete hashing,”in NIPS, 2017,pp.2479–2488.)、DTSH(X.Wang,Y.Shi,and K.M.Kitani,“Deep supervised hashing withtriplet labels,”in ACCV,2016,pp.70–84.)和DPSH(W.Li,S.Wang,and W.Kang,“Feature learning based deep supervised hashing with pairwise labels,”inIJCAI,2016,pp. 1711–1717.)比较检索的MAP性能，结果如表2所示。在ImageNet-100数据库 上，将HMDH分别与HashNet(Z.Cao,M.Long,J.Wang,and P.S.Yu,“Hashnet:Deeplearning to hash by continuation,”in ICCV,2017,pp.5609–5618.)、DHN(Y.Cao,M.Long,J. Wang,H.Zhu,and Q.Wen,“Deep quantization network for efficient imageretrieval,”in AAAI, 2016,pp.3457–3463.)、DNNH(H.Lai,Y.Pan,Y.Liu,and S.Yan,“Simultaneous feature learning and hash coding with deep neural networks,”inCVPR,2015,pp.3270–3278.)、CNNH (R.Xia,Y.Pan,H.Lai,C.Liu,and S.Yan,“Supervisedhashing for image retrieval via image representation learning,”in AAAI,2014,pp.2156–2162.)进行MAP@1000(即返回的前 1000个检索图像计算检索的平均精度)性能比较，结果如表3所示。对比表2 及表3中的实验结果，我们可以看出HMDH取得了比现有的方法更优的检索 性能。除此之外，在CIFAR-10及ImageNet-100数据库上相应的消去实验结果如表4所示。从表4的实验结果可以看出，联合异质空间包括实值空间及二值 空间的多任务学习方法性能最优。为了更加直观的认识，我们将HMDH拆成 同质空间里的多任务学习问题，即实值空间多任务学习(对应表4最后一行) HMDH-C和二值空间里的多任务学习(对应表4倒数第二行)HMDH-D。图 1-图3分别展示了将CIFAR-10测试集图片分别输入HMDH-C、HMDH-D和 HMDH模型所得到的实值特征，然后利用t-SNE可视化方法将实值特征投影 到二维空间的结果。从主观的实验结果中，我们看出本发明提出的HMDH方 法可以产生更加紧致性及判别性的哈希码。HMDH方法在CIFAR-10及ImageNet-100数据库上的训练损失曲线如图4所示。从图4可以看出，本发明 所提出的HMDH方法可以在100次训练中收敛。

表2

表3

表4

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步 骤是可以通过程序指令相关的硬件来完成，该程序可以存储于一计算机可读存 储介质中，存储介质可以包括：只读存储器(ROM,Read Only Memory)、随 机存取记忆体(RAM,Random AccessMemory)、磁盘或光盘等。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中 披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何 新的组合。

Claims (6)

1.一种基于异质多任务学习深度监督离散哈希的图像检索模型构建方法，其特征在于，包括：

S1，收集大量的训练图片，并进行图片类别标注；调整所有图片的大小到一个固定尺寸；将整个数据库随机划分成三个集合：查询集、数据库集和训练集；

S2，构建一个哈希学习网络，对所构建的哈希学习网络进行参数初始化；在哈希学习网络的最后添加损失层，网络的损失函数J定义如下：

J＝J₁+αJ₂+βJ₃+γJ₄+μJ₅

其中，α,β,γ,μ表示超参数用以平衡实值空间分类任务的判别性损失J₁、实值空间检索任务的成对损失J₂、二值空间分类任务的判别性损失J₃、二值空间检索任务的非对称成对损失J₄及量化损失J₅；

针对实值空间分类任务，采用下面的判别性损失用于实值特征的学习：

其中，m表示每批次输入图像的数目，N表示训练集图像的数目，N_k表示第k个类别的样本数目；u_i表示网络最后一层经过tanh(·)激活函数的输出的实值特征，Y表示训练集图像的标签矩阵，L表示训练集图像的类别数目，c_k表示第k类的特征中心；

针对实值空间检索任务，采用下面的成对损失形式：

其中S∈{-1,1}^N×N表示语义相似性矩阵，表示两张图片在视觉空间里的相似性；

针对二值空间分类任务，利用如下简单的线性模型构建判别性损失：

其中W表示线性分类器的权重，η表示超参数，B∈{-1,1}^m×r表示相应的离散哈希码，F表示Frobenius范数；

针对二值空间检索任务，采用如下的非对称成对损失：

其中r表示哈希码的码长，U表示输入的每一个批次图像经过网络实值特征u_i构成的矩阵；

并引入如下的量化损失：

其中b_i表示输入批次图像中第i张图像的哈希码；

S3，将训练图片的RGB三个通道进行归一化处理；将归一化后的图片输入网络，经过最后tanh(·)激活函数的输出得到实值特征表示采用交替优化算法更新哈希码B、所有类别的特征中心C、网络参数Θ及权重W；

S4，网络模型训练好后，将数据库集中的图片按照S3归一化后，输入训练好后的哈希网络；利用逐元素的sign(·)函数层替换训练好后的哈希网络最后的损失层，得到数据库图像的哈希码：

b_d＝sign(H(x_d；Θ))＝sign(u_d)

其中，x_d表示输入的数据库图像，u_d表示对应的网络输出，H表示由网络参数Θ构成的映射函数；

将训练集作为查询图片输入上述修改后的哈希网络得到查询图片的哈希码并计算检索的平均精度；按照交叉验证的原则，调整学习率及所有超参数α,β,γ,μ和η的数值；选择最优的参数训练得到的哈希网络作为最终的检索模型。

2.根据权利要求1所述的一种基于异质多任务学习深度监督离散哈希的图像检索模型构建方法，其特征在于，S3中采用交替优化算法更新哈希码B、所有类别的特征中心C、网络参数Θ及权重W，具体包括：

a.固定B，C及Θ，更新权重W，得到如下关于W的闭式解：

W＝(BB^T+ηI)^-1BY^T

其中I表示单位矩阵；

b.固定W，C及Θ，优化B，表示成如下形式：

其中Tr(·)表示矩阵的迹，const表示与B无关的常数，J(B)表示关于离散哈希码B的子优化目标函数；利用离散环坐标下降方法学习B，令表示B的第k行，表示矩阵B去掉第k行后的剩下的矩阵部分，同理定义及得到：

其中得到如下的最优解：

c.固定W，B及C，更新Θ，采用Pytorch自带的自动技术，利用方向传播算法更新Θ；

d.固定W，B及Θ，更新特征中心C＝[c₁,c₂,…,c_L]，写成如下闭式解形式：

3.根据权利要求1所述的一种基于异质多任务学习深度监督离散哈希的图像检索模型构建方法，其特征在于，所述方法还包括，将查询集图片按照S3归一化后，输入训练好后的哈希网络，得到查询集图片的哈希码，并计算检索的平均精度。

4.根据权利要求1所述的一种基于异质多任务学习深度监督离散哈希的图像检索模型构建方法，其特征在于，S3中采用减均值的归一化处理方法，即对图片减去数据库中所有图片的均值进行归一化处理。

5.一种基于异质多任务学习深度监督离散哈希的图像检索模型，其特征在于，在权利要求1-4任一项所述的图像检索模型构建方法上构建实现，包括：

图像检索输入接口，接收要进行检索的图片；

检索图像归一化处理模块，将检索图像的RGB三个通道作归一化处理；

深度监督离散哈希处理，对归一化处理后的图像进行深度监督离散哈希处理，得到图像的哈希码。

6.一种基于异质多任务学习深度监督离散哈希的图像检索方法，其特征在于，在权利要求5所述的图像检索模型上实现，包括：

输入要检索的图片，将检索图像的RGB三个通道进行归一化处理；对归一化处理后的图像进行深度监督离散哈希处理，得到图像的哈希码。