CN109766469A

CN109766469A - 一种基于深度哈希学习优化的图像检索方法

Info

Publication number: CN109766469A
Application number: CN201811538815.XA
Authority: CN
Inventors: 马青; 白琮; 陈胜勇
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2018-12-14
Filing date: 2018-12-14
Publication date: 2019-05-17
Anticipated expiration: 2038-12-14
Also published as: CN109766469B

Abstract

一种基于深度哈希学习优化的图像检索方法，包括以下步骤：步骤1、先构建多层全连接网络，每层全连接后面接tanh函数，最后网络输出做符号运算；步骤2、构建由分类损失函数、加权语义相似矩阵得到的语义保持性损失函数、量化损失函数和正则项的得到的带有离散正交约束的目标函数；步骤3、目标函数优化；步骤4、将得到的特征数据集分为查询集Q、待查集D两部分，并取待查集D中的一部分数据组成训练数据集P，将训练数据集P的深度特征和标签信息输入，并初始化权重系数和二值码，对步骤3依次迭代优化得到最优的网络权重系数，由步骤2得到深度哈希函数；步骤4、图像检索与精度测试。本发明精度较高、检索效率较高。

Description

一种基于深度哈希学习优化的图像检索方法

技术领域

本发明涉及计算机视觉领域的图像大数据处理与分析，特别涉及深度哈希学习优化算法和图像检索方法。

背景技术

随着网络共享技术的发展、大数据技术的推动和海量图像的产生，传统的图像检索技术已经不能适应大规模图像搜索，哈希学习由于其效率高、易存储等特性，已经被广泛的用于大规模图像检索当中。哈希学习通过机器学习的方法从数据中得到哈希函数，从而将数据映射成二进制码，并尽可能地保留原空间中的近邻关系，即保相似性。因为二值化离散优化是NP问题，因此很多方法都是采用混合整数优化方法，把二值码放宽到连续值进行优化，优化后再把连续值取整。但在优化的过程中会造成累计误差较大、优化不稳定等问题。

发明内容

为了克服现有哈希学习方法存在的优化问题，本发明提供一种精度较高、检索效率较高的基于深度哈希学习优化的图像检索方法，利用多层神经网络构造非线性哈希函数，构建了保持语义相似性的离散正交约束下的目标函数，再通过ADMM(AlternatingDirection Method of Multipliers，交替方向乘子法)优化方法和随机梯度下降法等优化方法对目标函数进行优化，从而得到哈希函数，使用哈希函数将目标图像特征转为哈希码，检索时使用哈希码进行图像检索。

本发明解决其技术问题所采用的技术方案是：

一种基于深度哈希学习优化的图像检索方法，包括以下步骤：

步骤1:构建哈希函数，哈希函数由一个多层神经网络得到，过程如下：

步骤1.1：构建多层全连接层；

步骤1.2：每层全连接层后面接tanh激活函数；

步骤1.3：最后输出做符号函数运算；

步骤2：目标函数构建，根据所述分类损失函数、所述相似性保持损失函数、所述量化损失函数、正则项和离散正交约束，得到所述整体损失函数；

步骤3：目标函数优化，根据交替方向法对所述整体损失函数中的所述分类权重系数、所述网络权重系数、所述二值码依次进行优化，过程如下：

步骤3.1：固定其它变量不变对分类权重系数用最小二乘法进行优化；

步骤3.2：固定其它变量不变对网络权重系数用随机梯度下降法和反向传播法进行优化；

步骤3.3：固定其它变量不变引入新的变量对离散正交约束下的二值码用改进的ADMM方法转为离散约束和正交约束进行优化；

步骤4：哈希函数训练，过程如下；

步骤4.1：将图像数据集分为查询集Q、待查集D两部分，并取待查集D中的一部分数据组成训练数据集P；

步骤4.2：使用深度残差网络对图像数据集提取深度特征，使用主成分分析法降维；

步骤4.3：将训练数据集P的深度特征和标签信息分批输入；

步骤4.4：随机初始化神经网络权重系数；

步骤4.5：按步骤3从步骤3.1到步骤3.3依次迭代至收敛；

步骤4.6：把按步骤4.5得到的最优网络权重系数代入步骤1得到哈希函数；

步骤5：图像检索与精度测试，过程如下：

步骤5.1：将查询集Q和待查集D的深度特征Q’和D’输入；

步骤5.2：将特征向量Q’和D’输入到哈希函数，得到哈希码Q”和D”；

步骤5.3：计算查询集Q中每一张查询图像的哈希码与待查数据集D中所有图像的哈希码的汉明距离，并按照汉明距离从小到大进行排序作为每一张查询图像的结果；

步骤5.4：比较问询查像的标签和查询结果的对应图像的标签，根据信息检索中的评价准则计算所有查询图像的平均准确率，输出计算结果；

经过上述步骤的操作，即可实现对图像的检索。

本发明的有益效果：首先由一个多层全连接网络构造非线性哈希函数，通过对量化损失函数、保证语义相似性、利用ADMM方法和随机梯度下降法等进行离散正交下的优化，得到一个鲁棒的保持语义相似性和累计误差较小的哈希函数，通过优化后的哈希函数将图像深度特征转化为二值的哈希码，再将得到的二值码作为原图像的替代来进行查询。本发明利用语义相似信息学习哈希函数，不仅提高了检索的精度，而且使得到的哈希学习方法具有了更强的语义学习能力；引入正交约束使哈希码具有更大的独立性，使查询精度进一步加强；ADMM方法的使用使得离散正交优化更为鲁棒；引入单位离散约束使得训练过程和测试过程进一步统一，也使得训练得到的哈希函数的检索准确率更高。

附图说明

图1是基于深度哈希学习优化的图像检索方法框架示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，并参照附图对本发明进一步详细说明。

参照图1，一种基于深度哈希学习优化的图像检索方法，包括哈希函数构建、目标函数构建、目标函数优化、哈希函数训练和图像检索与精度测试五个过程。

本实施案例中的图像分为10类，每类图像有60000张图像。

所述基于深度哈希学习优化的图像检索方法，包括以下步骤：

步骤1：哈希函数构建，哈希函数由一个多层神经网络得到，过程如下：

步骤1.1：构建三层全连接层，神经元数量分别为120、80、64；

步骤1.2：每层全连接层后面接tanh激活函数；

步骤1.3:最后输出做符号函数运算；

即深度哈希函数定义如下：

h(x)＝sign(tanh(W⁽²⁾(tanh(W⁽¹⁾x+c⁽¹⁾))+c⁽²⁾)) (1)

其中，sign(.)为符号函数，x为图像特征，W、c表示全连接层的权值和偏置。

令输入特征矩阵为标签矩阵为这里x_i表示第i个图像的特征，y_i表示第i个图像的标签，则F＝tanh(W⁽²⁾(tanh(W⁽¹⁾X+c⁽¹⁾))+c⁽²⁾)和B＝sign(tanh(W⁽²⁾(tanh(W⁽¹⁾X+c⁽¹⁾))+c⁽²⁾))为得到的网络输出矩阵和二值码矩阵。

步骤2：目标函数构建，过程如下：

步骤2.1：构建分类损失函数，即为了保持语义相似性，得到的哈希码可以对真实标签进行分类:

其中，P为分类权重矩阵，是矩阵的Frobenius范数或者向量的l²范数。

步骤2.2：构建相似性保持损失函数，即保证同一标签的图像的哈希码的距离小，不同标签的图像的哈希码的距离大，由于不同类的图像远比同类的图像多，采用了加权相似性矩阵：

其中S是加权相似矩阵，取值为n_s为相似对的数目，n_d为不相似对的数目，进一步可改写为

Q_s＝tr(F^TRF) (4)

其中R＝D-S,D为对角阵，D_i,i＝∑_jS_ij.

步骤2.3：构建量化损失函数，采用标准化方法使优化和取整一致，从而保证训练过程的二值码生成和测试过程的二值码生成一致，并加入正交离散约束，使得二值码的各个码位值之间相互独立，保证二值码生成的均衡性：

其中E_n是单位阵。

步骤2.4：构建正则项：

步骤2.5：构建整体损失函数：

步骤3：目标函数优化，采用交替优化法、最小二乘法、随机梯度下降法、反向传播法和ADMM方法，过程如下：

步骤3.1：固定B,F不变，用最小二乘法对(7)优化P：

P＝(B^TB+λ₃E)^-1B^TY (8)

步骤3.2：固定B、P不变，用随机梯度下降法和反向传播法对(7)优化网络参数，过程如下：

步骤3.2.1：记F⁽¹⁾＝tanh(W⁽¹⁾X+c⁽¹⁾),Z⁽¹⁾＝W⁽¹⁾X+c⁽¹⁾,Z⁽²⁾＝W⁽²⁾F⁽¹⁾+c⁽²⁾，

则

其中⊙表示矩阵的hadamard乘积；

步骤3.2.2：神经网络权值和偏置用随机梯度下降法迭代：

步骤3.3：固定P、F不变，用ADMM方法对(7)优化正交离散约束B，过程如下：

步骤3.3.1：引入新的变量Y，用ADMM方法优化：

步骤3.3.2：固定B不变，得到离散约束优化：

C＝sgn(σB+Λ) (11)

步骤3.3.3：固定C不变，得到正交约束优化：

利用SVD分解和QR分解可以得到优化解。

步骤3.3.4：采用改进的ADMM方法进行迭代优化至最优解。

步骤4：哈希函数训练，过程如下：

步骤4.1：将得到的图像数据集分为查询集Q、待查集D两部分，并取待查集D中的一部分数据组成训练数据集P，Q包含1000张图像，其中每类100张，D包含59000张图像，其中每类4900张，P为D的子集包含5000张图像，其中每类500张；

步骤4.2：使用深度残差网络对数据集提取了1024维的图像深度特征，使用主成分分析法降维到200维；

步骤4.3:将训练数据集P的深度特征和标签信息分批输入，每批128张；

步骤4.4:随机初始化神经网络权值W^(m),c^(m)，将权值在负的神经元数量分之一至正的神经元数量分之一之间取均匀分布进行，将偏置初始化为零；初始化B为元素随机选取-1和1的矩阵；

步骤4.5:对哈希函数进行迭代训练，过程如下：

步骤4.5.1：根据步骤3.1计算P；

步骤4.5.2：根据步骤3.2迭代网络权值和偏重至收敛；

步骤4.5.3：根据步骤3.3迭代ADMM算法，令B＝C；

步骤4.5.4：继续按步骤3.2.3.1-3.2.3.3依次迭代至收敛；

步骤4.6：把按步骤4.5得到的网络权重系数代入(1)得到哈希函数；

步骤5：图像检索与精度测试，过程如下：

步骤5.1：将查询集Q和待查集D的深度特征Q’和D’输入；

步骤5.3：计算查询集Q中每一张查询图像的哈希码与待查数据集D中所有图像的哈希码的汉明距离，并按照汉明距离从小到大进行排序作为每一张查询图像的结果；；

步骤5.4:比较查询图像的标签和查询结果的对应图像的标签，根据信息检索中的评价准则计算所有查询图像的平均准确率，输出计算结果；

经过上述步骤的操作，即可实现基于深度哈希学习优化的图像检索方法。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于深度哈希学习优化的图像检索方法，其特征在于，所述方法包括以下步骤：

步骤1.1：构建多层全连接层；

步骤1.2：每层全连接层后面接tanh激活函数；

步骤1.3：最后输出做符号函数运算；

步骤4：哈希函数训练，过程如下；

步骤4.3：将训练数据集P的深度信息和标签信息分批输入；

步骤4.4：随机初始化神经网络权重系数；

步骤4.5：按步骤3从步骤3.1到步骤3.3依次迭代至收敛；

步骤5：图像检索与精度测试，过程如下：

步骤5.1：将查询集Q和待查集D的深度特征Q’和D’输入；

步骤5.2：将特征向量Q’和D’输入到哈希函数，得到哈希值Q”和D”；

步骤5.4：比较查询图像的标签和查询结果的对应图像的标签，根据信息检索中的评价准则计算所有查询图像的平均准确率，输出计算结果；

经过上述步骤的操作，即可实现对图像的检索。