CN109766469B - 一种基于深度哈希学习优化的图像检索方法 - Google Patents
一种基于深度哈希学习优化的图像检索方法 Download PDFInfo
- Publication number
- CN109766469B CN109766469B CN201811538815.XA CN201811538815A CN109766469B CN 109766469 B CN109766469 B CN 109766469B CN 201811538815 A CN201811538815 A CN 201811538815A CN 109766469 B CN109766469 B CN 109766469B
- Authority
- CN
- China
- Prior art keywords
- function
- hash
- weight coefficient
- query
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005457 optimization Methods 0.000 title claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000013139 quantization Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于深度哈希学习优化的图像检索方法,包括以下步骤:步骤1、先构建多层全连接网络,每层全连接后面接tanh函数,最后网络输出做符号运算;步骤2、构建由分类损失函数、加权语义相似矩阵得到的语义保持性损失函数、量化损失函数和正则项的得到的带有离散正交约束的目标函数;步骤3、目标函数优化;步骤4、将得到的特征数据集分为查询集Q、待查集D两部分,并取待查集D中的一部分数据组成训练数据集P,将训练数据集P的深度特征和标签信息输入,并初始化权重系数和二值码,对步骤3依次迭代优化得到最优的网络权重系数,由步骤2得到深度哈希函数;步骤4、图像检索与精度测试。本发明精度较高、检索效率较高。
Description
技术领域
本发明涉及计算机视觉领域的图像大数据处理与分析,特别涉及深度哈希学习优化算法和图像检索方法。
背景技术
随着网络共享技术的发展、大数据技术的推动和海量图像的产生,传统的图像检索技术已经不能适应大规模图像搜索,哈希学习由于其效率高、易存储等特性,已经被广泛的用于大规模图像检索当中。哈希学习通过机器学习的方法从数据中得到哈希函数,从而将数据映射成二进制码,并尽可能地保留原空间中的近邻关系,即保相似性。因为二值化离散优化是NP问题,因此很多方法都是采用混合整数优化方法,把二值码放宽到连续值进行优化,优化后再把连续值取整。但在优化的过程中会造成累计误差较大、优化不稳定等问题。
发明内容
为了克服现有哈希学习方法存在的优化问题,本发明提供一种精度较高、检索效率较高的基于深度哈希学习优化的图像检索方法,利用多层神经网络构造非线性哈希函数,构建了保持语义相似性的离散正交约束下的目标函数,再通过ADMM(AlternatingDirection Method of Multipliers,交替方向乘子法)优化方法和随机梯度下降法等优化方法对目标函数进行优化,从而得到哈希函数,使用哈希函数将目标图像特征转为哈希码,检索时使用哈希码进行图像检索。
本发明解决其技术问题所采用的技术方案是:
一种基于深度哈希学习优化的图像检索方法,包括以下步骤:
步骤1:构建哈希函数,哈希函数由一个多层神经网络得到,过程如下:
步骤1.1:构建多层全连接层;
步骤1.2:每层全连接层后面接tanh激活函数;
步骤1.3:最后输出做符号函数运算;
步骤2:目标函数构建,根据所述分类损失函数、所述相似性保持损失函数、所述量化损失函数、正则项和离散正交约束,得到所述整体损失函数;
步骤3:目标函数优化,根据交替方向法对所述整体损失函数中的所述分类权重系数、所述网络权重系数、所述二值码依次进行优化,过程如下:
步骤3.1:固定其它变量不变对分类权重系数用最小二乘法进行优化;
步骤3.2:固定其它变量不变对网络权重系数用随机梯度下降法和反向传播法进行优化;
步骤3.3:固定其它变量不变引入新的变量对离散正交约束下的二值码用改进的ADMM方法转为离散约束和正交约束进行优化;
步骤4:哈希函数训练,过程如下;
步骤4.1:将图像数据集分为查询集Q、待查集D两部分,并取待查集D中的一部分数据组成训练数据集P;
步骤4.2:使用深度残差网络对图像数据集提取深度特征,使用主成分分析法降维;
步骤4.3:将训练数据集P的深度特征和标签信息分批输入;
步骤4.4:随机初始化神经网络权重系数;
步骤4.5:按步骤3从步骤3.1到步骤3.3依次迭代至收敛;
步骤4.6:把按步骤4.5得到的最优网络权重系数代入步骤1得到哈希函数;
步骤5:图像检索与精度测试,过程如下:
步骤5.1:将查询集Q和待查集D的深度特征Q’和D’输入;
步骤5.2:将特征向量Q’和D’输入到哈希函数,得到哈希码Q”和D”;
步骤5.3:计算查询集Q中每一张查询图像的哈希码与待查数据集D中所有图像的哈希码的汉明距离,并按照汉明距离从小到大进行排序作为每一张查询图像的结果;
步骤5.4:比较问询查像的标签和查询结果的对应图像的标签,根据信息检索中的评价准则计算所有查询图像的平均准确率,输出计算结果;
经过上述步骤的操作,即可实现对图像的检索。
本发明的有益效果:首先由一个多层全连接网络构造非线性哈希函数,通过对量化损失函数、保证语义相似性、利用ADMM方法和随机梯度下降法等进行离散正交下的优化,得到一个鲁棒的保持语义相似性和累计误差较小的哈希函数,通过优化后的哈希函数将图像深度特征转化为二值的哈希码,再将得到的二值码作为原图像的替代来进行查询。本发明利用语义相似信息学习哈希函数,不仅提高了检索的精度,而且使得到的哈希学习方法具有了更强的语义学习能力;引入正交约束使哈希码具有更大的独立性,使查询精度进一步加强;ADMM方法的使用使得离散正交优化更为鲁棒;引入单位离散约束使得训练过程和测试过程进一步统一,也使得训练得到的哈希函数的检索准确率更高。
附图说明
图1是基于深度哈希学习优化的图像检索方法框架示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下结合具体实施例,并参照附图对本发明进一步详细说明。
参照图1,一种基于深度哈希学习优化的图像检索方法,包括哈希函数构建、目标函数构建、目标函数优化、哈希函数训练和图像检索与精度测试五个过程。
本实施案例中的图像分为10类,每类图像有60000张图像。
所述基于深度哈希学习优化的图像检索方法,包括以下步骤:
步骤1:哈希函数构建,哈希函数由一个多层神经网络得到,过程如下:
步骤1.1:构建三层全连接层,神经元数量分别为120、80、64;
步骤1.2:每层全连接层后面接tanh激活函数;
步骤1.3:最后输出做符号函数运算;
即深度哈希函数定义如下:
h(x)=sign(tanh(W(2)(tanh(W(1)x+c(1)))+c(2))) (1)
其中,sign(.)为符号函数,x为图像特征,W、c表示全连接层的权值和偏置。
令输入特征矩阵为标签矩阵为这里xi表示第i个图像的特征,yi表示第i个图像的标签,则F=tanh(W(2)(tanh(W(1)X+c(1)))+c(2))和B=sign(tanh(W(2)(tanh(W(1)X+c(1)))+c(2)))为得到的网络输出矩阵和二值码矩阵。
步骤2:目标函数构建,过程如下:
步骤2.1:构建分类损失函数,即为了保持语义相似性,得到的哈希码可以对真实标签进行分类:
步骤2.2:构建相似性保持损失函数,即保证同一标签的图像的哈希码的距离小,不同标签的图像的哈希码的距离大,由于不同类的图像远比同类的图像多,采用了加权相似性矩阵:
Qs=tr(FTRF) (4)
其中R=D-S,D为对角阵,Di,i=∑jSij.
步骤2.3:构建量化损失函数,采用标准化方法使优化和取整一致,从而保证训练过程的二值码生成和测试过程的二值码生成一致,并加入正交离散约束,使得二值码的各个码位值之间相互独立,保证二值码生成的均衡性:
其中En是单位阵。
步骤2.4:构建正则项:
步骤2.5:构建整体损失函数:
步骤3:目标函数优化,采用交替优化法、最小二乘法、随机梯度下降法、反向传播法和ADMM方法,过程如下:
步骤3.1:固定B,F不变,用最小二乘法对(7)优化P:
P=(BTB+λ3E)-1BTY (8)
步骤3.2:固定B、P不变,用随机梯度下降法和反向传播法对(7)优化网络参数,过程如下:
步骤3.2.1:记F(1)=tanh(W(1)X+c(1)),Z(1)=W(1)X+c(1),Z(2)=W(2)F(1)+c(2),
其中⊙表示矩阵的hadamard乘积;
步骤3.2.2:神经网络权值和偏置用随机梯度下降法迭代:
步骤3.3:固定P、F不变,用ADMM方法对(7)优化正交离散约束B,过程如下:
步骤3.3.1:引入新的变量Y,用ADMM方法优化:
步骤3.3.2:固定B不变,得到离散约束优化:
C=sgn(σB+Λ) (11)
步骤3.3.3:固定C不变,得到正交约束优化:
利用SVD分解和QR分解可以得到优化解。
步骤3.3.4:采用改进的ADMM方法进行迭代优化至最优解。
步骤4:哈希函数训练,过程如下:
步骤4.1:将得到的图像数据集分为查询集Q、待查集D两部分,并取待查集D中的一部分数据组成训练数据集P,Q包含1000张图像,其中每类100张,D包含59000张图像,其中每类4900张,P为D的子集包含5000张图像,其中每类500张;
步骤4.2:使用深度残差网络对数据集提取了1024维的图像深度特征,使用主成分分析法降维到200维;
步骤4.3:将训练数据集P的深度特征和标签信息分批输入,每批128张;
步骤4.4:随机初始化神经网络权值W(m),c(m),将权值在负的神经元数量分之一至正的神经元数量分之一之间取均匀分布进行,将偏置初始化为零;初始化B为元素随机选取-1和1的矩阵;
步骤4.5:对哈希函数进行迭代训练,过程如下:
步骤4.5.1:根据步骤3.1计算P;
步骤4.5.2:根据步骤3.2迭代网络权值和偏重至收敛;
步骤4.5.3:根据步骤3.3迭代ADMM算法,令B=C;
步骤4.5.4:继续按步骤3.2.3.1-3.2.3.3依次迭代至收敛;
步骤4.6:把按步骤4.5得到的网络权重系数代入(1)得到哈希函数;
步骤5:图像检索与精度测试,过程如下:
步骤5.1:将查询集Q和待查集D的深度特征Q’和D’输入;
步骤5.2:将特征向量Q’和D’输入到哈希函数,得到哈希码Q”和D”;
步骤5.3:计算查询集Q中每一张查询图像的哈希码与待查数据集D中所有图像的哈希码的汉明距离,并按照汉明距离从小到大进行排序作为每一张查询图像的结果;;
步骤5.4:比较查询图像的标签和查询结果的对应图像的标签,根据信息检索中的评价准则计算所有查询图像的平均准确率,输出计算结果;
经过上述步骤的操作,即可实现基于深度哈希学习优化的图像检索方法。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例,用于解释本发明,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于深度哈希学习优化的图像检索方法,其特征在于,所述方法包括以下步骤:
步骤1:构建哈希函数,哈希函数由一个多层神经网络得到,过程如下:
步骤1.1:构建多层全连接层;
步骤1.2:每层全连接层后面接tanh激活函数;
步骤1.3:最后输出做符号函数运算;
步骤2:目标函数构建,根据分类损失函数、相似性保持损失函数、量化损失函数、正则项和离散正交约束,得到整体损失函数;
步骤3:目标函数优化,根据交替方向法对所述整体损失函数中的分类权重系数、网络权重系数、二值码依次进行优化,过程如下:
步骤3.1:固定网络权重系数和二值码不变对分类权重系数用最小二乘法进行优化;
步骤3.2:固定分类权重系数和二值码不变对网络权重系数用随机梯度下降法和反向传播法进行优化;
步骤3.3:固定分类权重系数和网络权重系数不变引入新的变量对离散正交约束下的二值码用改进的ADMM方法转为离散约束和正交约束进行优化;
步骤4:哈希函数训练,过程如下;
步骤4.1:将图像数据集分为查询集Q、待查集D两部分,并取待查集D中的一部分数据组成训练数据集P;
步骤4.2:使用深度残差网络对图像数据集提取深度特征,使用主成分分析法降维;
步骤4.3:将训练数据集P的深度信息和标签信息分批输入;
步骤4.4:随机初始化神经网络权重系数;
步骤4.5:按步骤3从步骤3.1到步骤3.3依次迭代至收敛;
步骤4.6:把按步骤4.5得到的最优网络权重系数代入步骤1得到哈希函数;
步骤5:图像检索与精度测试,过程如下:
步骤5.1:将查询集Q和待查集D的深度特征Q’和D’输入;
步骤5.2:将特征向量Q’和D’输入到哈希函数,得到哈希值Q”和D”;
步骤5.3:计算查询集Q中每一张查询图像的哈希码与待查数据集D中所有图像的哈希码的汉明距离,并按照汉明距离从小到大进行排序作为每一张查询图像的结果;
步骤5.4:比较查询图像的标签和查询结果的对应图像的标签,根据信息检索中的评价准则计算所有查询图像的平均准确率,输出计算结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811538815.XA CN109766469B (zh) | 2018-12-14 | 2018-12-14 | 一种基于深度哈希学习优化的图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811538815.XA CN109766469B (zh) | 2018-12-14 | 2018-12-14 | 一种基于深度哈希学习优化的图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109766469A CN109766469A (zh) | 2019-05-17 |
CN109766469B true CN109766469B (zh) | 2020-12-01 |
Family
ID=66450669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811538815.XA Active CN109766469B (zh) | 2018-12-14 | 2018-12-14 | 一种基于深度哈希学习优化的图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766469B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110196918B (zh) * | 2019-05-28 | 2021-05-04 | 北京理工大学 | 一种基于目标检测的无监督深度哈希方法 |
CN110176298B (zh) * | 2019-05-31 | 2022-02-08 | 南通大学 | 用于糖尿病性眼底图像分类的核主成分谱哈希方法 |
CN110390352A (zh) * | 2019-06-26 | 2019-10-29 | 华中科技大学 | 一种基于相似性哈希的图像暗数据价值评估方法 |
CN110516095B (zh) * | 2019-08-12 | 2020-06-26 | 山东师范大学 | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 |
CN110674323B (zh) * | 2019-09-02 | 2020-06-30 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 |
CN110647992A (zh) * | 2019-09-19 | 2020-01-03 | 腾讯云计算(北京)有限责任公司 | 卷积神经网络的训练方法、图像识别方法及其对应的装置 |
CN111090765B (zh) * | 2019-11-25 | 2020-09-29 | 山东师范大学 | 一种基于缺失多模态哈希的社交图像检索方法及系统 |
CN111522975B (zh) * | 2020-03-10 | 2022-04-08 | 浙江工业大学 | 等价连续变化的二值离散优化的非线性哈希图像检索方法 |
CN111597298A (zh) * | 2020-03-26 | 2020-08-28 | 浙江工业大学 | 一种基于深度对抗离散哈希学习的跨模态检索方法及装置 |
CN113326390B (zh) * | 2021-08-03 | 2021-11-02 | 中国海洋大学 | 基于深度特征一致哈希算法的图像检索方法 |
CN115147667A (zh) * | 2022-08-31 | 2022-10-04 | 山东省凯麟环保设备股份有限公司 | 面向无人驾驶智能清扫车的垃圾分类方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机系统工程有限公司 | 基于深度学习和哈希的图像检索方法 |
CN105512273A (zh) * | 2015-12-03 | 2016-04-20 | 中山大学 | 一种基于可变长深度哈希学习的图像检索方法 |
CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
CN107256271A (zh) * | 2017-06-27 | 2017-10-17 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
CN107679250A (zh) * | 2017-11-01 | 2018-02-09 | 浙江工业大学 | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 |
CN108427729A (zh) * | 2018-02-23 | 2018-08-21 | 浙江工业大学 | 一种基于深度残差网络与哈希编码的大规模图片检索方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11275747B2 (en) * | 2015-03-12 | 2022-03-15 | Yahoo Assets Llc | System and method for improved server performance for a deep feature based coarse-to-fine fast search |
-
2018
- 2018-12-14 CN CN201811538815.XA patent/CN109766469B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512273A (zh) * | 2015-12-03 | 2016-04-20 | 中山大学 | 一种基于可变长深度哈希学习的图像检索方法 |
CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机系统工程有限公司 | 基于深度学习和哈希的图像检索方法 |
CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
CN107256271A (zh) * | 2017-06-27 | 2017-10-17 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
CN107679250A (zh) * | 2017-11-01 | 2018-02-09 | 浙江工业大学 | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 |
CN108427729A (zh) * | 2018-02-23 | 2018-08-21 | 浙江工业大学 | 一种基于深度残差网络与哈希编码的大规模图片检索方法 |
Non-Patent Citations (2)
Title |
---|
基于卷积神经网络的哈希在图像检索中的应用;黄文明等;《计算机工程与设计》;20170228;第38卷(第2期);第517-521页 * |
面向大规模图像分类的深度卷积神经网络优化;白综等;《软件学报》;20171201;第1029-1038页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109766469A (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766469B (zh) | 一种基于深度哈希学习优化的图像检索方法 | |
Santa Cruz et al. | Visual permutation learning | |
CN110825904B (zh) | 一种图像匹配方法、装置、电子设备和存储介质 | |
CN110210515B (zh) | 一种图像数据多标签分类方法 | |
Zeng et al. | A GA-based feature selection and parameter optimization for support tucker machine | |
Pal | Soft computing for feature analysis | |
CN113177132A (zh) | 基于联合语义矩阵的深度跨模态哈希的图像检索方法 | |
Park et al. | Fast and scalable approximate spectral matching for higher order graph matching | |
Tang et al. | Deep fishernet for object classification | |
CN111026887B (zh) | 一种跨媒体检索的方法及系统 | |
CN114117153A (zh) | 一种基于相似度重学习的在线跨模态检索方法及系统 | |
CN109785409B (zh) | 一种基于注意力机制的图像-文本数据融合方法和系统 | |
Dai et al. | Hybrid deep model for human behavior understanding on industrial internet of video things | |
CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及系统 | |
Yamada et al. | Guiding labelling effort for efficient learning with georeferenced images | |
Tian et al. | Genetic algorithm based deep learning model selection for visual data classification | |
Naufal et al. | Weather image classification using convolutional neural network with transfer learning | |
CN107944045B (zh) | 基于t分布哈希的图像检索方法及系统 | |
CN116069985A (zh) | 一种基于标签语义增强的鲁棒在线跨模态哈希检索方法 | |
CN115588487A (zh) | 一种基于联邦学习和生成对抗网络的医学图像数据集制作方法 | |
CN109472319B (zh) | 一种三维模型分类方法以及检索方法 | |
Zhang et al. | A fast evolutionary knowledge transfer search for multiscale deep neural architecture | |
Jie et al. | Progressive framework for deep neural networks: from linear to non-linear | |
CN113704570A (zh) | 基于自监督学习式进化的大规模复杂网络社区检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |