CN111611427A - 基于线性鉴别分析深度哈希算法的图像检索方法及系统 - Google Patents

基于线性鉴别分析深度哈希算法的图像检索方法及系统 Download PDF

Info

Publication number
CN111611427A
CN111611427A CN202010433167.2A CN202010433167A CN111611427A CN 111611427 A CN111611427 A CN 111611427A CN 202010433167 A CN202010433167 A CN 202010433167A CN 111611427 A CN111611427 A CN 111611427A
Authority
CN
China
Prior art keywords
hash
image
discriminant analysis
linear discriminant
image retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010433167.2A
Other languages
English (en)
Other versions
CN111611427B (zh
Inventor
严灵毓
朱雅琴
傅稼润
王春枝
王双红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202010433167.2A priority Critical patent/CN111611427B/zh
Publication of CN111611427A publication Critical patent/CN111611427A/zh
Application granted granted Critical
Publication of CN111611427B publication Critical patent/CN111611427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明属于图像检索技术领域，公开了一种基于线性鉴别分析深度哈希算法的图像检索方法及系统，利用CNN提取图像特征；构造基于线性判别分析LDA的目标函数，将图像特征映射到哈希标签中；利用生成的hash标签训练一个简单的图像哈希深度学习网络，利用深度哈希模型将新的图像的特征映射到哈希码完成图像检索。对于目前的图像检索技术来说，图像数据庞大，并且标签在大数据时代是难以获取的，在大量图像中进行图像检索，这是非常耗时和不可扩展的，所以根据现有的问题，本发明提出的技术方法一方面避免了依赖类标签来监督散列的过程，另一方面也避免了由于深度网络获取图像特征而导致的大量的时间消耗。

Description

基于线性鉴别分析深度哈希算法的图像检索方法及系统
技术领域
本发明属于图像检索技术领域，尤其涉及一种基于线性鉴别分析深度哈希算法的图像检索方法及系统。
背景技术
目前，随着大数据时代的到来，图像数据的规模呈指数级增长。从海量图像中有效提取相关信息的方法是大数据时代图像检索技术的核心，其中基于内容的图像指纹识别是一种有效的方法。基于内容的图像指纹识别的核心是为图像生成指纹。在一个大型的图像数据库中，本发明通过在相应的指纹数据库(从数据库中的图像中提取)中查找与查询图像相对应的相似图像。因此，为了保证大数据时代图像检索的有效性，图像指纹应保持以下几个特性：(1)鉴别：感知相似的图像应映射为相似的指纹，而两个感知不同的图像应映射为不同的指纹。(2)压缩：指纹应该压缩，以减少在大型图像数据库中查找查询图像匹配的时间消耗。为了保证图像检索的有效性和效率，图像指纹应该平衡上述两个特性，因为当鲁棒性和紧凑性增加时，识别率会在一定程度上降低。
对于大规模图像检索，很明显，最近邻搜索用于寻找相似特征并没有给出实用的解决方案，而近似最近邻搜索为这些问题给出了有效的解决方案。为了解决实值特征的无效性，将散列引入基于内容的图像检索领域，将图像映射到近似保留原始空间中的数据结构的紧凑二进制代码。由于通过位异或运算和非零位计数可以有效地计算出两个二值hash码之间的Hamming距离，因此在图像搜索过程中所需的时间和内存开销远小于计算图像特征之间的欧氏距离。图1 显示了欧氏距离和汉明距离的区别。所以，一台普通的PC机在几毫秒内就能完成数百万的汉明距离计算。因此，哈希算法在快速图像检索中显示出无可比拟的优越性。
现有方法的缺陷：现有的散列方法仍然面临两方面的困难。首先，现有的散列方法很大程度上依赖于手工绘制的特征提取，如颜色直方图、基于DCT域的图像特征、尺度不变特征变换(SIFT)、广义搜索树(GIST)等，它们在反映图像语义信息方面是有限的，因为它们只在一个视图(全局或本地视图)中表示语义内容。其次，散列的另一个关键问题是保持或放大提取特征的相似性。自学散列被认为是最先进的作品之一。然而，由于训练数据的散列码生成和测试数据的散列函数生成的操作都是独立处理的，导致泛化能力差，因此存在着过度拟合的问题。
由于深度学习的良好性能，将其引入图像哈希，一定程度上提高了散列性能，另一方面，现有方法总是利用深度网络来获得精确的图像特征，导致高的时间消耗。
通过上述分析，现有技术存在的问题及缺陷为：(1)现有的图像检索技术的核心是基于内容的图像指纹识别，关键问题在于如何在大数据背景下生成图像指纹。现有技术为了解决实值特征的无效性引入了散列，但是目前的散列仍然面临着较多困难。
(2)现有散列方式很大程度依赖手工绘制的特征提取，反映的语义信息比较有限。
(3)现有散列还有一个关键问题在于如何保持或放大提取特征的相似性。
(4)现有的方法依赖于类标签来监督散列过程，但是标签在大数据时代是很难获取的。
解决以上问题及缺陷的难度为：一方面需要解决特征提取的问题，手工提取特征反映的语义信息比较有限，而如果依靠深度网络直接提取图像的精确特征，则会导致较高的时间消耗。
为了解决上述问题，引入了深度学习一定程度上提高了散列性能。
解决以上问题及缺陷的意义为：利用深度学习网络提取原始图像的特征，构建目标函数，图像特征通过目标函数来映射到哈希标签，接着生成的哈希标签又可以用来训练深度学习网络。图像经由深度学习网络提取特征，最后映射的哈希标签再用于训练网络，这个算法可以在训练的过程中提高深度学习网络的准确性，同时深度学习网络在初始提取图像特征时，并没有要求较为精确的特征，避免来了大量的时间消耗。
所以将哈希算法和深度学习相结合的图像检索方法及系统，能够较好的解决单一的哈希算法和深度学习算法在图像检索方面的缺陷，两者的结合达到了 1+1>2的效果。
发明内容
为了解决现有技术存在的问题，本发明提供了一种基于线性鉴别分析深度哈希算法的图像检索方法及系统。本发明通过CNN提取图像特征，将图像特征再映射到哈希标签中，然后利用哈希标签训练一个图像哈希学习网络；避免使用深度网络获取精确的图像特征导致的时间高消耗。
本发明是这样实现的，一种基于线性鉴别分析深度哈希算法的图像检索方法包括：利用CNN提取图像特征；构造基于线性判别分析(LDA)的目标函数，将图像特征映射到哈希标签中；利用生成的hash标签训练一个简单的图像哈希深度学习网络，利用深度哈希模型将新的图像的特征映射到哈希码完成图像检索。
具体包括：
步骤一，利用深度CNN提取原始图像特征；
步骤二，构造基于线性鉴别别分析的目标函数；
步骤三，将目标函数最小化；
步骤四，将图像特征映射到哈希标签；
步骤五，利用生成的哈希标签训练深度学习网络；
步骤六，利用深度哈希模型将图像特征映射到哈希码实现图像检索。
进一步，所述步骤二构造基于线性判别分析的目标函数的方法包括：
步骤1，通过邻域保存和判别增强分别构造其局部和全局结构；
步骤2，根据构造的结构生成一个散列函数f(x)＝sign(PTX)其中P∈Rmxd和x ∈Rm；
步骤3，利用散列函数f(.)，将X中的每个数据点xi映射到yi∈{-1,1}d(d＜m) 中，使得封闭的数据点具有相似的代码，而遥远的数据点具有不同的代码。Y＝[y1， y2，…，yn]属于海明空间。
进一步，步骤2根据构造的结构生成散列函数的方法包括：
(1)采用基于局部结构的方法，利用亲和图刻画局部结构，利用亲和矩阵 A表示图，其中A(i,j)是定点xi和xj之间边的权重，Nk(x)表示数据点x的 k个近邻；
Figure BDA0002501270900000041
(2)通过检查数据映射到海明空间后保留了多少亲和图来评估局部性的保留程度，被定量表示为:
Figure BDA0002501270900000042
其中L＝D-A＝I-A，D(i,j)＝∑jW(i,j)＝1,L是图的拉普拉斯矩阵；将(1)进行优化化简，
Figure BDA0002501270900000043
遵循：
PTP＝Id (2)；
(3)线性判别分析寻找一组线性投影，LDA通过优化目标函数找到投影矩阵 P＝[p1,p2,...,pn]∈Rm×d。
进一步，步骤(3)所述的线性判别分析寻找一组线性投影，LDA优化目标函数找到投影矩阵的方法包括：
(1)定义对于每个数据点，都被分配到唯一的一个集群，假设数据集X被划分为K个集群，LDA寻找一组线性投影，其中类内散布Sw最小化，类间散布 Sb最大化，定义总散射St，类内散射Sw，类间散射Sb为：
Figure BDA0002501270900000051
Figure BDA0002501270900000052
Figure BDA0002501270900000053
其中u是所有数据点的质心，u(k)是k类的质心，nk是k类中的数据点的数目，
Figure BDA0002501270900000054
表示属于k类的数据点Xi；
(2)LDA通过优化以下目标函数找到投影矩：
Figure BDA0002501270900000055
服从：PTP＝Id。其中Tr(.)是迹算子，加入μI以避免奇异值问题，μ>0是标度因子。在X居中之后，上式(6)为下列目标函数：
Figure BDA0002501270900000056
服从：PTP＝Id。
进一步，步骤三所述的构造将目标函数最小化具体包括：
(1)统一目标函数：考虑PTP＝Id，将(7)改写为：
Figure BDA0002501270900000057
将目标函数(2)和(8)整合在一起，得到统一的目标函数：
Figure BDA0002501270900000058
服从：PTP＝Id，其中0≤λ≤1。
(2)对目标函数进行最小化，设B＝XLXT,C＝(XXT+μIm)-1XAXT,可以将(9) 改写成：
Figure BDA0002501270900000059
其中：
Figure BDA0002501270900000061
本发明另一目的在于提供提供一种基于线性鉴别分析深度哈希算法图像检索系统，包括：
图像获取模块，用于获取和收集训练图像以及检索图像；
图像特征提取模块，通过cnn来提取图像的特征，提取出来的特征数据 X＝[x1,x2,...xn]，xi∈Rm，n是数据点的总数；
哈希码模块，构建目标函数，然后通过目标函数得到图像的哈希码；
分块编码模块：对哈希标签进行分块编码来训练深度哈希模型；
查询模块：通过训练好的深度哈希模型来提取检索图像的哈希码，和哈希码库中的哈希码进行异或运算；
显示模块：根据所述查询模块的结果显示图像检索的结果；
进一步，所述的哈希码模块具体包括：
构建结构单元，采用基于局部结构的方法，利用亲和图来刻画局部结构，用亲和矩阵A来表示图，
Figure BDA0002501270900000062
其中A(i,j)是顶点xi和xj之间的边的权重，Nk(x)表示数据点x的k个近邻；
构建散列函数单元，基于构建的结构生成一个散列函数： f(x)＝sign(PTx)，局部保留的程度被定量地表示为语义损失：S＝Tr(YLYT)，其中L 是图的拉普拉斯矩阵，D是对角矩阵，A是邻接矩阵，Y＝[y1,y2,...,yn]属于海明空间；
最优解单元，对目标函数进行优化整合，求取最小值，得到一个最终的目标函数：
Figure BDA0002501270900000063
又＝Tr(PTDP)；其中Tr(.)是迹算子，B＝XLXT,C＝(XXT+μIm)-1XAXT， D＝B+λ(Im-C)+(1-λ)Im＝B+λIm-λC+Im-λIm＝B-λC+Im；
映射单元，将图像的特征数据通过最终的目标函数映射到哈希标签，将特征数据X的每个数据点Xi都映射到yi∈{-1,1}d(d<M)；
进一步，所述的分块编码模块具体包括：
多层感知器单元，用于对哈希标签进行分块编码；
训练单元，将编码好的哈希标签输入到一个简单的深度学习网络，对网络进行训练，得到深度哈希模型；
进一步，所述的查询模块具体包括：
哈希码获取单元，用已经训练好的深度哈希模型提取检索图像的哈希码；
哈希码匹配单元，将提取出来的检索图像的哈希码与哈希码库中的哈希码进行异或运算并匹配。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于线性鉴别分析哈希算法的图像检索方法。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于线性鉴别分析哈希算法的图像检索方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
本发明提供的基于线性鉴别分析哈希算法的图像检索系及方法，利用CNN 提取图像特征；构造基于线性判别分析(LDA)的目标函数，将图像特征映射到哈希标签中；利用生成的hash标签训练一个简单的图像哈希深度学习网络，利用深度哈希模型将新的图像的特征映射到哈希码完成图像检索。由于图像数据庞大，并且标签在大数据时代是难以获取的，该方法一方面避免了依赖类标签来监督散列的过程，另一方面也避免了由于深度网络获取图像特征的时间消耗。
结合实验或试验数据和现有技术对比得到的效果和优点：
为了验证该方法的性能，本发明在CIFAR-10、CIFAR-100和STL-10基准数据集上进行实验。
首先应用AlexNet(简称a)和GoogLeNet(简称g)提取图像特征。在此基础上，采用MLP和Slice构造了以Sigmod和BatchNorm为激活函数的hash 函数模型。简称MLP+Sigmod为ms，MLP+BatchNorm为mb，Slice+Sigmoid为ss， Slice+BatchNorm为sb。采用在ImageNet上训练的参数模型，结合GoogLeNet 进行特征提取，生成hash标签。在实验中，本发明在浅哈希过程中将最近邻的个数设为20来产生哈希标签。此外，从10-6、10-3、100、10+3、10+6调谐λ、μ，最后分别设置为100、10-5。
图示5、6、7、8表示了算法性能，实验结果表明：
GoogLeNet明显优于AlexNet，这可能是由于更好的深层神经网络能够产生更好的特征提取，产生更好的hash标签和检索性能，而且Slice+BatchNorm比其他组合表现出更好的性能。
该算法在哈希长度有限的情况下具有良好的性能，这可能源于大规模的数据集。
在不同的分类粒度下，算法的适应性不强。
然后将本发明的算法与CIFAR-10和STL-10上的几种哈希算法进行了比较，包括CNNH、SKLSH、SH、PCA-ITQ、STH、SpH、DSH、LSH。
图示9显示了本发明算法的PR性能。在STL-10的32位精度召回中，当召回率大于0.6时，本算法的精度低于CNNH，这可能是由于分类标签在CNNH中的应用。但在大多数情况下，本发明的方法明显优于比较算法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于线性鉴别分析哈希算法的图像检索系及方法流程图。
图2是本发明实施例提供的基于线性鉴别分析哈希算法的图像检索系及方法原理图。
图3是本发明实施例提供的基于线性鉴别分析深度哈希算法的图像检索系统的哈希码运算示意图。
图4是本发明实施例提供的基于线性鉴别分析深度哈希算法图像检索系统示意图。
图中：1、图像获取模块；2、图像特征提取模块；3、哈希码模块；3-1、构建结构单元；3-2、构建散列函数单元；3-3、最优解单元；3-4、映射单元； 4、分块编码模块；4-1、多层感知器单元；4-2、训练单元；5、查询模块；5-1、哈希码获取单元；5-2、哈希码匹配单元；6、显示模块。
图5显示了在具有不同代码长度的CIFAR-10上的精确召回性能。
图6显示了在不同代码长度的STL-10上的精确召回性能。
图7显示了具有不同代码长度的CIFAR-100粗略的标签上的PR性能。
图8显示了本发明的DLDAH在不同代码长度的CIFAR-100上的精确召回性能。
图9显示了本发明的算法(称为DLDAH)与CIFAR-10和STL-10上的几种哈希算法进行了比较，包括CNNH、SKLSH、SH、PCA-ITQ、STH、SpH、DSH、LSH。显示了本发明算法在CIFAR-100、STL-10的PR性能。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于深度学习的良好性能，将其引入图像哈希，一定程度上提高了散列性能，但是现有的方法依赖于类标签来监督散列过程，但是标签在大数据时代是很难获取的；另一方面，现有方法总是利用深度网络来获得精确的图像特征，导致高的时间消耗。
针对现有技术存在的问题，本发明提供了一种基于线性鉴别分析深度哈希算法的图像检索方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于线性鉴别分析哈希算法的图像检索方法包括：
S101，利用深度CNN提取原始图像特征。
S102，构造基于线性判别分析的目标函数。
S103，将目标函数最小化。
S104，将图像特征映射到哈希标签。
S105，利用生成的哈希标签训练深度学习网络。
S106，利用深度哈希模型将图像特征映射到哈希码实现图像检索。
步骤S102构造基于线性判别分析的目标函数的方法包括：
步骤1，通过邻域保存和判别增强分别构造其局部和全局结构。
步骤2，根据构造的结构生成一个散列函数f(x)＝sign(PTX)其中P∈Rmxd和x ∈Rm。
步骤3，利用散列函数f(.)，将X中的每个数据点xi映射到yi∈{-1,1}d(d＜m) 中，使得封闭的数据点具有相似的代码，而遥远的数据点具有不同的代码。Y＝[y1， y2，…，yn]属于海明空间。
步骤2根据构造的结构生成散列函数的方法包括：
(1)采用基于局部结构的方法，利用亲和图刻画局部结构，利用亲和矩阵 A表示图，其中A(i,j)是定点xi和xj之间边的权重，Nk(x)表示数据点x的 k个近邻。
Figure BDA0002501270900000101
(2)通过检查数据映射到海明空间后保留了多少亲和图来评估局部性的保留程度，被定量表示为:
Figure BDA0002501270900000111
其中L＝D-A＝I-A，D(i,j)＝∑jW(i,j)＝1,L是图的拉普拉斯矩阵；将(1)进行优化化简，
Figure BDA0002501270900000112
遵循：
PTP＝Id (2)
(3)线性判别分析寻找一组线性投影，LDA通过优化目标函数找到投影矩阵 P＝[p1,p2,...,pn]∈Rm×d。
步骤(3)所述的线性判别分析寻找一组线性投影，LDA优化目标函数找到投影矩阵的方法包括：
(1)定义对于每个数据点，都被分配到唯一的一个集群，假设数据集X被划分为K个集群，LDA寻找一组线性投影，其中类内散布Sw最小化，类间散布 Sb最大化，定义总散射St，类内散射Sw，类间散射Sb为：
Figure BDA0002501270900000113
Figure BDA0002501270900000114
Figure BDA0002501270900000115
其中u是所有数据点的质心，u(k)是k类的质心，nk是k类中的数据点的数目，
Figure BDA0002501270900000116
表示属于k类的数据点Xi。
(2)LDA通过优化以下目标函数找到投影矩：
Figure BDA0002501270900000117
服从：PTP＝Id。其中Tr(.)是迹算子，加入μI以避免奇异值问题，μ>0是标度因子。在X居中之后，上式(6)为下列目标函数：
Figure BDA0002501270900000118
服从：PTP＝Id。
在本发明中，步骤S103所述的构造将目标函数最小化具体包括：
(1)统一目标函数：考虑PTP＝Id，将(7)改写为：
Figure BDA0002501270900000121
将目标函数(2)和(8)整合在一起，得到统一的目标函数：
Figure BDA0002501270900000122
服从：PTP＝Id，其中0≤λ≤1。
(2)对目标函数进行最小化，设B＝XLXT,C＝(XXT+μIm)-1XAXT,可以将(9) 改写成：
Figure BDA0002501270900000123
其中：
Figure BDA0002501270900000124
如图2所示提供的基基于线性鉴别分析哈希算法的图像检索方法原理，具体包括；
第一步：先获取大量的训练图像，通过CNN提取图像特征，提取出来的特征数据用X＝[x1,x2,...xn]表示(xi∈Rm)，n是数据点的总数。
第二步：基于构建的结构生成散列函数f(x)＝sign(PTx)，通过散列函数，将图像特征映射到哈希码。
第三步：将CNN提取出来的图像特征通过多层感知器进行分块编码映射到哈希标签，借此将简单的深度学习网络训练成深度哈希网络。
第四步：利用CNN提取检索图像的图像特征，然后使用深度哈希模型得到检索图像对应的哈希码。
第五步：将检索图像的哈希码和哈希码库中的哈希码进行异或运算，位异或运算和计算非零位的个数，可以有效地计算出两个二值哈希码之间的海明距离，对快速图像检索具有良好的可扩展性。
在本发明中，第二步生成散列函数包括：
定义语义损失：S＝Tr(YLYT)，其中L是图的拉普拉斯矩阵，D是对角矩阵， A是邻接矩阵，Y＝[y1,y2,...,yn]属于海明空间。
对目标函数进行优化整合，求取最小值，得到最终的目标函数：
Figure BDA0002501270900000131
其中Tr(.)是迹算子，
B＝XLXT,C＝(XXT+μIm)-1XAXT，
D＝B+λ(Im-C)+(1-λ)Im＝B+λIm-λC+Im-λIm＝B-λC+Im。
如图3所示，本发明提供的基于线性鉴别分析深度哈希算法的图像检索系统的哈希码运算示意图。
如图4所示，本发明提供一种基于线性鉴别分析深度哈希算法图像检索系统，包括：
图像获取模块1，用于获取和收集训练图像以及检索图像。
图像特征提取模块2，通过cnn来提取图像的特征，提取出来的特征数据 X＝[x1,x2,...xn]，xi∈Rm，n是数据点的总数。
哈希码模块3，构建目标函数，然后通过目标函数得到图像的哈希码。
分块编码模块4，对哈希标签进行分块编码来训练深度哈希模型。
查询模块5，通过训练好的深度哈希模型来提取检索图像的哈希码，和哈希码库中的哈希码进行异或运算。
显示模块6，根据所述查询模块的结果显示图像检索的结果。
所述的哈希码模块3具体包括：
构建结构单元3-1，采用基于局部结构的方法，利用亲和图来刻画局部结构，用亲和矩阵A来表示图，
Figure BDA0002501270900000132
其中A(i,j)是顶点xi和xj之间的边的权重，Nk(x)表示数据点x的k个近邻。
构建散列函数单元3-2，基于构建的结构生成一个散列函数： f(x)＝sign(PTx)，局部保留的程度被定量地表示为语义损失：S＝Tr(YLYT)，其中L 是图的拉普拉斯矩阵，D是对角矩阵，A是邻接矩阵，Y＝[y1,y2,...,yn]属于海明空间。
最优解单元3-3，对目标函数进行优化整合，求取最小值，得到一个最终的目标函数：
Figure BDA0002501270900000141
又＝Tr(PTDP)；其中Tr(.)是迹算子，B＝XLXT,C＝(XXT+μIm)-1XAXT， D＝B+λ(Im-C)+(1-λ)Im＝B+λIm-λC+Im-λIm＝B-λC+Im。
映射单元3-4，将图像的特征数据通过最终的目标函数映射到哈希标签，将特征数据X的每个数据点Xi都映射到yi∈{-1,1}d(d<M)。
所述的分块编码模块4具体包括：
多层感知器单元4-1，用于对哈希标签进行分块编码。
训练单元4-2，将编码好的哈希标签输入到一个简单的深度学习网络，对网络进行训练，得到深度哈希模型。
所述的查询模块5具体包括：
哈希码获取单元5-1，用已经训练好的深度哈希模型提取检索图像的哈希码。
哈希码匹配单元5-2，将提取出来的检索图像的哈希码与哈希码库中的哈希码进行异或运算并匹配。
为了验证该方法的性能，本发明在CIFAR-10、CIFAR-100和STL-10基准数据集上进行实验：
CIFAR-10:CIFAR-10是8000万个微型图像数据集的标记子集，由10个类的 60000个32×32彩色图像组成，每个类有6000个图像。每个类有5000张训练图片和1000张测试图片。
STL-10:STL-10是图像识别用ImageNet数据集的一个子集，由10个类、5000 个训练图像(每个类500个图像)、8000个测试图像(每个类800个图像)和 1000000个未标记图像组成，每个图像的大小为96×96像素。选择5000张训练图像和8000张测试图像来完成实验。
CIFAR-100:CIFAR-100与CIFAR-10类似，只是它有100个类，每个类包含 600个映像。每节课有500张训练图片和100张测试图片。CIFAR-100中的100 个类被分为20个超类。每个图像都有一个精确标签(它所属的类)和一个粗略的标签(它所属的超类)。
本发明需要定义一些评估性能的方程。将相似图像作为正类进行搜索，定义RP为正确分配给正类的真实相似图像个数，FP为错误分配给正类的非相似图像个数，RN为正类错误拒绝的真实相似图像个数。
首先应用AlexNet(简称a)和GoogLeNet(简称g)提取图像特征。在此基础上，采用MLP和Slice构造了以Sigmod和BatchNorm为激活函数的hash 函数模型。简称MLP+Sigmod为ms，MLP+BatchNorm为mb，Slice+Sigmoid为ss， Slice+BatchNorm为sb。采用在ImageNet上训练的参数模型，结合GoogLeNet 进行特征提取，生成hash标签。在实验中，本发明在浅哈希过程中将最近邻的个数设为20来产生哈希标签。此外，从10-6、10-3、100、10+3、10+6调谐λ、μ，最后分别设置为100、10-5。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如 ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于线性鉴别分析哈希算法的图像检索方法，其特征在于，所述基于线性鉴别分析哈希算法的图像检索方法包括：
步骤一，通过CNN提取特征数据获得原始图像特征，所述特征数据为X＝[x1,x2,...xn]，xi∈Rm，n是数据点的总数；
步骤二，构造基于线性判别分析的目标函数，通过所述目标函数，将获得的训练图像特征映射到哈希码；
步骤三，将目标函数最小化，将CNN提取出来的原始图像特征通过多层感知器进行分块编码映射到哈希标签，将简单的深度学习网络训练成深度哈希网络；
步骤四，利用CNN提取检索图像的图像特征，然后使用深度哈希模型得到检索图像对应的哈希码；
步骤五，将检索图像的哈希码和哈希码库中的哈希码进行异或运算，位异或运算和计算非零位的个数，计算出两个二值哈希码之间的海明距离，进行图像检索。
2.如权利要求1所述的基于线性鉴别分析哈希算法的图像检索方法，其特征在于，所述步骤二构造基于线性判别分析的目标函数的方法包括：
步骤1，通过邻域保存和判别增强分别构造其局部和全局结构；
步骤2，根据构造的结构生成一个散列函数f(x)＝sign(PTX)其中P∈Rmxd和x∈Rm；
步骤3，利用散列函数f(.)，将X中的每个数据点xi映射到yi∈{-1,1}d(d＜m)中，使得封闭的数据点具有相似的代码，而遥远的数据点具有不同的代码；Y＝[y1，y2，…，yn]属于海明空间。
3.如权利要求2所述的基于线性鉴别分析哈希算法的图像检索方法，其特征在于，所述步骤2根据构造的结构生成散列函数的方法包括：
(1)采用基于局部结构的方法，利用亲和图刻画局部结构，利用亲和矩阵A表示图，其中A(i,j)是定点xi和xj之间边的权重，Nk(x)表示数据点x的k个近邻。
Figure FDA0002501270890000021
(2)通过检查数据映射到海明空间后保留多少亲和图来评估局部性的保留程度，被定量表示为:
Figure FDA0002501270890000022
其中L＝D-A＝I-A，D(i,j)＝∑jW(i,j)＝1,L是图的拉普拉斯矩阵；将(1)进行优化化简，
Figure FDA0002501270890000023
Tr(PTXLXTP),遵循：
PTP＝Id (2)
(3)线性判别分析寻找一组线性投影，LDA通过优化目标函数找到投影矩阵P＝[p1,p2,...,pn]∈Rm×d。
4.如权利要求2所述的基于线性鉴别分析哈希算法的图像检索方法，其特征在于，步骤(3)所述的线性判别分析寻找一组线性投影，LDA优化目标函数找到投影矩阵的方法包括：
(1)定义对于每个数据点，都被分配到唯一的一个集群，假设数据集X被划分为K个集群，LDA寻找一组线性投影，其中类内散布Sw最小化，类间散布Sb最大化，定义总散射St，类内散射Sw，类间散射Sb为：
Figure FDA0002501270890000024
Figure FDA0002501270890000025
Figure FDA0002501270890000026
其中u是所有数据点的质心，u(k)是k类的质心，nk是k类中的数据点的数目，
Figure FDA0002501270890000031
表示属于k类的数据点Xi；
(2)LDA通过优化以下目标函数找到投影矩：
Figure FDA0002501270890000032
服从：PTP＝Id。其中Tr(.)是迹算子，加入μI以避免奇异值问题，μ>0是标度因子；在X居中之后，上式(6)为下列目标函数：
Figure FDA0002501270890000033
服从：PTP＝Id。
5.如权利要求2所述的基于线性鉴别分析哈希算法的图像检索方法，其特征在于，步骤三所述的构造将目标函数最小化具体包括：
(1)统一目标函数：考虑PTP＝Id，将(7)改为：
Figure FDA0002501270890000034
将目标函数(2)和(8)整合在一起，得到统一的目标函数：
Figure FDA0002501270890000035
服从：PTP＝Id，其中0≤λ≤1；
(2)对目标函数进行最小化，设B＝XLXT,C＝(XXT+μIm)-1XAXT,将(9)改写成：
Figure FDA0002501270890000036
其中：
Figure FDA0002501270890000037
6.一种基于线性鉴别分析深度哈希算法图像检索系统，其特征在于，所述基于线性鉴别分析深度哈希算法图像检索系统包括：
图像获取模块，用于获取和收集训练图像以及检索图像；
图像特征提取模块，通过cnn来提取图像的特征，提取出来的特征数据X＝[x1,x2,...xn]，xi∈Rm，n是数据点的总数；
哈希码模块，构建目标函数，然后通过目标函数得到图像的哈希码；
分块编码模块，对哈希标签进行分块编码来训练深度哈希模型；
查询模块，通过训练好的深度哈希模型来提取检索图像的哈希码，和哈希码库中的哈希码进行异或运算；
显示模块，根据所述查询模块的结果显示图像检索的结果。
7.如权利要求6所述的基于线性鉴别分析深度哈希算法图像检索系统，其特征在于，所述的哈希码模块具体包括：
构建结构单元，采用基于局部结构的方法，利用亲和图刻画局部结构，用亲和矩阵A来表示图，
Figure FDA0002501270890000041
其中A(i,j)是顶点xi和xj之间的边的权重，Nk(x)表示数据点x的k个近邻；
构建散列函数单元，基于构建的结构生成一个散列函数：f(x)＝sign(PTx)，局部保留的程度被定量地表示为语义损失：S＝Tr(YLYT)，其中L是图的拉普拉斯矩阵，D是对角矩阵，A是邻接矩阵，Y＝[y1,y2,...,yn]属于海明空间；
最优解单元，对目标函数进行优化整合，求取最小值，得到一个最终的目标函数：
Figure FDA0002501270890000042
又＝Tr(PTDP)；其中Tr(.)是迹算子，B＝XLXT,C＝(XXT+μIm)-1XAXT，D＝B+λ(Im-C)+(1-λ)Im＝B+λIm-λC+Im-λIm＝B-λC+Im；
映射单元，将图像的特征数据通过最终的目标函数映射到哈希标签，将特征数据X的每个数据点Xi都映射到yi∈{-1,1}d，d<M。
8.如权利要求6所述的基于线性鉴别分析深度哈希算法图像检索系统，其特征在于，所述的分块编码模块具体包括：
多层感知器单元，用于对哈希标签进行分块编码；
训练单元，将编码好的哈希标签输入到一个简单的深度学习网络，对网络进行训练，得到深度哈希模型；
所述的查询模块包括：
哈希码获取单元，用已经训练好的深度哈希模型提取检索图像的哈希码；
哈希码匹配单元，将提取出来的检索图像的哈希码与哈希码库中的哈希码进行异或运算并匹配。
9.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～5任意一项所述基于线性鉴别分析哈希算法的图像检索方法。
10.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～5任意一项所述基于线性鉴别分析哈希算法的图像检索方法。
CN202010433167.2A 2020-05-21 2020-05-21 基于线性鉴别分析深度哈希算法的图像检索方法及系统 Active CN111611427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010433167.2A CN111611427B (zh) 2020-05-21 2020-05-21 基于线性鉴别分析深度哈希算法的图像检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010433167.2A CN111611427B (zh) 2020-05-21 2020-05-21 基于线性鉴别分析深度哈希算法的图像检索方法及系统

Publications (2)

Publication Number Publication Date
CN111611427A true CN111611427A (zh) 2020-09-01
CN111611427B CN111611427B (zh) 2023-06-30

Family

ID=72203500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010433167.2A Active CN111611427B (zh) 2020-05-21 2020-05-21 基于线性鉴别分析深度哈希算法的图像检索方法及系统

Country Status (1)

Country Link
CN (1) CN111611427B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022701A (zh) * 2021-10-21 2022-02-08 南京审计大学 基于近邻监督离散判别哈希的图像分类方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221572A1 (en) * 2011-02-24 2012-08-30 Nec Laboratories America, Inc. Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval
US20160267637A1 (en) * 2015-03-12 2016-09-15 Yahoo! Inc. System and method for improved server performance for a deep feature based coarse-to-fine fast search
CN106294798A (zh) * 2016-08-15 2017-01-04 华为技术有限公司 一种基于缩略图的图像分享方法和终端
US20170060904A1 (en) * 2015-08-28 2017-03-02 Stmicroelectronics S.R.L. Method for visual search, corresponding system, apparatus and computer program product
US20180246985A1 (en) * 2015-09-24 2018-08-30 Trustees Of Boston University Data storage and retrieval system using online supervised hashing
CN108537120A (zh) * 2018-03-06 2018-09-14 安徽电科恒钛智能科技有限公司 一种基于深度学习的人脸识别方法及系统
US20180276528A1 (en) * 2015-12-03 2018-09-27 Sun Yat-Sen University Image Retrieval Method Based on Variable-Length Deep Hash Learning
CN109063113A (zh) * 2018-07-30 2018-12-21 成都快眼科技有限公司 一种基于不对称深度离散哈希的快速图像检索方法、检索模型及模型构建方法
US20190171665A1 (en) * 2017-12-05 2019-06-06 Salk Institute For Biological Studies Image similarity search via hashes with expanded dimensionality and sparsification
CN109885716A (zh) * 2019-02-18 2019-06-14 成都快眼科技有限公司 基于异质多任务学习深度监督离散哈希的图像检索方法
CN110427509A (zh) * 2019-08-05 2019-11-08 山东浪潮人工智能研究院有限公司 一种基于深度学习的多尺度特征融合图像哈希检索方法及系统
CN110765281A (zh) * 2019-11-04 2020-02-07 山东浪潮人工智能研究院有限公司 一种多语义深度监督跨模态哈希检索方法
US20200073968A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Sketch-based image retrieval techniques using generative domain migration hashing

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221572A1 (en) * 2011-02-24 2012-08-30 Nec Laboratories America, Inc. Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval
US20160267637A1 (en) * 2015-03-12 2016-09-15 Yahoo! Inc. System and method for improved server performance for a deep feature based coarse-to-fine fast search
US20170060904A1 (en) * 2015-08-28 2017-03-02 Stmicroelectronics S.R.L. Method for visual search, corresponding system, apparatus and computer program product
US20180246985A1 (en) * 2015-09-24 2018-08-30 Trustees Of Boston University Data storage and retrieval system using online supervised hashing
US20180276528A1 (en) * 2015-12-03 2018-09-27 Sun Yat-Sen University Image Retrieval Method Based on Variable-Length Deep Hash Learning
CN106294798A (zh) * 2016-08-15 2017-01-04 华为技术有限公司 一种基于缩略图的图像分享方法和终端
US20190171665A1 (en) * 2017-12-05 2019-06-06 Salk Institute For Biological Studies Image similarity search via hashes with expanded dimensionality and sparsification
CN108537120A (zh) * 2018-03-06 2018-09-14 安徽电科恒钛智能科技有限公司 一种基于深度学习的人脸识别方法及系统
CN109063113A (zh) * 2018-07-30 2018-12-21 成都快眼科技有限公司 一种基于不对称深度离散哈希的快速图像检索方法、检索模型及模型构建方法
US20200073968A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Sketch-based image retrieval techniques using generative domain migration hashing
CN109885716A (zh) * 2019-02-18 2019-06-14 成都快眼科技有限公司 基于异质多任务学习深度监督离散哈希的图像检索方法
CN110427509A (zh) * 2019-08-05 2019-11-08 山东浪潮人工智能研究院有限公司 一种基于深度学习的多尺度特征融合图像哈希检索方法及系统
CN110765281A (zh) * 2019-11-04 2020-02-07 山东浪潮人工智能研究院有限公司 一种多语义深度监督跨模态哈希检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何周灿;王庆;: "一种用于图像匹配的快速有效的二分哈希搜索算法", no. 04 *
叶志伟;夏彬;周欣;张彦超;: "一种改进的基于颜色直方图的图像检索算法", 吉首大学学报(自然科学版), no. 05 *
杜丙新;: "图像检索研究综述及系统实现", no. 06 *
费伦科;秦建阳;滕少华;张巍;刘冬宁;侯艳;: "近似最近邻大数据检索哈希散列方法综述", no. 03 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022701A (zh) * 2021-10-21 2022-02-08 南京审计大学 基于近邻监督离散判别哈希的图像分类方法
CN114022701B (zh) * 2021-10-21 2022-06-24 南京审计大学 基于近邻监督离散判别哈希的图像分类方法

Also Published As

Publication number Publication date
CN111611427B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
Latif et al. Content-based image retrieval and feature extraction: a comprehensive review
Li et al. Recent developments of content-based image retrieval (CBIR)
Wang et al. Adaptive multi-view feature selection for human motion retrieval
Bian et al. Biased discriminant Euclidean embedding for content-based image retrieval
Song et al. Robust hashing with local models for approximate similarity search
Liu et al. Indexing of the CNN features for the large scale image search
Zhong et al. Deep discrete cross-modal hashing for cross-media retrieval
Gkelios et al. Deep convolutional features for image retrieval
Song et al. Multimodal similarity gaussian process latent variable model
Nian et al. Efficient near-duplicate image detection with a local-based binary representation
Fang et al. Average approximate hashing-based double projections learning for cross-modal retrieval
Devareddi et al. Review on content-based image retrieval models for efficient feature extraction for data analysis
Yan et al. Deep linear discriminant analysis hashing for image retrieval
Liao et al. Multi-scale saliency features fusion model for person re-identification
Chandrakala et al. Application of artificial bee colony optimization algorithm for image classification using color and texture feature similarity fusion
Zhang et al. Learning a probabilistic topology discovering model for scene categorization
Jian et al. Saliency detection using multiple low-level priors and a propagation mechanism
CN111611427A (zh) 基于线性鉴别分析深度哈希算法的图像检索方法及系统
Zhao et al. Multi-scale Context Deep Hashing for Remote Sensing Image Retrieval
John et al. A multi-modal cbir framework with image segregation using autoencoders and deep learning-based pseudo-labeling
Seth et al. A review on content based image retrieval
Mumar Image retrieval using SURF features
Hu et al. Expressive local feature match for image search
Tian et al. Improved bag-of-words model for person re-identification
Ramya et al. XML based approach for object oriented medical video retrieval using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200901

Assignee: Wuhan Huarui Intelligent Electrical Technology Co.,Ltd.

Assignor: HUBEI University OF TECHNOLOGY

Contract record no.: X2024980005167

Denomination of invention: Image retrieval method and system based on linear discriminant analysis deep hash algorithm

Granted publication date: 20230630

License type: Common License

Record date: 20240430