CN106033426A - 一种基于潜在语义最小哈希的图像检索方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种基于潜在语义最小哈希的图像检索方法，包括以下步骤：(1)划分数据集；(2)构建基于潜在语义最小哈希模型；(3)求解变换矩阵T；(4)对测试数据集X_test进行哈希编码；(5)图像查询。本发明利用了卷积网络具有较好的表达特性以及利用矩阵分解能够提取原始特征的潜在语义特性，在编码量化阶段通过对量化误差做最小化约束，使得原始特征经过编码后，在语义上具有相似性的图像在汉明空间其对应的汉明距离较小，而语义上不相似的图像，其对应的汉明距离较大，从而提高了图像检索的精度以及索引的效率。

Description

一种基于潜在语义最小哈希的图像检索方法

技术领域

本发明属于图像处理技术领域，具体涉及一种图像检索技术，可以用于大规模商品图像的检索管理和图像搜索引擎等以图搜图领域。

背景技术

在Web2.0时代，尤其是随着Flickr、Facebook等社交网站的流行，图像、视频、音频、文本等异构数据每天都在以惊人的速度增长。例如，图像共享网站Flick截止到2014年12月份，总共上传的图片总量已经达到42.5亿，Facebook注册用户超过10亿，每月上传超过10亿的图片。如何更好地建立有效的检索机制，在浩瀚的图像库中实现方便、快速、准确地查询并检索到用户所需的图像信息，成为多媒体信息检索领域亟待解决的问题。

从图像检索的发展方向看，可以分为基于文本的图像检索(TBIR)和基于内容的图像检索(CBIR)：

基于文本的图像检索(TBIR)需要人工对图像中的语义内容进行手动标注，然后采用传统数据库技术或文本信息检索技术对图像的语义关键词进行存储、索引和检索。这种方法虽然成熟的数据库检索技术做支持，检索速度比较快，但随着图像数据规模的迅速增大，人工标注方法逐渐暴露出效率低下以及人工标注的主观性和不一致性等缺陷。

基于内容的图像检索(CBIR)利用图像自身包含的丰富视觉信息，并且充分利用了计算机处理能力强以及长于处理重复任务的优点，克服了基于文本的图像检索在大数据时代的局限性。基于内容的图像检索过程大致分为三个步骤：①对图像库中图像提取颜色、轮廓、纹理、关键点等底层特征，生成高维特征描述子；②采用倒排文档、基于树结构或哈希等将生成的描述子建立有效的索引结构；③对用户输入的图像提取特征生成查询向量，在前面建立的索引结构中查找与查询向量相似的向量，返回与之对应的图像。

通常，对图像特征表达的好坏直接决定了检索的精度。为了有效的对图像进行描述，研究者们提出了诸如BoW(Bag-of-Word)、VLAD(Vector of LocallyAggregated Descriptors)、Fisher Vector、GIST、SPM(Spatial Pyramid Matching)等人工设计特征。这类人工设计的特征大部分将图像局部特征经过聚类后表示为空间向量模型。基于该类人工设计的特征，其检索精度很大程度上依赖于从图像提取的底层特征性质，并且该类特征在针对不同的任务时，需要人为干预选择出最适合该任务下的特征，并且从数据本身学习到的特征来讲，它们的普适性更差。相比于这类人工设计的特征，近几年，针对不同任务以神经网络为基础的深度学习(Deep Learning)在计算机视觉领域得到了空前的发展，卷积网络(CNN)的兴起极大地提高了物体识别、图像分类的精度，并开始将其应用于图像检索中。在“Babenko,A.,Slesarev,A.,Chigorin,A.,&Lempitsky,V.(2014).Neural codes for image retrieval.In Computer Vision–ECCV 2014(pp.584-599).”中作者分别利用重新训练的模型提取出的神经编码获得比Fisher Vector、VLAD以及稀疏编码特征更好的效果，并且在Holidays数据集上得到了目前为止最好的效果。由于卷积网络提取的特征通常高达几千维，并且图像数量庞大，使得基于线性扫描方式响应时间过长。

为了降低特征存储空间，缩短搜索响应时间，研究人员提出了基于树结构的索引技术，诸如K-D树、R树以及改进的索引树结构，虽然已经取得了一些进展，但基于树的方法随着特征维数的增加其效果所下降，特别是对高维数据的搜索复杂度几乎逼近线性搜索。为此，P.Indyk and R.Motwani在“ApproximateNearest Neighbors:Towards Removing the Curse of Dimensionality，In STOC，1998”提出了经典的局部敏感哈希(Locality Sensitive Hashing)，利用随机生成的哈希函数将原始特征编码成二值哈希序列。该方法的优点是，在一定范围内，随着哈希比特数的增加，相似图像的碰撞概率增加，其检索精度也会相应地增大。但为了保留原始数据之间的距离趋势，所需的哈希编码位数往往也比较长。随后，针对局部敏感哈希存在的不足，研究者提出了很多改进的方法以及不同的哈希函数构造方法。这些方法按学习策略可分为有监督方法、无监督方法和半监督方法。

无监督方法在学习中没有使用样本的标记信息，所以在实际应用中更易于操作。比较典型的代表有在编码时使用PCA对原始数据进行降维的谱哈希“Y.Weiss,A.Torralba,and R.Fergus,“Spectral Hashing,”Proc.Advance in NeuralInformation Processing Systems,pp.1753-1760,2008.”以及寻找最优旋转矩阵的迭代量化方法”Y.Gong,and S.Lazebnik,“Iterative Quantization:A ProcrusteanApproach to Learning Binary Codes,”in Proc.IEEE Conf.Computer Vision andPattern Recognition,2011.“。相比于有监督和半监督哈希方法，由于没有加入标记信息，所以检索的准确率没有它们高。

为了克服无监督方法检索精度不够的缺陷，研究者们提出了利用标记的样本进行训练构造哈希函数的有监督方法和半监督方法，有监督哈希方法典型的有BoostSSC方法“G.Shakhnarovich,P.Viola,and T.Darrell,Fast Pose Estimationwith Parameter Sensitive Hashing,Proc.IEEE int’l Conf.Computer Vision,pp.750-757,2003.”，受限玻尔兹曼机(RBMs)方法“R.Salakhutdinov,and G.Hinton,Semantic Hashing,SIGIR workshop on Information Retrieval and Applications ofGraphical Models,2007.”，核哈希方法(KSH)方法“W.Liu,J.Wang,R.Ji,Y.Jiang,and S.Chang,Supervised Hashing with Kernels,in Proc.IEEE Conf.ComputerVision and Pattern Recognition,pp.2074-2081,2012.”；半监督哈希方法代表有半监督的紧凑哈希(S3PLH)方法“J.Wang,S.Kumar and S.Chang,SequentialProjection Learning for Hashing with Compact Codes,in Proc.IEEE Conf.Int’lConf.on Machine Learning,pp.3344-3351,2010.”，和半监督哈希SSH方法“J.Wang,S.Kumar,and S.Chang,“Semi-Supervised Hashing for Scalable ImageRetrieval,”in Proc.IEEE Conf.Computer Vision and Pattern Recognition,pp.3424-3431,2010.”。对于有监督和无监督的哈希索引方法，虽然提高了检索系统的精度，但在海量图像库上，由于需要对样本进行标注，并且训练需要耗费大量的训练时间，如果图像的标签信息是错误的或被恶意修改过，检索的准确度也会降低。

发明内容

为解决背景技术中存在的问题，本发明提供了一种基于潜在语义最小哈希的图像检索方法，提高了系统的检索精度和检索效率。

本发明的技术解决方案是：

一种基于潜在语义最小哈希的图像检索方法，其特殊之处在于：包括以下步骤：

1】划分数据集：

在数据集中随机抽取部分图像作为测试集，其余图像作为训练集；

2】构建基于潜在语义最小哈希模型：

2.1】使用卷积网络模型对测试集和训练集中的每一幅图像提取卷积网络特征，并对提取的卷积网络特征做L₂规范化；训练集对应生成训练特征向量集X_train，测试集对应生成测试特征向量集X_test；对X_train和X_test进行统一的中心化处理；

2.2】对中心化处理后的训练特征向量集X_train进行矩阵分解得到其潜在语义表示，同时在量化编码时对其作量化误差最小化限制；

构造的潜在语义最小哈希模型如下：

$\underset{T}{\arg \min }={\left|\right|X-\mathrm{VU}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|Y-\mathrm{VT}\left|\right|}_F^2+{\mathrm{\γ}}_1{\left|\right|V\left|\right|}_F^2+{\mathrm{\γ}}_2{\left|\right|U\left|\right|}_F^2$

T^TT＝I

其中，X为特征向量集，λ、γ₁和γ₂为权重参数，U为X经过矩阵分解后的基，V为X分解后得到的X的潜在语义表示变量，Y为X经过哈希编码后的哈希序列；

3】求解变换矩阵T：

将X_train代入X后，使用交替迭代方法求解所述潜在语义最小哈希模型，生成变换矩阵T；计算Y＝sgn(VT)，得到训练数据集的哈希序列Y_train；

4】对测试数据集X_test进行哈希编码：

4.1】随机初始化潜在语义表示变量V；

4.2】计算编码后的哈希序列Y＝sgn(VT)；

4.3】计算X_test的潜在语义表示变量V＝(X_testU^T+λI)(U^TU+λI+γ₂I)^-1；

4.4】重复步骤4.2】-步骤4.3】，直至V收敛；

4.5】计算Y＝sgn(VT)，得到测试数据集的哈希序列Y_test；

5】图像查询：

5.1】从X_test中抽取某个查询样本x_q，其在Y_test中对应的哈希序列为y_q；分别计算y_q与Y_train的汉明距离后排序，生成查询样本x_q对应的候选图像集X_candidate；

5.2】将得到的候选图像集X_candidate与x_q计算欧式距离后再重新排序，得到最终对应查询样本x_q的查询结果X_tesult，并显示出对应的图像。

上述步骤3】中的交替迭代方法为：

(1)随机初始化X_train分解后得到的X的潜在语义表示变量V和变换矩阵T；

(2)计算编码后的哈希序列Y＝sgn(VT)；

(3)计算X经过矩阵分解后的基U＝V^TX_train(V^TV+2γ₂I)^-1；

(4)计算X的潜在语义表示变量V＝(X_trainU^T+λI)(U^TU+λI+γ₂I)^-1；

(5)对Y^TV进行SVD分解，分解后表示为

(6)计算变换矩阵

(7)重复步骤(2)-步骤(6)，直至变换矩阵T收敛。

上述步骤1】中测试集的图像数量占数据集的10％。

本发明的有益效果：

本发明利用了卷积网络具有较好的表达特性以及利用矩阵分解能够提取原始特征的潜在语义特性，在编码量化阶段通过对量化误差做最小化约束，使得原始特征经过编码后，在语义上具有相似性的图像在汉明空间其对应的汉明距离较小，而语义上不相似的图像，其对应的汉明距离较大，从而提高了图像检索的精度以及索引的效率。

附图说明

图1为本发明基于潜在语义最小哈希的图像检索方法的流程图；

图2为本发明在Caltech256数据库上召回率随返回样本数变化曲线；

图3为本发明在Caltech256数据库上召回率—准确率变化曲线。

具体实施方式

参照图1，本发明实现的步骤如下：

步骤1，划分训练样本集和测试样本集。

(1a)将数据集图像划分为训练样本集合和测试样本集，在划分样本集的时候，随机抽取图像集的10％作为测试样本集，剩下的图像作为训练样本集；

(1b)训练集图像中的图片也充当后面进行查询时的数据库。

步骤2，构建基于潜在语义最小哈希模型。

(2a)对全部的图像集，包括训练集图像和测试集图像，用K.Chatfield等人在“Return of the Devil in the Details:Delving Deep into Convolutional Nets”中训练好的卷积网络模型提取图像的卷积网络特征，并对提取的特征做L₂规范化；

(2b)在提取整个图像数据集全部的特征后，对整个数据集进行中心化处理，并按步骤1中划分数据集的方式将训练样本集对应的特征记为X_train，测试样本集对应的特征记为X_trst；

(2c)在训练数据集X_train上，对其进行分解得到X_train的潜在语义表示，同时在量化编码时对其作量化误差最小化限制。通过这两个条件，构造的潜在语义最小哈希模型如下：

$\underset{T}{\arg \min }={\left|\right|X-\mathrm{VU}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|Y-\mathrm{VT}\left|\right|}_F^2+{\mathrm{\γ}}_1{\left|\right|V\left|\right|}_F^2+{\mathrm{\γ}}_2{\left|\right|U\left|\right|}_F^2$

T^TT＝I

其中，X_train作为X代入，λ，γ₁，γ₂为权重参数；U为X经过矩阵分解后的基，V为X分解后得到的X的潜在语义表示变量；Y为X经过哈希编码后的哈希序列。

步骤3，求解最优变换矩阵T。

对于步骤(2c)中构造的潜在语义最小哈希模型，可以通过交替迭代求解的方法进行求解，具体求解过程如下：

(3a)随机初始化X_train分解后得到的X的潜在语义表示变量V和最优变换矩阵T；

(3b)计算编码后的哈希序列Y＝sgn(VT)；

(3c)计算X经过矩阵分解后的基U＝V^TX_train(V^TV+2γ₂I^-1；

(3d)计算X的潜在语义表示变量V＝X_trainU^T+λI)(U^TU+λI+γ₂I)^-1；

(3e)对Y^TV进行SVD分解，分解后表示为

(3f)计算最优变换矩阵

(3g)重复(3b)～(3f)，直到最优变换矩阵T收敛。

(3h)在得到收敛后的矩阵T后，计算Y＝sgn(VT)，得到训练数据集的哈希序列Y_train。

步骤4，对测试数据集进行哈希编码。

在完成训练数据集X_train编码后，对于测试数据集X_test进行编码步骤如下：

(4a)随机初始化潜在语义表示变量V；

(4b)计算编码后的哈希序列Y＝sgn(VT)；

(4c)计算X_test的潜在语义表示变量V＝(X_testU^T+λI)(U^TU+I+γ₂I)^-1；

(4d)重复(4b)和(4c)，直到V收敛。

(4e)在得到收敛后的V后，计算Y＝sgn(VT)，得到测试数据集的哈希序列Y_test。

步骤5，进行图像查询。

(5a)对于测试集X_test，任意从X_test中抽取某个查询样本x_q，其在Y_test中对应的哈希序列为y_q，分别计算y_q与Y_train的汉明距离后排序，生成查询向量x_q对应的候选图像集X_candidate。在重排阶段，将得到的X_candidate与x_q计算欧式距离后再重新排序，得到最终对应查询样本x_q的查询结果X_result，并显示出对应的图片。

步骤6，计算检索精度。

(6a)对于X_test的其他N个任意查询样本，重复步骤(5a)的查询操作，即可得到X_test中N个查询样本的检索精度AP，则该检索系统的平均精度mAP(mean average precision)可由下式给出：mAP＝(∑AP)/N

为验证本发明的有效性，实验验证过程如下：

1.仿真条件

本发明是在中央处理器为Intel(R)Core(TM)i3-2130 3.40GHZ、内存16G、WINDOWS 7操作系统上，运用MATLAB软件进行的仿真。

实验中使用的数据库为文献“Griffin,G.Holub,AD.Perona,P.The Caltech256.Caltech Technical Report.”中公开的图像数据库，该图像数据集包含256类图像，共29780幅图像。

2.仿真内容

在Caltech 256数据集上，完成本发明算法(基于潜在语义最小哈希的图像检索方法)的实验。为了证明本算法的有效性及对比的公平性，选取了6个无监督哈希对比方法SELVE、LSH、SH、SKLSH、DSH、SpH进行比较。SELVE在文献“X.Zhu,L.Zhang and Z.Huang,A Sparse Embedding and Least VarianceEncoding Approach to Hashing,IEEE Transactions on Image Processing,2014.”有详细介绍；LSH是在“P.Indyk and R.Motwani,Approximate Nearest Neighbors:Towards Removing the Curse of Dimensionality,In STOC,1998”中提出的；SH在“Y.Weiss,A.Torralba,and R.Fergus,“Spectral Hashing,”Proc.Advance in NeuralInformation Processing Systems,pp.1753-1760,2008.”中详细介绍；SKLSH是在“M.Raginsky and S.Lazebnik,Locality Sensitive Binary Codes fromShift-invariant Kernels.NIPS,2009.”提出的，DSH是在“Y.Lin,D.Cai,and C.Li.Density Sensitive Hashing.CoRR,abs/1205.2930,2012.”提出来的；SpH在“J.-P.Heo,Y.Lee,J.He,S.-F.Chang,and S.-E.Yoon.Spherical Hashing.In CVPR,pages2957–2964,2012.”中有详细介绍。

在实验中参数λ，γ₁，γ₂设置为0.001，表1中为在不同编码长度下，我们的方法与其他6中方法计算的mAP结果：

表1 系统检索精度

从表1可见，本发明跟现有流行的无监督哈希方法相比，本发明的平均检索精度(mAP)比其他的方法在不同编码位数下具有明显的优势，并且从表中可以看出，当编码位数增长时，各个方法的平均检索精度都会有相应的提高。

为了进一步分析检索系统的性能，采用召回率随返回样本数变化以及准确率—召回率变化指标来评估本发明方法的有效性：

从图2中可以看出，在不同编码长度下，在一定范围内，各个方法的召回率随着返回样本的数目增加而增加，并且当检索返回的样本数目一定时，本发明方法返回的与查询图像相似的样本要比对比的其他6种方法要多。图3召回率—准确率变化曲线所包围的曲线下的面积反映了检索系统的整体检索性能，曲线包围的面积越大，表示该方法的检索性能越好，从图3中可以看出，本发明方法在不同编码位数下，较其他方法具有明显的优势。

Claims (3)

1.一种基于潜在语义最小哈希的图像检索方法，其特征在于：包括以下步骤：

1】划分数据集：

在数据集中随机抽取部分图像作为测试集，其余图像作为训练集；

2】构建基于潜在语义最小哈希模型：

2.1】使用卷积网络模型对测试集和训练集中的每一幅图像提取卷积网络特征，并对提取的卷积网络特征做L₂规范化；训练集对应生成训练特征向量集X_train，测试集对应生成测试特征向量集X_test；对X_train和X_test进行统一的中心化处理；

2.2】对中心化处理后的训练特征向量集X_train进行矩阵分解得到其潜在语义表示，同时在量化编码时对其作量化误差最小化限制；

构造的潜在语义最小哈希模型为：

$\underset{T}{\arg \min }={\left|\right|X-\mathrm{VU}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|Y-\mathrm{VT}\left|\right|}_F^2+{\mathrm{\γ}}_1{\left|\right|V\left|\right|}_F^2+{\mathrm{\γ}}_2{\left|\right|U\left|\right|}_F^2$

T^TT＝I

其中，X为特征向量集，λ、γ₁和γ₂为权重参数，U为X经过矩阵分解后的基，V为X分解后得到的X的潜在语义表示变量，Y为X经过哈希编码后的哈希序列；

3】求解变换矩阵T：

将X_train代入X后，使用交替迭代方法求解所述潜在语义最小哈希模型，生成变换矩阵T；计算Y＝sgn(VT)，得到训练数据集的哈希序列Y_train；

4】对测试数据集X_test进行哈希编码：

4.1】随机初始化潜在语义表示变量V；

4.2】计算编码后的哈希序列Y＝sgn(VT)；

4.3】计算X_test的潜在语义表示变量V＝(X_testU^T+λI)(U^TU+λI+γ₂I)^-1；

4.4】重复步骤4.2】-步骤4.3】，直至V收敛；

4.5】计算Y＝sgn(VT)，得到测试数据集的哈希序列Y_test；

5】图像查询：

5.1】从X_test中抽取某个查询样本x_q，其在Y_test中对应的哈希序列为y_q；分别计算y_q与Y_train的汉明距离后排序，生成查询样本x_q对应的候选图像集X_candidate；

5.2】将得到的候选图像集X_candidate与x_q计算欧式距离后再重新排序，得到对应查询样本x_q的查询结果X_result，并显示出对应的图像。

2.根据权利要求1所述的基于潜在语义最小哈希的图像检索方法，其特征在于：所述步骤3】中的交替迭代方法为：

(1)随机初始化X_train分解后得到的X的潜在语义表示变量V和变换矩阵T；

(2)计算编码后的哈希序列Y＝sgn(VT)；

(3)计算X经过矩阵分解后的基U＝V^TX_train(V^TV+2γ₂I)^-1；

(4)计算X的潜在语义表示变量V＝(X_trainU^T+λI)(U^TU+λI+γ₂I)^-1；

(5)对Y^TV进行SVD分解，分解后表示为

(6)计算变换矩阵

(7)重复步骤(2)-步骤(6)，直至变换矩阵T收敛。

3.根据权利要求1或2所述的基于潜在语义最小哈希的图像检索方法，其特征在于：所述步骤1】中测试集的图像数量占数据集的10％。