CN102508910A - 基于多哈希表映射误差最小化的图像检索方法 - Google Patents

Abstract

一种基于多哈希表映射误差最小化的图像检索方法，属于图像检索技术领域。其特征是分别提取待检索图像、训练图像和查询图像的gist特征。计算训练特征的主成份方向，采用迭代量化法对主成份方向进行优化，将待检索特征和查询特征投影到优化后的主成份方向上，得到其对应的哈希码。对训练特征进行能量弱化得到新的训练特征，重复该过程，直到得到第Num组哈希码。计算查询图像Num组哈希码与待检索图像Num组哈希码之间的汉明距离，根据距离大小衡量待检索图像与查询图像之间的相似性。本发明的效果和益处是克服了单哈希表在召回率较高时汉明球半径较大的缺点，同时克服了随机映射哈希在召回率较高时需要过多哈希表的问题。

Description

基于多哈希表映射误差最小化的图像检索方法

技术领域

本发明属于图像检索技术领域，涉及到基于内容的图像检索方法，特别涉及到一种基于多哈希表映射误差最小化的图像检索方法。

背景技术

给定一幅查询图像，图像检索的任务是从图像库中找到与其相似的图像。传统的图像检索方法是将图像表示成高维的欧氏向量，采用线性扫描图像库的方式进行搜索。对于海量图像库而言，所需的特征存储空间非常庞大，对图像库的线性搜索非常耗时。图像哈希法通过将高维欧氏特征编码成简洁的二值哈希码，极大降低了特征的存储空间；同时，采用近似最近邻法搜索相似图像，有效得提高了搜索效率。

目前，哈希方法主要有两大类：基于随机映射的哈希法和简洁编码哈希法。

随机映射哈希法采用服从某种分布的随机向量作为映射基，构造超平面对特征空间进行分割，将分割结果作为哈希值。它的特点是，相似性大的高维向量有较大的概率获得相同的哈希码。但为了达到此效果，此类哈希方法需要较长的哈希码。locality-sensitive hashing(LSH)方法[P.Indyk and R.Motwani.Approximate Nearest Neighbors：Towards Removing the Curse of Dimensionality.InSTOC，1998.]，测度学习法[P.Jain，B.Kulis，and K.Grauman.Fast image search forlearned metrics.In Proceedings of CVPR，2008]和Kernelized Local-SensitiveHashing(KLSH)法[Brian Kulis and Trevor Darrell.Learning to Hash with BinaryReconstructive Embeddings.In Neural Information Processing Systems(NIPS)，2009]是随机映射哈希法的代表。

简洁编码哈希法通过在高维数据的主成分方向构造线性或者非线性的哈希函数，根据设定的阈值，可生成非常简洁的哈希码。在检索时，该类方法将返回以查询图像的哈希码为中心，某一距离为半径的汉明球内所有哈希码对应的图像。有较高召回率要求的情况下，只需增大汉明球的半径即可。谱哈希法(Spectral Hashing)[Y.Weiss，A.Torrelba，and R.Fergus.Spectral Hashing.In NIPS，2008]，半监督哈希法(S SH)[J.Wang，S.Kumar，and S.Chang.Semi-supervisedhashing for scalable image retrieval.In proceedings of CVPR，2010]和序列映射学习哈希法(SPLH)[J.Wang，S.Kumar，and S.Chang.Sequential Projection Learningfor Hashing with Compact Codes.In proceedings of ICML，2010]是简洁编码哈希法的代表。

发明内容

本发明要解决的技术问题是针对海量图像检索时图像特征库存储空间大，检索速度慢的问题，克服已有哈希法在较大召回率时准确率较低的不足，提出一种基于多哈希表映射误差最小化的图像检索方法。

本发明的技术方案是：对于图像库中的图像，采用特征描述符提取特征向量，作为待检索特征，并选取部分检索特征组成训练特征。计算训练特征的主成份方向，将训练特征投影到这些主成份方向上，采用迭代量化法优化得到正交矩阵，利用该正交矩阵对主成份方向进行旋转得到新的主成份方向，将检索特征投影到旋转后的主成份方向上，根据设定的阈值对投影后的检索特征进行量化得到其对应的哈希码。对训练特征进行能量弱化作为新的训练特征，并重复上述过程，得到第二组哈希码，重复该过程，直到得到第Num组哈希码。对于查询图像的Num组哈希码与待检测图像Num组哈希码之间的汉明距离，利用距离大小衡量待检索图像与查询图像之间的相似性，返回相似度高的图像。具体实现步骤包括：

(1)给定包含N幅图像的图像库I＝{I₁，I₂，...，I_N}，包含M(M＜N)幅图像的训练库T＝{T₁，T₂，...，T_M}和查询图像q。

(2)对于图像库I和训练库T中的每一幅图像以及查询图像q，利用gist描述符提取图像的纹理特征，每一幅图像用一个d维特征向量表示；图像库对应的所有特征向量组成图像特征库GI＝{GI₁，GI₂，...，GI_N}，GI∈R^N×d，特征库中的每个特征向量GI_i(1≤i≤N)和图像库中的每幅图像I_i(1≤i≤N)一一对应；训练库对应的所有特征向量组成训练特征库GT＝{GT₁，GT₂，...，GT_M}，GT∈R^M×d，训练特征库中的每个特征向量GT_i(1≤i≤M)和训练库中的每幅图像T_i(1≤i≤M)一一对应；查询图像q的特征向量为Gq∈R^1×d。

(3)对于训练特征库中的M个特征向量GT，利用PCA主成份分析法提取其前K个最大特征值对应的特征向量W＝{W₁，W₂，...，W_K}，计算其前K维主成分向量GTp＝{GTp₁，GTp₂，...，GTp_M}，GTp∈R^M×K。

(4)对于GTp，定义误差函数：

$\mathrm{Er}={\left|\right|H-\mathrm{GTp}\×V\left|\right|}_F^2$

其中H∈{0，1}^M×K是二值矩阵，

是正交矩阵，||·||_F是Frobenius范数。

采用迭代法求解使得Er最小时的H和V：

H(t)＝sgn(GTp×V(t))

$[U,S,{\hat{U}}^T]=\mathrm{svd}(H{\left(t\right)}^T\×\mathrm{GTp})$

$V(t+1)=\hat{U}{U}^T$

其中t表示第t次迭代，sgn(·)表示符号函数，上标T表示转置，svd(·)是奇异值分解，是奇异值分解的结果。

(5)对训练特征库GT进行能量弱化，得到新的训练特征库

$\widetilde{\mathrm{GT}}=\mathrm{GT}-\mathrm{GT}\×W_1\×{W_1}^T$

(6)给定哈希表数Num，对于i＝1，...，Num，重复步骤(3)～(5)，得到Num组参数V和R。定义哈希函数H(x)＝sgn(x×V×R)。对于GI_i和Gq，利用Num组参数V和R可分别获得其对应的Num组长度为K的哈希码。

(7)定义汉明距离：

DH_x，y＝∑xor(H(x)，H(y))

其中xor(，)表示按位异或操作，∑是对按位异或后的结果求和。

对于查询特征Gq和图像特征库的每个特征GI_i，计算它们Num组哈希码之间的汉明距离的平均值：

$d_{I_i,q}=\frac{1}{\mathrm{Num}}\underset{p=1}{\overset{\mathrm{Num}}{\mathrm{\Σ}}}{\mathrm{DH}}_{I_i,q}^p$

其中表示GI_i第p组哈希码和Gq的第p组哈希码之间的距离

根据的大小判断图像库中图像与查询图像之间的相似性。

关于gist特征向量的提取可参考文献[Aude Oliva，Antonio Torralba，Modelingthe shape of the scene：a holistic representation of the spatial envelope，InternationalJournal of Computer Vision，Vol.42(3)：145-175，2001]。

本发明的效果和益处是：本发明提出一种基于多哈希表映射误差最小化的图像检索方法，首先根据训练样本确定高维向量的主成份方向，通过迭代量化对主成份方向进行旋转，得到新的主成份方向，哈希函数定义为图像的高维向量在新的主成份方向上的投影。根据给定的哈希表数，对训练样本进行能量弱化，重复上述过程，得到多组哈希码。这种哈希函数构造方法生成的哈希码简短，同时，又采用多个哈希表在相同哈希码长的情况下可提高检索的准确率，所以这种哈希法兼备简洁哈希和随机映射哈希的优点。

附图说明

图1是一种基于多哈希表映射误差最小化的图像检索方法的流程示意图。

图2是本发明用于建立训练图像库的样本图像图。

图3是本发明哈希表数为5时，不同哈希比特数对应的1000幅测试图像在返回图像数目不同时的平均准确率图。

图4是本发明不同哈希表数，不同哈希比特数对应的1000幅测试图像在返回前500幅图像时的平均准确率图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

步骤1.图像库中包含60000幅32×32像素的彩色图像，共10类，每类6000幅，来源于公开的CIFAR-10图像库。从中取出1000幅图像作为测试样本，其他59000幅图像作为待检索图像。另外，从59000幅待检索图像中取出8000幅作为训练样本。部分图像如图2所示。

图像库网址为：http://www.cs.toronto.edu/～kriz/cifar.html

步骤2.将所有彩色图像转化为灰度图像，提取320维的gist特征，gist特征主要是描述图像的纹理属性。待检索特征库和训练特征库分别为GI＝{GI₁，GI₂，...，GI₅₉₀₀₀}，GI∈R^59000×320和GT＝{GT₁，GT₂，...，GT₈₀₀₀}，GT∈R^8000×320。

gist特征的提取过程可采用公开的matlab代码：

http://people.csail.mit.edu/torralba/code/spatialenvelope/

步骤3.对于步骤2中8000幅训练图像生成的训练特征GT＝{GT₁，GT₂，...，GT₈₀₀₀}，利用PCA主成份分析法提取其前128个最大特征值对应的特征向量W＝{W₁，W₂，...，W₁₂₈}，计算GT的前128维主成分向量GTp＝{GTp₁，GTp₂，...，GTp₈₀₀₀}，GTp∈R^8000×128。

步骤4.根据步骤3中求得的训练样本的主成份向量GTp，定义误差函数：

$\mathrm{Er}={\left|\right|H-\mathrm{GTp}\×V\left|\right|}_F^2$

分别固定H和V，迭代100次求解使得Er最小时的H和V的值，伪代码如下：

for i＝1∶100

H＝sgn(GTp*V)；

[U1，S，U2]＝svd(H’*GTp)；

V＝U2*U1’；

end

步骤5.根据步骤3中求得的特征向量W对训练特征库GT进行能量弱化，得到新的训练特征库

$\widetilde{\mathrm{GT}}=\mathrm{GT}-\mathrm{GT}\×W_1\×{W_1}^T$

步骤6.根据给定的哈希表数5，对于i＝1，2，3，4，5，重复步骤3到步骤5，得到5组参数V和R。定义哈希函数H(x)＝sgn(x×V×R)。对于GI_i和Gq，利用5组参数V和R可分别获得其对应的5组长度为128的哈希码HI_i∈{0，1}¹²⁸，Hq∈{0，1}¹²⁸。

步骤7.根据步骤6中Gq和GI_i的每一组哈希码，计算它们之间的汉明距离 ${\mathrm{DH}}_{I_i,q}=\mathrm{\Σ}\mathrm{xor}({\mathrm{HI}}_i,\mathrm{Hq}),$ 然后求5组汉明距离的平均值：

$d_{I_i,q}=\frac{1}{5}\underset{p=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{DH}}_{I_i,q}^p$

根据

的大小判断图像库中图像与查询图像之间的相似性。图3是哈希表数为5，不同哈希比特数对应的1000幅测试图像在返回图像数目不同时的平均准确率。从图中可以看出，随着哈希比特数的增加，检索准确率越来越高。随着返回图像数目的增加，检索准确率越来越低。图4是不同哈希表数以及不同哈希比特数对应的1000幅测试图像在返回前500幅图像时的平均准确率图，从图中可以看出，在哈希表数为1时，前500幅图像的平均准确率最低；增加哈希表数，准确率迅速上升，当哈希表数为5时，平均准确率基本达到最大；哈希表数继续增加时，平均准确率反而开始下降，主要是因为随着哈希表数的继续增加，训练特征的能量已经非常弱，从而导致其不能很好的表征图像的视觉内容。

以上内容是结合最佳实施方案对本发明所作的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (1)

1.一种基于多哈希表映射误差最小化的图像检索方法，其特征在于包括如下步骤：

1)给定包含N幅图像的图像库I＝{I₁，I₂，...，I_N}，包含M(M＜N)幅图像的训练库T＝{T₁，T₂，...，T_M}和查询图像q；

2)对于图像库I和训练库T中的每一幅图像以及查询图像q，利用gist描述符提取图像的纹理特征，每一幅图像用一个d维特征向量表示；图像库对应的所有特征向量组成图像特征库GI＝{GI₁，GI₂，...，GI_N}，GI∈R^N×d，特征库中的每个特征向量GI_i(1≤i≤N)和图像库中的每幅图像I_i(1≤i≤N)一一对应；训练库对应的所有特征向量组成训练特征库GT＝{GT₁，GT₂，...，GT_M}，GT∈R^M×d，训练特征库中的每个特征向量GT_i(1≤i≤M)和训练库中的每幅图像T_i(1≤i≤M)一一对应；查询图像q的特征向量为Gq∈R^1×d；

3)对于训练特征库中的M个特征向量GT，利用PCA主成份分析法提取其前K个最大特征值对应的特征向量W＝{W₁，W₂，...，W_K}，计算GT的前K维主成分向量GTp＝{GTp₁，GTp₂，...，GTp_M}，GTp∈R^M×K；

4)对于GTp，定义误差函数：

$\mathrm{Er}={\left|\right|H-\mathrm{GTp}\×V\left|\right|}_F^2$

其中H∈{0，1}^M×K是二值矩阵，是正交矩阵，||·||_F是Frobenius范数；

采用迭代法求解使得Er最小时的H和V：

H(t)＝sgn(GTp×V(t))

$[U,S,{\hat{U}}^T]=\mathrm{svd}(H{\left(t\right)}^T\×\mathrm{GTp})$

$V(t+1)=\hat{U}{U}^T$

其中t表示第t次迭代，sgn(·)表示符号函数，上标T表示转置，svd(·)是奇异值分解函数，

是奇异值分解的结果；

5)对训练特征库GT进行能量弱化，得到新的训练特征库

$\widetilde{\mathrm{GT}}=\mathrm{GT}-\mathrm{GT}\×W_1\×{W_1}^T$

6)给定哈希表数Num，对于i＝1，...，Num，重复步骤(3)～(5)，得到Num组参数V和R；定义哈希函数H(x)＝sgn(x×V×R)；对于GI_i和Gq，利用Num组参数V和R可分别获得其对应的Num组长度为K的哈希码；

7)定义汉明距离：

DH_x，y＝∑xor(H(x)，H(y))

其中xor(，)表示按位异或操作，∑是对按位异或后的结果求和；

对于查询特征Gq和图像特征库的每个特征GI_i，计算它们Num组哈希码之间的汉明距离的平均值：

$d_{I_i,q}=\frac{1}{\mathrm{Num}}\underset{p=1}{\overset{\mathrm{Num}}{\mathrm{\Σ}}}{\mathrm{DH}}_{I_i,q}^p$

其中

表示GI_i第p组哈希码和Gq的第p组哈希码之间的距离根据

的大小判断图像库中图像与查询图像之间的相似性。

Images