CN106777038A - 一种基于序列保留哈希的超低复杂度图像检索方法 - Google Patents

Abstract

一种基于序列保留哈希的超低复杂度图像检索方法，涉及图像检索。对于图像库中的图像，随机选取一部分图像作为训练集，并抽取相应的图像特征；采用非线性主成分分析方法将原图像特征降低维度到与哈希编码相同的长度；利用K‑means聚类算法得一系列的支撑点，作为后续哈希函数学习的基础；通过迭代优化学习对应的哈希函数；输出对应的哈希函数并计算整个图像库的哈希编码；对于查询图像，先抽取对应的GIST特征，根据训练得到的哈希编码函数对图像特征进行哈希编码，之后计算查询图像的哈希编码与图像库中的图像特征编码之间的汉明距离，利用汉明距离大小衡量查询图像与图像库中待检索图像之间的相似性，返回相似度高的图像。

Description

一种基于序列保留哈希的超低复杂度图像检索方法

技术领域

本发明涉及图像检索，具体是涉及一种基于序列保留哈希的超低复杂度图像检索方法。

背景技术

随着互联网技术的发展，网络中的图像数据量呈指数级别的增长。如何高效地组织、管理以及分析这些数据显得十分重要。基于内容的图像检索(Content Based ImageRetrieval,CBIR)技术应运而生，受到了学术界和工业界的广泛关注。通常，CBIR系统可分为两大部分：1、图像的特征表达；2、高效的检索算法。

图像的特征表达是提取图像的相关特征对图像的内容进行描述，例如VLAD特征(具体内容可以参见文章H,Jegou,M.Douze,C.Schmid and P.Perez“Aggregating localdescriptors into a compact image representat ion”,In the proceeding ofcomputer vision and pattern recognition,2011),然后通过特征的相似度计算查找与目标图像相似的图像。

然而，由于网络中图像数据规模非常庞大，暴力搜索不能解决实际问题。因此，如何解决特征压缩和高效存储、以及如何实现大规模数据的快速检索与索引就显得更为重要。在以往的研究中，基于树的索引方案和基于哈希编码的方案得到了学术界和工业界的广泛关注。当特征维度较高时，基于树的索引方案将会转变为穷尽搜索。图像的特征表达的维度都非常高，基于树的索引方案很难实现海量高维图像的检索需求。哈希算法是目前在大规模数据搜索中得到广泛采纳的方案。哈希算法主要思想是将高维度的实数特征表达根据图像的语义相关度，将相似的特征表达通过编码长度相同且汉明距离相差不大的二进制哈希码进行表示。哈希算法一方面可以通过较少的存储空间来存储大规模的数据，另一方面哈希编码之间的汉明距离可以实现高效计算。

局部敏感哈希(Locality Sensitive Hashing,LSH)(参考文献Mayur Datar,Nicole Immorlica,Piotr Indyk and Vahab S.mirrokni,“Locality-sensitive hashingscheme based on p-stable distributions”,In the proceeding of the annualsymposium on computational geometry,2004.)采用随机投影的方式，将原始特征空间划分以满足p稳态分布，然后根据特征在这些空间的分布情况进行哈希编码。然而，局部敏感哈希算法通常需要非常高的编码比特位数以获得较好的检索效果。为了克服局部敏感哈希的缺点，谱哈希(Spectral Hashing，SH)(可以参考文章Yair Weiss,Antonio Torralba,and Rob Fergus,“Spectral Hashing”,In the proceeding of NIPS,2008)基于谱图划分理论，利用谱分解的近似方法和三角函数量化的方法对特征向量进行哈希编码。迭代量化(Iterative Quantization，In the proceeding of computer vision and patternrecognition，2011)通过寻找最优旋转矩阵将原特征空间表达量化到每个超立方体的顶点。锚图哈希(Anchor Graph Hashing，In the proceeding of ICML，2011)通过构建锚图来加速特征的谱分解，并且其离散优化版本离散图哈希(Discrete Graph Hashing，In theproceeding of NIPS，2014)根据离散优化策略进一步提升检索效果。

然而，以往算法都是基于一个假设，特征之间的相似度都定义在欧式空间中，模型的训练与优化都保证欧式空间到汉明空间的量化损失尽量小。然而，图像特征描述有许许多多，欧几里得距离并非是最有有效的度量方案。

发明内容

本发明的目的在于为了解决以往无监督哈希学习算法，在训练模型是限定特征度量空间，即通常模型是在欧式空间中进行模型学习与优化，为了应对并处理大规模图像搜索问题，用以克服大规模图像检索存在的各种问题，提高模型的使用范围，可以处理不同特征度量空间的图像搜索问题，提供一种基于序列保留哈希的超低复杂度图像检索方法。

本发明包括以下步骤：

1)对于图像库中的图像，随机选取一部分图像作为训练集，并抽取相应的图像特征，所述图像特征包括但不限于GIST特征(可以参考文章Aude Oliva and AntonioTorralba,”Modeling the Shape of the Scene:A Holistic Representation of theSpatial Envelope”,in the International Journal of Computer Vision)；

2)采用非线性主成分分析方法，将原图像特征降低维度到与哈希编码相同的长度；

3)利用K-means聚类算法得到一系列的支撑点，作为后续哈希函数学习的基础；

4)通过迭代优化学习对应的哈希函数，具体方法如下：

(4.1)选择一个query特征，计算该特征与所有支撑点之间的关系，同时构建序列关系图；

(4.2)在序列关系图中，以query最近邻的支撑点为基准，挑选一部分序列关系子集；

(4.3)利用随机梯度下降算法计算最优哈希函数；

(4.4)置信度判断，满足条件跳出迭代，否则继续循环；

5)输出对应的哈希函数，并计算整个图像库的哈希编码；

6)对于查询图像，首先抽取对应的GIST特征，然后根据训练得到的哈希编码函数用同样的方法对图像特征进行哈希编码，之后计算查询图像的哈希编码与图像库中的图像特征编码之间的汉明距离，利用汉明距离大小来衡量查询图像与图像库中待检索图像之间的相似性，返回相似度高的图像。

本发明所提出的序列保留哈希算法的目标在于获取哈希编码的函数(哈希函数)，即：

H(x)＝{h₁(x),h₂(x),...,h_r(x)}。

哈希函数可以将原实数特征矩阵映射为相对应的二值编码矩阵B＝{b₁,b₂,...,b_n}∈{0,1}^r×n，其中r为哈希编码的长度。其详细的方案的形式化描述如下所示：

首先，查询图像和待检索图像库的图像GIST特征抽取的形式化描述为：对于训练集中的每幅图像提取d维的GIST特征，得到一个d×n的原始视觉特征矩阵X＝{x₁,x₂,...,x_n}∈R^d×n,其中，n表示训练集中的训练样本个数，x_i为矩阵X第i列表示样本集合中第i个维度为d的GIST特征向量。

其次，在上述步骤中，使用非线性主成分分析技术，例如核化主成分分解，将图像的特征降维到与哈希编码比特长度相同的低维度空间表示。具体步骤如下：

(1)对原特征做核特征变换，在样本集中随机选取m个数据点作为锚点，即A＝{a₁,...,a_m}∈R^d×m。

(2)采用高斯核变换方法对原特征进行重新描述，原特征x_i对应的高斯核特征k_i中第j维表示为k_ij＝exp(-||x_i-a_j||²/2σ²)。

(3)对新的核变换特征做主成分分析，求出从高维核特征空间到低维度的线性投影矩阵Z∈R^m×r，其优化函数为：通过非线性主成分分析后，原高维特征矩阵可以重新表示为

在新的低维度特征表达空间中，本发明的目标是求解一个序列嵌入的哈希函数，可以定义为其中sgn(·)为符号函数，用以将实数值量化为对应的哈希编码。在本发明中，通过双曲正切函数来逼近这个符号函数。

整个学习算法过程需要保证原空间中特征之间的序列关系在新的汉明空间中有近似等同的关系，因此目标函数可以表示为:

其中，α和β是模型参数(通常都设为1)；为对样本集进行k-means聚类得到的聚类中心特征的非线性主成分表达，bl_i为其对应的哈希编码；o(m,j,k)为序列关系函数，定义为D(m,j)为样本x_m和x_j之间的欧式距离；max[0,x]为最大值函数，定义为通过随机梯度下降的优化方法，可以求出最有的投影矩阵W,进而得到所需要的哈希函数。

对于，查询图像特征和待检索的图像库特征，采用如下哈希函数进行相应哈希编码：

H(x)＝sgn(W^TZ^Tx)。

本发明的优点如下：

通过本发明所提出的方案能够获得一个鲁棒、高效的哈希编码机制，学习得到的哈希函数使原始特征空间(如GIST特征空间)中的图像序列关系，能够在离散的汉明空间中能够得到很好的保留，提高了哈希检索的精确度。同时，通过所提出的基于锚点的序列关系的表示方法使得学习过程的复杂性大大降低，提高了哈希函数学习的效能，从而使得本发明能够很好的适用于大规模的图像数据集。

本发明在经典的检索数据集CIFAR10上做了对应的相关的验证性实验，CIFAR10数据集中不同哈希算法对应的平均精确度指标值如表1所示。

表1

表1展示了CIFAR10数据集中所有查询的检索平均精确度，对比了现有的大部分经典哈希学习方法，可以看出本发明所提出的方案在低比特率编码条件下，具有良好的检索性能。

附图说明

图1为本发明的基于序列保留哈希的超低复杂度图像检索方法流程图。

具体实施方式

以下实施例将结合附图对本发明作详细的说明。

以CIFAR10数据为例进行说明。CIFAR10包含6万张32×32大小的图片。图片总共可以分为10个大类，如飞机、花朵等。

CIFAR10数据集中不同哈希算法对应的平均精确度指标值参见表1。

表1

本发明包括以下步骤：

1)对于图像库中的图像，随机选取一部分图像作为训练集，并抽取相应的图像特征，所述图像特征包括但不限于GIST特征(可以参考文章Aude Oliva and AntonioTorralba,”Modeling the Shape of the Scene:A Holistic Representation of theSpatial Envelope”,in the International Journal of Computer Vision)；

2)采用非线性主成分分析方法，将原图像特征降低维度到与哈希编码相同的长度；

3)利用K-means聚类算法得到一系列的支撑点，作为后续哈希函数学习的基础；

4)通过迭代优化学习对应的哈希函数，具体方法如下：

(4.1)选择一个query特征，计算该特征与所有支撑点之间的关系，同时构建序列关系图；

(4.2)在序列关系图中，以query最近邻的支撑点为基准，挑选一部分序列关系子集；

(4.3)利用随机梯度下降算法计算最优哈希函数；

(4.4)置信度判断，满足条件跳出迭代，否则继续循环；

5)输出对应的哈希函数，并计算整个图像库的哈希编码；

6)对于查询图像，首先抽取对应的GIST特征，然后根据训练得到的哈希编码函数用同样的方法对图像特征进行哈希编码，之后计算查询图像的哈希编码与图像库中的图像特征编码之间的汉明距离，利用汉明距离大小来衡量查询图像与图像库中待检索图像之间的相似性，返回相似度高的图像。

本发明所提出的序列保留哈希算法的目标在于获取哈希编码的函数(哈希函数)，即：

H(x)＝{h₁(x),h₂(x),...,h_r(x)}。

哈希函数可以将原实数特征矩阵映射为相对应的二值编码矩阵B＝{b₁,b₂,...,b_n}∈{0,1}^r×n，其中r为哈希编码的长度。其详细的方案的形式化描述如下所示：

首先，查询图像和待检索图像库的图像GIST特征抽取的形式化描述为：对于训练集中的每幅图像提取d维的GIST特征，得到一个d×n的原始视觉特征矩阵X＝{x₁,x₂,...,x_n}∈R^d×n,其中，n表示训练集中的训练样本个数，x_i为矩阵X第i列表示样本集合中第i个维度为d的GIST特征向量。

其次，在上述步骤中，使用非线性主成分分析技术，例如核化主成分分解，将图像的特征降维到与哈希编码比特长度相同的低维度空间表示。具体步骤如下：

(1)对原特征做核特征变换，在样本集中随机选取m个数据点作为锚点，即A＝{a₁,...,a_m}∈R^d×m。

(2)采用高斯核变换方法对原特征进行重新描述，原特征x_i对应的高斯核特征k_i中第j维表示为k_ij＝exp(-||x_i-a_j||²/2σ²)。

(3)对新的核变换特征做主成分分析，求出从高维核特征空间到低维度的线性投影矩阵Z∈R^m×r，其优化函数为：通过非线性主成分分析后，原高维特征矩阵可以重新表示为

在新的低维度特征表达空间中，本发明的目标是求解一个序列嵌入的哈希函数，可以定义为其中sgn(·)为符号函数，用以将实数值量化为对应的哈希编码。在本发明中，通过双曲正切函数来逼近这个符号函数。

整个学习算法过程需要保证原空间中特征之间的序列关系在新的汉明空间中有近似等同的关系，因此目标函数可以表示为:

其中，α和β是模型参数(通常都设为1)；为对样本集进行k-means聚类得到的聚类中心特征的非线性主成分表达，bl_i为其对应的哈希编码；o(m,j,k)为序列关系函数，定义为D(m,j)为样本x_m和x_j之间的欧式距离；max[0,x]为最大值函数，定义为通过随机梯度下降的优化方法，可以求出最有的投影矩阵W,进而得到所需要的哈希函数。

对于，查询图像特征和待检索的图像库特征，采用如下哈希函数进行相应哈希编码：

H(x)＝sgn(W^TZ^Tx)。

Claims (2)

1.一种基于序列保留哈希的超低复杂度图像检索方法，其特征在于包括以下步骤：

1)对于图像库中的图像，随机选取一部分图像作为训练集，并抽取相应的图像特征，所述图像特征包括但不限于GIST特征；

2)采用非线性主成分分析方法，将原图像特征降低维度到与哈希编码相同的长度；

3)利用K-means聚类算法得到一系列的支撑点，作为后续哈希函数学习的基础；

4)通过迭代优化学习对应的哈希函数，具体方法如下：

(4.1)选择一个query特征，计算该特征与所有支撑点之间的关系，同时构建序列关系图；

(4.2)在序列关系图中，以query最近邻的支撑点为基准，挑选一部分序列关系子集；

(4.3)利用随机梯度下降算法计算最优哈希函数；

(4.4)置信度判断，满足条件跳出迭代，否则继续循环；

5)输出对应的哈希函数，并计算整个图像库的哈希编码；

6)对于查询图像，首先抽取对应的GIST特征，然后根据训练得到的哈希编码函数用同样的方法对图像特征进行哈希编码，之后计算查询图像的哈希编码与图像库中的图像特征编码之间的汉明距离，利用汉明距离大小来衡量查询图像与图像库中待检索图像之间的相似性，返回相似度高的图像。

2.如权利要求1所述一种基于序列保留哈希的超低复杂度图像检索方法，其特征在于序列保留哈希算法的目标在于获取哈希编码的函数(哈希函数)，即：

H(x)＝{h₁(x),h₂(x),...,h_r(x)}

哈希函数将原实数特征矩阵映射为相对应的二值编码矩阵B＝{b₁,b₂,...,b_n}∈{0,1}^r×n，其中r为哈希编码的长度，其形式化描述如下所示：

首先，查询图像和待检索图像库的图像GIST特征抽取的形式化描述为：对于训练集中的每幅图像提取d维的GIST特征，得到一个d×n的原始视觉特征矩阵X＝{x₁,x₂,...,x_n}∈R^d×n,其中，n表示训练集中的训练样本个数，x_i为矩阵X第i列表示样本集合中第i个维度为d的GIST特征向量；

其次，使用非线性主成分分析技术，即核化主成分分解，将图像的特征降维到与哈希编码比特长度相同的低维度空间表示，具体步骤如下：

(1)对原特征做核特征变换，在样本集中随机选取m个数据点作为锚点，即A＝{a₁,...,a_m}∈R^d×m；

(2)采用高斯核变换方法对原特征进行重新描述，原特征x_i对应的高斯核特征k_i中第j维表示为k_ij＝exp(-||x_i-a_j||²/2σ²)；

(3)对新的核变换特征做主成分分析，求出从高维核特征空间到低维度的线性投影矩阵Z∈R^m×r，其优化函数为：通过非线性主成分分析后，原高维特征矩阵可以重新表示为

在新的低维度特征表达空间中，目标是求解一个序列嵌入的哈希函数，可以定义为其中sgn(·)为符号函数，用以将实数值量化为对应的哈希编码，通过双曲正切函数来逼近这个符号函数；

整个学习算法过程需要保证原空间中特征之间的序列关系在新的汉明空间中有近似等同的关系，因此目标函数可以表示为:

$\begin{array}{c}\underset{W}{\min }\underset{i=1}{\overset{n}{\Σ}}\{\underset{j,k=1}{\overset{L}{\Σ}}o(i,j,k)\[0,D_H(b_i,{\mathrm{bl}}_j)+\mathrm{\β}-D_H(b_i,{\mathrm{bl}}_k)\]\\ +\mathrm{\α}\underset{m=1}{\overset{L}{\Σ}}\underset{j,k=1}{\overset{L}{\Σ}}o(m,j,k)\max \[0,D_H({\mathrm{bl}}_m,{\mathrm{bl}}_j)+\mathrm{\β}-D_H({\mathrm{bl}}_m,{\mathrm{bl}}_k)\]\}\end{array}$

$\begin{array}{cc}s.t.& b_i=\stackrel{\‾}{H}\left({\hat{x}}_i\right),{\mathrm{bl}}_i=\stackrel{\‾}{H}\left({\hat{l}}_i\right),W^{T}W=I,\end{array}$

其中，α和β是模型参数(通常都设为1)；为对样本集进行k-means聚类得到的聚类中心特征的非线性主成分表达，bl_i为其对应的哈希编码；o(m,j,k)为序列关系函数，定义为D(m,j)为样本x_m和x_j之间的欧式距离；max[0,x]为最大值函数，定义为通过随机梯度下降的优化方法，可以求出最有的投影矩阵W,进而得到所需要的哈希函数；

对于，查询图像特征和待检索的图像库特征，采用如下哈希函数进行相应哈希编码：

H(x)＝sgn(W^TZ^Tx)。