CN104112018B - 一种大规模图像检索方法 - Google Patents

Abstract

本发明公开了一种大规模图像检索方法，包含如下步骤：图像特征提取；哈希函数投影向量学习；哈希函数偏移量学习；图像特征降维；图像特征编码；图像检索。本发明能够对大规模图像进行快速检索。首先，通过学习判别式的哈希函数，提高了编码之间的判别性，从而更好地区分不同类别的图像特征；其次，利用哈希函数对图像特征进行降维和编码，减少图像特征的存储需求和检索过程的计算开销。本发明实现了高效、准确的大规模图像检索，因此具有较高的使用价值。

Description

一种大规模图像检索方法

技术领域

本发明属于计算机图像检索领域，特别是一种大规模图像检索方法。

背景技术

随着互联网的快速发展，各种网络资源日益丰富，网络数据规模也以指数级的速度增长。在互联网上存在的各种类型数据中，图像占据了大部分，目前已达到了海量规模：2010年，著名网站Flickr统计的图片总量超过了50亿。这样的数据还在持续以惊人的速度增长，若干年后将达到难以想象的规模。毫无疑问，从如此大的数据库中快速、准确地搜索用户需要的数据变得十分重要，同时也存在巨大的困难。例如，给定一幅图像，如何在大规模的数据库中快速并且准确地搜索到与给定图像相似的图像是目前热门的研究课题，然而这类应用往往存在两个重要的问题：

1)图像特征通常是高维数据，存储要求高且计算效率较低；

2)大规模数据的检索方式对效率有很高的要求。

针对这些问题，哈希索引算法在近些年被提出，其基本思想是利用多个哈希函数把高维空间中的特征映射到低维空间，哈希索引算法中最主要的一个步骤就是特征编码，近年来有很多研究人员通过引进机器学习算法学习哈希函数来构造编码，然而目前的方法还存在判别性不足等问题。

发明内容

发明目的：本发明为了解决现有技术中的问题，提出了一种大规模图像检索方法，从而有效解决大规模数据下，图像特征的快速、准确编码、检索的问题。

发明内容：本发明公开了一种大规模图像检索方法，包含如下步骤：

步骤1，图像特征提取：对待检索图像和图像数据库的每一幅图像提取特征；

步骤2，哈希函数投影向量学习：随机选取出图像数据库中若干图像的特征，组成图像特征训练集，利用图像特征训练集学习哈希函数投影向量；

步骤3，哈希函数偏移量学习：利用图像特征训练集学习哈希函数偏移量，从而得到哈希函数；

步骤4，图像特征降维：利用哈希函数对待检索图像和图像数据库的每一幅图像的图像特征进行降维，得到每一幅图像的低维特征向量；

步骤5，图像特征编码：对每一幅图像的低维特征向量进行量化，得到每一幅图像的图像特征编码；

步骤6，图像检索。

步骤1图像特征提取具体包括如下步骤：

本发明对图像特征的种类没有特别的限制，只要经过计算，每幅图像最终得到一个特征向量，作为图像特征即可。在图像检索领域常用的特征大多数都符合这个要求，例如局部二元模式(Local Binary Pattern，LBP)直方图、颜色直方图特征、GIST特征等。

步骤2哈希函数投影向量学习具体包括如下步骤：

首先，从大规模图像特征数据库中随机选取一部分作为图像特征训练集，表示为其中表示实数，每一个图像特征x_ie都是一个d维的列向量,每一个图像特征都有一个类别标签y_ie,ie取值1至N。假设图像特征共有n类，则y_ie的取值为区间[1,n]内的一个自然数，类别标签组成标签集合将图像特征训练集中的图像特征按不同类别进行分组，得到分组表示为G＝{g₁,g₂,…,g_n}，其中n表示图像特征类别数，g_i表示第i组图像特征的集合，i取值1至n。分组标准为图像内容，举例来说，图像训练集中有三类图像，第一类为汽车，第二类为人，第三类为飞机，那么，汽车、人、飞机的图像各自被归为一组，汽车对应g₁，其标签为y₁＝1；人对应g₂，其标签为y₂＝2；飞机对应g₃，其标签为y₃＝3。分组可以采用人工分组，也可以采用现有的计算机自动处理分组方法(例如，参见参考文献：付岩，王耀威，王伟强，高文.SVM用于基于内容的自然图像分类和检索[J].计算机学报，2003:26(10)，1262-1265)。

然后，对每一组图像特征学习哈希函数投影向量。对第i组图像特征学习哈希函数投影向量的过程如下：将第i组图像特征作为一个集合M，将除第i组以外的n-1组图像特征组合成集合C。考虑到学习到的哈希函数能够获得较好的判别性，且保持M中图像特征的局部性，包括以下部分：

(1)对于集合M中的图像特征，通过计算近邻之间的距离来衡量M类的类内散列度。

(2)对于集合C中的图像特征，通过计算图像特征与图像特征中心的距离来衡量C类的类内散列度。

(3)通过计算M和C中图像特征中心的距离来衡量类间离散度。

定义学习哈希函数的目标如下：

其中列向量w表示一个哈希函数投影向量，实数t表示一个哈希函数偏移量，为类间散列度，为总类内散列度，为M类的类内散列度，为C类的类内散列度，总类内散列度是M类的类内散列度和C类的类内散列度之和。

哈希函数由投影向量和偏移量两部分组成，一个哈希函数h对图像特征x的运算称为索引，用如下方法表示：

h(x)＝w^Tx+t

其中上标T表示矩阵或向量的转置，w^Tx表示w和x作向量内积运算。

对于(1)，由于集合M中属于同类别的图像特征，因此，考虑图像特征之间的局部性，目的是使得近邻的图像特征经过哈希函数索引后，它们之间的距离能够最小化，即最小化以下优化目标：

其中NN(x_im)表示图像特征x_im在M中的近邻集合，即和x_im距离最小的若干个图像特征组成的集合。Φ(w,t,x_im,x_jm)表示特征x_im和x_jm经过哈希函数索引后的差异，其中im取值1至n_M，n_M表示M中图像特征的个数，jm取值1至n_NN，n_NN表示M中每个图像特征近邻的个数。从上式看出，步骤(1)的目的是使得M中的图像特征x_im和它的近邻NN(x_im)在经过哈希函数索引后能够尽可能的相同，即差异最小。Φ(w,t,x_im,x_jm)可进一步表示为：

Φ(w,t,x_im,x_jm)＝w^T(x_im-x_jm)(x_im-x_jm)^Tw，

因此，步骤(1)的优化目标可以表示为：

其中

对于步骤(2)，由于集合C中包含多个类别的图像特征，如果考虑局部性，反而会使不同类的图像特征在经过哈希函数索引后保持近邻关系，因此，步骤(2)不考虑图像特征之间的局部性，而是最小化图像特征和图像特征中心的距离。具体地，对于集合C中的图像特征，本发明最小化以下优化目标：

其中μ_C表示C类的图像特征中心，即C类图像特征的均值，x_ic中ic取值1至n_C，n_C表示C中图像特征的个数。那么，可以得到：

其中表示为：

对于步骤(3)，通过最大化M类和C类的图像特征中心来区分两类图像特征，据此可以得到如下优化目标：

其中

最后，可以看出，同时满足步骤(1)、(2)、(3)，等价于最大化目标函数

其中n_M表示M中图像特征的个数，n_NN表示M中每个图像特征近邻的个数，n_C表示C中图像特征的个数。从上述表示中可以看到，虽然学习一个哈希函数涉及到两个参数w和t，但在哈希函数投影向量学习的形式化描述中，参数t被抵消了，因此这部分只学习哈希函数投影向量，在后续步骤给出参数t的学习方法。具体地，最优w的解为对矩阵进行特征值分解后，最大特征值对应的特征向量。在实际应用中，对于g_i类的图像特征往往同时学习V个哈希函数，那么V个哈希函数的投影向量对应前V个最大特征值对应的特征向量。

步骤3哈希函数偏移量学习具体包括如下步骤：

在学习到哈希函数投影向量之后，再进一步学习哈希函数偏移量。具体过程如下：从每组图像特征g_i中随机选取m个图像特征对，将所用图像特征对组成一个集合P，P中共有n×m个图像特征对；任选两组图像特征g_ia,g_ib，ia，ib取值分别为1至n且ia不等于ib，每组随机选取一个图像特征组成一个图像特征对，采用这种方式，总共选取n×m个图像特征对，组成集合Q。对于一个哈希函数，在学习到w后，通过最小化P中图像特征对的编码值差异、最大化Q中图像特征对的编码值差异来学习哈希函数偏移量。具体地，对P中图像特征对(x_i1,x_i2)，最大化以下优化目标：

其中x_i1表示P中第i个图像特征对的第一个图像特征，x_i2表示P中第i个图像特征对的第二个图像特征。对Q中图像特征对(x_j1,x_j2)，最小化以下优化目标：

其中x_j1表示Q中第j个图像特征对的第一个图像特征，x_j2表示Q中第j个图像特征对的第二个图像特征。sign表示取符号函数：当x>0时，sign(x)＝1；当x＝0时，sign(x)＝0；当x<0时，sign(x)＝-1。最大化要求P中的图像特征对在取符号后的结果相同，即编码值差异最小；最小化要求Q中的图像特征对在取符号后的结果不同，即编码值差异最大。通过这种方式学习到的哈希函数偏移量，可以在一定程度上保证同类的图像特征在索引并取符号后结果相同，不同类的图像特征在索引并取符号后结果不同。

对于优化目标可以进一步表示为：

假设f(t)＝(w^Tx_i1+t)(w^Tx_i2+t)，由于w和x_i1，x_i2是已知的，因此f(t)是关于t的二次函数，令a_i1＝w^Tx_i1、a_i2＝w^Tx_i2，那么f(t)＝t²+(a_i1+a_i2)t+a_i1a_i2。当t＜min(-a_i1,-a_i2)或t＞max(-a_i1,-a_i2)时，sign(f(t))＝1；当min(-a_i1,-a_i2)＜t＜max(-a_i1,-a_i2)时，sign(f(t))＝-1。其中max表示取最大值，min表示取最小值。

求解哈希函数偏移量需同时最大化和最小化那么根据上面的推导可以得到以下优化目标：

其中函数K(c)用来衡量数据满足条件c的程度，在本发明中通过频数统计完成，即给定一个t时∑_{(xi1,xi2)∈P}K(t＜min(-a_i1,-a_i2)||t＞max(-a_i1,-a_i2))表示在集合P中满足条件t＜min(-a_i1,-a_i2)||t＞max(-a_i1,-a_i2)的图像特征对总数，相似的，K(min(-a_j1,-a_j2)＜t＜max(-a_j1,-a_j2))表示在集合Q中满足条件min(-a_j1,-a_j2)＜t＜max(-a_j1,-a_j2)的图像特征对总数。由于优化目标中只有一个参数t，因此通过对t进行线性搜索即可得到最优值，即学习到哈希函数偏移量。

步骤4图像特征降维具体包括如下步骤：

用学习到的哈希函数对图像特征进行降维。对于任意一个图像特征，用每个哈希函数对其进行运算，一个哈希函数和一个图像特征经过运算得到一个实数，将所有哈希函数运算得到的实数拼接，形成图像特征对应的低维特征向量。

步骤5图像特征编码具体包括如下步骤：

首先，对低维特征向量进行取符号操作，即对低维特征向量每一维进行sign函数运算，得到的结果是一个向量，向量元素只包含-1，0和1三种值；

其次，用0替换上述向量中的-1，得到低维特征向量的二进制编码；

然后，对二进制编码从左到右每8位为一个字节，转换为十进制数，末尾不足8位的编码加0凑足8位；

最后，将每个字节得到的十进制数拼接得到一个向量，作为图像特征的编码。

步骤6图像检索具体包括如下步骤：

给定一个查询图像，首先提取图像特征，利用哈希函数进行图像特征降维和图像特征编码，得到编码B_query；然后，将图像特征数据库中编码和B_query相同的图像特征取出，作为检索候选集；最后，检索候选集中每个图像特征和查询图像的图像特征计算距离并从小到大排序，将距离最小的若干个图像特征对应的图像作为检索结果返回。

本发明是专门针对大规模图像检索而提出的方法。本发明具有以下特征：1)哈希函数投影向量的学习过程中，能够保证同类别的图像特征保持其结构性，增强对不同类别的图像特征的判别性；2)哈希函数偏移量的学习过程中，能够使同类别的图像特征对得到的编码尽可能相同，使不同类别的图像特征对得到的编码尽可能不同；3)利用哈希函数，可以对图像特征进行降维，从而减少图像特征的存储、计算开销；4)对低维的图像特征进一步编码，得到其二进制表示并以字节为单位压缩，进一步减少图像特征的维度。总体而言，通过学习哈希函数并用哈希函数对图像特征进行降维和编码，在很大程度上减少了图像特征的维度，减少了图像特征的存储需求，提高了图像特征计算的效率，同时，由于学习哈希函数过程充分考虑了图像特征的类别信息，因此编码能够保证同类别图像特征的局部性，提高不同类别图像特征的判别性。

有益效果：本发明能够对大规模图像特征数据库快速学习哈希函数，这些哈希函数能够保持同类别图像特征的局部性，增强对不同类别图像特征的判别性。利用哈希函数对图像特征进行降维、编码，可以有效降低图像特征的维度，从而减少存储需求；另外，编码的计算效率会明显高于编码前的图像特征；最后，由于学习哈希函数过程中分利用的图像特征的类别信息，因此编码能够较好地区分不同类别的图像特征，对图像特征的语义检索有益。因此大规模图像检索方法具有较高的使用价值。

附图说明

图1为本发明流程图。

具体实施方式：

如图1所示，本发明公开了一种大规模图像检索方法，包含如下步骤：

步骤1，图像特征提取：对待检索图像和图像数据库的每一幅图像提取特征；

步骤2，哈希函数投影向量学习：随机选取出图像数据库中若干图像的特征，组成图像特征训练集，利用图像特征训练集学习哈希函数投影向量；

步骤3，哈希函数偏移量学习：利用图像特征训练集学习哈希函数偏移量，从而得到哈希函数；

步骤4，图像特征降维：利用哈希函数对待检索图像和图像数据库的每一幅图像的图像特征进行降维，得到每一幅图像的低维特征向量；

步骤5，图像特征编码：对每一幅图像的低维特征向量进行量化，得到每一幅图像的图像特征编码；

步骤6，图像检索。

步骤1图像特征提取具体包括如下步骤：

本发明对图像特征的种类没有特别的限制，只要经过计算，每幅图像最终得到一个特征向量，作为图像特征即可。在图像检索领域常用的特征大多数都符合这个要求，例如局部二元模式(Local Binary Pattern，LBP)直方图、颜色直方图特征、GIST特征等。

步骤2哈希函数投影向量学习具体包括如下步骤：

首先，从大规模图像特征数据库中随机选取一部分作为图像特征训练集，表示为其中表示实数，每一个图像特征x_ie都是一个d维的列向量，每一个图像特征都有一个类别标签y_ie，ie取值1至N。假设图像特征共有n类，则y_ie的取值为区间[1,n]内的一个自然数，类别标签组成标签集合将图像特征训练集中的图像特征按不同类别进行分组，得到分组表示为G＝{g₁,g₂,…,g_n}，其中n表示图像特征类别数，g_i表示第i组图像特征的集合，i取值1至n。分组标准为图像内容，举例来说，图像训练集中有三类图像，第一类为汽车，第二类为人，第三类为飞机，那么，汽车、人、飞机的图像各自被归为一组，汽车对应g₁，其标签为y₁＝1；人对应g₂，其标签为y₂＝2；飞机对应g₃，其标签为y₃＝3。分组可以采用人工分组，也可以采用现有的计算机自动处理分组方法。

然后，对每一组图像特征学习哈希函数投影向量。对第i组图像特征学习哈希函数投影向量的过程如下：将第i组图像特征作为一个集合M，将除第i组以外的n-1组图像特征组合成集合C。考虑到学习到的哈希函数能够获得较好的判别性，且保持M中图像特征的局部性，本发明采取以下步骤：

(1)对于集合M中的图像特征，通过计算近邻之间的距离来衡量M类的类内散列度。

(2)对于集合C中的图像特征，通过计算图像特征与图像特征中心的距离来衡量C类的类内散列度。

(3)通过计算M和C中图像特征中心的距离来衡量类间离散度。

根据以上步骤，可以定义学习哈希函数的目标如下：

其中列向量w表示一个哈希函数投影向量，实数t表示一个哈希函数偏移量，为类间散列度，为总类内散列度，为M类的类内散列度，为C类的类内散列度，总类内散列度是M类的类内散列度和C类的类内散列度之和。哈希函数由投影向量和偏移量两部分组成，一个哈希函数h对图像特征x的运算称为索引，用如下方法表示：

h(x)＝w^Tx+t

其中上标T表示矩阵或向量的转置，w^Tx表示w和x作向量内积运算。

对于步骤(1)，由于集合M中属于同类别的图像特征，因此，考虑图像特征之间的局部性，目的是使得近邻的图像特征经过哈希函数索引后它们之间的距离能够最小化，即最小化以下优化目标：

其中NN(x_im)表示图像特征x_im在M中的近邻集合，即和x_im距离最小的若干个图像特征组成的集合，Φ(w,t,x_im,x_jm)表示特征x_im和x_jm经过哈希函数索引后的差异。其中im取值1至n_M，n_M表示M中图像特征的个数，jm取值1至n_NN，n_NN表示M中每个图像特征近邻的个数。从上式看出，步骤(1)的目的是使得M中的图像特征x_im和它的近邻NN(x_im)在经过哈希函数索引后能够尽可能的相同，即差异最小。Φ(w,t,x_im,x_jm)可进一步表示为：

Φ(w,t,x_im,x_jm)＝||(w^Tx_im+t)-(w^Tx_jm+t)||²

＝||w^Tx_im-w^Tx_jm||²

＝||w^T(x_im-x_jm)||²

＝w^T(x_im-x_jm)(x_im-x_jm)^Tw

因此，步骤(1)的优化目标可以表示为：

其中

对于步骤(2)，由于集合C中包含多个类别的图像特征，如果考虑局部性，反而会使不同类的图像特征在经过哈希函数索引后保持近邻关系，因此，步骤(2)不考虑图像特征之间的局部性，而是最小化图像特征和图像特征中心的距离。具体地，对于集合C中的图像特征可以得到以下优化目标：

其中μ_C表示C类的图像特征中心，即C类图像特征的均值，x_ic中ic取值1至n_C，n_C表示C中图像特征的个数。那么，可以得到：

其中表示为：

对于步骤(3)，通过最大化M类和C类的图像特征中心来区分两类图像特征，据此可以得到如下优化目标：

其中

最后，可以看出，同时满足步骤(1)、(2)、(3)，等价于最大化目标函数

其中n_M表示M中图像特征的个数，n_NN表示M中每个图像特征近邻的个数，n_C表示C中图像特征的个数。从上述表示中可以看到，虽然学习一个哈希函数涉及到两个参数w和t，但在哈希函数投影向量学习的形式化描述中，参数t被抵消了，因此这部分只学习投影向量一个参数，在后续步骤给出参数t的学习方法。具体地，令 其中λ为拉格朗日乘子，对函数F求导可以得到：

令函数F的导数为0，可以得到：

进一步得到：

其中上标-1表示逆矩阵。由此可以得到，最优w的解为对矩阵 进行特征值分解后，最大特征值对应的特征向量。在实际应用中，对于g_i类的图像特征往往同时学习V个哈希函数，那么V个哈希函数的投影向量为前V个最大特征值对应的特征向量。

步骤3哈希函数偏移量学习具体包括如下步骤：

在学习到哈希函数投影向量之后，再进一步学习哈希函数偏移量。具体过程如下：从每组图像特征g_i中随机选取m个图像特征对，将所用图像特征对组成一个集合P，P中共有n×m个图像特征对；任选两组图像特征g_ia,g_ib，ia，ib取值分别为1至n且ia不等于ib，每组随机选取一个图像特征组成一个图像特征对，采用这种方式，总共选取n×m个图像特征对，组成集合Q。对于一个哈希函数，在学习到w后，通过最小化P中图像特征对的编码值差异、最大化Q中图像特征对的编码值差异来学习哈希函数的偏移量，具体地，对P中图像特征对(x_i1,x_i2)，最大化以下优化目标：

其中x_i1表示P中第i个图像特征对的第一个图像特征，x_i2表示P中第i个图像特征对的第二个图像特征。对Q中图像特征对(x_j1,x_j2)，最小化以下优化目标：

其中x_j1表示Q中第j个图像特征对的第一个图像特征，x_j2表示Q中第j个图像特征对的第二个图像特征。sign表示取符号函数：当x>0时，sign(x)＝1；当x＝0时，sign(x)＝0；当x<0时，sign(x)＝-1。最大化要求P中的图像特征对在取符号后的结果相同，即编码值差异最小；最小化要求Q中的图像特征对在取符号后的结果不同，即编码值差异最大。通过这种方式学习到的哈希函数偏移量，可以在一定程度上保证同类的图像特征在索引并取符号后结果相同，不同类的图像特征在索引并取符号后结果不同。

对于优化目标可以进一步表示为：

假设f(t)＝(w^Tx_i1+t)(w^Tx_i2+t)，由于w和x_i1，x_i2是已知的，因此f(t)是关于t的二次函数，令a_i1＝w^Tx_i1、a_i2＝w^Tx_i2，那么f(t)＝t²+(a_i1+a_i2)t+a_i1a_i2。当t＜min(-a_i1,-a_i2)或t＞max(-a_i1,-a_i2)时，sign(f(t))＝1；当min(-a_i1,-a_i2)＜t＜max(-a_i1,-a_i2)时，sign(f(t))＝-1。其中max表示取最大值，min表示取最小值。

求解哈希函数偏移量需同时最大化和最小化那么根据上面的推导可以得到以下优化目标：

其中函数K(c)用来衡量数据满足条件c的程度，在本发明中通过频数统计完成，即给定一个t时∑_{(xi1,xi2)∈P}K(t＜min(-a_i1,-a_i2)||t＞max(-a_i1,-a_i2))表示在集合P中满足条件t＜min(-a_i1,-a_i2)||t＞max(-a_i1,-a_i2)的图像特征对总数，相似得，K(min(-a_j1,-a_j2)＜t＜max(-a_j1,-a_j2))表示在集合Q中满足条件min(-a_j1,-a_j2)＜t＜max(-a_j1,-a_j2)的图像特征对总数。由于优化目标中只有一个参数t，因此通过对t进行线性搜索即可得到最优值，即学习到哈希函数的偏移量。

步骤4图像特征降维具体包括如下步骤：

用学习到的哈希函数对图像特征进行降维。对于任意一个图像特征，用每个哈希函数对其进行运算，一个哈希函数和一个图像特征经过运算得到一个实数，将所有哈希函数运算得到的实数拼接，形成图像特征对应的低维特征向量。

步骤5图像特征编码具体包括如下步骤：

首先，对低维特征进行取符号操作，即对低维特征每一维进行sign函数运算，得到的结果是一个向量，向量元素只包含-1，0和1三种值；

其次，用0替换上述向量中的-1，得到低维特征向量的二进制编码；

然后，对二进制编码从左到右每8位为一个字节，转换为十进制数，末尾不足8位的编码加0凑足8位；

最后，将每个字节得到的十进制数拼接得到一个向量，作为图像特征的编码。

步骤6图像检索具体包括如下步骤：

给定一个查询图像，首先提取图像特征，利用哈希函数进行图像特征降维和图像特征编码，得到编码B_query；然后，将图像特征数据库中编码和B_query相同的图像特征取出，作为检索候选集；最后，检索候选集中每个图像特征和查询图像的图像特征计算距离并从小到大排序，将距离最小的若干个图像特征对应的图像作为检索结果返回。

实施例

本实施例包括以下部分：

1.图像特征提取

本实施例利用公共图像数据集CIFAR-10学习哈希函数并对图像特征进行编码，然后进行检索。具体地，对CIFAR-10中每一幅图像提取一个原始图像像素灰度值特征：首先，通过颜色空间转换得到所有图像的灰度级图像，将每张灰度级图像的灰度值按行拼接，得到图像特征，每张图像用一个图像特征表示，每个图像特征是一个向量。

2.哈希函数投影向量学习：

CIFAR-10共有10个类别，从每个类别随机选取100个图像特征组成图像特征训练集，共1000个图像特征。

然后，对每一类学习哈希函数投影向量，下面以第1类为例，分为如下步骤

(1)将第1类图像特征作为集合M，将第2-10类图像特征作为集合C；

(2)对集合M中的每个图像特征x_im，和M中其余的所有图像特征计算欧氏距离，对欧氏距离从小到大排序，取和x_im距离最小的10个图像特征作为x_im的近邻集合NN(x_im)，即n_NN＝10。对每个图像特征x_im，计算如下结果：

将M中所有图像特征的Mat值相加，得到如下：

(3)计算集合C中的图像特征均值：

其中n_C表示集合C中图像特征的个数，在本实施例中n_C＝900。对C中所有图像特征，按如下公式计算

(4)计算集合M的图像特征均值：

其中n_M表示集合M中图像特征的个数，在本实施例中n_M＝100。对M中所有图像特征，按如下公式计算

(5)根据上述结果计算矩阵然后对其进行特征值分解，选择最大的10个特征值对应的特征向量，作为第1类图像特征学习到的10个哈希函数投影向量。

最后，对其他9个类按照第1类的方法，每类学习10个哈希函数投影向量，将所有哈希函数投影向量组合，得到100个哈希函数投影向量。

3.哈希函数偏移量学习：

首先，从图像特征训练集中选取图像特征对产生集合P。以第1类为例，每次从第1类100个图像特征中随机选取2个作为一个图像特征对，总共选取200对。剩余9类按此方式，每类选取200对，将所有图像特征对组合，形成集合P，P中共有2000个图像特征对。

其次，从图像特征训练集中选取图像特征对产生集合Q。任意选取两类图像特征，每类任取一个图像特征组成一个图像特征对，按此方式，直到取得2000个图像特征对为止，形成集合Q。Q中共有2000个图像特征对。

然后，对每个哈希函数投影向量学习哈希函数偏移量，以第1个哈希函数投影向量为例：

(1)对P中每一个图像特征对(x_i1,x_i2)，用哈希函数的投影向量计算得到a_i1＝w^Tx_i1、a_i2＝w^Tx_i2；对Q中每一个图像特征对(x_j1,x_j2)，用哈希函数的投影向量计算得到a_j1＝w^Tx_j1、a_j2＝w^Tx_j2；

(2)初始化参数t的候选值集合，最小值为-1，最大值为1，步长为0.05，因此，t的候选值集合可以表示为{-1,-0.95,-0.9…0.9,0.95,1}；

(3)对t的每个候选值，统计集合P中满足条件t＜min(-a_i1,-a_i2)||t＞max(-a_i1,-a_i2)的图像特征对个数n_P，统计集合Q中满足条件min(-a_j1,-a_j2)＜t＜max(-a_j1,-a_j2)的图像特征对个数n_Q，计算

(4)对所有t的候选值计算n_t并排序，取最大n_t对应的候选值，作为哈希函数偏移量。

最后，以上述方法对每个哈希函数学习哈希函数偏移量，将哈希函数投影向量和对应的哈稀函数偏移量组合，最后得到100个哈希函数。

4.图像特征降维：

对CIFAR-10中任意一个图像特征x_it，分别和100个哈希函数进行计算：

其中w_jt和t_jt分别表示第jt个哈希函数的投影向量和偏移量，jt取值1至100。通过上述计算，每个图像特征可以降维，从而得到100维的低维特征向量val。

5.图像特征编码：

以一个图像特征的低维特征向量val为例：

首先，对val的每一维进行取符号运算，得到sign(val)，并用0替换其中的-1，得到100位二进制编码B_code；

然后，对B_code从左到右，每8位为一个字节，共得到12个字节；最后剩下4位加4个0组成第13个字节；将这13个字节分别转换为10进制数，得到13维的特征向量，作为一个图像特征的编码。

最后，用上述方式对所有图像特征的低维特征向量进行编码。

6.图像检索

给定一张查询图像，首先，通过图像特征提取、图像特征降维、图像特征编码得到其对应的编码B_query；其次，将图像特征数据库中编码和B_query相同的图像特征取出，作为检索候选集；然后，对检索候选集中的每个图像特征和查询图像的图像特征计算距离，并从小到大排序；最后，将距离最小的10个图像特征对应的图像作为检索结果返回。

在配置为：处理器Intel i5-2430M，主频2.4GHz,4核；内存4GB；硬盘500GB；操作系统Windows7Ultimate64位；编程环境Matlab R2011a的计算机上，现有技术准确率85％左右，检索时间0.6s；本发明提出的方法准确率95％左右，检索时间0.05s。

本发明提供了一种大规模图像检索方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种大规模图像检索方法，用于从图像数据库中找到与待检索图像最相似的k幅图像，k为自然数，其特征在于，包含以下步骤：

步骤1，图像特征提取：对待检索图像和图像数据库的每一幅图像提取特征；

步骤2，哈希函数投影向量学习：随机选取出图像数据库中若干图像的特征，组成图像特征训练集，利用图像特征训练集学习哈希函数投影向量；

步骤3，哈希函数偏移量学习：利用图像特征训练集学习哈希函数偏移量，从而得到哈希函数；

步骤4，图像特征降维：利用哈希函数对待检索图像和图像数据库的每一幅图像的图像特征进行降维，得到每一幅图像的低维特征向量；

步骤5，图像特征编码：对每一幅图像的低维特征向量进行量化，得到每一幅图像的图像特征编码；

步骤6，图像检索；

步骤2包括如下步骤：

首先，将图像特征训练集中的图像特征按不同类别进行分组，得到分组表示为G＝{g₁,g₂,…,g_n}，其中n为图像特征类别总组数，g_i表示第i组图像特征，i取值1至n；

然后，对每一组图像特征学习哈希函数投影向量：对第i组图像特征学习哈希函数投影向量的过程如下：将第i组图像特征作为一个集合M，将除第i组以外的n-1组图像特征组合成集合C，通过最小化集合M和C各自的类内散列度、最大化M和C之间的类间散列度来学习哈希函数投影向量：

对于集合M，优化目标如下：

其中，为M类的类内散列度，列向量w表示一个哈希函数投影向量，NN(x_im)表示图像特征x_im在M中的近邻集合，x_im和x_jm表示图像特征，其中im取值1至n_M，n_M表示M中图像特征的个数，jm取值1至n_NN，n_NN表示M中每个图像特征近邻的个数；

对于集合C，优化目标如下：

其中，为C类的类内散列度，μ_C表示C类的图像特征中心，即C类图像特征的均值，图像特征x_ic中ic取值1至n_C，n_C表示C中图像特征的个数；

通过最大化M类和C类的图像特征中心来区分两类图像特征，得到如下优化目标：

最后，将每一组图像特征学习到的哈希函数投影向量进行组合，即最大化如下目标函数：

其中，μ_M表示M类的图像特征中心；

步骤3包括如下步骤：

首先，在每组图像特征g_i中随机采集m个图像特征对，将所有组的图像特征对组成一个集合P，则集合P中有n×m个图像特征对；

然后，任选两组图像特征g_ia,g_ib，ia，ib取值分别为1至n且ia不等于ib，每组随机选取一个图像特征组成一个图像特征对，总共选取n×m个图像特征对，组成集合Q；

最后，通过最小化集合P中图像特征对的编码值差异、最大化集合Q中图像特征对的编码值差异，为步骤2中每一个哈希函数投影向量学习一个哈希函数偏移量，将哈希函数投影向量和其对应的哈希函数偏移量组合，得到哈希函数；

步骤4包括如下步骤：

对于任意一个图像特征，用每个哈希函数对其进行运算，一个哈希函数和一个图像特征经过运算得到一个实数，将所有哈希函数运算得到的实数拼接，形成图像特征对应的低维特征向量；

步骤5包括如下步骤：

首先，对低维特征向量进行取符号操作，并用0替换其中的-1，得到低维特征向量的二进制编码；

然后对二进制编码从左到右每8位为一个字节，转换为十进制数，末尾不足8位的编码加0凑足8位；

最后，将每个字节得到的十进制数拼接得到一个向量，作为图像特征的编码；

步骤6中图像检索包括如下步骤：

根据待检索图像的编码B_query，取出图像特征数据库中编码和待检索图像的编码B_query相同的所有图像特征，并作为检索候选集；

计算检索候选集中每个图像特征和待检索图像的图像特征的欧氏距离，并按照欧氏距离由小到大输出对应k幅图像。