CN102819582B - 一种海量图片快速检索方法 - Google Patents

Abstract

本发明提出了一种新的海量图片快速检索方法，包括以下几个方面一是通过把RGB颜色空间的图片转化到HSV颜色空间，二是通过把图片空间分块，分别提取各个小块的HSV颜色直方图信息，三是使用谱哈希算法得到图片的索引特征，四是对使用谱哈希索引特征检索返回的相似图片集，使用原始的HSV颜色空间分块颜色直方图特征，采用街区距离作为图像之间相似性度量的函数，对基于谱哈希生成的索引特征返回的相似图片集进行重新排序，实验证明，与以往算法相比，本发明提出的算法能准确实时的处理百万规模的图片数据，这种方法能够用于互联网基于内容的图片检索，在线电子购物网站等场景中。

Description

一种海量图片快速检索方法

技术领域

本发明涉及应用于基于内容的图像检索、电子购物网站领域，尤其涉及一种海量图片快速检索方法。

背景技术

目前，随着照相机，手机，摄像机等电子产品的普及，我们可以随时随处，拍下我们喜欢的景色，动物，食品，等等各种各样的图片。截止到2010年一月，Facebook声称其网站上图片的数量已经超多250亿张，面对如此海量的图片资源，如何快速准确的找到我们感兴趣的图片已经是我们必须要解决的问题。正是在这种背景之下，本发明从图片中提取HSV颜色空间分块颜色直方图信息，由于它考虑到了颜色的空间分布信息，相比于传统的颜色直方图特征具有更好的判别性，可以过滤掉颜色信息相同但是空间分布不同的图片；同时本发明采用谱哈希算法把颜色直方图特征向量嵌入到二进制空间，这样既节省了存储空间，同时大大减少了相似度计算带来的复杂度，可以实现海量图片的快速检索。

传统的基于文字的图像检索方法，有着内在的缺陷：由于图片需要人工标注，给人带来了繁重的工作量，同时由于图片信息的丰富，往往标注人员很难能把图片所展示的信息完全标注出来；另一方面由于人的主观性，不同的人可能对于一幅图片的理解和兴趣点完全都不同，这样标注出来的信息也就可能完全不同。

传统的基于内容的图像检索，由于颜色直方图没有考虑颜色的空间分布，当处理海量的图片信息的时候，往往有好多图片的颜色直方图信息完全相同，但是颜色的空间分布很不一致。为此，本发明采用基于分块的颜色直方图特征，通过对空间划分的各个小块提取颜色直方图信息，并且在图片之间的相似度计算的时候只考虑对应块之间的相似度，这样既考虑了颜色的信息，同时考虑到颜色的空间分布信息，增加了判别性。

为了快速对海量图片数据进行处理，实时进行检索结果的呈现，高维索引技术是必不可少的。传统的高维索引技术主要可以分为两大类，一种是基于空间划分的方法，通过一定的规则进行空间划分，并且通过一定的规则过滤掉不可能是目标搜索区域的数据点，这种方法在特征维度比较小的时候效果比较好，当特征的维度高于20维的时候，这种方法就会退化成查询特征向量和数据库中每一个的特征向量线性的对比的过程，失去了原有的优势。另一种是随机方法，比较有代表性的是局部敏感哈希方法(Locality Sensitive Hashing)，但是由于该方法需要维持多张哈希索引以保证相似的特征向量被映射到相同的哈希桶中，这就需要使用大量的内存空间，面临海量的数据，这种方法也是不合适的。

发明内容

针对上述技术缺陷，本发明提出一种海量图片快速检索方法。

为了解决上述技术问题，本发明的技术方案如下：

一种海量图片快速检索方法，包括如下步骤：

11)首先把图片从RGB颜色空间转化到HSV颜色空间，然后对HSV颜色空间的三个通道H，S，V分别均匀量化为12，2，2个区间，使其量化成48种颜色；对图片按照水平和垂直的方向分别平均的分成两个小块，分别把每一个小块当做一张图片，计算上面的HSV颜色直方图的统计信息，使得每一个小块生成48维度的颜色特征,把4个小块的颜色特征从上到下，从左到右，结合成一个一维的特征向量，这样一张图片就会生成48*4＝192维度的特征向量；

12)使用谱哈希算法把原始的HSV颜色空间分块颜色直方图192维度的特征向量嵌入到二进制空间，得到的二进制索引特征；

13)使用汉明距离计算待查询图像二进制索引特征和数据库中所有图片的二进制索引特征的距离，返回汉明距离小于一个阈值T的所有图片作为相似图片集；

14)对步骤13)采用二进制索引特征返回的相似图片集中的每一幅图像，依次计算待查询图像原始HSV颜色空间分块颜色直方图特征和相似图片集中的每一幅图像对应的原始HSV颜色空间分块颜色直方图特征的街区距离，并对所有的距离排序，并且按照距离的排序返回查询图片的目标结果集。

进一步的，所述步骤11)中将HSV颜色空间量化成48种颜色，包括如下步骤：HSV颜色空间的三个通道H,S,V通道分别量化的数量为HBin，SBin和VBin，取HBin＝12，SBin＝2，VBin＝2，使用三个整数值HValue，SValue，和VValue代表三个通道每个数值落入的小区间的标号，其中0<＝HValue<＝HBin-1,0<＝SValue<＝SBin-1,0<＝VValue<＝VBin-1，使用以下公式计算最终要生成的颜色直方图的标号，这个最终颜色直方图的标号用Bin表示，Bin＝HValue*SBin*VBin+SValue*VBin+VValue，Bin的取值范围是0<＝Bin<＝47，即一幅图片的直方图表示成了48维度的直方图。

进一步的，所述步骤12)将特征向量嵌入到二进制空间，得到的二进制索引特征，包括如下步骤：

一个图片集特征向量的集合{x_i}，每一个特征向量x_i是d维度空间的一个样本点，使用谱哈希算法将原始的特征向量嵌入到二进制空间中，使得新生成的特征向量用k位0或者1的比特位表示，所述谱哈希算法包括如下步骤：

31)使用主成分分析算法得到数据集{x_i}的各个主成分分量；

32)在每一维度主成分分析算法主方向上，使用公式(1)计算k个最小单一维度的特征函数，在计算每一维度特征函数的时候可以通过假定数据是分布在区间[a，b]上的均匀分布来简化计算，这样得到了k×d个特征值，对这些特征值进行排序保留k个最小的特征值；

${\mathrm{\&lambda;}}_j=1-e^{-\frac{{\mathrm{\&epsiv;}}^2}{2}|\frac{j\&times;\mathrm{\&pi;}}{b-a}{|}^2}---\left(2\right)$

所述公式(1)计算的是变量x第j维度的特征函数其中的参数含义如下：π代表圆周率，j是特征向量维度的标号，x表示的是特征向量在第j维度的取值其中a和b代表了x的取值范围，也就是a<＝x<＝b；

公式(2)计算的是变量x第j维度的特征值λ_j，其中ε定义了在高维空间中两个相似点之间的距离；

33)以0为阈值对特征函数进行量化，即得到的最终比特位为1，否则得到最终的比特位为0。

进一步的，所述步骤13)包括如下步骤：使用公式计算待查询图像二进制索引特征和数据库中所有图片的二进制索引特征的距离；其中，代表模2加法运算，x和y都是长度为k由0或者1组成的二进制索引特征向量，即，k代表了特征向量x，和y的二进制位数。

进一步的，所述步骤14)包括如下步骤：使用街区距离对原始的HSV颜色空间分块颜色直方图特征进行重新排序；其中d代表了原始HSV颜色空间分块颜色直方图特征向量x和y的维度。

进一步的，对每一个颜色的出现频率开根号作为该维度的特征，最后的这192维度的的特征向量的每一个维度除以这张图片的总的像素个数作为最后的HSV颜色空间分块颜色直方图特征向量。

本发明的有益效果在于：本发明提出了一种新的海量图片快速检索方法，可以快速，准确，实时的处理海量的图片信息。其基本特征包括以下几个方面。一是通过把RGB颜色空间的图片转化到HSV颜色空间，可以更好模拟人眼感官特性。二是通过把图片空间分块，分别提取各个小块的HSV颜色直方图信息，可以同时考虑颜色和空间分布的信息。三是使用谱哈希算法得到图片的索引特征，采用这种方法可以减低特征占用的存储空间和计算图片特征相似度所用的时间。四是对使用谱哈希索引特征检索返回的相似图片集，使用原始的HSV颜色空间分块颜色直方图特征，采用街区距离作为图像之间相似性度量的函数，对基于谱哈希生成的索引特征返回的相似图片集进行重新排序。实验证明，与以往算法相比，本发明提出的算法能准确实时的处理百万规模的图片数据，这种方法能够用于互联网基于内容的图片检索，在线电子购物网站等场景中。

附图说明

图1为提取HSV分块颜色直方图流程图；

图2为图片检索整体流程图；

图3为不同特征在SET1数据集上平均精度对比。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

本发明主要有如下四个部分：一是提取HSV颜色空间的分块颜色直方图特征；二是通过谱哈希算法把原始的HSV颜色空间的分块颜色直方图信息嵌入到二进制空间，生成原始特征的二进制索引特征；三是使用汉明距离对查询图片的二进制索引特征和数据库中所有图片的二进制索引特征进行对比，返回一个汉明距离小于一个阈值的相似图片集；四是利用街区距离度量函数，使用原始的HSV颜色空间分块颜色直方图特征，进行查询图像和经过使用二进制索引特征返回的相似图片集进行一一对比，并对相似度进行排序，按照相似度返回最终的查询结果图片集。

下面将对本发明的四个部分分别加以详细说明。

提取HSV颜色空间的分块颜色直方图特征：

首先把图片从RGB颜色空间转化到HSV颜色空间。然后对HSV颜色空间进行均匀颜色量化，量化成48种颜色。具体的说，HSV颜色空间的三个通道H，S，V分别均匀量化为12，2，2个区间，这样总共量化的颜色数量为12*2*2＝48种。最后对一张图片按照水平和垂直的方向分别平均的分成两个小块，这样一张图片就被分为4个小块，分别把每一个小块当做一张图片，计算上面的HSV颜色直方图的统计信息，每一个小图片会生成48维度的颜色特征，计算的方法是，假设HSV颜色空间的三个通道H,S,V通道分别量化的数量为HBin，SBin和VBin，在实现中，设定HBin＝12，SBin＝2，VBin＝2。设定了每个通道颜色量化的数量后就可以按照各个通道颜色的取值范围，均匀的把H，S，V三个通道分为HBin份，SBin份和VBin份，这样使用三个整数值HValue，SValue，和VValue代表了三个通道每个数值落入的小区间的标号。其中0<＝HValue<＝HBin-1,0<＝SValue<＝SBin-1,0<＝VValue<＝VBin-1。这样一个HSV颜色空间的一个颜色(h,s,v)其中h,s,v代表了三个通道的取值，按照上面给出的HBin，SBin和VBin的数量，对每个通道的颜色均匀量化得到的量化的标号是(HValue,SValue,VValue)，使用下面的公式计算最终要生成的颜色直方图的标号，这个最终颜色直方图的标号用Bin表示。Bin＝HValue*SBin*VBin+SValue*VBin+VValue，根据上面各个变量的取值可以知道Bin的取值范围是0<＝Bin<＝47，这样一幅图片的直方图就可以表示成48维度的直方图。这样把4个小图片的颜色特征从上到下，从左到右，结合成一个一维的特征向量，这样一张图片就会生成48*4＝192维度的特征向量。在自然图片中，一张图片往往集中在少数几个颜色，这几个少数的显著的颜色的数值就会远远的大于其他颜色的数值，在计算两张图片的相似度的时候就会引起算法的不稳定。为了缓解这种现象，对每一个颜色的出现频率开根号作为该维度的特征。最后考虑到不同图片尺寸的不同，最后的这192维度的的特征向量的每一个维度除以这张图片的总的像素个数作为最后的HSV颜色空间分块颜色直方图特征向量。

生成原始颜色直方图特征的二进制索引特征：

使用谱哈希算法把原始的HSV颜色空间分块颜色直方图192维度的特征向量嵌入到二进制空间，新得到的二进制索引特征，新得到的二进制索引特征把每一个图片的特征描述为192个比特位，这样每一张图片就可表示成192÷8＝24个字节来表示。

假定一个图片集特征向量的集合{x_i}，每一个特征向量x_i是d维度空间的一个样本点，使用谱哈希算法将原始的特征向量嵌入到二进制空间中，使得新生成的特征向量用k位0或者1的比特位表示。具体的谱哈希算法有以下步骤：

1)使用主成分分析算法(PCA)得到数据集{x_i}的各个主成分分量。

2)在每一维度PCA主方向上，使用公式(1)计算k个单一维度的特征函数，在计算每一维度特征函数的时候可以通过假定数据是分布在区间[a，b]上的均匀分布来简化计算。这样得到了k×d个特征值，对这些特征值进行排序保留k个最小的特征值。

${\mathrm{\&lambda;}}_j=1-e^{-\frac{{\mathrm{\&epsiv;}}^2}{2}|\frac{j\&times;\mathrm{\&pi;}}{b-a}{|}^2}---\left(2\right)$

公式(1)计算的是变量x第j维度的特征函数其中的参数含义如下：π代表圆周率，j是特征向量维度的标号，x表示的是特征向量在第j维度的取值其中a和b代表了x的取值范围，也就是a<＝x<＝b。

公式(2)计算的是变量x第j维度的特征值其中ε定义了在高维空间中两个相似点之间的距离，从公式(1)可以看出，这个参数不影响特征函数，而且这个参数对特征值的数值排序也没有影响。其他的参数与公式(1)相同。

3)以0为阈值对特征函数进行量化。即得到的最终比特位为1，否则得到最终的比特位为0。

使用汉明距离计算查询图像和数据库图像的二进制索引特征的距离：

对于一张输入的待查询图像，使用谱哈希算法把待查询图像的原始的HSV颜色空间分块颜色直方图特征嵌入到二进制空间中，得到待查询图像的二进制索引特征。然后使用公式(3)汉明距离计算待查询图像二进制索引特征和数据库中所有图片的二进制索引特征的距离，返回汉明距离小于一个阈值T的所有图片作为相似图片集返回。举个例子，假设设定二进制索引特征的长度为6，两个二进制索引特征向量B1，B2分别为：B1＝101101，B2＝110011。那么计算B1和B2的汉明距离，就是比较两个特征向量对应位置取值不同的个数，以这个例子来说，两个特征向量从第二位到第五位取值都是不同的，那么它们之间的汉明距离就为4。假定设置的阈值T＝3，那么以B1作为检索的特征，B2就会被过滤掉了。在我们的实现中索引二进制特征采用的是192维度的，通过实验验证一般取T＝10能去的较好的检索正确率和检索时间的折中。

由于把图片特征表示成二进制位的形式，并且采用汉明距离作为图片之间相似性的度量函数，图片之间相似性计算的过程非常快，这样把大部分不相似的图片在很短的时间过滤掉了。这样就可以在返回的小规模的相似图片集中使用原始HSV颜色空间分块颜色直方图特征和使用更加精准的相似性度量函数来计算图片之间的相似度。

$D(x,y)=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{x}_i\&CirclePlus;y_i---\left(3\right)$

其中，代表模2加法运算，x和y都是长度为k由零或者一组成的二进制索引特征向量，即x_i∈{0，1}，y_i∈{0，1}，k代表了特征向量x，和y的二进制位数。

对小规模的相似图片集进行重新排序：

由于使用谱哈希算法把原始特征嵌入到二进制空间，不可避免的产生了信息丢失。对采用二进制索引特征返回的相似图片集，采用公式(4)街区距离对原始的HSV颜色空间分块颜色直方图特征进行重新排序，就是为了把由于采用谱哈希算法带来的信息丢失，进行最大限度的补偿。这样就能结合两方面的优点，也就是：采用二进制索引特征快速过滤掉大部分不相似图片；使用原始的HSV颜色空间分块颜色直方图特征在返回的相似图片集合上重新排序，提高了系统的准确率。具体的方法是：对采用二进制索引特征返回的相似图片集中的每一幅图像，计算待查询图像原始HSV颜色空间分块颜色直方图特征和这个图片对应的原始HSV颜色空间分块颜色直方图特征的街区距离，并对所有的距离排序，并且按照距离的排序返回查询图片的目标结果集。

$D(x,y)=\underset{i=1}{\overset{d}{\mathrm{\&Sigma;}}}|x_i-y_i|---\left(4\right)$

其中d代表了原始HSV颜色空间分块颜色直方图特征向量x和y的维度。

本发明性能评价：

本发明的性能指标有两个：精度，检测时间。

公式表示如下：

综上所述，本发明提出了一种新的海量图片快速检索方法，该方法提出了一种以HSV颜色空间分块颜色直方图特征作为图片特征向量，同时为了处理海量的图片资源，实时准确的返回用户感兴趣的图片，本方法提出了一种基于两步的检索流程。首先使用基于谱哈希算法生成的索引二进制特征进行快速的检索，过滤掉与检索图片差别比较大的图片，然后对通过过滤可能相似的图片集合进行第二次的，基于原始HSV颜色空间分块颜色直方图作为图片特征，使用街区距离进行重新排序的检索算法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (1)

1.一种海量图片快速检索方法，其特征在于，包括如下步骤：

11)首先把图片从RGB颜色空间转化到HSV颜色空间，然后对HSV颜色空间的三个通道H，S，V分别均匀量化为12，2，2个区间，使其量化成48种颜色；包括如下步骤：HSV颜色空间的三个通道H,S,V通道分别量化的数量为HBin，SBin和VBin，取HBin＝12，SBin＝2，VBin＝2，使用三个整数值HValue，SValue，和VValue代表三个通道每个数值落入的小区间的标号，其中0<＝HValue<＝HBin-1,0<＝SValue<＝SBin-1,0<＝VValue<＝VBin-1，使用以下公式计算最终要生成的颜色直方图的标号，这个最终颜色直方图的标号用Bin表示，Bin＝HValue*SBin*VBin+SValue*VBin+VValue，Bin的取值范围是0<＝Bin<＝47，即一幅图片的直方图表示成了48维度的直方图；对图片按照水平和垂直的方向分别平均的分成两个小块，分别把每一个小块当做一张图片，计算上面的HSV颜色直方图的统计信息，使得每一个小块生成48维度的颜色特征,把4个小块的颜色特征从上到下，从左到右，结合成一个一维的特征向量，这样一张图片就会生成48*4＝192维度的特征向量；

12)使用谱哈希算法把原始的HSV颜色空间分块颜色直方图192维度的特征向量嵌入到二进制空间，得到二进制索引特征；包括如下步骤：一个图片集特征向量的集合{x_i}，每一个特征向量x_i是d维度空间的一个样本点，使用谱哈希算法将原始的特征向量嵌入到二进制空间中，使得新生成的特征向量用k位0或者1的比特位表示，所述谱哈希算法包括如下步骤：

121)使用主成分分析算法得到数据集{x_i}的各个主成分分量；

122)在每一维度主成分分析算法主方向上，使用公式(1)计算k个最小单一维度的特征函数，在计算每一维度特征函数的时候可以通过假定数据是分布在区间[a，b]上的均匀分布来简化计算，这样得到了k×d个特征值，对这些特征值进行排序保留k个最小的特征值；

${\mathrm{\&lambda;}}_j=1-e^{-\frac{{\mathrm{\&epsiv;}}^2}{2}|\frac{j\&times;\mathrm{\&pi;}}{b-a}{|}^2}---\left(2\right)$

所述公式(1)计算的是变量x第j维度的特征函数其中的参数含义如下：π代表圆周率，j是特征向量维度的标号，x表示的是特征向量在第j维度的取值，其中a和b代表了x的取值范围，也就是a<＝x<＝b；

公式(2)计算的是变量x第j维度的特征值，其中ε定义了在高维空间中两个相似点之间的距离；

123)以0为阈值对特征函数进行量化，即得到的最终比特位为1，否则得到最终的比特位为0；

13)使用汉明距离计算待查询图像二进制索引特征和数据库中所有图片的二进制索引特征的距离，返回汉明距离小于一个阈值T的所有图片作为相似图片集，包括如下步骤：使用公式计算待查询图像二进制索引特征和数据库中所有图片的二进制索引特征的距离；

其中，代表模2加法运算，x和y都是长度为k由0或者1组成的二进制索引特征向量，即x_i∈{0，1}，y_i∈{0，1}，k代表了特征向量x，和y的二进制位数；

14)对步骤13)采用二进制索引特征返回的相似图片集中的每一幅图像，依次计算待查询图像原始HSV颜色空间分块颜色直方图特征和相似图片集中的每一幅图像对应的原始HSV颜色空间分块颜色直方图特征的街区距离，并对所有的距离排序，并且按照距离的排序返回查询图片的目标结果集，包括如下步骤：使用公式计算待查询图像原始HSV颜色空间分块颜色直方图特征和相似图片集中的每一幅图像对应的原始HSV颜色空间分块颜色直方图特征的街区距离，并对所有的距离排序，并且按照距离的排序返回查询图片的目标结果集；其中d代表了原始HSV颜色空间分块颜色直方图特征向量x和y的维度；

对每一个颜色的出现频率开根号作为该维度的特征，最后的这192维度的的特征向量的每一个维度除以这张图片的总的像素个数作为最后的HSV颜色空间分块颜色直方图特征向量。