CN102402508A - 一种近似图像检索装置及检索方法 - Google Patents

Abstract

本发明公开了一种近似图像检索装置，其特征在于，包括高维特征矢量提取装置，层次聚类装置，SVM训练装置，基于分类器的索引装置，SVM分类装置，线性对比装置。本发明还提供近似图像检索装置的图像检索方法，将所有数据库中的图像经离线训练过程建立一个索引结构，然后，经在线检索过程利用所述索引结构快速检索出与待检索图像相似的图像。本发明有利于用户可以进行更快速更准确的近似图像检索。

Description

一种近似图像检索装置及检索方法

技术领域

本发明涉及一种图像检索装置及检索方法，尤其涉及一种使用SVM分类装置进行快速近似图像检索的装置及检索方法。

背景技术

一个图像在网络上会被广泛地传播，如被从一个网站转载到另一个网站、从一个论坛被粘贴到另一个论坛。在传播过程中，图像可能被变换格式、重新压缩、调整颜色和亮度、裁切或与别的图像进行合成等。追踪一个图像在网络上的传播与变换具有巨大的意义。比如，一些新闻网站可能把图像进行裁切和编辑以造成某些误导，如果可以追踪到原始的图像，则可获得完整的信息；某些作者会盗用别处的图片据为己有，通过追踪也可以发现这些图像的真实来源和非法使用；而追踪广告图像在不同网页上出现的情况可以让商家准确地评价自己广告的效用。

经过以上变换的图像虽然人看起来非常相似，但计算机却并不认为是完全一样的。要发现经过变换之后的图像与原始图像的配对关系，必须从每个图像提取一个高维特征矢量，并计算图像的特征矢量之间的距离，距离最小的一对图像对即很可能是相似图像。由于网络上的图像数量异常巨大，要找到与一副指定图像配对的相似图像，如果把指定图像的特征矢量与所有其它图像的特征矢量进行一一比较，其计算代价是无法接受的。

现有技术使用高维索引装置来加速高维特征矢量比对的过程。现有的高维索引装置有R-树、kd树、SR-树等几种不同的类别。这些装置的原理都是利用特征矢量之间的距离作为标准把所有数据划分成多个子集，在检索的时候只检索与待检索图像的距离最近的子集及其临近的子集。例如图1（A），图1（B）是kd树的一个例子。图1（A）中，标记为p1~p10的实心圆点是数据库中图像的特征矢量的空间分布（该例假设特征矢量是2维），线段是kd树对空间的划分，图1（B）是kd树的结构。如果要在图1（A）的kd树上检索标记为                                                

处的待检索图像，则需要从树的根节点按照实线和虚线箭头访问半棵树才能找到真正的最相似图像p2。这里不仅要沿着实线箭头的路径访问真正的相似图像p2，还要沿着虚线箭头检测其它节点。这是因为，树的每个节点记录的只是其矩形的边界，具体其内部包含的图像在哪里必须要遍历到叶子节点才能确定。所以，在遍历的中间步骤，只要节点的矩形边界与待检索图像很接近，就需要遍历该节点，而不是仅仅遍历包含待检索图像的节点。由于临近子集的数量随维数的增加指数增加，所以随着维数的增加，需要查看的子集数也指数增加，很快就达到全部数据集的规模。所以，这些装置都只能对较低维数的特征矢量有效，在特征矢量的维数较高时即不再有加速性能。 但是，由于维数低的特征能够携带的信息有限，为了达到好的检索效果，用户一般都需要使用很高的维数。

本发明提出一种新型的快速近似图像检索装置及检索方法，克服现有技术的前述缺陷，利用SVM分类器区分能力强的优点组织图像索引，从而获得比使用传统高维索引的检索装置高得多的检索速度。

发明内容

本发明的目的之一是提供一种可以快速找到最相似图像的装置，以辅助用户从海量图像库中快速找到一个图像经简单变换后的图像。

本发明提供一种近似图像检索装置，其特征在于，该近似图像检索装置包括：

高维特征矢量提取装置，其从每幅图像中提取一个高维特征矢量；该高维特征矢量可表示该图像视觉和语义特性的；

层次聚类装置，其将图像数据库中所有图像经高维特征矢量提取装置提取的所有高维特征矢量聚类为一棵二叉树；

SVM训练装置，其以所述二叉树作为基准，每个非叶子节点训练一个SVM分类器；

基于分类器的索引装置，其将所有的SVM分类器依据所述二叉树组成为一个分类器树；

SVM分类装置，其利用所述分类器树逐级对经高维特征矢量提取装置从待检索图像提取的高维特征矢量进行分类；

线性对比装置，其对比所有底层分类覆盖的图像的特征矢量与待检索图像的特征矢量的距离。

本发明还提供一种使用近似图像检索装置的图像检索方法，其特征在于，在离线训练过程中，将图像数据库中的所有图像经离线训练过程建立一个索引结构，然后，在在线检索过程中，利用所述索引结构快速检索出与待检索图像相似的图像。

其中，所述离线训练过程包括具体步骤如下：

步骤1：用高维特征矢量提取装置从图像数据库中的每幅图像中提取一个高维特征矢量；

步骤2：用层次聚类装置把所有的高维特征矢量聚类为一个二叉树；

步骤3：对所述二叉树的每个非叶子节点训练一个SVM分类器；

步骤4：基于分类器的索引装置把步骤3获得的所有SVM分类器按所述二叉树组成为一个分类器树，并把图像数据库中的所有图像放置在对应的最底层分类中；

步骤5：分类器树和底层分类的对应图像构成一个索引结构，即图像索引。

其中，上述离线训练过程中的步骤3，是指在所述二叉树的每个非叶子节点处，将一个子节点覆盖的所有图像作为正样本，将另一个子节点覆盖的所有图像作为负样本，训练一个SVM两类分类器。在上述步骤3中是用自底向上逐级归并的算法训练各个节点的分类器，并在归并过程中只保留对描述节点样本分布特性最有效的样本。

所述在线检索过程包括具体步骤如下：

步骤1：使用高维特征矢量提取装置从待检索图像中提取一个高维特征矢量；

步骤2：利用图像索引中的分类树从最顶层开始从上到下逐级对该矢量进行分类，获得一个最底层的分类；

步骤3：线性对比装置对比所述底层分类中所有图像的高维特征矢量与待检索图像的高维特征矢量的距离，把距离最小的图像取出来即为检索结果。

与现有技术相比，本发明所述近似图像检索装置的创新之处包括：1）采用层次式聚类来将数据库中的图像划分成不同的子集，从而可以允许每个子集的边界是任意形状的。而现有技术如R-树、k-d-b树、SR-树等检索装置均采用固定几何形状的子集划分方法。2）采用SVM分类器来判断在一个节点下一步向哪个子节点前进。由于SVM分类器是现有最好的分类器，可以较好地拟合任意形状的分类边界，所以使用SVM分类器可以使检索时不必检索待检索图像的临近节点，从而大大提高检索速度。

与现有技术相比，本发明所述近似图像检索方法的创新之处包括：使用本发明的方法进行近似图像检索时，可以使用更高维数的特征来表示图像的语义和视觉特征，从而使匹配更精确。

现有技术的高维索引结构中的树的节点只能使用固定的简单几何形状，如R-树和kd树只能使用超矩形，SR-树只能使用超球。这些固定的简单几何形状难以拟合节点内部数据的分布，所以导致检索时需要查看临近节点。本发明可以采用复杂的几何形状表示节点之间的边界，如图2所示，则完全可以在检索的时候只查看包含待检索图像的节点。这样，检索的速度就可以大大提高。

但是，描述复杂的边界、检测一个待检索图像的特征矢量是否落到一个复杂几何形状的内部是非常复杂，如果没有快速算法，那么在检索的时候每处理一个节点都要花费巨大的代价，其综合效果可能得不偿失。因此，本发明采用支撑矢量机（SVM：Support Vector Machine）分类算法，其原理如图3所示。图3中，方块表示一类的样本，圆圈表示另一类的样本。SVM算法通过找到在两类样本中间隙最大的一个边界区域，把边界区域的中心作为两类样本的分类边界。习惯上，把分类器所需要处理的两类样本一类叫做正样本，另一类叫做负样本。至于哪类是正哪类是负，因通常情况下并不影响算法性能，所以可以任意指定。在所有样本中，离分类边界最近的样本（图3中实心的黑色方块和圆）共同“支撑”起分类边界曲面，确定分类边界的形状，而其它样本显然对分类边界没有影响，所以在使用SVM的应用中，这些最重要的样本被叫做“支撑矢量”。

可见，如果把前面所述索引结构中每个节点的子节点所覆盖的样本看做正样本，另一个子节点覆盖的样本看做负样本，则使用SVM分类算法可以训练出一个很好地拟合二者之间复杂边界的分类器。如果使用该分类器代替原来的简单几何形状节点，则在检索过程中就只需要沿着包含待检索图像的一条路径向下查询即可，无需查看临近节点。

本发明利用以上思想克服现有技术的前述缺陷，提出一种新型的快速近似图像检索装置及检索方法，利用SVM分类器区分能力强的优点组织图像索引，从而获得比使用传统高维索引的检索装置高得多的检索速度。本发明的有益效果在于：通过使用依据本发明所制作的装置，用户可以使用更高维数、更复杂的特征来描述图像，从而使检索装置的准确率更高；同时能够使检索装置的检索速度更快，检索装置可以管理更多的图像。

附图说明

图1（A），图1（B）是现有技术的高维索引装置原理示意图；

图2是采用复杂边界划分索引装置节点的原理示意图；

图3 是SVM分类算法原理示意图；

图4 是本发明近似图像检索装置的框架构成示意图；

图5是本发明在线检索过程示意图。

具体实施方式

图4所示的是本发明近似图像检索装置的框架构成示意图。该装置包括：高维特征矢量提取装置1，层次聚类装置2，SVM训练装置3，基于分类器的索引装置4，SVM分类装置5，线性对比装置6。

使用本发明近似图像检索装置的图像检索方法包括离线训练和在线检索两个过程。其中，离线训练过程的目的是建立一个图像索引7供在线检索过程快速找到相似图像8，而在线检索过程则是利用离线训练过程的索引进行快速查找。

为了建立图像索引7，本发明的离线训练过程首先用高维特征矢量提取装置1从图像数据库中的每幅图像提取一个表示该图像视觉和语义特性高维特征矢量，然后用层次聚类装置2把所有的高维特征矢量聚类为一个树状的层次结构。这样，所有图像即被以其特征矢量的距离组织成一棵二叉树。之后，以这个二叉树作为训练的基准通过SVM训练装置3训练一系列的SVM分类器。在树的每个非叶子节点处，把一个分支覆盖的所有作图像为正样本，另一个分支覆盖的所有样本作为负样本训练一个SVM两类分类器。最后，基于分类器的索引装置4把所有分类器按所述二叉树组成一个分类器树，并把所有图像数据库中的图像放置在对应的最底层分类中。分类器树和底层分类的对应图像即构成了图像索引7。

在用户需要找到某幅图像的相似图像时，需使用在线检索过程。在线检索过程首先使用与离线训练过程一样的高维特征矢量提取装置1从待检索图像提取一个高维特征矢量，然后利用图像索引7中的分类树逐级对该矢量进行分类，最终将该矢量分类为最底层分类中的一类。最后，线性对比装置对比所有底层分类覆盖的图像的特征矢量与查询图像的特征矢量之间的距离，把距离最小图像取出来即为检索结果。

本发明中，要快速从大量的图像中检索出与待检索图像相似的图像，就必须把所有图像的高维特征矢量组织成一个树状结构。这样，在在线检索过程中，逐级访问树的节点及其子节点，当部分子节点满足一定条件的时候，可以明确知道其不会覆盖任何相似的图像，于是可以排除这些节点，从而大大降低需要处理的图像数目。如图5所示，在将待检索图像与存储装置中图像数据库的内容进行比较时，理想情况下，只有黑色节点和存储装置的数据需要被查看。最优情况下，在任何一层都只访问一个节点，而叶子节点所覆盖的图像数目基本相同，则每层索引结构可以把需要查看的图像数目减半，此时需要访问的节点和图像数量是，其中N是图像库中图像的数量。

但是，正如前面讨论，如果树的节点仅使用简单的几何形状来表示，则必需要处理包含图像特征矢量的节点及其临近的节点，否则可能导致找不到最相似的图像。而在高维空间中，空间上临近节点的数目与维数成指数关系，所以高维特征矢量的索引在使用中经常需要遍历很多节点。在很高的维数下，甚至需要遍历所有的节点。这样就导致索引结构的效率低下。

由于SVM算法可以拟合任意形状的分类边界，所以，使用SVM分类器取代高维索引中基于简单几何形状的节点可以显著提高区分能力，在在线检索过程中就可以保证每层只需要处理一个节点。这样，就可以让索引结构在处理更高维数的数据时仍然有效。

不过，要使用SVM分类器来区分子节点需要解决一些问题。首先，训练一个较为准确的SVM分类器必须有足够的样本数量。如果样本太少，则训练出的分类器可能性能很差，不能区分两个子节点。其次，如果样本数量很大，则SVM训练算法会很慢，则离线建立索引的计算开销将无法接受。由于根节点覆盖所有图像，所以最后的分类器必然需要处理全部的样本。这样，如果直接使用所有样本进行分类器训练，则系统将不能处理大规模的图像数据库。

为解决以上两个问题，本发明提出以下算法：

^【注1】依据二叉树的特性，如果中存在至少2个节点，则此处一定可以取得这样的一对节点。

在以上算法中，如果某个节点因样本数目太少而不能训练出高质量的分类器（即：训练出的分类器经五折交叉验证其分类准确率a低于0.7），则该节点将与其兄弟节点合并到父节点，从而使算法在其父节点上有更多样本来训练更好的分类器。而对于可以训练出高质量分类器的节点，则取分类器的支撑矢量作为其代表矢量。其原因在于，SVM分类器有一个重要的特性，即只有作为支撑矢量的样本才能影响SVM分类器的性能，而不作为支撑矢量的样本加入训练集并不能提高分类准确率。所以，这里把不作为支撑矢量的样本都去除，既不会影响分类训练的性能，又可以大大减少上层节点所需要处理的样本数目。于是，该算法逐层向上的过程中，大量非支撑矢量样本被去除，从而使该算法可以处理大量的样本。

以上算法的输入是二叉树。要获得，本发明采用如下的算法：

以上算法的原理是，首先建立一棵最小生成树，然后以距离由大到小的顺序删除中的边，则每删除一条边相应地把一个节点分解成两个，直到节点覆盖的图像数量低于100为止。这里当节点覆盖的图像数量低于100时即停止分解的目的是保证叶子节点包含的图像不会太少从而导致SVM算法训练分类器时困难。

实施例：

利用本发明的装置和检索方法实现的一个图像检索系统，通过网络爬虫从网络上收集了合计100万张图片组成图像数据库。在该系统中，高维特征提取装置处理每幅图像时，首先将图像分割成等大小的4x4共16个子图像，然后在每个子图像上分别提取R、G、B颜色通道的16维归一化颜色直方图。这样，高维特征提取装置将从每幅图像提取一个768维的特征矢量。在该系统中，由于特征矢量是多个归一化直方图连接组成的，特征矢量之间的距离由下面的公式计算：

其中，和是两个按以上方法提取的768维特征矢量，和是其对应的第i维。这里选用的是以直方图的交定义的距离，因为经以前的研究者报道，直方图的交评价图像之间的相似度一般来说效果优于其它相似度评价准则，所以这里把直方图的交转换成距离使用。

在该系统中，经离线训练过程，获得一棵共有41279个节点的二叉树，其中叶子节点13408个。叶子节点最多包含100幅图像，最少包含46幅图像。叶子节点最深17层，最浅9层。

为进行性能比较，同时用相同的数据实现了kd树索引结构，并从100万幅图像中随机选择1万幅图像经裁切5%、高斯模糊变换后作为测试图像。用1万幅测试图像进行在同一计算机上进行检索，使用本发明所述装置和算法的平均检索速度为15.73幅/秒，而采用kd树的装置平均检索速度为5.90幅/秒。可见本发明所述装置和检索方法确实可以提高检索速度。

本发明的上述实施例并不是对本发明的限制。因此，在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (6)

1.一种近似图像检索装置，其特征在于，其包括：

高维特征矢量提取装置（1），其从每幅图像中提取一个高维特征矢量；

层次聚类装置（2），其将图像数据库中所有图像经高维特征矢量提取装置（1）提取的所有高维特征矢量聚类为一棵二叉树；

SVM训练装置（3），其以所述二叉树作为基准，每个非叶子节点训练一个SVM分类器；

基于分类器的索引装置（4），其将所有的SVM分类器依据所述二叉树组成为一个分类器树；

SVM分类装置（5），其利用所述分类器树逐级对经高维特征矢量提取装置（1）从待检索图像提取的高维特征矢量进行分类；和

线性对比装置（6），其对比所有底层分类覆盖的图像的特征矢量与待检索图像的特征矢量的距离。

2.一种如权利要求1所述近似图像检索装置的图像检索方法，其特征在于，在离线训练过程中，将图像数据库中的所有图像经离线训练过程建立一个索引结构，然后，经在线检索过程利用所述索引结构快速检索出与待检索图像相似的图像。

3.如权利要求2所述的图像检索方法，其特征在于，所述离线训练过程包括具体步骤如下：

步骤1：用高维特征矢量提取装置（1）从图像数据库中的每幅图像中提取一个高维特征矢量；

步骤2：用层次聚类装置（2）把所有的高维特征矢量聚类为一个二叉树；

步骤3：对所述二叉树的每个非叶子节点训练一个SVM分类器；

步骤4：基于分类器的索引装置（4）把步骤3获得的所有SVM分类器按所述二叉树组成为一个分类器树，并把图像数据库中的所有图像放置在对应的最底层分类中；

步骤5：分类器树和底层分类的对应图像构成图像索引（7）。

4.如权利要求2所述的图像检索方法，其特征在于，所述在线检索过程包括具体步骤如下：

步骤1：使用高维特征矢量提取装置（1）从待检索图像中提取一个高维特征矢量；

步骤2：利用图像索引（7）中的分类树从最顶层开始从上到下逐级对该矢量进行分类，获得一个最底层的分类；

步骤3：线性对比装置（6）对比所述底层分类中所有图像的高维特征矢量与待检索图像的高维特征矢量的距离，把距离最小的图像取出来即为检索结果。

5.如权利要求3所述的图像检索方法，其特征在于，所述离线训练过程中的步骤3是指在所述二叉树的每个非叶子节点处，将一个子节点覆盖的所有图像作为正样本，将另一个子节点覆盖的所有图像作为负样本，训练一个SVM两类分类器。

6.如权利要求3所述的图像检索方法，其特征在于，所述离线过程中的步骤3是用自底向上逐级归并的算法训练各个节点的分类器，并在归并过程中只保留对描述节点样本分布特性最有效的样本。

Images