CN104317946A - 一种基于多张关键图的图像内容检索方法 - Google Patents

Abstract

本发明公开一种基于多张关键图的图像内容检索方法，包括步骤如下：步骤1：使用多张图像作为关键图，以进行图像检索；步骤2：分别对每张关键图提取特征集合；步骤3：使用事先建立的单词表，并通过频率直方图的方式，来表征每张关键图的特征；步骤4：对每张关键图的直方图计算交集，以组合成新的直方图；步骤5：使用步骤4生成的直方图在特征库中进行检索。本发明的多张关键图特性，增加了图像内容检索的多样性，也为图像检索提供了一种有效的检索模型。

Description

一种基于多张关键图的图像内容检索方法

技术领域

本发明涉及的是一种图像内容检索方法，具体是一种基于BOF(Bag-of-Features)模型的图像内容检索方法。

背景技术

随着互联网多媒体的广泛应用，以及多媒体云服务的日益兴起，海量图像与视频的快速和精确检索成为一种迫切的需求与挑战。如何组织、表达、存储、管理、查询和检索这些海量数据，是对传统数据库技术的一个重大挑战，是迫切需要解决的问题，同时这也成为近几十年来国内外讨论和研究的热点。

目前图像检索可以被分两大类：基于文本的检索和基于内容的检索。基于文本的检索，是通过人工对图片进行注解，再使用文本的搜索方式进行检索。该方式易于理解，实现简单，但它过于依赖人对图片的主观感知并且注解工作量大。而基于内容的检索，是使用可视特征进行检索，并融合了计算机视觉、图像处理、图像理解和数据库等多个领域的技术成果，以避免人工描述的主观性。它允许用户输入一张图片，以查找相似内容的图片。

经过对现有技术的检索发现，中国专利文献号CN103473327A，公开日2013-12-25记载了一种“图像检索方法与系统”，该技术针对给定的查询文本和/或查询图片，分别根据文本相关性和图片内容相关性,综合考虑并得出文本相似度和图片内容相似度，最终返回一个综合的排序列表。该专利使用传统的图像内容检索方式，只能输入一张查询图像。

发明内容

针对上述现有技术中存在的技术问题，本发明提出一种基于多张关键图的图像内容检索方法。在以图搜图的过程中，可以使用多张图像作为关键图，该方法为图像内容的检索提供了一种新的有效思路，对于用户希望输入多张关键图来提升检索效果的时候将非常有效，其作为一个新兴研究方向，具有很大的发展空间。

为达到上述目的，本发明所采用的技术方案如下：

基于多张关键图的图像内容检索方法，包括如下步骤：

步骤1：使用多张图像作为关键图，以进行图像检索；

步骤2：分别对每张关键图提取特征集合；

步骤3：使用事先建立的单词表，并通过频率直方图的方式，来表征每张关键图的特征；

步骤4：对每张关键图的直方图计算交集，以组合成新的直方图；

步骤5：使用步骤4生成的直方图在特征库中进行检索。

根据步骤1，所述的关键图可以存在多张，并且每张关键图的图像内容在视觉上存在一定相似度，不能是毫无关联的几张图像。

根据步骤2，所述的特征集为提取的图像特征需要为图像内容的局部特征，例如SIFT(Scale-invariant feature transform)、LBP(Local Binary Patterns)，并且提取出的局部特征存在多个以形成一个集合。

根据步骤3，所述的单词表为全体局部特征的集合，可以对预先准备的图像库中的图像进行局部特征提取，通过使用分类或聚类算法，如K-Means、支持向量机SVM，对这些局部特征进行训练，以形成分类后的视觉特征，这组特征即可以构成单词表。

特征的表征方式，具体包括如下步骤：

步骤3.1：对步骤2中提取的每张关键图的局部特征分别进行统计，计算其在单词表中出现的次数；

步骤3.2：以视觉特征为横坐标，次数为纵坐标，对统计结果建立直方图；

步骤3.3：对建立的直方图进行归一化。

根据步骤4，所述的直方图的交集计算方法，即利用下面的公式计算：

$H_i=\underset{i}{\mathrm{\Σ}}\min (A_i,B_i,...)$

H＝(H₁,H₂,...)

其中，i代表第i个视觉特征，Ai和Bi分别代表了不同关键图的第i个视觉特征的出现频率，Hi即为第i个视觉特征相交后的结果，H即为最终得到的直方图。

根据步骤5，所述的特征库为为可搜索到的全体图像，通过步骤1至步骤4所生成的所有直方图特征的数据集合。

本发明所提供的基于多张关键图的图像内容检索方法，在以图搜图的过程中，可以使用多张图像作为关键图。其采用BOF(Bag-of-Features)模型，首先分别对每张关键图提取特征词汇，并用特征词汇的频率直方图表征每张关键图，再对所有频率直方图利用取交集的方法进行组合，最终使用组合后的特征进行检索，以完成图像搜索过程。本发明的多张关键图特性，增加了图像内容检索的多样性，也为图像检索提供了一种有效的检索模型。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的预处理流程图；

图2是本发明的检索流程图；

图3是本发明的模型框架图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本发明提供的基于多张关键图的图像内容检索方法，是通过以下方案实现的：算法采用了BOF模型，首先分别对每张关键图提取SIFT和LBP特征，并通过加权K-Means聚类以获得局部特征的词汇，进而使用频率直方图来表征每张关键图，再通过对直方图做交集的方法对这些直方图进行组合，最终使用组合后的特征进行相似度检索，以完成图像搜索过程。算法可以分为两个流程，预处理过程和检索过程。

如图1所示，预处理流程具体步骤如下：

第一步特征提取。扫描图像数据库，提取SIFT和LBP特征。其中SIFT描述子采用128维特征，LBP特征使用刚性分割的方式，将输入的关键图分割为16x16的块，并使用等价二值模式进行特征提取，并获得59维的直方图；

第二步构建单词表。使用加权K-means方法对SIFT和LBP特征分别构建单词表，其中单词表大小为N，SIFT特征的单词表大小所占权重为w；

第三步产生描述。经过聚类后，每幅图像均可使用频率直方图来描述单词表中词汇在图像中的出现频率，为每幅图像生成频率直方图，并记录到特征数据库中。至此预处理过程完毕。

如图2所示，图像检索流程具体步骤如下：

第一步特征提取。用户输入多张查询图像，对每幅图像分别提取SIFT和LBP特征，提取方式与预处理过程相同；

第二步特征组合。对每幅输入图像，将SIFT和LBP特征分别映射到单词表中的词汇，并使用直方图统计每个局部特征出现的频率，形成频率直方图；

第三步查询图像特征合并。使用直方图相加或直方图相交的方法，将多张查询图像的特征直方图进行合并，生成最终查询用的直方图；

第四步扫描特征数据库，将直方图与特征库进行比对。使用直方图相交的距离测算方式来进行相似度度量，并将结果进行排序。

在上述预处理和图像检索过程中，涉及到了如下技术细节：BOF模型的运用、SIFT-LBP特征的提取、加权K-Means聚类方法、频率直方图的组合方式。以下分别针对这四个细节作出说明：

BOF模型的运用

BOF模型借鉴了BOW模型的思想，将图像描述成一些局部特征的集合，以表征图像。它从每张图像中提取SIFT和LBP局部特征，组合后使用K-means算法进行聚类以产生单词表，并将图像使用频率直方图进行描述。当一张图像被搜索时，仅需要使用直方图相交进行匹配，产生一个相似度排序，最终得到检索结果。

在本发明中，由于涉及到输入多张关键图，因此算法框架模型需要略做改进。如图3所示，为本文算法的框架模型。在该模型的应用中，涉及到了四个关键点：局部特征、单词表、描述方式和输入关键图的特征组合。

(1)局部特征

BOF模型比较重要的一个思想便是使用一些局部特征来表述图像。一张图像可以被分成多个小的图像块，通过分别提取这些块的特征，以形成一个图像块集合。通常，图像块的分割有两种，典型的，使用SIFT特征作为局部特征，由于SIFT算法包含了关键点的探测过程，因此每个SIFT关键点均可被视为某图像块的中心，可以定义一个以此为中心的小正方形块，来完成柔性分割。结合其他局部描述子，即可从图像块中提取特征，形成视觉词汇。如果不采用这类方法，也可以使用刚性划分的方式，将图像进行分割，再进行提取。本发明对这两种形式均进行了采用，对于SIFT特征则使用其算法本身，形成一个128维的向量特征集合，对于LBP特征使用了刚性的划分，单独生成特征集合。

(2)单词表

单词表即为全体视觉词汇的集合。对图像库中的图像进行局部特征提取，通过使用分类或聚类算法对这些图像块特征进行训练，以形成分类后的视觉词汇。这样任何一副图像均可用单词表中的视觉词汇来进行描述。本发明的分类，采用了K-Means聚类算法，由于其算法高效易用，也广泛被研究人员所接受并使用于BOF模型之中。当SIFT和LBP局部特征被提取后，使用K-Means对整个集合进行训练，最终产生聚类结果，每个SIFT特征和LBP特征均可被单词表中词汇替代，来描述图像。

(3)描述方式

图像的描述使用了频率直方图的方式，统计图像中出现词汇的频率，形成一个直方图，来表征图像。相似度检测便直接通过比较两个直方图来得到。本发明使用的距离公式为直方图相交。对于给定的图像A和图像B，直方图相交可以定义为：

$(A,B)=1-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\min (a_i,b_i)$

其中，a_i和b_i分别代表图像A和图像B第i个视觉词汇的出现频率(i的范围取决于单词表的大小)。

给定一张图像Q，Q与图像数据库中每张图像的距离均会被计算，从而可以获取每张图像与Q的相似度度量，并以此为依据进行排序，而最相似的一组图像则为我们所查询的图像集合。

(4)输入关键图的特征组合

在多个输入关键图的情况下，关键图在进行SIFT-LBP特征提取后需要组合特征，这样才能使用BOF模型。对于每张输入查询图像，均提取SIFT-LBP特征，使用单词表词汇来描述图像，并各自生成频率直方图。针对每个直方图，采用了对直方图计算交集的方法进行特征组合。最后使用组合后的直方图，进行相似度匹配。

SIFT-LBP特征的提取

本发明在预处理时，SIFT特征与LBP特征将被分别计算，并形成自己独立的单词表。其中，LBP特征的提取使用了刚性分割的方式，将图像分割为16x16的图像块，并提取等价二值模式。最终SIFT特征与LBP特征将在最终的直方图特征描述时进行组合。其构建过程如下：

第一步使用128维的SIFT算法对图像进行特征提取；

第二步将图像分割为16x16的图像块，并对每块区域提取出等价二值模式。与第一种方法不同的是，这里提取的LBP特征使用了直方图的方式表征为一个59维的特征向量；

第三步对于SIFT和LBP特征集合，使用K-Means聚类方法分别建立单词表。使用BOF模型进行表征时，则会将两个特征的频率直方图一起进行计算。

加权K-Means聚类方法

K-means聚类由于其简单高效性，而广泛为图像处理领域所使用。在BoF模型中，它经常被用作特征分类的手段，以构造一个单词表。在SIFT-LBP的特征组合方式中，SIFT特征的数量与LBP特征的数量差距可能较大，会导致SIFT特征主导了组合特征的效果，而LBP特征受到了一定的限制。此外，在统计直方图频率时，SIFT特征与LBP特征的结合也需要参数进行平衡，以获得最佳的效果。因此这里引入了参数w(0<w<1)，以平衡两个特征的组合效果：

N_LBP＝(1-w)·N

N_SIFT＝w·N

其中，N是预定义的聚类类别总量，即单词表的词汇种类总数。N_sift和N_lbp分别为SIFT单词表和LBP单词表的词汇种类总数。

频率直方图的组合方式

计算直方图的交集可以保留多张关键图的特征，其计算方法按如下表示：

$H_i=\underset{i}{\mathrm{\&Sigma;}}\min (A_i,B_i,...)$

H＝(H₁,H₂,...)

其中，i代表第i个视觉特征，Ai和Bi分别代表了不同关键图的第i个视觉特征的出现频率，H_i即为第i个视觉特征相交后的结果，H即为最终得到的直方图。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种基于多张关键图的图像内容检索方法，其特征在于，包括如下步骤：

步骤1：使用多张图像作为关键图，以进行图像检索；

步骤2：分别对每张关键图提取特征集合；

步骤3：使用事先建立的单词表，并通过频率直方图的方式，来表征每张关键图的特征；

步骤4：对每张关键图的直方图计算交集，以组合成新的直方图；

步骤5：使用步骤4生成的直方图在特征库中进行检索。

2.根据权利要求1所述的基于多张关键图的图像内容检索方法，其特征在于，步骤2中的每张关键图的图像内容在视觉上存在一定相似度，不能是毫无关联的几张图像。

3.根据权利要求2所述的基于多张关键图的图像内容检索方法，其特征在于，步骤2中的特征集合为：

特征A：提取的图像特征需要为图像内容的局部特征；

特征B：提取出的局部特征存在多个以形成一个集合。

4.根据权利要求3所述的基于多张关键图的图像内容检索方法，其特征在于，步骤3中的单词表为全体局部特征的集合，通过对预先准备的图像库中的图像进行局部特征提取，使用分类或聚类算法，对这些局部特征进行训练，以形成分类后的视觉特征，该视觉特征即构成单词表。

5.根据权利要求4所述的基于多张关键图的图像内容检索方法，其特征在于，所述相似度的测量是通过两个图像的直方图相交进行图像距离的计算、并以此为依据进行排序来判断的，对于给定的图像A和图像B，直方图相交定义为：

$d(A,B)=1-\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\min (a_i,b_i)$

其中，a_i和b_i分别代表图像A和图像B第i个视觉词汇的出现频率，i的范围取决于单词表的大小。

6.根据权利要求4所述的基于多张关键图的图像内容检索方法，其特征在于，所述的局部特征包括SIFT和LBP特征。

7.根据权利要求6所述的基于多张关键图的图像内容检索方法，其特征在于，所述SIFT特征与LBP特征被分别计算，并形成自己独立的单词表，其中，LBP特征的提取使用刚性分割的方式，将图像分割为16x16的图像块，并提取等价二值模式，其构建过程如下：

第一步使用128维的SIFT算法对图像进行特征提取；

第二步将图像分割为16x16的图像块，并对每块区域提取出等价二值模式，这里提取的LBP特征使用了直方图的方式表征为一个59维的特征向量；

第三步对于SIFT和LBP特征集合，使用使用分类或聚类算法分别建立单词表。

8.根据权利要求7所述的基于多张关键图的图像内容检索方法，其特征在于，使用加权K-Means聚类方法对局部特征进行训练构造单词表，在统计直方图频率时，引入参数w，0<w<1，w是SIFT特征的单词表大小所占权重，以平衡SIFT特征与LBP特征的组合效果：

N_LBP＝(1-w)·N

N_SIFT＝w·N

其中，N是预定义的聚类类别总量，即单词表的词汇种类总数，N_sift和N_lbp分别为SIFT单词表和LBP单词表的词汇种类总数。

9.根据权利要求4所述的基于多张关键图的图像内容检索方法，其特征在于，步骤3主要由如下形式表述：

步骤3.1：对步骤2中提取的每张关键图的局部特征分别进行统计，计算其在单词表中出现的次数；

步骤3.2：以视觉特征为横坐标，次数为纵坐标，对统计结果建立直方图；

步骤3.3：对建立的直方图进行归一化。

10.根据权利要求5所述的基于多张关键图的图像内容检索方法，其特征在于，步骤4中计算直方图的交集是通过下面的公式计算：

$H_i=\underset{i}{\mathrm{\&Sigma;}}\min (A_i,B_i,...)$

H＝(H₁,H₂,...)

其中，i代表第i个视觉特征，Ai和Bi分别代表了不同关键图的第i个视觉特征的出现频率，H_i即为第i个视觉特征相交后的结果，H即为最终得到的直方图。