CN104915685A - 基于多矩形划分的图像表示方法 - Google Patents

Abstract

本发明属于图像特征汇集技术领域，公开了一种基于多矩形划分的图像表示方法。该方法包括如下步骤：步骤一、对需要分类的图像集中的每幅图像进行SIFT特征提取；步骤二、对获得的图像集中SIFT特征进行聚类得到视觉词字典；步骤三、对需要分类的图像集中的每幅图像进行特征的量化，获得编码特征；对每幅图像按着指定划分层次数进行多矩形划分，并分别计算图像各个层的直方图特征；步骤五、获取每幅图像的超级图像特征。本发明方法不仅概念简单，保留了BoF范式的优点，而且特征表示更加紧凑，特征维数较SPM方法降低，能更好的适应图像的旋转不变性和平移不变性。

Description

基于多矩形划分的图像表示方法

技术领域

本发明涉及图像特征汇集技术领域，具体地说是一种面向图像分类的图像表示方法。

背景技术

随着Internet和多媒体技术的发展，面对海量的图像数据，如何对其进行有效管理和检索变成一个紧迫的任务。图像分类技术是实现对图像自动理解的一条重要途径，是目前研究的热点问题。

目前的图像分类方法一般而言可以分为两大类：基于生成模型的方法和基于判别模型的方法两大类。在生成模型中，BoF模型是近年来在计算机视觉领域应用最广泛的一类特征。BoF特征，也被称为Bag-of-Features，其思想来源于文本信息检索和分类任务中的文档表示技术，将图像表示为无序的特征集合。构建BoF图像表示的过程包括特征提取、字典的生成、特征的编码和特征的汇集。SPM是一种经典的特征汇集方法，通过不断的将图像区域进行网格细分，在金字塔的子区域单元上进行特征的汇集操作而不是在整幅图像上进行特征的汇集，因此融入了更多的空间信息，从而大大提高了性能。空间金字塔的成功也说明了对邻域进行空间汇集操作的重要性。SPM已经在图像分类任务中显示出非常好的性能。由于SPM的空间网格划分方法的特点，图像中的对象或区域排列大体有规律时，SPM的分类效果较好。但是当图像中的对象排列没有规律的时候，SPM的分类性能可能会有很大的下降。如图4所示，菱形和黑点代表两种不同的视觉词特征。由于在两幅图像中特征的排列有明显的不同，当通过SPM匹配的时候，图像间的相似性会变小。可以看出，SPM在某些情况下对图像的划分过于严格，缺乏灵活性，对于图像的旋转不变性和平移不变性不能很好的适应。

由于BoF特征是通过统计局部不变特征的全局出现情况来实现的，其特征既保留了局部特征的不变性又增加了全局特征的鲁棒性，同时与数量庞大的局部不变特征相比还能起到简化特征的作用，是对图像的压缩表示，但是BoF特征的最大的缺点是丢失了特征的空间、相对位置、尺度和方向信息。

发明内容

本发明需要解决的技术问题是：针对现有的图像表示方法一、BoF特征丢失了特征的空间、相对位置、尺度和方向信息的缺点，方法二、SPM方法虽然包含了更多的空间信息，但在某些情况下对图像的划分过于严格，缺乏灵活性，对于图像的旋转不变性和平移不变性的缺点，提供了一种基于多矩形划分的图像表示方法，该方法既能保持BoF模型方法中范式简洁高效的优点，又能保留特征的空间和尺度信息的图像表示方法。

为解决上述技术问题：本发明提出了基于多矩形划分的图像表示方法，包括以下步骤：

步骤一、对需要分类的图像集中的每幅图像进行SIFT特征提取；

步骤二、对获得的图像集中SIFT特征进行聚类得到视觉词字典；

步骤三、对需要分类的图像集中的每幅图像进行特征的量化，获得编码特征；

步骤四、对每幅图像按着指定划分层次数进行多矩形划分，并分别计算图像各个层的直方图特征；

步骤五、获取每幅图像的超级图像特征。

所述步骤三中对需要分类的图像集中的每幅图像进行特征的量化，获得编码特征的具体过程为：

对图像中的每个SIFT特征和dictionarySize大小的视觉词字典中的每个视觉词进行欧式距离的计算，获得dictionarySize大小的向量，向量中的每个分量的值为1或0，其中距离最近的视觉词的位置编码值为1，其余视觉词的位置的编码值为0。

所述步骤四中对每幅图像按着指定划分层次数进行多矩形划分，并计算图像各个层的直方图特征，其中，第n层直方图特征的计算公式如下：

$f^n=(f_1^n,...,f_i^n,...,f_{c\left(n\right)}^n)$

其中，fⁿ为第n层划分的直方图特征，为图像最内层矩形区域的直方图特征，f_i ⁿ为第i个矩形与第i-1个矩形之间环形区域的直方图特征，为自身边缘矩形和它相邻的矩形之间环形区域的直方图特征；

按上述方法计算一幅图像各个层的直方图特征。

获取第n层划分的权重直方图特征如下：

$f_w^n=(w^n{f}_1^n,...,w^n{f}_i^n,...,w^n{f}_{c\left(n\right)}^n)$

其中，wⁿ为第n层划分的权重。

所述步骤五中所述超级图像特征具体获取过程为：将一幅图像所有层划分的直方图特征连接起来形成图像的超级特征，即表示为f：

f＝(f¹,f²,…,fⁿ,…,f^L)

其中，L为图像划分层次的总数，c(n)为第n层划分形成区域的个数，1≤n≤L，L为图像划分的层次数，f¹为第一层划分的直方图特征，f²为第二层划分的直方图特征，fⁿ为第n层划分的直方图特征，f^L为第L层划分的直方图特征。

获取超级权重特征是，将所有层的权重直方图特征连接起来形成图像的超级权重特征表示f_w：

f_w＝(w¹f¹,w²f²,…,wⁿfⁿ,…,w^Lf^L)

其中，w¹为第一层划分的权重，w²为第二层划分的权重，w^L为第L层划分的权重。

上述方案中对于第n层来说，图像特征的权重为wⁿ，n越大则wⁿ越大。

所述步骤一对需要分类的图像集中的每幅图像进行SIFT特征提取，具体提取过程如下：

打开要处理的图像数据库，图像的数量设定为numTextonImages个，1＜numTextonImages＜m,m为自然数；分别读入每张图像，提取每张图像的SIFT特征，并将像的SIFT特征保存在n*128维的特征矩阵中，其中n为图像中提取的SIFT特征的个数，128表示每个SIFT特征为128维向量。

所述步骤二中对获得的图像集中SIFT特征进行聚类得到视觉词字典具体过程如下：

1)假定聚类生成视觉词字典的SIFT特征的个数最多为ndata_max，如果一个图像中SIFT特征个数大于ndata_max/numTextonImages，则在这幅图像中随机抽取ndata_max/numTextonImages个SIFT特征，否则保留图像中的所有SIFT特征。这样最终获得的用于聚类视觉词字典的特征个数为data_max；

2)对于data_max个SIFT特征进行k-means聚类，得到dictionarySize大小的视觉词字典，该字典为dictionarySize*128的矩阵，128表示每个视觉词的特征维数。

所述基于多矩形划分的图像表示方法，还包括步骤六，步骤如下：图像分类时按步骤五获取的每幅图像的超级图像特征分类。

所述基于多矩形划分的图像表示方法，还包括图像分类时按获取的每幅图像的超级权重图像特征分类。

本发明方法概念简单，保留了BoF范式的优点。

本发明方法特征表示更加紧凑，特征维数较SPM方法降低。

本发明方法融入了图像的空间信息，能更好的适应图像的旋转不变性和平移不变性。

附图说明

图1是按照本发明的基于多矩形划分的图像表示方法的一实施例中对图像按三层进行多矩形划分中第一层图像划分的示意图。

图2按照本发明的基于多矩形划分的图像表示方法的与图1所示相同的实施例中对图像按三层进行多矩形划分中第二层图像划分的示意图。

图3是按照本发明的基于多矩形划分的图像表示方法的与图1和图2相同的实施例中对图像按三层进行多矩形划分中第三层图像划分的示意图。

图4是现有技术图像整体统计特征相同而空间特征不同的示意图。

图5是按照本发明的基于多矩形划分的图像表示方法的框图。

具体实施方式

下面结合附图对本发明作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术人员可以根据上述发明内容对本发明作出一些非本质的改进和调整。

如图5所示，基于多矩形划分的图像表示方法，包括以下步骤：

步骤一、对需要分类的图像集中的每幅图像进行SIFT特征提取。

对需要分类的图像集中的每幅图像进行特征提取，具体提取过程如下：

打开要处理的图像数据库，图像的数量设定为numTextonImages个，1＜numTextonImages＜m,m为自然数；分别读入每张图像，提取每张图像的SIFT特征，并将像的SIFT特征保存在n*128维的特征矩阵中，其中n为图像中提取的SIFT特征的个数，128表示每个SIFT特征为128维向量。具体详见David Lowe.Distinctive image features from scale invariant keypoints.IJCV 2004.

步骤二、对获得的图像集中SIFT特征进行聚类得到视觉词字典。

对获得的图像集中SIFT特征进行聚类得到视觉词字典具体过程如下：

1)假定聚类生成视觉词字典的SIFT特征的个数最多为ndata_max，如果一个图像中SIFT特征个数大于ndata_max/numTextonImages，则在这幅图像中随机抽取ndata_max/numTextonImages个SIFT特征，否则保留图像中的所有SIFT特征。这样最终获得的用于聚类视觉词字典的特征个数为data_max。

2)对于data_max个SIFT特征进行k-means聚类，得到dictionarySize大小的视觉词字典，该字典为dictionarySize*128的矩阵，128表示每个视觉词的特征维数。

步骤三、对需要分类的图像集中的每幅图像进行特征的量化，获得编码特征。

对需要分类的图像集中的每幅图像进行特征的量化，获得编码特征的具体过程为：

对图像中的每个SIFT特征和dictionarySize大小的视觉词字典中的每个视觉词进行欧式距离的计算，获得dictionarySize大小的向量，向量中的每个分量的值为1或0，其中距离最近的视觉词的位置编码值为1，其余视觉词的位置的编码值为0。

步骤四、对每幅图像按着指定划分层次数L进行多矩形划分，并计算图像各个层的直方图特征；

对每幅图像按着指定划分层次数L进行多矩形划分，并计算图像各个层的直方图特征，具体过程为：

1、对每幅图像按着指定划分的层次数L进行多矩形的划分，形成空间金字塔模型。L＝3时图像被划分的情况，如图1、图2、图3所示。

第一层图像的划分就是图像本身，如图1所示。

第二层图像的划分是中心矩形区域以及最外层矩形区域和中心矩形之间的环形区域；

第三层图像的划分是中心矩形区域、中心矩形和中间矩形之间的环形区域、中心矩形和最外层矩形之间的环形区域。

2、构建编码特征的直方图特征。

以第n层为例，说明如何构建编码特征的直方图特征。

假设代表第n层的第k矩形和第k-1矩形之间的环形区域的直方图特征，这时要求k>1，如果k＝1的话，就表示最内层的矩形区域。c(n)表示第n层中图像被划分的矩形的个数(包括图像的自身边缘矩形)。是这样计算得到：第k矩形和第k-1矩形之间的环形区域里面的特征点的编码特征在步骤三中已经得到，统计这个区域内部的特征点编码特征的直方图特征，直方图特征为

接着对进行均一化，计算公式为ndata表示当前图像的特征点的总数。图像的第n层划分的最终特征向量为fⁿ∈R^{dictionarySize*c(n)}，fⁿ可以通过公式(1)进行表示。

$f^n=(f_1^n,...,f_i^n,...,f_{c\left(n\right)}^n)---\left(1\right)$

其中，fⁿ为第n层划分的直方图特征，为图像最内层矩形区域的直方图特征，为第i个矩形与第i-1个矩形之间环形区域的直方图特征(i>1)，为自身边缘矩形和它相邻的矩形之间环形区域的直方图特征。

按上述方法计算一幅图的各个层的直方图特征。

以图1为例，提取到的特征点共有八个，图中的黑点和菱形代表两种视觉词，图1的直方图特征为(4/8,4/8)。以图2为例，中心矩形区域的直方图特征为(3/8,3/8)，中心矩形和最外侧矩形之间的环形区域的直方图特征为(1/8,1/8)，所以第2层划分所对应的直方图特征为(3/8,3/8，1/8,1/8)。以图3为例，中心矩形区域的直方图特征为(1/8,1/8)，中心矩形和中间矩形之间的环形区域的直方图特征为(2/8,2/8)，中间矩形和最外侧矩形之间的环形区域的直方图特征为(1/8,1/8)，所以第3层划分所对应的直方图特征为(1/8,1/8，2/8,2/8，1/8,1/8)。

3、获取第n层划分的权重直方图特征

假设同一层划分的特征具有相同的权重，当考虑权重的时候，会得到权重直方图特征对于第n层划分来说，特征的权重为wⁿ，n越大则wⁿ越大。

权重直方图特征为

$f_w^n=(w^n{f}_1^n,...,w^n{f}_i^n,...,w^n{f}_{c\left(n\right)}^n)---\left(2\right)$

如果第1层划分的权重为0.15，第2层划分的权重为0.35，第3层划分的权重为0.5，则第1层划分的权重直方图特征为(0.15*4/8,0.15*4/8)，第2层划分的权重直方图特征为(0.35*3/8,0.35*3/8，0.35*1/8,0.35*1/8)，第3层划分的权重直方图特征为(0.5*1/8,0.5*1/8，0.5*2/8,0.5*2/8，0.5*1/8,0.5*1/8)。

步骤五、获取每幅图像的超级图像特征。

将各个层划分的图像特征连接起来得到超级图像特征，具体获取过程为：

1、L表示图像划分层次的总数，c(n)表示第n层划分形成区域的个数，1≤n≤L。将所有层的直方图特征连接起来形成图像的超级特征表示。图像的超级特征为f，可以通过公式(3)得到。

f＝(f¹,f²,…,fⁿ,…,f^L)  (3)

其中，L为图像划分层次的总数，c(n)为第n层划分形成区域的个数，1≤n≤L，L为图像划分的层次数，f¹为第1层划分的直方图特征，f²为第2层划分的直方图特征，fⁿ为第n层划分的直方图特征，f^L为第L层划分的直方图特征。

超级特征即为最终图像特征。以图像的3层划分为例，图像的超级特征为(4/8,4/8，3/8,3/8，1/8,1/8，1/8,1/8，2/8,2/8，1/8,1/8)。

2、获取超级权重特征

L表示图像划分层次的总数，c(n)表示第n层划分形成区域的个数，1≤n≤L。当考虑权重的时候，假设同一层划分的特征具有相同的权重，对于第n层划分来说，特征的权重为wⁿ，n越大则wⁿ越大。将所有层划分的权重直方图特征连接起来形成图像的超级权重特征表示f_w，f_w可以通过公式(4)表示。

$f_w=(w^1{f}^1,w^2{f}_2^2,...,w^n{f}^n,...,w^L{f}_{c\left(L\right)}^L)---\left(4\right)$

以图像的3层划分为例，第1层划分的权重为0.15，第2层划分的权重为0.35，第3层划分的权重为0.5，图像的超级权重特征为(0.15*4/8,0.15*4/8，0.35*3/8,0.35*3/8，0.35*1/8,0.35*1/8，0.5*1/8,0.5*1/8，0.5*2/8,0.5*2/8，0.5*1/8,0.5*1/8)。

根据本发明第四步骤与第五步骤地方法获取的图像集中各幅图的超级图像特征，并可以通过获得的超级图像特征对图像集中的图像进行分类，或者通过超级权重图像特征对图像集中图像进行分类。这样不但有利于图像分类与图像自动处理，而且有利于图像的有效管理理和检索。

如图4所示，图像如果按着SPM算法进行划分，在计算图像特征匹配的时候匹配率很低。但是如果按着本发明的提出的基于多矩形划分的图像表示方法，则能够很好的进行特征的匹配，所以本发明能够更好的适应旋转不变性和平移不变性。

本发明提出的基于多矩形划分的图像表示方法在计算每一层划分特征的时候，每个区域特征的计算本质都是BoF方法,所以保持了BoF范式简洁的优点。

本发明提出的基于多矩形划分的图像表示方法得到的特征维数较SPM方法的特征维数降低的原因如下：例如当两种方法对图像都进行3层划分的时候，SPM方法最终的图像特征维数为R^{dictionarySize*21}，而本发明最终的图像维数为R^{dictionarySize*6}，所以较SPM方法特征维数降低。

Claims (10)

1.一种基于多矩形划分的图像表示方法，包括以下步骤：

步骤一、对需要分类的图像集中的每幅图像进行SIFT特征提取；

步骤二、对获得的图像集中SIFT特征进行聚类得到视觉词字典；

其特征在于：

步骤三、对需要分类的图像集中的每幅图像进行特征的量化，获得编码特征；

步骤四、对每幅图像按着指定划分层次数进行多矩形划分，并分别计算图像各层划分的直方图特征；

步骤五、获取每幅图像的超级图像特征。

2.根据权利要求1所述的基于多矩形划分的图像表示方法，其特征在于：所述步骤三中

对需要分类的图像集中的每幅图像进行特征的量化，获得编码特征的具体过程为：

对图像中的每个SIFT特征和dictionarySize大小的视觉词字典中的每个视觉词进行欧式距离的计算，获得dictionarySize大小的向量，向量中的每个分量的值为1或0，其中距离最近的视觉词的位置编码值为1，其余视觉词的位置的编码值为0。

3.根据权利要求1所述的基于多矩形划分的图像表示方法，其特征在于：所述步骤四中计算第n层直方图特征的计算公式如下：

其中，fⁿ为第n层划分的直方图特征，f₁ ⁿ为图像最内层矩形区域的直方图特征，f_i ⁿ为第i个矩形与第i-1个矩形之间环形区域的直方图特征，为自身边缘矩形和它相邻的矩形之间环形区域的直方图特征。

4.根据权利要求3所述的基于多矩形划分的图像表示方法，其特征在于：获取第n层划分的权重直方图特征如下：

其中，wⁿ为第n层划分的权重。

5.根据权利要求4所述的基于多矩形划分的图像表示方法，其特征在于：对于第n层划分来说，图像特征的权重为wⁿ，n越大则wⁿ越大。

6.根据权利要求1所述的基于多矩形划分的图像表示方法，其特征在于：所述步骤五中所述超级图像特征具体获取过程为：将一幅图像的所有层划分的直方图特征连接起来形成图像的超级特征。

7.根据权利要求6所述的基于多矩形划分的图像表示方法，其特征在于：所述图像的超级特征f表示如下：

f＝(f¹,f²,…,fⁿ,…,f^L)

其中，L为图像划分层次的总数，c(n)为第n层划分形成区域的个数，1≤n≤L，L为图像划分的层次数，f¹为第一层划分的直方图特征，f²为第二层划分的直方图特征，fⁿ为第n层划分的直方图特征，f^L为第L层划分的直方图特征。

8.根据权利要求6所述的基于多矩形划分的图像表示方法，其特征在于：获取超级权重特征是将所有层划分的权重直方图特征连接起来形成图像的超级权重特征。

9.根据权利要求8所述的基于多矩形划分的图像表示方法，其特征在于：所述图像的超级特征f_w表示：

f_w＝(w¹f¹,w²f²,…,wⁿfⁿ,…,w^Lf^L) 

其中，w¹为第一层划分的权重，w²为第二层划分的权重，w^L为第L层划分的权重。

10.根据权利要求7所述的基于多矩形划分的图像表示方法，其特征在于：对于第n层划分来说，图像特征的权重为wⁿ，n越大则wⁿ越大。