CN103295026A - 基于空间局部聚合描述向量的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于空间局部聚合描述向量的图像分类方法，主要解决现有技术中图像描述向量中缺乏特征点空间分布信息的问题，其实现步骤为：(1)提取所有图像的“尺度不变特征转换”特征点；(2)在训练集图像的特征点空间中，利用均值聚类算法对得到的特征点进行聚类，得到码书；(3)利用差值向量，生成图像集中每幅图像的局部聚合描述向量；(4)对每幅图像进行2×2区域划分，分别统计各小区块的特征点个数和坐标；(5)利用各小区块的局部聚合描述向量，拼接生成每幅图像的空间局部聚合描述向量；(6)利用支持向量机构建分类超平面，实现图像分类。本发明能更精确的描述图像信息，提高了图像分类的准确率，可用于大规模图像分类与检索系统的构建。

Description

基于空间局部聚合描述向量的图像分类方法

技术领域

本发明涉及图像处理技术领域，涉及图像分类方法，可用于影像智能化分类管理及web图片推送。

背景技术

图像分类是计算机视觉领域中的典型问题，而且随着多媒体数据的海量增长，该问题显得尤为突出。图像分类通常是根据图像的语义内容，比如特定场景、特定包含物等，给图像加上不同的类别标签，实现图像分类。由于图像经常会受到视角、光照、遮挡等成像因素的影响，给图像的分类带来了很大的挑战。

目前，图像分类的方法主要有基于文本标签的图像分类方法和基于内容的图像分类方法。

基于文本标签的图像分类方法，主要有关键字标记法和映射划分法。

基于内容的图像分类方法主要有基于边缘特征的图像分类方法、基于颜色直方图的图像分类方法以及基于局部特征的图像分类方法。Bag of Features（BOF）方法是一种基于局部特征的分类方法，这种方法由于其简单性和高性能性而备受推崇，在图像分类和检索方面使用十分广泛。例如，清华大学和东莞理工学院联合申请的发明专利“基于视觉词典的图像分类方法”（专利申请号：201110175101.9，公开号：CN102208038A）。该专利首先从图像中抽取局部关键区域，并用仿射不变性描述算子建立这些区域的特征向量，然后通过向量矢量化方法建立视觉词典(Visual Code Book)，并将图像用基于该视觉词典的频率直方图表示，最后建立分类模型实现对图像分类。该专利存在的主要不足是：构建的频率直方图，实际上是一个局部特征向量的无序集合，用这种无序集合来矢量化一幅图像，完全没有考虑特征点的空间结构与布局信息，对于有明显层次特性的图像，特征点的空间布局信息可能包含了对分类产生决定性作用的信息，忽略了这一信息，严重限制了频率直方图对图像的描述能力。

另一种在理论研究中广泛使用的图像分类方法是“Fisher kernels on visualvocabularies for image categorization.，F.Perronnin and C.Dance，CVPR，2007”，该方法在BOF方法的基础上加入了核方法的思想，构建图像特征点在视觉词典频率直方图，这种方法虽然在一定程度上取得了不错的分类效果，但是也没有考虑特征点的空间分布，导致生成的频率直方图中的每个频率分量完全无序，无法描述出图像中相应物体在图像空间的位置范围。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于带有特征点空间分布信息的空间局部描述聚合向量的图像分类方法，以使生成的图像描述向量中的频率分量相对有序，能清楚描述出图像中的物体在图像空间的位置区域。

本发明的技术方案是这样实现的：

本发明是对Bag of Features（BOF）方法的一种改进，通过在图像特征点中引入了“特征点空间划分”的思想，构成图像的空间局部聚合描述向量，具体步骤包括如下：

（1）将待分类图像集M划分成训练集M₁和测试集M₂，提取图像集M中所有图像的“尺度不变特征转换”特征点；

（2）利用均值聚类算法对训练集图像M₁中的特征点进行聚类，得到码书C＝{c₁,c₂,...,c_i,...,c_K}，i＝1,...,K，K表示码书尺寸；

（3）根据码书C生成图像集M中每幅图像的局部聚合描述向量L₀：

3a）将图像集M中每幅图像中每个特征点映射到与其欧氏距离最小的码字c_l上，l∈1,...,K，记录该码字c_l上累计得到的特征点标号；

3b）计算每个码字c_i上累计得到的特征点与该码字的差值向量v_i；

3c）将步骤3b)所得的K个差值向量水平拼接，得到图像集M中一幅图像的局部聚合描述向量L₀＝[v₁,v₂,...,v_K]；

（4）对图像集M中每幅图像进行2×2空间区域划分，得到4个小区块B_j，j＝1,...,4，统计每个小区块中特征点个数和坐标信息；

（5）根据码书C生成图像集M中每幅图像的空间局部聚合描述向量SL：

5a）将每个小区块B_j看成一个分块图像，根据步骤（4）中统计出的小区块特征点的个数和坐标信息，利用步骤（3）中的方法，生成每个分块图像B_j的局部聚合描述向量L_j；

5b）将步骤3c)中得到的图像集M中每幅图像的局部聚合描述向量L₀和步骤5a）中得到的每个分块图像的局部聚合描述向量L_j,j＝1,...,4进行水平拼接，得到图像的空间局部聚合描述向量SL＝[L₀,L₁,L₂,L₃,L₄]；

（6）利用开源支持向量机系统在训练集图像M₁的空间局部聚合向量上构建支持向量，在测试集图像M₂上通过该支持向量得到分类超平面，实现图像分类。

本发明与现有技术相比具有以下优点：

第一，本发明通过对特征点进行区块划分，统计各个小区块的特征点，能够体现出特征点在图像空间的空间布局信息；

第二，本发明通过对图像整体的局部聚合向量和图像小区块的局部聚合描述向量的水平顺序拼接，体现出了小区块的相对位置信息，使得生成的空间局部聚合描述向量可以描述出图像中物体在图像空间的位置，更为精确的描述出图像信息，提高了图像分类的准确性。

附图说明

图1是本发明的流程图；

图2是本发明的仿真效果图。

具体实施方式

下面结合附图对本发明方案和效果作进一步详细描述。

参照图1，对本发明的实现步骤如下：

步骤1，将待分类图像集M划分成训练集M₁和测试集M₂，提取图像集M中所有图像的“尺度不变特征转换”特征点。

本步骤的实现可采用现有的尺度不变特征转换方法、SURF方法和Daisy方法，本实例采用尺度不变特征转换方法，其步骤如下：

1a）利用高斯卷积核生成图像集M中一幅图像的高斯差分尺度空间D(x,y,σ)：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)，

其中，*表示卷积运算，I(x,y)表示图像集M中的图像，σ表示尺度坐标，

表示尺度可变高斯函数，k∈[2^1/3，2^1/4，2^1/5]；

1b）在高斯差分尺度空间D(x,y,σ)和图像空间I(x,y)中，将每一个像素点(x,y)与其图像空间中的8个邻域点和高斯差分尺度空间中的18个邻域点进行比较，如果像素点(x,y)的像素值为最大值或者为最小值，则像素点(x,y)就是一个特征点，否则就不是特征点；

1c）利用特征点的梯度大小和方向给极值点指定方向参数：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

其中，m(x,y)表示极值点的梯度大小，θ(x,y)表示极值点的梯度方向，这样就得到特征点的位置、尺度和方向；

1d）以特征点为中心取16×16的邻域作为采样窗口，在每4×4的像素块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。每个兴趣点取4×4共16个种子点，每个种子点含8个方向信息，于是产生一个128维度的“尺度不变特征转换”特征点。

“尺度不变特征转换”特征点对旋转变换、尺度变换和仿射变换具有不变性，一幅图像能提取到2000～4000个“尺度不变特征转换”特征点，每个特征点为128维。

步骤2，利用均值聚类算法对训练集图像M₁中的特征点进行聚类，得到码书。

2a）在训练集M₁图像的特征点中随机选择K个特征点，作为K个聚类中心的迭代初始化值,执行步骤2b)，开始对聚类中心的值进行迭代更新；

2b）在第j次迭代中，j＝1,2,3,...，对训练集M₁中每一个图像特征点，求其到K个聚类中心的欧氏距离，根据欧氏距离大小将该特征点归属到距离最小的聚类中心所在的聚类，求得归类后每个聚类中特征点的均值，利用此均值更新该聚类的聚类中心，作为第j+1次迭代的聚类中心的初始值,执行步骤3c);

2c）将第j+1次迭代得到的聚类中心与第j次迭代得到的聚类中心相比，如果二者的差值变化在设定阈值T＝10^-7范围内，则迭代结束，得到的聚类中心即为码书C；否则，返回步骤2b)，继续执行对聚类中心的迭代更新。

步骤3，根据码书C生成图像集M中每幅图像的局部聚合描述向量L₀。

3a）设图像集M中图像L的特征点集为：x＝(x₁,x₂,...,x_t,...,x_N),t＝1,...,N,N表示特征点个数，对图像中的每个特征点x_t与码书中每个码字c_i的欧氏距离d(x_t,c_i)，根据欧氏距离的大小，将每个特征点分配到距离最近的码字上c_l，并记录该码字c_l上累计得到的特征点标号；

3b）对于码书C中的第i个码字c_i上累计得到的特征点，分别计算每个特征点与该码字的差值，然后对所有的差值求和，得到码字c_i对应的差值向量v_i：

v_i＝Σ(x_{c_i}-c_i)

其中，x_{c_i}表示码字c_i上累计得到的特征点，c_i∈{1,2,...,N}；

3c）重复步骤3b)，得到K个码字对应的K个差值向量，将这些差值向量水平顺序拼接，得到图像集M中图像L的局部聚合描述向量L₀＝[v₁,v₂,...,v_K]。

步骤4，对图像集M中每幅图像进行2×2空间区域划分，得到4个小区块B_j，j＝1,...,4，统计每个小区块中特征点个数和二维坐标信息。

步骤5，根据码书C，生成图像集M中每幅图像的空间局部聚合描述向量SL：

5a）将每个小区块B_j看成一个分块图像，根据步骤4中统计出的小区块特征点的个数和二维坐标信息，利用步骤3中的方法，生成每个分块图像B_j的局部聚合描述向量L_j；

5b）将步骤3中得到的图像集M中每幅图像的局部聚合描述向量L₀和步骤5a)中得到的每个分块图像的局部聚合描述向量L_j,j＝1,...,4进行水平拼接，得到图像的空间局部聚合描述向量SL＝[L₀,L₁,L₂,L₃,L₄]。

步骤6，利用开源支持向量机系统在训练集图像M₁的空间局部聚合向量上构建支持向量，在测试集图像M₂上通过该支持向量得到分类超平面，实现图像分类。

所述的开源支持向量机系统是一个成熟优秀的开源系统，其依靠小样本学习后的模型参数对大样本参数进行估计，可用来进行数据分类和回归。本发明正是利用该系统在图像的空间局部聚合描述向量学习得到分类超平面，实现图像分类。

利用支持向量机系统中两个库函数，按以下步骤实现对测试集图像M₂的分类：

6a）利用支持向量机系统库函数svmtrain产生分类模型文件m_file：[m_file]=svmtrain(ops,tr_file)，其中，tr_file表示训练集图像M₁的局部聚合描述向量构成的集合，ops表示可用选项，包括支持向量机类型和核函数类型，m_file表示训练得到的分类模型文件；

6b）利用支持向量机系统库函数svmpredict对测试集图像M₂分类：[o_file]=svmpredict(m_file,te_file)，其中，te_file表示测试集图像M₂的局部聚合描述向量构成的集合，o_file表示得到的测试集图像M₂中每幅图像的类别标签。

本发明的优点可通过如下仿真进一步说明：

1.仿真内容：

用本发明和现有的BOF方法对从公用图像数据集Caltech-256中选取的10个动物类别bear,dolphin,elephant,horse,leopards,mantis,scorpion,snail,snake,swan进行图像分类。这10个类别的图像张数分别98,94,109,81,89,81,80,102,100,108，其中，每个类别中各选取50张构成训练集图像M₁，剩下的图像构成测试集图像M₂，分类结果如图2。图2分别统计本发明和现有的BOF方法在码书尺寸分别为50,100,150,200,250,300,350,400这8种情况下各自的平均分类准确率，其中，带三角的实线表示本发明的平均分类准确率曲线，带叉的虚线表示传统BOF方法的平均分类准确率曲线。

2.仿真结果：

从图2可见，本发明在码书尺寸为150时取得最佳的分类准确率为68.3%，之后分类准确率呈现下降趋势。而传统BOF方法在码书尺寸高达400时才取得最佳分类准确率，仅为66.0%。

从图2中还可以明显看到，在同一码书尺寸下，本发明的分类准确率明显高于传统BOF方法的分类准确率，能够更准确的实现图像分类。

Claims (5)

1.一种基于空间局部聚合描述向量的图像分类方法，包括以下步骤：

（1）将待分类图像集M划分成训练集M₁和测试集M₂，提取图像集M中所有图像的“尺度不变特征转换”特征点；

（2）利用均值聚类算法对训练集图像M₁中的特征点进行聚类，得到码书C＝{c₁,c₂,...,c_i,...,c_K}，i＝1,...,K，K表示码书尺寸；

（3）根据码书C生成图像集M中每幅图像的局部聚合描述向量L₀：

3a）将图像集M中每幅图像中每个特征点映射到与其欧氏距离最小的码字c_l上，l∈1,...,K，记录该码字c_l上累计得到的特征点标号；

3b）计算每个码字c_i上累计得到的特征点与该码字的差值向量v_i；

3c）将步骤3b)所得的K个差值向量水平拼接，得到图像集M中一幅图像的局部聚合描述向量L₀＝[v₁,v₂,...,v_K]；

（4）对图像集M中每幅图像进行2×2空间区域划分，得到4个小区块B_j，j＝1,...,4，统计每个小区块中特征点个数和坐标信息；

（5）根据码书C生成图像集M中每幅图像的空间局部聚合描述向量SL：

5a）将每个小区块B_j看成一个分块图像，根据步骤（4）中统计出的小区块特征点的个数和坐标信息，利用步骤（3）中的方法，生成每个分块图像B_j的局部聚合描述向量L_j；

5b）将步骤3c）中得到的图像集M中每幅图像的局部聚合描述向量L₀和步骤5a)中得到的每个分块图像的局部聚合描述向量L_j,j＝1,...,4进行水平拼接，得到图像的空间局部聚合描述向量SL＝[L₀,L₁,L₂,L₃,L₄]；

（6）利用开源支持向量机系统在训练集图像M₁的空间局部聚合向量上构建支持向量，在测试集图像M₂上通过该支持向量得到分类超平面，实现图像分类。

2.根据权利要求1所述的基于空间局部聚合描述向量的图像分类方法，其中步骤（1）所述的提取图像集M中所有图像的“尺度不变特征转换”特征点，按如下步骤进行：

1a）利用高斯卷积核生成图像集M中一幅图像的高斯差分尺度空间D(x,y,σ)：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)，

其中，*表示卷积运算，I(x,y)表示图像集M中的图像，σ表示尺度坐标，表示尺度可变高斯函数，k∈[2^1/3，2^1/4，2^1/5]；

1b）在高斯差分尺度空间D(x,y,σ)和图像空间I(x,y)中，将每一个像素点(x,y)与其图像空间中的8个邻域点和高斯差分尺度空间中的18个邻域点进行比较，如果像素点(x,y)的像素值为最大值或者为最小值，则像素点(x,y)就是一个特征点，否则就不是特征点；

1c）利用特征点的梯度大小和方向给特征点指定方向参数：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

其中，m(x,y)表示极值点的梯度大小，θ(x,y)表示极值点的梯度方向，这样就得到特征点的位置、尺度和方向；

1d）以特征点为中心取16×16的邻域作为采样窗口，在每4×4的像素块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。每个兴趣点取4×4共16个种子点，每个种子点含8个方向信息，于是产生一个128维度的“尺度不变特征转换”特征点。

3.根据权利要求1所述的基于空间局部聚合描述向量的图像分类方法，其中步骤（2）所述的利用均值聚类算法对训练集图像M₁中的特征点进行聚类，按如下步骤进行：

2a）在训练集M₁图像的特征点中随机选择K个特征点，作为K个聚类中心的迭代初始化值,执行步骤2b），开始对聚类中心的值进行迭代更新；

2b）在第j次迭代中，j＝1,2,3,...，对训练集M₁中每一个图像特征点，求其到K个聚类中心的欧氏距离，根据欧氏距离大小将该特征点归属到距离最小的聚类中心所在的聚类，求得归类后每个聚类中特征点的均值，利用此均值更新该聚类的聚类中心，作为第j+1次迭代的聚类中心的初始值,执行步骤2c）；

2c）将第j+1次迭代得到的聚类中心与第j次迭代得到的聚类中心相比，如果二者的差值变化在设定阈值T＝10^-7范围内，则迭代结束，得到的聚类中心即为码书C；否则，返回步骤2b），继续执行对聚类中心的迭代更新。

4.根据权利要求1所述的基于空间局部聚合描述向量的图像分类方法，其中步骤3a）所述的将图像集M中每幅图像中每个特征点映射到与其欧氏距离最小的码字c_l上，按如下步骤进行：

3a1）设图像集M中一幅图像L的特征点集为：

x＝(x₁,x₂,...,x_t,...,x_N),t＝1,...,N,N表示特征点个数；

3a2）计算图像中的每个特征点x_t与码书中每个码字c_i的欧氏距离d(x_t,c_i)；

3a3）根据欧氏距离的大小，将每个特征点分配到距离最近的码字上c_l，

，并记录该码字c_l上累计得到的特征点标号。

5.根据权利要求1所述的基于空间局部聚合描述向量的图像分类方法，其中步骤3b）所述的计算每个码字c_i上累计得到的特征点与该码字的差值向量v_i,按如下步骤进行：

3b1）对于码书C中的第i个码字c_i上累计得到的特征点，分别计算每个特征点与该码字的差值x_{c_i}-c_i，其中，x_{c_i}表示码字c_i上累计得到的特征点，c_i∈{1,2,...,N}；

3b2）对所有的差值求和，得到码字c_i对应的差值向量v_i：

v_i＝Σ(x_{c_i}-c_i)。

Images