CN104112143A - 基于加权超球支持向量机算法的图像分类方法 - Google Patents

Abstract

本发明公开一种可提高计算速度及分类精度的基于加权超球支持向量机算法的图像分类方法，按如下步骤进行：图像数据采集；对图像进行去噪及归一化处理，计算所有图像的方向梯度直方图HOG特征，并将预定义的类别加入图像类别，把所有的图像分类；计算每一类别的数据中心，再根据该数据中心计算本类数据中每个样本的权值，按权值大小对训练样本排序；采用多线程遗传算法和SMO方法训练超球支持向量机，求解最优参数及相应的超球模型；提取新采集图像的HOG特征，计算新采集样本与超球模型的位置关系，根据判别规则得出标注类别，对新采集的图像加上类别标注。

Description

基于加权超球支持向量机算法的图像分类方法

技术领域

本发明涉及模式识别领域中的图像多分类问题，尤其是一种可提高计算速度及分类精度的基于加权超球支持向量机算法的图像分类方法。

背景技术

图像多类别分类技术目前广泛应用于视频监控目标识别、大规模图像查询、图像语义理解等研究领域。其实现过程分为三步：一是图像预处理，提取图像特征；二是根据特征采用不同的训练器进行训练；三是利用训练模型对图像分类。随着机器学习理论的不断发展，很多最新的分类器模型，如kNN、聚类、神经网络等已经广泛应用于图像多类别分类领域。而支持向量机作为替代神经网络的新的机器学习算法，在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并已成功应用到图形图像处理、数据挖掘、文本分类等众多领域。最早提出的支持向量机算法均为二分类算法，但是实际应用中存在大量的多分类问题，此时需要使用各种组合二分类支持向量机的方法实现，如一对一、一对多、有向无环图、树形支持向量机等。由于每一个二分支持向量机求解过程都是一次二次规划求解过程，因此组合二分类支持向量机求解多分类问题时计算代价较高。为了降低二次规划求解的复杂度，部分研究学者提出了直接计算出各类别约束超球的超球支持向量机算法，把二分类的超平面二次规划求解问题转化为超球面的二次规划求解，其基本思想是单独计算每一类别训练数据的最小包围球，要求建立的最小包围球半径尽可能小，尽量包含该类别的所有样本点，但是其计算速度及分类精度均有待进一步提高。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种可提高计算速度及分类精度的基于加权超球支持向量机算法的图像分类方法。

本发明的技术解决方案是：一种基于加权超球支持向量机算法的图像分类方法，其特征在于按如下步骤进行：

a. 图像数据采集； 

b. 数据预处理与特征提取：对图像进行去噪及归一化处理，计算所有图像的方向梯度直方图HOG特征，并将预定义的类别加入图像类别，把所有的图像分类；

c. 权值计算：计算每一类别的数据中心，再根据该数据中心计算本类数据中每个样本的权值，按权值大小对训练样本排序；

d. 超球支持向量机训练与测试：采用多线程遗传算法和SMO方法训练超球支持向量机，求解最优参数及相应的超球模型；

e. 新增图像的自动分类：提取新采集图像的HOG特征，计算新采集样本与超球模型的位置关系，根据判别规则得出标注类别，对新采集的图像加上类别标注。

所述步骤c第k个类别第i个样本点的权值计算公式为：

其中，为第k个类别的样本总数，各类别样本数累计求和为总样本数，即，为第k个类别的样本均值。

所述步骤d是采用多线程遗传算法，根据交叉验证，求解最优惩罚因子和核函数参数，即将可行解空间均分为多个数据处理多线程，在每个线程中对区间解空间的惩罚因子和核函数参数进行遗传编码；基于SMO( Sequential Minimal Optimization )方法求解支持向量的拉格朗日乘子，二次规划迭代求解过程按加权排序顺序优先选择权值大的样本点，确保求解过程快速收敛，根据求得的拉格朗日乘子采用交叉验证法计算分类精度，如果精度不满足遗传算法终止条件，则利用适应度、交叉算子、遗传算子产生下一代进入下一次循环；如果精度满足遗传算法终止条件，则保存当前类别最优的参数及相应的超球模型，具体算法如下：

假设训练数据维数为n，训练样本类别数为m，第k个类别的数据集合样本个数为；给定m个n维空间的集合，对每个集合寻找一个超球，其中为超球球心，为超球半径，使其尽量小，使该最小超球尽可能包含所有同类样本；考虑到存在一些孤立点，允许这些点落入球面外，引入松弛因子，

其中，第k类样本的最小超球S _k 由球心和半径确定，C为惩罚因子，为松弛变量；对非线性的训练集，引入非线性映射把训练数据映射到高维线性特征空间。对非线性映射无需直接计算，在求解过程中引入核函数计算；

引入拉格朗日乘子求解该二次规划问题，拉格朗日多项式为如下形式：  

对该多项式分别对求偏导并令其为0，可得：

  

把上述三个公式带入拉格朗日多项式，可以得到对偶的优化问题：

     

由于无需求解非线性映射函数，因此求解超球半径时，不是直接按照上面推导的公式求解，而是直接求球心的平方，导出如下计算公式：

            

拉格朗日乘子大于0的样本为支持向量，满足第一个公式约束条件的球面上的点即为支持向量；已知球心，可以由任一球面上的支持向量求出半径的平方，此时，松弛因子为0，即：

所述e步骤的判别规则为：

(1) 如果新增样本仅位于单一超球内，则新增样本就属于该类别；

(2) 如果新增样本位于个数大于等于2个超球内时，该新增样本落入超球相交区域，对相交区域首先计算相交超平面对不同类别训练样本的线性可分性，如果线性可分，直接按该线性可分超平面计算分类结果；如果非线性可分，计算同类/异类子超球后计算测试样本的分类结果；

(3) 如果新增样本位于所有超球外部时，使用如下分类决策公式确定其类别归属：

。

与现有技术相比，本发明具有以下有益效果：

1. 本发明训练过程采用多线程遗传算法和SMO方法训练超球支持向量机，求解最优参数及相应的超球模型，加快了遗传算法选择最优参数的速度；而且加权因子的计算使支持向量机数量小于标准的超球支持向量机算法，保证测试决策的计算量也相对较小；

2. 本发明对测试样本的分类不是采用单一规则计算，而是根据测试样本与分类结果超球的位置关系采用不同的分类规则，使分类结果更符合样本分布规律，分类精度更高；

3. 本发明所实现的图像多类别分类系统，只需采用普通用户的Android手机或平板等智能终端即可实现。目前市场上提供的Android手机或平板等都可支持本系统，从而解决了图像分类采集使用高端数码相机硬件设备造价高的问题。

附图说明

图1是本发明实施例的系统运行流程图。

图2是本发明以自然风光类别四个采集图像为例的HOG特征计算结果。

图3是本发明实施例的超球支持向量机算法训练流程图。

图4是发明实施例第k个数据处理线程的流程图。

图5是本发明实施例的测试流程图。

图6是本发明实施例二维同类/异类子超球示意图。

具体实施方式

下面结合附图对本发明做进一步介绍。

本发明提供基于加权超球支持向量机算法的图像分类方法，总体流程如附图1所示，主要包括五个步骤：

a. 图像数据采集：通过USB口读入Android智能终端采集的各类别训练图像数据，目前已实现的12个类别分别为动物、自然风光、城市风光、家庭、食物、人、艺术、交通、科技、旅行、运动、新闻。按预定义的类别每一类别至少采集500幅图像，对Android智能终端照相镜头的最低要求为200万以上像素。

检测各类别样本数是否符合要求，是，进行b步骤；否则，继续采集；

b. 数据预处理与特征提取：采集的原始图像可能还有噪声，采用Harr小波算法对图像首先进行去噪处理；然后把所有图像归一化处理为800*600像素大小；以2*2大小块、9个方向计算所有图像的方向梯度直方图HOG特征，为各类别训练数据加上预定义的12个类别。

以自然风光类别四个采集图像为例的HOG特征计算结果如附图2所示。

c. 权值计算：计算每一类别的数据中心，根据该数据中心计算本类数据中每个样本的权值，按权值大小对训练样本排序；

第k个类别第i个样本点的权值计算公式为：

其中，为第k个类别的样本总数，各类别样本数累计求和为总样本数，即，为第k个类别的样本均值。

d. 超球支持向量机训练与测试：采用多线程GA+SMO求解最优参数及相应的球模型，整体训练流程如附图3所示，单个数据处理线程流程如附图4所示；

加权超球支持向量求解过程具体为：

假设训练数据维数为n，训练样本类别数为m，第k个类别的数据集合样本个数为。给定m个n维空间的集合，对每个集合寻找一个超球，其中为超球球心，为超球半径，使其尽量小，使该最小超球尽可能包含所有同类样本。考虑到存在一些孤立点，允许这些点落入球面外，引入松弛因子，该原始的优化问题可以表示为： 

其中，第k类样本的最小超球S _k 由球心和半径确定，C为惩罚因子，为松弛变量。对非线性的训练集，引入非线性映射把训练数据映射到高维线性特征空间。对非线性映射无需直接计算，在求解过程中引入核函数即可计算。

引入拉格朗日乘子求解该二次规划问题，拉格朗日多项式为如下形式：  

对该多项式分别对求偏导并令其为0，可得：

把上述三个公式带入拉格朗日多项式，可以得到对偶的优化问题：

     

由于无需求解非线性映射函数，因此求解超球半径时，不是直接按照上面推导的公式求解，而是直接求球心的平方，导出如下计算公式：

            

拉格朗日乘子大于0的样本为支持向量，因此满足第一个公式约束条件1的球面上的点即为支持向量。已知球心，可以由任一球面上的支持向量(此时，松弛因子为0)求出半径的平方，即：

在训练支持向量机的过程中采用多线程遗传算法，根据交叉验证，求解最优惩罚因子和核函数参数，即将可行解空间均分为多个数据处理多线程，在每个线程中对区间解空间的惩罚因子和核函数参数进行遗传编码，基于SMO( Sequential Minimal Optimization )求解支持向量的拉格朗日乘子，二次规划迭代求解过程按加权排序顺序优先选择权值大的样本点，确保求解过程快速收敛，根据求得的拉格朗日乘子采用交叉验证法计算分类精度，如果精度不满足遗传算法终止条件，则利用适应度、交叉算子、遗传算子产生下一代进入下一次循环；如果精度满足遗传算法终止条件，则保存当前类别最优的参数对与球模型。

e. 新增图像的自动分类，提取新采集图像的HOG特征，根据训练的球模型文件按不同的分类规则计算分类结果，对新采集的图像加上类别标注，具体流程如附图5所示。

根据测试样本与分类超球的位置关系，采用线性/非线性判别、多子超球不同的判别规则得出分类结果，具体分类规则为：

(1) 如果测试样本仅位于单一超球内，则测试样本就属于该类别。

(2) 如果测试样本位于多个超球内（超球个数大于等于2）时，该测试样本落入超球相交区域。对相交区域首先计算相交超平面对不同类别训练样本的线性可分性，如果线性可分，直接按该线性可分超平面计算分类结果；如果非线性可分，计算同类/异类子超球后计算测试样本的分类结果。

如附图6所示为二维情况下的同类/异类子超球示意图。假定类别1的训练样本分类超球为S ₁ ，类别2的训练样本分类超球为S ₂ ，为S ₁ 在超球S ₂ 中的相交部分，为S ₂ 在超球S ₁ 中的相交部分。相交区域的样本点分为同类错误样本点(与母超球所代表的样本类别相同的样本点)和异类错误样本点(与母超球所代表的样本类别不同的样本点)。在图6中，相对于超球S ₁ 来说，包含样本点x ₁ 的子超球S-sphere为同类子超球，该子超球内的样本点类别与S ₁ 相同；包含样本点x ₂ 的子超球D-sphere为异类子超球，该子超球内的样本点类别与S ₁ 不同。

对于测试样本落入相交区域的非线性可分情况，首先计算同类/异类子超球，然后采用同类错误样本点子超球和异类错误样本点子超球来判定其正确的类别。

(3) 如果测试样本位于所有超球外，使用如下分类决策公式确定其类别归属：

    实验结果：

数据集合采用自采集的12000幅图像，目标图像分类为动物、自然风光、城市风光、家庭、食物、人、艺术、交通、科技、旅行、运动、新闻的12个类别，每个类别训练数据随机选择800幅，测试图像随机选择200幅，比较本文算法与一对一二分类组合支持向量机分类算法、超球支持向量机算法的性能。因此采集的图像数据本身就包含噪声数据，所以这里不再人为加入噪音数据。一对一组合二分类支持向量机、超球支持向量机算法核函数宽度取为1.56，惩罚因子取为100。实验重复5次，实验结果取其平均值。实验数据如表1所示。这里的训练时间不包括图像预处理、特征计算时间。

表1   不同算法分类结果对比

 

由表中数据可知，对相同的数据集，由于本文算法采用了多线程加快二次规划求解速度，因此训练时间相对较短，同时利用遗传算法求解了球模型的最优参数，因此测试精度较高，而且加权因子的计算使支持向量机数量小于标准的超球支持向量机算法，保证测试决策的计算量也相对较小。

Claims (4)

1.一种基于加权超球支持向量机算法的图像分类方法，其特征在于按如下步骤进行：

a. 图像数据采集； 

b. 数据预处理与特征提取：对图像进行去噪及归一化处理，计算所有图像的方向梯度直方图HOG特征，并将预定义的类别加入图像类别，把所有的图像分类；

c. 权值计算：计算每一类别的数据中心，再根据该数据中心计算本类数据中每个样本的权值，按权值大小对训练样本排序；

d. 超球支持向量机训练与测试：采用多线程遗传算法和SMO方法训练超球支持向量机，求解最优参数及相应的超球模型；

e. 新增图像的自动分类：提取新采集图像的HOG特征，计算新采集样本与超球模型的位置关系，根据判别规则得出标注类别，对新采集的图像加上类别标注。

2.根据权利要求1所述的基于加权超球支持向量机算法的图像分类方法，其特征在于所述步骤c第k个类别第i个样本点的权值计算公式为：

其中，为第k个类别的样本总数，各类别样本数累计求和为总样本数，即，为第k个类别的样本均值。

3.根据权利要求2所述的基于加权超球支持向量机算法的图像分类方法，其特征在于所述步骤d是采用多线程遗传算法，根据交叉验证，求解最优惩罚因子和核函数参数，即将可行解空间均分为多个数据处理多线程，在每个线程中对区间解空间的惩罚因子和核函数参数进行遗传编码；基于SMO方法求解支持向量的拉格朗日乘子，二次规划迭代求解过程按加权排序顺序优先选择权值大的样本点，确保求解过程快速收敛；根据求得的拉格朗日乘子采用交叉验证法计算分类精度，如果精度不满足遗传算法终止条件，则利用适应度、交叉算子、遗传算子产生下一代进入下一次循环；如果精度满足遗传算法终止条件，则保存当前类别最优的参数及相应的超球模型，具体算法如下：

假设训练数据维数为n，训练样本类别数为m，第k个类别的数据集合样本个数为；给定m个n维空间的集合，对每个集合寻找一个超球，其中为超球球心，为超球半径，引入松弛因子，

其中，第k类样本的最小超球S _k 由球心C _k 和半径确定，C为惩罚因子，为松弛变量；对非线性的训练集，引入非线性映射把训练数据映射到高维线性特征空间，在求解过程中引入核函数计算；

引入拉格朗日乘子求解该二次规划问题，拉格朗日多项式为如下形式：  

对该多项式分别对求偏导并令其为0，可得：

 

把上述三个公式带入拉格朗日多项式，可以得到对偶的优化问题：

     

由于无需求解非线性映射函数，因此求解超球半径时，直接求球心的平方，导出如下计算公式：

            

拉格朗日乘子大于0的样本为支持向量，满足第一个公式约束条件的球面上的点即为支持向量；已知球心，可以由任一球面上的支持向量求出半径的平方，此时，松弛因子为0，即：

。

4.根据权利要求3所述的基于加权超球支持向量机算法的图像分类方法，其特征在于所述e步骤的判别规则为：

(1) 如果新增样本仅位于单一超球内，则新增样本就属于该类别；

(2) 如果新增样本位于个数大于等于2个超球内时，该新增样本落入超球相交区域，对相交区域首先计算相交超平面对不同类别训练样本的线性可分性，如果线性可分，直接按该线性可分超平面计算分类结果；如果非线性可分，计算同类/异类子超球后计算测试样本的分类结果；

(3) 如果新增样本位于所有超球外部时，使用如下分类决策公式确定其类别归属：

。