CN110097117A - 基于线性判别分析与多元自适应样条的数据分类方法 - Google Patents

Abstract

本发明公开了一种基于线性判别分析与多元自适应样条的数据分类方法，本发明是一种将降维与分类相结合的方法，首先通过线性判别分析方法确定最有效的分类特征，然后通过多元自适应回归样条(Multivariate adaptive regression splines,MARS)实现输入变量区间分割，将非线性分类转为线性分类问题，最后通过感知机实现分类，本发明实现了多输出分段线性分类，通过多元自适应回归样条的方式实现递归分割，通过感知机方式实现线性分类使得训练集的分类误差最小，预测时间在毫秒级以下，该算法有快速准确的特点。

Description

基于线性判别分析与多元自适应样条的数据分类方法

技术领域

本发明涉及一种数据分类方法，特别是一种基于线性判别分析与多元自适应样条的数据分类方法，属于机器学习中的数据降维与分类领域。

背景技术

机器学习中的数据降维与分类技术是人工智能的核心技术，有广泛的应用。传统的分类算法中，支持向量机(Support Vector Machine,SVM)、决策树(随机森林)和深度学习有最好的分类效果。支持向量机与决策树需要提取特征，其分类性能取决于特征的有效性，支持向量机利用内积核函数代替向高维空间的非线性映射，但它对大规模训练样本难以实施，当样本很大时，对数据的计算将耗费大量的内存和时间，并且对核函数的求解还没有找到合适的方法。决策树适合高维数据，计算量相对较小，且容易转化成分类规则，但对于各类样本数量不一致的数据，信息增益偏向于那些更多数值的特征，很容易过拟合，忽略属性之间的相关性。深度学习是目前性能最好的分类器，它让计算机自动学习出模式特征，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性，但深度学习不能够对数据的规律进行无偏差的估计，为了达到更好的精度，需要大量的训练样本和极大的硬件支持。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种将降维与分类相结合的、快速准确的基于线性判别分析与多元自适应样条的数据分类方法。

为解决上述技术问题，本发明一种基于线性判别分析与多元自适应样条的分类方法，包括以下步骤：

步骤一：对训练样本集中的待分类的M维向量x_o进行线性判别分析，得到降维后的向量x，设置降维后的维数为d，具体为：

步骤1：计算类内散度矩阵S_w：

其中，μ_j为第j类样本的均值向量，μ为所有样本的均值向量，k为类别数，X_j为第j类样本集；

步骤2：计算类间散度矩阵S_b：

其中，N_j(j＝1,2,…,k)为第j类样本的个数；

步骤3：计算矩阵S_w ^-1S_b；

步骤4：通过矩阵相似对角化计算S_w ^-1S_b的最大的d个特征值和对应的d个特征向量(w₁,w₂,…,w_d)，得到投影矩阵W，W＝[w₁,w₂,…,w_d]，W为M行d列矩阵；

步骤5：对训练样本集中的每一个样本特征x_o，转化新的样本x＝W^Tx_o，x即为降成d维的向量；

步骤二：把步骤一得到的x表示成多元自适应回归样条基函数B_m(x)的形式，对于x的第m维分量x_m，t_km是第k次直线分段的节点，s_km∈{-1,1}，[·]₊表示方括号中的向量只取大于0的部分，x_km是第k次线性分段后的x_m，{m,s_km,t_km}为B_m(x)的参数，具体为：

步骤1：将每个x值充当节点t_km构成的基函数加入当前基函数参数集basicFunctionList中，basicFunctionList中包括待分割的x的维数dim，节点t_km，对x的basicFunctionList{i}.dim维按照节点值basicFunctionList{i}.t_km划分成两个向量，其中一个向量为大于t_km的元素置零，另一个向量为小于t_km的元素置0，将上述两个向量加入临时基函数向量集basisTmp中，根据当前基函数建立临时分类模型，计算当前模型的误差；

步骤2：将误差最小值对应的基函数向量加入到基函数向量集basisSet中；

步骤3：根据当前基函数集向量集basisSet建立分类模型；

步骤4：如果当前误差小于误差阈值，则退出迭代；basisSet即B_m(x)是用于分类的新的向量，原x由d维变成K_m维，整个B(x)的维数用K_M表示，对x来说，K_m个{m,s_km,t_km}即线性分段模型；

步骤三：得到的所有维的基函数B(x)作为分类器的输入变量建立分类模型，通过感知机方法求解分类模型，具体为：

步骤1：令z＝B(x)，为z增加一维常数项取值为1，初始化c个K_M+1维向量v为全零矩阵；

步骤2：对每一类循环,在第i次循环中，选择另一个类j，按e＝<v_i·z_i>-<v_j·z_j>对所有i类样本z_i计算概率差值e：

在所有z_i中选择e最小且为负值的样本z_m，计算v_i＝v_i+z_m，v_j＝v_j-z_m当所有<v_i·z_i>＞<v_j·z_j>时，或迭代次数达到限制值时，退出迭代，得到的模型是(K_M+1)×c维矩阵，用V表示；

步骤四：对于待分类的测试集M维向量x₁，得到c维实数向量P_n，具体为：

步骤1：将测试集中待分类的向量x₁乘以步骤一中得到的投影矩阵W，得到新的样本x₂＝W^Tx₁；取前d维形成降维后的样本x₂；

步骤2：根据步骤二中模型参数中{m,s_km,t_km}对x₂中的每一维分量x_m进行分段，形成分段后的向量B(x₂)；

步骤3：令z的第一维为全1向量，第二维以后为B(x₂)，得到z'；

步骤4：按P_n＝Vz'计算出N个c维实数向量P_n；

步骤5：根据每个P_n的最大值得到其类号。

本发明有益效果：针对一些高维小样本分类问题，如基于红外遥感图像的土壤分类，本发明提出一种将降维与分类相结合的方法，首先通过线性判别分析方法确定最有效的分类特征，然后通过多元自适应回归样条(Multivariate adaptive regressionsplines,MARS)实现输入变量区间分割，将非线性分类转为线性分类问题，最后通过感知机实现分类，本发明实现了多输出分段线性分类，通过多元自适应回归样条的方式实现递归分割，通过感知机方式实现线性分类使得训练集的分类误差最小，预测时间在毫秒级以下，该算法有快速准确的特点。

附图说明

图1为训练流程图；

图2为预测流程图。

具体实施方式

下面结合附图对本发明具体实施方式进行说明。

本发明分类算法包括模型建立和分类预测两个过程，模型建立包括分段模型建立和分类模型建立。

1.模型建立

1.1线性判别分析

对于待分类的M维向量x_o，k为类别数，X_j为第j类样本集，μ_j为第j类样本的均值向量，μ为所有样本的均值向量。先对其进行线性判别分析，得到降维后的x具体步骤如下，设置降维后的维数为d：

A.计算类内散度矩阵S_w，

B.计算类间散度矩阵S_b，

N_j(j＝1,2,…,k)为第j类样本的个数；

C.计算矩阵S_w ^-1S_b；

D.通过矩阵相似对角化计算S_w ^-1S_b的最大的d个特征值和对应的d个特征向量(w₁,w₂,…,w_d)，得到投影矩阵W，其中w₁-w_d作为W的列向量，W为M行d列矩阵；

E.对训练样本集中的每一个样本特征x_o，转化新的样本x＝W^Tx_o，x即降成d维后的样本。1.2区间分割与分类模型建立

1.2.1区间分割

区间分割是一个循环迭代的过程，目标是把进行判别分析后得到的新的数据样本x表示成MARS基函数B_m(x)的形式，B_m(x)是第m维的基函数。

对于x的第m维分量x_m，t_km是第k次直线分段的节点，s_km∈{-1,1}，[·]₊表示方括号中的向量只取大于0的部分，x_km是第k次线性分段后的x_m，m指第几维，k是第几次分段。MARS一次通过t_km将当前x_km分成两段，通过递归分割的方式形成k次分段，所得到的基函数B_m(x)即完成分段后的x_m，但需要减掉节点t_km的数值后再参与线性分类模型的计算。其中{m,s_km,t_km}为基函数B_m(x)参数，B_m(x)为基函数向量，具体步骤如下：

A.将每个x值充当节点t_km构成的基函数加入当前基函数参数集basicFunctionList中，basicFunctionList中包括待分割的x的维数dim，节点t_km，对X的basicFunctionList{i}.dim维按照节点值basicFunctionList{i}.t_km划分成大于和小于两维加入临时基函数向量集basisTmp中，具体为：复制x_m得到两个向量，一个向量把大于t_km的元素置零，另一个向量把小于t_km的元素置0。根据当前基函数建立临时分类模型，计算当前模型的误差；

B.将误差最小值对应的基函数向量加入到基函数向量集basisSet中；

C.根据当前基函数集向量集basisSet建立分类模型；

D.如果当前误差小于误差阈值，则退出迭代；

basisSet即式(3)中的B_m(x)即用于分类的新的向量，原x由d维变成K_m维，整个B(x)的维数用K_M表示。对x来说，K_m个{m,s_km,t_km}即线性分段模型。

1.2.2分类模型建立

得到的B(x)可作为分类器的输入变量建立分类模型，B(x)是所有维的基函数，通过感知机方法求解分类模型：

A.令z＝B(x)，需要为z增加一维常数项取值为1，初始化c个K_M+1维向量v为全零矩阵。

B.对每一类循环,在第i次循环中，选择另一个类j，按式(4)对所有i类样本z_i计算概率差值e：

e＝<v_i·z_i>-<v_j·z_j> (4)

在所有z_i中选择e最小且为负值的样本z_m，计算v_i＝v_i+z_m，v_j＝v_j-z_m当所有<v_i·z_i>＞<v_j·z_j>时，或迭代次数达到限制值时，退出迭代。得到的模型是(K_M+1)×c维矩阵，用V表示。

2.分类预测

对于待分类的M维向量x₀，得到c维实数向量P_n，分类预测通过以下五步骤实现：

A.将待分类的向量x_o乘以线性判别分析中得到的投影矩阵W，得到新的样本x＝W^Tx_o；x即降到d维后的样本。

B.根据模型参数中{m,s_km,t_km}对模型中的每一维分量x_m进行分段，形成分段后的向量B(x)；

C.求z'：令z的第一维为全1向量，第二维以后为B(x)；

D.按P_n＝Vz'计算出N个c维实数向量P_n；

E.根据每个P_n的最大值得到其类号。

本发明选取三种不同类型的高维小样本数据集：ORL人脸数据集、红外图像土壤分类数据集以及红外图像火点检测数据集。ORL人脸数据集是对分类判断标准测试集，选取红外土壤和火点检测数据集来源于项目“红外遥感在环保、大气和地质异常的应用研究”。

ORL人脸数据集是由英国剑桥的Olivetti研究实验室创建的标准数据库，包含40个人，每个人有十张图片，每幅图片大小为112×92，即每一个样本的维数是10304。

土壤数据集(doi:10.3972/heihe.00134.2016.db)是从黑河计划数据管理中心下载得到的，红外图像选择使用LANSAT8数据，选取了不同时间的LANSAT8图像，每个图像包括11个波段，选取每一个土壤数据的对应点的31×31邻域表示成一行，组成一个样本数据，即每个样本的维数为10571，共有126个样本，土壤类别共有4类。

火点数据集是自制数据集，对已知火点信息在图像上进行标记，同样选用LANSAT8红外遥感图像。一共110个火点，包含在18张遥感图像中。火点检测只有两个分类：有(火点)，没有(火点)。由于每一张遥感图像大小为7701×7821，并且每个对应点有十一个波段，相当于有十一张等大的图像，将火点数据对应点的31×31邻域表示成一行，组成一个样本数据，共有256个样本，对其进行分类，即每一个样本有9900维，火点的位置标记为1，没有火点的位置标记为0，数据集一共有110个样本。

对比方法为传统的主成分分析(Principal Component Analysis，PCA)结合SVM分类器，即先用PCA对样本数据降维，然后采用SVM分类器进行判别。本发明方法对比指标为分类的准确率，验证方法为K-Fold交叉验证。本发明的方法同样是首先降维，然后通过MARS对降低后的维度再分段，目的是把非线性分类问题转换为线性分类问题，分段后的维数又有一定程度的提高。虽然分段后的维数有所提高，但由于采用的是线性分类器，速度仍然很快。

表1列出了在每种数据集上，PCA和本发明方法的降维的维数，及K-Fold交叉验证中的K。

表1各数据集实验参数一览表

SVM分类方法与本发明分类方法在三种数据集上的分类结果见表2-表4。

表2 ORI人脸数据分类结果

表3土壤数据分类检测结果

表4火点检测数据分类检测结果

本发明预测时间测试的机器配置是:

处理器：Intel(R)Core(TM)i7-8700CPU主频3.20GHz，内存：16GB。

软件环境是：

Windows10操作系统，开发工具：Matlab R2017a。

本发明的平均每个样本完成预测的时间分别为2.5ms、2.8ms、1.6ms，SVM的预测时间是15ms、10ms、7.8ms，综上本发明在时间上的优势十分明显。

统计结果显示，针对于高维小样本的三种不同类型的数据，本发明算法比传统的支持向量机的分类准确率高且稳定，并且具有较快的预测时间。

Claims (1)

1.一种基于线性判别分析与多元自适应样条的数据分类方法，其特征在于，包括以下步骤：

步骤一：对训练样本集中的待分类的M维向量x_o进行线性判别分析，得到降维后的向量x，设置降维后的维数为d，具体为：

步骤1：计算类内散度矩阵S_w：

其中，μ_j为第j类样本的均值向量，μ为所有样本的均值向量，k为类别数，X_j为第j类样本集；

步骤2：计算类间散度矩阵S_b：

其中，N_j(j＝1,2,…,k)为第j类样本的个数；

步骤3：计算矩阵S_w ^-1S_b；

步骤4：通过矩阵相似对角化计算S_w ^-1S_b的最大的d个特征值和对应的d个特征向量(w₁,w₂,…,w_d)，得到投影矩阵W，W＝[w₁,w₂,…,w_d]，W为M行d列矩阵；

步骤5：对训练样本集中的每一个样本特征x_o，转化新的样本x＝W^Tx_o，x即为降成d维的向量；

步骤二：把步骤一得到的x表示成多元自适应回归样条基函数B_m(x)的形式，对于x的第m维分量x_m，t_km是第k次直线分段的节点，s_km∈{-1,1}，[·]₊表示方括号中的向量只取大于0的部分，x_km是第k次线性分段后的x_m，{m,s_km,t_km}为B_m(x)的参数，具体为：

步骤1：将每个x值充当节点t_km构成的基函数加入当前基函数参数集basicFunctionList中，basicFunctionList中包括待分割的x的维数dim，节点t_km，对x的basicFunctionList{i}.dim维按照节点值basicFunctionList{i}.t_km划分成两个向量，其中一个向量为大于t_km的元素置零，另一个向量为小于t_km的元素置0，将上述两个向量加入临时基函数向量集basisTmp中，根据当前基函数建立临时分类模型，计算当前模型的误差；

步骤2：将误差最小值对应的基函数向量加入到基函数向量集basisSet中；

步骤3：根据当前基函数集向量集basisSet建立分类模型；

步骤4：如果当前误差小于误差阈值，则退出迭代；basisSet即B_m(x)是用于分类的新的向量，原x由d维变成K_m维，整个B(x)的维数用K_M表示，对x来说，K_m个{m,s_km,t_km}即线性分段模型；

步骤三：得到的所有维的基函数B(x)作为分类器的输入变量建立分类模型，通过感知机方法求解分类模型，具体为：

步骤1：令z＝B(x)，为z增加一维常数项取值为1，初始化c个K_M+1维向量v为全零矩阵；

步骤2：对每一类循环,在第i次循环中，选择另一个类j，按e＝<v_i·z_i>-<v_j·z_j>对所有i类样本z_i计算概率差值e：

在所有z_i中选择e最小且为负值的样本z_m，计算v_i＝v_i+z_m，v_j＝v_j-z_m当所有<v_i·z_i>＞<v_j·z_j>时，或迭代次数达到限制值时，退出迭代，得到的模型是(K_M+1)×c维矩阵，用V表示；

步骤四：对于待分类的测试集M维向量x₁，得到c维实数向量P_n，具体为：

步骤1：将测试集中待分类的向量x₁乘以步骤一中得到的投影矩阵W，得到新的样本x₂＝W^Tx₁；取前d维形成降维后的样本x₂；

步骤2：根据步骤二中模型参数中{m,s_km,t_km}对x₂中的每一维分量x_m进行分段，形成分段后的向量B(x₂)；

步骤3：令z的第一维为全1向量，第二维以后为B(x₂)，得到z'；

步骤4：按P_n＝Vz'计算出N个c维实数向量P_n；

步骤5：根据每个P_n的最大值得到其类号。