CN102955946A - 基于线性分类树和神经网络的两阶段快速分类器 - Google Patents

Abstract

分类器的设计是机器学习和模式识别中最基本和最关键的问题之一，广泛应用于数据挖掘、数据分析、专家系统、生物医学、农业等众多领域。本发明解决正态的、明显特征的、大规模的、多种类的样本集分割与识别问题。通常情况下，样本集大概分为线性可分的和线性不可分的类别。首先，本发明首先对线性可分的样本集进行分类，即通过相关的统计知识，对特征明显的类别进行分类，形成线性的分类树；其次，为了进一步提高神经网络的正确分辨率，需对相对不重要的样本进行删除；再次，由于神经网络具有很强的逼近能力和泛化能力，非线性分类器是基于神经网络的分类器。针对神经网络的训练时间较长的问题，分别通过线性分类树和降维技术减少样本的规模；针对神经网络的输出不稳定的问题，分别通过调整神经网络的目标函数和验证神经网络的训练指标是否达到要求来解决。

Description

基于线性分类树和神经网络的两阶段快速分类器

技术领域

本发明涉及机器学习和模式识别的快速分类器，特别针对正态的、明显特征的、大量的数据集分割与识别问题。快速分类器包括二个重要的阶段：构造线性分类树和构造神经网络。线性分类树主要对具有明显特征的样本进行分类，能减少非线性分类器的时间，提高非线性分类器的泛化能力；神经网络主要是对具有重叠的样本集进行分类。

背景技术

分类器的设计是机器学习和模式识别中最基本和最关键的问题之一，广泛应用于机器学习、模式识别、数据挖掘、数据分析、智能系统、专家系统、生物医学、农业等领域中，不但具有广阔的应用前景，而且具有一定的学术研究价值。快速分类器的设计主要由以下几个部分构成：数据的预处理、数据的统计特性、线性分类树分类器、降维技术、神经网络分类器。

目前智能系统和模式识别中常用的分类器主要有：

1.神经网络分类器

神经网络是模式识别中最常用的分类器的方法之一。从本质上看，神经网络是从输入空间到输出空间的一种非线性映射。从理论上讲，当隐藏层的节点个数足够多和选择的网络权值合适时，神经网络能够以任意精度逼近任意非线性函数。但是Hornik证明了选择隐藏层节点个数和确定网络权值是一个完全NP问题。

神经网络能够广泛应用于函数逼近、人脸识别、路标识别、语音识别、石油探测、特征提取、数据压缩、股票预测、市场分析等，其主要原因是用户不需要事先对系统的内部结构有完全的了解，能够通过神经网络的逼近能力建立输入数据与输出数据的数学关系。特别针对建立复杂的、强耦合的、非线性的系统数学模型，神经网络具有很强的优势。

神经网络的分类器设计主要包括以下几个步骤：(1)选择网络的结构。(2)通过样本集的输入数据和输出数据，调节神经网络中各层的权值和阈值。(3)用测试数据检验神经网络模型的泛化能力。

在神经网络的实际应用过程中，有以下几个不足：(1)神经网络的训练时间较长，即神经网络从初始权值调节合适权值需要较长的时间。导致该原因的几个重要的因素包括：训练数据较多；训练算法效率较低；网络中调节参数过多。(2)神经网络的不稳定性，即神经网络的每次训练结果都不同，有时效果好，有时候效果不好，主要是由调节网络权值的算法所导致的。因为，神经网络最常用的训练算法是基于梯度下降法的BP算法，当初始的条件不同时，梯度下降法可能会陷入不同的局部极小值，只有在特殊的情况下，才能找到整个解空间的最忧解。

2.分类树

分类树是模式识别中最直观和最常用的分类器之一，是一种基于规则的、逻辑的、不涉及距离的分类器。分类树从根节点开始，对属性值进行判断，然后根据判断结果，决定样本的分类。分类树中的叶子节点代表每种分类结果。

通过数据集的数据，不断构造分类树的中间节点和叶子节点，导致分类树的规模不断扩大，计算的复杂度不断增加。从本质上来说，分类树是一种基于规则的线性分类器，能够很直观理解分类器的物理含义，很好处理那些有明显特征的样本集。不足之处是：(1)不能处理有交叉样本集的分类问题，即分类树不能处理线性不可分的样本集；(2)分类树的边界确定问题难以解决，即中间节点的判断条件很难确定。

3.支持向量机(SVM)

基本原理是：将线性不可分的样本集映射到高维空间，实现样本集间线性可分。支持向量机主要的目的是在解空间中寻找一个最优超平面，使最优超平面到不同类边际的距离最大。SVM的最优超平面主要是由关键样本所决定，即支持向量所决定。故SVM不但能避免“维数灾难”，而且能有很好的鲁棒性。其不足之处有：(1)针对大规模的训练样本，SVM需要大量的训练时间；(2)因为支持向量机只能处理二分类问题，这一方法不能很好地解决多分类的问题。

综上所述，针对大规模的分类问题，现有的分类方法主要存在训练时间长，输出结果的不稳定性，训练的精度比较低，多种类的分类问题。

发明内容

本专利提出基于线性分类树和神经网络的快速分类器，并将该分类器应用于高维散点图的识别与分割，主要解决正态的、多种类的、大量的、耦合的数据集的分类问题。线性分类树的主要目标是将具有明显特征的类分离出来，从而减少非线性分类器(神经网络)的训练时间和提高神经网络的预测精度。并通过三维散点图的分割与识别验证快速分类器的有效性。从而实现分类器的训练时间少，训练精度高，输出结果相对稳定。

其主要包括以下几个步骤：

(1)数据预处理

数据预处理主要包括数据的归一化、随机提取训练样本集、构造训练样本输入数据、构造训练样本的输出数据、构造测试样本的输入数据、构造测试样本的输出数据。

首先，数据的归一化。由于数据在通常情况下代表不同的物理意义和有不同的数字范围，则需要对数据进行归一化，它不但使数学模型不会受到数据范围的影响，即减少对数据的依赖性，而且有利于建立统一的衡量标准。通常情况下，将原始的数据映射到(0，1)之间，或者映射到(X_min，X_max)之间。

其次，随机提取训练样本集和测试样本集。为了构造快速的分类器，随机抽取所有的样本的2/3构成训练样本集；为了验证分类器的有效性和正确性，将剩下的1/3样本集构成为测试样本。

再次，构造训练样本集和测试样本集的输入数据。所采集的数据为输入信号，样本所属的类别为分类器的输出信号。

最后，构造训练样本集和测试样本集的输出数据。对于输出样本的数据，一般情况下，将所属种类转换为二进制，其主要原因是：在训练非线性的分类器的过程中，为了构造相对稳定的输出结果，通常建立多输出的神经网络结构，而神经网络的输出节点数与训练数据的种类数有关。

一般情况下，输出所属类别数据是一维数据，故需要确定输出节点的总数和将相应的类别转换为二进制的个数。首先，确定输出节点的个数：2类分类问题需要用1个输出节点，3-4类分类问题需2个输出节点，5-8类分类问题需3个输出节点，9-16类分类问题需4个输出节点等等。其次，类号转换为相应的二进制：“第6类”的输出信号转化为“0110”，“第10类”的输出信号为“1010”，等等。

(2)线性分类树

为了提高非线性分类器的训练精度和减少非线性分类器的训练时间，我们设计了一个线性分类树，主要手段是根据样本特殊的属性值判断该样本的所属类别。通常情况下，当每一类中出现了很明显的数据特征时，即其中某个类的某个属性值特别大，或者特别小，则我们可以利用这种明显的属性值确定该样本的类别。

首先，根据训练样本集的类别，计算每维中每种类别的最大值、最小值、平均值。其次，对每一维数据，通过平均值进行排序，判断是否存在这样的类别：该类别的最小值大于前一种类的最大值，而且该类别的最大值小于后一类别的最小值。如果是第一个类别，则只需要判断其最大值是否小于第二类别的最小值；如果是最后一个类别，则只需要判断其最小值是否大于前一类的最大值。样本集类别满足以上的关系，则存在一个线性的分类树，能将该类别分开。

(3)减少样本的规模

当样本集的规模相当大时，即训练样本的数量较大时，如果使用所有样本去训练非线性分类器，则所需的训练时间比较多。为了减少分类器的训练时间，需要删除一些相对不重要的样本。通过相应的分析，非线性分类器的主要功能是：寻找一个非线性的曲面，将某一类与其他类分开，则每种类的边界点是非常重要的，离中心点不远的点不是那么重要的，则我们利用“80/20”规则减少样本集的规模。通过计算每个点到中心的距离，判断该距离是否超过某个阈值。如果超过阈值，则以80％保留，20％删除；如果没有超过，则80％删除，20％保留。

(4)非线性分类器(神经网络分类器)

线性分类器只能将一些具有明显特征的类进行划分，但对于不明显的、相互交叉的种类则需要一个非线性分类器，将低维空间映射到高维空间中，达到线性可分的要求。神经网络是目前最常用和最重要的非线性分类器之一。

从理论上讲，神经网络能以任何精度逼近任何非线性函数的能力，从而实现从输入空间到输出空间的映射。在建立系统的数学模型时，则不需要分析人员对系统有很高的专业知识要求，只需要根据输入数据和输出数据，则能建立一个“黑箱”的数学模型。

神经网络通常有如下的不足之处：训练时间长和输出结果不稳定。针对这两个问题，我们提出了相应的解决方法，并得到了较好的效果。

首先，针对神经网络“训练时间长”的问题，主要用以下方法进行解决：(a)线性分类树将具有特殊的、明显的类别进行快速的判定，从而降低了设计非线性的分类器的难度，提高了分类器的预测精度，减少了训练时间。(b)特别针对大量的训练样本集，减少样本的规模，又一次降低了非线性分类器的训练时间。(c)神经网络的训练算法，通常是梯度下降法，为了降低训练时间，使用改进的梯度下降法，即共轭梯度下降法。

其次，针对神经网络“输出结果不稳定”的问题，我们发现其主要的原因是：由于设置参数不合适的原因，神经网络还没有达到误差要求，则停止了调节权值。为了解决不稳定性问题，我们采取以下方案：(a)进行多次训练找一个精度相对比较高的神经网络。(b)调整神经网络的目标函数，即增加正则项。

本方法的主要优点：

(1)线性分类树能够很快将特殊的、明显的类进行分开，同时能降低非线性分类器的复杂度，减少非线性分类器的训练时间，提高了快速分类器的精度；

(2)运用“80/20”规则对训练样本集选择重要的样本，降低非线性分类器的训练时间；

(3)神经网络分类器的训练时间较快，训练精度较高，输出的结果相对稳定；

(4)快速分类器能在有效时间内保证较高的分类正确率。

附图说明

图1是本发明的总体流程示意图；

图2所有的样本集的分布；

图3每维中各类别的最大值、平均值和最小值；

图4神经网络的参数设置与训练结果；

图5神经网络的误差曲线；

图6神经网络的回归性分析；

图7测试样本的分类效果；

具体实施方式

基于线性分类树与神经网络的快速分类器如图1所示，快速分类器包括数据预处理，构造线性分类树，减少样本集的规模和设计神经网络的分类器等。其中，神经网络分类器的设计是快速分类器的重点和难点，为了克服神经网络的不足，即训练时间长和输出结果不稳定等问题，线性分类器和减少样本规模的方法能很好解决神经网络的训练速度慢的问题。改进神经网络能处理网络输出不稳定的问题。为了介绍分类器算法的流程与实现，我们下面通过一个三维散点图的分割与识别例子来说明申请中提出的快速分类器算法。

(1)三维散点图的样本集

通过以下几个参数来模拟不同的数据样本集，见表1，2，3，4。各种群的长度代表每个种类的样本个数，各种群的均值代表每类的中心点位置，各种群的标准差代表样本偏离中心点程度，各种群的默认旋转角度代表样本绕中心点旋转角度，见图2。

群落1	群落2	群落3	群落4
				1000	600	500	900

表1各种群默认的长度

	x	y	z
				群落1	30	55	60
群落2	60	110	80
				群落3	100	120	80
群落4	80	100	150

表2各种群的均值

	x	y	z
				群落1	5	6	6
群落2	6	10	7
				群落3	10	11	7
群落4	7	7	15

表3各种群的标准差

	x	y	z
				群落1	0	0	0
群落2	0	1/3*pi	0
				群落3	1/3*pi	1/3*pi	0
群落4	1/3*pi	1/3*pi	1/3*pi

表4各种群的默认旋转角度

通过以上的数据，其整体的效果图如图2所示，从图2可知，则存在1类或者2类的数据具有很明显的特征。

为了详细地介绍构造快速分类器的方法和验证分类器的有效性，以下大致分为两个部分进行说明。首先，针对四类三维散点图的识别与分割问题，给出详细的步骤和实验结果，说明分类器是如何构造出来的。其次，为了验证分类器的有效性，讨论不同种群长度、不同种群的均值、不同种群的标准差、不同种群的旋转角度、不同的种群分类个数。

针对四类三维散点图的识别与分割问题，下面给出详细的实施过程：

(1)数据的归一化

通常情况下，有两种对数据归一化的方法：(a)将所有的数据映射到(0，1)之间。(b)将所有的数据映射到(X′_min，X′_max)之间。两种不同映射方法的公式分别为

$x=\frac{x-X_{\min }}{X_{\max }-X_{\min }}---\left(1\right)$

$x=\frac{x-X_{\min }}{X_{\max }-X_{\min }}\×(X_{\max }^{\′}-X_{\min }^{\′})+X_{\min }^{\′}---\left(2\right)$

其中，X_min表示所有数据中最小值，X_max表示所有数据中最大值；X′_max为映射后的最大值，X′_max为映射后的最小值。

最小值	最大值
		16.9363	178.718

表5三维散点图中所有数据的最大值和最小值

(2)线性分类树

线性分类树主要是通过观察每维中各群落是否具有明显的特征，通过这些明显的特征值判断特殊的种类。

首先，计算每维中各种群的最大值、最小值和平均值。见表6。

表6每维数据中各群落最小值、平均值和最大值

其次，对于每维的数据，按各种群的平均值进行升序排序，见表7和如图所示3。

表7每维数据中各群落排序后最小值、平均值和最大值

最后，根据以下三条规则来判断是否存在明显特征的种类。

(a)对于中间的类别，满足该类中的最小值大于前一种类的最大值，而且该类别的最大值小于后一类别的最小值。

(b)对于排序后群落1，则只需要判断其最大值是否小于第二类别的最小值；

(c)对于排序后群落n，则只需要判断其最小值是否大于前一类的最大值。

当满足以上任一规则，则存在一个简单线性的分类树，能将具有明显特征的类分开。根据表7的排序结果，则存在一种群落能够用线性分类树进行判断。

第几维	判别的群落	判别(大于与小于)	前一类的最大值	该群落的最小值	分界面
						3	4	1	0.5710	0.6356	0.6033

表8线性分类树的表达式

注：如果是中间群落，则需要同时满足其最小值大于前一类的最大值，而且其最大值大于后一类的最小值，而且分界面为(该类最小值+前一类的最大值)/2和(该类最大值+后一类的最小值)/2。

线性分类树含义：由表8可知，当第3维的数据大于0.6033，则可以判断该样本为第四类。

(3)减少样本集的规模

对于分类器来说，训练样本集的数量和质量对分类器的设计有很大的影响。一般情况下，快速分类器在一定训练精度的要求下，尽可能加快神经网络的训练时间。故对不重要的样本进行删除操作。分类器的主要作用在不同群落之间找一个非线性的分割面，则边界样本点十分重要。即离中心点远的样本是重要的，离中心点近的样本是不重要的，为了删除不重要的样本，我们利用“80/20”规则减少训练样本集的规模。

首先，计算每个群落的中心点。

$\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i---\left(3\right)$

$\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i---\left(4\right)$

$\stackrel{\‾}{z}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{z}_i---\left(5\right)$

其次，计算每个样本点离该群落中心点的距离。

$d_i=\sqrt{{(x_i-\stackrel{\‾}{x})}^2+{(y_i-\stackrel{\‾}{y})}^2+{(z_i-\stackrel{\‾}{z})}^2}---\left(6\right)$

$\stackrel{\‾}{d}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i---\left(7\right)$

再次，设置相应的距离阈值。

$\mathrm{dThreshold}=\frac{x_{\max }+\stackrel{\‾}{d}}{2}---\left(8\right)$

最后，利用“80/20”规则减少原来训练样本集的规模。

(4)神经网络分类器

神经网络分类器是快速分类器的核心部分和最关键部分。神经网络是一种最常见的非线性分类器。从本质上说，训练神经网络的分类器，是调节神经网络中的权值和阈值，使目标函数(均方差)不断下降。

首先，对神经网络权值进行初始化，网络的初始权值与每维输入的最小值、最大值、网络的输入节点数、网络输出节点数、神经网络每层的传递函数等等有关。通常情况下，隐藏层的传递函数为“pureline”，“log sig”和“tan sig”。针对线性传递函数“pureline”，初始权值是按线性方式进行赋值；针对非线性传递函数“log sig”和“tan sig”，初始权值一般以非线性方法进行赋值，保证初始权值处于非线性传递函数的一阶和二阶导函数的变化最大的位置。

其次，建立BP前馈神经网络和设置神经网络的系统参数。

(a)神经网络的目标函数。一般情况下，神经网络的目标函数为均方差(MSE)，即输出样本与真实样本之间的马氏距离。

$F(X,Y)=\frac{1}{\mathrm{SN}}\underset{i=1}{\overset{\mathrm{SN}}{\mathrm{\Σ}}}{(Y-\mathrm{WX})}^2---\left(9\right)$

其中，SN为神经网络训练样本的个数，W为神经网络的权值(包括每层的权值和阈值)，X为训练样本的输入数据，Y为训练样本的标准输出数据。

均方差目标函数通常不能得到较好的分类器，因为神经网络的训练算法，最终会导致较大的网络权值，使神经网络的泛化能力下降。为了解决这个问题，目标函数引入网络权值的正则项。改进的目标函数能够使网络的权值不会太大，使网络的泛化能力较好，从而提高分类器的精度。

F(W，X，Y，a₁，SN，SW)＝a₁×MSE+(1-a₁)MSW    (10)

其中，X和Y分别为样本的输入与标准值，W为神经网络权值，a₁为均方差与正则项的比例权重，SN为样本的个数，SW为权值的个数。

(b)神经网络的训练结果

关于网络的输出不稳定性，则通过多次训练分类器解决该问题，先训练多个训练分离器，然后选择目标函数最低的分类器作为最终非线性分类器，即选择最好的结果作为最好的分类器。

关于神经网络的过度拟合问题，正则化的目标函数能较好的处理过度拟合问题，所以目标函数越小的分类器，分类效果越好。其误差曲线如图5所示，参数的回归性分析如图6所示。

神经网络的最终权值在以下的表格中分别列出。

第一个隐藏层的网络权值，行表示输出节点的序号，列表示输入节点序号。

第1输入节点	第2输入节点	第3输入节点
			0.0030	-0.0011	-0.0121
-0.0102	-0.0046	0.0089
			0.0046	-0.0059	0.0114
0.0005	0.0004	-0.0041
			0.0001	-0.0055	-0.0155

-0.0020	-0.0050	-0.0186
			-0.0090	-0.0346	-0.0177
-0.0005	0.0041	0.0052
			-1.7073	-0.4248	-0.0199
0.0038	-0.0108	-0.0103
			-0.0044	0.0098	-0.0063
-0.0115	0.0075	0.0006
			0.0022	-0.0004	0.0100
-0.0126	-0.0436	-0.0483
			0.0226	-0.0058	-0.0124
0.0079	-0.0148	-0.0141
			-0.9646	-1.3040	-0.5620
-0.0107	0.0021	-0.0036
			0.0025	0.0053	-0.0027
0.0168	0.0123	0.0318

表9第一隐藏层的网络权值

第一隐藏层节点的阈值：

-0.0196 0.0141 0.0265 -0.0139 -0.000 -0.0162 0.0771 -0.0031 0.41790.0268 -0.0247 -0.0041 0.0174 -0.0194 0.0123 0.0141 -0.6808 -0.0210-0.0227 0.0310

第二隐藏层中第一个输出节点与输入节点连接权值：

0.0085 -0.0079 -0.0064 0.0081 0.0006 0.0035 0.0330 0.00350.4742 -0.0250 -0.0036 -0.0208 -0.0148 0.0266 -0.0265 0.0183-1.1716 0.0053 0.0054 -0.0276

第二隐藏层中第二个输出节点与输入节点连接权值：

0.0041 -0.0084 -0.0078 0.0051 0.0130 0.0111 0.0043 -0.00940.3453 0.0030 -0.0084 0.0189 -0.0064 0.0223 -0.0203 0.0081-0.7063 -0.0036 0.0042 -0.0164

第二隐藏层中第三个输出节点与输入节点连接权值：

-0.0145 -0.0036 0.0071 -0.0113 0.0063 -0.0106 0.0814 0.0025-1.0627 0.0342 -0.0050 -0.0010 0.0141 -0.0354 0.0677 0.00880.1269 -0.0083 -0.0239 0.0198

第二隐藏层输出节点的阈值

0.3104 0.2056 0.4574

(e)验证测试样本集

为了验证算法的有效性和高效性，将测试样本集输入到分类器中，得到相应的类别，通过将这些测试样本的输出类别与真实的类别进行比较，计算快速分类器的正确率，见图7。

以上是构造快速分类器的详细步骤，下面主要检验快速分类器的有效性，讨论以下几种情况下正确分辨率。即四类三维散点图的分割与识别、不同群落的样本数量、不同群落的均值、不同群落的均方差、不同群落的旋转角度、五类三维散点图的分割与识别、六类三维散点图的分割与识别。

	测试样本平均正确率	测试样本正确率的方差
			标准样本数量	0.9981	3.0446E-006
2倍标准样本数量	0.9982	1.9566E-006
			3倍标准样本数量	0.9980	2.4364E-006

表10不同规模样本集的正确分类率

	测试样本平均正确率	测试样本正确率的方差
			0.9倍群落的标准均值	0.9962	4.7743E-006
0.8倍群落的标准均值	0.9917	1.1028E-005
			0.7倍群落的标准均值	0.9848	1.2907E-005
0.6倍群落的标准均值	0.9700	3.1021E-005

表11不同群落的均值正确分类率

	测试样本平均正确率	测试样本正确率的方差
			1.1倍群落的标准方差	0.9973	2.6399E-006
1.2倍群落的标准方差	0.9946	4.7127E-006
			1.3倍群落的标准方差	0.9895	1.2752E-005

表12不同群落的方差正确分类率

	测试样本平均正确率	测试样本正确率的方差
			旋转角度为30	0.9967	2.3551E-006
旋转角度为45	0.9975	1.8450E-006
			旋转角度为90	0.9992	9.8137E-007

表13不同旋转角度的正确分类率

	测试样本平均正确率	测试样本正确率的方差
			四类分割问题	0.9981	3.0446E-006
五类分割问题	0.9970	2.2913E-006
			六类分割问题	0.9962	1.2135E-005

表14不同类别数目的正确分类率

(1)不同的训练样本个数。当训练样本的个数增加时，快速分类器越能体现出优势，主要是因为线性分类树划分明显的类别和降维技术减少样本的规模。通过表10可知，该专利能够处理大规模的样本集，同时具有较为稳定的正确分类率。

(2)不同大小的群落均值。当样本集的中心坐标不断减少，而方差保持不变时，群落间重叠程度不断增强，见表11。本专利也能很好的处理不同重叠程度下群落之间的分类问题，但群落之间的重叠程度弱，正确分类率很高；群落之间的重叠程度强，正确分类率有所下降。

(3)不同大小的群落方差。当群落的方差不断增加时，样本点离中心的位置则越来越远，群落之间的重叠程度不断加强，见表12。当群落的方差较小时，样本的正确分类率较高；当群落的方差较大时，样本的正确率有所下降。

(4)不同大小的群落旋转。当样本集按一定的角度进行旋转后，本专利也能对样本进行进行很好的分类，见表13。

(5)不同的类别数目。当样本的类别数目、训练的样本数目、重叠程度都不相同时，本专利依然能够保持很高的正确分类率，见表14。

综上所述，基于线性分类树和神经网络的分类器能够处理不同情况下的分类问题，即不同的训练样本个数，不同均值的样本集、不同方差的样本集、不同旋转的样本集、不同类别数目的分类问题。

Claims (5)

1.基于线性分类树与神经网络的快速分类器，主要包括以下几个内容：数据归一化、构造线性分类树、减少样本的规模、训练神经网络分类器。

2.线性分类树通过计算每维中所有类别的最大值、最小值、平均值，然后对每类的平均值进行排序，通过三条规则来判断是否存在线性分类树，如果满足其中一条规则，则线性分类树存在，即构成线性分类树。

3.针对神经网络训练时间长的问题，利用线性分类树或者降维技术(“80/20”规则)减少样本的规模，从而减少神经网络的训练时间。

4.针对神经网络输出不稳定的问题，通过判断神经网络的训练误差是否满足事先设置训练精度。通过训练多个神经网络，选择其中一个最好的网络作为最终的神经网络，从而达到较高的稳定性。一般情况下，只训练3-5个神经网络，选择其中一个最好的神经网络，则能达到较好的预测效果。

5.神经网络的目标函数不是均方差，而是带有正则项的目标函数，即

F(W，X，Y，a，SN，SW)＝a₁×MSE+(1-a₁)MSW

其中，X和Y分别为样本的输入与标准值，W为神经网络权值，a₁为均方差与正则项的比例权重，SN为样本的个数，SW为权值的个数。

Images