CN103489009B - 基于自适应修正神经网络的模式识别方法 - Google Patents

Abstract

本发明涉及模式识别领域，具体的说是一种基于自适应修正神经网络的模式识别方法；该方法首先采用概率神经网络模型对输入的训练样本进行分类，得到分类正确的样本和分类错误的样本；然后在概率神经网络模型结构的基础上添加输入层、中心层和激励层，构建自适应修正神经网络模型结构；之后针对概率神经网络模型分类错误的样本，以自身为中心点，计算与其他类别样本间的允许半径，聚类同类别错误样本，从而实现分类模式的批量修正以及判决分界面的重新规划，建立自适应修正神经网络模型；最后基于自适应修正神经网络模型对输入的测试样本进行模式识别；本发明具有模式分类准确率高、模型泛化能力强、分类实时性能好、应用前景广阔等特点。

Description

基于自适应修正神经网络的模式识别方法

技术领域

本发明属于模式识别领域，特别是一种基于自适应修正神经网络的模式识别方法。

背景技术

神经网络作为一种模式识别技术，不需要预先给出有关模式的经验知识和判别函数，通过自身的学习机制即可自动形成所需要的决策区域，因此，近年来神经网络在模式识别领域得到越来越广泛的应用，文献成果报道最多的主要包括以下几种：

标准反向传播神经网络（Back Propagation Neural Network，BPNN）采用基于误差代价函数的最速梯度下降静态寻优法进行模式识别，其固定的学习率、学习过程瘫痪现象易导致收敛速度慢、局部极小值、网络结构和规模难以确定等问题。采用变学习速率和附加动量项的改进BPNN诊断方法在一定程度上改善了标准BPNN的收敛速度，避免网络限于较浅的局部极小值，但没有彻底避免不收敛的情况，且仍采用类似于标准BPNN的算法结构，训练精度不高，不适合大规模数据并行处理，难以实现诊断模型的快速在线构建与自动更新。

径向基函数神经网络(Radial Basis Function Neural Network，RBFNN)基于多变量插值径向基函数，能够以任意精度逼近任意连续函数，具有最佳的局部逼近特性和全局近似性能，无论在逼近能力、分类能力和学习速度等方面均优于BPNN，能够实现大规模数据并行处理，支持在线、离线建模。但是RBFNN需要依靠误差代价函数控制进行反复训练从而形成各类别模式间的判别表面，且输出层采用连接权线性叠加，可能发生样本“拒识”的情况。

概率神经网络(Probabilistic Neural Network，PNN)是RBFNN的一种变化形式，采用基于模式样本后验概率估计方法进行分类，当获得足够多的有代表性的样本后可直接学习，无需反复训练，收敛速度很快，分类能力理想，且输出层采用竞争机制，避免了样本“拒识”。因此，PNN被广泛应用于大规模数据分类、模式识别、故障诊断、非线性滤波等领域。但是PNN没有考虑不同类别模式间的交错影响，形成的判决分界面是有偏的，整体分类性能是受限的。

径向基概率神经网络（Radial Basis Probabilistic Neural Networks，RBPNN）是在RBFNN和PNN基础上发展而来的，具有RBFNN和PNN的优点，如快速的收敛性能，降低的计算复杂度等，在保证网络性能前提下，进一步降低了网络规模，减少了训练强度，增强了分类准确性。同RBFNN类似，RBPNN输出层仍采用连接权线性叠加，可能发生样本“拒识”的情况。

发明内容

本发明的目的在于提供一种分类准确率高、模型泛化能力强、分类实时性能好、应用前景广阔的基于自适应修正神经网络的模式识别方法。

实现本发明目的的技术解决方案为：

一种基于自适应修正神经网络的模式识别方法，包括以下步骤：

第一步，概率神经网络模式分类，即采用概率神经网络模型对输入的训练样本进行分类，得到分类正确的样本和分类错误的样本；

第二步，构建自适应修正神经网络模型结构，即在概率神经网络模型结构的基础上添加输入层、中心层和激励层；

第三步，建立自适应修正神经网络模型，即针对概率神经网络模型分类错误的样本，以自身为中心点，计算与其他类别样本间的允许半径，聚类同类别错误样本，从而实现分类模式的批量修正以及判决分界面的重新规划，最终建立自适应修正神经网络模型；

第四步，模式识别，即利用上述步骤所得自适应修正神经网络模型，对输入的测试样本进行模式识别。

本发明与现有技术相比，其显著优点：

（1）分类准确率高。本发明方法针对模式间交错影响造成判决界面有偏的问题，提出一种自适应修正神经网络模型。该模型针对概率神经网络方法分类错误的样本，以自身为中心点，自行计算与其他类别样本间的允许半径，聚类同类别错误样本，从而实现批量模式修正，因此分类准确率高。

（2）模型泛化能力强。本发明方法采用自适应修正神经网络模型，能够在低信噪比情况下避免样本“拒识”现象的发生、保证较高的分类准确率，因此模型泛化能力强。

（3）分类实时性能好。本发明方法中模型的训练时间随训练样本个数的增加而平缓上升，耗时较少，模型的分类时间受模型复杂程度影响较小，波动不大，耗时为毫秒级，因此分类实时性能好，适用于实时分类领域。

（4）应用前景广阔。本发明方法所需先验知识少，并且采用小波分析技术提取数据的特征向量进行建模，对原始数据要求低，得到的模型更加精确，因此应用前景广阔。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于自适应修正神经网络的模式识别方法流程图。

图2为本发明方法中概率神经网络模型结构图。

图3为本发明方法中自适应修正神经网络模型结构图。

图4为本发明方法中自适应修正神经网络模型算法原理图。

图5为本发明方法应用的双螺旋训练样本分布示意图。

图6为使用本发明方法和概率神经网络方法所得的分类界面结果图；其中（a）为概率神经网络方法（PNN）所得的分类界面结果图；（b）为本发明方法（ACNN）所得的分类界面结果图。

图7为使用本发明方法所得的错误样本的聚类分布结果图。

图8为使用本发明方法所得的样本训练时间结果图。

图9为使用本发明方法对测试样本分类的平均时间结果图。

具体实施方式

下面结合附图及实施例对本发明一种基于自适应修正神经网络的模式识别方法的实施方式进行详细说明。

如图1所示，为本发明基于自适应修正神经网络的模式识别方法流程图。第一步，采用概率神经网络模型对输入的训练样本进行分类，得到分类正确的样本和分类错误的样本；第二步，在概率神经网络模型结构的基础上添加输入层、中心层和激励层；第三步，针对概率神经网络模型分类错误的样本，以自身为中心点，计算与其他类别样本间的允许半径，聚类同类别错误样本，从而实现分类模式的批量修正以及判决分界面的重新规划，建立自适应修正神经网络模型（Adaptive Correction Neural Network，ACNN）；第三步，基于自适应修正神经网络模型对输入的测试样本进行模式识别。

如图2所示，为本发明方法中概率神经网络模型结构图。其基本结构包括输入层、模式层、求和层和竞争层，具体说明如下：

（1）输入层包括n个神经元（n∈N⁺），代表输入样本的维数，即X=(x₁,x₂,…,x_n)；

（2）模式层包括m个隐神经元（m∈N⁺），对应m个训练样本，即Y=(y₁,y₂,…,y_m)，模式层针对输入样本，计算其同每一个训练样本之间的距离，然后使用径向基函数（如高斯函数）计算当前输入与本身所代表样本的相似度，其输出out_y_i可根据公式计算，式中，i∈[1,m]，X为待分类的输入样本，Y为训练样本，||X-Y||为欧式距离，表示样本X与Y之间的距离，δ为平滑因子，可以针对不同的类别选择不同的平滑因子，也可以选择相同的平滑因子；

（3）求和层包括l个隐神经元，等于训练样本类别的个数，求和层针对同一类别训练样本的模式层输出，进行概率累计，得到模式的估计概率密度函数，其输出out_z_j可根据公式 $\mathrm{out}\_z_j=\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\mathrm{\δ}}^n}\frac{1}{m_j}\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}\exp [-\frac{\left|\right|X-Y_i\left|\right|}{{2\mathrm{\δ}}^2}]$ 计算，式中，j∈[1,l]，m_j为训练样本中属于第j类别的样本个数；

（4）竞争层针对求和层的输出，选择最大的后验概率密度作为整个系统的输出，每种输出代表一种模式（包括正常状态对应的正常模式），其输出out_t可根据公式计算，其中arg函数表示取out_z_j最大者所对应的下标。

如图3所示，为本发明方法中自适应修正神经网络模型结构图。该结构在概率神经网络结构的基础上添加输入层、中心层和激励层，具体说明如下：

（1）输入层同概率神经网络的输入层一样，包括n个神经元（n∈N⁺），对应概率神经网络训练过程中分类错误样本X=(x₁,x₂,…,x_n)的n维特征向量，分类错误的样本个数为m个（m∈N⁺）；

（2）中心层包括k个神经元（k∈N⁺），代表所有错误分类样本的k个聚类，聚类的中心矢量c_i为一个错误分类样本（i∈[1,k]），半径r_i由公式计算，式中Γ(*)为样本所属类别，c_i为错误分类的训练样本，y_j为c_i真实所属类别以外的其它类别内的样本（j∈[0,m-1]），中心层的输出out_c_i由公式 $\mathrm{out}\_c_i=\left\{\begin{array}{cc}1,& \left|\right|X-c_i\left|\right|-r_i\≤0\\ 0,& \left|\right|X-c_i\left|\right|-r_i>0\end{array}\right.$ 计算；

（3）激励层计算out_c_i的最大值，如果结果为0，则发出ζ信号激活概率神经网络模型，否则输出与out_c_i=1的聚类相同的所属类别，则激励层输出out_g由公式 $\mathrm{out}\_g=\left\{\begin{array}{cc}\mathrm{\Γ}{\left(}_{c\arg \underset{i}{\max \{\mathrm{out}\_c_i\}}},& \underset{i}{\max }\{\mathrm{out}\_c_i\}=1\\ \mathrm{\ξ},& \underset{i}{\max }\{\mathrm{out}\_c_i\}=0\end{array}\right.$ 计算。

如图4所示，为本发明方法中自适应修正神经网络模型算法原理图。该方法在概率神经网络方法的基础上增加了自适应误差修正过程，针对概率神经网络方法分类错误的样本，以自身为中心点，自行计算与其他类别样本间的允许半径，聚类同类别错误样本，从而实现分类模式的批量修正以及判决分界面的重新规划。算法中聚类（CLUSTER）数据结构包括中心矢量（CENTER）和半径（RADIUS）。具体步骤如下：

第一步，使用概率神经网络模型对训练样本进行分类，将训练样本中分类错误的样本存储至错误集合（ERR）中；

第二步，判断ERR是否为空，如果是，则训练过程结束，建立新的自适应修正神经网络模型，进入测试过程，如果否，则在ERR中选取一个样本作为中心点，将该样本加入聚类集合CLUSTER的CENTER中；

第三步，获取该CENTER真实所属模式类别t，并在ERR中删除该样本；

第四步，计算该样本中心点同训练样本中所有不属于类别t的样本之间的距离，并从中选取最小距离的一半作为半径，更新CLUSTER中该CENTER对应的RADIUS；

第五步，计算ERR中的一个样本同所选CENTER之间的距离，如果小于对应RADIUS，则在ERR中删除距离小于该RADIUS的样本，对ERR中的下一个样本重复该计算，如果大于对应RADIUS，则对ERR中的下一个样本重复该计算；

第六步，如果ERR中的所有样本均已进行过上述计算，则ERR的更新过程结束，转第二步，进一步判断ERR是否为空，重复上述训练过程；

第七步，使用新的自适应修正神经网络模型对新测试样本进行分类，计算该测试样本同CLUSTER中的一个CENTER之间的距离；

第八步，如果该距离小于对应RADIUS，则该测试样本的分类与该CENTER所属类别相同，该测试样本的模式识别过程结束，如果距离大于对应RADIUS，则说明该测试样本不属于该CLUSTER，继续选取CLUSTER中的下一个CENTER重复该分类计算；

第九步，如果CLUSTER中的所有CENTER均已进行过计算，则说明该测试样本不在各CLUSTER的范围内，继续使用概率神经网络模型对该测试样本进行模式识别。

通过双螺旋分类问题对本发明所述方法进行了研究，验证其分类准确率、模型泛化能力和分类实时性。其中，双螺旋分类问题是由Lang和Witbrock于1989年提出的测试分类器分类能力的标准用例。

如图5所示，为本发明方法应用的双螺旋训练样本分布示意图。图中以n=1为采样步长构造训练样本集A旋和B旋，每旋选取100个样本参与训练。

如图6所示，为使用本发明方法（ACNN）和概率神经网络方法（PNN）所得的分类界面结果图。通过使用本发明方法和概率神经网络方法对图5中的样本集进行训练后形成的整体分类界面，可以看出概率神经网络方法形成的分类界面是有偏的，中断了双螺旋图形的构造，而本发明方法较好地构造了双螺旋图形。

如图7所示，为使用本发明方法所得的错误样本的聚类分布结果图。使用本发明方法对图5中的样本集进行训练，得到本发明方法针对概率神经网络方法错误分类的样本生成的聚类分布情况。

针对本发明方法和概率神经网络方法训练后的模型，以n=0.1作为采样步长构造测试样本集验证模型的分类准确率，则每旋选取991个样本参与测试，可得概率神经网络方法的正确率仅为74.37%，本发明方法的正确率为100%。

为验证本发明方法中模型的泛化能力，在1982个双螺旋原始测试样本中加入高斯0均值白噪声，分别以σ=0.01,0.1,0.2为标准偏差构造测试样本集，然后使用概率神经网络方法（PNN）、径向基概率神经网络方法（RBPNN）和本发明方法（ACNN）对无噪声（σ=0）和含噪声（σ=0.01,0.1,0.2）的测试样本进行分类，结果如表1所示。

表1三种方法对含噪声双螺旋测试样本的分类结果

经分析可得：ACNN在无噪声和有噪声的情况下，分类准确率均优于PNN；在低信噪比的情况下，RBPNN存在严重的样本“拒识”现象，ACNN无样本“拒识”现象且准确率优于RBPNN，表明ACNN模型具有较好的泛化能力。

针对本发明方法分类实时性的实验主要集中于模型训练时间和分类时间两方面。实验平台采用2.2GHz Intel Pentium CPU、2G内存、Windows XP操作系统。

如图8所示，为使用本发明方法所得的样本训练时间结果图。以n=1为采样步长构造双螺旋训练样本集，每旋选取（50+10i）个样本对ACNN模型进行训练，其中i=0,1,...,20，记录样本训练时间。由图分析可得，随着训练样本个数增加，错误样本聚类个数平缓上升，ACNN模型的训练时间也随之平缓上升，但均在0.5秒以下，耗时较少，不会给系统带来过大的计算负担。

如图9所示，为使用本发明方法对测试样本分类的平均时间结果图。以n=0.1为采样步长构造测试样本集，使用训练生成的21个ACNN模型，对每旋（491+100i）个样本进行分类，记录每个样本的平均分类时间。由图分析可得，ACNN模型的分类时间受模型复杂程度（错误样本聚类个数）影响较小，波动不大，且均在7.5毫秒以内，适用于实时分类领域。

Claims (4)

1.一种基于自适应修正神经网络的模式识别方法，其特征在于，包括以下步骤：

第一步，概率神经网络模式分类，即采用概率神经网络模型对输入的训练样本进行分类，得到分类正确的样本和分类错误的样本；具体为：每个训练样本包括原始数据和对应的真实模式，采用概率神经网络模型对训练样本的原始数据进行模式分类，将所得分类模式与样本真实模式进行对比，如果模式相同，则样本分类正确，否则，样本分类错误；

第二步，构建自适应修正神经网络模型结构，即在概率神经网络模型结构的基础上添加输入层、中心层和激励层；具体为：所述自适应修正神经网络模型结构是在概率神经网络的基础上添加输入层、中心层和激励层，输入层代表概率神经网络训练过程中分类错误的样本，中心层代表所有错误分类样本的不同聚类，激励层代表样本模式，能够根据中心层的输出直接输出样本模式，或者激活概率神经网络模型进一步识别模式；

第三步，建立自适应修正神经网络模型，即针对概率神经网络模型分类错误的样本，以自身为中心点，计算与其他类别样本间的允许半径，聚类同类别错误样本，从而实现分类模式的批量修正以及判决分界面的重新规划，最终建立自适应修正神经网络模型；

第四步，模式识别，即利用上述步骤所得自适应修正神经网络模型，对输入的测试样本进行模式识别。

2.根据权利要求1所述的一种基于自适应修正神经网络的模式识别方法，其特征在于：所述中心层的聚类由中心矢量和半径表示，其中心矢量为错误分类样本，半径为该中心矢量同所有训练样本中其他类别样本之间的最小距离的一半。

3.根据权利要求1所述的一种基于自适应修正神经网络的模式识别方法，其特征在于建立自适应修正神经网络模型步骤如下：

第一步，使用概率神经网络模型对输入的训练样本进行分类，将训练样本中分类错误的样本全部提出，存储至错误分类集合中；

第二步，判断错误分类集合是否为空，如果是，则训练过程结束，建立自适应修正神经网络模型，如果否，则在错误分类集合中选取一个样本作为中心点，将该样本作为一个中心矢量加入聚类集合中；

第三步，获取该中心矢量所属的真实模式类别，并在错误分类集合中删除该样本；

第四步，计算该中心矢量同所有训练样本中其他类别样本之间的距离，并从中选取最小距离的一半，作为该中心矢量对应的半径加入聚类集合中；

第五步，计算错误分类集合中的所有样本同所选中心矢量之间的距离；

第六步，判断错误分类集合中的一个样本同所选中心矢量的距离是否小于对应半径，如果是，则在错误分类集合中删除该样本，选择错误分类集合中的下一个样本重复该判断，如果否，则选择错误分类集合中的下一个样本重复该判断；

第七步，如果错误分类集合中的所有样本均已进行过上述判断，则错误分类集合的更新过程结束，进一步判断错误分类集合是否为空，重复上述训练过程。

4.根据权利要求1所述的一种基于自适应修正神经网络的模式识别方法，其特征在于模式识别步骤如下：

第一步，使用新的自适应修正神经网络模型对输入的测试样本进行分类，计算新样本同聚类集合中的一个中心矢量之间的距离；

第二步，判断该距离是否小于对应半径，如果是，则新样本的分类与该中心矢量所属类别相同，该新样本的模式识别过程结束，如果否，则说明该新样本不属于该聚类，继续选取聚类集合中的下一个中心矢量重复该分类计算；

第三步，如果聚类集合中的所有中心矢量均已进行过计算，则说明该新样本不在各聚类的范围内，继续使用概率神经网络模型对该样本进行模式识别。