CN107590538B - 一种基于在线序列学习机的危险源识别方法 - Google Patents

Abstract

本发明公开了一种基于在线序列学习机的危险源识别方法，该方法采用改进后的极限学习机对危险源实现在线识别，包括如下步骤：随机生成NP组训练网络输入权值和隐层偏置，用自适应差分进化的方法进行变异、交叉等操作，将最终选择的最优的网络输入权值和隐层偏置作为训练网络模型，然后从危险源集中选取部分数据作为初始样本进行学习，得到初始输出矩阵和输出权值，对于陆续序列到达的数据，根据相关规则实时更新其输出权值，以实现危险源的在线识别，并且因为引入了差分进化对网络结构进行优化使算法有更好的泛化性能，危险源的识别结果准确性更高。

Description

一种基于在线序列学习机的危险源识别方法

技术领域

本发明属于信息传输与处理技术领域，具体涉及一种基于在线序列学习机的危险源识别方法。

背景技术

近年来，人们生活水平日益提高，选择飞机出行已越来越深入人心，这无疑也推动了民航事业的迅猛发展。但是，国际上屡见不鲜的飞行事故也引发了乘坐飞机的恐慌，对加强民航安全管理提出了更高的要求。对于民航空管来说，最重要的事情就是安全。这个安全不仅是保障客机的安全，更是对机上乘客安全的保障。如何在众多状态信息中准确地识别民航空管运行中的危险源，是整个安全管理的核心问题，也是首要环节。只有在这基础上，才能有后续围绕危险源采取的预防及处理措施。目前，危险源的识别主要依赖于人工分析，将领域相关标准和专家经验相结合，通过标准的评价过程来对危险源进行分析。这种方法不仅消耗大量的人力物力资源，且对参与识别的工作人员的专业性与敏锐性要求极高。

为此，需要一种有效的危险源识别方法能够准确快速地识别民航空管运行中的危险源。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于在线序列学习机的危险源识别方法，其可实现民航空管运行中危险源的在线识别，提高危险源识别的灵活性，减少经验数据的急剧膨胀，提高对经验知识的利用率，缓解高维数据训练时的内存压力。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于在线序列学习机的危险源识别方法，该方法将当前新到达的数据添加到网络结构中，实时更新学习机输出权值，以实现危险源的在线识别，并引入自适应差分进化来优化网络输入权值和隐层偏置以获得最优训练网络模型，从而使算法有更好的泛化性能，算法的识别结果准确性更高，包括如下步骤：

1、一种基于在线序列学习机的危险源识别方法，包括如下步骤：

步骤1，随机生成NP组OS-ELM训练网络的隐层节点参数构成第一代种群的NP个个体向量；

步骤2，对每个向量进行变异、交叉、选择，生成下一代进化的种群，直到达到最大种群迭代次数；

步骤3，把步骤2得到的结果作为OS-ELM的输入权值和隐层偏置，初始化网络模型：

步骤4，从危险源数据集中选取一小部分作为初始样本进行训练，计算其网络输出权值和输出矩阵；

步骤5，让剩下的数据序列到达，根据权值更新规则输出其对应结果。

进一步的，所述步骤1中，生成的向量为θ_k，G：

其中，a_j和b_j(j＝1，2，3，…，L)分别表示随机生成的输入权值和隐层节点偏置，G表示种群进化的代数，k＝1，2，3，…，NP。

进一步的，所述步骤2中，生成种群变异向量的变异策略有以下四种：

具体方法为：首先建立一个变异策略的候选池，将4种变异策略加入到候选池中，用pl，G表示策略1在第G代被选择的概率(1＝1，2，3，4)，设学习周期为LP，让pl，G按如下规则更新：

若G≤LP，每个策略的被选择的可能性相等，

若

且

其中，nS_l，g和nf_l，g分别表示第g代种群由策略1生成的试验向量进入下一代进化种群的数量和被抛弃的数量，ε＝0.001，防止出现零成功率。

进一步的，所述步骤2的具体方法为：

(2-1)选择策略池中概率最大的变异策略生成变异向量v_k，G；G表示种群进化的代数，k＝1，2，3，…，NP；

(2-2)生成交叉后的试验向量u_k，G；

(2-3)计算网络的输出权值β；

(2-4)根据均方误差公式计算对应均方根误差RMSE，比较试验向量与原向量选择RMSE值较小的进入到(G+1)代种群。

进一步的，所述试验向量u_k，G的生成规则为：

其中，CR是值在[0，1)的服从正态分布控制扰动参数的交叉因子，rand_j是(0，1)的随机数，j_rand是(1，G)的随机正整数；

所述均方误差公式为：

其中，β是网络输出权值，x_j是初始样本集中的危险源，y_j是实际危险源结果，N₀是初始样本集大小。

进一步的，所述步骤3初始化网络模型的具体初始学习方法为：

(3-1)从危险源集U中随机选取q个数据作为初始样本集N₀；

(3-2)根据激活函数计算网络隐层初始输出矩阵H₀；

(3-3)计算H₀的广义逆矩阵

并用

计算初始输出权值β₀，其中，Y₀是初始样本危险源理想识别结果集，y是每个危险源的理想识别结果。

进一步的，所述步骤4进行样本训练为在线学习，具体方法为：

(4-1)根据激活函数计算此时的输出矩阵记为H₁；

(4-2)根据权值更新规则计算输出权值β₁；

(4-3)重复步骤(4-1)、(4-2)直至没有新数据。

进一步的，所述步骤4中的网络输出矩阵由激活函数计算而得：

其中，a_j和b_j(j＝1，2，3，…，L)分别表示随机生成的输入权值和隐层节点偏置，其中，输出权值β₀＝H₀ ⁺Y，H₀ ⁺是初始输出矩阵H₀的广义逆矩阵，Y是理想输出集，N₀是初始样本集。

进一步的，所述权值更新规则为：

其中，

I是单位矩阵，β_n是n时刻的输出权值，Y_n是n时刻的理想输出集，

进一步的，所述权值更新规则推导过程如下：

当向数据集中添加新的样本后数据集变为

N₁表示新到达样本的数量，对原来数据集求解min||H₀β₀-Y₀||的问题就变成加入新样本后求解

的问题；由上述β＝H⁺Y代入推导可得，

其中，

以此类推，记

第n+1块训练样本集到达时，对应输出权值β_n+1的求解公式更新为

用Woodbury公式计算

令

将上面的公式整理即得：

有益效果：本发明提供的一种基于在线序列学习机的危险源识别方法，与现有技术相比，具有以下优势：

(1)通过在线学习使得识别过程更符合实际需求，不必一次性获得全部数据，并解决了神经网络训练时内存受限的问题；

(2)通过自适应差分进化对训练网络的优化，使网络模型最优，提高了危险源识别准确性，且泛化性能更强，稳定性更好；

(3)若有新的危险源出现，网络学习新的识别特征，不用重复学习已经学习过的危险源，提高识别的灵活性。

附图说明

图1是本发明的流程图；

图2为本发明方法和另一种方法在不同初始样本大小下的准确率比较图。

图3为本发明中方法和另两种方法在不同隐层节点个数下的准确率比较图。

具体实施方式

本发明提供一种基于在线序列学习机的危险源识别方法，其训练网络结构是一个单隐藏层前向神经网络，识别结果主要有三个参数作用，网络输入权值、网络隐层偏置和网络输出权值。所以为了使训练网络模型能够达到结构最优，先用差分进化的方法对输入权值和隐层偏置进行优化，随机生成多组初始值，用实际输出与理想输出之间的均方根误差作为适应度指标进行训练，不断进化直至达到最大种群迭代次数，获得最优的参数，并用优化后的参数构建训练网络。

训练样本时，首先选取一小部分数据作为初始样本进行初始学习，获得初始输出矩阵和输出权值，然后加入新的样本，利用先前得到的初始输出矩阵和输出权值按照一定计算规则更新输出权值，并计算新样本的输出矩阵，此时可将这个时刻的样本看作初始样本，这个时刻的输出矩阵和输出权值看作初始输出矩阵和输出权值，对于下一时刻的输出权值按之前的更新方式继续更新，以此类推，重复此操作，实现在线学习。每次只需学习新到达的样本，对上一时刻的样本不重复学习。

将差分优化运用于危险源识别中可以有效的提高识别准确率，下面将从对网络结构的优化和危险源的在线识别两个主要方面具体介绍本发明技术方案：

(一)自适应差分进化优化网络模型

由于标准极限学习机输入权值与偏置选取的随机性，无法保证参数是最优的，不合适的参数有可能会导致较差的识别结果，而危险源识别必须以精确度为最高前提，所以，为了提高危险源识别的泛化能力，我们用自适应差分进化算法对网络模型的相关参数进行优化。

差分进化的进化过程分为种群初始化和进化迭代两个阶段，在进化迭代阶段对当前种群进行变异和交叉操作，产生一个新的种群，然后在这两个种群中间进行一对一的选择以产生最终进化的种群，不断重复这个过程，直到获得全局最优解停止。变异主要是对当前种群的每一个个体向量，通过一个特定的变异策略生成一个变异向量，一般的方法就是随机选择初始种群内两个不同的个体进行矢量减法，把由此得到的差分矢量赋予一定权值后与第三个随机选择的个体进行矢量加法产生变异矢量。交叉的过程主要是将原个体向量与新生成的变异向量按一定规则混合以增加扰动参数的多样性，交叉后产生的向量称作试验向量，如果试验向量的适应度函数比目标向量的适应度函数值低，则淘汰目标向量，否则保留原向量，这个过程就是选择。循环“变异→交叉→选择”，种群在一步步进化，因为总是函数值较低的即更优化的解被选择成为下一代种群的成员，所以最终生成的种群的成员就是全局优化解。

在变异过程中生成变异向量的策略有多种，比较常用有四种：

为了获得更好地优化性能，我们让种群在进化过程中自更新地选择不同的合适的变异策略。首先建立一个变异策略的候选池，将4种变异策略加入到候选池中，各变异策略有各自的被选择概率，且在演化过程中根据以往的成功经验进行调整。用pl，G表示策略1在第G代被选择的概率(1＝1，2，3，4)，设学习周期为LP，让pl，G按如下规则更新：

若G≤LP，每个策略的被选择的可能性相等，

若

且

其中，nS_l，g表示第g代种群由策略1生成的试验向量进入下一代进化种群的数量，而nf_l，g表示第g代种群由策略1生成的试验向量在下一代进化种群中被抛弃的数量。分别记录LP代种群试验向量留下和丢弃的数量，当迭代的次数超过LP的值时，之前所记录的数据将被新一代数据替代。这就意味着，在进化过程中一种策略生成的试验向量在前面几代成功的概率越大，在当前一代该策略被使用的概率就越高。即迭代次数小于LP 时，依次选取4个变异策略，大于LP时，每次选取当前概率最高的策略作为本次变异策略。

变异向量生成后，按以下规则对每一个变异向量v_i产生一个试验向量u_i。

其中，CR是值在[0，1)的服从正态分布控制扰动参数的交叉因子。rand_j是(0，1)的随机数，j_rand是(1，G)的随机正整数。

将最优解即目标位置定为使算法对危险源的判断结果最接近理想输出的参数值。把它作为种群进化过程中选择向量的衡量依据，用危险源识别的实际输出与理想输出之间的均方误差作为适应度函数来选择种群个体，即下式达到最小

(二)危险源的识别

设初始训练时危险源样本数量为N₀，x_i＝(x_i1，…，x_in)^T∈Rⁿ为危险源特征信息， y_i＝(y_i1，…，y_im)^T∈R^m为理想识别结果，g(x_i)为激活函数，L为网络隐层节点个数，则网络输出可以表示为

β₀＝H₀ ⁺Y，计算出网络隐层输出矩阵H₀及其Moore-Penrose广义逆矩阵

，从而得到输出权重β₀。存储识别结果，完成初始训练。

当向数据集中添加新的样本后数据集变为

N₁表示新到达样本的数量，问题就变成加入新样本后求解

的问题。由上述β＝H⁺Y代入推导可得，

其中，

以此类推，记

第n+1块训练样本集到达时，对应输出权值β_n+1的求解公式更新为

用Woodbury公式计算

令

整理得

实施例

根据下述实施例，可以更好的理解本发明。然而，本领域的技术人员容易理解，实施例所描述的具体的物料配比、工艺条件及其结果仅用于说明本发明，而不应当也不会限制权利要求书中所详细描述的本发明。

本发明的总体实施顺序如图1所示，在介绍之前，设危险源状态信息集 U＝{U_m|m＝1，2，…，k，U_m＝{u_m1，u_m2，…，u_mk}^T}，网络隐层节点个数L，危险源激励函数 G(a，b，x)＝exp(-||x-a||²/b)，初始训练数据数量q，每次序列到达的新数据集的大小 p。危险源识别方法总体实施步骤如下：

步骤1：随机生成NP组OS-ELM训练网络的隐层节点参数构成第一代种群的NP个个体向量

其中，a_j和b_j(j＝1，2，3，…，L)分别表示随机生成的输入权值和隐层节点偏置，G表示种群进化的代数，k＝1，2，3，…，NP。

步骤2：For G＝1 to max

For k＝1 to NP

(1)选择策略池中概率最大的变异策略生成变异向量v_k，G；

(2)生成交叉后的试验向量u_k，G；

(3)计算网络的输出权值β₀并计算对应均方根误差RMSE，比较试验向量与原向量选择RMSE值较小的进入到(G+1)代种群。

End for

End for

步骤3：把步骤2得到的结果作为OS-ELM的输入权值和隐层偏置，初始化模型。开始初始学习：

(1)从U中随机选取q个数据作为初始样本集N₀

(2)根据激活函数计算网络隐层初始输出矩阵H₀；

(3)计算H₀的广义逆矩阵

并用

计算初始输出权值β₀；

步骤4：在线学习：

(1)根据激活函数计算此时的输出矩阵记为H₁

(2)根据

计算输出权值β₁；

重复步骤4直至没有新数据

步骤5：输出危险源识别结果。

本发明为一种基于在线序列学习机的危险源识别方法，该方法采用改进后的极限学习机对危险源实现在线识别，包括如下步骤：随机生成NP组训练网络输入权值和隐层偏置，用自适应差分进化的方法进行变异、交叉等操作，将最终选择的最优的网络输入权值和隐层偏置作为训练网络模型，然后从危险源集中选取部分数据作为初始样本进行学习，得到初始输出矩阵和输出权值，对于陆续序列到达的数据，根据相关规则实时更新其输出权值，以实现危险源的在线识别，并且因为引入了差分进化对网络结构进行优化使算法有更好的泛化性能，危险源的识别结果准确性更高。

下面从准确性和训练时间两个方面对本发明方法进行评估，将其与一般分类算法支持向量机(SVM)，ELM算法，OS-ELM算法，以及另一种比较流行的在线学习算法MRAN 进行比较，说明HI-OSELM算法的速度及泛化性能。

由于目前没有公开的危险源数据库，本实验以某民航行政管理系统的数据库作为实验数据库。从数据库中危险源状态信息表里获取3186条数据，2000条作为训练数据集，1186条作为测试数据集。实验在Intel core i7 2.6GHZ Window7的环境下使用MatLab2014Ra进行，为了避免实验的偶然性，我们对每一算法各运行20次，取平均时间和平均准确率作为其实验结果。

在单隐层神经网络模型中，隐层节点个数是影响分类结果准确性及训练时间的一个重要因素，当节点数过少时，训练所需时间变少，但是结果准确性降低，当节点数过多时，虽然准确率有所提高，但训练时间增加了，而且有可能出现“过拟合”的现象。实验1分别比较了ELM、OS-ELM、HI-OSELM算法的准确率随网络隐层节点个数的变化。实验结果如附图2所示。由实验结果可知，OS-ELM和HI-OSELM隐层节点个数在200 处有最好的识别准确度，ELM在100到210之间准确度随隐层节点个数的增加而增长较快，在210之后变化缓慢，并在240之后趋于平衡，但是会增加时间消耗。故下面实验时ELM算法隐层节点个数设置为240，OS-ELM和HI-OSELM设置为200。

除了网络隐层节点个数外，初始样本的大小对识别结果准确率的影响也尤为重要，为了获得最佳的识别结果，实验2分别对OS-ELM、HI-OSELM算法的准确率在不同初始训练集大小下的变化给出结果。实验结果如附图3所示。由图可知，算法准确率一开始随初始训练样本个数增长变化较快，在310处后逐渐趋于平稳，涨幅不大，故我们选 310作为训练数据集初始学习阶段样本个数。

表1 不同算法训练时间与准确率比较

从上表可以看出，HI-OSELM算法与SVM比较，虽然准确性相差无几，但是 HI-OSELM训练时间大大减少，尤其在数量大的情况下该时间优势会更为明显。与极限学习机的另两种算法ELM、OS-ELM比起来，由于增加了在线学习的部分和优化参数的迭代过程，时间上明显比这两个算法多出一些，但是无论是训练准确率还是测试准确率都提高显著，可以说整体性能更好。MRAN算法虽然也可以实现在线学习的功能，但是所需时间是HI-OSELM算法的百倍级，而且算法识别准确度也不够高，不能满足危险源识别准确且快速的需求。本发明方法准确性高、识别速度快，性能稳定。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于在线序列学习机的危险源识别方法，其特征在于：将当前新到达的数据添加到网络结构中，实时更新学习机输出权值，以实现危险源的在线识别，并引入自适应差分进化来优化网络输入权值和隐层偏置以获得最优训练网络模型，包括如下步骤：

步骤1，随机生成NP组OS-ELM训练网络的隐层节点参数构成第一代种群的NP个个体向量；

步骤2，对每个向量进行变异、交叉、选择，生成下一代进化的种群，直到达到最大种群迭代次数；

步骤3，把步骤2得到的结果作为OS-ELM的输入权值和隐层偏置，初始化网络模型；

步骤4，从危险源数据集中选取一小部分作为初始样本进行训练，计算其网络输出权值和输出矩阵；

步骤5，让剩下的数据序列到达，根据权值更新规则输出其对应结果。

2.根据权利要求1所述的基于在线序列学习机的危险源识别方法，其特征在于，所述步骤1中，生成的向量为θ_k,G：

其中，a_j和b_j(j＝1,2,3,…,L)分别表示随机生成的输入权值和隐层节点偏置，G表示种群进化的代数，k＝1,2,3,…,NP。

3.根据权利要求1所述的基于在线序列学习机的危险源识别方法，其特征在于，所述步骤2中，生成种群变异向量的变异策略有以下四种：

具体方法为：首先建立一个变异策略的候选池，将4种变异策略加入到候选池中，用pl,G表示策略l在第G代被选择的概率，l＝1,2,3,4，设学习周期为LP，让pl,G按如下规则更新：

若G≤LP,每个策略的被选择的可能性相等，

若G＞LP,

且

其中，nS_l,g和nf_l,g分别表示第g代种群由策略l生成的试验向量进入下一代进化种群的数量和被抛弃的数量，ε＝0.001，防止出现零成功率。

4.根据权利要求3所述的基于在线序列学习机的危险源识别方法，其特征在于，所述步骤2的具体方法为：

(2-1)选择策略池中概率最大的变异策略生成变异向量v_k,G；G表示种群进化的代数，k＝1,2,3,…,NP；

(2-2)生成交叉后的试验向量u_k,G；

(2-3)计算网络的输出权值β；

(2-4)根据均方误差公式计算对应均方根误差RMSE，比较试验向量与原向量选择RMSE值较小的进入到(G+1)代种群。

5.根据权利要求4所述的基于在线序列学习机的危险源识别方法，其特征在于，所述试验向量u_k,G的生成规则为：

其中，CR是值在[0,1)的服从正态分布控制扰动参数的交叉因子，rand_j是(0,1)的随机数，j_rand是(1,G)的随机正整数；

所述均方误差公式为：

其中，β是网络输出权值，x_j是初始样本集中的危险源，y_j是实际危险源结果，N₀是初始样本集大小。

6.根据权利要求1所述的基于在线序列学习机的危险源识别方法，其特征在于，所述步骤3初始化网络模型的具体初始学习方法为：

(3-1)从危险源集U中随机选取q个数据作为初始样本集N₀；

(3-2)根据激活函数计算网络隐层初始输出矩阵H₀；

(3-3)计算H₀的广义逆矩阵

并用β₀＝H₀ ⁺Y₀，Y₀=(y₁,y₂,…,y_q)^T计算初始输出权值β₀，其中，Y₀是初始样本危险源理想识别结果集，y是每个危险源的理想识别结果。

7.根据权利要求1所述的基于在线序列学习机的危险源识别方法，其特征在于，所述步骤4进行样本训练为在线学习，具体方法为：

(4-1)根据激活函数计算此时的输出矩阵记为H₁；

(4-2)根据权值更新规则计算输出权值β₁；

(4-3)重复步骤(4-1)、(4-2)直至没有新数据。

8.根据权利要求1或7所述的基于在线序列学习机的危险源识别方法，其特征在于，所述步骤4中的网络输出矩阵由激活函数计算而得：

其中，a_j和b_j(j＝1,2,3,…,L)分别表示随机生成的输入权值和隐层节点偏置，其中，输出权值β₀＝H₀ ⁺Y，H₀ ⁺是初始输出矩阵H₀的广义逆矩阵，Y是理想输出集，N₀是初始样本集。

9.根据权利要求1或7所述的基于在线序列学习机的危险源识别方法，其特征在于，所述权值更新规则为：

其中，

I是单位矩阵，β_n是n时刻的输出权值，Y_n是n时刻的理想输出集，

10.根据权利要求8所述的基于在线序列学习机的危险源识别方法，其特征在于，所述权值更新规则推导过程如下：

当向数据集中添加新的样本后数据集变为

N₁表示新到达样本的数量，对原来数据集求解min||H₀β₀-Y₀||的问题就变成加入新样本后求解

的问题；由上述β₀＝H₀ ⁺Y代入推导可得，

其中，

以此类推，记

第n+1块训练样本集到达时，对应输出权值β_n+1的求解公式更新为

用Woodbury公式计算

令

将上面的公式整理即得：

Images