CN106096728A - 一种基于深层极限学习机的危险源识别方法 - Google Patents

Abstract

本发明公开一种基于深层极限学习机的危险源识别方法，该方法采用的深层神经网络由深层结构模块和单隐藏层神经网络模块两部分组成，包括如下步骤：利用SVM将危险源信息划分到不同的领域分类中，并将不同的领域分类集输入到相应的网络模块中；对每个网络模块使用S‑ELM算法，得到各深层网络的预识别结果；将深层网络预识别结果组合作为顶层神经网络的输入；根据ELM算法和激励函数，计算单隐藏层ELM的初始隐层输出和输出权重；根据改进的反向传播算法，确定网络的最终输入权重，隐藏层特征空间和输出权重；最终得到危险源识别结果。此种识别方法可提高危险源识别的灵活性，减少经验数据的急剧膨胀，提高对经验知识的利用率，缓解高维数据训练时的内存压力。

Description

一种基于深层极限学习机的危险源识别方法

技术领域

本发明属于信息感知与识别技术领域，特别涉及一种基于深层极限学习机的危险源识别方法。

背景技术

随着民航事业的迅猛发展，空中交通安全管理压力骤增。快速准确地发现空管系统中的危险源，并准确地对危险源进行控制，对提高空管安全有着重要的作用。

现阶段危险源识别技术大体分为3种类型。第一种是人工分析法，这种方式主要依靠经验知识，结合航空局提供的相关分析方法进行分析，但是不能将人力解放出来去解决更加复杂的问题。第二种方法是计算机辅助法，通过计算机构建系统模型辅助人工分析或实现相关方法的分析过程，这样减少了人力的消耗，但是不能充分利用现有的经验知识。第三种方法是以专家系统为代表的智能化危险源识别方法，目前该方法的核心技术主要是基于案例推理的方法，该方法可以有效利用经验知识，但存在经验数据库膨胀和灵活性差的问题。

为此，在现代民航空中交通管理中需要一种危险源识别方法能够充分利用经验知识并且灵活准确。

发明内容

本发明的目的，在于提供一种基于深层极限学习机的危险源识别方法，其可提高危险源识别的灵活性，减少经验数据的急剧膨胀，提高对经验知识的利用率，缓解高维数据训练时的内存压力。

为了达成上述目的，本发明的解决方案是：

一种基于深层极限学习机的危险源识别方法，该方法采用的深层神经网络由深层结构模块和单隐藏层神经网络模块两部分组成，包括如下步骤：

步骤1，利用SVM将危险源信息R划分到不同的领域分类中，并将不同的领域分类集输入到相应的网络模块中；

步骤2，对每个网络模块使用S-ELM算法，得到各深层网络的预识别结果H_i；

步骤3：将深层网络预识别结果组合作为单隐藏层神经网络模块的输入H_input＝{H₁,…,H₄}；

步骤4：根据ELM算法和激励函数，计算单隐藏层ELM的初始隐层输出H_t和输出权重β_t，下标t表示该变量是临时变量；

步骤5：根据改进的反向传播算法，确定网络的最终输入权重W，隐藏层特征空间H和输出权重β；

步骤6：危险源识别结果：

Γ_O＝Hβ。

上述步骤1中，将危险源分为人员、设备、环境和管理4个领域，分别以C₁,C₂,C₃,C₄表示，则分类后的结果是R＝{C₁,C₂,C₃,C₄}^T。

上述步骤2的详细内容是：设各网络模块隐藏节点的个数为H_i，深层网络的层数为L_i，根据危险源构成要素表T，从不同数域随机产生各网络模块的权重和隐藏节点偏移量并选择S型函数：

$g\left(x\right)=\frac{1}{1-{\exp }^{(-x)}}$

作为激励函数，计算各网络模块首层的隐层特征空间H_i1：

使用维度约减算法对各网络模块首层产生的隐层特征空间约减得到H′_i1并把H′_i1传递给第二层；在第二层，随机产生H-H′_i1个隐层节点，它们的输出与H′_i1相结合构成第二层隐层特征空间H_i2，重复上述步骤，直到产生第L层的隐层特征空间H_iL，网络模块的隐层特征空间H_i＝H_iL。

上述步骤4中，输出权重β_t的计算公式是：

${\mathrm{\β}}_t={H_t}^T{(\frac{1}{C}+H_t{H_t}^T)}^{-1}O$

其中，O表示训练数据集的输出。

上述步骤5中，隐藏层特征空间H的计算公式是：

$H=1/\[1-{\exp }^{(-H_{input}W+b)}\]$

其中，b表示隐层节点偏移量。

上述的深层结构模块和单隐藏层神经网络模块异构。

采用上述方案后，本发明与现有识别技术相比，具有以下效益：

(1)通过分模块学习使得网络能够维持较优的结构，提高了危险源识别准确性并解决了神经网络训练时内存受限的问题；

(2)通过使用深层神经网络方法，由网络记忆对案例的学习结果，不需要搜索案例库，减慢了案例库的增长速度；

(3)若有新的危险源出现出现，网络学习新的识别特征，提高识别的灵活性。

附图说明

图1是本发明使用的神经网络结构图；

图2是S-ELM算法的流程图；

图3是本发明的流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明提供一种基于深层极限学习机的危险源识别方法，首先对其使用的异构的深层神经网络进行说明，如图1所示，该神经网络由两部分构成，第一部分是按照模块组织的深层结构，该结构由多个深层神经网络构成，根据输入数据的不同，这些深层神经网络可以具有不同的隐藏节点个数和层数；第二部分是一个单隐藏层神经网络，用来接收深层结构的学习特征。

(一)深层结构模块

在深层结构中，各模块可根据危险源状态信息所属领域或其他的危险源状态信息分类规则进行划分，根据不同的领域构建不同的深层神经网络。我们引入栈式极限学习机(S-ELM，Stacked Extreme Learning Machine)作为网络的训练方法。如图2所示，S-ELM算法的主要思想是前一层节点能够有选择地传递其中的重要节点给上一层，然后上层节点利用接受的节点与随机产生的节点构成自己的隐层输出。算法本质就是网络的第L-1层中的n维隐层特征空间通过维度约减产生最重要的n′维隐层特征空间，并将这n′维隐层特征空间传递给上一层，上一层只需要产生n-n′个随机节点，这n-n′个节点产生的隐层输出与接收到的n′个节点作为第L层的隐层特征空间。考虑到一般危险源的构成要素对于危险源的识别具有一定的指导作用，我们对S-ELM算法进行了改进。在算法中，构建一张存放一般危险源构成要素的表L，在初始化权重时，查找表L，如果状态信息在L中，从一个较大的数域中随机产生相应的权重值；否则，从较小的数域中产生权重。

在S-ELM中，重要节点通常通过主成分分析算法(PCA,Principal ComponentsAlgorithm)来产生。它的主要思想是利用数据集协方差矩阵的特征值分解或数据集矩阵的奇异值分解将数据集中相关的变量转换为非线性相关的变量。具体方法是将相关数据标准化，求出标准化后矩阵B的协方差矩阵C，利用特征值分解求C的特征向量D和特征值V，将特征值和相应的特征向量按特征值递减排列得到排序后特征向量D′，将矩阵B与D′的前m行相乘，得到非线性相关的变量Y＝BD′。

(二)单隐藏层神经网络模块

在单隐藏层神经网络模块，网络接收深层结构学习的深层特征，学习得到最终的识别结果。

方法中的单隐藏层神经网络使用传统极限学习机进行训练，为了提高网络的鲁棒性，方法中使用标准化的ELM，引入对试验危险性和结构危险性的平衡参数C，由于训练样本的数量常常小于隐藏层节点的数量，RELM的输出权重β如下：

$\mathrm{\β}=H^T{(\frac{1}{C}+{\mathrm{HH}}^T)}^{-1}O---\left(1\right)$

识别准确性是危险源识别过程的关键问题。为了提高网络的准确性，我们引入反向传播算法(BP,Backpropagation algorithm)对网络的权重进行微调。设训练过程中的输入为X_train，输出结果为Y_label,激励函数为g(x)。在单隐藏层极限学习机中反向传播算法的基本思路是通过向输入权重传递网络误差不断更新权重，使网络达到较优的结构。为了提高网络的收敛效率，算法选择性地更新网络权重。具体步骤如下：

1.根据基本ELM算法随机产生ELM的输入权重W,计算网络的输出权重β：

$\mathrm{\β}=H^T{(\frac{1}{C}+{\mathrm{HH}}^T)}^{-1}O---\left(2\right)$

2.根据实际输出结果Γ_o与训练集输出结果Y_label,计算网络误差E：

E＝Y_label-Γ_o (3)

3.根据网络误差E，计算网络的权重更新ΔW：

$\mathrm{\Δ}W={\mathrm{\ζ\β}}^T{\mathrm{E\Γ}}_o\left(1-{\mathrm{\Γ}}_o\right)X_{train}^T---\left(4\right)$

4.更新网络权重：

如果网络中输入数据量大于一个阈值T_H,利用PCA,求出选择权重W′和特征向量D′，网络权重为W′＝W′-ΔWD′；

如果网络中输入数据量小于一个阈值T_H,网络权重为W＝W-ΔW；

5.利用新的输入权重重新计算新的输出权重β和Γ_o；

6.如果Y_label＝Γ_o，则算法停止；否则，返回步骤2继续进行计算，直到达到一个足够大的迭代次数或算法收敛。

以上就是危险源识别方法中的关键技术，深层网络中的两部分就构成了危险源识别的两个阶段：预学习阶段和再学习阶段。在预学习阶段，通过深层结构学习危险源状态信息各领域深层特征，在再学习阶段，学习各领域深层特征得到危险源的识别结果。

将HRELM方法运用于危险源识别中可以有效的提高识别准确率，缓解经验数据库的膨胀。根据前文所述，将从2个阶段具体介绍本发明技术方案：

(一)预学习阶段

假设危险源的状态信息为R＝{r₁,r₂,…,r_n}^T，对应的识别结果为O＝{o₁,…,o_n}，根据空中交通安全管理体系建设指导手册将危险源分为人员、设备、环境和管理4个领域。为了确定状态信息r_j(j＝1,…,n)所属的领域分类即网络模块，利用处理非线性数据具有优越性的支持向量机(SVM，Support Vector Machine)对状态信息进行分类。设分类后的结果为R＝{C₁,C₂,C₃,C₄}^T，其中， 是领域i中包含危险源信息，将分类后的结果输入相应网络模块中。接着对各子网络模块使用S-ELM算法，在使用S-ELM算法之前，设各网络模块隐藏节点的个数为H_i，深层结构模块的层数为L_i。根据危险源构成要素表T，从不同数域随机产生各网络模块的权重和隐藏节点偏移量并选择S型函数：

$g\left(x\right)=\frac{1}{1-{\exp }^{\left(-x\right)}}---\left(5\right)$

作为激励函数，计算各网络模块首层的隐层特征空间H_i1：

使用维度约减算法PCA对各网络模块首层产生的隐层特征空间约减得到H′_i1并把H′_i1传递给第二层。在第二层，随机产生H-H′_i1个隐层节点，它们的输出与H′_i1相结合构成第二层隐层特征空间H_i2，重复上述步骤，直到产生第L层的隐层特征空间H_iL，网络的隐层特征空间H_i＝H_iL。根据上述方法，分别计算各个网络模块的隐层特征空间，并将其作为相应网络模块的输出。

(二)再学习阶段

将预学习中4个网络模块的识别结果连接，形成再学习阶段的输入向量H_input＝{H₁,…,H₄}，将向量H_input输入单隐藏层神经网络，根据传统ELM算法，随机产生网络的输入权重W_t和隐层节点偏移量b，计算网络的隐藏层特征空间H_t：

和输出权重β_t：

${\mathrm{\β}}_t={H_t}^T{(\frac{1}{C}+H_t{H_t}^T)}^{-1}O---\left(8\right)$

其中，O表示训练数据集的输出。

则网络的输出如下：

${\mathrm{\Γ}}_{O_t}=H_t{\mathrm{\β}}_t---\left(9\right)$

其中，下标t表示该变量是临时变量。

根据改进的反向传播算法，确定网络的最终输入权重W、隐藏层特征空间H和输出权重β，得到危险源识别结果：

Γ_O＝Hβ (10)

本发明的总体实施顺序如图3所示，在介绍之前，设危险源状态信息R＝{(r_i,o_i)|i＝1,2,…,n}，其中，危险源激励函数g(x)，标准化参数C。危险源识别方法总体实施步骤如下：

步骤1：利用SVM将危险源信息R划分到不同的领域分类中得到R＝{C₁,C₂,C₃,C₄}^T，并将不同的领域分类集输入到相应的模块中；

步骤2：对每个子网络使用S-ELM算法：

For i＝1to 4

使用S-ELM算法得到各深层网络的预识别结果H_i；

End For

步骤3：将深层网络预识别结果组合作为单隐藏层神经网络模块的输入H_input＝{H₁,…,H₄}；

步骤4：根据ELM算法和激励函数g(x)，计算单隐藏层ELM的初始隐层输出H_t和输出权重β_t；

步骤5：根据改进的反向传播算法，确定网络的最终输入权重W，隐藏层特征空间H和输出权重β；

步骤6：危险源识别结果：

Γ_O＝Hβ

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种基于深层极限学习机的危险源识别方法，其特征在于：该方法采用的深层神经网络由深层结构模块和单隐藏层神经网络模块两部分组成，包括如下步骤：

步骤1，利用SVM将危险源信息R划分到不同的领域分类中，并将不同的领域分类集输入到相应的网络模块中；

步骤2，对每个网络模块使用S-ELM算法，得到各深层网络的预识别结果H_i；

步骤3：将深层网络预识别结果组合作为单隐藏层神经网络模块的输入H_input＝{H₁,...,H₄}；

步骤4：根据ELM算法和激励函数，计算单隐藏层ELM的初始隐层输出H_t和输出权重β_t，下标t表示该变量是临时变量；

步骤5：根据改进的反向传播算法，确定网络的最终输入权重W，隐藏层特征空间H和输出权重β；

步骤6：危险源识别结果：

Γ_O＝Hβ。

2.如权利要求1所述的一种基于深层极限学习机的危险源识别方法，其特征在于：所述步骤1中，将危险源分为人员、设备、环境和管理4个领域，分别以C₁,C₂,C₃,C₄表示，则分类后的结果是R＝{C₁,C₂,C₃,C₄}^T。

3.如权利要求1所述的一种基于深层极限学习机的危险源识别方法，其特征在于：所述步骤2的详细内容是：设各网络模块隐藏节点的个数为H_i，深层网络的层数为L_i，根据危险源构成要素表T，从不同数域随机产生各网络模块的权重和隐藏节点偏移量并选择S型函数：

$g\left(x\right)=\frac{1}{1-{\exp }^{(-x)}}$

作为激励函数，计算各网络模块首层的隐层特征空间H_i1：

使用维度约减算法对各网络模块首层产生的隐层特征空间约减得到H′_i1并把H′_i1传递给第二层；在第二层，随机产生H-H′_i1个隐层节点，它们的输出与H′_i1相结合构成第二层隐层特征空间H_i2，重复上述步骤，直到产生第L层的隐层特征空间H_iL，网络模块的隐层特征空间H_i＝H_iL。

4.如权利要求1所述的一种基于深层极限学习机的危险源识别方法，其特征在于：所述步骤4中，输出权重β_t的计算公式是：

${\mathrm{\β}}_t={H_t}^T{(\frac{1}{C}+H_t{H_t}^T)}^{-1}O$

其中，O表示训练数据集的输出。

5.如权利要求1所述的一种基于深层极限学习机的危险源识别方法，其特征在于：所述步骤5中，隐藏层特征空间H的计算公式是：

$H=1/\[1-{\exp }^{(-H_{input}W+b)}\]$

其中，b表示隐层节点偏移量。

6.如权利要求1所述的一种基于深层极限学习机的危险源识别方法，其特征在于：所述的深层结构模块和单隐藏层神经网络模块异构。