CN112330114A - 基于混合深度神经网络的飞机危险识别方法 - Google Patents
基于混合深度神经网络的飞机危险识别方法 Download PDFInfo
- Publication number
- CN112330114A CN112330114A CN202011162423.5A CN202011162423A CN112330114A CN 112330114 A CN112330114 A CN 112330114A CN 202011162423 A CN202011162423 A CN 202011162423A CN 112330114 A CN112330114 A CN 112330114A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- layer
- training
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 100
- 238000012360 testing method Methods 0.000 claims abstract description 49
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 28
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000007787 long-term memory Effects 0.000 claims abstract description 9
- 230000006403 short-term memory Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims abstract description 4
- 230000015654 memory Effects 0.000 claims description 69
- 238000011176 pooling Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 15
- 210000002569 neuron Anatomy 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 10
- 210000004027 cell Anatomy 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 6
- 238000012502 risk assessment Methods 0.000 description 5
- 230000008520 organization Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 231100001267 hazard identification Toxicity 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- VUFNLQXQSDUXKB-DOFZRALJSA-N 2-[4-[4-[bis(2-chloroethyl)amino]phenyl]butanoyloxy]ethyl (5z,8z,11z,14z)-icosa-5,8,11,14-tetraenoate Chemical compound CCCCC\C=C/C\C=C/C\C=C/C\C=C/CCCC(=O)OCCOC(=O)CCCC1=CC=C(N(CCCl)CCCl)C=C1 VUFNLQXQSDUXKB-DOFZRALJSA-N 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000013349 risk mitigation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Biology (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于混合深度神经网络的危险识别方法，包括以下步骤：通过飞机通信寻址与报告系统收集历史报文数据，进行归一化处理；利用滑动时间窗口法分别对归一化后的数据进行预处理，将预处理后的数据分为训练数据和测试数据；构建混合深度神经网络，混合深度神经网络由卷积双向长短时记忆网络基本模型和全连接神经网络集成模型组成；用训练数据对混合深度神经网络进行训练；利用测试数据对训练过的混合深度神经网络进行测试，基于基本模型的输出，利用全连接神经网络完成危险识别功能。本发明的方法有效提高了危险识别的准确率，对民用飞机风险管理具有重要的理论和应用价值。
Description
技术领域
本发明涉及深度神经网络的应用及民航风险管理领域，具体涉及基于多时间窗口卷积双向长短时记忆网络的危险识别模型的建立和民用飞机危险识别的实现。
背景技术
中国民航总局(CAAC)在《航空运营人安全管理体系要求》(AC-121/135-FS-2008-26)中指出，风险管理过程包括危险识别，风险分析，风险评估和风险控制。危险识别是风险管理的基础，必须先通过准确识别飞机的现有或潜在危险，才能进行后续的飞机风险分析和评估。根据风险分析结果，可以制定风险缓解计划以减少安全事故。国际民用航空组织(ICAO)在安全管理体系(SMS)中强调指出，危险的识别应该是积极且具有前瞻性的。国际民航组织还建议，必须积极查明尚未发生的危险。但是，航空组织尚未提供用于危险识别的具体实施方法。本发明提出的方法在提高了危险识别的准确性的同时，实现了主动的危险识别。
深度学习亦称深度机器学习、深度结构学习、分层学习，是一类有效训练深层神经网络的机器学习算法，可用于对数据进行高层抽象建模。深层神经网络能够从大量的复杂数据中学习到合适且有效的特征。这些特征在解决实际问题时常常能够取得极佳的效果，从而使得深度学习受到学术界和工业界的普遍青睐。在航空领域，深度学习算法已经被成熟应用于剩余寿命预测，发动机振动预测，飞机着陆速度预测等方面。关于深度学习应用于实际风险危险识别方面的研究还是鲜有报道。
发明内容
本发明的目的是提供一种基于混合深度神经网络的危险识别方法，利用深度学习良好的特征自学习特性，对民机历史监控数据进行特征提取，在提取的有效特征的基础上，对民机可能存在的危险进行识别，提高民机安全性。
为实现上述目的，本发明采用的技术方案为：
一种基于混合深度神经网络的危险识别方法，包括以下步骤：
步骤1，数据收集与归一化：通过飞机通信寻址与报告系统收集历史报文数据，进行归一化处理，去除数据的单位限制，将其转化为无量纲的纯数值；
步骤2，数据预处理：利用滑动时间窗口法分别对归一化后的数据进行预处理，将预处理后的数据分为训练数据和测试数据，随后，基于混合深度神经网络的集成结构，将训练数据分为训练数据1和训练数据2两个部分，训练数据1用于卷积双向长短时记忆网络基本模型的训练，训练数据2用于全连接神经网络集成模型的训练；测试数据用于最后混合深度神经网络识别效果的测试；
步骤3，混合深度神经网络构建：混合深度神经网络由两个部分组成，第一部分为三个具有不同时间窗口尺寸的卷积双向长短时记忆网络基本模型，第二个部分为全连接神经网络集成模型；
步骤4，混合深度神经网络训练：利用步骤2得到的训练数据1和训练数据2对步骤3构建的混合深度神经网络进行训练；首先，利用训练数据1对三个不同的基本模型进行训练，然后，将训练数据2输入训练完成的基本模型，得到初步危险识别结果，最后，利用初步危险识别结果训练全连接神经网络集成模型；
步骤5，混合深度神经网络测试：利用步骤2得到的测试数据对步骤4训练过的混合深度神经网络进行测试，基于基本模型的输出，利用全连接神经网络完成危险识别功能。
所述步骤1中，数据收集与归一化的步骤为：
步骤11，设收集的报文数据中有i个参数，每个参数包含j个数据，确定每个参数的最大值xi,max以及最小值xi,min；
步骤12，通过以下公式计算得到归一化后的参数值：
所述步骤2中，利用滑动时间窗口法分别对归一化后的数据进行预处理的步骤如下：
步骤21，选用的三个不同的时间窗口尺寸为STW1，STW2和STW3，收集到的数据包含N个连续的时间点；
步骤22，利用滑动时间窗口法对数据进行预处理，第1至STW1个时间点的数据作为第一组输入数据，第STW1+1个时间点的危险值作为第一组数据对应的输出值；向后滑动一个时间点，第2至STW1+1个时间点的数据作为第二组输入数据，第STW1+2个时间点的危险值作为第二组数据对应的输出值，以此类推最终得到n1组时间窗口尺寸为STW1的数据；
步骤23，以时间窗口尺寸为STW2，重复步骤22，得到n2组时间窗口尺寸为STW2的数据；
步骤24，以时间窗口尺寸为STW3，重复步骤22，得到n3组时间窗口尺寸为STW3的数据；
步骤25，从步骤22得到的n1组时间窗口尺寸为STW1的数据中，选取第n1-T至第n1组数据作为测试数据；选取第n1-T-B至第n1-T-1组数据作为训练数据2；剩余数据作为训练数据1；
步骤26，从步骤23得到的n2组时间窗口尺寸为STW2的数据中，选取第n2-T至第n2组数据作为测试数据；选取第n2-T-B至第n2-T-1组数据作为训练数据2；剩余数据作为训练数据1；
步骤27，从步骤24得到的n3组时间窗口尺寸为STW3的数据中，选取第n3-T至第n3组数据作为测试数据；选取第n3-T-B至第n3-T-1组数据作为训练数据2；剩余数据作为训练数据1；
步骤28，将步骤25至27中得到的3*T组训练数据2，根据输出危险值的时间点进行合并，得到T组新的训练数据2，训练数据2中每组数据包含三个时间窗口尺寸的输入数据和一个输出数据；
步骤29，将步骤25至27中得到的3*B组测试数据，根据输出危险值的时间点进行合并，得到B组测试数据，测试数据中每组数据包含三个时间窗口尺寸的输入数据和一个输出数据。
所述步骤3中，混合深度神经网络构建的步骤如下：
步骤31，基本模型的构建：混合深度神经网络有三个具有不同时间窗口尺寸的卷积双向长短时记忆网络基本模型，每个基本模型的网络结构相同，由卷积-池化层，双向长短时记忆网络层以及全连接层组成，分别对基本模型的各层进行构建；
步骤32，全连接神经网络集成模型的构建：建立l层全连接层，每层的神经元个数逐层递减，全连接神经网络进行
操作，操作结果与softmax分类器连接完成最终识别任务；其中，fcl是第l层的输出，δ(·)为激活函数，
和
分别为权重矩阵和偏置。
所述步骤31包括：
步骤311，卷积-池化层的构建：建立l层卷积-池化层，卷积层滤波器数量设置为对应的时间窗口尺寸STW，池化窗口大小为S；卷积层进行卷积操作
提取数据特征，将卷积层得到的特征图输入至池化层进行最大池化操作
其中
代表第l层获得的第n个滤波器的特征图，
代表ReLU激活函数，
代表第l-1层的第m个特征图，
代表第l-1层的第n个滤波器的卷积核，
代表偏置，S是池化层窗口大小，
是第l-1层第i个神经元的第n个滤波器得到的值，
是第l-1层第n个滤波器得到的特征图；
步骤312，双向长短时记忆网络层的构建：双向长短时记忆网络由前向长短时记忆网络和后向长短时记忆网络组成，它们具有相同的输入，但沿相反的方向传输信息；双向长短时记忆网络的神经元个数设置为对应的时间窗口尺寸STW；长短时记忆网络由三个门函数，一个隐藏状态单元和一个记忆状态单元组成；ot＝σ(Wo·[ht-1,xt]+bo)为输出门函数，ft＝σ(Wf·[ht-1,xt]+bf)为遗忘门函数，it＝σ(Wi·[ht-1,xt]+bi)为输入门函数，隐藏状态单元为
记忆状态单元为
其中，
为当前输入值的记忆状态单元值，ct-1为上一时间点输入值的记忆状态单元值，σ为sigmoid函数，Wo和bo是输出门函数的权重矩阵和偏差，Wf和bf是遗忘门函数的权重矩阵和偏差，Wi和bi是输入门函数的权重矩阵和偏差，Wc和bc是记忆单元的权重矩阵和偏差，
表示两个向量的向量积；
在双向长短时记忆网络的结构中，将相同的输入数据输入到前向长短时记忆网络层和后向长短时记忆网络层，以计算前向长短时记忆网络层的隐藏状态ht＝LSTM(xt,ht-1)和后向长短时记忆网络层的隐藏状态h′t＝LSTM(xt,h′t+1)；然后，将两个隐藏状态连接起来以计算双向长短时记忆网络层的输出ot＝Whoht+Wh′oh′t+b′o；其中，LSTM(·)代表长短时记忆中定义的操作，Who和Wh′o分别代表前向长短时记忆网络层和后向长短时记忆网络层的权重，b′o代表输出层的偏置；
步骤313，全连接层的构建：建立l层全连接层，第一层的神经元个数设置为对应的时间窗口尺寸STW，其它层神经元个数逐层递减，全连接层与softmax分类器连接完成初步识别任务。
所述步骤4中，混合深度神经网络模型训练的步骤如下：
步骤41，参数初始化：利用标准化的Glorot初始化器初始化双向长短时记忆网络层中的权值，标准化的He初始化器初始化其他层的权值；设置批次大小nbatch，最大训练迭代次数nepoch；利用Dropout和Early stopping的方法来避免过度拟合，Dropout率设置为0.5；
步骤42，将训练数据1输入至对应的基本模型进行训练，得到识别结果；
步骤43，计算损失函数
其中B是样本个数，Ts代表第s个样本的真实标签值，y代表softmax分类器的输出；
步骤44，更新基本模型参数；
步骤45，重复步骤42至44，直到满足Early stopping条件或达到最大迭代次数，最终得到训练完成的基本模型；
步骤46，将训练数据2输入训练完成的基本模型得到初步识别结果，然后得到的初步识别结果输入至全连接神经网络集成模型进行训练，得到识别结果；
步骤47，计算损失函数，更新集成模型参数；
步骤48，重复步骤46和47，直到满足Early stopping条件或达到最大迭代次数，最终得到训练完成的混合深度神经网络。
所述步骤5中，混合深度神经网络测试的步骤如下：
步骤51，将测试数据中三个不同时间窗口尺寸的输入数据分别输入至对应的基本模型，得到初步识别结果；
步骤52，将初步识别结果输入至全连接神经网络集成模型，得到最终的危险识别结果。
步骤53，将混合深度神经网络得出危险识别结果与真实危险值进行比较，分析识别效果。
有益效果：本发明利用深度学习良好的特征自学习特性，对民机历史监控数据进行特征提取，在提取的有效特征的基础上，对民机可能存在的危险进行识别，提高民机安全性。本发明的方法有效提高了危险识别的准确率，对民用飞机风险管理具有重要的理论和应用价值。
附图说明
图1为本发明的方法流程；
图2为历史报文数据的格式；
图3为危险识别结果
图4为ROC分析结果。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图1所示，本发明的一种基于混合深度神经网络的飞机危险识别方法，包括以下步骤：
步骤1，数据收集与归一化：首先，通过飞机通信寻址与报告系统收集历史报文数据，报文的格式如图2所示，其中共涉及20个有效参数。然后，手动删除在飞机运行过程中保持为常量的参数和表示控制信号的参数，删除相关参数后共剩余11个参数。最后，通过归一化处理，去除数据的单位限制，将其转化为无量纲的纯数值。
其中，归一化处理的步骤为：
(1.1)设收集的报文数据中有i个参数，每个参数包含j个数据，确定每个参数的最大值xi,max以及最小值xi,min。
(1.2)计算得到归一化后的参数值
步骤2，数据预处理：利用滑动时间窗口法分别对归一化后的数据进行进一步预处理；经过归一化后的数据被分为训练数据和测试数据；随后，基于所提出的混合深度神经网络的集成结构，训练数据被分为训练数据1和训练数据2两个部分；训练数据1用于卷积双向长短时记忆网络基本模型的训练；训练数据2用于全连接神经网络集成模型的训练；测试数据用于最后混合深度神经网络识别效果的测试。具体步骤如下：
(2.1)选用的三个不同的时间窗口尺寸为STW1＝10，STW2＝20和STW3＝30，收集到P＝4架飞机的报文数据，4架飞机的报文数据分别包含N1＝671，N2＝407，N3＝787和N4＝716个连续的时间点；
(2.2)利用滑动时间窗口法对数据进行进一步处理，第1至10个时间点的数据作为第一组输入数据，第11个时间点的危险值作为第一组数据对应的输出值；向后滑动一个时间点，第2至11个时间点的数据作为第二组输入数据，第12个时间点的危险值作为第二组数据对应的输出值，以此类推最终得到n1＝1813组时间窗口尺寸为STW1＝10的数据；
(2.3)以时间窗口尺寸为20，重复步骤(2.2)，得到n2＝1723组时间窗口尺寸为STW2＝20的数据；
(2.4)以时间窗口尺寸为30，重复步骤(2.2)，得到n3＝1647组时间窗口尺寸为STW3＝30的数据；
(2.5)从步骤(2.2)得到的n1＝1813组时间窗口尺寸为STW1＝10的数据中，选取第n1-T至第n1组数据作为测试数据，共选取T＝236组测试数据；选取第n1-T-B＝至第n1-T-1组数据作为训练数据2，共选取B＝472组训练数据2；剩余数据作为训练数据1；
(2.6)从步骤(2.3)得到的n2组时间窗口尺寸为STW2＝20的数据中，选取第n2-T至第n2组数据作为测试数据，共选取T＝236组测试数据；选取第n2-T-B至第n2-T-1组数据作为训练数据2，共选取B＝472组训练数据2；剩余数据作为训练数据1；
(2.7)从步骤(2.4)得到的n3组时间窗口尺寸为STW3＝30的数据中，选取第n3-T至第n3组数据作为测试数据，共选取T＝236组测试数据；选取第n3-T-B至第n3-T-1组数据作为训练数据2，共选取B＝472组训练数据2；剩余数据作为训练数据1；
(2.8)将步骤(2.5)至(2.7)中得到的3*T组训练数据2，根据输出危险值的时间点进行合并，得到T组新的训练数据2。训练数据2中每组数据包含三个时间窗口尺寸的输入数据和一个输出数据；
(2.9)将步骤(2.5)至(2.7)中得到的3*B组测试数据，根据输出危险值的时间点进行合并，得到B组测试数据。测试数据中每组数据包含三个时间窗口尺寸的输入数据和一个输出数据。
步骤3，混合深度神经网络构建：混合深度神经网络由两个部分组成，第一部分为三个具有不同时间窗口尺寸的卷积双向长短时记忆网络基本模型，每个基本模型的网络结构相同，分为卷积-池化层，双向长短时记忆网络层以及全连接层；第二个部分为全连接神经网络集成模型，由多层全连接层组成。具体步骤如下：
(3.1)基本模型的构建：混合深度神经网络有3个时间窗口尺寸不同的基本模型，每个基本模型由卷积-池化层，双向长短时记忆网络层以及全连接层组成。需要分别对基本模型的各层进行构建；
(3.1.1)卷积层的构建，建立l＝1层卷积-池化层，卷积层滤波器数量设置为对应的时间窗口尺寸STW∈{10,20,30}，池化窗口大小为S＝2×1。卷积层进行卷积操作
提取数据特征，将卷积层得到的特征图输入至池化层进行最大池化操作
其中
代表第l层获得的第n个滤波器的特征图，
代表ReLU激活函数，
代表第l-1层的第m个特征图，
代表第l-1层的第n个滤波器的卷积核，
代表偏置，S是池化层窗口大小，
是第l-1层第i个神经元的第n个滤波器得到的值，
是第l-1层第n个滤波器得到的特征图；
(3.1.2)双向长短时记忆网络层的构建，双向长短时记忆网络由前向长短时记忆网络和后向长短时记忆网络组成，它们具有相同的输入，但沿相反的方向传输信息。双向长短时记忆网络的神经元个数设置为对应的时间窗口尺寸STW∈{10,20,30}。长短时记忆网络由三个门函数，一个隐藏状态单元和一个记忆状态单元组成。ot＝σ(Wo·[ht-1,xt]+bo)为输出门函数，ft＝σ(Wf·[ht-1,xt]+bf)为遗忘门函数，it＝σ(Wi·[ht-1,xt]+bi)为输入门函数，隐藏状态单元为
记忆状态单元为
其中，
为当前输入值的记忆状态单元值，ct-1为上一时间点输入值的记忆状态单元值，σ为sigmoid函数，Wo和bo是输出门函数的权重矩阵和偏差，Wf和bf是遗忘门函数的权重矩阵和偏差，Wi和bi是输入门函数的权重矩阵和偏差，Wc和bc是记忆单元的权重矩阵和偏差，
表示两个向量的向量积；
在双向长短时记忆网络的结构中，将相同的输入数据输入到前向长短时记忆网络层和后向长短时记忆网络层，以计算前向长短时记忆网络层的隐藏状态ht＝LSTM(xt,ht-1)和后向长短时记忆网络层的隐藏状态h′t＝LSTM(xt,h′t+1)。然后，将两个隐藏状态连接起来以计算双向长短时记忆网络层的输出ot＝Whoht+Wh′oh′t+b′o。其中LSTM(·)代表长短时记忆中定义的操作，Who和Wh′o分别代表前向长短时记忆网络层和后向长短时记忆网络层的权重，b′o代表输出层的偏置；
(3.1.3)全连接层的构建，建立l＝2层全连接层，第一层的神经元个数设置为对应的时间窗口尺寸STW∈{10,20,30}，第二层的神经元个数为STW/2。全连接层与softmax分类器连接完成初步识别任务；
(3.2)全连接神经网络集成模型的构建，建立l＝3层全连接层，每层的神经元个数逐层递减分别为100，50和20。全连接神经网络进行
操作，操作结果与softmax分类器连接完成最终识别任务。其中，fcl是第l层的输出，δ(·)为激活函数，
和
分别为权重矩阵和偏置。
步骤4，混合深度神经网络训练：利用第二步骤得到的训练数据1和训练数据2对混合深度神经网络进行训练。首先，利用训练数据1对三个不同的基本模型进行训练；然后，将训练数据2输入训练完成的基本模型，得到初步危险识别结果；最后，利用初步危险识别结果训练全连接神经网络集成模型。具体步骤如下：
(4.1)参数初始化，利用标准化的Glorot初始化器初始化BiLSTM层中的权值，标准化的He初始化器初始化其他层的权值。设置批次大小nbatch＝64，最大训练迭代次数nepoch＝100。利用Dropout和Early stopping的方法来避免过度拟合。默认的Dropout率设置为0.5；
(4.2)将训练数据1输入至对应的基本模型进行训练，得到识别结果；
(4.3)计算损失函数
其中B是样本个数，Ts代表第s个样本的真实标签值，y代表softmax分类器的输出。FAA发布的AC25.1309-1文件将危险划分为灾难性的危险、重大的危险(更严重的情况)、重大的危险和较小的危险。根据以上划分结果，y的值取1至5，其中1表示无危险、2表示较小的危险、3表示重大的危险、4表示重大的危险(更严重的情况)和5表示灾难性的危险；
(4.4)更新基本模型参数；
(4.5)重复步骤(4.2)至(4.4)，直到满足Early stopping条件或达到最大迭代次数，最终得到训练完成的基本模型；
(4.6)将训练数据2输入训练完成的基本模型得到初步识别结果。然后得到的初步识别结果输入至全连接神经网络集成模型进行训练，得到识别结果；
(4.7)计算损失函数，更新集成模型参数；
(4.8)重复步骤(4.6)和(4.7)，直到满足Early stopping条件或达到最大迭代次数，最终得到训练完成的混合深度神经网络。
步骤5，混合深度神经网络测试；利用步骤2得到的测试数据对步骤4训练过的混合深度神经网络进行测试，基于基本模型的输出，利用全连接神经网络完成危险识别功能。具体步骤如下：
(5.1)将测试数据中三个不同时间窗口尺寸的输入数据分别输入至对应的基本模型，得到初步识别结果。
(5.2)将初步识别结果输入至全连接神经网络集成模型，得到最终的危险识别结果，识别结果如图3所示。
(5.3)将混合深度神经网络得出危险识别结果与真实危险值进行比较，采用ROC曲线分析识别效果。ROC分析结果如图4所示。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于混合深度神经网络的危险识别方法，其特征在于：包括以下步骤：
步骤1，数据收集与归一化：通过飞机通信寻址与报告系统收集历史报文数据，进行归一化处理，去除数据的单位限制，将其转化为无量纲的纯数值；
步骤2，数据预处理：利用滑动时间窗口法分别对归一化后的数据进行预处理，将预处理后的数据分为训练数据和测试数据，随后，基于混合深度神经网络的集成结构，将训练数据分为训练数据1和训练数据2两个部分，训练数据1用于卷积双向长短时记忆网络基本模型的训练，训练数据2用于全连接神经网络集成模型的训练；测试数据用于最后混合深度神经网络识别效果的测试；
步骤3，混合深度神经网络构建：混合深度神经网络由两个部分组成，第一部分为三个具有不同时间窗口尺寸的卷积双向长短时记忆网络基本模型，第二个部分为全连接神经网络集成模型；
步骤4，混合深度神经网络训练：利用步骤2得到的训练数据1和训练数据2对步骤3构建的混合深度神经网络进行训练；首先，利用训练数据1对三个不同的基本模型进行训练，然后，将训练数据2输入训练完成的基本模型，得到初步危险识别结果，最后，利用初步危险识别结果训练全连接神经网络集成模型；
步骤5，混合深度神经网络测试：利用步骤2得到的测试数据对步骤4训练过的混合深度神经网络进行测试，基于基本模型的输出，利用全连接神经网络完成危险识别功能。
2.根据权利要求1所述的基于混合深度神经网络的危险识别方法，其特征在于：所述步骤1中，数据收集与归一化的步骤为：
步骤11，设收集的报文数据中有i个参数，每个参数包含j个数据，确定每个参数的最大值xi,max以及最小值xi,min；
步骤12，通过以下公式计算得到归一化后的参数值：
3.根据权利要求1所述的基于混合深度神经网络的危险识别方法，其特征在于：所述步骤2中，利用滑动时间窗口法分别对归一化后的数据进行预处理的步骤如下：
步骤21，选用的三个不同的时间窗口尺寸为STW1，STW2和STW3，收集到的数据包含N个连续的时间点；
步骤22，利用滑动时间窗口法对数据进行预处理，第1至STW1个时间点的数据作为第一组输入数据，第STW1+1个时间点的危险值作为第一组数据对应的输出值；向后滑动一个时间点，第2至STW1+1个时间点的数据作为第二组输入数据，第STW1+2个时间点的危险值作为第二组数据对应的输出值，以此类推最终得到n1组时间窗口尺寸为STW1的数据；
步骤23，以时间窗口尺寸为STW2，重复步骤22，得到n2组时间窗口尺寸为STW2的数据；
步骤24，以时间窗口尺寸为STW3，重复步骤22，得到n3组时间窗口尺寸为STW3的数据；
步骤25，从步骤22得到的n1组时间窗口尺寸为STW1的数据中，选取第n1-T至第n1组数据作为测试数据；选取第n1-T-B至第n1-T-1组数据作为训练数据2；剩余数据作为训练数据1；
步骤26，从步骤23得到的n2组时间窗口尺寸为STW2的数据中，选取第n2-T至第n2组数据作为测试数据；选取第n2-T-B至第n2-T-1组数据作为训练数据2；剩余数据作为训练数据1；
步骤27，从步骤24得到的n3组时间窗口尺寸为STW3的数据中，选取第n3-T至第n3组数据作为测试数据；选取第n3-T-B至第n3-T-1组数据作为训练数据2；剩余数据作为训练数据1；
步骤28，将步骤25至27中得到的3*T组训练数据2，根据输出危险值的时间点进行合并，得到T组新的训练数据2，训练数据2中每组数据包含三个时间窗口尺寸的输入数据和一个输出数据；
步骤29，将步骤25至27中得到的3*B组测试数据，根据输出危险值的时间点进行合并，得到B组测试数据，测试数据中每组数据包含三个时间窗口尺寸的输入数据和一个输出数据。
4.根据权利要求1所述的基于混合深度神经网络的危险识别方法，其特征在于：所述步骤3中，混合深度神经网络构建的步骤如下：
步骤31，基本模型的构建：混合深度神经网络有三个具有不同时间窗口尺寸的卷积双向长短时记忆网络基本模型，每个基本模型的网络结构相同，由卷积-池化层，双向长短时记忆网络层以及全连接层组成，分别对基本模型的各层进行构建；
步骤32，全连接神经网络集成模型的构建：建立l层全连接层，每层的神经元个数逐层递减，全连接神经网络进行
操作，操作结果与softmax分类器连接完成最终识别任务；其中，fcl是第l层的输出，δ(·)为激活函数，
和
分别为权重矩阵和偏置。
5.根据权利要求4所述的基于混合深度神经网络的危险识别方法，其特征在于：所述步骤31包括：
步骤311，卷积-池化层的构建：建立l层卷积-池化层，卷积层滤波器数量设置为对应的时间窗口尺寸STW，池化窗口大小为S；卷积层进行卷积操作
提取数据特征，将卷积层得到的特征图输入至池化层进行最大池化操作
其中
代表第l层获得的第n个滤波器的特征图，
代表ReLU激活函数，
代表第l-1层的第m个特征图，
代表第l-1层的第n个滤波器的卷积核，
代表偏置，S是池化层窗口大小，
是第l-1层第i个神经元的第n个滤波器得到的值，
是第l-1层第n个滤波器得到的特征图；
步骤312，双向长短时记忆网络层的构建：双向长短时记忆网络由前向长短时记忆网络和后向长短时记忆网络组成，它们具有相同的输入，但沿相反的方向传输信息；双向长短时记忆网络的神经元个数设置为对应的时间窗口尺寸STW；长短时记忆网络由三个门函数，一个隐藏状态单元和一个记忆状态单元组成；ot＝σ(Wo·[ht-1,xt]+bo)为输出门函数，ft＝σ(Wf·[ht-1,xt]+bf)为遗忘门函数，it＝σ(Wi·[ht-1,xt]+bi)为输入门函数，隐藏状态单元为
记忆状态单元为
其中，
为当前输入值的记忆状态单元值，ct-1为上一时间点输入值的记忆状态单元值，σ为sigmoid函数，Wo和bo是输出门函数的权重矩阵和偏差，Wf和bf是遗忘门函数的权重矩阵和偏差，Wi和bi是输入门函数的权重矩阵和偏差，Wc和bc是记忆单元的权重矩阵和偏差，
表示两个向量的向量积；
在双向长短时记忆网络的结构中，将相同的输入数据输入到前向长短时记忆网络层和后向长短时记忆网络层，以计算前向长短时记忆网络层的隐藏状态ht＝LSTM(xt,ht-1)和后向长短时记忆网络层的隐藏状态h′t＝LSTM(xt,h′t+1)；然后，将两个隐藏状态连接起来以计算双向长短时记忆网络层的输出ot＝Whoht+Wh′oh′t+b′o；其中，LSTM(·)代表长短时记忆中定义的操作，Who和Wh′o分别代表前向长短时记忆网络层和后向长短时记忆网络层的权重，b′o代表输出层的偏置；
步骤313，全连接层的构建：建立l层全连接层，第一层的神经元个数设置为对应的时间窗口尺寸STW，其它层神经元个数逐层递减，全连接层与softmax分类器连接完成初步识别任务。
6.根据权利要求1所述的基于混合深度神经网络的危险识别方法，其特征在于：所述步骤4中，混合深度神经网络模型训练的步骤如下：
步骤41，参数初始化：利用标准化的Glorot初始化器初始化双向长短时记忆网络层中的权值，标准化的He初始化器初始化其他层的权值；设置批次大小nbatch，最大训练迭代次数nepoch；利用Dropout和Early stopping的方法来避免过度拟合，Dropout率设置为0.5；
步骤42，将训练数据1输入至对应的基本模型进行训练，得到识别结果；
步骤43，计算损失函数
其中B是样本个数，Ts代表第s个样本的真实标签值，y代表softmax分类器的输出；
步骤44，更新基本模型参数；
步骤45，重复步骤42至44，直到满足Early stopping条件或达到最大迭代次数，最终得到训练完成的基本模型；
步骤46，将训练数据2输入训练完成的基本模型得到初步识别结果，然后得到的初步识别结果输入至全连接神经网络集成模型进行训练，得到识别结果；
步骤47，计算损失函数，更新集成模型参数；
步骤48，重复步骤46和47，直到满足Early stopping条件或达到最大迭代次数，最终得到训练完成的混合深度神经网络。
7.根据权利要求1所述的基于混合深度神经网络的危险识别方法，其特征在于：所述步骤5中，混合深度神经网络测试的步骤如下：
步骤51，将测试数据中三个不同时间窗口尺寸的输入数据分别输入至对应的基本模型，得到初步识别结果；
步骤52，将初步识别结果输入至全连接神经网络集成模型，得到最终的危险识别结果。
步骤53，将混合深度神经网络得出危险识别结果与真实危险值进行比较，分析识别效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011162423.5A CN112330114A (zh) | 2020-10-27 | 2020-10-27 | 基于混合深度神经网络的飞机危险识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011162423.5A CN112330114A (zh) | 2020-10-27 | 2020-10-27 | 基于混合深度神经网络的飞机危险识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330114A true CN112330114A (zh) | 2021-02-05 |
Family
ID=74312063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011162423.5A Pending CN112330114A (zh) | 2020-10-27 | 2020-10-27 | 基于混合深度神经网络的飞机危险识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330114A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011557A (zh) * | 2021-02-22 | 2021-06-22 | 山东航空股份有限公司 | 基于卷积神经网络的飞机不稳定进近判断方法及系统 |
| CN114046179A (zh) * | 2021-09-15 | 2022-02-15 | 山东省计算中心（国家超级计算济南中心） | 一种基于co监测数据智能识别和预测井下安全事故的方法 |
-
2020
- 2020-10-27 CN CN202011162423.5A patent/CN112330114A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011557A (zh) * | 2021-02-22 | 2021-06-22 | 山东航空股份有限公司 | 基于卷积神经网络的飞机不稳定进近判断方法及系统 |
| CN114046179A (zh) * | 2021-09-15 | 2022-02-15 | 山东省计算中心（国家超级计算济南中心） | 一种基于co监测数据智能识别和预测井下安全事故的方法 |
| CN114046179B (zh) * | 2021-09-15 | 2023-09-22 | 山东省计算中心（国家超级计算济南中心） | 一种基于co监测数据智能识别和预测井下安全事故的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909206B (zh) | 一种基于深层结构循环神经网络的pm2.5预测方法 | |
| CN109766583A (zh) | 基于无标签、不均衡、初值不确定数据的航空发动机寿命预测方法 | |
| CN112859898B (zh) | 一种基于双通道双向神经网络的飞行器轨迹预测方法 | |
| CN112330114A (zh) | 基于混合深度神经网络的飞机危险识别方法 | |
| CN108875812B (zh) | 一种基于分支卷积神经网络的驾驶员行为分类方法 | |
| CN111649779B (zh) | 基于密集神经网络的油井含油率和总流速测量方法及应用 | |
| CN111582396A (zh) | 一种基于改进卷积神经网络的故障诊断方法 | |
| CN113657814B (zh) | 一种航空网络风险预测方法及风险等级评估方法 | |
| CN115204302A (zh) | 一种无人机小样本故障诊断系统及方法 | |
| CN117156442B (zh) | 基于5g网络的云数据安全保护方法及系统 | |
| CN115564114A (zh) | 一种基于图神经网络的空域碳排放短期预测方法及系统 | |
| CN112465001A (zh) | 一种基于逻辑回归的分类方法及装置 | |
| CN112560948A (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
| CN110728186A (zh) | 一种基于多网融合的火灾检测方法 | |
| CN113128769A (zh) | 基于深度学习的智能航班延误预测方法 | |
| CN115907079B (zh) | 一种基于注意力时空图卷积网络的空域交通流量预测方法 | |
| CN115579069A (zh) | scRNA-Seq细胞类型注释数据库的构建方法、装置及电子设备 | |
| CN110598737A (zh) | 一种深度学习模型的在线学习方法、装置、设备及介质 | |
| CN112488146A (zh) | 基于深度学习的飞机危险识别与趋势预测方法 | |
| CN112015894B (zh) | 一种基于深度学习的文本单类分类方法及系统 | |
| CN114463574A (zh) | 一种遥感图像的场景分类方法及装置 | |
| CN115131646A (zh) | 基于离散系数的深度网络模型压缩方法 | |
| CN114417729A (zh) | 一种基于bp神经网络的矿区环境安全预警方法 | |
| CN112818598A (zh) | 一种车载健康管理系统仿真论证系统及方法 | |
| Wu et al. | Toward an expert system for chromosome analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |