CN114861891A - 基于改进的稀疏自编码器的空管系统态势特征提取方法 - Google Patents

基于改进的稀疏自编码器的空管系统态势特征提取方法 Download PDF

Info

Publication number
CN114861891A
CN114861891A CN202210780921.9A CN202210780921A CN114861891A CN 114861891 A CN114861891 A CN 114861891A CN 202210780921 A CN202210780921 A CN 202210780921A CN 114861891 A CN114861891 A CN 114861891A
Authority
CN
China
Prior art keywords
data
feature
encoder
correlation
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210780921.9A
Other languages
English (en)
Inventor
张礼哲
白卓宁
岳猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202210780921.9A priority Critical patent/CN114861891A/zh
Publication of CN114861891A publication Critical patent/CN114861891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

为了解决天空地一体化结构的空中交通管理系统在广域分布场景中的信息安全态势感知问题，针对空管系统通信导航监视设备的运行数据具有多维、复杂、特征关联等特点，本发明提供了一种基于数据属性的特征关联算法，提出了基于改进的稀疏自编码器的空管系统态势特征提取方法，建立了深度关联稀疏自编码器模型，使用L1正则化和KL散度稀疏项对编码器网络参数进行惩罚限制，并增加了隐藏层的数量，通过迭代训练单个编码器优化全局编码器网络。实验结果表明，改进后的稀疏自编码器在空管系统特征提取方面具有良好的鲁棒性，得到的特征表达能力强，提高了分类器的分类性能。

Description

基于改进的稀疏自编码器的空管系统态势特征提取方法
技术领域
本发明创造属于计算机信息安全领域，尤其是涉及一种基于改进的稀疏自编码器的空管系统态势特征提取方法。
背景技术
作为空中交通管理系统（Air Traffic Management, ATM）的关键设备，通信导航监视设备的安全运行对于保障空管系统稳定的信息交互至关重要。通信导航监视设备中包含各类空管数据，其安全性涉及到空管系统的各个层面。其中的机密信息若遭受到安全威胁会影响航空器的正常运行，严重时甚至会威胁飞行安全。此外，当设备因人为或设计等原因故障时也会使得空管信息交互业务暂缓。空管系统通信导航监视设备在信息交互传输过程中，存在的安全威胁一般包括：对IT基础设施的不安全物理访问；将不太安全的传统技术系统与安全系统集成；卫星或地面系统未加密通信；IT设备硬件和软件的安全配置不足；未经授权的人员访问；故意或非故意损坏地面天线和辅助设备导致拒绝服务（Denial ofService, DoS）；恶意软件感染等。
高维且复杂的空管系统设备运行数据使得决策管理人员难以感知系统的安全态势，为保证空管系统设备运行信息的可用性、机密性及完整性，对空管系统进行信息安全态势感知势在必行。通信导航监视设备的安全态势感知旨在减轻这些设备因网络威胁、人为操作失误、设备故障等对空管系统运行造成的影响，便于管理人员从宏观的角度及时了解系统的安全状态，做出正确的决策。
由于空管系统设备运行数据具有多维、数量众多、时空依赖性等特点，并且特征之间具有相关性，为防止过度拟合以及复杂度过高等问题，需要对数据进行降维，使用易表示的简单维度结构来表征数据。针对这一问题，本发明提出一种特征关联算法，分析数据特征之间的相关性，对原始数据进行特征选择，防止特征提取模型过拟合。此外，本发明建立了改进的特征提取模型--深度关联稀疏自编码器（Deep-related Sparse Autoencoder,DRSAE）模型，采用多个隐藏层提取特征，并通过L1正则化和KL散度限制隐藏层权重和神经元激活程度的稀疏性，提高编码器特征提取精度。
发明内容
有鉴于此，本发明创造旨在提出一种基于改进的稀疏自编码器的空管系统态势特征提取方法，使用基于数据属性的方法建立特征关联模型，达到属性特征解耦的目的，使得属性关联关系得以清晰地表达。
为达到上述目的，本发明创造的技术方案是这样实现的：
基于改进的稀疏自编码器的空管系统态势特征提取方法，包括如下步骤：
（1）对空管系统设备运行数据进行归一化处理，得到归一化数据集；
（2）对归一化处理后的数据进行特征关联分析，通过计算相关性得出每一类特征的相关系数矩阵，使用阈值比较相关性，并删除对整体数据影响小的特征，得到新的数据集；
（3）根据数据集的大小划分训练集和测试集，将训练集输入到深度稀疏自编码器DSAE中；
（4）逐个训练编码器模型，通过自编码器的全连接层无监督的学习输入数据的特征，最小化重构输出与输入的对比损失；
（5）使用上一个训练好的稀疏自编码器的编码器输出权重作为当前稀疏自编码器的编码器输入权重，训练当前的稀疏自编码器；
（6）连接训练好的各个稀疏自编码器的编码层，形成深度关联稀疏自编码器DRSAE，使用之前训练好的模型参数初始化整个DRSAE模型的参数，并通过Adam优化器进行全局优化；
（7）训练好模型后提取编码器的最后一个隐藏层的输出权重，即提取到的最终特征，并将这些特征及其对应的标签一同输入到设定的分类器中，通过有标签的样本数据进行有监督学习；
（8）训练好分类器后，得出模型分类结果。
进一步的，所述步骤（2）中，具体包括如下步骤：
（21）对数据进行属性划分：
设输入数据X=｛x1,x2,x3,…,xn｝的特征集为T=｛t1,t2,t3,…,tk｝，k为数据的属性总数目，即初始数据特征维数；
将特征集T按照属性实际表示含义的相关性划分，进一步表示为T=｛R1,R2,…,Rn｝，其中n为将数据特征集T划分的属性类总数，Ri（i=1,2,…,n）表示属性相关的一类特征，则
Figure 565441DEST_PATH_IMAGE001
，
Figure 420265DEST_PATH_IMAGE002
,...,
Figure 403264DEST_PATH_IMAGE003
其中，p1+p2+…+pn-1+pn=k，p1,p2,…,pn分别为R1,R2,…,Rn类特征各自的属性数量；
（22）计算R中各特征之间的欧氏距离，形成相关系数矩阵C；
（23）通过将n类特征分别进行相关性分析后得到每一类特征的相关系数矩阵C，并且设定一个阈值，除去C的对角线相关性元素外，当C中其他的相关性元素的绝对值大于或等于这一阈值时，认为该相关性元素的两个特征具有很强的关联关系；比较两个特征数据项的均值和方差，由于方差的大小决定此特征对整体数据的影响程度，选择删除方差小的特征；
（24）对每一类特征进行相关性分析后，再对整体数据进行一次相关性分析。
进一步的，所述深度稀疏自编码器DSAE使用MSE衡量自编码器输入与输出的相似度，并运用L1正则化对编码器施加正则化约束，使得编码器产生具有稀疏性质的权重矩阵，再结合KL散度对编码器隐藏层神经元的激活程度进行稀疏性限制。
进一步的，所述深度稀疏自编码器DSAE的目标损失函数为
Figure 437954DEST_PATH_IMAGE004
；
其中，λ为稀疏性约束，用来控制正则化的程度，wi是隐藏层H=｛h1,h2,…,hm｝对输入样本X=｛x1,x2,x3,…,xn｝的权重，a j 是隐藏层中第j个神经元对输入样本X=｛x1,x2,x3,…,xn｝的平均激活程度，
Figure 455589DEST_PATH_IMAGE005
，h(j)是隐藏层H的矩阵向量的第j个分量，a h(j) 是当输入样本为X=｛x1,x2,x3,…,xn｝时，隐藏层中第j个神经元的总体激活程度，ah(j)（xi）表示输入数据为x i 时，隐藏层中第j个神经元的激活度，a j 和a的KL散度为
Figure 543630DEST_PATH_IMAGE006
，KL散度作为惩罚项，通过非对称地衡量输入训练数据X与目标输出Y概率分布之间的差异来限制网络的稀疏性。
相对于现有技术，本发明创造所述的基于改进的稀疏自编码器的空管系统态势特征提取方法具有以下优势：
（1）本发明使用基于稀疏自编码器的非线性降维方法提取ATM系统的运行特征，无需运用人工和专家知识，而是通过超参数自适应反馈训练得到最优模型，结合提出的基于数据属性的特征关联算法，解决ATM数据特征关联问题，使其在ATM系统的特征提取方面呈现出显著优势；
（2）本发明不仅可以减弱ATM系统数据特征之间的相关性，防止模型过拟合，而且还在特征提取模型精度上具有优势，提取到的ATM特征表达能力强，将来可以广泛应用到ATM系统态势感知平台中。
附图说明
构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：
图1为特征关联模型示意图；
图2为DSAE模型示意图；
图3为DRSAE模型示意图；
图4为R 1 类特征的相关系数矩阵热力图；
图5为R 2 类特征的相关系数矩阵热力图；
图6为R 3 类特征的相关系数矩阵热力图；
图7为特征关联分析后总体数据的相关系数矩阵热力图；
图8为所有模型对测试集的分类评估结果示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。
下面将参考附图并结合实施例来详细说明本发明创造。
空管运行数据多源异构，数据空间的复杂度高，各数据特征之间的依赖性强，数据属性之间的相关性问题突出。在进行网络训练时，由于特征间存在相互作用，一些数据的属性对数据整体关系的作用可能会大于其他属性，将在一定程度上影响到编码器所提取的特征，使其不能完全表示数据之间潜在的规律。针对这一问题，本发明使用基于数据属性的方法建立特征关联模型，达到属性特征解耦的目的，使得属性关联关系得以清晰地表达。
由于一些属性特征之间相互影响，并且为了准确地表示数据的属性，本发明将每个属性看作独立的变量，建立基于数据属性的特征关联模型，如图1所示，图1展示了特征关联模型的结构。模型算法如下：
设输入数据X=｛x1,x2,x3,…,xn｝的特征集为T=｛t1,t2,t3,…,tk｝，k为数据的属性总数目，即初始数据特征维数；
将特征集T按照属性实际表示含义的相关性划分，进一步表示为T=｛R1,R2,…,Rn｝，其中n为将数据特征集T划分的属性类总数，Ri（i=1,2,…,n）表示属性相关的一类特征，则
Figure 13926DEST_PATH_IMAGE007
，
Figure 353772DEST_PATH_IMAGE008
,...,
Figure 724448DEST_PATH_IMAGE009
其中，p1+p2+…+pn-1+pn=k，p1,p2,…,pn分别为R1,R2,…,Rn类特征各自的属性数量。
以R 1 类中的特征t 1 和t 2 为例，基于数据的物理意义，通过计算t 1 和t 2 之间的欧氏距离估计t 1 和t 2 的相关程度，特征t 1 和t 2 的相关性为
Figure 983391DEST_PATH_IMAGE010
，x i 为特征t 1 变量中的数据项，y i 为特征t 2 变量中的数据项，n’为输入数据项的总数。R 1 中特征的相关系数矩阵为
Figure 940983DEST_PATH_IMAGE011
，p 1 为R 1 类特征的属性数量，由于属性本身与自己相关，所以C 1 中
Figure 84519DEST_PATH_IMAGE012
，R 1 的相关系数矩阵C 1 即可改写
Figure 873484DEST_PATH_IMAGE013
。
计算相关性c得出的结果范围是[-1,1]，当c的取值接近1时，表示两个特征变量正相关，当c的取值接近-1时，表示两个特征变量负相关，当c的取值为0时，表示两个特征变量没有相关关系。
通过将n类特征分别进行相关性分析后得到每一类特征的相关系数矩阵C，并且设定一个阈值。除去C的对角线相关性元素外，当C中其他的相关性元素的绝对值大于或等于这一阈值时，认为该相关性元素的两个特征具有很强的关联关系。比较两个特征数据项的均值和方差，由于方差的大小决定此特征对整体数据的影响程度，因此选择删除方差小的特征，即删除对整体数据影响较小的特征，以减少特征维数。
对每一类特征进行相关性分析后，再对整体数据进行一次相关性分析。如果得出的相关系数矩阵显示不同类别中的属性特征之间也存在相互关联关系，以R 1 类中的特征t 1 和R 2 类中的特征t p1+1 为例，即
Figure 709853DEST_PATH_IMAGE014
，使得
Figure 653276DEST_PATH_IMAGE015
。如果
Figure 866082DEST_PATH_IMAGE016
大于或等于阈值时，比较R 1 类特征和R 2 类特征的属性数量p 1 和p 2 ，当p 1 ＜p 2 时，表明R 2 类特征t p1+1 的属性数量多于R 1 类特征t 1 的属性数量，为使得各类特征的属性数目保持相对平衡，选择删除R 2 类特征t p1+1 ；当p 1 ＞p 2 时，原理相同；当p 1 =p 2 时，删除R 1 类特征t 1 或R 2 类特征t p1+1 效果相同。
该特征关联算法在数据进行特征提取前对其进行处理，相当于对数据进行特征选择，减轻了影响特征学习准确性和鲁棒性的数据的相关性的影响。
传统的自编码器在训练的过程中可能会发生均方误差(Mean Squared Error,MSE)过小的问题，导致模型过拟合，网络泛化能力不强，不能有效学习重要的数据特征。在本发明中，采用稀疏自编码器对空管系统的多维数据进行特征提取，将设备运行数据从多维空间转换为一维空间或者对后续研究有利的维度，在编码网络的损失函数中加入稀疏性惩罚约束，让编码器获得高维数、更深层次的特征表示，并在一定程度上通过限制隐藏层对输入层的权重W来提高编码器的泛化能力。此外，本发明在稀疏自编码器中增加隐藏层的数量，使编码器学习到更多有用的数据隐藏结构和表示，使得稀疏编码器（SparseAutoencoder, SAE）成为深度稀疏自编码器（Deep Sparse Autoencoder, DSAE），用于解决使用单个隐藏层的SAE进行系统态势特征提取精度不高的问题。建立的深度稀疏自编码器特征提取模型（DSAE）的结构如图2所示。
DSAE使用MSE衡量自编码器输入与输出的相似度，并运用L1正则化对编码器施加正则化约束，使得编码器产生具有稀疏性质的权重矩阵，再结合KL散度对编码器隐藏层神经元的激活程度进行稀疏性限制，以提高特征提取模型的精度。DSAE的目标损失函数为
Figure 775132DEST_PATH_IMAGE017
。其中，λ为稀疏性约束，用来控制正则化的程度，wi是隐藏层H=｛h1,h2,…,hm｝对输入样本X=｛x1,x2,x3,…,xn｝的权重，a j 是隐藏层中第j个神经元对输入样本X=｛x1,x2,x3,…,xn｝的平均激活程度，
Figure 313561DEST_PATH_IMAGE018
，h(j)是隐藏层H的矩阵向量的第j个分量，a h(j) 是当输入样本为X=｛x1,x2,x3,…,xn｝时，隐藏层中第j个神经元的总体激活程度，ah(j)（xi）表示输入数据为x i 时，隐藏层中第j个神经元的激活度，a j 和a的KL散度为
Figure 183428DEST_PATH_IMAGE019
，KL散度作为惩罚项，通过非对称地衡量输入训练数据X与目标输出Y概率分布之间的差异来限制网络的稀疏性。
在DSAE的基础上，将本发明提出的特征关联算法融合到DSAE中，形成深度关联稀疏自编码器（DRSAE）特征提取模型。建立的DRSAE模型如图3所示。
DRSAE特征提取模型的算法步骤如下：
（1）归一化数据集；
（2）对数据进行特征关联分析，通过计算相关性得出每一类特征的相关系数矩阵，使用阈值比较相关性，并删除对整体数据影响小的特征，得到新的数据集；
（3）根据数据集的大小划分训练集和测试集，将训练集输入到DSAE中；
（4）逐个训练编码器模型，通过自编码器的全连接层无监督的学习输入数据的特征，最小化重构输出与输入的对比损失；
（5）使用上一个训练好的稀疏自编码器的编码器输出权重作为当前稀疏自编码器的编码器输入权重，训练当前的稀疏自编码器；
（6）连接训练好的各个稀疏自编码器的编码层，形成DRSAE，使用之前训练好的模型参数初始化整个DRSAE模型的参数，并通过Adam优化器进行全局优化；
（7）训练好模型后提取编码器的最后一个隐藏层的输出权重，即提取到的最终特征，并将这些特征及其对应的标签一同输入到设定的分类器中，通过有标签的样本数据进行有监督学习；
（8）训练好分类器后，得出模型分类结果。
为验证本发明所设计的DRSAE特征提取模型的性能，设计了针对空管系统的仿真实验。本发明采用空管系统设备运行数据进行实验与验证，运用深度学习中的Keras框架，使用Python语言训练特征提取及分类模型。
根据《中国民用航空通信导航监视系统运行、维护规程》，对ATM系统设备运行数据进行仿真实验。选择三个代表性的ATM系统设备运行数据的数据集，如表1所示，包括计划总工作时数（PH）、正常工作时数（NH）、运行正常率（NOR）、设备总台数（TN）、故障设备台数（NF）、设备完好率（EIR）、事故次数（NA）、严重差错次数（NS）和一般差错次数（NG）。将没有发生事故和差错的数据视为正常数据，记为0，将发生了事故和差错的数据视为异常数据，记为1。
表1.空管系统设备运行数据信息
Figure 964040DEST_PATH_IMAGE020
空管数据集特征有9种属性，可分为三类，分别为运行时间特征（含3种属性）、运行数量特征（含3种属性）和运行差错特征（含3种属性），分别记为R 1 类、R 2 类和R 3 类特征。将这三类特征分别进行特征关联分析，各特征类的相关系数矩阵热力图如图4、图5和图6所示。
根据特征关联算法，将阈值设置为0.9，当两个特征属性之间相关性的绝对值大于或等于0.9时，选择该特征并删除数据项。由图4、图5和图6可以看出，R 1 类与R 3 类特征属性之间关系较弱，相关性绝对值小于0.9的阈值。而R 2 特征中的属性2和属性3具有较强的相关性，相关性绝对值为0.98，高于阈值0.9。根据特征关联算法，比较两者的方差，确定属性2的数据项被删除。经过以上分析，R 1 类特性个数保持在3，R 2 类特性个数为2，R 3 类特性个数保持在3，最终数据维数为8。
对R 1 、R 2 和R 3 类的特征进行上述相关性分析，剔除相关性强的特征属性之一后，对得到的新数据进行整体相关性分析。整体数据的相关系数矩阵热力图如图7所示。
在图7中，R 1 、R 2 和R 3 特征的属性相关性的绝对值均小于0.9，因此R 1 、R 2 和R 3 的特征数量保持不变，最终得到的数据维数为8。
利用特征提取模型对ATM数据集进行训练和测试，结合SVM分类器对数据类别进行判断。采用5个评价指标对模型进行评价，包括：准确率（Accuracy）、精确率（Precision）、真正率（True Positive Rate, TPR）也为召回率（Recall）、假正率（False Positive Rate,FPR）和F值（F-score）。
对所有模型进行设置，将输入数据从8维减少到4维。DRSAE模型的第一个编码层将输入的8维数据压缩为6维空间，第二个编码层将输入的6维数据压缩为4个特征空间。两个解码层的维数变化与编码层的维数变化相反。最后，通过迭代训练得到重构后的最终特征。将该模型与典型线性降维方法主成分分析（Principal Components Analysis, PCA）模型以及AE、SAE模型等非线性降维方法进行比较。所有模型对测试集的分类评价结果如图8所示。
在对不同特征提取模型进行分类评价时，Accuracy、Recall、Precision和F-score值越高，FPR越低，说明分类性能越好，模型的准确率越高。由图8可以看出，对于ATM设备的运行数据，PCA特征提取方法的模型分类准确率最低，为63.32%。AE和SAE模型的分类精度相应提高，表明非线性降维方法能够对当前具有复杂特征空间的数据集提取更有效的特征表示。而本发明采用的非线性降维模型DRSAE的分类准确率最高，为84.42%，比SAE模型高出约8%，泛化能力最强。对于FPR，可以看出本发明的DRSAE模型分类错误率为27.45%，由于模型训练的误差，错误率处于中间位置。F-score是Recall和Precision很好的结合。可以看出DRSAE模型的F-score在本实验中是最高的，为85.84%，表明由DRSAE特征提取模型提取的ATM系统态势特征有很强的表达能力，模型具有分类性能强和精度高的特点，便于ATM系统后续的态势评估。
以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (4)

1.基于改进的稀疏自编码器的空管系统态势特征提取方法，其特征在于：包括如下步骤：
（1）对空管系统设备运行数据进行归一化处理，得到归一化数据集；
（2）对归一化处理后的数据进行特征关联分析，通过计算相关性得出每一类特征的相关系数矩阵，使用阈值比较相关性，并删除对整体数据影响小的特征，得到新的数据集；
（3）根据数据集的大小划分训练集和测试集，将训练集输入到深度稀疏自编码器DSAE中；
（4）逐个训练编码器模型，通过自编码器的全连接层无监督的学习输入数据的特征，最小化重构输出与输入的对比损失；
（5）使用上一个训练好的稀疏自编码器的编码器输出权重作为当前稀疏自编码器的编码器输入权重，训练当前的稀疏自编码器；
（6）连接训练好的各个稀疏自编码器的编码层，形成深度关联稀疏自编码器DRSAE，使用之前训练好的模型参数初始化整个DRSAE模型的参数，并通过Adam优化器进行全局优化；
（7）训练好模型后提取编码器的最后一个隐藏层的输出权重，即提取到的最终特征，并将这些特征及其对应的标签一同输入到设定的分类器中，通过有标签的样本数据进行有监督学习；
（8）训练好分类器后，得出模型分类结果。
2.根据权利要求1所述的基于改进的稀疏自编码器的空管系统态势特征提取方法，其特征在于：所述步骤（2）中，具体包括如下步骤：
（21）对数据进行属性划分：
设输入数据X=｛x1,x2,x3,…,xn｝的特征集为T=｛t1,t2,t3,…,tk｝，k为数据的属性总数目， 作为初始数据特征维数；
将特征集T按照属性实际表示含义的相关性划分，进一步表示为T=｛R1,R2,…,Rn｝，其中n为将数据特征集T划分的属性类总数，Ri（i=1,2,…,n）表示属性相关的一类特征，则
Figure 996319DEST_PATH_IMAGE001
，
Figure 440070DEST_PATH_IMAGE002
,...,
Figure 662864DEST_PATH_IMAGE003
,其中，p1+p2+…+pn-1+pn=k，p1,p2,…,pn分别为R1,R2,…,Rn类特征各自的属性数量；
（22）计算R中各特征之间的欧氏距离，形成相关系数矩阵C；
（23）通过将n类特征分别进行相关性分析后得到每一类特征的相关系数矩阵C，并且设定一个阈值，除去C的对角线相关性元素外，当C中其他的相关性元素的绝对值大于或等于这一阈值时，认为该相关性元素的两个特征具有很强的关联关系；比较两个特征数据项的均值和方差，由于方差的大小决定此特征对整体数据的影响程度，选择删除方差小的特征；
（24）对每一类特征进行相关性分析后，再对整体数据进行一次相关性分析。
3.根据权利要求2所述的基于改进的稀疏自编码器的空管系统态势特征提取方法，其特征在于：所述深度稀疏自编码器DSAE使用MSE衡量自编码器输入与输出的相似度，并运用L1正则化对编码器施加正则化约束，使得编码器产生具有稀疏性质的权重矩阵，再结合KL散度对编码器隐藏层神经元的激活程度进行稀疏性限制。
4.根据权利要求3所述的基于改进的稀疏自编码器的空管系统态势特征提取方法，其特征在于：所述深度稀疏自编码器DSAE的目标损失函数为
Figure 483053DEST_PATH_IMAGE004
；
其中，λ为稀疏性约束，用来控制正则化的程度，wi是隐藏层H=｛h1,h2,…,hm｝对输入样本X=｛x1,x2,x3,…,xn｝的权重，a j 是隐藏层中第j个神经元对输入样本X=｛x1,x2,x3,…,xn｝的平均激活程度，
Figure 304378DEST_PATH_IMAGE005
，h(j)是隐藏层H的矩阵向量的第j个分量，a h(j) 是当输入样本为X=｛x1,x2,x3,…,xn｝时，隐藏层中第j个神经元的总体激活程度，ah(j)（xi）表示输入数据为x i 时，隐藏层中第j个神经元的激活度，a j 和a的KL散度为
Figure 981347DEST_PATH_IMAGE006
，KL散度作为惩罚项，通过非对称地衡量输入训练数据X与目标输出Y概率分布之间的差异来限制网络的稀疏性。
CN202210780921.9A 2022-07-05 2022-07-05 基于改进的稀疏自编码器的空管系统态势特征提取方法 Pending CN114861891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210780921.9A CN114861891A (zh) 2022-07-05 2022-07-05 基于改进的稀疏自编码器的空管系统态势特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210780921.9A CN114861891A (zh) 2022-07-05 2022-07-05 基于改进的稀疏自编码器的空管系统态势特征提取方法

Publications (1)

Publication Number Publication Date
CN114861891A true CN114861891A (zh) 2022-08-05

Family

ID=82626073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210780921.9A Pending CN114861891A (zh) 2022-07-05 2022-07-05 基于改进的稀疏自编码器的空管系统态势特征提取方法

Country Status (1)

Country Link
CN (1) CN114861891A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118226966A (zh) * 2024-05-23 2024-06-21 昆宇蓝程（北京）科技有限责任公司 一种基于材质抽象的真实比例数字月球可视交互系统
CN118278774A (zh) * 2024-04-29 2024-07-02 杭州集华科技有限公司 基于大数据的科技项目信息咨询管理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104819846A (zh) * 2015-04-10 2015-08-05 北京航空航天大学 一种基于短时傅里叶变换和稀疏层叠自动编码器的滚动轴承声音信号故障诊断方法
CN104914851A (zh) * 2015-05-21 2015-09-16 北京航空航天大学 一种基于深度学习的飞机旋转作动器驱动装置自适应故障检测方法
CN105243387A (zh) * 2015-07-30 2016-01-13 王植 一种基于无人机影像的露天矿典型地物分类方法
CN106323636A (zh) * 2016-08-16 2017-01-11 重庆交通大学 栈式稀疏自动编码深度神经网络的机械故障程度特征自适应提取与诊断方法
CN110674774A (zh) * 2019-09-30 2020-01-10 新疆大学 一种改进的深度学习人脸面部表情识别方法及系统
CN110779746A (zh) * 2019-10-24 2020-02-11 西安理工大学 改进深度稀疏自编码器网络旋转机械复合故障的诊断方法
CN111079690A (zh) * 2019-12-27 2020-04-28 华中科技大学 基于堆栈稀疏自动编码网络的主轴和工件振动预测方法
CN113536998A (zh) * 2021-07-01 2021-10-22 安徽工业大学 基于改进栈式稀疏自编码器的电机故障诊断方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104819846A (zh) * 2015-04-10 2015-08-05 北京航空航天大学 一种基于短时傅里叶变换和稀疏层叠自动编码器的滚动轴承声音信号故障诊断方法
CN104914851A (zh) * 2015-05-21 2015-09-16 北京航空航天大学 一种基于深度学习的飞机旋转作动器驱动装置自适应故障检测方法
CN105243387A (zh) * 2015-07-30 2016-01-13 王植 一种基于无人机影像的露天矿典型地物分类方法
CN106323636A (zh) * 2016-08-16 2017-01-11 重庆交通大学 栈式稀疏自动编码深度神经网络的机械故障程度特征自适应提取与诊断方法
CN110674774A (zh) * 2019-09-30 2020-01-10 新疆大学 一种改进的深度学习人脸面部表情识别方法及系统
CN110779746A (zh) * 2019-10-24 2020-02-11 西安理工大学 改进深度稀疏自编码器网络旋转机械复合故障的诊断方法
CN111079690A (zh) * 2019-12-27 2020-04-28 华中科技大学 基于堆栈稀疏自动编码网络的主轴和工件振动预测方法
CN113536998A (zh) * 2021-07-01 2021-10-22 安徽工业大学 基于改进栈式稀疏自编码器的电机故障诊断方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118278774A (zh) * 2024-04-29 2024-07-02 杭州集华科技有限公司 基于大数据的科技项目信息咨询管理系统及方法
CN118226966A (zh) * 2024-05-23 2024-06-21 昆宇蓝程（北京）科技有限责任公司 一种基于材质抽象的真实比例数字月球可视交互系统

Similar Documents

Publication Publication Date Title
Mukherjee et al. Deep learning-based multilabel classification for locational detection of false data injection attack in smart grids
CN109962909B (zh) 一种基于机器学习的网络入侵异常检测方法
CN114861891A (zh) 基于改进的稀疏自编码器的空管系统态势特征提取方法
CN110213244A (zh) 一种基于时空特征融合的网络入侵检测方法
CN110113353A (zh) 一种基于cvae-gan的入侵检测方法
CN110300095A (zh) 一种基于改进学习率的深度学习网络入侵检测方法
CN111414964A (zh) 一种基于对抗样本防御的图像安全识别方法
CN104539484A (zh) 一种动态评估网络连接可信度的方法及系统
Dong et al. Variable importance clouds: A way to explore variable importance for the set of good models
Idé et al. Multi-task multi-modal models for collective anomaly detection
CN116563690A (zh) 一种无人机传感器类不平衡数据异常检测方法及检测系统
CN116668192B (zh) 一种网络用户行为异常检测方法及系统
CN114513367A (zh) 基于图神经网络的蜂窝网络异常检测方法
Liao et al. Traffic anomaly detection model using k-means and active learning method
WO2023130728A1 (zh) 基于社区结构的动态图异常检测方法
Ji et al. A novel method of intrusion detection based on federated transfer learning and convolutional neural network
CN115062306A (zh) 一种针对恶意代码检测系统的黑盒对抗攻击方法
Liu Computer network confidential information security based on big data clustering algorithm
Wu et al. Feature Extraction Method Based on Sparse Autoencoder for Air Traffic Management System Security Situation Awareness
CN115115019A (zh) 基于神经网络的异常检测方法
CN114662143B (zh) 一种基于图嵌入的敏感链接隐私保护方法
CN110992522A (zh) 室内外通用人脸识别新算法安防系统
Peng et al. Toward masked face recognition: An effective facial feature extraction and refinement model in multiple scenes
Liu Analysis in big data of satellite communication network based on machine learning algorithms
Lu et al. Anomaly recognition method for massive data of power internet of things based on bayesian belief network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220805