CN111901340A - 一种面向能源互联网的入侵检测系统及其方法 - Google Patents

一种面向能源互联网的入侵检测系统及其方法 Download PDF

Info

Publication number
CN111901340A
CN111901340A CN202010737804.5A CN202010737804A CN111901340A CN 111901340 A CN111901340 A CN 111901340A CN 202010737804 A CN202010737804 A CN 202010737804A CN 111901340 A CN111901340 A CN 111901340A
Authority
CN
China
Prior art keywords
data set
module
intrusion detection
features
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010737804.5A
Other languages
English (en)
Other versions
CN111901340B (zh
Inventor
李贝贝
印一聪
武玉豪
宋佳芮
欧阳远凯
马小霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010737804.5A priority Critical patent/CN111901340B/zh
Publication of CN111901340A publication Critical patent/CN111901340A/zh
Application granted granted Critical
Publication of CN111901340B publication Critical patent/CN111901340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种面向能源互联网的入侵检测系统及其方法。其中，特征选择模块，从原始数据集中通过移除对入侵检测模型无贡献或低贡献的特征后剩下的特征形成约简数据集；数据预处理模块，对约简数据集进行进一步的数据预处理，处理成深度学习模型能够接收和处理的数据集；入侵检测模块，利用数据预处理模块所得数据集对深度学习模型进行训练、调优及测试后，使用深度学习模型进行入侵流量检测。本发明涉及的面向能源互联网的入侵检测系统，经过在真实的能源互联网的数据集上的测试，数值结果显示，本发明公开的入侵检测系统在对能源互联网中的各种网络威胁的检测上都非常有效，并且优于大多数现有的入侵检测系统方案。

Description

一种面向能源互联网的入侵检测系统及其方法
技术领域
本发明涉及能源互联网技术领域，尤其涉及一种面向能源互联网的入侵检测系统及其方法。
背景技术
能源互联网是物联网的一个新兴领域，如图1所示，它被定义为一个由各种智能能源基础设施组成的网络化系统，包括控制中心、分布式可再生能源系统、分散的能源存储以及能源消费(如工业、商业、住宅等)。能源互联网的目标是协调现有的分布式能源系统，从而优化所有这些能源系统的发电、传输和消耗的能源效率。
能源互联网有很多发展前景，也正面临越来越多的网络安全挑战。因为能源互联网集成了一系列异构且有漏洞的通信网络，使它们成为攻击者的理想目标。此外，广泛使用的智能设备(如智能电表、相位测量装置等)通常部署在通常没有适当安全保护的领域，为恶意拦截创造了大量机会。此外，在传统能源基础设施中存在固有漏洞，如监视控制和数据采集系统的敏感信息，可能很容易暴露于外部世界。不幸的是，现有的能源系统往往没有配备先进的安全保护解决方案。因此，强大的网络攻击者很容易绕过现有的安全防御，这对入侵检测系统提出了更高的要求。
入侵检测是网络安全的核心要素，入侵检测的主要目的是识别网络和计算机中的入侵异常行为，基于网络的入侵检测有很多实现的方法，随着人工智能技术的发展，基于深度学习的入侵检测技术得到了发展。近年来，相关工作基于卷积神经网络、循环神经网络、支持向量机等等的入侵检测模型存在着收敛速度慢，准确率不高的缺陷，这都成为了基于深度学习的入侵检测技术提升性能的瓶颈。因此，本专利提出了一种特征选择方法进行数据降维，并提出了一个新的深度学习模型进行入侵检测。
入侵检测系统是信息安全综合防御系统的重要组成部分。网络入侵检测系统位于第二安全防线，通过分析在网络中若干关键点采集的流量数据来发现是否有网络入侵的行为或迹象，识别出正在发生的入侵企图或已经发生的入侵活动。随着数十年入侵检测系统的发展和进阶，传统的网络入侵检测方法利用已知类型的攻击样本以离线的方式训练入侵检测模型，虽然对已知攻击类型具有较高的检测率，但是不能识别网络上新出现的攻击类型，这样的入侵检测系统存在着建立系统的速度慢、模型更新代价高等不足，面对规模日益扩大的网络和层出不穷的攻击，缺乏自适应性和扩展性，难以检测出网络上新出现的攻击类型，举例来说：
基于先验知识的入侵检测系统分析主要侧重于入侵行为和系统状态的分析，一个大问题是它不能检测出利用系统漏洞或符合协议规范的潜在攻击操作；
基于统计的入侵检测通常采用分析和统计相关的方法来分析入侵检测，虽然他们不需要任何关于攻击的先验知识，但是他们需要时间来找到准确的统计分布；
基于传统机器学习的入侵检测系统，无法处理高维度的数据，当数据量很大时，存在收敛速度慢，复杂度高等问题。
发明内容
本发明的目的就在于为了解决上述问题而提供一种面向能源互联网的入侵检测系统及其方法。
为了实现上述目的，本公开提供一种面向能源互联网的入侵检测系统，包括：
特征选择模块，从原始数据集中移除对入侵检测模型无贡献或低贡献的特征形成约简数据集；
数据预处理模块，对约简数据集进行进一步的数据预处理，处理成深度学习模型能够接收和处理的数据集；
入侵检测模块，利用数据预处理模块所得数据集对深度学习模型进行训练、调优及测试后，使用深度学习模型进行入侵流量检测。
可选地，特征选择模块移除的特征包括缺失率较高的特征、具有单一值的特征、相关性较高的特征、重要性评分低的特征。
可选地，数据预处理模块对约简数据集进行数据归一化处理，生成特征向量，然后对数据集中每个类别的标签进行独热编码，之后将数据集划分为训练集、验证集和测试集。
本公开还提供一种面向能源互联网的入侵检测方法，上述的一种面向能源互联网的入侵检测系统，包括：
从原始数据集中移除对入侵检测模型无贡献或低贡献的特征形成约简数据集；
对约简数据集进行进一步的数据预处理，处理成深度学习模型能够接收和处理的数据集；
利用数据预处理模块所得数据集对深度学习模型进行训练、调优及测试后，使用深度学习模型进行入侵流量检测。
可选地，基于LightGBM的移除特征选择方法包括：删除值缺失率比指定阈值大的特征。
可选地，基于LightGBM的移除特征选择方法包括：删除有唯一值的特征。
可选地，基于LightGBM的移除特征选择方法包括：使用皮尔森相关系数计算每个两个特征的相关系数，并用相关阈值识别强相关的特征对，并从每个特征对中删除一个特征；
可选地，基于LightGBM的移除特征选择方法包括：计算所有特征的重要性得分，并按照其特征递减排序重要性分数，删除重要性得分低的特征。
可选地，深度学习模型为REAL模型。
可选地，REAL模型包括ResNet模块、ALSTM模块、MLP模块和Softmax层，ResNet模块和ALSTM模块以不同的方式处理特征向量，ResNet模块和ALSTM模块的输出结果串联起来馈入MLP模块，Softmax层输出最终分类结果。
本发明的有益效果在于：
1、本发明涉及的深度神经网络，该神经网络通过结合残差神经网络、长短期记忆网络和注意力机制，可以实现对能源互联网中网络流量事件时间模式的有效提取和学习；
2、本发明涉及的基于LightGBM的特征选择方法，使得在保证模型准确率的基础上最大化降维，可以提高模型的收敛效率，减少模型的计算复杂度，提高模型的检测性能。LightGBM主要思想包括梯度单边采样和独立特征合并，梯度单边采样可以在避免改变数据特征分布的情况下使得信息增益最大化。对于特征绑定，在有大量稀疏特性的数据集上，存在排他的特性，通过使用经典的NP-hard图着色问题来绑定这些特性，删除不必要的特征。基于LightGBM的特征选择算法计算出特征的重要性排名，进一步有效的减小特征维度；
3、本发明涉及的面向能源互联网的入侵检测系统，经过在真实的能源互联网的数据集上的测试，数值结果显示，本发明公开的入侵检测系统在对能源互联网中的各种网络威胁的检测上都非常有效，并且优于大多数现有的入侵检测系统方案。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是能源互联网的架构图；
图2是本发明所述的入侵检测系统的框架图；
图3是本发明所述的入侵检测方法的流程图；
图4是本发明所述的REAL模型的框架图；
图5是特征的相关性矩阵图；
图6是归一化特征重要性分数柱形图；
图7是REAL性能随特征数量的变化折线图；
图8是不同检测模型的性能对比图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
本发明为了解决能源互联网环境下的网络入侵检测问题，提出了一种有效的基于残差网络(Residual Network，ResNet)、长短时记忆网络(Long Short-Term Memory,LSTM)、注意力机制(Attention Mechanism)的入侵检测系统，用以解决入侵检测中的各种类型的网络攻击。首先，我们使用了基于轻量级梯度提升机(Light Gradient BoostingMachine,LightGBM)进行数据集的特征选择；利用结合了ResNet和带有注意力机制的LSTM的全新神经网络REAL来提取网络流量的时间序列，基于这个有机结合的深度神经网络，通过提出的真实学习模式来识别能源互联网中的异常攻击行为，并在真实数据集上进行验证。本发明的性能优于现有的大多数入侵检测系统。
本发明涉及的一种面向能源互联网的入侵检测系统及其方法，如图2所示。
能源互联网以及绝大多数其他物联网的网络流量数据通常是不平衡并且异构的。因此，有必要在将这些网络流量数据提供给入侵检测模型进行网络威胁检测之前移除不必要的特征。我们设计了一种基于LightGBM的特征选择算法，它可以有效地确定义组特征，这些特征可以加速入侵检测的训练和检测阶段，并且可以优化检测的准确性。
特征选择模块，从原始数据集中移除对入侵检测模型无贡献或低贡献的特征形成约简数据集。特征选择模块移除的特征包括缺失率较高的特征、具有单一值的特征、相关性较高的特征、重要性评分低的特征。
基于LightGBM的移除特征选择方法包括：
删除值缺失率比指定阈值大的特征；
删除有唯一值的特征；
使用皮尔森相关系数计算每个两个特征的相关系数，并用相关阈值识别强相关的特征对，并从每个特征对中删除一个特征；
计算所有特征的重要性得分，并按照其特征递减排序重要性分数，删除重要性得分低的特征。
根据约简数据集，删除能源互联网流量数据的不必要的列。数据预处理模块对约简数据集进行进一步的数据预处理，处理成深度学习模型能够接收和处理的数据集。数据预处理模块对约简数据集进行数据归一化处理，生成特征向量。具体地，用θ∈Rk表示一个流量数据向量，长度为k。为了更好地适应REAL模型，我们使用L2范数对数据进行归一化，而不会破坏原始数据之间的线性关系。归一化后的流量数据向量x∈Rk(也称为特征向量)由下式给出：
Figure BDA0002605599980000071
然后，对给定数据集中每个类别的标签进行量化以进行标签的独热编码。之后，将数据集划分为训练数据集，验证数据集和测试数据集。
入侵检测模块利用数据预处理模块所得数据集对深度学习模型进行训练、调优及测试后，使用深度学习模型进行入侵流量检测。
深度学习模型为REAL模型。REAL模型包括ResNet模块、ALSTM(带有注意力机制的LSTM)模块、MLP(多层感知器)模块和Softmax层。
ResNet模块：ResNet模块包含三个残差块(ResBlock)和一个全局平均池(GAP)层。残差块由具有快速连接的三个卷积块组成，每个卷积块包括时间卷积层，批标准化(BN)层和ReLU激活函数。
ALSTM模块：ALSTM模块由两个LSTM层和一个注意机制(用于关注重要信息)组成。
MLP模块：MLP模块包含一个全连接层和一个随机失活层，用于防止模型过度拟合。
Softmax层：利用softmax层将MLP模块的非标准化输出映射到预测类上的概率分布。
如图4所示，给定网络流量特征向量x作为输入，ResNet模块和ALSTM模块以不同的方式处理x，ALSTM模块将特征向量视为具有单个时间步长的多元时间序列，而ResNet模块将特征向量视为具有多个时间步长的单变量时间序列。具体而言，在ALSTM模块之前，要实现一个维度混洗层，该层将特征向量的时间维度转置，如下式所示：
Figure BDA0002605599980000081
然后，ALSTM模块以如下方式处理
Figure BDA0002605599980000082
以提取时间模式：
Figure BDA0002605599980000083
Figure BDA0002605599980000084
Figure BDA0002605599980000085
其中LSTMi,i∈{1,2}，表示ithLSTM层，Attention表示注意机制，
Figure BDA0002605599980000086
和
Figure BDA0002605599980000087
是两个隐藏的向量，而ν是ALSTM模块的最终输出。
对于ResNet模块，每个残差块通过以下方式处理x，以第一个残差块为例：
h1＝ConvBlock1(x)
h2＝ConvBlock2(h1)
h3＝ConvBlock3(h2)
y′＝ReLU(h′)
其中ConvBlocki,i∈{1,2,3}代表第一个残差块中的ith卷积块，h1,h2,h3∈Rk是隐藏向量，h′是短路连接和逐个元素相加之后的隐藏状态。之后，将y′传递到后续残差块。然后，这些残差块的输出被传送到GAP层，以减少参数的数量，其结果是μ。
ResNet模块的输出结果为μ，ALSTM模块的输出结果为ν，将μ和ν串联起来，然后馈入MLP模块，其描述如下：
c＝Concate(μ,ν)
h″＝FC(c)
τ＝Dropout(h″),
其中Concate表示串联操作，c是串联的结果，FC和Dropout分别表示完全连接层和随机失活层，而h″和τ分别表示全连接层和随机失活层的输出。
最后，softmax层通过以下方式输出最终的分类结果：
y＝Softmax(τ),
其中Softmax代表softmax层，而y是网络流量数据的最终分类结果。
为了使用REAL进行入侵检测，需要首先训练REAL模型。为了获得适当的超参数，我们需要预训练模型以调整超参数。然后使用这些超参数对模型进行正式训练。训练后，需要对模型进行微调以获得更好的性能。最后，性能最佳的模型可以用于入侵检测，即输入网络流量的特征向量并输出检测结果。
实施例
1、表现评估
REAL模型使用Keras API在Intel Xeon E5-2618L v3 CPU NVIDIA GeForce RTX2080TI GPU(64GB RAM)工作站上实现的。不仅开展了REAL检测模型的实验，还对比了一些广泛使用的检测模型的性能，例如支持向量机(SVM)，线性回归(LR)，MLP，LSTM和卷积神经网络(CNN)等等。在一组初步实验后确定了我们的REAL模型中使用的超参数，如表1所示。
表1模型训练超参数
Figure BDA0002605599980000091
Figure BDA0002605599980000101
在数值结果分析中，考虑了四个指标来评估IDS的性能，即准确性，精度，召回率和F1值。这里宏平均值用于全面评估IDS的全局性能。每组实验重复十次，宏平均结果在此处显示。
天然气管道系统是能源互联网中最重要的能源系统之一。我们使用真实的天然气管道数据集来评估IDS性能。
2、数据集描述
在此数据集中，分别收集了正常操作下的一类网络流量数据和七类各种网络攻击下的流量数据，见表2。此数据集中的每个样本都包含26个特征(网络流量数据的每个维度都定义为一个特征)和1个标签。在我们的实验中，每个类别的数据集被随机分为三部分，即80％作为训练集，10％作为验证集和10％作为测试集。
表2数据集描述
Figure BDA0002605599980000102
Figure BDA0002605599980000111
3、特征选择实验
在天然气管道数据集中共有26个特性。我们使用所设计的特征选择方法来选择网络攻击检测最重要的特征。我们选取的参数如下：
·特征缺失值比率的阈值Rth为0.60；
·特征相关系数的阈值设置为Hth为0.99。
首先，我们没有发现缺失率大于0.60的特征，在这一步没有删除任何特征。接下来，在气体管道数据集中删除8个具有唯一值的特性。它们是:crc_rate,cycletime,rate,comm_write_fun,deadband,reset,command_length,gain。现在的特征的相关矩阵如图4所示,可以看出，许多特征具有很强的相关性。对于相关性强的特征对，我们只保留其中的一个。因此，我们删除了四个特性，即response_memory,response_memory_count,resp_write_fun,and resp_length.。最后，我们使用LightGBM分类器对剩下的特征根据重要性进行排名。各特征的重要性得分如图6所示。基于这些重要性评分，我们探索了REAL所需的最优特征数量。
图7和表3显示了REAL的性能如何随着特性的数量而变化(前k个特征)。从图7中可以看出，随着特征的数量从1到12，所有的评价指标都在稳步上升，最重要的是，在使用前12个特征时，所有指标都达到了一个峰值，准确率达到99.10％。然而，如果使用了超过12个特性，性能会略有下降，这意味着前12个特性之后的特性不再对IDS性能有任何影响。在后续的探索中，此后的所有实验都使用前12个特征进行。
表3 REAL模型在不同数量的特征下的表现
特征数 准确率 精确率 召回率 F1分数
2 0.8129 0.4795 0.4528 0.4519
4 0.9560 0.6117 0.6032 0.6074
6 0.9726 0.7319 0.7238 0.7277
8 0.9823 0.8511 0.8541 0.8525
10 0.9884 0.9677 0.9768 0.9720
11 0.9888 0.9717 0.9772 0.9742
12 0.9910 0.9715 0.9847 0.9779
13 0.9896 0.9641 0.9842 0.9738
14 0.9905 0.9677 0.9846 0.9759
4、IDS模型性能对比
在这一部分中，我们评估了基于REAL的IDS在各种网络攻击下的性能，并将结果与其他IDS模型(包括SVM，LR，MLP，CNN和LSTM)进行了比较。
图8和表4显示了所有考虑的IDS模型的准确性、精确度、召回率和F1值的结果。可以很容易地看出，对于每个考虑的指标，所提出的基于REAL的IDS比所有其他IDS模型均有更佳的性能。
表4与其他检测模型的性能对比
Figure BDA0002605599980000121
Figure BDA0002605599980000131
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种面向能源互联网的入侵检测系统，其特征在于，包括：
特征选择模块，从原始数据集中移除对入侵检测模型无贡献或低贡献的特征形成约简数据集；
数据预处理模块，对约简数据集进行进一步的数据预处理，处理成深度学习模型能够接收和处理的数据集；
入侵检测模块，利用数据预处理模块所得数据集对深度学习模型进行训练、调优及测试后，使用深度学习模型进行入侵流量检测。
2.根据权利要求1所述的一种面向能源互联网的入侵检测系统，其特征在于，特征选择模块移除的特征包括缺失率较高的特征、具有单一值的特征、相关性较高的特征、重要性评分低的特征。
3.根据权利要求1所述的一种面向能源互联网的入侵检测系统，其特征在于：数据预处理模块对约简数据集进行数据归一化处理，生成特征向量，然后对数据集中每个类别的标签进行独热编码，之后将数据集划分为训练集、验证集和测试集。
4.一种面向能源互联网的入侵检测方法，其特征在于，应用于权利要求1-3任一项所述的一种面向能源互联网的入侵检测系统，包括：
从原始数据集中移除对入侵检测模型无贡献或低贡献的特征形成约简数据集；
对约简数据集进行进一步的数据预处理，处理成深度学习模型能够接收和处理的数据集；
利用数据预处理模块所得数据集对深度学习模型进行训练、调优及测试后，使用深度学习模型进行入侵流量检测。
5.根据权利要求4所述的一种面向能源互联网的入侵检测方法，其特征在于，基于LightGBM的移除特征选择方法包括：删除值缺失率比指定阈值大的特征。
6.根据权利要求4所述的一种面向能源互联网的入侵检测方法，其特征在于，基于LightGBM的移除特征选择方法包括：删除有唯一值的特征。
7.根据权利要求4所述的一种面向能源互联网的入侵检测方法，其特征在于，基于LightGBM的移除特征选择方法包括：使用皮尔森相关系数计算每个两个特征的相关系数，并用相关阈值识别强相关的特征对，并从每个特征对中删除一个特征。
8.根据权利要求4所述的一种面向能源互联网的入侵检测方法，其特征在于，基于LightGBM的移除特征选择方法包括：计算所有特征的重要性得分，并按照其特征递减排序重要性分数，删除重要性得分低的特征。
9.根据权利要求4所述的一种面向能源互联网的入侵检测方法，其特征在于：深度学习模型为REAL模型。
10.根据权利要求9所述的一种面向能源互联网的入侵检测方法，其特征在于：REAL模型包括ResNet模块、ALSTM模块、MLP模块和Softmax层，ResNet模块和ALSTM模块以不同的方式处理特征向量，ResNet模块和ALSTM模块的输出结果串联起来馈入MLP模块，Softmax层输出最终分类结果。
CN202010737804.5A 2020-07-28 2020-07-28 一种面向能源互联网的入侵检测系统及其方法 Active CN111901340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010737804.5A CN111901340B (zh) 2020-07-28 2020-07-28 一种面向能源互联网的入侵检测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010737804.5A CN111901340B (zh) 2020-07-28 2020-07-28 一种面向能源互联网的入侵检测系统及其方法

Publications (2)

Publication Number Publication Date
CN111901340A true CN111901340A (zh) 2020-11-06
CN111901340B CN111901340B (zh) 2021-06-22

Family

ID=73182247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010737804.5A Active CN111901340B (zh) 2020-07-28 2020-07-28 一种面向能源互联网的入侵检测系统及其方法

Country Status (1)

Country Link
CN (1) CN111901340B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095433A (zh) * 2021-04-27 2021-07-09 北京石油化工学院 入侵检测网络结构模型的训练方法
CN113487010A (zh) * 2021-05-21 2021-10-08 国网浙江省电力有限公司杭州供电公司 基于机器学习的电网网络安全事件分析方法
CN113553627A (zh) * 2021-09-23 2021-10-26 四川大学 基于区块链的数据完整性验证方法、系统、设备及介质
CN113901448A (zh) * 2021-09-03 2022-01-07 燕山大学 基于卷积神经网络和轻量级梯度提升机的入侵检测方法
CN113904846A (zh) * 2021-10-09 2022-01-07 北京理工大学 结合高斯混合模型与排序学习的多阶段入侵检测方法
CN114189350A (zh) * 2021-10-20 2022-03-15 北京交通大学 一种基于LightGBM的列车通信网络入侵检测方法
CN114710306A (zh) * 2021-04-15 2022-07-05 郑州大学 基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930723A (zh) * 2016-04-20 2016-09-07 福州大学 一种基于特征选择的入侵检测方法
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN109086892A (zh) * 2018-06-15 2018-12-25 中山大学 一种基于一般依赖树的视觉问题推理模型及系统
CN109981691A (zh) * 2019-04-30 2019-07-05 山东工商学院 一种面向SDN控制器的实时DDoS攻击检测系统与方法
CN110138784A (zh) * 2019-05-15 2019-08-16 重庆大学 一种基于特征选择的网络入侵检测系统
CN110881037A (zh) * 2019-11-19 2020-03-13 北京工业大学 网络入侵检测方法及其模型的训练方法、装置和服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN105930723A (zh) * 2016-04-20 2016-09-07 福州大学 一种基于特征选择的入侵检测方法
CN109086892A (zh) * 2018-06-15 2018-12-25 中山大学 一种基于一般依赖树的视觉问题推理模型及系统
CN109981691A (zh) * 2019-04-30 2019-07-05 山东工商学院 一种面向SDN控制器的实时DDoS攻击检测系统与方法
CN110138784A (zh) * 2019-05-15 2019-08-16 重庆大学 一种基于特征选择的网络入侵检测系统
CN110881037A (zh) * 2019-11-19 2020-03-13 北京工业大学 网络入侵检测方法及其模型的训练方法、装置和服务器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AI研习社: "机器学习小窍门：Python 帮你进行特征选择", 《HTTPS://WWW.SOHU.COM/A/242254845_717210》 *
张阳玉等: "SDN网络入侵检测系统的深度学习方法综述", 《计算机应用》 *
连鸿飞等: "一种数据增强与混合神经网络的异常流量检测", 《小型微型计算机系统》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710306A (zh) * 2021-04-15 2022-07-05 郑州大学 基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型
CN113095433A (zh) * 2021-04-27 2021-07-09 北京石油化工学院 入侵检测网络结构模型的训练方法
CN113095433B (zh) * 2021-04-27 2023-06-23 北京石油化工学院 入侵检测网络结构模型的训练方法
CN113487010A (zh) * 2021-05-21 2021-10-08 国网浙江省电力有限公司杭州供电公司 基于机器学习的电网网络安全事件分析方法
CN113487010B (zh) * 2021-05-21 2024-01-05 国网浙江省电力有限公司杭州供电公司 基于机器学习的电网网络安全事件分析方法
CN113901448A (zh) * 2021-09-03 2022-01-07 燕山大学 基于卷积神经网络和轻量级梯度提升机的入侵检测方法
CN113553627A (zh) * 2021-09-23 2021-10-26 四川大学 基于区块链的数据完整性验证方法、系统、设备及介质
CN113904846A (zh) * 2021-10-09 2022-01-07 北京理工大学 结合高斯混合模型与排序学习的多阶段入侵检测方法
CN113904846B (zh) * 2021-10-09 2022-06-17 北京理工大学 结合高斯混合模型与排序学习的多阶段入侵检测方法
CN114189350A (zh) * 2021-10-20 2022-03-15 北京交通大学 一种基于LightGBM的列车通信网络入侵检测方法
CN114189350B (zh) * 2021-10-20 2023-03-07 北京交通大学 一种基于LightGBM的列车通信网络入侵检测方法

Also Published As

Publication number Publication date
CN111901340B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN111901340B (zh) 一种面向能源互联网的入侵检测系统及其方法
CN113283476B (zh) 一种物联网网络入侵检测方法
CN111598179B (zh) 电力监控系统用户异常行为分析方法、存储介质和设备
CN112910859B (zh) 基于c5.0决策树和时序分析的物联网设备监测预警方法
Chang et al. Anomaly detection for industrial control systems using k-means and convolutional autoencoder
CN112738014A (zh) 一种基于卷积时序网络的工控流量异常检测方法及系统
CN113067798B (zh) Ics入侵检测方法、装置、电子设备和存储介质
Elsayed et al. Detecting abnormal traffic in large-scale networks
Muslihi et al. Detecting SQL injection on web application using deep learning techniques: a systematic literature review
Ouyang et al. FS-IDS: a novel few-shot learning based intrusion detection system for scada networks
Shao et al. Deep learning hierarchical representation from heterogeneous flow-level communication data
CN110650124A (zh) 一种基于多层回声状态网络的网络流量异常检测方法
Chen et al. An efficient network intrusion detection model based on temporal convolutional networks
Luktarhan et al. Multi-stage attack detection algorithm based on hidden markov model
Ayas et al. A modified densenet approach with nearmiss for anomaly detection in industrial control systems
Anwer et al. Intrusion detection using deep learning
CN116707918A (zh) 基于CBAM- EfficientNet异常检测的网络安全态势评估方法
Acharya et al. Efficacy of CNN-bidirectional LSTM hybrid model for network-based anomaly detection
Long et al. Deep encrypted traffic detection: An anomaly detection framework for encryption traffic based on parallel automatic feature extraction
Li et al. A Method for Network Intrusion Detection Based on GAN-CNN-BiLSTM
Ananthi et al. Ensemble based Intrusion Detection System for IoT Device
Khatun et al. An Approach to Detect Phishing Websites with Features Selection Method and Ensemble Learning
Liu Multivariate Network Intrusion Detection Methods Based on Machine Learning
Batham et al. A CNN Deep Learning Technique for Botnet Attack Detection for IoT Application
CN113904801B (zh) 一种网络入侵检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant