CN111740998A - 一种基于堆叠自编码器的网络入侵检测方法 - Google Patents
一种基于堆叠自编码器的网络入侵检测方法 Download PDFInfo
- Publication number
- CN111740998A CN111740998A CN202010574248.4A CN202010574248A CN111740998A CN 111740998 A CN111740998 A CN 111740998A CN 202010574248 A CN202010574248 A CN 202010574248A CN 111740998 A CN111740998 A CN 111740998A
- Authority
- CN
- China
- Prior art keywords
- data
- intrusion detection
- anomaly
- rmse
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 8
- 238000013016 damping Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000010354 integration Effects 0.000 claims abstract description 6
- 230000006399 behavior Effects 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000012512 characterization method Methods 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims abstract 2
- 238000000034 method Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 abstract description 4
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于堆叠自编码器的网络入侵检测方法，其特征在于包括以下步骤：1、将原始数据进行特征化处理，将不同维度的数据转化为相同维度的数据；2、使用阻尼窗口模型对数据流量进行特征提取；3、将特征映射到实例中去；4、异常检测，异常检测器集成层检测在训练模式下各实例子空间的异常，并学习正常行为，且在训练模式或者执行模式下，向输出层报告RMSE错误；5、异常输出，异常检测器输出层学习异常检测器集成层的正常RMSE，并生成最终的异常分数；6、根据原始的RMSE分数来评估异常检测器的检测能力，从而进行网络入侵检测。本发明解决了在入侵检测在实时检测时的不足，同时提高了检测的准确性。
Description
技术领域
本发明属于信息安全领域，具体是涉及一种基于堆叠自编码器的网络入侵检测方法。
背景技术
现如今，计算机网络受到的攻击越来越多，一种常见的计算机网络安全系统是网络入侵检测系统(NIDS)。NIDS通过监视每个网络信道是否存在异常行为，当检测到异常行为时，及时发出警报或者采取主动防御措施。很多的机器学习技术被应用在NIDS以提高检测性能。最流行的方法是使用人工神经网络(ANN)进行网络数据检测，使用人工神经网络的优点是能够学习复杂非线性的数据，与其他的机器算法相比，在检测的性能有着很大的优势。使用人工神经网络作为网络入侵检测系统(NIDS)的方法是训练它将网络数据分类为正常数据或者异常数据。而使用人工神经网络作为异常检测系统不能对原始数据进行实时处理，并且监督学习的训练方式导致了系统具有高复杂性。
发明内容
本发明针对现有技术的不足，提供一种基于堆叠自编码器的网络入侵检测方法。该方法使用阻尼流量窗口对实时数据进行特征提取，同时抛弃旧的实例，再将特征映射到实例中去，通过自动编码器的检测模型的训练与执行，解决了在入侵检测在实时检测时的不足，同时提高了检测的准确性。
为达到上述的目的，一种基于堆叠自编码器的网络入侵检测方法，主要包括以下步骤：
第一步、数据预处理，将原始数据进行特征化处理，将不同维度的数据转化为相同维度的数据；
第二步、特征提取阶段，使用阻尼窗口模型对数据流量进行高速特征提取；
第三步、特征映射环节，将特征映射到实例中去；
第四步、异常检测，异常检测器集成层检测在训练模式下各实例子空间的异常，并学习正常行为，且在训练模式或者执行模式下，向输出层报告RMSE错误；
第五步、异常输出，异常检测器输出层学习异常检测器集成层的正常(即训练模式)RMSE，并生成最终的异常分数；
第六步、根据原始的RMSE分数来评估异常检测器的检测能力，从而进行网络入侵检测。
优选地，所述入侵检测模型为基于自动编码器集合的模型。
优选地，所述入侵检测模型的参数的训练方法的算法使用的是反向传播算法。
优选地，所述第六步使用训练好的入侵检测模型评估异常检测器的方法是设定异常分数截止阈值φ来评估。
本发明用阻尼流量窗口对实时数据进行特征提取，同时抛弃旧的实例，再将特征映射到实例中去，通过自动编码器的检测模型的训练与执行，提高检测的准确性。
附图说明
图1为本发明基于自动编码器集合的入侵检测方法的流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
阻尼流量窗口模型的任务是通过对动态数量的数据流(网络信道)进行时间统计的高速流量特征提取。
阻尼增量统计：设S＝{x1,x2,....................}为无界数据流，IS＝(N，LS，SS)，(其中N，LS和SS是实例的个数、线性和平方和)；
将xi插入元组的更新过程为：IS←(N+1,LS+xi,SS+xi 2)；
在阻尼窗口模型中，旧值的权重随时间呈指数递减。d为衰减函数，定义 dλ(t)＝2-λt，其中λ>0是衰变因子，t是从Si流中最后一次观察到的时间。
阻尼增量统计的元组定义为ISiλ。ISiλ＝(w,LS,SS,SRij,Tlast),w是当前权重，Tlast是ISiλ是上一次更新的时间戳。SRij是流i和j之间的剩余积之和(用于计算2D统计量),在时间tcur更新具有Xcur的ISλ。
本发明采用的入侵检测入侵检测模型的训练与执行的方法为前后向传播算法。具体描述如下所述。
当入侵检测模型接收到来着特征映射器的第一组映射实例V时，检测模型使用实例V作为模型初始化模型的结构。具体来说，θ表示整个自动编码器，设 L(1)和L(2)分别表示集合层和输出层。L(1)定义为有序集L(1)＝{θ1,θ2,.....θ k}。L(2)被定义为具有K个输入和输出神经元的单个自编码器θ0，以及[K*β]内神经元.，L(2)的输入是来自L(1)中每个自动编码器归一化RMSE误差信号。
在训练模式下，自动编码器的反向传播算法为：
Algorithm 2:The back-propagation training algorithm
在执行模式下，自动编码器的前向传播算法为:
本发明使用入侵检测准确率作为检测异常的指标，其中准确率的计算公式如下所述：
A为准确率，TP和TN分别表示正确分类的攻击样本和正确分类的正常样本，FP 和FN表示错误分类的攻击样本和错误分类的正常样本。一般来说，准确率越高，入侵模型的误报率就会越低。
参照说明书附图1，该实施例一种基于堆叠自编码器的网络入侵检测方法，主要包括以下步骤：
第一步、数据预处理，将原始数据进行特征化处理，将不同维度的数据转化为相同维度的数据；
第二步、特征提取阶段，使用阻尼窗口模型对数据流量进行高速特征提取；
第三步、特征映射环节，将特征映射到实例中去；
第四步、异常检测，异常检测器集成层检测在训练模式下各实例子空间的异常，并学习正常行为，且在训练模式或者执行模式下，向输出层报告RMSE错误；
第五步、异常输出，异常检测器输出层学习异常检测器集成层的正常(即训练模式)RMSE，并生成最终的异常分数；
第六步、根据原始的RMSE分数来评估异常检测器的检测能力，从而进行网络入侵检测。
所述入侵检测模型为基于自动编码器集合的模型。所述入侵检测模型的参数的训练方法的算法使用的是反向传播算法。所述第六步使用训练好的入侵检测模型评估异常检测器的方法是设定异常分数截止阈值φ来评估。
本发明用阻尼流量窗口对实时数据进行特征提取，同时抛弃旧的实例，再将特征映射到实例中去，通过自动编码器的检测模型的训练与执行，提高检测的准确性。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (4)
1.一种基于堆叠自编码器的网络入侵检测方法，其特征在于，主要包括以下步骤：
第一步、数据预处理，将原始数据进行特征化处理，将不同维度的数据转化为相同维度的数据；
第二步、特征提取阶段，使用阻尼窗口模型对数据流量进行特征提取；
第三步、特征映射环节，将特征映射到实例中去；
第四步、异常检测，异常检测器集成层检测在训练模式下各实例子空间的异常，并学习正常行为，且在训练模式或者执行模式下，向输出层报告RMSE错误；
第五步、异常输出，异常检测器输出层学习异常检测器集成层的正常RMSE，并生成最终的异常分数；
第六步、根据原始的RMSE分数来评估异常检测器的检测能力，从而进行网络入侵检测。
2.根据权利要求1所述的一种基于堆叠自编码器的网络入侵检测方法，其特征在于，所述异常检测器中的入侵检测模型为基于自动编码器集合的模型。
3.根据权利要求1所述的一种基于堆叠自编码器的网络入侵检测方法，其特征在于，所述异常检测器中的入侵检测模型的参数的训练方法的算法使用的是反向传播算法。
4.根据权利要求1所述的一种基于堆叠自编码器的网络入侵检测方法，其特征在于，所述第六步使用训练好的入侵检测模型评估异常检测器的方法是设定异常分数截止阈值来评估。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020101531380 | 2020-03-06 | ||
| CN202010153138 | 2020-03-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111740998A true CN111740998A (zh) | 2020-10-02 |
Family
ID=72650407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010574248.4A Pending CN111740998A (zh) | 2020-03-06 | 2020-06-22 | 一种基于堆叠自编码器的网络入侵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111740998A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259332A (zh) * | 2021-04-29 | 2021-08-13 | 上海电力大学 | 一种基于端到端的多类型网络流量异常检测方法及系统 |
| CN113395276A (zh) * | 2021-06-10 | 2021-09-14 | 广东为辰信息科技有限公司 | 基于自编码器能量检测的网络入侵检测方法 |
| CN114491511A (zh) * | 2021-12-30 | 2022-05-13 | 沈阳化工大学 | 一种基于变分自编码器和深度回声状态网络入侵检测方法 |
| CN115034304A (zh) * | 2022-06-09 | 2022-09-09 | 广东技术师范大学 | 一种基于Graphomer的工业控制系统异常检测方法 |
| CN115130600A (zh) * | 2022-07-07 | 2022-09-30 | 福建师范大学 | 基于堆叠习惯化自编码器的高维动态数据流异常检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109639739A (zh) * | 2019-01-30 | 2019-04-16 | 大连理工大学 | 一种基于自动编码器网络的异常流量检测方法 |
| DE102017223751A1 (de) * | 2017-12-22 | 2019-06-27 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erkennung von Anomalien in einem Datenstrom eines Kommunikationsnetzwerks |
| CN110113353A (zh) * | 2019-05-20 | 2019-08-09 | 桂林电子科技大学 | 一种基于cvae-gan的入侵检测方法 |
-
2020
- 2020-06-22 CN CN202010574248.4A patent/CN111740998A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017223751A1 (de) * | 2017-12-22 | 2019-06-27 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erkennung von Anomalien in einem Datenstrom eines Kommunikationsnetzwerks |
| CN109639739A (zh) * | 2019-01-30 | 2019-04-16 | 大连理工大学 | 一种基于自动编码器网络的异常流量检测方法 |
| CN110113353A (zh) * | 2019-05-20 | 2019-08-09 | 桂林电子科技大学 | 一种基于cvae-gan的入侵检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 任伟: "基于稀疏自编码深度神经网络的入侵检测方法", 《移动通信》 * |
| 刘楚鸿等: "基于自动编码器集合的入侵检测系统的研究与实现", 《中国新通信》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259332A (zh) * | 2021-04-29 | 2021-08-13 | 上海电力大学 | 一种基于端到端的多类型网络流量异常检测方法及系统 |
| CN113395276A (zh) * | 2021-06-10 | 2021-09-14 | 广东为辰信息科技有限公司 | 基于自编码器能量检测的网络入侵检测方法 |
| CN113395276B (zh) * | 2021-06-10 | 2022-07-26 | 广东为辰信息科技有限公司 | 基于自编码器能量检测的网络入侵检测方法 |
| CN114491511A (zh) * | 2021-12-30 | 2022-05-13 | 沈阳化工大学 | 一种基于变分自编码器和深度回声状态网络入侵检测方法 |
| CN114491511B (zh) * | 2021-12-30 | 2024-12-27 | 沈阳化工大学 | 一种基于变分自编码器和深度回声状态网络入侵检测方法 |
| CN115034304A (zh) * | 2022-06-09 | 2022-09-09 | 广东技术师范大学 | 一种基于Graphomer的工业控制系统异常检测方法 |
| CN115034304B (zh) * | 2022-06-09 | 2024-12-03 | 广东技术师范大学 | 一种基于Graphomer的工业控制系统异常检测方法 |
| CN115130600A (zh) * | 2022-07-07 | 2022-09-30 | 福建师范大学 | 基于堆叠习惯化自编码器的高维动态数据流异常检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111740998A (zh) | 一种基于堆叠自编码器的网络入侵检测方法 | |
| CN110808945B (zh) | 一种基于元学习的小样本场景下网络入侵检测方法 | |
| CN112398779A (zh) | 一种网络流量数据分析方法及系统 | |
| CN113242259B (zh) | 网络异常流量检测方法及装置 | |
| CN117421684A (zh) | 基于数据挖掘和神经网络的异常数据监测与分析方法 | |
| CN109729090B (zh) | 一种基于wedms聚类的慢速拒绝服务攻击检测方法 | |
| CN111314331A (zh) | 一种基于条件变分自编码器的未知网络攻击检测方法 | |
| CN107911346B (zh) | 一种基于极限学习机的入侵检测方法 | |
| CN112235288B (zh) | 一种基于gan的ndn网络入侵检测方法 | |
| CN113556319B (zh) | 物联网下基于长短期记忆自编码分类器的入侵检测方法 | |
| CN112738014B (zh) | 一种基于卷积时序网络的工控流量异常检测方法及系统 | |
| CN109639734B (zh) | 一种具有计算资源自适应性的异常流量检测方法 | |
| CN102420723A (zh) | 一种面向多类入侵的异常检测方法 | |
| CN111191720B (zh) | 一种业务场景的识别方法、装置及电子设备 | |
| CN112039903A (zh) | 基于深度自编码神经网络模型的网络安全态势评估方法 | |
| CN108596027A (zh) | 基于监督学习分类模型的未知类别信号的检测方法 | |
| CN110011990B (zh) | 内网安全威胁智能分析方法 | |
| CN112804253A (zh) | 一种网络流量分类检测方法、系统及存储介质 | |
| CN106060039A (zh) | 一种面向网络异常数据流的分类检测方法 | |
| CN115842667A (zh) | 一种基于混合策略的物联网DDoS检测系统 | |
| CN105516206A (zh) | 基于偏最小二乘的网络入侵检测方法及系统 | |
| Tan et al. | Recognizing the content types of network traffic based on a hybrid DNN-HMM model | |
| CN112884069A (zh) | 一种对抗网络样本检测的方法 | |
| Aung et al. | Anomaly detection in sdn’s control plane using combining entropy with svm | |
| CN110995713A (zh) | 一种基于卷积神经网络的僵尸网络检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |
|
| RJ01 | Rejection of invention patent application after publication |