CN111740998A - 一种基于堆叠自编码器的网络入侵检测方法 - Google Patents

一种基于堆叠自编码器的网络入侵检测方法 Download PDF

Info

Publication number
CN111740998A
CN111740998A CN202010574248.4A CN202010574248A CN111740998A CN 111740998 A CN111740998 A CN 111740998A CN 202010574248 A CN202010574248 A CN 202010574248A CN 111740998 A CN111740998 A CN 111740998A
Authority
CN
China
Prior art keywords
data
intrusion detection
anomaly
rmse
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010574248.4A
Other languages
English (en)
Inventor
刘楚鸿
徐小平
汪培萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Publication of CN111740998A publication Critical patent/CN111740998A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于堆叠自编码器的网络入侵检测方法，其特征在于包括以下步骤：1、将原始数据进行特征化处理，将不同维度的数据转化为相同维度的数据；2、使用阻尼窗口模型对数据流量进行特征提取；3、将特征映射到实例中去；4、异常检测，异常检测器集成层检测在训练模式下各实例子空间的异常，并学习正常行为，且在训练模式或者执行模式下，向输出层报告RMSE错误；5、异常输出，异常检测器输出层学习异常检测器集成层的正常RMSE，并生成最终的异常分数；6、根据原始的RMSE分数来评估异常检测器的检测能力，从而进行网络入侵检测。本发明解决了在入侵检测在实时检测时的不足，同时提高了检测的准确性。

Description

一种基于堆叠自编码器的网络入侵检测方法
技术领域
本发明属于信息安全领域，具体是涉及一种基于堆叠自编码器的网络入侵检测方法。
背景技术
现如今，计算机网络受到的攻击越来越多，一种常见的计算机网络安全系统是网络入侵检测系统(NIDS)。NIDS通过监视每个网络信道是否存在异常行为，当检测到异常行为时，及时发出警报或者采取主动防御措施。很多的机器学习技术被应用在NIDS以提高检测性能。最流行的方法是使用人工神经网络(ANN)进行网络数据检测，使用人工神经网络的优点是能够学习复杂非线性的数据，与其他的机器算法相比，在检测的性能有着很大的优势。使用人工神经网络作为网络入侵检测系统(NIDS)的方法是训练它将网络数据分类为正常数据或者异常数据。而使用人工神经网络作为异常检测系统不能对原始数据进行实时处理，并且监督学习的训练方式导致了系统具有高复杂性。
发明内容
本发明针对现有技术的不足，提供一种基于堆叠自编码器的网络入侵检测方法。该方法使用阻尼流量窗口对实时数据进行特征提取，同时抛弃旧的实例，再将特征映射到实例中去，通过自动编码器的检测模型的训练与执行，解决了在入侵检测在实时检测时的不足，同时提高了检测的准确性。
为达到上述的目的，一种基于堆叠自编码器的网络入侵检测方法，主要包括以下步骤：
第一步、数据预处理，将原始数据进行特征化处理，将不同维度的数据转化为相同维度的数据；
第二步、特征提取阶段，使用阻尼窗口模型对数据流量进行高速特征提取；
第三步、特征映射环节，将特征映射到实例中去；
第四步、异常检测，异常检测器集成层检测在训练模式下各实例子空间的异常，并学习正常行为，且在训练模式或者执行模式下，向输出层报告RMSE错误；
第五步、异常输出，异常检测器输出层学习异常检测器集成层的正常(即训练模式)RMSE，并生成最终的异常分数；
第六步、根据原始的RMSE分数来评估异常检测器的检测能力，从而进行网络入侵检测。
优选地，所述入侵检测模型为基于自动编码器集合的模型。
优选地，所述入侵检测模型的参数的训练方法的算法使用的是反向传播算法。
优选地，所述第六步使用训练好的入侵检测模型评估异常检测器的方法是设定异常分数截止阈值φ来评估。
本发明用阻尼流量窗口对实时数据进行特征提取，同时抛弃旧的实例，再将特征映射到实例中去，通过自动编码器的检测模型的训练与执行，提高检测的准确性。
附图说明
图1为本发明基于自动编码器集合的入侵检测方法的流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
阻尼流量窗口模型的任务是通过对动态数量的数据流(网络信道)进行时间统计的高速流量特征提取。
阻尼增量统计：设S＝{x1,x2,....................}为无界数据流，IS＝(N，LS，SS)，(其中N，LS和SS是实例的个数、线性和平方和)；
将xi插入元组的更新过程为：IS←(N+1,LS+xi,SS+xi 2)；
在阻尼窗口模型中，旧值的权重随时间呈指数递减。d为衰减函数，定义 dλ(t)＝2-λt，其中λ>0是衰变因子，t是从Si流中最后一次观察到的时间。
阻尼增量统计的元组定义为ISiλ。ISiλ＝(w,LS,SS,SRij,Tlast),w是当前权重，Tlast是ISiλ是上一次更新的时间戳。SRij是流i和j之间的剩余积之和(用于计算2D统计量),在时间tcur更新具有Xcur的ISλ。
本发明采用的入侵检测入侵检测模型的训练与执行的方法为前后向传播算法。具体描述如下所述。
当入侵检测模型接收到来着特征映射器的第一组映射实例V时，检测模型使用实例V作为模型初始化模型的结构。具体来说，θ表示整个自动编码器，设 L(1)和L(2)分别表示集合层和输出层。L(1)定义为有序集L(1)＝{θ1,θ2,.....θ k}。L(2)被定义为具有K个输入和输出神经元的单个自编码器θ0，以及[K*β]内神经元.，L(2)的输入是来自L(1)中每个自动编码器归一化RMSE误差信号。
在训练模式下，自动编码器的反向传播算法为：
Algorithm 2:The back-propagation training algorithm
Figure BDA0002550766700000041
在执行模式下，自动编码器的前向传播算法为:
Figure BDA0002550766700000042
Figure BDA0002550766700000051
本发明使用入侵检测准确率作为检测异常的指标，其中准确率的计算公式如下所述：
Figure BDA0002550766700000052
A为准确率，TP和TN分别表示正确分类的攻击样本和正确分类的正常样本，FP 和FN表示错误分类的攻击样本和错误分类的正常样本。一般来说，准确率越高，入侵模型的误报率就会越低。
参照说明书附图1，该实施例一种基于堆叠自编码器的网络入侵检测方法，主要包括以下步骤：
第一步、数据预处理，将原始数据进行特征化处理，将不同维度的数据转化为相同维度的数据；
第二步、特征提取阶段，使用阻尼窗口模型对数据流量进行高速特征提取；
第三步、特征映射环节，将特征映射到实例中去；
第四步、异常检测，异常检测器集成层检测在训练模式下各实例子空间的异常，并学习正常行为，且在训练模式或者执行模式下，向输出层报告RMSE错误；
第五步、异常输出，异常检测器输出层学习异常检测器集成层的正常(即训练模式)RMSE，并生成最终的异常分数；
第六步、根据原始的RMSE分数来评估异常检测器的检测能力，从而进行网络入侵检测。
所述入侵检测模型为基于自动编码器集合的模型。所述入侵检测模型的参数的训练方法的算法使用的是反向传播算法。所述第六步使用训练好的入侵检测模型评估异常检测器的方法是设定异常分数截止阈值φ来评估。
本发明用阻尼流量窗口对实时数据进行特征提取，同时抛弃旧的实例，再将特征映射到实例中去，通过自动编码器的检测模型的训练与执行，提高检测的准确性。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (4)

1.一种基于堆叠自编码器的网络入侵检测方法，其特征在于，主要包括以下步骤：
第一步、数据预处理，将原始数据进行特征化处理，将不同维度的数据转化为相同维度的数据；
第二步、特征提取阶段，使用阻尼窗口模型对数据流量进行特征提取；
第三步、特征映射环节，将特征映射到实例中去；
第四步、异常检测，异常检测器集成层检测在训练模式下各实例子空间的异常，并学习正常行为，且在训练模式或者执行模式下，向输出层报告RMSE错误；
第五步、异常输出，异常检测器输出层学习异常检测器集成层的正常RMSE，并生成最终的异常分数；
第六步、根据原始的RMSE分数来评估异常检测器的检测能力，从而进行网络入侵检测。
2.根据权利要求1所述的一种基于堆叠自编码器的网络入侵检测方法，其特征在于，所述异常检测器中的入侵检测模型为基于自动编码器集合的模型。
3.根据权利要求1所述的一种基于堆叠自编码器的网络入侵检测方法，其特征在于，所述异常检测器中的入侵检测模型的参数的训练方法的算法使用的是反向传播算法。
4.根据权利要求1所述的一种基于堆叠自编码器的网络入侵检测方法，其特征在于，所述第六步使用训练好的入侵检测模型评估异常检测器的方法是设定异常分数截止阈值来评估。
CN202010574248.4A 2020-03-06 2020-06-22 一种基于堆叠自编码器的网络入侵检测方法 Pending CN111740998A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020101531380 2020-03-06
CN202010153138 2020-03-06

Publications (1)

Publication Number Publication Date
CN111740998A true CN111740998A (zh) 2020-10-02

Family

ID=72650407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010574248.4A Pending CN111740998A (zh) 2020-03-06 2020-06-22 一种基于堆叠自编码器的网络入侵检测方法

Country Status (1)

Country Link
CN (1) CN111740998A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259332A (zh) * 2021-04-29 2021-08-13 上海电力大学 一种基于端到端的多类型网络流量异常检测方法及系统
CN113395276A (zh) * 2021-06-10 2021-09-14 广东为辰信息科技有限公司 基于自编码器能量检测的网络入侵检测方法
CN115034304A (zh) * 2022-06-09 2022-09-09 广东技术师范大学 一种基于Graphomer的工业控制系统异常检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109639739A (zh) * 2019-01-30 2019-04-16 大连理工大学 一种基于自动编码器网络的异常流量检测方法
DE102017223751A1 (de) * 2017-12-22 2019-06-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Anomalien in einem Datenstrom eines Kommunikationsnetzwerks
CN110113353A (zh) * 2019-05-20 2019-08-09 桂林电子科技大学 一种基于cvae-gan的入侵检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017223751A1 (de) * 2017-12-22 2019-06-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Anomalien in einem Datenstrom eines Kommunikationsnetzwerks
CN109639739A (zh) * 2019-01-30 2019-04-16 大连理工大学 一种基于自动编码器网络的异常流量检测方法
CN110113353A (zh) * 2019-05-20 2019-08-09 桂林电子科技大学 一种基于cvae-gan的入侵检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任伟: "基于稀疏自编码深度神经网络的入侵检测方法", 《移动通信》 *
刘楚鸿等: "基于自动编码器集合的入侵检测系统的研究与实现", 《中国新通信》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259332A (zh) * 2021-04-29 2021-08-13 上海电力大学 一种基于端到端的多类型网络流量异常检测方法及系统
CN113395276A (zh) * 2021-06-10 2021-09-14 广东为辰信息科技有限公司 基于自编码器能量检测的网络入侵检测方法
CN113395276B (zh) * 2021-06-10 2022-07-26 广东为辰信息科技有限公司 基于自编码器能量检测的网络入侵检测方法
CN115034304A (zh) * 2022-06-09 2022-09-09 广东技术师范大学 一种基于Graphomer的工业控制系统异常检测方法

Similar Documents

Publication Publication Date Title
CN111740998A (zh) 一种基于堆叠自编码器的网络入侵检测方法
CN112987675B (zh) 一种异常检测的方法、装置、计算机设备和介质
CN112398779A (zh) 一种网络流量数据分析方法及系统
CN107370732B (zh) 基于神经网络和最优推荐的工控系统异常行为发现系统
CN117421684B (zh) 基于数据挖掘和神经网络的异常数据监测与分析方法
CN112087442B (zh) 基于注意力机制的时序相关网络入侵检测方法
CN111598179B (zh) 电力监控系统用户异常行为分析方法、存储介质和设备
CN109639734B (zh) 一种具有计算资源自适应性的异常流量检测方法
CN113904881B (zh) 一种入侵检测规则误报处理方法和装置
CN112738014A (zh) 一种基于卷积时序网络的工控流量异常检测方法及系统
CN113242259A (zh) 网络异常流量检测方法及装置
CN113992350A (zh) 基于深度学习的智能电网虚假数据注入攻击的检测系统
CN106411829A (zh) 基于小波能量谱和组合神经网络的LDoS攻击检测方法
CN116668083A (zh) 一种网络流量异常检测方法及系统
CN118041661A (zh) 基于深度学习的异常网络流量监测方法、装置、设备及可读存储介质
CN111600878A (zh) 一种基于maf-adm的低速率拒绝服务攻击检测方法
US20070300302A1 (en) Suppresssion Of False Alarms Among Alarms Produced In A Monitored Information System
CN105516206A (zh) 基于偏最小二乘的网络入侵检测方法及系统
CN117749409A (zh) 一种大规模网络安全事件分析系统
Hendry et al. Intrusion signature creation via clustering anomalies
CN118353667A (zh) 一种基于深度学习的网络安全预警方法及系统
RU180789U1 (ru) Устройство аудита информационной безопасности в автоматизированных системах
CN112437440A (zh) 无线传感器网络中基于相关性理论的恶意共谋攻击抵抗方法
CN116545679A (zh) 一种工业情境安全基础框架及网络攻击行为特征分析方法
Sekhar Deep learning algorithms for intrusion detection systems: extensive comparison analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002