CN114124420A - 一种基于深度神经网络的网络流量异常检测方法 - Google Patents
一种基于深度神经网络的网络流量异常检测方法 Download PDFInfo
- Publication number
- CN114124420A CN114124420A CN202010891980.4A CN202010891980A CN114124420A CN 114124420 A CN114124420 A CN 114124420A CN 202010891980 A CN202010891980 A CN 202010891980A CN 114124420 A CN114124420 A CN 114124420A
- Authority
- CN
- China
- Prior art keywords
- network
- deep neural
- neural network
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims 4
- 238000010219 correlation analysis Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了基于深度神经网络的网络流量异常检测模型及方法，包括：获取数据集进行特征提取，得到良性的常见网络攻击数据和系统状态数据，以8:2的比例划分为训练集和测试集；通过搭建的深度神经网络模型，训练并测试，使其能够输出测试的识别结果，最终评估整个网络的安全态势。该方法从网络流量中挖掘出多个维度特征指标，有效验证了深度神经网络在网络流量异常检测中具有较好的表现，分类结果比传统机器学习方法更精准可靠。本发明在网络安全监测领域有着重要的实际应用价值。
Description
技术领域
本发明属于网络监测领域，涉及一种基于深度神经网络的网络流量异常检测方法。
背景技术
近年来信息技术的发展日新月异，网络的普及和迅猛发展，物联网、人工智能、大数据的引入，使得网络空间所面临的攻击和威胁日渐增多，网络安全的重要性不断提高。网络安全态势感知作为对网络的安全性进行定量分析的一种手段，实现对网络中各种活动的行为辨识、活动意图理解以及影响评估，为网络管理人员掌握网络安全状况，并对网络安全态势进行判断提供了可靠的依据。其中，态势预测是网络安全态势感知的重要组成部分，用于分析网络流量的变化趋势，为制定安全决策提供支持，成为了国内外学者研究与应用的新热点。
国内外许多研究人员将机器学习应用于入侵检测，通过机器学习来解决检测精度与高误报率等问题。同时，一部分研究人员尝试将深度学习应用于网络流量预测中。许多研究表明，深度学习在网络流量异常识别和预测方面的表现已经能够优于传统机器学习方法。但是，基于异常的检测方法存在检测精度不高等问题，在实际的应用当中表现不佳，而且功能设计是性能评价的重要指标。因此，能否准确地表征网络流量将是一个值得研究的问题。
发明内容
本发明提供一种基于深度神经网络的网络流量异常检测方法，实现了将深度学习应用到网络流量异常检测领域，具有较高的异常检测和识别性能。
为实现上述目的，本发明提供的技术方案如下：
步骤1：获取网络流量数据，对训练集样本进行数据预处理操作，将其以8:2的比例划分为训练集和测试集将其作为训练模型的输入；
步骤2：构建深度神经网络模型，设置网络的结构、参数、激活函数优化函数等；
步骤3：将训练样本输入到设计好的深度神经网络模型中进行训练，得到网络流量异常检测模型；
步骤4：将测试样本输入到训练好的模型中进行测试，得到分类结果，进而得到最终的网络的安全态势。
所述步骤1的操作过程如下：
步骤101：搜集到相关数据集——CICIDS2017，该数据集包含良性和最新的常见攻击，如：暴力FTP，暴力SSH，DoS，Heartbleed，Web攻击，渗透，僵尸网络和DDoS等，类似于真实的真实数据；
步骤102：使用开源的CICFlowMeter软件进行攻击活动流量特征提取，并生成CSV文件；
所述步骤2的操作过程如下：
步骤201：在python3环境下的TensorFlow、Keras开源深度学习框架中，搭建深度神经网络模型；
步骤202：使用隐层激活函数为Relu函数，损失函数为均方误差，公式如下
步骤203：优化函数为Adam；
步骤204：使用上述特征网络进行50轮迭代，学习率设为0.001，进而生成网络模型；
所述步骤3的操作过程如下：
步骤301：将预处理后的数据集输入设计好的网络模型中进行训练，采用梯度下降法不断迭代；
步骤302：选择Relu函数构建分类器，计算输出为预测不同类别的概率；
所述步骤4的操作过程如下：
步骤401：训练完成后，用测试集测试，得出准确率和损失，进而得出网络的安全态势。
本发明提供的一种基于深度神经网络的网络流量异常检测方法，与现有技术相比较，有益效果和优点有以下几点：
1.本发明实现了将深度学习应用到网络流量检测中，相较于传统机器学习方法，具有更强的准确率和更低的损失，能够更好的识别网络活动中存在的攻击活动；
2.针对网络活动存在的良性和常见的攻击活动，本发明能够较为准确地识别出包括：BForce,SFTP and SSH、DoS、Web Attacks、Infiltraion、Bontent、DDoS网络攻击活动，为网络管理人员在复杂的网络环境中进行网络安全态势预测提供了新的方法和手段。
附图说明
图1为本发明的方法流程图。
图2为本发明的深度神经网络结构图。
具体实施方式
以下将结合具体实施方式与附图，对本发明提出的技术方进行详细的描述。应理解，此处具体的实施方式仅用于说明解释本发明，而并不限制本发明。
本发明提供了一种基于深度神经网络的网络流量异常检测方法，总体框图如图1所示，包括以下步骤。
步骤1：获取网络流量数据，对训练集样本进行数据预处理操作，将其以8:2的比例划分为训练集和测试集将其作为训练模型的输入。
步骤101：搜集到相关数据集——CICIDS2017，该数据集包含良性和最新的常见攻击，如：暴力FTP，暴力SSH，DoS，Heartbleed，Web攻击，渗透，僵尸网络和DDoS等，类似于真实的真实数据。
步骤102：使用开源的CICFlowMeter软件进行攻击活动流量特征提取，并生成CSV文件。
步骤2：构建深度神经网络模型，设置网络的结构、参数、激活函数优化函数等。
步骤201：在python3环境下的TensorFlow、Keras开源深度学习框架中，搭建深度神经网络模型。
深度神经网络由4层全连接的神经网络组成，其中隐层Dense为256，最后一层为15。
步骤202：使用隐层激活函数为Relu函数，损失函数为均方误差，公式如下
步骤203：优化函数为Adam。
步骤204：使用上述特征网络进行50轮迭代，学习率设为0.001，进而生成网络模型。
步骤3：将训练样本输入到设计好的深度神经网络模型中进行训练，得到网络流量异常检测模型。
步骤301：将预处理后的数据集输入设计好的网络模型中进行训练，采用梯度下降法不断迭代。
步骤302：选择Relu函数构建分类器，计算输出为预测不同类别的概率。
步骤4：将测试样本输入到训练好的模型中进行测试，得到分类结果，进而得到最终的网络的安全态势。
步骤401：训练完成后，用测试集测试，得出准确率和损失，进而得出网络的安全态势。
本发明提供的基于深度神经网络的网络流量异常检测方法，总体识别准确率达到98.24％，相比经典的BP神经网络，总体准确率提高了10.89％，总体损失下降了0.4％。
综上所述，本实施例的一种基于深度神经网络的网络流量异常检测方法，能够有效地识别网络活动存在攻击活动，保证了较高的准确率，为网络管理人员在复杂的网络环境中进行网络安全态势预测提供了新的方法和手段。
以上所描述的仅为本发明的实施例，并不限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种基于深度神经网络的网络流量异常检测方法，其特征在于，所述方法包括以下步骤：
步骤1：获取网络流量数据集，并从中提取出网络攻击活动的特征，然后进行数据关联分析，将预处理过后的数据集以8:2的比例划分为训练集和测试集，使其作为训练模型的输入
步骤2：在python3环境下的TensorFlow、Keras开源深度学习框架中，搭建深度神经网络模型，设置网络的结构、参数、激活函数优化函数等；
步骤3：将训练集输入到预设深度神经网络模型中进行学习，得到网络流量异常检测的模型
步骤4：将测试集输入到训练好的模型中进行测试，得到网络流量异常检测的分类结果，并最终获得网络的安全态势。
2.根据权利要求书1所述的基于深度神经网络的网络流量异常检测方法，其特征在于，所述步骤1的操作过程如下：
步骤101：搜集到相关数据集——CICIDS2017，该数据集包含良性和最新的常见攻击，类似于真实的真实数据；
步骤102：使用开源的CICFlowMeter软件进行攻击活动流量特征提取，并生成CSV文件；
步骤103：按8:2的比例划分为训练集和测试集。
3.根据权利要求书1所述的基于深度神经网络的网络流量异常检测方法，其特征在于，所述步骤2的操作过程如下：
步骤201：构建深度神经网络模型，设置网络参数:；
步骤202：使用隐层激活函数为Relu函数，优化函数为Adam，损失函数为均方误差，公式如下
步骤203：使用上述特征网络进行50轮迭代，学习率设为0.001，进而生成网络模型。
4.根据权利要求书1所述的基于深度神经网络的网络流量异常检测方法，其特征在于，所述步骤3的操作过程如下：
步骤301：将预处理后的数据集输入设计好的网络模型中，采用梯度下降法不断迭代；
步骤302：选择Relu函数构建分类器，计算输出为预测不同类别的概率。
5.根据权利要求书1所述的基于深度神经网络的网络流量异常检测方法，其特征在于，所述步骤4的操作过程如下：
步骤401：训练完成后，用测试集测试，得出准确率和损失，进而得出网络的安全态势。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010891980.4A CN114124420A (zh) | 2020-08-28 | 2020-08-28 | 一种基于深度神经网络的网络流量异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010891980.4A CN114124420A (zh) | 2020-08-28 | 2020-08-28 | 一种基于深度神经网络的网络流量异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114124420A true CN114124420A (zh) | 2022-03-01 |
Family
ID=80359733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010891980.4A Pending CN114124420A (zh) | 2020-08-28 | 2020-08-28 | 一种基于深度神经网络的网络流量异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114124420A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116366319A (zh) * | 2023-03-22 | 2023-06-30 | 安庆吕阁妮网络科技有限公司 | 一种检测网络安全的方法及系统 |
| CN116707918A (zh) * | 2023-06-14 | 2023-09-05 | 福建师范大学 | 基于CBAM- EfficientNet异常检测的网络安全态势评估方法 |
| CN116776248A (zh) * | 2023-06-21 | 2023-09-19 | 哈尔滨工业大学 | 一种基于虚拟对数的分布外检测方法 |
| CN118400275A (zh) * | 2024-06-19 | 2024-07-26 | 江苏讯瑞科技有限公司 | 一种智慧校园数据安全监控系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109787958A (zh) * | 2018-12-15 | 2019-05-21 | 深圳先进技术研究院 | 网络流量实时检测方法及检测终端、计算机可读存储介质 |
| CN110768864A (zh) * | 2019-10-16 | 2020-02-07 | 北京科技大学 | 一种网络流量批量生成图像的方法及装置 |
| CN111428789A (zh) * | 2020-03-25 | 2020-07-17 | 广东技术师范大学 | 一种基于深度学习的网络流量异常检测方法 |
| WO2020159439A1 (en) * | 2019-01-29 | 2020-08-06 | Singapore Telecommunications Limited | System and method for network anomaly detection and analysis |
-
2020
- 2020-08-28 CN CN202010891980.4A patent/CN114124420A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109787958A (zh) * | 2018-12-15 | 2019-05-21 | 深圳先进技术研究院 | 网络流量实时检测方法及检测终端、计算机可读存储介质 |
| WO2020159439A1 (en) * | 2019-01-29 | 2020-08-06 | Singapore Telecommunications Limited | System and method for network anomaly detection and analysis |
| CN110768864A (zh) * | 2019-10-16 | 2020-02-07 | 北京科技大学 | 一种网络流量批量生成图像的方法及装置 |
| CN111428789A (zh) * | 2020-03-25 | 2020-07-17 | 广东技术师范大学 | 一种基于深度学习的网络流量异常检测方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116366319A (zh) * | 2023-03-22 | 2023-06-30 | 安庆吕阁妮网络科技有限公司 | 一种检测网络安全的方法及系统 |
| CN116707918A (zh) * | 2023-06-14 | 2023-09-05 | 福建师范大学 | 基于CBAM- EfficientNet异常检测的网络安全态势评估方法 |
| CN116776248A (zh) * | 2023-06-21 | 2023-09-19 | 哈尔滨工业大学 | 一种基于虚拟对数的分布外检测方法 |
| CN118400275A (zh) * | 2024-06-19 | 2024-07-26 | 江苏讯瑞科技有限公司 | 一种智慧校园数据安全监控系统及方法 |
| CN118400275B (zh) * | 2024-06-19 | 2024-10-01 | 江苏讯瑞科技有限公司 | 一种智慧校园数据安全监控系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114124420A (zh) | 一种基于深度神经网络的网络流量异常检测方法 | |
| CN106888205B (zh) | 一种非侵入式基于功耗分析的plc异常检测方法 | |
| CN104348829B (zh) | 一种网络安全态势感知系统及方法 | |
| CN105577679B (zh) | 一种基于特征选择与密度峰值聚类的异常流量检测方法 | |
| CN110166484A (zh) | 一种基于LSTM-Attention网络的工业控制系统入侵检测方法 | |
| CN111428231A (zh) | 基于用户行为的安全处理方法、装置及设备 | |
| CN107360152A (zh) | 一种基于语义分析的Web威胁感知系统 | |
| CN103944887B (zh) | 基于隐条件随机场的入侵事件检测方法 | |
| CN109670306A (zh) | 基于人工智能的电力恶意代码检测方法、服务器及系统 | |
| CN117592060B (zh) | 一种处理器网络安全漏洞检测方法及系统 | |
| CN110851422A (zh) | 一种基于机器学习的数据异常监测模型构建方法 | |
| CN106792883A (zh) | 传感器网络异常数据检测方法与系统 | |
| CN112738014A (zh) | 一种基于卷积时序网络的工控流量异常检测方法及系统 | |
| CN109120592A (zh) | 一种基于用户行为的Web异常检测系统 | |
| CN102045357A (zh) | 一种基于仿射聚类分析的入侵检测方法 | |
| CN111600878A (zh) | 一种基于maf-adm的低速率拒绝服务攻击检测方法 | |
| CN113556319A (zh) | 物联网下基于长短期记忆自编码分类器的入侵检测方法 | |
| CN114218998A (zh) | 一种基于隐马尔可夫模型的电力系统异常行为分析方法 | |
| Kumar et al. | IIoT-IDS network using inception CNN model | |
| CN118101287A (zh) | 一种基于双向生成对抗网络的异常网络流量检测方法 | |
| Saleh et al. | Crime data analysis in Python using K-means clustering | |
| CN114006744B (zh) | 一种基于lstm的电力监控系统网络安全态势预测方法及系统 | |
| CN116366277A (zh) | 一种信息融合的网络安全态势评估方法 | |
| Tan et al. | Using hidden markov models to evaluate the real-time risks of network | |
| CN113852612A (zh) | 一种基于随机森林的网络入侵检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220301 |