CN111064721A - 网络流量异常检测模型的训练方法及检测方法 - Google Patents

网络流量异常检测模型的训练方法及检测方法 Download PDF

Info

Publication number
CN111064721A
CN111064721A CN201911268314.9A CN201911268314A CN111064721A CN 111064721 A CN111064721 A CN 111064721A CN 201911268314 A CN201911268314 A CN 201911268314A CN 111064721 A CN111064721 A CN 111064721A
Authority
CN
China
Prior art keywords
training
network
detection model
feature extraction
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911268314.9A
Other languages
English (en)
Inventor
叶可江
纪书鉴
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911268314.9A priority Critical patent/CN111064721A/zh
Priority to PCT/CN2019/125189 priority patent/WO2021114231A1/zh
Publication of CN111064721A publication Critical patent/CN111064721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络流量异常检测模型的训练方法即检测方法，所述网络流量异常检测模型包括特征提取网络和分类网络，所述训练方法包括：根据训练样本确定隐藏层的层数和每层隐藏层中的神经元个数；根据所述隐藏层的层数和每层隐藏层中的神经元个数构建初始的特征提取网络；利用训练样本对所述初始特征提取网络进行训练，得到训练完成的特征提取网络；利用训练完成的特征提取网络提取训练样本的抽象特征数据，并利用所述抽象特征数据训练分类网络，以完成网络流量检测模型的训练。本申请的网络结构可适应网络流量数据，避免检测模型的结构过于复杂和过于简单，从而降低了泛化误差，能明显减少检测时间和提高检测准确率。

Description

网络流量异常检测模型的训练方法及检测方法
技术领域
本发明属于信息技术领域，具体地讲，涉及网络流量异常检测模型的训练方法及检测方法、计算机可读存储介质、计算机设备。
背景技术
随着互联网的快速发展和网络规模的不断扩大，互联网已经成为人类生产生活不可缺少的一部分。但是同时，人们在享受网络便利的过程中不可避免地遭受网络异常的危害。目前普遍存在的多种网络异常可以通过网络流量的异常表现出来，异常网络流量能较全面地反映出现在网络的实时状况，比如网络扫描，DDoS攻击，网络蠕虫病毒等，及时去发现网络中的异常流量变化对于网络数据中心的异常定位，采取后续相应的补救措施有重要的意义。
网络流量异常检测已经作为一种有效的网络防护手段，能检测未知的网络攻击行为，为网络态势感知提供重要支持，近年来受到研究者越来越多的关注。针对网络流量异常检测方法大致有基于表征行为匹配的检测方法，基于统计的异常检测方法，基于机器学习异常检测方法，基于数据挖掘的异常检测方法，基于传统深度学习的异常检测方法。
深度学习技术在网络流量异常检测方面有着突出优势。深度学习模型能够从原始数据作为输入并且能从所学特征更好地刻画出数据的丰富信息，提高分类性能。在不同领域内深度学习都能容易地适应不同的领域和应用，在网络多特征的海量信息面前，深度学习不需要现在数据集上执行探索性的数据分析，特征降维等特征工程。
传统机器学习应用到模型的异常检测上面来的话存在一个经验先验的问题，特别对于数据量大而且实时性比较强的网络流量数据来看，参数选择不恰当或者选择的数据质量差，会对模型的检测效果造成比较大的影响。例如选择的神经网络模型的层数较多，这时在训练过程中可能会出现收敛慢的情况，如果选择的神经网络模型的层数较少，这时在训练过程中可能不能准确地调整网络参数，不容易得到一个准确率较高的检测模型。
发明内容
(一)本发明所要解决的技术问题
本发明解决的技术问题是：如何使得神经网络模型的结构与网络流量数据特征相适应，以提高模型检测的准确率。
(二)本发明所采用的技术方案
一种网络流量异常检测模型的训练方法，所述网络流量异常检测模型包括特征提取网络和分类网络，所述训练方法包括：
根据训练样本确定隐藏层的层数和每层隐藏层中的神经元个数；
根据所述隐藏层的层数和每层隐藏层中的神经元个数构建初始的特征提取网络；
利用训练样本对所述初始特征提取网络进行训练，得到训练完成的特征提取网络；
利用训练完成的特征提取网络提取训练样本的抽象特征数据，并利用所述抽象特征数据训练分类网络，以完成网络流量检测模型的训练。
优选地，在得到所述训练完成的特征提取网络之后，所述训练方法还包括：
去除所述训练完成的特征提取网络中的分类层，得到优化的特征提取网络；
利用优化的特征提取网络提取训练样本的高级抽象特征数据，并利用高级抽象特征数据训练分类网络。
优选地，根据训练样本确定隐藏层的层数的方法为：根据如下公式来计算隐藏层的层数，
Figure BDA0002313472670000021
其中，l表示隐藏层的层数，n表示训练样本的数据特征维度，
Figure BDA0002313472670000022
表示向上取整。
优选地，根据训练样本确定每层隐藏层中的神经元个数的方法为：根据如下公式来计算神经元个数，
Figure BDA0002313472670000023
ei表示隐藏层的第i层的神经元个数，n表示训练样本的数据特征维度，
Figure BDA0002313472670000024
表示向上取整，θ为特征影响参数，0<θ<1，1<i<l。
优选地，根据训练样本确定每层隐藏层中的神经元个数的方法还包括：确定隐藏层的第一层的神经元个数为e1＝n，确定隐藏层的最后一层的神经元个数为
Figure BDA0002313472670000031
优选地，所述训练方法包括：
对原始网络流量数据进行规范化处理和清洗处理，以获得训练样本。
本发明还公开了一种网络流量异常检测模型的检测方法，所述检测方法包括：
将原始网络流量数据输入到由上述的训练方法训练得到的网络流量异常检测模型中；
所述网络流量异常检测模型输出原始网络流量数据的类型；
根据原始网络流量数据的类型判断网络流程是否异常。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现上述的网络流量异常检测模型的训练方法。
本发明还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现上述的网络流量异常检测模型的训练方法。
(三)有益效果
本发明公开了一种网络流量异常检测模型的训练方法及检测方法，通过在构建模型之前先确定神经网络的隐藏层层数和每一层的神经元个数，使得网络结构可适应网络流量数据，避免检测模型的结构过于复杂和过于简单，从而降低了泛化误差，能明显减少检测时间和提高检测准确率。
附图说明
图1为本发明的实施例的网络流量异常检测模型的训练方法的流程图；
图2为本发明的实施例的训练完成的特征提取网络的结构示意图；
图3为本发明的实施例的网络流量异常检测模型的检测方法的流程图；
图4A为本发明的实施例的不同模型在NSLKDD数据集测试的实验结果图；
图4B为本发明的实施例的在使用优化的特征提取网络前后各个分类器的检测结果；
图4C为本发明的实施例的在使用优化的特征提取网络后各个分类器的时间节省百分比；
图5A为利用现有检测模型进行数据分类的PCA可视化视图；
图5B为利用本发明的检测模型进行数据分类的PCA可视化视图；
图6为本发明的实施例的计算机设备的原理框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了及时发现网络中的异常流量变化对于网络数据中心的异常定位，以便后续采取相应的补救。本申请提出一种网络流量异常检测模型的训练方法和检测方法，该检测模型是基于特征适应神经网络而建立的。该方法能够根据多维度特征的网络流量确定神经网络隐藏层的层数以及每层神经元的个数，从而建立相对应的深度学习网络异常检测模型并进行预训练。接着利用迁移学习的思想从训练好的高层网络层中取出包含新的特征数据，结合浅层学习的传统机器学习分类器进行网络异常流量检测，能在一定程度上减少检测时间并且加快分类器的收敛速度，可提高检测的准确率。
具体来说，本申请公开的网络流量异常检测模型的训练方法主要包括特征提取网络的训练和分类网络的训练。如图1所示，网络流量异常检测模型的训练方法包括如下步骤：
步骤S10：根据训练样本确定隐藏层的层数和每层隐藏层中的神经元个数。
在进行步骤S10之前，需要对原始网络流量数据进行规范化处理和清洗处理，以获得训练样本。从原始网络流量数据中分别读取训练数据集和测试数据集，对网络流量进行规范化的处理，清理丢失或错误的数据或删除掉无关的数据等，保留下来有意义的原始特征，其中训练数据集和测试数据集构成训练样本。
现有技术中一般直接采用训练样本对相应的神经网络进行训练，然而往往会存在神经网络的结构与训练样本的数据特征不相适应的情况，这样会使得训练完成的神经网络不能有效地检测网络异常情况。为此本申请在构建特征提取网络之前先确定好隐藏层的层数和神经元个数。
作为优选实施例，训练样本为T＝{(x1,y1),(x2,y2),(x3,y3),…,(xn,yn)}，其中xn是流量的特征向量且xn＝[x1,x2,x3,…,xn]T，xn表示流量数据特征，yn表示xn的类别标签yn∈{0,1,2,…,n}，即(xn,yn)分别表示网络流量的对应的网络事件类别，其中n表示训练样本的数据特征维度，隐藏层层数的计算公式为：
Figure BDA0002313472670000051
其中，l表示隐藏层的层数，n表示训练样本的数据特征维度，
Figure BDA0002313472670000052
表示向上取整。这样可根据训练样本的数据特征维度确定隐藏层层数，为后续构建特征提取网络提供依据。
计算出隐藏层层数之后，进一步确定每层隐藏层包含的神经元个数，神经元个数的计算公式为：
Figure BDA0002313472670000053
ei表示隐藏层的第i层的神经元个数，n表示训练样本的数据特征维度，
Figure BDA0002313472670000054
表示向上取整，θ为特征影响参数，0<θ<1，1<i<l。特征影响参数θ能对模型起到一定的调整作用，该值能由实验中多次选择得到取最优值或者专家经验给出。添加θ的目的是把每一层的神经元个数都叠加
Figure BDA0002313472670000055
有选择性地让每个隐藏层的传播都保留高维特征n的一部分，从而让网络流量异常检测模型在训练时候能去适应数据的维度，从而对数据的特征有更好的表述能力。
进一步地，当i＝1时，即第一层的神经元个数为e1＝n；当i＝l时，即隐藏层的最后一层的神经元个数为
Figure BDA0002313472670000056
这样可根据训练样本的数据特征维度确定每层隐藏层的神经元个数，为后续构建特征提取网络提供依据。
步骤S20：根据所述隐藏层的层数和每层隐藏层中的神经元个数构建初始的特征提取网络。
根据步骤S10中计算得到的隐藏层的层数l和每层隐藏层的神经元的个数ei构建初始特征提取网络，即构建的初始特征提取网络的结构特征与训练样本的维度特征相适应。初始特征提取网络可表示为xW+b，其中W和b均表示参数变量。
步骤S30：利用训练样本对所述初始的特征提取网络进行训练，得到训练完成的特征提取网络。
利用训练集T＝{(x1,y1),(x2,y2),(x3,y3),…,(xn,yn)}对初始特征提取网络进行训练得到。其中训练过程为现有技术，在此不进行详细描述。作为优选实施例，对训练过程中常用参数进行简单描述，用zl表示第l层神经元的输入,al-1是l层上一层的神经元输出，σ是初始化设定的激活函数。模型训练时前向传播计算得到zl＝Wlal-1+bl。计算输出层产生的误差
Figure BDA0002313472670000062
σ′是激活函数的求导,⊙是Hadamard乘积，
Figure BDA0002313472670000061
反向传播错误δl＝((Wl-1)δl-1)⊙σ′(zl)。最后使用梯度下降训练参数：Wl→Wl-∑xδx(ax),bl→bl-∑xδx得到最优的权值W和阈值b。
步骤S40：利用训练完成的特征提取网络提取训练样本的抽象特征数据，并利用所述抽象特征数据训练分类网络，以完成网络流量检测模型的训练。
如图2所示，训练完成的特征提取网络包括依序连接的输入层21、若干隐藏层22和分类层23。作为其中一个实施例，训练完成的特征提取网络通过其若干隐藏层22的特征提取传递操作后会生成一些新的抽象特征后，可利用自身的分类层23进行分类，从而进行网络异常类型的预分类，接着再利用分类网络进一步分类，但是这种方法不能较好地拟合该特征空间下的非线性特征，即会损失部分特征，造成后续检测结果不准确。作为优选实施例，本申请中将训练完成的特征提取网络中的分类层23去掉得到优化的特征提取网络，利用优化的特征提取网络提取训练样本的高级抽象特征数据，并利用高级抽象特征数据训练分类网络，即利用若干隐藏层22提取的抽象数据特征直接训练分类网络。其中分类网络为机器学习领域中常见的分类器，利用分类器去处理这些高级抽象特征能较好地进行分类。
如图3所示，本发明还公开了一种网络流量异常检测模型的检测方法，检测方法包括：步骤S100：将原始的网络流量数据输入到上述训练方法得到的网络流量异常检测模型中；步骤S200：所述网络流量异常检测模型输出原始网络流量数据的类型；步骤S300：根据原始网络流量数据的类型判断网络流程是否异常。
为了证明本申请的网络流量异常检测模型的检测准确率相对于现有的检测模型具有较好的结果，在常见的数据集上进行了对比实验。如图4A、图4B和图4C所示，检测的数据集采用NSLKDD数据集，作为其中第一个对比例，选用常见的支持向量机模型SVM，本申请的网络流量异常检测模型为DAFL SVM，其中本申请的分类网络采用SVM，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8。具体的评价指标包括Accuracy、Precision、Recall、F1-score和Times，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的支持向量机模型SVM的各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
类似地，第二个对比例采用K近邻分类网络(K-Nearest Neighbors，简称KNN)，本申请的网络流量异常检测模型为DAFL KNN，其中本申请的分类网络采用KNN，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8。具体的评价指标包括Accuracy、Precision、Recall、F1-score和Times，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的K近邻分类网络，各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
类似地，第三个对比例采用传统的逻辑回归分类器(Logistic Regression，简称LR)，本申请的网络流量异常检测模型为DAFL LR，其中本申请的分类网络采用KNN，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的LR分类器，各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
类似地，第四个对比例采用决策树分类模型(Decision Tree，简称DT)，本申请的网络流量异常检测模型为DAFL DT，其中本申请的分类网络采用DT，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的DT分类模型，各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
进一步地，第五个对比例采用朴素贝叶斯分类网络(Naive Bayes，简称NB)，本申请的网络流量异常检测模型为DAFL NB，其中本申请的分类网络采用NB，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的DT分类模型，各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
在进行正常数据和异常数据分类情形下，根据图5A和图5B所示的PCA可视化分析可知，其中，深色区域表示异常数据，浅色区域表示正常数据，根据图5A可知，采用传统的机器学习分类器并不能有效地进行正常和异常数据的分类，得到的数据集是混乱无序的，然而采用本申请的检测模型去分类，根据图5B所示，能有效地将数据集中正常和异常的数据点进行分类。
综上各个对比实验结果可知，本申请的网络流量异常检测模型相对比于常见的分类模型具有更高的准确率和更低的误报率，同时根据各个对比例可知，本申请的特征提取网络与不同类型的分类网络均能进行有效地适配，也体现了检测模型的鲁棒性和可扩展性。本申请的在构建模型之前先确定神经网络的隐藏层层数和每一层的神经元个数，使得网络结构可适应网络流量数据，避免检测模型的结构过于复杂和过于简单，从而降低了泛化误差，能明显减少检测时间和提高检测准确率。同时本申请基于迁移学习的思想，首先训练一个完整的特征提取网络，接着讲该特征提取网络的分类层除掉，让原始数据通过剩余的特征提取网络产生新的抽象特征，并让最后的分类网络进行学习。这样的目的能让新产生的数据趋于有序，能让传统机器学习分类器快速收敛达到最好的分类效果，并且能提高准确率和减少检测时间。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现上述的网络流量异常检测模型的训练方法。
本申请还公开了一种计算机设备，在硬件层面，如图6所示，该终端包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。所述计算机可读存储介质11上存储有网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现上述的网络流量异常检测模型的训练方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。

Claims (9)

1.一种网络流量异常检测模型的训练方法，其特征在于，所述网络流量异常检测模型包括特征提取网络和分类网络，所述训练方法包括：
根据训练样本确定隐藏层的层数和每层隐藏层中的神经元个数；
根据所述隐藏层的层数和每层隐藏层中的神经元个数构建初始的特征提取网络；
利用训练样本对所述初始特征提取网络进行训练，得到训练完成的特征提取网络；
利用训练完成的特征提取网络提取训练样本的抽象特征数据，并利用所述抽象特征数据训练分类网络，以完成网络流量检测模型的训练。
2.根据权利要求1所述的网络流量异常检测模型的训练方法，其特征在于，在得到所述训练完成的特征提取网络之后，所述训练方法还包括：
去除所述训练完成的特征提取网络中的分类层，得到优化的特征提取网络；
利用优化的特征提取网络提取训练样本的高级抽象特征数据，并利用高级抽象特征数据训练分类网络。
3.根据权利要求1所述的网络流量异常检测模型的训练方法，其特征在于，根据训练样本确定隐藏层的层数的方法为：根据如下公式来计算隐藏层的层数，
Figure FDA0002313472660000011
其中，l表示隐藏层的层数，n表示训练样本的数据特征维度，
Figure FDA0002313472660000012
表示向上取整。
4.根据权利要求1所述的网络流量异常检测模型的训练方法，其特征在于，根据训练样本确定每层隐藏层中的神经元个数的方法为：根据如下公式来计算神经元个数，
Figure FDA0002313472660000013
ei表示隐藏层的第i层的神经元个数，n表示训练样本的数据特征维度，
Figure FDA0002313472660000014
表示向上取整，θ为特征影响参数，0<θ<1，1<i<l。
5.根据权利要求4所述的网络流量异常检测模型的训练方法，其特征在于，根据训练样本确定每层隐藏层中的神经元个数的方法还包括：确定隐藏层的第一层的神经元个数为e1＝n，确定隐藏层的最后一层的神经元个数为
Figure FDA0002313472660000015
6.根据权利要求4所述的网络流量异常检测模型的训练方法，其特征在于，所述训练方法包括：
对原始网络流量数据进行规范化处理和清洗处理，以获得训练样本。
7.一种网络流量异常检测模型的检测方法，其特征在于，所述检测方法包括：
将原始网络流量数据输入到由权利要求1至6任一项所述的训练方法训练得到的网络流量异常检测模型中；
所述网络流量异常检测模型输出原始网络流量数据的类型；
根据原始网络流量数据的类型判断网络流程是否异常。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现如权利要求1至6所述的网络流量异常检测模型的训练方法。
9.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现如权利要求1至6所述的网络流量异常检测模型的训练方法。
CN201911268314.9A 2019-12-11 2019-12-11 网络流量异常检测模型的训练方法及检测方法 Pending CN111064721A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911268314.9A CN111064721A (zh) 2019-12-11 2019-12-11 网络流量异常检测模型的训练方法及检测方法
PCT/CN2019/125189 WO2021114231A1 (zh) 2019-12-11 2019-12-13 网络流量异常检测模型的训练方法及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911268314.9A CN111064721A (zh) 2019-12-11 2019-12-11 网络流量异常检测模型的训练方法及检测方法

Publications (1)

Publication Number Publication Date
CN111064721A true CN111064721A (zh) 2020-04-24

Family

ID=70300647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911268314.9A Pending CN111064721A (zh) 2019-12-11 2019-12-11 网络流量异常检测模型的训练方法及检测方法

Country Status (2)

Country Link
CN (1) CN111064721A (zh)
WO (1) WO2021114231A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291226A (zh) * 2020-10-23 2021-01-29 新华三信息安全技术有限公司 一种网络流量的异常检测方法及装置
CN113762299A (zh) * 2020-06-28 2021-12-07 北京沃东天骏信息技术有限公司 一种异常流量检测方法和装置
CN114205355A (zh) * 2021-12-13 2022-03-18 南方电网数字电网研究院有限公司 一种变电网关附属设备性能测试方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542241B (zh) * 2021-06-30 2023-05-09 杭州电子科技大学 一种基于CNN-BiGRU混合模型的入侵检测方法及装置
CN114338853B (zh) * 2021-12-31 2022-09-20 西南民族大学 一种工业互联网下的区块链流量监检测方法
CN114629695A (zh) * 2022-02-28 2022-06-14 天翼安全科技有限公司 一种网络异常检测方法、装置、设备和介质
CN114697139B (zh) * 2022-05-25 2022-09-02 杭州海康威视数字技术股份有限公司 基于特征迁移的设备异常检测、训练方法、系统和装置
CN116208356B (zh) * 2022-10-27 2023-09-29 浙江大学 一种基于深度学习的虚拟货币挖矿流量检测方法
CN115623531B (zh) * 2022-11-29 2023-03-31 浙大城市学院 利用无线射频信号的隐藏监控设备发现和定位方法
CN116893663B (zh) * 2023-09-07 2024-01-09 之江实验室 一种主控异常检测方法、装置、存储介质及电子设备
CN117830728B (zh) * 2024-01-02 2024-08-20 北京天防安全科技有限公司 异常流量检测方法、装置、电子设备及介质
CN117537951B (zh) * 2024-01-10 2024-03-26 西南交通大学 一种基于深度学习的超导悬浮器内部温升检测方法及装置
CN118054972A (zh) * 2024-04-11 2024-05-17 石家庄学院 基于异常流量样本增强的检测方法、系统、设备及介质
CN118445640B (zh) * 2024-07-08 2024-09-10 艾肯（江苏）工业技术有限公司 一种基于人工智能的流量检测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948166A (zh) * 2017-11-29 2018-04-20 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置
CN108334907A (zh) * 2018-02-09 2018-07-27 哈尔滨工业大学（威海） 一种基于深度学习的复杂装备点异常检测方法及系统
CN109818798A (zh) * 2019-02-19 2019-05-28 上海海事大学 一种融合kpca和elm的无线传感器网络入侵检测系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686235B (zh) * 2008-09-26 2013-04-24 北京神州绿盟信息安全科技股份有限公司 网络异常流量分析设备和方法
JP6863091B2 (ja) * 2017-05-31 2021-04-21 富士通株式会社 管理装置、管理方法及び管理プログラム
KR101888683B1 (ko) * 2017-07-28 2018-08-14 펜타시큐리티시스템 주식회사 비정상 트래픽을 탐지하는 방법 및 장치
CN107725283B (zh) * 2017-09-19 2019-05-21 江苏方天电力技术有限公司 一种基于深度信念网络模型的风机故障检测方法
CN107959675A (zh) * 2017-11-25 2018-04-24 国网河南省电力公司电力科学研究院 配电网无线通信接入的网络异常流量检测方法和装置
CN109728939B (zh) * 2018-12-13 2022-04-26 杭州迪普科技股份有限公司 一种网络流量检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948166A (zh) * 2017-11-29 2018-04-20 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置
CN108334907A (zh) * 2018-02-09 2018-07-27 哈尔滨工业大学（威海） 一种基于深度学习的复杂装备点异常检测方法及系统
CN109818798A (zh) * 2019-02-19 2019-05-28 上海海事大学 一种融合kpca和elm的无线传感器网络入侵检测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUJIAN JI: "DAFL: Deep Adaptive Feature Learning for Network Anomaly Detection", 《NPC 2019：NETWORK AND PARALLEL COMPUTING》 *
很后悔当时: "反向传播算法（过程及公式推导）", 《CSDN》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762299A (zh) * 2020-06-28 2021-12-07 北京沃东天骏信息技术有限公司 一种异常流量检测方法和装置
CN112291226A (zh) * 2020-10-23 2021-01-29 新华三信息安全技术有限公司 一种网络流量的异常检测方法及装置
CN112291226B (zh) * 2020-10-23 2022-05-27 新华三信息安全技术有限公司 一种网络流量的异常检测方法及装置
CN114205355A (zh) * 2021-12-13 2022-03-18 南方电网数字电网研究院有限公司 一种变电网关附属设备性能测试方法及系统
CN114205355B (zh) * 2021-12-13 2022-08-26 南方电网数字电网研究院有限公司 一种变电网关附属设备性能测试方法、系统及电子设备

Also Published As

Publication number Publication date
WO2021114231A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111064721A (zh) 网络流量异常检测模型的训练方法及检测方法
Schwab et al. Cxplain: Causal explanations for model interpretation under uncertainty
CN107209873B (zh) 用于深度卷积网络的超参数选择
Ha et al. A new under-sampling method using genetic algorithm for imbalanced data classification
CN113272827A (zh) 卷积神经网络中分类决策的验证
Ravindran et al. A Novel Clinical Decision Support System Using Improved Adaptive Genetic Algorithm for the Assessment of Fetal Well‐Being
Badawi et al. A hybrid memetic algorithm (genetic algorithm and great deluge local search) with back-propagation classifier for fish recognition
Muneer et al. A Hybrid Deep Learning-Based Unsupervised Anomaly Detection in High Dimensional Data.
US20200265307A1 (en) Apparatus and method with multi-task neural network
WO2018036547A1 (zh) 一种数据处理的方法以及装置
Sethuraman et al. An optimized AdaBoost Multi-class support vector machine for driver behavior monitoring in the advanced driver assistance systems
CN116318928A (zh) 一种基于数据增强和特征融合的恶意流量识别方法及系统
CN118041689B (zh) 一种网络恶意流量检测方法
Wayahdi et al. Evaluation of the K-Nearest Neighbor Model With K-Fold Cross Validation on Image Classification
Sun et al. Undersampling method based on minority class density for imbalanced data
CN116959078B (zh) 疲劳检测模型的构建方法、疲劳检测方法及其装置
JP2020004409A (ja) 情報処理プラットフォーム上でのソフトウェアアプリケーションの実行パラメータの自動かつ自己最適化型決定
Singh et al. A concise review of MRI feature extraction and classification with kernel functions
Liu et al. A two-stage anomaly detection framework: Towards low omission rate in industrial vision applications
Hamidzadeh IRDDS: instance reduction based on distance-based decision surface
Chen et al. A data imputation method based on deep belief network
Gao et al. The use of ensemble-based data preprocessing techniques for software defect prediction
CN115240782A (zh) 药物属性预测方法、装置、电子设备及存储介质
JP7006724B2 (ja) 分類装置、分類方法、及び、プログラム
Liaw et al. A histogram SMOTE-based sampling algorithm with incremental learning for imbalanced data classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424

RJ01 Rejection of invention patent application after publication