CN111314331A - 一种基于条件变分自编码器的未知网络攻击检测方法 - Google Patents

一种基于条件变分自编码器的未知网络攻击检测方法 Download PDF

Info

Publication number
CN111314331A
CN111314331A CN202010080796.1A CN202010080796A CN111314331A CN 111314331 A CN111314331 A CN 111314331A CN 202010080796 A CN202010080796 A CN 202010080796A CN 111314331 A CN111314331 A CN 111314331A
Authority
CN
China
Prior art keywords
encoder
flow
unknown
measured
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010080796.1A
Other languages
English (en)
Other versions
CN111314331B (zh
Inventor
陈双武
陈翔
杨坚
张勇东
刘新民
王玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Original Assignee
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Research Institute, University of Science and Technology of China USTC filed Critical Beijing Zhongke Research Institute
Priority to CN202010080796.1A priority Critical patent/CN111314331B/zh
Publication of CN111314331A publication Critical patent/CN111314331A/zh
Application granted granted Critical
Publication of CN111314331B publication Critical patent/CN111314331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于条件变分自编码器的未知网络攻击检测方法，将已知类别的分类与未知攻击检测问题分为两个阶段。第一阶段利用基于变分自编码器的分类器在实现将网络流量按照已知类别分类的基础上实现对网络流量的特征提取。第二阶段利用第一阶段训练的编码器获取网络流量的特征表达，利用解码器的重构误差校正第一阶段的检测结果，识别未知攻击。可见，本发明既能实现传统检测方法识别正常流量和异常流量的攻击类型的功能，又能实现未知攻击的检测。

Description

一种基于条件变分自编码器的未知网络攻击检测方法
技术领域
本发明涉及计算机网络技术领域，尤其涉及一种基于条件变分自编码器的未知网络攻击检测方法。
背景技术
随着计算机技术和网络技术的飞速发展，网络攻击行为层出不穷，针对各种新型的网络协议、网络体系架构、网络应用的新型网络攻击严重困扰着信息系统的正常运行。传统的网络安全检测设备依靠静态攻击特征(如：IP黑名单)或者动态攻击特征(如：正则表达式)检测网络中的攻击行为。这种检测方法依赖于已知的攻击特征，而攻击特征通常需要通过人工手动提取，并且依赖于专业知识，需要大量的时间和人力，导致无法对未知攻击做出有效地、及时地响应。
基于深度学习的网络安全检测是近几年被广泛研究的新型安全检测方法，可以分为无监督学习和有监督学习两大类方法。基于无监督的网络安全检测又称异常检测，异常检测只需要正常流量作为训练数据，对正常流量行为进行学习建模，若带测试网络流量的行为与正常流量的行为差距较大，则认为是异常流量，这种方法从一定程度上可以检测未知的入侵行为，但是无法对已知的网络攻击进行分类。基于有监督学习的安全检测方法利用正常和已知的攻击流量训练判别模型，待测流量直接输入该模型，即可识别待测流量的类型，这种方法可以对网络流量按照已知攻击类型进行分类，且一般具有较高的准确率，但是检测未知攻击的能力较差。
发明内容
本发明的目的是提供一种基于条件变分自编码器的未知网络攻击检测方法，对于网络流量的已知类别与未知攻击类别均具有较高的检测准确率。
本发明的目的是通过以下技术方案实现的：
一种基于条件变分自编码器的未知网络攻击检测方法，包括：
利用已知类别的流量训练基于条件变分自编码器的分类器，并在此基础上训练未知攻击检测模型；基于条件变分自编码器的分类器包括先验编码器、后验编码器以及第一解码器，训练阶段后验编码器的输出作为先验编码器的监督信号；未知攻击检测模型包括：第二解码器，以及基于条件变分自编码器的分类器中后验编码器；
对于待测流量
Figure BDA0002380243590000022
通过先验编码器得到待测流量的特征
Figure BDA0002380243590000023
第一解码器根据待测流量的特征
Figure BDA0002380243590000024
计算属于各已知类别的概率，选择概率最大值对应的类别
Figure BDA0002380243590000025
作为预测结果；
通过后验编码器利用预测到的类别
Figure BDA0002380243590000021
与待测流量
Figure BDA0002380243590000026
得到待测流量的特征
Figure BDA0002380243590000027
第二解码器利用待测流量的特征
Figure BDA00023802435900000211
进行重构，得到待测流量
Figure BDA00023802435900000210
关于类别
Figure BDA0002380243590000028
的重构流量
Figure BDA0002380243590000029
并通过比较重构流量
Figure BDA00023802435900000212
与待测流量
Figure BDA00023802435900000213
的误差大小来判断待测流量
Figure BDA00023802435900000214
是否为未知攻击。
由上述本发明提供的技术方案可以看出，将已知类别的分类与未知攻击检测问题分为两个阶段。第一阶段利用基于变分自编码器的分类器在实现将网络流量按照已知类别分类的基础上实现对网络流量的特征提取。第二阶段利用第一阶段训练的编码器获取网络流量的特征表达，利用解码器的重构误差校正第一阶段的检测结果，识别未知攻击。可见，本发明既能实现传统检测方法识别正常流量和异常流量的攻击类型的功能，又能实现未知攻击的检测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于条件变分自编码器的未知网络攻击检测方法的框架图；
图2为本发明实施例提供的基于条件变分自编码器的分类器的训练与测试示意图；
图3为本发明实施例提供的未知攻击检测模型的训练与测试示意图；
图4为本发明实施例提供的攻击检测举例示意图；
图5为本发明实施例提供的已知类别分类与未知攻击检测结果示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种基于条件变分自编码器的未知网络攻击检测方法，如图1所示，主要包括：
利用已知类别的流量训练基于条件变分自编码器的分类器(也即训练阶段的阶段一)，并在此基础上训练未知攻击检测模型(也即训练阶段的阶段二)；基于条件变分自编码器的分类器包括先验编码器、后验编码器以及第一解码器，训练阶段后验编码器的输出作为先验编码器的监督信号；未知攻击检测模型包括：第二解码器，以及基于条件变分自编码器的分类器中后验编码器。
对于待测流量
Figure BDA00023802435900000312
通过先验编码器得到待测流量的特征
Figure BDA00023802435900000313
第一解码器根据待测流量的特征
Figure BDA00023802435900000315
计算属于各已知类别的概率，选择概率最大值对应的类别
Figure BDA00023802435900000314
作为预测结果(也即测试阶段的阶段一)；
通过后验编码器利用预测到的类别
Figure BDA0002380243590000032
与待测流量
Figure BDA0002380243590000033
得到待测流量的特征
Figure BDA0002380243590000034
第二解码器利用待测流量的特征
Figure BDA0002380243590000035
进行重构，得到待测流量
Figure BDA0002380243590000036
关于类别
Figure BDA0002380243590000037
的重构流量
Figure BDA0002380243590000038
并通过比较重构流量
Figure BDA0002380243590000039
与待测流量
Figure BDA00023802435900000310
的误差大小来判断待测流量
Figure BDA00023802435900000311
是否为未知攻击(也即测试阶段的阶段二)。
下面针对基于条件变分自编码器的分类器、未知攻击检测模型的组成及其训练与测试过程进行介绍。
一、训练与测试数据。
本发明实施例中，将原始数据包按照源IP、目的IP、源端口、目的端口和协议五元组聚合成数据流，用数据流的行为特征网络流量。用于训练的网络流量表示为{(x1,y1),(x2,y2),...,(xn,yn)}，其中xi∈Rd表示第i个流量样本的统计行为，具体用d维向量表示，向量的每个元素表示一个统计特征，yi∈{0,1,2,...,k}表示第i个样本的标签值，yi＝0表示正常流量，yi＞0表示攻击流量，且攻击类型为yi，k为已知攻击类别总数。测试样本表示为
Figure BDA0002380243590000031
其中k+1表示未知攻击的标签值。
二、基于条件变分自编码器的分类器。
本发明实施例中，采用变分自动编码器的分类器学习已知类别而之间的分类边界，实现流量按照正常流量和已知攻击流量进行分类。变分自动编码器包含编码器和解码器两部分，编码器将输入流量样本映射到满足特定分布(通常是高斯分布)的特征空间上，然后通过重新参数化后输入解码器，解码器最终将特征映射为流量类别。
原理：变分自动编码器首先将原始的高维网络流量向量映射为低维的流量特征，然后通过解码器将低维的特征映射为流量类别
1、构建编码器。
本发明实施例中，编码器包含先验编码器pα(z|x)与后验编码器qβ(z|x,y)，两个编码器可以分别使用多层感知机构建。
如图2所示，先验编码器pα(z|x)，在给定原始网络流量x后，输出关于特征z满足高斯分布的均值与方差μα(x)，
Figure BDA0002380243590000041
二者均为关于原始网络流量x与编码器参数α的函数。
如图2所示，后验编码器qβ(z|x,y)，在给定原始网络流量x与对应的类别y后，输出关于特征z满足高斯分布的均值与方差μβ(x,y),diag(σβ 2(x,y))，二者均为关于原始网络流量x和对应类别y以及编码器参数β的函数。
为了使概率编码器pα(z|x)能够学习到流量样本和流量类型的对应关系，基于条件变分自编码器的分类器的训练阶段，使用后验编码器qβ(z|x,y)的输出作为先验编码器pα(z|x)的监督信号，使得先验编码器pα(z|x)输出趋近后验编码器qβ(z|x,y)的输出；本发明使用KL散度衡量两个编码器输出的接近程度，即：
KL(qβ(z|x,y)||pα(z|x))
本发明选择高斯分布作为后验概率分布qβ(z|x,y)和pα(z|x)的约束形式：
pα(z|x)＝N(μα(x),diag(σα 2(x)))
qβ(z|x,y)＝N(μβ(x,y),diag(σβ 2(x,y)))
2、构建第一解码器pγ(y|z,x)。
如图2所示，编码器部分学习的特征z服从的分布，为了得到特征z，基于后验编码器qβ(z|x,y)的输出，重参数化技术获得原始网络流量的特征z作为第一解码器pγ(y|z,x)的输入的一部分，重参数化过程首先从标准正态分布采样一个值ε，然后利用该采样值计算特征z：
z＝μβ(x,y)+diag(σβ(x,y))*ε，ε～N(0,1)
第一解码器pγ(y|z,x)可以通过多层感知机构建。γ表示第一解码器pγ(y|z,x)的参数。第一解码器pγ(y|z,x)输入为重参数化技术获得的原始网络流量的特征z以及原始网络流量x，输出原始网络流量x对应的概率分布π＝[π0,π1,...,πk],其中，πj表示原始网络流量x属于第j类的概率，j＝0,1,...,k；j＝0，类别y表示正常类别，j＝1,...,k，表示已知攻击类别，j的数值对应了具体的类别，k为类已知攻击类别总数。
3、参数优化。
对于先验编码器、后验编码器以及第一解码器中的参数α,β,γ，训练过程采用变分贝叶斯方法进行参数优化，训练的损失函数为：
Figure BDA0002380243590000051
其中，KL(qβ(z|x,y)||pα(z|x))表示后验编码器qβ(z|x,y)的输出与先验编码器pα(z|x)的输出之间的KL散度。
通过在编码器和解码器中间引入上述重参数化技术保证损失函数可导后，利用随机梯度下降法对编码器和解码器参数进行优化更新。
三、未知攻击检测模型。
未知攻击检测模型的训练建立在在第一阶段训练的基于条件变分自编码器的分类器的基础上，利用分类器的后验编码器对流量x的编码结果z以及流量类型y，训练一个新的解码器，实现对输入流量x的重构，通过重构误差判断流量x是否为未知攻击流量。
1、利用第一阶段训练得到的后验编码器得到流量特征。
本发明实施例中，未知攻击检测模型直接利用训练好的基于条件变分自编码器的分类器中的后验编码器qβ(z|x,y)。
如图3所示，后验编码器qβ(z|x,y)将根据输入的原始网络流量x与对应的类别y，输出关于原始网络流量x的特征z满足高斯分布的均值与方差μβ(x,y),diag(σβ 2(x,y))；通过重参数化技术获得原始网络流量的特征z：
z＝μβ(x,y)+diag(σβ(x,y))*ε，ε～N(0,1)
2、构建第二解码器pθ(x|z,y)。
第二解码器pθ(x|z,y)可采用多层感知机的形式构造。如图3所示，根据原始网络流量x对应的类别y以及重参数化技术获得的原始网络流量的特征z，输出为满足高斯分布的均值参数μθ(z,y)，均值参数μθ(z,y)为关于原始网络流量x和对应类别y以及解码器参数θ的函数。
本发明实施例中，假设重构的流量样本的后验概率满足固定方差的高斯分布的约束形式：
pθ(x|z,y)＝N(μθ(z,y),diag(σ2))
其中，diag(σ2)表示高斯分布的方差，由于在实际应用中，方差不参与计算，因此假设方差为常数，与解码器参数θ无关，并不影响最终结果。
3、参数优化。
未知攻击检测模型的训练阶段，仅训练第二解码器，训练目标为重构流量样本的后验概率最大，训练的损失函数为：
L(θ,x,y)＝-logpθ(x|z,y)∝||x-μθ(z,y)||2
为简单起见，损失函数的形式也可以直接取为||x-μθ(z,y)||2，并利用随机梯度下降法对解码器参数θ进行优化更新。
四、测试阶段。
前文介绍了两个阶段所涉及的编解码器，以及它们的训练过程。相对应的，测试阶段也分为两个阶段。利用输入的网络流量
Figure BDA0002380243590000069
和训练好的模型，判断流量类型
Figure BDA00023802435900000610
Figure BDA00023802435900000611
其中k+1表示未知攻击，在在这个过程中，网络流量
Figure BDA00023802435900000612
已知，流量类型
Figure BDA00023802435900000613
未知。
测试阶段如图1～图3右侧部分所示，主要分为如下两个阶段。
1、已知类别分类。
对于待测流量
Figure BDA00023802435900000614
通过先验编码器pα(z|x)得到待测流量的特征
Figure BDA00023802435900000615
满足的高斯分布的均值与方差
Figure BDA0002380243590000061
通过重参数化技术得到特征
Figure BDA0002380243590000062
Figure BDA0002380243590000063
第一解码器pγ(y|z,x)根据待测流量的特征
Figure BDA00023802435900000616
计算待测流量
Figure BDA00023802435900000617
属于各已知类别的概率
Figure BDA0002380243590000064
选择概率最大值对应的类别
Figure BDA00023802435900000618
作为预测结果：
Figure BDA0002380243590000065
2、未知攻击检测。
训练好的未知攻击检测模型，用于对基于条件变分自编码器的分类器的预测结果进行校验。
通过后验编码器qβ(z|x,y)利用预测到的类别
Figure BDA0002380243590000066
与待测流量
Figure BDA0002380243590000067
得到待测流量的特征
Figure BDA0002380243590000068
满足的高斯分布的均值与方差
Figure BDA0002380243590000071
通过重参数化技术得到特征
Figure BDA0002380243590000072
Figure BDA0002380243590000073
第二解码器pθ(x|z,y)利用特征
Figure BDA0002380243590000078
重构流量
Figure BDA0002380243590000079
得到均值参数
Figure BDA0002380243590000074
Figure BDA0002380243590000075
利用均值
Figure BDA00023802435900000710
计算重构误差：
Figure BDA0002380243590000076
比较重构误差r，与训练过程中属于类别
Figure BDA00023802435900000711
的所有原始网络流量的重构误差中的最大值
Figure BDA0002380243590000077
之间的大小；若重构误差r较小，则认为待测流量
Figure BDA00023802435900000712
属于类别
Figure BDA00023802435900000713
否则，认为待测流量
Figure BDA00023802435900000714
属于未知攻击。
以上为本发明实施例所提供方法的主要方案，下面结合示例进行说明。
如图4所示，在训练阶段，首先利用交换机流量镜像技术旁路出网络流量，利用商业或者开源入侵检测工具对流量进行标注，同时利用CICFlowMeter工具将流量按五元组(源ip，目的ip，源端口，目的端口，协议号)提取流量的行为统计特征。用83种不同的特征来描述一条网络流量，包括前向和反向的持续时间，数据包个数、总的字节数、数据包长度等。将入侵检测工具和CICFlowMeter的结果进行匹配，得到流量行为统计特征加标签的训练数据集。利用训练集中的正常流量和已知攻击流量训练已知攻击分类模型，然后用训练好的编码器的输出作为输入，训练未知攻击检测模型。
在测试阶段，首先利用交换机流量镜像技术旁路出网络流量，这时流量中包含正常流量，训练阶段出现过的已知攻击流量，同时可能包含训练阶段未出现过的未知攻击流量。利用CICFlowMeter工具提取网络流量的行为统计特征，分别输入训练好的已知攻击分类模型首先将流量按照已知的流量类型进行分类，然后将网络流量和识别结果输入未知攻击检测模型，校验分类结果，判断该流量属于正常流量或者某一类具体的已知攻击类型或者未知攻击。
本发明在CICIDS2017数据集上进行了验证，CICIDS2017包含正常流量和14种最新的常见攻击流量。我们选择其中的6种攻击类型作为未知攻击，这6种攻击样本只出现于测试集中；剩余的正常流量和8种攻击流量按照80％-20％的比例生成训练集和测试集。利用该数据集分别训练已知攻击分类和未知攻击检测模型，然后在测试集上分别测试了识别准确率。如图5所示，benign表示正常流量类别，unknown attack表示未知攻击，其余8种为已知攻击类别，其中横坐标表示预测类别，纵坐标表示真实类别，矩阵对角线表示预测正确的样本占该类样本的比例。由图5可以看出，本发明在已知攻击的检测上保持了较高的准确率，同时未知攻击检测的准确率高达87％。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于条件变分自编码器的未知网络攻击检测方法，其特征在于，包括：
利用已知类别的流量训练基于条件变分自编码器的分类器，并在此基础上训练未知攻击检测模型；基于条件变分自编码器的分类器包括先验编码器、后验编码器以及第一解码器，训练阶段后验编码器的输出作为先验编码器的监督信号；未知攻击检测模型包括：第二解码器，以及基于条件变分自编码器的分类器中后验编码器；
对于待测流量
Figure FDA0002380243580000011
通过先验编码器得到待测流量的特征
Figure FDA0002380243580000012
第一解码器根据待测流量的特征
Figure FDA0002380243580000013
计算属于各已知类别的概率，选择概率最大值对应的类别
Figure FDA0002380243580000014
作为预测结果；
通过后验编码器利用预测到的类别
Figure FDA0002380243580000015
与待测流量
Figure FDA0002380243580000016
得到待测流量的特征
Figure FDA0002380243580000017
第二解码器利用待测流量的特征
Figure FDA0002380243580000018
进行重构，得到待测流量
Figure FDA0002380243580000019
关于类别
Figure FDA00023802435800000110
的重构流量
Figure FDA00023802435800000111
并通过比较重构流量
Figure FDA00023802435800000112
与待测流量
Figure FDA00023802435800000113
的误差大小来判断待测流量
Figure FDA00023802435800000114
是否为未知攻击。
2.根据权利要求1所述的一种基于条件变分自编码器的未知网络攻击检测方法，其特征在于，
先验编码器pα(z|x)，用于在给定原始网络流量x后，输出关于特征z满足高斯分布的均值与方差μα(x)，
Figure FDA00023802435800000115
二者均为关于原始网络流量x与编码器参数α的函数；
后验编码器qβ(z|x，y)，用于在给定原始网络流量x与对应的类别y后，输出关于特征z满足高斯分布的均值与方差μβ(x，y)，diag(τβ 2(x，y))，二者均为关于原始网络流量x和对应类别y以及编码器参数β的函数；
基于条件变分自编码器的分类器的训练阶段，使用后验编码器qβ(z|x，y)的输出作为先验编码器pα(z|x)的监督信号，使得先验编码器pα(z|x)输出趋近后验编码器qβ(z|x，y)的输出；
基于后验编码器qβ(z|x，y)的输出，重参数化技术获得原始网络流量的特征z作为第一解码器pγ(y|z，x)的输入的一部分，重参数化过程首先从标准正态分布采样一个值ε，然后利用该采样值计算特征z：
z＝μβ(x，y)+diag(σβ(x，y))*ε，ε～N(0，1)
第一解码器pγ(y|z，x)的输入还包含原始网络流量x，输出原始网络流量x对应的概率分布π＝[π0，π1，...，πk]，其中，πj表示原始网络流量x属于第j类的概率，j＝0，1，...，k；j＝0，类别y表示正常类别，j＝1，...，k，表示已知攻击类别，j的数值对应了具体的类别，k为类已知攻击类别总数。
3.根据权利要求2所述的一种基于条件变分自编码器的未知网络攻击检测方法，其特征在于，对于先验编码器、后验编码器以及第一解码器中的参数α，β，γ，训练过程采用变分贝叶斯方法进行参数优化，训练的损失函数为：
Figure FDA0002380243580000021
其中，KL(qβ(z|x，y)||pα(z|x))表示后验编码器qβ(z|x，y)的输出与先验编码器pα(z|x)的输出之间的KL散度。
4.根据权利要求1或2所述的一种基于条件变分自编码器的未知网络攻击检测方法，其特征在于，未知攻击检测模型直接利用训练好的基于条件变分自编码器的分类器中的后验编码器qβ(z|x，y)；
未知攻击检测模型的训练阶段，后验编码器qβ(z|x，y)将根据输入的原始网络流量x与对应的类别y，输出关于原始网络流量x的特征z满足高斯分布的均值与方差μβ(x，y)，diag(σβ 2(x，y))；通过重参数化技术获得原始网络流量的特征z：
z＝μβ(x，y)+diag(σβ(x，y))*ε，ε～N(0，1)
第二解码器pθ(x|z，y)，根据原始网络流量x对应的类别y以及重参数化技术获得的原始网络流量的特征z，输出为满足高斯分布的均值参数μθ(z，y)，均值参数μθ(z，y)为关于原始网络流量x和对应类别y以及解码器参数θ的函数。
5.根据权利要求4所述的一种基于条件变分自编码器的未知网络攻击检测方法，其特征在于，未知攻击检测模型的训练阶段，仅训练第二解码器，训练的损失函数为：
L(θ，x，y)＝-logpθ(x|z，y)∝||x-μθ(z，y)||2
其中，∝为成正比例符号；
利用随机梯度下降法对解码器参数θ进行优化更新。
6.根据权利要求1所述的一种基于条件变分自编码器的未知网络攻击检测方法，其特征在于，
对于待测流量
Figure FDA0002380243580000024
通过先验编码器得到待测流量的特征
Figure FDA0002380243580000025
满足的高斯分布的均值与方差
Figure FDA0002380243580000026
通过重参数化技术得到特征
Figure FDA0002380243580000027
Figure FDA0002380243580000022
第一解码器根据待测流量的特征
Figure FDA0002380243580000028
计算待测流量
Figure FDA0002380243580000029
属于各已知类别的概率
Figure FDA00023802435800000210
Figure FDA00023802435800000211
选择概率最大值对应的类别
Figure FDA00023802435800000212
作为预测结果：
Figure FDA0002380243580000023
训练好的未知攻击检测模型，用于对基于条件变分自编码器的分类器的预测结果进行校验；通过后验编码器利用预测到的类别
Figure FDA0002380243580000034
与待测流量
Figure FDA0002380243580000035
得到待测流量的特征
Figure FDA0002380243580000036
满足的高斯分布的均值与方差
Figure FDA0002380243580000037
通过重参数化技术得到特征
Figure FDA0002380243580000038
Figure FDA0002380243580000031
第二解码器利用特征
Figure FDA0002380243580000039
重构流量
Figure FDA00023802435800000310
得到均值参数
Figure FDA00023802435800000311
Figure FDA0002380243580000032
利用均值
Figure FDA00023802435800000312
计算重构误差：
Figure FDA0002380243580000033
比较重构误差r，与训练过程中属于类别
Figure FDA00023802435800000313
的所有原始网络流量的重构误差中的最大值
Figure FDA00023802435800000314
之间的大小；
若重构误差r较小，则认为待测流量
Figure FDA00023802435800000315
属于类别
Figure FDA00023802435800000316
否则，认为待测流量
Figure FDA00023802435800000317
属于未知攻击。
CN202010080796.1A 2020-02-05 2020-02-05 一种基于条件变分自编码器的未知网络攻击检测方法 Active CN111314331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010080796.1A CN111314331B (zh) 2020-02-05 2020-02-05 一种基于条件变分自编码器的未知网络攻击检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010080796.1A CN111314331B (zh) 2020-02-05 2020-02-05 一种基于条件变分自编码器的未知网络攻击检测方法

Publications (2)

Publication Number Publication Date
CN111314331A true CN111314331A (zh) 2020-06-19
CN111314331B CN111314331B (zh) 2020-11-03

Family

ID=71146999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080796.1A Active CN111314331B (zh) 2020-02-05 2020-02-05 一种基于条件变分自编码器的未知网络攻击检测方法

Country Status (1)

Country Link
CN (1) CN111314331B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967502A (zh) * 2020-07-23 2020-11-20 电子科技大学 一种基于条件变分自编码器的网络入侵检测方法
CN111988306A (zh) * 2020-08-17 2020-11-24 北京邮电大学 基于变分贝叶斯的网内DDoS攻击流量检测方法和系统
CN112637210A (zh) * 2020-12-24 2021-04-09 四川虹微技术有限公司 数据检测方法、装置、电子设备及可读存储介质
CN112668688A (zh) * 2020-12-30 2021-04-16 江西理工大学 一种入侵检测方法、系统、设备及可读存储介质
CN113179264A (zh) * 2021-04-26 2021-07-27 哈尔滨工业大学 网络化控制系统中数据传输的攻击检测方法
CN113395276A (zh) * 2021-06-10 2021-09-14 广东为辰信息科技有限公司 基于自编码器能量检测的网络入侵检测方法
CN113542222A (zh) * 2021-06-16 2021-10-22 浙江工业大学 一种基于双域vae的零日多步威胁识别方法
CN113536299A (zh) * 2021-07-08 2021-10-22 浙江网安信创电子技术有限公司 一种基于贝叶斯神经网络的入侵检测系统的设计方法
CN114548428A (zh) * 2022-04-18 2022-05-27 杭州海康威视数字技术股份有限公司 基于实例重构的联邦学习模型智能攻击检测方法及装置
CN114664311A (zh) * 2022-03-01 2022-06-24 浙江大学 一种记忆网络增强的变分推断无声攻击检测方法
CN114679308A (zh) * 2022-03-21 2022-06-28 山东大学 一种基于双路自编码的未知流量识别方法及系统
CN114726614A (zh) * 2022-04-06 2022-07-08 广东工业大学 一种基于条件变分自编码器和SENet的XSS攻击检测方法
CN114844666A (zh) * 2022-03-16 2022-08-02 西安交通大学 网络流量分析与重构方法及装置
CN116056087A (zh) * 2023-03-31 2023-05-02 国家计算机网络与信息安全管理中心 网络攻击检测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543735A (zh) * 2018-11-14 2019-03-29 北京工商大学 视频拷贝检测方法及其系统
US20190199743A1 (en) * 2017-12-22 2019-06-27 Robert Bosch Gmbh Method and device for recognizing anomalies in a data stream of a communication network
CN110691100A (zh) * 2019-10-28 2020-01-14 中国科学技术大学 基于深度学习的分层网络攻击识别与未知攻击检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190199743A1 (en) * 2017-12-22 2019-06-27 Robert Bosch Gmbh Method and device for recognizing anomalies in a data stream of a communication network
CN109543735A (zh) * 2018-11-14 2019-03-29 北京工商大学 视频拷贝检测方法及其系统
CN110691100A (zh) * 2019-10-28 2020-01-14 中国科学技术大学 基于深度学习的分层网络攻击识别与未知攻击检测方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967502A (zh) * 2020-07-23 2020-11-20 电子科技大学 一种基于条件变分自编码器的网络入侵检测方法
CN111967502B (zh) * 2020-07-23 2021-09-24 电子科技大学 一种基于条件变分自编码器的网络入侵检测方法
CN111988306A (zh) * 2020-08-17 2020-11-24 北京邮电大学 基于变分贝叶斯的网内DDoS攻击流量检测方法和系统
CN112637210B (zh) * 2020-12-24 2022-03-22 四川虹微技术有限公司 数据检测方法、装置、电子设备及可读存储介质
CN112637210A (zh) * 2020-12-24 2021-04-09 四川虹微技术有限公司 数据检测方法、装置、电子设备及可读存储介质
CN112668688A (zh) * 2020-12-30 2021-04-16 江西理工大学 一种入侵检测方法、系统、设备及可读存储介质
CN113179264A (zh) * 2021-04-26 2021-07-27 哈尔滨工业大学 网络化控制系统中数据传输的攻击检测方法
CN113179264B (zh) * 2021-04-26 2022-04-12 哈尔滨工业大学 网络化控制系统中数据传输的攻击检测方法
CN113395276A (zh) * 2021-06-10 2021-09-14 广东为辰信息科技有限公司 基于自编码器能量检测的网络入侵检测方法
CN113395276B (zh) * 2021-06-10 2022-07-26 广东为辰信息科技有限公司 基于自编码器能量检测的网络入侵检测方法
CN113542222A (zh) * 2021-06-16 2021-10-22 浙江工业大学 一种基于双域vae的零日多步威胁识别方法
CN113542222B (zh) * 2021-06-16 2023-07-25 浙江工业大学 一种基于双域vae的零日多步威胁识别方法
CN113536299A (zh) * 2021-07-08 2021-10-22 浙江网安信创电子技术有限公司 一种基于贝叶斯神经网络的入侵检测系统的设计方法
CN114664311A (zh) * 2022-03-01 2022-06-24 浙江大学 一种记忆网络增强的变分推断无声攻击检测方法
CN114844666A (zh) * 2022-03-16 2022-08-02 西安交通大学 网络流量分析与重构方法及装置
CN114844666B (zh) * 2022-03-16 2023-06-06 西安交通大学 网络流量分析与重构方法及装置
CN114679308A (zh) * 2022-03-21 2022-06-28 山东大学 一种基于双路自编码的未知流量识别方法及系统
CN114679308B (zh) * 2022-03-21 2023-04-07 山东大学 一种基于双路自编码的未知流量识别方法及系统
CN114726614A (zh) * 2022-04-06 2022-07-08 广东工业大学 一种基于条件变分自编码器和SENet的XSS攻击检测方法
CN114548428A (zh) * 2022-04-18 2022-05-27 杭州海康威视数字技术股份有限公司 基于实例重构的联邦学习模型智能攻击检测方法及装置
CN116056087A (zh) * 2023-03-31 2023-05-02 国家计算机网络与信息安全管理中心 网络攻击检测方法、装置及设备

Also Published As

Publication number Publication date
CN111314331B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111314331B (zh) 一种基于条件变分自编码器的未知网络攻击检测方法
CN110691100B (zh) 基于深度学习的分层网络攻击识别与未知攻击检测方法
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN111343147B (zh) 一种基于深度学习的网络攻击检测装置及方法
CN115269357B (zh) 一种基于调用链的微服务异常检测方法
CN112131575B (zh) 一种基于分类错误率和一致性预测的概念漂移检测方法
CN114254716B (zh) 一种基于用户行为分析的高危操作识别方法及系统
CN111597340A (zh) 一种文本分类方法及装置、可读存储介质
CN117041017B (zh) 数据中心的智能运维管理方法及系统
CN114422184A (zh) 基于机器学习的网络安全攻击类型和威胁等级预测方法
CN113554094A (zh) 网络异常检测方法、装置、电子设备及存储介质
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
CN116662817B (zh) 物联网设备的资产识别方法及系统
CN113225346A (zh) 一种基于机器学习的网络运维态势评估方法
CN114915575B (zh) 一种基于人工智能的网络流量检测装置
CN114139624A (zh) 一种基于集成模型挖掘时间序列数据相似性信息的方法
CN113537321A (zh) 一种基于孤立森林和x均值的网络流量异常检测方法
Chou et al. SHM data anomaly classification using machine learning strategies: A comparative study
Zhang et al. Robust KPI anomaly detection for large-scale software services with partial labels
CN114254146A (zh) 图像数据的分类方法、装置和系统
CN113065395A (zh) 一种基于生成对抗网络的雷达目标新类检测方法
CN114424212A (zh) 基于距离的学习置信度模型
CN117118693A (zh) 异常流量的检测方法、装置、计算机设备和存储介质
WO2023231374A1 (zh) 机械设备半监督故障检测分析方法、装置、终端及介质
Sun et al. Air leakage detection of pneumatic train door subsystems using open set recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant