CN117118693A - 异常流量的检测方法、装置、计算机设备和存储介质 - Google Patents
异常流量的检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117118693A CN117118693A CN202311038177.6A CN202311038177A CN117118693A CN 117118693 A CN117118693 A CN 117118693A CN 202311038177 A CN202311038177 A CN 202311038177A CN 117118693 A CN117118693 A CN 117118693A
- Authority
- CN
- China
- Prior art keywords
- flow
- sample
- inputting
- abnormal
- support vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 240
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 title claims description 34
- 239000013598 vector Substances 0.000 claims abstract description 237
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims description 52
- 230000009466 transformation Effects 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 230000007547 defect Effects 0.000 abstract description 4
- 230000004913 activation Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000006399 behavior Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000287196 Asthenes Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种异常流量的检测方法、装置、计算机设备和存储介质。所述方法包括:先获取待检测会话流的统计信息,再将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量,再将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量,并将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。上述方法对已知异常流量和正常流量中的未知异常流量进行识别,弥补了现有技术无法对未知异常流量进行识别的不足。
Description
技术领域
本申请涉及网络安全技术领域,特别是涉及一种异常流量的检测方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的迅猛发展,工业控制系统(Industrial Control System,ICS)不再采用传统的物理隔离方式,而是越来越多地与外界网络连接,这让其更易受到网络攻击,因此,工业控制系统的入侵检测成为了信息安全领域的研究热点之一。
异常流量检测是入侵检测任务中一个重要的组成部分,异常流量是指流量偏离正常操作的情况。目前,主流的异常流量检测方法主要是异常检测,异常检测是对正常流量行为进行建模,并基于正常流量行为模型实时监控网络流量和系统事件,如果检测到与正常行为模型不符的行为,则被视为入侵行为,该方法可以检测出少许未知的异常流量,但是其误报率和漏报率较高,同时也无法对异常流量进行细粒度分类。
因此,上述异常流量检测方法存在对未知异常流量检测准确度低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高未知异常流量检测准确度的异常流量的检测方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种异常流量的检测方法。所述方法包括:
获取待检测会话流的统计信息;统计信息包括会话流的统计特征和统计特征对应的隐变量向量;
将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量;
将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量;
将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。
在其中一个实施例中,上述获取待检测的会话流的统计信息,包括:
提取会话流的统计特征;
将统计特征输入至编码器中进行向量编码,得到统计特征对应的隐变量向量。
在其中一个实施例中,上述方法还包括:
对统计特征和隐变量向量进行拼接,得到目标统计信息;
将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量,包括:
将目标统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量;
将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量,包括:
将目标统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量;
将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量,包括:
将目标统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。
在其中一个实施例中,上述方法还包括:
获取样本会话流的样本统计信息;样本统计信息包括样本会话流的样本统计特征和样本统计特征对应的隐变量向量;
将样本统计信息输入至多层感知机模型进行会话流分类,得到样本会话流的多个类别的已知样本异常流量和多个类别的样本正常流量;
基于各类别的已知样本异常流量对第一初始支持向量数据表达模型进行训练,得到各类别的已知样本异常流量分别对应的各第一支持向量数据表达模型;
基于各类别的样本正常流量对第二初始支持向量数据表达模型进行训练,得到各第二支持向量数据表达模型。
在其中一个实施例中,上述基于各类别的已知样本异常流量对第一初始支持向量数据表达模型进行训练,得到各类别的已知样本异常流量分别对应的各第一支持向量数据表达模型,包括:
将各类别的已知样本异常流量分别输入至第一初始支持向量数据表达模型进行训练,得到各类别的已知样本异常流量分别对应的各第一支持向量数据表达模型。
在其中一个实施例中,上述基于各类别的样本正常流量对第二初始支持向量数据表达模型进行训练,得到各类别的样本正常流量分别对应的各第二支持向量数据表达模型,包括:
将各类别的所述已知样本异常流量分别输入至第二初始支持向量数据表达模型进行训练,得到各类别的样本正常流量分别对应的各第二支持向量数据表达模型。
在其中一个实施例中,上述方法还包括:
将统计特征输入至初始编码网络进行向量编码训练,得到编码器;初始编码网络包括输入层、初始编码器、隐变量空间、初始解码器和输出层。
在其中一个实施例中,上述将统计特征输入至初始编码网络进行向量编码训练,得到编码器,包括:
将统计特征输入至输入层进行第一线性变换,得到第一中间信息;
将第一中间信息输入至初始编码器进行编码,得到第一向量;
对第一向量输入至隐变量空间进行重参数化,得到第二向量;第二向量为统计特征对应的隐变量向量;
将第二向量输入至初始解码器进行解码,得到第二中间信息;
将第二中间信息输入至输出层进行第二线性变换,得到变换之后的统计特征;
将统计特征和变换之后的统计特征输入至预设均方误差函数中,得到目标损失值,并根据目标损失值对初始编码器和初始解码器进行训练,得到编码器。
第二方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待检测会话流的统计信息;统计信息包括会话流的统计特征和统计特征对应的隐变量向量;
将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量;
将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量;
将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。
第三方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待检测会话流的统计信息;统计信息包括会话流的统计特征和统计特征对应的隐变量向量;
将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量;
将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量;
将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。
上述异常流量的检测方法、装置、计算机设备和存储介质,先获取待检测会话流的统计信息,将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量,将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量;将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。上述方法分别对待测会话流进行分类和检测,在保证对会话流中的已知异常流量和正常流量进行分类的同时,还进一步对已知异常流量和正常流量中的未知异常流量进行识别,弥补了现有技术无法对未知异常流量进行识别的不足。另外,本方案中采用的多层感知机模型和支持向量数据表达模型均是基于聚类后的多个正常流量和多个已知异常流量进行分类和检测的,这足以提高已知异常流量和正常流量分类的细粒度,同时降低正常流量的误报率,从而进一步提高异常流量检测的准确度。
附图说明
图1为一个实施例中异常流量的检测方法的应用环境图;
图2为一个实施例中异常流量的检测方法的流程示意图;
图3为一个实施例中多层感知机模型的结构示意图;
图4为图2实施例中S201步骤的流程示意图;
图5为一个实施例中编码器模型的结构示意图;
图6为一个实施例中训练编码器的流程示意图;
图7为图2实施例中S201步骤的另一个流程示意图;
图8为一个实施例中异常流量的检测方法的训练过程;
图9为另一个实施例中异常流量的检测方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
随着信息技术的迅猛发展,工业控制系统(Industrial Control System,ICS)已经不再采用传统的物理隔离方式,而是越来越多地与外界网络连接,尽管这种做法大大提高了ICS的生产效率,但同时也让其更易受到攻击。因此,在现代工业的智能化和自动化发展要求下,ICS入侵检测研究成为了信息安全领域的研究热点之一。
入侵检测的方法主要是先通过监控网络流量和系统事件,然后对监控结果进行分析,以发现异常行为或已知的攻击行为,异常流量检测是入侵检测任务中一个重要的组成部分。目前,主流的异常流量检测方法包括误用检测和异常检测。误用检测对异常流量行为进行建模,使用已知的攻击特征来匹配实时监测到的网络流量或系统事件,从而判断是否存在入侵行为,该方法能够高效地检测已知的异常流量,但是无法检测出未知的异常流量;异常检测对正常流量行为进行建模,它建立正常行为模型并监控实时的网络流量和系统事件,如果检测到与正常行为模型不符的行为,则被视为入侵行为,该方法可以检测出少许未知的异常流量,但是其误报率和漏报率较高,同时也无法对异常流量进行细粒度分类。然而,上述异常流量检测方法存在对未知异常流量检测准确度低的问题。本申请旨在解决该问题。
在上述介绍完本申请实施例提供的异常流量的检测方法的背景技术之后,下面,将对本申请实施例提供的异常流量的检测方法所涉及到的实施环境进行简要说明。本申请实施例提供的异常流量的检测方法,可以应用于如图1所示的计算机设备中。该计算机设备包括通过系统总线连接的处理器、存储器,该存储器中存储有计算机程序,处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的,该计算机设备还可以包括输入/输出接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于与外部的终端通过网络连接通信。可选的,该计算机设备可以是服务器,可以是个人计算机,还可以是个人数字助理,还可以是其他的终端设备,例如平板电脑、手机等等,还可以是云端或者远程服务器,本申请实施例对计算机设备的具体形式并不做限定。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
上述介绍了本申请实施例提供的异常流量的检测方法的应用场景后,下面重点介绍本申请所述的异常流量的检测方法。
在一个实施例中,如图2所示,提供了一种异常流量的检测方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
S201、获取待检测会话流的统计信息。
其中,会话流即为云边协同工业控制系统中捕获到的流量数据,每个会话流即是一个完整的传输控制协议和网络协议(Transmission Control Protocol/InternetProtocol,TCP/IP)通信过程;统计信息包括会话流的统计特征和统计特征对应的隐变量向量,会话流的统计特征包括数据包负载字节数、数据包头字节数、数据包/字节流速、数据包间隔时间、TCP标志、子流、流活动/空闲时间和有效负载数据包个数等;统计特征对应的隐变量向量为对会话流的统计特征进行向量处理后得到的向量,向量处理的过程可以包括编码解码处理或者输入预设的向量变换的模型中进行处理等。
本申请实施例中,在需要对云边协同工业控制系统中捕获到的会话流进行异常流量检测时,计算机设备先获取云边协同工业控制系统中的待检测会话流,并对待检测会话流依次进行特征提取及向量变换操作,以得到待检测会话流的统计信息。
S202、将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量。
其中,多层感知机模型可以为预先训练好的用于将待检测会话流的统计信息分类为已知异常流量和正常流量的分类模型。
本申请实施例中,在上述获取到待检测会话流的统计信息之后,可以将统计信息输入至预先训练好的多层感知机模型进行会话流分类,进而得到会话流的多个类别的已知异常流量和多个类别的正常流量。
可选的,上述多层感知机模型的结构示意图如图3所示,其中,为待检测会话流的统计特征,xi为待检测会话流的第i个统计特征,n为待检测会话流的统计特征的个数,/>为统计特征X对应的隐变量向量,hi为统计特征X对应的隐变量向量的第i维变量,k为统计特征X对应的隐变量向量的维数,通常情况下,隐变量向量的维度要小于会话流统计特征的维度,即k<n,Y=/>为输入隐藏层向量,yi为输入隐藏层向量的第i维变量,m为输入隐藏层向量的维数,/>为经过激活函数激活之后的隐藏层向量,/>为经过激活函数激活之后的隐藏层向量的第i维变量,m为经过激活函数激活之后的隐藏层向量的维数,/>为经过线性变换之后的隐藏层向量,zi为经过线性变换之后的隐藏层向量的第i维变量,N+M为经过线性变换之后的隐藏层向量的维数,{B1,B2,…,BN,A1,A2,…,AM}为经过Softmax函数之后的分类概率值,其中{B1,B2,…,BN}为多个类别的正常流量的分类概率值,{A1,A2,…,AM}为多个类别的已知异常流量的分类概率值。
进一步地,将统计信息输入至训练好的多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量的过程描述如下:
步骤一、将待检测会话流的统计信息(包括会话流的统计特征和统计特征对应的隐变量向量/>)输入至多层感知机模型的输入层进行拼接,得到拼接后的向量XH∈Rn+k,然后对拼接后的向量XH∈Rn+k进行线性变换,得到输入隐藏层向量
步骤二、将上述步骤一得到的输入隐藏层向量输入激活函数进行激活处理,得到经过激活函数激活之后的隐藏层向量/>其中,激活函数可以采用Sigmoid激活函数、Tanh激活函数和ReLU激活函数等;Sigmoid激活函数可以将一个变量映射到(0,1)之间,其可用如下公式(1)表示,公式中的x为变量:
Tanh激活函数可以将一个变量映射到(-1,1)之间,其可用如下公式(2)表示:
ReLU激活函数可以将一个变量映射到(0,1)之间,其可用如下公式(3)表示:
步骤三、对经过激活函数激活之后的隐藏层向量进行线性变换,将其映射为N+M维向量Z∈RN+M;
步骤四、对N+M维向量Z∈RN+M进行Softmax变换,得到待检测会话流的多个类别的已知异常流量{A1,A2,…,AM}和多个类别的正常流量{B1,B2,…,BN}的分类概率值,其中,Softmax变换的过程可以用如下公式(4)表示:
其中,zi为经过线性变换之后的隐藏层向量的第i维变量,zj为经过线性变换之后的隐藏层向量的第j维变量,zN+i为经过线性变换之后的隐藏层向量的第N+i维变量。
S203、将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量。
其中,各类别的已知异常流量即为上述步骤S202中获取到的多个类别的已知异常流量{A1,A2,…,AM}。A1类已知异常流量对应的第一支持向量数据表达模型是将多个标签为A1类已知异常流量输入至支持向量数据表达模型中进行训练得到的,A2类已知异常流量对应的第一支持向量数据表达模型是将多个标签为A2类已知异常流量输入至支持向量数据表达模型中进行训练得到的。各类别的已知异常流量分别对应的各第一支持向量数据表达模型包括A1类已知异常流量对应的第一支持向量数据表达模型、A2类已知异常流量对应的第一支持向量数据表达模型,...,AM类已知异常流量对应的第一支持向量数据表达模型。
本申请实施例中,在上述获取到待检测会话流的统计信息之后,可以将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的未知异常流量,并将各类别的已知异常流量中的未知异常流量进行累加和处理,得到已知异常流量中的第一未知异常流量。
S204、将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。
其中,各类别的正常流量即为上述步骤S202中获取到的多个类别的正常流量{B1,B2,…,BN}。B1类正常流量对应的第二支持向量数据表达模型是将多个标签为B1类正常流量输入至支持向量数据表达模型中进行训练得到的,B2类正常流量对应的第二支持向量数据表达模型是将多个标签为B2类正常流量输入至支持向量数据表达模型中进行训练得到的。各类别的正常流量分别对应的各第二支持向量数据表达模型包括B1类正常流量对应的第二支持向量数据表达模型、B2类正常流量对应的第二支持向量数据表达模型,...,BN类正常流量对应的第二支持向量数据表达模型。
本申请实施例中,在上述获取到待检测会话流的统计信息之后,可以将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中的未知异常流量,并将各类别的正常流量中的未知异常流量进行累加和处理,得到正常流量中的第二未知异常流量。
本申请实施例提供的异常流量的检测方法,先获取待检测会话流的统计信息,将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量,将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量;将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。上述方法分别对待测会话流进行分类和检测,在保证对会话流中的已知异常流量和正常流量进行分类的同时,还进一步对已知异常流量和正常流量中的未知异常流量进行识别,弥补了现有技术无法对未知异常流量进行识别的不足。另外,本方案中采用的多层感知机模型和支持向量数据表达模型均是基于聚类后的多个正常流量和多个已知异常流量进行分类和检测的,这足以提高已知异常流量和正常流量分类的细粒度,同时降低正常流量的误报率,从而进一步提高异常流量检测的准确度。
在一个实施例中,在图2所示实施例的基础上,可以对获取待检测的会话流的统计信息的过程进行描述,如图4所示,上述S201“获取待检测的会话流的统计信息”,包括:
S301、提取会话流的统计特征。
本申请实施例中,在上述获取到云边协同工业控制系统中的待检测会话流之后,计算机设备根据五元组<源IP、源端口、目的IP、目的端口、协议>,对捕获到的会话流进行会话流重组,并提取每条会话流的统计特征。
S302、将统计特征输入至编码器中进行向量编码,得到统计特征对应的隐变量向量。
本申请实施例中,在上述S301提取了会话流的统计特征之后,可以将会话流的统计特征输入至预先训练好的编码器模型中进行向量编码,从而得到统计特征对应的隐变量向量。可选的,上述编码器模型的训练过程可以包括:
将统计特征输入至初始编码网络进行向量编码训练,得到编码器。
其中,如图5所示,初始编码网络包括输入层、初始编码器、隐变量空间、初始解码器和输出层;其中为会话流的统计特征,/>为输入隐藏层向量,φ为编码器的参数,/>为隐变量均值,μi为第i个隐变量均值,k为隐变量均值的个数,为隐变量方差,σi为第i个隐变量方差,/>为标准高斯分布随机采样,/>为隐变量,其中zi=μi+σi·εi,θ为解码器的参数,/>为输出隐藏层向量,/>为输出向量,即重构之后的会话流统计特征,/>为输出向量的第i维变量,n为输出向量的维数;输入层用于对样本会话流的统计信息进行第一线性变换;初始编码器用于对第一线性变换后的样本会话流的统计信息进行编码;隐变量空间用于对编码后的统计信息进行重参数化;初始解码器用于对重参数化后的统计信息进行解码;输出层用于对解码后的统计信息进行第二线性变换。
可选的,如图6所示,下面提供一种将统计特征输入至初始编码网络进行向量编码训练,得到编码器的过程,包括:
S401、将统计特征输入至输入层进行第一线性变换,得到第一中间信息。
在本申请实施例中,将会话流的样本统计信息中的样本统计特征X∈Rn输入至输入层进行第一线性变换,将其转化为第一中间向量,即输入隐藏层向量Y∈Rm,通常情况下,输入隐藏层向量Y的维度比会话流统计特征X的维度大,即m>n。示例性的,上述第一线性变换的过程可以用如下公式(5)表示:
Y=W1X+b1 (5);
其中,W1∈Rm×n为输入层权重,b1∈Rm为输入层偏置,X为会话流的统计特征,Y为会话流的统计特征X经过第一线性变换后输出的第一中间信息。
S402、将第一中间信息输入至初始编码器进行编码,得到第一向量。
其中,初始编码器由均值编码器和方差编码器组成,均值编码器为每个样本生成在隐变量空间中特定的均值向量方差编码器为每个样本生成在隐变量空间中特定的方差向量/>初始编码器的结构可以采用多层感知机、卷积神经网络、Transformer等模型。
本申请实施例中,在上述获取到第一中间信息之后,将第一中间信息输入至初始编码器进行编码,得到编码后的第一向量。
S403、将第一向量输入至隐变量空间进行重参数化,得到第二向量。
本申请实施例中,在上述获取到第一向量之后,将第一向量输入至隐变量空间进行重参数化,得到重参数化后的第二向量。需要说明的是,为了分离随机变量的不确定性,需要首先在标准高斯分布N(0,1)中随机采样k个点,记为然后通过重参数化技巧zi=μi+σi·εi,完成对隐变量向量Z∈Rk的采样,隐变量向量Z的维度通常小于统计特征X的维度,即k<n。
S404、将第二向量输入至初始解码器进行解码,得到第二中间信息。
本申请实施例中,在上述获取到第二向量之后,将第二向量输入至初始解码器进行解码,得到解码后的第二中间信息,即输出隐藏层向量其维度通常与输入隐藏层向量Y的维度相同,初始解码器的结构可以采用多层感知机、卷积神经网络、长短期记忆网络等模型。
S405、将第二中间信息输入至输出层进行第二线性变换,得到变换之后的统计特征。
本申请实施例中,在上述获取到第二中间信息之后,将第二中间信息输入至输出层进行第二线性变换,得到变换之后的统计特征,即重构之后的统计特征示例性的,上述第二线性变换的过程可以用如下公式(6)表示:
其中,W2∈Rn×m为输出层权重,b2∈Rn为输出层偏置,表示第二中间信息,即输出隐藏层向量,/>为变换之后的统计特征,即重构之后的统计特征。
S406、将统计特征和变换之后的统计特征输入至预设均方误差函数中,得到目标损失值,并根据目标损失值对初始编码器和初始解码器进行训练,得到编码器。
本申请实施例中,在上述获取到目标统计信息之后,将目标统计信息和样本统计信息同时输入至预设的均方误差函数中,得到目标损失值,并根据目标损失值对初始编码器和初始解码器的参数进行多次修正,多次迭代训练之后,最终得到最优的编码器参数φ,后续可以根据优化后的编码器计算统计特征的隐变量向量。可选的,采用的均方误差(MeanSquare Error,MSE)作为损失函数,如下式(7)所示:
其中,MSE Loss为均方误差值,n表示待检测会话流的统计特征的个数,表示重构之后的统计特征,xi表示待检测会话流的第i个统计特征。
进一步的,在将样本统计信息输入至初始编码网络进行向量编码训练之前,还需要对正常流量进行无监督聚类,即将正常流量聚类为几个不同的子类,并为每个子类设置单独的标签{B1,B2,…,BN},以降低正常流量的误报率。需要说明的是无监督聚类的方法包括:K-Means、DBSCAN等。
另外,还需要将异常流量划分为已知异常流量和未知异常流量:即假设目前共有M+K类异常流量,选择其中M类作为已知异常流量,记为{A1,A2,…,AM},剩余K类作为未知异常流量,合并记为U;训练集中只包含已知异常流量,测试集中既有已知异常流量,也有未知异常流量;最终的数据标签如下,训练集{B1,B2,…,BN,A1,A2,…,AM},测试集{B,A1,A2,…,AM,U},在测试的时候,若一个样本被分类为{B1,B2,…,BN}中的任意一个,那么会将其转化为B。
在另一优选的实施例中,在上述S301提取了会话流的统计特征之后,可以对会话流的统计特征进行标准化操作,得到标准化之后的统计特征,并将标准化之后的统计特征输入至预先训练好的编码器模型进行编码,从而得到统计特征对应的隐变量向量;可选的,标准化操作的过程如下公式(8)所示,
其中,μ是样本数据的均值,σ是样本数据的标准差,x是原始数据,xnew是标准化之后的数据。
本申请实施例提供的异常流量的检测方法,利用训练好的编码器模块提取统计特征的隐变量向量,进一步提高了异常流量检测的准确度。
在一个实施例中,在上述图4实施例的基础上,如图7所示,上述方法还包括:
S303、对统计特征和隐变量向量进行拼接,得到目标统计信息。
本申请实施例中,在上述获取到会话流的统计特征X∈Rn和统计特征对应的隐变量向量H=φ(X)∈Rk之后,将会话流的统计特征X∈Rn的最后一个特征和统计特征对应的隐变量向量H=φ(X)∈Rk的第一个向量进行拼接,得到目标统计信息XH∈Rn+k。
进一步地,S202“将统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量”,包括:
S202、将目标统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量。
进一步地,S203“将统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量”,包括:
S203、将目标统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量。
进一步地,S204“将统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量”,包括:
S204、将目标统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。
本申请实施例提供的异常流量的检测方法,将统计特征与统计特征的隐变量向量进行拼接,进一步提高了异常流量检测的准确度。
在一个实施例中,如图8所示,还提供了一种上述异常流量的检测方法的训练过程,包括:
S501、获取样本会话流的样本统计信息。
其中,样本会话流即为云边协同工业控制系统中捕获到的流量数据,每个样本会话流即是一个完整的传输控制协议和网络协议(Transmission Control Protocol/Internet Protocol,TCP/IP)通信过程;样本统计信息包括样本会话流的样本统计特征和样本统计特征对应的隐变量向量,样本会话流的样本统计特征包括数据包负载字节数、数据包头字节数、数据包/字节流速、数据包间隔时间、TCP标志、子流、流活动/空闲时间和有效负载数据包个数等;样本统计特征对应的隐变量向量为对样本会话流的样本统计特征进行向量处理后得到的向量,向量处理的过程可以包括编码解码处理或者输入预设的向量变换的模型中进行处理等。
本申请实施例中,在需要对云边协同工业控制系统中捕获到的样本会话流进行异常流量检测时,计算机设备先获取云边协同工业控制系统中的样本会话流,并对待检测样本会话流依次进行特征提取及向量变换操作,以得到待检测样本会话流的样本统计信息。
S502、将样本统计信息输入至多层感知机模型进行会话流分类,得到样本会话流的多个类别的已知样本异常流量和多个类别的样本正常流量。
其中,多层感知机模型可以为预先训练好的用于将待检测会话流的统计信息分类为已知异常流量和正常流量的分类模型。
本申请实施例中,在上述获取到样本统计信息之后,可以将样本统计信息输入至预先训练好的多层感知机模型进行会话流分类,进而得到样本会话流的多个类别的已知异常流量和多个类别的正常流量。可选的,上述多层感知机模型的结构示意图如图3所示,多层感知机模型的分类过程可参见S202步骤,此处不再赘述。
S503、基于各类别的已知样本异常流量对第一初始支持向量数据表达模型进行训练,得到各类别的所述已知样本异常流量分别对应的各第一支持向量数据表达模型。
其中,各类别的已知样本异常流量即为上述步骤S502中获取到的多个类别的已知样本异常流量{a1,a2,…,aM}。a1类已知样本异常流量对应的第一支持向量数据表达模型是将多个标签为a1类已知样本异常流量输入至支持向量数据表达模型中进行训练得到的,a2类已知样本异常流量对应的第一支持向量数据表达模型是将多个标签为a2类已知样本异常流量输入至支持向量数据表达模型中进行训练得到的。各类别的已知样本异常流量分别对应的各第一支持向量数据表达模型包括a1类已知样本异常流量对应的第一支持向量数据表达模型、a2类已知样本异常流量对应的第一支持向量数据表达模型,...,aM类已知样本异常流量对应的第一支持向量数据表达模型。
本申请实施例中,在上述获取到待检测样本会话流的样本统计信息之后,可以将样本统计信息分别输入至各类别的已知样本异常流量对应的第一支持向量数据表达模型进行检测,得到各类别的已知样本异常流量中的未知异常流量,并将各类别的已知样本异常流量中的未知异常流量进行累加和处理,得到各类别的已知样本异常流量分别对应的各第一未知异常流量。
可选地,下面提供一种基于各类别的已知样本异常流量对第一初始支持向量数据表达模型进行训练,得到各类别的所述已知样本异常流量分别对应的各第一支持向量数据表达模型的方法,上述S503“基于各类别的已知样本异常流量对第一初始支持向量数据表达模型进行训练,得到各类别的所述已知样本异常流量分别对应的各第一支持向量数据表达模型”,包括:
将各类别的已知样本异常流量分别输入至第一初始支持向量数据表达模型进行训练,得到各类别的所述已知样本异常流量分别对应的各第一支持向量数据表达模型。可选的,下面给出了一种第一支持向量数据表达模型的训练方法,包括:
步骤一、建立如下公式(9)所示的约束优化问题:
其中,R表示最小化超球体的半径,c表示最小化超球体中心,C表示权衡超球体体积和误分率的惩罚参数,ξi表示松弛因子,||φk(xi)-c||2≤R2+ξi,ξi≥0表示约束条件,xi表示会话流的统计特征和隐变量向量的拼接结果,φk(xi)是一个映射函数,它将会话流的统计特征和隐变量向量的拼接结果映射至一个特征空间中,例如,第一支持向量数据表达模型中的核函数或者神经网络等。
需要说明的是,上述约束优化问题包含两部分目标:第一部分希望最小化超球体的半径R,第二部分希望超球体具备一定的容错能力,理想情况下,当所有数据都位于超球体体内时,经验风险为0。
步骤二、采用拉格朗日松弛法求解上述约束优化问题,为简单起见,这里直接使用xi,不考虑利用φk将其映射至某一个特征空间中,采用拉格朗日松弛法求解上述约束优化问题的过程如下公式(10)所示:
L(R,c,ξ,α,γ)=R2+C∑iξi-∑iai(R2+ξi-xi·xi+2c·xi-c·c)-∑iγiξi (10);
其中,α,γ为最大化参数,αi和γi为预设参数,L(R,c,ξ,α,γ)表示对R,c,ξ,α,γ进行拉格朗日处理。
步骤三、对上述拉格朗日处理后的约束优化问题L(R,c,ξ,α,γ)进行最小化,即minL(R,c,ξ,α,γ),如下公式(11)所示分别对R,c,ξ求导可得:
根据上述求导结果可知,超球体的中心c可以通过所有样本{xi}及其对应的系数{αi}表示,此外,minL(R,c,ξ,α,γ)可看作是最小化参数R,c,ξ,最大化参数α,γ用如下公式(12)表示,即:
步骤四、将上述求导结果带入入L(R,c,ξ,α,γ)进行化简,得到如下公式(13):
进而得到最终的优化目标函数如下公式(14)所示:
其中,αi是样本xi对应的拉格朗日系数。
进一步的,在上述训练过程中,将拉格朗日系数满足0<αi<C的样本称为支持向量,假设训练数据集中属于支持向量的样本集合为SV,那么超球体的球心和半径的计算公式可以用如下公式(15)表示为:
上述公式(11)中,对于测试样本z,若||z-c||2>R2,则z位于超球体外,属于异常样本,若||z-c||2≤R2,则z位于超球体内,属于正常样本。
基于此,训练出的第一支持向量数据表达模型即可从输入的各类别的已知异常流量检测出各类别的已知异常流量中的第一未知异常流量。
本申请实施例中,在上述获取到各类别的已知样本异常流量之后,将各类别的已知样本异常流量分别输入至第一初始支持向量数据表达模型中进行训练,得到各第一支持向量数据表达模型。例如,将a1类样本已知异常流量输入至第二初始支持向量数据表达模型中进行训练,得到a1类样本已知异常流量对应的第二支持向量数据表达模型;又例如,将a2类样本已知异常流量输入至第二初始支持向量数据表达模型中进行训练,得到a2类样本已知异常流量对应的第二支持向量数据表达模型。
S504、基于各类别的样本正常流量对第二初始支持向量数据表达模型进行训练,得到各类别的所述样本正常流量分别对应的各第二支持向量数据表达模型。
其中,各类别的样本正常流量即为上述步骤S202中获取到的多个类别的样本正常流量{b1,b2,…,bN}。b1类样本正常流量对应的第二支持向量数据表达模型是将多个标签为b1类样本正常流量输入至支持向量数据表达模型中进行训练得到的,b2类样本正常流量对应的第二支持向量数据表达模型是将多个标签为b2类样本正常流量输入至支持向量数据表达模型中进行训练得到的。各类别的样本正常流量对应的第二支持向量数据表达模型包括b1类样本正常流量对应的第二支持向量数据表达模型、b2类样本正常流量对应的第二支持向量数据表达模型,...,bN类样本正常流量对应的第二支持向量数据表达模型。
本申请实施例中,在上述获取到待检测样本会话流的样本统计信息之后,可以将样本统计信息分别输入至各类别的样本正常流量对应的第二支持向量数据表达模型进行检测,得到各类别的样本正常流量中的未知异常流量,并将各类别的样本正常流量中的未知异常流量进行累加和处理,得到各类别的样本正常流量分别对应的各第二未知异常流量。
可选地,下面提供一种基于各类别的样本正常流量对第二初始支持向量数据表达模型进行训练,得到各类别的样本正常流量分别对应的各第二支持向量数据表达模型的方法,上述S504“基于各类别的样本正常流量对第二初始支持向量数据表达模型进行训练,得到各类别的样本正常流量分别对应的各第二支持向量数据表达模型”,包括:
将各类别的样本正常流量分别输入至第二初始支持向量数据表达模型进行训练,得到各类别的已知样本异常流量分别对应的各第二支持向量数据表达模型。
需要说明的是,第二支持向量数据表达模型的训练方法与上述第一支持向量数据表达模型的训练方法一致,此处不再赘述。
本申请实施例中,在上述获取到各类别的样本正常流量之后,将各类别的样本正常流量分别输入至第二初始支持向量数据表达模型中进行训练,得到各各类别的样本正常流量分别对应的各第二支持向量数据表达模型。例如,将b1类样本正常流量输入至第二初始支持向量数据表达模型中进行训练,得到b1类样本正常流量对应的第二支持向量数据表达模型;又例如,将b2类样本正常流量输入至第二初始支持向量数据表达模型中进行训练,得到b2类样本正常流量对应的第二支持向量数据表达模型。
在一个实施例中,如图9所示,提供了一个完整的异常流量的检测方法,包括:
S10、提取会话流的统计特征;
S11、将统计特征输入至编码器中进行向量编码,得到统计特征对应的隐变量向量;
S12、对统计特征和隐变量向量进行拼接,得到目标统计信息;
S13、将目标统计信息输入至多层感知机模型进行会话流分类,得到会话流的多个类别的已知异常流量和多个类别的正常流量;
S14、将目标统计信息分别输入至各类别的已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的已知异常流量中的第一未知异常流量;
S15、将目标统计信息分别输入至各类别的正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的正常流量中第二未知异常流量。
上述方法分别对待测会话流进行分类和检测,在保证对会话流中的已知异常流量和正常流量进行分类的同时,还进一步对已知异常流量和正常流量中的未知异常流量进行识别,弥补了现有技术无法对未知异常流量进行识别的不足。另外,本方案中采用的多层感知机模型和支持向量数据表达模型均是基于聚类后的多个正常流量和多个已知异常流量进行分类和检测的,这足以提高已知异常流量和正常流量分类的细粒度,同时降低正常流量的误报率,从而进一步提高异常流量检测的准确度。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的异常流量的检测方法的异常流量的检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个异常流量的检测装置实施例中的具体限定可以参见上文中对于异常流量的检测方法的限定,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种异常流量的检测方法,其特征在于,所述方法包括:
获取待检测会话流的统计信息;所述统计信息包括所述会话流的统计特征和所述统计特征对应的隐变量向量;
将所述统计信息输入至多层感知机模型进行会话流分类,得到所述会话流的多个类别的已知异常流量和多个类别的正常流量;
将所述统计信息分别输入至各类别的所述已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的所述已知异常流量中的第一未知异常流量;
将所述统计信息分别输入至各类别的所述正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的所述正常流量中第二未知异常流量。
2.根据权利要求1所述的方法,其特征在于,所述获取待检测的会话流的统计信息,包括:
提取所述会话流的统计特征;
将所述统计特征输入至编码器中进行向量编码,得到所述统计特征对应的隐变量向量。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
对统计特征和所述隐变量向量进行拼接,得到目标统计信息;
所述将所述统计信息输入至多层感知机模型进行会话流分类,得到所述会话流的多个类别的已知异常流量和多个类别的正常流量,包括:
将所述目标统计信息输入至多层感知机模型进行会话流分类,得到所述会话流的多个类别的已知异常流量和多个类别的正常流量;
所述将所述统计信息分别输入至各类别的所述已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的所述已知异常流量中的第一未知异常流量,包括:
将所述目标统计信息分别输入至各类别的所述已知异常流量分别对应的各第一支持向量数据表达模型进行检测,得到各类别的所述已知异常流量中的第一未知异常流量;
所述将所述统计信息分别输入至各类别的所述正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的所述正常流量中第二未知异常流量,包括:
将所述目标统计信息分别输入至各类别的所述正常流量分别对应的各第二支持向量数据表达模型进行检测,得到各类别的所述正常流量中第二未知异常流量。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本会话流的样本统计信息;所述样本统计信息包括所述样本会话流的样本统计特征和所述样本统计特征对应的隐变量向量;
将所述样本统计信息输入至所述多层感知机模型进行会话流分类,得到所述样本会话流的多个类别的已知样本异常流量和多个类别的样本正常流量;
基于各类别的所述已知样本异常流量对第一初始支持向量数据表达模型进行训练,得到各类别的所述已知样本异常流量分别对应的各第一支持向量数据表达模型;
基于各类别的所述样本正常流量对第二初始支持向量数据表达模型进行训练,得到各类别的所述样本正常流量分别对应的各第二支持向量数据表达模型。
5.根据权利要求4所述的方法,其特征在于,所述基于各类别的所述已知样本异常流量对第一初始支持向量数据表达模型进行训练,得到各类别的所述已知样本异常流量分别对应的各第一支持向量数据表达模型,包括:
将各类别的所述已知样本异常流量分别输入至第一初始支持向量数据表达模型进行训练,得到各类别的所述已知样本异常流量分别对应的各第一支持向量数据表达模型。
6.根据权利要求4所述的方法,其特征在于,所述基于各类别的所述样本正常流量对第二初始支持向量数据表达模型进行训练,得到各类别的所述样本正常流量分别对应的各第二支持向量数据表达模型,包括:
将各类别的所述已知样本异常流量分别输入至第二初始支持向量数据表达模型进行训练,得到各类别的所述样本正常流量分别对应的各第二支持向量数据表达模型。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述统计特征输入至初始编码网络进行向量编码训练,得到所述编码器;所述初始编码网络包括输入层、初始编码器、隐变量空间、初始解码器和输出层。
8.根据权利要求7所述的方法,其特征在于,所述将所述统计特征输入至初始编码网络进行向量编码训练,得到所述编码器,包括:
将所述统计特征输入至所述输入层进行第一线性变换,得到第一中间信息;
将所述第一中间信息输入至所述初始编码器进行编码,得到第一向量;
将所述第一向量输入至所述隐变量空间进行重参数化,得到第二向量;所述第二向量为所述统计特征对应的隐变量向量;
将所述第二向量输入至所述初始解码器进行解码,得到第二中间信息;
将所述第二中间信息输入至所述输出层进行第二线性变换,得到变换之后的统计特征;
将所述统计特征和所述变换之后的统计特征输入至预设均方误差函数中,得到目标损失值,并根据所述目标损失值对所述初始编码器和所述初始解码器进行训练,得到所述编码器。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311038177.6A CN117118693A (zh) | 2023-08-17 | 2023-08-17 | 异常流量的检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311038177.6A CN117118693A (zh) | 2023-08-17 | 2023-08-17 | 异常流量的检测方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117118693A true CN117118693A (zh) | 2023-11-24 |
Family
ID=88797688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311038177.6A Pending CN117118693A (zh) | 2023-08-17 | 2023-08-17 | 异常流量的检测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117118693A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117792800A (zh) * | 2024-02-28 | 2024-03-29 | 四川合佳科技有限公司 | 一种基于物联网安全评估系统的信息验证方法及系统 |
-
2023
- 2023-08-17 CN CN202311038177.6A patent/CN117118693A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117792800A (zh) * | 2024-02-28 | 2024-03-29 | 四川合佳科技有限公司 | 一种基于物联网安全评估系统的信息验证方法及系统 |
CN117792800B (zh) * | 2024-02-28 | 2024-05-03 | 四川合佳科技有限公司 | 一种基于物联网安全评估系统的信息验证方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111314331B (zh) | 一种基于条件变分自编码器的未知网络攻击检测方法 | |
CN110287983B (zh) | 基于最大相关熵深度神经网络单分类器异常检测方法 | |
CN115606162A (zh) | 异常流量检测方法和系统、及计算机存储介质 | |
CN109831392B (zh) | 半监督网络流量分类方法 | |
WO2022227388A1 (zh) | 日志异常检测模型训练方法、装置及设备 | |
Du et al. | GAN-based anomaly detection for multivariate time series using polluted training set | |
CN109446804B (zh) | 一种基于多尺度特征连接卷积神经网络的入侵检测方法 | |
CN113762377B (zh) | 网络流量识别方法、装置、设备及存储介质 | |
CN111222638B (zh) | 一种基于神经网络的网络异常检测方法及装置 | |
CN117118693A (zh) | 异常流量的检测方法、装置、计算机设备和存储介质 | |
CN116132104A (zh) | 基于改进cnn-lstm的入侵检测方法、系统、设备及介质 | |
CN116662817B (zh) | 物联网设备的资产识别方法及系统 | |
CN112784920A (zh) | 云边端协同的旋转部件对抗域自适应故障诊断方法 | |
CN113037783A (zh) | 一种异常行为检测方法及系统 | |
CN114841296A (zh) | 设备聚类方法、终端设备以及存储介质 | |
CN110650124A (zh) | 一种基于多层回声状态网络的网络流量异常检测方法 | |
CN115033893B (zh) | 一种改进型聚类算法的信息漏洞数据分析方法 | |
CN117036855A (zh) | 目标检测模型训练方法、装置、计算机设备和存储介质 | |
CN113469247B (zh) | 网络资产异常检测方法 | |
CN111797732A (zh) | 一种对采样不敏感的视频动作识别对抗攻击方法 | |
CN117710100B (zh) | 基于区块链的数据分析方法及计算服务器 | |
Xie et al. | Detection of anomalies in key performance indicator data by a convolutional long short-term memory prediction model | |
CN114898339B (zh) | 驾驶行为预测模型的训练方法、装置、设备、存储介质 | |
CN115987689B (zh) | 一种网络入侵检测方法及装置 | |
CN116860491A (zh) | 系统异常定位方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |