CN112583852A - 一种异常流量检测方法 - Google Patents

一种异常流量检测方法 Download PDF

Info

Publication number
CN112583852A
CN112583852A CN202011579734.1A CN202011579734A CN112583852A CN 112583852 A CN112583852 A CN 112583852A CN 202011579734 A CN202011579734 A CN 202011579734A CN 112583852 A CN112583852 A CN 112583852A
Authority
CN
China
Prior art keywords
data
convolution
flow
network
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011579734.1A
Other languages
English (en)
Other versions
CN112583852B (zh
Inventor
程相鑫
吴克河
高雪
姜媛
赵彤
肖卓
李为
樊祺
王皓民
韩嘉佳
孙歆
李沁园
邵志鹏
李尼格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
North China Electric Power University
Global Energy Interconnection Research Institute
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
North China Electric Power University
Global Energy Interconnection Research Institute
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, North China Electric Power University, Global Energy Interconnection Research Institute, Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202011579734.1A priority Critical patent/CN112583852B/zh
Publication of CN112583852A publication Critical patent/CN112583852A/zh
Application granted granted Critical
Publication of CN112583852B publication Critical patent/CN112583852B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种异常流量检测方法，包括以下步骤：步骤1：从抓包软件中获取网络原始流量文件，对原始流量文件进行预处理，并将预处理后的数据作为数据样本；步骤2：利用卷积神经网络对流量数据进行空间域的表征特征提取；步骤3：利用LSTM对经过空间域特征提取后的数据进行时序特征提取；步骤4：使用softmax对提取后的特征进行分类，判定网络流量异常与否。本发明异常流量检测方法，提高了网络空间安全态势感知问题中流量异常检测方法的实时性和准确性。

Description

一种异常流量检测方法
技术领域
本发明涉及一种异常流量检测方法，属于信息安全技术领域。
背景技术
随着互联网基础设施的飞速发展和新应用的不断涌现，网络在规模和拓扑上都日趋扩大化、复杂化，各种层出不穷、更新换代的网络攻击给安全管理者带来了巨大的挑战。现阶段面对传统安全防御体系失效的风险，态势感知开始逐渐应用于网络安全领域，它能够全面感知网络安全威胁态势，洞悉网络及应用运行健康状态，通过全流量分析技术实现完整的网络攻击溯源取证，帮助安全人员采取针对性的响应处置措施。
网络安全态势感知的基本处理流程如下：首先进行数据采集，包括终端数据、流量采集、中间件数据、第三方设备日志、威胁情报对接。然后进行数据预处理，对采集的数据进行预处理，包括数据清洗、数据归并、数据富化，最终数据转换为平台可理解的格式化数据，以文件的形式存储，等待分析。最后进行大数据分析，进行全网安全数据的检测、分析和统计，并结合威胁情报、行为分析、智能分析等技术，发现安全威胁现状，同时内置的多条安全关联规则可将数据进行归并告警。同时，内置异常行为检测引擎，实时匹配流量，当发现存在异常行为时会将流量片段在采集的流量数据中进行标记，传给平台，由平台进行深度关联分析，挖掘潜在的威胁。若要做到全网威胁感知，则必须具备多维度的监测、分析体系。安全感知平安体从脆弱性、外部攻击、内部异常进行三大维度的安全实时监测能力构建，来达成全面的检测体系。
发明内容
本发明目的在于针对网络入侵检测中存在的问题，提出一种网络异常流量感知检测方法，用以提高网络安全态势感知的实时性和准确性。
为解决上述技术问题，本发明所采用的技术方案如下：
一种异常流量检测方法，包括以下步骤：
步骤1：从抓包软件中获取网络原始流量文件，对原始流量文件进行预处理，并将预处理后的数据作为数据样本；
步骤2：利用卷积神经网络对流量数据进行空间域的表征特征提取；
步骤3：利用LSTM对经过空间域特征提取后的数据进行时序特征提取；
步骤4：使用softmax回归对提取后的特征进行分类，判定网络流量异常与否。
上述方法提高了网络安全态势感知的实时性和准确性。
上述步骤1中，对原始流量文件进行预处理包括如下步骤：
步骤1.1：流量切分：将原始流量数据集按照五元组信息〈源IP，源端口，目的IP，目的端口，传输层协议〉是否相同划分为多条数据流；
步骤1.2流量清理：去除或匿名化数据分组中的IP地址和MAC地址，以及舍弃没有实际内容的空数据分组；
步骤1.3长度截断：数据流长度为l，当l＞1500B对数据l进行裁剪至l＝1500B，当l＜1500B，填充0x00至1500B大小；
步骤1.4归一化：对数据流分组中每个字节转换为十进制数值后除以255。
步骤2中，使用混合深度学习模型对数据进行特征提取，具体包括如下步骤：
步骤2.1卷积：将归一化后的网络流量特征序列X＝[X1，X2，…，Xn]输入到卷积神经网络中，其中，n为从预处理中得到的每一组数据长度，n＝1500/8，并对其进行卷积与池化操作。具体来说，卷积层设置多个卷积核W，卷积核大小d，步长为1，每个卷积核对卷积窗口D中的特征进行计算并生成一个新的特征，卷积窗口D对应大小为d的卷积核处理的数据的大小，对于卷积窗口D中的一个网络流量特征子序列表示Xi：i+d-1，其中i表示一组长度为n的数据的第i个元素，卷积核Wl(1≤l≤L，L代表卷积核的个数)按式
Figure BDA0002864089090000021
生成新的特征vl，其中，f为ReLU，Wl为该卷积层第l个卷积核，b代表该卷积核的偏置，Xi：i+d-1是Xi，Xi+1，…，Xi+d-1拼接而成的网络流量特征子序列，当一个卷积核对到X0：d-1到Xn-d+1：n中的每个特征子序列进行遍历后，得到该卷积核生成的特征图
Figure BDA0002864089090000022
其中n-d+1表示数据向量可划分为n-d+1个窗口的数据，将所有卷积核生成的特征图进行堆叠得到新的序列表示Vs＝[v1，v2，…，vn-d+1]，其中
Figure BDA0002864089090000023
其中，下标数据中的i表示原数据向量中第i个卷积窗口内的数据向量，是由L个卷积核处理的特征拼接而成，由于原始数据被划分为n-d+1个小组，因此Vs中的元素v是从1到n-d+1个；
步骤2.2池化：池化层对卷积后生成的序列Vs进行池化操作，首先特征图Vl经过池化分成N块，并将每块中的最大值顺序拼接起来，得到长度为N的向量
Figure BDA0002864089090000031
其中，单个卷积核与原始数据向量生成的特征图向量Vl被划分为N块，maxpool最大池化作用于每块，取最大数值从而完成特征采样，将L个特征图经过池化后得到的pl堆叠在一起，可得P＝[p1，p2，…，pL]。
步骤3中，时序特征提取包括：
步骤3.1：将池化后的特征图序列P视为一个时间序列并输入LSTM网络中，依次输入P＝[p1，p2，…，pL]＝[p1，p2，…，pT]，其中，T＝N×L，t作为序列的下标，通过LSTM计算每个特征前后特征响下的输出状态，得到包含网络流量数据空间特征与时间特征的向量，在时间步t上，LSTM按下式对pt进行特征提取:
it＝σ(Wi·[ht-1，pt]+bi)
ft＝σ(Wf·[ht-1，pt]+bf)
qt＝tanh(Wq·[ht-1，pt]+bq)
ot＝σ(Wo·[ht-1，pt]+bo)
ct＝ft*ct-1+it*qt
bt＝ot*tanh(ct)
其中，σ是sigmoid函数；tanh为双曲正切函数；Wi、Wf、Wq、Wo为权重矩阵；bi、bf、bq、bo为偏置项；bt为t时刻的输出；it为t时刻的输入门，对输入信息进行选择操作；ft为t时刻的遗忘门，对需要被遗忘的信息进行遗忘操作；ot为t时刻的输出门，用来对输出信息行选择；ct为t时刻的细胞状态，用来判断哪些信息应该被存储；*为按元素乘；
步骤3.2：池化后的特征图序列P经过LSTM网络的处理，在此使用异步的序列到序列模式，即编码器-解码器模式进行处理，输入长度为T，输出长度为M的包含网络流量数据空间特征与时间特征的向量B：
B＝[bT+1，bT+2，…，bT+M]。
步骤4中，使用softmax回归对提取后的特征进行分类，包括：异常检测分类器构建过程中，首先基于CNN-LSTM提取样本的流量深度特征B，并输入softmax，处理后输出样本X的预测类别Yc，其中类别标签y∈{1，2，…，C}，C＝M：
Figure BDA0002864089090000041
其中，ωc是第c类的权重向量，softmax回归决策表示为：
Figure BDA0002864089090000042
本发明未提及的技术均参照现有技术。
本发明异常流量检测方法，提高了网络空间安全态势感知问题中流量异常检测方法的实时性和准确性。
附图说明
图1为本发明流量异常检测流程图；
具体实施方式
为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明的内容不仅仅局限于下面的实施例。
异常流量检测方法，包括以下步骤：
步骤1：从抓包软件中获取网络原始流量文件，对原始流量文件进行预处理，并将预处理后的数据作为数据样本：
步骤1.1流量切分：将原始流量数据集按照五元组信息〈源IP，源端口，目的IP，目的端口，传输层协议〉是否相同划分为多条数据流。每条数据流都由五元组相同的数据分组按通信时间的先后顺序组合而成。
步骤1.2流量清理：去除或匿名化数据分组中的IP地址和MAC地址，以及舍弃没有实际内容的空数据分组。分组中特定的IP地址和MAC地址会对深度学习模型提取特征造成影响，此外只含有头部信息而无实际内容的数据分组也会对特征学习造成干扰。
步骤1.3长度截断：数据流长度为l，当l＞1500B对数据l进行裁剪至l＝1500B，当l＜1500B，填充0x00至1500B大小。
经上述两步骤处理后得到的各数据流所包含的字节数大小不一，为了提取相同维度的特征，要求输入数据的维度必须一致，因此对所有数据流的长度进行统一截取。
步骤1.4归一化：对数据流分组中每个字节转换为十进制数值后除以255。为提高训练时网络收敛速度，对每条数据流中分组字节进行归一化处理，将其归一化0～1。
本实验使用DARPA1999入侵检测数据集，该数据集的仿真环境是一空军基地内网受到外网入侵攻击的模式，局域网内部终端环境包括：solaris主机、Windows NT、Linux、sunOS,网络嗅探器嗅探局域网内部通过路由与外网进行的信息流量交互，第一周和第三周的训练数据不包含任何攻击，第二周的训练数据包含多种攻击，最终，关于网络信息交互的数据被收集为一下几类：外部嗅探数据、内部嗅探数据、BSM审计数据、NT审计数据、长目录树、dump选择树、文件系统节点信息报告，在此我们使用嗅探得到的dump数据包。
在实际数据处理阶段，使用wireshark软件对inside.tcpdump文件操作，打开解码该文件，文件解码后，一个数据包属性内容可见如下：
Frame 115:60 bytes on wire(480bits),60 bytes captured(480bits)
Ethernet II,Src:Dell_a3:58:23(00:c0:4f:a3:58:23),Dst:Cisco_38:46:32(00:10:7b:38:46:32)
Internet Protocol Version 4,Src:196.227.33.189,Dst:172.16.114.207
Transmission Control Protocol,Src Port:25,Dst Port:1026,Seq:333,Ack:1461,Len:0
从解码内容可见，原始流量数据的五元组信息〈源IP，源端口，目的IP，目的端口，传输层协议〉，使用wireshark自带的过滤器功能，按照五元组信息进行过滤数据,过滤条件语句如下:
ip.src＝＝196.227.33.189 and ip.dst＝＝172.16.114.207 and tcp.srcport＝＝25 and tcp.dstport＝＝1026 and tcp
过滤结果如下：
"94","38.913612","196.227.33.189","172.16.114.207","TCP","60","25→1026[SYN,ACK]Seq＝0 Ack＝1 Win＝32736 Len＝0 MSS＝1460"
"98","39.702046","196.227.33.189","172.16.114.207","SMTP","136","S:220saturn.kiwi.org Sendmail 4.1/SMI-4.1 ready at Mon,1 Mar 1999 08:00:42-0500"
"100","39.704810","196.227.33.189","172.16.114.207","SMTP","80","S:500 Command unrecognized"
"102","39.705887","196.227.33.189","172.16.114.207","SMTP","102","S:250(pigeon.eyrie.af.mil)pleased to meet you."
"104","39.706971","196.227.33.189","172.16.114.207","SMTP","102","S:250<lucjanm@pigeon.eyrie.af.mil>...Sender Ok"
……
将过滤结果以源数据形式提取，按照长度为1500B的大小划分，并去除五元组，以及无用的头部信息，进行归一化，打上流量状态类别标签，作为数据使用。
步骤2：利用卷积神经网络对流量数据进行空间域的表征特征提取，使用混合深度学习模型对数据进行特征提取，包括如下步骤：
步骤2.1卷积：将归一化后的网络流量特征序列X＝[X1，X2，…，Xn]输入到卷积神经网络中，其中n为从预处理中得到的每一组数据长度。并对其进行卷积与池化操作。具体来说，卷积层设置多个卷积核W，卷积核大小d，步长为1，每个卷积核对卷积窗口D中的特征进行计算并生成一个新的特征，卷积窗口D对应大小为d的卷积核处理的数据的大小，对于卷积窗口D中的一个网络流量特征子序列表示Xi：i+d-1，其中i表示一组长度为n的数据的第i个元素，卷积核Wl(1≤l≤L，L代表卷积核的个数)按式
Figure BDA0002864089090000061
生成新的特征vl，其中，f为ReLU，Wl为该卷积层第l个卷积核，b代表该卷积核的偏置，Xi：i+d-1是Xi，Xi+1，…，Xi+d-1拼接而成的网络流量特征子序列，当一个卷积核对到X0：d-1到Xn-d+1：n中的每个特征子序列进行遍历后，得到该卷积核生成的特征图
Figure BDA0002864089090000062
其中n-d+1表示数据向量可划分为n-d+1个窗口的数据，将所有卷积核生成的特征图进行堆叠得到新的序列表示Vs＝[v1，v2，…，vn-d+1]，其中
Figure BDA0002864089090000063
其中，下标数据中的i表示原数据向量中第i个卷积窗口内的数据向量，是由L个卷积核处理的特征拼接而成，由于原始数据被划分为n-d+1个小组，因此Vs中的元素v是从1到n-d+1个；
步骤2.2池化：池化层对卷积后生成的序列Vs进行池化操作，首先特征图Vl经过池化分成N块，并将每块中的最大值顺序拼接起来，得到长度为N的向量
Figure BDA0002864089090000064
其中单个卷积核与原始数据向量生成的特征图向量Vl被划分为N块，maxpool最大池化作用于每块，取最大数值从而完成特征采样。将L个特征图经过池化后得到的pl堆叠在一起，可得P＝[p1，p2，…，pL]。
步骤3中，时序特征提取包括：
步骤3.1：将池化后的特征图序列P视为一个时间序列并输入LSTM网络中，依次输入P＝[p1，p2，…pL]＝[p1，p2，…，pT]，其中，T＝N×L，t作为序列的下标，通过LSTM计算每个特征前后特征响下的输出状态，得到包含网络流量数据空间特征与时间特征的向量，在时间步t上，LSTM按下式对pt进行特征提取:
it＝σ(Wi·[ht-1，pt]+bi)
ft＝σ(Wf·[ht-1，pt]+bf)
qt＝tanh(Wq·[ht-1，pt]+bq)
ot＝σ(Wo·[ht-1，pt]+bo)
ct＝ft*ct-1+it*qt
bt＝ot*tanh(ct)
其中，σ是sigmoid函数；tanh为双曲正切函数；Wi、Wf、Wq、Wo为权重矩阵；bi、bf、bq、bo为偏置项；bt为t时刻的输出；it为t时刻的输入门，对输入信息进行选择操作；ft为t时刻的遗忘门，对需要被遗忘的信息进行遗忘操作；ot为t时刻的输出门，用来对输出信息行选择；ct为t时刻的细胞状态，用来判断哪些信息应该被存储；*为按元素乘；
步骤3.2：池化后的特征图序列P经过LSTM网络的处理，在此使用异步的序列到序列模式，即编码器-解码器模式进行处理，输入长度为T，输出长度为M的包含网络流量数据空间特征与时间特征的向量B：
步骤4中，使用softmax回归对提取后的特征进行分类，包括：异常检测分类器构建过程中，首先基于CNN-LSTM提取样本的流量深度特征B，并输入softmax，处理后输出样本X的预测类别Yc，其中类别标签y∈{1，2，…，C}，C＝M：
Figure BDA0002864089090000071
Figure BDA0002864089090000081
其中，ωc是第c类的权重向量，softmax回归决策表示为：
Figure BDA0002864089090000082
softmax回归能够有效的分类经过特征提取后的流量数据语义特征信息。
表1实验结果：
类别 准确度
normal 0.9355
Dos 0.8179
R2L 0.7699
U2R 0.07
probing 0.0987
原始数据集网络状态类型就分为5中类型，一种normal正常类型，四种异常类型Dos、R2L、U2R、probing，从结果来看，本发明方法在区分正常异常状态上的分类精度较高，且该方法直接使用网络交互中的数据包内容，数据提取方便。
上述方法在网络空间安全态势感知问题中流量异常检测方法的实时性和准确性较为合理。

Claims (7)

1.一种异常流量检测方法，其特征在于：包括以下步骤：
步骤1：从抓包软件中获取网络原始流量文件，对原始流量文件进行预处理，并将预处理后的数据作为数据样本；
步骤2：利用卷积神经网络对流量数据进行空间域的表征特征提取；
步骤3：利用LSTM对经过空间域特征提取后的数据进行时序特征提取；
步骤4：使用softmax回归对提取后的特征进行分类，判定网络流量异常与否。
2.根据权利要求1所述的异常流量检测方法，其特征在于：步骤1中，对原始流量文件进行预处理包括如下步骤：
步骤1.1：流量切分：将原始流量数据集按照五元组信息是否相同划分为多条数据流；
步骤1.2流量清理：去除或匿名化数据分组中的IP地址和MAC地址，以及舍弃没有实际内容的空数据分组；
步骤1.3长度截断：数据流长度为l，当l＞1500B对数据l进行裁剪至l＝1500B，当l＜1500B，填充0x00至1500B大小；
步骤1.4归一化：对数据流分组中每个字节转换为十进制数值后除以255。
3.根据权利要求2所述的异常流量检测方法，其特征在于：步骤2中，使用混合深度学习模型对数据进行特征提取。
4.根据权利要求3所述的异常流量检测方法，其特征在于：步骤2中，使用混合深度学习模型对数据进行特征提取包括如下步骤：
步骤2.1卷积：将归一化后的网络流量特征序列X＝[X1，X2，…，Xn]输入到卷积神经网络中，其中，n为从预处理中得到的每一组数据长度，并对其进行卷积与池化操作；
步骤2.2池化：池化层对卷积后生成的序列Vs进行池化操作，首先特征图Vl经过池化分成N块，并将每块中的最大值顺序拼接起来，得到长度为N的向量
Figure FDA0002864089080000011
其中，单个卷积核与原始数据向量生成的特征图向量Vl被划分为N块，maxpool最大池化作用于每块，取最大数值从而完成特征采样，将L个特征图经过池化后得到的pl堆叠在一起，可得P＝[p1，p2，…，pL]。
5.根据权利要求4所述的异常流量检测方法，其特征在于：步骤2.1中，卷积层设置多个卷积核W，卷积核大小d，步长为1，每个卷积核对卷积窗口D中的特征进行计算并生成一个新的特征，卷积窗口D对应大小为d的卷积核处理的数据的大小，对于卷积窗口D中的一个网络流量特征子序列表示Xi：i+d-1，其中i表示一组长度为n的数据的第i个元素，卷积核Wl(1≤l≤L，L代表卷积核的个数)按式
Figure FDA0002864089080000021
生成新的特征vl，其中，f为ReLU，Wl为该卷积层第l个卷积核，b代表该卷积核的偏置，Xi：i+d-1是Xi，Xi+1，…，Xi+d-1拼接而成的网络流量特征子序列，当一个卷积核对到X0：d-1到Xn-d+1：n中的每个特征子序列进行遍历后，得到该卷积核生成的特征图
Figure FDA0002864089080000022
其中，n-d+1表示数据向量可划分为n-d+1个窗口的数据，将所有卷积核生成的特征图进行堆叠得到新的序列表示Vs＝[v1，v2，…，vn-d+1]，其中
Figure FDA0002864089080000023
其中，下标数据中的i表示原数据向量中第i个卷积窗口内的数据向量，是由L个卷积核处理的特征拼接而成，由于原始数据被划分为n-d+1个小组，因此Vs中的元素v是从1到n-d+1个。
6.根据权利要求4所述的异常流量检测方法，其特征在于：步骤3中，时序特征提取包括：
步骤3.1：将池化后的特征图序列P视为一个时间序列并输入LSTM网络中，依次输入P＝[p1，p2，…，pL]＝[p1，p2，…，pT]，其中，T＝N×L，t作为序列的下标，通过LSTM计算每个特征前后特征响下的输出状态，得到包含网络流量数据空间特征与时间特征的向量，在时间步t上，LSTM按下式对pt进行特征提取：
it＝σ(Wi·[ht-1，pt]+bi)
ft＝σ(Wf·[ht-1，pt]+bf)
qt＝tanh(Wq·[ht-1，pt]+bq)
ot＝σ(Wo·[ht-1，pt]+bo)
ct＝ft*ct-1+it*qt
bt＝ot*tanh(ct)
其中，σ是sigmoid函数；tanh为双曲正切函数；Wi、Wf、Wq、Wo为权重矩阵；bi、bf、bq、bo为偏置项；bt为t时刻的输出；it为t时刻的输入门，对输入信息进行选择操作；ft为t时刻的遗忘门，对需要被遗忘的信息进行遗忘操作；ot为t时刻的输出门，用来对输出信息行选择；ct为t时刻的细胞状态，用来判断哪些信息应该被存储；*为按元素乘；
步骤3.2：池化后的特征图序列P经过LSTM网络的处理，在此使用异步的序列到序列模式，即编码器-解码器模式进行处理，输入长度为T，输出长度为M的包含网络流量数据空间特征与时间特征的向量B：
B＝[bT+1，bT+2，…，bT+M]。
7.根据权利要求6所述的异常流量检测方法，其特征在于：步骤4中，使用softmax回归对提取后的特征进行分类，包括：异常检测分类器构建过程中，首先基于CNN-LSTM提取样本的流量深度特征B，并输入softmax，处理后输出样本X的预测类别Yc，其中类别标签y∈{1，2，…，c}，c＝M：
Figure FDA0002864089080000031
其中，ωc是第c类的权重向量，softmax回归决策表示为：
Figure FDA0002864089080000032
CN202011579734.1A 2020-12-28 2020-12-28 一种异常流量检测方法 Expired - Fee Related CN112583852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011579734.1A CN112583852B (zh) 2020-12-28 2020-12-28 一种异常流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011579734.1A CN112583852B (zh) 2020-12-28 2020-12-28 一种异常流量检测方法

Publications (2)

Publication Number Publication Date
CN112583852A true CN112583852A (zh) 2021-03-30
CN112583852B CN112583852B (zh) 2022-05-13

Family

ID=75140372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011579734.1A Expired - Fee Related CN112583852B (zh) 2020-12-28 2020-12-28 一种异常流量检测方法

Country Status (1)

Country Link
CN (1) CN112583852B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114664A (zh) * 2021-04-08 2021-07-13 上海电力大学 基于混合卷积神经网络的异常流量检测系统及方法
CN114422623A (zh) * 2022-01-17 2022-04-29 山西省信息通信网络技术保障中心 一种基于指令序列的车联网异常流量识别方法及装置
CN115296919A (zh) * 2022-08-15 2022-11-04 江西师范大学 一种边缘网关对特殊流量包计算方法及系统
CN116723059A (zh) * 2023-08-10 2023-09-08 湖南润科通信科技有限公司 一种针对网络信息的安全分析系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200006A (zh) * 2017-11-21 2018-06-22 中国科学院声学研究所 一种基于层次化时空特征学习的网络流量分类方法及装置
US20180300608A1 (en) * 2017-04-12 2018-10-18 Yodlee, Inc. Neural Networks for Information Extraction From Transaction Data
CN108809974A (zh) * 2018-06-07 2018-11-13 深圳先进技术研究院 一种网络异常识别检测方法及装置
US10289912B1 (en) * 2015-04-29 2019-05-14 Google Llc Classifying videos using neural networks
CN109862585A (zh) * 2019-01-31 2019-06-07 湖北工业大学 一种基于深度时空神经网络的动态异构网络流量预测方法
CN110138787A (zh) * 2019-05-20 2019-08-16 福州大学 一种基于混合神经网络的异常流量检测方法及系统
CN110213244A (zh) * 2019-05-15 2019-09-06 杭州电子科技大学 一种基于时空特征融合的网络入侵检测方法
CN110868431A (zh) * 2019-12-24 2020-03-06 华北电力大学 一种网络流量异常检测方法
CN111428789A (zh) * 2020-03-25 2020-07-17 广东技术师范大学 一种基于深度学习的网络流量异常检测方法
CN111669385A (zh) * 2020-05-29 2020-09-15 重庆理工大学 融合深度神经网络和层级注意力机制的恶意流量监测系统
WO2020211243A1 (zh) * 2019-04-15 2020-10-22 深圳大学 一种基于深层网络技术的行为识别的方法、装置及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289912B1 (en) * 2015-04-29 2019-05-14 Google Llc Classifying videos using neural networks
US20180300608A1 (en) * 2017-04-12 2018-10-18 Yodlee, Inc. Neural Networks for Information Extraction From Transaction Data
CN108200006A (zh) * 2017-11-21 2018-06-22 中国科学院声学研究所 一种基于层次化时空特征学习的网络流量分类方法及装置
CN108809974A (zh) * 2018-06-07 2018-11-13 深圳先进技术研究院 一种网络异常识别检测方法及装置
CN109862585A (zh) * 2019-01-31 2019-06-07 湖北工业大学 一种基于深度时空神经网络的动态异构网络流量预测方法
WO2020211243A1 (zh) * 2019-04-15 2020-10-22 深圳大学 一种基于深层网络技术的行为识别的方法、装置及存储介质
CN110213244A (zh) * 2019-05-15 2019-09-06 杭州电子科技大学 一种基于时空特征融合的网络入侵检测方法
CN110138787A (zh) * 2019-05-20 2019-08-16 福州大学 一种基于混合神经网络的异常流量检测方法及系统
CN110868431A (zh) * 2019-12-24 2020-03-06 华北电力大学 一种网络流量异常检测方法
CN111428789A (zh) * 2020-03-25 2020-07-17 广东技术师范大学 一种基于深度学习的网络流量异常检测方法
CN111669385A (zh) * 2020-05-29 2020-09-15 重庆理工大学 融合深度神经网络和层级注意力机制的恶意流量监测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JINGUI CHEN;RUNTAO YANG、CHENGJIN ZHANG、LINA ZHANG、QIAN ZHANG: ""DeepGly: A Deep Learning Framework With Recurrent and Convolutional Neural Networks to Identify Protein Glycation Sites From Imbalanced Data"", 《IEEE ACCESS》 *
张睿恺、吴克河: ""基于优化特征集的LeNet-5攻击检测模型的态势感知技术"", 《计算机应用研究》 *
邓春宇、吴克河、谈元鹏: ""基于多元时间序列分割聚类的异常值检测方法"", 《计算机工程与设计》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114664A (zh) * 2021-04-08 2021-07-13 上海电力大学 基于混合卷积神经网络的异常流量检测系统及方法
CN114422623A (zh) * 2022-01-17 2022-04-29 山西省信息通信网络技术保障中心 一种基于指令序列的车联网异常流量识别方法及装置
CN114422623B (zh) * 2022-01-17 2022-11-18 山西省信息通信网络技术保障中心 一种基于指令序列的车联网异常流量识别方法及装置
CN115296919A (zh) * 2022-08-15 2022-11-04 江西师范大学 一种边缘网关对特殊流量包计算方法及系统
CN116723059A (zh) * 2023-08-10 2023-09-08 湖南润科通信科技有限公司 一种针对网络信息的安全分析系统
CN116723059B (zh) * 2023-08-10 2023-10-20 湖南润科通信科技有限公司 一种针对网络信息的安全分析系统

Also Published As

Publication number Publication date
CN112583852B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN112583852B (zh) 一种异常流量检测方法
CN109450721B (zh) 一种基于深度神经网络的网络异常行为识别方法
CN113162908B (zh) 一种基于深度学习的加密流量检测方法及系统
CN110417729B (zh) 一种加密流量的服务与应用分类方法及系统
CN111064678A (zh) 基于轻量级卷积神经网络的网络流量分类方法
CN108696543B (zh) 基于深度森林的分布式反射拒绝服务攻击检测、防御方法
Alshammari et al. Investigating two different approaches for encrypted traffic classification
CN113259313A (zh) 一种基于在线训练算法的恶意https流量智能分析方法
CN112769752B (zh) 一种基于机器学习集成模型的网络入侵检测方法
CN110611640A (zh) 一种基于随机森林的dns协议隐蔽通道检测方法
CN109951462B (zh) 一种基于全息建模的应用软件流量异常检测系统及方法
CN113364787B (zh) 一种基于并联神经网络的僵尸网络流量检测方法
Hwang et al. Detecting IoT malicious traffic based on autoencoder and convolutional neural network
CN112769623A (zh) 边缘环境下的物联网设备识别方法
CN114239737A (zh) 一种基于时空特征与双层注意力的加密恶意流量检测方法
CN111294342A (zh) 一种软件定义网络中DDos攻击的检测方法及系统
CN112910853A (zh) 基于混合特征的加密流量分类方法
CN115134250A (zh) 一种网络攻击溯源取证方法
CN114091020A (zh) 基于特征分组和多模型融合的对抗攻击防御方法及系统
CN113660267B (zh) 一种针对IoT环境的僵尸网络检测的系统、方法及存储介质
Sun et al. Deep learning-based anomaly detection in LAN from raw network traffic measurement
CN112134847A (zh) 基于用户流量行为基线的攻击检测方法
CN113726809B (zh) 基于流量数据的物联网设备识别方法
CN113449768A (zh) 一种基于短时傅里叶变换的网络流量分类装置及方法
CN114465786A (zh) 一种加密网络流量的监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220513

CF01 Termination of patent right due to non-payment of annual fee