CN116760727A - 一种异常流量识别方法、设备、系统及存储介质 - Google Patents

一种异常流量识别方法、设备、系统及存储介质 Download PDF

Info

Publication number
CN116760727A
CN116760727A CN202310622842.XA CN202310622842A CN116760727A CN 116760727 A CN116760727 A CN 116760727A CN 202310622842 A CN202310622842 A CN 202310622842A CN 116760727 A CN116760727 A CN 116760727A
Authority
CN
China
Prior art keywords
data
layer
network
input end
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310622842.XA
Other languages
English (en)
Inventor
胡常举
谭晶
项楠
彭放
纪鑫
李君婷
陈屹婷
郝文科
刘一田
吉凯宁
葛欣
黄志敏
王步超
朱轩
刘恩赐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Big Data Center Of State Grid Corp Of China
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Nari Information and Communication Technology Co
State Grid Electric Power Research Institute
Nanjing Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Big Data Center Of State Grid Corp Of China
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Nari Information and Communication Technology Co
State Grid Electric Power Research Institute
Nanjing Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Big Data Center Of State Grid Corp Of China, State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Nari Information and Communication Technology Co, State Grid Electric Power Research Institute, Nanjing Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Big Data Center Of State Grid Corp Of China
Priority to CN202310622842.XA priority Critical patent/CN116760727A/zh
Publication of CN116760727A publication Critical patent/CN116760727A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种异常流量识别方法、设备、系统及存储介质，本发明识别异常流量时，首先获取访问目标网络的数据流信息；其次，将所述数据流信息划分为若干数据段，并对每个数据段进行位置信息嵌入，生成数据编码序列；所述位置信息表征数据段中各数据的位置；最后利用异常流量识别模型对所述数据编码序列进行识别，得到对应数据类型；所述异常流量识别模型用于指示数据编码序列的数据类型分类。本发明识别更全面、精度更高。

Description

一种异常流量识别方法、设备、系统及存储介质
技术领域
本发明涉及网络技术领域，尤其涉及一种异常流量识别方法、设备、系统及存储介质。
背景技术
随着互联网的发展，网络流量异常发生的数量也与日俱增。网络异常流量不仅可能会造成网络的拥塞，从而产生丢包、延时和抖动，导致网络服务质量下降，影响网络用户体验；还可能存在安全风险，例如：DoS攻击、蠕虫、勒索病毒、窃密等，会对网络造成更大的危害。
目前常用的网络异常流量识别方法主要是先对数据包进行解析，再利用专家规则、机器学习或深度学习方法进行异常识别，这类方法有以下不足：(1)数据包的解析往往会对服务器造成压力，恶意的攻击，会对服务器造成资源挟持，从而造成对正常请求回应的效率降低。除此之外，一些加密内容并无法解析，造成识别的精度不高。(2)利用专家规则的方法需要丰富的经验，并且结果并不可靠，容易漏识别和误识别。(3)基于机器学习依然需要丰富的经验进行特征设计，特征设计的好坏直接影响识别的精度。(4)基于深度学习的方法常常采用原始字节序进行数据转换或者进行内容嵌入，再进行分类或聚类的方法进行识别，数据转换方法的缺点是难以对较长数据流进行识别，并且数据转换过程有信息丢失问题，破坏了数据的完整度，以及数据的时序性，易影响识别精度。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种识别更全面、识别精度更高的异常流量识别方法、设备、系统及存储介质。
技术方案：本发明提供了一种异常流量识别方法，所述方法包括：
获取访问目标网络的数据流信息；
将所述数据流信息划分为若干数据段，并对每个数据段进行位置信息嵌入，生成数据编码序列；所述位置信息表征数据段中各数据的位置；
利用异常流量识别模型对所述数据编码序列进行识别，得到对应数据类型；所述异常流量识别模型用于指示数据编码序列的数据类型分类。
进一步的，所述将所述数据流信息划分为若干数据段，并对每个数据段进行位置信息嵌入，生成数据编码序列，具体包括：
将所述数据流信息，以每个数据包的起止位置为划分点，划分得到若干数据段；
对于每个数据段，拆分得到若干字节序，并对每个字节序进行起止信息嵌入，得到第一编码序列信息；
对每个第一编码序列信息进行顺序信息嵌入，得到第二编码序列信息；
对每个第二编码序列信息进行数据段索引信息嵌入，得到第三编码序列信息；
将所有第三编码序列信息整合，得到数据编码序列。
进一步的，所述数据类型包括正常流量数据类型和异常流量数据类型。
进一步的，所述异常流量识别模型具体包括：
第一输入端，用于接收所述数据编码序列，并将数据编码序列依次输入到第一网络；
第一网络，用于从所述数据编码序列中提取上下文语义特征值，形成语义特征；
第二网络，用于基于所述语义特征将所述数据编码序列处理为具备上下文语义的识别特征；
分类模块，用于基于所述识别特征进行分类，得到数据编码序列对应数据类型；
第二输入端，用于对所述分类模块输出的数据类型依次进行排序，以形成数据类型集合。
进一步的，所述第一网络包括若干依次连接的第一网络模块，所述第一网络模块包括第一注意力机制层、第一融合归一化层、第二融合归一化层、第一残差连接层、第二残差连接层、多层感知机网络、第二输入端和第二输出端，其中：
所述第一注意力机制层的输入端连接所述第二输入端的一端，所述第一注意力机制层的输出端连接所述第一融合归一化层的输入端；所述第一残差连接层的输入端连接所述第二输入端的一端，输出端连接所述第一融合归一化层的输入端；所述第一融合归一化层的输出端分别连接所述多层感知机网络的输入端和所述第二残差连接层的输入端；所述第二融合归一化层的输入端分别连接所述多层感知机网络的输出端和所述第二残差连接层的输出端，所述第二融合归一化层的输出端连接所述第二输出端的一端；所述第二输入端的另一端连接所述第一输出端，或相连第一网络模块的第二输出端。
进一步的，所述第二网络包括若干依次连接的第二网络模块，所述第二网络模块包括第二注意力机制层、第三注意力机制层、第三残差连接层、第四残差连接层、第五残差连接层、第三融合归一化层、第四融合归一化层、第五融合归一化层、前馈神经网络、第三输入端、第四输入端和第三输出端，其中：
所述第二注意力机制层的输入端连接所述第三输入端的一端，所述第二注意力机制层的输出端连接所述第三融合归一化层的输入端；所述第三残差连接层的输入端连接所述第三输入端的一端，所述第三残差连接层的输出端连接所述第三融合归一化层的输入端；所述第三融合归一化层的输出端分别连接所述第三注意力机制层的输入端和所述第四残差连接层的输入端；所述第三注意力机制层的输入端还连接所述第四输入端的一端，所述第三注意力机制层的输出端连接所述第四融合归一化层的输入端；所述第四残差连接层的输出端连接所述第四融合归一化层的输入端；所述第四融合归一化层的输出端分别连接所述前馈神经网络的输入端和所述第五残差连接层的输入层；所述第五融合归一化层的输入端分别连接所述前馈神经网络的输出端和所述第五残差连接层的输出端，所述第五融合归一化层的输出端连接所述第三输出端的一端；所述第三输入端的另一端连接所述第一网络的输出端，或相连第二网络模块的第三输出端；所述第四输入端的另一端连接所述第一网络的输出端。
进一步的，所述分类模块包括卷积层、池化层、全连接层和异常流量判断单元，所述卷积层、池化层、全连接层和异常流量判断单元依次连接，所述异常流量判断单元用于基于所述全连接层的输出判断是否为异常流量数据类型。
本发明还提供了一种异常流量识别设备，所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码时，执行上述异常流量识别方法。
本发明还提供了一种异常流量识别系统，所述系统包括：
网络流量数据库，用于当有访问目标网络的请求时，存储访问目标网络的数据流信息，并发送至异常流量识别服务器；
异常流量识别服务器，用于根据所述网络流量数据库发送的所述数据流信息，执行如上述的异常流量识别方法，并在识别的数据类型为正常流量时，将数据流信息发送至目标网络服务器进行响应，否则发送至异常流量数据库；
异常流量数据库，用于存储判定为异常流量的数据流信息；
模型更新服务器，用于在异常流量数据库中有数据流信息更新时，从网络流量数据库中抽取预设数量的数据流，与异常流量数据库中更新的数据流信息，对异常流量识别模型进行更新，并将更新后的异常流量识别模型发送至所述异常流量识别服务器。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被调用时，用于执行上述异常流量识别方法。
有益效果：本发明与现有技术相比，其显著优点是：本发明对于异常流量的识别更全面、识别精度更高。
附图说明
图1是本发明实施例公开的一种异常流量识别方法的流程示意图；
图2是本发明实施例公开的一种异常流量识别设备的结构示意图；
图3是本发明实施例公开的一种异常流量识别系统的结构示意图；
图4是本发明实施例公开的一种异常流量识别模型的结构示意图；
图5是本发明实施例公开的一种第一网络的结构示意图；
图6是本发明实施例公开的一种第二网络的结构示意图；
图7是本发明实施例公开的一种分类模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
实施例一
请参阅图1，图1是本发明实施例公开的一种异常流量识别方法的流程示意图。其中，图1所描述的异常流量识别方法应用于网络管理系统中，如用于异常流量识别管理的本地服务器或云端服务器等，本发明实施例不做限定。如图1所示，该异常流量识别方法可以包括以下操作：
101、获取访问目标网络的数据流信息。
需要指出的是，访问目标网络的数据流信息可以采用抓取的方式获取，也可以采用其它方式获取，此处不进行具体限定。在一种可能的实现方式中，所获取的数据流信息为通过在对网络行为进行实时监测过程中所发现的数据流。
102、将所述数据流信息划分为若干数据段，并对每个数据段进行位置信息嵌入，生成数据编码序列。
本实施例中，所述位置信息表征数据段中各数据的位置，位置信息可以包括字节序起止、顺序号、数据包索引号等。
在具体实施时，步骤102可以包括：
1021、将所述数据流信息，以每个数据包的起止位置为划分点，划分得到若干数据段；可以理解的，在其他实施例中，也可以以其他方式划分数据段。
1022、对于每个数据段，拆分得到若干字节序，并对每个字节序进行起止信息嵌入，得到第一编码序列信息；此处，为了更方便的进行识别，将第一编码序列信息映射为向量形式。
1023、对每个第一编码序列信息进行顺序信息嵌入，得到第二编码序列信息；顺序信息具体可以为字节序的序号，或按预设规则设置的可以识别出顺序的编码号，以表征字节序的顺序。
1024、对每个第二编码序列信息进行数据段索引信息嵌入，得到第三编码序列信息；需要说明的是，上述数据段索引信息嵌入是将表征索引数据包的段编码嵌入到字节序中，即同一数据包中所有字节序对应的索引编码都是一致的。
1025、将所有第三编码序列信息整合，得到数据编码序列。
103、利用异常流量识别模型对所述数据编码序列进行识别，得到对应数据类型；所述异常流量识别模型用于指示数据编码序列的数据类型分类。
本实施例中，设置数据类型包括正常流量数据类型和异常流量数据类型。
在一个可选的实施方式中，如图4所示，所述异常流量识别模型具体包括：
第一输入端，用于接收所述数据编码序列，并将数据编码序列依次输入到第一网络；
第一网络，用于从所述数据编码序列中提取上下文语义特征值，形成语义特征；
第二网络，用于基于所述语义特征将所述数据编码序列处理为具备上下文语义的识别特征；
分类模块，用于基于所述识别特征进行分类，得到数据编码序列对应数据类型；
第二输入端，用于对所述分类模块输出的数据类型依次进行排序，以形成数据类型集合。
需要说明的是，上述语义特征和识别特征的维度是相一致的。上述第一输入端将数据编码序列依次输入到第一网络是将数据编码序列按照分布顺序逐个取出，然后输入到第一网络中的。上述第一输出端对分类模块输出的数据类型依次进行排序是将分类模块输出的数据类型依据输出的顺序逐个填充至集合中，以得到有序排列的数据类型集合。
在一个可选的实施方式中，如图5所示，所述第一网络包括若干依次连接的第一网络模块，所述第一网络模块包括第一注意力机制层、第一融合归一化层、第二融合归一化层、第一残差连接层、第二残差连接层、多层感知机网络、第二输入端和第二输出端，其中：所述第一注意力机制层的输入端连接所述第二输入端的一端，所述第一注意力机制层的输出端连接所述第一融合归一化层的输入端；所述第一残差连接层的输入端连接所述第二输入端的一端，输出端连接所述第一融合归一化层的输入端；所述第一融合归一化层的输出端分别连接所述多层感知机网络的输入端和所述第二残差连接层的输入端；所述第二融合归一化层的输入端分别连接所述多层感知机网络的输出端和所述第二残差连接层的输出端，所述第二融合归一化层的输出端连接所述第二输出端的一端；所述第二输入端的另一端连接所述第一输出端，或相连第一网络模块的第二输出端。
需要说明的是，上述第一注意力机制层为多头注意力机制层(Multi-HeadedAttention)。上述第一残差连接层和第二残差连接层均为相同结构的残差网络(ResNet)。上述第一融合归一化层和第二融合归一化层均包括全连接层和层归一化网络。层归一化网络是将全连接层的输出在同一层进行标准化，举例来说，当全连接层的输出是一个矩阵时，以矩阵的行为单位，对矩阵中的所有行依次进行标准归一化处理。
在一个可选的实施方式中，如图6所示，所述第二网络包括若干依次连接的第二网络模块，所述第二网络模块包括第二注意力机制层、第三注意力机制层、第三残差连接层、第四残差连接层、第五残差连接层、第三融合归一化层、第四融合归一化层、第五融合归一化层、前馈神经网络、第三输入端、第四输入端和第三输出端，其中：所述第二注意力机制层的输入端连接所述第三输入端的一端，所述第二注意力机制层的输出端连接所述第三融合归一化层的输入端；所述第三残差连接层的输入端连接所述第三输入端的一端，所述第三残差连接层的输出端连接所述第三融合归一化层的输入端；所述第三融合归一化层的输出端分别连接所述第三注意力机制层的输入端和所述第四残差连接层的输入端；所述第三注意力机制层的输入端还连接所述第四输入端的一端，所述第三注意力机制层的输出端连接所述第四融合归一化层的输入端；所述第四残差连接层的输出端连接所述第四融合归一化层的输入端；所述第四融合归一化层的输出端分别连接所述前馈神经网络的输入端和所述第五残差连接层的输入层；所述第五融合归一化层的输入端分别连接所述前馈神经网络的输出端和所述第五残差连接层的输出端，所述第五融合归一化层的输出端连接所述第三输出端的一端；所述第三输入端的另一端连接所述第一网络的输出端，或相连第二网络模块的第三输出端；所述第四输入端的另一端连接所述第一网络的输出端。
需要说明的是，上述第二注意力机制层和第三注意力机制层均为相同结构的多头注意力机制层。上述第三残差连接层、第四残差连接层和第五残差连接层均为相同结构的残差网络。上述第三融合归一化层、第四融合归一化层和第五融合归一化层均包括全连接层和层归一化网络。
在一个可选的实施方式中，如图7所示，所述分类模块包括卷积层、池化层、全连接层和异常流量判断单元。
所述卷积层用于对识别特征进行多次卷积处理，得到卷积特征向量；
其中，卷积处理为：
Ti＝f(w·xi:1+b)；
式中，Ti为卷积特征向量中第i个卷积特征；f为非线性函数；b为偏置常数；w为卷积对应的卷积核通道数；xi:为识别特征中从第i行到第i k 1行组成的数据；k为卷积核大小；
所述池化层用于对卷积特征向量进行池化处理，得到池化特征向量；
所述全连接层用于对池化特征向量进行处理，得到类型概率；
所述异常流量判断单元用于基于所述全连接层输出的类型概率判断是否为异常流量数据类型，判断类型概率是否大于等于异常阈值，得到概率判断结果；当概率判断结果为是时，确定数据类型为异常流量数据；当概率判断结果为否时，确定数据类型为正常流量数据。
需要说明的是，上述异常阈值可以是用户设定的，也可以是系统默认设置，本发明实施例不做限定。上述非线性函数可以是现有卷积核函数中常用的非线性函数，如ReLU函数，也可以是用户设定过的函数，本发明实施例不做限定。上述池化处理是基于1-Max池化层进行的。上述识别特征为二维矩阵，维度是由异常流量识别模型确定。
本发明异常流量识别方法不需要对网络数据流及数据包进行解析而可直接对目标网络的异常流量进行识别，从而可避免服务器资源被占用，以及加密请求情况下无法识别的问题，能实现更高的判别精度，识别也更全面。
实施例二
请参阅图2，图2是本发明实施例公开的一种异常流量识别设备的结构示意图。其中，图2所描述的设备能够应用于网络管理系统中，如用于异常流量识别管理的本地服务器或云端服务器等，本发明实施例不做限定。
如图2所示，该设备可以包括：存储有可执行程序代码的存储器301；与存储器301耦合的处理器302；处理器302调用存储器301中存储的可执行程序代码，用于执行实施例一所描述的异常流量识别方法中的步骤。
存储器301可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器。设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储器301可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。具有一组(至少一个)程序模块的程序/实用工具，可以存储在例如存储器301中，这样的程序模块包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本发明所描述的实施例中的功能和/或方法。
处理器302通过运行存储在存储器301中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例一所提供的方法。
实施例三
请参阅图3，图3是本发明实施例公开的一种异常流量识别系统的架构示意图，该系统可以实现目标网络的异常流量识别，具体包括：
网络流量数据库，用于当有访问目标网络的请求时，存储访问目标网络的数据流信息，并发送至异常流量识别服务器；
异常流量识别服务器，用于根据所述网络流量数据库发送的所述数据流信息，执行实施例一所述的异常流量识别方法，并在识别的数据类型为正常流量时，将数据流信息发送至目标网络服务器进行响应，否则发送至异常流量数据库；
异常流量数据库，用于存储判定为异常流量的数据流信息；
模型更新服务器，用于在异常流量数据库中有数据流信息更新时，从网络流量数据库中抽取预设数量的数据流，与异常流量数据库中更新的数据流信息，对异常流量识别模型进行更新，并将更新后的异常流量识别模型发送至所述异常流量识别服务器。
在一个可选的实施方式中，网络流量数据库均采用分片存储，更有利于数据安全性已经海量数据的并发操作。
在一个可选的实施方式中，异常流量识别方法还可以包括如下步骤：将数据流信息拆分为若干数据包，对每个数据包生成数据编码序列，即：将数据包拆分得到若干字节序，并对每个字节序进行起止信息嵌入，得到第一编码序列信息；对每个第一编码序列信息进行顺序信息嵌入，得到第二编码序列信息；将所有第二编码序列信息整合，得到数据编码序列。将各个数据包的数据编码序列和数据流的数据编码序列分别输入异常流量识别模型，识别数据流的数据类型和各数据包的数据类型，若有识别结果为异常或该数据流为异常则此次请求被判定为异常流量数据，反之为正常流量数据。
为了更好的更新异常流量识别模型，模型更新服务器从网络流量数据库中随机抽取与异常流量数据库中更新的数据流信息等数量的数据流，一起进行学习。模型更新服务器采用分布式计算服务，提高计算效率，各服务器和数据库均采用超文本传输协议通信方式。
由此可见，采用本申请异常流量识别方法不需要对网络数据流及数据包进行解析而可直接对目标网络的异常流量进行识别，从而可避免服务器资源被占用，以及加密请求情况下无法识别的问题。与此同时，用数据流和数据包的粗细粒度结合的方式，更有更高的召回率，同时考虑了单个数据包的请求内容以及同一个数据流请求的个数、频次等信息。能实现更高的判别精度。进一步的，该异常流量识别系统架构紧密合理，实现了数据管理、算法迭代、算法部署的自动化，从而能更加有效的识别异常流量，实现了数据、算法的闭环，减少人工参与，大大提升生产效率。
实施例四
本发明实施例四还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行实施例一的方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的方法中的相关操作。
实施例五
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一所描述的异常流量识别方法中的步骤。
以上所描述的系统实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

Claims (10)

1.一种异常流量识别方法，其特征在于，所述方法包括：
获取访问目标网络的数据流信息；
将所述数据流信息划分为若干数据段，并对每个数据段进行位置信息嵌入，生成数据编码序列；所述位置信息表征数据段中各数据的位置；
利用异常流量识别模型对所述数据编码序列进行识别，得到对应数据类型；所述异常流量识别模型用于指示数据编码序列的数据类型分类。
2.根据权利要求1所述的异常流量识别方法，其特征在于，所述将所述数据流信息划分为若干数据段，并对每个数据段进行位置信息嵌入，生成数据编码序列，具体包括：
将所述数据流信息，以每个数据包的起止位置为划分点，划分得到若干数据段；
对于每个数据段，拆分得到若干字节序，并对每个字节序进行起止信息嵌入，得到第一编码序列信息；
对每个第一编码序列信息进行顺序信息嵌入，得到第二编码序列信息；
对每个第二编码序列信息进行数据段索引信息嵌入，得到第三编码序列信息；
将所有第三编码序列信息整合，得到数据编码序列。
3.根据权利要求1所述的异常流量识别方法，其特征在于，所述数据类型包括正常流量和异常流量。
4.根据权利要求1所述的异常流量识别方法，其特征在于，所述异常流量识别模型具体包括：
第一输入端，用于接收所述数据编码序列，并将数据编码序列依次输入到第一网络；
第一网络，用于从所述数据编码序列中提取上下文语义特征值，形成语义特征；
第二网络，用于基于所述语义特征将所述数据编码序列处理为具备上下文语义的识别特征；
分类模块，用于基于所述识别特征进行分类，得到数据编码序列对应数据类型；
第二输入端，用于对所述分类模块输出的数据类型依次进行排序，以形成数据类型集合。
5.根据权利要求4所述的异常流量识别方法，其特征在于，所述第一网络包括若干依次连接的第一网络模块，所述第一网络模块包括第一注意力机制层、第一融合归一化层、第二融合归一化层、第一残差连接层、第二残差连接层、多层感知机网络、第二输入端和第二输出端，其中：
所述第一注意力机制层的输入端连接所述第二输入端的一端，所述第一注意力机制层的输出端连接所述第一融合归一化层的输入端；所述第一残差连接层的输入端连接所述第二输入端的一端，输出端连接所述第一融合归一化层的输入端；所述第一融合归一化层的输出端分别连接所述多层感知机网络的输入端和所述第二残差连接层的输入端；所述第二融合归一化层的输入端分别连接所述多层感知机网络的输出端和所述第二残差连接层的输出端，所述第二融合归一化层的输出端连接所述第二输出端的一端；所述第二输入端的另一端连接所述第一输出端，或相连第一网络模块的第二输出端。
6.根据权利要求4所述的异常流量识别方法，其特征在于，所述第二网络包括若干依次连接的第二网络模块，所述第二网络模块包括第二注意力机制层、第三注意力机制层、第三残差连接层、第四残差连接层、第五残差连接层、第三融合归一化层、第四融合归一化层、第五融合归一化层、前馈神经网络、第三输入端、第四输入端和第三输出端，其中：
所述第二注意力机制层的输入端连接所述第三输入端的一端，所述第二注意力机制层的输出端连接所述第三融合归一化层的输入端；所述第三残差连接层的输入端连接所述第三输入端的一端，所述第三残差连接层的输出端连接所述第三融合归一化层的输入端；所述第三融合归一化层的输出端分别连接所述第三注意力机制层的输入端和所述第四残差连接层的输入端；所述第三注意力机制层的输入端还连接所述第四输入端的一端，所述第三注意力机制层的输出端连接所述第四融合归一化层的输入端；所述第四残差连接层的输出端连接所述第四融合归一化层的输入端；所述第四融合归一化层的输出端分别连接所述前馈神经网络的输入端和所述第五残差连接层的输入层；所述第五融合归一化层的输入端分别连接所述前馈神经网络的输出端和所述第五残差连接层的输出端，所述第五融合归一化层的输出端连接所述第三输出端的一端；所述第三输入端的另一端连接所述第一网络的输出端，或相连第二网络模块的第三输出端；所述第四输入端的另一端连接所述第一网络的输出端。
7.根据权利要求4所述的异常流量识别方法，其特征在于，所述分类模块包括卷积层、池化层、全连接层和异常流量判断单元，所述卷积层、池化层、全连接层和异常流量判断单元依次连接，所述异常流量判断单元用于基于所述全连接层的输出判断是否为异常流量。
8.一种异常流量识别设备，其特征在于，所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的异常流量识别方法。
9.一种异常流量识别系统，其特征在于，所述系统包括：
网络流量数据库，用于当有访问目标网络的请求时，存储访问目标网络的数据流信息，并发送至异常流量识别服务器；
异常流量识别服务器，用于根据所述网络流量数据库发送的所述数据流信息，执行如权利要求1-7任一项所述的异常流量识别方法，并在识别的数据类型为正常流量时，将数据流信息发送至目标网络服务器进行响应，否则发送至异常流量数据库；
异常流量数据库，用于存储判定为异常流量的数据流信息；
模型更新服务器，用于在异常流量数据库中有数据流信息更新时，从网络流量数据库中抽取预设数量的数据流，与异常流量数据库中更新的数据流信息，对异常流量识别模型进行更新，并将更新后的异常流量识别模型发送至所述异常流量识别服务器。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的异常流量识别方法。
CN202310622842.XA 2023-05-30 2023-05-30 一种异常流量识别方法、设备、系统及存储介质 Pending CN116760727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310622842.XA CN116760727A (zh) 2023-05-30 2023-05-30 一种异常流量识别方法、设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310622842.XA CN116760727A (zh) 2023-05-30 2023-05-30 一种异常流量识别方法、设备、系统及存储介质

Publications (1)

Publication Number Publication Date
CN116760727A true CN116760727A (zh) 2023-09-15

Family

ID=87948805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310622842.XA Pending CN116760727A (zh) 2023-05-30 2023-05-30 一种异常流量识别方法、设备、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116760727A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020020088A1 (zh) * 2018-07-23 2020-01-30 第四范式（北京）技术有限公司 神经网络模型的训练方法和系统以及预测方法和系统
CN111130942A (zh) * 2019-12-27 2020-05-08 国网山西省电力公司信息通信分公司 一种基于消息大小分析的应用流量识别方法
US20200293653A1 (en) * 2019-03-13 2020-09-17 International Business Machines Corporation Recurrent Neural Network Based Anomaly Detection
CN112221156A (zh) * 2020-10-27 2021-01-15 腾讯科技（深圳）有限公司 数据异常识别方法、装置、存储介质以及电子设备
CN112839024A (zh) * 2020-11-05 2021-05-25 北京工业大学 一种基于多尺度特征注意力的网络流量分类方法及系统
CN113572752A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 异常流量的检测方法和装置、电子设备、存储介质
CN113688890A (zh) * 2021-08-13 2021-11-23 上海商汤智能科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质
CN113887642A (zh) * 2021-10-11 2022-01-04 中国科学院信息工程研究所 一种基于开放世界的网络流量分类方法及系统
CN114338083A (zh) * 2021-12-03 2022-04-12 中汽创智科技有限公司 控制器局域网络总线异常检测方法、装置和电子设备
CN114785606A (zh) * 2022-04-27 2022-07-22 哈尔滨工业大学 一种基于预训练LogXLNet模型的日志异常检测方法、电子设备及存储介质
CN114970717A (zh) * 2022-05-25 2022-08-30 亚信科技（中国）有限公司 时序数据异常检测方法、电子设备及计算机存储介质
CN115473718A (zh) * 2022-09-06 2022-12-13 国网智能电网研究院有限公司 一种基于行为关联挖掘的业务数据异常识别方法及装置
WO2022259125A1 (en) * 2021-06-07 2022-12-15 Telefonaktiebolaget Lm Ericsson (Publ) Unsupervised gan-based intrusion detection system using temporal convolutional networks, self-attention, and transformers

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020020088A1 (zh) * 2018-07-23 2020-01-30 第四范式（北京）技术有限公司 神经网络模型的训练方法和系统以及预测方法和系统
US20200293653A1 (en) * 2019-03-13 2020-09-17 International Business Machines Corporation Recurrent Neural Network Based Anomaly Detection
CN111130942A (zh) * 2019-12-27 2020-05-08 国网山西省电力公司信息通信分公司 一种基于消息大小分析的应用流量识别方法
CN112221156A (zh) * 2020-10-27 2021-01-15 腾讯科技（深圳）有限公司 数据异常识别方法、装置、存储介质以及电子设备
CN112839024A (zh) * 2020-11-05 2021-05-25 北京工业大学 一种基于多尺度特征注意力的网络流量分类方法及系统
WO2022259125A1 (en) * 2021-06-07 2022-12-15 Telefonaktiebolaget Lm Ericsson (Publ) Unsupervised gan-based intrusion detection system using temporal convolutional networks, self-attention, and transformers
CN113572752A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 异常流量的检测方法和装置、电子设备、存储介质
CN113688890A (zh) * 2021-08-13 2021-11-23 上海商汤智能科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质
CN113887642A (zh) * 2021-10-11 2022-01-04 中国科学院信息工程研究所 一种基于开放世界的网络流量分类方法及系统
CN114338083A (zh) * 2021-12-03 2022-04-12 中汽创智科技有限公司 控制器局域网络总线异常检测方法、装置和电子设备
CN114785606A (zh) * 2022-04-27 2022-07-22 哈尔滨工业大学 一种基于预训练LogXLNet模型的日志异常检测方法、电子设备及存储介质
CN114970717A (zh) * 2022-05-25 2022-08-30 亚信科技（中国）有限公司 时序数据异常检测方法、电子设备及计算机存储介质
CN115473718A (zh) * 2022-09-06 2022-12-13 国网智能电网研究院有限公司 一种基于行为关联挖掘的业务数据异常识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GIUSEPPE GRANATO , ALESSIO MARTINO , ANDREA BAIOCCHI AND ANTONELLO RIZZI: "Graph-Based Multi-Label Classification for WiFi Network Traffic Analysis", DOI:10.3390/APP122111303, 31 December 2022 (2022-12-31), pages 1 - 22 *
胡铮;刘奕杉;朱新宁;于建港;: "基于用户行为序列特征的位置预测模型", 北京邮电大学学报, no. 06, pages 153 - 158 *

Similar Documents

Publication Publication Date Title
CN112003870B (zh) 一种基于深度学习的网络加密流量识别方法及装置
WO2021258348A1 (zh) 异常流量检测方法和系统、及计算机存储介质
CN112235264B (zh) 一种基于深度迁移学习的网络流量识别方法及装置
CN112104570B (zh) 流量分类方法、装置、计算机设备和存储介质
CN111866024B (zh) 一种网络加密流量识别方法及装置
CN115412370B (zh) 车辆通信数据检测方法、装置、电子设备和可读介质
CN115314268B (zh) 基于流量指纹和行为的恶意加密流量检测方法和系统
CN115314265B (zh) 基于流量和时序识别tls加密应用的方法和系统
CN110602030A (zh) 网络入侵阻断方法、服务器及计算机可读介质
CN113992419B (zh) 一种用户异常行为检测和处理系统及其方法
CN116614251A (zh) 一种数据安全监控系统
Wang et al. An unknown protocol syntax analysis method based on convolutional neural network
CN114492576A (zh) 一种异常用户检测方法、系统、存储介质及电子设备
CN116760727A (zh) 一种异常流量识别方法、设备、系统及存储介质
CN116866422A (zh) 实时推送涉敏信息并脱敏的方法、装置、设备及存储介质
CN116192997A (zh) 一种基于网络流的事件检测方法和系统
CN114338126A (zh) 一种网络应用识别方法和装置
Zhu et al. An encrypted traffic identification method based on multi-scale feature fusion
CN115333802B (zh) 一种基于神经网络的恶意程序检测方法和系统
CN118760713A (zh) 数据检索方法、装置、电子设备、存储介质及产品
CN117494185B (zh) 数据库访问控制方法及装置、系统、设备、存储介质
CN117150493B (zh) 一种识别api接口参数值递增型遍历的方法及装置
CN117201053B (zh) 一种基于视频安全的传输和存储的方法和系统
CN116488947B (zh) 一种安全要素的治理方法
CN115827940B (zh) 电子档案的归档方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination