CN112953924B - 网络异常流量检测方法、系统、存储介质、终端及应用 - Google Patents

网络异常流量检测方法、系统、存储介质、终端及应用 Download PDF

Info

Publication number
CN112953924B
CN112953924B CN202110155011.7A CN202110155011A CN112953924B CN 112953924 B CN112953924 B CN 112953924B CN 202110155011 A CN202110155011 A CN 202110155011A CN 112953924 B CN112953924 B CN 112953924B
Authority
CN
China
Prior art keywords
network
traffic
flow
data
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110155011.7A
Other languages
English (en)
Other versions
CN112953924A (zh
Inventor
张文铭
闫峥
靖旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110155011.7A priority Critical patent/CN112953924B/zh
Publication of CN112953924A publication Critical patent/CN112953924A/zh
Application granted granted Critical
Publication of CN112953924B publication Critical patent/CN112953924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于网络异常流量检测技术领域,公开了一种网络异常流量检测方法、系统、存储介质、终端及应用,将获取到的网络流量数据进行预处理;对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将网络流量数据生成网络流量特征向量;根据网络流量特征向量对网络流量数据进行分类,达到网络异常流量检测的目的。本发明以原始流量数据集作为输入,以神经网络自动提取流量数据集的特征向量,无须人工手动提取,本发明的训练数据集可选择性更加广泛,对训练数据集的要求相比较于同类方法较低,可以在非平衡数据集下训练出高准确度的模型。由于深度度量学习算法的特性,本发明的误报率相较于同类方法更低,并且可以准确检测未知攻击。

Description

网络异常流量检测方法、系统、存储介质、终端及应用
技术领域
本发明属于网络异常流量检测技术领域,尤其涉及一种网络异常流量检测方法、系统、存储介质、终端及应用。
背景技术
目前:网络流量是网络中信息传输和交互的主要载体,网络流量中包含着大量具有重要价值的信息。网络异常流量,是指对网络正常使用造成不良影响的网络流量模式,与正常流量差别比较大,会引起网络性能下降甚至不可用。网络流量异常检测通过关键节点的流量进行分析,来确定网络流量中存在的异常,从而识别出网络中存在的攻击行为。近些年来,网络异常流量检测作为一种有效的防护手段,能够发现未知的攻击,受到了越来越多的关注。
目前主流网络异常流量检测方法包括:基于统计的方法,基于机器学习的方法和基于知识的网络异常流量检测方法。基于统计的方法假设数据服从某种概率分布,通过观测正常情况下发生的网络异常行为生成模型,然后根据相应模型通过不一致性检验来发现异常数据。基于机器学习的方法通过机器学习的算法训练流量特征的模型来检测攻击。基于知识的方法通过将网络或主机事件与预定义的攻击规则或者签名进行匹配,来检测它们是否存在已知的攻击实例。基于知识的方法通过建立攻击流量指纹库来对新流量进行匹配。
以上这些方法存在一些问题。基于统计的方法容易受到训练过的攻击者的影响,正常的网络行为模型很难建立,而且阈值的设置也是一个难题。基于机器学习的方法误报率较高,而且很依赖数据集特征的设计,对训练数据集的要求比较高。基于知识的方法无法检测零日攻击,而且需要维护大规模的指纹库。
通过上述分析,现有技术存在的问题及缺陷为:
(1)现有基于统计的方法容易受到训练过的攻击者的影响,正常的网络行为模型很难建立,而且阈值的设置也是一个难题。
(2)现有基于机器学习的方法误报率较高,而且很依赖数据集特征的设计,对训练数据集的要求比较高。
(3)现有基于知识的方法无法检测零日攻击,而且需要维护大规模的指纹库。
解决以上问题及缺陷的难度为:首先,由于网络的不断发展,越来越多的攻击以零日攻击的形式出现,这对异常检测的及时性提出了巨大的考验。其次,攻击者们对异常的攻击流量进行伪装,使其越来越接近于正常流量,对异常流量检测的准确性带来了很大考验。最后,优秀的数据集对异常流量检测来说也是一个难题,虽然流量数据的量非常巨大,但其中适合作为训练样本的数据集却比较少,而且大多数方法需要人工对数据集进行大量处理,成本较高。
解决以上问题及缺陷的意义为:解决这些问题可以帮助网络用户获得更好的服务,以及更加安全的网络环境。
发明内容
针对现有技术存在的问题,本发明提供了一种网络异常流量检测方法、系统、存储介质、终端及应用。
本发明是这样实现的,一种网络异常流量检测方法,所述网络异常流量检测方法将获取到的网络流量数据进行预处理;对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将网络流量数据生成网络流量特征向量;根据网络流量特征向量对网络流量数据进行分类,达到网络异常流量检测的目的。
进一步,将获取到的网络流量数据进行预处理具体包括:
首先,流量聚合,将获取到的原始包级别的网络流量数据依据五元组聚合为流级别数据;五元组为源IP,源端口,目的IP,目的端口,传输层协议;
其次,流量清理,将流量数据中的MAC地址和IP地址用随机生成的地址进行替换,并且对重复流和空的流进行清理;
最后,统一长度,将处理过的流数据按照统一长度n字节进行切割,如果文件长度短于统一长度n,则在文件后面补0x00;将统一长度后的文件按照转换为灰度图片。
进一步,由预处理后的网络流量数据灰度图片作为深度度量神经网络的输入,提取出流量特征向量。
进一步,深度度量学习神经网络的结构包括:
(1)特征提取网络:使用卷积神经网络来提取流量数据的特征向量,卷积神经网络包括由卷积层和池化层交替完成功能,卷积层通过卷积核函数对输入矩阵进行卷积操作,卷积操作的公式如下:
Figure BDA0002934358930000031
其中,U为输入的图像矩阵,V为卷积核函数。S为卷积操作得到的矩阵;
经过卷积神经网络之后,输入的流量灰度图片数据集被转化为了特征向量集合X={x1,x2,...,xn},其中xi∈Rq,q是特征维数;卷积神经网络从输入到输出的特征映射函数统一定义为f(·);
(2)深度度量学习损失函数:使用深度度量学习损失来控制卷积神经网络的特征提取过程,使得新的特征向量空间中,相似度高的样本之间距离越近,相似度低的样本之间的距离越远;将样本分成许多三元组(XAnchor,XPositive,XNegative),其中XAnchor表示目标样本,XPositive表示与目标样本同一类的正样本,XNegative表示与目标样本不同类的负样本,深度度量学习损失函数定义如下:
Figure BDA0002934358930000032
其中,Xa表示目标样本,Xp表示正样本,Xn表示负样本,W是神经网络的权重矩阵,b是神经网络的偏置项;f(·)表示之前定义的卷积神经网络映射函数,||·||2表示标准欧几里得距离,a是一个阈值,如果第i个三元组中目标样本与正样本之差和目标样本与负样本之差之间的差值越接近阈值a,则损失函数L的值越接近于0;
(3)采样策略:使用合适的采样策略选择深度度量学习损失函数所需的三元组,三元组采样策略Semi-hard Sample如下式:
Figure BDA0002934358930000041
Figure BDA0002934358930000042
N:={n:D1>D2,D1-D2>α};
其中,其中D1表示新的映射空间中,负样本与目标样本之间的距离,D2表示正样本与目标样本之间的距离,N表示合适的样本的集合。
进一步,以得到的流量特征向量为输入,以KNN算法将流量根据攻击类型进行分类,分类出正常流量,异常流量和未知攻击流量。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:将获取到的网络流量数据进行预处理;对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将网络流量数据生成网络流量特征向量;根据网络流量特征向量对网络流量数据进行分类,达到网络异常流量检测的目的。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的网络异常流量检测方法。
本发明的另一目的在于提供一种实施所述网络异常流量检测方法的网络异常流量检测系统,所述网络异常流量检测系统包括:
预处理模块,用于将获取到的网络流量数据进行预处理;
特征提取模块,用于对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将网络流量数据生成网络流量特征向量;
数据分类模块,用于根据网络流量特征向量对所述网络流量数据进行分类,达到网络异常流量检测的目的。
本发明的另一目的在于提供一种网络异常流量检测终端,所述网络异常流量检测终端用于实现所述的网络异常流量检测方法。
本发明的另一目的在于提供一种网络信息传输和交互终端,所述网络信息传输和交互终端用于实现所述的网络异常流量检测方法。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:
(1)有效性:由于本发明截取流量数据部分信息并将其转换为灰度图片后进行分类,因此本发明是有效的。为了证明本发明的有效性,图6给出部分转化后的图片,可看出相同类型流量转化后的图片非常接近,额不同类型流量转化后的图片间差距较大,如图6所示。
(2)鲁棒性:本发明是鲁棒的,因为它具有检测零日攻击流量的能力。零日攻击的检测非常重要,因为零日攻击对网络安全造成的伤害是巨大的,而且目前越来越多的攻击以零日攻击的形式出现,如果无法检测零日攻击,那么将会对网络安全造成巨大损失。本发明的方法是基于机器学习的方法,因而可以检测零日攻击,并且由于本发明引入了深度度量学习,因此对零日攻击检测的准确度相较于其他方法会更高。
(3)本发明以原始流量数据作为输入,使用神经网络自动提取流量数据集的特征向量,无需人工设计数据集特征。相较于其他使用人工设计特征的方法,本发明的特征提取更加简单合理。
(4)本发明对数据集的要求更低。由于本发明无需人工提取特征,因此可以直接使用原始流量数据集进行训练。而且本发明引入了深度度量学习,因此大大降低数据集中各类数据量偏差对准确度影响。因此可以使用很多其他方法无法使用的数据集。
(5)本发明可以检测零日攻击;误报率低;无需很多人工设计数据集特征;对训练数据集要求较低。本发明以原始流量数据集作为输入,以神经网络自动提取流量数据集的特征向量,无须人工手动提取,因此本发明不需要根据不同数据集手动设计特征,特征向量的提取更加简单合理。
(6)本发明首次把深度度量学习引入了网络异常流量检测,深度度量学习算法使得本发明具有很高的准确性并且可以对异常流量进行准确分类而不是单纯区分正常流量和异常流量。本发明的训练数据集可选择性更加广泛,对训练数据集的要求相比较于同类方法较低,可以在非平衡数据集下训练出高准确度的模型。由于深度度量学习算法的特性,本发明的误报率相较于同类方法更低,并且可以准确检测未知攻击。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的网络异常流量检测方法流程图。
图2是本发明实施例提供的网络异常流量检测系统的结构示意图;
图中:1、预处理模块;2、特征提取模块;3、数据分类模块。
图3是本发明实施例提供的数据预处理流程图。
图4是本发明实施例提供的深度度量学习神经网络架构图。
图5是本发明实施例提供的深度度量学习损失函数示例图。
图6是本发明实施例提供的部分转化后的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种网络异常流量检测方法、系统、存储介质、终端及应用,下面结合附图对本发明作详细的描述。
如图1所示,本发明提供的网络异常流量检测方法包括以下步骤:
S101:将获取到的网络流量数据进行预处理;
S102:对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将所述网络流量数据生成网络流量特征向量;
S103:根据网络流量特征向量对网络流量数据进行分类,达到网络异常流量检测的目的。
本发明提供的网络异常流量检测方法业内的普通技术人员还可以采用其他的步骤实施,图1的本发明提供的网络异常流量检测方法仅仅是一个具体实施例而已。
如图2所示,本发明提供的网络异常流量检测系统包括:
预处理模块1,用于将获取到的网络流量数据进行预处理;
特征提取模块2,用于对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将网络流量数据生成网络流量特征向量;
数据分类模块3,用于根据网络流量特征向量对所述网络流量数据进行分类,达到网络异常流量检测的目的。
下面结合附图对本发明的技术方案作进一步的描述。
本发明提供的网络异常流量检测方法具体包括以下步骤:
第一步,将获取到的网络流量数据集进行预处理。
在本发明中,预处理的流程如图3所示,具体包括:
(1)流量聚合:流定义为具有一个或多个相同属性的数据包的集合。这些相同的属性(通常称为流关键字)通常包括数据包头信息、数据包内容和元信息。流比数据包更能概括网络流量信息。本发明选择流关键字为源IP地址,目标IP地址,源端口,目标端口和传输协议,下文称之为五元组。
给定义一个流量数据包的集合P,按照五元组的信息将集合P划分为多个子集P={p1={x1,b1,t1},...,pn={xn,bn,tn}},其中第一个元素x是相同的五元组,元素二b是子集合内所有包的长度之和,元素三t是首个包开始的时间。每个子集内的包按时间顺序排列,则每个子集称之为一个流f=(x,b,d,t),其中d是所有包的持续长度。
(2)流量清洗:数据中的MAC地址和IP地址用随机生成的地址进行替换,因为流量特有的IP地址和MAC地址可能会影响到特征的提取。并对重复流进行清理。
(3)统一长度:将处理过的流数据按照统一长度n字节进行切割,如果文件长度短于统一长度,则在文件后面补0x00。然后将统一长度后的文件按照转换为灰度图片,即一个字节对应一个像素,0x00对应黑色,0xff对应白色,中间的值对应从黑色到白色的渐变。图片格式为png格式。
第二步,对预处理后的网络流量数据使用深度度量学习神经网络进行特征提取,将所述流量数据映射为新空间中的网络流量特征向量。
在本发明中,深度度量学习神经网络的架构如图4所示,具体包括:
(1)特征提取网络:经过数据预处理之后,网络流量数据被转化为了灰度图片,本发明中使用卷积神经网络来提取流量数据的特征向量。卷积神经网络包括由卷积层和池化层交替来完成功能,卷积层通过卷积核函数对输入矩阵进行卷积操作,卷积操作的公式如下:
Figure BDA0002934358930000081
其中,U为输入的图像矩阵,V为卷积核函数。S为卷积操作得到的矩阵。
经过卷积神经网络之后,输入的流量灰度图片数据集被转化为了特征向量集合X={x1,x2,...,xn},其中xi∈Rq,q是特征维数。卷积神经网络从输入到输出的特征映射函数统一定义为f(·)。
本发明中使用ResNet作为卷积神经网络模型。各层参数如表1所示本文中的基于ResNet的网络模型参数设置如下表所示,整个网络结构包括一个卷积层和4个残差单元Residual Unit,Residual Unit包含两个1*1的卷积核和一个3*3 的卷积核。网络的输入为预处理后的32*32的灰度图片,第一层为卷积层Conv1, Conv1中使用3*3的卷积核,步长为1,激活函数使用ReLu激活函数,输出维度为32*32*64。Conv1后接一个池化层,采用最大池化策略,卷积核为3*3,步长为2,输出维度为16*16*64。池化层输出后接4层残差单元,每个残差单元被定义为一个Bottleneck。由于每个Bottleneck都是三层结构,所以表中Bottleneck后的三个参数代表三层结构中卷积核的通道数。经过四层Residual Unit后,输出维度为4*4*512的feature map。然后接入一个全连接层,特征向量被转换为1*1*1024,最后对特征向量进行12归一化得到最终的结果。
表1
Laver Input Size Parameters Output Size
Conv1 32*32*1 kernel:3*3*64stride=1 32*32*64
Max Pool 32*32*64 kernel:3*3stride=2 16*16*64
Conv2_x 16*16*64 bottleneck(64,64,256)stride=1 16*16*256
Conv3_x 16*16*256 bottleneck(64,64,256)stride=2 8*8*256
Conv4_x 8*8*256 bottleneck(128,128,512)stride=1 8*8*512
Conv5_x 8*8*512 bottleneck(128,128,512)stride=2 4*4*512
FC1 4*4*512 \ 1*1*1024
L2 1*1*1024 \ 1*1*1024
需要说明的是,上述表1仅仅是本发明的卷积神经网络各层参数的一种示例,还可以根据实际需求对上述参数进行设定,因此,本实施例不作具体限定。
(2)深度度量学习损失函数:在经过之前卷积神经网络的特征提取之后,每张32*32的流量灰度图片被映射成了1*1*1024的特征向量。
为了让后续分类过程更加准确,本发明引入深度度量学习损失函数来控制整个神经网络的特征提取。即在映射空间中,让相似度高的流量数据间的距离被拉近,相似度低的流量数据间的距离被拉远。
将样本分成许多三元组(XAnchor,XPositive,XNegative),其中XAnchor表示目标样本,XPositive表示与目标样本同一类的正样本,XNegative表示与目标样本不同类的负样本。图5为深度度量学习损失函数的示例图,损失函数L(Xa,Xp,Xn,W,b)定义如下:
Figure BDA0002934358930000091
其中,Xa表示目标样本,Xp表示正样本,Xn表示负样本,W是神经网络的权重矩阵,b是神经网络的偏置项。f(·)表示上文中神经网络得到的映射函数,
Figure BDA0002934358930000101
表示第i个三元组中目标样本的特征向量在新的映射空间中的位置,
Figure BDA0002934358930000102
表示第i个三元组中正样本的特征向量在新的映射空间中的位置,
Figure BDA0002934358930000103
表示第i个三元组中负样本的特征向量在新的映射空间中的位置,
Figure BDA0002934358930000104
表示在新的映射空间中,第i个三元组中正样本与目标样本之间的欧式距离之差,
Figure BDA0002934358930000105
表示在新的映射空间中,第i个三元组中目标样本与负样本之间的欧式距离之差。a是一个阈值,如果第i个三元组中目标样本与正样本之差和目标样本与负样本之差之间的差值越接近阈值a,则损失函数L的值越接近于0。
由此,整个深度度量神经网络的目标函数定义如下式:
Figure BDA0002934358930000106
其中α表示权重衰减,W表示权重系数矩阵,||·||F表示矩阵的Frobenius范数,b表示表示偏置项系数,L(Xa,Xp,Xn,W,b)为三元组的损失函数。
整个网络正向计算出损失函数后,通过反向传播调整网络中的参数,反向传播过程如下式所示:
Figure BDA0002934358930000107
Figure BDA0002934358930000108
其中,
Figure BDA0002934358930000109
表示神经网络中第l层的权重系数矩阵,μ表示学习率(learningrate),
Figure BDA00029343589300001010
表示目标函数对权重系数的偏导数,b(l)表示神经网络中第l层的偏置项,
Figure BDA00029343589300001011
表示目标函数对偏置项的偏导数。每次反向传播的过程都会对权重系数和偏置项进行更新。
(3)采样策略:采样策略用来为损失函数选择合适的三元组,合适的三元组可以加快模型训练速度,提高准确率。三元组可以分为easytriplet和hardtriplet, easytriplet指三元组可以很容易的满足上文中给出的度量学习损失函数,因而这些三元组对改善模型的帮助很小,造成损失值下降很慢。hardtriple指三元组中正负样本与目标样本之间的距离很接近,但又可以区分,因而这些三元组能保证训练过程中难度上升,加快收敛过程。
对三元组中负样本的筛选是三元组选择的关键。本发明中采用Semi-hard Sample采样方法。定义如下式所示:
Figure BDA0002934358930000111
Figure BDA0002934358930000112
N:={n:D1>D2,D1-D2>α};
其中D1表示新的映射空间中,负样本与目标样本之间的距离,D2表示正样本与目标样本之间的距离,对于一对anchor-positive样本对,符合标准的负样本必须满足下面的条件D1>D2,即负样本与目标样本之间的距离必须大于正样本与目标样本之间的距离。而在这些符合标准的负样本中,可以与anchor-positive 样本对组合成hard triplet的负样本必须满足D1-D2>α,即负样本和目标样本之间的距离与正样本和目标样本之间的距离,二者之差必须小于损失函数中的阈值。这样才能帮助损失函数收敛。而这些优质的负样本中,最好的自然是距离正样本最近的负样本,称为hardestnegative example,但每次都寻找最好的负样本可能会导致局部最优让模型崩溃,而且每次寻找最优负样本同样是一个巨大的消耗,所以本实施例不追求最差负样本,而是在之前的优质负样本中随机选择一个负样本,这样选择三元组带来的损耗会大大降低。
第三步,根据所述网络流量特征向量对网络流量数据进行分类,通过分类器对提取后的网络流量特征进行分类,分类出正常流量,异常流量和未知攻击流量,对异常流量以攻击类型具体分类。本发明使用KNN算法作为分类器,在预测每个样本数据点的类别时,首先计算其他样本点距离目标样本点的欧式距离。欧式距离的计算如下式所示,之后挑选K个距离样本点最近的样本,根据他们的类别来预测目标样本点的类别。
本发明基于深度度量学习的网络异常流量检测方法,通过将获取到的网络流量数据进行预处理;对预处理后的网络流量数据使用深度度量学习神经网络进行特征提取,将所述网络流量数据转化为网络流量特征向量;根据网络流量特征向量对所述网络流量数据进行分类,可以高效准确地实现网络异常流量检测的目的。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种网络异常流量检测方法,其特征在于,所述网络异常流量检测方法将获取到的网络流量数据进行预处理;对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将网络流量数据生成网络流量特征向量;根据网络流量特征向量对网络流量数据进行分类,达到网络异常流量检测的目的;
由预处理后的网络流量数据灰度图片作为深度度量神经网络的输入,提取出流量特征向量;
深度度量学习神经网络的结构包括:
(1)特征提取网络:使用卷积神经网络来提取流量数据的特征向量,卷积神经网络包括由卷积层和池化层交替完成功能,卷积层通过卷积核函数对输入矩阵进行卷积操作,卷积操作的公式如下:
Figure FDA0003799307810000011
其中,U为输入的图像矩阵,V为卷积核函数,S为卷积操作得到的矩阵;
经过卷积神经网络之后,输入的流量灰度图片数据集被转化为了特征向量集合X={x1,x2,...,xn},其中xi∈Rq,q是特征维数;卷积神经网络从输入到输出的特征映射函数统一定义为f(·);
(2)深度度量学习损失函数:使用深度度量学习损失来控制卷积神经网络的特征提取过程,使得新的特征向量空间中,相似度高的样本之间距离越近,相似度低的样本之间的距离越远;将样本分成许多三元组(XAnchor,XPositive,XNegative),其中XAnchor表示目标样本,XPositive表示与目标样本同一类的正样本,XNegative表示与目标样本不同类的负样本,深度度量学习损失函数定义如下:
Figure FDA0003799307810000012
其中,Xa表示目标样本,Xp表示正样本,Xn表示负样本,W是神经网络的权重矩阵,b是神经网络的偏置项;f(·)表示之前定义的卷积神经网络映射函数,||·||2表示标准欧几里得距离,a是一个阈值,如果第i个三元组中目标样本与正样本之差和目标样本与负样本之差之间的差值越接近阈值a,则损失函数L的值越接近于0;
(3)采样策略:使用合适的采样策略选择深度度量学习损失函数所需的三元组,三元组采样策略Semi-hard Sample如下式:
Figure FDA0003799307810000021
Figure FDA0003799307810000022
N:={n:D1>D2,D1-D2>α};
其中,其中D1表示新的映射空间中,负样本与目标样本之间的距离,D2表示正样本与目标样本之间的距离,N表示合适的样本的集合。
2.如权利要求1所述的网络异常流量检测方法,其特征在于,将获取到的网络流量数据进行预处理具体包括:
首先,流量聚合,将获取到的原始包级别的网络流量数据依据五元组聚合为流级别数据;五元组为源IP,源端口,目的IP,目的端口,传输层协议;
其次,流量清理,将流量数据中的MAC地址和IP地址用随机生成的地址进行替换,并且对重复流和空的流进行清理;
最后,统一长度,将处理过的流数据按照统一长度n字节进行切割,如果文件长度短于统一长度n,则在文件后面补0x00;将统一长度后的文件按照转换为灰度图片。
3.如权利要求1所述的网络异常流量检测方法,其特征在于,以得到的流量特征向量为输入,以KNN算法将流量根据攻击类型进行分类,分类出正常流量,异常流量和未知攻击流量。
4.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:将获取到的网络流量数据进行预处理;对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将网络流量数据生成网络流量特征向量;根据网络流量特征向量对网络流量数据进行分类,达到网络异常流量检测的目的。
5.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现权利要求1~3任意一项所述的网络异常流量检测方法。
6.一种实施权利要求1~3任意一项所述网络异常流量检测方法的网络异常流量检测系统,其特征在于,所述网络异常流量检测系统包括:
预处理模块,用于将获取到的网络流量数据进行预处理;
特征提取模块,用于对预处理后的网络流量数据使用深度度量学习算法进行特征提取,将网络流量数据生成网络流量特征向量;
数据分类模块,用于根据网络流量特征向量对所述网络流量数据进行分类,达到网络异常流量检测的目的。
7.一种网络异常流量检测终端,其特征在于,所述网络异常流量检测终端用于实现权利要求1~3任意一项所述的网络异常流量检测方法。
8.一种网络信息传输和交互终端,其特征在于,所述网络信息传输和交互终端用于实现权利要求1~3任意一项所述的网络异常流量检测方法。
CN202110155011.7A 2021-02-04 2021-02-04 网络异常流量检测方法、系统、存储介质、终端及应用 Active CN112953924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110155011.7A CN112953924B (zh) 2021-02-04 2021-02-04 网络异常流量检测方法、系统、存储介质、终端及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110155011.7A CN112953924B (zh) 2021-02-04 2021-02-04 网络异常流量检测方法、系统、存储介质、终端及应用

Publications (2)

Publication Number Publication Date
CN112953924A CN112953924A (zh) 2021-06-11
CN112953924B true CN112953924B (zh) 2022-10-21

Family

ID=76243894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110155011.7A Active CN112953924B (zh) 2021-02-04 2021-02-04 网络异常流量检测方法、系统、存储介质、终端及应用

Country Status (1)

Country Link
CN (1) CN112953924B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333155B (zh) * 2020-10-16 2022-07-22 济南浪潮数据技术有限公司 一种异常流量的检测方法、系统、电子设备及存储介质
CN113516228B (zh) * 2021-07-08 2023-04-18 哈尔滨理工大学 一种基于深度神经网络的网络异常检测方法
CN113612656A (zh) * 2021-07-26 2021-11-05 招商银行股份有限公司 网络流量检测方法、装置、终端设备及存储介质
CN113538288A (zh) * 2021-07-29 2021-10-22 中移(杭州)信息技术有限公司 网络异常检测方法、装置及计算机可读存储介质
CN113569992B (zh) * 2021-08-26 2024-01-09 中国电子信息产业集团有限公司第六研究所 异常数据识别方法及装置、电子设备和存储介质
CN113992419B (zh) * 2021-10-29 2023-09-01 上海交通大学 一种用户异常行为检测和处理系统及其方法
CN113904872A (zh) * 2021-11-22 2022-01-07 江苏大学 一种针对匿名服务网站指纹攻击的特征提取方法及系统
CN114048829B (zh) * 2022-01-14 2022-06-24 浙江大学 一种基于模版构建的网络流信道化时序筛分方法和装置
CN114611619A (zh) * 2022-03-17 2022-06-10 北京国腾创新科技有限公司 一种异常流量检测方法、系统和存储介质
CN114785548B (zh) * 2022-03-23 2024-04-30 中国人民解放军战略支援部队信息工程大学 流量智能监测平台
CN114844840B (zh) * 2022-04-26 2024-04-02 哈尔滨工业大学 一种基于计算似然比的分布外网络流量数据检测方法
CN115277098B (zh) * 2022-06-27 2023-07-18 深圳铸泰科技有限公司 一种基于智能学习的网络流量异常检测装置及方法
CN114900859B (zh) * 2022-07-11 2022-09-20 深圳市华曦达科技股份有限公司 一种easymesh网络管理方法及装置
CN115277152B (zh) * 2022-07-22 2023-09-05 长扬科技(北京)股份有限公司 网络流量安全检测方法及装置
CN115134168A (zh) * 2022-08-29 2022-09-30 成都盛思睿信息技术有限公司 基于卷积神经网络的云平台隐蔽通道检测方法及系统
CN116055413B (zh) * 2023-03-07 2023-08-15 云南省交通规划设计研究院有限公司 一种基于云边协同的隧道网络异常识别方法
CN116743636B (zh) * 2023-08-14 2023-10-31 中国电信股份有限公司 异常数据的检测方法、装置、电子设备及计算机可读介质
CN117278262B (zh) * 2023-09-13 2024-03-22 武汉卓讯互动信息科技有限公司 基于深度神经网络的ddos安全防御系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110691100A (zh) * 2019-10-28 2020-01-14 中国科学技术大学 基于深度学习的分层网络攻击识别与未知攻击检测方法
WO2020159439A1 (en) * 2019-01-29 2020-08-06 Singapore Telecommunications Limited System and method for network anomaly detection and analysis

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4290412A3 (en) * 2018-09-05 2024-01-03 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for data analysis
CN109766992B (zh) * 2018-12-06 2020-12-04 北京工业大学 基于深度学习的工控异常检测及攻击分类方法
CN110572382B (zh) * 2019-09-02 2021-05-18 西安电子科技大学 基于smote算法和集成学习的恶意流量检测方法
CN110796196B (zh) * 2019-10-30 2022-05-10 中国科学院信息工程研究所 一种基于深度判别特征的网络流量分类系统及方法
CN110808971B (zh) * 2019-10-30 2021-01-01 中国科学院信息工程研究所 一种基于深度嵌入的未知恶意流量主动检测系统及方法
CN111327608B (zh) * 2020-02-14 2021-02-02 中南大学 基于级联深度神经网络的应用层恶意请求检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159439A1 (en) * 2019-01-29 2020-08-06 Singapore Telecommunications Limited System and method for network anomaly detection and analysis
CN110691100A (zh) * 2019-10-28 2020-01-14 中国科学技术大学 基于深度学习的分层网络攻击识别与未知攻击检测方法

Also Published As

Publication number Publication date
CN112953924A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112953924B (zh) 网络异常流量检测方法、系统、存储介质、终端及应用
CN110808971B (zh) 一种基于深度嵌入的未知恶意流量主动检测系统及方法
CN112866023B (zh) 网络检测、模型训练方法、装置、设备及存储介质
US20150135318A1 (en) Method of detecting intrusion based on improved support vector machine
CN113992349B (zh) 恶意流量识别方法、装置、设备和存储介质
CN113328985B (zh) 一种被动物联网设备识别方法、系统、介质及设备
CN112468487B (zh) 实现模型训练的方法、装置、实现节点检测的方法及装置
CN111786951B (zh) 流量数据特征提取方法、恶意流量识别方法及网络系统
CN111953665B (zh) 服务器攻击访问识别方法及系统、计算机设备、存储介质
CN114584522B (zh) 一种物联网设备的识别方法、系统、介质及终端
Brandao et al. Log Files Analysis for Network Intrusion Detection
Sourbier et al. SECURE-GEGELATI always-on intrusion detection through GEGELATI lightweight tangled program graphs
Chkirbene et al. Data augmentation for intrusion detection and classification in cloud networks
CN115277065B (zh) 一种物联网异常流量检测中的对抗攻击方法及装置
CN115225310B (zh) 基于优化元学习的轻量恶意软件流量检测方法及装置
KR102525593B1 (ko) 네트워크 공격 탐지 시스템 및 네트워크 공격 탐지 방법
CN115842645A (zh) 基于umap-rf的网络攻击流量检测方法、装置及可读存储介质
CN113468555A (zh) 一种客户端访问行为识别方法、系统及装置
CN116866089B (zh) 基于孪生胶囊网络的网络流量检测方法及其装置
Eljialy et al. Novel Framework for an Intrusion Detection System Using Multiple Feature Selection Methods Based on Deep Learning
Mulyanto et al. Effectiveness of focal loss for minority classification in network intrusion detection systems. Symmetry. 2021; 13: 4
CN117614742B (zh) 一种蜜点感知增强的恶意流量检测方法
Bui et al. One-class fusion-based learning model for anomaly detection
CN116436649B (zh) 基于云服务器密码机的网络安全系统和方法
Söderström Anomaly-based Intrusion Detection Using Convolutional Neural Networks for IoT Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant