CN115296919B - 一种边缘网关对特殊流量包计算方法及系统 - Google Patents
一种边缘网关对特殊流量包计算方法及系统 Download PDFInfo
- Publication number
- CN115296919B CN115296919B CN202210971187.4A CN202210971187A CN115296919B CN 115296919 B CN115296919 B CN 115296919B CN 202210971187 A CN202210971187 A CN 202210971187A CN 115296919 B CN115296919 B CN 115296919B
- Authority
- CN
- China
- Prior art keywords
- data packet
- flow
- packet
- feature vector
- special
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000013598 vector Substances 0.000 claims abstract description 159
- 238000005070 sampling Methods 0.000 claims abstract description 96
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 abstract description 21
- 238000010200 validation analysis Methods 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种边缘网关对特殊流量包计算方法及系统,所述方法包括以下步骤:获取流量数据包,对流量数据包做等概率数据抽样得到抽样数据包,构建抽样数据包特征向量;创建特殊流量包集合;获取初始化设备信息创建特征向量库;判断抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,若为已知设备的流量数据包,利用块嵌套循环检测,检测为不存在控制关系,则存入特殊流量包集合;检测结果为存在控制关系,存入特征向量库;若为未知设备的流量数据包,存入特殊流量包集合,输出特殊流量包集合。通过上述方式,本发明结合特定的异常流量识别算法提升异常流量包识别准确率;除此之外,可以在不同环境中实现快速部署、快速生效。
Description
技术领域
本发明涉及网络安全技术领域,特别是涉及一种边缘网关对特殊流量包计算方法及系统。
背景技术
DDoS攻击仍是目前互联网用户面临的较常见、影响较严重的网络安全威胁之一。流量牵引技术可以很好的防御大规模DDoS攻击和避免单点故障问题。流量牵引就是将异常流量和正常流量进行分离,由抗DDoS设备来专门抵抗异常流量的DDoS攻击,尽可能减少正常流量不受到攻击的干扰,其中如何对异常流量进行检测是流量牵引技术的研究重点;特殊流量是指在网络层协议表头信息或设备信息表现的与以往不同的流量,因此具有较大可能成为异常流量,为了提升异常流量识别的准确率,往往将特殊流量检测作为它的前置工作,特殊流量检测也受到普遍关注。
传统的异常流量检测技术大多基于数据特征和机器学习技术,首先识别和学习异常数据流的特征,然后建立相应的识别模型来检测异常流量;公告号为CN112583852B,名称为一种异常流量检测方法,提出从抓包软件中获取网络原始流量文件,对原始流量文件进行预处理,并将预处理后的数据作为数据样本;利用卷积神经网络对流量数据进行空间域的表征特征提取;利用LSTM对经过空间域特征提取后的数据进行时序特征提取使用Softmax对提取后的特征进行分类,判定网络流量异常与否;需要大量的原始流量样本数据和较长的训练时间,训练得到的识别模型很难具有通用性。
公告号为CN110149317A,名称为异常网络流量检测装置,提出一种异常网络流量检测装置,所述装置包括:模型构建单元,适于采用异常网络流量的外部参数数据构建异常网络流量分类模型;流量检测单元,适于采用所构建的异常网络流量分类模型对网络流量中的异常网络流量进行检测。需要大量的原始流量样本数据和较长的训练时间,训练得到的识别模型很难具有通用性。
上述两个方法需要大量的样本数据和较长的训练时间,上述方法训练得到的识别模型很难具有通用性,而对于不同边缘网关而言,需要处理的场景存在较大差异,需要连接的物联网设备也是不同的,因此基于机器学习训练的识别模型对于边缘网关发挥异常检测功能存在一定的局限性。
发明内容
本发明主要解决的技术问题是提供一种边缘网关对特殊流量包计算方法及系统,一方面用于提升异常数据包的检测效率,作为进一步异常检测算法的前置工作;另一方面,在应用环境变化较大的条件下,本文方法可以快速发挥作用,避免了使用机器学习搭建多个模型的过程。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种边缘网关对特殊流量包计算方法,所述方法包括:
S10:从转发队列中获取流量数据包,对流量数据包做等概率数据抽样,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;
S20:创建特殊流量包集合,用于存储特殊流量包;
S30:获取初始化设备信息,根据所述初始化设备信息创建特征向量库;
S40:判断所述抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,若为已知设备的流量数据包,转S50,否则将所述抽样数据包存入特殊流量包集合;
S50:利用块嵌套循环算法对所述已知设备的流量数据包进行检测,若检测结果表示为不存在控制关系,则将所述已知设备的流量数据包存入特殊流量包集合,若检测结果表示为存在控制关系,则将所述已知设备的流量数据包的特征向量存入所述特征向量库;
S60:输出特殊流量包集合,得到特殊流量包;
所述已知设备的流量数据包的特征向量,是通过对所述已知设备的流量数据包构建特征向量得到。
进一步地,所述S10,包括:
所述获取流量数据包,是指借助边缘网关的流量转发功能,从转发队列中抽取流量数据包;
所述等概率数据抽样,是指采用池塘抽样算法对所述流量数据包进行等概率数据抽样;
所述池塘抽样算法主要步骤如下:
1)如果接收的流量数据包量小于k,其中,k为自然数,则依次放入采样数组中;
2)当接收到第个流量数据包,大于等于k时,在[0,i]的范围内取一个随机数d,如果d落在了[0,k-1]的范围内,等概率选择一个数据并使用第个流量数据包进行替换,若d在[k,]的范围内,则第i个流量数据包被舍弃;
3)重复步骤2)。
上述步骤进入第次循环时,第个流量数据包被抽取的机率为,用表示;循环继续时,第个流量数据包不被剔除的机率为,令,表示为第个流量数据包被抽取的机率,用表示,表示为第个流量数据包被抽取的机率,表示第个流量数据包被选中剔除的机率,表示为第次循环之后的第m次循环;如果接受的流量数据包共有n个,当m等于n时,第个流量数据包被抽取的机率,用表示,任意第i个流量数据包被抽取的机率为:
所述对所述抽样数据包构建特征向量,是指从所述抽样数据包的网络层协议和应用层协议中获取设备特征和协议特征,再将所述设备特征和协议特征按照特征向量的预设顺序得到抽样数据包特征向量;
所述设备特征,是指设备物理信息,包括:设备型号、设备功率;
所述协议特征,是指设备的网络层协议表头信息,包括:目的IP、源IP、目的端口ID、源端口ID和协议号;
进一步地,所述S20,包括:
所述特殊流量包,是指在来源设备、网络层协议方面的特殊;包括未知设备的流量数据包、不存在控制关系的已知设备的流量数据包;
所述控制关系,是指流量数据包的特征向量在任意维度的信息数据都大于等于或者都小于等于其余流量数据包的特征向量相应维度的信息数据。
进一步地,所述S30,包括:
所述初始化设备信息,是指初期在边缘网关承担任务转发功能的设备,以及所述设备发出的流量数据包信息;
所述特征向量库,用于存储存在控制关系的已知设备的流量数据包的特征向量。
进一步地,所述S40,包括:
所述判断所述抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,是采用余弦相似度对所述抽样流量包进行阈值判断,计算公式为:
其中, c为所述抽样数据包特征向量与特征向量库中特征向量的余弦相似度,表示抽样数据包特征向量,表示中抽样数据包特征向量的第i个元素值;表示特征向量库中第j个已知设备的流量数据包的特征向量;表示第j个已知设备流量数据包中特征向量第i个元素值,m表示统计特征向量库中总已知设备的流量数据包的特征向量的数量;n表示特征向量中包含的特征总数;
若余弦相似度c小于等于所设阈值,则所述抽样数据包为未知设备的流量数据包,否则所述抽样数据包为已知设备的流量数据包。
进一步地,所述S50,包括:
S51:创建数据包临时表,将所述已知设备的流量数据包存入所述数据包临时表;
S52:构建数据包窗口队列,所述数据包窗口队列临时存储特殊流量包,所述数据包窗口队列大小为T,T为3;
S53:创建数据包临时空间表,所述数据包临时空间表存储特殊流量包;
S54:扫描所述数据包临时表,依次检测所述数据包临时表中的已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入所述数据包窗口队列,直至数据包窗口队列无剩余空间,将剩余检测结果为特殊流量包的已知设备的流量数据包存入所述数据包临时空间表;
S55:若所述数据包临时空间表为空则扫描结束,转S57,若所述数据包临时空间表不为空,转S56;
S56:将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合,并将数据包窗口队列和数据包临时表置空,将所述数据包临时空间表的特殊流量包重新存入所述数据包临时表,转S54;
S57:将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合。
进一步地,所述S54,包括:
所述检测,是指依次将所述数据包临时表中的已知设备的流量数据包与所述数据包窗口队列中的特殊流量包进行比较,判断所述数据包临时表中的已知设备的流量数据包是否存在控制关系,包括:
若不存在控制关系,则所述数据包临时表中的已知设备的流量数据包的检测结果为特殊流量包;
若存在控制关系,则删除所述数据包临时表中的已知设备的流量数据包,对下一个所述数据包临时表中的已知设备的流量数据包进行检测,直至扫描结束;
其中,所述数据包临时表中第一个已知设备的流量数据包直接作为特殊流量包存入所述数据包窗口队列。
一种边缘网关对特殊流量包计算系统,所述系统包括:
数据抽样模块,用于从转发队列中获取流量数据包,用于对获取到的流量数据进行等概率数据抽取,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;
初始化模块,用于初始化特殊流量包集合,所述特殊流量包集合用于存储特殊流量包;
特征向量库创建模块;用于根据获取的初始化设备信息,创建特征向量库;
阈值判断模块,用于对抽样数据包进行阈值判断,阈值判断结果包括:未知设备的流量数据包,已知设备的流量数据包,若抽样数据包被判断为未知设备的流量数据包,则将所述未知设备的流量数据包直接存入特殊流量包集合,将已知设备的流量数据包输入进特殊流量包检测模块;
特殊流量包检测模块,利用块嵌套循环算法检测已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入特殊流量包集合,将检测结果为存在控制关系的已知设备的流量数据的特征向量包存入特征向量库;
特殊流量包输出模块,用于输出存入特殊流量包集合中的特殊流量包。
本发明的有益效果是:
1.在一个急需异常流量判断的环境中,部署本方法可以在发挥作用的同时,减少模型训练成本。
2.在不同的环境中,机器学习模型往往需要较大调整,在这个过程中需要消耗大量训练的时间。
3.将数据流量包进行等概率抽样,和特殊点判断作为异常检测的前置工作,可以提升异常流量包识别的准确率。
附图说明
图1是一种边缘网关对特殊流量包计算方法的流程图;
图2是一种边缘网关对特殊流量包计算方法又一的流程图;
图3是块嵌套循环算法示意图;
图4是一种边缘网关对特殊流量包计算系统的功能模块图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1、图2、图3和图4,本发明实施例包括:提供一种边缘网关对特殊流量包计算方法,所述方法包括:
S10:从转发队列中获取流量数据包,对流量数据包做等概率数据抽样,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;
S20:创建特殊流量包集合,用于存储特殊流量包;
S30:获取初始化设备信息,根据所述初始化设备信息创建特征向量库;
S40:判断所述抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,若为已知设备的流量数据包,转S50,否则将所述抽样数据包存入特殊流量包集合;
S50:利用块嵌套循环算法对所述已知设备的流量数据包进行检测,若检测结果表示为不存在控制关系,则将所述已知设备的流量数据包存入特殊流量包集合,若检测结果表示为存在控制关系,则将所述已知设备的流量数据包的特征向量存入所述特征向量库;
S60:输出特殊流量包集合,得到特殊流量包;
所述已知设备的流量数据包的特征向量,是通过对所述已知设备的流量数据包构建特征向量得到。
进一步地,所述S10,包括:
所述获取流量数据包,是指借助边缘网关的流量转发功能,从转发队列中抽取流量数据包;
所述等概率数据抽样,是指采用池塘抽样算法对所述流量数据包进行等概率数据抽样;
所述池塘抽样算法主要步骤如下:
1)如果接受的流量数据包量小于k,其中,k为自然数,则依次放入采样数组中;
2)当接收到第i个流量数据包,大于等于k时,在[0,]的范围内取一个随机数d,如果d落在了[0,k-1]的范围内,等概率选择一个数据并使用第个数据进行替换,若d在[k,]的范围内,则第i个流量数据包被舍弃;
3)重复步骤2)。
上述步骤进入第次循环时,第个流量数据包被抽取的机率为,用表示;循环继续时,第个流量数据包不被剔除的机率为,令,表示为第个流量数据包被抽取的机率,用表示,表示为第个流量数据包被抽取的机率,表示第个流量数据包被选中剔除的机率,表示为第次循环之后的第m次循环;如果接受的流量数据包共有n个,当m等于n时,第个流量数据包被抽取的机率,用表示,任意第i个流量数据包被抽取的机率为:
所述对所述抽样数据包构建特征向量,是指从所述抽样数据包的网络层协议、应用层协议中获取设备特征、协议特征,再将所述设备特征、协议特征按照特征向量的预设顺序得到抽样数据包特征向量;
所述设备特征,是指设备物理信息,包括:设备型号、设备功率;
所述协议特征,是指设备的网络层协议表头信息,包括:目的IP、源IP、目的端口ID、源端口ID和协议号;
进一步地,所述S20,包括:
所述特殊流量包,是指在来源设备、网络层协议方面的特殊;包括未知设备的流量数据包、不存在控制关系的已知设备的流量数据包;
所述控制关系,是指流量数据包的特征向量在任意维度的信息数据都大于等于或者都小于等于其余流量数据包的特征向量相应维度的信息数据。
进一步地,所述S30,包括:
所述初始化设备信息,是指初期在边缘网关承担任务转发功能的设备,以及所述设备发出的流量数据包信息;
所述特征向量库,用于存储存在控制关系的已知设备的流量数据包的特征向量。
进一步地,所述S40,包括:
所述判断所述抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,是采用余弦相似度对所述抽样流量包进行阈值判断,计算公式为:
其中, c为所述抽样数据包特征向量与特征向量库中特征向量的余弦相似度,表示抽样数据包特征向量,表示中抽样数据包特征向量的第i个元素值;表示特征向量库中第j个已知设备的流量数据包的特征向量;表示第j个已知设备流量数据包中特征向量第i个元素值,m表示统计特征向量库中总已知设备的流量数据包的的特征向量数量;n表示特征向量中包含的特征总数;
若余弦相似度c小于等于所设阈值,则所述抽样数据包为未知设备的流量数据包,否则所述抽样数据包为已知设备的流量数据包。
进一步地,所述S50,包括:
S51:创建数据包临时表,将所述已知设备的流量数据包存入所述数据包临时表;
S52:构建数据包窗口队列,所述数据包窗口队列临时存储特殊流量包,所述数据包窗口队列大小为T,T为3;
S53:创建数据包临时空间表,所述数据包临时空间表存储特殊流量包;
S54:扫描所述数据包临时表,依次检测所述数据包临时表中的已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入所述数据包窗口队列,直至数据包窗口队列无剩余空间,将剩余检测结果为特殊流量包的已知设备的流量数据包存入所述数据包临时空间表;
S55:若所述数据包临时空间表为空则扫描结束,转S57,若所述数据包临时空间表不为空,转S56;
S56:将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合,并将数据包窗口队列和数据包临时表置空,将所述数据包临时空间表的特殊流量包重新存入所述数据包临时表,转S54;
S57:将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合。
进一步地,所述S54,包括:
所述检测,是指依次将所述数据包临时表中的已知设备的流量数据包与所述数据包窗口队列中的特殊流量包进行比较,判断所述数据包临时表中的已知设备的流量数据包是否存在控制关系,包括:
若不存在控制关系,则所述数据包临时表中的已知设备的流量数据包的检测结果为特殊流量包;
若存在控制关系,则删除所述数据包临时表中的已知设备的流量数据包,对下一个所述数据包临时表中的已知设备的流量数据包进行检测,直至扫描结束;
其中,所述数据包临时表中第一个已知设备的流量数据包直接作为特殊流量包存入所述数据包窗口队列。
一种边缘网关对特殊流量包计算系统,所述系统包括:
数据抽样模块,用于从转发队列中获取流量数据包,用于对获取到的流量数据进行等概率数据抽取,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;
初始化模块,用于初始化特殊流量包集合,所述特殊流量包集合用于存储特殊流量包;
特征向量库创建模块;用于根据获取的初始化设备信息,创建特征向量库;
阈值判断模块,用于对抽样数据包进行阈值判断,阈值判断结果包括:未知设备的流量数据包,已知设备的流量数据包,若抽样数据包被判断为未知设备的流量数据包,则将所述未知设备的流量数据包直接存入特殊流量包集合,将已知设备的流量数据包输入进特殊流量包检测模块;
特殊流量包检测模块,利用块嵌套循环算法检测已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入特殊流量包集合,将检测结果为存在控制关系的已知设备的流量数据包的特征向量存入特征向量库;
特殊流量包输出模块,用于输出存入特殊流量包集合中的特殊流量包。
实施例1:
一种边缘网关对特殊流量包计算方法,所述方法包括:
S10:从转发队列中获取流量数据包,对流量数据包做等概率数据抽样,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;
S20:创建特殊流量包集合,用于存储特殊流量包;
S30:获取初始化设备信息,根据所述初始化设备信息创建特征向量库;
S40:判断所述抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,若为已知设备的流量数据包,转S50,否则将所述抽样数据包存入特殊流量包集合;
S50:利用块嵌套循环算法对所述已知设备的流量数据包进行检测,若检测结果表示为不存在控制关系,则将所述已知设备的流量数据包存入特殊流量包集合,若检测结果表示为存在控制关系,则将所述已知设备的流量数据包的特征向量存入所述特征向量库;
S60:输出特殊流量包集合,得到特殊流量包;
所述已知设备的流量数据包的特征向量,是通过对所述已知设备的流量数据包构建特征向量得到。
如图2所示,流量数据包进入流量数据包窗口队列,经过池塘抽样算法对流量数据包进行等概率抽样,对所述抽样数据包构建特征向量t;利用特征向量库S,计算抽样数据包的特征向量和特征向量库中特征向量的余弦相似度,计算得到的余弦相似度与所设阈值进行比较,判断所述抽样数据包为未知设备的流量数据包还是已知设备的流量数据包,若为未知设备的流量数据包,则直接存入特殊流量包集合,若为已知设备的流量数据包,则利用块嵌套循环算法对所述已知设备的流量数据包进行检测,若检测结果为不存在控制关系,则存入特殊流量包集合,若存在控制关系,则存入特征向量库;最后输出特殊流量包集合,得到特殊流量包。其中,所述特征向量库是随着检测的增多而不断更新的。
进一步地,所述S10,包括:
所述获取流量数据包,是指借助边缘网关的流量转发功能,从转发队列中抽取流量数据包;
所述等概率数据抽样,是指采用池塘抽样算法对所述流量数据包进行等概率数据抽样;
所述池塘抽样算法主要步骤如下:
1)如果接受的流量数据包量小于k,其中,k为自然数,则依次放入采样数组中;
2)当接收到第个流量数据包,大于等于k时,在[0,i]的范围内取一个随机数d,如果d落在了[0,k-1]的范围内,等概率选择一个数据并使用第个数据进行替换,若d在[k,]的范围内,则第个流量数据包被舍弃;
3)重复步骤2)。
上述步骤进入第次循环时,第个流量数据包被抽取的机率为,用表示;循环继续时,第个流量数据包不被剔除的机率为,令,表示为第个流量数据包被抽取的机率,用表示,表示为第个流量数据包被抽取的机率,表示第个流量数据包被选中剔除的机率,表示为第次循环之后的第m次循环;如果接受的流量数据包共有n个,当m等于n时,第个流量数据包被抽取的机率,用表示,任意第i个流量数据包被抽取的机率为:
所述对所述抽样数据包构建特征向量,是指从所述抽样数据包的网络层协议、应用层协议中获取设备特征、协议特征,再将所述设备特征、协议特征按照特征向量的预设顺序得到抽样数据包特征向量;
所述设备特征,是指设备物理信息,包括:设备型号、设备功率;
所述协议特征,是指设备的网络层协议表头信息,包括:目的IP、源IP、目的端口ID、源端口ID和协议号;
进一步地,所述S20,包括:
所述特殊流量包,是指在来源设备、网络层协议方面的特殊;包括未知设备的流量数据包、不存在控制关系的已知设备的流量数据包;
所述控制关系,是指流量数据包的特征向量在任意维度的信息数据都大于等于或者都小于等于其余流量数据包的特征向量相应维度的信息数据。
进一步地,所述S30,包括:
所述初始化设备信息,是指初期在边缘网关承担任务转发功能的设备,以及所述设备发出的流量数据包信息;
所述特征向量库,用于存储存在控制关系的已知设备的流量数据包的特征向量。
进一步地,所述S40,包括:
所述判断所述抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,是采用余弦相似度对所述抽样流量包进行阈值判断,计算公式为:
其中, c为所述抽样数据包特征向量与特征向量库中特征向量的余弦相似度,表示抽样数据包特征向量,表示中抽样数据包特征向量的第i个元素值;表示特征向量库中第j个已知设备的流量数据包的特征向量;表示第j个已知设备流量数据包中特征向量第i个元素值,m表示统计特征向量库中总已知设备的流量数据包的特征向量的数量;n表示特征向量中包含的特征总数;
若余弦相似度c小于等于所设阈值,则所述抽样数据包为未知设备的流量数据包,否则所述抽样数据包为已知设备的流量数据包。
进一步地,所述S50,包括:
S51:创建数据包临时表,将所述已知设备的流量数据包存入所述数据包临时表;
S52:构建数据包窗口队列,所述数据包窗口队列临时存储特殊流量包,所述数据包窗口队列大小为T,T为3;
S53:创建数据包临时空间表,所述数据包临时空间表存储特殊流量包;
S54:扫描所述数据包临时表,依次检测所述数据包临时表中的已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入所述数据包窗口队列,直至数据包窗口队列无剩余空间,将剩余检测结果为特殊流量包的已知设备的流量数据包存入所述数据包临时空间表;
S55:若所述数据包临时空间表为空则扫描结束,转S57,若所述数据包临时空间表不为空,转S56;
S56:将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合,并将数据包窗口队列和数据包临时表置空,将所述数据包临时空间表的特殊流量包重新存入所述数据包临时表,转S54;
S57:将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合。
进一步地,所述S54,包括:
所述检测,是指依次将所述数据包临时表中的已知设备的流量数据包与所述数据包窗口队列中的特殊流量包进行比较,判断所述数据包临时表中的已知设备的流量数据包是否存在控制关系,包括:
若不存在控制关系,则所述数据包临时表中的已知设备的流量数据包的检测结果为特殊流量包;
若存在控制关系,则删除所述数据包临时表中的已知设备的流量数据包,对下一个所述数据包临时表中的已知设备的流量数据包进行检测,直至扫描结束;
其中,所述数据包临时表中第一个已知设备的流量数据包直接作为特殊流量包存入所述数据包窗口队列。
如图3所示,扫描所述数据包临时表,依次检测所述数据包临时表中的已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入所述数据包窗口队列,直至数据包窗口队列无剩余空间,将剩余检测结果为特殊流量包的已知设备的流量数据包存入所述数据包临时空间表;若所述数据包临时空间表为空则扫描结束,并将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合,若所述数据包临时空间表不为空,则将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合,并将数据包窗口队列和数据包临时表置空,将所述数据包临时空间表的特殊流量包重新存入所述数据包临时表,重新扫描数据包临时表。
一种边缘网关对特殊流量包计算系统,所述系统包括:
数据抽样模块,用于从转发队列中获取流量数据包,用于对获取到的流量数据进行等概率数据抽取,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;
初始化模块,用于初始化特殊流量包集合,所述特殊流量包集合用于存储特殊流量包;
特征向量库创建模块;用于根据获取的初始化设备信息,创建特征向量库;
阈值判断模块,用于对抽样数据包进行阈值判断,阈值判断结果包括:未知设备的流量数据包,已知设备的流量数据包,若抽样数据包被判断为未知设备的流量数据包,则将所述未知设备的流量数据包直接存入特殊流量包集合,将已知设备的流量数据包输入进特殊流量包检测模块;
特殊流量包检测模块,利用块嵌套循环算法检测已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入特殊流量包集合,将检测结果为存在控制关系的已知设备的流量数据包的特征向量存入特征向量库
特殊流量包输出模块,用于输出存入特殊流量包集合中的特殊流量包。
如图4所示,从转发队列中获取流量数据包,对获取到的流量数据在数据抽样模块进行等概率数据抽取,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;对特殊流量包在初始化模块进行初始化,再在数据抽样模块对获取到的流量数据进行等概率抽取,在特征向量库创建模块,根据获取的初始化设备信息,创建特征向量库;得到的抽样数据包在阈值判断模块进行阈值判断,将判断结果为未知设备的流量数据包直接存入特殊流量包集合,判断结果为已知设备的流量数据包进入特殊流量包检测模块,利用块嵌套循环算法进行检测,检测出的特殊流量包存入特殊流量包集合,特殊流量包集合在特殊流量包输出模块输出特殊流量包,检测出存在控制关系的已知设备的流量数据包,利用特征向量库创建模块,创建所述已知设备的流量数据包的特征向量,并存入特征向量库。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种边缘网关对特殊流量包计算方法,其特征在于,所述方法包括:
S10:从转发队列中获取流量数据包,对所述流量数据包做等概率数据抽样,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;
S20:创建特殊流量包集合,用于存储特殊流量包;
S30:获取初始化设备信息,根据所述初始化设备信息创建特征向量库;
S40:判断所述抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,若为已知设备的流量数据包,转S50,否则将所述抽样数据包存入特殊流量包集合;
S50:利用块嵌套循环算法对所述已知设备的流量数据包进行检测,若检测结果表示为不存在控制关系,则将所述已知设备的流量数据包存入特殊流量包集合,若检测结果表示为存在控制关系,则将所述已知设备的流量数据包的特征向量存入所述特征向量库;
S60:输出特殊流量包集合,得到特殊流量包;
所述已知设备的流量数据包的特征向量,是通过对所述已知设备的流量数据包构建特征向量得到;
所述等概率数据抽样,是指采用池塘抽样算法对所述流量数据包进行等概率数据抽样;
所述判断所述抽样数据包为未知设备的流量数据包或是已知设备的流量数据包,是采用余弦相似度对所述抽样数据包进行阈值判断,计算公式为:
其中, 为所述抽样数据包特征向量与特征向量库中特征向量的余弦相似度,表示抽样数据包特征向量,表示中抽样数据包特征向量的第i个元素值;表示特征向量库中第j个已知设备的流量数据包的特征向量;表示第j个已知设备流量数据包中特征向量第i个元素值,m表示统计特征向量库中总已知设备的流量数据包的特征向量的数量;n表示特征向量中包含的特征总数;
若余弦相似度c小于等于所设阈值,则所述抽样数据包为未知设备的流量数据包,否则所述抽样数据包为已知设备的流量数据包;
所述控制关系,是指流量数据包的特征向量在任意维度的信息数据都大于等于或者都小于等于其余流量数据包的特征向量相应维度的信息数据。
2.如权利要求1所述的一种边缘网关对特殊流量包计算方法,其特征在于,所述S10,包括:
所述获取流量数据包,是指借助边缘网关的流量转发功能,从转发队列中抽取流量数据包;
所述对所述抽样数据包构建特征向量,是指从所述抽样数据包的网络层协议和应用层协议中获取设备特征和协议特征,再将所述设备特征和协议特征按照特征向量的预设顺序得到抽样数据包特征向量;
所述设备特征,是指设备物理信息,包括:设备型号、设备功率;
所述协议特征,是指设备的网络层协议表头信息,包括:目的IP、源IP、目的端口ID、源端口ID和协议号;
3.如权利要求1所述的一种边缘网关对特殊流量包计算方法,其特征在于,所述S20,包括:
所述特殊流量包,是指在来源设备、网络层协议方面的特殊;包括未知设备的流量数据包、不存在控制关系的已知设备的流量数据包。
4.如权利要求1所述的一种边缘网关对特殊流量包计算方法,其特征在于,所述S30,包括:
所述初始化设备信息,是指初期在边缘网关承担任务转发功能的设备,以及所述设备发出的流量数据包信息;
所述特征向量库,用于存储存在控制关系的已知设备的流量数据包的特征向量。
5.如权利要求1所述的一种边缘网关对特殊流量包计算方法,其特征在于,所述S50,包括:
S51:创建数据包临时表,将所述已知设备的流量数据包存入所述数据包临时表;
S52:构建数据包窗口队列,所述数据包窗口队列临时存储特殊流量包,所述数据包窗口队列大小为T,T为3;
S53:创建数据包临时空间表,所述数据包临时空间表存储特殊流量包;
S54:扫描所述数据包临时表,依次检测所述数据包临时表中的已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入所述数据包窗口队列,直至数据包窗口队列无剩余空间,将剩余检测结果为特殊流量包的已知设备的流量数据包存入所述数据包临时空间表;
S55:若所述数据包临时空间表为空则扫描结束,转S57,若所述数据包临时空间表不为空,转S56;
S56:将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合,并将数据包窗口队列和数据包临时表置空,将所述数据包临时空间表的特殊流量包重新存入所述数据包临时表,转S54;
S57:将所述数据包窗口队列中的特殊流量包存入所述特殊流量包集合。
6.如权利要求5所述的一种边缘网关对特殊流量包计算方法,其特征在于,所述S54,包括:
所述检测,是指依次将所述数据包临时表中的已知设备的流量数据包与所述数据包窗口队列中的特殊流量包进行比较,判断所述数据包临时表中的已知设备的流量数据包是否存在控制关系,包括:若不存在控制关系,则所述数据包临时表中的已知设备的流量数据包的检测结果为特殊流量包;
若存在控制关系,则删除所述数据包临时表中的已知设备的流量数据包,对下一个所述数据包临时表中的已知设备的流量数据包进行检测,直至扫描结束;其中,所述数据包临时表中第一个已知设备的流量数据包直接作为特殊流量包存入所 述数据包窗口队列。
7.一种边缘网关对特殊流量包计算系统,其特征在于,所述系统包括:
数据抽样模块,用于从转发队列中获取流量数据包,对所述流量数据包进行等概率数据抽样,得到抽样数据包,并对所述抽样数据包构建特征向量,得到抽样数据包特征向量;
初始化模块,用于初始化特殊流量包集合,所述特殊流量包集合用于存储特殊流量包;
特征向量库创建模块;用于根据获取的初始化设备信息,创建特征向量库;
阈值判断模块,用于对抽样数据包进行阈值判断,阈值判断结果包括:未知设备的流量数据包,已知设备的流量数据包,若抽样数据包被判断为未知设备的流量数据包,则将所述未知设备的流量数据包直接存入特殊流量包集合,将已知设备的流量数据包输入进特殊流量包检测模块;
特殊流量包检测模块,利用块嵌套循环算法检测已知设备的流量数据包,将检测结果为特殊流量包的已知设备的流量数据包存入特殊流量包集合,将检测结果为存在控制关系的已知设备的流量数据包的特征向量存入特征向量库;
特殊流量包输出模块,用于输出存入特殊流量包集合中的特殊流量包;
所述等概率数据抽样,是指采用池塘抽样算法对所述流量数据包进行等概率数据抽样;
所述对抽样数据包进行阈值判断,是采用余弦相似度对所述抽样数据包进行阈值判断,计算公式为:
其中, 为所述抽样数据包特征向量与特征向量库中特征向量的余弦相似度,表示抽样数据包特征向量,表示中抽样数据包特征向量的第i个元素值;表示特征向量库中第j个已知设备的流量数据包的特征向量;表示第j个已知设备流量数据包中特征向量第i个元素值,m表示统计特征向量库中总已知设备的流量数据包的特征向量的数量;n表示特征向量中包含的特征总数;
若余弦相似度c小于等于所设阈值,则所述抽样数据包为未知设备的流量数据包,否则所述抽样数据包为已知设备的流量数据包;
所述控制关系,是指流量数据包的特征向量在任意维度的信息数据都大于等于或者都小于等于其余流量数据包的特征向量相应维度的信息数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210971187.4A CN115296919B (zh) | 2022-08-15 | 2022-08-15 | 一种边缘网关对特殊流量包计算方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210971187.4A CN115296919B (zh) | 2022-08-15 | 2022-08-15 | 一种边缘网关对特殊流量包计算方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115296919A CN115296919A (zh) | 2022-11-04 |
CN115296919B true CN115296919B (zh) | 2023-04-25 |
Family
ID=83830852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210971187.4A Active CN115296919B (zh) | 2022-08-15 | 2022-08-15 | 一种边缘网关对特殊流量包计算方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115296919B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115499251B (zh) * | 2022-11-18 | 2023-03-28 | 广州信泽信息科技有限公司 | 一种边缘IoT设备的异常流量及攻击检测方法及系统 |
CN115801475B (zh) * | 2023-02-14 | 2023-04-28 | 江西师范大学 | 一种基于双重扫描算法的ddos攻击检测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726744A (zh) * | 2018-12-14 | 2019-05-07 | 深圳先进技术研究院 | 一种网络流量分类方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2230797A1 (en) * | 2009-03-20 | 2010-09-22 | ETH Zurich | Detecting network traffic anomalies in a communication network |
US10187413B2 (en) * | 2016-03-25 | 2019-01-22 | Cisco Technology, Inc. | Network-based approach for training supervised learning classifiers |
CN109639481B (zh) * | 2018-12-11 | 2020-10-27 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
CN110149317A (zh) * | 2019-04-24 | 2019-08-20 | 南京邮电大学 | 异常网络流量检测装置 |
CN110753064B (zh) * | 2019-10-28 | 2021-05-07 | 中国科学技术大学 | 机器学习和规则匹配融合的安全检测系统 |
CN113691483B (zh) * | 2020-05-18 | 2022-06-14 | 华为技术有限公司 | 异常用户设备的检测方法、装置、设备及存储介质 |
WO2021258348A1 (zh) * | 2020-06-24 | 2021-12-30 | 深圳市欢太科技有限公司 | 异常流量检测方法和系统、及计算机存储介质 |
CN112583852B (zh) * | 2020-12-28 | 2022-05-13 | 华北电力大学 | 一种异常流量检测方法 |
-
2022
- 2022-08-15 CN CN202210971187.4A patent/CN115296919B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726744A (zh) * | 2018-12-14 | 2019-05-07 | 深圳先进技术研究院 | 一种网络流量分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115296919A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115296919B (zh) | 一种边缘网关对特殊流量包计算方法及系统 | |
CN110730140B (zh) | 基于时空特性相结合的深度学习流量分类方法 | |
CN109768985B (zh) | 一种基于流量可视化与机器学习算法的入侵检测方法 | |
CN109284606B (zh) | 基于经验特征与卷积神经网络的数据流异常检测系统 | |
CN110391958B (zh) | 一种对网络加密流量自动进行特征提取和识别的方法 | |
CN111107102A (zh) | 基于大数据实时网络流量异常检测方法 | |
CN110225030B (zh) | 基于rcnn-spp网络的恶意域名检测方法及系统 | |
CN111786951B (zh) | 流量数据特征提取方法、恶意流量识别方法及网络系统 | |
CN112019497A (zh) | 一种基于词嵌入的多阶段网络攻击检测方法 | |
CN115130102B (zh) | 一种基于增量学习的在线自适应入侵检测方法 | |
CN110012035A (zh) | 网络流量识别方法、系统、装置及计算机可读存储介质 | |
CN114821282A (zh) | 一种基于域对抗神经网络的图像检测模型及方法 | |
CN116094792A (zh) | 基于时空特征和注意力机制的加密恶意流识别方法及装置 | |
CN116684877A (zh) | 一种基于gyac-lstm的5g网络流量异常检测方法及系统 | |
CN117951576A (zh) | 基于Transformer时序多模态特征的电力系统恶意流量检测方法 | |
CN110650124A (zh) | 一种基于多层回声状态网络的网络流量异常检测方法 | |
CN114257697A (zh) | 一种高容量通用图像信息隐藏方法 | |
CN114021698A (zh) | 基于胶囊生成对抗网络的恶意域名训练样本扩充方法及装置 | |
CN116170237B (zh) | 一种融合gnn和acgan的入侵检测方法 | |
CN117527391A (zh) | 基于注意力机制和一维卷积神经网络的加密流量分类方法 | |
CN115801475B (zh) | 一种基于双重扫描算法的ddos攻击检测方法及系统 | |
CN113726809B (zh) | 基于流量数据的物联网设备识别方法 | |
CN113887357B (zh) | 一种人脸表示攻击检测方法、系统、装置及介质 | |
CN114979017A (zh) | 基于工控系统原始流量的深度学习协议识别方法及系统 | |
CN112364848B (zh) | 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |