CN117354042A - 一种动态监控的边缘网关设备异常流量监测方法 - Google Patents

一种动态监控的边缘网关设备异常流量监测方法 Download PDF

Info

Publication number
CN117354042A
CN117354042A CN202311506959.8A CN202311506959A CN117354042A CN 117354042 A CN117354042 A CN 117354042A CN 202311506959 A CN202311506959 A CN 202311506959A CN 117354042 A CN117354042 A CN 117354042A
Authority
CN
China
Prior art keywords
flow
feature vector
characterization
feature
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311506959.8A
Other languages
English (en)
Inventor
徐志强
刘优丹
俞琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longkun Wuxi Smart Technology Co ltd
Original Assignee
Longkun Wuxi Smart Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longkun Wuxi Smart Technology Co ltd filed Critical Longkun Wuxi Smart Technology Co ltd
Priority to CN202311506959.8A priority Critical patent/CN117354042A/zh
Publication of CN117354042A publication Critical patent/CN117354042A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及异常流量监测的技术领域,公开了一种动态监控的边缘网关设备异常流量监测方法,所述方法包括:采集边界网关流量并对采集的流量进行自适应冗余多分辨率计算得到边界网关流量的多分辨率分解信号;利用计算得到的的多分辨率分解信号计算边界网关流量的数据向性特征;基于边界网关业务通信特点计算边界网关流量的业务向性特征;对数据向性特征和业务向性特征进行多粒度扫描得到表征特征向量;对表征特征向量进行级联表征学习得到增强后的表征特征向量,构建分布式异常流量监测模型,所述模型以增强后的表征特征向量为输入,实现网关设备异常流量监测。

Description

一种动态监控的边缘网关设备异常流量监测方法
技术领域
本发明涉及异常流量监测的技术领域,尤其涉及一种动态监控的边缘网关设备异常流量监测方法。
背景技术
随着网络攻击手段的不断发展,边界网关设备的安全防护面临严峻挑战.网络流量异常检测作为网络安全防护的重要手段对提升边界设备安全具有重要意义。网络流量异常是指流量行为偏离正常行为的情形,例如设备故障、网络过载和网络攻击等都会引起网络流量异常。因此,对网络流量异常建模的关键是要对正常的流量行为有清晰的理解。通常首先通过一系列的特征参数表征正常流量的行为模式,然后分析异常流量对这些特征参数的影响,从而提出有关模型检测异常流量。网络流量异常检测可作为一个二分类问题,机器学习技术可以根据已有数据自动挖掘有效特征信息,在分类问题上有显著的应用优势,是当前网络流量异常检测领域的应用热点。机器学习可大体分为传统机器学习和深度学习。传统机器学习算法,如朴素贝叶斯、支持向量机、k近邻、决策树和随机森林等,通过单层或多层组合技术已经在入侵检测技术中取得了成效。然而传统机器学习模型隐藏层数少,结构单一,对异常和正常流量的行为模式缺乏本质上的认识,无法充分利用流量数据的丰富信息。深度学习模型结构和种类丰富,网络层数和结构可以根据流量特点进行构建,特征提取能力更强,在网络流量异常检测中具有广泛的应用远景,但是由于深度学习模型参数庞大导致训练时间过长,在流量日增巨大的背景下无法实时保证边界设备安全。
针对该问题,本发明提出一种动态监控的边界网关设备异常流量监测方法,通过分布式技术将深度学习模型分解进行并行化调度与训练,提高模型的效率,从而保证应对海量的边界网关流量。
发明内容
有鉴于此,本发明提供一种动态监控的边缘网关设备异常流量监测方法,目的在于:1)使用时频域特征提取方法,采用自适应冗余提升多小波变换获取多分辨率分解系数,并结合边界网关通信特点提取业务特征,与传统方法相比提取特征更加完善;2)利用深度森林模型对时频域融合特征进行分类检测,基于框架设计并行深度森林训练模型提升深度森林分类效率;构造了增强后的表征特征向量,利用基于时序融合特征的异常流量检测方法捕捉不同时刻之间向量序列的依赖关系,从而实现对异常流量的检测。
实现上述目的,本发明提供的一种动态监控的边缘网关设备异常流量监测方法,包括以下步骤:
S1:采集边界网关流量并对采集的流量进行自适应冗余多分辨率计算得到边界网关流量的多分辨率分解信号;
S2:根据计算得到的多分辨率分解信号计算边界网关流量的数据向性特征,所述数据向性特征包括频域特征、时域特征;
S3:基于边界网关业务通信特点计算边界网关流量的业务向性特征;
S4:对数据向性特征和业务向性特征进行多粒度扫描得到表征特征向量;
S5:对表征特征向量进行级联表征学习得到增强后的表征特征向量;
S6:构建分布式异常流量监测模型,所述模型以增强后的表征特征向量为输入,以异常流量判别结果为输出。
作为本发明的进一步改进方法:
可选地,所述S1步骤中对采集的流量进行自适应冗余多分辨率计算得到边界网关流量的多分辨率分解信号,包括:
采集边界网关流量,利用滑动窗口获取一段时间/>内的信号/>,对/>进行自适应冗余提升多小波变换,得到多分辨率分解频段信号,包括:
S11:构造二重多小波函数,选择二重多尺度函数,相应的二重多小波函数/>,且满足两尺度矩阵方程:
其中:
表示/>维多小波低通滤波器稀疏矩阵,/>表示多小波高通滤波器稀疏矩阵,/>是尺度函数的长度;
S12:将进行多小波包分解,分解方法为:
其中:
表示第/>频带的第/>个样本点,/>表示第/>频带的第/>个样本点,/>表示第/>频带的每一样本点;
S13:计算初始预测算子和初始更新算子/>构造预测算子目标函数求解预测算子,计算公式为:
其中:
,N表示预测算子维度数量,/>表示预测算子的第k维数值;
根据计算得到的预测算子计算更新算子
其中:
;/>;/>;/>表示更新算子维度数量;
S14:输入计算得到的预测算子和更新算子/>,在不同层计算冗余预测算子/>和冗余更新算子/>
层的冗余预测算子/>构建方法为:
其中:,/>是第/>层初始预测算子的第/>个元素;
层的冗余更新算子/>构建方法为:
其中:,/>是第/>层初始更新算子的第/>个元素;
S15:输入流量信号、冗余预测算子/>、冗余更新算子/>,输出分解后频段信号:
经过平衡多小波变换和滤波器处理得到高频信号/>和低频信号/>,采用步骤S12的分解方法,将/>分解得到/>和/>,再分解得到/>、/>、/>和/>;将/>分解得到/>和/>,再分解得到/>、/>、/>和/>
其中:
表示第/>层的第/>个分解信号,其中/>,/>
可选地,所述步骤S2根据计算得到的多分辨率分解信号计算边界网关流量的数据向性特征,包括:
计算边界网关流量的数据向性特征,所述数据向性特征包括频域特征、时域特征,其中数据向性特征中的频域特征包括:
1)频段信号的能量占比系数,计算公式为:
其中:,/>
2)最大均值对比系数,在多小波分解后的每个频段上均构建长度为/>的滑动窗口,步长为/>(/>),共滑动/>次,可得:
其中:
、/>分别表示同一时间窗口内检测流量和参考流量经过小波包分解后的系数;
数据向性特征中的时域特征包括:
1)均值特征,计算公式为:
其中:表示待测时段流量的均值,/>表示历史流量均值;
2)标准差特征,计算公式为:
其中:
表示待测时段流量的标准差,/>表示历史流量均值流量的标准差。
可选地,所述S3步骤中基于边界网关业务通信特点计算边界网关流量的业务向性特征,包括:
在检测时段内获取边界网关流量,根据业务通信特点选择6个指标:网络接口层,待检测链路中具有终端设备地址的连接数;网络层,待检测链路中具有相同网络地址的连接数/>;网络层,待检测链路中传输ICMP数据包的数量/>;应用层,待检测链路中传输DNS数据包的数量/>;与规定的终端通信协议不一致的报文数量/>;终端通信协议符合规定但内容异常无法解析的报文数量/>
对提取得到的数据向性特征和业务向性特征进行特征融合得到融合后的流量特征向量,其中数据向性特征包括频域特征和时域特征。
可选地,所述S4步骤中对数据向性特征和业务向性特征进行多粒度扫描得到表征特征向量,包括:
对融合后的流量特征向量进行多粒度扫描获取增特征向量片段,并构造一个随机森林和完全随机森林进行训练和预测分类,输出分类概率向量,拼接后得到表征特征向量
所述多粒度扫描通过将一段与原始特征相同的特征向量与原始特征首尾相接,组成组合特征向量;再采用滑动窗口采样获取特征向量片段,在此基础上分别构造随机森林和完全随机森林进行训练和预测分类,最终输出分类概率向量进行拼接,得到表征特征向量。
可选地,所述步骤S5对表征特征向量进行级联表征学习得到增强后的表征特征向量,包括:
对表征特征向量进行级联表征学习得到增强后的表征特征向量, 其中并行化级联森林为所述表征学习的实施方法,包括:
构建并行化级联森林模型,利用训练集对随机森林模型进行训练, 所述并行化级联森林模型输入为表征特征向量,利用验证集对级联的性能增益进行评价,输出为训练完毕的随机森林模型,具体流程为:
S51:使用并行计算框架,构建并行级联森林,每层包含个随机森林分类器,每个分类器的训练、分类预测过程作为单独的任务交由集群并行执行,集群采用容器化部署方式,服务器集群中包含任务调度器和任务管理器,将训练和分类预测任务作为计算任务,提交给任务调度器,把任务分配给每个任务管理器执行;
S52:将多粒度扫描阶段提取的特征向量片段划分为个大小相同的样本子集,每个子集用作一个森林分类器的训练,提交计算任务后,每个随机森林的训练过程通过K折交叉验证的方式对森林中的各个决策树进行训练,决策树训练完成后产生键值对(/>,/>),森林训练完成后将训练完成标识和构建好的森林模型保存在分布式缓存中,当/>个分类器的都完成后,缓存中所有森林模型的集合即为该层级联森林的模型;
其中:表示该决策树所属森林的序号,/>表示该决策树模型,/>表示日期,/>表示时刻;
S53:向森林(/>)提交验证样本集/>进行预测,对于/>中的单个样本/>预测的结果采用</>,/>>数据结构保存在分布式缓存中;
其中:表示在第/>个森林中编号为/>的样本/>,/>表示在第/>个森林中该样本的分类概率向量;
S54:从分布式缓存中合并每个森林对样本/>的分类概率向量,计算各森林输出的样本分类概率向量均值,计算公式为:
其中:样本分类概率向量均值,N表示随机森林分类器数量。
可选地,所述S5步骤中增强后的表征特征向量,包括:
利用训练完毕的随机森林模型,计算得到增强后的表征特征向量,包括:
输入测试样本中的表征特征向量,对表征特征向量进行筛选,选择异常概率大于预设概率阈值的表征特征向量,组成增强后的表征特征向量
可选地,所述步骤S6中构建分布式异常流量检测模型,包括:
构建分布式异常流量检测模型,所述模型输入增强后的表征特征向量和时间信息,输出异常流量判别结果,具体流程为:
S61:将时间信息编码转换成时间向量,计算公式为:
其中:
表示该特征向量产生的绝对时刻,/>表示/>的向量维度,/>分别表示时间向量中的位置,用来区分奇偶;
S62:将增强后的表征特征向量与时间向量/>拼接输出新的组合向量
其中:
,/>表示监测时段内待检测流量产生的表征特征向量的数量;
S63:构建分布式异常流量检测模型,所述模型包含编码器和解码器,其中编码器和解码器的每一层都包含一个全连接前向网络,输入向量,先后在编码器和解码器中进行线性变换和激活输出,以最小化平均交叉熵函数为目标进行训练,输出训练后的分布式异常流量检测模型;
S64:将待检测流量的时序组合向量输入到训练好的分布式异常流量检测模型中,输出待检测流量为正常流量的概率,若小于预设置的阈值,则表示该待检测流量为异常流量,否则为正常流量。
为了解决上述问题,本发明提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;
通信接口,实现电子设备通信;及
处理器,执行所述存储器中存储的指令以实现上述所述的动态监控的边缘网关设备异常流量监测方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的动态监控的边缘网关设备异常流量监测方法。
相对于现有技术,本发明提出一种动态监控的边缘网关设备异常流量监测方法,该技术具有以下优势:
首先,本方案提出一种时频域特征提取方法,采用自适应冗余提升多小波变换获取得到边界网关流量的多分辨率分解信号,所述计算得到边界网关流量的多分辨率分解信号,包括:
采集边界网关流量,利用滑动窗口获取一段时间/>内的信号/>,对/>进行自适应冗余提升多小波变换,得到多分辨率分解频段信号,包括:构造二重多小波函数,选择二重多尺度函数/>,相应的二重多小波函数/>,且满足两尺度矩阵方程:
其中,表示/>维多小波低通滤波器稀疏矩阵,/>表示多小波高通滤波器稀疏矩阵,/>是尺度函数的长度;将/>进行多小波包分解,分解方法为:
其中,表示第/>频带的第/>个样本点,/>表示第/>频带的第/>个样本点,/>表示第/>频带的每一样本点;:计算初始预测算子/>和初始更新算子/>构造预测算子目标函数求解预测算子/>,计算公式为:
其中,,N表示预测算子维度数量,/>表示预测算子的第k维数值;
根据计算得到的预测算子计算更新算子
其中,;/>;/>;/>表示更新算子维度数量;输入计算得到的预测算子/>和更新算子/>,在不同层计算冗余预测算子/>和冗余更新算子/>
层的冗余预测算子/>构建方法为:
其中,,/>是第/>层初始预测算子的第/>个元素;
层的冗余更新算子/>构建方法为:
其中,,/>是第/>层初始更新算子的第/>个元素;输入流量信号/>、冗余预测算子/>、冗余更新算子/>,输出分解后频段信号:/>经过平衡多小波变换和滤波器处理得到高频信号/>和低频信号/>,采用步骤S12的分解方法,将/>分解得到/>和/>,再分解得到/>、/>、/>和/>;将/>分解得到/>和/>,再分解得到/>、/>、/>和/>;其中:/>表示第/>层的第/>个分解信号,其中/>
同时,本方案构建了一种分布式异常流量检测模型,所述分布式异常流量检测模型输入增强后的表征特征向量和时间信息,输出异常流量判别结果,具体流程为:
将时间信息编码转换成时间向量,计算公式为:
其中:表示该特征向量产生的绝对时刻,/>表示/>的向量维度,/>和/>分别表示时间向量中的位置,用来区分奇偶,当/>时,/>,将增强后的表征特征向量/>与时间向量/>拼接输出新的组合向量/>,其中:/>,/>表示监测时段内待检测流量产生的表征特征向量的数量;构建分布式异常流量检测模型,所述模型包含编码器和解码器,其中编码器和解码器的每一层都包含一个全连接前向网络,输入向量/>,先后在编码器和解码器中进行线性变换和激活输出,以最小化平均交叉熵函数为目标进行训练,输出训练后的分布式异常流量检测模型;将待检测流量的时序组合向量输入到训练好的分布式异常流量检测模型中,输出待检测流量为正常流量的概率,若小于预设置的阈值,则表示该待检测流量为异常流量,否则为正常流量。
附图说明
图1为本发明一实施例提供的一种动态监控的边缘网关设备异常流量监测方法的流程示意图;
图2为本发明一实施例提供的实现动态监控的边缘网关设备异常流量监测方法的电子设备的结构示意图。
图中:1电子设备,10处理器,11存储器,12程序,13通信接口。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种动态监控的边缘网关设备异常流量监测方法。所述动态监控的边缘网关设备异常流量监测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述动态监控的边缘网关设备异常流量监测方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1:
S1:采集边界网关流量并对采集的流量进行自适应冗余多分辨率计算得到边界网关流量的多分辨率分解信号。
所述S1步骤中对采集的流量进行自适应冗余多分辨率计算得到边界网关流量的多分辨率分解信号,包括:
采集边界网关流量,利用滑动窗口获取一段时间/>内的信号/>,对/>进行自适应冗余提升多小波变换,得到多分辨率分解频段信号,包括:
S11:构造二重多小波函数,选择二重多尺度函数,相应的二重多小波函数/>,且满足两尺度矩阵方程:
其中:
表示/>维多小波低通滤波器稀疏矩阵,/>表示多小波高通滤波器稀疏矩阵,/>是尺度函数的长度;
S12:将进行多小波包分解,分解方法为:
其中:
表示第/>频带的第/>个样本点,/>表示第/>频带的第/>个样本点,/>表示第/>频带的每一样本点;
S13:计算初始预测算子和初始更新算子/>构造预测算子目标函数求解预测算子,计算公式为:
其中:
,N表示预测算子维度数量,/>表示预测算子的第k维数值;
根据计算得到的预测算子计算更新算子
其中:
;/>;/>;/>表示更新算子维度数量;
S14:输入计算得到的预测算子和更新算子/>,在不同层计算冗余预测算子/>和冗余更新算子/>
层的冗余预测算子/>构建方法为:
其中:,/>是第/>层初始预测算子的第/>个元素;
层的冗余更新算子/>构建方法为:
其中:,/>是第/>层初始更新算子的第/>个元素;
S15:输入流量信号、冗余预测算子/>、冗余更新算子/>,输出分解后频段信号:
经过平衡多小波变换和滤波器处理得到高频信号/>和低频信号/>,采用步骤S12的分解方法,将/>分解得到/>和/>,再分解得到/>、/>、/>和/>;将/>分解得到/>和/>,再分解得到/>、/>、/>和/>
其中:
表示第/>层的第/>个分解信号,其中/>,/>
S2: 根据计算得到的多分辨率分解信号计算边界网关流量的数据向性特征,所述数据向性特征包括频域特征、时域特征。
所述步骤S2根据计算得到的多分辨率分解信号计算边界网关流量的数据向性特征,包括:
计算边界网关流量的数据向性特征,所述数据向性特征包括频域特征、时域特征,其中数据向性特征中的频域特征包括:
1)频段信号的能量占比系数,计算公式为:
其中:,/>
2)最大均值对比系数,在多小波分解后的每个频段上均构建长度为/>的滑动窗口,步长为/>(/>),共滑动/>次,可得:
其中:
、/>分别表示同一时间窗口内检测流量和参考流量经过小波包分解后的系数;
数据向性特征中的时域特征包括:
1)均值特征,计算公式为:
/>
其中:表示待测时段流量的均值,/>表示历史流量均值;
2)标准差特征,计算公式为:
其中:
表示待测时段流量的标准差,/>表示历史流量均值流量的标准差。
S3:基于边界网关业务通信特点计算边界网关流量的业务向性特征。
所述S3步骤中基于边界网关业务通信特点计算边界网关流量的业务向性特征,包括:
在检测时段内获取边界网关流量,根据业务通信特点选择6个指标:网络接口层,待检测链路中具有终端设备地址的连接数;网络层,待检测链路中具有相同网络地址的连接数/>;网络层,待检测链路中传输ICMP数据包的数量/>;应用层,待检测链路中传输DNS数据包的数量/>;与规定的终端通信协议不一致的报文数量/>;终端通信协议符合规定但内容异常无法解析的报文数量/>
对提取得到的数据向性特征和业务向性特征进行特征融合得到融合后的流量特征向量,其中数据向性特征包括频域特征和时域特征。
S4:对数据向性特征和业务向性特征进行多粒度扫描得到表征特征向量。
所述步骤S4对数据向性特征和业务向性特征进行多粒度扫描得到表征特征向量,包括:
对融合后的流量特征向量进行多粒度扫描获取增特征向量片段,并构造一个随机森林和完全随机森林进行训练和预测分类,输出分类概率向量,拼接后得到表征特征向量
所述多粒度扫描通过将一段与原始特征相同的特征向量与原始特征首尾相接,组成组合特征向量;再采用滑动窗口采样获取特征向量片段,在此基础上分别构造随机森林和完全随机森林进行训练和预测分类,最终输出分类概率向量进行拼接,得到表征特征向量。
S5:对表征特征向量进行级联表征学习得到增强后的表征特征向量。
所述步骤S5对表征特征向量进行级联表征学习得到增强后的表征特征向量,包括:
对表征特征向量进行级联表征学习得到增强后的表征特征向量, 其中并行化级联森林为所述表征学习的实施方法,包括:
构建并行化级联森林模型,利用训练集对随机森林模型进行训练, 所述并行化级联森林模型输入为表征特征向量,利用验证集对级联的性能增益进行评价,输出为训练完毕的随机森林模型,具体流程为:
S51:使用并行计算框架,构建并行级联森林,每层包含个随机森林分类器,每个分类器的训练、分类预测过程作为单独的任务交由集群并行执行,集群采用容器化部署方式,服务器集群中包含任务调度器和任务管理器,将训练和分类预测任务作为计算任务,提交给任务调度器,把任务分配给每个任务管理器执行;
S52:将多粒度扫描阶段提取的特征向量片段划分为个大小相同的样本子集,每个子集用作一个森林分类器的训练,提交计算任务后,每个随机森林的训练过程通过K折交叉验证的方式对森林中的各个决策树进行训练,决策树训练完成后产生键值对(/>,/>),森林训练完成后将训练完成标识和构建好的森林模型保存在分布式缓存中,当/>个分类器的都完成后,缓存中所有森林模型的集合即为该层级联森林的模型;
其中:表示该决策树所属森林的序号,/>表示该决策树模型,/>表示日期,/>表示时刻;
S53:向森林(/>)提交验证样本集/>进行预测,对于/>中的单个样本/>预测的结果采用</>,/>>数据结构保存在分布式缓存中;
其中:表示在第/>个森林中编号为/>的样本/>,/>表示在第/>个森林中该样本的分类概率向量;
S54:从分布式缓存中合并每个森林对样本/>的分类概率向量,计算各森林输出的样本分类概率向量均值,计算公式为:
其中:样本分类概率向量均值,N表示随机森林分类器数量。
所述步骤S5增强后的表征特征向量,包括:
利用训练完毕的随机森林模型,计算得到增强后的表征特征向量,包括:
输入测试样本中的表征特征向量,对表征特征向量进行筛选,选择异常概率大于预设概率阈值的表征特征向量,组成增强后的表征特征向量
S6: 构建分布式异常流量监测模型,所述模型以增强后的表征特征向量为输入,以异常流量判别结果为输出。
所述步骤S6中构建分布式异常流量检测模型,包括:
构建分布式异常流量检测模型,所述模型输入增强后的表征特征向量和时间信息,输出异常流量判别结果,具体流程为:
S61:将时间信息编码转换成时间向量,计算公式为:
其中:
表示该特征向量产生的绝对时刻,/>表示/>的向量维度,/>分别表示时间向量中的位置,用来区分奇偶;
S62:将增强后的表征特征向量与时间向量/>拼接输出新的组合向量
/>
其中:
,/>表示监测时段内待检测流量产生的表征特征向量的数量;
S63:构建分布式异常流量检测模型,所述模型包含编码器和解码器,其中编码器和解码器的每一层都包含一个全连接前向网络,输入向量,先后在编码器和解码器中进行线性变换和激活输出,以最小化平均交叉熵函数为目标进行训练,输出训练后的分布式异常流量检测模型;
S64:将待检测流量的时序组合向量输入到训练好的分布式异常流量检测模型中,输出待检测流量为正常流量的概率,若小于预设置的阈值,则表示该待检测流量为异常流量,否则为正常流量。
实施例2:
如图2所示,是本发明一实施例提供的实现动态监控的边缘网关设备异常流量监测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card, SMC)、安全数字(SecureDigital, SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(用于实现边缘网关设备异常流量监测方法的程序12等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述通信接口13可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接,并实现电子设备内部组件之间的连接通信。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图2仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图2示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的程序12是多个指令的组合,在所述处理器10中运行时,可以实现:
采集边界网关流量并对采集的流量进行自适应冗余多分辨率计算得到边界网关流量的多分辨率分解信号;
根据计算得到的多分辨率分解信号计算边界网关流量的数据向性特征,所述数据向性特征包括频域特征、时域特征;
基于边界网关业务通信特点计算边界网关流量的业务向性特征;
对数据向性特征和业务向性特征进行多粒度扫描得到表征特征向量;
对表征特征向量进行级联表征学习得到增强后的表征特征向量;
构建分布式异常流量监测模型,所述模型以增强后的表征特征向量为输入,以异常流量判别结果为输出。
具体地,所述处理器10对上述指令的具体实现方法可参考图1至图2对应实施例中相关步骤的描述,在此不赘述。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种动态监控的边缘网关设备异常流量监测方法,其特征在于,所述方法包括:
S1:采集边界网关流量并对采集的流量进行自适应冗余多分辨率计算得到边界网关流量的多分辨率分解信号;
S2:根据计算得到的多分辨率分解信号计算边界网关流量的数据向性特征,所述数据向性特征包括频域特征、时域特征;
S3:基于边界网关业务通信特点计算边界网关流量的业务向性特征;
S4:对数据向性特征和业务向性特征进行多粒度扫描得到表征特征向量;
S5:对表征特征向量进行级联表征学习得到增强后的表征特征向量;
S6:构建分布式异常流量监测模型,所述模型以增强后的表征特征向量为输入,以异常流量判别结果为输出。
2.如权利要求1所述的一种动态监控的边缘网关设备异常流量监测方法,其特征在于,所述S1步骤中对采集的流量进行自适应冗余多分辨率计算得到边界网关流量的多分辨率分解信号,包括:
采集边界网关流量,利用滑动窗口获取一段时间/>内的信号/>,对/>进行自适应冗余提升多小波变换,得到多分辨率分解信号,包括:
S11:构造二重多小波函数,选择二重多尺度函数,相应的二重多小波函数/>,且满足两尺度矩阵方程:
其中:
表示/>维多小波低通滤波器稀疏矩阵,/>表示多小波高通滤波器稀疏矩阵,/>表示尺度函数的长度;
S12:将进行多小波包分解,分解方法为:
其中:
表示第/>频带的第/>个样本点,/>表示第/>频带的第/>个样本点,/>表示第/>频带的每一样本点;
S13:计算初始预测算子和初始更新算子/>构造预测算子目标函数求解预测算子/>,计算公式为:
其中:
,N表示预测算子维度数量,/>表示预测算子的第k维数值;
根据计算得到的预测算子计算更新算子
其中:
;/>;/>;/>表示更新算子维度数量;
S14:输入计算得到的预测算子和更新算子/>,在不同层计算冗余预测算子/>和冗余更新算子/>
层的冗余预测算子/>构建方法为:
其中:,/>表示第/>层初始预测算子的第/>个元素;
层的冗余更新算子/>构建方法为:
其中:,/>表示第/>层初始更新算子的第/>个元素;
S15:输入流量信号、冗余预测算子/>、冗余更新算子/>,输出分解信号:
经过平衡多小波变换和滤波器处理得到高频信号/>和低频信号/>,采用步骤S12的分解方法,将/>分解得到/>和/>,再分解得到/>、/>、/>;将/>分解得到/>和/>,再分解得到/>、/>、/>和/>
其中:
表示第/>层的第/>个分解信号,其中/>,/>
3.如权利要求1所述的一种动态监控的边缘网关设备异常流量监测方法,其特征在于,所述步骤S2根据计算得到的多分辨率分解信号计算边界网关流量的数据向性特征,包括:
计算边界网关流量的数据向性特征,所述数据向性特征包括频域特征、时域特征,其中数据向性特征中的频域特征包括:
1)频段信号的能量占比系数,计算公式为:
其中:,/>
2)最大均值对比系数,在多小波分解后的每个频段上均构建长度为/>的滑动窗口,步长为/>(/>),共滑动/>次,可得:
其中:
、/>分别表示同一时间窗口内检测流量和参考流量经过小波包分解后的系数;
数据向性特征中的时域特征包括:
1)均值特征,计算公式为:
其中:表示待测时段流量的均值,/>表示历史流量均值;
2)标准差特征,计算公式为:
其中:
表示待测时段流量的标准差,/>表示历史流量均值流量的标准差。
4.如权利要求3所述的一种动态监控的边缘网关设备异常流量监测方法,其特征在于,所述步骤S3中基于边界网关业务通信特点计算边界网关流量的业务向性特征,包括:
在检测时段内获取边界网关流量,根据业务通信特点选择6个指标:网络接口层,待检测链路中具有终端设备地址的连接数;网络层,待检测链路中具有相同网络地址的连接数/>;网络层,待检测链路中传输ICMP数据包的数量/>;应用层,待检测链路中传输DNS数据包的数量/>;与规定的终端通信协议不一致的报文数量/>;终端通信协议符合规定但内容异常无法解析的报文数量/>
对提取得到的数据向性特征和业务向性特征进行特征融合得到融合后的流量特征向量,其中数据向性特征包括频域特征和时域特征。
5.如权利要求1所述的一种动态监控的边缘网关设备异常流量监测方法,其特征在于,所述步骤S4对数据向性特征和业务向性特征进行多粒度扫描得到表征特征向量,包括:
对融合后的流量特征向量进行多粒度扫描获取增特征向量片段,并构造一个随机森林和完全随机森林进行训练和预测分类,输出分类概率向量,拼接后得到表征特征向量;
所述多粒度扫描通过将一段与原始特征相同的特征向量与原始特征首尾相接,组成组合特征向量;再采用滑动窗口采样获取特征向量片段,在此基础上分别构造随机森林和完全随机森林进行训练和预测分类,最终输出分类概率向量进行拼接,得到表征特征向量。
6.如权利要求1所述的一种动态监控的边缘网关设备异常流量监测方法,其特征在于,所述步骤S5对表征特征向量进行级联表征学习得到增强后的表征特征向量,包括:
对表征特征向量进行级联表征学习得到增强后的表征特征向量, 其中并行化级联森林为所述表征学习的实施方法,包括:
构建并行化级联森林模型,利用训练集对随机森林模型进行训练, 所述并行化级联森林模型输入为表征特征向量,利用验证集对级联的性能增益进行评价,输出为训练完毕的随机森林模型,具体流程为:
S51:使用并行计算框架,构建并行级联森林模型,每层包含个随机森林分类器,每个分类器的训练、分类预测过程作为单独的任务交由集群并行执行,集群采用容器化部署方式,服务器集群中包含任务调度器和任务管理器,将训练和分类预测任务作为计算任务,提交给任务调度器,把任务分配给每个任务管理器执行;
S52:将多粒度扫描阶段提取的特征向量片段划分为个大小相同的样本子集,每个子集用作一个森林分类器的训练,提交计算任务后,每个随机森林的训练过程通过K折交叉验证的方式对森林中的各个决策树进行训练,决策树训练完成后产生键值对(/>,/>),森林训练完成后将训练完成标识和构建好的森林模型保存在分布式缓存中,当/>个分类器的都完成后,缓存中所有森林模型的集合即为该层级联森林的模型;
其中:表示该决策树所属森林的序号,/>表示该决策树模型,/>表示日期,/>表示时刻;
S53:向森林(/>)提交验证样本集/>进行预测,对于/>中的单个样本/>预测的结果采用</>,/>>数据结构保存在分布式缓存中;
其中:表示在第/>个森林中编号为/>的样本/>,/>表示在第/>个森林中该样本的分类概率向量;
S54:从分布式缓存中合并每个森林对样本/>的分类概率向量,计算各森林输出的样本分类概率向量均值,计算公式为:
其中:样本分类概率向量均值,N表示随机森林分类器数量。
7.如权利要求6所述的一种动态监控的边缘网关设备异常流量监测方法,其特征在于,增强后的表征特征向量,包括:
利用训练完毕的随机森林模型,计算得到增强后的表征特征向量,包括:
输入测试样本中的表征特征向量,对表征特征向量进行筛选,选择异常概率大于预设概率阈值的表征特征向量,组成增强后的表征特征向量
8.如权利要求1所述的一种动态监控的边缘网关设备异常流量监测方法,其特征在于,所述步骤S6中构建分布式异常流量检测模型,包括:
构建分布式异常流量检测模型,所述模型输入增强后的表征特征向量和时间信息,输出异常流量判别结果,具体流程为:
S61:将时间信息编码转换成时间向量,计算公式为:
其中:
表示该特征向量产生的绝对时刻,/>表示/>的向量维度,/>和/>分别表示时间向量中的位置,用来区分奇偶;
S62:将增强后的表征特征向量与时间向量/>拼接输出新的组合向量/>
其中:
,/>表示监测时段内待检测流量产生的表征特征向量的数量;
S63:构建分布式异常流量检测模型,所述模型包含编码器和解码器,其中编码器和解码器的每一层都包含一个全连接前向网络,输入向量,先后在编码器和解码器中进行线性变换和激活输出,以最小化平均交叉熵函数为目标进行训练,输出训练后的分布式异常流量检测模型;
S64:将待检测流量的时序组合向量输入到训练好的分布式异常流量检测模型中,输出待检测流量为正常流量的概率,若小于预设置的阈值,则表示该待检测流量为异常流量,否则为正常流量。
CN202311506959.8A 2023-11-14 2023-11-14 一种动态监控的边缘网关设备异常流量监测方法 Pending CN117354042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311506959.8A CN117354042A (zh) 2023-11-14 2023-11-14 一种动态监控的边缘网关设备异常流量监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311506959.8A CN117354042A (zh) 2023-11-14 2023-11-14 一种动态监控的边缘网关设备异常流量监测方法

Publications (1)

Publication Number Publication Date
CN117354042A true CN117354042A (zh) 2024-01-05

Family

ID=89369385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311506959.8A Pending CN117354042A (zh) 2023-11-14 2023-11-14 一种动态监控的边缘网关设备异常流量监测方法

Country Status (1)

Country Link
CN (1) CN117354042A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118101470B (zh) * 2024-04-28 2024-06-21 深圳市博安智控科技有限公司 一种多通路可编程边缘计算控制网关构建与控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422505A (zh) * 2020-10-13 2021-02-26 北京理工大学 基于高维扩展关键特征向量的网络恶意流量识别方法
CN114613004A (zh) * 2022-02-28 2022-06-10 电子科技大学 一种人体动作的轻量化在线检测方法
CN114785573A (zh) * 2022-04-06 2022-07-22 杭州电子科技大学 基于深度学习的智能变电站过程层网络异常流量检测方法
CN116192523A (zh) * 2023-03-06 2023-05-30 湖南匡安网络技术有限公司 一种基于神经网络的工控异常流量监测方法和系统
CN116541755A (zh) * 2023-03-27 2023-08-04 交通银行股份有限公司 一种基于时序图表征学习的金融行为模式分析预测方法
CN117009788A (zh) * 2023-08-25 2023-11-07 郑州大学 基于水锤波特征参数集的埋地输流管道周界塌陷预警方法、存储介质和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422505A (zh) * 2020-10-13 2021-02-26 北京理工大学 基于高维扩展关键特征向量的网络恶意流量识别方法
CN114613004A (zh) * 2022-02-28 2022-06-10 电子科技大学 一种人体动作的轻量化在线检测方法
CN114785573A (zh) * 2022-04-06 2022-07-22 杭州电子科技大学 基于深度学习的智能变电站过程层网络异常流量检测方法
CN116192523A (zh) * 2023-03-06 2023-05-30 湖南匡安网络技术有限公司 一种基于神经网络的工控异常流量监测方法和系统
CN116541755A (zh) * 2023-03-27 2023-08-04 交通银行股份有限公司 一种基于时序图表征学习的金融行为模式分析预测方法
CN117009788A (zh) * 2023-08-25 2023-11-07 郑州大学 基于水锤波特征参数集的埋地输流管道周界塌陷预警方法、存储介质和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周政雷等: "基于并行深度森林的配用电通信网络异常流量检测", 《华东师范大学学报(自然科学版)》, no. 5, 30 September 2023 (2023-09-30), pages 122 - 134 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118101470B (zh) * 2024-04-28 2024-06-21 深圳市博安智控科技有限公司 一种多通路可编程边缘计算控制网关构建与控制方法

Similar Documents

Publication Publication Date Title
Abusitta et al. A deep learning approach for proactive multi-cloud cooperative intrusion detection system
US11522881B2 (en) Structural graph neural networks for suspicious event detection
Khasawneh et al. EnsembleHMD: Accurate hardware malware detectors with specialized ensemble classifiers
Vishwakarma et al. A new two-phase intrusion detection system with Naïve Bayes machine learning for data classification and elliptic envelop method for anomaly detection
Singh et al. Cuckoo optimisation based intrusion detection system for cloud computing
Idrissi et al. An unsupervised generative adversarial network based-host intrusion detection system for internet of things devices
CN110730164B (zh) 安全预警方法及相关设备、计算机可读存储介质
Yang et al. Application of meta-learning in cyberspace security: A survey
CN113704410B (zh) 情绪波动检测方法、装置、电子设备及存储介质
CN111970259B (zh) 一种基于深度学习的网络入侵检测方法和报警系统
CN117113262A (zh) 网络流量识别方法及其系统
US10922406B2 (en) Protecting method and system for malicious code, and monitor apparatus
Benaddi et al. Adversarial attacks against iot networks using conditional gan based learning
Dalal et al. Optimized LightGBM model for security and privacy issues in cyber‐physical systems
Misbha Detection of attacks using attention-based conv-lstm and bi-lstm in industrial internet of things
Yang et al. Cloud-edge coordinated traffic anomaly detection for industrial cyber-physical systems
US11366984B1 (en) Verifying a target object based on confidence coefficients generated by trained models
Zhang et al. Many-objective optimization based intrusion detection for in-vehicle network security
Sheng et al. Network traffic anomaly detection method based on chaotic neural network
Li et al. Improving IoT data availability via feedback-and voting-based anomaly imputation
CN117354042A (zh) 一种动态监控的边缘网关设备异常流量监测方法
CN116015922B (zh) 一种电力物联网的网络安全态势分析方法、装置及设备
CN116737850A (zh) Apt实体关系预测的图神经网络模型训练方法
CN117074628B (zh) 一种多传感器空气质量检测设备故障定位方法
CN116708313B (zh) 流量检测方法、流量检测装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination