CN114499979B - 一种基于联邦学习的sdn网络异常流量协同检测方法 - Google Patents

一种基于联邦学习的sdn网络异常流量协同检测方法 Download PDF

Info

Publication number
CN114499979B
CN114499979B CN202111630368.2A CN202111630368A CN114499979B CN 114499979 B CN114499979 B CN 114499979B CN 202111630368 A CN202111630368 A CN 202111630368A CN 114499979 B CN114499979 B CN 114499979B
Authority
CN
China
Prior art keywords
detection node
detection
node
entropy
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111630368.2A
Other languages
English (en)
Other versions
CN114499979A (zh
Inventor
陈何雄
罗宇薇
谢林江
张振红
罗震宇
郭威
杭菲璐
毛正雄
何映军
韦云凯
杨宁
张军
徐晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Center of Yunnan Power Grid Co Ltd
Original Assignee
Information Center of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Center of Yunnan Power Grid Co Ltd filed Critical Information Center of Yunnan Power Grid Co Ltd
Priority to CN202111630368.2A priority Critical patent/CN114499979B/zh
Publication of CN114499979A publication Critical patent/CN114499979A/zh
Application granted granted Critical
Publication of CN114499979B publication Critical patent/CN114499979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于联邦学习的SDN网络异常流量协同检测方法，属于网络安全技术领域。该方法首选构建基于联邦学习的SDN网络异常流量协同检测系统；然后，从信息熵的角度分析流量特征变化，进而计算边缘检测节点与中心检测节点的熵差值绝对值序列的相对熵，以确定协同更新中的本地参数权重、全局参数权重；最后，基于联邦学习的SDN网络异常流量协同检测系统下，进行多检测点的协同训练与检测。本发明能提高SDN网络异常流量检测模型对异常流量的识别准确率，易于推广应用。

Description

一种基于联邦学习的SDN网络异常流量协同检测方法
技术领域
本发明属于网络安全技术领域，具体涉及一种基于联邦学习的SDN网络异常流量协同检测方法。
背景技术
软件定义网络(Software Defined Network，SDN)技术在互联网、物联网、5G/6G等网络中正获得越来越广泛的研究和应用，这也吸引了日益增多的安全攻击风险。网络攻击酝酿与发生时常常表现为流量异常，因此，检测网络流量的异常变化，分析并发现潜在的网络攻击，是增强网络安全的重要手段。
异常流量检测与识别算法通常可以分为两类：传统的非机器学习算法和当前广泛研究的基于机器学习的算法。当前常见的非机器学习算法有基于参数统计的识别算法、基于标签统计的识别算法和基于流量信息熵特征的识别算法等，这类算法虽然具有较低的算法复杂度，但是算法中预设的阈值对算法的识别效果有着决定性的影响，故这类算法可识别的异常流量种类较少。此外，阈值的设定往往与应用环境密切相关，当应用环境变化时，由于不具备学习性，据该类算法训练得到的模型性能也将受到影响。从而，利用机器学习提升异常流量检测的效率与准确性，是异常流量检测领域的重要方法与发展趋势，诸如朴素贝叶斯算法、SVM、随机森林算法、循环神经网络(Recurrent Neural Network,RNN)、长短期记忆(Long short-term memory,LSTM)等机器学习算法，都被广泛研究应用于异常流量检测。但是，目前基于机器学习的异常流量检测算法，还存在如下问题：
(1)当前针对异常流量通常有基于单设备与基于多设备两种检测方式，单设备、集中式机器学习通常受到训练样本不足的问题；基于多设备的方式中，多个设备间通常缺少协作，或者只进行有限的协作，每个设备还是相对独立的实施检测工作。单设备、集中式的机器学习架构对模型训练节点的计算和存储能力有着较高的要求，如果在网络中只部署一个检测模型，该模型可利用的训练数据往往是有限的，这种有限性将使模型的检测效果受到影响。鉴于异常流量在局部视角与全局视图上所表现出的数据特征是有差异的，如果在网络中部署多个独立训练的检测模型，由于模型在独立训练时无法综合各个局部视角下的数据特征，模型性能仍然受到训练数据有限性的影响，这种方式只是徒增了资源开销，并没有解决训练数据有限性的问题。
(2)当前有些研究中也引入分布式思路，将诸如联邦学习等分布式学习机制应用于异常流量检测，以解决机器学习中数据不足、设备异构等问题。但是，传统的联邦学习目标是利用多方资源来共同训练一个唯一的全局模型，然后将所得到的模型参数与各检测节点共享。在联邦平均算法中，各边缘检测节点在训练时不使用利用本地数据训练得到的模型参数，只使用由中心服务器聚合得到的全局参数，最终训练得到的模型性能与在集中式架构下训练的模型性能相当，但是，在最后得到的全局模型中并没有考虑到应用该模型的不同边缘检测节点的环境差异，如果模型的普适性较强，那么其针对某些应用环境的针对性将可能降低，如果模型的对某些应用环境的针对性较强，那么该模型在其他应用环境下的检测准确率将可能降低。因此如何克服现有技术的不足是目前网络安全技术领域亟需解决的问题。
发明内容
本发明的目的是为了解决现有技术的不足，针对广泛应用的软件定义网络(Software Defined Network,SDN)中，如何检测网络流量中存在的异常、分析并发现潜在网络攻击的问题，结合SDN网络的网络拓扑与流量特征，提供一种基于联邦学习的SDN网络异常流量协同检测方法。本发明将检测节点分为中心检测节点与边缘检测节点两种类型，根据边缘检测节点与中心检测节点之间的流量变化关联性制定模型参数的更新策略，并基于该策略在联邦学习架构下实现异常流量检测模型的协同训练，提升检测模型对异常流量的识别准确率。
为实现上述目的，本发明采用的技术方案如下：
一种基于联邦学习的SDN网络异常流量协同检测方法，包括：
构建基于联邦学习的SDN网络异常流量协同检测系统；
从信息熵的角度分析流量特征变化，进而计算边缘检测节点与中心检测节点的熵差值绝对值序列的相对熵，以确定协同更新中的本地参数权重、全局参数权重；
基于联邦学习的SDN网络异常流量协同检测系统下，进行多检测点的协同训练与检测。
进一步，优选的是，构建基于联邦学习的SDN网络异常流量协同检测系统的具体方法为：
构建包括SDN控制器、若干交换机与终端设备的SDN网络；在SDN控制器或与其直连的流量检测设备上部署中心检测节点，在交换机或与其直连的流量检测设备上部署边缘检测节点。
进一步，优选的是，多台交换机所构成区域中的某一台交换机或与该交换机直接连接的流量检测设备部署边缘检测节点。
进一步，优选的是，将中心检测节点表示为C，则C在联邦学习过程中根据各边缘检测节点上传的模型参数聚合的全局参数表示为gc；
将边缘检测节点集合表示为D，其数量表示为m，则有D＝{d1，d2，...，dm}，则边缘检测节点di(i≤m，i∈N+)在联邦学习过程中的本地模型参数表示为gi；
Figure BDA0003439770810000031
将全局参数gc与本地参数gi在参数更新中的权重分别表示为
Figure BDA0003439770810000032
和
Figure BDA0003439770810000033
Figure BDA0003439770810000034
中心检测节点C根据式(2)更新边缘检测节点di的本地参数gi，并将更新后的模型参数g′i下发给对应的边缘检测节点di；
Figure BDA0003439770810000035
进一步，优选的是，S1、中心检测节点C计算边缘检测节点di参数更新中的本地参数权重、全局参数权重；
S2、边缘检测节点di在本地计算模型参数gi，并发送给中心检测节点C；
S3、中心检测节点C根据式(1)将收到的参数gi取平均，得到全局参数gc；
S4、中心检测节点C根据公式(2)更新di的模型参数为g′i，并将g′i发送给di，di据此将之设定为自己的新gi；
S5、di使用更新后的参数gi更新本地模型；
S6、如果损失函数收敛，或者达到迭代次数上限，停止训练并保存当前检测模型，否则转到S2。
6、根据权利要求4或5所述的基于联邦学习的SDN网络异常流量协同检测方法，其特征在于：本地参数权重、全局参数权重的具体获取方法如下：
将在第j个单位时间tj内边缘检测节点di的流量总数表示为
Figure BDA0003439770810000041
将流量的源IP地址表示为随机变量X，用xk表示源IP地址srck，p(xk)表示源IP地址srck在单位时间tj内的出现概率，则边缘检测节点di处的源IP地址信息熵
Figure BDA0003439770810000042
根据式(4)进行计算；
Figure BDA0003439770810000043
将目的IP地址表示为随机变量Y，用yk表示目的IP地址dstk，p(yk)表示目的IP地址dstk在单位时间tj内的出现概率，则边缘检测节点di处的目的IP地址信息熵
Figure BDA0003439770810000044
根据式(5)进行计算；
Figure BDA0003439770810000045
根据式(6)基于边缘检测节点di的源IP地址信息熵
Figure BDA0003439770810000046
和目的IP地址信息熵
Figure BDA0003439770810000047
计算di的熵差值绝对值
Figure BDA0003439770810000048
Figure BDA0003439770810000049
然后，中心检测节点C根据式(7)基于边缘检测节点di的熵差值绝对值
Figure BDA00034397708100000410
进行计算在第j个单位时间tj内的熵均值绝对值
Figure BDA00034397708100000411
Figure BDA00034397708100000412
经过T个单位时间，中心检测节点C得到一个包含T个元素的熵均值绝对值序列HC(abs)，其中，
Figure BDA00034397708100000413
边缘检测节点di也得到其熵差值绝对值序列
Figure BDA00034397708100000414
其中，
Figure BDA00034397708100000415
序列
Figure BDA00034397708100000416
与序列HC(abs)的相对熵
Figure BDA00034397708100000417
根据式(9)进行计算；
Figure BDA0003439770810000051
边缘检测节点di的本地参数权重
Figure BDA0003439770810000052
与全局参数权重
Figure BDA0003439770810000053
分别据式(10)、式(11)计算；
Figure BDA0003439770810000054
Figure BDA0003439770810000055
本发明将检测节点分为中心检测节点与边缘检测节点两种类型。中心检测节点通常部署于SDN控制器或者与SDN控制器直接相连的流量检测设备，边缘检测节点通常部署于交换机或者与直接连接到该交换机的流量检测设备。中心检测节点与边缘检测节点采用联邦学习的整体架构，协同训练检测模型，并将之应用于网络异常流量的检测。
在此基础上，本发明整体方案分为三个部分：(1)基于联邦学习的SDN网络异常流量协同检测系统；(2)检测模型协同训练与异常流量检测方法；(3)协同更新中的本地、全局参数权重优化算法。具体如下：
为克服单个检测设备的局限性，增强多个检测设备间的协同能力，本发明结合SDN网络的网络拓扑与流量特征构建了基于联邦学习的SDN网络异常流量协同检测系统，并基于该协同检测系统，提出了多检测点协同技术与本地、全局参数权重优化算法，以提高检测模型的准确率与针对性。
基于所提出的协同检测系统，在检测模型协同训练与异常流量检测方法中，首先，中心检测节点依据边缘检测节点的流量变化特征分析并计算本地、全局参数在参数更新时的权重；然后，在联邦学习过程中，中心检测节点依据边缘检测节点将本地模型参数上传给中心检测节点，由中心检测节点以联邦平均的方式得到全局参数后，再依据先前计算的本地、全局参数权重更新边缘检测节点的模型参数，并将更新后的模型参数发给对应边缘检测节点，供其继续进行下一轮训练，直到模型训练完成。各边缘检测节点保存自己的模型应用于异常流量检测。
在本地、全局参数权重优化算法中，本发明结合流量特征的信息熵在网络流量异常情况下将发生大幅度变化的特点，在边缘检测节点与中心检测节点处分别计算源IP地址与目的IP地址的信息熵差值绝对值。经过若干个单位时间后，各检测节点处将得到熵差值绝对值序列，然后，通过计算熵差值绝对值序列的相对熵方式衡量序列之间的相似程度，进而分析边缘检测节点与中心检测节点的流量变化关联性，并基于该关联性确定了协同更新中的本地、全局参数权重。
本发明结合SDN网络的网络拓扑与流量特征，克服单个检测设备的局限性，增强多个检测设备间的协同能力，根据边缘检测节点与中心检测节点之间的流量变化关联性制定模型参数的更新策略，并基于该策略实现异常流量检测模型的协同训练，对提升检测模型对异常流量的识别准确率具有重要意义。
本发明与现有技术相比，其有益效果为：
本发明提供一种基于联邦学习的SDN网络异常流量协同检测方法，根据边缘检测节点与中心检测节点的流量变化关联性聚合模型参数，并基于该聚合策略实现异常流量检测模型的协同训练，与独立训练和传统联邦学习相比，本发明克服了单个设备面临训练样本不足等问题，进一步考虑了边缘检测节点的本地数据特征以改进模型在差异环境下的性能优化策略，从而提高SDN网络异常流量检测模型对异常流量的识别准确率。在仿真实例中，本发明训练所得模型与本地独立训练和传统联邦学习训练所得模型相比，模型准确率分别提升了21.80％、30.09％，F1值分别提升了48.76％、58.47％，AUC值分别提升了31.88％、31.84％。
附图说明
图1是基于联邦学习的SDN网络异常流量协同检测系统示意图；
图2是基于协同检测系统的多检测点协作方法流程图；
图3是基于流量变化关联性的参数权重计算示意图。
具体实施方式
下面结合实施例对本发明作进一步的详细描述。
本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。
具体针对广泛应用的SDN网络中，如何检测网络流量中存在的异常、分析并发现潜在网络攻击的问题，本发明设计了一种基于联邦学习的SDN网络异常流量协同检测方法。首先，结合SDN网络的网络拓扑与流量特征，构建基于联邦学习的SDN网络异常流量协同检测系统，在SDN控制器和交换机或与其直连的流量检测设备上分别部署中心检测节点和边缘检测节点；然后，从信息熵的角度分析流量特征变化，进而计算边缘检测节点与中心检测节点的熵差值绝对值序列的相对熵，以确定协同更新中的本地、全局参数权重；最后，在联邦学习的SDN网络异常流量协同检测系统下实施多检测点的协同训练与检测，以提高检测模型的准确率和针对性。下面对技术方案做具体的描述：
1、基于联邦学习的SDN网络异常流量协同检测系统
在由SDN控制器、若干交换机与终端设备共同构成的SDN网络中，通常存在诸如分布式拒绝服务攻击(Distributed Denial of Service，DDoS)、端口扫描、网络病毒等攻击威胁网络安全。为了及时发现潜在安全风险，克服单个检测设备的局限性，增强多个检测设备间的协同能力，本发明结合SDN网络的网络拓扑与流量特征，构建了基于联邦学习的SDN网络异常流量协同检测系统，并在该系统架构下提出了多检测点协作技术和协同更新中的本地、全局参数权重优化算法。在实际应用时，本发明所提架构中使用的机器学习算法可根据具体场景的检测需求进行选择。本发明的核心是提出一种协同训练与检测的方法，可适用于各种应用场景。其模型可根据不同的应用场景进行具体设定。因此，本发明所提出的协同检测方法并未指定特定的检测模型。
如图1所示，本发明所提出的协同检测系统中的检测节点分为中心检测节点与边缘检测节点两种类型。其中，中心检测节点通常部署于SDN控制器或者与SDN控制器直接相连的流量检测设备，边缘检测节点的具体部署将以实际网络规模与检测需求为导向，选择部署于每台交换机(或与该交换机直接连接的流量检测设备)，或者部署于多台交换机所构成区域中的某一台交换机(或与该交换机直接连接的流量检测设备)。为便于描述，将中心检测节点表示为C，则C在联邦学习过程中据各边缘检测节点上传的模型参数聚合的全局参数表示为gc；将边缘检测节点集合表示为D，其数量表示为m，则有D＝{d1，d2，...，dm}，则边缘检测节点di在联邦学习过程中的本地模型参数表示为gi；将全局参数gc与本地参数gi在参数更新中的权重分别表示为
Figure BDA0003439770810000071
和
Figure BDA0003439770810000072
中心检测节点C与分布在网络中的不同位置区域的边缘检测节点di将通过联邦学习的方式协同训练检测模型，并应用所训练模型实施网络异常流量检测。边缘检测节点di用于其模型训练的流量数据来自所关联交换机或所关联交换机区域。中心检测节点C则主要负责聚合边缘检测节点di上传的本地参数gi求得全局参数gc，再以加权方式更新边缘检测节点用于下一轮训练的模型参数。其中，参数聚合时的本地、全局参数权重将由协同更新中的本地、全局参数权重优化算法给出。考虑到异常流量通常会使单位流量的平均信息熵出现大幅度变化，故通过分析在连续T个单位时间内，边缘检测节点di与中心检测节点C处流量的源IP地址与目的IP地址的熵差值绝对值序列之间的相似程度，衡量边缘检测节点di与中心检测节点C之间的流量变化关联性，再基于这种关联性来确定参数聚合时的全局参数权重
Figure BDA0003439770810000081
与本地参数权重
Figure BDA0003439770810000082
从而，在提高检测模型准确性的同时，充分考虑并结合边缘检测节点的本地数据特征，提升检测模型对其应用环境的针对性。
2、检测模型协同训练与异常流量检测方法
(1)检测模型协同训练
在检测模型协同训练中，边缘检测节点di(i≤m，i∈N+)在中心检测节点C的组织下协同训练检测模型，其中，N+表示正的自然数，即大于零的自然数。首先，中心检测节点C基于流量变化关联性计算协同更新中边缘检测节点di的全局参数权重
Figure BDA0003439770810000083
与本地参数权重
Figure BDA0003439770810000084
Figure BDA0003439770810000085
然后，在边缘检测节点di在使用本地流量数据进行训练得到本地参数gi后，边缘检测节点di将本地模型参数gi上传给中心检测节点C，中心检测节点C则据式(1)计算全局参数gc。
Figure BDA0003439770810000086
最后，中心检测节点C将根据式(2)更新边缘检测节点di的本地参数gi，并将更新后的模型参数g′i下发给对应的边缘检测节点di。
Figure BDA0003439770810000091
检测模型协同训练流程如图2所示，具体步骤如下：
Step 1.中心检测节点C计算边缘检测节点di参数更新中的本地、全局参数权重；
Step 2.边缘检测节点di在本地计算模型参数gi，并发送给中心检测节点C；
Step 3.中心检测节点C根据式(1)将收到的参数gi取平均，得到全局参数gc；
Step 4.中心检测节点C据式(2)更新di的模型参数为g′i，并将结果发送给di，di据此将之设定为自己的新gi；
Step 5.di使用更新后的参数gi更新本地模型；
Step 6.如果损失函数收敛，或者达到迭代次数上限，停止训练并保存当前检测模型，否则转到Step 2。
如此，边缘检测节点将各自训练异常流量检测模型，并与中心检测节点进行交互；中心检测节点通过聚合与更新模型参数，协同边缘检测节点进行训练。当损失函数收敛(本发明对采用的损失函数不做具体限定)或者达到迭代次数上限，该协同训练过程停止，各边缘检测节点保存相应的模型。其中，损失函数依据所使用的机器学习模型与实际检测需求确定，若将异常流量检测转化为分类问题，优选采用交叉熵损失函数。
(2)异常流量检测方法
在完成检测模型的协同训练后，部署在网络不同区域的检测节点将使用相应的检测模型对节点处流量实施异常流量检测。各边缘检测节点以周期时间R更新各自的模型，具体周期时间依据网络规模与实际需求进行设置。异常流量检测方法的具体步骤如下：
Step 1.基于联邦学习的网络异常流量协同检测模型训练完成后，各边缘检测节点保存训练出的相应模型；
Step 2.以时间R为周期，在每个周期结束后，转到Step 3进行模型更新；在每个周期R内，各边缘检测节点从其所处的网络环境中获取流量数据，将流量持续、实时通过相应检测模型，对异常流量进行识别，此时可能有两种情况：
Step 2.1流量无异常，持续检查新的实时流量数据；
Step 2.2流量检测发现异常，发出警报，并复制异常流量，用于用户复查、记录异常检查历史等。同时，持续检测新的实时流量数据；
Step 3.执行基于联邦学习的网络异常流量协同检测模型训练，返回Step 1。
3、检测模型协同更新中的本地、全局参数权重优化算法
鉴于异常流量会使单位流量的平均信息熵出现大幅度变化，在检测模型协同更新中的本地、全局参数权重优化算法中，将从信息熵的角度分析检测节点的流量变化情况，并通过计算边缘检测节点与中心检测节点处的熵序列的相对熵，来衡量检测节点之间的流量变化关联性，进而基于这种关联性确定协同更新中的本地、全局参数权重。
信息熵的数学表达如式(3)。
Figure BDA0003439770810000101
其中，H(X)表示随机变量的信息熵，xi表示系统中第i个随机变量，则随机变量X＝{xi|i＝1，2，...n}，p(xi)表示系统中第i个随机变量xi出现的概率。由于0≤p(xi)≤1且log2(p(xi))≤0，故该信息熵的取值范围为(0，log2n)，当随机变量均匀分布时，信息熵H(X)达到最大，即H(X)＝log2n。
考虑到攻击方与非攻击方发出的数据包天然存在源地址、目的地址等源、目特征的区别，数据包的源、目特征的统计特点在一定程度上反映了在遭遇网络攻击和正常情况下的流量状态，本发明选择计算流量的源IP地址与目的IP地址信息熵，来分析边缘检测节点与中心检测节点的流量变化关联性，并以此作为协同更新时本地、全局权重的确定依据。在实际应用时，可以根据实际网络情况，也可以选择使用如源端口地址与目的端口地址、源MAC地址与目的MAC地址等对应的源目特征。
将在第j个单位时间tj内边缘检测节点di的流量总数表示为
Figure BDA0003439770810000102
将流量的源IP地址表示为随机变量X，用xk表示源IP地址srck，p(xk)表示源IP地址srck在单位时间tj内的出现概率则边缘检测节点di处的源IP地址信息熵
Figure BDA0003439770810000103
可据式(4)进行计算。
Figure BDA0003439770810000111
同理，将目的IP地址表示为随机变量Y，用yk表示目的IP地址dstk，p(yk)表示目的IP地址在单位时间tj内的出现概率，则边缘检测节点di处的目的IP地址信息熵
Figure BDA0003439770810000112
可据式(5)进行计算。
Figure BDA0003439770810000113
为在保留二者相对变化的同时，使熵值变化的趋势得以体现，在此，据式(6)基于边缘检测节点di的源IP地址信息熵
Figure BDA0003439770810000114
和目的IP地址信息熵
Figure BDA0003439770810000115
计算di的熵差值绝对值
Figure BDA0003439770810000116
Figure BDA0003439770810000117
然后，中心检测节点C据式(7)基于边缘检测节点di的熵差值绝对值
Figure BDA0003439770810000118
进行计算在第j个单位时间tj内的熵均值绝对值
Figure BDA0003439770810000119
Figure BDA00034397708100001110
如图3所示，经过T个单位时间，中心检测节点C将得到一个包含T个元素的熵均值绝对值序列HC(abs)，其中，
Figure BDA00034397708100001111
边缘检测节点di也将得到其熵差值绝对值序列
Figure BDA00034397708100001112
其中，
Figure BDA00034397708100001113
从统计学角度来看，序列P和Q的相似程度可以通过相对熵来衡量。序列P＝{p1，p2，...，pn}和Q＝{q1，q2，...，qn}的相对熵D(P||Q)可据式(8)进行计算。
Figure BDA00034397708100001114
其中，D(P||Q)的值越小，表示序列P、Q越相似，反之表示序列P、Q相差越大，当且仅当序列P、Q完全相同，即P＝Q时，有D(P||Q)＝0。
为了确定协同更新中，边缘检测节点di参数更新的全局参数权重
Figure BDA0003439770810000121
和本地参数权重
Figure BDA0003439770810000122
本发明通过边缘检测节点di的熵差值绝对值序列
Figure BDA0003439770810000123
与中心检测节点C的熵均值绝对值序列HC(abs)的相对熵来衡量序列相似程度，进而分析边缘检测节点di与中心检测节点C的流量变化关联性。序列
Figure BDA0003439770810000124
与序列HC(abs)的相对熵
Figure BDA0003439770810000125
将据式(9)进行计算。
Figure BDA0003439770810000126
其中，
Figure BDA0003439770810000127
的值越小，说明序列
Figure BDA0003439770810000128
HC(abs)越相似，反之说明序列
Figure BDA0003439770810000129
HC(abs)差异越大，当且仅当序列
Figure BDA00034397708100001210
HC(abs)完全相同，即
Figure BDA00034397708100001211
时，有
Figure BDA00034397708100001212
边缘检测节点di熵差值绝对值序列
Figure BDA00034397708100001213
与中心检测节点C的熵均值绝对值序列HC(abs)的相似程度越高，全局参数权重
Figure BDA00034397708100001214
应增加以优化模型的训练，反之，全局参数权重
Figure BDA00034397708100001215
应减小以避免覆盖本地数据的特征，且本地参数权重
Figure BDA00034397708100001216
应与全局参数权重
Figure BDA00034397708100001217
符合反向变化关系。基于上述考虑，在协同更新中，边缘检测节点di的本地参数权重
Figure BDA00034397708100001218
与全局参数权重
Figure BDA00034397708100001219
分别据式(10)、式(11)计算。
Figure BDA00034397708100001220
Figure BDA00034397708100001221
其中，i，k≤m；i，k∈N+，
Figure BDA00034397708100001222
的值越大，表明在协同更新中，全局参数gC在边缘检测节点di的参数更新时所占的比例越大，反之，本地参数gi在边缘检测节点di的参数更新时所占的比例越大。
4、仿真实例
为说明本发明效果，下面结合具体仿真实例对本发明在给定场景中的性能做进一步说明。
本仿真实例基于pycharm平台，选用GRU模型和UNSW-NB15数据集对本文所提算法进行验证，并比较所得模型与本地独立训练、传统联邦学习所得模型的性能。在仿真实例中设置3个边缘检测节点，共包含12万条流量数据，据IP地址将数据划分成3部分作为不同边缘检测节点处的流量数据。
本仿真实例将对异常流量进行分类检测，使用分类任务常用的准确率(Acc)、F1值(F1)和AUC(Area Under Curve,AUC)值三个度量指标记录仿真结果。其中，模型的准确率能直观地表现模型识别结果，F1值是精确率(Pre)与召回率(Rec)的调和均值，能同时体现模型精确率(Pre)与召回率(Rec)的情况，AUC值为ROC(Receiver OperatingCharacteristic,ROC)曲线下的面积，能直观地反映分类器的性能。Acc与F1的计算公式如式(12)、式(13)：
Figure BDA0003439770810000131
Figure BDA0003439770810000132
其中，TP表示预测为正的正例，TN表示预测为正的负例，FP表示预测为负的正例，FN表示预测为负的负例。
基于上述数据集与环境设置，据本地独立训练、传统联邦学习、本文所提算法分别在边缘检测节点训练所得模型的准确率、F1值、AUC值如表1、表2、表3所示，本发明所得模型与其他算法的性能对比情况如表4所示。
表1不同训练方法下边缘检测节点所得模型的准确率
Figure BDA0003439770810000133
表2不同训练方法下边缘检测节点所得模型的F1值
Figure BDA0003439770810000134
表3不同训练方法下边缘检测节点所得模型的AUC值
Figure BDA0003439770810000141
表4本文所提算法所得模型的平均指标对比情况
Figure BDA0003439770810000142
据表1-表4可见，在本地独立训练时，不同边缘检测节点的模型优劣不均，比如1号节点，虽然准确率较高，但是F1值极低，分类性能表现也不好；在传统联邦学习中，各边缘检测节点所得模型的性能较为平均，虽然改善了独立训练时的较差模型，却影响了较好模型，总体看来，相比于本地独立训练，各检测模型的准确率、F1值与分类性能并没有得到整体提升。而本文所提算法训练所得模型相比于本地独立训练、传统联邦学习所得模型在准确率、F 1值和AUC值上均有所提升，平均而言，模型准确率分别提升了21.80％、30.09％，F 1值分别提升了49.04％、58.47％，AUC值分别提升了31.88％、31.84％。综上，本发明有效提高了检测模型准确性，使检测模型得以优化。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于联邦学习的SDN网络异常流量协同检测方法，其特征在于，包括：
构建基于联邦学习的SDN网络异常流量协同检测系统；
从信息熵的角度分析流量特征变化，进而计算边缘检测节点与中心检测节点的熵差值绝对值序列的相对熵，以确定协同更新中的本地参数权重、全局参数权重；
基于联邦学习的SDN网络异常流量协同检测系统下，进行多检测点的协同训练与检测；
构建基于联邦学习的SDN网络异常流量协同检测系统的具体方法为：
构建包括SDN控制器、若干交换机与终端设备的SDN网络；在SDN控制器或与其直连的流量检测设备上部署中心检测节点，在交换机或与其直连的流量检测设备上部署边缘检测节点；
多台交换机所构成区域中的某一台交换机或与该交换机直接连接的流量检测设备部署边缘检测节点；
将中心检测节点表示为C，则C在联邦学习过程中根据各边缘检测节点上传的模型参数聚合的全局参数表示为gc；
将边缘检测节点集合表示为D，其数量表示为m，则有D＝{d1，d2，...，dm}，则边缘检测节点di(i≤m，i∈N+)在联邦学习过程中的本地模型参数表示为gi；
Figure FDA0003811294750000011
将全局参数gc与本地参数gi在参数更新中的权重分别表示为
Figure FDA0003811294750000012
和
Figure FDA0003811294750000013
Figure FDA0003811294750000014
中心检测节点C根据式(2)更新边缘检测节点di的本地参数gi，并将更新后的模型参数g′i下发给对应的边缘检测节点di；
Figure FDA0003811294750000015
S1、中心检测节点C计算边缘检测节点di参数更新中的本地参数权重、全局参数权重；
S2、边缘检测节点di在本地计算模型参数gi，并发送给中心检测节点C；
S3、中心检测节点C根据式(1)将收到的参数gi取平均，得到全局参数gc；
S4、中心检测节点C根据公式(2)更新di的模型参数为g′i，并将g′i发送给di，di据此将之设定为自己的新gi；
S5、di使用更新后的参数gi更新本地模型；
S6、如果损失函数收敛，或者达到迭代次数上限，停止训练并保存当前检测模型，否则转到S2；
本地参数权重、全局参数权重的具体获取方法如下：
将在第j个单位时间tj内边缘检测节点di的流量总数表示为
Figure FDA0003811294750000021
将流量的源IP地址表示为随机变量X，用xk表示源IP地址srck，p(xk)表示源IP地址srck在单位时间tj内的出现概率，则边缘检测节点di处的源IP地址信息熵
Figure FDA0003811294750000022
根据式(4)进行计算；
Figure FDA0003811294750000023
将目的IP地址表示为随机变量Y，用yk表示目的IP地址dstk，p(yk)表示目的IP地址dstk在单位时间tj内的出现概率，则边缘检测节点di处的目的IP地址信息熵
Figure FDA0003811294750000024
根据式(5)进行计算；
Figure FDA0003811294750000025
根据式(6)基于边缘检测节点di的源IP地址信息熵
Figure FDA0003811294750000026
和目的IP地址信息熵
Figure FDA0003811294750000027
计算di的熵差值绝对值
Figure FDA0003811294750000028
Figure FDA0003811294750000029
然后，中心检测节点C根据式(7)基于边缘检测节点di的熵差值绝对值
Figure FDA00038112947500000210
进行计算在第j个单位时间tj内的熵均值绝对值
Figure FDA00038112947500000211
Figure FDA0003811294750000031
经过T个单位时间，中心检测节点C得到一个包含T个元素的熵均值绝对值序列HC(abs)，其中，
Figure FDA0003811294750000032
边缘检测节点di也得到其熵差值绝对值序列
Figure FDA00038112947500000311
其中，
Figure FDA0003811294750000033
序列
Figure FDA0003811294750000034
与序列HC(abs)的相对熵
Figure FDA0003811294750000035
根据式(9)进行计算；
Figure FDA0003811294750000036
边缘检测节点di的本地参数权重
Figure FDA0003811294750000037
与全局参数权重
Figure FDA0003811294750000038
分别据式(10)、式(11)计算；
Figure FDA0003811294750000039
Figure FDA00038112947500000310
。
CN202111630368.2A 2021-12-28 2021-12-28 一种基于联邦学习的sdn网络异常流量协同检测方法 Active CN114499979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111630368.2A CN114499979B (zh) 2021-12-28 2021-12-28 一种基于联邦学习的sdn网络异常流量协同检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111630368.2A CN114499979B (zh) 2021-12-28 2021-12-28 一种基于联邦学习的sdn网络异常流量协同检测方法

Publications (2)

Publication Number Publication Date
CN114499979A CN114499979A (zh) 2022-05-13
CN114499979B true CN114499979B (zh) 2022-12-06

Family

ID=81496610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111630368.2A Active CN114499979B (zh) 2021-12-28 2021-12-28 一种基于联邦学习的sdn网络异常流量协同检测方法

Country Status (1)

Country Link
CN (1) CN114499979B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134077A (zh) * 2022-06-30 2022-09-30 云南电网有限责任公司信息中心 基于横向lstm联邦学习的企业电力负荷联合预测方法及系统
CN115297124B (zh) * 2022-07-25 2023-08-04 天翼云科技有限公司 一种系统运维管理方法、装置及电子设备
CN116915512B (zh) * 2023-09-14 2023-12-01 国网江苏省电力有限公司常州供电分公司 电网中通信流量的检测方法、检测装置
CN117575291B (zh) * 2024-01-15 2024-05-10 湖南科技大学 基于边缘参数熵的联邦学习的数据协同管理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100974888B1 (ko) * 2007-11-26 2010-08-11 한국전자통신연구원 비정상 트래픽 탐지 장치 및 방법
CN105847283A (zh) * 2016-05-13 2016-08-10 深圳市傲天科技股份有限公司 一种基于信息熵方差分析的异常流量检测方法
CN107231348B (zh) * 2017-05-17 2020-07-28 桂林电子科技大学 一种基于相对熵理论的网络流量异常检测方法
CN113469234A (zh) * 2021-06-24 2021-10-01 成都卓拙科技有限公司 一种基于免模型联邦元学习的网络流量异常检测方法
CN113705712B (zh) * 2021-09-02 2024-01-05 广州大学 一种基于联邦半监督学习的网络流量分类方法和系统

Also Published As

Publication number Publication date
CN114499979A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114499979B (zh) 一种基于联邦学习的sdn网络异常流量协同检测方法
Mohammed et al. Machine learning and deep learning based traffic classification and prediction in software defined networking
CN109359385B (zh) 一种服务质量评估模型的训练方法及装置
Zhang et al. Random-forests-based network intrusion detection systems
Ortet Lopes et al. Towards effective detection of recent DDoS attacks: A deep learning approach
Alabadi et al. Anomaly detection for cyber-security based on convolution neural network: A survey
CN110362772B (zh) 基于深度神经网络的实时网页质量评估方法及系统
CN111400040B (zh) 基于深度学习和边缘计算的工业互联网系统及工作方法
CN108809989B (zh) 一种僵尸网络的检测方法及装置
CN106656357B (zh) 一种工频通信信道状态评估系统和方法
CN112966714A (zh) 一种边缘时序数据异常检测和网络可编程控制方法
Mohammadi et al. A fast anomaly detection system using probabilistic artificial immune algorithm capable of learning new attacks
CN113705604A (zh) 僵尸网络流量分类检测方法、装置、电子设备及存储介质
Hostiadi et al. Hybrid model for bot group activity detection using similarity and correlation approaches based on network traffic flows analysis
Tan et al. Recognizing the content types of network traffic based on a hybrid DNN-HMM model
CN111460026A (zh) 基于直觉模糊时间序列图挖掘的网络流量异常检测方法
CN111600878A (zh) 一种基于maf-adm的低速率拒绝服务攻击检测方法
Li et al. FSL: federated sequential learning-based cyberattack detection for Industrial Internet of Things
Samadzadeh et al. Evaluating Security Anomalies by Classifying Traffic Using Deep Learning
CN111884874B (zh) 一种基于可编程数据平面的舰船网络实时异常检测方法
Sun et al. Deep learning-based anomaly detection in LAN from raw network traffic measurement
Lübben et al. Distributed device-specific anomaly detection using deep feed-forward neural networks
Do et al. A Horizontal Federated-Learning Model for Detecting Abnormal Traffic Generated by Malware in IoT Networks
WO2023093431A1 (zh) 一种模型训练方法、装置、设备、存储介质和程序产品
CN115664804A (zh) 一种基于径向基函数神经网络的LDoS攻击检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant