CN114745253A - 基于Transformer和联邦学习的流量预警方法 - Google Patents

基于Transformer和联邦学习的流量预警方法 Download PDF

Info

Publication number
CN114745253A
CN114745253A CN202210485501.8A CN202210485501A CN114745253A CN 114745253 A CN114745253 A CN 114745253A CN 202210485501 A CN202210485501 A CN 202210485501A CN 114745253 A CN114745253 A CN 114745253A
Authority
CN
China
Prior art keywords
early warning
acs
model
parameters
base station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210485501.8A
Other languages
English (en)
Inventor
王玉梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Digital Intelligence Technology Co Ltd
Original Assignee
China Telecom Digital Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Digital Intelligence Technology Co Ltd filed Critical China Telecom Digital Intelligence Technology Co Ltd
Priority to CN202210485501.8A priority Critical patent/CN114745253A/zh
Publication of CN114745253A publication Critical patent/CN114745253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开一种基于Transformer和联邦学习的流量预警方法，包括步骤：各基站ACS分别构建流量异常监测数据集；中央服务器将中央预警模型和初始化模型参数分别传输到各基站ACS中；各基站ACS利用流量异常监测数据集训练中央预警模型，并将得到的梯度参数回传到中央服务器中；中央服务器接收各基站ACS回传的梯度参数以更新中央预警模型的模型参数，并将更新后的模型参数分发到各基站ACS；各基站ACS将接收到的模型参数加载到中央预警模型中，继续进行模型训练并将得到的梯度参数回传到中央服务器中；重复上述训练更新过程，直至中央预警模型收敛；各基站ACS将最终的模型参数加载到各自的中央预警模型中，用于监测各CPE设备的网络性能。

Description

基于Transformer和联邦学习的流量预警方法
技术领域
本发明属于网络通信领域，具体涉及一种基于Transformer和联邦学习的流量预警方法。
背景技术
随着计算机技术的飞速发展，信息网络已经成为社会发展的重要保证。网络社会发展程度的不断提高，网络应用的日益普及，网络给人们带来便利的同时，人们对网络品质的需求也急速上升，因此给网络运维提出了更高的要求。
CWMP(CPE WAN Management Protocol)协议即为终端广域网管理协议，又名用户侧广域网管理协议，由于TR069文档定义了该协议的框架，所以又叫TR069协议。CWMP协议框架的组成主要包含两部分的内容，即ACS服务器(Auto-Configuration Server,自动配置服务器)和CPE设备(Customer Premises Equipment，用户侧设备)，ACS服务器作为CWMP协议的管理端，通过CWMP协议管理CPE设备，CPE设备是一对多的关系，一台ACS服务器可以管理成千上万的CPE设备，通过ACS服务器集中管理分散于各地的CPE设备，实现CPE设备的远程集中管理。
随着大数据技术和人工智能技术的快速发展，基于数据驱动的流量异常监测或预警方法被广泛应用于分布式网络集群的网络品质监测任务中，该类方法通常利用ACS服务器采集各CPE设备的网络参数，然后统一汇总到中央服务器中用于构建异常监测模型，最后再将得到的监测模型分发至各ACS服务器，进而对各CPE设备的网络品质进行监测预警。然而该类方法却存在如下不足：一方面，汇总的海量数据为中央服务器带来了巨大的运算负担和负载压力，异常监测模型的构建也往往需要消耗大量时间；另一方面，基于网络安全和隐私保护，某些节点或设备的网络参数不便于进行网络传输或参与汇总运算。
发明内容
本发明针对现有技术中的不足，提供一种基于Transformer和联邦学习的流量预警方法，通过联邦学习方法实现对分布式集群的网络监测，解决分布式集群因各地方网络业务不同导致的隐私数据不便参与中央服务器模型的构建问题。
为实现上述目的，本发明采用以下技术方案：
一种基于Transformer和联邦学习的流量预警方法，包括以下步骤：
S1、各基站ACS分别采集其管理范围内各CPE设备的历史网络参数，构建流量异常监测数据集并存储在基站ACS的监测数据库中；
S2、在中央服务器中构建中央预警模型，并初始化模型参数；
S3、中央服务器将中央预警模型和初始化模型参数分别传输到各基站ACS中；
S4、各基站ACS根据初始化模型参数，利用流量异常监测数据集训练中央预警模型，并将得到的用于模型更新的梯度参数回传到中央服务器中；
S5、中央服务器接收并汇总各基站ACS回传的梯度参数以更新中央预警模型的模型参数，并将更新后的模型参数分发到各基站ACS；
S6、各基站ACS将接收到的更新后的模型参数加载到中央预警模型中，继续进行模型训练并将得到的梯度参数回传到中央服务器中；
S7、重复步骤S5和S6，直至中央服务器中的中央预警模型收敛；
S8、将中央服务器中最终的模型参数分发到各基站ACS，由各基站ACS加载到各自的中央预警模型中，用于监测各CPE设备的网络性能。
进一步地，S1中所述网络参数包括CPE设备各时刻的磁盘占用率、CPU占用率、GPU占用率和内存占用率；若某CPE设备发生流量异常，则将该CPE设备流量异常前一段时间内若干时刻的网络参数作为正样本保存至基站ACS的监测数据库中；将流量正常的CPE设备相同时间内若干时刻点的网络参数作为负样本保存至基站ACS的监测数据库中。
进一步地，S2中构建的中央预警模型为Transformer网络，该网络包括若干并列的编码器Encoder和对应的解码器Decoder；所述Encoder包括依次连接的Multi-HeadAttention层和Feed Forward层；所述Decoder包括依次连接的Masked Multi-HeadAttention层、Multi-Head Attention层和Feed Forward层，Multi-Head Attention层的输入包括对应Encoder的输出，Masked Multi-Head Attention层的输入为前一个Decoder的输出。
进一步地，S5中，中央服务器对各基站ACS回传的梯度参数求平均，并根据所得结果更新中央预警模型的模型参数。
进一步地，S1中，若基站ACS获取的某CPE设备某时刻的某个网络参数缺失，则利用均值法或二次插值法根据该CPE设备三个相邻时刻的对应网络参数值计算缺失值。
进一步地，S4中，将流量异常监测数据集中的样本数据输入中央预警模型中，每条样本数据包括n个时刻的网络参数，将其分别输入到Transformer网络的n个Encoder中，并根据对应的样本标签得到相应的梯度参数。
进一步地，S8中，基站ACS将中央服务器中最终的模型参数加载到中央预警模型中，将某CPE设备接下来n个时刻的网络参数输入到Transformer网络的n个Encoder中，得到n个Decoder的输出后求均值，若所得均值大于设定的判断阈值，则表明该CPE设备即将发生或已经发生流量异常。
本发明的有益效果是：
本发明通过联邦学习方法对中央服务器中的Transformer预警模型进行分布式训练，各基站ACS不再需要将其管理范围内所有CPE设备的网络参数传输到中央服务器中，有效保证了CPE设备的数据安全，减轻了中央服务器的运算负担和负载压力，并进一步提高了中央预警模型的训练速度和模型泛化性能。
附图说明
图1为本发明方法的框架示意图；
图2为本发明中的Transformer网络结构图；
图3为Transformer中Multi-Head Attention的结构示意图；
图4为Scaled Dot-Product Attention的结构示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
本发明提出了一种基于Transformer和联邦学习的流量预警方法，其原理框架如图1所示，主要包括以下步骤：
S1、各基站ACS分别采集其管理范围内各CPE设备的历史网络参数，构建流量异常监测数据集并存储在基站ACS的监测数据库中。
所述网络参数包括CPE设备各时刻的磁盘占用率、CPU占用率、GPU占用率和内存占用率；若某CPE设备发生流量异常，则将该CPE设备流量异常前一段时间内若干时刻的网络参数作为正样本保存至基站ACS的监测数据库中；将流量正常的CPE设备相同时间内若干时刻点的网络参数作为负样本保存至基站ACS的监测数据库中。若基站ACS获取的某CPE设备某时刻的某个网络参数缺失，则利用均值法或二次插值法根据该CPE设备三个相邻时刻的对应网络参数值计算缺失值。
S2、在中央服务器中构建中央预警模型，并初始化模型参数。
如图2所示，本实例构建的中央预警模型为Transformer网络，该网络包括若干并列的编码器Encoder和对应的解码器Decoder；所述Encoder包括依次连接的Multi-HeadAttention层和Feed Forward层；所述Decoder包括依次连接的Masked Multi-HeadAttention层、Multi-Head Attention层和Feed Forward层，Multi-Head Attention层的输入包括对应Encoder的输出，Masked Multi-Head Attention层的输入为前一个Decoder的输出。
其中，Multi-Head Attention层的结构如图3所示，Multi-Head Attention层中的Scaled Dot-Product Attention层如图4所示，均为广泛使用的现有技术。
S3、中央服务器将中央预警模型和初始化模型参数分别传输到各基站ACS中。
S4、各基站ACS根据初始化模型参数，利用流量异常监测数据集训练中央预警模型，并将得到的用于模型更新的梯度参数回传到中央服务器中。其中，训练时将流量异常监测数据集中的样本数据输入中央预警模型中，每条样本数据包括n个时刻的网络参数，将其分别输入到Transformer网络的n个Encoder中，并根据对应的样本标签得到相应的梯度参数。
S5、中央服务器接收并汇总各基站ACS回传的梯度参数以更新中央预警模型的模型参数，并将更新后的模型参数分发到各基站ACS。通常，由中央服务器对各基站ACS回传的梯度参数求平均，并根据所得结果更新中央预警模型的模型参数。
S6、各基站ACS将接收到的更新后的模型参数加载到中央预警模型中，继续进行模型训练并将得到的梯度参数回传到中央服务器中。
S7、重复步骤S5和S6，直至中央服务器中的中央预警模型收敛。
S8、将中央服务器中最终的模型参数分发到各基站ACS，由各基站ACS加载到各自的中央预警模型中，用于监测各CPE设备的网络性能。具体地，基站ACS将中央服务器中最终的模型参数加载到中央预警模型中，将某CPE设备接下来n个时刻的网络参数输入到Transformer网络的n个Encoder中，得到n个Decoder的输出后求均值，若所得均值大于设定的判断阈值，则表明该CPE设备即将发生或已经发生流量异常。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于Transformer和联邦学习的流量预警方法，其特征在于，包括以下步骤：
S1、各基站ACS分别采集其管理范围内各CPE设备的历史网络参数，构建流量异常监测数据集并存储在基站ACS的监测数据库中；
S2、在中央服务器中构建中央预警模型，并初始化模型参数；
S3、中央服务器将中央预警模型和初始化模型参数分别传输到各基站ACS中；
S4、各基站ACS根据初始化模型参数，利用流量异常监测数据集训练中央预警模型，并将得到的用于模型更新的梯度参数回传到中央服务器中；
S5、中央服务器接收并汇总各基站ACS回传的梯度参数以更新中央预警模型的模型参数，并将更新后的模型参数分发到各基站ACS；
S6、各基站ACS将接收到的更新后的模型参数加载到中央预警模型中，继续进行模型训练并将得到的梯度参数回传到中央服务器中；
S7、重复步骤S5和S6，直至中央服务器中的中央预警模型收敛；
S8、将中央服务器中最终的模型参数分发到各基站ACS，由各基站ACS加载到各自的中央预警模型中，用于监测各CPE设备的网络性能。
2.如权利要求1所述的一种基于Transformer和联邦学习的流量预警方法，其特征在于，S1中所述网络参数包括CPE设备各时刻的磁盘占用率、CPU占用率、GPU占用率和内存占用率；若某CPE设备发生流量异常，则将该CPE设备流量异常前一段时间内若干时刻的网络参数作为正样本保存至基站ACS的监测数据库中；将流量正常的CPE设备相同时间内若干时刻点的网络参数作为负样本保存至基站ACS的监测数据库中。
3.如权利要求1所述的一种基于Transformer和联邦学习的流量预警方法，其特征在于，S2中构建的中央预警模型为Transformer网络，该网络包括若干并列的编码器Encoder和对应的解码器Decoder；所述Encoder包括依次连接的Multi-Head Attention层和FeedForward层；所述Decoder包括依次连接的Masked Multi-Head Attention层、Multi-HeadAttention层和Feed Forward层，Multi-Head Attention层的输入包括对应Encoder的输出，Masked Multi-Head Attention层的输入为前一个Decoder的输出。
4.如权利要求1所述的一种基于Transformer和联邦学习的流量预警方法，其特征在于，S5中，中央服务器对各基站ACS回传的梯度参数求平均，并根据所得结果更新中央预警模型的模型参数。
5.如权利要求2所述的一种基于Transformer和联邦学习的流量预警方法，其特征在于，若基站ACS获取的某CPE设备某时刻的某个网络参数缺失，则利用均值法或二次插值法根据该CPE设备三个相邻时刻的对应网络参数值计算缺失值。
6.如权利要求3所述的一种基于Transformer和联邦学习的流量预警方法，其特征在于，S4中，将流量异常监测数据集中的样本数据输入中央预警模型中，每条样本数据包括n个时刻的网络参数，将其分别输入到Transformer网络的n个Encoder中，并根据对应的样本标签得到相应的梯度参数。
7.如权利要求6所述的一种基于Transformer和联邦学习的流量预警方法，其特征在于，S8中，基站ACS将中央服务器中最终的模型参数加载到中央预警模型中，将某CPE设备接下来n个时刻的网络参数输入到Transformer网络的n个Encoder中，得到n个Decoder的输出后求均值，若所得均值大于设定的判断阈值，则表明该CPE设备即将发生或已经发生流量异常。
CN202210485501.8A 2022-05-06 2022-05-06 基于Transformer和联邦学习的流量预警方法 Pending CN114745253A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210485501.8A CN114745253A (zh) 2022-05-06 2022-05-06 基于Transformer和联邦学习的流量预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210485501.8A CN114745253A (zh) 2022-05-06 2022-05-06 基于Transformer和联邦学习的流量预警方法

Publications (1)

Publication Number Publication Date
CN114745253A true CN114745253A (zh) 2022-07-12

Family

ID=82285257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210485501.8A Pending CN114745253A (zh) 2022-05-06 2022-05-06 基于Transformer和联邦学习的流量预警方法

Country Status (1)

Country Link
CN (1) CN114745253A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
WO2021169577A1 (zh) * 2020-02-27 2021-09-02 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN113469234A (zh) * 2021-06-24 2021-10-01 成都卓拙科技有限公司 一种基于免模型联邦元学习的网络流量异常检测方法
CN114338419A (zh) * 2021-12-15 2022-04-12 中电信数智科技有限公司 一种IPv6全球组网边缘节点监测及预警方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169577A1 (zh) * 2020-02-27 2021-09-02 山东大学 一种基于加权联邦学习的无线业务流量预测方法
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN113469234A (zh) * 2021-06-24 2021-10-01 成都卓拙科技有限公司 一种基于免模型联邦元学习的网络流量异常检测方法
CN114338419A (zh) * 2021-12-15 2022-04-12 中电信数智科技有限公司 一种IPv6全球组网边缘节点监测及预警方法及系统

Similar Documents

Publication Publication Date Title
CN104734893B (zh) 一种面向wia‑pa网络的tr069协议管理方法
CN111447083B (zh) 动态带宽和不可靠网络下的联邦学习架构及其压缩算法
WO2020077672A1 (zh) 一种服务质量评估模型的训练方法及装置
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
CN112598150B (zh) 一种在智能电厂中基于联邦学习提升火灾检测效果的方法
WO2022111068A1 (zh) Rru欠压风险预测方法、装置、系统、设备及介质
CN110460454A (zh) 基于深度学习的网络设备端口故障智能预测方法及原理
CN108430047A (zh) 一种基于固定拓扑下多智能体的分布式优化方法
CN116187429A (zh) 一种基于切分学习的端边云协同同步联邦学习训练算法
CN114298178A (zh) 一种多智能体的通信学习方法
CN113312177A (zh) 一种基于联邦学习的无线边缘计算系统、优化方法
CN114500296B (zh) 基于功能扩展图的通信、存储和计算资源统一表征方法
Zhang et al. Submodularity and optimality of fusion rules in balanced binary relay trees
WO2022083549A1 (zh) 流量信号转换方法、装置、电子设备及存储介质
CN114745253A (zh) 基于Transformer和联邦学习的流量预警方法
Bastopcu et al. Timely group updating
US20230238156A1 (en) Method and system for detecting typical object of transmission line based on unmanned aerial vehicle (uav) federated learning
CN115563532A (zh) 基于联邦半监督学习的流量分类方法及系统
CN108989475A (zh) 基于区块链的分布式存储传输架构
CN111857015B (zh) 输变电云端智能控制器
CN210927674U (zh) 一种基于标准通信协议的工业互联网体系架构
CN116362103A (zh) 一种设备剩余使用寿命的预测方法及装置
CN102638846A (zh) 一种基于最优量化策略的wsn通信负载降低方法
Nougnanke et al. Novel adaptive data collection based on a confidence index in SDN
CN110798350A (zh) 一种基于不完整状态监测数据学习的系统可靠性模型构建与评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination