CN113839838B - 基于云边协同的联邦学习的业务类型识别方法 - Google Patents

Abstract

本发明提出了一种基于云边协同的联邦学习的业务类型识别方法，属于通信技术领域，实现步骤为：(1)构建云边协同平台；(2)每个边缘服务器获取训练集和测试集；(3)云端服务器构建全局模型并发送初始化数据；(4)每个边缘服务器对云端服务器的指令进行响应；(5)云边协同平台基于联邦学习对全局模型进行迭代训练；(6)获取业务类型识别结果。本发明采用云边协同的联邦学习算法，对每个边缘服务器抓取数据流制作的数据集进行全局模型训练，以扩大数据集的范围，增强全局模型的泛化能力，进而扩大业务类型识别的适用范围。

Description

基于云边协同的联邦学习的业务类型识别方法

技术领域

本发明属于通信技术领域，涉及一种业务类型识别方法，具体涉及一种基于云边协同的联邦学习的业务类型识别方法，可用于云端服务器与边缘服务器协同工作时，对流经边缘服务器中的业务数据流类型进行识别。

背景技术

随着5G带来大带宽、低时延、广连接三大特点，海量的数据业务(网络直播业务、游戏业务，视频业务等)涌现在移动网络和互联网中。为了识别出网络中流经数据流的业务类型，便出现了业务类型识别技术。服务器通过业务类型识别方法识别用户请求数据业务的类型(网络直播、游戏，视频等)，进而为该业务分配相应的计算资源、网络资源以更好的保证用户的服务质量，进而提高用户的满意度。早期基于端口进行业务识别是最快捷、最简单的方式，但随着业务的增多，不同业务占用相同端口越来越多，导致采用基于端口进行业务类型识别的准确率下降甚至失效。基于深度包检测的业务类型识别方法通过提取数据流大量关于业务特征的信息，并与特征库进行匹配实现对业务类型识别，虽然避免了采用端口进行业务识别，获得很好的识别精度，但需要人工手动进行特征库的提取与设计，且难度较大，同时随着网络应用的发展，数据流业务的特征库也随之变换，因此业务类型识别精度也会随着特征库的变化而降低。

基于机器学习的业务识别方法克服了需要人工手动进行特征库的提取与设计的缺陷，例如，申请公布号为CN 111917665 A，名称为“一种终端应用数据流识别方法及系统”的专利申请，公开了一种机器学习的终端应用数据流识别方法，该方法首先对实时采集的待识别终端应用数据流进行预处理，得到按照五元组信息进行分类后的多个类别的数据包集合；再对所得各类别的数据包集合，提取其第一数据特征，分别与多个预设应用业务的特征进行匹配，若能够与任意一种预设应用行为的特征匹配成功，则该类别的数据包集合中的所有数据包的所属应用业务均为该预设应用业务，操作结束；否则，对所得各类别的数据包集合，提取其第二数据特征，并输入到预训练好的数据流识别模型中，对数据流进行识别。该方法避免了人工手动进行特征库的提取与设计，大大提高数据流识别的准确率。但其终端应用数据流的数据集较少，训练得到的模型不具备很好的泛化能力，导致业务类型识别适用范围较小。

随着边缘计算概念的提出，更多的服务提供商将其提供服务的服务器放置在更靠近用户的边缘端，并与具有强大计算能力的云端服务器进行云边协同为用户提供服务。云边协同指的是在边缘服务器资源不足的情况下，可以调用云端服务器的资源进行补充，并满足边缘侧应用对资源的需要。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现人工智能协同。通过云边协同和联邦学习方法提供了一种通过扩大数据流的数据集范围，实现扩大业务类型识别范围的可能。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于云边协同的联邦学习的业务类型识别方法，在保证业务类型识别精度和效率的同时，拓宽业务类型识别的适用范围。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)构建云边协同平台：

构建包括云端服务器以及与其通过互联网连接的N个边缘服务器E＝{e₁,e₂,...,e_n,...,e_N}的云边协同平台，其中，N≥3，e_n表示计算资源为C_n的第n个边缘服务器，计算资源C_n包括图形处理器GPU_n、中央处理器CPU_n和随机存储器RAM_n；

(2)每个边缘服务器获取训练集和测试集：

(2a)每个边缘服务器e_n抓取终端请求流经自己的K条包括D种业务类型的数据流，并以G为数据流长度，以W为间隔对K条数据流进行采样，得到H个数据流块，其中，K≥100000，D≥3，G≥32，W≥32，

(2b)每个边缘服务器e_n将每个数据流块中的W条数据流合成为一幅灰度图片，并对灰度图片中的业务类型进行标注，然后将带有业务类型标签的H幅灰度图片中的半数以上作为训练集train_n，将其余的带有业务类型标签的灰度图片作为测试集test_n，

(3)云端服务器构建全局模型并发送初始化数据：

云端服务器构建包括全连接输入层input、多个卷积层、多个池化层、dropout层、全连接输出层output和softmax层的全局模型，并将该全局模型和性能请求指令PerformRequest作为初始化数据发送至每个边缘服务器e_n；

(4)每个边缘服务器对云端服务器的指令进行响应：

每个边缘服务器e_n根据云端服务器所发送的全局模型，初始化自己的本地模型权重参数p_n，同时统计自己计算资源C_n的剩余量，并根据云端服务器所发送的性能请求指令PerformRequest，通过WebSocket协议将计算资源C_n的剩余量发送给云端服务器；

(5)云边协同平台基于联邦学习对全局模型进行迭代训练：

(5a)云端服务器按照计算资源的剩余量从大到小的顺序对N个边缘服务器进行排序，得到排序后的包括N个边缘服务器的集合E^*，并构建大小L×N的边缘服务器数据表T，其中，L≥2，每行包括排序后的N个边缘服务器；

(5b)云端服务器按照先行后列的顺序依次从边缘服务器数据表T中选取边缘服务器，共选取R次，每次选取M个边缘服务器，R≥1000，2≤M≤N，得到包括R组边缘服务器的边缘服务器组集合S＝{s₁,s₂,...,s_r,...s_R}，其中，s_r表示第r次选取的包含M个边缘服务器的边缘服务器组， 表示第r次选取的第m个边缘服务器；

(5c)云端服务器通过WebSocket协议向每个边缘服务器发送Train指令；

(5d)每个边缘服务器s_rm根据Train指令，并通过的训练集/>对云端服务器发送的全局模型进行R次迭代训练，实现对/>对应的本地模型权重参数/>的更新，再通过WebSocket协议将训练好的全局模型发送至云端服务器；

(5e)云端服务器采用联邦平均算法对边缘服务器组集合S发送的R×M个全局模型进行聚合，得到聚合后的全局模型，并通过WebSocket协议将该聚合后的全局模型发送至每个边缘服务器e_n；

(6)获取业务类型识别结果：

每个边缘服务器e_n将测试集输入到聚合后的全局模型，依次计算每幅灰度图片对应的D种业务类型的概率值，并将D种业务类型概率值最大的业务类型作为该幅灰度图片的业务类型识别结果，得到test_n中所有灰度图片包含的D种业务类型结果。

本发明与现有技术相比，具有如下优点：

本发明所构建的云边协同平台中包括多个边缘服务器，每个边缘服务器抓取终端请求流经自己的多条包括不同业务类型的数据流，并基于联邦学习通过对多条数据流进行采样得到多个数据流块合成的灰度图片及其标签作为训练集，对全局模型进行迭代训练，扩大了数据流的数据集范围，进而可以获得泛化能力更强的全局模型，训练好的全局模型能够扩大业务类型识别的适用范围。

附图说明

图1为本发明的实现流程图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

步骤1)构建云边协同平台：

构建包括云端服务器以及与其通过互联网连接的N个边缘服务器E＝{e₁,e₂,...,e_n,...,e_N}的云边协同平台，其中，N≥3，e_n表示计算资源为C_n的第n个边缘服务器，计算资源C_n包括图形处理器GPU_n、中央处理器CPU_n和随机存储器RAM_n，本实施例N＝10。

本发明所构建的云边协同平台中包含N个边缘服务器，能够避免单个服务器导致的终端应用数据流的数据集较少的缺陷，有助于提高全局模型的泛化能力，进而拓宽业务类型识别的适用范围。

云端服务器按照计算资源的剩余量从大到小的顺序对N个边缘服务器进行排序后，构建边缘服务器数据表，避免了单个服务器导致的终端应用数据流的数据集较少的缺陷。

步骤2)每个边缘服务器获取训练集和测试集：

(2a)每个边缘服务器e_n抓取终端请求流经自己的K条包括D种业务类型的数据流，并以G为数据流长度，以W为间隔对K条数据流进行采样，得到H个数据流块，其中，K≥100000，D≥3，G≥32，W≥32，

(2b)每个边缘服务器e_n将每个数据流块中的W条数据流合成为一幅灰度图片，并对灰度图片中的业务类型进行标注，然后将带有业务类型标签的H幅灰度图片中的半数以上作为训练集train_n，将其余的带有业务类型标签的灰度图片作为测试集test_n；

本实施例K＝200000，D＝3，G＝32，W＝32,H＝6250。

每个边缘服务器e_n抓取终端请求流经自己的K条包含D种业务类型的数据流，具体方法是:每个边缘服务器e_n利用tcpdump软件抓取终端请求流经自己网卡的数据流，直到抓取获得K条包括D种业务类型(网页，游戏，视频)的数据流。

每个边缘服务器e_n将每个数据流块中的W条数据流合成为一幅灰度图片，实现步骤为：

(2b1)每个边缘服务器e_n提取每条数据流中的前G个字节十六进制数据，如果数据流中字节数不够G，则补零填充到G字节。

(2b2)每个边缘服务器e_n把W条数据共G×G个字节的十六进制数转换成十进制且大小为G×G的矩阵，然后采用numpy转换成一幅灰度图片。

步骤3)云端服务器构建全局模型并发送初始化数据：

云端服务器构建包括全连接输入层input、多个卷积层、多个池化层、dropout层、全连接输出层output和softmax层的全局模型，并将该全局模型和性能请求指令PerformRequest作为初始化数据发送至每个边缘服务器e_n；

本实施例卷积层和池化层的数量均为2个，该全局模型的具体结构为：全连接输入层input→第一卷积层→第一池化层→第二卷积层→第二池化层→dropout层→全连接输出层output→softmax层，其中，全连接输入层input具有的神经元个数为1024个，两个卷积层中采用的激活函数均为ReLU函数，全连接输出层output具有的神经元个数为3；第一卷积层、第二卷积层的卷积核大小分别为3*3*64、3*3*32，该两个卷积层的全零填充步长均为1，第一池化层、第二池化层的过滤器大小均为2*2，全零填充步长均为1。

步骤4)每个边缘服务器对云端服务器的指令进行响应：

每个边缘服务器e_n根据云端服务器所发送的全局模型，初始化自己的本地模型权重参数p_n，同时统计自己计算资源C_n的剩余量，并根据云端服务器所发送的性能请求指令PerformRequest，通过WebSocket协议将计算资源C_n的剩余量发送给云端服务器；

每个边缘服务器e_n采用随机初始化的方式来初始化自己的本地模型权重参数p_n。

步骤5)云边协同平台基于联邦学习对全局模型进行迭代训练：

(5a)云端服务器按照计算资源的剩余量从大到小的顺序对N个边缘服务器进行排序，得到排序后的包括N个边缘服务器的集合E^*，并构建大小L×N的边缘服务器数据表T，其中，L≥2，每行包括排序后的N个边缘服务器。

(5b)云端服务器按照先行后列的顺序依次从边缘服务器数据表T中选取边缘服务器，共选取R次，每次选取M个边缘服务器，R≥1000，2≤M≤N，得到包括R组边缘服务器的边缘服务器组集合S＝{s₁,s₂,...,s_r,...s_R}，其中，s_r表示第r次选取的包含M个边缘服务器的边缘服务器组， 表示第r次选取的第m个边缘服务器；

本实施例中L＝4000，R＝10000，M＝4。

本发明所构建的云边协同平台中包含N个边缘服务器，虽然能够避免单个服务器导致的终端应用数据流的数据集较少的缺陷，但相比于单个边缘服务器又会降低全局模型训练的效率，按照计算资源的剩余量从大到小的顺序对N个边缘服务器进行排序，并构建大小L×N的边缘服务器数据表T，然后从中选取R次，每次选取M个边缘服务器构成边缘服务器组，由于选取的大多数组边缘服务器的计算资源剩余量相差不大，所以大多数组边缘服务器完成全局模型训练的时间偏差较小，避免了每次都从N个边缘服务器随机选择M个边缘服务器，由于每组边缘服务器的计算资源剩余量偏差较大，导致完成全局模型训练的时间偏差较大的问题，能够有效消除N个边缘服务器对全局模型训练效率的影响。

(5c)云端服务器通过WebSocket协议向每个边缘服务器发送Train指令；

(5d)每个边缘服务器根据Train指令，并通过/>的训练集/>对云端服务器发送的全局模型进行R次迭代训练，实现对/>对应的本地模型权重参数/>的更新，再通过WebSocket协议将训练好的全局模型发送至云端服务器；

边缘服务器将训练集/>对云端服务器发送的全局模型进行R次迭代训练,每次根据全局模型的输出结果与训练集/>中标签进行比较，计算出相应的误差，并利用误差通过反向传播计算出梯度，/>根据梯度来更新本地模型权重参数/>

(5e)云端服务器采用联邦平均算法对边缘服务器组集合S发送的R×M个全局模型进行聚合，得到聚合后的全局模型，并通过WebSocket协议将该聚合后的全局模型发送至每个边缘服务器e_n；

步骤6)获取业务类型识别结果：

每个边缘服务器e_n将测试集输入到聚合后的全局模型，依次计算每幅灰度图片对应的D种业务类型的概率值，并将D种业务类型概率值最大的业务类型作为该幅灰度图片的业务类型识别结果，得到test_n中所有灰度图片包含的D种业务类型结果。

Claims (2)

1.一种基于云边协同的联邦学习的业务类型识别方法，其特征在于，包括如下步骤：

(1)构建云边协同平台：

构建包括云端服务器以及与其通过互联网连接的N个边缘服务器E＝{e₁,e₂,...,e_n,...,e_N}的云边协同平台，其中，N≥3，e_n表示计算资源为C_n的第n个边缘服务器，计算资源C_n包括图形处理器GPU_n、中央处理器CPU_n和随机存储器RAM_n；

(2)每个边缘服务器获取训练集和测试集：

(2a)每个边缘服务器e_n抓取终端请求流经自己的K条包括D种业务类型的数据流，并以G为数据流长度，以W为间隔对K条数据流进行采样，得到H个数据流块，其中，K≥100000，D≥3，G≥32，W≥32，

(2b)每个边缘服务器e_n将每个数据流块中的W条数据流合成为一幅灰度图片，并对灰度图片中的业务类型进行标注，然后将带有业务类型标签的H幅灰度图片中的半数以上作为训练集train_n，将其余的带有业务类型标签的灰度图片作为测试集test_n，

(3)云端服务器构建全局模型并发送初始化数据：

云端服务器构建包括全连接输入层input、多个卷积层、多个池化层、dropout层、全连接输出层output和softmax层的全局模型，并将该全局模型和性能请求指令PerformRequest作为初始化数据发送至每个边缘服务器e_n；

(4)每个边缘服务器对云端服务器的指令进行响应：

每个边缘服务器e_n根据云端服务器所发送的全局模型，初始化自己的本地模型权重参数p_n，同时统计自己计算资源C_n的剩余量，并根据云端服务器所发送的性能请求指令PerformRequest，通过WebSocket协议将计算资源C_n的剩余量发送给云端服务器；

(5)云边协同平台基于联邦学习对全局模型进行迭代训练：

(5a)云端服务器按照计算资源的剩余量从大到小的顺序对N个边缘服务器进行排序，得到排序后的包括N个边缘服务器的集合E^*，并构建大小L×N的边缘服务器数据表T，其中，L≥2，每行包括排序后的N个边缘服务器；

(5b)云端服务器按照先行后列的顺序依次从边缘服务器数据表T中选取边缘服务器，共选取R次，每次选取M个边缘服务器，R≥1000，2≤M≤N，得到包括R组边缘服务器的边缘服务器组集合S＝{s₁,s₂,...,s_r,...s_R}，其中，s_r表示第r次选取的包含M个边缘服务器的边缘服务器组， 表示第r次选取的第m个边缘服务器；

(5c)云端服务器通过WebSocket协议向每个边缘服务器发送Train指令；

(5d)每个边缘服务器根据Train指令，并通过/>的训练集/>对云端服务器发送的全局模型进行R次迭代训练，实现对/>对应的本地模型权重参数/>的更新，再通过WebSocket协议将训练好的全局模型发送至云端服务器；

(5e)云端服务器采用联邦平均算法对边缘服务器组集合S发送的R×M个全局模型进行聚合，得到聚合后的全局模型，并通过WebSocket协议将该聚合后的全局模型发送至每个边缘服务器e_n；

(6)获取业务类型识别结果：

每个边缘服务器e_n将测试集输入到聚合后的全局模型，依次计算每幅灰度图片对应的D种业务类型的概率值，并将D种业务类型概率值最大的业务类型作为该幅灰度图片的业务类型识别结果，得到test_n中所有灰度图片包含的D种业务类型结果。

2.根据权利要求1所述的基于云边协同的联邦学习的业务类型识别方法，其特征在于，步骤(3a)中所述的全局模型，包括的卷积层和池化层的数量均为2个，该全局模型的具体结构为：全连接输入层input→第一卷积层→第一池化层→第二卷积层→第二池化层→dropout层→全连接输出层output→softmax层，其中，第一卷积层、第二卷积层的卷积核大小分别为3*3*64、3*3*32，该两个卷积层的全零填充步长均为1，第一池化层、第二池化层的过滤器大小均为2*2，全零填充步长均为1。