CN113705712A - 一种基于联邦半监督学习的网络流量分类方法和系统 - Google Patents

Abstract

本发明涉及网络流量分类领域，为一种基于联邦半监督学习的网络流量分类方法和系统，其包括：数据预处理模块，用于通过增强采样方法获取客户端本地的无标签网络流和服务端中的标签网络流，得到无标签数据集和标记数据集；客户端预训练模块，用于客户端执行本地无监督训练，通过自编码器模型学习各个客户端上本地数据的特征，将学习到的数据特征用于训练分类器；服务器端重训练模块，用于服务器端执行有监督训练，利用联邦服务器上的带标记数据对重训练模型执行重训练，得到一个用于客户端分类网络流的通用分类器。本发明可以在保护用户数据隐私的前提下，协助多方在不公开和共享本地用户数据集的情况下共同学习一个准确且通用的网络流量分类模型。

Description

一种基于联邦半监督学习的网络流量分类方法和系统

技术领域

本发明涉及网络流量分类领域，具体涉及一种基于联邦半监督学习的网络流量分类方法和系统。

背景技术

网络流量分类任务的目标是将互联网流量分类为预定义的类别，例如：正常或异常流量、应用程序类型或应用程序名称。网络流量分类在网络管理和网络安全领域都起着重要作用，它的主要应用有以下几个方面：第一、在网络监控与管理、流量计费、用户行为分析等方面有着重要的应用；第二、用于入侵检测系统及防火墙识别恶意流量，及时阻断恶意流量；第三、获悉各类网络应用所占比例，预测网络业务的发展趋势，合理规划网络等。

在互联网发展早期，网络流量的识别是一项较为简单的任务，即通过传输层的端口号识别，研究者只需要解析网络流量的包头数据，提取端口号并查询端口应用对照表就可以获知流量所属的具体应用。但是，随着新的应用数量越来越多，很多应用不再具有可查询的固定端口号，而且流行的P2P应用普遍采用随机端口策略，所以随着基于端口识别的方法的准确性的不断下降，这种方法已经逐渐淘汰了。在上世纪90年代末开始出现了更加可靠的网络流量分类方法—基于深层包检测的方法。这种方法检查包头和载荷在内的整个数据包内容。如果在数据包任意位置发现了预定义的固定字符串就可以判定其所属流量的种类。它的准确性非常高，但依然存在缺点，如计算复杂度较高、无法处理加密流量等。为克服深层包检测存在的缺陷，研究者尝试使用机器学习的方法来执行网络流量分类。其中，比较常见的是基于统计的机器学习方法。基本思想是提取不同种类的应用产生的流量特性的统计信息，然后选择某种机器学习模型进行训练，例如决策树、支持向量机等。这种方式的优势是计算复杂度相对较低、可以应用于加密流量等，缺点是对人工特征设计较依赖。

深度学习的出现，大大改善了传统机器学习的人工特征依赖问题。近几年出现了许多将深度学习应用到网络流量分类任务的研究，有人提出的方法在协议和应用分类方面优于传统的机器学习方法，尽管这些已有的研究显示，深度学习在公开网络流量数据集上的表现效果优异，但这些方法在实际运用中还是存在一些问题：

第一、隐私安全问题

在网络流量分类领域中，运用深度学习技术往往会面临数据隐私泄露的问题，因为采集自用户设备的流量数据往往包含意外捕捉到的有关用户网络行为等的隐私信息。通常用户都不希望这些信息被公开，然而没有足够的用户信息，深度学习技术在网络流量分类任务上的应用将会受到严重影响，甚至无法训练出一个可用的模型。

第二、数据孤岛问题

深度学习技术的成功在于有大量可用于训练的数据，由于用户的网络流量数据带有大量隐私信息，所以法律或法规不允许商业公司公开或和其他机构共享这些用户数据，这就导致了行业中出现了数据孤岛问题，每一个公司或机构就像一座座独立的岛屿，独自存储和定义自己内部的数据。因此，单个企业和组织拥有的数据可能非常同质，从而训练产生一个过度拟合的模型。这种特定数据训练得到的过拟合模型不具备通用性，实际应用中将大大降低分类的准确性。

第三、标注数据稀缺问题

现阶段主流的深度学习技术仍然是基于监督学习，它需要收集大量的有标签数据来对模型进行训练。但在现实的情况中，采集的用户数据大多数都是无标签的，而且由于计算机网络领域知识的复杂性，给流量数据标注需要大量专业人员进行，这将消耗巨额的人力成本和时间成本。

发明内容

为解决现有技术所存在的技术问题，本发明的目的是提供一种通过结合联邦学习训练环境和半监督的网络流量分类方法，可以有效解决深度学习在现实网络流量分类任务中的瓶颈，得到准确率高、适用性广、训练成本小且可以保护用户隐私的分类模型。

为解决上述技术问题，本发明的技术方案如下：

一种基于联邦半监督学习的网络流量分类方法，其特征在于，包括以下步骤：

S1、若干个客户端获取本地无标签网络数据，依据增强采样方法提取每条网络流样本中时间相关特征，构成基于时间序列的无标签网络数据集，联邦服务器端中拥有少量的基于时间序列的有标签网络数据集；

S2、联邦服务器端分别初始化用于在客户端本地执行无监督训练的全局模型、模型权重和用于联邦服务器端执行有监督训练的模型、模型权重；

S3、联邦服务器端与若干个客户端进行第t次通信时，联邦服务器端依据max(C·K,1)方法随机选取若干个客户端并向其发送全局模型、模型权重；

S4、客户端接收到联邦服务器端发送的全局模型之后，利用其本地数据执行无监督训练，更新本地模型，本地模型可学习客户端数据集的网络流统计特征；

S5、选取的若干个客户端结束本轮通信中无监督学习任务之后，将其本地训练的模型中训练结果参数上传至联邦服务器端；

S6、联邦服务器端将各个客户端发送过来的训练结果参数使用加权平均方法计算出聚合后的参数，用聚合后的参数更新全局模型，此时第t次通信结束；

S7、t次通信结束之后，接着执行下一通信轮次，多次迭代步骤S3至S6，经过联邦服务器端多次进行聚合更新直至全局模型收敛后不再迭代，最后可获得全局模型中的参数；

S8、联邦服务器端将全局模型中的参数复制到执行有监督训练的模型中的对应网络层；

S9、联邦服务器端利用标签数据集执行有监督学习，直至执行有监督训练的模型收敛并训练得到一个用于客户端进行网络流分类任务的模型，客户端从服务端下载用于客户端进行网络流分类任务的模型。

本发明的另一目的是提供一种基于联邦半监督学习的网络流量分类系统，包括：

数据预处理模块，用于通过增强采样方法获取客户端本地的无标签网络流和服务端中少量的标签网络流，得到大量的无标签数据集和少量的标记数据集；

客户端预训练模块，用于客户端执行本地无监督训练，通过自编码器模型学习各个客户端上本地数据的特征，将学习到的数据特征用于训练分类器；

服务器端重训练模块，用于服务器端执行有监督训练，利用联邦服务器上的带标记数据对重训练模型执行重训练，通过反向传播对整个分类器进行微调，得到一个可以用于客户端分类网络流的通用分类器。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过搭建联邦学习(Federated Learning，FL)的环境来训练网络流量分类模型，可以协助多方共同学习一个准确且通用的神经网络模型，而无需公开和共享他们的本地用户数据集；每个参与者，即客户端都可以在自己的用户数据集上独立训练，只需在训练期间有选择地共享独立训练出的模型的参数；这种协助多方训练又无需收集本地数据的训练方式既解决了流量领域中数据孤岛问题，又巧妙地化解了暴露用户隐私数据问题。

2、本发明构建了基于自编码器和卷积神经网络的分类模型来在上述的联邦环境下进行半监督学习，半监督学习使用大量的未标记数据，以及同时使用少量的有标签数据来训练一个模型，可以有效解决现实网络流量分类任务中给数据标注成本大的问题。

附图说明

图1为本发明实施例中的基于联邦半监督学习网络流量分类方法的流程图；

图2为本发明实施例中所使用的预训练模型的网络结构图；

图3为本发明实施例中所使用的重训练模型的网络结构图；

图4为本发明实施例中的基于联邦半监督学习网络流量分类方法的框架示意图；

图5为本发明实施例中的系统模块图；

图6为本发明实施例中不同通信轮次下的测试准确率图；

图7本发明在实施例中各个应用类型上不同性能指标的实验效果图。

具体实施方式

下面将结合附图和实施例，对本发明技术方案做进一步详细描述，显然所描述的实施例是本发明一部分实施例，而不是全部的实施例，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明是基于联邦环境下一个联邦服务器和多个客户端，采用半监督学习来训练网络流量分类器，包括三个阶段：数据预处理阶段、客户端预训练阶段和服务器重训练阶段。半监督学习(Semi-Supervised Learning，SSL)是无监督学习与监督学习相结合的一种学习方法。在数据预处理阶段，采用增强采样方法来扩充各个客户端上的无标签网络流量数据。在客户端预训练阶段，选取一定数量的客户端。在每轮客户端与联邦服务器的通讯中，被选取客户端首先使用其无标签数据在本地进行无监督训练，然后把训练出来的模型参数发送到联邦服务器端。联邦服务器通过聚合算法聚合各个客户端的模型参数来更新服务器端的全局模型，直到全局模型的损失值稳定，客户端与服务器的结束通讯。在服务器重训练阶段，联邦服务器端利用其拥有的少量带标记数据集对全局模型进行重新训练并生成最终网络流量分类模型。重训练结束后，每个客户端可以从联邦服务器端下载最终分类模型到其本地来进行网络流量分类任务。

实施例

如图1所示，本实施例中提供的是一种基于联邦半监督学习的网络流量分类方法，该方法包括：

S1、K个客户端获取本地无标签网络数据，依据增强采样方法提取每条网络流样本中时间相关特征，构成基于时间序列的无标签网络数据集D_u，联邦服务器端中拥有少量的基于时间序列的有标签网络数据集D_s；

具体地，无标签网络数据集

表示D_u是由K个客户端中的本地无标签网络流构成，其中

表示第k位客户端拥有N个实例的训练样本x_i，且每个客户端本地数据集数据分布情况相同。有标签网络数据集

表示D_s是由N个带标签数据流构成，其中x_i是训练样本，y_i是训练样本x_i对应的标签；

增强采样方法有三个重要的参数(l，α，β)，其中α，β均是常量，本实施例中取α＝10，β＝1.6。对每一条流中间距为l的数据包采样，每采样α次后，将β乘以l，使得l逐渐增大。且从每条流的头部采样若干次(例如100次)，采样网络流中时序特征(流中数据包的到达时长和长度特性)构成大量的无标签数据集D_u和少量的标签数据集D_s，即无标签数据集的数量多于标签数据集。

S2、联邦服务器端分别初始化用于在客户端本地执行无监督训练的全局模型

及其模型权重

和、用于联邦服务器端执行有监督训练的模型M_S、及其模型权重w_S；

全局模型

的构造是基于自编码器技术，该模型中包含多个卷积层、池化层和一个全连接层，激活函数选择的是ReLU函数，其中模型

的详细网络构造如图2所示。模型M_S较模型

具有更多的线性层结构，模型M_S在

的基础上增加了三个全连接层和一个Softmax输出层，其中模型M_S的详细网络构造如图3所示。

S3、联邦服务器端与K个客户端进行第t次通信时，联邦服务器端依据max(C·K，1)方法随机选取若干个客户端并向其发送全局模型

模型权重

和模型参数θ_t；

具体地，若干个客户端

是一个由C·K位客户端构成的集合，其中S_i表示该集合Set_clients中第i个客户端，C表示一个0到1之间的小数；函数max(C·K，1)表示取C·K与1之间的最大值，表明服务器每次通信时至少随机选取1个客户端。

S4、客户端Si接收到联邦服务器端发送的全局模型

之后，利用其本地数据

执行无监督训练，更新本地模型

此过程本地模型

可学习到该客户端数据集

的网络流统计特征。其中，

表示客户端S_i的本地模型，

表示客户端S_i的本地无标签数据集。

的模型结构和

是一样的，但是

中的参数是经过本地无标签数据的训练更新的。

优选地，本地执行无监督训练以网络流24个统计特征为回归目标，统计特征包括：每个数据包长度、到达时间的平均值、最大值、最小值和方差等。

S5、步骤S3所选取的若干个客户端Set_clients结束本轮通信中无监督学习任务之后，将其本地模型

的训练结果参数

上传至联邦服务器端；

具体地，模型

中训练的更新公式为：

其中，

为第S_i位客户端在第t次通信时结束本地无监督训练后本地模型

中的参数，η₁为本地无监督学习的学习率，

为第S_i位客户端的本地无标签数据集，

为第S_i位客户端本地模型

对无标签数据集24个统计特征的预测值，n是无标签数据集的样本个数，

表示均方损失函数。

S6、联邦服务器端将各个客户端发送过来的参数

使用加权平均方法计算出聚合后的参数θ_t+1，并用参数θ_t+1更新全局模型

此时第t次通信结束；其中，加权平均方法计算公式为：

其中，

为第S_i位客户端在第t次通信时结束本地无监督训练后本地模型

中的参数，

为第S_i位客户端在本地训练的样本个数，n表示所有选取的客户端在本地训练的样本个数。

S7、t次通信结束之后，接着执行下一通信轮次，多次迭代S3至S6，经过联邦服务器端多次进行聚合更新直至全局模型

收敛后不再迭代，最后可获得参数θ。

具体地，

表示经过服务端多次进行聚合更新直至全局模

收敛不再迭代后聚合得到的参数θ。

S8、联邦服务器端将全局模型

中的参数θ复制到模型M_S中的对应网络层。

具体地，联邦服务器端将全局模型

中的参数θ到模型M_S中的对应网络层，其中联邦服务器端模型M_S未进行有监督学习训练前的参数θ_s：

θ_s＝deepcopy(θ)

S9、联邦服务器端利用标签数据集D_s执行有监督学习，直至模型M_S收敛并训练得到一个用于客户端进行网络流分类任务的模型M_c，需要进行流量分类任务的客户端从服务端下载模型M_c。

具体地，模型M_S中参数的更新公式为：

其中，

为服务端中的标签数据集，其中y_i为服务端中实际标签数据集实例的训练样本x_i的标签，

是对数据集所有实例(x_i，y_i)的预测值，η₂为学习率，θ_s即为联邦服务器端模型M_S未进行有监督学习训练前参数，θ_c为模型M_S已结束训练后的最终参数，此时称模型M_S被训练收敛为模型M_c，n是D_s中训练样本个数。

如图4所示，本实施例基于联邦半监督学习的网络流量分类方法的框架示意图，方法步骤包括：数据预处理阶段、客户端预训练阶段和服务器重训练阶段。在数据预处理阶段，本实施例采用增强采样方法来扩充各个客户端上的无标签网络流量数据。在客户端预训练阶段，本实施例选取一定数量的客户端，在每轮客户端与联邦服务器的通讯中，被选取客户端首先使用其无标签数据在本地进行无监督训练，然后把训练出来的模型参数发送到联邦服务器端。联邦服务器通过聚合算法聚合各个客户端的模型参数来更新服务器端的全局模型。直到全局模型的损失值稳定，客户端与服务器的结束通讯。在服务器重训练阶段，联邦服务器端利用其拥有的少量带标记数据集对全局模型进行重新训练并生成最终网络流量分类模型。重训练结束后，每个客户端可以下载最终分类模型到其本地来进行网络流量分类任务。

本实施例可以在保护用户数据隐私的前提下，协助多方在不公开和共享本地用户数据集的情况下共同学习一个准确且通用的网络流量分类模型。此外，本实施例还在上述的联邦学习环境中运用了半监督学习技术，可以有效解决现实网络流量分类任务中给数据标注成本大的问题。

本实施例通过结合联邦学习训练环境和半监督学习方法，可以有效解决深度学习在现实网络流量分类任务中的瓶颈，得到准确率高，适用性广，训练成本小且可以保护用户隐私的分类模型。

实施例2

如图5所示，基于同样的发明构思，本发明还提供一种基于联邦半监督学习的网络流量分类系统，包括：数据预处理模块、客户端预训练模块、服务端重训练模块。

数据预处理模块，用于K个客户端获取本地无标签网络数据后，通过增强采样方法获取客户端本地的无标签网络流和服务端中少量的标签网络流，得到大量的无标签数据集D_u和少量的标记数据集D_s。增强采样方法有三个重要的参数(l，α，β)，对网络流之间间距为l的数据包采样，每采样α次后，将β乘以1，使得l逐渐增大。且从每条网络流的头部采样若干次(例如100次)，采样得到的网络流中时序特征(数据包的到达时长和长度特性)可构成大量的无标签数据集D_u和少量的标记数据集D_s。使用增强采样方法能够获取网络流中不同模式且复杂度不同的部位，以便训练的模型更具泛化性。

客户端预训练模块，用于选取K个客户端，在每轮客户端与联邦服务器的通讯中，被选取客户端首先使用其无标签数据在本地进行预训练，联邦服务器端将各个客户端发送过来的训练模型参数使用加权平均方法计算出聚合后的参数，用聚合后的参数更新全局模型，多次迭代预训练直至全局模型收敛后不再迭代，最后获得全局模型中的参数；

服务器端重训练模块，用于联邦服务器端将全局模型中的参数复制到执行有监督训练的模型中的对应网络层；联邦服务器端利用标签数据集执行有监督学习，直至执行有监督训练的模型收敛并训练得到一个用于客户端进行网络流分类任务的模型。

客户端预训练模块预训练过程包括：

联邦服务器端与K个客户端进行第t次通信时，联邦服务器端依据max(C·K，1)方法随机选取若干个客户端并向其发送全局模型、模型权重；C表示一个0到1之间的小数；函数max(C·K，1)表示取C·K与1之间的最大值；

客户端接收到联邦服务器端发送的全局模型之后，利用其本地数据执行无监督训练，更新本地模型，本地模型学习客户端数据集的网络流统计特征；

所选取的若干个客户端结束本轮通信中无监督学习任务之后，将其本地模型的训练模型参数上传至联邦服务器端。

在本实施例的一种基于联邦半监督学习网络流量分类系统，可以在保护用户数据隐私的前提下，协助多方在不公开和共享本地用户数据集的情况下共同学习一个准确且通用的网络流量分类模型。此外，该系统还在上述的联邦学习环境中运用了半监督学习技术，可以有效解决现实网络流量分类任务中给数据标注成本大的问题。本实施主要是对联邦环境中运用半监督学习技术的说明，本系统基于联邦环境下，即一个联邦服务器和多个客户端，采用半监督学习来训练网络流量分类器，这包括三个阶段，分别是数据预处理阶段、客户端预训练阶段和服务器重训练阶段。在数据预处理阶段，我们采用增强采样方法来扩充各个客户端上的无标签网络流量数据。在客户端预训练阶段，我们选取一定数量的客户端。在每轮客户端与联邦服务器的通讯中，被选取客户端首先使用其无标签数据在本地进行无监督训练，然后把训练出来的模型参数发送到联邦服务器端。联邦服务器通过聚合算法聚合各个客户端的模型参数来更新服务器端的全局模型。直到全局模型的损失值稳定，客户端与服务器的结束通讯。在服务器重训练阶段，联邦服务器端利用其拥有的少量带标记数据集对全局模型进行重新训练并生成最终网络流量分类模型。重训练结束后，每个客户端可以下载最终分类模型到其本地来进行网络流量分类任务。

如图6所示，为服务端与客户端在不同通信轮次下，训练得到的分类器模型M_c对测试数据集的分类准确率效果图。可见整体效果趋势是随着通信的次数的增加，其分类的准确率越高。

如图7所示，列举了不同应用通过上述系统训练出的分类模型进行分类后得到的准确率、精度、召回率和F1值。F1值一般用于评价多应用分类器对每种应用的不同分类性能，它是正确率和召回率的加权调和平均。如图7所示，可以看到各个类别的应用在本发明的方法训练出的分类器说均取得了很好的效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于联邦半监督学习的网络流量分类方法，其特征在于，包括以下步骤：

S1、K个客户端获取本地无标签网络数据，依据增强采样方法提取每条网络流样本中时间相关特征，构成基于时间序列的无标签网络数据集，联邦服务器端中拥有基于时间序列的有标签网络数据集；

S2、联邦服务器端分别初始化用于在客户端本地执行无监督训练的全局模型及其模型权重、用于联邦服务器端执行有监督训练的模型及其模型权重；

S3、联邦服务器端与K个客户端进行第t次通信时，联邦服务器端依据max(C·K，1)方法随机选取若干个客户端并向其发送全局模型、模型权重；C表示一个0到1之间的小数；函数max(C·K,1)表示取C·K与1之间的最大值；

S4、客户端接收到联邦服务器端发送的全局模型之后，利用其本地数据执行无监督训练，更新本地模型，本地模型学习客户端数据集的网络流统计特征；

S5、步骤S3所选取的若干个客户端结束本轮通信中无监督学习任务之后，将其本地模型的训练结果参数上传至联邦服务器端；

S6、联邦服务器端将各个客户端发送过来的训练模型参数使用加权平均方法计算出聚合后的参数，用聚合后的参数更新全局模型，此时第t次通信结束；

S7、t次通信结束之后，接着执行下一通信轮次，多次迭代步骤S3至S6，经过联邦服务器端多次进行聚合更新直至全局模型收敛后不再迭代，最后获得全局模型中的参数；

S8、联邦服务器端将全局模型中的参数复制到执行有监督训练的模型中的对应网络层；

S9、联邦服务器端利用标签数据集执行有监督学习，直至执行有监督训练的模型收敛并训练得到一个用于客户端进行网络流分类任务的模型。

2.根据权利要求1所述的网络流量分类方法，其特征在于，在步骤S1中，无标签网络数据集由若干个客户端中的本地无标签网络流构成，有标签网络数据集由N个带标签数据流构成；

增强采样方法中，对每一条流中间距为l的数据包采样，每采样α次后，将β乘以l，使得l逐渐增大。

3.根据权利要求1所述的网络流量分类方法，其特征在于，在步骤S2中，执行无监督训练的全局模型的构造是基于自编码器技术，该模型中包含多个卷积层、池化层和一个全连接层，激活函数选择的是ReLU函数；执行有监督训练的模型在执行无监督训练的全局模型的基础上增加了三个全连接层和一个Softmax输出层。

4.根据权利要求1所述的网络流量分类方法，其特征在于，在步骤S3中，若干个客户端是一个由C·K位客户端构成的集合，表示为

其中S_i表示该集合Set_clients中第i个客户端，表示一个服务器每次通信时至少随机选取1个客户端。

5.根据权利要求1所述的网络流量分类方法，其特征在于，在步骤S4中，执行无监督训练以网络流的统计特征为回归目标，统计特征包括：每个数据包长度、到达时间的平均值、最大值、最小值和方差。

6.根据权利要求1所述的网络流量分类方法，其特征在于，在步骤S5中，本地模型训练的更新公式为：

其中，

为第S_i位客户端在第t次通信时结束本地无监督训练后本地模型中的参数，η₁为本地无监督学习的学习率，

为第S_i位客户端的本地无标签数据集，

为第S_i位客户端本地模型对无标签数据集的统计特征的预测值，n是无标签数据集的样本个数。

7.根据权利要求1所述的网络流量分类方法，其特征在于，在步骤S6中，加权平均方法计算公式为：

其中，

为第S_i位客户端在第t次通信时结束本地无监督训练后本地模型中的参数，

为第S_i位客户端在本地训练的样本个数，n表示所有选取的客户端在本地训练的样本个数。

8.根据权利要求1所述的网络流量分类方法，其特征在于，在步骤S9中，执行有监督训练的模型中参数的更新公式为：

其中，θ_c为执行有监督训练的模型已结束训练后的最终参数，

为服务端中的标签数据集，其中y_i为服务端中实际标签数据集实例的训练样本x_i的标签，

是对数据集所有实例(x_i,y_i)的预测值，η₂为学习率，θ_s即为联邦服务器端模型M_S未进行有监督学习训练前参数，n是D_s中训练样本个数。

9.一种基于联邦半监督学习的网络流量分类系统，其特征在于，包括：

数据预处理模块，用于K个客户端获取本地无标签网络数据后，依据增强采样方法提取每条网络流样本中时间相关特征，构成基于时间序列的无标签网络数据集，联邦服务器端中拥有基于时间序列的有标签网络数据集；联邦服务器端分别初始化用于在客户端本地执行无监督训练的全局模型及其模型权重、用于联邦服务器端执行有监督训练的模型及其模型权重；

客户端预训练模块，用于选取K个客户端，在每轮客户端与联邦服务器的通讯中，被选取客户端使用其无标签数据在本地进行预训练，联邦服务器端将各个客户端发送过来的训练模型参数使用加权平均方法计算出聚合后的参数，用聚合后的参数更新全局模型，多次迭代预训练直至全局模型收敛后不再迭代，最后获得全局模型中的参数；

服务器端重训练模块，用于联邦服务器端将全局模型中的参数复制到执行有监督训练的模型中的对应网络层；联邦服务器端利用标签数据集执行有监督学习，直至执行有监督训练的模型收敛并训练得到一个用于客户端进行网络流分类任务的模型。

10.根据权利要求9所述的网络流量分类系统，其特征在于，客户端预训练模块预训练过程包括：

联邦服务器端与K个客户端进行第t次通信时，联邦服务器端依据max(C·K,1)方法随机选取若干个客户端并向其发送全局模型、模型权重；C表示一个0到1之间的小数；函数max(C·K,1)表示取C·K与1之间的最大值；

客户端接收到联邦服务器端发送的全局模型之后，利用其本地数据执行无监督训练，更新本地模型，本地模型学习客户端数据集的网络流统计特征；

所选取的若干个客户端结束本轮通信中无监督学习任务之后，将其本地模型的训练模型参数上传至联邦服务器端。

Images