CN113657607B - 一种面向联邦学习的连续学习方法 - Google Patents

Abstract

本发明公开了一种面向联邦学习的连续学习方法。联邦学习服务端和各个客户端在确定学习任务后，通过搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集，用于后续训练过程；客户端借助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘；服务端借助知识蒸馏损失让聚合模型同时学习辅助数据集以及辅助标签，从而减少模型在聚合过程中产生的遗忘。本发明在隐私安全且通信代价小的基础上，提升了联邦模型的连续学习能力。

Description

一种面向联邦学习的连续学习方法

技术领域

本发明涉及人工智能领域的连续学习方法，尤其涉及了一种面向联邦学习的连续学习方法。

背景技术

随着如手机、智能穿戴设备这类移动计算设备与传感器数量的增长，他们产生的数据也日益增多，传统的将数据收集汇总后进行学习的训练范式需要的计算成本以及存储成本也在不断增长。另一方面，边缘设备大多采集用户高度敏感的隐私信息，出于隐私保护的目的，设备及数据的拥有者也不愿共享出自己的数据，整合各方数据难度大且存在隐私隐患，各个数据拥有者形成相互隔绝的“数据孤岛”。联邦学习的训练模式被提出以解决上述的“数据孤岛”问题。

联邦学习是指多个数据持有者在不公开数据的情况下通过多轮通信联合学习一个任务。实际场景中，联邦各方在学习结束后仍会不断积累新的数据，由于存在概念漂移现象，这些新数据的分布不会与之前任务的数据完全相同。例如社交媒体会不断涌现新的网络用语，而仅学习某个任务就停止的神经网络模型将无法应对新出现的文本特征。这要求整个联邦系统不能止步于单个任务的学习，而是需要不断学习一系列任务，也即所谓的连续学习。另一方面，在联邦学习系统学习单个任务的多轮通信之间，部分客户端会由于网络问题暂时失联，这会使聚合模型遗忘与失联客户端相关的知识，这对联邦学习算法连续学习多个任务的能力提出了更高要求。

与数据集中存放和训练的传统场景类似，在联邦各方学习按序到来的一系列任务的过程中，同样会出现全局模型在旧任务的表现会随着新任务的学习而下降的现象，这种现象被称之为灾难性遗忘。

目前联邦学习领域还没有有关神经网络的灾难性遗忘的研究。传统研究中克服灾难性遗忘的方法有以下几类：一类方法保存部分旧数据，模型学习新任务时通过学习旧数据来克服遗忘；第二类方法则通过为每个任务单独训练一套神经网络；此外，也有方法通过在损失函数中增加正则化项，来限制对旧任务比较重要的参数的更新。

而联邦学习场景中存在诸多限制：保存旧数据将增加隐私安全风险，训练多套神经网络将大幅增加存储代价和训练过程中的通讯代价，而现有的定位重要参数的算法普遍效果较差，有待深入研究。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向联邦学习的连续学习方法，解决复杂联邦学习系统在学习单个任务以及按序学习多个任务的过程中发生的灾难性遗忘问题。

本发明解决其技术问题采用的技术方案如下：

(1)联邦学习各方在开始训练前首先要明确要学习的一系列任务的任务类型，特别是训练数据的类型；系统中的各个客户端搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集用于后续训练过程；服务端按相同方法维护一份辅助数据集，并将该辅助数据集分成与客户端数量相等的若干子集；

(2)联邦学习系统中的客户端在开始本地训练之前，将辅助数据集输入模型，记录模型输出作为辅助标签；本地模型在旧任务上学到的知识包含在这种辅助数据集到对应的模型输出间的映射关系；

(3)在联邦系统的本地训练阶段，客户端助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘

(4)完成本地训练之后，各个客户端将更新后的本地模型上传至服务端，服务端依照某种聚合算法对本地模型进行模型聚合；

(5)在完成模型聚合之后，服务端记录每个客户端的本地模型在对应辅助数据集上的输出作为辅助标签；服务端借助知识蒸馏损失，让聚合模型学习辅助数据集及辅助标签，从而减少模型在聚合过程中产生的遗忘；

(6)联邦学习系统在任务序列中的每个任务的训练过程中重复上述步骤(2)至步骤(5)。

所述步骤(2)中，以第k个客户端学习第t个任务T_t为例，客户端k具体将其辅助数据集输入已经学习过旧任务的模型(下标s仅标识辅助数据集，以区别新任务数据/>)，并记录其输出/>作为标签：学习过旧任务的模型是已经在前t-1个任务上训练至收敛的神经网络，其网络参数记为θ_t-1；记录的输出是神经网络在辅助数据集上的输出向量/>映射关系是指辅助数据集到记录下的输出之间的映射关系/>

所述步骤(3)中，具体训练流程是：

(3.1)客户端以损失函数为优化目标迭代更新参数，学习新任务T_t；

(3.2)客户端借助辅助数据集及旧模型输出的辅助标签构造知识蒸馏损失

其中，l为模型输出向量的维度，y′_s，t ⁽ⁱ⁾由更新中的神经网络在辅助数据集上的输出变换得来，由步骤(2)中记录的辅助标签变换得来，这种变换均出于构造知识蒸馏损失的需要。具体如下，其中T为蒸馏温度：

(3.3)最终，客户端以损失函数为优化目标，更新本地模型θ_t-1到θ_t。具体地，本发明提出了一种客户端拆分机制，也即此时，一部分客户端仅以/>为优化目标，另一部分客户端仅以/>为优化目标。

所述步骤(4)中，各个客户端将更新后的本地模型上传至服务端，服务端按照特定算法将所有客户端模型进行模型聚合；以常用的联邦学习算法为例，服务端根据客户端的数据量对客户端模型参数做加权平均，得到聚合模型。

所述步骤(5)中，在得到聚合模型后，服务器以蒸馏损失再次迭代更新全局模型，该蒸馏损失来自于服务端辅助数据集和对应辅助标签；具体地，服务端辅助数据集被分成多份，服务端收集的本地模型各对应一份。

本发明提出了一种基于辅助数据集和知识蒸馏损失的面向联邦学习的连续学习方法，首先各个客户端维护一份辅助数据集，在训练阶段结合旧模型在辅助数据集上的输出构造蒸馏损失，本地模型以此损失为优化目标更新来记住旧任务知识来克服跨任务学习时产生的遗忘问题；其次，服务端维护一份辅助数据集，通过构造蒸馏损失进一步迭代训练聚合后的模型，聚合模型进一步学习客户端本地模型中的知识，克服联邦学习聚合模型在学习单个任务过程中由于网络问题发生的遗忘。

本发明具有的有益效果是：

1、本发明在客户端侧利用辅助数据集和蒸馏损失，提升了联邦学习模型连续学习一系列任务的能力，有效减少了学习过程中产生的灾难性遗忘；

2、本发明在客户端侧通过给不同客户端划分不同任务，增强了模型在各个任务上的学习效果，克服了知识蒸馏损失在模型学习能力上的限制；

3、本发明在服务端侧利用辅助数据集和蒸馏损失，提升了联邦学习聚合模型的表现，有效减少了聚合过程中由于网络问题产生的灾难性遗忘。

附图说明

图1是本发明实施步骤流程图；

图2是本发明知识蒸馏损失的示意图。

具体实施方式

下面结合附图具体实施例对本发明做进一步说明

本发明具体实施例及其实施过程如下:

步骤1：联邦学习首先要确定要学习的任务类型，这里以中文新闻标题分类任务为例，假设各个模型按序学习三个新闻分类任务，每个任务包含各不相同的三个类别的新闻数据。联邦学习系统在确定学习任务类型后，服务端和各个客户端通过搜集若干个与任务类型匹配中文文本数据，这里假设选择公开的中文社交网络数据集NLPIR作为辅助数据集，该数据集已经过专业处理，无隐私问题，该数据集被随机均分为四份，分别给3个客户端和一个服务端使用；具体地，联邦学习系统的服务端将其维护的辅助数据集分成与客户端数量相等的若干子集，如图1所示，系统中存在3个客户端，服务端的辅助数据集被分为三份；

步骤2：在联邦学习系统学完正常学完一个任务后按序学习下一任务前，各个客户端将辅助数据集输入模型，并记录其输出作为辅助标签，这种映射关系包含了模型在旧数据集上的知识；

步骤2中，以学习第二个任务为例，每个客户端具体将其辅助数据集输入已经学习过旧任务的模型θ₁，并记录其输出/>作为标签：学习过旧任务的模型是已经在一些数据上训练至收敛的神经网络，记录的输出是神经网络在辅助数据集上的输出向量/>映射关系是指辅助数据集到记录下的输出之间的映射关系/>类似地，在学习第三个任务时，映射关系变为/>

步骤3：在联邦系统学习新任务的本地训练阶段，客户端借助知识蒸馏损失，让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘；

以学习第二个任务为例，客户端以损失函数为优化目标迭代更新参数，学习新任务T₂；同时，客户端借助辅助数据集及旧模型输出构造知识蒸馏损失/> y′_s，t ⁽ⁱ⁾由更新中的神经网络在辅助数据集上的输出变换得来，/>由步骤(2)中记录的辅助标签变换得来，这种变换均出于构造知识蒸馏损失的需要，在本实施例中，假设蒸馏温度为2：

此外在本例中，为了增强客户端在不同任务上的学习效果，第一个和第二个客户端仅以为优化目标，第三个客户端仅以/>为优化目标

步骤4：各个客户端将更新后的本地模型上传至服务端进行模型聚合；本实施例中使用常用的联邦学习算法FedAvg，具体来说，以学习第二个任务为例，第r轮聚合模型参数计算方式如下：

其中n代表所有训练节点的数据总量，n_i代表第i个客户端的数据量

步骤5：在得到聚合模型后，服务器以蒸馏损失再次迭代更新全局模型，该蒸馏损失来自于服务端辅助数据集和对应辅助标签；具体地，如图2所示，服务端辅助数据集被分成3份，服务端本轮的收集的本地模型各对应一份；如图2服务端部分所示，类似于客户端复习旧任务的方法，服务端借助知识蒸馏损失，让聚合模型学习辅助数据集及其记录的辅助标签，从而减少模型在聚合过程中产生的遗忘；

步骤6：联邦学习系统在任务序列中的每个任务的训练过程中重复上述步骤2至步骤5。在此例中，联邦学习在学习第二个和第三个任务时重复上述步骤，获得最终的聚合模型

本实例实现了一种面向联邦学习的连续学习方法，解决了传统连续学习方法无法直接应用于联邦学习的难题，有效提升了联邦学习连续学习多个任务的能力。

Claims (1)

1.一种面向联邦学习的连续学习方法，其特征在于：该方法应用于中文新闻标题分类任务，联邦学习系统包括服务端和若干客户端，该方法的步骤如下：

(1)在确定学习任务后，服务端和各客户端通过搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集，用于后续训练过程；服务端将其维护的辅助数据集分成与客户端数量相等的若干子集；所述公开数据集为中文文本数据集，所述辅助数据集为公开的中文社交网络数据集；

(2)客户端在开始本地训练之前，将辅助数据集输入模型，记录其输出作为辅助标签；

所述步骤(2)具体为：每个客户端具体将其辅助数据集输入已经学习过旧任务的模型，并记录其输出作为辅助标签：学习过旧任务的模型是指已经在一些数据上训练至收敛的神经网络，记录的输出是指神经网络在辅助数据集上的输出向量；

(3)在联邦学习的本地训练阶段，客户端借助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘；每个客户端将新任务的优化目标与知识蒸馏损失相加后作为最终的优化目标；

所述步骤(3)具体为：在联邦系统学习新任务的本地训练阶段，一部分客户端仅以新任务的损失为优化目标，迭代更新本地模型；另一部分客户端以辅助数据集及辅助标签构造知识蒸馏损失，这些客户端仅以此知识蒸馏损失为优化目标，迭代更新本地模型；

(4)本地训练完成后，各个客户端将本地模型上传至服务端，服务端依照聚合算法对本地模型进行模型聚合；

(5)在完成模型聚合之后，服务端记录每个本地模型在对应辅助数据集上的输出作为辅助标签；服务端借助知识蒸馏损失，让聚合模型学习辅助数据集及其记录的辅助标签，从而减少模型在聚合过程中产生的遗忘；

(6)联邦学习系统在任务序列中的每个任务的训练过程中重复上述步骤(2)至步骤(5)。