CN113743616A - 一种基于联邦学习的在线学习方法、系统、计算机设备及介质 - Google Patents
一种基于联邦学习的在线学习方法、系统、计算机设备及介质 Download PDFInfo
- Publication number
- CN113743616A CN113743616A CN202110865716.8A CN202110865716A CN113743616A CN 113743616 A CN113743616 A CN 113743616A CN 202110865716 A CN202110865716 A CN 202110865716A CN 113743616 A CN113743616 A CN 113743616A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- user terminal
- global model
- online learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本发明提出一种基于联邦学习的在线学习方法、系统、计算机设备及介质，解决了因当前用户终端采集数据的质量和数量参差不齐，导致联邦学习得到的模型泛化能力差的问题，本申请基于联邦学习，将采集的数据保存在在用户终端本身，防止了数据泄露的问题，每个用户终端利用持续采集的数据对接收到的全局模型进行在线学习训练，将持续采集的数据加入到训练之中，新数据整合成一个数据训练批后即加入全局模型进行训练，提高了数据量，提升了联邦学习的模型泛化能力。
Description
技术领域
本发明涉及联邦学习的技术领域，更具体地，涉及一种基于联邦学习的在线学习方法、系统、计算机设备及介质。
背景技术
随着算力的增强及数据量的不断扩张，以及相关需求的增加，机器学习逐渐走向了全球科技发展的中央。传统的机器学习方案是将每个用户端的数据传送到中心服务器后进行训练，然而，随着各国隐私保护协议如欧盟的GDPR等，人们对于隐私保护的认识及思考进入了新的一个维度。
联邦学习是一种新奇的分布式深度学习的范式，将用户端的数据存放于本地并进行训练，然后通过只传送模型参数，可避免数据因在网络上传输而导致的隐私泄露问题。如2020年7月31日，中国发明专利(公开号：CN111477290A)中公开了一种保护用户隐私的联邦学习方法，首先采集各终端上用户行为产生的数据，保存于该本地终端；服务器发送一个统一的模型给各终端，各终端利用采集到的数据训练模型；各终端训练后的所述模型上传到服务器，不涉及数据的传输，保证了隐私保护能力。
然而，在现实应用中，用户终端设备采集数据的数量和质量往往会参差不齐，有的用户终端设备收集数据速度快并且带有标签，而有的用户终端设备不仅收集数据速度慢，而且大部分是无标签的数据样本。尤其对于智能设备，在运作时往往伴随着数据样本的不停收集，倘若这些样本未放入模型训练过程当中，则会造成数据浪费。而在联邦学习过程中，以上这些情况，均不利于联邦学习得到的模型泛化能力的提高。
发明内容
为解决因当前用户终端采集数据的质量和数量参差不齐，导致联邦学习得到的模型泛化能力差的问题，本发明提出一种基于联邦学习的在线学习方法、系统、计算机设备及介质，将联邦学习与在线学习结合，将数据留在用户终端本身的同时，将用户终端持续获取的数据放入模型训练过程中，增大数据量，提高联邦学习的模型泛化能力。
为了达到上述技术效果，本发明的技术方案如下：
一种基于联邦学习的在线学习方法，所述方法包括以下步骤：
S1.服务器初始化全局模型的参数，统一将全局模型派发给每个用户终端；
S2.每个用户终端接收全局模型；
S3.每个用户终端持续采集用户行为产生的数据，并保存于用户终端本地；
S4.每个用户终端利用持续采集的数据对接收到的全局模型进行在线学习训练；
S5.每个用户终端将训练好的全局模型参数上传至服务器；
S6.服务器进行参数聚合，生成新的全局模型，执行步骤S7；
S7.判断是否达到在线学习终止条件，若是，则在线学习训练结束；否则，返回步骤S3。
在本技术方案中，服务器初始化的全局模型是在联邦学习这个过程中，服务器本身就可以创建的一个模型。
优选地，步骤S4所述的每个用户终端利用持续采集的数据对接收到的全局模型进行在线学习训练的过程为：
S41.设置数据样本批规模，当持续采集的数据数量达到数据样本批规模时，将数据放入全局模型中进行训练；
S42.设置训练轮次的上限值，每个用户终端将新采集的数据划分为若干个数据训练批，记录新的数据训练批到来的训练轮次，并根据每个数据训练批的数据产生时间的不同，将每个用户终端的损失函数Fk进行倒数加权处理；
S43.每个用户终端根据倒数加权处理后的结果，进行反向传播训练全局模型，更新全局模型的参数，执行步骤S5。
在此，通过保存数据到来的轮数，在计算损失函数时利用倒数加权的形式提高新的数据的损失，提高了在非独立同分布下联邦学习的精确度。
优选地，每个用户终端持续采集用户行为产生的数据时，还会根据用户的行为决定每个数据的标签，用于全局模型的训练，便于获得新的数据训练样本。
优选地，将数据放入全局模型中进行训练时，还会将放入全局模型中进行训练的数据训练轮次，作为数据的时间戳，便于训练过程中的轮次统计。
优选地，将每个用户终端的损失函数Fk进行倒数加权处理的公式为：
其中，i表示数据训练批的顺序，n表示当前用户终端的数据训练批的总数，Fk表示当前用户终端的损失函数，t表示当前的训练轮次，Ti表示第i个数据训练批的数据生成轮次，FLoss表示当前的损失。
利用倒数加权侧重新数据的的损失函数计算当前FLoss，对新旧数据进行按到来轮次的加权，使得联邦学习得到的模型更具有泛化能力。
优选地，服务器进行参数聚合的方法为FedAvg法。
优选地，步骤S5所述的在线学习终止条件为：训练轮次达到训练轮次上限值。
本申请还提出一种基于联邦学习的在线学习系统，所述系统用于实现所述的基于联邦学习的在线学习方法，包括：
服务器，用于初始化全局模型的参数，统一将全局模型派发给每个用户终端；
若干个用户终端，用于接收全局模型；
若干个数据采集模块，设置于用户终端上，用于持续采集用户行为产生的数据，并保存于用户终端本地
若干个训练模块，设置于用户终端上，利用持续采集的数据对每个用户终端接收到的全局模型进行在线学习训练；
若干个参数传输模块，设置于用户终端上，将训练好的全局模型参数上传至服务器；
参数聚合模块，设置于服务器上，用于接收并聚合训练好的全局模型参数，生成新的全局模型；
判断模块，用于判断在线学习是否达到在线学习终止条件。
本申请还提出一种计算机设备，包括处理器、存储器及存储在存储器上的计算机程序，所述处理器执行存储在存储器上的计算机程序，以实现所述的基于联邦学习的在线学习方法。
本申请还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，该指令被处理器执行时，实现所述的方法的步骤。
这种计算机可读存储介质通过执行上面的计算机程序指令，将采集的数据保存在在用户终端本身，防止了数据泄露的问题，将采集的数据加入到训练之中，新数据整合成一个数据训练批后即加入全局模型进行训练，提高了数据量，亦防止了过拟合的出现，使得联邦学习得到的模型更具有泛化能力。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于联邦学习的在线学习方法、系统、计算机设备及介质，基于联邦学习，将采集的数据保存在在用户终端本身，防止了数据泄露的问题，每个用户终端利用持续采集的数据对接收到的全局模型进行在线学习训练，提高了数据量，提升了联邦学习的模型泛化能力。
附图说明
图1表示本发明实施例1中提出的基于联邦学习的在线学习方法的流程示意图；
图2表示本发明实施例2中提出的用于实现基于联邦学习的在线学习方法的系统结构图；
图3表示本发明实施例3中提出的计算机设备的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，在本实施例中，提出了一种基于联邦学习的在线学习方法，所述方法包括以下步骤：
S1.服务器初始化全局模型的参数，统一将全局模型派发给每个用户终端；在本实施例中，所述的全局模型可以为一个深度学习模型，服务器进行联邦平均计算全局模型，然后将全局模型派发给每个用户终端；
S2.每个用户终端接收全局模型；
S3.每个用户终端持续采集用户行为产生的数据，并保存于用户终端本地；
S4.每个用户终端利用持续采集的数据对接收到的全局模型进行在线学习训练；
在本实施例中，每个用户终端利用持续采集的数据对接收到的全局模型进行在线学习训练的过程为：
S41.设置数据样本批规模，当持续采集的数据数量达到数据样本批规模时，将数据放入全局模型中进行训练；
S42.设置训练轮次的上限值，每个用户终端将新采集的数据划分为若干个数据训练批，记录新的数据训练批到来的训练轮次，并根据每个数据训练批的数据产生时间的不同，将每个用户终端的损失函数Fk进行倒数加权处理；
S43.每个用户终端根据倒数加权处理后的结果，进行反向传播训练全局模型，更新全局模型的参数，执行步骤S5。
即通过保存数据到来的轮数，在计算损失函数时利用倒数加权的形式提高新的数据的损失，提高了在非独立同分布下联邦学习的精确度。而在步骤S43所述的过程中，反向传播算法(BP算法)主要由两个环节(激励传播、权重更新)反复循环迭代，直到全局模型对输入的响应达到预定的目标范围为止，这时候全局模型的参数训练好。
S5.每个用户终端将训练好的全局模型参数上传至服务器；
S6.服务器进行参数聚合，生成新的全局模型，执行步骤S7；
S7.判断是否达到在线学习终止条件，若是，则在线学习训练结束；否则，返回步骤S3。
在本实施例中，每个用户终端持续采集用户行为产生的数据时，还会根据用户的行为决定每个数据的标签，用于全局模型的训练，便于获得新的数据训练样本。
在本实施例中，将数据放入全局模型中进行训练时，还会将放入全局模型中进行训练的数据训练轮次，作为数据的时间戳，也以此来界定数据产生的时间顺序。
在本实施例中，将每个用户终端的损失函数Fk进行倒数加权处理的公式为：
其中，i表示数据训练批的顺序，n表示当前用户终端的数据训练批的总数，Fk表示当前用户终端的损失函数，t表示当前的训练轮次，Ti表示第i个数据训练批的数据生成轮次，FLoss表示当前的损失。
利用倒数加权侧重新数据的的损失函数计算当前FLoss，对新旧数据进行按到来轮次的加权，使得联邦学习得到的模型更具有泛化能力。
在本实施例中，服务器进行参数聚合的方法为FedAvg法。
在本实施例中，步骤S5所述的在线学习终止条件为：训练轮次达到训练轮次上限值。
下面结合具体的实施对上述方法进行说明，首先限定好所用服务器，所述的用户终端为手机客户端，首先服务器初始化全局模型，而手机客户端则根据用户的选择情况决定样本的标签，并假设客户端已有若干batch的数据，则将该batch数据的进入训练轮次设置为0，服务器将全局模型发送至每个手机客户端，用户在不断使用输入法时，会将若干种预测根据模型的推理显示出来，而用户打字时只会选择他想要的一种，故此时能获得新的训练样本，以及用户选择的对应该训练样本的标签，直到数据达到一个数据样本批规模batchsize的量则完成了对于新训练样本的构建，手机客户端根据步骤S41～步骤S43对全局模型进行训练，将训练得到的参数上传至服务器，服务器进行联邦聚合，直到训练轮次达到训练轮次上限值，停止训练。
实施例2
如图2所示，本申请还提出一种基于联邦学习的在线学习系统，所述系统用于实现实施例1所述的基于联邦学习的在线学习方法，包括：
服务器，用于初始化全局模型的参数，统一将全局模型派发给每个用户终端；
若干个用户终端，参见图2，在本实施例中，以6个作为代表，所述用户终端用于接收全局模型；
若干个数据采集模块，数据采集模块的数量与用户终端的数量相同，设置于用户终端上，用于持续采集用户行为产生的数据，并保存于用户终端本地
若干个训练模块，训练模块的数量与用户终端的数量相同，设置于用户终端上，利用持续采集的数据对每个用户终端接收到的全局模型进行在线学习训练；
若干个参数传输模块，与用户终端的数量相同，设置于用户终端上，将训练好的全局模型参数上传至服务器；
参数聚合模块，设置于服务器上，用于接收并聚合训练好的全局模型参数，生成新的全局模型；
判断模块，用于判断在线学习是否达到在线学习终止条件。
实施例3
参见图3，本申请还提出一种计算机设备，包括处理器、存储器及存储在存储器上的计算机程序，参见图1，处理器标号为1，存储器标号为2，处理器1连接存储器2。所述处理器1执行存储在存储器2上的计算机程序，以实现所述的实施例1所述的基于联邦学习的在线学习方法。
其中，存储器2可以是磁盘、闪存或其它任何非易失性存储介质，参见图3，处理器1与存储器2连接，可以作为一个或多个集成电路来实施，具体的可以为微处理器或微控制器，在执行存储在存储器上的计算机程序时，对于全局模型，实现基于联邦学习的在线学习方法。
本申请还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，该指令被处理器执行时，实现所述的方法的步骤。
这种计算机可读存储介质通过执行上面的计算机程序指令，将采集的数据保存在在用户终端本身，防止了数据泄露的问题，将采集的数据加入到训练之中，新数据整合成一个数据训练批后即加入全局模型进行训练，提高了数据量，亦防止了过拟合的出现，使得联邦学习得到的模型更具有泛化能力。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于联邦学习的在线学习方法，其特征在于，所述方法包括以下步骤：
S1.服务器初始化全局模型的参数，统一将全局模型派发给每个用户终端；
S2.每个用户终端接收全局模型；
S3.每个用户终端持续采集用户行为产生的数据，并保存于用户终端本地；
S4.每个用户终端利用持续采集的数据对接收到的全局模型进行在线学习训练；
S5.每个用户终端将训练好的全局模型参数上传至服务器；
S6.服务器进行参数聚合，生成新的全局模型，执行步骤S7；
S7.判断是否达到在线学习终止条件，若是，则在线学习训练结束；否则，返回步骤S3。
2.根据权利要求1所述的基于联邦学习的在线学习方法，其特征在于，步骤S4所述的每个用户终端利用持续采集的数据对接收到的全局模型进行在线学习训练的过程为：
S41.设置数据样本批规模，当持续采集的数据数量达到数据样本批规模时，将数据放入全局模型中进行训练；
S42.设置训练轮次的上限值，每个用户终端将新采集的数据划分为若干个数据训练批，记录新的数据训练批到来的训练轮次，并根据每个数据训练批的数据产生时间的不同，将每个用户终端的损失函数Fk进行倒数加权处理；
S43.每个用户终端根据倒数加权处理后的结果，进行反向传播训练全局模型，更新全局模型的参数，执行步骤S5。
3.根据权利要求2所述的基于联邦学习的在线学习方法，其特征在于，每个用户终端持续采集用户行为产生的数据时，还会根据用户的行为决定每个数据的标签，用于全局模型的训练。
4.根据权利要求2所述的基于联邦学习的在线学习方法，其特征在于，将数据放入全局模型中进行训练时，还会将放入全局模型中进行训练的数据训练轮次，作为数据的时间戳。
5.根据权利要求2所述的基于联邦学习的在线学习方法，其特征在于，将每个用户终端的损失函数Fk进行倒数加权处理的公式为：
其中，i表示数据训练批的顺序，n表示当前用户终端的数据训练批的总数，Fk表示当前用户终端的损失函数，t表示当前的训练轮次，Ti表示第i个数据训练批的数据生成轮次，FLoss表示当前的损失。
6.根据权利要求1所述的基于联邦学习的在线学习方法，其特征在于，服务器进行参数聚合的方法为FedAvg法。
7.根据权利要求2所述的基于联邦学习的在线学习方法，其特征在于，步骤S5所述的在线学习终止条件为：训练轮次达到训练轮次上限值。
8.一种基于联邦学习的在线学习系统，所述系统用于实现权利要求1所述的基于联邦学习的在线学习方法，其特征在于，包括：
服务器，用于初始化全局模型的参数，统一将全局模型派发给每个用户终端；
若干个用户终端，用于接收全局模型；
若干个数据采集模块，设置于用户终端上，用于持续采集用户行为产生的数据，并保存于用户终端本地
若干个训练模块，设置于用户终端上，利用持续采集的数据对每个用户终端接收到的全局模型进行在线学习训练；
若干个参数传输模块，设置于用户终端上，将训练好的全局模型参数上传至服务器；
参数聚合模块，设置于服务器上，用于接收并聚合训练好的全局模型参数，生成新的全局模型；
判断模块，用于判断在线学习是否达到在线学习终止条件。
9.一种计算机设备，其特征在于，包括处理器、存储器及存储在存储器上的计算机程序，所述处理器执行存储在存储器上的计算机程序，以实现权利要求1～7任意一项所述的基于联邦学习的在线学习方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，该指令被处理器执行时，实现权利要求1～7任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110865716.8A CN113743616A (zh) | 2021-07-29 | 2021-07-29 | 一种基于联邦学习的在线学习方法、系统、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110865716.8A CN113743616A (zh) | 2021-07-29 | 2021-07-29 | 一种基于联邦学习的在线学习方法、系统、计算机设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113743616A true CN113743616A (zh) | 2021-12-03 |
Family
ID=78729459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110865716.8A Pending CN113743616A (zh) | 2021-07-29 | 2021-07-29 | 一种基于联邦学习的在线学习方法、系统、计算机设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743616A (zh) |
-
2021
- 2021-07-29 CN CN202110865716.8A patent/CN113743616A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110968426B (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
| CN107632697B (zh) | 应用程序的处理方法、装置、存储介质及电子设备 | |
| CN114265979B (zh) | 确定融合参数的方法、信息推荐方法和模型训练方法 | |
| CN110503531A (zh) | 时序感知的动态社交场景推荐方法 | |
| CN109388674B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN109377218B (zh) | 一种遏制虚假感知攻击的方法、服务器及移动终端 | |
| CN109726885A (zh) | 用电量异常评估方法、装置、设备和计算机存储介质 | |
| CN113469325A (zh) | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 | |
| CN113128105A (zh) | 突发性流域水污染事故监测方法及装置 | |
| CN108133390A (zh) | 用于预测用户行为的方法和装置以及计算设备 | |
| CN111079006A (zh) | 一种消息推送方法、装置、电子设备及介质 | |
| CN109615058A (zh) | 一种神经网络模型的训练方法 | |
| CN116167581A (zh) | 电池需求量预估方法、装置、调度方法和计算机设备 | |
| CN116957874A (zh) | 一种智能高校自动排课方法、系统、设备及存储介质 | |
| CN113660687B (zh) | 网络差小区处理方法、装置、设备及存储介质 | |
| CN109993562B (zh) | 一种满意度仿真方法、装置及终端设备 | |
| CN113055423B (zh) | 策略的推送方法、策略的执行方法、装置、设备及介质 | |
| CN113743616A (zh) | 一种基于联邦学习的在线学习方法、系统、计算机设备及介质 | |
| CN107918922A (zh) | 业务推荐方法及业务推荐装置 | |
| CN112052399A (zh) | 一种数据处理方法、装置和计算机可读存储介质 | |
| CN116108195A (zh) | 基于时序元学习的动态知识图谱预测方法和装置 | |
| CN110457387B (zh) | 一种应用于网络中用户标签确定的方法及相关装置 | |
| CN114971053A (zh) | 低压台区网络线损率在线预测模型的训练方法及装置 | |
| CN115185606A (zh) | 业务配置参数的获得方法、装置、设备及存储介质 | |
| CN103955802A (zh) | 一种参与式感知数据系统及其促进用户贡献数据的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |