CN113077060A

CN113077060A - 针对边云协同的联邦学习系统及方法

Info

Publication number: CN113077060A
Application number: CN202110339975.7A
Authority: CN
Inventors: 陈益强; 孙伟豪; 杨晓东; 于汉超; 王永斌; 张忠平; 肖益珊
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2021-07-06

Abstract

本发明的实施例提供针对边云协同的联邦学习系统和方法，包括边缘设备和云端服务器。每个边缘设备基于本地数据对全局模型进行训练，对训练后得到的模型参数进行加密并上传至云端服务器；云端服务器对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；边缘设备采用来自云端服务器的模型参数更新其本地的全局模型以进行预测。该系统使得模型的鲁棒性、精确性和训练速度大幅提升。

Description

针对边云协同的联邦学习系统及方法

技术领域

本发明涉及机器学习和数据处理技术，尤其涉及边缘设备与云端协同处理数据的方法和系统。

背景技术

在当前的移动时代，很多数据都是从诸如移动装置、可穿戴设备之类的边缘设备生成然后上传到云端服务器以供进一步分析和处理。云端服务器使用了从边缘设备中上传来的数据进行模型的训练，然后将经过多次训练的模型传输到每个边缘设备，从而使得边缘设备具有了推理能力。然而，边缘设备将原始数据传输到云端，造成用户的隐私信息暴露于公共网络，任何形式的网络攻击都可能使得数据安全受到威胁，会给用户带来极为严重的隐私泄露问题。除了数据的安全问题以外，将原始数据上传到云端所需要的传输带宽及时间成本也比较高。

发明内容

发明人研究发现如果不上传原始数据，而由边缘设备使用本地数据独立训练模型，虽然能够避免用户隐私泄露，但模型的精度会大大降低。这是因为每个边缘端设备的数据通常是有类似的特征的而仅是用户不相同，如果只是使用每个边缘端的数据来训练模型，那么很容易会发生过拟合的现象。而如果将多个边缘设备上的数据聚合起来，共同训练得到一个模型，则不仅不会发生过拟合现象，而且该模型的鲁棒性和精度将大大提升。因此，在本发明的目的在于提供一种边缘设备与云端服务器协同训练模型的系统和方法，能在保证训练模型的高精度的同时，避免用户隐私泄露，并减少数据传输的成本。

上述目的是通过以下技术方案实现的：

根据本发明实施例的第一方面，提供一种针对边云协同的联邦学习系统，其包括边缘设备和云端服务器。其中云端服务器被配置为：向参与协同的各个边缘设备下发初始的全局模型和密钥，以及对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备。其中边缘设备被配置为基于本地数据对全局模型进行训练；根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；以及采用来自云端服务器的模型参数更新其本地的全局模型。

在一些实施例中，云端服务器对从各个边缘设备接收的模型参数进行聚合可以包括对从各个边缘设备接收的模型参数求平均值，以得到聚合后的模型参数。

在一些实施例中，边缘设备还可以被配置为将参与对全局模型进行训练的数据数目与训练后得到的模型参数一起上传至云端服务器。

在一些实施例中，云端服务器对从各个边缘设备接收的模型参数进行聚合可以包括将从各个边缘设备接收的数据数目作为其相应模型参数的权重，对从各个边缘设备接收的模型参数求加权平均值，以得到聚合后的模型参数。

在一些实施例中，可以采用同态加密算法对边缘设备与云端服务器之间传输的模型参数进行加密。

在一些实施例中，所述全局模型可以为极限学习机模型，其包括一个输入层、一个隐藏层和一个输出层。所述云端服务器向参与协同的各个边缘设备下发初始的全局模型可以包括指定用于该全局模型的输入权重、输入偏置和隐藏层节点数，以及其中所述边缘设备训练后得到的模型参数为该全局模型的输出权重。

根据本发明实施例的第二方面，提供了一种针对边云协同的联邦学习方法，该方法包括：由云端服务器向参与协同的各边缘设备下发初始的全局模型和密钥；由每个边缘设备基于本地数据对全局模型进行训练；由每个边缘设备根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；由云端服务器对从各个边缘设备收到的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；由每个边缘设备采用来自云端服务器的模型参数更新其本地的全局模型。

根据本发明实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被执行时实现如上述实施例第二方面所述的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了示出了根据本发明一个实施例的针对边云协同的联邦学习系统的工作原理示意图。

图2示出了根据本发明一个实施例的针对边云协同的联邦学习系统的功能模块示意图。

图3示出了根据本发明一个实施例的全局模型的结构示意图。

图4示出了根据本发明一个实施例的针对边云协同的联邦学习系统的操作流程示意图。

图5示出了根据本发明一个实施例的针对边云协同的联邦学习方法流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动下获得的所有其他实施例，都属于本发明保护的范围。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了根据本发明一个实施例的针对边云协同的联邦学习系统(下面也可简称为边云协同系统)的工作原理示意图。在云端服务器上对全局模型进行初始化并分发到每一个边缘设备上；在每个边缘设备上，使用本地数据对该模型进行训练，然后将训练好的模型参数传输到云端服务器；云端服务器对来自各个边缘设备上的模型参数进行聚合，将经聚合后得到的新的全局模型参数返回到每个边缘设备以供其进行预测或推理。

图2示出了根据本发明一个实施例的针对边云协同的联邦学习系统的功能模块示意图。该系统包含两部分，分别部署在边缘设备和云端。其中在边缘设备上包括数据采集、模型训练、数据加密、参数传输、模型预测五个模块。其中数据采集模块负责获取供模型训练用的数据；模型训练模块基于这些数据来训练模型，并将训练得到的模型参数提供至数据加密模块中进行加密，以此来保护传输数据的安全；接着这些经加密的模型参数通过参数传输模块上传至云端服务器。边缘设备还可通过参数传输模块接收云端服务器传回的模型参数，从而得到经过全局优化后的模型。这样，模型预测模块可基于经全局优化后的模型来进行预测。而在云端服务器上包含密钥分发模块、参数聚合模块和参数传输模块。其中密钥分发模块负责生成公私钥，将其发送给边缘设备，以供数据加密模块进行数据加密。参数聚合模块负责将多个边缘设备上得到的参数进行聚合，然后再通过参数传输模块将聚合得到的参数传输回边缘设备。尽管该框图以功能上分开的方式来描述组件，但这样的描述仅为了说明的目的。图中所示的组件可以任意地进行组合或被分为独立的软件、固件和/或硬件组件。而且，无论这样的组件是如何被组合或划分的，它们都可以在同一计算装置或多个计算装置上执行，其中多个计算装置可以是由一个或多个网络连接。

更具体地，参与该边云协同系统的各个边缘设备上的初始模型是相同的。例如在系统初始化阶段，可以由云端服务器为参与协同的各个边缘设备指定和/或分发初始的全局模型，对各边缘设备的模型参数进行统一，以方便后续的聚合。在本发明的一个实施例中，采用如图3所示的极限学习机模型作为全局模型，其包括输入层、隐藏层和输出层。在系统初始化阶段，云端服务器为每个边缘设备统一设置初始化输入参数，包括输入权重a、输入偏置b、隐藏层节点数L和输入数据的特征维数d等。这些参数对于每一个边缘设备来说都是完全相同的，并且之后不会对输入参数和隐藏层节点数进行更改。在图4所示的模型结构中，输入层输出为sum＝aX^T+b，其中X为输入数据矩阵。隐藏层输出为：H＝g(sum)，其中函数g(x)为激活函数，可以设置为常见的Sigmoid函数、Tanh函数、ReLU函数等等。该模型的预测输出为pred＝Hβ，其中β代表输出权重，其为要在边缘设备上训练的模型参数。该模型参数是一个向量，其元素数量等于隐藏层节点数。

在边缘设备上在对全局模型进行训练时，需要生成训练用的样本集，该样本集包括输入数据矩阵X及其对应的期望输出T。边缘设备上的数据采集模块可以通过多种方式在本地采集或收集与输入数据矩阵X及及其对应的期望输出T相关的数据，并可以对这些数据进行初步处理，以使其符合该全局模型的输入格式和输出格式的要求。在获得训练用的样本集{X，T}后，就可以通过模型训练模块开始进行相应学习和训练。例如依据公式sum＝aX^T+b得到该模型的输入层输出，其中X是输入数据矩阵；接着计算出隐藏层输出矩阵H＝g(sum)；然后通过计算得到模型的输出权重β＝H⁺T，其中H⁺为H的广义逆，T为样本集中与输入数据矩阵X对应的期望输出。这样就得到了该边缘设备上经模型训练后的输出权重参数β，其需要上传至云端服务器。

在本发明的一个实施例中，边缘设备采用了同态加密算法对于要上传云端服务器的参数进行加密。对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。常用的同态加密算法有RSA算法、Paillier算法等。这样，依据同态加密技术，云端服务器可以不需将边缘设备上传的参数解密，就能完成下一步的参数聚合。在该实施例中采用了Paillier算法，如图4所示，依据该加密算法，云端服务器会生成一对公私钥，分别用于加密数据和解密数据。然后云端会将生成的公私钥下发至每一个边缘设备，需要注意的是，每一个边缘设备得到的公私钥是完全一样的，这样便可以完成后续的参数聚合计算。应理解，这里采用同态加密仅是优选实施例，可以防止传输过程以及在云端服务器聚合过程中的数据暴露问题。当然如果云端服务器是可信的或安全的，则边缘设备也可以采用其他加密方法对数据加密后上传至云端服务器，云端服务器解密后再进行聚合，只要保证传输过程中数据的安全性即可。

如图4所示，假设该边云协同系统中共有k个边缘设备参与，则经本地训练后得到的模型参数有k个，即输出权重β₁、β₂…β_k。边缘设备利用收到的公钥对模型参数进行加密后将其上传至云端服务器。云端服务器得到是一系列同态加密后的模型参数[[β₁]]、[[β₂]]…[[β_k]]，其中[[·]]表示对数据进行了同态加密。云端服务器可以对收到的各个边缘设备的模型参数求平均值，将该平均值作为全局模型的输出权重，并返回至各个边缘设备，以供其预测使用。在又一个实施例中，各个边缘设备在上传输出模型参数的同时，还会上传本地参与训练的数据数目n₁、n₂…n_k，同样的，这些数据也被同态加密为[[n₁]]、[[n₂]]…[[n_k]]。在得到各个边缘设备上传的参数后，云端便根据下面的公式进行加权平均以计算得到各个边缘设备加权后的全局模型输出权重[[β]]：

这样，云端就完成了各个边缘设备端的参数聚合。在该实施例中，云端服务器在聚合参数时考虑了训练用的数据规模大小对模型精度的影响，这样聚合更有利于改善全局模型的预测精度。

云端服务器计算得到[[β]]后，会将[[β]]下发至每一个边缘设备上，边缘设备再使用云端服务器之前下发的私钥对参数进行解密得到全局模型的输出权重β。这样，当在边缘设备收到预测任务后，边缘设备此时不再需要将数据上传至云端服务器进行预测，只需要在本地就可以完成预测。例如，首先计算得到模型的输入层输出sum＝aX^T+b和隐藏层输出H＝g(sum)，然后通过输出权重β计算得到数据的预测输出：pred＝Hβ。pred就是最终得到的模型预测值。

在上述的实施例中，边缘设备不用再上传全部的用户数据，只需要传输一些模型参数即可，大大提高了边缘设备上用户数据的安全性；并且在计算能力较弱的边缘设备上采用了轻量级的极限学习模型，从而提供更快速的训练时间；而在云端服务器上对各个边缘设备训练的模型参数的聚合进一步改善了模型的精确度，因此整个系统的鲁棒性、精确性和训练速度大幅提升。

图5示出了根据本发明一个实施例的针对边云协同的联邦学习的方法流程示意图。该方法包括步骤S501)由云端服务器向参与协同的各边缘设备下发初始的全局模型和密钥；步骤S502)由每个边缘设备基于本地数据对全局模型进行训练；步骤S503)由每个边缘设备根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；步骤S504)由云端服务器对从各个边缘设备收到的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；步骤S505)由每个边缘设备采用来自云端服务器的模型参数更新其本地的全局模型。

在步骤S501)在系统初始化阶段，可以由云端服务器为参与协同的各个边缘设备指定和/或分发初始的全局模型，对各边缘设备的模型参数进行统一，以方便后续的聚合。例如，全局模型可以采用上文结合图3所示的极限学习机模型。云端服务器为每个边缘设备统一设置初始化输入参数，包括输入权重a、输入偏置b和隐藏层节点数L。另外，云端服务器还可以为参与协同的各个边缘设备指定和/或分发后续用于加密的密钥。

在步骤S502)由每个边缘设备根据本地采集的数据对全局模型进行训练。在边缘设备上在对全局模型进行训练时，需要生成训练用的样本集，该样本集包括输入数据矩阵X及其对应的期望输出T。边缘设备上的数据采集模块可以通过多种方式在本地采集或收集与输入数据矩阵X及及其对应的期望输出T相关的数据，并可以对这些数据进行初步处理，以使其符合该全局模型的输入格式和输出格式的要求。在获得训练用的样本集{X，T}后，就可以通过模型训练模块开始进行相应学习和训练。例如依据公式sum＝aX^T+b得到该模型的输入层输出，其中X是输入数据矩阵；接着计算出隐藏层输出矩阵H＝g(sum)；然后通过计算得到模型的输出权重β＝H⁺T，其中H⁺为H的广义逆，T为样本集中与输入数据矩阵X对应的期望输出。这样就得到了该边缘设备上经模型训练后的输出权重参数β，其需要上传至云端服务器。

在步骤S503)，如上文介绍的，边缘设备可以采用了同态加密算法对于要上传云端服务器的参数进行加密。对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。这样，依据同态加密技术，云端服务器可以不需将边缘设备上传的参数解密，就能完成下一步的参数聚合。

步骤S504)由云端服务器对从各个边缘设备收到的模型参数进行聚合。如上文结合图4所介绍的，假设该边云协同系统中共有k个边缘设备参与，则经本地训练后得到的模型参数有k个，即输出权重β₁、β₂…β_k。边缘设备利用收到的公钥对模型参数进行加密后将其上传至云端服务器。云端服务器得到是一系列同态加密后的模型参数[[β₁]]、[[β₂]]…[[β_k]]，其中[[·]]表示对数据进行了同态加密。云端服务器可以对收到的各个边缘设备的模型参数求平均值，将该平均值作为全局模型的输出权重，并返回至各个边缘设备，以供其预测使用。在又一个实施例中，各个边缘设备在上传输出模型参数的同时，还会上传本地参与训练的数据数目n₁、n₂…n_k，同样的，这些数据也被同态加密为[[n₁]]、[[n₂]]…[[n_k]]。在得到各个边缘设备上传的参数后，云端便根据下面的公式进行加权平均以计算得到各个边缘设备加权后的全局模型输出权重[[β]]：

这样，云端就完成了各个边缘设备端的参数聚合。云端服务器计算得到[[β]]后，会将[[β]]下发至每一个边缘设备上。

步骤S505)各个边缘设备采用来自云端服务器的模型参数更新其本地的全局模型。这样，当在边缘设备收到预测任务后，边缘设备此时不再需要将数据上传至云端服务器进行预测，只需要在本地利用更新后的全局模型就可以完成预测。

在本发明的又一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序或可执行指令，当所述计算机程序或可执行指令被执行时实现如前述实施例中所述的技术方案，其实现原理类似，此处不再赘述。在本发明的实施例中，计算机可读存储介质可以是任何能够存储数据且可以被计算装置读取的有形介质。计算机可读存储介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学或非光学数据存储装置。计算机可读存储介质也可以包括分布在网络耦合计算机系统上的计算机可读介质，以便可以分布式地存储和执行计算机程序或指令。

在本发明的又一个实施例中，还提供了一种电子设备，包括处理器和存储器，其中所述存储器用于存储可由处理器执行的可执行指令，其中所述处理器被配置为执行存储器上存储的可执行指令，所述可执行指令被执行时实现前述任一实施例中介绍的技术方案，其实现原理类似，此处不再赘述。

本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。

本说明书中“包括”和“具有”以及类似含义的术语表达，意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备并不限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。“一”或“一个”也不排除多个的情况。另外，本申请附图中的各个元素仅仅为了示意说明，并非按比例绘制。

虽然本发明已经通过上述实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims

1.一种针对边云协同的联邦学习系统，包括边缘设备和云端服务器；

所述云端服务器被配置为：向参与协同的各个边缘设备下发初始的全局模型和密钥，以及对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；

所述边缘设备被配置为：基于本地数据对全局模型进行训练；根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；以及采用来自云端服务器的模型参数更新其本地的全局模型。

2.根据权利要求1所述的系统，其中所述云端服务器对从各个边缘设备接收的模型参数进行聚合包括对从各个边缘设备接收的模型参数求平均值，以得到聚合后的模型参数。

3.根据权利要求1所述的系统，其中所述边缘设备还被配置为将参与对全局模型进行训练的数据数目与训练后得到的模型参数一起上传至云端服务器。

4.根据权利要求1所述的系统，其中所述云端服务器对从各个边缘设备接收的模型参数进行聚合包括将从各个边缘设备接收的数据数目作为其相应模型参数的权重，对从各个边缘设备接收的模型参数求加权平均值，以得到聚合后的模型参数。

5.根据权利要求1-5中任一项所述的系统，其中采用同态加密算法对边缘设备与云端服务器之间传输的模型参数进行加密。

6.根据权利要求1-5中任一项所述的系统，其中所述全局模型为极限学习机模型，其包括一个输入层、一个隐藏层和一个输出层。

7.根据权利要求6所述的系统，其中所述云端服务器向参与协同的各个边缘设备下发初始的全局模型包括指定用于该全局模型的输入权重、输入偏置和隐藏层节点数，以及其中所述边缘设备训练后得到的模型参数为该全局模型的输出权重。

8.一种针对边云协同的联邦学习方法，包括：

由云端服务器向参与协同的各边缘设备下发初始的全局模型和密钥；

由每个边缘设备基于本地数据对全局模型进行训练；

由每个边缘设备根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；

由云端服务器对从各个边缘设备收到的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；

由每个边缘设备采用来自云端服务器的模型参数更新其本地的全局模型。

9.根据权利要求8所述的方法，其中采用同态加密算法对边缘设备与云端服务器之间传输的模型参数进行加密。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，所述程序被执行时实现权利要求8-9中任一项所述的方法。