CN113326947A - 一种联合学习模型训练方法及系统 - Google Patents

一种联合学习模型训练方法及系统 Download PDF

Info

Publication number
CN113326947A
CN113326947A CN202110592297.5A CN202110592297A CN113326947A CN 113326947 A CN113326947 A CN 113326947A CN 202110592297 A CN202110592297 A CN 202110592297A CN 113326947 A CN113326947 A CN 113326947A
Authority
CN
China
Prior art keywords
layer
weight
server
client
weights
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110592297.5A
Other languages
English (en)
Other versions
CN113326947B (zh
Inventor
牛屹
秦雪
陈凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110592297.5A priority Critical patent/CN113326947B/zh
Publication of CN113326947A publication Critical patent/CN113326947A/zh
Application granted granted Critical
Publication of CN113326947B publication Critical patent/CN113326947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种联合学习模型训练方法及系统，所述方法包括：(1)多个客户端分别进行局部分类模型的训练，并将第一层权重发送至服务器；(2)服务器根据各局部分类模型的该层权重，得到联邦模型相应层的权重，并返回至所述多个客户端；(3)各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；重复步骤(2)‑(3)，直至客户端得到最后一层权重发送至服务器；(4)服务器根据各局部分类模型的最后一层权重，得到联邦模型的最后一层权重，发送至所述多个客户端。本发明可以在不共享数据的情况下，经过传参实现数据的安全，隐私的保护，保密性增强，通信负担减小，传输效率提高。

Description

一种联合学习模型训练方法及系统
技术领域
本发明属于信息分类技术领域，尤其涉及一种联合学习模型训练方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
移动电话、传感器网络中的传感器或车辆等边缘设备可以访问大量数据，手机、电脑以及iPad等个人客户端分别通过各种新闻软件，如头条、网易以及天涯等收集新闻，这些都会产生大量数据，但是，由于数据隐私问题，从数据中心的边缘设备/客户端收集所有数据并进行集中处理是不切实际的，也不能在不同用户的客户端间进行交换。
联合学习方法能够解决这一问题，其主要流程包括：多个客户端分别基于本地训练数据进行模型训练，得到各自的局部模型并发送至中心服务器，中心服务器会聚合这些局部模型，得到更新后的全局模型，然后将全局模型发送给所有客户端，客户端利用它们本地的测试数据进行测试。保证了数据只保留在本地客户端，而未上传至中央服务器，解决了用户数据的隐私问题。并且，为了进一步解决隐私问题，提出了从单中心、多中心再到去中心的联合学习方法，以及以下标准聚集方法，然而都有不同程度的不足。FedAvg这一算法首先在《Communication-Efficient Learningof Deep Networks from DecentralizedData》中提出，发表于AISTATS 2017。其中局部模型的参数按元素平均，权重与客户数据集的大小成比例。FedAvg的一个缺点是权重的坐标平均可能对平均模型的性能产生严重的不利影响，并显著增加通信负担。这些方法在数据隐私、通信效率以及模型结构等方面都有严重的不足。
发明内容
为克服上述现有技术的不足，本发明提供了一种联合学习模型训练方法及系统。可以在不共享数据的情况下，经过传参实现数据的安全，隐私的保护，保密性增强，通信负担减小，传输效率提高。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种联合学习模型训练方法，包括以下步骤：
(1)多个客户端分别进行局部分类模型的训练，并将第一层权重发送至服务器；
(2)服务器根据各局部分类模型的该层权重，得到联邦模型相应层的权重，并返回至所述多个客户端；
(3)各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；重复步骤(2)-(3)，直至客户端得到最后一层权重发送至服务器；
(4)服务器根据各局部分类模型的最后一层权重，得到联邦模型的最后一层权重，发送至所述多个客户端。
进一步地，所述步骤(2)中，服务器对各局部分类模型的该层权重，依次进行置换匹配和加权平均，得到联邦模型相应层的权重；
其中，所述置换匹配包括：以同层的任意一个权重矩阵为标准，通过交换某行或某列，使得同层的这些权重矩阵具有相似的数据分布。
进一步地，所述步骤(4)中，以各个客户端本地数据中各类型文本所占比例与该客户端最后一层的权重乘积之和为权重，对各个客户端相应的最后一层权重进行加权，得到联邦模型的最后一层权重。
一个或多个实施例提供了一种联合学习模型训练方法，应用于客户端，包括：
(1)基于本地训练数据训练局部分类模型，并将第一层权重发送至服务器；
(2)接收服务器反馈的联邦模型的该层权重，其中，该层权重是根据来自多个客户端的局部分类模型的相应层权重得到的；
(3)基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；
重复步骤(2)-(3)，直至接收到服务器发送的联邦模型的最后一层权重。
一个或多个实施例提供了一种联合学习模型训练方法，应用于服务器，包括：
接收多个客户端训练局部分类模型得到的各层权重；
根据来自多个客户端的每一层权重，得到联邦模型的该层权重，并发送至客户端，用于客户端继续训练局部分类模型。
一个或多个实施例提供了一种基于同态加密的去中心联合学习模型训练方法，服务器预先存储公钥和私钥，并将公钥发送至多个客户端，所述方法包括以下步骤：
(1)多个客户端分别进行局部分类模型的训练，将第一层权重采用公钥进行加密，以其中任意一个为中转客户端，其他客户端均将加密后的第一层权重发送至所述中转客户端，继而经由所述中转客户端发送至服务器；
(2)所述服务器根据所有加密后的该层权重，得到加密的联邦模型相应层的权重，解密后返回至所述多个客户端；
(3)各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，将下一层权重采用公钥加密并发送至中转客户端；重复步骤(2)-(3)，直至各个客户端得到最后一层权重并加密，经由中转客户端发送至服务器；
(4)服务器根据多个加密的最后一层权重，得到加密的联邦模型最后一层的权重，解密后返回至所述多个客户端。
进一步地，所述步骤(2)中，所述服务器对所有加密后的该层权重，依次进行置换匹配和加权平均，得到加密的联邦模型相应层的权重。
其中，所述置换匹配包括：以同层的任意一个权重矩阵为标准，通过交换某行或某列，使得同层的这些权重矩阵具有相似的数据分布。
进一步地，所述步骤(4)中，服务器得到所有加密后的最后一层的权重后，以各个客户端本地数据中各类型文本所占比例与该客户端最后一层的权重乘积之和之和为权重，对所有加密后的最后一层权重进行加权，得到加密的最后一层的全局权重。
一个或多个实施例提供了一种基于同态加密的去中心联合学习模型训练方法，应用于客户端，包括以下步骤：
接收服务器发送的公钥，基于本地训练数据训练局部分类模型，将第一层权重采用公钥进行加密，以其中任意一个为中转客户端，其他客户端均将加密后的第一层权重发送至所述中转客户端，继而经由所述中转客户端发送至服务器；
接收服务器发送的联邦模型的该层权重，对相应局部分类模型进行训练，将下一层权重采用公钥进行加密，并经由中转客户端发送至服务器；所述联邦模型的该层权重是服务器根据所述多个该层权重进行计算并采用私钥解密得到的。
一个或多个实施例提供了一种基于同态加密的去中心联合学习模型训练方法，应用于服务器，包括以下步骤：
(1)接收中转客户端发送的多个加密的第一层权重；
(2)根据多个加密的该层权重计算并解密得到联邦模型的该层权重，发送至各个客户端，用于客户端继续训练局部分类模型；重复步骤(1)-(2)，直至接收到多个加密的最后一层权重；
(3)根据多个加密的最后一层权重计算并解密得到联邦模型的最后一层权重，发送至各个客户端。
一个或多个实施例提供了一种联合学习模型训练系统。
以上一个或多个技术方案存在以下有益效果：
上述联合学习模型训练方法可以在不共享数据的情况下，经过传参实现数据的安全，隐私的保护，保密性增强，通信负担减小，传输效率提高。
提出了高效匹配平均方法，此方法将典型的联合学习细化，在局部模型上按层匹配训练，对同一层的权重进行置换匹配和加权平均，对最后一层的权重，根据每个客户端中数据点的类别比例进行加权平均，得到更新的全局模型，采用匹配平均方法对模型进行置换匹配，能够提高算法的收敛速度，从而进行高效地数据分类。
提出了一种去中心同态加密的方法，克服了对中心服务器的过分依赖，由于不同客户端的计算相对独立性，使其可以同时相互传递参数，从而节省了通讯时间成本，这样有效保证了传输的效率与安全性，保证了通信的稳定性，有效地保护了用户的隐私，提高了传输效率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一至三中的联合学习模型训练方法流程图；
图2为本发明实施例四至六中的去中心同态加密示意图；
图3为局部迭代次数-准确率趋势图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种联合学习模型训练方法，具体包括以下步骤：
步骤1：多个客户端分别进行局部分类模型的训练，并将第一层权重发送至服务器；
每个客户端都包括本地训练数据、测试数据和本地数据模型。设有C个客户端，可以是手机、电脑以及ipad等，在此不做限定。每个客户端的本地数据模型均有M层架构，这样我们可以计算每一个客户端每层的局部权重；本实施例中每个客户端仅将自己训练之后的局部模型的各一层权重上传至中心服务器。
本实施例以新闻文本分类为例，采用的各分类模型均基于LSTM(长短期记忆神经网络)模型进行训练。LSTM是一种特殊的循环神经网络，是带有循环的网络，允许信息持续存在，能够根据前者预测后者，LSTM能够移除或添加信息到结点来改变信息流状态，由称为门(gate)的结构精心调节。客户端会各自利用本地的数据和模型进行训练，微调局部权重矩阵。
步骤2：服务器对各局部分类模型的该层权重，依次进行置换匹配和加权平均，得到联邦模型相应层的权重，并返回至所述多个客户端；
由于数据的异质性，各局部分类模型上传至服务器的同层权重矩阵数据分布差异明显，本实施例通过将来自多个客户端的各权重矩阵进行置换匹配，使每个客户端的同层的权重矩阵具有相似的数据分布。具体地，每个客户端同层的每个权重矩阵内部进行置换匹配，将同一层中某一个权重矩阵作为标准，通过交换某行或某列，最终使每个客户端的同层的权重矩阵具有相似的数据分布，此处相似的数据分布指的是每个权重矩阵的行或列数据长短相似(例：第一行长，第二行短，第三行最长，那么其余的权重矩阵也是按照这个标准进行排列，长是因为0少，短是因为0多)。
从每一个客户端的第一层开始，当m<M时，根据以下公式置换匹配求解各层：
Figure BDA0003089696340000071
其中，BBP是贝塔-伯努利过程，MAP贝叶斯非参数模型的最大后验估计，贝叶斯非参数模型的大小可以随着模型内数据的增大或减小而自适应模型的变化。Πc是得到的每个客户端某层的权重矩阵。
BBP-MAP用于解决以下目标函数：
Figure BDA0003089696340000072
其中，
Figure BDA0003089696340000073
L指的是全局模型的大小，θi指的是全局模型中第i个神经元，Wjl是从数据集中学习到的第l个神经元；c(.,.)指的是两个神经元之间的相似度函数，即平方欧几里德距离。
作为一种具体的实现方式，可以采用同层的第一个客户端的权重矩阵去匹配同层的其他客户端的权重矩阵，使其他客户端的权重矩阵行列与第一个客户端的权重矩阵大体一致，当然也可以采用其他客户端，在此不做限定，只要满足所有层之间执行同一种匹配模式即可。
在进行了置换匹配之后，将各局部分类模型的该层权重进行加权平均，得到联邦模型相应层的权重，即该层的全局权重矩阵。
Figure BDA0003089696340000074
对模型进行置换匹配之后再进行加权平均，有利于提高算法的收敛速度。
每个客户端会将匹配平均之后的全局权重矩阵进行逆变换，使得更新的权重矩阵适应本客户端的数据分布，目的是将更新之后的权重矩阵变回和原来相同的数据分布。具体地，每个客户端对于得到的某一层全局权重矩阵，执行循环体语句：
Wc，m+1←ΠcWc，m+1
客户端继续对其数据集上的所有连续层进行训练，已得到权重矩阵的联邦模型的层处于冻结状态，用冻结的某层的权重矩阵训练原数据分布的权重矩阵。
步骤3：各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；重复步骤2-3，直至客户端得到最后一层权重发送至服务器；
步骤4：服务器以各个客户端本地数据中各类型文本所占比例与该客户端最后一层的权重乘积之和为权重，对各个客户端相应的最后一层权重进行加权，得到联邦模型的最后一层权重，并发送至各个客户端；至此，服务器将联邦模型的所有层对应的权重矩阵均分发至了各个客户端。
对于各个客户端将各个类型文本所占本地数据的比例进行累加，并以此为权重，对各个客户端的最后一层权重进行加权求和，得到联邦模型的最后一层权重的计算公式为：
Figure BDA0003089696340000081
其中，Pck是客户端c上带有标签k的数据点所占的比例，该比例数据可以直接由客户端将其发送至服务器。
步骤5：客户端利用本地的测试数据集进行测试，验证学习效果。
基于以上返回给客户端更新之后的模型，可以进行新闻的主题分类，每条新闻可以被很好的分类在相应的主题之下。
本实施例中，为了进一步提高数据安全性，还引入一种去中心的同态加密机制，对传输过程中的参数进行加密保护，排除了对中心服务器的依赖性，保证了通信的稳定性，而且有效地保护了数据隐私。
实施例二
在实施例一提出的方法基础上，本实施例提供了一种应用于客户端的联合学习模型训练方法，包括以下步骤：
步骤1：基于本地训练数据训练局部分类模型，并将第一层权重发送至服务器；
步骤2：接收服务器反馈的联邦模型的该层权重，其中，该层权重是根据来自多个客户端的局部分类模型的相应层权重得到的；
步骤3：基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；重复步骤2-3，直至接收到服务器发送的联邦模型的最后一层权重。
实施例三
在实施例一提出的方法基础上，本实施例提供了一种应用于服务器的联合学习模型训练方法，包括以下步骤：
接收多个客户端训练局部分类模型得到的各层权重；
根据来自多个客户端的每一层权重，得到联邦模型的该层权重，并发送至客户端，用于客户端继续训练局部分类模型。
其中，服务器得到联邦模型的各层权重的方法，具体参见实施例一。
实施例四
本实施例提供一种基于去中心同态加密的联合学习模型训练方法，去中心同态加密示意图如图2所示，服务器预先将公钥发送至客户端，所述方法包括以下步骤：
步骤1：多个客户端分别进行局部分类模型的训练，将第一层权重采用公钥进行加密，以其中任意一个为中转客户端，其他客户端均将加密后的第一层权重发送至所述中转客户端，继而经由所述中转客户端发送至服务器；
步骤2：所述服务器对所有加密后的该层权重，依次进行置换匹配和加权平均，再采用私钥解密，得到联邦模型相应层的权重，并返回至所述多个客户端；
其中，置换匹配和加权平均的具体过程参见实施例一。
步骤3：各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，将下一层权重采用公钥加密并发送至中转客户端；重复步骤2-3，直至各个客户端得到最后一层权重并加密，经由中转客户端发送至服务器；
步骤4：服务器以各个客户端本地数据中各类型文本所占比例与该客户端最后一层的权重乘积之和为权重，对所有加密后的最后一层权重进行加权，再采用私钥解密，得到联邦模型最后一层的权重，返回至所述多个客户端；至此，服务器将联邦模型的所有层对应的权重矩阵均分发至了各个客户端。
具体地，服务器具有公钥和私钥，首先将公钥发送给客户端。客户端本身训练各自的局部权重模型，本实施例为去中心化的模型构建方法，因为是去中心，所以客户端之间的加密参数可以进行互传，可汇聚到一个客户端，并因此将所有的加密参数上传至服务器，服务器进行所有加密参数的加权平均，之后利用私钥将加密之后的全局结果进行解密，然后分发给客户端。通过去中心的同态加密方法，客户端之间只共享加密后的权重参数，数据隐私得到很好的保护。
实施例五
基于实施例四提出的方法，本实施例提供了一种应用于客户端的联合学习模型训练方法，包括以下步骤：
步骤1：接收服务器发送的公钥，基于本地训练数据训练局部分类模型，将第一层权重采用公钥进行加密，以其中任意一个为中转客户端，其他客户端均将加密后的第一层权重发送至所述中转客户端，继而经由所述中转客户端发送至服务器；
步骤2：接收服务器发送的联邦模型的该层权重，对相应局部分类模型进行训练，将下一层权重采用公钥进行加密，并经由中转客户端发送至服务器；所述联邦模型的该层权重是服务器根据所述多个该层权重进行计算并采用私钥解密得到的；
重复步骤2，直至接收到服务器发送的联邦模型的最后一层权重。
实施例六
基于实施例四提出的方法，本实施例提供了一种应用于服务器的联合学习模型训练方法，包括以下步骤：
步骤1：接收中转客户端发送的多个加密的第一层权重；
步骤2：根据多个加密的第一层权重计算并解密得到联邦模型的该层权重，发送至各个客户端，用于客户端继续训练局部分类模型；重复步骤1-2，直至接收到多个加密的最后一层权重；
步骤3：根据多个加密的最后一层权重计算并解密得到联邦模型的最后一层权重，发送至各个客户端。
所述步骤2中，服务器根据加密的多个该层权重，依次进行置换匹配和加权平均，得到加密的联邦模型相应层的权重。其中，置换匹配和加权平均的具体过程参见实施例一。
实施例七
基于，本实施例分别提供了一种联合学习模型训练系统，包括实施例二所述的客户端和实施例三所述的服务器，或者实施例五所述的客户端和实施例六所述的服务器。
实验结果
针对实施例一的技术方案本申请采用20个新闻组数据集(the 20 newsgroupsdataset)进行效果实验，20个新闻组数据集是被用于文本分类、文本挖据和信息检索研究的国际标准数据集之一。这20个新闻组数据集有18000多篇新闻文章，一共涉及到20种话题，通常用来做文本分类，所以称作20个新闻组文本数据集，将该数据集分为两部分：训练集和测试集，均包括20个不同主题的新闻组集合。
客户端数为5，batch-size为5，通信轮数为30的前提下，在LSTM训练数据集，随着局部迭代次数E的增加，本实验中E＝{5,10,20,50,70,100}，在全局测试集上匹配模型的准确率大体呈递增趋势，个别点可能会因为网络等因素存在误差，表明局部迭代次数影响算法的性能，且高效的联合学习有一定的优势，能够有效地保护隐私，提高准确率。局部迭代次数-准确率如图3所示。可以看出，本申请所提出的分类方法比典型的联邦学习方法更高效。
以上一个或多个实施例中涉及的联合学习模型训练方法允许边缘设备协作学习共享模型，同时将培训数据保留在设备上，将进行模型培训的能力与将数据存储在云中的需求分离开来，从而有效地保护了用户数据隐私。进而减小了通信负担，提高了传输效率。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种联合学习模型训练方法，其特征在于，包括以下步骤：
(1)多个客户端分别进行局部分类模型的训练，并将第一层权重发送至服务器；
(2)服务器根据各局部分类模型的该层权重，得到联邦模型相应层的权重，并返回至所述多个客户端；
(3)各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；重复步骤(2)-(3)，直至客户端得到最后一层权重发送至服务器；
(4)服务器根据各局部分类模型的最后一层权重，得到联邦模型的最后一层权重，发送至所述多个客户端。
2.如权利要求1所述的一种联合学习模型训练方法，其特征在于，所述步骤(2)中，服务器对各局部分类模型的该层权重，依次进行置换匹配和加权平均，得到联邦模型相应层的权重；
其中，所述置换匹配包括：以同层的任意一个权重矩阵为标准，通过交换某行或某列，使得同层的这些权重矩阵具有相似的数据分布。
3.如权利要求1所述的一种联合学习模型训练方法，其特征在于，所述步骤(4)中，以各个客户端本地的数据中各类型文本所占比例与该客户端最后一层的权重乘积之和为权重，对各个客户端相应的最后一层权重进行加权，得到联邦模型的最后一层权重。
4.一种联合学习模型训练方法，应用于客户端，其特征在于，包括：
(1)基于本地训练数据训练局部分类模型，并将第一层权重发送至服务器；
(2)接收服务器反馈的联邦模型的该层权重，其中，该层权重是根据来自多个客户端的局部分类模型的相应层权重得到的；
(3)基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；
重复步骤(2)-(3)，直至接收到服务器发送的联邦模型的最后一层权重。
5.一种联合学习模型训练方法，应用于服务器，其特征在于，包括：
接收多个客户端训练局部分类模型得到的各层权重；
根据来自多个客户端的每一层权重，得到联邦模型的该层权重，并发送至客户端，用于客户端继续训练局部分类模型。
6.一种基于同态加密的去中心联合学习模型训练方法，其特征在于，服务器预先存储公钥和私钥，并将公钥发送至多个客户端，所述方法包括以下步骤：
(1)多个客户端分别进行局部分类模型的训练，将第一层权重采用公钥进行加密，以其中任意一个为中转客户端，其他客户端均将加密后的第一层权重发送至所述中转客户端，继而经由所述中转客户端发送至服务器；
(2)所述服务器根据所有加密后的该层权重，得到加密的联邦模型相应层的权重，解密后返回至所述多个客户端；
(3)各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，将下一层权重采用公钥加密并发送至中转客户端；重复步骤(2)-(3)，直至各个客户端得到最后一层权重并加密，经由中转客户端发送至服务器；
(4)服务器根据多个加密的最后一层权重，得到加密的联邦模型最后一层的权重，解密后返回至所述多个客户端。
7.如权利要求6所述的一种基于同态加密的去中心联合学习模型训练方法，其特征在于，所述步骤(2)中，各个服务器对所有加密后的该层权重，依次进行置换匹配和加权平均，得到加密的联邦模型相应层的权重。
其中，所述置换匹配包括：以同层的任意一个权重矩阵为标准，通过交换某行或某列，使得同层的这些权重矩阵具有相似的数据分布。
8.一种基于同态加密的去中心联合学习模型训练方法，应用于客户端，其特征在于，包括以下步骤：
接收服务器发送的公钥，基于本地训练数据训练局部分类模型，将第一层权重采用公钥进行加密，以其中任意一个为中转客户端，其他客户端均将加密后的第一层权重发送至所述中转客户端，继而经由所述中转客户端发送至服务器；
接收服务器发送的联邦模型的该层权重，对相应局部分类模型进行训练，将下一层权重采用公钥进行加密，并经由中转客户端发送至服务器；所述联邦模型的该层权重是服务器根据所述多个该层权重进行计算并采用私钥解密得到的。
9.一种基于同态加密的去中心联合学习模型训练方法，应用于服务器，其特征在于，包括以下步骤：
(1)接收中转客户端发送的多个加密的第一层权重；
(2)根据多个加密的该层权重计算并解密得到联邦模型的该层权重，发送至各个客户端，用于客户端继续训练局部分类模型；重复步骤(1)-(2)，直至接收到多个加密的最后一层权重；
(3)根据多个加密的最后一层权重计算并解密得到联邦模型的最后一层权重，发送至各个客户端。
10.一种联合学习模型训练系统，其特征在于，包括如权利要求4所述客户端和如权利要求5所述服务器；或，包括如权利要求8所述客户端和如权利要求9所述服务器。
CN202110592297.5A 2021-05-28 2021-05-28 一种联合学习模型训练方法及系统 Active CN113326947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110592297.5A CN113326947B (zh) 2021-05-28 2021-05-28 一种联合学习模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110592297.5A CN113326947B (zh) 2021-05-28 2021-05-28 一种联合学习模型训练方法及系统

Publications (2)

Publication Number Publication Date
CN113326947A true CN113326947A (zh) 2021-08-31
CN113326947B CN113326947B (zh) 2023-06-16

Family

ID=77422202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110592297.5A Active CN113326947B (zh) 2021-05-28 2021-05-28 一种联合学习模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN113326947B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219094A (zh) * 2021-11-10 2022-03-22 华南理工大学 基于多任务联邦学习的通信成本和模型鲁棒性优化方法
CN114399031A (zh) * 2022-01-18 2022-04-26 中国石油大学(华东) 一种基于联邦学习的智能工厂温湿度控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110572253A (zh) * 2019-09-16 2019-12-13 济南大学 一种联邦学习训练数据隐私性增强方法及系统
CN111212110A (zh) * 2019-12-13 2020-05-29 清华大学深圳国际研究生院 一种基于区块链的联邦学习系统及方法
CN111600707A (zh) * 2020-05-15 2020-08-28 华南师范大学 一种在隐私保护下的去中心化联邦机器学习方法
CN112188495A (zh) * 2020-09-01 2021-01-05 大连理工大学 超密集网络下基于联邦学习的缓存污染攻击检测方法
US20210042645A1 (en) * 2019-08-06 2021-02-11 doc.ai, Inc. Tensor Exchange for Federated Cloud Learning
CN112464269A (zh) * 2020-12-14 2021-03-09 德清阿尔法创新研究院 一种联邦学习场景中的数据选择方法
WO2021064737A1 (en) * 2019-10-04 2021-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Federated learning using heterogeneous model types and architectures

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
US20210042645A1 (en) * 2019-08-06 2021-02-11 doc.ai, Inc. Tensor Exchange for Federated Cloud Learning
CN110572253A (zh) * 2019-09-16 2019-12-13 济南大学 一种联邦学习训练数据隐私性增强方法及系统
WO2021064737A1 (en) * 2019-10-04 2021-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Federated learning using heterogeneous model types and architectures
CN111212110A (zh) * 2019-12-13 2020-05-29 清华大学深圳国际研究生院 一种基于区块链的联邦学习系统及方法
CN111600707A (zh) * 2020-05-15 2020-08-28 华南师范大学 一种在隐私保护下的去中心化联邦机器学习方法
CN112188495A (zh) * 2020-09-01 2021-01-05 大连理工大学 超密集网络下基于联邦学习的缓存污染攻击检测方法
CN112464269A (zh) * 2020-12-14 2021-03-09 德清阿尔法创新研究院 一种联邦学习场景中的数据选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG H, ET AL.: "Federated learning with matched averaging", 《ARXIV PREPRINT ARXIV》 *
ZHANG C,ET AL.: "BatchCrypt: Efficient Homomorphic Encryption for Cross-Silo Federated Learning", 《2020 USENIX ANNUAL TECHNICAL CONFERENCE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219094A (zh) * 2021-11-10 2022-03-22 华南理工大学 基于多任务联邦学习的通信成本和模型鲁棒性优化方法
CN114219094B (zh) * 2021-11-10 2024-03-19 华南理工大学 基于多任务联邦学习的通信成本和模型鲁棒性优化方法
CN114399031A (zh) * 2022-01-18 2022-04-26 中国石油大学(华东) 一种基于联邦学习的智能工厂温湿度控制方法

Also Published As

Publication number Publication date
CN113326947B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
Xu et al. Privacy-preserving federated deep learning with irregular users
CN112149160A (zh) 基于同态伪随机数的联邦学习隐私保护方法及系统
CN113420232B (zh) 一种面向隐私保护的图神经网络联邦推荐方法
CN114254386B (zh) 基于层次聚合和区块链的联邦学习隐私保护系统及方法
CN113128701A (zh) 面向样本稀疏性的联邦学习方法及系统
CN108521326A (zh) 一种基于向量同态加密的隐私保护的线性svm模型训练算法
WO2003021849A2 (en) A non-algebraic cryptographic architecture
CN115549888A (zh) 一种基于区块链与同态加密的联邦学习隐私保护方法
CN113326947A (zh) 一种联合学习模型训练方法及系统
CN110209994B (zh) 基于同态加密的矩阵分解推荐方法
CN115310121B (zh) 车联网中基于MePC-F模型的实时强化联邦学习数据隐私安全方法
CN113435592A (zh) 一种隐私保护的神经网络多方协作无损训练方法及系统
CN111581648B (zh) 在不规则用户中保留隐私的联邦学习的方法
CN111291411B (zh) 基于卷积神经网络的安全视频异常检测系统及方法
CN117395067B (zh) 面向拜占庭鲁棒联邦学习的用户数据隐私保护系统及方法
CN116681141A (zh) 隐私保护的联邦学习方法、终端及存储介质
Sami et al. Secure aggregation for clustered federated learning
CN114862416B (zh) 一种联邦学习环境下的跨平台信用评价方法
Zhou et al. A survey of security aggregation
CN111581663B (zh) 面向非规则用户的保护隐私的联邦深度学习方法
Wu et al. Efficient privacy-preserving federated learning for resource-constrained edge devices
CN114547684A (zh) 一种保护隐私数据的多方联合训练树模型的方法及装置
CN113407860A (zh) 一种基于隐私保护的多社交平台用户推荐方法和系统
Chen et al. Crowdlearning: Crowded deep learning with data privacy
Du et al. A Lightweight Homomorphic Encryption Federated Learning Based on Blockchain in IoV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant