CN112446040A - 基于选择性梯度更新的联邦建模方法及相关设备 - Google Patents

基于选择性梯度更新的联邦建模方法及相关设备 Download PDF

Info

Publication number
CN112446040A
CN112446040A CN202011327560.XA CN202011327560A CN112446040A CN 112446040 A CN112446040 A CN 112446040A CN 202011327560 A CN202011327560 A CN 202011327560A CN 112446040 A CN112446040 A CN 112446040A
Authority
CN
China
Prior art keywords
gradient
component
local model
uploading
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011327560.XA
Other languages
English (en)
Inventor
李泽远
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011327560.XA priority Critical patent/CN112446040A/zh
Publication of CN112446040A publication Critical patent/CN112446040A/zh
Priority to PCT/CN2021/096651 priority patent/WO2022110720A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

本发明公开了基于选择性梯度更新的联邦建模方法及相关设备，涉及人工智能技术领域，可应用于智慧医院系统中，方法包括：各客户端从服务器端读取机器学习模型的全局模型梯度；各所述客户端对所述全局模型梯度进行初始化；各所述客户端根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；各所述客户端将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。本发明实现了对医疗数据的隐私保护。

Description

基于选择性梯度更新的联邦建模方法及相关设备
技术领域
本发明涉及人工智能技术领域，特别涉及基于选择性梯度更新的联邦建模方法及相关设备。
背景技术
医疗数据因其敏感性和重要性，而有别于一般行业的数据，法律也对医疗数据的隐私权制定了极为严格的保护机制。医疗数据包括病历信息、医疗保险信息、健康日志、基因遗传、医学实验、科研数据等，其中个人的病历信息、医疗保险信息等医疗数据关系到个人的隐私安全，医疗实验数据、科研数据等则关系到医疗行业发展，甚至关系到国家安全。所以将各个医院之间的数据进行分享，然后集中训练来提高各类疾病预测模型准确性的方式并不可行。
然而使用深度卷积神经网络训练模型通常需要大量不同的训练样本集，现有技术已实现基于联邦学习来打破医院之间的数据壁垒，数据不出医院，只需要上传加密的本地模型梯度，就可以进行联合模型训练来提升模型性能，虽然联邦学习可以在隐私方面提高了安全性，但它仍然有训练数据泄漏的可能，例如可以通过模型逆推来重建单个训练模型。
发明内容
本发明的目的是提供基于选择性梯度更新的联邦建模方法及相关设备，旨在解决现有基于医疗数据进行联邦建模的方法仍存在隐私容易泄露的问题。
第一方面，本发明实施例提供一种基于选择性梯度更新的联邦建模方法，其中，包括：
各客户端从服务器端读取机器学习模型的全局模型梯度；
各所述客户端对所述全局模型梯度进行初始化；
各所述客户端根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；所述样本数据为医疗数据；
各所述客户端将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。
第二方面，本发明实施例提供一种基于选择性梯度更新的联邦建模装置，其中，包括：
读取单元，用于从服务器端读取机器学习模型的全局模型梯度；
初始化单元，用于对所述全局模型梯度进行初始化；
训练单元，用于根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；所述样本数据为医疗数据；
加密上传单元，用于将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如第一方面所述的基于选择性梯度更新的联邦建模方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如第一方面所述的基于选择性梯度更新的联邦建模方法。
本发明实施例提供了基于选择性梯度更新的联邦建模方法及相关设备，方法包括：各客户端从服务器端读取机器学习模型的全局模型梯度；各所述客户端对所述全局模型梯度进行初始化；各所述客户端根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；各所述客户端将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。本发明实施例应用选择性梯度更新技术来保护医疗数据，更有效的保护患者与医院的数据安全。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于选择性梯度更新的联邦建模方法的流程示意图；
图2为本发明实施例提供的基于选择性梯度更新的联邦建模方法的子流程示意图；
图3为本发明实施例提供的基于选择性梯度更新的联邦建模方法的另一子流程示意图；
图4为本发明实施例提供的基于选择性梯度更新的联邦建模方法的另一子流程示意图；
图5为本发明实施例提供的基于选择性梯度更新的联邦建模装置的示意性框图；
图6为本发明实施例提供的基于选择性梯度更新的联邦建模装置的子单元示意性框图；
图7为本发明实施例提供的基于选择性梯度更新的联邦建模装置的另一子单元示意性框图；
图8为本发明实施例提供的基于选择性梯度更新的联邦建模装置的另一子单元示意性框图；
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的一种基于选择性梯度更新的联邦建模方法的流程示意图，其包括步骤S101～S104：
S101、各客户端从服务器端读取机器学习模型的全局模型梯度；
本发明实施例中的客户端可以是指本地医院端，各本地医院端之间在加密前提下进行联合建模，提高整体建模效果。
每一客户端都有一个固定的本地数据集和合适的计算资源来运行小批量SGD(随机梯度下降法)更新。各客户端从服务器端共享得到相同的机器学习模型神经网络结构和损失函数。
在联合训练t轮次迭代过程中，各客户端从服务器端读取机器学习模型的全局模型梯度W(t)。
S102、各所述客户端对所述全局模型梯度进行初始化；
此步骤中，各客户端对全局模型梯度W(t)进行初始化，也即初始化为本地模型梯度W(0,t)。
S103、各所述客户端根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；所述样本数据为医疗数据；
此步骤中，各客户端根据各自的样本数据在本地执行模型训练，通过运行多次随机梯度下降法(SGD)将所述本地模型梯度W(0,t)更新为本地模型梯度W(l,t)，其中，l指损失函数，后续可将更新后的本地模型梯度表示为ΔW(t)。
本发明实施例中的样本数据即本地数据集，其包含病历信息、医疗保险信息、健康日志、基因遗传、医学实验、科研数据等。
S104、各所述客户端将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。
在此步骤中，每一轮本地模型训练之后，均将本地模型梯度ΔW(t)加密上传。由于在上述本地模型训练过程中，模型逆向攻击可以从更新的本地模型梯度ΔW(t)或者联合训练中的全局模型梯度W(t)中提取出一些病人隐私信息。所以，本发明实施例采用一种选择性梯度更新的方法进行梯度的选择更新，通过限制本地医院端上传的梯度，对模型训练过程中发生的间接性数据泄漏的情况提供强大保护。
具体的，本发明实施例可以采用两种方式来实现选择性梯度更新，一种是将本地模型梯度的分量进行加密上传，另一种是将本地模型梯度裁剪至预设范围内再进行加密上传。服务器端接收到各客户端上传的本地模型梯度或其分量后，即可进行聚合，本发明实施例中可采用FedAvg算法对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合。然后根据聚合得到的平均梯度来对机器学习模型进行更新。下面分别对这两种方式进行具体说明。
在一实施例中，如图2所示，所述将各自的本地模型梯度的分量进行加密并上传，包括步骤S201～S203：
S201、从所述本地模型梯度中随机选择一分量；
S202、将随机选择的所述分量的绝对值与预设阈值进行比较；
S203、若所述分量的绝对值大于所述预设阈值，则将所述分量进行加密并上传。
本实施例中，是先从本地模型梯度ΔW(t)中随机选择一分量Wi，然后将随机选择到的该分量Wi的绝对值abs(Wi)与预设阈值
Figure BDA0002794719440000051
进行比较，如果该分量的绝对值大于预设阈值，则表明该分量具有足够的代表性，即可以代表对应客户端在本轮本地训练的梯度，所以可将该分量进行加密上传。
在一实施例中，所述步骤S201之前，还包括：
计算所述本地模型梯度的绝对值，并根据所述本地模型梯度的绝对值的百分位数确定所述预设阈值。
本实施例中，τ(t)是由本地模型梯度ΔW(t)的绝对值的百分位数确定，所以先计算出所述本地模型梯度ΔW(t)的绝对值abs(ΔW(t))，然后获取该绝对值abs(ΔW(t))的百分位数，再根据所述百分位数来确定所述预设阈值。百分位数是用于数据的描述性分析，其是指一个位置指标，用于衡量数据的位置的量度，给出了数据在最小值和最大值之间的分布信息。对于某组数据，首先将该组数据从小到大排序，并计算相应的累计百分位，则某一百分位所对应数据的值就称为这一百分位的百分位数。简言之，将一组含有n个值的数据，按数值从小到大排列，将处于p％位置的值称第p百分位数。所以本发明实施例可以获取每一客户端的本地模型梯度的绝对值在所有客户端的本地模型梯度的绝对值的百分位数，从而确定每一客户端的预设阈值。
在一实施例中，所述步骤S203包括：
在所述分量的绝对值中加入噪声，然后进行上传。
本步骤中，加密的方式是在分量的绝对值中加入噪声，然后进行上传。这样，梯度信息不易被破解，从而进一步保护医疗数据，以免外泄。
在一实施例中，如图3所示，所述在所述分量的绝对值中加入噪声，然后进行上传，包括步骤S301～S303：
S301、将所述分量的绝对值与噪声阈值进行比较；
S302、若所述分量的绝对值小于所述噪声阈值，则在所述分量中增加噪声；
S303、将增加噪声后的分量裁剪至分量阈值范围内，并进行上传。
本实施例中，先将所述分量的绝对值与噪声阈值进行比较，如果该分量的绝对值小于噪声阈值，则代表可以在所述分量中添加噪声，然后将增加噪声后的分量裁剪到分量阈值范围内，再进行上传。
在一实施例中，所述步骤S303包括：
按下式将所述增加噪声后的分量Wi裁剪至分量阈值范围内，并进行上传：
Figure BDA0002794719440000061
Lap(x)表示从梯度x的拉普拉斯分布中采样的随机变量；ε2表示噪声阈值的隐私预算；clip(x，γ)表示梯度x的剪裁梯度域范围是[-γ，γ]；s表示由γ界定的梯度敏感度，q表示计算出的分享梯度数量。
其中，所述的噪声阈值可以是
Figure BDA0002794719440000062
即在预设阈值的基础上加上梯度
Figure BDA0002794719440000063
的拉普拉斯分布中采样的随机变量。
在一实施例中，如图4所示，所述将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，包括步骤S401～S403：
S401、获取所述本地模型梯度中超过上限阈值的部分和低于下限阈值的部分；
S402、将所述超过上限阈值的部分替换为上限阈值，以及将低于下限阈值的部分替换为下限阈值；
S403、将替换后的上限阈值、下限阈值以及未替换的部分组合为新的本地模型梯度，并进行加密并上传。
本实施例是将本地模型梯度进行裁剪，从而使其处于预设范围内。具体的，可以先获取本地模型梯度中超过上限阈值的部分和低于下限阈值的部分，然后将超过上限阈值的部分替换为上限阈值，将低于下限阈值的部分替换为下限阈值，从而实现将本地模型梯度映射至预设范围内，然后将替换后的上限阈值、下限阈值以及未替换的部分组合为新的本地模型梯度，然后进行加密上传。其中未替换的部分也就是原本就处于预设范围内的部分。其中的组合即指按照原有的本地模型梯度的结构进行组合，从而使本地模型梯度能够反映出真实情况。
对于这种裁剪方式，同样可以采用前述加密的原理进行加密，即在新的本地模型梯度中加入噪声，然后进行加密上传。
请参阅图5，其为本发明实施例提供的一种基于选择性梯度更新的联邦建模装置的示意性框图，该基于选择性梯度更新的联邦建模装置500包括：
读取单元501，用于从服务器端读取机器学习模型的全局模型梯度；
初始化单元502，用于对所述全局模型梯度进行初始化；
训练单元503，用于根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；所述样本数据为医疗数据；
加密上传单元504，用于将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。
在一实施例中，如图6所示，所述加密上传单元504包括：
随机选择单元601，用于从所述本地模型梯度中随机选择一分量；
分量比较单元602，用于将随机选择的所述分量的绝对值与预设阈值进行比较；
上传单元603，用于若所述分量的绝对值大于所述预设阈值，则将所述分量进行加密并上传。
在一实施例中，所述加密上传单元504还包括：
预设阈值确定单元，用于计算所述本地模型梯度的绝对值，并根据所述本地模型梯度的绝对值的百分位数确定所述预设阈值。
在一实施例中，所述上传单元603包括：
噪声添加单元，用于在所述分量的绝对值中加入噪声，然后进行上传。
在一实施例中，如图7所示，所述噪声添加单元包括：
噪声比较单元701，用于将所述分量的绝对值与噪声阈值进行比较；
噪声设置单元702，用于若所述分量的绝对值小于所述噪声阈值，则在所述分量中增加噪声；
分量裁剪单元703，用于将增加噪声后的分量裁剪至分量阈值范围内，并进行上传。
在一实施例中，所述分量裁剪单元包括：
裁剪子单元，用于按下式将所述增加噪声后的分量Wi裁剪至分量阈值范围内，并进行上传：
Figure BDA0002794719440000081
Lap(x)表示从梯度x的拉普拉斯分布中采样的随机变量；ε2表示噪声阈值的隐私预算；clip(x，γ)表示梯度x的剪裁梯度域范围是[-γ，γ]；s表示由γ界定的梯度敏感度，q表示计算出的分享梯度数量。
在一实施例中，如图8所示，所述加密上传单元504还包括：
获取单元801，用于获取所述本地模型梯度中超过上限阈值的部分和低于下限阈值的部分；
替换单元802，用于将所述超过上限阈值的部分替换为上限阈值，以及将低于下限阈值的部分替换为下限阈值；
组合单元803，用于将替换后的上限阈值、下限阈值以及未替换的部分组合为新的本地模型梯度，并进行加密并上传。
本发明实施例的装置，应用选择性梯度更新技术来保护医疗数据，更有效的保护患者与医院的数据安全。
上述基于选择性梯度更新的联邦建模装置500可以实现为计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本发明实施例提供的计算机设备的示意性框图。该计算机设备900是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图9，该计算机设备900包括通过系统总线901连接的处理器902、存储器和网络接口905，其中，存储器可以包括非易失性存储介质903和内存储器904。
该非易失性存储介质903可存储操作系统9031和计算机程序9032。该计算机程序9032被执行时，可使得处理器902执行基于选择性梯度更新的联邦建模方法。
该处理器902用于提供计算和控制能力，支撑整个计算机设备900的运行。
该内存储器904为非易失性存储介质903中的计算机程序9032的运行提供环境，该计算机程序9032被处理器902执行时，可使得处理器902执行基于选择性梯度更新的联邦建模方法。
该网络接口905用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备900的限定，具体的计算机设备900可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器902用于运行存储在存储器中的计算机程序9032，以实现如下功能：各客户端从服务器端读取机器学习模型的全局模型梯度；各所述客户端对所述全局模型梯度进行初始化；各所述客户端根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；各所述客户端将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。
在一实施例中，处理器902在执行所述将各自的本地模型梯度的分量进行加密并上传的步骤时，执行如下操作：从所述本地模型梯度中随机选择一分量；将随机选择的所述分量的绝对值与预设阈值进行比较；若所述分量的绝对值大于所述预设阈值，则将所述分量进行加密并上传。
在一实施例中，处理器902在执行所述从所述本地模型梯度中随机选择一分量的步骤之前，执行如下操作：计算所述本地模型梯度的绝对值，并根据所述本地模型梯度的绝对值的百分位数确定所述预设阈值。
在一实施例中，处理器902在执行所述若所述分量的绝对值大于所述预设阈值，则将所述分量进行加密并上传的步骤时，执行如下操作：在所述分量的绝对值中加入噪声，然后进行上传。
在一实施例中，处理器902在执行所述在所述分量的绝对值中加入噪声，然后进行上传的步骤时，执行如下操作：将所述分量的绝对值与噪声阈值进行比较；若所述分量的绝对值小于所述噪声阈值，则在所述分量中增加噪声；将增加噪声后的分量裁剪至分量阈值范围内，并进行上传。
在一实施例中，处理器902在执行所述将增加噪声后的分量裁剪至分量阈值范围内，并进行上传的步骤时，执行如下操作：按下式将所述增加噪声后的分量Wi裁剪至分量阈值范围内，并进行上传：
Figure BDA0002794719440000101
Lap(x)表示从梯度x的拉普拉斯分布中采样的随机变量；ε2表示噪声阈值的隐私预算；clip(x,γ)表示梯度x的剪裁梯度域范围是[-γ,γ]；s表示由γ界定的梯度敏感度，q表示计算出的分享梯度数量。
在一实施例中，处理器902在执行所述将各自的本地模型梯度裁剪至预设范围内再进行加密并上传的步骤时，执行如下操作：获取所述本地模型梯度中超过上限阈值的部分和低于下限阈值的部分；将所述超过上限阈值的部分替换为上限阈值，以及将低于下限阈值的部分替换为下限阈值；将替换后的上限阈值、下限阈值以及未替换的部分组合为新的本地模型梯度，并进行加密并上传。
本领域技术人员可以理解，图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器902可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器902还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：各客户端从服务器端读取机器学习模型的全局模型梯度；各所述客户端对所述全局模型梯度进行初始化；各所述客户端根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；各所述客户端将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于选择性梯度更新的联邦建模方法，其特征在于，包括：
各客户端从服务器端读取机器学习模型的全局模型梯度；
各所述客户端对所述全局模型梯度进行初始化；
各所述客户端根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；所述样本数据为医疗数据；
各所述客户端将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。
2.根据权利要求1所述的基于选择性梯度更新的联邦建模方法，其特征在于，所述将各自的本地模型梯度的分量进行加密并上传，包括：
从所述本地模型梯度中随机选择一分量；
将随机选择的所述分量的绝对值与预设阈值进行比较；
若所述分量的绝对值大于所述预设阈值，则将所述分量进行加密并上传。
3.根据权利要求2所述的基于选择性梯度更新的联邦建模方法，其特征在于，所述从所述本地模型梯度中随机选择一分量之前，还包括：
计算所述本地模型梯度的绝对值，并根据所述本地模型梯度的绝对值的百分位数确定所述预设阈值。
4.根据权利要求2所述的基于选择性梯度更新的联邦建模方法，其特征在于，所述若所述分量的绝对值大于所述预设阈值，则将所述分量进行加密并上传，包括：
在所述分量的绝对值中加入噪声，然后进行上传。
5.根据权利要求4所述的基于选择性梯度更新的联邦建模方法，其特征在于，所述在所述分量的绝对值中加入噪声，然后进行上传，包括：
将所述分量的绝对值与噪声阈值进行比较；
若所述分量的绝对值小于所述噪声阈值，则在所述分量中增加噪声；
将增加噪声后的分量裁剪至分量阈值范围内，并进行上传。
6.根据权利要求5所述的基于选择性梯度更新的联邦建模方法，其特征在于，所述将增加噪声后的分量裁剪至分量阈值范围内，并进行上传，包括：
按下式将所述增加噪声后的分量Wi裁剪至分量阈值范围内，并进行上传：
Figure FDA0002794719430000021
Lap(x)表示从梯度x的拉普拉斯分布中采样的随机变量；ε2表示噪声阈值的隐私预算；clip(x，γ)表示梯度x的剪裁梯度域范围是[-γ，γ]；s表示由γ界定的梯度敏感度，q表示计算出的分享梯度数量。
7.根据权利要求1所述的基于选择性梯度更新的联邦建模方法，其特征在于，所述将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，包括：
获取所述本地模型梯度中超过上限阈值的部分和低于下限阈值的部分；
将所述超过上限阈值的部分替换为上限阈值，以及将低于下限阈值的部分替换为下限阈值；
将替换后的上限阈值、下限阈值以及未替换的部分组合为新的本地模型梯度，并进行加密并上传。
8.一种基于选择性梯度更新的联邦建模装置，其特征在于，包括：
读取单元，用于从服务器端读取机器学习模型的全局模型梯度；
初始化单元，用于对所述全局模型梯度进行初始化；
训练单元，用于根据各自的样本数据在本地并行执行模型训练，得到各所述客户端对应的本地模型梯度；所述样本数据为医疗数据；
加密上传单元，用于将各自的本地模型梯度的分量进行加密并上传，或者将各自的本地模型梯度裁剪至预设范围内再进行加密并上传，使服务器端对各客户端上传的本地模型梯度的分量或者裁剪后的本地模型梯度进行聚合，并根据聚合得到的平均梯度对所述机器学习模型进行更新。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于选择性梯度更新的联邦建模方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于选择性梯度更新的联邦建模方法。
CN202011327560.XA 2020-11-24 2020-11-24 基于选择性梯度更新的联邦建模方法及相关设备 Pending CN112446040A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011327560.XA CN112446040A (zh) 2020-11-24 2020-11-24 基于选择性梯度更新的联邦建模方法及相关设备
PCT/CN2021/096651 WO2022110720A1 (zh) 2020-11-24 2021-05-28 基于选择性梯度更新的联邦建模方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011327560.XA CN112446040A (zh) 2020-11-24 2020-11-24 基于选择性梯度更新的联邦建模方法及相关设备

Publications (1)

Publication Number Publication Date
CN112446040A true CN112446040A (zh) 2021-03-05

Family

ID=74737861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011327560.XA Pending CN112446040A (zh) 2020-11-24 2020-11-24 基于选择性梯度更新的联邦建模方法及相关设备

Country Status (2)

Country Link
CN (1) CN112446040A (zh)
WO (1) WO2022110720A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095510A (zh) * 2021-04-14 2021-07-09 深圳前海微众银行股份有限公司 一种基于区块链的联邦学习方法及装置
CN113762526A (zh) * 2021-09-07 2021-12-07 京东科技信息技术有限公司 联邦学习的方法及分层网络系统、存储介质、电子设备
CN114282692A (zh) * 2022-03-08 2022-04-05 富算科技(上海)有限公司 一种纵向联邦学习的模型训练方法及系统
WO2022110720A1 (zh) * 2020-11-24 2022-06-02 平安科技（深圳）有限公司 基于选择性梯度更新的联邦建模方法及相关设备
CN115081024A (zh) * 2022-08-16 2022-09-20 杭州金智塔科技有限公司 基于隐私保护的去中心化业务模型训练方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018019B (zh) * 2022-08-05 2022-11-01 深圳前海环融联易信息科技服务有限公司 基于联邦学习的模型训练方法及系统、存储介质
CN115439026B (zh) 2022-11-08 2023-03-24 山东大学 基于嵌套联邦学习的多智能体自组织需求响应方法及系统
CN116090017B (zh) * 2023-04-12 2023-07-25 东南大学 一种基于Paillier的联邦学习数据隐私保护方法
CN116451275B (zh) * 2023-06-15 2023-08-22 北京电子科技学院 一种基于联邦学习的隐私保护方法及计算设备
CN116578674B (zh) * 2023-07-07 2023-10-31 北京邮电大学 联邦变分自编码主题模型训练方法、主题预测方法及装置
CN117094410B (zh) * 2023-07-10 2024-02-13 西安电子科技大学 一种面向投毒受损联邦学习的模型修复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795477A (zh) * 2019-09-20 2020-02-14 平安科技（深圳）有限公司 数据的训练方法及装置、系统
CN111539769A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练方法及装置
CN111652863A (zh) * 2020-05-27 2020-09-11 刘君茹 一种医学影像检测方法、装置、设备和存储介质
CN111932646A (zh) * 2020-07-16 2020-11-13 电子科技大学 一种用于对抗攻击的图像处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536437B2 (en) * 2017-01-31 2020-01-14 Hewlett Packard Enterprise Development Lp Performing privacy-preserving multi-party analytics on vertically partitioned local data
CN111180061B (zh) * 2019-12-09 2023-05-02 广东工业大学 融合区块链与联邦学习的共享医疗数据智能辅助诊断系统
CN112446040A (zh) * 2020-11-24 2021-03-05 平安科技（深圳）有限公司 基于选择性梯度更新的联邦建模方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795477A (zh) * 2019-09-20 2020-02-14 平安科技（深圳）有限公司 数据的训练方法及装置、系统
CN111539769A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练方法及装置
CN111652863A (zh) * 2020-05-27 2020-09-11 刘君茹 一种医学影像检测方法、装置、设备和存储介质
CN111932646A (zh) * 2020-07-16 2020-11-13 电子科技大学 一种用于对抗攻击的图像处理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110720A1 (zh) * 2020-11-24 2022-06-02 平安科技（深圳）有限公司 基于选择性梯度更新的联邦建模方法及相关设备
CN113095510A (zh) * 2021-04-14 2021-07-09 深圳前海微众银行股份有限公司 一种基于区块链的联邦学习方法及装置
CN113095510B (zh) * 2021-04-14 2024-03-01 深圳前海微众银行股份有限公司 一种基于区块链的联邦学习方法及装置
CN113762526A (zh) * 2021-09-07 2021-12-07 京东科技信息技术有限公司 联邦学习的方法及分层网络系统、存储介质、电子设备
CN113762526B (zh) * 2021-09-07 2024-02-09 京东科技信息技术有限公司 联邦学习的方法及分层网络系统、存储介质、电子设备
CN114282692A (zh) * 2022-03-08 2022-04-05 富算科技(上海)有限公司 一种纵向联邦学习的模型训练方法及系统
CN115081024A (zh) * 2022-08-16 2022-09-20 杭州金智塔科技有限公司 基于隐私保护的去中心化业务模型训练方法及装置

Also Published As

Publication number Publication date
WO2022110720A1 (zh) 2022-06-02

Similar Documents

Publication Publication Date Title
CN112446040A (zh) 基于选择性梯度更新的联邦建模方法及相关设备
US11853169B2 (en) Backup and tiered policy coordination in time series databases
US11341281B2 (en) Providing differential privacy in an untrusted environment
US20180205707A1 (en) Computing a global sum that preserves privacy of parties in a multi-party environment
CN107832062B (zh) 一种程序更新方法及终端设备
WO2018188533A1 (zh) 用于健康评估的健康模型构建方法、终端及存储介质
CN111652863A (zh) 一种医学影像检测方法、装置、设备和存储介质
CN112383554B (zh) 接口流量异常检测方法、装置、终端设备及存储介质
WO2019121271A1 (en) A computer-implemented method of applying a first function to each data element in a data set, and a worker node for implementing the same
US20150261959A1 (en) Privacy measurement and quantification
CN112529767B (zh) 图像数据处理方法、装置、计算机设备和存储介质
JP2017228255A (ja) 評価装置、評価方法及びプログラム
JP2019028656A (ja) 情報処理装置、システムおよび情報処理方法
CN107194278B (zh) 一种基于Skyline的数据泛化方法
Wang et al. Improving sandwich variance estimation for marginal Cox analysis of cluster randomized trials
US20170177767A1 (en) Configuration of large scale advection diffusion models with predetermined rules
Zhao et al. Maximum likelihood estimation for stochastic Lotka–Volterra model with jumps
CN107592217A (zh) 一种用户识别方法和装置
CN107634826B (zh) 一种基于zynq器件的加密方法和系统
Ditzhaus et al. Bootstrap and permutation rank tests for proportional hazards under right censoring
JP7176371B2 (ja) 推定装置、推定方法及びプログラム
US20240028966A1 (en) Learning program, learning method, and learning device
CN113111254B (zh) 推荐模型的训练方法、拟合方法、装置和电子设备
CN116644646B (zh) 岩石的细观重构方法、装置、设备及存储介质
CN115809404B (zh) 一种检测阈值计算方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041527

Country of ref document: HK