CN117094412A - 针对非独立同分布医疗场景下的联邦学习方法和装置 - Google Patents

针对非独立同分布医疗场景下的联邦学习方法和装置 Download PDF

Info

Publication number
CN117094412A
CN117094412A CN202311045465.4A CN202311045465A CN117094412A CN 117094412 A CN117094412 A CN 117094412A CN 202311045465 A CN202311045465 A CN 202311045465A CN 117094412 A CN117094412 A CN 117094412A
Authority
CN
China
Prior art keywords
cluster
model
weights
medical
independent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311045465.4A
Other languages
English (en)
Other versions
CN117094412B (zh
Inventor
李劲松
张航
池胜强
田雨
周天舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202311045465.4A priority Critical patent/CN117094412B/zh
Priority claimed from CN202311045465.4A external-priority patent/CN117094412B/zh
Publication of CN117094412A publication Critical patent/CN117094412A/zh
Application granted granted Critical
Publication of CN117094412B publication Critical patent/CN117094412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种针对非独立同分布医疗场景下的联邦学习方法，本发明首先将类别标签变量分布相近的医疗机构分在同一个簇内，训练过程中，先对在每个簇内的本地训练后得到的本地模型权值进行联邦平均得到对应簇模型的更新权值，从而能够减少由于数据不平衡对准确预测联邦平均结果的影响，然后将能够获得较为准确的联邦平均结果的各个簇模型的更新权值进行整合得到当前迭代的全局模型权值，通过多次迭代得到能够准确对疾病诊断、用药推荐以及治疗方案等医疗问题进行预测的全局模型。本发明还公开了一种针对非独立同分布医疗场景下的联邦学习装置和存储介质。

Description

针对非独立同分布医疗场景下的联邦学习方法和装置
技术领域
本发明属于联邦学习领域，具体涉及针对非独立同分布医疗场景下的联邦学习方法和装置。
背景技术
联邦学习：联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模
同态加密：是一种加密技术。对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。全同态加密：同时满足加法同态以及乘法同态的加密算法。
轮廓系数：是聚类好坏的一种评价方式，其值是介于[-1,1]，越趋近于1代表聚类效果较优。
在医疗行业中，由于隐私安全，行政手续复杂等问题，数据常常是以孤岛的形式存在，想要对不同孤岛的数据进行集中整合常常是十分困难的。
谷歌于2017年首次提出了联邦学习的概念，以及针对联邦学习的联邦平均算法，该算法在独立同分布的数据场景表现良好，但是在非独立同分布的场景下表现的常常不如预期。
联邦平均算法被证明在独立同分布的数据场景下表现良好，然而在真实世界医疗数据场景下，数据常常是非独立同分布以及不平衡的，如图1所示。在这些场景下，联邦平均算法可能会表现的不如预期，甚至训练效果会大幅下降，从而不能提供高效的，准确的疾病诊断、用药推荐以及治疗方案等。
目前效果比较好的解决联邦学习非独立同分布问题的方案主要是通过建立共享数据集，并将数据集发送给各个子节点用以缓解非独立同分布的问题，从而提升联邦学习模型训练的准确度。然而在医疗行业中，数据隐私安全要求比较高，共享数据集的方案实施可行度不高。
因此，针对非独立同分布横向联邦学习模型训练效率以及准确率低，从而导致模型进行疾病诊断，用药推荐以及治疗方案的确定的时候跟实际有较大的偏差的问题，目前亟需构建一套非独立同分布横向联邦学习训练系统，旨在提升非独立同分布横向联邦学习模型的训练效率以及准确率，从而能够解决模型进行疾病诊断，用药推荐以及治疗方案的确定的时候跟实际有较大的偏差的问题(提供具体的现实问题)。为联邦学习在真实世界医疗行业的应用提供更广阔的前景。
发明内容
本发明提供了一种针对非独立同分布医疗场景下的联邦学习方法，该方法能够提升各医疗机构的本地模型的预测准确率。
本发明具体实施例提供了一种针对非独立同分布医疗场景下的联邦学习方法，其特征在于，包括：
对每个医疗机构的类别标签变量分布进行加密，并将加密后类别标签变量分布发送至中心服务器；
每个医疗机构通过聚类KL散度矩阵划分到各聚类簇中从而构建多个簇模型，所述KL散度矩阵是通过计算不同医疗机构的加密后类别标签变量分布间的KL散度获得；
通过中心服务器从各聚类簇随机选择U个簇，将除了批标准化层外的全局模型权值发送至U个簇中的每个簇模型，将所述每个簇模型的权值发送至对应簇内随机选择的医疗机构，通过随机选择的医疗机构进行本地训练得到本地模型权值，将多个本地模型权值分别发送中心服务器进行联邦平均以更新对应簇模型的权值，通过中心服务器对U个簇模型的更新权值进行整合得到更新后的全局模型权值，通过多轮的更新全局模型权值得到最终全局模型；
各医疗机构接收最终全局模型的权值以更新本地模型得到最终本地模型。
进一步的，每个医疗机构通过聚类KL散度矩阵划分到各聚类簇中，包括：
(1)基于医疗机构的数量设定聚类簇数集合，从聚类簇数集合中选择聚类簇数，从KL散度矩阵中随机选择聚类簇数个KL散度数据点，将选择的KL散度数据点作为簇中心的初始坐标；
(2)计算KL散度矩阵中的其他KL散度数据点分别到簇中心的初始坐标的距离，并将其他KL散度数据点分别划分至距离最近的簇中心的初始坐标所在的簇内；
(3)从KL散度矩阵中再次随机选择聚类簇数个KL散度数据点以更新簇中心的初始坐标；
(4)迭代步骤(1)-(3)，直至簇中心坐标不发生变化，停止迭代，得到选择的聚类簇数对应的聚类结果，计算所述聚类结果的轮廓系数；
(5)将聚类簇数集合中最大轮廓系数对应的聚类簇数作为最优聚类簇数，通过最优聚类簇数对应的聚类结果将类别标签变量分布相近的医疗机构划分至同一个簇内，划分至同一簇内的医疗机构的本地模型构建所在簇的簇模型。
进一步的，计算获得不同医疗机构发送的加密后类别标签变量分布间的KL散度矩阵，包括：
通过中心服务器计算每两个医疗机构发送的加密后类别标签变量间的KL散度，基于获得的多个KL散度构建KL散度矩阵。
进一步的，每个医疗机构接收中心服务器指令后对类别标签变量分布进行加密，包括：每个医疗机构采用全同态加密算法得到公钥和私钥，采用全同态加密算法对类别标签变量分布进行加密得到加密公钥后的类别标签变量分布。
进一步的，每个医疗机构获得类别标签变量分布，包括：
每个医疗机构接收中心服务器指令后，采用哈希函数对每个类别标签变量字符串进行加密得到每个类别标签变量字符串哈希值；
将每个类别标签变量的样本数占总样本数的比例按照类别标签变量字符串哈希值进行排序得到类别标签变量分布；
所述类别标签变量为疾病诊断、推荐用药和治疗方案。
进一步的，将多个本地模型权值分别发送中心服务器进行联邦平均以更新对应簇模型的权值，包括：
将在每个簇内随机选择的每个医疗机构的样本数与对应簇的样本数的比值作为随机选择的每个医疗机构的样本数占比；
将每个簇内的随机选择的每个医疗机构的样本数占比和本地模型权值相乘后连加得到以更新对应簇模型的权值。
进一步的，通过中心服务器对U个簇模型的更新权值进行整合得到更新后的全局模型权值，包括：
将在U个簇内的每个簇的样本数与U个簇的样本总数的比值作为每个簇的样本数占比；
在U个簇内将每个簇的样本数占比与对应簇模型的更新权值相乘后连加得到更新后的全局模型权值。
本发明具体实施例还提供了一种针对非独立同分布医疗场景下的联邦学习装置，包括：
中心服务器，用于计算获得不同医疗机构发送的加密后类别标签变量分布间的KL散度矩阵，并通过聚类KL散度矩阵使得每个医疗机构的本地模型划分到各聚类簇中；还用于从各聚类簇随机选择U个簇，将除了批标准化层外的全局模型权值发送至U个簇中的每个簇模型，将所述每个簇模型的权值发送至对应簇内随机选择的医疗机构，将接收的多个本地模型权值进行联邦平均以更新对应簇的权值，并对U个簇的更新权值进行整合得到更新后的全局模型权值，通过多轮的更新全局模型权值得到最终全局模型；
和医疗机构，用于对类别标签变量分布进行加密，并将加密后类别标签变量分布发送至中心服务器，接收所在簇的簇模型的权值并通过本地模型训练得到本地模型权值，将所述本地模型权值分别发送中心服务器，还用于接收最终全局模型的权值以更新本地模型得到最终本地模型。
本发明具体实施例还提供了一种针对非独立同分布医疗场景下的联邦学习装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的针对非独立同分布医疗场景下的联邦学习方法。
本发明具体实施例还提供了一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现所述的针对非独立同分布医疗场景下的联邦学习方法。
与现有技术相比，本发明的有益效果为：
本发明首先将类别标签变量分布相近的医疗机构分在同一个簇内，训练过程中，先对在每个簇内的本地训练后得到的本地模型权值进行联邦平均得到对应簇模型的更新权值，从而能够减少由于数据不平衡对准确预测联邦平均结果的影响，然后将能够获得较为准确的联邦平均结果的各个簇模型的更新权值进行整合得到当前迭代的全局模型权值，通过多次迭代得到能够准确预测疾病诊断、用药推荐以及治疗方案等问题的全局模型。
由于簇模型没有接收全局模型的批标准化层权值，还是使用自身的批标准化层进行后续训练，从而能够更加符合该簇模型模型的类别标签变量分布，从而能够加快簇模型的收敛和预测准确率。
附图说明
图1为本发明具体实施例提供的非独立同分布联邦学习结构图；
图2为本发明具体实施例提供的一种针对非独立同分布医疗场景下的联邦学习方法的流程图；
图3为本发明具体实施例提供的一种针对非独立同分布医疗场景下的联邦学习方法的示意图；
图4为本发明具体实施例提供的对每个医疗机构的类别标签变量分布进行加密的流程图；
图5为本发明具体实施例提供的将每个医疗机构通过聚类KL散度矩阵划分到各聚类簇中的流程图；
图6为本发明具体实施例提供的一种针对非独立同分布医疗场景下的联邦学习装置的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明所有的医疗机构节点，即节点一、二、三和四，被分配到对应簇中，簇内的医疗机构节点的类别标签变量具有相似的分布，本发明的全局模型以及簇模型位于中心服务器上，本地模型位于各个医疗机构节点上。为了解决联邦学习在医疗行业这种非独立同分布的场景下表现常常不如预期的技术问题，本发明具体实施例首先将类别标签变量分布相近的医疗机构划分到同一个簇中以构建簇模型，以缓解各医疗结构间的非独立同分布问题，在每次训练中将除了批标准化层的全局模型权值发送至簇模型，其目的是簇模型维持自身的批标准化层有助于缓解簇模型之间非独立同分布问题，将簇模型的权值发送至该簇内部的医疗机构进行本地训练，将得到的本地模型权值发送至中心服务器进行联邦聚合得到更新的簇模型权值，将更新的簇模型权值进行整合得到中心服务器，即中心节点的全局模型的权值，具体阐述如下：
本发明具体实施例提供了一种针对非独立同分布医疗场景下的联邦学习方法，如图2、图3所示，包括：
S1、对每个医疗机构的类别标签变量分布进行加密，并将加密后类别标签变量分布发送至中心服务器，如图4所示，具体步骤如下：
S11、本发明具体实施例提供的中心服务器进行横向联邦学习的全局模型初始化,所述初始化可以为随机初始化、Xavier初始化等。初始化完成之后，每个医疗机构接收中心服务器指令后，采用哈希函数对每个类别标签变量字符串进行加密得到每个类别标签变量字符串哈希值。
本发明具体实施例提供的类别标签变量字符串哈希值H(S)为：
其中，as表示类别标签变量字符串S中第s个字符对应的哈希值，该哈希值可以为ASCII码，q表示质数，R表示字符串S的长度。
S12、将每个类别标签变量的样本数占总样本数的比例按照类别标签变量字符串哈希值进行排序得到类别标签变量分布Pm为；
Pm＝(pm1,pm2,…,pmk,…,pmK)sort by H(smk)
其中，smk表示医疗机构m的类别标签变量的第k个类别标签变量字符串，pmk表示第k个类别标签变量字符串的占比，nmk表示第k个类别标签变量字符串对应的样本个数，Nm表示医疗机构参与方m的总样本数，H表示哈希函数，K表示类别标签变量的类别总数。该类别标签变量为疾病诊断、用药推荐以及治疗方案等。
S13、每个医疗机构采用全同态加密算法得到加密公钥pub以及私钥pri，并采用全同态加密算法对类别标签变量分布进行加密得到加密公钥的类别标签变量分布，并将加密公钥的类别标签变量分布发送至中心服务器。
本发明具体实施例提供的加密公钥的类别标签变量分布为Encrypt.Pm为：
Encrypt.Pm＝(Enc(pm1,pub),Enc(pm2,pub)…,Enc(pmk,pub)),…,Enc(pmK,pub))
其中，其中Enc表示全同态加密算法。
S2、每个医疗机构通过聚类KL散度矩阵划分到各聚类簇中从而构建多个簇模型，如图5所示，具体步骤为：
S21、获得各个医疗机构的类别标签变量分布间的KL散度矩阵D，具体步骤为：
医疗机构m将加密后的分布Encrypt.Pm通过堡垒机转发到中心服务器。中心服务器获取所有医疗机构加密后的分布{Encrypt.P1,…,Encrypt.Pm,…,Encrypt.PM}，其中M表示医疗机构参与方总数。对于任意两个医疗机构α,β，按照以下公式计算类别标签变量的KL散度，记为disαβ。disαβ可作为医疗机构类别标签变量分布相似性的度量。
最终，对任意两个医疗机构参与方计算KL散度，得到维度为M×M的KL散度矩阵D。
S22、采用Kmeans方法基于KL散度矩阵D将类别标签变量分布相近的医疗机构划分到各个聚类簇中，具体步骤如下：
(1)基于医疗机构的数量设定聚类簇数集合v＝{1,2……M}，从聚类簇数集合中选择聚类簇数v，从KL散度矩阵中随机选择聚类簇数v个KL散度数据点，将选择的KL散度数据点作为簇中心的初始坐标；
(2)计算KL散度矩阵D中的其他KL散度数据点i分别到簇中心的初始坐标的距离，并将其他KL散度数据点i分别划分至距离最近的簇中心的初始坐标所在的簇内；
(3)从KL散度矩阵D中再次随机选择聚类簇数v个KL散度数据点以更新簇中心的初始坐标；
(4)迭代步骤(1)-(3)，直至簇中心坐标不发生变化，停止迭代，得到所选择的聚类簇数v对应的聚类结果计算所述聚类结果/>的轮廓系数ψv；
(5)对于不同的聚类簇数v＝{1,2……M}，可以得到M个聚类结果，并根据M聚类结果分别计算M个对应的轮廓系数。最终，基于挑选轮廓系数最大的聚类簇数对应的聚类结果，将类别标签变量分布相近的医疗机构的本地模型划分至同一个簇内，从而获得由多个簇模型构建的最优聚类方案C，其中，每个簇模型由每个簇内的多个医疗机构的本地模型组成。
S3、训练中心服务器的全局模型，各医疗机构基于训练完成的最终全局模型的权值更新本地模型，通过更新的本地模型对疾病诊断、用药推荐等问题进行预测，具体步骤为：
S31、通过中心服务器从最优聚类方案C中随机选择U个簇，将除了批标准化层外的全局模型权值发送至U个簇中的每个簇模型。可以理解的是，每个簇模型的权值包括初始或每个迭代后的由中心服务器发送的除批标准化层外的全局模型权值和每个簇模型自身的批标准化层权值。
本发明具体实施例将U个簇中的每个簇中随机选择M′个医疗机构，将U个簇中的每个簇模型权值发送至在该簇中随机选择的M′个医疗机构。
S32、M′个医疗机构基于本地训练集X对本地模型进行梯度下降更新，经过G轮更新后，将得到的本地模型权值发送至中心服务器。
本发明具体实施例本地模型权值为：
其中，g＝1,2,…,G，L(w u,z；X)表示交叉熵损失函数，表示求梯度，w u,z表示簇u内医疗机构z的本地模型权值，η表示学习率。
S33、中心服务器将接收的M′个医疗机构的本地模型权值进行整合，并对M′个医疗机构所在的簇模型权值进行更新，进过E轮更新后，得到簇模型的更新权值/>每轮更新公式如下：
其中，e＝1,2,…,E，表示用于训练第u个簇模型的样本数，μz表示M′个医疗机构中的医疗机构z的样本数，即本地医疗数据训练集X中的样本数。
S34、通过中心服务器对U个簇模型的更新权值进行整合得到更新后的全局模型权值，进行T轮更新直至全局模型收敛，完成横向联邦学习的全局模型训练，每轮更新公式如下：
其中，t＝1,2,…,T，表示第u个簇模型权值，nu为在U个簇内的第u个簇的样本数，n为U个簇的样本总数。
本发明具体实施例提供的全局模型，簇模型和本地模型具有相同的结构。所述结构由多个感知器模块组成，所述感知器模块包括全连接层，激活层，批标准化层以及Dropout层。
S35、各医疗机构接收最终全局模型的权值以更新本地模型得到最终本地模型，各医疗机构使用更新后的本地模型完成疾病诊断、用药推荐、治疗方案等问题的预测。
本发明具体实施例还提供了一种针对非独立同分布医疗场景下的联邦学习装置，包括中心服务器和各个医疗机构，其中：
本发明具体实施例提供的中心服务器用于计算获得不同医疗机构发送的加密后类别标签变量分布间的KL散度矩阵，并通过聚类KL散度矩阵使得每个医疗机构的本地模型划分到各聚类簇中。
本发明具体实施例提供的中心服务器还用于从各聚类簇随机选择U个簇，将除了批标准化层外的全局模型权值发送至U个簇中的每个簇模型，将所述每个簇模型的权值发送至对应簇内随机选择的医疗机构，将接收的多个本地模型权值进行联邦平均以更新对应簇的权值，并对U个簇的更新权值进行整合得到更新后的全局模型权值，通过多轮的更新全局模型权值得到最终全局模型。
本发明具体实施例提供的医疗机构用于对类别标签变量分布进行加密，并将加密后类别标签变量分布发送至中心服务器，接收所在簇的簇模型的权值并通过本地模型训练得到本地模型权值，将所述本地模型权值分别发送中心服务器，还用于接收最终全局模型的权值以更新本地模型得到最终本地模型。
如图6所示，本发明具体实施例还提供了一种针对非独立同分布医疗场景下的联邦学习装置还包括堡垒机，医疗机构考虑到网络安全，通常仅会开放极少的端口以及ip供访问。因此，本发明实施例提供的装置的架构如图6所示，所有的医疗机构同堡垒机网络连通。该堡垒机与中心服务器网络连通。中心服务器向医疗机构发送的消息以及医疗机构参与方向中心服务器发送的消息都需要堡垒机进行转发。
在一个实施例中，医疗机构参与方同堡垒机通过专网通信。医疗机构参与方未对中心服务器的ip开放。中心服务器将消息发送给各医疗机构参与方以及各医疗机构将消息发送给中心服务器都需要通过堡垒机进行转发。
本发明具体实施例还提供了一种针对非独立同分布医疗场景下的联邦学习装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现针对非独立同分布医疗场景下的联邦学习方法。
本发明具体实施例还提供了一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现针对非独立同分布医疗场景下的联邦学习方法。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种针对非独立同分布医疗场景下的联邦学习方法，其特征在于，包括：
对每个医疗机构的类别标签变量分布进行加密，并将加密后类别标签变量分布发送至中心服务器；
每个医疗机构通过聚类KL散度矩阵划分到各聚类簇中从而构建多个簇模型，所述KL散度矩阵是通过计算不同医疗机构的加密后类别标签变量分布间的KL散度获得；
通过中心服务器从各聚类簇随机选择U个簇，将除了批标准化层外的全局模型权值发送至U个簇中的每个簇模型，将所述每个簇模型的权值发送至对应簇内随机选择的医疗机构，通过随机选择的医疗机构进行本地训练得到本地模型权值，将多个本地模型权值分别发送中心服务器进行联邦平均以更新对应簇模型的权值，通过中心服务器对U个簇模型的更新权值进行整合得到更新后的全局模型权值，通过多轮的更新全局模型权值得到最终全局模型；
各医疗机构接收最终全局模型的权值以更新本地模型得到最终本地模型。
2.根据权利要求1所述的针对非独立同分布医疗场景下的联邦学习方法，其特征在于，每个医疗机构通过聚类KL散度矩阵划分到各聚类簇中，包括：
(1)基于医疗机构的数量设定聚类簇数集合，从聚类簇数集合中选择聚类簇数，从KL散度矩阵中随机选择聚类簇数个KL散度数据点，将选择的KL散度数据点作为簇中心的初始坐标；
(2)计算KL散度矩阵中的其他KL散度数据点分别到簇中心的初始坐标的距离，并将其他KL散度数据点分别划分至距离最近的簇中心的初始坐标所在的簇内；
(3)从KL散度矩阵中再次随机选择聚类簇数个KL散度数据点以更新簇中心的初始坐标；
(4)迭代步骤(1)-(3)，直至簇中心坐标不发生变化，停止迭代，得到选择的聚类簇数对应的聚类结果，计算所述聚类结果的轮廓系数；
(5)将聚类簇数集合中最大轮廓系数对应的聚类簇数作为最优聚类簇数，通过最优聚类簇数对应的聚类结果将类别标签变量分布相近的医疗机构划分至同一个簇内，划分至同一簇内的医疗机构的本地模型构建所在簇的簇模型。
3.根据权利要求1所述的针对非独立同分布医疗场景下的联邦学习方法，其特征在于，计算获得不同医疗机构发送的加密后类别标签变量分布间的KL散度矩阵，包括：
通过中心服务器计算每两个医疗机构发送的加密后类别标签变量间的KL散度，基于获得的多个KL散度构建KL散度矩阵。
4.根据权利要求1所述的针对非独立同分布医疗场景下的联邦学习方法，其特征在于，每个医疗机构接收中心服务器指令后对类别标签变量分布进行加密，包括：每个医疗机构采用全同态加密算法得到公钥和私钥，采用全同态加密算法对类别标签变量分布进行加密得到加密公钥后的类别标签变量分布。
5.根据权利要求1所述的针对非独立同分布医疗场景下的联邦学习方法，其特征在于，每个医疗机构获得类别标签变量分布，包括：
每个医疗机构接收中心服务器指令后，采用哈希函数对每个类别标签变量字符串进行加密得到每个类别标签变量字符串哈希值；
将每个类别标签变量的样本数占总样本数的比例按照类别标签变量字符串哈希值进行排序得到类别标签变量分布；
所述类别标签变量为疾病诊断、推荐用药和治疗方案。
6.根据权利要求1所述的针对非独立同分布医疗场景下的联邦学习方法，其特征在于，将多个本地模型权值分别发送中心服务器进行联邦平均以更新对应簇模型的权值，包括：
将在每个簇内随机选择的每个医疗机构的样本数与对应簇的样本数的比值作为随机选择的每个医疗机构的样本数占比；
将每个簇内的随机选择的每个医疗机构的样本数占比和本地模型权值相乘后连加得到以更新对应簇模型的权值。
7.根据权利要求1所述的针对非独立同分布医疗场景下的联邦学习方法，其特征在于，通过中心服务器对U个簇模型的更新权值进行整合得到更新后的全局模型权值，包括：
将在U个簇内的每个簇的样本数与U个簇的样本总数的比值作为每个簇的样本数占比；
在U个簇内将每个簇的样本数占比与对应簇模型的更新权值相乘后连加得到更新后的全局模型权值。
8.一种针对非独立同分布医疗场景下的联邦学习装置，其特征在于，包括：
中心服务器，用于计算获得不同医疗机构发送的加密后类别标签变量分布间的KL散度矩阵，并通过聚类KL散度矩阵使得每个医疗机构的本地模型划分到各聚类簇中；还用于从各聚类簇随机选择U个簇，将除了批标准化层外的全局模型权值发送至U个簇中的每个簇模型，将所述每个簇模型的权值发送至对应簇内随机选择的医疗机构，将接收的多个本地模型权值进行联邦平均以更新对应簇的权值，并对U个簇的更新权值进行整合得到更新后的全局模型权值，通过多轮的更新全局模型权值得到最终全局模型；
和医疗机构，用于对类别标签变量分布进行加密，并将加密后类别标签变量分布发送至中心服务器，接收所在簇的簇模型的权值并通过本地模型训练得到本地模型权值，将所述本地模型权值分别发送中心服务器，还用于接收最终全局模型的权值以更新本地模型得到最终本地模型。
9.一种针对非独立同分布医疗场景下的联邦学习装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-8中任一项所述的针对非独立同分布医疗场景下的联邦学习方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-8中任一项所述的针对非独立同分布医疗场景下的联邦学习方法。
CN202311045465.4A 2023-08-18 针对非独立同分布医疗场景下的联邦学习方法和装置 Active CN117094412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311045465.4A CN117094412B (zh) 2023-08-18 针对非独立同分布医疗场景下的联邦学习方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311045465.4A CN117094412B (zh) 2023-08-18 针对非独立同分布医疗场景下的联邦学习方法和装置

Publications (2)

Publication Number Publication Date
CN117094412A true CN117094412A (zh) 2023-11-21
CN117094412B CN117094412B (zh) 2024-06-28

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117829274A (zh) * 2024-02-29 2024-04-05 浪潮电子信息产业股份有限公司 模型融合方法、装置、设备、联邦学习系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218331A1 (zh) * 2020-04-28 2021-11-04 深圳壹账通智能科技有限公司 离线软件授权方法、装置、设备及存储介质
GB202114203D0 (en) * 2021-10-04 2021-11-17 Cambridge Entpr Ltd Method of characterising a dna sample
CN114819069A (zh) * 2022-04-12 2022-07-29 中国人民解放军国防科技大学 基于dbscan聚类的客户端选择联邦学习方法
CN115238908A (zh) * 2022-03-15 2022-10-25 华东师范大学 基于变分自编码器、无监督聚类算法和联邦学习的数据生成方法
CN115337037A (zh) * 2022-09-07 2022-11-15 北京理工大学 一种基于联邦学习的心音监测系统
CN115438714A (zh) * 2022-08-01 2022-12-06 华南理工大学 分簇式联邦学习驱动的机械故障诊断方法、装置及介质
CN115577360A (zh) * 2022-11-14 2023-01-06 湖南大学 一种不依赖梯度的聚类联邦学习方法及系统
CN115965795A (zh) * 2022-12-16 2023-04-14 中国科学院信息工程研究所 一种基于网络表示学习的深暗网群体发现方法
WO2023091970A1 (en) * 2021-11-16 2023-05-25 The General Hospital Corporation Live-cell label-free prediction of single-cell omics profiles by microscopy
CN116361669A (zh) * 2023-03-16 2023-06-30 翼健(上海)信息科技有限公司 基于联邦学习和深度学习的稀疏数据聚类方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218331A1 (zh) * 2020-04-28 2021-11-04 深圳壹账通智能科技有限公司 离线软件授权方法、装置、设备及存储介质
GB202114203D0 (en) * 2021-10-04 2021-11-17 Cambridge Entpr Ltd Method of characterising a dna sample
WO2023091970A1 (en) * 2021-11-16 2023-05-25 The General Hospital Corporation Live-cell label-free prediction of single-cell omics profiles by microscopy
CN115238908A (zh) * 2022-03-15 2022-10-25 华东师范大学 基于变分自编码器、无监督聚类算法和联邦学习的数据生成方法
CN114819069A (zh) * 2022-04-12 2022-07-29 中国人民解放军国防科技大学 基于dbscan聚类的客户端选择联邦学习方法
CN115438714A (zh) * 2022-08-01 2022-12-06 华南理工大学 分簇式联邦学习驱动的机械故障诊断方法、装置及介质
CN115337037A (zh) * 2022-09-07 2022-11-15 北京理工大学 一种基于联邦学习的心音监测系统
CN115577360A (zh) * 2022-11-14 2023-01-06 湖南大学 一种不依赖梯度的聚类联邦学习方法及系统
CN115965795A (zh) * 2022-12-16 2023-04-14 中国科学院信息工程研究所 一种基于网络表示学习的深暗网群体发现方法
CN116361669A (zh) * 2023-03-16 2023-06-30 翼健(上海)信息科技有限公司 基于联邦学习和深度学习的稀疏数据聚类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEI WANG, ET AL: "Integrated KL clustering: A new clustering approach by combining attribute data and pairwise relations", 《PROCEEDINGS OF THE 2009 SIAM INTERNATIONAL CONFERENCE ON DATA MINING》, 31 December 2009 (2009-12-31), pages 38 - 48 *
卢先英: "基于KL散度和矩阵相似度的学习路径规划算法", 《社会科学II辑》, 15 April 2021 (2021-04-15), pages 1 - 71 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117829274A (zh) * 2024-02-29 2024-04-05 浪潮电子信息产业股份有限公司 模型融合方法、装置、设备、联邦学习系统及存储介质
CN117829274B (zh) * 2024-02-29 2024-05-24 浪潮电子信息产业股份有限公司 模型融合方法、装置、设备、联邦学习系统及存储介质

Similar Documents

Publication Publication Date Title
Hao et al. Towards efficient and privacy-preserving federated deep learning
Zhang et al. PPO-CPQ: a privacy-preserving optimization of clinical pathway query for e-healthcare systems
Wu et al. Privacy preserving vertical federated learning for tree-based models
US20230109352A1 (en) Node group-based data processing method and system, device, and medium
US20230039182A1 (en) Method, apparatus, computer device, storage medium, and program product for processing data
CN112733967B (zh) 联邦学习的模型训练方法、装置、设备及存储介质
Wan et al. Privacy-preservation for gradient descent methods
CN112668044B (zh) 面向联邦学习的隐私保护方法及装置
Hao et al. Efficient, private and robust federated learning
WO2022142060A1 (zh) 基于联邦学习的虹膜图像特征提取方法、系统和装置
CN109344640B (zh) 一种基于同态加密和多项式计算的子图匹配方法
He et al. Secure logistic regression for vertical federated learning
CN113434898B (zh) 一种非交互式的隐私保护逻辑回归联邦训练方法及系统
WO2017171726A1 (en) Distributed data clustering using an untrusted mediator
CN112394974A (zh) 代码变更的注释生成方法、装置、电子设备及存储介质
CN109034794A (zh) 供应链动态管理方法、电子设备、存储介质及系统
Samet et al. Privacy preserving k-means clustering in multi-party environment
Ma et al. Privacy-preserving distributed multi-task learning against inference attack in cloud computing
Di Crescenzo et al. Efficient and private three-party publish/subscribe
CN117094412B (zh) 针对非独立同分布医疗场景下的联邦学习方法和装置
CN116827670A (zh) 一种基于国密算法的智能医疗数据安全共享方法
EP3425613A1 (en) Key generation device, computer system, and statistical encryption method
CN117094412A (zh) 针对非独立同分布医疗场景下的联邦学习方法和装置
CN113901500B (zh) 图拓扑嵌入方法、装置、系统、设备及介质
Li et al. Securely outsourcing ID3 decision tree in cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant