CN115599799A - 面向医疗大数据的区块链与联邦学习融合方法 - Google Patents

面向医疗大数据的区块链与联邦学习融合方法 Download PDF

Info

Publication number
CN115599799A
CN115599799A CN202211514821.8A CN202211514821A CN115599799A CN 115599799 A CN115599799 A CN 115599799A CN 202211514821 A CN202211514821 A CN 202211514821A CN 115599799 A CN115599799 A CN 115599799A
Authority
CN
China
Prior art keywords
medical
model
deep learning
client
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211514821.8A
Other languages
English (en)
Other versions
CN115599799B (zh
Inventor
陈先来
李凯欣
安莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202211514821.8A priority Critical patent/CN115599799B/zh
Publication of CN115599799A publication Critical patent/CN115599799A/zh
Application granted granted Critical
Publication of CN115599799B publication Critical patent/CN115599799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请适用于联邦学习技术领域，提供了一种面向医疗大数据的区块链与联邦学习融合方法，包括：在医疗客户端和矿工之间构建区块链网络和联邦学习训练环境；医疗客户端利用本地医疗数据集训练深度学习模型，对缺失标签的类别限制分类层权重，完成训练后将本地模型上传给关联矿工获得数据激励；矿工们交叉验证模型更新后，运行工作量证明机制产生新的区块并获得挖矿奖励，随后将模型更新存储于新的区块中并添加到区块链中；医疗客户端从区块链上下载新的区块，并依据智能合约校验准确率，动态调整权重来更新全局模型；重复上述步骤，直至全局模型收敛。本申请能提升全局模型的性能，提高联邦学习系统的鲁棒性，提升各医疗机构对联合训练的积极性。

Description

面向医疗大数据的区块链与联邦学习融合方法
技术领域
本申请属于联邦学习技术领域，尤其涉及一种面向医疗大数据的区块链与联邦学习融合方法。
背景技术
随着人工智能领域的进步，使用医疗数据基于机器学习和深度学习方法辅助医疗机构进行疾病诊断、预测，具有巨大的前景。这一领域的发展与创新有利于改善医疗实践、优化稀缺医疗资源的使用和推进精准医疗建设。
深度学习模型往往具有百万级的参数，这些参数需要从足量且多样化的医疗数据集中学习才能实现临床级的准确率。当研究人员使用依赖数据驱动的深度学习模型试图训练时，单设备上的本地数据量过少将不足以训练一个有效的模型。此时，往往考虑共享医疗系统中的数据集进行联合训练。
然而医疗数据往往分布于不同医院的大量设备上，医护人员收集、管理与维护高质量的医疗数据集需要大量的人力、物力以及经济费用。故医疗数据集具有重要的商业价值，医疗机构不太可能愿意免费共享。同时，医疗数据涉及大量患者隐私信息，贸然共享数据有可能导致大面积的隐私泄露。
随着对医疗数据价值的重视和隐私保护相关的法律法规推进，医疗“数据孤岛”问题日益严重，研究人员开始寻找新的解决方法，以期在不共享私有数据集和不损害患者隐私的情况下，使用医疗数据训练深度学习模型。而联邦学习（Federated learning）正满足这一需求。
在医疗领域中，将联邦学习应用于训练有关模型还存在以下问题：其一，由于地区疾病差异导致的各医疗机构数据量和标签不平衡，联邦学习始终面临着非独立同分布数据的负面影响，造成全局模型的适用性差、联邦学习系统的鲁棒性差；其二，联邦学习系统缺乏激励机制，各方对于联合训练兴致缺缺。
发明内容
本申请实施例提供了一种面向医疗大数据的区块链与联邦学习融合方法，可以解决由于地区疾病差异导致的各医疗机构数据量和标签不平衡等问题导致的非独立同分布数据对联邦学习准确率的影响。同时，也能提高联邦学习系统鲁棒性，提升各医疗机构对联合训练积极性。
本申请实施例提供了一种面向医疗大数据的区块链与联邦学习融合方法，包括：
步骤1，在医疗客户端和矿工节点之间构建区块链网络和联邦学习训练环境，每个医疗客户端从区块链网络下载深度学习模型和智能合约，智能合约封装有针对非独立同分布医疗数据中标签偏移场景的联邦学习算法；
步骤2，每个医疗客户端利用自身的本地医疗数据集对深度学习模型进行训练；在训练过程中，根据联邦学习算法在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小；
步骤3，每个医疗客户端将训练后的深度学习模型上传给与该医疗客户端相关联的矿工节点，并根据区块链网络激励机制获得数据奖励；
步骤4，接收到训练后的深度学习模型的多个矿工节点，对训练后的多个深度学习模型进行交叉验证；其中，当训练后的深度学习模型通过交叉验证时，该深度学习模型对应的矿工节点运行工作量证明机制，根据区块链网络激励机制获得挖矿奖励，并在完成工作量证明机制后，产生新的区块，将该深度学习模型存储于该新的区块中，并将新的区块添加到区块链网络中；
步骤5，每个医疗客户端从区块链网络下载所有新的区块中的深度学习模型，根据联邦学习算法校验下载的深度学习模型的准确率，并根据准确率动态调整模型聚合权重更新全局模型；
步骤6，将更新后的全局模型作为步骤2中的深度学习模型，并返回执行步骤2，直至更新后的全局模型收敛。
可选的，根据联邦学习算法在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小，包括：
利用超参数，在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小。
可选的，利用超参数，在深度学习模型Softmax层中将本地医疗数据集中缺失标签分类的分类权重缩小，包括：
通过公式
Figure 820629DEST_PATH_IMAGE001
，在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小；
其中，
Figure 144294DEST_PATH_IMAGE002
表示第
Figure 189611DEST_PATH_IMAGE003
个医疗客户端的本地医疗数据集中的第
Figure 115978DEST_PATH_IMAGE005
个样本为第
Figure 71296DEST_PATH_IMAGE006
个分类的概率，
Figure 424917DEST_PATH_IMAGE007
，
Figure 98475DEST_PATH_IMAGE008
表示第
Figure 562954DEST_PATH_IMAGE003
个医疗客户端的观察类集，
Figure 762992DEST_PATH_IMAGE009
表示第
Figure 395836DEST_PATH_IMAGE003
个医疗客户端缺失标签的类集，I表示当前分类，𝛼表示超参数，𝛼∈[0，1]，
Figure 946903DEST_PATH_IMAGE010
表示第
Figure 824860DEST_PATH_IMAGE011
轮更新全局模型时，第
Figure 879404DEST_PATH_IMAGE003
个医疗客户端对应的第
Figure 574828DEST_PATH_IMAGE006
个分类权重，
Figure 222978DEST_PATH_IMAGE012
，
Figure 763680DEST_PATH_IMAGE013
表示全局模型的总更新轮数，
Figure 407151DEST_PATH_IMAGE014
表示第
Figure 742318DEST_PATH_IMAGE003
个医疗客户端的本地医疗数据集中的第
Figure 408922DEST_PATH_IMAGE005
个样本的提取特征向量，C表示分类的总数。
可选的，根据准确率动态调整模型聚合权重更新全局模型，包括：
通过公式
Figure 487737DEST_PATH_IMAGE015
，计算第
Figure 985714DEST_PATH_IMAGE003
个医疗客户端对应的深度学习模型的模型聚合权重
Figure 187720DEST_PATH_IMAGE016
；
通过公式
Figure 138359DEST_PATH_IMAGE017
，获得全局模型的全局参数
Figure 958547DEST_PATH_IMAGE018
；
其中，
Figure 311031DEST_PATH_IMAGE019
表示第
Figure 253579DEST_PATH_IMAGE003
个医疗客户端对应的深度学习模型的准确性，
Figure 629197DEST_PATH_IMAGE020
，
Figure 49814DEST_PATH_IMAGE021
表示第
Figure 460067DEST_PATH_IMAGE005
个医疗客户端对应的深度学习模型的准确性，
Figure 573516DEST_PATH_IMAGE022
表示医疗客户端的总数，
Figure 498747DEST_PATH_IMAGE023
表示第
Figure 159273DEST_PATH_IMAGE024
轮更新全局模型时，第
Figure 220770DEST_PATH_IMAGE003
个医疗客户端利用自身的本地医疗数据集训练得到的深度学习模型的本地模型参数，
Figure 505121DEST_PATH_IMAGE012
，
Figure 261855DEST_PATH_IMAGE013
表示全局模型的总更新轮数。
可选的，根据区块链网络激励机制获得数据奖励，包括：
每个医疗客户端从与该医疗客户端相关联的矿工节点获得数据奖励；数据奖励与该医疗客户端的本地医疗数据集的样本量以及该医疗客户端对应的深度学习模型的准确性成正比。
可选的，根据区块链网络激励机制获得挖矿奖励，包括：
矿工节点从区块链网络获得挖矿奖励；挖矿奖励与该矿工节点关联的所有医疗客户端的本地医疗数据集的样本总量成正比。
本申请的上述方案有如下的有益效果：
在本申请的实施例中，通过利用区块链的共识机制帮助医疗客户端构建一种安全、互惠和稳定的联邦学习环境，利用区块链的智能合约封装针对非独立同分布医疗数据中标签偏移场景的联邦学习算法，在医疗客户端的本地训练阶段，根据智能合约的联邦学习算法在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小，同时在全局模型融合阶段，利用各本地模型的准确率动态调整模型聚合权重进行全局模型的更新，从而解决了医疗数据之间质量差距较大且不同地区的医疗数据因疾病差异导致的数据量和标签不平衡的问题，能训练更优的全局模型、提高联邦学习系统的鲁棒性。
此外，利用本地医疗客户端设备进行全局模型更新可以确保在矿工节点或者医疗客户端设备故障时不会影响其他医疗客户端设备的全局模型更新。这样普通医疗客户端设备用户和矿工节点用户都能得到最新的全局更新模型，以此形成对用户的激励机制，医院和矿工均可利用奖励兑换模型使用权限，从而提升了各医疗机构对联合训练的兴趣，完善多医疗机构共同参与机制。
本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的面向医疗大数据的区块链与联邦学习融合方法的流程图；
图2为本申请一实施例提供的利用区块链技术构建的联邦学习环境的架构图；
图3为本申请一实施例提供的区块的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
目前针对医疗数据的联邦学习存在全局模型的适用性差、联邦学习系统的鲁棒性差以及各医疗机构对联合训练兴趣不高的问题。
针对上述问题，本申请实施例提供了一种面向医疗大数据的区块链与联邦学习融合方法，该方法通过利用区块链的共识机制帮助医疗客户端构建一种安全、互惠和稳定的联邦学习环境，利用区块链的智能合约封装针对非独立同分布医疗数据中标签偏移场景的联邦学习算法，在医疗客户端的本地训练阶段，根据智能合约的联邦学习算法在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小，同时在全局模型融合阶段，利用各本地模型的准确率动态调整模型聚合权重进行全局模型的更新，从而解决了医疗数据之间质量差距较大且不同地区的医疗数据因疾病差异导致的数据量和标签不平衡的问题，能训练更优的全局模型、提高联邦学习系统的鲁棒性。
此外，利用本地医疗客户端设备进行全局模型更新可以确保在矿工节点或者医疗客户端设备故障时不会影响其他医疗客户端设备的全局模型更新。这样普通医疗客户端设备用户和矿工节点用户都能得到最新的全局更新模型，以此形成对用户的激励机制，医院和矿工均可利用奖励兑换模型使用权限，从而提升了各医疗机构对联合训练的积极性，完善多医疗机构共同参与机制。
下面结合具体实施例对上述面向医疗大数据的区块链与联邦学习融合方法进行说明。
如图1所示，本申请实施例提供的面向医疗大数据的区块链与联邦学习融合方法包括如下步骤：
步骤1，在医疗客户端和矿工节点之间构建区块链网络和联邦学习训练环境，每个医疗客户端从区块链网络下载深度学习模型和智能合约，智能合约封装有针对非独立同分布医疗数据中标签偏移场景的联邦学习算法。
在本申请的一些实施例中，如图2所示，可利用区块链的共识机制帮助各医疗机构的医疗客户端构建一种安全、互惠和稳定的联邦学习环境。示例性的，在构建联邦学习环境时，每个医疗机构可以对应一个医疗客户端。且在联邦学习环境构建完成之后，新的医疗客户端和矿工节点的加入是动态的，需要授权。需要说明的是，图2中的D1表示第1个医疗客户端，Dn表示第n个医疗客户端，M1表示第1个矿工节点，Mj表示第j个矿工节点。
作为一个可选的示例，可在联邦学习训练环境中随机选择多个医疗客户端从区块链网络下载深度学习模型和智能合约，并执行后续步骤。
步骤2，每个医疗客户端利用自身的本地医疗数据集对深度学习模型进行训练；在训练过程中，根据联邦学习算法在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小。
上述深度学习模型可以为用于执行多分类任务的神经网络模型，Softmax层为深度学习模型中类别概率的归一化函数，用于处理分类任务中初始输出结果。
在深度学习中，与分类结果最直接关联的就是深度学习模型中的Softmax层。但是，现有的Softmax层 +交叉熵（Cross Entropy）的分类方式会导致缺失类别或者稀有类别的分类权重往错误方向更新。基于此，本申请实施例在医疗客户端的本地训练阶段中，对缺失类（即本地医疗数据集中缺失标签的类别）的分类权重进行缩小加以限制，从而有效避免缺失类别的分类权重会错误方向更新，提升本地模型（即医疗客户端利用自身的本地医疗数据集训练得到的深度学习模型）的准确性，进而有助于优化全局模型。
示例性的，医疗客户端在本地对深度学习模型进行迭代训练过程中，可使用随机梯度下降，将交叉熵定义为损失函数。
步骤3，每个医疗客户端将训练后的深度学习模型上传给与该医疗客户端相关联的矿工节点，并根据区块链网络激励机制获得数据奖励。
在本申请的一些实施例中，在上述联邦学习环境中，每个医疗客户端均有一个与之相关的矿工节点，可以理解的是，一个矿工节点可以与多个医疗客户端相关联，一个医疗客户端也可与多个矿工节点相关联，率先完成工作量证明机制的矿工节点拥有记账权与挖矿奖励。
当医疗客户端将训练后的深度学习模型上传给与其相关的矿工节点后，该医疗客户端可以根据区块链网络激励机制从该矿工节点获得数据奖励。即，每个医疗客户端在上传训练后的深度学习模型后，均能从与该医疗客户端相关联的矿工节点获得数据奖励。
步骤4，接收到训练后的深度学习模型的多个矿工节点，对训练后的多个深度学习模型进行交叉验证；其中，当训练后的深度学习模型通过交叉验证时，该深度学习模型对应的矿工节点运行工作量证明机制，根据区块链网络激励机制获得挖矿奖励，并在完成工作量证明机制后，产生新的区块，将该深度学习模型存储于该新的区块中，并将新的区块添加到区块链网络中。
在本申请的一些实施例中，上述联邦学习环境中的矿工节点在接收到各医疗客户端上传的本地模型（即训练后的深度学习模型）后，将对这些本地模型进行交换和验证（即交叉验证）。对于通过交叉验证的本地模型，该本地模型对应的矿工节点运行工作量证明机制（POW），并根据区块链网络激励机制从区块链网络获得挖矿奖励，其原理与传统区块链网络的挖矿概念相同。
在矿工节点运行工作量证明机制后，将产生一新的区块，该矿工节点将相关联的、且通过交叉验证的本地模型存储于该新的区块中，并将该新的区块添加到区块链网络中。
具体地，如图3所示，每个区块由头部和数据主体组成，其中区块头部分包括指向前一个块区块的哈希指针以及一组元数据（时间戳、难度目标、Nonce（Nonce是一个只被使用一次的任意或非重复的随机数值），区块里记录了验证的本地模型的更新（即图3中的模型数据）。
其中，哈希指针除了包含通常的指针外，还包含一些数据信息以及与这些信息相关的密码哈希值，这就使得区块不仅可以用来指向存储位置，还可以用于验证信息是否发生改变。块头的还包括一组元数据，其中，时间戳用来表达该区块产生的近似时间（精确到秒的Unix时间戳），难度目标用来表示工作量证明算法的运行难度，Nonce用来表示工作量证明算法的计数器。
每一个矿工节点拥有一个与其相关联的医疗客户端设备和验证过的本地模型更新数据的候选区块(未上链区块)，写入区块数据直到达到区块的最大数据量（或者达到等待时间T）。然后，运行POW算法，矿工节点通过改变其输入，即Nonce随机生成一个哈希值，直到生成的哈希值变得小于目标值，便成功地找到了哈希值，它的候选块就可以成为区块链中一个新的区块（区块的生成速度
Figure 821013DEST_PATH_IMAGE025
可以被POW的难度目标控制，即POW的难度目标越大/区块目标值越小，区块生成速度
Figure 268175DEST_PATH_IMAGE025
越小），然后将模型数据写入的新生成的区块的数据主体中，就完成了模型数据上链的过程。
步骤5，每个医疗客户端从区块链网络下载所有新的区块中的深度学习模型，根据联邦学习算法校验下载的深度学习模型的准确率，并根据准确率动态调整模型聚合权重更新全局模型。
在本申请的一些实施例中，全局模型的聚合算法由区块链网络的智能合约中联邦学习算法实现与审核，指导每个医疗客户端下载新的区块，并依据智能合约中的联邦学习算法验准确率动态调整模型聚合权重更新全局模型。
步骤6，将更新后的全局模型作为步骤2中的深度学习模型，并返回执行步骤2，直至更新后的全局模型收敛。
即，医疗客户端在完成一次全局模型更新，得到全局参数后，可将该全局参数更新为其局部模型参数（即本地模型参数），进入下一轮的全局模型更新。
值得一提的是，本申请实施例的上述医疗数据联邦学习方法通过利用区块链的共识机制帮助医疗客户端构建一种安全、互惠和稳定的联邦学习环境，利用区块链的智能合约封装针对非独立同分布医疗数据中标签偏移场景的联邦学习算法，在医疗客户端的本地训练阶段，根据智能合约的联邦学习算法在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小，同时在全局模型融合阶段，利用各本地模型的准确率动态调整模型聚合权重进行全局模型的更新，从而解决了医疗数据之间质量差距较大且不同地区的医疗数据因疾病差异导致的数据量和标签不平衡的问题，能训练更优的全局模型、提高联邦学习系统的鲁棒性以及提升各医疗机构对联合训练的积极性，完善多医疗机构共同参与机制。
下面结合具体实施例对上述步骤2的具体实现方式进行示例性说明。
在医疗客户端对深度学习模型的本地训练过程中，可利用超参数，在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小。
具体的，假设每个医疗客户端只能访问一个类的子集，第
Figure 598793DEST_PATH_IMAGE027
个医疗客户端有一个本地医疗数据集
Figure 498616DEST_PATH_IMAGE028
，有
Figure 64726DEST_PATH_IMAGE029
个样本，
Figure 68192DEST_PATH_IMAGE030
表示第
Figure 428766DEST_PATH_IMAGE027
个医疗客户端的第
Figure 815885DEST_PATH_IMAGE031
个样本，标签
Figure 857791DEST_PATH_IMAGE032
仅来自第
Figure 748386DEST_PATH_IMAGE027
个医疗客户端的观察类集为
Figure 483124DEST_PATH_IMAGE033
，第
Figure 91960DEST_PATH_IMAGE027
个医疗客户端缺失标签的类集为
Figure 265452DEST_PATH_IMAGE009
。通过如下公式在深度学习模型Softmax层中将本地医疗数据集中缺失标签类别的分类权重缩小：
Figure 479396DEST_PATH_IMAGE034
其中，
Figure 447352DEST_PATH_IMAGE002
表示第
Figure 714123DEST_PATH_IMAGE027
个医疗客户端的本地医疗数据集中的第
Figure 425727DEST_PATH_IMAGE031
个样本为第
Figure 290915DEST_PATH_IMAGE035
个分类的概率，
Figure 367455DEST_PATH_IMAGE036
，I表示当前分类，𝛼表示超参数，𝛼∈[0，1]，
Figure 950883DEST_PATH_IMAGE010
表示第
Figure 200599DEST_PATH_IMAGE037
轮更新全局模型时，第
Figure 123556DEST_PATH_IMAGE027
个医疗客户端对应的第
Figure 433314DEST_PATH_IMAGE035
个分类权重，
Figure 441722DEST_PATH_IMAGE012
，
Figure 495128DEST_PATH_IMAGE013
表示全局模型的总更新轮数（需要说明的是，第一次执行上述步骤2至步骤5，称之为第一轮更新全局模型，第二次执行上述步骤2至步骤5，称之为第二轮更新全局模型，依此类推，第次执行上述步骤2至步骤5，称之为第轮更新全局模型），
Figure 334908DEST_PATH_IMAGE014
表示第
Figure 523225DEST_PATH_IMAGE027
个医疗客户端的本地医疗数据集中的第
Figure 815666DEST_PATH_IMAGE031
个样本的提取特征向量，C表示分类的总数。
其中，𝛼是唯一的超参数，上述
Figure 344868DEST_PATH_IMAGE002
呈现的是一种不对称的缩放方式，对于观察类，正常情况下
Figure 39154DEST_PATH_IMAGE038
= 1，而对于缺失标签类，则作为一种衰减的方法，即
Figure 690715DEST_PATH_IMAGE038
= 𝛼。当超参数𝛼=1时，等同于联邦平均算法（FedAvg）效果。
下面结合具体实施例对上述步骤5的具体实现方式进行示例性说明。
在本申请的一些实施例中，当医疗客户端根据智能合约下载新的区块后，首先将依据智能合约中的算法通过验证数据集来测试每个本地模型的准确性
Figure 673715DEST_PATH_IMAGE019
（
Figure 68924DEST_PATH_IMAGE019
表示第
Figure 617717DEST_PATH_IMAGE027
个医疗客户端对应的、训练后的深度学习模型的准确性，
Figure 643442DEST_PATH_IMAGE020
，
Figure 910475DEST_PATH_IMAGE022
表示医疗客户端的总数）；然后通过公式
Figure 545594DEST_PATH_IMAGE015
计算第
Figure 948893DEST_PATH_IMAGE027
个医疗客户端对应的、训练后的深度学习模型的模型聚合权重
Figure 207836DEST_PATH_IMAGE016
；最终通过公式
Figure 899849DEST_PATH_IMAGE017
获得全局模型的全局参数
Figure 636861DEST_PATH_IMAGE018
。
其中，
Figure 97929DEST_PATH_IMAGE021
表示第
Figure 527773DEST_PATH_IMAGE031
个医疗客户端对应的、训练后的深度学习模型的准确性，
Figure 503820DEST_PATH_IMAGE023
表示第
Figure 982205DEST_PATH_IMAGE039
轮更新全局模型时，第
Figure 625676DEST_PATH_IMAGE027
个医疗客户端利用自身的本地医疗数据集训练得到的深度学习模型的本地模型参数，
Figure 960843DEST_PATH_IMAGE012
，
Figure 125983DEST_PATH_IMAGE013
表示全局模型的总更新轮数。
需要说明的是，上述验证数据集可以是医疗客户端预先存储的，而利用验证数据集测试模型的准确性可采用常用的准确性获取方式完成，在此不对具体的测试方式进行限定。
下面对医疗客户端和矿工节点的奖励进行示例性说明。
在本申请的一些实施例中，第
Figure 204797DEST_PATH_IMAGE027
个医疗客户端获得的数据奖励与该医疗客户端的本地医疗数据集的样本量
Figure 640458DEST_PATH_IMAGE029
，以及第
Figure 146525DEST_PATH_IMAGE027
个医疗客户端对应的、训练后的深度学习模型的准确性
Figure 362743DEST_PATH_IMAGE019
成正比；矿工节点的挖矿奖励与该矿工节点关联的所有医疗客户端的本地医疗数据集的样本总量
Figure 182931DEST_PATH_IMAGE040
成正比。
值得一提的是，通过在联邦学习过程中，向各医疗机构的医疗客户端和矿工节点给予奖励，从而进一步提升了各医疗机构对联合训练的兴趣。
下面结合具体实验对上述面向医疗大数据的区块链与联邦学习融合方法进行示例性说明。
本申请的实验环境在中央处理器（CPU）为Intel(R) Xeon(R) Silver 4114，内存为128GB，显卡为Nvidia GeForce GTX 2080Ti 10GB的计算机上运行。联邦学习本地训练与联邦学习算法部分基于Python 3.6 编程语言，使用Pytorch 1.4.0 工具包进行实现。区块链网络基于Golang 1.18编程语言编写，通过Go-Python工具包实现两种语言的交互。其中区块链网络的智能合约基于Brownie框架，这是一个基于 Python 的开发和测试区块链的智能合约框架。
本申请使用基准数据集和真实世界数据集共同验证系统性能。本申请使用的基准数据集为CIFAR-10和CIFAR-100（CIFAR-10和CIFAR-100均为常用的彩色图片数据集）。本申请使用的真实世界数据集为COVIDx。COVIDx是目前新型冠状病毒肺炎（COVID-19）阳性病例数量最多的公开数据集，由六个公开的COVID-19数据库组成。真实世界数据集的诊断任务是图像三分类任务，将胸部X射线图分为三类：（1）正常（无感染），（2）普通肺炎，（3）COVID-19。
基准实验设置通过将标签分区构建标签分布偏移场景。具体来说，以C10-100-5场景为例，将CIFAR-10数据集中每个类的样本分成50份，共得到10×50 = 500 份样本。同时，设置100个客户端（即上述医疗客户端），将5份样本分配给每个客户端，这样每个客户端平均包含5个类，每个类包含100个样本。全局训练轮次为1000轮，批尺寸（batch size）为64，权重衰减为5𝑒 – 4。其中，客户端本地迭代过程使用随机梯度下降，学习率为恒定的0.03。在每回合训练中，随机选取10%的客户端参与训练。
在基准数据集实验中，将本申请提出的方法与其他联邦学习方法进行比较，基准方法为著名的FedAvg，除此之外，包括基于正则化的FedMMD和FedProx；基于联邦蒸馏的FD；基于私有共享模型的FLDA；基于分散的FedAws；基于动量和可控变量的Scaffold。表1为深度学习模型为VGG11（VGG11为常用的分类模型），在C10-100-2、C10-100-5和C100-100-20三种场景下的测试精度，选取最后50轮的平均结果。可以看到的是，本申请提出的方法在三种场景下均获得最好的表现。
表1
Figure 535415DEST_PATH_IMAGE042
在真实世界数据集实验中，模拟真实的医疗场景，将不同来源不同地区收集的6种COVID-19阳性病例公开数据集，分别设置为6个客户端的本地医疗
数据集，尽可能地还原真实的应用场景。实验过程中，采用Covid-Net、MobileNetV2、ResNet50和ResNeXt四个深度学习模型，不同随机种子进行
重复验证，将与集中训练和FedAvg两种训练方法进行对比。表2展示了COVIDx数据集上的全局测试精度。对于所有四个模型，本申请提出的方法的结果与经典的FedAvg的结果相当，在实验四个模型中，有三个超过了FedAvg。与集中训练相比，在保护数据安全的前提下，也更为接近。
表2
Figure 415647DEST_PATH_IMAGE044
由以上实验数据可知，本申请的上述联邦学习方法在基准数据集和真实数据集上使用多种深度学习模型和联邦学习算法验证了方法的优越性。需要说明的是，深度学习在医疗领域的广泛应用依赖于大量的真实医疗数据集的训练，而联邦学习是一把巧妙解决“数据孤岛”问题的钥匙。为了保证能安全、准确和持久地获得全局模型，研究者必须结合实际的医疗场景来设计联邦学习模型。而本申请提出的上述联邦学习方法能帮助各医疗机构在本地数据差异过大的情况下训练模型，同时结合区块链辅助解决网络和激励机制的缺乏问题。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (6)

1.一种面向医疗大数据的区块链与联邦学习融合方法，其特征在于，包括：
步骤1，在医疗客户端和矿工节点之间构建区块链网络和联邦学习训练环境，每个医疗客户端从所述区块链网络下载深度学习模型和智能合约，所述智能合约封装有针对非独立同分布医疗数据中标签偏移场景的联邦学习算法；
步骤2，每个医疗客户端利用自身的本地医疗数据集对所述深度学习模型进行训练；在训练过程中，根据所述联邦学习算法在所述深度学习模型Softmax层中将所述本地医疗数据集中缺失标签类别的分类权重缩小；
步骤3，每个医疗客户端将训练后的深度学习模型上传给与该医疗客户端相关联的矿工节点，并根据区块链网络激励机制获得数据奖励；
步骤4，接收到训练后的深度学习模型的多个矿工节点，对训练后的多个深度学习模型进行交叉验证；其中，当训练后的深度学习模型通过交叉验证时，该深度学习模型对应的矿工节点运行工作量证明机制，根据区块链网络激励机制获得挖矿奖励，并在完成工作量证明机制后，产生新的区块，将该深度学习模型存储于该新的区块中，并将新的区块添加到所述区块链网络中；
步骤5，每个医疗客户端从所述区块链网络下载所有新的区块中的深度学习模型，根据所述联邦学习算法校验下载的深度学习模型的准确率，并根据所述准确率动态调整模型聚合权重更新全局模型；
步骤6，将更新后的全局模型作为步骤2中的深度学习模型，并返回执行步骤2，直至更新后的全局模型收敛。
2.根据权利要求1所述的方法，其特征在于，所述根据所述联邦学习算法在所述深度学习模型Softmax层中将所述本地医疗数据集中缺失标签类别的分类权重缩小，包括：
利用超参数，在所述深度学习模型Softmax层中将所述本地医疗数据集中缺失标签类别的分类权重缩小。
3.根据权利要求2所述的方法，其特征在于，所述利用超参数，在所述深度学习模型Softmax层中将所述本地医疗数据集中缺失标签类别的分类权重缩小，包括：
通过公式
Figure 186592DEST_PATH_IMAGE002
，在所述深度学习模型Softmax层中将所述本地医疗数据集中缺失标签类别的分类权重缩小；
其中，
Figure DEST_PATH_IMAGE003
表示第
Figure DEST_PATH_IMAGE005
个医疗客户端的本地医疗数据集中的第
Figure DEST_PATH_IMAGE007
个样本为第
Figure DEST_PATH_IMAGE009
个分类的概率，
Figure DEST_PATH_IMAGE011
，
Figure DEST_PATH_IMAGE013
表示第
Figure 326498DEST_PATH_IMAGE005
个医疗客户端的观察类集，
Figure 62373DEST_PATH_IMAGE014
表示第
Figure 526852DEST_PATH_IMAGE005
个医疗客户端缺失标签的类集，I表示当前分类，𝛼表示超参数，𝛼∈[0，1]，
Figure DEST_PATH_IMAGE015
表示第
Figure DEST_PATH_IMAGE017
轮更新全局模型时，第
Figure 585944DEST_PATH_IMAGE005
个医疗客户端对应的第
Figure 48149DEST_PATH_IMAGE009
个分类权重，
Figure 271320DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
表示全局模型的总更新轮数，
Figure 992020DEST_PATH_IMAGE020
表示第
Figure 984247DEST_PATH_IMAGE005
个医疗客户端的本地医疗数据集中的第
Figure 617354DEST_PATH_IMAGE007
个样本的提取特征向量，C表示分类的总数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述准确率动态调整模型聚合权重更新全局模型，包括：
通过公式
Figure DEST_PATH_IMAGE021
，计算第
Figure 311509DEST_PATH_IMAGE005
个医疗客户端对应的深度学习模型的模型聚合权重
Figure 789895DEST_PATH_IMAGE022
；
通过公式
Figure DEST_PATH_IMAGE023
，获得全局模型的全局参数
Figure 371049DEST_PATH_IMAGE024
；
其中，
Figure DEST_PATH_IMAGE025
表示第
Figure 689904DEST_PATH_IMAGE005
个医疗客户端对应的深度学习模型的准确性，
Figure 887667DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE027
表示第
Figure 356694DEST_PATH_IMAGE007
个医疗客户端对应的深度学习模型的准确性，
Figure 120251DEST_PATH_IMAGE028
表示医疗客户端的总数，
Figure DEST_PATH_IMAGE029
表示第
Figure DEST_PATH_IMAGE031
轮更新全局模型时，第
Figure 298423DEST_PATH_IMAGE005
个医疗客户端利用自身的本地医疗数据集训练得到的深度学习模型的本地模型参数，
Figure 701591DEST_PATH_IMAGE018
，
Figure 52938DEST_PATH_IMAGE019
表示全局模型的总更新轮数。
5.根据权利要求1所述的方法，其特征在于，所述根据区块链网络激励机制获得数据奖励，包括：
每个医疗客户端从与该医疗客户端相关联的矿工节点获得数据奖励；所述数据奖励与该医疗客户端的本地医疗数据集的样本量以及该医疗客户端对应的深度学习模型的准确性成正比。
6.根据权利要求1所述的方法，其特征在于，所述根据区块链网络激励机制获得挖矿奖励，包括：
矿工节点从区块链网络获得挖矿奖励；所述挖矿奖励与该矿工节点关联的所有医疗客户端的本地医疗数据集的样本总量成正比。
CN202211514821.8A 2022-11-30 2022-11-30 面向医疗大数据的区块链与联邦学习融合方法 Active CN115599799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211514821.8A CN115599799B (zh) 2022-11-30 2022-11-30 面向医疗大数据的区块链与联邦学习融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211514821.8A CN115599799B (zh) 2022-11-30 2022-11-30 面向医疗大数据的区块链与联邦学习融合方法

Publications (2)

Publication Number Publication Date
CN115599799A true CN115599799A (zh) 2023-01-13
CN115599799B CN115599799B (zh) 2023-03-10

Family

ID=84851976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211514821.8A Active CN115599799B (zh) 2022-11-30 2022-11-30 面向医疗大数据的区块链与联邦学习融合方法

Country Status (1)

Country Link
CN (1) CN115599799B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994588A (zh) * 2023-03-16 2023-04-21 杭州海康威视数字技术股份有限公司 基于区块链与合同理论的联邦学习方法、装置及设备
CN116258420A (zh) * 2023-05-11 2023-06-13 中南大学 一种产品质量检测方法、装置、终端设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111180061A (zh) * 2019-12-09 2020-05-19 广东工业大学 融合区块链与联邦学习的共享医疗数据智能辅助诊断系统
US20200284883A1 (en) * 2019-03-08 2020-09-10 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN111698322A (zh) * 2020-06-11 2020-09-22 福州数据技术研究院有限公司 一种基于区块链和联邦学习的医疗数据安全共享方法
CN113837761A (zh) * 2021-11-26 2021-12-24 北京理工大学 一种基于区块链和可信执行环境的联邦学习方法及系统
CN113947215A (zh) * 2021-10-26 2022-01-18 平安科技（深圳）有限公司 联邦学习管理方法、装置、计算机设备及存储介质
CN115269723A (zh) * 2022-07-21 2022-11-01 西安交通大学 面向联邦学习的能源回收的区块链绿色共识方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200284883A1 (en) * 2019-03-08 2020-09-10 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN111180061A (zh) * 2019-12-09 2020-05-19 广东工业大学 融合区块链与联邦学习的共享医疗数据智能辅助诊断系统
CN111698322A (zh) * 2020-06-11 2020-09-22 福州数据技术研究院有限公司 一种基于区块链和联邦学习的医疗数据安全共享方法
CN113947215A (zh) * 2021-10-26 2022-01-18 平安科技（深圳）有限公司 联邦学习管理方法、装置、计算机设备及存储介质
CN113837761A (zh) * 2021-11-26 2021-12-24 北京理工大学 一种基于区块链和可信执行环境的联邦学习方法及系统
CN115269723A (zh) * 2022-07-21 2022-11-01 西安交通大学 面向联邦学习的能源回收的区块链绿色共识方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈先来等: ""基于区块链的患者在线交流模型"", 《计算机科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994588A (zh) * 2023-03-16 2023-04-21 杭州海康威视数字技术股份有限公司 基于区块链与合同理论的联邦学习方法、装置及设备
CN115994588B (zh) * 2023-03-16 2023-07-25 杭州海康威视数字技术股份有限公司 基于区块链与合同理论的数据处理方法、装置及设备
CN116258420A (zh) * 2023-05-11 2023-06-13 中南大学 一种产品质量检测方法、装置、终端设备及介质

Also Published As

Publication number Publication date
CN115599799B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN115599799B (zh) 面向医疗大数据的区块链与联邦学习融合方法
CN112949786B (zh) 数据分类识别方法、装置、设备及可读存储介质
CN108491928B (zh) 模型参数发送方法、装置、服务器及存储介质
US11942191B2 (en) Compound property prediction method and apparatus, computer device, and readable storage medium
CN111401558A (zh) 数据处理模型训练方法、数据处理方法、装置、电子设备
Li et al. Integrated CNN and federated learning for COVID-19 detection on chest X-ray images
Libin et al. Deep reinforcement learning for large-scale epidemic control
WO2022116424A1 (zh) 交通流预测模型训练方法、装置、电子设备及存储介质
CN113014566B (zh) 恶意注册的检测方法、装置、计算机可读介质及电子设备
CN110659723A (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN113821668A (zh) 数据分类识别方法、装置、设备及可读存储介质
US20200125958A1 (en) Training apparatus, training method, inference apparatus, inference method, and non-transitory computer readable medium
CN113139628A (zh) 样本图像的识别方法、装置、设备及可读存储介质
WO2022160442A1 (zh) 答案生成方法、装置、电子设备及可读存储介质
Platt et al. Sybil attacks on identity-augmented Proof-of-Stake
CN113902127A (zh) 一种区块链赋能的异步联邦学习方法
Milton et al. Accelerating urban modelling algorithms with artificial intelligence
CN113239985B (zh) 一种面向分布式小规模医疗数据集的分类检测方法
Huang et al. An Ad CTR prediction method based on feature learning of deep and shallow layers
Mills et al. Faster Federated Learning With Decaying Number of Local SGD Steps
CN114360732B (zh) 医疗数据分析方法、装置、电子设备及存储介质
CN115687526A (zh) 一种基于区块链和联邦学习的地震数据模型共享方法
CN114841355A (zh) 一种基于注意力机制的联合学习方法和系统
Popescu et al. Complex conditional generative adversarial nets for multiple objectives detection in aerial images
Liu et al. MIA-FedDL: A Membership Inference Attack against Federated Distillation Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant