CN117936080A - 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统 - Google Patents
基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统 Download PDFInfo
- Publication number
- CN117936080A CN117936080A CN202410331547.3A CN202410331547A CN117936080A CN 117936080 A CN117936080 A CN 117936080A CN 202410331547 A CN202410331547 A CN 202410331547A CN 117936080 A CN117936080 A CN 117936080A
- Authority
- CN
- China
- Prior art keywords
- parameter
- version
- global
- parameters
- federal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 201000011510 cancer Diseases 0.000 title claims abstract description 36
- 239000007787 solid Substances 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims description 26
- 230000002776 aggregation Effects 0.000 claims description 24
- 238000004220 aggregation Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 19
- 206010028980 Neoplasm Diseases 0.000 claims description 16
- 230000036210 malignancy Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- UGAJKWZVPNVCIO-UHFFFAOYSA-N Terminalin Chemical compound O1C(=O)C(C2=3)=C(C4=C(O)C(O)=C(O)C=C4C(=O)O4)C4=C(O)C=3OC(=O)C3=C2C1=C(O)C(OC1=O)=C3C2=C1C=C(O)C(O)=C2O UGAJKWZVPNVCIO-UHFFFAOYSA-N 0.000 description 3
- QTNGLMWAVBOBLJ-UHFFFAOYSA-N Terminaline Natural products C1CC2C(O)C(O)CCC2(C)C2C1C1CCC(C(C)N(C)C)C1(C)CC2 QTNGLMWAVBOBLJ-UHFFFAOYSA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 229930183689 terminalin Natural products 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 2
- 206010021138 Hypovolaemic shock Diseases 0.000 description 2
- 208000008839 Kidney Neoplasms Diseases 0.000 description 2
- 206010038389 Renal cancer Diseases 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 208000029742 colonic neoplasm Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 201000010982 kidney cancer Diseases 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010040560 shock Diseases 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 208000015634 Rectal Neoplasms Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 206010038038 rectal cancer Diseases 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明属于智能医疗领域，具体涉及一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统。方法包括：用户端用本地临床数据集训练本地模型，将训练完成的本地模型参数上传至所述参数服务器；所述参数服务器接收不同的用户端的本地模型参数，根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数，再将所述全局参数发送至用户端；所述用户端接收所述参数服务器端发送的所述全局参数，并更新所述本地模型。所述方法可以优化不同计算能力和数据分布的用户端之间的同步策略，减少等待时间，提高联邦学习的学习效率，解决了联邦学习中的效率不均和资源利用不平衡问题。
Description
技术领域
本发明涉及智能医疗技术领域，更具体地，涉及一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法、系统、设备和计算机可读存储介质。
背景技术
随着医疗技术的发展，医疗数据量呈现爆炸性增长，这些数据包括但不限于患者病历、临床试验结果、医学影像和实验室测试结果。这些数据的复杂性和敏感性要求使用高效、安全且准确的方法进行处理和分析，以支持医疗决策。传统的中心化数据处理方法面临着数据隐私和安全的严重挑战，尤其是在涉及敏感的医疗数据时。此外，中心化方法还需要庞大的数据存储和处理能力，这在资源和成本上都是一大负担。另一方面，现有的医疗决策支持系统在处理复杂的医疗数据时，可能因为缺乏高效的数据分析工具，而无法充分利用这些数据来提供准确的诊断和治疗建议。
尽管为解决数据安全性和隐私性问题，已将联邦学习和分布式训练的方法引入医疗数据的处理中，但是现有技术在以下方面仍然存在不足：
1、在现有的机器学习和分布式框架中，不同用户端的计算能力和数据质量可能存在很大差异，可能导致学习过程中的效率不均和资源利用不平衡，从而影响整个系统的性能。
2、在传统的机器学习环境中，由于缺乏有效的动态参数融合和梯度裁剪机制，可能导致模型训练的不稳定性和效率低下。
3、现有技术可能在处理复杂的医疗文本数据方面存在局限性，缺乏有效的机制来理解和处理大量的临床文本数据。
4、在现有的医疗决策辅助系统中，可能由于缺乏高效、准确的数据处理和分析机制，导致在提供医疗诊断和治疗建议方面的效果有限。
发明内容
鉴于上述问题，本发明提供一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法，利用异步参数处理更高效的利用联邦学习的用户端计算性能，并对异步联邦学习的参数聚合使用动态参数融合，同时使用梯度剪枝方法提高用户端的本地模型训练效率，从而构建高效的基于联邦学习的辅助决策方法。
一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法，所述联邦学习由参数服务器和n个用户端组成，n为大于1的自然数，所述方法包括：
用户端用本地临床数据集训练本地模型，将训练完成的本地模型参数上传至所述参数服务器；
所述参数服务器接收不同的用户端的本地模型参数，聚合本地模型参数得到全局参数，再将所述全局参数发送至用户端，其中，所述参数服务器根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数：如果所述n个用户端版本差异小于等于阈值下限，参数服务器立即执行聚合；如果所述n个用户端版本差异大于阈值下限且小于等于阈值上限，参数服务器等待一段延迟时间后执行聚合；如果所述n个用户端版本差异大于阈值上限，参数服务器强制等待至最小参数版本用户端返回后继续等待一段延迟时间后执行聚合；
所述用户端接收所述参数服务器端发送的所述全局参数，并更新所述本地模型。
进一步，所述参数服务器包括版本管理模块，所述版本管理模块保存了不同的全
局参数版本，所述全局参数版本包括版本号、全局参数、版本时间戳，所述版本管理模块还
保存了个用户端上的全局参数版本号，所述版本管理模块的工作包括以下步骤：
第1步，所述参数服务器接收到来自用户端的所述本地模型参数后，所述版本管理模块更新所述用户端上的全局参数版本号为当前最大版本时间戳对应的版本号+1；
第2步，所述版本管理模块获取所述n个用户端上的版本号，计算所述n个用户端上的版本号的最大值与最小值之差，得到n个用户端版本差异；
第3步，所述参数服务器聚合所述用户端的本地模型参数得到全局参数后，所述版本管理模块记录所述全局参数及所述全局参数的时间戳，得到新的全局参数版本并保存。
进一步，所述延迟时间是由所述版本管理模块根据所述n个用户端版本差异和所述用户端的本地模型参数上传时间决定的。
进一步，所述更新的全局参数值的计算公式为：
其中，为当前最大版本时间戳对应的版本号，是版本号为t的全局参数，为
用户端在版本的贡献度，是学习率，是所述用户端使用t版本的全局参数基于本地
数据集训练，使用梯度得到的所述用户端的本地模型参数。
进一步，所述贡献度根据所述用户端的历史参数质量和迭代完成速度动态调
整所述用户端的本地模型参数在全局参数更新中的权重。
进一步，所述用户端i的贡献度使用的计算公式如下：
其中，表示所述用户端的历史参数质量分数，表示所述用户端i的迭代完成速
度分数，是调节两者影响的权重因子。
进一步，使用动态梯度裁剪后的梯度更新得到所述用户端的本地模型参数上传到
所述参数服务器，所述梯度裁剪的阈值基于所述用户端的性能分数计算得到，所述用户端
的性能分数根据用户端的计算能力、数据吞吐量和历史梯度稳定性指标计算得到。
进一步，所述动态梯度裁剪后的梯度表示为：
其中，表示用户端i在使用全局参数版本t训练时的动态梯度裁剪阈值。
进一步，所述本地模型包括下列模型中的一种或几种：Transformer、GPT、BERT、T5、XLNet、RoBERTa、ALBERT、DALL-E、WaveGAN、BigGAN、UniLM、CLIP。
进一步，所述BERT模型首先对所述临床数据集进行文本预处理，转换成模型能理解的格式；所述文本预处理的结果通过多层编码器捕捉文本上下文之间的关系；解码器解码编码器输出结果，所述解码器输出的结果通过全连接层进行映射和转换产生临床辅助决策文本。
一种基于联邦大模型的实体恶性肿瘤临床辅助决策系统，所述联邦学习由参数服务器和n个用户端组成，n为大于1的自然数，
用户端包括：
获取模块：用于获取本地临床数据集，其中所述用户端为n个用户端的任意一个；
用户端接收模块：用于接收所述参数服务器发送的全局参数并更新本地模型；
训练模块：用于所述本地临床数据集训练本地模型得到本地模型参数；
上传模块：用于所述用户端将所述本地模型参数上传至所述参数服务器端；
参数服务器包括：
服务器接收模块：用于所述参数服务器接收不同的用户端的本地模型参数，
参数聚合模块：用于聚合本地模型参数得到全局参数，其中，所述参数服务器根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数：如果所述n个用户端版本差异小于等于阈值下限，参数服务器立即执行聚合；如果所述n个用户端版本差异大于阈值下限且小于等于阈值上限，参数服务器等待一段延迟时间后执行聚合；如果所述n个用户端版本差异大于阈值上限，参数服务器强制等待至最小参数版本用户端返回后继续等待一段延迟时间后执行聚合；
发送模块：用于将所述全局参数发送至用户端。
一种基于联邦大模型的实体恶性肿瘤临床辅助决策设备，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现任意一项所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法的任一步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时任意一项所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法的任一步骤。
本申请的优势：
1. 本发明根据参数服务器上n个用户端版本差异确定不同的全局参数聚合策略，用于优化不同计算能力和数据分布的用户端之间的同步策略，可以减少等待时间，提高整体的学习效率，解决了联邦学习中的效率不均和资源利用不平衡问题；
2. 本发明通过动态调整全局参数聚合过程中不同用户端的贡献度，有效利用了高性能用户端的计算结果，同时减少了低性能用户端的负面影响，提高了模型训练的稳定性和效率。
3. 本发明通过梯度裁剪得到用户端的本地模型参数，加快了本地模型训练速度，从而提升了联邦学习训练的效率。
4．本发明基于Transformer结构的BERT模型的应用来处理和分析临床文本数据，能够更好地理解和处理复杂的医疗文本数据，提高了辅助决策的准确性和效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法的示意流程图；
图2是本发明实施例提供的一种基于联邦大模型的实体恶性肿瘤临床辅助决策系统的示意流程图；
图3是本发明实施例提供的一种基于联邦大模型的实体恶性肿瘤临床辅助决策设备的示意流程图；
图4是本发明实施例提供的联邦学习框架的示意图。
图5是本发明实施例提供的BERT模型的示意图。
图6是本发明实施例提供的BERT模型具体流程的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法的示意流程图，所述联邦学习由参数服务器和n个用户端组成，n为大于1的自然数，具体地，所述方法包括如下步骤：
S101：用户端用本地临床数据集训练本地模型，将训练完成的本地模型参数上传至所述参数服务器；
实体恶性肿瘤主要包括：乳腺癌、肺癌、食管癌、胃癌、结肠癌、直肠癌、肝癌、肾癌。不同客户端包括不同的本地临床数据集。
在一个实施例中，联邦大模型用于诊断乳腺癌。
在一个实施例中，联邦大模型用于诊断肺癌。
在一个实施例中，联邦大模型用于诊断胃癌。
在一个实施例中，联邦大模型用于诊断结肠癌。
在一个实施例中，联邦大模型用于诊断肝癌。
在一个实施例中，联邦大模型用于诊断肾癌。
联邦学习架构如图4所示，具有多个用户端（节点），标记为用户端0、用户端1、用户
端2和用户端3等，这些用户端代表联邦学习网络中的独立节点，每个节点或用户端都有自
己的本地数据。每个用户端都有一个本地模型，这些本地模型在各自用户端的数据上进行
训练。本地模型和中心模型之间的进行交互，也即模型参数的更新流动。代表从中心模型
接收的参数，表示本地使用参数θ训练后更新的模型参数。
在一个实施例中，模型参数到在本地模型和中心模型之间交换，所述交换方
式允许中心模型聚合更新，并让本地模型接收到新的、聚合后的参数。通过多次迭代，本地
模型进行训练，更新发送至中心模型，执行全局更新，然后将更新的参数再发送回本地模
型。基于该联邦学习架构，能够实现数据的隐私保护，在大模型的训练过程中，不在用户端
之间或与中央服务器共享原始数据，而只交换模型参数进行更新，即，通过中心模型将参数
同步给各用户端的方式，将赋值给各用户端。
在一个实施例中，所述本地模型包括下列模型中的一种或几种：Transformer、GPT、BERT、T5、XLNet、RoBERTa、ALBERT、DALL-E、WaveGAN、BigGAN、UniLM、CLIP。
在一个实施例中，各客户端的模型采用基于Transformer结构的BERT模型，如附图5所示，数据输入Transformer编码器得到输出。BERT是一种基于Transformer的编码器，采用双向预训练的方式来处理自然语言，该模型能够同时考虑上下文信息，从而更好地理解和处理低血容量性休克临床文本数据。
在一个实施例中，基于Transformer结构的BERT模型结合了BERT的编码能力和Transformer的序列到序列学习能力，如附图6所示，具体流程如下：
第1步，预处理阶段：首先进行文本的预处理，包括词嵌入和位置编码，以转换成模型能理解的格式。
在一个具体实施例中，对于输入文本，每个词首先转换为嵌入向量，位置编码则加
入以表示词在句子中的位置，嵌入通过函数和表示。所述词嵌入通过一个预
训练的嵌入层获取，所述位置编码是通过计算得到的。
在一个具体实施例中，使用正弦和余弦函数的组合来为每个位置生成一个唯一的编码。
第2步，编码器层：使用多层的BERT编码器来处理临床文本数据，BERT通过自注意力机制捕捉词与词之间的关系，增强模型对语境的理解能力。具体的，在编码器和解码器中，自注意力机制的计算可以表示为：
其中，分别代表查询、键和值，是键的维度。
在一个具体实施例中，自注意力中的通过不同的权重矩阵从相同的输入转
换得到，可以表示为：
其中，是输入，是可学习的参数矩阵。
第3步，解码器层：临床文本数据经过编码器处理后，进入解码器层。解码器同样是
基于Transformer的结构，其通过自注意力和编码器-解码器注意力机制进行文本生成。其
中，编码器-解码器注意力机制来关联编码器输出和解码器输入的计算方式与自注意力类
似，但来自于解码器，而和来自于编码器。在一个实施例中，来自于解码器的前一层，和来自于编码器的输出，该机制允许解码器专注于输入句子中的特定部分。
在一个具体实施例中，编码器和解码器中还包含一个前馈神经网络，可表示为：
其中，是权重矩阵，是偏置项，该部分参数通过训练进行优化。为
前馈神经网络函数。
第4步，输出处理：解码器输出的结果通过全连接层进行映射和转换，即，解码器的输出通过一个线性层和softmax层产生低血容量性休克临床辅助决策文本，可以表示为：
其中，和是可训练的参数。
在一个实施例中，利用基于Transformer结构的BERT模型产生的文本摘要进行分类或辅助决策。
在一个具体实施例中，首先使用基于Transformer结构的BERT模型生成病例报告或医学文献的摘要，然后从生成的摘要中提取关键特征，特征提取的方式采用词频-逆文档频率方法，可以表示为：
其中，是词汇，是文档，
然后使用提取的特征训练一个分类模型，分类模型采用支持向量机，其优化问题可表示为：
且，对于每个样本，满足。
在一个具体实施例中，将训练好的模型应用于新的摘要数据，模型输出的分类结果可用于辅助医疗决策。
在一个实施例中，利用基于Transformer结构的BERT模型处理肿瘤学相关的医学文献摘要，模型经过训练，能够将摘要分类为不同类型的肿瘤，如乳腺癌、肺癌等。即，医生收到病人的检测报告，报告中包含了复杂的医学术语和数据，医生使用大模型生成报告的摘要，并且模型根据摘要内容将病例分类为“高风险乳腺癌”，本方法能够帮助医生快速理解病人的病情，并决定进行更深入的乳腺癌相关检查，模型的分类结果直接辅助医生进行针对性的诊断和治疗决策。
在一个实施例中，本地模型梯度表示为，其中表示用户端i的本地数
据集，表示本地模型在t-τ时刻接收到的全局参数模型，因为不同的用户端性能不一
致，用户端的参数版本滞后参数服务器τ个版本，τ为自然数，表示损失函数，通过
梯度求得本地模型参数。
在一个实施例中，使用动态梯度裁剪后的梯度得到用户端的本地模型参数，所述
梯度裁剪的阈值基于所述用户端的性能分数计算得到，所述用户端的性能分数根据用
户端的计算能力、数据吞吐量和历史梯度稳定性指标计算得到。
在一个实施例中，用户端版本延迟τ为0，基于用户端性能的动态梯度裁剪机制计
算时，根据每个用户端的性能动态调整其梯度的裁剪阈值，以减少由于用户端间
性能差异导致的梯度噪声和不稳定更新。对于每个用户端，定义其在时刻的动态梯度裁
剪阈值为。这个阈值根据用户端的实时性能指标动态调整，以应对不同性能用户端产生
的梯度差异。裁剪阈值的调整基于用户端的性能分数，该性能分数综合了计算能力、
数据吞吐量和历史梯度稳定性的指标，具体的，的计算方式可以表示为：
其中，是全局基础裁剪阈值，是性能分数对应的调整函数。
在一个实施例中，性能分数的计算方式可以表示为：
其中，、和分别代表用户端的计算能力、数据吞吐量和历
史梯度稳定性指标，，，是对应的权重系数。
在一个具体实施例中，在进行梯度更新时，首先对用户端的原始梯度进
行裁剪，使其模长不超过，裁剪后的梯度可以表示为：
通过动态梯度裁剪机制可以有效降低由于用户端性能差异导致的梯度不稳定性和噪声，从而提高整个联邦学习系统的稳定性和效率。
S102：所述参数服务器接收不同的用户端的本地模型参数，聚合本地模型参数得到全局参数，再将所述全局参数发送至用户端，其中，所述参数服务器根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数：如果所述n个用户端版本差异小于等于阈值下限，参数服务器立即执行聚合；如果所述n个用户端版本差异大于阈值下限且小于等于阈值上限，参数服务器等待一段延迟时间后执行聚合；如果所述n个用户端版本差异大于阈值上限，参数服务器强制等待至参数服务器进入弱反馈状态后执行弱反馈状态下的聚合；
在一个实施例中，所述参数服务器包括版本管理模块，所述版本管理模块保存了
不同的全局参数版本，所述全局参数版本包括版本号、全局参数、版本时间戳，所述版本管
理模块还保存了个用户端上的全局参数版本号和本地模型参数上传时间，所述版本管理
模块的工作包括以下步骤：
第1步，所述参数服务器接收到来自用户端的所述本地模型参数后，所述版本管理模块更新所述用户端上的全局参数版本号为当前最大版本时间戳对应的版本号+1；
第2步，所述版本管理模块获取所述n个用户端上的版本号，计算所述n个用户端上的版本号的最大值与最小值之差，得到n个用户端版本差异；
第3步，所述参数服务器聚合所述用户端的本地模型参数得到全局参数后，所述版本管理模块记录所述全局参数及所述全局参数的时间戳，得到新的全局参数版本并保存。
在一个实施例中，参数服务器聚合来自本地模型的参数更新全局参数，全局参数的更新是联邦学习过程聚合个体本地更新以创建新的全局模型的方式，全局模型更新结束后，即获得基于联邦大模型的实体恶性肿瘤临床辅助决策模型。
在一个实施例中，在联邦学习框架的各客户端进行参数更新时，采用联邦自反馈的方式进行参数的更新。联邦自反馈参数更新方法针对的是联邦学习中的一个关键问题，即，在联邦计算环境中，不同节点的计算能力和数据分布可能差异很大，导致整个学习过程中出现效率不均和资源利用不平衡的问题。联邦自反馈参数更新方法的目标是通过自反馈的方式调整不同节点之间的同步策略来优化整个学习过程，减少等待时间，提高整体的学习效率。
在一个实施例中，联邦自反馈参数更新方法的处理方式包括节点状态管理：节点状态管理是联邦自反馈参数更新方法的基础，通过参数服务器来跟踪和管理每个工作节点的当前状态，包括每个节点使用的参数版本和最近一次迭代的完成时间，工作节点的参数版本可以表示为：
工作节点的最近一轮的迭代完成时间可以表示为：
这些信息用于判断节点是否使用陈旧参数并动态设定同步点。
在一个实施例中，当参数服务器收到节点的梯度后，参数服务器更新该节点的参
数版本为：
迭代完成时间为参数服务器接收到该节点本地参数的时间，其中，参数版本
表示节点在时刻使用的参数版本，该版本号随着节点完成迭代和参数更新而增加。
在一个实施例中，当节点完成一次迭代并发送本地参数到参数服务器后，参数服
务器会将该节点的版本号更新为当前全局最新的版本号加1，此外，更新迭代完成时间。
在一个实施例中，采用联邦自反馈参数更新方法将工作节点的同步状态分为3种：无反馈迭代状态、弱反馈状态和强反馈状态，以更好地平衡同步等待和陈旧参数对全局模型收敛效率的影响：
无反馈迭代状态：当所有节点开始迭代时，它们处于无反馈迭代状态，且当所有节
点刚开始迭代时，设立状态阈值下限为，保证成立以下条件：
在这个状态下，节点可以完全异步更新参数，无需等待其他节点的同步，有利于快速开始新一轮迭代。在无反馈迭代状态下，工作节点无需等待同步就可以更新全局模型参数，从而快速开始新一轮迭代。
弱反馈状态：当节点间的参数版本差异超过一个预设的下限但未达到上限时，系统进入弱反馈状态，可以表示为：
即，满足该条件，节点的延迟等待时间的确定方式可以表示为：
其中，延迟等待时间是根据节点之间参数版本的差异和它们的迭代完成时间
来决定的，是弱反馈权重值，用于调整等待时间的长度。和分别是当前节点和参
数版本最小的节点的最近迭代完成时间。延迟等待时间用于估算节点间的同步需要等待的
时间，以确保版本差异较大的节点能够在不影响整体进度的情况下进行同步。在此状态下，
只有版本差异较大的节点会进行同步，减少同步操作的范围。
强反馈状态：当节点间的参数版本差异超过预设的上限时，系统进入强反馈状态，可以表示为：
在这个状态下，所有节点将进行显式同步，确保参数的一致性，避免陈旧参数过多
影响模型训练的稳定性。在该状态下，将设立显式同步栅栏，确保所有节点的参数陈旧程度
在范围内。
在一个实施例中，所述更新的全局参数值的计算公式为：
其中，为当前最大版本时间戳对应的版本号，是版本号为t的全局参数，为
用户端在版本的全局参数中的贡献度，是学习率，是所述用户端使用t版本的全局参
数基于本地数据集训练，使用梯度得到的所述用户端的本地模型参数。
在一个实施例中，所述更新的全局参数值的计算公式为：
其中，为当前最大版本时间戳对应的版本号，是版本号为t的全局参数，为用
户端在版本的全局参数中的贡献度，是学习率，是所述用户端使用t版本的全局参数基于本地数据集训练，使用梯度得到的所述用户端的本地模型参数。
在一个实施例中，节点更新全局模型参数的方式可以表示为：
其中，用户端模型参数的更新是按照梯度下降方法进行的，是当前的全局模型
参数，为节点在时刻的贡献度，是学习率，通过自适应的方式进行调整。是
节点关于节点数据的梯度，表示剪枝后的梯度，节点使用对基于全局参数
和本地数据的损失函数通过梯度得到本地参数，表示节点的参数滞后版本。
在一个实施例中，贡献度基于节点贡献度的动态参数融合机制进行调整，其根
据每个节点对全局模型贡献的大小，动态调整其在全局参数更新中的权重，从而更有效地
利用高性能节点的计算结果，同时减少低性能节点的负面影响。具体的，定义节点在时刻
的贡献度，其基于节点的历史梯度质量和迭代完成速度来计算，反映了节点对模型训练
的整体贡献，贡献度的计算方式可以表示为：
其中，表示节点的历史梯度质量分数，表示其迭代完成速度分数，是调节两
者影响的权重因子。
在一个实施例中，历史梯度质量分数和迭代完成速度分数的计算方式可以表
示为：
其中，是一个用于评估梯度的质量函数，在一个实施例中，该函数可以设
置为精度函数，由预设的分类器或预测模型得到。
在一个实施例中，速度分数的计算方式可以表示为：
通过基于节点贡献度的动态参数融合机制可以确保高贡献度节点的计算结果对全局模型有更大的影响，而低贡献度节点的影响相对减少，从而在提高整体训练效率的同时保持模型的稳定性。
在一个实施例中，自适应调整会根据每个节点的性能和历史参数变化情况动态
调整其具体值，以提升联邦自反馈参数更新方法算法在异构分布式环境下的效率和稳定
性，从而更有效地处理不同节点间性能的差异性。即，对于每个节点，定义其时刻的自适
应学习率为，该学习率不仅依赖于全局的基础学习率，还与节点的本地性能和历史梯度
变化密切相关。学习率的调整依据为：
其中，是基于节点的历史梯度变化计算得出的调整系数。
在一个实施例中，调整系数的计算方式可以表示为如下公式：
其中，是一个预设的平滑参数，是节点在最近几轮迭代中梯度变化的平均绝
对值。
在一个，在进行梯度变化的计算时，首先定义该值，定义的方式可以表示为:
其中，为考虑的历史迭代轮数，和分别是节点在连续两轮
迭代中计算的梯度。
在一个实施例中，联邦自反馈参数更新方法根据实时监控的节点状态信息和全局
模型的收敛情况动态调整同步策略和参数更新策略，即，通过自反馈地方式动态调整和，以及权重，以实现最优的学习效率。和在初始阶段，设定为较宽松的值，随着
系统运行和节点间差异的变化，这些阈值会相应调整，以确保系统在效率和稳定性之间找
到最佳平衡。
S103：所述用户端接收所述参数服务器端发送的所述全局参数，并更新本地模型。
图2是本发明实施例提供的一种基于联邦大模型的实体恶性肿瘤临床辅助决策系统的示意流程图；
用户端包括：
获取模块201：用于获取本地临床数据集，其中所述用户端为n个用户端的任意一个；
用户端接收模块202：用于接收所述参数服务器发送的全局参数并更新本地模型；
训练模块203：用于所述本地临床数据集训练本地模型得到本地模型参数；
上传模块204：用于所述用户端将所述本地模型参数上传至所述参数服务器端；
参数服务器包括：
服务器接收模块211：用于所述参数服务器接收不同的用户端的本地模型参数，
参数聚合模块212：用于聚合本地模型参数得到全局参数，其中，所述参数服务器根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数：如果所述n个用户端版本差异小于等于阈值下限，参数服务器立即执行聚合；如果所述n个用户端版本差异大于阈值下限且小于等于阈值上限，参数服务器等待一段延迟时间后执行聚合；如果所述n个用户端版本差异大于阈值上限，参数服务器强制等待至最小参数版本用户端返回后继续等待一段延迟时间后执行聚合；
发送模块213：用于将所述全局参数发送至用户端。
图3是本发明实施例提供的一种基于联邦大模型的实体恶性肿瘤临床辅助决策设备的示意框图。
一种基于时序数据的疾病预警设备，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时实现上述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法的步骤。
一种计算机可读存储介质，所述计算机可读取存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法步骤。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以适度改善本方法的性能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述联邦学习由参数服务器和n个用户端组成，n为大于1的自然数，所述方法包括：
用户端用本地临床数据集训练本地模型，将训练完成的本地模型参数上传至所述参数服务器；
所述参数服务器接收不同的用户端的本地模型参数，聚合本地模型参数得到全局参数，再将所述全局参数发送至用户端，其中，所述参数服务器根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数：如果所述n个用户端版本差异小于等于阈值下限，参数服务器立即执行聚合；如果所述n个用户端版本差异大于阈值下限且小于等于阈值上限，参数服务器等待一段延迟时间后执行聚合；如果所述n个用户端版本差异大于阈值上限，参数服务器强制等待至最小参数版本用户端返回后继续等待一段延迟时间后执行聚合；
所述用户端接收所述参数服务器端发送的所述全局参数，并更新所述本地模型。
2.根据权利要求1所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述参数服务器包括版本管理模块，所述版本管理模块保存了不同的全局参数版本，所述全局参数版本包括版本号、全局参数、版本时间戳，所述版本管理模块还保存了个用户端上的全局参数版本号，所述版本管理模块的工作包括以下步骤：
第1步，所述参数服务器接收到来自用户端的所述本地模型参数后，所述版本管理模块更新所述用户端上的全局参数版本号为当前最大版本时间戳对应的版本号+1；
第2步，所述版本管理模块获取所述n个用户端上的版本号，计算所述n个用户端上的版本号的最大值与最小值之差，得到n个用户端版本差异；
第3步，所述参数服务器聚合所述用户端的本地模型参数得到全局参数后，所述版本管理模块记录所述全局参数及所述全局参数的时间戳，得到新的全局参数版本并保存。
3.根据权利要求2所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述延迟时间是由所述版本管理模块根据所述n个用户端版本差异和所述用户端的本地模型参数上传时间决定的。
4.根据权利要求1所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述更新的全局参数值的计算公式为：
其中，为当前最大版本时间戳对应的版本号，/>是版本号为t的全局参数，/>为用户端/>在版本/>的全局参数中的贡献度，/>是学习率，/>是所述用户端/>使用t版本的全局参数/>基于本地数据集/>训练，使用梯度/>得到的所述用户端的本地模型参数。
5.根据权利要求4所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述贡献度根据所述用户端的历史参数质量和迭代完成速度动态调整所述用户端的本地模型参数在全局参数更新中的权重。
6.根据权利要求5所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述用户端i的贡献度使用的计算公式如下：
其中，表示所述用户端/>的历史参数质量分数，/>表示所述用户端i的迭代完成速度分数，/>是调节两者影响的权重因子。
7.根据权利要求1所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，使用动态梯度裁剪后的梯度更新得到所述用户端的本地模型参数上传到所述参数服务器，所述梯度裁剪的阈值基于所述用户端的性能分数计算得到，所述用户端的性能分数根据用户端的计算能力、数据吞吐量和历史梯度稳定性指标计算得到。
8.根据权利要求7所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述动态梯度裁剪后的梯度表示为：
其中，表示用户端i在使用全局参数版本t训练时的动态梯度裁剪阈值。
9.根据权利要求1所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述本地模型包括下列模型中的一种或几种：Transformer、GPT、BERT、T5、XLNet、RoBERTa、ALBERT、DALL-E、WaveGAN、BigGAN、UniLM、CLIP。
10.根据权利要求9所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法，其特征在于，所述BERT模型首先对所述临床数据集进行文本预处理，转换成模型能理解的格式；所述文本预处理的结果通过多层编码器捕捉文本上下文之间的关系；解码器解码编码器输出结果，所述解码器输出的结果通过全连接层进行映射和转换产生临床辅助决策文本。
11.一种基于联邦大模型的实体恶性肿瘤临床辅助决策系统，其特征在于，所述联邦学习由参数服务器和n个用户端组成，
用户端包括：
获取模块：用于获取本地临床数据集，其中所述用户端为n个用户端的任意一个；
用户端接收模块：用于接收所述参数服务器发送的全局参数并更新本地模型；
训练模块：用于所述本地临床数据集训练本地模型得到本地模型参数；
上传模块：用于所述用户端将所述本地模型参数上传至所述参数服务器端；
参数服务器包括：
服务器接收模块：用于所述参数服务器接收不同的用户端的本地模型参数，
参数聚合模块：用于聚合本地模型参数得到全局参数，其中，所述参数服务器根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数：如果所述n个用户端版本差异小于等于阈值下限，参数服务器立即执行聚合；如果所述n个用户端版本差异大于阈值下限且小于等于阈值上限，参数服务器等待一段延迟时间后执行聚合；如果所述n个用户端版本差异大于阈值上限，参数服务器强制等待至最小参数版本用户端返回后继续等待一段延迟时间后执行聚合；
发送模块：用于将所述全局参数发送至用户端。
12.一种基于联邦大模型的实体恶性肿瘤临床辅助决策设备，其特征在于，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-10任意一项所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410331547.3A CN117936080B (zh) | 2024-03-22 | 2024-03-22 | 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410331547.3A CN117936080B (zh) | 2024-03-22 | 2024-03-22 | 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117936080A true CN117936080A (zh) | 2024-04-26 |
| CN117936080B CN117936080B (zh) | 2024-06-04 |
Family
ID=90766981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410331547.3A Active CN117936080B (zh) | 2024-03-22 | 2024-03-22 | 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117936080B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118430835A (zh) * | 2024-07-02 | 2024-08-02 | 中国人民解放军总医院 | 一种基于大小模型协同的多目标临床决策方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395841A (zh) * | 2020-11-18 | 2021-02-23 | 福州大学 | 一种基于bert的自动填补空缺文本方法 |
| CN112818394A (zh) * | 2021-01-29 | 2021-05-18 | 西安交通大学 | 具有本地隐私保护的自适应异步联邦学习方法 |
| CN113435604A (zh) * | 2021-06-16 | 2021-09-24 | 清华大学 | 一种联邦学习优化方法及装置 |
| US20210374562A1 (en) * | 2020-05-28 | 2021-12-02 | Microsoft Technology Licensing, Llc | Feature removal framework to streamline machine learning |
| CN113989561A (zh) * | 2021-10-29 | 2022-01-28 | 河海大学 | 基于异步联邦学习的参数聚合更新方法、设备及系统 |
| US20220374763A1 (en) * | 2021-05-18 | 2022-11-24 | International Business Machines Corporation | Federated learning with partitioned and dynamically-shuffled model updates |
| CN115472157A (zh) * | 2022-08-22 | 2022-12-13 | 成都信息工程大学 | 基于深度学习的中医临床语音识别方法及模型 |
| CN115511103A (zh) * | 2022-10-20 | 2022-12-23 | 抖音视界有限公司 | 用于联邦学习的方法、装置、设备和介质 |
| CN116245194A (zh) * | 2022-12-27 | 2023-06-09 | 北京百度网讯科技有限公司 | 异步联邦学习方法、装置、系统及存储介质 |
| CN116403700A (zh) * | 2023-03-07 | 2023-07-07 | 西安交通大学 | 一种基于联邦学习的心脏病辅助诊断系统 |
| CN116759100A (zh) * | 2023-08-22 | 2023-09-15 | 中国人民解放军总医院 | 基于联邦学习构建慢性心血管疾病大模型方法 |
| US20240046372A1 (en) * | 2022-08-05 | 2024-02-08 | Beijing Jiaotong University | Method for distributing equity reward for federated learning based on equity theory |
-
2024
- 2024-03-22 CN CN202410331547.3A patent/CN117936080B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210374562A1 (en) * | 2020-05-28 | 2021-12-02 | Microsoft Technology Licensing, Llc | Feature removal framework to streamline machine learning |
| CN112395841A (zh) * | 2020-11-18 | 2021-02-23 | 福州大学 | 一种基于bert的自动填补空缺文本方法 |
| CN112818394A (zh) * | 2021-01-29 | 2021-05-18 | 西安交通大学 | 具有本地隐私保护的自适应异步联邦学习方法 |
| US20220374763A1 (en) * | 2021-05-18 | 2022-11-24 | International Business Machines Corporation | Federated learning with partitioned and dynamically-shuffled model updates |
| CN113435604A (zh) * | 2021-06-16 | 2021-09-24 | 清华大学 | 一种联邦学习优化方法及装置 |
| CN113989561A (zh) * | 2021-10-29 | 2022-01-28 | 河海大学 | 基于异步联邦学习的参数聚合更新方法、设备及系统 |
| US20240046372A1 (en) * | 2022-08-05 | 2024-02-08 | Beijing Jiaotong University | Method for distributing equity reward for federated learning based on equity theory |
| CN115472157A (zh) * | 2022-08-22 | 2022-12-13 | 成都信息工程大学 | 基于深度学习的中医临床语音识别方法及模型 |
| CN115511103A (zh) * | 2022-10-20 | 2022-12-23 | 抖音视界有限公司 | 用于联邦学习的方法、装置、设备和介质 |
| CN116245194A (zh) * | 2022-12-27 | 2023-06-09 | 北京百度网讯科技有限公司 | 异步联邦学习方法、装置、系统及存储介质 |
| CN116403700A (zh) * | 2023-03-07 | 2023-07-07 | 西安交通大学 | 一种基于联邦学习的心脏病辅助诊断系统 |
| CN116759100A (zh) * | 2023-08-22 | 2023-09-15 | 中国人民解放军总医院 | 基于联邦学习构建慢性心血管疾病大模型方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王蓉;马春光;武朋;: "基于联邦学习和卷积神经网络的入侵检测方法", 信息网络安全, no. 04, 10 April 2020 (2020-04-10) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118430835A (zh) * | 2024-07-02 | 2024-08-02 | 中国人民解放军总医院 | 一种基于大小模型协同的多目标临床决策方法及系统 |
| CN118430835B (zh) * | 2024-07-02 | 2024-09-27 | 中国人民解放军总医院 | 一种基于大小模型协同的多目标临床决策方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117936080B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117936080B (zh) | 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统 | |
| Zhou et al. | Communication-efficient federated learning with compensated overlap-fedavg | |
| CN110378468A (zh) | 一种基于结构化剪枝和低比特量化的神经网络加速器 | |
| CN115688913B (zh) | 一种云边端协同个性化联邦学习方法、系统、设备及介质 | |
| WO2019184836A1 (zh) | 数据分析设备、多模型共决策系统及方法 | |
| JP7287397B2 (ja) | 情報処理方法、情報処理装置及び情報処理プログラム | |
| CN113033082B (zh) | 基于异构算力感知的去中心化联邦学习框架及建模方法 | |
| CN116034382A (zh) | 垂直分区数据的隐私保护异步联邦学习 | |
| Liu et al. | Fedpa: An adaptively partial model aggregation strategy in federated learning | |
| WO2020010569A1 (zh) | 大数据综合分析处理服务系统 | |
| Navarro et al. | A big data framework for urban noise analysis and management in smart cities | |
| CN111598700A (zh) | 一种金融风控系统及方法 | |
| WO2022246986A1 (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
| Li et al. | Ubinn: a communication efficient framework for distributed machine learning in edge computing | |
| CN107528731B (zh) | 应用于ns3并行仿真的网络分割优化算法 | |
| Chen et al. | Channel adaptive and sparsity personalized federated learning for privacy protection in smart healthcare systems | |
| Hao et al. | An adaptive stochastic resonance detection method with a knowledge-based improved artificial fish swarm algorithm | |
| CN117196014A (zh) | 基于联邦学习的模型训练方法、装置、计算机设备及介质 | |
| CN116976461A (zh) | 联邦学习方法、装置、设备及介质 | |
| Yuan | Discussion on the application of computer big data in internet learning | |
| Zebin et al. | Research on intelligent perception model of sdn network delay | |
| CN115905983A (zh) | 一种人工智能数据归类系统 | |
| CN117667227A (zh) | 参数调整方法及相关设备 | |
| CN114239983A (zh) | 一种目标区域的人口流量预测方法及相关装置 | |
| CN114862098A (zh) | 资源分配方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |