CN116741388B - 基于联邦学习构建心血管急危重症大模型的方法 - Google Patents
基于联邦学习构建心血管急危重症大模型的方法 Download PDFInfo
- Publication number
- CN116741388B CN116741388B CN202311018516.4A CN202311018516A CN116741388B CN 116741388 B CN116741388 B CN 116741388B CN 202311018516 A CN202311018516 A CN 202311018516A CN 116741388 B CN116741388 B CN 116741388B
- Authority
- CN
- China
- Prior art keywords
- model
- local
- parameters
- matrix
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000002526 effect on cardiovascular system Effects 0.000 title claims abstract description 50
- 201000010099 disease Diseases 0.000 title claims abstract description 28
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 28
- 230000006854 communication Effects 0.000 claims abstract description 42
- 238000004891 communication Methods 0.000 claims abstract description 41
- 230000002776 aggregation Effects 0.000 claims abstract description 14
- 238000004220 aggregation Methods 0.000 claims abstract description 14
- 239000002245 particle Substances 0.000 claims description 86
- 230000006870 function Effects 0.000 claims description 78
- 239000011159 matrix material Substances 0.000 claims description 74
- 238000004422 calculation algorithm Methods 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 43
- 208000028399 Critical Illness Diseases 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 4
- 230000002431 foraging effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 241001673102 Jaya Species 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000002922 simulated annealing Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000011282 treatment Methods 0.000 abstract description 4
- 238000010606 normalization Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000035772 mutation Effects 0.000 description 4
- 206010007625 cardiogenic shock Diseases 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003907 kidney function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000030090 Acute Disease Diseases 0.000 description 1
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 229910001369 Brass Inorganic materials 0.000 description 1
- 206010009192 Circulatory collapse Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000009525 Myocarditis Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 206010000891 acute myocardial infarction Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000005857 malignant hypertension Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 239000010970 precious metal Substances 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Physiology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及智能医疗领域，具体涉及基于联邦学习构建心血管急危重症大模型的方法。联邦学习由中央服务器端和m个用户端组成，用户端从自身存储的心血管急危重症数据集中训练本地模型；所述中央服务器端与所述用户端通过不同的安全通信通道连接，用户端从所述本地模型中导出本地模型参数上传至所述中央服务器端；所述中央服务器端接收m个用户端的本地模型参数并进行加权聚合得到全局模型，再导出所述全局模型的全局参数传输至用户端；所述用户端接收所述中央服务器端发送的所述全局参数，并更新所述本地模型得到本地更新模型；重复上述步骤直至训练结束，本发明提出分布式机器学习，解决隐私性问题，实现疾病分类，具有很好临床价值。
Description
技术领域
本申请涉及智能医疗领域，具体涉及一种基于联邦学习构建心血管急危重症大模型的方法、设备、系统、计算机可读存储介质。
背景技术
疾病中存在一部分突发性、急性疾病，这一类疾病发病急剧、病情变化快、症状较重，比如心源性休克是一种病情严重、死亡率高的急性循环衰竭，对于这一类的疾病进行提前预测、及时预警是十分有必要的，但在先前的医疗环境中，传统的诊断方法通常基于临床症状、体格检查、实验室检查和器械检查，存在处理数据量小、预测精度低、对医疗资源依赖大的问题，它无法满足当下的需求。此外，由于医疗数据的敏感性和隐私性，医疗领域也面临着数据共享和隐私保护的挑战。现如今，人工智能技术的发展为这一类疾病预测、辅助决策提供可能，机器学习、深度学习能够处理大规模数据集，对于突发性疾病的智能决策系统正在不断研发中。
发明内容
针对研究突发性疾病的智能决策支持系统面对的问题，包括处理数据量小、预测精度低、对医疗资源依赖大、数据共享与隐私保护，本申请提出一种基于联邦学习构建心血管急危重症大模型的方法，联邦学习由中央服务器端和m个用户端组成，具体包括：
用户端从自身存储的本地心血管急危重症临床数据集中训练本地模型，所述用户端为所述m个用户端中的任意一个；
所述中央服务器端与所述用户端通过不同的安全通信通道连接，不同的用户端使用不同的安全通信通道从所述本地模型中导出本地模型参数上传至所述中央服务器端；
所述中央服务器端接收不同的用户端的本地模型参数，并对所述本地模型参数进行加权聚合处理，得到全局模型，再将所述全局模型中导出全局参数，传输至用户端；
所述用户端接收所述中央服务器端发送的所述全局参数，并更新所述本地模型得到本地更新模型，所述本地更新模型将代替所述本地模型；
重复上述步骤进行多次迭代直至损失函数收敛或训练轮数达到模型预设轮数。
进一步，所述联邦学习采用联邦平均算法进行模型的协同训练，所述联邦平均算法是联邦学习中的一种聚合算法，通过全局迭代实现局部模型的协同训练。
进一步，所述联邦平均算法的步骤包括：
第一步：对用户端及中央服务器进行参数初始化；
第二步：根据用户端的样本数进行训练得到用户端模型的损失函数及模型参数，将用户端损失函数及模型参数并上传至中央服务器；
第三步：通过用户端的损失函数、总样本数和用户端样本数量计算出联邦学习模型损失函数，同时根据用户端上传的本地模型参数进行聚合来更新全局模型参数，全局模型参数可表示为：
其中，k代表用户端，t代表迭代的次数；
第四步：用户端模型接受所述全局模型参数更新本地模型参数设置，然后重复进行上述步骤，直至训练结束。
所述本地模型所用的算法包括下列中的一种或几种：逻辑回归、随机森林、决策树、支持向量机、极限学习机、卷积神经网络。
进一步，所述极限学习机是一种求解单隐层神经网络的算法，由输入层，单隐藏层和输出层组成，具体模型训练步骤包括：
第一步：获取本地心血管急危重症临床样本数据及样本对应的标签；
第二步：将训练集样本数据转换为向量矩阵，将向量矩阵输入至输入层，同时在一定范围内随机初始化输入层与隐藏层间的连接权重、偏置；
第三步：向量矩阵通过随机映射矩阵映射到特征空间得到特征向量，特征向量与权重相乘再加上偏置输到隐藏层中得到初始向量矩阵；
第四步：初始向量矩阵通过激活函数计算得到隐藏层单个节点的输出，并将隐藏层所有节点求和得到隐藏层的输出矩阵；
第五步：通过最小二乘法计算输出层的权值，再将隐藏层的输出矩阵与所述权值相乘得到输出层的权重矩阵；
第六步：通过输出层的权重矩阵和样本数据计算获得样本数据的预测值，再对比预测值与真实值的标签得到模型训练的结果。
进一步，采用高斯核函数矩阵进行所述的随机映射矩阵，所述高斯核函数矩阵是高斯核函数RBF依据Mercer条件定义的，可以表示为：
其中，表示核函数的参数因子，H为隐藏层的输出矩阵，极限学习机的分类模型可以表示为：
其中，为正则化参数，是单位矩阵，表示样本对应的核函数。
在本地模型训练时进行参数优化，所述参数优化采用下列算法中的一种或几种：Jaya算法、遗传算法、模拟退火算法、粒子群算法、蚁群算法。
进一步，采用粒子群算法进行模型参数优化包括：以极限学习机输入层与隐含层之间的输入权重和偏置的取值范围构成可行解空间，其中存在一个粒子是所求问题的最优解，所述粒子在解空间运动，通过更新粒子的速度、位置和适应度值来获得最优取值，所述最优取值赋值给权重和偏置，作为所述权重和偏置的初始化值；所述适应度值是由适应度函数决定的，每一个粒子都有一个适应度函数来决定适值，所述粒子包含两个属性，分为速度和位置，所述速度表示粒子下一步迭代时移动的方向和距离，所述位置是所求解问题的一个解。
进一步，所述适应度函数是基于模型的错误率和模型的复杂度计算得到的。
所述粒子群算法通过引入叠加性编码对λ只粒子初始化，得到第只叠加性粒子在次迭代的粒子速度和粒子位置，所述粒子通过旋转式更新来更新粒子的位置，使得每只叠加性粒子向觅食的最优位置演化。
所述粒子群算法通过构建非线性自适应旋转角更新粒子的速度和位置，同时引入非转门实现较差个体的粒子位置变异。
所述方法还包括对所述本地心血管急危重症临床数据集预处理，所述数据集预处理的数据集是文本数据，所述文本数据包括结构化数据和非结构化数据，对所述非结构化数据进行向量化处理，然后对所述结构化数据和所述非结构化数据进行归一化处理。
进一步，所述向量化处理是采用词嵌入的方式，将每个词表示为一个高维向量，所述归一化处理是采用Min-Max归一化方法，将所述结构化数据和所述非结构化数据的范围到[0,1]之间。
本申请的目的在于提供一种基于联邦学习构建心血管急危重症大模型的系统，所述联邦学习的疾病辅助决策系统包括中央服务器端和m个用户端，所述中央服务器端与m个用户端通过安全通信通道相连，用户端包括：
获取模块：用于获取本地心血管急危重症临床数据集，其中所述用户端为m个用户端的任意一个；
训练模块：用于所述本地心血管急危重症临床数据集训练本地模型获得本地模型及本地模型参数；
传输模块：用于所述用户端将所述本地模型参数上传至所述中央服务器端，所述中央服务器下发给所述用户端，其中，所述中央服务器端根据所述用户端上传的所述本地模型参数进行聚合，在得到满足状态的全局模型及全局模型参数的情况下，所述中央服务器将所述全局模型参数传输至所述用户端，所述用户端更新所述本地模型参数。
本申请的目的在于提供一种基于联邦学习构建心血管急危重症大模型的设备，包括：
存储器和处理器；
所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现上述的基于联邦学习构建心血管急危重症大模型方法任意步骤。
本申请的目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于联邦学习构建心血管急危重症大模型方法任意步骤。
本申请的优势：
1．考虑到医疗数据隐私性的问题以及当前数据孤岛的现象，本申请提出联邦学习模型，该模型由中央服务器和多个用户组成，通过这种一对多的分布式结构进行全局大模型训练，每个参与训练的用户在无需共享原始参数的情况下获得性能优良的大模型，在避免医疗数据隐私性问题的同时间接完成了数据共享。
2．在各用户端中，本申请使用了极限学习机算法进行训练本地模型，极限学习机只需设置合适的隐藏层节点数，随机生成隐藏层所需要的参数就能完成模型训练而无需多次更新隐藏层参数，具有训练参数少、学习速度快、泛化能力强的优点，同时本申请使用了高斯核函数将样本映射到高维特征空间，解决低维线性不可分的问题。
3．在对极限学习机随机初始化权重和偏置时，将其转化成寻找最优解的问题，本申请采用粒子群优化算法，在可解空间中跟踪个体粒子的极值与群体全局粒子的极值，通过对比得到最优解并赋值于权重和偏执，进而提高极限学习机的泛化能力和分类结果。
4.在粒子群优化算法中，粒子通过更新自身的速度和位置寻找最优解，本申请构建了一种非线性自适应旋转角的方法，通过非线性自适应旋转角的旋转式优化粒子速度和位置的更新策略，使得粒子向最优位置演化，同时本申请还引入非转门实现较差个体粒子位置变异，提升算法的全局寻优能力和收敛效率，增加种群多样性，避免陷入局部最优解的困境。
5.由于各用户端记录形式各异，于是本申请对数据集进行格式统一化操作，结构化数据直接输入，非结构化文本做向量化处理，此外还对结构化数据和非结构化数据做归一化处理，为后续的模型训练做准备。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种基于联邦学习构建心血管急危重症大模型方法流程示意图；
图2为本发明实施例提供的一种基于联邦学习构建心血管急危重症大模型系统示意图；
图3为本发明实施例提供的一种基于联邦学习构建心血管急危重症大模型设备示意图；
图4为本发明实施例提供的一种联邦学习框架图；
图5为本发明实施例提供的一种基于联邦学习的心源性休克辅助决策算法训练流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图1本发明实施例提供的一种基于联邦学习构建心血管急危重症大模型方法流程示意图，具体包括：
S101：用户端从自身存储的本地心血管急危重症临床数据集中训练本地模型，所述用户端为所述m个用户端中的任意一个；
在一个实施例中，心血管急症是指原发性或继发于其他原因的、以心脏或大血管病变急性发作为主要特征的一类急症,此类疾患发病急、进展快、诊断或处理不及时常危及生命,特别是在继发于危重病基础上，由于患者病情复杂、临床表现容易重叠极易导致漏诊或误诊,促使病情急转直下,不但造成医生难于处理,甚至会加速患者的死亡;心血管系统常见的危急重症有心律失常，心跳过快或过慢、心绞痛、冠心病、急性心肌梗死、心内科中心包填塞、重症心肌炎、恶性高血压。
在一个实施例中，联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架，旨在让分散的各参与方在满足不向其他参与者披露隐私数据的前提下，协作进行机器学习的模型训练。联邦学习框架包含多方面的技术，比如传统机器学习的模型训练技术、协调方参数整合的算法技术、协调方与参与方高效传输的通信技术、隐私保护的加密技术等。此外，在联邦学习框架中还存在激励机制，数据持有方均可参与，收益具有普遍性。
在一个实施例中，联邦学习的架构分为两种，一种是中心化联邦（客户端/服务器）架构，一种是去中心化联邦（对等计算）架构。针对联合多方用户的联邦学习场景，一般采用的是客户端/服务器架构，企业作为服务器，起着协调全局模型的作用；而针对联合多家面临数据孤岛困境的企业进行模型训练的场景，一般可以采用对等架构，因为难以从多家企业中选出进行协调的服务器方。
在一个实施例中，联邦学习在保障数据不出客户端的情况下兼顾分布式计算和联合计算的优势，并且各方只需要在本地进行训练，数据体量不增加，算力成本压力小。
在一个具体实施例中，本发明所采用的联邦学习框架如下图4所示，一个中央服务器对应m个用户端，每个用户端训练各自的用户端网络模型，每个用户端与中央服务器通过通信通道进行上传模型参数与下载模型参数。
在一个实施例中，所述本地模型所用的算法包括下列中的一种或几种：逻辑回归、随机森林、决策树、支持向量机、极限学习机、卷积神经网络。
在一个实施例中，所述极限学习机是一种求解单隐层神经网络的算法，由输入层，单隐藏层和输出层组成，具体模型训练步骤包括：
第一步：获取本地心血管急危重症临床样本数据及样本对应的标签；
第二步：将训练集样本数据转换为向量矩阵，将向量矩阵输入至输入层，同时在一定范围内随机初始化输入层与隐藏层间的连接权重、偏置；
第三步：向量矩阵通过随机映射矩阵映射到特征空间得到特征向量，特征向量与权重相乘再加上偏置输到隐藏层中得到初始向量矩阵；
第四步：初始向量矩阵通过激活函数计算得到隐藏层单个节点的输出，并将隐藏层所有节点求和得到隐藏层的输出矩阵；
第五步：通过最小二乘法计算输出层的权值，再将隐藏层的输出矩阵与所述权值相乘得到输出层的权重矩阵；
第六步：通过输出层的权重矩阵和样本数据计算获得样本数据的预测值，再对比预测值与真实值的标签得到模型训练的结果。
在一个实施例中，采用高斯核函数矩阵进行所述的随机映射矩阵，所述高斯核函数矩阵是高斯核函数RBF依据Mercer条件定义的，可以表示为：
其中，为核函数矩阵，为核函数矩阵中的元素，表示核函数的参数因子，H为隐藏层的输出矩阵，极限学习机的分类模型可以表示为：
其中，为正则化参数，是单位矩阵，表示样本对应的核函数，M为期望输出矩阵。
在一个具体实施例中，用户端网络利用本地数据训练的模型为极限学习机模型。极限学习机算法是一种求解单隐层神经网络的算法，极限学习机算法通过随机初始输入权重与偏置获得相应的输出权重，相比传统的神经网络具有网络泛化能力强、训练速度快等优点。
在一个具体实施例中,预处理得到的训练数据集为，对于每一条样本，其对应的标签设为，则设训练数据集为，其中，输入样本，对应样本标签，则隐含神经元数为的前馈神经网络模型可以表示为：
其中，为样本数量，为连接第个隐含神经元与所有输出神经元的权重，为连接第个隐含神经元与所有输入神经元的权重，为第个隐含神经元的偏置，为激励函数，为模型输出值。
假设任意样本数据都能实现零误差逼近，即满足，则可以得到：
具体的隐含层输出矩阵与期望输出矩阵间的关系可表示为：
其中，为组成的矩阵，为组成的矩阵。
通过最小二乘方法解算隐含层与输出层间的连接矩阵，可以表示为：
其中，为输出矩阵的Moore-Penrose广义逆。
将隐含层特征数据经过非线性变换映射到高维特征空间，在高维空间进行数据处理以解决低维空间线性不可分问题。
在一个具体实施例中，本发明提出的改进的极限学习机模型采用核函数矩阵替代极限学习机模型随机映射矩阵，采用高斯核函数RBF依据Mercer条件定义核函数矩阵元素。具体的，可以表示为：
其中，表示核函数的参数因子。
基于此，极限学习机的分类模型可以表示为：
其中，为正则化参数，是单位矩阵，表示样本对应的核函数。
在一个实施例中，所述方法还包括对所述本地心血管急危重症临床数据集预处理，所述数据集预处理的数据集是文本数据，所述文本数据包括结构化数据和非结构化数据，对所述非结构化输出进行向量化处理，然后对所述结构化数据和所述非结构化数据进行归一化处理。
在一个实施例中，所述向量化处理是采用词嵌入的方式，将每个词表示为一个高维向量，所述归一化处理是采用Min-Max归一化方法，将所述结构化数据和所述非结构化数据的范围到[0,1]之间。
在一个具体实施例中，各用户端的数据为来源于多个途径，包括：
1、人口统计学信息：这些信息通常从患者的医疗档案中获取，包括年龄、性别等。
2、实验室检验检查报告：这些报告提供了丰富的临床数据，包括肾功能指标、心电图结果和血液生化指标等。
3、医嘱：医嘱包括治疗方案，如用药信息，可以用于评估治疗的效果。
4、病程记录：这些记录详细描述了患者的疾病进程，包括病情的发展和改变等。
5、护理记录：这些记录包括患者的护理信息，如体重测量、血压测量等。
本发明的数据格式包括结构化数据（如表格或数据库中的数据）和非结构化数据（如文本的医疗记录）。
本发明的数据中，特征属性包括年龄、性别、家族病史、体重、高血压、糖尿病、心脏病历史、肾功能指标、心电图结果、血液生化指标、用药信息、疾病发展和护理记录等。
在一个具体实施例中，各用户端需对所采集的数据进行向量化处理，由于所采集到的数据包括结构化数据和非结构化数据。对于结构化数据，如年龄、体重等数值型数据，可以直接输入到模型中。
在一个具体的实施例中，设结构化数据组成的数据子集为S，其中包含n个数据样本，每个样本有d个特征。将这个数据集表示为一个n行d列的矩阵。可以表示为：
其中，表示第i个样本的第j个特征，为结构化数据组成的数据子集S对应的向量矩阵，n为结构化数据组成的数据子集S中数据的数量，为结构化数据组成的数据子集S中每条数据的特征数量。
对于非结构化数据，如病历记录、用药信息、疾病发展等数据均是文本数据，需要转化为向量才能输入到模型中。本发明采用词嵌入的方式，将每个词表示为一个高维向量。
在一个具体实施例中，首先对每一个病历记录使用分词算法进行分词。然后使用预训练的Word2Vec词嵌入模型将每个词转化为k维的向量。具体的，设非结构化数据子集U，其中包含n个文本样本，每个样本分词后最多有p个词，每个词可以用k维向量表示。则，非结构化数据子集可以表示为一个n行p行k列的三维张量。可以表示为：
其中，表示第i个文本的第j个词的第l维特征，为非结构化数据子集U对应的向量矩阵。n为非结构化数据组成的数据子集U中数据的数量，同结构化数据组成的数据子集S中数据的数量。为非结构化数据组成的数据子集U中每条数据的每个词转化的向量的数量，p为非结构化数据组成的数据子集U中每条数据的最大分词数量。
对结构化数据和非结构化数据进行合并。设非结构化数据经过均值聚合函数后，得到一个n行k列的矩阵。则，将和按照列进行拼接，得到拼接后的数据集，可以表示为：
其中，为结构化数据组成的数据子集S对应的向量矩阵，为非结构化数据经过均值聚合函数后得到的向量矩阵，为拼接后的数据集，表示结构化数据中第i个样本的第j个特征，表示非结构化数据中经过聚合函数处理后的第i个样本的第j维特征。n为非结构化数据组成的数据子集U中数据的数量，同结构化数据组成的数据子集S中数据的数量，同拼接后的数据集中的数据的数量。为结构化数据组成的数据子集S中每条数据的特征数量，为非结构化数据组成的数据子集U中每条数据的每个词转化的向量的数量。
对数据进行归一化处理，本发明采用Min-Max归一化方法将数据的范围映射到[0,1]之间，Min-Max归一化方法可以表示为：
其中，是归一化后的数据，是归一化前数据，是第j列特征的最小值，是第j列特征的最大值。
采用Min-Max归一化方法对中的每一个数值进行归一化操作，得到归一化后的数据，可以表示为：
其中，为归一化后的数据，n为非结构化数据组成的数据子集U中数据的数量，同结构化数据组成的数据子集S中数据的数量，同拼接后的数据集中的数据的数量。c为归一化后的数据中的特征的数量，且。
S102：所述中央服务器端与所述用户端通过不同的安全通信通道连接，不同的用户端使用不同的安全通信通道从所述本地模型中导出本地模型参数上传至所述中央服务器端；
在一个实施例中，通信，从广义上讲，是指人与人或人与自然之间通过某种行为或媒介进行的信息交流与传递，需要信息的双方或多方可借助任意方法、任意媒介。本申请所指的通信，主要是指利用现代蜂窝、卫星、网络数字、光传导等技术进行的“电波（光波）信息传递”，通常包括有线通信和无线通信。根据载体和需求不同，通信网络一般分为三个层级。一是公网通信。即由运营商提供面向个人、家庭和普通企业用户的通信网络服务，如蜂窝网络通信、光纤宽带服务、有线电视等。二是专网通信。即为企业用户提供的专门通信网络，如轨道交通、民航、船运、公安、消防、电力、军队等。三是ISM频段通信。即免授权频段通信，是为了方便工业、科学、医学机构工作，各国划分的免费频段，允许在限定的发射功率下，自由的使用，如蓝牙、Wi-Fi等。
在一个实施例中，通信通道安全，通信通道是指通信数据流动的物理和逻辑路径。根据传输类型不同，可分为模拟通道和数字通道；根据使用权限不同，可分为专用通道和公用通道；根据数据传输介质不同，可分为有线通道（如双绞线、同轴电缆、光缆等）和无线通道（微波、红外、激光、卫星等）。通信通道安全是保障通信安全必要条件，需重点关注和防范应对：一是防破坏。通信通道，特别是有线通道一般都含有黄铜等贵金属成分，极易在楼盘、道路、地铁等施工过程中遭到破坏。二是防干扰。通信信号，尤其是无线通信信号易受电磁波干扰，导致信号减弱、出错等问题。三是防泄露。有线通信线路一般布设在公共区域和特定区域，一旦被不法分子安装窃听、窃密设备，极易引发通信数据泄露。另外，无线通信通道易被干扰、控制或破解，易引发数据泄露。四是防过载。通信已成为现代人们通联的依赖方式，在特定时间段，由于用户通信高峰、大量攻击活动、网络设备故障等原因，可能导致信道容量过载，引发拥堵甚至瘫痪。五是防中断。在通信过程中可能由于设备故障、网络阻塞、电力故障、人为破坏等原因导致通信通道中断，数据无法传输。
S103：所述中央服务器端接收不同的用户端的本地模型参数，并对所述本地模型参数进行加权聚合处理，得到全局模型，再将所述全局模型中导出全局参数，传输至用户端；
在一个实施例中，所述联邦学习采用联邦平均算法进行模型的协同训练，所述联邦平均算法是联邦学习中的一种聚合算法，通过全局迭代实现局部模型的协同训练。
在一个实施例中，所述联邦平均算法的步骤包括：
第一步：对用户端及中央服务器进行参数初始化；
第二步：根据用户端的样本数进行训练得到用户端模型的损失函数及模型参数，将用户端损失函数及模型参数并上传至中央服务器；
第三步：通过用户端的损失函数、总样本数和用户端样本数量计算出联邦学习模型损失函数，同时根据用户端上传的本地模型参数进行聚合来更新全局模型参数，全局模型参数可表示为：
其中，k代表用户端，t代表第几次迭代的次数；
第四步：用户端模型接受所述全局模型参数更新本地模型参数设置，然后重复进行上述步骤，直至训练结束。
在一个实施例中，在本地模型训练时进行参数优化，所述参数优化采用下列算法中的一种或几种：Jaya算法、遗传算法、模拟退火算法、粒子群算法、蚁群算法。
在一个实施例中，采用粒子群算法进行模型参数优化包括：以极限学习机输入层与隐含层之间的输入权重和偏置的取值范围构成可行解空间，其中存在一个粒子是所求问题的最优解，所述粒子在解空间运动，通过更新粒子的速度、位置和适应度值来获得最优取值，所述最优取值赋值给权重和偏置，作为所述权重和偏置的初始化值；所述适应度值是由适应度函数决定的，每一个粒子都有一个适应度函数来决定适值，所述粒子包含两个属性，分为速度和位置，所述速度表示粒子下一步迭代时移动的方向和距离，所述位置是所求解问题的一个解。
在一个实施例中，所述适应度函数是基于模型的错误率和模型的复杂度计算得到的。
在一个实施例中，所述粒子群算法通过引入叠加性编码对λ只粒子初始化，得到第i只叠加性粒子在t次迭代的粒子速度和粒子位置，所述粒子通过旋转式更新来更新粒子的位置，使得每只叠加性粒子向觅食的最优位置演化。
在一个实施例中，所述粒子群算法通过构建非线性自适应旋转角更新粒子的速度和位置，同时引入非转门实现较差个体的粒子位置变异。
在一个具体实施例，在本发明所提出的联邦学习框架中，采用联邦平均算法进行模型的协同训练。联邦平均算法是联邦学习中的一种聚合算法，其通过全局迭代实现局部模型的协同训练。
在每一次全局迭代中，假设用户端的数量为，而总共拥有的样本数为，用户端的样本数量为，为维实数空间，因此待优化的目标函数可以表示为：
其中：
其中，为联邦学习模型的损失函数，为模型参数对第个样本数据损失的预测函数，为损失函数。
对于用户端来说，定义其损失函数为：
其中，为第个用户端的数据索引。
故，联邦学习模型的损失函数可表示为：
当用户端的梯度，学习率为时，在第次迭代后更新得到最新的全局模型参数，即：
其中，分别为第、第次迭代后更新得到的全局模型参数。
用户端的本地模型参数更新方式可表示为：
其中，分别为用户端在第、第次迭代后更新得到的本地模型参数。
故，在进行联邦学习时，首先确定用户端待优化目标，然后确定各用户端损失函数和联邦学习模型损失函数。在获得用户端的梯度后，得到第次迭代更新时的本地模型参数，则全局模型参数更新可表示为：
在第次迭代后，将用户端的本地模型参数设置为，然后继续执迭代计算，直到训练结束。
基于联邦学习的心源性休克辅助决策算法训练流程如下图5所示，用户端依次进行开始、训练本地模块、上传模型、接收模型、更新模型，更新模型后回到训练本地模型的步骤；其中，上传模型是将本地模型参数上传至中央服务器，中央服务器先判断模型迭代是否结束，若是，则结束执行；若否，则接收各用户模型的参数，随后聚合模型参数并得到全局参数，再将全局参数传输至各用户端，最后判断模型是否收敛，如果是则结束，如果不是则返回到接收用户端模型参数的步骤。
在一个具体实施例中，在原有粒子群优化算法基础上引入叠加性编码，将粒子用叠加性编码的形式表示，利用旋转式更新来更新粒子位置，使每只叠加性粒子向觅食的最优位置演化。此外，本发明在粒子群优化算法中构建非线性自适应旋转角的旋转式更新来改进速度和位置的更新策略，并引入非转门来实现较差个体的粒子位置变异，提升算法的全局寻优能力和收敛效率，增加种群的多样性，避免陷入局部最优解。
首先引入叠加性编码对λ只粒子初始化，第只叠加性粒子在次迭代的粒子速度为：
其中：
其中，和为两个概率因子，为叠加性编码位数。
第只叠加性粒子在次迭代的粒子位置为：
其中：
其中，和为两个概率因子。
叠加性粒子的加速度、速度和位置更新粒子的加速度更新公式为：
其中，与是加速度的上下限，是的均匀分布的随机数。
对粒子个体的速度采用旋转式更新进行更新，更新公式为：
其中，为粒子旋转更新的旋转角。旋转角过大或过小都会影响算法的收玫效率和寻优性能。本发明在寻优过程中随着迭代次数变化而非线性自适应改变旋转角，可以表示为：
其中：
其中，为当前最优粒子对应的概率因子，为当前粒子对应的概率因子，用于控制旋转的方向，为基本旋转角，取值为，，控制的大小就可以动态自适应地控制旋转角的大小。
通过迭代，对粒子个体位置进行更新，并进行适应度计算，更新方式可以表示为：
为了增强算法的全局寻优能力和提高收敛效率，本发明提出一种改进的适应度函数，可以表示为：
其中，是模型的错误率，是模型的复杂度。和是两个权重参数，用于调整错误率和复杂度在适应度函数中的重要性，由人为预设得到。
所述模型的复杂度反映了模型的复杂程度，计算方式可以表示为：
其中，
表示模型参数的数量，用来度量模型的复杂度，参数数量越多，模型通常越复杂，可以表示为：
其中，是模型参数的数量。
表示模型结构复杂度，可以表示为：
其中，是神经网络的层数，是第层的神经元数量。
表示L1正则化项，用来避免过拟合，L1正则化通常会使部分权重参数变为零，从而实现特征选择的效果，其复杂度可以定义为：
表示L2正则化项，以使权重参数接近零但不等于零，有助于避免过拟合，其复杂度可以定义为：
其中，是模型的权重参数。
粒子群进行局部搜索，设定一个随机数rand，当rand时，则进行局部位置调整，调整方式可以表示为：
其中，为的均匀随机数，为响度。局部位置调整后进行适应度计算，若位置的适应度优于的适应度，则用代替，否则保持原来的不变。
为了增加种群的多样性，防止过早陷人局部最优解，引入非转门来实现较差个体的粒子位置变异。将适应度倒数1/3的粒子个体进人非门变异操作，所述变异操作可以表示为：
将个体中的概率因子与进行交换，为变异前的概率因子，为变异后的概率因子。
对脉冲加速度和响度进行更新，更新方式可以表示为：
其中，和分别表示第代和第代的搜索强度，表示代的脉冲加速度，为脉冲加速度最大值，和为常量，且。在搜索开始的时候，使用较大的响度且较低的加速度进行搜索，以便于大规模搜索，在搜索到目标后，使用较大的脉冲率和较小的响度来找寻准确位置，增强算法的全局寻优能力。
S104：所述用户端接收所述中央服务器端发送的所述全局参数，并更新所述本地模型得到本地更新模型，所述本地更新模型将代替所述本地模型；
在一个实施例中，在机器学习中，模型的任务是从输入中预测输出。而模型的参数就是一组数值，这些数值用来定义模型的内部机制，反映了模型对输入值和输出值之间关系的认知。模型的训练就是在不断调整这些参数的数值，以便让输出结果尽量接近目标。简单来说，模型中的参数就是一个个开关，它们控制着模型的内部行为，只有通过不断调整这些开关的数值，才能找到最优的参数组合，从而建立一个能够应对各种情况的模型。
在一个实施例中，模型参数大致可以分为两类，权重参数：它们是输入向量与输出向量之间的映射关系，这些权重参数决定了模型的所有输入特性和输出特性之间的依赖规律；偏置参数：它们负责偏移模型的整体输出值。在一个给定的模型中，通常存在多个权重参数和偏置参数，它们之间的关系形成了整个模型的特征空间。
在一个具体实施例中，用户端k的本地模型参数更新方式可表示为：
其中，分别为用户端在第、第次迭代后更新得到的本地模型参数。
在获得用户端的梯度后，得到第次迭代更新时的本地模型参数，则全局模型参数更新可表示为：
在第次迭代后，将用户端的本地模型参数设置为，然后继续执迭代计算，直到训练结束。
S105：重复上述步骤进行多次迭代直至损失函数收敛或训练轮数达到模型预设轮数。
在一个实施例中，损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。
在一个实施例中，损失函数也叫目标函数，其作用包括衡量神经网络的输出与预期值之间的距离，以便控制、调节参数。这个损失函数可以使用任意函数，但一般使用均方误差和交叉熵误差；对于二分类问题，可以使用二元交叉熵损失函数，对于多分类问题，可以使用分类交叉熵损失函数，对于回归问题，可以使用均方误差损失函数。
在一个具体实施例中，在本发明的联邦学习框架中，模型停止训练的标准包括达到预设的训练轮数或模型收敛。其中，如果达到预设的训练轮数，即在训练开始前，研究者可以设定一个训练轮数，一旦达到这个轮数，模型训练就停止。此外，当模型的训练和验证损失函数值停止或者明显减小的变化，或者模型的精度不再明显提高，则可以认为模型已经收敛，模型训练就停止。
图2本发明实施例提供的一种基于联邦学习构建心血管急危重症大模型系统示意图，具体包括：
获取模块201：用于获取本地心血管急危重症临床数据集，其中所述用户端为m个用户端的任意一个；
训练模块202：用于所述本地心血管急危重症临床数据集训练本地模型获得本地模型及本地模型参数；
传输模块203：用于所述用户端将所述本地模型参数上传至所述中央服务器端，所述中央服务器下发给所述用户端，其中，所述中央服务器端根据所述用户端上传的所述本地模型参数进行聚合，在得到满足状态的全局模型及全局模型参数的情况下，所述中央服务器将所述全局模型参数传输至所述用户端，所述用户端更新所述本地模型参数。
图3本发明实施例提供的一种基于联邦学习构建心血管急危重症大模型设备示意图，具体包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时所述的基于联邦学习构建心血管急危重症大模型的方法和装置任意步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时实现所述的基于联邦学习构建心血管急危重症大模型的方法和装置步骤。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以改善本方法的性能。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的介质存储可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述联邦学习由中央服务器端和m个用户端组成，所述方法包括：
用户端从自身存储的本地心血管急危重症临床数据集中训练本地模型，所述用户端为所述m个用户端中的任意一个；
所述中央服务器端与所述用户端通过不同的安全通信通道连接，不同的用户端使用不同的安全通信通道从所述本地模型中导出本地模型参数上传至所述中央服务器端；
所述中央服务器端接收不同的用户端的本地模型参数，并对所述本地模型参数进行加权聚合处理，得到全局模型，再将所述全局模型中导出全局参数，传输至用户端；
所述用户端接收所述中央服务器端发送的所述全局参数，并更新所述本地模型得到本地更新模型，所述本地更新模型将代替所述本地模型；
重复上述步骤进行多次迭代直至损失函数收敛或训练轮数达到模型预设轮数；
其中，所述本地模型采用极限学习机进行训练，所述极限学习机是一种求解单隐层神经网络的算法，由输入层，单隐藏层和输出层组成，具体模型训练步骤包括：
第一步：获取本地心血管急危重症临床样本数据及样本对应的标签；
第二步：将训练集样本数据转换为向量矩阵，将向量矩阵输入至输入层，同时在一定范围内随机初始化输入层与隐藏层间的连接权重、偏置；
第三步：向量矩阵通过随机映射矩阵映射到特征空间得到特征向量，特征向量与权重相乘再加上偏置输到隐藏层中得到初始向量矩阵；
第四步：初始向量矩阵通过激活函数计算得到隐藏层单个节点的输出，并将隐藏层所有节点的输出求和得到隐藏层的输出矩阵；
第五步：通过最小二乘法计算输出层的权值，再将隐藏层的输出矩阵与所述权值相乘得到输出层的权重矩阵；
第六步：通过输出层的权重矩阵和样本数据计算获得样本数据的预测值，再对比预测值与真实值的标签得到模型训练的结果。
2.根据权利要求1所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述联邦学习采用联邦平均算法进行模型的协同训练，所述联邦平均算法是联邦学习中的一种聚合算法，通过全局迭代实现局部模型的协同训练。
3.根据权利要求2所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述联邦平均算法的步骤包括：
第一步：对用户端及中央服务器进行参数初始化；
第二步：根据用户端的样本数进行训练得到用户端模型的损失函数及模型参数，将用户端损失函数及模型参数并上传至中央服务器；
第三步：通过用户端的损失函数、总样本数和用户端样本数量计算出联邦学习模型损失函数，同时根据用户端上传的本地模型参数进行聚合来更新全局模型参数，全局模型参数可表示为：
其中，k代表用户端，t代表迭代的次数，用户端的数量为n，为第次迭代后更新得到的全局模型参数，为用户端在第次迭代后更新得到的本地模型参数；
第四步：用户端模型接受所述全局模型参数更新本地模型参数设置，然后重复进行上述步骤，直至训练结束。
4.根据权利要求1所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述本地模型所用的算法包括下列中的一种或几种：逻辑回归、随机森林、决策树、支持向量机、极限学习机、卷积神经网络。
5.根据权利要求1所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，采用高斯核函数矩阵进行所述的随机映射矩阵，所述高斯核函数矩阵是高斯核函数RBF依据Mercer条件定义的，表示为：
其中，表示核函数的参数因子，H为隐藏层的输出矩阵，为核函数矩阵元素；极限学习机的分类模型表示为：
其中，为正则化参数，是单位矩阵，表示样本对应的核函数，M表示期望输出矩阵。
6.根据权利要求1-5任意一项所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，在本地模型训练时进行参数优化，所述参数优化采用下列算法中的一种或几种：Jaya算法、遗传算法、模拟退火算法、粒子群算法、蚁群算法。
7.根据权利要求6所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，采用粒子群算法进行模型参数优化包括：以极限学习机输入层与隐含层之间的输入权重和偏置的取值范围构成可行解空间，其中存在一个粒子是所求问题的最优解，所述粒子在解空间运动，通过更新粒子的速度、位置和适应度值来获得最优取值，所述最优取值赋值给权重和偏置，作为所述权重和偏置的初始化值；所述适应度值是由适应度函数决定的，每一个粒子都有一个适应度函数来决定适应度值，所述粒子包含两个属性，分为速度和位置，所述速度表示粒子下一步迭代时移动的方向和距离，所述位置是所求解问题的一个解。
8.根据权利要求7所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述适应度函数是基于模型的错误率和模型的复杂度计算得到的。
9.根据权利要求7所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述粒子群算法通过引入叠加性编码对λ只粒子初始化，得到第只叠加性粒子在次迭代的粒子速度和粒子位置，所述粒子通过旋转式更新来更新粒子的位置，使得每只叠加性粒子向觅食的最优位置演化。
10.根据权利要求7所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述粒子群算法通过构建非线性自适应旋转角更新粒子的速度和位置，同时引入非转门实现较差个体的粒子位置变异。
11.根据权利要求1所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述方法还包括对所述本地心血管急危重症临床数据集预处理，所述数据集预处理的数据集是文本数据，所述文本数据包括结构化数据和非结构化数据，对所述非结构化数据进行向量化处理，然后对所述结构化数据和所述非结构化数据进行归一化处理。
12.根据权利要求11所述的基于联邦学习构建心血管急危重症大模型的方法，其特征在于，所述向量化处理是采用词嵌入的方式，将每个词表示为一个高维向量，所述归一化处理是采用Min-Max归一化方法，将所述结构化数据和所述非结构化数据的范围到[0,1]之间。
13.一种基于联邦学习构建心血管急危重症大模型的系统，其特征在于，所述联邦学习的疾病辅助决策系统包括中央服务器端和m个用户端，所述中央服务器端与m个用户端通过安全通信通道相连，用户端包括：
获取模块：用于获取本地心血管急危重症临床数据集，其中所述用户端为m个用户端的任意一个；
训练模块：用于所述本地心血管急危重症临床数据集训练本地模型获得本地模型及本地模型参数；
传输模块：用于所述用户端将所述本地模型参数上传至所述中央服务器端，所述中央服务器下发给所述用户端，其中，所述中央服务器端根据所述用户端上传的所述本地模型参数进行聚合，在得到满足状态的全局模型及全局模型参数的情况下，所述中央服务器将所述全局模型参数传输至所述用户端，所述用户端更新所述本地模型参数；
其中，所述本地模型采用极限学习机进行训练，所述极限学习机是一种求解单隐层神经网络的算法，由输入层，单隐藏层和输出层组成，具体模型训练步骤包括：
第一步：获取本地心血管急危重症临床样本数据及样本对应的标签；
第二步：将训练集样本数据转换为向量矩阵，将向量矩阵输入至输入层，同时在一定范围内随机初始化输入层与隐藏层间的连接权重、偏置；
第三步：向量矩阵通过随机映射矩阵映射到特征空间得到特征向量，特征向量与权重相乘再加上偏置输到隐藏层中得到初始向量矩阵；
第四步：初始向量矩阵通过激活函数计算得到隐藏层单个节点的输出，并将隐藏层所有节点的输出求和得到隐藏层的输出矩阵；
第五步：通过最小二乘法计算输出层的权值，再将隐藏层的输出矩阵与所述权值相乘得到输出层的权重矩阵；
第六步：通过输出层的权重矩阵和样本数据计算获得样本数据的预测值，再对比预测值与真实值的标签得到模型训练的结果。
14.一种基于联邦学习构建心血管急危重症大模型的设备，其特征在于，包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-12任意一项所述的基于联邦学习构建心血管急危重症大模型的方法任意步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-12任意一项所述的基于联邦学习构建心血管急危重症大模型的方法任意步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311018516.4A CN116741388B (zh) | 2023-08-14 | 2023-08-14 | 基于联邦学习构建心血管急危重症大模型的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311018516.4A CN116741388B (zh) | 2023-08-14 | 2023-08-14 | 基于联邦学习构建心血管急危重症大模型的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116741388A CN116741388A (zh) | 2023-09-12 |
| CN116741388B true CN116741388B (zh) | 2023-11-21 |
Family
ID=87908342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311018516.4A Active CN116741388B (zh) | 2023-08-14 | 2023-08-14 | 基于联邦学习构建心血管急危重症大模型的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116741388B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117174298A (zh) * | 2023-11-01 | 2023-12-05 | 中国人民解放军总医院 | 基于多模态预训练大模型的急危重症临床决策系统 |
| CN117954082B (zh) * | 2024-03-26 | 2024-06-18 | 中国人民解放军总医院 | 基于联邦大模型的复杂疾病间共病临床辅助决策方法及系统 |
| CN118039163B (zh) * | 2024-04-07 | 2024-06-25 | 北京惠每云科技有限公司 | 基于大模型和蚁群算法的临床风险管理方法及装置 |
| CN118430835B (zh) * | 2024-07-02 | 2024-09-27 | 中国人民解放军总医院 | 一种基于大小模型协同的多目标临床决策方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113133768A (zh) * | 2021-04-21 | 2021-07-20 | 东南大学 | 基于联邦学习的心血管疾病辅助诊断模型及训练方法 |
| WO2021244993A1 (en) * | 2020-06-05 | 2021-12-09 | Sensyne Health Group Limited | Machine learning method and system suitable for prediction of disease onset using multi-variate longitudinal patient data |
| CN114528304A (zh) * | 2022-02-18 | 2022-05-24 | 安徽工业大学 | 一种自适应客户端参数更新的联邦学习方法、系统及存储介质 |
| CN114943342A (zh) * | 2022-05-09 | 2022-08-26 | 北京邮电大学 | 一种联邦学习系统的优化方法 |
| CN115238908A (zh) * | 2022-03-15 | 2022-10-25 | 华东师范大学 | 基于变分自编码器、无监督聚类算法和联邦学习的数据生成方法 |
| WO2023024368A1 (zh) * | 2021-08-21 | 2023-03-02 | 深圳前海微众银行股份有限公司 | 横向联邦学习建模优化方法、设备、介质及程序产品 |
-
2023
- 2023-08-14 CN CN202311018516.4A patent/CN116741388B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021244993A1 (en) * | 2020-06-05 | 2021-12-09 | Sensyne Health Group Limited | Machine learning method and system suitable for prediction of disease onset using multi-variate longitudinal patient data |
| CN113133768A (zh) * | 2021-04-21 | 2021-07-20 | 东南大学 | 基于联邦学习的心血管疾病辅助诊断模型及训练方法 |
| WO2023024368A1 (zh) * | 2021-08-21 | 2023-03-02 | 深圳前海微众银行股份有限公司 | 横向联邦学习建模优化方法、设备、介质及程序产品 |
| CN114528304A (zh) * | 2022-02-18 | 2022-05-24 | 安徽工业大学 | 一种自适应客户端参数更新的联邦学习方法、系统及存储介质 |
| CN115238908A (zh) * | 2022-03-15 | 2022-10-25 | 华东师范大学 | 基于变分自编码器、无监督聚类算法和联邦学习的数据生成方法 |
| CN114943342A (zh) * | 2022-05-09 | 2022-08-26 | 北京邮电大学 | 一种联邦学习系统的优化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于极限学习机的室性早搏判别算法的实现;王瑞荣;余小庆;王敏;叶杨;;中国生物医学工程学报(第02期);第158-164页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116741388A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116741388B (zh) | 基于联邦学习构建心血管急危重症大模型的方法 | |
| Siva Shankar et al. | A novel optimization based deep learning with artificial intelligence approach to detect intrusion attack in network system | |
| Tripathy et al. | A framework for intelligent medical diagnosis using rough set with formal concept analysis | |
| Lim et al. | An improved radial basis function networks based on quantum evolutionary algorithm for training nonlinear datasets | |
| CN116759100B (zh) | 基于联邦学习构建慢性心血管疾病大模型方法 | |
| CN117954082B (zh) | 基于联邦大模型的复杂疾病间共病临床辅助决策方法及系统 | |
| CN115985513B (zh) | 一种基于多组学癌症分型的数据处理方法、装置及设备 | |
| Marzuki et al. | Study of fuzzy systems with Sugeno and Mamdanitype fuzzy inference systems for determination of heartbeat cases on Electrocardiogram (ECG) signals | |
| Alfaer et al. | Fusion‐Based Deep Learning with Nature‐Inspired Algorithm for Intracerebral Haemorrhage Diagnosis | |
| Qian et al. | Evolutionary dendritic neural model for classification problems | |
| Liu et al. | Reconstructing gene regulatory networks via memetic algorithm and LASSO based on recurrent neural networks | |
| CN117574429A (zh) | 一种边缘计算网络中隐私强化的联邦深度学习方法 | |
| Hu et al. | Applying particle swarm optimization-based decision tree classifier for wart treatment selection | |
| Wang | Analysis of bank credit risk evaluation model based on BP neural network | |
| Guo et al. | Towards efficient federated learning‐based scheme in medical cyber‐physical systems for distributed data | |
| Kumar et al. | Blockchain and explainable AI for enhanced decision making in cyber threat detection | |
| Li et al. | System identification of neural signal transmission based on backpropagation neural network | |
| Abiyev et al. | Type‐2 Fuzzy Neural System for Diagnosis of Diabetes | |
| Yu et al. | A hybrid incremental regression neural network for uncertain data streams | |
| Ferrari et al. | Multi-objective symbolic regression for data-driven scoring system management | |
| PEÑA‐REYES | Evolutionary fuzzy modeling human diagnostic decisions | |
| Jha et al. | Neural Fuzzy Hybrid Rule‐Based Inference System with Test Cases for Prediction of Heart Attack Probability | |
| Karaca et al. | Artificial neural network modeling of systems biology datasets fit based on Mittag-Leffler functions with heavy-tailed distributions for diagnostic and predictive precision medicine | |
| Mahmoudi et al. | ANFIS-based wrapper model gene selection for cancer classification on microarray gene expression data | |
| Kwegyir et al. | Optimization of feedforward neural network training using modified local leader phase spider monkey optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |