CN116759100B - 基于联邦学习构建慢性心血管疾病大模型方法 - Google Patents
基于联邦学习构建慢性心血管疾病大模型方法 Download PDFInfo
- Publication number
- CN116759100B CN116759100B CN202311057243.4A CN202311057243A CN116759100B CN 116759100 B CN116759100 B CN 116759100B CN 202311057243 A CN202311057243 A CN 202311057243A CN 116759100 B CN116759100 B CN 116759100B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- federal
- parameters
- cardiovascular disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000001684 chronic effect Effects 0.000 title claims abstract description 58
- 208000024172 Cardiovascular disease Diseases 0.000 title claims abstract description 57
- 201000010099 disease Diseases 0.000 claims abstract description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 58
- 241000191380 Byblis gigantea Species 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 31
- 238000005457 optimization Methods 0.000 claims description 29
- 238000011156 evaluation Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 21
- 238000003786 synthesis reaction Methods 0.000 claims description 21
- 230000002776 aggregation Effects 0.000 claims description 20
- 238000004220 aggregation Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000013145 classification model Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011056 performance test Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000012010 growth Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 241000251468 Actinopterygii Species 0.000 claims description 3
- 241001673102 Jaya Species 0.000 claims description 3
- 230000001580 bacterial effect Effects 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 230000002431 foraging effect Effects 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 238000002922 simulated annealing Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 3
- 238000005065 mining Methods 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 abstract 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 208000018578 heart valve disease Diseases 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 206010007558 Cardiac failure chronic Diseases 0.000 description 1
- 208000031229 Cardiomyopathies Diseases 0.000 description 1
- 206010056370 Congestive cardiomyopathy Diseases 0.000 description 1
- 208000001778 Coronary Occlusion Diseases 0.000 description 1
- 201000000057 Coronary Stenosis Diseases 0.000 description 1
- 206010011086 Coronary artery occlusion Diseases 0.000 description 1
- 201000010046 Dilated cardiomyopathy Diseases 0.000 description 1
- 101100001674 Emericella variicolor andI gene Proteins 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010048858 Ischaemic cardiomyopathy Diseases 0.000 description 1
- 208000021908 Myocardial disease Diseases 0.000 description 1
- 206010038748 Restrictive cardiomyopathy Diseases 0.000 description 1
- 208000025747 Rheumatic disease Diseases 0.000 description 1
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003698 anagen phase Effects 0.000 description 1
- 210000001765 aortic valve Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003143 atherosclerotic effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 206010020871 hypertrophic cardiomyopathy Diseases 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000552 rheumatic effect Effects 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及智能医疗领域，具体涉及基于联邦学习构建慢性心血管疾病大模型方法。包括获取待测患者的临床数据，将所述临床数据输入用户端存储的通过联邦学习更新参数的本地模型中，预测待测患者的疾病分类结果。本申请利用分布式联邦学习解决医疗数据的安全和隐私问题，同时打破数据孤岛，聚合多个用户端的数据构建医疗数据分析大模型，有利于深层次挖掘医疗数据的内容，为构建医学临床辅助决策系统提供参考，具有很好的临床价值。
Description
技术领域
本申请涉及智能医疗领域，具体涉及一种基于联邦学习构建慢性心血管疾病大模型方法、系统、设备、计算机程序产品、计算机可读存储介质。
背景技术
疾病治疗在智能信息化的支持下得到了进一步的发展，通过人工智能技术衍生出大量医疗应用，医疗应用产出众多的医疗数据，利用智能技术对医疗数据进行研究能为临床医疗诊断提供重要的贡献。然而医疗数据中记载着患者的隐私问题，阻碍着医疗数据的挖掘和利用，影响医疗行业的快速发展。同时各个地方的医疗机构设立自己的数据库，虽然有利于管理但无法进行数据共享和数据更新，比如新冠期间各个医疗机构的医疗数据难以同步更新，严重阻碍医疗治疗的进程。现阶段，机器学习、深度学习技术正在不断更新和完善中，利用机器学习、深度学习构建网络模型能够较好的学习，将学习模型运用于现实应用中，如疾病诊断系统，能够提高疾病检测的效率，减轻医师的负担。
发明内容
针对数据孤岛、数据安全和隐私问题，本申请利用机器学习、深度学习技术提出一种基于联邦学习构建慢性心血管疾病大模型方法，所述联邦学习由一个中央服务器和m个用户端组成，具体包括：
S1：获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
S2：用户端将所述训练数据输至本地模型进行训练得到本地模型；
S3：所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
S4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到S1；
S5：所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型。
进一步，所述参数聚合是采用联邦学习平均算法实现的，所述联邦学习平均算法在获得本地模型参数和本地损失函数后进行参数聚合、损失函数聚合得到合成参数、合成损失函数，通过合成参数和合成损失函数构建得到待评估联邦模型。
进一步，所述联邦平均算法在模型迭代时得到的合成参数会进行迭代更新，合成参数更新是在本地模型参数更新的基础上进行更新。
进一步，所述本地模型参数更新、所述合成参数更新的具体公式为：
其中，t为迭代次数，R为学习率，为本地模型k的梯度，N为主体个数。
所述本地模型训练分为两个过程，先将预处理后的数据输至神经网络模型中进行特征提取得到特征向量，再将所述特征向量输至分类模型中进行分类得到各类别的概率分布；所述神经网络模型在进行参数初始化时采用优化算法寻找最优权重配置；所述分类模型通过黎曼梯度下降更新权重和偏置得到优化参数，所述黎曼梯度是在黎曼流形空间中使用黎曼度量计算得到的。
进一步，所述的神经网络优化算法包括下列的一种或几种：食肉植物优化算法、Jaya算法、粒子群算法、模拟退火群算法、蚁群优化算法、细菌觅食算法、人工鱼群算法；所述分类模型使用的模型算法包括下列的一种或几种：逻辑回归、随机森林、决策树、支持向量机、极限学习机、神经网络。
所述通过黎曼梯度下降更新权重和偏置得到优化参数具体涉及到损失函数L、权重W、偏置b、输出层权重β，对W、b、β的黎曼梯度计算具体可表示为：
其中，是激活函数的导数，表示点乘计算，是隐藏层的输出，、和表示梯度。
进一步，所述食肉植物优化算法包括猎物生长阶段以及繁殖阶段，其中繁殖阶段的权重更新公式为：
若，则更新公式为：
其中，表示繁殖率，用于在食肉植物的繁殖步骤中更新权重，表示0到1之间的随机数，表示最好的权重，指具有最高适应度的食肉植物个体的权重，表示某一食肉植物个体的权重，表示适应度函数。
所述方法还包括数据预处理，所述数据预处理是将不同格式的数据转换成统一向量数据并进行拼接，所述格式包括下列的一种或几种：数值型数据、类别型数据、文本型数据、图像型数据。
进一步，所述数值型数据采用Z-Score标准化方法进行转换；所述类别型数据采用One-Hot Encoding方法进行转换；所述文本型数据采用Word Embedding方法转换；所述图像型数据先进行大小归一化和颜色归一化，再通过卷积神经网络映射为向量数据。
本申请的目的在于一种基于联邦学习预测慢性心血管疾病的方法，所述方法包括：
第一步：获取待测患者的临床数据；
第二步：将所述临床数据输入用户端预测待测患者的疾病分类结果，所述用户端中存储着本地模型，所述本地模型是通过上述的基于联邦学习构建慢性心血管疾病大模型方法更新参数后得到的本地模型。
本申请的目的在于提供一种基于联邦学习构建慢性心血管疾病大模型系统，所述联邦学习由一个中央服务器和m个用户端组成，包括：
数据获取模块M1:获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
本地模型训练模块M2:用户端将所述训练数据输至本地模型进行训练得到本地模型；
待评估联邦模型模块M3:所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
性能评估模块M4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到M1；
更新模块M5：所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型。
本申请的目的在于提供一种基于联邦学习预测慢性心血管疾病的系统，所述系统包括预测单元和模型构建单元：
所述预测单元用于获取待测患者的临床数据，将所述临床数据输入用户端存储的更新参数后得到的本地模型预测待测患者的疾病分类结果；
所述模型构建单元用于构建最终联邦模型并更新本地模型参数，包括：
数据获取模块M1:获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
本地模型训练模块M2:用户端将所述训练数据输至本地模型进行训练得到本地模型；
待评估联邦模型模块M3:所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
性能评估模块M4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到M1；
更新模块M5：所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型。
本申请的目的在于提供一种设备，包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现任意一项上述的基于联邦学习构建慢性心血管疾病大模型方法或实现上述的基于联邦学习预测慢性心血管疾病的方法。
本申请的目的在于提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现任意一项上述的基于联邦学习构建慢性心血管疾病大模型方法或实现上述的基于联邦学习预测慢性心血管疾病的方法。
本申请的目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项上述的基于联邦学习构建慢性心血管疾病大模型方法或实现上述的基于联邦学习预测慢性心血管疾病的方法。
本申请的优势：
1、本申请使用了分布式联邦学习，打破了数据孤岛的问题，无需数据共享就能聚合各用户端的本地数据，同时保证了各用户端本地数据的安全，有利于医疗数据的挖掘和利用。
2、本申请在训练本地模型中使用了食肉植物优化算法，通过该优化算法优化神经网络的参数，使得模型在进行特征提取这一步骤中获得更好的特征学习和特征识别能力，有助于提高模型的学习效率，降低模型训练时间。
3、本申请提出了黎曼极限学习机用于特征分类，黎曼极限学习机结合了黎曼流形学习和极限学习机的思想，在黎曼流形空间中通过计算梯度来更新参数，在每次迭代中，依据损失函数的变化情况动态地调整学习率，使得模型学习速度快、泛化能力强，为后续的疾病预测奠定良好的基础。
4、本申请针对用户端不同的数据格式进行数据转换，将数值型、类别型、文本型、图像型统一转为向量格式，为后续的模型学习做准备。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种基于联邦学习构建慢性心血管疾病大模型方法流程示意图；
图2为本发明实施例提供的一种基于联邦学习构建慢性心血管疾病大模型系统示意图；
图3为本发明实施例提供的一种基于联邦学习预测慢性心血管疾病系统示意图；
图4为本发明实施例提供的一种设备示意图；
图5为本发明实施例提供的联邦学习流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S1、S2等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图1本发明实施例提供的一种基于联邦学习构建慢性心血管疾病大模型方法示意图，所述联邦学习由一个中央服务器和m个用户端组成，具体包括：
S1：获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
在一个实施例中，慢性心血管疾病主要包括以下几种类型：
一、冠状动脉粥样硬化性心脏病：由冠脉血管狭窄或闭塞引起的心肌缺血缺氧，造成一系列心脏症状，如心绞痛、心肌梗塞、缺血性心肌病和心源性猝死等。
二、慢性心力衰竭：是由多种病因所导致的心脏疾病的终末阶段。
三、高血压：该病是慢性心血管疾病当中比较常见的一种。
四、心脏瓣膜病：由于心脏瓣膜的结构异常或功能障碍所引起的疾病，包括风湿性心脏瓣膜病、老年退行性主动脉瓣病变和瓣膜钙化等。
五、心肌疾病：主要包括肥厚性心肌病、扩张性心肌病和限制性心肌病等。
在一个实施例中，所述方法还包括数据预处理，所述数据预处理是将不同格式的数据转换成统一向量数据并进行拼接，所述格式包括下列的一种或几种：数值型数据、类别型数据、文本型数据、图像型数据。
在一个实施例中，所述数值型数据采用Z-Score标准化方法进行转换；所述类别型数据采用One-Hot Encoding方法进行转换；所述文本型数据采用Word Embedding方法转换；所述图像型数据先进行大小归一化和颜色归一化，再通过卷积神经网络映射为向量数据。
在一个具体实施例中，对于数值型数据，本发明采用Z-Score标准化方法，基于原始数据的均值和标准差进行数据的标准化。转化公式如下：
其中，是原始数值型数据，是转换后的数据，是数值型数据的均值，是数值型数据的标准差。
对于类别型数据，本发明采用One-Hot Encoding方法进行转换。即，若一个特征有个可能的类别，则，这个特征可以被看作是维的向量空间中的一个点。对于每一个类别的数据，转化为一个长度为的向量，向量的位置对应类别的索引，该位置的值为1，其它位置的值为0。转换公式如下：
其中，是类别数据，表示向量的第个元素。
对于文本型数据，本发明采用Word Embedding方法，具体的，为Word2Vec向量化处理方法。Word2Vec模型是一个浅层的神经网络，将每一个单词映射为一个向量，使得语义相近的单词在向量空间中距离更近。设词汇表的大小为，每个单词向量的维度为，对于一个单词，Word2Vec模型可以表示为：
其中，是Word2Vec模型学习到的embedding函数，是维的向量。
对于图像型数据，首先进行大小归一化和颜色归一化处理。设原始图像型数据为，其大小为，其中、和分别代表图像型数据的高、宽和通道数。通过大小归一化，将所有图像调整为相同的大小。具体操作如下：
颜色归一化，将图像的颜色值（通常在0-255之间）归一化到0-1之间，具体操作如下：
随后通过卷积神经网络，将预处理后的图像映射到一个特征向量，可以表示为：
其中，代表预设的已训练完成的卷积神经网络模型。最后，将所有的特征向量按照原始数据的顺序拼接起来，得到最终的特征向量：
其中，是最后得到的特征向量，是特征的数量，是经过处理后的第个特征的向量。
S2： 用户端将所述训练数据输至本地模型进行训练得到本地模型；
在一个实施例中，所述本地模型训练分为两个过程，先将预处理后的数据输至神经网络模型中进行特征提取得到特征向量，再将所述特征向量输至分类模型中进行分类得到各类别的概率分布；所述神经网络模型在进行参数初始化时采用优化算法寻找最优权重配置；所述分类模型通过黎曼梯度下降更新权重和偏置得到优化参数，所述黎曼梯度是在黎曼流形空间中使用黎曼度量计算得到的。
在一个实施例中，所述的神经网络优化算法包括下列的一种或几种：食肉植物优化算法、Jaya算法、粒子群算法、模拟退火群算法、蚁群优化算法、细菌觅食算法、人工鱼群算法；所述分类模型使用的模型算法包括下列的一种或几种：逻辑回归、随机森林、决策树、支持向量机、极限学习机、神经网络。
在一个实施例中，所述通过黎曼梯度下降更新权重和偏置得到优化参数具体涉及到损失函数L、权重W、偏置b、输出层权重β，对W、b、β的黎曼梯度计算具体可表示为：
其中，是激活函数的导数，表示点乘计算，是隐藏层的输出，、和表示梯度。
在一个实施例中，所述食肉植物优化算法包括猎物生长阶段以及繁殖阶段，其中繁殖阶段的权重更新公式为：
若，则更新公式为：
其中，表示繁殖率，用于在食肉植物的繁殖步骤中更新权重，表示0到1之间的随机数，表示最好的权重，指具有最高适应度的食肉植物个体的权重，表示某一食肉植物个体的权重，表示适应度函数。
在一个实施例中，所述食肉植物优化算法中每个食肉植物个体代表一个可能的权重配置，通过迭代优化权重，进而获得最优权重配置。
在一个具体实施例中，各用户端的本地模型为基于食肉植物算法优化的神经网络模型和黎曼极限学习机模型。其中，所述基于食肉植物算法优化的神经网络模型用于对预处理后的数据进行特征提取，黎曼极限学习机模型用于对特征提取后的数据进行分类。
在一个具体实施例中，基于食肉植物算法优化的神经网络模型的具体内容如下：
1.对神经网络进行初始化。所述神经网络的结构包括2层全连接层，其中每层神经网络有个即神经元，第个神经元在网络中的权重为。随机生成一组初始种群，每个食肉植物个体代表了一种神经网络可能的权重配置。即：
食肉植物：食肉植物代表神经网络的权重配置。每个食肉植物个体对应了一种可能的权重配置，这个配置决定了网络的性能和预测结果。在每个迭代步骤中，食肉植物的权重配置会根据模型中定义的规则进行更新，从而优化网络的性能。
猎物：猎物在这个模型中代表神经网络的特征或神经元。每个特征或神经元的权重对应了猎物的状态。在每个迭代步骤中，特征或神经元的权重会根据模型中定义的规则进行更新，这个过程可以被视为猎物的生长。同时，这些更新的权重也会影响食肉植物（权重配置）的状态。
在神经网络模型训练过程中，需进行适应度计算。使用适应度函数来衡量每个食肉植物个体的性能。具体的，所述适应度函数是神经网络在验证集上的交叉熵损失，适应度函数表示为：
其中，是真实标签，是神经网络的预测结果。
2.应用食肉植物算法进行神经网络参数的优化，即使用食肉植物算法来优化神经网络的权重，包括食肉植物和猎物的生长以及食肉植物的繁殖。
其中，在食肉植物和猎物的生长阶段，如果食肉植物的吸引率大于一个随机值，则食肉植物生长。权重的更新公式为：
其中，表示第个神经元在神经网络中的权重。表示生长率，在更新权重的公式中，决定了权重更新的程度。表示第个特征当前的权重。
如果食肉植物的吸引率小于等于随机值，则猎物（权重）生长。权重的更新公式为：
其中，。若，则：
若，则：
其中，表示0到1之间的随机数。表示生长率，决定了在每次迭代中权重的更新速度。具体的，用于控制食肉植物和猎物生长的速度。
在食肉植物的繁殖阶段，食肉植物个体的权重的更新公式为：
若，则更新公式为：
其中，表示繁殖率，用于在食肉植物的繁殖步骤中更新权重。表示最好的权重，指具有最高适应度的食肉植物个体的权重。表示某一特定的食肉植物个体的权重。
食肉植物算法的检查停止条件为，如果达到了预设的最大迭代次数，则算法结束。否则，循环迭代上述步骤。
基于此，每个食肉植物个体代表了一种可能的权重配置，通过在每次迭代中优化权重，最终能找到一种使得适应度函数达到最优的权重配置，这些权重就能用于特征选择和提取，即代表神经网络模型训练完成。
在一个具体实施例中，基于食肉植物算法优化的神经网络模型参数优化方法的伪代码如下：
---------------------------------------------------------
输入：神经网络的权重，适应度函数，种群大小，最大迭代次数，生长率，繁殖率
输出：最优 个体（具有最小适应度值的权重配置）
<start>初始化食肉植物种群（权重配置集合），大小为，每个食肉植物个体随机赋予权重
<start>对于到：
<start>对于种群中的每个食肉植物个体：
<start>计算食肉植物个体的适应度值
<start>对种群中的食肉植物个体按照适应度值排序，最优的（适应度值最低）排在前面
<start>将最优的猎物（适应度值最小的权重）分配给排名第一的食肉植物，依次类推
<start>生成一个随机数
<start>如果<食肉植物的吸引率：
<start>更新食肉植物的权重：
<start>否则：
<start>选择一个（），更新猎物的权重：
<start>如果则
<start>否则
<start>排名第一的食肉植物可以生长和繁殖，更新权重：
<start>
<start>如果
<start>则
<start>将新产生的个体与原种群重组，选择前的个体作为新的候选解
<start>迭代次数达到，终止迭代
---------------------------------------------------------
在一个具体实施例中，黎曼极限学习机的具体内容如下：
所述黎曼极限学习机将黎曼流形学习和极限学习机的思想结合在一起，在黎曼极限学习机中，输出层的权重以及隐藏层的权重和偏置的更新方式采用的方法是黎曼梯度下降。
在黎曼极限学习机中，输出函数定义为：
其中，是隐藏层的输出，是输出层的权重。定义为：
其中是隐藏层的权重，是偏置，是激活函数，表示点乘计算。
黎曼极限学习机通过在黎曼流形上计算梯度来优化损失函数，具体的，损失函数定义为：
其中，是目标输出。
黎曼梯度是在流形空间中的梯度，其计算涉及到对损失函数关于权重、偏置和输出层权重的偏导数。在流形空间中，这些梯度的计算方式和欧氏空间中不同，需要使用特殊的流形度量。本发明使用、和表示这些梯度。
具体的，黎曼梯度下降的更新规则如下：
其中，是损失函数，是迭代次数，、和是损失函数相对于、和的黎曼梯度。是学习率，在每次迭代中，根据损失函数的变化情况动态地调整学习率，具体的，学习率的表示方式为：
其中，和分别表示在第和次迭代中损失函数的值。
黎曼梯度的计算方式是在黎曼流形中，使用黎曼度量来计算黎曼梯度。具体的，设激活函数和其导数在黎曼流形中为已知，对于参数，黎曼梯度的计算可以表示为：
其中，是激活函数的导数，表示点乘计算。
类似的，对于参数和，黎曼梯度的计算可以表示为：
通过上述方式，进行黎曼极限学习机的训练过程中的参数优化。
S3： 所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
在一个实施例中，所述参数聚合是采用联邦学习平均算法实现的，所述联邦学习平均算法在获得本地模型参数和本地损失函数后进行参数聚合、损失函数聚合得到合成参数、合成损失函数，通过合成参数和合成损失函数构建得到待评估联邦模型。
在一个实施例中，所述联邦平均算法在模型迭代时得到的合成参数会进行迭代更新，合成参数更新是在本地模型参数更新的基础上进行更新。
在一个实施例中，所述本地模型参数更新、所述合成参数更新的具体公式为：
其中，t为迭代次数，R为学习率，为本地模型k的梯度，N为主体个数。
在一个实施例中，所述待评估联邦模型是中央服务器的初代全局模型，所述初代全局模型会经过N次迭代更新，N为大于等于1的整数。
在一个具体实施例中，本发明中采用联邦平均算法作为模型的聚合算法，该算法可通过一定次数的全局选代实现局部模型的协同训练。对于每一次全局迭代，假设主体个数为，所拥有的样本总数为，主体的样本数量为，则待优化的目标函数为，其中：
其中，为模型参数对第个样本数据的损失预测。对于主体而言，定义为：
其中，为主体的数据分布。则联邦学习模型的总损失函数可表示为：
当主体的梯度为，学习率为，经迭代次后更新参数为：
则每个主体的本地模型参数更新方式为：
经过上式得到经次训练后的本地更新模型，此时全局模型参数更新方式为：
在进行次迭代时，参与者将更新本地模型参数为，然后继续执行上述操作，直至模型完成训练。
S4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到S1；
在一个实施例中，数据建模的目的是通过建立模型，对未知数据进行预测或分类，但建模过程本身就具有一定的随机性、不确定性、不可重复性，因此评价模型性能是建模的关键环节，一般来说，模型性能评估可以分为以下几类：预测性能评估、泛化性能评估、稳定性性能评估、可解释性性能评估、鲁棒性性能评估。
S5:所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型。
在一个实施例中，联邦学习（Federated Learning）是一种多个参与方在不交互数据的情况下，通过安全机制交互模型参数，从而达到协同训练效果的分布式机器学习方法。联邦学习能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模，可使用的机器学习算法包括逻辑回归、神经网络、随机森林等，有望成为下一代人工智能协同算法和协作网络的基础。
在一个具体实施例中，联邦学习的具体流程为：在每一轮选代中各主体分别进行本地模型训练，并将训练出的模型参数上传至中央服务器，中央服务器完成参数聚合与更新，并将更新后的参数下发至各主体开始新一轮的迭代，直至训练收敛，如图5所示的联邦学习流程。
在一个具体实施例中，本发明的联邦学习框架中，模型停止训练的标准包括达到预设的训练轮数或模型收敛。其中，如果达到预设的训练轮数，即在训练开始前，可以设定一个训练轮数，一旦达到这个轮数，模型训练就停止。此外，当模型的训练和验证损失函数值停止或者明显减小的变化，或者模型的精度不再明显提高，则可以认为模型已经收敛，模型训练就停止。
在一个实施例中，所述方法在应用端的使用步骤包括：
第一步：获取待测患者的临床数据；
第二步：将所述临床数据输入用户端，所述用户端中存储着本地模型，所述本地模型是通过联邦学习更新参数后得到的本地模型；
第三步：利用上述本地模型预测待测患者的疾病分类结果。
在一个实施例中，临床数据可以分为临床试验数据和临床经验数据。临床试验数据为医疗器械进行临床试验过程中产生的数据，临床经验数据来源于除临床试验外的临床使用，包括但不限于上市后监测报告、登记数据或者病历数据（可能包含未发表的长期安全性、临床性能和/或有效性数据）；与临床试验相比，临床经验数据是在更大量、多样性且复杂的人群中，更广泛且可能更缺乏经验的使用者中获取的真实世界经验。这些数据有助于识别产品相关的罕见严重不良事件，提供安全性、临床性能和/或有效性的长期信息（包括耐久性数据以及失效模式信息）。
在一个具体实施例中，中央服务器的模型训练完成后导出模型参数并输至本地模型，本地模型通过该模型参数进行更新得到更新的本地模型，利用更新的本地模型进行慢性心血管分类，得到分类结果，根据分期分类结果进行慢性心血管疾病辅助决策。
一种基于联邦学习预测慢性心血管疾病的方法，包括：
第一步：获取待测患者的临床数据；
第二步：将所述临床数据输入用户端预测待测患者的疾病分类结果，所述用户端中存储着本地模型，所述本地模型是通过上述的基于联邦学习构建慢性心血管疾病大模型方法更新参数后得到的本地模型。
图2本发明实施例提供的一种基于联邦学习构建慢性心血管疾病大模型系统示意图，具体包括：
数据获取模块M1:获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
本地模型训练模块M2:用户端将所述训练数据输至本地模型进行训练得到本地模型；
待评估联邦模型模块M3:所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
性能评估模块M4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到M1；
更新模块M5：所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型。
图3为本发明实施例提供的一种基于联邦学习预测慢性心血管疾病的系统示意图，具体包括：
预测单元用于获取待测患者的临床数据，将所述临床数据输入用户端存储的更新参数后得到的本地模型预测待测患者的疾病分类结果；
模型构建单元用于构建最终联邦模型并更新本地模型参数，包括：
数据获取模块M1:获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
本地模型训练模块M2:用户端将所述训练数据输至本地模型进行训练得到本地模型；
待评估联邦模型模块M3:所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
性能评估模块M4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到M1；
更新模块M5：所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型。
图4本发明实施例提供的一种设备示意图，具体包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行任意一项上述的一种基于联邦学习构建慢性心血管疾病大模型方法或基于联邦学习预测慢性心血管疾病。
一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现任意一项上述的基于联邦学习构建慢性心血管疾病大模型方法或基于联邦学习预测慢性心血管疾病。
一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行任意一项上述的一种基于联邦学习构建慢性心血管疾病大模型方法或基于联邦学习预测慢性心血管疾病。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以改善本方法的性能。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的介质存储可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种基于联邦学习构建慢性心血管疾病大模型方法，其特征在于，所述联邦学习由一个中央服务器和m个用户端组成，所述方法包括：
S1：获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
S2：用户端将所述训练数据输至本地模型进行训练得到本地模型；
S3：所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
S4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到S1；
S5：所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型；
其中，所述本地模型训练分为两个过程，先将预处理后的数据输至神经网络模型中进行特征提取得到特征向量，再将所述特征向量输至分类模型中进行分类得到各类别的概率分布；所述神经网络模型在进行参数初始化时采用优化算法寻找最优权重配置；所述分类模型通过黎曼梯度下降更新权重和偏置得到优化参数，所述黎曼梯度是在黎曼流形空间中使用黎曼度量计算得到的；
所述通过黎曼梯度下降更新权重和偏置得到优化参数具体涉及到损失函数L、权重W、偏置b、输出层权重β，对W、b、β的黎曼梯度计算具体可表示为：
其中，是激活函数的导数，表示点乘计算，x表示所述预处理后的数据经过特征提取后得到的向量值，是隐藏层的输出，、和表示梯度，是损失函数，是迭代次数，是目标输出。
2.根据权利要求1所述的基于联邦学习构建慢性心血管疾病大模型方法，其特征在于，所述参数聚合是采用联邦学习平均算法实现的，所述联邦学习平均算法在获得本地模型参数和本地损失函数后进行参数聚合、损失函数聚合得到合成参数、合成损失函数，通过合成参数和合成损失函数构建得到待评估联邦模型。
3.根据权利要求2所述的基于联邦学习构建慢性心血管疾病大模型方法，其特征在于，所述联邦平均算法在模型迭代时得到的合成参数会进行迭代更新，合成参数更新是在本地模型参数更新的基础上进行更新。
4.根据权利要求3所述的基于联邦学习构建慢性心血管疾病大模型方法，其特征在于，所述本地模型参数更新、所述合成参数更新的具体公式为：
其中，t为迭代次数，R为学习率，为本地模型k的梯度，N为主体个数。
5.根据权利要求1所述的基于联邦学习构建慢性心血管疾病大模型方法，其特征在于，所述的神经网络优化算法包括下列的一种或几种：食肉植物优化算法、Jaya算法、粒子群算法、模拟退火群算法、蚁群优化算法、细菌觅食算法、人工鱼群算法；所述分类模型使用的模型算法包括下列的一种或几种：逻辑回归、随机森林、决策树、支持向量机、极限学习机、神经网络。
6.根据权利要求5所述的基于联邦学习构建慢性心血管疾病大模型方法，其特征在于，所述食肉植物优化算法包括猎物生长阶段以及繁殖阶段，其中繁殖阶段的权重更新公式为：
若，则更新公式为：
其中，表示繁殖率，用于在食肉植物的繁殖步骤中更新权重，表示0到1之间的随机数，表示最好的权重，指具有最高适应度的食肉植物个体的权重，表示某一食肉植物个体的权重，表示适应度函数。
7.根据权利要求1所述的基于联邦学习构建慢性心血管疾病大模型方法，其特征在于，所述方法还包括数据预处理，所述数据预处理是将不同格式的数据转换成统一向量数据并进行拼接，所述格式包括下列的一种或几种：数值型数据、类别型数据、文本型数据、图像型数据。
8.根据权利要求7所述的基于联邦学习构建慢性心血管疾病大模型方法，其特征在于，所述数值型数据采用Z-Score标准化方法进行转换；所述类别型数据采用One-HotEncoding方法进行转换；所述文本型数据采用Word Embedding方法转换；所述图像型数据先进行大小归一化和颜色归一化，再通过卷积神经网络映射为向量数据。
9.一种基于联邦学习预测慢性心血管疾病的方法，其特征在于，所述方法包括：
第一步：获取待测患者的临床数据；
第二步：将所述临床数据输入用户端预测待测患者的疾病分类结果，所述用户端中存储着本地模型，所述本地模型是通过权利要求1-8任意一项所述的基于联邦学习构建慢性心血管疾病大模型方法更新参数后得到的本地模型。
10.一种设备，其特征在于，包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-8任意一项上述的基于联邦学习构建慢性心血管疾病大模型方法或实现权利要求9所述的基于联邦学习预测慢性心血管疾病的方法。
11.一种基于联邦学习构建慢性心血管疾病大模型系统，所述联邦学习由一个中央服务器和m个用户端组成，包括：
数据获取模块M1:获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
本地模型训练模块M2:用户端将所述训练数据输至本地模型进行训练得到本地模型；
待评估联邦模型模块M3:所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
性能评估模块M4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到M1；
更新模块M5：所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型；
其中，所述本地模型训练分为两个过程，先将预处理后的数据输至神经网络模型中进行特征提取得到特征向量，再将所述特征向量输至分类模型中进行分类得到各类别的概率分布；所述神经网络模型在进行参数初始化时采用优化算法寻找最优权重配置；所述分类模型通过黎曼梯度下降更新权重和偏置得到优化参数，所述黎曼梯度是在黎曼流形空间中使用黎曼度量计算得到的；
所述通过黎曼梯度下降更新权重和偏置得到优化参数具体涉及到损失函数L、权重W、偏置b、输出层权重β，对W、b、β的黎曼梯度计算具体可表示为：
其中，是激活函数的导数，表示点乘计算，x表示所述预处理后的数据经过特征提取后得到的向量值，是隐藏层的输出，、和表示梯度，是损失函数，是迭代次数，是目标输出。
12.一种基于联邦学习预测慢性心血管疾病的系统，所述系统包括预测单元和模型构建单元：
所述预测单元用于获取待测患者的临床数据，将所述临床数据输入用户端存储的更新参数后得到的本地模型预测待测患者的疾病分类结果；
所述模型构建单元用于构建最终联邦模型并更新本地模型参数，包括：
数据获取模块M1:获取用户端本地存储的慢性心血管疾病数据集作为训练数据，其中所述用户端是m个用户端中的任意一个；
本地模型训练模块M2:用户端将所述训练数据输至本地模型进行训练得到本地模型；
待评估联邦模型模块M3:所述本地模型导出自身参数并上传至中央服务器，中央服务器进行参数聚合得到合成参数，通过合成参数构建待评估联邦模型；
性能评估模块M4：将测试数据输至所述待评估联邦模型进行性能测试，当所述待评估联邦模型的性能通过评判则输出最终联邦模型，当所述待评估联邦模型未通过性能评判，则回到M1；
更新模块M5：所述最终联邦模型导出自身参数传回至用户端更新本地模型得到通过联邦学习更新参数的本地模型；
其中，所述本地模型训练分为两个过程，先将预处理后的数据输至神经网络模型中进行特征提取得到特征向量，再将所述特征向量输至分类模型中进行分类得到各类别的概率分布；所述神经网络模型在进行参数初始化时采用优化算法寻找最优权重配置；所述分类模型通过黎曼梯度下降更新权重和偏置得到优化参数，所述黎曼梯度是在黎曼流形空间中使用黎曼度量计算得到的；
所述通过黎曼梯度下降更新权重和偏置得到优化参数具体涉及到损失函数L、权重W、偏置b、输出层权重β，对W、b、β的黎曼梯度计算具体可表示为：
其中，是激活函数的导数，表示点乘计算，x表示所述预处理后的数据经过特征提取后得到的向量值，是隐藏层的输出，、和表示梯度，是损失函数，是迭代次数，是目标输出。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项上述的基于联邦学习构建慢性心血管疾病大模型方法或实现权利要求9所述的基于联邦学习预测慢性心血管疾病的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057243.4A CN116759100B (zh) | 2023-08-22 | 2023-08-22 | 基于联邦学习构建慢性心血管疾病大模型方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057243.4A CN116759100B (zh) | 2023-08-22 | 2023-08-22 | 基于联邦学习构建慢性心血管疾病大模型方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116759100A CN116759100A (zh) | 2023-09-15 |
| CN116759100B true CN116759100B (zh) | 2023-10-31 |
Family
ID=87961352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311057243.4A Active CN116759100B (zh) | 2023-08-22 | 2023-08-22 | 基于联邦学习构建慢性心血管疾病大模型方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116759100B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116992980B (zh) * | 2023-09-28 | 2023-12-26 | 中国人民解放军总医院 | 一种基于超网络和联邦学习的预后预测预警模型训练方法、系统及设备 |
| CN117936080B (zh) * | 2024-03-22 | 2024-06-04 | 中国人民解放军总医院 | 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统 |
| CN117954082B (zh) * | 2024-03-26 | 2024-06-18 | 中国人民解放军总医院 | 基于联邦大模型的复杂疾病间共病临床辅助决策方法及系统 |
| CN118228010B (zh) * | 2024-05-27 | 2024-08-20 | 国网山东省电力公司蒙阴县供电公司 | 基于细粒度特征提取的光伏设备能耗预测方法及装置 |
| CN118430835B (zh) * | 2024-07-02 | 2024-09-27 | 中国人民解放军总医院 | 一种基于大小模型协同的多目标临床决策方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114548428A (zh) * | 2022-04-18 | 2022-05-27 | 杭州海康威视数字技术股份有限公司 | 基于实例重构的联邦学习模型智能攻击检测方法及装置 |
| WO2022110719A1 (zh) * | 2020-11-24 | 2022-06-02 | 平安科技（深圳）有限公司 | 基于联邦迁移学习的神经退行性疾病建模装置及相关设备 |
| CN115881306A (zh) * | 2023-02-22 | 2023-03-31 | 中国科学技术大学 | 基于联邦学习的网络化icu智能医疗决策方法及存储介质 |
| CN116403700A (zh) * | 2023-03-07 | 2023-07-07 | 西安交通大学 | 一种基于联邦学习的心脏病辅助诊断系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200202243A1 (en) * | 2019-03-05 | 2020-06-25 | Allegro Artificial Intelligence Ltd | Balanced federated learning |
-
2023
- 2023-08-22 CN CN202311057243.4A patent/CN116759100B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022110719A1 (zh) * | 2020-11-24 | 2022-06-02 | 平安科技（深圳）有限公司 | 基于联邦迁移学习的神经退行性疾病建模装置及相关设备 |
| CN114548428A (zh) * | 2022-04-18 | 2022-05-27 | 杭州海康威视数字技术股份有限公司 | 基于实例重构的联邦学习模型智能攻击检测方法及装置 |
| CN115881306A (zh) * | 2023-02-22 | 2023-03-31 | 中国科学技术大学 | 基于联邦学习的网络化icu智能医疗决策方法及存储介质 |
| CN116403700A (zh) * | 2023-03-07 | 2023-07-07 | 西安交通大学 | 一种基于联邦学习的心脏病辅助诊断系统 |
Non-Patent Citations (1)
| Title |
|---|
| "AI+医疗",探索"联邦学习".张江科技评论.2020,(04),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116759100A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116759100B (zh) | 基于联邦学习构建慢性心血管疾病大模型方法 | |
| Ahmad et al. | A GA-based feature selection and parameter optimization of an ANN in diagnosing breast cancer | |
| Qasem et al. | Multi-objective hybrid evolutionary algorithms for radial basis function neural network design | |
| Pourpanah et al. | A hybrid model of fuzzy min–max and brain storm optimization for feature selection and data classification | |
| Qasem et al. | Memetic multiobjective particle swarm optimization-based radial basis function network for classification problems | |
| CN109214503B (zh) | 基于kpca-la-rbm的输变电工程造价预测方法 | |
| Pourpanah et al. | A Q-learning-based multi-agent system for data classification | |
| CN112966114A (zh) | 基于对称图卷积神经网络的文献分类方法和装置 | |
| CN111046961B (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
| Li et al. | A bilevel learning model and algorithm for self-organizing feed-forward neural networks for pattern classification | |
| Xue et al. | A self-adaptive fireworks algorithm for classification problems | |
| JP2024524795A (ja) | グラフニューラルネットワークに基づく遺伝子表現型予測 | |
| Yang et al. | Constructing anfis with sparse data through group-based rule interpolation: an evolutionary approach | |
| Wang et al. | Patient admission prediction using a pruned fuzzy min–max neural network with rule extraction | |
| CN114898879A (zh) | 一种基于图表示学习的慢病风险预测方法 | |
| CN117313795A (zh) | 一种基于改进dbo-lstm的智慧楼宇能耗预测方法 | |
| CN115471043A (zh) | 一种基于集成sae-som的蜡模铸造热处理设备健康状态评估方法 | |
| Al-Laham et al. | Parameter identification of a multilayer perceptron neural network using an optimized salp swarm algorithm | |
| Tabarisaadi et al. | An optimized uncertainty-aware training framework for neural networks | |
| CN115456073A (zh) | 基于长短期记忆的生成式对抗网络模型建模分析方法 | |
| Sakshi et al. | A neuro-genetic technique for pruning and optimization of ANN weights | |
| Sujamol et al. | A genetically optimized method for weight updating in fuzzy cognitive maps | |
| Mousavi | A New Clustering Method Using Evolutionary Algorithms for Determining Initial States, and Diverse Pairwise Distances for Clustering | |
| Janghel et al. | Evolutionary ensemble model for breast cancer classification | |
| Shaheen et al. | Autonomic workload performance modeling for large-scale databases and data warehouses through deep belief network with data augmentation using conditional generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |