CN116561704A - 一种基于多模态融合的可信联邦建模方法 - Google Patents
一种基于多模态融合的可信联邦建模方法 Download PDFInfo
- Publication number
- CN116561704A CN116561704A CN202310554332.3A CN202310554332A CN116561704A CN 116561704 A CN116561704 A CN 116561704A CN 202310554332 A CN202310554332 A CN 202310554332A CN 116561704 A CN116561704 A CN 116561704A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- depression
- monitoring
- postpartum depression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 23
- 201000009916 Postpartum depression Diseases 0.000 claims abstract description 56
- 238000012544 monitoring process Methods 0.000 claims abstract description 45
- 238000012216 screening Methods 0.000 claims abstract description 19
- 238000003745 diagnosis Methods 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 6
- 238000000429 assembly Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 claims description 4
- 230000036772 blood pressure Effects 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 229940079593 drug Drugs 0.000 claims description 3
- 239000003814 drug Substances 0.000 claims description 3
- 229940088597 hormone Drugs 0.000 claims description 3
- 239000005556 hormone Substances 0.000 claims description 3
- 230000035935 pregnancy Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及联邦学习技术领域，具体为一种基于多模态融合的可信联邦建模方法，包括以下步骤：医院客户端收集大量的产后抑郁确诊患者的多类数据信息，进行预处理，完成不同模态间子组件的对齐；使用LSTM编码文本，并逐步融入对图像的卷积特征注意力机制，完成多模态数据融合；有益效果为：本发明提出的基于多模态融合的可信联邦建模方法，面向智慧医疗场景，基于来自结合不同医院的已确诊产后抑郁患者数据，包括日常身体状态数据、磁共振成像数据、产后抑郁筛查量表等多类医疗数据，联合各地医院客户端进行联邦学习，形成产后抑郁监测模型并持续优化；与目前常见的基于产后抑郁筛查量表的方式相比，监测效率更高且更加精准安全。
Description
技术领域
本发明涉及联邦学习技术领域，具体为一种基于多模态融合的可信联邦建模方法。
背景技术
近年来，数据要素逐渐成为推动经济增长的新引擎，而隐私计算作为一种促进数据流通合规的“技术解”，正在医疗健康等领域发挥着越来越重要的作用。隐私计算保护技术能够有效帮助医疗机构在满足用户隐私数据保护，且数据共享方式符合政府相关法规要求的前提下，实现多方机构数据融合和联合建模，从技术上打破数据孤岛现象。
现有技术中，联邦学习是一种新兴的人工智能基础技术，也是目前隐私计算核心技术之一，其通过“数据不动模型动”的应用新范式，实现了数据隐私保护和数据共享计算的平衡。公开数据显示，我国每5个产妇中就有1个抑郁症患者，63％的女性曾患产后抑郁，产后抑郁发病率高且所带来的危害涉及家庭社会等多个方面，但由于其发病及临床表现比较隐匿，很难被及时发现。
但是，目前的临床诊断率和治疗率都偏低。产后抑郁症的诊断至今无统一的标准，医院常用的检测手段是通过产妇自己填写的爱丁堡产后抑郁自测量表来筛查出可疑患者。在这种情况下，如何利用联邦学习技术高效安全地对不同地域的医疗诊断数据进行分析，及时精准发现产妇的心理问题，从而辅助临床诊断和治疗，同时保护医疗数据隐私安全，成为亟需解决的问题。
发明内容
本发明的目的在于提供一种基于多模态融合的可信联邦建模方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于多模态融合的可信联邦建模方法，于进行产后抑郁的早期筛查，所述可信联邦建模方法包括以下步骤：
步骤101、医院客户端收集大量的产后抑郁确诊患者的多类数据信息，进行预处理，完成不同模态间子组件的对齐；
步骤102、使用LSTM编码文本，并逐步融入对图像的卷积特征注意力机制，完成多模态数据融合；
步骤103、基于CNN和Attention算法训练形成产后抑郁监测模型，保存在各医院客户端；
步骤104、医院客户端发布产后抑郁监测联邦学习模型训练任务和推理任务的数据要求、计算资源要求及奖励机制；
步骤105、随机选取参与方中的N个进行联邦学习，并上传这N个经过差分隐私处理后的数据模型参数聚合到中央服务器；
步骤106、中央服务器基于汇集的模型数据，计算梯度，通过FedAvg方式对参数进行向量化更新，形成新的产后抑郁监测模型；
步骤107、中央服务器下发更新后的监测模型给所有参与方，在各医院客户端本地进行模型更新；
步骤108、重复执行步骤104至步骤107，持续优化本地模型，直到模型精确度达到设定值，完成各医院客户端的产后抑郁模型建立。
优选的，多类数据信息是指文本、图像数据信息，具体包括产后抑郁确诊患者的整个孕产周期过程中的产检数据如心跳、血压、激素水平等身体状态基础情况，生产住院期间的治疗、用药情况，产后抑郁筛查量表统计，以及确认检测的脑电波情况、磁共振成像数据信息。
优选的，多模态数据融合基于Attention机制。
优选的，中央服务器是指非可信第三方服务器，用于进行聚合监测模型的训练，并将训练结果分发至各医院客户端。
优选的，在医院客户端执行抑郁模型监测推理时，如发现监测数据异常，将收到及时提醒并上报；医院客户端接收到异常提醒后，记录事件特征，并上传数据至训练库；医院客户端接收数据，形成产后抑郁数据库，持续改进监测效率和精确度。
与现有技术相比，本发明的有益效果是：
本发明提出的基于多模态融合的可信联邦建模方法，面向智慧医疗场景，基于来自结合不同医院的已确诊产后抑郁患者数据，包括日常身体状态数据、磁共振成像数据、产后抑郁筛查量表等多类医疗数据，联合各地医院客户端进行联邦学习，形成产后抑郁监测模型并持续优化；与目前常见的基于产后抑郁筛查量表的方式相比，监测效率更高且更加精准安全。从而各地医院可以根据患者医疗数据，利用高精确度的监测模型完成推理，来筛查判定产妇的抑郁倾向，从而实现早发现早治疗。这样既能保护本地医疗数据隐私，也大大提高了产后抑郁筛查的准确性。另外，通过收集医院客户端的患者数据，形成产后抑郁数据库，进一步改进优化筛查效率和精确率。该方法具有较好的可扩展性和适应性，适用于不同地区和不同医院的产后抑郁筛查。
附图说明
图1为本发明联邦学习过程示意图。
具体实施方式
为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1，本发明提供一种技术方案：一种基于多模态融合的可信联邦建模方法，在保护医疗数据安全和数据隐私基础上，利用采集到的已确诊产后抑郁患者数据，包括文本、图像等数据信息，利用预处理和多模态融合算法构建本地产后抑郁监测模型并保存在医院客户端。通过中央服务器聚合各客户端模型进行联邦学习训练形成全局监测模型，并下发到各医院客户端进行模型持续迭代优化，得到精准全面的产后抑郁筛查监测模型。各地医院可以根据孕产妇的医疗监测数据，利用高精确度的监测模型完成推理，来筛查判定产妇的抑郁倾向，从而实现早发现早治疗。另外，通过收集医院客户端的患者数据，可以形成产后抑郁数据库，进一步改进优化产后抑郁的筛查效率和精确率。其中，
所述的多类医疗数据是指文本、图像等数据信息，具体包括产后抑郁确诊患者的整个孕产周期过程中的产检数据如心跳、血压、激素水平等身体状态基础情况，生产住院期间的治疗、用药情况，产后抑郁筛查量表统计，以及确认检测的脑电波情况、磁共振成像等数据信息；所述的中央服务器是指非可信第三方服务器，用于进行聚合监测模型的训练，并将训练结果分发至各医院客户端；所述的各参与方是指各地医院客户端，具有相对较强的计算存储能力，完成数据预处理、模型训练和推理，同时与中央服务器实现互联互通，完成模型的上传和下载；所述的监测模型是指通过深度学习形成的监测模型，通过模型训练，学习出产后抑郁患者行为模式，更新后的监测模型可用于推理并筛查出可疑患者；所述的产后抑郁筛查服务是由医院客户端为孕产妇提供的抑郁筛查服务，融合目前常见的筛查量表监测以及联邦学习精准监测两种方式，包括数据采集、模型监测分析等。
实施例二
在实施例一的基础上，提出了一种基于多模态融合的可信联邦建模方法，用于进行产后抑郁的早期筛查，包括：
步骤101、所述的医院客户端收集大量的产后抑郁确诊患者的多类数据信息，包括文本、2D图像(如心电图、脑电波等)、3D图像(如磁共振成像)等多种数据类型，进行预处理，完成不同模态间子组件的对齐；
步骤102、所述的多模态数据融合是基于Attention机制，首先使用LSTM编码文本，并逐步融入对图像的卷积特征注意力机制，完成多模态数据融合；
步骤103、所述的文本、图像数据经过前述的多模态融合对齐之后，基于CNN和Attention算法训练形成产后抑郁监测模型，保存在各医院客户端；
步骤104、所述的医院客户端发布产后抑郁监测联邦学习模型训练任务和推理任务的数据要求、计算资源要求及奖励机制等；
步骤105、随机选取参与方中的N个进行联邦学习，并上传这N个经过差分隐私处理后的数据模型参数聚合到中央服务器；
步骤106、中央服务器基于汇集的模型数据，计算梯度，通过FedAvg方式对参数进行向量化更新，形成新的产后抑郁监测模型；
步骤107、中央服务器下发更新后的监测模型给所有参与方，在各医院客户端本地进行模型更新；
步骤108、重复执行步骤104至步骤107，持续优化本地模型，直到模型精确度达到设定值，完成各医院客户端的产后抑郁模型建立；
步骤109、在所述的医院客户端执行抑郁模型监测推理时，如发现监测数据异常，将收到及时提醒并上报；
步骤110、所述的医院客户端接收到异常提醒后，记录事件特征，并上传数据至训练库；
步骤111、所述的医院客户端接收数据，形成产后抑郁数据库，持续改进监测效率和精确度。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于多模态融合的可信联邦建模方法，于进行产后抑郁的早期筛查，其特征在于：所述可信联邦建模方法包括以下步骤：
步骤101、医院客户端收集大量的产后抑郁确诊患者的多类数据信息，进行预处理，完成不同模态间子组件的对齐；
步骤102、使用LSTM编码文本，并逐步融入对图像的卷积特征注意力机制，完成多模态数据融合；
步骤103、基于CNN和Attention算法训练形成产后抑郁监测模型，保存在各医院客户端；
步骤104、医院客户端发布产后抑郁监测联邦学习模型训练任务和推理任务的数据要求、计算资源要求及奖励机制；
步骤105、随机选取参与方中的N个进行联邦学习，并上传这N个经过差分隐私处理后的数据模型参数聚合到中央服务器；
步骤106、中央服务器基于汇集的模型数据，计算梯度，通过FedAvg方式对参数进行向量化更新，形成新的产后抑郁监测模型；
步骤107、中央服务器下发更新后的监测模型给所有参与方，在各医院客户端本地进行模型更新；
步骤108、重复执行步骤104至步骤107，持续优化本地模型，直到模型精确度达到设定值，完成各医院客户端的产后抑郁模型建立。
2.根据权利要求1所述的一种基于多模态融合的可信联邦建模方法，其特征在于：多类数据信息是指文本、图像数据信息，具体包括产后抑郁确诊患者的整个孕产周期过程中的产检数据如心跳、血压、激素水平等身体状态基础情况，生产住院期间的治疗、用药情况，产后抑郁筛查量表统计，以及确认检测的脑电波情况、磁共振成像数据信息。
3.根据权利要求1所述的一种基于多模态融合的可信联邦建模方法，其特征在于：多模态数据融合基于Attention机制。
4.根据权利要求1所述的一种基于多模态融合的可信联邦建模方法，其特征在于：中央服务器是指非可信第三方服务器，用于进行聚合监测模型的训练，并将训练结果分发至各医院客户端。
5.根据权利要求1所述的一种基于多模态融合的可信联邦建模方法，其特征在于：在医院客户端执行抑郁模型监测推理时，如发现监测数据异常，将收到及时提醒并上报；医院客户端接收到异常提醒后，记录事件特征，并上传数据至训练库；医院客户端接收数据，形成产后抑郁数据库，持续改进监测效率和精确度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310554332.3A CN116561704A (zh) | 2023-05-17 | 2023-05-17 | 一种基于多模态融合的可信联邦建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310554332.3A CN116561704A (zh) | 2023-05-17 | 2023-05-17 | 一种基于多模态融合的可信联邦建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116561704A true CN116561704A (zh) | 2023-08-08 |
Family
ID=87485779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310554332.3A Pending CN116561704A (zh) | 2023-05-17 | 2023-05-17 | 一种基于多模态融合的可信联邦建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116561704A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117009924A (zh) * | 2023-10-07 | 2023-11-07 | 之江实验室 | 电子病历引导的多模态自适应多中心数据融合方法及系统 |
-
2023
- 2023-05-17 CN CN202310554332.3A patent/CN116561704A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117009924A (zh) * | 2023-10-07 | 2023-11-07 | 之江实验室 | 电子病历引导的多模态自适应多中心数据融合方法及系统 |
| CN117009924B (zh) * | 2023-10-07 | 2024-01-26 | 之江实验室 | 电子病历引导的多模态自适应多中心数据融合方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109394247B (zh) | 一种多特征融合的就诊用户情绪监控方法 | |
| Li et al. | Building the Internet of Things platform for smart maternal healthcare services with wearable devices and cloud computing | |
| JP5694178B2 (ja) | 患者安全プロセッサ | |
| US20190088373A1 (en) | Automated Assistant For Remote Patient Tracking, Diagnosing, Alerting, And Prevention Of Heart Diseases, Cardio Warning Service/System | |
| Clifford et al. | Wireless technology in disease management and medicine | |
| CN105118010A (zh) | 一种具备实时数据处理、实时信息分享以及生活干预信息的慢性疾病管理方法 | |
| CN104657620B (zh) | 基于互联网的眼健康云数据平台 | |
| AU2018432124A1 (en) | Human body health assessment method and system based on sleep big data | |
| Karthika et al. | Raspberry Pi-enabled Wearable Sensors for Personal Health Tracking and Analysis | |
| US20210358637A1 (en) | System and method for detecting adverse medication interactions via a wearable device | |
| CN116561704A (zh) | 一种基于多模态融合的可信联邦建模方法 | |
| CN110192842A (zh) | 基于云边端一体化的生理指标数据监测系统及方法 | |
| CN109830271A (zh) | 一种基于边缘计算和云计算的健康数据管理系统及分析方法 | |
| CN106326623A (zh) | 健康信息处理方法及系统 | |
| Lian et al. | Research on hierarchical data fusion of intelligent medical monitoring | |
| CN107536603A (zh) | 一种全时智能健康监测设备及其管理方法 | |
| CN106779446A (zh) | 一种家庭医生家庭病床管理系统 | |
| CN104462765A (zh) | 三维可视化医患沟通平台构建方法和系统 | |
| Guo et al. | Smart Healthcare System Based on Cloud‐Internet of Things and Deep Learning | |
| CN113806553A (zh) | 一种中西医健康知识图谱系统及构建方法 | |
| CN116246768A (zh) | 一种基于人工智能的mri影像检查智能分析管理系统 | |
| Bhagat | Artificial Intelligence in Healthcare | |
| Devi et al. | Cognitive IoT integration for smart healthcare: Case study for heart disease detection and monitoring | |
| CN107516019A (zh) | 无创健康预测系统及方法 | |
| Usharani et al. | Pregnancy Women—Smart Care Intelligent Systems: Patient Condition Screening, Visualization and Monitoring with Multimedia Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |