CN117009924A - 电子病历引导的多模态自适应多中心数据融合方法及系统 - Google Patents
电子病历引导的多模态自适应多中心数据融合方法及系统 Download PDFInfo
- Publication number
- CN117009924A CN117009924A CN202311277196.4A CN202311277196A CN117009924A CN 117009924 A CN117009924 A CN 117009924A CN 202311277196 A CN202311277196 A CN 202311277196A CN 117009924 A CN117009924 A CN 117009924A
- Authority
- CN
- China
- Prior art keywords
- electronic medical
- medical record
- data
- guided
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000009133 cooperative interaction Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 50
- 239000013598 vector Substances 0.000 claims description 38
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 3
- 238000002600 positron emission tomography Methods 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 6
- 238000005065 mining Methods 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种电子病历引导的多模态自适应多中心数据融合方法及系统，所述融合方法包括以下步骤：在服务器端构建电子病历引导的多模态融合网络模型，该多模态网络模型包括编码器模块、电子病历引导的多模态注意力模块、电子病历引导的多头共注意力模块和自适应降采样模块；以各客户端作为参与者构建联邦学习框架，基于各客户端的本地数据完成用于多中心协作交互的基于联邦学习的多模态网络模型参数的动态更新，自适应实现多中心电子病历数据和影像数据的融合。与现有技术相比，本发明在充分挖掘多模态数据中隐藏的有用信息的基础上，引入联邦学习机制，充分利用分布在不同医疗机构的多模态信息，解决数据融合精度低及泛化性差的问题。
Description
技术领域
本发明涉及医学数据融合技术领域，尤其是涉及一种电子病历引导的多模态自适应多中心数据融合方法及系统。
背景技术
随着物联网技术的不断进步和可穿戴设备数量的不断增加，医疗保健行业中健康数据的数字化取得了巨大的发展。本质上，医疗行业的健康数据包括电子病历、医学成像、多组学和环境等多种模态的数据。由于疾病领域的病因和临床表现复杂多变，在许多医学实践中，医生通常结合医学成像和电子病历等多种模态数据做出诊断决策和治疗规划。近年来，随着人工智能技术的进步和计算机性能的提高，多模态融合方法在自动化临床结果预测和诊断方面得到了广泛关注。研究表明，不同模态数据源的融合已成为临床决策支持、自动化工作流程分诊和临床诊断预测的必要条件，例如在糖尿病视网膜病变预测、COVID-19检测、青光眼诊断和阿尔兹海默症的诊断预测中多模态融合模型均显示出了明显的优势。鉴于电子病历和医学成像数据与临床结果之间的复杂关系，多模态医疗数据融合方法在临床应用中将发挥越来越重要的作用。
当前将图像数据和电子病历数据进行信息融合的工作有早期融合、中期融合和晚期融合三类方法。早期融合，首先通过人工设计的方法，独立提取不同模态的特征，然后在输入分类器之前进行组合，然而人工设计的特征很难适应不同的医学图像，无法充分利用模态中嵌入的丰富信息。晚期融合首先根据每种模态的数据训练单独的模型，然后通过平均投票、多数投票或元分类器等模型聚合方法做出决策，虽然融合结果同时受益于每种模态的最新模型，但决策层的简单算法获得的融合图像信息量少，不能保证互补信息的充分融合，通常融合精度相对较差。中期融合通过深度学习的方式将多种模态的特征相结合作为训练过程中最终模型的输入，迭代更新模型训练过程中多个模态的特征权重，将损失回传到所有特征提取器来更好的补充每个模态，改进多模态学习的特征表示，可以提供比其他两种融合策略更好的结果，但大多数方法由于图像和电子病历数据空间维度不同，通常直接将影像提取的浅层特征与电子病历进行融合，没有考虑到模态之间的差异性与互补性，这可能导致中间层特征信息流动性差，不能充分和精细利用多模态特征的问题，从而不利于效果提升，另外中期融合具有模型结构复杂度高和训练难度大等特点，在数据样本不足和高度数据不平衡的情况下很难发挥其优势。
在临床实践中，医生通常根据患者的成像数据和电子病历（如年龄、性别、血压等）做出诊断决策。鉴于成像数据和电子病历等多模态数据与临床结果之间复杂的相互关系，深度学习模型因其出色的特征提取能力，可充分挖掘多模态数据的多级抽象表示及其隐藏的有用信息，在实现电子病历和成像数据之间的多模态融合方面显示出了明显的优点。然而，深度学习需要足够丰富的训练数据才能发挥其优势，在样本数量不足、分布分散以及类别不平衡的情况下容易产生过拟合和精度下降的问题。受到不同成像设备和传感器的限制，多模态数据需要匹配成对的影响（即任一模态的缺失都会造成完整模态的可用数据减少），单个医疗中心的多模态数据通常规模较小，不同医疗中心在严格的隐私实践下运营而导致数据共享困难。
发明内容
针对上述现有技术存在的不足，本发明的目的在于将联邦学习机制引入多模态数据融合方法中，充分利用分布在不同医疗中心的电子病历和医学影像数据集，提出一种电子病历引导的多模态自适应多中心数据融合方法及系统，解决目前电子病历和影像数据由于维度不一致带来的多模态融合信息利用不充分，中间层特征信息流动性差而无法捕捉到多模态数据中的内在结构和外部联系，以及单个医疗中心的多模态数据样本受限而多个医疗中心数据共享困难的问题。
本发明的目的可以通过以下技术方案来实现：
一种电子病历引导的多模态自适应多中心数据融合方法，包括以下步骤：
S1、在服务器端构建电子病历引导的多模态融合网络模型，
该电子病历引导的多模态网络模型包括：
编码器模块，用于从影像数据中逐层提取抽象特征和上下文信息，获取影像特征图；
电子病历引导的多模态注意力模块，用于对电子病历数据和所述影像特征图进行融合映射操作，通过电子病历引导图像特征提取阶段得到可学习的影像数据的权重特征图，该权重特征图与所述影像特征图融合，获得电子病历引导的多模态注意力特征图，来强调显著区域抑制非显著区域；
电子病历引导的多头共注意力模块，用于对电子病历数据和所述多模态注意力特征图进行向量融合操作，获得电子病历引导的多头共注意力特征向量，指导影像特征图关注重要区域信息，提高网络对图像特征的捕捉能力；
自适应降采样模块，用于计算特征重要性得分，自适应选择融合位置对所述多头共注意力特征向量进行邻域合并，从而保留重要的细节信息同时压缩不重要的特征区域；
S2、以各客户端作为所述电子病历引导的多模态网络模型训练的参与者构建联邦学习框架，基于各客户端本地的电子病历数据和影像数据完成用于多中心协作交互的基于联邦学习的多模态网络模型参数的动态更新，以实时更新获得的多模态网络模型实现多中心电子病历数据和影像数据的融合。
进一步地，所述电子病历引导的多模态注意力模块具体执行以下步骤：
S101、通过映射处理和数据复制方式，对电子病历数据和影像特征图进行矩阵维度对齐处理；
S102、通过元素级特征相加将电子病历与影像数据进行融合操作，并通过卷积操作和特征图激活的方式，得到影像数据的权重特征图；
S103、通过点乘方式将所述权重特征图作用到输入的影像特征图上，得到电子病历引导的多模态注意力特征图。
进一步地，所述电子病历引导的多头共注意力模块具体执行以下步骤：
S201、对电子病历引导的多模态注意力特征图依次通过降采样操作、展平操作和线性投影，得到影像特征数据对应的键向量K和值向量V；
S202、对电子病历数据依次通过全连接层操作、位置嵌入和线性投影，得到电子病历数据对应的查询向量Q；
S203、将查询向量Q和键向量K进行点积操作，并进行非线性激活，得到电子病历引导的共注意力权重图；
S204、将所述共注意力权重图与值向量V进行点积操作，经过多层感知机得到电子病历引导的多头共注意力特征向量。
进一步地，所述自适应降采样模块包括用于选择最重要特征点的可学习评分组件和用于合并所选特征点周围特征的邻域合并组件，具体执行以下步骤：
S301、通过全连接层和sigmoid函数学习多头共注意力特征向量中每个位置的重要性评分；
S302、选择得分最高的前若干个特征点作为合并位置；
S303、在挑选的合并位置周围执行邻域合并。
进一步地，所述基于联邦学习的多模态网络模型参数的动态更新具体为：
S401、首轮训练中在服务器端初始化全局模型参数，并下发至各客户端；
S402、在每轮训练中，客户端在每次迭代中均基于本地训练数据通过随机梯度下降完成局部模型参数/>的更新，并且客户端在每完成/>轮迭代后均与服务器端进行通信，将第/>次迭代更新后的局部模型参数信息/>、权重系数/>和梯度/>上传至联邦学习服务器端，并接收经服务器端汇总更新后的全局模型参数/>作为本次迭代过程中的局部模型参数，其中，/>为第/>个客户端的训练数据集。
进一步地，所述客户端迭代过程中局部模型参数更新方式为：
第迭代过程中的所有N个客户端均基于本地训练数据并行执行局部训练，根据得到当前客户端用于更新联邦学习局部模型参数的权重系数，进而完成本地模型参数的更新/>，其中，/>是超参数，/> 、/> 、/>分别为第/>个客户端在第/>次迭代时的局部模型参数、权重系数和梯度，/>是第/>个客户端在第/>次迭代时的损失函数。
进一步地，所述电子病历引导的多模态网络模型基于构建的多模态训练集进行训练，所述多模态训练集的构建包括以下步骤：
S501、采集电子病历数据和影像数据，并分别对所述电子病历数据和影像数据进行预处理；
S502、对预处理后的电子病历数据和影像数据进行配对处理，构建多模态训练集。
进一步地，所述电子病历数据包括人口学相关信息、常规检查项目信息和诊断信息；
所述影像数据包括X射线、磁共振成像、正电子发射断层扫描、计算机断层扫描、超声影像中的一种或多种。
进一步地，对所述影像数据的预处理包括重采样、图像调整、灰度值截断、线性归一化和图像数据扩增处理，对所述电子病历数据的预处理包括特征提取、特征数值化和归一化处理。
本发明还提供一种电子病历引导的多模态自适应多中心数据融合系统，包括：
数据采集模块，用于采集电子病历数据和影像数据；
第一预处理模块，用于对所述影像数据进行预处理；
第二预处理模块，用于对所述电子病历数据进行预处理；
训练集构建模块，用于对预处理后的电子病历数据和影像数据进行配对处理，构建多模态训练集；
多模态网络构建模块，用于构建实现电子病历数据和影像数据融合的电子病历引导的多模态网络模型；
联邦学习框架构建和基于联邦学习的多模态网络动态更新模块，用于以电子病历引导的多模态网络模型为参与者通过联邦学习实现多中心协作交互的多模态网络模型参数的动态更新；
数据融合结果模块，用于通过实时更新获得的多模态网络模型实现电子病历数据和影像数据的融合以进行临床决策支持。
与现有技术相比，本发明具有以下有益效果：
1、本发明构建了电子病历引导的多模态数据融合网络模型，包括电子病历引导的多模态注意力模块、电子病历引导的多头共注意力模块和自适应降采样模块可以增强电子病历和影像数据特征之间的交互性和互补性，实现对复杂多模态特征信息的有效互补融合，自适应地增强多模态数据的特征表达能力，充分挖掘多模态数据中隐藏的有用信息，具有特征信息提取丰富、流动性强和鲁棒性高的优点。
2、本发明的电子病历引导的多模态注意力模块通过电子病历引导图像特征提取阶段生成可学习的权重矩阵，来强调显著区域抑制非显著区域，以更好的利用电子病历协助影像数据在特征提取过程中选择任务相关的视觉区域，模仿医生阅读相应的电子病历后关注影像重要位置的诊断模式；电子病历引导的多头共注意力模块将电子病历产生的query与影像特征数据产生的key相结合产生共注意力权重来指导影像特征图关注重要区域信息，提高网络对图像特征的捕捉能力，进而提高电子病历和影像数据之间特征信息的交互性和流动性；自适应降采样模块通过计算特征重要性得分，自适应选择融合位置进行邻域合并，从而达到自适应降采样的目的，在保留重要的细节信息的同时，压缩不重要的特征区域。
3、本发明将联邦学习机制引入多模态数据融合中，具有非中心化训练机制特性的联邦学习可保证每个中心独立控制自己的数据而无需直接整合收集数据，能充分利用分布在不同中心的电子病历和成像数据集来训练一个多模态融合网络，不仅可以增强不同模态特征信息之间的交互与联系，实现对复杂多模态图像的有效融合，还可以让多个医疗中心在不共享隐私数据的基础上实现跨机构的协同建模，有效利用分散在不同医疗中心的数据，进一步提高模型的稳健性，缓解医疗行业数据安全与隐私保护难题。
4、本发明提供的多模态自适应多中心数据融合的联邦学习框架和模型参数动态更新方式，根据各个客户端的数据分布和模型的当前训练情况自适应校准模型参数更新权重，用于联邦学习模型参数的更新，能够在协作训练中保证数据隐私安全的前提下，充分利用分布在不同医疗机构的影像数据和电子病历等多模态信息，得到优于各个医疗机构参与方单独训练性能的全局模型，解决单个医疗机构由于电子病历和影像数据匹配对数据匮乏引起的多模态融合精度低及泛化性差的问题，实现多中心协作训练大规模模型，提高数据的安全性和流动性，且具有更好的可扩展性。
附图说明
图1为本发明实施例中的多模态网络模型的结构示意图；
图2为本发明实施例中的电子病历引导的多模态注意力模块的结构示意图；
图3为本发明实施例中的自适应降采样模块的结构示意图；
图4为本发明实施例中联邦学习过程示意图；
图5为本发明实施例中数据融合系统的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
本实施例提供一种电子病历引导的多模态自适应多中心数据融合方法，包括以下步骤：
S1、在服务器端构建电子病历引导的多模态融合网络模型；
S2、以各客户端作为电子病历引导的多模态网络模型训练的参与者构建联邦学习框架，基于各客户端本地的电子病历数据和影像数据完成用于多中心协作交互的基于联邦学习的多模态网络模型参数的动态更新，以实时更新获得的多模态网络模型实现多中心电子病历数据和影像数据的融合。
本实施例的电子病历包含的信息有患者信息、护理记录、手术记录、治疗记录、病程记录、处方记录、检查结果等。
如图1所示，本实施例构建的电子病历引导的多模态网络模型包括4个主要部分，即编码器模块、由电子病历引导的多模态注意力模块、电子病历引导的多头共注意力模块和自适应降采样模块。其中，编码器模块用于从影像输入中逐层提取抽象特征和上下文信息，获取影像特征图；电子病历引导的多模态注意力模块用于对电子病历数据和所述影像特征图进行融合映射操作，通过电子病历引导图像特征提取阶段得到可学习的影像数据的权重特征图，该权重特征图与所述影像特征图融合，来强调显著区域抑制非显著区域，获得电子病历引导的多模态注意力特征图；电子病历引导的多头共注意力模块用于对电子病历数据和所述多模态注意力特征图进行向量融合操作，将电子病历和影像特征相结合产生的共注意力权重图来指导影像特征图关注重要区域信息，提高网络对图像特征的捕捉能力，获得电子病历引导的多头共注意力特征向量；自适应降采样模块用于计算特征重要性得分，自适应选择融合位置对所述多头共注意力特征向量进行邻域合并，从而保留重要的细节信息同时压缩不重要的特征区域。
上述电子病历引导的多模态网络模型基于在各客户端本地构建的多模态训练集进行训练。假设表示/>个客户端的多模态训练数据集。其中表示第/>个客户端的多模态训练数据集包含/>个标注图像。其中/>为3维影像体数据，/>表示体数据的层数，/>表示体数据的宽，/>表示体数据的高；/>为1维电子病历特征数据，/>为电子病历特征数据的数量，/>为相应训练数据集标注的真实值。
本实施例中，编码器模块由3个3D降采样残差块组成，每个残差块包含两个卷积核为3×3×3，激活函数为relu的卷积层，第一个卷积层的步长为1，第二个卷积层的步长为2，用于将输入特征图分辨率减半。
在具体实施方式中，电子病历引导的多模态注意力模块如图2所示，其获得电子病历引导的多模态注意力特征图具体包括以下步骤：
S101、通过映射处理和数据复制方式，对电子病历数据和影像特征图进行矩阵维度对齐处理。
图2中，表示影像数据的中间层输出特征图，即编码器模块输出的影像特征图，/> 、/>分别表示通道数、深度、高和宽；/>表示电子病历数据，/>表示电子病历特征的维度。为了降低模型的计算复杂度并增加泛化能力，首先将电子病历通过全连接层操作映射到/>维度，同时通过卷积核大小为1x1x1，步长为1的3维卷积操作将影像特征数据映射到/>维度，并使用修正线性单元（RELU）函数进行非线性激活，然后通过复制数据的方式将电子病历特征从/>维扩展到以对齐矩阵维度。
S102、通过元素级特征相加将电子病历与影像数据进行融合操作，并通过卷积操作和特征图激活的方式，得到影像数据的权重特征图。
通过元素级特征相加将电子病历与影像数据进行融合操作，随后同时通过卷积核大小为1x1x1，步长为1的3维卷积操作将融合特征数据映射到维度，并使用S形曲线函数（sigmoid函数）将特征图进行激活，得到影像数据的权重特征图。
S103、通过点乘方式将所述权重特征图作用到输入的影像特征图上，由此得到电子病历引导的多模态注意力特征图。
如图1所示，电子病历引导的多头共注意力模块获得电子病历引导的多头共注意力特征向量具体包括以下步骤：
S201、对电子病历引导的多模态注意力特征图依次通过降采样操作、展平操作和线性投影，得到影像特征数据对应的键向量K和值向量V。
具体地，将首先通过包含两个卷积核为3x3x3，激活函数为relu的1个3D降采样残差块完成降采样操作，其中第一个卷积层的步长为1，第二个卷积层的步长为2；然后通过展平操作将上述特征图的深度、宽和高压缩为一个维度，转化为序列化数据，并进行线性投影得到影像特征数据对应的键（key）向量K和值（value）向量V。
S202、同时对电子病历数据依次通过全连接层操作、位置嵌入和线性投影，得到电子病历数据对应的查询向量Q。
具体地，将电子病历数据首先通过三个全连接层操作，然后进行位置嵌入，并进行线性投影得到电子病历特征数据对应的查询（query）向量Q。
S203、将查询向量Q和键向量K进行点积操作，并通过softmax函数进行非线性激活，由此得到电子病历引导的共注意力权重图。
S204、将所述共注意力权重图与值向量V进行点积操作，经过多层感知机（MLP）得到电子病历引导的多头共注意力特征向量。
本实施例中的自适应降采样模块如图3所示，包括两个组件，用于选择最重要特征点的可学习评分组件以及用于合并所选特征点周围特征的邻域合并组件，具体包括以下步骤：
S301、首先通过全连接层和sigmoid函数学习多头共注意力特征向量中每个位置处的重要性评分/>, />， />表示由电子病历引导的多头共注意力模块的输出特征向量的维度，这里
（1）
其中表示sigmoid函数，/>表示用于计算特征重要性得分的全连接层，/>为位置处的特征点。
S302、选择得分最高的前若干个特征点作为合并位置。
S303、根据公式（2）在挑选的合并位置周围执行邻域合并步骤：
(/> （2）
其中，表示位置/>的邻域，/>表示多层感知机(MLP)，用于计算邻域中输入特征 />的不同加权组合，/>表示合并输出，/> 表示矢量化。
在具体实施方式中，可以选择得分最高的前1/4、前1/3等特征点作为合并位置，在邻域合并步骤中可以选择离位置最近的6个、8个等特征点进行合并。
上述各客户端的多模态训练集的构建包括以下步骤：
S501、采集电子病历数据和影像数据，并分别对所述电子病历数据和影像数据进行预处理。
具体地，将电子病历系统中患者的年龄、性别等人口学相关信息和血压、心率等常规检查项目信息以及疾病相关的诊断信息进行整合，获得电子病历数据。影像数据为X射线、磁共振成像（MRI）、正电子发射断层扫描（PET）、计算机断层扫描（CT）或超声中的一种或多种，具体选取种类依据疾病类别决定。
对所述影像数据进行的预处理操作包括：首先将全部影像数据集重采样到固定体素间距1.5x1.5x0.8mm，然后调整图像大小到192x192x64,接着将灰度值截断在[-325,325]之间，然后进行线性归一化操作使得像素值保持在[-1, 1]之间，最后为了避免训练过程的过拟合问题，使用高斯噪声、高斯模糊、对比度调整、Gamma变换等图像数据扩增技术，得到预处理后的影像数据。
对所述电子病历数据进行的预处理操作包括：首先提取若干与疾病相关的若干个特征，如年龄、性别、抽烟、心率、病史等，然后对相应特征进行数值化和归一化处理，得到预处理后的电子病历数据。
S502、对预处理后的电子病历数据和影像数据进行配对处理，构建多模态训练集。
以电子病历引导的多模态融合网络作为参与者构建联邦学习框架，通过联邦学习的方式完成基于联邦学习的多模态网络模型参数的动态更新。如图4所示，所述模型参数的动态更新具体包括：
S401、首轮训练中在服务器端初始化全局模型参数，并下发至各客户端；
S402、在每轮训练中，客户端在每次迭代中均基于本地训练数据通过随机梯度下降完成局部模型参数/>的更新，并且客户端在每完成/>轮迭代后均与服务器端进行通信，将更新后的局部模型参数信息/>，权重系数/>和梯度/>上传至联邦学习服务器端，并接收经服务器端汇总更新后的全局模型参数/>作为本次迭代过程中的局部模型参数，其中/>表示迭代次数，/>表示客户端。
图4中，为固定值轮数，客户端在每次迭代中均在本地进行随机梯度下降，并且客户端在每次/>迭代后与中央服务器进行通信。
具体地，第次迭代过程中的所有/>个客户端均基于本地训练数据并行执行局部训练，根据公式（3）计算当前客户端更新的权重系数，
（3）
其中是超参数，/>是损失函数，/>为梯度，本实施例取值/>，/>。 如果当前迭代轮数/>为/>的倍数，则各客户端均将更新后的局部模型参数信息/>，权重系数/>和梯度/>上传至联邦学习服务器端，并接收经联邦学习服务器端汇总后的模型参数作为本次迭代过程中的局部模型参数；否则根据公式（4）进行本地模型参数的更新：
（4）
其中， 、/> 、/>分别为第/>个客户端在第/>次迭代时的局部模型参数，/>为第/>个客户端的训练数据集。
如果当前迭代轮数为/>的倍数，则联邦学习服务器端接收所有客户端局部更新后的模型参数/>，权重系数/>和梯度/>，并对从每个客户端接收到的所述参数进行汇总优化，根据公式（5）更新联邦全局网络的模型参数/>，并将更新后的全局网络模型参数下发至各客户端：
（5）
其中每个客户端的聚合权重为：
（6）
（7）
表示客户端/>的训练数据个数，/>为超参数，本实施例取值为10。
上述基于电子病历引导的多模态自适应多中心数据融合方法，通过构建的电子病历引导的多模态网络模型能够增强电子病历和影像数据特征之间的交互性和互补性，实现对复杂多模态特征信息的有效互补融合，充分挖掘多模态数据中隐藏的有用信息，具有特征信息提取丰富、流动性强和鲁棒性高的优点；同时将联邦学习机制引入多模态自适应数据融合任务中，充分利用分布在不同医疗机构的影像数据和电子病历多模态信息，得到优于各个医疗机构参与方单独训练性能的全局模型，解决单个医疗机构由于电子病历和影像数据匹配对数据匮乏引起的多模态融合精度低及泛化性差的问题。
实施例2
本实施例提供一种电子病历引导的多模态自适应多中心数据融合系统，如图5所示，包括用于采集电子病历和影像数据信息的数据采集模块、用于影像数据重采样和归一化的第一预处理模块、用于电子病历数据数值化和归一化处理的第二预处理模块、用于电子病历和影像数据融合的训练集构建模块、用于电子病历和影像数据融合的多模态网络构建模块、以多模态融合网络为参与者用于多中心协作交互的联邦学习框架构建及基于联邦学习的多模态网络动态更新模块和用于进行临床决策支持的数据融合结果模块。其中，电子病历引导的多模态网络模型如图1所示，包括编码器模块、由电子病历引导的多模态注意力模块、电子病历引导的多头共注意力模块和自适应降采样模块，能够充分挖掘多模态数据中隐藏的有用信息。
本实施例的其余部分同实施例1。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种电子病历引导的多模态自适应多中心数据融合方法，其特征在于，包括以下步骤：
S1、在服务器端构建电子病历引导的多模态融合网络模型，
该电子病历引导的多模态网络模型包括：
编码器模块，用于从影像数据中逐层提取抽象特征和上下文信息，获取影像特征图；
电子病历引导的多模态注意力模块，用于对电子病历数据和所述影像特征图进行融合映射操作，通过电子病历引导图像特征提取阶段得到可学习的影像数据的权重特征图，该权重特征图与所述影像特征图融合，获得电子病历引导的多模态注意力特征图；
电子病历引导的多头共注意力模块，用于对电子病历数据和所述多模态注意力特征图进行向量融合操作，获得电子病历引导的多头共注意力特征向量；
自适应降采样模块，用于计算特征重要性得分，自适应选择融合位置对所述多头共注意力特征向量进行邻域合并；
S2、以各客户端作为所述电子病历引导的多模态网络模型训练的参与者构建联邦学习框架，基于各客户端本地的电子病历数据和影像数据完成用于多中心协作交互的基于联邦学习的多模态网络模型参数的动态更新，以实时更新获得的多模态网络模型实现多中心电子病历数据和影像数据的融合。
2.根据权利要求1所述的电子病历引导的多模态自适应多中心数据融合方法，其特征在于，所述电子病历引导的多模态注意力模块具体执行以下步骤：
S101、通过映射处理和数据复制方式，对电子病历数据和影像特征图进行矩阵维度对齐处理；
S102、通过元素级特征相加将电子病历与影像数据进行融合操作，并通过卷积操作和特征图激活的方式，得到影像数据的权重特征图；
S103、通过点乘方式将所述权重特征图作用到输入的影像特征图上，得到电子病历引导的多模态注意力特征图。
3.根据权利要求1所述的电子病历引导的多模态自适应多中心数据融合方法，其特征在于，所述电子病历引导的多头共注意力模块具体执行以下步骤：
S201、对电子病历引导的多模态注意力特征图依次通过降采样操作、展平操作和线性投影，得到影像特征数据对应的键向量K和值向量V；
S202、对电子病历数据依次通过全连接层操作、位置嵌入和线性投影，得到电子病历数据对应的查询向量Q；
S203、将查询向量Q和键向量K进行点积操作，并进行非线性激活，得到电子病历引导的共注意力权重图；
S204、将所述共注意力权重图与值向量V进行点积操作，经过多层感知机得到电子病历引导的多头共注意力特征向量。
4.根据权利要求1所述的电子病历引导的多模态自适应多中心数据融合方法，其特征在于，所述自适应降采样模块包括用于选择最重要特征点的可学习评分组件和用于合并所选特征点周围特征的邻域合并组件，具体执行以下步骤：
S301、通过全连接层和sigmoid函数学习多头共注意力特征向量中每个位置的重要性评分；
S302、选择得分最高的前若干个特征点作为合并位置；
S303、在挑选的合并位置周围执行邻域合并。
5.根据权利要求1所述的电子病历引导的多模态自适应多中心数据融合方法，其特征在于，所述基于联邦学习的多模态网络模型参数的动态更新具体为：
S401、首轮训练中在服务器端初始化全局模型参数，并下发至各客户端；
S402、在每轮训练中，客户端在每次迭代中均基于本地训练数据通过随机梯度下降完成局部模型参数/>的更新，并且客户端在每完成/>轮迭代后均与服务器端进行通信，将第/>次迭代更新后的局部模型参数信息/>、权重系数/>和梯度/>上传至联邦学习服务器端，并接收经服务器端汇总更新后的全局模型参数/>作为本次迭代过程中的局部模型参数，其中，/>为第/>个客户端的训练数据集。
6.根据权利要求5所述的电子病历引导的多模态自适应多中心数据融合方法，其特征在于，所述客户端迭代过程中局部模型参数更新方式为：
第迭代过程中的所有N个客户端均基于本地训练数据并行执行局部训练，根据得到当前客户端用于更新联邦学习局部模型参数的权重系数，进而完成本地模型参数的更新/>，其中，/>是超参数，/> 、/> 、/>分别为第/>个客户端在第/>次迭代时的局部模型参数、权重系数和梯度，/>是第/>个客户端在第/>次迭代时的损失函数。
7.根据权利要求1所述的电子病历引导的多模态自适应多中心数据融合方法，其特征在于，所述电子病历引导的多模态网络模型基于构建的多模态训练集进行训练，所述多模态训练集的构建包括以下步骤：
S501、采集电子病历数据和影像数据，并分别对所述电子病历数据和影像数据进行预处理；
S502、对预处理后的电子病历数据和影像数据进行配对处理，构建多模态训练集。
8.根据权利要求7所述的电子病历引导的多模态自适应多中心数据融合方法，其特征在于，所述电子病历数据包括人口学相关信息、常规检查项目信息和诊断信息；
所述影像数据包括X射线、磁共振成像、正电子发射断层扫描、计算机断层扫描、超声影像中的一种或多种。
9.根据权利要求7所述的电子病历引导的多模态自适应多中心数据融合方法，其特征在于，对所述影像数据的预处理包括重采样、图像调整、灰度值截断、线性归一化和图像数据扩增处理，对所述电子病历数据的预处理包括特征提取、特征数值化和归一化处理。
10.一种电子病历引导的多模态自适应多中心数据融合系统，其特征在于，包括：
数据采集模块，用于采集电子病历数据和影像数据；
第一预处理模块，用于对所述影像数据进行预处理；
第二预处理模块，用于对所述电子病历数据进行预处理；
训练集构建模块，用于对预处理后的电子病历数据和影像数据进行配对处理，构建多模态训练集；
多模态网络构建模块，用于构建实现电子病历数据和影像数据融合的电子病历引导的多模态网络模型；
联邦学习框架构建和基于联邦学习的多模态网络动态更新模块，用于以电子病历引导的多模态网络模型为参与者通过联邦学习实现多中心协作交互的多模态网络模型参数的动态更新；
数据融合结果模块，用于通过实时更新获得的多模态网络模型实现电子病历数据和影像数据的融合以进行临床决策支持。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311277196.4A CN117009924B (zh) | 2023-10-07 | 2023-10-07 | 电子病历引导的多模态自适应多中心数据融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311277196.4A CN117009924B (zh) | 2023-10-07 | 2023-10-07 | 电子病历引导的多模态自适应多中心数据融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117009924A true CN117009924A (zh) | 2023-11-07 |
| CN117009924B CN117009924B (zh) | 2024-01-26 |
Family
ID=88565763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311277196.4A Active CN117009924B (zh) | 2023-10-07 | 2023-10-07 | 电子病历引导的多模态自适应多中心数据融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117009924B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117391092A (zh) * | 2023-12-12 | 2024-01-12 | 中南大学 | 一种基于对比学习的电子病历多模态医疗语义对齐方法 |
| CN117592555A (zh) * | 2023-11-28 | 2024-02-23 | 中国医学科学院北京协和医院 | 一种面向多源异构医疗数据的联邦学习方法及系统 |
| CN117951749A (zh) * | 2024-03-27 | 2024-04-30 | 青岛文达通科技股份有限公司 | 一种基于动态引导注意力的联邦多任务学习方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040122719A1 (en) * | 2002-12-18 | 2004-06-24 | Sabol John M. | Medical resource processing system and method utilizing multiple resource type data |
| CN106777953A (zh) * | 2016-12-09 | 2017-05-31 | 江西中科九峰智慧医疗科技有限公司 | 医学影像数据的分析方法及系统 |
| CN110874409A (zh) * | 2019-10-22 | 2020-03-10 | 清华大学 | 病情分级预测系统、方法、电子设备及可读存储介质 |
| CN114242233A (zh) * | 2021-12-09 | 2022-03-25 | 零氪医疗智能科技(广州)有限公司 | 一种诊断信息的生成方法、系统、电子设备及存储介质 |
| CN115131642A (zh) * | 2022-08-30 | 2022-09-30 | 之江实验室 | 一种基于多视子空间聚类的多模态医学数据融合系统 |
| CN116386860A (zh) * | 2022-12-22 | 2023-07-04 | 东北林业大学 | 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台 |
| CN116561704A (zh) * | 2023-05-17 | 2023-08-08 | 山东浪潮科学研究院有限公司 | 一种基于多模态融合的可信联邦建模方法 |
-
2023
- 2023-10-07 CN CN202311277196.4A patent/CN117009924B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040122719A1 (en) * | 2002-12-18 | 2004-06-24 | Sabol John M. | Medical resource processing system and method utilizing multiple resource type data |
| CN106777953A (zh) * | 2016-12-09 | 2017-05-31 | 江西中科九峰智慧医疗科技有限公司 | 医学影像数据的分析方法及系统 |
| CN110874409A (zh) * | 2019-10-22 | 2020-03-10 | 清华大学 | 病情分级预测系统、方法、电子设备及可读存储介质 |
| CN114242233A (zh) * | 2021-12-09 | 2022-03-25 | 零氪医疗智能科技(广州)有限公司 | 一种诊断信息的生成方法、系统、电子设备及存储介质 |
| CN115131642A (zh) * | 2022-08-30 | 2022-09-30 | 之江实验室 | 一种基于多视子空间聚类的多模态医学数据融合系统 |
| CN116386860A (zh) * | 2022-12-22 | 2023-07-04 | 东北林业大学 | 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台 |
| CN116561704A (zh) * | 2023-05-17 | 2023-08-08 | 山东浪潮科学研究院有限公司 | 一种基于多模态融合的可信联邦建模方法 |
Non-Patent Citations (2)
| Title |
|---|
| PEIJUN H.等: "Prediction of New-Onset Diabetes After Pancreatectomy With Subspace Clustering Based Multi-View Feature Selection", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, vol. 27, no. 3 * |
| 程帆 等: "边缘场景下动态权重的联邦学习优化方法", 电子科技大学信息与软件工程学院 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117592555A (zh) * | 2023-11-28 | 2024-02-23 | 中国医学科学院北京协和医院 | 一种面向多源异构医疗数据的联邦学习方法及系统 |
| CN117592555B (zh) * | 2023-11-28 | 2024-05-10 | 中国医学科学院北京协和医院 | 一种面向多源异构医疗数据的联邦学习方法及系统 |
| CN117391092A (zh) * | 2023-12-12 | 2024-01-12 | 中南大学 | 一种基于对比学习的电子病历多模态医疗语义对齐方法 |
| CN117391092B (zh) * | 2023-12-12 | 2024-03-08 | 中南大学 | 一种基于对比学习的电子病历多模态医疗语义对齐方法 |
| CN117951749A (zh) * | 2024-03-27 | 2024-04-30 | 青岛文达通科技股份有限公司 | 一种基于动态引导注意力的联邦多任务学习方法 |
| CN117951749B (zh) * | 2024-03-27 | 2024-06-07 | 青岛文达通科技股份有限公司 | 一种基于动态引导注意力的联邦多任务学习方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117009924B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117009924B (zh) | 电子病历引导的多模态自适应多中心数据融合方法及系统 | |
| Khan et al. | Deep neural architectures for medical image semantic segmentation | |
| JP6522161B2 (ja) | ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー | |
| CN114496234B (zh) | 一种基于认知图谱的全科患者个性化诊疗方案推荐系统 | |
| CN108830848B (zh) | 利用计算机确定血管上的血管状况参数的序列的装置和系统 | |
| US20220076052A1 (en) | Similarity determining method and device, network training method and device, search method and device, and electronic device and storage medium | |
| Shen et al. | Smart health of ultrasound telemedicine based on deeply represented semantic segmentation | |
| Zamzmi et al. | Accelerating super-resolution and visual task analysis in medical images | |
| Zamzmi et al. | Ums-rep: Unified modality-specific representation for efficient medical image analysis | |
| CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及系统 | |
| Huang et al. | Feature pyramid network with level-aware attention for meningioma segmentation | |
| Ma et al. | Unsupervised deformable image registration network for 3D medical images | |
| Wong et al. | The synergy of cybernetical intelligence with medical image analysis for deep medicine: a methodological perspective | |
| AlOthman et al. | Detecting coronary artery disease from computed tomography images using a deep learning technique | |
| Annamalai et al. | ABOA-CNN: auction-based optimization algorithm with convolutional neural network for pulmonary disease prediction | |
| CN117524460A (zh) | 基于混合多模态数据和图卷积神经网络的疾病预测系统 | |
| CN117038096A (zh) | 一种基于低资源医疗数据与知识挖掘的慢性疾病预测方法 | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| Mansouri Musolu et al. | Deep learning and its applications in medical imaging | |
| CN115512838A (zh) | 一种慢性鼻窦炎术后复发风险预测方法及系统 | |
| Jin et al. | Generating Chest X–ray Progression of Pneumonia using Conditional Cycle Generative Adversarial Networks | |
| CN113850710A (zh) | 一种跨模态医学影像精准转换方法 | |
| Guangyan et al. | Research on Cyst of Jaw Detection Algorithm Based on Alex Net Deep Learning Model | |
| Rudnicka et al. | Health Digital Twins Supported by Artificial Intelligence-based Algorithms and Extended Reality in Cardiology | |
| Tao et al. | DDLA: a double deep latent autoencoder for diabetic retinopathy diagnose based on continuous glucose sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |