CN114300081B - 基于电子病历多模态数据的预测设备、系统和存储介质 - Google Patents

基于电子病历多模态数据的预测设备、系统和存储介质 Download PDF

Info

Publication number
CN114300081B
CN114300081B CN202210226674.8A CN202210226674A CN114300081B CN 114300081 B CN114300081 B CN 114300081B CN 202210226674 A CN202210226674 A CN 202210226674A CN 114300081 B CN114300081 B CN 114300081B
Authority
CN
China
Prior art keywords
data
fusion
prediction
medical record
electronic medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210226674.8A
Other languages
English (en)
Other versions
CN114300081A (zh
Inventor
罗佳伟
兰蓝
周小波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202210226674.8A priority Critical patent/CN114300081B/zh
Publication of CN114300081A publication Critical patent/CN114300081A/zh
Application granted granted Critical
Publication of CN114300081B publication Critical patent/CN114300081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明属于医疗数据处理领域，具体涉及一种基于电子病历多模态数据的预测设备、系统和存储介质。本发明的预测设备包括如下模块：数据预处理模块，用于对临床电子病历数据进行预处理；特征提取模块，用于从预处理后的临床电子病历数据中提取特征；预测模块，用于将提取得到的特征放入GMMFN网络，进行特征融合，捕捉多模态动态，并使用GRU模型完成分类或预测任务。本发明的技术方案不仅对临床电子病历数据模态间交互以及模态内动力学进行建模，而且还考虑了随时间推移的模态间交互模式，能够有效提高对各类临床事件的预测准确性。因此，本发明在临床中具有很好的应用前景。

Description

基于电子病历多模态数据的预测设备、系统和存储介质
技术领域
本发明属于医疗数据处理领域，具体涉及一种基于电子病历多模态数据的预测设备、系统和存储介质。
背景技术
大量临床电子病历（EMR）数据的生成和深度学习技术的发展为提升患者健康水平提供了极好的机会。临床医生在为患者做出决策时通常需要依赖多种模态信息，但由于EMR的复杂多模态数据结构及其稀疏和时间不规则性，使用深度学习技术将来自不同模态的数据结合起来和捕获模态之间的相互作用是一个具有挑战性的问题。
级联融合是医学问题建模中广泛使用的多模态融合方法。此外，Huang等人（NPJdigital medicine, vol. 3, no. 1, pp. 1-9, 2020.）回顾了医学图像和EMR的深度学习融合算法，发现大多数采用级联融合和中期融合策略的融合方法优于早期和后期融合策略。Esteban等人（in 2016 IEEE International Conference on HealthcareInformatics (ICHI), 2016: IEEE, pp. 93-101.）将动态和静态信息连接起来，并将它们放入门控循环单元（GRU）以预测临床事件。Luo等（Scientific Programming, vol. 2021,2021.）使用预训练的BERT模型将患者的文本记录转换为词向量，然后将它们与实验室、人口统计特征和其他结构化数据连接起来，以预测住院期间的器官衰竭。
然而，级联融合未能考虑模态之间的相互作用。Qiao等人（Extraction, vol. 1,p. A1, 2019.）使用基于注意力的双向长短时记忆网络（LSTM），假设模态交互只发生一次，将医学文本中的句子映射到密集向量，然后通过叉积将这些向量与医学代码融合以输出诊断。Xu等人（in Proceedings of the AAAI Conference on Artificial Intelligence,2021, vol. 35, no. 12, pp. 10532-10540.）使用不同的GRU分别对高频和低频特征进行建模，然后在输出层将它们连接起来进行预测。Harutyunyan等（Scientific data, vol.6, no. 1, pp. 1-18, 2019.）使用channel-wise方法对多变量EMR时间序列数据进行建模。这种以通道为单位的时间序列建模方法只能捕获模态内动态，而不能捕获模态间相互作用。最近，Bardak和Tan（Artificial Intelligence in Medicine, vol. 117, p.102112, 2021.）将卷积神经网络（CNN）应用于词向量表示的临床文本记录的特征提取，将GRU应用于实验室等时间序列数据的特征提取，将两种模态的特征串联起来，得到结果由全连接神经网络输出。Venugopalan等（Scientific reports, vol. 11, no. 1, pp. 1-13,2021.）使用CNN提取MRI特征，筛选单核苷酸多态性特征，然后将两者结合临床试验数据预测阿尔茨海默病。
尽管它们包括更多的方式来进一步提高预测临床结果的准确性，但这些方式之间的动态仍然没有充分建模。Meng等人（IEEE Journal of Biomedical and HealthInformatics, 2021.）使用transformer结构融合五个异构的高维时间序列数据，预测不同时间窗口的慢性病。然而，他们只考虑了模态之间的相互作用，淡化了模态内动力学在预测中的作用。Xu等人（in Proceedings of the AAAI Conference on ArtificialIntelligence, 2021, vol. 35, no. 12, pp. 10532-10540.）提出了一种多模态结构搜索框架来动态搜索EMR数据的融合结构。这种方法需要大量的计算消耗，并且在寻找最优结构的过程中容易出现过拟合问题。
综上，针对复杂多模态数据结构及其稀疏和时间不规则性特点的EMR数据，目前还缺乏合理的模型，能够同时对模态之间的相互作用、模态内的动态以及随时间推移的模态间交互进行处理，这对利用EMR数据进行疾病或风险预测的准确性造成了较大的不利影响。
发明内容
针对现有技术的缺陷，本发明提供一种基于临床电子病历数据的预测设备、系统和存储介质。目的在于：提供一种用于处理临床电子病历数据的多模态时间序列模型，对疾病或风险进行更加准确的预测。
一种基于电子病历多模态数据的预测设备，包括如下模块：
数据预处理模块，用于对临床电子病历数据进行预处理；
特征提取模块，用于从预处理后的临床电子病历数据中提取特征；
预测模块，用于将提取得到的特征放入GMMFN网络，进行特征融合，捕捉多模态动态，并使用GRU模型完成分类或预测任务。
优选的，所述预处理包括对所述临床电子病历数据的缺损值进行填充，填充的方法为：
当待填充的数据为连续的，则采用沿时间的线性插值；
当待填充的数据为非结构化数据，则用接近的观测值填充缺损值。
优选的，所述GMMFN网络包括M+k个GRU模型、融合门和决策层；
融合门用于进行特征融合，
GRU模型用于对融合后的特征进行计算，
所述决策层用于完成分类或预测任务，
其中，M为临床电子病历数据模态的数量，k为利用融合门融合特征产生的模态的数量。
优选的，所述融合门的建模如下：
Figure 654537DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
为融合门，它代表第m个模态的特征
Figure 509361DEST_PATH_IMAGE003
在时间t参与融合的比例，
Figure DEST_PATH_IMAGE004
是各模态融合后隐藏层的特征向量，ffusion是一个以soft-argmax为激活函数的全连接神经网络，Θ为ffusion的参数；
所述融合门采用如下方式进行特征融合：
Figure 990896DEST_PATH_IMAGE005
Figure DEST_PATH_IMAGE006
Figure 589367DEST_PATH_IMAGE007
其中，∘表示元素乘法，fm是以sigmoid为激活函数的全连接神经网络，
Figure DEST_PATH_IMAGE008
是融合后隐藏层在t时刻的特征表示，V是张量的秩，
Figure 607002DEST_PATH_IMAGE009
是对应于
Figure DEST_PATH_IMAGE010
的权重矩阵，⋅是矩阵的乘法，⋀是元素的乘法，M为临床电子病历数据模态的数量。
优选的，所述全连接神经网络ffusion由下式给出：
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE014
其中，W为权重，b为偏差；σ是sigmoid函数，u是一个长度为2的向量，
Figure DEST_PATH_IMAGE016
是u的第i个元素，τ为参数，用于避免模型反向传播过程中特征参数的梯度完全消失。
优选的，所述GRU模型由下式定义：
Figure 835989DEST_PATH_IMAGE017
其中，ct是更新门，rt是重置门，Wc、Wr、Wh、Uc、Uh分别为对应的参数，ht为特征向量或模态融合后隐藏层的特征向量，
Figure DEST_PATH_IMAGE018
为隐藏层的中间状态，
Figure 571864DEST_PATH_IMAGE019
是元素乘积，σ是sigmoid函数，tanh是双曲正切函数。
优选的，所述决策层表示为：
Figure DEST_PATH_IMAGE020
其中，fm是以softmax为激活函数的全连接神经网络，Θ为fm的参数，
Figure 206982DEST_PATH_IMAGE021
是预测值，
Figure DEST_PATH_IMAGE022
通过GRU模型计算得到，其中，j为1,2,…,M+k。
优选的，所述预测任务为对肾衰竭、呼吸衰竭、循环衰竭或死亡的预测。
本发明还提供一种基于电子病历多模态数据的预测系统，它包括：
上述基于电子病历多模态数据的预测设备；
服务器，用于存储临床电子病历数据。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于上述基于电子病历多模态数据的预测设备，使其实现数据预处理模块、特征提取模块和预测模块的功能。
本发明构建了一种GMMFN网络，并用其处理EMR数据，实现对患者的疾病或未来一段时间可能发生的临床风险的预测。本发明的模型不仅对临床EMR数据模态间交互以及模态内动力学进行建模，而且还考虑了随时间推移的模态间交互模式。这使得其对各类临床时间的的预测准确性大大提高。因此，本发明具有很好的临床应用前景。
显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
图1为本发明实施例1中GMMFN网络的结构示意图。
具体实施方式
需要特别说明的是，实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法，以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。
实施例1
本实施例提供一种基于电子病历多模态数据的预测设备，包括如下模块：
数据预处理模块，用于对临床电子病历数据进行预处理；
特征提取模块，用于从预处理后的临床电子病历数据中提取特征；
预测模块，用于将提取得到的特征放入GMMFN网络（门控多阶段多模态融合网络，gated multistage multimodal fusion network），进行特征融合，捕捉多模态动态，并使用GRU模型完成分类或预测任务。
图1显示了GMMFN模型的详细信息。GMMFN模型的输入是通过医院的EMR系统输入的包含不同模态的数据（包括各种结构化数据和非结构化的文本数据）。对于不同模态的数据，可以使用不同类型的神经网络自适应地提取特征，并将原始数据投影到统一的特征空间中。同时，在每个时间点，融合门会确定不同模态的数据参与融合的权重，然后使用LMF模块融合需要参与融合的特征，从而同时对模内和模态间动力学进行建模，最终输出预测结果。
本实施例的设备工作原理如下：
问题表述。本实施例用
Figure 344702DEST_PATH_IMAGE023
来表示一个样本为N和M个模态的多模态数据集。第n个样本用
Figure DEST_PATH_IMAGE024
，
Figure 541329DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
表示，其中Tn为第n个样本的时间点数。为简化起见，省略了索引号n。
Figure 764499DEST_PATH_IMAGE027
，dm是模态m的特征数。定义
Figure DEST_PATH_IMAGE028
，ω表示为给定时间窗口中的总时间点数。ω设置为超参数。给定
Figure 704774DEST_PATH_IMAGE029
，本实施例的目标是预测yt。
数据预处理：对于给定的多模态时间序列数据
Figure DEST_PATH_IMAGE030
，如果
Figure 697000DEST_PATH_IMAGE031
，我们用
Figure DEST_PATH_IMAGE032
从左边填充
Figure 828642DEST_PATH_IMAGE033
以保持时间序列的长度ω。由于不同来源的数据采样时间点存在差异，我们设置了一组参考时间点
Figure DEST_PATH_IMAGE034
，其中的时间间隔设置为1。如果
Figure 539109DEST_PATH_IMAGE035
，
Figure DEST_PATH_IMAGE036
，则
Figure 17495DEST_PATH_IMAGE037
。如果
Figure DEST_PATH_IMAGE038
在
Figure 129808DEST_PATH_IMAGE039
中有多个观察值，则通过聚合这些值来设置
Figure DEST_PATH_IMAGE040
。如果
Figure 668236DEST_PATH_IMAGE038
在
Figure 131579DEST_PATH_IMAGE041
中没有观测值，则
Figure 944814DEST_PATH_IMAGE040
设置为缺失向量。如果
Figure 404309DEST_PATH_IMAGE038
缺失的元素是分类的，我们就用之前的观察值来填充它们；如果
Figure 910376DEST_PATH_IMAGE038
中的元素是连续的，则采用沿时间的线性插值。如果
Figure 595436DEST_PATH_IMAGE040
是图像或文本等非结构化数据，则如果
Figure DEST_PATH_IMAGE042
中有多个测量值，则取最新值。如果在
Figure 681203DEST_PATH_IMAGE042
中丢失，则用最近的测量值填充。这种填充过程符合临床医生的认知直觉，即我们可以依靠相邻时间点的观察来寻找缺失值。热编码用于多分类数据。使用预训练的词嵌入模型将词转换为词向量，并通过双向LSTM进行语义特征提取。
GMMFN的模型开发：给定一个具有M个模态的时间序列数据，我们首先初始化M+k个GRU模型，记为
Figure 768108DEST_PATH_IMAGE043
，其中
Figure DEST_PATH_IMAGE044
被视为第m个模态的时间序列模型，
Figure 179498DEST_PATH_IMAGE045
被称为(M+k)个融合特征的时间序列模型，这可以看作是模态间动力学的建模。
Figure DEST_PATH_IMAGE046
称为融合门，它代表第m个模态的特征
Figure 820695DEST_PATH_IMAGE038
在时间t参与融合的比例，建模如下：
Figure 975733DEST_PATH_IMAGE047
其中
Figure DEST_PATH_IMAGE048
是各模态融合后隐藏层的特征向量，f是一个以soft-argmax为激活函数的全连接神经网络。在
Figure 651565DEST_PATH_IMAGE049
中，我们要排除不需要参与融合的特征，但要保证这些特征的参数在反向传播过程中仍然受到梯度的影响。所以我们引入参数τ来避免一些参数的梯度完全消失的问题。因此，全连接神经网络由下式给出：
Figure DEST_PATH_IMAGE050
其中W表示权重，b是偏差。u是一个长度为2的向量，u[i]是u的第i个元素。
对于模态m，融合步骤中涉及的特征表示为
Figure 732391DEST_PATH_IMAGE051
，其中∘表示元素乘法。这相当于对特征进行自适应筛选，并通过模型本身确定需要融合哪些特征。在融合之前，我们需要将
Figure DEST_PATH_IMAGE052
参与融合的每个模态映射到M模态间长度相同的稠密向量
Figure 126463DEST_PATH_IMAGE053
，其中
Figure DEST_PATH_IMAGE054
表示稠密向量的长度。映射过程表示为：
Figure 554033DEST_PATH_IMAGE055
其中，fz是以sigmoid为激活函数的全连接神经网络。
为了保留每个模态内部的特征，我们在向量
Figure DEST_PATH_IMAGE056
前面连接了一个单元素。融合采用由下式给出的低秩多模态融合模块：
Figure 818793DEST_PATH_IMAGE057
其中，
Figure DEST_PATH_IMAGE058
是融合后隐藏层在t时刻的特征表示，V是张量的秩，
Figure 571985DEST_PATH_IMAGE009
是对应于
Figure 718932DEST_PATH_IMAGE059
的权重矩阵。⋅是矩阵的乘法，⋀是元素的乘法，M为临床电子病历数据模态的数量。
对于没有时间戳的静态数据，将其视为值不随时间变化的时间序列数据，并根据公式（1）-（5）在每个时间点与动态数据融合。静态数据包括年龄和性别等人口统计信息、现病门诊史和其他文本信息等。
当融合完成时，
Figure DEST_PATH_IMAGE060
输入
Figure 950194DEST_PATH_IMAGE061
，同时
Figure DEST_PATH_IMAGE062
输入
Figure DEST_PATH_IMAGE063
，表示为：
Figure DEST_PATH_IMAGE064
GRU模型由公式(8)-(9)定义。由于GRU对所有模态都以相同的方式建模，因此我们省略了下标m：
Figure 302415DEST_PATH_IMAGE065
其中，ct是更新门，rt是重置门，
Figure DEST_PATH_IMAGE066
是元素乘积，σ是sigmoid函数，tanh是双曲正切函数。
最后，
Figure 960930DEST_PATH_IMAGE067
和
Figure DEST_PATH_IMAGE068
被级联到决策层，表示为：
Figure 64015DEST_PATH_IMAGE069
其中，fd是以softmax为激活函数的全连接神经网络，
Figure DEST_PATH_IMAGE070
是预测值。
对于分类问题，我们使用交叉熵来计算目标函数为：
Figure 833388DEST_PATH_IMAGE071
其中，yn,t是真实标签，
Figure DEST_PATH_IMAGE072
是预测值。
对于连续预测，我们使用均方误差(MSE) 计算目标函数为：
Figure DEST_PATH_IMAGE073
该模型使用反向传播算法进行端到端的训练。图1提供了GMMFN的总体框架。当k≥2,GMMFN中每个时间点有多个融合模块时，我们使用GMMFN-MFM表示具有多重融合模块的GMMFN模型。
对比例1和2
GRU和双向GRU（BGRU）是递归神经网络（RNN）中常见的递归神经网络变体(参考文献：Scientific data, 2019, 6(1): 1-18)。
对比例3
CW-GRU Channel-wise GRU（CW-GRU）为每个模态的时间序列单独建立一个GRU神经模型，然后在决策层之前进行合并，最终输出(参考文献：Proceedings of the 24th ACMSIGKDD international conference on Knowledge Discovery & Data Mining. 2018:2565-2573)。
对比例4
基于低秩融合的GRU（LMF-GRU）在每个时间点为LMF模块(参考文献：arXivpreprint arXiv:1806.00064, 2018)的输出训练一个GRU神经模型。LMF模块融合了不同的模态数据。LMF-GRU只对融合后的信息的时间序列进行建模，但不对每个模态的时间特征进行建模。
下面对实施例1和对比例1-4对各种临床事件的预测准确率进行比较：
我们在AP数据集上的三个任务上将GMMFN模型与其他基线模型进行了比较。AP数据集来源于四川大学华西医院的电子病历系统。首先，GMMFN-MEM在肾衰竭、呼吸衰竭和循环衰竭三个任务上的准确率分别为0.721、0.753和0.722，明显高于其他基线模型。具体而言，GMMFN-MEM在预测肾功能衰竭方面分别优于GRU、BGRU、CW-GRU和LMF-GRU的7.5%、7.3%、4.6%和1.4%；在预测呼吸衰竭方面分别为7.1%、4.1%、1.9%和2.9%；和在循环衰竭的预测中7.8%、5.4%、4.5%和3.4%。同时，该提升效果在美国公开的ICU数据库MIMIC-III中提到了验证（表1）。
表1 AP和MIMIC-III数据集中不同模型之间的预测准确性。
Figure DEST_PATH_IMAGE074
通过上述实施例和对比例预测准确度的对比可以看到，本发明提供了一种新的GMMFN网络模型，该模型不仅对临床EMR数据模态间交互以及模态内动力学进行建模，而且还考虑了随时间推移的模态间交互模式。利用真实的临床电子病历数据库中进行验证，证明了本发明对各类临床事件的预测准确性都有显著的提高。因此，本发明在临床应用中具有很好的应用前景。

Claims (7)

1.一种基于电子病历多模态数据的预测设备，其特征在于，包括如下模块：
数据预处理模块，用于对临床电子病历数据进行预处理；
特征提取模块，用于从预处理后的临床电子病历数据中提取特征；
预测模块，用于将提取得到的特征放入GMMFN网络，进行特征融合，捕捉多模态动态，并使用GRU模型完成分类或预测任务；
所述GMMFN网络包括M+k个GRU模型、融合门和决策层；
融合门用于进行特征融合，
GRU模型用于对融合后的特征进行计算，
所述决策层用于完成分类或预测任务，
其中，M为临床电子病历数据模态的数量，k为利用融合门融合特征产生的模态的数量；
所述融合门的建模如下：
Figure DEST_PATH_IMAGE001
其中，
Figure 839626DEST_PATH_IMAGE002
为融合门，dm为模态m的特征数，它代表第m个模态的特征
Figure DEST_PATH_IMAGE003
在时间t参与融合的比例，
Figure 225608DEST_PATH_IMAGE004
是各模态融合后隐藏层的特征向量，ffusion是一个以soft-argmax为激活函数的全连接神经网络，Θ为ffusion的参数；
所述融合门采用如下方式进行特征融合：
Figure DEST_PATH_IMAGE005
Figure 300618DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
其中，∘表示元素乘法，fm是以sigmoid为激活函数的全连接神经网络，
Figure 289303DEST_PATH_IMAGE008
是融合后隐藏层在t时刻的特征表示，V是张量的秩，
Figure DEST_PATH_IMAGE009
是对应于
Figure 572517DEST_PATH_IMAGE010
的权重矩阵，⋅是矩阵的乘法，⋀是元素的乘法，M为临床电子病历数据模态的数量；
所述决策层表示为：
Figure DEST_PATH_IMAGE011
其中，fm是以softmax为激活函数的全连接神经网络，Θ为fm的参数，
Figure 254034DEST_PATH_IMAGE012
是预测值，
Figure DEST_PATH_IMAGE013
通过GRU模型计算得到，其中，j为1,2,…,M+k。
2.按照权利要求1所述的预测设备，其特征在于：所述预处理包括对所述临床电子病历数据的缺损值进行填充，填充的方法为：
当待填充的数据为连续的，则采用沿时间的线性插值；
当待填充的数据为非结构化数据，则用接近的观测值填充缺损值。
3.按照权利要求1所述的预测设备，其特征在于：所述全连接神经网络ffusion由下式给出：
Figure 786646DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE015
其中，W为权重，b为偏差；σ是sigmoid函数，u是一个长度为2的向量，
Figure 549328DEST_PATH_IMAGE016
是u的第i个元素，τ为参数，用于避免模型反向传播过程中特征参数的梯度完全消失。
4.按照权利要求1所述的预测设备，其特征在于：所述GRU模型由下式定义：
Figure DEST_PATH_IMAGE017
其中，ct是更新门，rt是重置门，Wc、Wr、Wh、Uc、Uh分别为对应的参数，ht为特征向量或模态融合后隐藏层的特征向量，
Figure 77262DEST_PATH_IMAGE018
为隐藏层的中间状态，
Figure DEST_PATH_IMAGE019
是元素乘积，σ是sigmoid函数，tanh是双曲正切函数。
5.按照权利要求1所述的预测设备，其特征在于，所述预测任务为对肾衰竭、呼吸衰竭、循环衰竭以及死亡的预测。
6.一种基于电子病历多模态数据的预测系统，其特征在于，它包括：
权利要求1-5任一项所述的基于电子病历多模态数据的预测设备；
服务器，用于存储临床电子病历数据。
7.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序用于权利要求1-5任一项所述的基于电子病历多模态数据的预测设备，使其实现数据预处理模块、特征提取模块和预测模块的功能。
CN202210226674.8A 2022-03-09 2022-03-09 基于电子病历多模态数据的预测设备、系统和存储介质 Active CN114300081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210226674.8A CN114300081B (zh) 2022-03-09 2022-03-09 基于电子病历多模态数据的预测设备、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210226674.8A CN114300081B (zh) 2022-03-09 2022-03-09 基于电子病历多模态数据的预测设备、系统和存储介质

Publications (2)

Publication Number Publication Date
CN114300081A CN114300081A (zh) 2022-04-08
CN114300081B true CN114300081B (zh) 2022-05-27

Family

ID=80978553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210226674.8A Active CN114300081B (zh) 2022-03-09 2022-03-09 基于电子病历多模态数据的预测设备、系统和存储介质

Country Status (1)

Country Link
CN (1) CN114300081B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937990B (zh) * 2023-02-27 2023-06-23 珠海金智维信息科技有限公司 多人交互动作检测系统及方法
CN115985490B (zh) * 2023-03-17 2023-06-13 四川大学华西医院 一种帕金森疾病客观化、定量化早期诊断系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977361A (zh) * 2017-12-06 2018-05-01 哈尔滨工业大学深圳研究生院 基于深度语义信息表示的中文临床医疗实体识别方法
CN112562809A (zh) * 2020-12-15 2021-03-26 贵州小宝健康科技有限公司 一种基于电子病历文本进行辅助诊断的方法及系统
KR20210063005A (ko) * 2019-11-22 2021-06-01 주식회사 와이즈넛 정형/비정형 이벤트의 시간-인과관계 모델링을 통한 부동산시장의 가격변동 예측방법
CN113509185A (zh) * 2021-04-25 2021-10-19 安徽十锎信息科技有限公司 基于多模态病人信息注意力建模的心肌梗塞分类方法
CN113517046A (zh) * 2021-04-15 2021-10-19 中南大学 一种电子病历中异构数据特征融合方法及基于融合特征的预测方法、系统及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380259B2 (en) * 2017-05-22 2019-08-13 International Business Machines Corporation Deep embedding for natural language content based on semantic dependencies

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977361A (zh) * 2017-12-06 2018-05-01 哈尔滨工业大学深圳研究生院 基于深度语义信息表示的中文临床医疗实体识别方法
KR20210063005A (ko) * 2019-11-22 2021-06-01 주식회사 와이즈넛 정형/비정형 이벤트의 시간-인과관계 모델링을 통한 부동산시장의 가격변동 예측방법
CN112562809A (zh) * 2020-12-15 2021-03-26 贵州小宝健康科技有限公司 一种基于电子病历文本进行辅助诊断的方法及系统
CN113517046A (zh) * 2021-04-15 2021-10-19 中南大学 一种电子病历中异构数据特征融合方法及基于融合特征的预测方法、系统及可读存储介质
CN113509185A (zh) * 2021-04-25 2021-10-19 安徽十锎信息科技有限公司 基于多模态病人信息注意力建模的心肌梗塞分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
融合多粒度信息的文本向量表示模型;聂维民 等;《数据分析与知识发现》;20190925(第9期);第45-52页 *
面向中文电子病历的医疗实体及关系识别技术研究;周侗;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200115(第1期);第E053-269页 *

Also Published As

Publication number Publication date
CN114300081A (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
Reddy et al. Predicting hospital readmission for lupus patients: an RNN-LSTM-based deep-learning methodology
Tomašev et al. Use of deep learning to develop continuous-risk models for adverse event prediction from electronic health records
Wang et al. Software reliability prediction using a deep learning model based on the RNN encoder–decoder
Sheikhalishahi et al. Benchmarking machine learning models on multi-centre eICU critical care dataset
CN104572583B (zh) 用于数据致密化的方法和系统
CN114300081B (zh) 基于电子病历多模态数据的预测设备、系统和存储介质
US8996428B2 (en) Predicting diagnosis of a patient
Khedkar et al. Deep learning and explainable AI in healthcare using EHR
CN109326353B (zh) 预测疾病终点事件的方法、装置及电子设备
CN113421652A (zh) 对医疗数据进行分析的方法、训练模型的方法及分析仪
Su et al. GATE: graph-attention augmented temporal neural network for medication recommendation
AlSaad et al. Interpreting patient-Specific risk prediction using contextual decomposition of BiLSTMs: application to children with asthma
Lee et al. Recent context-aware lstm for clinical event time-series prediction
Park et al. Frequency-aware attention based LSTM networks for cardiovascular disease
Yu et al. Healthnet: A health progression network via heterogeneous medical information fusion
CN116959715B (zh) 一种基于时序演进过程解释的疾病预后预测系统
Chen et al. Imbalanced prediction of emergency department admission using natural language processing and deep neural network
Sirocchi et al. Medical-informed machine learning: integrating prior knowledge into medical decision systems
Ha et al. Predicting high-risk prognosis from diagnostic histories of adult disease patients via deep recurrent neural networks
Wu et al. A feature optimized deep learning model for clinical data mining
Cheng et al. Combining knowledge extension with convolution neural network for diabetes prediction
Shafqat et al. A unified deep learning diagnostic architecture for big data healthcare analytics
Cottin et al. IDNetwork: A deep illness‐death network based on multi‐state event history process for disease prognostication
CN116092668A (zh) 一种融合多元异构数据的心衰患者再入院预测方法
Sun et al. A cross-modal clinical prediction system for intensive care unit patient outcome

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant