CN117409911A - 一种基于多视图对比学习的电子病历表示学习方法 - Google Patents
一种基于多视图对比学习的电子病历表示学习方法 Download PDFInfo
- Publication number
- CN117409911A CN117409911A CN202311325540.2A CN202311325540A CN117409911A CN 117409911 A CN117409911 A CN 117409911A CN 202311325540 A CN202311325540 A CN 202311325540A CN 117409911 A CN117409911 A CN 117409911A
- Authority
- CN
- China
- Prior art keywords
- representation
- training
- view
- task
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000000547 structure data Methods 0.000 claims abstract description 9
- 230000003416 augmentation Effects 0.000 claims description 26
- 238000011282 treatment Methods 0.000 claims description 23
- 230000003190 augmentative effect Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000001225 therapeutic effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- LSQZJLSUYDQPKJ-NJBDSQKTSA-N amoxicillin Chemical compound C1([C@@H](N)C(=O)N[C@H]2[C@H]3SC([C@@H](N3C2=O)C(O)=O)(C)C)=CC=C(O)C=C1 LSQZJLSUYDQPKJ-NJBDSQKTSA-N 0.000 description 1
- 229960003022 amoxicillin Drugs 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- LSQZJLSUYDQPKJ-UHFFFAOYSA-N p-Hydroxyampicillin Natural products O=C1N2C(C(O)=O)C(C)(C)SC2C1NC(=O)C(N)C1=CC=C(O)C=C1 LSQZJLSUYDQPKJ-UHFFFAOYSA-N 0.000 description 1
- 238000009666 routine test Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供了一种基于多视图对比学习的电子病历表示学习方法,具体包括以下步骤:根据电子病历中患者数据的医疗代码,构建相应图结构数据;利用医疗代码的共现矩阵对图结构数据进行预训练;利用多视图对比学习法在训练集上对多个任务同时训练模型,得到训练完成的多视图对比学习模型以及在训练集上的多任务患者表示矩阵;根据训练完成的多视图对比学习模型,计算待分类多任务患者表示矩阵,并根据表示矩阵得到多任务的患者预测结果。本发明解决了如何在多任务上有效利用电子病历中医疗代码的内在结构进行患者有效表示的问题,通过结合图对比学习、多视图和多任务学习的思想,提高了下游任务的分类预测准确率。
Description
技术领域
本发明属于电子病历数据表示学习技术领域,具体涉及到一种基于多视图对比学习的电子病历表示学习方法。
背景技术
电子病历中记录的医疗代码在挖掘患者信息方面起着至关重要的作用,这些代码通常包括诊断代码、手术代码、医嘱代码等信息。分析患者相关的代码可以提供临床路径的宝贵信息,这些代码之间存在着隐藏的图结构关系,利用医疗代码本身的信息和他们之间的关联关系帮助解决临床决策支持的问题,并辅助相关的预测任务,例如死亡预测、重入院预测、诊断预测以及住院时长预测。
图神经网络技术在发掘图结构的数据上有较强的能力,已经涌现了不少将图神经网络应用于医疗数据的研究工作。当前研究主要集中在应用图神经网络挖掘医疗本体知识,或探索在EHR数据集上对治疗代码、诊断代码的网络结构,但是这些研究都只是利用医疗代码本体的网络结构或者简单的构建一个全连接的图网络结构,没有充分发挥医疗代码的潜力。另外,应用图神经网络在电子病历数据集上的研究大多集中在单个下游任务上,没有充分发掘多个患者相关任务之间的关联关系。
发明内容
针对现有方法的不足,本发明提出了一种基于多视图对比学习的电子病历表示学习方法,充分利用医疗代码的潜在表示能力,提高了患者下游任务的预测能力,为患者分析、临床决策等任务提供有力的支持。
为了解决上述技术问题,本发明通过以下方式来实现:
一种基于多视图对比学习的电子病历表示学习方法,具体包括以下步骤:
S1、根据电子病历中患者数据的医疗代码,构建相应图结构数据;
S2、利用医疗代码的共现矩阵对图结构数据进行预训练;
S3、利用多视图对比学习法在训练集上对多个任务同时训练模型,得到训练完成的多视图对比学习模型以及在训练集上的多任务患者表示矩阵;
S4、根据训练完成的多视图对比学习模型,计算待分类多任务患者表示矩阵,并根据表示矩阵得到多任务的患者预测结果。
进一步地,所述步骤S1包括以下分步骤:
S11、将电子病历中有t-th次就诊记录的患者就诊数据表示为Vt={d1,d2,...,d|d|,m1,m2,…,m|m|,r1,r2,...,r|r|},其中di(1≤i≤|d|)表示诊断代码,mj(1≤j≤|m|)表示治疗代码,rk(1≤k≤|r|)表示实验室检查代码;
S12、将患者的就诊数据Vt构建成一个具有层级结构的全连接图网络其中X表示初始化的节点表示,A表示邻接矩阵,在构建邻接矩阵A时,设定每一个诊断代码di和每一个治疗代码mj之间有连接,每一个治疗代码mj和每一个实验室检查代码rk之间也有连接。
进一步地,所述步骤S2包括以下分步骤:
S21、设置ci∈{d1,d2,...,d|d|,m1,m2,...,m|m|,r1,r2,...,r|r|}为Vt的第i个代码,其初始化表达式如下:
其中,e0表示节点类型的0~1向量,表示节点ci的基本嵌入,/>表示对应本体知识中的级别,/>表示ei的父节点的基本嵌入,使用零向量ezero来确保每个/>具有相同的维度;
S22、对Vt的每个医疗代码ci,补充其对应的医疗本体知识中对应的所有父级代码和Vt合并得到V′,其/>表示代码ci对应本体知识中的级别;
S23、设置两个医疗代码的共现次数的表达式如下:
co-occurrence=cnt(c′i,V′)×cnt(c′j,V′)
其中,cnt(c′i,V′)和cnt(c′j,V′)分别表示节点c′i和c′j在V′中出现的次数,c′i∈V′,c′j∈V′,共现矩阵M∈RD×D通过计算增广后的列表V′中的所有代码对得到的;
S24、对图网络的每个节点表示进行预训练,其表达式如下:
其中,超参数xmax和α分别设定为100和0.75。
进一步地,所述步骤S3包括以下分步骤:
S31、对从患者就诊流水V中构建并通过预训练得到的送到多视图对比学习模块,得到用于下游任务的图表示/>及用于模型训练的图表示/>和节点表示
S32、针对步骤S31重复进行l次,得到 和/>的表达式如下:
其中,用于下游任务,/>表示第l次S31步骤中k个视图参数共享的图编码器,/>表示对/>进行增广得到的第k个图,/>表示池化函数,/>和/>分别表示具有三个线性层和ReLU非线性激活的多层感知机网络,生成对应第l次S31步骤中第k个视图的图级表示和节点级表示,/>和/>用于多视图的参数训练过程;
S33、设置一个门控网络qm(.)用于下游患者的预测任务Taskm m∈(1,2,3,4),当前设置下游任务数量为4是为了与图2中保持一致,根据实际情况进行调整任务数量,所述任务Taskm的输出表达式如下:
其中,Tm(.)表示第m个塔网络(一个线性变换层加softmax层的神经网络结构),表示读出操作,Ei(.)表示第1个专家网络,对于任务Taskm满足/>Wqm∈Rn ×d表示一个可训练的矩阵;
S34、采用联合学习策略对模型进行训练,优化下游任务的预测损失和不同类型的对比损失,其损失函数表达式如下:
其中,β0、β1和αi(i∈1,2,..,m)表示任务损失之间的系数,表示第i下游任务的预测损失,/>最大化不同尺度视图之间的互信息,即来自一个视图的节点级表示与来自另一个视图的图级表示之间的互信息;
所述的表达式如下:
其中,表示图的数量,/>表示图中节点的数量,/> 和/>表示l-th MGCL模块中图/>的第i个或第j个视图的图级表示,/>和/>表示l-thMGCL模块中图/>的第i个或第j个视图的第w个节点级表示,其中i,j∈{2,3},i≠j;
MI(.)作为衡量一个视图的图级表示与另一个视图的节点级表示之间一致性的判别器,采用MI作为它们之间的点积表达式如下:
表示正样本对的图级视图之间的对比损失,正样本对来自于同一访问图/>的图级视图/>在第l个多视图对比学习模块中,负样本对从同一训练批次中的其他访问图级表示中随机生成。
所述的表达式如下:
其中,τ表示温度参数。
进一步地,所述步骤S4包括以下分步骤:
S41、根据训练好的多视图对比学习模型计算患者在任务m上的表示矩阵如下:
其中Tm和Em均表示训练完成的模型参数;
S42、根据步骤S41得到的ym计算任务m上的预测分类结果表达式如下:
y=softmax(ym)
进一步的,所述步骤S31具体包含以下分步骤:
S311、对从患者就诊流水V编码得到的图通过增广机制/>进行增广,并得到三个增广图/>和/>
具体的增广机制策略方法如下:A和X是通过增广机制增强后邻接矩阵和节点特征矩阵;k∈1,2,3表示多视图对比学习模块(MGCL模块)中的第k个增广图,对于第一个增广图,特征矩阵和邻接矩阵保持不变,/>对于第二个和第三个增广视图,采用随机增广方式,/>其中a∈1,2,3,4,5,6表示6种不同的增广机制,分别为节点删除、边扰动、子图、属性掩码、边扩散和节点替换。实验证明,随机增广可以提高模型对下游任务的预测效果,因为对/>和/>采用不同的增广策略可以提高模型在下游任务的鲁棒性。
S312、三个增广图被送入参数共享的图编码器中得到/>k表示与前面增广图对应的图的编号,即第k个增广图送入第k个图编码器。
S313、下游任务的图表示用作MGCL模块的输出,/>和/>输入到一个共享的投影函数/>中,得到两个隐藏的节点表示的表达式如下:
S314、对步骤S313得到的和/>进行复制,再输入到池化函数将节点表示连接起来并产生一个与节点表示维度大小相同的图表示,
S315、将步骤S314池化函数的输出结果输入到另一个参数共享的投影函数 生成模型训练的图表示的表达式如下:
与现有技术相比,本发明具有的有益效果:
本发明设计了一种分层全连接的电子病历数据构建模式,用于从电子病历数据中的医疗代码构建图结构数据,构建的图网络连接方式反映了实际的诊疗过程:临床医生下的治疗代码(例如:肺炎)是根据相应的诊断代码来执行的,治疗代码(例如:血常规检验、口服阿莫西林)也会产生相应的实验检查的代码(PCT、CRP等),该构建方案简化所有治疗代码;
同时利用医疗代码的共现矩阵进行医疗代码表示的预训练,提高了医疗数据的表示能力,该共现矩阵的构建有效利用了电子病历数据中诊断、治疗、实验室代码的共现信息,同时也利用了医疗本体知识的层级信息,对医疗代码的表示进行了有效的初始化。
本发明构建的一个多视图对比学习方法,结合了图对比学习、多视图和多任务学习方法,同时训练多个患者相关的分类预测任务;多视图对比学习方法同时结合多视图、多任务以及图对比学习方法,通过采用多视图学习方法,可以将不同类型的信息视图整合在一起,从而获得更全面、多角度的数据表示;通过多任务学习方法可以共享模型的特征表示,从而在多个任务之间传递信息,提高模型的泛化能力;利用图对比学习有助于捕捉患者之间的相似性和差异性,用于识别潜在模式和关联。
附图说明
图1为本发明学习方法的流程示意图。
图2为本发明学习方法的模型示意图。
图3为本发明具有层次机构的全连接图示意图。
图4为本发明的患者Vt增广示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1~4所示,一种基于多视图对比学习的电子病历表示学习方法,具体包括以下步骤:
S1、根据电子病历中患者数据的医疗代码,包含诊断、治疗和实验室检查代码,构建相应图结构数据其实现方法如下:
S11、将电子病历中有t-th次就诊记录的患者就诊数据表示为Vt={d1,d2,...,d|d|,mi,m2,…,m|m|,r1,r2,...,r|r|},其中di(1≤i≤|d|)表示诊断代码,mj(1≤j≤|m|)表示治疗代码,rk(1≤k≤|r|)表示实验室检查代码;
S12、将患者的就诊数据Vt构建成一个具有层级结构的全连接图网络其中X表示初始化的节点表示,A表示邻接矩阵,在构建邻接矩阵A时,设定每一个诊断代码di和每一个治疗代码mj之间有连接,每一个治疗代码mj和每一个实验室检查代码rk之间也有连接。
S2、利用医疗代码的共现矩阵对图结构数据进行预训练,其实现方法如下:
S21、设置ci∈{d1,d2,...,d|d|,mi,m2,...,m|m|,r1,r2,...,r|r|}为Vt的第i个代码,其初始化表达式如下:
其中,e0表示节点类型(诊断、治疗或实验室结果)的0~1向量,表示节点ci的基本嵌入,/>表示对应本体知识中的级别,/>表示ei的父节点的基本嵌入;电子病历中使用的医疗代码对应本体中不同的层级,使用零向量/>来确保每个/>具有相同的维度,/>表示本体中ci的最大层级编号;
S22、对Vt的每个医疗代码ci,补充其对应的医疗本体知识中对应的所有父级代码和Vt合并得到V′,其/>表示代码ci对应本体知识中的级别;
S23、设置两个医疗代码的共现次数的表达式如下:
co-occurrence=cnt(c′i,V′)×cnt(c′j,V′)
其中,cnt(c′i,V′)和cnt(c′j,V′)分别表示节点c′i和c′j在V′中出现的次数,c′i∈V′,c′j∈V′,共现矩阵M∈RD×D通过计算增广后的列表V′中的所有代码对得到的;
S24、对图网络的每个节点表示进行预训练,其表达式如下:
其中,超参数xmax和α分别设定为100和0.75,此参数自行设定,可根据实际下游任务的效果进行微调。
S3、利用多视图对比学习法在训练集上对多个任务同时训练模型,得到训练完成的多视图对比学习模型以及在训练集上的多任务患者表示矩阵,其实现方法如下:
S31、对从患者就诊流水V中构建并通过预训练得到的送到多视图对比学习模块,得到用于下游任务的图表示/>及用于模型训练的图表示/>和节点表示
S32、针对步骤S31重复进行l次,得到和/>的表达式如下:
其中,用于下游任务,/>表示第l次S31步骤中k个视图参数共享的图编码器,/>表示对/>进行增广得到的第k个图,/>表示池化函数,/>和/>分别表示具有三个线性层和ReLU非线性激活的多层感知机网络,生成对应第l次S31步骤中第k个视图的图级表示和节点级表示,/>和/>用于多视图的参数训练过程;
S33、设置一个门控网络qm(.)用于下游患者的预测任务Taskm m∈(1,2,3,4),当前设置下游任务数量为4是为了与图2中保持一致,根据实际情况进行调整任务数量,所述任务Taskm的输出表达式如下:
其中,Tm(.)表示第m个塔网络(一个线性变换层加softmax层的神经网络结构),表示读出操作,Ei(.)i∈1,2,...,Nl表示第l个专家网络,即一个多视图对比学习MGCL模块,对于任务Taskm满足/>门控网络qm(.)简单地在/>的X上使用softmax,Wqm∈Rn×d表示一个可训练的矩阵;
S34、采用联合学习策略对模型进行训练,优化下游任务的预测损失和不同类型的对比损失,其损失函数表达式如下:
其中,β0、β1和αi(i∈1,2,..,m)表示任务损失之间的系数,表示第i下游任务的预测损失,/>最大化不同尺度视图之间的互信息,即来自一个视图的节点级表示与来自另一个视图的图级表示之间的互信息;
所述的表达式如下:
其中,表示图的数量,/>表示图中节点的数量,/> 和/>表示l-th MGCL模块中图/>的第i个或第j个视图的图级表示,/>和/>表示l-thMGCL模块中图/>的第i个或第j个视图的第w个节点级表示,其中i,j∈{2,3},i≠j;
MI(.)作为衡量一个视图的图级表示与另一个视图的节点级表示之间一致性的判别器,采用MI作为它们之间的点积表达式如下:
表示正样本对的图级视图之间的对比损失,正样本对来自于同一访问图/>的图级视图/>在第l个多视图对比学习模块中,负样本对从同一训练批次中的其他访问图级表示中随机生成;
第n个就诊记录的图表达式如下:
其中,τ表示温度参数。
S4、根据训练完成的多视图对比学习模型,计算待分类多任务患者表示矩阵,并根据表示矩阵得到多任务的患者预测结果,其实现方法如下:
S41、根据训练好的多视图对比学习模型计算患者在任务m上的表示矩阵如下:
其中Tm和Em均表示训练完成的模型参数;
S42、根据步骤S41得到的ym计算任务m上的预测分类结果表达式如下:
y=softmax(ym)
进一步的,所述步骤S31具体包含以下分步骤:
S311、对从患者就诊流水V编码得到的图通过增广机制/>进行增广,并得到三个增广图/> 和/>A和X是通过增广机制增强后邻接矩阵和节点特征矩阵;k∈1,2,3表示多视图对比学习模块中的第k个增广图,对于第一个增广图,特征矩阵和邻接矩阵保持不变,/>对于第二个和第三个增广视图,采用随机增广方式, 其中a∈1,2,3,4,5,6表示6种不同的增广机制,分别为节点删除、边扰动、子图、属性掩码、边扩散和节点替换。实验证明,随机增广可以提高模型对下游任务的预测效果,因为对/>和/>采用不同的增广策略可以提高模型在下游任务的鲁棒性。
S312、三个增广图被送入参数共享的图编码器中得到/>k表示与前面增广图对应的图的编号,即第k个增广图送入第k个图编码器。
S313、下游任务的图表示用作MGCL模块的输出,/>和/>输入到一个共享的投影函数/>中,得到两个隐藏的节点表示的表达式如下:
S314、对步骤S313得到的和/>进行复制,再输入到池化函数将节点表示连接起来并产生一个与节点表示维度大小相同的图表示,
S315、将步骤S314池化函数的输出结果输入到另一个参数共享的投影函数 生成模型训练的图表示的表达式如下:
以上所述仅是本发明的实施方式,再次声明,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进,这些改进也列入本发明权利要求的保护范围内。
Claims (7)
1.一种基于多视图对比学习的电子病历表示学习方法,其特征在于:包括以下步骤:
S1、根据电子病历中患者数据的医疗代码,构建相应图结构数据;
S2、利用医疗代码的共现矩阵对图结构数据进行预训练;
S3、利用多视图对比学习法在训练集上对多个任务同时训练模型,得到训练完成的多视图对比学习模型以及在训练集上的多任务患者表示矩阵;
S4、根据训练完成的多视图对比学习模型,计算待分类多任务患者表示矩阵,并根据表示矩阵得到多任务的患者预测结果。
2.如权利要求1所述一种基于多视图对比学习的电子病历表示学习方法,其特征在于:
所述步骤S1包括以下分步骤:
S11、将电子病历中有t-th次就诊记录的患者就诊数据表示为Vt={d1,d2,…,d|d|,m1,m2,…,m|m|,r1,r2,…,r|r|},其中di(1≤i≤|d|)表示诊断代码,mj(1≤j≤|m|)表示治疗代码,rk(1≤k≤|r|)表示实验室检查代码;
S12、将患者的就诊数据Vt构建成一个具有层级结构的全连接图网络其中X表示初始化的节点表示,A表示邻接矩阵,在构建邻接矩阵A时,设定每一个诊断代码di和每一个治疗代码mj之间有连接,每一个治疗代码mj和每一个实验室检查代码rk之间也有连接。
3.如权利要求1所述一种基于多视图对比学习的电子病历表示学习方法,其特征在于:
所述步骤S2包括以下分步骤:
S21、设置ci∈{d1,d2,…,d|d|,m1,m2,…,m|m|,r1,r2,…,r|r|}为Vt的第i个代码,其初始化表达式如下:
其中,e0表示节点类型的0~1向量,表示节点ci的基本嵌入,/>表示对应本体知识中的级别,/>表示ei的父节点的基本嵌入,使用零向量ezero来确保每个/>具有相同的维度;
S22、对Vt的每个医疗代码ci,补充其对应的医疗本体知识中对应的所有父级代码和Vt合并得到V',/>表示代码ci对应本体知识中的级别;
S23、设置两个医疗代码的共现次数的表达式如下:
co-occurrence=cnt(c′i,V′)×cnt(c′j,V′)
其中,cnt(c'i,V')和cnt(cj',V')分别表示节点c'i和c'j在V'中出现的次数,c'i∈V',c'j∈V',共现矩阵M∈RD×D通过计算增广后的列表V'中的所有代码对得到的;
S24、对图网络的每个节点表示进行预训练,其表达式如下:
其中,超参数xmax和α分别设定为100和0.75。
4.如权利要求1所述一种基于多视图对比学习的电子病历表示学习方法,其特征在于:
所述步骤S3包括以下分步骤:
S31、对从患者就诊流水V中构建并通过预训练得到的送到多视图对比学习模块,得到用于下游任务的图表示/>及用于模型训练的图表示/>和节点表示
S32、针对步骤S31重复进行l次,得到和/>的表达式如下:
其中,用于下游任务,/>表示第l次k个视图参数共享的图编码器,/>表示对/>进行增广得到的第k个图,/>表示池化函数,/>和/>分别表示具有三个线性层和ReLU非线性激活的多层感知机网络,/>和/>用于多视图的参数训练过程;
S33、设置一个门控网络qm(.)用于下游患者的预测任务Taskm m∈(1,2,3,4),根据实际情况调整任务数量,所述任务Taskm的输出表达式如下:
其中,Tm(.)表示第m个塔网络,表示读出操作,Ei(.)表示第l个专家网络,对于任务Taskm满足/>Wqm∈Rn×d表示一个可训练的矩阵;
S34、采用联合学习策略对模型进行训练,优化下游任务的预测损失和不同类型的对比损失,其损失函数表达式如下:
其中,β0、β1和αi(i∈1,2,..,m)表示任务损失之间的系数,表示第i下游任务的预测损失,/>最大化不同尺度视图之间的互信息;
所述的表达式如下:
其中,表示图的数量,/>表示图中节点的数量, 和/>表示l-thMGCL模块中图/>的第i个或第j个视图的图级表示,/>和/>表示l-thMGCL模块中图/>的第i个或第j个视图的第w个节点级表示,其中i,j∈{2,3},i≠j;
MI(.)作为衡量一个视图的图级表示与另一个视图的节点级表示之间一致性的判别器,采用MI作为它们之间的点积表达式如下:
表示正样本对的图级视图之间的对比损失,正样本对来自于同一访问图/>的图级视图/>在第l个多视图对比学习模块中,负样本对从同一训练批次中的其他访问图级表示中随机生成;
所述的表达式如下:
其中,τ表示温度参数。
5.如权利要求1所述一种基于多视图对比学习的电子病历表示学习方法,其特征在于:
所述步骤S4包括以下分步骤:
S41、根据训练好的多视图对比学习模型计算患者在任务m上的表示矩阵如下:
其中Tm和Em均表示训练完成的模型参数;
S42、根据步骤S41得到的ym计算任务m上的预测分类结果表达式如下:
y=softmax(ym)
6.如权利要求4所述一种基于多视图对比学习的电子病历表示学习方法,其特征在于:
所述步骤S31具体包含以下分步骤:
S311、对从患者就诊流水V编码得到的图通过增广机制/>进行增广,并得到三个增强图/>和/>
S312、三个增广图被送入参数共享的图编码器中得到/>k表示与前面增广图对应的图的编号;
S313、下游任务的图表示用作MGCL模块的输出,/>和/>输入到一个共享的投影函数/>中,得到两个隐藏的节点表示的表达式如下:
S314、对步骤S313得到的和/>进行复制,再输入到池化函数将节点表示连接起来并产生一个与节点表示维度大小相同的图表示,
S315、将步骤S314池化函数的输出结果输入到另一个参数共享的投影函数 生成模型训练的图表示的表达式如下:
7.如权利要求6所述一种基于多视图对比学习的电子病历表示学习方法,其特征在于:
所述步骤S311具体的增广机制策略方法如下:
A和X是通过增广机制增强后邻接矩阵和节点特征矩阵;k∈1,2,3表示多视图对比学习模块(MGCL模块)中的第k个增广图,对于第一个增广图,特征矩阵和邻接矩阵保持不变,对于第二个和第三个增广视图,采用随机增广方式,/> 其中a∈1,2,3,4,5,6表示6种不同的增广机制,分别为节点删除、边扰动、子图、属性掩码、边扩散和节点替换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311325540.2A CN117409911B (zh) | 2023-10-13 | 2023-10-13 | 一种基于多视图对比学习的电子病历表示学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311325540.2A CN117409911B (zh) | 2023-10-13 | 2023-10-13 | 一种基于多视图对比学习的电子病历表示学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117409911A true CN117409911A (zh) | 2024-01-16 |
CN117409911B CN117409911B (zh) | 2024-05-07 |
Family
ID=89495502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311325540.2A Active CN117409911B (zh) | 2023-10-13 | 2023-10-13 | 一种基于多视图对比学习的电子病历表示学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117409911B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111370084A (zh) * | 2020-02-07 | 2020-07-03 | 山东师范大学 | 基于BiLSTM的电子健康记录表示学习方法及系统 |
CN114741527A (zh) * | 2022-03-28 | 2022-07-12 | 华南理工大学 | 基于多源异构医疗知识图谱的图表示学习方法及装置 |
WO2023025255A1 (zh) * | 2021-08-27 | 2023-03-02 | 之江实验室 | 一种多中心医学诊断知识图谱表示学习方法及系统 |
WO2023124190A1 (zh) * | 2021-12-27 | 2023-07-06 | 之江实验室 | 一种基于图神经网络的疾病诊断预测系统 |
-
2023
- 2023-10-13 CN CN202311325540.2A patent/CN117409911B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111370084A (zh) * | 2020-02-07 | 2020-07-03 | 山东师范大学 | 基于BiLSTM的电子健康记录表示学习方法及系统 |
WO2023025255A1 (zh) * | 2021-08-27 | 2023-03-02 | 之江实验室 | 一种多中心医学诊断知识图谱表示学习方法及系统 |
WO2023124190A1 (zh) * | 2021-12-27 | 2023-07-06 | 之江实验室 | 一种基于图神经网络的疾病诊断预测系统 |
CN114741527A (zh) * | 2022-03-28 | 2022-07-12 | 华南理工大学 | 基于多源异构医疗知识图谱的图表示学习方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117409911B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023202508A1 (zh) | 一种基于认知图谱的全科患者个性化诊疗方案推荐系统 | |
Silva Araújo et al. | Using resistin, glucose, age and BMI and pruning fuzzy neural network for the construction of expert systems in the prediction of breast cancer | |
Lacerda et al. | Hyperparameter optimization for COVID-19 pneumonia diagnosis based on chest CT | |
CN111477337B (zh) | 基于个体自适应传播网络的传染病预警方法、系统及介质 | |
Yang et al. | A multiperiod hybrid decision support model for medical diagnosis and treatment based on similarities and three‐way decision theory | |
Alvi et al. | Deep learning approach on tabular data to predict early-onset neonatal sepsis | |
CN116936108B (zh) | 一种面向不平衡数据的疾病预测系统 | |
Alsubai et al. | Heart failure detection using instance quantum circuit approach and traditional predictive analysis | |
Sun et al. | Ehr2hg: Modeling of ehrs data based on hypergraphs for disease prediction | |
Jain et al. | Diagnosing covid-19 and pneumonia from chest ct-scan and x-ray images using deep learning technique | |
Zhang et al. | Few Shot Class Incremental Learning via Efficient Prototype Replay and Calibration | |
Hu et al. | Load Forecasting Based on LVMD-DBFCM Load Curve Clustering and the CNN-IVIA-BLSTM Model | |
Bedi et al. | Extractive text summarization for biomedical transcripts using deep dense LSTM‐CNN framework | |
Aguiar-Salazar et al. | Rapid detection of cardiac pathologies by neural networks using ECG signals (1D) and sECG images (3D) | |
CN117409911B (zh) | 一种基于多视图对比学习的电子病历表示学习方法 | |
Darwish et al. | Enhancing cervical pre-cancerous classification using advanced vision transformer | |
Yu et al. | Deep learning hybrid models for COVID-19 prediction | |
Marrow et al. | Examining the causal structures of deep neural networks using information theory | |
Zhang et al. | Semi‐supervised graph convolutional networks for the domain adaptive recognition of thyroid nodules in cross‐device ultrasound images | |
Ma et al. | Gout Staging Diagnosis Method Based on Deep Reinforcement Learning | |
Xiao et al. | Enhancing LOCA Breach Size Diagnosis with Fundamental Deep Learning Models and Optimized Dataset Construction | |
CN115700789A (zh) | 一种基于多模态医学数据的肺炎预检分诊系统 | |
Xiao et al. | High-Level visual encoding model framework with hierarchical ventral stream-optimized neural networks | |
CN112951412A (zh) | 一种辅助诊断方法及其应用 | |
Wang et al. | Optimization of gearbox fault detection method based on deep residual neural network algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |