CN113223656A - 一种基于深度学习的药物组合预测方法 - Google Patents
一种基于深度学习的药物组合预测方法 Download PDFInfo
- Publication number
- CN113223656A CN113223656A CN202110594206.1A CN202110594206A CN113223656A CN 113223656 A CN113223656 A CN 113223656A CN 202110594206 A CN202110594206 A CN 202110594206A CN 113223656 A CN113223656 A CN 113223656A
- Authority
- CN
- China
- Prior art keywords
- drug
- medication
- patient
- vector
- heuristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003814 drug Substances 0.000 title claims abstract description 247
- 229940079593 drug Drugs 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000003745 diagnosis Methods 0.000 claims abstract description 41
- 239000000890 drug combination Substances 0.000 claims abstract description 24
- 239000013604 expression vector Substances 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 90
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 201000010099 disease Diseases 0.000 claims description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000001647 drug administration Methods 0.000 claims description 5
- 239000000955 prescription drug Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000002483 medication Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000007877 drug screening Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 239000008194 pharmaceutical composition Substances 0.000 description 1
- 229940126532 prescription medicine Drugs 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Medicinal Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Pharmacology & Pharmacy (AREA)
- Toxicology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明涉及一种基于深度学习的药物组合预测方法，包括：首先，根据医疗数据集中药物与诊断结果之间的对应关系，设计一种先验知识提取规则，计算患者的启发式用药序列；然后，利用多头注意力机制学习患者病史的医疗数据序列中各元素之间的关系，提取患者特征表示向量；最后，利用图卷积网络(Graph Convolutional Network，GCN)来融合药物组合中的药物知识，实现药物组合的预测推荐。结果表明，本发明提供的方法在不同的评价指标上，均优于目前先进的药物组合预测方法。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的药物组合预测方法。
背景技术
随着计算机技术的发展，电子病历详细记录了患者的诊疗过程，如诊断、医疗程序、用药组合等。深度学习技术可以学习这些医疗数据中的患者特征和医疗知识，并对患者治疗的药物组合进行预测，从而帮助专家挖掘分析医疗数据潜藏的疾病与用药规则，进一步改善临床指南与医疗专家系统。
发明内容
本发明的目的在于提供一种如何根据患者的历史记录与临床事件之间的相关性，为具有复杂健康状况的患者推荐药物组合的方法。
本发明提供的基于深度学习的药物组合推荐方法，帮助专家挖掘分析医疗数据潜藏的疾病与用药规则，进一步改善临床指南与医疗专家系统。电子病历中记录了患者就诊过程中产生的序列数据，例如诊断、医疗程序、用药等，这些医疗记录可以为患者的治疗提供帮助。多次就诊的患者，每次的就诊医疗记录对患者当前健康状况的影响各不相同。通过多头注意力可以捕获电子病历中的医疗数据各次就诊医疗记录之间的关系特征，对历史就诊医疗记录的重要程度加以区分。电子病历中，记录的处方药物组合包含了丰富的药物知识，利用图卷积网络来学习药物组合构成的图网络结构，学习的药物表示向量融合了药物知识，可以将患者历史用药嵌入到深度学习模型中。
为达到上述目的，本发明提供如下技术方案：
一种基于深度学习的药物组合预测方法，包括以下步骤：
S1：根据提取的先验知识获取启发式药物序列Mi；
S2：将患者i的诊断Di、医疗程序Pi与所述启发式用药Mi分别转化成线性嵌入向量
和
计算方法如公式(1)：
其中，Wd、Wp和Wm分别表示诊断、医疗程序和启发式用药的嵌入权重矩阵；
S3：根据获取的诊断、医疗程序和启发式用药这些序列数据中的不同元素所在位置的序列，利用位置编码来分别计算诊断、医疗程序与启发式用药的序列数据的位置嵌入向量ped，pep与pem，如公式(2)：
其中，pos表示位置，而2j+1和2j分别表示奇偶位置的索引，dim表示嵌入维度；
S4：根据S2计算的线性嵌入向量
和
与S3计算的位置嵌入向量ped，pep与pem之和，得到诊断、医疗程序与启发式用药的嵌入表示向量，计算方式如公式(3)：
S5：利用不同的多头注意力模块分别学习步骤S4得到的所述诊断、医疗程序与启发式用药的嵌入表示向量Ei d、Ei p与Ei m，进而分别得到诊断特征向量Sd、医疗程序特征向量Sp与启发式用药特征向量Sm；
其中，每个多头注意力模板由多个自注意力头组成，每个自注意力头学习的注意力向量进行级联，
其中，每个自注意力头通过学习查询向量Q＝EWq、键向量K＝EWk、值向量V＝EWv来获取数据的内部序列特征，E表示不同多头注意力模块学习的嵌入向量，如Ei d、Ei p与Ei m，而Wq、Wk与Wv则表示学习的权重矩阵，dim表示嵌入维度，n表示自注意力头的数目，h表示第h个自注意力头；Attention(Q、K、V)则表示自注意力头获取的数据内部序列特征向量，MultiHead(Q、K、V)表示的是将多个自注意力头(head1、head2，…headn)获取的特征表示向量拼接之后得到的向量；
S6：根据电子医疗记录的患者历史用药，构成药物网络，利用图卷积神经网络计算药物节点的表示向量P；
S7：根据步骤S5计算的诊断表示向量Sd与医疗程序表示向量Sp，结合步骤S6计算的药物节点的表示向量P，得到当前患者用药特征的输出表示向量Ft；
S8：根据步骤S5计算的启发式用药特征，步骤S7计算的输出表示向量Ft与用药特征表示向量Ot，预测患者需要的药物组合；
S9：利用损失函数量降低所述预测的患者需要的药物组合的预测损失；
S10：重复步骤S5-S9，直到达到最大训练轮数；
S11：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确。
进一步地，如上所述的基于深度学习的药物组合预测方法，步骤S1包括：统计每种诊断D的出现频次fd及其可能用药M的出现频次fm，当fm>ηfd时，fm对应的药物M为诊断D的启发式用药；
所述启发式药物序列Mi是由多个启发式用药组成的用药序列；η是用来选择启发式用药的阈值，计算得到每种诊断及其启发式用药的映射关系
选择的启发式用药利用了hammingloss来判断，hammingloss计算方式如公式(5)：
其中，T、N、L分别表示患者的就诊次数、数量和用药标签的长度，y和y’分别表示实际用药与启发式用药，Δ表示实际用药与启发式用药的对称差。
进一步地，如上所述的基于深度学习的药物组合预测方法，所述启发式用药的阈值为0.73。
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S6包括：
步骤S61:根据电子医疗记录的患者历史用药构成图网络G＝(θ,ε)，利用两层图神经网络来学习药物网络中药物节点的表示向量，计算公式如(6)：
其中，θ是图节点，表示各种药物；ε是电子病历中处方药物图网络中连接节点的边，其表示了药物之间的关系连接；这样就得到电子病历中药物图网络的度矩阵De，初始邻接矩阵A，单位矩阵I；
步骤S62:对所述单位矩阵I进行归一化，得到电子病历中药物图网络的矩阵
其中，M表示电子病历中的药物编码，We1和We2分别表示药物嵌入权重矩阵和隐藏层的权重矩阵，tanh表示激活函数，P表示药物网络中药物节点的表示向量。
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S7包括：根据步骤S5计算的诊断表示向量Sd与医疗程序表示向量Sp，得到患者属性特征表示向量F，并用H来表示其历史用药；通过患者历史当前患病特征Ft与历史患病特征Ft-1的匹配度，来提取患者历史用药Ht-1的特征，再根据步骤S6得到的药物节点的表示向量P来获取当前患者用药特征的输出表示向量Ft；计算如公式(7)所示，其中t表示患者的就诊次数。
Ot＝softmax(Ft(Ft-1)T)Ht-1P (7)
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S8包括：
根据步骤S5计算的患者启发式用药特征St m、步骤S7计算的得到的输出表示向量Ft与患者用药特征的表示向量Ot级联，通过Sigmoid函数σ来预测药物，计算过程如公式(8)：
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S9包括：
利用损失函数来降低预测的损失，损失函数L如公式(9)所示，由二分交叉熵损失Lbinary和多标签边缘损失Lmulti组成；
损失函数L的计算过程如下：
其中，|y|与
分别表示真实处方中药物标签数量与预测药物标签的数量，To表示患者就诊的次数，L表示药物标签的长度，
与
分别表示预测药物在真实处方药物集与预测药物集中的位置索引，λ和γ用来平衡二分交叉熵损失Lbinary和多标签边缘损失Lmulti的参数；
表示第i个患者第t次看病的用药，
表示为第i个患者在第t次看病预测的药物，σ表示神经网络的激活函数，logσ表示对激活函数计算值做取对数的运算。
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S11中利用衡量指标Jaccard、PRAUC、F1来衡量预测S10的准确性包括：
其中，i与t分别表示患者及其就诊次数，N表示总共患者数量；Ti表示第i位患者总共就诊次数，yi t就是医生为第i位患者在第t次就诊开的治疗药物，
是方法为第i位患者在第t次就诊预测推荐的药物。
有益效果：
(1)本申请利用了一种先验知识提取规则，计算患者的启发式用药序列；利用先验知识，可以得到患者治疗药物的启发式药物特征，进一步帮助模型进行参数的拟合，提高模型预测的准确性
(2)本申请在从患者病历中提取患者特征的时候，利用了多头注意力机制来获取各序列数据元素之间的关系，从而得到各个元素重要性的注意力权重；通过注意力权重，可以实现对患者特征重要性的区分，从而获得影响当前患者健康状况的主要特征；
(3)本申请利用了图卷积网络来学习药物网络中，药物节点的表示向量；利用图卷积网络，学习药物组合网络中的药物知识，融入到药物节点的表示，从而获取患者的历史用药特征。
附图说明
图1为本发明的流程图；
图2展示了先验药物筛选阈值变化图；
图3为本发明方法的原理图；
图4为与不同药物组合预测方法的对比图；(a)为在Jaccard指标上的得分百分比；(b)为在F1指标上的得分百分比；(c)为在PRAUC指标上的得分百分比；
图5为本发明方法在使用多头注意力中，注意力参数的变化；(a)为诊断参数的变化图；(b)为医疗程序参数的变化图；
图6为先验知识和药物知识对预测准确性的影响对比图；(a)为Jaccard指标；(b)为F1指标；(c)为PRAUC指标。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在实际临床治疗中，医生通常根据他们的临床经验开处方，他们可以依据经验选择最适合的患者的药物。此外，患者以往的治疗用药情况，也会对患者当前的治疗产生影响。因此，在利用深度学习预测患者需要的药物组合时，不仅要学习患者的特征，还需要考虑到先验知识和药物知识。
深度学习技术可以对患者的特征进行提取，以往的研究使用了循环神经网络(RecurrentNeuralNetworks，RNN)从电子病历数据中获取时间特征。然而，在循环神经网络中，隐含层的计算依赖于其前一隐含层的输出。因此，随着时间步的增加，患者的初始特征逐渐被遗忘。多头注意力(Multi-headAttention)为解决这一问题提供了新的思路，利用多个注意力头学习全局特征。多头注意力由多个自注意力(Self-attention)组成，在每个自注意力头上都定义了查询、键、值三个向量，用来提取序列数据的内部特征。多头注意力可以学习序列数据中不同元素的重要性，然后将不同注意层的特征进行级联，从不同的表示子空间获取信息。因此，多头注意力在捕捉电子病历数据特征方面显示出了巨大的潜力。然而，现有研究主要关注患者的内在属性，很少考虑隐藏在病历中的用药知识。
已有研究证明，先验知识可以提高深度学习的预测能力。例如，将先验的医学知识整合到深度学习模型中，可以提高疾病风险预测能力。在医学领域，先验知识已经被广泛应用，以协助临床医生，如医学图像处理，死亡率预测和疾病风险预测等。电子病历数据是患者的临床治疗记录，包含了医生丰富的临床经验知识。当医生治疗患者时，临床经验可以帮助他决定哪种药物适合病人的康复。因此，利用从电子病历中提取的先验知识，可以用来帮助深度学习模型拟合药物组合预测的参数。具体来说，就是利用统计学的方法从电子病历数据中计算诊断和治疗药物之间的映射关系，并将其作为预测药物组合的启发式特征，嵌入到深度学习中进行药物组合的预测。
在患者个人的医疗记录中，保存了患者之前就诊所使用过的药物，这些药物对患者的治疗产生了极大的影响。在电子病历医疗数据集中，药物组合的用药关系可以转化为图网络的数据结构。如果两种药物被一起使用过，则在图网络中用一条连边来表示这种关系。在网络节点的表示学习方面，图卷积网络(GCN)已经被证明是有效的。利用图卷积网络学习到的药物表示向量，可以将处方中隐藏的药物知识进行聚合。在网络中，每个节点通过边与它的邻居相联系，因此每个节点的表示向量应该包含其自身属性及其邻域特征。图卷积网络可以同时学习每个节点及其邻居的特征，每个节点传播的不仅仅是节点本身的属性，而是整个图网络的特征。
本发明提供一种名为PAGNet的药物预测方法，主要是基于深度学习技术，根据患者当前健康状况，利用先验知识与药物知识进行药物组合的预测。本发明所提出来的深度学习方法主要由两部分组成：多头注意(Multi-headAttention)和图神经网络(GCN)。多头注意力用于学习序列数据，如诊断序列、医疗程序序列和先验知识序列等。诊断和医疗程序是患者的固有属性，而先验知识是诊断和药物之间的统计映射关系。注意权重可以区分序列数据的重要性，提取显著性特征来表示患者当前的健康状态。药物组合关系则通过药物网络来表示，药物网络包含了医生临床用药的知识。图卷积网络可以学习药物表示向量，这些药物表示向量融合了药物知识。患者之前就诊用药，通过药物表示向量嵌入到深度学习模型中，为当前治疗用药提供指导。
如图1所示，本发明提供的方法包括以下步骤：
S1：提取先验知识，获得启发式药物序列。统计每种诊断D的出现频次fd及其可能用药M的出现频次fm，当fm>ηfd时，fm对应的药物M为诊断D的启发式用药(启发式药物序列是由多个启发式用药组成的用药序列)，η是用来选择启发式用药的阈值，计算得到每种诊断及其启发式用药的映射关系
选择的启发式用药利用了hammingloss来判断，值越小，表明选择的启发式用药越佳，hammingloss计算方式如公式(5)：
其中，T、N、L分别表示患者的就诊次数、数量和用药标签的长度，y和y’分别表示实际用药与启发式用药，Δ表示实际用药与启发式用药的对称差。
S2：将患者i的诊断Di、医疗程序Pi与根据S1计算的启发式用药Mi分别转化成线性嵌入向量
和
计算方法如公式(1)：
其中，Wd、Wp和Wm分别表示诊断、医疗程序和启发式用药的嵌入权重矩阵。
S3：根据获取诊断、医疗程序和启发式用药这些序列数据中的不同元素所在位置的序列，利用位置编码来进一步嵌入序列数据的位置嵌入向量，如公式(2)。
其中，pos表示位置，而2j+1和2j分别表示奇偶位置的索引，dim表示嵌入维度具体地，在诊断、医疗程序和启发式用药三种数据中，每种数据都有是一组序列数据，以诊断序列为例：位置编码就是计算不同类别的诊断所在诊断序列中的位置嵌入向量，也就是说诊断结果A在诊断序列的位置是pos，在S2计算的嵌入向量的位置为2j或者2j+1(偶数位置为2j，奇数位置为2j+1)，根据pos与2j(或者2j+1)来计算每种诊断的位置嵌入向量。同理，对于医疗程序和启发式用药序列数据也是一样的计算方式。
S4：根据S2计算的线性嵌入向量(
和
)与S3计算的位置嵌入向量(ped，pep与pem)之和，得到诊断、医疗程序与启发式用药的嵌入向量，计算方式如公式(3)：
S5：根据S4得到的诊断、医疗程序与启发式用药的嵌入向量(即，Ei d、Ei p与Ei m)，利用不同的多头注意力模块分别学习诊断、医疗程序与启发式用药的嵌入向量，即Ei d、Ei p与Ei m。每个多头注意力模板由多个自注意力头组成，每个自注意力头学习的注意力向量进行级联，进而得到整个序列数据的特征向量(例如：诊断特征向量Sd、医疗程序特征向量Sp与启发式用药特征向量Sm)。
其中，每个自注意力头通过学习查询向量Q＝EWq键向量K＝EWk、值向量V＝EWv来获取数据的内部序列特征。E表示不同多头注意力模块学习的嵌入向量，如Ei d、Ei p与Ei m，而Wq、Wk与Wv则表示学习的权重矩阵，dim表示嵌入维度，n表示自注意力头的数目，h表示第h个自注意力头。Attention(Q、K、V)则表示自注意力头获取的数据内部序列特征向量，MultiHead(Q、K、V)表示的是将多个自注意力头(head1、head2，…headn)获取的特征表示向量拼接之后得到的向量，也就是说每个head的计算方式正如Attention(Q、K、V)，Concat(head1、head2，…headn)就是将多个注意力头向量进行拼接(Concat)计算的。
S6：输入电子病历中患者处方用药构成的图网络G＝(θ,ε)，利用两层图神经网络来学习药物网络中药物节点的表示向量，计算公式如(6)：
其中，θ是图节点，表示各种药物；ε是电子病历中处方药物图网络中连接节点的边，ε表示了药物之间的关系连接。这样就得到电子病历中药物图网络的度矩阵De，初始邻接矩阵A，单位矩阵I。然后，对上述矩阵做如下处理，得到归一化后电子病历中药物图网络的矩阵
M表示电子病历中的药物编码，We1和We2分别表示药物嵌入权重矩阵和隐藏层的权重矩阵，tanh表示激活函数。P表示药物网络中药物节点的表示向量。
S7：根据S5计算的诊断表示向量Sd与医疗程序表示向量Sp，得到患者属性特征表示向量F，并用H来表示其历史用药。通过患者历史当前患病特征Ft与历史患病特征Ft-1的匹配度，来提取患者历史用药Ht-1的特征，再利用根据S6计算的融合药物知识的药物嵌入向量P来获取当前患者用药特征的输出表示向量Ft。计算如公式(7)所示，其中t表示患者的就诊次数。
Ot＝softmax(Ft(Ft-1)T)Ht-1P(7)
S8：根据S5计算的患者启发式用药特征St m，S7计算的患者属性特征表示向量Ft与患者用药特征的表示向量Ot级联，通过Sigmoid函数σ来预测药物，计算过程如公式(8)。
S9：利用损失函数来降低预测的损失，损失函数L如公式(9)所示，由二分交叉熵损失Lbinary和多标签边缘损失Lmulti组成。
损失函数L的计算过程如下：
其中，|y|与
分别表示真实处方中药物标签数量与预测药物标签的数量，To表示患者就诊的次数，L表示药物标签的长度，
与
分别表示预测药物在真实处方药物集与预测药物集中的位置索引，λ和γ用来平衡二分交叉熵损失Lbinary和多标签边缘损失Lmulti的参数。
表示第i个患者第t次看病的用药，
表示为第i个患者在第t次看病预测的药物，σ表示神经网络的激活函数，logσ表示对激活函数计算值做取对数的运算。
S10：重复步骤S5-S9，直到达到最大训练轮数；
S11：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确。
利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确。
其中，i与t分别表示患者及其就诊次数，N表示总共患者数量。因此，Ti表示第i位患者总共就诊次数，yi t就是医生为第i位患者在第t次就诊开的治疗药物，
是方法预测推荐的药物。
表1展示了住院患者的各项医疗统计信息。
表1住院患者的各项医疗统计信息
| 统计项目 | 数量 | 统计项目 | 数量 |
| 诊断种类 | 1958 | 平均诊断种类 | 10.51 |
| 医疗程序种类 | 1426 | 平均治疗程序种类 | 3.84 |
| 用药种类 | 145 | 平均用药种类 | 8.80 |
| 患者数量 | 6350 | 平均就诊次数 | 2.36 |
| 医疗事件数量 | 15016 |
图2所示的是先验药物筛选阈值变化图。随着阈值的增加，在开始时hammingloss明显降低。在阈值为0.73处，hammingloss达到最低值0.68。此后，hammingloss又逐渐增加。因此，阈值0.73为筛选启发式用药的最佳阈值。
如图3所示，本发明主要使用两种技术，多头注意力(Multi-headAttention)和图卷积网络(GCN)。多头注意力用来提取患者的诊断、医疗程序和先验知识的特征，进而表示出患者的特征向量。图卷积网络用来从药物网络中学习药物表示向量，这些药物表示向量融合了药物网络中隐含的药物与药物之间关系的知识，可以用来对患者之前就诊用药的特征进行提取。
图4展示了与不同药物组合预测方法的对比。Jaccard、PRAUC和F1是衡量预测药物准确性的指标，分值越高，表示预测的结果越准确。(a)为在Jaccard指标上的得分百分比；(b)为在F1指标上的得分百分比；(c)为在PRAUC指标上的得分百分比。结果显示，本方法预测药物的准确性比其他方法更高。
图5展示了本方法在使用多头注意力中，注意力参数的变化。以一个有6次就诊经历的患者为例，分别展示了4个注意力头在学习患者的诊断与医疗程序数据过程中，注意力参数分布特征。从图中可以看出，注意力参数对不同次的诊断与医疗程序的重要性作出了很好的区分。
图6展示了先验知识和药物知识对预测准确性的影响。其中，PAGNetp-和PAGNetm-分别表示去除先验知识与药物知识的PAGNet方法。结果显示，在(a)Jaccard、(b)F与(c)PRAUC三个准确性衡量指标上，本发明提供的PAGNet的表现都要比PAGNetp-和PAGNetm-好，这说明加入先验知识和药物知识可以提高药物预测的准确性。
在本发明的方法有以下优点：
(1)本发明采用深度学习的技术来学习患者电子病历中的医疗知识，根据患者健康状况进行治疗药物组合的推荐预测。
(2)利用医疗数据库，计算诊断结果与用药的映射关系，以此作为先验知识，为药物组合预测提供启发式特征。
(3)针对电子病历中医生开出的处方药物，本发明将其转化成图网络结构数据来描述不同药物组合之间的关系，利用图卷积网络来学习图网络结构中的医疗用药知识，并运用在患者之前就诊用药的向量表示中。
(4)本发明能够在复杂的医疗环境中，为重症患者的治疗推荐合理的药物，帮助专家挖掘分析医疗数据潜藏的疾病与用药规则，进一步改善临床指南与医疗专家系统。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过上述实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (8)
1.一种基于深度学习的药物组合预测方法，其特征在于，包括以下步骤：
S1：根据提取的先验知识获取启发式药物序列Mi；
S2：将患者i的诊断Di、医疗程序Pi与所述启发式用药Mi分别转化成线性嵌入向量
和
计算方法如公式(1)：
其中，Wd、Wp和Wm分别表示诊断、医疗程序和启发式用药的嵌入权重矩阵；
S3：根据获取的诊断、医疗程序和启发式用药这些序列数据中的不同元素所在位置的序列，利用位置编码来分别计算诊断、医疗程序与启发式用药的序列数据的位置嵌入向量ped，pep与pem，如公式(2)：
其中，pos表示位置，而2j+1和2j分别表示奇偶位置的索引，dim表示嵌入维度；
S4：根据S2计算的线性嵌入向量
和
与S3计算的位置嵌入向量ped，pep与pem之和，得到诊断、医疗程序与启发式用药的嵌入表示向量，计算方式如公式(3)：
S5：利用不同的多头注意力模块分别学习步骤S4得到的所述诊断、医疗程序与启发式用药的嵌入表示向量Ei d、Ei p与Ei m，进而分别得到诊断特征向量Sd、医疗程序特征向量Sp与启发式用药特征向量Sm；
其中，每个多头注意力模板由多个自注意力头组成，每个自注意力头学习的注意力向量进行级联，
where headh＝Attention(Qh,Kh,Vh)(h≤n)
其中，每个自注意力头通过学习查询向量Q＝EWq、键向量K＝EWk、值向量V＝EWv来获取数据的内部序列特征，E表示不同多头注意力模块学习的嵌入向量，如Ei d、Ei p与Ei m，而Wq、Wk与Wv则表示学习的权重矩阵，dim表示嵌入维度，n表示自注意力头的数目，h表示第h个自注意力头；Attention(Q、K、V)则表示自注意力头获取的数据内部序列特征向量，MultiHead(Q、K、V)表示的是将多个自注意力头(head1、head2，…headn)获取的特征表示向量拼接之后得到的向量；
S6：根据电子医疗记录的患者历史用药，构成药物网络，利用图卷积神经网络计算药物节点的表示向量P；
S7：根据步骤S5计算的诊断表示向量Sd与医疗程序表示向量Sp，结合步骤S6计算的药物节点的表示向量P，得到当前患者用药特征的输出表示向量Ft；
S8：根据步骤S5计算的启发式用药特征，步骤S7计算的输出表示向量Ft与用药特征表示向量Ot，预测患者需要的药物组合；
S9：利用损失函数量降低所述预测的患者需要的药物组合的预测损失；
S10：重复步骤S5-S9，直到达到最大训练轮数；
S11：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确。
2.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，步骤S1包括：统计每种诊断D的出现频次fd及其可能用药M的出现频次fm，当fm>ηfd时，fm对应的药物M为诊断D的启发式用药；
所述启发式药物序列Mi是由多个启发式用药组成的用药序列；η是用来选择启发式用药的阈值，计算得到每种诊断及其启发式用药的映射关系
选择的启发式用药利用了hammingloss来判断，hammingloss计算方式如公式(5)：
其中，T、N、L分别表示患者的就诊次数、数量和用药标签的长度，y和y’分别表示实际用药与启发式用药，Δ表示实际用药与启发式用药的对称差。
3.根据权利要求2所述的基于深度学习的药物组合预测方法，其特征在于，所述启发式用药的阈值为0.73。
4.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S6包括：
步骤S61:根据电子医疗记录的患者历史用药构成图网络G＝(θ,ε)，利用两层图神经网络来学习药物网络中药物节点的表示向量，计算公式如(6)：
其中，θ是图节点，表示各种药物；ε是电子病历中处方药物图网络中连接节点的边，其表示了药物之间的关系连接；这样就得到电子病历中药物图网络的度矩阵De，初始邻接矩阵A，单位矩阵I；
步骤S62:对所述单位矩阵I进行归一化，得到电子病历中药物图网络的矩阵
其中，M表示电子病历中的药物编码，We1和We2分别表示药物嵌入权重矩阵和隐藏层的权重矩阵，tanh表示激活函数，P表示药物网络中药物节点的表示向量。
5.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S7包括：根据步骤S5计算的诊断表示向量Sd与医疗程序表示向量Sp，得到患者属性特征表示向量F，并用H来表示其历史用药；通过患者历史当前患病特征Ft与历史患病特征Ft-1的匹配度，来提取患者历史用药Ht-1的特征，再根据步骤S6得到的药物节点的表示向量P来获取当前患者用药特征的输出表示向量Ft；计算如公式(7)所示，其中t表示患者的就诊次数。
Ot＝softmax(Ft(Ft-1)T)Ht-1P (7)
6.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S8包括：
根据步骤S5计算的患者启发式用药特征St m、步骤S7计算的得到的输出表示向量Ft与患者用药特征的表示向量Ot级联，通过Sigmoid函数σ来预测药物，计算过程如公式(8)：
7.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S9包括：
利用损失函数来降低预测的损失，损失函数L如公式(9)所示，由二分交叉熵损失Lbinary和多标签边缘损失Lmulti组成；
损失函数L的计算过程如下：
其中，|y|与
分别表示真实处方中药物标签数量与预测药物标签的数量，To表示患者就诊的次数，L表示药物标签的长度，
与
分别表示预测药物在真实处方药物集与预测药物集中的位置索引，λ和γ用来平衡二分交叉熵损失Lbinary和多标签边缘损失Lmulti的参数；
表示第i个患者第t次看病的用药，
表示为第i个患者在第t次看病预测的药物，σ表示神经网络的激活函数，logσ表示对激活函数计算值做取对数的运算。
8.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S11中利用衡量指标Jaccard、PRAUC、F1来衡量预测S10的准确性包括：
其中，i与t分别表示患者及其就诊次数，N表示总共患者数量；Ti表示第i位患者总共就诊次数，
就是医生为第i位患者在第t次就诊开的治疗药物，
是方法为第i位患者在第t次就诊预测推荐的药物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110594206.1A CN113223656A (zh) | 2021-05-28 | 2021-05-28 | 一种基于深度学习的药物组合预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110594206.1A CN113223656A (zh) | 2021-05-28 | 2021-05-28 | 一种基于深度学习的药物组合预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113223656A true CN113223656A (zh) | 2021-08-06 |
Family
ID=77099222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110594206.1A Pending CN113223656A (zh) | 2021-05-28 | 2021-05-28 | 一种基于深度学习的药物组合预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223656A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808693A (zh) * | 2021-09-10 | 2021-12-17 | 浙江科技学院 | 一种基于图神经网络和注意力机制的药物推荐方法 |
| CN116153528A (zh) * | 2023-04-20 | 2023-05-23 | 武汉纺织大学 | 一种基于注意力机制和全局检索的药物推荐方法 |
| CN116189847A (zh) * | 2023-05-05 | 2023-05-30 | 武汉纺织大学 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
| CN116564553A (zh) * | 2023-05-06 | 2023-08-08 | 西南交通大学 | 一种基于共病特征的用药效果预测方法 |
| CN117453963A (zh) * | 2023-12-26 | 2024-01-26 | 深圳市健怡康医疗器械科技有限公司 | 康复患者数据管理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294933A (zh) * | 2013-05-10 | 2013-09-11 | 司宏宗 | 一种药物筛选方法 |
| CN110348019A (zh) * | 2019-07-17 | 2019-10-18 | 南通大学 | 一种基于注意力机制的医疗实体向量转化方法 |
| CN111798954A (zh) * | 2020-06-11 | 2020-10-20 | 西北工业大学 | 基于时间注意力机制和图卷积网络的药物组合推荐方法 |
| CN112487820A (zh) * | 2021-02-05 | 2021-03-12 | 南京邮电大学 | 一种中文医疗命名实体识别方法 |
-
2021
- 2021-05-28 CN CN202110594206.1A patent/CN113223656A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294933A (zh) * | 2013-05-10 | 2013-09-11 | 司宏宗 | 一种药物筛选方法 |
| CN110348019A (zh) * | 2019-07-17 | 2019-10-18 | 南通大学 | 一种基于注意力机制的医疗实体向量转化方法 |
| CN111798954A (zh) * | 2020-06-11 | 2020-10-20 | 西北工业大学 | 基于时间注意力机制和图卷积网络的药物组合推荐方法 |
| CN112487820A (zh) * | 2021-02-05 | 2021-03-12 | 南京邮电大学 | 一种中文医疗命名实体识别方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808693A (zh) * | 2021-09-10 | 2021-12-17 | 浙江科技学院 | 一种基于图神经网络和注意力机制的药物推荐方法 |
| CN116153528A (zh) * | 2023-04-20 | 2023-05-23 | 武汉纺织大学 | 一种基于注意力机制和全局检索的药物推荐方法 |
| CN116189847A (zh) * | 2023-05-05 | 2023-05-30 | 武汉纺织大学 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
| CN116564553A (zh) * | 2023-05-06 | 2023-08-08 | 西南交通大学 | 一种基于共病特征的用药效果预测方法 |
| CN117453963A (zh) * | 2023-12-26 | 2024-01-26 | 深圳市健怡康医疗器械科技有限公司 | 康复患者数据管理系统 |
| CN117453963B (zh) * | 2023-12-26 | 2024-03-01 | 深圳市健怡康医疗器械科技有限公司 | 康复患者数据管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11790297B2 (en) | Model-assisted annotating system and methods for use therewith | |
| CN106778014B (zh) | 一种基于循环神经网络的患病风险预测建模方法 | |
| CN113223656A (zh) | 一种基于深度学习的药物组合预测方法 | |
| Subanya et al. | Feature selection using artificial bee colony for cardiovascular disease classification | |
| CN113808693B (zh) | 一种基于图神经网络和注意力机制的药物推荐方法 | |
| CN116364299B (zh) | 一种基于异构信息网络的疾病诊疗路径聚类方法及系统 | |
| CN111798954A (zh) | 基于时间注意力机制和图卷积网络的药物组合推荐方法 | |
| Arghandabi et al. | A comparative study of machine learning algorithms for the prediction of heart disease | |
| Alotaibi et al. | Stroke in-patients' transfer to the ICU using ensemble based model | |
| Kumar et al. | Special disease prediction system using machine learning | |
| CN116110533B (zh) | 基于事件图谱的药物种类和用量推荐系统及方法 | |
| CN116779111A (zh) | 一种基于异构ehr网络表示学习的药物推荐方法及系统 | |
| Safa et al. | A survey on hybrid case-based reasoning and deep learning systems for medical data classification | |
| Gupta et al. | An overview of clinical decision support system (cdss) as a computational tool and its applications in public health | |
| Christopher et al. | Knowledge-based systems and interestingness measures: Analysis with clinical datasets | |
| Deepa et al. | Action fuzzy rule based classifier for analysis of dermatology databases | |
| Jiang et al. | Explainable deep learning for readmission prediction with tree-glove embedding | |
| Khater et al. | Interpretable models for ml-based classification of obesity | |
| Bahanshal et al. | Hybrid fuzzy weighted K-Nearest neighbor to predict hospital readmission for diabetic patients | |
| Moodely et al. | A Comparative Study on Hybrid Machine Learning Voting Classifier Models for Alzheimer's Disease Prediction | |
| Subramanian et al. | Wearable Sensor-Based Monitoring and Classification Using Deep Learning For Personalized Healthcare | |
| Hota et al. | Prediction of Cardiac Arrest using Generalized Soft Computing Techniques | |
| Zhao et al. | Multi-view neural network integrating knowledge for patient self-diagnosis | |
| Shambharkar et al. | Machine Learning-Based Approach for Early Detection and Prediction of Chronic Diseases | |
| Bagali et al. | Prediction and Classification of Alzheimer's Disease Using Machine Learning Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |