CN114628002A - 一种基于复制机制和层级选择策略的药物推荐方法 - Google Patents

一种基于复制机制和层级选择策略的药物推荐方法 Download PDF

Info

Publication number
CN114628002A
CN114628002A CN202210269372.9A CN202210269372A CN114628002A CN 114628002 A CN114628002 A CN 114628002A CN 202210269372 A CN202210269372 A CN 202210269372A CN 114628002 A CN114628002 A CN 114628002A
Authority
CN
China
Prior art keywords
drug
medicine
representation
patient
recommended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210269372.9A
Other languages
English (en)
Inventor
吴锐
漆桂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210269372.9A priority Critical patent/CN114628002A/zh
Publication of CN114628002A publication Critical patent/CN114628002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于复制机制和层级选择策略的药物推荐方法，该方法通过多头注意力机制来对患者的历史药物、疾病与手术信息进行编码，同时将药物推荐建模成序列生成问题，并结合层级选择策略，提高药物推荐的准确率。首先，利用多头注意力机制，对患者的历史药物、疾病和手术信息进行编码；然后，构建药物共现图谱和相互作用图谱，并分别对其进行编码；接着，基于上述编码后的表示，利用患者当前的疾病、手术信息和已推荐的药物信息对其进行解码，计算生成概率，同时提出了一种层级式的选择机制来计算复制概率；最后，结合两种概率进行药物推荐，从而得到一种基于序列生成模型的药物推荐方法。

Description

一种基于复制机制和层级选择策略的药物推荐方法
技术领域
本发明涉及一种基于复制机制和层级选择策略的药物推荐方法，属于AI医疗领域。
背景技术
药物推荐的目的在于为患者推荐一系列药物，来治疗患者已经诊断出来的疾病。目前，该任务主要由医生根据其专业知识与经验来完成。其中一个问题在于，大多数患者会同时患上多种疾病，医生一方面不仅要为每个疾病来选择合适的药物，另一方面还需要避免所选择出来的药物之间缠上不良反应。因此，在复杂情况下，即使对于有经验的医生来说，药物推荐也是一个耗时耗力的工作，对于经验不足的医生来说则更容易产生问题。为了解决这个问题，我们迫切需要能够辅助医生进行决策的自动化药物推荐。
由于其较高的临床价值，药物推荐在近年来已经受到越来越多研究人员的注意，有一系列基于深度学习的药物推荐方法已经被提了出来。这些方法大体上可以分为两种。第一种是基于当前情况，即这一类方法仅仅利用患者当前的疾病、手术等信息，而忽视了患者的历史信息，例如上一次访问医院时的诊断结果及其对应药物。这类方法显然是存在不足的，因为其忽视了历史信息中的疾病发展过程。为了解决这个问题，研究人员们设计基于时间序列的方法，来充分利用患者的历史信息并对时序依赖进行建模。现有的基于时间序列的方法通常分为两个步骤：首先将所有已知信息聚合成一个患者级别的表示向量，然后再根据该表示进行药物推荐。
现有的工作所存在的一个问题在于，他们并没有显式地对同一个患者所推荐的药物之间的关系进行建模，但是在实际情况中，同一个患者所使用的药物往往都有着较强的关联性。例如，对于慢性病患者来说，他们可能会长期地使用同一种药物。针对医院的公开数据进行统计发现，对于多次访问医院的患者，其大部分药物都曾出现在之前的访问当中。受这一点启发，我们考虑从药物级别的角度来更好地利用患者的历史信息。
发明内容
本发明从现有的药物推荐工作并没有显式地从药物级别的角度对患者的历史信息进行建模的问题出发，提出了一种基于编码器-解码器结构的序列生成网络。该网络包含基础模型和复制模块两个部分。基础模型仅基于患者当前访问的健康状况来推荐药物；复制模块则会在建模的过程中引入历史访问的信息。与基础模型不同的地方在于，复制模块还需要来决策是从历史药物中复制一个，还是生成一个全新的药物。
本方案公开了一种新的基于复制机制和层级选择策略的药物推荐方法，主要用于辅助医生进行药物推荐。该方法通过多头注意力机制来利用患者的历史药物、疾病与手术信息，同时将药物推荐建模成序列生成问题，并结合层级选择策略，提高了药物推荐的准确率。首先，利用多头注意力机制，对患者的历史药物、疾病和手术信息进行编码；然后，构建药物共现图谱和相互作用图谱，并分别对其进行编码；接着，基于上述编码后的表示，利用患者当前的疾病、手术信息和已推荐的药物信息对其进行解码，计算生成概率，同时提出了一种层级式的选择机制来计算复制概率；最后，结合两种概率进行药物推荐，从而最终得到一种基于序列生成模型的药物推荐方法。
为了实现上述目的，本发明的技术方案如下：一种基于复制机制和层级选择策略的药物推荐方法，具体步骤如下：
步骤1)对患者的药物、疾病和手术信息进行编码；
步骤2)构建并编码药物共现图谱与药物相互作用图谱；
步骤3)结合步骤1)和步骤2)的编码结果，计算药物生成概率；
步骤4)利用层级选择策略计算药物复制概率；
步骤5)结合步骤3)和步骤4)的两种概率，得到最终药物推荐结果；
步骤6)在大量数据上，通过mini-batch梯度下降的方式来训练初始模型，获得最终的药物推荐模型；
步骤7)采用beamsearch的方式来进行序列生成，得到最终的药物推荐组合。
其中，在步骤1)利用多头注意力机制，对患者的药物、疾病或者手术之间的关联关系进行编码。例如，对疾病的编码过程如下：
MH(Q，K，V)＝[head1；…；headh]WO
Figure BDA0003553973380000021
Figure BDA0003553973380000022
其中，MH()表示多头注意力机制，h表示注意力的头的数目，WO、WQ、WK和WV均表示可学习参数矩阵；Q表示query向量，K表示key向量，V表示value向量，s表示这些向量的维度。经过多头注意力机制之后，再利用残差连接与层标准化来得到最终的编码结果：
D′t＝Encd(Dt)＝LayerNorm(H+FFN(H))；
Encd就表示最终的编码函数。其中，LayerNorm表示残差层，H与FFN的计算过程如下所示。
Figure BDA0003553973380000031
H＝LayerNorm(Dt+MH(Dt，Dt，Dt))
其中，W与b均为可学习参数，ReLU表示激活函数，D则表示编码前的初始表示。同理，对疾病、手术用同样的方式进行编码。该编码方式可以对疾病、药物和手术的内部关联关系进行建模；并且相比较于传统的循环神经网络，注意力机制相对地弱化了各项之间的相对位置，这在现实医疗场景下更为合理。
步骤2)中，根据训练集统计出所有可能的药物组合关系，构建出药物共现图谱。具体来说，构建药物组合关系图谱的邻接矩阵Ae，Ae[i，j]＝1则表示药物i与药物j曾同时出现在单次访问中，反之则未出现过。同时，根据已有知识构建药物互相作用图谱。
利用图卷积神经网络对药物共现图谱和药物相互作用图谱进行融合，得到融合药物关联关系的表示：
Figure BDA0003553973380000032
Figure BDA0003553973380000033
Eg＝Ge-λGd
其中，Ae和Ad分别表示药物共现图谱和药物相互作用图谱的邻接矩阵，GCN()表示图卷积神经网络，Em表示初始的药物表示，λ、
Figure BDA0003553973380000034
均为可学习参数。最后得到的Eg表示融合了药物关联关系后的药物表示。
步骤3)首先融合药物初始的表示与步骤2)得到的表示：
Figure BDA0003553973380000035
其中，
Figure BDA0003553973380000036
和
Figure BDA0003553973380000037
分别表示已推荐药物的初始表示和已推荐药物的融合药物关联关系后的表示。
然后，使用多头自注意力机制来编码已推荐药物之间的关联关系：
Figure BDA0003553973380000038
其中，LayerNorm表示残差层，MH()表示多头注意力机制，具体计算过程在步骤1)中进行了定义。
接下来，根据已推荐药物的表示，利用注意力机制来对患者的疾病、手术信息进行编码，得到患者的表示：
Figure BDA0003553973380000041
最后，根据患者的表示，计算药物的生成概率：
Figure BDA0003553973380000042
其中，Softmax()表示激活函数。
步骤4)首先分别融合患者的每一次历史访问中的疾病、手术信息，并得到访问级别的分数：
Figure BDA0003553973380000043
Figure BDA0003553973380000044
其中，D′j和P′j分别表示第j次访问中，由步骤1)所得到的编码后的疾病、手术的表示，W和b均表示可学习参数，
Figure BDA0003553973380000045
和Softmax()表示激活函数。
Figure BDA0003553973380000046
其中，
Figure BDA0003553973380000047
和
Figure BDA0003553973380000048
表示当前访问融合疾病、手术信息之后的表示，cj表示第j次访问的分数。
然后，将所有历史访问中的药物看作一个整体，计算药物级别的分数：
Figure BDA0003553973380000049
Figure BDA00035539733800000410
其中，Wc表示可学习参数，M′表示由步骤1)中编码所得到的药物表示，M″表示步骤3)中所得到的的患者表示，s指表示的维度。
最后，结合访问级别与药物级别的分数，最终得到药物的复制概率：
Figure BDA00035539733800000411
Figure BDA00035539733800000412
Figure BDA0003553973380000051
其中1{}是一个指示函数，括号内成立时为1，否则为0。
步骤5)结合步骤3)和步骤4)所得到的两种概率，得到每个药物的推荐概率：
Pr＝wg*Prg+(1-wg)*Prc
Figure BDA0003553973380000052
其中Sigmoid()表示Sigmoid激活函数，Wf、bf和wg均表示可学习参数。最终选择概率最高的药物作为当前情况下所推荐使用的药物。
步骤6)使用梯度下降的方式来训练模型，损失函数为：
Figure BDA0003553973380000053
其中
Figure BDA0003553973380000054
表示由步骤5)所得到每一种药物的推荐概率，V＜t表示第t次访问前患者的电子病历信息，Dt、Pt分别表示第t次访问中患者的疾病、手术，Mt，＜i表示第t次访问中为该患者已推荐的i-1个药物，θ表示该药物推荐方法中的所有参数。
步骤7)利用训练好的模型，采用beam search的方式来进行序列生成，得到最终的药物推荐组合。具体来说，设定beamsearch中的束宽为4，即在每一次推荐新的药物时，挑选所有组合中条件概率最大的4个，作为最终推荐的候选输出序列。这种方式避免了贪心算法没有从整体最优上考虑的问题，同时相对于穷举搜索，大大提升了搜索效率。
相对于现有技术，本发明的优点如下：
1)本发明首次提出来一个从药物级别的角度来利用患者的历史信息的药物推荐方法，该方法在真实数据集上的性能超越了目前已知最优的方法；
2)本发明提出了一个全新的层级选择机制，从药物级别和访问级别的角度综合来选择历史访问中可以复制的药物。该机制不仅提升了药物推荐的准确率，而且还提升了该方法的可解释性，更宜于实际场景下的使用。
3)本发明采用了多头自注意力机制来进行编码，相比较于传统的递归神经网络，该机制能够更好地捕捉药物、疾病或手术之间的关联关系。同时，该机制由于不考虑序列中元素之间的相对位置，更符合实际场景中的需求；
4)本发明创新地将药物推荐建模成了一个序列生成任务，而不是常见的多标签分类任务。对于多标签分类任务来说，其暗含了各标签之间相互独立的假设，忽视了药物之间是存在有共用导致不良反应的可能性的；而序列生成任务则会在生成每一个药物时考虑到已生成的药物，更加符合实际情况。
5)本发明结合了多种不同的药物之间的关联关系，能够得到更好的药物表示，从而进行更为准确的药物推荐。
6)本发明在训练、推理阶段分别采用了teacher-forcing和beamsearch的策略，使得模型的训练和推理更加准确。
附图说明
图1是本发明所使用的数据的示意图；
图2是本发明的整体框架示意图。
具体实施方式
以下结合实施例和说明书附图，详细说明本发明的实施过程。
实施例1：参见图1、图2，一种基于复制机制和层级选择策略的药物推荐方法，包括以下几个步骤：
步骤1)利用多头注意力机制，对患者的药物、疾病或者手术之间的关联关系进行编码。例如，对疾病的编码过程如下：
MH(Q，K，V)＝[head1；…；headh]WO
Figure BDA0003553973380000061
Figure BDA0003553973380000062
其中，MH()表示多头注意力机制，h表示注意力的头的数目，WO、WQ、WK和WV均表示可学习参数矩阵；Q表示query向量，K表示key向量，V表示value向量，s表示这些向量的维度。经过多头注意力机制之后，再利用残差连接与层标准化来得到最终的编码结果：
D′t＝Encd(Dt)＝LayerNorm(H+FFN(H))；
Encd就表示最终的编码函数。其中，LayerNorm表示残差层，H与FFN的计算过程如下所示。
Figure BDA0003553973380000063
H＝LayerNorm(Dt+MH(Dt，Dt，Dt))
其中，W与b均为可学习参数，ReLU表示激活函数，D则表示编码前的初始表示。同理，对疾病、手术用同样的方式进行编码。该编码方式可以对疾病、药物和手术的内部关联关系进行建模；并且相比较于传统的循环神经网络，注意力机制相对地弱化了各项之间的相对位置，这在现实医疗场景下更为合理。
步骤2)中，根据训练集统计出所有可能的药物组合关系，构建出药物共现图谱。具体来说，构建药物组合关系图谱的邻接矩阵Ae，Ae[i，j]＝1则表示药物i与药物j曾同时出现在单次访问中，反之则未出现过。同时，根据已有知识构建药物互相作用图谱。
利用图卷积神经网络对药物共现图谱和药物相互作用图谱进行融合，得到融合药物关联关系的表示：
Figure BDA0003553973380000071
Figure BDA0003553973380000072
Eg＝Ge-λGd
其中，Ae和Ad分别表示药物共现图谱和药物相互作用图谱的邻接矩阵，GCN()表示图卷积神经网络，Em表示初始的药物表示，λ、
Figure BDA0003553973380000073
均为可学习参数。最后得到的Eg表示融合了药物关联关系后的药物表示。
步骤3)首先融合药物初始的表示与步骤2)得到的表示：
Figure BDA0003553973380000074
其中，
Figure BDA0003553973380000075
和
Figure BDA0003553973380000076
分别表示已推荐药物的初始表示和已推荐药物的融合药物关联关系后的表示。
然后，使用多头自注意力机制来编码已推荐药物之间的关联关系：
Figure BDA0003553973380000077
其中，LayerNorm表示残差层，MH()表示多头注意力机制，具体计算过程在步骤1)中进行了定义。
接下来，根据已推荐药物的表示，利用注意力机制来对患者的疾病、手术信息进行编码，得到患者的表示：
Figure BDA0003553973380000078
最后，根据患者的表示，计算药物的生成概率：
Figure BDA0003553973380000079
其中，Softmax()表示激活函数。
步骤4)首先分别融合患者的每一次历史访问中的疾病、手术信息，并得到访问级别的分数：
Figure BDA0003553973380000081
Figure BDA0003553973380000082
其中，D′j和P′j分别表示第j次访问中，由步骤1)所得到的编码后的疾病、手术的表示，W和b均表示可学习参数，
Figure BDA0003553973380000083
和Softmax()表示激活函数。
Figure BDA0003553973380000084
其中，
Figure BDA0003553973380000085
和
Figure BDA0003553973380000086
表示当前访问融合疾病、手术信息之后的表示，cj表示第j次访问的分数。
然后，将所有历史访问中的药物看作一个整体，计算药物级别的分数：
Figure BDA0003553973380000087
Figure BDA0003553973380000088
其中，Wc表示可学习参数，M′表示由步骤1)中编码所得到的药物表示，M″表示步骤3)中所得到的的患者表示，s指表示的维度。
最后，结合访问级别与药物级别的分数，最终得到药物的复制概率：
Figure BDA0003553973380000089
Figure BDA00035539733800000810
Figure BDA00035539733800000811
其中1{}是一个指示函数，括号内成立时为1，否则为0。
步骤5)结合步骤3)和步骤4)所得到的两种概率，得到每个药物的推荐概率：
Pr＝wg*Prg+(1-wg)*Prc
Figure BDA0003553973380000091
其中Sigmoid()表示Sigmoid激活函数，Wf、bf和wg均表示可学习参数。最终选择概率最高的药物作为当前情况下所推荐使用的药物。
步骤6)使用梯度下降的方式来训练模型，损失函数为：
Figure BDA0003553973380000092
传统的梯度下降，每次梯度下降都是对所有的训练数据进行计算平均梯度，这种梯度下降法叫做ful1-batch梯度下降法。考虑一种情况，当训练数据量在千万级别时，一次迭代需要等待多长时间，会极大的降低训练速度。如果选择介于合适的bath size数据量进行训练，称为mini-batch梯度下降。
随机梯度下降的劣势每次训练的不能保证使用的是同一份数据，所以每一个batch不能保证都下降，整体训练loss变化会有很多噪声，但是整体趋势是下降的，随后会在最优值附近波动，不会收敛。
设置了验证集，在每轮训练结束时观察当前训练的模型收敛情况，防止出现在训练集上的过拟合，由于验证集上的数据没有在训练中出现，所以模型在验证集上的效果可以衡量模型的泛化性。
步骤7)利用训练好的模型，采用beam search的方式来进行序列生成，得到最终的药物推荐组合。具体来说，设定beamsearch中的束宽为4，即在每一次推荐新的药物时，挑选所有组合中条件概率最大的4个，作为最终推荐的候选输出序列。这种方式避免了贪心算法没有从整体最优上考虑的问题，同时相对于穷举搜索，大大提升了搜索效率。
本实施例使用了如下指标进行评估：
在MIMIC数据集上，采用Jaccard、F1和PRAUC来测试药物推荐的准确率。Jaccard的计算方式为所推荐药物集合与实际使用药物集合的交集的大小除以并集的大小，反映了模型所推荐的药物是否准确。F1得分同时兼顾了Precision和Recall，其计算公式是
Figure BDA0003553973380000093
PR-AUC指PR曲线下的面积，能够较好地衡量模型的排序能力。在测试数据上进行药物推荐，并进行相关指标的验证。模型训练完成后可以保存到本地，包含其所有的参数等。之后在测试数据上进行指标的评测，和其它方法进行比较。或者在真实场景中，使用模型辅助医生进行药物推荐。
需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。

Claims (10)

1.一种基于复制机制和层级选择策略的药物推荐方法，其特征在于，该方法包含以下步骤：
步骤1)对患者的药物、疾病和手术信息进行编码；
步骤2)构建并编码药物共现图谱与药物相互作用图谱；
步骤3)结合步骤1)和步骤2)的编码结果，计算药物生成概率；
步骤4)利用层级选择策略计算药物复制概率；
步骤5)结合步骤3)和步骤4)的两种概率，得到最终药物推荐结果；
步骤6)在大量数据上，通过mini-batch梯度下降的方式来训练初始模型，获得最终的药物推荐模型；
步骤7)采用beamsearch的方式来进行序列生成，得到最终的药物推荐组合。
2.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，步骤1)利用多头注意力机制，对患者的药物、疾病或者手术之间的关联关系进行编码，对疾病的编码过程如下：
MH(Q,K,V)＝[head1；...；headh]WO
Figure FDA0003553973370000011
Figure FDA0003553973370000012
其中，MH()表示多头注意力机制，h表示注意力的头的数目，WO、WQ、WK和WV均表示可学习参数矩阵；Q表示query向量，K表示key向量，V表示value向量，s表示这些向量的维度，经过多头注意力机制之后，再利用残差连接与层标准化来得到最终的编码结果：
D′t＝Encd(Dt)＝LayerNorm(H+FFN(H))；
Encd就表示最终的编码函数，其中，LayerNorm表示残差层，H与FFN的计算过程如下所示；
Figure FDA0003553973370000013
H＝LaverNorm(Dt+MH(Dt，Dt，Dt))
其中，W与b均为可学习参数，ReLU表示激活函数，D则表示编码前的初始表示，同理，对疾病、手术用同样的方式进行编码。
3.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，步骤2)中，根据训练集统计出所有可能的药物组合关系，构建出药物共现图谱,具体为构建药物组合关系图谱的邻接矩阵Ae，Ae[i,j]＝1则表示药物i与药物j曾同时出现在单次访问中，反之则未出现过，根据已有知识构建药物互相作用图谱。
4.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，步骤2)中利用图卷积神经网络对药物共现图谱和药物相互作用图谱进行融合，得到融合药物关联关系的表示：
Figure FDA0003553973370000021
Figure FDA0003553973370000022
Eg＝Ge-λGd
其中，Ae和Ad分别表示药物共现图谱和药物相互作用图谱的邻接矩阵，GCN()表示图卷积神经网络，Em表示初始的药物表示，λ、We g、
Figure FDA0003553973370000023
均为可学习参数，最后得到的Eg表示融合了药物关联关系后的药物表示。
5.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，步骤3)首先融合药物初始的表示与步骤2)得到的表示：
Figure FDA0003553973370000024
其中，
Figure FDA0003553973370000025
和
Figure FDA0003553973370000026
分别表示已推荐药物的初始表示和已推荐药物的融合药物关联关系后的表示；
然后，使用多头自注意力机制来编码已推荐药物之间的关联关系：
Figure FDA0003553973370000027
其中，LayerNorm表示残差层，MH()表示多头注意力机制；
接下来，根据已推荐药物的表示，利用注意力机制来对患者的疾病、手术信息进行编码，得到患者的表示：
Figure FDA0003553973370000028
最后，根据患者的表示，计算药物的生成概率：
Figure FDA0003553973370000031
其中，Softmax()表示激活函数。
6.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，步骤4)首先分别融合患者的每一次历史访问中的疾病、手术信息，并得到访问级别的分数：
Figure FDA0003553973370000032
Figure FDA0003553973370000033
其中，D′j和P′j分别表示第j次访问中，由步骤1)所得到的编码后的疾病、手术的表示，W和b均表示可学习参数，
Figure FDA0003553973370000034
和Softmax()表示激活函数；
Figure FDA0003553973370000035
其中，
Figure FDA0003553973370000036
和
Figure FDA0003553973370000037
表示当前访问融合疾病、手术信息之后的表示，cj表示第j次访问的分数；
然后，将所有历史访问中的药物看作一个整体，计算药物级别的分数：
Figure FDA0003553973370000038
Figure FDA0003553973370000039
其中，Wc表示可学习参数，M′表示由步骤1)中编码所得到的药物表示，M″表示步骤3)中所得到的的患者表示，s指表示的维度；
最后，结合访问级别与药物级别的分数，最终得到药物的复制概率：
Figure FDA00035539733700000310
Figure FDA0003553973370000041
Figure FDA0003553973370000042
其中1{}是一个指示函数，括号内成立时为1，否则为0。
7.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，步骤5)结合步骤3)和步骤4)所得到的两种概率，得到每个药物的推荐概率：
Pr＝wg*Prg+(1-wg)*Prc
Figure FDA0003553973370000043
其中Sigmoid()表示Sigmoid激活函数，Wf、bf和wg均表示可学习参数，最终选择概率最高的药物作为当前情况下所推荐使用的药物。
8.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，步骤6)使用梯度下降的方式来训练模型，损失函数为：
Figure FDA0003553973370000044
其中
Figure FDA0003553973370000045
表示由步骤5)所得到每一种药物的推荐概率，V<t表示第t次访问前患者的电子病历信息，Dt、Pt分别表示第t次访问中患者的疾病、手术，Mt,<i表示第t次访问中为该患者已推荐的i-1个药物，θ表示该药物推荐方法中的所有参数。
9.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，在步骤6)的训练过程中，采用teacher-forcing的训练方式，具体为在生成第i个药物时，模型以真实样本的前i-1个药物作为输入，而不是生成的前i-1的药物，在生成第1个药物时，输入被设定为一个特殊的标识：<START>。
10.根据权利要求1所述的基于复制机制和层级选择策略的药物推荐方法，其特征在于，在推理阶段中，步骤7)采用beamsearch的方式进行序列生成，具体为设定beamsearch中的束宽为4，即在每一次推荐新的药物时，挑选所有组合中条件概率最大的4个，作为最终推荐的候选输出序列。
CN202210269372.9A 2022-03-18 2022-03-18 一种基于复制机制和层级选择策略的药物推荐方法 Pending CN114628002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210269372.9A CN114628002A (zh) 2022-03-18 2022-03-18 一种基于复制机制和层级选择策略的药物推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210269372.9A CN114628002A (zh) 2022-03-18 2022-03-18 一种基于复制机制和层级选择策略的药物推荐方法

Publications (1)

Publication Number Publication Date
CN114628002A true CN114628002A (zh) 2022-06-14

Family

ID=81901107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210269372.9A Pending CN114628002A (zh) 2022-03-18 2022-03-18 一种基于复制机制和层级选择策略的药物推荐方法

Country Status (1)

Country Link
CN (1) CN114628002A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658877A (zh) * 2022-12-27 2023-01-31 神州医疗科技股份有限公司 基于强化学习的药物推荐方法、装置、电子设备和介质
CN116110533A (zh) * 2023-02-27 2023-05-12 之江实验室 基于事件图谱的药物种类和用量推荐系统及方法
CN116153528A (zh) * 2023-04-20 2023-05-23 武汉纺织大学 一种基于注意力机制和全局检索的药物推荐方法
CN116189847A (zh) * 2023-05-05 2023-05-30 武汉纺织大学 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798954A (zh) * 2020-06-11 2020-10-20 西北工业大学 基于时间注意力机制和图卷积网络的药物组合推荐方法
CN111968715A (zh) * 2020-06-30 2020-11-20 厦门大学 一种基于病历数据和药物相互作用风险的药物推荐建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798954A (zh) * 2020-06-11 2020-10-20 西北工业大学 基于时间注意力机制和图卷积网络的药物组合推荐方法
CN111968715A (zh) * 2020-06-30 2020-11-20 厦门大学 一种基于病历数据和药物相互作用风险的药物推荐建模方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴锐等: "药物推荐条件生成网", 《CONDITIONAL GENERATION NET FOR MEDICATION RECOMMENDATION (ARXIV.ORG)》, 18 February 2022 (2022-02-18), pages 1 - 12 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658877A (zh) * 2022-12-27 2023-01-31 神州医疗科技股份有限公司 基于强化学习的药物推荐方法、装置、电子设备和介质
CN115658877B (zh) * 2022-12-27 2023-03-21 神州医疗科技股份有限公司 基于强化学习的药物推荐方法、装置、电子设备和介质
CN116110533A (zh) * 2023-02-27 2023-05-12 之江实验室 基于事件图谱的药物种类和用量推荐系统及方法
CN116110533B (zh) * 2023-02-27 2023-09-01 之江实验室 基于事件图谱的药物种类和用量推荐系统及方法
CN116153528A (zh) * 2023-04-20 2023-05-23 武汉纺织大学 一种基于注意力机制和全局检索的药物推荐方法
CN116189847A (zh) * 2023-05-05 2023-05-30 武汉纺织大学 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法
CN116189847B (zh) * 2023-05-05 2023-07-14 武汉纺织大学 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法

Similar Documents

Publication Publication Date Title
CN114628002A (zh) 一种基于复制机制和层级选择策略的药物推荐方法
Luo et al. Hitanet: Hierarchical time-aware attention networks for risk prediction on electronic health records
Cooper et al. An evaluation of machine-learning methods for predicting pneumonia mortality
CN111798954A (zh) 基于时间注意力机制和图卷积网络的药物组合推荐方法
CN111640512B (zh) 肾脏替代疗法启动策略评估方法、装置及电子设备
CN116189847B (zh) 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法
CN111192693B (zh) 一种基于药物组合进行诊断编码纠正的方法及系统
EP3796226A1 (en) Data conversion/symptom scoring
Liu et al. Multimodal data matters: language model pre-training over structured and unstructured electronic health records
CN109887606B (zh) 一种基于注意力的双向递归神经网络的诊断预测方法
Yang et al. Manydg: Many-domain generalization for healthcare applications
Wu et al. MEGACare: Knowledge-guided multi-view hypergraph predictive framework for healthcare
CN113223656A (zh) 一种基于深度学习的药物组合预测方法
Fu et al. Pearl: Prototype learning via rule learning
Altayeva et al. Medical decision making diagnosis system integrating k-means and Naïve Bayes algorithms
CN114783603A (zh) 基于多源图神经网络融合的患病风险预测方法及系统
Wu et al. Dual attention and patient similarity network for drug recommendation
Li et al. Knowledge-enhanced dual graph neural network for robust medicine recommendation
Chowdhury et al. Mixed pooling multi-view attention autoencoder for representation learning in healthcare
Ohno-Machado Medical applications of artificial neural networks: connectionist models of survival
Zhang et al. A time-sensitive hybrid learning model for patient subgrouping
Yousefi et al. Opening the black box: Exploring temporal pattern of type 2 diabetes complications in patient clustering using association rules and hidden variable discovery
CN115240873A (zh) 一种基于机器学习的药物推荐方法、电子设备和计算机可读存储介质
Prasad Methods for reinforcement learning in clinical decision support
Saxena et al. Adaptive Multi-Hop Deep Learning based Drug Recommendation System with Selective Coverage Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination