CN116564555A - 基于深度记忆交互的药物相互作用预测模型构建方法 - Google Patents
基于深度记忆交互的药物相互作用预测模型构建方法 Download PDFInfo
- Publication number
- CN116564555A CN116564555A CN202310550847.6A CN202310550847A CN116564555A CN 116564555 A CN116564555 A CN 116564555A CN 202310550847 A CN202310550847 A CN 202310550847A CN 116564555 A CN116564555 A CN 116564555A
- Authority
- CN
- China
- Prior art keywords
- drug
- vector
- constructing
- layer
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 40
- 230000015654 memory Effects 0.000 title claims abstract description 40
- 206010013710 Drug interaction Diseases 0.000 title claims description 17
- 238000010276 construction Methods 0.000 title description 5
- 239000003814 drug Substances 0.000 claims abstract description 113
- 238000000034 method Methods 0.000 claims abstract description 38
- 229940079593 drug Drugs 0.000 claims description 86
- 239000013598 vector Substances 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 20
- 230000002776 aggregation Effects 0.000 claims description 16
- 238000004220 aggregation Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 230000008406 drug-drug interaction Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001647 drug administration Methods 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Public Health (AREA)
- Pharmacology & Pharmacy (AREA)
- Medicinal Chemistry (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Toxicology (AREA)
- Chemical & Material Sciences (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于深度记忆交互的药物相互作用预测模型构建方法，涉及药物间相互作用预测技术领域，首先构建了一个编码器‑解码器层，从药物节点在KG中的属性中学习药物节点的初始嵌入，然后优先采样邻域节点和采用注意的多跳聚合方式，以学习药物节点向量表示，最后通过构建预测模型来预测药物间相互作用。本发明能够充分利用生物医学图谱中节点属性以及节点之间的交互信息，提高DDI的预测性能。
Description
技术领域
本发明涉及药物间相互作用预测技术领域，更具体的是涉及一种基于深度记忆交互的药物相互作用预测模型构建方法。
背景技术
药物-药物相互作用(DDI)在药物开发和用药中起着重要作用，有效识别潜在的DDI对公共卫生至关重要，因为它可以在一定程度上避免药物的不良影响，现实中的DDI有几十种类型，且有的药物之间不只存在一种关系，存在多种关系，现有的基于网络的计算模型通常采用聚合式图嵌入方法聚合节点的邻域信息以更好的学习药物之间的多关系信息，然而这些方法在构建邻域时多采用均匀采样函数，忽略了邻居节点自身性质的差异，此外，现有的大多数方法只集中在与药物相关的三元组进行独立分析进行编码，而没有考虑药物的属性以及挖掘三元组之间的交互信息、节点属性以及节点之间的交互信息。
因此，提出一种基于深度记忆交互的药物相互作用预测模型构建方法来解决上述问题很有必要。
发明内容
本发明的目的在于：为了解决现有的基于网络的计算模型在构建邻域时多采用均匀采样函数，忽略了邻居节点自身性质的差异，而且现有的大多数方法只集中在与药物相关的三元组进行独立分析进行编码，而没有考虑药物的属性以及挖掘三元组之间的交互信息、节点属性以及节点之间的交互信息的问题，本发明提供一种基于深度记忆交互的药物相互作用预测模型构建方法。
本发明为了实现上述目的具体采用以下技术方案：
基于深度记忆交互的药物相互作用预测模型构建方法，包括以下步骤：
S1、从生物医学知识图集合G中删除所有的DDI三元组事实，得到一个不完全子集G′；
S2、从不完全子集G′中选择一个任意药物的di，设定一个三元组(di，r，dj)，通过哈希预处理对药物di进行预编码；
S3、基于S2中对于药物di的预编码，通过双向叠加LSTM单元构建编码器层，即Bi-LSTM，计算编码器层的输出H(t)；
S4、基于S3中得到的编码器层的输出H(t)，通过对T个LSTM单元堆叠之后，使用注意力机制构建解码器层，即解码器层LSTM+attention，计算出该药物的三元组(di，r，dj)的初始化向量e∈Rd；
S5、基于S4中初始化向量e∈Rd，构建图嵌入层，基于任意药物di以及初始向量C(i)，来计算药物节点的多阶全局表示；
S6、通过多头点积注意力和深度神经网络构建记忆交互模块，确定该三元组(di，r，dj)最终药物实体di、药物实体dj和关系r的最终向量表示；
S7、构建预测模型，通过拼接和全连接运算对S6中的药物实体di、药物实体dj和关系r的最终向量表示进行计算，得到该三元组的分数，并对预测模型进行训练。
进一步地，所述S2中哈希预处理的具体步骤为：
S21、设定si是di的SMILES序列；
S22、将si输入哈希函数中，得到一个机器可以理解的药物嵌入向量ei∈Rm，
ei＝hash([a1，a2，a3，…，an])
其中：an表示序列si中的一个原子，n表示序列si的长度。
进一步地，所述S3中计算编码器层的输出H(t)具体步骤为：
S31、首先将S22中药物嵌入向量e∈Rm采用Reshape重塑为e∈RT×d，
其中：d表示编码器-解码器层的潜在维数，T为编码器层LSTM单元数；
S32、然后计算LSTM单元的输出h(t)，所述h(t)根据其前一个单元的输出h(t-1)、细胞状态C(t-1)和当前细胞的输入e(t)共同决定，具体为：
h(t)＝LSTM(h(t-1)，C(t-1)，e(t))
其中：h(t)表示正向输出；
S33、计算编码器在t时刻的输出H(t)，
H(t)＝[h(t)，h′(t)]
其中：h′(t)表示反向输出，编码器的输出H(t)表示将LSTM在t时刻的正向输出和反向输出连接得到。
进一步地，所述S32中编码器层的输出h(t)具体计算步骤如下；
S321、由遗忘门确定从细胞状态中丢弃的信息f(t)，
f(t)＝σ(wf·[h(t-1)，e(t)]+bf)
其中：σ表示sigmoid函数，wf表示遗忘门的权重矩阵，bf表示遗忘门的偏置项；
S322、确定被添加到网络结构或细胞状态中的信息i(t)，
i(t)＝σ(wi·[h(t-1)，e(t)]+bi)
其中：wi表示输入门的权重矩阵；bi表示输入门的偏置项；
计算用于描述当前输入状态的
其中：wc表示计算细胞状态的权重矩阵，bc表示计算细胞状态的偏置项；
S323、对细胞状态进行更新，将细胞状态C(t-1)更新为C(t)，
其中：f(t)×C(t-1)表示忘记旧的值，表示用于添加新的值；
S324、由o(t)决定输出的信息，并计算h(t)，
o(t)＝σ(wo·[h(t-1)，e(t)]+bo)
h(t)＝o(t)×tanh(C(t))
其中：wo表示输入门的权重矩阵；bo表示输入门的偏置项。
进一步地，所述S3中编码器层输出源序列中每个时间步长j的隐藏状态h(j)后，由所述S4中解码器层输出目标序列中每一个时间步长i的隐藏状态s(i)，然后计算药物di的上下文向量C(i)，具体步骤如下：
S41、将score函数插入MLP中，通过公式e(ij)＝score(s(i)，h(j))将源序列与目标序列对齐；
其中：e(ij)表示目标时间步长i和源时间步长j的对齐得分，h(j)表示源序列隐藏状态，s(i)表示目标序列隐藏状态；
S42、使用softmax函数对对齐得分进行归一化，以检索注意力权重α(ij)，
S43、计算编码器h(j)的注意权值α(ij)与源序列隐藏状态的乘积的线性和，得到上下文向量C(i)，
将所述解码器在时间步长i时的参与上下文向量与目标隐藏状态连接，生成参与隐藏向量s(i)，然后将参与隐藏向量s(i)输入到全连接层和平均池化层产生保存属性特征的药物初始化向量e∈Rd。
进一步地，所述S5中图嵌入层由邻域采样以及信息传播和聚合构成；
所述S5中计算药物节点的多阶全局表示具体步骤如下：
S51、所述邻域采样采用社区抽样，通过采用非均匀采样方法，来计算药物节点邻域与局部图的连接强度C(v)，
其中：v表示目标节点，N(v)表示目标节点的邻域，|N(ui)∩N(v)|表示目标节点的邻域中节点与任意一个邻域节点的领域交集的个数，D表示节点的度值，节点的度值等于与节点直接相连的连边数；
S52、信息传播和聚合中，对于任意一个药物di，经过邻域采样操作之后，获取了di邻域信息，来计算药物di的一阶邻域信息
其中：α(di，r，t)表示三元组的注意力权重(di，r，t)，et表示尾实体t的嵌入向量；
S53、将药物di的初始化向量与邻域信息/>结合获取药物的一阶全局表示
其中：A表示聚合函数，/>表示该药物di的初始化向量；
S54、通过堆叠更多的传播层来构造表示层，假设总共有L个传播层，di在第L层的表示为：
其中：表示尾实体t在L层之前的层生成的嵌入向量。
进一步地，信息传播和聚合中由于每个邻域对药物节点的作用不同，其重要性由药物节点与药物邻域构成的三元组的注意权重来衡量，这些三元组的注意力权重根据所涉及节点di及其各自语义关系的嵌入计算为
α(di，r，t)＝et·er
其中：et和er由正态化的Glorot初始化得到。
进一步地，所述S6中确定该三元组(di，r，dj)最终药物实体di、药物实体dj和关系r的最终向量表示的具体步骤为：
S61、初始化记忆矩阵M；
S62、通过多头点积注意力机制完成记忆间的交互；
S63、对记忆矩阵进行线性映射，
query(Q＝MWq)
key(K＝[M；x]Wk)
value(V＝[M；x]Wv)
其中：[M；x]表示M和x的行拼接；
S64、用query在key上做点乘attention，得到的权重可用于对V做加权平均得到更新的M′，
其中：dk是key向量的维度；
用M′进行每一步的更新来引入循环，将以前的记忆矩阵M与经过DNN与残差操作之后的向量进行点乘，得到输入对应的编码向量也就是药物实体di、药物实体dj和关系r最终向量表示。
进一步地，所述S7中通过拼接和全连接运算对步骤六中的和/>进行计算的具体方法如下：
其中：σ表示激活函数sigmoid。
进一步地，所述S7中对预测模型进行训练的方法如下：
给定一组药物-关系-药物三元组事实N＝N+∪N-和对应的真实标签y，通过最小化交叉熵损失函数：
对预测模型进行训练。
与现有技术相比，本发明的有益效果在于：
1、本发明能够优先采样与生物医药知识图谱中连接强度大的邻域，这个药物知识图谱不仅包含与药物有关的三元组，还包含药物的属性信息。
2、本发明通过构建记忆交互模块，能够充分捕捉给定药物三元组的依赖关系，通过对给定三元组的嵌入表示进行拼接和全连接操作来给定三元组是否存在相互作用的概率。
3、本发明通过构建编码器层和解码器层，然后优先采样邻域节点和采用注意的多跳聚合方式，以学习药物节点向量表示，能够有效地捕获具有语义关系的高阶连通性。
4、本发明所提供的预测模型能够充分利用生物医学图谱中节点属性以及节点之间的交互信息，提高DDI的预测性能。
附图说明
图1为本发明预测模型的工作流程示意图；
图2为本发明中记忆交互模块的工作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，一种基于深度记忆交互的药物相互作用预测模型构建方法，包括以下步骤：
S1、生物医学知识图谱由多种现实世界的生物分子(如蛋白质、药物、疾病)和它们之间的相互作用关系组成，生物医学知识图集合G表示为分子-关系-分子三元组集，表示为{(h，r，t)|h，t∈ε，r∈R}，其中ε为分子实体集，R为关系集，在G中，每个三元组都描述了分子h与分子t相互作用，它们的关系类型是r，从生物医学知识图集合G中删除所有的DDI三元组事实，得到一个不完全子集G′，任务是将分数F(di，r，dj)分配给可能的边(di，r，dj)(di，dj∈G′，i≠j)，以确定这些三元组属于G的可能性有多大；
S2、从不完全子集G′中选择一个任意药物的di，它的属性是由不同种类的原子(如C，H，0)和它们之间的连接键组成的SMILES序列，设定一个三元组(di，r，dj)，通过哈希预处理对药物di进行预编码，因为哈希函数能够将任意长度的明文映射到固定长度的字符串；
S3、基于S2中对于药物di的预编码，通过双向叠加LSTM单元构建编码器层，即Bi-LSTM，全面捕获药物的属性信息，计算编码器层的输出H(t)；
S4、基于S3中得到的编码器层的输出H(t)，通过对T个LSTM单元堆叠之后，使用注意力机制构建解码器层，即解码器层LSTM+attention，计算出该药物的三元组(di，r，dj)的初始化向量e∈Rd；
S5、基于S4中初始化向量e∈Rd，构建图嵌入层，基于任意药物di以及初始向量C(i)，来计算药物节点的多阶全局表示；
S6、(di，r，t)是一个独立的三元组，我们从短序列的角度出发，设计一个记忆交互模块充分捕捉三元组(di，r，t)之间潜在的依赖关系；类似RNN的结构，利用记忆交互模块，使每个内存与所有其他内存进行交互，并根据参与的信息更新其内容，通过多头点积注意力和深度神经网络构建记忆交互模块，确定该三元组(di，r，dj)最终药物实体di、药物实体dj和关系r的最终向量表示；
S7、构建预测模型，通过拼接和全连接运算对S6中的药物实体di、药物实体dj和关系r的最终向量表示进行计算，得到该三元组的分数，并对预测模型进行训练。
具体的，S2中哈希预处理的具体步骤为：
S21、设定si是di的SMILES序列；
S22、将si输入哈希函数中，得到一个机器可以理解的药物嵌入向量ei∈Rm，
ei＝hash([a1，a2，a3，…，an])
其中：an表示序列si中的一个原子，n表示序列si的长度。
具体的，S3中计算编码器层的输出H(t)具体步骤为：
S31、首先将S22中药物嵌入向量e∈Rm采用Reshape重塑为e∈RT×d，
其中：d表示编码器-解码器层的潜在维数，T为编码器层LSTM单元数；
S32、然后计算LSTM单元的输出h(t)，h(t)根据其前一个单元的输出h(t-1)、细胞状态C(t-1)和当前细胞的输入e(t)共同决定，具体为：
h(t)＝LSTM(h(t-1)，C(t-1)，e(t))
其中：h(t)表示正向输出；
S33、计算编码器在t时刻的输出H(t)，
H(t)＝[h(t)，h′(t)]
其中：h′(t)表示反向输出，编码器的输出H(t)表示将LSTM在t时刻的正向输出和反向输出连接得到。
具体的，S32中编码器层的输出h(t)具体计算步骤如下；
S321、由遗忘门确定从细胞状态中丢弃的信息，该步骤会读取和输入数据点乘计算得到一个输出值，其决定了上一时刻的状态有多少会保留到当前时刻，
f(t)＝σ(wf·[h(t-1)，e(t)]+bf)
其中：σ表示sigmoid函数，wf表示遗忘门的权重矩阵，bf表示遗忘门的偏置项；
S322、确定被添加到网络结构或细胞状态中的信息，
i(t)＝σ(wi·[h(t-1)，e(t)]+bi)
其中：wi表示输入门的权重矩阵；bi表示输入门的偏置项；
计算用于描述当前输入状态的它的值是根据上一次的输出和本次的输出来进行计算的
其中：wc表示计算细胞状态的权重矩阵，bc表示计算细胞状态的偏置项；
S323、对细胞状态进行更新，将细胞状态C(t-1)更新为C(t)，
其中：f(t)×C(t-1)表示忘记旧的值，表示用于添加新的值；
S324、由o(t)决定输出的信息，并计算h(t)，
o(t)＝σ(wo·[h(t-1)，e(t)]+bo)
h(t)＝o(t)×tanh(C(t))
其中：wo表示输入门的权重矩阵；bo表示输入门的偏置项。
具体的，S3中编码器层输出源序列中每个时间步长j的隐藏状态h(j)后，由S4中解码器层输出目标序列中每一个时间步长i的隐藏状态s(i)，然后计算药物di的上下文向量C(i)，具体步骤如下：
S41、将scoTe函数插入MLP中，通过公式e(ij)＝score(s(i)，h(j))将源序列与目标序列对齐；
其中：e(ij)表示目标时间步长i和源时间步长j的对齐得分，h(j)表示源序列隐藏状态，s(i)表示目标序列隐藏状态；
S42、使用softmax函数对对齐得分进行归一化，以检索注意力权重α(ij)，
S43、计算编码器h(j)的注意权值α(ij)与源序列隐藏状态的乘积的线性和，得到上下文向量C(i)，
将解码器在时间步长i时的参与上下文向量与目标隐藏状态连接，生成参与隐藏向量s(i)，然后将参与隐藏向量s(i)输入到全连接层和平均池化层产生保存属性特征的药物初始化向量e∈Rd。
具体的，S5中图嵌入层由邻域采样以及信息传播和聚合构成；
S5中计算药物节点的多阶全局表示具体步骤如下：
S51、邻域采样采用社区抽样，考虑到生物医药知识图谱中的邻域大小不一致，统一为每个药物节点构建一个固定大小的邻居集，如果单纯地随机采样这些邻居节点，则可能导致包含更多信息的节点被忽略，或者导致对构建嵌入没有帮助的节点被选择，因此通过采用非均匀采样方法，来计算药物节点邻域与局部图的连接强度C(v)，
其中：v表示目标节点，N(v)表示目标节点的邻域，|N(ui)∩N(v)|表示目标节点的邻域中节点与任意一个邻域节点的领域交集的个数，D表示节点的度值，节点的度值等于与节点直接相连的连边数，等式右侧表示邻域中节点与目标节点和邻域集以外的节点的一步连接数，度值是节点的重要属性之一，能够反映节点在图中的重要程度，一般来说，度值较大的节点包含更多的局部结构信息，对生成有效的嵌入更有帮助，提高邻域与局部图的连接强度的一个有效方式是优先采样度值较大的节点，对于邻域集合小于拟采样的邻居个数，则在邻域集合中采取随机有放回采样；
S52、信息传播和聚合中，对于任意一个药物di，经过邻域采样操作之后，获取了di邻域信息，作为α(di，r，t)沿(di，r，t)传播的衰减因子，来计算药物di的一阶邻域信息
其中：α(di，r，t)表示三元组的注意力权重(di，r，t)，et表示尾实体t的嵌入向量；
S53、将药物di的初始化向量与邻域信息/>结合获取药物的一阶全局表示
其中：A表示聚合函数，/>表示该药物di的初始化向量；
S54、通过堆叠更多的传播层来构造表示层，然后聚合从所选邻居传播的一阶邻域信息，具体地，假设总共有L个传播层，di在第L层的表示为：
其中：表示尾实体t在L层之前的层生成的嵌入向量。
具体的，信息传播和聚合中由于每个邻域对药物节点的作用不同，其重要性由药物节点与药物邻域构成的三元组的注意权重来衡量，这些三元组的注意力权重根据所涉及节点di及其各自语义关系的嵌入计算为：
α(di，r，t)＝et·er
其中：et和er由正态化的Glorot初始化得到。
具体的，S6中确定该三元组(di，r，dj)最终药物实体di、药物实体dj和关系r的最终向量表示的具体步骤为：在每个时间步接收到新的输入x时(在这里x根据时间顺序依次是序列(di，r，t)中的每一个元素)，记忆都需要重新编码。
S61、初始化记忆矩阵M；
S62、通过多头点积注意力机制完成记忆问的交互；
S63、对记忆矩阵进行线性映射，
query(Q＝MWq)
key(K＝[M；x]Wk)
value(V＝[M；x]Wv)
其中：[M；x]表示M和x的行拼接；
S64、用query在key上做点乘attention，得到的权重可用于对V做加权平均得到更新的M′
其中：dk是key向量的维度；
用M′进行每一步的更新来引入循环，将以前的记忆矩阵M与经过DNN与残差操作之后的向量进行点乘，得到输入对应的编码向量也就是药物实体di、药物实体dj和关系r最终向量表示。
具体的，S7中通过拼接和全连接运算对步骤六中的和/>进行计算的具体方法如下：
其中：σ表示激活函数sigmoid。
具体的，S7中对预测模型进行训练的方法如下：
给定一组药物-关系-药物三元组事实N＝N+∪N-和对应的真实标签y，通过最小化交叉熵损失函数：
对预测模型进行训练。
实验数据
数据集：KEGG我们解析来自KEGG的来源，并将其映射到DrugBank标识符，结果是1,925种已批准的药物和56,983种已批准的DDI，KEGG-drug是一个流行的和广泛使用的数据库，提供了各种药物信息，KEGG-drug详细统计情况见表1，需要注意的是，收集到的生物医药知识图谱数据集不应该包含任何关于DDI的明确信息，因此，我们排除KEGG中url：drug-drug-interaction形式的信息，关于药物的属性，药物的SMILES序列从5.1.7版本的DrugBank下载；
表1 KEGG-drug数据集统计
实验设置和结果(见表2)：将模型是在一台配备Intel CoreI7 2.6GHz和16GB RAM的工作机器上用Tensorflow实现的，上述基线算法也部署在同一台机器上，其参数由其原始工作中推荐的值设置，此外，在比较中使用的所有算法的嵌入大小都固定为32(d＝32)。对于模型的参数，设N＝4,L＝1，原因将在参数敏感性分析部分进行分析，并将所有已批准的DDI作为阳性样本按8:1:1的比例随机分为训练集、验证集和测试集，再从然后从各个阶段正样本的互补集中随机选取相同数量的负样本，首先报告了所有模型在KEGG-drug上的五倍交叉验证的性能，此六个指标用于评估模型的性能，包括Acc(Accuracy),、Pre(Precision)、Rec(Recall)、F1(F1 Score)、AUC(Area Under ROCurve)and AUPR(AreaUnder Precision Recall)。
表2模型与所有基线对比的实验结果
消融实验
验证聚合函数，结果见表3。
表3模型聚合函数的选取
以上，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。
Claims (10)
1.基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：包括以下步骤：
S1、从生物医学知识图集合G中删除所有的DDI三元组事实，得到一个不完全子集G′；
S2、从不完全子集G′中选择一个任意药物的di，设定一个三元组(di，r，dj)，通过哈希预处理对药物di进行预编码；
S3、基于S2中对于药物di的预编码，通过双向叠加LSTM单元构建编码器层，即Bi-LSTM，计算编码器层的输出H(t)；
S4、基于S3中得到的编码器层的输出H(t)，通过对T个LSTM单元堆叠之后，使用注意力机制构建解码器层，即解码器层LSTM+attention，计算出该药物的三元组(di，r，dj)的初始化向量e∈Rd；
S5、基于S4中初始化向量e∈Rd，构建图嵌入层，基于任意药物di以及初始向量C(i)，来计算药物节点的多阶全局表示；
S6、通过多头点积注意力和深度神经网络构建记忆交互模块，确定该三元组(di，r，dj)最终药物实体di、药物实体dj和关系r的最终向量表示；
S7、构建预测模型，通过拼接和全连接运算对S6中的药物实体di、药物实体dj和关系r的最终向量表示进行计算，得到该三元组的分数，并对预测模型进行训练。
2.根据权利要求1所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：所述S2中哈希预处理的具体步骤为：
S21、设定si是di的SMILES序列；
S22、将si输入哈希函数中，得到一个机器可以理解的药物嵌入向量ei∈Rm，
ei＝hash([a1，a2，a3，...，an])
其中：an表示序列si中的一个原子，n表示序列si的长度。
3.根据权利要求2所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：所述S3中计算编码器层的输出H(t)具体步骤为：
S31、首先将S22中药物嵌入向量e∈Rm采用Reshape重塑为e∈RT×d，
其中：d表示编码器-解码器层的潜在维数，T为编码器层LSTM单元数；
S32、然后计算LSTM单元的输出h(t)，所述h(t)根据其前一个单元的输出h(t-1)、细胞状态C(t-1)和当前细胞的输入e(t)共同决定，具体为：
h(t)＝LSTM(h(t-1)，C(t-1)，e(t))
其中：h(t)表示正向输出；
S33、计算编码器在t时刻的输出H(t)，
H(t)＝[h(t)，h′(t)]
其中：h′(t)表示反向输出，编码器的输出H(t)表示将LSTM在t时刻的正向输出和反向输出连接得到。
4.根据权利要求3所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：所述S32中编码器层的输出h(t)具体计算步骤如下；
S321、由遗忘门确定从细胞状态中丢弃的信息f(t)，
f(t)＝σ(wf·[h(t-1)，e(t)]+bf)
其中：σ表示sigmoid函数，wf表示遗忘门的权重矩阵，bf表示遗忘门的偏置项；
S322、确定被添加到网络结构或细胞状态中的信息i(t)，
i(t)＝σ(wi·[h(t-1)，e(t)]+bi)
其中：wi表示输入门的权重矩阵；bi表示输入门的偏置项；
计算用于描述当前输入状态的
其中：wc表示计算细胞状态的权重矩阵,bc表示计算细胞状态的偏置项；
S323、对细胞状态进行更新，将细胞状态C(t-1)更新为C(t)，
其中：f(t)×C(t-1)表示忘记旧的值，表示用于添加新的值；
S324、由o(t)决定输出的信息，并计算h(t)，
o(t)＝σ(wo·[h(t-1)，e(t)]+bo)
h(t)＝o(t)×tanh(C(t))
其中：wo表示输入门的权重矩阵；bo表示输入门的偏置项。
5.根据权利要求4所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：所述S3中编码器层输出源序列中每个时间步长j的隐藏状态h(j)后，由所述S4中解码器层输出目标序列中每一个时间步长i的隐藏状态s(i)，然后计算药物di的上下文向量C(i)，具体步骤如下：
S41、将score函数插入MLP中，通过公式e(ij)＝score(s(i)，h(j))将源序列与目标序列对齐；
其中：e(ij)表示目标时间步长i和源时间步长j的对齐得分，h(j)表示源序列隐藏状态，s(i)表示目标序列隐藏状态；
S42、使用softmax函数对对齐得分进行归一化，以检索注意力权重α(ij)，
S43、计算编码器h(j)的注意权值α(ij)与源序列隐藏状态的乘积的线性和，得到上下文向量C(i)，
将所述解码器在时间步长i时的参与上下文向量与目标隐藏状态连接，生成参与隐藏向量s(i)，然后将参与隐藏向量s(i)输入到全连接层和平均池化层产生保存属性特征的药物初始化向量e∈Rd。
6.根据权利要求5所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：所述S5中图嵌入层由邻域采样以及信息传播和聚合构成；
所述S5中计算药物节点的多阶全局表示具体步骤如下：
S51、所述邻域采样采用社区抽样，通过采用非均匀采样方法，来计算药物节点邻域与局部图的连接强度C(v)，
其中：V表示目标节点，N(v)表示目标节点的邻域，|N(ui)∩N(v)|表示目标节点的邻域中节点与任意一个邻域节点的领域交集的个数，D表示节点的度值，节点的度值等于与节点直接相连的连边数；
S52、信息传播和聚合中，对于任意一个药物di，经过邻域采样操作之后，获取了di邻域信息，来计算药物di的一阶邻域信息
其中：α(di，r，t)表示三元组的注意力权重(di，r，t)，et表示尾实体t的嵌入向量；
S53、将药物di的初始化向量与邻域信息/>结合获取药物的一阶全局表示/>
其中：A表示聚合函数，/>表示该药物di的初始化向量；
S54、通过堆叠更多的传播层来构造表示层，假设总共有L个传播层，di在第L层的表示为：
其中：表示尾实体t在L层之前的层生成的嵌入向量。
7.根据权利要求6所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：信息传播和聚合中由于每个邻域对药物节点的作用不同，其重要性由药物节点与药物邻域构成的三元组的注意权重来衡量，这些三元组的注意力权重根据所涉及节点d及其各自语义关系的嵌入计算为：
α(di，r，t)＝et·er
其中：et和er由正态化的Glorot初始化得到。
8.根据权利要求1所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：所述S6中确定该三元组(di，r，dj)最终药物实体di、药物实体dj和关系r的最终向量表示的具体步骤为：
S61、初始化记忆矩阵M；
S62、通过多头点积注意力机制完成记忆间的交互；
S63、对记忆矩阵进行线性映射，
query(Q＝MWq)
key(K＝[M；x]Wk)
value(V＝[M；x]Wv)
其中：[M；x]表示M和x的行拼接；
S64、用query在key上做点乘attention，得到的权重可用于对V做加权平均得到更新的M′，
其中：dk是key向量的维度；
用M′进行每一步的更新来引入循环,将以前的记忆矩阵M与经过DNN与残差操作之后的向量进行点乘，得到输入对应的编码向量也就是药物实体di、药物实体dj和关系r最终向量表示。
9.根据权利要求8所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：所述S7中通过拼接和全连接运算对步骤六中的和/>进行计算的具体方法如下：
其中：σ表示激活函数sigmoid。
10.根据权利要求9所述的基于深度记忆交互的药物相互作用预测模型构建方法，其特征在于：所述S7中对预测模型进行训练的方法如下：
给定一组药物-关系-药物三元组事实N＝N+∪N-和对应的真实标签y，通过最小化交叉熵损失函数：
对预测模型进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310550847.6A CN116564555A (zh) | 2023-05-16 | 2023-05-16 | 基于深度记忆交互的药物相互作用预测模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310550847.6A CN116564555A (zh) | 2023-05-16 | 2023-05-16 | 基于深度记忆交互的药物相互作用预测模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116564555A true CN116564555A (zh) | 2023-08-08 |
Family
ID=87497820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310550847.6A Pending CN116564555A (zh) | 2023-05-16 | 2023-05-16 | 基于深度记忆交互的药物相互作用预测模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116564555A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117976245A (zh) * | 2024-04-02 | 2024-05-03 | 云南大学 | 非对称式的药物相互作用预测方法、系统及存储介质 |
-
2023
- 2023-05-16 CN CN202310550847.6A patent/CN116564555A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117976245A (zh) * | 2024-04-02 | 2024-05-03 | 云南大学 | 非对称式的药物相互作用预测方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113707235B (zh) | 基于自监督学习的药物小分子性质预测方法、装置及设备 | |
| CN113327644B (zh) | 一种基于图与序列的深度嵌入学习的药物-靶标相互作用预测方法 | |
| Lucca et al. | CC-integrals: Choquet-like copula-based aggregation functions and its application in fuzzy rule-based classification systems | |
| WO2022222231A1 (zh) | 药物与靶标的相互作用预测方法、装置、设备及存储介质 | |
| CN112119412A (zh) | 具有注意力的图神经网络 | |
| CN112905801A (zh) | 基于事件图谱的行程预测方法、系统、设备及存储介质 | |
| CN114780739B (zh) | 基于时间图卷积网络的时序知识图谱补全方法及系统 | |
| CN112086144B (zh) | 分子生成方法、装置、电子设备及存储介质 | |
| CN117524353B (zh) | 一种基于多维度分子信息的分子大模型、构建方法及应用 | |
| Sarkar et al. | An algorithm for DNA read alignment on quantum accelerators | |
| CN116564555A (zh) | 基于深度记忆交互的药物相互作用预测模型构建方法 | |
| CN115527627A (zh) | 一种基于超图卷积神经网络的药物重定位方法及系统 | |
| CN115019878A (zh) | 一种基于图表示和深度学习的药物发现方法 | |
| US11947503B2 (en) | Autoregressive graph generation machine learning models | |
| Martinez et al. | Towards personalized preprocessing pipeline search | |
| US20230253076A1 (en) | Local steps in latent space and descriptors-based molecules filtering for conditional molecular generation | |
| CN115458046B (zh) | 基于并行式深层细粒度模型预测药物靶标结合性的方法 | |
| Huang et al. | Scalable latent tree model and its application to health analytics | |
| Salman et al. | Nifty method for prediction dynamic features of online social networks from users’ activity based on machine learning | |
| CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和系统 | |
| Zakeri et al. | Conjunctive block coding for hyperdimensional graph representation | |
| Xiao et al. | Drug ADMET Prediction Method Based on Improved Graph Convolution Neural Network | |
| Nielsen et al. | Structural-EM for learning PDG models from incomplete data | |
| Mukaidaisi | Protein-Ligand Binding Affinity Directed Multi-Objective Drug Design Based on Fragment Representation Methods | |
| US20240112000A1 (en) | Neural graphical models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |