CN116189847B - 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 - Google Patents
一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 Download PDFInfo
- Publication number
- CN116189847B CN116189847B CN202310497369.7A CN202310497369A CN116189847B CN 116189847 B CN116189847 B CN 116189847B CN 202310497369 A CN202310497369 A CN 202310497369A CN 116189847 B CN116189847 B CN 116189847B
- Authority
- CN
- China
- Prior art keywords
- patient
- drug
- vector
- medicine
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明涉及一种基于注意力机制的LSTM‑CNN策略的药物推荐方法。本方法具体包括S1:对数据集中的数据进行预处理操作,以获得可供模型进行特征处理的基础数据;S2:将基础数据作为输入,通过LSTM‑CNN策略对患者进行特征提取,以获得患者表示;S3:通过MolCode模块获取药物组合向量;S4:将药物组合向量输入全连接神经网络进行预测;S5:利用损失函数对整体模型进行训练;S6:通过整体模型预测每种药物组合和患者疾病或症状的关联程度,并将结果按照一定的规则进行排序,获得最终的预测结果。经过实验证明,本方法能有效提高为患者推荐药物的准确性并降低药物组合间的相互作用。
Description
技术领域
本发明属于医学与自然语言处理融合的数据分析与挖掘领域,具体涉及一种基于注意力机制的LSTM-CNN策略的药物推荐的方法。
背景技术
随着科技领域的迅猛发展,人工智能领域中的自然语言处理近年来在医学领域有着广泛的应用。其中,将患者药物通过推荐系统技术进行合理推荐是大量研究人员关注的热点。药物推荐是人工智能与生物医学所结合的一个方向,通过特征比较的方式为患者推荐合理而又正确的药物是药物推荐的主要任务。它的目标是从电子病历中获取患者病症特征,并通过不同的方法捕获信息,结合所获得的信息推荐合理的药物给不同的患者,尽可能的减少药物间的相互作用,达到安全且高效的效果。药物推荐在对降低药物间的相互作用、辅助医生进行药物开方以及患者就诊等方面发挥着巨大的作用。
药物推荐主要的任务过程是先对患者进行病症特征提取和编码,再根据提取到的病状特征去匹配治疗该病症的药物并进行推荐。药物推荐系统大体上主要有三种方法:第一种是基于医学规则的推荐方法(Rule-based recommendation),这种方法主要是依赖于获取医学专家知识的规则集合,基于这些规则对患者的病状进行推荐,但是这种方法最大的缺陷就是可能面对一些新的疾病随着科研的进步,专业知识规则还未得到更新,则在推荐过程中并不能取得很好的效果;第二种是基于实例进行推荐的方法(Instance-basedrecommendation),这种方法是仅使用患者当前的就诊次数作为药物推荐,所以它存在的不足之处是只考虑了当前的诊断信息,并未考虑到患者历史的就诊信息,从而会造成推荐的不够精确的问题;第三种方法是基于历史纵向关系的方法(Longitudinalrecommendation),主要是利用过去的就诊记录,探索患者过去就诊之间的时间依赖关系,进而进行更加有效的药物推荐,现如今很多的研究人员都会采用第三种方法进行药物推荐的研究。
研究发现,虽然目前很多的研究都是基于历史纵向关系的,在整体性能上也取得了不错的成果,但是在患者信息提取和药物之间的相互作用两个方面依旧存在着一些问题,那么如何在保证推荐的准确性的条件下进一步降低药物间的相互作用并达到安全有效的效果才是当下大部分的研究人员所关注的。
发明内容
本发明的目的在于:为了优化目前的药物推荐方法,提取更加充分的患者信息,减少由于药物间的相互作用所造成的严重后果发生的可能性,所以,提出一种基于LSTM-CNN策略的安全有效的药物推荐方法。本发明采用的技术方案如下:
步骤S1,对数据集中的患者出院诊断信息表、手术记录表以及医嘱药物信息表进行预处理操作,以获得可供模型进行特征处理的基础数据;
步骤S2,将基础数据作为输入,通过LSTM-CNN策略对患者进行特征提取,以获得更加全面和精确的患者表示,即病人的特征向量;
步骤S3,通过MolCode模块获取药物组合向量,所述MolCode模块是用于将两个药物分子的表示编码成特征向量,当有多个药物分子时,直接将药物分子进行两两组合,将每个组合作为输入在MolCode模块进行处理;
具体来说,MolCode模块的处理过程为:首先,将输入的药物分子转换为分子图表示,其次,将两个分子图同时输入到消息传递神经网络MPNN编码器和图卷积网络GCN编码器中对药物分子结构信息进行编码表示;然后利用步骤S2所获得的病人特征向量作为查询,将获得的两个编码器编码的药物特征向量进行融合生成一个与患者向量匹配的药物组合向量;
其中MPNN编码器由消息传递和读出两个阶段构成,在消息传递阶段中,对于特定的节点,通过消息传递函数和节点更新函数来实现聚合邻居特征和更新自身节点特征,在读出阶段,利用读出函数将全局特征表示传递给输出层,得到药物分子的特征向量表示,最后将病人的特征向量与药物分子的特征向量进行匹配,得到MPNN编码后的药物表示;
GCN编码器用于对药物分子的图形结构进行卷积操作,提取出分子中的特征信息,包括原子类型、化学键、环和分支;
步骤S4,预测模块采用了基于全连接神经网络的模型进行药物组合的预测评分,具体来说,是将药物组合向量输入全连接神经网络,使用ReLU激活函数进行非线性变换,并在评测结果时,设置一个阈值,选择大于阈值的药物组合作为推荐列表,进而在预测之后输出药物组合;
步骤S5,在模型训练阶段,运用二元交叉熵损失函数、铰链损失函数和DDI损失函数,并将多种损失按照一定的规则进行加权和,再利用加权后的总的损失函数进行训练,从而通过反向传播算法更新模型参数,以最小化损失函数;
步骤S6,将测试患者的信息输入步骤S2中进行特征提取获取病人的特征向量,再将S2所获得的病人的特征向量在已有的药物库中筛选可能适合病人的药物,通过步骤S3利用训练好的MolCode模块生成不同的药物组合,最后通过预测模块预测每种药物组合和患者疾病或症状的关联程度,并将结果按照一定的规则进行排序,获得最终的预测结果。
进一步的,步骤S1中所述的预处理包括对患者诊断、手术以及医嘱药物信息记录进行数据清理与编码,从而获得所需要的患者的诊断代码和手术代码;
进一步的,步骤S2的具体实现方式如下:
S21,根据步骤S1中提取到的诊断和手术代码信息对用户的健康状况进行编码,利用向量点积运算的方法将相应的诊断和手术代码映射到嵌入空间中,从而获得诊断和手术的嵌入之和,诊断和手术的嵌入表示用公式具体表示为:
其中t表示患者第t次就诊,表示第t次访问时的诊断代码,/>表示第t次访问时的手术代码,/>分别为诊断和手术的嵌入表,每一行分别存放着患者诊断和手术的特定信息,这里的D表示疾病元素集,P表示手术记录的元素集,dim为Embedding空间的维度,两个Embedding向量/>、/>共同编码了患者当前的健康状态;
S23,将当前的患者健康状态运用到双向的LSTM并行层中来模拟患者历史病史,并对患者历史就诊记录进行处理:
其中表示细胞状态即目前患者的健康状态,双向LSTM由正向LSTM和反向LSTM两部分组成,分别从正向和反向两个方向对输入序列进行处理,得到正向和反向的隐藏状态序列,正向的LSTM,是从前往后处理输入数据的,每个时间步的隐藏状态向量是由当前的输入和前一个时间步的隐藏状态向量以及细胞状态向量经过一系列门控操作得到的,/>表示t时刻正向的隐藏状态向量;反向的LSTM,是从后往前处理输入数据的,每个时间步的隐藏状态向量是由当前的输入和后一个时间步的隐藏状态向量以及细胞状态向量经过一系列门控操作得到的,/>表示t时刻的反向隐藏状态向量;
S25,通过利用注意力机制,对LSTM产生的输出进行加权平均,实现对不同症状的重要性进行区分的目的,患者不同症状给与不同的权重,使模型更加关注重要的特征:
其中和/>分别表示计算Attention权重的参数矩阵和偏置向量,T表示症状序列的长度,即总共有多少种症状需要计算权重,t是一个迭代变量,表示从1到T依次遍历的症状,计算其对应症状的权重,/>是/>的隐藏向量表示,/>是随机初始化并在训练共同学习的特征,/>是用相似度的计算方式来获取患者症状中不同症状的权重表示,并通过加权和的方式获取患者历史病状信息/>;
S26,将获得的患者历史病状信息利用卷积运算提取有信息的局部特征,并利用最大池化的方法来降低输入信息的维数,防止特征图的维度过高,使得模型的计算复杂度增加,出现过拟合和训练时间过长的问题;
S27,将经过池化后的症状信息连接起来形成最终的患者表示,再对其运用归一化的方式来加速网络训练,减少过拟合,这一层的最终输出表示为:
进一步的,步骤S3中MPNN编码器的处理过程如下:
其中是层索引,/>表示第/>次迭代时原子i的邻居的编码消息,/>表示第/>次迭代时对应的原子i的隐藏状态,/>、/>表示原子i和原子j在第/>-1次迭代时的隐藏状态,为分层参数矩阵,/>(.)为消息函数用于不断更新含有原子i的邻居编码信息,为顶点更新函数用于不断更新原子i的隐藏状态,A为邻接矩阵,存放的是原子之间的连接信息,如果原子i和原子j之间存在化学键则标记为1 ,否则为0;
其中y表示输出的药物分子的特征向量,i表示不同的原子,编号取值为0到n;
S35,将患者与药物进行匹配,具体来说,将患者表示作为查询,从记忆表/>中进行搜索,通过点积运算获得药物分子之间相似度的得分,然后将该得分输入到sigmoid函数中进行缩放,缩放到[0,1]之间,具体表示为:
进一步的,在GCN编码器中,首先将药物分子表示为一个无向图,通过其边和节点的学习获取向量表示,采用基于图卷积的方式进行信息聚合和特征提取:
其中AGGREGATE表示聚合函数,G=(V,E)表示药物的无向图,V表示分子图中的节点集合,E表示分子图中的边集合,FEATGRAPH()表示图卷积层,表示分子图中的节点向量聚合为整个药物分子的向量表示。
进一步的,步骤S4中药物组合向量表示为:
进一步的,二元交叉熵作为损失表示为:
其中,|M|表示药物总数,表示当前患者真实药物集中的第s个药物,/>表示当前患者推荐结果中的第s个药物概率,若/>,则说明真实药物集中的第s个药物是真实给患者开出的药物,反之/>,则说明真实药物集中的第s个药物是没有给患者开出的药物;
多标签铰链损耗损失函数表示为:
DDI损失表示为:
其中表示标量之间的乘积,/>表示基于DDI的邻接矩阵,DDI的邻接矩阵是一种常用的表示药物之间相互作用关系的方式,如果两种药物间具有相互作用则标记为1,若两种药物间不存在相互作用的问题则标记为0;/>表示当前患者推荐结果中的第f个药物概率;{·}表示只获取满足大括号内表达式的第s个药物所对应的推荐结果的概率/>,/>{·}表示只获取满足大括号内表达式的第f个药物所对应的推荐结果的概率/>;
上面的损失函数为一次访问定义的,在训练期间,损失反向传播将在患者水平上通过所有访问的平均损失进行;
最终总的目标函数具体表示为:
与现有技术相比,本发明的优点和有益效果为:本发明提出的基于注意力机制的LSTM-CNN策略的安全有效的药物推荐方法能够有效解决患者提取特征不够全面所导致的推荐效果不准确的问题,使得数据集中患者的病状特征能够被提取的更加完整和准确,同时对于不同特征也加以注意力进行了区分,避免了认为所有特征同等重要的情况发生。经过实验证明,本方法能够在患者表示方面使信息特征提取的更加全面,同时能够有效提高药物推荐的准确性和安全性,减少了药物间的相互作用。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例的模型图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,但不用于限定本发明。
本实例提供一种基于注意力机制的LSTM-CNN策略的安全有效的药物推荐方法,包括步骤:
步骤S1,对数据集中的患者出院诊断信息表、手术记录表以及医嘱药物信息表等信息表进行预处理操作,以获得可供模型进行特征提取的基础数据;
步骤S2,将基础数据作为输入,通过LSTM-CNN策略对患者进行病症特征提取,以获得更加全面和精确的患者表示,即病人的特征向量;
步骤S3,通过MolCode模块获取药物组合向量,MolCode模块主要是用于将两个药物分子的表示编码成特征向量,便于后续药物组合预测模型的训练和推断,当有多个药物分子时,直接将药物分子进行两两组合,将每个组合作为输入在MolCode模块进行处理。具体来说,首先,将输入的药物分子转换为分子图表示。分子图是一种图形结构,由原子和化学键构成的节点和边组成,表述了分子的结构信息和化学特征。其次,将两个分子图同时输入到消息传递神经网络(Message Passing Neural Network,MPNN)编码器和图卷积网络(Graph Convolutional Networks,GCN)编码器中对药物分子结构信息进行编码表示。然后利用步骤S2所获得的病人特征向量作为查询,通过特有的方式将获得的两个编码器编码的药物特征向量进行融合生成一个与患者向量匹配的药物组合向量。
在MPNN编码器中,使用带有可学习指纹的消息传递神经网络(MPNN)算子对药物分子数据进行编码,旨在将单个分子图上的原子信息卷积和池化为向量表示。具体来说,消息传递神经网络由消息传递和读出两个阶段构成。在消息传递阶段中,对于特定的节点,主要是通过消息传递函数和节点更新函数来实现聚合邻居特征和更新自身节点特征;在读出阶段,利用读出函数将全局特征表示传递给输出层,得到分子的特征向量表示;最后将病人的特征向量与药物分子的特征向量进行匹配,得到MPNN编码后的药物表示。同时,在GCN编码器中对药物分子的图形结构进行卷积操作,提取出分子中的特征信息,如原子类型、化学键、环和分支等。
步骤S4,为了获取更加安全和有效的推荐药物,预测模块采用了一个基于全连接神经网络的模型进行药物组合的预测评分,具体来说,这个模型是将药物组合向量输入全连接神经网络,使用ReLU激活函数进行非线性变换,并在评测结果时,设置一个阈值,选择大于阈值的药物组合作为推荐列表,进而在预测之后输出药物组合。
步骤S5,在模型训练阶段,主要运用了二元交叉熵损失函数、铰链损失函数和DDI损失函数,并将多种损失按照一定的规则进行加权和,再利用加权后的总的损失函数进行训练,从而通过反向传播算法更新模型参数,以最小化损失函数。
步骤S6,将测试患者的信息输入步骤S2中进行特征提取获取病人的特征向量,再将S2所获得的病人的特征向量在已有的药物库中筛选可能适合病人的药物,通过步骤S3利用训练好的MolCode模块生成不同的药物组合,最后通过预测模块预测每种药物组合和患者疾病或症状的关联程度,并将结果按照一定的规则进行排序,获得最终的预测结果。
在本实例中,步骤S1中所述的预处理包括对患者诊断、手术以及医嘱药物信息记录进行数据清理与编码,从而获得所需要的患者的诊断代码和手术代码。
在本实例中,步骤S2的具体实现方式如下:
S21,根据步骤S1中提取到的诊断和手术代码信息对用户的健康状况进行编码,利用向量点积运算的方法将相应的诊断和手术代码映射到嵌入空间中,从而获得诊断和手术的嵌入之和,诊断和手术的嵌入表示用公式具体表示为:
其中t表示患者第t次就诊,表示第t次访问时的诊断代码,/>表示第t次访问时的手术代码,/>分别为诊断和手术的嵌入表,每一行分别存放着患者诊断和手术的特定信息,这里的D表示疾病元素集,P表示手术记录的元素集,dim为Embedding空间的维度,两个Embedding向量/>、/>共同编码了患者当前的健康状态;
S23,将当前的患者健康状态运用到双向的LSTM并行层中来模拟患者历史病史,并对患者历史就诊记录进行处理:
其中表示细胞状态即目前患者的健康状态,双向LSTM由正向LSTM和反向LSTM两部分组成,分别从正向和反向两个方向对输入序列进行处理,得到正向和反向的隐藏状态序列,正向的LSTM,是从前往后处理输入数据的,每个时间步的隐藏状态向量是由当前的输入和前一个时间步的隐藏状态向量以及细胞状态向量经过一系列门控操作得到的,/>表示t时刻正向的隐藏状态向量;反向的LSTM,是从后往前处理输入数据的,每个时间步的隐藏状态向量是由当前的输入和后一个时间步的隐藏状态向量以及细胞状态向量经过一系列门控操作得到的,/>表示t时刻的反向隐藏状态向量;
S25,通过利用注意力机制,对LSTM产生的输出进行加权平均,实现对不同症状的重要性进行区分的目的,患者不同症状给与不同的权重,使模型更加关注重要的特征:
其中和/>分别表示计算Attention权重的参数矩阵和偏置向量,T表示症状序列的长度,即总共有多少种症状需要计算权重,t是一个迭代变量,表示从1到T依次遍历的症状,计算其对应症状的权重,/>是/>的隐藏向量表示,/>是随机初始化并在训练共同学习的特征,/>是用相似度的计算方式来获取患者症状中不同症状的权重表示,并通过加权和的方式获取患者历史病状信息/>;
S26,将获得的患者历史病状信息利用卷积运算提取有信息的局部特征,并利用最大池化的方法来降低输入信息的维数,防止特征图的维度过高,使得模型的计算复杂度增加,出现过拟合和训练时间过长的问题;
S27,将经过池化后的症状信息连接起来形成最终的患者表示,再对其运用归一化的方式来加速网络训练,减少过拟合,这一层的最终输出表示为:
在本实例中,步骤S3的具体实现方式如下:
其中是层索引,/>表示第/>次迭代时原子i的邻居的编码消息,/>表示第/>次迭代时对应的原子i的隐藏状态,/>、/>表示原子i和原子j在第/>-1次迭代时的隐藏状态,为分层参数矩阵,/>(.)为消息函数用于不断更新含有原子i的邻居编码信息,为顶点更新函数用于不断更新原子i的隐藏状态,A为邻接矩阵,存放的是原子之间的连接信息,如果原子i和原子j之间存在化学键则标记为1 ,否则为0;
其中y表示输出的药物分子的特征向量,i表示不同的原子,编号取值为0到n;
S35,将患者与药物进行匹配,具体来说,将患者表示作为查询,从记忆表/>中进行搜索,通过点积运算获得药物分子之间相似度的得分,然后将该得分输入到sigmoid函数中进行缩放,缩放到[0,1]之间,具体表示为:
S37,在GCN编码器中,首先将药物分子表示为一个无向图,通过其边和节点的学习获取向量表示,采用基于图卷积的方式进行信息聚合和特征提取:
其中AGGREGATE表示聚合函数,G=(V,E)表示药物的无向图,V表示分子图中的节点集合,E表示分子图中的边集合,FEATGRAPH()表示图卷积层,表示分子图中的节点向量聚合为整个药物分子的向量表示。
S38:将通过MPNN编码器编码的药物匹配向量作为注意信号进一步调整由GCN编码器编码的药物分子表示,用sigmoid函数缩放并输出可以表示为:
在本实例中,步骤S4的具体实现方式如下:
通过一个阈值δ,选择评分大于δ的药物组合作为推荐的药物组合,其中δ设置为0.5。
在本实例中,步骤S5的具体实现方式如下:
S51:对于每一个药物-疾病对来说,都可以判断该药物是否适合用于治疗该疾病。因此,可以将药物推荐任务看作一个二分类问题,其中正样本表示某个药物适合治疗特定的疾病,负样本表示不适合治疗。在药物推荐过程中使用二元交叉熵可以度量模型预测结果与实际标签之间的差异,从而提高模型的准确性和泛化能力,具体损失可以表示为:
其中,|M|表示药物总数,表示当前患者真实药物集中的第s个药物,/>表示当前患者推荐结果中的第s个药物概率,若/>,则说明真实药物集中的第s个药物是真实给患者开出的药物,反之/>,则说明真实药物集中的第s个药物是没有给患者开出的药物;
S52:药物推荐通常可以认为是一个多标签分类问题,即一个药物可能适合治疗多种疾病,铰链损失函数可以很好地适用于多标签分类问题,并且处理标签之间的相关性。所以,在药物推荐过程中采用多标签铰链损耗函数能致使结果更加具有鲁棒性,具体铰链损耗损失函数可以表示为:
S53:由于药物间相互作用(drug-drug interactions)可能会导致药物疗效的增强或削弱,因此在药物推荐过程中需要考虑这种影响药物间相互作用,从而达到安全推荐的目的,具体DDI损失可以表示为:
其中表示标量之间的乘积,/>表示基于DDI的邻接矩阵,DDI的邻接矩阵是一种常用的表示药物之间相互作用关系的方式,如果两种药物间具有相互作用则标记为1,若两种药物间不存在相互作用的问题则标记为0;/>表示当前患者推荐结果中的第f个药物概率;{·}表示只获取满足大括号内表达式的第s个药物所对应的推荐结果的概率/>,/>{·}表示只获取满足大括号内表达式的第f个药物所对应的推荐结果的概率/>;
上面的损失函数为一次访问定义的,在训练期间,损失反向传播将在患者水平上通过所有访问的平均损失进行;
S54:最终的损失函数可以通过两个超参数进行加权组合以最小化损失函数并在模型中进行训练,具体可以表示为:
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于注意力机制的LSTM-CNN策略的安全药物推荐方法,其特征在于,包括以下步骤:
步骤S1,对数据集中的患者出院诊断信息表、手术记录表以及医嘱药物信息表进行预处理操作,以获得用于特征提取的基础数据,即获得所需要的患者的诊断代码和手术代码;
步骤S2,将基础数据作为输入,通过LSTM-CNN策略对患者进行特征提取,以获得更加全面和精确的患者表示,即病人的特征向量;
步骤S2的具体实现方式如下:
S21,根据步骤S1中提取到的诊断和手术代码信息对用户的健康状况进行编码,利用向量点积运算的方法将相应的诊断和手术代码映射到嵌入空间中,从而获得诊断和手术的嵌入之和,诊断和手术的嵌入表示用公式具体表示为:
其中t表示患者第t次就诊,表示第t次访问时的诊断代码,/>表示第t次访问时的手术代码,/>分别为诊断和手术的嵌入表,每一行分别存放着患者诊断和手术的特定信息,这里的D表示疾病元素集,P表示手术记录的元素集,dim为Embedding空间的维度,两个Embedding向量/>、/>共同编码了患者当前的健康状态;
S23,将当前的患者健康状态运用到双向的LSTM并行层中来模拟患者历史病史,并对患者历史就诊记录进行处理:
其中表示细胞状态即目前患者的健康状态,双向LSTM由正向LSTM和反向LSTM两部分组成,分别从正向和反向两个方向对输入序列进行处理,得到正向和反向的隐藏状态序列,正向的LSTM,是从前往后处理输入数据的,每个时间步的隐藏状态向量是由当前的输入和前一个时间步的隐藏状态向量以及细胞状态向量经过一系列门控操作得到的,/>表示t时刻正向的隐藏状态向量;反向的LSTM,是从后往前处理输入数据的,每个时间步的隐藏状态向量是由当前的输入和后一个时间步的隐藏状态向量以及细胞状态向量经过一系列门控操作得到的,/>表示t时刻的反向隐藏状态向量;
S25,通过利用注意力机制,对LSTM产生的输出进行加权平均,实现对不同症状的重要性进行区分的目的,患者不同症状给与不同的权重,使模型更加关注重要的特征:
其中和/>分别表示计算Attention权重的参数矩阵和偏置向量,T表示症状序列的长度,即总共有多少种症状需要计算权重,t是一个迭代变量,表示从1到T依次遍历的症状,计算其对应症状的权重,/>是/>的隐藏向量表示,/>是随机初始化并在训练共同学习的特征,/>是用相似度的计算方式来获取患者症状中不同症状的权重表示,并通过加权和的方式获取患者历史病状信息/>;
S26,将获得的患者历史病状信息利用卷积运算提取有信息的局部特征,并利用最大池化的方法来降低输入信息的维数,防止特征图的维度过高,使得模型的计算复杂度增加,出现过拟合和训练时间过长的问题;
S27,将经过池化后的症状信息连接起来形成最终的患者表示,再对其运用归一化的方式来加速网络训练,减少过拟合,这一层的最终输出表示为:
步骤S3,通过MolCode模块获取药物组合向量,所述MolCode模块是用于将两个药物分子的表示编码成特征向量,当有多个药物分子时,直接将药物分子进行两两组合,将每个组合作为输入在MolCode模块进行处理;
具体来说,MolCode模块的处理过程为:首先,将输入的药物分子转换为分子图表示,其次,将两个分子图分别输入到消息传递神经网络MPNN编码器和图卷积网络GCN编码器中对药物分子结构信息进行编码表示;然后利用步骤S2所获得的病人特征向量作为查询,将获得的两个编码器编码的药物特征向量进行融合生成一个与患者向量匹配的药物组合向量;
其中MPNN编码器由消息传递和读出两个阶段构成,在消息传递阶段中,对于特定的节点,通过消息传递函数和节点更新函数来实现聚合邻居特征和更新自身节点特征,在读出阶段,利用读出函数将全局特征表示传递给输出层,得到药物分子的特征向量表示,最后将病人的特征向量与药物分子的特征向量进行匹配,得到MPNN编码后的药物表示;
GCN编码器用于对药物分子的图形结构进行卷积操作,提取出分子中的特征信息,包括原子类型、化学键、环和分支;
步骤S4,预测模块采用了一个基于全连接神经网络的模型进行药物组合的预测评分,具体来说,是将药物组合向量输入全连接神经网络,使用ReLU激活函数进行非线性变换,并在评测结果时,设置一个阈值,选择大于阈值的药物组合作为推荐列表,进而在预测之后输出药物组合;
步骤S5,在模型训练阶段,运用二元交叉熵损失函数、铰链损失函数和DDI损失函数,并将多种损失按照一定的规则进行加权和,再利用加权后的总的损失函数进行训练,从而通过反向传播算法更新模型参数,以最小化损失函数;
步骤S6,将测试患者的信息输入步骤S2中进行特征提取获取病人的特征向量,再将S2所获得的病人的特征向量在已有的药物库中筛选可能适合病人的药物,通过步骤S3利用训练好的MolCode模块生成不同的药物组合,最后通过预测模块预测每种药物组合和患者疾病或症状的关联程度,并将结果按照一定的规则进行排序,获得最终的预测结果。
4.如权利要求1所述的一种基于注意力机制的LSTM-CNN策略的安全药物推荐方法,其特征在于:步骤S3中MPNN编码器的处理过程如下:
其中是层索引,/>表示第/>次迭代时原子i的邻居的编码消息,/>表示第/>次迭代时对应的原子i的隐藏状态,/>、/>表示原子i和原子j在第/>-1次迭代时的隐藏状态,/>为分层参数矩阵,/>(.)为消息函数用于不断更新含有原子i的邻居编码信息,为顶点更新函数用于不断更新原子i的隐藏状态,A为邻接矩阵,存放的是原子之间的连接信息,如果原子i和原子j之间存在化学键则标记为1 ,否则为0;
其中y表示输出的药物分子的特征向量,i表示不同的原子,编号取值为0到n;
S35,将患者与药物进行匹配,具体来说,将患者表示作为查询,从记忆表/>中进行搜索,通过点积运算获得药物分子之间相似度的得分,然后将该得分输入到sigmoid函数中进行缩放,缩放到[0,1]之间,具体表示为:
7.如权利要求1所述的一种基于注意力机制的LSTM-CNN策略的安全药物推荐方法,其特征在于:二元交叉熵作为损失表示为:
其中,|M|表示药物总数,表示当前患者真实药物集中的第s个药物,/>表示当前患者推荐结果中的第s个药物概率,若/>,则说明真实药物集中的第s个药物是真实给患者开出的药物,反之/>,则说明真实药物集中的第s个药物是没有给患者开出的药物;
多标签铰链损耗损失函数表示为:
DDI损失表示为:
其中表示标量之间的乘积,/>表示基于DDI的邻接矩阵,DDI的邻接矩阵是一种常用的表示药物之间相互作用关系的方式,如果两种药物间具有相互作用则标记为1,若两种药物间不存在相互作用的问题则标记为0;/>表示当前患者推荐结果中的第f个药物概率;/>{·}表示只获取满足大括号内表达式的第s个药物所对应的推荐结果的概率/>,/>{·}表示只获取满足大括号内表达式的第f个药物所对应的推荐结果的概率/>;
上面的损失函数为一次访问定义的,在训练期间,损失反向传播将在患者水平上通过所有访问的平均损失进行;
最终总的目标函数具体表示为:
其中分别为超参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310497369.7A CN116189847B (zh) | 2023-05-05 | 2023-05-05 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310497369.7A CN116189847B (zh) | 2023-05-05 | 2023-05-05 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116189847A CN116189847A (zh) | 2023-05-30 |
CN116189847B true CN116189847B (zh) | 2023-07-14 |
Family
ID=86446670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310497369.7A Active CN116189847B (zh) | 2023-05-05 | 2023-05-05 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116189847B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117038105B (zh) * | 2023-10-08 | 2023-12-15 | 武汉纺织大学 | 一种基于信息增强图神经网络的药物重定位方法及系统 |
CN117216407B (zh) * | 2023-10-24 | 2024-04-02 | 北京同仁堂互联网医院管理有限公司 | 一种中药饮片的辅助开立方法、装置、设备及可读介质 |
CN117453963B (zh) * | 2023-12-26 | 2024-03-01 | 深圳市健怡康医疗器械科技有限公司 | 康复患者数据管理系统 |
CN117894424B (zh) * | 2024-03-14 | 2024-05-14 | 四川省医学科学院·四川省人民医院 | 基于深度学习与强化学习构建t2dm患者药物方案的推荐系统 |
CN118016236B (zh) * | 2024-04-08 | 2024-08-02 | 西安力邦医疗网络科技有限公司 | 一种康复管理方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11049590B1 (en) * | 2020-02-12 | 2021-06-29 | Peptilogics, Inc. | Artificial intelligence engine architecture for generating candidate drugs |
CN114628002A (zh) * | 2022-03-18 | 2022-06-14 | 东南大学 | 一种基于复制机制和层级选择策略的药物推荐方法 |
CN115240811A (zh) * | 2022-06-21 | 2022-10-25 | 浙江大学 | 一种基于图神经网络的隐式关系药物推荐模型的构建方法和应用 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10803144B2 (en) * | 2014-05-06 | 2020-10-13 | International Business Machines Corporation | Predicting drug-drug interactions based on clinical side effects |
CN110348573A (zh) * | 2019-07-16 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 训练图神经网络的方法、图神经网络设备、装置、介质 |
EP3859745A1 (en) * | 2020-02-03 | 2021-08-04 | National Centre for Scientific Research "Demokritos" | System and method for identifying drug-drug interactions |
CN111798954A (zh) * | 2020-06-11 | 2020-10-20 | 西北工业大学 | 基于时间注意力机制和图卷积网络的药物组合推荐方法 |
CN111753543B (zh) * | 2020-06-24 | 2024-03-12 | 北京百度网讯科技有限公司 | 药物推荐方法、装置、电子设备及存储介质 |
CN112635080A (zh) * | 2021-01-15 | 2021-04-09 | 复星领智(上海)医药科技有限公司 | 基于深度学习的药物预测方法和设备 |
CN112951362A (zh) * | 2021-02-23 | 2021-06-11 | 上海商汤智能科技有限公司 | 药物推荐方法、装置、设备及存储介质 |
CN113223656A (zh) * | 2021-05-28 | 2021-08-06 | 西北工业大学 | 一种基于深度学习的药物组合预测方法 |
EP4120138B1 (en) * | 2021-07-16 | 2024-03-27 | Tata Consultancy Services Limited | System and method for molecular property prediction using hypergraph message passing neural network (hmpnn) |
CN114530210A (zh) * | 2022-01-06 | 2022-05-24 | 山东师范大学 | 药物分子筛选方法及系统 |
CN115240873A (zh) * | 2022-05-20 | 2022-10-25 | 大连理工大学 | 一种基于机器学习的药物推荐方法、电子设备和计算机可读存储介质 |
-
2023
- 2023-05-05 CN CN202310497369.7A patent/CN116189847B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11049590B1 (en) * | 2020-02-12 | 2021-06-29 | Peptilogics, Inc. | Artificial intelligence engine architecture for generating candidate drugs |
CN114628002A (zh) * | 2022-03-18 | 2022-06-14 | 东南大学 | 一种基于复制机制和层级选择策略的药物推荐方法 |
CN115240811A (zh) * | 2022-06-21 | 2022-10-25 | 浙江大学 | 一种基于图神经网络的隐式关系药物推荐模型的构建方法和应用 |
Also Published As
Publication number | Publication date |
---|---|
CN116189847A (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116189847B (zh) | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 | |
Fang et al. | Feature Selection Method Based on Class Discriminative Degree for Intelligent Medical Diagnosis. | |
Dabowsa et al. | A hybrid intelligent system for skin disease diagnosis | |
CN111798954A (zh) | 基于时间注意力机制和图卷积网络的药物组合推荐方法 | |
Jiang et al. | A hybrid intelligent model for acute hypotensive episode prediction with large-scale data | |
Abdikenov et al. | Analytics of heterogeneous breast cancer data using neuroevolution | |
CN116364299A (zh) | 一种基于异构信息网络的疾病诊疗路径聚类方法及系统 | |
Bhattacharyya et al. | Prediction and forecasting of persistent kidney problems using machine learning algorithms | |
CN117672450A (zh) | 一种基于知识图谱的个性化药物推荐方法与系统 | |
Sun et al. | Ehr2hg: Modeling of ehrs data based on hypergraphs for disease prediction | |
Mehrankia et al. | Prediction of heart attacks using biological signals based on recurrent GMDH neural network | |
Zhang et al. | Fusion of Dynamic Hypergraph and Clinical Event for Sequential Diagnosis Prediction | |
Subashini et al. | Multimodal deep learning for chronic kidney disease prediction: leveraging feature selection algorithms and ensemble models | |
CN115240811A (zh) | 一种基于图神经网络的隐式关系药物推荐模型的构建方法和应用 | |
Baker et al. | Automatic Disease Diagnosis System Using Deep Q-Network Reinforcement Learning | |
Rabie et al. | Diseases diagnosis based on artificial intelligence and ensemble classification | |
CN114420232A (zh) | 基于电子病历数据生成健康教育数据的方法和系统 | |
Melek et al. | A theoretic framework for intelligent expert systems in medical encounter evaluation | |
Saxena et al. | Adaptive Multi-Hop Deep Learning based Drug Recommendation System with Selective Coverage Mechanism | |
Yang et al. | Modeling Clinical Thinking Based on Knowledge Hypergraph Attention Network and Prompt Learning for Disease Prediction | |
Kavinilavu et al. | Integrated Machine Learning for Accurate Detection of Heart Stroke Diseases | |
CN116153528B (zh) | 一种基于注意力机制和全局检索的药物推荐方法 | |
Li et al. | An assistant decision-making method for rare diseases based on RNNs model | |
Sekhar et al. | Explainable Artificial Intelligence Method for Identifying Cardiovascular Disease with a Combination CNN-XG-Boost Framework. | |
Kathiresan | Analysis on cardiovascular disease classification using machine learning framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |