CN117219294B - 一种面向罕见病的药物智能推荐方法、装置及介质 - Google Patents

Abstract

本申请涉及一种面向罕见病的药物智能推荐方法、装置及介质，其中，该方法包括：构建基于机器学习的第一药物推荐模型，所述第一药物推荐模型包括编码器，所述编码器用于对输入序列进行处理得到患者表示；通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，训练后得到第二药物推荐模型；对所述第二药物推荐模型进行药物预测训练，训练后得到第三药物推荐模型，通过所述第三药物推荐模型进行药物推荐。通过本申请，采用两个自监督预训练任务对编码器进行训练，提高其对罕见病的表示学习效果，解决了药物推荐的准确率和药物推荐系统的不公平性的问题，进而缓解药物推荐系统的不公平问题。

Description

一种面向罕见病的药物智能推荐方法、装置及介质

技术领域

本发明涉及药物推荐、数据挖掘领域，尤其是涉及一种面向罕见病的药物智能推荐方法、装置及介质。

背景技术

在临床实践中，由于医生经验和知识的有限性，以及病人疾病的复杂性，药物误用难以避免，每年带来了巨大的损失。药物推荐系统致力于根据病人的医疗状况，为病人推荐合适的药物组合，辅助医生诊疗。近年来，药物推荐领域得到越来越多的关注。早期的方法将药物推荐建模为序列生成模型，并利用循环神经网络生成药物序列。近年来，随着机器学习与深度学习技术的快速发展，人们提出基于各种神经网络来建模更加准确、全面的病人特征，比如transformer、图神经网络。近年，一些利用外部知识的方法也被提出，一部分工作专注于药物信息建模，例如利用药物分子图结构提高药物推荐的安全性；另一部分工作强调病人信息建模，例如引入疾病编码的分层结构来提高药物推荐的准确性。这些工作提高了药物推荐的准确性和安全性，但是这些方法主要致力于提高整体的准确率，而面临公平性问题：由于疾病和手术编码在数据集中呈长尾分布，因此，罕见病得不到充分训练，导致这些方法对患有罕见病的病人的推荐准确率显著低于患有常见病的病人，这大大降低了药物推荐系统的实用性和可靠性。

在推荐系统中，研究者们提出了一系列方法来解决公平性问题，例如在数据预处理时利用重采样平衡各样本的出现次数，或者在模型学习时分离敏感特征和用户表示，以及重排序等。然而，这些方法无法直接被用到药物推荐领域。首先，病人的数据无法修改，这极大限制了数据重采样的灵活性；其次，罕见病病人受到的不公平推荐与一般的公平性推荐考虑的敏感属性无关；最后，药物推荐致力于推荐一个合适的药物组合而非一个排序列表，使得重排序方法难以发挥作用。

如何提高罕见病病人药物推荐的准确率，是本领域亟待解决的重要问题之一。

发明内容

在本实施例中提供了一种面向罕见病的药物智能推荐方法、装置及介质，以解决相关技术中罕见病病人药物推荐的准确率低的问题。

第一个方面，在本发明中提供了一种面向罕见病的药物智能推荐方法，所述方法包括：

构建基于机器学习的第一药物推荐模型，所述第一药物推荐模型包括编码器，所述编码器用于对输入序列进行处理得到患者表示；

通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，训练后得到第二药物推荐模型；

对所述第二药物推荐模型进行药物预测训练，训练后得到第三药物推荐模型，通过所述第三药物推荐模型进行药物推荐。

如上所述的面向罕见病的药物智能推荐方法，其中，可选的是，每个所述输入序列包括相关联的疾病序列和手术序列，所述序列匹配预测任务包括识别不同的所述疾病序列和所述手术序列之间的关联性。

如上所述的面向罕见病的药物智能推荐方法，其中，可选的是，所述通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，包括：

为每个所述输入序列生成对立序列，所述对立序列包括非关联的疾病序列和手术序列；

通过所述第一药物推荐模型分别对所述输入序列和所述对立序列的关联性进行预测，并采用关于关联性预测概率的第一二元交叉熵损失训练所述第一药物推荐模型的编码器。

如上所述的面向罕见病的药物智能推荐方法，其中，可选的是，所述通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，包括：

对所述患者表示中的所述输入序列进行重构，采用重构损失训练所述第一药物推荐模型的编码器。

如上所述的面向罕见病的药物智能推荐方法，其中，可选的是，所述编码器包括标记嵌入层，所述编码器的标记嵌入层包括标记嵌入、段落嵌入和相关性嵌入；

所述段落嵌入用于区分不同的输入序列，所述相关性嵌入用于表示不同的输入序列的优先级。

如上所述的面向罕见病的药物智能推荐方法，其中，可选的是，所述对所述第二药物推荐模型进行药物预测训练包括：

通过所述第二药物推荐模型进行药物预测，并采用关于药物预测概率的目标损失训练所述第二药物推荐模型；其中，所述目标损失包括第二二元交叉熵损失、多标签边缘损失和药物相互作用损失。

如上所述的面向罕见病的药物智能推荐方法，其中，可选的是，所述目标损失根据所述第二二元交叉熵损失、所述多标签边缘损失和所述药物相互作用损失的加权求和结果确定。

第二个方面，在本发明中提供了一种面向罕见病的药物智能推荐装置，所述装置包括：

模型构建模块，用于构建基于机器学习的第一药物推荐模型，所述第一药物推荐模型包括编码器，所述编码器用于对输入序列进行处理得到患者表示；

第一训练模块，用于通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，训练后得到第二药物推荐模型；

第二训练模块，用于对所述第二药物推荐模型进行药物预测训练，训练后得到第三药物推荐模型，通过所述第三药物推荐模型进行药物推荐。

第三个方面，在本发明中提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一个方面所述的面向罕见病的药物智能推荐方法。

第四个方面，在本发明中提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一个方面所述的面向罕见病的药物智能推荐方法。

与相关技术相比，在本发明中提供的一种面向罕见病的药物智能推荐方法，通过编码器对输入序列进行处理得到患者表示并对疾病序列和手术序列进行嵌入处理，得到更准确的患者表示，采用两个自监督预训练任务对编码器进行训练，提高其对罕见病的表示学习效果，从而实现了提高罕见病病人的药物推荐准确率，解决了相关技术中罕见病病人药物推荐的准确率低的问题，从而提高了药物推荐的公平性。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是相关技术的终端硬件结构框图。

图2是本发明提供的面向罕见病的药物智能推荐方法的流程图。

图3是本发明提供的面向罕见病的药物智能推荐装置的结构框图。

图4是本发明数据集MIMIC-III中每个分组患者的药物推荐精度图。

图5是本发明数据集MIMIC-IV中每个分组患者的药物推荐精度图。

图6是本发明每个分组各个方法推荐精度的比较图。

图7是本发明每个方法在五个组上精度的标准差图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本发明中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是执行本发明中提供的面向罕见病的药物智能推荐方法的终端硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器120和用于存储数据的存储器140，其中，处理器120可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备160以及输入输出设备180。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器140可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本发明中的面向罕见病的药物智能推荐方法对应的计算机程序，处理器120通过运行存储在存储器140内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器140可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器140可进一步包括相对于处理器120远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备160用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备160包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备160可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

本发明中的模型可以理解为推荐算法模型，在人工智能（AI）领域，“模型”通常指的是一种数学和计算机表示，用于解决特定任务或问题。这些模型可以是各种形式的算法和数据结构的组合，它们被训练或设计来执行各种任务，例如图像分类、自然语言处理、语音识别、推荐系统等。

这些模型的核心思想是将输入数据映射到输出数据，以便进行预测、分类、生成或其他类型的信息处理。这些模型可以基于机器学习技术，如神经网络、决策树、支持向量机等，也可以是传统的规则基础系统。最近，深度学习模型，特别是神经网络，已经在AI领域取得了巨大的成功，因为它们可以处理大量的复杂数据和任务。

总之，AI领域的“模型”是指一种用于从数据中提取有用信息或执行特定任务的数学表示或计算机算法。这些模型的性能通常取决于它们的设计、训练数据和参数设置。

在本发明中提供了一种面向罕见病的药物智能推荐方法，图2是本发明提供的面向罕见病的药物智能推荐方法的流程图，如图2所示，该流程包括如下步骤：

步骤S210，构建基于机器学习的第一药物推荐模型，第一药物推荐模型包括编码器，编码器用于对输入序列进行处理得到患者表示。

步骤S220，通过序列匹配预测任务和自重构任务对第一药物推荐模型的编码器进行训练，训练后得到第二药物推荐模型。

步骤S230，对第二药物推荐模型进行药物预测训练，训练后得到第三药物推荐模型，通过第三药物推荐模型进行药物推荐。

具体的，在步骤S210中，第一药物推荐模型是未经过训练的用于药物推荐的机器学习模型。第一药物推荐模型包括编码器。示例性的，编码器的类型可以为Transformer编码器。因此，在一个实施例中，利用Transformer编码器来获得患者临床状况的丰富表示。在形式上，对于一个患者，构建输入序列如下：

其中，表示疾病序列，D为所有疾病的集合，/>P表示手术序列，P为所有手术的集合，/>M表示药物序列，M为所有药物的集合，/>为第一标记，/>为第二标记，/>表示序列之间的连接操作。这里，[CLS]表示一个特殊的标记，通常放置在序列开头，其表示对应输入序列可以用作患者表示。[SEP]表示另一个特殊的标记，表示疾病和手术代码序列之间的分隔，符号⊕表示序列之间的连接操作。编码器对上述输入序列进行嵌入处理，得到患者表示。

由于患者数据呈现长尾分布，而罕见病的数据较少，分布靠后，因此现有的编码器对罕见病的表示学习效果一般。因此，在本发明中，还会采用两个自监督预训练任务对编码器进行训练，提高其对罕见病的表示学习效果。具体的。两个任务分别是序列匹配预测任务和自重构任务。

具体的，一个实施例中，每个输入序列包括相关联的疾病序列和手术序列，序列匹配预测任务包括识别不同的疾病序列和手术序列之间的关联性。示例性地，相关联的疾病序列和手术序列是指上述两个序列来自同一患者。序列匹配预测任务的目标是进一步捕捉疾病序列和手术序列之间的复杂关联。具体来说，其目标是通过区分疾病序列和手术序列是否属于同一个患者来训练第一药物推荐模型，去理解疾病序列和手术序列之间的关系。序列匹配预测任务有助于第一药物推荐模型理解不同临床代码（序列）之间的上下文依赖关系，并增强其捕捉患者临床状况内在关联的能力。

进一步，步骤S220，通过序列匹配预测任务和自重构任务对第一药物推荐模型的编码器进行训练，包括：

步骤S221，为每个输入序列生成对立序列，对立序列包括非关联的疾病序列和手术序列；步骤S222，通过第一药物推荐模型分别对输入序列和对立序列的关联性进行预测，并采用关于关联性预测概率的第一二元交叉熵损失训练第一药物推荐模型的编码器。

具体的，在一实施例中，每个输入序列对生成一个不成对的序列（对立序列），通过随机替换疾病/>或手术序列/>为来自不同患者的对应样本。随后，使用二元交叉熵（BCE）损失训练第一药物推荐模型，来区分成对和不成对的输入。其中，二元交叉熵损失表示如下：

其中表示成对输入的预测概率，/>表示不成对输入的预测概率，/>表示sigmoid函数，/>和/>是可训练参数。如上是对序列匹配任务的具体说明，如下再对自重构任务进行说明。

相应的，步骤S220，通过序列匹配预测任务和自重构任务对第一药物推荐模型的编码器进行训练，还包括：

步骤S223，对患者表示中的输入序列进行重构，采用重构损失训练第一药物推荐模型的编码器（以最小化损失为训练目标，对模型进行训练）。

具体的，考虑到该领域的定制化药物需求，患者表示需要保留输入序列中的所有组成部分的知识，特别是罕见的临床代码。具体而言，在这个任务中，训练模型从建模的患者表示中重构输入的临床代码序列。这鼓励模型捕捉和保留临床代码中的重要信息，确保对患者的临床状况进行全面的表示。重构损失表示如下：

其中表示模型重构的所有疾病和手术的概率，/>和/>是可学习参数，/>表示真实标签，D为所有疾病的集合，P为所有手术的集合，只有当输入序列中存在相应的（第j个）标签时，/>的值才设置为1，否则设为0。

自重构是预训练任务之一，为了训练人工智能模型，需要定义损失函数（lossfunction），以训练模型。

损失函数使用主要是在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的。总之，二元交叉熵损失以及重构损失的出现是为了更好的去训练模型，使得以最小花损失为训练目标，使得模型生成的预测值往真实值方向靠拢。

本发明提供的面向罕见病的药物智能推荐方法，通过上述两个自监督预训练任务对药物推荐模型中的编码器进行训练，可以增强临床代码的表示，特别是对于罕见的代码，使得药物推荐模型能够更好地捕捉各种临床状况的细微差别和复杂性的情境化表示。因此，本发明采用经过上述两个自监督任务训练后的药物推荐模型进行药物推荐，会提高罕见病病人的药物推荐准确率，进而解决了相关技术中罕见病病人药物推荐的准确率低的问题。

为了增强编码器的标记嵌入层，还可以引入两个额外的嵌入，两个嵌入分别为段落嵌入和相关性嵌入。因此，在一实施例中，编码器包括标记嵌入层，标记嵌入层包括标记嵌入、段落嵌入和相关性嵌入；段落嵌入用于区分不同的输入序列，相关性嵌入用于表示不同的输入序列的优先级。

具体的，段落嵌入有助于区分两类输入代码（序列），即疾病代码（序列）和手术代码（序列），它使模型能够理解上下文并区分不同类型的医疗信息。另一方面，相关性嵌入用于捕捉不同疾病和手术的重要性差异。并不是所有的输入代码都一样重要，某些疾病和手术可能对患者的临床状况有更大的影响。为了解决这个问题，根据它们对患者的相关性对输入代码进行排序。采用两个可学习的相关性嵌入矩阵，分别表示疾病和手术的优先级。

最后，Transformer编码器处理嵌入的输入序列，得到最终的患者表示：

r

、/>和/>分别表示标记、段落和相关性嵌入层，得到的/>位于一个高维嵌入空间，其中dim表示嵌入空间的维度，将[CLS]标记的表示作为患者表示。

在进行两个自监督的预训练任务之后，还可以对第二模型进行药物推荐的微调。因此，在一些实施例中，步骤S230中，对第二药物推荐模型进行药物预测训练，具体包括：

步骤S231，通过第二药物推荐模型进行药物预测，并采用关于药物预测概率的目标损失训练第二药物推荐模型；其中，目标损失包括第二二元交叉熵损失、多标签边缘损失和药物相互作用损失。具体的，目标损失根据第二二元交叉熵损失、多标签边缘损失和药物相互作用损失的加权求和结果确定。

示例性地，为了预测药物，将一个分类层整合到患者表示中，表示如下：

其中，预测的药物概率，/>和/>是可学习的参数。

首先，将每个药物的预测视为一个独立的任务，并使用二元交叉熵损失进行优化：

此外，采用多标签边缘损失以确保正确预测的药物的得分高于其他预测药物的得分：

为了确保药物的安全性，采用药物相互作用损失来惩罚具有不良相互作用的药物对：

其中A表示药物相互作用关系，可以表征药物之间是否存在有害的相互作用。A_ij则表示药物i和药物j之间的相互作用，M为所有药物的集合。

为了在药物推荐中同时实现准确性和安全性，使用加权和来组合这些损失，即目标损失，表达式如下：

其中，和/>是平衡不同损失贡献的超参数。

在推理过程中，推荐概率大于阈值的药物给患者，最终推荐的药物集合/>可以定义为：

本方法建立了一种针对公平药物推荐的鲁邦特征表示学习框架。现有药物推荐方法虽然在提升整体推荐准确率方面取得了进展，但是由于数据分布的不平衡性，模型对患有罕见病的病人推荐准确率很差，即现有模型面临不公平问题。本方法提出了一种基于全面特征表示和预训练任务的方法，使得模型能够在长尾特征上取得良好的表示，提高整体的，尤其是罕见病病人的药物推荐准确率，从而提高模型的公平性。

为了验证结论，本方案选取了两个公开的医疗数据集MIMIC-III和MIMIC-IV进行实验。本方案以LR，LEAP，RETAIN，G-Bert，GAMENet，SafeDrug，COGNet，MICRON等作为对比模型。本方案按照4:1:1的比例随机划分训练集、验证集和测试集，所有方法在训练集上训练模型，在验证集上挑选最优参数，并在测试集上测试。分别统计了两个数据集上的Jaccard、PRAUC、F1作为评测指标。实验结果如下表所示：

表1 不同方法在两个数据集上的性能比较

从表1中，可以发现：在两个数据集上，该发明在所有指标都超越其他药物推荐方法，说明本方法可以通过学习全面、鲁棒的病人表示，提高整体的药物推荐准确率。

为了评价不同模型的药物推荐公平性，本方案将所有病人按照疾病平均流行度划分为5组（G1-G5，其中G1代表最流行的疾病，G5代表最罕见的疾病），每组人数相同。本方案计算每个方法在不同病人分组上的平均准确度，并计算在5个分组上的标准差，请参考附图4、附图5，附图4表示数据集MIMIC-III每个分组患者的药物推荐精度，附图5表示数据集MIMIC-IV每个分组患者的药物推荐精度，不同的曲线表示不同的方法。一般来说，疾病越罕见，药物推荐精度越低，表现为图中的明显下降趋势。其中，提出的RAREMed方法下降最平缓，即推荐精度受到疾病罕见程度的影响更小。从附图4、附图5验证结果可以发现：在几乎所有分组中，本发明的推荐准确率都超越传统算法。参考附图6，附图6表示每个分组上RAREMed相对于以往的方法推荐精度提升的比例，从附图6可以发现，本发明在罕见病病人分组（G5）中，相对提升最多，说明本发明对提高罕见病病人的推荐准确率尤为有效。参考附图7，附图7表示每个方法在五个组上精度的标准差，标准差越大表示在五个分组上推荐精度差异越大，也就是附图4，附图5中下降的趋势越陡。附图7表达RAREMed对于不同分组的病人推荐精度比较相似，即对罕见病的病人也能推荐的比较好。本发明在不同组间的性能波动（标准差）很小，说明本发明改善了药物推荐模型的公平性。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本发明中还提供了一种面向罕见病的药物智能推荐装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是本发明的面向罕见病的药物智能推荐装置的结构框图，如图3所示，该装置包括：

模型构建模块310，用于构建基于机器学习的第一药物推荐模型，第一药物推荐模型包括编码器，编码器用于对输入序列进行处理得到患者表示；

第一训练模块320，用于通过序列匹配预测任务和自重构任务对第一药物推荐模型的编码器进行训练，训练后得到第二药物推荐模型；

第二训练模块330，用于对第二药物推荐模型进行药物预测训练，训练后得到第三药物推荐模型，通过第三药物推荐模型进行药物推荐。

本发明提供的面向罕见病的药物智能推荐装置，通过上述两个自监督预训练任务对药物推荐模型中的编码器进行训练，可以增强临床代码的表示，特别是对于罕见的代码，使得药物推荐模型能够更好地捕捉各种临床状况的细微差别和复杂性的情境化表示。因此，本发明采用经过上述两个自监督任务训练后的药物推荐模型进行药物推荐，会提高罕见病病人的药物推荐准确率，进而解决了相关技术中罕见病病人药物推荐的准确率低的问题。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本发明中还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在一个实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，构建基于机器学习的第一药物推荐模型，第一药物推荐模型包括编码器，编码器用于对输入序列进行处理得到患者表示；

S2，通过序列匹配预测任务和自重构任务对第一药物推荐模型的编码器进行训练，训练后得到第二药物推荐模型；

S3，对第二药物推荐模型进行药物预测训练，训练后得到第三药物推荐模型，通过第三药物推荐模型进行药物推荐。

需要说明的是，本电子设备的具体示例可以参考上述方法的实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述本发明中提供的面向罕见病的药物智能推荐方法，在本发明中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种面向罕见病的药物智能推荐方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

Claims (7)

1.一种面向罕见病的药物智能推荐方法，其特征在于，所述方法包括：

构建基于机器学习的第一药物推荐模型，所述第一药物推荐模型包括编码器，所述编码器用于对输入序列进行处理得到患者表示；每个所述输入序列包括相关联的疾病序列和手术序列；

通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，训练后得到第二药物推荐模型；所述序列匹配预测任务包括识别不同的所述疾病序列和所述手术序列之间的关联性；

对所述第二药物推荐模型进行药物预测训练，训练后得到第三药物推荐模型，通过所述第三药物推荐模型进行药物推荐；

其中，所述通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，包括：

为每个所述输入序列生成对立序列，所述对立序列包括非关联的疾病序列和手术序列；

通过所述第一药物推荐模型分别对所述输入序列和所述对立序列的关联性进行预测，并采用关于关联性预测概率的第一二元交叉熵损失训练所述第一药物推荐模型的编码器；

对所述患者表示中的所述输入序列进行重构，采用重构损失训练所述第一药物推荐模型的编码器。

2.根据权利要求1所述的面向罕见病的药物智能推荐方法，其特征在于，所述编码器包括标记嵌入层，所述编码器的标记嵌入层包括标记嵌入、段落嵌入和相关性嵌入；

所述段落嵌入用于区分不同的输入序列，所述相关性嵌入用于表示每个输入序列中不同的元素的优先级。

3.根据权利要求1所述的面向罕见病的药物智能推荐方法，其特征在于，所述对所述第二药物推荐模型进行药物预测训练包括：

通过所述第二药物推荐模型进行药物预测，并采用关于药物预测概率的目标损失训练所述第二药物推荐模型；其中，所述目标损失包括第二二元交叉熵损失、多标签边缘损失和药物相互作用损失。

4.根据权利要求3所述的面向罕见病的药物智能推荐方法，其特征在于，所述目标损失根据所述第二二元交叉熵损失、所述多标签边缘损失和所述药物相互作用损失的加权求和结果确定。

5.一种面向罕见病的药物智能推荐装置，其特征在于，所述装置包括：

模型构建模块，用于构建基于机器学习的第一药物推荐模型，所述第一药物推荐模型包括编码器，所述编码器用于对输入序列进行处理得到患者表示；每个所述输入序列包括相关联的疾病序列和手术序列；

第一训练模块，用于通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，训练后得到第二药物推荐模型；所述序列匹配预测任务包括识别不同的所述疾病序列和所述手术序列之间的关联性；

第二训练模块，用于对所述第二药物推荐模型进行药物预测训练，训练后得到第三药物推荐模型，通过所述第三药物推荐模型进行药物推荐；

其中，所述通过序列匹配预测任务和自重构任务对所述第一药物推荐模型的编码器进行训练，包括：

为每个所述输入序列生成对立序列，所述对立序列包括非关联的疾病序列和手术序列；

通过所述第一药物推荐模型分别对所述输入序列和所述对立序列的关联性进行预测，并采用关于关联性预测概率的第一二元交叉熵损失训练所述第一药物推荐模型的编码器；

对所述患者表示中的所述输入序列进行重构，采用重构损失训练所述第一药物推荐模型的编码器。

6.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至4中任一项所述的面向罕见病的药物智能推荐方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的面向罕见病的药物智能推荐方法的步骤。