CN110322959A

CN110322959A - 一种基于知识的深度医疗问题路由方法及系统

Info

Publication number: CN110322959A
Application number: CN201910440838.5A
Authority: CN
Inventors: 陈竹敏; 孙文超; 任鹏杰; 马军; 任昭春
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2019-05-24
Filing date: 2019-05-24
Publication date: 2019-10-11
Anticipated expiration: 2039-05-24
Also published as: CN110322959B

Abstract

本发明公开了一种基于知识的深度医疗问题路由方法及系统，所述方法包括：接收训练数据，所述训练数据中包括成对的训练医疗问题和相应的医生数据；对训练数据中的所有医疗问题进行特征表示；将训练医疗问题的低维向量表示作为输入，相应的医生问题作为输出，训练深度神经网络，得到深度医疗问题路由模型；所述深度医疗问题路由模型用于为医疗问题匹配医生；其中，对医疗问题进行特征表示包括：对所述医疗问题分别进行分词和医学实体提取，得到文本通道表示和知识通道表示；将文本通道表示和知识通道表示进行拼接得到所述医疗问题的最终表示。本发明基于文本和知识对医疗问题进行描述，构造问题和医生之间的匹配关系，更加具有说服力和可信性。

Description

一种基于知识的深度医疗问题路由方法及系统

技术领域

本发明涉及医学数据处理技术领域，尤其涉及一种基于知识的深度医疗问题路由方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

问题路由目的是为新发布的问题在问答社区中找到合适的回答者来回答。从提问者的角度来说，问题路由技术可以帮助他们在较短的时间内找到合适的回答者，以减少等待答复的时间；从回答者的角度来说，问题路由技术可以预先为他们筛选符合他们专业能力的问题；从问答网站的角度来说，问题路由技术可以同时增加提问者和回答者的参与度，同时网站运行的效率也会提升，回答者资源会得到充分的利用。

在医学领域，各种疾病和症状复杂且难以区分。即使是轻微的理解错误也可能会导致误诊。因此，获得对问题的全面和专业理解变得越来越重要。医疗问题路由是将用户或者病人新提交的问题推送给拥有专业医疗知识的医生来回答。相比于其他领域的问题路由技术，医疗问题路由因为其依托的医疗知识更加繁杂更加具有专业性，比其他领域的问题路由更具挑战性，同时应该兼顾专业性和及时性。

医疗问题路由中的一个关键问题是问题-医生匹配问题，传统问题路由方法大多是基于结构信息计算医生的专业程度或者利用问题和医生之间的统计概率特征、话题相关性等进行匹配。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于知识的深度医疗问题路由方法及系统，充分利用了医疗专业知识，构建问题和医生专业之间的知识匹配，从而找到适合回答该问题的医生，结合深度学习和医疗知识图谱提升了医疗问答社区中问题路由的效果。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于知识的深度医疗问题路由方法，包括以下步骤：

接收训练数据，所述训练数据中包括成对的训练医疗问题和相应的医生数据；

对训练数据中的所有医疗问题进行特征表示；

将训练医疗问题的低维向量表示作为输入，相应的医生问题作为输出，训练深度神经网络，得到深度医疗问题路由模型；

所述深度医疗问题路由模型用于为医疗问题匹配医生；

其中，对医疗问题进行特征表示包括：

对所述医疗问题分别进行分词和医学实体提取，得到文本通道表示和知识通道表示；

将文本通道表示和知识通道表示进行拼接得到所述医疗问题的最终表示。

一个或多个实施例提供了一种基于知识的深度医疗问题路由系统，包括：

模型训练模块，接收训练数据，所述训练数据中包括成对的训练医疗问题和相应的医生数据；调用特征表示模块对训练数据中的所有医疗问题进行低维向量表示；将训练医疗问题的低维向量表示作为输入，相应的医生问题作为输出，训练深度神经网络，得到深度医疗问题路由模型；

模型应用模块，接收测试医疗问题，调用特征表示模块进行低维向量表示；将测试医疗问题的低维向量表示输入深度医疗问题路由模型，得到相应的医生；

特征表示模块，包括：

通道提取模块，对所述医疗问题分别进行分词和医学实体提取，得到文本通道表示和知识通道表示；

解释器，将文本通道表示和知识通道表示进行拼接得到所述医疗问题的最终表示。

一个或多个实施例提供了一种计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于知识的深度医疗问题路由方法。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于知识的深度医疗问题路由方法。

以上一个或多个技术方案存在以下有益效果：

本发明构建了问题与医生之间的知识匹配方法。首先从问题中提取医学实体，然后在知识库中检索包含这些实体的三元组，构造文本和知识两个通道并利用知识图嵌入方法得到的实体低维向量表示，从而得到问题的向量表示，最后用多标签分类方法去得到医生列表。由于问题的特征向量表示既包含了文本又包含了医疗知识，因而能够最准确地对该问题进行描述，更加适应医疗领域中疾病症状复杂难辨的应用环境。从知识的角度去构造问题和医生之间的匹配关系，能使模型的结果更加具有说服力和可信性，也使模型的结果具有一定的可解释性，能同时满足提问者和回答者双方的要求。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一个或多个实施例中一种基于知识的深度医疗问题路由方法流程图；

图2为本发明一个或多个实施例中对医疗问题进行低维向量表示的流程图；

图3为本发明一个或多个实施例中深度医疗问题路由模型的框架图；

图4为本发明一个或多个实施例中知识匹配的一个示例。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例的目的是基于深度学习和知识图谱，寻求问题与医生之间的知识匹配方法，名称为Deep Medical Question Routing(简称为DMQR)，模型的整体架构如图3所示。

为了实现上述目的，本实施例公开了一种基于知识的深度医疗问题路由方法，如图1所示，包括以下步骤：

步骤1：接收训练数据，所述训练数据中包括成对的训练医疗问题和相应的医生数据；

步骤2：对训练数据中的所有医疗问题进行低维向量表示；

步骤3：将训练医疗问题的低维向量表示作为输入，相应的医生问题作为输出，训练深度神经网络，得到深度医疗问题路由模型；

步骤4：接收测试医疗问题，并进行低维向量表示；

步骤5：将测试医疗问题的低维向量表示输入深度医疗问题路由模型，得到相应的医生。

其中，如图2所示，所述步骤2与步骤4中医疗问题的特征表示生成方法包括：

(1)将医疗问题进行分词得到由单词构成的文本通道表示；

(2)基于医学术语词典对所述医疗问题进行医学实体提取，采用这些医学实体替换文本通道表示中的相应单词，得到知识通道表示；

(3)将所述医学实体在医学知识库中进行检索，得到三元组，对各三元组进行低维向量表示，即医学实体的低维向量表示；

(4)将这些医学实体的低维向量表示应用到文本通道表示和知识通道表示；

(5)对文本通道表示和知识通道表示分别采用长短期记忆网络进行编码，并将两个编码结果进行拼接，得到所述医疗问题的最终表示。

所述步骤(1)中，得到的文本通道表示记为q：(w₁，w₂，...，w_i，...，w_n)，其中w_i表示单词标号。

所述步骤(2)中，基于医学术语词典进行医学实体提取，得到的医学实体序列记为q_mt：(mt₁，mt₂，...，mt_j，...，mt_m)，其中mt_j表示医学术语标号。采用这些医学实体替换文本通道表示中的相应单词，得到知识通道表示q′：(...，w_i，...，mt_i，...)。为了更清楚地表达该步骤，采用数字序列进行说明，若某一医疗问题的文本通道表示为q：(1，3，9，2，7，11，8)，假设其中(2，7，11)被识别为一个实体(100)，那么q′就可以表示成q′：(1，3，9，100，8)。

本实施例中，构建了包含5200个实体的医学术语词典。采用最大匹配算法从问题中识别医学术语。该算法是最长医学术语优先匹配，其忽略识别的医学术语中包含的可能的前缀医学术语，输出列表q_mt：(mt₁，mt₂，...，mt_m)。

所述步骤(3)中，所述医学知识库中，知识被表示为三元组(h，r，t)，其中h，r和t分别表示头实体，它们之间的关系以及尾实体。在所有三元组中，h和t都是医学术语。本实施例中，我们首先从英文医疗问答社区网站HealthTap收集半结构化数据，然后在预处理后构建医学知识库。

使用医学实体序列q_mt，从知识库中检索相应的三元组。如果输入的医学术语与三元组中的头部和尾部实体之一匹配，输出该三元组。

将三元组进行低维向量表示方法为：

给定三元组(h，r，t)∈S，h，t∈E，r∈R，S是知识库中所有三元组的集合，E和R分别表示实体和关系的集合。l_h，l_r和l_t分别是头实体，关系和尾实体的低维向量表示。

所述低维向量表示采用知识表示学习中的翻译模型进行训练，翻译模型是将每个三元组实例(head，relation，tail)中的关系relation看做从实体head到实体tail的翻译，通过不断调整h、r和t(head、relation和tail的向量)，使(h+r)尽可能与t相等，即h+r≈t，最终得到三元组中实体和关系的低维向量。三元组中实体和关系的低维向量维度是我们固定好的，比如固定50维。从数学上表示就是公式(1)。模型开始训练时可以随机初始化这些50维的向量，然后通过不断最小化公式(1)来得到三元组中实体和关系的低维向量。

我们用下式计算h+r和t之间的不相似性：

d(h+r，t)＝||l_h+l_r-l_t||₁ (1)

损失函数定义如下：

L₁＝∑_{(h，r，t)∈S}∑_{(h′，r，t′)∈S′}max(0，γ+d(h+r，t)-d(h′+r，t′)) (2)

S′＝{(h′，r，t)|h′∈E}∪{(h，r，t′)|t′∈E} (3)

在该式中，γ是超参数。S集合的负样本集合表示为S′，其中头实体和尾实体之一被随机替换为知识库中另一实体，并保证替换之后的三元组在知识库中并不存在。

所述步骤(5)中，我们使用两个长短期记忆网络(LSTM)将问题的文本信息和知识信息分别编码为两个不同的表示。通过连接两种不同的序列q和q′的表示，我们得到问题的最终表示R_q＝[q，q′]^T。

长短期记忆网络(LSTM)有三个门，输入门，遗忘门和输出门。门机制是一种选择通过信息的方式。在每个时间步t中，每个LSTM单元(cell)具有两种输出，单元的输出h_t和单元状态C_t。遗忘门决定应该放弃上一个时间步的输出h_t-1中的哪种信息。遗忘门表示如下：

f_t＝σ(W_fx_t+U_fh_t-1+b_f) (4)

其中σ表示sigmoid函数，W_f，U_f和b_f分别是遗忘门的权重和偏置项，x_t是时间步t的输入。

然后，输入门决定应该在单元状态中保留哪种新信息。输入门表示如下：

i_t＝σ(W_ix_t+U_ih_t-1+b_i) (5)

其中W_i，U_i和b_i分别是输入门的权重和偏置项。

接下来我们计算单元的候选单元状态等待被加入新的单元状态C_t，其定义如下：

其中W_c，U_c和b_c分别是权重和偏置项。

下一步操作是将单元的旧单元状态C_t-1更新为t时间步的新单元状态C_t，更新公式如下：

最后，输出门决定了最后的输出。输出门定义如下：

o_t＝σ(W_ox_t+U_oh_t-1+b_o) (8)

单元的输出h_t定义如下：

h_t＝o_t*tanh(C_t) (9)

在所有上述公式中，单元输出和单元状态的初始值h₀和C₀都是0。

所述步骤3中深度神经网络包括softmax函数和全连接层。

我们将问题路由问题作为一个多标签分类任务去做。在我们得到问题表示后，我们使用softmax函数将其映射到长度为K的向量值，K表示对应于候选医生数量的类别的数量。该向量的第i个值表示选择第i个医生作为问题的回答者的概率。

对于问题向量R_q＝[q，q′]^T，我们希望计算候选医生u_i作为问题q的正确答案的概率。公式如下：

P(u_i|q，E)＝σ(W[q，q′]^T+b) (10)

其中q表示问题，E表示实体集合，W和b分别是权重和偏置项，σ是softmax函数。

更详细的来说，给定R_q＝(r₁，r₂，...，r_n)，其中r_i表示R_q中每一个元素，它被作为全连接层的输入，我们计算全连接层的输出z_i如下：

z_i＝(W_ir_i+b_i) (11)

其中W_i和b_i分别是权重和偏置，全连接层的输出接着被作为softmax函数的输入。Softmax函数计算如下：

其中K是类别的数目，z_i表示全连接层的第i维输出，θ是softmax函数的参数。每一个概率都在(0，1)之间，所有的概率加和等于1。

然后我们最小化交叉熵函数，如下：

其中m表示训练样例的数量，y是真实标签向量，a是式(12)的输出。

根据式(2)和式(13)，我们得到最终的目标函数如下：

L＝α·L₁+β·L₂ (14)

其中，α、β为L1和L2比例系数，我们的目的是要最小化L这个目标函数，因为两个要最小化两个分目标函数L1和L2，将它们乘以一个比例再加和之后最小化的目的是让两个模型同时进行训练。

如图4所示，为知识匹配的过程。问题为“Isit serious when I have hearingloss and ear fullness”，知识匹配通过识别问题中的医学术语“hearing loss”和“earfullness”，并在知识库中检索得到三元组(perforated eardrum，symptom，hearingloss)、(perforated eardrum，symptom，ear fullness)，通过三元组中的症状等关系确定医生专业是否合适回答该问题。

实施例二

本实施例的目的是提供一种基于知识的深度医疗问题路由系统。

为了实现上述目的，本实施例提供了一种基于知识的深度医疗问题路由系统，包括：

模型应用模块，接收测试医疗问题，调用特征表示模块进行低维向量表示；将测试医疗问题的低维向量表示输入深度医疗问题路由模型，得到相应的医生。

特征表示模块，包括：

医学术语提取器，用于基于医学术语词典对医疗问题进行命名实体识别和提取；

通道提取模块，基于医学问题进行分词得到文本通道表示；调用医学术语提取器对所述医疗问题进行医学实体提取，采用这些医学实体替换文本通道表示中的相应单词，得到知识通道表示；

医学知识库，知识被表示为三元组(h,r,t)，其中h，r和t分别表示头实体，它们之间的关系以及尾实体，在所有三元组中，h和t都是医学术语；

知识库查询器，对医学术语提取器提取的每个医学实体，在医学知识库中进行检索，若三元组中的头部和尾部实体之一与该医学术语匹配，输出该三元组；

知识图嵌入模块，获取三元组的低维向量表示，l_h，l_r和l_t分别是头实体，关系和尾实体的低维向量表示，并应用到文本通道表示和知识通道表示；

解释器，对知识图嵌入模块输出的文本通道表示和知识通道表示分别采用长短期记忆网络进行编码，并将两个编码结果进行拼接，得到所述医疗问题的最终表示。

实施例三

本实施例的目的是提供一种电子设备。

为了实现上述目的，本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：

步骤2：对训练数据中的所有医疗问题进行低维向量表示；

步骤4：接收测试医疗问题，并进行低维向量表示；

实施例四

本实施例的目的是提供一种电子设备。

为了实现上述目的，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现：

步骤2：对训练数据中的所有医疗问题进行低维向量表示；

步骤4：接收测试医疗问题，并进行低维向量表示；

以上实施例二、三和四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上一个或多个实施例具有以下技术效果：

本发明旨在结合深度学习和医疗知识图谱来提升医疗问答社区中问题路由的效果。相比于传统的方法，本发明结合了医疗专业知识，更加适应医疗领域中疾病症状复杂难辨的应用环境，并一定程度上解决了传统方法存在的问题。从知识的角度去构造问题和医生之间的匹配关系，能使模型的结果更加具有说服力和可信性，也使模型的结果具有一定的可解释性，能同时满足提问者和回答者双方的要求，这对于实际应用和下一步研究工作都是有意义的。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于知识的深度医疗问题路由方法，其特征在于，包括以下步骤：

对训练数据中的所有医疗问题进行特征表示；

所述深度医疗问题路由模型用于为医疗问题匹配医生；

其中，对医疗问题进行特征表示包括：

2.如权利要求1所述的一种基于知识的深度医疗问题路由方法，其特征在于，所述为医疗问题匹配医生包括：

接收测试医疗问题，并进行特征表示；

将测试医疗问题的低维向量表示输入深度医疗问题路由模型，得到相应的医生。

3.如权利要求1或2所述的一种基于知识的深度医疗问题路由方法，其特征在于，所述知识通道表示获取方法为：

基于医学术语词典对所述医疗问题进行医学实体提取，采用这些医学实体替换文本通道表示中的相应单词，得到知识通道表示。

4.如权利要求3所述的一种基于知识的深度医疗问题路由方法，其特征在于，构建医学知识库，其中包括三元组(h，r，t)，其中h，t和r分别表示头实体、尾实体以及它们之间的关系，头实体和尾实体均为医学术语；

得到所述医疗问题的最终表示包括：

将医学实体在医学知识库中进行检索，输出相应的三元组；

对这些三元组进行低维向量表示，并应用到文本通道表示和知识通道表示；

对文本通道表示和知识通道表示分别采用长短期记忆网络进行编码，并将两个编码结果进行拼接，得到所述医疗问题的最终表示。

5.如权利要求4所述的一种基于知识的深度医疗问题路由方法，其特征在于，检索过程中，对于每个医学实体，将医学知识库中头实体和尾实体其中之一与该医学实体相同的三元组，均进行输出。

6.如权利要求4所述的一种基于知识的深度医疗问题路由方法，其特征在于，所述深度医疗问题路由模型中，Softmax函数如下：

其中，K是类别的数目，θ是softmax函数的参数；u_i表示候选医生，z_i表示全连接层的第i维输出，z_i＝(W_ir_i+b_i)，W_i和b_i分别是权重和偏置，r_i∈R_q，R_q＝[q，q′]^T，q和q′分别表示长短期记忆网络编码后的文本通道表示和知识通道表示。

7.如权利要求6所述的一种基于知识的深度医疗问题路由方法，其特征在于，损失函数定义如下：

L₁＝∑_{(h，r，t)∈S}∑_{(h′，r，t′)∈S′}max(0，γ+d(h+r，t)-d(h′+r，t′))

d(h+r，t)＝||l_h+l_r-l_t||₁

S′＝{(h′，r，t)|h′∈E}∪{(h，r，t′)|t′∈E}

γ是超参数，S集合的负样本集合表示为S′；

交叉熵函数如下：

m表示训练样例的数量，y是真实标签向量，a是softmax函数的输出。

最终的目标函数如下：

L＝α·L₁+β·L₂

8.一种基于知识的深度医疗问题路由系统，其特征在于，包括：

特征表示模块，包括：

9.一种计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于知识的深度医疗问题路由方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于知识的深度医疗问题路由方法。