CN110334211A - 一种基于深度学习的中医诊疗知识图谱自动构建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的中医诊疗知识图谱自动构建方法，包括：构建初始化文献病案语料库，对病案进行分句、分词，并对病案中的“理‑法‑方‑药”实体进行标记；通过双向LSTM对实体进行预测，通过深度学习模型从中医文献病案自动抽取实体；将同一病案中出现的同类实体进行聚类形成实体组，然后根据预定义的实体之间的关系形成三元组，构建知识图谱。本发明通过预定义中医诊疗概念之间的关系，将知识图谱的构建转化为中医诊疗命名实体识别任务，通过深度学习模型从中医文献病案自动抽取实体，并将实体进行聚类构成实体集，解决中医诊疗概念之间多对多的问题，完整展现病案中名老中医诊疗思想。

Description

一种基于深度学习的中医诊疗知识图谱自动构建方法

技术领域

本发明涉及一种中医诊疗知识图谱自动构建方法，具体地说，涉及一种基于深度学习的中医诊疗知识图谱自动构建方法。

背景技术

知识图谱是以“语义网络”为骨架构建起来的巨型、网络化的知识系统，旨在描述客观世界的概念、实体、事件及其之间的关系。其中，概念是指人们在认识世界过程中形成对客观事物的概念化表示，如人、动物、组织机构等。实体是客观世界中的具体事物，如篮球运动员姚明、互联网公司腾讯等。事件是客观事件的活动，如地震、买卖行为等。关系描述概念、实体、事件之间客观存在的关联关系，如运动员和篮球运动员之间的关系是概念和子概念的关系等。谷歌于2012年5月推出谷歌知识图谱，并利用其在搜索引擎中增强搜索结果，标志着大规模知识图谱在互联网语义搜索中的成功应用。

知识图谱的关键技术涉及自然语言处理、数据挖掘和信息检索等多个领域，主要分为知识驱动和数据驱动两类，随着大数据的发展，基于数据驱动的知识图谱构建方法得到了广泛应用，如法律、社交网络、医疗知识图谱等。“中医药学语言系统(TCMLS)”是以本体(Ontology)和语义网络的技术理念构建的大型语言系统，包含10余万个中医概念以及100余万个语义关系，通过中医药工作者已建立的相对完整的数据库体系，涵盖疾病、中药、方剂、中药化学成分等，为填充中医药知识图谱提供了数据资源，在规模和完整性等方面都处于中医界的领先地位。

“中医药学语言系统(TCMLS)”主要基于已有结构化数据进行知识图谱的构建，而中医文献、书籍等知识载体均为非结构化文本，TCMLS无法利用自由文本(叙述性语言)进行知识图谱的自动构建和扩充；TCMLS形成的知识图谱表现形式为<实体，关系，实体>，而在中医诊疗理论中，概念之间存在多对多的关系，如证候和症状，表现形式应为<症状集，关系，证候集>，因此TCMLS无法完整展现中医诊疗理论。

发明内容

本发明的目的是提供一种基于深度学习的中医诊疗知识图谱自动构建方法，预定义中医诊疗概念之间的关系，通过深度学习的方法从中医文献病案中自动抽取实体，形成诊疗知识图谱，完整展现名老中医的诊疗思想。

为了解决上述技术问题，本发明公开了一种基于深度学习的中医诊疗知识图谱自动构建方法，具体步骤包括：

步骤1，构建初始化文献病案语料库，对病案进行分句、分词，并对病案中的“理-法-方-药”实体进行标记；

步骤2，通过双向LSTM对实体进行预测，通过深度学习模型从中医文献病案自动抽取实体；

步骤3，将同一病案中出现的同类实体进行聚类形成实体组，然后根据预定义的实体之间的关系形成三元组，构建知识图谱。

进一步地，步骤1中构建以下数据结构：

语料库：从中国知网CNKI下载中医文献，从中抽取病案，取75％作为训练集，25％作为测试集，分别用于训练模型参数和测试模型效果；

训练语料库中对“理-法-方-药”实体进行标记，使用“中药-med”、“方剂-pres”、“治法-treat”、“证候-syn”、“症状-sym”一一对应的标记方法，其余不相关的文本使用“O”标记；

词嵌入矩阵：用one-hot向量对分词后的语料库进行词嵌入表示，构建词嵌入矩阵，行为词数量，列为词嵌入维度。

进一步地，步骤2，通过双向LSTM对实体进行预测，通过深度学习模型从中医文献病案自动抽取实体，具体为：

使用双向LSTM(Bi-LSTM)对病案进行编码，以句子为单位输入Bi-LSTM，设输入句子为S＝w₁，w₂，...，w_m，w_m表示句子第m个单词，通过查找词嵌入矩阵，得到输入句子的词向量序列X＝x₁，x₂，...，x_m；

将词向量序列输入Bi-LSTM，LSTM的每个单元都由输入门i、遗忘门f、输出门o、记忆单元c组成，各门控单元和记忆单元更新公式为：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (1)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (2)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (5)

h_t＝o_t tanh(c_t) (6)

其中，x_t表示t时刻输入的字符向量，h_t-1为t-1时刻的隐藏状态，c_t-1和c_t分别表示t-1时刻和t时刻的记忆单元状态，i_t、f_t、o_t分别为t时刻输入门、遗忘门和输出门的状态向量，σ为sigmoid函数，tanh为双曲正切函数，W_xi表示输入门i对应输入x的参数矩阵，b_i表示输入门i的偏置项，由于参数矩阵和偏置项较多，用*表示下标，此处所有的W_*和b_*均表示参数矩阵和偏置项，具体含义以*具体表示的内容为准；表示t时刻的实际输入；

前向LSTM的输出表示为后向LSTM的输出为则最终Bi-LSTM的输出表示为[；]表示向量级联操作；

将Bi-LSTM输出的隐藏单元状态h_t传递至CRF层作为输入，进行实体标签预测，给定输入句子x＝(x₁，x₂，...，x_n)和预测的序列标记y＝(y₁，y₂，...，y_n)，句子x对应于序列标记y的预测得分表示为s(x，y)，定义为：

表示x_i的标签y_i得分，P_i定义为：

为特定于y_i的模型参数矩阵，h_i表示Bi-LSTM在第i个单元输出的隐藏单元状态，是特定于y_i到y_i-1的偏置参数，则句子x标记为序列y的得分为：

e为自然对数的底数，Y_x表示句子x存在的所有可能标记序列，表示其中一种标记序列。

模型训练时，使用最大似然估计来最大化真实序列值，即 为单词序列x的真实标签序列，在测试的时候，将序列得分最高的作为预测序列，即：

给定一个人工标记的训练数据集使用L2正则对数似然损失来训练模型，计算公式为：

λ是L2正则化参数，Θ是参数集，使用随机梯度下降(SGD)训练模型。

进一步地，步骤3，将同一病案中出现的同类实体进行聚类形成实体组，然后根据预定义的实体之间的关系形成三元组，构建知识图谱，具体为：

将同一病案中出现的同类实体进行聚类形成实体组，如病案中的多个症状，构成症状组，多个证候构成证候组，以预定义的症候与症状之间的关系，将症状组和证候组进行连接得到<证候组，表现，症状组>三元组，将其他实体也同样进行聚类，然后根据预定义的实体之间的关系形成三元组，构建知识图谱。

与现有技术相比，本发明可以获得包括以下技术效果：

本发明通过预定义中医诊疗概念之间的关系，将知识图谱的构建转化为中医诊疗命名实体识别任务，通过深度学习模型从中医文献病案自动抽取实体，并将实体进行聚类构成实体集，解决中医诊疗概念之间多对多的问题，完整展现病案中名老中医诊疗思想。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例中基于深度学习的中医诊疗知识图谱自动构建方法的主要流程图；

图2是本发明实施例中所使用的整体模型结构图；

图3是本发明实施例中预定义的中医诊疗概念之间的关系图。

具体实施方式

以下将配合实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本发明公开了一种基于深度学习的中医诊疗知识图谱自动构建方法，具体流程图如图1所示，具体步骤包括：

步骤1，构建初始化文献病案语料库，对病案进行分句、分词，并对病案中的“理-法-方-药”实体进行标记；

构建以下数据结构：

语料库：从中国知网CNKI下载中医文献，从中抽取病案，取75％作为训练集，25％作为测试集，分别用于训练模型参数和测试模型效果；

训练语料库中对“理-法-方-药”实体进行标记，使用“中药-med”、“方剂-pres”、“治法-treat”、“证候-syn”、“症状-sym”一一对应的标记方法，其余不相关的文本使用“O”标记；

词嵌入矩阵：用one-hot向量对分词后的语料库进行词嵌入表示，构建词嵌入矩阵，行为词数量，列为词嵌入维度。

步骤2，通过双向LSTM对实体进行预测，通过深度学习模型从中医文献病案自动抽取实体；图2为本方法所使用的整体模型结构图，包括词嵌入层，BiLSTM层，级联层，CRF层。

具体为：

使用双向LSTM(Bi-LSTM)对病案进行编码，以句子为单位输入Bi-LSTM，设输入句子为S＝w₁，w₂，...，w_m，w_m表示句子第m个单词，通过查找词嵌入矩阵，得到输入句子的词向量序列X＝x₁，x₂，...，x_m；

将词向量序列输入Bi-LSTM，LSTM的每个单元都由输入门i、遗忘门f、输出门o、记忆单元c组成，各门控单元和记忆单元更新公式为：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (1)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (2)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (5)

h_t＝o_t tanh(c_t) (6)

其中，x_t表示t时刻输入的字符向量，h_t-1为t-1时刻的隐藏状态，c_t-1和c_t分别表示t-1时刻和t时刻的记忆单元状态，i_t、f_t、o_t分别为t时刻输入门、遗忘门和输出门的状态向量，σ为sigmoid函数，tanh为双曲正切函数，W_xi表示输入门i对应输入x的参数矩阵，b_i表示输入门i的偏置项，由于参数矩阵和偏置项较多，用*表示下标，此处所有的W_*和b_*均表示参数矩阵和偏置项，具体含义以*具体表示的内容为准；表示t时刻的实际输入；

前向LSTM的输出表示为后向LSTM的输出为则最终Bi-LSTM的输出表示为[；]表示向量级联操作；

将Bi-LSTM输出的隐藏单元状态h_t传递至CRF层作为输入，进行实体标签预测，给定输入句子x＝(x₁，x₂，...，x_n)和预测的序列标记y＝(y₁，y₂，...，y_n)，句子x对应于序列标记y的预测得分表示为s(x，y)，定义为：

表示x_i的标签y_i得分，P_i定义为：

为特定于y_i的模型参数矩阵，h_i表示Bi-LSTM在第i个单元输出的隐藏单元状态，是特定于y_i到y_i-1的偏置参数，则句子x标记为序列y的得分为：

e为自然对数的底数，Y_x表示句子x存在的所有可能标记序列，表示其中一种标记序列。

模型训练时，使用最大似然估计来最大化真实序列值，即 为单词序列x的真实标签序列，在测试的时候，将序列得分最高的作为预测序列，即：

给定一个人工标记的训练数据集使用L2正则对数似然损失来训练模型，计算公式为：

λ是L2正则化参数，Θ是参数集，使用随机梯度下降(SGD)训练模型。

步骤3，将同一病案中出现的同类实体进行聚类形成实体组，如病案中的多个症状，构成症状组，多个证候构成证候组，以预定义的症候与症状之间的关系，将症状组和证候组进行连接得到<证候组，表现，症状组>三元组，将其他实体也同样进行聚类，然后根据预定义的实体之间的关系(如图3所示)形成三元组，构建知识图谱。

本发明提供的自动构建中医诊疗知识图谱方法，能够有效提取非结构化中医文献病案知识，并能有效表示中医诊疗理论中的多对多概念(比如证候和症状)，更好地呈现名老中医诊疗思想。随机选取了1000份慢性肾病病案，实体抽取准确率达到了91％，当引入外部知识库，如《方剂学》、《中医临床诊疗术语国家标准》等，实体抽取准确率能够达到97％，然后通过实体聚类，将同一病案中的同一类型实体构成实体集，如“此乃脾肾不足，湿热内扰。治以健脾补肾，清热利湿”，获得证候实体集{脾肾不足，湿热内扰}，治法实体集{健脾，补肾，清热，利湿}，通过预定义的治法与证候概念之间的关系，最终得到实体集与关系的三元组<{健脾，补肾，清热，利湿}，可治疗，{脾肾不足，湿热内扰}>。

上述说明示出并描述了发明的若干优选实施例，但如前所述，应当理解发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离发明的精神和范围，则都应在发明所附权利要求的保护范围内。

Claims (4)

1.一种基于深度学习的中医诊疗知识图谱自动构建方法，其特征在于，具体步骤包括：

步骤1，构建初始化文献病案语料库，对病案进行分句、分词，并对病案中的“理-法-方-药”实体进行标记：

步骤2，通过双向LSTM对实体进行预测，通过深度学习模型从中医文献病案自动抽取实体：

步骤3，将同一病案中出现的同类实体进行聚类形成实体组，然后根据预定义的实体之间的关系形成三元组，构建知识图谱。

2.根据权利要求1所述的基于深度学习的中医诊疗知识图谱自动构建方法，其特征在于，步骤1中构建以下数据结构：

语料库：从中国知网CNKI下载中医文献，从中抽取病案，取75％作为训练集，25％作为测试集，分别用于训练模型参数和测试模型效果；

训练语料库中对“理-法-方-药”实体进行标记，使用“中药-med”、“方剂-pres”、“治法-treat”、“证候-syn”、“症状-sym”一一对应的标记方法，其余不相关的文本使用“O”标记；

词嵌入矩阵：用one-hot向量对分词后的语料库进行词嵌入表示，构建词嵌入矩阵，行为词数量，列为词嵌入维度。

3.根据权利要求2所述的基于深度学习的中医诊疗知识图谱自动构建方法，其特征在于，步骤2，通过双向LSTM对实体进行预测，通过深度学习模型从中医文献病案自动抽取实体，具体为：

使用双向LSTM(Bi-LSTM)对病案进行编码，以句子为单位输入Bi-LSTM，设输入句子为S＝w₁，w₂，...，w_m，w_m表示句子第m个单词，通过查找词嵌入矩阵，得到输入句子的词向量序列X＝x₁，x₂，...，x_m；

将词向量序列输入Bi-LSTM，LSTM的每个单元都由输入门i、遗忘门f、输出门o、记忆单元c组成，各门控单元和记忆单元更新公式为：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (1)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (2)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (5)

h_t＝o_ttanh(c_t) (6)

其中，x_t表示t时刻输入的字符向量，h_t-1为t-1时刻的隐藏状态，c_t-1和c_t分别表示t-1时刻和t时刻的记忆单元状态，i_t、f_t、o_t分别为t时刻输入门、遗忘门和输出门的状态向量，σ为sigmoid函数，tanh为双曲正切函数，W_xi表示输入门i对应输入x的参数矩阵，b_i表示输入门i的偏置项，由于参数矩阵和偏置项较多，用*表示下标，此处所有的W_*和b_*均表示参数矩阵和偏置项，具体含义以*具体表示的内容为准；表示t时刻的实际输入：

前向LSTM的输出表示为后向LSTM的输出为则最终Bi-LSTM的输出表示为[；]表示向量级联操作；

将Bi-LSTM输出的隐藏单元状态h_t传递至CRF层作为输入，进行实体标签预测，给定输入句子x＝(x₁，x₂，...，x_n)和预测的序列标记y＝(y₁，y₂，...，y_n)，句子x对应于序列标记y的预测得分表示为s(x，y)，定义为：

表示x_i的标签y_i得分，P_i定义为：

为特定于y_i的模型参数矩阵，h_i表示Bi-LSTM在第i个单元输出的隐藏单元状态，是特定于y_i到y_i-1的偏置参数，则句子x标记为序列y的得分为：

e为自然对数的底数，Y_x表示句子x存在的所有可能标记序列，表示其中一种标记序列。

模型训练时，使用最大似然估计来最大化真实序列值，即 为单词序列x的真实标签序列，在测试的时候，将序列得分最高的作为预测序列，即：

给定一个人工标记的训练数据集使用L2正则对数似然损失来训练模型，计算公式为：

λ是L2正则化参数，Θ是参数集，使用随机梯度下降(SGD)训练模型。

4.根据权利要求1-3任一项所述的基于深度学习的中医诊疗知识图谱自动构建方法，其特征在于，步骤3，将同一病案中出现的同类实体进行聚类形成实体组，然后根据预定义的实体之间的关系形成三元组，构建知识图谱，具体为：

将同一病案中出现的同类实体进行聚类形成实体组，如病案中的多个症状，构成症状组，多个证候构成证候组，以预定义的症候与症状之间的关系，将症状组和证候组进行连接得到<证候组，表现，症状组>三元组，将其他实体也同样进行聚类，然后根据预定义的实体之间的关系形成三元组，构建知识图谱。