CN109062983A

CN109062983A - 用于医学健康知识图谱的命名实体识别方法及系统

Info

Publication number: CN109062983A
Application number: CN201810708672.6A
Authority: CN
Inventors: 赵进; 卜江勇; 孔飞; 常德杰; 刘邦长; 刘朝振; 姜鹏
Original assignee: Beijing Wonderful Medical Information Technology Co Ltd
Current assignee: Beijing Wonderful Medical Information Technology Co Ltd
Priority date: 2018-07-02
Filing date: 2018-07-02
Publication date: 2018-12-21

Abstract

本发明公开了一种用于医学健康知识图谱的命名实体识别方法及系统，该命名实体识别方法包括：对训练语料进行标注，并根据标注后的训练语料生成字向量；利用所述字向量训练命名实体识别模型，其中，所述命名实体识别模型是基于可迭代的空洞卷积神经网络ID‑CNN和条件随机场CRF的模型；通过训练后的命名实体识别模型获得待测试语句的识别结果。通过使用ID‑CNN和CRF的命名实体识别模型能够解决在构建健康领域医学健康知识图谱中的命名实体识别的问题，针对健康管理领域的文本类语料可自动识别其中特定的一些知识实体，以用于医学健康知识图谱中。

Description

用于医学健康知识图谱的命名实体识别方法及系统

技术领域

本发明涉及一种从医学健康类文本中自动识别健康知识实体识别的方法及系统，具体来说，涉及一种用于医学健康知识图谱的命名实体识别方法及系统。

背景技术

知识图谱是一种利用网络图谱的可视化展示形式，以将不同领域的多学科之间的知识进行关联，旨在描述客观世界的概念、实体、事件及其之间的关系。健康管理领域对于知识的依赖远比大部分文本信息处理应用要强，这就使得建立更加丰富准确的医疗健康知识图谱成为重要的研究内容。

与传统的专家知识库不同的是，医疗健康知识图谱需要从大规模多模态健康管理信息中自动抽取出目标知识，并建立起各种知识之间的关联，其中涉及到的关键技术包括健康管理实体识别以及基于多模态特征的实体链接。健康实体识别的主要挑战首先在于它涉及医学、运动、心理、睡眠等多个差异较大的学科领域；其次，在医疗文本中的用语习惯也和我们的日常用语习惯差异巨大，这使得我们针对通用的文本信息处理任务所构建的大量标注数据库难有用武之地，而且直接从医疗领域获得的各种类型的加工数据的规模远比通用领域要少，这也让近年来基于深度学习的端到端学习方法难以有效发挥其作用。所以基于此，需要提出一种针对医学健康知识领域的命名实体识别方法和系统。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种利用ID-CNN和CRF模型对医学健康知识领域的命名实体进行识别的方法和系统，能够解决在构建医学健康知识图谱中的命名实体识别的问题。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种用于医学健康知识图谱的命名实体识别方法，包括：

对训练语料进行标注，并根据标注后的训练语料生成字向量；

利用字向量训练命名实体识别模型，其中，命名实体识别模型是基于可迭代的空洞卷积神经网络ID-CNN和条件随机场CRF的模型；

通过训练后的命名实体识别模型获得待测试语句的识别结果。

根据本发明的实施例，采用IOB模式对训练语料进行标注。

根据本发明的实施例，标注后的训练语料包括：疾病类实体、症状类实体之中的至少一种；识别结果包括：待测试语句中的疾病类实体、症状类实体之中的至少一种。

根据本发明的实施例，标注后的训练语料包括：疾病类实体、症状类实体、检查类实体、食谱类实体、药物类实体、运动类实体和食材类实体。根据本发明的实施例，命名实体识别方法还包括：提取识别结果中的实体之间的关系，以根据提取的关系扩充医学健康知识图谱。

根据本发明的另一方面，提供了一种用于医学健康知识图谱的命名实体识别系统，包括：

标注模块，用于对训练语料进行标注，并根据标注后的训练语料生成字向量；

命名实体识别模型，连接于标注模块，命名实体识别模型是基于可迭代的空洞卷积神经网络IDCNN和条件随机场CRF的模型，其中，命名实体识别模型用于利用字向量进行训练、在训练后获得待测试语句的识别结果。

根据本发明的实施例，标注模块采用IOB模式对训练语料进行标注。

根据本发明的实施例，命名实体识别系统还包括：提取模块，连接于命名实体识别模型，提取模块用于提取识别结果中的实体之间的关系，以根据提取的关系扩充医学健康知识图谱。

本发明的上述技术方案，通过使用ID-CNN和CRF的命名实体识别模型能够解决在构建健康领域医学健康知识图谱中的命名实体识别的问题，针对健康管理领域的文本类语料可自动识别其中特定的一些知识实体，以用于医学健康知识图谱中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的用于医学健康知识图谱的命名实体识别方法的流程图；

图2是现有技术中空洞卷积的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，根据本发明的实施例，提供了一种用于医学健康知识图谱的命名实体识别方法，该命名实体识别方法包括以下步骤：

S10，对训练语料进行标注，并根据标注后的训练语料生成字向量；

S20，利用字向量训练命名实体识别模型，其中，命名实体识别模型是基于ID-CNN(可迭代的空洞卷积神经网络)和CRF(条件随机场)的模型；

S30，通过训练后的命名实体识别模型获得待测试语句的识别结果。

具体来说，本发明的有益效果在于：

第一，命名实体识别(NER)是NLP(Natural Language Processing，自然语言处理)技术领域的一个基础性工作，也是一项很重要的工作。传统的命名实体识别主要是基于词典和规则，由相关领域的专家人工构造相应的规则和词典，后来由于传统机器学习方法的出现(例如HMM(Hidden Markov Model，隐马尔可夫模型)、SVM(Support Vector Machine，支持向量机)等)，减少了人工干预量，但是这些模型对特征提取的依赖性很强，因此本发明通过借助深度学习这一工具，只需要更少的人工参与，就能够获得性能更优的解决方案。

第二，在深度学习上，RNN(Recurrent neural Network、循环神经网络)似乎更适合解决这种序列问题，RNN在NLP领域有着更多成功的案例。然而，由于RNN自身存在计算依赖性，在GPU(Graphics Processing Unit，图形处理器)上其计算性能远远不如CNN(Convolutional Neural Network，卷积神经网络)一样可以高速并行化计算，因此本发明利用改进型的CNN来解决命名实体识别的问题，而不是使用RNN。

第三，由于普通的CNN具有局部感受野的特点，所以无法应对更宽更广的上下文内容。传统的做法是提升深度，增加深度可以扩展到更广的上下文视野中，然而这种做法的后果是引入更高的深度，其计算参数会呈指数增长，不切实际，不符合初衷。图2示出的是一个具有最大空洞是4、卷积核大小是3的卷积示意图，即最高层卷积核中的一个神经元就可以覆盖到底层宽度为15的上下文范围，随着高度的提升，其在底部的覆盖范围将指数增长。而空洞卷积(D-CNN)本身不受局部感受野限制，因此将D-CNN引入到传统的CNN中，可以缓解此问题。

第四，在D-CNN的基础上，我们尝试引入更高的深度。因此，本发明将ID-CNN应用到医学健康领域的命名识别实体。此时，参数的增长则是线性的，而感受野提升的缺失指数，这是完全符合我们期望的，这可以更小的计算代价带来等宽的上下文感受野。

第五，虽然ID-CNN可以带来非常优越的结果，但是为了进一步提高其识别精度，规范其识别规则，本发明在ID-CNN之上又构建了一个CRF层，构建CRF的主要目的在于学习一种约束能力，使得最终识别结果更加准确。

其中，在步骤S10中，可以通过资料收集和医生人工整理，整理出以下多种实体：疾病、症状、检查、食谱、药物、运动、食材。实体的数量为10万左右，例如实体量在9万至11万的范围内。

继续参考图1，在步骤S10中，可采用IOB模式对训练语料进行标注。其中，标注后的训练语料可包括：疾病类实体、症状类实体之中的至少一种。相应的，待测试语句的识别结果包括：待测试语句中的疾病类实体、症状类实体之中的至少一种。表1中示例性的示出了标注训练语料的格式。

表1

其中，“O”表示非实体字符，“B”表示实体的第一个字符，“I”表示实体的非第一个字符。并且，以“-Disease”表示疾病类实体，以“-Symptom”表示症状类实体。也就是说，“B-Disease”表示疾病类实体的第一个字符，“I-Disease”表示疾病类实体的非第一个字符，“B-Symptom”表示症状类实体的第一个字符，“I-Symptom”表示症状类实体的非第一个字符。

根据本发明的实施例，命名实体识别方法还可以包括以下步骤：

S40，提取识别结果中的实体之间的关系，以根据提取的关系扩充医学健康知识图谱。通过进一步提取实体之间的关系，可以达到自动扩充医疗健康知识图谱的目的。

参考图1所示，本发明的命名实体识别方法可分为三个阶段：可认为步骤S10是训练数据准备阶段，步骤S20是训练命名实体识别(ID-CNN+CRF)模型阶段，步骤S30是命名实体识别阶段。下面通过对此三个阶段的具体实施方式，来说明本发明的命名实体识别方法。

1、训练数据准备阶段

训练语料的准备，主要是将已有的一些健康类文本数据进行自动标注和/或人工标注，以整理成表1中的文本格式，并利用该原始的训练语料训练生成字向量。并在后续的训练阶段，训练语料文本按6:2:2的比例划分为训练集、验证集和测试集三个部分。

2、训练ID-CNN+CRF模型

该ID-CNN+CRF模型可采用GPU版的TensorFlow(一种人工智能学习系统)进行开发，训练过程中的一些重要参数如表2所示。

表2

3、命名实体识别阶段

给定知识语料(待测试语句)，可自动对其医疗健康类实体进行识别，以下是所获得的识别结果的一些示例。

输入待测试语句：{'string':'糖尿病是一组以高血糖为特征的代谢性疾病。高血糖则是由于胰岛素分泌缺陷或其生物作用受损，或两者兼有引起。糖尿病时长期存在的高血糖，导致各种组织，特别是眼、肾、心脏、血管、神经的慢性损害、功能障碍。'。识别结果为：'entities':[{'word':'糖尿病'，'start':0，'end':3，'type':'Disease'}，{'word':'糖尿病'，'start':51，'end':54，'type':'Disease'}，{'word':'眼'，'start':74，'end':75，'type':'Body'}，{'word':'肾'，'start':76，'end':77，'type':'Body'}，{'word':'心脏'，'start':78，'end':80，'type':'Body'}]}。

输入待测试语句：{'string':'高血压(hypertension)是指以体循环动脉血压(收缩压和/或舒张压)增高为主要特征(收缩压≥140毫米汞柱，舒张压≥90毫米汞柱)，可伴有心、脑、肾等器官的功能或器质性损害的临床综合征。高血压是最常见的慢性病，也是心脑血管病最主要的危险因素。正常人的血压随内外环境变化在一定范围内波动。在整体人群，血压水平随年龄逐渐升高，以收缩压更为明显，但50岁后舒张压呈现下降趋势，脉压也随之加大。近年来，人们对心血管病多重危险因素的作用以及心、脑、肾靶器官保护的认识不断深入，高血压的诊断标准也在不断调整，目前认为同一血压水平的患者发生心血管病的危险不同，因此有了血压分层的概念，即发生心血管病危险度不同的患者，适宜血压水平应有不同。血压值和危险因素评估是诊断和制定高血压治疗方案的主要依据，不同患者高血压管理的目标不同，医生面对患者时在参考标准的基础上，根据其具体情况判断该患者最合适的血压范围，采用针对性的治疗措施。在改善生活方式的基础上，推荐使用24小时长效降压药物控制血压。除评估诊室血压外，患者还应注意家庭清晨血压的监测和管理，以控制血压，降低心脑血管事件的发生率。'，。识别结果为：'entities':[{'word':'高血压'，'start':0，'end':3，'type':'Disease'}，{'word':'收缩压'，'start':28，'end':31，'type':'Check'}，{'word':'舒张压'，'start':34，'end':37，'type':'Check'}，{'word':'收缩压'，'start':46，'end':49，'type':'Check'}，{'word':'舒张压'，'start':58，'end':61，'type':'Check'}，{'word':'肾'，'start':77，'end':78，'type':'Body'}，{'word':'高血压'，'start':97，'end':100，'type':'Disease'}，{'word':'收缩压'，'start':166，'end':169，'type':'Check'}，{'word':'舒张压'，'start':179，'end':182，'type':'Check'}，{'word':'肾'，'start':223，'end':224，'type':'Body'}，{'word':'高血压'，'start':237，'end':240，'type':'Disease'}，{'word':'高血压'，'start':332，'end':335，'type':'Disease'}，{'word':'高血压'，'start':349，'end':352，'type':'Disease'}]}

输入待测试语句：{'string':'颅内感染的病人往往有发热、寒战等感染症状，也会出现呕吐、头痛等症状，而且症状比较剧烈；急性感染患者还会出现颅内压增高、意识障碍、癫痫、瘫痪、视力障碍等。如果真有如此严重的颅内感染导致的脑损伤，精神异常，应该会出现严重感染表现，现在症状和体征不太相符'。识别结果为：'entities':[{'word':'颅内感染'，'start':0，'end':4，'type':'Symptom'}，{'word':'寒战'，'start':13，'end':15，'type':'Symptom'}，{'word':'呕吐'，'start':25，'end':27，'type':'Disease'}，{'word':'头痛'，'start':28，'end':30，'type':'Symptom'}，{'word':'颅内压增高'，'start':53，'end':58，'type':'Symptom'}，{'word':'意识障碍'，'start':59，'end':63，'type':'Disease'}，{'word':'癫痫'，'start':64，'end':66，'type':'Disease'}，{'word':'瘫痪'，'start':67，'end':69，'type':'Disease'}，{'word':'视力障碍'，'start':70，'end':74，'type':'Symptom'}]}

根据本发明的实施例，还提供了一种用于医学健康知识图谱的命名实体识别系统，包括：标注模块和与标注模块连接的命名实体识别模型。其中，标注模块，用于对训练语料进行标注，并根据标注后的训练语料生成字向量；命名实体识别模型是基于可迭代的空洞卷积神经网络IDCNN和条件随机场CRF的模型，并且命名实体识别模型用于利用字向量进行训练、在训练后获得待测试语句的识别结果。

其中，标注后的训练语料包括：疾病类实体、症状类实体之中的至少一种；识别结果包括：待测试语句中的疾病类实体、症状类实体之中的至少一种。

根据本发明的实施例，命名实体识别系统还包括：连接于命名实体识别模型和提取模块，提取模块用于提取识别结果中的实体之间的关系，以根据提取的关系扩充医学健康知识图谱。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种用于医学健康知识图谱的命名实体识别方法，其特征在于，包括：

利用所述字向量训练命名实体识别模型，其中，所述命名实体识别模型是基于可迭代的空洞卷积神经网络(ID-CNN)和条件随机场(CRF)的模型；

2.根据权利要求1所述的用于医学健康知识图谱的命名实体识别方法，其特征在于，采用IOB模式对所述训练语料进行所述标注。

3.根据权利要求2所述的用于医学健康知识图谱的命名实体识别方法，其特征在于，其中，标注后的训练语料包括：疾病类实体、症状类实体之中的至少一种；所述识别结果包括：所述待测试语句中的疾病类实体、症状类实体之中的至少一种。

4.根据权利要求1所述的用于医学健康知识图谱的命名实体识别方法，其特征在于，标注后的训练语料包括：疾病类实体、症状类实体、检查类实体、食谱类实体、药物类实体、运动类实体和食材类实体。

5.根据权利要求1所述的用于医学健康知识图谱的命名实体识别方法，其特征在于，还包括：

提取所述识别结果中的实体之间的关系，以根据提取的关系扩充所述医学健康知识图谱。

6.一种用于医学健康知识图谱的命名实体识别系统，其特征在于，包括：

命名实体识别模型，连接于所述标注模块，所述命名实体识别模型是基于可迭代的空洞卷积神经网络(ID-CNN)和条件随机场(CRF)的模型，其中，所述命名实体识别模型用于利用所述字向量进行训练、在所述训练后获得待测试语句的识别结果。

7.根据权利要求6所述的用于医学健康知识图谱的命名实体识别系统，其特征在于，所述标注模块采用IOB模式对所述训练语料进行所述标注。

8.根据权利要求7所述的用于医学健康知识图谱的命名实体识别系统，其特征在于，其中，标注后的训练语料包括：疾病类实体、症状类实体之中的至少一种；所述识别结果包括：所述待测试语句中的疾病类实体、症状类实体之中的至少一种。

9.根据权利要求6所述的用于医学健康知识图谱的命名实体识别系统，其特征在于，还包括：

提取模块，连接于所述命名实体识别模型，所述提取模块用于提取所述识别结果中的实体之间的关系，以根据提取的关系扩充所述医学健康知识图谱。