CN110046252B - 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法 - Google Patents

一种基于注意力机制神经网络与知识图谱的医疗文本分级方法 Download PDF

Info

Publication number
CN110046252B
CN110046252B CN201910246935.0A CN201910246935A CN110046252B CN 110046252 B CN110046252 B CN 110046252B CN 201910246935 A CN201910246935 A CN 201910246935A CN 110046252 B CN110046252 B CN 110046252B
Authority
CN
China
Prior art keywords
entity
equation
relation
formula
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910246935.0A
Other languages
English (en)
Other versions
CN110046252A (zh
Inventor
赵亮
李建强
赵青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer medical research (Shanghai) Co.,Ltd.
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910246935.0A priority Critical patent/CN110046252B/zh
Publication of CN110046252A publication Critical patent/CN110046252A/zh
Application granted granted Critical
Publication of CN110046252B publication Critical patent/CN110046252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于注意力机制神经网络与知识图谱的医疗文本分级方法属于计算机人工智能领域，通过基于Attention机制的增强型LSTM模型得到准确性更高的医疗文本的分级结果。方法包括：直接关系抽取模块、直接关系统一模块、间接语义关系推理模块、神经网络分级模块。在本方法中使用了知识图谱作为外部数据源，通过增强型的LSTM作为Encoder模型学习知识图谱与文本数据中实体‑关系‑实体三元组数据作为模型的输入，通过Attention机制得到不同的三元组对于文本分级的重要程度，将普通的LSTM作为的Decoder模型学习中间隐藏向量，在通过softmax层得到最终的文本分级结果。

Description

一种基于注意力机制神经网络与知识图谱的医疗文本分级 方法
技术领域
本发明属于计算机人工智能领域，涉及一种基于注意力机制神经网络与知识图谱的医疗文本分级方法。
背景技术
近年来，随着人工智能技术在自然语言处理(Natural Language Processing,NLP)领域的广泛应用，人们对领域知识的探索也越来越多。其中医疗文本是在医疗领域中最常见的数据集，那么对医疗文本采用神经网络得到所对应的疾病分级结果，那么对于医学人工智能化具有非常重要的意义。
医疗文本分级可以认为是一个分类任务，通过抽取医疗文本中的特征数据在通过某种方法得到所对应疾病的严重程度分级结果。传统的文本分级的两种方法是基于传统机器学习方法和神经网络深度学习方法，目前深度学习方法占主动地位。基于深度学习的文本分级模型都是通过去文本数据抽取特征信息然后将其通过某个深度学习模型分类到具体疾病的分级结果。然后在当今的大数据时代，单纯的使用文本数据中的特征信息对于文本分级来说数据量太少，由于医疗文本的特殊性，并不能很好的得到全部的特征信息，那么对于医疗文本分级的准确性有很大的影响，如今的医疗文本分级仍然存在以下问题：(1)没有采用该疾病的知识图谱数据，单纯的使用文本数据导致数据量太少且准确性不高；(2)领域实体结构复杂并且相同概念存在很多中表达方法，尤其在医疗领域对于疾病病名与症状的描述例如“慢性阻塞性肺疾病”并不能很好的提取出来；(3)在目前神经网络中单纯的使用了实体信息，并没有利用在知识图谱中最重要的“关系”信息存在了语义上的割裂。基于以上问题，传统的医疗文本分级方法已经很难适用于如今的应用场景。
丁连红、孙斌、张宏伟等人撰写的《基于知识图谱扩展的短文本分类方法》中提到的基于学习知识图谱中的实体信息并提取文本数据中的实体数据作为特征输入在神经网络中进行分类的算法，使用了对应疾病的知识图谱作为外部数据源并改变了特征提取方法来实现医疗文本的分级任务。该方法虽然增加了只是领域实现了医疗文本的分级任务，但是该方法只是单纯的提取了实体信息，缺失了关键的关系特征，无法完全且准确的提取到文本中的所以信息。该方法虽还不够完善，但是使用了知识图谱的思路在文本分级的问题中给我们提供了思路，即需要使用外部知识来更好的提取文本特征。
发明内容
本发明的内容：
一种基于注意力机制神经网络与知识图谱的医疗文本分级方法，该方法包括：
①提出了一种基于注意力机制神经网络与知识图谱的医疗文本分级方法，该方法，该方法通过抽取知识图谱与文本数据中的实体-关系-三元组数据，通过增强型的LSTM模型得到对医疗文本的分级结果，不仅提高了分级结果的准确性，并且因为对于文本数据而言，只是单纯的提取了三元组数据无需对所有的数据进行提取好向量化还降低了计算成本
②首先得到知识图谱与文本数据中实体-关系-实体之间的直接关系数据，并且通过标准点互信息将知识图谱与文本数据中的直接关系合并为统一的三元组表达方式。
③其次通过TransE算法得到文本数据中的所有间接语义关系三元组，即通过在第2步中的直接关系通过推理机制得到所有的间接关系，得到文本数据中的所有的实体关系-实体三元组数据。
④采用增强型的LSTM模型通过基于Attention机制得到对于不同三元组的对于文本分级的重要性程度，将文本的三元组数据Encoder-Decoder模型得到文本的分级结果。
本发明的原理是一种基于注意力机制神经网络与知识图谱的医疗文本分级方法，不仅仅学习了基于知识图谱抽取的实体特征，也考虑了在知识图谱中实体之间的关系特征，并将直接关系特征通过基于规则的方式得到所有的间接语义关系特征，至此完成了对文本数据的特征抽取，采用该方法不仅仅降低了对于文本数据特征抽取的数量仅通过有限的实体-关系-实体三元组即可完成分级降低了运算量，又扩大了文本分级中的数据源且增加了专家知识提高了文本分级的准确性。
为达到以上发明目的，本发明采用如下的技术方案：
一种基于注意力机制神经网络与知识图谱的医疗文本分级方法，包括：直接关系抽取模块、直接关系统一模块、间接语义关系推理模块、神经网络分级模块。其中神经网络分级模块中使用本发明提出的基于Attention机制的增强型LSTM模型进行分级
直接关系抽取模块，在知识图谱中的实体关系包括两个部分：直接关系、间接语义关系，在该模块得到基于已有技术得到知识图谱与文本数据中的直接关系数据。
直接关系统一模块，由于医疗数据的特殊性，在很多医疗专有名词存在意思相同但表达相近、意思不同但表达相近的问题，所以在该模块采用基于点互信息的方法将知识图谱与文本数据中得到的直接关系统一起来得到统一的三元组数据。
间接语义关系推理模块，将统一直接关系模块中得到的所有的直接关系通过TransE算法得到文本数据中所有的间接语义关系三元组数据，得到文本数据的所有特征信息。
神经网络分级模块，在该模块中将文本数据中的所有实体-关系-实体三元组数据输入基于Attention机制的增强型LSTM模型得到不同的三元组数据对于文本分级的重要性程度，通过Encoder-Decoder模型得到医疗文本的分级结果。
本发明提出的通过神经网络学习知识图谱中的实体-关系-实体信息提出了一种新的文本分级方法，不仅能够学了知识图谱的专家知识提高了文本分级的准确性，而且降低了文本数据特征提取的数据量降低了计算量加快了运行速度。
附图说明
图1基于注意力机制神经网络与知识图谱的医疗文本分级方法整体框架；
图2基于Attention机制的增强型LSTM模型结构；
图3增强型LSTM模型具体结构；
具体实施方式
下面将详细描述本发明各个方面的特征和示例性实施例：
本发明将文本中的直接关系与间接语义关系作为文本数据的特征，通过基于Attention机制的增强型LSTM模型得到文本分级结果，提高了文本分级准确率并降低了计算量。整体框架如图1所示分为：直接关系抽取模块、直接关系统一模块、间接语义关系推理模块、神经网络分级模块。具体的基于Attention的增强型LSTM模型结构如图2所示。具体的增强型LSTM模型如图3所示。
直接关系抽取模块(1)：从知识图谱中得到实体-关系-实体之间的直接关系三元组数据，从文本数据中基于规则得到实体-关系-实体之间的直接关系三元组数据。
直接关系统一模块(2)：该模块将上一模块中得到的所有直接关系三元组数据基于标准化的点互信息将从知识图谱与文本数据中的实体-关系-实体直接关系三元组统一起来，得到相同的实体与关系节点。
基于标准化点互信息的直接关系统一算法(21)：由于文本数据中的实体与关系的描述的不准确性和不唯一性，需要将从文本数据中抽取的实体之间直接关系三元组与从知识图谱中抽取的实体之间直接关系三元组合并为统一的直接关系三元组。
具体内容是将从文本数据中抽取出来的实体i与从知识图谱中抽取出来的实体c以此计算关联度，当关联度大于阈值Thresholdic时，我们认为i、c这两个实体之间是等价，可以将其合并为同一个实体来表示，建立统一的知识库。其中阈值Thresholdic的最佳取值经过交叉验证之后为0.85.
具体公式如下：
Figure GDA0002094389600000041
Figure GDA0002094389600000042
其中P(c|i)表示对于一个实体i它所对应的实体为c的概率。P(i|c)则表示对于一个实体c它所对应的实体为i的概率。n(c,i)表示实体i和实体c同时出现的次数。SETC为全部实体c的集合，SETI为全部实体i的集合。
Figure GDA0002094389600000043
表示实体i与集合SETC中每一个实体c共现次数之和。
Figure GDA0002094389600000044
表示实体c与集合SETI中每一个实体i共现次数之和。
计算得到两个实体之间的条件概率，用标准化的点互信息(NPMI)来计算两个实体i、c之间的关联度评分，其具体公式如下
Figure GDA0002094389600000051
其中P(i)为实体i出现次数占所有实体出现次数的概率值；P(i，c)为实体i与实体c共同出现的次数占所有实体对出现次数的概率值；其中PMI为衡量两个实体之间相关性的点互信息，其具体公式如下：
Figure GDA0002094389600000052
间接语义关系推理模块(3)：该模块主要作用是将上一模块中得到的所有的直接关系三元组通过TransE算法推导，得到两个实体之间存在间接语义关系，从而得到文本数据中的所有数据。
TransE(Translation Embedding)是基于实体和关系的分布式向量表示，将三元组(head，relation，tail)看成向量h通过r翻译到t的过程，通过不断的调整向量h、r和t，找到一个使得从实体h到实体t之间造成损失最小的关系r。通过定义势能函数f(h，r，t)＝|h+r-t|2，使知识库中定义的势能大于不在知识库中的三元组的势能，即最小化整体势能，其具体公式如下：
Figure GDA0002094389600000053
其中γ为平滑系数在此设为1，Δ为在知识库中的三元组数据，Δ′为不在知识库中的三元组数据，势能函数的计算方法为计算三元组数据线性组合的第二范式。
基于TransE算法计算两个实体之间的整体势能，得到最小的势能值所对应的关系，即是两个实体间的间接语义关系。
神经网络分级模块(4)：该模块应用基于Attention机制的增强型LSTM神经网络模型得到文本分级结果。附图2为具体的神经网络模型，通过增强型LSTM模型作为Encoder模型，基于Attention机制计算得到实体-关系-实体三元组对于文本分级的重要程度，并且通过普通的LSTM作为Decoder模型通过softmax变换得到文本分级结果。
附图3为具体的增强型LSTM模型，在增强型LSTM模型中细胞向量有两个，分别作为实体细胞向量与关系细胞向量，两个细胞向量分别计算实体与关系的长短信息并分别保存，在输出门采用将两个细胞向量通过一个全连接层得到最后的输出向量。
在t时刻的增强型LSTM模型的具体公式如下：
Figure GDA0002094389600000061
Figure GDA0002094389600000062
Figure GDA0002094389600000063
Figure GDA0002094389600000064
Figure GDA0002094389600000065
Figure GDA0002094389600000066
Figure GDA0002094389600000067
Figure GDA0002094389600000068
Figure GDA0002094389600000069
Figure GDA00020943896000000610
在公式(6)中计算
Figure GDA00020943896000000611
为实体遗忘门系数，其中
Figure GDA00020943896000000612
分别为实体1与实体2在该公式中的权重矩阵，
Figure GDA00020943896000000613
为t-1时刻输出向量在该公式中的权重矩阵，
Figure GDA00020943896000000614
为在该公式中的偏置。
在公式(7)中计算
Figure GDA00020943896000000615
为关系遗忘门系数，其中
Figure GDA00020943896000000616
为关系在该公式中的权重矩阵，
Figure GDA00020943896000000617
为t-1时刻输出向量在该公式中的权重矩阵，
Figure GDA00020943896000000618
为在该公式中的偏置。
在公式(8)中计算
Figure GDA00020943896000000619
为实体输入门系数，其中
Figure GDA00020943896000000620
分别为实体1与实体2在该公式中的权重矩阵，
Figure GDA00020943896000000621
为t-1时刻输出向量在该公式中的权重矩阵，
Figure GDA00020943896000000622
为在该公式中的偏置。
在公式(9)中计算
Figure GDA00020943896000000623
为关系输入门系数，其中
Figure GDA00020943896000000624
为关系在该公式中的权重矩阵，
Figure GDA00020943896000000625
为t-1时刻输出向量在该公式中的权重矩阵，
Figure GDA00020943896000000626
为在该公式中的偏置。
在公式(10)中计算
Figure GDA00020943896000000627
为实体输入门备选状态，其中
Figure GDA00020943896000000628
分别为实体1与实体2在该公式中的权重矩阵，
Figure GDA00020943896000000629
为t-1时刻输出向量在该公式中的权重矩阵，
Figure GDA00020943896000000630
为在该公式中的偏置。
在公式(11)中计算
Figure GDA00020943896000000631
为关系输入门备选状态，其中
Figure GDA00020943896000000632
为关系在该公式中的权重矩阵，
Figure GDA00020943896000000633
为t-1时刻输出向量在该公式中的权重矩阵，
Figure GDA00020943896000000634
为在该公式中的偏置。
在公式(12)中计算
Figure GDA0002094389600000071
为实体细胞状态，
Figure GDA0002094389600000072
为t-1时刻的实体细胞状态，
Figure GDA0002094389600000073
为遗忘门系数，
Figure GDA0002094389600000074
为输入门系数，
Figure GDA0002094389600000075
为实体输入门备选状态。
在公式(13)中计算
Figure GDA0002094389600000076
为关系细胞状态，
Figure GDA0002094389600000077
为t-1时刻的关系细胞状态，
Figure GDA0002094389600000078
为遗忘门系数，
Figure GDA0002094389600000079
为输入门系数，
Figure GDA00020943896000000710
为关系输入门备选状态。
在公式(14)中计算ot为输出门系数，
Figure GDA00020943896000000711
分别为实体1、实体2在该公式中的权重矩阵，
Figure GDA00020943896000000712
为关系在该公式中的权重矩阵，Uo为t-1时刻的输出向量在该公式中的权重矩阵，bo为该公式中的偏置。
在公式(15)中计算ht为输出门结果，ot为输出门系数，
Figure GDA00020943896000000713
为实体细胞状态在该公式中的权重矩阵，
Figure GDA00020943896000000714
为实体细胞状态，
Figure GDA00020943896000000715
为关系细胞状态在该公式中的权重矩阵，
Figure GDA00020943896000000716
为关系细胞状态。
在增强型LSTM模型，实体与关系向量采用word2vec初始化，其向量长度为200；所有的权重矩阵与偏置采用截断的正态分布做初始化，当参数收敛时或者当达到最大迭代次数10次时训练结束；模型中的σ为sigmoid函数，tanh为tanh函数。
采用Attention机制得到每个实体-关系-实体三元组对于文本分级的重要程度，在t时刻得到每一个三元组的重要性程度。记decoder模型时刻t的target hidden为ht，encoder的输出隐藏向量hidden state为hs，encoder的全部输出向量集合为HS，对于其中任意ht，hs,其权重a(t)s的具体公式为：
Figure GDA00020943896000000717
其中：
Figure GDA00020943896000000718
Figure GDA00020943896000000719
为评分函数中的重要性系数，采用截断的正态分布做初始化；Wα为[ht，hs]在该公式中的权重矩阵，当参数收敛时或者当达到最大迭代次数10次时训练结束。
在Decoder层采用标准LSTM模型，将基于Attention机制之后的中间隐藏向量作为Decoder层的输入，在LSTM层之后的隐藏向量通过softmax得到最后的文本分级结果。

Claims (1)

1.一种基于注意力机制神经网络与知识图谱的医疗文本分级方法，包括四个步骤：直接关系抽取步骤(1)、直接关系统一步骤(2)、间接语义关系推理步骤(3)、神经网络分级步骤(4)；
(1)直接关系抽取步骤
从知识图谱中得到实体-关系-实体之间的直接关系三元组数据，从文本数据中基于规则得到实 体-关系-实体之间直接关系三元组数据；
(2)直接关系统一步骤：该步骤将得到的所有直接关系三元组数据基于标准化的点互信息将从知识图谱与文本数据中的实体-关系-实体直接关系三元组统一起来，得到相同的实体与关系节点；
(3)间接语义关系推理步骤(3)是将得到的所有的直接关系三元组通过TransE算法推导，得到两个实体之间存在间接语义关系，从而得到文本数据中的所有数据；
(4)神经网络分级步骤(4)应用基于Attention机制的增强型LSTM神经网络模型得到文本分级结果；通过增强型LSTM模型作为Encoder模型，基于Attention机制计算得到实体-关系-实体三元组对于文本分级的重要程度，并且通过普通的LSTM作为Decoder模型通过softmax变换得到文本分级结果；
其特征在于步骤(4)，具体如下：
在增强型LSTM模型中细胞向量有两个，分别作为实体细胞向量与关系细胞向量，两个细胞向量分别计算实体与关系的长短信息并分别保存，在输出门采用将两个细胞向量通过一个全连接层得到最后的输出向量；
在t时刻的增强型LSTM模型的具体公式如下：
Figure FDA0002971878490000011
Figure FDA0002971878490000012
Figure FDA0002971878490000013
Figure FDA0002971878490000014
Figure FDA0002971878490000015
Figure FDA0002971878490000016
Figure FDA0002971878490000017
Figure FDA0002971878490000021
Figure FDA0002971878490000022
Figure FDA0002971878490000023
在公式(6)中计算
Figure FDA0002971878490000024
为实体遗忘门系数，其中
Figure FDA0002971878490000025
分别为实体1与实体2在该公式中的权重矩阵，
Figure FDA0002971878490000026
为t-1时刻输出向量在该公式中的权重矩阵，
Figure FDA0002971878490000027
为在该公式中的偏置；
在公式(7)中计算
Figure FDA0002971878490000028
为关系遗忘门系数，其中
Figure FDA0002971878490000029
为关系在该公式中的权重矩阵，
Figure FDA00029718784900000210
为t-1时刻输出向量在该公式中的权重矩阵，
Figure FDA00029718784900000211
为在该公式中的偏置；
在公式(8)中计算
Figure FDA00029718784900000212
为实体输入门系数，其中
Figure FDA00029718784900000213
分别为实体1与实体2在该公式中的权重矩阵，
Figure FDA00029718784900000214
为t-1时刻输出向量在该公式中的权重矩阵，
Figure FDA00029718784900000215
为在该公式中的偏置；
在公式(9)中计算
Figure FDA00029718784900000216
为关系输入门系数，其中
Figure FDA00029718784900000217
为关系在该公式中的权重矩阵，
Figure FDA00029718784900000218
为t-1时刻输出向量在该公式中的权重矩阵，
Figure FDA00029718784900000219
为在该公式中的偏置；
在公式(10)中计算
Figure FDA00029718784900000220
为实体输入门备选状态，其中
Figure FDA00029718784900000221
分别为实体1与实体2在该公式中的权重矩阵，
Figure FDA00029718784900000222
为t-1时刻输出向量在该公式中的权重矩阵，
Figure FDA00029718784900000223
为在该公式中的偏置；
在公式(11)中计算
Figure FDA00029718784900000224
为关系输入门备选状态，其中
Figure FDA00029718784900000225
为关系在该公式中的权重矩阵，
Figure FDA00029718784900000226
为t-1时刻输出向量在该公式中的权重矩阵，
Figure FDA00029718784900000227
为在该公式中的偏置；
在公式(12)中计算
Figure FDA00029718784900000228
为实体细胞状态，
Figure FDA00029718784900000229
为t-1时刻的实体细胞状态，
Figure FDA00029718784900000230
为遗忘门系数，
Figure FDA00029718784900000231
为输入门系数，
Figure FDA00029718784900000232
为实体输入门备选状态；
在公式(13)中计算
Figure FDA00029718784900000233
为关系细胞状态，
Figure FDA00029718784900000234
为t-1时刻的关系细胞状态，
Figure FDA00029718784900000235
为遗忘门系数，
Figure FDA00029718784900000236
为输入门系数，
Figure FDA00029718784900000237
为关系输入门备选状态；
在公式(14)中计算ot为输出门系数，
Figure FDA00029718784900000238
分别为实体1、实体2在该公式中的权重矩阵，
Figure FDA00029718784900000239
为关系在该公式中的权重矩阵，Uo为t-1时刻的输出向量在该公式中的权重矩阵，bo为该公式中的偏置；
在公式(15)中计算ht为输出门结果，ot为输出门系数，
Figure FDA00029718784900000240
为实体细胞状态在该公式中的权重矩阵，
Figure FDA00029718784900000241
为实体细胞状态，
Figure FDA00029718784900000242
为关系细胞状态在该公式中的权重矩阵，
Figure FDA00029718784900000243
为关系细胞状态；
在增强型LSTM模型，实体与关系向量采用word2vec初始化，其向量长度为200；所有的权重矩阵与偏置采用截断的正态分布做初始化，当参数收敛时或者当达到最大迭代次数10次时训练结束；模型中的σ为sigmoid函数，tanh为tanh函数；
采用Attention机制得到每个实体-关系-实体三元组对于文本分级的重要程度，在t时刻得到每一个三元组的重要性程度；记decoder模型时刻t的target hidden为ht，encoder的输出隐藏向量hidden state为hs,encoder的全部输出向量集合为HS，对于其中任意ht,hs,其权重a(t)s的具体公式为：
Figure FDA0002971878490000031
其中：
Figure FDA0002971878490000032
Figure FDA0002971878490000033
为评分函数中的重要性系数，采用截断的正态分布做初始化；Wα为[ht,hs]在该公式中的权重矩阵，当参数收敛时或者当达到最大迭代次数10次时训练结束；
在Decoder层采用标准LSTM模型，将基于Attention机制之后的中间隐藏向量作为Decoder层的输入，在LSTM层之后的隐藏向量通过softmax得到最后的文本分级结果。
CN201910246935.0A 2019-03-29 2019-03-29 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法 Active CN110046252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910246935.0A CN110046252B (zh) 2019-03-29 2019-03-29 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910246935.0A CN110046252B (zh) 2019-03-29 2019-03-29 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法

Publications (2)

Publication Number Publication Date
CN110046252A CN110046252A (zh) 2019-07-23
CN110046252B true CN110046252B (zh) 2021-07-30

Family

ID=67275560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910246935.0A Active CN110046252B (zh) 2019-03-29 2019-03-29 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法

Country Status (1)

Country Link
CN (1) CN110046252B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688537A (zh) * 2019-09-25 2020-01-14 中国科学技术大学 一种计算图节点低维表征及相关应用方法
CN110825882B (zh) * 2019-10-09 2022-03-01 西安交通大学 一种基于知识图谱的信息系统管理方法
CN111090755B (zh) * 2019-11-29 2023-04-04 福建亿榕信息技术有限公司 一种文本关联关系判别方法及存储介质
CN111368528B (zh) * 2020-03-09 2022-07-08 西南交通大学 一种面向医学文本的实体关系联合抽取方法
CN113468335A (zh) * 2020-03-30 2021-10-01 海信集团有限公司 实体隐含关系抽取方法及设备
CN111881256B (zh) * 2020-07-17 2022-11-08 中国人民解放军战略支援部队信息工程大学 文本实体关系抽取方法、装置及计算机可读存储介质设备
CN112016279B (zh) * 2020-09-04 2023-11-14 平安科技（深圳）有限公司 电子病历结构化方法、装置、计算机设备和存储介质
CN111950303B (zh) * 2020-10-19 2021-01-08 平安科技（深圳）有限公司 医疗文本翻译方法、装置及存储介质
CN112364174A (zh) * 2020-10-21 2021-02-12 山东大学 基于知识图谱的病人病历相似度评估方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875051A (zh) * 2018-06-28 2018-11-23 中译语通科技股份有限公司 面向海量非结构化文本的知识图谱自动构建方法及系统
CN109062939A (zh) * 2018-06-20 2018-12-21 广东外语外贸大学 一种面向汉语国际教育的智能导学方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706113B2 (en) * 2017-01-06 2020-07-07 Microsoft Technology Licensing, Llc Domain review system for identifying entity relationships and corresponding insights

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062939A (zh) * 2018-06-20 2018-12-21 广东外语外贸大学 一种面向汉语国际教育的智能导学方法
CN108875051A (zh) * 2018-06-28 2018-11-23 中译语通科技股份有限公司 面向海量非结构化文本的知识图谱自动构建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Domain Specific NMT based on Knowledge Graph Embedding and Attention;Hao Yang等;《2019 21st International Conference on Advanced Communication Technology (ICACT)》;20190220;全文 *
基于知识图谱扩展的短文本分类方法;丁连红等;《情报工程》;20181231;第4卷(第5期);正文第3小节 *

Also Published As

Publication number Publication date
CN110046252A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110046252B (zh) 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法
CN112131404B (zh) 一种四险一金领域知识图谱中实体对齐方法
CN109284506B (zh) 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
CN112487143B (zh) 一种基于舆情大数据分析的多标签文本分类方法
CN110879940B (zh) 一种基于深度神经网络的机器翻译方法及系统
CN112883738A (zh) 基于神经网络和自注意力机制的医学实体关系抽取方法
CN112560432B (zh) 基于图注意力网络的文本情感分析方法
CN111291556B (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
CN110765775A (zh) 一种融合语义和标签差异的命名实体识别领域自适应的方法
CN111666758B (zh) 中文分词方法、训练设备以及计算机可读存储介质
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN112487193B (zh) 一种基于自编码器的零样本图片分类方法
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN112464816A (zh) 基于二次迁移学习的地方手语识别方法、装置
CN112069827B (zh) 一种基于细粒度主题建模的数据到文本生成方法
CN113535953A (zh) 一种基于元学习的少样本分类方法
CN115099409A (zh) 一种文本-图像增强的多模态知识图谱嵌入方法
CN116521882A (zh) 基于知识图谱的领域长文本分类方法及系统
CN111428518B (zh) 一种低频词翻译方法及装置
CN114925205A (zh) 基于对比学习的gcn-gru文本分类方法
CN113191150B (zh) 一种多特征融合的中文医疗文本命名实体识别方法
Yonglan et al. [Retracted] English‐Chinese Machine Translation Model Based on Bidirectional Neural Network with Attention Mechanism
CN114048314A (zh) 一种自然语言隐写分析方法
CN113204640A (zh) 一种基于注意力机制的文本分类方法
CN113158659A (zh) 一种基于司法文本的涉案财物计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhao Liang

Inventor after: Li Jianqiang

Inventor after: Zhao Qing

Inventor before: Li Jianqiang

Inventor before: Zhao Liang

Inventor before: Zhao Qing

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220914

Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Yami Technology (Guangzhou) Co.,Ltd.

Address before: 100124 No. 100 Chaoyang District Ping Tian Park, Beijing

Patentee before: Beijing University of Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221221

Address after: Room 01, Floor 4, Block A, Building 1, No. 2829 Jinke Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, March 2012

Patentee after: Pioneer medical research (Shanghai) Co.,Ltd.

Address before: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Yami Technology (Guangzhou) Co.,Ltd.