CN109783618B - 基于注意力机制神经网络的药物实体关系抽取方法及系统 - Google Patents

Abstract

本发明涉及一种基于注意力机制神经网络的药物实体关系抽取方法及系统。该方法包括：(1)解析药化文献的文本内容，以句子为基本单位分句，并对句子中的每个词进行向量化表示；(2)将向量化表示的结果输入循环神经网络，通过循环神经网络按照前后双向语序提取句子中各词的关联特征并识别各药化实体；(3)通过注意力机制神经网络获得句子中的词间重要性权重，并将其与步骤(2)的输出合并；(4)将步骤(3)得到的结果输入卷积神经网络，通过卷积神经网络对各药化实体词两两预测类别关系。本发明增加注意力机制关注实体类别信息权重的分类方法能够降低长句中错误的依存分析结果带来的影响，提高药化实体关系抽取准确率。

Description

基于注意力机制神经网络的药物实体关系抽取方法及系统

技术领域

本发明属于自然语言处理领域，涉及一种信息抽取技术，特别涉及一种药物化学文献中药物实体相互作用关系的抽取方法及系统。

背景技术

药化实体关系抽取是药物化学知识库构建中的基本任务，所建系统自动从文献中抽取实体之间的关系，为疾病治疗、药物开发、生命科学研究提供了更为重要的参考价值，为药物化学知识数据库的构建和维护提供更深层的信息。实体关系抽取是药化知识获取的基石，以此构建知识库提高对药物化学现象的认知水平。

由于药化文献中同一语句中的药化实体之间关系比较明确，因此本发明只考虑同一语句中的抽取结果。将关系抽取问题转化为有监督的多类分类问题，目的在于从文献中识别出发生相互作用的药化实体对。相比于其它类型的关系抽取，药化实体相互作用关系抽取的研究较少。现有方法主要有两类：基于规则的方法与基于有监督机器学习的方法。基于有监督机器学习的方法又可细分为基于特征的方法与基于核的方法。由于缺少已标注的药化实体相互作用关系语料库，早期的药化实体相互作用关系抽取方法都是基于规则的。自DDIExtraction2011与DDIExtraction2013评测开始，许多基于机器学习的方法被用于药化实体相互作用关系抽取。

基于规则的方法，这类方法认为表达作用关系的语句结构是固定有限的。Segura-Bedmar的研究是一个典型的基于规则的系统。该系统对语句进行浅层分析检测语句中的语法结构，根据规则将分割复杂长句，然后根据药剂师制定的描述的规则，从短句中抽取相互作用的药化实体对。

基于特征的方法，将关系抽取看作一个分类问题，用各种不同类型的特征显式地将候选关系实例表示成一个特征向量，然后使用有监督的机器学习模型将候选关系实例分类。药化实体相互作用关系抽取中最常用的分类模型是支持向量机。

基于核的方法，核函数的选择对方法性能影响很大。Airola等人采用基于图结构核函数的全路径图核来表示蛋白质关系并建立依存关系图。Chowdhury等人将3个不同的核函数线性加权得到一个复合核函数，用于关系抽取，在DDIExtraction 2013评测的药化实体相互作用关系抽取任务中取得最好的性能。

实践表明基于规则的方法对长句复杂的关系抽取效果不好，而药化领域文献中包含大量同位语、并列结构等复杂结构的长句；制定规则耗时耗力且需要专业领域人员参与；此外，人工编制的规则很难覆盖所有的应用文本场景。现有研究关注基于有监督机器学习的方法，此类方法具有较好的性能与可移植性，但方法依赖于外部的自然语言处理工具，如果外部工具出错会造成错误传播，影响性能。

发明内容

本发明针对上述问题，提出一种有效快捷的基于注意力机制神经网络的药化实体关系抽取方法及系统，目的在于从药化文献中识别出发生相互作用的药化实体对。

目前卷积神经网络模型在文本处理任务中具有较好的性能，本发明引入注意力机制进一步对所关注类别信息赋予重要性权重，降低了具有药化文献语言风格的长句、复杂句所带来错误句法依存信息的影响，提高关系抽取的准确率。

本发明采用的技术方案如下：

一种基于注意力机制神经网络的药物实体关系抽取方法，其步骤包括：

(1)解析药化文献的文本内容，将文本内容以句子为基本单位分句，并对句子中的每个词进行向量化表示；

(2)将步骤(1)的向量化表示的结果输入循环神经网络，通过循环神经网络按照前后双向语序提取句子中各词的关联特征并识别各药化实体；

(3)通过注意力机制神经网络获得句子中的词间重要性权重，并将其与步骤(2)的输出合并；

(4)将步骤(3)得到的结果输入卷积神经网络，通过卷积神经网络对各药化实体词两两预测类别关系。

进一步地，步骤(1)解析文本内容得到的向量包含：词向量、位置向量、词性特征向量，将这三者合并作为步骤(2)中循环神经网络的输入向量。

进一步地，步骤(1)中的词向量通过已有开源算法获得。

进一步地，步骤(2)所述循环神经网络为双向长短期记忆网络。

进一步地，步骤(3)所述注意力机制神经网络是一个单层的前馈神经网络，对各词间重要性进行权重计算。

进一步地，步骤(4)通过卷积神经网络对句子中的实体词两两间抽取句子级特征向量，作为最终的特征向量，用于最终关系分类。

一种基于注意力机制神经网络的药物实体关系抽取系统，其包括：

文献解析模块，负责解析药化文献的文本内容，将文本内容以句子为基本单位分句，并对句子中的每个词进行向量化表示；

文本内容分析模块，负责将所述文献解析模块得到的向量化表示的结果输入循环神经网络，通过循环神经网络按照前后双向语序提取句子中各词的关联特征并识别各药化实体；

注意力机制模块，负责通过注意力机制神经网络获得句子中的词间重要性权重，并将其与所述注意力机制模块的输出合并；

分类模块，负责利用所述注意力机制模块和所述文本内容分析模块的合并后的输出结果，通过卷积神经网络对各药化实体词两两预测类别关系。

与现有技术相比，本发明的有益效果如下：

根据背景分析介绍，传统的关系提取方法对长句复杂的关系抽取效果不好，而药化领域文献中包含大量同位语、并列结构等复杂结构的长句，因此无法满足药化这一特定领域的实体关系提取要求。本发明提出的注意力机制神经网络分类方法，是通过增加注意力机制关注实体类别信息权重的分类方法，能够降低长句中错误的依存分析结果带来的影响，提高药化实体关系抽取准确率。

本发明的药物实体关系抽取方法，能够自动从文献中抽取实体之间的关系，为疾病治疗、药物开发、生命科学研究提供重要的参考价值，为药物化学知识数据库的构建和维护提供更深层的信息。

附图说明

图1为本发明方法的流程图。

图2为提取各药化实体词之间两两关系示意图。

图3为本发明应用注意力机制示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明的技术方法为，从文本内容解析实现向量化输入，将合并的输入向量通过循环神经网络分析各词的关联特征及获得药化实体，然后通过注意力机制关注实体类别信息权重，合并权重信息和关联特征作为卷积神经网络分类器的输入，输出结果为对实体间相互的类别信息。

图1是本发明方法的总体流程图。该方法的步骤如下：

(1)对文本内容分句并获得各个词作为句子的基本元素。根据word2vec算法构造预处理词向量与文本内容中各个词匹配获得的词向量，提取词的位置向量及词性特征向量，并合并作为循环神经网络输入向量。其中，词的位置向量是指某一词在所在句子的位置的表示，例如句子首词表示为0，第二个词表示为1等；词性特征向量是指如果识别某一词为名词则将其向量化表示为00，如果为动词表示为01等等。

图2通过例句“Phenytoin serum phenytoin levels may be increased byaspirin.”展示提取各药化实体词之间两两关系流程。图2中的x为训练文本数据，y为训练数据给出类别标记。其中，x₁、x₂、x₃、x₄表示将句子以词为单位分割的结果，NP为名词短语缩写，VP为动词短语缩写，Drug表示为药物类别，false表示两个药物不存在相互关系，True表示存在关系。

(2)根据标记好的文本数据进行训练，得到循环神经网络模型的内部参数。循环神经网络为双向长短期记忆网络(Bi-LSTM)。该步骤构造循环神经网络各个层参数，如权重矩阵参数及偏置矩阵参数；该层输出获得文本内容的药化实体信息及词的关联特征。

其中，药化实体信息是指药化实体是否存在相互关联关系，关联特征是各药化实体是否存在关系的表征。图1中Bi-LSTM层的

表示第三层隐藏层，

表示反向隐藏层、

表示正向隐藏层，

表示第一层隐藏层。

(3)通过注意力机制神经网络获得词间重要性权重关系并与步骤(2)所得输出合并。

图3中左边的(a)图为注意力机制权重计算方法，右边的(b)图将例句中各词间计算所得重要性权重串联为重要性权重向量。图3中(a)图的两词间权重计算按如下公式所示：

其中：

输入的词特征向量为：

N为句子词数量，

表示自然数，F表示特征维度；

待输出的重要性权重特征向量为：

e_ij表示词x_j对词x_i通过ReLU函数对两个词向量执行一次非线性变换计算获得的重要性信息；

为权重矩阵，参数通过训练本层神经网络获得；

a_ij为通过softmax函数正则化获得的词x_i与句子中其它词的重要性权重关系向量。

图3中(b)图将例句中各词间计算所得重要性权重串联为重要性权重向量。其中

为图2中的词x₁、x₂、x₃、x₄的特征向量，(b)图中每一个a_ij计算方法如(a)图的方法，然后按照a_ij角标顺序连接而成，

是a_ij的特征向量。

(4)通过基于卷积神经网络的分类器分类药化实体关系。

卷积神经网络本身具有提取句子级别特征的机制，卷积神经网络会根据卷积神经网络算法对文本内容实现分类功能。以图2为例，两个实体具有相互关系为true，需要通过领域内的背景知识标注。

本发明另一实施例提供一种基于注意力机制神经网络的抽取药化实体关系系统，其包括：

文献解析模块，负责解析药化文献的文本内容，将文本内容以句子为基本单位分句，并对句子中的每个词进行向量化表示；

文本内容分析模块，负责将所述文献解析模块得到的向量化表示的结果输入循环神经网络，通过循环神经网络按照前后双向语序提取句子中各词的关联特征并识别各药化实体；

注意力机制模块，负责通过注意力机制神经网络获得句子中的词间重要性权重，并将其与所述注意力机制模块的输出合并；

分类模块，负责利用所述注意力机制模块和所述文本内容分析模块的合并后的输出结果，通过卷积神经网络对各药化实体词两两预测类别关系。

本发明未详细阐述部分属于本领域公知技术。

以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制神经网络的药物实体关系抽取方法，其特征在于，包括以下步骤：

(1)解析药化文献的文本内容，将文本内容以句子为基本单位分句，并对句子中的每个词进行向量化表示；

(2)将步骤(1)的向量化表示的结果输入循环神经网络，通过循环神经网络按照前后双向语序提取句子中各词的关联特征并识别各药物实体；

(3)通过注意力机制神经网络获得句子中的词间重要性权重，并将其与步骤(2)的输出合并；

(4)将步骤(3)得到的结果输入卷积神经网络，通过卷积神经网络对各药物实体词两两预测类别关系。

2.根据权利要求1所述的方法，其特征在于，步骤(1)解析文本内容得到的向量包含：词向量、位置向量、词性特征向量，将这三者合并作为步骤(2)中循环神经网络的输入向量。

3.根据权利要求2所述的方法，其特征在于，步骤(1)通过word2vec算法构造词向量、位置向量、词性特征向量。

4.根据权利要求1所述的方法，其特征在于，步骤(2)所述循环神经网络为双向长短期记忆网络。

5.根据权利要求1所述的方法，其特征在于，步骤(3)所述注意力机制神经网络为单层注意力机制前馈神经网络。

6.根据权利要求5所述的方法，其特征在于，步骤(3)所述词间重要性权重按如下公式计算：

其中，输入的词特征向量为：

N为句子词数量，

表示自然数，F表示输入的词特征向量的特征维度；待输出的重要性权重特征向量为：

F'表示待输出的重要性权重特征向量的特征维度；e_ij表示词x_j对词x_i通过ReLU函数对两个词向量执行一次非线性变换计算获得的重要性信息；

为权重矩阵，参数通过训练本层神经网络获得；a_ij为通过softmax函数正则化获得的词x_i与句子中其它词的重要性权重关系向量。

7.根据权利要求1所述的方法，其特征在于，根据标记好的语料进行分类训练，得到所述循环神经网络，所述注意力机制神经网络，以及所述卷积神经网络的分类器的内部参数，所述内部参数包括权重矩阵参数及偏置矩阵参数；通过训练逐渐获得最优分类结果。

8.一种基于注意力机制神经网络的药物实体关系抽取系统，其特征在于，包括：

文献解析模块，负责解析药化文献的文本内容，将文本内容以句子为基本单位分句，并对句子中的每个词进行向量化表示；

文本内容分析模块，负责将所述文献解析模块得到的向量化表示的结果输入循环神经网络，通过循环神经网络按照前后双向语序提取句子中各词的关联特征并识别各药物实体；

注意力机制模块，负责通过注意力机制神经网络获得句子中的词间重要性权重，并将其与所述注意力机制模块的输出合并；

分类模块，负责利用所述注意力机制模块和所述文本内容分析模块的合并后的输出结果，通过卷积神经网络对各药物实体词两两预测类别关系。

9.根据权利要求8所述的系统，其特征在于，还包括分类器训练模块，负责训练所述基于卷积神经网络的分类器。

10.根据权利要求8所述的系统，其特征在于，所述循环神经网络为双向长短期记忆网络；所述注意力机制神经网络为单层注意力机制前馈神经网络。

Images