CN107239445A - 一种基于神经网络的新闻事件抽取的方法及系统 - Google Patents

Abstract

本发明公开了一种基于神经网络的新闻事件抽取的方法及系统，该方法的步骤为：对训练语料原始文本进行数据预处理；将以词向量表示的事件句序列传入到双向长短时记忆网络，利用双向长短时记忆网络来训练得到每个候选触发词的语义特征；将以词向量表示的事件句序列传入到卷积神经网络中，利用卷积神经网络训练得到候选触发词所在事件句的全局特征；根据候选触发词的语义特征与候选触发词所在句子的全局特征，利用softmax作为分类器来对每个候选触发词进行分类，从而找出新闻事件的触发词，并根据触发词类型，判断该事件所属类型。本发明能够快速准确的抽取新闻事件，处理不规范语句中包含的新闻事件，具有效率高和普遍适用性的特点。

Description

一种基于神经网络的新闻事件抽取的方法及系统

技术领域

本发明涉及自然语言处理，尤其涉及一种基于双向长短时记忆网络(BiLSTM)与卷积神经网络(CNN)结合的新闻事件抽取方法及系统。

背景技术

随着计算机的发展和互联网的日益普及，大量信息以电子文本的形式出现在人们面前。在大量的网络文本中，如何发掘有价值的新闻事件已经成为迫切需要解决的问题，事件抽取正是在这种背景下产生的。作为信息抽取的一个子任务，事件抽取是信息抽取的研究热点，它的研究内容是自动的从自然文本中发现特定类型的事件及其事件元素。

从文本中抽取相应的事件通常是通过识别事件的触发词来实现的，所以触发词是识别事件实例的关键。

专利号为CN201210321193.1的专利文献公开了一种事件抽取方法，利用触发词形态结构，结合义原相似度来扩展触发词，这样在抽取事件实例时，不仅可以抽取已知触发词对应的事件实例，还可以抽取扩展的未知触发词对应的事件实例，提高了事件抽取的召回率。专利号为CN201410108447.0的专利文献公开了一种新闻原子事件抽取方法，首先利用初步融合规则库和信息单元融合规则库对词性和命名体识别结果进行融合，然后利用核心词表和事件抽取规则库对新闻正文的信息单元融合结果进行事件抽取。

基于上述研究现状，针对新闻事件抽取主要存在以下问题：第一、对新闻事件的判别主要依赖于触发词本身，忽视了上下文关系，在遇到具有歧义的候选触发词时，容易造成事件类别的判断错误。第二，网络文本尤其是微博文本多为不规范语句，当前的事件抽取方法缺乏从不规范语句中提取事件的研究。

发明内容

本发明的目的是克服已有技术中的不足之处，提供一种基于神经网络的新闻事件抽取的方法及系统，以消除候选触发词歧义并且能够处理不规范语句的新闻事件。

为实现上述目的，本发明采用的技术方案为：

一种基于神经网络的新闻事件抽取的方法，包括以下步骤：

步骤S1，对训练语料原始文本进行数据预处理：对训练语料原始文本进行分句，得到事件句，然后对事件句进行分词、命名体识别；根据人工标注的新闻事件信息，将事件句进行序列标注，触发词根据其类型进行标注，非触发词标注为无类别，得到事件句序列；并将事件句序列以词向量的形式进行表述；

步骤S2，将以词向量表示的事件句序列传入到双向长短时记忆网络，利用双向长短时记忆网络来训练得到每个候选触发词的语义特征；

步骤S3，将以词向量表示的事件句序列传入到卷积神经网络中，利用卷积神经网络训练得到候选触发词所在事件句的全局特征；

步骤S4，根据步骤S2中得到的候选触发词的语义特征与步骤S3中获得的候选触发词所在句子的全局特征，利用softmax作为分类器来对每个候选触发词进行分类，从而找出新闻事件的触发词，并根据触发词类型，判断该事件所属类型。

步骤S1具体为：

步骤S11，采用自然语言处理工具对训练语料原始文本进行分句，分词和命名体识别，使训练语料原始文本以事件句和每句包含若干个词汇呈现，则事件句表达为L＝{w₁,w₂,…,w_i,…,w_n}，其中w_i为句子中第i个词，n表示事件句长度；

步骤S12，根据分词和命名体识别结果，对事件句进行人工标注，在标注过程中，将非触发词标记为无类型，触发词根据所属新闻事件类别进行标注，得到事件句序列；

步骤S13，通过开源工具包word2vec训练得到词向量，采用Skip-gram模型，根据训练得到的词向量，将事件句序列中每个词表述为一个300长度的向量；

步骤S14，将每个事件句处理成词向量表述的序列形式，即每个候选触发词w_i以一个300长度的词向量x_i来表示，事件句表述为L＝{x₁,x₂,…,x_i,…,x_n}。

步骤S2具体为：

步骤S21，假设事件句表述为L＝{x₁,x₂,…,x_i,…,x_n}，其中x_i为第i个候选触发词的词向量，n表示句子长度；

步骤S22，将L作为一个序列传入长短时记忆网络，得到序列的输出结果FW＝{fw₁,fw₂,…,fw_i,…,fw_n}，其中，fw_i表示第i个候选触发词经过长短时记忆网络提取出来的语义特征；

步骤S23，将L进行反转即L′＝{x_n,x_n-1,…,x_i,…,x₁}，将反向序列L′传入长短时记忆网络，得到反向序列的输出结果BW＝{bw₁,bw₂,…,bw_i,…,bw_n}，其中，bw_i个候选触发词经过反向长短时记忆网络提取出来的语义特征；

步骤S24，将双向长短时记忆网络获得输出结果的FW与BW进行拼接，得到句子L经过双向长短时记忆网络的输出结果，即O＝{r₁,r₂,…,r_i,…,r_n}，其中r_i＝[fw_i:bw_i]。

步骤S3具体为：

步骤S31，假设事件句表述为L＝{x₁,x₂,…,x_i,…,x_n}，其中x_i为第i个单词的词向量，n表示句子长度；

步骤S32，对事件句采取卷积操作，计算公式为：

C_i＝f(w^Tx_i:i-h+1+b)

其中，f是激活函数，C_i表示卷积得到的特征，w表示权重矩阵，h表示卷积核大小，i:i-h+1表示第i个词到第i-h+1个词，b表示偏置；

通过滑动窗口，对所有词进行卷积得到特征图；

步骤S33，使用最大池化，对特征图进行池化，得到事件句的全局特征C_o。

步骤S4具体为：

步骤S31，将双向长短时记忆网络获得的候选触发词语义特征O＝{r₁,r₂,…,r_i,…,r_n}与卷积神经网络提取出的句子全局特征C_o进行级联，得到输出向量O_t＝[O:C_o]；

步骤S32，使用softmax对输出向量O_t进行分类，获得新闻事件预测的类型。

一种基于神经网络的新闻事件抽取的系统，包括文本与处理模块、神经网络训练模块、新闻事件预测模块，其中：

所述文本与处理模块用于对训练语料原始文本进行数据预处理，包括：对训练语料原始文本进行分句，得到事件句，然后对事件句进行分词、命名体识别；根据人工标注的新闻事件信息，将事件句进行序列标注，触发词根据其类型进行标注，非触发词标注为无类别，得到事件句序列；并将事件句序列以词向量的形式进行表述；

所述神经网络训练模块包括双向长短时记忆网络训练模块和卷积神经网络训练模块，双向长短时记忆网络训练模块用于将以词向量表示的事件句序列训练，得到每个候选触发词的语义特征；卷积神经网络训练模块用于将以词向量表示的事件句序列训练，得到候选触发词所在事件句的全局特征；

所述新闻事件预测模块用于根据神经网络训练模块得到的候选触发词的语义特征与候选触发词所在句子的全局特征，利用softmax作为分类器来对每个候选触发词进行分类，从而找出新闻事件的触发词，并根据触发词类型，判断该事件所属类型。

有益效果：由于采用了上述技术方案，本发明与现有技术相比具有如下有益效果：

1、本发明采用了双向长短时记忆网络(BiLSTM)，能够根据候选触发词的上下文信息消除候选触发词的歧义。比如“一辆车撞上了高速公路的护栏。”和“今天我去吃饭的时候正好撞上了好久不见的同学。”，以上两个句子中触发词都为“撞上”，前者属于交通事故类事件，后者属于遇见类事件。采用BiLSTM提取候选触发词语义信息时，能够根据句子的上下文信息判断出候选触发词的实际意思，可有效避免词汇的歧义现象，从而提高新闻事件分类的准确率。

2、本发明采用卷积神经网络(CNN)抽取出的句子全局特征，当句子是不规范语句时，根据句子的全局特征与候选触发词的语义特征共同判断，可以准确的判断出事件类别。因此，本发明可以解决不规范语句的新闻事件识别问题。

附图说明

图1是本发明提供的基于神经网络的新闻事件抽取方法及系统的流程图；

图2是基于双向长短时记忆网络(BiLSTM)和卷积神经网络(CNN)的新闻事件抽取的关键步骤工作流程；

图3是卷积神经网络(CNN)结构示意图。

具体实施方式

下面通过具体实施方式对本发明做进一步的描述。

如图1所示为一种基于神经网络的新闻事件抽取的系统，包括文本与处理模块、神经网络训练模块、新闻事件预测模块，其中：

文本与处理模块用于对训练语料原始文本进行数据预处理，包括：对训练语料原始文本进行分句，得到事件句，然后对事件句进行分词、命名体识别；根据人工标注的新闻事件信息，将事件句进行序列标注，触发词根据其类型进行标注，非触发词标注为无类别，得到事件句序列；并将事件句序列以词向量的形式进行表述；

神经网络训练模块包括双向长短时记忆网络训练模块和卷积神经网络训练模块，双向长短时记忆网络训练模块用于将以词向量表示的事件句序列训练，得到每个候选触发词的语义特征；卷积神经网络训练模块用于将以词向量表示的事件句序列训练，得到候选触发词所在事件句的全局特征；

新闻事件预测模块用于根据神经网络训练模块得到的候选触发词的语义特征与候选触发词所在句子的全局特征，利用softmax作为分类器来对每个候选触发词进行分类，从而找出新闻事件的触发词，并根据触发词类型，判断该事件所属类型。

下面结合具体实例对本发明做进一步说明。

一种基于神经网络的新闻事件抽取的方法，本示例语句为：“11时25分，S20外圈沪渝立交发生一起3车追尾事故。”已知在该句子中事件触发词为“追尾”，所属的新闻事件类别为交通事故。

步骤一、对该事件句进行分词，命名体识别。可得：

11时25分\O S20外圈\O 沪渝立交\O 发生\O一起\O 3车\O 追尾\Y 事故\O

事件触发词“追尾”被标记为属于交通事故，其余候选触发词标记为无类别，获得该事件句的序列标注L＝{w₁,w₂,…,w_i,…,w_n}，其中，w_i为事件句中第i个词，n表示事件句长度。

选取足够大的语料，使用开源工具包word2vec进行词向量的训练，选取Skip-gram模型，每个词表述为一个300长度的向量。

则最终该事件句可表述为：L＝{x₁,x₂,…,x_i,…,x_n}，其中x_i为事件句中第i个词的300维的向量，n表示事件句长度。

步骤二、将待训练的事件句L＝{x₁,x₂,…,x_i,…,x_n}传入到双向长短时记忆网络(BiLSTM)，利用BiLSTM来训练得到的每个候选触发词的语义特征，如图2。

将句子L作为一个序列传入长短时记忆网络(LSTM)，得到序列的输出结果FW＝{fw₁,fw₂,…,fw_i,…,fw_n}。fw_i表示第i个候选触发词经过LSTM提取出来的语义特征，n表示事件句长度。其中对于fw_i的计算过程如下：

定义x_t为t时刻的输入词向量，h_t为在t时刻存储所有有用信息的隐藏层状态向量，σ为sigmoid回归层，U_i,U_f,U_c,U_o为不同状态下针对输入x_t的权重矩阵，W_i,W_f,W_c,W_o为隐藏层状态h_t的权重矩阵，b_i,b_f,b_c,b_o为偏置向量；

(1)在t时刻遗忘门的计算如(1)式所示：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (1)

(2)在t时刻更新h_t-1中存储的所有信息，计算公式如(2)、(3)式所示：

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (2)

上式中，i_t表示t时刻决定需要更新的值、表示确定更新的信息。

(3)在t时刻将t-1时刻存储的信息更新为t时刻的存储信息，计算公式为式(4)：

(4)在t时刻的输出如式(5)所示，并更新h_t，计算公式如式(6)：

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (5)

h_t＝o_t*tanh(C_t) (6)

其中o_t为t时刻的输出；h_t为t时刻隐藏层的向量。最终，fw_t＝o_t，即句子中第t个词的输出为fw_t。

同理得出BW＝{bw₁,bw₂,…,bw_i,…,bw_n}，将双向LSTM获得输出结果的FW与BW进行拼接，得到句子L经过双向长短时记忆网络(BiLSTM)的输出结果，即O＝{r₁,r₂,…,r_i,…,r_n}，其中r_i＝[fw_i:bw_i]。

步骤三、将待训练的事件句L＝{x₁,x₂,…,x_i,…,x_n}传入到卷积神经网络(CNN)中，利用CNN获取候选触发词所在句子的全局特征，如图3。

(1)对句子采取卷积操作，计算公式为(7)：

C_i＝f(w^Tx_i:i-h+1+b) (7)

其中，f是激活函数，C_i表示卷积得到的特征，w表示权重矩阵，h表示卷积核大小，i:i-h+1表示第i个词到第i-h+1个词，b表示偏置；

通过滑动窗口，对所有词进行卷积得到特征图。

(2)使用最大池化，对特征图进行池化，得到句子特征C_o。

步骤四、根据步骤二所得事件句L＝{x₁,x₂,…,x_i,…,x_n}的语义特征O＝{r₁,r₂,…,r_i,…,r_n}(其中候选触发词x_i对应语义特征为r_i)，和步骤三所得事件句L的全局特征C_o，进行分类，从而所属的新闻事件类别。

将步骤二所得事件句L＝{x₁,x₂,…,x_i,…,x_n}的语义特征O＝{r₁,r₂,…,r_i,…,r_n}(其中候选触发词x_i对应语义特征为r_i)，和步骤三所得事件句L的全局特征C_o进行级联，得到输出向量O_t＝[O:C_o]；使用softmax对输出向量O_t进行分类，获得新闻事件预测的类型。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于神经网络的新闻事件抽取的方法，其特征在于：包括以下步骤：

步骤S1，对训练语料原始文本进行数据预处理：对训练语料原始文本进行分句，得到事件句，然后对事件句进行分词、命名体识别；根据人工标注的新闻事件信息，将事件句进行序列标注，触发词根据其类型进行标注，非触发词标注为无类别，得到事件句序列；并将事件句序列以词向量的形式进行表述；

步骤S2，将以词向量表示的事件句序列传入到双向长短时记忆网络，利用双向长短时记忆网络来训练得到每个候选触发词的语义特征；

步骤S3，将以词向量表示的事件句序列传入到卷积神经网络中，利用卷积神经网络训练得到候选触发词所在事件句的全局特征；

步骤S4，根据步骤S2中得到的候选触发词的语义特征与步骤S3中获得的候选触发词所在句子的全局特征，利用softmax作为分类器来对每个候选触发词进行分类，从而找出新闻事件的触发词，并根据触发词类型，判断该事件所属类型。

2.根据权利要求1所述的基于神经网络的新闻事件抽取的方法，其特征在于：步骤S1具体为：

步骤S11，采用自然语言处理工具对训练语料原始文本进行分句，分词和命名体识别，使训练语料原始文本以事件句和每句包含若干个词汇呈现，则事件句表达为L＝{w₁,w₂,…,w_i,…,w_n}，其中w_i为句子中第i个词，n表示事件句长度；

步骤S12，根据分词和命名体识别结果，对事件句进行人工标注，在标注过程中，将非触发词标记为无类型，触发词根据所属新闻事件类别进行标注，得到事件句序列；

步骤S13，通过开源工具包word2vec训练得到词向量，采用Skip-gram模型，根据训练得到的词向量，将事件句序列中每个词表述为一个300长度的向量；

步骤S14，将每个事件句处理成词向量表述的序列形式，即每个候选触发词w_i以一个300长度的词向量x_i来表示，事件句表述为L＝{x₁,x₂,…,x_i,…,x_n}。

3.根据权利要求1所述的基于神经网络的新闻事件抽取的方法，其特征在于：步骤S2具体为：

步骤S21，假设事件句表述为L＝{x₁,x₂,…,x_i,…,x_n}，其中x_i为第i个候选触发词的词向量，n表示句子长度；

步骤S22，将L作为一个序列传入长短时记忆网络，得到序列的输出结果FW＝{fw₁,fw₂,…,fw_i,…,fw_n}，其中，fw_i表示第i个候选触发词经过长短时记忆网络提取出来的语义特征；

步骤S23，将L进行反转即L′＝{x_n,x_n-1,…,x_i,…,x₁}，将反向序列L′传入长短时记忆网络，得到反向序列的输出结果BW＝{bw₁,bw₂,…,bw_i,…,bw_n}，其中，bw_i个候选触发词经过反向长短时记忆网络提取出来的语义特征；

步骤S24，将双向长短时记忆网络获得输出结果的FW与BW进行拼接，得到句子L经过双向长短时记忆网络的输出结果，即O＝{r₁,r₂,…,r_i,…,r_n}，其中r_i＝[fw_i:bw_i]。

4.根据权利要求1所述的基于神经网络的新闻事件抽取的方法，其特征在于：步骤S3具体为：

步骤S31，假设事件句表述为L＝{x₁,x₂,…,x_i,…,x_n}，其中x_i为第i个单词的词向量，n表示句子长度；

步骤S32，对事件句采取卷积操作，计算公式为：

C_i＝f(w^Tx_i:i-h+1+b)

其中，f是激活函数，C_i表示卷积得到的特征，w表示权重矩阵，h表示卷积核大小，i:i-h+1表示第i个词到第i-h+1个词，b表示偏置；

通过滑动窗口，对所有词进行卷积得到特征图；

步骤S33，使用最大池化，对特征图进行池化，得到事件句的全局特征C_o。

5.根据权利要求1所述的基于神经网络的新闻事件抽取的方法，其特征在于：步骤S4具体为：

步骤S31，将双向长短时记忆网络获得的候选触发词语义特征O＝{r₁,r₂,…,r_i,…,r_n}与卷积神经网络提取出的句子全局特征C_o进行级联，得到输出向量O_t＝[O:C_o]；

步骤S32，使用softmax对输出向量O_t进行分类，获得新闻事件预测的类型。

6.一种基于神经网络的新闻事件抽取的系统，其特征在于：包括文本与处理模块、神经网络训练模块、新闻事件预测模块，其中：

所述文本与处理模块用于对训练语料原始文本进行数据预处理，包括：对训练语料原始文本进行分句，得到事件句，然后对事件句进行分词、命名体识别；根据人工标注的新闻事件信息，将事件句进行序列标注，触发词根据其类型进行标注，非触发词标注为无类别，得到事件句序列；并将事件句序列以词向量的形式进行表述；

所述神经网络训练模块包括双向长短时记忆网络训练模块和卷积神经网络训练模块，双向长短时记忆网络训练模块用于将以词向量表示的事件句序列训练，得到每个候选触发词的语义特征；卷积神经网络训练模块用于将以词向量表示的事件句序列训练，得到候选触发词所在事件句的全局特征；

所述新闻事件预测模块用于根据神经网络训练模块得到的候选触发词的语义特征与候选触发词所在句子的全局特征，利用softmax作为分类器来对每个候选触发词进行分类，从而找出新闻事件的触发词，并根据触发词类型，判断该事件所属类型。