CN108388560B - 基于语言模型的gru-crf会议名称识别方法 - Google Patents

Abstract

本发明公开了基于语言模型的GRU‑CRF会议名称识别方法，本方法分为两部分，一部分是基于GRU的语言模型，另一部分是基于GRU‑CRF的识别模型。使用有标注的监督数据训练标注模型GRU‑CRF，得到一个不需要特征工程和领域知识的端到端的识别模型。使用大量无标注数据对LM进行无监督训练，从无监督训练得到的LM中获取字向量作为GRU‑CRF的输入，可以提升监督训练的效果，提高识别模型的泛化能力，使得从少量标语料上训练有较好效果的命名实体识别模型成为可能。实验结果表明，LM‑GRU‑CRF方法在自建语料库上得到了最好的效果，对于其他缺乏标注预料的命名实体识别任务而言，可以使用该方法提高模型的效果。

Description

基于语言模型的GRU-CRF会议名称识别方法

技术领域

本发明属于命名实体识别和深度学习领域，是一种基于语言模型(LanguageModel，LM)的GRU(Gated Recurrent Unit)与条件随机场(Conditional Random Fields，CRF)结合的命名实体识别方法。这里识别的会议名称是特定领域的命名实体，只有少量标注语料可用，本发明主要是为了解决这种只有少量标注语料可用情况下的命名实体识别问题。

背景技术

命名实体识别是自然语言处理的一项关键任务，在1995年的MUC会议上被第一次引入，目的是识别文本中的特定类型的事物名称和有意义的数量短语，包括命名性实体、时间、数字等三大类，又可细分为七个小类：人名、地名、机构名、时间、日期、货币以及百分比等。作为自然语言处理中的一项基础任务，命名实体识别对于机器翻译、信息的检索与抽取等工作有重要意义。随着时代的发展，命名实体识别的目标早已超出了上述几类的范围，特定领域的命名实体识别需求非常广泛，如电子病历、生物医学等领域，本文的子实验既是在会议名称识别这一特定领域的命名实体上展开的。除了需要识别的实体在不断增加外，命名实体识别方法也在不断进步和完善。

传统的命名实体识别多采用基于规则和统计机器学习的方法。最初，命名实体识别采用基于手工制定词典和规则的方法。这些方法大多以语言学专家建立的规则知识库和词典为基础，采用模式匹配或者字符串匹配的方法识别命名实体。对于规律性强的文本，基于规则的方法准确而且高效。但对于规律性不强的文本，规则的编写变得困难，识别效果也相当不理想，所以人们开始将目光投向机器学习的方法。

在命名实体识别领域常用的机器学习方法有隐马尔可夫模型(Hidden MarkovModel，HMM)、条件随机场模型(Conditional Random Fields，CRF)、最大熵模型(MaximumEntropy)、支持向量机模型(Support Vector Machine，SVM)等。其中最典型的也是应用比较成功的是隐马尔可夫模型和条件随机场模型。基于机器学习的方法在迁移性、识别效果等方面的表现优于基于规则的方法，但使用统计机器学习方法的命名实体识别模型也存在一些局限性。一方面，为了使推理易于处理，它需要明确的依赖性假设；另一方面，以统计模型为基础的机器学习方法对特征选取的要求比较高，需要选择对命名实体识别任务有影响的各种特征，即特征工程(feature engineering)，它对识别结果有重要影响，但是该过程费时费力；最后，它们通常需要大量的与任务相关的特定知识，如设计HMM的状态模型，或选择CRF的输入特征。

中文命名实体识别面临的挑战：

随着时代发展，面向特定领域的新类型实体的识别需求不断增加，但识别这些实体通常面临只有少量标注语料可用的困境。

统计机器学习的方法本身存在局限性，并且针对不同领与文本需要人工设计特征，并且需要一定的领域知识，需要过多的人力参与。

随着深度学习研究的不断深入和众多科研成果的公布，人们开始利用深度神经网络来处理自然语言。2003年，Bengio提出了一种用于处理序列数据的人工神经网络模型，Goodman对其进行了进一步研究，实验结果证明这种模型在语音识别领域表现好于当时的其它模型，但是当网络层数比较深的时候，很容易过拟合。2006年Hinton提出一个可行的算法，在一定程度上减轻了深层神经网络过拟合的问题，并在图像和语音领域取得惊人的效果，使得深层学习成为近些年研究的热点。2011年Collobert提出一个基于窗口的深层神经网络模型，该模型从输入的句子中自动学习一系列抽象的特征，并通过后向传播算法来训练模型参数。其效果和性能超过了之前的传统算法。该模型的主要缺陷是使用固定长度的上下文，不能充分的利用语境信息。

循环神经网络是深度学习中常用的一类神经网络，包括RNN和RNN的变体LSTM、GRU等，它利用序列信息并通过中间层保持这些信息，这使它在处理序列数据时有独特优势。Mikolov于2010年提出一种基于循环神经网络的语言模型，它不使用固定大小的上下文信息，通过重复链接，信息可以在这些网络内循环。实验结果表明，即使用于训练该模型的数据要少于训练统计模型的数据，该模型的表现也超过了基于统计方法的语言模型。2013年，Graves等人用循环神经网络进行语音识别，实验结果明显好于传统的机器学习方法。

本发明使用循环神经网络在处理序列数据方面的优势,建立了基于循环神经网络的会议名称识别模型.循环神经网络包含多种不同的变体,经过分析对比,本发明最终选用了由RNN改进而来、结构相对简单的GRU.

发明内容

本发明主要是为了解决特定领域命名实体识别只有少数标注语料可用的的问题。本发明提出了一个基于LM的GRU与CRF结合的会议名称识别模型，分为两部分，一部分是基于GRU的语言模型，另一部分是基于GRU-CRF的识别模型。使用有标注的监督数据训练标注模型GRU-CRF，得到一个不需要特征工程和领域知识的端到端的识别模型。使用大量无标注数据对LM进行无监督训练，从无监督训练得到的LM中获取字向量可以提升监督训练的效果，提高识别模型的泛化能力，使得从少量标语料上训练有较好效果的命名实体识别模型成为可能。

为了实现上述目的，本方法采用的技术方案为基于语言模型的GRU-CRF会议名称识别方法，该方法包括以下步骤：

步骤1：对文本进行预处理，消除文本中不合理的字符对和无效字符，并使用语言模型训练字向量，得到字向量，建立向量字典。通过向量字典将输入句子中的每个字映射成固定长度的向量，作为神经网络的输入。

步骤2：双向GRU网络作为特征提取层，使用一个前向GRU层和一个后向GRU层对输入的向量进行计算，提取字本身的特征和句子的语境特征，并将两层GRU计算的结果拼接为一个向量，作为输入的特征向量。

步骤3：将步骤3的结果通过sigmoid函数进行变换，得到每个字对应标签的概率矩阵。

步骤4：CRF层作为标注层，将步骤4的结果作为特征输入到CRF层，经CRF计算和Viterbi解码，并使用softmax进行归一化，得到句子级别的标签序列，该序列是综合了语境特征和标签依赖关系的序列，相较于由GRU单独判定标签的做法来说更合理。通过后处理，找到会议名称的标签，识别出会议名称。

与其它方法相比，本发明具有如下有益的效果：

基于GRU-CRF的标注模型充分利用了循环神经网络在处理序列数据方面的优势。对于特定领域的命名实体识别来说，由于可用的标注语料较少，为了避免未登录词过多带来的性能下降，采用按字输入的方法，这使得序列长度变长，GRU可以从容应对这一问题。另外，GRU与CRF的结合，不但自动提取了输入序列的特征，而且综合考虑了标签之间的依赖关系，给出的标注序列更加合理。本发明使用的识别方法不需要特征工程和领域知识等额外工作，是一种端到端的识别方法。最后，本发明使用无监督训练的语言模型产生字向量，该语言模型对语法语境信息进行了编码，提高了识别模型的效果，充分利用了无标注语料这种简单易得的数据集。

附图说明

图1是本发明设计的语言模型结构。

图2是本发明设计的标注模型GRU-CRF示意图。

图3是LM-GRU-CRF完整示意图。

图4语言模型所使用语料的句长分布。

图5标注模型所使用语料的句长分布。

图6a是不同循环神经网络之间的实验对比中三种方法的结果图。

图6b是加入语言模型后GRU-CRF的识别效果图。

具体实施方式

为了使本发明的的目的、技术方案和特点更加明白，以下对本方法的具体实施给出进一步说明。

本发明的识别模型和语言模型都是用GRU，并且在识别模型中采用GRU与CRF结合的方法，相对其他方法而言，本发明的优势在于：

GRU作为循环神经网络的变体，具有循环神经网络的优势，适合处理自然语言这样的序列数据。同时，从理论上说，GRU参数较少，相较于LSTM来说，其计算效率更高，需要的训练数据相对较少。

GRU可以自动学习低层特征和高层概念，不需要特征工程等繁琐的人力工作，也不需要领域知识，是一种端到端的识别方法。

命名实体识别可以看做序列标注问题，标签之间是存在较强的依赖关系，如标签B-Con后面只能是I-Con或者E-Con，不能是O。B-Con、I-Con、E-Con、O分别表示会议名称的起始边界、会议名称的中间字、会议名称的终止边界、非相关字。使用CRF可以在句子级别给出一个更加合理的标签序列，比只使用GRU网络单独判定标签的方法更有效。

由于GRU可以解决长距离依赖问题，所以使用GRU建立语言模型，可以对语境信息建模，充分利用未标注语料所包含的信息，提高标注模型的泛化能力。

图1是本文的语言模型所使用的结构，图2是本文的标注模型使用的结构。将人民日报语料库的文本提取出来，作为无标注语料库，对语言模型进行训练；构建会议名称识别的标注语料库，使用自建的语料库训练识别模型。训练完成后，使用语言模型产生字向量，以此作为识别模型的输入。图3本发明的完整示意图。具体的实施过程如下：

第一、构建语料库；

步骤1：文本搜集是构建语料库的第一步。本方法搜集的文本来自中国学术会议在线网。这里搜集了会议预告、会议新闻、会议评述、会议回顾的相关材料，一共得到了31.2M的初始文本。

步骤2：人工筛选搜集的文本，删除与会议名称无关的段落，并使用结巴分词对文本句子进行切分，形成了初步标识的语料库。

步骤3：标注已经处理过的文本，即人工标注会议名称。会议名称有两种，一种是简单会议名称，第二种是结构复杂的会议名称。这里采取的策略是最大化边界，即将最完整的会议名称作为一个标注单位，给予会议标签，完成标注。这样做的优势是可以根据后续实验的具体策略灵活的改变会议名称的标注方式，既能够采用并列结构分别标注的方法，也能够采用整体标注的方法。

完成上述步骤后，得到了一个针对会议名称识别的专用语料库，为实验提供了可用的数据集。

第二、语言模型训练；

针对会议名称识别这类只有少量标注语料可用的任务而言，通过在大量无标注语料上训练语言模型，使用该训练语言模型产生字向量作为识别模型的输入，提高识别效果。

步骤4：使用一个双层双向GRU作为语言模型，对于输入序列X＝(x₁,x₂...x_t...)，语言模型根据每个时刻t的输入x_t，分别计算前向状态值和后向状态值：

其中x_t表示t时刻输入的字向量，

表示前向GRU层，

表示后向GRU层，θ表示参数。

步骤5：在输出层，将前向状态值和后向状态值拼接，作为双向GRU的隐藏层状态：

输出层根据h_t预测下一个字的概率，通过反向传播方法，训练该模型，并在训练完成后得到一份字向量，将该字向量表定义为LV。

第三、识别模型训练；

把命名实体识别当作一个序列标注过程，对于一个输入序列

X＝(x₁,x₂,…,x_n)

经过模型计算，给每个输入x_t一个对应的标签，得到一个相应的输出序列

y＝(y₁,y₂,...,y_n)

步骤6：模型的第一层和第二层分别对应输入层和Embedding层。由于神经网络不能直接处理自然语言符号，所以将输入的字或者词转换成对应的向量，即Embedding层的工作，向量E_t与x_t之间的关系满足E_t＝LV(x_t)，即通过向量表LV查找x_t对应的向量。

步骤7：第三层是双向GRU层。输入E_t经过前向GRU层和后向GRU层计算得到了句子的正向信息

和反向信息

两者共同组成了隐藏层状态，这里用h_t表示，

经过状态输出层计算得到o_t＝f(h_t)，再由Softmax层进行概率归一化计算。定义

表示对于输入x_t，预测结果为y_t的概率，公式如下：

步骤8：最后一层是CRF层。定义A是一个概率转移矩阵，

表示从标签y_t到y_t+1的转移概率，这样做的目的是利用标签之间的依赖性，得到更加合理的标签序列。综上所述，对于一个给定的输入序列X，把预测输出序列y的概率定义为S(X，y)，S(X，y)由两部分组成：模型的预测概率和标签的转移概率，公式如下：

为了对概率进行归一化，需要对S(X，y)进行一次Softmax运算，这样得到最终的预测概率p(y|X)，公式如下：

Y表示所有可能的标签序列。

步骤9：训练时，使用似然估计来计算模型的代价函数：

定义

则由上式可得：

使用反向传播的方式训练该模型，得到会议名称识别模型。

实验设备与所需环境

Windows10操作系统64位版本，intel CORE i7处理器，8G内存。代码使用python语言编写，深度学习框架使用的是TensorFlow。

实验结果与说明

本文对三种循环神经网络RNN、LSTM、GRU进行了对比，从准确率、召回率、F1值上比较了三种方法，包括没有语言模型基于三种循环神经网络的识别效果，加入CRF和语言模型后的识别效果。

1.实验参数设置

GRU语言模型的使用一层双向结构，隐藏层单元为256个，预处理文本，统计句长，图4是句长分布图，根据句长分布，将步长参数设置为200；向量长度为200；DropOut参数为0.5。

GRU标注模型使用单层双向结构，隐藏层单元为128个，根据图5的语料句长分布，将步长设置为160；向量长度为200。DropOut参数为0.8。

2.实验设置与评价指标

实验结果评价采用三个指标：准确率(precision)、召回率(recall)、F1值(F1-measure)。

2)准确率(precision)：

3)召回率(recall)：

4)F1值(F1-measure)：

其中TP表示正样本预测为正样本数目，TN表示负样本预测为负样本数量，FN表示正样本预测为负样本的数量，FP表示负数据预测为正样本的数量，N表示样本总数。

3.实验结果分析

从准确率、召回率、F1值三方面对RNN-CRF、LSTM-CRF、GRU-CRF进行了对比，图6a展示了三种方法的结果，可以看出，RNN-CRF的效果较差，这说明RNN学习长期依赖的能力有限；虽然在准确率上，LSTM-CRF的效果较好，但在较体现模型整体效果的F1值上，GRU-CRF的效果在三种方法里最好，而且从训练速度和计算速度上来看，GRU-CRF的效率更高。

图6b是加入语言模型后，GRU-CRF的识别效果，与原来几种方法在三种评价指标上的对比。可以看出，加入语言模型后，该方法的识别效果得到了明显改善，说明从大量无标注语料上训练的到语言模型产生的字向量所包含的特征更加丰富，有助于提高标注模型的泛化能力。

Claims (2)

1.基于语言模型的GRU-CRF会议名称识别方法，其特征在于：该方法包括以下步骤，

步骤1：对文本进行预处理，消除文本中不合理的字符对和无效字符，并使用语言模型训练字向量，得到字向量，建立向量字典；通过向量字典将输入句子中的每个字映射成固定长度的向量，作为神经网络的输入；

步骤2：双向GRU网络作为特征提取层，使用一个前向GRU层和一个后向GRU层对输入的向量进行计算，提取字本身的特征和句子的语境特征，并将两层GRU计算的结果拼接为一个向量，作为输入的特征向量；

步骤3：将步骤2的结果通过sigmoid函数进行变换，得到每个字对应标签的概率矩阵；

步骤4：CRF层作为标注层，将步骤3的结果作为特征输入到CRF层，经CRF计算和Viterbi解码，并使用softmax进行归一化，得到句子级别的标签序列，该序列是综合了语境特征和标签依赖关系的序列；通过后处理，找到会议名称的标签，识别出会议名称。

2.根据权利要求1所述的基于语言模型的GRU-CRF会议名称识别方法，其特征在于：

第一、构建语料库；

步骤1：文本搜集是构建语料库的第一步；本方法搜集的文本来自中国学术会议在线网；这里搜集了会议预告、会议新闻、会议评述、会议回顾的材料，一共得到了31.2M的初始文本；

步骤2：人工筛选搜集的文本，删除与会议名称无关的段落，并使用结巴分词对文本句子进行切分，形成了初步标识的语料库；

步骤3：标注已经处理过的文本，即人工标注会议名称；会议名称有两种，一种是简单会议名称，第二种是结构复杂的会议名称；这里采取的策略是最大化边界，即将最完整的会议名称作为一个标注单位，给予会议标签，完成标注；

得到了一个针对会议名称识别的专用语料库，为实验提供了可用的数据集；

第二、语言模型训练；

针对会议名称识别任务，通过在大量无标注语料上训练语言模型，使用该语言模型产生字向量作为识别模型的输入，提高识别效果；

步骤4：使用一个双层双向GRU作为语言模型，对于输入序列X＝(x₁,x₂...x_t...)，语言模型根据每个时刻t的输入x_t，分别计算前向状态值和后向状态值：

其中x_t表示t时刻输入的字向量，

表示前向GRU层，

表示后向GRU层，θ表示参数；

步骤5：在输出层，将前向状态值和后向状态值拼接，作为双向GRU的隐藏层状态：

输出层根据h_t预测下一个字的概率，通过反向传播方法，训练该模型，并在训练完成后得到一份字向量表，将该字向量表定义为LV；

第三、识别模型训练；

把命名实体识别当作一个序列标注过程，对于一个输入序列

X＝(x₁,x₂,...,x_n)

经过模型计算，给每个输入x_t一个对应的标签，得到一个相应的输出序列

y＝(y₁,y₂,...,y_n)

步骤6：模型的第一层和第二层分别对应输入层和Embedding层；由于神经网络不能直接处理自然语言符号，所以将输入的字或者词转换成对应的向量，即Embedding层的工作，向量E_t与x_t之间的关系满足E_t＝LV(x_t)，即通过字向量表LV查找x_t对应的向量；

步骤7：第三层是双向GRU层；输入E_t经过前向GRU层和后向GRU层计算得到了句子的正向信息

和反向信息

两者共同组成了隐藏层状态，这里用h_t表示，

经过状态输出层计算得到o_t＝f(h_t)，再由Softmax层进行概率归一化计算；定义

表示对于输入x_t，预测结果为y_t的概率，公式如下：

步骤8：最后一层是CRF层；定义A是一个概率转移矩阵，

表示从标签y_t到y_t+1的转移概率；对于一个给定的输入序列X，把预测输出序列y的概率定义为S(X，y)，S(X，y)由两部分组成：模型的预测概率和标签的转移概率，公式如下：

为了对概率进行归一化，需要对S(X，y)进行一次Softmax运算，这样得到最终的预测概率p(y|x)，公式如下：

Y表示所有标签序列；

步骤9：训练时，使用似然估计来计算模型的代价函数：

定义

则由上式得：

使用反向传播的方式训练该模型，得到会议名称识别模型。

Images