CN103176963B

CN103176963B - 基于crf++汉语句义结构模型自动标注方法

Info

Publication number: CN103176963B
Application number: CN201310074933.0A
Authority: CN
Inventors: 罗森林; 韩磊; 潘丽敏; 魏超
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2013-03-08
Filing date: 2013-03-08
Publication date: 2015-06-03
Anticipated expiration: 2033-03-08
Also published as: CN103176963A

Abstract

本发明涉及一种基于CRF++的汉语句义结构模型自动标注方法，属于计算机科学与自然语言处理语义分析技术领域。本发明首先使用BFS-CTC汉语标注语料库语料，训练得到谓词识别模型、词关系识别模型和语义格类型识别模型；进而使用上述三种识别模型，对原始句子进行识别，得到句子中谓词信息、词关系信息和语义格类型信息；最终根据谓词、词关系和语义格类型的搭配规则得到汉语句义结构模型。本发明为语义分析领域，提供了更多的更全面的语义特征，为使用计算机对句子进行句义结构模型分析奠定了基础。同时为BFS-CTC汉语标注语料库的自动标注，提供了一定的可能，语料数据无论是研究还是实际应用，都是极其重要的，将对BFS-CTC汉语标注语料库的扩充，起到极大的推动作用。

Description

基于CRF++汉语句义结构模型自动标注方法

技术领域

本发明涉及一种基于CRF++的汉语句义结构模型自动标注方法，属于计算机科学与自然语言处理的语义分析技术领域。

背景技术

现代语言学理论将语言系统分为语音、语法、语义3个层次，在不考虑语音，并将词法（包括词形、词性）从语法中分离出来的前提下，对不同层次的分析在程度上是不一样的，从词法经过语法到语义的分析，是一个由浅入深的过程。对汉语语义的分析，目前都是通过建立语料资源，使用机器学习方法实现的，常用的语料资源有：

1.宾州大学汉语浅层语义标注库（Chinese Proposition Bank,CPB）

CPB是建立在句法标注语料库CTB（Chinese Tree Bank）基础之上，标注出部分句法成分相对于给定动词所具备的语义角色。

2.山西大学汉语框架语义知识库（Chinese FrameNet,CFN）

CFN是一个以Fillmore的框架语义学为理论基础、以加州大学伯克利分校的FrameNet为参照、以汉语真实语料为依据的汉语框架语义知识库。

3.清华大学句法语义标注库（Syntactically and Semantically AnnotatedCorpus,SSAC）

SSAC以清华大学的句法树库TCT和句法语义链接库SSL数据为基础，针对目标动词，在句法依存信息基础上形成完整的句法语义信息标注句子。

4.BFS-CTC汉语标注语料库（Beijing Forest Studio Chinese TaggedCorpus，BFS-CTC）

BFS-CTC是以贾颜德的汉语语义学为理论基础，构建汉语句义结构模型为语义分析理论，以新闻语料为原始句子库，包括原始句子库、词法库、句法库和句义库构成的人工标注汉语新闻语料库。

综上，根据语义学的相关理论，研究人员从不同角度构建了语义标注语料库，这些语料库在汉语的自然语言处理研究中起到了重要的作用，但只有BFS-CTC为深入到句义层次、以现代汉语语义学的句义结构理论为基础的句义结构标注语料库。为汉语句义结构分析提供所需的句义结构标注信息，包括句义类型、句义成分以及各成分之间的组合关系等。但是目前还没有方法，能够让计算机对原始句子进行汉语句义结构分析，还没有为语义分析应用提供有效的语言特征提取方法。

发明内容

本发明的目的是：为自然语言处理应用提供语义层次的语言特征，提出一种基于条件随机场（CRF++）的汉语句义结构模型自动标注方法。

本发明的设计原理为：针对汉语句子，分析得到句义结构模型：1.对原始句子首先进行分词，得到句子的分词结果，包括词语词序和词性；2.在得到分词结果的基础上进行谓词识别；3.在以上两步的基础上，进行词关系识别；4.在以上识别结果的基础上，进行语义格类型识别；5根据以上各步骤的识别结果，得到该句子的汉语句义结构模型。

本发明的技术方案是通过如下步骤实现的：

步骤1，为实现谓词识别，词关系识别以及语义格类型识别，需要先对语料进行训练得到相应模型，该模型用于识别。

步骤1.1，进行谓词识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将汉语标注语料转化为训练数据格式，前几列为分词信息（词性，词语等），最后一列为谓词标签。其次，设置参数f和c使用CRF++对上述数据进行训练，得到谓词识别模型。

上述谓词识别所选特征包括词语词性、词语在句子中词序、词语前一个词的词性、词语后一个词的词性、词语前前两个词的词性、词语后两个词的词性。

所述参数f表示训练模型的阈值，只有当训练语料中出现的特征大于f时，CRF++才会记录该特征到模型中；所述参数c表示训练模型的超参数，c值越大模型与训练语料拟合程度越高，c值越小模型与训练语料拟合度越低，泛化能力越强。

CRF++的训练数据格式具体说明：每个词为一行，每一列是该词的相关信息，具体列数可根据需要选择，最后一行为标签列，用于训练时的标签标识和识别后的结果标识，每个句子之间用空行隔开。

f和c的选取具体说明：使用参数选取方法，对数据进行多次训练，选取识别准确率最高的一组f和c，使用该参数对数据进行训练，得到识别模型。

步骤1.2，进行词关系识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将汉语标注语料转化为CRF++训练数据格式，前几列为分词信息（词性，词语等）、谓词信息等，最后一列为词关系标签。其次，使用步骤1.1中同样方法选择参数f和c，使用CRF++对上述数据进行训练，得到词关系识别模型。

上述词间关系识别所选特征包括词语及词性、前几个词的词性、后几个词的词性、词语是否为谓词。

步骤1.3，进行语义格类型识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将汉语标注语料转化为CRF++训练数据格式，前几列为分词信息（词性，词语等）、谓词信息等，最后一列为语义格类型标签。其次，使用步骤1.1中同样方法选择参数f和c，使用CRF++对上述数据进行训练，得到语义格类型识别模型。

上述语义格类型识别所选特征包括词语及词性、前几个词的词性、后几个词的词性、词语是否为谓词、前几个词语是否有谓词、后几个词语是否有谓词、词间关系。

步骤2，在步骤1得到相应识别模型的基础上，从原始句子到句义结构模型需要经过五个步骤。

步骤2.1，对未经任何处理的汉语句子进行分词，得到分词后结果，包括词序和词性，并将结果转化为CRF++识别数据格式。

所述的CRF++的识别数据的具体格式为：每个词为一行，每一列是输入数据信息，具体列数可根据需要选择，每个句子之间用空行隔开。

步骤2.2，以步骤1.1中的谓词识别模型和步骤2.1的CRF++识别数据格式的分词结果为输入，使用CRF++进行识别，得到谓词识别结果，即得到句子中的谓词。

步骤2.3，以步骤2.1、步骤2.2的识别结果和步骤1.2中的词关系识别模型为输入，使用CRF++进行识别，得到词关系识别结果。

步骤2.3中的词关系定义为：一个句子中只有一个谓词为主谓词，该谓词不存在关系词；除去不表达语义的词和主谓词，其他所有词之间都有关系；每个词B都有唯一一个词A与其有关系，即关系为B指向A，可同时有一个或多个词指向A。

步骤2.4，以步骤2.2、步骤2.3的识别结果和步骤1.3的语义格类型识别模型为输入，使用CRF++进行识别，该识别过程是一个20分类的过程，将每个词语分类成非语义格或19个语义格类型中的一种，得到语义格类型识别结果。

步骤3，根据步骤2的识别结果，按照规则得到该句的句义结构模型。

有益效果

为语义分析领域，提供了更多的更全面的语义特征，为使用计算机对句子进行句义结构模型分析奠定了基础。。

为BFS-CTC汉语标注语料库的自动标注，提供了一定的可能，语料数据无论是研究还是实际应用，都是极其重要的，将对BFS-CTC汉语标注语料库的扩充，起到极大的推动作用。

附图说明

图1为本发明的基于CRF++汉语句义结构模型自动标注方法原理图；

图2为本发明的自动标注方法识别流程图；

图3为本发明的自动标注方法识别数据流图；

具体实施方式

为了更好的说明本发明的目的和优点，下面结合附图和实施例对本发明方法的实施方式做进一步详细说明。

以BFS-CTC汉语标注语料库10000句人工标注语料为数据，采用十折交叉法进行测试。

步骤1，为实现谓词识别，词关系识别以及语义格类型识别，需要使用CRF++进行训练，得到模型，该模型用于识别。

步骤1.1，进行谓词识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将BFS-CTC汉语标注语料库的语料，转化为CRF++数据格式：第一列为词序编号，编号从1开始，每个词（包括标点）一个编号；第二列为汉字词；第三列为词性；最后一列为谓词标签“Predicate”和“_”，谓词为“Predicate”非谓词为“_”。其次，设置参数f=3和c=2使用CRF++对上述数据进行训练，得到谓词识别模型。

f和c的选取具体说明：使用参数选取方法，对数据进行多次训练，选取识别效果最优的一组f和c，使用该参数对数据进行训练，得到识别模型。

步骤1.2，进行词关系识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将BFS-CTC汉语标注语料库的语料，转化为CRF++数据格式：第一列为词序编号，编号从1开始，每个词（包括标点）一个编号；第二列为汉字词；第三列为词性；第四列为谓词标签“Predicate”和“_”，谓词为“Predicate”非谓词为“_”；最后一列为词关系标签，标签为跟本行词有关系的词的第一列词序。其次，使用步骤1.1中同样方法选择参数f=8和c=12，使用CRF++对上述数据进行训练，得到词关系识别模型。

步骤1.3，进行语义格类型识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将BFS-CTC汉语标注语料库的语料，转化为CRF++数据格式：第一列为词序编号，编号从1开始，每个词（包括标点）一个编号；第二列为汉字词；第三列为词性；第四列为谓词标签“Predicate”和“_”，谓词为“Predicate”非谓词为“_”；第五列为词关系标签，标签为跟本行词有关系的词的第一列词序；最后一列为语义格类型标签，12种一般格和7种基本格。其次，使用步骤1.1中同样方法选择参数f=1和c=1，使用CRF++对上述数据进行训练，得到语义格类型识别模型。

步骤2，在步骤1得到识别模型的基础上，从原始句子到句义结构模型需要经过五个步骤。

步骤2.1，对未经任何处理的汉语句子，使用ICTCLAS分词工具，按照北京大学词性标注规范进行分词，得到分词后结果，并将结果转化为CRF++识别数据格式：第一列为词序编号，编号从1开始，每个词（包括标点）一个编号；第二列为汉字词；第三列为词性。

CRF++的识别数据格式具体说明：每个词为一行，每一列是输入数据信息，具体列数可根据需要选择，最后一行为识别结果标签，每个句子之间用空行隔开。

步骤2.2，以步骤1.1中的谓词识别模型和步骤2.1的CRF++识别数据格式的分词结果为输入，所述CRF++数据格式为每个词语一行，句子之间用空行分开，仅有一列为分词信息，使用CRF++进行识别，得到谓词识别结果，所述谓词识别结果数据格式为在步骤2.1的数据格式上加入一列，第一列为分词信息，第二列表示谓词信息，把识别为谓词的词语标注“Predicate”非谓词词语标注“_”。

步骤2.3，以步骤2.2的识别结果和步骤1.2中的词关系识别模型为输入，使用CRF++进行识别，得到词关系识别结果，所述词关系识别结果数据格式为在步骤2.2的数据格式上加入一列，第一列为分词信息，第二列为谓词信息，第三列表示词间关系信息，用句子中词语的顺序表示词间的关系，例如“工人吃大碗。”，分词结果为“0^工人/n1^吃/v2^大碗/n3^。/w”，词语“吃”为句子中主谓词，第三列标注为“0”，词语“大碗”与“吃”之间存在关系，则在“大碗”所在行第三列标注为“1”，因为“吃”在句子中次序为1。

步骤2.4，以步骤2.3的识别结果和步骤1.3的语义格类型识别模型为输入，使用CRF++进行识别，得到语义语义格类型识别结果，所述语义格类型识别结果数据格式为在步骤2.3的数据格式上加入一列，第一列为分词信息，第二列为谓词信息，第三列为词间关系信息，第四列表示语义格类型信息，语义格类型包括7种基本格、12种一般格和非语义格。

采用准确率，召回率和F值对计算结果进行评价，定义识别正确个数为Xr，识别总个数为Xt，人工标注总个数为Xo，计算公式如下：

准确率（P）：

P = \frac{X_{r}}{X_{t}}

召回率（R）：

P = \frac{X_{r}}{X_{o}}

F值（F）：

F = \frac{2 \times P \times R}{P + R}

得到句义结构识别准确率为0.7392，召回率为0.7191，F1值为0.729。

Claims

1.基于CRF++的汉语句义结构模型自动标注方法，所述方法包括以下步骤：

步骤1，使用CRF++进行训练，得到相应模型，用于实现谓词识别，词关系识别以及语义格类型识别；

步骤1.1，进行谓词识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将BFS-CTC汉语标注语料库的语料转化为CRF++训练数据格式，前几列为分词信息，最后一列为谓词标签；其次，设置参数f和c使用CRF++对上述数据进行训练，得到谓词识别模型；

CRF++训练数据格式具体说明：每个词为一行，每一列是该词的相关信息，具体列数可根据需要选择，最后一列为标签列，用于训练时的标签标识和识别后的结果标识，每个句子之间用空行隔开；

所述参数f表示训练模型的阈值，只有当训练语料中出现的特征大于f时，CRF++才会记录该特征到模型中；所述参数c表示训练模型的超参数，c值越大，模型与训练语料拟合程度越高，c值越小，模型与训练语料拟合度越低、泛化能力越强；

f和c的选取具体说明：使用参数选取方法，对数据进行多次训练，选取识别效果最优的一组f和c，使用该参数对数据进行训练，得到识别模型；

步骤1.2，进行词关系识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将BFS-CTC汉语标注语料库的语料转化为CRF++训练数据格式，前几列为分词信息、谓词信息，最后一列为词关系标签；其次，使用步骤1.1中同样方法选择参数f和c，使用CRF++对上述数据进行训练，得到词关系识别模型；

步骤1.3，进行语义格类型识别的模型训练，具体方法为：针对CRF++训练数据的格式，首先将BFS-CTC汉语标注语料库的语料转化为CRF++训练数据格式，前几列为分词信息、谓词信息，最后一列为语义格类型标签；其次，使用步骤1.1中同样方法选择参数f和c，使用CRF++对上述数据进行训练，得到语义格类型识别模型；

步骤2，在步骤1得到相应识别模型的基础上，从原始句子到句义结构模型需要经过五个步骤，即步骤2.1-步骤2.4和步骤3；

步骤2.1，对未经任何处理的汉语句子进行分词，得到分词后结果，并将结果转化为CRF++识别数据格式；

CRF++识别数据格式具体说明：每个词为一行，每一列是输入数据信息，具体列数可根据需要选择，每个句子之间用空行隔开；

步骤2.2，以步骤1.1中的谓词识别模型和步骤2.1数据格式的分词结果为输入，使用CRF++进行识别，得到谓词识别结果，即得到句子中的谓词；

步骤2.3，以步骤2.1、步骤2.2的识别结果和步骤1.2中的词关系识别模型为输入，使用CRF++进行识别，得到词关系识别结果；

步骤2.3中的词关系定义为：一个句子中只有一个谓词为主谓词，该谓词不存在关系词；除去不表达语义的词和主谓词，其他所有词之间都有关系；每个词B都有唯一一个词A与其有关系，即关系为B指向A，可同时有一个或多个词指向A；

步骤2.4，以步骤2.2、步骤2.3的识别结果和步骤1.3的语义格类型识别模型为输入，使用CRF++进行识别，得到语义格类型识别结果；

2.根据权利要求1所述的基于CRF++的汉语句义结构模型自动标注方法，其特征在于：步骤1.1中，谓词识别所选特征包括词语词性、词语在句子中词序、词语前一个词的词性、词语后一个词的词性、词语前两个词的词性、词语后两个词的词性。

3.根据权利要求1所述的基于CRF++的汉语句义结构模型自动标注方法，其特征在于：步骤1.2中，词间关系识别所选特征包括词语及词性、前几个词的词性、后几个词的词性、词语是否为谓词。

4.根据权利要求1所述的基于CRF++的汉语句义结构模型自动标注方法，其特征在于：步骤1.3中，语义格类型识别所选特征包括词语及词性、前几个词的词性、后几个词的词性、词语是否为谓词、前几个词语是否有谓词、后几个词语是否有谓词、词间关系。

5.根据权利要求1所述的基于CRF++的汉语句义结构模型自动标注方法，其特征在于：步骤2.3中，使用步骤2.2得到的句子谓词识别结果和分词结果为输入，输出句子中词关系。

6.根据权利要求1所述的基于CRF++的汉语句义结构模型自动标注方法，其特征在于：步骤2.4中，使用步骤2.2得到的句子谓词识别结果和步骤2.3得到的词关系识别结果为输入，输出句子中语义格类型。

7.根据权利要求1所述的基于CRF++的汉语句义结构模型自动标注方法，其特征在于：步骤3中，以句子分词结果、谓词识别结果、词关系识别结果和语义格类型识别结果为输入，使用规则方法得到汉语句义结构模型的转换方法。