CN109753642A - 中文语法标注 - Google Patents

Abstract

中文语法标注是对自然语言进行计算机处理的计算机程序。该程序通过加载网络客户端中文分词软件(如中科院中文分词网络客户端软件)来获得中文分词词性标注文件；先对词性标注文件进行必要的预处理来获得特定形式的字符串文件，然后针对该字符串文件进行空格、标点、词性分析，转化为各种语句的检索数据；依据检索数据在语法标注库中获得检索结果，并把检索结果处理成语法标注文件，从而实现语法标注。

Description

中文语法标注

技术领域

本发明涉及一种计算机程序，是对自然语言进行计算机处理的计算机程序。

背景技术

在对自然语言进行处理的计算机中文分词程序中(例如中科院中文分词)，中文分词程序可以把中文分解成词，并对词进行词性标注。但这些还不够，要是在词性标注的同时也有语法标注就更好了。本计算机程序的目的是在中文分词程序的基础上进一步实现语法标注，即在中文词性标注的同时也有语法标注。

发明内容

本计算机程序的技术方案概括的说是在中文分词词性标注文件的基础上，经过必要的预处理获得文件特定形式后，通过对空格、标点、词性进行解析转化为语句检索数据，然后在语法标注库中进行数据检索，并把检索结果处理成语法标注文件，从而实现对语句的语法标注。

附图说明：本发明包含以下附图。

图1为标志序号的有关概念及有关的标志序号数组图、图2为标志序号分类及类型编码规则图、图3 为一种冒号标志序号(数组为f00001[])的求解流程图、图4为冒号标志序号有关的映射函数图、图5为替换规则图、图6为标点符号函数图、图7为特别情况下标点符号替换函数图、图8为用数组记录特定字符的位置并用另一数组记录指定位置的一段字符长度流程图、图9为句点概念及句子类型图、图10为sw0 中的标点数组和句点映射函数s036yfun()图、图11为句内标点数量映射函数图、图12为sw0中词性数据图、图13为综合数组与词性映射函数图、图14为由数组prz036[]的数据转化类型简单形式的字符串str0a0程序流程图、图15为p004[]，p005[]，p006[]存储数据的方法示意图、图16为语法标注数字代码规则图、图 17为在字符串sw0中，用数组(p004[]，p005[]，p006[])存储字符串的类型特点数据流程图、图18为在字符串sw0中，组成一个新的语法标注字符串流程图。

本计算机程序是按照以下的编程顺序来实现的：

1.加载中文分词词性标注文件

中文分词词性标注文件的加载可以通过加载网络客户端中文分词软件(如中科院中文分词网络客户端软件)来获得。由于中文分词客户端软件需要授权许可才能正常运行，采用一些中文分词词性标注文件片段也可验证本计算机程序是不是能正确运行。

2.对中文分词词性标注文件(字符串文件str)进行规范化预处理

在中文分词词性标注文件(字符串文件str)中，词语原文与词性标注是通过分格符“/”分开的，同时由于存在文件格式也可能有很多空格“”。我们用“～/”代替“//”或“///”；用“$”代替“”；用“$$”代替“”；用“$$$”代替“”；用“$1$”代替4个空格“”；用“$2$”代替5个空格“”；用“$3$”代替6个空格“”；用“$4$”代替7个空格“”；用“$5$”代替8个空格“”；用“$6$”代替9个空格“”；用“$7$”代替10个空格“”；超过10个空格也用“$7$”替换。经过这样的处理，中文分词词性标注文件(字符串文件str)中，就不再有重复的“/”，同时空格的替换为定量区分句子停顿和文件格式创造了条件。由于这种处理影响了计算机对原文件的存储，还需要通过插入“$”的方式对字符串文件str的结尾进行规范化调整。另外在中文分词词性标注文件的最前面插入了标志语句 (yyy/n。/wj)，它的插入是为了应对后面的程序在获得类型细分形式的字符串(str0i0)时，字符串的第一个词性字符不能细分的缺点而特设的与中文分词词性标注文件不相干的无关紧要的句子。(注：中文分词词性标注文件就是该计算机程序要分析的字符串文件str)。

3.对字符串文件str中的冒号标志序号进行预处理

对冒号标志序号进行处理的主要目的是在冒号标志序号的分格符“/”后插入冒号标志序号的类型数据以明确表示标志序号与冒号的对应逻辑关系。编写这段程序的主要流程顺序为：根据我们对标志序号进行的十八种形式分类，计算出每种形式的标志序号数组数据，然后对每种形式的标志序号数组数据都按照相同的方法进行数据分析和计算。其分析计算方法为：先判断标志序号数组最大变量是否大于等于2，如果小于2直接得出冒号标志序号数据为0的结论并返回主程序；如果最大变量大于等于2，再根据冒号标志序号的定义，逐步求出冒号标志序号的数据并存入冒号标志序号的数组里。当按照这样相同方法分析完毕，我们就得到18个冒号标志序号数组及其数组数据，进而可得到冒号标志序号总数组f9000[nf9000]。然后由映射函数求出相对于f9000[nf9000]的各分类映射数组，进而得到映射总数组se9000[]。把se9000[]数组数据转化为字符串，利用字符串插入函数，就可以把冒号标志序号的类型数据插入到相对应的中文分词中。图3是一种冒号标志序号(数组为f00001[])的求解流程图。另外在图1中有标志序号的有关概念及有关的标志序号数组；在图2中有标志序号分类及类型编码规则。图4列出了冒号标志序号有关的映射函数。映射函数的基本功能是把数组里一些特诛数据用特定的数字表示。

4.对字符串文件str中的词性重复字符和括号标识符进行特别替换

对词性重复字符的替换可以保证同一词性字符的位置数据只有一个而不至于出现不同的两个；对括号标识符的替换可以细化标识简化程序的编写。替换规则如下：用“/ri”代替“/rr”；用“/ci”代替“/cc”；用“/uyi”代替“/uyy”；用“/xi”代替“/xx”；用“[/wiz”代替“[/wkz”；用“]/wzy”代替“]/wky”；用“{/wlz”代替“{/wkz”；用“}/wly”代替“}/wky”；用“《/wfz”代替“《/wkz”；用“》/wfy”代替“》/wky”；用“/wiy”代替“/wyy”；详细的替换规则可参看图5。

5.对字符串文件str中的各种标点符号分别用特定的数组存储它们的位置数据并对特别情况下的标点符号标识符进行特定的替换

由于同一种标点符号可有不同的位置数据所以我们就需要用特定的数组来存储这些数据；另外由于括号或引号内的叹号(问号或句号或空格)不在句子末尾，这种情况下的叹号(问号或句号或空格)就不能作为句子停顿的依据，所以这种情况下就需要用新的标注形式来代替原标注形式以便区别对待。例如可用函数number010(str，x010，z010)求出空格的位置数据并存在数组p010[]里，同时也可用函数number010n(str，x010，z010) 求出空格数量的最大值。在说明书附图中，图6中有许多这样的标点符号函数；这里就不再一一例举。再比如可以用函数exchangekhfyt1(str，ckg1，p019，p030，p031，p020，p011，n019，n020，n030)来完成括号内空格标识符的替换，其替换规则为：用“g2$”代替“$2$”；用“g3$”代替“$3$”；用“g4$”代替“$4$”；用“g5$”代替“$5$”；用“g6$”代替“$6$”；用“g7$”代替“$7$”；在说明书附图中，图7为特别情况下标点符号替换函数表；这里就不再一一例举。注意，在对特别情况下的标点符号标识符进行特定的替换时的顺序是：先进行小括号内的标点符号标识符的替换，更新数据后进行中括号内的标点符号标识符的替换，再次更新数据后进行大括号内的标点符号标识符的替换，最后更新数据进行引号内的标点符号标识符的替换。

6.预先备份字符串扩充后的分格符数组p066[]

复制字符串文件str变成新的字符串str0，利用字符串插入函数在分格符“/”后插入8个空格，然后字符串str0进行格式转换变成str000，并求出此时的分格符数组p066[]，由于str0是复制品，它的改变不影响字符串文件str。

7.在字符串文件str中求出数组p02[]

在字符串文件str中，分格符“/”前为原词语，分格符“/”后为词性标注，我们可以编写一段程序求出分格符“/”前的原词语长度，并保存在数组p02[]中。图8表示了这段程序的编写流程，这里不再重复。

8.由字符串文件str获得char格式的新字符串sw

在字符串文件str中，调用函数exchangezf(str，s2，p01，p02，p，p1，n，n1)可以用空格替换掉分格符“/”前的原词语。通过格式转换可以把字符串str变成char格式的新字符串sw。由于字符串str经过空格替换和格式转换影响了计算机的数据存储，为了避免出现报错现象，需要对sw的结尾进行规范化处理。规范化处理的替换规则为：用“$$$”代替“$$$$”；用“$7$”代替“$7”；用“$7$”代替“$7$$”；用“”代替“$”；用“”代替“t$7$”；等等。

9.由字符串sw获得定态字符串sw0

字符串sw经格式转换变成字符串su，在字符串su的分格符“/”后分别插入“@@@@@@@@”，为后面进行语法标注预留存储空间。字符串su扩充后经格式转换变成字符串su0，字符串su0转化为新定义的char 格式的字符串sw0。用字符串替换函数把字符串sw0中的空格去掉，这样sw0中就保留了分格符“/”后的词性标注，去掉了分格符“/”前的原词语。这时，字符串sw0就变成了我们所需要的稳固的特定形式的定态字符串。定态字符串sw0是后面进行数据分析的基础。

10.求出sw0中的有关标点的各种数据

例如，sw0中的分格符数组p0101[]数据可由函数number0101(swo，x0101，z0101)求出；分格符数量的最大值可由函数number0101n(swo，x0101，z0101)求出。其它如逗号、分号、句号等标点数组均可由特定的函数求出。句点数组也可由特定的函数求出。在图9中列出了句点的概念以及各种句点的定义，句点数组和相对应的函数等。这里就不再重复。根据句点的定义求出的句点数组数据有可能与其对应标点数组的数据有交集，例如我们通过函数number0971(sw0，x0971，z0971)求出小右括号“)”的所有标注数据并保存在数组p0971[]里，但如果某个小右括号“)”充当了句点，我们也可以通过函数number080(sw0，x080，z080)求出该句点的数据并保存在数组p080[]里，这样p0971[]数组数据就包含了句点数据。为了使句子中的小右括号“)”标点数据准确，不模糊，我们就需要去掉两数组的交集数据。我们可利用挑选函数 choosefun(t0971，u0971，u1，x1，p0971，n0971，p080，n080，i0971，i00，10)把数组p0971[]里包含的句点数据去掉，并把去掉句点后的真实数据保存在数组t0971[]里。同理，其它标点的真实数据也可利用挑选函数求出。在图10中有很多这样的真实数据数组，这里就不在一一例举。各个句点数组通过合并函数merge()和排序函数mergesort()处理后可得到句点总数组p036[]。总数组p036[]按顺序存储了各个句点的数据，那么如何表示某种句点与p036[]的序号关系呢？句点映射函数s036yfun()就有这样的功能。例如函数 s036yfun(r054r，p054，u1，x1，sw0，p036，k036，n036，n054，1)的功能就是把p036[]中包含的句号句点数据表示为1，其它句点数据表示为0，并把这种数据关系用数组r054r[]来保存。在图10中有很多这样的映射函数，这里不再一一例举。我们把各个特诛句点的映射数组数据按对应相相加就可以得到特诛句点映射总数组r12r[]，我们把特诛句点外的其它句点的映射数组按对应相相加就可以得到映射总数组r13r[]。那么如何求某个句子包含的某种标点的数量呢？函数j036myfun()就有这样的功能。例如，各个句点包含的逗号数量保存在数组r038r[]里，其数据可用函数j036myfun(r038r，p038，m00，s1，p036，k036，n036，n038)求出。在图11中这样的标点数量映射函数有很多。这里就不再一一例举。

11.求出sw0中有关词性的各种数据

我们对swo中的各种词性都按这样的步骤分析：(1)由函数求出词性数组并求出该词真实数据数组。例如形容词词性数组pa1[]的数据可通过函数a00(sw0，x00102，z00102)求出，但通过该函数求出的形容词词性数据可能包含其它数据。这些需排除的数据保存在数组da0[]中，通过挑选函数可求出形容词的真实数据并保存在数组pa0[]中。该挑选函数为：ch00sefun(pa0，ra00，u1，x1，pa1，na1，da0，da0n，ka1，ka0，l0)。(2)由函数求出同一词性的各二级分类词性数组并根据映射函数p000xrfun()求出各二级分类词性数据在其一级分类词性数组里的排列对应关系。例如，形容词二级分类的映射函数有：

p000xrfun(p00029r，p00029，u1，x1，sw0，pa0，ka0，na0，n00029，1)；

p000xrfun(p00030r，p00030，u1，x1，sw0，pa0，ka0，na0，n00030，2)；

p000xrfun(p00031r，p00031，u1，x1，sw0，pa0，ka0，na0，n00031，3)；

p000xrfun(p00032r，p00032，u1，x1，sw0，pa0，ka0，na0，n00032，4)；

(3)把各二级分类词性映射数组的各相相加得到该词性的二级分类映射总数组，例如，形容词词性的二级分类映射总数组为pa0r[]，则：pa0r[i]＝p00029r[i]+p00030r[i]+p00031r[i]+p00032r[i]；当每种词性都按上面的三个步骤分析完毕后，我们就获得了大量的数据。可参看图12。由前面得到的数据我们就可以进行下面的有关计算。例如，各词性真实数组数据通过合并函数merge()和排序函数mergesort()可得到词性数据总数组phb8[]；括号内或引号内被替换的标点数据数组通过合并函数merge()和排序函数mergesort()可得到替换标点总数组pw9[]；除句点外其它标点(非句点标点)的真实数据通过合并函数merge()和排序函数mergesort()可以得到标点真实数据总数组plus10[]；由phb8[]，pw9[]，plus10[]，p036[]进行合并排序就可得到词性，非句点标点，及句点的综合总数组phb10[]；等等。同时我们也可以用词性映射函数s00yfun()反殃各词性在总数组phb10[]中的排列关系。例如，利用映射函数r1036rfun(r1036r，p036，u1，x1，sw0，phb10，khb10，nhb10，n036)可以求出句点在词性综合总数组phb10[]的对应序号，并存入数组rr036r[]。再比如，名词的词性映射函数为 s00yfun(rn0r，pn0，u1，x1，sw0，phb10，khb10，nhb10，nn0，2)；等等；这样的映射函数有很多，可参看图13。最后各词性映射数组数据可组成一个映射综合总数组prz036[]。

12.由映射综合总数组prz036[]获得两种形式的字符串并求出某些句子的词性字符串

我们可通过程序运算由数组prz036[]的数据转化为两种形式的字符串，一种是类型简单形式的字符串 str0a0，另一种是类型细分形式的字符串str0i0。在类型简单形式的字符串str0a0中，句点之间的长度用数组1036[]表示；在类型细分形式的字符串str0i0中，句点之间的长度用数组l0i0[]表示。由数组prz036[]的数据转化类型简单形式的字符串str0a0程序流程图可参看图14。在前面数据分析的基础上，我们很容易求出p036[]各分句在str0a0中的各分句字符串；也很容易求出p036[]各分句在str0i0中的各分句字符串。例如带句号的句字(p054[])，带问号的句子，带叹号的句子，带小标题的句子等都很容易找到它们在str0a0或 str0i0中相对应的字符串。

13.在字符串sw0中可用数组存储句子的长度类型特点等有关数据并加载语法标注库

在字符串sw0中，我们可以编写一段程序，按顺序把每个句子的长度，包含的标点数量，句子的类型等保存到p004[]，p005[]，p006[]这三个特定数组里。相关的该段程序的详细流程可参看图17。关于p004[]， p005[]，p006[]存储数据的方法可参看图15。这时，我们需加载的语法标注库为：map＜string，string，less＜string＞＞map50ch88。

14.在字符串sw0中获得语法标注库的查询数据并把查询结果组成一个新的语法标注字符串

在字符串sw0中，有了p004[]，p005[]，p006[]数据以及相对应句子的类型简单形式的字符串，就可以组成新的字符串，用该字符串作为语法标注库(map50ch88)的查询键值，就可以把查询结果组成一个新的语法标注字符串str08。如果查询结果出错时，可根据错误句子的实际长度用错误符号代替，并把错误的查询键值存在数组v07[]中。关于该段程序的流程图可参看图18。关于语法标注库(map50ch88)中的语法标注规则可参看图16。同样，有了p004[]，p005[]，p006[]数据以及相对应句子的类型细分形式的字符串，也可以组成新的字符串，用该字符串作为语法标注库(map50ch88)的查询键值，并把查询结果组成一个新的语法标注字符串str08i。如果查询结果出错时，可跟据错误句子的实际长度用错误符号代替，并把错误的查询键值存在数组v07i[]中。

15.对语法标注字符串str08或str08i进行扩充

根据p037[]，p02[]数据，采用插入空格的方法对语法标注字符串str08或str08i进行括充，扩充后的结果再进行格式转化就得到字符串str03或str03i。

16.完成语法标注

调用函数chineseyf(str000，str03，p066，p02，n066)或chineseyf(str000，str03i，p066，p02，n066)就可得到字符串str000，完成语法标注。函数chineseyf()的功能就是可把str03或str03i中的空格替换成对应的中文原词语，从而达到语法标注的目的。

采用c++语言，按照以上的编程步骤，就完成了中文语法标注计算机程序的编写。实现语法标注的功能。理论上，如果语法标注库(map50ch88)是十分完善的，那么每一个语法正确的句子都能得到标注；如果不能标注则是语法错误的句子。(注：本程序的语法标注库有待进一步完善。本程序的打开顺序：中文语法标注/yyy/yyy.sln/yyy_MicrosoftVisualStudio(管理员)/yyy/源文件/yyy.cpp)。

Claims (8)

1.中文语法标注是对自然语言进行计算机处理的计算机程序，其特征在于：该程序通过对中文分词词性标注文件进行必要的预处理来获得特定形式的字符串文件，针对该字符串文件进行空格、标点、词性分析，转化为各种语句的检索数据，依据检索数据在语法标注库中获得检索结果，并把检索结果处理成语法标注文件。

2.根据权利要求书1所述的中文语法标注，其特征在于：所述的预处理能够通过函数求出中文分词词性标注文件中的空格、分格符、标点等数组数据，并能通过替换函数改变特定条件下的标点标注形式，以便区别对待。

3.根据权利要求书1所述的中文语法标注，其特征在于：所述的预处理不仅包含冒号标志序号的预处理还求出了分格符前中文原字符长度的数组p02[]，该数组是通过特定的程序算法求出的。

4.根据权利要求书1所述的中文语法标注，其特征在于：所述的特定形式的字符串文件，去掉了中文分词词性标注中分格符前的中文原字符，保留分格符后的词性标注。

5.根据权利要求书1所述的中文语法标注，其特征在于：所述的各种句子的检索数据是先通过对句子内的标点数量，句子长度，句子特征依据特定的程序算法组成特定的句子数组数据后再与相对应的句子词性字符按照特定的程序算法组成句子字符串数据，来作为语法标注库的查询数据。

6.根据权利要求书1所述的中文语法标注，其特征在于：所述的检索结果，不仅包含句子的词性标注还包含句子的语法标注。

7.根据权利要求书1所述的中文语法标注，其特征在于：所述的针对该字符串文件进行空格、标点、词性分析需要用到许多数组函数以及具有特定功能的挑选函数、映射函数等，这些函数被封装在数据库y800.lib和y801.lib中。

8.根据权利要求书1所述的中文语法标注，其特征在于：所述的把检索结果处理成语法标注文件是把获得的语法标注字符串经过一定的变化后由特定的函数来完成的。