CN104375986A - 一种汉语叠词的自动获取方法 - Google Patents

Abstract

本发明公开了一种汉语叠词的自动获取方法，利用结构合理的五元组模型对分词后的语料进行统计以获得各类叠词候选集；并在此基础上，通过叠词度的运算判断实现AAB式、ABB式、ABA式、ABAB式、AABB式叠词的自动获取；并在叠词度判断的基础上，进一步通过左、右邻接熵的运算判断实现AA式叠词的自动获取。本发明根据结构合理的五元组模型获得的统计信息，结合叠词度和信息熵的判断，实现了叠词的量化判断和自动获取，经实验证明，本发明准确率高，有利于更为更为精准的开展自然语言的信息化处理工作，在自然语言处理领域中具有十分明显的实用意义，可广泛推广使用。

Description

一种汉语叠词的自动获取方法

技术领域

本发明涉及人工智能计算机领域中的自然语言处理，特别涉及一种利用自然语言处理来实现汉语叠词的自动获取方法。

背景技术

在大量的自然语言应用中，有一个基本的而又共同的问题：对由一个由短文本构成的语料集(以下简称短文本语料集或语料集)，如何将其中的短文本按照某种相似度聚集成不同的类。

汉语中的叠词是一种特殊的语言现象，汉语叠词由两个或两个以上的字形和字义都相同的汉字，重叠在一起使用所组成的词语。汉语叠词在自然语言中的使用越来越广泛，并且有不断的新的叠词出现，这对自然语言处理带来了更多的挑战。比如在中文文本自动校对领域，字词插入错误，都是相同的字或词的插入，但由于汉语叠词的存在，在错别字识别的过程中经过统计分析可能会将叠词当做成插入错误。而如果将满足叠词格式都看成叠词的话，则很多类似叠词式的插入错误会被过滤掉，因为不是所有的词都可以当做叠词出现。因此，需要来判断重复出现的串是否是叠词，如果是不是叠词，则认为该串是一个字词插入错误。

很多汉语研究者对叠词进行了分类，汉语的叠词种类有很多。一般而论，叠词自动获取方法的基本思想对大规模语料中重复出现的“叠词”模式串进行判断，如果该“叠词”模式串高频重复出现，那么该模式串很可能是一个叠词。

在叠词自动获取中，常遇到几个难题需要解决：

1)叠词自动获取是一个自然语言处理的问题，因此在获取前需要进行分词，因此首先要对叠词在分词后的结构进行分析，并且需要对满足候选模式的进行统计和存储。

2)如何来对叠词进行量化？高频出现的“叠词”模式串不一定真是一个叠词，因此需要利用量化的指标来对叠词进行判断。例如在“一车车的”这个串中“一车车”满足“ABB”式叠词结构、“车车的”满足“AAB”式叠词，且都是高频出现，但是我们认为“一车车”是一个叠词，而“车车的”不是一个叠词。因此，需要定义一种对叠词量化的方法来判断模式串是否是一个叠词。

3)对于“ABB”式和“AAB”式叠词，其中的“BB”或“AA”不一定是“AA”式叠词，例如:“血淋淋”是一个“ABB”式叠词，而“淋淋”就不是一个“AA”式叠词，因此还需要对满足“AA”式叠词进行进一步的判断。

因此想要实现叠词的自动获取并获得较高的准确率，需要考虑如下有待解决的问题：

技术问题1：汉语分词后叠词分词的叠词模式以及大规模语料统计。对汉语文本分词后进行分析，对叠词的模式进行归类，如何设计一种合理的数据结果对大规模语料进行统计？

技术问题2：叠词的量化问题。怎么根据统计信息来量化地判断一个叠词候选是否是一个真正的叠词？

技术问题3：对“AA”式叠词进行获取和验证。如何利用统计信息对“AA”式叠词候选进行获取和验证？

针对上述难题和问题，结合叠词在中文文本自动校对领域的字词插入错误，本发明提出并且实现了AAB式、ABB式、AA式、ABA式、ABAB式、AABB式汉语叠词的自动获取方法。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供了一种汉语叠词的自动获取方法，以实现AAB式、ABB式、AA式、ABA式、ABAB式、AABB式汉语叠词的自动获取。

技术方案：

为达到上述目的，本发明提供的一种汉语叠词的自动获取方法，包括以下步骤：

利用五元组模型对分词后的语料进行统计的步骤：

对分词后的语料，根据叠词的定义、类型以及分词后的模式，利用五元组模型来统计满足AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词模式的五元组，并作为候选叠词加入到对应的AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词候选集中去；

自动获取AAB式、ABB式、ABA式、ABAB式、AABB式叠词的步骤：

遍历AAB式、ABB式、ABA式、ABAB式、AABB式叠词候选集中的候选叠词，逐一计算叠词度，将叠词度大于预设叠词度阈值的候选叠词列入叠词库，以实现语料中AAB式、ABB式、ABA式、ABAB式、AABB式叠词的自动获取；

自动获取AA式叠词的步骤：

遍历对应的AA式叠词候选集中的候选叠词，逐一计算叠词度；对叠词度大于预设叠词度阈值的候选叠词，计算其邻接信息熵，并将邻接信息熵大于预设信息熵阈值的候选叠词列入叠词库，以实现语料中AA式叠词的自动获取。

优选的，所述利用五元组模型对分词后的预料进行统计的步骤中，

所述五元组模型用于表示和统计词与词之间的关系，为：Five-ElementModel＝(leftWord,leftInterval,word,rightInterval,rightWord)；

其中：word为当前统计的词，leftWord是与词word左边相隔距离为leftInterval的词；leftInterval表示word与leftWord之间的距离；rightWord是与词word右边相隔距离为rightInterval的词；rightInterval表示word与rightWord之间的距离。

当leftInterval＝0时表示leftWord与word是相邻，当leftInterval＝1时表示leftWord与word中间隔一个词，以此类推，rightInterval的含义与leftInterval类似。

所述AAB式五元组模型包括(A,0,AB,0，*)，(*,0,A,0,AB)，(AA,0,B,0,*)，(A,0,A,0,B)，(*,0,AA,0,B)；

所述ABB式五元组模型包括(A,0,B,0,B)，(A,0,BB,0,*)，(*,0,A,0,BB)，(AB,0,B,0,*)，(*,0,AB,0,B)；

所述AA式五元组模型包括(*,0,A,0,A)，(*,0,AA,0,*)，(A,0,A,0,*)；

所述ABA式五元组模型包括(A,0,B,0,A)，其中B是一个单字词；

所述ABAB式五元组模型包括(AB,0,AB,0,*)，(*,0,AB,0,AB)；

所述AABB式五元组模型包括(AA,0,BB,0,*)，(*,0,AA,0,BB)；

上述五元组中的“*”代表任意词；

所述AAB式叠词候选集为：SAAB＝{(A,0,AB,*)，(*,0,A,0,AB)，(AA,0,B,0,,*)，(A,0,A,0,B)，(*,0,AA,0,B)}；

所述ABB式叠词候选集为：SABB＝{(A,0,B,0,B)，(A,0,BB,0,*)，(*,0,A,0,BB)，(AB,0,B,0,*)，(*,0,AB,0,B)}；

所述AA式叠词候选集为：SAA＝{(*,0,A,0,A)，(*,0,AA,0,*)，(A,0,A,0,*)}；

所述ABA式叠词候选集为：SABA＝{(A,0,B,0,A)，其中B是一个单字词}；

所述ABAB式叠词候选集为：SABAB＝{(AB,0,AB,0,*)，(*,0,AB,0,AB)}；

所述AABB式叠词候选集为：SAABB＝{(AA,0,BB,0,*)，(*,0,AA,0,BB)}。

优选的，所述自动获取AAB式、ABB式、ABA式、ABAB式、AABB式叠词的步骤和自动获取AA式叠词的步骤中，所述叠词度ComDegree用于表示叠词的内部组成部分的结合程度：

所述AAB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AAB}\right)=\frac{\log P\left(\mathrm{AAB}\right)}{\min (\log (P\left(A\right)*P\left(\mathrm{AB}\right)),\log (P\left(\mathrm{AA}\right)*P\left(B\right)),\log (P\left(A\right)*P\left(A\right)*\log \left(B\right)))}---\left(1\right);$

所述ABB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABB}\right)=\frac{\log P\left(\mathrm{ABB}\right)}{\min (\log (P\left(A\right)*P\left(\mathrm{BB}\right)),\log (P\left(\mathrm{AB}\right)*P\left(B\right)),\log (P\left(A\right)*P\left(B\right)*\log \left(B\right)))}---\left(2\right);$

所述AA式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AA}\right)=\frac{\log P\left(\mathrm{AA}\right)}{\log (P\left(A\right)*P\left(A\right))}---\left(3\right);$

所述ABA式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABA}\right)=\frac{\log P\left(\mathrm{ABA}\right)}{\log (P\left(A\right)*P\left(B\right)*\left(A\right))}---\left(4\right);$

所述ABAB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABAB}\right)=\frac{\log P\left(\mathrm{ABAB}\right)}{\log (P\left(\mathrm{AB}\right)*P\left(\mathrm{AB}\right)}---\left(5\right);$

所述AABB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AABB}\right)=\frac{\log P\left(\mathrm{AABB}\right)}{\log (P\left(\mathrm{AA}\right)*P\left(\mathrm{BB}\right)}---\left(6\right);$

其中P(W)表示词W在语料中的出现概率，p(W)＝Count(W)/N，N表示语料中所有词的频率，min(X,Y)表示最小值函数。

优选的，所述自动获取AA式叠词的步骤中，所述邻接信息熵H(AA)包括左信息熵LH(AA)和右信息熵RH(AA)；

所述左信息熵LH(AA)的计算步骤包括：

统计AA的左邻接词W集合LAdjWordSet＝{W₁,...W_n}，及对应的左邻接词和AA的共现频次LF＝{F₁,...F_n}；

计算获得左信息熵LH(AA)：

$\mathrm{LH}\left(\mathrm{AA}\right)=-{\mathrm{\Σ}}_{i=0}^{n}P\left(W_i\right|\mathrm{AA})*\log P\left(W_i\right|\mathrm{AA})---\left(7\right);$

所述右信息熵RH(AA)的计算步骤包括：

统计AA的右邻接词W集合RAdjWordSet＝{W₁,...W_n}，及对应的左邻接词和AA的共现频次RF＝{F₁,...F_n}；

计算获得右信息熵RH(AA)：

$\mathrm{RH}\left(\mathrm{AA}\right)=-{\mathrm{\Σ}}_{i=0}^{n}P\left(W_i\right|\mathrm{AA})*\log P\left(W_i\right|\mathrm{AA})---\left(8\right);$

上述 $P\left(W_i\right|\mathrm{AA})=\frac{F_i}{{\mathrm{\Σ}}_{i=0}^n{F}_i}.$

优选的，所述利用五元组模型对分词后的预料进行统计的步骤中，还包括分别统计候选叠词的出现频率的步骤：遍历AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词候选集中的候选叠词，统计得到AAB式、ABB式、AA式、ABA式、ABAB式、AABB式候选叠词的出现频率分别为：

$\mathrm{Count}\left(\mathrm{AAB}\right)={\mathrm{\Σ}}_{i=1}^{\left|S_{\mathrm{AAB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\∈S_{\mathrm{AAB}}\};$

$\mathrm{Count}\left(\mathrm{ABB}\right)={\mathrm{\Σ}}_{i=1}^{\left|S_{\mathrm{ABB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\∈S_{\mathrm{ABB}}\};$

$\mathrm{Count}\left(\mathrm{AA}\right)={\mathrm{\Σ}}_{i=1}^{\left|S_{\mathrm{AA}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\∈S_{\mathrm{AA}}\};$

$\mathrm{Count}\left(\mathrm{ABA}\right)={\mathrm{\Σ}}_{i=1}^{\left|S_{\mathrm{ABA}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\∈S_{\mathrm{ABA}}\};$

$\mathrm{Count}\left(\mathrm{ABAB}\right)={\mathrm{\Σ}}_{i=1}^{\left|S_{\mathrm{ABAB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\∈S_{\mathrm{ABAB}}\};$

$\mathrm{Count}\left(\mathrm{AABB}\right)={\mathrm{\Σ}}_{i=1}^{\left|S_{\mathrm{AABB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\∈S_{\mathrm{AABB}}\}.$

优选的，所述预设叠词度阈值为3.5，所述预设信息熵阈值为2.0。

有益效果：本发明利用结构合理的五元组模型对分词后的语料进行统计以获得各类叠词候选集；并在此基础上，通过叠词度的运算判断实现AAB式、ABB式、ABA式、ABAB式、AABB式叠词的自动获取；并在叠词度判断的基础上，进一步通过左、右邻接熵的运算判断实现AA式叠词的自动获取。本发明根据结构合理的五元组模型获得的统计信息，结合叠词度和信息熵的判断，实现了叠词的量化判断和自动获取，经实验证明，本发明准确率高，有利于更为更为精准的开展自然语言的信息化处理工作，可广泛推广使用。如结合到中文文本自动校对领域中，叠词的自动获取，可以有效改善“将叠词当做插入错误”的误判，也可以避免矫枉过正，将“不是叠词却类似叠词式的插入错误”被全部过滤掉而产生的漏判，在自然语言处理领域中具有十分明显的实用意义。

对本发明进行大规模语料(8G)中自动获取叠词的实验，实验结果表明：本发明提供的汉语叠词的自动获取方法能有效的获得汉语叠词，本发明在试验语料中获得“AA”式叠词1012个、“AAB”式叠词3512个、“ABB”式叠词980个，“ABA”式叠词6350个、“ABAB”式叠词2958个，“AABB”式叠词1175个。统计分析后得知，本发明提供的汉语叠词的自动获取方法，其叠词获取的准确率高达85.7％。

附图说明

图1是实施例中的汉语叠词的自动获取方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作更进一步的说明。

根据汉语叠词的定义，对叠词进行如下分类：“AA”、“AAB”、“ABB”、“ABA”、“AABB”、“ABAB”、“AABC”、“BCAA”和“ABAC”。对于“ABAC”、“BCAA”、“AABC”型叠词一般都是固定的表达法，大部分收录在汉语成语词典中。本发明是针对“AA”、“AAB”、“ABB”、“ABA”、“ABAB”、“AABB”这六种类型的叠词进行自动获取。

如图1所示，本实施例提供的汉语叠词的自动获取方法，包括以下步骤：

1.利用五元组模型对分词后的语料进行统计的步骤，包括：

1.1五元组模型统计的步骤：

叠词自动获取需要对叠词模式串进行统计以及对其上下文信息进行统计，为了便于对大规模语料进行统计和存储，以方便后面叠词的计算和判断，本发明对分词后的语料，根据叠词的定义、类型以及分词后的模式，利用五元组模型来统计满足AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词模式的五元组。

所述五元组模型用于表示和统计词与词之间的关系，为：Five-ElementModel＝(leftWord,leftInterval,word,rightInterval,rightWord)；

其中：word为当前统计的词，leftWord是与词word左边相隔距离为leftInterval的词；leftInterval表示word与leftWord之间的距离；rightWord是与词word右边相隔距离为rightInterval的词；rightInterval表示word与rightWord之间的距离。

当leftInterval＝0时表示leftWord与word是相邻，当leftInterval＝1时表示leftWord与word中间隔一个词，以此类推，rightInterval的含义与leftInterval类似。五元组模型统计中，leftInterval<＝2，rightInterval<＝2，本发明经实验判断，窗口宽度为[-1,1]已经包含了足够的语义信息和上下文词的信息。

由于叠词是相邻的词，因此，只需要考虑leftInterval和rightInterval相等且为0的五元组模型，因此本实施例中：

所述AAB式五元组模型包括(A,0,AB,0，*)，(*,0,A,0,AB)，(AA,0,B,0,*)，(A,0,A,0,B)，(*,0,AA,0,B)；

所述ABB式五元组模型包括(A,0,B,0,B)，(A,0,BB,0,*)，(*,0,A,0,BB)，(AB,0,B,0,*)，(*,0,AB,0,B)；

所述AA式五元组模型包括(*,0,A,0,A)，(*,0,AA,0,*)，(A,0,A,0,*)；

所述ABA式五元组模型包括(A,0,B,0,A)，其中B是一个单字词；

所述ABAB式五元组模型包括(AB,0,AB,0,*)，(*,0,AB,0,AB)；

所述AABB式五元组模型包括(AA,0,BB,0,*)，(*,0,AA,0,BB)；

上述五元组中的“*”代表任意词。

1.2叠词模式候选获取的步骤：将上述统计获得的满足五元组模型叠词模式的五元组模式串，作为候选叠词加入到对应的AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词候选集中去，其中：

AAB式叠词候选集为：SAAB＝{(A,0,AB,*)，(*,0,A,0,AB)，(AA,0,B,0,,*)，(A,0,A,0,B)，(*,0,AA,0,B)}；

ABB式叠词候选集为：SABB＝{(A,0,B,0,B)，(A,0,BB,0,*)，(*,0,A,0,BB)，(AB,0,B,0,*)，(*,0,AB,0,B)}；

AA式叠词候选集为：SAA＝{(*,0,A,0,A)，(*,0,AA,0,*)，(A,0,A,0,*)}；

ABA式叠词候选集为：SABA＝{(A,0,B,0,A)，其中B是一个单字词}；

ABAB式叠词候选集为：SABAB＝{(AB,0,AB,0,*)，(*,0,AB,0,AB)}；

AABB式叠词候选集为：SAABB＝{(AA,0,BB,0,*)，(*,0,AA,0,BB)}。

1.3统计候选叠词出现频率的步骤(图中未示出)：遍历AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词候选集中的候选叠词，统计得到AAB式、ABB式、AA式、ABA式、ABAB式、AABB式候选叠词的出现频率分别为：

$\mathrm{Count}\left(\mathrm{AAB}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{AAB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{AAB}}\};$

$\mathrm{Count}\left(\mathrm{ABB}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{ABB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{ABB}}\};$

$\mathrm{Count}\left(\mathrm{AA}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{AA}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{AA}}\};$

$\mathrm{Count}\left(\mathrm{ABA}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{ABA}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{ABA}}\};$

$\mathrm{Count}\left(\mathrm{ABAB}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{ABAB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{ABAB}}\};$

$\mathrm{Count}\left(\mathrm{AABB}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{AABB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{AABB}}\}.$

2.自动获取AAB式、ABB式、ABA式、ABAB式、AABB式叠词的步骤，包括：

2.1叠词度计算的步骤：遍历AAB式、ABB式、ABA式、ABAB式、AABB式叠词候选集中的候选叠词，逐一计算叠词度；所述叠词度ComDegree用于表示叠词的内部组成部分的结合程度：

所述AAB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AAB}\right)=\frac{\log P\left(\mathrm{AAB}\right)}{\min (\log (P\left(A\right)*P\left(\mathrm{AB}\right)),\log (P\left(\mathrm{AA}\right)*P\left(B\right)),\log (P\left(A\right)*P\left(A\right)*\log \left(B\right)))}---\left(1\right);$

所述ABB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABB}\right)=\frac{\log P\left(\mathrm{ABB}\right)}{\min (\log (P\left(A\right)*P\left(\mathrm{BB}\right)),\log (P\left(\mathrm{AB}\right)*P\left(B\right)),\log (P\left(A\right)*P\left(B\right)*\log \left(B\right)))}---\left(2\right);$

所述ABA式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABA}\right)=\frac{\log P\left(\mathrm{ABA}\right)}{\log (P\left(A\right)*P\left(B\right)*\left(A\right))}---\left(4\right);$

所述ABAB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABAB}\right)=\frac{\log P\left(\mathrm{ABAB}\right)}{\log (P\left(\mathrm{AB}\right)*P\left(\mathrm{AB}\right)}---\left(5\right);$

所述AABB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AABB}\right)=\frac{\log P\left(\mathrm{AABB}\right)}{\log (P\left(\mathrm{AA}\right)*P\left(\mathrm{BB}\right)}---\left(6\right);$

其中P(W)表示词W在语料中的出现概率，p(W)＝Count(W)/N，N表示语料中所有词的频率，min(X,Y)表示最小值函数。

2.2叠词度判断的步骤：判断AAB式、ABB式、ABA式、ABAB式、AABB式及AA式候选叠词的叠词度是否大于预设预设叠词度阈值α，本实施例中α＝3.5，具体如下：

对于ABB式候选叠词，如果ComDegree(ABB)>α，则判断其是一个叠词，将其加入叠词词典中；

对于AAB式候选叠词，如果ComDegree(AAB)>α，则判断其是一个叠词，将其加入叠词词典中；

对于ABA式候选叠词，如果ComDegree(ABA)>α，则判断其是一个叠词，将其加入叠词词典中；

对于ABAB式候选叠词，如果ComDegree(ABAB)>α，则判断其是一个叠词，将其加入叠词词典中；

对于AABB式候选叠词，如果ComDegree(AABB)>α，则判断其是一个叠词，将其加入叠词词典中。

当然，上述预设叠词度阈值α的取值可根据实际使用环境进行调整。

叠词度ComDegree(W)反映了W中的词在一起的强度，叠词度越大，反映了W中的词经常在一起出现，叠词度越小，则说明W中的词是偶然在一起的。例如，对于“一车车”与“车车的”，通过计算可以发现ComDegree(一车车)＝6.80693，ComDegree(车车的)＝1.2234，因此通过叠词度来看“一车车”是一个叠词，而“车车的”就不是一个叠词。

所述叠词词典也可称为叠词库，至此，实现语料中AAB式、ABB式、ABA式、ABAB式、AABB式叠词的自动获取。

然而，由于有些AAB和ABB中存在AA式叠词，但是AAB与ABB式叠词中AA或BB不一定是AA式叠词，例如“血淋淋”中的“淋淋”就很少单独使用，而“个个”不但可以构成“一个个”叠词，还可以经常单独使用。信息熵是对不确定性的测量。熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。我们用信息熵的来衡量一个AA式候选叠词的左右邻接词的不确定性。例如，“个个”，其左边出现的可能有“一，他们，我们，学生，老师...”，而“淋淋”的左边的邻接的字只有“血，水，湿”，通过左邻接词的信息熵计算发现，“个个”的左邻接词的信息熵很大，而“淋淋”的左邻接词的信息熵很小，从而可以以此来判断“个个”是一个常见的AA式叠词，而“淋淋”就不能作为AA式叠词出现。因此针对AA式叠词，本发明提供的判断和自动获取方法如下。

3.自动获取AA式叠词的步骤，包括：

3.1叠词度计算的步骤：遍历对应的AA式叠词候选集中的候选叠词，逐一计算叠词度；所述AA式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AA}\right)=\frac{\log P\left(\mathrm{AA}\right)}{\log (P\left(A\right)*P\left(A\right))}---\left(3\right).$

3.2叠词度判断的步骤：判断AA式候选叠词的叠词度是否大于预设叠词度阈值α，本实施例中α＝3.5，具体如下：

对于AA式候选叠词，如果ComDegree(AA)>α，则进入下一步继续判断。

当然，上述预设叠词度阈值α的取值可根据实际使用环境进行调整。

3.3邻接信息熵计算的步骤：对于ComDegree(AA)>α的AA式候选叠词，计算其邻接信息熵H(AA)，所述邻接信息熵H(AA)包括左信息熵LH(AA)和右信息熵RH(AA)；

所述左信息熵LH(AA)的计算步骤包括：统计AA的左邻接词W集合LAdjWordSet＝{W₁,...W_n}，及对应的左邻接词和AA的共现频次LF＝{F₁,...F_n}；计算获得左信息熵LH(AA)：

$\mathrm{LH}\left(\mathrm{AA}\right)=-{\mathrm{\&Sigma;}}_{i=0}^{n}P\left(W_i\right|\mathrm{AA})*\log P\left(W_i\right|\mathrm{AA})---\left(7\right);$

所述右信息熵RH(AA)的计算步骤包括：统计AA的右邻接词W集合RAdjWordSet＝{W₁,...W_n}，及对应的左邻接词和AA的共现频次RF＝{F₁,...F_n}；计算获得右信息熵RH(AA)：

$\mathrm{RH}\left(\mathrm{AA}\right)=-{\mathrm{\&Sigma;}}_{i=0}^{n}P\left(W_i\right|\mathrm{AA})*\log P\left(W_i\right|\mathrm{AA})---\left(8\right);$

上述LH(AA)与RH(AA)计算式中：

3.4邻接信息熵判断的步骤：判断AA式候选叠词的左信息熵LH(AA)和右信息熵RH(AA)是否大于预设信息熵阈值β，本实施例中β＝2.0(当然，上述预设信息熵阈值β的取值可根据实际使用环境进行调整)，具体如下：

如果LH(AA)>β，并且RH(AA)>β，则判断该候选叠词是一个AA式叠词，将其加入到叠词词典中去。

所述叠词词典也可称为叠词库，至此，实现语料中AA式叠词的自动获取。

上述步骤中，是否为AA式候选叠词的判断可以放在叠词度计算和判断的步骤之前，也可以如图1所示，放在所有叠词度计算和判断的步骤之后。

即，可以先判断是否为AA式候选叠词，对于非AA式候选叠词进行叠词度的计算和判断实现非AA式叠词的自动获取，对AA式候选叠词进行叠词度计算后，根据叠词度判断的结果再进行邻接熵的计算和判断，从而实现AA式叠词的自动获取。

也可以是如图1所示，先对AAB式、ABB式、AA式、ABA式、ABAB式、AABB式都进行叠词度的计算和判断，然后判断满足叠词度的候选叠词是否为AA式候选叠词，如否则列入叠词词典实现非AA式叠词的自动获取，如是则再进行邻接熵的计算和判断，从而实现AA式叠词的自动获取。

实验：利用本发明进行从大规模语料(8G)中获取叠词的实验。实验结果表明：本发明提供的汉语叠词的自动获取方法能有效的获得汉语叠词，本发明在试验语料中获得“AA”式叠词1012个、“AAB”式叠词3512个、“ABB”式叠词980个，“ABA”式叠词6350个、“ABAB”式叠词2958个，“AABB”式叠词1175个。统计分析后得知，本发明提供的汉语叠词的自动获取方法，其叠词获取的准确率高达85.7％。从实验结果可见，本发明能有效的发现汉语文本中的叠词，准确率高，具有非常广泛的使用价值。

以上实施列仅是本发明的较佳实施例，对本发明不构成限定，相关工作人员在不偏离本发明技术思想的范围内，所进行的多样变化和修改，均落在本发明的保护范围内。

Claims (6)

1.一种汉语叠词的自动获取方法，其特征在于包括以下步骤：

利用五元组模型对分词后的语料进行统计的步骤：

对分词后的语料，根据叠词的定义、类型以及分词后的模式，利用五元组模型来统计满足AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词模式的五元组，并作为候选叠词加入到对应的AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词候选集中去；

自动获取AAB式、ABB式、ABA式、ABAB式、AABB式叠词的步骤：

遍历AAB式、ABB式、ABA式、ABAB式、AABB式叠词候选集中的候选叠词，逐一计算叠词度，将叠词度大于预设叠词度阈值的候选叠词列入叠词库，以实现语料中AAB式、ABB式、ABA式、ABAB式、AABB式叠词的自动获取；

自动获取AA式叠词的步骤：

遍历对应的AA式叠词候选集中的候选叠词，逐一计算叠词度；对叠词度大于预设叠词度阈值的候选叠词，计算其邻接信息熵，并将邻接信息熵大于预设信息熵阈值的候选叠词列入叠词库，以实现语料中AA式叠词的自动获取。

2.根据权利要求1所述的汉语叠词的自动获取方法，其特征在于：

所述利用五元组模型对分词后的预料进行统计的步骤中，

所述五元组模型用于表示和统计词与词之间的关系，为：Five-ElementModel＝(leftWord,leftInterval,word,rightInterval,rightWord)；

其中：word为当前统计的词，leftWord是与词word左边相隔距离为leftInterval的词；leftInterval表示word与leftWord之间的距离；rightWord是与词word右边相隔距离为rightInterval的词；rightInterval表示word与rightWord之间的距离；

所述AAB式五元组模型包括(A,0,AB,0，*)，(*,0,A,0,AB)，(AA,0,B,0,*)，(A,0,A,0,B)，(*,0,AA,0,B)；

所述ABB式五元组模型包括(A,0,B,0,B)，(A,0,BB,0,*)，(*,0,A,0,BB)，(AB,0,B,0,*)，(*,0,AB,0,B)；

所述AA式五元组模型包括(*,0,A,0,A)，(*,0,AA,0,*)，(A,0,A,0,*)；

所述ABA式五元组模型包括(A,0,B,0,A)，其中B是一个单字词；

所述ABAB式五元组模型包括(AB,0,AB,0,*)，(*,0,AB,0,AB)；

所述AABB式五元组模型包括(AA,0,BB,0,*)，(*,0,AA,0,BB)；

上述五元组中的“*”代表任意词；

所述AAB式叠词候选集为：SAAB＝{(A,0,AB,*)，(*,0,A,0,AB)，(AA,0,B,0,,*)，(A,0,A,0,B)，(*,0,AA,0,B)}；

所述ABB式叠词候选集为：SABB＝{(A,0,B,0,B)，(A,0,BB,0,*)，(*,0,A,0,BB)，(AB,0,B,0,*)，(*,0,AB,0,B)}；

所述AA式叠词候选集为：SAA＝{(*,0,A,0,A)，(*,0,AA,0,*)，(A,0,A,0,*)}；

所述ABA式叠词候选集为：SABA＝{(A,0,B,0,A)，其中B是一个单字词}；

所述ABAB式叠词候选集为：SABAB＝{(AB,0,AB,0,*)，(*,0,AB,0,AB)}；

所述AABB式叠词候选集为：SAABB＝{(AA,0,BB,0,*)，(*,0,AA,0,BB)}。

3.根据权利要求1所述的汉语叠词的自动获取方法，其特征在于：

所述自动获取AAB式、ABB式、ABA式、ABAB式、AABB式叠词的步骤和自动获取AA式叠词的步骤中，所述叠词度ComDegree用于表示叠词的内部组成部分的结合程度：

所述AAB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AAB}\right)=\frac{\log P\left(\mathrm{AAB}\right)}{\min \left(\log (P\left(A\right)*P\left(\mathrm{AB}\right)),\log (P\left(\mathrm{AA}\right)*P\left(B\right)),\log (P\left(A\right)*P\left(A\right)*\log \left(B\right))\right)}---\left(1\right);$

所述ABB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABB}\right)=\frac{\log P\left(\mathrm{ABB}\right)}{\min (\log (P\left(A\right)*P\left(\mathrm{BB}\right)),\log (P\left(\mathrm{AB}\right)*P\left(B\right)),\log (P\left(A\right)*P\left(B\right)*\log \left(B\right)))}---\left(2\right);$

所述AA式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AA}\right)=\frac{\log P\left(\mathrm{AA}\right)}{\log (P\left(A\right)*P\left(A\right))}---\left(3\right);$

所述ABA式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABA}\right)=\frac{\log P\left(\mathrm{ABA}\right)}{\log (P\left(A\right)*P\left(B\right)*P\left(A\right))}---\left(4\right);$

所述ABAB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{ABAB}\right)=\frac{\log P\left(\mathrm{ABAB}\right)}{\log (P\left(\mathrm{AB}\right)*P\left(\mathrm{AB}\right)}---\left(5\right);$

所述AABB式叠词的叠词度为：

$\mathrm{ComDegree}\left(\mathrm{AABB}\right)=\frac{\log P\left(\mathrm{AABB}\right)}{\log (P\left(\mathrm{AA}\right)*P\left(\mathrm{BB}\right)}---\left(6\right);$

其中P(W)表示词W在语料中的出现概率，min(X,Y)表示最小值函数。

4.根据权利要求1所述的汉语叠词的自动获取方法，其特征在于：所述自动获取AA式叠词的步骤中，所述邻接信息熵H(AA)包括左信息熵LH(AA)和右信息熵RH(AA)；

所述左信息熵LH(AA)的计算步骤包括：

统计AA的左邻接词W集合LAdjWordSet＝{W₁,...W_n}，及对应的左邻接词和AA的共现频次LF＝{F₁,...F_n}；

计算获得左信息熵LH(AA)：

$\mathrm{LH}\left(\mathrm{AA}\right)=-{\mathrm{\&Sigma;}}_{i=0}^{n}P\left(W_i\right|\mathrm{AA})*\log P\left(W_i\right|\mathrm{AA})---\left(7\right);$

所述右信息熵RH(AA)的计算步骤包括：

统计AA的右邻接词W集合RAdjWordSet＝{W₁,...W_n}，及对应的左邻接词和AA的共现频次RF＝{F₁,...F_n}；

计算获得右信息熵RH(AA)：

$\mathrm{RH}\left(\mathrm{AA}\right)=-{\mathrm{\&Sigma;}}_{i=0}^{n}P\left(W_i\right|\mathrm{AA})*\log P\left(W_i\right|\mathrm{AA})---\left(8\right);$

上述 $P\left(W_i\right|\mathrm{AA})=\frac{F_i}{{\mathrm{\&Sigma;}}_{i=0}^n{F}_i}.$

5.根据权利要求2所述的汉语叠词的自动获取方法，其特征在于：

所述利用五元组模型对分词后的预料进行统计的步骤中，还包括分别统计候选叠词的出现频率的步骤：遍历AAB式、ABB式、AA式、ABA式、ABAB式、AABB式叠词候选集中的候选叠词，统计得到AAB式、ABB式、AA式、ABA式、ABAB式、AABB式候选叠词的出现频率分别为：

$\mathrm{Count}\left(\mathrm{AAB}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{AAB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{AAB}}\};$

$\mathrm{Count}\left(\mathrm{ABB}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{ABB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{ABB}}\};$

$\mathrm{Count}\left(\mathrm{AA}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{AA}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{AA}}\};$

$\mathrm{Count}\left(\mathrm{ABA}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{ABA}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{ABA}}\};$

$\mathrm{Count}\left(\mathrm{ABAB}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{ABAB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{ABAB}}\};$

$\mathrm{Count}\left(\mathrm{AABB}\right)={\mathrm{\&Sigma;}}_{i=1}^{\left|S_{\mathrm{AABB}}\right|}\left\{\mathrm{freq}\left(e_i\right)\right|e_i\&Element;S_{\mathrm{AABB}}\}.$

6.根据权利要求1所述的汉语叠词的自动获取方法，其特征在于：所述预设叠词度阈值为3.5，所述预设信息熵阈值为2.0。