CN101493812B

CN101493812B - 一种音字转换方法

Info

Publication number: CN101493812B
Application number: CN2009100792705A
Authority: CN
Inventors: 张顺昌; 孙乐; 李文波
Original assignee: Institute of Software of CAS
Current assignee: Institute of Software of CAS
Priority date: 2009-03-06
Filing date: 2009-03-06
Publication date: 2010-12-01
Anticipated expiration: 2029-03-06
Also published as: CN101493812A

Abstract

本发明公开了一种音字转换方法，属于中文信息处理技术领域。本发明方法包括：切分输入的拼音串，利用词树层将音节转化成汉字，同时调用歧义处理模块对切分后的音节进行歧义判定，若存在歧义，则重新切分；所述歧义包括I型歧义和/或II型歧义；利用训练好的语言模型对音节的备选字词进行概率得分排序，得到字词混合网格；在通用解码层根据得分高低得到文字串。和现有技术相比，本发明方法既照顾到了所有可能的切分，解决了大部分切分歧义问题，又保证了一定的效率，不至于产生基于码元切分的组合式爆炸，节省了内存存储空间，减小了对存储空间的限制。本发明可用于中文信息处理，包括汉字输入，语音输入等。

Description

一种音字转换方法

技术领域

本发明涉及汉字输入，具体来说，本发明涉及一种从拼音串到汉字串转化的方法，主要用在中文拼音输入法内部解码和语音识别的后处理阶段。属于中文信息处理技术领域。

背景技术

音字转换是指由计算机自动地将汉语音节串(拼音串)转换为汉字串的转换。音字转换技术是中文信息处理中的一个重要的基础，有着很广泛的应用。比如中文拼音键盘输入法，语音识别系统都会用到。汉字输入是中文信息处理的基础，而音字转换是中文输入的核心算法，音字转换的准确率直接影响着中文输入的性能。语音输入是未来计算机信息输入发展的方向。语音识别系统可以分为两个阶段：语音识别阶段和音字转换阶段(语音理解阶段)。语音识别阶段目前已经达到了可用的程度，怎样才能使音节串(拼音串)更加准确的转化为汉字串，就是音字转换阶段的工作。

音字转换的难点就在于一字多音，一音多字现象的存在。据统计，汉语音节只有400个左右，而GB2312编码的汉字就有6763个，GB18030收录的汉字则有27，484个。对于GB2312平均每个音节对应着17个汉字，而对GB18030则对应着69个汉字！又加上分布的不均匀，有的音节对应着汉字个数高达数百个，据我们统计，在400多个无调拼音中yi对应着496个汉字，yu对应着348个汉字，zhi对应着308个汉字。重码率如此之高，就是音字转换的一大困难。

拼音流的切分就是把一串无分隔符的拼音串切分成单个音节或者是对应词的拼音串。如“wojintianhengaoxing”(我今天很高兴)的切分结果是“wo’jintian’hen’gaoxing”。现在一般的拼音流切分算法有：

1.全切分算法：考虑拼音串中所有可能的切分结果。

2.正向最大匹配(FMM)：按照正向最长的可能音节作为最后的切分音节。

3.反向最大匹配(BMM)：按照反向最长的可能音节作为最后的切分音节。

4.正反双向最大匹配：正向最大匹配和反向最大匹配同时考虑。

5.最少分词算法：切分出的音节数最少为此算法的切分标准。

其中，尽管第一种全切分算法能找到所有的切分，但是全切分算法是个NP问题，信息的处理量过大，并不实用。而其它的算法都是局部最优的，存在切分盲点。拼音串的自动分词不仅具有汉语文本自动分词的所有问题，而且歧义现象更加严重。拼音代码串之间的错误组词的概率远大于汉字间组词的概率。

除此之外，已有拼音流的切分算法还存在很多问题。比如不在字典中的词(OOV)和专有名词(人名，地名，组织机构名等)的切分上。但是经发现，除了OOV和专有名词识别问题外，还存在很多拼音流切分歧义的问题。如下表所示：

拼音串	可能的切分
		woquhuanle	wo’qu’huan’le(我去还了)wo’qu’hu’an’le(我去湖岸了)
yigeminganwenti	yi’ge’ming’an’wen’ti(一个命案问题)yi’ge’min’gan’wen’ti(一个敏感问题)

在本发明中，我们将拼音流的切分歧义分为两类：I型切分歧义，即“交叉歧义”，表示拼音流存在两种以上的切分方法的情形，例如mingan可以是ming’an(命案)，也可以是min’gan(敏感)；II型切分歧义，即“覆盖歧义”，表示拼音流中的单个音节可以继续切分的情形，例如dianmen可以是di’an’men(地安门)，也可以是dian’men(店门)。

拼音流存在音节切分歧义主要由以下几种情况引起：

1.某些声母既可以做音节的结尾，又可以做音节的开头，特别是像g、r、n此类声母。除此以外，一些韵母也可单独构成一个音节(也称作“零声母”现象)，这样就更容易造成歧义。如mingan，可以是ming’an(命案)，也可以是min’gan(敏感)。特别是像a/ai/an/ang/ao/e/ei/en/eng/ou等容易与g、n构成歧义；对于声母r来说主要是由er引起的，如可以是er’an(二胺)，也可以是e’ran(愕然)。据统计，此类歧义最多。

2.某些含两个韵母的音节可以拆分为两个音节。如“huan”可以是huan(换，还，缓)，也可以是hu’an(湖岸)；还有xian等类似的歧义组合有100多种。

3.一些韵母可以拆分成两个独立音节。如ao，可以拆分成a和o，而字母a又可能和前面的声母结合成另外一个音节，则几乎含有ao韵母的音节都可以拆分。

4.上面提到的多个歧义切分相邻，造成更复杂的组合歧义。如句子“西安刚...”对应拼音xiangang...，如果用最长匹配方法切分音节，得到的结果是xiang’ang...，而正确切分是xi’an’gang...，可见没有一个音节和正确切分匹配。而且，该串还存在着xian’gang...、xian’gan’g...、xiang’an’g...、xi’ang’ang...、xi’ang’ang...等七种不同切分方式。

语言模型是针对自然语言所建立的数学模型，它主要描述自然语言在统计和结构方面的内在规律。语言模型的研究主要包括两大分类：一类是基于语言学知识的规则文法，另一类是基于统计的语言模型。研究发现，单纯依靠规则的语言模型几乎不可能完成对大规模真实文本的处理，只能处理受限文本。目前，以语料库为基础的统计语言建模方法成为潮流，它通过对语料库进行深层加工、统计和学习，获取大规模真实语料中的语言知识。而现在最常用的语言模型就是基于N-gram的统计语言模型。

如果用S表示一个句子中的n个词，即S＝w₁，w₂...，w_n，统计语言模型的任务就是给出该词序列在文中出现的概率大小P(S)。根据条件概率公式：

P(S)＝P(w₁)P(w₂|w₁)...P(w_n|w₁w₂...，w_n-1)

直观的看，可以利用前面所有的词来预测后面的词，但是这样涉及到的计算量会很大。如果假定在一个语句中第i个词出现的概率条件地依赖于它前面的N-1个词，即将一个词的上下文定义为该词前面出现的N-1个词，这样的语言模型就叫做N元文法统计语言模型(N-gram)，表示如下：

P(S)＝P(w₁)P(w₂|w₁)...P(w_i|w_i-n+1w_i-n+2...w_i-1)...

≈∏_{i＝1，...，n}P(w_i|w_i-n+1...w_i-1)

通常取n为2或者n为3，分别称之为2元模型(bi-gram)或者3元模型(tri-gram)，在3元模型里面，就是用前2个词来预测第三个词，即：

P(S)＝P(w₁)P(w₂|w₁)P(w₃|w₁w₂)...P(w_n|w_n-2w_n-1)

＝P(w₁)P(w₂|w₁)∏_{i＝3，...，n}P(w_i|w_i-2w_i-1)

一般n越大，模型越精确，但所用参数和所需要的训练集也越大。假设语料库词汇量大小是1000，下表给出了不同的n元模型的参数形式以及所用的参数数目。

模型	参数	参数个数
			O-gram	p(w)＝1/\|V\|	1
1-gram	p(w)	1000
			2-gram	p(w<sub>i</sub>\|w<sub>i-1</sub>)	100万
3-gram	p(w<sub>i</sub>\|w<sub>i-2</sub>w<sub>i-1</sub>)	10亿
			4-gram	p(w<sub>i</sub>\|w<sub>i-3</sub>w<sub>i-2</sub>w<sub>i-1</sub>)	10000亿

N-gram模型的优点在于它包含了前N-1个词所能提供的全部信息，这些信息对于当前词的出现具有很强的约束力。它的缺点在于需要相当规模的训练文本来确定模型的参数。当N较大时，模型的参数空间过大。

发明内容

本发明的目的在于提供一种在音字转换时更加准确的解码方法，既照顾到所有切分歧义又不至于浪费太多存储空间。

传统的基于统计语言模型的音字转换技术通过对大规模已知的语料的统计，利用字(词)的上下文信息，来预测未来的拼音串对应的可能汉字串。常用的音字转换模型(也是公认切实可行的)是基于统计语言模型的字词混合网格的分层模型。其分层结构框架如图1所示。

和传统的分层模型(图1)相比，本发明在拼音流切分层和语言模型层之间增加了一个歧义处理模块(图2)，该模块的主要作用就是判定连续的两个或单个音节是否含有I型或者II型切分歧义。其工作过程是这样的：系统接收到一个未切分的拼音串，首先利用音节树和一定的规则(如正向最大切分)进行音节切分，然后利用词树层进行拼音音节到汉字词语的转化，与此同时，调用歧义处理模块对切分过的音节进行歧义判别，并将判别结果传递给拼音流切分层，若存在I型或者II型切分歧义则进行重新切分，否则就处理下一个音节。整个过程都是靠已经训练好的语言模型(比如N-gram语言模型)对音节的备选字词进行概率得分排序，最终产生字词混合网格。最后在通用解码层根据得分的高低进行回溯，得到最优的汉字解码序列。

具体来说，本发明方法具体可通过下列步骤实现：

a)输入拼音串，通过设定的拼音串切分方法将所述拼音串切分成音节组合；按照所述音节组合中的音节先后顺序，对每一个音节i重复下列步骤b-e：

b)令j＝WORD_MAX_LEN，所述WORD_MAX_LEN表示音节字串的最大长度；

c)根据设定的字词检索方法，由音节(i-j+1)到音节i组成的长度为j的音节子串获得其对应的词，并由这些词组成集合W_ij；

当j＝2时，判断音节组合[(i-1)+i]是否为I型歧义，若是，则重新切分该音节组合，并将检索结果并入W_i2；和/或，

当j＝1时，判断音节组合i是否为I型歧义，若是，则重新切分该音节，并将检索结果并入W_i1；

若W_ij非空则转步骤d，否则转步骤e；

d)对于音节(i-j)的候选词集W’_(i-j)中的每个元素，由其对应的路径一一扩展W_ij中的每一个元素，并利用N-gram语言模型计算扩展后的路径的概率得分，并根据得分的高低顺序更新音节i的候选词集W’_i，W’_i的元素个数不超过BEAM_WIDTH个；

e)令j＝j-1，若j≥1则转步骤c，否则处理下一音节；

f)根据最后一个音节的候选词集中得分最高的元素所在的路径输出文字串。

优选地，步骤d所述N-gram语言模型是二元模型或三元模型。

优选地，WORD_MAX_LEN是1-11的自然数，更优选为7-8的自然数。

优选地，BEAM_WIDTH是3-10的自然数，更优选为4-6的自然数，最优选为4。

和现有技术相比，本发明方法在产生字词混合网格时，融合了基于音节的音节切分和基于码元的音节切分，既照顾到了所有可能的切分，解决了大部分切分歧义问题，又保证了一定的效率，不至于产生基于码元切分的组合式爆炸，节省了内存存储空间，减小了对存储空间的限制。

附图说明

图1：传统的音字转换分层结构示意图；

图2：本发明音字转换分层结构示意图；

图3：按照现有技术方法的音字转换结果示意图；

图4：按照本发明方法的音字转换结果示意图。

具体实施方式

下面通过具体实施例结合附图对本发明作更详细的说明。

实施例1

本实施例说明按照现有技术方法将拼音串“yigemingantian”转化为文字串的过程，如图3所示。在本实施例中，拼音串切分方法是正向最大匹配法，字词检索方法通过词典树实现，语言模型采用三元N-gram语言模型(即N取3)，WORD_MAX_LEN是3(即，最多考虑三音节)，BEAM_WIDTH是4(即，音节的候选词集包括4个元素，对应于图3每列中的四个矩形框)。具体过程描述如下：

1.输入拼音串“yigemingantian”，并将其切分成“yi”+“ge”+“ming”+“an”+“tian”的五音节音节组合，对于单个音节，以下以Y表示，例如，Y₁＝“yi”；

2.令i＝1，

a)当j＝3时，由于不存在Y_-1+Y₀+Y₁，因此W₁₃为空集；

b)当i＝2时，由于不存在Y₀+Y₁，因此W₁₂为空集；

c)当i＝1时，检索Y₁，得到W₁₁＝{以，已，一，异，乙，...}，进行概率计分，假设得分高低顺序为“起点-以”＞“起点-已”＞“起点-一”＞“起点-异”＞...，则W’1＝{以，已，一，异}；

3.令i＝2，

a)当j＝3时，由于不存在Y₀+Y₁+Y₂，因此W₂₃为空集；

b)当j＝2时，检索Y₁+Y₂，得到W₁₂＝{一个，一格}，假设“起点-一个”＞“起点-一格”，则W’₂＝{一个，一格}；

c)当j＝1时，检索Y₂，得到W₁₁＝{个，各，歌，哥，...}，假设和步骤b的得分高低相结合后的顺序为“起点-一个”＞“起点-一格”＞“起点-一-个”＞“起点-一-哥”＞，则W’₂更新为{一个，一格，个，哥}；

4.令i＝3，

a)当j＝3时，检索Y₁+Y₂+Y₃，未得到结果，则W₃₃为空集；

b)当j＝2时，检索Y₂+Y₃，得到W₃₂＝{歌名，革命}，假设“起点-一-歌名”＞“起点-一-革命”＞“起点-以-革命”＞“起点-以-歌名”＞...，则W’3＝{歌名，革命，革命，歌名}；

c)当j＝1时，检索Y₃，得到W₃₁＝{名，命，明，鸣，...}，假设“起点-一-歌名”＞“起点-一-革命”＞“起点-一个-名”＞“一-个-名”＞...，则W’₃更新为{歌名，革命，名，名}；

5.令i＝4，

a)当j＝3时，检索Y₂+Y₃+Y₄，未得到结果，则W₄₃为空集；

b)当j＝2时，检索Y₃+Y₄，得到W₄₂＝{命案，明暗}，假设“起点-一个-命案”＞“起点-一个-明暗”＞“一-个-命案”＞“一-个-明暗”＞...，则W’₄＝{命案，明暗，命案，明暗}；

c)当j＝1时，检索Y₄，得到W₄₁＝{按，胺，铵，...}，假设“起点-一个-命案”＞“起点-一个-明暗”＞“一个-名-按”＞“一个-名-案”＞...，则W’₄更新为{命案，明暗，按，案}；

6.令i＝5，

a)当j＝3时，检索Y₃+Y₄+Y₅，未得到结果，则W₅₃为空集；

b)当j＝2时，检索Y₄+Y₅，未得到结果，则W₅₂为空集；

c)当j＝1时，检索Y₅，得到W₅₁＝{天，田，添，...}，假设“一个-命案-天”＞“一个-明暗-天”＞“名-按-天”＞“名-按-填”＞...，则W’₅＝{天，天，天，填}；

7.以W’₅中得分最大的元素“天”所在的路径“一个命案天”(省略无意义的路径起点)作为文字串输出。

实施例2

本实施例说明按照本方法方法将拼音串“yigemingantian”转化为文字串的过程，如图4所示。其具体步骤和实施例1相同，区别在于：

对于各个音节，当j＝2时，检查Y_i-1+Y_i是否属于I型歧义，当j＝1时，检查Y_i是否属于II型歧义。

具体就本实施例而言，在步骤5.b中，检出Y₃+Y₄，即“mingan”属于I型歧义，因此将获得的词语“敏感”并入W₄₂，则W₄₂＝{命案，明暗，敏感}，假设在步骤5.c中最终的得分排序为“起点-一个-敏感”＞“起点-一个-命案”＞“起点-一个-明暗”＞“一个-名-按”＞“一个-名-案”＞...，则本实施例中的W’₄＝{敏感，命案，明暗，按}；

另外，在步骤6.c中检出Y₅，即“tian”属于II型歧义，因此将获得的词语“提案”并入W₅₁，则W₅₁＝{天，田，添，...，提案}，假设在步骤6.c中最终的得分排序为“一个-敏感-提案”＞“一个-命案-提案”＞“一个-敏感-天”＞“一个-命案-天”＞...，则W’₅＝{提案，提案，天，天}；

最终在步骤7中输出的文字串为“一个敏感提案”。

可见，本实施例方法较好地考虑了音节子串或者音节存在歧义的情况，可以更好地将音节串转化为正确的文字串，同时兼顾了效率，不至于产生组合式爆炸，节省了内存存储空间，减小了对存储空间的限制。

值得说明的是，上述实施例仅用于解释本发明方法，其中各个字词的概率得分高低顺序并不一定是真实情况。

Claims

1.一种音字转换方法，其特征在于，该方法包括：切分输入的拼音串，利用词树层将音节转化成汉字；利用训练好的语言模型对音节的备选字词进行概率得分排序，得到字词混合网格；在通用解码层根据得分高低得到文字串；

利用词树层将音节转化成汉字的同时调用歧义处理模块对切分后的音节进行歧义判定，若存在歧义，则重新切分；

所述歧义包括I型歧义和/或II型歧义，所述I型歧义表示两个音节组成的音节组合存在两种以上的切分方法的情形，所述II型歧义表示音节可以继续切分的情形；

所述音字转换方法具体包括下列步骤：

b)令j＝WORD_MAX_LEN，所述WORD_MAX_LEN表示音节字串的最大长度；

当j＝1时，判断音节组合i是否为II型歧义，若是，则重新切分该音节，并将检索结果并入W_i1；

若W_ij非空则转步骤d，否则转步骤e；

e)令j＝j-1，若j≥1则转步骤c，否则处理下一音节；

2.如权利要求1所述的音字转换方法，其特征在于，通过下列方法切分输入的拼音串：正向最大匹配法、反向最大匹配法、正反双向最大匹配法或最少分词法。

3.如权利要求1所述的音字转换方法，其特征在于，步骤d所述N-gram语言模型是二元模型或三元模型。

4.如权利要求1所述的音字转换方法，其特征在于，WORD_MAX_LEN是1-11的自然数。

5.如权利要求4所述的音字转换方法，其特征在于，WORD_MAX_LEN是7-8的自然数。

6.如权利要求5所述的音字转换方法，其特征在于，BEAM_WIDTH是3-10的自然数。

7.如权利要求1所述的音字转换方法，其特征在于，BEAM_WIDTH是4-6的自然数。

8.如权利要求7所述的音字转换方法，其特征在于，BEAM_WIDTH是4。