CN101458927A - 产生及侦测混淆音的方法及系统 - Google Patents

Abstract

一种混淆音产生及侦测方法，包含产生阶段及侦测阶段，产生阶段包含：a.输入汉语语料；b.利用维特比解码算法中的强迫校准，切割汉语语料；c.将切音结果与汉语声学模型比对；d.判别是否有混淆音产生；e.当混淆音产生时，将混淆音加入辨识网络，重复步骤b、c、d；以及f.当没有混淆音产生时，停止并输出所有之前产生的混淆音至混淆音设定档。侦测阶段包含：g.输入使用者念出的汉语语句；h.利用混淆音辨识网络进行校准；i.决定汉语语句的最佳路径；以及j.比较最佳路径与标准路径，进行即时语音矫正。

Description

产生及侦测混淆音的方法及系统

技术领域

本发明是有关于一种产生及侦测混淆音的方法及系统，且特别是有关于一种产生及侦测汉语发音混淆音的方法及系统。

背景技术

由于近年来电脑计算能力的提升以及语音辨识技术的进步，语音处理在我们日常生活上的应用与日俱增，在语言学习方面，以电脑辅助使用者进行非母语学习已受到相当重视，各方也纷纷投入相关的研究。

语言的学习大致上可以分为听、说、读、写这四大部分，在汉语口说能力的训练方面，没有一个很好的解决方案来帮助汉语学习者自我练习与评量，目前在汉语学习软件市场上提供的辅助发音会话学习方面，经过切音、系统分析、以及算法等数据处理后，只能做到语音评分，让使用者知道哪个单字发音发的不够准确，但是无法对使用者的发音进一步提出分析或指正，也无法根据不同语言或国家的使用者的特性给予有效的矫正建议，实用性不大，所能提供的实质帮助有限。

因此，需要一种产生及侦测发音错误模型的方法及系统来改善上述问题。

发明内容

因此本发明的目的就是在提供一种产生及侦测混淆音的方法及系统，此方法及系统可以分析出使用者发音错误的模式，指出使用者错误之处，让使用者知道哪个发音发的不够准确，还能进一步提出发音指正，给予有效的矫正建议，增加使用者的学习效率。

根据本发明的上述目的，提出一种产生及侦测混淆音的方法。依照本发明一较佳实施例，此产生及侦测混淆音的方法包含产生阶段及侦测阶段，产生阶段包含：a.输入汉语语料；b.利用维特比解码算法(Viterbi Decoding)中的强迫校准(Forced Alignment)，切割汉语语料；c.将切音结果与汉语声学模型比对；d.判别是否有混淆音产生；e.当混淆音产生时，将混淆音加入辨识网络，重复步骤b、c、以及d；以及f.当没有混淆音产生时，停止并输出所有之前产生的混淆音至混淆音设定档。侦测阶段包含：g.输入使用者念出的汉语语句；h.利用混淆音辨识网络进行校准；i.决定汉语语句的最佳路径；以及j.比较最佳路径与标准路径，进行即时语音矫正。

根据本发明的上述目的，提出一种产生及侦测混淆音的系统。依照本发明一较佳实施例，此产生及侦测混淆音的系统包含产生系统及侦测系统，产生系统包含：辨识网络，用以辨识汉语语料；汉语声学模型，用以提供411个标准汉语音节；混淆音设定档，用以储存所有产生的混淆音；语音切割模块，输入汉语语料，利用维特比解码算法中的强迫校准，通过辨识网络辨识出最佳路径，切割汉语语料以得到切音结果；以及混淆音产生模块，将切音结果与汉语声学模型比对以判别是否有混淆音产生，当混淆音产生时，将混淆音加入辨识网络，当没有混淆音产生时，停止并输出所有之前产生的混淆音至混淆音设定档；其中当混淆音产生模块有混淆音产生时，语音切割模块会通过辨识网络辨识出一条新的最佳路径，再次切割汉语语料以得到新的切音结果，并将新的切音结果输出至混淆音产生模块。

侦测系统包含：混淆音辨识网络，用以辨识使用者念出的汉语语句，混淆音辨识网络根据产生阶段输出的混淆音设定档所建立；路径辨识模块，利用维特比解码算法中的强迫校准决定汉语语句的最佳路径；以及语音矫正模块，比较最佳路径与标准路径，进行即时语音矫正。

本发明以迭代(Iteration)的方法来反复找出混淆音并加入辨识网络，来逐次提高切音的正确性以及评分的客观性。应用本发明可以分析出使用者发音错误的模式，指出使用者错误之处，让使用者知道哪个发音发的不够准确，还能进一步提出发音指正，给予有效的矫正建议，增加使用者的学习效率。

附图说明

为使本发明的上述和其它目的、特征、优点与实施例能更明显易懂，所附附图的详细说明如下：

图1A所示为依照本发明一较佳实施例的混淆音产生方法流程图；

图1B所示为依照本发明一较佳实施例的混淆音侦测方法流程图；

图2A所示为依照本发明一较佳实施例于混淆音产生阶段时的辨识网络示意图；

图2B所示为依照本发明一较佳实施例于混淆音侦测阶段时的路径示意图；

图2C所示为依照本发明一较佳实施例的切音结果示意图；

图3A所示为依照本发明一较佳实施例的混淆音产生系统的结构示意图；

图3B所示为依照本发明一较佳实施例的混淆音侦测系统的结构示意图。

其中，附图标记：

110：输入汉语语料                          240：混淆音辨识网络

120：利用维特比解码算法中的强迫校准，      250：最佳路径

切割汉语语料                               270：第一次切音的结果

130：将切音结果与汉语声学模型比对          280：第二次切音的结果

140：判别是否有混淆音产生                  310：汉语语音文件

150：将混淆音加入辨识网络                  320：辨识网络

160：停止并输出所有之前产生的混淆音        330：汉语声学模型

170：输入汉语语句                          340：混淆音设定档

175：利用混淆音辨识网络进行校准            350：语音切割模块

180：决定汉语语句的最佳路径                360：混淆音产生模块

185：进行即时语音矫正                      362：计算模块

210：起始时的辨识网络                      364：排名模块

220：加入混淆音的辨识网络                  370：混淆音辨识网络

                                           380：路径辨识模块

                                           385：语音矫正模块

具体实施方式

此产生及侦测混淆音的方法可分成产生阶段及侦测阶段来进行。请参照图1A及图2A，图1A所示为依照本发明一较佳实施例的混淆音产生方法流程图，图2A所示为依照本发明一较佳实施例在混淆音产生阶段时的辨识网络示意图。在产生阶段时，可从汉语语音文件或麦克风输入汉语语料(步骤110)；接着，进行切割汉语语料(步骤120)，此步骤是利用维特比解码算法中的强迫校准，通过辨识网络辨识出一条最佳路径，辨识网络在起始时包含一条标准路径，此标准路径为汉语语料的标准语音内容，在此以例句qu-nian-xia-tian-re-si-le(去年夏天热死了)说明，如图2A中的状态210所示，此时辨识网络内的标准路径是由qu nian xia tian re si le这七个标准汉语音节所构成，根据这些标准汉语音节切割汉语语料后可得知每个音节的起始时间及结束时间；再来，将切音后的每个音节与411个标准汉语音节的汉语声学模型比对(步骤130)，此方法是采用隐藏式马可夫模型作为声学模型，将每个音节与所有411个标准汉语音节比对后计算出对数机率，根据这些对数机率的高低将411个标准汉语音节排名，当一个标准汉语音节a的排名高于一个切音后的音节所应对应的标准汉语音节b时，标准汉语音节a即为混淆音，例如一个切音后的音节所应对应的标准汉语音节为re(热)，然而，le(乐)的排名却高于re(热)时，即可得知学习者将re(热)混淆为le(乐)，找出混淆音le(乐)；以此排名来判别是否有混淆音产生(步骤140)；接着，将混淆音加入辨识网络(步骤150)，如图2A中的状态220所示，此时由于有混淆音le(乐)的加入，辨识网络内多了另一条路径；接着重复步骤120、130、以及140，直到没有混淆音产生为止，当没有混淆音产生时，停止并输出所有之前产生的混淆音至混淆音设定档(步骤160)。

由于有混淆音le(乐)加入辨识网络，再次重复步骤120进行切音时，路径为qu-nian-xia-tian-le-si-le，切音的结果会更为精准，此时因为切音结果有所变动，可能再产生其它的混淆音，需要将切音结果与汉语声学模型再次比对以判别是否有新的混淆音产生。如图2C所示，图2C所示为依照本发明一较佳实施例的切音结果示意图，状态270为第一次切音的结果，状态280为第二次切音的结果。

请参照图1B及图2B，图1B所示为依照本发明一较佳实施例的混淆音侦测方法流程图，图2B所示为依照本发明一较佳实施例于混淆音侦测阶段时的路径示意图。在侦测阶段时，先输入使用者念出的汉语语句(步骤170)；通过混淆音辨识网络，利用维特比解码算法中的强迫校准对此汉语语句进行校准(步骤175)，混淆音辨识网络是根据在产生阶段输出的混淆音设定档所建立，涵盖了外国人学习汉语时常见的混淆音，如图2B中的状态240所示，qu-nian-xia-tian-re-si-le(去年夏天热死了)的混淆音辨识网络包含混淆音niang、tiang、以及le；然后，得到汉语语句的最佳路径(步骤180)，如图2B中的状态250所示，辨识出使用者念出汉语语句的路径为qu-niang-xia-tiang-le-si-le；最后，将最佳路径与标准路径作比较，找出错误的发音，进行即时语音矫正(步骤185)，得知使用者在此例句中将nian发成niang、tian发成tiang、re发成le，并且对汉语语句加以评分。

请参照图3A，图3A所示为依照本发明一较佳实施例的混淆音产生系统的结构示意图。混淆音产生系统包含汉语语音文件310，用以储存汉语语料；辨识网络320，用以辨识汉语语料；汉语声学模型330，用以提供411个标准汉语音节，采用隐藏式马可夫模型；混淆音设定档340，用以储存所有产生的混淆音；语音切割模块350；用以切割汉语语料；以及混淆音产生模块360，用以产生混淆音，包含计算模块362及排名模块364。

汉语语音文件310储存了大量来自汉语学习者的语料，极佳地涵盖了常用的汉语音节，从汉语语音文件310输入汉语语料后，语音切割模块350接着进行语料切割，利用维特比解码算法中的强迫校准，通过辨识网络320辨识出最佳路径，切割汉语语料，切音后可得知每个音节的起始时间及结束时间。辨识网络320在起始时包含一条标准路径，此标准路径为汉语语料的标准语音内容。混淆音产生模块360中，计算模块362将切音后的每个音节与汉语声学模型330的411个标准汉语音节比对计算出对数机率后，排名模块364根据对数机率的高低来排名标准汉语音节，当一个标准汉语音节a的排名高于一个切音后的音节所应对应的标准汉语音节b时，标准汉语音节a即为混淆音，学习者将b混淆成a，如果有混淆音产生，将混淆音加入辨识网络320，如果没有混淆音产生，停止并输出所有之前产生的混淆音至混淆音设定档340。其中当混淆音产生模块360有混淆音产生时，语音切割模块350会通过辨识网络320辨识出一条新的最佳路径，再次切割汉语语料以得到新的切音结果，并将新的切音结果输出至混淆音产生模块360以判别是否有混淆音产生。

请参照图3B，图3B所示为依照本发明一较佳实施例的混淆音侦测系统的结构示意图。侦测系统包含混淆音辨识网络370，用以辨识使用者念出的汉语语句；路径辨识模块380，用以决定汉语语句的最佳路径；以及语音矫正模块385，用以进行即时语音矫正。

产生阶段完成时，会找出外国人学习汉语时常见的混淆音并输出至混淆音设定档，根据此混淆音设定档建立混淆音辨识网络370。输入使用者念出的汉语语句后，路径辨识模块380通过混淆音辨识网络370，利用维特比解码算法中的强迫校准得到汉语语句的最佳路径，语音矫正模块385将最佳路径与标准路径作比较后，找出错误的发音，进行即时语音矫正，并且对汉语语句加以评分。

此实施例以迭代的方法来反复找出混淆音并加入辨识网络，来逐次提高切音的正确性以及评分的客观性。由上述本发明较佳实施例可知，应用此产生及侦测汉语发音混淆音的方法及系统可以分析出使用者发音错误的模式，指出使用者错误之处，让使用者知道哪个发音发的不够准确，还能进一步提出发音指正，给予有效的矫正建议，增加使用者的学习效率。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (21)

1.一种混淆音产生及侦测方法，其特征在于，包含：

提供一产生阶段，该产生阶段包含：

a.输入一汉语语料；

b.利用维特比解码算法中的强迫校准，通过一辨识网络辨识出一最佳路径，切割该汉语语料以得到一切音结果，其中该切音结果为多个音节；

c.将该切音结果与一汉语声学模型比对，其中该汉语声学模型包含多个标准汉语音节；

d.判别是否有混淆音产生；

e.当混淆音产生时，将混淆音加入该辨识网络，重复步骤b、c、以及d；以及

f.当没有混淆音产生时，停止并输出所有之前产生的混淆音至一混淆音设定档；

提供一侦测阶段，该侦测阶段包含：

g.输入一使用者念出的一汉语语句；

h.利用一混淆音辨识网络进行校准，其中该混淆音辨识网络根据该产生阶段输出的该混淆音设定档所建立；

i.决定该汉语语句的最佳路径；以及

j.比较该最佳路径与该标准路径，进行即时语音矫正。

2.根据权利要求1所述的混淆音产生及侦测方法，其特征在于，由该切音结果得知每一该音节的起始时间及结束时间。

3.根据权利要求1所述的混淆音产生及侦测方法，其特征在于，该汉语声学模型为隐藏式马可夫模型。

4.根据权利要求1所述的混淆音产生及侦测方法，其特征在于，该汉语声学模型包含411个标准汉语音节。

5.根据权利要求1所述的混淆音产生及侦测方法，其特征在于，该辨识网络在起始时包含一标准路径，该标准路径为该汉语语料的标准语音内容。

6.根据权利要求1所述的混淆音产生及侦测方法，其特征在于，该步骤c包含：

将每一该音节与所有该标准汉语音节比对以计算出多个对数机率；

根据该对数机率的高低来排名该标准汉语音节；以及

当存在一标准汉语音节，该标准汉语音节的排名高于每一该音节所应对应的标准汉语音节时，该标准汉语音节即为混淆音。

7.根据权利要求1所述的混淆音产生及侦测方法，其特征在于，该方法以迭代的方法来反复找出混淆音并加入该辨识网络，来逐次提高切音的正确性以及评分的客观性。

8.一种混淆音产生及侦测系统，其特征在于，包含：

一产生系统，包含：

一辨识网络，用以辨识汉语语料；

一汉语声学模型，用以提供多个标准汉语音节，其中该汉语声学模型包含多个标准汉语音节；

一混淆音设定档，用以储存所有产生的混淆音；

一语音切割模块，输入一汉语语料，利用维特比解码算法中的强迫校准，通过该辨识网络辨识出一最佳路径，切割该汉语语料以得到一切音结果，其中该切音结果为多个音节；以及

一混淆音产生模块，将该切音结果与该汉语声学模型比对以判别是否有混淆音产生，当混淆音产生时，将混淆音加入该辨识网络，当没有混淆音产生时，停止并输出所有之前产生的混淆音至该混淆音设定档；

其中当该混淆音产生模块有混淆音产生时，该语音切割模块会通过该辨识网络辨识出一新的最佳路径，再次切割该汉语语料以得到一新的切音结果，并将该新的切音结果输出至该混淆音产生模块以判别是否有混淆音产生；

一侦测系统，包含：

一混淆音辨识网络，用以辨识一使用者念出的一汉语语句，该混淆音辨识网络根据该产生阶段输出的该混淆音设定档所建立；

一路径辨识模块，利用维特比解码算法中的强迫校准决定该汉语语句的最佳路径；以及

一语音矫正模块，比较该最佳路径与该标准路径，进行即时语音矫正。

9.根据权利要求8所述的混淆音产生及侦测系统，其特征在于，由该切音结果得知每一该音节的起始时间及结束时间。

10.根据权利要求8所述的混淆音产生及侦测系统，其特征在于，该汉语声学模型为隐藏式马可夫模型。

11.根据权利要求8所述的混淆音产生及侦测系统，其特征在于，该汉语声学模型包含411个标准汉语音节。

12.根据权利要求8所述的混淆音产生及侦测系统，其特征在于，该辨识网络在起始时包含一标准路径，该标准路径为该汉语语料的标准语音内容。

13.根据权利要求8所述的混淆音产生及侦测系统，其特征在于，该混淆音产生模块包含：

一计算模块，将每一该音节对所有该标准汉语音节计算出多个对数机率；以及

一排名模块，根据该对数机率的高低来排名该标准汉语音节，当存在一标准汉语音节，该标准汉语音节的排名高于每一该音节所应对应的标准汉语音节时，该标准汉语音节即为混淆音。

14.根据权利要求8所述的混淆音产生及侦测系统，其特征在于，该系统以迭代的方法来反复找出混淆音并加入该辨识网络，来逐次提高切音的正确性以及评分的客观性。

15.一种记录媒体，其记录一电脑可读取程序，该程序使得一电脑执行混淆音产生及侦测，其特征在于，该程序包含：

提供一产生阶段，该产生阶段包含：

a.输入一汉语语料；

b.利用维特比解码算法中的强迫校准，通过一辨识网络辨识出一最佳路径，切割该汉语语料以得到一切音结果，其中该切音结果为多个音节；

c.将该切音结果与一汉语声学模型比对，其中该汉语声学模型包含多个标准汉语音节；

d.判别是否有混淆音产生；

e.当混淆音产生时，将混淆音加入该辨识网络，重复步骤b、c、以及d；以及

f.当没有混淆音产生时，停止并输出所有之前产生的混淆音至一混淆音设定档；

提供一侦测阶段，该侦测阶段包含：

g.输入一使用者念出的一汉语语句；

h.利用一混淆音辨识网络进行校准，其中该混淆音辨识网络根据该产生阶段输出的该混淆音设定档所建立；

i.决定该汉语语句的最佳路径；以及

j.比较该最佳路径与该标准路径，进行即时语音矫正。

16.根据权利要求15所述的记录媒体，其特征在于，由该切音结果得知每一该音节的起始时间及结束时间。

17.根据权利要求15所述的记录媒体，其特征在于，该汉语声学模型为隐藏式马可夫模型。

18.根据权利要求15所述的记录媒体，其中该汉语声学模型包含411个标准汉语音节。

19.根据权利要求15所述的记录媒体，其特征在于，该辨识网络在起始时包含一标准路径，该标准路径为该汉语语料的标准语音内容。

20.根据权利要求15所述的记录媒体，其特征在于，该步骤c包含：

将每一该音节与所有该标准汉语音节比对以计算出多个对数机率；

根据该对数机率的高低来排名该标准汉语音节；

以及

当存在一标准汉语音节，该标准汉语音节的排名高于每一该音节所应对应的标准汉语音节时，该标准汉语音节即为混淆音。

21.根据权利要求15所述的记录媒体，其特征在于，该方法以迭代的方法来反复找出混淆音并加入该辨识网络，来逐次提高切音的正确性以及评分的客观性。

Images