CN101577118B - 面向智能服务机器人的语音交互系统的实现方法 - Google Patents

Abstract

本发明公开了一种面向智能服务机器人的语音交互系统的实现方法，通过改进的鲁棒性模板训练法训练语音模板，挑选出可用于人机交互的鲁棒性较强的词汇表，弱化了不同说话人的个性信息，在系统的抗噪声和与说话人无关方面得以改进。当输入待测语音时，基于挑选的词汇表计算待测语音与各语音模板的匹配距离，选择最小距离对应的模板为识别结果，如果该识别结果信赖度较高，则输出识别结果，如果信赖度较低，则拒绝该识别结果，同时选择次小距离对应的模板为识别结果，再次判定，如此循环，直至找到信赖度较高的识别结果为止，有效屏蔽了信赖度较低的待测语音，同时又可以修正识别结果，提高识别性能，实现了说话人与机器人安全、友好地交互。

Description

面向智能服务机器人的语音交互系统的实现方法

技术领域

本发明属于语音识别技术领域，特别涉及一种面向智能服务机器人的，与具体说话者无关的人机语音交互系统。

背景技术

语音识别是一门交叉学科，近二十年来，语音识别技术取得了显著的进步，已开始从实验室慢慢走向市场。随着语音识别研究工作的不断发展，针对特定说话人的语音识别系统，其识别精度已经很高了，足以满足市场用户的需求，已经在工业、家电、通信、汽车电子、医疗、家庭服务和消费电子类产品等领域得以应用。但是从用户的角度来看，同一个语音识别系统，不同的说话人使用时，每个人都需要重新录入语音样本，重新训练语音模板，很是不方面。为了解决此问题，现已有部分产品给出了解决方案，但是识别精度往往不是很乐观。

其次，目前语音识别技术的应用主要集中在基于PC平台和移动通信终端平台，在移动机器人平台上的应用会带来很大的挑战。移动机器人在行进过程中，由于步进电机等设备的基底噪声干扰，给人机交互带来了不可预知的结果。人机交互的友好性和安全性不能得到保障，违背了机器人的三定律。

发明内容

本发明的目的是开发一种面向智能服务机器人的非特定人语音口令交互系统，在允许一定的拒识率，保证一定的识别精度的情况下，实现了说话人与机器人之间安全、友好地语音交互。

本发明的技术方案如下：

一种面向智能服务机器人的语音交互系统的实现方法，包括如下步骤：

1)预定义用于人机友好交互的语音口令词汇表，同时根据该预定义的词汇表采集语音样本数据组成样本集和测试集；

2)使用下述改进的鲁棒性模板训练法训练语音模板：首先对语音样本集内的N个语音样本全排列，得到N！个排列；分别将每一个排列输入训练系统中，得到一个训练好的语音矢量中心；最后求出N！个语音矢量中心的平均矢量和方差参数，得到最终的语音训练模板；其中N为大于1的整数；

3)使用测试集中的语音样本作为待测语音进行测试，得到预定义词汇表中每个单词的鲁棒性程度，包括每个单词的正确识别率和单词平均正确识别率；

4)按照单词正确识别率的大小对单词进行排序，选择单词正确识别率大于平均正确识别率的单词作为语音口令词汇表候选项，组成候选词汇表；

5)针对候选词汇表，再次使用步骤2)中所述的改进的鲁棒性模板训练法训练语音模板，得到各个语音模板的平均矢量μ和平均方差σ；

6)当待测语音输入时，计算待测语音与各语音模板的匹配距离，选择最小匹配距离对应的语音模板为识别结果；

7)计算待测语音与识别结果对应的矢量中心的方差矩阵；

8)根据多元统计分析中的3西格玛法则，判断该识别结果是否在置信区间[(μ-3σ)，(μ+3σ)]内：是，则接受识别结果，跳转到步骤10)；否，则拒绝识别结果，跳转到步骤9)；

9)选择次小匹配距离对应的语音模板为识别结果，回到步骤8)再次进行判断，直至接受识别结果进入步骤10)，或者拒绝了所有的识别结果，输出拒绝信息；

10)输出待测语音的识别结果。

进一步的，上述步骤4)后可针对挑选出来的词汇表，根据整词的声韵母特征对词汇表进行调整，再根据步骤5)对语音模板进行训练。

上述步骤6)通常用动态时间规整算法对待测语音与各语音模板进行匹配计算。

进一步的，在步骤8)根据3西格玛法则，由于最有用的说话人信息包含在MFCC分量C₂到C₁₆之间，所以判断该识别结果是否在置信区间内的方法可以是，提取方差矩阵中对应的子矩阵，如果该子矩阵中满足条件的元素数目大于预定阈值，则判定接受识别结果；如果该子矩阵中满足条件的元素数目小于预定阈值，则拒绝识别结果。其中所述阈值根据不同的实验平台而定，通过多次实验统计得到，也可以称为经验阈值。在本发明具体实施的机器人平台上，采用归一化的阈值，表示子矩阵中满足条件的元素数目占元素总数的比例，例如0.748，也就是说，如果矩阵中满足条件的元素数目的比例大于74.8％，则判定接受识别结果，反之则拒绝。

本发明的语音口令交互系统主要由语音识别模块和语音提示模块两部分组成，与机器人的控制中心相联系。其中语音识别模块主要负责语音模板的训练以及待测语音的识别，语音提示模块的主要作用是通过扬声器来播放合适的语音以达到友好交互的目的。

上述语音交互系统实现方法的技术内容均集成在语音识别模块中，主要归结为如下三方面：

一.改进传统的鲁棒性模板训练法。

分析传统的鲁棒性训练法，可以看出，在语音样本的模板训练过程中，其实是默认地给每一个输入语音样本进行加权，而且越是后输入训练系统中的语音样本，其权值相对越高。不同说话人的语音都存在个性信息，如果按照此方法来进行训练，得到的结果一定是后输入训练系统的那个说话人的数据权重较高，这样得到的识别结果是该说话人的单词正确识别率较高，而其他说话人的单词正确识别率依次降低，使得语音识别系统的总体性能表现不佳。因此，传统的训练方法不利于训练非特定人的语音模板。

本发明考虑到传统鲁棒性训练法的缺陷，在语音模板训练时，首先对语音样本集内的N个语音样本按照一定准则全排列，最后得到N！个排列，分别将每一个排列输入训练系统中，得到一个训练好的语音矢量中心，最后求出N！个语音矢量中心的平均矢量，得到最终的语音训练模板，这样就能很好地抑制了默认加权带来的影响，有效地提升了语音识别系统的整体性能。

二.设计鲁棒性较强的可用于人机语音交互的语音口令词汇表

现实生活中的说话人是多种多样的，不同的说话人说相同的语音，相应的声学特征有很大差异，即使相同的人在不同的时间、生理和心理状态下，说同样内容的语音也会有很大差异。在人机交互领域，考虑到说话人与机器人之间的友好性与安全性，我们宁愿放弃一些易于混淆、易于受到噪声影响的词语，也不愿意冒险接受这些词语。

本发明针对语音口令词汇表，定义了选择依据，挑选的步骤包括：

1)预定义用于人机友好交互的语音口令词汇表，同时采集语音样本数据；

2)根据改进的鲁棒性模板训练法训练语音模板；

3)使用测试集中的语音样本作为待测语音，计算每个单词的正确识别率和单词平均正确识别率；

4)按照单词正确识别率的大小进行排序，选择单词正确识别率大于平均正确识别率的单词作为语音口令词汇表候选；

5)针对挑选后的词汇表，再次根据改进的鲁棒性模板训练法训练语音模板。

三.一种拒绝识别结果并修正识别结果的方法。

在人机交互的应用中，由周围环境、说话人的口音、语音交互口令词汇表外的单词等影响，经常会出现语音错识别或误识别的结果。本发明针对这一类问题，提出了一种拒绝识别结果并修正识别结果的方法提高语音交互系统的性能。对于直接用于机器人控制的人机交互的口令，采用拒绝识别结果方法，可以很好地屏蔽掉误识别的结果，同时考虑到人机交互的友好性，对于此类结果，机器人会语音提示反馈，如“对不起，我没有听清楚，请您再说一遍”；再者，对于一般交互类的人机交互的口令，采用修正识别结果的方法可以提高该单词的正确识别率。总结起来，首先是通过麦克风等设备将待测语音输入语音识别模块，由语音识别模块来对待测语音进行识别，包括以下内容：

1)计算待测语音与各语音模板的距离，选择最小距离对应的语音模板为识别结果；

2)计算待测语音与识别结果对应的矢量中心的方差矩阵；

3)根据多元统计分析中的3西格玛法则，判断该识别结果是否在置信区间[(μ-3σ)，(μ+3σ)]内，由于最有用的说话人信息包含在MFCC分量C₂到C₁₆之间，所以可提取方差矩阵中对应的子矩阵，如果该子矩阵中满足条件的元素数目大于预定阈值，则判定接受识别结果；如果该子矩阵中满足条件的元素数目小于预定阈值，则拒绝识别结果，然后选择次小匹配距离对应的语音模板为识别结果再次判定，直至接受识别结果或拒绝所有识别结果，即拒绝识别结果并修正识别结果的语音识别方法；

语音识别模块将识别结果传给机器人的控制中心，由控制中心发送指令，进行相应的运动控制和通过语音提示模块输出语音。

本发明的语音识别技术与说话者无关，通过挑选可用于人机交互的鲁棒性较强的词汇表，在系统的抗噪声和与说话人无关方面得以改进，同时弥补了传统鲁棒性模板训练方法的缺陷，弱化了不同说话人的个性信息，解决与说话人无关的问题。基于挑选的词汇表提供一种拒绝识别结果同时修正识别结果的方法，有效屏蔽了信赖度较低的待测语音，同时又可以修正识别结果，最后在面向智能服务机器人的语音交互系统应用中，有效地提高了其识别性能。本发明开发的面向智能服务机器人的非特定人语音口令交互系统，在5％～8％拒识率的情况下，识别精度在94％以上，实现了说话人与机器人安全、友好地交互。同时增加语音提示功能，增强了说话人与机器人之间的友好性与互动性，使得机器人在说话人面前不再呆板。

附图说明

下面结合附图，对本发明做出详细描述。

图1面向智能服务机器人的语音交互系统结构示意图。

图2面向智能服务机器人的语音交互系统中语音识别模块的实现流程。

图3鲁棒性较强的语音口令词汇表的设计流程图。

图4拒绝识别结果并修正识别结果的程序流程图。

具体实施方式

参考图1，本发明面向智能服务机器人的语音交互系统包括语音识别模块和语音提示模块，与移动机器人的控制中心连接，其具体设计如下：

1、系统功能：

说话人根据提示，通过麦克风进行语音输入，经由语音识别模块来判定识别结果，然后将识别结果返回给机器人控制中心，机器人根据相关规则执行命令。同时增加了语音提示功能，可以使说话人和机器人做一些简单汉语对话，使得人机交互更加友好。当出现拒绝识别结果时，会调用本发明提及的语音提示模块，通过扬声器播放诸如“对不起，您刚才说的是XX吗？我没有听清楚”之类的语音提示。或者对于一些直接用于操作机器人的命令，如“前进”等，直接播放“对不起，请您再说一遍”。当正确识别人机交互的词语时，如“早上好”，语音提示模块会播放“早上好”的反馈。

2、系统输入：

主要是用于人机交互的语音孤立词，大概可分为两类，即直接用于机器人控制类和一般交互类。在挑选可用于人机交互的鲁棒性较强的语音交互词汇表时，系统的输入是测试集中的语音样本。在人机交互应用时，系统的输入是说话者通过麦克风采集的语音。

3、系统输出：

主要有两部分构成，一部分是借助于扬声器，根据移动机器人控制中心反馈的数据，输出语音提示。另一部分输出语音识别模块的结果，以控制机器人完成一系列的基本动作。

4、语音识别模块的具体实现：

主要分为两个阶段，即语音模板训练阶段和待测语音识别阶段。在模板训练阶段，采集语音交互口令样本数据，挑选鲁棒性较强的语音样本，并采用改进的鲁棒性训练法训练模板，同时训练样本集中的方差参数。在模式识别阶段，根据已训练好的方差参数来对初始识别结果做以修正，将修正后的结果作为系统的正确识别结果。参考图2，主要表现为如下几个阶段：预定义语音词汇表；根据预定义词汇表，使用改进的鲁棒性模板训练法训练语音模板；使用语音测试集中的样本测试得到预定义词汇表中每个单词的鲁棒性程度，根据测试的结果挑选出鲁棒性相对较强的语音词汇表；再次使用改进的鲁棒性模板训练法进行语音模板训练；当有待测语音输入时，匹配计算其与个语音模板的距离，同时根据本发明提出的拒绝识别结果并修正识别结果的方法对识别结果判定，如果该识别结果信赖度较高，则输出识别结果，如果该识别结果信赖度较低，则拒绝识别结果，同时选择次小距离对应的模板为识别结果，再次判定，如此循环，直到找到信赖度较高的识别结果为止。

具体的实施方案如下：

1)改进传统的鲁棒性模板训练法。

在语音模板训练时，首先对语音样本集内的N个语音样本按照自定义规则全排列，最后得到N！个排列，分别将每一个排列输入训练系统中，得到一个训练好的语音矢量中心，然后求出N！个语音矢量中心的平均矢量，得到最终的语音训练模板，这样就能很好地抑制了默认加权带来的影响，有效地提升了语音识别系统的整体性能。

2)设计鲁棒性较强的可用于人机语音交互的语音口令词汇表。

参考图3，本发明设计语音口令词汇表的步骤如下：

a)预定义用于人机友好交互的语音口令词汇表，同时采集语音样本数据组成样本集和测试集；

b)根据改进的鲁棒性模板训练法，使用样本集中语音样本训练语音模板；

c)使用训练集中的语音样本作为待测语音，计算每个单词的正确识别率和单词平均正确识别率；

d)按照单词正确识别率的大小进行排序，选择单词正确识别率大于平均正确识别率的单词组成语音口令候选词汇表；

e)针对挑选后的词汇表，根据整词的声韵母特征来进一步调整可用于人机交互的鲁棒性较强的语音口令词汇表；

f)根据改进的鲁棒性模板训练法，重新训练语音模板。

3)一种拒绝识别结果并修正识别结果的方法。

参考图4，拒绝识别结果并修正识别结果的步骤如下：

a)输入待测语音，用动态时间规整算法计算待测语音与各语音模板的匹配距离，选择最小距离对应的语音模板(即最小失真结果)为识别结果；

b)计算待测语音与识别结果对应的矢量中心的方差矩阵，即待测语音与样本矢量中心的偏离程度；

c)根据多元统计分析中的3西格玛法则，判断该识别结果是否在置信区间[(μ-3σ)，(μ+3σ)]内，由于最有用的说话人信息包含在MFCC分量C₂到C₁₆之间，所以提取方差矩阵中对应的子矩阵，如果该子矩阵中满足条件的元素数目大于预定阈值，则判定接受识别结果，跳转至步骤e)；如果该子矩阵中满足条件的元素数目小于预定阈值，则拒绝识别结果，进入步骤d)；

d)将拒绝的识别结果对应的语音模板的匹配距离设置为无穷大，判断匹配距离为无穷大的模板的个数是否小于语音模板总数，是则跳回步骤a)，否则拒绝识别该待测语音，输出拒绝信息；

e)输出待测语音的识别结果。

对于大词汇表，如果考虑到系统中说话人与机器人语音交互的实时性，可以只计算一次最小匹配距离，把其对应的语音识别结果作为最终的识别结果，如果该识别结果不在置信区间内，那么我们考虑拒绝识别该测试语音。

上述实例只是本发明的举例，尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (5)

1.一种面向智能服务机器人的语音交互系统的实现方法，包括如下步骤；

1)预定义语音词汇表，同时根据该词汇表采集语音样本数据组成样本集和测试集；

2)使用下述改进的鲁棒性模板训练法训练语音模板：首先对样本集内的N个语音样本全排列，得到N！个排列；分别将每一个排列输入训练系统中，得到一个训练好的语音矢量中心；最后求出N！个语音矢量中心的平均矢量和方差参数，得到最终的语音训练模板；其中N为大于1的整数；

3)使用测试集中的语音样本作为待测语音进行测试，得到预定义词汇表中每个单词的鲁棒性程度，包括每个单词的正确识别率和单词平均正确识别率；

4)按照单词正确识别率的大小对单词进行排序，选择单词正确识别率大于平均正确识别率的单词组成候选词汇表；

5)针对候选词汇表，再次使用步骤2)中所述的改进的鲁棒性模板训练法训练语音模板，得到各个语音模板的平均矢量μ和平均方差σ；

6)当待测语音输入时，计算待测语音与各语音模板的匹配距离，选择最小匹配距离对应的语音模板为识别结果；

7)计算待测语音与识别结果对应的矢量中心的方差矩阵，即待测语音与矢量中心的偏离程度；

8)根据多元统计分析中的3西格玛法则，判断该识别结果是否在置信区间[(μ-3σ)，(μ+3σ)]内：是，则接受识别结果，跳转到步骤10)；否，则拒绝识别结果，跳转到步骤9)；

9)选择次小匹配距离对应的语音模板为识别结果，回到步骤8)再次进行判断，直至接受识别结果进入步骤10)，或者拒绝了所有的识别结果，输出拒绝信息；

10)输出待测语音的识别结果。

2.如权利要求1所述的实现方法，其特征在于：所述步骤4)后根据整词的声韵母特征对候选词汇表进行调整，再根据步骤5)对语音模板进行训练。

3.如权利要求1所述的实现方法，其特征在于：所述步骤6)中用动态时间规整算法对待测语音与各语音模板进行匹配计算。

4.如权利要求1所述的实现方法，其特征在于：在步骤8)判断该识别结果是否在置信区间内的方法是，提取方差矩阵中对应的子矩阵，如果该子矩阵中满足条件的元素数目大于预定阈值，则判定接受识别结果；如果该子矩阵中满足条件的元素数目小于预定阈值，则拒绝识别结果。

5.如权利要求4所述的实现方法，其特征在于：所述阈值为归一化的阈值。

Images