CN109817219A - 语音唤醒测试方法及系统 - Google Patents

Abstract

本发明涉及语音识别技术领域，本发明是要解决现有的语音唤醒测试的可重复性不高的问题，提出一种语音唤醒测试方法，包括以下步骤：建立唤醒词库和环境噪声库，所述唤醒词库中至少包含一个唤醒词对应的至少一个语音数据，所述环境噪声库中至少包含一个环境噪声数据；将唤醒词对应的至少一个语音数据和至少一个环境噪声数据进行文件配置，生成测试语料数据；根据测试语料数据进行唤醒测试，并记录唤醒信息，所述唤醒信息至少包括唤醒成功率。在进行多次测试时，若保持文件配置的参数一致，则可以保证每次测试使用的测试语料数据是一致的，提高了语音唤醒测试的可重复性，保证了多次测试时唤醒性能判断的准确性。

Description

语音唤醒测试方法及系统

技术领域

本发明涉及语音识别技术领域，具体来说涉及一种语音唤醒测试方法及系统。

背景技术

随着科技的发展，智能设备如智能手机、智能音箱和智能电视的应用越来越广泛，在智能设备上使用语音唤醒技术也越来越普遍。随着用户对语音唤醒体验的要求越来越高，语音唤醒技术就必须持续开发和优化。

在涉及唤醒技术的智能设备的开发过程中，为了满足用户的要求，会对智能设备的唤醒成功率进行测试，进而根据唤醒成功率判断该智能设备是否符合要求，或者分别对多个智能设备进行唤醒成功率测试，通过比较唤醒成功率来确定智能设备的唤醒性能。现有的语音唤醒测试方法主要为：在一个测试房间里，不同的测试人员每人喊若干遍唤醒词，最后统计唤醒成功的次数，从而计算出唤醒成功率。但是，这种方式不能保证每次测试时都有同样的人参与，不能保证每次测试时每人的发声情况与以往一致，不能保证每次测试所处的环境噪声与以往测试时一致，这种测试方式的可重复性不高。

发明内容

本发明的目的是要解决现有的语音唤醒测试的可重复性不高的问题，提出一种语音唤醒测试方法及系统。

本发明解决上述技术问题所采用的技术方案是：语音唤醒测试方法，包括以下步骤：

步骤1.建立唤醒词库和环境噪声库，所述唤醒词库中至少包含一个唤醒词对应的至少一个语音数据，所述环境噪声库中至少包含一个环境噪声数据；

步骤2.将唤醒词对应的至少一个语音数据和至少一个环境噪声数据进行文件配置，生成测试语料数据；

步骤3.根据测试语料数据进行唤醒测试，并记录唤醒信息，所述唤醒信息至少包括唤醒成功率。

进一步的，为提高对比判断的可靠性，所述方法还包括：

若需要通过对比来判断唤醒性能，则根据同一个测试语料数据进行多次唤醒测试。

进一步的，为获取唤醒词和环境噪声数据，步骤1中，所述建立唤醒词库和环境噪声库包括：

录制不同的测试人员在安静环境下分别多次喊出的唤醒词，将唤醒词对应的语音数据存储至唤醒词库中，其中，录制测试人员喊出的一次唤醒词为唤醒词对应的一个语音数据；

录制不同环境下的环境噪声，将对应的环境噪声数据存储至环境噪声库中，其中，录制一种环境下的环境噪声为一个环境噪声数据。

进一步的，为调整测试语料数据的信噪比和音量，步骤2中，所述将唤醒词对应的至少一个语音数据和至少一个环境噪声数据进行文件配置包括：

设置唤醒词对应的至少一个语音数据和至少一个环境噪声数据的增益，设置唤醒词对应的至少一个语音数据的重复次数、重复方式和重复间隔。

进一步的，为便于唤醒测试时对测试语料数据的识别，步骤2中，所述生成测试语料数据之后还包括：

通过音频处理模块对所述测试语料数据进行降噪处理；

根据降噪后的测试语料数据进行唤醒测试。

进一步的，为对音频处理模块的降噪性能进行判断，所述方法还包括：

通过不同的音频处理模块分别对所述测试语料数据进行降噪处理；

分别根据降噪处理后的测试语料数据进行唤醒测试，分别记录唤醒成功率；

根据分别记录的唤醒成功率判断不同音频处理模块的降噪性能。

进一步的，为进行唤醒测试，步骤3中，所述根据所述测试语料数据进行唤醒测试具体包括：

建立唤醒识别模型；

将所述测试语料数据输入至唤醒识别模型中，实时识别所述测试语料数据中唤醒词对应的每个语音数据的唤醒置信度；

分别将唤醒词对应的每个语音数据的唤醒置信度与唤醒置信度阈值进行比较，若所述唤醒置信度大于唤醒置信度阈值，则判断为唤醒成功，记录唤醒成功次数；

根据测试语料数据中唤醒词对应的语音数据的个数和唤醒成功次数计算唤醒成功率。

进一步的，为对唤醒识别模型的识别性能进行判断，所述方法还包括：

将所述测试语料数据分别输入至不同的唤醒识别模型中，分别计算唤醒成功率；

根据分别计算的唤醒成功率判断不同唤醒识别模型的识别性能。

进一步的，为便于用户查看，步骤3中，所述唤醒信息还包括：唤醒次数、唤醒时间、唤醒置信度和出错日志。

本发明还提出一种语音唤醒测试系统，所述系统应用上述语音唤醒测试方法进行语音唤醒测试。

本发明的有益效果是：本发明所述的语音唤醒测试方法及系统，将唤醒词对应的语音数据存储至唤醒词库中，将环境噪声数据存储至环境噪声库中，对唤醒词对应的语音数据和环境噪声数据进行文件配置，从而得到测试语料数据，在进行多次测试时，若保持文件配置的参数一致，则可以保证每次测试使用的测试语料数据是一致的，提高了语音唤醒测试的可重复性，保证了多次测试时唤醒性能判断的准确性。

附图说明

图1为本发明实施例所述语音唤醒测试方法的流程示意图。

具体实施方式

下面将结合附图对本发明的实施方式进行详细描述。

本发明所述的语音唤醒测试方法，包括以下步骤：建立唤醒词库和环境噪声库，所述唤醒词库中至少包含一个唤醒词对应的至少一个语音数据，所述环境噪声库中至少包含一个环境噪声数据；将唤醒词对应的至少一个语音数据和至少一个环境噪声数据进行文件配置，生成测试语料数据；根据测试语料数据进行唤醒测试，并记录唤醒信息，所述唤醒信息至少包括唤醒成功率。

在实际应用中，先将唤醒词对应的语音数据存储至唤醒词库，将环境噪声数据存储至环境噪声库，对智能设备的唤醒测试时，分别从唤醒词库中选取唤醒词及其对应的语音数据，从环境噪声库中选取环境噪声数据，并根据测试的具体情况对唤醒词对应的语音数据和环境噪声数据进行文件配置，得到进行唤醒测试的测试语料数据，根据该测试唤醒数据进行唤醒测试，在唤醒词对应的语音数据和环境噪声数据的文件配置参数一致的情况下，可以保证多次唤醒测试时的测试语料数据的一致性。

实施例

本发明实施例所述的语音唤醒测试方法，如图1所示，包括以下步骤：

步骤S1.建立唤醒词库和环境噪声库，所述唤醒词库中至少包含一个唤醒词对应的至少一个语音数据，所述环境噪声库中至少包含一个环境噪声数据；

其中，唤醒词库可以是一个保存有一个或者多个清晰唤醒词对应的一个或多个语音数据的集合，唤醒词对应的语音数据由若干测试人员的若干遍唤醒词录音构成，唤醒词可以是一个或多个，唤醒词对应的语音数据也可以是一个或多个，唤醒词对应的语音数据是以音频文件格式存储至唤醒词库中的，测试人员可以根据测试需要选择相应的唤醒词和唤醒词对应的语音数据，可选的，建立唤醒词库的具体方法可以为：录制不同的测试人员在安静环境下分别多次喊出的唤醒词，将唤醒词对应的语音数据存储至唤醒词库中，其中，录制测试人员喊出的一次唤醒词为唤醒词对应的一个语音数据；例如，选取一个消音室，安排10位测试人员依次进入其中，每人清晰地喊出10遍唤醒词，每遍唤醒词之间间隔2秒，测试人员的嘴与麦克风距离保持在10厘米，录音的文件采用wav格式，参数是16位，16000Hz的采样率。如此，就得到了包含有一个唤醒词的唤醒词库，其中包括该唤醒词对应的100个语音数据。更换唤醒词，重复上述步骤，即可得到包含多个唤醒词对应的多个语音数据的唤醒词库。

环境噪声库可以是一个保存一个或多个环境噪声数据的集合，每个环境噪声数据由一种或者多种噪声录音构成，用于对唤醒词对应的语音数据添加环境噪声数据，可选的，建立环境噪声库的具体方法可以为：录制不同环境下的环境噪声，将对应的环境噪声数据存储至环境噪声库中，其中，录制一种环境下的环境噪声为一个环境噪声数据。例如，选取一个商场环境，放置录音设备开始录音，录制1小时停止，录音的文件采用wav格式，参数是16位，16000Hz的采样率。如此，就得到了一个环境噪声数据，即1小时卖场噪声的环境噪声数据。更换环境，重复上述步骤，即可得到包含多个环境噪声数据的环境噪声库。

步骤S2.将唤醒词对应的至少一个语音数据和至少一个环境噪声数据进行文件配置，生成测试语料数据；

在实际应用中，根据测试需要从唤醒词库中选取唤醒词及其对应的语音数据，选取的唤醒词对应的语音数据可以是一个或者多个，从环境噪声数据库中选取环境噪声数据，选取的环境噪声数据可以是一个或者多个，并对选取的数据进行文件配置，可选的，文件配置可以包括：设置唤醒词对应的至少一个语音数据和至少一个环境噪声数据的增益，设置唤醒词的重复次数、重复方式和重复间隔。其中，设置唤醒词对应的语音数据和环境噪声数据的增益主要是用于控制测试语料数据的信噪比和测试语料数据声音的大小，可以根据不用的信噪比的测试语料数据来检验唤醒系统的鲁棒性。具体的，文件配置的具体方法可以是，例如设置唤醒词的增益为2，就在程序中按16位方式读取一个唤醒词对应的语音数据文件的采样点的幅度值后乘以2，再进行下一步操作。环境噪声数据的增益设置方法与唤醒词对应的语音数据的增益方法相同，此处不再赘述。唤醒词对应的语音数据的重复次数，是指当唤醒词对应的语音数据的个数不足，需要根据测试需要对唤醒词对应的语音数据进行重复，例如，测试需要的唤醒词对应的语音数据为100个，而唤醒词库中该唤醒词对应的语音数据只有20个，就需要设置重复次数为5次；唤醒词对应的语音数据的重复方式可以包括：单文件重复、路径重复和随机重复等，可以根据需要选择；唤醒词对应的语音数据的重复间隔，指2次重复之间的时间间隔，如果间隔时间过短，2次唤醒词对应的语音数据的间隔太小，可能造成唤醒次数的损失。例如，可以设置唤醒词对应的语音数据的重复间隔为3秒。

可选的，在生成测试语料数据后，还可以通过音频处理模块对所述测试语料数据进行降噪处理；根据降噪后的测试语料数据进行唤醒测试。其中，音频处理模块是包含一种或多种音频降噪算法的音频处理模块，音频降噪算法对测试语料数据在时域或频域进行成分分析，去除其中的噪声成分，提高信噪比，以利于唤醒识别模型的识别。例如，平稳降噪算法，通过平稳降噪算法减少语料数据中的平稳噪声，提高信噪比。处理后的测试语料数据相比于处理前的测试语料数据，听觉上更加清晰可辨，在时域波形上安静段的噪声幅度会降低，在频域波形上噪声的能量会降低。

步骤S3.根据测试语料数据进行唤醒测试，并记录唤醒信息，所述唤醒信息至少包括唤醒成功率。

可以理解的是，在得到测试语料数据后，根据该测试语料数据进行唤醒测试，唤醒测试的具体方法可以是：

建立唤醒识别模型；

将所述测试语料数据输入至唤醒识别模型中，实时识别所述测试语料数据中唤醒词对应的每个语音数据的唤醒置信度；

分别将唤醒词对应的每个语音数据的唤醒置信度与唤醒置信度阈值进行比较，若所述唤醒置信度大于唤醒置信度阈值，则判断为唤醒成功，记录唤醒成功次数；

根据测试语料数据中唤醒词的条数和唤醒成功次数计算唤醒成功率。

其中，唤醒识别模型是根据大量语音数据的特征向量和唤醒置信度的统计而预先建立的，唤醒识别模型用于表征测试语料数据与唤醒置信度之间的对应关系，唤醒识别模型可以是神经网络模型或者其它唤醒识别模型，唤醒识别模型的建立和训练方法属于现有技术，此处不再赘述。唤醒置信度阈值的高低决定了唤醒的准确度和唤醒率。例如，唤醒置信度阈值越低，越容易识别唤醒，相应的准确度却越低，即误唤醒率越高。唤醒置信度阈值可以根据测试需要进行相应的设置。分别对唤醒词对应的每个语音数据的唤醒置信度与置信度阈值进行比较，当检测到唤醒置信度大于唤醒置信度阈值时，调用回调函数通知系统唤醒成功，并将计算的唤醒成功率进行相应的记录。具体来说就是，通过统计唤醒词对应的所有语音数据中，唤醒置信度大于唤醒置信度阈值的语音数据的个数，来记录唤醒成功率。在唤醒测试结束后，系统生成日志文件，记录每次唤醒测试的唤醒信息，便于用户查看，记录的唤醒信息还可以包括：唤醒次数、唤醒时间、唤醒置信度和出错日志。

本实施例中，测试语料数据通过函数接口输入至语音识别模块，数据传输效率较高，此外，整个语音唤醒测试均由计算机程序自动控制，无需人工参与，测试效率高。

可选的，本实施所述的语音唤醒测试方法还包括：

通过不同的音频处理模块分别对所述测试语料数据进行降噪处理；

分别根据降噪处理后的测试语料数据进行唤醒测试，分别记录唤醒成功率；

根据分别记录的唤醒成功率判断不同音频处理模块的降噪性能。

可以理解的是，在保持其它所有模块和参数不变的情况下，通过不同的音频降噪算法对测试语料数据进行降噪处理，根据记录的唤醒成功率可以判断这些不同音频降噪算法的降噪性能，例如，在其它模块和参数保持不变时，改变音频处理算法后唤醒成功率相比于改变前有所提高，表示改变后的音频处理算法的降噪性能更好，对应的音频处理模块的降噪性能也更好，反之，若改变音频处理算法后唤醒成功率相比于改变前有所降低，则表示改变后的音频处理算法的降噪性能更差，对应的音频处理模块的降噪性能也更差，由此，可以根据上述方法对音频处理模块的降噪性能进行检测。

可选的，本实施例所述的语音唤醒测试方法还包括：

将所述测试语料数据分别输入至不同的唤醒识别模型中，分别计算唤醒成功率；

根据分别计算的唤醒成功率判断不同唤醒识别模型的识别性能。

可以理解的是，首先，分别建立不同的唤醒识别模型，不同的唤醒识别模型可以是算法不同的唤醒识别模型，在保持其它模块和参数不变的情况下，通过不同的唤醒识别模型对测试语料进行唤醒置信度识别，根据记录的唤醒成功率可以判断这些不同唤醒识别模型的识别性能，例如，在其它模块和参数保持不变时，改变唤醒识别模型后唤醒成功率相比于改变前有所提高，表示改变后的唤醒识别模型的识别性能更好，反之，若改变唤醒识别模型后唤醒成功率相比于改变前有所降低，则表示改变后的唤醒识别模型的识别性能更差，对应的音频处理模块的降噪性能也更差，由此，可以根据上述方法对唤醒识别模型的识别性能进行检测。

基于上述技术方案，本发明实施例还提出一种语音唤醒测试系统，所述系统应用上述语音唤醒测试方法进行语音唤醒测试。

可以理解的是，语音唤醒测试系统适用于实现上述语音唤醒测试方法的系统，由于上述语音唤醒测试方法能够提高语音唤醒测试的可重复性，因此，应用上述语音唤醒测试方法进行语音唤醒测试的系统同样能够提高语音唤醒测试的可重复性。

Claims (10)

1.语音唤醒测试方法，其特征在于，包括以下步骤：

步骤1.建立唤醒词库和环境噪声库，所述唤醒词库中至少包含一个唤醒词对应的至少一个语音数据，所述环境噪声库中至少包含一个环境噪声数据；

步骤2.将唤醒词对应的至少一个语音数据和至少一个环境噪声数据进行文件配置，生成测试语料数据；

步骤3.根据测试语料数据进行唤醒测试，并记录唤醒信息，所述唤醒信息至少包括唤醒成功率。

2.如权利要求1所述的语音唤醒测试方法，其特征在于，所述方法还包括：

若需要通过对比来判断唤醒性能，则根据同一个测试语料数据进行多次唤醒测试。

3.如权利要求1所述的语音唤醒测试方法，其特征在于，步骤1中，所述建立唤醒词库和环境噪声库包括：

录制不同的测试人员在安静环境下分别多次喊出的唤醒词，将唤醒词对应的语音数据存储至唤醒词库中，其中，录制测试人员喊出的一次唤醒词为唤醒词对应的一个语音数据；

录制不同环境下的环境噪声，将对应的环境噪声数据存储至环境噪声库中，其中，录制一种环境下的环境噪声为一个环境噪声数据。

4.如权利要求1所述的语音唤醒测试方法，其特征在于，步骤2中，所述将唤醒词对应的至少一个语音数据和至少一个环境噪声数据进行文件配置包括：

设置唤醒词对应的至少一个语音数据和至少一个环境噪声数据的增益，设置唤醒词对应的至少一个语音数据的重复次数、重复方式和重复间隔。

5.如权利要求1所述的语音唤醒测试方法，其特征在于，步骤2中，所述生成测试语料数据之后还包括：

通过音频处理模块对所述测试语料数据进行降噪处理；

根据降噪后的测试语料数据进行唤醒测试。

6.如权利要求5所述的语音唤醒测试方法，其特征在于，所述方法还包括：

通过不同的音频处理模块分别对所述测试语料数据进行降噪处理；

分别根据降噪处理后的测试语料数据进行唤醒测试，分别记录唤醒成功率；

根据分别记录的唤醒成功率判断不同音频处理模块的降噪性能。

7.如权利要求1所述的语音唤醒测试方法，其特征在于，步骤3中，所述根据所述测试语料数据进行唤醒测试具体包括：

建立唤醒识别模型；

将所述测试语料数据输入至唤醒识别模型中，实时识别所述测试语料数据中唤醒词对应的每个语音数据的唤醒置信度；

分别将唤醒词对应的每个语音数据的唤醒置信度与唤醒置信度阈值进行比较，若所述唤醒置信度大于唤醒置信度阈值，则判断为唤醒成功，记录唤醒成功次数；

根据测试语料数据中唤醒词对应的语音数据的个数和唤醒成功次数计算唤醒成功率。

8.如权利要求7所述的语音唤醒测试方法，其特征在于，所述方法还包括：

将所述测试语料数据分别输入至不同的唤醒识别模型中，分别计算唤醒成功率；

根据分别计算的唤醒成功率判断不同唤醒识别模型的识别性能。

9.如权利要求1所述的语音唤醒测试方法，其特征在于，步骤3中，所述唤醒信息还包括：唤醒次数、唤醒时间、唤醒置信度和出错日志。

10.语音唤醒测试系统，其特征在于，所述系统应用如权利要求1至9任一项所述的语音唤醒测试方法进行语音唤醒测试。