CN111933137B - 语音唤醒测试方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开提供一种语音唤醒测试方法、语音唤醒测试装置、计算机可读介质和电子设备，涉及计算机技术领域。该方法包括：响应于测试开启指令，向待测终端发送功能开启指令，以使待测终端开启语音唤醒功能并将对应的状态标识变更为监听标识；对待测终端和播放终端执行播放次数的测试控制操作，得到至少一个唤醒结果，并根据唤醒结果确定测试结果。其中，测试控制操作包括：在检测到状态标识为监听标识时，向播放终端发送播放指令，以使待测终端根据播放终端播放的测试语料生成语音唤醒对应的结果标识；在测试语料播放结束后，检测结果标识，并根据检测结果确定唤醒结果。本公开能够对语音唤醒测试的过程进行精准控制，提高了测试的自动化程度。

Description

语音唤醒测试方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及计算机技术领域，具体涉及一种语音唤醒测试方法、语音唤醒测试装置、计算机可读介质和电子设备。

背景技术

声纹特征是人体重要生物特征之一，具有较强的个体特殊性，因此可以通过对声纹进行识别、认证验证用户身份。目前，通过对声纹特征机进行识别，以唤醒智能终端的语音唤醒技术已经广泛应用于手机、平板电脑等智能终端中。随着用户对语音唤醒的要求越来越高，语音唤醒技术需要不断优化。为了能够验证优化的效果，常常需要对优化后的技术进行测试。

发明内容

本公开的目的在于提供一种语音唤醒测试方法、语音唤醒测试装置、计算机可读介质和电子设备，进而至少在一定程度上提高了语音唤醒测试的自动化程度，实现对语音唤醒测试功能的精准控制。

根据本公开的第一方面，提供一种语音唤醒测试方法，应用于测试终端，包括：

响应于测试开启指令，向待测终端发送功能开启指令，以使待测终端开启语音唤醒功能并将对应的状态标识变更为监听标识；其中，测试开启指令包括播放次数；

对待测终端和播放终端执行播放次数的测试控制操作，得到至少一个唤醒结果，并根据唤醒结果确定测试结果；

其中，测试控制操作包括：

在检测到状态标识为监听标识时，向播放终端发送播放指令，以使待测终端根据播放终端播放的测试语料生成语音唤醒对应的结果标识；

在测试语料播放结束后，检测结果标识，并根据检测结果确定唤醒结果。

根据本公开的第二方面，提供一种语音唤醒测试方法，应用于待测终端，包括：

响应于接收到测试终端发送的功能开启指令，开启语音唤醒功能，并将状态标识变更为监听标识，以使测试终端根据监听标识控制播放终端播放测试语料；

在监听到测试语料时，根据测试语料进行语音唤醒；

根据语音唤醒过程的状态对状态标识进行变更，并生成结果标识，以使测试终端根据变更后的状态标识和结果标识进行测试控制操作。

根据本公开的第三方面，提供一种语音唤醒测试装置，应用于测试终端，包括：

测试开启模块，用于响应于测试开启指令，向待测终端发送功能开启指令，以使待测终端开启语音唤醒功能并将对应的状态标识变更为监听标识；测试开启指令包括播放次数；

测试控制模块，用于对待测终端和播放终端执行播放次数的测试控制操作，得到至少一个唤醒结果，并根据唤醒结果确定测试结果；

其中，测试控制操作包括：

在检测到状态标识为监听标识时，向播放终端发送播放指令，以使待测终端根据播放终端播放的测试语料生成语音唤醒对应的结果标识，并变更状态标识；

在测试语料播放结束后，检测结果标识，并根据检测结果确定唤醒结果。

根据本公开的第四方面，提供一种语音唤醒测试装置，应用于待测终端，包括：

功能开启模块，用于响应于接收到测试终端发送的功能开启指令，开启语音唤醒功能，并将状态标识变更为监听标识，以使测试终端根据监听标识控制播放终端播放测试语料；

唤醒测试模块，用于在监听到测试语料时，根据测试语料进行语音唤醒；

标识控制模块，用于根据语音唤醒过程的状态对状态标识进行变更，并生成结果标识，以使测试终端根据变更后的状态标识和结果标识进行测试控制操作。

根据本公开的第五方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第六方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的语音唤醒测试方法中，测试终端可以根据测试开启指令，待测终端根据测试语料确定的状态标识和结果标识，对语音唤醒测试进行控制，以实现自动化控制的过程。一方面，本公开中的测试终端可以通过检测待测终端的状态标识，对待测终端和播放终端进行精准控制，使其按照测试指令包括的播放次数自动执行测试控制操作得到对应的唤醒结果。这种控制方式可以通过对待测终端状态标识的检测，实现对测试过程进行精准控制的目的，同时避免了测试过程中的人工介入，提高了测试过程的自动化程度；另一方面，由于测试是通过播放终端播放测试语料，待测终端接收测试语料实现的，因此这种测试方式可以模拟用户使用场景，得到的测试结果也可以代表用户真实使用时的数据。此外，测试终端可以根据待测终端的状态标识控制播放终端的播放时机，因此可以避免在错误时间播放测试语料导致测试失效的问题，进而提高测试结果的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种语音唤醒测试方法的流程图；

图4示意性示出本公开示例性实施例中一种测试控制操作的流程图；

图5示意性示出本公开示例性实施例中另一种语音唤醒测试方法的流程图；

图6示意性示出本公开示例性实施例中另一种系统架构的示意图；

图7示意性示出本公开示例性实施例中又一种语音唤醒测试方法的流程图；

图8示意性示出本公开示例性实施例中一种手机的状态转换示意图；

图9示意性示出本公开示例性实施例中语音唤醒测试装置的组成示意图；

图10示意性示出本公开示例性实施例中语音唤醒测试装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种语音唤醒测试方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括待测终端101、102、103中的一个或多个，播放终端104、网络105和测试终端106。网络105用以在终端设备101、102、103和测试终端106之间，以及播放终端104和测试终端106之间供通信链路的介质。网络106可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。待测终端101、102、103可以是各种具有语音唤醒功能的电子设备，其上设置有需要进行测试的，用于实现语音唤醒功能的语音唤醒算法，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。播放终端104可以是各种具有语音播放功能的播放终端，例如，音响、人工嘴等。应该理解，图1中的待测终端、播放终端、网络和测试终端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的待测终端、播放终端、网络和测试终端。需要说明的是，有测试过程中需要待测终端监听播放终端播放的测试语料，因此待测终端和对应的播放终端需要放置在同一场景中。此外，为了提高测试效率，可以通过测试终端同时对多组待测终端和播放终端进行控制，同时对多个待测终端进行语音唤醒测试；还可以通过一个播放终端播放测试语料，通过测试终端同时对多个待测终端进行检测，实现对多个待测终端进行语音唤醒测试。

本公开的示例性实施方式提供一种用于实现语音唤醒测试方法的电子设备，其可以是图1中的测试终端101、102、103、播放终端104或测试终端106。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行语音唤醒测试方法。

下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。在一些实施方式中，可以通过NPU对测试语料进行识别和认证。

处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。

充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)等无线通信的解决方案。在一些实施例中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。

外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。

在一些实施例中，为了能够更好的模拟用户场景，可以将播放终端中的音频模块替换为人工嘴等可以模拟真实场景中人声的设备，以对测试语料进行播放，提高测试的精准程度。

在另一些实施例中，待测终端可以通过其中的受话器、麦克风等语音接收设备接收测试语料，进而在语音唤醒算法中对该测试预览进行识别、认证等计算。

深度传感器2801用于获取景物的深度信息。压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。陀螺仪传感器2803可以用于确定移动终端200的运动姿态。

此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。

移动终端200中还可包括其它提供辅助功能的设备。例如，按键294，指示器292、马达293、SIM卡接口295等。

在相关技术中，通常采用以下三种方式进行语音唤醒测试：

一是通过人工测试的方式。这种方式人工介入较多，测试的可重复性较低，且测试效率较低。

二是直接通过函数接口将测试语料输入语音唤醒算法，即测试语料不经过语音接收设备，直接以数据的形式输入算法进行测试。在这种测试方法中，测试语料没有通过测试终端的音频采集通道，因此无法模拟用户使用测试终端的真实环境，得到的测试结果也只能代表语音唤醒算法的成功率，无法代表用户真实使用时的成功率。

三是通过光亮检测设备检测播放测试预料后，待测终端屏幕的点亮和熄灭情况进行测试和结果统计，并在每次屏幕点亮后，通过测试终端控制按压设备按压待测终端的按键，控制待测终端恢复息屏状态。然而，这种方式只能统计最终是否能够唤醒的数据，无法对唤醒过程进行监控；同时在很多待测终端中，唤醒成功后往往会进入录音状态，这种情况下必须对待测设备进行多次按键控制或者触控，才可以退出录音状态，降低了重复测试时的测试效率。

下面对本公开示例性实施方式的语音唤醒测试方法和语音唤醒测试装置进行具体说明。

图3示出了本示例性实施方式中一种语音唤醒测试方法，应用于上述测试终端，该方法包括以下步骤S310和S320：

在步骤S310中，响应于测试开启指令，向待测终端发送功能开启指令，以使待测终端开启语音唤醒功能并将对应的状态标识变更为监听标识。

在一示例性实施例中，测试开启指令包括了播放次数。在进行语音唤醒测试时，每播放一次测试语料，无论待测终端是否能够根据该测试语料实现唤醒，都相当于进行了一次测试。因此，在进行语音唤醒测试时，可以通过测试开启指令中包含的播放次数，限制语音唤醒测试的总测试次数。需要说明的是，该播放次数可以根据实际测试需求进行设置，本公开对此不做特殊限定。

在一示例性实施例中，初始状态下的测试终端并没有开启语音唤醒功能，因此测试终端在接收到测试开启指令后，可以向待测终端发送功能开启指令，以使待测终端开启语音唤醒功能，进入监听状态，以对播放终端播放的测试语料进行监听。

在步骤S320中，对待测终端和播放终端执行播放次数的测试控制操作，得到至少一个唤醒结果，并根据唤醒结果确定测试结果。

其中，参照图4所示，测试控制操作可以包括以下步骤S410和S420：

在步骤S410中，在检测到状态标识为监听标识时，向播放终端发送播放指令，以使待测终端根据播放终端播放的测试语料生成语音唤醒对应的结果标识，并变更状态标识。

在步骤S420中，在测试语料播放结束后，检测结果标识，并根据检测结果确定唤醒结果。

在一示例性实施例中，在测试终端检测到待测终端的状态标识为监听标识时，表明当前待测终端可以对测试语料进行监听，此时可以向播放终端发送播放指令。播放终端在接收到播放指令后，对预先制作好的测试语料进行播放。此时，同一场景中，处于监听状态下的待测终端可以对测试语料进行监听，以根据其中的语音唤醒算法进行语音唤醒。在待测终端的语音唤醒算法进行语音唤醒过程时，测试终端通过检测待测终端的中是否生成结果标识确定测试结果。

在一示例性实施例中，在播放次数大于1时，由于待测终端在每次唤醒后，都会弹出语音助手进入录音状态。在这种情况下，为了能够使待测终端尽快进入下一次测试，可以在待测终端的状态标识中设置一个录音标识。待测终端在进入录音状态时，可以将对应的状态标识变更为录音标识。测试终端在检测到待测终端的状态标识为录音标识时，可以直接向待测终端发送功能开启指令，使得待测终端可以根据功能开启指令直接开启语音唤醒功能，并将对应的状态标识变更为监听标识。通过设置录音标识，可以在待测终端进入录音状态时，立即确定待测终端中语音唤醒算法执行结束，因此可以通过向待测终端发送功能开启指令，使其快速切换至监听状态，以提高语音唤醒测试的效率。

在一示例性实施例中，在播放次数较多时，需要对待测终端和播放终端循环进行多次测试控制操作，以实现多次语音唤醒测试。具体的，可以通过统计在循环过程中，测试终端向播放终端发送播放指令的发送次数，以确定测试控制操作的次数。在统计的发送次数等于测试开启指令中包括的播放次数时，可以认为完成了本次测试，即对待测终端和播放终端循环执行了测试控制操作，循环执行的次数等于播放次数。通过统计播放指令的发送次数，可以计量准确的测试控制操作的执行次数，进而便于计算语音唤醒的成功率。

在一些示例性实施例中，相关语音唤醒功能对应的语音唤醒算法可以分为三个阶段，可以分别标记为一级唤醒节点、二级唤醒节点和三级唤醒节点。在待测终端接收到测试语料后，可以根据测试语料通过的节点生成结果标识，以便于测试终端可以对语音唤醒算法各个节点的成功率进行统计，并根据统计结果对算法进行完善和修正。

在一示例性实施例中，可以使每一唤醒节点分别对应一个成功标识，并在检测到该节点对应的成功标识时，确定该节点成功。由于语音唤醒功能具有时效性，即在一定时间内无法通过该节点就意味着该节点处失败。因此，可以通过设置第一预设时间，判断在语音播放结束后，第一预设内是否检测到第一成功标识，若检测到了第一成功标识，则可以根据第一成功标识生成第一标识集合，并根据第一标识集合和后续检测结果确定唤醒结果；若未检测到第一成功标识，则证明语音唤醒功能在一级唤醒节点已经失败，此时可以直接确定此次语音唤醒的唤醒结果为空。

进一步地，在检测到第一成功标识后，可以继续对二级唤醒节点进行检测，即判断检测到第一成功标识后的第二预设时间内是否检测到第二成功标识。若检测到了第二成功标识，则可以根据将第二成功标识加入第一标识集合，以生成第二标识集合，并根据第二标识集合和后续检测结果确定唤醒结果；若未检测到第二成功标识，则证明语音唤醒功能在二级唤醒节点失败，此时可以将第一标识集合确定为唤醒结果。

再进一步地，在检测到第二成功标识后，可以再继续对三级唤醒节点进行检测，即判断检测到第二成功标识后的第三预设时间内是否检测到第三成功标识。若检测到了第三成功标识，则可以根据将第三成功标识加入第二标识集合生成第三标识集合，并将第三标识集合确定为唤醒结果；若未检测到第三成功标识，则证明语音唤醒功能在三级唤醒节点失败，此时可以将第二标识集合确定为唤醒结果。

需要说明的是，在一些语音唤醒算法中，可能只具有一个或二个节点，甚至在有些语音唤醒算法中还可以设置更多个节点，本公开对此不做特殊限制。在这些情况下，可以分别对各个节点设置对应的成功标识，并在通过该节点时将对应的成功标识加入标识集合，在某一节点未检测到成功标识时，将之前得到的标识集合确定为唤醒结果，或者在通过全部节点时，将全部成功标识确定为唤醒结果。

此外，由于通常情况下，语音唤醒功能的一级唤醒节点属于检测语音并获取语音数据，此时待测终端处于监听状态。在通过一级唤醒节点进入其他唤醒节点时，则是通过处理器等硬件进行计算。在计算过程中，待测终端的语音接收设备虽然可以接收语音，但若在此时监听，明显会出现与上次监听相互干扰的情况，为了避免这种情况，可以为待测终端设置一个除去监听标识和录音标识之外的其它标识，例如可以是空闲标识，表明当前待测终端虽然处于可以接收语音的状态，但是不能对测试语料进行监听，以执行语音唤醒功能。

在一示例性实施例中，在向播放终端发送播放指令的发送次数等于播放次数后，可以对得到的所有唤醒结果进行统计，确定唤醒结果中包括的第一成功标识、第二成功标识以及第三成功标识的数量，进而根据该数量和播放次数生成测试结果。其中，测试结果可以是各级唤醒节点的成功率、失败率、误唤醒率等。通过这种统计方式，可以统计多级语音唤醒算法中各级的唤醒次数，进而根据测试结果对语音唤醒算法进行更加精准调整与修改。

以下参照图5所示，对语音唤醒测试方法中待测终端的处理过程进行详细说明。

图5示出了本示例性实施方式中另一种语音唤醒测试方法，应用于上述待测终端，该方法包括以下步骤S510至S530：

在步骤S510中，响应于接收到测试终端发送的功能开启指令，开启语音唤醒功能，并将状态标识变更为监听标识，以使测试终端根据监听标识控制播放终端播放测试语料。

在一示例性实施例中，在待测终端接收到测试终端发送的功能开启指令时，可以根据该指令开启语音唤醒功能，并将待测终端当前的状态标识修改为监听标识，表明当前待测终端可以对测试语料进行监听。此时，测试终端在检测到待测终端的状态标识为监听标识时，可以向播放终端下发播放指令，播放终端根据播放指令播放测试语料，以使待测终端对播放语料进行监听。

在步骤S520中，在监听到测试语料时，根据测试语料进行语音唤醒。

在一示例性实施例中，在播放终端播放了测试语料后，待测终端可以通过语音接收设备接收测试语料，并根据接收到的测试语料进行语音唤醒。需要说明的是，在播放终端为普通语音播放设备时，预先制作好的测试语料可以同时包括需要识别的人声和为了模拟真实场景的噪音；在播放终端为一些可以模拟人嘴的仿真声源时，为了能够更好的模拟人声，预先制作的测试语料可以只包括需要识别的人声，同时可以在测试场景中增加用于播放噪音的噪音设备。该噪音设备可以与播放设备同时受控于测试终端，同时播放测试语料和噪声，也可以在测试过程中始终保持播放状态，本公开对此不做特殊限定。

在步骤S530中，根据语音唤醒过程的状态对状态标识进行变更，并生成结果标识，以使测试终端根据变更后的状态标识和结果标识进行测试控制操作。

在一些示例性实施例中，相关语音唤醒功能对应的语音唤醒算法可以分为三个阶段，可以分别标记为一级唤醒节点、二级唤醒节点和三级唤醒节点。在待测终端接收到测试预料后到测试语料后，可以根据测试语料通过的节点对状态标识进行变更，并生成结果标识，以使测试终端可以根据结果标识和变更后的状态标识继续进行控制操作。

在一示例性实施例中，由于通常情况下，语音唤醒功能的一级唤醒节点属于检测语音并获取语音数据，此时待测终端处于监听状态。在通过一级唤醒节点进入其他唤醒节点时，则是通过处理器等硬件进行计算。在计算过程中，待测终端的语音接收设备虽然可以接收语音，但若在此时监听，明显会出现与上次监听相互干扰的情况，为了避免这种情况，可以为待测终端设置一个除去监听标识和录音标识之外的其它标识，例如空闲标识。该空闲标识可以用于标识待测终端未处于录音状态和监听状态时的状态标识。

在一示例性实施例中，可以使每一唤醒节点分别对应一个成功标识，并在检测到该节点对应的成功标识时，确定该节点成功。在测试语料通过一级唤醒节点时，可以生成第一成功标识。同时，由于处理一级唤醒节点以外的节点不需要监听，为避免此时再次播放语音语料，可以将待测终端的状态标识变更为空闲标识。而在测试语料没有通过一级唤醒节点时，可以证明一级唤醒节点已经失败，则不需进行后续节点的测试，可以保持状态标识为监听标识，以使测试终端在第一预设时间内没有检测到第一成功标识，并确定唤醒结果为空后，再次检测监听标识，并根据监听标识开始下一次测试语料的播放。

进一步地，测试语料通过一级唤醒节点之后，测试语料将继续进入二级唤醒节点进行处理，在测试语料通过二级唤醒节点时，可以生成第二成功标识。而测试语料未通过二级唤醒节点时，由于当前待测终端的状态标识已经被变更为空闲标识，为了能够继续进行下一次测试，可以将待测终端设置为自动重启语音唤醒功能，并对应的将状态标识变更为监听标识，以快速进入下一次测试。通过根据测试语料是否通过算法节点对待测终端的功能进行控制并更改状态，可以在测试失败时快速进入下一次测试，避免了测试语料的继续计算，节省了的测试时间，提高了测试效率。

再进一步地，测试语料通过二级唤醒节点之后，测试语料将继续进入三级唤醒节点进行处理，在测试语料通过三级唤醒节点时，可以生成第三成功标识，同时，在唤醒成功后，待测终端将进入录音状态，对应的状态标识也会变更为录音标识。此时，为了能够尽快进入下一次测试，测试终端在检测到录音标识时，可以向待测终端发送功能开启指令，以使待测终端退出录音状态，进入监听状态。而测试语料未通过三级唤醒节点时，由于当前待测终端的状态标识已经被变更为空闲标识，为了能够继续进行下一次测试，可以将待测终端设置为自动重启语音唤醒功能，并对应的将状态标识变更为监听标识，以快速进入下一次测试。

以下参照图6所示的系统，以手机为待测终端610，人工嘴为播放终端620，计算机为测试终端630，同时单独设置始终保持播放状态的用于播放噪音的噪音设备640，对本公开实施例进行详细阐述。

参照图7所示，该语音唤醒测试方法包括以下步骤：

步骤S701，计算机接收到测试开启指令，向手机发送功能开启指令，手机打开语音唤醒功能，并将对应的状态标识变更为监听标识；

步骤S702，计算机检测手机的状态标识是否为监听标识；

步骤S703，判断播放指令的发送次数是否等于测试开启指令中包括的播放次数；

步骤S704，测试结束；

步骤S705，计算机向人工嘴发送播放指令，人工嘴根据播放指令播放测试语料；

步骤S706，计算机检测手机是否生成第一成功标识；

步骤S707，手机一级唤醒失败，重新进入语音唤醒功能的监听状态；此时，手机的状态标识并未发生变更，仍然为监听标识。

步骤S708，手机一级唤醒成功，根据第一成功标识生成第一标识集合，并将状态标识变更为空闲标识；

步骤S709，计算机检测手机是否生成第二成功标识；

步骤S710，手机二级唤醒失败，重新进入语音唤醒功能的监听状态，并将状态标识变更为监听标识，将第一标识集合确定为唤醒结果；

步骤S711，手机二级唤醒成功，将第二成功标识加入第一标识集合得到第二标识集合；

步骤S712，计算机检测手机是否生成第三成功标识；

步骤S713，手机三级唤醒失败，重新进入语音唤醒功能的监听状态，并将状态标识变更为监听标识，将第二标识集合确定为唤醒结果；

步骤S714，手机三级唤醒成功进入录音状态，将第三成功标识加入第二标识集合得到第三标识集合，将第三标识集合确定为唤醒结果，同时将手机的状态标识变更为录音标识。

步骤S715，计算机在检测到状态标识为录音标识时，向手机发送功能开启指令，以使手机退出录音状态，重新进入语音唤醒功能的监听状态，并将状态标识变更为监听标识。

其中，手机在上述步骤中的状态转换如图8所示。在步骤S708中，手机由监听状态进入空闲状态，对应出现标识转换；在步骤S714中，由空闲状态进入录音状态，对应出现标识转换；在步骤S715中，由录音状态进入监听状态，对应出现标识转换；此外，在步骤S710和S713中，由空闲状态返回监听状态，对应出现标识转换。

综上，本示例性实施方式中，一方面通过测试终端检测待测终端的状态标识和结果标识，并根据状态标识和结果标识对待测终端和播放终端进行控制，可以实现对测试过程的精准控制。另一方面，通过设置多级算法节点，可以分析语音唤醒算法中各级的唤醒次数，进而统计各级算法的成功率、唤醒率、误唤醒率等数据。再一方面，通过测试终端对待测终端的检测，控制播放终端播放测试语料，可以精准控制播放终端播放测试语料的时机，避免待测终端未处于可监听状态进行播放导致的无效测试。此外，通过上述方法的精准控制，可以在语音唤醒进行至某一节点失败时，快速进入下一次测试，能够提高语音唤醒测试的效率。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图9所示，本示例的实施方式中还提供一种语音唤醒测试装置900，包括测试开启模块910和测试控制模块920。其中：

测试开启模块910可以用于响应于测试开启指令，向待测终端发送功能开启指令，以使待测终端开启语音唤醒功能并将对应的状态标识变更为监听标识；测试开启指令包括播放次数。

测试控制模块920可以用于对待测终端和播放终端执行播放次数的测试控制操作，得到至少一个唤醒结果，并根据唤醒结果确定测试结果；其中，测试控制操作包括：在检测到状态标识为监听标识时，向播放终端发送播放指令，以使待测终端根据播放终端播放的测试语料生成语音唤醒对应的结果标识，并变更状态标识；在测试语料播放结束后，检测结果标识，并根据检测结果确定唤醒结果。

在一示例性实施例中，测试控制模块920可以用于检测待测终端在语音唤醒过程中的状态标识，在检测到状态标识变更为录音标识时，向待测终端发送功能开启指令，以使待测终端开启语音唤醒功能并将状态标识变更为监听标识。

在一示例性实施例中，测试控制模块920可以用于对待测终端和播放终端循环执行测试控制操作，并统计在循环过程中播放指令的发送次数；在发送次数等于播放次数时，终止对待测终端和播放终端执行的测试控制操作。

在一示例性实施例中，测试控制模块920可以用于在第一预设时间内检测到第一成功标识时，根据第一成功标识生成第一标识集合；在第一预设时间内未检测到第一成功标识时，确定唤醒结果为空。

在一示例性实施例中，测试控制模块920可以用于在第二预设时间内检测到第二成功标识时，将第二成功标识加入第一标识集合，得到第二标识集合；在第二预设时间内未检测到第二成功标识时，将第一标识集合确定为唤醒结果。

在一示例性实施例中，测试控制模块920可以用于在第三预设时间内检测到第三成功标识时，将第三成功标识加入第二标识集合得到第三标识集合，将第三标识集合确定为唤醒结果；在第三预设时间内未检测到第三成功标识时，将第二标识集合确定为唤醒结果。

在一示例性实施例中，测试控制模块920可以用于对唤醒结果进行统计，以确定唤醒结果中包括的第一成功标识、第二成功标识和第三成功标识的数量，并根据数量和播放次数生成测试结果。

进一步的，参考图10所示，本示例的实施方式中还提供一种语音唤醒测试装置1000，包括功能开启模块1010、唤醒测试模块1020和标识控制模块1030。其中：

功能开启模块1010可以用于响应于接收到测试终端发送的功能开启指令，开启语音唤醒功能，并将状态标识变更为监听标识，以使测试终端根据监听标识控制播放终端播放测试语料。

唤醒测试模块1020可以用于在监听到测试语料时，根据测试语料进行语音唤醒。

标识控制模块1030可以用于根据语音唤醒过程的状态对状态标识进行变更，并生成结果标识，以使测试终端根据变更后的状态标识和结果标识进行测试控制操作。

在一示例性实施例中，标识控制模块1030可以用于在测试语料通过一级唤醒节点时，将状态标识变更为空闲标识，并生成第一成功标识；在测试语料未通过一级唤醒节点时，保持状态标识为监听标识。

在一示例性实施例中，标识控制模块1030可以用于在测试语料通过二级唤醒节点时，生成第二成功标识；在测试语料未通过二级唤醒节点时，重新开启语音唤醒功能，并将状态标识变更为监听标识。

在一示例性实施例中，标识控制模块1030可以用于在测试语料通过三级唤醒节点时，将状态标识变更为录音标识，并生成第三成功标识；在测试语料未通过三级唤醒节点时，重新开启语音唤醒功能，并将状态标识变更为监听标识。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图5或图7中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (13)

1.一种语音唤醒测试方法，其特征在于，应用于测试终端，所述方法包括：

响应于测试开启指令，向待测终端发送功能开启指令，以使所述待测终端开启语音唤醒功能并将对应的状态标识变更为监听标识；其中，所述测试开启指令包括播放次数；

对所述待测终端和播放终端执行所述播放次数的测试控制操作，得到至少一个唤醒结果，并根据所述唤醒结果确定测试结果；

其中，所述测试控制操作包括：

在检测到所述状态标识为监听标识时，向所述播放终端发送播放指令，以使所述待测终端根据所述播放终端播放的测试语料生成语音唤醒对应的结果标识；

在所述测试语料播放结束后，检测所述结果标识，并根据检测结果确定唤醒结果；

所述结果标识包括第一成功标识和第二成功标识时，所述检测所述结果标识，并根据检测结果确定唤醒结果，包括：在第一预设时间内检测到第一成功标识时，根据第一成功标识生成第一标识集合；在第一预设时间内未检测到第一成功标识时，确定所述唤醒结果为空；在第二预设时间内检测到第二成功标识时，将所述第二成功标识加入所述第一标识集合，得到第二标识集合；在第二预设时间内未检测到第二成功标识时，将所述第一标识集合确定为所述唤醒结果。

2.根据权利要求1所述的方法，其特征在于，所述状态标识还包括录音标识，所述测试控制操作还包括：

检测所述待测终端在语音唤醒过程中的状态标识，在检测到所述状态标识变更为所述录音标识时，向所述待测终端发送所述功能开启指令，以使所述待测终端开启语音唤醒功能并将所述状态标识变更为监听标识。

3.根据权利要求2所述的方法，其特征在于，所述对所述待测终端和播放终端执行所述播放次数的测试控制操作，包括：

对所述待测终端和所述播放终端循环执行所述测试控制操作，并统计在循环过程中所述播放指令的发送次数；

在所述发送次数等于所述播放次数时，终止对所述待测终端和播放终端执行的所述测试控制操作。

4.根据权利要求1所述的方法，其特征在于，所述结果标识还包括第三成功标识时，在检测到所述第二成功标识之后，所述方法还包括：

在第三预设时间内检测到第三成功标识时，将第三成功标识加入所述第二标识集合得到第三标识集合，将所述第三标识集合确定为所述唤醒结果；

在第三预设时间内未检测到第三成功标识时，将所述第二标识集合确定为所述唤醒结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述唤醒结果确定测试结果，包括：

对所述唤醒结果进行统计，以确定所述唤醒结果中包括的所述第一成功标识、所述第二成功标识和所述第三成功标识的数量，并根据所述数量和所述播放次数生成测试结果。

6.一种语音唤醒测试方法，其特征在于，应用于待测终端，所述方法包括：

响应于接收到测试终端发送的功能开启指令，开启语音唤醒功能，并将状态标识变更为监听标识，以使所述测试终端根据所述监听标识控制播放终端播放测试语料；

在监听到所述测试语料时，根据所述测试语料进行语音唤醒；

根据语音唤醒过程的状态对所述状态标识进行变更，并生成结果标识，以使所述测试终端根据变更后的状态标识和所述结果标识进行测试控制操作；

所述测试控制操作包括：

所述测试终端在检测到所述状态标识为监听标识时，向所述播放终端发送播放指令，以使所述待测终端根据所述播放终端播放的测试语料生成语音唤醒对应的结果标识；

所述结果标识包括第一成功标识和第二成功标识，所述测试终端在第一预设时间内检测到第一成功标识时，根据第一成功标识生成第一标识集合；在第一预设时间内未检测到第一成功标识时，确定唤醒结果为空；在第二预设时间内检测到第二成功标识时，将所述第二成功标识加入所述第一标识集合，得到第二标识集合；在第二预设时间内未检测到第二成功标识时，将所述第一标识集合确定为所述唤醒结果。

7.根据权利要求6所述的方法，其特征在于，所述状态标识还包括空闲标识，所述语音唤醒过程包括一级唤醒节点；

所述根据所述语音唤醒过程的状态对所述状态标识进行变更，并生成结果标识，包括：

在所述测试语料通过所述一级唤醒节点时，将所述状态标识变更为空闲标识，并生成第一成功标识；

在所述测试语料未通过所述一级唤醒节点时，保持所述状态标识为所述监听标识。

8.根据权利要求7所述的方法，其特征在于，所述语音唤醒过程包括二级唤醒节点；

在所述测试语料通过所述一级唤醒节点之后，所述方法还包括：

在所述测试语料通过二级唤醒节点时，生成第二成功标识；

在所述测试语料未通过二级唤醒节点时，重新开启所述语音唤醒功能，并将状态标识变更为监听标识。

9.根据权利要求8所述的方法，其特征在于，所述状态标识还包括录音标识，所述语音唤醒过程包括三级唤醒节点；

在所述测试语料通过所述二级唤醒节点之后，所述方法还包括：

在所述测试语料通过三级唤醒节点时，将所述状态标识变更为录音标识，并生成第三成功标识；

在所述测试语料未通过三级唤醒节点时，重新开启所述语音唤醒功能，并将状态标识变更为监听标识。

10.一种语音唤醒测试装置，其特征在于，应用于测试终端，所述装置包括：

测试开启模块，用于响应于测试开启指令，向待测终端发送功能开启指令，以使所述待测终端开启语音唤醒功能并将对应的状态标识变更为监听标识；所述测试开启指令包括播放次数；

测试控制模块，用于对所述待测终端和播放终端执行所述播放次数的测试控制操作，得到至少一个唤醒结果，并根据所述唤醒结果确定测试结果；

其中，所述测试控制操作包括：

在检测到所述状态标识为监听标识时，向所述播放终端发送播放指令，以使所述待测终端根据所述播放终端播放的测试语料生成语音唤醒对应的结果标识，并变更所述状态标识；

在所述测试语料播放结束后，检测所述结果标识，并根据检测结果确定唤醒结果；

所述结果标识包括第一成功标识和第二成功标识时，所述检测所述结果标识，并根据检测结果确定唤醒结果，包括：在第一预设时间内检测到第一成功标识时，根据第一成功标识生成第一标识集合；在第一预设时间内未检测到第一成功标识时，确定所述唤醒结果为空；在第二预设时间内检测到第二成功标识时，将所述第二成功标识加入所述第一标识集合，得到第二标识集合；在第二预设时间内未检测到第二成功标识时，将所述第一标识集合确定为所述唤醒结果。

11.一种语音唤醒测试装置，其特征在于，应用于待测终端，所述装置包括：

功能开启模块，用于响应于接收到测试终端发送的功能开启指令，开启语音唤醒功能，并将状态标识变更为监听标识，以使所述测试终端根据所述监听标识控制播放终端播放测试语料；

唤醒测试模块，用于在监听到所述测试语料时，根据所述测试语料进行语音唤醒；

标识控制模块，用于根据语音唤醒过程的状态对所述状态标识进行变更，并生成结果标识，以使所述测试终端根据变更后的状态标识和所述结果标识进行测试控制操作；

所述测试控制操作包括：

所述测试终端在检测到所述状态标识为监听标识时，向所述播放终端发送播放指令，以使所述待测终端根据所述播放终端播放的测试语料生成语音唤醒对应的结果标识；

所述结果标识包括第一成功标识和第二成功标识，所述测试终端在第一预设时间内检测到第一成功标识时，根据第一成功标识生成第一标识集合；在第一预设时间内未检测到第一成功标识时，确定唤醒结果为空；在第二预设时间内检测到第二成功标识时，将所述第二成功标识加入所述第一标识集合，得到第二标识集合；在第二预设时间内未检测到第二成功标识时，将所述第一标识集合确定为所述唤醒结果。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法。

13.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的方法。