CN111026652A - 一种语音人工智能系统唤醒率的自动化测试方法 - Google Patents
一种语音人工智能系统唤醒率的自动化测试方法 Download PDFInfo
- Publication number
- CN111026652A CN111026652A CN201911181014.7A CN201911181014A CN111026652A CN 111026652 A CN111026652 A CN 111026652A CN 201911181014 A CN201911181014 A CN 201911181014A CN 111026652 A CN111026652 A CN 111026652A
- Authority
- CN
- China
- Prior art keywords
- awakening
- scene
- test
- testing
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及自动化测试领域，公开了一种语音人工智能系统唤醒率的自动化测试方法，解决了传统测试时人力资源浪费多，受人为因素干扰大，测试结果不准确的缺点，其技术方案要点是预先将PC端分别和播报音箱和被测设备连接；预先在PC端构建人机交互界面，人机交互界面的显示内容包括播报次数、唤醒次数以及对应的唤醒率；预先制作好与被测设备匹配的唤醒语料测试音频，并将其导入播报音箱；分别构建测试场景：静音场景、自燥场景以及外燥场景；在静音场景、自燥场景以及外燥场景下分别测试：开启PC端、播报音箱以及被测设备进行测试；在PC端的人机交互界面得到唤醒率，达到能够自动化测试，节省人力资源，不受人为因素干扰，测试结果准确的效果。
Description
技术领域
本发明涉及自动化测试领域，更具体地说，它涉及一种语音人工智能系统唤醒率的自动化测试方法。
背景技术
随着AI智能语音发展的越来越迅猛，越来越多的人体验到AI智能语音的便利之处。与此同时，任何事情都是具有两面性，虽然说AI智能语音用起来方便，但是在使用中发现，这些设备会时常性的唤醒不了或者是误唤醒，这是市面上普遍存在的问题。因此在解决唤醒率上，研发工程师下了很大的精力来测试改善，但是这些唤醒率的数据大部分都是用人工去一次又一次的唤醒，另外还需要有一个人专门在旁边记录，这会大量浪费人力资源，并且人工播报语料，不能一直稳定，受人为因素干扰大，并且人为测试，耗费时间长，不能持续工作，将延长整个测试进程，因此自动化唤醒率测试显得尤为的重要，这将大大减少人力的付出，同时大大降低人为因素的干扰，使得最终的数据更为准确，并且能够快速的得到有效的数据。
发明内容
本发明的目的是提供一种语音人工智能系统唤醒率的自动化测试方法，达到能够自动化测试，节省人力资源，不受人为因素干扰，测试结果准确的效果。
本发明的上述技术目的是通过以下技术方案得以实现的：一种语音人工智能系统唤醒率的自动化测试方法，方法步骤如下：
S1：预先将PC端分别和播报音箱和被测设备连接；
S2：预先在PC端构建人机交互界面，人机交互界面的显示内容包括播报次数、唤醒次数以及对应的唤醒率；
S3：预先制作好与被测设备匹配的唤醒语料测试音频，并将其导入播报音箱；
S4：分别构建测试场景：静音场景、自燥场景以及外燥场景；
S5：在静音场景、自燥场景以及外燥场景下分别测试：开启PC端、播报音箱以及被测设备进行测试；
S6：在PC端的人机交互界面得到唤醒率。
优选的，设置被测设备测试点和若干播报音箱测试点，将被测设备和播报音箱放到对应的测量点，在测试时，将播报音箱的位置在若干播报音箱测量点转换。
优选的，所述人机交互界面的显示内容还包括误唤醒次数、被测设备和播报音箱的若干控制按钮。
优选的，所述唤醒语料测试音频包括重复若干频次的唤醒语料。
优选的，所述PC端分别与所述测试音箱和所述被测设备之间的连接方式包括WiFi连接、蓝牙连接以及数据线连接。
优选的，所述PC端的操作系统包括Linux操作系统、Android操作系统、Windows7操作系统。
优选的，所述静音场景为，在测试场景中使用播报音箱播报的唤醒语料测试音频，不设置其他声音。
优选的，所述自燥场景为，在测试场景中，使用被测设备播放音频、使用播报音箱播报的唤醒语料测试音频，不设置其他声音。
优选的，所述外燥场景为，在测试场景中，使用干扰音源音箱播放干扰音源、使用播报音箱播报的唤醒语料测试音频，不设置其他声音。
优选的，PC端对测试过程得到的唤醒率进行存储。
综上所述，本发明具有以下有益效果：本发明全程只需要预先对PC端、播报音箱以及被测设备进行配置，剩下内容便可以自动化测试，全程无需人工播报，无需人工测算，节省了大量人力资源，采用PC端统计计算，计算结果更可靠，并且在PC端搭建的人机交互界面，能够方便工作人员实时进行查看，查看的内容包括播报次数、唤醒次数以及唤醒率，方便工作人员了解测试进度和测试结果，并且设置出多个不同的场景，能得出多种场景的对比，不会让测试场景单一化，使得测试结果更具有信服力。
附图说明
图1是本发明的关系示意图；
图2是本发明被测设备测试点和播报音箱测试点的示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1所示，本发明提供一种语音人工智能系统唤醒率的自动化测试方法，方法步骤如下：
S1：预先将PC端分别和播报音箱和被测设备连接，使得PC端分别和播报音箱和被测设备之间能够进行数据连接，方便播报音箱将播报的唤醒语料频次发送给PC端，方便被测设备将识别唤醒情况发送给PC端，方便工作人员通过PC端分别对播报音箱和被测设备下达控制命令；
S2：预先在PC端构建人机交互界面，人机交互界面的显示内容包括播报次数、唤醒次数以及对应的唤醒率，方便工作人员直接查看播报次数，唤醒次数和唤醒率，播报次数直接由播报音箱提供，唤醒次数由被测设备提供，而唤醒率便是PC端一个简单的计算算法实现的，计算算法的内容是，唤醒率等于将唤醒次数除以播报次数，摒弃了传统测试要耗费人工来计量的缺点，更加的节约资源，并且准确率更高；
S3：预先制作好与被测设备匹配的唤醒语料测试音频，并将其导入播报音箱，使得唤醒语料的音频能够和被测设备对应，方便精准测试；
S4：分别构建测试场景：静音场景、自燥场景以及外燥场景，设置出多个不同的场景，能得出多种场景的对比，不会让测试场景单一化，使得测试结果更具有信服力；
S5：在静音场景、自燥场景以及外燥场景下分别测试：开启PC端、播报音箱以及被测设备进行测试；
S6：在PC端的人机交互界面得到唤醒率，能够从人机交互界面直接得到唤醒率结果，更加的方便和直观，摒弃了人工测算，测试结果更准确。
以上便是本发明的方法步骤，全程只需要预先对PC端、播报音箱以及被测设备进行配置，剩下内容便可以自动化测试，全程无需人工播报，无需人工测算，节省了大量人力资源，采用PC端统计计算，计算结果更可靠，并且在PC端搭建的人机交互界面，能够方便工作人员实时进行查看，查看的内容包括播报次数、唤醒次数以及唤醒率，方便工作人员了解测试进度和测试结果。
除此之外本发明还设置了以下优选内容：
优选的，唤醒语料测试音频包括重复若干频次的唤醒语料，例如一个唤醒语料测试音频会包含剪辑好的重复100次的语料，此时，在一个完整单位的测试中，播报音箱就会播报100次语料；唤醒语料测试音频中的唤醒语料的频次可以根据测试需求进行选择，能够方便工作人员测试使用。
优选的，在测试场景中，设置被测设备测试点和若干播报音箱测试点，将被测设备和播报音箱放到对应的测量点，在测试时，将播报音箱的位置在若干播报音箱测量点转换；
具体为：若干个播报音箱测试点分布于被测设备测试点的各个方位，在一个测试场景中，将被测设备放置到被测设备测试点，将播报音箱放置到播报音箱测试点，当完成一个方位的一个完整单位的测试之后，再移动播报音箱到下另一个播报音箱测试点；
一个具体实施例为：如图2所示，在被测设备测试点位置前方的A点（角度为30°且距离为1m的位置）、B点（角度为30°且距离为2m的位置）、C点（角度为60°且距离为1m的位置）、D点（角度为60°且距离为2m的位置）、E点（角度为90°且距离为1m的位置）、F点（角度为90°且距离为3m的位置）分别设置播放音源测试点，在测试中，A点的测试完成后，得到了本场景内A点的唤醒率，就可以转换到B点或其他点进行测试，逐步得出本场景内所有播报音箱测试点的唤醒率；
需要注意的是，所有播报音箱测试点的位置设置是根据被测设备实际使用环境设置的，能够模拟家庭或公司被测设备的用户使用位置；充分模拟实际使用情况，使得测试结果能够更贴合实际实用的唤醒情况，测试结果更加准确。
优选的，人机交互界面的显示内容还包括被测设备误唤醒次数、被测设备和播报音箱的若干控制按钮；
在自燥场景和外燥场景或其他场景测试中，很可能会出现被测设备误唤醒的情况；PC端是与被测设备和播报音箱连接的，能够实时得到播报次数、唤醒次数，也就是是否播报情况和是否唤醒情况，因此PC端能够判断是否为误唤醒：当未播报情况下，被测设备缺被唤醒，则说明为误唤醒；
将PC端与被测设备和播报音箱的控制器连接，实现对通过PC端的人机交互界面就能对被测设备和播报音箱进行控制，从而在测试过程中，方便控制被测设备和播报音箱的开启、关闭以及暂停，无需工作人员对被测设备的本体和播报音箱的本体进行操作，便能够实现控制，尤其在一些特殊场景下，例如静音场景，对被测设备和播报音箱本体进行操作可能会干扰到最终的测试结果，充分的方便了工作人员的测试工作，并保证了测试的准确性。
优选的，PC端分别与测试音箱和被测设备之间的连接方式包括WiFi连接、蓝牙连接以及数据线连接，能够通过多种方式进行连接，进行数据和控制指令的传递，不限于本实施方式的连接方式，能够实现PC端与测试音箱和被测设备之间的数据信息传递的连接方式都是可行的。
优选的，PC端的操作系统包括但不限于Linux操作系统、Android操作系统、Windows7操作系统，不局限于某一特定的操作系统，能够实现本发明的运行的操作系统都是可行的。
优选的，PC端对测试过程得到的唤醒率进行存储，能在工作人员不使用测试结果数据的情况下，将测试结果数据保存，能够方便工作人员调取数据。
优选的，静音场景为，在测试场景中使用播报音箱播报的唤醒语料测试音频，不设置其他声音，使得整个测试场景中只有播报音箱播报的测试语料，能够充分测试出，在无干扰的情况下，被测设备的识别唤醒性能。
优选的，自燥场景为，在测试场景中，使用被测设备播放音频、使用播报音箱播报的唤醒语料测试音频，不设置其他声音，这是在被测设备自身能够播放音频的情况下，进行测试的，此时，测试场景中只包含播报音箱播报的测试语料和被测设备自身播报的音频，能够充分测试出，在存在被测设备自身播报音频情况下，测试被测设备的识别唤醒性能。
优选的，如图1所示，外燥场景为，在测试场景中，使用干扰音源音箱播放干扰音源、使用播报音箱播报的唤醒语料测试音频，不设置其他声音，在测试场景中，存在干扰音源音箱播放干扰音源的情况下，测试被测设备的识别唤醒性能，一般的干扰音源为被测设备实际使用场景的噪声，能够充分模拟使用环境，使得测试结果更加准确。
需要注意的是，本发明的测试场景并不仅限于上述场景，也可以外燥场景和自燥场景结合，测试被测设备在自身播放和干扰音源的干扰下的识别唤醒率；具体的要根据被测设备的测试需要来设置，以实现对被测设备全面的测试为需求都是可行的测试场景方式；
另外的，测试场景和播报音箱测试点是可以结合使用的，在一个测试场景中会包含多个播报音箱测试点，测试过程中也会遍历所有测试场景的所用测试点，能够全面的对被测设备的多种使用情形进行测试，使得测试结果更加准确。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种语音人工智能系统唤醒率的自动化测试方法，其特征是：方法步骤如下：
S1：预先将PC端分别和播报音箱和被测设备连接；
S2：预先在PC端构建人机交互界面，人机交互界面的显示内容包括播报次数、唤醒次数以及对应的唤醒率；
S3：预先制作好与被测设备匹配的唤醒语料测试音频，并将其导入播报音箱；
S4：分别构建测试场景：静音场景、自燥场景以及外燥场景；
S5：在静音场景、自燥场景以及外燥场景下分别测试：开启PC端、播报音箱以及被测设备进行测试；
S6：在PC端的人机交互界面得到唤醒率。
2.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：设置被测设备测试点和若干播报音箱测试点，将被测设备和播报音箱放到对应的测量点，在测试时，将播报音箱的位置在若干播报音箱测量点转换。
3.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：所述人机交互界面的显示内容还包括误唤醒次数、被测设备和播报音箱的若干控制按钮。
4.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：所述唤醒语料测试音频包括重复若干频次的唤醒语料。
5.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：所述PC端分别与所述测试音箱和所述被测设备之间的连接方式包括WiFi连接、蓝牙连接以及数据线连接。
6.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：所述PC端的操作系统包括Linux操作系统、Android操作系统、Windows7操作系统。
7.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：所述静音场景为，在测试场景中使用播报音箱播报的唤醒语料测试音频，不设置其他声音。
8.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：所述自燥场景为，在测试场景中，使用被测设备播放音频、使用播报音箱播报的唤醒语料测试音频，不设置其他声音。
9.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：所述外燥场景为，在测试场景中，使用干扰音源音箱播放干扰音源、使用播报音箱播报的唤醒语料测试音频，不设置其他声音。
10.根据权利要求1所述的一种语音人工智能系统唤醒率的自动化测试方法，其特征是：PC端对测试过程得到的唤醒率进行存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911181014.7A CN111026652A (zh) | 2019-11-27 | 2019-11-27 | 一种语音人工智能系统唤醒率的自动化测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911181014.7A CN111026652A (zh) | 2019-11-27 | 2019-11-27 | 一种语音人工智能系统唤醒率的自动化测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111026652A true CN111026652A (zh) | 2020-04-17 |
Family
ID=70206964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911181014.7A Pending CN111026652A (zh) | 2019-11-27 | 2019-11-27 | 一种语音人工智能系统唤醒率的自动化测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111026652A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611169A (zh) * | 2020-05-22 | 2020-09-01 | 深圳市亿道数码技术有限公司 | 一种语音助手唤醒率自动化测试方法及测试工具 |
| CN115512686A (zh) * | 2022-06-22 | 2022-12-23 | 青岛海尔科技有限公司 | 唤醒结果的确定方法、装置、存储介质及电子装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104538042A (zh) * | 2014-12-22 | 2015-04-22 | 南京声准科技有限公司 | 终端智能语音测试系统和方法 |
| CN107643967A (zh) * | 2017-10-27 | 2018-01-30 | 深圳市传测科技有限公司 | 一种自动语音唤醒测试装置、系统及方法 |
| CN110211567A (zh) * | 2019-05-13 | 2019-09-06 | 中国信息通信研究院 | 语音识别终端测评系统及方法 |
-
2019
- 2019-11-27 CN CN201911181014.7A patent/CN111026652A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104538042A (zh) * | 2014-12-22 | 2015-04-22 | 南京声准科技有限公司 | 终端智能语音测试系统和方法 |
| CN107643967A (zh) * | 2017-10-27 | 2018-01-30 | 深圳市传测科技有限公司 | 一种自动语音唤醒测试装置、系统及方法 |
| CN110211567A (zh) * | 2019-05-13 | 2019-09-06 | 中国信息通信研究院 | 语音识别终端测评系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611169A (zh) * | 2020-05-22 | 2020-09-01 | 深圳市亿道数码技术有限公司 | 一种语音助手唤醒率自动化测试方法及测试工具 |
| CN115512686A (zh) * | 2022-06-22 | 2022-12-23 | 青岛海尔科技有限公司 | 唤醒结果的确定方法、装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107452372B (zh) | 远场语音识别模型的训练方法和装置 | |
| CN104538042A (zh) | 终端智能语音测试系统和方法 | |
| CN105259459B (zh) | 一种电子设备的自动化质检方法、装置和设备 | |
| CN108039172A (zh) | 智能蓝牙音箱语音交互方法、智能蓝牙音箱及存储介质 | |
| CN111026652A (zh) | 一种语音人工智能系统唤醒率的自动化测试方法 | |
| CN105304081A (zh) | 一种智能家居的语音播报系统及语音播报方法 | |
| CN111508531B (zh) | 音频处理方法及装置 | |
| NL8002612A (nl) | Werkwijze voor het overdragen van luchthaven- -weerinformatie. | |
| CN111798852A (zh) | 语音唤醒识别性能测试方法、装置、系统及终端设备 | |
| CN109737521A (zh) | 具有语音控制功能的空气净化器 | |
| CN108592349A (zh) | 一种空调控制系统 | |
| CN109003609A (zh) | 语音设备、智能语音系统、设备控制方法及装置 | |
| KR20200138644A (ko) | 전자 기기의 음성 제어 방법, 장치, 컴퓨터 기기 및 저장 매체 | |
| CN109151994A (zh) | 一种室内定位方法及设备 | |
| CN106228985A (zh) | 一种语音控制系统、控制器和家用电器设备 | |
| CN204440902U (zh) | 终端智能语音测试系统 | |
| CN202167234U (zh) | 车载多媒体系统音频抗干扰自动化测试系统 | |
| CN211237722U (zh) | 一种具有语音识别功能的电动家具遥控系统 | |
| CN104933920A (zh) | 教学回馈与复习系统与方法 | |
| CN205066045U (zh) | 一种空调语音播报装置、空调 | |
| CN104075409A (zh) | 空调器运行参数调整方法和系统 | |
| CN110660376A (zh) | 音频处理方法、装置及存储介质 | |
| CN106094673A (zh) | 汽车唤醒词系统及其控制方法 | |
| CN204558010U (zh) | 无线wifi音频传输app系统 | |
| CN112151080B (zh) | 一种录制和处理训练语料的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |