CN111611169A - 一种语音助手唤醒率自动化测试方法及测试工具 - Google Patents
一种语音助手唤醒率自动化测试方法及测试工具 Download PDFInfo
- Publication number
- CN111611169A CN111611169A CN202010442423.4A CN202010442423A CN111611169A CN 111611169 A CN111611169 A CN 111611169A CN 202010442423 A CN202010442423 A CN 202010442423A CN 111611169 A CN111611169 A CN 111611169A
- Authority
- CN
- China
- Prior art keywords
- test
- wake
- tested
- awakening
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 134
- 238000010998 test method Methods 0.000 claims abstract description 5
- 230000002618 waking effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013101 initial test Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/3644—Software debugging by instrumenting at runtime
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种语音助手唤醒率自动化测试方法及测试工具，属于语音助手测试领域。本发明测试方法包括步骤：连接待测设备，控制待测设备开启USB调试模式；设置测试条件，所述测试条件包括唤醒总测试次数，设置测试次数初始值为0，开始测试；播放唤醒词，判断待测设备是否出现唤醒界面，如果是，唤醒成功，如果否，唤醒失败，将测试结果记录在数据表中；测试次数加1，控制待测设备返回主界面；直至测试次数达到总测试次数，结束测试，保存测试数据。本发明的有益效果为：测试效率高，减少人工成本，提高测试正确率。
Description
技术领域
本发明涉及一种语音助手测试方法，尤其涉及一种语音助手唤醒率自动化测试方法及测试工具。
背景技术
随着电子消费品蓬勃发展，语音助手也日益智能化，因此衍生出了很多智能音箱产品，如小米的小爱同学；百度的小度在家；天猫精灵等等；在人们的生活中扮演着越来越重要的角色。而对于如今人们必不可少的手机，语音助手的使用率也相当高，如苹果手机的Siri，Android设备自带的google assistant。语音助手越来越智能化，如聊天，订外卖，订闹钟，帮忙打电话，打开app等等，这一切都要基于语音唤醒，而语音唤醒率则成为度量产品成功的一个重要因素。
在智能音箱，手机语音助手越来越普及的情况下，这意味着语音助手将在更多的场景下被使用被唤醒，唤醒率的测试在产品研发、调试、测试到生产上线的整个周期中，唤醒率测试越愈频繁。
现在还未有一款针对Google助手唤醒率统计的测试工具，纯粹靠人工干预统计(如手动点击返回按钮确保当前是在未唤醒的状态下；手工记录每一次唤醒的结果；等等)，工序繁杂，不仅工作量巨大，且耗费时间长，效率不高，而且人工统计容易出错。需要长时间的专注度来统计才能比较准确的反馈正确率。
为此为提高唤醒率测试的正确率，减少人工参与度，提高测试效率；在此背景下，基于Android设备Google助手唤醒率自动化测试工具应运而生了。
发明内容
为解决现有技术中的问题，本发明提供一种语音助手唤醒率自动化测试方法及测试工具。
本发明语音助手唤醒率自动化测试方法包括如下步骤：
S1：连接待测设备，控制待测设备开启USB调试模式；
S2：设置测试条件，所述测试条件包括唤醒总测试次数，设置测试次数初始值为0，开始测试；
S3：播放唤醒词，判断待测设备是否出现唤醒界面，如果是，唤醒成功，如果否，唤醒失败，将测试结果记录在数据表中；
S4：测试次数加1，控制待测设备返回主界面；
S5：判断测试次数是否达到总测试次数，如果否，返回执行步骤S3，如果是，结束，保存测试数据。
本发明作进一步改进，在步骤S2中，所述测试条件还包括唤醒词、唤醒词音色和/或音量。
本发明作进一步改进，在步骤S1中，连接待测设备后，控制待测设备安装相应小程序，实现控制待测设备开发者选项，启动/关闭uiautomator的功能。
本发明作进一步改进，还包括步骤S6：用于根据测试数据计算待测设备的唤醒率。
本发明还提供一种实现所述的语音助手唤醒率自动化测试方法的测试工具，设置在测试客户端，包括，
连接模块：用于连接待测设备，笔杆控制待测设备开启USB调试模式；
设置模块：用于设置测试条件，所述测试条件包括唤醒总测试次数，设置测试次数初始值为0；
播放模块：用于播放唤醒词；
判断模块：用于判断待测模块是否成功唤醒；
记录模块：用于记录测试结果及测试数据；
计数模块：用于记录测试次数，并判断是否达到设定的总测试次数。
本发明作进一步改进，还包括计算模块：用于根据获取的测试结果及测试总次数，计算待测设备的唤醒率。
本发明作进一步改进，所述测试工具的实现包括三个函数，分别为：wakeupDevice，savetoexcel及main函数，所述wakeupDevice函数基于uiautomator2对text文本进行检测，当出现唤醒词文本时，机器出现唤醒界面表示机器被成功唤醒；所述savetoexcel函数即实现唤醒结果写入excel表格，通过python导入操作excel表格的第三方库openpyxl来实现；所述main函数实现根据实际动态设置总测试次数；并根据range()函数控制测试，通过调用wakeupDevice(),savetoexcel()函数分别写入唤醒的数据和结果写入excel表格。
本发明作进一步改进，所述main函数通过input()函数实现强制转换总测试次数的输入类型为整型数据，实现根据实际动态设置总测试次数；并通过print('this is％stime to wakeup'％(j+1))函数将每次测试数据打印输入到终端，最后函数循环结束后将数据保存在PC中，并将excel表格关闭以免数据丢失。
与现有技术相比，本发明的有益效果是：测试效率高，能够实时统计每一次唤醒的测试结果并记录在excel表格中，测试结果一目了然，并且能够减少人工成本，提高测试正确率。
附图说明
图1为本发明测试工具界面示意图；
图2为待测设备唤醒界面示意图；
图3为总测试次数设置示意图；
图4为本发明测试方法流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
如图1所示，本发明测试工具是基于Android SDK中uiautomator2(uiautomator2是一个可以使用Python对Android设备进行UI自动化的库)的基础上去实现。此工具运行后会在待测的安卓设备上自动安装ATX apk小程序，实现控制机器开发者选项，启动/关闭uiautomator的功能。播放”Ok google”唤醒词的音频，即可实时统计每一次唤醒的测试结果并记录在excel表格中，测试结果一目了然，最后再计算唤醒率即可。
当然，本测试工具还可以录制不同音色、不同次数等条件去动态调整测试条件。还可以通过更换唤醒词和唤醒条件判断用来测试其他助手的唤醒率，如小度音箱等。
本例测试工具使用python编写的脚本，可以使得所有Android设置能够获取usb调试权限的待测设备通过播放“ok google”唤醒词的音频实现自动统计唤醒率的功能。本发明测试工具是使用Visual Studio Code代码开发工具新建一个python程序，安装在PC客户端上，从而实现对安卓设备Google语音助手唤醒率的测试。以下对本测试工具详细说明。
本发明包括一个wakeup类，这个类中包含三个函数：wakeupDevice，savetoexcel及main函数，其中，所述wakeupDevice函数控制机器成功唤醒的判断；所述savetoexcel函数负责将数据写入excel表格中；所述main函数负责唤醒次数的控制和统计及保存数据到PC中，而唤醒次数取决于唤醒词中的次数，程序中唤醒次数统计实现从键盘输入。
本发明的实现方式为：
在测试工具的程序中，所述wakeupDevice函数基于uiautomator2对text文本的检测，当出现“ok google”唤醒词时，机器出现如图2所示的界面表示机器被成功唤醒，对于图2所示的“how can I help you？”文本的检查是否存在，来判断机器是否被唤醒，即：text＝“how can I help you？”.exit()；如存在记作pass，并返回，同时按Home键返回主界面，确保每次被唤醒都在Home界面。
所述savetoexcel函数即实现唤醒结果写入excel，本例通过python导入操作excel的第三方库openpyxl来实现。首先，设置表格的样式，通过sheets写入三列数据表头:Session,Time，Results,然后是对应三列表格的内容，分别对应每一次返回的序号，测试时间，测试结果。
所述main函数根据唤醒词音频实际次数可从键盘输入次数，如图3所示，即通过input()函数实现，a＝int(input()),强制转换输入类型为整型数据，从而实现根据实际动态设置次数；此外，根据range()控制测试测试，通过调用wakeupDevice(),savetoexcel()函数分别写入唤醒的数据和写入excel，并通过print('this is％s time towakeup'％(j+1))函数将每次测试数据打印输入到终端，使得测试进展可监控。最后函数循环结束后将数据保存在PC中，并将excel表格关闭以免数据丢失。
如图4所示，本发明的测试方法为：
(1)待测的机器连接PC，判断机器是否开启USB调试，如果否，退出，如果是，执行下一步；
(2)根据唤醒词输入总测试次数，设置后，测试开始。
(3)播放唤醒词，此处唤醒词根据不同的机器，可以有所不同。
(4)判断机器是否出现唤醒界面，如果是，如果是，唤醒成功，如果否，唤醒失败，将测试结果记录在数据表中。
(5)测试次数加1，机器按Home键返回主界面，也可以通过PC端控制机器返回主界面。
(6)判断测试次数是否达到总测试次数，如果否，返回执行步骤(3)，如果是，结束，保存测试数据到PC，并关闭excel表格。
本发明针对海外市场上Android作为两大主流设备之一，Google助手使用率非常高，应用场景非常广，唤醒率压力测试频率非常高。针对唤醒词次数可以手动输入次数，且PC终端可以展示测试进度，当前进行第几次测试，体现了极大的灵活性。极大地便利了开发部门内部测试调试工作，目前应用场景非常广泛。
以上所述之具体实施方式为本发明的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明所作的等效变化均在本发明的保护范围内。
Claims (8)
1.一种语音助手唤醒率自动化测试方法，其特征在于，包括如下步骤：
S1：连接待测设备，控制待测设备开启USB调试模式；
S2：设置测试条件，所述测试条件包括唤醒总测试次数，设置测试次数初始值为0，开始测试；
S3：播放唤醒词，判断待测设备是否出现唤醒界面，如果是，唤醒成功，如果否，唤醒失败，将测试结果记录在数据表中；
S4：测试次数加1，控制待测设备返回主界面；
S5：判断测试次数是否达到总测试次数，如果否，返回执行步骤S3，如果是，结束，保存测试数据。
2.根据权利要求1所述的语音助手唤醒率自动化测试方法，其特征在于：在步骤S2中，所述测试条件还包括唤醒词、唤醒词音色和/或音量。
3.根据权利要求1所述的语音助手唤醒率自动化测试方法，其特征在于：在步骤S1中，连接待测设备后，控制待测设备安装相应小程序，实现控制待测设备开发者选项，启动/关闭uiautomator的功能。
4.根据权利要求1-3任一项所述的语音助手唤醒率自动化测试方法，其特征在于：还包括步骤S6：用于根据测试数据计算待测设备的唤醒率。
5.一种实现权利要求1-4任一项所述的语音助手唤醒率自动化测试方法的测试工具，设置在测试客户端，其特征在于：包括，
连接模块：用于连接待测设备，笔杆控制待测设备开启USB调试模式；
设置模块：用于设置测试条件，所述测试条件包括唤醒总测试次数，设置测试次数初始值为0；
播放模块：用于播放唤醒词；
判断模块：用于判断待测模块是否成功唤醒；
记录模块：用于记录测试结果及测试数据；
计数模块：用于记录测试次数，并判断是否达到设定的总测试次数。
6.根据权利要求5所述的语音助手唤醒率自动化测试方法，其特征在于：还包括计算模块：用于根据获取的测试结果及测试总次数，计算待测设备的唤醒率。
7.根据权利要求5所述的语音助手唤醒率自动化测试方法，其特征在于：所述测试工具的实现包括三个函数，分别为：wakeupDevice，savetoexcel及main函数，
所述wakeupDevice函数基于uiautomator2对text文本进行检测，当出现唤醒词文本时，机器出现唤醒界面表示机器被成功唤醒；
所述savetoexcel函数实现唤醒结果写入excel表格，通过python导入操作excel表格的第三方库openpyxl来实现；
所述main函数实现根据实际动态设置总测试次数；并根据range()函数控制测试，通过调用wakeupDevice(),savetoexcel()函数分别写入唤醒的数据和结果写入excel表格。
8.根据权利要求7所述的语音助手唤醒率自动化测试方法，其特征在于：所述main函数通过input()函数实现强制转换总测试次数的输入类型为整型数据，实现根据实际动态设置总测试次数；并通过print('this is％s time to wakeup'％(j+1))函数将每次测试数据打印输入到终端，最后函数循环结束后将数据保存在PC中，并将excel表格关闭以免数据丢失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010442423.4A CN111611169A (zh) | 2020-05-22 | 2020-05-22 | 一种语音助手唤醒率自动化测试方法及测试工具 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010442423.4A CN111611169A (zh) | 2020-05-22 | 2020-05-22 | 一种语音助手唤醒率自动化测试方法及测试工具 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111611169A true CN111611169A (zh) | 2020-09-01 |
Family
ID=72199555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010442423.4A Pending CN111611169A (zh) | 2020-05-22 | 2020-05-22 | 一种语音助手唤醒率自动化测试方法及测试工具 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111611169A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112822487A (zh) * | 2020-12-30 | 2021-05-18 | 深圳市前海研祥亚太电子装备技术有限公司 | 显示设备语音性能检测方法及系统 |
| CN113225662A (zh) * | 2021-05-28 | 2021-08-06 | 杭州国芯科技股份有限公司 | 一种带G-sensor的TWS耳机唤醒测试方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108511000A (zh) * | 2018-03-06 | 2018-09-07 | 福州瑞芯微电子股份有限公司 | 一种测试智能音箱唤醒词识别率的方法及系统 |
| CN108597494A (zh) * | 2018-03-07 | 2018-09-28 | 珠海格力电器股份有限公司 | 语音测试方法及装置 |
| CN109003602A (zh) * | 2018-09-10 | 2018-12-14 | 百度在线网络技术（北京）有限公司 | 语音产品的测试方法、装置、设备及计算机可读介质 |
| CN109817219A (zh) * | 2019-03-19 | 2019-05-28 | 四川长虹电器股份有限公司 | 语音唤醒测试方法及系统 |
| CN110297774A (zh) * | 2019-07-02 | 2019-10-01 | 四川长虹电器股份有限公司 | 一种基于python的接口自动化测试方法 |
| US20190371322A1 (en) * | 2018-05-31 | 2019-12-05 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus and system for testing intelligent voice device |
| CN110942768A (zh) * | 2019-11-20 | 2020-03-31 | Oppo广东移动通信有限公司 | 设备唤醒的测试方法、装置、移动终端和存储介质 |
| CN111026652A (zh) * | 2019-11-27 | 2020-04-17 | 南京创维信息技术研究院有限公司 | 一种语音人工智能系统唤醒率的自动化测试方法 |
-
2020
- 2020-05-22 CN CN202010442423.4A patent/CN111611169A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108511000A (zh) * | 2018-03-06 | 2018-09-07 | 福州瑞芯微电子股份有限公司 | 一种测试智能音箱唤醒词识别率的方法及系统 |
| CN108597494A (zh) * | 2018-03-07 | 2018-09-28 | 珠海格力电器股份有限公司 | 语音测试方法及装置 |
| US20190371322A1 (en) * | 2018-05-31 | 2019-12-05 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus and system for testing intelligent voice device |
| CN109003602A (zh) * | 2018-09-10 | 2018-12-14 | 百度在线网络技术（北京）有限公司 | 语音产品的测试方法、装置、设备及计算机可读介质 |
| CN109817219A (zh) * | 2019-03-19 | 2019-05-28 | 四川长虹电器股份有限公司 | 语音唤醒测试方法及系统 |
| CN110297774A (zh) * | 2019-07-02 | 2019-10-01 | 四川长虹电器股份有限公司 | 一种基于python的接口自动化测试方法 |
| CN110942768A (zh) * | 2019-11-20 | 2020-03-31 | Oppo广东移动通信有限公司 | 设备唤醒的测试方法、装置、移动终端和存储介质 |
| CN111026652A (zh) * | 2019-11-27 | 2020-04-17 | 南京创维信息技术研究院有限公司 | 一种语音人工智能系统唤醒率的自动化测试方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112822487A (zh) * | 2020-12-30 | 2021-05-18 | 深圳市前海研祥亚太电子装备技术有限公司 | 显示设备语音性能检测方法及系统 |
| CN113225662A (zh) * | 2021-05-28 | 2021-08-06 | 杭州国芯科技股份有限公司 | 一种带G-sensor的TWS耳机唤醒测试方法 |
| CN113225662B (zh) * | 2021-05-28 | 2022-04-29 | 杭州国芯科技股份有限公司 | 一种带G-sensor的TWS耳机唤醒测试方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110674982B (zh) | 一种温室气体排放量核算、分析和预测的系统、方法及设备 | |
| CN111611169A (zh) | 一种语音助手唤醒率自动化测试方法及测试工具 | |
| CN102387234B (zh) | 一种手机自动化测试装置及方法 | |
| CN109597761A (zh) | 一种基于Jmeter的接口自动化测试方法 | |
| CN105607931A (zh) | 一种优化应用程序留存率的方法、装置及电子设备 | |
| CN102752429A (zh) | 基于Android系统的手机电池续航时间自动测试方法 | |
| CN109388367A (zh) | 音效调整方法、装置、电子设备以及存储介质 | |
| CN112783793B (zh) | 自动化接口测试系统及方法 | |
| CN101272422A (zh) | 一种手机自动化测试方法 | |
| CN103995769A (zh) | 收集电子装置的错误状态信息的方法 | |
| CN110379410A (zh) | 语音响应速度自动分析方法及系统 | |
| CN103914501B (zh) | 基于海量实时数据库的电力行业实时报表方法 | |
| CN108763523A (zh) | 自动会话实现方法、服务器及存储介质 | |
| CN106095660B (zh) | 应用的质量监控方法及装置 | |
| CN105302410A (zh) | 待办事件的提醒方法和装置 | |
| CN109491883A (zh) | 一种安卓平台下多应用间性能同时检测对比方法与系统 | |
| CN107395872B (zh) | 应用启动方法、装置、存储介质及电子设备 | |
| CN105139122B (zh) | 程序运行时长的统计方法及系统 | |
| CN203798882U (zh) | 具有用电提醒功能的家用节能电表 | |
| CN104504491A (zh) | 一种抄表管控方法和系统 | |
| CN111741294A (zh) | 基于智能电视云端平台的性能测试方法 | |
| CN111444109A (zh) | 一种移动端ui自动化测试方法及系统 | |
| CN111026651A (zh) | 测试方法、装置、存储介质及电子设备 | |
| CN204010691U (zh) | 一种便携式电子日程备忘语音提示仪 | |
| CN100570576C (zh) | 一种嵌入式系统的测试方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 901, building 1, No. 9, Jinxiu Middle Road, Laokeng community, Longtian street, Pingshan District, Shenzhen City, Guangdong Province Applicant after: EMDOOR DIGITAL TECHNOLOGY Co.,Ltd. Address before: 518000 4th floor, building 5, building 2-2, building 6, building 2-2, building 6, building 4, Meisheng Huigu Science Park, 83 Dabao Road, Shanghe community, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province Applicant before: EMDOOR DIGITAL TECHNOLOGY Co.,Ltd. |