CN110164474A - 语音唤醒自动化测试方法及系统 - Google Patents
语音唤醒自动化测试方法及系统 Download PDFInfo
- Publication number
- CN110164474A CN110164474A CN201910380764.0A CN201910380764A CN110164474A CN 110164474 A CN110164474 A CN 110164474A CN 201910380764 A CN201910380764 A CN 201910380764A CN 110164474 A CN110164474 A CN 110164474A
- Authority
- CN
- China
- Prior art keywords
- wake
- client
- success rate
- automatic test
- wakes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 275
- 238000000034 method Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 18
- 230000037007 arousal Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 230000002618 waking effect Effects 0.000 abstract description 16
- 230000000875 corresponding effect Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 30
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005526 G1 to G0 transition Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种语音唤醒自动化测试方法及系统，属于软件测试领域。所述语音唤醒自动化测试方法包括：获取针对客户端进行人工测试的第一唤醒成功率和对应所述人工测试的唤醒录制语音；基于所述唤醒录制语音对所述客户端进行语音接口测试，并记录对应所述语音接口测试的第二唤醒成功率；当所述第一唤醒成功率和所述第二唤醒成功率之间的偏差小于设定阈值时，利用所述唤醒录制语音进行语音唤醒自动化测试。由此，降低了人工测试成本和人为测试误差，并通过阈值判断操作验证了用于自动化测试的唤醒录制语音，提高了自动化测试结果的精确度。
Description
技术领域
本发明涉及软件测试技术领域，具体地涉及一种语音唤醒自动化测试方法及系统。
背景技术
随着语音识别技术的飞速发展，其为人们的生活带来了诸多便利，例如机器同声传译、语音文字输入等等。
语音唤醒功能是指通过语音来激活或唤醒应用程序，从而实现对应用程序的调用。为了避免在部分版本或机型在语音唤醒功能上失灵的情况，需要在应用上架使用之前对软件进行语音唤醒功能测试。
目前，针对语音唤醒功能的测试都是基于人工测试的，一般要求测试人员对客户端在不同的应用场景下进行语音唤醒测试。但是，本申请的发明人在实践本申请的过程中发现目前相关技术至少存在以下缺陷：人工测试消耗的人力成本昂贵，且人工测试会存在因人工操作因素或人体自身因素所导致的较大测试误差。
发明内容
本发明实施例的目的是提供一种语音唤醒自动化测试方法及系统，用以至少解决目前相关技术中因人工测试所导致的成本昂贵及较大测试误差的问题。
为了实现上述目的，本发明实施例提供一种语音唤醒自动化测试方法，包括：获取针对客户端进行人工测试的第一唤醒成功率和对应所述人工测试的唤醒录制语音；基于所述唤醒录制语音对所述客户端进行语音接口测试，并记录对应所述语音接口测试的第二唤醒成功率；当所述第一唤醒成功率和所述第二唤醒成功率之间的偏差小于设定阈值时，利用所述唤醒录制语音进行语音唤醒自动化测试。
可选的，所述唤醒录制语音是在进行人工测试时且在所述客户端进行语音端点检测之前所保存的人工输入语音。
可选的，所述唤醒录制语音包括分别对应于不同的应用场景的多个唤醒录制语音。
可选的，所述利用所述唤醒录制语音进行语音唤醒自动化测试包括：基于所述唤醒录制语音，对第一客户端进行自动化测试；基于所述唤醒录制语音，对第二客户端进行自动化测试；其中所述第一客户端和所述第二客户端分别被配置成具有不同的机型和/或系统版本。
可选的，在所述基于所述唤醒录制语音，对第二客户端进行自动化测试之后，该方法还包括：获取针对所述第一客户端的自动化测试的第一机测唤醒成功率；获取针对所述第二客户端的自动化测试的第二机测唤醒成功率；比较所述第一机测唤醒成功率和所述第二机测唤醒成功率，从而评价不同机型和/或不同系统版本的客户端的语音唤醒功能。
本发明实施例另一方面提供一种语音唤醒自动化测试系统，包括：获取单元，用于获取针对客户端进行人工测试的第一唤醒成功率和对应所述人工测试的唤醒录制语音；接口测试单元，用于基于所述唤醒录制语音对所述客户端进行语音接口测试，并记录对应所述语音接口测试的第二唤醒成功率；自动化测试单元，用于当所述第一唤醒成功率和所述第二唤醒成功率之间的偏差小于设定阈值时，利用所述唤醒录制语音进行语音唤醒自动化测试。
可选的，所述唤醒录制语音是在进行人工测试时且在所述客户端进行语音端点检测之前所保存的人工输入语音。
可选的，所述唤醒录制语音包括分别对应于不同的应用场景的多个唤醒录制语音。
可选的，所述自动化测试单元包括：第一自动化测试模块，用于基于所述唤醒录制语音，对第一客户端进行自动化测试；第二自动化测试模块，用于基于所述唤醒录制语音，对第二客户端进行自动化测试；其中所述第一客户端和所述第二客户端分别被配置具有不同的机型和/或系统版本。
可选的，所述自动化测试单元还包括：第一机测唤醒成功率获取模块，用于获取针对所述第一客户端的自动化测试的第一机测唤醒成功率；第二机测唤醒成功率获取模块，用于获取针对所述第二客户端的自动化测试的第二机测唤醒成功率；比较模块，用于比较所述第一机测唤醒成功率和所述第二机测唤醒成功率，从而评价不同机型和/或不同系统版本的客户端的语音唤醒功能。
通过上述技术方案，获取客户端人工测试的第一唤醒成功率和对应的唤醒录制语音，并利用该唤醒录制语音来进行语音接口测试以统计相应的第二唤醒成功率，进而将第一唤醒成功率和第二唤醒成功率进行阈值对比，从而验证唤醒录制语音是否能够令接口测试和人工测试对齐，并将相应的唤醒录制语音进行接口自动化测试。由此，通过自动化测试客户端的语音唤醒过程，相比于人工测试过程，降低了人工测试成本和人为测试误差；另外，通过阈值判断操作验证了唤醒录制语音，使得语音唤醒自动化测试的表现能够与人工录制的客户端唤醒表现相仿，提高了自动化测试结果的精确度。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明一实施例的语音唤醒自动化测试方法的流程图；
图2是本发明一实施例的语音唤醒自动化测试方法的原理流程图；
图3示出了接口测试过程和人工录测过程的示例性工作原理流程图；
图4是针对不同客户端应用本发明一实施例的语音唤醒自动化测试方法的流程图；
图5是本发明一实施例的语音唤醒自动化测试系统的结构框图。
附图标记说明
501 获取单元 502 接口测试单元
503 自动化测试单元
50 语音唤醒自动化测试系统
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
在目前相关技术中所使用的人工测试消耗昂贵的人力成本，并且实际人工测试的测试场景不可复制，使得测试数据不能循环利用，也无法准确地在多个(超过两个)版本或机型的唤醒成功率之间进行纵向对比。
鉴于此，如图1，其示出了本发明一实施例的语音唤醒自动化测试方法，包括：
S11、获取针对客户端进行人工测试的第一唤醒成功率和对应人工测试的唤醒录制语音。
关于本发明实施例方法的执行主体，其可以是各种服务器或客户端，通过处理器或控制器来实现语音唤醒自动化测试方法。其中，该处理器或控制器可以是专用于实现语音唤醒自动化测试方法的部件，另外其也还可以是在通用控制器或处理器上配置专用于实现语音唤醒自动化测试方法的软件或硬件，且都属于本发明的保护范围内。
其中，S11中的客户端可以是指代用于实现语音唤醒功能的客户端，例如车载电脑、手机、平板电脑等，在该客户端上配置有适于进行语音唤醒或语音激活的应用程序。示例性地，在客户端上安装有诸如电子地图类的应用，在行车驾驶场景或其他生活场景中，当用户说出指定唤醒语句时，客户端能够识别该唤醒语句从而实现启用电子地图，并调用地图导航功能等。另外，对应人工测试的唤醒录制语音可以是在人工测试的过程中由客户端所录制的人工语音，该人工语音之后会被用于人工测试，同时该人工语音也会被存储。
示例性的人工测试过程可以是：测试人员或用户打开百度地图说十遍“小度小度”，此时，客户端会上传录制语音至服务器，服务器可以确定对应于该录制语音的实测结果，并且该录制语音会被存储并用于之后的接口测试，以验证接口自动化测试过程是否与人工录制测试过程对齐。
关于针对人工测试的第一唤醒成功率的获取方式，其可以通过各种方式而得到的。例如可以是由测试人员统计并直接输入的，另外其还可以是在人工测试的过程中，在每一次客户端完成了人工测试之后，客户端便会自动生成指示是否唤醒的唤醒结果，并通过统计唤醒结果中唤醒次数和未唤醒次数，从而得出对应的第一唤醒成功率。
S12、基于唤醒录制语音对客户端进行语音接口测试，并记录对应语音接口测试的第二唤醒成功率。
其中，可以是将唤醒录制语音通过调用客户端的语音接口，从而实现对客户端的语音接口测试，并还可以是自动记录唤醒结果并统计针对语音接口测试的第二唤醒成功率。
S13、当第一唤醒成功率和第二唤醒成功率之间的偏差小于设定阈值时，利用唤醒录制语音进行语音唤醒自动化测试。
其中，设定阈值可以是根据经验设定的容错值或合理偏差值，例如可以是1％或其他值，在此对其应不加限制。
在本实施例中，将针对人工测试的第一唤醒成功率与针对语音接口测试第二唤醒成功率进行对比，以判断接口测试中的客户端唤醒表现是否与人工测试中的客户端唤醒表现相接近，并在二者表现相接近时，说明该唤醒录制语音能够使得自动化测试与人工测试相对齐，并确定可以利用此唤醒录制语音进行语音唤醒自动化测试，其自动化测试的方式可以是多样化的，在此应不加限制。
需说明的是，语音唤醒自动化测试可以是表示通过与客户端的语音接口对接所进行的与S12中的语音接口测试相同或相类似的测试过程，但是S12中的唤醒录制语音在进行接口测试时，其指示自动化测试模拟和验证的过程，以用于验证该唤醒录制语音是否能够达到或接近于人工测试的唤醒表现。进一步地，当第一唤醒成功率和第二唤醒成功率之间的偏差大于设定阈值时，可以是认定唤醒录制语音与人工测试语音之间差别过大，而不适宜使用该唤醒录制语音进行自动化测试。并且，其涵盖了多种工况，例如当人工测试所对应的第一唤醒成功率远大于语音接口测试所对应的第二唤醒成功率时，以及当人工测试所对应的第一唤醒成功率远小于语音接口测试所对应的第二唤醒成功率时，其均可以是表明当前唤醒录制语音不适宜被用来进行自动化测试。
在本实施例中，通过将人工测试下的客户端唤醒成功率与语音接口测试下的客户端唤醒成功率进行对比，从而验证了音频源在自动测试时的唤醒表现是否能够与人工测试时的唤醒表现保持一致，并且在使用经判断后的唤醒录制语音来进行语音唤醒自动化测试时其所得到的唤醒结果能够贴合于人工操作唤醒的实际应用情形，使得自动化测试的唤醒结果能更加可靠。
如图2，其示出了本发明一实施例的语音唤醒自动化测试方法的原理流程，自动化测试的过程主要分为三个阶段：
1)首期，主要包括人工测试的相关过程；
通过人工录制音频，以人工地对客户端进行唤醒测试，并统计对应人工真实录测的唤醒成功率；同时，会对真实录测的有效音频进行标注，从而会得到相应的唤醒录制语音。其中，唤醒录制语音可以是PCM(Pulse Code Modulation,脉冲调制语音)，从而能够实现语音信号的高保真传输。
2)实验期，主要包括验证接口测试的过程；
将标注的有效音频调用客户端的语音SDK进行接口测试，并统计接口测试的唤醒成功率，然后比较人工真实录测和接口测试二者之间的唤醒成功率之间的差距(gap)，并判断差距是否在指定范围内，例如，可以根据经验将该指定范围设置成1％以内。
3)稳定期，主要包括应用录制语音进行自动化测试的过程；
当唤醒成功率的差距是在指定范围内时，则确定利用接口自动化测试的方式测试唤醒成功率；然而，当唤醒成功率的差距是在指定范围外时，则说明自动化测试偏离人工测试过远，而可以是通过人工录测来进行唤醒评测。
如图3，其示出了接口测试过程和人工录测过程的示例性工作原理流程，其中在接口测试过程和人工录测过程中均应用到了VAD(Voice Activity Detection,语音端点检测)，其作用和意义是从声音信号流里识别和消除长时间的静音期，以达到在不降低业务质量的情况下节省话路资源的作用。如图2所示，其还可以是在人工测试的VAD操作之前保存对应人工语音输入的音频，并将该录制音频用于后续的接口测试过程中，也就是说，唤醒录制语音是在进行人工测试时且在客户端进行语音端点检测之前所保存的人工输入语音，并且接口测试会直接使用录制音频生成音频流。因此，在接口测试和人工测试时能够使用同样语音输入源头的音频，增大了利用唤醒成功率之间的差距来验证待用于自动化测试的唤醒录制语音的可靠性。
在一些实施方式中，唤醒录制语音还可以是包括分别对应于不同的应用场景的多个唤醒录制语音。示例性地，唤醒录制语音可以是包括对应于测试人员在公交车、体育馆、操场、地铁、小轿车等室内外环境下的唤醒录制语音。通过本发明实施例能够实现对客户端在各种应用场景下的唤醒测试过程，例如可以将在公交车中进行人工测试所对应产生的唤醒录制语音应用到针对公交车应用场景的接口测试或自动化测试过程中，可以将在体育馆中进行人工测试所对应产生的唤醒录制语音应用到针对体育馆应用场景的接口测试或自动化测试过程中等，因此本发明实施例的语音唤醒自动化测试方法能够广泛适用于各种应用场景，测试数据能够循环利用，满足了语音唤醒自动化测试中对多样性测试场景的需求。并且，人工测试在不同应用场景下的不同时刻的录制语音是不一样的，导致不同人或同一人在不同时间所产生唤醒测试结果都可能是存在较大浮动的，而通过应用本发明实施例的自动化测试方法可以复用在同一测试场景下的同一音频源，解决了因人工测试所导致的测试误差。
在一些测试需求中，测试人员需要知道应用程序在不同的系统版本和/或不同的客户端中的唤醒表现差异情况，例如在苹果机和安卓机中电子地图的唤醒成功率的差异情况。目前，一般是通过人工测试，也就是分别在苹果机和安卓机的客户端前通过人工语音录制，并统计相应的唤醒成功率，进而比较不同唤醒成功率之间的差异。但是，本申请的发明人在实践本申请的过程中发现目前相关技术中至少存在以下缺陷：不同的人在进行语音人工录制测试时，或者同一个人在不同时间进行语音人工录制测试时，其所产生的唤醒录制语音的质量也会存在差异，导致针对不同版本的唤醒成功率的评价不够可靠并缺乏客观性。
鉴于此，本发明一实施例中还提出了可以通过如图4所示的流程来进行针对不同客户端的唤醒自动化测试，包括：
S41、基于唤醒录制语音，对第一客户端进行自动化测试。
S42、基于唤醒录制语音，对第二客户端进行自动化测试；
其中第一客户端和第二客户端分别被配置成具有不同的机型和/或系统版本。
具体的，可以是使用同一唤醒录制语音，来实现对不同机型和/或系统版本的客户端进行自动化测试，提高了测试效率，并降低了人工测试成本。
S43、获取针对第一客户端的自动化测试的第一机测唤醒成功率。
S44、获取针对第二客户端的自动化测试的第二机测唤醒成功率。
S45、比较第一机测唤醒成功率和第二机测唤醒成功率，从而评价不同机型和/或不同系统版本的客户端的语音唤醒功能。
因此，通过将同一批次的音频源来对不同客户端进行唤醒测试，并比较不同客户端的唤醒成功率，使得最终的针对机型、系统版本的唤醒表现比较结果具有较高的可靠性和客观真实度，能够纵向对比多个(超过两个)版本唤醒成功率的准确变化。
在一些实施方式中，本发明实施例的实施还可以是：首先，需要人工录测测试Android和Iphone版本各自实际录测唤醒成功率，并且录制唤醒音频；其次，把录制的PCM音频通过调用语音sdk接口自动记录唤醒成功率；最后，对比人工测试和自动化测试gap是否在可接受范围内，测试结果gap值是在阈值范围之内(例如1％以内为正常波动)，其用于验证人工测试和接口测试是否能够对齐，且若对齐则使用接口测试替换人工测试。
其中，接口测试的实现原理可以是：录制的PCM唤醒音频，传给语音sdk接口，sdk会生成音频流，经过VAD(语音端点检测)，最后经过语音唤醒(引擎+唤醒模型)模块，返回是否唤醒结果。
通过本发明实施例的实施，能够节省测试人力成本，经过实际实验可知大约每个版本能够节省人力约3人/天，并且还节省了语音录测费用；另外，针对不同或各种场景所搜集的音频源文件可重复利用；进而，可针对同一批音频源，测试多版本唤醒模型的唤醒成功率，明显查看多版本唤醒成功率的变化。
如图5所示，本发明一实施例的语音唤醒自动化测试系统50，包括：获取单元501，用于获取针对客户端进行人工测试的第一唤醒成功率和对应所述人工测试的唤醒录制语音；接口测试单元502，用于基于所述唤醒录制语音对所述客户端进行语音接口测试，并记录对应所述语音接口测试的第二唤醒成功率；自动化测试单元503，用于当所述第一唤醒成功率和所述第二唤醒成功率之间的偏差小于设定阈值时，利用所述唤醒录制语音进行语音唤醒自动化测试。
在一些实施方式中，所述唤醒录制语音是在进行人工测试时且在所述客户端进行语音端点检测之前所保存的人工输入语音。
在一些实施方式中，所述唤醒录制语音包括分别对应于不同的应用场景的多个唤醒录制语音。
在一些实施方式中，所述自动化测试单元503包括：第一自动化测试模块(未示出)，用于基于所述唤醒录制语音，对第一客户端进行自动化测试；第二自动化测试模块(未示出)，用于基于所述唤醒录制语音，对第二客户端进行自动化测试；其中所述第一客户端和所述第二客户端分别被配置具有不同的机型和/或系统版本。
在一些实施方式中，所述自动化测试单元503还包括：第一机测唤醒成功率获取模块(未示出)，用于获取针对所述第一客户端的自动化测试的第一机测唤醒成功率；第二机测唤醒成功率获取模块(未示出)，用于获取针对所述第二客户端的自动化测试的第二机测唤醒成功率；比较模块(未示出)，用于比较所述第一机测唤醒成功率和所述第二机测唤醒成功率，从而评价不同机型和/或不同系统版本的客户端的语音唤醒功能。
关于本发明实施例的语音唤醒自动化测试系统的更多的细节可以参照上文针对语音唤醒自动化测试方法实施例的描述，并取得与上述语音唤醒自动化测试方法实施例相同或相应的技术效果，故在此便不赘述。
所述语音唤醒自动化测试系统包括处理器和存储器，上述获取单元、接口测试单元、自动化测试单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，获取客户端人工测试的第一唤醒成功率和对应的唤醒录制语音，并利用该唤醒录制语音来进行语音接口测试以统计相应的第二唤醒成功率，进而将第一唤醒成功率和第二唤醒成功率进行阈值对比，从而验证唤醒录制语音是否能够令接口测试和人工测试对齐，并将相应的唤醒录制语音进行接口自动化测试。由此，通过自动化测试客户端的语音唤醒过程，相比于人工测试过程，降低了人工测试成本和人为测试误差；另外，通过阈值判断操作验证了唤醒录制语音，使得接口自动化测试的表现能够与人工录制的客户端唤醒表现相仿，提高了接口自动化测试结果的精确度。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种机器可读存储介质，其上存储有程序，该程序被处理器执行时实现所述语音唤醒自动化测试方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述语音唤醒自动化测试方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
一种语音唤醒自动化测试方法，包括：获取针对客户端进行人工测试的第一唤醒成功率和对应所述人工测试的唤醒录制语音；基于所述唤醒录制语音对所述客户端进行语音接口测试，并记录对应所述语音接口测试的第二唤醒成功率；当所述第一唤醒成功率和所述第二唤醒成功率之间的偏差小于设定阈值时，利用所述唤醒录制语音进行语音唤醒自动化测试。
在一些实施方式中，所述唤醒录制语音是在进行人工测试时且在所述客户端进行语音端点检测之前所保存的人工输入语音。
在一些实施方式中，所述唤醒录制语音包括分别对应于不同的应用场景的多个唤醒录制语音。
在一些实施方式中，所述确定利用所述唤醒录制语音进行语音唤醒自动化测试包括：基于所述唤醒录制语音，对第一客户端进行自动化测试；基于所述唤醒录制语音，对第二客户端进行自动化测试；其中所述第一客户端和所述第二客户端分别被配置成具有不同的机型和/或系统版本。
在一些实施方式中，在所述基于所述唤醒录制语音，对第二客户端进行自动化测试之后，该方法还包括：获取针对所述第一客户端的自动化测试的第一机测唤醒成功率；获取针对所述第二客户端的自动化测试的第二机测唤醒成功率；比较所述第一机测唤醒成功率和所述第二机测唤醒成功率，从而评价不同机型和/或不同系统版本的客户端的语音唤醒功能。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
一种语音唤醒自动化测试方法，包括：获取针对客户端进行人工测试的第一唤醒成功率和对应所述人工测试的唤醒录制语音；基于所述唤醒录制语音对所述客户端进行语音接口测试，并记录对应所述语音接口测试的第二唤醒成功率；当所述第一唤醒成功率和所述第二唤醒成功率之间的偏差小于设定阈值时，利用所述唤醒录制语音进行语音唤醒自动化测试。
在一些实施方式中，所述唤醒录制语音是在进行人工测试时且在所述客户端进行语音端点检测之前所保存的人工输入语音。
在一些实施方式中，所述唤醒录制语音包括分别对应于不同的应用场景的多个唤醒录制语音。
在一些实施方式中，所述确定利用所述唤醒录制语音进行语音唤醒自动化测试包括：基于所述唤醒录制语音，对第一客户端进行自动化测试；基于所述唤醒录制语音，对第二客户端进行自动化测试；其中所述第一客户端和所述第二客户端分别被配置成具有不同的机型和/或系统版本。
在一些实施方式中，在所述基于所述唤醒录制语音，对第二客户端进行自动化测试之后，该方法还包括：获取针对所述第一客户端的自动化测试的第一机测唤醒成功率；获取针对所述第二客户端的自动化测试的第二机测唤醒成功率；比较所述第一机测唤醒成功率和所述第二机测唤醒成功率，从而评价不同机型和/或不同系统版本的客户端的语音唤醒功能。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种语音唤醒自动化测试方法，包括：
获取针对客户端进行人工测试的第一唤醒成功率和对应所述人工测试的唤醒录制语音；
基于所述唤醒录制语音对所述客户端进行语音接口测试，并记录对应所述语音接口测试的第二唤醒成功率；
当所述第一唤醒成功率和所述第二唤醒成功率之间的偏差小于设定阈值时，利用所述唤醒录制语音进行语音唤醒自动化测试。
2.根据权利要求1所述的方法，其中，所述唤醒录制语音是在进行人工测试时且在所述客户端进行语音端点检测之前所保存的人工输入语音。
3.根据权利要求1所述的方法，其中，所述唤醒录制语音包括分别对应于不同的应用场景的多个唤醒录制语音。
4.根据权利要求1所述的方法，其中，所述利用所述唤醒录制语音进行语音唤醒自动化测试包括：
基于所述唤醒录制语音，对第一客户端进行自动化测试；
基于所述唤醒录制语音，对第二客户端进行自动化测试；
其中所述第一客户端和所述第二客户端分别被配置成具有不同的机型和/或系统版本。
5.根据权利要求4所述的方法，其中，在所述基于所述唤醒录制语音，对第二客户端进行自动化测试之后，该方法还包括：
获取针对所述第一客户端的自动化测试的第一机测唤醒成功率；
获取针对所述第二客户端的自动化测试的第二机测唤醒成功率；
比较所述第一机测唤醒成功率和所述第二机测唤醒成功率，从而评价不同机型和/或不同系统版本的客户端的语音唤醒功能。
6.一种语音唤醒自动化测试系统，包括：
获取单元，用于获取针对客户端进行人工测试的第一唤醒成功率和对应所述人工测试的唤醒录制语音；
接口测试单元，用于基于所述唤醒录制语音对所述客户端进行语音接口测试，并记录对应所述语音接口测试的第二唤醒成功率；
自动化测试单元，用于当所述第一唤醒成功率和所述第二唤醒成功率之间的偏差小于设定阈值时，利用所述唤醒录制语音进行语音唤醒自动化测试。
7.根据权利要求6所述的系统，其中，所述唤醒录制语音是在进行人工测试时且在所述客户端进行语音端点检测之前所保存的人工输入语音。
8.根据权利要求6所述的系统，其中，所述唤醒录制语音包括分别对应于不同的应用场景的多个唤醒录制语音。
9.根据权利要求6所述的系统，其中，所述自动化测试单元包括：
第一自动化测试模块，用于基于所述唤醒录制语音，对第一客户端进行自动化测试；
第二自动化测试模块，用于基于所述唤醒录制语音，对第二客户端进行自动化测试；
其中所述第一客户端和所述第二客户端分别被配置具有不同的机型和/或系统版本。
10.根据权利要求9所述的系统，其中，所述自动化测试单元还包括：
第一机测唤醒成功率获取模块，用于获取针对所述第一客户端的自动化测试的第一机测唤醒成功率；
第二机测唤醒成功率获取模块，用于获取针对所述第二客户端的自动化测试的第二机测唤醒成功率；
比较模块，用于比较所述第一机测唤醒成功率和所述第二机测唤醒成功率，从而评价不同机型和/或不同系统版本的客户端的语音唤醒功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910380764.0A CN110164474B (zh) | 2019-05-08 | 2019-05-08 | 语音唤醒自动化测试方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910380764.0A CN110164474B (zh) | 2019-05-08 | 2019-05-08 | 语音唤醒自动化测试方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110164474A true CN110164474A (zh) | 2019-08-23 |
| CN110164474B CN110164474B (zh) | 2021-09-14 |
Family
ID=67633746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910380764.0A Active CN110164474B (zh) | 2019-05-08 | 2019-05-08 | 语音唤醒自动化测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110164474B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110602624A (zh) * | 2019-08-30 | 2019-12-20 | Oppo广东移动通信有限公司 | 音频测试方法、装置、存储介质及电子设备 |
| CN110942768A (zh) * | 2019-11-20 | 2020-03-31 | Oppo广东移动通信有限公司 | 设备唤醒的测试方法、装置、移动终端和存储介质 |
| CN111755002A (zh) * | 2020-06-19 | 2020-10-09 | 北京百度网讯科技有限公司 | 语音识别装置、电子设备和语音识别方法 |
| CN113516965A (zh) * | 2020-04-10 | 2021-10-19 | 北京东舟技术股份有限公司 | 一种语音测试方法、计算机设备及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030187639A1 (en) * | 2002-03-26 | 2003-10-02 | Sbc Technology Resources, Inc. | Method and system for evaluating automatic speech recognition telephone services |
| CN107039050A (zh) * | 2016-02-04 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 对待测试语音识别系统的自动测试方法和装置 |
| CN107221341A (zh) * | 2017-06-06 | 2017-09-29 | 北京云知声信息技术有限公司 | 一种语音测试方法及装置 |
| CN108538296A (zh) * | 2017-03-01 | 2018-09-14 | 广东神马搜索科技有限公司 | 语音识别测试方法及测试终端 |
| US20180358000A1 (en) * | 2017-06-12 | 2018-12-13 | International Business Machines Corporation | Method, Apparatus, and System for Conflict Detection and Resolution for Competing Intent Classifiers in Modular Conversation System |
| CN208271559U (zh) * | 2018-02-09 | 2018-12-21 | 上海鑫蓝海自动化科技有限公司 | 一种语音识别处理设备的测试装置 |
| CN109102797A (zh) * | 2018-07-06 | 2018-12-28 | 平安科技（深圳）有限公司 | 语音识别测试方法、装置、计算机设备及存储介质 |
| CN109817219A (zh) * | 2019-03-19 | 2019-05-28 | 四川长虹电器股份有限公司 | 语音唤醒测试方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6324393B1 (en) * | 1998-04-21 | 2001-11-27 | Irving Doshay | Auto locating emergency rescue transmitter (ALERT) |
| US9368106B2 (en) * | 2013-07-30 | 2016-06-14 | Verint Systems Ltd. | System and method of automated evaluation of transcription quality |
| CN107221319A (zh) * | 2017-05-16 | 2017-09-29 | 厦门盈趣科技股份有限公司 | 一种语音识别测试系统和方法 |
| CN107086040B (zh) * | 2017-06-23 | 2021-03-02 | 歌尔股份有限公司 | 语音识别能力测试方法和装置 |
| CN109243425A (zh) * | 2018-08-13 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 语音识别测试方法、装置、系统、计算机设备及存储介质 |
| CN109003602B (zh) * | 2018-09-10 | 2020-03-24 | 百度在线网络技术（北京）有限公司 | 语音产品的测试方法、装置、设备及计算机可读介质 |
| CN109448701A (zh) * | 2018-09-19 | 2019-03-08 | 易诚博睿(南京)科技有限公司 | 一种智能语音识别到语义理解的结果统计系统及方法 |
| CN109473094A (zh) * | 2018-11-12 | 2019-03-15 | 东风汽车有限公司 | 车载控制屏语音识别率测试方法、电子设备、系统 |
| CN109712608B (zh) * | 2019-02-28 | 2021-10-08 | 百度在线网络技术（北京）有限公司 | 多音区唤醒测试方法、装置及存储介质 |
-
2019
- 2019-05-08 CN CN201910380764.0A patent/CN110164474B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030187639A1 (en) * | 2002-03-26 | 2003-10-02 | Sbc Technology Resources, Inc. | Method and system for evaluating automatic speech recognition telephone services |
| CN107039050A (zh) * | 2016-02-04 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 对待测试语音识别系统的自动测试方法和装置 |
| CN108538296A (zh) * | 2017-03-01 | 2018-09-14 | 广东神马搜索科技有限公司 | 语音识别测试方法及测试终端 |
| CN107221341A (zh) * | 2017-06-06 | 2017-09-29 | 北京云知声信息技术有限公司 | 一种语音测试方法及装置 |
| US20180358000A1 (en) * | 2017-06-12 | 2018-12-13 | International Business Machines Corporation | Method, Apparatus, and System for Conflict Detection and Resolution for Competing Intent Classifiers in Modular Conversation System |
| CN208271559U (zh) * | 2018-02-09 | 2018-12-21 | 上海鑫蓝海自动化科技有限公司 | 一种语音识别处理设备的测试装置 |
| CN109102797A (zh) * | 2018-07-06 | 2018-12-28 | 平安科技（深圳）有限公司 | 语音识别测试方法、装置、计算机设备及存储介质 |
| CN109817219A (zh) * | 2019-03-19 | 2019-05-28 | 四川长虹电器股份有限公司 | 语音唤醒测试方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| TOM FRANCART 等: "Automatic testing of speech recognition", 《INTERNATIONAL JOURNAL OF AUDIOLOGY》 * |
| 董桂官 等: "智能电视中文语音识别测试研究", 《电声技术》 * |
| 陈春玲 等: "嵌入式语音识别系统的测试方法研究", 《计算机技术与发展》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110602624A (zh) * | 2019-08-30 | 2019-12-20 | Oppo广东移动通信有限公司 | 音频测试方法、装置、存储介质及电子设备 |
| CN110602624B (zh) * | 2019-08-30 | 2021-05-25 | Oppo广东移动通信有限公司 | 音频测试方法、装置、存储介质及电子设备 |
| CN110942768A (zh) * | 2019-11-20 | 2020-03-31 | Oppo广东移动通信有限公司 | 设备唤醒的测试方法、装置、移动终端和存储介质 |
| CN113516965A (zh) * | 2020-04-10 | 2021-10-19 | 北京东舟技术股份有限公司 | 一种语音测试方法、计算机设备及可读存储介质 |
| CN113516965B (zh) * | 2020-04-10 | 2023-09-12 | 北京东舟技术股份有限公司 | 一种语音测试方法、计算机设备及可读存储介质 |
| CN111755002A (zh) * | 2020-06-19 | 2020-10-09 | 北京百度网讯科技有限公司 | 语音识别装置、电子设备和语音识别方法 |
| CN111755002B (zh) * | 2020-06-19 | 2021-08-10 | 北京百度网讯科技有限公司 | 语音识别装置、电子设备和语音识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110164474B (zh) | 2021-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110164474A (zh) | 语音唤醒自动化测试方法及系统 | |
| US10236001B2 (en) | Passive enrollment method for speaker identification systems | |
| CN109976998B (zh) | 一种软件缺陷预测方法、装置和电子设备 | |
| WO2018107993A1 (zh) | 一种虚假地址信息识别的方法及装置 | |
| CN103559894B (zh) | 口语评测方法及系统 | |
| CN110457432A (zh) | 面试评分方法、装置、设备及存储介质 | |
| CN109934433A (zh) | 一种人员能力评估方法、装置及云服务平台 | |
| CN110379410A (zh) | 语音响应速度自动分析方法及系统 | |
| CN107832216A (zh) | 一种埋点测试方法及装置 | |
| CN115828112B (zh) | 一种故障事件的响应方法、装置、电子设备及存储介质 | |
| US10631113B2 (en) | Mobile device based techniques for detection and prevention of hearing loss | |
| CN106887241A (zh) | 一种语音信号检测方法与装置 | |
| CN110610698B (zh) | 一种语音标注方法及装置 | |
| CN110348471B (zh) | 异常对象识别方法、装置、介质及电子设备 | |
| CN111554302A (zh) | 基于声纹识别的策略调整方法、装置、终端及存储介质 | |
| CN107688533A (zh) | 应用程序测试方法、装置、计算机设备和存储介质 | |
| JP7436077B2 (ja) | スキルの音声ウェイクアップ方法および装置 | |
| CN110209561A (zh) | 用于对话平台的评测方法和评测装置 | |
| CN109739700A (zh) | 一种接口测试方法和装置 | |
| CN110556098B (zh) | 语音识别结果测试方法、装置、计算机设备和介质 | |
| CN113793620B (zh) | 基于场景分类的语音降噪方法、装置、设备及存储介质 | |
| CN107220165A (zh) | 一种模拟线上压力测试的方法和装置 | |
| CN112735466A (zh) | 一种音频检测方法及装置 | |
| CN111081222A (zh) | 语音识别方法、装置、存储介质以及电子装置 | |
| CN111984519A (zh) | 一种用于业务系统的测试方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |