CN110728975A - 一种asr识别率自动化测试的系统及方法 - Google Patents

一种asr识别率自动化测试的系统及方法 Download PDF

Info

Publication number
CN110728975A
CN110728975A CN201910957183.9A CN201910957183A CN110728975A CN 110728975 A CN110728975 A CN 110728975A CN 201910957183 A CN201910957183 A CN 201910957183A CN 110728975 A CN110728975 A CN 110728975A
Authority
CN
China
Prior art keywords
test
asr
asr recognition
sound source
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910957183.9A
Other languages
English (en)
Inventor
刘建卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Co Ltd Of Information Technology Research Institute Of Nanjing Skyworth
Original Assignee
Co Ltd Of Information Technology Research Institute Of Nanjing Skyworth
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Co Ltd Of Information Technology Research Institute Of Nanjing Skyworth filed Critical Co Ltd Of Information Technology Research Institute Of Nanjing Skyworth
Priority to CN201910957183.9A priority Critical patent/CN110728975A/zh
Publication of CN110728975A publication Critical patent/CN110728975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明涉及ASR识别领域，公开了一种ASR识别率自动化测试的系统及方法，解决了人工测试效率低、不稳定，测试结果不准确的问题，其技术方案要点是包括对应连接的PC端、人工嘴、环境音源播放器，其中人工嘴用于播放测试语料；环境音源播放器用于播放模拟环境噪音；PC端中安装并运行测试脚本，连接并控制测试人工嘴和环境音源播放器工作，接收被测设备返回的ASR识别结果并判断正确性，统计正确率；本发明能够使用人工嘴播放测试语料，播放语料质量稳定，环境音源播放器播放模拟环境噪音，能模拟实际使用环境，测试结果更为科学和精确，且为全自动化测试，无需人工介入，节省测试成本。

Description

一种ASR识别率自动化测试的系统及方法
技术领域
本发明涉及ASR识别领域，更具体地说，它涉及一种ASR识别率自动化测试的系统及方法。
背景技术
随着互联网络的大面积普及，语音识别技术的发展成熟，带有语音识别功能的产品已经大面积应用。目前语音识别技术已经在智能家居和汽车电子产品上有广阔的应用，预计未来十年还会在工业通信领域有所发展。
为了做好设备优化，所以在投入市场前，会对设备的语音识别功能进行测试，统计语音识别率。
部分公司目前还是利用人工测试语音识别率，人工测试效率低﹑成本高且人工测试很难保持音量和语速，测试结果不够精确，且人工测试不太可能实现24小时不间断测试。
部分公司会采用机器进行语音识别测试，测试结果保存到测试机器内部存储，需要人工导出测试结果进行统计。如果测试量足够大，人工统计测试结果也会是个很繁琐的过程。
所以有必要开发一款语音识别率自动化测试系统，来投入现在市场使用。
发明内容
本发明的目的是提供一种ASR识别率自动化测试的系统及方法，能够使用人工嘴播放测试语料，播放语料质量稳定，环境音源播放器播放模拟环境噪音，能模拟实际使用环境，能统计测试结果，测试结果更为科学和精确，且为全自动化测试，无需人工介入，节省测试成本。
本发明的上述技术目的是通过以下技术方案得以实现的：一种ASR识别率自动化测试的系统，包括
人工嘴：播放测试语料；
环境音源播放器：播放模拟环境噪音；
PC端：安装并运行测试脚本，连接并控制测试人工嘴和环境音源播放器工作，接收被测设备返回的ASR识别结果并判断正确性，统计正确率。
优选的，PC端还连接并控制有麦克风，所述麦克风用于收集测试现场声音，并由PC端进行存储所述测试现场声音。
优选的，PC端对人工嘴和环境音源播放器的控制行为包括：对人工嘴进行开启、关闭、调高音量以及调低音量；对环境音源播放器进行开启、关闭、调高音量以及调低音量。
优选的，所述PC端和被测设备之间的通信方式包括USB通信和串口通信，用于传回被测设备的ASR识别结果。
优选的，所述环境音源播放器为高保真音响。
一种ASR识别率自动化测试的方法，步骤如下：
S1：预先在PC端存储安装测试脚本，并对应连接到人工嘴、环境音源播放器以及被测设备；
S2：PC端运行测试脚本，控制人工嘴播放测试语料，控制环境音源播放器播放模拟环境噪音；
S3：被测设备进行ASR识别，PC端接收被测设备返回的ASR识别结果；
S4：PC端将ASR识别结果和测试语料进行比对并得出测试结果；
S5：PC端存储所述测试结果并统计正确率。
优选的，PC端运行测试脚本时，控制麦克风收集测试现场声音。
优选的，麦克风采集的测试现场声音被选择性存储，选择存储的测试现场声音数据标准为：PC端得出ASR识别结果为不正确时，麦克风收集的测试现场声音为对应于被测设备得出ASR识别结果的时间的测试现场声音。
综上所述，本发明具有以下有益效果：使用人工嘴最大程度的还原人工播报，能够稳定的播放测试语料，还设置了环境音源播放器来播放模拟现场噪音，充分模拟被测设备的使用环境，使得被测设备返回的ASR识别结果更贴合实际情况，使得最终的测试数据更加可靠和精准，并能够统计最终测试结果，节省人工；还设置有麦克风来采集测试现场声音，能够存储到ASR识别错误时的测试现场声音，方便工作人员分析问题。
附图说明
图1是本发明结构连接图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1所示，一种ASR识别率自动化测试的系统，包括配合使用的人工嘴、环境音源播放器以及PC端；
其中，人工嘴用来播放测试语料，模拟实际环境下人物发声，相比于普通播放器，人工嘴播放的测试语料，更贴近实际人物发声，还原真实人物发声的程度更高，并且相比于人工播报测试语料，人工嘴不会疲惫，音量和语速都能够准确控制，从而使得播报的测试语料质量更稳定，避免了人工状态不好控制而造成的测试误差；
环境音源播放器用来播放模拟环境噪音，来模拟被测设备的实际使用环境，具体的，环境音源播放器采用的是高保真音响，高保真音响的还原度极高，能够提高模拟环境的还原程度，使得测试结果更加准确可靠；
PC端用来安装并运行测试脚本，PC端通过运行测试脚本来控制人工嘴和环境音源播放器的工作，具体的，PC端通过运行测试脚本来控制人工嘴进行开启、关闭、调高音量以及调低音量等行为，PC端通过运行测试脚本来控制环境音源播放器进行开启、关闭、调高音量以及调低音量；PC端还通过运行测试脚本来接收由被测设备返回的ASR识别结果并依据播放的测试语料来判断ASR识别结果的正确性，最终统计正确率并汇总测试结果。
具体的，PC端还连接并控制有麦克风，麦克风在PC端运行测试脚本时受PC端控制，收集现场声音，并由PC端进行存储测试现场声音；PC端运行测试脚本时，控制麦克风收集测试现场声音，麦克风采集的测试现场声音被选择性存储，选择存储的测试现场声音数据标准为：PC端得出ASR识别结果为不正确时，麦克风收集的测试现场声音为对应于被测设备得出ASR识别结果的时间的测试现场声音；
在PC端接收到被测设备传回的ASR识别结果并判别结果为错误时，说明被测设备的ASR识别错误，为了提高被测设备的准确率，便要找出被测设备ASR识别识别错误的原因，以便对ASR模块进行优化，一般的，ASR识别错误是由于模拟环境噪音的干涉造成的，但是对于模拟环境噪音的哪一部分噪声会造成ASR识别错误却是难以确定的；
所以引入麦克风，麦克风是持续工作的，也就是在进入本发明的系统进入测试状态时，麦克风持续收集测试现场声音，并传给PC端，在实际操作时，只有当PC端在判断被测设备ASR识别结果为错误时，对应在被测设备进行ASR识别时的一段时间的音频才会被PC端存储，在PC端在判断被测设备ASR识别结果为正确时，对应在被测设备进行ASR识别时的这段段时间的音频便不会被存储；
通过上述的手段，在测试结束后，PC端内便会存储所有在被测设备ASR识别结果错误时的测试现场声音，工作人员可以通过分析ASR识别结果错误时的测试现场声音，来得到能够造成ASR识别错误的原因，方便单独分析，方便问题分类，方便后续对被测设备的ASR模块进行有针对性的优化。
PC端和被测设备之间的通信方式包括USB通信和串口通信，用于传回被测设备的ASR识别结果。
需要注意的是，PC端为测试脚本的载体并按照测试脚本中设定的程序来控制其他设备，测试脚本中包含的程序便是用来实现本系统在测试时的自动化运行，具体的：
测试脚本中包含了与被测设备匹配的测试数据，也就是说，当对一个被测设备进行ASR识别率测试时，播放的测试语料和模拟环境噪音都是对应于该被测设备所要实际使用环境的，以此来模拟实际使用环境；
测试脚本中包含了对人工嘴、环境音源播放器、被测设备以及麦克风的控制程序，具体表现为，控制人工嘴进行开启、关闭、调高音量以及调低音量等行为，控制环境音源进行开启、关闭、调高音量以及调低音量等行为，接收被测设备返回的ASR识别结果；
测试脚本中包含了对被测设备返回的ASR识别结果的判别程序，具体表现为：将被测设备返回的ASR识别结果和人工嘴的测试语料对比，并得出比对结果，被测设备返回的ASR识别结果和人工嘴的测试语料一致，则ASR识别结果正确，反之若不一致，则ASR识别结果错误；
测试脚本中包含了对ASR识别结果的统计程序，具体表现为：计算测试ASR识别结果为正确的次数和所有测试次数的比值；
测试脚本中包含了对麦克风采集的测试现场声音的选择存储程序，具体表现为：当判断被测设备ASR识别结果为错误时，对应在被测设备进行ASR识别时的一段时间的音频才会被PC端存储，在判断被测设备ASR识别结果为正确时，对应在被测设备进行ASR识别时的这段段时间的音频便不会被存储。
一种ASR识别率自动化测试的方法，包括以下步骤：
S1：预先在PC端存储安装测试脚本，并对应连接到人工嘴、环境音源播放器以及被测设备；
S2：PC端运行测试脚本，控制人工嘴播放测试语料，控制环境音源播放器播放模拟环境噪音，以此来实现对被测设备实际使用环境的模拟；
S3：被测设备对测试语料进行ASR识别并得出结果，PC端接收被测设备返回的ASR识别结果；
S4：PC端将ASR识别结果和人工嘴播放的测试语料进行比对并得出测试结果；
S5：PC端存储所述测试结果并统计正确率。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种ASR识别率自动化测试的系统，其特征是：包括
人工嘴：播放测试语料；
环境音源播放器：播放模拟环境噪音；
PC端：安装并运行测试脚本，连接并控制测试人工嘴和环境音源播放器工作，接收被测设备返回的ASR识别结果并判断正确性，统计正确率。
2.根据权利要求1所述的一种ASR识别率自动化测试的系统，其特征是：PC端还连接并控制有麦克风，所述麦克风用于收集测试现场声音，并由PC端进行存储所述测试现场声音。
3.根据权利要求1所述的一种ASR识别率自动化测试的系统，其特征是：PC端对人工嘴和环境音源播放器的控制行为包括：对人工嘴进行开启、关闭、调高音量以及调低音量；对环境音源播放器进行开启、关闭、调高音量以及调低音量。
4.根据权利要求1所述的一种ASR识别率自动化测试的系统，其特征是：所述PC端和被测设备之间的通信方式包括USB通信和串口通信，用于传回被测设备的ASR识别结果。
5.根据权利要求1所述的一种ASR识别率自动化测试的系统，其特征是：所述环境音源播放器为高保真音响。
6.一种ASR识别率自动化测试的方法，其特征是：步骤如下：
S1：预先在PC端存储安装测试脚本，并对应连接到人工嘴、环境音源播放器以及被测设备；
S2：PC端运行测试脚本，控制人工嘴播放测试语料，控制环境音源播放器播放模拟环境噪音；
S3：被测设备进行ASR识别，PC端接收被测设备返回的ASR识别结果；
S4：PC端将ASR识别结果和测试语料进行比对并得出测试结果；
S5：PC端存储所述测试结果并统计正确率。
7.根据权利要求6所述的一种ASR识别率自动化测试的方法，其特征是：PC端运行测试脚本时，控制麦克风收集测试现场声音。
8.根据权利要求7所述的一种ASR识别率自动化测试的方法，其特征是：麦克风采集的测试现场声音被选择性存储，选择存储的测试现场声音数据标准为：PC端得出ASR识别结果为不正确时，麦克风收集的测试现场声音为对应于被测设备得出ASR识别结果的时间的测试现场声音。
CN201910957183.9A 2019-10-10 2019-10-10 一种asr识别率自动化测试的系统及方法 Pending CN110728975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910957183.9A CN110728975A (zh) 2019-10-10 2019-10-10 一种asr识别率自动化测试的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910957183.9A CN110728975A (zh) 2019-10-10 2019-10-10 一种asr识别率自动化测试的系统及方法

Publications (1)

Publication Number Publication Date
CN110728975A true CN110728975A (zh) 2020-01-24

Family

ID=69219719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957183.9A Pending CN110728975A (zh) 2019-10-10 2019-10-10 一种asr识别率自动化测试的系统及方法

Country Status (1)

Country Link
CN (1) CN110728975A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236672A1 (en) * 2001-10-30 2003-12-25 Ibm Corporation Apparatus and method for testing speech recognition in mobile environments
CN103745731A (zh) * 2013-12-31 2014-04-23 安徽科大讯飞信息科技股份有限公司 一种语音识别效果自动化测试系统及测试方法
CN104517606A (zh) * 2013-09-30 2015-04-15 腾讯科技（深圳）有限公司 语音识别测试方法及装置
CN108511000A (zh) * 2018-03-06 2018-09-07 福州瑞芯微电子股份有限公司 一种测试智能音箱唤醒词识别率的方法及系统
CN108696622A (zh) * 2018-05-28 2018-10-23 成都昊铭科技有限公司 无需接口的语音唤醒测试装置、系统及方法
CN108806666A (zh) * 2018-05-28 2018-11-13 成都昊铭科技有限公司 无需接口的语音识别测试装置、系统及方法
CN108965958A (zh) * 2018-07-20 2018-12-07 深圳创维－Rgb电子有限公司 一种蓝牙语音遥控器的语音识别率测试方法及系统
CN109192193A (zh) * 2018-08-14 2019-01-11 四川虹美智能科技有限公司 一种语音识别产品测试方法和测试装置
CN109285543A (zh) * 2018-09-07 2019-01-29 惠州市德赛西威汽车电子股份有限公司 一种车载多媒体导航仪语音自动化测试系统
CN109326305A (zh) * 2018-09-18 2019-02-12 易诚博睿(南京)科技有限公司 一种批量测试语音识别和文本合成的方法和测试系统
CN109360550A (zh) * 2018-12-07 2019-02-19 上海智臻智能网络科技股份有限公司 语音交互系统的测试方法、装置、设备和存储介质
CN110211567A (zh) * 2019-05-13 2019-09-06 中国信息通信研究院 语音识别终端测评系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236672A1 (en) * 2001-10-30 2003-12-25 Ibm Corporation Apparatus and method for testing speech recognition in mobile environments
CN104517606A (zh) * 2013-09-30 2015-04-15 腾讯科技（深圳）有限公司 语音识别测试方法及装置
CN103745731A (zh) * 2013-12-31 2014-04-23 安徽科大讯飞信息科技股份有限公司 一种语音识别效果自动化测试系统及测试方法
CN108511000A (zh) * 2018-03-06 2018-09-07 福州瑞芯微电子股份有限公司 一种测试智能音箱唤醒词识别率的方法及系统
CN108696622A (zh) * 2018-05-28 2018-10-23 成都昊铭科技有限公司 无需接口的语音唤醒测试装置、系统及方法
CN108806666A (zh) * 2018-05-28 2018-11-13 成都昊铭科技有限公司 无需接口的语音识别测试装置、系统及方法
CN108965958A (zh) * 2018-07-20 2018-12-07 深圳创维－Rgb电子有限公司 一种蓝牙语音遥控器的语音识别率测试方法及系统
CN109192193A (zh) * 2018-08-14 2019-01-11 四川虹美智能科技有限公司 一种语音识别产品测试方法和测试装置
CN109285543A (zh) * 2018-09-07 2019-01-29 惠州市德赛西威汽车电子股份有限公司 一种车载多媒体导航仪语音自动化测试系统
CN109326305A (zh) * 2018-09-18 2019-02-12 易诚博睿(南京)科技有限公司 一种批量测试语音识别和文本合成的方法和测试系统
CN109360550A (zh) * 2018-12-07 2019-02-19 上海智臻智能网络科技股份有限公司 语音交互系统的测试方法、装置、设备和存储介质
CN110211567A (zh) * 2019-05-13 2019-09-06 中国信息通信研究院 语音识别终端测评系统及方法

Similar Documents

Publication Publication Date Title
CN108511000B (zh) 一种测试智能音箱唤醒词识别率的方法及系统
CN103745731B (zh) 一种语音识别效果自动化测试系统及测试方法
CN110415681B (zh) 一种语音识别效果测试方法及系统
CN105227939B (zh) 车载信息系统测试台架和测试方法
CN111798852B (zh) 语音唤醒识别性能测试方法、装置、系统及终端设备
CN111724782B (zh) 一种车载语音交互系统的响应时间测试系统、方法及设备
CN107221319A (zh) 一种语音识别测试系统和方法
CN109871326A (zh) 一种脚本录制的方法和装置
CN111933108B (zh) 一种智能网联终端智能语音交互系统自动化测试方法
CN109326305B (zh) 一种批量测试语音识别和文本合成的方法和测试系统
CN101808343B (zh) Arm数字基带芯片中sim/usim卡控制器自动化测试电路结构及方法
CN110379410A (zh) 语音响应速度自动分析方法及系统
CN103354445A (zh) 一种环境自适应音乐播放装置及方法
CN111552642A (zh) 一种车机的语音自动化测试系统及方法
CN104837010A (zh) 语音遥控测试方法、装置及系统
EP4033483A2 (en) Method and apparatus for testing vehicle-mounted voice device, electronic device and storage medium
CN101344562A (zh) 电路印刷板组件的测试方法及设备
CN101720097B (zh) 一种移动终端音频自动调试的方法及系统
CN110728975A (zh) 一种asr识别率自动化测试的系统及方法
CN114325276A (zh) 一种局部放电检测装置模式识别自动校验方法及系统
CN113643704A (zh) 车机语音系统的测试方法、上位机、系统和存储介质
CN109600697A (zh) 终端外放音质确定方法及装置
CN109189661B (zh) 一种工业实时数据库的性能测试方法
CN113934619A (zh) 基于Robot Framework测试框架的音源测试方法、系统及存储介质
CN116261091A (zh) 一种可定制测试流程的蓝牙测试系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124