CN106205604A - 一种应用端语音识别评测系统及评测方法 - Google Patents

一种应用端语音识别评测系统及评测方法 Download PDF

Info

Publication number
CN106205604A
CN106205604A CN201610524978.7A CN201610524978A CN106205604A CN 106205604 A CN106205604 A CN 106205604A CN 201610524978 A CN201610524978 A CN 201610524978A CN 106205604 A CN106205604 A CN 106205604A
Authority
CN
China
Prior art keywords
speech recognition
application end
evaluation result
data base
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610524978.7A
Other languages
English (en)
Other versions
CN106205604B (zh
Inventor
邬礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Desay SV Automotive Co Ltd
Original Assignee
Huizhou Desay SV Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Desay SV Automotive Co Ltd filed Critical Huizhou Desay SV Automotive Co Ltd
Priority to CN201610524978.7A priority Critical patent/CN106205604B/zh
Publication of CN106205604A publication Critical patent/CN106205604A/zh
Application granted granted Critical
Publication of CN106205604B publication Critical patent/CN106205604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stored Programmes (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种应用端语音识别评测系统及评测方法，其中评测系统包括数据库模块，评测模块，评测结果分析模块；数据库模块包括根据语音识别引擎及应用端的设计要求建立的语音识别文本段数据库，用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库；通过将预先建立的语音识别文本段数据库内容导入应用端被测软件，并将应用端被测软件输出结果与预先建立的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库内容进行比对得到评测结果，减少了评测人员的工作量，克服了外部环境及评测人员口音等因素对评测结果的影响，提高了评测结果的可靠性。

Description

一种应用端语音识别评测系统及评测方法
技术领域
本发明涉及语音识别技术领域，具体涉及一种应用端语音识别评测系统及评测方法。
背景技术
随着语音识别技术的发展，越来越多的软件集成了语音识别功能，为用户提供了非常人性化的软件体验，利用语音识别技术控制的功能需求也越来越多样化，使语音识别应用端的评测工作量增大，评测难度增加，现有技术中语音识别应用端的评测方法主要由以下步骤组成：
①评测人员通过麦克风向应用端被测软件输入具体的语音指令；
②评测人员通过观察应用端被测软件显示的图像或听软件输出的声音等，判断应用端被测软件针对该具体语音指令的表现是否符合被测软件既定的需求；
③将被测软件表现及评测结果记录到评测报告中。
在以上的评测方法中，存在以下影响应用端被测软件验证的因素：
①评测人员通过麦克风输入具体语音指令，容易受到周围环境及评测人员口音等因素的影响，导致应用端被测软件接收到的语音指令具有不稳定性；
②大量语音指令通过人工方式输入应用端被测软件，容易造成评测人员工作量大，从而使评测质量降低；
③评测人员通过麦克风输入的具体语音指令须经过语音识别引擎的识别处理，再到应用端被测软件，使该语音指令不全由应用端被测软件处理，容易使应用端被测软件的评测结果产生一定误差。
以上因素都会使应用端被测软件的语音识别评测结果造成不同程度的影响，另外，还存在其他各种外部因素也可能影响评测结果的可靠性，造成无法把握被测软件利用语音识别技术控制的相关功能的质量。
发明内容
本发明提供一种应用端语音识别评测系统及评测方法，极大的减少了评测人员的工作量，提高了应用端被测软件语音识别评测结果的可靠性。
为了解决上述技术问题，本发明所采取的技术方案为：
本发明一方面提供一种应用端语音识别评测系统，包括数据库模块，评测模块，评测结果分析模块；
数据库模块：包括根据语音识别引擎及应用端的设计要求建立的语音识别文本段数据库，用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库；
评测模块：用于将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中；
评测结果分析模块：利用语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库评测应用端输出的文字和语音提示文本段，并得到评测结果。
进一步地，所述数据库模块中的语音识别文本段、语音识别输出文本结果特征、语音识别输出语音结果特征按相应格式存入相应数据库中。
又进一步地，所述评测结果可以是应用端被测软件的自动截图或录制的视频。
本发明另一方面提供一种应用端语音识别评测方法，包括
S1：根据语音识别引擎及应用端的设计要求建立语音识别文本段数据库，建立用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库；
S2：将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中；
S3：应用端的被测软件根据导入的需要评测的语音识别文本段生成有效应用指令；
S4：应用端的被测软件根据生成的有效应用指令执行相应的软件功能动作；
S5：利用S1建立的用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库的内容评测应用端的被测软件输出的文字和语音提示文本段，并自动生成截图或录制视频，得到各有效应用指令的评测结果；
S6：人工抽查评测结果；
S7：输出最终评测结果。
进一步地，步骤S6中所述的人工抽查评测结果，评测人员须观察应用端被测软件输出的实际功能画面特征，评判评测结果是否符合被测软件既定的需求，所述评测结果如不符合评测标准，需进行修正，并输出最终评测结果。
本发明提供的一种应用端语音识别评测系统及评测方法，通过将预先建立的语音识别文本段数据库内容导入应用端被测软件，并将应用端被测软件输出结果与预先建立的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库内容进行比对得到评测结果，减少了评测人员的工作量，克服了外部环境及评测人员口音等因素对评测结果的影响，提高了评测结果的可靠性。
附图说明
图1是本发明一种应用端语音识别评测系统结构示意图；
图2是本发明一种应用端语音识别评测方法流程示意图；
图3是本发明语音识别文本段数据库格式示例图；
图4是本发明语音识别输出文本结果特征数据库格式示例图；
图5是本发明语音识别输出语音结果特征数据库格式示例图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，附图仅供参考和说明使用，不构成对本发明专利保护范围的限制。
如图1所示，本实施例提供一种应用端语音识别评测系统，包括数据库模块，评测模块，评测结果分析模块；
数据库模块：包括根据语音识别引擎及应用端的设计要求建立的语音识别文本段数据库，用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库；
评测模块：用于将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中；
评测结果分析模块：利用语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库评测应用端输出的文字和语音提示文本段，并得到评测结果。
本实施例中，所述数据库模块中的语音识别文本段、语音识别输出文本结果特征、语音识别输出语音结果特征按相应格式存入相应数据库中。
本实施例中，所述评测结果可以是应用端被测软件的自动截图或录制的视频。
如图2所示，本实施例另一方面提供一种应用端语音识别评测方法，包括
S1：根据语音识别引擎及应用端的设计要求建立语音识别文本段数据库，建立用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库；
其中，语音识别文本段数据库由命令词及其相关字段内容组成。例如“打开FM”语音指令中，命令词为“打开FM”，包含但不仅限于下述字段如“action：launch”、“objectname→fm”等；格式示例如图3所示；语音识别输出文本结果特征数据库格式示例如图4所示；语音识别输出语音结果特征数据库格式示例如图5所示；
S2：将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中；
S3：应用端的被测软件根据导入的需要评测的语音识别文本段生成有效应用指令；
S4：应用端的被测软件根据生成的有效应用指令执行相应的软件功能动作；
S5：利用S1建立的用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库的内容评测应用端的被测软件输出的文字和语音提示文本段，并自动生成截图或录制视频，得到各有效应用指令的评测结果；
S6：人工抽查评测结果：评测人员须观察应用端被测软件输出的实际功能画面特征，评判评测结果是否符合被测软件既定的需求，所述评测结果如不符合评测标准，需进行修正；
S7：修正完成后，输出最终评测结果。
本发明提供的一种应用端语音识别评测系统及评测方法，通过将预先建立的语音识别文本段数据库内容导入应用端被测软件，并将应用端被测软件输出结果与预先建立的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库内容进行比对得到评测结果，只需评测人员对该评测结果进行抽查并修正即可得到最终的评测结果，极大的减少了评测人员的工作量，减少了评测人员因工作量大而产生的评测失误，克服了外部环境因素及评测人员口音等因素对评测结果的影响，还降低了现有技术中评测人员通过麦克风输入具体语音指令须经过语音识别引擎的识别处理，再到应用端被测软件，使该语音指令不全由应用端被测软件处理，造成的使应用端被测软件评测结果产生误差，提高了评测结果的可靠性。
以上所揭露的仅为本发明的较佳实施例，不能以此来限定本发明的权利保护范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种应用端语音识别评测系统，其特征在于：包括数据库模块，评测模块，评测结果分析模块；
数据库模块：包括根据语音识别引擎及应用端的设计要求建立的语音识别文本段数据库，用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库；
评测模块：用于将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中；
评测结果分析模块：利用语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库评测应用端输出的文字和语音提示文本段，并得到评测结果。
2.如权利要求1所述的一种应用端语音识别评测系统，其特征在于：所述数据库模块中的语音识别文本段、语音识别输出文本结果特征、音识别输出语音结果特征按相应格式存入相应数据库中。
3.如权利要求1所述的一种应用端语音识别评测系统，其特征在于：所述评测结果可以是应用端被测软件的自动截图或录制的视频。
4.一种应用端语音识别评测方法，其特征在于：包括
S1：根据语音识别引擎及应用端的设计要求建立语音识别文本段数据库，建立用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库；
S2：将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中；
S3：应用端的被测软件根据导入的需要评测的语音识别文本段生成有效应用指令；
S4：应用端的被测软件根据生成的有效应用指令执行相应的软件功能动作；
S5：利用S1建立的用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库的内容评测应用端的被测软件输出的文字和语音提示文本段，并自动生成截图或录制视频，得到各有效应用指令的评测结果；
S6：人工抽查评测结果；
S7：输出最终评测结果。
5.如权利要求4所述的一种应用端语音识别评测方法，其特征在于：
步骤S6中所述的人工抽查评测结果，评测人员须观察应用端被测软件输出的实际功能画面特征，评判评测结果是否符合被测软件既定的需求，所述评测结果如不符合评测标准，需进行修正，并输出最终评测结果。
CN201610524978.7A 2016-07-05 2016-07-05 一种应用端语音识别评测系统及评测方法 Active CN106205604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610524978.7A CN106205604B (zh) 2016-07-05 2016-07-05 一种应用端语音识别评测系统及评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610524978.7A CN106205604B (zh) 2016-07-05 2016-07-05 一种应用端语音识别评测系统及评测方法

Publications (2)

Publication Number Publication Date
CN106205604A true CN106205604A (zh) 2016-12-07
CN106205604B CN106205604B (zh) 2020-07-07

Family

ID=57464884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610524978.7A Active CN106205604B (zh) 2016-07-05 2016-07-05 一种应用端语音识别评测系统及评测方法

Country Status (1)

Country Link
CN (1) CN106205604B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108899012A (zh) * 2018-07-27 2018-11-27 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 语音交互设备评测方法、系统、计算机设备和存储介质
CN108986786A (zh) * 2018-07-27 2018-12-11 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 语音交互设备评级方法、系统、计算机设备和存储介质
CN109119065A (zh) * 2018-09-10 2019-01-01 四川长虹电器股份有限公司 用于智能语音产品的服务智商测试评分系统及方法
CN110600006A (zh) * 2019-10-29 2019-12-20 福建天晴数码有限公司 一种语音识别的评测方法及系统
CN111242455A (zh) * 2020-01-07 2020-06-05 北京百度网讯科技有限公司 电子地图语音功能的评测方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262681A (zh) * 2008-04-16 2008-09-10 青岛海信移动通信技术股份有限公司 自动测试的移动终端及实现方法
CN101778307A (zh) * 2010-02-05 2010-07-14 广东九联科技股份有限公司 机顶盒功能测试装置
CN102291595A (zh) * 2011-07-08 2011-12-21 深圳创维数字技术股份有限公司 一种测试方法及装置
CN102421132A (zh) * 2011-07-29 2012-04-18 展讯通信（上海）有限公司 移动终端的测试系统、测试设备及测试方法
CN202385232U (zh) * 2011-12-27 2012-08-15 上海全景数字技术有限公司 机顶盒自动化测试装置
US20120245919A1 (en) * 2009-09-23 2012-09-27 Nuance Communications, Inc. Probabilistic Representation of Acoustic Segments
CN102723080A (zh) * 2012-06-25 2012-10-10 惠州市德赛西威汽车电子有限公司 一种语音识别测试系统及方法
CN104135661A (zh) * 2014-08-21 2014-11-05 太仓市同维电子有限公司 一种ott机顶盒的产品测试方法
CN104240700A (zh) * 2014-08-26 2014-12-24 智歌科技（北京）有限公司 一种面向车载终端设备的全局语音交互方法及系统
CN104538042A (zh) * 2014-12-22 2015-04-22 南京声准科技有限公司 终端智能语音测试系统和方法
CN105336342A (zh) * 2015-11-17 2016-02-17 科大讯飞股份有限公司 语音识别结果评价方法及系统
CN105593936A (zh) * 2013-10-24 2016-05-18 宝马股份公司 用于文本转语音性能评价的系统和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262681A (zh) * 2008-04-16 2008-09-10 青岛海信移动通信技术股份有限公司 自动测试的移动终端及实现方法
US20120245919A1 (en) * 2009-09-23 2012-09-27 Nuance Communications, Inc. Probabilistic Representation of Acoustic Segments
CN101778307A (zh) * 2010-02-05 2010-07-14 广东九联科技股份有限公司 机顶盒功能测试装置
CN102291595A (zh) * 2011-07-08 2011-12-21 深圳创维数字技术股份有限公司 一种测试方法及装置
CN102421132A (zh) * 2011-07-29 2012-04-18 展讯通信（上海）有限公司 移动终端的测试系统、测试设备及测试方法
CN202385232U (zh) * 2011-12-27 2012-08-15 上海全景数字技术有限公司 机顶盒自动化测试装置
CN102723080A (zh) * 2012-06-25 2012-10-10 惠州市德赛西威汽车电子有限公司 一种语音识别测试系统及方法
CN105593936A (zh) * 2013-10-24 2016-05-18 宝马股份公司 用于文本转语音性能评价的系统和方法
CN104135661A (zh) * 2014-08-21 2014-11-05 太仓市同维电子有限公司 一种ott机顶盒的产品测试方法
CN104240700A (zh) * 2014-08-26 2014-12-24 智歌科技（北京）有限公司 一种面向车载终端设备的全局语音交互方法及系统
CN104538042A (zh) * 2014-12-22 2015-04-22 南京声准科技有限公司 终端智能语音测试系统和方法
CN105336342A (zh) * 2015-11-17 2016-02-17 科大讯飞股份有限公司 语音识别结果评价方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108899012A (zh) * 2018-07-27 2018-11-27 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 语音交互设备评测方法、系统、计算机设备和存储介质
CN108986786A (zh) * 2018-07-27 2018-12-11 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 语音交互设备评级方法、系统、计算机设备和存储介质
CN108899012B (zh) * 2018-07-27 2021-04-20 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 语音交互设备评测方法、系统、计算机设备和存储介质
CN109119065A (zh) * 2018-09-10 2019-01-01 四川长虹电器股份有限公司 用于智能语音产品的服务智商测试评分系统及方法
CN110600006A (zh) * 2019-10-29 2019-12-20 福建天晴数码有限公司 一种语音识别的评测方法及系统
CN110600006B (zh) * 2019-10-29 2022-02-11 福建天晴数码有限公司 一种语音识别的评测方法及系统
CN111242455A (zh) * 2020-01-07 2020-06-05 北京百度网讯科技有限公司 电子地图语音功能的评测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106205604B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN106205604A (zh) 一种应用端语音识别评测系统及评测方法
CN108962282B (zh) 语音检测分析方法、装置、计算机设备及存储介质
US10650231B2 (en) Method, device and server for recognizing characters of claim document, and storage medium
US9786277B2 (en) System and method for eliciting open-ended natural language responses to questions to train natural language processors
CN112532897B (zh) 视频剪辑方法、装置、设备及计算机可读存储介质
KR101700099B1 (ko) 하이브리드 음성인식 복합 성능 자동 평가시스템
US20130117855A1 (en) Apparatus for automatically inspecting security of applications and method thereof
CN109360550A (zh) 语音交互系统的测试方法、装置、设备和存储介质
WO2020155750A1 (zh) 基于人工智能的语料收集方法、装置、设备及存储介质
CN110379410A (zh) 语音响应速度自动分析方法及系统
CN111598485A (zh) 一种多维度智能质检方法、装置、终端设备及介质
CN109947651B (zh) 人工智能引擎优化方法和装置
CN111949255A (zh) 基于语音的脚本编写方法、装置、设备及存储介质
CN112671985A (zh) 基于深度学习的坐席质检方法、装置、设备及存储介质
CN114186019A (zh) 结合rpa和ai的企业项目的审核方法及装置
Sapra et al. Emotion recognition from speech
CN109637536A (zh) 一种自动化识别语义准确性的方法及装置
CN110556098B (zh) 语音识别结果测试方法、装置、计算机设备和介质
KR20190065194A (ko) 회의록 열람 문서 생성 방법 및 그 장치
CN116975206B (zh) 一种基于aigc大模型的垂直领域训练方法、装置及电子设备
CN113705224A (zh) 一种语音识别的调度业务语音交互方法及系统
CN114065720A (zh) 会议纪要生成方法、装置、存储介质及电子设备
CN104167206A (zh) 声学模型合并方法和设备以及语音识别方法和系统
Oliveira et al. An Extensible Framework to Implement Test Oracle for Non-Testable Programs.
CN111798838A (zh) 一种提高语音识别准确率的方法、系统、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant