CN109003602A - 语音产品的测试方法、装置、设备及计算机可读介质 - Google Patents

语音产品的测试方法、装置、设备及计算机可读介质 Download PDF

Info

Publication number
CN109003602A
CN109003602A CN201811051062.XA CN201811051062A CN109003602A CN 109003602 A CN109003602 A CN 109003602A CN 201811051062 A CN201811051062 A CN 201811051062A CN 109003602 A CN109003602 A CN 109003602A
Authority
CN
China
Prior art keywords
speech production
voice
instructions
wake
pending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811051062.XA
Other languages
English (en)
Other versions
CN109003602B (zh
Inventor
张宝园
李俊平
曾金平
王琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811051062.XA priority Critical patent/CN109003602B/zh
Publication of CN109003602A publication Critical patent/CN109003602A/zh
Application granted granted Critical
Publication of CN109003602B publication Critical patent/CN109003602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/01Assessment or evaluation of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种语音产品的测试方法、装置、设备及计算机可读介质,其中语音产品的测试方法包括:获取与待执行指令相对应的待执行语音;向语音产品播放所述待执行语音;获取所述语音产品针对所述待执行语音返回的界面显示结果;检测所述界面显示结果与所述待执行指令是否匹配。本发明的技术方案可以实现对语音产品的自动化测试,降低人力成本,提高测试效率。

Description

语音产品的测试方法、装置、设备及计算机可读介质
技术领域
本发明涉及语音信息技术领域,尤其涉及一种语音产品的测试方法、装置、设备及计算机可读介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
传统的语音产品测试方法,都是通过人工说出对应的唤醒词或指令,并以人工查看结果的方式进行测试,耗时耗力。随着语义垂类、车厂定制指令和产品接入项目数量的不断增加,指令数量已达到上千个,人工语音测试在人力与时间方面均已无法满足需求。
发明内容
本发明实施例提供一种语音产品的测试方法、装置、设备及计算机可读介质,以至少解决现有技术中的一个或多个技术问题。
第一方面,本发明实施例提供了一种语音产品的测试方法,包括:
获取与待执行指令相对应的待执行语音;
向语音产品播放所述待执行语音;
获取所述语音产品针对所述待执行语音返回的界面显示结果;
检测所述界面显示结果与所述待执行指令是否匹配。
结合第一方面,本发明实施例在第一方面的第一种实施方式中,检测所述界面显示结果与所述待执行指令是否匹配,包括:
从所述界面显示结果中识别出文本;
检测所述文本是否包括与所述待执行指令相关的关键词。
结合第一方面,本发明实施例在第一方面的第二种实施方式中,检测所述界面显示结果与所述待执行指令是否匹配,包括:
检测所述界面显示结果是否包括与所述待执行指令相关的关键元素。
结合第一方面,本发明实施例在第一方面的第三种实施方式中,获取与待执行指令相对应的待执行语音,包括以下方式的至少一种:
通过文本转语音技术,将所述待执行指令转换为待执行语音;
获取来自真人录制的待执行语音。
结合第一方面、第一方面的第一种实施方式、第一方面的第二种实施方式或第一方面的第三种实施方式,本发明实施例在第一方面的第四种实施方式中,所述测试方法还包括:
从所述语音产品的运行日志中,抓取所述语音产品对所述待执行语音的识别结果;
检测所述识别结果是否与所述待执行语音相匹配。
结合第一方面、第一方面的第一种实施方式、第一方面的第二种实施方式或第一方面的第三种实施方式,本发明实施例在第一方面的第五种实施方式中,所述测试方法还包括:
获取与唤醒指令相对应的唤醒语音;
向所述语音产品播放所述唤醒语音;
检测所述语音产品是否被唤醒。
结合第一方面的第五种实施方式,本发明实施例在第一方面的第六种实施方式中,获取与唤醒指令相对应的唤醒语音,包括以下方式的至少一种:
通过文本转语音技术,将所述唤醒指令转换为唤醒语音;
获取来自真人录制的唤醒语音。
第二方面,本发明实施例提供一种语音产品的测试装置,包括:
第一获取模块,用于获取与待执行指令相对应的待执行语音;
第一播放模块,用于向语音产品播放所述待执行语音;
第二获取模块,用于获取所述语音产品针对所述待执行语音返回的界面显示结果;
第一检测模块,用于检测所述界面显示结果与所述待执行指令是否匹配。
结合第二方面,本发明实施例在第二方面的第一种实施方式中,所述第一检测模块包括:
识别子模块,用于从所述界面显示结果中识别出文本;
第一检测子模块,用于检测所述文本是否包括与所述待执行指令相关的关键词。
结合第二方面,本发明实施例在第二方面的第二种实施方式中,所述第一检测模块包括:
第二检测子模块,用于检测所述界面显示结果是否包括与所述待执行指令相关的关键元素。
结合第二方面,本发明实施例在第二方面的第三种实施方式中,所述测试装置还包括:
抓取模块,用于从所述语音产品的运行日志中,抓取所述语音产品对所述指令语音的识别结果;
第二检测模块,用于检测所述识别结果检测所述识别结果是否与所述待执行语音相匹配。
结合第二方面,本发明实施例在第二方面的第四种实施方式中,所述测试装置还包括:
第三获取模块,用于获取与唤醒指令相对应的唤醒语音;
第二播放模块,用于向所述语音产品播放所述唤醒语音;
第三检测模块,用于检测所述语音产品是否被唤醒。
第三方面,本发明实施例提供了一种语音产品的测试设备,所述设备的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,所述设备的结构中包括处理器和存储器,所述存储器用于存储支持所述装置执行上述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述设备还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种计算机可读存储介质,用于存储语音产品的测试装置所用的计算机软件指令,其包括用于执行上述第一方面中语音产品的测试方法为语音产品的测试装置所涉及的程序。
本发明实施例可以实现对语音产品的自动化测试,降低人力成本,提高测试效率。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1为本发明实施例的语音产品的测试方法的流程图。
图2为本发明实施例的语音产品的测试方法的流程图。
图3为本发明实施例的语音产品的测试方法的流程图。
图4为本发明实施例的语音产品的测试方法的流程图。
图5为本发明实施例的语音产品的测试方法的流程图。
图6为本发明实施例的语音产品的测试方法的流程图。
图7为本发明实施例的语音产品的测试装置的结构示意图。
图8为本发明实施例的语音产品的测试装置的结构示意图。
图9为本发明实施例的语音产品的测试装置的结构示意图。
图10为本发明实施例的语音产品的测试装置的结构示意图。
图11为本发明实施例的语音产品的测试装置的结构示意图。
图12为本发明实施例的语音产品的测试设备的组成结构示意图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
本发明实施例旨在提供一种语音产品的测试方法和装置,通过向语音产品播放对应于待执行指令的待执行语音,进而检测语音产品返回的界面显示结果与待执行指令是否匹配,可以实现对语音产品的自动化测试。
下面具体介绍本发明的各种非限制性实施方式。
如图1所示,本发明实施例的语音产品的测试方法可以包括:
S110、获取与待执行指令相对应的待执行语音。
具体地,待执行指令可以包括文本形式;每一个待执行指令对应其语音形式的待执行语音。例如,文本形式的待执行指令“导航去世界之窗”对应于语音形式的待执行语音“导航去世界之窗”。
在一种可能的实施方式中,在步骤S110中,获取与待执行指令相对应的待执行语音,包括以下示例的至少一种:
示例一、通过文本转语音技术,将所述待执行指令转换为待执行语音。
基于文本转语音(TTS,Text To Speech)技术,可以将文本形式的待执行指令合成转化为语音形式的待执行语音。在一种可能的实施方式中,基于一些播放工具,可以将待执行指令转换得到的待执行语音播放出来。
示例二、获取来自真人录制的待执行语音。
基于转换得到的合成语音和真正的人声,在声学上差异较大,为减小合成语音造成的误差,可以通过模拟语音产品的使用环境,真人录制待执行指令的测试音频。录制的测试音频与待执行指令具有对应关系,通过该对应关系获取与待执行指令相对应的测试音频,进而获取待执行语音。
真人录制的测试音频是大多数项目通用的语音指令,可以做到一次录制,多项目复用。
其中,示例一可针对个别项目定制化的指令较多情况,通过自动化测试,可减小人工测试工作量。示例二可针对大多数项目通用的指令,通过一次录制,可以在多项目复用,提高测试准确率。
S120、向语音产品播放所述待执行语音。
本实施例的语音产品可以接收用户的语音指令,执行该语音指令,进而通过界面显示执行结果。例如,用户说出语音指令“导航去世界之窗”,语音产品可以返回与世界之窗相关的兴趣点(POI,Point Of Interest)列表,并在语音产品的界面显示这些兴趣点。
S130、获取所述语音产品针对所述待执行语音返回的界面显示结果。
例如,在终端设备上可以通过抓取语音产品的截屏来获取界面显示结果。
S140、检测所述界面显示结果与所述待执行指令是否匹配。
例如,终端设备向语音产品播放待执行语音“导航去世界之窗”后,可以接收语音产品返回的界面显示结果。然后,检测该界面显示结果与待执行指令“导航去世界之窗”是否匹配。
在一种可能的实施方式中,每一个待执行指令对应有预期测试结果。待执行指令及其对应的预期测试结果可以保存于测试脚本。在检测所述界面显示结果与所述待执行指令是否匹配时,可以调用与该待执行指令相对应的预期测试结果。然后检测界面显示结果是否与预期测试结果一致。
在一种可能的实施方式中,如图2所示,在步骤S140中,检测所述界面显示结果与所述待执行指令是否匹配,可以包括:
S241、从所述界面显示结果中识别出文本。
例如,可以基于光学字符识别(OCR,Optical Character Recognition),光学字符识别)技术,从界面显示结果中识别出文本。
S242、检测所述文本是否包括与所述待执行指令相关的关键词。
与所述待执行指令相关的关键词,可以包括但不限于待执行指令中的字、词语、短语等。例如,如果待执行指令为“导航去世界之窗”,则可以检测所识别出的文本中是否包括关键词“世界之窗”、“导航”等。
在一种可能的实施方式中,如图3所示,在步骤S140中,检测所述界面显示结果与所述待执行指令是否匹配,可以包括:
S341、检测所述界面显示结果是否包括与所述待执行指令相关的关键元素。
其中,关键元素可以包括图形元素、图标元素、符号元素、表格元素等非文本形式的元素。
例如,如果待执行指令为“查找老虎的样子”,则说明用户期望获得包括老虎的图像。在步骤S341中,可以检测界面显示结果中是否包括关于“老虎”的图形元素。
可以通过用户界面自动测试机(UiAutomator,User Interface Automator)来检测界面显示结果是否包括与待执行指令相关的关键元素。
如图4所示,在上述实施例的基础上,本发明另一实施例的语音产品的测试方法中,还可以包括:
S410、从所述语音产品的运行日志中,抓取所述语音产品对所述待执行语音的识别结果。
语音产品在运行过程中,会在该语音产品的运行日志中记录相关的运行记录,包括针对待执行语音的识别结果。例如,语音产品在收到待执行语音“导航去世界之窗”,对其进行识别为“导航世界之窗”,并将“导航世界之窗”以文本的形式保存于运行日志中。通过抓取语音产品的运行日志,可以获得语音产品对待执行语音的识别结果。
S420、检测所述识别结果是否与所述待执行语音相匹配。
具体地,可以将识别结果与待执行语音所对应待执行指令进行相似度匹配,以得到识别结果与待执行语音是否匹配的检测结果;或者,可以检测识别结果中是否包括与待执行指令相关的关键词,以得到识别结果与待执行语音是否匹配的检测结果。
如图5所示,在上述实施例的基础上,本发明又一实施例的语音产品的测试方法中,还可以包括:
S510、获取与唤醒指令相对应的唤醒语音。
具体地,唤醒指令可以包括文本形式,每一个唤醒指令对应其语音形式的唤醒语音。例如,文本形式的唤醒指令“小度小度”对应于语音形式的唤醒语音“小度小度”。
在步骤S510中,可以包括:通过TTS技术,将唤醒指令转换为唤醒语音;也可以包括获取来自真人录制的唤醒语音。
S520、向所述语音产品播放所述唤醒语音。
通过一些工具,终端设备可以将唤醒指令转换为唤醒语音后直接播放给语音产品。
S530、检测所述语音产品是否被唤醒。
例如,向语音产品播放唤醒语音“小度小度”后,检测该语音产品是否被唤醒。
如图6所示,在上述实施方式的基础上,本发明又一实施例的语音产品的测试方法中,包括:
S610、开始测试。
S620、选择执行测试脚本。其中,每个测试脚本对应一个测试例(case);测试脚本可以包括对语音唤醒率、语音识别率、语义垂类准确率等的测试。
S630、手动触发测试或通过开发工具jenkins定时触发测试。其中,通过配置jenkins任务,可以每日或每周定时触发测试。
S640、合成并播放唤醒语音。具体可参照步骤S510~步骤S530的实施方式,在步骤S530中,如果检测到语音产品未被唤醒,则可以停止后面的测试。
S650、获取指令文本(待执行指令)。指令文本(待执行指令)可以保存于数据库中,在执行测试脚本时从数据库中调用。
S660、合成并播放指令语音(待执行语音)。具体可参照步骤S110和步骤S120的实施方式。
S670、抓取语音产品的运行日志(log),判断识别是否成功。具体可参照步骤S410和步骤S420的实施方式,在步骤S420中,如果检测到识别结果与待执行语音不相匹配,则可以停止后面的测试。
S681、通过Uiautomator确定是否包含指定元素。具体可参照步骤S341的实施方式。
S682、通过OCR文字识别技术判断是否包含指定文本。具体可参照步骤S241和步骤S242的实施方式。
S690、判断case的测试是否成功。若是,则进入步骤S691,存储case结果;若否,则分析失败原因并存储测试结果。其中,分析失败原因包括检查在测试的哪个环节失败。
S611、确定是否有下一条指令(待执行指令)。若是,则进入步骤S640;若否,则进入步骤S612,输出测试报告。
S613、自动发送测试报告给指定邮箱。
本实施例还提供一种语音产品的测试装置,与上述的语音产品的测试方法相对应,如图7所示,本实施例的语音产品的测试装置可以包括:
第一获取模块110,用于获取与待执行指令相对应的待执行语音;
第一播放模块120,用于向语音产品播放所述待执行语音;
第二获取模块130,用于获取所述语音产品针对所述待执行语音返回的界面显示结果;
第一检测模块140,用于检测所述界面显示结果与所述待执行指令是否匹配。
在一种可能的实施方式中,如图8所示,第一检测模块140可以包括:
识别子模块241,用于从所述界面显示结果中识别出文本;
第一检测子模块242,用于检测所述文本是否包括与所述待执行指令相关的关键词。
在一种可能的实施方式中,如图9所示,第一检测模块140可以包括:
第二检测子模块341,用于检测所述界面显示结果是否包括与所述待执行指令相关的关键元素。
在一种可能的实施方式中,如图10所示,本实施例的语音产品的测试装置还可以包括:
抓取模块410,用于从所述语音产品的运行日志中,抓取所述语音产品对所述指令语音的识别结果;
第二检测模块420,用于检测所述识别结果检测所述识别结果是否与所述待执行语音相匹配。
在一种可能的实施方式中,如图11所示,本实施例的语音产品的测试装置还可以包括:
第三获取模块510,用于获取与唤醒指令相对应的唤醒语音;
第二播放模块520,用于向所述语音产品播放所述唤醒语音;
第三检测模块530,用于检测所述语音产品是否被唤醒。
在一种可能的实施方式中,第一获取模块110还可以用于实现以下方式的至少一种:
通过文本转语音技术,将所述待执行指令转换为待执行语音;
获取来自真人录制的待执行语音。
在一种可能的实施方式中,第三获取模块510还可以用于实现以下方式的至少一种:
通过文本转语音技术,将所述唤醒指令转换为唤醒语音;
获取来自真人录制的唤醒语音。
本实施例还提供一种语音产品的测试设备,如图12所示,该设备包括:存储器21和处理器22,存储器21内存储有可在处理器22上运行的计算机程序。处理器22执行所述计算机程序时实现上述实施例中的语音产品的测试方法。所述存储器21和处理器22的数量可以为一个或多个。
该设备还包括:
通信接口23,用于与外界设备进行通信,进行数据交互传输。
存储器21可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
如果存储器21、处理器22和通信接口23独立实现,则存储器21、处理器22和通信接口23可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent)总线或扩展工业标准体系结构(EISA,Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器21、处理器22及通信接口23集成在一块芯片上,则存储器21、处理器22及通信接口23可以通过内部接口完成相互间的通信。
综上所述,本发明实施例的语音产品的测试方法和装置,通过向语音产品播放对应于待执行指令的待执行语音,进而检测语音产品返回的界面显示结果与待执行指令是否匹配,可以实现对语音产品的自动化测试。其中,待执行指令可以包括多个垂类的待执行指令,进而实现指令语义垂类准确率的自动化测试。进一步地,通过从语音产品的运行日志中抓取语音识别结果,进而检测语音识别结果是否与待执行语音相匹配,可以实现语音识别率的自动化检测。进一步地,通过向语音产品播放对应于唤醒指令的唤醒语音,进而检测语音产品是否被唤醒,可以实现语音唤醒率自动化测试。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种语音产品的测试方法,其特征在于,包括:
获取与待执行指令相对应的待执行语音;
向语音产品播放所述待执行语音;
获取所述语音产品针对所述待执行语音返回的界面显示结果;
检测所述界面显示结果与所述待执行指令是否匹配。
2.根据权利要求1所述的测试方法,其特征在于,检测所述界面显示结果与所述待执行指令是否匹配,包括:
从所述界面显示结果中识别出文本;
检测所述文本是否包括与所述待执行指令相关的关键词。
3.根据权利要求1所述的测试方法,其特征在于,检测所述界面显示结果与所述待执行指令是否匹配,包括:
检测所述界面显示结果是否包括与所述待执行指令相关的关键元素。
4.根据权利要求1所述的测试方法,其特征在于,获取与待执行指令相对应的待执行语音,包括以下方式的至少一种:
通过文本转语音技术,将所述待执行指令转换为待执行语音;
获取来自真人录制的待执行语音。
5.根据权利要求1至4任一项所述的测试方法,其特征在于,还包括:
从所述语音产品的运行日志中,抓取所述语音产品对所述待执行语音的识别结果;
检测所述识别结果是否与所述待执行语音相匹配。
6.根据权利要求1至4任一项所述的测试方法,其特征在于,还包括:
获取与唤醒指令相对应的唤醒语音;
向所述语音产品播放所述唤醒语音;
检测所述语音产品是否被唤醒。
7.根据权利要求6所述的测试方法,其特征在于,获取与唤醒指令相对应的唤醒语音,包括以下方式的至少一种:
通过文本转语音技术,将所述唤醒指令转换为唤醒语音;
获取来自真人录制的唤醒语音。
8.一种语音产品的测试装置,其特征在于,包括:
第一获取模块,用于获取与待执行指令相对应的待执行语音;
第一播放模块,用于向语音产品播放所述待执行语音;
第二获取模块,用于获取所述语音产品针对所述待执行语音返回的界面显示结果;
第一检测模块,用于检测所述界面显示结果与所述待执行指令是否匹配。
9.根据权利要求8所述的测试装置,其特征在于,所述第一检测模块包括:
识别子模块,用于从所述界面显示结果中识别出文本;
第一检测子模块,用于检测所述文本是否包括与所述待执行指令相关的关键词。
10.根据权利要求8所述的测试装置,其特征在于,所述第一检测模块包括:
第二检测子模块,用于检测所述界面显示结果是否包括与所述待执行指令相关的关键元素。
11.根据权利要求8至10任一项所述的测试装置,其特征在于,还包括:
抓取模块,用于从所述语音产品的运行日志中,抓取所述语音产品对所述指令语音的识别结果;
第二检测模块,用于检测所述识别结果检测所述识别结果是否与所述待执行语音相匹配。
12.根据权利要求8至10任一项所述的测试装置,其特征在于,还包括:
第三获取模块,用于获取与唤醒指令相对应的唤醒语音;
第二播放模块,用于向所述语音产品播放所述唤醒语音;
第三检测模块,用于检测所述语音产品是否被唤醒。
13.一种语音产品的测试设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任一所述的方法。
14.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7中任一所述的方法。
CN201811051062.XA 2018-09-10 2018-09-10 语音产品的测试方法、装置、设备及计算机可读介质 Active CN109003602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811051062.XA CN109003602B (zh) 2018-09-10 2018-09-10 语音产品的测试方法、装置、设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811051062.XA CN109003602B (zh) 2018-09-10 2018-09-10 语音产品的测试方法、装置、设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN109003602A true CN109003602A (zh) 2018-12-14
CN109003602B CN109003602B (zh) 2020-03-24

Family

ID=64591336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811051062.XA Active CN109003602B (zh) 2018-09-10 2018-09-10 语音产品的测试方法、装置、设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN109003602B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637536A (zh) * 2018-12-27 2019-04-16 苏州思必驰信息科技有限公司 一种自动化识别语义准确性的方法及装置
CN110782874A (zh) * 2019-11-05 2020-02-11 四川虹美智能科技有限公司 一种语音库管理方法、语音识别测试方法和装置
CN110808029A (zh) * 2019-11-20 2020-02-18 斑马网络技术有限公司 车机语音测试系统及方法
CN111008130A (zh) * 2019-11-28 2020-04-14 中国银行股份有限公司 智能问答系统测试方法和装置
CN111081241A (zh) * 2019-11-20 2020-04-28 Oppo广东移动通信有限公司 设备误唤醒的数据检测方法、装置、移动终端和存储介质
CN111091822A (zh) * 2019-11-27 2020-05-01 中国第一汽车股份有限公司 一种语音自动仿真方法、装置、车辆及存储介质
CN111341296A (zh) * 2020-02-17 2020-06-26 诚迈科技(南京)股份有限公司 一种语音控制的响应测试方法、测试机和存储介质
CN111611169A (zh) * 2020-05-22 2020-09-01 深圳市亿道数码技术有限公司 一种语音助手唤醒率自动化测试方法及测试工具
CN111739513A (zh) * 2020-07-22 2020-10-02 江苏清微智能科技有限公司 自动化语音唤醒测试系统及其测试方法
CN111798833A (zh) * 2019-04-04 2020-10-20 北京京东尚科信息技术有限公司 一种语音测试方法、装置、设备和存储介质
CN112417109A (zh) * 2020-10-26 2021-02-26 出门问问(苏州)信息科技有限公司 一种人机对话系统的测试方法及装置
CN112799901A (zh) * 2021-04-13 2021-05-14 智道网联科技(北京)有限公司 一种语音交互应用程序自动化测试方法及装置
CN113140217A (zh) * 2021-04-08 2021-07-20 青岛歌尔智能传感器有限公司 语音指令测试方法、测试装置及可读存储介质
CN113223496A (zh) * 2021-06-22 2021-08-06 北京字节跳动网络技术有限公司 一种语音技能测试方法、装置及设备
CN113220590A (zh) * 2021-06-04 2021-08-06 北京声智科技有限公司 语音交互应用的自动化测试方法、装置、设备及介质
CN110164474B (zh) * 2019-05-08 2021-09-14 北京百度网讯科技有限公司 语音唤醒自动化测试方法及系统
WO2022199461A1 (zh) * 2021-03-24 2022-09-29 华为技术有限公司 语音交互系统的测试方法、音频识别方法及相关设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020069064A1 (en) * 1999-02-08 2002-06-06 Dejaco Andrew P. Method and apparatus for testing user interface integrity of speech-enabled devices
CN103067736A (zh) * 2012-12-20 2013-04-24 广州视源电子科技股份有限公司 一种基于字符识别的自动测试系统
CN103092756A (zh) * 2013-01-08 2013-05-08 彭勇 一种交互式自动化测试系统及其方法
CN103186459A (zh) * 2011-12-30 2013-07-03 迈普通信技术股份有限公司 基于脚本的java图形用户界面自动测试方法
CN104780407A (zh) * 2015-01-09 2015-07-15 康佳集团股份有限公司 一种机顶盒自动测试方法及系统
CN106228986A (zh) * 2016-07-26 2016-12-14 北京奇虎科技有限公司 一种语音识别引擎的自动化测试方法、装置和系统
CN106548772A (zh) * 2017-01-16 2017-03-29 上海智臻智能网络科技股份有限公司 语音识别测试系统及方法
CN107516510A (zh) * 2017-07-05 2017-12-26 百度在线网络技术(北京)有限公司 一种智能设备自动化语音测试方法及装置
CN107766209A (zh) * 2017-10-31 2018-03-06 北京新能源汽车股份有限公司 中控自动化测试方法、装置、设备及计算机可读存储介质
CN108399131A (zh) * 2018-03-13 2018-08-14 百度在线网络技术(北京)有限公司 自动化测试用例生成方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020069064A1 (en) * 1999-02-08 2002-06-06 Dejaco Andrew P. Method and apparatus for testing user interface integrity of speech-enabled devices
CN103186459A (zh) * 2011-12-30 2013-07-03 迈普通信技术股份有限公司 基于脚本的java图形用户界面自动测试方法
CN103067736A (zh) * 2012-12-20 2013-04-24 广州视源电子科技股份有限公司 一种基于字符识别的自动测试系统
CN103092756A (zh) * 2013-01-08 2013-05-08 彭勇 一种交互式自动化测试系统及其方法
CN104780407A (zh) * 2015-01-09 2015-07-15 康佳集团股份有限公司 一种机顶盒自动测试方法及系统
CN106228986A (zh) * 2016-07-26 2016-12-14 北京奇虎科技有限公司 一种语音识别引擎的自动化测试方法、装置和系统
CN106548772A (zh) * 2017-01-16 2017-03-29 上海智臻智能网络科技股份有限公司 语音识别测试系统及方法
CN107516510A (zh) * 2017-07-05 2017-12-26 百度在线网络技术(北京)有限公司 一种智能设备自动化语音测试方法及装置
CN107766209A (zh) * 2017-10-31 2018-03-06 北京新能源汽车股份有限公司 中控自动化测试方法、装置、设备及计算机可读存储介质
CN108399131A (zh) * 2018-03-13 2018-08-14 百度在线网络技术(北京)有限公司 自动化测试用例生成方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
电脑报: "《电脑报2013增刊 热门软件与网络年度应用方案》", 30 September 2012, 电脑报电子音像出版社 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637536A (zh) * 2018-12-27 2019-04-16 苏州思必驰信息科技有限公司 一种自动化识别语义准确性的方法及装置
CN111798833A (zh) * 2019-04-04 2020-10-20 北京京东尚科信息技术有限公司 一种语音测试方法、装置、设备和存储介质
CN111798833B (zh) * 2019-04-04 2023-12-01 北京京东尚科信息技术有限公司 一种语音测试方法、装置、设备和存储介质
CN110164474B (zh) * 2019-05-08 2021-09-14 北京百度网讯科技有限公司 语音唤醒自动化测试方法及系统
CN110782874A (zh) * 2019-11-05 2020-02-11 四川虹美智能科技有限公司 一种语音库管理方法、语音识别测试方法和装置
CN110782874B (zh) * 2019-11-05 2022-08-16 四川虹美智能科技有限公司 一种语音库管理方法、语音识别测试方法和装置
CN110808029A (zh) * 2019-11-20 2020-02-18 斑马网络技术有限公司 车机语音测试系统及方法
CN111081241A (zh) * 2019-11-20 2020-04-28 Oppo广东移动通信有限公司 设备误唤醒的数据检测方法、装置、移动终端和存储介质
CN111091822A (zh) * 2019-11-27 2020-05-01 中国第一汽车股份有限公司 一种语音自动仿真方法、装置、车辆及存储介质
CN111008130A (zh) * 2019-11-28 2020-04-14 中国银行股份有限公司 智能问答系统测试方法和装置
CN111008130B (zh) * 2019-11-28 2023-11-17 中国银行股份有限公司 智能问答系统测试方法和装置
CN111341296B (zh) * 2020-02-17 2023-12-12 智达诚远科技有限公司 一种语音控制的响应测试方法、测试机和存储介质
CN111341296A (zh) * 2020-02-17 2020-06-26 诚迈科技(南京)股份有限公司 一种语音控制的响应测试方法、测试机和存储介质
CN111611169A (zh) * 2020-05-22 2020-09-01 深圳市亿道数码技术有限公司 一种语音助手唤醒率自动化测试方法及测试工具
CN111739513A (zh) * 2020-07-22 2020-10-02 江苏清微智能科技有限公司 自动化语音唤醒测试系统及其测试方法
CN112417109B (zh) * 2020-10-26 2023-08-01 问问智能信息科技有限公司 一种人机对话系统的测试方法及装置
CN112417109A (zh) * 2020-10-26 2021-02-26 出门问问(苏州)信息科技有限公司 一种人机对话系统的测试方法及装置
WO2022199461A1 (zh) * 2021-03-24 2022-09-29 华为技术有限公司 语音交互系统的测试方法、音频识别方法及相关设备
CN113140217A (zh) * 2021-04-08 2021-07-20 青岛歌尔智能传感器有限公司 语音指令测试方法、测试装置及可读存储介质
CN112799901A (zh) * 2021-04-13 2021-05-14 智道网联科技(北京)有限公司 一种语音交互应用程序自动化测试方法及装置
CN113220590A (zh) * 2021-06-04 2021-08-06 北京声智科技有限公司 语音交互应用的自动化测试方法、装置、设备及介质
CN113223496A (zh) * 2021-06-22 2021-08-06 北京字节跳动网络技术有限公司 一种语音技能测试方法、装置及设备

Also Published As

Publication number Publication date
CN109003602B (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN109003602A (zh) 语音产品的测试方法、装置、设备及计算机可读介质
Bradley et al. A reader's view of listening
US20190080687A1 (en) Learning-type interactive device
US8478592B2 (en) Enhancing media playback with speech recognition
US9653068B2 (en) Speech recognizer adapted to reject machine articulations
US6615176B2 (en) Speech enabling labeless controls in an existing graphical user interface
US7603279B2 (en) Grammar update system and method for speech recognition
US6269335B1 (en) Apparatus and methods for identifying homophones among words in a speech recognition system
CN110085261A (zh) 一种发音纠正方法、装置、设备以及计算机可读存储介质
CN107086040A (zh) 语音识别能力测试方法和装置
CN109360550A (zh) 语音交互系统的测试方法、装置、设备和存储介质
US8909528B2 (en) Method and system for prompt construction for selection from a list of acoustically confusable items in spoken dialog systems
CN109192194A (zh) 语音数据标注方法、装置、计算机设备及存储介质
JP2000501847A (ja) 教育及び試験における適応対話の音声信号から複合情報を得る方法及び装置
CN108280179B (zh) 音频广告检测的方法及系统、终端以及计算机可读存储介质
CN109583401A (zh) 一种自动生成答案的搜题方法及用户设备
US10269352B2 (en) System and method for detecting phonetically similar imposter phrases
CN109754788A (zh) 一种语音控制方法、装置、设备及存储介质
CN109739354A (zh) 一种基于声音的多媒体交互方法及装置
CN109979437A (zh) 语音识别方法、装置、设备和存储介质
CN109637536A (zh) 一种自动化识别语义准确性的方法及装置
Yoon et al. Atypical inputs in educational applications
CN109671309A (zh) 一种错误读音识别方法及电子设备
CN111026786B (zh) 一种听写列表生成方法及家教设备
CN109065024A (zh) 异常语音数据检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant