CN113674769A - 语音系统测试方法、装置、设备、介质及程序产品 - Google Patents
语音系统测试方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN113674769A CN113674769A CN202110963634.7A CN202110963634A CN113674769A CN 113674769 A CN113674769 A CN 113674769A CN 202110963634 A CN202110963634 A CN 202110963634A CN 113674769 A CN113674769 A CN 113674769A
- Authority
- CN
- China
- Prior art keywords
- audio
- test
- audio signal
- voice system
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 6
- 238000012360 testing method Methods 0.000 claims abstract description 139
- 230000005236 sound signal Effects 0.000 claims description 74
- 238000000034 method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 19
- 230000002452 interceptive effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 description 26
- 238000009825 accumulation Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012827 research and development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种语音系统测试方法、装置、设备、介质及程序产品，通过获取用户输入的调用指令；然后根据调用指令中的关键字信息确定目标音频，判断本地的测试音频库中是否存在与关键字信息对应的目标音频；若是，则将目标音频发送给语音系统；若否，则以预设方式生成目标音频，并将目标音频发送给语音系统，以对语音系统进行语音测试。解决了现有技术存在的单纯依赖人工测试导致无法实现标准化测试的技术问题。达到了将环境变量和测试人员变量排除在语音系统测试的影响因子之外，使得测试结果更加标准化，便于后期进行数据比较分析的技术效果。
Description
技术领域
本申请涉及语音交互技术领域，尤其涉及一种语音系统测试方法、装置、设备、介质及程序产品。
背景技术
随着语音技术的不断发展，越来越多的设备搭载了语音功能。而搭载了语音功能的产品在研发和出厂前都需要进行功能测试工作。
目前，现有的语音系统测试方法，主要依赖于测试员或研发人员的人工操作，由语音系统中的麦克风接收测试员或研发人员发出的语音指令，并做出相应的响应。但是这样的测试方式，由于测试环境和测试人员都难以实现严格统一，使得测试结果会受到不同测试环境和不同测试人员的影响，使得测试难以标准化，甚至在测试发现问题时，难以实现场景复现。
即现有技术中存在单纯依赖人工测试导致无法实现标准化测试的技术问题。
发明内容
本申请提供一种语音系统测试方法、装置、设备、介质及程序产品，以解决现有技术存在的单纯依赖人工测试导致无法实现标准化测试的技术问题。
第一个方面，本申请提供一种语音系统测试方法，包括：
获取用户输入的调用指令；
根据调用指令中的关键字信息，检索本地的测试音频库中是否存在与关键字信息对应的本地音频；
若是，则将检索到的本地音频作为目标音频；
若否，则接收在线方式基于关键字信息生成的在线音频，将在线音频作为目标音频；
利用目标音频生成音频信号并发送给语音系统，以对语音系统进行语音测试。
在一种可能的设计中，利用目标音频生成音频信号并发送给语音系统，包括：
利用音频播放器播放目标音频，并将音频播放器输出的音频信号发送给语音系统的音频采集接口。
在一种可能的设计中，目标音频的文件名包含关键字信息。
在一种可能的设计中，接收在线方式基于关键字信息生成的目标音频接收在线方式，包括：
利用文字语音转换工具(如TTS(Text To Speech)转换关键字信息，以生成目标音频。
在一种可能的设计中，在接收在线方式基于关键字信息生成的在线音频之后，还包括：
将在线音频存储到本地的测试音频库中。
在一种可能的设计中，在利用目标音频生成音频信号并发送给语音系统之后，还包括：
检测语音系统的交互界面是否有针对音频信号的回馈显示，并累计针对音频信号的回馈显示的正确执行结果或错误执行结果；
若检测语音系统的交互界面有针对音频信号的回馈显示，则检测回馈显示的内容是否正确识别音频信号，并累计针对识别音频信号的正确执行结果或错误执行结果。
在一种可能的设计中，该方法还包括：若检测语音系统的交互界面没有针对音频信号的回馈显示，则检测语音系统是否记录操作日志，并累计针对记录操作日志的正确执行结果或错误执行结果；
若是，则检测操作日志中是否包括正确识别音频信号的信息，并累计针对识别音频信号的信息的正确执行结果或错误执行结果。
在一种可能的设计中，该方法还包括：若检测到语音系统没有记录操作日志，则检测语音系统是否调用应用程序，并累计针对调用应用程序的正确执行结果或错误执行结果；
若是，则检测被调用的应用程序是否为音频信号对应的目标应用，并累计针对调用音频信号对应的目标应用的正确执行结果或错误执行结果。
在一种可能的设计中，该方法还包括：
对所有正确执行结果和/或所有错误执行结果进行统计并输出语音系统的评估测试结果。
第二方面，本申请提供一种语音系统测试装置，包括：
获取模块，用于用户输入的调用指令；
处理模块，用于：
根据调用指令中的关键字信息，检索本地的测试音频库中是否存在与关键字信息对应的本地音频；
若是，则将检索到的本地音频作为目标音频；
若否，则接收在线方式基于关键字信息生成的在线音频，将在线音频作为目标音频；
利用目标音频生成音频信号并发送给语音系统，以对语音系统进行语音测试。
在一种可能的设计中，处理模块，用于利用音频播放器播放目标音频，并将音频播放器输出的音频信号发送给语音系统的音频采集接口。
在一种可能的设计中，目标音频的文件名包含关键字信息。
在一种可能的设计中，处理模块，用于利用文字语音转换工具(如TTS(Text ToSpeech)转换关键字信息，以生成目标音频。
在一种可能的设计中，处理模块，还用于将在线音频存储到本地的测试音频库中。
在一种可能的设计中，处理模块，还用于：
检测语音系统的交互界面是否有针对音频信号的回馈显示，并累计针对音频信号的回馈显示的正确执行结果或错误执行结果；
若检测语音系统的交互界面有针对音频信号的回馈显示，则检测回馈显示的内容是否正确识别音频信号，并累计针对识别音频信号的正确执行结果或错误执行结果。
在一种可能的设计中，处理模块，还用于：若检测语音系统的交互界面没有针对音频信号的回馈显示，则检测语音系统是否记录操作日志，并累计针对记录操作日志的正确执行结果或错误执行结果；
若是，则检测操作日志中是否包括正确识别音频信号的信息，并累计针对识别音频信号的信息的正确执行结果或错误执行结果。
在一种可能的设计中，处理模块，还用于：若检测到语音系统没有记录操作日志，则检测语音系统是否调用应用程序，并累计针对调用应用程序的正确执行结果或错误执行结果；
若是，则检测被调用的应用程序是否为音频信号对应的目标应用，并累计针对调用音频信号对应的目标应用的正确执行结果或错误执行结果。
在一种可能的设计中，处理模块，还用于：
对所有正确执行结果和/或所有错误执行结果进行统计并输出语音系统的评估测试结果。
第三个方面，本申请提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行第一方面所提供的任意一种可能的语音系统测试方法。
第四方面，本申请提供一种存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行第一方面所提供的任意一种可能的语音系统测试方法。
第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所提供的任意一种可能的语音系统测试系统方法。
本申请提供了一种语音系统测试方法、装置、设备、介质及程序产品，通过获取用户输入的调用指令；然后根据调用指令中的关键字信息确定目标音频，判断本地的测试音频库中是否存在与关键字信息对应的目标音频；若是，则将目标音频发送给语音系统；若否，则以预设方式生成目标音频，并将目标音频发送给语音系统，以对语音系统进行语音测试。解决了现有技术存在的单纯依赖人工测试导致无法实现标准化测试的技术问题。达到了将环境变量和测试人员变量排除在语音系统测试的影响因子之外，使得测试结果更加标准化，便于后期进行数据比较分析的技术效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种语音系统测试的应用场景示意图；
图2为本申请实施例提供的一种语音系统测试方法的流程示意图；
图3为本申请实施例提供的另一种语音系统测试方法的流程示意图；
图4为本申请实施例提供的一种语音系统测试装置的结构示意图；
图5为本申请提供的一种电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，包括但不限于对多个实施例的组合，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请发明人发现，传统的语音系统测试，如车载语音系统的测试，是通过人体喉咙振动发声，然后从嘴部发出声音，并通过声波的方式以空气为媒介，传送至与语音系统的接收装置，如麦克风。语音系统可搭载在车载设备上，车载设备可接收麦克风采集到的音频数据流，经过分析处理后作出反馈动作。
但现有的语音系统的测试方案存在如下弊端：每个测试人员的口音差异会影响语音系统的识别率、测试环境要求是较为安静的环境，如果处于嘈杂的环境，噪音会干扰测试结果；测试过程需要大量的人力、而且一个测试人员在同一时间只能对一个设备进行测试。
进一步地，如果语音系统配置了多种语言的时候，包括：普通话、各地地方方言、各种外语等，需要的测试人员数量将会激增，这显然难以实现。
并且，对于某些抗干扰能力的测试，寻找环境噪音满足要求的特定场景十分困难，导致某些测试难以实现标准化复制。
总的来说，现有技术存在的单纯依赖人工测试导致无法实现标准化测试的技术问题。
为解决现有本申请的发明构思是：
将需要人体发出的语音指令制作成标准测试音频，直接将该标准测试音频的数据流汇入到麦克风采集的数据流中，这样测试人员就不用再发声了，从而无需配置大量测试人员来进行测试，节省了人力物力。并且，还可以将环境噪音也制作为标准测试音频，加入到麦克风采集的数据流中，对当前的测试环境进行信号层面的改造，可以抵消当前环境噪音或者是增加当前环境噪音，使得不同环境情况的测试变得简单灵活，容易复现。
图1为本申请提供的一种语音系统测试的应用场景示意图。如图1所示，语音系统可搭载在车辆100上的车载设备101上，即为车载语音系统。
现有技术中车载语音系统一般直接麦克风接收测试人员喉咙中发出的测试语音来进行测试。
而本申请引入了语音测试中心服务器102。车载设备101与语音测试中心服务器102通过无线或有线的形式进行数据通讯连接。
在一种可能的设计中，测试人员可以直接将测试音频直接以电信号的形式汇入到车载设备101的数据接口中即直接输入到车载语音系统的数据接口中对语音系统进行测试。
进一步的，若在车载设备101本地的测试音频库中都没有满足要求的测试音频时，可以通过车联网或因特网等网络，连接语音测试中心服务器102以在线的方式生成用于测试的目标音频，然后车载设备101再下载该目标音频进行语音系统的测试。
下面对如何实现本申请所提供的语音系统测试方法进行详细介绍。
图2为本申请实施例提供的一种语音系统测试方法的流程示意图。如图2所示，该语音系统测试方法的具体步骤，包括：
S201、获取用户输入的调用指令。
在本步骤中，调用指令用于调用对语音系统进行自动测试的目标音频，调用指令中包括关键字信息，关键字信息包括目标音频的文件名。
在本实施例中，用户可以通过测试仪器或者直接通过车载设备101上的交互界面选择所想要的目标音频的名称或者编号代码来向语音系统的数据接口输入调用指令。
例如，输入“今天星期几”这样的关键字信息，或者是在下拉选框、勾选框、选择按钮等图形化的方式选择目标音频的关键字信息。该关键字信息包括：目标音频的文件名、属性描述、编码等等，以此方式输入的各项输入信号组成了对目标音频的调用指令。
S202、根据调用指令中的关键字信息，检索本地的测试音频库中是否存在与关键字信息对应的本地音频。
在本步骤中，若是，则执行步骤S203，若否，则执行步骤S204。
具体的，根据关键字信息先在车载设备101或其它测试设备的本地存储器中进行检索，该本地存储器中的测试音频库包含多个用于自动测试的音频文件。
对于具体的检索算法，本领域技术人员可以根据实际需要进行选用，本实施例不作限定。
S203、将检索到的本地音频作为目标音频。
在本步骤中，如果车载设备101的本地存储器中存储的测试音频库中，通过数据库检索技术检索到了与关键字信息对应的音频文件，那么将此音频文件作为目标音频。然后将目标音频发送给语音系统的音频采集接口。
S204、接收在线方式基于关键字信息生成的在线音频，将在线音频作为目标音频。
在本步骤中，对于无法在本地检索到目标音频的情况，可以通过在线生成的方式生成目标音频，具体可包括：
利用文字语音转换工具(如TTS(Text To Speech)转换关键字信息，以生成目标音频。
在一种可能的设计中，在接收在线方式基于关键字信息生成的在线音频之后，还包括：将在线音频存储到本地的测试音频库中。
S205、利用目标音频生成音频信号并发送给语音系统，以对语音系统进行语音测试。
在本步骤中，至少包括两种方式：
第一种情况是：当目标音频的存储格式为语音系统可以识别的格式时，直接将目标音频发送给语音系统的音频采集接口。
第二种情况是：当目标音频的存储格式为语音系统不可直接识别的格式时，利用音频播放器播放目标音频，并将音频播放器输出的音频信号发送给语音系统的音频采集接口。
具体的，比如目标音频为MP3格式的文件，则通过音频播放器播放该目标音频，输出对应的音频信号发送到语音系统的音频采集接口当中。
本实施例提供了一种语音系统测试方法，与现有的单纯依赖人工发声进行测试的方式不同，本实施例通过本地或者在线方式直接得到目标音频，不需要真人发音的束缚；脱离了人嘴发声，满足了实现语音测试的自动化的初步条件。并且每次发相同的指令都是调用同一个目标音频文件，如相同的MP3文件，避免了不同的测试人员发出声音的差异导致的语音识别差异。解决了现有技术存在的单纯依赖人工测试导致无法实现标准化测试的技术问题。达到了将环境变量和测试人员变量排除在语音系统测试的影响因子之外，使得测试结果更加标准化，便于后期进行数据比较分析的技术效果。
图3为本申请实施提供的另一种语音系统测试方法的流程示意图。如图3所示，该语音系统测试方法的具体步骤包括：
S301、获取用户输入的调用指令。
S302、根据调用指令中的关键字信息在测试音频库中筛选出至少一个待选测试音频。
在本步骤中，利用预设的关键字检索模型，对预存在本地的测试音频库中的各个测试音频进行筛选，将测试音频名称或描述等属性中包含关键字信息的测试音频确定为待选测试音频。
当在测试音频库中没有找到符合要求的测试音频时，利用在线TTS工具，将关键字信息对应的文字内容，转换为语音音频。
可选的，还可以向测试中心服务器请求下载或新建目标音频。再接收测试中心服务器发送的音频数据作为待选测试音频。
对于步骤S301～S302，其具体实施方式可以参考S201～S202，在此不再赘述。
S303、在交互界面输出待选测试音频。
在本步骤中，将待选测试音频显示在车载语音系统的交互界面上，以使得用户通过下拉框、按钮、勾选框等方式选择其想要使用的测试音频。
S304、获取用户输入的选择指令，并将选择指令中指定的至少一个待选测试音频确定为目标音频。
在本实施例中，用户在交互界面上选择至少一个待选测试音频，并且设置这些待选测试音频的播放顺序，组合得到目标音频。
S305、利用音频播放器播放目标音频，并将音频播放器输出的音频信号发送给语音系统的音频采集接口。
在本实施例中，音频播放器播放目标音频所产生的数据流与麦克风采集的音频数据流进行融合。可选的，也可以关闭麦克风，仅在音频采集接口输入目标音频，这样就可以避免环境噪音的影响。
S306、检测语音系统的交互界面是否有回馈显示，并累计正确执行结果或错误执行结果。
在本步骤中，若是，则执行步骤S307，且针对音频信号的回馈显示的正确识别记录累计增加一次，若否则执行步骤S308，且针对音频信号的回馈显示的错误识别记录累计增加一次。
在本实施例中，回馈显示是语音系统响应用户输入语音指令后的反馈信息，使得用户能够直观感受到其下达的语音指令是否被语音系统所接收到。因此，需要检测语音系统是否响应了输入的目标音频。
S307、检测回馈内容是否正确识别了目标音频，并累计正确执行结果或错误执行结果。
在本步骤中，若是，则针对识别音频信号的正确识别记录累计增加一次，若否，则针对识别音频信号的错误识别记录累计增加一次。
在本实施例中，每个目标音频都有其对应的回馈内容，回馈内容包括：交互界面上的图形或文字信息、语音信息、振动信息等等。
S308、检测语音系统是否进行了操作日志记录，并累计正确执行结果或错误执行结果。
在本步骤中，若是，则执行步骤S309，且针对记录操作日志的正确识别记录累计增加一次，若否则执行步骤S310，且针对记录操作日志的错误识别记录累计增加一次。
在本实施例中，语音系统的承载设备，如图1中的电子设备102，在执行与目标音频对应的操作后，会进行日志(即log)打印记录、保存，可通过logcat等指令导出设备的log日志信息。
S309、检测记录的日志信息是否正确识别了目标音频，并累计正确执行结果或错误执行结果。
在本步骤中，若是，则针对识别音频信号的信息的正确识别记录累计增加一次，若否，则针对识别音频信号的信息的错误识别记录累计增加一次。
S310、检测语音系统是否调用了应用程序，并累计正确执行结果或错误执行结果。
在本步骤中，若是，则执行步骤S311，且针对调用应用程序的正确识别记录累计增加一次，若否，则针对调用应用程序的错误识别记录累计增加一次。
在本实施例中，若目标音频中包含了打开其它应用程序的指令，则需要检测其是否打开了对应的应用程序。
S311、检测被调用的应用程序是否为目标音频对应的目标应用，并累计正确执行结果或错误执行结果。
在本步骤中，若是，则针对调用音频信号对应的目标应用的正确识别记录累计增加一次，若否，则针对调用音频信号对应的目标应用的错误识别记录累计增加一次。
S312、对正确执行结果和/或错误执行结果进行统计并输出语音系统的评估测试结果。
在本步骤中，在经过大量的语音测试后，将所有的检测结果进行汇总统计，如根据识别正确和识别错误的数量来统计语音系统的识别率，进而帮助测试人员或研发人员对语音系统的工作状态进行评估，以及时修正或改进语音系统。
本实施例提供了一种语音系统测试方法，通过获取用户输入的调用指令；然后根据调用指令中的关键字信息确定目标音频，判断本地的测试音频库中是否存在与关键字信息对应的目标音频；若是，则将目标音频发送给语音系统；若否，则以预设方式生成目标音频，并将目标音频发送给语音系统，以对语音系统进行语音测试。解决了现有技术存在的单纯依赖人工测试导致无法实现标准化测试的技术问题。达到了将环境变量和测试人员变量排除在语音系统测试的影响因子之外，使得测试结果更加标准化，便于后期进行数据比较分析的技术效果。
图4为本申请实施例提供的一种语音系统测试装置的结构示意图。该语音系统测试装置400可以通过软件、硬件或者两者的结合实现。
如图4所示，该语音系统测试装置400包括：
获取模块，用于用户输入的调用指令；
处理模块，用于：
根据调用指令中的关键字信息，检索本地的测试音频库中是否存在与关键字信息对应的本地音频；
若是，则将检索到的本地音频作为目标音频；
若否，则接收在线方式基于关键字信息生成的在线音频，将在线音频作为目标音频；
利用目标音频生成音频信号并发送给语音系统，以对语音系统进行语音测试。
在一种可能的设计中，处理模块，用于利用音频播放器播放目标音频，并将音频播放器输出的音频信号发送给语音系统的音频采集接口。
在一种可能的设计中，目标音频的文件名包含关键字信息。
在一种可能的设计中，处理模块，用于利用文字语音转换工具(如TTS(Text ToSpeech)转换关键字信息，以生成目标音频。
在一种可能的设计中，处理模块，还用于将在线音频存储到本地的测试音频库中。
在一种可能的设计中，处理模块，还用于：
检测语音系统的交互界面是否有针对音频信号的回馈显示，并累计针对音频信号的回馈显示的正确执行结果或错误执行结果；
若检测语音系统的交互界面有针对音频信号的回馈显示，则检测回馈显示的内容是否正确识别音频信号，并累计针对识别音频信号的正确执行结果或错误执行结果。
在一种可能的设计中，处理模块，还用于：若检测语音系统的交互界面没有针对音频信号的回馈显示，则检测语音系统是否记录操作日志，并累计针对记录操作日志的正确执行结果或错误执行结果；
若是，则检测操作日志中是否包括正确识别音频信号的信息，并累计针对识别音频信号的信息的正确执行结果或错误执行结果。
在一种可能的设计中，处理模块，还用于：若检测到语音系统没有记录操作日志，则检测语音系统是否调用应用程序，并累计针对调用应用程序的正确执行结果或错误执行结果；
若是，则检测被调用的应用程序是否为音频信号对应的目标应用，并累计针对调用音频信号对应的目标应用的正确执行结果或错误执行结果。
在一种可能的设计中，处理模块，还用于：
对所有正确执行结果和/或所有错误执行结果进行统计并输出语音系统的评估测试结果。
值得说明的是，图4所示实施例提供的装置，可以执行上述任一方法实施例中所提供的方法，其具体实现原理、技术特征、专业名词解释以及技术效果类似，在此不再赘述。
图5为本申请实施例提供的一种电子设备的结构示意图。如图5所示，该电子设备500，可以包括：至少一个处理器501和存储器502。图5示出的是以一个处理器为例的电子设备。
存储器502，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器502可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器501用于执行存储器502存储的计算机执行指令，以实现以上各方法实施例所述的方法。
其中，处理器501可能是一个中央处理器(central processing unit，简称为CPU)，或者是特定集成电路(application specific integrated circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地，存储器502既可以是独立的，也可以跟处理器501集成在一起。当所述存储器502是独立于处理器501之外的器件时，所述电子设备500，还可以包括：
总线503，用于连接所述处理器501以及所述存储器502。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器502和处理器501集成在一块芯片上实现，则存储器502和处理器501可以通过内部接口完成通信。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述各方法实施例中的方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由本申请的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (13)
1.一种语音系统测试方法，其特征在于，包括：
获取用户输入的调用指令；
根据所述调用指令中的关键字信息，检索本地的测试音频库中是否存在与所述关键字信息对应的本地音频；
若是，则将检索到的本地音频作为目标音频；
若否，则接收在线方式基于所述关键字信息生成的在线音频，将所述在线音频作为所述目标音频；
利用所述目标音频生成音频信号并发送给语音系统，以对所述语音系统进行语音测试。
2.根据权利要求1所述的语音系统测试方法，其特征在于，利用所述目标音频生成音频信号并发送给语音系统，包括：
利用音频播放器播放所述目标音频，并将所述音频播放器输出的音频信号发送给所述语音系统的音频采集接口。
3.根据权利要求1所述的语音系统测试方法，其特征在于，所述目标音频的文件名包含所述关键字信息。
4.根据权利要求1所述的语音系统测试方法，其特征在于，所述接收在线方式基于所述关键字信息生成的所述目标音频接收在线方式，包括：
利用文字语音转换工具转换所述关键字信息，以生成所述目标音频。
5.根据权利要求1所述的语音系统测试方法，其特征在于，在接收在线方式基于所述关键字信息生成的在线音频之后，还包括：
将所述在线音频存储到所述本地的测试音频库中。
6.根据权利要求1-5任一项所述的语音系统测试方法，其特征在于，在所述利用所述目标音频生成音频信号并发送给语音系统之后，还包括：
检测所述语音系统的交互界面是否有针对所述音频信号的回馈显示，并累计针对所述音频信号的回馈显示的正确执行结果或错误执行结果；
若检测所述语音系统的交互界面有针对所述音频信号的回馈显示，则检测所述回馈显示的内容是否正确识别所述音频信号，并累计针对识别所述音频信号的正确执行结果或错误执行结果。
7.根据权利要求6所述的语音系统测试方法，其特征在于，还包括：若检测所述语音系统的交互界面没有针对所述音频信号的回馈显示，则检测所述语音系统是否记录操作日志，并累计针对记录所述操作日志的正确执行结果或错误执行结果；
若是，则检测所述操作日志中是否包括正确识别所述音频信号的信息，并累计针对识别所述音频信号的信息的正确执行结果或错误执行结果。
8.根据权利要求7所述的语音系统测试方法，其特征在于，还包括：若检测到所述语音系统没有记录操作日志，则检测所述语音系统是否调用应用程序，并累计针对调用所述应用程序的正确执行结果或错误执行结果；
若是，则检测被调用的应用程序是否为所述音频信号对应的目标应用，并累计针对调用所述音频信号对应的目标应用的正确执行结果或错误执行结果。
9.根据权利要求8所述的语音系统测试方法，其特征在于，还包括：
对所有正确执行结果和/或所有错误执行结果进行统计并输出所述语音系统的评估测试结果。
10.一种语音系统测试装置，其特征在于，包括：
获取模块，用于用户输入的调用指令；
处理模块，用于：
根据所述调用指令中的关键字信息，检索本地的测试音频库中是否存在与所述关键字信息对应的本地音频；
若是，则将检索到的本地音频作为目标音频；
若否，则接收在线方式基于所述关键字信息生成的在线音频，将所述在线音频作为所述目标音频；
利用所述目标音频生成音频信号并发送给语音系统，以对所述语音系统进行语音测试。
11.一种电子设备，其特征在于，包括：处理器以及存储器；
所述存储器，用于存储所述处理器的计算机程序；
所述处理器配置为经由执行所述计算机程序来执行权利要求1至9任一项所述的语音系统测试方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的语音系统测试方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的语音系统测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110963634.7A CN113674769A (zh) | 2021-08-20 | 2021-08-20 | 语音系统测试方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110963634.7A CN113674769A (zh) | 2021-08-20 | 2021-08-20 | 语音系统测试方法、装置、设备、介质及程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113674769A true CN113674769A (zh) | 2021-11-19 |
Family
ID=78544694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110963634.7A Pending CN113674769A (zh) | 2021-08-20 | 2021-08-20 | 语音系统测试方法、装置、设备、介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674769A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114242040A (zh) * | 2021-12-21 | 2022-03-25 | 中国第一汽车股份有限公司 | 一种车载交互系统评估方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101008946A (zh) * | 2006-01-26 | 2007-08-01 | 冉征 | 中文移动通信信息搜索方法及装置 |
| CN101114285A (zh) * | 2006-07-25 | 2008-01-30 | 腾讯科技（深圳）有限公司 | 一种互联网主题文件搜索方法、爬虫系统和搜索引擎 |
| CN103389993A (zh) * | 2012-05-10 | 2013-11-13 | 苏州工业园区苏睿软件技术有限公司 | 移动设备获取网络信息的方法及系统 |
| CN109243425A (zh) * | 2018-08-13 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 语音识别测试方法、装置、系统、计算机设备及存储介质 |
| CN111145737A (zh) * | 2018-11-06 | 2020-05-12 | 中移（杭州）信息技术有限公司 | 语音测试方法、装置和电子设备 |
| CN111899731A (zh) * | 2020-06-16 | 2020-11-06 | 北京百度网讯科技有限公司 | 语音功能的稳定性测试方法、装置、设备和计算机存储介质 |
| CN112949326A (zh) * | 2019-11-26 | 2021-06-11 | 多点(深圳)数字科技有限公司 | 信息查询方法、装置、设备和计算机可读介质 |
-
2021
- 2021-08-20 CN CN202110963634.7A patent/CN113674769A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101008946A (zh) * | 2006-01-26 | 2007-08-01 | 冉征 | 中文移动通信信息搜索方法及装置 |
| CN101114285A (zh) * | 2006-07-25 | 2008-01-30 | 腾讯科技（深圳）有限公司 | 一种互联网主题文件搜索方法、爬虫系统和搜索引擎 |
| CN103389993A (zh) * | 2012-05-10 | 2013-11-13 | 苏州工业园区苏睿软件技术有限公司 | 移动设备获取网络信息的方法及系统 |
| CN109243425A (zh) * | 2018-08-13 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 语音识别测试方法、装置、系统、计算机设备及存储介质 |
| CN111145737A (zh) * | 2018-11-06 | 2020-05-12 | 中移（杭州）信息技术有限公司 | 语音测试方法、装置和电子设备 |
| CN112949326A (zh) * | 2019-11-26 | 2021-06-11 | 多点(深圳)数字科技有限公司 | 信息查询方法、装置、设备和计算机可读介质 |
| CN111899731A (zh) * | 2020-06-16 | 2020-11-06 | 北京百度网讯科技有限公司 | 语音功能的稳定性测试方法、装置、设备和计算机存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李伟超;: "桌面搜索引擎评析", 现代情报, no. 12 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114242040A (zh) * | 2021-12-21 | 2022-03-25 | 中国第一汽车股份有限公司 | 一种车载交互系统评估方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109003602B (zh) | 语音产品的测试方法、装置、设备及计算机可读介质 | |
| CN107516510B (zh) | 一种智能设备自动化语音测试方法及装置 | |
| CN103745731B (zh) | 一种语音识别效果自动化测试系统及测试方法 | |
| CN110473525B (zh) | 获取语音训练样本的方法和装置 | |
| CN109360550A (zh) | 语音交互系统的测试方法、装置、设备和存储介质 | |
| US10997965B2 (en) | Automated voice processing testing system and method | |
| CN111460111A (zh) | 评估自动对话服务的重新训练推荐 | |
| CN110675857A (zh) | 一种语音识别自动化测试系统及方法 | |
| CN104903954A (zh) | 使用基于人工神经网络的亚语音单位区分的说话人验证及识别 | |
| CN109326305B (zh) | 一种批量测试语音识别和文本合成的方法和测试系统 | |
| CN109712608B (zh) | 多音区唤醒测试方法、装置及存储介质 | |
| CN107086040A (zh) | 语音识别能力测试方法和装置 | |
| CN104299623A (zh) | 语音应用中用于自动确认和消歧模块的方法和系统 | |
| CN107591167B (zh) | 一种实现车载多媒体音频兼容性自动检测的方法及系统 | |
| CN111798833A (zh) | 一种语音测试方法、装置、设备和存储介质 | |
| CN110111778A (zh) | 一种语音处理方法、装置、存储介质及电子设备 | |
| KR20180012639A (ko) | 음성 인식 방법, 음성 인식 장치, 음성 인식 장치를 포함하는 기기, 음성 인식 방법을 수행하기 위한 프로그램을 저장하는 저장 매체, 및 변환 모델을 생성하는 방법 | |
| CN110503960A (zh) | 语音识别结果的实时上载方法、装置、设备及存储介质 | |
| CN109190879B (zh) | 一种训练改编水平评价模型、评价改编水平的方法及装置 | |
| CN111724781A (zh) | 音频数据的存储方法、装置、终端及存储介质 | |
| CN107885845B (zh) | 音频分类方法及装置、计算机设备及存储介质 | |
| US20080109223A1 (en) | Information processing apparatus, method and program | |
| CN113674769A (zh) | 语音系统测试方法、装置、设备、介质及程序产品 | |
| US20230030911A1 (en) | Abnormal sound detection method and apparatus | |
| CN110322587B (zh) | 驾驶过程中的评价记录方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220323 Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province Applicant after: Yikatong (Hubei) Technology Co.,Ltd. Address before: 430056 building B, building 7, Qidi Xiexin science and Innovation Park, South Taizi Lake innovation Valley, Wuhan Economic and Technological Development Zone, Wuhan City, Hubei Province (qdxx-f7b) Applicant before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right |