CN109360550B - 语音交互系统的测试方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种语音交互系统的测试方法、装置、设备和存储介质，所述测试方法包括：根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互；从所述语音交互系统获取识别结果数据，所述识别结果数据由所述语音交互系统响应所述语音交互识别得到；根据所述文本测试数据，对所述识别结果数据进行验证。本发明有效地简化整个语音交互系统的测试流程，降低测试流程的耗时，并可以有效降低人力资源，降低人工的重复劳动。

Description

语音交互系统的测试方法、装置、设备和存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种语音交互系统的测试方法、装置、设备和存储介质。

背景技术

现有语音交互系统的测试中，较多关注的是语音交互系统的输出结果准确性，但对于验证以及测试的过程都是通过人工进行。在人工测试流程中，需要大量人力资源、需要多人不断重复进行，以及需要人工统计数据；当修改内容或系统更新后，仍然需要重复以上动作，非常耗时。

发明内容

为了克服上述缺陷，本发明要解决的技术问题是提供一种语音交互系统的测试方法、装置、设备和存储介质，用以至少简化语音交互系统的测试流程。

为解决上述技术问题，本发明实施例中的一种语音交互系统的测试方法，包括：

根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互；

从所述语音交互系统获取识别结果数据，所述识别结果数据由所述语音交互系统响应所述语音交互识别得到；

根据所述文本测试数据，对所述识别结果数据进行验证。

可选地，所述根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互之前，包括：

响应录音请求；根据所述请求录制所述语音测试数据；和/或，

从预设的设备或存储位置调用所述语音测试数据；和/或，

根据所述文本测试数据，模拟生成所述语音测试数据。

可选地，所述根据所述请求录制所述语音测试数据之后，包括：

根据所述设备或存储位置，对录制的所述语音测试数据进行存储。

可选地，所述根据所述文本测试数据，模拟生成所述语音测试数据，包括：

根据所述文本测试数据，调用预设的从文本到语音合成工具模拟语音，以生成所述语音测试数据。

可选地，所述验证包括语音识别验证；所述根据所述文本测试数据，对所述识别结果数据进行验证，包括：

将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对；所述识别文本为所述语音交互系统响应所述语音交互时，对所述语音测试数据识别得到的文本；

根据所述第一比对的结果，进行所述语音识别验证。

可选地，所述将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对，包括：

获取所述语音交互系统的置信度；

在所述置信度高于预先配置的置信度阈值时，将所述识别结果数据中的第一识别文本与所述文本测试数据中的测试问句进行第一比对；所述第一识别文本为所述语音交互系统根据第一语法对所述语音测试数据识别得到的文本；

在所述置信度低于预设的置信度阈值时，将所述识别结果数据中的第二识别文本与所述文本测试数据中的测试问句进行第一比对；所述第二识别文本为所述语音交互系统根据第二语法对所述语音测试数据识别得到的文本。

可选地，所述验证还包括业务类别的流程验证；所述根据所述文本测试数据，对所述识别结果数据进行验证，还包括：

根据所述识别结果数据中的第一问答返回文本与所述文本测试数据中的测试问句所对应的第二问答返回文本进行第二比对；所述第一问答返回文本为所述语音交互系统响应所述语音交互时，识别所述语音测试数据的问答得到的文本；

根据所述第二比对的结果，进行所述业务类别的流程验证。

可选地，所述根据所述文本测试数据，对所述识别结果数据进行验证之后，包括：

根据所述验证的结果，生成测试报告；所述测试报告用于指示对所述语音交互系统进行错误修改和/或性能优化。

可选地，所述文本测试数据包括一个或多个测试问句以及与所述测试问句对应的业务类别、第一问答返回文本和语法文件；所述识别结果数据包括所述语音交互系统响应所述语音交互的处理耗时和识别得到的识别文本以及与所述识别文本对应的业务类别、第二问答返回文本和语法文件；所述测试报告包括所述文本测试数据和所述识别结果数据。

为解决上述技术问题，本发明实施例中的一种语音交互系统的测试装置，包括：

语音输入模块，用于根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互；

识别数据获取模块，用于从所述语音交互系统获取识别结果数据，所述识别结果数据由所述语音交互系统响应所述语音交互识别得到；

验证模块，用于根据所述文本测试数据，对所述识别数据获取模块获取的识别结果数据进行验证。

可选地，所述装置还包括：

语音数据获取模块，用于响应录音请求；根据所述请求录制所述语音测试数据；和/或，

用于从预设的设备或存储位置调用所述语音测试数据；和/或，

用于根据所述文本测试数据，模拟生成所述语音测试数据。

可选地，所述装置还包括：

语音数据存储模块，用于根据所述设备或存储位置，对录制的所述语音测试数据进行存储。

可选地，所述语音数据获取模块，在用于根据所述文本测试数据，模拟生成所述语音测试数据时，具体用于根据所述文本测试数据，调用预设的从文本到语音合成工具模拟语音，以生成所述语音测试数据。

可选地，所述验证包括语音识别验证；所述验证模块包括：

第一比对单元，用于将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对；所述识别文本为所述语音交互系统响应所述语音交互时，对所述语音测试数据识别得到的文本；

第一验证单元，用于根据所述第一比对的结果，进行所述语音识别验证。

可选地，所述第一比对单元，具体用于获取所述语音交互系统的置信度；在所述置信度高于预先配置的置信度阈值时，将所述识别结果数据中的第一识别文本与所述文本测试数据中的测试问句进行第一比对；所述第一识别文本为所述语音交互系统根据第一语法对所述语音测试数据识别得到的文本；在所述置信度低于预设的置信度阈值时，将所述识别结果数据中的第二识别文本与所述文本测试数据中的测试问句进行第一比对；所述第二识别文本为所述语音交互系统根据第二语法对所述语音测试数据识别得到的文本。

可选地，所述验证还包括业务类别的流程验证；所述验证模块还包括：

第二比对单元，用于根据所述识别结果数据中的第一问答返回文本与所述文本测试数据中的测试问句所对应的第二问答返回文本进行第二比对；所述第一问答返回文本为所述语音交互系统响应所述语音交互时，识别所述语音测试数据的问答得到的文本；

第二验证单元，用于根据所述第二比对的结果，进行所述业务类别的流程验证。

可选地，所述装置还包括：

报告生成模块，用于根据所述验证的结果，生成测试报告；所述测试报告用于指示对所述语音交互系统进行错误修改和/或性能优化。

可选地，所述文本测试数据包括一个或多个测试问句以及与所述测试问句对应的业务类别、第一问答返回文本和语法文件；所述识别结果数据包括所述语音交互系统响应所述语音交互的处理耗时和识别得到的识别文本以及与所述识别文本对应的业务类别、第二问答返回文本和语法文件；所述测试报告包括所述文本测试数据和所述识别结果数据。

为解决上述技术问题，本发明实施例中的一种电子设备，包括处理器和存储器；

所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现如上任一项所述方法的步骤。

为解决上述技术问题，本发明实施例中的一种计算机存储介质，存储有语音交互系统的测试计算机程序；所述计算机程序可被至少一个处理器执行，以实现如上任意一项所述方法的步骤。

本发明各个实施例直接通过配置的语音测试数据，对语音交互系统进行语音交互，从而可以收集语音交互系统返回的识别结果数据，进而可以通过语音测试数据来对识别结果数据进行验证，从而简化整个语音交互系统的测试流程，降低测试流程的耗时，并可以有效降低人力资源，降低人工的重复劳动。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中一种语音交互系统的测试方法的主流程图；

图2是本发明实施例中一种可选地语音交互系统的测试方法的流程图；

图3是本发明实施例中一种语音交互系统的测试装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

使用用于区分元件的诸如“第一”、“第二”等前缀仅为了有利于本发明的说明，其本身没有特定的意义。

实施例一

本发明实施例提供一种语音交互系统的测试方法，如图1所示，所述方法包括：

S101，根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互；

S102，从所述语音交互系统获取识别结果数据，所述识别结果数据由所述语音交互系统响应所述语音交互识别得到；

S103，根据所述文本测试数据，对所述识别结果数据进行验证。

其中，文本测试数据可以包括测试问句，以及测试问句对应的返回值或语法文件、业务类别名称等；业务类别主要用于区分语音测试数据所属的业务，例如用于银行自助业务。识别结果数据可以包括识别文本、问答返回文本、业务类别名称、语法文件等；其中识别文本为对语音测试数据识别得到的文本；问答返回文本为识别所述语音测试数据的问答，响应该问答得到的文本。

本发明实施例直接通过配置的语音测试数据，对语音交互系统进行语音交互，从而可以收集语音交互系统返回的识别结果数据，进而可以通过语音测试数据来对识别结果数据进行验证，从而简化整个语音交互系统的测试流程，降低测试流程的耗时，并可以有效降低人力资源，降低人工的重复劳动。

当然，在具体实现过程中，在S101之前，可以将语音测试数据存储到对应数据库，并建立数据库索引；从而在执行S101时，可以根据数据库索引从相应的数据库中读取语音测试数据。

在本发明实施例的一些实施方式中，所述根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互之前，可以包括：

响应录音请求；根据所述请求录制所述语音测试数据；和/或，

从预设的设备或存储位置调用所述语音测试数据；和/或，

根据所述文本测试数据，模拟生成所述语音测试数据。

也就是说，在一些实施方式中，可以通过录音的方式、调用的方式以及模拟语音的方式来获取语音测试数据，从而使得本发明实施例中方法可以有效满足不同的测试场景。

其中，所述根据所述请求录制所述语音测试数据之后，可选地可以包括：根据所述设备或存储位置，对录制的所述语音测试数据进行存储。例如，通过预设的工具页面查找预置的录音界面进行录音，录音完成后可以选择试听确保自身录音与测试问句内容一致。语音测试数据保存在服务器固定目录下，可以反复调用，对指定接口进行测试。也就是说，将录制的语音测试数据进行存储后，在后续的测试过程中，可以直接调用该语音测试数据，从而无需人工进行多次录音，进而在录音场景中有效降低人力资源，进一步有效简化测试流程，并有效降低测试流程的耗时。

其中，所述根据所述文本测试数据，模拟生成所述语音测试数据，可选地包括：根据所述文本测试数据，调用预设的从文本到语音合成工具模拟语音，以生成所述语音测试数据。文本到语音合成工具可以为TTS(Text To Speech)合成工具。例如，通过TTS合成工具可以模拟男声与女声，虽然在合成的声音与真人声线略有差异，可能会与实际效果有所偏差，但是在测试内容导入后执行即可节约大量人力。也就是说，在一些实施方式中，通过的从文本到语音合成工具模拟语音，从而可以自动生成语音测试数据，而无需人工参与，进而有效降低人力资源，进一步有效简化测试流程，并有效降低测试流程的耗时。

在本发明实施例的一些实施方式中，所述验证包括语音识别验证；所述根据所述文本测试数据，对所述识别结果数据进行验证，可以包括：

将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对；所述识别文本为所述语音交互系统响应所述语音交互时，对所述语音测试数据识别得到的文本；

根据所述第一比对的结果，进行所述语音识别验证。在具体验证过程中，可以根据比对的结果进行标记。

也就是说，在一些实施方式中，通过将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对，进而根据比对的结果，就可以实现语音识别验证，从而进一步简化测试流程。

其中，所述将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对，可选地可以包括：

获取所述语音交互系统的置信度；

在所述置信度高于预先配置的置信度阈值时，将所述识别结果数据中的第一识别文本与所述文本测试数据中的测试问句进行第一比对；所述第一识别文本为所述语音交互系统根据第一语法对所述语音测试数据识别得到的文本；

在所述置信度低于预设的置信度阈值时，将所述识别结果数据中的第二识别文本与所述文本测试数据中的测试问句进行第一比对；所述第二识别文本为所述语音交互系统根据第二语法对所述语音测试数据识别得到的文本。

其中，在所述置信度等于预先配置的置信度阈值时，可以将所述识别结果数据中的第一识别文本与所述文本测试数据中的测试问句进行第一比对，也可以将所述识别结果数据中的第二识别文本与所述文本测试数据中的测试问句进行第一比对。

其中，第一语法可以是小模型(语法)；第二语法可以是大模型(语法)。语法是由语法文件确定的；例如小模型(语法)可能对应多个语法文件；大模型(语法)可能对应一个语法文件。

小模型(语法)是利用ASR技术(Automatic Speech Recognition)进行语音识别，但识别范围较小仅限在文件中编辑的内容。常解析文件的模块有NR(NuanceRecognition)。大模型(语法)是利用ASR技术(Automatic Speech Recognition)进行语音识别，识别范围包含较广但需要较多资源进行运行，所以多放在云端调用。常见的解析模块有NTE(Nuance Transcription Engine)。例如，语音测试数据进入语音交互系统，通过NR调用小模型(语法)文件解析，通过NTE调用大模型(语法)文件解析；语音交互系统计算置信度高于置信度阈值时，根据小模型结果输出返回内容；低于置信度阈值时，根据大模型结果输出返回内容；返回内容依照流程文件与语法文件的配置进行内容输出，语音交互系统的前端播报对应的语音回复用户。

其中，语音识别验证主要用于单句识别，验证的正确规则包括：

置信度高于置信度阈值时，小模型(语法)识别结果包含测试问句；

置信度低于置信度阈值时，大模型(语法)识别结果包含测试问句。

验证的错误规则包括：

除识别正确的两项内容其余皆标记为错误。

当然，现有技术中需要人工多次测试，从而验证测试效果；而在本发明实施例中各语音系统的置信度阈值可以设置在46到48，并且可以通过预设调整控件(例如按钮)对置信度阈值进行调整，从而将置信度阈值传输给语音交互系统，使得语音交互系统响应修改。

其中，所述验证还包括业务类别的流程验证；所述根据所述文本测试数据，对所述识别结果数据进行验证，可选地可以包括：

根据所述识别结果数据中的第一问答返回文本与所述文本测试数据中的测试问句所对应的第二问答返回文本进行第二比对；所述第一问答返回文本为所述语音交互系统响应所述语音交互时，识别所述语音测试数据的问答得到的文本；

根据所述第二比对的结果，进行所述业务类别的流程验证。

在进行业务类别的流程验证时，所述文本测试数据还包括与业务类别对应的语音交互流程。

也就是说，所述根据所述识别结果数据中的第一问答返回文本与所述文本测试数据中的测试问句所对应的第二问答返回文本进行第二比对，可以包括：按照所述语音交互流程，根据所述识别结果数据中的第一问答返回文本与所述文本测试数据中的测试问句所对应的第二问答返回文本进行第二比对。

在业务类别的流程验证过程中，正确规则可以包括：

语音交互系统的返回值(识别结果数据中的第一问答返回文本)与导入的数据(文本测试数据中的测试问句所对应的第二问答返回文本)相同

错误规则：

语音交互系统的返回值与导入数据不同。

也就是说，在一些实施方式中，根据所述识别结果数据中的第一问答返回文本与所述文本测试数据中的测试问句所对应的第二问答返回文本进行第二比对，进而根据比对的结果，就可以实现业务类别的流程验证，从而进一步简化测试流程。

在本发明实施例的一些实施方式中，所述根据所述文本测试数据，对所述识别结果数据进行验证之后，可以包括：

根据所述验证的结果，生成测试报告；所述测试报告用于指示对所述语音交互系统进行错误修改和/或性能优化。

也就是说，在一些实施方式中，无需人工参与即可生成测试报告，从而进一步简化语音交互系统的测试流程。

其中，所述文本测试数据包括一个或多个测试问句以及与所述测试问句对应的业务类别、第一问答返回文本和语法文件；所述识别结果数据包括所述语音交互系统响应所述语音交互的处理耗时和识别得到的识别文本以及与所述识别文本对应的业务类别、第二问答返回文本和语法文件；所述测试报告包括所述文本测试数据、所述识别结果数据和验证结果。

其中，在一些实施方式中，测试报告还可以包括测试耗时；测试耗时用于指示可根据预设的时间阈值，优化语音交互系统中耗时大于时间阈值的逻辑模块。

例如，测试报告可以采用报表的形式，生成的报表可以包括了测试问句原文、语音交互系统解析语音测试数据的文本形式的识别结果数据(大小2个模型的解析内容)、数据触发的语法文件(.Gram文件)、对应的标签(tag)、置信度、耗时、TTS性别、业务类别(根据语音项目客户需求人工填写，如银行语音系统的余额查询功能，业务类别为余额查询流程。外呼催收流程，业务类别为催收本人同意流程或催收本人不同意流程，用来区分语句对应的内容属于那一项或哪个流程)、对错的判断结果。该报表为测试完成后最后的反馈表格，显示在专门的报表页面供用户查看、导出、分析使用。

本发明实施例提供的各种实施方式可以任意组合，从而可以得到一种具体的语音交互系统的测试方法；并且上述的各个实施方式可以大量减少人力消耗，并通过生成反馈报告，通过直观的反馈内容改善及优化了错误修改的流程。

实施例二

本发明实施例基于实施例一，提供一种具体的语音交互系统的测试方法，如图2所示，所述方法包括：

步骤1，导入文本测试数据。

步骤2，存储到相应的数据库，并建立数据库索引。文本测试数据中可以包括测试问句以及其对应的返回值或语法文件、类别名称。

步骤3，接收用户选择的语音测试数据的获取方式；选择录音方式执行步骤4；选择合成方式执行步骤6。

步骤4，进行录音：根据文本测试数据，通过预设的工具页面查找预置的录音界面进行录音，得到对应的语音测试数据，录音完成后可以选择试听确保自身录音与测试问句内容一致。

步骤5，语音测试数据保存在服务器固定目录下，可以反复调用，对指定接口进行测试；然后执行步骤7。

步骤6，根据文本测试数据，进行TTS合成，得到语音测试数据；然后执行步骤7。

步骤7，测试环境与参数配置，包括：配置语音交互系统的接口、配置测试启动时间和配置置信度阈值。

步骤8，根据配置的参数，将对应的语音测试数据与待测试的语音交互系统进行语音交互，从而进行测试。

步骤9，根据测试的结果，生成测试报告。

步骤10，存储测试报告。

步骤11，输出测试报告结果。

针对语音交互系统的测试，现在绝大多数企业只能通过使用大量人力资源进行人工测试或上传语音批量测试。人工测试需要多人且不断重复进行测试识别率与流程的准确性，并且两者最后都需要人工统计数据，当修改内容或系统更新后，需要重复以上动作，非常耗时。而本发明实施例可以有效解决这些问题，可以大量减少人力消耗，并通过生成反馈报告，通过直观的反馈内容，改善及优化错误修改的流程。

实施例三

本发明实施例提供一种语音交互系统的测试装置，如图3所示，所述装置对应实施例一和实施例二中的方法，所述装置包括：

语音输入模块20，用于根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互；

识别数据获取模块22，用于从所述语音交互系统获取识别结果数据，所述识别结果数据由所述语音交互系统响应所述语音交互识别得到；

验证模块24，用于根据所述文本测试数据，对所述识别数据获取模块22获取的识别结果数据进行验证。

在本发明实施例的一些实施方式中，所述装置还包括：

语音数据获取模块，用于响应录音请求；根据所述请求录制所述语音测试数据；和/或，

用于从预设的设备或存储位置调用所述语音测试数据；和/或，

用于根据所述文本测试数据，模拟生成所述语音测试数据。

在本发明实施例的一些实施方式中，所述装置还包括：

语音数据存储模块，用于根据所述设备或存储位置，对录制的所述语音测试数据进行存储。

在本发明实施例的一些实施方式中，所述语音数据获取模块，在用于根据所述文本测试数据，模拟生成所述语音测试数据时，具体用于根据所述文本测试数据，调用预设的从文本到语音合成工具模拟语音，以生成所述语音测试数据。

在本发明实施例的一些实施方式中，所述验证包括语音识别验证；所述验证模块24包括：

第一比对单元，用于将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对；所述识别文本为所述语音交互系统响应所述语音交互时，对所述语音测试数据识别得到的文本；

第一验证单元，用于根据所述第一比对的结果，进行所述语音识别验证。

在本发明实施例的一些实施方式中，所述第一比对单元，具体用于获取所述语音交互系统的置信度；在所述置信度高于预先配置的置信度阈值时，将所述识别结果数据中的第一识别文本与所述文本测试数据中的测试问句进行第一比对；所述第一识别文本为所述语音交互系统根据第一语法对所述语音测试数据识别得到的文本；在所述置信度低于预设的置信度阈值时，将所述识别结果数据中的第二识别文本与所述文本测试数据中的测试问句进行第一比对；所述第二识别文本为所述语音交互系统根据第二语法对所述语音测试数据识别得到的文本。

在本发明实施例的一些实施方式中，所述验证还包括业务类别的流程验证；所述验证模块24还包括：

第二比对单元，用于根据所述识别结果数据中的第一问答返回文本与所述文本测试数据中的测试问句所对应的第二问答返回文本进行第二比对；所述第一问答返回文本为所述语音交互系统响应所述语音交互时，识别所述语音测试数据的问答得到的文本；

第二验证单元，用于根据所述第二比对的结果，进行所述业务类别的流程验证。

在本发明实施例的一些实施方式中，所述装置还包括：

报告生成模块，用于根据所述验证的结果，生成测试报告；所述测试报告用于指示对所述语音交互系统进行错误修改和/或性能优化。

在本发明实施例的一些实施方式中，所述文本测试数据包括一个或多个测试问句以及与所述测试问句对应的业务类别、第一问答返回文本和语法文件；所述识别结果数据包括所述语音交互系统响应所述语音交互的处理耗时和识别得到的识别文本以及与所述识别文本对应的业务类别、第二问答返回文本和语法文件；所述测试报告包括所述文本测试数据和所述识别结果数据。

实施例四

本发明实施例提供一种电子设备包括处理器和存储器；所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现如实施例一和实施例二中任意一项所述方法的步骤。

其中电子设备可以包括台式电脑和移动终端；移动终端可以包括手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等。

实施例五

本发明实施例提供一种计算机存储介质，其特征在于，所述介质存储有语音交互系统的测试计算机程序；所述计算机程序可被至少一个处理器执行，以实现如实施例一和实施例二中任意一项所述方法的步骤。

需要说明的是，实施例三至实施例五的具体实现可以参阅实施例一和实施例二，具有相应的技术效果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种语音交互系统的测试方法，其特征在于，所述方法包括：

根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互；

从所述语音交互系统获取识别结果数据，所述识别结果数据由所述语音交互系统响应所述语音交互识别得到；

根据所述文本测试数据，对所述识别结果数据进行验证；

所述验证包括语音识别验证；所述根据所述文本测试数据，对所述识别结果数据进行验证，包括：将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对；所述识别文本为所述语音交互系统响应所述语音交互时，对所述语音测试数据识别得到的文本；根据所述第一比对的结果，进行所述语音识别验证；

所述将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对，包括：

获取所述语音交互系统的置信度；

在所述置信度高于预先配置的置信度阈值时，将所述识别结果数据中的第一识别文本与所述文本测试数据中的测试问句进行第一比对；所述第一识别文本为所述语音交互系统根据第一语法对所述语音测试数据识别得到的文本；

在所述置信度低于预设的置信度阈值时，将所述识别结果数据中的第二识别文本与所述文本测试数据中的测试问句进行第一比对；所述第二识别文本为所述语音交互系统根据第二语法对所述语音测试数据识别得到的文本。

2.如权利要求1所述的方法，其特征在于，所述根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互之前，包括：

响应录音请求；根据所述请求录制所述语音测试数据；和/或，

从预设的设备或存储位置调用所述语音测试数据；和/或，

根据所述文本测试数据，模拟生成所述语音测试数据。

3.如权利要求1所述的方法，其特征在于，所述验证还包括业务类别的流程验证；所述根据所述文本测试数据，对所述识别结果数据进行验证，还包括：

根据所述识别结果数据中的第一问答返回文本与所述文本测试数据中的测试问句所对应的第二问答返回文本进行第二比对；所述第一问答返回文本为所述语音交互系统响应所述语音交互时，识别所述语音测试数据的问答得到的文本；

根据所述第二比对的结果，进行所述业务类别的流程验证。

4.如权利要求1或2所述的方法，其特征在于，所述根据所述文本测试数据，对所述识别结果数据进行验证之后，包括：

根据所述验证的结果，生成测试报告；所述测试报告用于指示对所述语音交互系统进行错误修改和/或性能优化。

5.如权利要求4所述的方法，其特征在于，所述文本测试数据包括一个或多个测试问句以及与所述测试问句对应的业务类别、第一问答返回文本和语法文件；所述识别结果数据包括所述语音交互系统响应所述语音交互的处理耗时和识别得到的识别文本以及与所述识别文本对应的业务类别、第二问答返回文本和语法文件；所述测试报告包括所述文本测试数据和所述识别结果数据。

6.一种语音交互系统的测试装置，其特征在于，所述装置包括：

语音输入模块，用于根据与文本测试数据对应的语音测试数据，与待测试的语音交互系统进行语音交互；

识别数据获取模块，用于从所述语音交互系统获取识别结果数据，所述识别结果数据由所述语音交互系统响应所述语音交互识别得到；

验证模块，用于根据所述文本测试数据，对所述识别数据获取模块获取的识别结果数据进行验证；所述验证包括语音识别验证；所述根据所述文本测试数据，对所述识别结果数据进行验证，包括：将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对；所述识别文本为所述语音交互系统响应所述语音交互时，对所述语音测试数据识别得到的文本；根据所述第一比对的结果，进行所述语音识别验证；所述将所述识别结果数据中的识别文本与所述文本测试数据中的测试问句进行第一比对，包括：获取所述语音交互系统的置信度；在所述置信度高于预先配置的置信度阈值时，将所述识别结果数据中的第一识别文本与所述文本测试数据中的测试问句进行第一比对；所述第一识别文本为所述语音交互系统根据第一语法对所述语音测试数据识别得到的文本；在所述置信度低于预设的置信度阈值时，将所述识别结果数据中的第二识别文本与所述文本测试数据中的测试问句进行第一比对；所述第二识别文本为所述语音交互系统根据第二语法对所述语音测试数据识别得到的文本；

报告生成模块，用于根据所述验证的结果，生成测试报告；所述测试报告用于指示对所述语音交互系统进行错误修改和/或性能优化；

所述文本测试数据包括一个或多个测试问句以及与所述测试问句对应的业务类别、第一问答返回文本和语法文件；所述识别结果数据包括所述语音交互系统响应所述语音交互的处理耗时和识别得到的识别文本以及与所述识别文本对应的业务类别、第二问答返回文本和语法文件；所述测试报告包括所述文本测试数据和所述识别结果数据。

7.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现权利要求1至5中任一项所述的语音交互系统的测试方法的步骤。

8.一种计算机存储介质，其特征在于，所述介质存储有语音交互系统的测试计算机程序；所述计算机程序可被至少一个处理器执行，以实现如权利要求1至5中任意一项所述的语音交互系统的测试方法的步骤。

Images