CN115982000A - 一种全场景语音机器人测试系统、方法、介质 - Google Patents

Abstract

本发明涉及一种全场景语音机器人测试系统、方法、介质，所述系统包括：测试管理模块，用于管理测试任务及测试数据，用于管理预设的多种测试场景，用于根据预期结果和实际测试结果，获取测试评价指标；电话作业平台模块，用于获取待测试语音机器人的语音数据，用于将语音数据转换为预设格式并传输到测试管理模块进行测试，用于从测试管理模块获取测试数据并发送给待测试语音机器人；模拟作业模块，用于获取待测试语音机器人的与预设格式匹配的模拟语音信息，用于从测试管理模块获取测试数据并发送给待测试语音机器人，用于将模拟语音信息解析后传输到测试管理模块进行测试。与现有技术相比，本发明摆脱了对语音识别和合成的依赖，提高测试准确度。

Description

一种全场景语音机器人测试系统、方法、介质

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种全场景语音机器人测试系统、方法、介质。

背景技术

如今智能语音机器人发展十分迅速，广泛应用于银行、保险、电商客服领域。银行金融业，业务应用场景多，且安全性、合规性要求高，所以智能语音机器人后台系统功能很庞大和复杂，要保证各种场景下交互的流畅性、准确性，就必须进行大规模的测试。而目前市场上缺少应用于自助语音测试的成熟自动化测试产品，只能依赖人工手动测试。

目前手动测试包括以下明显问题：(1)手动拨打电话测试，效率低下，测试周期长；(2)多轮覆盖所有场景的回归测试，重复工作量大，人力投入大。另外，现有的语音自动化测试技术严重依赖语音识别技术(ASR)和语音合成技术(TTS)采用真实拨打电话方式测试，测试程序模拟用户操作，将收到的音频转化成文字后再和预期结果进行匹配性验证。这种测试技术本身存在一些问题：(1)ASR技术识别准确率难以保证，特别是金融行业有较多专业词汇，导致测试准确率不高，如果进行专业词汇训练，同样需要投入大量人力进行语音标注；(2)依赖真实电话环境测试，对电话平台、ASR、TTS等资源依赖性高，如果进行高并发测试，资源投入较大，成本很高。(3)电话测试是在静音环境下开展，没有环境噪音，和真实环境差别较大，测试结果也和真实环境运行情况有所不符。

部分现有的自动化测试系统，仍然存在测试方法单一、只能通过获取语音流地方式进行测试地问题，极大限制了适用的测试场景。

中国专利申请号CN202110439929.4公开了一种测试方法、装置及设备，所述方法应用于自动化测试系统，所述自动化测试系统中存储有包含测试场景上下文关系的测试案例，所述方法包括：接收被测系统播报的第一语音流；从所述测试案例中获取第一预期测试结果和第一应答内容；校验所述第一语音流与所述第一预期测试结果，记录校验结果；将所述第一应答内容发送至所述被测系统；所述第一应答内容用于使所述被测系统进行下一轮交互；判断所述测试案例中上下文是否测试完；在测试完成的情况下，获取所有校验结果。但是，该专利的测试对象限定为语音流，“先放音，再语音识别成文本”这一环节容易导致测试不准确，同时限制了测试的应用场景。

综上，现有的语音机器人测试系统存在如下缺点：

(1)传统的手动测试方法存在效率低下、测试周期长，而且多轮覆盖所有场景的回归测试，重复工作量大，人力投入大。

(2)现有的语音自动化测试方法严重依赖语音识别技术(ASR)和语音合成技术(TTS)采用真实拨打电话方式测试，测试程序模拟用户操作，将收到的音频转化成文字后再和预期结果进行匹配性验证。该技术存在ASR技术识别准确率低、并发测试的资源投入大、成本高，电话测试与真实环境差别大等问题。

(3)现有的语音自动化测试方法适用的测试场景有限，无法适配多种测试场景。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种全场景语音机器人测试系统、方法、介质，通过实现模拟语音交互，减少实际语音播报环节，从而节省系统资源与测试成本。

本发明的目的可以通过以下技术方案来实现：

根据本发明的一个方面，提供了一种全场景语音机器人测试系统，包括：

测试管理模块，用于通过人工选择或设置测试任务，选取测试场景和测试范围，匹配测试数据并发送给模拟作业模块以发起模拟通话，从模拟作业模块获取实际测试结果，根据实际测试结果和预期结果，获取测试评价指标；

模拟作业模块，用于根据所述测试数据向待测试语音机器人发送当前步骤的请求信息，获取来自待测试语音机器人的模拟语音信息，根据所述模拟语音信息，经过解析后获取当前步骤的实际测试结果，从所述测试管理模块获取测试评价指标，判断当前测试步骤是否通过，若否，记录断点信息并结束测试，若是，记录所述测试评价指标并进行下一测试步骤，直至完成所有测试步骤。

作为优选的技术方案，所述的测试管理模块包括：

测试案例管理单元，用于根据用户选择的思维导航树的节点，选定测试范围，所述思维导航树预置在所述测试案例管理单元内；

测试场景管理单元，用于根据用户的选择，从预置的多种场景中选取用于测试的测试场景；

测试数据管理单元，用于根据所述测试范围以及所述测试场景，选取匹配的测试数据以及对应的预期结果；

测试结果匹配单元，用于根据所述预期结果以及来自所述模拟作业模块的实际测试结果，通过预设的算法获取所述测试评价指标。

作为优选的技术方案，所述的算法为文本匹配算法和/或关键信息算法。

作为优选的技术方案，所述的测试管理模块还包括：

自动化测试单元，用于根据预设的测试任务，自动选取所述测试场景和所述测试场景。

作为优选的技术方案，所述的测试管理模块还包括：

测试结果管理单元，用于根据所述测试评价指标，通过统计正常流程记录、异常交互记录、特殊场景交互记录，实现测试评价指标的可视化。

作为优选的技术方案，所述的测试场景包括机器人版本功能测试、机器人系统功能回归测试、机器人平台压力测试、放音和识别准确率测试、噪音背景音模拟测试中的一个或多个。

作为优选的技术方案，所述的模拟作业模块包括：

信号输入模拟单元，用于获取所述测试数据；

语音应用请求单元，用于根据所述测试数据向所述待测试语音机器人发送当前测试步骤的请求信息，获取模拟语音数据并传输给解析单元，从所述测试管理模块获取当前测试步骤对应的测试评价指标，判断当前测试步骤是否通过，若否，记录断点信息，结束本次测试，若否，执行测试任务的下一步骤，直至完成所有步骤；

解析单元，用于对所述模拟语音数据进行解析，获取实际测试结果并传输给所述测试管理模块。

作为优选的技术方案，包括如下步骤：

通过人工选择或设置测试任务，选取测试场景和测试范围，根据所述测试场景和测试范围，获取匹配的测试数据和预期结果；

根据所述测试数据，向待测试语音机器人发起模拟通话；

向所述待测试语音机器人发送当前步骤的请求信息，获取当前步骤的实际测试结果，根据所述实际测试结果以及所述预期结果，获取测试评价指标，根据所述测试评价指标判断当前测试步骤是否通过，若否，记录断点信息并结束测试，若是，记录所述测试评价指标并进行下一项测试内容，直至完成所述测试任务。

根据本发明的另一个方面，提供了一种全场景语音机器人测试方法，包括如下步骤：

通过人工选择或设置测试任务，选取测试场景和测试范围，根据所述测试场景和测试范围，获取匹配的测试数据和预期结果；

根据所述测试数据，向待测试语音机器人发起模拟通话；

向所述待测试语音机器人发送当前步骤的请求信息，获取当前步骤的实际测试结果，根据所述实际测试结果以及所述预期结果，获取测试评价指标，根据所述测试评价指标判断当前测试步骤是否通过，若否，记录断点信息并结束测试，若是，记录所述测试评价指标并进行下一项测试内容，直至完成所述测试任务。

根据本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述全场景语音机器人测试方法的指令。

与现有技术相比，本发明具有以下优点：

(1)设置了模拟作业模块，摆脱了对语音平台、语音识别和语音合成等资源的依赖，可以节省大量的系统资源与测试成本。

(2)采用基于VXML文本的测试方法，摒弃“先放音，再语音识别成文本”这个准确率受产品限制的环节，直击底层协议，提取目标系统原始文本，进行文本匹配，测试准确率可以大大提升。

(3)不受语音资源限制，可以支持高并发、大批量测试，一方面可以提高测试效率，另一方面可以提供一种有效的压力测试解决方案。

(4)具备多种测试场景的模拟能力，大大提高了测试覆盖率。

(5)测试过过程中不必须采用语音识别及语音合成技术，能够提高业务数据的准确性，对于银行、金融等后台业务逻辑复杂、准确性要求高的业务领域有更好的适用性。

(6)模拟作业模块在当前步骤结束后，从测试管理模块获取本步骤的测试评价指标，并判断是否通过，若通过则执行下一测试步骤，实现语音交互并有效形成测试闭环。

附图说明

图1为实施例1中的全场景语音机器人测试系统结构示意图；

图2为实施例1中采用的VXML协议的示意图；

图3为实施例1中模拟作业测试过程示意图；

图4为实施例1中电话平台测试过程示意图；

图5为实施例1中背景音模拟测试示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例1

如图1所述，本实施例提供了一种全场景语音机器人测试系统，包括3大模块：电话作业平台模块、模拟作业模块以及测试管理模块。

本实施例中，待测试的语音机器人可以分成3个部分：语音应用定义集合、语音应用处理器、电话作业平台，如图1中待测试语音机器人部分所示。语音应用定义集合是业务开发阶段的产物，根据业务需要定义的多种语音应用流程，可以是JAVA文件、XML文件或者是数据库中的表，定义了语音流程的数据和走向。语音应用处理器解析语音应用流程定义文件，循环处理文件中定义的各节点，如果是数据类则调用业务处理模块进行数据加工，如果是语音类，则进行VXML文件组装，并将组装好的VXML文件发送到电话作业平台。电话作业平台则解析收到的VXML文件，利用TTS语音合成和ASR语音识别等外设智能设备进行放音和收音处理。

本实施例提供的语音机器人测试系统的各模块结构和运行原理如下：

1、测试管理模块，主要提供测试任务的创建、配置、管理、监控、分析等功能，也可以分为六个大的功能模块：测试案例管理、测试数据管理、测试结果匹配、测试结果管理、自动化测试任务、测试场景管理，下面分别介绍这些模块的能力设计。

测试案例管理，提供测试案例查询、录入、编辑、导入导出功能。案例管理以待测系统的功能模块为基础，提供思维导航树，针对每个功能进行测试案例编写，每个案例中可以有多个测试步骤和输入输出，做到了案例维护功能层次清晰。测试案例可以根据系统迭代版本为维度进行管理和跟踪，新版本可以复用上一个版本的测试案例，做到一次录入，多次使用，减少案例维护成本。进行测试时，选择思维导航树的树根节点即可进行全覆盖测试，也可以选择叶子节点进行单个功能或单个案例执行，方便测试范围的选定。

测试数据管理，为测试案例的执行提供实际业务或配置数据，用户可以在这里进行维护管理。测试数据可以为全局的业务数据，也可以为单个案例中定制的数据，具体可以在测试案例中选择使用。

测试结果匹配，该模块采用文本匹配算法比对预期结果与实际测试结果，计算匹配率，可通过控制匹配率由0％-100％不等得出测试结果，同时对于特殊需求文本可支持提取关键信息算法计算结果。

测试结果管理，提供包括但不限于交互明细、交互结果统计、报表统计功能，分别统计正常流程记录、异常交互记录、特殊场景交互记录等，针对解析器引擎与交互引擎产生的输出做记录统计处理，可以更加直观地反映测试结果。

自动化测试任务，本装置提供自动化测试能力，用户可以根据测试需要提交单个或批量测试任务，可以提交实时任务也可以预设时间，定时执行，方便用户管理测试任务。

测试场景管理，本装置提供多种测试场景，可以用于机器人版本功能测试、机器人系统功能回归测试、机器人平台压力测试、放音和识别准确率测试、噪音背景音模拟测试等多种场景，在实际测试任务中可以根据需要进行选择和切换，具体场景应用后面会详细介绍。

2、模拟作业模块，该模块在基础通讯交互层面解决语音机器人系统的测试问题，通过模拟语音通话交互，完成目标系统测试。本装置根据预先设置的测试任务和步骤，向目标系统发送交互请求，通过解析目标系统返回的VXML文件各标签元素内容，获取目标系统的实际返回结果，和预期结果匹配通过后，模拟语音信号输入，驱动执行后续交互任务，直至完成测试任务。

VXML协议解析器，对基于VXML交互的底层协议格式进行解析，和语音电话交互不同，本装置不需要依靠音频识别的技术平台，通过调取放入VXML协议中的文本，直接获取语音文本、交互模式、语法规范以及下一步跳转的URL。如图2所述为VXML协议的示意图。VXML包含语音交互的基础语法，是语音机器人应用通用底层协议。语音机器人的工作过程基本是围绕VXML相关元素的定义、组装、解析以及语音的处理等方面开展的。

3、电话作业平台和待测试语音机器人中的电话作业平台基本一致，电话作业平台则解析收到的VXML文件，利用TTS语音合成和ASR语音识别等外设智能设备进行放音和收音处理。

如图3所述为模拟作业的测试过程，包括如下步骤：

Step1，按照目标装置的测试要求做预处理，包括案例编写和录入，测试数据的准备和录入，系统参数设置等，为提交测试任务做准备。

Step2，发起测试任务，可以是单个任务，也可以是批量任务。本装置通过模拟作业模块来自动向目标系统发起模拟通话并控制测试的开始、流转与结束，实现模拟语音交互。模拟作业模块主要作用是模拟用户在电话端的操作，比如模拟进线、模拟输入DTMF按键、模拟语音输入、输入超时和输入错误、挂断电话等情况。首先根据事先设置的参数和步骤，发送电话开始请求给目标系统，目标系统会返回包含类似“欢迎语”在内的VXML文件，VXML协议解析器对目标系统返回的VXML文件进行各个元素的原子化解析，并输出各个元素的对应值，该值即为待对比的结果数据，模拟作业模块调取本次交互的预期结果并和实际结果进行匹配，如果匹配不通过，记录断点信息，结束本次测试。如果匹配通过，则根据测试步骤循环执行，直至轮次结束，并输出结果。

Step3，最后由测试结果管理对上述步骤中产生的数据做处理分析并产生交互结果和报表。

如图4所述为基于电话平台的电话测试过程，包括如下步骤：

Step1，按照目标装置的测试要求做预处理，包括案例编写和录入，测试数据的准备和录入，系统参数设置等，为提交测试任务做准备。

Step2，语音机器人测试(简称A端)通过电话呼通待测试机器人(简称B端)接入号码，同时调起语音测试脚本(语音测试脚本是一套VXML文件，主要负责调用语音平台的TTS模块和ASR模块)，B端开始语音播放相关内容,如欢迎语等，A端语音测试脚本调用ASR模块进行语音识别，待B端语音播报完成，A端语音测试脚本完成语音识别，将识别后的文本推送测试结果匹配模块和测试案例中预期结果进行匹配，如果匹配不通过，记录断点信息，结束本次测试。如果匹配通过，则根据测试步骤读取测试案例中的语音输入文本，调用TTS进行放音模拟用户说话，B端调用ASR模块进行识别语音内容，并进行语义理解后播放响应的应答语音，循环执行直至轮次结束，并输出结果。

Step3，最后由测试结果管理对上述步骤中产生的数据做处理分析并产生交互结果和报表。

本实施例提供的语音机器人测试系统可以提供多种测试模式，满足多种场景地测试需要：

1、基于VXML文本的模拟测试，关注业务数据测试

1)语音机器人开发版本功能测试

银行金融业，业务应用场景多，智能语音机器人后台系统功能很庞大和复杂，而常规版本变更内容多集中在后台业务逻辑的调整，所以后台业务逻辑测试的工作量较大。基于VXML文本的模拟测试，减少实际语音播报环节，摒弃“先放音，再语音识别成文本”这个准确率不高的环节，直击底层协议，提取目标系统原始文本，进行文本匹配，更加关注业务数据的准确性，测试准确率可以大大提升，可以更加准确、快速完成版本测试内容，达到快速迭代的效果。

2)语音机器人系统功能全量回归测试

回归测试是保障系统变更质量的重要环节，但比较耗时费力，特别是语音电话在没有自动化测试工具的情况下要手动一通一通地拨打电话，全量回归测试更是一种奢望。基于VXML文本的模拟测试，使全量回归测试变为可能，在准备好测试案例和测试数据后，可以一键全量回归。

3)机器人应用压力测试

在传统情况下，机器人语音应用压力测试是通过高并发拨打电话来实现，需要大量地电话平台资源和人力资源同时参与，并且多在生产环境进行压测，给应用上线带来风险。基于VXML文本的模拟测试，以数字接口的方式，大并发向待测机器人应用发送覆盖业务全链路的数据请求，并准确判断响应数据的准确性以及响应时间，达到系统性能压测的目的。

2、基于电话的语音测试，关注电话语音播报和语音识别测试

如电话平台测试过程所述，基于电话的语音测试同样具备语音机器人开发版本功能及业务回归测试的能力，这里就不再赘述，重点介绍以下几个应用场景，针对基于电话的语音测试中的问题做出有效改善。

1)放音和识别准确率测试

语音机器人的交互过程需要有TTS放音和ASR识别环节，在交互过程中出现多音字、专业词汇、数字、地址等特殊情况的时候，语音交互的准确率受到不同程度的影响，在语音机器人应用发布使用前需要进行准确性测试。在本场景下，可以针对多音字、专业词汇、数字、地址、公司名称等业务案例进行全面测试，分析这些场景的准确率，及时进行放音产品和识别产品标注升级，提升准确性。

2)噪音背景音模拟测试

如图5所述为背景音模拟测试的示意图。语音机器人测试和语音机器人通过建立电话进行预定的语音交互，基本是在静音环境下，没有环境噪音，虽然提升了语音识别环节的准确性，但是和真实环境差别较大，测试结果也和真实环境运行情况不符。为了模拟真实情况，本装置发明设计了噪音背景音模拟测试场景。在电话通话过程中，测试语音机器人发起电话会议，加入一路语音话路，这一路电话调起背景音模拟脚本，在测试过程中不间断播放预制的背景音，影响实际识别效果，达到模拟在真实环境测试的效果。

实施例2

本实施例提供了一种全场景语音机器人测试方法，包括如下步骤：

获取测试案例、测试数据及参数，设置测试任务；

根据测试任务，向待测试语音机器人发起模拟通话；

根据测试任务的测试内容，向待测试语音机器人发送测试数据，判断从待测试语音机器人接收到的文件的格式是否与预设格式匹配，若是，则接收到的文件即为交互文件，若否，判断接收到的文件是否为语音流，若是，通过语音识别及语音合成将语音流转换为与预设格式匹配的交互文件；

根据交互文件，获取实际测试结果，根据实际测试结果以及预设的预期结果，获取测试评价指标，判断测试评价指标是否符合预设要求，若否，记录断点信息并结束测试，若是，记录测试评价指标并进行下一项测试内容，直至完成测试任务；

获取测试任务中记录的测试评价指标，发出可视化信号。

实施例3

本实施例提供了一种计算机可读存储介质，，包括供电子设备的一个或多个处理器执行的一个或多个程序，一个或多个程序包括用于执行如实施例2所述全场景语音机器人测试方法的指令。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种全场景语音机器人测试系统，其特征在于，包括：

测试管理模块，用于通过人工选择或设置测试任务，选取测试场景和测试范围，匹配测试数据并发送给模拟作业模块以发起模拟通话，从模拟作业模块获取实际测试结果，根据实际测试结果和预期结果，获取测试评价指标；

模拟作业模块，用于根据所述测试数据向待测试语音机器人发送当前步骤的请求信息，获取来自待测试语音机器人的模拟语音信息，根据所述模拟语音信息，经过解析后获取当前步骤的实际测试结果，从所述测试管理模块获取测试评价指标，判断当前测试步骤是否通过，若否，记录断点信息并结束测试，若是，记录所述测试评价指标并进行下一测试步骤，直至完成所有测试步骤。

2.根据权利要求1所述的一种全场景语音机器人测试系统，其特征在于，所述的测试管理模块包括：

测试案例管理单元，用于根据用户选择的思维导航树的节点，选定测试范围，所述思维导航树预置在所述测试案例管理单元内；

测试场景管理单元，用于根据用户的选择，从预置的多种场景中选取用于测试的测试场景；

测试数据管理单元，用于根据所述测试范围以及所述测试场景，选取匹配的测试数据以及对应的预期结果；

测试结果匹配单元，用于根据所述预期结果以及来自所述模拟作业模块的实际测试结果，通过预设的算法获取所述测试评价指标。

3.根据权利要求2所述的一种全场景语音机器人测试系统，其特征在于，所述的算法为文本匹配算法和/或关键信息算法。

4.根据权利要求2所述的一种全场景语音机器人测试系统，其特征在于，所述的测试管理模块还包括：

自动化测试单元，用于根据预设的测试任务，自动选取所述测试场景和所述测试场景。

5.根据权利要求2所述的一种全场景语音机器人测试系统，其特征在于，所述的测试管理模块还包括：

测试结果管理单元，用于根据所述测试评价指标，通过统计正常流程记录、异常交互记录、特殊场景交互记录，实现测试评价指标的可视化。

6.根据权利要求1所述的一种全场景语音机器人测试系统，其特征在于，所述的测试场景包括机器人版本功能测试、机器人系统功能回归测试、机器人平台压力测试、放音和识别准确率测试、噪音背景音模拟测试中的一个或多个。

7.根据权利要求1所述的一种全场景语音机器人测试系统，其特征在于，所述的模拟作业模块包括：

信号输入模拟单元，用于获取所述测试数据；

语音应用请求单元，用于根据所述测试数据向所述待测试语音机器人发送当前测试步骤的请求信息，获取模拟语音数据并传输给解析单元，从所述测试管理模块获取当前测试步骤对应的测试评价指标，判断当前测试步骤是否通过，若否，记录断点信息，结束本次测试，若否，执行测试任务的下一步骤，直至完成所有步骤；

解析单元，用于对所述模拟语音数据进行解析，获取实际测试结果并传输给所述测试管理模块。

8.根据权利要求1所述的一种全场景语音机器人测试系统，其特征在于，还包括电话作业平台模块，用于获取待测试语音机器人的语音数据，通过语音识别和语音合成获取所述实际测试结果，

所述的电话作业平台模块包括：

TTS语音合成单元，用于从所述测试管理模块获取所述测试数据，根据所述测试数据，通过语音合成生成请求信息并发送给所述待测试语音机器人；

语音电话平台单元，用于从所述待测试语音机器人获取所述语音数据；

ASR语音识别单元，用于根据所述语音数据，通过语音识别所述获取实际测试结果。

9.一种全场景语音机器人测试方法，其特征在于，包括如下步骤：

通过人工选择或设置测试任务，选取测试场景和测试范围，根据所述测试场景和测试范围，获取匹配的测试数据和预期结果；

根据所述测试数据，向待测试语音机器人发起模拟通话；

向所述待测试语音机器人发送当前步骤的请求信息，获取当前步骤的实际测试结果，根据所述实际测试结果以及所述预期结果，获取测试评价指标，根据所述测试评价指标判断当前测试步骤是否通过，若否，记录断点信息并结束测试，若是，记录所述测试评价指标并进行下一测试步骤，直至完成所有测试步骤。

10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求9所述全场景语音机器人测试方法的指令。

Images