CN114546862A - 对话测试方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种对话测试方法、装置、电子设备及计算机可读存储介质，该方法包括：对云端针对语音对话的响应进行测试，得到云端响应测试结果，其中，云端执行语音对话过程中的业务逻辑；当云端响应测试结果满足预设条件时，对终端绘制所述云端的响应进行测试，得到终端绘制测试结果。针对主要业务逻辑在云端以及在终端进行应答反馈和界面绘制的语音对话功能进行测试，而分别通过对云端和终端的测试，可以得到云端响应测试结果和终端绘制测试结果。其中，通过分别对云端和终端的测试，可快速实现对问题发生在云端或者终端的定位，加快缺陷问题的快速处理，实现语音对话产品的快速上线，降低客户投诉，提升用户体验。

Description

对话测试方法、装置、电子设备及计算机可读存储介质

技术领域

本申请实施例涉及自动化测试领域，具体涉及一种对话测试方法、装置、电子设备及计算机可读存储介质。

背景技术

随着计算机技术的快速发展，终端设备的种类越来越多，其中，语音助手因其能模仿用户进行语音对话而被用户所青睐。

其中，语音助手在上线前都需要对语音对话功能进行测试，但是，目前语音对话的测试效率较低，难以快速实现问题的定位。

发明内容

本申请实施例提供一种对话测试方法、装置、电子设备及计算机可读存储介质，可以提升语音对话测试的效率，实现问题的快速定位。

第一方面，本申请实施例提供了一种对话测试方法，包括：

对云端针对语音对话的响应进行测试，得到云端响应测试结果，其中，所述云端执行所述语音对话过程中的业务逻辑；

当所述云端响应测试结果满足预设条件时，对终端绘制所述云端的响应进行测试，得到终端绘制测试结果。

第二方面，本申请实施例还提供了一种对话测试装置，包括：

云端测试模块，用于对云端针对语音对话的响应进行测试，得到云端响应测试结果，其中，所述云端执行所述语音对话过程中的业务逻辑；

终端测试模块，用于当所述云端响应测试结果满足预设条件时，对终端绘制所述云端的响应进行测试，得到终端绘制测试结果。

其中，在本申请的一些实施例中，该装置还包括确定模块，确定模块包括：

获取单元，用于获取用户历史对话数据；

确定单元，用于根据所述用户历史对话数据确定目标对话测试用例；

云端测试模块包括：

云端测试单元，用于根据所述目标对话测试用例对云端针对语音对话的响应进行测试，得到云端响应测试结果。

其中，在本申请的一些实施例中，确定单元包括：

获取子单元，用于根据所述用户历史对话数据得到若干待选对话测试用例；

确定子单元，用于确定待测版本，并根据所述待测版本确定对话测试用例级别；

选取子单元，用于根据所述对话测试用例级别从所述若干待选对话测试用例中选取目标对话测试用例。

其中，在本申请的一些实施例中，获取子单元具体用于：

从所述用户历史对话数据中统计出每个用户话术的出现概率；

根据所述出现概率筛选得到若干目标用户话术；

根据所述若干目标用户话术构建待选对话测试用例。

其中，在本申请的一些实施例中，确定子单元具体用于：

获取映射关系集合，所述映射关系集合包括预设待测版本与预设对话测试用例级别的对应关系；

根据所述映射关系集合，确定所述待测版本对应的对话测试用例级别。

其中，在本申请的一些实施例中，云端包括自然语言处理服务器和第三方服务器，云端测试模块包括：

第一解析单元，用于获取测试用例，并由所述自然语言处理服务器对所述测试用例对应的指令信息进行第一意图解析；

第二解析单元，用于当所述第一意图解析失败时，由所述第三方服务器对所述指令信息进行第二意图解析，得到意图解析结果；

生成单元，用于根据所述意图解析结果生成目标应答信息；

第一测试单元，用于根据所述意图解析结果和所述目标应答信息得到云端响应测试结果。

其中，在本申请的一些实施例中，终端测试模块包括：

合成单元，用于根据终端对所述云端的响应结果进行语音合成，得到目标语音；

绘制单元，用于确定目标界面，将所述目标语音的播放绘制在所述目标界面；

第二测试单元，用于根据所述目标界面以及所述目标界面的绘制结果，得到终端绘制测试结果。

第三方面，本申请实施例还提供了一种电子设备，电子设备包括存储器、处理器及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的对话测试方法中的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的对话测试方法中的步骤。

本申请实施例可以针对主要业务逻辑在云端以及在终端进行应答反馈和界面绘制的语音对话功能进行测试，而通过云端对语音对话响应的测试，可以得到云端响应测试结果，即确定云端在执行语音对话过程中的准确性，以及通过终端对云端响应信息的绘制的测试，可以得到终端绘制测试结果，即确定终端在界面绘制和反馈过程中的准确性。其中，通过分别对云端和终端的测试，可快速实现对问题发生在云端或者终端的定位，加快缺陷问题的快速处理，实现语音对话产品的快速上线，降低客户投诉，提升用户体验。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的对话测试方法的场景示意图；

图2是本申请实施例提供的对话测试方法的流程示意图；

图3是本申请实施例提供的对话测试方法中语音对话的流程示意图；

图4是本申请实施例提供的对话测试方法中语音对话中各设备端的执行流程图；

图5是本申请实施例提供的对话测试装置的结构示意图；

图6是本申请实施例提供的语音对话自动化测试的框架结构图；

图7是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供一种对话测试方法、装置、电子设备及计算机可读存储介质。具体地，本申请实施例提供适用于电子设备的对话测试装置，其中，电子设备包括终端或者云端等设备，其中，终端可以为计算机、个人笔记本或者手机等设备，云端可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器，服务器可以通过有线或无线通信方式进行直接或间接地连接。

本申请实施例可以单独由终端设备执行对话测试方法，或者是单独由云端执行对话测试方法，或者是终端设备和云端共同执行对话测试方法，请参阅图1，以终端设备和云端共同执行对话测试方法为例，其中，在终端设备和云端的基础上也可以增加其他设备来辅助完成对话测试方法，在此对其他设备的类型不做限定；终端设备与云端之间通过网络连接，比如，通过无线网络连接等，具体执行过程如下：

云端10接收到终端设备11发送过来的用户对话数据后，针对用户对话数据做出相应的响应，通过对云端响应结果的检测，得到云端响应测试结果。

当云端响应测试结果满足预设条件时，将云端响应产生的响应结果发送给终端设备11，由终端设备11对云端的响应结果进行绘制，便于用户在终端设备11上获取到云端的响应信息，其中，通过对终端设备11的绘制结果的检测，可以得到终端绘制测试结果。

其中，在本申请实施例中，云端10用于处理语音对话的主要业务逻辑，包括对语音对话信息的解析和应答信息的生成；终端设备11用于对云端响应信息的绘制，包括将云端响应的结果信息反馈到终端设备11，供用户获取。

其中，本申请实施例可以针对主要业务逻辑在云端以及在终端进行应答反馈和界面绘制的语音对话功能进行测试，而通过云端对语音对话响应的测试，可以得到云端响应测试结果，即确定云端在执行语音对话过程中的准确性，以及通过终端对云端响应信息的绘制的测试，可以得到终端绘制测试结果，即确定终端在界面绘制和反馈过程中的准确性。其中，通过分别对云端和终端的测试，可快速实现对问题发生在云端或者终端的定位，加快缺陷问题的快速处理，实现语音对话产品的快速上线，降低客户投诉，提升用户体验。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。

请参阅图2，图2为本申请实施例提供的对话测试方法的流程示意图。该对话测试方法的具体流程可以如下：

101、对云端针对语音对话的响应进行测试，得到云端响应测试结果，其中，所述云端执行所述语音对话的业务逻辑。

其中，在本申请实施例中，云端用于处理语音对话过程中的主要业务逻辑，包括对用户语音信息的解析以及应答信息的生成。

其中，在本申请实施例中，语音对话可以包括由用户与语音对话助手进行的语音对话。

其中，通过云端针对语音对话响应结果的检查，可以得到云端响应测试结果，即确定云端在执行语音对话过程中的准确性。其中，通过云端响应测试结果也可以确定对话问题是否发生在云端，加快实现对话问题的定位。

其中，在本申请实施例中，云端包括自然语言处理服务器和用户对接第三方的第三方服务器，因此，在测试云端响应情况时，需要对相应的服务器的执行情况进行检测，即，可选的，在本申请的一些实施例中，步骤“对云端针对语音对话的响应进行测试，得到云端响应测试结果”，包括：

获取测试用例，并由所述自然语言处理服务器对所述测试用例对应的指令信息进行第一意图解析；

当所述第一意图解析失败时，由所述第三方服务器对所述指令信息进行第二意图解析，得到意图解析结果；

根据所述意图解析结果生成目标应答信息；

根据所述意图解析结果和所述目标应答信息得到云端响应测试结果。

其中，在本申请实施例中，自然语言处理服务器包括(NLP，Natural LanguageProcessing)服务器，用于对用户语音信息的解析。其中，第三方服务器用于当前语音助手与第三方设备或者应用程序(APP)之间的交互。

其中，在本申请实施例中，当自然语言处理服务器可以对测试用例对应的指令信息进行解析时，则可以由自然语言处理服务器对指令信息进行解析和响应，当自然语言处理服务器无法处理测试用例对应的指令信息时，则说明执行信息对应的请求可能设计到第三方应用的访问，因此，可以通过第三方服务器来对指令信息进行解析。

其中，通过意图解析得到意图解析结果，可以根据意图解析结果确定针对用户语音信息的应答信息，通过意图解析结果和应答信息可以得到云端响应测试结果，例如，通过对意图解析结果和应答信息的检测，可以得到云端响应测试结果。

其中，在本申请实施例中，云端验证对象可以包括：AI语音各模块领域分类、意图识别、语音槽位填充、云云对接第三方服务器返回参数等。其中，通过对云端多个验证对象的验证，可以得到云端向终端下发指令信息的正确与否的结论。

其中，在本申请实施例中，还可以根据云端响应测试结果自动生成云端测试报告，实现对云端问题的快速定位以及规避。

102、当所述云端响应测试结果满足预设条件时，对终端绘制所述云端的响应进行测试，得到终端绘制测试结果。

其中，在本申请实施例中，预设条件包括云端响应测试结果符合测试的需求、要求或者标准等，例如，云端响应测试结果符合测试的期望，满足测试IDE期望输出。

其中，在本申请实施例中，终端用于实现对用户对话信息的接收和向云端的发送，以及对云端响应信息的绘制。

其中，在本申请实施例中，终端对云端响应信息的绘制包括对响应信息在终端界面的展示或者对响应信息的播报，例如，由终端播放云端针对用户语音的响应信息。

其中，通过终端对云端响应信息绘制的检测，可以得到终端绘制测试结果，即确定终端在界面绘制和反馈过程中的准确性。其中，通过终端绘制测试结果也可以确定对话问题是否发生在终端，加快实现对话问题的定位。

其中，在本申请实施例中，为了提升测试的准确性，可以根据用户的历史对话数据来对语音对话过程进行测试，即，可选的，在本申请的一些实施例中，步骤“对云端针对语音对话的响应进行测试，得到云端响应测试结果”之前，该方法还包括：

获取用户历史对话数据；

根据所述用户历史对话数据确定目标对话测试用例；

所述对云端针对语音对话的响应进行测试，得到云端响应测试结果，包括：

根据所述目标对话测试用例对云端针对语音对话的响应进行测试，得到云端响应测试结果。

其中，通过用户历史对话数据确定对话测试用例，可以提升测试用例的准确性，使得测试用例能够更符合用户的使用习惯、语言习惯等。

其中，根据云端和终端测试的不同，针对性设置不同的对话测试用例，可以提升测试的准确性。

其中，在本申请实施例中，可以根据用户历史对话数据得到多个对话测试用例，然后，根据测试的版本确定当前需要的对话测试用例，即，可选的，在本申请的一些实施例中，步骤“根据所述用户历史对话数据确定对话测试用例”，包括：

根据所述用户历史对话数据得到若干待选对话测试用例；

确定待测版本，并根据所述待测版本确定对话测试用例级别；

根据所述对话测试用例级别从所述若干待选对话测试用例中选取目标对话测试用例。

其中，通过测试版本确定对话测试用例级别以及根据对话测试用例级别选择对话测试用例，可以提升对话测试用例选取的准确性以及便利性。

其中，在本申请实施例中，可以根据用户话术的出现频率构建对话测试用例，以使得测试用例更具针对性，即，可选的，在本申请的一些实施例中，步骤“根据所述用户历史对话数据得到若干待选对话测试用例”，包括：

从所述用户历史对话数据中统计出每个用户话术的出现概率；

根据所述出现概率筛选得到若干目标用户话术；

根据所述若干目标用户话术构建待选对话测试用例。

其中，在本申请实施例中，用户话术是用户在与语音助手通话时的语音信息，例如，看XX影视、放XX音乐等。

其中，通过统计用户话术的出现概率，以及根据出现概率选取目标用户话术来构建对话测试用例，使得测试用例能够与多数用户的语言习惯保持一致，使得测试过程更具针对性，降低用户在对话过程中语音对话助手的出错频率，提升用户体验。

其中，在本申请实施例中，可以根据语音对话助手每个版本与对话测试用例级别的对应关系来确定当前待测版本对应的对话测试用例级别，即，可选的，在本申请的一些实施例中，步骤“根据所述待测版本确定对话测试用例级别”，包括：

获取映射关系集合，所述映射关系集合包括预设待测版本与预设对话测试用例级别的对应关系；

根据所述映射关系集合，确定所述待测版本对应的对话测试用例级别。

其中，在本申请实施例中，该映射关系集合可以预先根据测试需求进行建立，确定每个待测版本对应的对话测试用例级别，根据每个待测版本对应的对话测试用例级别构建映射关系集合。

其中，在本申请实施例中，每个对话测试用例级别和对话测试用例之间也可以建立映射关系，根据该映射关系，可以得到每个对话测试用例级别对应的对话测试用例，实现对话测试用例的快速获取。例如，在本申请实施例中，对话测试用例级别可以包括红色预警、橙色预警及黄色预警等，不同的预警级别对应语音对话的不同测试阶段，而针对每个测试阶段，可以根据该测试阶段对应的对话测试用例级别确定对应的对话测试用例，实现对话测试用例的快速确定。

其中，在本申请实施例中，终端在接收到云端的响应信息后，可以根据终端对云端响应结果的绘制情况实现对终端的检测，即，可选的，在本申请的一些实施例中，步骤“对终端绘制所述云端的响应进行测试，得到终端绘制测试结果”，包括：

根据终端对所述云端的响应结果进行语音合成，得到目标语音；

确定目标界面，将所述目标语音的播放绘制在所述目标界面；

根据所述目标界面以及所述目标界面的绘制结果，得到终端绘制测试结果。

其中，通过终端对云端响应结果的语音合成以及在目标界面上的绘制，可根据目标界面上的绘制结果，确定终端绘制测试结果。

其中，在本申请实施例中，由于语音对话的主要业务逻辑在云端执行或者处理，而终端的主要作用在于响应信息的反馈，例如，页面跳转、呈现或者语音信息的应答播报等。因此，当主要业务逻辑集成在云端后，对云端的测试，可避免语音助手因搭载终端的多样性而造成测试兼容性的问题，可实现对语音助手业务逻辑的统一测试。

其中，在本申请实施例中，可以将语音助手配置在不同的终端设备上，通过多个终端设备的绘制情况来实现对语音对话助手终端一侧执行情况的检测。其中，在本申请实施例中，可以通过语音合成技术将人工话术转换为音频文件，模拟用户发声，结合语音助手的唤醒词实现测试用例的执行，减少人工的投入，其中，在本申请实施例中，可以使用界面自动监控器(UiAutomator2)来获取终端设备屏幕上任意一个应用程序(APP)的任一控件属性，实现对语音对话过程中界面呈现和跳转逻辑的检查，便于及时发现语音对话助手在终端一侧的设计缺陷。

其中，本申请实施例可以针对主要业务逻辑在云端以及在终端进行应答反馈和界面绘制的语音对话功能进行测试，而通过云端对语音对话响应的测试，可以得到云端响应测试结果，即确定云端在执行语音对话过程中的准确性，以及通过终端对云端响应信息的绘制的测试，可以得到终端绘制测试结果，即确定终端在界面绘制和反馈过程中的准确性。其中，通过分别对云端和终端的测试，可快速实现对问题发生在云端或者终端的定位，加快缺陷问题的快速处理，实现语音对话产品的快速上线，降低客户投诉，提升用户体验。

其中，通过用户历史对话数据的获取并根据用户历史对话数据确定测试用例，提升测试的准确性，降低用户在语音对话过程中的用户投诉。通过预先定义各个测试版本与对话测试用例级别的关系，以及每个对话测试用例级别与对话测试用例的关系，可实现对每个测试版本对应的对话测试用例的快速获取。

请参阅图3，图3是本申请实施例提供的语音对话的流程示意图，其中，该语音对话的具体流程如下：

111、用户下发指令到终端智能(AI)语音APP；

112、语音APP将处理后的文本请求发送至云端的自然语言处理(NLP)对话系统；

113、自然语言处理对话系统会对文本请求对应的用户指令进行意图解析；

114、在解析过程中，若遇可自处理请求自然语言处理对话系统会进行拦截并处理，若不能自处理，则会发送第三方服务器，请求第三方服务器处理；

115、处理完毕后自然语言处理对话系统会将解析结果发送至终端语音APP做相应跳转和呈现；

其中，在本申请实施例中，通过将语音对话的主要业务逻辑部署在云端，使得终端可以仅进行针对云端响应信息的反馈，包括界面跳转或者呈现等，减少语音对话在终端的部署，降低各个终端设备之间的部署差异，提升测试的兼容性。

例如，请参阅图4，图4是本申请实施例提供的语音对话中各设备端的执行流程图，其中，各设备端的执行流程具体包括：

用户侧121：向终端智能(AI)语音APP下发指令；

终端智能(AI)语音APP122：接收用户侧下发的指令，得到指令话术，并发送给自然语言处理对话系统(NLP对话系统)123；

自然语言处理对话系统123：对接收到的指令话术进行文本转换(asr技术)和解析，若遇到不能解析处理的指令话术，将该指令话术转发给第三方服务器124；

第三方服务器124：对自然语言处理对话系统123发送过来的指令话术进行解析，得到解析结果；

随后，第三方服务器124将该解析结果通过自然语言处理对话系统123返回给终端智能(AI)语音APP122，并由终端智能(AI)语音APP122呈现给用户。

其中，在本申请实施例中，可以对自然语言处理对话系统和第三方服务器的解析结果进行检测，确定自然语言处理对话系统和第三方服务器的响应情况，得到云端响应测试结果。

其中，在本申请实施例中，可以对终端语音APP的跳转结果和呈现结果进行检测，得到终端绘制测试结果。

其中，在本申请实施例中，在语音对话处理过程中，智能语音APP会进行埋点处理，实时的将用户话术(QUERY)上报至用户话术平台，便于后续根据用户话术确定测试用例。

其中，通过在语音对话过程中云端和终端的执行结果的检测，可分别实现对云端和终端执行情况的测试，实现对问题的定位。

为便于更好的实施本申请的对话测试方法，本申请还提供一种基于上述对话测试方法的对话测试装置。其中第三目标词语的含义与上述对话测试方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图5，图5为本申请提供的对话测试装置的结构示意图，其中，该对话测试装置可以包括：

云端测试模块201，用于对云端针对语音对话的响应进行测试，得到云端响应测试结果，其中，所述云端执行所述语音对话过程中的业务逻辑。

其中，在本申请的一些实施例中，云端包括自然语言处理服务器和第三方服务器，云端测试模块201包括：

第一解析单元，用于获取测试用例，并由所述自然语言处理服务器对所述测试用例对应的指令信息进行第一意图解析；

第二解析单元，用于当所述第一意图解析失败时，由所述第三方服务器对所述指令信息进行第二意图解析，得到意图解析结果；

生成单元，用于根据所述意图解析结果生成目标应答信息；

第一测试单元，用于根据所述意图解析结果和所述目标应答信息得到云端响应测试结果。

终端测试模块202，用于当所述云端响应测试结果满足预设条件时，对终端绘制所述云端的响应进行测试，得到终端绘制测试结果。

其中，在本申请的一些实施例中，终端测试模块202包括：

合成单元，用于根据终端对所述云端的响应结果进行语音合成，得到目标语音；

绘制单元，用于确定目标界面，将所述目标语音的播放绘制在所述目标界面；

第二测试单元，用于根据所述目标界面以及所述目标界面的绘制结果，得到终端绘制测试结果。

其中，在本申请的一些实施例中，该装置还包括确定模块，确定模块包括：

获取单元，用于获取用户历史对话数据；

确定单元，用于根据所述用户历史对话数据确定目标对话测试用例；

云端测试模块包括：

云端测试单元，用于根据所述目标对话测试用例对云端针对语音对话的响应进行测试，得到云端响应测试结果。

其中，在本申请的一些实施例中，确定单元包括：

获取子单元，用于根据所述用户历史对话数据得到若干待选对话测试用例；

确定子单元，用于确定待测版本，并根据所述待测版本确定对话测试用例级别；

选取子单元，用于根据所述对话测试用例级别从所述若干待选对话测试用例中选取目标对话测试用例。

其中，在本申请的一些实施例中，获取子单元具体用于：

从所述用户历史对话数据中统计出每个用户话术的出现概率；

根据所述出现概率筛选得到若干目标用户话术；

根据所述若干目标用户话术构建待选对话测试用例。

其中，在本申请的一些实施例中，确定子单元具体用于：

获取映射关系集合，所述映射关系集合包括预设待测版本与预设对话测试用例级别的对应关系；

根据所述映射关系集合，确定所述待测版本对应的对话测试用例级别。

本申请实施例由云端测试模块201对语音对话在云端的响应情况进行测试，得到云端响应测试结果，然后，由终端测试模块202在云端响应测试结果满足预设条件时，对终端绘制所述云端的响应进行测试，得到终端绘制测试结果。

其中，本申请实施例可以针对主要业务逻辑在云端以及在终端进行应答反馈和界面绘制的语音对话功能进行测试，而通过云端对语音对话响应的测试，可以得到云端响应测试结果，即确定云端在执行语音对话过程中的准确性，以及通过终端对云端响应信息的绘制的测试，可以得到终端绘制测试结果，即确定终端在界面绘制和反馈过程中的准确性。其中，通过分别对云端和终端的测试，可快速实现对问题发生在云端或者终端的定位，加快缺陷问题的快速处理，实现语音对话产品的快速上线，降低客户投诉，提升用户体验。

请参阅图6，图6是本申请实施例提供的语音对话自动化测试的框架结构图，具体如下：

云端测试层211：主要针对NLP对话系统服务器及第三方服务器进行测试，通过用户流量回放层构造不同等级的测试集，以此来请求NLP对话系统服务器，通过预先设计答案集的方式，完成云端测试层的自动化对比测试。具体云端验证对象包括，AI语音各模块领域分类、意图识别、语音槽位填充、云云对接第三方服务器返回参数，从这几方面来验证NLP对话系统和第三方服务器是否向终端下发正确的指令信息，并自动输出相关云端测试报告，该模块测试可以对云端问题起到很好的规避作用；

终端设备测试层212：主要针对不同设备类型同一AI语音APP进行测试。当排除云端缺陷后，云端测试层会下发正确意图解析的数据集来供终端测试层使用。目前各大公司正逐步将复杂的开发逻辑转移到云端，实现终端轻应用化，此方案的使用可在一定程度上避免AI语音APP因重大缺陷而导致终端二次开发发版的问题，终端逻辑只做各业务响应结果的跳转和呈现。故在保证云端下发正确指令意图的前提下，终端设备层的测试，只用针对UI的自动化测试展开。本发明终端测试层的实现主要依靠UiAutomator2自动化测试框架和已经较为成熟的语音合成技术，进行终端UI的呈现和跳转的检测。语音合成技术，可以直接大批量的将人工QUERY话术转为的音频文件，在配合唤醒词的使用，可以完全代替人工使用遥控器语音的测试场景，减少了人力成本的投入，使得语音测试不在耗时耗力。再加上UiAutomator2可以任意获取屏幕上任意一个APP的任意控件属性，兼容性较强，可以更好的确保不同终端设备AI语音APP的兼容性测试；

用户流量回放层213：是基于AI语音APP的用户上报数据，是对用户TOP上报话术进行回放，构造终端和云端测试层不同业务模块的测试数据集，该测试集最为切近用户使用AI语音APP的习惯，具有较强的针对性。其中，在本申请实施例中，主要是为AI语音自动化测试框架提供数据集，它主要包括若干冒烟数据集、若干全功能数据集、若干基本功能验证数据集。冒烟测试的主要目的是快速验证软件基本功能缺陷，它的主要特点是简单、快捷，所以冒烟测试合集的设计要自顶向下，需涵盖AI语音APP的完整功能模块及每个功能模块的完整功能的验证。全功能测试合集主要的目的是对软件进行多个维度、多个方向全面的验证，全功能测试合集大而全，测试集数量庞大且有一定深度，它的主要目的是站在多个角度去验证软件的缺陷，所以全功能测试集除涵盖功能话术外，还应包括不同维度用户使用AI语音的习惯。基本功能验证数据集，用于版本上线后的基本功能的回归验证，回归验证集小而全，所以针对AI语音APP回归测试集的设计，需从每个功能模块抽取2-3条核心话术进行验证，验证上线功能模块正常可用；

用例预警控制层214：是用来控制当前版本所执行自动化测试方案的级别，在本申请实施例中，自动化测试方案一共分为3个等级，第一等级为红色预警层，该层执行的自动化数据集复杂且全面，一般较适合AI语音APP的全功能自动化测试阶段；第二等级为橙色预警层，该层为AI语音版本提测后首轮测试和最后一轮测试，主要是执行自动化冒烟测试；第三等级为黄色预警层，该层主要是用来做回归测试，主要用来验证基本功能是否实现，一般是在版本正式上线后，进行的最后一次闭环测试；其中，该层会根据本轮的测试等级，获取不同验证数据集，来完成云端NLP对话系统及第三方服务器的指令解析逻辑验证，对云端缺陷进行监测，并自动发送缺陷报告至云端开发人员和测试人员。

综上所述，本申请实施例通过语音合成技术，解决了AI语音APP在语音测试阶段，无法脱离人工进行遥控器语音的关键技术性问题，实现了不同设备全部语音测试流程自动化执行的效果；本发明优化了自动化测试框架，不仅是站在终端角度而且更多的是站在云端角度，对NLP对话系统服务器和与之对接的第三方服务器进行自动化测试，首先排除NLP对话系统服务器下发指令意图错误问题，其次排除第三方服务器返回结果错误问题，双管齐下全面暴露云端逻辑缺陷，相对于之前的自动化测试框架，本发明更能抓住核心问题，可以精确的定位缺陷并提交给相应开发，可有效减少bug流转周期，降低开发测试周期；本发明采用用户TOP话术流量回放机制，用户TOP话术可以更好的把握用户使用AI语音APP的习惯，有效觉察用户动向、偏好度及当下时事热点，将TOP话术构造为测试集，可以更进一步降低用户的投诉率，保证AI语音APP产品质量；用例预警控制层的设计，可以完全满足一个AI语音版本不同阶段的测试需求，只需调整相关参数就可以实现不同阶段AI语音APP测试的需求，这样不仅可以降低人工执行测试用例的成本，而且可以提升自动化测试效率，减少了AI语音版本的测试周期。

例如，当AI语音APP提测时，用例预警控制层214会下发橙色预警等级；

随后，用户流量回放层213会进行冒烟测试合集A的下发；

然后，当本申请实施例自动下发用例预警等级及测试合集后，首先进入云端测试层211，通过预先设定答案集的方式完成云端领域分类、意图识别、语音槽位及第三方服务器解析判断，完成判断后，自动输出云端测试报告。该层设计，可直接锁定云端缺陷，避免将云端缺陷带给终端，增加终端测试压力。由于不同设备上的AI语音APP都共用一套云端服务的逻辑，故该步云端测试层211设计，可使用一套自动化测试方案，达到AI语音APP兼容性测试的目的，在第一阶段站在云端测试的角度，可以有效的对AI语音APP将要发生的问题进行提前曝光；

最后，在云端自动化测试的过程中，同步将冒烟测试合集A话术进行清洗，去掉云端badcase问题话术，输出终端测试子集A1，将A1测试子集进行终端界面(UI)自动化测试，使用语音合成技术将A1话术集进行音频合成，模拟人工唤醒下达指令过程，随后调用UiAutomator2进行UI自动化测试。第二阶段(针对终端执行的测试)的测试，在拿到云端正确意图的话术后，进行终端功能呈现和跳转缺陷的监控，该步测试可直接暴露终端开发过程中的缺陷，并输出相应的终端自动化测试报告。

其中，通过本申请实施例的云端终端相结合的自动化测试方案，可完成不同版本之间的兼容性测试，减少版本发版周期，并节约一定的人工成本。并以此来完成对被测不同设备上的AI语音APP进行的自动化兼容性测试。

此外，本申请还提供一种电子设备，如图7所示，其示出了本申请所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现本申请所提供的任一种对话测试方法中的步骤。

本申请实施例可以针对主要业务逻辑在云端以及在终端进行应答反馈和界面绘制的语音对话功能进行测试，而通过云端对语音对话响应的测试，可以得到云端响应测试结果，即确定云端在执行语音对话过程中的准确性，以及通过终端对云端响应信息的绘制的测试，可以得到终端绘制测试结果，即确定终端在界面绘制和反馈过程中的准确性。其中，通过分别对云端和终端的测试，可快速实现对问题发生在云端或者终端的定位，加快缺陷问题的快速处理，实现语音对话产品的快速上线，降低客户投诉，提升用户体验。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请所提供的任一种对话测试方法中的步骤。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请所提供的任一种图像处理中的步骤，因此，可以实现本申请所提供的任一种对话测试方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请所提供的一种对话测试方法、装置、电子设备以及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种对话测试方法，其特征在于，包括：

对云端针对语音对话的响应进行测试，得到云端响应测试结果，其中，所述云端执行所述语音对话过程中的业务逻辑；

当所述云端响应测试结果满足预设条件时，对终端绘制所述云端的响应进行测试，得到终端绘制测试结果。

2.根据权利要求1所述的方法，其特征在于，所述对云端针对语音对话的响应进行测试，得到云端响应测试结果之前，所述方法还包括：

获取用户历史对话数据；

根据所述用户历史对话数据确定目标对话测试用例；

所述对云端针对语音对话的响应进行测试，得到云端响应测试结果，包括：

根据所述目标对话测试用例对云端针对语音对话的响应进行测试，得到云端响应测试结果。

3.根据权利要求2所述的方法，其特征在于，所述根据所述用户历史对话数据确定对话测试用例，包括：

根据所述用户历史对话数据得到若干待选对话测试用例；

确定待测版本，并根据所述待测版本确定对话测试用例级别；

根据所述对话测试用例级别从所述若干待选对话测试用例中选取目标对话测试用例。

4.根据权利要求3所述的方法，其特征在于，所述根据所述用户历史对话数据得到若干待选对话测试用例，包括：

从所述用户历史对话数据中统计出每个用户话术的出现概率；

根据所述出现概率筛选得到若干目标用户话术；

根据所述若干目标用户话术构建待选对话测试用例。

5.根据权利要求3所述的方法，其特征在于，所述根据所述待测版本确定对话测试用例级别，包括：

获取映射关系集合，所述映射关系集合包括预设待测版本与预设对话测试用例级别的对应关系；

根据所述映射关系集合，确定所述待测版本对应的对话测试用例级别。

6.根据权利要求1所述的方法，其特征在于，所述云端包括自然语言处理服务器和第三方服务器，所述对云端针对语音对话的响应进行测试，得到云端响应测试结果，包括：

获取测试用例，并由所述自然语言处理服务器对所述测试用例对应的指令信息进行第一意图解析；

当所述第一意图解析失败时，由所述第三方服务器对所述指令信息进行第二意图解析，得到意图解析结果；

根据所述意图解析结果生成目标应答信息；

根据所述意图解析结果和所述目标应答信息得到云端响应测试结果。

7.根据权利要求1所述的方法，其特征在于，所述对终端绘制所述云端的响应进行测试，得到终端绘制测试结果，包括：

根据终端对所述云端的响应结果进行语音合成，得到目标语音；

确定目标界面，将所述目标语音的播放绘制在所述目标界面；

根据所述目标界面以及所述目标界面的绘制结果，得到终端绘制测试结果。

8.一种对话测试装置，其特征在于，包括：

云端测试模块，用于对云端针对语音对话的响应进行测试，得到云端响应测试结果，其中，所述云端执行所述语音对话过程中的业务逻辑；

终端测试模块，用于当所述云端响应测试结果满足预设条件时，对终端绘制所述云端的响应进行测试，得到终端绘制测试结果。

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述对话测试方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述对话测试方法的步骤。

Images