CN112685297B - 一种电话客服机器人话术流程自动测试方法 - Google Patents

一种电话客服机器人话术流程自动测试方法 Download PDF

Info

Publication number
CN112685297B
CN112685297B CN202011567903.XA CN202011567903A CN112685297B CN 112685297 B CN112685297 B CN 112685297B CN 202011567903 A CN202011567903 A CN 202011567903A CN 112685297 B CN112685297 B CN 112685297B
Authority
CN
China
Prior art keywords
test
linear
flow
expected hit
service robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011567903.XA
Other languages
English (en)
Other versions
CN112685297A (zh
Inventor
钟煜
管文清
罗汉
蔡劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kexun Jialian Information Technology Co ltd
Original Assignee
Kexun Jialian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kexun Jialian Information Technology Co ltd filed Critical Kexun Jialian Information Technology Co ltd
Priority to CN202011567903.XA priority Critical patent/CN112685297B/zh
Publication of CN112685297A publication Critical patent/CN112685297A/zh
Application granted granted Critical
Publication of CN112685297B publication Critical patent/CN112685297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种电话客服机器人话术流程自动测试方法，测试引擎解析待测试话术流程的树型结构，针对话术流程中每个预期命中节点对应的词库，基于匹配规则，生成每个预期命中节点的匹配集合；测试引擎将待测试话术流程的树型结构遍历展开成若干线性测试用例，解析每条线性测试用例，获得其对应的线性测试流程；测试引擎按照树型结构遍历顺序对每条线性测试流程进行测试，利用每个预期命中节点的匹配集合查验是否该条线性测试流程中的每个预期命中节点全部依序经过，若过程中出现中断情况，则返回中断的预期命中节点及此轮查验到该预期命中节点使用的话术。本发明降低了测试难度，测试覆盖度达到100％。

Description

一种电话客服机器人话术流程自动测试方法
技术领域
本发明涉及话术流程测试技术领域，具体是一种电话客服机器人话术流程自动测试方法。
背景技术
随着AI技术的不断发展，基于话术流程的智能电话客服机器人已经得到广泛应用。电话客服机器人的话术流程在上线前需要经过大量测试工作。目前，话术流程的测试工作主要通过人工编写测试用例，然后人工拨号测试。一个普通话术的全流程测试用例编写平均需要2人天，测试人员根据测试用例完成拨号测试平均需要5人天。对于流程分支过多的复杂话术，每个节点话术都对应有若干词汇或短语的词库，编写全流程测试用例以及拨号测试是很难人工完成的。通常情况下，复杂话术的人工测试只能选择部分重点流程分支进行，测试覆盖度仅在60％左右，使得项目存在较大风险，同时影响项目上线迭代进度。
发明内容
针对现有话术流程测试存在的测试覆盖度低、测试周期长等缺陷，本发明提供一种电话客服机器人话术流程自动测试方法。
本发明保护一种电话客服机器人话术流程自动测试方法，包括以下步骤：
步骤1，测试引擎解析待测试话术流程的树型结构，针对话术流程中每个预期命中节点对应的词库，基于话术流程中设定的匹配规则，生成每个预期命中节点的匹配集合；
步骤2，测试引擎将待测试话术流程的树型结构遍历展开成若干线性测试用例，解析每条线性测试用例，获得其对应的线性测试流程；
步骤3，测试引擎按照树型结构遍历顺序对每条线性测试流程进行测试，利用每个预期命中节点的匹配集合查验是否该条线性测试流程中的每个预期命中节点全部依序经过，若过程中出现中断情况，则返回中断的预期命中节点及此轮查验到该预期命中节点使用的话术；
步骤4，测试引擎汇总每条线性测试流程的测试数量和通过数量，计算其通过率
优选的，话术流程中设定的匹配规则为布尔运算，即将话术流程中每个预期命中节点对应的词库内容经过布尔运算得到对应的匹配集合。
优选的，在解析线性测试用例前，对线性测试用例进行人工修正并对其进行更新。
优选的，测试引擎提供http接口，通过http接口调用测试引擎，每一个话术流程有其唯一ID，测试引擎根据待测试话术流程ID下载该话术流程，再进行后续操作；通过http接口调用测试引擎，下载该话术流程对应的若干线性测试用例并进行修正，再通过http接口提交至测试引擎，完成线性测试用例的更新。
优选的，通过http接口调用测试引擎，下载话术流程测试结果。
本发明还保护一种电话客服机器人话术流程自动测试引擎包括处理器和与所述处理器连接的存储器，所述存储器上存储有可在所述处理器上运行的电话客服机器人话术流程自动测试程序，所述电话客服机器人话术流程自动测试程序在被处理器执行时实现上述电话客服机器人话术流程自动测试方法的步骤。
本发明还保护一种存储介质，其上存储有电话客服机器人话术流程自动测试程序，所述电话客服机器人话术流程自动测试程序被处理器执行时实现上述电话客服机器人话术流程自动测试方法的步骤。
本发明利用话术流程自动测试代替现有的人工编写测试用例，人工拨号测试的传统话术测试方式，从话术流程的树型结构出发，自动遍历展开成若干便于测试引擎自动测试的线性测试用例，大大降低了测试难度，测试覆盖度达到100％，同时降低了测试周期、项目风险和项目成本。
附图说明
图1为实施例1话术流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
为了便于理解，本实施例结合简单的具体实例进行阐述，待测试话术流程如图1所示。在该话术流程的树型结构中，“身份确认”是第一层节点名称，“不认识”、“认识”、“不是”、“是”、“多次未识别”是第二层节点名称，也就是经过“身份确认”后的预期命中节点。该话术流程中包含针对其中每个节点话术的词库，这些词库是电话客服机器人在不断服务的过程中积累起来的。
测试引擎解析图1所示话术流程的树型结构，针对话术流程中每个预期命中节点对应的词库，基于话术流程中设定的匹配规则，生成每个预期命中节点的匹配集合。此处的匹配规则指的是布尔运算，即将话术流程中每个预期命中节点对应的词库内容经过布尔运算得到对应的匹配集合。
测试引擎提供http接口，通过http接口调用测试引擎，每个话术流程有其唯一ID，测试引擎根据待测试话术流程ID下载该话术流程。
遍历该话术流程的树型结构得到若干线性测试用例，解析每条线性测试用例，获得其对应的线性测试流程。例如身份确认→不认识→不认识-挂机就是一条线性测试流程，身份确认→是→协商还款→已经还款→还款方式→任意回答→还款方式-挂机是该话术流程中最长的一条线性测试流程。
测试引擎按照树型结构遍历顺序对每条线性测试流程进行测试，利用每个预期命中节点的匹配集合查验是否该条线性测试流程中的每个预期命中节点全部依序经过，若过程中出现中断情况，则返回中断的预期命中节点及此轮查验到该预期命中节点使用的话术。
存在中断情况的主要原因是，位于同一层级的不同预期命中节点的匹配集合中，可能存在相同词汇或短语，但是按照话术流程设计原则，不应当存在某一话术使得测试流程同时进入同一层级的不同预期命中节点。因此，遍历顺序靠后的预期命中节点将无法进入，也就是查验该线性测试流程过程中发生了中断，返回中断的预期命中节点及此轮查验到该预期命中节点使用的话术，列为该预期命中节点的异常话术，予以剔除。
测试引擎汇总每条线性测试流程的测试数量和通过数量，计算其通过率，表1为图1所示话术流程的测试结果。
Figure BDA0002861532620000031
Figure BDA0002861532620000041
表1
为防止测试引擎自动生成的线性测试用例出现偏差，可以通过http接口调用测试引擎，下载该话术流程对应的若干线性测试用例进行人工修正，再通过http接口提交至测试引擎，完整线性测试用例的更新。
为了便于留存测试结果，可以通过http接口调用测试引擎，下载话术流程测试结果。
实施例2
一种电话客服机器人话术流程自动测试引擎，包括处理器和与所述处理器连接的存储器，所述存储器上存储有可在所述处理器上运行的电话客服机器人话术流程自动测试程序，所述电话客服机器人话术流程自动测试程序在被处理器执行时实现实施例1所述的电话客服机器人话术流程自动测试方法的步骤。
实施例3
一种存储介质，其上存储有电话客服机器人话术流程自动测试程序，所述电话客服机器人话术流程自动测试程序被处理器执行时实现实施例1所述的电话客服机器人话术流程自动测试方法的步骤。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (5)

1.一种电话客服机器人话术流程自动测试方法，其特征在于，包括以下步骤：
步骤1，测试引擎解析待测试话术流程的树型结构，针对话术流程中每个预期命中节点对应的词库，基于话术流程中设定的匹配规则，生成每个预期命中节点的匹配集合；
步骤2，测试引擎将待测试话术流程的树型结构遍历展开成若干线性测试用例，解析每条线性测试用例，获得其对应的线性测试流程，其中，在解析线性测试用例前，对线性测试用例进行人工修正并对其进行更新；
步骤3，测试引擎按照树型结构遍历顺序对每条线性测试流程进行测试，利用每个预期命中节点的匹配集合查验是否该条线性测试流程中的每个预期命中节点全部依序经过，若过程中出现中断情况，则返回中断的预期命中节点及此轮查验到该预期命中节点使用的话术，其中，存在中断情况是因为位于同一层级的不同预期命中节点的匹配集合中存在相同词汇或短语；
步骤4，测试引擎汇总每条线性测试流程的测试数量和通过数量，计算其通过率，其中，测试引擎提供http接口，通过http接口调用测试引擎，每个话术流程有其唯一ID，测试引擎根据待测试话术流程ID下载该话术流程，再进行后续操作；测试引擎提供http接口，通过http接口调用测试引擎，下载该话术流程对应的若干线性测试用例并进行修正，再通过http接口提交至测试引擎，完成线性测试用例的更新。
2.根据权利要求1所述的电话客服机器人话术流程自动测试方法，其特征在于，话术流程中设定的匹配规则为布尔运算，即将话术流程中每个预期命中节点对应的词库内容经过布尔运算得到对应的匹配集合。
3.根据权利要求1或2所述的电话客服机器人话术流程自动测试方法，其特征在于，通过http接口调用测试引擎，下载话术流程测试结果。
4.一种电话客服机器人话术流程自动测试引擎，其特征在于，包括处理器和与所述处理器连接的存储器，所述存储器上存储有可在所述处理器上运行的电话客服机器人话术流程自动测试程序，所述电话客服机器人话术流程自动测试程序在被处理器执行时实现权利要求1-3任意一项所述的电话客服机器人话术流程自动测试方法的步骤。
5.一种存储介质，其特征在于，其上存储有电话客服机器人话术流程自动测试程序，所述电话客服机器人话术流程自动测试程序被处理器执行时实现权利要求1-3任意一项所述的电话客服机器人话术流程自动测试方法的步骤。
CN202011567903.XA 2020-12-25 2020-12-25 一种电话客服机器人话术流程自动测试方法 Active CN112685297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011567903.XA CN112685297B (zh) 2020-12-25 2020-12-25 一种电话客服机器人话术流程自动测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011567903.XA CN112685297B (zh) 2020-12-25 2020-12-25 一种电话客服机器人话术流程自动测试方法

Publications (2)

Publication Number Publication Date
CN112685297A CN112685297A (zh) 2021-04-20
CN112685297B true CN112685297B (zh) 2022-11-29

Family

ID=75453327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011567903.XA Active CN112685297B (zh) 2020-12-25 2020-12-25 一种电话客服机器人话术流程自动测试方法

Country Status (1)

Country Link
CN (1) CN112685297B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1635763A (zh) * 2003-12-26 2005-07-06 中国电子科技集团公司第三十研究所 用于抽象句法表示法高层应用的通用编解码方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414836A (en) * 1993-09-29 1995-05-09 International Business Machines Corporation Software testing system that employs a graphical interface to generate test cases configured as hybrid tree structures
CN102880535B (zh) * 2012-07-24 2015-10-28 播思通讯技术（北京）有限公司 一种用于移动设备的无线自动化测试装置及方法
CN109388564B (zh) * 2018-09-26 2021-07-06 广州云测信息技术有限公司 一种测试方法、装置及电子设备
CN109857667B (zh) * 2019-02-03 2021-10-08 苏州市龙测智能科技有限公司 接口自动化测试方法、测试装置、测试设备及存储介质
CN111324718B (zh) * 2020-02-26 2023-06-30 网易（杭州）网络有限公司 一种对话流测试方法、装置、电子设备及可读存储介质
CN111581074A (zh) * 2020-03-26 2020-08-25 平安普惠企业管理有限公司 通话场景覆盖测试方法、装置、计算机设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1635763A (zh) * 2003-12-26 2005-07-06 中国电子科技集团公司第三十研究所 用于抽象句法表示法高层应用的通用编解码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于测试引擎的自动测试系统软件设计;梁旭等;《电子测量与仪器学报》;20061030(第05期);全文 *

Also Published As

Publication number Publication date
CN112685297A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
EP1240642B1 (en) Learning of dialogue states and language model of spoken information system
US7143040B2 (en) Interactive dialogues
EP1380153B1 (en) Voice response system
CA2441195C (en) Voice response system
US10409797B2 (en) Systems and methods for providing searchable customer call indexes
US7606714B2 (en) Natural language classification within an automated response system
Aleksic et al. Improved recognition of contact names in voice commands
US20060287868A1 (en) Dialog system
EP1901283A2 (en) Automatic generation of statistical laguage models for interactive voice response applacation
CN110310663A (zh) 违规话术检测方法、装置、设备及计算机可读存储介质
US20080267364A1 (en) Directory dialer name recognition
WO2000078022A1 (en) A method of developing an interactive system
CN110177182A (zh) 敏感数据处理方法、装置、计算机设备及存储介质
CN112685297B (zh) 一种电话客服机器人话术流程自动测试方法
Suendermann Advances in commercial deployment of spoken dialog systems
CN113596266A (zh) 一种外呼时的智能选号方法及系统
CN111488735A (zh) 测试语料生成方法、装置及电子设备
Natarajan et al. Speech-enabled natural language call routing: BBN Call Director
EP1301921B1 (en) Interactive dialogues
CN111988479B (zh) 通话信息处理方法、装置、计算机设备及存储介质
US20230133027A1 (en) Method and apparatus for intent-guided automated speech recognition
Söderström Examensarbete i Talkommunikation Master of Science Thesis in Speech Communication
CA3212457A1 (en) Systems and methods for training natural language processing models in a contact center
CN110781072A (zh) 基于机器学习的代码审核方法、装置、设备及存储介质
Hutchinson et al. Um, one large pizza. A preliminary study of disfluency modelling for improving ASR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant