CN111767219A

CN111767219A - 智能客服对话流程的检验方法及装置

Info

Publication number: CN111767219A
Application number: CN202010591408.6A
Authority: CN
Inventors: 蒋慧; 熊俊杰
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2020-06-24
Filing date: 2020-06-24
Publication date: 2020-10-13
Anticipated expiration: 2040-06-24
Also published as: CN111767219B

Abstract

本发明公开了一种智能客服对话流程的检验方法及装置，该方法包括：获取智能客服对话流程，其中，所述智能客服对话流程包括多个流程节点；根据各流程节点各自对应的词槽以及各流程节点的跳转条件生成所述智能客服对话流程对应的迁移系统模型；计算所述迁移系统模型的各节点各自对应的不变式，并根据所述不变式对所述智能客服对话流程进行检验，其中，所述迁移系统模型的各节点与所述流程节点一一对应。本发明实现了准确、高效的对智能客服对话流程进行检测的有益效果。

Description

智能客服对话流程的检验方法及装置

技术领域

本发明涉及人机问答技术领域，具体而言，涉及一种智能客服对话流程的检验方法及装置。

背景技术

随着信息技术和人工智能技术的不断发展，智能机器人和智能客服日益普及，以此方式实现机器代人，提升社会整体工作效率。智能客服系统是一种基于知识库管理的应用系统，包括：知识管理技术、自然语言理解技术、客服对话流程管理技术等等，具备一定的行业通用性。

智能客服的对话内容基于面向主题的知识库梳理，通过提取客户对话中的关键词或者构建基于自然语言理解技术的意图识别模型，来判断客户对话的意图，从而根据客户意图和配置好的客服对话流程来进一步指导客服机器人的后续的流程走向和回答话术。因此，客服系统里配置正确合理的客服对话流程是决定客服机器人正常工作的必要条件，从而避免分支未按预期跳转，或者重复、或者直接结束等情况，或者有节点无法跳转执行到等不合理情形。

为了保证智能客服系统上线后正常运转，投入使用前的反复测试不可或缺。目前，对智能客服对话流程(话术流程)多采用人工检测的方法。人工检测耗时耗力不说，一方面难以避免人工过程中的疏忽，另一方面也难以检查出对话流程设计上的不合理，比如：有的节点永远跳转不到等。因此，现有技术缺少一种准确、高效的对智能客服对话流程进行检测的方案。

发明内容

本发明为了解决上述背景技术中的技术问题，提出了一种智能客服对话流程的检验方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种智能客服对话流程的检验方法，该方法包括：

获取智能客服对话流程，其中，所述智能客服对话流程包括多个流程节点；

根据各流程节点各自对应的词槽以及各流程节点的跳转条件生成所述智能客服对话流程对应的迁移系统模型；

计算所述迁移系统模型的各节点各自对应的不变式，并根据所述不变式对所述智能客服对话流程进行检验，其中，所述迁移系统模型的各节点与所述流程节点一一对应。

可选的，所述迁移系统模型包含：系统变量、节点集合、初始节点集合、初始条件集合以及迁移关系集合。

可选的，所述根据各流程节点各自对应的词槽以及各流程节点的跳转条件生成所述智能客服对话流程对应的迁移系统模型，具体包括：

根据各流程节点各自对应的词槽以及所述智能客服对话流程的全局词槽确定所述系统变量；

根据所述流程节点确定所述节点集合；

根据所述智能客服对话流程的初始流程节点确定所述初始节点集合；

根据各流程节点各自对应的词槽的初始状态以及所述全局词槽的初始状态确定所述初始条件集合；

根据各流程节点的跳转条件确定所述迁移关系集合。

可选的，所述根据所述不变式对所述智能客服对话流程进行检验，包括：

若不变式为空则确定该不变式对应的流程节点为错误节点。

为了实现上述目的，根据本发明的另一方面，提供了一种智能客服对话流程的检验装置，该装置包括：

智能客服对话流程获取单元，用于获取智能客服对话流程，其中，所述智能客服对话流程包括多个流程节点；

迁移系统模型生成单元，用于根据各流程节点各自对应的词槽以及各流程节点的跳转条件生成所述智能客服对话流程对应的迁移系统模型；

对话流程检验单元，用于计算所述迁移系统模型的各节点各自对应的不变式，并根据所述不变式对所述智能客服对话流程进行检验，其中，所述迁移系统模型的各节点与所述流程节点一一对应。

可选的，所述迁移系统模型生成单元，包括：

系统变量确定模块，用于根据各流程节点各自对应的词槽以及所述智能客服对话流程的全局词槽确定所述系统变量；

节点集合确定模块，用于根据所述流程节点确定所述节点集合；

初始节点集合确定模块，用于根据所述智能客服对话流程的初始流程节点确定所述初始节点集合；

初始条件集合确定模块，用于根据各流程节点各自对应的词槽的初始状态以及所述全局词槽的初始状态确定所述初始条件集合；

迁移关系集合确定模块，用于根据各流程节点的跳转条件确定所述迁移关系集合。

可选的，所述对话流程检验单元，包括：

错误节点确定模块，用于在不变式为空时，确定该不变式对应的流程节点为错误节点。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述智能客服对话流程的检验方法中的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述智能客服对话流程的检验方法中的步骤。

本发明的有益效果为：本发明通过将智能客服对话流程映射为迁移系统模型，进而通过计算迁移系统模型的各节点各自对应的不变式，根据不变式来对智能客服对话流程进行检验，实现了高效、准确的对智能客服对话流程进行检验的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例智能客服对话流程的检验方法的流程图；

图2是本发明实施例生成迁移系统模型的流程图；

图3是本发明实施例智能客服对话流程的检验装置的结构框图；

图4是本发明实施例迁移系统模型生成单元的结构框图；

图5是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明将智能客服对话流程配置是否正确的问题转化为迁移系统不变式生成的问题，提供了一种专门面向智能客服系统的对话流程的检验方法。该方法主要包括对话流程(即话术流程)向迁移系统映射的方法和利用迁移系统不变式生成技术验证对话流程正确性的思路。

图1是本发明实施例智能客服对话流程的检验方法的流程图，如图1所示，本实施例的智能客服对话流程的检验方法包括步骤S101至步骤S103。

步骤S101，获取智能客服对话流程，其中，所述智能客服对话流程包括多个流程节点。

在本发明实施例中，智能客服对话流程中配置有各流程节点的节点属性和各流程节点的连接属性。其中节点属性包括该流程节点对应的匹配词槽、对话轮次等；连接属性包括该连接对应两个流程节点间的跳转条件等。

在本发明实施例中，所述流程节点包括：API节点和对话节点。API节点为通过调用API获取上游业务系统传递的业务信息，常见的例如用户信息，姓名、性别、卡号、手机号等等。而智能客服询问客户后，需要客户进行回答并通过规则或者机器学习的自然语言处理技术进行语义上的意图识别的节点，通常可以配置为对话节点。

在本发明的实施例中，智能客服对话流程中还记载了各流程节点各自对应的词槽以及智能客服对话流程的全局词槽。在本发明实施例中，每个流程节点的状态由该流程节点对应词槽的值来决定，比如该流程节点的会话轮次、流程节点对应用户意图、用户状态等。流程节点之间的跳转通过词槽的值来给定跳转条件。在本发明实施例中全局词槽包括总会话轮次等。

步骤S102，根据各流程节点各自对应的词槽以及各流程节点的跳转条件生成所述智能客服对话流程对应的迁移系统模型。

在本发明实施例中，迁移系统是一种描述离散行为的系统，用节点表示状态，边表示迁移关系，迁移系统的模型表示为P＝(X_T,L,T,L₀,θ)，其中：X_T为系统变量，L为节点集合，L₀为初始节点集合，θ为初始条件集合，T为迁移关系集合。

在本发明实施例中，本步骤将智能客服对话流程映射为对应的迁移系统模型，具体为，根据各流程节点各自对应的词槽、全局词槽以及各流程节点的跳转条件确定迁移系统模型的系统变量、节点集合、初始节点集合、初始条件集合以及迁移关系集合，得到迁移系统模型。

步骤S103，计算所述迁移系统模型的各节点各自对应的不变式，并根据所述不变式对所述智能客服对话流程进行检验，其中，所述迁移系统模型的各节点与所述流程节点一一对应。

在本发明实施例中，本步骤中的根据所述不变式对所述智能客服对话流程进行检验，具体可以包括：若不变式为空则确定该不变式对应的流程节点为错误节点。

在本发明实施例中，本步骤针对上述迁移系统模型进行分析并根据其分析结果反馈得到智能客服对话流程每个流程节点的不变式。某节点的不变式指该节点可达状态集的超集，错误节点恒不可达。本发明可以利用已有的不变式生成技术和工具，对上述迁移系统模型进行分析。例如，已有的成熟开源工具Interproc，本发明不变式生成模块以Interproc为例，但不限于使用Interproc工具。

Interproc是基于抽象解释不变式生成技术和工具，它面向命令式语言(Imperative language)进行过程间分析。Interproc将program中的每一条语句结束之处都看做一个point，计算结果将输出每一个point的不变式，本发明关心智能客服对话流程中每一个流程节点满足的不变式。

根据错误节点恒不可达，如果迁移系统模型的某节点的不变式为bottom(即为空)，代表该节点不可达，从而说明该节点对应的流程节点内部属性或者流程节点前续跳转连接的属性条件配置有误或者不合理。

在本发明一实施例中，所述迁移系统模型包含：系统变量、节点集合、初始节点集合、初始条件集合以及迁移关系集合。

图2是本发明实施例生成迁移系统模型的流程图，如图2所示，在本发明一实施例中，本发明上述步骤S102的迁移系统模型的具体生成流程包括步骤S201至步骤S205。

步骤S201，根据各流程节点各自对应的词槽以及所述智能客服对话流程的全局词槽确定所述系统变量。

在本发明实施例中，系统变量包含各流程节点各自对应的词槽以及智能客服对话流程的全局词槽。

步骤S202，根据所述流程节点确定所述节点集合。

在本发明一实施例中，节点集合为智能客服对话流程的每个流程节点。迁移系统的节点指的是节点集合中的各节点。

步骤S203，根据所述智能客服对话流程的初始流程节点确定所述初始节点集合。

在本发明一实施例中，初始节点集合为智能客服对话流程的初始流程节点。

步骤S204，根据各流程节点各自对应的词槽的初始状态以及所述全局词槽的初始状态确定所述初始条件集合。

在本发明一实施例中，初始条件集合为智能客服对话流程的各流程节点各自对应的词槽的初始状态以及全局词槽的初始状态。

很多时候对话流程的初始流程节点(即开始节点)都是从上游业务系统获取业务信息的API节点，由于此类词槽通常是在后续话术中填充所用，所以此类词槽的初始状态可直接置为0，代表已填充。非填充类词槽，即将用于后续流程跳转的词槽则按照实际数值范围给定初始状态。

步骤S205，根据各流程节点的跳转条件确定所述迁移关系集合。

在本发明实施例中，迁移关系集合包含各流程节点的跳转条件构成的迁移关系δ和某些流程节点自身重复运行(例如，某流程节点询问客户的身份，但未能从客户的回答中确定客户的身份，则重复运行该流程节点)的条件构成的迁移关系τ。

迁移关系τ表示为(l,l',ρ)，l和l'分别代表迁移关系τ的源节点和目标节点v，ρ为迁移关系τ上的约束集合，约束集合ρ来源于位置节点v对应的节点不变式α(v)，有：

ρ＝α(v)|_X∪α(v)|_X'

v∈V，X表示当前变量值，X’表示迁移后新状态的变量值，α(v)|_X表示变量当前值要满足节点不变式(即节点变量的理论数值范围)，α(v)|_X'表示状态迁移后的变量值要满足当前节点不变式。当节点为对话节点时，节点变量X一般包含轮次变量，其中α(v)|_X和α(v)|_X'上的轮次变量需满足最大对话轮次设置。

迁移关系δ表示为(v,v',ρ)，v和v'分别为迁移关系δ的源节点和目标节点，此处ρ为迁移关系δ上的约束集合，有：

v∈V,X表示当前变量值，X’表示迁移后新状态的变量值，

表示变量当前值要满足智能客服对话流程上跳转条件，ψ|_X'表示状态迁移后的变量值要满足智能客服对话流程跳转后的重置动作(例如：轮次＝轮次+1)，α(v)|_X表示变量当前值要满足迁移前置节点v不变式，α(v')|_X'表示状态迁移后的变量值要满足迁移后置节点v'不变式。

由以上实施例可以看出，本发明提供了一种专门面向智能客服系统的对话流程的检验方法，该方法主要包括对话流程(即话术流程)向迁移系统映射的方法和利用迁移系统不变式生成技术验证对话流程图正确性的思路。

本发明方法将对话流程系统配置是否正确的问题转化为迁移系统不变式生成的问题，如果映射的迁移系统某节点不变式为bottom(即为空)，代表对应的流程节点不可达，从而说明该流程节点上或者前续跳转连接的条件配置有误或者不合理。通过该不变式生成的形式化方法在智能客服系统对话流程系统配置发布上线前就完成在模型层面的对话流程的验证，更早、更快、更全、更精准的定位对话流程配置上的错误或者不合理，至少实现了以下有益效果：

1、节省了人工检查的时间和人力，提升了对话流程配置的测试效率；

2、纯模型层面的检验，避免了人为设计测试话术或者测试路径时，对整体业务的话术流程和话术设计不够熟悉和了解的限制；

3、不变式生成的形式化方法能更为完备的检验出各种配置错误或者不合理；

4、不变式生成的形式化方法针对节点不可达的问题可以直接定位到节点，更迅速精准的排查定位问题。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

基于同一发明构思，本发明实施例还提供了一种智能客服对话流程的检验装置，可以用于实现上述实施例所描述的智能客服对话流程的检验方法，如下面的实施例所述。由于智能客服对话流程的检验装置解决问题的原理与智能客服对话流程的检验方法相似，因此智能客服对话流程的检验装置的实施例可以参见智能客服对话流程的检验方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是本发明实施例智能客服对话流程的检验装置的结构框图，如图3所示，本发明实施例智能客服对话流程的检验装置包括：

智能客服对话流程获取单元1，用于获取智能客服对话流程，其中，所述智能客服对话流程包括多个流程节点；

迁移系统模型生成单元2，用于根据各流程节点各自对应的词槽以及各流程节点的跳转条件生成所述智能客服对话流程对应的迁移系统模型；

对话流程检验单元3，用于计算所述迁移系统模型的各节点各自对应的不变式，并根据所述不变式对所述智能客服对话流程进行检验，其中，所述迁移系统模型的各节点与所述流程节点一一对应。

图4是本发明实施例迁移系统模型生成单元的结构框图，如图4所示，在本发明一实施例中，上述迁移系统模型生成单元2具体包括：

系统变量确定模块201，用于根据各流程节点各自对应的词槽以及所述智能客服对话流程的全局词槽确定所述系统变量；

节点集合确定模块202，用于根据所述流程节点确定所述节点集合；

初始节点集合确定模块203，用于根据所述智能客服对话流程的初始流程节点确定所述初始节点集合；

初始条件集合确定模块204，用于根据各流程节点各自对应的词槽的初始状态以及所述全局词槽的初始状态确定所述初始条件集合；

迁移关系集合确定模块205，用于根据各流程节点的跳转条件确定所述迁移关系集合。

在本发明一实施例中，上述对话流程检验单元3，包括：

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图5所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述智能客服对话流程的检验方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种智能客服对话流程的检验方法，其特征在于，包括：

2.根据权利要求1所述的智能客服对话流程的检验方法，其特征在于，所述迁移系统模型包含：系统变量、节点集合、初始节点集合、初始条件集合以及迁移关系集合。

3.根据权利要求2所述的智能客服对话流程的检验方法，其特征在于，所述根据各流程节点各自对应的词槽以及各流程节点的跳转条件生成所述智能客服对话流程对应的迁移系统模型，具体包括：

根据所述流程节点确定所述节点集合；

根据各流程节点的跳转条件确定所述迁移关系集合。

4.根据权利要求1所述的智能客服对话流程的检验方法，其特征在于，所述根据所述不变式对所述智能客服对话流程进行检验，包括：

若不变式为空则确定该不变式对应的流程节点为错误节点。

5.一种智能客服对话流程的检验装置，其特征在于，包括：

6.根据权利要求5所述的智能客服对话流程的检验装置，其特征在于，所述迁移系统模型包含：系统变量、节点集合、初始节点集合、初始条件集合以及迁移关系集合。

7.根据权利要求6所述的智能客服对话流程的检验装置，其特征在于，所述迁移系统模型生成单元，包括：

8.根据权利要求5所述的智能客服对话流程的检验装置，其特征在于，所述对话流程检验单元，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至4任意一项所述的方法。