CN110580282A - 通过仿真用户与客服交互的方法及装置 - Google Patents
通过仿真用户与客服交互的方法及装置 Download PDFInfo
- Publication number
- CN110580282A CN110580282A CN201810495456.8A CN201810495456A CN110580282A CN 110580282 A CN110580282 A CN 110580282A CN 201810495456 A CN201810495456 A CN 201810495456A CN 110580282 A CN110580282 A CN 110580282A
- Authority
- CN
- China
- Prior art keywords
- session
- current
- customer service
- user
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0613—Third-party assisted
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供一种通过仿真用户与客服交互的方法，该方法包括：首先，接收客服发送的当前客服会话；接着，基于预先训练的意图识别模型，确定当前客服会话对应的当前意图类别；然后，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与当前意图类别对应的当前会话数据集，多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，对话组合集被划分为多个对话域子集，多个对话域子集构成多个备选会话数据集的至少一部分；再从当前会话数据集中确定与当前客服会话对应的当前用户会话内容，并将当前用户会话内容提供给客服。
Description
技术领域
本说明书实施例涉及互联网技术领域，具体地，涉及一种通过仿真用户与客服交互的方法及装置。
背景技术
在客服培训领域，目前的客服培训都是理论知识培训。因理论和实践有一定距离，客服人员在学习了一些材料或看过视频后就开始上线接客，往往手忙脚乱，上线服务前一个月的服务品质和效能通常低于正常服务水平。另一方面，客服人员的流入流动性较高，频繁地对客服人员培训产生了较高的培训成本。
因此，需要一种合理的方案，可以实现低成本、高效能地完成对客服人员的培训。
发明内容
本说明书描述了一种通过仿真用户与客服交互的方法，基于真实用户与客服的历史服务数据构造仿真用户，通过仿真用户模拟真实用户进线向客服咨询，当应用于在客服培训领域时，可以实现低成本、高效能地完成对客服人员的培训。
根据第一方面，提供一种通过仿真用户与客服交互的方法，该方法包括：接收客服发送的当前会话；接收客服发送的当前客服会话；基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，并将所述当前用户会话内容提供给所述客服。
根据第二方面，提供另一种通过仿真用户与客服交互的方法，该方法包括：根据会话发起数据集，向客服发送第一用户会话；接收客服发送的当前客服会话；基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集；从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，并将所述当前用户会话内容提供给所述客服。
根据第三方面，提供一种客服服务的评价方法，该方法包括：获取需要评价的客服服务所对应的服务数据，所述服务数据至少包括客服与用户的会话数据；根据所述服务数据，确定所述客服服务的服务完整度，解决方案正确度，服务热情度和服务效率特征值中的至少一项。
根据第四方面，提供一种与仿真用户交互的方法，该方法包括：向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；接收所述仿真用户发送的所述当前用户会话内容。
根据第五方面，提供另一种与仿真用户交互的方法，该方法包括：接收仿真用户根据会话发起数据集发送的第一用户会话；向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；接收所述仿真用户发送的所述当前用户会话内容。
根据第六方面，提供一种与客服交互的仿真用户，该仿真用户包括：接收单元，用于接收客服发送的当前客服会话；第一确定单元，用于基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；第二确定单元，用于基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；第三确定单元，用于从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；发送单元，用于将所述当前用户会话内容提供给所述客服。
根据第七方面，提供另一种与客服交互的仿真用户，该仿真用户包括：发送单元，用于根据会话发起数据集，向客服发送第一用户会话；接收单元，用于接收客服发送的当前客服会话；第一确定单元，用于基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；第二确定单元，用于基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集；第三确定单元，用于从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；所述发送单元，还用于将所述当前用户会话内容提供给所述客服。
根据第八方面，提供一种客服端，该客服端包括：发送单元，用于向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；接收单元，用于接收所述仿真用户发送的所述当前用户会话内容。
根据第九方面，提供另一种客服端，该客服端包括：接收单元，用于接收仿真用户根据会话发起数据集发送的第一用户会话；发送单元，用于向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；所述接收单元，还用于接收所述仿真用户发送的所述当前用户会话内容。
根据第十方面，提供一种通过仿真用户与客服交互的系统，该系统包括：客服端，用于向仿真用户发送当前客服的当前客服会话；仿真用户，用于基于预先训练的意图识别模型，确定所述当前会话对应的意图类别，基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；所述客服端，还用于接收所述仿真用户发送的所述当前用户会话内容。
根据第十一方面，提供另一种通过仿真用户与客服交互的系统，该系统包括：仿真用户，用于根据会话发起数据集向客服端发送第一用户会话；客服端，用于向仿真用户发送当前客服的当前客服会话；所述仿真用户，还用于基于预先训练的意图识别模型，确定所述当前会话对应的意图类别，基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，以及向客服端发送所述当前用户会话内容。
根据第十二方面，提供一种客服服务的评价装置，该装置包括：获取单元，用于获取需要评价的客服服务所对应的服务数据，所述服务数据至少包括客服与用户的会话数据；处理单元，用于根据所述服务数据，确定所述客服服务的服务完整度，解决方案正确度，服务热情度和服务效率特征值中的至少一项。
根据第十三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面、或第二方面、或第三方面、或第四方面、或第五方面的方法。
根据第九方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面、或第二方面、或第三方面、或第四方面、或第五方面的方法。
在本说明书实施例披露的通过仿真用户与客服交互的方法中，可以基于历史服务数据集，构造仿真用户，以模拟真实用户与客服进行交互。当所述方法应用在对新进客服进行培训时，仿真用户可以为客服培训提供实战环境，从而使客服在和仿真用户的服务对话中，降低服务紧张感，熟悉服务操作流程和服务咨询问题，进而提升服务能力。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个例子的真实用户与客服的某次历史会话数据示意图；
图3示出根据一个实施例的通过仿真用户与客服交互的方法流程图；
图4示出根据一个例子的客服端的会话界面示意图；
图5示出根据一个例子的客服端的会话界面示意图；
图6示出根据一个例子的客服端的会话界面示意图；
图7示出根据一个例子的客服端的会话界面示意图；
图8示出根据一个例子的客服端的会话界面示意图；
图9示出根据另一个实施例的通过仿真用户与客服交互的方法流程图；
图10示出根据一个例子的客服端的会话界面示意图；
图11示出根据一个实施例的客服服务的评价方法流程图；
图12示出根据一个例子的需要评价的客服会话数据；
图13示出根据一个实施例的仿真用户的示意性框图；
图14示出根据另一个实施例的仿真用户的示意性框图；
图15示出根据一个实施例的客服端的示意性框图；
图16示出根据另一个实施例的客服端的示意性框图；
图17示出根据一个实施例的仿真用户与客服交互的系统示意性框图；
图18示出根据另一个实施例的仿真用户与客服交互的系统示意性框图；
图19示出根据一个实施例的客服服务的评价装置示意性框图。
具体实施方式
下面结合附图，对本说明书披露的多个实施例进行描述。
本说明书实施例披露一种通过仿真用户与客服交互的方法，首先对所述方法的发明构思及应用场景进行介绍。所述方法旨在基于客服向真实用户提供客服服务所产生的历史服务数据，构造仿真用户，以通过仿真用户模拟真实用户向客服进行咨询。在一种应用场景下，如图1所示，仿真用户可以使用基于客服人员的人工客服服务，如电话热线服务或在线服务。此外，所述方法主要基于以下的观察和统计：
第一，对于客服培训，目前的客服培训都是理论知识培训，理论和实践有一定距离，客服在学习了一些材料或看过视频后就开始上线接客，往往手忙脚乱，导致前期的服务品质和效能通常低于正常服务水平。另一方面，部分客服人员由在校大学生等社会人员组成，流入的流动性较高，因此对新进客服人员的培训比较频繁。因此，需要一种可以快速提升新进人员的服务能力，同时能有效控制服务培训成本的培训方案。
第二，对于服务压测，客服领域的业务团队在开展一些大型的业务活动之前，如双十一等大促活动之前，需要针对业务进行全链路压测和故障演练，包括快速校验在会员大量快速进线情况下，业务服务的调度能力以及突发故障时的服务校验能力。因此，需要一款业务服务能力压测工具。
基于以上的观察和统计，在本说明书实施例披露的通过仿真用户与客服交互的方法中，可以基于历史服务数据集，构造仿真用户，以模拟真实用户与客服进行交互。进一步地，当所述方法应用在对新进客服进行培训时，仿真用户可以为客服培训提供实战环境，从而使客服在和仿真用户的服务对话中，降低服务紧张感，熟悉服务操作流程和服务咨询问题，进而提升服务能力。另一方面，在需要进行服务压测时，可以在预定时间(如，1min)内，快速发起预定数量(如，1万)的仿真用户进线，从而模拟出会员大量快速进线的场景，进而实现服务压测。接下来，对所述方法的具体实施方式进行介绍。
根据一个具体的实施例，在本说明书提供的通过仿真用户与客服交互的方法中，首先，仿真用户接收客服发送的当前客服会话，在一个例子中，当前客服会话可以包括“亲，你好！”，在另一个例子中，当前客服会话可以包括“可以提供一下订单号吗？”；接着，基于预先训练的意图识别模型，确定接收到的当前客服会话对应的当前意图类别，在一个例子中，可以确定出与当前客服会话“亲，你好！”对应的当前意图类别为语聊类意图，在另一个例子中，可以确定出与当前客服会话“可以提供一下订单号吗？”对应的当前意图类别为询问用户信息类意图；然后，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与当前意图类别对应的当前会话数据集，并从当前会话数据集中确定与当前客服会话对应的当前用户会话内容，在一个例子中，与语聊类意图对应的会话数据集为语聊对话组合库，由此可以从语聊对话组合库中确定出与当前客服会话“亲，你好！”对应的当前用户会话内容是“哈喽”，在另一个例子中，与询问用户信息类意图对应的会话数据集为用户信息数据集，由此可以从用户信息数据集中确定出与当前客服会话“可以提供一下订单号吗？”对应的当前用户会话内容是“100010001”；接着，将获取的当前用户会话内容提供给客服。如此，可以实现利用仿真用户模拟真实用户与客服进行交互。
由上述可知，在本说明书实施例的方法中用到了预先训练的意图识别模型，用于确定客服的当前客服会话所对应的当前意图类别，还用到了预先确定的意图类别与会话数据集的对应关系，用于从多个备选会话数据集中确定与当前意图类别对应的当前会话数据集，进而从当前会话数据集中确定与当前客服会话对应的当前用户会话内容。下面，首先对意图识别模型的训练方法、多个备选会话数据集的确定方法，以及预先确定的意图类别与会话数据集的对应关系进行介绍。
根据第一阶段，对于意图识别模型，可以用于确定当前客服会话所对应的意图类别，相应地，所述意图识别模型的训练样本可以包括历史客服会话训练样本。需要说明的是，在确定多个备选会话数据集时，同样需要用到意图识别模型，且需要使用意图识别模型判断历史客服会话和历史用户会话的意图类别，因此，所述意图识别模型的训练样本还可以包括历史用户会话训练样本。在一个具体的实施例中，所述历史客服会话训练样本和历史用户会话训练样本可以通过以下步骤获得：首先，获取真实用户与客服的历史会话数据集，其中可以包括文本数据和语音数据。接着，对历史会话数据集中的文本数据和由其中的语音数据转换而得到的文本数据进行人工标定，以得到标定后的训练样本。在一个实施例中，人工标定包括对文本数据中的各历史客服会话和各历史用户会话的意图类别进行标定，标定出的意图类别可以为询问用户信息类意图、询问用户问题类意图、确认类意图、解答类意图和语聊类意图中的一种。
在一个例子中，询问用户信息类意图是指询问用户的账号信息、订单信息等实体信息。进一步地，在一个例子中，询问用户信息类意图还可以被划分为与具体用户信息类别对应的子意图，例如，可以包括与订单信息对应的询问订单类子意图，或者可以包括与账号信息对应的询问账号类子意图，例如，被标定为询问订单类子意图的会话可以是“亲，可以提供一下您想咨询的订单号吗？”、“订单号：100010001”。
在一个例子中，询问用户问题类意图是指“询问用户想要咨询的问题是什么”的意图，例如，被标定为此类意图的会话可以是“亲，请问有什么可以帮助您的吗？”、“都三天了卖家还没发货”。
在一个例子中，确认类意图是指向用户确认其想要咨询的问题、账号信息和订单信息等的意图，例如，被标定为此类意图的会话可以是“您是想让卖家尽快发货是吗？”、“是的，还请尽快帮我解决这个问题”。
在一个例子中，解答类意图是指向用户提供解决方案，例如，被标定为此类意图的会话可以是“亲，您可以向卖家申请退款哦”、“好的，我现在就去申请退款”。
在一个例子中，语聊类意图是指安抚类、承接上下文、礼貌问候语等，例如，被标定为此类意图的会话可以是“请稍等”、“我这边会尽快给你处理的”、“十分感谢”。进一步地，在一个例子中，语聊类意图还可以包括与语聊具体目的对应的子意图，例如，可以包括问候类子意图、安抚类子意图和结束类子意图等，例如，被标定为问候类子意图的会话可以是“你好，这里是阿里巴巴云客服”，又例如，被标定为安抚类子意图的会话可以是“您先别着急”，再例如，被标定为结束类子意图的会话可以是“请问还有什么可以帮助您的吗？”。
需要说明的时，意图识别模型可以采用基于深度学习模型的文本分类模型，例如，卷积神经网络(Convolutional Neural Network，简称CNN)模型，以通过捕捉文本语义特征，识别会话数据的意图类型。
由上，可以根据人工标定的多个训练样本训练生成所述意图识别模型。
根据第二阶段，确定多个备选会话数据集。在一种实施方式中，多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，其中某次历史会话可以为获取的多次历史会话中的任一次会话，且对话组合集可以划分为多个对话域子集。在一个实施例中，所述对话组合集可以通过以下步骤获取：首先，将某次历史会话的会话内容拆分为多个对话组合，各对话组合包括对应的历史客服会话和历史用户会话；然后，根据域划分规则，将多个对话组合划分为多个对话域子集。
进一步地，一方面，在一个具体的实施例中，某次历史会话的会话内容为多条文本记录，将此会话内容拆分为多个对话组合，可以包括：对多条文本记录进行语义识别，以确定对应的多个对话组合；在另一个具体的实施例中，某次历史会话的会话内容为语音数据，将此会话内容拆分为多个对话组合，可以包括：首先采用语音流切割技术，将语音数据拆分为多条语音记录；接着将多条语音记录转换为对应的多条文本记录；然后对多条文本记录进行语义识别，以确定对应的多个对话组合。
另一方面，在一个具体的实施例中，根据域划分规则，将与某次历史会话对应的多个对话组合划分为多个对话域子集，可以包括：首先基于前述第一阶段中训练生成的意图识别模型，对各对话组合中包括的历史客服会话和历史用户会话进行意图识别，然后基于识别出来的各会话的意图类别，根据域划分规则将多个对话组合划分为多个对话域子集。在一个例子中，对话组合集中可以包括问题域对话子集，域划分规则中可以包括相应的问题域划分规则，例如，如果一个对话组合中，历史客服会话和/或历史用户会话的意图类别为询问用户问题类意图，则将此对话组合划分到问题域对话子集中。在另一个例子中，对话组合集中可以包括确认域对话子集，域划分规则中可以包括相应的确认域划分规则，例如，如果一个对话组合中，历史客服会话和/或历史用户会话的意图类别为确认类意图，则将此对话组合划分到确认域对话子集中。在又一个例子中，对话组合集中可以包括解答域对话子集，域划分规则中可以包括相应的解答域划分规则，例如，如果一个对话组合中，历史客服会话的意图类别为解答类意图，则将此对话组合划分到解答域对话子集中。
根据一个具体的例子中，图2中示出的某次历史会话的会话内容可以被拆分为多个对话组合QnAn，n的取值为1至9。具体地，一方面，其中Q2和A2的意图类别均为询问用户问题类意图，因此对话组合Q2A2被相应划分到问题域对话子集中，Q3和A3的意图类别分别为语聊类意图和询问用户问题类意图，因此对话组合Q3A3也被相应划分到问题域对话子集中。另一方面，其中Q5、A5、Q6、A6的意图类别均为确认类意图，相应地，可以将对话组合Q5A5和Q6A6划分到确认域对话子集中。再一方面，其中Q7的意图类别为解答类意图，相应地可以将对话组合Q7A7划分到解答域对话子集中。
以上，可以确定出多个备选会话数据集中包括的对话组合集。根据一种实施方式，多个备选会话数据集中还可以包括用户信息数据集。在一个实施例中，用户信息数据集可以通过以下步骤确定：获取某次历史会话的会话内容中所包括的第一用户信息数据；和/或，获取系统中存储的某次历史会话所对应用户的第二用户信息数据。其中涉及的某次历史会话，与前述确定对话组合集时所基于的某次历史会话为同一次。在一个实施例中，用户信息数据集中可以包括账号信息、订单信息等用户实体信息。在一个例子中，获取的第一用户信息数据可以包括订单号，例如，可以包括从图2中示出的历史会话内容中所获取的订单号“100010001”，以及获取的第二用户信息可以包括系统中存储的用户账号，例如“18866668888”。如此，确定出的用户信息数据集可以包括用户的订单号“100010001”和用户的账号“18866668888”。在一个实施例中，用户信息数据集的确定还可以包括步骤：对第一用户信息数据和/或第二用户信息数据进行脱敏处理。需要说明的是，脱敏处理是指通过脱敏规则对某些敏感信息进行数据的变形，以实现对敏感隐私数据的可靠保护。在本说明书实施例中，考虑到在通过仿真用户与客服交互的过程中，如果将真实用户的信息呈现给客服，可能会造成一些安全隐患，因此需要对获取到的用户真实信息进行脱敏处理，以对用户信息进行保护。在一个例子中，可以对获取到的用户个人信息进行脱敏处理，并将处理后得到的信息作为用户信息数据集的一部分。据此，可以得到对应的用户信息数据集。
根据一种实施方式，多个备选会话数据集中还可以包括语聊对话组合库。在一个实施例中，语聊对话组合库可以基于多次历史客服服务的历史会话数据集而确定。在一个实施例中，语聊对话组合库可以通过以下步骤确定：首先确定历史会话数据集中各历史会话对应的语聊对话组合，然后将确定出的各语聊对话组合整合成所述语聊对话组合库。进一步地，在一个例子中，确定各历史会话对应的语聊对话组合，可以包括：首先将各历史会话的会话内容拆分为多个对话组合；接着，基于前述意图识别模型，对各对话组合中的历史客服会话和历史用户会话进行意图识别；然后将历史客服会话和对应的历史用户会话的意图类别均为语聊类意图的对话组合，确定为所述语聊对话组合。根据一个具体的例子，对图2中示出的历史会话内容，其中Q1、A1、Q8、A8、Q9和A9的意图类别均为语聊类意图，相应地可以将对话组合Q1A1、Q8A8和Q9A9确定为语聊对话组合，并将这些语聊对话组合归到语聊对话组合库中。需要说明的是，其中将各历史会话的会话内容拆分为多个对话组合的相关描述，可以参见前述确定对话组合集中的相关描述，在此不作赘述。由此，可以确定出语聊对话组合库，并将其作为多个备选会话数据集的一部分。
由上，根据第一阶段，可以生成意图识别模型，在一个实施例中，该模型识别出的意图类别可以包括：询问用户问题类意图、询问用户信息类意图、确认类意图、解答类意图和语聊类意图。根据第二阶段，可以确定出多个备选会话数据集，在一个实施例中，多个备选会话数据集中可以包括基于真实用户与客服的某次历史会话而获取的对话组合集和用户信息数据集，以及基于多次历史客服服务而确定的语聊对话组合库，其中对话组合集可以包括问题域对话子集、确认域对话子集和解答域对话子集。如此，可以根据意图识别模型所识别出来的意图类别和多个备选会话数据集，建立意图类别与会话数据集的对应关系。在一个实施例中，所述对应关系可以如下表1所示:
表1
如此，在确定出意图识别模型，多个备选会话数据集,以及意图类别与会话数据集的对应关系的情况下，可以根据客服的当前客服会话，从多个备选会话数据集中确定出与当前客服会话对应的当前用户会话内容，进而提供给所述客服，以实现通过仿真用户与客服进行交互。图3示出根据一个实施例的通过仿真用户与客服的交互方法流程图，所述方法的执行主体可以为图1中示出的仿真用户。如图3所示，该方法流程包括以下步骤：步骤S310，接收客服发送的当前客服会话；步骤S320，基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；步骤S330，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集；步骤S340，从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，并将所述当前用户会话内容提供给所述客服。
首先，在步骤S310，接收客服发送的当前客服会话。
在一个例子中，接收到的当前客服会话可以为“嗨，你好”，或，“请问有什么可以帮您？”，或，“请问您需要咨询的订单号是？”，或，“您想让卖家退款是吗？”，或，“亲，你可以点击这个链接申请退款”，或，“请问您还有其他问题吗？”。
接着，在步骤S320，基于预先训练的意图识别模型，确定与当前客服会话对应的当前意图类别。
在一个实施例中，基于意图识别模型识别出的意图类别可以为询问用户信息类意图、或询问用户问题类意图、或确认类意图、或解答类意图、或语聊类意图。在一个例子中，假定当前客服会话为“你好，这里是阿里巴巴客户端云客服0800号。”，据此可以确定对应的当前意图类别为语聊类意图。在另一个例子中，假定当前客服会话为“请问您有什么问题呢？”，据此可以确定对应的当前意图类别为询问问题类意图。在又一个例子中，假定当前客服会话为“亲请提供一下你要咨询的订单号”，据此可以确定对应的当前意图类别为询问用户信息类意图。在再一个例子中，假定当前客服会话为“您想让卖家退款是吗？”。在又一个例子中，假定当前客服会话为“好的，我这边会催促卖家尽快给您退款，预计在3个工作日内到账，还请您耐心等待”，据此可以确定对应的当前意图类别为解答类意图。
步骤S330，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集。
在一个实施例中，多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，且对话组合集可以划分为多个对话域子集，进一步地，在一个例子中，多个对话域子集可以包括问题域对话子集、确认域对话子集和解答域对话子集中的任意几种。在一个实施例中，多个备选答复集还可以包括，基于与获取对话组合集时针对的同一次历史会话、而获取的用户信息数据集。在一个实施例中，多个备选答复集还可以包括，基于多次历史客服服务的历史会话数据集而获取的语聊对话组合库。
在一个实施例中，预先确定的意图类别与会话数据集的对应关系，可以为上述表1所示。相应地，在一个例子中，在当前意图类别为询问用户问题类意图的情况下，将问题域对话子集作为当前会话数据集。在另一个例子中，在当前意图类别为确认类意图的情况下，将确认域对话子集作为当前会话数据集。在又一个例子中，在当前意图类别为解答类意图的情况下，将解答域对话子集作为当前会话数据集。在再一个例子中，在当前意图类别为询问用户信息类意图的情况下，将用户信息数据集作为当前会话数据集。在又一个例子中，在当前意图类别为语料类意图的情况下，将语聊对话组合库作为当前会话数据集。
在以上确定出与当前意图类别对应的当前会话数据集后，在步骤S340，从当前会话数据集中确定与当前客服会话对应的当前用户会话内容，并将当前用户会话内容提供给客服。
根据一种实施方式，当前会话数据集为对话组合集中的问题域对话子集，从当前会话数据集中确定与当前客服会话对应的当前用户会话内容，可以包括：将问题域对话子集中各对话组合所包括的历史用户会话均作为当前用户会话内容。在一个例子中，问题域对话子集中可以包括对话组合：“历史客服：请问有什么需要帮忙的吗？，历史用户：嗯，请问怎么在淘宝开店呢？”，相应地，可以将此对话组合中的历史用户会话“请问怎么在淘宝开店呢？”作为当前用户会话内容。在另一个例子中，问题域对话子集可以包括图2中示出的对话组合Q2A2和Q3A3，相应地，可以将此对话组合中的历史用户会话A2和A3均作为当前用户会话内容。进一步地，在一个实施例中，当问题域子集中包括多个对话组合时，将当前用户会话内容提供给客服可以包括：将当前用户会话内容中包括的多个历史用户会话，按照其中各历史用户会话的历史产生时间，依次将各历史用户会话提供给客服。在一个例子中，当前用户会话内容包括图2中示出的历史用户会话A2和A3，假定A2的产生时间在A3之前，例如，A2和A3的历史发送时间分别是14:01和14:02，则可以将A2和A3先后提供给客服，例如客服端的会话界面可以如图4所示，其中包括与当前客服会话“请问您有什么问题呢？”对应的用户当前用户会话内容“A2：我没有收到货”和“A3：都三天了，怎么还不给我发货，也不给我退款”。如此，在当前会话数据集为问题域对话子集的情况下，可以从中确定出与当前客服会话对应的当前用户会话内容，并将其提供给客服。
根据另一种实施方式，在当前会话数据集为确认域对话子集，或解答域对话子集，或语聊对话组合库的情况下，从当前会话数据集中确定与当前客服会话对应的当前用户会话内容，包括：从当前会话数据集中确定与当前客服会话对应的历史客服会话，并将此历史客服会话所对应的历史用户会话作为当前用户会话内容。进一步地，在一个实施例中，从当前会话数据集中确定与当前客服会话对应的历史客服会话，包括：将当前客服会话与当前会话数据集中各对话组合所包括的历史客服会话进行相似度计算，将超过预定阈值的相似度所对应的历史客服会话，作为与当前客服会话对应的历史客服会话。需要说明的时，其中相似度计算可以采用基于关键字抽取(TextRank)相似度匹配算法，或者加权(tf-idf)词向量(word2vec)化文档相似度匹配算法，在此不作限定。
进一步地，在一个具体的实施例中，当前会话数据集为确认域对话子集，则可以将当前客服会话与确认域对话子集中各历史客服会话进行相似度计算。在一个例子中，确认域对话子集可以包括图2中示出的对话组合Q5A5和Q6A6，假定当前客服会话为“您想让卖家退款是吗？”，相应地，可以将此当前客服会话分别与Q5和Q6进行相似度计算，并判断出当前客服会话与Q6之间的相似度超过了预定阈值，据此可以将与Q6对应的历史客服会话A6作为当前用户会话内容，并将此当前用户会话内容提供给客服端，客服端的会话界面可以如图5所示。
在另一个具体的实施例中，当前会话数据集为解答域对话子集，则可以将当前客服会话与解答域对话子集中历史客服会话进行相似度计算。在一个例子中，解答域对话子集可以包括图2中示出的对话组合Q7A7，假定当前客服会话为“好的，我这边会催促卖家尽快给您退款，预计将在3个工作日内到账，还请您耐心等待”，相应地，可以将此当前客服会话与Q7进行相似度计算，并判断计算出的相似度超过了预定阈值，据此可以将与Q7对应的历史客服会话A7作为当前用户会话内容并将此当前用户会话内容提供给客服，客服端的会话界面可以如图6所示。
在又一个具体的实施例中，当前会话数据集为语聊对话组合库，则可以将当前客服会话与语聊对话组合库中各对话组合包括的历史客服会话进行相似度计算。在一个例子中，语聊数据库可以包括图2中示出的对话组合Q1A1、Q7A7和Q8A8。假定当前客服会话为“请问您还有其他问题吗？”，相应地，可以将此当前客服会话与语聊数据库中的包括Q1、Q8和Q9进行相似度计算，并判断出当前客服会话与Q8之间的相似度超过了预定阈值，据此可以将与Q8对应的历史客服会话A8作为当前用户会话内容，并将此当前用户会话内容提供给客服端，客服端的会话界面可以如图7所示。
进一步地，在一个实施例中，在将当前客服会话与当前会话数据集中各对话组合所包括的历史客服会话进行相似度计算后，当超过预定阈值的相似度为多个时，可以将其中的最高相似度所对应的历史客服会话，作为与当前客服会话对应的历史客服会话。在一个例子中，假定当前客服会话为“没事的亲，这是我们应该做的”，基于语聊对话组合库计算出来的超过预定阈值的相似度所对应的历史客服会话为“没事哈，这都是我们应该做的”(假定相似度为0.9)和“不客气，这都是我们的职责所在”(假定相似度为0.85)，则可以将“没事哈，这都是我们应该做的”，作为与当前客服会话对应的历史客服会话，并将对应的历史用户会话“好的，再次感谢”作为当前用户会话内容。
在一个实施例中，在没有确定出与当前客服会话对应的历史客服会话时，可以基于预先设置的客服会话与用户会话的映射关系，确定与当前客服会话对应的当前用户会话内容。在一个例子中，在将当前客服会话与当前会话数据集，例如，语聊对话组合库，中各对话组合所包括的历史客服会话进行相似度计算后，判断出计算出的相似度值均没有超过预定阈值，由此可以判定当前会话数据集中不存在与当前客服会话对应的历史客服会话。在一个例子中，确定与当前客服会话对应的当前用户会话内容，可以包括：将当前客服会话与预先设置的多个客服会话中各客服会话进行相似度计算，将超过预设值的相似度所对应的客服会话，作为与当前客服会话对应的客服会话，并将与客服会话对应的用户会话作为当前用户会话内容，此过程与前述从当前会话数据集中确定与当前客服会话对应的历史客服会话，并将与历史客服会话对应的用户会话的过程相似，在此不作赘述。需要说明的是，预先设置多个客服会话、多个用户会话，以及建立二者映射关系的意义在于，保证对接收到的当前客服的每条会话，仿真用户都可以确定出与该会话对应的当前用户会话内容。在一个例子中，预先设置的映射关系可以包括：客服会话“需要我帮你沟通吗”对应于当前客服会话“不用了”。在另一个例子中，预先设置的映射关系可以包括：其他客服会话(Others)对应于“好的”，也就是说，当预先设置的多个客服会话中，不存在与当前客服会话对应的客服会话时，统一回复“好的”，如此可以进一步保证对于从客服接收的每条当前客服会话，仿真用户都可以做出答复。
如此，可以实现在当前会话数据集为确认域子集、或解答域子集或语聊对话组合库的情况下，从当前会话数据集中确定与当前客服会话对应的当前用户会话内容。
根据又一种实施方式，当前会话数据集为用户信息数据集，从当前会话数据集中确定与当前客服会话对应的当前用户会话内容，可以包括：从用户信息数据集中检索出与当前客服会话对应的用户信息，并将此用户信息作为当前用户会话内容。在一个实施例中，当确定出与当前客服会话对应的意图类别为询问用户信息类意图后，还可以进一步确定出与当前客服会话对应的用户信息类别，在一个例子中，可以通过语义识别的方式确定出与当前客服会话对应的用户信息类别，或者，在另一个例子中，意图识别模型所能识别出来的询问用户信息类意图可以包括与具体用户信息类别对应的子意图，例如，询问订单类子意图或询问账号类子意图。在一个例子中，与当前客服会话对应的用户信息类别为订单号，据此可以从用户信息数据集中检索出相应的订单号信息，例如“12341234”，并可以将此订单号提供给客服端，客服端的会话界面可以如图8所示。如此，可以从用户信息数据集中确定与当前客服会话对应的当前用户会话内容。
以上，可以从当前会话数据集中确定出与当前客服会话对应的当前用户会话内容，并将当前用户会话内容提供给客服端，以使客服端将当前用户会话内容呈现给客服。
采用本说明书实施例提供的通过仿真用户与客服交互的方法，通过基于历史客服数据而生成的仿真用户，模拟真实用户与客服进行交互，可以为客服培训提供实战环境，还可以模拟出会员大量快速进线的场景以实现服务压测。
图9示出根据另一个实施例的通过仿真用户与客服的交互方法流程图，所述方法的执行主体可以为图1中示出的仿真用户。需要说明的是，图9示出的实施例，与图3示出的实施例的主要区别在于，图3示出的实施例是由客服首先发起会话，而图9示出的实施例是由仿真用户首先发起会话。如图9所示，该方法流程包括以下步骤：步骤S910，根据会话发起数据集，向客服发送第一用户会话；步骤S920，接收客服发送的当前客服会话；步骤S930，基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；步骤S940，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集；步骤S950，从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，并将所述当前用户会话内容提供给所述客服。
首先，在步骤S910，根据会话发起数据集，向客服发送第一用户会话。
在一个实施例中，向客服发送第一用户会话，可以包括：当在预设的时间阈值之内，未接收到客服发送的客服会话时，向客服发送第一用户会话。需要说明的是，其中时间阈值可以根据实际需要进行预先设定，例如，可以设置为5s或10s等。在一个例子中，仿真用户接入在线客服后，在5s之内没有收到客服会话，也就是说，客服没有主动向仿真用户发起会话，此时，仿真用户可以主动向客服发起会话。在另一个例子中，时间阈值可以为0，也就是说，仿真用户接入在线客服后，不作等待，而是立刻向客服发起会话。
在一个实施例中，会话发起数据集可以包括预先确定的用户首句问候语集。需要说明的是，用户首句问候语集中可以包括多条用户问候语，在一个例子中，这些用户问候语可以由工作人员基于历史客服服务中的历史会话进行筛选而确定。在一个例子中，用户首句问候语集中可以包括20条或30条用户首句问候语。相应地，向客服发送第一用户会话，可以包括：从用户首句问候语集中，获取当前问候语，并向客服发送当前问候语。在一个例子中，获取当前问候语，可以包括：从用户首句问候语集中，随机获取当前问候语，例如，随机获取的当前问候语可以为“哈喽”，或者，“你好，有个问题要咨询一下”。
在另一个实施例中，会话发起数据集可以包括用户问题数据集。需要说明的是，根据一个实施例，用户问题数据集可以包括多个用户问题，其中的各个用户问题对应的会话内容，基于真实用户与客服的某次历史会话而获取，具体地，可以与前述实施例中确定问题域对话子集的方法类似，且主要区别在于，问题域对话子集中一般同时包括历史客服会话和历史用户会话，而用户问题数据集中的各个用户问题对应的会话内容一般只包括对应的历史用户会话。其中，与各个用户问题对应的用户问题会话，可以包括一个或多个。
相应地，向客服发送第一用户会话，可以包括：从用户问题数据集中获取当前用户问题，并向客服发送当前用户问题。进一步地，在一个具体的实施例中，向客服发送当前用户问题，可以包括：在接收到客服会话之前，向客服发送与当前用户问题对应的所有用户问题会话。在另一个具体的实施例中，当前用户问题包括多个用户问题会话，相应地向客服发送第一用户会话可以包括：向客服发送多个用户问题会话中的部分用户问题会话。
进一步地，根据一个具体的实施例，在向客服发送部分用户问题会话之后，还可以包括：接收客服发送的第一客服会话，并基于意图识别模型，确定第一客服会话对应的第一意图类别；当第一意图类别是询问用户信息类意图时，从用户信息数据集中确定与所述第一客服会话对应的用户信息；再向客服发送所述用户信息，以及所述多个用户问题会话中除所述部分用户问题会话以外的剩余用户问题会话。需要说明的是，其中对第一客服会话的第一意图类别的判断，以及对用户信息的获取，均可以参照前述实施例中的相关描述，在此不作赘述。在一个例子中，在一个例子中，当前用户问题可以包括图2示出的历史用户会话A2和A3，客服端的会话界面可以如图10所示，在将A2提供给客服后，接收客服发送的第一客服会话“可以提供一下订单号吗？”，据此判断出对应的第一意图类别是询问订单类子意图，并从用户信息数据集中确定对应的订单号“123456789”，并将此订单号提供给客服，接着再将A3发送至客服。
更进一步地，根据一个具体的实施例，在基于意图识别模型，确定第一客服会话对应的第一意图类别的之后，还可以包括：当第一意图类别不是询问用户信息类意图时，向客服发送所述剩余用户问题会话。在一个例子中，第一意图类别可以为：询问用户问题类意图或语聊类意图。
以上，在仿真用户根据会话发起数据集，向客服发送第一用户会话之后，接着，执行步骤S920-步骤S950。需要说明的是，对步骤S920、S930、S940和S950的描述，可以参见前述实施例中对步骤S310、S320、S330和S340的描述，在此不作赘述。
总之，采用本说明书实施例提供的通过仿真用户与客服交互的方法，通过基于历史客服数据而生成的仿真用户，模拟真实用户与客服进行交互，可以为客服培训提供实战环境，还可以模拟出会员大量快速进线的场景以实现服务压测。
根据另一方面的实施例，还提供一种客服服务的评价方法。图11示出根据一个实施例的客服服务的评价方法流程图，所述方法的执行主体可以为客服系统中的服务器。如图11所示，该方法流程包括以下步骤：步骤S1110，获取需要评价的客服服务所对应的服务数据；步骤S1120，根据所述服务数据，确定所述客服服务的服务完整度，解决方案正确度，服务热情度和服务效率特征值中的至少一项。
首先，在步骤S1110，获取需要评价的客服服务所对应的服务数据，其中服务数据至少包括客服与用户的会话数据。
在一个实施例中，服务数据还可以包括订单状态数据、用户信息数据等。在一个例子中，订单状态数据可以包括订单的交易状态(例如，交易成功或交易失败)，订单的物流状态(例如，等待卖家发货或卖家已发货)等。在另一个例子中，用户信息数据可以包括用户的地域信息(如，收货地址为北京)，用户的会员等级(如，黄金会员或铂金会员)等。
在一个实施例中，对于需要评价的客服服务，其所涉及的服务对象可以是真实用户，也可以是仿真用户。可以理解，真实用户在使用客服服务后，通常会对当次服务做出评价，但也有一些真实用户不会做出评价，此时采用本说明书提供的评价方法，可以在真实用户未做出评价的情况下，了解客服服务的服务品质。另一方面，用户在对客服服务进行评价时有一定的随意性和主观性，比如因心情不好而给出差评，此时可以采用本说明书提供的评价方法，辅助了解客服服务的实际情况。此外，在前述通过仿真用户与客服进行交互的情况下，也可以采用本说明书提供的评价方法，对客服服务做出评价。在一种情况下，将仿真用户应用于客服培训场景，此时对培训过程中客服的服务做出评价，一方面可以帮助客服管理员了解相关客服人员的服务能力，另一方面可以使参加培训的客服人员清楚地了解到自身的不足，从而更有针对性的提升自身服务水平。
在获取服务数据以后，接着在步骤S1120，根据获取的服务数据，确定相应客服服务的服务完整度，解决方案正确度，服务热情度和服务效率特征值中的至少一项。
在一个实施例中，确定客服服务的服务完整度，可以包括步骤：首先，将服务数据中包括的会话数据拆分为多个对话组合，各对话组合中可以包括客服会话和对应的用户会话；接着，基于预先设定的域划分规则，确定多个对话组合所对应的至少一个域；再根据确定出的至少一个域确定服务完整度。需要说明的是，其中将会话数据拆分为多个对话组合的步骤，可以参见前述在第二阶段，确定对话组合集时，将某次历史会话的会话内容拆分为多个对话组合的描述，在此不作赘述。此外，预先设定的域划分规则同样可以参见前述确定对话组合集时所涉及到的域划分规则，例如，域划分规则可以包括问题域划分规则、确认域划分规则和解答域划分规则。在一个例子中，域划分规则还可以包括问候域划分规则和结束域划分规则，例如，问候域划分规则可以包括：如果一个对话组合中，历史客服会话的意图类别为语聊类意图中的问候类子意图，则判断此对话组合属于问候域。又例如，结束域划分规则可以包括：如果一个对话组合中，历史客服会话的意图类别为语聊类意图中的结束类子意图，且历史用户会话的意图类别为语聊类意图，则判断此对话组合属于结束域。在一个具体的例子中，图12中的会话数据被拆分为多个对话组合qmam，m的取值为1至5。其中各对话组合可以包括客服会话qm和用户会话am的，其中，q1的意图类别为语聊问候子意图，相应地可以判断对话组合q1a1属于问候域；q2和a2的意图类别为询问用户问题类意图，相应地可以判断对话组合q2a2属于问题域；q3的意图类别均为确认类意图，相应地可以判断对话组合q3a3属于确认域；q4的意图类别均为解答类意图，相应地可以判断对话组合q4a4属于解答域；q5的意图类别均为语聊结束子意图，a5的意图类别为语聊类意图，相应地可以判断对话组合q5a5属于结束域。据此，可以确定出会话数据所对应的至少一个域。
进一步地，在一个实施例中，根据至少一个域确定服务完整度，可以包括：根据至少一个域的数量确定服务完整度。在一个例子中，可以预先设定基于域数量的服务完整度判定规则，以确定服务完整度。例如，判定规则可以为，当域数量达到预定值时，服务完整度为1；当域数量未达到预定值时，服务完整度为0，其中预定值为根据前述的域划分规则对应可以得到的多个域的总数，例如，根据域划分规则可以得到的域可以包括问候域、问题域、解答域、确认域和结束域，相应的预设值可以为5。又例如，判定规则可以包括表2中示出的对应关系，假定确定出来的域包括问候域和问题域，则根据表2可以确定出相应的服务完整度为0.4。
表2
| 域的数量 | 5 | 4 | 3 | 2 | 1 |
| 服务完整度 | 1 | 0.8 | 0.6 | 0.4 | 0.2 |
如上，可以根据会话数据确定出客服服务的完整度。在另一个实施例中，还可以根据会话数据确定客服服务的服务热情度，在一个具体的实施例中，确定客服服务的服务热情度，可以包括：确定会话数据中客服会话所对应的情感类别，然后根据情感类别确定服务热情度。在一个例子中，客服会话为语音数据，则可以根据现有技术中的语音情绪识别技术，例如，阿里云中提供的相关处理接口，确定与客服语音会话数据对应的情感类别；在另一个例子中，客服会话为文本数据，则可以根据现有技术中的文本情感识别技术，确定与客服文本会话数据对应的情感类别。进一步地，在一个例子中，根据情感类别确定服务热情度，可以包括：基于预设规则，确定与情感类别对应的服务热情度，例如，预设规则可以包括，当情感类别为普通状态时，也就是情绪比较平静稳定时，对应的服务热情度为0.5；当情感类别为快乐愉悦时，对应的服务热情度为1；当情感类别为愤怒时，对应的服务热情度为0，等等。需要说明的时，当客服会话数据为语音数据时，可以采用语音情绪识别技术和文本情感识别技术综合确定出客服会话数据的情感类别，其中在使用文本情感识别技术时需要先将语音数据转换为对应的文本数据。
由上可以确定出客服服务的服务热情度。在又一个实施例中，还可以根据会话数据，确定客服服务的服务效率特征值。在一个具体的实施例中，确定服务效率特征值，可以包括：首先确定客服在服务过程中的会话响应时长，和/或，服务总时长；然后根据会话响应时长和/或服务总时长，确定服务效率特征值。需要说明的是，会话响应时长是指客服接收用户会话的时间，以及对此用户会话做出回复的时间之间的时间差值；服务总时长是指客服与用户开始会话及结束该会话之间的时间差值。在一个例子中，会话响应时长越短，服务效率特征值越大，且服务总时长越短，服务效率特征值越大。进一步地，在一个具体的例子中，可以基于预设规则，确定服务效率特征值，例如，预设规则可以为，当会话响应的平均时长在10s以内时，服务效率特征值(例如，对应的基值可以为0)增0.5，当超过10s时不变，同时，当服务总时长在5min以内时，服务效率特征值增0.5，当超过5min时不变。
由上可以确定出客服服务的服务效率特征值。另一方面，根据一种实施方式，可以根据至少包括会话数据的服务数据，确定客服服务的解决方案正确度。在一个实施例中，确定客服服务的解决方案正确度，可以包括步骤：首先，基于预先训练的预测模型，确定与服务数据对应的预测解决方案；然后根据预测解决方案确定会话数据中客服提供的解决方案的正确度。下面，首先对用于预测解决方案的预测模型进行介绍。
在一个实施例中，预测模型可以基于多次历史客服服务的历史客服数据集确定。在一个例子中，历史服务数据集由客户满意度超过预设阈值的多个历史服务数据组成，例如，历史服务数据集可以由获得用户五星好评的历史服务数据组成，如此，可以提高预测模型所预测的解决方案的准确性。
可以理解，解决方案是与用户问题相对应的。在一个实施例中，可以将用户问题分为两类，一类是通用性问题，此类问题不与用户的订单数据相绑定，另一类是与订单相关的问题，此类问题依赖于订单数据，例如，订单交易状态、物流状态等，相应地，预测模型可以包括与通用性问题对应的通用问题方案预测模型，以及与订单问题对应的订单问题方案预测模型。
进一步地，在一个实施例中，通用问题方案预测模型可以基于历史服务数据集中包括的、对应于通用性问题的历史会话数据集训练而成。具体地，在一个例子中，可以先提取历史会话数据中的语料特征，例如，通过文档向量化技术加工、聚合产生文本表示的语料特征，然后基于文本分类模型，例如，FastText，训练生成通用问题方案预测模型，以用于预测通用性解决方案。
在一个实施例中，订单问题方案预测模型可以基于历史服务数据集中包括的、对应于订单问题的历史会话数据集和对应的历史订单数据集训练而成。在一个例子中，可以先提取历史会话和历史订单数据中的语料特征和业务数据特征，然后基于分类模型，例如，随机森林模型，训练生成订单问题方案预测模型，以用于预测订单问题解决方案。
在一个实施例中，可以将上述通用问题方案预测模型和订单问题方案预测模型集成在统一的预测模型中，例如，采用集成学习方法对这两个模型进行组合，如此，可以直接将服务数据输入集成后的预测模型中，从而得到对应的预测解决方案。
在一个实施例中，根据预测解决方案确定会话数据中客服提供的解决方案的正确度，可以包括：判断客服提供的解决方案是否与预测解决方案一致时，当两者一致时则可以判断出客服提供的解决方案是正确的，相应的正确度为1，反之，则可以判断出客服提供的解决方案是错误的，相应的正确度为0。更具体地，在一个例子中，基于预测模型确定的预测解决方案的类别标识为C，而服务数据中所提供解决方案的类别标识为B，例如，客服在向用户发送解决方案时，通常是在客服系统中进行搜索并进行点选发送，因此服务数据中可以包括被点选发送的解决方案所对应的类别标识，据此，可以确定出客服提供的解决方案是错误的，相应的正确度为0。
以上，可以确定出与服务数据对应的预测解决方案，进而判断出客服提供的解决方案是否正确。
需要说明的时，在步骤S1120之后，还可以包括：确定客服服务的综合评分。在一个实施例中，确定综合评分可以包括：根据确定出的服务完整度，解决方案正确度，服务热情度和服务效率特征中的至少一项，以及预先设定的各项的权重，加权求出所述综合评分。在一个例子中，预先确定的各项权重如表3所示，假定确定出的服务完整度、解决方案正确度、服务热情度和服务效率特征分别为1、1、0.5和0.5，根据表3中示出的权重，可以加权求出综合评分为0.75。
表3
| 服务完整度 | 解决方案正确度 | 服务热情度 | 服务效率特征 |
| 0.1 | 0.4 | 0.3 | 0.2 |
如此，则可以确定出客服服务的综合评分。
由上可知，采用本说明书实施例提供的客服服务的评价方法，首先获取需要评价的客服服务所对应的服务数据，然后根据服务数据，确定客服服务的服务完整度，解决方案正确度，服务热情度和服务效率特征值中的至少一项，从而实现对客服服务的流程完整性、解决方案的正确性、服务态度和服务效能进行评价。
此外，根据一种实施方式，可以将本发明实施例提供的通过仿真用户与客服交互，以及客服服务评价方法综合应用在业务拨测场景中。具体地，业务方和客服团队常常需要通过业务拨测，以了解客服在面对突发状况或特定问题时的应对水平。比如在315期间，业务方和客服团队会针对一些敏感问题，对客服人员进行标准化问答培训，为了衡量实际的培训效果，通常会让一批专家客服专门模拟会员进线咨询问题，这种考核抽查方式无疑将耗费专家客服大量时间。因此，需要一种合理的、低成本的方案，进行业务拨测。据此，可以根据业务需求，通过设定用户咨询的问题和相应的解决方案，让仿真用户在客服无感知情况下，进线服务咨询，并通过本说明书实施例提供的客服服务的评价方法自动判定线上服务解决水平，从而实现极大地降低业务拨测人力和时间成本。
根据另一方面的实施例，与图3中示出的通过仿真用户与客服交互的方法相应地，还提供一种与仿真用户交互的方法。该方法可以包括：首先，向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；然后，接收所述仿真用户发送的所述当前用户会话内容。
进一步地，在一个实施例中，所述方法还可以包括：将当前用户会话内容展示给当前客服。
根据另一方面的实施例，与图9中示出的通过仿真用户与客服交互的方法相应地，还提供一种与仿真用户交互的方法。该方法可以包括：首先，接收仿真用户根据会话发起数据集发送的第一用户会话；接着，向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；然后，接收所述仿真用户发送的所述当前用户会话内容。
进一步地，在一个实施例中，所述方法还可以包括：将所述当前用户会话内容展示给所述当前客服。
根据又一方面的实施例，还提供一种用于与客服交互的仿真用户。需要说明的是，仿真用户可以是用户仿真设备或装置。图13示出根据一个实施例的仿真用户的示意性框图。如图13所示，该仿真用户1300包括：
接收单元1310，用于接收客服发送的当前客服会话；
第一确定单元1320，用于基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；
第二确定单元1330，用于基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；
第三确定单元1340，用于从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；
发送单元1350，用于将所述当前用户会话内容提供给所述客服。
根据一个实施例，所述第一确定单元1320中的意图识别模型基于预先获取的多次历史客服服务的历史会话数据集训练而成。
根据一个实施例，所述第二确定单元1330中的多个对话域子集包括问题域对话子集、确认域对话子集和解答域对话子集。
根据一个实施例，所述对话组合集通过以下步骤获取：
将所述某次历史会话的会话内容拆分为多个对话组合，各对话组合包括对应的历史客服会话和历史用户会话；
根据域划分规则，将所述多个对话组合划分为所述多个对话域子集。
进一步地，在一个实施例中，所述某次历史会话的会话内容为多条文本记录；所述将所述某次历史会话的会话内容拆分为多个对话组合，包括：
对所述多条文本记录进行语义识别，以确定所述多个对话组合。
在另一个实施例中，所述某次历史会话的会话内容为语音数据；所述将所述某次历史会话的会话内容拆分为多个对话组合，包括：
采用语音流切割技术，将所述语音数据拆分成多条语音记录；
将所述多条语音记录转换为对应的多条文本记录；
对所述多条文本记录进行语义识别，以确定所述多个对话组合。
根据一个实施例，所述当前意图类别为询问用户问题类意图；所述第二确定单元1330具体用于，将所述问题域对话子集确定为当前答复数据集。
进一步地，在一个实施例中，所述第三确定单元1340具体用于：将所述问题域对话子集中各个对话组合所包括的历史用户会话均作为所述答复内容。
更进一步地，在一个实施例中，发送单元1350具体用于：当所述答复内容中包括多个历史用户会话时，按照所述多个历史用户会话中各历史用户会话的历史产生时间，依次将所述各历史用户会话提供给所述客服。
一方面，根据一个实施例，所述当前意图类别为确认类意图，所述第二确定单元1330具体用于，将所述确认域对话子集确定为当前答复数据集。
根据另一个实施例，所述当前意图类别为解答类意图，所述确定与所述当前意图类别对应的当前答复数据集包括，将所述解答域对话子集确定为当前答复数据集。
根据又一个实施例，所述多个备选答复数据集还包括语聊对话组合库，所述语聊对话组合库基于多次历史客服服务的历史会话数据集而确定，所述确定与所述当前意图类别对应的当前答复数据集包括，当所述当前意图类别为语聊类意图时，将所述语聊对话组合库确定为当前答复数据集。
另一方面，根据一个实施例，所述第三确定单元1340具体包括：
确定子单元1341，用于从所述当前答复数据集中确定与所述当前会话对应的历史客服会话；
处理子单元1342，用于将此历史客服会话所对应的历史用户会话作为所述答复内容。
进一步地，在一个实施例中，确定子单元1341具体用于：
将所述当前会话与所述当前答复数据集中各对话组合所包括的历史客服会话进行相似度计算，将超过预定阈值的相似度所对应的历史客服会话，作为与所述当前会话对应的历史客服会话。
在一个实施例中，确定子单元1341还用于：
当超过预定阈值的相似度为多个时，将其中的最高相似度所对应的历史客服会话，作为与所述当前会话对应的历史客服会话。
在一个实施例中，第三确定单元1340还用于：
当没有确定出与所述当前会话对应的历史客服会话时，基于预先设置的客服会话与用户会话的映射关系，确定与所述当前会话对应的答复内容。
根据一个实施例，多个备选答复数据集还包括用户信息数据集，所述确定与所述当前意图类别对应的当前答复数据集包括，当所述当前意图类别为询问用户信息类意图时，将所述用户信息数据集确定为所述当前答复数据集。
进一步地，在一个实施例中，所述用户信息数据集通过以下步骤确定：
获取所述某次历史会话的会话内容中所包括的第一用户信息数据；和/或
获取系统中存储的所述某次历史会话所对应用户的第二用户信息数据。
在一个实施例中，所述用户信息数据集的确定还包括步骤：
对所述第一用户信息数据和/或所述第二用户信息数据进行脱敏处理。
根据又一方面的实施例，还提供一种用于与客服交互的仿真用户。图14示出根据另一个实施例的仿真用户的示意性框图。如图14所示，该仿真用户1400包括：
发送单元1410，用于根据会话发起数据集，向客服发送第一用户会话；
接收单元1420，用于接收客服发送的当前客服会话；
第一确定单元1430，用于基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；
第二确定单元1440，用于基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集；
第三确定单元1450，用于从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；
所述发送单元1410，还用于将所述当前用户会话内容提供给所述客服。
根据一个实施例，所述发送单元1410具体用于，当在预设的时间阈值之内，未接收到客服发送的客服会话时，向客服发送第一用户会话。
根据一个实施例，所述会话发起数据集包括预先确定的用户首句问候语集，所述发送单元1410具体用于，从所述用户首句问候语集中，获取当前问候语，并向客服发送所述当前问候语。
根据一个实施例，所述会话发起数据集包括用户问题数据集，所述发送单元1410具体用于，从所述用户问题数据集中获取当前用户问题，并向客服发送所述当前用户问题。
根据一个实施例，所述会话发起数据集包括用户问题数据集，所述发送单元1410具体用于，从所述用户问题数据集中获取当前用户问题，所述当前用户问题包括多个用户问题会话；向客服发送所述多个用户问题会话中的部分用户问题会话。
进一步地，根据一个实施例，所述发送单元1410还用于，接收客服发送的第一客服会话；基于所述意图识别模型，确定所述第一客服会话对应的第一意图类别；当所述第一意图类别是询问用户信息类意图时，从用户信息数据集中确定与所述第一客服会话对应的用户信息；向所述客服发送所述用户信息，以及所述多个用户问题会话中除所述部分用户问题会话以外的剩余用户问题会话。
更进一步地，根据一个实施例，所述发送单元1410还用于，当所述第一意图类别不是询问用户信息类意图时，向所述客服发送所述剩余用户问题会话。
根据一个实施例，所述多个备选会话数据集包括，基于真实用户与客服的某次历史会话而获取的对话组合集；所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分。
根据再一方面的实施例，还提供一种客服端。图15示出根据一个实施例的客服端的示意性框图。如图15所示，该客服端1500包括：
发送单元1510，用于向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；
接收单元1520，用于接收所述仿真用户发送的所述当前用户会话内容。
在一个实施例中，还可以包括展示单元1530，用于将所述当前用户会话内容展示给所述当前客服。
根据再一方面的实施例，还提供一种客服端。图16示出根据另一个实施例的客服端的示意性框图。如图16所示，该客服端1600包括：
接收单元1610，用于接收仿真用户根据会话发起数据集发送的第一用户会话；
发送单元1620，用于向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；
所述接收单元1610，还用于接收所述仿真用户发送的所述当前用户会话内容。
在一个实施例中，还可以包括展示单元1630，用于将所述当前用户会话内容展示给所述当前客服。
根据还一方面的实施例，还提供一种系统。图17示出根据一个实施例的仿真用户与客服交互的系统示意性框图。如图17所示，该系统1700包括：
客服端1710，用于向仿真用户发送当前客服的当前客服会话；
仿真用户1720，用于基于预先训练的意图识别模型，确定所述当前会话对应的意图类别，基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；
所述客服端1710，还用于接收所述仿真用户发送的所述当前用户会话内容。
根据还一方面的实施例，还提供一种系统。图18示出根据另一个实施例的仿真用户与客服交互的系统示意性框图。如图18所示，该系统1800包括：
仿真用户1810，用于根据会话发起数据集向客服端发送第一用户会话；
客服端1820，用于向仿真用户发送当前客服的当前客服会话；
所述仿真用户1810，还用于基于预先训练的意图识别模型，确定所述当前会话对应的意图类别，基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，以及向客服端发送所述当前用户会话内容。
根据另一方面的实施例，还提供一种评价装置。图19示出根据一个实施例的客服服务的评价装置示意性框图。如图19所示，该装置1900包括：
获取单元1910，用于获取需要评价的客服服务所对应的服务数据，所述服务数据至少包括客服与用户的会话数据；
第一确定单元1920，用于根据所述服务数据，确定所述客服服务的服务完整度，解决方案正确度，服务热情度和服务效率特征值中的至少一项。
根据一个实施例，所述用户为真实用户或仿真用户。
根据一个实施例，还包括第二确定单元1930：用于确定所述客服服务的综合评分。
根据一个实施例，第二确定单元1930具体用于：根据确定出的服务完整度，解决方案正确度，服务热情度和服务效率特征中的至少一项，以及预先设定的各项的权重，加权求出所述综合评分。
根据一个实施例，第一确定单元1920具体包括：
拆分子单元1921，用于将所述会话数据拆分为多个对话组合；
第一确定子单元1922，用于基于预先设定的域划分规则，确定所述多个对话组合所对应的至少一个域；
第二确定子单元1923，用于根据所述至少一个域确定所述服务完整度。
根据一个实施例，所述会话数据为多条文本记录，所述拆分子单元1921具体用于：对所述多条文本记录进行语义识别，以确定所述多个对话组合。
根据一个实施例，所述会话数据为语音数据，所述拆分子单元1921具体用于：采用语音流切割技术，将所述语音数据拆分成多条语音记录；将所述多条语音记录转换为对应的多条文本记录；对所述多条文本记录进行语义识别，以确定所述多个对话组合。
根据一个实施例，所述第一确定子单元1922具体用于：将所述多个对话组合中符合问候域规则的对话组合，归为问候域；以及，将所述多个对话组合中符合问题域规则的对话组合，归为问题域；以及，将所述多个对话组合中符合确认域规则的对话组合，归为确认域；以及，将所述多个对话组合中符合解答域规则的对话组合，归为解答域；以及，将所述多个对话组合中符合结束域规则的对话组合，归为结束域。
根据一个实施例，所述第二确定子单元1923具体用于：根据所述至少一个域的数量确定所述服务完整度。
根据一个实施例，所述第一确定单元1920具体用于：
基于预先训练的预测模型，确定与所述服务数据对应的预测解决方案；
根据所述预测解决方案，确定所述会话数据中客服提供的解决方案是否正确。
根据一个实施例，所述预测模型基于多次历史客服服务的历史服务数据集确定，所述历史服务数据集由客户满意度超过预设阈值的多个历史服务数据组成。
根据一个实施例，所述第一确定单元1920具体用于：确定所述会话数据中客服会话所对应的情感类别；根据所述情感类别确定所述服务热情度。
根据一个实施例，所述第一确定单元1920具体用于：确定客服在服务过程中的会话响应时长，和/或，服务总时长；根据所述会话响应时长和/或服务总时长，确定所述服务效率特征值。
如上，根据再一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3、图9或图11所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3、图9或图11所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。
Claims (53)
1.一种通过仿真用户与客服交互的方法，其特征在于，包括：
接收客服发送的当前客服会话；
基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；
基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；
从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，并将所述当前用户会话内容提供给所述客服。
2.根据权利要求1所述的方法，其特征在于，所述意图识别模型基于预先获取的多次历史客服服务的历史会话数据集训练而成。
3.根据权利要求1所述的方法，其特征在于，所述多个对话域子集包括问题域对话子集、确认域对话子集和解答域对话子集。
4.根据权利要求1或3所述的方法，其特征在于，所述对话组合集通过以下步骤获取：
将所述某次历史会话的会话内容拆分为多个对话组合，各对话组合包括对应的历史客服会话和历史用户会话；
根据域划分规则，将所述多个对话组合划分为所述多个对话域子集。
5.根据权利要求4所述的方法，其特征在于，所述某次历史会话的会话内容为多条文本记录；所述将所述某次历史会话的会话内容拆分为多个对话组合，包括：
对所述多条文本记录进行语义识别，以确定所述多个对话组合。
6.根据权利要求4所述的方法，其特征在于，所述某次历史会话的会话内容为语音数据；所述将所述某次历史会话的会话内容拆分为多个对话组合，包括：
采用语音流切割技术，将所述语音数据拆分成多条语音记录；
将所述多条语音记录转换为对应的多条文本记录；
对所述多条文本记录进行语义识别，以确定所述多个对话组合。
7.根据权利要求3所述的方法，其特征在于，所述当前意图类别为询问用户问题类意图；所述确定与所述当前意图类别对应的当前会话数据集包括，将所述问题域对话子集确定为当前会话数据集。
8.根据权利要求7所述的方法，其特征在于，所述从当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，包括：将所述问题域对话子集中各个对话组合所包括的历史用户会话均作为所述当前用户会话内容。
9.根据权利要求8所述的方法，其特征在于，所述将所述当前用户会话内容提供给所述客服，包括：
当所述当前用户会话内容中包括多个历史用户会话时，按照所述多个历史用户会话中各历史用户会话的历史产生时间，依次将所述各历史用户会话提供给所述客服。
10.根据权利要求3所述的方法，其特征在于，所述当前意图类别为确认类意图，所述确定与所述当前意图类别对应的当前会话数据集包括，将所述确认域对话子集确定为当前会话数据集。
11.根据权利要求3所述的方法，其特征在于，所述当前意图类别为解答类意图，所述确定与所述当前意图类别对应的当前会话数据集包括，将所述解答域对话子集确定为当前会话数据集。
12.根据权利要求1所述的方法，其特征在于，所述多个备选会话数据集还包括语聊对话组合库，所述语聊对话组合库基于多次历史客服服务的历史会话数据集而确定，所述确定与所述当前意图类别对应的当前会话数据集包括，当所述当前意图类别为语聊类意图时，将所述语聊对话组合库确定为当前会话数据集。
13.根据权利要求10-12中任一项所述的方法，其特征在于，所述从当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，包括：
从所述当前会话数据集中确定与所述当前客服会话对应的历史客服会话，并将此历史客服会话所对应的历史用户会话作为所述当前用户会话内容。
14.根据权利要求13所述的方法，其特征在于，所述从当前会话数据集中确定与所述当前客服会话对应的历史客服会话，包括：
将所述当前客服会话与所述当前会话数据集中各对话组合所包括的历史客服会话进行相似度计算，将超过预定阈值的相似度所对应的历史客服会话，作为与所述当前客服会话对应的历史客服会话。
15.根据权利要求14所述的方法，其特征在于，所述从当前会话数据集中确定与所述当前客服会话对应的历史客服会话，还包括：
当超过预定阈值的相似度为多个时，将其中的最高相似度所对应的历史客服会话，作为与所述当前客服会话对应的历史客服会话。
16.根据权利要求13所述的方法，其特征在于，从当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，还包括：
当没有确定出与所述当前客服会话对应的历史客服会话时，基于预先设置的客服会话与用户会话的映射关系，确定与所述当前客服会话对应的当前用户会话内容。
17.根据权利要求1所述的方法，其特征在于，多个备选会话数据集还包括用户信息数据集，所述确定与所述当前意图类别对应的当前会话数据集包括，当所述当前意图类别为询问用户信息类意图时，将所述用户信息数据集确定为所述当前会话数据集。
18.根据权利要求17所述的方法，其特征在于，所述用户信息数据集通过以下步骤确定：
获取所述某次历史会话的会话内容中所包括的第一用户信息数据；和/或
获取系统中存储的所述某次历史会话所对应用户的第二用户信息数据。
19.根据权利要求18所述的方法，其特征在于，所述用户信息数据集的确定还包括步骤：
对所述第一用户信息数据和/或所述第二用户信息数据进行脱敏处理。
20.一种通过仿真用户与客服交互的方法，其特征在于，包括：
根据会话发起数据集，向客服发送第一用户会话；
接收客服发送的当前客服会话；
基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；
基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集；
从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，并将所述当前用户会话内容提供给所述客服。
21.根据权利要求20所述的方法，其特征在于，所述向客服发送第一用户会话，包括：
当在预设的时间阈值之内，未接收到客服发送的客服会话时，向客服发送第一用户会话。
22.根据权利要求1所述的方法，其特征在于，所述会话发起数据集包括预先确定的用户首句问候语集，所述向客服发送第一用户会话，包括：
从所述用户首句问候语集中，获取当前问候语，并向客服发送所述当前问候语。
23.根据权利要求1所述的方法，其特征在于，所述会话发起数据集包括用户问题数据集，所述向客服发送第一用户会话，包括：
从所述用户问题数据集中获取当前用户问题，并向客服发送所述当前用户问题。
24.根据权利要求1所述的方法，其特征在于，所述会话发起数据集包括用户问题数据集，所述向客服发送第一用户会话，包括：
从所述用户问题数据集中获取当前用户问题，所述当前用户问题包括多个用户问题会话；
向客服发送所述多个用户问题会话中的部分用户问题会话。
25.根据权利要求24所述的方法，其特征在于，在向客服发送所述多个用户问题会话中的部分用户问题会话之后，还包括：
接收客服发送的第一客服会话；
基于所述意图识别模型，确定所述第一客服会话对应的第一意图类别；
当所述第一意图类别是询问用户信息类意图时，从用户信息数据集中确定与所述第一客服会话对应的用户信息；
向所述客服发送所述用户信息，以及所述多个用户问题会话中除所述部分用户问题会话以外的剩余用户问题会话。
26.根据权利要求25所述的方法，其特征在于，在所述确定所述第一客服会话对应的第一意图类别之后，还包括：
当所述第一意图类别不是询问用户信息类意图时，向所述客服发送所述剩余用户问题会话。
27.根据权利要求20所述的方法，其特征在于，所述多个备选会话数据集包括，基于真实用户与客服的某次历史会话而获取的对话组合集；所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分。
28.一种客服服务的评价方法，其特征在于，包括：
获取需要评价的客服服务所对应的服务数据，所述服务数据至少包括客服与用户的会话数据；
根据所述服务数据，确定所述客服服务的服务完整度，解决方案正确度，服务热情度和服务效率特征值中的至少一项。
29.根据权利要求28所述的方法，其特征在于，所述用户为真实用户或仿真用户。
30.根据权利要求28所述的方法，其特征在于，还包括：
确定所述客服服务的综合评分。
31.根据权利要求32所述的方法，其特征在于，所述确定所述客服服务的综合评价，包括：
根据确定出的服务完整度，解决方案正确度，服务热情度和服务效率特征中的至少一项，以及预先设定的各项的权重，加权求出所述综合评分。
32.根据权利要求28所述的方法，其特征在于，确定所述客服服务的服务完整度，包括以下步骤：
将所述会话数据拆分为多个对话组合；
基于预先设定的域划分规则，确定所述多个对话组合所对应的至少一个域；
根据所述至少一个域确定所述服务完整度。
33.根据权利要求32所述的方法，其特征在于，所述会话数据为多条文本记录，所述将所述会话数据拆分为多个对话组合，包括：
对所述多条文本记录进行语义识别，以确定所述多个对话组合。
34.根据权利要求32所述的方法，其特征在于，所述会话数据为语音数据，所述将所述会话数据拆分为多个对话组合，包括：
采用语音流切割技术，将所述语音数据拆分成多条语音记录；
将所述多条语音记录转换为对应的多条文本记录；
对所述多条文本记录进行语义识别，以确定所述多个对话组合。
35.根据权利要求26所述的方法，其特征在于，所述确定所述多个对话组合所对应的至少一个域，包括：
将所述多个对话组合中符合问候域规则的对话组合，归为问候域；以及，将所述多个对话组合中符合问题域规则的对话组合，归为问题域；以及，将所述多个对话组合中符合确认域规则的对话组合，归为确认域；以及，将所述多个对话组合中符合解答域规则的对话组合，归为解答域；以及，将所述多个对话组合中符合结束域规则的对话组合，归为结束域。
36.根据权利要求32-35任一项所述的方法，其特征在于，所述根据所述至少一个域确定所述服务完整度，包括：
根据所述至少一个域的数量确定所述服务完整度。
37.根据权利要求28所述的方法，其特征在于，确定所述客服服务的解决方案正确度，包括以下步骤：
基于预先训练的预测模型，确定与所述服务数据对应的预测解决方案；
根据所述预测解决方案，确定所述会话数据中客服提供的解决方案是否正确。
38.根据权利要求37所述的方法，其特征在于，所述预测模型基于多次历史客服服务的历史服务数据集确定，所述历史服务数据集由客户满意度超过预设阈值的多个历史服务数据组成。
39.根据权利要求28所述的方法，确定所述客服服务的服务热情度，包括：
确定所述会话数据中客服会话所对应的情感类别；
根据所述情感类别确定所述服务热情度。
40.根据权利要求28所述的方法，其特征在于，确定所述客服服务的服务效率特征值包括：
确定客服在服务过程中的会话响应时长，和/或，服务总时长；
根据所述会话响应时长和/或服务总时长，确定所述服务效率特征值。
41.一种与仿真用户交互的方法，其特征在于，包括：
向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；
接收所述仿真用户发送的所述当前用户会话内容。
42.根据权利要求41所述的方法，其特征在于，还包括：
将所述当前用户会话内容展示给所述当前客服。
43.一种与仿真用户交互的方法，其特征在于，包括：
接收仿真用户根据会话发起数据集发送的第一用户会话；
向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；
接收所述仿真用户发送的所述当前用户会话内容。
44.根据权利要求43所述的方法，其特征在于，还包括：
将所述当前用户会话内容展示给所述当前客服。
45.一种用于与客服交互的仿真用户，其特征在于，包括：
接收单元，用于接收客服发送的当前客服会话；
第一确定单元，用于基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；
第二确定单元，用于基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；
第三确定单元，用于从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；
发送单元，用于将所述当前用户会话内容提供给所述客服。
46.一种用于与客服交互的仿真用户，其特征在于，包括：
发送单元，用于根据会话发起数据集，向客服发送第一用户会话；
接收单元，用于接收客服发送的当前客服会话；
第一确定单元，用于基于预先训练的意图识别模型，确定所述当前客服会话对应的当前意图类别；
第二确定单元，用于基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集；
第三确定单元，用于从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；
所述发送单元，还用于将所述当前用户会话内容提供给所述客服。
47.一种客服端，其特征在于，包括：
发送单元，用于向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；
接收单元，用于接收所述仿真用户发送的所述当前用户会话内容。
48.一种客服端，其特征在于，包括：
接收单元，用于接收仿真用户根据会话发起数据集发送的第一用户会话；
发送单元，用于向仿真用户发送当前客服的当前客服会话，以使所述仿真用户基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容；
所述接收单元，还用于接收所述仿真用户发送的所述当前用户会话内容。
49.一种通过仿真用户与客服交互的系统，其特征在于，包括：
客服端，用于向仿真用户发送当前客服的当前客服会话；
仿真用户，用于基于预先训练的意图识别模型，确定所述当前会话对应的意图类别，基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，其中所述多个备选会话数据集至少包括，基于真实用户与客服的某次历史会话而获取的对话组合集，所述对话组合集被划分为多个对话域子集，所述多个对话域子集构成所述多个备选会话数据集的至少一部分；
所述客服端，还用于接收所述仿真用户发送的所述当前用户会话内容。
50.一种通过仿真用户与客服交互的系统，其特征在于，包括：
仿真用户，用于根据会话发起数据集向客服端发送第一用户会话；
客服端，用于向仿真用户发送当前客服的当前客服会话；
所述仿真用户，还用于基于预先训练的意图识别模型，确定所述当前会话对应的意图类别，基于预先训练的意图识别模型，确定所述当前客服会话对应的意图类别，基于预先确定的意图类别与会话数据集的对应关系，从多个备选会话数据集中，确定与所述当前意图类别对应的当前会话数据集，并从所述当前会话数据集中确定与所述当前客服会话对应的当前用户会话内容，以及向客服端发送所述当前用户会话内容。
51.一种客服服务的评价装置，其特征在于，包括：
获取单元，用于获取需要评价的客服服务所对应的服务数据，所述服务数据至少包括客服与用户的会话数据；
处理单元，用于根据所述服务数据，确定所述客服服务的服务完整度，解决方案正确度，服务热情度和服务效率特征值中的至少一项。
52.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-44中任一项的所述的方法。
53.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-44中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810495456.8A CN110580282B (zh) | 2018-05-22 | 2018-05-22 | 通过仿真用户与客服交互的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810495456.8A CN110580282B (zh) | 2018-05-22 | 2018-05-22 | 通过仿真用户与客服交互的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110580282A true CN110580282A (zh) | 2019-12-17 |
| CN110580282B CN110580282B (zh) | 2023-06-13 |
Family
ID=68808834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810495456.8A Active CN110580282B (zh) | 2018-05-22 | 2018-05-22 | 通过仿真用户与客服交互的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110580282B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444308A (zh) * | 2020-06-12 | 2020-07-24 | 支付宝(杭州)信息技术有限公司 | 一种模拟用户发言的方法和系统 |
| CN111651582A (zh) * | 2020-06-24 | 2020-09-11 | 支付宝(杭州)信息技术有限公司 | 一种模拟用户发言的方法和系统 |
| CN111753073A (zh) * | 2020-06-29 | 2020-10-09 | 北京联想软件有限公司 | 一种会话交互的处理方法、装置及电子设备 |
| CN112182176A (zh) * | 2020-09-25 | 2021-01-05 | 北京字节跳动网络技术有限公司 | 智能问答方法、装置、设备及可读存储介质 |
| CN112328742A (zh) * | 2020-11-03 | 2021-02-05 | 平安科技（深圳）有限公司 | 基于人工智能的培训方法、装置、计算机设备及存储介质 |
| WO2021158237A1 (en) * | 2020-02-07 | 2021-08-12 | Hewlett-Packard Development Company, L.P. | Resolution of customer issues |
| CN113806499A (zh) * | 2020-12-30 | 2021-12-17 | 京东科技控股股份有限公司 | 电话作业的培训方法、装置、电子设备和存储介质 |
| CN113836275A (zh) * | 2020-06-08 | 2021-12-24 | 菜鸟智能物流控股有限公司 | 对话模型建立方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106095950A (zh) * | 2016-06-14 | 2016-11-09 | 中国科学院自动化研究所 | 一种人机对话中教授意图答案生成方法 |
| US20170098443A1 (en) * | 2015-10-01 | 2017-04-06 | Xerox Corporation | Methods and systems to train classification models to classify conversations |
| CN107870994A (zh) * | 2017-10-31 | 2018-04-03 | 北京光年无限科技有限公司 | 用于智能机器人的人机交互方法及系统 |
-
2018
- 2018-05-22 CN CN201810495456.8A patent/CN110580282B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170098443A1 (en) * | 2015-10-01 | 2017-04-06 | Xerox Corporation | Methods and systems to train classification models to classify conversations |
| CN106095950A (zh) * | 2016-06-14 | 2016-11-09 | 中国科学院自动化研究所 | 一种人机对话中教授意图答案生成方法 |
| CN107870994A (zh) * | 2017-10-31 | 2018-04-03 | 北京光年无限科技有限公司 | 用于智能机器人的人机交互方法及系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021158237A1 (en) * | 2020-02-07 | 2021-08-12 | Hewlett-Packard Development Company, L.P. | Resolution of customer issues |
| CN113836275A (zh) * | 2020-06-08 | 2021-12-24 | 菜鸟智能物流控股有限公司 | 对话模型建立方法及装置 |
| CN113836275B (zh) * | 2020-06-08 | 2023-09-05 | 菜鸟智能物流控股有限公司 | 对话模型建立方法、装置、非易失性存储介质和电子装置 |
| CN111444308A (zh) * | 2020-06-12 | 2020-07-24 | 支付宝(杭州)信息技术有限公司 | 一种模拟用户发言的方法和系统 |
| CN111444308B (zh) * | 2020-06-12 | 2020-09-18 | 支付宝(杭州)信息技术有限公司 | 一种模拟用户发言的方法和系统 |
| CN111651582A (zh) * | 2020-06-24 | 2020-09-11 | 支付宝(杭州)信息技术有限公司 | 一种模拟用户发言的方法和系统 |
| CN111753073A (zh) * | 2020-06-29 | 2020-10-09 | 北京联想软件有限公司 | 一种会话交互的处理方法、装置及电子设备 |
| CN112182176A (zh) * | 2020-09-25 | 2021-01-05 | 北京字节跳动网络技术有限公司 | 智能问答方法、装置、设备及可读存储介质 |
| CN112328742A (zh) * | 2020-11-03 | 2021-02-05 | 平安科技（深圳）有限公司 | 基于人工智能的培训方法、装置、计算机设备及存储介质 |
| CN112328742B (zh) * | 2020-11-03 | 2023-08-18 | 平安科技（深圳）有限公司 | 基于人工智能的培训方法、装置、计算机设备及存储介质 |
| CN113806499A (zh) * | 2020-12-30 | 2021-12-17 | 京东科技控股股份有限公司 | 电话作业的培训方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110580282B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110580282B (zh) | 通过仿真用户与客服交互的方法及装置 | |
| CN112365894B (zh) | 基于ai的复合语音交互方法、装置及计算机设备 | |
| US20200126540A1 (en) | Machine Learning Tool for Navigating a Dialogue Flow | |
| US9247061B2 (en) | Answer based agent routing and display method | |
| JP6846390B2 (ja) | ドメイン間の文法スロットによる分類 | |
| KR102169397B1 (ko) | 챗봇과 상담원을 이용한 반자동 대화제공방법 및 서버 | |
| KR20190080599A (ko) | 챗봇과 상담원을 이용한 반자동 대화제공방법 및 서버 | |
| US20220138770A1 (en) | Method and apparatus for analyzing sales conversation based on voice recognition | |
| CN109565461A (zh) | 生成用于响应于用户接口输入而呈现的输出，其中输入和/或输出包括聊天语言 | |
| CN116595148B (zh) | 一种利用大型语言模型实现对话流程的方法及系统 | |
| CN111276148A (zh) | 基于卷积神经网络的回访方法、系统及存储介质 | |
| WO2019127845A1 (zh) | 一种录音推荐方法、装置、设备及计算机可读存储介质 | |
| Hong et al. | Just DM me (politely): Direct messaging, politeness, and hiring outcomes in online labor markets | |
| WO2021135322A1 (zh) | 一种自动出题方法、装置及系统 | |
| CN111259124A (zh) | 对话管理方法、装置、系统及存储介质 | |
| CN114817507A (zh) | 基于意图识别的回复推荐方法、装置、设备和存储介质 | |
| CN104504051B (zh) | 输入提示方法、装置及终端 | |
| CN111723559A (zh) | 一种实时信息抽取方法及装置 | |
| US9807194B1 (en) | Method of automatically communicating information to a profile | |
| CN113010664B (zh) | 一种数据处理方法、装置及计算机设备 | |
| CN114049973A (zh) | 对话质检方法、电子设备、计算机存储介质及程序产品 | |
| CN111046151B (zh) | 一种消息处理方法及装置 | |
| CN114157763A (zh) | 交互过程中的信息处理方法、装置、终端及存储介质 | |
| US9116980B1 (en) | System, method, and computer program for determining a set of categories based on textual input | |
| TWI689843B (zh) | 智能檢核系統及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |