CN110765249A - 机器人客服引导对话中多轮对话的质检方法和装置 - Google Patents
机器人客服引导对话中多轮对话的质检方法和装置 Download PDFInfo
- Publication number
- CN110765249A CN110765249A CN201911000228.XA CN201911000228A CN110765249A CN 110765249 A CN110765249 A CN 110765249A CN 201911000228 A CN201911000228 A CN 201911000228A CN 110765249 A CN110765249 A CN 110765249A
- Authority
- CN
- China
- Prior art keywords
- conversation
- dialog
- dialogue
- conversations
- customer service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本说明书实施例提供一种机器人客服引导对话中多轮对话的质检方法和装置，方法包括：获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；将所述第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；当所述第一对话文本包括的对话轮数与所述正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。能够高效地实现机器人客服引导对话中多轮对话的质检。
Description
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及机器人客服引导对话中多轮对话的质检方法和装置。
背景技术
机器人客服与用户的会话可以是由用户发起的会话，也可以是由机器人客服发起的会话。机器人客服发起的会话，基于特定的任务目的，要引导用户对话，通常对话流程需要预先梳理、配置和维护，由于对话流程非常复杂，使得对话流程中难免有配置错误或不完善的地方，相应地，根据预先配置的对话流程所进行的多轮对话会存在异常对话，即低质量对话，用户满意度低。现有技术中，通常人工检查每通多轮对话是否为异常对话，这种方式比较低效。
因此，希望能有改进的方案，能够高效地实现机器人客服引导对话中多轮对话的质检。
发明内容
本说明书一个或多个实施例描述了一种机器人客服引导对话中多轮对话的质检方法和装置，能够高效地实现机器人客服引导对话中多轮对话的质检。
第一方面，提供了一种机器人客服引导对话中多轮对话的质检方法，方法包括：
获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；
将所述第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；
当所述第一对话文本包括的对话轮数与所述正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。
在一种可能的实施方式中，所述第一对话文本包括：至少一轮对话中的机器语句、用户语句和对应的角色信息；所述角色信息用于指示机器语句或用户语句。
在一种可能的实施方式中，所述方法还包括：
利用所述训练样本对所述回归模型进行训练，其中，所述训练样本的样本输入包括第二对话文本，所述第二对话文本基于用户和人工客服的历史对话而生成，所述历史对话中各轮对话以用户语句开始以客服语句为结束，所述训练样本的标签值为所述第二对话文本包括的正常对话的对话轮数。
进一步地，通过如下方式获取所述训练样本：
针对用户和人工客服的备选历史多轮对话，将所述备选历史多轮对话中的目标数目的客服语句分别用候选话术集合中的所述目标数目的话术进行替换，得到一组构造对话；
将所述一组构造对话作为所述第二对话文本，所述第二对话文本的标签值为所述备选历史多轮对话的对话轮数减去所述目标数目，以得到一组所述训练样本。
进一步地，所述目标数目分别取从0到所述备选历史多轮对话的对话轮数之间的各整数，以根据所述备选历史多轮对话得到多组训练样本，所述多组训练样本中的标签值分别取从0到所述备选历史多轮对话的对话轮数。
进一步地，所述候选话术集合为从用户和人工客服的历史对话中筛选的人工客服的对话文本的集合。
在一种可能的实施方式中，所述回归模型的输出为0到多轮对话的对话轮数之间的数值。
在一种可能的实施方式中，所述确认所述当前多轮对话为异常对话之后，所述方法还包括：
从预先建立的包括多条对话流程链路的总对话流程中，确定所述当前多轮对话对应的目标对话流程链路；
将所述当前多轮对话归为所述目标对话流程链路对应的对话，并将所述目标对话流程链路对应的已检测异常对话数累加；
将所述目标对话流程链路对应的已检测异常对话数除以所述目标对话流程链路的总的对话的数目，得到所述目标对话流程链路的流程得分。
进一步地，所述得到所述目标对话流程链路的流程得分之后，所述方法还包括：
按各流程得分从高到低排序，展示所述总对话流程中排序后的各对话流程链路，以便人工审核修正各对话流程链路。
第二方面，提供了一种机器人客服引导对话中多轮对话的质检装置，装置包括：
获取单元，用于获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；
对话评分单元，用于将所述获取单元获取的第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；
异常确认单元，用于当所述获取单元获取的第一对话文本包括的对话轮数与所述对话评分单元指示的正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，首先获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；然后将所述第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；最后当所述第一对话文本包括的对话轮数与所述正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。由上可见，本说明书实施例，通过预先训练的回归模型发现异常对话，并且，不需要人工标注训练样本，能够高效地实现机器人客服引导对话中多轮对话的质检。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的机器人客服引导对话中多轮对话的质检方法流程图；
图3示出根据一个实施例的机器人客服引导对话中流程链路的质检方法处理过程示意图；
图4示出根据一个实施例的机器人客服引导对话中多轮对话的质检装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及机器人客服引导对话中多轮对话的质检。可以理解的是，机器人客服发起的会话，基于特定的任务目的，要引导用户对话，因此需要预先配置一个包括多条对话流程链路的总对话流程，机器人客服与用户之间的多轮对话与其中的一条对话流程链路相对应。参照图1，首先，在对话开始时，机器人客服输出机器语句0，该机器语句0通常为预先设定的开场白，接着，用户针对该机器语句0输出用户语句1，该用户语句1即为针对该开场白的用户响应，通常为用户对咨询的问题的表述，然后，机器人客服根据对用户语句1的意图识别或关键词匹配，以及预先配置的总对话流程，选择下一步要输出的机器语句，例如，该机器语句为从机器语句10至机器语句1N+1中选择的一条机器语句，该机器语句通常为机器人客服为了进一步明确用户的述求所做的表述，后续进行的用户与机器人客服的交互过程中，均可以根据用户语句以及预先配置的总对话流程，选择下一步要输出的机器语句，从而进行机器人客服与用户之间的多轮对话。
可以理解的是，图1中仅为对总对话流程的示意，实际中由于机器人客服与用户的每一轮对话中候选话术的数量众多，总对话流程包括的各对话流程链路彼此交叉，难免有配置错误或不完善的地方，相应地，根据预先配置的对话流程所进行的多轮对话会存在异常对话，即低质量对话，用户满意度低。
本说明书实施例，通过预先训练的回归模型发现异常对话，并且，不需要人工标注训练样本，能够高效地实现机器人客服引导对话中多轮对话的质检。并且，由于多轮对话与总对话流程中的对话流程链路相对应，因此可以进一步的实现针对对话流程链路的质检，以便重新配置对话流程链路。
图2示出根据一个实施例的机器人客服引导对话中多轮对话的质检方法流程图，该方法可以基于图1所示的实施场景。如图2所示，该实施例中机器人客服引导对话中多轮对话的质检方法包括以下步骤：步骤21，获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；步骤22，将所述第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；步骤23，当所述第一对话文本包括的对话轮数与所述正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。下面描述以上各个步骤的具体执行方式。
首先在步骤21，获取机器人客服与目标用户之间的当前多轮对话的第一对话文本。可以理解的是，机器人客服与用户之间的多轮对话通常交互进行，例如，先机器人客服输出机器语句，然后用户输出用户语句，再由机器人客服输出机器语句，由此形成多轮对话。其中，第一对话文本可以是当前多轮对话中所有轮对话的语句依次拼接而成，或者，第一对话文本可以是当前多轮对话中部分轮对话的语句依次拼接而成。
在一个示例中，所述第一对话文本包括：至少一轮对话中的机器语句、用户语句和对应的角色信息；所述角色信息用于指示机器语句或用户语句。
然后在步骤22，将所述第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数。可以理解的是，所述训练样本可以就是用户和人工客服的历史对话，或者，所述训练样本可以是用户和人工客服的历史对话中的部分语句经过替换的构造对话。
在一个示例中，利用所述训练样本对所述回归模型进行训练，其中，所述训练样本的样本输入包括第二对话文本，所述第二对话文本基于用户和人工客服的历史对话而生成，所述历史对话中各轮对话以用户语句开始以客服语句为结束，所述训练样本的标签值为所述第二对话文本包括的正常对话的对话轮数。可以理解的是，该标签值最小为0，最大为第二对话文本包括的对话轮数。
进一步地，可以通过如下方式获取所述训练样本：
针对用户和人工客服的备选历史多轮对话，将所述备选历史多轮对话中的目标数目的客服语句分别用候选话术集合中的所述目标数目的话术进行替换，得到一组构造对话；
将所述一组构造对话作为所述第二对话文本，所述第二对话文本的标签值为所述备选历史多轮对话的对话轮数减去所述目标数目，以得到一组所述训练样本。
进一步地，所述目标数目分别取从0到所述备选历史多轮对话的对话轮数之间的各整数，以根据所述备选历史多轮对话得到多组训练样本，所述多组训练样本中的标签值分别取从0到所述备选历史多轮对话的对话轮数。例如，所述备选历史多轮对话总共有K轮对话，就可以生成K组训练样本。分别是把原对话中人工客服说的话随机替换1条到K条，替换成的话术是从候选话术集合中随机选出来的。如果替换了1条，那么训练样本的输出标签值就是K-1；如果替换了m条，那么训练样本的输出标签值就是K-m；如果一条也没有替换，那么训练样本的输出标签值就是K。
进一步地，所述候选话术集合为从用户和人工客服的历史对话中筛选的人工客服的对话文本的集合。
在一个示例中，所述回归模型的输出为0到多轮对话的对话轮数之间的数值。也就是说，该示例中，所述回归模型的输出即为第一对话文本中正常对话的对话轮数。
可以理解的是，所述回归模型输出所述当前多轮对话的对话得分，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数，也就是说，所述对话得分可以等于上述正常对话的对话轮数，也可以是与上述正常对话的对话轮数具有一定比例的数值。
在一个示例中，可以先采用基于转换器的双向编码器表征(bidirectionalencoder representations from transformers，bert)模型得到第一对话文本的编码，然后将该编码输入预先训练的所述回归模型。进一步地，可以采用深度神经网络(deepneural networks，DNN)回归模型。
最后在步骤23，当所述第一对话文本包括的对话轮数与所述正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。可以理解的是，上述预设阈值可以设定为1、2或3等。
在一个示例中，在步骤23之后，从预先建立的包括多条对话流程链路的总对话流程中，确定所述当前多轮对话对应的目标对话流程链路；将所述当前多轮对话归为所述目标对话流程链路对应的对话，并将所述目标对话流程链路对应的已检测异常对话数累加；将所述目标对话流程链路对应的已检测异常对话数除以所述目标对话流程链路的总的对话的数目，得到所述目标对话流程链路的流程得分。
进一步地，按各流程得分从高到低排序，展示所述总对话流程中排序后的各对话流程链路，以便人工审核修正各对话流程链路。
通过本说明书实施例提供的方法，首先获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；然后将所述第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；最后当所述第一对话文本包括的对话轮数与所述正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。由上可见，本说明书实施例，通过预先训练的回归模型发现异常对话，并且，不需要人工标注训练样本，能够高效地实现机器人客服引导对话中多轮对话的质检。
图3示出根据一个实施例的机器人客服引导对话中流程链路的质检方法处理过程示意图，该方法可以基于图1所示的实施场景。如图3所示，首先把线上机器人客服与用户的真实对话记录输入给对话打分模型(即前述回归模型)，由对话打分模型输出该对话记录对应的对话得分M，可以理解的是，假设该对话记录的对话轮数为T，那么T-M越大，就表示对话打分模型判断此通对话存在异常的轮数越多，然后把T-M大于预设阈值(例如1)的对话筛选出来，即根据对话得分过滤出异常对话，并将每通异常对话映射到相应的对话流程链路，最后进行错误对话流程链路挖掘，把每个对话流程链路检查出来的异常对话数，除以走该对话流程链路的总的对话数，就得到每个对话流程链路的流程得分(即错误分)，按错误分从高到低排序，错误分高的排前面，给人工审核修正。
通过人工对话数据，训练正常对话轮数判断的模型，用于评估机器人客服与用户的真实对话是否存在异常的对话，再把异常对话映射到流程配置，找出异常的配置。
根据另一方面的实施例，还提供一种机器人客服引导对话中多轮对话的质检装置，该装置用于执行本说明书实施例提供的机器人客服引导对话中多轮对话的质检方法。图4示出根据一个实施例的机器人客服引导对话中多轮对话的质检装置的示意性框图。如图4所示，该装置400包括：
获取单元41，用于获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；
对话评分单元42，用于将所述获取单元41获取的第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；
异常确认单元43，用于当所述获取单元41获取的第一对话文本包括的对话轮数与所述对话评分单元42指示的正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。
可选地，作为一个实施例，所述第一对话文本包括：至少一轮对话中的机器语句、用户语句和对应的角色信息；所述角色信息用于指示机器语句或用户语句。
可选地，作为一个实施例，所述装置还包括：
训练单元，用于利用所述训练样本对所述回归模型进行训练，其中，所述训练样本的样本输入包括第二对话文本，所述第二对话文本基于用户和人工客服的历史对话而生成，所述历史对话中各轮对话以用户语句开始以客服语句为结束，所述训练样本的标签值为所述第二对话文本包括的正常对话的对话轮数。
进一步地，通过如下方式获取所述训练样本：
针对用户和人工客服的备选历史多轮对话，将所述备选历史多轮对话中的目标数目的客服语句分别用候选话术集合中的所述目标数目的话术进行替换，得到一组构造对话；
将所述一组构造对话作为所述第二对话文本，所述第二对话文本的标签值为所述备选历史多轮对话的对话轮数减去所述目标数目，以得到一组所述训练样本。
进一步地，所述目标数目分别取从0到所述备选历史多轮对话的对话轮数之间的各整数，以根据所述备选历史多轮对话得到多组训练样本，所述多组训练样本中的标签值分别取从0到所述备选历史多轮对话的对话轮数。
进一步地，所述候选话术集合为从用户和人工客服的历史对话中筛选的人工客服的对话文本的集合。
可选地，作为一个实施例，所述回归模型的输出为0到多轮对话的对话轮数之间的数值。
可选地，作为一个实施例，所述装置还包括：
链路确定单元，用于在所述异常确认单元43确认所述当前多轮对话为异常对话之后，从预先建立的包括多条对话流程链路的总对话流程中，确定所述当前多轮对话对应的目标对话流程链路；
累加单元，用于将所述当前多轮对话归为所述目标对话流程链路对应的对话，并将所述目标对话流程链路对应的已检测异常对话数累加；
流程评分单元，用于将所述累加单元得到的所述目标对话流程链路对应的已检测异常对话数除以所述目标对话流程链路的总的对话的数目，得到所述目标对话流程链路的流程得分。
进一步地，所述装置还包括：
排序单元，用于在所述流程评分单元得到所述目标对话流程链路的流程得分之后，按各流程得分从高到低排序，展示所述总对话流程中排序后的各对话流程链路，以便人工审核修正各对话流程链路。
通过本说明书实施例提供的装置，首先获取单元41获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；然后对话评分单元42将所述第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；最后异常确认单元43当所述第一对话文本包括的对话轮数与所述正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。由上可见，本说明书实施例，通过预先训练的回归模型发现异常对话，并且，不需要人工标注训练样本，能够高效地实现机器人客服引导对话中多轮对话的质检。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图3所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (20)
1.一种机器人客服引导对话中多轮对话的质检方法，所述方法包括：
获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；
将所述第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；
当所述第一对话文本包括的对话轮数与所述正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。
2.如权利要求1所述的方法，其中，所述第一对话文本包括：至少一轮对话中的机器语句、用户语句和对应的角色信息；所述角色信息用于指示机器语句或用户语句。
3.如权利要求1所述的方法，其中，所述方法还包括：
利用所述训练样本对所述回归模型进行训练，其中，所述训练样本的样本输入包括第二对话文本，所述第二对话文本基于用户和人工客服的历史对话而生成，所述历史对话中各轮对话以用户语句开始以客服语句为结束，所述训练样本的标签值为所述第二对话文本包括的正常对话的对话轮数。
4.如权利要求3所述的方法，其中，通过如下方式获取所述训练样本：
针对用户和人工客服的备选历史多轮对话，将所述备选历史多轮对话中的目标数目的客服语句分别用候选话术集合中的所述目标数目的话术进行替换，得到一组构造对话；
将所述一组构造对话作为所述第二对话文本，所述第二对话文本的标签值为所述备选历史多轮对话的对话轮数减去所述目标数目，以得到一组所述训练样本。
5.如权利要求4所述的方法，其中，所述目标数目分别取从0到所述备选历史多轮对话的对话轮数之间的各整数，以根据所述备选历史多轮对话得到多组训练样本，所述多组训练样本中的标签值分别取从0到所述备选历史多轮对话的对话轮数。
6.如权利要求4所述的方法，其中，所述候选话术集合为从用户和人工客服的历史对话中筛选的人工客服的对话文本的集合。
7.如权利要求1所述的方法，其中，所述回归模型的输出为0到多轮对话的对话轮数之间的数值。
8.如权利要求1所述的方法，其中，所述确认所述当前多轮对话为异常对话之后，所述方法还包括：
从预先建立的包括多条对话流程链路的总对话流程中，确定所述当前多轮对话对应的目标对话流程链路；
将所述当前多轮对话归为所述目标对话流程链路对应的对话，并将所述目标对话流程链路对应的已检测异常对话数累加；
将所述目标对话流程链路对应的已检测异常对话数除以所述目标对话流程链路的总的对话的数目，得到所述目标对话流程链路的流程得分。
9.如权利要求8所述的方法，其中，所述得到所述目标对话流程链路的流程得分之后，所述方法还包括：
按各流程得分从高到低排序，展示所述总对话流程中排序后的各对话流程链路，以便人工审核修正各对话流程链路。
10.一种机器人客服引导对话中多轮对话的质检装置，所述装置包括：
获取单元，用于获取机器人客服与目标用户之间的当前多轮对话的第一对话文本；
对话评分单元，用于将所述获取单元获取的第一对话文本输入预先训练的回归模型，通过所述回归模型输出所述当前多轮对话的对话得分，所述回归模型基于训练样本而训练，所述训练样本基于用户和人工客服的历史对话而生成，所述对话得分用于指示所述第一对话文本中包括的正常对话的对话轮数；
异常确认单元，用于当所述获取单元获取的第一对话文本包括的对话轮数与所述对话评分单元指示的正常对话的对话轮数的差值大于预设阈值时，确认所述当前多轮对话为异常对话。
11.如权利要求10所述的装置，其中，所述第一对话文本包括：至少一轮对话中的机器语句、用户语句和对应的角色信息；所述角色信息用于指示机器语句或用户语句。
12.如权利要求10所述的装置，其中，所述装置还包括：
训练单元，用于利用所述训练样本对所述回归模型进行训练，其中，所述训练样本的样本输入包括第二对话文本，所述第二对话文本基于用户和人工客服的历史对话而生成，所述历史对话中各轮对话以用户语句开始以客服语句为结束，所述训练样本的标签值为所述第二对话文本包括的正常对话的对话轮数。
13.如权利要求12所述的装置，其中，通过如下方式获取所述训练样本：
针对用户和人工客服的备选历史多轮对话，将所述备选历史多轮对话中的目标数目的客服语句分别用候选话术集合中的所述目标数目的话术进行替换，得到一组构造对话；
将所述一组构造对话作为所述第二对话文本，所述第二对话文本的标签值为所述备选历史多轮对话的对话轮数减去所述目标数目，以得到一组所述训练样本。
14.如权利要求13所述的装置，其中，所述目标数目分别取从0到所述备选历史多轮对话的对话轮数之间的各整数，以根据所述备选历史多轮对话得到多组训练样本，所述多组训练样本中的标签值分别取从0到所述备选历史多轮对话的对话轮数。
15.如权利要求13所述的装置，其中，所述候选话术集合为从用户和人工客服的历史对话中筛选的人工客服的对话文本的集合。
16.如权利要求10所述的装置，其中，所述回归模型的输出为0到多轮对话的对话轮数之间的数值。
17.如权利要求10所述的装置，其中，所述装置还包括：
链路确定单元，用于在所述异常确认单元确认所述当前多轮对话为异常对话之后，从预先建立的包括多条对话流程链路的总对话流程中，确定所述当前多轮对话对应的目标对话流程链路；
累加单元，用于将所述当前多轮对话归为所述目标对话流程链路对应的对话，并将所述目标对话流程链路对应的已检测异常对话数累加；
流程评分单元，用于将所述累加单元得到的所述目标对话流程链路对应的已检测异常对话数除以所述目标对话流程链路的总的对话的数目，得到所述目标对话流程链路的流程得分。
18.如权利要求17所述的装置，其中，所述装置还包括：
排序单元，用于在所述流程评分单元得到所述目标对话流程链路的流程得分之后，按各流程得分从高到低排序，展示所述总对话流程中排序后的各对话流程链路，以便人工审核修正各对话流程链路。
19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。
20.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项的所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911000228.XA CN110765249A (zh) | 2019-10-21 | 2019-10-21 | 机器人客服引导对话中多轮对话的质检方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911000228.XA CN110765249A (zh) | 2019-10-21 | 2019-10-21 | 机器人客服引导对话中多轮对话的质检方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110765249A true CN110765249A (zh) | 2020-02-07 |
Family
ID=69332615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911000228.XA Pending CN110765249A (zh) | 2019-10-21 | 2019-10-21 | 机器人客服引导对话中多轮对话的质检方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765249A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111552787A (zh) * | 2020-04-23 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 问答处理方法、装置、设备及存储介质 |
| CN111753074A (zh) * | 2020-06-30 | 2020-10-09 | 贝壳技术有限公司 | 用于实现会话的方法、装置、介质和电子设备 |
| CN112214592A (zh) * | 2020-11-05 | 2021-01-12 | 中科讯飞互联(北京)信息科技有限公司 | 一种回复对话评分模型训练方法、对话回复方法及其装置 |
| CN114430378A (zh) * | 2020-10-15 | 2022-05-03 | 中国移动通信集团浙江有限公司 | 聊天机器人的异常检测方法、装置、计算设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120278477A1 (en) * | 2009-04-08 | 2012-11-01 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer program products for network server performance anomaly detection |
| CN105704013A (zh) * | 2016-03-18 | 2016-06-22 | 北京光年无限科技有限公司 | 基于上下文的话题更新数据处理方法及装置 |
| CN106328166A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 人机对话异常检测系统及方法 |
| CN106844334A (zh) * | 2016-12-20 | 2017-06-13 | 网易（杭州）网络有限公司 | 用于评测会话机器人智能的方法及设备 |
| CN110175227A (zh) * | 2019-05-10 | 2019-08-27 | 神思电子技术股份有限公司 | 一种基于组队学习和层级推理的对话辅助系统 |
| CN110287086A (zh) * | 2019-07-03 | 2019-09-27 | 中国工商银行股份有限公司 | 一种周期性时间的交易量预测方法及装置 |
-
2019
- 2019-10-21 CN CN201911000228.XA patent/CN110765249A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120278477A1 (en) * | 2009-04-08 | 2012-11-01 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer program products for network server performance anomaly detection |
| CN105704013A (zh) * | 2016-03-18 | 2016-06-22 | 北京光年无限科技有限公司 | 基于上下文的话题更新数据处理方法及装置 |
| CN106328166A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 人机对话异常检测系统及方法 |
| CN106844334A (zh) * | 2016-12-20 | 2017-06-13 | 网易（杭州）网络有限公司 | 用于评测会话机器人智能的方法及设备 |
| CN110175227A (zh) * | 2019-05-10 | 2019-08-27 | 神思电子技术股份有限公司 | 一种基于组队学习和层级推理的对话辅助系统 |
| CN110287086A (zh) * | 2019-07-03 | 2019-09-27 | 中国工商银行股份有限公司 | 一种周期性时间的交易量预测方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111552787A (zh) * | 2020-04-23 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 问答处理方法、装置、设备及存储介质 |
| CN111552787B (zh) * | 2020-04-23 | 2023-06-30 | 支付宝(杭州)信息技术有限公司 | 问答处理方法、装置、设备及存储介质 |
| CN111753074A (zh) * | 2020-06-30 | 2020-10-09 | 贝壳技术有限公司 | 用于实现会话的方法、装置、介质和电子设备 |
| CN114430378A (zh) * | 2020-10-15 | 2022-05-03 | 中国移动通信集团浙江有限公司 | 聊天机器人的异常检测方法、装置、计算设备及存储介质 |
| CN114430378B (zh) * | 2020-10-15 | 2023-08-18 | 中国移动通信集团浙江有限公司 | 聊天机器人的异常检测方法、装置、计算设备及存储介质 |
| CN112214592A (zh) * | 2020-11-05 | 2021-01-12 | 中科讯飞互联(北京)信息科技有限公司 | 一种回复对话评分模型训练方法、对话回复方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765249A (zh) | 机器人客服引导对话中多轮对话的质检方法和装置 | |
| CN111046152B (zh) | Faq问答对自动构建方法、装置、计算机设备及存储介质 | |
| CN110647621A (zh) | 机器人客服引导对话中选择话术的方法和装置 | |
| CN105654945B (zh) | 一种语言模型的训练方法及装置、设备 | |
| CN110543552B (zh) | 对话交互方法、装置及电子设备 | |
| US10019984B2 (en) | Speech recognition error diagnosis | |
| CN109473093B (zh) | 语音识别方法、装置、计算机设备及存储介质 | |
| US6772374B2 (en) | Continuous language-based prediction and troubleshooting tool | |
| CN108897896B (zh) | 基于强化学习的关键词抽取方法 | |
| CN112069316B (zh) | 情绪识别方法和装置 | |
| US11049409B1 (en) | Systems and methods for treatment of aberrant responses | |
| CN111221945B (zh) | 基于用户问句生成标准问题的方法和装置 | |
| CN111400466A (zh) | 一种基于强化学习的智能对话方法及装置 | |
| CN113312468A (zh) | 基于对话模式的话术推荐方法、装置、设备及介质 | |
| CN110390109B (zh) | 分析多条群聊消息间关联关系的方法和装置 | |
| CN115994099A (zh) | 数控机床代码的自动检查方法、装置、设备及存储介质 | |
| CN116184930B (zh) | 数控机床故障预测方法、装置、设备及存储介质 | |
| CN112084766B (zh) | 文本处理方法和装置、存储介质和处理器 | |
| CN116383048A (zh) | 软件质量信息处理方法及装置 | |
| KR102072894B1 (ko) | 인트론과 엑손 구분에 기반한 이상 서열 식별 방법 | |
| CN111951827A (zh) | 一种连读识别校正方法、装置、设备以及可读存储介质 | |
| CN112183071B (zh) | 一种文本纠错的方法、装置、存储介质及电子设备 | |
| CN112365894B (zh) | 基于ai的复合语音交互方法、装置及计算机设备 | |
| US20200125924A1 (en) | Method and system for analyzing a neural network | |
| CN116992862B (zh) | 数控机床异常辅助处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |