CN115455166A - 一种智能对话系统异常检测的方法、装置、介质及设备 - Google Patents

Abstract

本说明书公开了一种智能对话系统异常检测的方法、装置、介质及设备，通过获取历史会话数据，确定历史会话数据中的交互信息，作为训练样本，并根据每轮交互中用户是否存在异常行为，确定训练样本的标注。然后，将各轮交互的训练样本输入待训练的检测模型，确定待训练的检测模型输出的检测结果，以各训练样本的检测结果与各训练样本的标注之间的差异最小为优化目标，训练待训练的检测模型。当接收交互检测请求时，基于交互检测请求中携带的待检测会话数据，确定各轮交互信息，将各轮交互信息输入到训练得到的检测模型，确定各轮交互的检测结果，并展示。该方法可以更准确的定位智能对话系统的异常，提高对智能对话系统优化精确度，节约了成本。

Description

一种智能对话系统异常检测的方法、装置、介质及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种智能对话系统异常检测的方法、装置、介质及设备。

背景技术

随着科技的发展，隐私数据日益受到大众的关注。随着机器学习技术的发展，人机交互技术也有了长足的发展。其中，人机交互中的智能对话系统应用非常广泛，对智能对话系统的质量要求也越来越高，因此需要能够及时发现智能对话系统的异常，以对智能对话系统进行优化，从而提高智能对话系统的质量。

但是，目前缺乏准确的对智能对话系统进行异常检测的方法，对于此本说明书提供一种智能对话系统异常检测的方法。

发明内容

本说明书提供一种智能对话系统异常检测的方法及装置、存储介质及设备，以至少部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种智能对话系统异常检测方法，所述方法包括：

获取历史会话数据，确定所述历史会话数据中每轮交互的用户发送信息对应的用户意图以及针对所述用户发送信息的回复信息；

针对每轮交互，将该轮交互的交互信息作为训练样本，所述交互信息包括该轮交互的用户发送信息对应的用户意图以及该轮交互的回复信息，并根据该轮交互中用户是否存在异常行为，确定所述训练样本的标注；

将训练样本输入待训练的检测模型，得到所述待训练的检测模型输出的所述训练样本对应的交互中用户是否存在异常行为的检测结果；

以所述训练样本的检测结果与所述训练样本的标注之间的差异最小为优化目标，训练所述待训练的检测模型；

当接收交互检测请求时，根据所述交互检测请求中携带的待检测会话数据，确定所述待检测会话数据中的各轮交互的交互信息，并将所述各交互信息分别输入到训练得到的所述检测模型，根据所述检测模型的输出，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互，根据所述异常交互确定所述智能对话系统的异常检测结果，并展示。

本说明书提供了一种智能对话系统异常检测的装置，包括：

第一确定模块，用于获取历史会话数据，确定所述历史会话数据中每轮交互的用户发送信息对应的用户意图以及针对所述用户发送信息的回复信息；

第二确定模块，用于针对每轮交互，将该轮交互的交互信息作为训练样本，所述交互信息包括该轮交互的用户发送信息对应的用户意图以及该轮交互的回复信息，并根据该轮交互中用户是否存在异常行为，确定所述训练样本的标注；

输入模块，用于将训练样本输入待训练的检测模型，得到所述待训练的检测模型输出的所述训练样本对应的交互中用户是否存在异常行为的检测结果；

模型训练模块，用于以所述训练样本的检测结果与所述训练样本的标注之间的差异最小为优化目标，训练所述待训练的检测模型；

检测模块，用于当接收交互检测请求时，根据所述交互检测请求中携带的待检测会话数据，确定所述待检测会话数据中的各轮交互的交互信息，并将所述各交互信息分别输入到训练得到的所述检测模型，根据所述检测模型的输出，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互，根据所述异常交互确定所述智能对话系统的异常检测结果，并展示。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述智能对话系统异常检测的方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述智能对话系统异常检测的方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的智能对话系统异常检测的方法中，首先，通过获取历史会话数据，确定历史会话数据中每轮的交互信息，作为训练样本，并根据每轮交互中用户是否存在异常行为，确定训练样本的标注。然后，将各轮交互的训练样本输入待训练的检测模型，确定待训练的检测模型输出的检测结果，以各训练样本的检测结果与各训练样本的标注之间的差异最小为优化目标，训练待训练的检测模型。当接收交互检测请求时，基于交互检测请求中携带的待检测会话数据，确定各轮交互信息，将各轮交互信息分别输入到训练得到的检测模型，确定待检测会话数据各轮交互的检测结果，并展示。

从上述方法中可以看出，基于每轮交互的用户发送信息以及针对用户发送信息的回复信息，以及每轮交互用户是否存在异常行为，确定训练样本及其标注，训练检测模型，以学习用户发送信息和针对用户发送信息的回复信息之间的关系，与用户行为之间的关联。从而可以准确的确定交互过程中哪些回复信息导致对话异常。使得可以更准确的定位智能对话系统的异常，提高对智能对话系统优化的精确度，节约了成本。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中一种智能对话系统异常检测的方法的流程示意图；

图2为本说明书提供的一种智能对话系统异常检测的模型结构示意图；

图3为本说明书提供的一种智能对话系统异常检测结果标注示意图；

图4a为本说明书提供的一种对异常的回复信息标注的方法流程示意图；

图4b为本说明书提供的一种用占位符替换交互中异常的回复信息示意图；

图5为本说明书提供的一种智能对话系统异常检测的装置示意图；

图6为本说明书提供的对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书提供的一种智能对话系统异常检测的方法的流程示意图，具体可包括以下步骤：

S100：获取历史会话数据，确定所述历史会话数据中每轮交互的用户发送信息对应的用户意图以及针对所述用户发送信息的回复信息。

目前智能对话系统的应用场景越来越广泛，用户对于智能对话系统的要求也越来越高。在实际应用中，维护智能对话系统的工作人员，可以通过智能对话系统异常检测方法来判断系统提供的智能对话系统的各交互环节是否异常。即，各交互环节设置的问题是否合理。从而避免由于问题设置的不合理，导致用户不想继续交互，出现用户挂机等情况，使交互过程带给用户更好的体验。因此，智能对话系统异常检测对提高智能对话系统的质量极为重要，所以，可以检测出智能对话系统中具体的异常交互环节的检测方法对提高智能对话系统优化改进的效率有极大的帮助。

基于此，在本说明书一个或多个实施例提供的智能对话系统异常的检测方法，可以实现在对智能对话系统异常的检测时，可以找到存在异常的交互环节，并将具体的异常交互标注出来。为了能够分别判断智能对话系统的各轮交互是否存在异常，在本说明书一个或多个实施例中，需要训练一种对智能对话系统的会话数据进行异常检测的检测模型。

具体的，首先，提供异常检测或者提供智能对话系统的服务提供方的服务器，可先获取待检测智能对话系统交互日志中的各历史会话数据。其中，该历史会话数据为智能对话系统的历史会话数据，并且针对每个历史会话数据，该历史会话数据为用户在使用智能对话系统过程中产生的会话数据。例如，甲在某电商平台购物出现问题，甲与人工客服就该问题进行的一系列对话，为一个历史会话数据。也就是从用户与智能客服开始对话，直至对话结束为止的多轮对话内容，为一个历史会话数据。

其次，针对历史会话数据中的每轮交互，该服务器可确定该轮交互中用户发送信息，以及智能客服针对用户发送信息的回复信息。但是，由于用户发送信息并非标准的语句，例如，“你是机器人吗？”、“我网络不好。”等等。不利于后续对智能对话系统的异常检测，因此需要确定用户发送信息对应的用户意图。此外，需要说明的是，对于用户首次发送信息，智能客服相应的回复一个信息，即回复信息，该回复信息是系统已经预设好的，在系统若干个预设回复信息中根据用户发送信息的内容回复相关的信息，由于每个用户发送信息都有一个对应的智能客服的回复信息，在本说明书中，将用户发送信息和针对用户发送信息的回复信息作为一轮交互。

其中，该用户意图是通过将用户发送信息的文本输入到意图识别模型中，经过意图识别模型的解析获取的，即将用户发送信息的文本转换成结构化的数据，例如，用户发送信息为“我在淘宝上面买了一个手机”，意图为“目的-购买电子产品”、“地点-淘宝”，这些用户意图的数量是固定的并且是格式化的，可以用于后续调用。该意图识别模型可以沿用其他场景中已经训练好的模型，当然该意图识别模型训练时采用的训练样本库包含的用户语句的类型越丰富，对于用户意图识别的准确度越高，对于后续训练待训练的检测模型，就更好。

进一步地，由于通过意图识别模型识别出来的用户意图除了和智能客服的回复信息相关的用户意图之外，也可能会输出一些与智能客服的回复信息不相关的意图，即无关意图。例如，假设在智能客服的回复信息为“您是否是在某商铺购买的商品？”，用户发送“我现在有事儿，一会儿再说。”的信息，根据这句用户发送信息确定出的用户意图为“全局-用户不配合”，该用户意图与智能客服的回复信息并不相关，即为无关意图。可见无关意图，对智能对话系统异常检测没有贡献，甚至会影响智能对话系统异常检测的准确性，因此需要对无关意图进行“删除”。

具体的，在本说明书一个或多个实施例中，该服务器从该意图识别模型的各类用户意图的识别结果中，确定属于预设类的用户意图的识别结果。其中，该预设类的用户意图，为与各轮交互的回复信息无关的用户意图，即无关意图。需要说明的是，预设类的用户意图可以根据需要设置，不同的对话业务场景下，无关意图的类型也可能不同。例如，在智能医疗场景下的无关意图，就与电商场景下的无关意图不完全相同。

之后，将用户意图进行编码，再针对识别出的每个属于预设类的用户意图，将其进行删除，即意图识别模型最终输出的用户意图识别结果中不存在该用户意图。

例如，假设意图识别模型输出的用户意图一共有7种类别，其中第3类用户意图为无关意图，即为预设类的用户意图。将用户发送信息文本A输入该意图识别模型，识别出的用户意图类别为第1类、第3类与第5类。将识别出的各类用户意图编码为“1”，将未识别出的各类用户意图编码为“0”，即该意图识别模型输出的识别结果为“1 0 1 0 1 0 0”。但是，由于识别出的第3类用户意图为与回复信息无关的预设类的用户意图，因此，该服务器可将该识别结果中的第三位编码“1”变更为“0”，表示对该类用户意图的“删除”，则编码变更后的识别结果为“1 0 0 0 1 0 0”。这样，就可以将通过意图识别模型识别出的与智能对话系统回复信息无关的用户意图“删除”，不会对后续步骤造成干扰，使对智能对话系统异常的检测更加精确。并且，通过设置用户意图编码，为后续训练样本的确定做准备，以完成对可以实现智能对话系统异常检测的模型的训练。

最后，为了可以确定智能对话系统交互环节中存在异常的具体交互轮次，需要服务器对智能客服的预设的各回复信息进行编码。例如，对某智能客服一共设置3个回复信息，这三个回复信息的编码分别为“1 0 0”、“0 1 0”和“0 0 1”。假设，在智能客服与用户B的第3轮交互中，智能客服向用户B回复的信息为第2个信息，则第3轮智能客服与用户B的交互对应的回复信息编码为“0 1 0”。通过设置回复信息编码，并用指定的方式将其与用户意图编码组合，作为训练样本，并且根据通过用户是否存在异常的用户行为确定训练样本的标注。进而可以根据确定出标注的训练样本，训练该待训练的检测训练。根据训练完成的检测模型，检测智能对话系统是否存在异常，并对存在异常的具体交互轮次进行标注以便于后续工作人员对出现的异常回复信息进行改进。

S102：针对每轮交互，将该轮交互的交互信息作为训练样本，所述交互信息包括该轮交互的用户发送信息对应的用户意图以及该轮交互的回复信息，并根据该轮交互中用户是否存在异常行为，确定所述训练样本的标注。

在本说明书一个或多个实施例中，通过步骤S100获取到历史会话数据中每轮交互的用户发送信息对应的用户意图，以及每轮交互的针对用户发送信息的回复信息的回复信息编码后，还可确定待训练检测模型所需要的训练样本以及各训练样本的标注，以通过后续步骤进行模型训练。

具体的，针对每轮交互，将该轮交互的用户意图编码和下轮的问题编码组合起来，作为该轮交互的交互信息，一个交互信息可作为一个训练样本，该训练样本的标注是根据该轮交互中用户的行为确定的。例如，服务器在某APP智能客服的交互日志中获取到历史会话数据，经过上述步骤S100对历史会话数据的解析，确定出其中一个历史会话数据包含4轮交互，并且给该智能客服预设的回复信息总数为5。在第1轮交互中，该轮交互的用户发送信息文本输入到包含有6个类别的意图识别模型中，确定出的用户意图编码为“1 0 0 0 01”，第2轮交互该智能客服回复的是第5个回复信息，所以回复信息编码就是“0 0 0 0 1”。因此，第1轮的交互信息就是“1 0 0 0 0 1 0 0 0 0 1”，可作为后续待训练的检测模型的一个训练样本，需要注意的是，作为训练样本的各交互信息中的用户意图编码和回复信息编码的组合方式是指定的，因此组合的顺序是相同的。此外，各训练样本的标注是根据用户是否存在异常行为确定的。例如，在第2轮交互中，用户发送信息中信息内容正常，并且用户继续保持了或者正常结束了智能客服的对话，则第2轮交互的训练样本的标注可设为“0”，在第3轮交互中，用户出现挂机现象，即对智能客服的回复信息不进行回复，单方面结束对话，则将第2轮交互的训练样本的标注设为“1”。除去上述用户挂机的用户行为，用户直接退出该APP，或者给交互打出低分评价，或者用户对该次交互进行投诉等等行为，均体现了用户对本次交互不满意，说明智能客服的对话逻辑上可能存在导致用户不满意的问题，因此这些用户行为对应的训练样本的标注均设可为“1”。通过对各训练样本和与之对应的样本标注的一一确定，为后续待训练的检测模型的训练做准备，以便使用该检测模型实现对智能对话系统的异常检测。

S104：将训练样本输入待训练的检测模型，得到所述待训练的检测模型输出的所述训练样本对应的交互中用户是否存在异常行为的检测结果。

S106：以所述训练样本的检测结果与所述训练样本的标注之间的差异最小为优化目标，训练所述待训练的检测模型。

在本说明书一个或多个实施例中，服务器预先通过上述步骤S100和步骤S102确定出历史会话数据中各轮交互信息，作为各训练样本。并在确定各训练样本对应的标注后，便可根据各训练样本及其标注，对待训练的检测模型进行训练。

具体的，在本说明书一个或多个实施例中，首先，该服务器可将训练样本输入待训练的检测模型，得到待训练的检测模型输出的该训练样本对应的交互中用户是否存在异常行为的检测结果，之后，将各训练样本对应的检测结果以及各训练样本对应的标注，输入到损失函数中，根据该损失函数计算损失，并确定使损失最小的梯度，根据梯度下降的方向来调整模型的参数，使各训练样本对应的检测结果与各训练样本的标注之间的差异最小。按照上述方法，使用大量的训练样本和训练样本对应的标注来训练该检测模型，以完成用来进行智能对话系统异常检测的检测模型的训练。当然，具体何时确定该检测模型的训练结束，本说明书不做限制，例如，当训练迭代次数达到预设阈值时，确定该检测模型的训练结束，或者，当确定出的损失小于预设数值时，确定该检测模型的训练结束。

S108：当接收交互检测请求时，根据所述交互检测请求中携带的待检测会话数据，确定所述待检测会话数据中的各轮交互的交互信息，并将所述各交互信息分别输入到训练得到的所述检测模型，根据所述检测模型的输出，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互，根据所述异常交互确定所述智能对话系统的异常检测结果，并展示。

在本说明书一个或多个实施例中，通过上述步骤完成了对检测模型的训练后，当服务器接收到检测请求时，便可根据训练完成的该检测模型，检测待检测会话数据中，智能客服的回复信息是否存在异常。其中，该待检测请求中可携带待检测会话数据。

具体的，首先，该服务器可确定待检测会话数据中每轮交互的用户发送信息和智能客服针对该用户发送信息的回复信息。其次，该服务器可根据每轮交互的回复信息，得到每轮交互的回复信息编码。针对每轮交互，如S100所述获取用户意图的方式，将该轮交互的用户发送信息输入到预先训练好的意图识别模型中，得到该轮交互的用户意图编码。然后，将用户意图编码和回复信息编码按照指定的组合顺序组合起来作为各轮的交互信息，即各待检测样本。之后，将其输入到训练好的检测模型，得到多个检测结果，如按照上述例子中以“0”与“1”为标注的方式训练检测模型。则该服务器可针对每轮交互，得到该轮交互的检测结果，该检测结果为0～1之间的一个数值。其中，针对每个检测结果，检测结果的数值越大，则说明该检测结果对应轮次的交互出现异常的几率越大，将该检测结果对应轮次的交互作为异常交互，反之，则说明该检测结果对应轮次的交互出现异常的几率越小。

最后，服务器根据得到待检测会话数据中的每轮异常交互，可将智能对话系统的异常检测结果进行展示。由于每轮交互都对应一个检测结果，并且，该检测结果是一个“0～1”之间的一个数值，因此，服务器可将每轮交互以及该轮交互对应的检测结果输出展示，即展示带有检测结果的每轮交互。但是，除此形式之外，服务器可以有其他的展示形式。例如，服务器只将存在异常的交互轮次进行展示。具体如何展示，本说明书不做限制，可根据需要设置。

基于图1所示本说明书提供的上述智能对话系统异常检测的方法中，首先，服务器通过获取历史会话数据，确定历史会话数据中每轮的交互信息，进而确定训练样本及各训练样本对应的标注。接着，将各轮交互对应的训练样本输入待训练的检测模型，并确定待训练的检测模型输出的训练样本对应的交互中用户是否存在异常行为的检测结果，以各训练样本的检测结果与各训练样本的标注之间的差异最小为优化目标，训练待训练的检测模型。进而，当接收交互检测请求时，根据交互检测请求中携带的待检测会话数据，确定各轮交互信息。将各轮交互信息分别输入到训练得到的检测模型，根据检测模型的输出，确定待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互。并根据异常交互确定智能对话系统的异常检测结果，并展示。通过该智能对话系统异常检测的方法可以判断智能对话系统是否存在异常，最主要的是，该智能对话系统异常检测的方法可以准确的确定交互过程中哪些交互轮次出现异常，提高了对智能对话系统优化的精确度，节约了成本。

另外，在本说明书一个或多个实施例中，所述检测模型可以是时间序列模型。该时间序列模型的模型结构可如图2所示。为了方便描述下面以训练该时间序列模型为例进行说明。

在图2中，可见该待训练的时间序列模型可以是由全连接层和长短期记忆网络(Long-Short Term Memory，LSTM)组成的。其中，该全连接层具体可以是线性全连接层(Linear)，是一种聚合多维输入的模型结构，其主要作用就是将特征表示进行压缩，提高单位大小的数据包含的特征密度，以减少后续模型结构的计算量，提高模型的稳定性。LSTM是一种用于聚合序列输入信息的模型结构，可以使得循环神经网络(Recurrent NeuralNetwork,RNN)能够真正有效地利用长距离的时序信息。

并且，在图2中，下方展示的一些用户发送信息与针对用户发送信息的各回复信息，图中的用户发送信息n-2、n-1、n、n+1与回复信息n-1、n、n+1、n+2便是通过上述步骤S100所述过程确定的。即，服务器通过获取历史会话数据，得到的每轮交互的用户发送信息与回复信息。将第n-1轮、第n轮和第n+1轮的用户发送信息输入到预先训练好的意图识别模型中，得到各轮次用户发送信息对应的用户意图编码。并且，该服务器还可针对每轮交互的回复信息，确定各轮交互的回复信息编码，即，确定第n-1轮、第n轮和第n+1轮的回复信息的回复信息编码。

其次，对于第n-1轮交互，该轮的交互信息便是第n-1轮的用户发送信息对应的用户意图编码与第n轮交互的回复信息的回复信息编码的组合，该交互信息就是第n-1轮交互的训练样本(如图2中黑色小方框)。对于第n轮交互，该轮交互的交互信息便是第n轮交互的用户发送信息对应的用户意图编码与该轮交互的回复信息的回复信息编码的组合，该交互信息就是第n轮交互的训练样本。对于第n+1轮交互，该轮交互的交互信息便是第n+1轮交互的用户发送信息对应的用户意图编码与该轮回复信息的回复信息编码的组合，该交互信息就是第n+1轮交互的训练样本。对于未展示的第n-2轮交互及其前面的各轮交互的训练样本与第n+2轮交互及其后面的各轮交互的训练样本的确定都是按照此方法进行的。并且，各训练样本是按照各轮交互的时间顺序排列。

然后，根据排列顺序，将各训练样本依次输入该时间序列模型。先通过Linear层进行特征压缩，再通过LSTM层依次确定各训练样本对应的检测结果。

最后，如上述步骤S102所述的方法，确定各训练样本的标注。按照上述例子中“0”与“1”为标注的方式，则各训练样本都对应一个“0/1”的标注。基于各训练样本的检测结果和训练样本的标注，调整该时间序列模型的模型参数。

进一步地，在步骤S108中，对于确定出的异常交互轮次，可以对其进行标注。在本说明书一个或多个实施例中，提供一种根据各轮交互的检测结果，进行标注展示的方法。在该方法示例中，所使用的检测模型是时间序列模型。

具体的，在本说明书的一个或多个实施例中，该服务器将确定出的各轮异常交互进行标注，具体可表现为对出现异常的回复信息进行标注。此外，由于出现异常回复信息的原因通常是因为，在该异常回复信息之前交互轮次的用户发送信息中，存在与异常回复信息相关联的用户发送信息，或者存在与异常回复信息相抵触的用户发送信息。于是，该服务器还可对基于用户发送信息识别出的用户意图进行标注，以进行展示。例如，假设智能客服回复信息1为“您需要什么帮助？”，用户基于此回复信息的发送信息2为“我想买一张去北京的机票。”，此时，智能客服回复信息3为“您目的地是哪里？”，可见回复信息3与用户发送信息2相关联，即智能客服的回复信息3中的问题已经被用户发送信息2所说明，这表明该回复信息设置不合理。或者，假设智能客服回复信息4为“您是否买了服饰？”，用户基于此回复信息的发送信息5为“我没有买任何东西。”，此时，智能客服回复信息6为“您是否买了食物？”，这属于回复信息与用户发送信息相抵触，显然该回复信息6设置的不合理。

首先，对于回复信息的标注：

该服务器可先获取已经经过检测模型检测得到的检测结果为异常的交互，然后，针对各轮交互中的回复信息，将该回复信息替换为占位符，根据替换为占位符的该回复信息，重新确定该回复信息对应轮次交互的交互信息，再根据重新确定的交互信息，更新待检测会话数据，并将更新后的待检测会话数据，通过训练得到的时间序列模型，确定更新后的待检测会话数据的各轮交互的检测结果，进而判断更新前后待检测会话数据各轮交互的检测结果的差距是否大于预设的数值，若是，则确定该回复信息异常，并进行标注，若否，则确定该回复信息正常，不进行标注。

简单地来说，对出现的异常回复信息进行标注是通过将检测结果为异常的交互中的每个回复信息依次用占位符来替换，进而依次获取各回复信息被占位符替换后的各检测结果，并依次将各检测结果与原检测结果作比较。如果两者的差距大于预设的阈值，即出现较大的变化，那么就说明，该轮交互中被使用占位符替换的回复信息影响大，可认为其存在异常，对该回复信息进行标注即可。

其次，对于用户意图的标注，与对回复信息的标注方法可以是完全一样的。在使用的时候，标注的目的是为了使工作人员可以清楚直观地看到出现异常的具体交互轮次。通过对异常交互中的回复信息与用户意图进行标注可以更准确的定位智能对话系统的异常，提高对智能对话系统优化的精确度。

此外，需要注意的是，本说明书的一个或多个实施例中所使用的对异常回复信息的标注方法是通过将检测结果为异常的交互中的每个回复信息依次用占位符替换来实现的，所以在所有的涉及对异常回复信息的标注示例使用的检测模型是上述图2中介绍的时间序列模型。当然，也可以用其他方法对出现异常的回复信息和用户意图进行标注，对异常的回复信息和用户意图进行标注的形式也多种多样，方法不局限于该示例，所使用的检测模型也不限制于图2示例模型。

下面以图3为示例，作为本申请提供的一种智能对话系统异常检测结果标注示意图。

如图3所示，展示的是带有对异常回复信息和与其对应的体现该回复信息是异常的用户意图标注的检测结果。其中，大括号内为所有轮次的交互，中括号内是一轮交互的内容，小括号内的内容是从用户发送信息中识别出的用户意图，每一个用户意图都用单引号引注，并且各用户意图用逗号隔开，小括号后面的内容是针对用户发送信息的回复信息。在第一轮交互中，由于用户发送信息没有任何实质性的内容，即经过意图识别模型没有识别出预设类的意图之外的用户意图，因此小括号内为空，进而智能客服根据用户发送信息回复用户“是否抽奖返利”；第二轮交互中，小括号中的内容是从用户发送信息中识别出的“是否抽奖返利-否认”的用户意图，小括号中逗号后面的内容表示识别出来的和回复信息无关的用户意图，对其进行了“删除”(如上述步骤S100所述)，因此为空。后面是智能客服针对用户的发送信息回复的“购物类型”的信息；然后，在第三轮交互中，从用户发送信息中识别到的用户意图是“未识别-购物”，“购物类型-否认”，智能客服在第三轮交互中回复信息为“是否亲友急事”；在第四轮交互时，根据用户发送信息，识别出“地点-电话”，“是否亲友急事-否认”两个用户意图，在智能客服向用户回复“购物实物OR虚拟”的信息时，检测出智能客服的回复信息出现了异常，因为从第三轮交互的用户发送信息中识别出的用户意图中，已经有了“购物类型-否认”的用户意图，即用户没有在购物，不存在购物类型。所以在图3中，第四轮交互的回复信息为异常，用虚线方框标注出来，并且证明该回复信息存在异常的用户意图也被标注出来。通过此标注方式，可以使工作人员清楚直观地看到存在异常的回复信息和与其对应的体现该回复信息是异常的用户意图，进而对存在异常的回复信息进行优化改进，大大的提高了优化效率。

基于上述对检测结果标注的方法以及图3带有标注的检测结果的展示，本说明书还提供一种对异常的回复信息标注的方法流程示意图，如图4a，并提供一种用占位符替换交互中异常的各回复信息示意图，如图4b。

在图4a中，服务器首先获取已经经过检测判断为异常的一通交互，作为原交互，即图4b所示的第1个方框内的内容，对其第1+i轮交互的回复信息进行用占位符替换。由于是按照顺序依次对每轮交互的回复信息进行替换的，因此从i＝0的第1+i轮交互开始对回复信息用占位符替换，如图4b所展示的第2个方框内的内容，即第1+i轮交互的回复信息被占位符X所替换。然后将第1+i轮交互的回复信息被占位符替换后的该交互输入时间序列模型，判断该交互的检测结果与原交互的检测结果的差距是否大于预设的阈值，若是，则对第1+i轮交互被占位符替换的回复信息进行标注，若否，则确定第1+i轮交互的回复信息正常，不进行标注。

由于在所有轮次的交互中，智能客服的异常发送信息不一定只有一个，所以需要按照此方法继续对后面的交互轮次的回复信息用占位符进行替换，并对替换后的交互进行检测判断，直至所有交互轮次的回复信息都被占位符一一替换过，并完成检测判断，才结束。因此，当第1+i轮交互中回复信息被占位符替换并完成检测判断后，将i的值在原基础上加1并且满足i的值小于原交互的总轮次数后，对原交互中将i值更新过后的第1+i轮交互的回复信息用占位符替换，并将第1+i轮交互的回复信息用占位符替换后的交互输入到时间序列模型，进行检测判断。重复上述步骤，直到i的值不小于原交互的总轮次数，方可结束对原交互的回复信息的替换。

基于图4a所示对异常回复信息标注的方法流程示意图，图4b展示了对每轮交互的回复信息用占位符替换的示意图。图4b中，该原交互包含4轮交互(如第1个方框)，将第1轮交互的回复信息用占位符X替换后(如第2个方框)，将其按照如图4a所述的流程将其输入到时间序列模型中，得到现交互的检测结果和原交互的检测结果，服务器判断两者差距没有大于预设阈值，就对原交互的第2轮交互的回复信息用占位符X替换，再次进行检测判断。按照此方法依次往下进行，在第4轮交互的回复信息被占位符X替换后，服务器检测出的现检测结果和原交互的检测结果大于预设阈值，因此对第4轮交互的回复信息用虚线方框标注出来并展示。

基于上述内容所述的智能对话系统异常检测的方法，本说明书实施例还对应的提供一种用于智能对话系统异常检测的装置示意图，如图5所示。

图5为本说明书实施例提供的一种用于智能对话系统异常检测的装置的示意图，所述装置包括：

第一确定模块500，用于获取历史会话数据，确定所述历史会话数据中每轮交互的用户发送信息对应的用户意图以及针对所述用户发送信息的回复信息；

第二确定模块502，用于将该轮交互的交互信息作为训练样本，所述交互信息包括该轮交互的用户发送信息对应的用户意图以及该轮交互的回复信息，并根据该轮交互中用户是否存在异常行为，确定所述训练样本的标注；

输入模块504，用于将训练样本输入待训练的检测模型，得到所述待训练的检测模型输出的所述训练样本对应的交互中用户是否存在异常行为的检测结果；

模型训练模块506，用于以所述训练样本的检测结果与所述训练样本的标注之间的差异最小为优化目标，训练所述待训练的检测模型；

检测模块508，用于当接收交互检测请求时，根据所述交互检测请求中携带的待检测会话数据，确定所述待检测会话数据中的各轮交互的交互信息，并将所述各交互信息分别输入到训练得到的所述检测模型，根据所述检测模型的输出，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互，根据所述异常交互确定所述智能对话系统的异常检测结果，并展示。

可选地，所述第一确定模块500，具体用于针对每轮交互的用户发送信息，将该轮交互的用户发送信息输入到预先训练的意图识别模型中，确定所述意图识别模型的各类用户意图的识别结果；从所述意图识别模型的各类用户意图的识别结果中，确定属于预设类的用户意图的识别结果；其中，所述预设类的用户意图为与预设的各回复信息无关的用户意图；从确定出的各类用户意图的识别结果中，删除所述预设类的用户意图的识别结果，确定该轮交互的用户发送信息对应的用户意图。

可选地，所述第一确定模块500，具体用于针对每轮交互的用户发送信息，将该轮交互的用户发送信息输入到预先训练的意图识别模型中，确定所述意图识别模型的各类用户意图的识别结果；根据所述各类用户意图的识别结果，确定用户意图编码；

可选地，所述第二确定模块502，具体用于针对每轮交互，确定该轮交互的回复信息的回复信息编码；根据该轮交互的回复信息的回复信息编码以及该轮交互的用户意图编码，确定该轮交互的交互信息，作为训练样本。

可选地，所述检测模型为时间序列检测模型；

所述检测模块508，具体用于获取从历史会话数据中确定的各交互信息的交互轮次，根据所述各轮交互信息的交互轮次，将各训练样本依次输入到待训练的检测模型，得到所述待训练的检测模型输出的所述各训练样本对应的交互中用户是否存在异常行为的检测结果。

可选地，所述检测模块508，具体用于根据所述交互检测请求中携带的待检测会话数据，确定每轮交互的用户发送信息以及针对所述用户发送信息的回复信息；根据所述每轮交互的用户发送信息，确定每轮交互的用户意图；根据所述每轮交互的针对所述用户发送信息的回复信息，确定每轮交互的回复信息编码；针对所述每轮交互的用户意图，删除该轮交互中属于预设类的用户意图，确定所述删除该轮交互中属于预设类的用户意图后的该轮交互的用户意图编码；针对每轮交互，根据该轮交互的回复信息编码和该轮交互的用户意图编码，确定该轮交互的交互信息。

可选地，所述检测模块508，具体用于获取待检测会话数据中的各交互信息所在的交互轮次，根据所述各交互信息所在的交互轮次依次将各交互信息输入到训练得到的时间序列模型，并确定各轮交互的检测结果；根据每轮交互的检测结果，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互；对确定出的各轮异常交互进行标注，根据各轮异常交互进行标注，确定所述智能对话系统的各轮交互的异常检测结果。

可选地，所述检测模块508，具体用于针对各轮交互中的回复信息，将该回复信息替换为占位符；根据替换为占位符的该回复信息，重新确定该回复信息对应轮次交互的交互信息；根据重新确定的交互信息，更新所述待检测会话数据；将更新后的所述待检测会话数据，通过训练得到的所述时间序列模型，确定更新后的所述待检测会话数据各轮交互的检测结果；判断更新前后所述待检测会话数据各轮交互的检测结果的差距是否大于预设的数值；若是，则确定该回复信息异常，并进行标注；若否，则确定该回复信息正常，不进行标注。

可选地，所述检测模块508，具体用于针对各轮交互中用户发送信息对应的各用户意图，将该用户意图替换为占位符；根据替换为占位符的该用户意图，重新确定该用户意图对应轮次交互的交互信息；根据重新确定的交互信息，更新所述待检测会话数据；将更新后的所述待检测会话数据，通过训练得到的所述时间序列模型，确定更新后的所述待检测会话数据各轮交互的检测结果；判断更新前后所述待检测会话数据各轮交互的检测结果的差值是否大于预设的数值；若是，则对该用户意图进行标注；若否，则不对该用户意图进行标注。

本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述内容所述的智能对话系统异常检测的方法。

基于上述内容所述的智能对话系统异常检测的方法，本说明书实施例还提出了图6所示的电子设备的示意结构图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述内容所述的智能对话系统异常检测的方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种智能对话系统异常检测的方法，所述方法包括：

获取历史会话数据，确定所述历史会话数据中每轮交互的用户发送信息对应的用户意图以及针对所述用户发送信息的回复信息；

针对每轮交互，将该轮交互的交互信息作为训练样本，所述交互信息包括该轮交互的用户发送信息对应的用户意图以及该轮交互的回复信息，并根据该轮交互中用户是否存在异常行为，确定所述训练样本的标注；

将训练样本输入待训练的检测模型，得到所述待训练的检测模型输出的所述训练样本对应的交互中用户是否存在异常行为的检测结果；

以所述训练样本的检测结果与所述训练样本的标注之间的差异最小为优化目标，训练所述待训练的检测模型；

当接收交互检测请求时，根据所述交互检测请求中携带的待检测会话数据，确定所述待检测会话数据中的各轮交互的交互信息，并将所述各交互信息分别输入到训练得到的所述检测模型，根据所述检测模型的输出，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互，根据所述异常交互确定所述智能对话系统的异常检测结果，并展示。

2.如权利要求1所述的方法，确定所述历史会话数据中每轮交互的用户发送信息对应的用户意图，具体包括：

针对每轮交互的用户发送信息，将该轮交互的用户发送信息输入到预先训练的意图识别模型中，确定所述意图识别模型的各类用户意图的识别结果；

从所述意图识别模型的各类用户意图的识别结果中，确定属于预设类的用户意图的识别结果；其中，所述预设类的用户意图为与预设的各回复信息无关的用户意图；

从确定出的各类用户意图的识别结果中，删除所述预设类的用户意图的识别结果，确定该轮交互的用户发送信息对应的用户意图。

3.如权利要求1所述的方法，获取历史会话数据，确定所述历史会话数据中每轮交互的用户发送信息对应的用户意图，具体包括：

针对每轮交互的用户发送信息，将该轮交互的用户发送信息输入到预先训练的意图识别模型中，确定所述意图识别模型的各类用户意图的识别结果；

根据所述各类用户意图的识别结果，确定用户意图编码。

4.如权利要求2或3所述的方法，针对每轮交互，将该轮交互的交互信息作为训练样本，所述交互信息包括该轮交互的用户发送信息对应的用户意图以及该轮交互的回复信息，具体包括：

针对每轮交互，确定该轮交互的回复信息的回复信息编码；

根据该轮交互的回复信息的回复信息编码以及该轮交互的用户意图编码，确定该轮交互的交互信息，作为训练样本。

5.如权利要求1所述的方法，所述检测模型为时间序列检测模型；

将训练样本输入待训练的检测模型，得到所述待训练的检测模型输出的所述训练样本对应的交互中用户是否存在异常行为的检测结果，具体包括：

获取从历史会话数据中确定的各交互信息的交互轮次，根据所述各轮交互信息的交互轮次，将各训练样本依次输入到待训练的检测模型，得到所述待训练的检测模型输出的所述各训练样本对应的交互中用户是否存在异常行为的检测结果。

6.如权利要求1所述的方法，当接收交互检测请求时，根据所述交互检测请求中携带的待检测会话数据，确定所述待检测会话数据中的各轮交互的交互信息，具体包括：

根据所述交互检测请求中携带的待检测会话数据，确定每轮交互的用户发送信息以及针对所述用户发送信息的回复信息；

根据所述每轮交互的用户发送信息，确定每轮交互的用户意图；

根据所述每轮交互的针对所述用户发送信息的回复信息，确定每轮交互的回复信息编码；

针对所述每轮交互的用户意图，删除该轮交互中属于预设类的用户意图，确定所述删除该轮交互中属于预设类的用户意图后的该轮交互的用户意图编码；

针对每轮交互，根据该轮交互的回复信息编码和该轮交互的用户意图编码，确定该轮交互的交互信息。

7.如权利要求5所述的方法，将所述各交互信息分别输入到训练得到的所述检测模型，根据所述检测模型输出，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互，根据所述异常交互确定所述智能对话系统的异常检测结果，具体包括：

获取待检测会话数据中的各交互信息所在的交互轮次，根据所述各交互信息所在的交互轮次依次将各交互信息输入到训练得到的时间序列模型，并确定各轮交互的检测结果；

根据每轮交互的检测结果，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互；

对确定出的各轮异常交互进行标注，根据各轮异常交互进行标注，确定所述智能对话系统的各轮交互的异常检测结果。

8.如权利要求7所述的方法，对确定出的各轮异常交互进行标注，具体包括：

针对各轮交互中的回复信息，将该回复信息替换为占位符；

根据替换为占位符的该回复信息，重新确定该回复信息对应轮次交互的交互信息；

根据重新确定的交互信息，更新所述待检测会话数据；

将更新后的所述待检测会话数据，通过训练得到的所述时间序列模型，确定更新后的所述待检测会话数据各轮交互的检测结果；

判断更新前后所述待检测会话数据各轮交互的检测结果的差距是否大于预设的数值；

若是，则确定该回复信息异常，并进行标注；

若否，则确定该回复信息正常，不进行标注。

9.如权利要求7所述的方法，对确定出的各轮异常交互进行标注，具体包括：

针对各轮交互中用户发送信息对应的各用户意图，将该用户意图替换为占位符；

根据替换为占位符的该用户意图，重新确定该用户意图对应轮次交互的交互信息；

根据重新确定的交互信息，更新所述待检测会话数据；

将更新后的所述待检测会话数据，通过训练得到的所述时间序列模型，确定更新后的所述待检测会话数据各轮交互的检测结果；

判断更新前后所述待检测会话数据各轮交互的检测结果的差值是否大于预设的数值；

若是，则对该用户意图进行标注；

若否，则不对该用户意图进行标注。

10.一种智能对话系统异常检测的装置，所述装置具体包括：

第一确定模块，用于获取历史会话数据，确定所述历史会话数据中每轮交互的用户发送信息对应的用户意图以及针对所述用户发送信息的回复信息；

第二确定模块，用于针对每轮交互，将该轮交互的交互信息作为训练样本，所述交互信息包括该轮交互的用户发送信息对应的用户意图以及该轮交互的回复信息，并根据该轮交互中用户是否存在异常行为，确定所述训练样本的标注；

输入模块，用于将训练样本输入待训练的检测模型，得到所述待训练的检测模型输出的所述训练样本对应的交互中用户是否存在异常行为的检测结果；

模型训练模块，用于以所述训练样本的检测结果与所述训练样本的标注之间的差异最小为优化目标，训练所述待训练的检测模型；

检测模块，用于当接收交互检测请求时，根据所述交互检测请求中携带的待检测会话数据，确定所述待检测会话数据中的各轮交互的交互信息，并将所述各交互信息分别输入到训练得到的所述检测模型，根据所述检测模型的输出，确定所述待检测会话数据的各轮交互中检测结果为用户存在异常行为的若干轮交互，作为异常交互，根据所述异常交互确定所述智能对话系统的异常检测结果，并展示。

11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-9任一所述的方法。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-9任一所述的方法。

Images