CN113051381B - 信息质检方法、装置、计算机系统和计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种信息质检方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。其中，信息质检方法包括：根据会话中的上下文信息确定待检测信息；将待检测信息输入质检识别模型，输出质检识别结果，其中，质检识别结果包括至少一个客服服务问题；将待检测信息输入质检消除模型，输出需要消除的客服服务问题；以及从质检识别结果中滤除需要消除的客服服务问题，以确定针对上下文信息的质检结果。

Description

信息质检方法、装置、计算机系统和计算机可读存储介质

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种信息质检方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。

背景技术

智能管理是建设智能客服中心的重要元素之一，智能管理离不开对客服服务质量的质检，依靠人工抽检的方式存在覆盖率低、准确率低、时效性低以及效率低的问题，而且人工抽检无法有效对标并辅助提升客户体验，质检数据无法有效沉淀，因此，采用人工智能的手段对客服服务质量进行全量自动化智能检测显得尤为重要。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，现有的用于人工客服的智能信息质检方法准确率低，且针对复杂、全局问题无法有效检测。

发明内容

有鉴于此，本公开提供了一种信息质检方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。

本公开的一个方面提供了一种信息质检方法，包括：根据会话中的上下文信息确定待检测信息；将所述待检测信息输入质检识别模型，输出质检识别结果，其中，所述质检识别结果包括至少一个客服服务问题；将所述待检测信息输入质检消除模型，输出需要消除的客服服务问题；以及从所述质检识别结果中滤除所述需要消除的客服服务问题，以确定针对所述上下文信息的质检结果。

根据本公开的实施例，根据会话中的上下文信息确定待检测信息包括：获取会话中的上下文信息，其中，所述上下文信息由多条消息组成，每条所述消息具有对应的消息发送方；根据预设拼接规则对所述多条消息进行拼接，得到多条拼接消息，其中，所述预设拼接规则包括：针对产生顺序相邻的至少两条目标消息，在所述至少两条目标消息所各自对应的消息发送方相同，且所述至少两条目标消息所对应的消息内容的总文本长度小于预设阈值的情况下，将所述至少两条目标消息的消息内容进行拼接，得到一条所述拼接消息；获取具有预设窗口大小和预设滑动步长的滑动窗口；利用所述滑动窗口对所述多条拼接消息进行拆分，得到多个消息窗口，其中，每个所述消息窗口包括与所述预设窗口大小相同数量的拼接消息，相邻的两个所述消息窗口具有与所述预设滑动步长相同数量的重复的拼接消息；以及将所述多个消息窗口作为所述待检测信息。

根据本公开的实施例，所述待检测信息包括多个消息窗口，所述质检识别模型包括第一语义表示层、第二语义表示层和第一线性分类器，将所述待检测信息输入质检识别模型，输出质检识别结果包括：将每个所述消息窗口输入所述第一语义表示层，输出用于表征每个所述消息窗口的第一语义向量；将多个所述第一语义向量输入所述第二语义表示层，输出针对每个所述消息窗口识别得到的至少一个初始识别结果；将所述至少一个初始识别结果输入所述第一线性分类器，计算每个所述初始识别结果的第一概率值；将所述第一概率值最大时所对应的初始识别结果作为针对每个所述消息窗口识别得到的目标识别结果；以及将多个所述目标识别结果作为所述质检识别结果。

根据本公开的实施例，所述待检测信息包括多个消息窗口，所述质检消除模型包括第三语义表示层、第四语义表示层和第二线性分类器，将所述待检测信息输入质检消除模型，输出需要消除的客服服务问题包括：将每个所述消息窗口输入所述第三语义表示层，输出用于表征每个所述消息窗口的的第二语义向量；将多个所述第二语义向量输入所述第四语义表示层，输出针对每个所述消息窗口识别得到的至少一个初始待消除问题；将所述至少一个初始待消除问题输入所述第二线性分类器，计算每个所述初始待消除问题的第二概率值；将所述第二概率值最大时所对应的初始待消除问题作为针对每个所述消息窗口识别得到的目标待消除问题；以及将多个所述目标待消除问题作为所述需要消除的客服服务问题。

根据本公开的实施例，所述待检测信息包括多个消息窗口，从所述质检识别结果中滤除所述需要消除的客服服务问题，以确定针对所述上下文信息的质检结果包括：根据所述多个消息窗口中的消息的产生顺序确定所述多个消息窗口的排序结果；确定与所述需要消除的客服服务问题相关的目标消息窗口；基于所述排序结果将所述目标消息窗口及其之前的预设值个消息窗口所对应的与所述需要消除的客服服务问题相关的质检识别结果消除，得到新的质检识别结果；以及根据所述新的质检识别结果确定所述质检结果。

本公开的另一个方面提供了一种信息质检装置，包括：第一确定模块，用于根据会话中的上下文信息确定待检测信息；第一识别模块，用于将所述待检测信息输入质检识别模型，输出质检识别结果，其中，所述质检识别结果包括至少一个客服服务问题；第二识别模块，用于将所述待检测信息输入质检消除模型，输出需要消除的客服服务问题；以及第二确定模块，用于从所述质检识别结果中滤除所述需要消除的客服服务问题，以确定针对所述上下文信息的质检结果。

根据本公开的实施例，所述第一确定模块包括：第一获取单元，用于获取会话中的上下文信息，其中，所述上下文信息由多条消息组成，每条所述消息具有对应的消息发送方；拼接单元，用于根据预设拼接规则对所述多条消息进行拼接，得到多条拼接消息，其中，所述预设拼接规则包括：针对产生顺序相邻的至少两条目标消息，在所述至少两条目标消息所各自对应的消息发送方相同，且所述至少两条目标消息所对应的消息内容的总文本长度小于预设阈值的情况下，将所述至少两条目标消息的消息内容进行拼接，得到一条所述拼接消息；第二获取单元，用于获取具有预设窗口大小和预设滑动步长的滑动窗口；拆分单元，用于利用所述滑动窗口对所述多条拼接消息进行拆分，得到多个消息窗口，其中，每个所述消息窗口包括与所述预设窗口大小相同数量的拼接消息，相邻的两个所述消息窗口具有与所述预设滑动步长相同数量的重复的拼接消息；以及第一定义单元，用于将所述多个消息窗口作为所述待检测信息。

本公开的另一方面提供了一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的信息质检方法。

本公开的另一方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的信息质检方法。

本公开的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的信息质检方法。

根据本公开的实施例，通过采用了根据会话中的上下文信息确定待检测信息；将待检测信息输入质检识别模型，输出质检识别结果，其中，质检识别结果包括至少一个客服服务问题；将待检测信息输入质检消除模型，输出需要消除的客服服务问题；以及从质检识别结果中滤除需要消除的客服服务问题，以确定针对上下文信息的质检结果的技术手段，由于待检测信息为上下文信息，并且引入了质检识别模型和质检消除模型两个模型依次对上下文信息进行检测，检测结果也由两个模型的输出结果共同确定，所以至少部分地克服了现有的信息质检方法准确率低的技术问题，同时达到了即使针对复杂、全局问题也可以进行有效检测的技术效果。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用信息质检方法的示例性系统架构；

图2示意性示出了根据本公开实施例的信息质检方法的流程图；

图3示意性示出了根据本公开实施例的基于质检识别模型和质检消除模型对会话维度信息的进行信息质检的流程；

图4示意性示出了根据本公开实施例的会话拼接拆分的示意图；

图5示意性示出了根据本公开实施例的HAN模型的网络结构图；

图6示意性示出了根据本公开的实施例的信息质检装置的框图；以及

图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

现有的智能质检方法一般采用单句质检模型，即，只结合客服当前的回答进行质检判断。单句质检模型的输入为客服的单句回答，模型一般采用逻辑回归模型或fast text(一种快速文本分类器)模型，模型的特征一般采用字特征、ngram特征；单句质检模型没有对单条消息的结果进行有效的合并和归一，一通会话中各消息的质检结果是独立的。

发明人在实现本公开构思的过程中发现，单句质检模型能检测出一些简单的、局部的问题，例如，“引流他方”、“恶意骚扰”、“诱导好评”等，但由于单句质检模型没有结合上下文信息，且没有以会话维度融合质检结果，因此无法对诸如“漠视客户投诉”、“未对客户情绪及时安抚和引导”、“推诿不解决”等复杂、全局性的客服服务问题进行有效检测。因这些客服服务问题的产生均需要两方面的要素：a、客户表达投诉意向(对应漠视客户投诉)，或客户表达不满的情绪(对应未对客户情绪及时安抚和引导)，或客户要求领导接线(对应推诿不解决)；b、客服漠视客户投诉意向(对应漠视客户投诉)，或客服未对客户情绪进行安抚和引导(对应未对客户情绪及时安抚和引导)，或客服拒绝让领导接线(对应推诿不解决)。这两方面的要素分别来自客户和客服，单句质检模型只关注客服的单句消息，无法有效检测需要结合多句的客服服务问题。同时。由于没有结合上下文信息，单句质检模型在“引流他方”、“恶意骚扰”、“诱导好评”等分类上的效果也不尽如人意，依然存在优化的空间。

发明人在实现本公开构思的过程中还发现，单句质检模型由于各消息的质检结果是独立的，针对客服单句服务有问题，但通过后续交互弥补了相关问题，致使从会话维度看，不存在客服服务问题的情况，无法有效消除，导致模型误召回率高、准确率低。

本公开的实施例提供了一种信息质检方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。该方法包括根据会话中的上下文信息确定待检测信息；将待检测信息输入质检识别模型，输出质检识别结果，其中，质检识别结果包括至少一个客服服务问题；将待检测信息输入质检消除模型，输出需要消除的客服服务问题；以及从质检识别结果中滤除需要消除的客服服务问题，以确定针对上下文信息的质检结果。

图1示意性示出了根据本公开实施例的可以应用信息质检方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的信息质检方法一般可以由服务器105执行。相应地，本公开实施例所提供的信息质检装置一般可以设置于服务器105中。本公开实施例所提供的信息质检方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的信息质检装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的信息质检方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的信息质检装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。

例如，会话中的上下文信息可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的信息质检方法，或者将会话中的上下文信息发送到其他终端设备、服务器、或服务器集群，并由接收该上下文信息的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的信息质检方法。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的信息质检方法的流程图。

如图2所示，该方法包括操作S201～S204。

在操作S201，根据会话中的上下文信息确定待检测信息。

根据本公开的实施例，上述上下文信息例如可以包括多轮客户-客服交互消息，上述待检测信息例如可以为对该多轮客户-客服交互消息按一定方式进行拼接和拆分的结果，该拼接和拆分后的结果例如可以表现为多个消息集的形式，每个消息集例如可以包括多条客户消息、多条客服消息和/或由客户消息和客服消息组成的多条消息的集合。

在操作S202，将待检测信息输入质检识别模型，输出质检识别结果，其中，质检识别结果包括至少一个客服服务问题。

根据本公开的实施例，上述质检识别模型例如用于通过训练实现对每个消息集所包含的消息进行质检。例如，在某个消息集中存在与“漠视客户投诉”、“未对客户情绪及时安抚和引导”、“推诿不解决”、“引流他方”、“恶意骚扰”、“诱导好评”等相关的消息的情况下，通过上述质检识别模型对该消息集进行识别得到的上述质检识别结果例如可以为该些客服服务问题的其中至少之一。

需要说明的是，若消息集中不存在与上述客服服务问题相关的消息，通过上述质检识别模型对该消息集进行识别得到的上述质检识别结果例如可以以“other”进行表示。

还需说明的是，上述客服服务问题仅是列举了一部分实施例而已，在实际应用场景中，还可以预设其他类型的客服服务问题。

在操作S203，将待检测信息输入质检消除模型，输出需要消除的客服服务问题。

根据本公开的实施例，上述质检消除模型例如用于通过训练实现对每个消息集所包含的消息进行质检，与质检识别模型不同的是，该质检消除模型用于输出需要消除的客服服务问题。例如，针对某些消息集，在通过质检识别模型识别得到诸如“漠视客户投诉”、“未对客户情绪及时安抚和引导”、“推诿不解决”、“引流他方”、“恶意骚扰”、“诱导好评”等客服服务问题的情况下，若客服在后续交互中，提供了跟进、升级、赔付等有效方案，即该些消息集的部分消息中提供了针对前述客服服务问题的解决方案，则可以采用上述质检消除模型对该些消息集进行识别，得到需要消除的客服服务问题。其中，质检消除模型的输出例如可以表示为“消除漠视客户投诉”、“消除未对客户情绪及时安抚和引导”、“消除推诿不解决”、“消除引流他方”、“消除恶意骚扰”、“消除诱导好评”等形式。

需要说明的是，在上述消息集中不存在与上述针对前述客服服务问题的解决方案相关的消息的情况下，通过上述质检消除模型对该消息集进行识别得到的输出结果例如可以以“other”进行表示。

还需说明的是，上述需要消除的客服服务问题对应于质检识别模型识别出的客服服务问题，对应于客服服务问题的存在类型，在实际应用场景中，上述需要消除的客服服务问题也可不仅限于如上所述。

在操作S204，从质检识别结果中滤除需要消除的客服服务问题，以确定针对上下文信息的质检结果。

根据本公开的实施例，以智能客服中心的一个会话为例，该会话中例如包含了客户和客服的多轮交互消息，通过质检识别模型对与该会话相关的消息集进行识别例如可以得到“引流他方”、“诱导好评”等客服服务问题，通过质检消除类型对与该会话相关的消息集进行检测例如可以得到“消除引流他方”的结果，则针对该会话进行质检得到的上述质检结果例如即为“诱导好评”，代表该会话存在“诱导好评”的问题。

通过本公开的上述实施例，由于质检识别模型和质检消除模型的输入均包含足够的上下文信息，从而可以检测复杂的客服服务问题和质检消除情况，通过结合质检识别模型和质检消除模型的输出结果共同确定最终的质检结果，可进一步提升质检覆盖率和准确率，有助于及时发现线上客服服务问题以及管理者及时全面了解客服服务情况和客户体验情况，进而提升客服服务质量和客户体验。

下面参考图3～图5，结合具体实施例对图2所示的方法做进一步说明。

图3示意性示出了根据本公开实施例的基于质检识别模型和质检消除模型对会话维度信息的进行信息质检的流程。

根据本公开的实施例，参见图3所示，针对每一条会话消息，例如首先需要将会话消息经过拼接、拆分等步骤处理成多个带重叠消息的上下文消息窗口，该多个上下文消息窗口例如可对应为上述操作S201中的待检测信息。

根据本公开的实施例，为得到包含多个上下文消息窗口的待检测信息，上述操作S201例如可以包括：获取会话中的上下文信息，其中，上下文信息由多条消息组成，每条消息具有对应的消息发送方；根据预设拼接规则对多条消息进行拼接，得到多条拼接消息，其中，预设拼接规则包括：针对产生顺序相邻的至少两条目标消息，在至少两条目标消息所各自对应的消息发送方相同，且至少两条目标消息所对应的消息内容的总文本长度小于预设阈值的情况下，将至少两条目标消息的消息内容进行拼接，得到一条拼接消息；获取具有预设窗口大小和预设滑动步长的滑动窗口；利用滑动窗口对多条拼接消息进行拆分，得到多个消息窗口，其中，每个消息窗口包括与预设窗口大小相同数量的拼接消息，相邻的两个消息窗口具有与预设滑动步长相同数量的重复的拼接消息；以及将多个消息窗口作为待检测信息。

图4示意性示出了根据本公开实施例的会话拼接拆分的示意图。

根据本公开的实施例，参见图4所示，假设会话S中的上下文信息由m条消息组成，根据m条消息的产生顺序得到的会话S的原始会话例如可以表示为：

S＝{(c1，w1)，(c2，w2)，(c3，w3)，…，(cm，wm)}，

其中，c1，c2，c3，…，cm例如表示会话S中每条消息的消息内容，w1，w2，w3，…，wm例如表示每条消息对应的消息发送方(客户或客服)。

根据本公开的实施例，针对上述会话S，上述拼接规则例如可以表现为：若相邻的两条(或多条，此处以两条为例)消息ci与cj(其中，j＝i+1)为相同的发送方，即wi＝wj，且ci与cj文本长度之和不大于预先设定的值L(即上述预设阈值)，则将ci与cj拼接成一条消息，否则不拼接。

根据本公开的实施例，参见图4所示，假设上述会话S经过拼接后总共得到p条拼接消息，则拼接后的会话例如可以表示为：

S＝{(c1’，w1’)，(c2’，w2’)，(c3’，w3’)，…，(cp’，wp’)}，

其中，c1’，c2’，c3’，…，cp’例如表示每条拼接消息的消息内容，w1’，w2’，w3’，…，wp’例如表示每条拼接消息对应的消息发送方(客户或客服)。

根据本公开的实施例，参见图4所示，按滑动窗口的方式拆分会话后，拆分后的会话S的例如可以表示为：

S＝{X1，X2，X3，…Xn}，

其中，X1，X2，X3…Xn例如即为带重叠的拼接消息的上述多个消息窗口。假设预设窗口大小k＝4，预设滑动步长s＝2，则X1，X2，X3例如可以表示为：

X1＝{(c1’，w1’)，(c2’，w2’)，(c3’，w3’)，(c4’，w4’)}，

X2＝{(c3’，w3’)，(c4’，w4’)，(c5’，w5’)，(c6’，w6’)}，

X3＝{(c5’，w5’)，(c6’，w6’)，(c7’，w7’)，(c8’，w8’)}。

根据本公开的实施例，上述X1，X2，X3，…Xn例如即为最终得到的待检测信息。

根据本公开的实施例，参见图3所示，在得到上述包含多个上下文消息窗口的待检测信息之后，例如需要将该多个上下文消息窗口分别输入至上下文质检识别模型(即上述质检识别模型)和上下文质检消除模型(即上述质检消除模型)，以得到质检识别结果和需要消除的客服服务问题。

根据本公开的实施例，上述质检识别模型例如包括第一语义表示层、第二语义表示层和第一线性分类器，为得到上述质检识别结果，上述操作S202例如可以包括：将每个消息窗口输入第一语义表示层，得到用于表征每个消息窗口的第一语义向量；将多个第一语义向量输入第二语义表示层，得到针对每个消息窗口识别得到的至少一个初始识别结果；将至少一个初始识别结果输入第一线性分类器，计算每个初始识别结果的第一概率值；将第一概率值最大时所对应的初始识别结果作为针对每个消息窗口识别得到的目标识别结果；以及将多个目标识别结果作为质检识别结果。

根据本公开的实施例，上述质检消除模型例如包括第三语义表示层、第四语义表示层和第二线性分类器，为得到上述需要消除的客服服务问题，上述操作S203例如可以包括：将每个消息窗口输入第三语义表示层，得到用于表征每个消息窗口的的第二语义向量；将多个第二语义向量输入第四语义表示层，得到针对每个消息窗口识别得到的至少一个初始待消除问题；将至少一个初始待消除问题输入第二线性分类器，计算每个初始待消除问题的第二概率值；将第二概率值最大时所对应的初始待消除问题作为针对每个消息窗口识别得到的目标待消除问题；以及将多个目标待消除问题作为需要消除的客服服务问题。

根据本公开的实施例，上述质检识别模型和质检消除模型例如可以均采用HAN(Hierarchical Attention Network，分层注意力)模型。

需要说明的是，为基于相同的HAN模型实现上述功能不同的质检识别模型和质检消除模型，例如可以首先获取确定的上下文消息窗口，并根据每个上下文消息窗口的消息内容为每个上下文消息窗口针对性的配置一个确定的质检问题标签(在该上下文消息窗口存在客服服务问题的情况下配置)、质检消除标签(在该上下文消息窗口存在与解决某个或某些客服服务问题相关的解决方案的情况下配置)或other标签(在前述两种情况均不成立时配置)，其中，根据实际场景，质检问题标签和质检消除标签可以同时配置于一个上下文消息窗口，然后将配置有质检问题标签的上下文消息窗口作为训练上下文质检识别模型的训练集，将配置有质检消除标签的上下文消息窗口作为训练上下文质检消除模型的训练集，以训练得到具有实际意义的能够输出上述质检识别结果的质检识别模型，和能够输出上述需要消除的客服服务问题质检消除模型。

图5示意性示出了根据本公开实施例的HAN模型的网络结构图。

如图5所示，第一层(即上述第一语义表示层或第三语义表示层)为词级别(word-level)的语义表示层，该层例如可以采用CNN(convolutional neural network，卷积神经网络)作为词级别的语义表示网络，输入可以为各个消息窗口的各条消息，输出该些消息窗口各自的语义向量表示(即上述第一语义向量或第二语义向量)，第二层(即上述第二语义表示层或第四语义表示层)为句子级别(sentence-level)的语义表示层，该层例如可以采用带Attention(注意力机制)的LSTM(Long Short-Term Memory，长短期记忆网络)作为句子级别的语义表示网络，第一层输出的各消息窗口的语义向量表示可以作为第二层的输入，第二层的输出例如可以为会话的向量表示(即上述至少一个初始识别结果或至少一个初始待消除问题)，基于会话的向量表示，例如还连接至softmax层(即上述第一线性分类器或第二线性分类器，如图5中Linear Classifier所示)完成质检识别分类和质检消除分类，通过概率计算得到针对每个消息窗口的目标识别结果或目标待消除问题，以最终确定上述质检识别结果和需要消除的客服服务问题。

根据本公开的实施例，参见图3所示，上述信息质检方法例如还需要结合上述质检识别模型输出的质检识别结果和上述质检消除模型输出的需要消除的客服服务问题来最终确定并输出针对该会话消息的会话级质检结果。

根据本公开的实施例，为得到上述质检结果，上述操作S204例如可以包括：根据多个消息窗口中的消息的产生顺序确定多个消息窗口的排序结果；确定与需要消除的客服服务问题相关的目标消息窗口；基于排序结果将目标消息窗口及其之前的预设值个消息窗口所对应的与需要消除的客服服务问题相关的质检识别结果消除，得到新的质检识别结果；以及根据新的质检识别结果确定质检结果。

根据本公开的实施例，上述预设值例如用于表征质检消除的作用范围，即基于质检消除模型得到的需要消除的客服服务问题的作用范围，如上述预设值为d时，可以表示包括能够识别出该需要消除的客服服务问题的消息窗口在内的往前d个窗口内对应的客服服务问题可以被消除。具体而言，假设d＝4，质检消除模型在第8个消息窗口识别出了“消除漠视客户投诉”，则质检识别模型在第5、6、7、8个消息窗口识别出的“漠视客户投诉”均被消除，而质检识别模型在第5、6、7、8个窗口识别出其它客服服务问题无法被消除，同时，质检识别模型在第1、2、3、4个窗口识别出的“漠视客户投诉”也无法被消除。

通过本公开的上述实施例，引入了质检识别模型和质检消除模型，将会话维度的智能质检拆分为两个步骤：1)利用质检识别模型识别当前消息集的上下文信息中包含的客服服务问题；2)利用质检消除模型识别当前消息集的上下文信息中包含的质检消除情况，并对当前消息集之前的消息集的上下文信息对应的客服服务问题进行消除，解决了针对“漠视客户投诉”、“未对客户情绪及时安抚和引导”、“推诿不解决”等需要结合上下文信息进行质检时存在的识别困难的问题，并可有效提升“引流他方”、“恶意骚扰”、“诱导好评”等分类识别的准确率。

根据本公开的实施例，在将上述质检消除方法应用至实际场景中时，针对上述预设阈值(即拼接时文本长度阈值L)、预设窗口大小(即上下文滑动窗口大小k)、预设滑动步长(即上下文滑动窗口步长s)和质检消除的作用范围d等参数，例如可以确定如下表1所示的最优取值。

表1

参数	最优取值
		拼接时文本长度阈值L	120
上下文滑动窗口大小k	4
		上下文滑动窗口步长s	2
质检消除的作用范围d	4

根据本公开的实施例，通过采用上述信息质检方法，例如可以表现出如下表2所示的优势。

表2

通过本公开的上述实施例，提出了一种智能的信息质检方法，由于将会话维度的质检拆分为基于上下文的质检识别模型和基于上下文的质检消除模型，分别得到质检识别结果和质检消除结果，然后将两个模型的结果加以融合的方式确定最终质检结果，能够在会话维度上对客服服务进行精准地质检，解决了在复杂、全局问题上识别困难的问题，并最终达到了提升复杂、全局问题准确率和召回率的目的。

图6示意性示出了根据本公开的实施例的信息质检装置的框图。

如图6所示，信息质检装置600包括第一确定模块610、第一识别模块620、第二识别模块630和第二确定模块640。

第一确定模块610，用于根据会话中的上下文信息确定待检测信息。

第一识别模块620，用于将所述待检测信息输入质检识别模型，输出质检识别结果，其中，所述质检识别结果包括至少一个客服服务问题.

第二识别模块630，用于将所述待检测信息输入质检消除模型，输出需要消除的客服服务问题。

第二确定模块640，用于从所述质检识别结果中滤除所述需要消除的客服服务问题，以确定针对所述上下文信息的质检结果。

根据本公开的上述实施例，通过采用了根据会话中的上下文信息确定待检测信息；将待检测信息输入质检识别模型，输出质检识别结果，其中，质检识别结果包括至少一个客服服务问题；将待检测信息输入质检消除模型，输出需要消除的客服服务问题；以及从质检识别结果中滤除需要消除的客服服务问题，以确定针对上下文信息的质检结果的技术手段，由于待检测信息为上下文信息，并且引入了质检识别模型和质检消除模型两个模型依次对上下文信息进行检测，检测结果也由两个模型的输出结果共同确定，所以至少部分地克服了现有的信息质检方法准确率低的技术问题，同时达到了即使针对复杂、全局问题也可以进行有效检测的技术效果。

根据本公开的实施例，上述第一确定模块包括第一获取单元、拼接单元、第二获取单元、拆分单元和定义单元。

第一获取单元，用于获取会话中的上下文信息，其中，所述上下文信息由多条消息组成，每条所述消息具有对应的消息发送方。

拼接单元，用于根据预设拼接规则对所述多条消息进行拼接，得到多条拼接消息，其中，所述预设拼接规则包括：针对产生顺序相邻的至少两条目标消息，在所述至少两条目标消息所各自对应的消息发送方相同，且所述至少两条目标消息所对应的消息内容的总文本长度小于预设阈值的情况下，将所述至少两条目标消息的消息内容进行拼接，得到一条所述拼接消息。

第二获取单元，用于获取具有预设窗口大小和预设滑动步长的滑动窗口。

拆分单元，用于利用所述滑动窗口对所述多条拼接消息进行拆分，得到多个消息窗口，其中，每个所述消息窗口包括与所述预设窗口大小相同数量的拼接消息，相邻的两个所述消息窗口具有与所述预设滑动步长相同数量的重复的拼接消息。

第一定义单元，用于将所述多个消息窗口作为所述待检测信息。

根据本公开的实施例，上述待检测信息包括多个消息窗口，上述质检识别模型包括第一语义表示层、第二语义表示层和第一线性分类器，上述第一识别模块包括第一语义表示单元、第二语义表示单元、第一计算单元、第二定义单元和第三定义单元。

第一语义表示单元，用于将每个所述消息窗口输入所述第一语义表示层，输出用于表征每个所述消息窗口的第一语义向量。

第二语义表示单元，用于将多个所述第一语义向量输入所述第二语义表示层，输出针对每个所述消息窗口识别得到的至少一个初始识别结果。

第一计算单元，用于将所述至少一个初始识别结果输入所述第一线性分类器，计算每个所述初始识别结果的第一概率值。

第二定义单元，用于将所述第一概率值最大时所对应的初始识别结果作为针对每个所述消息窗口识别得到的目标识别结果。

第三定义单元，用于将多个所述目标识别结果作为所述质检识别结果。

根据本公开的实施例，上述待检测信息包括多个消息窗口，上述质检消除模型包括第三语义表示层、第四语义表示层和第二线性分类器，上述第二识别模块包括第三语义表示单元、第四语义表示单元、第二计算单元、第四定义单元和第五定义单元。

第三语义表示单元，用于将每个所述消息窗口输入所述第三语义表示层，输出用于表征每个所述消息窗口的的第二语义向量。

第四语义表示单元，用于将多个所述第二语义向量输入所述第四语义表示层，输出针对每个所述消息窗口识别得到的至少一个初始待消除问题。

第二计算单元，用于将所述至少一个初始待消除问题输入所述第二线性分类器，计算每个所述初始待消除问题的第二概率值。

第四定义单元，用于将所述第二概率值最大时所对应的初始待消除问题作为针对每个所述消息窗口识别得到的目标待消除问题。

第五定义单元，用于将多个所述目标待消除问题作为所述需要消除的客服服务问题。

根据本公开的实施例，上述待检测信息包括多个消息窗口，上述第二确定模块包括第一确定单元、第二确定单元、消除单元和第三确定单元。

第一确定单元，用于根据所述多个消息窗口中的消息的产生顺序确定所述多个消息窗口的排序结果。

第二确定单元，用于确定与所述需要消除的客服服务问题相关的目标消息窗口。

消除单元，用于基于所述排序结果将所述目标消息窗口及其之前的预设值个消息窗口所对应的与所述需要消除的客服服务问题相关的质检识别结果消除，得到新的质检识别结果。

第三确定单元，用于根据所述新的质检识别结果确定所述质检结果。

根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一确定模块610、第一识别模块620、第二识别模块630和第二确定模块640中的任意多个可以合并在一个模块/单元中实现，或者其中的任意一个模块/单元可以被拆分成多个模块/单元。或者，这些模块/单元中的一个或多个模块/单元的至少部分功能可以与其他模块/单元的至少部分功能相结合，并在一个模块/单元中实现。根据本公开的实施例，第一确定模块610、第一识别模块620、第二识别模块630和第二确定模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一确定模块610、第一识别模块620、第二识别模块630和第二确定模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，本公开的实施例中信息质检装置部分与本公开的实施例中信息质检方法部分是相对应的，信息质检装置部分的描述具体参考信息质检方法部分，在此不再赘述。

图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图7示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，根据本公开实施例的计算机系统700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的信息质检方法。

在该计算机程序被处理器701执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (8)

1.一种信息质检方法，包括：

根据会话中的上下文信息确定待检测信息，其中，所述待检测信息包括多个消息窗口；

将所述待检测信息输入质检识别模型，输出质检识别结果，其中，所述质检识别结果包括至少一个客服服务问题；

将所述待检测信息输入质检消除模型，输出需要消除的客服服务问题；以及

从所述质检识别结果中滤除所述需要消除的客服服务问题，以确定针对所述上下文信息的质检结果，包括：

根据所述多个消息窗口中的消息的产生顺序确定所述多个消息窗口的排序结果；

确定与所述需要消除的客服服务问题相关的目标消息窗口；

基于所述排序结果将所述目标消息窗口及其之前的预设值个消息窗口所对应的与所述需要消除的客服服务问题相关的质检识别结果消除，得到新的质检识别结果；以及

根据所述新的质检识别结果确定所述质检结果。

2.根据权利要求1所述的方法，其中，根据会话中的上下文信息确定待检测信息包括：

获取会话中的上下文信息，其中，所述上下文信息由多条消息组成，每条所述消息具有对应的消息发送方；

根据预设拼接规则对所述多条消息进行拼接，得到多条拼接消息，其中，所述预设拼接规则包括：针对产生顺序相邻的至少两条目标消息，在所述至少两条目标消息所各自对应的消息发送方相同，且所述至少两条目标消息所对应的消息内容的总文本长度小于预设阈值的情况下，将所述至少两条目标消息的消息内容进行拼接，得到一条所述拼接消息；

获取具有预设窗口大小和预设滑动步长的滑动窗口；

利用所述滑动窗口对所述多条拼接消息进行拆分，得到多个消息窗口，其中，每个所述消息窗口包括与所述预设窗口大小相同数量的拼接消息，相邻的两个所述消息窗口具有与所述预设滑动步长相同数量的重复的拼接消息；以及

将所述多个消息窗口作为所述待检测信息。

3.根据权利要求1所述的方法，其中，所述待检测信息包括多个消息窗口，所述质检识别模型包括第一语义表示层、第二语义表示层和第一线性分类器，将所述待检测信息输入质检识别模型，输出质检识别结果包括：

将每个所述消息窗口输入所述第一语义表示层，输出用于表征每个所述消息窗口的第一语义向量；

将多个所述第一语义向量输入所述第二语义表示层，输出针对每个所述消息窗口识别得到的至少一个初始识别结果；

将所述至少一个初始识别结果输入所述第一线性分类器，计算每个所述初始识别结果的第一概率值；

将所述第一概率值最大时所对应的初始识别结果作为针对每个所述消息窗口识别得到的目标识别结果；以及

将多个所述目标识别结果作为所述质检识别结果。

4.根据权利要求1所述的方法，其中，所述待检测信息包括多个消息窗口，所述质检消除模型包括第三语义表示层、第四语义表示层和第二线性分类器，将所述待检测信息输入质检消除模型，输出需要消除的客服服务问题包括：

将每个所述消息窗口输入所述第三语义表示层，输出用于表征每个所述消息窗口的的第二语义向量；

将多个所述第二语义向量输入所述第四语义表示层，输出针对每个所述消息窗口识别得到的至少一个初始待消除问题；

将所述至少一个初始待消除问题输入所述第二线性分类器，计算每个所述初始待消除问题的第二概率值；

将所述第二概率值最大时所对应的初始待消除问题作为针对每个所述消息窗口识别得到的目标待消除问题；以及

将多个所述目标待消除问题作为所述需要消除的客服服务问题。

5.一种信息质检装置，包括：

第一确定模块，用于根据会话中的上下文信息确定待检测信息，其中，所述待检测信息包括多个消息窗口；

第一识别模块，用于将所述待检测信息输入质检识别模型，输出质检识别结果，其中，所述质检识别结果包括至少一个客服服务问题；

第二识别模块，用于将所述待检测信息输入质检消除模型，输出需要消除的客服服务问题；以及

第二确定模块，用于从所述质检识别结果中滤除所述需要消除的客服服务问题，以确定针对所述上下文信息的质检结果，所述第二确定模块包括：

第一确定单元，用于根据所述多个消息窗口中的消息的产生顺序确定所述多个消息窗口的排序结果；

第二确定单元，用于确定与所述需要消除的客服服务问题相关的目标消息窗口；

消除单元，用于基于所述排序结果将所述目标消息窗口及其之前的预设值个消息窗口所对应的与所述需要消除的客服服务问题相关的质检识别结果消除，得到新的质检识别结果；以及

第三确定单元，用于根据所述新的质检识别结果确定所述质检结果。

6.根据权利要求5所述的装置，其中，所述第一确定模块包括：

第一获取单元，用于获取会话中的上下文信息，其中，所述上下文信息由多条消息组成，每条所述消息具有对应的消息发送方；

拼接单元，用于根据预设拼接规则对所述多条消息进行拼接，得到多条拼接消息，其中，所述预设拼接规则包括：针对产生顺序相邻的至少两条目标消息，在所述至少两条目标消息所各自对应的消息发送方相同，且所述至少两条目标消息所对应的消息内容的总文本长度小于预设阈值的情况下，将所述至少两条目标消息的消息内容进行拼接，得到一条所述拼接消息；

第二获取单元，用于获取具有预设窗口大小和预设滑动步长的滑动窗口；

拆分单元，用于利用所述滑动窗口对所述多条拼接消息进行拆分，得到多个消息窗口，其中，每个所述消息窗口包括与所述预设窗口大小相同数量的拼接消息，相邻的两个所述消息窗口具有与所述预设滑动步长相同数量的重复的拼接消息；以及

第一定义单元，用于将所述多个消息窗口作为所述待检测信息。

7.一种计算机系统，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至4中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求l至4中任一项所述的方法。