CN111382264A - 会话质量评价方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种会话质量评价方法、装置及电子设备，其中，方法包括：获取第一用户与和第二用户之间会话数据；根据各个问答对数据中的查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成第一对话向量；根据上下文关系，进行会话上下文融合处理，生成会话向量；根据会话向量，确定会话质量分类结果。本发明实施例在对用户间的会话进行质量的评价过程中，基于用户查询和用户答复之间的匹配关系特征以及多轮对话之间的上下文关系信息来确定整个会话的抽象表示，使得对用户间会话质量的分类结果能够更加合理和全面地体现会话质量的评价结果。

Description

会话质量评价方法、装置及电子设备

技术领域

本申请涉及一种会话质量评价方法、装置及电子设备，属于计算机技术领域。

背景技术

在许多应用场景中，经常会涉及到两个角色之间的会话交流，对两个角色之间的会话质量评估有着较大的市场需求。这两种角色中的一方可以是用户，另一方可以提供咨询服务或者问题解决的一方，例如，病人与医生、客户与律师、消费者与客服人员、设备使用方与技术支持等。

以客服为例，客服是为了解决用户针对产品或者服务的各种咨询、投诉以及求助等事项而设立的角色，客服的服务质量将直接影响到用户对于商家的用户体验。为了能够更好地对客服服务质量进行管理，一些商家也设置了客服服务质量的评价系统，通过用户对客服服务进行打分或者评价的方式，来获得一些客服服务质量的评价结果，从而检验客服的服务质量。

不过，在现有技术的客服评价机制中，完全依赖于用户的反馈评价，很多用户在与客服交流后，可能不愿意进行评价。另外，虽然很多用户也进行了评价，不过可能一些用户的评价并不客观或者非常随意，也无法对客服的服务质量进行很好的评价。

发明内容

本发明实施例提供一种会话质量评价方法、装置及电子设备，以实现对用户间的会话质量更加合理和全面的评价。

本发明实施例提供了一种会话质量评价方法，包括：

获取第一用户与第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二客服答复的答复词向量矩阵；

根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；

根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；

根据所述会话向量，确定会话质量分类结果。

本发明实施例还提供了一种会话质量评价装置，包括：

会话数据获取模块，用于获取第一用于与第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二客服答复对应的答复词向量矩阵；

问答对匹配模块，用于根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；

上下文融合模块，用于根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；

分类模块，用于根据所述会话向量，确定会话质量分类结果。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，融合至所述存储器，用于执行上述程序，以用于如下处理：

获取第一用户与第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复的答复词向量矩阵；

根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；

根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；

根据所述会话向量，确定会话质量分类结果。

本发明实施例在对用户间的会话进行质量的评价过程中，基于用户查询和用户答复之间的匹配关系特征以及多轮对话之间的上下文关系信息来确定整个会话的抽象表示，使得对用户间会话质量的分类结果能够更加合理和全面地体现会话质量的评价结果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1为本发明实施例的会话评价模型的结构示意图之一；

图2为本发明实施例的会话评价模型的结构示意图之二；

图3为本发明实施例的会话质量评价方法的流程示意图；

图4为本发明实施例的会话评价模型的结构示意图之三；

图5为本发明实施例的会话质量评价装置的结构示意图；

图6为本发明实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在一些应用场景中，经常会涉及到两个角色之间的会话交流，两个角色的一方具有寻求问题解决意图，而另一方作为问题解决意见的提供方与其进行会话交流，例如，病人与医生、客户与律师、用户与客服人员、设备使用方与技术支持等。为了能够更好实现更好的会话交流，希望对两个角色之间的会话进行质量评价。在实际应用场景中，可以将一个用户提供的回答是否能够解决另一用户提出的问题作为两个用户之间会话质量的评价核心关注点，例如，用户对客服质量进行客观评价时，主要是考虑客服的回答是否能够解决用户提出的问题，如果用户提出的问题能够得到解答，用户会给出较高的评分或者较满意的评价结果。

针对这样的应用场景，本发明实施例提出了一种会话质量评价技术，来实现对两个角色之间的会话质量进行评估。本发明实施例以主要以客服和用户之间的会话为例来说明会话质量评价方法，将客服与用户之间的会话是否能够解决用户的问题作为对客服服务质量的评价核心关注点，也即，在客服提供的回答能够解决用户的提出的问题时，才被认为是高质量的服务。但是，但本领域技术人员应当明了，本发明实施例的的会话质量评价方法不限于对客服和用户之间的会话质量进行评价，还可用于对其他的两用户之间的会话进行质量评价。例如，对于客户与律师之间的会话，可基于会话是否解决客户所咨询的法律相关问题，来评价律师提供法律咨询的服务质量

基于这样的技术思想，可以构建出如图1和图2所示的机器学习模型，并通过采用有监督训练机制对该机器学习模型进行训练，从而使得训练后的机器学习模型可以对用户间的会话质量进行评价。训练数据可以来自于两用户之间的历史会话数据，对于历史会话数据的标定结果可以来自于用户对会话质量的评价，也可以来自于经过人工标定的评价结果。关于图1和图2的详细结构，会结合后面的实施例进行进一步说明。

根据本发明的示例性实施方式，在对两用户之间的会话进行质量的评价过程中，一方面获取会话的每个问答对中第一用户查询与第二用户答复之间的匹配关系特征，另一方面基于多轮对话之间的上下文关系信息获取多轮对话的抽象表示，从而能够获取更加合理的会话质量的分类结果，体现出第二用户提供的回答是否能够解决第一用户的提出的问题，以合理且全面地对会话质量进行评价。

下面通过一些具体实施例来进一步说明本发明的技术方案。

实施例一

如图3所示，其为本发明实施例的会话质量评价方法的流程示意图，该方法包括：

S101，获取第一用户与第二用户之间会话数据。会话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵。这里所说的会话是两用户之间的交互过程，例如，会话具体可以是指客服与用户之间的一段交互过程，会话包含了多轮对话，而一轮对话是指一问一答的形式，由用户查询和客服答复构成。也即，对话是指一个问答对，会话是指一系列问答对，包括多轮对话。

如图1和图2所示，其为本发明实施例的会话评价模型的结构示意图之一和结构示意图之二，该会话评价模型为用于两用户间的会话质量评价的机器学习模型。结合图1和图2所示的会话评价模型，对话数据包括了n个问答对数据，每个问答对数据中包含了基于第一用户查询生成的向量表示和基于第二用户答复生成的向量表示。这里所说的向量表示可以是基于词嵌入的方式将第一用户查询和第二用户答复表示为多个词向量的组合，即图中所示的查询词向量矩阵和答复词向量矩阵。

S102，根据查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量。如图2所示，该步骤的处理由图中的问答匹配层来处理，在该问答匹配层中，会对每个问答对数据分别执行问答对匹配处理，形成每个问答对生成对应的抽象表示，即第一对话向量(为了与后面的描述进行区分，这里称作第一对话向量)。每个第一对话向量对应一个问答对，也与问答对形成的一轮对话相对应，也即，每个第一对话向量相当于一轮对话的抽象表示。

在第一对话向量包含对应的问答对中第一用户查询和第二用户答复的匹配关系的相关信息。该问答匹配层可以采用注意力(Attention)模型来执行匹配处理，经过注意力模型处理后输出结果以一种向量表示形式，可以称作注意力向量。注意力模型可以采用单向的注意力模型也可以采用双向注意力模型。在采用单向注意模型的情况下，如果计算的是第一用户查询到第二用户答复的注意力权重向量，则该注意力权重向量中的各个元素对应于第一用户查询中的各个词的相对于第二用户答复整体的重要程度或者说是权重信息，反之，如果计算的是第二用户答复到第一用户查询的注意力权重向量，则该注意力权重向量中的各个元素对应于第二用户答复中的各个词的相对于用户查询整体的重要程度或者说是权重信息。采用单向注意模型生成的注意力向量可以直接作为上述的第一对话向量。如果采用的是双向注意力模型，则会生成两个方向上的注意力权重向量，将这个两个方向的注意力向量进行拼接后，作为上述的第一对话向量，即第一对话向量中包含了第二用户答复中的各个词相对于第一用户查询的注意力权重信息和第一用户查询中的各个词相对于第二用户答复的注意力权重信息。

S103，根据上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量。该层的处理考虑了各个问答对数据的上下文关系，也就是说，会话向量中包了各个第一对话向量的上下文关系信息。该步骤的处理可以通过图1所示的会话表示层来进行处理，会话表示层可以利用LSTM(Long Short-Term Memory，是长短期记忆网络)模型来实现。

进一步地，由于在会话的上下文中，各个问答对数据的对于会话质量的评价的重要程度很可能是不同的，因此，可以如图2所示，在会话表示层中，可以加入一个自我注意力(Self Attention)模型，从而提取在整个会话过程中的各轮对话的权重信息，基于这些权重信息来生成会话向量。

在具体实现过程中，先对各个问答对数据对应的第一对话向量执行LSTM处理，生成包括会话上下文关系信息的第二对话向量，并对第二对话向量进行融合处理，生成会话向量。具体地，可对第二对话向量进行自我注意力权重计算，生成自我注意力权重向量作为上述的会话向量。这里，每个第二对话向量分别对应一个第一对话向量，多个第二对话向量可形成一个对话向量序列，也即，形成一段会话。计算得到的自我注意力权重向量包括各个第二对话向量相对于该对话向量序列或该段会话的注意力权重信息。

S104，根据会话向量，确定会话质量分类结果。在通过步骤S103获得了会话向量后，就可以基于该会话向量执行分类处理了。分类处理可通过图1所示的分类层来实现，该分类层的分类处理可以采用Softmax(归一化指数函数)模型来实现。分类层输出的会话质量分类结果可以是当前会话数据对应于各个分类的概率。例如，如果将会话质量分类结果设定为优、良、中、差四个分类的话，会话质量分类结果也是优0.6、良0.2、中0.1、差0.1，根据这样的概率分布，可以基于排名来确定最终的评价结果。

以上内容结合机器学习模型，介绍了本发明实施例的会话质量评价方法的处理流程。下面介绍一下为了形成有效的会话数据，而进行的预处理过程。如图4所示，其为本发明实施例的用户间的会话质量评价的机器学习模型的示意图之三，在图2的基础上，增加了数据预处理过程以及机器学习模型的输出层的处理。其中，预处理部分处于会话评价模型之外，经过预处理后的文本称作待处理问答对文本，待处理问答对文本已经将整个会话拆分为了多个问答对的形式，并且按照一定的顺序排列为了问答对序列。待处理问答对文本经过会话评价模型的输出层的处理后，可以形成上述的会话数据。输入层的处理主要包括词嵌入处理以及对各个词向量进行的LSTM处理。

在实际应用中，能够获取到的原始数据一般是客服与用户之间的原始会话文本。这些原始会话文本可以来自于第一用户与第二用户之间的直接的文字聊天记录，也可以来自于基于语音聊天记录而转换生成的原始会话文本。针对原始会话文本，可以执行如下几个方面中的一项或者多项预处理，从而使得形成的会话数据更加有利于会话评价模型的进一步处理。

具体地，上述的预处理包括如下几个方面：

1)问答对匹配筛选：初步判断问题和回答是否匹配，该判断主要是计算第一用户查询文本与第二用户答复文本之间的关联度(可以通过计算语义向量的距离)，通过预设的关联度阈值进行筛选。作为可选择方案，也可以通过关键字匹配的方式来确定关联度。在进行问答对匹配筛选之前，需要将原始会话文本拆分为多个具有会话上下文关系的原始问答对文本，原始问答对文本包括第一用户查询文本与第二用户客服文本。

2)噪音剔除：用于将原始会话文本中单独出现的文本、无意义或对话起始时的欢迎语等等剔除。噪音剔除可以直接针对原始会话文本来进行。

3)文本合并：将连续出现的文本合并到一个问答对中，例如连续的几个第一用户查询或第二用户答复以及可以识别出来的补充性的第一用户查询或第二用户答复进行文本合并。文本合并的处理也可以直接针对原始会话文本来进行。具体地，该部分处理可以包括：获取原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列，识别第一用户的会话文本序列中的补充性的第一用户查询文本，将补充性的第一用户查询文本并入到被补充的第一用户查询文本中，和/或，识别第二用户的会话文本序列中的补充性的第二用户答复文本，将补充性的第二用户答复并入到被补充的第二用户答复文本中，然后，根据用户与第二用户之间的对话次序，对用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。

4)时序调整：由于会话的过程较为灵活，为了让会话数据更加有效，对会话过程中的第一用户查询和第二用户答复之间的时序关系进行调整，以形成对应性更好的问答对。该部分处理可以具体包括：获取原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列，根据第一用户与第二用户之间的对话次序和问答匹配关系，对第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。

本发明实施例的会话质量评价方法，一方面提取了问答对中第一用户查询与第二用户答复之间的匹配关系特征，另一方面，在将会话进行抽象表示时，引入了多轮对话的上下文关系信息。通过两方面的结合，使得对用户间的会话质量的分类结果能够更加合理，更能体现出第二用户提供的回答是否能够解决第一用户的提出的问题这一评价目标。

实施例二

如图5所示，其为本发明实施例的会话质量评价装置的结构示意图，该装置包括：

会话数据获取模块11，用于获取第一用户与第二用户之间会话数据，对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵。会话数据获取模块11可以采用图2中输入层的处理模型，来生成会话数据。会话数据获取模块11可以先获取第一用户与第二用户之间的原始会话文本，然后将原始会话文本拆分为具有上下文关系的多个待处理问答对文本，最后再对多个待处理问答对文本进行分别词嵌入处理和词语上下文融合处理，生成上述会话数据。

会话数据获取模块11还可以进一步包含对原始会话文本的预处理的功能(如图4所示)。关于预处理包括的几个方面的内容，在前面的实施例中已经进行了说明，在此不再赘述。

问答对匹配模块12，用于根据查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量。问答对匹配模块12可以采用图1、图2以及图4中问答匹配层的相关模型来实现。即可以采用单向注意模型或者采用双向注意力模型来实现。

上下文融合模块13，用于根据上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量。上下文融合模块13可以采用图1、图2以及图4中会话表示层的相关模型来实现，例如，可以采用LSTM模型或者采用LSTM模型以及自我注意力模型的结合来执行上下文融合处理。

分类模块14，用于根据会话向量，确定会话质量分类结果。分类模块14可以采用图1、图2以及图4中分类层的相关模型来实现，例如，可以采用Softmax模型来实现。

对于上述各个模块的详细处理过程的描述、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

本发明实施例的会话质量评价装置，一方面提取了问答对中第一用户查询与第二用户答复之间的匹配关系特征，另一方面，在将会话进行抽象表示时，引入了多轮对话的上下文关系信息。通过两方面的结合，使得对用户间会话质量的分类结果能够更加合理，更能体现出第二用户提供的回答是否能够解决第一用户的提出的问题这一评价目标。

实施例三

前面实施例描述了本发明实施例的流程处理及装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图6所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。

存储器110，用于存储程序。

除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器120，耦合至存储器110，用于执行存储器110中的程序，以用于执行如下处理：

获取第一用户与第二用户之间会话数据，对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵；

根据查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；

根据上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；

根据会话向量，确定会话质量分类结果。

其中，根据查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量可以包括：

根据查询词向量矩阵和答复词向量矩阵，计算双向注意力权重向量，作为第一对话向量，其中，双向注意力权重向量包括第二用户答复中的各个词相对于第一用户查询的注意力权重信息和第一用户查询中的各个词相对于第二用户答复的注意力权重信息。

其中，根据上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量可以包括：

对与各个问答对数据对应的第一对话向量执行LSTM处理，生成包括上下文关系信息的第二对话向量；

对第二对话向量进行融合处理，生成会话向量。

其中，所述对所述第二对话向量进行文融合处理，生成会话向量包括：

对所述第二对话向量进行自我注意力权重计算，生成自我注意力权重向量作为所述会话向量。

其中，获取第一用户与第二用户之间会话数据可以包括：

获取第一用户与第二用户之间的原始会话文本；

将原始会话文本拆分为具有上下文关系的多个待处理问答对文本；

对多个待处理问答对文本进行分别词嵌入处理和词语上下文融合处理，生成会话数据。

其中，将原始会话文本拆分为具有上下文关系的多个待处理问答对文本可以包括：

将原始会话文本拆分为多个具有上下文关系的原始问答对文本；

计算各个原始问答对文本中第一用户查询文本与第二用户答复文本之间的关联度，将关联度小于预设阈值的原始问答对文本剔除，将剩余的原始问答对文本作为待处理问答对文本。

其中，在将原始会话文本拆分为具有会话上下文关系的多个待处理问答对文本之前还可以包括：

剔除掉原始会话文本中噪音文本。

其中，将原始会话文本拆分为具有会话上下文关系的多个待处理问答对文本可以包括：

获取原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列；

识别第一用户的会话文本序列中的补充性的第一用户查询文本，将补充性的第一用户查询文本并入到被补充的第一用户查询文本中，和/或，识别第二用户的会话文本序列中的补充性的第二用户答复文本，将补充性的第二用户答复并入到被补充的第二用户答复文本中；

根据第一用户与第二用户之间的对话次序，对第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。

其中，将原始会话文本拆分为具有会话上下文关系的多个待处理问答对文本可以包括：

获取原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列；

根据第一用户与第二用户之间的对话次序和问答匹配关系，对第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。

通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。

显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种会话质量评价方法，包括：

获取第一用户和第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵；

根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；

根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；

根据所述会话向量，确定会话质量分类结果。

2.根据权利要求1所述的方法，其中，所述根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量包括：

根据所述查询词向量矩阵和所述答复词向量矩阵，计算双向注意力权重向量，作为所述第一对话向量，其中，所述双向注意力权重向量包括第二用户答复中的各个词相对于第一用户查询的注意力权重信息和第一用户查询中的各个词相对于第二用户答复的注意力权重信息。

3.根据权利要求2所述的方法，其中，根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量包括：

对所述与各个问答对数据对应的第一对话向量执行LSTM处理，生成包括上下文关系信息的第二对话向量；

对所述第二对话向量进行融合处理，生成会话向量。

4.根据权利要求3所述的方法，其中，所述对所述第二对话向量进行文融合处理，生成会话向量包括：

对所述第二对话向量进行自我注意力权重计算，生成自我注意力权重向量作为所述会话向量。

5.根据权利要求1所述的方法，其中，所述获取第一用户与第二用户之间会话数据包括：

获取第一用户与第二用户之间的原始会话文本；

将所述原始会话文本拆分为具有上下文关系的多个待处理问答对文本；

对所述多个所述待处理问答对文本进行分别词嵌入处理和词语上下文融合处理，生成所述会话数据。

6.根据权利要求5所述的方法，其中，将所述原始会话文本拆分为具有上下文关系的多个待处理问答对文本包括：

将所述原始会话文本拆分为多个具有上下文关系的原始问答对文本；

计算各个原始问答对文本中第一用户查询文本与第二用户答复文本之间的关联度，将关联度小于预设阈值的原始问答对文本剔除，将剩余的原始问答对文本作为所述待处理问答对文本。

7.根据权利要求5所述的方法，其中，还包括：

剔除掉所述原始会话文本中噪音文本。

8.根据权利要求5所述的方法，其中，将所述原始会话文本拆分为具有上下文关系的多个待处理问答对文本包括：

获取所述原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列；

识别所述第一用户的会话文本序列中的补充性的第一用户查询文本，将所述补充性的第一用户查询文本并入到被补充的第一用户查询文本中，和/或，识别第二用户的会话文本序列中的补充性的第二用户答复文本，将所述补充性的第二用户答复并入到被补充的第二用户答复文本中；

根据第一用户与第二用户之间的对话次序，对所述第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。

9.根据权利要求5所述的方法，其中，将所述原始会话文本拆分为具有上下文关系的多个待处理问答对文本包括：

获取所述原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列；

根据第一用户与第二用户之间的对话次序和问答匹配关系，对所述第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。

10.一种会话质量评价装置，包括：

会话数据获取模块，用于获取第一用户与第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵；

问答对匹配模块，用于根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；

上下文融合模块，用于根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；

分类模块，用于根据所述会话向量，确定会话质量分类结果。

11.根据权利要求10所述的装置，其中，所述问答对匹配模块具体用于：

根据所述查询词向量矩阵和所述答复词向量矩阵，计算双向注意力权重向量，作为所述第一对话向量，其中，所述双向注意力权重向量包括第二用户答复中的各个词相对于第一用户查询的注意力权重信息和第一用户查询中的各个词相对于第二用户答复的注意力权重信息。

12.根据权利要求10所述的装置，其中，所述上下文融合模块具体用于：

对所述与各个问答对数据对应的第一对话向量执行LSTM处理，生成包括会话上下文关系信息的第二对话向量；

对所述第二对话向量进行融合处理，生成会话向量。

13.根据权利要求10所述的装置，其中，所述对所述第二对话向量进行融合处理，生成会话向量包括：

对所述第二对话向量进行自我注意力权重计算，生成自我注意力权重向量作为所述会话向量。

14.一种电子设备，包括：

存储器，用于存储程序；

处理器，融合至所述存储器，用于执行上述程序，以用于如下处理：

获取第一用户与第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复的答复词向量矩阵；

根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；

根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；

根据所述会话向量，确定会话质量分类结果。

Images