CN113988086A - 对话处理方法及装置 - Google Patents

对话处理方法及装置 Download PDF

Info

Publication number
CN113988086A
CN113988086A CN202111155882.5A CN202111155882A CN113988086A CN 113988086 A CN113988086 A CN 113988086A CN 202111155882 A CN202111155882 A CN 202111155882A CN 113988086 A CN113988086 A CN 113988086A
Authority
CN
China
Prior art keywords
vector
task
statement
satisfaction
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111155882.5A
Other languages
English (en)
Inventor
刘家伟
宋凯嵩
康杨杨
贺国秀
蒋卓人
孙常龙
刘晓钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202111155882.5A priority Critical patent/CN113988086A/zh
Publication of CN113988086A publication Critical patent/CN113988086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本说明书提供对话处理方法及装置，其中所述对话处理方法包括：获得历史多轮对话语句及其对应的目标语句编码向量，所述目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量；将所述人机切换语句编码向量参与满意度分析任务中，得到所述满意度分析任务的特征向量；以及将部分满意度分析语句编码向量参与人机切换任务中，得到所述人机切换任务的特征向量；根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量，获得所述历史多轮对话语句的质量评估。

Description

对话处理方法及装置
技术领域
本说明书涉及对话处理技术领域，特别涉及一种对话处理方法。本说明书同时涉及一种对话处理装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
随着计算机技术的不断发展，对话机器人作为自然语言处理的一项关键任务，它正在改变人们访问和使用信息的方式，在客户与对话机器人沟通过程中，当面对具有挑战性的对话时，对话机器人的性能会大打折扣，从而导致客户可能对当前对话的服务质量不满意，因此，为了改善用户体验，许多企业在人机对话过程中，采用对话满意度分析任务自动评估对话满意度。与此同时，人机切换任务作为实际服务场景中增强对话服务的另一种解决方案，通过该方案能够在客户可能对话机器人的服务质量不满意时，将正在进行的对话传递给人工客服，从而提高用户体验。
但现有技术中，人机切换任务与对话满意度分析任务相互独立运行，各自对对话语句进行处理，并未考虑到两者是高度相关和互补的方案；从而导致没有充分利用两个任务在对话处理过程中的共性，来提升各自的处理性能，从而浪费了大量的计算机处理资源。
发明内容
有鉴于此，本说明书实施例提供了一种对话处理方法。本说明书同时涉及一种对话处理装置，一种计算设备，一种计算机可读存储介质，以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种对话处理方法，包括：
获得历史多轮对话语句及其对应的目标语句编码向量，所述目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量；
将所述人机切换语句编码向量参与满意度分析任务中，得到所述满意度分析任务的特征向量；以及
将部分满意度分析语句编码向量参与人机切换任务中，得到所述人机切换任务的特征向量；
根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量，获得所述历史多轮对话语句的质量评估。
根据本说明书实施例的第二方面，提供了一种对话处理装置，包括：
获得模块，被配置为获得历史多轮对话语句及其对应的目标语句编码向量，所述目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量；
第一任务模块，被配置为将所述人机切换语句编码向量参与满意度分析任务中得到所述满意度分析任务的特征向量；
第二任务模块，被配置为以及将部分满意度分析语句编码向量参与人机切换任务中得到所述人机切换任务的特征向量；
评估模块，被配置为根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量获得所述历史多轮对话语句的质量评估。
根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述对话处理方法的步骤。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述对话处理方法的步骤。
根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行任意所述对话处理方法的步骤。
本说明书提供的对话处理方法，包括获得历史多轮对话语句及其对应的目标语句编码向量，所述目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量；将所述人机切换语句编码向量参与满意度分析任务中，得到所述满意度分析任务的特征向量；以及将部分满意度分析语句编码向量参与人机切换任务中，得到所述人机切换任务的特征向量；根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量，获得所述历史多轮对话语句的质量评估。
具体地，所述方法充分的考虑到人机切换任务和满意度分析任务两者是高度相关和互补的任务，在获得历史多轮对话语句及其对应的目标语句编码向量时，利用两个任务都以对话质量为关键信这一共性，将目标语句编码向量中的人机切换语句编码向量参与满意度分析任务中，以及将目标语句编码向量中的部分满意度分析语句编码向量参与人机切换任务中，从而得到满意度分析任务的特征向量，以及人机切换任务的特征向量，实现了特征共享、信息互补；并且，根据满意度分析任务的特征向量和人机切换任务的特征向量，获得历史多轮对话语句的质量评估，从而提高了人机切换任务和满意度分析任务的处理性能，节省了大量的计算机处理资源。
附图说明
图1是本说明书一实施例提供的一种对话处理方法的流程图；
图2是本说明书一实施例提供的一种对话处理方法在客户与客服人员对话中进行人机切换以及满意度分析的示意图；
图3是本说明书一实施例提供的一种对话处理方法的对对话处理模型进行训练过程的流程示意图；
图4是本说明书一实施例提供的一种对话处理装置的结构示意图；
图5是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
LSTM：长短期记忆网络(Long Short-Term Memory)，是一种时间递归神经网络，适合于编码、处理和预测时间序列中间隔和延迟相对较长的重要事件。
注意力机制：注意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力，从而选择特定的输入。
Transformer encoder：一种完全基于自注意力机制的编码器，具有很强的语义提取能力、长距离特征抽取能力和并行计算能力。
人机切换(Machine-Human Chatting Handoff)：简称为MHCH，是一种增强对话系统能力的一种方案。通过判断可能存在需要从客服机器人到人工客服的切换点，实现的平稳及时的交接，从而保证服务质量。
多任务学习：是指给定m个学习任务，其中所有或一部分任务是相关但并不完全一样的，多任务学习的目标是通过使用这m个任务中包含的知识来帮助提升各个任务的性能。
全联接层：全连接层的每一个结点都与上一层的所有结点相连，用来把上一层提取到的特征综合起来。
残差网络：一种卷积神经网络，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题
层归一化：是对一个中间层的所有神经元进行归一化。
交叉熵：交叉熵是Shannon(香农)信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。
梯度下降：梯度下降是迭代优化算法的一种。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降是最常采用的方法之一。
满意度分析(Service SatisfactionAnalysis)：简称为SSA，是指从用户角度出发，判断客服对话整体质量。
Bi-LSTM：双向长短期记忆网络(Long Short-Term Memory)。是对长短期记忆网络LSTM的正向(顺序)和负向(逆序)的扩展。
mask矩阵(masked matrix)：是一个由0和1组成的矩阵。主要用于训练过程中遮蔽未来信息，使得模型在训练和实际线上部署所获得的信息保持一致；或通过遮蔽指定属性的信息，让模型更多的关注到对目标增益较大的信息。
对话机器人作为自然语言处理的一项关键任务，它正在改变人们访问和使用信息的方式。令人遗憾的是，在面对具有挑战性的对话和拥有稀疏的训练数据时，对话机器人的性能可能会大打折扣，从而导致客户可能对当前对话的服务质量不满意，最终导致企业的损失。因此，许多企业为了有目的地改善用户体验，开始探索在对话级别的自动评估对话满意度的方法。与此同时，人机切换作为客户服务场景中增强对话系统的另一种解决方案，能够预测话语级别的客服机器人所出现的故障并将对话平稳的传递给人工客服。
而本说明书提供的一种单一的对话满意度和对话质量评估方法，能够基于上下文匹配情况、客户情感计算每轮的对话质量和局部满意度，然后通过平均、加权聚合等方式估计最终的对话质量或满意度。尽管此方法较为有效的估计了大部分对话满意度或对话质量，但是客户情感、上下文匹配只是影响满意度的部分因素，还有众多例如回答满意度、对话复杂程度、情绪感知处理效果等因素，限制了提升估计对话满意度或对话质量的提升空间。
而在本说明书提供的一种单一的人机切换判断方法中，该方法主要提供了三种进行人机切换判断的方式；
(1)基于经验积累，设置与转人工客服相关的词典、规则。根据实际应用场景的不断变化，随时增加调整相关词典、规则。尽管这种方式可以识别大量明显的转人工请求，但是这种方式不够灵活，很难应对较为新的表达和识别出机器人无法应对的情景。
(2)基于情感分析和意图识别方法间接判断出需要切换到人工客服：利用对话内容及上下文信息训练机器学习或者深度学习模型，判断对话情感和用户意图，当用户出现负面情绪或者用户意图识别不稳定时，切换到人工客服。当用户的问题没有被解决，才会导致用户出现负面情绪，这是一种兜底的方案。当客户的需求无法被机器人满足时，意图识别也很难做出有效判断，并不能很好满足人机切换的需求。
(3)通过深度学习方法，能够结合语句本身表达和上下文语义，加入难度注意力权重和匹配推理机制，从而识别出多种切换场景。但是该种方式对整个对话过程的满意度和情感变化感知还存在一定缺陷。
基于上述内容可知，上述方法并未认识到人机切换和满意度分析两者是高度相关和互补的任务。
而本说明书实施例提供的对话处理方法，充分的考虑到人机切换和满意度分析两者是高度相关和互补的任务；人机切换作为实际服务场景中增强对话系统的一种解决方案，能够预测话语级别的聊天机器人故障并将对话传递给人工客服。满意度分析是从用户角度出发，判断服务对话整体质量，可以提升用户的体验和对话系统的性能。这两个任务都是解决对话场景下人机协同的关键技术。基于此，本说明书实施例提供的对话处理方法，通过多任务协同学习的思想同时学习两个任务，并通过特征参数共享，可以同时提升两个任务的性能。
同时，在本说明书提供的一种简单的多任务交互建模方法中，该简单的多任务学习方法是通过共享部分编码层，使得各个任务独立学习任务相关的特征，从而达到共享任务互补信息的目的。但是该简单的多任务学习方法没有针对任务特性和粒度设计交互方式，一定程度上降低了交互效率。
基于此，本说明书实施例提供的对话处理方法，通过多任务学习将人机切换任务和满意度分析任务结合起来，通过多任务学习的方式，同时建模人机切换(MHCH)和满意度分析(SSA)两个任务，利用两个任务都以对话质量为关键信息，充分利用两个任务的共性，实现特征共享、信息互补，相比单任务的有限监督信息，联合两个任务共同提升了彼此的性能。
并且该多任务学习的方式，在共享编码层加入交互机制，降低共享编码的耦合性，增加交互的解释性。通过利用角色选择交互机制，控制两个任务间的交互方式和信息流动。将人机切换与满意度分析的交互关系分为两个方向，一是SSA到MHCH的交互，二是MHCH到SSA的交互。
针对于SSA到MHCH的交互方向，考虑到令客服语句参与交互可能对切换判断带来噪声信息，所以我们只令客户的满意度语句参与到人机切换语句的交互当中，减少噪声信息的影响。
针对于MHCH到SSA的交互方向，考虑到全局满意度与局部对话质量的位置有关，越靠后的对话质量对全局满意度影响越大，因此我们在交互上增加了相对位置权重，来调节人机切换语句和满意度语句的交互注意力权重。
因此，该多任务学习的方式更高效的提升人机切换判断和对话满意度估计的准确性，既能高效及时作出人机切换判断，提升用户满意度的，减少不必要的客服资源消耗；还能方便后期定位有问题的对话，针对性提升对话系统能力。
具体地，在本说明书中，提供了一种对话处理方法，本说明书同时涉及一种对话处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了根据本说明书一实施例提供的一种对话处理方法的流程图，具体包括以下步骤：
步骤102：获得历史多轮对话语句及其对应的目标语句编码向量，所述目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量。
其中，对话语句可以理解为两个角色之间进行对话交流所产生语句，例如，对话语句可以为客户和客服人员之间对话交流所产生语句，该客服人员可以包括客服机器人、人工客服。
目标语句编码向量可以理解为对对话语句进行编码处理后产生的语句编码向量。对应的，人机切换语句编码向量可以理解为通过人机切换任务进行编码处理后的语句编码向量。满意度分析语句编码向量可以理解为通过满意度分析任务进行编码处理后的语句编码向量。
在实际应用中，获得历史多轮对话语句及其对应的目标语句编码向量，是基于对话处理对象中的编码模块实现，该对话处理对象可以理解为用于对对话进行处理的模型，该编码模块可以理解为该对话处理模型中的编码层。
具体实施过程中，由于客户与客服人员之间会进行多轮对话，因此能够获取客户与客服人员之间的历史多轮对话语句，并通过对该历史多轮对话语句进行处理，从而获得该与历史多轮对话语句对应的目标语句编码向量。包括步骤一至步骤四。
步骤一：获得历史多轮对话语句，并对每一个对话语句进行编码。
在实际应用中，对每一个对话语句进行编码可以理解为对每一个对话语句进行编码处理，并且在进行编码处理之后，能够获得每一个对话语句对应的编码。
具体实施中，所述获得历史多个对话语句，并对每一个对话语句进行编码，包括：
获取历史多个对话语句，并对每一个对话语句进行分词，获得所述每一个对话语句的语句词；
对所述每一个对话语句的语句词进行编码，并基于所述语句词的编码构建所述每一个对话语句的语句词向量矩阵；
通过编码模型基于所述语句词向量矩阵对所述每一个对话语句进行编码。
其中，编码模型可以理解为对话处理模型的编码层中，用于对对话语句进行编码处理的模型，该编码模型可以根据实际应用场景进行设置，例如，双向LSTM(Bi-LSTM)编码语句矩阵、BERT系列预训练模型；下述以编码模型为双向LSTM(Bi-LSTM)编码语句矩阵进行说明。
举例说明，以对话处理方法应用于客服对话处理的场景为例，对获得到的历史多轮对话语句进行编码做进一步说明。
在获得客户与客服人员之间的历史多轮对话语句之后，对每个对话语句进行分词处理，从而获得每个对话语句的词语，然后，对该词语进行向量化转换，从而获得该词语对应的词向量。
在将文字语句进行切词、以及向量化处理之后，基于每个词语对应的词向量，将客户与客服人员之间的文字语句，映射为语句词向量矩阵。并在获得语句词向量矩阵之后，将该语句词向量矩阵输入至双向LSTM(Bi-LSTM)编码语句矩阵中，通过采用双向LSTM(Bi-LSTM)编码语句矩阵对语句词向量矩阵进行处理的方式，对历史多轮对话语句进行编码，从而获得历史多轮对话语句的编码。
在实际应用中，由于客户与客服人员之间进行沟通所产生的大多为文字语句、语音等对话语句，该对话语句数量较多且类型复杂，从而导致对对话语句的编码效率较低，基于此，本说明书提供的实施例中，还能将该客户与客服人员之间进行沟通所产生的对话语句进行向量化，从而提高目标对象的编码模块的处理效率，具体地，以对话语句为文字语句为例，在基于目标对象的编码模块对获取的对话语句进行处理之前，还可以对获取到的客户与客服人员之间的文字语句进行预处理，首先，是对获取到的文字语句进行清洗，其次，是对清洗后的文字语句进行分词处理，获得文字语句中的词语，然后，对该词语进行向量化转换，从而获得该词语对应的词向量。
在将文字语句进行清洗、切词、以及向量化处理之后，基于每个词语对应的词向量，将客户与客服人员之间的文字语句，映射为语句词向量矩阵，并将语句词向量矩阵输入至双向LSTM(Bi-LSTM)编码语句矩阵中进行编码，从而获得历史多轮对话语句的编码，提高了对话语句的编码效率。
具体实施过程中，在客户与客服人员沟通产生的对话信息为语音的情况下，可以通过语音识别算法将语音转化为文字，并对语音转化的文字执行上述实施例中，在对话信息为文字语句的情况下对文字语句执行的操作。
在实际应用中，该语音识别算法可以为现有技术当中任意一种可以将语音转换为文字的算法，本说明书实施例对此不作任何限定。
本说明书实施例中，通过双向编码语句矩阵对每个对话语句进行编码处理，从而获得对话语句对应的对话语句的编码，相比于独立进行两个检测任务，提高了对对话语句的编码效率，进一步提高了质量评估的效率，节省了计算机处理资源。
步骤二：根据第N个对话语句的编码与所述第N个对话语句之前的全部对话语句的编码，获得所述第N个对话语句的上下文匹配向量，其中，N为正整数。
具体实施过程中，所述根据第N个对话语句的编码与所述第N个对话语句之前的全部对话语句的编码，获得所述第N个对话语句的上下文匹配向量，包括：
确定所述每一个对话语句的位置信息，并根据所述位置信息确定第N个对话语句之前的全部对话语句的编码；
将第N个对话语句的编码与所述第N个对话语句之前的全部对话语句的编码进行内积计算，获得所述第N个对话语句的上下文匹配向量。
其中，位置信息可以理解为每个对话语句的编码在对话顺序中所处的位置，在实际应用中，客户与客服人员之间对话所产生对话语句，是按照对话顺序进行排序的，该对话语句对应的编码也是按照对话顺序进行排列的。
对话语句的编码之前的全部对话语句的编码可以理解为每个对话语句的编码按照对话顺序进行排序时，排在每个对话语句的编码之前的所有对话语句的编码，例如，对话语句的编码A、对话语句的编码B以及对话语句的编码C，按照A→B→C的顺序进行排序，基于此，C之前的对话语句的编码为A、B；B之前的对话语句的编码为A；而A不存在之前的对话语句的编码。
上下文匹配向量可以理解为基于每个对话语句的编码以及之前的对话语句的编码，确定出向量。
沿用上例，对基于第N个对话语句的编码以及第N个对话语句之前的全部对话语句的编码，获得上下文匹配向量做进一步说明。其中，N可以为任意正整数。比如N＝3。
在对每一个对话语句进行编码之后，确定出每一个对话语句的编码的位置信息，并基于该每个对话语句的编码的位置信息，确定第3个对话语句的编码之前的所有对话语句的编码，也即是第1条以及第2条对话语句。
将第3个对话语句的编码与第1条以及第2条对话语句的编码进行内积计算，从而确定出第3条对话语句的上下文匹配向量。
在实际应用中，N可以为任意正整数，本说明书实施例仅以N＝3为例，对对话处理方法进行说明。
本说明书实施例中，通过将每个对话语句的编码以及在每个对话语句的编码之前所有对话语句的编码进行内积计算，从而确定出上下文匹配向量，提升后续检测结果的准确性。
步骤三：根据所述第N个对话语句的编码和所述第N个对话语句的上下文匹配向量，获得所述第N个对话语句的语句编码向量。
实际应用中，所述根据所述第N个对话语句的编码和所述第N个对话语句的上下文匹配向量，获得所述第N个对话语句的语句编码向量，包括：
将所述第N个对话语句的编码与所述第N个对话语句的上下文匹配向量进行拼接，获得所述第N个对话语句的语句编码向量。
沿用上例，在确定出第3条对话语句的上下文匹配向量之后，将第3条对话语句的编码与第3条对话语句的上下文匹配向量进行拼接，从而得到第3个对话语句对应的，经过上下文综合编码的共享语句编码向量，该共享语句编码向量分为由人机切换任务以及满意度分析任务共享。
步骤四：通过人机切换任务以及满意度分析任务对所述语句编码向量进行变换，获得所述历史多轮对话语句对应的目标语句编码向量。
其中，该人机切换任务可以理解为通过对对话语句进行质量评估，从而判断出是否进行人机切换的任务，该人机切换任务基于对话处理模型中的人机切换模块实现。
该满意度分析任务可以理解为通过对对话语句进行质量评估，从而分析出客户对客服人员的满意度的任务，该满意度分析任务基于对话处理模型中的满意度分析模块实现。
进一步地，所述通过人机切换任务以及满意度分析任务对所述语句编码向量进行变换，获得所述历史多轮对话语句对应的目标语句编码向量，包括：
通过满意度分析任务的第一变换任务对所述语句编码向量进行变换，获得满意度分析语句编码向量；
通过人机切换任务的第一变换任务对所述语句编码向量进行变换，获得人机切换语句编码向量；
根据所述满意度分析语句编码向量以及所述人机切换语句编码向量，获得所述历史多轮对话语句对应的目标语句编码向量。
其中，该第一变换任务可以理解为对语句编码向量进行变换的任务，在满意度分析任务基于满意度分析模块实现的情况下，该第一变换任务可以基于满意度分析模块中的全连接层实现。
该第二变换任务可以理解为对语句编码向量进行变换的任务，在人机切换任务基于人机切换模块实现的情况下，该第二变换任务可以基于人机切换模块中的全连接层实现。
人机切换语句编码向量可以理解为用于进行人机切换任务的语句编码向量；对应的，满意度分析语句编码向量可以理解为用于进行满意度分析任务的语句编码向量。
沿用上例，在确定出每个对话语句的语句编码向量之后，将该语句编码向量输入至对话处理模型的满意度分析模块中，通过该满意度分析模块中的全连接层对语句编码向量进行变换，获得满意度分析语句编码向量，从而实现通过满意度分析任务的第一变换任务对所述语句编码向量进行变换，获得满意度分析语句编码向量。
同时，将该语句编码向量输入至对话处理模型的人机切换模块中，通过该人机切换模块中的全连接层对语句编码向量进行变换，获得人机切换语句编码向量，从而实现通过人机切换任务的第二变换任务对所述语句编码向量进行变换，获得人机切换语句编码向量。
在获得满意度分析语句编码向量以及人机切换语句编码向量之后，将该满意度分析语句编码向量以及人机切换语句编码向量确定为目标语句编码向量。
在实际应用中，目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量，同时，该目标语句编码向量也可以包含没有经过满意度分析语句编码向量，以及人机切换语句编码向量处理的语句编码向量。
本说明书实施例中，通过满意度分析任务的第一变换任务，以及人机切换任务的第一变换任务对语句编码向量进行变换，从而获得历史多轮对话语句对应的目标语句编码向量，便于后续基于该目标语句编码向量，获得历史多轮对话语句的质量评估。
步骤104：将所述人机切换语句编码向量参与满意度分析任务中，得到所述满意度分析任务的特征向量。
具体实施过程中，所述将所述人机切换语句编码向量参与所述满意度分析任务中得到所述满意度分析任务的特征向量，包括：
将所述人机切换语句编码向量发送至所述满意度分析任务对应的满意度分析模块，其中，所述满意度分析模块为对话处理对象中的模块；
通过所述满意度分析模块根据所述满意度分析语句编码向量，以及接收的人机切换语句编码向量，得到所述满意度分析任务的特征向量。
具体地，在确定出人机切换语句编码向量之后，将该人机切换语句编码向量输入到满意度分析任务对应的满意度分析模块中，基于该满意度分析模块对预先获取的满意度分析语句编码向量，以及接收的人机切换语句编码向量进行融合处理，从而获得用于进行满意度分析任务的特征向量。
其中，所述通过所述满意度分析模块根据所述满意度分析语句编码向量，以及接收的人机切换语句编码向量，得到所述满意度分析任务的特征向量，包括：
通过所述满意度分析模块将所述满意度分析语句编码向量以及接收的人机切换语句编码向量相乘，获得所述满意度分析任务的运算特征向量；
通过所述满意度分析模块的掩码矩阵对所述运算特征向量进行遮蔽处理，获得所述满意度分析任务的处理特征向量；
通过所述满意度分析模块确定所述处理特征向量的权重，并将所述权重与所述满意度分析语句编码向量，以及接收的人机切换语句编码向量相乘，得到所述满意度分析任务的特征向量。
掩码矩阵可以理解为通过特定字符对语句编码向量中部分内容进行填充的矩阵，例如，该掩码矩阵可以为mask矩阵，其中，特定字符可以根据实际应用场景进行设置，本说明书对此不做具体限制，例如，该特定字符可以为数字0。
沿用上例，对通过满意度分析语句编码向量以及人机切换语句编码向量，得到满意度分析任务的特征向量做进一步说明，其中，掩码矩阵为mask矩阵，处理特征向量的权重可以为满意度分析的交互注意力权重。
满意度分析任务在获得满意度分析语句编码向量，以及接收到人机切换语句编码向量之后，通过满意度分析模块将满意度分析语句编码向量，以及人机切换语句编码向量相乘，获得满意度分析任务的运算特征向量。
在获得运算特征向量之后，通过满意度分析模块的mask矩阵将运算特征向量中的特定内容填充为数字0的方式，对运算特征向量进行遮蔽处理，从而获得满意度分析任务的处理特征向量。其中，该特定内容可以根据实际应用的不同进行设置，本说明书对此不做具体限制，例如，该特定内容可以为历史多轮对话语句中最后一个或多个对话语句对应的语句向量、或者该特征内容可以为空，也即是，在特征内容为空的情况下，不对运算特征向量中的任何内容进行填充处理。
在获得处理特征向量之后，通过特定权重计算单元对处理特征向量进行计算处理，确定出满意度分析的交互注意力权重，并将满意度分析的交互注意力权重与满意度分析语句编码向量，以及接收的人机切换语句编码向量相乘，获得相乘后的语句编码向量，并通过残差网络和层归一化对该相乘后的语句编码向量进行处理，从而得到满意度分析任务的特征向量。
在实际应用中，该特征权重计算单元可以为现有技术当中任意一种可以进行权重计算的单元或算法，本说明书实施例对此不作任何限定。
本说明书实施例中，通过掩码矩阵对通过将人机切换语句编码向量以及满意度分析语句编码向量相乘，获得的第二语句运算向量进行处理，从而确定的第二语句处理向量，并通过将确定出的第二语句处理向量的权重与第一初始向量以及第二初始向量相乘，
通过掩码矩阵对满意度分析模块基于满意度分析语句编码向量以及接收的人机切换语句编码向量相乘，获得运算特征向量进行遮蔽处理，获得满意度分析任务的处理特征向量；
并将处理特征向量的权重与满意度分析语句编码向量，以及接收的人机切换语句编码向量相乘，得到满意度分析任务的特征向量，实现了充分利用对对话语句进行人机切换检测以及满意度分析过程中的共性，来提升满意度分析任务的处理性能，并节省了大量的计算机处理资源。
进一步的，在本说明书实施例中，在确定出满意度分析的交互注意力权重的过程中，考虑到对话语句的全局满意度与局部对话质量的位置有关，越靠后的对话语句的对话质量对全局满意度影响越大，因此在基于满意度分析语句编码向量以及人机切换语句编码向量，生成满意度分析任务的特征向量的过程中，增加了相对位置权重，从而来调节满意度语句的交互注意力权重，具体实现方式如下所示。
所述通过所述满意度分析模块确定所述处理特征向量的权重，包括：
通过所述满意度分析模块确定所述处理特征向量的位置权重，并将所述位置权重与所述处理特征向量相乘，获得所述处理特征向量对应的位置权重向量；
将所述位置权重向量的权重作为所述处理特征向量的权重。
沿用上例，在基于mask矩阵对运算特征向量进行处理，确定出处理特征向量之后，通过位置权重计算单元对该处理特征向量的位置权重进行计算，从而确定出处理特征向量的位置权重。
在确定出该位置权重之后，将该权重与处理特征向量相乘，从而获得处理特征向量对应的位置权重向量，并通过特定权重计算单元对该位置权重向量进行处理，从而确定出位置权重向量的权重，并将该权重作为该满意度分析的交互注意力权重。
本说明书实施例中，基于通过满意度分析模块确定所述处理特征向量的位置权重，并将位置权重与处理特征向量相乘的位置权重向量，且将位置权重向量的权重作为处理特征向量的权重，从而增加了相对位置权重来调节满意度语句的交互注意力权重，进一步提高了满意度分析任务的处理性能。
步骤106：将部分满意度分析语句编码向量参与人机切换任务中，得到所述人机切换任务的特征向量。
其中，部分满意度分析语句编码向量可以理解为，满意度分析语句编码向量中满足预设条件的部分满意度分析语句编码向量，该预设条件可以根据实际应用场景进行设置，本说明书对此不做具体限定；例如，该预设条件可以为客户发出的对话语句所对应的满意度分析语句编码向量。
具体实施时，所述将部分满意度分析语句编码向量参与所述人机切换任务中得到所述人机切换任务的特征向量，包括：
将向量类型满足预设类型条件的满意度分析语句编码向量，发送至所述人机切换任务对应的人机切换模块，其中，所述人机切换模块为对话处理对象中的模块；
通过所述人机切换模块根据所述人机切换语句编码向量，以及接收的满意度分析语句编码向量，得到所述人机切换任务的特征向量。
其中，向量类型可以理解为满意度分析语句编码向量的类型，在实际应用中，语句编码向量具有不同的类型，该类型包括但不限于客户类型，以及客服人员类型；其中，客服人员类型的语句编码向量，是客服人员发出的对话语句对应的语句编码向量；客户类型的语句编码向量，是客户发出的对话语句对应的语句编码向量。
预设类型条件可以根据实际应用场景进行设置，本说明书对此不做具体限定。例如，语句编码向量的类型为客户类型。
沿用上例，在获得用于进行满意度分析任务的满意度分析语句编码向量之后，基于语句编码向量的类型，从满意度分析语句编码向量中，选取客户发出的对话语句对应的满意度分析语句编码向量，发送至人机切换任务对应的人机切换模块，也即是，在语句编码向量的类型为客户类型的情况下，将该客户类型的语句编码向量发送至人机切换模块。
人机切换模块在接收到客户类型的满意度分析语句编码向量之后，基于预先获取的人机切换语句编码向量，获得人机切换任务的特征向量，从而便于后续基于该人机切换任务的特征向量，获得历史多轮对话语句的质量评估。
实际应用中，所述通过所述人机切换模块根据所述人机切换语句编码向量，以及接收的满意度分析语句编码向量，得到所述人机切换任务的特征向量，包括：
通过所述人机切换模块将所述人机切换语句编码向量，以及接收的满意度分析语句编码向量相乘，获得所述人机切换任务的运算特征向量；
通过人机切换模块的掩码矩阵对所述运算特征向量进行遮蔽处理，获得所述人机切换任务的处理特征向量；
通过所述人机切换模块确定所述处理特征向量的权重，并将所述权重与所述人机切换语句编码向量，以及接收的满意度分析语句编码向量相乘，得到所述人机切换任务的特征向量。
沿用上例，在接收到满意度分析语句编码向量之后，将通过对话处理模型的人机切换模块将人机切换语句编码向量以及满意度分析语句编码向量进行相乘运算，从而获得人机切换任务的运算特征向量；并通过部署在人机切换模块中的mask矩阵通过将运算特征向量中的特定内容填充为数字0，实现对运算特征向量的遮蔽处理，从而获得人机切换任务的处理特征向量，其中，该特定内容可以根据实际应用的不同进行设置，本说明书对此不做具体限制，例如，该特定内容可以为历史多轮对话语句中最后一个对话语句对应的运算特征向量、或者该特征内容可以为空，也即是，在特征内容为空的情况下，不对运算特征向量中的任何内容进行填充处理。
在确定人机切换任务的处理特征向量，可以通过特定权重计算单元基于该处理特征向量，确定出该人机切换的交互注意力权重，并将该人机切换的交互注意力权重与满意度分析语句编码向量，以及人机切换语句编码向量相乘，从而获得相乘后的语句编码向量，并通过部署在人机切换模块中的全连接层，对该相乘后的语句向量进行变换，从而获得人机切换任务的特征向量。其中，该特征权重计算单元可以为现有技术当中任意一种可以进行权重计算的单元或算法，本说明书实施例对此不作任何限定。
本说明书实施例中，通过掩码矩阵对人机切换语句编码向量，以及满意度分析语句编码向量相乘，获得的运算特征向量进行遮蔽处理，获得人机切换任务的处理特征向量；通过将处理特征向量的权重与人机切换语句编码向量，以及满意度分析语句编码向量相乘，得到人机切换任务的特征向量。实现了充分利用对对话语句进行人机切换检测以及满意度分析过程中的共性，来提升人机切换任务的性能，并节省了大量的计算机处理资源。
步骤108：根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量，获得所述历史多轮对话语句的质量评估。
其中，历史多轮对话语句的质量评估可以理解为对客服人员与客户之间对话的质量评估。
在实际应用中，该质量评估可以包括多个方面。例如，人机切换方面、满意度分析方面。
具体地，在确定出满意度分析任务的特征向量以及人机切换任务的特征向量之后，能够基于两者的特征向量输入到对话处理模型中，通过该对话处理模型对历史多轮对话语句的质量进行评估，从而获得历史多轮对话语句在人机切换方面，以及满意度分析方面的质量评估。
沿用上例，在获得满意度分析任务的特征向量和人机切换任务的特征向量之后，将该满意度分析任务的特征向量，输入至对话处理模型的满意度分析模块中的Transformer Encoder，通过该Transformer Encoder进行全局上下文编码，得到每个时刻的局部满意度分布，再通过注意力机制加权得到最终的全局满意度分布，从而获得满意度分析的质量评估。
同时，将人机切换任务的特征向量，输入至对话处理模型的人机切换模块中的单向LSTM模型，进行质量的评估，从而获得人机切换的质量评估。
本说明书实施例中提供的对话处理方法，充分的考虑到人机切换任务和满意度分析任务两者是高度相关和互补的任务，在获得历史多轮对话语句及其对应的目标语句编码向量时，利用两个任务都以对话质量为关键信这一共性，将目标语句编码向量中的人机切换语句编码向量参与满意度分析任务中，以及将目标语句编码向量中的部分满意度分析语句编码向量参与人机切换任务中，从而得到满意度分析任务的特征向量，以及人机切换任务的特征向量，实现了特征共享、信息互补；并且，根据满意度分析任务的特征向量和人机切换任务的特征向量，获得历史多轮对话语句的质量评估，从而提高了人机切换任务和满意度分析任务的处理性能，节省了大量的计算机处理资源。
进一步的，所述根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量获得所述历史多轮对话语句的质量评估之后，还包括：
基于所述历史多轮对话语句的质量评估确定所述满意度分析任务的分析结果，以及所述人机切换任务的处理结果。
沿用上例，基于满意度分析任务的特征向量以及人机切换任务的特征向量对历史多轮对话语句的质量进行评估，获得历史多轮对话语句对应的多个方面的质量评估之后，基于该人机切换方面的质量评估，确定获得人机切换任务的处理结果，例如，该历史多轮对话语句的质量评估可以通过数值进行表示；在通过对话处理对象基于人机切换任务的特征向量，对多轮历史对话语句的质量进行评估时，能够获得人机切换方面的质量评估，若该人机切换的质量评估大于等于0.6，则表示需要进行人机切换，也即是，将当前与客户进行对话的客服机器人切换为人工客服；若小于0.6，则表示不需要进行人机切换。
同时，基于该满意度分析方面的质量评估，确定出满意度分析任务的分析结果，例如，该历史多轮对话语句的质量评估可以通过数值进行表示；在对话处理对象基于满意度分析任务的特征向量，对多轮历史对话语句的质量进行评估时，能够获得满意度分析方面的质量评估，若满意度分析的质量评估大于等于0.6，则表示客户与客服人员进行沟通过程中，满意客服人员的工作。若检测结果小于0.6，则表示不满意。
在实际应用中，参见图2，图2是本说明书一实施例提供的一种对话处理方法在客户与客服人员对话中进行人机切换以及满意度分析的示意图。其中，语句1语句3以及语句7为客户发出的语句；语句2以及语句4为客服机器人发出的语句；语句5与语句6为人工客服发出的语句。基于图2可知，客服机器人针对客户的语句1中提出的问题，给出了一个不满意的回答(语句2)；导致客户在语句3中表现出不满；虽然机器人通过语句极力通过语句4，来安抚客户的情绪，但是仍然没有解决问题；这时如果继续由客服机器人来处理客户提出的问题，客户可能会投诉或者给出负面的满意度打分。
因此通过对话处理模型对语句1至语句4进行检测，从而可以检测出客户与客服机器人在本次对话过程中，需要进行人机切换的处理结果。
通过对话处理模型的人机对话模块，检测出客户可能会投诉或者给出负面的满意度打分的风险后，进行人机切换，将对话交给人工客服。相比客服机器人，人工客服通过语句5和语句6更好的处理了客户的问题并且安抚了客户的情绪。而客户也通过语句7表示接受了人工客服的答复；最后客户给出了基本满意的评分(即图中用户给出三颗星的满意度评分)，而不是不满意评分。
同时，客户与客服人员在本次对话过程中，该通过该对话处理模型的满意度分析模块，能够对客户与客服人员的每一条语句进行分析，从而获得局部(语句)满意度；最后基于所有的局部满意度，确定出本次对话过程的全局(对话)满意度。
在本说明书实施例中，通过将人机切换与满意度分析以多任务学习的方式联合，利用角色选择交互机制，控制两个任务间的交互方式和信息流动，减少噪声信息的影响，更高效的提升人机切换判断和对话满意度估计的准确性既能高效及时做出人机切换判断，提升用户满意度的，减少不必要的客服资源消耗；还能方便后期定位有问题的对话，有针对性提升对话系统能力。
进一步地，所述根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量获得所述历史多轮对话语句的质量评估之后，还包括：
将所述历史多轮对话语句确定为训练样本，将所述历史多轮对话语句的质量评估确定为样本标签，并基于所述训练样本以及所述样本标签对所述对话处理对象进行训练，获得训练后的对话处理对象。
其中，训练样本可以理解为对对话处理模型进行训练的样本。该样本标签可以理解为样本数据对应的标签，该标签可以包括人机切换以及满意度的质量评估。
具体地，在将历史多轮对话语句确定为训练样本、将质量评估确定为样本标签的情况下，通过该训练样本以及样本标签对对话处理对象进行训练的具体步骤，可以参考上述实施例中，通过对话处理模块对历史多轮对话语句进行处理，获得对应的质量评估的步骤，在此不再重复陈述。
并且，在对对话处理模型进行训练过程中，采用交叉熵计算损失，并通过权重汇总人机切换检测以及满意度分析的损失，且利用梯度下降算法对对话处理模型进行迭代优化，从而得到最终的对话处理模型。
本说明书实施例中，通过将人机切换与满意度分析以多任务学习的方式联合进行学习，利用角色选择交互机制，控制两个任务间的交互方式和信息流动，有效的在应用过程中，减少噪声信息的影响，更高效的提升人机切换判断和对话满意度估计的准确性。
下述结合附图3，以本说明书提供的对话处理方法训练对话处理模型场景下的应用为例，对所述对话处理方法进行进一步说明。其中，图3是本说明书一实施例提供的一种对话处理方法的对对话处理模型进行训练过程的流程示意图，参见该流程示意图可知，本说明书实施例提供的对话处理模型包括三层：共享语句匹配编码层、角色选择的交互层以及解码分类层。
其中，该共享语句编码层可以理解为上述实施例中的对话处理模型中的编码层，该共享语句编码层，能够获取到t个样本语句，例如，该样本语句可以为客户与客服人员对话过程中产生的语句；通过对t个样本语句进行清洗、分词、ID化(向量化)等预处理操作，获得由词向量构成t个语句词向量矩阵Eu，即图3中
Figure BDA0003288379110000141
其中，对样本语句进行清洗可以理解为对样本数据进行遗漏对话处理、格式化处理以及噪声对话处理等，该遗漏对话处理可以为将数据不完整的样本语句进行删除、填充等处理；格式化处理可以为将不同格式的样本语句转换为统一格式；噪声对话处理可以为对样本语句进行去噪处理，删除不必要的数据。对样本语句进行分词可以理解为将客户与客服人员的对话语句，切分成多个字符串；例如，样本语句“什么时候发货”，可以被切分为“什么时候”“发货”这两个字符串。
在获得t个语句词向量矩阵之后，将该语句词向量矩阵输入至双向LSTM编码语句矩阵中进行处理，从而得到t个语句的综合编码向量v，即图中的v1、v2…vt-1、vt，该综合编码向量可以理解为上述实施例中的对话语句的编码。
在获取到综合编码向量之后，将t个样本语句的综合编码向量与之前的所有语句编码进行内积计算，从而得到样本语句对应的t个上下文匹配向量v′，即图中v1、v2...vt-1、vt。
在获得上下文匹配向量以及综合编码向量之后，将v1、v2...vt-1、vt与v′1、v′2...v′t-1、v′t进行拼接处理，经过上下文综合编码的t个共享语句向量
Figure BDA0003288379110000142
即图中的
Figure BDA0003288379110000143
该共享语句向量可以理解为上述实施例中的目标语句编码向量。在实施例中，该共享语句编码层确定的共享语句向量为人机切换任务以及满意度分析任务的共享，不因为任务的不同对语句编码进行区分。
其中，该角色选择的交互层中将人机切换任务与满意度分析任务的交互关系分为两个模块，一是SSA到MHCH的交互模块，可以理解为上述实施例中的人机切换模块，二是MHCH到SSA的交互模块，可以理解为上述实施例中的满意度分析模块。
对于SSA到MHCH的交互模块(对应图中交互层上部虚线框SSA to MHCH)，通过第一全连接层对获取到的共享语句向量H进行融合处理，从而获得人机切换语句编码向量H′，并将全部的人机切换语句编码向量发送至MHCH到SSA的交互模块中(对应图中交互层下部虚线框MHCH to SSA)，实现SSA到MHCH的交互。
对于MHCH到的SSA交互模块，通过全连接层对获取到的共享语句向量S进行融合处理，从而获得满意度分析语句编码向量S′；考虑到客服人员语句对应的满意度分析语句编码向量，不能直接体现客户满意度，并且，在令客服语句参与交互，可能对人机切换的判断带来噪声信息，因此，只令客户语句对应的满意度分析语句编码向量参与到人机切换分析语句编码向量的交互中，也即是，将客户发出的对话语句对应的满意度分析语句编码向量发送至SSA到MHCH的交互模块，实现MHCH与SSA的交互。
针对于SSA到MHCH的交互模块，在接收到客户语句对应的满意度分析语句编码向量之后，将该满意度分析语句编码向量与人机切换语句编码向量相乘，并将相乘后生成的人机切换语句交互向量输入至遮蔽矩阵中，该遮蔽矩阵采用数字0对该人机切换语句交互向量中的部分内容进行填充，并通过归一化指数函数(softmax)对经过遮蔽矩阵处理后的人机切换语句交互向量进行计算，从而确定出人机切换的交互注意力权重αs，并将该交互注意力权重与人机切换语句编码向量以及客户语句对应的满意度分析语句编码向量相乘，并通过第二全连接层对相乘结果进行融合所产生的向量。作为人机切换判断的特征向量。
针对于MHCH到SSA的交互模块，在接收到人机切换语句编码向量之后，将满意度分析语句编码向量与人机切换语句编码向量相乘，并将相乘后生成的满意度语句交互向量输入至遮蔽矩阵中，该遮蔽矩阵采用数字0对该满意度语句交互向量中的部分内容进行填充，并通过位置权重算法对经过遮蔽矩阵进行填充处理后的满意度语句交互向量进行处理，获得位置权重Γ，并将该位置权重与填充处理后的满意度语句交互向量相乘，并通过归一化指数函数(softmax)对相乘所产生的语句交互向量进行计算，从而确定出满意度分析的交互注意力权重αm，并将该满意度分析的交互注意力权重与人机切换语句编码向量以及满意度分析语句编码向量相乘，并将通过残差网络和层归一化得到向量，作为满意度分析的特征向量。
其中，该分类解码层包括两个模块：人机切换的解码分类模块，可以理解为上述实施例中人机切换模块中的单向LSTM模型；以及满意度分析解码分类模块，可以理解为上述实施例中满意度分析模块中的Transformer Encoder。该人机切换解码分类模块，以及满意度分析解码分类模块，分别针对人机切换任务和满意度分析任务进行解码分类。
该人机切换解码分类模块(对应图中解码分类层上部的虚线框)，采用单向LSTM模型进行顺序预测，该单向LSTM模型，通过t个步骤h，即图中的h1、h2、ht-1、ht对人机切换判断的特征向量进行处理，从而获得t个人机切换标签，即图中的
Figure BDA0003288379110000161
而该满意度分析解码分类模块(对应图中解码分类层下部的虚线框)，先采用编码器(Transformer Encoder)进行全局上下文编码，得到每个时刻的局部满意度分布，再通过注意力机制加权确定出权重α以及每个时刻的局部满意度分布，得到最终的全局满意度分布
Figure BDA0003288379110000162
也即是满意度标签。
在本实施例中，两个任务都采用交叉熵计算损失，该人机切换任务的损失，即图中L1，该满意度分析任务的损失，即图中的L2，并通过权重*η汇总两个任务的损失，利用梯度下降算法迭代优化得到最终模型。
本说明书实施例提供的对话处理方法，通过将人机切换与满意度分析以多任务学习的方式联合，利用角色选择交互机制，控制两个任务间的交互方式和信息流动，减少噪声信息的影响，更高效的提升人机切换判断和对话满意度估计的准确性。既能高效及时做出人机切换判断，提升用户满意度的，减少不必要的客服资源消耗；还能方便后期定位有问题的对话，针对性提升对话系统能力。
与上述方法实施例相对应，本说明书还提供了对话处理装置实施例，图4示出了本说明书一实施例提供的一种对话处理装置的结构示意图。如图4所示，该装置包括：
获得模块402，被配置为获得历史多轮对话语句及其对应的目标语句编码向量，所述目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量；
第一任务模块404，被配置为将所述人机切换语句编码向量参与满意度分析任务中得到所述满意度分析任务的特征向量；
第二任务模块406，被配置为以及将部分满意度分析语句编码向量参与人机切换任务中得到所述人机切换任务的特征向量；
评估模块408，被配置为根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量获得所述历史多轮对话语句的质量评估。
可选地，所述获得模块402，还被配置为：
获得历史多轮对话语句，并对每一个对话语句进行编码；
根据第N个对话语句的编码与所述第N个对话语句之前的全部对话语句的编码，获得所述第N个对话语句的上下文匹配向量，其中，N为正整数；
根据所述第N个对话语句的编码和所述第N个对话语句的上下文匹配向量，获得所述第N个对话语句的语句编码向量；
通过人机切换任务以及满意度分析任务对所述语句编码向量进行变换，获得所述历史多轮对话语句对应的目标语句编码向量。
可选地，所述获得模块402，还被配置为：
确定所述每一个对话语句的位置信息，并根据所述位置信息确定第N个对话语句之前的全部对话语句的编码；
将第N个对话语句的编码与所述第N个对话语句之前的全部对话语句的编码进行内积计算，获得所述第N个对话语句的上下文匹配向量。
可选地，所述获得模块402，还被配置为：
将所述第N个对话语句的编码与所述第N个对话语句的上下文匹配向量进行拼接，获得所述第N个对话语句的语句编码向量。
可选地，所述获得模块402，还被配置为：
获取历史多个对话语句，并对每一个对话语句进行分词，获得所述每一个对话语句的语句词；
对所述每一个对话语句的语句词进行编码，并基于所述语句词的编码构建所述每一个对话语句的语句词向量矩阵；
通过编码模型基于所述语句词向量矩阵对所述每一个对话语句进行编码。
可选地，所述获得模块402，还被配置为：
通过满意度分析任务的第一变换任务对所述语句编码向量进行变换，获得满意度分析语句编码向量；
通过人机切换任务的第一变换任务对所述语句编码向量进行变换，获得人机切换语句编码向量；
根据所述满意度分析语句编码向量以及所述人机切换语句编码向量，获得所述历史多轮对话语句对应的目标语句编码向量。
可选地，所述第一任务模块404，还被配置为：
将所述人机切换语句编码向量发送至所述满意度分析任务中的满意度分析模块，其中，所述满意度分析模块为对话处理对象中的模块；
通过所述满意度分析模块根据所述满意度分析语句编码向量，以及接收的人机切换语句编码向量，得到所述满意度分析任务的特征向量。
可选地，所述第二任务模块406，还被配置为：
将向量类型满足预设类型条件的满意度分析语句编码向量，发送至所述人机切换任务中的人机切换模块，其中，所述人机切换模块为对话处理对象中的模块；
通过所述人机切换模块根据所述人机切换语句编码向量，以及接收的满意度分析语句编码向量，得到所述人机切换任务的特征向量。
可选地，所述第一任务模块404，还被配置为：
通过所述满意度分析模块将所述满意度分析语句编码向量以及接收的人机切换语句编码向量相乘，获得所述满意度分析任务的运算特征向量；
通过所述满意度分析模块的掩码矩阵对所述运算特征向量进行遮蔽处理，获得所述满意度分析任务的处理特征向量；
通过所述满意度分析模块确定所述处理特征向量的权重，并将所述权重与所述满意度分析语句编码向量，以及接收的人机切换语句编码向量相乘，得到所述满意度分析任务的特征向量。
可选地，所述第一任务模块404，还被配置为：
通过所述满意度分析模块确定所述处理特征向量的位置权重，并将所述位置权重与所述处理特征向量相乘，获得所述处理特征向量对应的位置权重向量；
将所述位置权重向量的权重作为所述处理特征向量的权重。
可选地，所述第二任务模块406，还被配置为：
通过所述人机切换模块将所述人机切换语句编码向量，以及接收的满意度分析语句编码向量相乘，获得所述人机切换任务的运算特征向量；
通过人机切换模块的掩码矩阵对所述运算特征向量进行遮蔽处理，获得所述人机切换任务的处理特征向量；
通过所述人机切换模块确定所述处理特征向量的权重，并将所述权重与所述人机切换语句编码向量，以及接收的满意度分析语句编码向量相乘，得到所述人机切换任务的特征向量。
可选地，所述评估模块408，还被配置为：
基于所述历史多轮对话语句的质量评估确定所述满意度分析任务的分析结果，以及所述人机切换任务的处理结果。
可选地，所述对话处理装置，还包括训练模块，被配置为：
将所述历史多轮对话语句确定为训练样本，将所述历史多轮对话语句的质量评估确定为样本标签，并基于所述训练样本以及所述样本标签对所述对话处理对象进行训练，获得训练后的对话处理对象。
本说明书提供的对话处理装置，充分的考虑到人机切换任务和满意度分析任务两者是高度相关和互补的任务，在获得历史多轮对话语句及其对应的目标语句编码向量时，利用两个任务都以对话质量为关键信这一共性，将目标语句编码向量中的人机切换语句编码向量参与满意度分析任务中，以及将目标语句编码向量中的部分满意度分析语句编码向量参与人机切换任务中，从而得到满意度分析任务的特征向量，以及人机切换任务的特征向量，实现了特征共享、信息互补；并且，根据满意度分析任务的特征向量和人机切换任务的特征向量，获得历史多轮对话语句的质量评估，从而提高了人机切换任务和满意度分析任务的处理性能，节省了大量的计算机处理资源。
上述为本实施例的一种对话处理装置的示意性方案。需要说明的是，该对话处理装置的技术方案与上述的对话处理方法的技术方案属于同一构思，对话处理装置的技术方案未详细描述的细节内容，均可以参见上述对话处理方法的技术方案的描述。
图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库550用于保存数据。
计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
其中，处理器520用于执行计算机可执行指令，该计算机可执行指令被处理器520执行时实现任意所述对话处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的对话处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述对话处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述对话处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的对话处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述对话处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行任意所述对话处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的示意性方案与上述的对话处理方法的技术方案属于同一构思，计算机程序的示意性方案未详细描述的细节内容，均可以参见上述对话处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种对话处理方法，包括：
获得历史多轮对话语句及其对应的目标语句编码向量，所述目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量；
将所述人机切换语句编码向量参与满意度分析任务中，得到所述满意度分析任务的特征向量；以及
将部分满意度分析语句编码向量参与人机切换任务中，得到所述人机切换任务的特征向量；
根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量，获得所述历史多轮对话语句的质量评估。
2.根据权利要求1所述的对话处理方法，所述获得历史多轮对话语句及其对应的目标语句编码向量，包括：
获得历史多轮对话语句，并对每一个对话语句进行编码；
根据第N个对话语句的编码与所述第N个对话语句之前的全部对话语句的编码，获得所述第N个对话语句的上下文匹配向量，其中，N为正整数；
根据所述第N个对话语句的编码和所述第N个对话语句的上下文匹配向量，获得所述第N个对话语句的语句编码向量；
通过人机切换任务以及满意度分析任务对所述语句编码向量进行变换，获得所述历史多轮对话语句对应的目标语句编码向量。
3.根据权利要求2所述的对话处理方法，所述通过人机切换任务以及满意度分析任务对所述语句编码向量进行变换，获得所述历史多轮对话语句对应的目标语句编码向量，包括：
通过满意度分析任务的第一变换任务对所述语句编码向量进行变换，获得满意度分析语句编码向量；
通过人机切换任务的第一变换任务对所述语句编码向量进行变换，获得人机切换语句编码向量；
根据所述满意度分析语句编码向量以及所述人机切换语句编码向量，获得所述历史多轮对话语句对应的目标语句编码向量。
4.根据权利要求1所述的对话处理方法，所述将所述人机切换语句编码向量参与所述满意度分析任务中得到所述满意度分析任务的特征向量，包括：
将所述人机切换语句编码向量发送至所述满意度分析任务对应的满意度分析模块，其中，所述满意度分析模块为对话处理对象中的模块；
通过所述满意度分析模块根据所述满意度分析语句编码向量，以及接收的人机切换语句编码向量，得到所述满意度分析任务的特征向量。
5.根据权利要求1所述的对话处理方法，所述将部分满意度分析语句编码向量参与所述人机切换任务中得到所述人机切换任务的特征向量，包括：
将向量类型满足预设类型条件的满意度分析语句编码向量，发送至所述人机切换任务对应的人机切换模块，其中，所述人机切换模块为对话处理对象中的模块；
通过所述人机切换模块根据所述人机切换语句编码向量，以及接收的满意度分析语句编码向量，得到所述人机切换任务的特征向量。
6.根据权利要求4所述的对话处理方法，所述通过所述满意度分析模块根据所述满意度分析语句编码向量，以及接收的人机切换语句编码向量，得到所述满意度分析任务的特征向量，包括：
通过所述满意度分析模块将所述满意度分析语句编码向量以及接收的人机切换语句编码向量相乘，获得所述满意度分析任务的运算特征向量；
通过所述满意度分析模块的掩码矩阵对所述运算特征向量进行遮蔽处理，获得所述满意度分析任务的处理特征向量；
通过所述满意度分析模块确定所述处理特征向量的权重，并将所述权重与所述满意度分析语句编码向量，以及接收的人机切换语句编码向量相乘，得到所述满意度分析任务的特征向量。
7.根据权利要求5所述的对话处理方法，所述通过所述人机切换模块根据所述人机切换语句编码向量，以及接收的满意度分析语句编码向量，得到所述人机切换任务的特征向量，包括：
通过所述人机切换模块将所述人机切换语句编码向量，以及接收的满意度分析语句编码向量相乘，获得所述人机切换任务的运算特征向量；
通过人机切换模块的掩码矩阵对所述运算特征向量进行遮蔽处理，获得所述人机切换任务的处理特征向量；
通过所述人机切换模块确定所述处理特征向量的权重，并将所述权重与所述人机切换语句编码向量，以及接收的满意度分析语句编码向量相乘，得到所述人机切换任务的特征向量。
8.根据权利要求1所述的对话处理方法，所述根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量获得所述历史多轮对话语句的质量评估之后，还包括：
基于所述历史多轮对话语句的质量评估确定所述满意度分析任务的分析结果，以及所述人机切换任务的处理结果。
9.根据权利要求4或5所述的对话处理方法，所述根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量获得所述历史多轮对话语句的质量评估之后，还包括：
将所述历史多轮对话语句确定为训练样本，将所述历史多轮对话语句的质量评估确定为样本标签，并基于所述训练样本以及所述样本标签对所述对话处理对象进行训练，获得训练后的对话处理对象。
10.一种对话处理装置，包括：
获得模块，被配置为获得历史多轮对话语句及其对应的目标语句编码向量，所述目标语句编码向量至少包括人机切换语句编码向量和满意度分析语句编码向量；
第一任务模块，被配置为将所述人机切换语句编码向量参与满意度分析任务中得到所述满意度分析任务的特征向量；
第二任务模块，被配置为以及将部分满意度分析语句编码向量参与人机切换任务中得到所述人机切换任务的特征向量；
评估模块，被配置为根据所述满意度分析任务的特征向量和所述人机切换任务的特征向量获得所述历史多轮对话语句的质量评估。
11.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述对话处理方法的步骤。
12.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述对话处理方法的步骤。
CN202111155882.5A 2021-09-29 2021-09-29 对话处理方法及装置 Pending CN113988086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111155882.5A CN113988086A (zh) 2021-09-29 2021-09-29 对话处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111155882.5A CN113988086A (zh) 2021-09-29 2021-09-29 对话处理方法及装置

Publications (1)

Publication Number Publication Date
CN113988086A true CN113988086A (zh) 2022-01-28

Family

ID=79737326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111155882.5A Pending CN113988086A (zh) 2021-09-29 2021-09-29 对话处理方法及装置

Country Status (1)

Country Link
CN (1) CN113988086A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062606A (zh) * 2022-08-16 2022-09-16 阿里巴巴（中国）有限公司 对话数据分析及其模型训练方法、及电子设备
CN116386145A (zh) * 2023-04-17 2023-07-04 浙江金融职业学院 一种基于双摄像头的银行内人员异常行为识别方法
CN116489047A (zh) * 2023-03-30 2023-07-25 索提斯云智控科技(上海)有限公司 一种基于边缘计算的智能通讯管理系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062606A (zh) * 2022-08-16 2022-09-16 阿里巴巴（中国）有限公司 对话数据分析及其模型训练方法、及电子设备
CN115062606B (zh) * 2022-08-16 2022-11-18 阿里巴巴（中国）有限公司 对话数据分析及其模型训练方法、及电子设备
CN116489047A (zh) * 2023-03-30 2023-07-25 索提斯云智控科技(上海)有限公司 一种基于边缘计算的智能通讯管理系统及方法
CN116489047B (zh) * 2023-03-30 2024-02-23 索提斯云智控科技(上海)有限公司 一种基于边缘计算的智能通讯管理系统及方法
CN116386145A (zh) * 2023-04-17 2023-07-04 浙江金融职业学院 一种基于双摄像头的银行内人员异常行为识别方法
CN116386145B (zh) * 2023-04-17 2023-11-03 浙江金融职业学院 一种基于双摄像头的银行内人员异常行为识别方法

Similar Documents

Publication Publication Date Title
CN110046221B (zh) 一种机器对话方法、装置、计算机设备及存储介质
CN110609899B (zh) 一种基于改进bert模型的特定目标情感分类方法
CN110032630B (zh) 话术推荐设备、方法及模型训练设备
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN113988086A (zh) 对话处理方法及装置
CN106448670A (zh) 基于深度学习和强化学习的自动回复对话系统
US11475225B2 (en) Method, system, electronic device and storage medium for clarification question generation
CN110727778A (zh) 一种面向税务的智能问答系统
CN113987147A (zh) 样本处理方法及装置
CN113128206A (zh) 基于单词重要性加权的问题生成方法
CN116341562A (zh) 一种基于Unilm语言模型的相似问题生成方法
CN115759001A (zh) 语言模型训练方法、文本预测方法以及装置
CN117350304B (zh) 一种多轮对话上下文向量增强方法及系统
CN115269836A (zh) 意图识别方法及装置
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN113485993A (zh) 数据识别方法以及装置
CN116361442A (zh) 基于人工智能的营业厅数据分析方法及系统
CN110795531A (zh) 一种意图识别方法、装置及存储介质
WO2020151017A1 (zh) 一种可扩展的领域人机对话系统状态跟踪方法及设备
CN113177113B (zh) 任务型对话模型预训练方法、装置、设备及存储介质
CN115221315A (zh) 文本处理方法以及装置、句向量模型训练方法以及装置
CN114706984A (zh) 文本处理模型的训练方法及装置
CN113886560A (zh) 庭审问题的推荐方法以及装置
CN114138947A (zh) 文本处理方法及装置
CN116991982B (zh) 基于人工智能的交互式对话方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination