CN115687581A - 一种基于注意力机制的电力客服交互式问答方法及装置 - Google Patents

Abstract

本发明涉及一种基于注意力机制的电力客服交互式问答方法及装置，该方法包括以下步骤：步骤S1：问题预处理：由客户发起线上会话并提出问题，对问题进行预处理；步骤S2：问句语义表示：在问题预处理基础上，利用循环神经网络的上下文表示学习模型进行端到端的在线用户问句解析；步骤S3：交互式句子关系表示：在问句语义表示的基础上，结合基于注意力机制构建语句关系表示模型；步骤S4：问句核心结构提取：结合多层卷积神经网络模型，进行问句核心结构提取；步骤S5：依据问句核心结构提取结果，从电网客服知识库中匹配相应的答案，并反馈给客户。本发明考虑用户提问的会话场景和多问题的关联性，可获得丰富的用户意图信息，为客户提供更合适的答案。

Description

一种基于注意力机制的电力客服交互式问答方法及装置

技术领域

本发明涉及语音识别技术领域，尤其涉及一种基于注意力机制的电力客服交互式问答方法及装置。

背景技术

随着互联网的日益普及和移动智能终端的快速发展，电力用户规模和线上业务的不断增长，广大用户对电力业务的线上咨询与投诉等方面的需求与日俱增，导致电力客服提供优质服务的压力持续增大。目前，国网电力总部、省测级下属公司通过线下线上不同的形式建立了客户服务系统，主要包括人工客服和机器客服两大类，但是从现有的使用和运营效果来看，还远远未达到预期效果，客户体验差。一方面，用户咨询的问题简单且重复性很高，人工客服需要进行反复的回答和解释，容易引发人工主观疲劳，同时存在用户口音和人工客服态度不一的问题，使得沟通效率特别低，用户获得的服务满意程度不高；另一方面，现有的机器客服系统不够智能化，很多时候不能正确的识别用户的意图，只能依据特定的知识库和问题提供答案，机器客服自主学习能力差。

近年来，深度学习技术在句子语义识别、上下文关系识别等任务上都表现出强大的数据抽象表示能力，并体现出强大的自我学习能力。鉴于此，有必要在现有电网问答知识库的基础上，结合深度学习技术，提升机器客服的句子语义理解能力，依据上下文更好理解用户连贯的意图，并持续不断提升用户体验，从而解决人工坐席无法24小时在线，离职、旷工、忙时无服务等问题，提供24小时高质量服务。

对现有技术的缺点及其原因进行分析：方案一：申请号为201711305473.2的发明授权专利，一种智能客服中交互式问句语义理解方法，涉及语义识别技术领域，所述方法包括：本发明提供的智能客服中交互式问句语义理解方法，包括如下步骤：对当前智能客服与客户的会话内容进行上下文语境表示，所述上下文语境表示包括事件表示与语境表示；根据所述上下文语境表示构造对话语义事件图；根据智能客服与客户的多段会话语料构造业务逻辑树；根据确定有限状态自动机构建订单状态机；根据所述语义事件图从所述业务逻辑树中选择逻辑决策分支；根据所述逻辑决策分支以及订单状态机向所述智能客服返回语义处理模板，并进行语义表达生成。本发明实现了基于流程图的交互问答，提高了智能客服对客户问话理解的准确度，确保了智能客服与客户会话的连贯性，提高了智能客服的工作效率。方案一的智能客服中交互式问句语义理解方法，意图决策采用的是有限状态机方法，而转移条件的设置严重依赖于专家的主观能力，而且后续难以扩展，无法支撑用户不断涌现的业务问题。方案二：申请号为201910174790.8的发明授权专利，一种基于知识库的智能问答系统和方法，涉及数据处理技术领域，所述方法包括：本发明公开了一种基于知识库的智能问答系统和方法，该系统包括：问题获取模块，用于获取问题文字；语义分词模块，用于对问题文字进行语义分词，得到问题文字中的特征词；问题检索模块，用于根据特征词在预设的问答知识库中检索与特征词相似度最高的问题作为目标问题；答案反馈模块，用于向用户反馈目标问题对应的目标答案，如此，将问答知识以问题和答案对应关联并存储于问答知识库中，并通过人工智能的技术替代或辅助客服解决用户提出的问题，减少企业在咨询场景客服人力的投入，释放客服的工作量，为企业节省成本和提高用户服务满意度。方案二的智能问答方法，未考虑用户提问的会话场景和多问题的关联性，只是对每个问题进行独立解答，难以避免因无法获得丰富的用户意图信息，而反馈错误的问题答案。

以上两个技术方案存在严重依赖于专家的主观能力，而且后续难以扩展，和未考虑用户提问的会话场景和多问题的关联性，难以避免因无法获得丰富的用户意图信息，而反馈错误的问题答案。

发明内容

有鉴于此，本发明的目的是提供一种基于注意力机制的电力客服交互式问答方法及装置，不依赖于专家的主观能力，而且易重新学习，后续易扩展，同时考虑用户提问的会话场景和多问题的关联性，可获得丰富的用户意图信息，为客户提供更合适的答案。

本发明采用以下方案实现：一种基于注意力机制的电力客服交互式问答方法，其特征在于：包括以下步骤：

步骤S1：问题预处理：由客户发起线上会话并提出问题，对问题进行预处理；

步骤S2：问句语义表示：在问题预处理基础上，利用循环神经网络的上下文表示学习模型进行端到端的在线用户问句解析；

步骤S3：交互式句子关系表示：在问句语义表示的基础上，结合基于注意力机制构建语句关系表示模型；

步骤S4：问句核心结构提取：在基于问句语义表示和语句关系的学习表示的基础上，结合多层卷积神经网络模型，进行问句核心结构提取；

步骤S5：答案抽取并反馈：依据问句核心结构提取结果，从电网客服知识库中匹配相应的答案，并反馈给客户。

进一步地，所述步骤S1中，采用LTP自然语义处理工具进行预处理，具体包括：先在LTP自然语义处理工具中导入电网客服问答知识库中的实体库，然后对客户问题进行分词、词性标注、实体识别、依存句法分析的预处理。

进一步地，所述步骤S2中，循环神经网络的上下文表示学习模型基于无监督编码--解码学习架构进行问句上下文的自动编码和自动解码，完成问句语义学习表示模型的无监督学习，并通过SoftMax分类器引导模型在问句语义解析上的有监督学习，实现基于上下文的问句解析及表示。

进一步地，所述步骤S3中，所述语句关系表示模型首先通过构建多层的循环神经网络实现上下文依赖的语句关系建模，在基于LSTM的语句关系建模基础上，模型通过基于匹配模式的注意力学习机制实现关系匹配模式与句子语义表示的特征对齐，由此提高模型对于交互式问答中复杂语句关系的学习表示能力，最后通过Softmax分类器完成交互式问答的语句关系表示。

进一步地，所述步骤S5还包括，将答案反馈给客户之后，判断客户是否满意，若客户不满意，提醒客户补充问句的具体内容，返回步骤S2，重新对问句进行分析，自动抽取更合适的答案给客户；或者若客户不满意，客户转人工服进行服务。

本发明还采用以下方案实现：一种基于注意力机制的电力客服交互式问答装置，其特征在于：包括：

问题预处理模块，用于由客户发起线上会话并提出问题，对问题进行预处理；

问句语义表示模块，用于在问题预处理基础上，利用循环神经网络的上下文表示学习模型进行端到端的在线用户问句解析；

交互式句子关系表示模块，用于在问句语义表示的基础上，结合基于注意力机制构建语句关系表示模型；

问句核心结构提取模块，用于在基于问句语义表示和语句关系的学习表示的基础上，结合多层卷积神经网络模型，进行问句核心结构提取；

答案抽取反馈模块，用于依据问句核心结构提取结果，从电网客服知识库中匹配相应的答案，并反馈给客户。

进一步地，所述问题预处理模块中，采用LTP自然语义处理工具进行预处理，具体包括：先在LTP自然语义处理工具中导入电网客服问答知识库中的实体库，然后对客户问题进行分词、词性标注、实体识别、依存句法分析的预处理。

进一步地，所述问句语义表示模块中，循环神经网络的上下文表示学习模型基于无监督编码--解码学习架构进行问句上下文的自动编码和自动解码，完成问句语义学习表示模型的无监督学习，并通过SoftMax分类器引导模型在问句语义解析上的有监督学习，实现基于上下文的问句解析及表示。

进一步地，所述交互式句子关系表示模块中，所述语句关系表示模型首先通过构建多层的循环神经网络实现上下文依赖的语句关系建模，在基于LSTM的语句关系建模基础上，模型通过基于匹配模式的注意力学习机制实现关系匹配模式与句子语义表示的特征对齐，由此提高模型对于交互式问答中复杂语句关系的学习表示能力，最后通过Softmax分类器完成交互式问答的语句关系表示。

进一步地，所述答案抽取反馈模块，还用于将答案反馈给客户之后，判断客户是否满意，若客户不满意，提醒客户补充问句的具体内容，返回步骤S2，重新对问句进行分析，自动抽取更合适的答案给客户；或者若客户不满意，客户转人工服进行服务。

相较于现有技术，本发明的优点在于：一种基于注意力机制的电力客服交互式问答方法及装置，其中该方法首先利用循环神经网络（LSTM）完成基于上下文的问句语义表示，然后基于多层的LSTM实现上下文依赖的语句关系建模，在基于LSTM的语句关系建模基础上，模型通过基于匹配模式的注意力学习机制(Match-attention)实现关系匹配模式与句子语义表示的特征对齐，由此提高模型对于交互式问答中复杂语句关系的学习表示能力，最后基于问句语义表示和语句关系的学习表示，结合卷积神经网络模型提取问句的核心结构，并依据问句核心结构，从电网问答知识库提取问题答案；本发明不依赖于专家的主观能力，而且易重新学习，后续易扩展，同时考虑用户提问的会话场景和多问题的关联性，可获得丰富的用户意图信息，为客户提供更合适的答案。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所述，本实施例提供一种基于注意力机制的电力客服交互式问答方法，其特征在于：包括以下步骤：

步骤S1：问题预处理：由客户发起线上会话并提出问题，对问题进行预处理；

步骤S2：问句语义表示：在问题预处理基础上，利用循环神经网络的上下文表示学习模型进行端到端的在线用户问句解析；

步骤S3：交互式句子关系表示：在问句语义表示的基础上，结合基于注意力机制构建语句关系表示模型；

步骤S4：问句核心结构提取：在基于问句语义表示和语句关系的学习表示的基础上，结合多层卷积神经网络模型，进行问句核心结构提取，如（福建电力客服电话，是，多少），（电卡，丢失，怎么办）等三元结构；

步骤S5：答案抽取并反馈：依据问句核心结构提取结果，从电网客服知识库中匹配相应的答案，并反馈给客户。

在本实施例中，所述步骤S1中，采用LTP自然语义处理工具进行预处理，具体包括：先在LTP自然语义处理工具中导入电网客服问答知识库中的实体库，然后对客户问题进行分词、词性标注、实体识别、依存句法分析的预处理。

在本实施例中，所述步骤S2中，循环神经网络的上下文表示学习模型基于无监督编码--解码学习架构进行问句上下文的自动编码和自动解码，完成问句语义学习表示模型的无监督学习，并通过SoftMax分类器引导模型在问句语义解析上的有监督学习，实现基于上下文的问句解析及表示。

在本实施例中，所述步骤S3中，所述语句关系表示模型首先通过构建多层的循环神经网络实现上下文依赖的语句关系建模，在基于LSTM的语句关系建模基础上，模型通过基于匹配模式的注意力学习机制实现关系匹配模式与句子语义表示的特征对齐，由此提高模型对于交互式问答中复杂语句关系的学习表示能力，最后通过Softmax分类器完成交互式问答的语句关系表示。

在本实施例中，所述步骤S5还包括，将答案反馈给客户之后，判断客户是否满意，若客户不满意，提醒客户补充问句的具体内容，返回步骤S2，重新对问句进行分析，自动抽取更合适的答案给客户；或者若客户不满意，客户转人工服进行服务。

本实施例还提供一种基于注意力机制的电力客服交互式问答装置，其特征在于：包括：

问题预处理模块，用于由客户发起线上会话并提出问题，对问题进行预处理；

问句语义表示模块，用于在问题预处理基础上，利用循环神经网络的上下文表示学习模型进行端到端的在线用户问句解析；

交互式句子关系表示模块，用于在问句语义表示的基础上，结合基于注意力机制构建语句关系表示模型；

问句核心结构提取模块，用于在基于问句语义表示和语句关系的学习表示的基础上，结合多层卷积神经网络模型，进行问句核心结构提取，如（福建电力客服电话，是，多少），（电卡，丢失，怎么办）等三元结构；

答案抽取反馈模块，用于依据问句核心结构提取结果，从电网客服知识库中匹配相应的答案，并反馈给客户。

在本实施例中，所述问题预处理模块中，采用LTP自然语义处理工具进行预处理，具体包括：先在LTP自然语义处理工具中导入电网客服问答知识库中的实体库，然后对客户问题进行分词、词性标注、实体识别、依存句法分析的预处理。

在本实施例中，所述问句语义表示模块中，循环神经网络的上下文表示学习模型基于无监督编码--解码学习架构进行问句上下文的自动编码和自动解码，完成问句语义学习表示模型的无监督学习，并通过SoftMax分类器引导模型在问句语义解析上的有监督学习，实现基于上下文的问句解析及表示。

在本实施例中，所述交互式句子关系表示模块中，所述语句关系表示模型首先通过构建多层的循环神经网络实现上下文依赖的语句关系建模，在基于LSTM的语句关系建模基础上，模型通过基于匹配模式的注意力学习机制实现关系匹配模式与句子语义表示的特征对齐，由此提高模型对于交互式问答中复杂语句关系的学习表示能力，最后通过Softmax分类器完成交互式问答的语句关系表示。

在本实施例中，所述答案抽取反馈模块，还用于将答案反馈给客户之后，判断客户是否满意，若客户不满意，提醒客户补充问句的具体内容，返回步骤S2，重新对问句进行分析，自动抽取更合适的答案给客户；或者若客户不满意，客户转人工服进行服务。

在本实施例中，该方法与装置利用循环神经网络（LSTM）完成基于上下文的问句语义表示，并基于匹配模式的注意力学习机制(Match-attention)实现交互式问答中复杂语句关系的学习表示能力，最后结合卷积神经网络模型，提取问句的核心结构，并依据问句核心结构，从电网问答知识库提取问句答案。对比已有方案具有以下优势，不依赖于专家的主观能力，而且易重新学习，后续易扩展，同时考虑用户提问的会话场景和多问题的关联性，可获得丰富的用户意图信息，为客户提供更合适的答案。

尽管上面结合附图对本发明的优选实例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是局限性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以作出很多形式，这些均属于本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制的电力客服交互式问答方法，其特征在于：包括以下步骤：

步骤S1：问题预处理：由客户发起线上会话并提出问题，对问题进行预处理；

步骤S2：问句语义表示：在问题预处理基础上，利用循环神经网络的上下文表示学习模型进行端到端的在线用户问句解析；

步骤S3：交互式句子关系表示：在问句语义表示的基础上，结合基于注意力机制构建语句关系表示模型；

步骤S4： 问句核心结构提取：在基于问句语义表示和语句关系的学习表示的基础上，结合多层卷积神经网络模型，进行问句核心结构提取；

步骤S5：答案抽取并反馈：依据问句核心结构提取结果，从电网客服知识库中匹配相应的答案，并反馈给客户。

2.根据权利要求1所述一种基于注意力机制的电力客服交互式问答方法，其特征在于：所述步骤S1中，采用LTP自然语义处理工具进行预处理，具体包括：先在LTP自然语义处理工具中导入电网客服问答知识库中的实体库，然后对客户问题进行分词、词性标注、实体识别、依存句法分析的预处理。

3.根据权利要求1所述一种基于注意力机制的电力客服交互式问答方法，其特征在于：所述步骤S2中，循环神经网络的上下文表示学习模型基于无监督编码--解码学习架构进行问句上下文的自动编码和自动解码，完成问句语义学习表示模型的无监督学习，并通过SoftMax分类器引导模型在问句语义解析上的有监督学习，实现基于上下文的问句解析及表示。

4.根据权利要求1所述一种基于注意力机制的电力客服交互式问答方法，其特征在于：所述步骤S3中，所述语句关系表示模型首先通过构建多层的循环神经网络实现上下文依赖的语句关系建模，在基于LSTM的语句关系建模基础上，模型通过基于匹配模式的注意力学习机制实现关系匹配模式与句子语义表示的特征对齐，最后通过Softmax分类器完成交互式问答的语句关系表示。

5.根据权利要求1所述一种基于注意力机制的电力客服交互式问答方法，其特征在于：所述步骤S5还包括，将答案反馈给客户之后，判断客户是否满意，若客户不满意，提醒客户补充问句的具体内容，返回步骤S2，重新对问句进行分析，自动抽取更合适的答案给客户；或者若客户不满意，客户转人工服进行服务。

6.一种基于注意力机制的电力客服交互式问答装置，其特征在于：包括：

问题预处理模块，用于由客户发起线上会话并提出问题，对问题进行预处理；

问句语义表示模块，用于在问题预处理基础上，利用循环神经网络的上下文表示学习模型进行端到端的在线用户问句解析；

交互式句子关系表示模块，用于在问句语义表示的基础上，结合基于注意力机制构建语句关系表示模型；

问句核心结构提取模块，用于在基于问句语义表示和语句关系的学习表示的基础上，结合多层卷积神经网络模型，进行问句核心结构提取；

答案抽取反馈模块，用于依据问句核心结构提取结果，从电网客服知识库中匹配相应的答案，并反馈给客户。

7.根据权利要求6所述一种基于注意力机制的电力客服交互式问答装置，其特征在于：所述问题预处理模块中，采用LTP自然语义处理工具进行预处理，具体包括：先在LTP自然语义处理工具中导入电网客服问答知识库中的实体库，然后对客户问题进行分词、词性标注、实体识别、依存句法分析的预处理。

8.根据权利要求6所述一种基于注意力机制的电力客服交互式问答装置，其特征在于：所述问句语义表示模块中，循环神经网络的上下文表示学习模型基于无监督编码--解码学习架构进行问句上下文的自动编码和自动解码，完成问句语义学习表示模型的无监督学习，并通过SoftMax分类器引导模型在问句语义解析上的有监督学习，实现基于上下文的问句解析及表示。

9.根据权利要求6所述一种基于注意力机制的电力客服交互式问答装置，其特征在于：所述交互式句子关系表示模块中，所述语句关系表示模型首先通过构建多层的循环神经网络实现上下文依赖的语句关系建模，在基于LSTM的语句关系建模基础上，模型通过基于匹配模式的注意力学习机制实现关系匹配模式与句子语义表示的特征对齐，最后通过Softmax分类器完成交互式问答的语句关系表示。

10.根据权利要求6所述一种基于注意力机制的电力客服交互式问答装置，其特征在于：所述答案抽取反馈模块，还用于将答案反馈给客户之后，判断客户是否满意，若客户不满意，提醒客户补充问句的具体内容，返回步骤S2，重新对问句进行分析，自动抽取更合适的答案给客户；或者若客户不满意，客户转人工服进行服务。

Images