CN110858215B - 一种基于深度学习的端到端目标引导型对话方法 - Google Patents

一种基于深度学习的端到端目标引导型对话方法 Download PDF

Info

Publication number
CN110858215B
CN110858215B CN201810967833.3A CN201810967833A CN110858215B CN 110858215 B CN110858215 B CN 110858215B CN 201810967833 A CN201810967833 A CN 201810967833A CN 110858215 B CN110858215 B CN 110858215B
Authority
CN
China
Prior art keywords
vector
current
conversation
deep learning
dialog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810967833.3A
Other languages
English (en)
Other versions
CN110858215A (zh
Inventor
叶志豪
廖朝辉
蔡瑞初
崔洪刚
张袁震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810967833.3A priority Critical patent/CN110858215B/zh
Publication of CN110858215A publication Critical patent/CN110858215A/zh
Application granted granted Critical
Publication of CN110858215B publication Critical patent/CN110858215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

本发明涉及自然语言处理技术领域，具体涉及一种基于深度学习的端到端目标引导型对话方法，包括如下步骤：S1：获取上一轮用户对话和当前对话历史，根据上一轮用户对话和当前对话历史初始化序列到序列模型；S2：确定当前知识库实体的行号；S3：确定当前知识库实体的列号；S4：通过注意力机制的得到最佳匹配实体；S5：迭代执行步骤S2‑S4直至最终输出下一轮对话。本发明克服了现有的端到端的对话对话效率低下，影响用户的个性化体验的技术缺陷，通过自然语言对话的精准度，提供良好的用户服务。

Description

一种基于深度学习的端到端目标引导型对话方法
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种基于深度学习的端到端目标引导型对话方法。
背景技术
随着深度学习的近几年的发展，端到端的目标引导型对话系统的效果慢慢提高，在我们工作中也是一个端到端的对话系统模型，在端到端的模型中，输入用户的对话直接可以输出系统的回复，而不用经过不同模块之间的显示的转换。
而现有特定领域的多轮对话任务，主要用的是序列到序列的模型，根据序列到序列的模型生成的对话的准确度低，不能给用户准确可靠的回答。对于特定领域的多轮对话任务，一个重要的衡量指标就是根据用于给出答复时，系统能不能根据当前用户的询问以及当前数据知识的内容，回复带有知识实体的准确的回答。因而现有的多轮对话端到端系统的知识查询没有很好的效果，对话效率低下，影响了用户的个性化体验。
发明内容
本发明克服了上述现有的端到端对话问答模式的对话效率地低下、精准度低技术缺陷，提供了一种基于深度学习的端到端目标引导型对话方法及系统，提出了对知识库表先定行后定列的查询机制。
为解决上述技术问题，本发明的技术方案如下：
一种基于深度学习的端到端目标引导型对话方法，包括如下步骤：
S1：获取上一轮用户对话和当前对话历史，根据上一轮用户对话和当前对话历史初始化序列到序列模型；
S2：确定当前知识库实体的行号；
S3：确定当前知识库实体的列号；
S4：通过注意力机制的得到最佳匹配实体；
S5：迭代执行步骤S2-S4直至最终输出下一轮对话。
序列到序列模型包括编码器和解码器，编码器在给定对话历史和用户上一轮对话之后，编码器对输出内容进行编码抽象，得到上个上下文向量，并将该上下文向量传送至解码器；解码器接收编码器传送的上下文向量，并从词库中生成相对应的下一个词。
其中，S2具体步骤为：
S2.1：编码器对上一轮用户对话及当前对话历史进行编码，得到隐含向量和解码器当前隐含向量，并计算相似度向量；
S2.2：采用softmax对S2.1得到的相似度向量计算得到注意力权重；
S2.3：得到编码器当前的上下文向量，采用注意力权重与隐含向量相乘得到；
S2.4：建立一个多层神经网络并对其进行训练；
S2.5：根据训练得到的多层神经网络进行行的分类。
其中，S3具体步骤为：
S3.1：根据每一列的知识实体向量和解码器的当前隐含向量计算相似度向量；
S3.2：对S3.1得到的相似度向量，根据softmax计算注意力权重得分；
S3.3：根据注意力权重得分与每一列的知识实力向量相乘得到知识实体的列的分类。
注意力机制通过计算解码状态与知识实体之的相关程度，得到隐层向量的权重。
与现有技术相比，本发明的技术方案的有益效果为：提高对话效率、对话精准度，提升用户的个性化体验。
附图说明
图1为本发明的方法原理流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1：
参见图1，一种基于深度学习的端到端目标引导型对话方法，包括如下步骤：
S1：获取上一轮用户对话和当前对话历史，根据上一轮用户对话和当前对话历史初始化序列到序列模型；
S2：确定当前知识库实体的行号；
S3：确定当前知识库实体的列号；
S4：通过注意力机制的得到最佳匹配实体；
S5：迭代执行步骤S2-S4直至最终输出下一轮对话。
序列到序列模型包括编码器和解码器，编码器在给定对话历史和用户上一轮对话之后，编码器对输出内容进行编码抽象，得到上个上下文向量，并将该上下文向量传送至解码器；解码器接收编码器传送的上下文向量，并从词库中生成相对应的下一个词。
对于编码器，
ht＝f(ht-1,xt),t＝1,...,Tx
Figure BDA0001775409690000031
其中，其中x表示输入，t表示时间步，h表示每一个时间步的编码状态，c表示上下文向量；
对于解码器，
h0＝tanh(V’c)
ht＝f(ht-1,yt-1,c),t＝1,...,Tx
p(yt|yt-1,yt-2,...,y1,c)＝g(ht,yt-1,c)
其中，其中y表示当前生成词表示输入，t表示时间步，h表示每一个时间步的解码状态，c表示编码器上下文向量。
其中，S2具体步骤为：
S2.1：编码器对上一轮用户对话及当前对话历史进行编码，得到隐含向量和解码器当前隐含向量，并计算相似度向量；
S2.2：采用softmax对S2.1得到的相似度向量计算得到注意力权重；
S2.3：得到编码器当前的上下文向量，采用注意力权重与隐含向量相乘得到；
S2.4：建立一个多层神经网络并对其进行训练；
S2.5：根据训练得到的多层神经网络进行行的分类。
其中，S3具体步骤为：
S3.1：根据每一列的知识实体向量和解码器的当前隐含向量计算相似度向量；
S3.2：对S3.1得到的相似度向量，根据softmax计算注意力权重得分；
S3.3：根据注意力权重得分与每一列的知识实力向量相乘得到知识实体的列的分类。
对于S4中注意力机制通过计算解码状态与知识实体之的相关程度，得到隐层向量的权重。
Figure BDA0001775409690000041
Figure BDA0001775409690000042
eij就表示第i个target与第j个隐层向量hj之间的相关性。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于深度学习的端到端目标引导型对话方法，其特征在于，所述方法包括如下步骤：S1：获取上一轮用户对话和当前对话历史，根据上一轮用户对话和当前对话历史初始化序列到序列模型；所述序列到序列模型包括编码器和解码器；
S2：确定当前知识库实体的行号；其具体步骤为：
S2.1：编码器对上一轮用户对话及当前对话历史进行编码，得到隐含向量和解码器当前隐含向量，并计算相似度向量；
S2.2：采用softmax对S2.1得到的相似度向量计算得到注意力权重；
S2.3：得到编码器当前的上下文向量，采用注意力权重与隐含向量相乘得到；
S2.4：建立一个多层神经网络并对其进行训练；
S2.5：根据训练得到的多层神经网络进行行的分类；
S3：确定当前知识库实体的列号；其具体步骤为：
S3.1：根据每一列的知识实体向量和解码器的当前隐含向量计算相似度向量；
S3.2：对S3.1得到的相似度向量，根据softmax计算注意力权重得分；
S3.3：根据注意力权重得分与每一列的知识实力向量相乘得到知识实体的列的分类；
S4：通过注意力机制的得到最佳匹配实体；
S5：迭代执行步骤S2-S4直至最终输出下一轮对话。
2.根据权利要求1所述的基于深度学习的端到端目标引导性对话方法，其特征在于，所述编码器在给定对话历史和用户上一轮对话之后，编码器对输出内容进行编码抽象，得到上个上下文向量，并将该上下文向量传送至解码器。
3.根据权利要求1所述的基于深度学习的端到端目标引导型对话方法，其特征在于，所述解码器接收编码器传送的上下文向量，并从词库中生成相对应的下一个词。
4.根据权利要求1所述的基于深度学习的端到端目标引导型对话方法，其特征在于，所述注意力机制通过计算解码状态与知识实体之的相关程度，得到隐层向量的权重。
CN201810967833.3A 2018-08-23 2018-08-23 一种基于深度学习的端到端目标引导型对话方法 Active CN110858215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810967833.3A CN110858215B (zh) 2018-08-23 2018-08-23 一种基于深度学习的端到端目标引导型对话方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810967833.3A CN110858215B (zh) 2018-08-23 2018-08-23 一种基于深度学习的端到端目标引导型对话方法

Publications (2)

Publication Number Publication Date
CN110858215A CN110858215A (zh) 2020-03-03
CN110858215B true CN110858215B (zh) 2023-04-07

Family

ID=69635204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810967833.3A Active CN110858215B (zh) 2018-08-23 2018-08-23 一种基于深度学习的端到端目标引导型对话方法

Country Status (1)

Country Link
CN (1) CN110858215B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382257A (zh) * 2020-05-28 2020-07-07 支付宝(杭州)信息技术有限公司 一种生成对话下文的方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107967302A (zh) * 2017-11-08 2018-04-27 江苏名通信息科技有限公司 基于深度神经网络的游戏客服对话系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107967302A (zh) * 2017-11-08 2018-04-27 江苏名通信息科技有限公司 基于深度神经网络的游戏客服对话系统

Also Published As

Publication number Publication date
CN110858215A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
US10762305B2 (en) Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN112069302B (zh) 会话意图识别模型的训练方法、会话意图识别方法及装置
US7890329B2 (en) Apparatus and method to reduce recognition errors through context relations among dialogue turns
CN110457480B (zh) 基于交互式注意力机制的细粒度情感分类模型的构建方法
CN109271496B (zh) 一种基于文本、知识库及序列到序列的自然问答方法
CN110781663B (zh) 文本分析模型的训练方法及装置、文本分析方法及装置
CN110427625B (zh) 语句补全方法、装置、介质及对话处理系统
CN111897933A (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN109582767A (zh) 对话系统处理方法、装置、设备及可读存储介质
CN111401084B (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN111177324B (zh) 基于语音识别结果进行意图分类的方法和装置
CN111966800A (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN108228576B (zh) 文本翻译方法及装置
US20210248471A1 (en) Method and apparatus for creating dialogue, and storage medium
CN110321418A (zh) 一种基于深度学习的领域、意图识别和槽填充方法
CN111339302A (zh) 训练要素分类模型的方法和装置
JP6969443B2 (ja) 学習品質推定装置、方法、及びプログラム
CN111125316B (zh) 一种融合多损失函数及注意力机制的知识库问答方法
CN113239157B (zh) 对话模型的训练方法、装置、设备和存储介质
CN115630145A (zh) 一种基于多粒度情感的对话推荐方法及系统
CN114416943A (zh) 对话模型的训练方法、装置、电子设备及存储介质
CN110858215B (zh) 一种基于深度学习的端到端目标引导型对话方法
CN114386426B (zh) 一种基于多元语义融合的金牌话术推荐方法及装置
CN111324736A (zh) 人机对话模型训练方法、人机对话方法及系统
CN114547244A (zh) 用于确定信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant