CN110990555B - 端到端检索式对话方法与系统及计算机设备 - Google Patents

端到端检索式对话方法与系统及计算机设备 Download PDF

Info

Publication number
CN110990555B
CN110990555B CN202010145309.5A CN202010145309A CN110990555B CN 110990555 B CN110990555 B CN 110990555B CN 202010145309 A CN202010145309 A CN 202010145309A CN 110990555 B CN110990555 B CN 110990555B
Authority
CN
China
Prior art keywords
word vector
long text
query long
bidirectional
system reply
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010145309.5A
Other languages
English (en)
Other versions
CN110990555A (zh
Inventor
潘伟
金聪
廖健
祝大裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Post Consumer Finance Co Ltd
Original Assignee
China Post Consumer Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Post Consumer Finance Co Ltd filed Critical China Post Consumer Finance Co Ltd
Priority to CN202010145309.5A priority Critical patent/CN110990555B/zh
Publication of CN110990555A publication Critical patent/CN110990555A/zh
Application granted granted Critical
Publication of CN110990555B publication Critical patent/CN110990555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种端到端检索式对话方法与系统及计算机设备。所述端到端检索式对话系统将当前对话流程的上下文信息进行连接得到查询长文本，使查询长文本与候选系统回复通过编码层、双向LSTM层、交叉注意力层、点积层、双卷积神经网络层以及全连接层，得到文本相似度评分，并选择相似度评分最高的候选系统回复作为最终的系统回复。本发明实施例的端到端检索式对话方法与系统及计算机设备，具有很强的文本语义理解能力，能够有效的利用对话过程中的上下文信息进行语义推理，大大的提高了系统回复选择的正确率，从而提升了通话效率。当其被应用于机器人催收场景中时，在增加客户体验的同时，可以提升催收回款率。

Description

端到端检索式对话方法与系统及计算机设备
技术领域
本发明涉及人机交互技术领域，特别涉及一种端到端检索式对话方法与系统及计算机设备。
背景技术
近年来，随着人工智能技术的发展，特别是深度学习技术在自然语言处理问题上取得的巨大成功，对话系统越来越引起人们的注意，在智能催收、智能客服以及智能电核等领域得到了长足的发展。对话系统根据不同的任务类型大致可以分为两类：任务型对话系统和非任务型（闲聊型）对话系统。任务型对话系统指在特定条件下提供信息或服务的系统，通常情况下是为了满足带有明确目的的用户，例如咨询、查账、催收等任务型场景。
构建任务型对话系统主要有基于管道的方法和端到端的方法。基于管道的方法将对话流程视为一条管道，主要包括四个关键组件部分：自然语言理解（NLU）、对话状态跟踪（DST）、对话状态学习（DPL）和自然语言生成（NLG）。自然语言理解组件主要通过分词、词性标注、命名实体识别、句法分析、指代消解等自然语言处理技术对用户输入查询（query）进行处理客户意图识别，提取用户的对话意图以及预定义的语义槽，完成语义表示。主要利用CFR、RNN或者LSTM等方法进行客户意图识别和槽值填充；对话状态跟踪管理每个回合的输入和对话历史，输出当前对话状态；对话状态学习根据状态跟踪器的状态表示，对话策略学习是生成下一个可用的系统操作；自然语言生成将上一步的系统操作进行映射并生成回复。与基于管道的方法不同，端到端的方法只有一个模块，输入的是原始数据，输出是最后的结果。具体对话系统来说，就是学习对话历史到系统回复的映射问题。
对话系统根据回复文本生成策略的不同，又可以分为生成式方法和检索式方法。生成式方法基于序列到序列模型框架给出答案。检索式方法训练模型对给定的候选答案进行相似度评分并进行排序，选择评分最大的候选答案作为最终答案。
由于传统的基于管道的方法主要存在过程依赖问题，下一个组件的输入依赖于上一个组件的输出，系统缺乏整体连贯性，且管道式的对话缺乏领域迁移性。而生成式方法又容易出现语法错误，或者生成一些没有意义的回复，因此针对特定任务型场景，端到端的检索式方法成为研究的热点。但是，目前基于深度学习的端到端检索式方法基本都是根据用户的输入来与候选答案进行匹配，没有考虑到对话的上下文信息，导致系统回答的正确率低。
发明内容
基于此，有必要提供一种系统回复正确率高的端到端检索式对话方法与系统及计算机设备。
本发明实施例一方面提供一种端到端检索式对话方法，其包括如下步骤：
S1：将当前对话流程的上下文信息进行连接得到查询长文本；
S2：对查询长文本和候选系统回复进行编码，获得查询长文本词向量和候选系统回复词向量；
S3：将查询长文本词向量和候选系统回复词向量通过双向LSTM层，得到双向查询长文本词向量和双向候选系统回复词向量；
S4：使双向查询长文本词向量和双向候选系统回复词向量通过注意力机制，得到查询长文本对偶编码词向量和候选系统回复对偶编码词向量，并将查询长文本对偶编码词向量和候选系统回复对偶编码词向量分别与对应的查询长文本词向量和候选系统回复词向量进行拼接，得到查询长文本拼接词向量和候选系统回复拼接词向量；
S5：将查询长文本拼接词向量和候选系统回复拼接词向量通过双向LSTM层，得到双向查询长文本拼接词向量和双向候选系统回复拼接词向量；
S6：将双向查询长文本拼接词向量和双向候选系统回复拼接词向量进行张量点积，得到词相似度矩阵；
S7：将词相似度矩阵进行卷积操作，输出短语级别语义特征图；
S8：在短语级别语义特征图上进行卷积操作，输出句子级别语义特征图；
S9：将句子级别语义特征图输入全连接层，得到文本相似度评分；
S10：选择相似度评分最高的候选系统回复作为最终的系统回复。
作为上述实施例的进一步改进，在步骤S1中，将当前对话流程的上下文信息依次首尾相接，得到查询长文本，在步骤S2中，采用Bert预训练模型的编码模块对查询长文本和候选系统回复进行编码。
作为上述实施例的进一步改进，在步骤S4中，在使双向查询长文本词向量和双向 候选系统回复词向量通过注意力机制得到查询长文本对偶编码词向量和候选系统回复对 偶编码词向量时，记
Figure 747079DEST_PATH_IMAGE001
表示当前双向查询长文本词向量，
Figure 741579DEST_PATH_IMAGE002
表示当前双向候选系统 回复词向量，计算注意力权重及对偶编码词向量的公式如下：
Figure 23656DEST_PATH_IMAGE004
其中，（2）式和（3）式分别对应双向查询长文本词向量
Figure 459317DEST_PATH_IMAGE001
对所有的双向候选系 统回复词向量
Figure 450538DEST_PATH_IMAGE002
做注意力和双向候选系统回复词向量
Figure 666755DEST_PATH_IMAGE002
对所有的双向查询长文本 词向量
Figure 18102DEST_PATH_IMAGE001
做注意力，
Figure 573848DEST_PATH_IMAGE005
和
Figure 985238DEST_PATH_IMAGE006
分别表示查询长文本对偶编码词向量和候选系统 回复对偶编码词向量。
作为上述实施例的进一步改进，在步骤S9中，在全连接层，使用sigmoid函数作为激活函数。
作为上述实施例的进一步改进，在步骤S3和步骤S5中，分别在双向LSTM层上进一步进行Layer Normalization操作，在步骤S7和步骤S8中，进行卷积操作后进一步进行Batch Normalization操作。
本发明实施例另一方面提供一种端到端检索式对话系统，其包括：
查询长文本生成组件，用于将当前对话流程的上下文信息进行连接得到查询长文本；
系统回复评分组件，用于根据模型文件对候选系统回复进行评分；
系统回复选择组件，用于选择相似度评分最高的候选系统回复作为最终的系统回复；
多轮对话模型训练组件，用于从所述系统回复选择组件获得训练集，对对话模型进行训练，并输出模型文件给所述系统回复评分组件；
所述多轮对话模型训练组件进一步包括：
编码模块，用于对查询长文本和候选系统回复进行编码，获得查询长文本词向量和候选系统回复词向量；
第一双向LSTM层，用于将查询长文本词向量和候选系统回复词向量通过双向LSTM层，得到双向查询长文本词向量和双向候选系统回复词向量；
交叉注意力层，用于使双向查询长文本词向量和双向候选系统回复词向量通过交叉注意力层，得到查询长文本对偶编码词向量和候选系统回复对偶编码词向量，并将查询长文本对偶编码词向量和候选系统回复对偶编码词向量分别与对应的查询长文本词向量和候选系统回复词向量进行拼接，得到查询长文本拼接词向量和候选系统回复拼接词向量；
第二双向LSTM层，用于将查询长文本拼接词向量和候选系统回复拼接词向量通过双向LSTM层，得到双向查询长文本拼接词向量和双向候选系统回复拼接词向量；
点积层，用于将双向查询长文本拼接词向量和双向候选系统回复拼接词向量进行张量点积，得到词相似度矩阵；
第一卷积神经网络层，用于将词相似度矩阵进行卷积操作，输出短语级别语义特征图；
第二卷积神经网络层，用于在短语级别语义特征图上进行卷积操作，输出句子级别语义特征图；
全连接层，将句子级别语义特征图输入全连接层，得到文本相似度评分。
作为上述实施例的进一步改进，所述查询长文本生成组件将当前对话流程的上下文信息依次首尾相接，得到所述查询长文本。
作为上述实施例的进一步改进，所述编码模块为Bert预训练模型的编码模块。
作为上述实施例的进一步改进，所述全连接层使用sigmoid函数作为激活函数。
作为上述实施例的进一步改进，在使双向查询长文本词向量和双向候选系统回复 词向量通过交叉注意力层得到查询长文本对偶编码词向量和候选系统回复对偶编码词向 量时，记
Figure 141282DEST_PATH_IMAGE001
表示当前双向查询长文本词向量，
Figure 827478DEST_PATH_IMAGE002
表示当前双向候选系统回复词向 量，计算注意力权重及对偶编码词向量的公式如下：
Figure 768889DEST_PATH_IMAGE004
其中，（2）式和（3）式分别对应双向查询长文本词向量
Figure 85601DEST_PATH_IMAGE001
对所有的双向候选系 统回复词向量
Figure 276411DEST_PATH_IMAGE002
做注意力和双向候选系统回复词向量
Figure 703981DEST_PATH_IMAGE002
对所有的双向查询长文 本词向量
Figure 31058DEST_PATH_IMAGE001
做注意力，
Figure 269403DEST_PATH_IMAGE005
和
Figure 947509DEST_PATH_IMAGE006
分别表示查询长文本对偶编码词向量和候选系 统回复对偶编码词向量。
作为上述实施例的进一步改进，在所述第一双向LSTM层和第二双向LSTM层上分别进行Layer Normalization操作，在第一卷积神经网络层和第二卷积神经网络层上分别进行Batch Normalization操作。
本发明实施例再一方面提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。
本发明实施例的端到端检索式对话方法与系统及计算机设备，具有很强的文本语义理解能力，能够有效的利用对话过程中的上下文信息进行语义推理，大大的提高了系统回复选择的正确率，从而提升了通话效率。当其被应用于机器人催收场景中时，在增加客户体验的同时，可以提升催收回款率。
附图说明
通过附图中所示的本发明优选实施例更具体说明，本发明上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本的主旨。
图1为本发明实施例的端到端检索式对话系统的结构示意图；
图2为本发明实施例的端到端检索式对话系统的网络结构图；
图3为本发明实施例的端到端检索式对话系统的工作流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1-3所示，本发明实施例提供一种端到端检索式对话方法，其包括如下步骤：
S1：将当前对话流程的上下文信息进行连接得到查询长文本；
S2：对查询长文本和候选系统回复进行编码，获得查询长文本词向量和候选系统回复词向量；
S3：将查询长文本词向量和候选系统回复词向量通过双向LSTM层（双向长短期记忆网络层，BiLSTM），得到双向查询长文本词向量和双向候选系统回复词向量；
S4：使双向查询长文本词向量和双向候选系统回复词向量通过注意力机制，得到 查询长文本对偶编码词向量和候选系统回复对偶编码词向量。记
Figure 178770DEST_PATH_IMAGE001
表示当前双向查询 长文本词向量，
Figure 829194DEST_PATH_IMAGE002
表示当前双向候选系统回复词向量。计算注意力权重及对偶编码词 向量的公式如下：
Figure 284447DEST_PATH_IMAGE004
其中，（2）式和（3）式分别对应双向查询长文本词向量
Figure 387532DEST_PATH_IMAGE001
对所有的双向候选系 统回复词向量
Figure 219222DEST_PATH_IMAGE002
做注意力和双向候选系统回复词向量
Figure 973420DEST_PATH_IMAGE002
对所有的双向查询长文 本词向量
Figure 599573DEST_PATH_IMAGE001
做注意力。
Figure 189955DEST_PATH_IMAGE005
和
Figure 825335DEST_PATH_IMAGE006
分别表示查询长文本对偶编码词向量和候选系 统回复对偶编码词向量。然后将查询长文本对偶编码词向量和候选系统回复对偶编码词向 量分别与对应的查询长文本词向量和候选系统回复词向量进行拼接，得到查询长文本拼接 词向量和候选系统回复拼接词向量；
S5：将查询长文本拼接词向量和候选系统回复拼接词向量通过双向LSTM层，得到双向查询长文本拼接词向量和双向候选系统回复拼接词向量；
S6：将双向查询长文本拼接词向量和双向候选系统回复拼接词向量进行张量点积，得到词相似度矩阵；
S7：将词相似度矩阵进行卷积神经网络操作，也即对词相似度矩阵进行卷积，输出短语级别语义特征图；
S8：在短语级别语义特征图上进行卷积神经网络操作，也即对短语级别语义特征图进行卷积，输出句子级别语义特征图；
S9：将句子级别语义特征图输入全连接层，得到文本相似度评分；
S10：选择相似度评分最高的候选系统回复作为最终的系统回复。
在步骤S3中，查询长文本词向量通过双向LSTM层时，得到查询长文本向前输入向量和查询长文本向后输入向量，双向查询长文本词向量由查询长文本向前输入向量和查询长文本向后输入向量组合而成。类似地，双向候选系统回复词向量、双向查询长文本拼接词向量和双向候选系统回复拼接词向量也是由对应的向前输入向量和向后输入向量组合而成。
在步骤S4中，在双向查询长文本词向量和双向候选系统回复词向量通过交叉注意力层的注意力机制时，其所得到的查询长文本对偶编码词向量和候选系统回复对偶编码词向量带有查询长文本与候选系统回复的交互信息，从而使得回复的准确率更加高。
在优选实施例中，在步骤S1中，将当前对话流程的上下文信息依次首尾相接，得到查询长文本，在步骤S2中，采用Bert预训练模型的编码模块对查询长文本和候选系统回复进行编码。在其他实施例中，查询长文本词向量和候选系统回复词向量也可以通过word2vec模型得到。
在优选实施例中，在步骤S9中，在全连接层，使用sigmoid函数作为激活函数。激活函数（activation function）运行时激活神经网络中某一部分神经元，将激活信息向后传入下一层的神经网络。sigmoid 函数的优点在于，它的输出映射在(0,1)内，单调连续，非常适合用作输出层，并且求导比较容易。
在优选实施例中，在步骤S3和步骤S5中，分别在双向LSTM层上进一步进行LayerNormalization操作，在步骤S7和步骤S8中，在卷积神经网络层上进行卷积操作后，进一步进行Batch Normalization操作。Batch Normalization是纵向归一化，在batch的方向上对同一层每一个神经元进行归一化，即同一层每个神经元具有不同的均值和方差。LayerNormalization 是横向归一化，即同一层的所有神经元具有相同的均值和方差。样本经过多层神经网络后，输出值往往变得很大或者很小，即向两个极端偏移，导致神经网络训练速度变慢。经过归一化后再输入到激活函数，得到的值大部分会落入非线性函数的线性区，导数远离导数饱和区，避免了梯度消失，这样来加速训练收敛过程，从而改进多轮对话模型文本相似度的评分效果。
请参考图1-3，本发明实施例还提供一种端到端检索式对话系统，其包括：
查询长文本生成组件，用于将当前对话流程的上下文信息进行连接得到查询长文本，在一些实施例中，查询长文本生成组件即为输入组件；
系统回复评分组件，用于根据模型文件对候选系统回复进行评分；
系统回复选择组件，用于选择相似度评分最高的候选系统回复作为最终的系统回复；具体来说，对候选系统回复按其相似度评分进行排序，然后选择相似度评分最高的候选系统回复作为最终的系统回复；
多轮对话模型训练组件，用于从系统回复选择组件获得训练集，对对话模型进行训练，并输出模型文件给系统回复评分组件。多轮对话模型训练组件针对每次通话记录，从第二轮对话开始，依次将当前客户输入和上文多轮对话进行拼接得到查询长文本，选择当前系统回复作为正确的回复，随机选择其它系统回复作为错误的回复，将查询长文本与正确的回复组合在一起构成正训练样本，将查询长文本与错误的回复组合在一起构成负训练样本，然后进行多轮对话模型训练。
多轮对话模型训练组件进一步包括：
编码模块，用于对查询长文本和候选系统回复的文本进行编码，获得查询长文本词向量和候选系统回复词向量。
第一双向LSTM层，用于将查询长文本词向量和候选系统回复词向量通过双向LSTM层，得到双向查询长文本词向量和双向候选系统回复词向量，该第一双向LSTM层是在上一层输出的词编码向量的基础上对查询长文本和候选系统回复进行语义编码，输出相同结构的词编码向量。
交叉注意力层，用于使双向查询长文本词向量和双向候选系统回复词向量通过交叉注意力层，得到查询长文本对偶编码词向量和候选系统回复对偶编码词向量，并将查询长文本对偶编码词向量和候选系统回复对偶编码词向量分别与对应的查询长文本词向量和候选系统回复词向量进行拼接，得到查询长文本拼接词向量和候选系统回复拼接词向量。
记
Figure 919193DEST_PATH_IMAGE001
表示当前双向查询长文本词向量，
Figure 981827DEST_PATH_IMAGE002
表示当前双向候选系统回复词 向量。计算注意力权重及对偶编码词向量的公式如下：
Figure 59505DEST_PATH_IMAGE004
其中，（2）式和（3）式分别对应双向查询长文本词向量
Figure 186992DEST_PATH_IMAGE001
对所有的双向候选系 统回复词向量
Figure 463252DEST_PATH_IMAGE002
做注意力和双向候选系统回复词向量
Figure 634471DEST_PATH_IMAGE002
对所有的双向查询长文 本词向量
Figure 996182DEST_PATH_IMAGE001
做注意力。
Figure 911048DEST_PATH_IMAGE005
和
Figure 41815DEST_PATH_IMAGE006
分别表示查询长文本对偶编码词向量和候选系 统回复对偶编码词向量。
第二双向LSTM层，用于将查询长文本拼接词向量和候选系统回复拼接词向量通过双向LSTM层，得到双向查询长文本拼接词向量和双向候选系统回复拼接词向量；第二双向LSTM层的作用跟第一双向LSTM层一样，是在交叉注意力层输出的词编码向量的基础上进行语义编码，输出相同结构的词向量。
点积层，用于将双向查询长文本拼接词向量和双向候选系统回复拼接词向量进行张量点积，得到词相似度矩阵。
第一卷积神经网络层，用于将词相似度矩阵进行卷积操作，输出短语级别语义特征图。
第二卷积神经网络层，用于在短语级别语义特征图上进行卷积操作，输出句子级别语义特征图。
全连接层，将句子级别语义特征图输入全连接层，得到文本相似度评分。
在优选实施例中，查询长文本生成组件将当前对话流程的上下文信息依次首尾相接，得到查询长文本。
在优选实施例中，编码模块为Bert预训练模型的编码模块。在其他实施例中，查询长文本词向量和候选系统回复词向量也可以通过word2vec模型得到。
在优选实施例中，全连接层使用sigmoid函数作为激活函数。激活函数运行时激活神经网络中某一部分神经元，将激活信息向后传入下一层的神经网络。sigmoid 函数的优点在于，它的输出映射在(0,1)内，单调连续，非常适合用作输出层，并且求导比较容易。
在优选实施例中，在第一双向LSTM层和第二双向LSTM层上分别进行LayerNormalization操作，在第一卷积神经网络层和第二卷积神经网络层上分别进行BatchNormalization操作。Batch Normalization是纵向归一化，在batch的方向上对同一层每一个神经元进行归一化，即同一层每个神经元具有不同的均值和方差。Layer Normalization是横向归一化，即同一层的所有神经元具有相同的均值和方差。样本经过多层神经网络后，输出值往往变得很大或者很小，即向两个极端偏移，导致神经网络训练速度变慢。经过归一化后再输入到激活函数，得到的值大部分会落入非线性函数的线性区，导数远离导数饱和区，避免了梯度消失，这样来加速训练收敛过程，从而改进多轮对话模型文本相似度的评分效果。
本发明实施例还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例的方法的步骤。该计算机设备可以是可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。
本实施例中，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card ,SMC)，安全数字(Secure Digital ,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现上述实施例的端到端检索式对话方法。
本发明实施例的端到端检索式对话方法与系统及计算机设备，具有很强的文本语义理解能力，能够有效的利用对话过程中的上下文信息进行语义推理，大大的提高了系统回复选择的正确率，从而提升了通话效率。当其被应用于机器人催收场景中时，在增加客户体验的同时，可以提升催收回款率。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种端到端检索式对话方法，其特征在于，包括如下步骤：
S1：将当前对话流程的上下文信息进行连接得到查询长文本；
S2：对查询长文本和候选系统回复进行编码，获得查询长文本词向量和候选系统回复词向量；
S3：将查询长文本词向量和候选系统回复词向量通过双向LSTM层，得到双向查询长文本词向量和双向候选系统回复词向量；
S4：使双向查询长文本词向量和双向候选系统回复词向量通过注意力机制，得到查询长文本对偶编码词向量和候选系统回复对偶编码词向量，并将查询长文本对偶编码词向量和候选系统回复对偶编码词向量分别与对应的查询长文本词向量和候选系统回复词向量进行拼接，得到查询长文本拼接词向量和候选系统回复拼接词向量；
S5：将查询长文本拼接词向量和候选系统回复拼接词向量通过双向LSTM层，得到双向查询长文本拼接词向量和双向候选系统回复拼接词向量；
S6：将双向查询长文本拼接词向量和双向候选系统回复拼接词向量进行张量点积，得到词相似度矩阵；
S7：将词相似度矩阵进行卷积操作，输出短语级别语义特征图；
S8：在短语级别语义特征图上进行卷积操作，输出句子级别语义特征图；
S9：将句子级别语义特征图输入全连接层，得到文本相似度评分；
S10：选择相似度评分最高的候选系统回复作为最终的系统回复。
2.根据权利要求1所述的端到端检索式对话方法，其特征在于，在步骤S1中，将当前对话流程的上下文信息依次首尾相接，得到查询长文本，在步骤S2中，采用Bert预训练模型的编码模块对查询长文本和候选系统回复进行编码。
3.根据权利要求1所述的端到端检索式对话方法，其特征在于，在步骤S4中，在使双向 查询长文本词向量和双向候选系统回复词向量通过注意力机制得到查询长文本对偶编码 词向量和候选系统回复对偶编码词向量时，记
Figure 645779DEST_PATH_IMAGE001
表示当前双向查询长文本词向量，
Figure 766182DEST_PATH_IMAGE002
表 示当前双向候选系统回复词向量，计算注意力权重及对偶编码词向量的公式如下：
Figure 14760DEST_PATH_IMAGE004
其中，（2）式和（3）式分别对应双向查询长文本词向量
Figure 878811DEST_PATH_IMAGE001
对所有的双向候选系统回复 词向量
Figure 958763DEST_PATH_IMAGE002
做注意力和双向候选系统回复词向量
Figure 799DEST_PATH_IMAGE002
对所有的双向查询长文本词向量
Figure 471095DEST_PATH_IMAGE001
做注意力，
Figure 935574DEST_PATH_IMAGE005
和
Figure DEST_PATH_IMAGE006
分别表示查询长文本对偶编码词向量和候选系统回复对偶编 码词向量。
4.根据权利要求1所述的端到端检索式对话方法，其特征在于，在步骤S3和步骤S5中，分别在双向LSTM层上进一步进行Layer Normalization操作，在步骤S7和步骤S8中，进行卷积操作后进一步进行Batch Normalization操作，在步骤S9中，在全连接层，使用sigmoid函数作为激活函数。
5.一种端到端检索式对话系统，其特征在于，包括：
查询长文本生成组件，用于将当前对话流程的上下文信息进行连接得到查询长文本；
系统回复评分组件，用于根据模型文件对候选系统回复进行评分；
系统回复选择组件，用于选择相似度评分最高的候选系统回复作为最终的系统回复；
多轮对话模型训练组件，用于从所述系统回复选择组件获得训练集，对对话模型进行训练，并输出模型文件给所述系统回复评分组件；
所述多轮对话模型训练组件进一步包括：
编码模块，用于对查询长文本和候选系统回复进行编码，获得查询长文本词向量和候选系统回复词向量；
第一双向LSTM层，用于将查询长文本词向量和候选系统回复词向量通过双向LSTM层，得到双向查询长文本词向量和双向候选系统回复词向量；
交叉注意力层，用于使双向查询长文本词向量和双向候选系统回复词向量通过交叉注意力层，得到查询长文本对偶编码词向量和候选系统回复对偶编码词向量，并将查询长文本对偶编码词向量和候选系统回复对偶编码词向量分别与对应的查询长文本词向量和候选系统回复词向量进行拼接，得到查询长文本拼接词向量和候选系统回复拼接词向量；
第二双向LSTM层，用于将查询长文本拼接词向量和候选系统回复拼接词向量通过双向LSTM层，得到双向查询长文本拼接词向量和双向候选系统回复拼接词向量；
点积层，用于将双向查询长文本拼接词向量和双向候选系统回复拼接词向量进行张量点积，得到词相似度矩阵；
第一卷积神经网络层，用于将词相似度矩阵进行卷积操作，输出短语级别语义特征图；
第二卷积神经网络层，用于在短语级别语义特征图上进行卷积操作，输出句子级别语义特征图；
全连接层，将句子级别语义特征图输入全连接层，得到文本相似度评分。
6.根据权利要求5所述的端到端检索式对话系统，其特征在于，所述查询长文本生成组件将当前对话流程的上下文信息依次首尾相接，得到所述查询长文本。
7.根据权利要求5所述的端到端检索式对话系统，其特征在于，所述编码模块为Bert预训练模型的编码模块。
8.根据权利要求5所述的端到端检索式对话系统，其特征在于，在使双向查询长文本词 向量和双向候选系统回复词向量通过交叉注意力层得到查询长文本对偶编码词向量和候 选系统回复对偶编码词向量时，记
Figure 73294DEST_PATH_IMAGE001
表示当前双向查询长文本词向量，
Figure 269920DEST_PATH_IMAGE002
表示当前 双向候选系统回复词向量，计算注意力权重及对偶编码词向量的公式如下：
Figure 289829DEST_PATH_IMAGE004
其中，（2）式和（3）式分别对应双向查询长文本词向量
Figure 479371DEST_PATH_IMAGE001
对所有的双向候选系统回 复词向量
Figure 268335DEST_PATH_IMAGE002
做注意力和双向候选系统回复词向量
Figure 901442DEST_PATH_IMAGE002
对所有的双向查询长文本词向 量
Figure 611909DEST_PATH_IMAGE001
做注意力，
Figure 152612DEST_PATH_IMAGE005
和
Figure 999345DEST_PATH_IMAGE006
分别表示查询长文本对偶编码词向量和候选系统回复对 偶编码词向量。
9.根据权利要求5所述的端到端检索式对话系统，其特征在于，在所述第一双向LSTM层和第二双向LSTM层上分别进行Layer Normalization操作，在第一卷积神经网络层和第二卷积神经网络层上分别进行Batch Normalization操作，所述全连接层使用sigmoid函数作为激活函数。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
CN202010145309.5A 2020-03-05 2020-03-05 端到端检索式对话方法与系统及计算机设备 Active CN110990555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010145309.5A CN110990555B (zh) 2020-03-05 2020-03-05 端到端检索式对话方法与系统及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010145309.5A CN110990555B (zh) 2020-03-05 2020-03-05 端到端检索式对话方法与系统及计算机设备

Publications (2)

Publication Number Publication Date
CN110990555A CN110990555A (zh) 2020-04-10
CN110990555B true CN110990555B (zh) 2020-06-12

Family

ID=70081494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010145309.5A Active CN110990555B (zh) 2020-03-05 2020-03-05 端到端检索式对话方法与系统及计算机设备

Country Status (1)

Country Link
CN (1) CN110990555B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753068B (zh) * 2020-05-27 2024-03-26 江汉大学 一种开放域对话回复自动生成方法、系统及存储介质
CN111687689A (zh) * 2020-06-23 2020-09-22 重庆大学 一种基于lstm和cnn的刀具磨损状态预测方法及装置
CN113535918B (zh) * 2021-07-14 2022-09-09 梁晨 预训练对偶注意力神经网络语义推断对话检索方法及系统、检索设备、存储介质
CN113727288B (zh) * 2021-08-31 2022-06-24 安徽迪科数金科技有限公司 一种基于5g消息的静默客服机器人
CN115456176B (zh) * 2022-10-10 2023-07-21 延边大学 一种基于知识增强的文本匹配方法及系统
CN116737888B (zh) * 2023-01-11 2024-05-17 北京百度网讯科技有限公司 对话生成模型的训练方法和答复文本的确定方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置
CN108875074A (zh) * 2018-07-09 2018-11-23 北京慧闻科技发展有限公司 基于交叉注意力神经网络的答案选择方法、装置和电子设备
CN110362651A (zh) * 2019-06-11 2019-10-22 华南师范大学 检索和生成相结合的对话方法、系统、装置和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11409791B2 (en) * 2016-06-10 2022-08-09 Disney Enterprises, Inc. Joint heterogeneous language-vision embeddings for video tagging and search
JP7149560B2 (ja) * 2018-04-13 2022-10-07 国立研究開発法人情報通信研究機構 リクエスト言換システム、リクエスト言換モデル及びリクエスト判定モデルの訓練方法、及び対話システム
CN110222349B (zh) * 2019-06-13 2020-05-19 成都信息工程大学 一种深度动态上下文词语表示的方法及计算机
CN110413752B (zh) * 2019-07-22 2021-11-16 中国科学院自动化研究所 基于对话逻辑的多轮口语理解方法、系统、装置
CN110543557B (zh) * 2019-09-06 2021-04-02 北京工业大学 一种基于注意力机制的医疗智能问答系统的构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置
CN108875074A (zh) * 2018-07-09 2018-11-23 北京慧闻科技发展有限公司 基于交叉注意力神经网络的答案选择方法、装置和电子设备
CN110362651A (zh) * 2019-06-11 2019-10-22 华南师范大学 检索和生成相结合的对话方法、系统、装置和存储介质

Also Published As

Publication number Publication date
CN110990555A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110990555B (zh) 端到端检索式对话方法与系统及计算机设备
CN111783462B (zh) 基于双神经网络融合的中文命名实体识别模型及方法
CN109033068B (zh) 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN108733742B (zh) 全局归一化阅读器系统和方法
Ren et al. Conversational query understanding using sequence to sequence modeling
CN110678882B (zh) 使用机器学习从电子文档选择回答跨距的方法及系统
CN108780464A (zh) 用于处理输入查询的方法和系统
CN111062217B (zh) 语言信息的处理方法、装置、存储介质及电子设备
EP3411835B1 (en) Augmenting neural networks with hierarchical external memory
JP2019215841A (ja) 質問生成装置、質問生成方法及びプログラム
CN112307168B (zh) 基于人工智能的问诊会话处理方法、装置和计算机设备
WO2019235103A1 (ja) 質問生成装置、質問生成方法及びプログラム
JP7417679B2 (ja) 情報抽出方法、装置、電子機器及び記憶媒体
CN115982403B (zh) 一种多模态哈希检索方法及装置
CN113204611A (zh) 建立阅读理解模型的方法、阅读理解方法及对应装置
CN113761868B (zh) 文本处理方法、装置、电子设备及可读存储介质
CN115600597A (zh) 基于注意力机制和词内语义融合的命名实体识别方法、装置、系统及存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN117271759A (zh) 文本摘要生成模型训练方法、文本摘要生成方法和装置
Li et al. LSTM-based deep learning models for answer ranking
US11941360B2 (en) Acronym definition network
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN117114063A (zh) 用于训练生成式大语言模型和用于处理图像任务的方法
CN111666375A (zh) 文本相似度的匹配方法、电子设备和计算机可读介质
CN116362242A (zh) 一种小样本槽值提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant