CN114490991A - 基于细粒度局部信息增强的对话结构感知对话方法及系统 - Google Patents

基于细粒度局部信息增强的对话结构感知对话方法及系统 Download PDF

Info

Publication number
CN114490991A
CN114490991A CN202210109486.7A CN202210109486A CN114490991A CN 114490991 A CN114490991 A CN 114490991A CN 202210109486 A CN202210109486 A CN 202210109486A CN 114490991 A CN114490991 A CN 114490991A
Authority
CN
China
Prior art keywords
dialog
safl
reply
dialogue
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210109486.7A
Other languages
English (en)
Inventor
陈羽中
陈泽林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210109486.7A priority Critical patent/CN114490991A/zh
Publication of CN114490991A publication Critical patent/CN114490991A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于细粒度局部信息增强的对话结构感知对话方法及系统，该方法包括以下步骤：步骤A：获取特定场景的多轮对话文本，并标注每个多轮对话回复所属的类别，构建带正负类别标签的训练集D；步骤B：使用训练集D训练细粒度局部信息增强的对话结构感知深度学习网络模型SAFL，用于选择给定多轮对话上下文对应的回复；步骤C：将多轮对话上下文与回复集输入到训练后的深度学习网络模型SAFL中，得到对应多轮对话上下文最合适的回复。该方法及系统有利于提高提高多轮对话回复选择的精确度。

Description

基于细粒度局部信息增强的对话结构感知对话方法及系统
技术领域
本发明属于自然语言处理领域，具体涉及一种基于细粒度局部信息增强的对话结构感知对话方法及系统。
背景技术
近些年来，随着机器学习和深度学习网络的发展，人类在与计算机的智能对话中取得了重大进步，对话系统逐渐走进了大家的视野。对话系统对工业界和学术界都有着重要的研究价值，并且可以广泛应用在很多领域。目前的对话系统算法主要有生成式对话和检索式对话两类，其中，生成式对话在推理阶段不依赖任何语料库就能根据一个问题逐字生成一个答案，其生成的答案具有多样性的优点，但获取的答案往往逻辑性不强，有时还会陷入安全回复的陷阱中。而检索式对话是让算法根据特定的一个问题到语料库中找到一个最合适的答案进行回复，能够从问题中提取出与正确回复相关联的信息，依据这些信息推理出合适的答案。检索式对话模型目前已广泛应用于微软小冰等多轮对话系统中，相较于生成式对话模型更加可靠，具有更好的实用性。
Lowe等人针对检索式多轮对话中的回复选择任务构建了两个基准模型，分别基于循环神经网络(Recurrent Neural Networks，RNNs)算法和长短期记忆网络(Long ShortTerm Memory，LSTM)算法。这两个基准模型在对文本进行编码的过程中借助RNN的隐藏层单元记忆上一时刻的文本特征，为模型引入时间顺序信息，克服了早期算法中使用词袋模型的缺点。但是在多轮对话中，对话历史可能是冗长的，并非所有的内容都与回复相关，上述的两个基准模型对整段对话数据直接进行编码，不能有针对性的从对话数据中提取出重要的信息，导致为模型带来不必要的噪声。为了从长文本中提取出重要的信息，研究人员提出通过将上下文和回复进行匹配来提取出重要的信息，将回复选择任务分解为三个步骤，第一步骤是使用基于RNN的算法从每一个话语和回复中提取特征，第二个步骤是将提取到的话语特征与回复特征去做匹配，第三个步骤就是使用CNN等方法在匹配矩阵中取出计算分数需要的信息。但是RNN能提取到的语义信息是有限的，RNN编码假设数据是序列相关的，但是在对话数据中话题是动态的，距离很远的两段话也可能高度相关，RNN编码难以准确学习到这两段话的关系，同时RNN在编码长度较长的段落时还可能会出现梯度消失的现象，不能很好获取远距离依赖关系。RNN的局限性导致上述方法可能在第一个步骤中就已经丢失了重要的信息。2017年Vaswani提出的Transformer架构借助大量的自注意力和交互注意力运算，能够充分掌握全局的依赖信息，不受序列距离的限制。研究人员将Transformer的编码器部分改写并应用于模型的编码模块，加强了模型提取信息的能力，同时受Transformer中多头注意力机制的影响，这些工作在匹配阶段利用多头注意力构建了多种粒度的语义信息，丰富了模型的特征表示，取得了明显的提升效果。但是，上述模型还存在着以下几点问题。第一，对于全局序列信息考虑不足。上述模型主要在匹配结束之后使用RNN等方法编码所有的语句表征，这些语句表征在编码，匹配阶段可能就已经丢失了重要的信息。第二，使用的词向量表示没有考虑到上下文语境。上述模型主要使用Word2vec这样的静态词向量，难以解决一词多义问题，无法根据不同的上下文语境准确表达语义信息，从而在编码阶段就带来噪声。
为了解决上述问题，多轮对话中回复选择任务的研究重点逐步转向了基于预训练语言模型的方法，该类方法的基本步骤是先使用具有多层Transformer编码器的预训练语言模型编码整段对话数据，再将输出中能表示全局信息[CLS]位置的输出表征输入到分类层进行预测。在近期，一些最新的研究工作为多轮对话任务从对话结构，语句结构等角度提出了有效的对话建模方法，为研究人员的未来工作提供了新的思路。Liu等人从对话话语、对话人说话顺序等对话结构的角度上提出了MDFN(Mask-based Decoupling-FusingNetwork)模型。具体的，MDFN设计了两类粒度的注意力计算方式，分别为话语粒度的注意力机制以及对话人粒度的注意力机制，同时话语粒度的注意力中又细分为了话语内部的注意力运算与话语之间的交互注意力运算，对话人粒度的注意力中细分为了对话人内部的注意力运算与对话人之间的交互注意力运算。借助上述两类四种的注意力计算机制，模型只需要在四种指定的粒度上提取信息，减轻模型提取重点信息的难度。但是MDFN模型在每个注意力通道中重点建模语句之间的关系，没有在此基础之上根据对话特点进一步提取，导致模型可能会错误提取到不相关的内容信息，同时限定四种注意力运算的方式也可能会限制了深度学习模型的表达能力。Zhang等人从语句结构的角度入手，提出了新颖的句子骨干正则化(Sentence Backbone Regularization，SBR)任务。SBR任务使用句法解析工具包将句子解析成词性结构的形式，并将BERT的参数导出去使用主语和谓语预测宾语，将句法结构与预训练语言模型结合起来去学习对话语句结构，取得了不错的效果。但是，句法解析工具包得到的结果并不是百分之百准确的，错误的解析结果可能会干扰到模型的判断，同时SBR任务与主任务之间差距较大的优化目标也可能会为主任务最终的判断带来噪声。
发明内容
本发明的目的在于提供一种基于细粒度局部信息增强的对话结构感知对话方法及系统，该方法及系统有利于提高提高多轮对话回复选择的精确度。
为实现上述目的，本发明采用的技术方案是：一种基于细粒度局部信息增强的对话结构感知对话方法，包括以下步骤：
步骤A：获取特定场景的多轮对话文本，并标注每个多轮对话回复所属的类别，构建带正负类别标签的训练集D；
步骤B：使用训练集D训练细粒度局部信息增强的对话结构感知深度学习网络模型SAFL，用于选择给定多轮对话上下文对应的回复；
步骤C：将多轮对话上下文与回复集输入到训练后的深度学习网络模型SAFL中，得到对应多轮对话上下文最合适的回复。
进一步地，所述步骤B具体包括以下步骤：
步骤B1：将训练集D的每个三元组形式的训练样本作为SAFL模型的输入，所述三元组形式的训练样本包括多轮对话上下文、回复、标签；SAFL模型使用预训练语言模型BERT作为基础，利用BERT的多层注意力机制学习到结合语境的上下文语义表示；同时SAFL模型采用多任务学习方式挖掘BERT的语义理解能力，主任务是多轮对话回复选择任务，辅助任务是随机滑动窗口回复预测任务以及对话结构感知任务；
步骤B2：在辅助任务部分，SAFL模型导出预训练语言模型BERT，利用随机滑动窗口回复预测任务以及对话结构感知任务优化预训练语言模型；随机滑动窗口回复预测任务在多轮对话上下文中采样不同位置、大小的窗口数据，使用预训练语言模型编码对话窗口，加强预训练语言模型对于对话局部信息的理解能力；对话结构感知任务根据对话人说话的先后顺序构造图结构，并使用GCN进行编码，促使预训练语言模型学习正确的对话结构所具备的特征，让预训练语言模型从另一个角度理解对话数据；
步骤B3：在主任务，即多轮对话回复选择任务中，SAFL模型采用重点局部信息蒸馏模块从预训练语言模型的输出中提取出细粒度的局部语义信息，通过门控机制对全局信息和局部信息进行进一步的融合筛选，并将筛选得到的融合特征与多粒度局部信息进行融合，输入到分类层中进行多轮对话上下文与回复之间的合理性分数的计算，评估当前回复是否对应给定的多轮对话上下文；最后根据目标损失函数，利用反向传播方法计算深度学习网络模型SAFL中的各参数的梯度，并利用随机梯度下降方法更新参数；
步骤B4：当深度学习网络模型SAFL产生的损失值迭代变化小于设定阈值或达到最大迭代次数，终止深度学习网络模型SAFL的训练。
进一步地，所述步骤B1具体包括以下步骤：
步骤B11：将u代表上下文中的话语，r代表回复，m代表着话语的个数，将SAFL的输入拼接成如下长序列形式：
x＝{[CLS],u1,[EOT],u2,[EOT],…,[EOT],um,[SEP],r,[SEP]}
其中，x为拼接得到的长文本；[CLS]和[SEP]为分隔符，[EOT]为SAFL用于学习局部信息的特殊标记；
步骤B12：通过预训练语言模型BERT的词典与模型的嵌入层，将x分别映射为词嵌入表示、位置嵌入表示与段落嵌入表示；
步骤B13：将每个词的词嵌入表示、位置嵌入表示与段落嵌入表示相加，得到融合后的嵌入表示，并使用BERT的多层Transformer网络进行编码，从而获取到序列的高层语义特征表示E。
进一步地，所述步骤B2具体包括以下步骤：
步骤B21：在随机滑动窗口回复预测任务，即模型的第一个辅助任务中，SAFL将滑动窗口的大小、位置都设为随机，采样落在滑动窗口内的局部对话上下文，并在局部对话上下文的每一个话语后面插入特殊标签[EOT]，如下列公式所示：
Figure BDA0003494679520000041
其中，x'是子任务的输入，与主任务不同，x'只保留窗口内部的信息，其他的信息由[PAD]替代，w代表当前窗口的大小，m代表完整的对话上下文中的话语个数，κ是一个超参数，代表最小窗口的大小；
步骤B22：将所述预训练语言模型BERT，即导出BERT模型的各项参数，利用它对落在滑动窗口内的局部对话上下文数据进行编码，让BERT学习到不同质量的对话数据，增强预训练语言模型的语义理解能力，公式如下：
E'＝BERT(x′)
步骤B23：SAFL将距离窗口回复最近的[EOT]表示E[EOT]输入到分类层之中计算多轮对话上下文与回复之间的合理性分数，公式如下：
g(wc,wr)＝σ(Ww TE[EOT]+bw)
其中，wc,wr表示窗口数据中的上下文和回复，Ww是预测层中可训练的参数，σ(·)表示sigmoid激活函数；
步骤B24：随机滑动窗口回复预测任务针对目标函数采用梯度下降的方式进行优化，目标函数采用交叉熵损失函数来评估当前打分与真实对话窗口标签的差异，具体公式如下：
Figure BDA0003494679520000051
其中D'代表窗口数据集；
步骤B25：对话结构感知任务，即模型的第二个辅助任务在多轮对话上下文中采样连续的对话片段，并将其输入BERT进行编码，具体公式如下：
”＝{[CLS]，u1，[EOT]，...，ui，[EOT]，...，us，[EOT]}
E″＝BERT(x”)
其中输入数据中包含着s个话语以及其对应的局部语义标签，这些话语是从对话上下文中抽取出的连续对话片段，其中s为一个超参数，用于控制抽取片段的长度大小；
步骤B26：SAFL将当前对话片段中的每一个话语作为一个节点，建立一个全连接的对话结构图，同时根据对话人说话的先后顺序赋予每条边不同的关系；
步骤B27：SAFL模型从E”中抽取s个话语对应的语义表征，作为对话结构图中的节点表示，采用带关系的GCN进行编码，具体公式如下：
Figure BDA0003494679520000052
Figure BDA0003494679520000053
其中，R表示所有的边关系集合，N表示图中所有节点的集合，ci,r是自动学习的边关系系数，Wr、Wm是模型需要学习的参数；得到带关系的GCN模块输出后，再采用非关系GCN进一步学习对话结构信息，具体公式如下：
Figure BDA0003494679520000054
其中，Wnr、Wnm是第二层GCN中需要学习的参数；
步骤B28：得到对话结构模块的输出后，SAFL模型将所有输出进行拼接，获得整体的对话结构表示，并使用线性层计算分数：
Figure BDA0003494679520000061
g(ws)＝σ(WTEs-ensemble+b)
步骤B29：对话结构感知任务针对目标函数采用梯度下降的方式进行优化，目标函数采用交叉熵损失函数来评估当前对话片段结构是否合理，具体公式如下：
Figure BDA0003494679520000062
其中，ws表示着当前对话片段数据，D”表示对话片段数据集。
进一步地，所述步骤B3具体包括以下步骤：
步骤B31：重点局部信息蒸馏模块在对话上下文的每一句话后面都埋设了特殊标签[EOT]，如下列公式所示：
x＝{[CLS],u1,[EOT],u2,[EOT],…,[EOT],um,[SEP],r,[SEP]}
在预训练语言模型深度注意力机制与位置嵌入的共同作用下，每一个位置的特殊标签[EOT]都学习到在各自特定位置上与周边文本的交互信息；同时，随机滑动窗口回复预测任务优化的过程中使用窗口之中的最后一个[EOT]标签建立分类任务，逐步学习到鉴别窗口回复能力；[EOT]这个特殊的标签的嵌入表示逐渐学习到一个正确句子的表示，且更加关注局部区域的文本；
步骤B32：在特征融合阶段，重点局部信息蒸馏模块从预训练语言模型的输出之中选取距离回复最近的n个局部语义表征作为多粒度的局部信息，同时使用拼接的方式将局部信息聚合成一个整体，具体公式如下：
Figure BDA0003494679520000063
其中，l表示距离回复最近的条目，n是一个超参数，用于代表取出[EOT]表征的个数；
步骤B33：得到多粒度的局部信息表征后，重点局部信息蒸馏模块采用多路门控机制过滤全局语义表示中的噪声；具体的，该模块采用每一种粒度的局部语义表示去和全局语义表示做门控选择：
Figure BDA0003494679520000064
Figure BDA0003494679520000071
步骤B34：全局语义表示在经过多路门控选择后，根据不同粒度局部语义表示蒸馏得到不同粒度的混和语义表示fusionk，受门控机制的影响，每一个粒度的混和语义表示都包含了全局语义表示与当前粒度局部语义表示中最重要的部分；重点局部信息蒸馏模块进一步将由多路门控选择得到的多粒度混合语义表示与多粒度的局部语义表示进行拼接作为预测层的输入：
Figure BDA0003494679520000072
步骤B35：将聚合后的特征表示输入到分类层中计算当前多轮对话上下文与回复的合理性分数，公式如下：
g(c,r)＝σ(WTEensemble+b)
其中，W是可训练的参数，σ(·)表示sigmoid激活函数，b是当前分类层的偏置项；
步骤B36：SAFL使用梯度下降的方式更新学习模型中的参数，同时针对多轮对话回复选择任务采用交叉熵作为损失函数，具体公式如下：
Figure BDA0003494679520000073
结合上随机滑动窗口回复预测任务以及对话结构感知任务的优化目标，SAFL最终的损失函数为：
Loss＝Lossmain+αLosswindow+βLossDSA
其中α和β是两个超参数，分别用于控制两个辅助任务对于SAFL的影响力。
本发明还提供了采用上述方法的基于细粒度局部信息增强的对话结构感知对话系统，包括：
数据收集模块，用于收集特定领域的多轮对话样本，并标注多轮对话数据中的每个问题对应的回复的答案正负标签，构建带正负标签的多轮对话回复选择训练集D；
预训练语言模型编码模块，包括预训练语言模型，预训练语言模型主要由嵌入层和多层多头注意力机制组成；将训练集D的每个三元组形式的训练样本被送入预训练语言模型BERT之中，利用预训练语言模型的多层注意力机制学习到结合语境的上下文语义表示；同时SAFL采用多任务学习的方式充分挖掘预训练语言模型的语义理解能力；
辅助任务模块，SAFL将预训练语言模型参数导出，使用随机滑动窗口回复预测任务进一步加强预训练语言模型对于对话局部信息的理解能力；同时采用了对话结构感知任务，通过图结构建立起语句之间的以来关系，让模型从对话结构的角度理解多轮对话上下文，进一步增强了对话系统的效果；
重点局部信息蒸馏模块，在多轮对话回复选择任务中，SAFL模型采用重点局部信息蒸馏模块从预训练语言模型的输出中提取出细粒度的局部语义信息，通过门控机制对全局信息和局部信息进行进一步的融合筛选，并将筛选得到的融合特征与多粒度局部信息进行融合，输入到分类层中进行分类分数计算，评估当前回复是否对应给定的多轮对话上下文；最后根据目标损失函数，利用反向传播方法计算深度学习网络模型SAFL中的各参数的梯度，并利用随机梯度下降方法更新参数；
网络训练模块，当深度学习网络模型SAFL产生的损失值迭代变化小于设定阈值不再降低或者达到最大迭代次数，终止深度学习网络模型SAFL的训练。
与现有技术相比，本发明具有以下有益效果：提供了一种基于细粒度局部信息增强的对话结构感知对话方法及系统，该方法及系统基于细粒度局部信息增强的对话结构感知深度学习网络模型，利用预训练语言模型的多层注意力机制学习结合语境的上下文语义表示，同时采用多任务学习方式挖掘预训练语言模型的语义理解能力，还采用重点局部信息蒸馏模块从预训练语言模型的输出中提取出细粒度的局部语义信息，通过门控机制对全局信息和局部信息进行进一步的融合筛选，并将筛选得到的融合特征与多粒度局部信息进行融合，从而获取对应多轮对话上下文最合适的回复。本发明能够有效提高提高多轮对话回复选择的精确度，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明实施例的方法实现流程图；
图2是本发明实施例中深度学习模型SAFL架构图；
图3是本发明实施例中对话结构感知任务结构图；
图4是本发明实施例中重点局部信息蒸馏模块结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于细粒度局部信息增强的对话结构感知对话方法，包括以下步骤：
步骤A：获取特定场景的多轮对话文本，并标注每个多轮对话回复所属的类别，构建带正负类别标签的训练集D。
步骤B：使用训练集D训练细粒度局部信息增强的对话结构感知深度学习网络模型SAFL，用于选择给定多轮对话上下文对应的回复。
所述步骤B具体包括以下步骤：
步骤B1：将训练集D的每个三元组形式的训练样本作为SAFL模型的输入，所述三元组形式的训练样本包括多轮对话上下文、回复、标签；SAFL模型使用预训练语言模型BERT作为基础，利用BERT的多层注意力机制学习到结合语境的上下文语义表示；同时SAFL模型采用多任务学习方式挖掘BERT的语义理解能力，主任务是多轮对话回复选择任务，辅助任务是随机滑动窗口回复预测任务以及对话结构感知任务。深度学习模型SAFL架构如图2所示。所述步骤B1具体包括以下步骤：
步骤B11：将u代表上下文中的话语，r代表回复，m代表着话语的个数，将SAFL的输入拼接成如下长序列形式：
x＝{[CLS],u1,[EOT],u2,[EOT],…,[EOT],um,[SEP],r,[SEP]}
其中，x为拼接得到的长文本；[CLS]和[SEP]为分隔符，[EOT]为SAFL用于学习局部信息的特殊标记。
步骤B12：通过预训练语言模型BERT的词典与模型的嵌入层，将x分别映射为词嵌入表示、位置嵌入表示与段落嵌入表示。
步骤B13：将每个词的词嵌入表示、位置嵌入表示与段落嵌入表示相加，得到融合后的嵌入表示，并使用BERT的多层Transformer网络进行编码，从而获取到序列的高层语义特征表示E。
步骤B2：在辅助任务部分，SAFL模型导出预训练语言模型BERT，利用随机滑动窗口回复预测任务以及对话结构感知任务优化预训练语言模型。随机滑动窗口回复预测任务在多轮对话上下文中采样不同位置、大小的窗口数据，使用预训练语言模型编码对话窗口，加强预训练语言模型对于对话局部信息的理解能力。对话结构感知任务结构如图3所示。对话结构感知任务根据对话人说话的先后顺序构造图结构，并使用GCN进行编码，促使预训练语言模型学习正确的对话结构所具备的特征，让预训练语言模型从另一个角度理解对话数据。所述步骤B2具体包括以下步骤：
步骤B21：在随机滑动窗口回复预测任务，即模型的第一个辅助任务中，SAFL将滑动窗口的大小、位置都设为随机，采样落在滑动窗口内的局部对话上下文，并在局部对话上下文的每一个话语后面插入特殊标签[EOT]，如下列公式所示：
Figure BDA0003494679520000101
其中，x'是子任务的输入，与主任务不同，x'只保留窗口内部的信息，其他的信息由[PAD]替代，w代表当前窗口的大小，m代表完整的对话上下文中的话语个数，κ是一个超参数，代表最小窗口的大小。
步骤B22：将所述预训练语言模型BERT，即导出BERT模型的各项参数，利用它对落在滑动窗口内的局部对话上下文数据进行编码，让BERT学习到不同质量的对话数据，增强预训练语言模型的语义理解能力，公式如下：
E'＝BERT(x′)。
步骤B23：SAFL将距离窗口回复最近的[EOT]表示E[EOT]输入到分类层之中计算多轮对话上下文与回复之间的合理性分数，公式如下：
g(wc,wr)＝σ(Ww TE[EOT]+bw)
其中，wc,wr表示窗口数据中的上下文和回复，Ww是预测层中可训练的参数，σ(·)表示sigmoid激活函数。
步骤B24：随机滑动窗口回复预测任务针对目标函数采用梯度下降的方式进行优化，目标函数采用交叉熵损失函数来评估当前打分与真实对话窗口标签的差异，具体公式如下：
Figure BDA0003494679520000102
其中D'代表窗口数据集。
步骤B25：对话结构感知任务，即模型的第二个辅助任务在多轮对话上下文中采样连续的对话片段，并将其输入BERT进行编码，具体公式如下：
”＝{[CLS]，u1，[EOT]，...，ui，[EOT]，...，us，[EOT]}
E″＝BERT(x”)
其中输入数据中包含着s个话语以及其对应的局部语义标签，这些话语是从对话上下文中抽取出的连续对话片段，其中s为一个超参数，用于控制抽取片段的长度大小。
步骤B26：SAFL将当前对话片段中的每一个话语作为一个节点，建立一个全连接的对话结构图，同时根据对话人说话的先后顺序赋予每条边不同的关系。
其中，定义关系如下表所示，p(ui)表示了上下文中的第i个话语所属的对话人，p1、p2分别表示第一个对话人与第二个对话人，i<j表示了第i个话语在上下文中的位置较第j个话语更加靠前。同时由于对话中每个话语都可能和其他的话语有一定的关联性，因此SAFL模型建立全连接图，并根据下表的关系赋予图中每一条边不同的边关系，最终得到图能够表达对话文本中各语句之间的关系。
Figure BDA0003494679520000111
步骤B27：SAFL模型从E”中抽取s个话语对应的语义表征，作为对话结构图中的节点表示，采用带关系的GCN进行编码，具体公式如下：
Figure BDA0003494679520000112
Figure BDA0003494679520000113
其中，R表示所有的边关系集合，N表示图中所有节点的集合，ci,r是自动学习的边关系系数，Wr、Wm是模型需要学习的参数；得到带关系的GCN模块输出后，再采用非关系GCN进一步学习对话结构信息，具体公式如下：
Figure BDA0003494679520000114
其中，Wnr、Wnm是第二层GCN中需要学习的参数。
步骤B28：得到对话结构模块的输出后，SAFL模型将所有输出进行拼接，获得整体的对话结构表示，并使用线性层计算分数：
Figure BDA0003494679520000121
g(ws)＝σ(WTEs-ensemble+b)
步骤B29：对话结构感知任务针对目标函数采用梯度下降的方式进行优化，目标函数采用交叉熵损失函数来评估当前对话片段结构是否合理，具体公式如下：
Figure BDA0003494679520000122
其中，ws表示着当前对话片段数据，D”表示对话片段数据集。
步骤B3：在主任务，即多轮对话回复选择任务中，SAFL模型采用如图4所示的重点局部信息蒸馏模块从预训练语言模型的输出中提取出细粒度的局部语义信息，通过门控机制对全局信息和局部信息进行进一步的融合筛选，并将筛选得到的融合特征与多粒度局部信息进行融合，输入到分类层中进行多轮对话上下文与回复之间的合理性分数的计算，评估当前回复是否对应给定的多轮对话上下文；最后根据目标损失函数，利用反向传播方法计算深度学习网络模型SAFL中的各参数的梯度，并利用随机梯度下降方法更新参数。所述步骤B3具体包括以下步骤：
步骤B31：重点局部信息蒸馏模块在对话上下文的每一句话后面都埋设了特殊标签[EOT]，如下列公式所示：
x＝{[CLS],u1,[EOT],u2,[EOT],…,[EOT],um,[SEP],r,[SEP]}
在预训练语言模型深度注意力机制与位置嵌入的共同作用下，每一个位置的特殊标签[EOT]都学习到在各自特定位置上与周边文本的交互信息；同时，随机滑动窗口回复预测任务优化的过程中使用窗口之中的最后一个[EOT]标签建立分类任务，逐步学习到鉴别窗口回复能力；[EOT]这个特殊的标签的嵌入表示逐渐学习到一个正确句子的表示，且更加关注局部区域的文本。
步骤B32：在特征融合阶段，重点局部信息蒸馏模块从预训练语言模型的输出之中选取距离回复最近的n个局部语义表征作为多粒度的局部信息，同时使用拼接的方式将局部信息聚合成一个整体，具体公式如下：
Figure BDA0003494679520000123
其中，l表示距离回复最近的条目，n是一个超参数，用于代表取出[EOT]表征的个数。
步骤B33：得到多粒度的局部信息表征后，重点局部信息蒸馏模块采用多路门控机制过滤全局语义表示中的噪声；具体的，该模块采用每一种粒度的局部语义表示去和全局语义表示做门控选择：
Figure BDA0003494679520000131
Figure BDA0003494679520000132
步骤B34：全局语义表示在经过多路门控选择后，根据不同粒度局部语义表示蒸馏得到不同粒度的混和语义表示fusionk，受门控机制的影响，每一个粒度的混和语义表示都包含了全局语义表示与当前粒度局部语义表示中最重要的部分；重点局部信息蒸馏模块进一步将由多路门控选择得到的多粒度混合语义表示与多粒度的局部语义表示进行拼接作为预测层的输入：
Figure BDA0003494679520000133
步骤B35：将聚合后的特征表示输入到分类层中计算当前多轮对话上下文与回复的合理性分数，公式如下：
g(c,r)＝σ(WTEensemble+b)
其中，W是可训练的参数，σ(·)表示sigmoid激活函数，b是当前分类层的偏置项。
步骤B36：SAFL使用梯度下降的方式更新学习模型中的参数，同时针对多轮对话回复选择任务采用交叉熵作为损失函数，具体公式如下：
Figure BDA0003494679520000134
结合上随机滑动窗口回复预测任务以及对话结构感知任务的优化目标，SAFL最终的损失函数为：
Loss＝Lossmain+αLosswindow+βLossDSA
其中α和β是两个超参数，分别用于控制两个辅助任务对于SAFL的影响力。
步骤B4：当深度学习网络模型SAFL产生的损失值迭代变化小于设定阈值或达到最大迭代次数，终止深度学习网络模型SAFL的训练。
步骤C：将多轮对话上下文与回复集输入到训练后的深度学习网络模型SAFL中，得到对应多轮对话上下文最合适的回复。
本实施例还提供了采用上述方法的基于细粒度局部信息增强的对话结构感知对话系统，包括数据收集模块、预训练语言模型编码模块、辅助任务模块、重点局部信息蒸馏模块和网络训练模块。
所述数据收集模块用于收集特定领域的多轮对话样本，并标注多轮对话数据中的每个问题对应的回复的答案正负标签，构建带正负标签的多轮对话回复选择训练集D。
所述预训练语言模型编码模块包括预训练语言模型，预训练语言模型主要由嵌入层和多层多头注意力机制组成；将训练集D的每个三元组形式的训练样本被送入预训练语言模型BERT之中，利用预训练语言模型的多层注意力机制学习到结合语境的上下文语义表示；同时SAFL采用多任务学习的方式充分挖掘预训练语言模型的语义理解能力。
在辅助任务模块中，SAFL将预训练语言模型参数导出，使用随机滑动窗口回复预测任务进一步加强预训练语言模型对于对话局部信息的理解能力；同时采用了对话结构感知任务，通过图结构建立起语句之间的以来关系，让模型从对话结构的角度理解多轮对话上下文，进一步增强了对话系统的效果。
在多轮对话回复选择任务中，SAFL模型采用重点局部信息蒸馏模块从预训练语言模型的输出中提取出细粒度的局部语义信息，通过门控机制对全局信息和局部信息进行进一步的融合筛选，并将筛选得到的融合特征与多粒度局部信息进行融合，输入到分类层中进行多轮对话上下文与回复的合理性分数计算，评估当前回复是否对应给定的多轮对话上下文；最后根据目标损失函数，利用反向传播方法计算深度学习网络模型SAFL中的各参数的梯度，并利用随机梯度下降方法更新参数。
所述网络训练模块用于网络模型的训练，当深度学习网络模型SAFL产生的损失值迭代变化小于设定阈值不再降低或者达到最大迭代次数，终止深度学习网络模型SAFL的训练。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于细粒度局部信息增强的对话结构感知对话方法，其特征在于，包括以下步骤：
步骤A：获取特定场景的多轮对话文本，并标注每个多轮对话回复所属的类别，构建带正负类别标签的训练集D；
步骤B：使用训练集D训练细粒度局部信息增强的对话结构感知深度学习网络模型SAFL，用于选择给定多轮对话上下文对应的回复；
步骤C：将多轮对话上下文与回复集输入到训练后的深度学习网络模型SAFL中，得到对应多轮对话上下文最合适的回复。
2.根据权利要求1所述的基于细粒度局部信息增强的对话结构感知对话方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1：将训练集D的每个三元组形式的训练样本作为SAFL模型的输入，所述三元组形式的训练样本包括多轮对话上下文、回复、标签；SAFL模型使用预训练语言模型BERT作为基础，利用BERT的多层注意力机制学习到结合语境的上下文语义表示；同时SAFL模型采用多任务学习方式挖掘BERT的语义理解能力，主任务是多轮对话回复选择任务，辅助任务是随机滑动窗口回复预测任务以及对话结构感知任务；
步骤B2：在辅助任务部分，SAFL模型导出预训练语言模型BERT，利用随机滑动窗口回复预测任务以及对话结构感知任务优化预训练语言模型；随机滑动窗口回复预测任务在多轮对话上下文中采样不同位置、大小的窗口数据，使用预训练语言模型编码对话窗口，加强预训练语言模型对于对话局部信息的理解能力；对话结构感知任务根据对话人说话的先后顺序构造图结构，并使用GCN进行编码，促使预训练语言模型学习正确的对话结构所具备的特征，让预训练语言模型从另一个角度理解对话数据；
步骤B3：在主任务，即多轮对话回复选择任务中，SAFL模型采用重点局部信息蒸馏模块从预训练语言模型的输出中提取出细粒度的局部语义信息，通过门控机制对全局信息和局部信息进行进一步的融合筛选，并将筛选得到的融合特征与多粒度局部信息进行融合，输入到分类层中进行多轮对话上下文与回复之间的合理性分数的计算，评估当前回复是否对应给定的多轮对话上下文；最后根据目标损失函数，利用反向传播方法计算深度学习网络模型SAFL中的各参数的梯度，并利用随机梯度下降方法更新参数；
步骤B4：当深度学习网络模型SAFL产生的损失值迭代变化小于设定阈值或达到最大迭代次数，终止深度学习网络模型SAFL的训练。
3.根据权利要求2所述的基于细粒度局部信息增强的对话结构感知对话方法，其特征在于，所述步骤B1具体包括以下步骤：
步骤B11：将u代表上下文中的话语，r代表回复，m代表着话语的个数，将SAFL的输入拼接成如下长序列形式：
x＝{[CLS]，u1，[EOT]，u2，[EOT]，...，[EOT]，um，[SEP]，r，[SEP]}
其中，x为拼接得到的长文本；[CLS]和[SEP]为分隔符，[EOT]为SAFL用于学习局部信息的特殊标记；
步骤B12：通过预训练语言模型BERT的词典与模型的嵌入层，将x分别映射为词嵌入表示、位置嵌入表示与段落嵌入表示；
步骤B13：将每个词的词嵌入表示、位置嵌入表示与段落嵌入表示相加，得到融合后的嵌入表示，并使用BERT的多层Transformer网络进行编码，从而获取到序列的高层语义特征表示E。
4.根据权利要求3所述的基于细粒度局部信息增强的对话结构感知对话方法，其特征在于，所述步骤B2具体包括以下步骤：
步骤B21：在随机滑动窗口回复预测任务，即模型的第一个辅助任务中，SAFL将滑动窗口的大小、位置都设为随机，采样落在滑动窗口内的局部对话上下文，并在局部对话上下文的每一个话语后面插入特殊标签[EOT]，如下列公式所示：
Figure FDA0003494679510000021
其中，x′是子任务的输入，与主任务不同，x′只保留窗口内部的信息，其他的信息由[PAD]替代，w代表当前窗口的大小，m代表完整的对话上下文中的话语个数，κ是一个超参数，代表最小窗口的大小；
步骤B22：将所述预训练语言模型BERT，即导出BERT模型的各项参数，利用它对落在滑动窗口内的局部对话上下文数据进行编码，让BERT学习到不同质量的对话数据，增强预训练语言模型的语义理解能力，公式如下：
E′＝BERT(x′)
步骤B23：SAFL将距离窗口回复最近的[EOT]表示E[EOT]输入到分类层之中计算多轮对话上下文与回复之间的合理性分数，公式如下：
g(wc，wr)＝σ(Ww TE[EOT]+bw)
其中，wc，wr表示窗口数据中的上下文和回复，Ww是预测层中可训练的参数，σ(·)表示sigmoid激活函数；
步骤B24：随机滑动窗口回复预测任务针对目标函数采用梯度下降的方式进行优化，目标函数采用交叉熵损失函数来评估当前打分与真实对话窗口标签的差异，具体公式如下：
Figure FDA0003494679510000031
其中D′代表窗口数据集；
步骤B25：对话结构感知任务，即模型的第二个辅助任务在多轮对话上下文中采样连续的对话片段，并将其输入BERT进行编码，具体公式如下：
x″＝{[CLS]，u1，[EOT]，...，ui，[EOT]，...，us，[EOT]}
E″＝BERT(x″)
其中输入数据中包含着s个话语以及其对应的局部语义标签，这些话语是从对话上下文中抽取出的连续对话片段，其中s为一个超参数，用于控制抽取片段的长度大小；
步骤B26：SAFL将当前对话片段中的每一个话语作为一个节点，建立一个全连接的对话结构图，同时根据对话人说话的先后顺序赋予每条边不同的关系；
步骤B27：SAFL模型从E″中抽取s个话语对应的语义表征，作为对话结构图中的节点表示，采用带关系的GCN进行编码，具体公式如下：
Figure FDA0003494679510000032
Figure FDA0003494679510000033
其中，R表示所有的边关系集合，N表示图中所有节点的集合，ci，r是自动学习的边关系系数，Wr、Wm是模型需要学习的参数；得到带关系的GCN模块输出后，再采用非关系GCN进一步学习对话结构信息，具体公式如下：
Figure FDA0003494679510000034
其中，Wnr、Wnm是第二层GCN中需要学习的参数；
步骤B28：得到对话结构模块的输出后，SAFL模型将所有输出进行拼接，获得整体的对话结构表示，并使用线性层计算分数：
Figure FDA0003494679510000041
g(ws)＝σ(WTEs-ensemble+b)
步骤B29：对话结构感知任务针对目标函数采用梯度下降的方式进行优化，目标函数采用交叉熵损失函数来评估当前对话片段结构是否合理，具体公式如下：
Figure FDA0003494679510000042
其中，ws表示着当前对话片段数据，D″表示对话片段数据集。
5.根据权利要求4所述的基于细粒度局部信息增强的对话结构感知对话方法，其特征在于，所述步骤B3具体包括以下步骤：
步骤B31：重点局部信息蒸馏模块在对话上下文的每一句话后面都埋设了特殊标签[EOT]，如下列公式所示：
x＝{[CLS]，u1，[EOT]，u2，[EOT]，...，[EOT]，um，[SEP]，r，[SEP]}
在预训练语言模型深度注意力机制与位置嵌入的共同作用下，每一个位置的特殊标签[EOT]都学习到在各自特定位置上与周边文本的交互信息；同时，随机滑动窗口回复预测任务优化的过程中使用窗口之中的最后一个[EOT]标签建立分类任务，逐步学习到鉴别窗口回复能力；[EOT]这个特殊的标签的嵌入表示逐渐学习到一个正确句子的表示，且更加关注局部区域的文本；
步骤B32：在特征融合阶段，重点局部信息蒸馏模块从预训练语言模型的输出之中选取距离回复最近的n个局部语义表征作为多粒度的局部信息，同时使用拼接的方式将局部信息聚合成一个整体，具体公式如下：
Figure FDA0003494679510000043
其中，l表示距离回复最近的条目，n是一个超参数，用于代表取出[EOT]表征的个数；
步骤B33：得到多粒度的局部信息表征后，重点局部信息蒸馏模块采用多路门控机制过滤全局语义表示中的噪声；具体的，该模块采用每一种粒度的局部语义表示去和全局语义表示做门控选择：
Figure FDA0003494679510000044
Figure FDA0003494679510000051
步骤B34：全局语义表示在经过多路门控选择后，根据不同粒度局部语义表示蒸馏得到不同粒度的混和语义表示fusionk，受门控机制的影响，每一个粒度的混和语义表示都包含了全局语义表示与当前粒度局部语义表示中最重要的部分；重点局部信息蒸馏模块进一步将由多路门控选择得到的多粒度混合语义表示与多粒度的局部语义表示进行拼接作为预测层的输入：
Figure FDA0003494679510000052
步骤B35：将聚合后的特征表示输入到分类层中计算当前多轮对话上下文与回复的合理性分数，公式如下：
g(c，r)＝σ(WTEensemble+b)
其中，W是可训练的参数，≥(·)表示sigmoid激活函数，b是当前分类层的偏置项；
步骤B36：SAFL使用梯度下降的方式更新学习模型中的参数，同时针对多轮对话回复选择任务采用交叉熵作为损失函数，具体公式如下：
Figure FDA0003494679510000053
结合上随机滑动窗口回复预测任务以及对话结构感知任务的优化目标，SAFL最终的损失函数为：
Loss＝Lossmain+αLosswindow+βLossDSA
其中α和β是两个超参数，分别用于控制两个辅助任务对于SAFL的影响力。
6.一种采用如权利要求1-5任一项所述方法的基于细粒度局部信息增强的对话结构感知对话系统，其特征在于，包括：
数据收集模块，用于收集特定领域的多轮对话样本，并标注多轮对话数据中的每个问题对应的回复的答案正负标签，构建带正负标签的多轮对话回复选择训练集D；
预训练语言模型编码模块，包括预训练语言模型，预训练语言模型主要由嵌入层和多层多头注意力机制组成；将训练集D的每个三元组形式的训练样本被送入预训练语言模型BERT之中，利用预训练语言模型的多层注意力机制学习到结合语境的上下文语义表示；同时SAFL采用多任务学习的方式充分挖掘预训练语言模型的语义理解能力；
辅助任务模块，SAFL将预训练语言模型参数导出，使用随机滑动窗口回复预测任务进一步加强预训练语言模型对于对话局部信息的理解能力；同时采用了对话结构感知任务，通过图结构建立起语句之间的以来关系，让模型从对话结构的角度理解多轮对话上下文，进一步增强了对话系统的效果；
重点局部信息蒸馏模块，在多轮对话回复选择任务中，SAFL模型采用重点局部信息蒸馏模块从预训练语言模型的输出中提取出细粒度的局部语义信息，通过门控机制对全局信息和局部信息进行进一步的融合筛选，并将筛选得到的融合特征与多粒度局部信息进行融合，输入到分类层中进行多轮对话上下文与回复的合理性分数计算，评估当前回复是否对应给定的多轮对话上下文；最后根据目标损失函数，利用反向传播方法计算深度学习网络模型SAFL中的各参数的梯度，并利用随机梯度下降方法更新参数；
网络训练模块，当深度学习网络模型SAFL产生的损失值迭代变化小于设定阈值、或者达到最大迭代次数，终止深度学习网络模型SAFL的训练。
CN202210109486.7A 2022-01-28 2022-01-28 基于细粒度局部信息增强的对话结构感知对话方法及系统 Pending CN114490991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210109486.7A CN114490991A (zh) 2022-01-28 2022-01-28 基于细粒度局部信息增强的对话结构感知对话方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210109486.7A CN114490991A (zh) 2022-01-28 2022-01-28 基于细粒度局部信息增强的对话结构感知对话方法及系统

Publications (1)

Publication Number Publication Date
CN114490991A true CN114490991A (zh) 2022-05-13

Family

ID=81477688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210109486.7A Pending CN114490991A (zh) 2022-01-28 2022-01-28 基于细粒度局部信息增强的对话结构感知对话方法及系统

Country Status (1)

Country Link
CN (1) CN114490991A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969292A (zh) * 2022-05-31 2022-08-30 福州大学 一种基于多回复解码器的对话系统
CN114996430A (zh) * 2022-07-18 2022-09-02 中邮消费金融有限公司 一种端到端之间的主动对话的方法
CN115129838A (zh) * 2022-06-08 2022-09-30 阿里巴巴（中国）有限公司 模型训练、对话数据处理方法、装置、设备及存储介质
CN115310622A (zh) * 2022-10-12 2022-11-08 中国科学技术大学 一种基于自适应专家系统的智能问答方法
CN116361442A (zh) * 2023-06-02 2023-06-30 国网浙江宁波市鄞州区供电有限公司 基于人工智能的营业厅数据分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274375A (zh) * 2020-01-20 2020-06-12 福州大学 一种基于双向gru网络的多轮对话方法及系统
CN112818105A (zh) * 2021-02-05 2021-05-18 江苏实达迪美数据处理有限公司 一种融合上下文信息的多轮对话方法及系统
CN113672726A (zh) * 2021-07-20 2021-11-19 贵州电网有限责任公司 一种基于重采样的多轮对话分类方法
US20210375280A1 (en) * 2020-06-01 2021-12-02 Salesforce.Com, Inc. Systems and methods for response selection in multi-party conversations with dynamic topic tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274375A (zh) * 2020-01-20 2020-06-12 福州大学 一种基于双向gru网络的多轮对话方法及系统
US20210375280A1 (en) * 2020-06-01 2021-12-02 Salesforce.Com, Inc. Systems and methods for response selection in multi-party conversations with dynamic topic tracking
CN112818105A (zh) * 2021-02-05 2021-05-18 江苏实达迪美数据处理有限公司 一种融合上下文信息的多轮对话方法及系统
CN113672726A (zh) * 2021-07-20 2021-11-19 贵州电网有限责任公司 一种基于重采样的多轮对话分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZELIN CHEN: ""Improving BERT with local context comprehension for multiturn response selection in retrieval-based dialogue systems"", 《COMPUTER SPEECH & LANGUAGE》, vol. 82, 31 July 2023 (2023-07-31), pages 1 - 15 *
杨晨;宋晓宁;宋威;: "SentiBERT：结合情感信息的预训练语言模型", 计算机科学与探索, no. 09, 31 December 2020 (2020-12-31), pages 127 - 134 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969292A (zh) * 2022-05-31 2022-08-30 福州大学 一种基于多回复解码器的对话系统
CN115129838A (zh) * 2022-06-08 2022-09-30 阿里巴巴（中国）有限公司 模型训练、对话数据处理方法、装置、设备及存储介质
CN114996430A (zh) * 2022-07-18 2022-09-02 中邮消费金融有限公司 一种端到端之间的主动对话的方法
CN115310622A (zh) * 2022-10-12 2022-11-08 中国科学技术大学 一种基于自适应专家系统的智能问答方法
CN115310622B (zh) * 2022-10-12 2023-01-17 中国科学技术大学 一种基于自适应专家系统的智能问答方法
CN116361442A (zh) * 2023-06-02 2023-06-30 国网浙江宁波市鄞州区供电有限公司 基于人工智能的营业厅数据分析方法及系统
CN116361442B (zh) * 2023-06-02 2023-10-17 国网浙江宁波市鄞州区供电有限公司 基于人工智能的营业厅数据分析方法及系统

Similar Documents

Publication Publication Date Title
CN108874972B (zh) 一种基于深度学习的多轮情感对话方法
CN110334354B (zh) 一种中文关系抽取方法
CN114490991A (zh) 基于细粒度局部信息增强的对话结构感知对话方法及系统
CN110321418B (zh) 一种基于深度学习的领域、意图识别和槽填充方法
CN108549658B (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN114443827A (zh) 基于预训练语言模型的局部信息感知对话方法及系统
Zheng et al. Automatic generation of news comments based on gated attention neural networks
CN109858041A (zh) 一种半监督学习结合自定义词典的命名实体识别方法
CN110532558A (zh) 一种基于句子结构深层解析的多意图识别方法及系统
CN112541060B (zh) 一种基于对抗训练的端到端任务型对话学习框架和方法
CN112101044B (zh) 一种意图识别方法、装置及电子设备
CN112417894A (zh) 一种基于多任务学习的对话意图识别方法及识别系统
Khin et al. Question answering based university chatbot using sequence to sequence model
CN114492441A (zh) 基于机器阅读理解的BiLSTM-BiDAF命名实体识别方法
CN115357719A (zh) 基于改进bert模型的电力审计文本分类方法及装置
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN115186071A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN110929006B (zh) 一种数据型问答系统
CN114564568A (zh) 基于知识增强与上下文感知的对话状态追踪方法及系统
Bai et al. Exploiting more associations between slots for multi-domain dialog state tracking
CN114860908A (zh) 一种融合槽位关联和语义关联的任务型对话状态跟踪方法
CN114357166A (zh) 一种基于深度学习的文本分类方法
CN112667788A (zh) 一种新型的基于bertcontext的多轮对话自然语言理解模型
CN112163073A (zh) 自动回复对话方法、系统及存储介质
Lee et al. Emotional response generation using conditional variational autoencoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination