CN110737764B - 一种个性化对话内容生成方法 - Google Patents

一种个性化对话内容生成方法 Download PDF

Info

Publication number
CN110737764B
CN110737764B CN201911015873.9A CN201911015873A CN110737764B CN 110737764 B CN110737764 B CN 110737764B CN 201911015873 A CN201911015873 A CN 201911015873A CN 110737764 B CN110737764 B CN 110737764B
Authority
CN
China
Prior art keywords
model
personalized
content
dialogue
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911015873.9A
Other languages
English (en)
Other versions
CN110737764A (zh
Inventor
郭斌
王豪
於志文
王柱
梁韵基
郝少阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201911015873.9A priority Critical patent/CN110737764B/zh
Publication of CN110737764A publication Critical patent/CN110737764A/zh
Priority to PCT/CN2020/117265 priority patent/WO2021077974A1/zh
Priority to US17/725,480 priority patent/US20220309348A1/en
Application granted granted Critical
Publication of CN110737764B publication Critical patent/CN110737764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明一种个性化对话内容生成方法，包括：多轮对话内容生成模型，个性化多轮对话内容生成模型，多样化的个性化对话内容生成模型；利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示，通过学习自然语言之间的序列依赖关系，可以根据前文自动预测生成后文内容，实现根据对话上下文生成相应回复内容，同时加入多种优化算法，可以降低通用性回复的生成概率，从而提高生成对话内容的多样性。

Description

一种个性化对话内容生成方法
技术领域
本发明涉及基于深度学习领域，尤其涉及一种个性化对话内容生成方法。
背景技术
自然语言处理是人工智能研究中一个非常重要的分支，研究能实现人与计算机之间利用自然语言进行有效通信的各种理论和方法。文本生成，即自然语言生成，是自然语言处理领域一个非常重要的研究方向，可以利用各种不同类型的信息，如文本、结构化信息、图像等，自动生成流畅、通顺、语义清晰的高质量自然语言文本。对话系统是文本生成和人机交互领域一个非常重要的研究方向，形式多样的对话系统正在蓬勃发展。而社交聊天机器人，即能够与人类进行共情对话的人机对话系统的研究，是人工智能领域持续时间最长的研究目标之一。
近几年，基于深度神经网络进行的对话系统的研究已经取得了重大进展，在日常生活中得到了越来越多的应用，例如许多人所熟知的微软小冰、苹果Siri等。对话系统研究中使用的深度神经网络模型一般有下面几种：循环神经网络(Recurrent Neural Network,RNN)，通过天然的序列结构捕捉文本序列中的信息；对抗生成网络(GenerativeAdversarial Network，GAN)和强化学习(Reinforcement learning)，通过模仿人类学习方式学习自然语言中的隐藏规律；变分自编码器(Variational Autoencoder，VAE)，通过隐藏变量分布为模型引入变化性，提高生成内容多样性，但在对话过程中的多样性个性化的准确度上还存在缺陷。
发明内容
针对以上缺陷，本发明提供一种生成对话内容的多样性个性化对话内容生成方法。本发明的技术方案为：
一种个性化对话内容生成方法，包括：多轮对话内容生成模型，所述多轮对话内容生成模型考虑历史对话内容的对话生成模型；个性化多轮对话内容生成模型，所述个性化多轮对话内容生成模型，为考虑历史对话内容以及个性化特征的对话生成模型。
进一步地，一种个性化对话内容生成方法，其包括以下步骤：
步骤1：收集个性化对话数据集，并对数据进行预处理，划分训练集、验证集与测试集，为后续模型的训练提供支持；
步骤2：首先定义模型的输入序列X＝{x1，x2，…，xn}，代表一个输入句子序列中的n个单词；对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量，然后进行位置编码，将单词的词嵌入向量与位置编码向量对应相加，得到模型输入向量表示；
步骤3：模型输入进入编码阶段，首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新，然后经过前馈神经网络层得到编码阶段的输出，公式如下：
FFN(Z)＝max(0,Z,W1+b1)W2+b2,
其中Z代表多头注意力层的输出内容；
步骤4：模型进入解码阶段，解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示；输入向量经过多头注意力机制进行向量更新，再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度，最后经过前馈神经网络层得到解码阶段的输出；
步骤5：使用最小化生成序列的负对数似然函数损失来学习模型的参数，得到个性化多轮对话内容生成模型，公式如下：
Figure GDA0004119309050000031
其中t1，...，ti分别代表生成句子序列中的第i个单词.
进一步地，一种个性化对话内容生成方法，所述步骤2中位置编码公式如下：
Figure GDA0004119309050000032
Figure GDA0004119309050000033
其中PE(pos，2i)代表句子序列中第pos个单词的第2i个维度上的值，PE(pos，2i+1)代表句子序列中第pos个单词的第2i+1个维度上的值。
进一步地，一种个性化对话内容生成方法，所述步骤2中模型的输入内容中不仅包括当前对话内容，同时包括已经发生的所有历史对话内容以及特定的个性化特征。
进一步地，一种个性化对话内容生成方法，步骤3中单词向量的更新公式如下：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)Wo，
Figure GDA0004119309050000034
Figure GDA0004119309050000041
其中Q，K，V分别由三个不同的权重矩阵与模型输入向量相乘得到，headi代表多头注意力机制中的一个注意力头。
进一步地，一种个性化对话内容生成方法，所述步骤3中编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程，所述步骤4中解码阶段每个子层后同样附加有残差连接和层归一化过程；公式如下：SubLayeroutput＝LayerNorm(x+(SubLayer(x))，其中SubLayer指的是多头注意力层或前馈神经网络层。
进一步地，一种个性化对话内容生成方法，所述方法还包括多样化的个性化对话内容生成模型：在个性化多轮对话模型的基础上，添加多种优化算法，包括带有长度惩罚的多样化集束搜索算法以及标签平滑算法，提高生成对话内容多样性，实现多样化的个性化多轮对话模型。
进一步地，一种个性化对话内容生成方法，所述步骤还包括添加优化算法提高模型生成内容多样性；首先在损失函数中增加标签平滑项，防止模型把预测值过度集中在概率较大的类别上，减少通用回复内容生成的可能性，添加了标签平滑项后的损失函数如下：
Figure GDA0004119309050000042
其中f代表一个与输入无关的均匀先验分布，
Figure GDA0004119309050000043
V为词表的大小；
然后在测试阶段加入带有长度惩罚的多样化集束搜索算法，通过对序列长度进行惩罚，降低生成短序列的概率，提高模型生成更长序列的可能性；在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果，预测过程中，根据前一时刻挑选出的B个最优单词的概率分布，分别计算出当前时刻所有单词在这个B个单词上的条件概率，再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果；并将B个句子序列进行分组，组间加入相似性惩罚，降低生成相似内容的概率，提高模型生成内容的多样性。
本发明的有益效果为：利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示，通过学习自然语言之间的序列依赖关系，可以根据前文自动预测生成后文内容，实现根据对话上下文生成相应回复内容，同时加入多种优化算法，可以降低通用性回复的生成概率，从而提高生成对话内容的多样性。
附图说明
图1为本发明一种个性化对话内容生成方实例中个性化对话模型整体结构图；
图2为本发明一种个性化对话内容生成方模型的解码阶段模型图；
图3为本发明一种个性化对话内容生成方实例中模型的编码阶段模型图。
具体实施方式
下面结合附图来进一步描述本发明的技术方案：
步骤一、收集大型高质量通用对话数据集以及个性化数据集，将数据集按比例进行切分，划分为训练集、验证集和测试集，并对数据进行预处理，将数据集中每段对话处理成如下格式：Dialog＝{C1，C2，…，Cn，Q，R}，其中C1，C2，…，Cn代表历史对话内容，Q代表最后一句输入对话，R代表相应的回复，均为单词序列组成的句子。转换为模型需要的数据格式，为模型训练做好准备。
步骤二、利用通用对话数据集训练通用对话模型。首先定义模型的输入序列X＝{x1，x2，...，xn}，代表一个输入句子序列中的n个单词。模型的输入内容中不仅包括当前对话内容，同时包括已经发生的所有历史对话内容。对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量，然后进行位置编码，如下：
Figure GDA0004119309050000061
Figure GDA0004119309050000062
其中PE(pos，2i)代表句子序列中第pos个单词的第2i个维度上的值，PE(pos，2i+1)代表句子序列中第pos个单词的第2i+1个维度上的值。然后将单词的词嵌入向量与位置编码向量对应相加，得到模型输入向量表示。
步骤三：构建模型编码结构，首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新，如下：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)WO
Figure GDA0004119309050000063
Figure GDA0004119309050000064
其中Q，K，V分别由三个不同的权重矩阵与模型输入向量相乘得到，headi代表多头注意力机制中的一个注意力头。
然后经过前馈神经网络层得到编码阶段的输出，如下：
FFN(Z)＝max(0，Z，W1+b1)W2+b2
其中Z代表多头注意力层的输出内容。
编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程，如下：
SubLayeroutput＝LayerNorm(x+(SubLayer(x))
其中SubLayer指的是多头注意力层或前馈神经网络层。
步骤四：构建模型解码结构，解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示。输入向量经过多头注意力机制进行向量更新，再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度，最后经过前馈神经网络层得到解码阶段的输出。解码阶段每个子层后同样附加有残差连接和层归一化过程。
步骤五：使用最小化生成序列的负对数似然函数损失来学习模型的参数，得到通用多轮对话内容生成模型，如下：
Figure GDA0004119309050000071
其中t1，...ti分别代表生成句子序列中的第i个单词。训练完成后将通用多轮对话模型进行保存，作为个性化对话模型训练的起始点。
步骤六、在通用对话模型编码模块中加入个性化特征编码部分，将特定的个性化特征与当前时刻输入以及历史对话内容共同作为模型输入进行编码，其余模型结构保持不变，利用个性化对话数据集对通用多轮对话模型进行微调，训练得到个性化多轮对话内容生成模型。
步骤七：添加优化算法提高模型生成内容多样性。首先在损失函数中增加标签平滑项，防止模型把预测值过度集中在概率较大的类别上，减少通用回复内容生成的可能性，添加了标签平滑项后的损失函数如下：
Figure GDA0004119309050000081
其中f代表一个与输入无关的均匀先验分布，
Figure GDA0004119309050000082
V为词表的大小。
然后在测试阶段加入带有长度惩罚的多样化集束搜索算法，通过对序列长度进行惩罚，降低生成短序列的概率，提高模型生成更长序列的可能性；在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果，预测过程中，根据前一时刻挑选出的B个最优单词的概率分布，分别计算出当前时刻所有单词在这个B个单词上的条件概率，再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果。并将B个句子序列进行分组，组间加入相似性惩罚，降低生成相似内容的概率，提高模型生成内容的多样性。
本发明为个性化对话内容生成方法，利用神经网络从大量对话数据中学习出数据之间的隐含规律，利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示，学习自然语言之间的序列依赖关系，根据对话上下文自动预测生成回复内容，同时加入多种优化算法，降低通用性回复的生成概率，提高生成对话内容的多样性。

Claims (7)

1.一种个性化对话内容生成方法，其特征在于：包括：多轮对话内容生成模型，所述多轮对话内容生成模型考虑历史对话内容的对话生成模型；个性化多轮对话内容生成模型，所述个性化多轮对话内容生成模型，为考虑历史对话内容以及个性化特征的对话生成模型；一种个性化对话内容生成方法包括以下步骤：
步骤1：收集个性化对话数据集，并对数据进行预处理，划分训练集、验证集与测试集，为后续模型的训练提供支持；
步骤2：首先定义模型的输入序列X＝{x1，x2，...，xn}，代表一个输入句子序列中的n个单词；对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量，然后进行位置编码，将单词的词嵌入向量与位置编码向量对应相加，得到模型输入向量表示；
步骤3：模型输入进入编码阶段，首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新，然后经过前馈神经网络层得到编码阶段的输出，公式如下：
FFN(Z)＝max(0，Z，W1+b1)W2+b2，
其中Z代表多头注意力层的输出内容；
步骤4：模型进入解码阶段，解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示；输入向量经过多头注意力机制进行向量更新，再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度，最后经过前馈神经网络层得到解码阶段的输出；
步骤5：使用最小化生成序列的负对数似然函数损失来学习模型的参数，得到个性化多轮对话内容生成模型，公式如下：
Figure FDA0004119309040000021
其中t1，...，ti分别代表生成句子序列中的第i个单词。
2.根据权利要求1所述的一种个性化对话内容生成方法，其特征在于：所述步骤2中位置编码公式如下：
Figure FDA0004119309040000022
Figure FDA0004119309040000023
其中PE(pos，2i)代表句子序列中第pos个单词的第2i个维度上的值，PE(pos，2i+1)代表句子序列中第pos个单词的第2i+1个维度上的值。
3.根据权利要求1所述的一种个性化对话内容生成方法，其特征在于：
所述步骤2中模型的输入内容中不仅包括当前对话内容，同时包括已经发生的所有历史对话内容以及特定的个性化特征。
4.根据权利要求1所述的一种个性化对话内容生成方法，其特征在于：所述步骤3中单词向量的更新公式如下：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)WO，
headi＝Attention(QWi Q，KWi K，VWiV)，
Figure FDA0004119309040000024
其中Q，K，V分别由三个不同的权重矩阵与模型输入向量相乘得到，headi代表多头注意力机制中的一个注意力头。
5.根据权利要求1所述的一种个性化对话内容生成方法，其特征在于：所述步骤3中编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程，所述步骤4中解码阶段每个子层后同样附加有残差连接和层归一化过程；公式如下：
SubLayeroutput＝LayerNorm(x+SubLayer(x))，
其中SubLayer指的是多头注意力层或前馈神经网络层。
6.根据权利要求1所述的一种个性化对话内容生成方法，其特征在于：所述方法还包括多样化的个性化对话内容生成模型：在个性化多轮对话模型的基础上，添加多种优化算法，包括带有长度惩罚的多样化集束搜索算法以及标签平滑算法，提高生成对话内容多样性，实现多样化的个性化多轮对话模型。
7.根据权利要求1-6任一所述的一种个性化对话内容生成方法，其特征在于：所述步骤还包括添加优化算法提高模型生成内容多样性；首先在损失函数中增加标签平滑项，防止模型把预测值过度集中在概率较大的类别上，减少通用回复内容生成的可能性，添加了标签平滑项后的损失函数如下：
Figure FDA0004119309040000031
其中f代表一个与输入无关的均匀先验分布，
Figure FDA0004119309040000032
V为词表的大小；然后在测试阶段加入带有长度惩罚的多样化集束搜索算法，通过对序列长度进行惩罚，降低生成短序列的概率，提高模型生成更长序列的可能性；在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果，预测过程中，根据前一时刻挑选出的B个最优单词的概率分布，分别计算出当前时刻所有单词在这个B个单词上的条件概率，再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果；并将B个句子序列进行分组，组间加入相似性惩罚，降低生成相似内容的概率，提高模型生成内容的多样性。
CN201911015873.9A 2019-10-24 2019-10-24 一种个性化对话内容生成方法 Active CN110737764B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911015873.9A CN110737764B (zh) 2019-10-24 2019-10-24 一种个性化对话内容生成方法
PCT/CN2020/117265 WO2021077974A1 (zh) 2019-10-24 2020-09-24 一种个性化对话内容生成方法
US17/725,480 US20220309348A1 (en) 2019-10-24 2022-04-20 Method for generating personalized dialogue content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911015873.9A CN110737764B (zh) 2019-10-24 2019-10-24 一种个性化对话内容生成方法

Publications (2)

Publication Number Publication Date
CN110737764A CN110737764A (zh) 2020-01-31
CN110737764B true CN110737764B (zh) 2023-07-07

Family

ID=69271119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911015873.9A Active CN110737764B (zh) 2019-10-24 2019-10-24 一种个性化对话内容生成方法

Country Status (3)

Country Link
US (1) US20220309348A1 (zh)
CN (1) CN110737764B (zh)
WO (1) WO2021077974A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737764B (zh) * 2019-10-24 2023-07-07 西北工业大学 一种个性化对话内容生成方法
CN111274362B (zh) * 2020-02-01 2021-09-03 武汉大学 一种基于transformer架构的对话生成方法
CN111797220B (zh) * 2020-07-30 2024-02-09 腾讯科技（深圳）有限公司 对话生成方法、装置、计算机设备和存储介质
CN111985220A (zh) * 2020-07-30 2020-11-24 哈尔滨工业大学 一种基于深度学习的端到端司法文书自动校对方法
CN112100328B (zh) * 2020-08-31 2023-05-30 广州探迹科技有限公司 一种基于多轮对话的意向判断方法
CN113254610B (zh) * 2021-05-14 2022-04-08 电子科技大学 面向专利咨询的多轮对话生成方法
CN113626560B (zh) * 2021-08-03 2024-05-07 辽宁大学 一种基于强化学习的多样性对话数据增强方法
CN114020900B (zh) * 2021-11-16 2024-03-26 桂林电子科技大学 基于融合空间位置注意力机制的图表英语摘要生成方法
CN114036960B (zh) * 2021-11-29 2024-04-02 中国人民大学 一种多粒度个性化对话生成方法
CN115146700B (zh) * 2022-05-21 2024-03-12 西北工业大学 一种基于Transformer序列到序列模型的径流预测方法
CN116127051B (zh) * 2023-04-20 2023-07-11 中国科学技术大学 基于深度学习的对话生成方法、电子设备及存储介质
CN117556832B (zh) * 2023-11-23 2024-04-09 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于语义约束的情感支持对话双向生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366076A (zh) * 2006-02-10 2009-02-11 西门子公司 用于为语音对话系统编辑信息的方法
CN106448670A (zh) * 2016-10-21 2017-02-22 竹间智能科技（上海）有限公司 基于深度学习和强化学习的自动回复对话系统
CN110188167A (zh) * 2019-05-17 2019-08-30 北京邮电大学 一种融入外部知识的端到端对话方法及系统
CN110263131A (zh) * 2019-03-05 2019-09-20 腾讯科技（深圳）有限公司 回复信息生成方法、装置及存储介质
CN110297887A (zh) * 2019-06-26 2019-10-01 山东大学 基于云平台的服务机器人个性化对话系统及方法
CN110321417A (zh) * 2019-05-30 2019-10-11 山东大学 一种对话生成方法、系统、可读存储介质及计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460155B2 (en) * 2013-03-06 2016-10-04 Kunal Verma Method and system of continuous contextual user engagement
CN106503156B (zh) * 2016-10-24 2019-09-03 北京百度网讯科技有限公司 基于人工智能的人机交互方法及装置
CN107273487A (zh) * 2017-06-13 2017-10-20 北京百度网讯科技有限公司 基于人工智能的聊天数据的生成方法、装置及计算机设备
CN110737764B (zh) * 2019-10-24 2023-07-07 西北工业大学 一种个性化对话内容生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366076A (zh) * 2006-02-10 2009-02-11 西门子公司 用于为语音对话系统编辑信息的方法
CN106448670A (zh) * 2016-10-21 2017-02-22 竹间智能科技（上海）有限公司 基于深度学习和强化学习的自动回复对话系统
CN110263131A (zh) * 2019-03-05 2019-09-20 腾讯科技（深圳）有限公司 回复信息生成方法、装置及存储介质
CN110188167A (zh) * 2019-05-17 2019-08-30 北京邮电大学 一种融入外部知识的端到端对话方法及系统
CN110321417A (zh) * 2019-05-30 2019-10-11 山东大学 一种对话生成方法、系统、可读存储介质及计算机设备
CN110297887A (zh) * 2019-06-26 2019-10-01 山东大学 基于云平台的服务机器人个性化对话系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Content-oriented user modeling for personalized response ranking in chatbots;LIU B Q等;《IEEE/ACM Transactions on Audio, Speech, and Language Processing》;20180131;第26卷(第1期);第122-133页 *
Improving Short Answer Grading Using Transformer-Based Pre-training;Chul Sung等;《Springer Link》;20190621;全文 *
基于多轮对话管理的养老服务交互终端设计与实现;徐忠莲;《中国优秀硕士学位论文全文数据库社会科学Ⅰ辑》;20190115(第01期);第G108-226页 *

Also Published As

Publication number Publication date
US20220309348A1 (en) 2022-09-29
WO2021077974A1 (zh) 2021-04-29
CN110737764A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110737764B (zh) 一种个性化对话内容生成方法
Audhkhasi et al. End-to-end ASR-free keyword search from speech
CN110609891A (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
Liu et al. Two efficient lattice rescoring methods using recurrent neural network language models
CN112417894B (zh) 一种基于多任务学习的对话意图识别方法及识别系统
CN111145729B (zh) 语音识别模型训练方法、系统、移动终端及存储介质
CN103049792A (zh) 深层神经网络的辨别预训练
CN113988449B (zh) 基于Transformer模型的风电功率预测方法
CN109522432B (zh) 一种融合自适应相似度和贝叶斯框架的图像检索方法
CN116738994A (zh) 基于上下文增强的提示微调的关系抽取方法
CN114925195A (zh) 一种融合词汇编码与结构编码的标准内容文本摘要生成方法
CN112328748A (zh) 一种用于保险配置意图识别的方法
Moriya et al. Evolution-strategy-based automation of system development for high-performance speech recognition
Yook et al. Voice conversion using conditional CycleGAN
CN113177113B (zh) 任务型对话模型预训练方法、装置、设备及存储介质
CN116306686B (zh) 一种多情绪指导的共情对话生成方法
CN113190655A (zh) 一种基于语义依赖的空间关系抽取方法及装置
CN116226357B (zh) 一种输入中包含错误信息场景下的文档检索方法
Xu et al. Mixed precision low-bit quantization of neural network language models for speech recognition
CN112417125A (zh) 基于深度强化学习的开放域对话回复方法及系统
CN116578699A (zh) 基于Transformer的序列分类预测方法和系统
Miao et al. Low‐latency transformer model for streaming automatic speech recognition
CN111274359B (zh) 基于改进vhred与强化学习的查询推荐方法及系统
CN114925197A (zh) 基于主题注意力的深度学习文本分类模型训练方法
Tanaka et al. End-to-end rich transcription-style automatic speech recognition with semi-supervised learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant