CN110737764A - 一种个性化对话内容生成方法 - Google Patents

一种个性化对话内容生成方法 Download PDF

Info

Publication number
CN110737764A
CN110737764A CN201911015873.9A CN201911015873A CN110737764A CN 110737764 A CN110737764 A CN 110737764A CN 201911015873 A CN201911015873 A CN 201911015873A CN 110737764 A CN110737764 A CN 110737764A
Authority
CN
China
Prior art keywords
model
personalized
content
word
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911015873.9A
Other languages
English (en)
Other versions
CN110737764B (zh
Inventor
郭斌
王豪
於志文
王柱
梁韵基
郝少阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University of Technology
Original Assignee
Northwest University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University of Technology filed Critical Northwest University of Technology
Priority to CN201911015873.9A priority Critical patent/CN110737764B/zh
Publication of CN110737764A publication Critical patent/CN110737764A/zh
Priority to PCT/CN2020/117265 priority patent/WO2021077974A1/zh
Priority to US17/725,480 priority patent/US20220309348A1/en
Application granted granted Critical
Publication of CN110737764B publication Critical patent/CN110737764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明一种个性化对话内容生成方法，包括：多轮对话内容生成模型，个性化多轮对话内容生成模型，多样化的个性化对话内容生成模型；利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示，通过学习自然语言之间的序列依赖关系，可以根据前文自动预测生成后文内容，实现根据对话上下文生成相应回复内容，同时加入多种优化算法，可以降低通用性回复的生成概率，从而提高生成对话内容的多样性。

Description

一种个性化对话内容生成方法
技术领域
本发明涉及基于深度学习领域，尤其涉及一种个性化对话内容生成方法。
背景技术
自然语言处理是人工智能研究中一个非常重要的分支，研究能实现人与计算机之间利用自然语言进行有效通信的各种理论和方法。文本生成，即自然语言生成，是自然语言处理领域一个非常重要的研究方向，可以利用各种不同类型的信息，如文本、结构化信息、图像等，自动生成流畅、通顺、语义清晰的高质量自然语言文本。对话系统是文本生成和人机交互领域一个非常重要的研究方向，形式多样的对话系统正在蓬勃发展。而社交聊天机器人，即能够与人类进行共情对话的人机对话系统的研究，是人工智能领域持续时间最长的研究目标之一。
近几年，基于深度神经网络进行的对话系统的研究已经取得了重大进展，在日常生活中得到了越来越多的应用，例如许多人所熟知的微软小冰、苹果Siri等。对话系统研究中使用的深度神经网络模型一般有下面几种：循环神经网络(Recurrent Neural Network,RNN)，通过天然的序列结构捕捉文本序列中的信息；对抗生成网络(GenerativeAdversarial Network，GAN)和强化学习(Reinforcement learning)，通过模仿人类学习方式学习自然语言中的隐藏规律；变分自编码器(Variational Autoencoder，VAE)，通过隐藏变量分布为模型引入变化性，提高生成内容多样性，但在对话过程中的多样性个性化的准确度上还存在缺陷。
发明内容
针对以上缺陷，本发明提供一种生成对话内容的多样性个性化对话内容生成方法。本发明的技术方案为：
一种个性化对话内容生成方法，包括：多轮对话内容生成模型，所述多轮对话内容生成模型考虑历史对话内容的对话生成模型；个性化多轮对话内容生成模型，所述个性化多轮对话内容生成模型，为考虑历史对话内容以及个性化特征的对话生成模型。
进一步地，一种个性化对话内容生成方法，其包括以下步骤：
步骤1：收集个性化对话数据集，并对数据进行预处理，划分训练集、验证集与测试集，为后续模型的训练提供支持；
步骤2：首先定义模型的输入序列X＝{x1，x2，...，xn}，代表一个输入句
{x1，x2，...，xn}
子序列中的n个单词；对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量，然后进行位置编码，将单词的词嵌入向量与位置编码向量对应相加，得到模型输入向量表示；
步骤3：模型输入进入编码阶段，首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新，然后经过前馈神经网络层得到编码阶段的输出，公式如下：
FFN(Z)＝max(0，Z，W1+b1)W2+b2，
其中Z代表多头注意力层的输出内容；
步骤4：模型进入解码阶段，解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示；输入向量经过多头注意力机制进行向量更新，再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度，最后经过前馈神经网络层得到解码阶段的输出；
步骤5：使用最小化生成序列的负对数似然函数损失来学习模型的参数，得到个性化多轮对话内容生成模型，公式如下：
Figure BDA0002245679220000031
其中t1，...，ti分别代表生成句子序列中的第i个单词.
进一步地，一种个性化对话内容生成方法，所述步骤2中位置编码公式如下：
Figure BDA0002245679220000032
Figure BDA0002245679220000033
其中PE(pos，2i)代表句子序列中第pos个单词的第2i个维度上的值，PE(pos，2i+1)代表句子序列中第pos个单词的第2i+1个维度上的值。
进一步地，一种个性化对话内容生成方法，所述步骤2中模型的输入内容中不仅包括当前对话内容，同时包括已经发生的所有历史对话内容以及特定的个性化特征。
进一步地，一种个性化对话内容生成方法，步骤3中单词向量的更新公式如下：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)WO，
headi＝Attention(QWi Q，KWi K，VWi V)，
Figure BDA0002245679220000041
其中Q,K,V分别由三个不同的权重矩阵与模型输入向量相乘得到，headi代表多头注意力机制中的一个注意力头。
进一步地，一种个性化对话内容生成方法，所述步骤3中编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程，所述步骤4中解码阶段每个子层后同样附加有残差连接和层归一化过程；公式如下：SubLayeroutput＝LayerNorm(x+(SubLayer(x))，其中SubLayer指的是多头注意力层或前馈神经网络层。
进一步地，一种个性化对话内容生成方法，所述方法还包括多样化的个性化对话内容生成模型：在个性化多路对话模型的基础上，添加多种优化算法，包括带有长度惩罚的多样化集束搜索算法以及标签平滑算法，提高生成对话内容多样性，实现多样化的个性化多轮对话模型。
进一步地，一种个性化对话内容生成方法，所述步骤还包括添加优化算法提高模型生成内容多样性；首先在损失函数中增加标签平滑项，防止模型把预测值过度集中在概率较大的类别上，减少通用回复内容生成的可能性，添加了标签平滑项后的损失函数如下：
其中f代表一个与输入无关的均匀先验分布，
Figure BDA0002245679220000043
V为词表的大小；
然后在测试阶段加入带有长度惩罚的多样化集束搜索算法，通过对序列长度进行惩罚，降低生成短序列的概率，提高模型生成更长序列的可能性；在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果，预测过程中，根据前一时刻挑选出的B个最优单词的概率分布，分别计算出当前时刻所有单词在这个B个单词上的条件概率，再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果；并将B个句子序列进行分组，组间加入相似性惩罚，降低生成相似内容的概率，提高模型生成内容的多样性。
本发明的有益效果为：利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示，通过学习自然语言之间的序列依赖关系，可以根据前文自动预测生成后文内容，实现根据对话上下文生成相应回复内容，同时加入多种优化算法，可以降低通用性回复的生成概率，从而提高生成对话内容的多样性。
附图说明
图1为本发明一种个性化对话内容生成方实例中个性化对话模型整体结构图；
图2为本发明一种个性化对话内容生成方模型的解码阶段模型图；
图3为本发明一种个性化对话内容生成方实例中模型的编码阶段模型图。
具体实施方式
下面结合附图来进一步描述本发明的技术方案：
步骤一、收集大型高质量通用对话数据集以及个性化数据集，将数据集按比例进行切分，划分为训练集、验证集和测试集，并对数据进行预处理，将数据集中每段对话处理成如下格式：Dialog＝{C1，C2，...，Cn，Q，R}其中C1，C2，...，Cn，代表历史对话内容，Q代表最后一句输入对话，R代表相应的回复，均为单词序列组成的句子。转换为模型需要的数据格式，为模型训练做好准备。
步骤二、利用通用对话数据集训练通用对话模型。首先定义模型的输入序列X＝{x1，x2，...，xn}，代表一个输入句子序列中的n个单词。模型的输入内容中不仅包括当前对话内容，同时包括已经发生的所有历史对话内容。对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量，然后进行位置编码，如下：
Figure BDA0002245679220000061
其中PE(pos，2i)代表句子序列中第pos个单词的第2i个维度上的值，PE(pos，2i+1)代表句子序列中第pos个单词的第2i+1个维度上的值。然后将单词的词嵌入向量与位置编码向量对应相加，得到模型输入向量表示。
步骤三：构建模型编码结构，首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新，如下：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)WO
headi＝Attention(QWi Q，KWi K，VWi V)
Figure BDA0002245679220000063
其中Q,K,V分别由三个不同的权重矩阵与模型输入向量相乘得到，headi代表多头注意力机制中的一个注意力头。
然后经过前馈神经网络层得到编码阶段的输出，如下：
FFN(Z)＝max(0，Z，W1+b1)W2+b2
其中Z代表多头注意力层的输出内容。
编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程，如下：
SubLayeroutput＝LayerNorm(x+(SubLayer(x))
其中SubLayer指的是多头注意力层或前馈神经网络层。
步骤四：构建模型解码结构，解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示。输入向量经过多头注意力机制进行向量更新，再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度，最后经过前馈神经网络层得到解码阶段的输出。解码阶段每个子层后同样附加有残差连接和层归一化过程。
步骤五：使用最小化生成序列的负对数似然函数损失来学习模型的参数，得到通用多轮对话内容生成模型，如下：
Figure BDA0002245679220000071
其中t1，...，ti分别代表生成句子序列中的第i个单词。训练完成后将通用多路对话模型进行保存，作为个性化对话模型训练的起始点。
步骤六、在通用对话模型编码模块中加入个性化特征编码部分，将特定的个性化特征与当前时刻输入以及历史对话内容共同作为模型输入进行编码，其余模型结构保持不变，利用个性化对话数据集对通用多轮对话模型进行微调，训练得到个性化多轮对话内容生成模型。
步骤七：添加优化算法提高模型生成内容多样性。首先在损失函数中增加标签平滑项，防止模型把预测值过度集中在概率较大的类别上，减少通用回复内容生成的可能性，添加了标签平滑项后的损失函数如下：
Figure BDA0002245679220000081
其中f代表一个与输入无关的均匀先验分布，
Figure BDA0002245679220000082
V为词表的大小。
然后在测试阶段加入带有长度惩罚的多样化集束搜索算法，通过对序列长度进行惩罚，降低生成短序列的概率，提高模型生成更长序列的可能性；在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果，预测过程中，根据前一时刻挑选出的B个最优单词的概率分布，分别计算出当前时刻所有单词在这个B个单词上的条件概率，再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果。并将B个句子序列进行分组，组间加入相似性惩罚，降低生成相似内容的概率，提高模型生成内容的多样性。
本发明为个性化对话内容生成方法，利用神经网络从大量对话数据中学习出数据之间的隐含规律，利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示，学习自然语言之间的序列依赖关系，根据对话上下文自动预测生成回复内容，同时加入多种优化算法，降低通用性回复的生成概率，提高生成对话内容的多样性。

Claims (8)

1.一种个性化对话内容生成方法，其特征在于：包括：
多轮对话内容生成模型，所述多轮对话内容生成模型考虑历史对话内容的对话生成模型；
个性化多轮对话内容生成模型，所述个性化多轮对话内容生成模型，为考虑历史对话内容以及个性化特征的对话生成模型。
2.根据权利要求1所述的一种个性化对话内容生成方法，其特征在于：包括以下步骤：
步骤1：收集个性化对话数据集，并对数据进行预处理，划分训练集、验证集与测试集，为后续模型的训练提供支持；
步骤2：首先定义模型的输入序列X＝{x1，x2，...，xn}，代表一个输入句子序列中的n个单词；对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量，然后进行位置编码，将单词的词嵌入向量与位置编码向量对应相加，得到模型输入向量表示；
步骤3：模型输入进入编码阶段，首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新，然后经过前馈神经网络层得到编码阶段的输出，公式如下：
FFN(Z)＝max(0，Z，W1+b1)W2+b2，
其中Z代表多头注意力层的输出内容；
步骤4：模型进入解码阶段，解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示；输入向量经过多头注意力机制进行向量更新，再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度，最后经过前馈神经网络层得到解码阶段的输出；
步骤5：使用最小化生成序列的负对数似然函数损失来学习模型的参数，得到个性化多轮对话内容生成模型，公式如下：
其中t1，...，ti分别代表生成句子序列中的第i个单词。
3.根据权利要求2所述的一种个性化对话内容生成方法，其特征在于：所述步骤2中位置编码公式如下：
Figure FDA0002245679210000022
Figure FDA0002245679210000023
其中PE(pos，2i)代表句子序列中第pos个单词的第2i个维度上的值，PE(pos，2i+1)代表句子序列中第pos个单词的第2i+1个维度上的值。
4.根据权利要求2所述的一种个性化对话内容生成方法，其特征在于：所述步骤2中模型的输入内容中不仅包括当前对话内容，同时包括已经发生的所有历史对话内容以及特定的个性化特征。
5.根据权利要求2所述的一种个性化对话内容生成方法，其特征在于：所述步骤3中单词向量的更新公式如下：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)WO，
Figure FDA0002245679210000024
Figure FDA0002245679210000031
其中Q,K,V分别由三个不同的权重矩阵与模型输入向量相乘得到，headi代表多头注意力机制中的一个注意力头。
6.根据权利要求2所述的一种个性化对话内容生成方法，其特征在于：所述步骤3中编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程，所述步骤4中解码阶段每个子层后同样附加有残差连接和层归一化过程；公式如下：
SubLayeroutput＝LayerNorm(x+(SubLayer(x))，
其中SubLayer指的是多头注意力层或前馈神经网络层。
7.根据权利要求1所述的一种个性化对话内容生成方法，其特征在于：所述方法还包括多样化的个性化对话内容生成模型：在个性化多路对话模型的基础上，添加多种优化算法，包括带有长度惩罚的多样化集束搜索算法以及标签平滑算法，提高生成对话内容多样性，实现多样化的个性化多轮对话模型。
8.根据权利要求2-7任一所述的一种个性化对话内容生成方法，其特征在于：所述步骤还包括添加优化算法提高模型生成内容多样性；首先在损失函数中增加标签平滑项，防止模型把预测值过度集中在概率较大的类别上，减少通用回复内容生成的可能性，添加了标签平滑项后的损失函数如下：
其中f代表一个与输入无关的均匀先验分布，V为词表的大小；然后在测试阶段加入带有长度惩罚的多样化集束搜索算法，通过对序列长度进行惩罚，降低生成短序列的概率，提高模型生成更长序列的可能性；在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果，预测过程中，根据前一时刻挑选出的B个最优单词的概率分布，分别计算出当前时刻所有单词在这个B个单词上的条件概率，再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果；并将B个句子序列进行分组，组间加入相似性惩罚，降低生成相似内容的概率，提高模型生成内容的多样性。
CN201911015873.9A 2019-10-24 2019-10-24 一种个性化对话内容生成方法 Active CN110737764B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911015873.9A CN110737764B (zh) 2019-10-24 2019-10-24 一种个性化对话内容生成方法
PCT/CN2020/117265 WO2021077974A1 (zh) 2019-10-24 2020-09-24 一种个性化对话内容生成方法
US17/725,480 US20220309348A1 (en) 2019-10-24 2022-04-20 Method for generating personalized dialogue content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911015873.9A CN110737764B (zh) 2019-10-24 2019-10-24 一种个性化对话内容生成方法

Publications (2)

Publication Number Publication Date
CN110737764A true CN110737764A (zh) 2020-01-31
CN110737764B CN110737764B (zh) 2023-07-07

Family

ID=69271119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911015873.9A Active CN110737764B (zh) 2019-10-24 2019-10-24 一种个性化对话内容生成方法

Country Status (3)

Country Link
US (1) US20220309348A1 (zh)
CN (1) CN110737764B (zh)
WO (1) WO2021077974A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274362A (zh) * 2020-02-01 2020-06-12 武汉大学 一种基于transformer架构的对话生成方法
CN111797220A (zh) * 2020-07-30 2020-10-20 腾讯科技（深圳）有限公司 对话生成方法、装置、计算机设备和存储介质
CN111985220A (zh) * 2020-07-30 2020-11-24 哈尔滨工业大学 一种基于深度学习的端到端司法文书自动校对方法
CN112100328A (zh) * 2020-08-31 2020-12-18 广州探迹科技有限公司 一种基于多轮对话的意向判断方法
WO2021077974A1 (zh) * 2019-10-24 2021-04-29 西北工业大学 一种个性化对话内容生成方法
CN113254610A (zh) * 2021-05-14 2021-08-13 廖伟智 面向专利咨询的多轮对话生成方法
CN113626560A (zh) * 2021-08-03 2021-11-09 辽宁大学 一种基于强化学习的多样性对话数据增强方法
CN117787293A (zh) * 2024-02-27 2024-03-29 南京信息工程大学 一种基于大语言模型的个性化对话生成方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822080A (zh) * 2021-07-23 2021-12-21 腾讯科技（深圳）有限公司 翻译、对话翻译模型的处理方法、装置和计算机设备
CN113868386A (zh) * 2021-09-18 2021-12-31 天津大学 一种可控情感对话生成的方法
CN114020900B (zh) * 2021-11-16 2024-03-26 桂林电子科技大学 基于融合空间位置注意力机制的图表英语摘要生成方法
CN114036960B (zh) * 2021-11-29 2024-04-02 中国人民大学 一种多粒度个性化对话生成方法
CN115146700B (zh) * 2022-05-21 2024-03-12 西北工业大学 一种基于Transformer序列到序列模型的径流预测方法
CN116127051B (zh) * 2023-04-20 2023-07-11 中国科学技术大学 基于深度学习的对话生成方法、电子设备及存储介质
CN117556832B (zh) * 2023-11-23 2024-04-09 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于语义约束的情感支持对话双向生成方法
CN117828063B (zh) * 2024-01-10 2024-05-17 广东数业智能科技有限公司 一种心理领域数据生成、模型训练方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366076A (zh) * 2006-02-10 2009-02-11 西门子公司 用于为语音对话系统编辑信息的方法
CN106448670A (zh) * 2016-10-21 2017-02-22 竹间智能科技（上海）有限公司 基于深度学习和强化学习的自动回复对话系统
US20180357225A1 (en) * 2017-06-13 2018-12-13 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN110188167A (zh) * 2019-05-17 2019-08-30 北京邮电大学 一种融入外部知识的端到端对话方法及系统
CN110263131A (zh) * 2019-03-05 2019-09-20 腾讯科技（深圳）有限公司 回复信息生成方法、装置及存储介质
CN110297887A (zh) * 2019-06-26 2019-10-01 山东大学 基于云平台的服务机器人个性化对话系统及方法
CN110321417A (zh) * 2019-05-30 2019-10-11 山东大学 一种对话生成方法、系统、可读存储介质及计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460155B2 (en) * 2013-03-06 2016-10-04 Kunal Verma Method and system of continuous contextual user engagement
CN106503156B (zh) * 2016-10-24 2019-09-03 北京百度网讯科技有限公司 基于人工智能的人机交互方法及装置
CN110737764B (zh) * 2019-10-24 2023-07-07 西北工业大学 一种个性化对话内容生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366076A (zh) * 2006-02-10 2009-02-11 西门子公司 用于为语音对话系统编辑信息的方法
CN106448670A (zh) * 2016-10-21 2017-02-22 竹间智能科技（上海）有限公司 基于深度学习和强化学习的自动回复对话系统
US20180357225A1 (en) * 2017-06-13 2018-12-13 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN110263131A (zh) * 2019-03-05 2019-09-20 腾讯科技（深圳）有限公司 回复信息生成方法、装置及存储介质
CN110188167A (zh) * 2019-05-17 2019-08-30 北京邮电大学 一种融入外部知识的端到端对话方法及系统
CN110321417A (zh) * 2019-05-30 2019-10-11 山东大学 一种对话生成方法、系统、可读存储介质及计算机设备
CN110297887A (zh) * 2019-06-26 2019-10-01 山东大学 基于云平台的服务机器人个性化对话系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUL SUNG等: "Improving Short Answer Grading Using Transformer-Based Pre-training", 《SPRINGER LINK》 *
LIU B Q等: "Content-oriented user modeling for personalized response ranking in chatbots", 《IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING》 *
徐忠莲: "基于多轮对话管理的养老服务交互终端设计与实现", 《中国优秀硕士学位论文全文数据库社会科学Ⅰ辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021077974A1 (zh) * 2019-10-24 2021-04-29 西北工业大学 一种个性化对话内容生成方法
CN111274362A (zh) * 2020-02-01 2020-06-12 武汉大学 一种基于transformer架构的对话生成方法
CN111274362B (zh) * 2020-02-01 2021-09-03 武汉大学 一种基于transformer架构的对话生成方法
CN111797220A (zh) * 2020-07-30 2020-10-20 腾讯科技（深圳）有限公司 对话生成方法、装置、计算机设备和存储介质
CN111985220A (zh) * 2020-07-30 2020-11-24 哈尔滨工业大学 一种基于深度学习的端到端司法文书自动校对方法
CN111797220B (zh) * 2020-07-30 2024-02-09 腾讯科技（深圳）有限公司 对话生成方法、装置、计算机设备和存储介质
CN112100328A (zh) * 2020-08-31 2020-12-18 广州探迹科技有限公司 一种基于多轮对话的意向判断方法
CN113254610A (zh) * 2021-05-14 2021-08-13 廖伟智 面向专利咨询的多轮对话生成方法
CN113626560A (zh) * 2021-08-03 2021-11-09 辽宁大学 一种基于强化学习的多样性对话数据增强方法
CN113626560B (zh) * 2021-08-03 2024-05-07 辽宁大学 一种基于强化学习的多样性对话数据增强方法
CN117787293A (zh) * 2024-02-27 2024-03-29 南京信息工程大学 一种基于大语言模型的个性化对话生成方法及系统
CN117787293B (zh) * 2024-02-27 2024-05-24 南京信息工程大学 一种基于大语言模型的个性化对话生成方法及系统

Also Published As

Publication number Publication date
WO2021077974A1 (zh) 2021-04-29
CN110737764B (zh) 2023-07-07
US20220309348A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
CN110737764A (zh) 一种个性化对话内容生成方法
Liu et al. Any-to-many voice conversion with location-relative sequence-to-sequence modeling
EP3750110B1 (en) Methods and systems for intent detection and slot filling in spoken dialogue systems
Audhkhasi et al. End-to-end ASR-free keyword search from speech
CN111145728B (zh) 语音识别模型训练方法、系统、移动终端及存储介质
CN107464559B (zh) 基于汉语韵律结构和重音的联合预测模型构建方法及系统
Morgan et al. Continuous speech recognition
US7136816B1 (en) System and method for predicting prosodic parameters
Rigoll Maximum mutual information neural networks for hybrid connectionist-HMM speech recognition systems
CN114023316B (zh) 基于TCN-Transformer-CTC的端到端中文语音识别方法
CN112417894B (zh) 一种基于多任务学习的对话意图识别方法及识别系统
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
CN111783477B (zh) 一种语音翻译方法及系统
CN110459208A (zh) 一种基于知识迁移的序列到序列语音识别模型训练方法
Masumura et al. Sequence-level consistency training for semi-supervised end-to-end automatic speech recognition
CN113823272A (zh) 语音处理方法、装置、电子设备以及存储介质
CN116303966A (zh) 基于提示学习的对话行为识别系统
CN114297382B (zh) 基于生成式预训练模型参数精调整的可控文本生成方法
Hu et al. The USTC system for blizzard challenge 2017
Masumura et al. Phoneme-to-Grapheme Conversion Based Large-Scale Pre-Training for End-to-End Automatic Speech Recognition.
CN116226357B (zh) 一种输入中包含错误信息场景下的文档检索方法
CN112417125A (zh) 基于深度强化学习的开放域对话回复方法及系统
Masumura et al. End-to-end automatic speech recognition with deep mutual learning
Deng et al. History utterance embedding transformer lm for speech recognition
CN115858747A (zh) 结合聚类的Prompt结构意图识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant