CN110737764A - 一种个性化对话内容生成方法 - Google Patents
一种个性化对话内容生成方法 Download PDFInfo
- Publication number
- CN110737764A CN110737764A CN201911015873.9A CN201911015873A CN110737764A CN 110737764 A CN110737764 A CN 110737764A CN 201911015873 A CN201911015873 A CN 201911015873A CN 110737764 A CN110737764 A CN 110737764A
- Authority
- CN
- China
- Prior art keywords
- model
- personalized
- content
- word
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明一种个性化对话内容生成方法,包括:多轮对话内容生成模型,个性化多轮对话内容生成模型,多样化的个性化对话内容生成模型;利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示,通过学习自然语言之间的序列依赖关系,可以根据前文自动预测生成后文内容,实现根据对话上下文生成相应回复内容,同时加入多种优化算法,可以降低通用性回复的生成概率,从而提高生成对话内容的多样性。
Description
技术领域
本发明涉及基于深度学习领域,尤其涉及一种个性化对话内容生成方法。
背景技术
自然语言处理是人工智能研究中一个非常重要的分支,研究能实现人与计算机之间利用自然语言进行有效通信的各种理论和方法。文本生成,即自然语言生成,是自然语言处理领域一个非常重要的研究方向,可以利用各种不同类型的信息,如文本、结构化信息、图像等,自动生成流畅、通顺、语义清晰的高质量自然语言文本。对话系统是文本生成和人机交互领域一个非常重要的研究方向,形式多样的对话系统正在蓬勃发展。而社交聊天机器人,即能够与人类进行共情对话的人机对话系统的研究,是人工智能领域持续时间最长的研究目标之一。
近几年,基于深度神经网络进行的对话系统的研究已经取得了重大进展,在日常生活中得到了越来越多的应用,例如许多人所熟知的微软小冰、苹果Siri等。对话系统研究中使用的深度神经网络模型一般有下面几种:循环神经网络(Recurrent Neural Network,RNN),通过天然的序列结构捕捉文本序列中的信息;对抗生成网络(GenerativeAdversarial Network,GAN)和强化学习(Reinforcement learning),通过模仿人类学习方式学习自然语言中的隐藏规律;变分自编码器(Variational Autoencoder,VAE),通过隐藏变量分布为模型引入变化性,提高生成内容多样性,但在对话过程中的多样性个性化的准确度上还存在缺陷。
发明内容
针对以上缺陷,本发明提供一种生成对话内容的多样性个性化对话内容生成方法。本发明的技术方案为:
一种个性化对话内容生成方法,包括:多轮对话内容生成模型,所述多轮对话内容生成模型考虑历史对话内容的对话生成模型;个性化多轮对话内容生成模型,所述个性化多轮对话内容生成模型,为考虑历史对话内容以及个性化特征的对话生成模型。
进一步地,一种个性化对话内容生成方法,其包括以下步骤:
步骤1:收集个性化对话数据集,并对数据进行预处理,划分训练集、验证集与测试集,为后续模型的训练提供支持;
步骤2:首先定义模型的输入序列X={x1,x2,...,xn},代表一个输入句
{x1,x2,...,xn}
子序列中的n个单词;对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量,然后进行位置编码,将单词的词嵌入向量与位置编码向量对应相加,得到模型输入向量表示;
步骤3:模型输入进入编码阶段,首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新,然后经过前馈神经网络层得到编码阶段的输出,公式如下:
FFN(Z)=max(0,Z,W1+b1)W2+b2,
其中Z代表多头注意力层的输出内容;
步骤4:模型进入解码阶段,解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示;输入向量经过多头注意力机制进行向量更新,再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度,最后经过前馈神经网络层得到解码阶段的输出;
步骤5:使用最小化生成序列的负对数似然函数损失来学习模型的参数,得到个性化多轮对话内容生成模型,公式如下:
其中t1,...,ti分别代表生成句子序列中的第i个单词.
进一步地,一种个性化对话内容生成方法,所述步骤2中位置编码公式如下:
其中PE(pos,2i)代表句子序列中第pos个单词的第2i个维度上的值,PE(pos,2i+1)代表句子序列中第pos个单词的第2i+1个维度上的值。
进一步地,一种个性化对话内容生成方法,所述步骤2中模型的输入内容中不仅包括当前对话内容,同时包括已经发生的所有历史对话内容以及特定的个性化特征。
进一步地,一种个性化对话内容生成方法,步骤3中单词向量的更新公式如下:
MultiHead(Q,K,V)=Concat(head1,head2,...headh)WO,
headi=Attention(QWi Q,KWi K,VWi V),
其中Q,K,V分别由三个不同的权重矩阵与模型输入向量相乘得到,headi代表多头注意力机制中的一个注意力头。
进一步地,一种个性化对话内容生成方法,所述步骤3中编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程,所述步骤4中解码阶段每个子层后同样附加有残差连接和层归一化过程;公式如下:SubLayeroutput=LayerNorm(x+(SubLayer(x)),其中SubLayer指的是多头注意力层或前馈神经网络层。
进一步地,一种个性化对话内容生成方法,所述方法还包括多样化的个性化对话内容生成模型:在个性化多路对话模型的基础上,添加多种优化算法,包括带有长度惩罚的多样化集束搜索算法以及标签平滑算法,提高生成对话内容多样性,实现多样化的个性化多轮对话模型。
进一步地,一种个性化对话内容生成方法,所述步骤还包括添加优化算法提高模型生成内容多样性;首先在损失函数中增加标签平滑项,防止模型把预测值过度集中在概率较大的类别上,减少通用回复内容生成的可能性,添加了标签平滑项后的损失函数如下:
然后在测试阶段加入带有长度惩罚的多样化集束搜索算法,通过对序列长度进行惩罚,降低生成短序列的概率,提高模型生成更长序列的可能性;在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果,预测过程中,根据前一时刻挑选出的B个最优单词的概率分布,分别计算出当前时刻所有单词在这个B个单词上的条件概率,再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果;并将B个句子序列进行分组,组间加入相似性惩罚,降低生成相似内容的概率,提高模型生成内容的多样性。
本发明的有益效果为:利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示,通过学习自然语言之间的序列依赖关系,可以根据前文自动预测生成后文内容,实现根据对话上下文生成相应回复内容,同时加入多种优化算法,可以降低通用性回复的生成概率,从而提高生成对话内容的多样性。
附图说明
图1为本发明一种个性化对话内容生成方实例中个性化对话模型整体结构图;
图2为本发明一种个性化对话内容生成方模型的解码阶段模型图;
图3为本发明一种个性化对话内容生成方实例中模型的编码阶段模型图。
具体实施方式
下面结合附图来进一步描述本发明的技术方案:
步骤一、收集大型高质量通用对话数据集以及个性化数据集,将数据集按比例进行切分,划分为训练集、验证集和测试集,并对数据进行预处理,将数据集中每段对话处理成如下格式:Dialog={C1,C2,...,Cn,Q,R}其中C1,C2,...,Cn,代表历史对话内容,Q代表最后一句输入对话,R代表相应的回复,均为单词序列组成的句子。转换为模型需要的数据格式,为模型训练做好准备。
步骤二、利用通用对话数据集训练通用对话模型。首先定义模型的输入序列X={x1,x2,...,xn},代表一个输入句子序列中的n个单词。模型的输入内容中不仅包括当前对话内容,同时包括已经发生的所有历史对话内容。对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量,然后进行位置编码,如下:
其中PE(pos,2i)代表句子序列中第pos个单词的第2i个维度上的值,PE(pos,2i+1)代表句子序列中第pos个单词的第2i+1个维度上的值。然后将单词的词嵌入向量与位置编码向量对应相加,得到模型输入向量表示。
步骤三:构建模型编码结构,首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新,如下:
MultiHead(Q,K,V)=Concat(head1,head2,...headh)WO
headi=Attention(QWi Q,KWi K,VWi V)
其中Q,K,V分别由三个不同的权重矩阵与模型输入向量相乘得到,headi代表多头注意力机制中的一个注意力头。
然后经过前馈神经网络层得到编码阶段的输出,如下:
FFN(Z)=max(0,Z,W1+b1)W2+b2
其中Z代表多头注意力层的输出内容。
编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程,如下:
SubLayeroutput=LayerNorm(x+(SubLayer(x))
其中SubLayer指的是多头注意力层或前馈神经网络层。
步骤四:构建模型解码结构,解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示。输入向量经过多头注意力机制进行向量更新,再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度,最后经过前馈神经网络层得到解码阶段的输出。解码阶段每个子层后同样附加有残差连接和层归一化过程。
步骤五:使用最小化生成序列的负对数似然函数损失来学习模型的参数,得到通用多轮对话内容生成模型,如下:
其中t1,...,ti分别代表生成句子序列中的第i个单词。训练完成后将通用多路对话模型进行保存,作为个性化对话模型训练的起始点。
步骤六、在通用对话模型编码模块中加入个性化特征编码部分,将特定的个性化特征与当前时刻输入以及历史对话内容共同作为模型输入进行编码,其余模型结构保持不变,利用个性化对话数据集对通用多轮对话模型进行微调,训练得到个性化多轮对话内容生成模型。
步骤七:添加优化算法提高模型生成内容多样性。首先在损失函数中增加标签平滑项,防止模型把预测值过度集中在概率较大的类别上,减少通用回复内容生成的可能性,添加了标签平滑项后的损失函数如下:
然后在测试阶段加入带有长度惩罚的多样化集束搜索算法,通过对序列长度进行惩罚,降低生成短序列的概率,提高模型生成更长序列的可能性;在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果,预测过程中,根据前一时刻挑选出的B个最优单词的概率分布,分别计算出当前时刻所有单词在这个B个单词上的条件概率,再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果。并将B个句子序列进行分组,组间加入相似性惩罚,降低生成相似内容的概率,提高模型生成内容的多样性。
本发明为个性化对话内容生成方法,利用神经网络从大量对话数据中学习出数据之间的隐含规律,利用Transformer模型根据上下文信息得到序列中每个单词高效的向量表示,学习自然语言之间的序列依赖关系,根据对话上下文自动预测生成回复内容,同时加入多种优化算法,降低通用性回复的生成概率,提高生成对话内容的多样性。
Claims (8)
1.一种个性化对话内容生成方法,其特征在于:包括:
多轮对话内容生成模型,所述多轮对话内容生成模型考虑历史对话内容的对话生成模型;
个性化多轮对话内容生成模型,所述个性化多轮对话内容生成模型,为考虑历史对话内容以及个性化特征的对话生成模型。
2.根据权利要求1所述的一种个性化对话内容生成方法,其特征在于:包括以下步骤:
步骤1:收集个性化对话数据集,并对数据进行预处理,划分训练集、验证集与测试集,为后续模型的训练提供支持;
步骤2:首先定义模型的输入序列X={x1,x2,...,xn},代表一个输入句子序列中的n个单词;对输入序列中的所有单词进行词嵌入得到相应的词嵌入向量,然后进行位置编码,将单词的词嵌入向量与位置编码向量对应相加,得到模型输入向量表示;
步骤3:模型输入进入编码阶段,首先通过多头注意力模块根据上下文对句子序列中的单词向量进行更新,然后经过前馈神经网络层得到编码阶段的输出,公式如下:
FFN(Z)=max(0,Z,W1+b1)W2+b2,
其中Z代表多头注意力层的输出内容;
步骤4:模型进入解码阶段,解码阶段的输入同样首先经过词嵌入和是位置编码得到输入向量表示;输入向量经过多头注意力机制进行向量更新,再经过相同结构的编-解码注意力机制决定不同时刻的输入内容、历史对话内容以及不同的个性化特征对当前时刻输出的影响程度,最后经过前馈神经网络层得到解码阶段的输出;
步骤5:使用最小化生成序列的负对数似然函数损失来学习模型的参数,得到个性化多轮对话内容生成模型,公式如下:
其中t1,...,ti分别代表生成句子序列中的第i个单词。
4.根据权利要求2所述的一种个性化对话内容生成方法,其特征在于:所述步骤2中模型的输入内容中不仅包括当前对话内容,同时包括已经发生的所有历史对话内容以及特定的个性化特征。
6.根据权利要求2所述的一种个性化对话内容生成方法,其特征在于:所述步骤3中编码阶段中的多头注意力层和前馈神经网络层后都附加有残差连接和层归一化过程,所述步骤4中解码阶段每个子层后同样附加有残差连接和层归一化过程;公式如下:
SubLayeroutput=LayerNorm(x+(SubLayer(x)),
其中SubLayer指的是多头注意力层或前馈神经网络层。
7.根据权利要求1所述的一种个性化对话内容生成方法,其特征在于:所述方法还包括多样化的个性化对话内容生成模型:在个性化多路对话模型的基础上,添加多种优化算法,包括带有长度惩罚的多样化集束搜索算法以及标签平滑算法,提高生成对话内容多样性,实现多样化的个性化多轮对话模型。
8.根据权利要求2-7任一所述的一种个性化对话内容生成方法,其特征在于:所述步骤还包括添加优化算法提高模型生成内容多样性;首先在损失函数中增加标签平滑项,防止模型把预测值过度集中在概率较大的类别上,减少通用回复内容生成的可能性,添加了标签平滑项后的损失函数如下:
其中f代表一个与输入无关的均匀先验分布,V为词表的大小;然后在测试阶段加入带有长度惩罚的多样化集束搜索算法,通过对序列长度进行惩罚,降低生成短序列的概率,提高模型生成更长序列的可能性;在每个解码时刻选择B个概率最高的单词作为当前时刻的输出结果,预测过程中,根据前一时刻挑选出的B个最优单词的概率分布,分别计算出当前时刻所有单词在这个B个单词上的条件概率,再从中挑选出B个概率最高的单词序列作为当前时刻的输出结果;并将B个句子序列进行分组,组间加入相似性惩罚,降低生成相似内容的概率,提高模型生成内容的多样性。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911015873.9A CN110737764B (zh) | 2019-10-24 | 2019-10-24 | 一种个性化对话内容生成方法 |
PCT/CN2020/117265 WO2021077974A1 (zh) | 2019-10-24 | 2020-09-24 | 一种个性化对话内容生成方法 |
US17/725,480 US20220309348A1 (en) | 2019-10-24 | 2022-04-20 | Method for generating personalized dialogue content |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911015873.9A CN110737764B (zh) | 2019-10-24 | 2019-10-24 | 一种个性化对话内容生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110737764A true CN110737764A (zh) | 2020-01-31 |
CN110737764B CN110737764B (zh) | 2023-07-07 |
Family
ID=69271119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911015873.9A Active CN110737764B (zh) | 2019-10-24 | 2019-10-24 | 一种个性化对话内容生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220309348A1 (zh) |
CN (1) | CN110737764B (zh) |
WO (1) | WO2021077974A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274362A (zh) * | 2020-02-01 | 2020-06-12 | 武汉大学 | 一种基于transformer架构的对话生成方法 |
CN111797220A (zh) * | 2020-07-30 | 2020-10-20 | 腾讯科技(深圳)有限公司 | 对话生成方法、装置、计算机设备和存储介质 |
CN111985220A (zh) * | 2020-07-30 | 2020-11-24 | 哈尔滨工业大学 | 一种基于深度学习的端到端司法文书自动校对方法 |
CN112100328A (zh) * | 2020-08-31 | 2020-12-18 | 广州探迹科技有限公司 | 一种基于多轮对话的意向判断方法 |
WO2021077974A1 (zh) * | 2019-10-24 | 2021-04-29 | 西北工业大学 | 一种个性化对话内容生成方法 |
CN113254610A (zh) * | 2021-05-14 | 2021-08-13 | 廖伟智 | 面向专利咨询的多轮对话生成方法 |
CN113626560A (zh) * | 2021-08-03 | 2021-11-09 | 辽宁大学 | 一种基于强化学习的多样性对话数据增强方法 |
CN117787293A (zh) * | 2024-02-27 | 2024-03-29 | 南京信息工程大学 | 一种基于大语言模型的个性化对话生成方法及系统 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822080A (zh) * | 2021-07-23 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 翻译、对话翻译模型的处理方法、装置和计算机设备 |
CN113868386A (zh) * | 2021-09-18 | 2021-12-31 | 天津大学 | 一种可控情感对话生成的方法 |
CN114020900B (zh) * | 2021-11-16 | 2024-03-26 | 桂林电子科技大学 | 基于融合空间位置注意力机制的图表英语摘要生成方法 |
CN114036960B (zh) * | 2021-11-29 | 2024-04-02 | 中国人民大学 | 一种多粒度个性化对话生成方法 |
CN114443827A (zh) * | 2022-01-28 | 2022-05-06 | 福州大学 | 基于预训练语言模型的局部信息感知对话方法及系统 |
CN115146700B (zh) * | 2022-05-21 | 2024-03-12 | 西北工业大学 | 一种基于Transformer序列到序列模型的径流预测方法 |
CN116127051B (zh) * | 2023-04-20 | 2023-07-11 | 中国科学技术大学 | 基于深度学习的对话生成方法、电子设备及存储介质 |
CN117556832B (zh) * | 2023-11-23 | 2024-04-09 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于语义约束的情感支持对话双向生成方法 |
CN117828063B (zh) * | 2024-01-10 | 2024-05-17 | 广东数业智能科技有限公司 | 一种心理领域数据生成、模型训练方法、装置及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101366076A (zh) * | 2006-02-10 | 2009-02-11 | 西门子公司 | 用于为语音对话系统编辑信息的方法 |
CN106448670A (zh) * | 2016-10-21 | 2017-02-22 | 竹间智能科技(上海)有限公司 | 基于深度学习和强化学习的自动回复对话系统 |
US20180357225A1 (en) * | 2017-06-13 | 2018-12-13 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium |
CN110188167A (zh) * | 2019-05-17 | 2019-08-30 | 北京邮电大学 | 一种融入外部知识的端到端对话方法及系统 |
CN110263131A (zh) * | 2019-03-05 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 回复信息生成方法、装置及存储介质 |
CN110297887A (zh) * | 2019-06-26 | 2019-10-01 | 山东大学 | 基于云平台的服务机器人个性化对话系统及方法 |
CN110321417A (zh) * | 2019-05-30 | 2019-10-11 | 山东大学 | 一种对话生成方法、系统、可读存储介质及计算机设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9460155B2 (en) * | 2013-03-06 | 2016-10-04 | Kunal Verma | Method and system of continuous contextual user engagement |
CN106503156B (zh) * | 2016-10-24 | 2019-09-03 | 北京百度网讯科技有限公司 | 基于人工智能的人机交互方法及装置 |
CN110737764B (zh) * | 2019-10-24 | 2023-07-07 | 西北工业大学 | 一种个性化对话内容生成方法 |
-
2019
- 2019-10-24 CN CN201911015873.9A patent/CN110737764B/zh active Active
-
2020
- 2020-09-24 WO PCT/CN2020/117265 patent/WO2021077974A1/zh active Application Filing
-
2022
- 2022-04-20 US US17/725,480 patent/US20220309348A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101366076A (zh) * | 2006-02-10 | 2009-02-11 | 西门子公司 | 用于为语音对话系统编辑信息的方法 |
CN106448670A (zh) * | 2016-10-21 | 2017-02-22 | 竹间智能科技(上海)有限公司 | 基于深度学习和强化学习的自动回复对话系统 |
US20180357225A1 (en) * | 2017-06-13 | 2018-12-13 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium |
CN110263131A (zh) * | 2019-03-05 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 回复信息生成方法、装置及存储介质 |
CN110188167A (zh) * | 2019-05-17 | 2019-08-30 | 北京邮电大学 | 一种融入外部知识的端到端对话方法及系统 |
CN110321417A (zh) * | 2019-05-30 | 2019-10-11 | 山东大学 | 一种对话生成方法、系统、可读存储介质及计算机设备 |
CN110297887A (zh) * | 2019-06-26 | 2019-10-01 | 山东大学 | 基于云平台的服务机器人个性化对话系统及方法 |
Non-Patent Citations (3)
Title |
---|
CHUL SUNG等: "Improving Short Answer Grading Using Transformer-Based Pre-training", 《SPRINGER LINK》 * |
LIU B Q等: "Content-oriented user modeling for personalized response ranking in chatbots", 《IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING》 * |
徐忠莲: "基于多轮对话管理的养老服务交互终端设计与实现", 《中国优秀硕士学位论文全文数据库社会科学Ⅰ辑》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021077974A1 (zh) * | 2019-10-24 | 2021-04-29 | 西北工业大学 | 一种个性化对话内容生成方法 |
CN111274362A (zh) * | 2020-02-01 | 2020-06-12 | 武汉大学 | 一种基于transformer架构的对话生成方法 |
CN111274362B (zh) * | 2020-02-01 | 2021-09-03 | 武汉大学 | 一种基于transformer架构的对话生成方法 |
CN111797220A (zh) * | 2020-07-30 | 2020-10-20 | 腾讯科技(深圳)有限公司 | 对话生成方法、装置、计算机设备和存储介质 |
CN111985220A (zh) * | 2020-07-30 | 2020-11-24 | 哈尔滨工业大学 | 一种基于深度学习的端到端司法文书自动校对方法 |
CN111797220B (zh) * | 2020-07-30 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 对话生成方法、装置、计算机设备和存储介质 |
CN112100328A (zh) * | 2020-08-31 | 2020-12-18 | 广州探迹科技有限公司 | 一种基于多轮对话的意向判断方法 |
CN113254610A (zh) * | 2021-05-14 | 2021-08-13 | 廖伟智 | 面向专利咨询的多轮对话生成方法 |
CN113626560A (zh) * | 2021-08-03 | 2021-11-09 | 辽宁大学 | 一种基于强化学习的多样性对话数据增强方法 |
CN113626560B (zh) * | 2021-08-03 | 2024-05-07 | 辽宁大学 | 一种基于强化学习的多样性对话数据增强方法 |
CN117787293A (zh) * | 2024-02-27 | 2024-03-29 | 南京信息工程大学 | 一种基于大语言模型的个性化对话生成方法及系统 |
CN117787293B (zh) * | 2024-02-27 | 2024-05-24 | 南京信息工程大学 | 一种基于大语言模型的个性化对话生成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20220309348A1 (en) | 2022-09-29 |
WO2021077974A1 (zh) | 2021-04-29 |
CN110737764B (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110737764A (zh) | 一种个性化对话内容生成方法 | |
Liu et al. | Any-to-many voice conversion with location-relative sequence-to-sequence modeling | |
EP3750110B1 (en) | Methods and systems for intent detection and slot filling in spoken dialogue systems | |
CN111145728B (zh) | 语音识别模型训练方法、系统、移动终端及存储介质 | |
Audhkhasi et al. | End-to-end ASR-free keyword search from speech | |
CN107464559B (zh) | 基于汉语韵律结构和重音的联合预测模型构建方法及系统 | |
CN114023316B (zh) | 基于TCN-Transformer-CTC的端到端中文语音识别方法 | |
Morgan et al. | Continuous speech recognition | |
Rigoll | Maximum mutual information neural networks for hybrid connectionist-HMM speech recognition systems | |
CN112417894B (zh) | 一种基于多任务学习的对话意图识别方法及识别系统 | |
CN111506732B (zh) | 一种文本多层次标签分类方法 | |
CN112037773B (zh) | 一种n最优口语语义识别方法、装置及电子设备 | |
Tüske et al. | Advancing Sequence-to-Sequence Based Speech Recognition. | |
CN111783477B (zh) | 一种语音翻译方法及系统 | |
Liu et al. | Mongolian text-to-speech system based on deep neural network | |
Chang et al. | Speechprompt v2: Prompt tuning for speech classification tasks | |
Masumura et al. | Sequence-level consistency training for semi-supervised end-to-end automatic speech recognition | |
CN113823272A (zh) | 语音处理方法、装置、电子设备以及存储介质 | |
CN114297382B (zh) | 基于生成式预训练模型参数精调整的可控文本生成方法 | |
Hu et al. | The USTC system for blizzard challenge 2017 | |
Masumura et al. | Phoneme-to-Grapheme Conversion Based Large-Scale Pre-Training for End-to-End Automatic Speech Recognition. | |
CN116226357B (zh) | 一种输入中包含错误信息场景下的文档检索方法 | |
CN113342947A (zh) | 能感知对话上下文相对位置信息的多轮对话文本生成方法 | |
Masumura et al. | End-to-end automatic speech recognition with deep mutual learning | |
CN116303966A (zh) | 基于提示学习的对话行为识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |