CN113420129B - 一种基于大型通用预训练模型控制对话生成的方法 - Google Patents

一种基于大型通用预训练模型控制对话生成的方法 Download PDF

Info

Publication number
CN113420129B
CN113420129B CN202110501116.3A CN202110501116A CN113420129B CN 113420129 B CN113420129 B CN 113420129B CN 202110501116 A CN202110501116 A CN 202110501116A CN 113420129 B CN113420129 B CN 113420129B
Authority
CN
China
Prior art keywords
historical information
word
model
moment
training model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110501116.3A
Other languages
English (en)
Other versions
CN113420129A (zh
Inventor
黄洪
王赞
贾勇哲
马国宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Thai Technology Co ltd
Tianjin University
Original Assignee
Tianjin Thai Technology Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Thai Technology Co ltd, Tianjin University filed Critical Tianjin Thai Technology Co ltd
Priority to CN202110501116.3A priority Critical patent/CN113420129B/zh
Publication of CN113420129A publication Critical patent/CN113420129A/zh
Application granted granted Critical
Publication of CN113420129B publication Critical patent/CN113420129B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于大型通用预训练模型控制评论生成的方法，第一步、通过一个前向过程获取性模型p(a|x)、p(x)；第二步、通过反向传播获取相对于H的梯度并更新H；第三步、利用更新之后的H来预测此时刻的词典分布；计算Ht的更新值
Figure DDA0003056327040000011
通过若干次重复计算梯度并衰减求和得到。本发明基于预训练的大型通用模型和利用有监督的鉴别器，实现可控主题和情感极性的文本评论生成；相对于传统的beam search解码评论文本生成，本发明使用的基于大型预训练语言模型的生成句子相对更“人性化”。

Description

一种基于大型通用预训练模型控制对话生成的方法
技术领域
本发明涉及社交网络开发技术领域，特别是涉及一种基于深度学习的大型预训练通用模型的对话生成方法。
背景技术
人机对话技术已经被工业界广泛应用到各种类型的产品服务中。现在耳熟能详的此类产品例如个人助理系统、智能家居服务系统以及电商智能客服系统等。这些人机对话产品给人们的日常生活带来了极大的便利性。
对话生成是一种具有对话属性的文本生成技术。在用预训练进行对话生成的过程中，现有的可控生成方式包括以下几类：
1.从一个预训练模型开始，应用调节机制，以便让语言模型始终都能生成某种特定风格的评论句子，粗糙的调节并不能生成理想效果句子文本；
2.从零开始训练一个大型条件生成模型，进行针对目标领域的评论生成，代价相对高昂；
3.不改变这个大的语言模型，而是通过关键N元组替换的方式，调节已经生成的评论句子风格，通过替换的方式生成的文本句意僵硬，可能出现语法错误。
总的来说这种直接针对文章进行评论生成，或花费较大成本训练一个适用于特定任务的模型来生成，且生成的评论与主题偏差较大，质量不是很高，也不能控制情感倾向；
发明内容
基于现有技术，本发明提出了一种基于大型通用预训练模型控制评论生成的方法，基于预训练的大型通用模型和利用有监督的情感分类判别器，实现可控主题和情感极性的文本评论生成。
本发明利用以下技术方案实现：
一种基于大型通用预训练模型控制评论生成的方法，该方法具体包括以下流程：
步骤1、采用通用预训练模型和属性判别模型实现前向计算，进行属性判别模型p(a|x)预测，该步骤包括：
首先，加载预训练模型和相对应的词典，在进行神经网络反向传播时冻结预训练模型的参数；向预训练模型输入初始引导词，得到无扰动的原始历史信息；将历史信息进行多轮迭代累加目标情感的梯度值；每轮迭代过程中，将当前词和历史信息输入预训练模型，输出当前词的词典分布和包含当前词的新历史信息；累加当前词在Transformer模型解码器最后一层的信息并对句子长度取平均后传入属性判别模型进行分类计算；
反向回传过程：根据属性判别模型回传的梯度，更新通用预训练模型内部历史状态，使得实际预测更接近想要的情感属性
步骤2、通过预训练模型生成原始文本和键值对的历史信息：
在原始文本中，当生成第t时刻词时，向预训练模型输入原始文本中初始的t-1时刻词，输出t-1时刻词在每层Transformer模型解码器的键值对的历史信息，将预训练模型记为Ht；
步骤3、通过情感分类判别器得到：计算Ht的更新值
Figure GDA0003669142460000021
利用更新之后的
Figure GDA0003669142460000022
来预测此时刻的词典分布，通过若干次重复计算梯度并衰减求和得到原始文本语义至主题类型或情感类型的目标判别属性的对应关系；具体包括以下处理：
利用情感分类判别器把文本主题语义引导到目标属性上，即：当要生成第t+1时刻词时，向预训练模型输入第t时刻词和t-1时刻Transformer模型解码器所有层的历史信息；当生成第t+1时刻词时，修改t-1时刻词的键值对历史信息，具体操作如下：
将从预训练模型中输出的t-1个词键值对历史信息记为Ht-1，Ht-1表示t时刻传入的历史信息，再输入给预训练模型第t时刻词和t-1时刻的历史信息，生成第t+1时刻词的初始词典分布和第t时刻词的键值对历史信息；
将第t时刻词的键值对历史信息记为Ht，传给情感分类判别器，通过多轮迭代的前向计算和反向传播计算，引导历史信息朝目标属性移动；具体实现过程是：构造一个和历史信息同样大小维度由0组成的初始化矩阵，在此初始化矩阵上迭加鉴别器loss反向传播后的梯度值ΔHt，进行正则化后，将步骤3的上述过程设为迭代过程，每轮迭代结束时，将第t时刻词的键值对历史信息记为Ht和ΔHt相加得到新的第t时刻词的键值对历史信息
Figure GDA0003669142460000031
公式如下：
Figure GDA0003669142460000032
Figure GDA0003669142460000033
其中，p表示条件概率，a表示目标属性，α表示梯度移动的步幅；
步骤4、优化调节：利用KL项缩小输出的分布和之前的分布的KL值；最终的采样分布结果是未改变的分布和改变后的分布的加权之和；根据属性判别模型p(a|x)采样出来的候选句子集合，判断与属性一致的程度进行排序。
本发明方法优点：
1、采用了基于梯度更新的主题回传，只需要训练时属性模型带动通用预训练模型进行生成，拿来即用，对预训练好的模型，无需进行微调或者重新训练模型，如果要生成目标领域文本只需要提供目标领域的常用词或提供一个训练好的小情感分类模型；
2、只需要训练一个敏感词模型，生成的评论相对具有内容正确可靠性，使得敏感词处理更方便；
3、相对于传统的beam search解码评论文本生成，使用的基于大型预训练模型的生成句子相对更“人性化”。
附图说明
图1为本发明的一种基于大型通用预训练模型控制评论生成的方法整体流程图。
具体实施方式
以下结合附图和实施例对本发明进行详细说明。
本发明具体的做法是根据梯度将Transformer模型解码器每一层的隐层状态向通用语言模型和目标属性的方向改变一步。对于目标属性，进行了两类属性的控制，即：1)对情感属性的控制，通过一个预训练的分类器判断生成的候选文本的误差；2)对主题属性的控制，通过指定一个中心词，找到词表的相关词集合，以multi-hot的方式将这些词列为词典中的真实标签来计算误差。
如图1所示，为本发明的一种基于大型通用预训练模型控制评论生成的方法整体流程图。本流程具体包括以下步骤：
步骤1、采用通用预训练模型和属性判别模型实现前向计算，进行属性模型p(a|x)预测，过程包括：
首先，加载预训练模型和相对应的词典，在神经网络反向传播时冻结预训练模型的参数；向预训练模型输入初始引导词，得到无扰动的原始历史信息；将历史信息进行多轮迭代累加目标情感的梯度值；每轮迭代过程中，将当前词和历史信息输入预训练模型，输出当前词的词典分布和包含当前词的新历史信息；累加当前词在Transformer模型解码器最后一层的信息并对句子长度取平均后传入属性判别模型进行分类计算；
反向回传过程：根据属性判别模型回传的梯度，更新通用预训练语言模型内部历史状态，使得实际预测更接近想要的情感属性；
步骤2、通过预训练模型生成原始文本和键值对的历史信息：
在原本文本中，当生成第t时刻词时，向预训练模型输入原始文本中初始的t-1时刻词，输出t-1时刻词在每层Transformer解码器的键值对历史信息，将预训练模型记为Ht(t表示时刻)；
步骤3、通过情感分类判别器(比如一个情感分类器包含好、中、差三个分类)得到：利用更新之后的预训练模型Ht来预测此时刻的词典分布，计算Ht的更新值
Figure GDA0003669142460000053
通过若干次重复计算梯度并衰减求和得到原始文本语义至主题类型或情感类型的目标属性的对应关系；
利用鉴别器把文本主题语义引导到目标属性上，即：当要生成第t+1时刻词时，向预训练模型输入第t时刻词和t-1时刻Transformer模型解码器所有层的历史信息；当生成第t+1时刻词时，修改t-1时刻词的键值对历史信息，具体操作如下：
将从预训练模型中输出的t-1个词键值对历史信息记为Ht-1(表示t时刻传入的历史信息)，再输入给预训练模型第t时刻词和t-1时刻的历史信息，生成第t+1时刻词的初始词典分布和第t时刻词的键值对历史信息；
将第t时刻词的键值对历史信息记为Ht，传给情感分类判别器，通过多轮迭代的前向计算和反向传播计算，引导历史信息朝目标属性移动；具体实现过程是：构造一个和历史信息同样大小维度由0组成的初始化矩阵，在此初始化矩阵上迭加情感分类判别器loss反向传播后的梯度值ΔH，进行正则化后；
将步骤3的上述过程设定为迭代过程，每轮迭代结束时，将Ht和ΔH相加得到新的第t时刻词的键值对历史信息Ht；
公式如下：
Figure GDA0003669142460000051
Figure GDA0003669142460000052
其中，p表示条件概率，a表示目标属性，α表示梯度移动的步幅。
步骤4、优化调节：利用KL项缩小输出的分布和之前的分布的KL散度值；最终的采样分布结果是未改变的分布和改变后的分布的加权之和；根据属性模型p(a|x)采样出来的候选句子集合，判断与属性一致的程度进行排序
采取两个保证生成句子的语言模型，尽量与原语言模型接近的方法，以便生成更多样性，并且符合语言模型的句子，确保生成评论文本的流畅性：为了生成文本的流畅度，增加一项KL项，缩小输出的分布和之前的分布的KL值；最终的采样分布结果是未改变的分布和改变后的分布的加权之和；根据属性模型p(a|x)采样出来的候选句子集合，判断与属性一致的程度进行排序。
Kullback–Leibler(KL)散度：在计算历史信息ΔH更新值时，向其中加入一个KL散度损失，最小化改变前语言模型和改变后的预测概率分布的KL散度；
Post-norm Geometric Mean Fusion(后范数几何平均融合)：训练改变的同时，加入一个类似输出后处理的过程，直接让实际预测从下式中采样，让生成分布和语言模型直接绑定起来：
Figure GDA0003669142460000061
其中，β表示正则化因子，P表示输出分布。
实施例一：生成目标情感评论文本
采用通用预训练模型和属性判别模型实现前向计算，进行属性模型p(a|x)预测，过程包括：首先，加载预训练模型和相对应的词典，在神经网络反向传播时冻结预训练模型的参数；向预训练模型输入初始引导词，得到无扰动的原始历史信息；将历史信息进行多轮迭代累加目标情感的梯度值；每轮迭代过程中，将当前词和历史信输入预训练模型，输出当前词的词典分布和包含当前词的新历史信息；累加当前词在Transformer模型解码器最后一层的信息并对句子长度取平均后传入属性判别模型进行分类计算；
反向回传过程：根据属性判别模型回传的梯度，更新通用预训练模型内部历史状态，使得实际预测更接近想要的情感属性；
属性模型p(a|x)用于根据所需属性的(仅向前传递计算)，提供两个功能：；步骤a)获得对数似然分数对样本进行排名的得分；步骤b)在历史信息中，更新梯度上升方向。用于生成r个样本，并进行排名以选择最佳样本。生成新的词是根据获得的新输出概率分布中采样概率最大的词。
本发明中，预训练模型采用自回归模型：一般的自回归语言模型是指利用上文内容预测下一个可能的词,训练出来一个从左至右的语言模型。这种模型的优点是跟下游自然语言任务有关，比如生成类任务，比如文本摘要，机器翻译等，在实际生成内容的时候，就是从左向右的，自回归语言模型天然匹配这个过程。经典的自回归预训练模型有ELMO、GPT系列等。
当需要针对目标主题领域生成大量的文本内容，比如生成目标主题领域评论等，只需要提供少量的关键词就能生成大量的通顺流利的评论；
当需求在不需要在硬件资源不足的设备场景下生成可控评论文本，对预训练的语言模型不需要做任何改动(不需要重新训练或者精细调节)，大大降低了利用预训练模型生成评论的硬件需求。
本发明主要研究的社交网络特定领域评论生成技术，在网络发展的大背景下，聊天机器人逐渐走向人们视野中心，网上购物时，机器人可以取代客服推荐符合客户需求的商品；快节奏高强度的生活状态下，机器人可能成为用户不可或缺的排解心情的对话工具，网络对话开始占据生活交流的一大部分，因此，无论从聊天机器人的应用背景还是发展前景来看，聊天机器人进行对话生成都有无限潜力。本发明提出一种新的可以控制主题和情感的对话生成方法，可以丰富聊天机器人的对话生成内容，有很大的应用价值。

Claims (1)

1.一种基于大型通用预训练模型控制评论生成的方法，其特征在于，该方法具体包括以下流程：
步骤1、采用通用预训练模型和属性判别模型实现前向计算，进行属性判别模型p(a|x)预测，该步骤包括：
首先，加载预训练模型和相对应的词典，在进行神经网络反向传播时冻结预训练模型的参数；向预训练模型输入初始引导词，得到无扰动的原始历史信息；将历史信息进行多轮迭代累加目标情感的梯度值；每轮迭代过程中，将当前词和历史信息输入预训练模型，输出当前词的词典分布和包含当前词的新历史信息；累加当前词在Transformer模型解码器最后一层的信息并对句子长度取平均后传入属性判别模型进行分类计算；
反向回传过程：根据属性判别模型回传的梯度，更新通用预训练模型内部历史状态，使得实际预测更接近所要表达的情感属性；
步骤2、通过预训练模型生成原始文本和键值对的历史信息：
在原始文本中，当生成第t时刻词时，向预训练模型输入原始文本中初始的t-1时刻词，输出t-1时刻词在每层Transformer模型解码器的键值对的历史信息，将预训练模型记为Ht；
步骤3、通过情感分类判别器得到：计算Ht的更新值
Figure FDA0003877366300000011
利用更新之后的
Figure FDA0003877366300000012
来预测此时刻的词典分布，通过若干次重复计算梯度并衰减求和得到原始文本语义至主题类型或情感类型的目标判别属性的对应关系；具体包括以下处理：
利用情感分类判别器把文本主题语义引导到目标属性上，即：当要生成第t+1时刻词时，向预训练模型输入第t时刻词和t-1时刻Transformer模型解码器所有层的历史信息；当生成第t+1时刻词时，修改t-1时刻词的键值对历史信息，具体操作如下：
将从预训练模型中输出的t-1个词键值对历史信息记为Ht-1，Ht-1表示t时刻传入的历史信息，再输入给预训练模型第t时刻词和t-1时刻的历史信息，生成第t+1时刻词的初始词典分布和第t时刻词的键值对历史信息；
将第t时刻词的键值对历史信息记为Ht，传给情感分类判别器，通过多轮迭代的前向计算和反向传播计算，引导历史信息朝目标属性移动；具体实现过程是：构造一个和历史信息同样大小维度由0组成的初始化矩阵，在此初始化矩阵上迭加情感分类判别器loss反向传播后的梯度值ΔHt，进行正则化后，将步骤3的上述过程设为迭代过程，每轮迭代结束时，将第t时刻词的键值对历史信息记为Ht和ΔHt相加得到新的第t时刻词的键值对历史信息
Figure FDA0003877366300000021
公式如下：
Figure FDA0003877366300000022
Figure FDA0003877366300000023
其中，p表示条件概率，a表示目标属性，α表示梯度移动的步幅；
步骤4、优化调节：利用KL散度损失项缩小输出的分布和之前的分布的KL散度值；最终的采样分布结果是未改变的分布和改变后的分布的加权之和；根据属性模型p(a|x)采样出来的候选句子集合，判断与属性一致的程度进行排序。
CN202110501116.3A 2021-05-08 2021-05-08 一种基于大型通用预训练模型控制对话生成的方法 Expired - Fee Related CN113420129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110501116.3A CN113420129B (zh) 2021-05-08 2021-05-08 一种基于大型通用预训练模型控制对话生成的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110501116.3A CN113420129B (zh) 2021-05-08 2021-05-08 一种基于大型通用预训练模型控制对话生成的方法

Publications (2)

Publication Number Publication Date
CN113420129A CN113420129A (zh) 2021-09-21
CN113420129B true CN113420129B (zh) 2022-11-18

Family

ID=77712139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110501116.3A Expired - Fee Related CN113420129B (zh) 2021-05-08 2021-05-08 一种基于大型通用预训练模型控制对话生成的方法

Country Status (1)

Country Link
CN (1) CN113420129B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239591B (zh) * 2021-12-01 2023-08-18 马上消费金融股份有限公司 敏感词识别方法及装置
CN114492407B (zh) * 2022-01-26 2022-12-30 中国科学技术大学 一种新闻评论生成方法、系统、设备及存储介质
CN115600582B (zh) * 2022-12-15 2023-04-07 电子科技大学 一种基于预训练语言模型的可控文本生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066445A (zh) * 2017-04-11 2017-08-18 华东师范大学 一种属性情感词向量的深度学习方法
CN111460833A (zh) * 2020-04-01 2020-07-28 合肥讯飞数码科技有限公司 文本生成方法、装置和设备
CN111639163A (zh) * 2020-04-29 2020-09-08 深圳壹账通智能科技有限公司 问题生成模型的训练方法、问题生成方法及其相关设备
CN112287667A (zh) * 2020-10-26 2021-01-29 北京明略昭辉科技有限公司 一种文本生成方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3081242A1 (en) * 2019-05-22 2020-11-22 Royal Bank Of Canada System and method for controllable machine text generation architecture
CN111241789A (zh) * 2020-01-14 2020-06-05 平安科技（深圳）有限公司 一种文本生成的方法及装置
CN111897941B (zh) * 2020-08-14 2023-10-27 腾讯科技（深圳）有限公司 对话生成方法、网络训练方法、装置、存储介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066445A (zh) * 2017-04-11 2017-08-18 华东师范大学 一种属性情感词向量的深度学习方法
CN111460833A (zh) * 2020-04-01 2020-07-28 合肥讯飞数码科技有限公司 文本生成方法、装置和设备
CN111639163A (zh) * 2020-04-29 2020-09-08 深圳壹账通智能科技有限公司 问题生成模型的训练方法、问题生成方法及其相关设备
CN112287667A (zh) * 2020-10-26 2021-01-29 北京明略昭辉科技有限公司 一种文本生成方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于预训练模型的条件文本生成框架;段誉;《中国优秀硕士学位论文 信息科技辑》;20190930;全文 *

Also Published As

Publication number Publication date
CN113420129A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN113420129B (zh) 一种基于大型通用预训练模型控制对话生成的方法
Csaky Deep learning based chatbot models
CN107133224B (zh) 一种基于主题词的语言生成方法
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
Wen et al. Dynamic interactive multiview memory network for emotion recognition in conversation
CN113254610B (zh) 面向专利咨询的多轮对话生成方法
Young et al. Dialogue systems with audio context
Liu et al. Adversarial learning of task-oriented neural dialog models
CN112527966B (zh) 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN113435211B (zh) 一种结合外部知识的文本隐式情感分析方法
Ando et al. Customer satisfaction estimation in contact center calls based on a hierarchical multi-task model
CN113139850A (zh) 一种缓解数据稀疏性和商品冷启动的商品推荐模型
Bokka et al. Deep Learning for Natural Language Processing: Solve your natural language processing problems with smart deep neural networks
Majid et al. Conversations sentiment and intent categorization using context RNN for emotion recognition
CN115630145A (zh) 一种基于多粒度情感的对话推荐方法及系统
Lin Reinforcement learning and bandits for speech and language processing: Tutorial, review and outlook
Senthilkumar et al. An AI-based chatbot using deep learning
CN115525744A (zh) 一种基于提示学习方法的对话推荐系统
Imamguluyev The rise of gpt-3: Implications for natural language processing and beyond
Xu et al. [Retracted] Research on the Construction of Crossborder e‐Commerce Logistics Service System Based on Machine Learning Algorithms
CN114386426A (zh) 一种基于多元语义融合的金牌话术推荐方法及装置
CN110046239B (zh) 基于情感编辑的对话方法
US20240104352A1 (en) Contrastive Learning and Masked Modeling for End-To-End Self-Supervised Pre-Training
Zorrilla et al. Audio embeddings help to learn better dialogue policies
Atmaja et al. Dimensional Speech Emotion Recognition from Acoustic and Text Features using Recurrent Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221118