CN116611424A - 一种写作辅助模型构建方法、写作辅助方法及存储介质 - Google Patents
一种写作辅助模型构建方法、写作辅助方法及存储介质 Download PDFInfo
- Publication number
- CN116611424A CN116611424A CN202310882196.0A CN202310882196A CN116611424A CN 116611424 A CN116611424 A CN 116611424A CN 202310882196 A CN202310882196 A CN 202310882196A CN 116611424 A CN116611424 A CN 116611424A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- writing
- style
- writing auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000010276 construction Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 127
- 230000007246 mechanism Effects 0.000 claims abstract description 36
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004821 distillation Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及文本生成技术领域，特别涉及一种写作辅助模型构建方法、写作辅助方法及存储介质，一种写作辅助模型构建方法，提供第一模型和第二模型，所述第一模型包括一个解码器与一个编码器，且在该解码器中加入一个学习可控写作能力的Cross‑attention机制；所述第二模型与第一模型结构相同，第二模型参数量小于第一模型；对第一模型进行多任务学习训练；基于训练后的第一模型，设计一种基于课程学习的知识蒸馏技术更好将第一模型的知识蒸馏到第二模型上获得更加轻量化的写作辅助模型；采用多任务学习训练得到写作辅助模型，将不同的任务构建成统一的形式进行训练，大大提高了模型的通用性。
Description
技术领域
本发明涉及文本生成技术领域，其特别涉及一种写作辅助模型构建方法、写作辅助方法及存储介质。
背景技术
对于大多数的人来说，专业文章的写作一直是一个大问题，其中重要的一方面是如何将自己的内容组织成为更加专业的表达，如学术论文、演讲中的句式及表达方式。
现有的辅助写作工具一般是对文本中的语法进行纠正和校对，以帮助使用者发现语法问题，如Grammarly英语写作辅助工具。这类工具能够检查单词拼写、纠正标点符号、修正语法错误、调整语气以及给出改写建议等，其专注于语法与拼写纠错，在用户已有的内容上进行一定程度的修正，其不足之处在于不能基于用户的输入内容，做一些上下文相关的更好句式的联想或推荐。
同时传统的句子辅助写作模型，主要采用检索式的方法，即事先构建一个例句库，然后在使用时，基于用户输入信息进行检索，得到推荐的写作例句。这种方法严重依赖于例句库的规模和质量，所检索的例句都是已有的内容，难以产生新的例句和更加多样化的写作风格。同时这种单纯检索的方式，容易出现重复等问题。另一种基于生成式的写作方法，存在内容可控性弱、生成多样性不强等问题，且模型参数过大，导致部署成本高昂、响应时间过长等问题。
发明内容
为了解决现有写作辅助工具功能单一，辅助效果不好的问题，本发明提供一种写作辅助模型构建方法、写作辅助方法及存储介质。
本发明为解决上述技术问题，提供如下的技术方案：一种写作辅助模型构建方法，包括以下步骤：
提供第一模型和第二模型，所述第一模型包括一个解码器与一个编码器，且在该解码器中加入一个学习可控写作能力的Cross-attention 机制；所述第二模型与第一模型结构相同，且第二模型参数量小于第一模型；
对第一模型进行多任务学习训练，所述多任务学习训练包括基于Self-Training的重复生成惩罚训练方法、 Prompt与可控Cross-attention机制相结合的风格控制训练方法、Prompt与可控Cross-attention机制相结合的组句功能训练方法以及基于上文内容的续写训练方法；
基于训练后的第一模型，利用基于课程学习的知识蒸馏的技术将第一模型的知识蒸馏到第二模型上获得轻量化写作辅助模型。
优选地，所述基于Self-Training的重复生成惩罚训练方法具体为：
获取语料库，随机抽取语料库中的句子；
截取句子中开头的一段语句输入第一模型中，模型基于贪心解码算法生成续写的句子；
对生成的结果进行分句并判断是否有重复生成；
将有重复生成的句子保留作为负样本，其余样本为正常样本供第一模型进行训练学习。
优选地，利用重复生成的句子作为负样本对第一模型进行训练时，损失函数为：
；
利用正常样本进行训练时，采用的训练损失函数为：
；
其中，表示第n 次重复的x单词，/>表示第n -1次重复的x单词，/>表示概率，表示/>前面出现的单词，/>表示依据/>前面出现的单词预测为/>的概率；最终，基于Self-Training的重复生成惩罚训练时的总损失函数为：
。
优选地，所述Prompt与可控Cross-attention机制相结合的风格控制训练方法具体为：
以GPT神经网络结构作为基础，在其Self-attention结构之后加入Cross-attention机制作为第一模型的解码器；标准的GPT结构作为第一模型的编码器；
第一模型的编码器和解码器可以采用随机初始化的方法，或者采用预训练语言模型进行初始化；
在第一模型的解码器注入风格控制信息；
获取训练样本，为每个训练样本添加一个风格提示并输入至编码器；
采用基于文本指令的控制方法控制风格进行文本生成，具体为在编码器中输入相应的风格增强，在解码器，通过Prompt的形式，将风格控制信息以文本的形式传给第一模型。
优选地，所述Prompt与可控Cross-attention机制相结合的风格控制训练时的损失函数为：
，
其中表示第i个单词x，/>表示依据/>前面出现的词，以及风格c来预测为/>的单词的概率。
优选地，所述Prompt与可控Cross-attention机制相结合的组句功能训练方法具体为：
获取训练文本，将文本平均拆分为多份；
对每份内容都进行关键词提取，分别利用关键词构建两个训练样本，一个有风格控制信息，一个无风格控制信息；
采用细粒度的控制和动态拼接的训练方式，具体为依次按照内容在文本中的顺序训练模型，训练时，输入当前内容构建的训练样本，并将该内容之前的其他内容也输入以训练第一模型。
优选地，设计基于课程学习的知识蒸馏技术将第一模型的知识蒸馏到第二模型上，采用Kullback-Leibler divergence loss作为损失函数，具体为：
，
其中为第一模型的预测输出，/>为第二模型的预测输出。
本发明为解决上述技术问题，提供又一技术方案如下：一种写作辅助方法，包括以下步骤：
基于写作辅助模型，所述写作辅助模型采用如前述的写作辅助模型构建方法构建获得；
关闭Cross-attention，输入上文，写作辅助模型根据上文生成续写的例句并输出；或
开启Cross-attention，输入上文、关键字以及风格，写作辅助模型根据上文、关键字以及风格生成推荐的例句并输出。
优选地，所述写作辅助模型在输出时采用自回归生成方式，逐词生成整个例句，采用top-k采样算法，在不同生成时刻从概率最高的k个词语中，随机选取词语生成。
本发明为解决上述技术问题，提供又一技术方案如下：一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前述的一种写作辅助方法。
与现有技术相比，本发明所提供的一种写作辅助模型构建方法、写作辅助方法及存储介质，具有如下的有益效果：
1.本发明实施例中提供的一种写作辅助模型构建方法，采用可控的Cross-attention 机制，增强对写作风格的控制与组句功能，联合多个写作任务于一个模型，降低模型训练和部署成本，更加高效，此外，采用多任务学习训练得到写作辅助模型，将不同的任务构建成统一的形式进行训练，大大提高了模型的通用性，利用知识蒸馏的技术将大模型的知识蒸馏到小模型上，加快推理速度并降低部署成本，同时生成的例句质量得到保证。
2.本发明实施例中提供的一种写作辅助模型构建方法，通过基于Self-Training的重复生成惩罚训练方法，主要是利用模型产生的重复数据用于让模型学习反对这种重复生成，可以有效的防止模型的重复生成，增加生成例句的多样性。
3.本发明实施例中提供的一种写作辅助模型构建方法，Prompt与可控Cross-attention机制相结合的风格控制训练方法训练模型，主要是让模型学会可控制的文本生成，也就是在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合用户的某种预期。
4.本发明实施例中提供的一种写作辅助模型构建方法，所述Prompt与可控Cross-attention机制相结合的组句功能训练方法中，采用动态拼接的训练方式，模型既可以保证关键词的可控力度又能保证生成长的例句的质量。
5.本发明实施例还提供的一种写作辅助模型构建方法，具有与上述一种写作辅助模型构建方法相同的有益效果，在此不做赘述。
6.本发明实施例还提供的一种写作辅助方法，所述写作辅助模型在输出时采用自回归生成方式，逐词生成整个例句，采用top-k样算法，在不同生成时刻从概率最高的k个词语中，随机选取词语生成，当生成长度为L的句子时，会有N的L次方组合，通过引入随机性，即使相同的输入，也可以每次得到不一样的句子，因而可以有效避免和已有例句的重复问题。
7.本发明实施例还提供一种计算机存储介质，具有与上述一种写作辅助方法相同的有益效果，在此不做赘述。
附图说明
实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的一种写作辅助模型构建方法的步骤流程图。
图2是本发明第一实施例提供的一种写作辅助模型构建方法之步骤S21-S24的步骤流程图。
图3是本发明第一实施例提供的一种写作辅助模型构建方法之步骤S21’-S23’的步骤流程图。
图4是本发明第一实施例提供的一种写作辅助模型构建方法之步骤S21”-S23”的步骤流程图。
图5是本发明第二实施例提供的一种写作辅助方法的步骤流程图。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种写作辅助模型构建方法，包括以下步骤：
S1：提供第一模型和第二模型，所述第一模型包括一个解码器与一个编码器，且在该解码器中加入一个学习可控写作能力的Cross-attention 机制，所述第二模型与第一模型结构相同，且第二模型参数量小于第一模型；
S2：对第一模型进行多任务学习训练，所述多任务学习训练包括基于Self-Training的重复生成惩罚训练方法、 Prompt与可控Cross-attention机制相结合的风格控制训练方法、Prompt与可控Cross-attention机制相结合的组句功能训练方法以及基于上文内容的续写训练方法；
S3：基于训练后的第一模型，利用基于课程学习的知识蒸馏的技术将第一模型的知识蒸馏到第二模型上获得轻量化的写作辅助模型。
可以理解地，其中利用本发明第一实施例提供的一种写作辅助模型构建方法构建的写作辅助模型，可以基于用户输入关键词进行组句以及基于上下文进行风格续写，为了实现多种写作能力，同时最小化模型训练和部署成本，本发明设计一种多任务联合模型，将两种写作模型统一到一个神经网络模型。具体地，模型结构为一个多功能融合的 解码器与一个编码器，其中解码器中加入了一个学习可控写作能力的Cross-attention 机制，通过引入该机制，模型可以联合学习可控写作和续写等能力，通过模型共享实现任务间的知识迁移。当模式为续写例句生成时，关闭Cross-attention机制，此时的模型相当于一个GPT模型；当模式为关键词和风格可控的例句推荐生成时，开启Cross-attention机制增强风格控制与关键词控制。采用Cross-attention机制整合可控信息，并通过Self-Training提高长文本的生成效果；最终，将两种不同形式的写作任务用一个模型完成，不仅降低了训练和部署成本，还可以实现跨任务的知识迁移，任务间互相提高性能。
其中基于上文内容的续写训练方法为给定前面的文章，模型基于这些内容作为开始，进行内容的续写，由此，保证了新生成内容和上文的连贯性，如语义、主题等。
进一步地，为了加快推理速度并降低部署成本，同时生成的例句质量得到保证，本发明利用知识蒸馏的技术将大模型的知识蒸馏到小模型上，最终采用小模型部署。
为了减少大模型到小模型蒸馏时的知识损失，本发明提出基于课程学习的方法用于提高知识蒸馏效果，以克服大模型和小模型参数容量差距大导致蒸馏时知识损失过多的问题。特别地，第一模型通常含有更大的参数量用于提升模型学习效果，第二模型采用比第一模型更少的参数量用于学习，最终用于部署和推理，以达到减少成本、实现文本生成模型的轻量化，提高推理速度的目的。
课程学习具体为，将学习任务由简单到复杂进行排序，先学习续写类易学习任务，再进行更复杂任务的学习，如Prompt与可控Cross-attention机制相结合的组句功能，以此逐步加入新的学习任务，使得小模型在具备一定知识的情况下学习新的更难任务，从而更有利于知识迁移学习。
首先通过上述的多任务学习训练方法训练一个参数量大的模型，也即第一模型，然后再训练同等结构的参数量更小的第二模型时，将外加一个损失函数，使小模型的预测输出与大模型的预测输出相接近，将大模型的知识蒸馏到小模型上，具体地，蒸馏中，采用Kullback-Leibler divergence loss作为损失函数，具体为：
，
其中为第一模型的预测输出，/>为第二模型的预测输出。
请参阅图2，进一步地，步骤S2中“基于Self-Training的重复生成惩罚训练方法”具体包括：
S21：获取语料库，随机抽取语料库中的句子；
S22：截取句子中开头的一段语句输入第一模型中，模型基于贪心解码算法生成续写的句子；
S23：对生成的结果进行分句并判断是否有重复生成；
S24：将有重复生成的句子保留作为负样本，其余样本为正常样本供第一模型进行训练学习。
可以理解地，通过基于Self-Training的重复生成惩罚训练方法，可以有效的防止模型的重复生成，增加生成例句的多样性，具体地，主要是利用模型产生的重复数据用于让模型学习反对这种重复生成。
具体地，先从语料库中抽取一些句子，截取句子中开头一定长度的语句，输入至模型中让模型去生成续写的句子，续写采用贪心解码算法生成，然后对生成的结果进行分句并判断是否有重复生成，将有重复生成的样本保留作为负样本供模型进行训练学习。
针对以上的负样本，根据重复惩罚损失函数训练第一模型，让模型学会降低这种重复生成的概率，损失函数为：
；
利用正常样本进行训练时，采用的训练损失函数为：
；
其中，表示第n 次重复的x单词，/>表示第n -1次重复的x单词，/>表示概率，表示/>前面出现的单词，/>表示依据/>前面出现的单词预测为/>的概率。以此，通过对模型预测词语概率的自我修正，可以有效改进模型在生成长文本时，出现重复生成的问题，以提高模型生成内容的多样性和获得更加稳定高质量的输出。
具体地，对于正常样本的训练方式是基于上下文token来预测当前位置的token，训练目标是最大化相应的似然函数，相应的条件概率计算可以通过神经网络计算得到，最终每个位置每个token的出现概率通过将Transformer最后一层的隐状态加上一层全连接层然后通过softmax归一化计算得到。
最终，将两种样本的权重比例控制为5:1，因此最终基于Self-Training的重复生成惩罚训练时的总损失函数为：
。
请参阅图3，进一步地，步骤S2中“Prompt与可控Cross-attention机制相结合的风格控制训练方法”具体为：
S21’：以GPT神经网络结构作为基础，在其Self-attention结构之后加入Cross-attention机制作为第一模型的解码器；标准的GPT结构作为第一模型的编码器；
S22’：第一模型的编码器和解码器可以采用随机初始化的方法，或者采用预训练语言模型进行初始化；
S23’：在第一模型的解码器注入风格控制信息；
S24’：获取训练样本，为每个训练样本添加一个风格提示并输入至编码器；
S25’：采用基于文本指令的控制方法控制风格进行文本生成，具体为在编码器中输入相应的风格增强，在解码器，通过Prompt的形式，将风格控制信息以文本的形式传给第一模型。
可以理解地，其中该训练方法主要是让模型学会可控制的文本生成，也就是在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合用户的某种预期。
具体地，为了实现更加细粒度的写作风格控制，在第一模型的结构中，在解码器端，注入风格控制信息，在关键词写作时，编码器端还同时注入关键词信息和风格信息，二者相互学习。进一步地，采用基于文本指定的控制方法进行可控文本生成，在编码器中输入相应的风格增强，风格增强可以理解为是与风格相关的信息，不仅在训练时输入，构建的模型在使用时也会输入，而且编码器中双向的注意力机制可以更好的帮助模型理解风格；解码器，通过Prompt的形式，将控制信息以文本的形式传入即可，比如解码器的输入可能是“写一段摘要：…”。这种方式与语言模型天然结合，通用性更强。
在一种实施例中，控制风格可以使用如下几种方式进行控制，如在论文写作场景，可以设置如下几个风格：Abstract（摘要），Introduction（介绍），Related Work（相关工作），Experiments（实验），Conclusion（总结）。
用户在使用模型工作时，大致步骤为，输入上文以及风格，模型根据用户输入的上文和风格进行可控的文本生成续写，然后将结果反馈给用户。
具体地，在训练的过程中，会在每个段落前面加一个风格提示以及在编码器输入对应的风格，比如是，有一个训练样本是摘要，设该样本为A，训练时先在样本前面加上一个文本提示，这个提示是人定的，可以是，加上之后样本“A”变为 “写一段摘要：A “，或者“摘要：A” ，编码器输入的是“摘要”这一风格。如果样本是一段总结B，那么就变成“总结：B。”编码器输入的是“总结”这一风格。
由于前面模型训练是根据词序列中的前n−1个词计算下一个词n是哪个词的可能性，现在为需要加上添加的风格c，因此Prompt与可控Cross-attention机制相结合的风格控制训练时的损失函数为：
，
其中表示第i个单词x，/>表示依据/>前面出现的词，以及风格c来预测为/>的单词的概率。
请参阅图4，进一步地，步骤S2中“所述Prompt与可控Cross-attention机制相结合的组句功能训练方法”具体为：
S21”：获取训练文本，将文本平均拆分为多份；
S22”：对每份内容都进行关键词提取，分别利用关键词构建两个训练样本，一个有风格控制信息，一个无风格控制信息；
S23”：采用细粒度的控制和动态拼接的训练方式，具体为依次按照内容在文本中的顺序训练模型，训练时，输入当前内容构建的训练样本，并将该内容之前的其他内容也输入以训练第一模型。
可以理解地，组句功能即用户可以输入一些关键词，将基于这些关键词生成句子提供给用户，用户的使用过程如下：用户输入上文、风格以及关键词，模型根据上文、风格以及关键词进行续写，然后将结果反馈给用户，续写生成的内容中会包含关键词。
构建包含和不包含风格控制信息的训练样本，以增强训练样本的多样性和提升模型鲁棒性。
具体地，为了更好的控制生成的文本，采用一种细粒度的可控训练数据构建方法，也即上述的各步骤，先将文本的段落拆分为多份句子，然后对每一份都提取关键词，更具体地，在进行拆分时按长度平均拆分为四份，比如：某个段落有200个单词，那么这段话可以拆分为4部分，每部分有50个单词。
可以理解地，关键字提取是从文本文档中检索关键字或关键短语，这些关键词从文本文档的短语中选择出来的并且表征了文档的主题。作为一种实施方式，YAKE (YetAnother Keyword Extractor) 是一种关键字提取方法，因此将上面拆分好的4个部分分别使用YAKE 提取关键词，得到四个部分对应的关键词。
采用动态拼接的训练方式，在训练时会逐步融合拆分后的几个部分，在输入当前内容构建的训练样本时，并将该内容之前的其他内容也输入以训练第一模型，由此可知，当输入当前写作的关键信息时，模型同时可以考虑上文的信息，从而保证写作内容的前后连贯性和可控性；为了方便描述，以下进行举例说明：给一段训练文本，首先将其分为4个部分，A、B、C、D。其中A部分对应的关键词为key-A，B部分对应的关键词为key-B等等以此类推，key-A、key-B等等每个都包含多个关键词，假设其风格为S，那么可以如以下示例构建任务。
首先读取key-A，得到一个关键词列表，然后随机的取其中的一些词出来作为关键词，根据关键可以构建两个训练样本，一个为有风格控制信息，一个为无风格控制信息。Using key-A. A （此时编码器的输入为key-A.）与 Using key-A. S：A （此时编码器的输入为key-A. S）。此时损失函数变为：
然后读取key-B，得到一个关键词列表，然后随机的取其中的一些词出来作为关键词，同时将前一部分A也作为模型的输入。如果到第D部分的时候，同时会将前面A,B,C三部分都作为模型的输入，以此实现长文本的生成能力和较好的可控生成能力。在这里根据关键词也可以构建两个训练样本，一个为有风格，一个为无风格。Using key-B. A+B （此时编码器的输入为key-B.） 与 Using key-B. S：A+B （此时编码器的输入为key-B. S）。此时的损失函数变为：
通过这种方式训练，模型既可以保证关键词的可控力度又能保证生成长的例句的质量。
综上所述，通过本发明提供的方法构建的模型不再是仅仅对用户已有的内容进行修改，而是在已有的内容上提供给用户新的内容，以更好地辅助用户写作，用户可以根据模型生成的例句开阔思路，修改生成例句，也可以去控制生成的内容，大幅提升了写作的速度。本发明通过预训练的语言模型以及多任务学习和知识蒸馏，在保证生成质量的同时，提升了推理速度和节省了部署成本。
请参阅图，本发明第二实施例提供一种写作辅助方法，包括以下步骤：
步骤S100：基于写作辅助模型，所述写作辅助模型采用第一实施例所述的写作辅助模型构建方法构建获得；
步骤S200：关闭Cross-attention，输入上文，写作辅助模型根据上文生成续写的例句并输出；或
步骤S300：开启Cross-attention，输入上文、关键字以及风格，写作辅助模型根据上文、关键字以及风格生成推荐的例句并输出。
可以理解的，该模型在使用时，可通过开关Cross-attention机制来改变模型的生成方式，将多个交互写作场景联合建模，仅利用一个神经网络模型即可实现多种能力。
具体地，所述写作辅助模型在输出时采用自回归生成方式，逐词生成整个例句，采用top-k采样算法，在不同生成时刻从概率最高的k个词语中，随机选取词语生成，以增强生成结果的多样性。
具体地，当生成长度为L的句子时，会有N的L次方组合，通过引入随机性，即使相同的输入，也可以每次得到不一样的句子，因而可以有效避免和已有例句的重复问题。
本发明第三实施例还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如第二实施例所述的一种写作辅助方法。具有和上述的一种写作辅助方法相同的有益效果，在此不做赘述。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在本发明的附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方案中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，在此基于涉及的功能而确定。需要特别注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
与现有技术相比，本发明所提供给的一种写作辅助模型构建方法、写作辅助方法及存储介质具有如下的有益效果：
1.本发明实施例中提供的一种写作辅助模型构建方法，采用可控的Cross-attention 机制，增强对写作风格的控制与组句功能，联合多个写作任务于一个模型，降低模型训练和部署成本，更加高效，此外，采用多任务学习训练得到写作辅助模型，将不同的任务构建成统一的形式进行训练，大大提高了模型的通用性，利用知识蒸馏的技术将大模型的知识蒸馏到小模型上，加快推理速度并降低部署成本，同时生成的例句质量得到保证。
2.本发明实施例中提供的一种写作辅助模型构建方法，通过基于Self-Training的重复生成惩罚训练方法，主要是利用模型产生的重复数据用于让模型学习反对这种重复生成，可以有效的防止模型的重复生成，增加生成例句的多样性，
3.本发明实施例中提供的一种写作辅助模型构建方法，Prompt与可控Cross-attention机制相结合的风格控制训练方法训练模型，主要是让模型学会可控制的文本生成，也就是在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合用户的某种预期。
4.本发明实施例中提供的一种写作辅助模型构建方法，所述Prompt与可控Cross-attention机制相结合的组句功能训练方法中，采用动态拼接的训练方式，模型既可以保证关键词的可控力度又能保证生成长的例句的质量。
5.本发明实施例还提供的一种写作辅助模型构建方法，具有与上述一种写作辅助模型构建方法相同的有益效果，在此不做赘述。
6.本发明实施例还提供的一种写作辅助方法，所述写作辅助模型在输出时采用自回归生成方式，逐词生成整个例句，采用top-k样算法，在不同生成时刻从概率最高的k个词语中，随机选取词语生成，当生成长度为L的句子时，会有N的L次方组合，通过引入随机性，即使相同的输入，也可以每次得到不一样的句子，因而可以有效避免和已有例句的重复问题。
7.本发明实施例还提供一种计算机存储介质，具有与上述一种写作辅助方法相同的有益效果，在此不做赘述。
以上对本发明实施例公开的一种写作辅助模型构建方法、写作辅助方法及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。
Claims (10)
1.一种写作辅助模型构建方法，其特征在于：包括以下步骤：
提供第一模型和第二模型，所述第一模型包括一个解码器与一个编码器，且在该解码器中加入一个学习可控写作能力的Cross-attention 机制；所述第二模型与第一模型结构相同，且第二模型参数量小于第一模型；
对第一模型进行多任务学习训练，所述多任务学习训练包括基于Self-Training的重复生成惩罚训练方法、 Prompt与可控Cross-attention机制相结合的风格控制训练方法、Prompt与可控Cross-attention机制相结合的组句功能训练方法以及基于上文内容的续写训练方法；
基于训练后的第一模型，利用基于课程学习的知识蒸馏的技术将第一模型的知识蒸馏到第二模型上获得轻量化写作辅助模型。
2.如权利要求1所述的写作辅助模型构建方法，其特征在于：所述基于Self-Training的重复生成惩罚训练方法具体为：
获取语料库，随机抽取语料库中的句子；
截取句子中开头的一段语句输入第一模型中，模型基于贪心解码算法生成续写的句子；
对生成的结果进行分句并判断是否有重复生成；
将有重复生成的句子保留作为负样本，其余样本为正常样本供第一模型进行训练学习。
3.如权利要求2所述的写作辅助模型构建方法，其特征在于：利用重复生成的句子作为负样本对第一模型进行训练时，损失函数为：
；
利用正常样本进行训练时，采用的训练损失函数为：
；
其中，表示第n 次重复的x单词，/>表示第n -1次重复的x单词，/>表示概率，/>表示/>前面出现的单词，/> 表示依据/>前面出现的单词预测为/>的概率；最终，基于Self-Training的重复生成惩罚训练时的总损失函数为：
。
4.如权利要求1所述的写作辅助模型构建方法，其特征在于：所述Prompt与可控Cross-attention机制相结合的风格控制训练方法具体为：
以GPT神经网络结构作为基础，在其Self-attention结构之后加入Cross-attention机制作为第一模型的解码器；标准的GPT结构作为第一模型的编码器；
第一模型的编码器和解码器可以采用随机初始化的方法，或者采用预训练语言模型进行初始化；
在第一模型的解码器注入风格控制信息；
获取训练样本，为每个训练样本添加一个风格提示并输入至编码器；
采用基于文本指令的控制方法控制风格进行文本生成，具体为在编码器中输入相应的风格增强，在解码器，通过Prompt的形式，将风格控制信息以文本的形式传给第一模型。
5.如权利要求4所述的写作辅助模型构建方法，其特征在于：所述Prompt与可控Cross-attention机制相结合的风格控制训练时的损失函数为：
，
其中表示第i个单词x，/>表示依据/>前面出现的词，以及风格c来预测为的单词的概率。
6.如权利要求1所述的写作辅助模型构建方法，其特征在于：所述Prompt与可控Cross-attention机制相结合的组句功能训练方法具体为：
获取训练文本，将文本平均拆分为多份；
对每份内容都进行关键词提取，分别利用关键词构建两个训练样本，一个有风格控制信息，一个无风格控制信息；
采用细粒度的控制和动态拼接的训练方式，具体为依次按照内容在文本中的顺序训练模型，训练时，输入当前内容构建的训练样本，并将该内容之前的其他内容也输入以训练第一模型。
7.如权利要求1所述的写作辅助模型构建方法，其特征在于：用知识蒸馏的技术将第一模型的知识蒸馏到第二模型上采用Kullback-Leibler divergence loss作为损失函数，具体为：
，
其中为第一模型的预测输出，/>为第二模型的预测输出。
8.一种写作辅助方法，其特征在于：包括以下步骤：
基于写作辅助模型，所述写作辅助模型采用如权利要求1-7任一项所述的写作辅助模型构建方法构建获得；
关闭Cross-attention，输入上文，写作辅助模型根据上文生成续写的例句并输出；或
开启Cross-attention，输入上文、关键字以及风格，写作辅助模型根据上文、关键字以及风格生成推荐的例句并输出。
9.如权利要求8所述的写作辅助方法，其特征在于：所述写作辅助模型在输出时采用自回归生成方式，逐词生成整个例句，采用top-k样算法，在不同生成时刻从概率最高的k个词语中，随机选取词语生成。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被执行时实现如权利要求8所述的一种写作辅助方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310882196.0A CN116611424A (zh) | 2023-07-18 | 2023-07-18 | 一种写作辅助模型构建方法、写作辅助方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310882196.0A CN116611424A (zh) | 2023-07-18 | 2023-07-18 | 一种写作辅助模型构建方法、写作辅助方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116611424A true CN116611424A (zh) | 2023-08-18 |
Family
ID=87678594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310882196.0A Pending CN116611424A (zh) | 2023-07-18 | 2023-07-18 | 一种写作辅助模型构建方法、写作辅助方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116611424A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422912A (zh) * | 2023-10-20 | 2024-01-19 | 哈尔滨工业大学 | 一种基于提示学习的组织病理图像多任务分类系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523324A (zh) * | 2020-03-18 | 2020-08-11 | 大箴(杭州)科技有限公司 | 命名实体识别模型的训练方法及装置 |
| CN111753758A (zh) * | 2020-06-28 | 2020-10-09 | 北京百度网讯科技有限公司 | 模型生成方法、装置、电子设备及存储介质 |
| CN112733550A (zh) * | 2020-12-31 | 2021-04-30 | 科大讯飞股份有限公司 | 基于知识蒸馏的语言模型训练方法、文本分类方法及装置 |
| CN113220901A (zh) * | 2021-05-11 | 2021-08-06 | 中国科学院自动化研究所 | 基于增强智能的写作构思辅助系统、网路系统 |
| US20230196024A1 (en) * | 2021-12-21 | 2023-06-22 | Genesys Cloud Services, Inc. | Systems and methods relating to knowledge distillation in natural language processing models |
| CN116432611A (zh) * | 2023-03-10 | 2023-07-14 | 山东鲁软数字科技有限公司 | 文稿写作辅助方法、系统、终端及存储介质 |
-
2023
- 2023-07-18 CN CN202310882196.0A patent/CN116611424A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523324A (zh) * | 2020-03-18 | 2020-08-11 | 大箴(杭州)科技有限公司 | 命名实体识别模型的训练方法及装置 |
| CN111753758A (zh) * | 2020-06-28 | 2020-10-09 | 北京百度网讯科技有限公司 | 模型生成方法、装置、电子设备及存储介质 |
| CN112733550A (zh) * | 2020-12-31 | 2021-04-30 | 科大讯飞股份有限公司 | 基于知识蒸馏的语言模型训练方法、文本分类方法及装置 |
| CN113220901A (zh) * | 2021-05-11 | 2021-08-06 | 中国科学院自动化研究所 | 基于增强智能的写作构思辅助系统、网路系统 |
| US20230196024A1 (en) * | 2021-12-21 | 2023-06-22 | Genesys Cloud Services, Inc. | Systems and methods relating to knowledge distillation in natural language processing models |
| CN116432611A (zh) * | 2023-03-10 | 2023-07-14 | 山东鲁软数字科技有限公司 | 文稿写作辅助方法、系统、终端及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422912A (zh) * | 2023-10-20 | 2024-01-19 | 哈尔滨工业大学 | 一种基于提示学习的组织病理图像多任务分类系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alomari et al. | Deep reinforcement and transfer learning for abstractive text summarization: A review | |
| KR102577514B1 (ko) | 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체 | |
| JP6870076B2 (ja) | ニューラル機械翻訳システム | |
| CN108962224B (zh) | 口语理解和语言模型联合建模方法、对话方法及系统 | |
| Mairesse et al. | Stochastic language generation in dialogue using factored language models | |
| RU2477518C2 (ru) | Архитектура распознавания для генерации азиатских иероглифов | |
| Lin et al. | Automatic translation of spoken English based on improved machine learning algorithm | |
| WO2021065034A1 (ja) | 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム | |
| CN112699216A (zh) | 端到端的语言模型预训练方法、系统、设备及存储介质 | |
| CN116611424A (zh) | 一种写作辅助模型构建方法、写作辅助方法及存储介质 | |
| CN113033182B (zh) | 文本创作的辅助方法、装置及服务器 | |
| CN113609284A (zh) | 一种融合多元语义的文本摘要自动生成方法及装置 | |
| Zhou et al. | Master: Multi-task pre-trained bottlenecked masked autoencoders are better dense retrievers | |
| CN114647723A (zh) | 一种基于预训练软提示的少样本摘要生成方法 | |
| Zhu et al. | Mix before align: towards zero-shot cross-lingual sentiment analysis via soft-mix and multi-view learning | |
| CN112967720B (zh) | 少量重口音数据下的端到端语音转文本模型优化方法 | |
| JP2022037862A (ja) | テキスト基盤の事前学習モデルを活用した縦断型音声言語理解知識を蒸留するための方法、システム、およびコンピュータ読み取り可能な記録媒体 | |
| CN112667791A (zh) | 潜在事件预测方法、装置、设备及存储介质 | |
| CN115906879A (zh) | 一种垂直领域的翻译模型训练方法和存储介质 | |
| CN112052651B (zh) | 诗词生成方法、装置、电子设备及存储介质 | |
| Iki et al. | End-to-end character-level dialogue breakdown detection with external memory models | |
| CN115905852A (zh) | 基于预训练提示的故事生成方法、系统、存储介质和终端 | |
| CN114896988A (zh) | 统一的对话理解方法及框架 | |
| KR102567585B1 (ko) | 도메인 적응성 향상을 위한 기계 독해의 자가 트레이닝 방법 및 장치 | |
| JP2009146447A (ja) | テキスト要約システム、テキスト要約方法、および、テキスト要約プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |