CN110705284A - 基于神经网络生成模型的诗词生成质量的优化方法及系统 - Google Patents

基于神经网络生成模型的诗词生成质量的优化方法及系统 Download PDF

Info

Publication number
CN110705284A
CN110705284A CN201910887099.4A CN201910887099A CN110705284A CN 110705284 A CN110705284 A CN 110705284A CN 201910887099 A CN201910887099 A CN 201910887099A CN 110705284 A CN110705284 A CN 110705284A
Authority
CN
China
Prior art keywords
prediction
level
poetry
character
narrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910887099.4A
Other languages
English (en)
Other versions
CN110705284B (zh
Inventor
朱钦佩
吴仁守
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AI Speech Ltd
Original Assignee
AI Speech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AI Speech Ltd filed Critical AI Speech Ltd
Priority to CN201910887099.4A priority Critical patent/CN110705284B/zh
Publication of CN110705284A publication Critical patent/CN110705284A/zh
Application granted granted Critical
Publication of CN110705284B publication Critical patent/CN110705284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供一种基于神经网络生成模型的诗词生成质量的优化方法。该方法包括：构建基于encoder‑decoder框架的神经网络生成模型；将诗词训练数据集中的诗词上句作为初始语句，将与诗词上句对应的诗词下句作为目标语句；将初始语句、初始语句的字符向量和平仄信息作为生成模型编码层的输入；在解码层中添加预测字符向量任务和平仄信息预测任务，在解码层输出与初始语句对应的字符预测和平仄预测；通过反向传播训练，使神经网络生成模型融合诗词平仄规律的特性。本发明实施例还提供一种基于神经网络生成模型的诗词生成质量的优化系统。本发明使模型融入诗词平仄规律的特性，输出符合平仄规律的诗句，以及诗句的押韵，提升了输出诗词的质量。

Description

基于神经网络生成模型的诗词生成质量的优化方法及系统
技术领域
本发明涉及自然语言处理领域，尤其涉及一种基于神经网络生成模型的诗词生成质量的优化方法及系统。
背景技术
自然语言生成是自然语言处理的重要内容，它广泛应用于自动翻译、摘要提取、新闻撰写、阅读理解、智能聊天机器人等领域。比如在中英文本翻译中，对模型输入“这个多少钱”，模型会输出“how much is it”。
在自然语言生成的技术上，业界普遍使用的算法框架是“编码-解码”(encode-decode)框架，例如有“seq2seq-attention”、“tansformer”等。这些算法能够有效的学习到输入文本的特征，并巧妙的利用这些特征组织输出文本。从而也可以将这些算法框架应用到古诗词生成中。
在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
对于生成汉语古诗词，现有模型虽然能够学到一部分诗词风格的文字组合方式以及格律韵脚，但是从整体上看远远不能满足用户的审美需求，大多数生成诗词与现存诗词在平仄和押韵美感上差距较大。这是因为诗词内的每个字都是遵循诗词格律并且上下句直接还存在着押韵关系。现有的模型难以完整的学习到诗词内在的平仄规律，也难以建立上下句中的押韵联系，从而使得生成的古诗语句难以满足用户的审美需求。
发明内容
为了至少解决现有技术中难以完整的学习到诗词内在的平仄规律，也难以建立上下句中的押韵联系，从而使得生成的古诗语句难以满足用户的审美需求的问题。
第一方面，本发明实施例提供一种基于神经网络生成模型的诗词生成质量的优化方法，包括：
构建基于encoder-decoder框架的神经网络生成模型，所述神经网络生成模型包括encoder-编码层以及decoder-解码层；
将诗词训练数据集中的诗词上句作为初始语句，将与所述诗词上句对应的诗词下句作为目标语句，其中，所述诗词训练数据集带有每个字的平仄信息；
将所述初始语句、所述初始语句中每个字的字符向量以及平仄信息作为所述生成模型编码层的输入；
在所述解码层中添加预测字符向量任务以及平仄信息预测任务，根据对应的用于生成诗词的数据库，在所述解码层输出与所述初始语句对应的字符预测以及平仄预测；
根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练，以将任务训练后的字符预测以及平仄预测确定的目标语句预测趋近所述目标语句，使所述神经网络生成模型融合诗词平仄规律的特性。
第二方面，本发明实施例提供一种基于神经网络生成模型的诗词生成质量的优化系统，包括：
生成模型构建程序模块，用于构建基于encoder-decoder框架的神经网络生成模型，所述神经网络生成模型包括encoder-编码层以及decoder-解码层；
训练语句确定程序模块，用于将诗词训练数据集中的诗词上句作为初始语句，将与所述诗词上句对应的诗词下句作为目标语句，其中，所述诗词训练数据集带有每个字的平仄信息；
编码层输入程序模块，用于将所述初始语句、所述初始语句中每个字的字符向量以及平仄信息作为所述生成模型编码层的输入；
解码层输出程序模块，用于在所述解码层中添加预测字符向量任务以及平仄信息预测任务，根据对应的用于生成诗词的数据库，在所述解码层输出与所述初始语句对应的字符预测以及平仄预测；
优化程序模块，用于根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练，以将任务训练后的字符预测以及平仄预测确定的目标语句预测趋近所述目标语句，使所述神经网络生成模型融合诗词平仄规律的特性。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于神经网络生成模型的诗词生成质量的优化方法的步骤。
第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的基于神经网络生成模型的诗词生成质量的优化方法的步骤。
本发明实施例的有益效果在于：在encoder-decoder框架的编码层的输入增加了诗词格律以及韵脚特征，在解码层融入了专门的预测格律和韵脚的任务，通过对应的训练，使得所述神经网络生成模型融合诗词平仄规律的特性，进而输出符合平仄规律的诗句，整体上提升了输出诗词的质量同时满足诗歌对字的压韵的需求。使得生成的诗句的押韵效果显著增强
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种基于神经网络生成模型的诗词生成质量的优化方法的流程图；
图2是本发明一实施例提供的一种基于神经网络生成模型的诗词生成质量的优化系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明一实施例提供的一种基于神经网络生成模型的诗词生成质量的优化方法的流程图，包括如下步骤：
S11：构建基于encoder-decoder框架的神经网络生成模型，所述神经网络生成模型包括encoder-编码层以及decoder-解码层；
S12：将诗词训练数据集中的诗词上句作为初始语句，将与所述诗词上句对应的诗词下句作为目标语句，其中，所述诗词训练数据集带有每个字的平仄信息；
S13：将所述初始语句、所述初始语句中每个字的字符向量以及平仄信息作为所述生成模型编码层的输入；
S14：在所述解码层中添加预测字符向量任务以及平仄信息预测任务，根据对应的用于生成诗词的数据库，在所述解码层输出与所述初始语句对应的字符预测以及平仄预测；
S15：根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练，以将任务训练后的字符预测以及平仄预测确定的目标语句预测趋近所述目标语句，使所述神经网络生成模型融合诗词平仄规律的特性。
对于步骤S11，为了使生成模型学习到诗词内在的平仄规律以及上下句的押韵联系，重新构建基于encoder-decoder框架的神经网络生成模型。其中，所述encoder-decoder框架的特征就是一个End-to-End学习的算法；这样的模型往往用在机器翻译中，比如将法语翻译成英语。这样的模型也被叫做Sequence to Sequence learning(序列到序列学习)。所谓编码层，就是将输入序列转化成一个固定长度的向量；解码层，就是将之前生成的固定向量再转化成输出序列。
准确的说，encoder-decoder并不是一个具体的模型，而是一类框架。encoder和decoder部分可以是任意的文字，语音，图像，视频数据，神经网络模型可以采用CNN，RNN，BiRNN、LSTM、GRU等。所以基于encoder-decoder框架可以设计出各种各样的应用算法。
对于步骤S12：将诗词训练数据集中的诗词上句作为初始语句，将与所述诗词上句对应的诗词下句作为要生成的目标语句。作为一种实施方式，所述初始语句以及目标语句都为诗词语句的倒叙，用于优先确定出句尾的字符，贴合诗词格律的押韵特性，例如：
输入1：，草(仄)上(仄)原(平)离(平)离(平)
输出1：。荣(平)枯(平)一(仄)岁(仄)一(仄)
输入2：。荣(平)枯(平)一(仄)岁(仄)一(仄)
输出2：，尽(仄)不(平)烧(平)火(仄)野(仄)
由于一般的古诗句尾都会押韵，从而优先将最需要押韵的字进行确定。
对于步骤S13，将所述初始语句，以及所述初始语句中每个字的字符向量以及平仄信息作为所述生成模型编码层的输入，其中，将输入诗句每个字(或词)的embedding字符向量，和平仄信息组合成“输入特征”。
例如：“荣”＝＝>(e1,e2,e3,...,eh,1,0,0,0)。其中，(e1,..,eh)是“荣”的embedding字符向量，后面4维，(1,0,0,0)表示“平”，(0,1,0,0)表示“仄”，(0,0,1,0)表示“可平可仄”，(0,0,0,1)表示“无法得知平仄信息”。
对于步骤S14，所述解码端的输出状态为St，然后传入两个任务中。其中一个任务是传统的对词表(vocab)中每个字符(或词)的概率预测，另一个任务是预测每个时刻的平仄信息。例如：预测的字符预测为(0.01,0.64,0.02,0.17,0.03,...)，平仄预测为(0.1,0.5,0.3,0.1)。
作为一种实施方式，所述字符预测包括：字符库中每个字符预测的概率集合Ot1，每个字符预测的标注集合Lt1；
所述平仄预测包括：平仄信息预测的概率集合Ot2，平仄信息的预测标注Lt2；
则举例如下：状态时刻t，字符预测任务输出Ot1：(0.01,0.64,0.02,0.17,0.03,...)。字符预测任务标注Lt1：(0,1,0,0,0,...)。平仄预测任务输出Ot2:(0.1,0.5,0.3,0.1)。平仄预测任务标注Lt2:(0,1,0,0)。
对于步骤S15，根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练。
所述根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练包括：
根据所述目标语句预测的概率集合Ot1以及每个字符预测的标注集合Lt1对所述预测字符向量任务进行交叉熵训练；
根据所述平仄信息预测的概率集合Ot2以及平仄信息的预测标注Lt2对所述平仄信息预测任务进行条件随机场训练。
可以理解为：根据上述的输出建立多任务训练模型，Ot1与Lt1组成交叉熵训练模型，Ot2与Lt2组成条件随机场训练模型，进行反向传播。从而将任务训练后的字符预测以及平仄预测确定的目标语句预测趋近所述目标语句。使所述神经网络生成模型融合诗词平仄规律的特性。
通过该实施方式可以看出，在encoder-decoder框架的编码层的输入增加了诗词格律以及韵脚特征，在解码层融入了专门的预测格律和韵脚的任务，通过对应的训练，使得所述神经网络生成模型融合诗词平仄规律的特性，进而输出符合平仄规律的诗句，整体上提升了输出诗词的质量。
作为一种实施方式，在本实施例中，所述字符预测以及平仄预测确定的目标语句预测包括：
将所述平仄信息预测的概率集合Ot2中各平仄信息的预测概率平摊到所述字符库内对应的各字符中，确定出所述字符库中每个字符预测的平仄信息概率集合；
将所述平仄信息概率集合与所述字符库中每个字符预测的概率集合Ot1相叠加，确定出目标语句预测的概率集合Ot3。
例如字符库：(n平声，m仄声，k即平又仄，t其他),其中n+m+k+t＝N(开头是n个所有的平声字符，然后是m个所有仄声字符，然后是k个即平声又仄声的字符，最后是t个其他的字符。N为字符的总数)
平仄预测任务输出Ot2：(0.1,0.5,0.3,0.1)
概率平摊：(0.1/n,0.1/n,...,0.5/m,0.5/m,...,0.3/k,0.3/k,...,0.1/t,0.1/t,...)
字符预测任务输出Ot1：(p1,p2,...,pN)
字符预测任务最终输出Ot3：(0.1/n+p1,0.1/n+p2,...,0.1/t+pN)
从而根据最终输出确定目标语句预测。
通过该实施方式可以看出，在模型训练完成后，进行目标语句的预测，满足诗歌的平仄规律。
作为一种实施方式，在本实施例中，所述用于生成诗词的数据库包括：
确定押韵规则的格律形式数据库、确定平仄规律的诗词数据库、用于诗词生成的平声字库、仄声字库、既属于平又属于仄的字库、平水韵字库、字符库。
在本实施方式中，由于需要进行训练优化，需要预备好一定量的数据，例如：
(1)格律形式数据库：五绝|平起首句押韵|平平仄仄平，仄仄仄平平。仄仄平平仄，平平仄仄平。
(2)诗词数据库：离离原上草|一岁一枯荣|野火烧不尽|春风吹又生
(3)平声字库：扬|形|场...
(4)仄声字库：竹|读|鸭...
(5)即是平又是仄的字：行|吹|思|乘...
(6)平水韵字库：一东|东中同童...
(7)字符数据库：扬|形|场...|竹|读|鸭...|行|吹|思|乘...|，|。|！...
通过该实施方式可以看出，使用现存的古诗词数据，从多个维度为神经网络生成模型提供训练数据，同时，在诗词生成过程中，提供了多个维度参考诗词数据，进而提升了诗词的质量。
作为一种实施方式，在所述神经网络生成模型融合诗词平仄规律的特性后，所述方法还包括：
将需要生成诗词的句首以及格律形式输入至所述神经网络生成模型；
根据所述格律形式确定需要生成的目标诗词的押韵规则；
根据所述押韵规则相对应的提升目标语句预测的概率集合中，与所述句首相押韵字的概率，用于建立诗词上下句的押韵联系；
通过所述建立押韵联系后的目标语句预测的概率集合，输出目标诗词。
在本实施方式中，用户给出了诗词的句首，让所述神经网络生成模型将给出句首的诗词补全。同时，用户还输入了是需要补充那种类型的诗词(例如，七言绝句)。诗词的句首如下“薄荷绵亘衡从亩”。
诗词的句首输入到所述神经网络生成模型中是倒叙输入的，也就是“亩”“从”“衡”“亘”“绵”“荷”“薄”。由于是倒叙输入，所要押韵的字在所述神经网络中其实就是第一个字。如果判断需要压韵，并且知道了压韵的类型，则对第一个时刻(也就是“亩”)的目标语句预测的概率集合Ot3做mask掩模运算，相对应的提升压韵字位置的概率，使用mask后的向量做抽样(比如，beamsearch集束搜索)，从而最终生成的句子，这样生成的诗句符合押韵规则。
例如，字符预测输出：Ot3＝(p1,p2,...,pN)。
让诗句压韵的所有字符在字符数据库中的位置为：M＝(12,20,79,200,345,500)。对M做one_hot(独热编码),即第12,20,...位置上为1,其他位置为0：M_one_hot＝(0,...,1,...,1,....)N。
对Ot3做Mask掩模运算：Ot3_mask＝(0,...,p12,...,p20,...,p79,...,p200,...,p345,...,p500,...)。使用Ot3_mask在字典中做beamsearch集束搜索。从而，生成与“薄荷绵亘衡从亩”对应的诗句：“春草池塘几梦思”。在根据生成的诗句进行诗词下一句的生成，以此类推。输出：
亩从衡亘绵荷薄
思梦几塘池草春
后散人亭邮寞寂
时来雁草塞凉凄
由于是倒叙的，将最后的句子进行还原，得到：
薄荷绵亘衡从亩，
春草池塘几梦思。
寂寞邮亭人散后，
凄凉塞草雁来时。
通过该实施方式可以看出，通过使用优化后的神经网络生成模型生成的诗词，优先对第一个字的预测进行特殊处理，以满足诗歌对最后一个字压韵的需求。使得生成的诗句平仄和押韵效果显著增强。
如图2所示为本发明一实施例提供的一种基于神经网络生成模型的诗词生成质量的优化系统的结构示意图，该系统可执行上述任意实施例所述的基于神经网络生成模型的诗词生成质量的优化方法，并配置在终端中。
本实施例提供的一种基于神经网络生成模型的诗词生成质量的优化系统包括：生成模型构建程序模块11，训练语句确定程序模块12，编码层输入程序模块13，解码层输出程序模块14，和优化程序模块15。
其中，生成模型构建程序模块11用于构建基于encoder-decoder框架的神经网络生成模型，所述神经网络生成模型包括encoder-编码层以及decoder-解码层；训练语句确定程序模块12用于将诗词训练数据集中的诗词上句作为初始语句，将与所述诗词上句对应的诗词下句作为目标语句，其中，所述诗词训练数据集带有每个字的平仄信息；编码层输入程序模块13用于将所述初始语句、所述初始语句中每个字的字符向量以及平仄信息作为所述生成模型编码层的输入；解码层输出程序模块14用于在所述解码层中添加预测字符向量任务以及平仄信息预测任务，根据对应的用于生成诗词的数据库，在所述解码层输出与所述初始语句对应的字符预测以及平仄预测；优化程序模块15用于根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练，以将任务训练后的字符预测以及平仄预测确定的目标语句预测趋近所述目标语句，使所述神经网络生成模型融合诗词平仄规律的特性。
进一步地，所述用于生成诗词的数据库包括：
确定押韵规则的格律形式数据库、确定平仄规律的诗词数据库、用于诗词生成的平声字库、仄声字库、既属于平又属于仄的字库、平水韵字库、字符库；
所述平仄信息包括：平声、仄声、既属于平声又属于仄声、无法确定平仄声。
进一步地，所述字符预测包括：字符库中每个字符预测的概率集合Ot1，每个字符预测的标注集合Lt1；
所述平仄预测包括：平仄信息预测的概率集合Ot2，平仄信息的预测标注Lt2；
所述优化程序模块用于：
根据所述目标语句预测的概率集合Ot1以及每个字符预测的标注集合Lt1对所述预测字符向量任务进行交叉熵训练；
根据所述平仄信息预测的概率集合Ot2以及平仄信息的预测标注Lt2对所述平仄信息预测任务进行条件随机场训练。
进一步地，所述字符预测以及平仄预测确定的目标语句预测包括：
将所述平仄信息预测的概率集合Ot2中各平仄信息的预测概率平摊到所述字符库内对应的各字符中，确定出所述字符库中每个字符预测的平仄信息概率集合；
将所述平仄信息概率集合与所述字符库中每个字符预测的概率集合Ot1相叠加，确定出目标语句预测的概率集合Ot3。
进一步地，所述初始语句以及目标语句都为诗词语句的倒叙，用于优先确定出句尾的字符，贴合诗词格律的押韵特性；
在所述神经网络生成模型融合诗词平仄规律的特性后，所述系统还用于：
将需要生成诗词的句首以及格律形式输入至所述神经网络生成模型；
根据所述格律形式确定需要生成的目标诗词的押韵规则；
根据所述押韵规则相对应的提升目标语句预测的概率集合中，与所述句首相押韵字的概率，用于建立诗词上下句的押韵联系；
通过所述建立押韵联系后的目标语句预测的概率集合，输出目标诗词。
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于神经网络生成模型的诗词生成质量的优化方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
构建基于encoder-decoder框架的神经网络生成模型，所述神经网络生成模型包括encoder-编码层以及decoder-解码层；
将诗词训练数据集中的诗词上句作为初始语句，将与所述诗词上句对应的诗词下句作为目标语句，其中，所述诗词训练数据集带有每个字的平仄信息；
将所述初始语句、所述初始语句中每个字的字符向量以及平仄信息作为所述生成模型编码层的输入；
在所述解码层中添加预测字符向量任务以及平仄信息预测任务，根据对应的用于生成诗词的数据库，在所述解码层输出与所述初始语句对应的字符预测以及平仄预测；
根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练，以将任务训练后的字符预测以及平仄预测确定的目标语句预测趋近所述目标语句，使所述神经网络生成模型融合诗词平仄规律的特性。
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的基于神经网络生成模型的诗词生成质量的优化方法。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于神经网络生成模型的诗词生成质量的优化方法的步骤。
本申请实施例的客户端以多种形式存在，包括但不限于：
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如平板电脑。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据处理功能的电子装置。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于神经网络生成模型的诗词生成质量的优化方法，包括：
构建基于encoder-decoder框架的神经网络生成模型，所述神经网络生成模型包括encoder-编码层以及decoder-解码层；
将诗词训练数据集中的诗词上句作为初始语句，将与所述诗词上句对应的诗词下句作为目标语句，其中，所述诗词训练数据集带有每个字的平仄信息；
将所述初始语句、所述初始语句中每个字的字符向量以及平仄信息作为所述生成模型编码层的输入；
在所述解码层中添加预测字符向量任务以及平仄信息预测任务，根据对应的用于生成诗词的数据库，在所述解码层输出与所述初始语句对应的字符预测以及平仄预测；
根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练，以将任务训练后的字符预测以及平仄预测确定的目标语句预测趋近所述目标语句，使所述神经网络生成模型融合诗词平仄规律的特性。
2.根据权利要求1所述的方法，其中，所述用于生成诗词的数据库包括：
确定押韵规则的格律形式数据库、确定平仄规律的诗词数据库、用于诗词生成的平声字库、仄声字库、既属于平又属于仄的字库、平水韵字库、字符库；
所述平仄信息包括：平声、仄声、既属于平声又属于仄声、无法确定平仄声。
3.根据权利要求2所述的方法，其中，所述字符预测包括：字符库中每个字符预测的概率集合Ot1，每个字符预测的标注集合Lt1；
所述平仄预测包括：平仄信息预测的概率集合Ot2，平仄信息的预测标注Lt2；
所述根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练包括：
根据所述目标语句预测的概率集合Ot1以及每个字符预测的标注集合Lt1对所述预测字符向量任务进行交叉熵训练；
根据所述平仄信息预测的概率集合Ot2以及平仄信息的预测标注Lt2对所述平仄信息预测任务进行条件随机场训练。
4.根据权利要求3所述的方法，其中，
所述字符预测以及平仄预测确定的目标语句预测包括：
将所述平仄信息预测的概率集合Ot2中各平仄信息的预测概率平摊到所述字符库内对应的各字符中，确定出所述字符库中每个字符预测的平仄信息概率集合；
将所述平仄信息概率集合与所述字符库中每个字符预测的概率集合Ot1相叠加，确定出目标语句预测的概率集合Ot3。
5.根据权利要求1所述的方法，其中，所述初始语句以及目标语句都为诗词语句的倒叙，用于优先确定出句尾的字符，贴合诗词格律的押韵特性；
在所述神经网络生成模型融合诗词平仄规律的特性后，所述方法还包括：
将需要生成诗词的句首以及格律形式输入至所述神经网络生成模型；
根据所述格律形式确定需要生成的目标诗词的押韵规则；
根据所述押韵规则相对应的提升目标语句预测的概率集合中，与所述句首相押韵字的概率，用于建立诗词上下句的押韵联系；
通过所述建立押韵联系后的目标语句预测的概率集合，输出目标诗词。
6.一种基于神经网络生成模型的诗词生成质量的优化系统，包括：
生成模型构建程序模块，用于构建基于encoder-decoder框架的神经网络生成模型，所述神经网络生成模型包括encoder-编码层以及decoder-解码层；
训练语句确定程序模块，用于将诗词训练数据集中的诗词上句作为初始语句，将与所述诗词上句对应的诗词下句作为目标语句，其中，所述诗词训练数据集带有每个字的平仄信息；
编码层输入程序模块，用于将所述初始语句、所述初始语句中每个字的字符向量以及平仄信息作为所述生成模型编码层的输入；
解码层输出程序模块，用于在所述解码层中添加预测字符向量任务以及平仄信息预测任务，根据对应的用于生成诗词的数据库，在所述解码层输出与所述初始语句对应的字符预测以及平仄预测；
优化程序模块，用于根据所述字符预测以及平仄预测对所述预测字符向量任务以及平仄信息预测任务进行反向传播训练，以将任务训练后的字符预测以及平仄预测确定的目标语句预测趋近所述目标语句，使所述神经网络生成模型融合诗词平仄规律的特性。
7.根据权利要求6所述的系统，其中，所述用于生成诗词的数据库包括：
确定押韵规则的格律形式数据库、确定平仄规律的诗词数据库、用于诗词生成的平声字库、仄声字库、既属于平又属于仄的字库、平水韵字库、字符库；
所述平仄信息包括：平声、仄声、既属于平声又属于仄声、无法确定平仄声。
8.根据权利要求7所述的系统，其中，所述字符预测包括：字符库中每个字符预测的概率集合Ot1，每个字符预测的标注集合Lt1；
所述平仄预测包括：平仄信息预测的概率集合Ot2，平仄信息的预测标注Lt2；
所述优化程序模块用于：
根据所述目标语句预测的概率集合Ot1以及每个字符预测的标注集合Lt1对所述预测字符向量任务进行交叉熵训练；
根据所述平仄信息预测的概率集合Ot2以及平仄信息的预测标注Lt2对所述平仄信息预测任务进行条件随机场训练。
9.根据权利要求8所述的系统，其中，所述字符预测以及平仄预测确定的目标语句预测包括：
将所述平仄信息预测的概率集合Ot2中各平仄信息的预测概率平摊到所述字符库内对应的各字符中，确定出所述字符库中每个字符预测的平仄信息概率集合；
将所述平仄信息概率集合与所述字符库中每个字符预测的概率集合Ot1相叠加，确定出目标语句预测的概率集合Ot3。
10.根据权利要求6所述的系统，其中，所述初始语句以及目标语句都为诗词语句的倒叙，用于优先确定出句尾的字符，贴合诗词格律的押韵特性；
在所述神经网络生成模型融合诗词平仄规律的特性后，所述系统还用于：
将需要生成诗词的句首以及格律形式输入至所述神经网络生成模型；
根据所述格律形式确定需要生成的目标诗词的押韵规则；
根据所述押韵规则相对应的提升目标语句预测的概率集合中，与所述句首相押韵字的概率，用于建立诗词上下句的押韵联系；
通过所述建立押韵联系后的目标语句预测的概率集合，输出目标诗词。
CN201910887099.4A 2019-09-19 2019-09-19 基于神经网络生成模型的诗词生成质量的优化方法及系统 Active CN110705284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910887099.4A CN110705284B (zh) 2019-09-19 2019-09-19 基于神经网络生成模型的诗词生成质量的优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910887099.4A CN110705284B (zh) 2019-09-19 2019-09-19 基于神经网络生成模型的诗词生成质量的优化方法及系统

Publications (2)

Publication Number Publication Date
CN110705284A true CN110705284A (zh) 2020-01-17
CN110705284B CN110705284B (zh) 2023-04-07

Family

ID=69196249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910887099.4A Active CN110705284B (zh) 2019-09-19 2019-09-19 基于神经网络生成模型的诗词生成质量的优化方法及系统

Country Status (1)

Country Link
CN (1) CN110705284B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909179A (zh) * 2019-11-29 2020-03-24 苏州思必驰信息科技有限公司 文本生成模型的优化方法及系统
CN111444679A (zh) * 2020-03-27 2020-07-24 北京小米松果电子有限公司 诗词生成方法及装置、电子设备、存储介质
CN111898339A (zh) * 2020-07-28 2020-11-06 中国平安人寿保险股份有限公司 基于约束解码的古诗生成方法、装置、设备及介质
CN112052651A (zh) * 2020-08-14 2020-12-08 深圳市欢太科技有限公司 诗词生成方法、装置、电子设备及存储介质
CN112199949A (zh) * 2020-09-07 2021-01-08 咪咕文化科技有限公司 诗词创作的辅助方法、电子设备及存储介质
CN112287678A (zh) * 2020-11-03 2021-01-29 沈阳雅译网络技术有限公司 一种基于预训练模型的古体诗自动生成方法
CN112801234A (zh) * 2021-04-12 2021-05-14 中国人民解放军国防科技大学 基于神经网络的图像诗句描述生成方法、装置和设备
CN112883710A (zh) * 2021-01-13 2021-06-01 戴宇航 用于优化用户创作的诗词的方法
CN113312448A (zh) * 2021-04-02 2021-08-27 新大陆数字技术股份有限公司 一种诗歌生成方法、系统及可读存储介质
CN113420555A (zh) * 2021-06-18 2021-09-21 沈阳雅译网络技术有限公司 一种基于软约束的诗词自动生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569995A (zh) * 2016-09-26 2017-04-19 天津大学 基于语料库和格律规则的汉语古诗词自动生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569995A (zh) * 2016-09-26 2017-04-19 天津大学 基于语料库和格律规则的汉语古诗词自动生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王哲: "基于深度学习技术的中国传统诗歌生成方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909179A (zh) * 2019-11-29 2020-03-24 苏州思必驰信息科技有限公司 文本生成模型的优化方法及系统
CN111444679A (zh) * 2020-03-27 2020-07-24 北京小米松果电子有限公司 诗词生成方法及装置、电子设备、存储介质
CN111444679B (zh) * 2020-03-27 2024-05-24 北京小米松果电子有限公司 诗词生成方法及装置、电子设备、存储介质
CN111898339A (zh) * 2020-07-28 2020-11-06 中国平安人寿保险股份有限公司 基于约束解码的古诗生成方法、装置、设备及介质
CN111898339B (zh) * 2020-07-28 2023-07-21 中国平安人寿保险股份有限公司 基于约束解码的古诗生成方法、装置、设备及介质
CN112052651A (zh) * 2020-08-14 2020-12-08 深圳市欢太科技有限公司 诗词生成方法、装置、电子设备及存储介质
CN112052651B (zh) * 2020-08-14 2024-01-23 深圳市欢太科技有限公司 诗词生成方法、装置、电子设备及存储介质
CN112199949B (zh) * 2020-09-07 2024-04-19 咪咕文化科技有限公司 诗词创作的辅助方法、电子设备及存储介质
CN112199949A (zh) * 2020-09-07 2021-01-08 咪咕文化科技有限公司 诗词创作的辅助方法、电子设备及存储介质
CN112287678A (zh) * 2020-11-03 2021-01-29 沈阳雅译网络技术有限公司 一种基于预训练模型的古体诗自动生成方法
CN112883710A (zh) * 2021-01-13 2021-06-01 戴宇航 用于优化用户创作的诗词的方法
CN113312448A (zh) * 2021-04-02 2021-08-27 新大陆数字技术股份有限公司 一种诗歌生成方法、系统及可读存储介质
CN112801234A (zh) * 2021-04-12 2021-05-14 中国人民解放军国防科技大学 基于神经网络的图像诗句描述生成方法、装置和设备
CN113420555A (zh) * 2021-06-18 2021-09-21 沈阳雅译网络技术有限公司 一种基于软约束的诗词自动生成方法

Also Published As

Publication number Publication date
CN110705284B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110705284B (zh) 基于神经网络生成模型的诗词生成质量的优化方法及系统
CN110427617B (zh) 推送信息的生成方法及装置
CN110263150B (zh) 文本生成方法、装置、计算机设备及存储介质
CN110930980B (zh) 一种中英文混合语音的声学识别方法及系统
JP6677419B2 (ja) 音声対話方法及び装置
CN111625660A (zh) 对话生成方法、视频评论方法、装置、设备及存储介质
EP3885966B1 (en) Method and device for generating natural language description information
CN110263147B (zh) 推送信息的生成方法及装置
CN116884391B (zh) 基于扩散模型的多模态融合音频生成方法及装置
CN111626062A (zh) 文本语义编码方法及系统
CN115100582B (zh) 基于多模态数据的模型训练方法及装置
CN111414561A (zh) 用于呈现信息的方法和装置
CN112463942A (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
CN113113024A (zh) 语音识别方法、装置、电子设备和存储介质
CN109635303B (zh) 特定领域意义改变词的识别方法
CN114297220A (zh) 一种数据处理方法、装置、计算机设备以及存储介质
CN114328814A (zh) 文本摘要模型的训练方法、装置、电子设备及存储介质
CN117115303A (zh) 用于内容生成的方法、系统、计算设备和存储介质
CN111462734A (zh) 语义槽填充模型训练方法及系统
CN111477212A (zh) 内容识别、模型训练、数据处理方法、系统及设备
CN112883729B (zh) 文本创作的词汇推荐方法、装置及服务器
CN111241830B (zh) 对语词向量生成方法、对语生成模型训练方法
CN111353035B (zh) 人机对话方法、装置、可读存储介质及电子设备
CN110781327B (zh) 图像搜索方法、装置、终端设备及存储介质
US11361761B2 (en) Pattern-based statement attribution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant after: Sipic Technology Co.,Ltd.

Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant before: AI SPEECH Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant