CN109117485B - 祝福语文本生成方法和装置、计算机可读存储介质 - Google Patents

祝福语文本生成方法和装置、计算机可读存储介质 Download PDF

Info

Publication number
CN109117485B
CN109117485B CN201811037203.2A CN201811037203A CN109117485B CN 109117485 B CN109117485 B CN 109117485B CN 201811037203 A CN201811037203 A CN 201811037203A CN 109117485 B CN109117485 B CN 109117485B
Authority
CN
China
Prior art keywords
blessing
subject
text
word
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811037203.2A
Other languages
English (en)
Other versions
CN109117485A (zh
Inventor
宋阳
陈蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huijun Technology Co ltd
Original Assignee
Beijing Huijun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huijun Technology Co ltd filed Critical Beijing Huijun Technology Co ltd
Priority to CN201811037203.2A priority Critical patent/CN109117485B/zh
Publication of CN109117485A publication Critical patent/CN109117485A/zh
Application granted granted Critical
Publication of CN109117485B publication Critical patent/CN109117485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开一种祝福语文本生成方法和装置、计算机可读存储介质。该祝福语文本生成方法包括：获取用户输入的场景主题词；对场景主题词进行主题词扩展，得到扩展主题词；根据场景主题词和扩展主题词，生成多个主题词序列；将主题词序列输入预定自然语言生成模型，生成祝福语文本。本发明可以根据用户输入的主题词自动扩展主题词，并根据这些扩展出的主题词找出最优候选主题词序列。

Description

祝福语文本生成方法和装置、计算机可读存储介质
技术领域
本发明涉及通信技术领域，特别涉及一种祝福语文本生成方法和装置、计算机可读存储介质。
背景技术
随着电商行业的不断发展和人民生活水平的不断提高，越来越多的用户开始选择从电商平台网上购物作为礼品送给亲朋好友。
在网购礼品赠送亲朋好友的同时，用户一般都会有为礼品配上几句祝福话语的需求，大部分用户会选择自己写祝福语文本，但还是会存在部分用户需要根据他们的需求生成一些个性化祝福语文本。
相关技术商业化内容生成的应用场景很多，主要是通过以下三种方案进行内容生成：
第一、基于人工生成的：人工预先为每个用户场景(送给爸爸，送给妈妈，送给老婆)写上几首通用的祝福语文本，然后由用户选择场景，挑选祝福语文本。
第二、基于检索的：给定一组主题词，为每个主题词在预先构建好的祝福语文本倒排索引知识库当中检索出一句话，将检索出来的句子组合成祝福语文本。
第三、基于NLG(Natural Language Generation，自然语言生成)模型的。
发明内容
申请人认为：相关技术存在如下一些缺点。
第一、基于人工生成的相关技术存在以下缺点：
1、人工写的祝福语文本成本太高，需要耗费大量人力物力。
2、用户只能在指定场景下选择祝福语文本，无法满足用户个性化需求。
3、同一场景下可选结果也是有限的，缺乏多样性。
第二、基于检索的相关技术存在以下缺点：
1、相同主题词检索出来的内容是一样的缺乏个性化。
2、检索出来的内容缺乏语义连贯性。
第三、基于NLG模型的相关技术存在以下缺点：
1、相关技术NLG模型对用户选择的主题词的质量和顺序都非常敏感，但目前还没有根据用户需求自动生成主题词序列的解决方案。
2、训练自然语言生成模型通常都需要大量的训练数据，但是大多数情况下很难收集到大量符合要求的训练数据。
3、同一组主题词输入到自然语言生成模型里以后，只能输出一个概率最大的通用结果，缺乏多样性。
4、相关技术NLG模型是静态的，没有自动学习和更新的能力。
鉴于以上技术问题中的至少一项，本发明提供了一种祝福语文本生成方法和装置、计算机可读存储介质，可以根据用户输入的主题词自动扩展主题词，并根据这些扩展出的主题词找出最优候选主题词序列。
根据本发明的一个方面，提供一种祝福语文本生成方法，包括：
获取用户输入的场景主题词；
对场景主题词进行主题词扩展，得到扩展主题词；
根据场景主题词和扩展主题词，生成多个主题词序列；
将主题词序列输入预定自然语言生成模型，生成祝福语文本。
在本发明的一些实施例中，所述祝福语文本生成方法还包括：
对预定自然语言生成模型生成的祝福语文本进行扩展，获取概率最高的N个祝福语文本，其中N为扩展宽度，N为大于1的自然数；
将N个祝福语文本输入预定语言模型，获取每个祝福语文本的困惑度；
将困惑度最低的祝福语文本作为最优祝福语文本反馈给用户。
在本发明的一些实施例中，所述祝福语文本生成方法还包括：
获取用户反馈的、用户修改后的祝福语文本；
将用户修改后的祝福语文本作为训练数据，对预定自然语言生成模型和预定语言模型进行优化。
在本发明的一些实施例中，所述对场景主题词进行主题词扩展，得到扩展主题词包括：
获取祝福语主题词和词向量模型；
对场景主题词利用词向量模型在祝福语主题词的范围内进行相似度扩展；
将与用户主题词的相似度大于预定值的祝福语主题词，作为扩展主题词。
在本发明的一些实施例中，所述获取祝福语主题词包括：
获取祝福语文本数据和通用数据；
对祝福语文本数据和通用数据分别切词，得到祝福语文本数据的切词结果和通用数据的切词结果；
根据祝福语文本数据的切词结果和通用数据的切词结果获取一个词语出现祝福语文本数据的词频和出现在通用数据的词频；
若一个词语出现祝福语文本数据的词频大于出现在通用数据的词频、且所述词语出现在祝福语文本数据的次数大于预定值，则判定所述词语为祝福语主题词。
在本发明的一些实施例中，所述获取词向量模型包括：
利用祝福语文本数据的切词结果和通用数据的切词结果进行训练，获取词向量模型。
在本发明的一些实施例中，所述根据场景主题词和扩展主题词，生成多个主题词序列包括：
生成通用数据主题词序列语言模型和祝福语主题词序列语言模型；
将通用数据主题词序列语言模型和祝福语主题词序列语言模型进行插值处理，确定综合主题词序列语言模型；
将场景主题词和扩展主题词输入综合主题词序列语言模型，获取多个主题词序列。
在本发明的一些实施例中，所述生成通用数据主题词序列语言模型和祝福语主题词序列语言模型包括：
对祝福语文本数据和通用数据分别切词，得到祝福语文本数据的切词结果和通用数据的切词结果；
对祝福语文本数据的切词结果和通用数据的切词结果中的每句话进行主题词提取；
根据每句话的主题词，确定每个祝福语文本的主题词序列；
利用祝福语文本的主题词序列进行训练，以生成通用数据主题词序列语言模型和祝福语主题词序列语言模型。
在本发明的一些实施例中，所述将主题词序列输入预定自然语言生成模型，生成祝福语文本包括：
预先对训练数据进行训练，获取预定自然语言生成模型；
将主题词序列输入预定自然语言生成模型，生成祝福语文本。
在本发明的一些实施例中，所述预先采用训练数据进行训练，获取预定自然语言生成模型包括：
获取训练数据，其中，所述训练数据包括祝福语文本数据和通用数据；
从每行训练数据提出一个主题词；
将当前主题词和之前的训练结果输入预定自然语言生成模型，进行本轮训练。
在本发明的一些实施例中，所述预先采用训练数据进行训练，获取预定自然语言生成模型包括：
采用通用数据作为训练数据进行训练，得到通用模型；
采用祝福语文本数据作为训练数据继续训练，得到预定自然语言生成模型。
根据本发明的另一方面，提供一种祝福语文本生成装置，包括：
场景主题词获取模块，用于获取用户输入的场景主题词；
主题词扩展模块，用于对场景主题词进行主题词扩展，得到扩展主题词；
主题词序列生成模块，用于根据场景主题词和扩展主题词，生成多个主题词序列；
祝福语文本生成模块，用于将主题词序列输入预定自然语言生成模型，生成祝福语文本。
在本发明的一些实施例中，所述祝福语文本生成装置用于执行实现如上述任一实施例所述的祝福语文本生成方法的操作。
根据本发明的另一方面，提供一种祝福语文本生成装置，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述祝福语文本生成装置执行实现如上述任一实施例所述的祝福语文本生成方法的操作。
根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的祝福语文本生成方法。
本发明可以根据用户输入的主题词自动扩展主题词，并根据这些扩展出的主题词找出最优候选主题词序列。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明祝福语文本生成方法一些实施例的示意图。
图2为本发明一些实施例中主题词扩展的示意图。
图3为本发明一些实施例中确定主题词序列的示意图。
图4为本发明一些实施例中生成祝福语文本的示意图。
图5为本发明一个实施例中seq2seq模型训练过程的示意图。
图6为本发明一个实施例中seq2seq模型预测过程的示意图。
图7为本发明一个实施例中自适应模型训练过程的示意图。
图8为本发明祝福语文本生成方法另一个实施例的示意图。
图9为一个实施例中生成结果扩展与评估流程的示意图。
图10为本发明祝福语文本生成方法又一个实施例的示意图。
图11为本发明祝福语文本生成装置一些实施例的示意图。
图12为本发明祝福语文本生成装置另一些实施例的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本发明祝福语文本生成方法一些实施例的示意图。优选的，本实施例可由本发明祝福语文本生成装置执行。该方法包括以下步骤：
步骤11，获取用户输入的场景主题词。
步骤12，对场景主题词(用户主题词)进行主题词扩展，得到扩展主题词。
步骤13，根据场景主题词和扩展主题词，生成多个主题词序列。
步骤14，将主题词序列输入预定自然语言生成模型，生成祝福语文本。
在本发明的一些实施例中，所述预定自然语言生成模型可以为语言模型、RNN(Recurrent Neural Network，循环神经网络)模型和seq2seq(sequence to sequence，序列到序列)模型等模型中的至少一项。其中，语言模型的主要思路为基于当前词序列的语言模型统计信息预测下一个词，进而生成一句话；RNN模型的主要思想也是基于当前词序列的神经网络状态信息预测下一个词；seq2seq模型的主要思想是通过编码器对输入文本进行编码得到主题向量，然后根据编码器输出的主题向量利用解码器解码生成一个预测文本序列。
基于本发明上述实施例提供的祝福语文本生成方法，针对相关技术NLG模型对主题词质量顺序过于敏感的技术问题，可以根据用户输入的主题词自动扩展主题词，并根据这些扩展出的主题词找出最优候选主题词序列。
图2为本发明一些实施例中主题词扩展的示意图。如图2所示，本发明主题词扩展流程(例如图1实施例的步骤12)可以包括：
步骤121，获取祝福语文本数据和通用数据。
在本发明的一些实施例中，祝福语文本数据可以是从网上收集的一些节日祝福语，生日祝福语等文本，数据量小；通用数据可以是从网上收集的公开的现代诗歌、散文、歌词、小说、台词等数据，数据量大。
步骤122，对祝福语文本数据和通用数据分别切词，得到祝福语文本数据的切词结果和通用数据的切词结果。
步骤123，根据祝福语文本数据的切词结果和通用数据的切词结果获取一个词语出现祝福语文本数据的词频和出现在通用数据的词频。
在本发明的一些实施例中，步骤123可以包括：根据公式(1)利用切词结果分别统计词频，训练贝叶斯模型找出祝福语文本数据主题词。
如公式(1)所示，定义单词在某个语料数据中的词频为TF(ωi),他是由该单词在语料出现次数count(ωi)除以该语料所有的单词数得到；定义TFcommon(ωi)表示单词ωi在通用数据的词频，TFtarget(ωi)表示单词ωi在目标数据祝福语数据的词频。
步骤124，将每一词语出现祝福语文本数据的词频和出现在通用数据的词频输入祝福语主题词提取模型，确定该词语是否为祝福语主题词。
如果一个主题词ωi出现在祝福语文本当中的词频TFtarget(ωi)大于出现在通用数据中的词频TFcommon(ωi)，那么这个词很有可能就是一个祝福语文本主题词。
在本发明的一些实施例中，步骤124可以包括：若一个词语出现祝福语文本数据的词频大于出现在通用数据的词频、且所述词语出现在祝福语文本数据的次数大于预定值，则判定所述词语为祝福语主题词。
在本发明的另一些实施例中，为了增加置信度，要求祝福语文本主题词必须同时满足两个条件：
1)出现在祝福语文本中的次数大于一定概率，通常取count(ωi)＞100。
2)出现在祝福语文本当中的词频大于出现在通用数据中的词频,例如可以取：
步骤125，利用祝福语文本数据的切词结果和通用数据的切词结果进行训练，获取词向量模型。
步骤126，对用户输入的场景主题词利用词向量模型在祝福语主题词的范围内进行相似度扩展。
在本发明的一些实施例中，相似度算法一般采用余弦相似度。
在本发明的一些具体实施例中，如公式(2)所示，向量a与向量b的余弦相似度为：
步骤127，将与用户主题词的相似度大于预定值的祝福语主题词，作为扩展主题词。
在本发明的一些实施例中，步骤127可以包括：如果用户主题词和某个祝福语主题词的余弦相似度大于0.5，即可以判定为扩展主题词。
本发明上述实施例通过以上步骤可以对用户输入的场景相关的主题词进行扩展，并且保证扩展出来的主题词都和祝福语相关。
图3为本发明一些实施例中确定主题词序列的示意图。如图3所示，本发明主题词序列确定流程(例如图1实施例的步骤13)可以包括：
步骤131，对祝福语文本数据和通用数据分别切词，得到祝福语文本数据的切词结果和通用数据的切词结果。
步骤132，对祝福语文本数据的切词结果和通用数据的切词结果中的每句话进行主题词提取。
在本发明的一些实施例中，步骤132可以包括：使用tf-idf或者textrank算法，得到每句话的主题词。
步骤133，由于每个祝福语文本会包含多句话，因此根据每句话的主题词，确定每个祝福语文本的主题词序列。
在本发明的一些实施例中，如表1实施例所述的文本所对应的主题词序列为：流星手心伤心世界梦爱心。
表1
步骤134，利用祝福语文本的主题词序列进行训练，以生成通用数据主题词序列语言模型和祝福语主题词序列语言模型。
步骤135，将通用数据主题词序列语言模型和祝福语主题词序列语言模型进行插值处理，确定综合主题词序列语言模型。
由于祝福语主题词序列语言模型过于稀疏，本发明上述实施例可以采用插值的方法，将通用文本主题词序列语言模型和祝福语文本主题词序列语言模型按1:1的比例插值。
下面举一个例子简单的介绍下插值的原理：
假如语料1中：P1(篮球|我喜欢)＝0.7，语料2中:P2(篮球|我喜欢)＝0.3，那么插值后的概率为P(篮球|我喜欢)＝0.7*0.5-0.5*0.3＝0.5,由此本发明上述实施例可以解决主题词序列数据过于稀疏的问题。
步骤136，将场景主题词和扩展主题词输入综合主题词序列语言模型，获取多个主题词序列。
在本发明的一些实施例中，步骤136可以包括：序列生成时，首先在扩展主题词和用户主题词的合集(后面统称：主题词合集)当中根据语言模型概率选取一个或者多个适合作为主题词序列开始的主题词；然后依次根据语言模型概率在主题词合集选取下一个词，直到达到需要的长度或者根据语言模型概率达到结尾，这样就得到了一个或者多个主题词序列。
图4为本发明一些实施例中生成祝福语文本的示意图。如图4所示，本发明祝福语文本生成流程(例如图1实施例的步骤14)可以包括：
步骤141，预先对训练数据进行训练，获取预定自然语言生成模型。
步骤142，将主题词序列输入预定自然语言生成模型，生成祝福语文本。
在本发明的一些实施例中，所述预定自然语言生成模型可以为seq2seq模型。seq2seq模型是一种序列到序列的自然语言生成模型。
图5为本发明一个实施例中seq2seq模型训练过程的示意图。如图5所示，seq2seq模型包含一个编码器和一个解码器，编码器负责对输入的文本按时序进行编码，通常都采用RNN模型，其中RNN模型包括但不限于包括：RNN模型、LSTM(Long Short-Term Memory，长短期记忆网络)模型、GRU(Gate Recurrent Unit，门控循环单元)。
首先要准备好训练数据，训练数据为申请人从网上收集的祝福语数据和通用文本数据；利用tf-idf或者textrank算法为每行数据提取一个主题词；训练时将主题词送给seq2seq模型的编码器进行编码，解码器的输出结果就是对应的文本。为了增加上下文之间的语义连贯性，每一次训练时，都会把当前数据的前N行文本一起送给seq2seq模型的编码器进行编码。本发明上述实施例还采用了attention的机制，让输出的每一个词都会有侧重于前面输入文本的主题。
图6为本发明一个实施例中seq2seq模型预测过程的示意图。如图6所示，seq2seq模型的预测流程和训练过程基本一致，区别主要在于预测过程中只需要用户输入主题词，模型的解码器会自动生成一个预测文本，下一轮训练时将当前主题词和之前N(这个值要和训练保持一致)轮的预测结果，一起送给编码器完成下一轮预测。
图7为本发明一个实施例中自适应模型训练过程的示意图。如图7所示，图4实施例的步骤141可以包括：本发明自适应模型训练过程。
具体而言，所述自适应模型训练过程可以包括：
步骤71，采用通用数据作为训练数据进行训练，得到通用模型。
在本发明的一些实施例中，步骤71可以包括：从互联网上收集一些通用文本数据，包括但不限于诗歌、散文、歌词、小说、台词等等；利用通用文本训练一个通用的seq2seq模型。
步骤72，在通用模型的基础上，采用祝福语文本数据作为训练数据继续训练，得到预定自然语言生成模型。
在本发明的一些实施例中，步骤72可以包括：在这个通用模型的基础上，训练数据换成祝福语文本继续训练，得到一个更符合祝福语语境的seq2seq模型作为本发明上述实施例的最终模型。
通常本发明上述实施例收集到的祝福语数据都很少，训练seq2seq模型时数据太少会影响到模型的效果。为了解决祝福语文本过少的问题，本发明上述实施例提出了一种自适应模型的解决方案。
针对相关技术很难收集到大量符合要求的训练数据的技术问题，本发明上述实施例提出了一种自适应学习的方案，利用大量的通用的数据训练一个基础模型，然后在这个基础模型的基础上，利用少量符合任务要求的数据继续训练，得到最终符合任务要求的模型。
本发明上述实施例自适应模型训练后获取的模型既能保证预测结果的通顺性、多样性，又能最大限度的符合任务场景。
图8为本发明祝福语文本生成方法另一个实施例的示意图。优选的，本实施例可由本发明祝福语文本生成装置执行。该方法包括以下步骤：
步骤11，获取用户输入的场景主题词。
步骤12，对场景主题词(用户主题词)进行主题词扩展，得到扩展主题词。
步骤13，根据场景主题词和扩展主题词，生成多个主题词序列。
步骤14，将主题词序列输入预定自然语言生成模型，生成祝福语文本。
步骤15，对预定自然语言生成模型生成的祝福语文本进行扩展，获取概率最高的N个祝福语文本，其中N为扩展宽度，N为大于1的自然数。
步骤16，将N个祝福语文本输入预定语言模型，获取每个祝福语文本的困惑度。
步骤17，将困惑度最低的祝福语文本作为最优祝福语文本反馈给用户。
本发明上述实施例在图1实施例步骤11-步骤14的基础上，增加了生成结果扩展与评估的步骤15-17。
图9为一个实施例中生成结果扩展与评估流程的示意图。如图9所示，所述生成结果扩展与评估流程可以包括：
步骤15，单纯的使用seq2seq模型，每输入一个主题词返回的都是概率最大的结果，而这个结果往往都是最通俗结果，缺乏新意。因此本发明上述实施例可以使用beamsearch算法对每一步的生成结果进行了扩展。
例如：在解码时每一步不在只保留概率最大的top 1个结果，而是根据预定的beamsearch宽度N设置保留概率最大的top N个结果，这样假设beamsearch宽度为10，每个主题词序列都能得到10个祝候选预测本文。
步骤16，利用祝福语数据文本和通用数据文本合并到一起训练了一个语言模型，对beamsearch所有的输出预测本文计算困惑度。
步骤17，将困惑度最低的祝福语文本作为最优祝福语文本反馈给用户，由此用户得到可以根据得到的多个祝福语主题词序列对应的预测文本中选择一个自己满意的结果。
本发明上述实施例针对同一主题词序列生成结果过于单一的问题，本发明提出了利用beamsearh算法针对同一主题词序列生成多个候选结果，然后利用语言模型每个候选结果进行评估，找出最优结果。
图10为本发明祝福语文本生成方法又一个实施例的示意图。优选的，本实施例可由本发明祝福语文本生成装置执行。在图1、图7-图9任一实施例的基础上，该方法还可以包括以下步骤：
步骤18，获取用户反馈的、用户修改后的祝福语文本。
步骤19，将用户修改后的祝福语文本作为训练数据，对预定自然语言生成模型和预定语言模型进行优化。
为了能够动态的优化本发明上述实施例的NLG模型，本发明上述实施例设计了一套根据用户反馈自动更新模型的机制。用户得到本发明上述实施例的预测文本结果以后，可以对本发明上述实施例的结果进行修改，这些修改结果都可以反过来指导本发明上述实施例的模型优化的方向。本发明上述实施例可以把用户修改后的结果作为训练数据继续优化本发明上述实施例的模型，由此本发明上述实施例的模型上线以后就获得了自动更新的能力，可以根据用户的反馈自动的自我优化和完善。
针对模型不能自动学习和更新的技术问题，本发明上述实施例提出了基于用户反馈动态来优化NLG模型，使模型具有了自动学习和更新的能力。
本发明上述实施例提出了一套完整的结合用户需求自动生成个性化礼品祝福语文本的方案。
图11为本发明祝福语文本生成装置一些实施例的示意图。如图11所示，所述祝福语文本生成装置可以包括场景主题词获取模块111、主题词扩展模块112、主题词序列生成模块113和祝福语文本生成模块114，其中：
场景主题词获取模块111，用于获取用户输入的场景主题词。
主题词扩展模块112，用于对场景主题词进行主题词扩展，得到扩展主题词。
主题词序列生成模块113，用于根据场景主题词和扩展主题词，生成多个主题词序列。
祝福语文本生成模块114，用于将主题词序列输入预定自然语言生成模型，生成祝福语文本。
基于本发明上述实施例提供的祝福语文本生成装置，针对相关技术NLG模型对主题词质量顺序过于敏感的技术问题，可以根据用户输入的主题词自动扩展主题词，并根据这些扩展出的主题词找出最优候选主题词序列。
在本发明的一些实施例中，如图11所示，所述祝福语文本生成装置还可以包括生成结果扩展与评估模块115，其中：
生成结果扩展与评估模块115，用于对预定自然语言生成模型生成的祝福语文本进行扩展，获取概率最高的N个祝福语文本，其中N为扩展宽度，N为大于1的自然数；将N个祝福语文本输入预定语言模型，获取每个祝福语文本的困惑度；将困惑度最低的祝福语文本作为最优祝福语文本反馈给用户。
本发明上述实施例针对同一主题词序列生成结果过于单一的问题，本发明提出了利用beamsearh算法针对同一主题词序列生成多个候选结果，然后利用语言模型每个候选结果进行评估，找出最优结果。
在本发明的一些实施例中，如图11所示，所述祝福语文本生成装置还可以包括用户反馈模块116，其中：
用户反馈模块116，用于获取用户反馈的、用户修改后的祝福语文本；将用户修改后的祝福语文本作为训练数据，对预定自然语言生成模型和预定语言模型进行优化
针对模型不能自动学习和更新的技术问题，本发明上述实施例提出了基于用户反馈动态来优化NLG模型，使模型具有了自动学习和更新的能力。由此本发明上述实施例的模型上线以后就获得了自动更新的能力，可以根据用户的反馈自动的自我优化和完善。
在本发明的一些实施例中，所述祝福语文本生成装置可以用于采用通用数据作为训练数据进行训练，得到通用模型；在通用模型的基础上，采用祝福语文本数据作为训练数据继续训练，得到预定自然语言生成模型。
针对相关技术很难收集到大量符合要求的训练数据的技术问题，本发明上述实施例提出了一种自适应学习的方案，利用大量的通用的数据训练一个基础模型，然后在这个基础模型的基础上，利用少量符合任务要求的数据继续训练，得到最终符合任务要求的模型。
本发明上述实施例自适应模型训练后获取的模型既能保证预测结果的通顺性、多样性，又能最大限度的符合任务场景。
在本发明的一些实施例中，所述祝福语文本生成装置用于执行实现如上述任一实施例(例如图1-图10任一实施例)所述的祝福语文本生成方法的操作。
本发明上述实施例提出了一套完整的结合用户需求自动生成个性化礼品祝福语文本的方案。
本发明上述实施例采用与主题词扩展模块112进行主题词扩展，然后利用扩展出的主题词通过主题词序列生成模块113生成多个候选主题词序列，将生成的主题词序列灌倒祝福语文本生成模块114(NLG模型)中生成祝福语文本，然后利用生成结果扩展与评估模块115和用户反馈模块116对整个系统的各个模型进行优化，从而实现了模型的自动更新，提高了用户体验。
图12为本发明祝福语文本生成装置另一些实施例的示意图。如图12所示，所述祝福语文本生成装置可以包括存储器121和处理器122，其中：
存储器121，用于存储指令。
处理器122，用于执行所述指令，使得所述祝福语文本生成装置执行实现如上述任一实施例(例如图1-图10任一实施例)所述的祝福语文本生成方法的操作。
基于本发明上述实施例提供的祝福语文本生成装置，针对相关技术NLG模型对主题词质量顺序过于敏感的技术问题，可以根据用户输入的主题词自动扩展主题词，并根据这些扩展出的主题词找出最优候选主题词序列。
根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的祝福语文本生成方法。
基于本发明上述实施例提供的计算机可读存储介质，针对相关技术NLG模型对主题词质量顺序过于敏感的技术问题，可以根据用户输入的主题词自动扩展主题词，并根据这些扩展出的主题词找出最优候选主题词序列。
在上面所描述的祝福语文本生成装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (12)

1.一种祝福语文本生成方法，其特征在于，包括：
获取用户输入的场景主题词，其中，场景主题词为场景相关的祝福语主题词；
对场景主题词进行主题词扩展，得到扩展主题词；
根据场景主题词和扩展主题词，生成多个主题词序列；
将主题词序列输入预定自然语言生成模型，生成祝福语文本；
对预定自然语言生成模型生成的祝福语文本进行扩展，获取概率最高的N个祝福语文本，其中N为扩展宽度，N为大于1的自然数；
将N个祝福语文本输入预定语言模型，获取每个祝福语文本的困惑度；
将困惑度最低的祝福语文本作为最优祝福语文本反馈给用户；
其中，所述根据场景主题词和扩展主题词，生成多个主题词序列包括：
生成通用数据主题词序列语言模型和祝福语主题词序列语言模型；
将通用数据主题词序列语言模型和祝福语主题词序列语言模型按预定比例进行插值处理，确定综合主题词序列语言模型；
将场景主题词和扩展主题词输入综合主题词序列语言模型，获取多个主题词序列；
其中，所述将主题词序列输入预定自然语言生成模型，生成祝福语文本包括：
预先采用训练数据进行训练，获取预定自然语言生成模型；
将主题词序列输入预定自然语言生成模型，生成祝福语文本。
2.根据权利要求1所述的祝福语文本生成方法，其特征在于，还包括：
获取用户反馈的、用户修改后的祝福语文本；
将用户修改后的祝福语文本作为训练数据，对预定自然语言生成模型和预定语言模型进行优化。
3.根据权利要求1或2所述的祝福语文本生成方法，其特征在于，所述对场景主题词进行主题词扩展，得到扩展主题词包括：
获取祝福语主题词和词向量模型；
对场景主题词利用词向量模型在祝福语主题词的范围内进行相似度扩展；
将与用户主题词的相似度大于预定值的祝福语主题词，作为扩展主题词。
4.根据权利要求3所述的祝福语文本生成方法，其特征在于，所述获取祝福语主题词包括：
获取祝福语文本数据和通用数据，其中，福语文本数据包括节日祝福语文本和生日祝福语文本，通用数据包括现代诗歌数据、散文数据、歌词数据、小说数据和台词数据；
对祝福语文本数据和通用数据分别切词，得到祝福语文本数据的切词结果和通用数据的切词结果；
根据祝福语文本数据的切词结果和通用数据的切词结果获取一个词语出现祝福语文本数据的词频和出现在通用数据的词频；
若一个词语出现祝福语文本数据的词频大于出现在通用数据的词频、且所述词语出现在祝福语文本数据的次数大于预定值，则判定所述词语为祝福语主题词。
5.根据权利要求4所述的祝福语文本生成方法，其特征在于，所述获取词向量模型包括：
利用祝福语文本数据的切词结果和通用数据的切词结果进行训练，获取词向量模型。
6.根据权利要求1或2所述的祝福语文本生成方法，其特征在于，所述生成通用数据主题词序列语言模型和祝福语主题词序列语言模型包括：
对祝福语文本数据和通用数据分别切词，得到祝福语文本数据的切词结果和通用数据的切词结果，其中，福语文本数据包括节日祝福语文本和生日祝福语文本，通用数据包括现代诗歌数据、散文数据、歌词数据、小说数据和台词数据；
对祝福语文本数据的切词结果和通用数据的切词结果中的每句话进行主题词提取；
根据每句话的主题词，确定每个祝福语文本的主题词序列；
利用祝福语文本的主题词序列进行训练，以生成通用数据主题词序列语言模型和祝福语主题词序列语言模型。
7.根据权利要求1或2所述的祝福语文本生成方法，其特征在于，所述预先采用训练数据进行训练，获取预定自然语言生成模型包括：
获取训练数据，其中，所述训练数据包括祝福语文本数据和通用数据；
从每行训练数据提出一个主题词；
将当前主题词和之前的训练结果输入预定自然语言生成模型，进行本轮训练。
8.根据权利要求7所述的祝福语文本生成方法，其特征在于，所述预先采用训练数据进行训练，获取预定自然语言生成模型包括：
采用通用数据作为训练数据进行训练，得到通用模型；
采用祝福语文本数据作为训练数据继续训练，得到预定自然语言生成模型。
9.一种祝福语文本生成装置，其特征在于，包括：
场景主题词获取模块，用于获取用户输入的场景主题词，其中，场景主题词为场景相关的祝福语主题词；
主题词扩展模块，用于对场景主题词进行主题词扩展，得到扩展主题词；
主题词序列生成模块，用于根据场景主题词和扩展主题词，生成多个主题词序列；
祝福语文本生成模块，用于将主题词序列输入预定自然语言生成模型，生成祝福语文本；
生成结果扩展与评估模块，用于对预定自然语言生成模型生成的祝福语文本进行扩展，获取概率最高的N个祝福语文本，其中N为扩展宽度，N为大于1的自然数；将N个祝福语文本输入预定语言模型，获取每个祝福语文本的困惑度；将困惑度最低的祝福语文本作为最优祝福语文本反馈给用户；
其中，所述祝福语文本生成装置用于在根据场景主题词和扩展主题词，生成多个主题词序列的情况下，生成通用数据主题词序列语言模型和祝福语主题词序列语言模型；将通用数据主题词序列语言模型和祝福语主题词序列语言模型按预定比例进行插值处理，确定综合主题词序列语言模型；将场景主题词和扩展主题词输入综合主题词序列语言模型，获取多个主题词序列；
其中，所述祝福语文本生成装置用于预先采用训练数据进行训练，获取预定自然语言生成模型；将主题词序列输入预定自然语言生成模型，生成祝福语文本。
10.根据权利要求9所述的祝福语文本生成装置，其特征在于，所述祝福语文本生成装置用于执行实现如权利要求2-8中任一项所述的祝福语文本生成方法的操作。
11.一种祝福语文本生成装置，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述祝福语文本生成装置执行实现如权利要求1-8中任一项所述的祝福语文本生成方法的操作。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-8中任一项所述的祝福语文本生成方法。
CN201811037203.2A 2018-09-06 2018-09-06 祝福语文本生成方法和装置、计算机可读存储介质 Active CN109117485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811037203.2A CN109117485B (zh) 2018-09-06 2018-09-06 祝福语文本生成方法和装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811037203.2A CN109117485B (zh) 2018-09-06 2018-09-06 祝福语文本生成方法和装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109117485A CN109117485A (zh) 2019-01-01
CN109117485B true CN109117485B (zh) 2023-08-08

Family

ID=64858756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811037203.2A Active CN109117485B (zh) 2018-09-06 2018-09-06 祝福语文本生成方法和装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109117485B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918509B (zh) * 2019-03-12 2021-07-23 明白四达(海南经济特区)科技有限公司 基于信息提取的场景生成方法及场景生成系统的存储介质
CN111915339A (zh) * 2019-05-09 2020-11-10 阿里巴巴集团控股有限公司 数据的处理方法、装置及设备
CN110490333A (zh) * 2019-08-26 2019-11-22 上海晏鼠计算机技术股份有限公司 基于ai撰写的专业性内容智能化生成方法
CN110717327B (zh) * 2019-09-29 2023-12-29 北京百度网讯科技有限公司 标题生成方法、装置、电子设备和存储介质
CN111061867B (zh) * 2019-10-29 2022-10-25 平安科技（深圳）有限公司 基于质量感知的文本生成方法、设备、存储介质及装置
CN111368514B (zh) * 2019-12-10 2024-04-19 爱驰汽车有限公司 模型训练及古诗生成方法、古诗生成装置、设备和介质
CN111460133B (zh) * 2020-03-27 2023-08-18 北京百度网讯科技有限公司 主题短语生成方法、装置以及电子设备
CN113076013A (zh) * 2021-04-28 2021-07-06 支付宝(杭州)信息技术有限公司 一种信息生成方法、装置、设备及介质
CN113535144A (zh) * 2021-06-15 2021-10-22 北京彩彻区明科技有限公司 自然语言编程方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577386A (zh) * 2012-08-06 2014-02-12 腾讯科技（深圳）有限公司 一种基于用户输入场景动态加载语言模型的方法及装置
CN106503255A (zh) * 2016-11-15 2017-03-15 科大讯飞股份有限公司 基于描述文本自动生成文章的方法及系统
CN107133224A (zh) * 2017-04-25 2017-09-05 中国人民大学 一种基于主题词的语言生成方法
CN107861938A (zh) * 2017-09-21 2018-03-30 北京三快在线科技有限公司 一种poi文案生成方法及装置，电子设备
CN107967257A (zh) * 2017-11-20 2018-04-27 哈尔滨工业大学 一种级联式作文生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111226A1 (ja) * 2011-02-15 2012-08-23 日本電気株式会社 時系列文書要約装置、時系列文書要約方法およびコンピュータ読み取り可能な記録媒体
US11250841B2 (en) * 2016-06-10 2022-02-15 Conduent Business Services, Llc Natural language generation, a hybrid sequence-to-sequence approach

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577386A (zh) * 2012-08-06 2014-02-12 腾讯科技（深圳）有限公司 一种基于用户输入场景动态加载语言模型的方法及装置
CN106503255A (zh) * 2016-11-15 2017-03-15 科大讯飞股份有限公司 基于描述文本自动生成文章的方法及系统
CN107133224A (zh) * 2017-04-25 2017-09-05 中国人民大学 一种基于主题词的语言生成方法
CN107861938A (zh) * 2017-09-21 2018-03-30 北京三快在线科技有限公司 一种poi文案生成方法及装置，电子设备
CN107967257A (zh) * 2017-11-20 2018-04-27 哈尔滨工业大学 一种级联式作文生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hierarchical Neural Story Generation;Angela Fan等;《https://arxiv.org/abs/1805.04833》;20180513;1-12 *

Also Published As

Publication number Publication date
CN109117485A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109117485B (zh) 祝福语文本生成方法和装置、计算机可读存储介质
CN110717017B (zh) 一种处理语料的方法
CN105095182B (zh) 一种回复信息推荐方法及装置
WO2018049960A1 (zh) 一种为文本信息匹配资源的方法及装置
TWI754033B (zh) 關注點文案的生成
Topsakal et al. Creating large language model applications utilizing langchain: A primer on developing llm apps fast
CN111190997B (zh) 一种使用神经网络和机器学习排序算法的问答系统实现方法
CN111368514B (zh) 模型训练及古诗生成方法、古诗生成装置、设备和介质
CN108875074A (zh) 基于交叉注意力神经网络的答案选择方法、装置和电子设备
RU2721190C1 (ru) Обучение нейронных сетей с использованием функций потерь, отражающих зависимости между соседними токенами
CN108227565A (zh) 一种信息处理方法、终端及计算机可读介质
CN111291549B (zh) 文本处理方法、装置、存储介质和电子设备
CN109829052A (zh) 一种基于人机交互的开放式对话方法和系统
CN111723295B (zh) 一种内容分发方法、装置和存储介质
CN110427627A (zh) 基于语义表示模型的任务处理方法和装置
CN112183058B (zh) 基于bert句子向量输入的诗词生成方法及装置
CN111767694B (zh) 文本生成方法、装置和计算机可读存储介质
CN112434142B (zh) 一种标记训练样本的方法、服务器、计算设备及存储介质
CN113901191A (zh) 问答模型的训练方法及装置
KR20190075277A (ko) 콘텐트 검색을 위한 방법 및 그 전자 장치
CN109977409A (zh) 一种基于用户聊天习惯的智能表情推荐方法和系统
CN113033182A (zh) 文本创作的辅助方法、装置及服务器
CN111428487B (zh) 模型训练方法、歌词生成方法、装置、电子设备及介质
CN108959268B (zh) 一种文本情感分析方法及装置
CN112905835B (zh) 一种多模态乐曲标题生成方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210525

Address after: 100176 room 1004, 10th floor, building 1, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing Huijun Technology Co.,Ltd.

Address before: 100195 Beijing Haidian Xingshikou Road 65 West Cedar Creative Garden 4 District 11 Building East 1-4 Floor West 1-4 Floor

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

GR01 Patent grant
GR01 Patent grant