CN112000769A - 一种基于对抗网络的服装商品广告文案生成方法 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络的服装系统广告文案生成方法，其中文案生成方法包括：通过对爬取的广告文案进行分词，提取关键词，转换为词向量等预处理，再予以基于对抗网络的服装系统广告文案生成方法对其生成广告文案。所述基于对抗网络的服装系统广告文案生成方法是使用改进的生成器对关键词生成序列，使用生成样本和真实样本来训练判别器，之后交替训练两个网络，直至收敛。系统对生成的广告文案进行保存和分析，以备后续优化模型使用，从而提高样本的多样性，提高生成文本的质量。本发明适用于广告文案的自动生成，能够有效减少劳动成本，具有很好的经济效益。

Description

一种基于对抗网络的服装商品广告文案生成方法

技术领域：

本发明涉及文本处理领域，特别涉及一种基于对抗网络的服装商品广告文案生成方法。

背景技术：

随着深度学习的不断发展，深度学习技术被广泛应用于电商领域。现阶段电商发展速度日益加快，服装销售量日益上升。由于商家需要对衣服的样式进行登记和介绍，这需要大量的人工成本和时间成本，所以有研究者设想把深度学习应用到文案生成中，且已有很多成功的案例，目前应用最广泛的是基于生成对抗网络的文案生成方法。

当前，循环神经网络是最常用于文本生成的模型，对于文本生成的质量是通过困惑度来评价的，但是，众多学者认为不能单独用困惑度来评价，于是引入了GAN。应用之初，由于离散对象的分布中采样过程是不可导的，因此原始生成对抗网络的参数难以更新，而且GAN只能对整个序列进行评估，而不能细致到评价当前生成的词。故有学者提出在原始生成对抗网络的基础上，引入了强化学习，强化学习是在已知当前状态和下一个有可能发生动作的情况下，使用它来最大化奖励，将奖励做为结果，对行为的选择做出决策。将对抗生成网络和强化学习结合在一起，用梯度策略的方法，当生成器生成词语时，通过奖励作为反馈，根据奖励来调整词语出现的概率，根据奖励来进行梯度训练，来更新生成器的参数。同时可以利用蒙塔卡罗树搜索来评估当前步生成词语的好坏，进行多次采样直至末尾，此方法虽然低效但是非常好用，解决了GAN在处理文本离散对象不可到导的问题。

发明内容：

本发明的目的是克服现有方法的不足，提出一种基于对抗网络的服装商品广告文案生成方法，特别是涉及一种加入了强化学习思想的对抗网络的广告文案生成方法。本发明主要解决以下问题一、离散对象在采样时不可导问题。二、文本生成评价的单一指标。三、提高文本生成的质量。

为了解决上述问题,本发明提出了一种基于对抗网络的服装商品广告文案生成方法，其特征在于，包括如下步骤:

步骤1：获得服装属性识别系统识别的属性，并使用word2vec转换成词向量。

步骤2：对爬取到的广告文案进行数据预处理，作为语料库，以4:1的比例分为训练集和测试集。

步骤3：使用加入了attention机制的编解码模型作为整个网络的生成器，使用卷积神经网络作为编码器，用来提取语义特征，使用长短期记忆网络作为解码器，用来对提取的特征向量生成序列，加入的attention机制可用来提高关键词的权重。

步骤4：从步骤2的语料库中提取真实样本，获取生成器的生成的样本，进行判别器的训练，更新参数以降低生成样本被判定为真实样本的概率。训练生成器，更新参数以提高新生成样本被判别器判别为真实样本的概率。

步骤5：训练对抗生成网络，为了达到将奖励最大化的目标，强化学习在某个状态尝试各种可能的动作，使用判别器返回的奖励作为反馈来做出决策，找出使奖励最大化的策略，使用策略梯度来更新生成器。

步骤6：部署上线。

需要注意的是，本发明使用BLEU作为评估生成样本和真实样本相似度的标准。另外，本发明还引入了数据库，避免生成文本过于糟糕的情况，表的字段有“属性”，“优先级”，“对应文案”三个字段，对于识别出的属性，选择优先级较高的属性所对应的文案，若识别出的属性不在表中，则选择一条万能文案。除此之外，还可自行输入文案，将此文案加入到语料库中，丰富语料库。

所述步骤1包括如下步骤：

步骤1.1：本发明中，类别为服装，识别出至少一个属性信息。

步骤1.2：属性信息也可以是用户输入的，例如，用户可以向终端输入“长袖”，以辅助终端以生成“长袖”相关的文案，终端可以接收用户的输入的属性信息，来获取更多的信息。

步骤1.3：将得到根据目标检测算法得到的服装属性词“外套”，“女”，“帽”，加上用户输入的属性词，通过word2vec转换成词向量后，生成序列，以此方式输入。

所述步骤2包括如下步骤：

步骤2.1：将爬取到的广告文案按4:1的比例分为训练集和测试集，

步骤2.2：首先使用jieba对其进行分词处理，将属性词序列转换为词向量，转换成维的矩阵。

步骤2.3：使用LDA主题模型对关键词进行提取。

所述步骤3包括如下步骤：

步骤3.1：在初始已经规定好了时间步数，t为当前时间步，在t步时，s表示为已经生成好的序列(y₁,y₂,....,y_t-j),所以y_t为下一个步数要选择的字。

步骤3.2：生成文本时，核心是选择下一个字符的方式，本发明使用随机采样，在抽样的过程中引入随机性，这样能产生比较多有趣的句子，考虑到随机采样带来的极端情况，在抽样的过程中引入了softmax温度这个参数，对下一个选择的字符概率进行加权并重新计算。

步骤3.3：对于特征的选择，首先要考虑到的是系统的连贯性以及感情色彩，其次，因为副词和形容词对于句子结构影响较小，并且能给句子润色，例如“漂亮的”，“应季的”，会对用户产生比较高的吸引力，因此这两者占比较高的比重。

所述步骤4包括如下步骤：

步骤4.1：训练生成器过程中，利用爬虫技术，将爬取的广告文案进行预处理，对其进行分词，得到词向量，并进行词性标注。

步骤4.2：根据隐含层的各个参数以及当前生成的词向量计算出下一词语向量，一直循环输出，直到下一个词语向量为0时，即可将计算出的词语向量作为输出的文案。例如，输入属性为“长裤”，“宽松”生成的文案为“休闲设计感宽松背带裤”，在生成“背带裤”对应的文案时，将“休闲设计感宽松背带裤”，“背带裤”作为输入，这样可以使得生成文案更加流畅，提高效率。

步骤4.3：使用生成器生成文本和真实样本作为输入对判别器进行训练，判别器，更新参数以降低生成文本被判断为真实样本的概率。

步骤4.4：训练生成器，更新参数以提高生成文本被判断为真实样本的概率。

所述步骤5包括如下步骤：

步骤5.1：判别器将s状态下的任何动作的奖励反馈给生成器，通过策略梯度和最大化奖励来更新生成器，如图3所示。例如下一个要选择的单词为“舒适”，而判别器将其判别为“假”数据，那么就没有获得奖励，而生成器的目的则是将最终奖励最大化，于是不断优化，使用策略梯度来更新生成器的参数。需要注意的是，在生成序列还没结束时，已经生成的序列要添加到输入数据，用来生成下一个字。

步骤5.2：判别器也在根据生成器的更新不断优化，使得判别生成文本为真实的样本概率降低，更新参数，来提高生成文本的质量。

步骤5.3：假若用户对识别出的属性不满意或者属性太少，甚至是没有识别出属性的情况，可以自行输入属性词，共同输入生成对抗网络来进行文本的生成。如果对生成的文案不满意，可以点击前端页面的“更换”，对数据库表进行查询，例如当前服装识别到的属性为“毛衣”，“开衫”，“毛衣”的优先级比“开衫”的优先级高，所以优先显示“毛衣”所对应的文案，若识别出的属性词在数据库中没有记录，则显示一条万能文案，用户还可自行输入广告文案，这条文案将会被保存下来，加入语料库中，丰富语料库。

所述步骤6包括如下步骤：

步骤6.1：首先在后端服务器上搭建运行环境，然后将训练后的生成对抗网络模型导入。

步骤6.2：在前端服务器上搭建web运行环境，并设计前端网页。

步骤6.3：在数据库里创建表，使用Nginx作为反向代理服务器来处理高并发请求，并使用基于内存的redis数据库作为中间消息队列使前端和后端服务器进行实时通信。

步骤6.4：最后使用FastCGI进程管理器搭建分布式数据存储系统，对上传后端服务器生成的广告文案进行快速存储，若有输入的文案，则将它保存至语料库中。

所述生成器网络为具体为：

本发明的生成器为编解码模型，编码器用来提取属性词的语义特征，解码器根据特征向量来生成，本发明使用卷积神经网络作为编码器，长短期记忆网络作为解码器。并且在编码器和解码器之间加入了attention机制，用来提高关键词的权重。强化学习需要获得某个状态下某个动作所获得的奖励，目标是找到获得最大奖励的序列。本发明使用判别器网络对生成器生成文本判别为真实样本的概率来作为强化学习的反馈，使用策略梯度来对参数进行调节。为了评估当前时间步词语好坏，引入了蒙特卡罗，根据当前序列来预计可能的多个完整序列，然后使用判别器对这些完整序列计算奖励，使用这些奖励的平均值作为当前序列的奖励。

本发明的有益效果：

本发明通过深度学习目标检测算法识别出服装属性，同时还增加了用户自行输入的选项。通过对爬取到的广告文案进行预处理，使用卷积神经网络对属性词提取语义特征，然后使用长短期记忆网络进行解码，并且在其中间加入了attention机制，用来提高关键词的权重。判别器由简单的长短期记忆网络组成，使用生成器生成的文本和真实样本作为输入对判别器进行预训练，然后开始进行对抗训练，最后将识别到的属性进行预处理，输入至生成式对抗网络，即可得到生成的广告文案。为了保证系统的健壮性和稳定性，本发明还添加了数据库表，以防生成文案太糟糕的情况发生，设定了关键词字段所对应的文案字段，若表里没有相应关键词字段，则提供一条万能文案，另外，为了丰富语料库，本发明还加入了用户自行输入文案的功能，以备下一阶段的训练。本发明从属性的识别、到广告文案的生成，不需要手动输入广告文案，都很大程度上减少了劳动力，而且本发明可应用在多个场景，因此具有很好的经济效益和适用性。

附图说明：

图1是发明的整体结构示意图。

图2是算法模型整体结构示意图。

图3是生成对抗式模型示意图。

图4是全卷积网络模型结构示意图。

图5是加入attention机制的编解码模型示意图。

图6是一种基于对抗网络的服装商品广告文案生成方法的场景示意图。

具体实施方式：

本下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是发明的整体结构示意图，图2是算法模型整体结构示意图，图3是生成对抗式模型示意图，如图1所示，模型的输入为目标检测算法的服装属性，例如“外套”，“女”，“帽”，对于这些关键词希望生成一句广告描述“冬季新款宽松连帽女式外套，舒适又好看”，该方法包括如下步骤：

步骤1：获得服装属性识别系统识别的属性，并使用word2vec转换成词向量。

步骤2：对爬取到的广告文案进行数据预处理，作为语料库，以4:1的比例分为训练集和测试集。

步骤3：使用加入了attention机制的编解码模型作为整个网络的生成器，使用卷积神经网络作为编码器，用来提取语义特征，使用长短期记忆网络作为解码器，用来对提取的特征向量生成序列，加入的attention机制可用来提高关键词的权重。

步骤4：从步骤2的语料库中提取真实样本，获取生成器的生成的样本，进行判别器的训练，更新参数以降低生成样本被判定为真实样本的概率。训练生成器，更新参数以提高新生成样本被判别器判别为真实样本的概率。

步骤5：训练对抗生成网络，为了达到将奖励最大化的目标，强化学习在某个状态尝试各种可能的动作，使用判别器返回的奖励作为反馈来做出决策，找出使奖励最大化的策略，使用策略梯度来更新生成器。本发明选定的生成广告文案长度为20，为了避免“模式崩溃”，本文设定学习率为0.1，以加快网络收敛的速度。

步骤6：部署上线。

所述步骤1包括如下步骤：

步骤1.1：本发明中，类别为服装，识别出至少一个属性信息。

步骤1.2：属性信息也可以是用户输入的，例如，用户可以向终端输入“长袖”，以辅助终端以生成“长袖”相关的文案，终端可以接收用户的输入的属性信息，来获取更多的信息。

步骤1.3：将得到根据目标检测算法得到的服装属性词“外套”，“女”，“帽”，加上用户输入的属性词，通过word2vec转换成词向量后，生成序列，以此方式输入。

所述步骤2包括如下步骤：

步骤2.1：将爬取到的广告文案按4:1的比例分为训练集和测试集，

步骤2.2：首先使用jieba对其进行分词处理，将属性词序列转换为词向量，转换成维的矩阵。

步骤2.3：使用LDA主题模型对关键词进行提取。

所述步骤3包括如下步骤：

步骤3.1：在初始已经规定好了时间步数，t为当前时间步，在t步时，s表示为已经生成好的序列(y₁,y2,....,y_t-1),所以y_t为下一个步数要选择的字。

步骤3.2：生成文本时，核心是选择下一个字符的方式，本发明使用随机采样，在抽样的过程中引入随机性，这样能产生比较多有趣的句子，考虑到随机采样带来的极端情况，在抽样的过程中引入了softmax温度这个参数，对下一个选择的字符概率进行加权并重新计算。

步骤3.3：对于特征的选择，首先要考虑到的是系统的连贯性以及感情色彩，其次，因为副词和形容词对于句子结构影响较小，并且能给句子润色，例如“漂亮的”，“应季的”，会对用户产生比较高的吸引力，因此这两者占比较高的比重。

所述步骤4包括如下步骤：

步骤4.1：训练生成器过程中，利用爬虫技术，将爬取的广告文案进行预处理，对其进行分词，得到词向量，并进行词性标注。

步骤4.2：根据隐含层的各个参数以及当前生成的词向量计算出下一词语向量，一直循环输出，直到下一个词语向量为0时，即可将计算出的词语向量作为输出的文案。例如，输入属性为“长裤”，“宽松”生成的文案为“休闲设计感宽松背带裤”，在生成“背带裤”对应的文案时，将“休闲设计感宽松背带裤”，“背带裤”作为输入，这样可以使得生成文案更加流畅，提高效率。

步骤4.3：使用生成器生成文本和真实样本作为输入对判别器进行训练，判别器，更新参数以降低生成文本被判断为真实样本的概率。

步骤4.4：训练生成器，更新参数以提高生成文本被判断为真实样本的概率。

所述步骤5包括如下步骤：

步骤5.1：判别器将s状态下的任何动作的奖励反馈给生成器，通过策略梯度和最大化奖励来更新生成器，如图3所示。例如下一个要选择的单词为“舒适”，而判别器将其判别为“假”数据，那么就没有获得奖励，而生成器的目的则是将最终奖励最大化，于是不断优化，使用策略梯度来更新生成器的参数。需要注意的是，在生成序列还没结束时，已经生成的序列要添加到输入数据，用来生成下一个字。

步骤5.2：判别器也在根据生成器的更新不断优化，使得判别生成文本为真实的样本概率降低，更新参数，来提高生成文本的质量。

步骤5.3：假若用户对识别出的属性不满意或者属性太少，甚至是没有识别出属性的情况，可以自行输入属性词，共同输入生成对抗网络来进行文本的生成。如果对生成的文案不满意，可以点击前端页面的“更换”，对数据库表进行查询，例如当前服装识别到的属性为“毛衣”，“开衫”，“毛衣”的优先级比“开衫”的优先级高，所以优先显示“毛衣”所对应的文案，若识别出的属性词在数据库中没有记录，则显示一条万能文案，用户还可自行输入广告文案，这条文案将会被保存下来，加入语料库中，丰富语料库。

所述步骤6包括如下步骤：

步骤6.1：首先在后端服务器上搭建运行环境，然后将训练后的生成对抗网络模型导入。

步骤6.2：在前端服务器上搭建web运行环境，并设计前端网页。

步骤6.3：在数据库里创建表，使用Nginx作为反向代理服务器来处理高并发请求，并使用基于内存的redis数据库作为中间消息队列使前端和后端服务器进行实时通信。

步骤6.4：最后使用FastCGI进程管理器搭建分布式数据存储系统，对上传后端服务器生成的广告文案进行快速存储，若有输入的文案，则将它保存至语料库中。

Claims (7)

1.一种基于对抗网络的服装商品广告文案生成方法，其特征在于，包括如下步骤:

步骤1：获得服装属性识别系统识别的属性，并使用word2vec转换成词向量；

步骤2：对爬取到的广告文案进行数据预处理，作为语料库，以4:1的比例分为训练集和测试集；

步骤3：使用加入了attention机制的编解码模型作为整个网络的生成器，使用卷积神经网络作为编码器，用来提取语义特征，使用长短期记忆网络作为解码器，用来对提取的特征向量生成序列，加入的attention机制可用来提高关键词的权重；

步骤4：从步骤2的语料库中提取真实样本，获取生成器的生成的样本，进行判别器的训练，更新参数以降低生成样本被判定为真实样本的概率。训练生成器，更新参数以提高新生成样本被判别器判别为真实样本的概率；

步骤5：训练对抗生成网络，为了达到将奖励最大化的目标，强化学习在某个状态尝试各种可能的动作，使用判别器返回的奖励作为反馈来做出决策，找出使奖励最大化的策略，使用策略梯度来更新生成器；

步骤6：部署上线。

2.根据权利要求1所述的基于对抗网络的服装商品广告文案生成方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：本发明中，类别为服装，识别出至少一个属性信息。

步骤1.2：属性信息也可以是用户输入的，例如，用户可以向终端输入“长袖”，以辅助终端以生成“长袖”相关的文案，终端可以接收用户的输入的属性信息，来获取更多的信息。

步骤1.3：将得到根据目标检测算法得到的服装属性词“外套”，“女”，“帽”，加上用户输入的属性词，通过word2vec转换成词向量后，生成序列，以此方式输入。

3.根据权利要求1所述的基于对抗网络的服装商品广告文案生成方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：将爬取到的广告文案按4:1的比例分为训练集和测试集，

步骤2.2：首先使用jieba对其进行分词处理，将属性词序列转换为词向量，转换成维的矩阵。

步骤2.3：使用LDA主题模型对关键词进行提取。

4.根据权利要求1所述的基于对抗网络的服装商品广告文案生成方法，其特征在于，所述步骤3包括如下步骤：

步骤3.1：在初始已经规定好了时间步数，t为当前时间步，在t步时，s表示为已经生成好的序列(y¹,y²,....,y^t-1),所以y^t为下一个步数要选择的字。

步骤3.2：生成文本时，核心是选择下一个字符的方式，本发明使用随机采样，在抽样的过程中引入随机性，这样能产生比较多有趣的句子，考虑到随机采样带来的极端情况，在抽样的过程中引入了softmax温度这个参数，对下一个选择的字符概率进行加权并重新计算。

步骤3.3：对于特征的选择，首先要考虑到的是系统的连贯性以及感情色彩，其次，因为副词和形容词对于句子结构影响较小，并且能给句子润色，例如“漂亮的”，“应季的”，会对用户产生比较高的吸引力，因此这两者占比较高的比重。

5.根据权利要求1所述的基于对抗网络的服装商品广告文案生成方法，其特征在于，所述步骤4包括如下步骤：

步骤4.1：训练生成器过程中，利用爬虫技术，将爬取的广告文案进行预处理，对其进行分词，得到词向量，并进行词性标注。

步骤4.2：根据隐含层的各个参数以及当前生成的词向量计算出下一词语向量，一直循环输出，直到下一个词语向量为0时，即可将计算出的词语向量作为输出的文案。例如，输入属性为“长裤”，“宽松”生成的文案为“休闲设计感宽松背带裤”，在生成“背带裤”对应的文案时，将“休闲设计感宽松背带裤”，“背带裤”作为输入，这样可以使得生成文案更加流畅，提高效率。

步骤4.3：使用生成器生成文本和真实样本作为输入对判别器进行训练，判别器，更新参数以降低生成文本被判断为真实样本的概率。

步骤4.4：训练生成器，更新参数以提高生成文本被判断为真实样本的概率。

6.根据权利要求1所述的基于对抗网络的服装商品广告文案生成方法，其特征在于，所述步骤5包括如下步骤：

步骤5.1：判别器将s状态下的任何动作的奖励反馈给生成器，通过策略梯度和最大化奖励来更新生成器，如图3所示。例如下一个要选择的单词为“舒适”，而判别器将其判别为“假”数据，那么就没有获得奖励，而生成器的目的则是将最终奖励最大化，于是不断优化，使用策略梯度来更新生成器的参数。需要注意的是，在生成序列还没结束时，已经生成的序列要添加到输入数据，用来生成下一个字。

步骤5.2：判别器也在根据生成器的更新不断优化，使得判别生成文本为真实的样本概率降低，更新参数，来提高生成文本的质量。

步骤5.3：假若用户对识别出的属性不满意或者属性太少，甚至是没有识别出属性的情况，可以自行输入属性词，共同输入生成对抗网络来进行文本的生成。如果对生成的文案不满意，可以点击前端页面的“更换”，对数据库表进行查询，例如当前服装识别到的属性为“毛衣”，“开衫”，“毛衣”的优先级比“开衫”的优先级高，所以优先显示“毛衣”所对应的文案，若识别出的属性词在数据库中没有记录，则显示一条万能文案，用户还可自行输入广告文案，这条文案将会被保存下来，加入语料库中，丰富语料库。

7.根据权利要求1所述的基于对抗网络的服装商品广告文案生成方法，其特征在于，所述步骤6包括如下步骤：

步骤6.1：首先在后端服务器上搭建运行环境，然后将训练后的生成对抗网络模型导入。

步骤6.2：在前端服务器上搭建web运行环境，并设计前端网页。

步骤6.3：在数据库里创建表，使用Nginx作为反向代理服务器来处理高并发请求，并使用基于内存的redis数据库作为中间消息队列使前端和后端服务器进行实时通信。

步骤6.4：最后使用FastCGI进程管理器搭建分布式数据存储系统，对上传后端服务器生成的广告文案进行快速存储，若有输入的文案，则将它保存至语料库中。

Images