CN111489422B - 海报生成及其模型训练方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种海报生成及其模型训练方法、装置、电子设备及存储介质，该模型训练方法包括：获取第一比例样本海报和第二比例样本海报；提取第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；根据重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对海报生成模型进行对抗训练，直至海报生成模型收敛为止，得到训练完毕的海报生成模型。实现了根据原比例版本海报自动生成新比例海报，提高了海报生成效率，节省了人力和时间资源浪费。

Description

海报生成及其模型训练方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及机器学习技术，尤其涉及一种海报生成及其模型训练方法、装置、电子设备及存储介质。

背景技术

海报是对企业或产品进行广告宣传的重要方式之一，其通过版面构成在第一时间吸引并刺激人们的感官，以恰当的形式向人们展示出宣传信息。一款优秀的海报能够有效地提升宣传效率，提高企业或产品的知名度。海报设计要求设计者要将图片、文字、色彩、空间等要素进行完整的结合，这是一项非常复杂的工作。

现有技术中，为满足宣传需求，设计者通常需要将同一款海报设计调整为不同比例的版本。这种海报生成方法的缺点至少包括：人为设计不同比例版本海报的过程存在大量重复性工作，导致海报生成效率低，且造成了大量人力和时间资源浪费。

发明内容

有鉴于此，本发明实施例提供了一种海报生成及其模型训练方法、装置、电子设备及存储介质，实现了根据原比例版本海报自动生成新比例海报，提高了海报生成效率，节省了人力和时间资源浪费。

第一方面，本发明实施例提供了一种海报生成模型训练方法，包括：

获取第一比例样本海报和第二比例样本海报；

分别提取所述第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；

将所述第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；

根据所述重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对所述海报生成模型进行对抗训练，直至所述海报生成模型收敛为止，得到训练完毕的海报生成模型。

可选的，分别提取所述第一比例样本海报和第二比例样本海报的语义特征向量，包括：

分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素；

将所述文本元素的词向量与所述文本元素的属性信息拼接后输入全连接网络，输出文本元素的特征向量；

将所述图像元素输入卷积神经网络，输出图像元素的特征向量，其中将输入所述卷积神经网络中全连接层的特征与所述图像元素的属性信息拼接后，再输入所述全连接层；

将所述文本元素的特征向量和所述图像元素的特征向量融合，得到语义特征向量。

可选的，分别提取所述第一比例样本海报和第二比例样本海报的布局特征向量，包括：

分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素的位置坐标；

将所述位置坐标输入子编码网络，输出布局特征向量。

可选的，将所述第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量，包括：

将所述第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型的编码网络，得到第一比例样本海报的特征值；

将所述特征值进行重采样；

将重采样后的特征值输入海报生成模型的解码网络，输出重采样的语义特征向量和布局特征向量。

可选的，根据所述重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对所述海报生成模型进行对抗训练，包括：

采用下述损失函数对所述海报生成模型进行对抗训练：

其中，y为重采样的语义特征向量和布局特征向量，

为第二比例样本海报的语义特征向量和布局特征向量，/>

为y和/>

的范数，q(z|x)为重采样过程的特征分布，p(z)与预设分布，D_KL(q(z|x)||p(z))为q(z|x)和p(z)的散度。

第二方面，本发明实施例还提供了一种海报生成方法，包括：

获取第一比例海报；

提取所述第一比例海报的语义特征向量和布局特征向量；

将所述第一比例海报的语义特征向量和布局特征向量输入基于本发明任意实施例提供的海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量；

根据所述第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。

第三方面，本发明实施例还提供了一种海报生成模型训练装置，包括：

样本海报获取模块，用于获取第一比例样本海报和第二比例样本海报；

特征向量提取模块，用于分别提取所述第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；

特征重采样模块，用于将所述第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；

模型训练模块，用于根据所述重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对所述海报生成模型进行对抗训练，直至所述海报生成模型收敛为止，得到训练完毕的海报生成模型。

第四方面，本发明实施例还提供了一种海报生成装置，包括：

海报获取模块，用于获取第一比例海报；

原比例特征提取模块，用于提取所述第一比例海报的语义特征向量和布局特征向量；

新比例特征生成模块，用于将所述第一比例海报的语义特征向量和布局特征向量输入基于本发明任意实施例提供的海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量；

海报生成模块，用于根据所述第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。

第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例提供的海报生成模型训练方法或海报生成方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任意实施例提供的海报生成模型训练方法或海报生成方法。

本发明实施例提供的一种海报生成及其模型训练方法、装置、电子设备及存储介质，该模型训练方法包括：海报生成模型训练装置(可简称为训练装置)获取第一比例样本海报和第二比例样本海报；分别提取第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；根据重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对海报生成模型进行对抗训练，直至海报生成模型收敛为止。通过学习样本海报的第一比例款式和第二比例款式下各语义特征向量对应元素的布局变化规律，可训练得到海报生成模型，根据训练生成的海报生成模型可将第一比例款式的海报转化为第二比例款式的海报，从而提高了海报生成效率，节省了人力和时间资源浪费。

附图说明

图1是本发明实施例一提供的一种海报生成模型训练方法的流程示意图；

图2是本发明实施例一提供的一种海报生成模型训练方法中第一比例样本海报和第二比例样本海报的示例图；

图3是本发明实施例二提供的一种海报生成模型训练方法的流程示意图；

图4是本发明实施例三提供的一种海报生成方法的流程示意图；

图5是本发明实施例四提供的一种海报生成模型训练装置的结构示意图；

图6是本发明实施例四提供的一种海报生成模型训练装置的框架示意图；

图7是本发明实施例五提供的一种海报生成装置的结构示意图；

图8是本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。

实施例一

图1为本发明实施例一提供的一种海报生成模型训练方法的流程示意图，本实施例可适用于训练海报生成模型的情况。该方法可以由本发明实施例提供的海报生成模型训练装置来执行，该训练装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如计算机设备中。

参见图1，海报生成模型训练方法，具体包括如下步骤：

S110、获取第一比例样本海报和第二比例样本海报。

本发明实施例中，第一比例样本海报和第二比例样本海报为比例版本不同的同款海报，即第一比例海报和第二比例海报的文字和图片等构成元素相同，但是构成元素的分布、大小以及海报宽高比例有所差异。其中，第一比例样本的宽高比例和第二比例样本的宽高比例不同，分别可以为2:3、3:2、4:3、3:4、16:9或1:1等。

示例性的，图2是本发明实施例一提供的一种海报生成模型训练方法中第一比例样本海报和第二比例样本海报的示例图。如图2所示，其中(a)图为第一比例样本海报，其宽高比例为2：3，(b)图为第二比例海报，其宽高比例为3：2。且(a)图中的构成元素1a、3a、4a和5a为文本元素，2a为图像元素，该些构成元素分别与(b)图中的1b、3b、4b和5b的文本元素，2b的图像元素对应，只是构成元素的位置和大小有所差异。

S120、分别提取第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量。

本发明实施例中，需要提取第一比例样本海报的语义特征向量和布局特征向量，以及提取第二比例样本海报的语义特征向量和布局特征向量。无论是第一比例样本海报，还是第二样本比例海报，其语义特征向量皆可以为海报中文本元素特征向量和图像元素特征向量等构成元素特征向量的融合，且文本元素的属性分类例如可以定义为标题、内容或联系方式等，图像元素的属性分类例如可以定义为图片或商标等；其布局特征向量皆可以为根据海报中各文本元素位置坐标和各图像元素位置坐标等构成元素位置坐标提取特征而成，且位置坐标例如为包括海报构成元素的某特征像素点的横坐标x、纵坐标y和该构成元素的宽w、高h的四维坐标[x,y,w,h]。以图2(a)为例，图中1a-5a指向的白框可用来表示海报各元素的布局，且可根据各白框的左上角的像素点的横坐标、纵坐标和白框的长、宽作为各构成元素的位置坐标。

具体的，训练装置可通过不同类型的神经网络模型来实现第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量的提取。例如，结合全连接网络和卷积网络可分别实现文本元素特征向量和图像元素特征向量，以获得融合后的语义特征向量；利用子编码网络可实现根据海报中各构成元素位置坐标提取位置和面积特征，进而提取出布局特征，由于海报中构成元素的位置坐标仅由该元素自身决定，可先使用至少一个子编码网络分别提取至少一个构成元素的布局特征，再根据多个布局特征得到布局特征向量。

S130、将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量。

本发明实施例中，海报生成模型例如可以为变分自编码器网络。其中，训练装置将第一比例样本海报的语义特征向量和布局特征向量输入变分自编码器网络可以是，训练装置利用第一比例样本海报的各构成元素的语义特征，分别标注该构成元素的布局特征，将标注有语义特征的布局特征输入变分自编码器网络。变分自编码器网络可以将标注有语义特征的布局特征进行正向编码得到特征值，对特征值进行重采样，然后反向解码得出新的标注有语义特征的布局特征，即输出重采样的语义特征向量和布局特征向量。其中，利用第一比例样本海报的各构成元素的语义特征分别标注该构成元素的布局特征，例如是将语义特征向量和布局特征向量求和。

S140、根据重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对海报生成模型进行对抗训练，直至海报生成模型收敛为止，得到训练完毕的海报生成模型。

本发明实施例中，海报生成模型进行重采样过程为对语义特征向量和布局特征向量对应的特征值进行重采样的过程，重采样过程的特征分布可以认为是重采样后的特征值的分布。预设分布可以认为期望得到的特征值的分布，例如正态分布。其中，重采样的语义特征向量和布局特征向量和第二比例样本海报的语义特征向量构成的损失部分，可用来不断减少重采样加入的噪声；而重采样过程的特征分布和预设分布构成的损失部分，可用来提高重采样加入的噪声，所以海报生成模型训练过程为对抗训练过程。经过该对抗训练得到的收敛的海报生成模型包含一定的对抗生成能力，有利于在根据第一比例海报生成第二比例海报时，提高生成的第二比例海报的布局效果。

本发明实施例提供的一种海报生成模型训练方法，获取第一比例样本海报和第二比例样本海报；分别提取第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；根据重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对海报生成模型进行对抗训练，直至海报生成模型收敛为止。通过学习样本海报的第一比例款式和第二比例款式下各语义特征向量对应元素的布局变化规律，可训练得到海报生成模型，根据训练生成的海报生成模型可将第一比例款式的海报转化为第二比例款式的海报，从而提高了海报生成效率，节省了人力和时间资源浪费。

实施例二

本实施例在上述实施例的基础上，对提取语义特征向量、提取布局特征向量、利用海报生成模型输出重采样的语义特征向量和布局特征向量以及对海报生成模型进行对抗训练的步骤进行了优化补充。本实施例与上述实施例具有相同的发明构思，与上述实施例相同或相应的术语解释，本实施例不再赘述。

图3是本发明实施例二提供的一种海报生成模型训练方法的流程示意图。参见图3，该海报生成模型训练方法包括如下步骤：

S301、获取第一比例样本海报和第二比例样本海报。

S302、分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素。

本发明实施例中，可利用预先训练的文本提取模型来提取海报中的文本元素，利用预先训练的图像提取模型来提取海报中的图像元素，也可以人为提取海报中的文本元素和图像元素，在此不做具体限定。

S303、将文本元素的词向量与文本元素的属性信息拼接后输入全连接网络，输出文本元素的特征向量。

本发明实施例中，可预先定义海报中各构成元素的属性信息，且属性信息可以为one-hot编码信息，one-hot编码能够作为各构成元素属性分类的语义标签，可用来分别元素特征具体对应何种元素。示例性的，假设第一比例样本海报和第二比例样本海报中包括文本元素和图像元素，且文本元素的属性分类包括标题、内容和联系方式，图像元素的属性分类包括图片和商标，则可以用one-hot编码来标识各构成元素的属性信息，例如可以用编码“10000”来表示标题的属性信息，用编码“01000”来表示内容的属性信息，用编码“00100”来表示联系方式的属性信息，用编码“00010”来表示图片的属性信息，用编码“00001”来表示商标的属性信息。

本发明实施例中，可利用预先训练的词向量模型，将提取到的文本元素转化成词向量的形式，且词向量模型例如为Word2vec模型。具体的，可以将文本元素的词向量首尾拼接后，再与该文本元素的属性信息进行拼接，将拼接后的向量输入全连接网络，输出标注有该文本元素语义标签的特征向量。

S304、将图像元素输入卷积神经网络，输出图像元素的特征向量。

本发明实施例中，提取的图像元素大小例如可以为100像素*100像素-500像素*500像素。将提取的图像元素输入卷积神经网络，经过至少一组卷积层、激活层和池化层，以及全连接层来输出图像元素的特征向量，其中将输入卷积神经网络中全连接层的特征与图像元素的属性信息拼接后，再输入全连接层，输出标注有该图像元素语义标签的特征向量。

S305、将文本元素的特征向量和图像元素的特征向量融合，得到语义特征向量。

本发明实施例中，对文本元素的特征向量和图像元素的特征向量进行融合的过程可以理解为将两特征向量进行降维映射的过程，最终可映射为预设维度的语义特征向量。具体的，当构成元素为5种构成元素时，预设维度的语义特征向量可以为5维的特征向量，且每个维度可对应于各构成元素的语义特征。

S306、分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素的位置坐标。

本发明实施例中，可利用预先训练的位置坐标提取模型来提取海报中文本元素和图像元素的位置坐标，也可以人为提取海报中的文本元素和图像元素的位置坐标，在此不做具体限定。

S307、将位置坐标输入子编码网络，输出布局特征向量。

本发明实施例中，当位置坐标为海报构成元素的某特征像素点的横坐标x、纵坐标y和该构成元素的宽w、高h的四维坐标[x,y,w,h]时，子编码网络可以为3层网络，其中子编码网络的输入层的四个神经元分别对应位置坐标中的x,y,w,h，隐藏层的两个神经元分别表示元素位置和元素面积，输出层的一个神经元表示整个元素的布局特征。

其中，子编码网络的个数与海报中构成元素的个数一致，每一个子编码网络用于提取一个构成元素的布局特征，并且可将每一个布局特征进行拼接得到海报的布局特征向量。例如，当海报的构成元素数量为5时，子编码网络也为5个，利用5个子编码网络分别提取5种构成元素的布局特征，将5种布局特征进行连接，可得到海报的5维布局特征向量。

S308、将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型的编码网络，得到第一比例样本海报的特征值。

本发明实施例中，训练装置将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型的编码网络可以是，用语义特征向量中每个维度的语义特征分别标注布局特征向量中每个维度的布局特征，将标注有语义特征的维度特征输入变分自编码器网络的编码网络，得到均值和方差作为第一比例样本海报的特征值。

S309、将特征值进行重采样。

本发明实施例中，对特征值进行重采样可以是对均值和方差进行重采样，具体可以是，对均值和方差加入0，1分布的高斯噪声，并将加入噪声的均值和方差逐渐逼近预设分布(正太分布)，以得到重采样后的均值和方差。

S310、将重采样后的特征值输入海报生成模型的解码网络，输出重采样的语义特征向量和布局特征向量。

本发明实施例中，将重采样后的特征值输入海报生成模型的解码网络可以是，将重采样后的均值和方差输入变分自编码器网络的解码网络，将输出的标注有语义特征的新的布局特征组成布局特征向量，作为重采样的语义特征向量和布局特征向量。

S311、采用下述损失函数对海报生成模型进行对抗训练：

其中，y为重采样的语义特征向量和布局特征向量，

为第二比例样本海报的语义特征向量和布局特征向量，/>

为y和/>

的范数，q(z|x)为重采样过程的特征分布，p(z)与预设分布，D_KL(q(z|x)||p(z))为q(z|x)和p(z)的散度。

本发明实施例中，海报生成模型优选为变分自编码器网络，变分自编码器网络具有生成能力，由于网络中使用了重采样技术，对提取的特征值加入了一定的高斯噪声，训练过程中在损失中对噪声进行了抵抗。其中，

为y和/>

的L2范数，用于不断减少重采样加入的噪声；q(z|x)可以为正太分布，D_KL(q(z|x)||p(z))为q(z|x)和p(z)的散度，用于提高重采样加入的噪声，即训练过程中在损失中对噪声进行了抵抗。经过该对抗训练得到的收敛的海报生成模型包含一定的对抗生成能力，有利于在根据第一比例海报生成第二比例海报时，提高生成的第二比例海报的布局效果。

本实施例提供的海报生成模型训练方法，结合全连接网络和卷积神经网络能够对语义特征向量进行提取，通过子编码网络能够对布局特征向量进行提取，利用海报生成模块可输出重采样的语义特征向量和布局特征向量，在训练过程中在损失中对噪声进行了抵抗实现了海报生成模型的对抗训练。此外，本实施例与上述实施例具有相同的发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例可达到与上述实施例相同的有益效果。

实施例三

图4是本发明实施例三提供的一种海报生成方法的流程示意图，本实施例可适用于海报生成的情况。该方法可以由本发明实施例提供的海报生成装置来执行，该生成装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如海报生成平台的服务器中。本发明实施例与上述实施例具备相同的发明构思，未在本实施例阐述的技术细节可详见上述实施例。

参见图4，海报生成方法，具体包括如下步骤：

S410、获取第一比例海报。

S420、提取第一比例海报的语义特征向量和布局特征向量。

本发明实施例中，提取第一比例海报的语义特征向量和布局特征向量，与上述实施例中提取第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量的方法相同。

S430、将第一比例海报的语义特征向量和布局特征向量输入基于本发明任意实施例提供的海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量。

本发明实施例中，输出的第二比例海报的语义特征向量和布局特征向量可以认为是，输出的重采样后的标注有语义特征的布局特征组成布局特征向量。

S440、根据第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。

本发明实施例中，将输出的标注有语义特征的布局特征向量输入到子解码网络，其中子解码网络为上述子编码网络的逆过程，可得到第二比例海报中各构成元素的位置坐标，进而可根据位置坐标确定各构成元素在第二比例版本海报中的像素横坐标、纵坐标以及构成元素的宽和高，用于生成第二比例海报。

本发明实施例中，生成装置提取第一比例海报的语义特征向量和布局特征向量；将第一比例海报的语义特征向量和布局特征向量输入基于本发明任意实施例提供的海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量；根据第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。通过学习样本海报的第一比例款式和第二比例款式下各语义特征向量对应元素的布局变化规律，可训练得到海报生成模型，根据训练生成的海报生成模型可将第一比例款式的海报转化为第二比例款式的海报，从而提高了海报生成效率，节省了人力和时间资源浪费。

实施例四

图5是本发明实施例四提供的一种海报生成模型训练装置的结构示意图。应用该训练装置可以实现本发明任一实施例所提供的海报生成模型训练方法。

参见图5，海报生成模型训练装置包括：

样本海报获取模块510，用于获取第一比例样本海报和第二比例样本海报；

特征向量提取模块520，用于分别提取第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；

特征重采样模块530，用于将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；

模型训练模块540，用于根据重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对海报生成模型进行对抗训练，直至海报生成模型收敛为止，得到训练完毕的海报生成模型。

可选的，特征向量提取模块，包括：语义特征向量提取子模块；

语义特征向量提取子模块，包括：

元素提取单元，用于分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素；

文本特征向量提取单元，用于将文本元素的词向量与文本元素的属性信息拼接后输入全连接网络，输出文本元素的特征向量；

图像特征向量提取单元，用于将图像元素输入卷积神经网络，输出图像元素的特征向量，其中将输入卷积神经网络中全连接层的特征与图像元素的属性信息拼接后，再输入全连接层；

特征向量融合单元，用于将文本元素的特征向量和图像元素的特征向量融合，得到语义特征向量。

可选的，特征向量提取模块，还包括：布局特征向量提取子模块；

布局特征向量提取子模块，包括：

位置坐标提取单元，用于分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素的位置坐标；

布局特征向量提取单元，用于将位置坐标输入子编码网络，输出布局特征向量。

可选的，特征重采样模块，包括：

编码子模块，用于将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型的编码网络，得到第一比例样本海报的特征值；

重采样子模块，用于将特征值进行重采样；

解码子模块，用于将重采样后的特征值输入海报生成模型的解码网络，输出重采样的语义特征向量和布局特征向量。

可选的，模型训练模块，具体用于：

采用下述损失函数对海报生成模型进行对抗训练：

其中，y为重采样的语义特征向量和布局特征向量，

为第二比例样本海报的语义特征向量和布局特征向量，/>

为y和/>

的范数，q(z|x)为重采样过程的特征分布，p(z)与预设分布，D_KL(q(z|x)||p(z))为q(z|x)和p(z)的散度。

示例性的，图6是本发明实施例四提供的一种海报生成模型训练装置的框架示意图。如图6所示，将第一比例样本海报或第二比例样本海报输入元素提取单元，可提取到海报中的标题、内容和联系方式等文本元素的词向量，以及图片和商标等图像；将标题、内容和联系方式的词向量分别输入到文本特征向量提取单元1-3(例如全连接网络)，可得到标题、内容和联系方式的特征向量；将图片和商标分别输入到图像特征向量提取单元1-2(例如卷积神经网络)，可得到图片和商标的特征向量；将标题、内容和联系方式的特征向量以及图片和商标的特征向量输入到特征向量融合单元(例如降维映射网络)，可输出5维语义特征向量(图中用无填充的5维列方格表示)。

再参见图6，将第一比例样本海报或第二比例样本海报输入位置坐标提取单元，可分别提取到海报中标题、内容、联系方式、图片和商标的位置坐标[x,y,w,h]，将该些位置坐标分别输入到子编码网络可分别输出布局特征，将该5个布局特征进行拼接可得到海报的布局特征向量(图中用斜杠填充的5维列方格表示)。其中，图6中子编码网络为3层网络，输入层的四个神经元分别对应位置坐标中的x,y,w,h，隐藏层的两个神经元分别表示元素位置和元素面积，输出层的一个神经元表示整个元素的布局特征。

又参见图6，用语义特征向量中每个维度的语义特征分别标注布局特征向量中每个维度的布局特征后，将标注有语义特征的维度特征输入变分自编码器网络的编码网络，得到均值和方差；对均值和方差进行重采样，将重采样后的均值和方差输入变分自编码器网络的解码网络，输出的标注有语义特征的新的布局特征组成布局特征向量(图中用点填充的5维列方格表示)。根据新的布局特征组成布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样后的均值和方差的分布和预设分布可对变分自编码器网络进行对抗训练，直至变分自编码器网络收敛为止，得到训练完毕的变分自编码器网络，作为海报生成模型。

本发明实施例所提供的海报生成模型训练装置可执行本发明任一实施例所提供的海报生成模型训练方法，具备执行方法相应的功能模块和有益效果。未详尽描述的技术细节，可参见本发明任一实施例所提供的海报生成模型训练方法。

实施例五

图7是本发明实施例五提供的一种海报生成装置的结构示意图。应用该生成装置可以实现本发明任一实施例所提供的海报生成方法。

参见图7，海报生成装置包括：

海报获取模块710，用于获取第一比例海报；

原比例特征提取模块720，用于提取第一比例海报的语义特征向量和布局特征向量；

新比例特征生成模块730，用于将第一比例海报的语义特征向量和布局特征向量输入基于本发明任意实施例提供的海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量；

海报生成模块740，用于根据第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。

本发明实施例所提供的海报生成装置可执行本发明任一实施例所提供的海报生成方法，具备执行方法相应的功能模块和有益效果。未详尽描述的技术细节，可参见本发明任一实施例所提供的海报生成方法。

实施例六

图8是本发明实施例六提供的一种电子设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图8显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担海报生成模型训练或者海报生成功能的电子设备。

如图8所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储器28，连接不同组件(包括存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。

电子设备12典型地包括多种计算机可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机装置可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品40，该程序产品40具有一组程序模块42，这些程序模块被配置以执行本发明各实施例的功能。程序产品40，可以存储在例如存储器28中，这样的程序模块42包括但不限于一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、鼠标、摄像头等和显示器)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网WideArea Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)装置、磁带驱动器以及数据备份存储装置等。

处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的海报生成模型训练方法，该方法包括：

获取第一比例样本海报和第二比例样本海报；分别提取第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；根据重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对海报生成模型进行对抗训练，直至海报生成模型收敛为止，得到训练完毕的海报生成模型；

或者，实现本发明上述实施例所提供的海报生成方法，该方法包括：

获取第一比例海报；提取第一比例海报的语义特征向量和布局特征向量；将第一比例海报的语义特征向量和布局特征向量输入基于本发明任意实施例提供的海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量；根据第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。

当然，本领域技术人员可以理解，处理器还可以实现本发明任一实施例所提供的海报生成模型训练方法或者海报生成方法的技术方案。

实施例七

本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的海报生成模型训练方法，该方法包括：

获取第一比例样本海报和第二比例样本海报；分别提取第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；将第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；根据重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对海报生成模型进行对抗训练，直至海报生成模型收敛为止，得到训练完毕的海报生成模型；

或者，实现本发明上述实施例所提供的海报生成方法，该方法包括：

获取第一比例海报；提取第一比例海报的语义特征向量和布局特征向量；将第一比例海报的语义特征向量和布局特征向量输入基于本发明任意实施例提供的海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量；根据第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。

当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任一实施例所提供的海报生成模型训练方法或者海报生成方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种海报生成模型训练方法，其特征在于，包括：

获取第一比例样本海报和第二比例样本海报；

分别提取所述第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；

将所述第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；

根据所述重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对所述海报生成模型进行对抗训练，直至所述海报生成模型收敛为止，得到训练完毕的海报生成模型；

其中，分别提取所述第一比例样本海报和第二比例样本海报的语义特征向量，包括：

分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素；

将所述文本元素的词向量与所述文本元素的属性信息拼接后输入全连接网络，输出文本元素的特征向量；

将所述图像元素输入卷积神经网络，输出图像元素的特征向量，其中将输入所述卷积神经网络中全连接层的特征与所述图像元素的属性信息拼接后，再输入所述全连接层；

将所述文本元素的特征向量和所述图像元素的特征向量融合，得到语义特征向量；

其中，分别提取所述第一比例样本海报和第二比例样本海报的布局特征向量，包括：

分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素的位置坐标；

将所述位置坐标输入子编码网络，输出布局特征向量。

2.根据权利要求1所述的方法，其特征在于，将所述第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量，包括：

将所述第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型的编码网络，得到第一比例样本海报的特征值；

将所述特征值进行重采样；

将重采样后的特征值输入海报生成模型的解码网络，输出重采样的语义特征向量和布局特征向量。

3.根据权利要求1所述的方法，其特征在于，根据所述重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对所述海报生成模型进行对抗训练，包括：

采用下述损失函数对所述海报生成模型进行对抗训练：

其中，y为重采样的语义特征向量和布局特征向量，

为第二比例样本海报的语义特征向量和布局特征向量，/>

为y和/>

的范数，q(z|x)为重采样过程的特征分布，p(z)与预设分布，D_KL(q(z|x)||p(z))为q(z|x)和p(z)的散度。

4.一种海报生成方法，其特征在于，包括：

获取第一比例海报；

提取所述第一比例海报的语义特征向量和布局特征向量；

将所述第一比例海报的语义特征向量和布局特征向量输入基于权利要求1-3任一项海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量；

根据所述第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。

5.一种海报生成模型训练装置，其特征在于，包括：

样本海报获取模块，用于获取第一比例样本海报和第二比例样本海报；

特征向量提取模块，用于分别提取所述第一比例样本海报和第二比例样本海报的语义特征向量和布局特征向量；

特征重采样模块，用于将所述第一比例样本海报的语义特征向量和布局特征向量输入海报生成模型，输出重采样的语义特征向量和布局特征向量；

模型训练模块，用于根据所述重采样的语义特征向量和布局特征向量、第二比例样本海报的语义特征向量和布局特征向量、重采样过程的特征分布以及预设分布对所述海报生成模型进行对抗训练，直至所述海报生成模型收敛为止，得到训练完毕的海报生成模型；

其中，特征向量提取模块，包括：语义特征向量提取子模块；

语义特征向量提取子模块，包括：

元素提取单元，用于分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素；

文本特征向量提取单元，用于将文本元素的词向量与文本元素的属性信息拼接后输入全连接网络，输出文本元素的特征向量；

图像特征向量提取单元，用于将图像元素输入卷积神经网络，输出图像元素的特征向量，其中将输入卷积神经网络中全连接层的特征与图像元素的属性信息拼接后，再输入全连接层；

特征向量融合单元，用于将文本元素的特征向量和图像元素的特征向量融合，得到语义特征向量；

其中，特征向量提取模块，还包括：布局特征向量提取子模块；

布局特征向量提取子模块，包括：

位置坐标提取单元，用于分别针对第一比例样本海报和第二比例样本海报，提取文本元素和图像元素的位置坐标；

布局特征向量提取单元，用于将位置坐标输入子编码网络，输出布局特征向量。

6.一种海报生成装置，其特征在于，包括：

海报获取模块，用于获取第一比例海报；

原比例特征提取模块，用于提取所述第一比例海报的语义特征向量和布局特征向量；

新比例特征生成模块，用于将所述第一比例海报的语义特征向量和布局特征向量输入基于权利要求1-3任一项海报生成模型训练方法训练得到的海报生成模型，输出第二比例海报的语义特征向量和布局特征向量；

海报生成模块，用于根据所述第二比例海报的语义特征向量和布局特征向量，生成第二比例海报。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一所述的海报生成模型训练方法，或实现如权利要求4中所述的海报生成方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的海报生成模型训练方法，或实现如权利要求4中所述的海报生成方法。

Images