CN109308725B - 一种移动端表情趣图生成的系统 - Google Patents

Abstract

本发明属于人工智能与互联网技术领域，为移动端表情趣图生成的系统，包括移动端和服务器端；移动端包括数据采集获取单元、控制单元、显示单元和数据请求单元，保存单元、分享单元分别与显示单元连接，数据采集获取单元、显示单元、数据请求单元分别与控制单元连接；服务器端采用基于生成对抗网络的方法构造深度卷积神经网络模型；控制单元通过数据请求单元对深度神经网络模型进行先验的条件控制，使其将数据请求单元输入的原图进行相应控制单元所需要图片的生成，生成完成之后通过数据请求单元返回显示单元。本发明能学习出面部表情特征以生成不同情绪、不同发色、不同年龄的人脸表情，转换性能好、速率快，满足人们猎奇和趣味恶搞的心理需求。

Description

一种移动端表情趣图生成的系统

技术领域

本发明属于人工智能与互联网技术领域，特别涉及一种移动端表情趣图生成的系统。

背景技术

随着生活质量的提高和信息技术的迅猛发展,智能手机已走入人们的日常生活。日新月异的移动终端应用为人们的生活添加了更多的便捷与乐趣，人们越来越关注聊天的娱乐用户性体验，表情趣图在移动端市场的需求量越来越大，扮演着重要的角色，表情趣图作为情绪与信息的一种新兴载体，以其幽默、诙谐、直观等特点渐渐改变了人们的网络表达方式，成为网络中人们用以表达喜怒哀乐等多种情绪不可或缺的交流方式，用户的个性化定制需求，创造力编辑成为了人们关注的新型主题。

卷积神经网络是人工神经网络的一种，是为了识别二维形状而设计的多层感知器。这种网络结构平移，比例缩放，倾斜或者其他形式的变形具有不变性，已经成为当前语音和图像识别领域的研究热点。卷积神经网络类似于生物神经网络，具有权值共享网络结构，大大降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的比较明显，图像可以作为网络输入，避免了传统识别算法复杂特征提取和数据重建过程。

生成对抗网络对图像的风格迁移和不同区域图像的生成有着重大意义，结构上受博弈论中的二人零和博弈启发,系统由一个生成器和一判别器构成。生成器捕捉真实数据样本的潜在分布,并生成新的数据样本；判别器是一个二分类器，判别输入是真实数据还是生成的样本。生成器和判别器均采用深度神经网络。作为机器学习的一个分支，生成对抗网络在图像重构、图像超分辨率、图像风格迁移等各个领域有着广泛的应用。

近几年来，生成对抗网络的研究工作不断深入，已经取得了很大的进展，其在图片领域解决了许多问题，表现出了良好的智能特性。

发明内容

本发明为了解决现有技术存在问题，提供一种移动端表情趣图生成的系统，该系统能够学习出人脸面部表情特征从而更好的生成不同情绪、不同发色、不同年龄的人脸表情，转换性能好、转换速率快，满足当下人们普遍猎奇和趣味恶搞的心理需求。

本发明采用如下技术方案实现：一种移动端表情趣图生成的系统，包括移动端和服务器端，其中：

移动端包括数据采集获取单元、控制单元、显示单元和数据请求单元，保存单元、分享单元分别与显示单元连接，数据采集获取单元、显示单元、数据请求单元分别与控制单元连接；

服务器端采用基于生成对抗网络的方法构造深度卷积神经网络模型；

控制单元通过数据请求单元对服务器端所构造的深度神经网络模型进行先验的条件控制，使深度神经网络模型将数据请求单元输入的原图进行相应控制单元所需要图片的生成，生成完成之后通过数据请求单元返回显示单元。

优选地，所述控制单元包括：变发单元，用于控制头发的颜色；改变年龄单元，用于控制生成后图片中人物的年龄效果；改变性别单元，用于控制生成图片中人物性别；改变表情单元，用于改变图片中人物的表情；动图单元，用于在移动端输出两张或两张以上图片转换生成的过程图；

所述改变表情单元包括开心单元和震惊单元，开心单元用于改变人物表情使人物在图片中为开心的表情，震惊单元用于改变人物表情使人物在图片中为震惊的表情；

所述变发单元、改变年龄单元、改变性别单元、改变表情单元和动图单元通过数据请求单元对服务器端所构造的深度神经网络模型进行先验的条件控制。

优选地，所述服务器端构造深度卷积神经网络模型，包括以下步骤：

S1、利用StarGAN框架，构造深度卷积神经网络，设定网络参数和更新迭代方式进行训练；

S2、从移动端输入图片，通过所构造的深度神经卷积网络，设定网络参数，计算最小损失函数得到结果。

优选地，步骤S2包括：

(2-1)设定每一次批量训练的图像数目为B_train张，将所述训练图像输入到所构建的深度卷积神经网络中进行批量训练，一次批量训练数为B_batch，并采用随机梯度下降方法对构建的深度卷积神经网络进行训练；设定网络初始参数，所述参数包括：初始学习率lr₀、当前训练迭代次数epoch和最大训练迭代次数epoch_max，其中初始学习率lr₀即表示深度卷积神经网络在训练样本中寻找最优解的起始迭代速率；

(2-2)设定网络损失函数，损失函数包括生成器的损失函数和判别器的损失函数。

优选地，所述生成器的损失函数包括三个损失：(1)生成图片产生的损失，通过对生成图片的各个像素点取平均值的负值得到；(2)真实标签与生成图片判别的概率的损失值，通过交叉熵公式后取均值得到；(3)重建图片与原标签图片的损失，通过重建图片像素点减去原标签图片像素点的平均值得到。

优选地，所述判别器的损失函数包括四个损失：(1)判别器对真实图片的损失，通过对真实图片的像素点取平均的负值得到；(2)判别器对生成器生成图片的损失判定，通过对生成图片像素点去平均值得到；(3)衡量真实标签与标签估计的损失值，通过对真实标签与标签估计的差值，使用交叉熵公式再求均值计算得到；(4)对生成器生成图片与背景的损失。

本发明相对于现有技术具有如下的优点和效果：

(1)本发明针对于各种移动端的图片，能够较好的从图像中得到需要的人脸的准确性特征，进行图像转换。

(2)本发明使用深度卷积神经网络，能够提取到较好的局部特征，具备平移不变性，避免传统算法中复杂的特征提取和数据重建过程，提高了本发明的转换准确性能与健壮性。

(3)本发明的鲁棒性强，能够从训练图像集中学习到人脸特征，并且在训练和测试结构上进行优化，从而获得更好的检测性能。

附图说明

图1为本发明移动端表情趣图生成的系统的结构框图；

图2为生成器神经网络结构图；

图3为判别器神经网络结构图；

图4为生成对抗网络的架构图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不限于本发明。

实施例

参见图1，本发明移动端表情趣图生成的系统，包括通过网络相连接的移动端及服务器端，所述移动端包括数据采集获取单元、控制单元、显示单元、保存单元、分享单元和数据请求单元，其中控制单元包括变发单元、改变年龄单元、改变性别单元、改变表情单元和动图单元，改变表情单元包括开心、震惊单元；保存单元、分享单元分别与显示单元连接，数据采集获取单元、显示单元、数据请求单元分别与控制单元连接。

本发明采用微信小程序做载体，基于移动端实现，而移动端可以采用手机、平板电脑、台式电脑中的任一种来实现。数据采集获取单元从移动端的相机采集图片，或从移动端内相册或移动端系统图片中获取图片。控制单元中，变发单元用于控制头发的颜色，改变年龄单元用于控制生成后图片中人物的年龄效果，改变性别单元用于控制生成图片中人物性别，改变表情单元用于改变图片中人物的表情，改变表情单元包括开心单元和震惊单元，开心单元用于改变人物表情使人物在图片中为开心的表情，震惊单元用于改变人物表情使人物在图片中为震惊的表情，动图单元用于在移动端输出两张或两张以上图片转换生成的过程图。显示单元用于在移动端显示生成图片的效果；保存单元用于保存图片至移动端；分享单元用于发送分享URL连接；数据请求单元用于连接移动端和服务器端。

控制单元内的变发单元、改变年龄单元、改变性别单元、改变表情单元和动图单元通过数据请求单元对服务器端训练生成好的深度神经网络模型进行先验的条件控制，使服务器端训练好的深度神经网络模型将数据请求单元输入的原图进行相应控制单元所需要图片的生成，生成完成之后通过数据请求单元返回显示单元。

服务器端采用基于生成对抗网络的方法构造深度卷积神经网络模型，包括以下步骤：

S1、利用StarGAN框架，构造深度卷积神经网络，设定网络参数和更新迭代方式进行训练。本步骤包含下列各步骤：

(1-1)基于starGAN框架，将图像输入宽为W_train，高为H_train的图像作为训练图像；

(1-2)构造深度卷积神经网络，该网络包括一个生成器和一个鉴别器(也叫判别器)，生成器包括一个输入卷积层、2个下采样卷积层、6个残差卷积层、两个上采样层及一个输出卷积层，每个残差卷积层后跟上一个BN层，输入卷积层后跟上一个BN层，每个上采样层后跟上一个BN层，输出卷积层后跟上一个BN层，每个卷积层紧跟一个RELU激活层；鉴别器包括1个卷积输入层、6个卷积层、LeakyReLu激活层和1个卷积输出层，前7个卷积层后面紧跟一个LeakyReLu激活层。

如图2所示，本实例构建的生成器的深度卷积神经网络如下：Input(64×64)->64C(7×7)S1P3->BN->Relu>128C(4×4)S2P1->ReLu->256C(4×4)S2P1->ReLu->256C(3×3)S1P1->BN->ReLu->256C(3×3)S1P1->BN->ReLu->256C(3×3)S1P1->BN->ReLu->256C(3×3)S1P1->BN->ReLu->256C(3×3)S1P1->BN->ReLu->256C(3×3)S1P1->BN->ReLu->128C(4×4)S2P1->BN->ReLu->128C(7×7)S1P3->BN->ReLu->Output。

生成器的输入层接受图片尺寸大小为64×64像素；第一个输入卷积层的卷积核大小为7×7，步长为1，接下来2个下采样卷积层的卷积核大小为4×4，下采样步长为2，残差层网络中卷积核大小3×3，步长为1，每个卷积层后跟上一BatchNorm正则化层，后面在跟上一个RELU层；上采样的卷积核大小为4×4，下采样步长为2；输出卷积层的卷积核大小为7×7，步长为1，padding为3；ReLu激活层对卷积得到的特征进行线性修正；输出为生成的图片，各个卷积层输出的特征图的个数分别为64、128、256、256、256、256、256、256、256、128和64。

如图3所示，本实例构建的鉴别器的深度卷积神经网络如下：Input(64×64)->64C(4×4)S2P1->leakyRelu>128C(4×4)S2P1->leakyReLu->256C(4×4)S2P1->leakyReLu->512C(4×4)S2P1->leaky ReLu->1024C(4×4)S2P1->leakyReLu->2048C(4×4)S2P1->leakyReLu->1C(3×3)S1P1->5C(7×7)S1P1->Sofmax/Output。

其中Input(64×64)表示输入层接受的图片大小为64×64像素，64C(3×3)S1P1表示对输入图像进行特征提取的卷积层，核大小为3×3，步长为1，输出64的特征图；ReLu表示对卷积得到的特征层进行修正的线性纠正激活层；BN表示BN正则化层；leakyReLu表示对ReLu进行负半轴修正的线性纠正激活层；Softmax/Output表示输出层为softmax层，输出的是图片中人头的概率分布。

判别器的输入卷积层的卷积核大小为4×4，步长为2，接下来5个卷积层的卷积核大小为4×4，下采样步长为2，输出卷积层的第一个卷积层输出维度为1，卷积核大小为3×3，可判别输入的真假，第二个卷积层输出维度为5，卷积核大小为7×7,即判别输入图像的标签，每个卷积层后跟上一个LeakReLu激活层，所述LeakyReLu激活层对卷积得到的特征进行线性修正，各个卷积层输出的特征图的个数为64、128、256、512、1024、2048、1和5。对于判别器的输出，去掉了使用sigmoid层，将LeakyReLu激活层后结果直接作为输出。

S2、从移动端输入图片，通过所构造的深度神经卷积网络，设定网络参数，计算最小损失函数得到结果。参见图4，具体步骤包括：

所述服务器端采用基于生成对抗网络的方法构建深度卷积神经网络进行设定网络参数和更新迭代方式进行训练和测试，具体过程如下：

(2-1)设定每一次批量训练的图像数目为B_train张，B_train为100，将所述训练图像输入到所构建的深度卷积神经网络中进行批量训练，一次批量训练数为B_batch，B_batch为20，并采用随机梯度下降方法对构建的深度卷积神经网络进行训练。本实施例不使用基于动量的优化的传统算法，用随机梯度下降方法对构建的深度卷积神经网络进行训练。

设定网络初始参数，所述参数包括：初始学习率lr₀，lr₀为0.0001，当前训练迭代次数epoch和最大训练迭代次数epoch_max，epoch_max为100；其中初始学习率lr₀即表示深度卷积神经网络在训练样本中寻找最优解的起始迭代速率。

学习率减少数的更新方式如下：

学习率更新方式如下：

lr＝lr₀×lr_decay

(2-2)设定网络损失函数，损失函数包括生成器的损失函数和判别器的损失函数，要求判别器损失最小作为生成器梯度下降结果，判别器的损失最小作为判别器的训练。

L_loss＝g_loss+d_loss

其中，g_loss为生成器的总损失，d_loss为判别器的总损失，L_loss为整个网络的总损失。对于生成器和判别器的损失函数，g_loss函数和d_loss函数的取值不再根据传统损失值的设定去log函数，自定义了g_loss函数和d_loss函数的实现方式。

生成器的损失函数包括以下三个损失：

(1)生成图片产生的损失g_{loss_f}，通过对生成图片的各个像素点取平均值的负值得到；

(2)真实标签与生成图片判别的概率的损失值g_{loss_cls}，通过交叉熵公式后取均值得到；

(3)重建图片与原标签图片的损失g_{loss_rec}，通过重建图片像素点减去原标签图片像素点的平均值得到。

判别器的损失函数包括四个损失：

(1)判别器对真实图片的损失d_{loss_r}，通过对真实图片的像素点取平均的负值得到；

(2)判别器对生成器生成图片的损失判定d_{loss_f}，通过对生成图片像素点去平均值得到；

(3)衡量真实标签与标签估计的损失值d_{loss_c}，通过对真实标签与标签估计的差值，使用交叉熵公式再求均值计算得到；

(4)对生成器生成图片与背景的损失d_{loss_g}，通过gradient_penalty公式实现。

其中，生成器损失函数公式如下：

g_loss＝g_{loss_f}+lambda_cls×g_{loss_cls}+lambda_rec×g_{loss_rec}

上式中，lambda_cls、lambda_rec为更新生成器的参数，将每次生成器更新迭代参数之后把其设定为一个固定常数，本实施例设定lambda_cls＝1，lambda_rec＝1，生成器g_{loss_f}为生成图片的损失值，公式为：

g_{loss_f}＝-mean(out_src)

其中out_src为得到生成图片的判别概率，其中估计标签越真实，损失越少。

g_{loss_cls}为衡量真实标签与标签估计的差值，使用交叉熵公式再求均值计算，公式如下：

g_{loss_cls}＝mean(L(logits,lables))

标签越接近目标标签损失越小，使用交叉熵计算，公式如下：

g_{loss_rec}为重建图像与原图的损失，得到的重建图越像原图损失越小：

g_{loss_rec}＝mean|x_real-x_reconst|

其中x_real为输入的原图像，x_reconst为重建后的图像。

而判别器损失函数公式如下：

d_loss＝d_{loss_r}+d_{loss_f}+lambda_cls×d_{loss_c}+lambda_gp×d_{loss_g}

其中，lambda_cls、lambda_gp为更新判别器的参数，将每次判别器更新迭代参数之后把其设定为一个固定常数，本实施例设定lambda_cls＝1，lambda_gp＝1，d_{loss_r}为判别器对真实图片的损失，d_{loss_r}值越小判定越接近为真，判定公式如下：

d_{loss_r}＝-mean(out_src)

d_{loss_f}为判别器对生成器生成图片的损失判定，其中d_{loss_f}值越小，判定越接近为假。

d_{loss_f}＝mean(out_cls)

其中，out_src为判别器根据图片生成的第一个输出，out_cls为判别器根据图片生成的第二个输出。

d_{loss_c}为衡量真实标签与标签估计的差值，使用交叉熵公式再求均值计算，公式如下：

d_{loss_c}＝mean(L(logits,lables))

d_{loss_g}为判别器对生成器生成图片与背景的损失判定，由gradient_penalty公式实现，公式如下：

其中，D(x)为生成器生成的输出，x满足的分布记为p_x，x满足的真实图片分布记为p_r，x满足的背景图片分布记为p_g，λ为自定义常数。

构造好深度卷积神经网络后，依据数据请求单元所发送的请求，生成相应图片返回移动端。服务器在相应的端口，时刻监听HTTPS请求，收到请求后使用PHP接收并解析请求的内容，服务器解析请求的URL，以及图片的二进制数据流和实现何种功能，利用算法生成图片，并作相应的处理。将图片和参数传给Python算法，并将结果图片部署成为URL返回移动端。

以上所述实施例仅表达了本发明的一部分实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以权利要求所述为准。

Claims (7)

1.一种移动端表情趣图生成的系统，其特征在于，包括移动端和服务器端，其中：

移动端包括数据采集获取单元、控制单元、显示单元和数据请求单元，保存单元、分享单元分别与显示单元连接，数据采集获取单元、显示单元、数据请求单元分别与控制单元连接；

服务器端采用基于生成对抗网络的方法构造深度卷积神经网络模型；

控制单元通过数据请求单元对服务器端所构造的深度神经网络模型进行先验的条件控制，使深度神经网络模型将数据请求单元输入的原图进行相应控制单元所需要图片的生成，生成完成之后通过数据请求单元返回显示单元；

所述控制单元包括：

变发单元，用于控制头发的颜色；改变年龄单元，用于控制生成后图片中人物的年龄效果；改变性别单元，用于控制生成图片中人物性别；改变表情单元，用于改变图片中人物的表情；动图单元，用于在移动端输出两张或两张以上图片转换生成的过程图；

所述改变表情单元包括开心单元和震惊单元，开心单元用于改变人物表情使人物在图片中为开心的表情，震惊单元用于改变人物表情使人物在图片中为震惊的表情；

所述变发单元、改变年龄单元、改变性别单元、改变表情单元和动图单元通过数据请求单元对服务器端所构造的深度神经网络模型进行先验的条件控制。

2.根据权利要求1所述的移动端表情趣图生成的系统，其特征在于，所述移动端还包括分别与显示单元连接的保存单元、分享单元；保存单元用于保存图片至移动端；分享单元用于发送分享URL连接。

3.根据权利要求1所述的移动端表情趣图生成的系统，其特征在于，所述数据采集获取单元用于从移动端的相机采集图片，或者从移动端内相册或移动端系统图片中获取图片。

4.根据权利要求1所述的移动端表情趣图生成的系统，其特征在于，所述服务器端构造深度卷积神经网络模型，包括以下步骤：

S1、利用StarGAN框架，构造深度卷积神经网络，设定网络参数和更新迭代方式进行训练；

S2、从移动端输入图片，通过所构造的深度神经卷积网络，设定网络参数，计算最小损失函数得到结果。

5.根据权利要求4所述的移动端表情趣图生成的系统，其特征在于，步骤S2包括：

(2-1)设定每一次批量训练的图像数目为B_train张，将所述训练图像输入到所构建的深度卷积神经网络中进行批量训练，一次批量训练数为B_batch，并采用随机梯度下降方法对构建的深度卷积神经网络进行训练；设定网络初始参数，所述参数包括：初始学习率lr₀、当前训练迭代次数epoch和最大训练迭代次数epoch_max，其中初始学习率lr₀即表示深度卷积神经网络在训练样本中寻找最优解的起始迭代速率；

(2-2)设定网络损失函数，损失函数包括生成器的损失函数和判别器的损失函数。

6.根据权利要求5所述的移动端表情趣图生成的系统，其特征在于，所述生成器的损失函数包括三个损失：(1)生成图片产生的损失，通过对生成图片的各个像素点取平均值的负值得到；(2)真实标签与生成图片判别的概率的损失值，通过交叉熵公式后取均值得到；(3)重建图片与原标签图片的损失，通过重建图片像素点减去原标签图片像素点的平均值得到。

7.根据权利要求5所述的移动端表情趣图生成的系统，其特征在于，所述判别器的损失函数包括四个损失：(1)判别器对真实图片的损失，通过对真实图片的像素点取平均的负值得到；(2)判别器对生成器生成图片的损失判定，通过对生成图片像素点去平均值得到；(3)衡量真实标签与标签估计的损失值，通过对真实标签与标签估计的差值，使用交叉熵公式再求均值计算得到；(4)对生成器生成图片与背景的损失。

Images