CN109902615A - 一种基于对抗网络的多个年龄段图像生成方法 - Google Patents

Abstract

本发明公开了一种基于对抗网络的多个年龄段图像生成方法，将传统GAN损失、循环损失、类内距离损失、余弦相似度损失相结合，共同作为训练过程中的目标函数，在减小类内距离的同时，加入余弦相似度损失来保证映射的对应性。本发明包括：一：将人脸图像数据行划分为训练样本集与测试样本集；二：对训练样本集中的人脸图像进行数据预处理；三：构建基于对抗网络的多个年龄段图像中生成器、判断器的卷积神经网络结构；四：将训练样本集输入到模型中进行训练；五：保存各生成器和判断器网络模型参数；六：利用经过数据预处理后的测试样本集对生成器和判断器模型进行测试，获得测试结果。本发明用于数据增强和模式识别领域。

Description

一种基于对抗网络的多个年龄段图像生成方法

技术领域

本发明属于深度神经网络结合对抗网络生成目标图像样本的深度学习图像识别领域，涉及到神经网络、生成对抗网络等技术，尤其涉及到基于对抗网络的多个年龄段图像生成方法。

背景技术

近年来，随着计算机技术的迅速发展，图像识别技术得到广泛研究与开发，例如人脸识别和行人识别就是近30年里模式识别和图像处理中最热门的研究主题之一，它们的目的分别是从人脸和行人图像中抽取人的个性化特征，并以此来识别人的身份。

在人脸识别和行人识别的工作中，制作合适的数据集往往是一个巨大的难题。以行人识别为例，想要识别行人上衣穿的是长袖还是短袖，需要分别采集同一摄像头下大量长袖行人和短袖行人的图像。即使不考虑光照、天气、角度、遮挡等常见因素，要想在夏天采集到长袖行人图像或者冬天采集到短袖行人图像也是非常困难的一件事，因此会造成短期内不同标签数据量悬殊的问题。

2014年Goodfellow Ian提出生成对抗网络Generative Adversarial Nets(GAN)概念后，GAN瞬间风靡了整个学术圈，在这之后的三年，已经有数百篇论文来探讨这一概念。利用GAN可以根据需求自由生成目标图像以起到扩充数据集的作用。

GAN主要包括了两个部分，即生成器generator与判别器discriminator。生成器主要用来学习真实图像分布从而让自身生成的图像更加真实，以骗过判别器。判别器则需要对接收的图片进行真假判别。在整个过程中，生成器努力地让生成的图像更加真实，而判别器则努力地去识别出图像的真假，这个过程相当于一个二人博弈，随着时间的推移，生成器和判别器在不断地进行对抗，最终两个网络达到了一个动态均衡：生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像，对于给定图像的预测为真的概率基本接近0.5。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了一种基于对抗网络的多个年龄段图像生成方法，包括如下步骤：

步骤1：收集各个年龄段的人脸图像，依据年龄信息将训练数据分为4类，分别为：1、少年(18岁及以下)；2、青年(18-30岁)；3、中年(31-59岁)；4、老年(60岁及以上)，并对图像进行尺寸大小归一化预处理；

步骤2：基于对抗网络的多个年龄段图像生成模型由3个模块组成，分别为生成对抗网络(Generative Adversarial Networks)中的生成器G_ij(i,j∈[1,4]且i≠j)、生成对抗网络中的判断器D_i(i∈[1,4])、鉴别器R，其中，生成器G_ij采用全卷积网络结构，输入为一张年龄类别i的人脸图像，输出得到年龄类别j的目标人脸图像；判断器D_j(j∈[1,4])，表示输入真实的年龄类别j的人脸图像和由生成器G_ij生成的年龄类别为j的人脸图像，输出值分别表示判断为真实的年龄类别j的人脸图像的概率；鉴别器R，直接使用预训练好的人脸识别模型，分别将两张人脸图像输入到鉴别器中，提取特征层中特征计算欧式距离；

步骤3：输入一张年龄类别i的人脸图像x_i，通过生成器G_ij生成人脸图像x′_i,将x′_i和年龄类别j的真实人脸图像x_j输入判断器D_j中，采用传统GAN的损失函数L_GAN1；

步骤4：与步骤3相反，输入一张年龄类别j的人脸图像x_j，通过生成器G_ji生成人脸图像x_j′,将x_j′和年龄类别i的真实人脸图像x_i输入判断器D_i中，采用传统GAN的损失函数L_GAN2；

步骤5：将x_i′和x_j′分别输入生成器G_ji和G_ij中，得到图片x″_i和x″_j，计算x_i、x″_i的L₁范数距离和x_j、x″_j的L₁范数距离，相加得到循环损失函数L_cyc；

步骤6：计算x_i、x′_j的L₁范数距离和x_j、x′_i的L₁范数距离，相加得到类内距离损失函数L_intra；

步骤7：将x_i和x′_i输入鉴别器R中，计算个体损失L_id1，再将x_j和x′_j输入鉴别器R中，计算个体损失L_id2，相加得到个体损失函数L_identity；

步骤8：损失函数L＝L_GAN1+L_GAN2+αL_cyc+βL_intra+γL_identity，其中α、β、γ为常数系数。遍历i，j(i,j∈[1,4]且j≠i)，调整G_ij、G_ji的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤9：同步骤2至步骤8，在训练过程中，用两个生成器G_ik、G_kj组合的形式替代G_ij,同理，用G_jk、G_ki替代G_ji。遍历i，k，j(i,k,j∈[1,4]且k≠i,j≠k,i)，调整G_ik、G_kj、G_jk、G_ki的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤10：同步骤2至步骤8，用三个生成器G_ik、G_kl、G_lj组合的形式替代G_ij，同理，用G_jl、G_lk、G_ki替代G_ji。遍历i，k，l，j(i,k,l,j∈[1,4]且k≠i,l≠k,i,j≠l,k,i),调整G_ik、G_kl、G_lj、G_jl、G_lk、G_ki的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤11：保持判断器D_i、D_j不变，反复执行步骤2至步骤10，调整对应生成器网络参数，使得L值逐渐变小直至稳定；

步骤12：保持各生成器不变，反复执行步骤2至步骤10，调整判断器D_i、D_j网络参数，使得L值逐渐变大直至稳定；

步骤13：重复步骤11和步骤12，直至损失函数L收敛。

进一步的，步骤6中的类内距离损失L_intra计算公式为：

L_intra＝argmin_G[||G_ij(x_i)-x_j||₁+||G_ji(x_j)-x_i||₁]。

进一步的，步骤3中传统GAN损失L_GAN1的计算公式为：

其中x′_i的表达式为：

x′_i＝G_ij(x_i)

进一步的，步骤4中传统GAN损失L_GAN2的计算公式为：

其中x′_j的表达式为：

x′_j＝G_ji(x_j)

权利要求1的步骤5中循环损失L_cyc的计算公式为：

其中x″_i、x″_j的表达式为：

x″_i＝G_ji(x′_i),x″_j＝G_ij(x′_j)

权利要求1的步骤7中循环损失L_identity的计算公式为：

L_identity＝L_id1+L_id2

其中，L_id1和L_id2的表达式为：

其中，x_i～p_data(x_i)表示x_i取自类别i的真实图像集；D_i(x_i)表示判断器D_i预测x_i来自真实分布p_data(x_i)的概率；表示x_i通过鉴别器R后特征层的输出值；计算和的欧式距离；

本发明最终的损失函数为：L＝L_GAN+αL_cyc+βL_intra+γL_identity。

附图说明

图1是一种基于对抗网络的多个年龄段图像生成方法结构示意图；

图中G₁₂、G₂₁、G₁₃、G₃₁、G₁₄、G₄₁、G₂₃、G₃₂、G₂₄、G₄₂、G₃₄、G₄₃分别代表12个生成器；D₁、D₂、D₃、D₄代表4个判断器；R代表鉴别器。

具体实施方式

下面结合附图对本发明作进一步说明。

本实施例中，如图1所示，一种基于对抗网络的多个年龄段图像生成方法包括如下步骤：

步骤一：将训练数据依据年龄信息分为少年、青年、中年、老年4类，分别划分训练样本集、测试样本集，并对人脸图像进行图像尺寸大小归一化预处理。把人脸图像尺寸进行归一化能够保证网络对每个人脸进行特征提取时具有相同的输出特征维度。其中，训练判断器D_i时，类别i的图像作为正样本，其余所有类别的图片均作为负样本，所有经过生成器生成的图片也均作为负样本；

步骤二：基于对抗网络的多个年龄段图像生成模型由3个模块组成，分别为生成对抗网络(Generative Adversarial Networks)中的生成器G_ij(i,j∈[1,4]且i≠j)、生成对抗网络中的判断器D_i(i∈[1,4])、鉴别器R，其中，生成器G_ij采用全卷积网络结构，输入为一张年龄类别i的人脸图像，输出得到年龄类别j的目标人脸图像；判断器D_j(j∈[1,4])，表示输入真实的年龄类别j的人脸图像和由生成器G_ij生成的年龄类别为j的人脸图像，输出值分别表示判断为真实的年龄类别j的人脸图像的概率；鉴别器R，直接使用预训练好的人脸识别模型，分别将两张人脸图像输入到鉴别器中，舍弃全连接层，提取特征层中特征计算欧式距离。

步骤三：输入一张年龄类别i的人脸图像x_i，通过生成器G_ij生成人脸图像x_i′,将x_i′和年龄类别j的真实人脸图像x_j输入判断器D_j中，采用传统GAN的损失函数L_GAN1：

步骤四：输入一张年龄类别j的人脸图像x_j，通过生成器G_ji生成人脸图像x_j′,将x_j′和年龄类别i的真实人脸图像x_i输入判断器D_i中，采用传统GAN的损失函数L_GAN2：

步骤五：将x_i′和x_j′分别输入生成器G_ji和G_ij中，得到图片x″_i和x″_j，计算x_i、x″_i的L₁范数距离和x_j、x″_j的L₁范数距离，相加得到循环损失函数L_cyc：

步骤六：计算x_i、x′_j的L₁范数距离和x_j、x′_i的L₁范数距离，相加得到类内距离损失函数L_intra：

L_intra＝argmin_G[||G_ij(x_i)-x_j||₁+||G_ji(x_j)-x_i||₁]；

步骤七：将x_i和x′_i输入鉴别器R中，计算个体损失L_id1，再将x_j和x′_j输入鉴别器R中，计算个体损失L_id2，相加得到个体损失函数L_identity：

步骤八：损失函数L＝L_GAN1+L_GAN2+αL_cyc+βL_intra+γL_identity，其中α、β、γ为常数系数。遍历i，j(i,j∈[1,4]且j≠i)，调整G_ij、G_ji的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤九：同步骤二至步骤八，在训练过程中，用两个生成器G_ik、G_kj组合的形式替代G_ij,同理，用G_jk、G_ki替代G_ji。遍历i，k，j(i,k,j∈[1,4]且k≠i,j≠k,i)，调整G_ik、G_kj、G_jk、G_ki的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤十：同步骤二至步骤八，用三个生成器G_ik、G_kl、G_lj组合的形式替代G_ij，同理，用G_jl、G_lk、G_ki替代G_ji。遍历i，k，l，j(i,k,l,j∈[1,4]且k≠i,l≠k,i,j≠l,k,i),调整G_ik、G_kl、G_lj、G_jl、G_lk、G_ki的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤十一：保持判断器D_i、D_j不变，反复执行步骤二至步骤十，调整对应生成器网络参数，使得L值逐渐变小直至稳定；

步骤十二：保持各生成器不变，反复执行步骤二至步骤十，调整判断器D_i、D_j网络参数，使得L值逐渐变大直至稳定；

步骤十三：重复步骤十一和步骤十二，直至损失函数L收敛。

Claims (3)

1.一种基于对抗网络的多个年龄段图像生成方法，其特征在于包括如下步骤：

步骤1：收集各个年龄段的人脸图像，依据年龄信息将训练数据分为4类，分别为：1、少年(18岁及以下)；2、青年(18-30岁)；3、中年(31-59岁)；4、老年(60岁及以上)，并对图像进行尺寸大小归一化预处理；

步骤2：基于对抗网络的多个年龄段图像生成模型由3个模块组成，分别为生成对抗网络(Generative Adversarial Networks)中的生成器G_ij(i,j∈[1,4]且i≠j)、生成对抗网络中的判断器D_i(i∈[1,4])、鉴别器R，其中，生成器G_ij采用全卷积网络结构，输入为一张年龄类别i的人脸图像，输出得到年龄类别j的目标人脸图像；判断器D_j(j∈[1,4])，表示输入真实的年龄类别j的人脸图像和由生成器G_ij生成的年龄类别为j的人脸图像，输出值表示将输入图像判断为真实的年龄类别j的人脸图像的概率；鉴别器R，直接使用预训练好的人脸识别模型，分别将两张人脸图像输入到鉴别器中，提取特征层中特征计算欧式距离；

步骤3：输入一张年龄类别i的人脸图像x_i，通过生成器G_ij生成人脸图像x′_i,将x′_i和年龄类别j的真实人脸图像x_j输入判断器D_j中，采用传统GAN的损失函数L_GAN1；

步骤4：与步骤3相反，输入一张年龄类别j的人脸图像x_j，通过生成器G_ji生成人脸图像x_j′,将x_j′和年龄类别i的真实人脸图像x_i输入判断器D_i中，采用传统GAN的损失函数L_GAN2；

步骤5：将x_i′和x_j′分别输入生成器G_ji和G_ij中，得到图片x″_i和x″_j，计算x_i、x″_i的L₁范数距离和x_j、x″_j的L₁范数距离，相加得到循环损失函数L_cyc；

步骤6：计算x_i、x′_j的L₁范数距离和x_j、x′_i的L₁范数距离，相加得到类内距离损失函数L_intra；

步骤7：将x_i和x′_i输入鉴别器R中，计算个体损失L_id1，再将x_j和x′_j输入鉴别器R中，计算个体损失L_id2，相加得到个体损失函数L_identity；

步骤8：损失函数L＝L_GAN1+L_GAN2+αL_cyc+βL_intra+γL_identity，其中α、β、γ为常数系数。遍历i，j(i,j∈[1,4]且j≠i)，调整G_ij、G_ji的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤9：同步骤2至步骤8，在训练过程中，用两个生成器G_ik、G_kj组合的形式替代G_ij,同理，用G_jk、G_ki替代G_ji。遍历i，k，j(i,k,j∈[1,4]且k≠i,j≠k,i)，调整G_ik、G_kj、G_jk、G_ki的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤10：同步骤2至步骤8，用三个生成器G_ik、G_kl、G_lj组合的形式替代G_ij，同理，用G_jl、G_lk、G_ki替代G_ji。遍历i，k，l，j(i,k,l,j∈[1,4]且k≠i,l≠k,i,j≠l,k,i),调整G_ik、G_kl、G_lj、G_jl、G_lk、G_ki的参数使得L值最小，调整D_i、D_j的参数使得L值最大；

步骤11：保持判断器D_i、D_j不变，反复执行步骤2至步骤10，调整对应生成器网络参数，使得L值逐渐变小直至稳定；

步骤12：保持各生成器不变，反复执行步骤2至步骤10，调整判断器D_i、D_j网络参数，使得L值逐渐变大直至稳定；

步骤13：重复步骤11和步骤12，直至损失函数L收敛。

2.如权利要求1所述的基于对抗网络的多个年龄段图像生成方法，其特征在于，步骤6中的类内距离损失L_intra计算公式为：

L_intra＝argmin_G[||G_ij(x_i)-x_j||₁+||G_ji(x_j)-x_i||₁]。

3.如权利要求1所述的基于对抗网络的多个年龄段图像生成方法，其特征在于，步骤3中传统GAN损失L_GAN1的计算公式为：

其中x′_i的表达式为：

x′_i＝G_ij(x_i)；

步骤4中传统GAN损失L_GAN2的计算公式为：

其中x′_j的表达式为：

x′_j＝G_ji(x_j)

步骤5中循环损失L_cyc的计算公式为：

其中x″_i、x″_j的表达式为：

x″_i＝G_ji(x′_i),x″_j＝G_ij(x′_j)

步骤7中循环损失L_identity的计算公式为：

L_identity＝L_id1+L_id2

其中，L_id1和L_id2的表达式为：

其中，x_i～p_data(x_i)表示x_i取自类别i的真实图像集；D_i(x_i)表示判断器D_i预测x_i来自真实分布p_data(x_i)的概率；表示x_i通过鉴别器R后特征层的输出值；计算和的欧式距离；

最终的损失函数为：L＝L_GAN+αL_cyc+βL_intra+γL_identity。