CN113033595A - 基于生成对抗网络的多标签汽车造型生成方法 - Google Patents

Abstract

本发明提供了一种基于生成对抗技术来根据指定标签生成汽车图片的方法，步骤为：1)获取真实汽车图片，并打上标签Fi；2)建立汽车图片对抗生成网络。3)得到汽车生成图片。4)计算汽车生成图片和真实图片中Fi标签数据组合损失；5)更新汽车图片判别器Di权重；6)更新汽车图片生成器G的权重；7)完成汽车图片对抗生成网络的训练；8)在汽车图片对抗生成网络中输入指定的h种标签，输出对应的汽车生成图片。本发明能够根据指定的条件标签，生成对应的汽车图片，丰富了生成图片的多方约束，使得结果更加精准、满足用户需求。

Description

基于生成对抗网络的多标签汽车造型生成方法

技术领域

本发明属于生成模型以及汽车图片领域，具体是涉及一种基于生成对抗网络的多标签汽车造型生成方法。

背景技术

汽车已经是当代人群不可或缺的生活用品，汽车行业在汽车造型的设计中，由于设计师短期内能够设计的汽车造型有限，且从设计草图到比较完善的效果展示图需要较长的设计周期，同时设计期间会有各种不同需求从而产生不同修改，这都使得汽车的设计过程繁琐冗长。

除此之外，购车用户面对众多琳琅满目的汽车商品，也难以快速描述出自己想要的汽车样品。用户的目标车辆样式无法得到直观表达，经销商也因此不能明确用户需求，这都使得用户购车过程增加了复杂度。

而现有的汽车图片以及对应的标签数据，已经大量地散布在网络上，通过人工智能技术，利用其对大规模数据的处理、训练、记忆能力，可以使模型在多种内容范围内快速生成出大量的目标数据，这恰恰满足了汽车设计师以及购车用户对迅速得到目标车辆样式图片这一要求。GAN(Generative Adversarial Networks，生成对抗网络)是2014年提出的新兴概念，本身只是一个框架，可以灵活搭配各种损失函数以及生成器判别器进行设计。作为一个生成模型，可以用于对真实数据分布的建模和生成，最典型的就是图像领域。由于其内部训练对抗的机制，可以解决一些传统的机器学习中面临的数据不足的问题，也可以拓展在半监督学习、无监督学习、多任务学习等等领域中。

目前常用的条件对抗生成网络及其相关变种往往只能针对于某一维度上的条件，限定某一特征来生成对应图像，在汽车生成方面表现出来的结果，体现在生成出的图像内容单一，且约束针对性不足，不能满足人们在对多维度共同限定条件下得到目标汽车图像的要求。

发明内容

本发明的目的是解决现有技术中存在的问题。

本发明提出基于生成对抗网络的多标签汽车造型生成方法，主要包括以下步骤：

1)获取真实汽车图片，并打上标签Fi。i＝1，2，…，n。n为标签类别总数。

所述标签类别包括汽车颜色F1、汽车车头方向F2、汽车品牌F3、汽车车型F4、汽车型号F5、汽车占真实汽车图片的比例F6、车身材质F7。

2)建立汽车图片对抗生成网络，包括汽车图片生成器G和汽车图片判别器D＝[D1,D2,…，Dn]。

所述汽车图片生成器G包括噪声条件合成模块和生成模块。生成模块包括一个批标准化层、若干上采样块和一个输出块。每个上采样块包括上采样层、3*3卷积层、批标准化层、ReLU激活函数层。输出块包括卷积层和Tanh激活函数层。所述生成模块输出汽车生成图片。

所述噪声条件合成模块将高斯噪声与指定的所有i种标签数据进行点乘，从而得到融合条件信息的点乘结果。所述噪声条件合成模块将点乘结果输入至生成模块。

汽车图片判别器D包括卷积层、LeakyReLU激活函数层、判别块。所述判别块包括卷积层、批标准化层，LeakyReLU激活函数层、输出块。所述输出块包括卷积层、ReLU激活函数层、全连接层、输出层。其中，ReLU激活函数层的输出传输至全连接层，得到输出值r1。ReLU激活函数层的输出与Fi标签的one-hot编码进行点乘，，得到点乘结果r2。输出层输出结果R＝r2+r1。

汽车图片判别器Di的Fi标签组合损失Li如下所示：

式中，R_i是汽车图片判别器Di中输出块全连接层输出结果。c为Fi的种类数目。y_j为Fi标签的one-hot编码形式。p_j为上一层网络的输出概率分布。

汽车图片判别器D的总损失函数L_D如下所示：

L_D＝λ₁L₁+λ₂L₂+...+λ_iL_i。 (2)

式中，λ₁、λ₂、...、λ_i为用于平衡Fi标签组合损失的超参数。

3)将高斯噪声和所有i种标签数据输入到汽车图片生成器G中，得到汽车生成图片。

4)分别利用汽车图片判别器Di和Fi标签，计算汽车生成图片和真实图片中Fi标签数据组合损失。i初始值为1。

5)将汽车生成图片和真实图片中Fi标签数据组合损失反馈给汽车图片判别器Di，更新汽车图片判别器Di权重。

6)判断i≤n是否成立，若是，则进入步骤6)，否则，令i＝i+1，并返回步骤4)，

7)将汽车生成图片所有标签数据组合损失反馈给汽车图片生成器G，更新汽车图片生成器G的权重。

8)重复步骤3)至步骤7)，直至汽车图片判别器D的总损失函数L_D低于设定值。

9)在汽车图片对抗生成网络中输入指定的h种标签，输出对应的汽车生成图片。h≤n。

本发明的有益成果是：通过提出一种汽车图片生成对抗网络，能够根据指定的多个维度的条件标签，生成对应的汽车图片，丰富了生成图片的多方约束，使得结果更加精准、满足用户需求。具体来说，设计了多个判别器+单个生成器的网络结构，生成器根据给定的标签条件和噪声，生成指定图片，两个判别器分别在不同标签的角度判定当前图片的组合损失。这样一来，训练的最终结果，判别器将不仅能判断生成图片的真假，还能在多个条件标签维度对其进行判断，这使得生成器能够得到更多的约束条件，生成的条件更加细化具体，在汽车设计以及汽车描述筛选方面具有巨大的潜力。本发明提供的用于产生汽车图片的生成对抗网络，可以为汽车设计师，汽车购买人员快速生成符合指定多种标签的汽车图片，为下一步行动提供参考依据，在汽车设计，汽车购买领域有着巨大的应用空间。

附图说明

图1是本发明的生成对抗网络模型框架图；

具体实施方式

下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

实施例1：

参见图1，基于生成对抗网络的多标签汽车造型生成方法，主要包括以下步骤：

1)获取真实汽车图片，并打上标签Fi。i＝1，2，…，n。n为标签类别总数。

所述标签类别包括汽车颜色F1、汽车车头方向F2、汽车品牌F3、汽车车型F4、汽车型号F5、汽车占真实汽车图片的比例F6、车身材质F7、风格F8。车身材质F7根据汽车品牌F3、汽车车型F4、汽车型号F5确定，包括钢铁、铝镁合金、纤维增强陶瓷等。风格F8为设计美学风格，如极简主义风格、仿生风格、雕刻风格、高科技风格。

2)建立汽车图片对抗生成网络，包括汽车图片生成器G和汽车图片判别器D＝[D1,D2,…，Dn]。

所述汽车图片生成器G包括噪声条件合成模块和生成模块。生成模块包括一个批标准化层、若干上采样块和一个输出块。每个上采样块包括上采样层、3*3卷积层、批标准化层、ReLU激活函数层。输出块包括卷积层和Tanh激活函数层。所述生成模块输出汽车生成图片。

所述噪声条件合成模块将高斯噪声与指定的所有i种标签数据进行点乘，从而得到融合条件信息的点乘结果。所述噪声条件合成模块将点乘结果输入至生成模块。

汽车图片判别器D包括卷积层、LeakyReLU激活函数层、判别块。所述判别块包括卷积层、批标准化层，LeakyReLU激活函数层、输出块。所述输出块包括卷积层、ReLU激活函数层、全连接层、输出层。其中，ReLU激活函数层的输出传输至全连接层，得到输出值r1。ReLU激活函数层的输出与Fi标签的one-hot编码进行点乘，，得到点乘结果r2。输出层输出结果R＝r2+r1。

汽车图片判别器Di的Fi标签组合损失Li如下所示：

式中，R_i是汽车图片判别器Di中输出块全连接层输出结果。c为Fi的种类数目。y_j为Fi标签的one-hot编码形式。p_j为上一层网络的输出概率分布。

汽车图片判别器D的总损失函数L_D如下所示：

L_D＝λ₁L₁+λ₂L₂+...+λ_iL_i。 (2)

式中，λ₁、λ₂、...、λ_i为用于平衡Fi标签组合损失的超参数。

3)将高斯噪声和所有i种标签数据输入到汽车图片生成器G中，得到汽车生成图片。

4)分别利用汽车图片判别器Di和Fi标签，计算汽车生成图片和真实图片中Fi标签数据组合损失。i初始值为1。

5)将汽车生成图片和真实图片中Fi标签数据组合损失反馈给汽车图片判别器Di，更新汽车图片判别器Di权重。

6)判断i≤n是否成立，若是，则进入步骤6)，否则，令i＝i+1，并返回步骤4)，

7)将汽车生成图片所有标签数据组合损失反馈给汽车图片生成器G，更新汽车图片生成器G的权重。

8)重复步骤3)-7)，直至汽车图片判别器D的总损失函数L_D低于设定阈值。

9)在汽车图片对抗生成网络中输入指定的h种标签，输出对应的汽车生成图片。h≤n。

实施例2：

一种基于生成对抗网络的多标签汽车造型生成方法，具体包括以下步骤：

1)构建真实汽车图片与其对应颜色、方向、品牌、车型、型号、材质、比例、风格在内的8个维度的标签组成的数据对，下文中这8种特征分别以Fi表示，i∈[1,8]，i∈N。本发明中汽车图片使用爬虫从网络爬取，通过人工与分类模型配合，为其加上i种标签。其中，风格表示

2)利用生成器模型，根据指定的任意所有i种标签，生成图片。

所述生成器模型分为噪声条件合成部分和生成部分。噪声条件合成部分，会将高斯噪声与指定的所有i种标签进行点乘，从而融合条件信息。再将点乘结果输入到生成部分进行图片的生成。

生成部分包括一个批标准化层，三个上采样块，一个输出块。每个上采样块结构按顺序为2倍上采样层、3*3卷积层、批标准化层、ReLU激活函数层。输出块结构按顺序为一个3*3卷积层、一个Tanh激活函数层。

其中批标准化层批标准化每批次的输入数据使其服从均值为0,、方差为1的正态分布。

3)利用判别器模型Di，分别对生成图片、标签数据对，和真实图片、标签数据对针对i个维度，进行迭代训练，

所述判别器模型Di用于计算Fi组合损失。

判别器模型结构由神经网络组成，对于接收的三通道64*64大小图片，先通过4*4卷积层，再接LeakyReLU激活函数层，随后通过两个判别块，判别块结构按顺序为：4*4卷积层，批标准化层，LeakyReLU激活函数层。再通过输出块，输出块结构按顺序为：4*4卷积层，ReLU激活函数层，对该激活函数层的结果，有两个分支，一个分支通过全连接层(线性回归层)，输出一个值r1；一个分支将该结果与条件(颜色或方向)标签的one-hot编码形式进行点乘，将点乘结果r2与r1相加，作为判别器最终的输出结果R。

其中LeakyRELU的Negative_slope设置为0.2。

判别器模型的组合损失为输出结果R与条件标签的CrossEntropy函数损失之和。

判别器模型Di的Fi组合损失Li为：

其中,R_i是判别器模型Di中输出块全连接层输出结果，c为Fi的种类数目，y为Fi标签的one-hot编码形式，p为上一层网络的输出概率分布。

判别器的总损失函数由各Fi组合损失加权所得，表达式为：

L_D＝λ₁L₁+λ₂L₂+...+λ_iL_i； (2)

其中λ₁λ₂...λ_i，为平衡各Fi组合损失的超参数，这里各取0.125。

4)通过损失数值与迭代训练不断通过梯度回馈来更新判别器模型和生成器模型的数值。

5)对于训练好的生成器模型，指定颜色、方向标签，即可根据噪声产生对应标签的汽车图片。

Claims (7)

1.基于生成对抗网络的多标签汽车造型生成方法，其特征在于，主要包括以下步骤：

1)获取所述真实汽车图片，并打上标签Fi；i＝1，2，…，n；n为标签类别总数。

2)建立汽车图片对抗生成网络，包括汽车图片生成器G和汽车图片判别器D＝[D1,D2,…，Dn]；

3)将高斯噪声和所有i种标签数据输入到汽车图片生成器G中，得到汽车生成图片。

4)分别利用汽车图片判别器Di和Fi标签，计算汽车生成图片和真实图片中Fi标签数据组合损失；i初始值为1；

5)将汽车生成图片和真实图片中Fi标签数据组合损失反馈给汽车图片判别器Di，更新汽车图片判别器Di权重；

6)判断i≤n是否成立，若是，则进入步骤6)，否则，令i＝i+1，并返回步骤4)，

7)将汽车生成图片所有标签数据组合损失反馈给汽车图片生成器G，更新汽车图片生成器G的权重；

8)重复步骤3)至步骤7)，直至汽车图片判别器D的总损失函数L_D低于设定值；

9)在汽车图片对抗生成网络中输入指定的h种标签，输出对应的汽车生成图片；h≤n。

2.根据权利要求1所述的基于生成对抗网络的多标签汽车造型生成方法，其特征在于：所述标签类别包括汽车颜色F1、汽车车头方向F2、汽车品牌F3、汽车车型F4、汽车型号F5、汽车占真实汽车图片的比例F6、车身材质F7。

3.根据权利要求1所述的基于生成对抗网络的多标签汽车造型生成方法，其特征在于：所述汽车图片生成器G包括噪声条件合成模块和生成模块；生成模块包括一个批标准化层、若干上采样块和一个输出块；每个上采样块包括上采样层、3*3卷积层、批标准化层、ReLU激活函数层；输出块包括卷积层和Tanh激活函数层；所述生成模块输出汽车生成图片。

4.根据权利要求1所述的基于生成对抗网络的多标签汽车造型生成方法，其特征在于：所述噪声条件合成模块将高斯噪声与指定的所有i种标签数据进行点乘，从而得到融合条件信息的点乘结果；所述噪声条件合成模块将点乘结果输入至生成模块。

5.根据权利要求1所述的基于生成对抗网络的多标签汽车造型生成方法，其特征在于，汽车图片判别器D包括卷积层、LeakyReLU激活函数层、判别块；所述判别块包括卷积层、批标准化层，LeakyReLU激活函数层、输出块；所述输出块包括卷积层、ReLU激活函数层、全连接层、输出层；其中，ReLU激活函数层的输出传输至全连接层，得到输出值r1；ReLU激活函数层的输出与Fi标签的one-hot编码进行点乘，，得到点乘结果r2；输出层输出结果R＝r2+r1。

6.根据权利要求1所述的基于生成对抗网络的多标签汽车造型生成方法，其特征在于：汽车图片判别器Di的Fi标签组合损失Li如下所示：

式中，R_i是汽车图片判别器Di中输出块全连接层输出结果；c为Fi的种类数目；y_j为Fi标签的one-hot编码形式；p_j为上一层网络的输出概率分布。

7.根据权利要求1所述的基于生成对抗网络的多标签汽车造型生成方法，其特征在于：汽车图片判别器D的总损失函数L_D如下所示：

L_D＝λ₁L₁+λ₂L₂+...+λ_iL_i； (2)

式中，λ₁、λ₂、...、λ_i为用于平衡Fi标签组合损失的超参数。

Images