CN116402949A - 一种基于mdcm-gan的从素描到人脸重建方法 - Google Patents

Abstract

一种基于MDCM‑GAN的从素描到人脸重建方法属人工智能深度学习技术领域，本发明使用的网络结构包含两个映射网络，网络前设置多尺度空洞卷积模块，损失函数采用AdversarialLoss函数、IdentityConsistencyLoss函数CycleConsistencyLoss函数，本发明使用MDCM‑GAN进行从素描到人脸重建，与真实人脸照片对比相似度极高，面部细节与纹理清晰明了，真实感更高，细节还原更好；MDCM‑GAN不要求数据集成对输入，即使在没有成对样本的情况下也可进行人脸重建，能降低网络对数据库的要求和限制。

Description

一种基于MDCM-GAN的从素描到人脸重建方法

技术领域

本发明属人工智能深度学习领域和图像处理的图像到图像翻译技术领域，具体涉及一种基于生成对抗网络的算法网络结构的从素描人脸画像到人脸照片重建方法。

背景技术

素描图像是一种能简单明了地反映出人的面部结构以及五官特点的异质图像。由于人脸素描图像和真实人脸照片在纹理表达上的有巨大的差异，直接使用传统的面部识别方法很难获得满意的识别效果。因此，通过人脸素描来重建真实的人脸就显得尤其重要。针对这一问题，研究人员已经提出了素描-照片重建方法，目前而言较为成功的人脸素描画像—人脸照片的重建方法有如下几类方法：1、线性子空间法；2、贝叶斯方法；3、稀疏表示方法；4、神经网络和深度学习方法。2014年以后，生成对抗网络(GAN)的兴起同样引起了人们的高度关注。传统GAN网络由于不宜训练导致生成的照片并不清晰；且相对于真实的照片而言，生成的照片更像素描画像。另外，在现实生活中，大量获得成对的素描-照片图像的成本非常高。本发明提出了一种MDCM-GAN的网络结构来进行素描—人脸重建，不仅可以完成人脸素描画像到人脸照片的重建，而且网络不要求数据集是成对输入，这样即使在没有成对的样本的情况下也可以进行重建，降低了网络对数据库的要求和限制。

发明内容

本发明的目的在于提供一种生成清晰真实的人脸照片的基于MDCM-GAN的从素描到人脸的重建方法。其中MDCM-GAN是由两个镜像对称的单向GAN网络组成的循环一致性生成对抗网络，每一个单向GAN网络的生成器使用U-NET网络结构生成“假”照片；判别器使用Patch判别器，将真假照片分成若干个70×70的小块进行判别，损失函数采用了利用Least-squares Loss构建的Adversarial Loss函数，Identity Consistency Loss函数和CycleConsistency Loss函数。

本发明的基于MDCM-GAN的从素描到人脸重建方法，包括下列步骤：

1)获取数据集及预处理，包括下列步骤：

1.1)获取人脸素描和人脸照片数据库：FS2K数据集；

1.2)将人脸素描和人脸照片进行裁剪，使二者人脸的分布比例基本相等，并将人脸素描和人脸照片压缩至256×256大小；

1.3)将所有人脸素描归到一起，并按照数量比例分为训练集和测试集，所有人脸照片亦同样处理；

2)构建MDCM-GAN网络

SFRC-GAN网络的各项参数设置包括下列步骤：

2.1)由数据量和GPU确定epochs＝400，batch_size＝1，sample_interval＝50；输入图像通道设为:3个RGB通道和1个灰度通道；

2.2)使用Adam优化器，初始学习率为0.0002，momentum设为0.5，并在200-400epoch线性衰减至0；2.3)构建生成器：使用U-NET网络，包括：

U-NET网络是端到端的网络，结构完全对称，类似于英文字母“U”；U-NET的网络中含有卷积层、池化层、反卷积层和非线性激励函数，不设置全连接层；“U-NET”网络结构是在“Encoder-decoder”结构之间添加连接层，保持不同分辨率下的像素级细节，有效保持低维特征；U-NET网络不全连接层能大大减少要训练的参数，受益于特殊的对称“U”型结构，可以将所有信息保留在图像中；生成器使用4×4的卷积核，然后使用2×2、步长为2的最大池层；该网络下采样激活函数“relu”和上采样激活函数“tanh”生成与生成器输出相同大小的图像；

2.4)在U-NET网络前加入多尺度空洞卷积模块(Multi-scale dilatedconvolution module)，将源草图域直接输入到生成器将导致输出目标照片域由于提取的特征信息不足而难以保留面部细节。为了适应草图域丰富的线条纹理，应以多尺度的方式提取源草图域中不同尺度的特征信息。因此，在生成器之前添加了构建的多尺度空洞卷积模块，以确保生成的人脸照片作为输入草图人脸图像保留更丰富的语义信息。多尺度空洞卷积模块采用不同的方式和不同大小的卷积和池运算来提取多尺度特征信息；整个模块由两个池分支和六个卷积分支组成；池化分支包括两种方法：平均池化和最大池化；为了获得更大的感受野范围，将扩张率为3,4,5的空洞卷积卷积分支添加到模块中，每个卷积分支的感受野分别为1×1、3×3、5×5、7×7、9×9和11×11，最后再通过1×1的卷积进行特征融合和通道数恢复；

2.5)构建判别器：使用Patch判别器，包括下列步骤：

2.5.1)Patch判别器针对原始判别器，以整张图像为输入的特点进行改善，判别器由5个卷积层组成,将要输入的图像分成N×N大小的图像块，将分好的每个图像块分别输入Patch判别器进行true或者fake判断；

2.5.2)Patch判别器输出的是一个大小为N×N的矩阵D，非原始GAN网络判别器输出的某个标量值；在输出的矩阵D中，某个矩阵元素D_ij对应的就是该Patch的判别结果，最终的输出结果即为将所有图像块判断结果取平均值；于整张待判别的图像而言，使用Patch判别器划过整张图像，可以针对局部图像特征进行较好的表示和提取，使得依靠判别器进行梯度更新的生成器生成细节更加相像的图像；同时，若待判别的整张图像的某个部分与其他Patch的清晰度、细腻度等相差较大时，使用Patch判别器可以很快发现并给出较低的分数，比原始的判别器打分更加准确，降低了误差；由于充分考虑了整体图像和局部Patch块之间的关系，因此有助于生成器生成的图像局部与整体之间相融合；Patch判别器以卷积方式对整个图像进行操作，并对所有响应求平均以提供判别器的最终输出，从而降低输入维度、减少参数数量，因此，可以有效地计算任何大小的图像，从而获得更好的效果高质量的图像和高质量的结果；

3)损失函数：

采用Least-squares Loss构建的Adversarial Loss函数、Identity ConsistencyLoss函数和Cycle Consistency Loss函数；

MDCM-GAN总结构有4个网络，生成器G₁：S→F；生成器G₂：F→S；判别器D_S：判别输入图像是否为S；判别器D_F：判别输入图像是否为F；

对于生成器G₁，生成器G₂以及它们的判别器D_F，判别器D_S，定义Adversarial Loss如下：

对于生成器G₁其判别器D_F，定义

对于生成器G₂其判别器D_S，定义

其中p_data(f)是真实照片分布，p_data(s)是生成的‘假’照片的分布；

为了使生成器的映射关系更准确，在输入图像和生成的图像之间构造身份一致性损失，定义

为了防止对抗性学习的退化，引入循环一致性损失Cycle Consistency Loss；来自S的素描图像通过生成器G₁生成G₁(s)，又通过生成器G₂生成G₂[G₁(s)]；来自F的素描图像通过生成器G₂生成G₂(f)，又通过生成器G₁生成G₁[G₂(f)]；

Cycle Consistency Loss使用L1范数形式：

最终Loss如下：

优化目标：

具体实现时，对于GAN Loss采用Least-squares Loss来替代log形式的Loss，即为：

由此，将最终的损失函数定义为：

本发明采用一种基于MDCM-GAN(Multi-scale Dilated Convolution ModuleGenerative Adversarial Network)的从素描到人脸重建方法。本发明使用的网络结构包含两个映射网络(生成器G₁：S→F，G₂：F→S)以及两个判别器D_S和D_F，S可以通过G₁网络函数来生成F，F可以通过G₂网络函数生成S。判别器D_S的目标是区分来自图像域S的真实图像和转换的图像G₂(f)，同理：D_F的目标是区分来自图像域F的真实图像和转换的图像G₁(s)。生成器选择U-NET网络结构，通过对称的U型结构可以很好地保留生成照片细节。判别器选择了Patch判别器，Patch判别器通过将生成的照片和真实照片映射为N×N的Patch矩阵D，Dij的值代表每个Patch为真样本的概率，将Dij求均值，即为判别器最终输出。损失函数选择采用Adversarial Loss函数和Cycle Consistency Loss函数，保证单个的与期望输出相匹配，既能提高生成照片的速率，又可以很好地保证重建人脸的细节。通过此方法能提高照片的精度和准确度。

本发明使用MDCM-GAN进行从素描到人脸重建，与使用传统算法进行重建相比，真实感更高、细节还原较好，与使用传统GAN网络的算法相比，生成的照片更加清晰真实，而且MDCM-GAN不要求数据集是成对输入，这样即使在没有成对的样本的情况下，也可以进行重建，可降低网络对数据库的要求和限制。本发明对公安部门根据素描画像确定人物身份有很好的启示作用。

附图说明

图1为MDCM-GAN总体网络框架；

图2为多尺度空洞卷积模块

图3为基于U-NET网络生成器结构图；

图4为Patch判别器流程图；

图5为Patch判别器原理图；

图6为迭代400次后素描测试集的重建人脸照片与真实人脸照片比较，其中：单数列为重建人脸，双数列为真实人脸。

以上的附图均出自公开数据集，其中的人脸图像不存在侵犯肖像权的问题。

具体实施方式

1)获取数据集及预处理，包括下列步骤：

1.1)获取人脸素描和人脸照片数据库：FS2K数据集；

1.2)将人脸素描和人脸照片进行裁剪，使二者人脸的分布比例基本相等，并将人脸素描和人脸照片压缩至256×256大小；

1.3)将所有人脸素描归到一起，并按照数量比例分为训练集和测试集，所有人脸照片亦同样处理；

2)构建MDCM-GAN网络

SFRC-GAN网络的各项参数设置包括下列步骤：

2.1)由数据量和GPU确定epochs＝400，batch_size＝1，sample_interval＝50；输入图像通道设为：3个RGB通道和1个灰度通道；

2.2)使用Adam优化器，初始学习率为0.0002，momentum设为0.5，并在200-400epoch线性衰减至0；2.3)构建生成器：使用U-NET网络，包括：

U-NET网络是端到端的网络，结构完全对称，类似于英文字母“U”；U-NET的网络中含有卷积层、池化层、反卷积层和非线性激励函数，不设置全连接层；“U-NET”网络结构是在“Encoder-decoder”结构之间添加连接层，保持不同分辨率下的像素级细节，有效保持低维特征；生成器使用4×4的卷积核，然后使用2×2、步长为2的最大池层；该网络下采样激活函数“relu”和上采样激活函数“tanh”生成与生成器输出相同大小的图像；

2.4)在U-NET网络前加入多尺度空洞卷积模块。多尺度空洞卷积模块采用不同的方式和不同大小的卷积和池运算来提取多尺度特征信息；整个模块由两个池分支和六个卷积分支组成；池化分支包括两种方法：平均池化和最大池化；为了获得更大的感受野范围，将扩张率为3，4，5的空洞卷积卷积分支添加到模块中，每个卷积分支的感受野分别为1×1、3×3、5×5、7×7、9×9和11×11，最后再通过1×1的卷积进行特征融合和通道数恢复；

2.5)构建判别器：使用Patch判别器，包括下列步骤：

2.5.1)Patch判别器针对原始判别器，以整张图像为输入的特点进行改善，判别器由5个卷积层组成，将要输入的图像分成N×N大小的图像块，将分好的每个图像块分别输入Patch判别器进行true或者fake判断；

2.5.2)Patch判别器输出的是一个大小为N×N的矩阵D，非原始GAN网络判别器输出的某个标量值；在输出的矩阵D中，某个矩阵元素D_ij对应的就是该Patch的判别结果，最终的输出结果即为将所有图像块判断结果取平均值；Patch判别器以卷积方式对整个图像进行操作，并对所有响应求平均以提供判别器的最终输出；

3)损失函数：

采用Least-squares Loss构建的Adversarial Loss函数、Identity ConsistencyLoss函数和Cycle Consistency Loss函数；

MDCM-GAN总结构有4个网络，生成器G₁：S→F；生成器G₂：F→S；判别器D_S：判别输入图像是否为S；判别器D_F：判别输入图像是否为F；

对于生成器G₁，生成器G₂以及它们的判别器D_F、判别器D_S，定义Adversarial Loss如下：

对于生成器G₁其判别器D_F，定义

对于生成器G₂其判别器D_S，定义

其中：p_data(f)是真实照片分布，p_data(s)是生成的‘假’照片的分布；

为了使生成器的映射关系更准确，在输入图像和生成的图像之间构造身份一致性损失，定义

为了防止对抗性学习的退化，引入循环一致性损失Cycle Consistency Loss；来自S的素描图像通过生成器G₁生成G₁(s)，又通过生成器G₂生成G₂[G₁(s)]；来自F的素描图像通过生成器G₂生成G₂(f)，又通过生成器G₁生成G₁[G₂(f)]；

Cycle Consistency Loss使用L1范数形式：

最终Loss如下：

优化目标：

具体实现时，对于GAN Loss采用Least-squares Loss来替代log形式的Loss，即为：

由此，将最终的损失函数定义为：

Claims (1)

1.一种基于MDCM-GAN的从素描到人脸重建方法，其特征在于包括下列步骤：

1)获取数据集及预处理，包括下列步骤：

1.1)获取人脸素描和人脸照片数据库：FS2K数据集；

1.2)将人脸素描和人脸照片进行裁剪，使二者人脸的分布比例基本相等，并将人脸素描和人脸照片压缩至256×256大小；

1.3)将所有人脸素描归到一起，并按照数量比例分为训练集和测试集，所有人脸照片亦同样处理；

2)构建MDCM-GAN网络

SFRC-GAN网络的各项参数设置包括下列步骤：

2.1)由数据量和GPU确定epochs＝400，batch_size＝1，sample_interval＝50；输入图像通道设为:3个RGB通道和1个灰度通道；

2.2)使用Adam优化器，初始学习率为0.0002，momentum设为0.5，并在200-400epoch线性衰减至0；2.3)构建生成器：使用U-NET网络，包括：

U-NET网络是端到端的网络，结构完全对称，类似于英文字母“U”；U-NET的网络中含有卷积层、池化层、反卷积层和非线性激励函数，不设置全连接层；“U-NET”网络结构是在“Encoder-decoder”结构之间添加连接层，保持不同分辨率下的像素级细节，有效保持低维特征；生成器使用4×4的卷积核，然后使用2×2、步长为2的最大池层；该网络下采样激活函数“relu”和上采样激活函数“tanh”生成与生成器输出相同大小的图像；

2.4)在U-NET网络前加入多尺度空洞卷积模块：多尺度空洞卷积模块采用不同的方式和不同大小的卷积和池运算来提取多尺度特征信息；整个模块由两个池分支和六个卷积分支组成；池化分支包括两种方法：平均池化和最大池化；为了获得更大的感受野范围，将扩张率为3,4,5的空洞卷积卷积分支添加到模块中，每个卷积分支的感受野分别为1×1、3×3、5×5、7×7、9×9和11×11，最后再通过1×1的卷积进行特征融合和通道数恢复；

2.5)构建判别器：使用Patch判别器，包括下列步骤：

2.5.1)Patch判别器针对原始判别器，以整张图像为输入的特点进行改善，判别器由5个卷积层组成,将要输入的图像分成N×N大小的图像块，将分好的每个图像块分别输入Patch判别器进行true或者fake判断；

2.5.2)Patch判别器输出的是一个大小为N×N的矩阵D，非原始GAN网络判别器输出的某个标量值；在输出的矩阵D中，某个矩阵元素D_ij对应的就是该Patch的判别结果，最终的输出结果即为将所有图像块判断结果取平均值；Patch判别器以卷积方式对整个图像进行操作，并对所有响应求平均以提供判别器的最终输出；

3)损失函数：

采用Least-squaresLoss构建的AdversarialLoss函数、IdentityConsistencyLoss函数和CycleConsistencyLoss函数；

MDCM-GAN总结构有4个网络，生成器G₁:S→F；生成器G₂:F→S；判别器D_S：判别输入图像是否为S；判别器D_F：判别输入图像是否为F；

对于生成器G₁，生成器G₂以及它们的判别器D_F、判别器D_S，定义Adversarial Loss如下：

对于生成器G₁其判别器D_F，定义

对于生成器G₂其判别器D_S，定义

其中：p_data(f)是真实照片分布，p_data(s)是生成的‘假’照片的分布；

为了使生成器的映射关系更准确，在输入图像和生成的图像之间构造身份一致性损失，定义

为了防止对抗性学习的退化，引入循环一致性损失Cycle Consistency Loss；来自S的素描图像通过生成器G₁生成G₁(s),又通过生成器G₂生成G₂[G₁(s)]；来自F的素描图像通过生成器G₂生成G₂(f),又通过生成器G₁生成G₁[G₂(f)]；

Cycle Consistency Loss使用L1范数形式：

最终Loss如下：

优化目标：

具体实现时，对于GAN Loss采用Least-squares Loss来替代log形式的Loss，即为：

由此，将最终的损失函数定义为：

Images