CN109903373A - 一种基于多尺度残差网络的高质量人脸生成方法 - Google Patents

Abstract

本发明公开了一种基于多尺度残差网络的高质量人脸生成方法，过程如下：数据集设计步骤，整合当前主流的人脸数据集，通过软件生成低质量人脸与高质量人脸的数据对；模型设计与训练步骤，对多尺度残差网络的设计以及利用数据对进行模型训练，进而获得网络模型权重；模型预测步骤，针对现实所获取的人脸图像，进行模型处理后，得到预测结果。本发明将深度学习网络技术应用到高质量人脸的生成任务，用来生成具有高分辨、低模糊程度、低噪声的彩色人脸图像；用深度学习网络的方法，能够减少人工绘制的时间与成本，为后续人脸的特征提取与识别打下坚实基础。

Description

一种基于多尺度残差网络的高质量人脸生成方法

技术领域

本发明涉及深度学习应用技术领域，具体涉及一种基于多尺度残差网络的高质量人脸生成方法。

背景技术

近年来视频监控在全国大中城市普及，并已广泛应用于社会治安防控体系建设中，并成为公安机关侦查破案的有力技术手段。特别是在群体事件、重特大案件及两抢案件中，视频监控录像中获取的证据线索对于案件的快速侦破起到关键作用。目前国内公安机关主要运用视频监控录像进行事后犯罪线索及犯罪证据查找，由于拍摄时间、空间以及环境的影响，侦查人员即使顺利获取案发现场附近视频监控录像，所能搜集到的犯罪嫌疑人体貌特征也经常是不清晰，特别是人脸信息特征。事实证明，单靠人力对模糊人脸进行重构与生成，需要极其专业的绘制技术，所需时间成本很高，将延误抓捕犯人的时机。

近年来，人工智能领域已经被提到国家重点建设的范围。这预示着人工智能与相关行业的结合是我国朝着智能化方向发展的必然趋势，对推动行业朝智能化、自动化方面发展具有重要意义。人工智能领域中最主要的是针对不同的行业任务，设计相应的深度学习网络模型。随着计算机运算能力的提高，网络训练的难度大大减低，网络预测精度也在不断提高。深度学习网络的基本特点是模型拟合能力强、信息量大和精度高，能够满足不同行业中不同需求。对于高质量人脸生成问题，所获得图像不仅包含大量的噪声，同时还具有一定程度的模糊，其图像分辨率过低，难以满足后续图像特征提取与识别的需要。目前亟待针对这一问题，设计相应合理的深度学习网络框架，利用高性能的计算机处理能力来生成高质量人脸图像，大大缩短人脸绘制时间，提高效率。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于多尺度残差网络的高质量人脸生成方法，用深度学习网络框架提高所获得的人脸图像质量，减少人工绘制的时间与成本，为后续人脸的特征提取与识别打下坚实基础。

本发明的目的可以通过采取如下技术方案达到：

一种基于多尺度残差网络的高质量人脸生成方法，该生成方法包括：数据集设计步骤、模型设计与训练步骤以及模型预测步骤；数据集设计步骤主要是整合当前主流的人脸数据集，通过软件生成低质量人脸与高质量人脸的数据对；模型设计与训练步骤主要是对多尺度残差网络的设计以及利用数据对进行模型训练，进而获得网络模型权重；模型预测步骤主要是针对现实所获取的人脸图像，进行模型处理后，得到预测结果。

该生成方法的操作步骤如下：

S1、整合当前主要的人脸数据集，得到人脸数据，其中，人脸数据集包括但不限于FERET、CASIA-FaceV5和CelebA等数据库；

S2、利用以下的图像退化模拟算法，取出至少10000张的人脸数据分别进行随机退化，获得低质量的人脸数据图像，图像退化模拟算法的计算公式如下：

其中，I_low是所获得的低质量图像，I_q为原数据库高质量图像，K和N分辨表示随机模糊核和随机噪声，表示卷积操作，而D_own↓表示4倍率的下采样操作；

S3、模型设计步骤，设计一种多尺度残差网络模型，在不同尺度的子网络中嵌入多个残差网络模块，增加网络深度，进而增强网络对图像的信息的拟合能力；同时将不同子网络间的长期记忆模块(LSTM)实现参数权重共享，减少网络训练的参数；

S4、多尺度残差网络模型训练步骤，利用步骤S2中所生成的图像对，以低质量的人脸数据图像作为模型输入，优化模型输出与标签图像的相似度，实现模型的收敛；

S5、模型预测步骤，提取实际图像中的人脸，作为模型的输入，最后获得高质量的图像输出。

进一步地，步骤S1中具体为：选用了不同人种的人脸数据库，使得数据的分布较为平均；并且数据的挑选以高分辨率的人脸图像为主，方便后续图像的进一步处理。

进一步地，步骤S2处理步骤具体为：首先，针对图像模糊的原理，通过设计了不同尺寸大小的卷积核，通过将卷积核与清晰图像做卷积运算，模拟图像模糊的效果；接着，对模糊化的图像添加不同程度的随机噪声，模拟图像生成时所受到的传感器噪声；最后，将生成的退化图像做倍率为4的下采样操作，即图像的长度与宽度变为原来的四分之一。将最后生成的低分辨低质量的图像与原图作为数据库的图像对，用于多尺度残差网络模型训练。

进一步地，所述的多尺度残差网络模型包括从小尺寸到大尺寸三个级别的第一级子网络、第二级子网络、第三级子网络，分别对应生成小尺寸高质量人脸图像、中尺寸高质量人脸图像和大尺寸高质量人脸图像，其中，第二级子网络和第三极子网络的输入同时包含上一级子网络输入图像的双线性插值放大结果和上一级子网络输出的人脸图像的上采样插值结果，大尺寸高质量人脸图像作为多尺度残差网络模型的最终输出。

进一步地，步骤S3中多尺度残差网络模型的结构设计包含以下几部分：

1)每一级子网络都包含一个编码器网络，一个长期记忆模块以及一个解码器网络；其中编码器网络主要包含有9个残差模块和3个卷积层，将输入的图像转化为特征图，去除图像中的噪声；对应的解码器网络主要包含有9个残差模块和3个反卷积层，将特征图转化为特定数据，增强图像的边缘信息；

2)每一级子网络的输出结果，以上采样插值的形式生成下一级尺寸的人脸图像，并作为下一级子网络输出的一部分；

3)每一级子网络之间的长期记忆模块进行参数共享。

进一步地，假设多尺度残差网络模型中第i个子网络的输入图像为Bⁱ，Bⁱ＝up↑ⁱ(I_low)，其中，up↑ⁱ(·)表示用双线性插值算法对图像放大2ⁱ倍数，所对应的子网络的估计结果为Fⁱ，其中，F^-1为空，则其计算关系式如下所示：

Fⁱ,hi＝MNetⁱ(Bⁱ,F^i-1↑,h^i-1；θ)

其中i表示当前的尺度，i＝1、2、3分别表示第一级、第二级和第三级子网络，↑表示上采样插值运算，MNetⁱ代表所设计的第i级图像生成子网络，h_i为第i级子网络中间隐藏层的输出结果，θ为所需要训练得到的参数。

进一步地，所述的步骤S4中，对每个用于训练的数据对，先扩充为{Bⁱ,F_* ⁱ}，其中i表示当前的尺度，i＝1、2、3分别表示第一级、第二级和第三级子网络，Bⁱ是通过对低质量人脸图像I_low进行双线性插值放大的结果，F_* ⁱ是通过对高质量原图I_q进行下采样缩小的结果，通过优化模型的子网络输出Fⁱ与标签图像F_* ⁱ的相似度，即优化多尺度残差网络模型的损失函数，实现模型的收敛。

进一步地，所述的多尺度残差网络模型的损失函数用L1范数进行约束，通过不断优化下列的损失函数，获得最后满足要求的人脸图像：

其中Fⁱ为第i级子网络的输出结果，F_* ⁱ为第i层真实图像，c_i为第i级子网络权重系数。

本发明相对于现有技术具有如下的优点及效果：

本发明将深度学习网络技术应用到高质量人脸的生成任务，用来生成具有高分辨、低模糊程度、低噪声的彩色人脸图像；用深度学习网络的方法，能够减少人工绘制的时间与成本，为后续人脸的特征提取与识别打下坚实基础。

附图说明

图1是本发明中基本于多尺度残差网络的高质量人脸生成方法的流程图；

图2是本发明实施例中训练数据生成的流程图；

图3是本发明实施例中训练数据库中部分数据示例示意图；

图4是本发明实施例中网络设计的整体框架示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于多尺度残差网络的高质量人脸生成方法，该生成方法包括步骤：数据集设计步骤、模型设计与训练步骤以及模型预测步骤。

其中，在网络模型设计的技术主要涉及如下几类技术：1)网络深度的增加：利用改进的残差网络，增加网络的深度，提高网络的拟合能力；2)多尺度网络框架：设计三个层次的子网络，使到图像从低分辨率到高分辨率，从粗糙到精细地生成；3)网络参数共享：对子网络之间的长期记忆模块的参数进行共享，使到网络的参数大大减低。

TensorFlow框架和Pycharm开发环境：TensorFlow框架是基于python语言的开发架构，能够方便快捷地搭建合理的深度学习网络，同时具有很好的跨平台交互能力。TensorFlow提供了深度学习架构中的众多封装函数和各类图像处理函数的接口，包括了OpenCV相关的图像处理函数。TensorFlow框架同时能够使用GPU对模型进行训练和验证，提高了计算的效率。

在Windows平台或者Linux平台下的Pycharm开发环境成开发环境(IDE)，是目前深度学习网路设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具，同时能够为客户提供直接调用远程服务器的接口。

本实施例中公开的基于多尺度残差网络的高质量人脸生成方法，首先，对现有人脸数据集进行处理，生成符合模型训练的数据集；然后，利用具有高算力的云端服务器对模型进行训练，并调参，直至模型收敛；接着，通过对监控画面进行提取获得低质量的人脸图像；最后调用训练好网络模型，以低质量人脸图像作为输入，进行高质量人脸生成；最终获得高分辨率、低噪声的人脸图像；如图1中所示的高质量人脸生成方法的流程图。

具体步骤如下：

步骤一、由于目前的人脸数据库主要以识别任务为主，没有满足本发明所需的低-高质量的人脸图像数据库，因此需要对现有的数据库进行整合，构建合适的数据库。其中，图2为数据库构建的流程，图3为数据库中相关的数据图像对示例。

步骤二、生成低质量人脸与高质量人脸的数据对

首先对于输入的高清图像，随机选取模糊核对图像进行模糊，模糊核的大小为11*11到39*39；然后在模糊图像的基础上，添加随机高斯噪声，噪声的比例在0.1％到5％之间；最后对图像进行4倍率的下采样操作，大小缩小为原来的四分之一。如图3所示，为数据库中的部分示例，每张子图的右上角为子图对应的下采样退化图像。

步骤三、多尺度残差网络模型设计

附图4为多尺度残差网络模型的整体架构。整个模型框架按照从粗糙到细致，从小尺寸到大尺寸进行设计的，总共有3个子网络。每一个子网络的层数相同，结构相似。对于每一层子网络，主要一个编码器模块，一个长期记忆模块以及一个解码器模块。主要的参数如下：

1)编码器模块中包含有9个残差模块和3个卷积层；每个残差网络包含两个卷积层和一个整流线性单元；所有的卷积层的卷积核大小为5，步长为2，最后产生128通道的特征图；

2)解码器模块包含有9个残差模块和3个反卷积层；每个残差网络包含两个卷积层和一个整流线性单元；所有的卷积层的卷积核大小为5，步长为1，最后产生3通道的输出图像；

3)长期记忆模块是调用TensorFlow架构中的模块。

对于第一个子网络，假设输入图像大小为(3，m，n)，那么输出图像大小也为(3，m，n)；第二个子网络，其输入图像大小为(3，2*m，2*n)，输出图像大小也为(3，2*m，2*n)；第三个子网络，其输入图像大小为(3，4*m，4*n)，输出图像大小也为(3，4*m，4*n)；最终实现高分辨率、高精细度的图像生成。

步骤四、多尺度残差网络模型训练

将低分辨低质量的人脸数据图像与原图组成的图像对作为多尺度残差网络模型的训练输入，优化多尺度残差网络模型输出与标签图像的相似度，实现模型的收敛；

本实施例中，多尺度残差网络模型的训练是在高性能的GPU上进行的，具体的训练参数设计如下：可以使用Adam优化器，其参数设置为0.9/0.999以及10-8；学习率的设置为0.0001；训练的epoch设置为2000；训练的batch设置依据数据的训练样本而定。

步骤五、提取实际图像中的人脸，作为多尺度残差网络模型的输入，最后获得高质量的图像输出。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的人脸生成方法包括以下步骤：

S1、整合人脸数据集，得到人脸数据；

S2、利用图像退化模拟算法，取出至少10000张的人脸数据分别进行随机退化，获得低分辨低质量的人脸数据图像，并将低分辨低质量的人脸数据图像与原图作为数据库的图像对，用于多尺度残差网络模型训练；

S3、建立多尺度残差网络模型，在不同尺度的子网络中嵌入多个残差网络模块，同时通过不同子网络间的长期记忆模块实现参数权重共享；

S4、将低分辨低质量的人脸数据图像与原图组成的图像对作为多尺度残差网络模型的训练输入，优化多尺度残差网络模型输出与标签图像的相似度，实现模型的收敛；

S5、提取实际图像中的人脸，作为多尺度残差网络模型的输入，最后获得高质量的图像输出。

2.根据权利要求1所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的步骤S2过程如下：

首先，根据图像模糊的原理，设计不同尺寸大小的卷积核，通过将卷积核与清晰图像做卷积运算实现模糊模拟图像的效果；

接着，对模糊化的图像添加不同程度的随机噪声，模拟图像生成时所受到的传感器噪声；

最后，将生成的退化图像做倍率为4的下采样操作，再将下采样操作生成的低分辨低质量的图像与原图作为数据库的图像对，用于多尺度残差网络模型训练。

3.根据权利要求1所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的图像退化模拟算法的计算公式如下：

其中，I_low是所获得的低质量图像，I_q为原数据库高质量图像，K和N分辨表示随机模糊核和随机噪声，表示卷积操作，而D_own↓表示4倍率的下采样操作。

4.根据权利要求1所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的多尺度残差网络模型包括从小尺寸到大尺寸三个级别的第一级子网络、第二级子网络、第三级子网络，分别对应生成小尺寸高质量人脸图像、中尺寸高质量人脸图像和大尺寸高质量人脸图像，其中，第二级子网络和第三极子网络的输入同时包含上一级子网络输入图像的双线性插值放大结果和上一级子网络输出的人脸图像的上采样插值结果，大尺寸高质量人脸图像作为多尺度残差网络模型的最终输出。

5.根据权利要求4所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的多尺度残差网络模型中每一级子网络都包含一个编码器网络、一个长期记忆模块以及一个解码器网络，其中，所述的编码器网络包括9个残差模块和3个卷积层，将输入的图像转化为特征图，去除图像中的噪声；所述的解码器网络包括9个残差模块和3个反卷积层，将特征图转化为特定数据，增强图像的边缘信息。

6.根据权利要求4所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的多尺度残差网络模型中每一级子网络的输出结果，以上采样插值的形式生成高一级尺寸的人脸图像，并作为下一级子网络输出的一部分。

7.根据权利要求4所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，假设多尺度残差网络模型中第i个子网络的输入图像为Bⁱ，Bⁱ＝up↑ⁱ(I_low)，其中，up↑ⁱ(·)表示用双线性插值算法对图像放大2ⁱ倍数，所对应的子网络的估计结果为Fⁱ，其中，F^-1为空，则其计算关系式如下所示：

Fⁱ,hⁱ＝MNetⁱ(Bⁱ,F^i-1↑,h^i-1；θ)

其中i表示当前的尺度，i＝1、2、3分别表示第一级、第二级和第三级子网络，↑表示上采样插值运算，MNetⁱ代表所设计的第i级图像生成子网络，h_i为第i级子网络中间隐藏层的输出结果，θ为所需要训练得到的参数。

8.根据权利要求1所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的步骤S4中，对每个用于训练的数据对，先扩充为{Bⁱ,F_* ⁱ}，其中i表示当前的尺度，i＝1、2、3分别表示第一级、第二级和第三级子网络，Bⁱ是通过对低质量人脸图像I_low进行双线性插值放大的结果，F_* ⁱ是通过对高质量原图I_q进行下采样缩小的结果，通过优化模型的子网络输出Fⁱ与标签图像F_* ⁱ的相似度，即优化多尺度残差网络模型的损失函数，实现模型的收敛。

9.根据权利要求8所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的多尺度残差网络模型的损失函数用L1范数进行约束，通过不断优化下列的损失函数，获得最后满足要求的人脸图像：

其中Fⁱ为第i级子网络的输出结果，F_* ⁱ为第i层真实图像，c_i为第i级子网络权重系数。

10.根据权利要求1所述的一种基于多尺度残差网络的高质量人脸生成方法，其特征在于，所述的人脸数据集包括FERET、CASIA-FaceV5和CelebA数据库中的一种或多种。