CN109584162A - 一种基于生成网络的图像超分辨率重构的方法 - Google Patents

Abstract

本发明涉及一种基于生成网络的图像超分辨率重构的方法，其特征在于，包括收集真实图像的数据集进行扩充获得若干图像数据集，构建GAN生成式网络，构建判别式网络，确认GAN生成式网络与判别式网络之间的对抗误差，通过反向传播算法训练GAN生成式网络与判别式网络，当GAN生成式网络对抗误差达到最小，输出生成图像。提供高质量的图像，将模糊的人脸图像转为了清晰的图像，加快工作效率。

Description

一种基于生成网络的图像超分辨率重构的方法

技术领域

本发明涉及GAN网络和图像处理技术领域，尤其涉及一种基于生成网络的图像超分辨率重构的方法。

背景技术

由于在现代社会中犯罪分子的违法行为越来越专业化、流窜化和动态化，通过视频监控在公安侦查中的发展应用和不断提高，公安机关民警就能通过视频监控所获取的大量信息进行分析研判。通过对案发现场摄像头所拍摄到的信息进行分析处理，迅速确定犯罪体貌特征和实施犯罪的整个作案过程，能直接锁定犯罪嫌疑人，有利于加快破案速度，大大减少破案成本。在发现可疑人员，通过摄像头的拉近，对可疑人员的体貌特征进行特写，但是由于视频监控设备的本身进度不够和监控摄像头距离目标比较远，导致我们获取得视频图像是低分辨率的。低分辨率图像是无法提供具体的细节信息。每当有情况发生时，可以采用超分辨率重建技术对监控图像进行放大处理，更加清楚的展现犯罪嫌疑人脸部的细节信息。提高了公安民警直接发现抓捕犯罪嫌疑人的能力，为城市安防提供了有利保障。

提高图像的分辨率主要分为两个方面。首先是采用高精度的硬件设备比如高质量的图像传感器和光学仪器。通过改进传感器或光学设备来减小成像的单元尺寸以增加图像的像素数。一定程度上缓解了人们对高分辨率的图像的需求。然而这种方法存在很多局限性，一方面随着传感器技术不断改进，感光单元的尺寸越来越小，而随着感光单元的逐渐变小，获取图像像素受散粒噪声的影响越来越大。另一方面，高精度的设备成本高，传感器设计的尖端技术往往掌握在少数几个发达国家。通过硬件提高图像的分辨率存在诸多限制，已经无法满足人们对图像的画质需求。其次从软件角度出发，通过一些算法对低分辨率图像进行重构得到高分辨率图像。此方法称为超分辨率图像重构。该方法只需要在现有低分辨率图像设备的基础上，运用相关图像处理原理和机器学习算法，通过重构一幅或者多幅低分辨率图像，获得一幅高分辨率图像。

生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的深度学习框架，它基于“博奕论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。

传统图像超分辨率重构算法主要分为三类：基于插值、基于多帧重构和基于学习的方法。近年来，随着深度学习兴起，越来越多的视觉领域都尝试运用深度学习算法。通过利用深度学习得到高低分辨率图像块之间的相似度，从而对于待处理的低分辨率图像块可以更为精确的生成与其对应的高分辨率图像块。克服了传统基于样本超分辨率算法中利用手工设计的特征难以学习到准确的高低分辨率图像块空间映射关系的问题。但的图像超分辨率重构未达到更优质的质量。

于2017.10.20公开的中国专利公开号第CN107273936号揭露了一种GAN图像处理方法和系统，包括：接收随机噪声，利用基于改进的LSGAN的生成式网络，生成生成图像；接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，得到变换图像集；将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果。本申请通过将随机噪声输入到生成式网络，得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道，进行特征的提取和融合，得到输出结果，使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图像。但其图像真实性未能达到更佳状况。

发明内容

针对现有技术中的缺陷，本发明涉及一种基于生成网络的图像超分辨率重构的方法及其系统，以获取更高质量的高清图像。

为实现上述目的，本发明提供一种基于生成网络的图像超分辨率重构的方法，其包括：

S1，收集真实图像的数据集进行扩充获得若干图像数据集；

S2，构建GAN生成式网络，其输入模糊的真实图像，输出为清晰的虚拟图像；

S3，利用图像在像素空间上的欧氏距离作为像素空间误差，利用虚拟图像与真实图像的像素对比，确认虚拟图像与真实图像之间的欧氏距离L1，采用误差反向传播算法训练GAN生成式网络，直至欧氏距离值L1达到最小；

S4，把S3获得虚拟图像和真实图像分别输入到VGG16比较器网络中，分别获取虚拟图像和真实图像在VGG16比较器网络中在第2个最大池化层之前的第2张特征图，确认虚拟图像和真实图像的第2张特征图之间的欧氏距离L2，采用误差反向传播算法训练GAN生成式网络，直至欧氏距离L2值达到最小；

S5，构建判别式网络，利用Sigmoid函数判断输入判别式网络的图像是来自虚拟图像或者来自于收集的真实图像；确认真实图像与虚拟图像之间的欧氏距离L3，

S6，确认GAN生成式网络与判别式网络之间的对抗误差，通过反向传播算法训练GAN生成式网络与判别式网络，当GAN生成式网络对抗误差达到最小，输出生成图像。

具体的，S1步骤中，针对若干1真实图像依次旋转90度、180度、270度，将数据集扩展为原来的n倍，随机选出多数真实图像用作训练样本，将剩余少数真实图像用作测试样本。

具体的，上述S2步骤中，其步骤包括：S21步骤：将用作训练的地低分辨率真实图像提取过程，由三个大小为f₁₁,f₁₂,f₁₃卷积核组成，设输入图像像素特征Y，输出为图像像素特征F，经过三层卷积的表达式依次为：

F₁₁(Y)＝max(0,W₁₁*Y+B₁₁)，

F₁₂(Y)＝max(0,W₁₂*F₁₁(Y)+B₁₂)，

F₁₃(Y)＝max(0,W₁₃*F₁₂(Y)+B₁₃)，

其中W₁₁,W₁₂,W₁₃:B₁₁,B₁₂,B₁₃,分别表示滤波器的权重和偏置，W₁₁对应于尺寸为f₁₁×f₁₁的n₁₁个滤波器的权值，W₁₂对应于尺寸为f₁₂×f₁₂的n₁₂个滤波器的权值，W₁₃对应于尺寸为f₁₃×f₁₃的n₁₃个滤波器的权值，且n₁₁＝n₁₂＝n₁₃＝n₁，B₁₁,B₁₂,B₁₃均为n₁维矢量。

S22步骤：通过非线性映射层，将得到了n₁维图像特征映射到n₂维矢量上；相当于通过n₂个滤波器分别和n₁维图像特征卷积，获取n₂维图像特征；非线性映射表达式为：

F₂₁(Y)＝max(0,W₂₁*F₁₃(Y)+B₂₁)，

F₂₂(Y)＝max(0,W₁₃*F₂₁(Y)+B₂₂)，

F₂₃(Y)＝max(0,W₂₃*F₂₂(Y)+B₂₃)，

其中W₂₁,W₂₂,W₂₃:B₂₁,B₂₂,B₂₃,分别表示滤波器的权重和偏置，W₂₁对应于尺寸为f₂₁×f₂₁的n₂₁个滤波器的权值，W₂₂对应于尺寸为f₂₂×f₂₂的n₂₂个滤波器的权值，W₂₃对应于尺寸为f₂₃×f₂₃的n₂₃个滤波器的权值，且n₂₁＝n₂₂＝n₂₃＝n₂，B₂₁,B₂₂,B₂₃均为n₂维矢量；

S23步骤：图像重建是将S22步骤的高分辨率特征图像经一个重建滤波器卷积后得到清晰的虚拟图像；图像重建表示为：

G(Y)＝max(0,W₃*F₂₃(Y)+B₃)

W₃对应于尺寸为f₃×f₃的1个滤波器，B₃是一个标量。

具体的，上述S3步骤中，欧拉距离L1为通GAN生成式网络生成虚拟图像Gθ(Yi)与真实图像Xi之间的欧氏距离平方之和，表达式为：

其中，Y_i为第i张虚拟图像像素，X_i为对应的真实图像像素，n为训练样本的总数，θ为GAN生成式网络中的参数。

具体的，S4步骤中，由GAN生成式网络生成的图像Gθ(Yi)和对应的真实图像Xi输入到VGG16比较器网络中，获取中间层输出的特征图，获得两者之间的欧氏距离L2，表达式为：

其中，φ为图像所对应的特征图。

具体的，上述S5步骤中，通过LeakyReLU激活函数将中间3层卷积层后接批标准化操作，将最后1层卷积层后接全连接层，经过全连接层后，再用Sigmoid函数判断输入所述判别式网络的图像。

具体的，判别式网络的对抗误差的表达式如下：

其中，d表示判别网络中的参数，D表示判别网络，G表示GAN生成式网络，E表示期望误差。

与现有技术相比，本发明的有益效果：本发明采用了采用示GAN生成式网络将模糊的图像转为高清的图像，提供高质量的图像，将模糊的人脸图像转为了清晰的图像，加快工作效率。

附图说明

图1是本发明基于GAN生成式网络的图像超分辨率重构的方法的工作流程图。

图2是本发明基于GAN生成式网络的图像超分辨率重构系统框架图。

图3是本发明基于GAN生成式网络的图像超分辨率重构系统生成虚拟图像的运行模型图。

图4是本发明基于GAN生成式网络的图像超分辨率重构的方法的VGG16运行模型流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂。下面结合附图对本发明的具体实施方式做详细说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况做类似改进，因此本发明不受下面公开的具体实施方式的现实。

如图1至图4所示，本发明为一种基于生成网络的图像超分辨率重构的方法，其步骤包括：

S1步骤：收集真实图像的数据集进行扩充获得若干图像数据集；针对若干1真实图像依次旋转90度、180度、270度，将数据集扩展为原来的n倍，随机选出多数真实图像用作训练样本，将剩余少数真实图像用作测试样本。

本实施例中，制作图像数据集，使用Photoshop软件的模糊滤镜的方法将1000张图像依次旋转90度、180度、270度，将数据集扩充为原来的4倍，共4000张。随机选出3200图像作为训练样本，将剩余800张图像作为训练样本。

S2步骤：如图2所示，构建GAN生成式网络，其输入模糊(低分辨率)的真实图像，输出为清晰的虚拟图像。

具体的，S21步骤，将用作训练的地低分辨率真实图像提取过程，由三个大小为f₁₁,f₁₂,f₁₃卷积核组成，设输入图像像素特征(像素)Y，输出为图像像素特征(像素)F，经过三层卷积的表达式依次为：

F₁₁(Y)＝max(0,W₁₁*Y+B₁₁)，

F₁₂(Y)＝max(0,W₁₂*F₁₁(Y)+B₁₂)，

F₁₃(Y)＝max(0,W₁₃*F₁₂(Y)+B₁₃)，

其中W₁₁,W₁₂,W₁₃:B₁₁,B₁₂,B₁₃,分别表示滤波器的权重和偏置，W₁₁对应于尺寸为f₁₁×f₁₁的n₁₁个滤波器的权值，W₁₂对应于尺寸为f₁₂×f₁₂的n₁₂个滤波器的权值，W₁₃对应于尺寸为f₁₃×f₁₃的n₁₃个滤波器的权值，且n₁₁＝n₁₂＝n₁₃＝n₁，B₁₁,B₁₂,B₁₃均为n₁维矢量。

S22步骤：通过非线性映射层，将得到了n₁维图像特征映射到n₂维矢量上；相当于通过n₂个滤波器分别和n₁维图像特征卷积，获取n₂维图像特征；非线性映射表达式为：

F₂₁(Y)＝max(0,W₂₁*F₁₃(Y)+B₂₁)，

F₂₂(Y)＝max(0,W₁₃*F₂₁(Y)+B₂₂)，

F₂₃(Y)＝max(0,W₂₃*F₂₂(Y)+B₂₃)，

其中W₂₁,W₂₂,W₂₃:B₂₁,B₂₂,B₂₃,分别表示滤波器的权重和偏置，W₂₁对应于尺寸为f₂₁×f₂₁的n₂₁个滤波器的权值，W₂₂对应于尺寸为f₂₂×f₂₂的n₂₂个滤波器的权值，W₂₃对应于尺寸为f₂₃×f₂₃的n₂₃个滤波器的权值，且n₂₁＝n₂₂＝n₂₃＝n₂，B₂₁,B₂₂,B₂₃均为n₂维矢量；

S23步骤：图像重建是将S22步骤的高分辨率特征图像经一个重建滤波器卷积后得到清晰的虚拟图像；图像重建表示为：

G(Y)＝max(0,W₃*F₂₃(Y)+B₃)

W₃对应于尺寸为f₃×f₃的1个滤波器，B₃是一个标量。

S3步骤：利用图像在像素空间上的欧氏距离作为像素空间误差，利用虚拟图像与真实图像的像素对比，确认虚拟图像与真实图像之间的欧氏距离L1，采用误差反向传播算法训练GAN生成式网络，直至欧氏距离值L1达到最小。

具体的，采用误差反向传播算法，使用图像在像素空间上的欧氏距离L1作为误差：现有技术用均方误差(Mean Squared Error,MSE)作为网络中的损失函数，本文采用MSE作为网络的损失函数，欧拉距离L1为通GAN生成式网络生成虚拟图像Gθ(Yi)与真实图像Xi之间的欧氏距离平方之和，表达式为：

其中，Y_i为第i张虚拟图像像素，X_i为对应的真实图像像素，n为训练样本的总数，θ为GAN生成式网络中的参数。

S4步骤：把S3步骤获得虚拟图像和真实图像分别输入到VGG16比较器网络中，分别获取虚拟图像和真实图像在VGG16比较器网络中在第2个最大池化层之前的第2张特征图，确认虚拟图像和真实图像的第2张特征图之间的欧氏距离L2，作为特征空间上的误差，采用误差反向传播算法训练GAN生成式网络，直至欧氏距离L2值达到最小。具体的，由GAN生成式网络生成的图像Gθ(Yi)和对应的真实图像Xi输入到VGG16比较器网络中，获取中间层输出的特征图，获得两者之间的欧氏距离L2，表达式为：

其中，φ为图像所对应的特征图。

S5步骤，如图3，构建判别式网络，利用Sigmoid函数判断输入判别式网络的图像是来自虚拟图像或者来自于收集的真实图像；确认真实图像与虚拟图像之间的欧氏距离L3；

具体的，通过LeakyReLU激活函数将中间3层卷积层后接批标准化操作，将最后1层卷积层后接全连接层，经过全连接层后，再用Sigmoid函数判断输入所述判别式网络的图像。如果输入判别器的图像为真实图像，输出为“1”，若是生成器生成的虚拟图像，则输出为“0”。卷积层1大小为4X4，步长为2，卷积核个数为64，卷积层2大小为4X4，步长为2，卷积核个数为128，卷积层3大小为4X4，步长为2，卷积核个数为256，卷积层4大小为4X4，步长为2，卷积核个数为512，卷积层5大小为4X4，步长为2，卷积核个数为1。

S6步骤，确认GAN生成式网络与判别式网络之间的对抗误差，通过反向传播算法训练GAN生成式网络与判别式网络，当GAN生成式网络对抗误差达到最小，输出生成图像。

具体的，以GAN生成式网络与判别式网络之间的对抗误差作为新的误差，

S61步骤，每轮训练先固定GAN生成式网络参数，训练判别式网络，例如：每批输入n张生成清晰虚拟图像作为负样本，n张清晰真实图像作为正样本，采用误差反向传播算法，训练GAN生成式网络；

S62步骤，固定判别式网络参数，训练GAN生成式网络，加入判别式网络所带来的对抗误差到生成式网络的总体误差之中，采用反向传播的方法训练GAN生成式网络；

S63步骤，重复S61和S62两个步骤共n轮。

其中，总体误差，具体计算方法如下：

对于判别式网络，输入为真实图像或者生成虚拟图像，训练目标为：当输入为真实图像时，网络输出为1；当输入为生成虚拟图像时，网络输出为0。因此对抗误差的表达式如下：

其中，d表示判别网络中的参数，D表示判别网络，G表示GAN生成式网络，E表示期望误差。对于生成式网络G希望上式的值越小越好，则表生GAN生成式网络所生成的图像与真实的清晰图像更加接近；对于判别式网络D希望上式的值越大越好，则表示判别式网络能更准确地分辨生成的图像和真实的图像。

本发明提出了一种基于深度学习的生成网络人脸图像超分辨率重构方法提供高质量的图像，将模糊的人脸图像转为了清晰的图像，加快工作效率。

基于SRGAN人脸图像超分辨率工作原理：生成网络通过低分辨率的图像生成高分辨率图像，由判别网络判断拿到的图像是由生成网络生成的，还是数据库中的原图像。当生成网络能成功骗过判别网络的时候，那我们就可以通过这个生成对抗完成超分辨率了。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡如本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于生成网络的图像超分辨率重构的方法，其特征在于，包括：

S1，收集真实图像的数据集进行扩充获得若干图像数据集；

S2，构建GAN生成式网络，其输入模糊的真实图像，输出为清晰的虚拟图像；

S3，利用图像在像素空间上的欧氏距离作为像素空间误差，利用虚拟图像与真实图像的像素对比，确认虚拟图像与真实图像之间的欧氏距离L1，采用误差反向传播算法训练GAN生成式网络，直至欧氏距离值L1达到最小；

S4，把S3获得虚拟图像和真实图像分别输入到VGG16比较器网络中，分别获取虚拟图像和真实图像在VGG16比较器网络中在第2个最大池化层之前的第2张特征图，确认虚拟图像和真实图像的第2张特征图之间的欧氏距离L2，采用误差反向传播算法训练GAN生成式网络，直至欧氏距离L2值达到最小；

S5，构建判别式网络，利用Sigmoid函数判断输入判别式网络的图像是来自虚拟图像或者来自于收集的真实图像，确认真实图像与虚拟图像之间的欧氏距离L3；

S6，确认GAN生成式网络与判别式网络之间的对抗误差，通过反向传播算法训练GAN生成式网络与判别式网络，当GAN生成式网络对抗误差达到最小，输出生成图像。

2.根据权利要求1所述的基于生成网络的图像超分辨率重构的方法，其特征在于：S1步骤中，针对若干1真实图像依次旋转90度、180度、270度，将数据集扩展为原来的n倍，随机选出多数真实图像用作训练样本，将剩余少数真实图像用作测试样本。

3.根据权利要求2所述的基于生成网络的图像超分辨率重构的方法，其特征在于：上述S2步骤中，其步骤包括：S21步骤：将用作训练的地低分辨率真实图像提取过程，由三个大小为f₁₁,f₁₂,f₁₃卷积核组成，设输入图像像素特征Y，输出为图像像素特征F，经过三层卷积的表达式依次为：

F₁₁(Y)＝max(0,W₁₁*Y+B₁₁)，

F₁₂(Y)＝max(0,W₁₂*F₁₁(Y)+B₁₂)，

F₁₃(Y)＝max(0,W₁₃*F₁₂(Y)+B₁₃)，

其中W₁₁,W₁₂,W₁₃:B₁₁,B₁₂,B₁₃,分别表示滤波器的权重和偏置，W₁₁对应于尺寸为f₁₁×f₁₁的n₁₁个滤波器的权值，W₁₂对应于尺寸为f₁₂×f₁₂的n₁₂个滤波器的权值，W₁₃对应于尺寸为f₁₃×f₁₃的n₁₃个滤波器的权值，且n₁₁＝n₁₂＝n₁₃＝n₁，B₁₁,B₁₂,B₁₃均为n₁维矢量。

S22步骤：通过非线性映射层，将得到了n₁维图像特征映射到n₂维矢量上；相当于通过n₂个滤波器分别和n₁维图像特征卷积，获取n₂维图像特征；非线性映射表达式为：

F₂₁(Y)＝max(0,W₂₁*F₁₃(Y)+B₂₁)，

F₂₂(Y)＝max(0,W₁₃*F₂₁(Y)+B₂₂)，

F₂₃(Y)＝max(0,W₂₃*F₂₂(Y)+B₂₃)，

其中W₂₁,W₂₂,W₂₃:B₂₁,B₂₂,B₂₃,分别表示滤波器的权重和偏置，W₂₁对应于尺寸为f₂₁×f₂₁的n₂₁个滤波器的权值，W₂₂对应于尺寸为f₂₂×f₂₂的n₂₂个滤波器的权值，W₂₃对应于尺寸为f₂₃×f₂₃的n₂₃个滤波器的权值，且n₂₁＝n₂₂＝n₂₃＝n₂，B₂₁,B₂₂,B₂₃均为n₂维矢量；

S23步骤：图像重建是将S22步骤的高分辨率特征图像经一个重建滤波器卷积后得到清晰的虚拟图像；图像重建表示为：

G(Y)＝max(0,W₃*F₂₃(Y)+B₃)

W₃对应于尺寸为f₃×f₃的1个滤波器，B₃是一个标量。

4.根据权利要求2所述的基于生成网络的图像超分辨率重构的方法，其特征在于，上述S3步骤中，欧拉距离L1为通GAN生成式网络生成虚拟图像Gθ(Yi)与真实图像Xi之间的欧氏距离平方之和，表达式为：

其中，Y_i为第i张虚拟图像像素，X_i为对应的真实图像像素，n为训练样本的总数，θ为GAN生成式网络中的参数。

5.根据权利要求4所述的基于生成网络的图像超分辨率重构的方法，其特征在于，S4步骤中，由GAN生成式网络生成的图像Gθ(Yi)和对应的真实图像Xi输入到VGG16比较器网络中，获取中间层输出的特征图，获得两者之间的欧氏距离L2，表达式为：

其中，φ为图像所对应的特征图。

6.根据权利要求4所述的基于生成网络的图像超分辨率重构的方法，其特征在于，上述S5步骤中，通过LeakyReLU激活函数将中间3层卷积层后接批标准化操作，将最后1层卷积层后接全连接层，经过全连接层后，再用Sigmoid函数判断输入所述判别式网络的图像。

7.根据权利要求4所述的基于生成网络的图像超分辨率重构的方法，其特征在于，判别式网络的对抗误差的表达式如下：

其中，d表示判别网络中的参数，D表示判别网络，G表示GAN生成式网络，E表示期望误差。