CN111105352A

CN111105352A - 超分辨率图像重构方法、系统、计算机设备及存储介质

Info

Publication number: CN111105352A
Application number: CN201911292854.0A
Authority: CN
Inventors: 曾凡智; 邹磊; 周燕; 邱腾达; 陈嘉文
Original assignee: Foshan University
Current assignee: Foshan University
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2020-05-05
Anticipated expiration: 2039-12-16
Also published as: CN111105352B

Abstract

本发明公开了一种超分辨率图像重构方法、系统、计算机设备及存储介质，所述方法包括：将轻量化网络的倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数，倒置残差块包括扩张卷积层、深度可分离卷积层和压缩卷积层；根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络；根据稠密网络，构建判别器网络；根据生成器网络和判别器网络，构建生成对抗神经网络；利用训练集对生成对抗神经网络进行训练；利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。本发明可以解决在实时检测算法中加入基于生成对抗神经网络超分辨率图像重构技术，造成严重延时和模型占用空间大等问题。

Description

超分辨率图像重构方法、系统、计算机设备及存储介质

技术领域

本发明涉及一种超分辨率图像重构方法、系统、计算机设备及存储介质，属于深度学习和图像处理领域。

背景技术

超分辨率图像重构技术,是指从一副或多幅低分辨率图像中重构出相应的高分辨率图像，该技术可以在现有硬件环境不改变的情况下，在低分辨率图像基础上，利用图像的先验信息重构出相对清晰的高分辨率图像，在刑事侦查、医学影像、天文观测和影视娱乐等领域都具有十分重要的应用价值，同时该技术也可用于马赛克图片的恢复和相关人脸识别的应用场景中。

目前运用相对广泛的超分辨率图像重构技术主要有以下三类：基于图像插值的方法、基于图像重建的方法以及基于学习的方法。基于图像插值的方法，主要有双线性插值(Bilinear)、最近邻插值(Nearest Neighbor)和双三次插值(Bicubic)及其衍生，此类方法虽然处理速度快，同时能有效增加图像的分辨率，但是生成的图像过于模糊，细节丢失严重；基于图像重建的方法在恢复图像高频信息方面取得了良好的进展，但是此类方法在处理一些复杂图像(例如人脸)时效果不佳；基于学习的方法能够利用训练样本所提供的先验信息推导从低分辨率图像重构出高分辨率图像所需要的高频细节信息，例如稀疏表达、局部线性嵌入和基于主成分分析的线性约束等，此类方法相较于前面两类在图像重构的质量上有所提高。

随着2012年，深度学习模型Alexnt的问世，基于深度学习的方法目前已经在众多领域都得到了广泛的应用，同时在超分辨率图像重构领域运用深度学习的方法也越来越受到了人们的重视。在基于卷积神经网络的方法中，SRCNN方法将基于深度学习的方法与超分辨率图像重构技术相结合，先使用双三次插值将低分辨率图像放大成目标尺寸，再通过三层卷积层拟合非线性映射，最后输出高分辨率图像结果。FSRCNN的方法对图像在低分辨率空间进行重构，相比SRCNN的方法，FSRCNN的网络复杂度有所下降，同时也提高了网络的训练速度。基于卷积神经网络的超分辨率图像重构方法所得的结果虽然有较高的信噪比，但图像缺少高频信息，在细节上缺乏真实感，所以会出现过度平滑的纹理。

近几年，生成对抗神经网络(Generative Adversarial Networks，GAN)在图像修复领域取得了重大突破，由生成对抗网络产生的图像具有更加逼真的视觉效果，但现有大部分基于生成对抗神经网络的超分辨率图像重构算法运用在一些实时观测相关场景中，比如实时人脸识别考勤，容易造成严重延时、卡顿厉害和模型占用空间大等问题。

发明内容

有鉴于此，本发明提供了一种超分辨率图像重构方法、系统、计算机设备及存储介质，其通过将改进的轻量化网络的倒置残差块作为生成器网络主体，以及将稠密网络的稠密连接块作为判别器网络核心，以解决在实时检测算法中加入基于生成对抗神经网络超分辨率图像重构技术，造成严重延时和模型占用空间大等问题。

本发明的第一个目的在于提供一种超分辨率图像重构方法。

本发明的第二个目的在于提供一种超分辨率图像重构系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种超分辨率图像重构方法，所述方法包括：

将轻量化网络的倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数；其中，所述倒置残差块包括依次连接的扩张卷积层、深度可分离卷积层和压缩卷积层；

根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络；

根据稠密网络，构建判别器网络；其中，所述稠密网络包括多组依次连接的稠密连接块；

根据生成器网络和判别器网络，构建生成对抗神经网络；

获取多张样本图像作为训练集；

利用训练集对生成对抗神经网络进行训练；

利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。

进一步的，所述利用训练集对生成对抗神经网络进行训练，具体包括：

对训练集的样本图像使用双三次插值下采样，获得低分辨率图像；

将低分辨率图像输入生成对抗神经网络的生成器网络，对生成对抗神经网络进行训练。

进一步的，所述生成对抗神经网络的训练损失函数包括生成器损失函数和判别器损失函数。

进一步的，所述生成器损失函数的表达式如下：

L_G＝L_mse+L_adv

其中，L_G表示生成器网络总体损失，L_mse表示均方误差损失，L_adv表示对抗损失；

所述均方误差损失的表达式如下：

其中，W和H分别表示图像的宽和高，I^HR表示原始高分辨率图像，I^LR表示低分辨率图像，

表示生成器得到的高分辨率图像，θ_G表示生成器的模型参数，即权重和偏置值，x和y表示对应像素位置坐标；

所述对抗损失的表达式如下：

其中，N表示训练样本数量，

表示判别器判定生成器得到的图像

表示高分辨率图像的概率值，θ_G表示生成器的模型参数，θ_D表示判别器的模型参数。

进一步的，所述判别器损失函数的表达式如下：

其中，W和H分别表示特征图的宽和高，I^HR表示原始高分辨率图像，I^LR表示低分辨率图像，

表示生成器得到的高分辨率图像，θ_G表示生成器的模型参数，即权重和偏置值，x和y表示对应像素位置坐标，φ表示稠密网络最后一组稠密连接块输出的特征图。

进一步的，所述深度可分离卷积层包括深度卷积层和逐点卷积层，其中深度卷积层对每个输入通道应用单通道的轻量级滤波器，所述逐点卷积层负责计算输入通道的线性组合，构成新的特征。

进一步的，每组稠密连接块中的一个稠密连接块包括依次连接的1X1卷积层、第一Swish函数层、第一批量归一化层、3X3卷积层、第二Swish函数层和第二批量归一化层，其中1X1卷积层用于对上层输出数据压缩。

本发明的第二个目的可以通过采取如下技术方案达到：

一种超分辨率图像重构系统，所述系统包括：

倒置残差块处理模块，用于将轻量化网络的倒置残差块中的批量归一化卷积层移除，并使用Swish函数作为激活函数；其中，所述倒置残差块包括依次连接的扩张卷积层、深度可分离卷积层和压缩卷积层；

生成器网络构建模块，用于根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络；

判别器网络构建模块，用于根据稠密网络，构建判别器网络；其中，所述稠密网络包括多组依次连接的稠密连接块；

神经网络构建模块，用于根据生成器网络和判别器网络，构建生成对抗神经网络；

获取模块，用于获取多张样本图像作为训练集；

训练模块，用于利用训练集对生成对抗神经网络进行训练；

图像重构模块，用于利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的超分辨率图像重构方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的超分辨率图像重构方法。

本发明相对于现有技术具有如下的有益效果：

本发明通过在生成器网络中加入轻量化网络的倒置残差块，将倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数，大幅减少了不必要的计算，从而避免了一般现有超分辨率图像重构算法大量计算导致运用在实时检测场景中严重延时的问题，同时通过稠密网络作为判别器网络，能够更好地指导生成器网络生成清晰、逼真的图像；此外，由于本发明训练后得到的生成对抗神经网络模型较小，还可以植入到移动设备或者内存较小设备上运行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的超分辨率图像重构方法的流程图。

图2为本发明实施例1的轻量化网络中倒置残差块的结构图。

图3为本发明实施例1的生成器网络的结构图。

图4为本发明实施例1的判别器网络的结构图。

图5为本发明实施例1的稠密网络中稠密连接块的结构图。

图6为本发明实施例1的利用训练集对生成对抗神经网络进行训练的流程图。

图7a为本发明实施例1的待处理图像的效果图。

图7b为采用双三次插值算法进行超分辨率图像重构测试的效果图。

图7c为采用超分辨率卷积神经网络算法进行超分辨率图像重构测试的效果图。

图7d为采用超分辨率生成对抗神经网络算法进行超分辨率图像重构测试的效果图。

图7e为采用增强型超分辨率生成对抗网络算法进行超分辨率图像重构测试的效果图。

图7f为采用本发明算法进行超分辨率图像重构测试的效果图。

图8为本发明实施例2的超分辨率图像重构系统的结构框图。

图9为本发明实施例2的训练模块的结构框图。

图10为本发明实施例3的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，本实施例提供了一种超分辨率图像重构方法，该方法包括以下步骤：

S101、将轻量化网络的倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数。

本实施例采用的倒置残差块为轻量化网络(MobileNetV2)的具有线性瓶颈的倒置残差块，对倒置残差块进行适当的修改，使倒置残差块更加适用于超分辨率图像重构这种低层视觉任务。

具体地，倒置残差块结构中所用的方法是扩张---卷积---压缩，相比现有残差结构的压缩---卷积---扩张，倒置残差块可以提升梯度在卷积层之间的传播能力，有着更好的内存使用效率，部分结构如图2所示，该结构主要包括依次连接的扩张卷积层、深度可分离卷积层和压缩卷积层，由于批量归一化(Batch Normalization，BN)在一定程度上限制了网络的灵活性，同时增大了计算量，因此本实施例在倒置残差块的基础上移除了批量归一化层，同时使用Swish函数作为激活函数，有助于得到更好的超分辨率图像重构结果。

本实施例的倒置残差块结构的具体说明如下：

1)深度可分离卷积层：将标准卷积拆分成两个分卷积：第一层为深度卷积层，对每个输入通道应用单通道的轻量级滤波器；第二层为逐点卷积层，即1X1卷积，负责计算输入通道的线性组合，构建新的特征。

标准卷积输入张量L_i为h_i*w_i*d_i，标准卷积核K∈R^k*k*di*dj产生输出张量L_j为 h_i*w_i*d_j，其中h，w，d_i，d_j，k，分别为特征图的长、宽、输入通道、输出通道以及卷积核边长。

标准卷积的计算消耗为：h_i*w_i*d_i*d_j*k*k；

拆分后深度可分离卷积消耗为：h_i*w_i*d_i*(k²+d_j)；

本实施例使用的卷积核大小k＝3，深度可分离卷积与标准卷积相比计算量减少了8 至9倍。

2)扩张卷积层与压缩卷积层：由于深度卷积本身不具备改变通道的能力，输入通道数等于输出通道数，如果输入通道很少的话，深度卷积只能在低维度上工作，这样所得的效果会很差，因此通过扩张卷积层先进行升维(升维倍数为t，本实施例的t＝4)，使深度卷积在一个更高维空间中进行特征提取，最后为了保证输入维数与输出维数相等，还需要压缩卷积层进行降维操作。

S102、根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络。

将处理后的倒置残差块和基于高效的亚像素卷积神经网络(Efficientsub-PixelConvolutional Neural Network，ESPCN)一起组成生成器网络，该生成器网络的结构如图3所示。

S103、根据稠密网络，构建判别器网络。

本实施例判别器网络采用稠密网络(DenseNet)网络训练进行构建，如图4所示，稠密网络通过稠密连接改善了网络中信息和梯度的流动，每一层网络都可以直接访问到原始输入信号，以及来自于损失函数的梯度，这有助于更深的网络架构训练。

进一步地，本实施例的稠密网络包括四组依次连接的稠密连接块，每组稠密连接块中的一个稠密连接块的具体结构如图5所示，包括依次连接的1X1卷积层、第一Swish 函数层、第一批量归一化层、3X3卷积层、第二Swish函数层和第二批量归一化层，其中1X1卷积层用于对上层输出数据压缩，降维以减少计算量。

步骤S101和步骤S103中，Swish函数的数学表达式如下：

S104、根据生成器网络和判别器网络，构建生成对抗神经网络。

S105、获取多张样本图像作为训练集。

S106、利用训练集对生成对抗神经网络进行训练。

本实施例使用公共人脸数据集FEI(FEI Face Database)对生成对抗神经网络进行训练，使用2520张样本图像作为训练集，280张样本图像作为测试集，用于后续测试。

进一步地，该步骤S106如图6所示，具体包括：

S1061、对训练集的样本图像使用双三次插值下采样，获得低分辨率图像。

S1062、将低分辨率图像输入生成对抗神经网络的生成器网络，对生成对抗神经网络进行训练。

本实施例的下采样因子为4，得到的低分辨率图像尺寸为160X120像素；总共训练800个时期，采用RMSProp算法优化器，训练时每一批次的图片数量为32张，权重衰减设置为0.0001，初始学习率为0.001，每经过200个时期，学习率下降90％。

本实施例将均方误差(Mean Square Error,MSE)与对抗损失的总和作为训练整个生成器网络的总体损失，生成器损失函数的表达式如下：

L_G＝L_mse+L_adv (2)

其中，L_G表示生成器网络总体损失，L_mse表示均方误差损失，L_adv表示对抗损失。

1)均方误差损失：本实施例采用基于像素的均方误差作为生成器网络损失的一部分，在算法中采用均方误差用于计算生成器得到的图像与期望图像对应像素间的欧式距离。通过均方误差训练得到的模型，其生成的图像在细节上更接近真实图像。目前，均方误差被广泛运用在超分辨率图像重构模型的训练中，均方误差损失表达式如下：

2)对抗损失：基于生成对抗神经网络相互对抗的机制，本实施例将加入了倒置残差块的网络作为生成器，使用具有稠密连接块的判别器网络在无监督学习下通过约束对抗损失迫使生成器获得更加清晰、逼真的高分辨率图像。对抗损失表达式如下：

其中，N表示训练样本数量，

表示判别器判定生成器得到的图像

本实施例的判别器损失函数借鉴了生成器损失中基于像素的均方误差损失方法，所不同的是，在判别器部分所比较的对象是重构图像和原高清图像经过了四组稠密连接块计算后所得的特征图，判别器损失函数的表达式如下：

表示生成器得到的高分辨率图像，θ_G表示生成器的模型参数，即权重和偏置值，x和y表示对应像素位置坐标，φ表示稠密网络最后一组(即第四组) 稠密连接块输出的特征图。

S107、利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。

本实施例对测试集中的样本图像使用双三次插值下采样，获得低分辨率图像，作为待处理图像，具体地，将待处理图像从生成器网络输入层输入，首先经过一个标准卷积层，同时对卷积层的输出进行非线性激活以增强模型的非线性表达能力，然后将结果依次送入17个倒置残差块中提取特征，其中倒置残差块包含用于升维的扩张卷积层、减小计算量的深度可分离卷积层、降维的压缩卷积层、线性和非线性激活层以及特征融合层，最后将结果送入亚像素卷积层，将多张低分辨率图像合成一张高分辨率图像；同时将生成器网络得到的图像作为负样本送入判别器网络中，而正样本是没有经过处理的高分辨率图像，本实施例所使用的判别器网络是具有四个稠密连接块的稠密网络，利用网络高强度的特征复用可以很好地提取图像特征，最后判别器网络输出为判别高分辨率图像的真假结果，该真结果即为需要的超分辨率图像。

上述步骤S101～S106为离线阶段，即训练阶段，由构建生成器网络、构建判别器网络和训练生成对抗神经网络三大部分构成，而步骤S107为在线阶段，即应用阶段。可以理解，上述步骤S101～S106在一台计算机设备(如计算机等)完成，可以在该计算机设备上进入步骤S107的应用阶段，也可以将该台计算机设备训练后的生成对抗神经网络植入其他的计算机设备(如手机、平板电脑等移动设备，或是内存较小的设备)，在其他的计算机设备上进入步骤S107的应用阶段。

利用双三次插值(Bicubic)、超分辨率卷积神经网络(Super-ResolutionConvolutional Neural Network，简称SRCNN)、超分辨率生成对抗神经网络(Super-Resolution Generative Adversarial Networks，简称SRGAN)、增强型超分辨率生成对抗网络 (Enhanced Super-Resolution Generative Adversarial Networks，简称ESRGAN)和本发明算法对其中一张待处理图像进行测试，其中待处理图像(原图)如图7a所示，双三次插值算法测试的效果如图7b所示，超分辨率卷积神经网络算法测试的效果如图7c 所示，超分辨率生成对抗神经网络算法测试的效果如图7d所示，增强型超分辨率生成对抗网络算法测试的效果如图7e所示，本发明算法测试的效果如图7f所示，从图中可以看到，本发明算法的测试效果要优于其他四个算法。

本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。

应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图8所示，本实施例提供了一种超分辨率图像重构系统，该系统包括倒置残差块处理模块801、生成器网络构建模块802、判别器网络构建模块803、神经网络构建模块804、获取模块805、训练模块806和图像重构模块807，各个模块的具体功能如下：

所述倒置残差块处理模块801，用于将轻量化网络的倒置残差块中的批量归一化卷积层移除，并使用Swish函数作为激活函数；其中，所述倒置残差块包括依次连接的扩张卷积层、深度可分离卷积层和压缩卷积层。

所述生成器网络构建模块802，用于根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络。

所述判别器网络构建模块803，用于根据稠密网络，构建判别器网络；其中，所述稠密网络包括多组依次连接的稠密连接块。

所述神经网络构建模块804，用于根据生成器网络和判别器网络，构建生成对抗神经网络。

所述获取模块805，用于获取多张样本图像作为训练集。

所述训练模块806，用于利用训练集对生成对抗神经网络进行训练。

所述图像重构模块807，用于利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。

进一步地，所述训练模块如图9所示，具体包括：

下采样单元8061，用于对训练集的样本图像使用双三次插值下采样，获得低分辨率图像。

训练单元8062，用于将低分辨率图像输入生成对抗神经网络的生成器网络，对生成对抗神经网络进行训练。

本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例3：

本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图10所示，其通过系统总线1001连接的处理器1002、存储器、输入装置1003、显示器1004和网络接口1005，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1006 和内存储器1007，该非易失性存储介质1006存储有操作系统、计算机程序和数据库，该内存储器1007为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器1002执行存储器存储的计算机程序时，实现上述实施例1的超分辨率图像重构方法，如下：

根据生成器网络和判别器网络，构建生成对抗神经网络；

获取多张样本图像作为训练集；

利用训练集对生成对抗神经网络进行训练；

进一步地，所述利用训练集对生成对抗神经网络进行训练，具体包括：

实施例4：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的超分辨率图像重构方法，如下：

根据生成器网络和判别器网络，构建生成对抗神经网络；

获取多张样本图像作为训练集；

利用训练集对生成对抗神经网络进行训练；

本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。

综上所述，本发明通过在生成器网络中加入轻量化网络的倒置残差块，将倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数，大幅减少了不必要的计算，从而避免了一般现有超分辨率图像重构算法大量计算导致运用在实时检测场景中严重延时的问题，同时通过稠密网络作为判别器网络，能够更好地指导生成器网络生成清晰、逼真的图像；此外，由于本发明训练后得到的生成对抗神经网络模型较小，还可以植入到移动设备或者内存较小设备上运行。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。