CN109242771A - 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备 - Google Patents

Abstract

本发明实施例涉及一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备。所述方法将输入的低分辨率图像重建为目标分辨率放大倍数S的高分辨率图像，包括确定分辨率放大倍数S′＝2^a的超分辨率卷积神经网络，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置卷积层；根据输入的低分辨率图像，基于目标分辨率放大倍数S和分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建。本发明实施例能够适应任何放大倍数要求的超分辨率图像处理，有益于超分辨率处理精度的提升。

Description

一种超分辨率图像重建方法及装置、计算机可读存储介质和 计算机设备

技术领域

本发明属于图像处理技术领域，具体涉及一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备。

背景技术

图像超分辨率技术(Super-Resolution)是指从低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。图像超分辨率技术可分为两类，一类是从从多张低分辨率图像重建出高分辨率图像，另一类是从单张低分辨率图像重建出高分辨率图像。

对于低分辨率图像，可能存在许多不同的高分辨率图像与之对应，通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统方法中，所述先验信息可以通过若干成对出现的低-高分辨率图像学习得到，基于深度学习的超分辨率技术是以端对端的方式直接学习低分辨率图像到高分辨率图像的映射。

现有技术中，基于深度学习的图像超分辨率方法包括超分辨率卷积神经网络SRCNN(Super-Resolution Convolutional Neural Network)、快速超分辨率卷积神经网络FSRCNN、有效亚像素卷积神经网络ESPCN(Efficient Sub-Pixel Convolutional NeuralNetwork)LaplacianSR等。这些方法中，存在的主要缺陷在于：对图像中存在的不同尺度的目标，超分辨率的锐化效果不一致，即不同尺度目标的效果兼容性差；由于卷积特征图惯用的上采样反卷积造成图像中呈现格子状纹理，即上采样带来的棋格效应。

发明内容

为了解决上述不同尺度目标的效果兼容性差及图像的棋格效应的技术问题，本发明实施例提出了一种超分辨率图像重建方法，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括如下步骤：

超分辨率卷积神经网络的确定步骤：确定分辨率放大倍数S′＝2^a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；

超分辨率卷积神经网络的输入层图像的确定步骤：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；

高分辨率图像生成步骤：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

进一步，在所述超分辨率卷积神经网络的输入层图像的确定步骤中，如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

进一步，采用超分辨率卷积神经网络的重采样卷积上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。

进一步，所述方法还包括超分辨率卷积神经网络分辨率放大倍数S′确定步骤，其中，根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′＝2^a；

随后，在超分辨率卷积神经网络的确定步骤中，根据所确定的超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络。

进一步，所述超分辨率卷积神经网络分辨率放大倍数S′为与目标分辨率放大倍数S相等或与目标分辨率放大倍数S邻近的两个2的a次幂整数中的一个。

进一步，在超分辨率卷积神经网络分辨率放大倍数S′确定步骤中，当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值相等时，选取数值较大的作为超分辨率卷积神经网络分辨率放大倍数S′；当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值不相等时，在与目标分辨率放大倍数S邻近的两个2的a次幂整数中，选取与目标分辨率放大倍数S的距离差值较小的一个作为超分辨率卷积神经网络分辨率放大倍数S′。

进一步，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积。

进一步，所述方法还包括超分辨率卷积神经网络训练步骤，根据确定的超分辨率卷积神经网络，构建对照训练样本集，使用对照训练样本集对构建的超分辨率卷积神经网络结构进行训练。

进一步，所述超分辨率卷积神经网络训练步骤包括：

对照训练样本集构建步骤：建立超分辨率卷积神经网络输入层的低分辨率图像与各反卷积层的高分辨率图像的对照训练样本集，其中，所述超分辨率卷积神经网络第L个反卷积层的高分辨率图像的分辨率与其对应的输入层的低分辨率图像的分辨率的比值等于超分辨率卷积神经网络分辨率放大倍数S′，在所述对照训练样本集中，一张低分辨率图像具有与其对应的超分辨率卷积神经网络的L个反卷积层的高分辨率图像；

超分辨率卷积神经网络学习步骤：使用构建的对照训练样本集训练超分辨率卷积神经网络。

进一步，使用最小化损失Loss函数：

训练超分辨率卷积神经网络，其中：

表示由低分辨率图像估计得到的超分辨率卷积神经网络各层的高分辨率图像；

y表示对照训练样本集中与低分辨率图像对应的各层的高分辨率HR图像；

θ表示超分辨率网络的参数，如超分辨率卷积神经网络的卷积核；

表示超分辨率卷积神经网络的s层的估计得到的高分辨率图像，s∈[1,L]；

表示超分辨率卷积神经网络的s层的在对照训练样本集中与相应低分辨率图像对应的高分辨率图像；

N：表示训练样本总数，N为自然数；

L：表示超分辨率卷积神经网络的反卷积层数，L为自然数。

本发明实施例还提供一种超分辨率图像重建装置，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括：

超分辨率卷积神经网络的确定部件：确定分辨率放大倍数S′＝2^a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；

超分辨率卷积神经网络的输入层图像的确定部件：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；

高分辨率图像生成部件：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

进一步，在所述超分辨率卷积神经网络的输入层图像的确定部件中，如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

进一步，采用超分辨率卷积神经网络的重采样卷积上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。

进一步，所述装置还包括超分辨率卷积神经网络分辨率放大倍数S′确定部件，其根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′＝2^a；

超分辨率卷积神经网络的确定部件根据超分辨率卷积神经网络分辨率放大倍数S′确定部件所确定的超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络。

进一步，所述超分辨率卷积神经网络分辨率放大倍数S′为与目标分辨率放大倍数S相等或与目标分辨率放大倍数S邻近的两个2的a次幂整数中的一个。

进一步，超分辨率卷积神经网络分辨率放大倍数S′确定部件当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值相等时，选取数值较大的作为超分辨率卷积神经网络分辨率放大倍数S′；当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值不相等时，在与目标分辨率放大倍数S邻近的两个2的a次幂整数中，选取与目标分辨率放大倍数S的距离差值较小的一个作为超分辨率卷积神经网络分辨率放大倍数S′。

进一步，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积。

进一步，所述方法还包括超分辨率卷积神经网络训练部件，根据确定的超分辨率卷积神经网络，构建对照训练样本集，使用对照训练样本集对构建的超分辨率卷积神经网络结构进进一步，所述超分辨率卷积神经网络训练部件包括：

对照训练样本集构建部件：建立超分辨率卷积神经网络输入层的低分辨率图像与各反卷积层的高分辨率图像的对照训练样本集，其中，所述超分辨率卷积神经网络第L个反卷积层的高分辨率图像的分辨率与其对应的输入层的低分辨率图像的分辨率的比值等于超分辨率卷积神经网络分辨率放大倍数S′，在所述对照训练样本集中，一张低分辨率图像具有与其对应的超分辨率卷积神经网络的L个反卷积层的高分辨率图像；

超分辨率卷积神经网络学习部件：使用构建的对照训练样本集训练超分辨率卷积神经网络。

进一步，使用最小化损失Loss函数：

训练超分辨率卷积神经网络，其中：

表示由低分辨率图像估计得到的超分辨率卷积神经网络各层的高分辨率图像；

y表示对照训练样本集中与低分辨率图像对应的各层的高分辨率HR图像；

θ表示超分辨率网络的参数，如超分辨率卷积神经网络的卷积核；

表示超分辨率卷积神经网络的s层的估计得到的高分辨率图像，s∈[1,L]；

表示超分辨率卷积神经网络的s层的在对照训练样本集中与相应低分辨率图像对应的高分辨率图像；

N：表示训练样本总数，N为自然数；

L：表示超分辨率卷积神经网络的反卷积层数，L为自然数。

本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

本发明的有益效果：本发明实施例提出的超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备，通过对输入图像进行规整化，能够适应任何放大倍数要求的超分辨率图像处理，有益于超分辨率处理精度的提升；在本发明的另一实施例中输出层通过膨胀卷积改善反卷积上采样带来的棋格效应问题。

附图说明

图1是本发明一个实施例提出的一种超分辨率图像重建方法流程图；

图2是本发明实施例提出的一种图像重建方法示意图，其中使用超分辨率卷积神经网络对低分辨率图像进行重建；

图3是本发明又一实施例提出的一种超分辨率图像重建方法流程图；

图4是本发明又一实施例提出的一种超分辨率图像重建方法中对超分辨率卷积神经网络进行高分辨率图像重建训练的方法示意图；

图5是本发明一个实施例提出的一种超分辨率图像重建装置框图；

图6是本发明又一个实施例提出的一种超分辨率图像重建装置框图；

图7是本发明又一个实施例提出的一种超分辨率图像重建装置的超分辨率卷积神经网络训练部件框图。

resize conv：超分辨率卷积神经网络的重采样卷积resize conv(Resizeconvolution)

conv 3x3：3x3的卷积层 deconv 3x3：3x3的反卷积层 conv 1x1：1x1的卷积层dilate conv 3x3：3x3的膨胀卷积层

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。

实施例1：

如图1、图2所示，本发明一个实施例提供一种超分辨率图像重建方法，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括如下步骤：

超分辨率卷积神经网络分辨率放大倍数S′确定步骤：根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′，其中超分辨率卷积神经网络分辨率放大倍数S′为重建得到的高分辨率图像的分辨率与超分辨率卷积神经网络输入层(输入层)图像的分辨率的比值，S′＝2^a，a为自然数，a为超分辨率卷积神经网络的反卷积层数L。

优选的，超分辨率卷积神经网络分辨率放大倍数S′为与目标分辨率放大倍数S相等或与目标分辨率放大倍数S邻近的两个2的a次幂整数中的一个。

当目标分辨率放大倍数S＝2^a时，如目标分辨率放大倍数S为2、4、8、16、32、64、128……，则目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，将输入的低分辨率图像作为后续超分辨率卷积神经网络的输入层的图像。

当目标分辨率放大倍数S不为2^a时，则对输入的低分辨率图像进行规整化，得到规整化后的低分辨率图像，使得超分辨率卷积神经网络分辨率放大倍数S′＝2^a，将规整化后的低分辨率图像作为后续超分辨率卷积神经网络输入层图像。

做为说明，当目标分辨率放大倍数S为3时，与3邻近的两个2的a次幂整数为2和4，此时可以选取2、4中的任一个作为超分辨率卷积神经网络分辨率放大倍数S′。

超分辨率卷积神经网络的确定步骤：根据所确定的超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络，所述超分辨率卷积神经网络的反卷积层数L＝a，所述超分辨率卷积神经网络具有L个反卷积层1,2,3,……L，对提取的图像数据进行分辨率放大。在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层，进行前一层图像的特征提取。

若超分辨率卷积神经网络分辨率放大倍数S′＝2¹，那么超分辨率卷积神经网络的反卷积层数L＝1；若超分辨率卷积神经网络分辨率放大倍数S′＝2²，那么超分辨率卷积神经网络的反卷积层数L＝2，若超分辨率卷积神经网络分辨率放大倍数S′＝2³，那么超分辨率卷积神经网络的反卷积层数L＝3，……，以此类推。

在本发明实施例的超分辨率卷积神经网络中，输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层，所述卷积层用于对前一层图像的特征进行提取，反卷积层用于对前一卷积层的图像数据进行2倍的分辨率放大。即，超分辨率卷积神经网络的输入层图像为输入的低分辨率图像或规整化后的低分辨率图像，输入层与第1反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，如在输入层与第1反卷积层之间包括两个卷积层的情况下，第一个卷积层对输入层的低分辨率图像进行特征提取，形成第一卷积层的图像，第二卷积层对第一卷积层的图像进行特征提取，形成第二卷积层的图像，第一反卷积层对第二卷积层的图像(对其前一卷积层的图像)进行反卷积形成第一反卷积层的图像；在第一反卷积层与第二反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第二反卷积层对其前一卷积层的图像进行反卷积形成第二反卷积层的图像；在第二反卷积层与第三反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第三反卷积层对其前一卷积层的图像进行反卷积形成第三反卷积层的图像；……；依次进行，直到在第L-1反卷积层与第L反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第L反卷积层对其前一卷积层的图像进行反卷积形成第L反卷积层的图像，即，所述超分辨率卷积神经网络的输出图像。优选的，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积，从而能够有效的缓解图像放大带来的棋格效应。

超分辨率卷积神经网络的输入层图像的确定步骤：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像。

如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

其中，采用超分辨率卷积神经网络的重采样卷积resize conv上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。

在一种情况下，当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值相等时，选取数值较大的作为超分辨率卷积神经网络分辨率放大倍数S′，从而采用下采样输入的低分辨率图像来规整化输入图像尺寸，以减小棋格效应。例如，当目标分辨率放大倍数S为3时，超分辨率卷积神经网络分辨率放大倍数S′取4，那么重采样卷积resize conv的下采样倍数为S/S′＝3/4＝0.75。

在另一种情况下，当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值不相等时，在与目标分辨率放大倍数S邻近的两个2的a次幂整数中，选取与目标分辨率放大倍数S的距离差值较小的一个作为超分辨率卷积神经网络分辨率放大倍数S′。例如，当目标分辨率放大倍数S为5时，与5邻近的两个2的a次幂整数为4和8，此时选取与5距离差值较小的4作为超分辨率卷积神经网络分辨率放大倍数S′，那么重采样卷积resize conv的下采样倍数为S/S′＝5/4＝1.25。

高分辨率图像生成步骤：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

需要说明的是，在实施例1的方法中，超分辨率卷积神经网络的确定步骤之前执行超分辨率卷积神经网络分辨率放大倍数S′确定步骤，通过执行超分辨率卷积神经网络分辨率放大倍数S′确定步骤确定一个超分辨率卷积神经网络分辨率放大倍数S′，进而根据所确定的超分辨率卷积神经网络分辨率放大倍数S′，在超分辨率卷积神经网络的确定步骤中确定所要使用的超分辨率卷积神经网络。本领域技术人员可以知道，能够使用任意分辨率放大倍数S′＝2^a的超分辨率卷积神经网络对低分辨率图像进行放大，只要在超分辨率卷积神经网络的输入层图像的确定步骤中调整超分辨率卷积神经网络的输入层图像尺寸即可。

实施例2：

如图3所示，本发明又一实施例提供一种超分辨率图像重建方法，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括如下步骤：

超分辨率卷积神经网络的确定步骤：确定分辨率放大倍数S′＝2^a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，所述超分辨率卷积神经网络具有L个反卷积层1,2,3,……L，对提取的图像数据进行分辨率放大。在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层，进行前一层图像的特征提取。

在本发明实施例的超分辨率卷积神经网络中，输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层，所述卷积层用于对前一层图像的特征进行提取，反卷积层用于对前一卷积层的图像数据进行2倍的分辨率放大。即，超分辨率卷积神经网络的输入层图像为输入的低分辨率图像或规整化后的低分辨率图像，输入层与第1反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，如在输入层与第1反卷积层之间包括两个卷积层的情况下，第一个卷积层对输入层的低分辨率图像进行特征提取，形成第一卷积层的图像，第二卷积层对第一卷积层的图像进行特征提取，形成第二卷积层的图像，第一反卷积层对第二卷积层的图像(对其前一卷积层的图像)进行反卷积形成第一反卷积层的图像；在第一反卷积层与第二反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第二反卷积层对其前一卷积层的图像进行反卷积形成第二反卷积层的图像；在第二反卷积层与第三反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第三反卷积层对其前一卷积层的图像进行反卷积形成第三反卷积层的图像；……；依次进行，直到在第L-1反卷积层与第L反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第L反卷积层对其前一卷积层的图像进行反卷积形成第L反卷积层的图像，即，所述超分辨率卷积神经网络的输出图像。优选的，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积，从而能够有效的缓解图像放大带来的棋格效应。

超分辨率卷积神经网络训练步骤：根据确定的超分辨率卷积神经网络，构建对照训练样本集，使用对照训练样本集对构建的超分辨率卷积神经网络结构进行训练，从低分辨率图像重建出高分辨率图像。

所述超分辨率卷积神经网络训练步骤具体包括：

对照训练样本集构建步骤：建立超分辨率卷积神经网络输入层的低分辨率图像与各反卷积层的高分辨率图像的对照训练样本集。其中，所述超分辨率卷积神经网络第L个反卷积层的高分辨率图像的分辨率与其对应的输入层的低分辨率图像的分辨率的比值等于超分辨率卷积神经网络分辨率放大倍数S′。在所述对照训练样本集中，一张低分辨率图像具有与其对应的超分辨率卷积神经网络的L个反卷积层的高分辨率图像。

超分辨率卷积神经网络学习步骤：使用构建的对照训练样本集训练超分辨率卷积神经网络。超分辨率卷积神经网络通过对对照训练样本集的深度学习，使得超分辨率卷积神经网络的各层图像逐步趋近于对照训练样本集中对应的高分辨率图像，如图4所示，对超分辨率卷积神经网络的各反卷积层的输出进行1x1卷积得到估计的高分辨率图像。

具体的，使用最小化损失Loss函数：

训练超分辨率卷积神经网络，其中：

表示由低分辨率图像估计得到的超分辨率卷积神经网络各层的高分辨率图像；

y表示对照训练样本集中与低分辨率图像对应的各层的高分辨率图像；

θ表示超分辨率网络的参数，如超分辨率卷积神经网络的卷积核；

表示超分辨率卷积神经网络的s层的估计得到的高分辨率图像，s∈[1,L]；

表示超分辨率卷积神经网络的s层的在对照训练样本集中与相应低分辨率图像对应的高分辨率图像；

N：表示训练样本总数，N为自然数；

L：表示超分辨率卷积神经网络的反卷积层数，L为自然数。

超分辨率卷积神经网络的输入层图像的确定步骤：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像。

如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

高分辨率图像生成步骤：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

实施例3：

如图5所示，本发明一个实施例提供一种超分辨率图像重建装置，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括：

超分辨率卷积神经网络分辨率放大倍数S′确定部件：根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′，其中超分辨率卷积神经网络分辨率放大倍数S′为重建得到的高分辨率图像的分辨率与超分辨率卷积神经网络输入层(输入层)图像的分辨率的比值，S′＝2^a，a为自然数，a为超分辨率卷积神经网络的反卷积层数L。

优选的，超分辨率卷积神经网络分辨率放大倍数S′为与目标分辨率放大倍数S相等或与目标分辨率放大倍数S邻近的两个2的a次幂整数中的一个。

当目标分辨率放大倍数S＝2^a时，如目标分辨率放大倍数S为2、4、8、16、32、64、128……，则目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，将输入的低分辨率图像作为后续超分辨率卷积神经网络的输入层的图像。

当目标分辨率放大倍数S不为2^a时，则对输入的低分辨率图像进行规整化，得到规整化后的低分辨率图像，使得超分辨率卷积神经网络分辨率放大倍数S′＝2^a，将规整化后的低分辨率图像作为后续超分辨率卷积神经网络输入层图像。

做为说明，当目标分辨率放大倍数S为3时，与3邻近的两个2的a次幂整数为2和4，此时可以选取2、4中的任一个作为超分辨率卷积神经网络分辨率放大倍数S′。

超分辨率卷积神经网络的确定部件：根据所确定的超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络，所述超分辨率卷积神经网络的反卷积层数L＝a，所述超分辨率卷积神经网络具有L个反卷积层1,2,3,……L，对提取的图像数据进行分辨率放大。在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层，进行前一层图像的特征提取。

若超分辨率卷积神经网络分辨率放大倍数S′＝2¹，那么超分辨率卷积神经网络的反卷积层数L＝1；若超分辨率卷积神经网络分辨率放大倍数S′＝2²，那么超分辨率卷积神经网络的反卷积层数L＝2，若超分辨率卷积神经网络分辨率放大倍数S′＝2³，那么超分辨率卷积神经网络的反卷积层数L＝3，……，以此类推。

在本发明实施例的超分辨率卷积神经网络中，输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层，所述卷积层用于对前一层图像的特征进行提取，反卷积层用于对前一卷积层的图像数据进行2倍的分辨率放大。即，超分辨率卷积神经网络的输入层图像为输入的低分辨率图像或规整化后的低分辨率图像，输入层与第1反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，如在输入层与第1反卷积层之间包括两个卷积层的情况下，第一个卷积层对输入层的低分辨率图像进行特征提取，形成第一卷积层的图像，第二卷积层对第一卷积层的图像进行特征提取，形成第二卷积层的图像，第一反卷积层对第二卷积层的图像(对其前一卷积层的图像)进行反卷积形成第一反卷积层的图像；在第一反卷积层与第二反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第二反卷积层对其前一卷积层的图像进行反卷积形成第二反卷积层的图像；在第二反卷积层与第三反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第三反卷积层对其前一卷积层的图像进行反卷积形成第三反卷积层的图像；……；依次进行，直到在第L-1反卷积层与第L反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第L反卷积层对其前一卷积层的图像进行反卷积形成第L反卷积层的图像，即，所述超分辨率卷积神经网络的输出图像。优选的，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积，从而能够有效的缓解图像放大带来的棋格效应。

超分辨率卷积神经网络的输入层图像的确定部件：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像。

如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

其中，采用超分辨率卷积神经网络的重采样卷积resize conv上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。

在一种情况下，当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值相等时，选取数值较大的作为超分辨率卷积神经网络分辨率放大倍数S′，从而采用下采样输入的低分辨率图像来规整化输入图像尺寸，以减小棋格效应。例如，当目标分辨率放大倍数S为3时，超分辨率卷积神经网络分辨率放大倍数S′取4，那么重采样卷积resize conv的下采样倍数为S/S′＝3/4＝0.75。

在另一种情况下，当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值不相等时，在与目标分辨率放大倍数S邻近的两个2的a次幂整数中，选取与目标分辨率放大倍数S的距离差值较小的一个作为超分辨率卷积神经网络分辨率放大倍数S′。例如，当目标分辨率放大倍数S为5时，与5邻近的两个2的a次幂整数为4和8，此时选取与5距离差值较小的4作为超分辨率卷积神经网络分辨率放大倍数S′，那么重采样卷积resize conv的下采样倍数为S/S′＝5/4＝1.25。

高分辨率图像生成部件：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

需要说明的是，在实施例3的装置中，包括超分辨率卷积神经网络分辨率放大倍数S′确定部件，该部件确定超分辨率卷积神经网络分辨率放大倍数S′，进而由超分辨率卷积神经网络的确定部件根据所确定的超分辨率卷积神经网络分辨率放大倍数S′确定所要使用的超分辨率卷积神经网络。本领域技术人员可以知道，可以无需超分辨率卷积神经网络分辨率放大倍数S′确定部件，使用任意分辨率放大倍数S′＝2^a的超分辨率卷积神经网络对低分辨率图像进行放大，只要由超分辨率卷积神经网络的输入层图像的确定部件调整超分辨率卷积神经网络的输入层图像尺寸即可。

实施例4：

如图6所示，本发明又一实施例提供一种超分辨率图像重建装置，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括：

超分辨率卷积神经网络的确定部件：确定分辨率放大倍数S′＝2^a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，所述超分辨率卷积神经网络具有L个反卷积层1,2,3,……L，对提取的图像数据进行分辨率放大。在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层，进行前一层图像的特征提取。

在本发明实施例的超分辨率卷积神经网络中，输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层，所述卷积层用于对前一层图像的特征进行提取，反卷积层用于对前一卷积层的图像数据进行2倍的分辨率放大。即，超分辨率卷积神经网络的输入层图像为输入的低分辨率图像或规整化后的低分辨率图像，输入层与第1反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，如在输入层与第1反卷积层之间包括两个卷积层的情况下，第一个卷积层对输入层的低分辨率图像进行特征提取，形成第一卷积层的图像，第二卷积层对第一卷积层的图像进行特征提取，形成第二卷积层的图像，第一反卷积层对第二卷积层的图像(对其前一卷积层的图像)进行反卷积形成第一反卷积层的图像；在第一反卷积层与第二反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第二反卷积层对其前一卷积层的图像进行反卷积形成第二反卷积层的图像；在第二反卷积层与第三反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第三反卷积层对其前一卷积层的图像进行反卷积形成第三反卷积层的图像；……；依次进行，直到在第L-1反卷积层与第L反卷积层之间的一个或多个卷积层对其前一层图像进行特征提取，第L反卷积层对其前一卷积层的图像进行反卷积形成第L反卷积层的图像，即，所述超分辨率卷积神经网络的输出图像。优选的，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积，从而能够有效的缓解图像放大带来的棋格效应。

超分辨率卷积神经网络训练部件：根据确定的超分辨率卷积神经网络，构建对照训练样本集，使用对照训练样本集对构建的超分辨率卷积神经网络结构进行训练，从低分辨率图像重建出高分辨率图像。

如图7所示，所述超分辨率卷积神经网络训练部件具体包括：

对照训练样本集构建部件：建立超分辨率卷积神经网络输入层的低分辨率图像与各反卷积层的高分辨率图像的对照训练样本集。其中，所述超分辨率卷积神经网络第L个反卷积层的高分辨率图像的分辨率与其对应的输入层的低分辨率图像的分辨率的比值等于超分辨率卷积神经网络分辨率放大倍数S′。在所述对照训练样本集中，一张低分辨率图像具有与其对应的超分辨率卷积神经网络的L个反卷积层的高分辨率图像。

超分辨率卷积神经网络学习部件：使用构建的对照训练样本集训练超分辨率卷积神经网络。超分辨率卷积神经网络通过对对照训练样本集的深度学习，使得超分辨率卷积神经网络的各层图像逐步趋近于对照训练样本集中对应的高分辨率图像，如图7所示。

具体的，使用最小化损失Loss函数：

训练超分辨率卷积神经网络，其中：

表示由低分辨率图像估计得到的超分辨率卷积神经网络各层的高分辨率图像；

y表示对照训练样本集中与低分辨率图像对应的各层的高分辨率HR图像；

θ表示超分辨率网络的参数，如超分辨率卷积神经网络的卷积核；

表示超分辨率卷积神经网络的s层的估计得到的高分辨率图像，s∈[1,L]；

表示超分辨率卷积神经网络的s层的在对照训练样本集中与相应低分辨率图像对应的高分辨率图像；

N：表示训练样本总数，N为自然数；

L：表示超分辨率卷积神经网络的反卷积层数，L为自然数。

超分辨率卷积神经网络的输入层图像的确定部件：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像。

如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

高分辨率图像生成部件：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种超分辨率图像重建方法，其特征在于，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括如下步骤：

超分辨率卷积神经网络的确定步骤：确定分辨率放大倍数S′＝2^a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；

超分辨率卷积神经网络的输入层图像的确定步骤：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；

高分辨率图像生成步骤：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

2.如权利要求1所述的方法，其特征在于，在所述超分辨率卷积神经网络的输入层图像的确定步骤中，如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

3.如权利要求2所述的方法，其特征在于，采用超分辨率卷积神经网络的重采样卷积上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。

4.如权利要求1所述的方法，其特征在于，所述方法还包括超分辨率卷积神经网络分辨率放大倍数S′确定步骤，其中，根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′＝2^a；

随后，在超分辨率卷积神经网络的确定步骤中，根据所确定的超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络。

5.如权利要求4所述的方法，其特征在于，所述超分辨率卷积神经网络分辨率放大倍数S′为与目标分辨率放大倍数S相等或与目标分辨率放大倍数S邻近的两个2的a次幂整数中的一个。

6.如权利要求5所述的方法，其特征在于，在超分辨率卷积神经网络分辨率放大倍数S′确定步骤中，当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值相等时，选取数值较大的作为超分辨率卷积神经网络分辨率放大倍数S′；当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值不相等时，在与目标分辨率放大倍数S邻近的两个2的a次幂整数中，选取与目标分辨率放大倍数S的距离差值较小的一个作为超分辨率卷积神经网络分辨率放大倍数S′。

7.如权利要求1所述的方法，其特征在于，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积。

8.如权利要求1-7之一所述的方法，其特征在于，所述方法还包括超分辨率卷积神经网络训练步骤，根据确定的超分辨率卷积神经网络，构建对照训练样本集，使用对照训练样本集对构建的超分辨率卷积神经网络结构进行训练。

9.如权利要求8所述的方法，其特征在于，所述超分辨率卷积神经网络训练步骤包括：

对照训练样本集构建步骤：建立超分辨率卷积神经网络输入层的低分辨率图像与各反卷积层的高分辨率图像的对照训练样本集，其中，所述超分辨率卷积神经网络第L个反卷积层的高分辨率图像的分辨率与其对应的输入层的低分辨率图像的分辨率的比值等于超分辨率卷积神经网络分辨率放大倍数S′，在所述对照训练样本集中，一张低分辨率图像具有与其对应的超分辨率卷积神经网络的L个反卷积层的高分辨率图像；

超分辨率卷积神经网络学习步骤：使用构建的对照训练样本集训练超分辨率卷积神经网络。

10.如权利要求9所述的方法，其特征在于，使用最小化损失Loss函数：

训练超分辨率卷积神经网络，其中：

表示由低分辨率图像估计得到的超分辨率卷积神经网络各层的高分辨率图像；

y表示对照训练样本集中与低分辨率图像对应的各层的高分辨率HR图像；

θ表示超分辨率网络的参数，如超分辨率卷积神经网络的卷积核；

表示超分辨率卷积神经网络的s层的估计得到的高分辨率图像，s∈[1,L]；

表示超分辨率卷积神经网络的s层的在对照训练样本集中与相应低分辨率图像对应的高分辨率图像；

N：表示训练样本总数，N为自然数；

L：表示超分辨率卷积神经网络的反卷积层数，L为自然数。

11.一种超分辨率图像重建装置，其特征在于，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括：

超分辨率卷积神经网络的确定部件：确定分辨率放大倍数S′＝2^a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；

超分辨率卷积神经网络的输入层图像的确定部件：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；

高分辨率图像生成部件：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

12.如权利要求11所述的装置，其特征在于，在所述超分辨率卷积神经网络的输入层图像的确定部件中，如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

13.如权利要求12所述的装置，其特征在于，采用超分辨率卷积神经网络的重采样卷积上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。

14.如权利要求11所述的装置，其特征在于，所述装置还包括超分辨率卷积神经网络分辨率放大倍数S′确定部件，其根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′＝2^a；

超分辨率卷积神经网络的确定部件根据超分辨率卷积神经网络分辨率放大倍数S′确定部件所确定的超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络。

15.如权利要求14所述的装置，其特征在于，所述超分辨率卷积神经网络分辨率放大倍数S′为与目标分辨率放大倍数S相等或与目标分辨率放大倍数S邻近的两个2的a次幂整数中的一个。

16.如权利要求15所述的装置，其特征在于，超分辨率卷积神经网络分辨率放大倍数S′确定部件当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值相等时，选取数值较大的作为超分辨率卷积神经网络分辨率放大倍数S′；当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值不相等时，在与目标分辨率放大倍数S邻近的两个2的a次幂整数中，选取与目标分辨率放大倍数S的距离差值较小的一个作为超分辨率卷积神经网络分辨率放大倍数S′。

17.如权利要求11所述的装置，其特征在于，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积。

18.如权利要求11-17之一所述的装置，其特征在于，所述方法还包括超分辨率卷积神经网络训练部件，根据确定的超分辨率卷积神经网络，构建对照训练样本集，使用对照训练样本集对构建的超分辨率卷积神经网络结构进行训练。

19.如权利要求18所述的装置，其特征在于，所述超分辨率卷积神经网络训练部件包括：

对照训练样本集构建部件：建立超分辨率卷积神经网络输入层的低分辨率图像与各反卷积层的高分辨率图像的对照训练样本集，其中，所述超分辨率卷积神经网络第L个反卷积层的高分辨率图像的分辨率与其对应的输入层的低分辨率图像的分辨率的比值等于超分辨率卷积神经网络分辨率放大倍数S′，在所述对照训练样本集中，一张低分辨率图像具有与其对应的超分辨率卷积神经网络的L个反卷积层的高分辨率图像；

超分辨率卷积神经网络学习部件：使用构建的对照训练样本集训练超分辨率卷积神经网络。

20.如权利要求19所述的装置，其特征在于，使用最小化损失Loss函数：

训练超分辨率卷积神经网络，其中：

表示由低分辨率图像估计得到的超分辨率卷积神经网络各层的高分辨率图像；

y表示对照训练样本集中与低分辨率图像对应的各层的高分辨率HR图像；

θ表示超分辨率网络的参数，如超分辨率卷积神经网络的卷积核；

表示超分辨率卷积神经网络的s层的估计得到的高分辨率图像，s∈[1,L]；

表示超分辨率卷积神经网络的s层的在对照训练样本集中与相应低分辨率图像对应的高分辨率图像；

N：表示训练样本总数，N为自然数；

L：表示超分辨率卷积神经网络的反卷积层数，L为自然数。

21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时如权利要求1-10之一所述方法的步骤。

22.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-10之一所述方法的步骤。