CN108734661A - 基于图像纹理信息构建损失函数的高分辨率图像预测方法 - Google Patents

Abstract

本发明公开了一种基于图像纹理信息构建损失函数的高分辨率图像预测方法。首先随机初始化SRCNN卷积神经网络的连接权重与偏置，并设置网络参数；将训练数据预处理后获得高、低分辨率图像对训练集；接着将低分辨率图像输入网络框架，得到网络输出的高分辨率图像；然后，采用考虑图像纹理信息的损失函数进行误差计算，如果未达到迭代次数则进行权值修正，最终得到训练好的网络；在测试阶段，输入低分辨率图像至训练好的网络，得到预测的高分辨率图像。本发明构建的损失函数不仅可以度量像素损失，而且还可以度量图像纹理信息损失，克服了SRCNN卷积神经网络超分辨算法的不足，有效实现了SRCNN算法性能的进一步提升。

Description

基于图像纹理信息构建损失函数的高分辨率图像预测方法

技术领域

本发明涉及一种图像预测方法，尤其涉及基于深度学习的图像预测方法，属于人工智能技术领域。

背景技术

深度学习(Deep Learning)作为近几年来计算机视觉和模式识别中的研究重点，受到了学者们越来越多的研究关注，以深度学习理论为基础的图像超分辨技术更是发展迅速。目前，在诸多研究成果中，从合理构建损失函数角度开展深度学习超分辨算法性能提升的研究层出不穷，且对图像超分辨质量产生了许多有益的效果。比如：

[1]Ledig C,Wang Z,Shi W,et al.Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[C]//ComputerVisionandPattern Recognition.IEEE,2017。

[2]Yu X,Porikli F.Ultra-Resolving Face Images by DiscriminativeGenerative Networks[J].2016。

[3]Bruna J,Sprechmann P,Lecun Y.Super-Resolution with DeepConvolutional Sufficient Statistics[J].Computer Science,2015。

在SRCNN算法中(具体参考：Dong C,Chen C L,He K,et al.Learning a DeepConvolutional Network for Image Super-Resolution[J].2014,8692:184-199.)，使用的损失函数为MSE(mean squared error，均方误差)函数，如式(1)所示：

其中，n是训练样本的数量，F是高低分辨率图像端到端的映射函数，Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}表示SRCNN三层卷积神经网络的权重和偏置，式(1)表示超分辨率图像F(Y；Θ)和实际高分辨率图像X之间损失函数。

然而，通过最小化上述损失函数获得的超分辨图像细节特征仍然不够丰富和明显，图像的很多重要细节显得过于平滑。分析原因可以发现：MSE损失函数仅能简单衡量网络输出的高分辨率图像和真实高分辨率图像之间在像素值上的差异，而不能从图像纹理等区域结构的角度去衡量图像信息的变化与区别。所以，仅从像素值这一低级特征角度去衡量超分辨图像和真实高分辨率图像之间的差异显然是不够的。

因此，从更高级别的图像特征衡量超分辨图像和真实图像之间的损失，进一步提高损失函数感知图像细节特征变化的能力，从而提高深度学习超分辨算法性能是非常必要的。

发明内容

本发明所要解决的技术问题是：为克服SRCNN算法的不足，提出一种考虑图像纹理信息损失的高分辨率图像预测方法，以改善SRCNN超分辨算法的性能，实现高分辨率图像的预测。

本发明为解决上述技术问题采用以下技术方案：

一种基于图像纹理信息构建损失函数的高分辨图像预测方法，包括如下步骤：

步骤1、网络初始化：随机初始化SRCNN卷积神经网络的连接权重与偏置，并设置网络参数，包括：卷积核尺寸、卷积核数量、学习率、移动步长、迭代次数；

步骤2、训练数据预处理：用双三次插值扩展训练图像数据集，获得高、低分辨率图像对训练集；

步骤3、网络预测：将低分辨率图像输入基于SRCNN卷积神经网络框架，得到网络输出的高分辨率图像；

步骤4、误差计算：计算网络输出的高分辨率图像和步骤2所得高分辨率图像的损失函数值，判断迭代次数是否达到预设，如果是，则网络训练结束，转入步骤6；如果否，则转入步骤5；

步骤5、权值修正：计算步骤4中损失函数的梯度，采用经典随机梯度下降法修正网络权值，然后转入步骤3；

步骤6、输出结果：获得网络训练后各类参数的最优结果，得到训练好的网络；

步骤7、测试阶段：输入低分辨率图像至训练好的网络，得到预测的高分辨率图像。

进一步的，本发明所提出的高分辨率图像预测方法，步骤3中所述SRCNN卷积神经网络共三层，训练库的图像经过第一层卷积层后得到特征图，再经过Sigmoid激活函数；然后，经过第二层卷积层得到特征图，再经过Sigmoid激活函数；最后经过第三层对特征进行卷积运算，得到网络输出的高分辨率图像。

进一步的，本发明所提出的高分辨率图像预测方法，SRCNN卷积神经网络分为三个卷积层，其中：卷积核尺寸分别设为7×7，1×1，5×5；卷积核数量分别设置为64，32，3；学习率设置：第一层为10^-5，第二层为10^-6，第三层为10^-7；移动步长为1×1；迭代次数设为15；

每一层权重初始化均值为0、标准差为0.001的高斯分布，每一层的偏置初始化为0，每一层卷积输出均采用Sigmoid函数为激活函数。

进一步的，本发明所提出的高分辨率图像预测方法，步骤4中计算网络输出高分辨率图像和步骤2所得高分辨率图像的损失函数值，所述损失函数值包括像素值损失，以及按一定权重计算的图像纹理信息损失，如下式：

L_MSE-V＝L_MSE+λL_VAR，

其中，L_MSE-V为损失函数，L_MSE为经典MSE损失函数，表示图像像素值损失；L_VAR为图像纹理特征损失，实现高、低分辨率图像块各自方差的绝对差计算；λ为权重系数。

进一步的，本发明所提出的高分辨率图像预测方法，图像像素值损失L_MSE函数具体计算方法如下：

图像纹理特征损失L_VAR函数具体计算方法如下：

其中，I^HR表示高分辨率图像块，I^LR表示低分辨率图像块，F(I^LR)为超分辨率图像块，var(.)为对图像块求方差，和分别表示对应图像块的均值，W为图像块的宽，单位为像素，H为图像块的高，单位为像素，x和y为图像的像素的下标索引。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明构建了一个考虑图像纹理信息的损失函数，该损失函数包括一个均方误差损失函数和一个纹理信息损失函数。本发明构建的损失函数不仅可以度量像素损失，而且还可以度量图像纹理特征损失，将该损失函数与SRCNN算法结合，可以实现SRCNN算法性能的进一步提升，输入低分辨率图像实现高分辨率图像的预测，有非常实际的应用价值。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明在SRCNN超分辨算法框架下，构建了一种新的基于MSE和图像方差最小化的损失函数。本发明提出的损失函数以MSE为基础，在计算像素值损失的同时按一定权重计算区域纹理特征损失，可以表达为式(2)。

L_MSE-V＝L_MSE+λL_VAR (2)

其中，L_MSE-V为总损失函数，L_MSE为经典MSE损失函数，表示图像像素值损失，具体表达如式(3)；L_VAR为图像纹理特征损失，实现高、低分辨率图像块各自方差的绝对差计算，具体表达如式(4)；λ为权重系数。

将该损失函数应用到SRCNN算法框架中，则可以提高超分辨算法对图像纹理细节的捕捉和感知能力，从而提高超分辨图像质量。

在表达式(3)和(4)中，I^HR表示高分辨率图像块，I^LR表示低分辨率图像块，F(I^LR)为超分辨图像块，var(.)为对图像块求方差，和分别图像块的均值，W为图像块的宽(单位：像素)，H为图像块的高(单位：像素)，x和y为图像的像素的下标索引。

如图1所示，是本发明的流程图，具体步骤如下：

步骤1、SRCNN卷积神经网络初始化：随机初始化网络连接权重与偏置，设置网络卷积核尺寸、数量、学习率、步长、迭代次数等参数。

步骤2、训练数据预处理：用双三次插值对原始高分辨率图像操作，扩展图像数据集，获得高、低分辨率图像对。

步骤3、网络预测：采用基于SRCNN网络框架得到网络预测的高分辨率图像。SRCNN网络共三层，训练库的图像经过第一层卷积层后得到特征图，再经过Sigmoid激活函数；然后，经过第二层卷积层得到特征图，再经过Sigmoid激活函数；最后经过第三层对特征进行卷积运算，得到网络输出的高分辨率图像。

步骤4、计算网络输出高分辨率图像和真实高分辨率图像的损失函数值，判断迭代次数是否到达预设，如果迭代次数到达预设，则网络训练结束，转入步骤6；如果迭代次数未到达预设，则转入步骤5。

步骤5、权值修正：计算步骤4中损失函数的梯度，采用经典随机梯度下降法修正网络权值，然后转入步骤3。

步骤6、输出结果：获得网络训练后各类参数的最优结果。

步骤7、测试阶段：输入低分辨率图像输入至训练好的网络，得到预测的高分辨率图像。

下面结合一个具体实施例来进一步详细介绍本发明的具体步骤：

步骤1、SRCNN卷积神经网络初始化：1)设置网络卷积核尺寸，SRCNN网络分为三个卷积层，卷积核尺寸分别设为7×7，1×1，5×5；卷积核数量分别设置为64，32，3；学习率设置为第一层为10^-5，第二层为10^-6，第三层为10^-7；移动步长为1×1；迭代次数设为15；2)每一层权重初始化均值为0、标准差为0.001的高斯分布，每一层的偏置初始化为0，每一层卷积输出均采用Sigmoid函数为激活函数。

步骤2、训练数据预处理：用双三次插值对原始高分辨率图像操作，扩展图像数据集，获得高分辨率图像和低分辨率图像对。

步骤3、网络预测：采用基于SRCNN网络框架得到网络预测的高分辨率图像。SRCNN网络共三层，训练库的图像经过第一层卷积层后得到特征图，再经过Sigmoid激活函数；然后，经过第二层卷积层得到特征图，再经过Sigmoid激活函数；最后经过第三层对特征进行卷积运算，得到网络输出的高分辨率图像。

步骤4、误差计算：计算网络输出高分辨率图像和真实高分辨率图像的损失函数值，判断迭代次数是否到达预设，如果迭代次数到达预设，则网络训练结束，转入步骤6；如果迭代次数未到达预设，则转入步骤5。

步骤5、权值修正：计算步骤4中损失函数的梯度，采用经典随机梯度下降法修正网络权值，然后转入步骤3。

步骤6、输出结果：获得网络训练后各类参数的最优结果。

步骤7、测试阶段：输入低分辨率图像输入至训练好的网络，得到预测的高分辨率图像。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于图像纹理信息构建损失函数的高分辨率图像预测方法，其特征在于，包括如下步骤：

步骤1、网络初始化：随机初始化SRCNN卷积神经网络的连接权重与偏置，并设置网络参数，包括：卷积核尺寸、卷积核数量、学习率、移动步长、迭代次数；

步骤2、训练数据预处理：用双三次插值扩展训练图像数据集，获得高、低分辨率图像对训练集；

步骤3、网络预测：将低分辨率图像输入基于SRCNN卷积神经网络框架，得到网络输出的高分辨率图像；

步骤4、误差计算：计算网络输出的高分辨率图像和步骤2所得高分辨率图像的损失函数值，判断迭代次数是否达到预设，如果是，则网络训练结束，转入步骤6；如果否，则转入步骤5；

步骤5、权值修正：计算步骤4中损失函数的梯度，采用经典随机梯度下降法修正网络权值，然后转入步骤3；

步骤6、输出结果：获得网络训练后各类参数的最优结果，得到训练好的网络；

步骤7、测试阶段：输入低分辨率图像至训练好的网络，得到预测的高分辨率图像。

2.根据权利要求1所述的方法，其特征在于，步骤3中所述SRCNN卷积神经网络共三层，训练库的图像经过第一层卷积层后得到特征图，再经过Sigmoid激活函数；然后，经过第二层卷积层得到特征图，再经过Sigmoid激活函数；最后经过第三层对特征进行卷积运算，得到网络输出的高分辨率图像。

3.根据权利要求1或2所述的方法，其特征在于，SRCNN卷积神经网络分为三个卷积层，其中：卷积核尺寸分别设为7×7，1×1，5×5；卷积核数量分别设置为64，32，3；学习率设置：第一层为10^-5，第二层为10^-6，第三层为10^-7；移动步长为1×1；迭代次数设为15；

每一层权重初始化均值为0、标准差为0.001的高斯分布，每一层的偏置初始化为0，每一层卷积输出均采用Sigmoid函数为激活函数。

4.根据权利要求1所述的方法，其特征在于：步骤4中计算网络输出高分辨率图像和步骤2所得高分辨率图像的损失函数值，所述损失函数值包括像素值损失，以及按一定权重计算的图像纹理信息损失，如下式：

L_MSE-V＝L_MSE+λL_VAR，

其中，L_MSE-V为损失函数，L_MSE为经典MSE损失函数，表示图像像素值损失；L_VAR为图像纹理特征损失，实现高、低分辨率图像块各自方差的绝对差计算；λ为权重系数。

5.根据权利要求4所述的方法，其特征在于：

图像像素值损失L_MSE函数具体计算方法如下：

图像纹理特征损失L_VAR函数具体计算方法如下：

其中，I^HR表示高分辨率图像块，I^LR表示低分辨率图像块，F(I^LR)为超分辨率图像块，var(.)为对图像块求方差，和分别表示对应图像块的均值，W为图像块的宽，单位为像素，H为图像块的高，单位为像素，x和y为图像的像素的下标索引。