CN111008930B - 一种织物图像超分辨率重建方法 - Google Patents

Abstract

本发明属于深度学习领域，涉及一种织物图像超分辨率重建方法，广泛应用于颜色分析，纹理结构研究，模式识别等领域。本发明首先对采集到的图像进行分组并下采样，然后利用生成对抗网络GAN和Resnet50网络的基本结构，搭建一个SRGAN网络，再利用预处理的织物图像作为输入对网络分三步进行训练。训练完成后用测试数据集进行测试，用PSNR评价网络性能。本方法不仅能较大的提升织物图像的分辨率，而且细节部分更加丰富，具有理想的鲁棒性和广泛的适用性。

Description

一种织物图像超分辨率重建方法

技术领域

本发明涉及一种织物图像超分辨率重建方法，属于深度学习领域，是一种基于深度学习的织物图像超分辨率重建方法。

背景技术

在织物纹理结构的研究上，由于设备有限或不可抗因素，采集的织物图像可能模糊不清，无法精准地提取有效信息，而图像超分辨率重建技术利用一组低质量、低分辨率图像来产生单幅高质量、高分辨率图像，使得图像更加清晰且利于有效信息的提取。目前图像超分辨率重建已在军事、遥感、医学、公共安全和计算机视觉等领域得到了广泛应用。图像超分辨重建技术主要分为两类：基于重建的方法、基于学习的方法。

基于重建的方法主要依据均衡及非均衡采样定理，其中主要包括频域法和空域法。频域法通过离散傅里叶变换和连续傅里叶变换得到复原高分辨率图像公式，解混叠而改善图像的空间分辨率从而实现原始图像的准确复原；空域法主要包括非均匀空间样本内插、迭代反投影方法、最优和自适应滤波方法等，具有很强的包含空域先验约束的能力。

基于学习的方法是将高分辨率图像按照降质模型进行降质，产生训练集，再根据高分辨率图像的低频部分和高频部分对应关系对图像分块，通过一定算法进行学习，获得先验知识，建立学习模型，最后以输入的低分辨率块为依据，在建立好的训练集中搜索最匹配的高频快，从而获得高分辨率的图像。在深度学习的方法中，建立学习模型是关键所在。马尔科夫随机场模型是针对空间关系建模，但其本身不易根据条件概率求联合概率，条件概率本身受制于不明且高度限制的条件，所以应用受到很大程度的限制。神经网络模型可解决线性不可分问题，引入了多级网络，其核心在估计网络隐含层神经元的误差，是目前应用最广泛的一种学习模型。主成分分析模型利用降维，在损失很少信息的前提下把多个指标转化为几个综合指标，使得主成分比原始数据更具有优越的代表性。

发明内容

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种色纺织物图像超分辨率重建的方法，其特征在于，包括以下步骤：

步骤1：从多光源灯箱获取各种颜色的色纺织物图像若干张；

步骤2：将所有的图片色纺织物图像在MATLAB中进行下采样，把高分辨率色纺织物图像作为高分辨率图片数据集HR，把低分辨率色纺织物图像作为低分辨率图片数据集LR，下采样的方法为最近邻插值法，公式如下：

式中，h和w为原始图像的高和宽，(x,y)为原始图像上的像素值，H和W为目标图像的高和宽，(X,Y)为目标图像上的像素值。

得到了目标图像上面的像素点(X,Y)对应到原始图像上面像素点的位置(x,y)。

步骤3：利用生成式对抗网络GAN和ResNet50的基本架构，设计一个图像超分辨率重建网络SRGAN。包括以下子步骤：

步骤3.1：搭建生成式对抗网络GAN，对应的优化函数如下：

式3.1中，包含了对生成器G和判决器D总体的优化。P_data表示真实数据的分布，P_z表示噪音(输入数据)的分布，E代表数学期望；

式3.2为判决器D的优化函数，其中D(x)表示真实的样本，z为随机的输入，G(z)表示生成的样本，判决器D优化的目标是让D(x)对真实的样本判别结果趋近于1，让D(G(z))趋近于0；

式3.3为生成器G的优化函数，生成器G优化的目标式让判决结果D(G(z))趋近于1。

步骤3.2：搭建ResNet50网络，ResNet50由49个卷积层和一个全连接层构成，ResNet50网络中特有的残差模块，能够解决GAN网络由于网络层数的增加出现了信息的丢失而产生的过拟合的问题，而且也能使低分辨率图片LR超分辨率后产生的高分辨率图片SR细节更加丰富；

步骤4：SRGAN包含了两个网络，分别是生成式对抗网络GAN和ResNet50。其中生成式对抗网络GAN由生成器网络generator和判决器网络discriminator组成。

将步骤2得到的高分辨率图片数据集HR和低分辨率图片数据集LR分为两组，一组为高分辨率图片训练集HR和低分辨率图片训练集LR用于网络的训练，另一组为高分辨率图片测试集HR和低分辨率图片测试集LR用于网络的测试。由于神经网络的层数过多，在CPU上训练的速度会非常慢，所以本发明的代码全部是在NVIDIA GTX1080显卡上运行完成的，包括以下子步骤：

步骤4.1：在SRResnettask下训练SRResnet网络，生成网络generator的输入是训练数据集中的低分辨率图片训练集LR，输出是低分辨率图片LR经过网络超分辨率之后的高分辨率图片SR，用训练数据集中高分辨率图片HR和SR一起来优化生成网络generator的误差content loss，迭代次数为100万次。content loss为输入图像和输出图像像素点的误差，在训练SRResnet时使用的是均方误差，公式如下：

式中,y_SR是生成网络generator生成的单张高分辨率图片SR,是真实高分率图片HR的均值，m为迭代次数，MSE表示的是真实高分辨率图片HR与生成网络generator生成的高分辨率图片SR的均方误差。

步骤4.2：保留步骤4.1中生成器generator中所有参数，随机初始化判决器discriminator的网络参数，优化生成器generator新的损失content loss，交叉优化判决器的目标函数，公式如下：

式中，判决器的目标函数分为两个部分，一部分由生成图片经过判决器的输出结果决定，另一部分由真实图片经过判决器的输出结果决定。迭代50万次。

步骤4.3：保留步骤4.2中的生成器和判决器的所有网络参数，引入ResNet网络，用预训练的ResNet网络作为基础来优化Resnetloss，用ResNet网络分别提取真实图片HR和生成的高分辨率图片SR的特征，求HR和SR特征向量之间的欧氏距离，公式如下：

式中，φ_i,j表示ResNet50网络中的第i个最大池化层之前的第j次卷积提取的特征向量，I^HR表示真实的高分辨率图片HR，表示低分辨率图片LR由生成器generator生成的高分辨率图片SR。W_i,j和H_i,j表示的是ResnNet50网络中各个特征图的维数。

通过计算真实的高分辨率图片HR和生成器generator生成的高分辨率图片SR的欧式距离作为损失函数，能使生成的图片细节更加丰富，迭代次数为20万次。

步骤5：训练完成之后将步骤4中得到的低分辨率图片数据集LR用来测试，用峰值信噪比PSNR来衡量网络性能，公式如下：

式中，为真实高分辨率图片HR可能的最大像素值。MSE为真实高分辨率图片HR与网络生成的高分辨率图片SR的均方误差。

因此，本发明具有如下优点，相对于其他超分辨算法来讲，GAN网络与ResNet50网络的结合对于不同种类的织物具有普适性，生成的高分辨率图片细节更加丰富，而且更加逼真，具有理想的鲁棒性和广泛的适用性。

附图说明

附图1是本发明的方法流程示意图。

附图2是本发明的网络结构示意图(k为卷积核的大小，n为特征映射数，n为步长)。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明包括以下步骤：

步骤1：从多光源灯箱获取各种颜色的色纺织物图像若干张；

步骤2：将所有的图片色纺织物图像在MATLAB中进行下采样，把高分辨率色纺织物图像作为高分辨率图片数据集HR，把低分辨率色纺织物图像作为低分辨率图片数据集LR，下采样的方法为最近邻插值法，公式如下：

式中，h和w为原始图像的高和宽，(x,y)为原始图像上的像素值，H和W为目标图像的高和宽，(X,Y)为目标图像上的像素值。

得到了目标图像上面的像素点(X,Y)对应到原始图像上面像素点的位置(x,y)。

步骤3：利用生成式对抗网络GAN和ResNet50的基本架构，设计一个图像超分辨率重建网络SRGAN。包括以下子步骤：

步骤3.1：搭建生成式对抗网络GAN，对应的优化函数如下：

式3.1中，包含了对生成器G和判决器D总体的优化。P_data表示真实数据的分布，P_z表示噪音(输入数据)的分布，E代表数学期望；

式3.2为判决器D的优化函数，其中D(x)表示真实的样本，z为随机的输入，G(z)表示生成的样本，判决器D优化的目标是让D(x)对真实的样本判别结果趋近于1，让D(G(z))趋近于0；

式3.3为生成器G的优化函数，生成器G优化的目标式让判决结果D(G(z))趋近于1。

步骤3.2：搭建ResNet50，ResNet50的加入可以解决GAN网络由于网络层数的增加出现了信息的丢失而产生的过拟合的问题，而且也能使低分辨率图片LR超分辨率后产生的高分辨率图片SR细节更加丰富。

步骤4：SRGAN包含了两个网络，分别是生成式对抗网络GAN和ResNet50。其中生成式对抗网络GAN由生成器网络generator和判决器网络discriminator组成。

将步骤2得到的高分辨率图片数据集HR和低分辨率图片数据集LR分为两组，一组为高分辨率图片训练集HR和低分辨率图片训练集LR用于网络的训练，另一组为高分辨率图片测试集HR和低分辨率图片测试集LR用于网络的测试。由于神经网络的层数过多，在CPU上训练的速度会非常慢，所以本发明的代码全部是在NVIDIA GTX1080显卡上运行完成的，包括以下子步骤：

步骤4.1：在SRResnettask下训练SRResnet网络，生成网络generator的输入是训练数据集中的低分辨率图片训练集LR，输出是低分辨率图片LR经过网络超分辨率之后的高分辨率图片SR，用训练数据集中高分辨率图片HR和SR一起来优化生成网络generator的误差content loss，迭代次数为100万次。content loss为输入图像和输出图像像素点的误差，在训练SRResnet时使用的是均方误差，公式如下：

式中,y_SR是生成网络generator生成的单张高分辨率图片SR,是真实高分率图片HR的均值，m为迭代次数，MSE表示的是真实高分辨率图片HR与生成网络generator生成的高分辨率图片SR的均方误差。

步骤4.2：保留步骤4.1中生成器generator中所有参数，随机初始化判决器discriminator的网络参数，优化生成器generator新的损失content loss，交叉优化判决器的目标函数，公式如下：

式中，判决器的目标函数分为两个部分，一部分由生成图片经过判决器的输出结果决定，另一部分由真实图片经过判决器的输出结果决定。迭代50万次。

步骤4.3：保留步骤4.2中的生成器和判决器的所有网络参数，引入ResNet网络，用预训练的ResNet网络作为基础来优化Resnetloss，用ResNet网络分别提取真实图片HR和生成的高分辨率图片SR的特征，求HR和SR特征向量之间的欧氏距离，公式如下：

式中，φ_i,j表示ResNet50网络中的第i个最大池化层之前的第j次卷积提取的特征向量，I^HR表示真实的高分辨率图片HR，表示低分辨率图片LR由生成器generator生成的高分辨率图片SR。W_i,j和H_i,j表示的是ResnNet50网络中各个特征图的维数。

通过计算真实的高分辨率图片HR和生成器generator生成的高分辨率图片SR的欧式距离作为损失函数，能使生成的图片细节更加丰富，迭代次数为20万次。

步骤5：训练完成之后将步骤4中得到的低分辨率图片数据集LR用来测试，用峰值信噪比PSNR来衡量网络性能，公式如下：

式中，为真实高分辨率图片HR可能的最大像素值。MSE为真实高分辨率图片HR与网络生成的高分辨率图片SR的均方误差。

因此，本发明具有如下优点，相对于其他超分辨算法来讲，GAN网络与ResNet50网络的结合对于不同种类的织物具有普适性，生成的高分辨率图片细节更加丰富，而且更加逼真，具有理想的鲁棒性和广泛的适用性。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种织物图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：从多光源灯箱获取各种颜色的色纺织物图像若干张；

步骤2：将所有的图片色纺织物图像在MATLAB中进行下采样，把高分辨率色纺织物图像作为高分辨率图片数据集HR，把低分辨率色纺织物图像作为低分辨率图片数据集LR，下采样的方法为最近邻插值法，公式如下：

式中，h和w为原始图像的高和宽，(x,y)为原始图像上的像素值，H和W为目标图像的高和宽，(X,Y)为目标图像上的像素值；

得到了目标图像上面的像素点(X,Y)对应到原始图像上面像素点的位置(x,y)；

步骤3：利用生成式对抗网络GAN和ResNet50的基本架构，设置图像超分辨率重建网络SRGAN；包括以下子步骤：

步骤3.1：搭建生成式对抗网络GAN，对应的优化函数如下：

式3.1中，包含了对生成器G和判决器D总体的优化；P_data表示真实数据的分布，P_z表示噪音，即输入数据的分布，E代表数学期望；

式3.2为判决器D的优化函数，其中D(x)表示真实的样本，z为随机的输入，G(z)表示生成的样本，判决器D优化的目标是让D(x)对真实的样本判别结果趋近于1，让D(G(z))趋近于0；

式3.3为生成器G的优化函数，生成器G优化的目标式让判决结果D(G(z))趋近于1；

步骤3.2：搭建ResNet50网络，ResNet50由49个卷积层和一个全连接层构成；

步骤4：SRGAN包含了两个网络，分别是生成式对抗网络GAN和ResNet50；其中生成式对抗网络GAN由生成器网络generator和判决器网络discriminator组成；

将步骤2得到的高分辨率图片数据集HR和低分辨率图片数据集LR分为两组，一组为高分辨率图片训练集HR和低分辨率图片训练集LR用于网络的训练，另一组为高分辨率图片测试集HR和低分辨率图片测试集LR用于网络的测试；由于神经网络的层数过多，在CPU上训练的速度会非常慢，所以代码全部是在NVIDIA GTX1080显卡上运行完成的，包括以下子步骤：

步骤4.1：在SRResnettask下训练SRResnet网络，生成网络generator的输入是训练数据集中的低分辨率图片训练集LR，输出是低分辨率图片LR经过网络超分辨率之后的高分辨率图片SR，用训练数据集中高分辨率图片HR和SR一起来优化生成网络generator的误差content loss，迭代次数为100万次；content loss为输入图像和输出图像像素点的误差，在训练SRResnet时使用的是均方误差，公式如下：

式中,y_SR是生成网络generator生成的单张高分辨率图片SR,是真实高分率图片HR的均值，m为迭代次数，MSE表示的是真实高分辨率图片HR与生成网络generator生成的高分辨率图片SR的均方误差；

步骤4.2：保留步骤4.1中生成器generator中所有参数，随机初始化判决器discriminator的网络参数，优化生成器generator新的损失content loss，交叉优化判决器的目标函数，公式如下：

式中，判决器的目标函数分为两个部分，一部分由生成图片经过判决器的输出结果决定，另一部分由真实图片经过判决器的输出结果决定；迭代50万次；

步骤4.3：保留步骤4.2中的生成器和判决器的所有网络参数，引入ResNet网络，用预训练的ResNet网络作为基础来优化Resnetloss，用ResNet网络分别提取真实图片HR和生成的高分辨率图片SR的特征，求HR和SR特征向量之间的欧氏距离，公式如下：

式中，φ_i,j表示ResNet50网络中的第i个最大池化层之前的第j次卷积提取的特征向量，I^HR表示真实的高分辨率图片HR，表示低分辨率图片LR由生成器generator生成的高分辨率图片SR；W_i,j和H_i,j表示的是ResnNet50网络中各个特征图的维数；

通过计算真实的高分辨率图片HR和生成器generator生成的高分辨率图片SR的欧式距离作为损失函数，能使生成的图片细节更加丰富，迭代次数为20万次；

步骤5：训练完成之后将步骤4中得到的低分辨率图片数据集LR用来测试，用峰值信噪比PSNR来衡量网络性能，公式如下：

式中，为真实高分辨率图片HR可能的最大像素值；MSE为真实高分辨率图片HR与网络生成的高分辨率图片SR的均方误差。