CN115115514A - 基于高频信息特征融合的图像超分辨率重建方法 - Google Patents

基于高频信息特征融合的图像超分辨率重建方法 Download PDF

Info

Publication number
CN115115514A
CN115115514A CN202210716324.XA CN202210716324A CN115115514A CN 115115514 A CN115115514 A CN 115115514A CN 202210716324 A CN202210716324 A CN 202210716324A CN 115115514 A CN115115514 A CN 115115514A
Authority
CN
China
Prior art keywords
output
image
layer
frequency information
input end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210716324.XA
Other languages
English (en)
Inventor
薛涵博
雷景生
杨胜英
韩睿
张弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lover Health Science and Technology Development Co Ltd
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd, Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN202210716324.XA priority Critical patent/CN115115514A/zh
Publication of CN115115514A publication Critical patent/CN115115514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

本发明公开了一种基于高频信息特征融合的图像超分辨率重建方法，其构建生成网络，包括特征预提取模块、残差网络、上采样模块、输出模块；使用训练图像集对生成网络进行预训练，得到生成网络预训练模型；构建基于高频信息特征融合的生成对抗网络，包括生成网络和判别网络，生成网络加载生成网络预训练模型，判别网络由高频信息蒸馏模块、高频信息特征提取模块、图像特征提取模块、特征融合模块以及像素域判别模块组成；使用训练图像集对生成网络和判别网络进行对抗训练，得到生成网络训练模型和判别网络训练模型；生成网络训练模型根据测试图像集中的每幅低分辨率图像生成对应的超分辨率图像；优点是利用其重建的重建图像的纹理细节更丰富。

Description

基于高频信息特征融合的图像超分辨率重建方法
技术领域
本发明涉及计算机视觉及人工智能技术，尤其是涉及一种基于高频信息特征融合的图像超分辨率重建方法。
背景技术
单图超分辨率(SR，super resolution)的作用就是使低分辨率(LR，lowresolution)图像恢复到高分辨率(HR，high resolution)图像，其在计算机视觉领域一直都是一个活跃的话题，在医学影像、相机摄影和气象检测等领域有着重要的应用价值。单图超分辨率是一个典型的不适定问题，问题没有唯一解，每一个低分辨率可以生成多个高分辨率，目前的图像超分辨率方法主要是学习高分辨率图像和低分辨率图像之间的映射，使超分辨率图像更加接近高分辨率图像。
传统的图像超分辨率方法有线性插值方法、双三次插值方法、双线性插值方法以及Lanczos滤波器方法，这些方法具有速度快的优点，但是处理后的图像会表现出严重的纹理缺失现象，这是因为传统的图像超分辨率方法并没有根据高分辨率图像和低分辨率图像之间的映射关系进行超分辨率操作。随后基于复杂学习的方法也被广泛用于解决超分辨率问题，例如：Neighbour Embedding(邻域嵌入)、Sparse Coding(稀疏编码)和RandomForests(随机森林)曾被采用，然而这些方法只能对一种类型的图像进行重建，比如对遥感图像进行重建，若下次想要重建手机拍摄的照片，则重建的时候需要重新训练，适用范围较窄。
发明内容
本发明所要解决的技术问题是提供一种基于高频信息特征融合的图像超分辨率重建方法，利用其重建的重建图像的纹理细节更丰富，且其适用范围广。
本发明解决上述技术问题所采用的技术方案为：一种基于高频信息特征融合的图像超分辨率重建方法，其特征在于包括以下步骤：
步骤1：选取至少501幅RGB图像；然后对每幅RGB图像进行预处理，得到每幅RGB图像对应的尺寸为24×24且包含有高频信息的低分辨率图像；再将至少500幅尺寸为24×24且包含有高频信息的低分辨率图像构成训练图像集，将剩余的尺寸为24×24且包含有高频信息的低分辨率图像构成测试图像集；
步骤2：构建基于残差网络的生成网络：其包括特征预提取模块、包含有18个残差块的残差网络、基于PixelShuffle的上采样模块、输出模块，特征预提取模块对输入的低分辨率图像进行特征预提取，残差网络对特征预提取模块预提取的特征进行特征提取，上采样模块对残差网络提取的特征进行两次上采样操作，输出模块对上采样操作后得到的特征进行特征映射，并输出通道数为3的超分辨率图像；其中，低分辨率图像的尺寸为24×24，超分辨率图像的尺寸为96×96；
步骤3：将训练图像集中的每幅低分辨率图像输入到基于残差网络的生成网络中进行预训练，预训练过程中采用MSE损失函数；
步骤4：使用训练图像集按照步骤3的过程进行至少300轮预训练，得到生成网络预训练模型；
步骤5：构建基于高频信息特征融合的生成对抗网络：其包括已构建的基于残差网络的生成网络和基于卷积神经网络的判别网络，生成网络加载生成网络预训练模型，判别网络由高频信息蒸馏模块、高频信息特征提取模块、图像特征提取模块、特征融合模块以及像素域判别模块组成，高频信息蒸馏模块的输入端接收一幅高分辨率图像或超分辨率图像，高频信息蒸馏模块提取出高分辨率图像或超分辨率图像中的三个高频信息并对三个高频信息进行融合及归一化处理，高频信息蒸馏模块的输出端输出高分辨率图像或超分辨率图像的高频信息归一化图像，高频信息特征提取模块的输入端接收高频信息蒸馏模块的输出端输出的高频信息归一化图像，高频信息特征提取模块对高频信息归一化图像进行特征提取，高频信息特征提取模块的输出端输出高频信息特征，图像特征提取模块的输入端接收输入到高频信息蒸馏模块的高分辨率图像或超分辨率图像，图像特征提取模块对高分辨率图像或超分辨率图像进行特征提取，图像特征提取模块的输出端输出图像特征，特征融合模块的第一输入端接收高频信息特征提取模块的输出端输出的高频信息特征，特征融合模块的第二输入端接收图像特征提取模块的输出端输出的图像特征，特征融合模块对特征进行拼接融合，特征融合模块的输出端输出融合特征，像素域判别模块的输入端接收特征融合模块的输出端输出的融合特征，像素域判别模块对融合特征进行判别，像素域判别模块的输出端输出高分辨率图像或超分辨率图像的矩阵得分；其中，高分辨率图像的尺寸为96×96，高频信息归一化图像的尺寸为48×48，矩阵得分的维数为16×16；
步骤6：将训练图像集中的每幅低分辨率图像输入到生成网络中，生成网络输出对应的超分辨率图像；然后将训练图像集中的每幅低分辨率图像对应的高分辨率图像和超分辨率图像分别输入到判别网络中，判别网络分别输出高分辨率图像和超分辨率图像各自的矩阵得分；接着将训练图像集中的每幅低分辨率图像对应的高分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，并将训练图像集中的每幅低分辨率图像对应的超分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，利用这两幅特征图计算感知损失，记为
Figure BDA0003694619560000031
Figure BDA0003694619560000032
再利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分计算对抗损失，记为
Figure BDA0003694619560000033
Figure BDA0003694619560000034
之后根据感知损失
Figure BDA0003694619560000035
和对抗损失
Figure BDA0003694619560000036
计算生成网络的损失，记为LossGen，
Figure BDA0003694619560000037
同时利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分和训练图像集中的每幅低分辨率图像对应的高分辨率图像的矩阵得分计算判别网络的损失，记为LossDis，
Figure BDA0003694619560000038
最后根据生成网络的损失进行反向传播优化生成网络的参数；同样，根据判别网络的损失进行反向传播优化判别网络的参数；其中，IHR表示低分辨率图像对应的高分辨率图像，
Figure BDA0003694619560000039
表示VGG网络模型提取出的IHR对应的特征图，
Figure BDA0003694619560000041
表示
Figure BDA0003694619560000042
中坐标位置为(w,h)的像素点的像素值，ILR表示低分辨率图像，gen()表示生成网络，gen(ILR)表示生成网络输出的ILR对应的超分辨率图像，
Figure BDA0003694619560000043
表示VGG网络模型提取出的gen(ILR)对应的特征图，
Figure BDA0003694619560000044
表示
Figure BDA0003694619560000045
中坐标位置为(w,h)的像素点的像素值，W表示VGG网络模型提取出的特征图的宽度，H表示VGG网络模型提取出的特征图的高度，1≤w≤W，1≤h≤H，δDWT()表示高频信息蒸馏模块，δDWT(gen(ILR))表示高频信息蒸馏模块的输出端输出的超分辨率图像的高频信息归一化图像，符号
Figure BDA0003694619560000046
表示两幅图像的拼接操作，dis()表示像素域判别模块，
Figure BDA0003694619560000047
表示像素域判别模块的输出端输出的超分辨率图像的矩阵得分，δDWT(IHR)表示高频信息蒸馏模块的输出端输出的高分辨率图像的高频信息归一化图像，
Figure BDA0003694619560000048
表示像素域判别模块的输出端输出的高分辨率图像的矩阵得分；
步骤7：使用训练图像集按照步骤6的过程进行至少300轮对抗训练，得到生成网络训练模型和判别网络训练模型；其中，对抗训练过程中，adam优化器的两个超参数beta1设为0.9、beta2设为0.999、batch size设为16、初始学习率设为10e-4，每迭代1×105次后学习率都减半；
步骤8：生成网络训练模型根据测试图像集中的每幅低分辨率图像生成对应的超分辨率图像。
所述的步骤1中，对每幅RGB图像进行预处理的具体过程为：
步骤1_1：在RGB图像中随机选取一个尺寸为96×96的区域进行裁剪；
步骤1_2：利用二次插值法对尺寸为96×96的区域进行4倍下采样，得到尺寸为24×24的低分辨率图像；
步骤1_3：计算低分辨率图像中的所有像素点的像素值的方差；然后判断低分辨率图像对应的方差是否小于0.5，如果是，则返回步骤1_1进行重新裁剪；否则，认为低分辨率图像包含有高频信息。
所述的步骤2中，特征预提取模块由依次连接的第一卷积层和第一PReLu激活层组成，上采样模块由依次连接的第二卷积层、第二PReLu激活层、第三卷积层、第一PixelShuffle层、第二PixelShuffle层组成，输出模块由第四卷积层组成，第一卷积层的输入端作为基于残差网络的生成网络的输入端接收一幅低分辨率图像的R、G、B三通道，第一PReLu激活层的输入端接收第一卷积层的输出端输出的所有特征图，残差网络的输入端接收第一PReLu激活层的输出端输出的所有特征图，第二卷积层的输入端接收残差网络的输出端输出的所有特征图，第二PReLu激活层的输入端接收对第二卷积层的输出端输出的所有特征图与第一PReLu激活层的输出端输出的所有特征图进行Add融合后得到的融合结果，第三卷积层的输入端接收第二PReLu激活层的输出端输出的所有特征图，第一PixelShuffle层的输入端接收第三卷积层的输出端输出的所有特征图，第二PixelShuffle层的输入端接收第一PixelShuffle层的输出端输出的所有特征图，第四卷积层的输入端接收第二PixelShuffle层的输出端输出的所有特征图，第四卷积层的输出端作为基于残差网络的生成网络的输出端输出一幅超分辨率图像；其中，第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、输出通道数均为64，第四卷积层的卷积核大小为9×9、输出通道数均为3，第一PixelShuffle层和第二PixelShuffle层均能进行2倍上采样操作。
所述的步骤5中，高频信息蒸馏模块提取出高分辨率图像或超分辨率图像中的三个高频信息并对三个高频信息进行融合及归一化处理的具体过程为：
步骤5_1：利用离散小波变换技术提取出高分辨率图像或超分辨率图像中的三个高频信息，分别记为GLH、GHL、GHH；其中，GLH、GHL、GHH的尺寸为48×48；
步骤5_2：对GLH、GHL、GHH进行融合，将得到的融合图像记为G，G＝aGLH+βGHL+γGHH；其中，α、β、γ均为平衡因子，a＝0.7，β＝0.8，γ＝1.2；
步骤5_3：对G中的所有像素点的像素值进行归一化处理，得到尺寸为48×48的高频信息归一化图像。
所述的步骤5_a3中，归一化处理采用的是min-max归一化方法。
所述的步骤5中，高频信息特征提取模块包括依次连接的第五卷积层、第一批量归一化层、第一Leaky ReLu激活层、第六卷积层、第二批量归一化层、第二Leaky ReLu激活层、第七卷积层、第三批量归一化层、第三Leaky ReLu激活层，第五卷积层的输入端作为高频信息特征提取模块的输入端，第一批量归一化层的输入端接收第五卷积层的输出端输出的所有特征图，第一Leaky ReLu激活层的输入端接收第一批量归一化层的输出端输出的所有特征图，第六卷积层的输入端接收第一Leaky ReLu激活层的输出端输出的所有特征图，第二批量归一化层的输入端接收第六卷积层的输出端输出的所有特征图，第二Leaky ReLu激活层的输入端接收第二批量归一化层的输出端输出的所有特征图，第七卷积层的输入端接收第二Leaky ReLu激活层的输出端输出的所有特征图，第三批量归一化层的输入端接收第七卷积层的输出端输出的所有特征图，第三Leaky ReLu激活层的输入端接收第三批量归一化层的输出端输出的所有特征图，第三Leaky ReLu激活层的输出端作为高频信息特征提取模块的输出端；其中，第五卷积层的卷积核大小为3×3、步长为1、输出通道数为32，第六卷积层的卷积核大小为3×3、步长为1、输出通道数为64，第七卷积层的卷积核大小为3×3、步长为1、输出通道数为128。
所述的步骤5中，图像特征提取模块包括依次连接的第八卷积层、第四批量归一化层、第四Leaky ReLu激活层、第九卷积层、第五批量归一化层、第五Leaky ReLu激活层、第十卷积层、第六批量归一化层、第六Leaky ReLu激活层、最大池化层，第八卷积层的输入端作为图像特征提取模块的输入端，第四批量归一化层的输入端接收第八卷积层的输出端输出的所有特征图，第四Leaky ReLu激活层的输入端接收第四批量归一化层的输出端输出的所有特征图，第九卷积层的输入端接收第四Leaky ReLu激活层的输出端输出的所有特征图，第五批量归一化层的输入端接收第九卷积层的输出端输出的所有特征图，第五Leaky ReLu激活层的输入端接收第五批量归一化层的输出端输出的所有特征图，第十卷积层的输入端接收第五Leaky ReLu激活层的输出端输出的所有特征图，第六批量归一化层的输入端接收第十卷积层的输出端输出的所有特征图，第六Leaky ReLu激活层的输入端接收第六批量归一化层的输出端输出的所有特征图，最大池化层的输入端接收第六Leaky ReLu激活层的输出端输出的所有特征图，最大池化层的输出端作为图像特征提取模块的输出端；其中，第八卷积层的卷积核大小为3×3、步长为1、输出通道数为32，第九卷积层的卷积核大小为3×3、步长为1、输出通道数为64，第十卷积层的卷积核大小为3×3、步长为1、输出通道数为128，最大池化层的卷积核大小为2×2、步长为2。
所述的步骤5中，特征融合模块包括两个结构相同的通道注意力模块，第1个通道注意力模块的输入端作为特征融合模块的第一输入端，第1个通道注意力模块的输出端输出高频信息特征的权重，第2个通道注意力模块的输入端作为特征融合模块的第二输入端，第2个通道注意力模块的输出端输出图像特征的权重，对高频信息特征提取模块的输出端输出的高频信息特征与第1个通道注意力模块的输出端输出的权重进行相乘操作，并对图像特征提取模块的输出端输出的图像特征与第2个通道注意力模块的输出端输出的权重进行相乘操作，再对两个相乘操作结果进行拼接操作融合得到融合特征，融合特征作为特征融合模块的输出端的输出。
所述的步骤5中，像素域判别模块包括依次连接的第十一卷积层、第七Leaky ReLu激活层、第十二卷积层、第七批量归一化层、第八Leaky ReLu激活层、第十三卷积层、第八批量归一化层、第九Leaky ReLu激活层、第十四卷积层，第十一卷积层的输入端作为像素域判别模块的输入端，第七Leaky ReLu激活层的输入端接收第十一卷积层的输出端输出的所有特征图，第十二卷积层的输入端接收第七Leaky ReLu激活层的输出端输出的所有特征图，第七批量归一化层的输入端接收第十二卷积层的输出端输出的所有特征图，第八LeakyReLu激活层的输入端接收第七批量归一化层的输出端输出的所有特征图，第十三卷积层的输入端接收第八Leaky ReLu激活层的输出端输出的所有特征图，第八批量归一化层的输入端接收第十三卷积层的输出端输出的所有特征图，第九Leaky ReLu激活层的输入端接收第八批量归一化层的输出端输出的所有特征图，第十四卷积层的输入端接收第九Leaky ReLu激活层的输出端输出的所有特征图，第十四卷积层的输出端作为像素域判别模块的输出端；其中，第十一卷积层的卷积核大小为4×4、步长为2、输出通道数为512，第十二卷积层的卷积核大小为4×4、步长为2、输出通道数为512，第十三卷积层的卷积核大小为4×4、步长为1、输出通道数为1024，第十四卷积层的卷积核大小为4×4、步长为1、输出通道数为1。
与现有技术相比，本发明的优点在于：
1)引入高频信息与高分辨率图像/超分辨率图像进行特征融合来作为判别网络的输入，改善了生成网络学习能力不足的问题，使得对抗过程更加稳定，从而约束生成网络重建出纹理细节更加丰富的图像。
2)通过输出像素域得分矩阵来反馈生成网络对图像的学习结果，让生成网络专注于图像难提取的部分，增加了重建图像的纹理细节，减少了重建图像纹理崩塌的情况。
3)本发明方法能够对多种类型的图像进行重建，重建时无需重新训练，适用范围广。
附图说明
图1为本发明方法的总体实现框图；
图2为本发明方法构建的基于残差网络的生成网络的组成结构示意图；
图3为本发明方法构建的基于卷积神经网络的判别网络的组成结构示意图；
图4为本发明方法构建的基于卷积神经网络的判别网络中的高频信息蒸馏模块的流程示意图；
图5a为数据集Urban100(4×)中的高分辨率图像img 093；
图5b为图5a所示的高分辨率图像中的矩形框处放大后得到的图像；
图5c为利用双三次插值方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图5d为利用SRResNet方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图5e为利用SRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图5f为利用ESRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图5g为利用RankSRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图5h为利用本发明方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图6a为数据集Urban100(4×)中的高分辨率图像img 009；
图6b为图6a所示的高分辨率图像中的矩形框处放大后得到的图像；
图6c为利用双三次插值方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图6d为利用SRResNet方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图6e为利用SRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图6f为利用ESRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图6g为利用RankSRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图6h为利用本发明方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图7a为数据集Urban100(4×)中的高分辨率图像img 070；
图7b为图7a所示的高分辨率图像中的矩形框处放大后得到的图像；
图7c为利用双三次插值方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图7d为利用SRResNet方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图7e为利用SRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图7f为利用ESRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图7g为利用RankSRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图7h为利用本发明方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图8a为数据集DIV2K validation(4×)中的高分辨率图像img 0828；
图8b为图8a所示的高分辨率图像中的矩形框处放大后得到的图像；
图8c为利用双三次插值方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图8d为利用SRResNet方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图8e为利用SRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图8f为利用ESRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图8g为利用RankSRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；
图8h为利用本发明方法重建的重建图像中与矩形框对应区域放大后得到的图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于高频信息特征融合的图像超分辨率重建方法，其总体实现框图如图1所示，其包括以下步骤：
步骤1：选取至少501幅RGB图像；然后对每幅RGB图像进行预处理，得到每幅RGB图像对应的尺寸为24×24且包含有高频信息的低分辨率图像；再将至少500幅尺寸为24×24且包含有高频信息的低分辨率图像构成训练图像集，将剩余的尺寸为24×24且包含有高频信息的低分辨率图像构成测试图像集。
在本实施例中，选取DIV2K数据集中的800幅RGB图像和Flick数据集中的2160幅RGB图像，经预处理后获得训练图像集；选取Set5数据集、Set14数据集、BSD100数据集、Urban100数据集和DIV2K validation数据集中的RGB图像，经预处理后获得测试图像集。
步骤2：构建基于残差网络的生成网络：如图2所示，其包括特征预提取模块、包含有18个残差块的残差网络、基于PixelShuffle(像素重组)的上采样模块、输出模块，特征预提取模块对输入的低分辨率图像进行特征预提取，残差网络对特征预提取模块预提取的特征进行特征提取，上采样模块对残差网络提取的特征进行两次上采样操作，输出模块对上采样操作后得到的特征进行特征映射，并输出通道数为3的超分辨率图像；其中，低分辨率图像的尺寸为24×24，超分辨率图像的尺寸为96×96。
步骤3：将训练图像集中的每幅低分辨率图像输入到基于残差网络的生成网络中进行预训练，预训练过程中采用MSE(均方误差)损失函数。
步骤4：使用训练图像集按照步骤3的过程进行至少300轮预训练，得到生成网络预训练模型。
步骤5：构建基于高频信息特征融合的生成对抗网络：其包括已构建的基于残差网络的生成网络和基于卷积神经网络的判别网络，生成网络加载生成网络预训练模型，判别网络如图3所示由高频信息蒸馏模块、高频信息特征提取模块、图像特征提取模块、特征融合模块以及像素域判别模块组成，高频信息蒸馏模块的输入端接收一幅高分辨率图像或超分辨率图像，高频信息蒸馏模块提取出高分辨率图像或超分辨率图像中的三个高频信息并对三个高频信息进行融合及归一化处理，高频信息蒸馏模块的输出端输出高分辨率图像或超分辨率图像的高频信息归一化图像，高频信息特征提取模块的输入端接收高频信息蒸馏模块的输出端输出的高频信息归一化图像，高频信息特征提取模块对高频信息归一化图像进行特征提取，高频信息特征提取模块的输出端输出高频信息特征，图像特征提取模块的输入端接收输入到高频信息蒸馏模块的高分辨率图像或超分辨率图像，图像特征提取模块对高分辨率图像或超分辨率图像进行特征提取，图像特征提取模块的输出端输出图像特征，特征融合模块的第一输入端接收高频信息特征提取模块的输出端输出的高频信息特征，特征融合模块的第二输入端接收图像特征提取模块的输出端输出的图像特征，特征融合模块对特征进行拼接融合，特征融合模块的输出端输出融合特征，像素域判别模块的输入端接收特征融合模块的输出端输出的融合特征，像素域判别模块对融合特征进行判别，像素域判别模块的输出端输出高分辨率图像或超分辨率图像的矩阵得分；其中，高分辨率图像的尺寸为96×96，高频信息归一化图像的尺寸为48×48，矩阵得分的维数为16×16。
步骤6：将训练图像集中的每幅低分辨率图像输入到生成网络中，生成网络输出对应的超分辨率图像；然后将训练图像集中的每幅低分辨率图像对应的高分辨率图像和超分辨率图像分别输入到判别网络中，判别网络分别输出高分辨率图像和超分辨率图像各自的矩阵得分；接着将训练图像集中的每幅低分辨率图像对应的高分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，并将训练图像集中的每幅低分辨率图像对应的超分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，利用这两幅特征图计算感知损失，记为
Figure BDA0003694619560000111
Figure BDA0003694619560000112
再利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分计算对抗损失，记为
Figure BDA0003694619560000113
Figure BDA0003694619560000114
之后根据感知损失
Figure BDA0003694619560000115
和对抗损失
Figure BDA0003694619560000116
计算生成网络的损失，记为LossGen，
Figure BDA0003694619560000117
同时利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分和训练图像集中的每幅低分辨率图像对应的高分辨率图像的矩阵得分计算判别网络的损失，记为LossDis，
Figure BDA0003694619560000121
最后根据生成网络的损失进行反向传播优化生成网络的参数，此时判别网络的参数固定，不参与本次的反向传播；同样，根据判别网络的损失进行反向传播优化判别网络的参数，此时生成网络的参数固定，不参与本次的反向传播。其中，IHR表示低分辨率图像对应的高分辨率图像，
Figure BDA0003694619560000122
表示VGG网络模型提取出的IHR对应的特征图，
Figure BDA0003694619560000123
表示
Figure BDA0003694619560000124
中坐标位置为(w,h)的像素点的像素值，ILR表示低分辨率图像，gen()表示生成网络，gen(ILR)表示生成网络输出的ILR对应的超分辨率图像，
Figure BDA0003694619560000125
表示VGG网络模型提取出的gen(ILR)对应的特征图，
Figure BDA0003694619560000126
表示
Figure BDA0003694619560000127
中坐标位置为(w,h)的像素点的像素值，W表示VGG网络模型提取出的特征图的宽度，H表示VGG网络模型提取出的特征图的高度，1≤w≤W，1≤h≤H，δDWT()表示高频信息蒸馏模块，δDWT(gen(ILR))表示高频信息蒸馏模块的输出端输出的超分辨率图像的高频信息归一化图像，符号
Figure BDA0003694619560000128
表示两幅图像的拼接操作，dis()表示像素域判别模块，
Figure BDA0003694619560000129
表示像素域判别模块的输出端输出的超分辨率图像的矩阵得分，δDWT(IHR)表示高频信息蒸馏模块的输出端输出的高分辨率图像的高频信息归一化图像，
Figure BDA00036946195600001210
表示像素域判别模块的输出端输出的高分辨率图像的矩阵得分。
步骤7：使用训练图像集按照步骤6的过程进行至少300轮对抗训练，得到生成网络训练模型和判别网络训练模型；其中，对抗训练过程中，adam优化器的两个超参数beta1设为0.9、beta2设为0.999、batch size设为16、初始学习率设为10e-4，每迭代1×105次后学习率都减半。
步骤8：生成网络训练模型根据测试图像集中的每幅低分辨率图像生成对应的超分辨率图像。
在本实施例中，步骤1中，对每幅RGB图像进行预处理的具体过程为：
步骤1_1：在RGB图像中随机选取一个尺寸为96×96的区域进行裁剪。
步骤1_2：利用现有的二次插值法对尺寸为96×96的区域进行4倍下采样，得到尺寸为24×24的低分辨率图像。
步骤1_3：计算低分辨率图像中的所有像素点的像素值的方差；然后判断低分辨率图像对应的方差是否小于0.5，如果是，则返回步骤1_1进行重新裁剪；否则，认为低分辨率图像包含有高频信息。为了提高训练效率，计算低分辨率图像中的所有像素点的像素值的方差，方差过低(小于0.5)的低分辨率图像说明接近于纯色，不包含有太多的高频信息，会影响网络对高频信息的提取，因此需要重新随机选取其他区域。
在本实施例中，步骤2中，特征预提取模块由依次连接的第一卷积层和第一PReLu激活层组成，上采样模块由依次连接的第二卷积层、第二PReLu激活层、第三卷积层、第一PixelShuffle(像素重组)层、第二PixelShuffle层组成，输出模块由第四卷积层组成，第一卷积层的输入端作为基于残差网络的生成网络的输入端接收一幅低分辨率图像的R、G、B三通道，第一PReLu激活层的输入端接收第一卷积层的输出端输出的所有特征图，残差网络的输入端接收第一PReLu激活层的输出端输出的所有特征图，第二卷积层的输入端接收残差网络的输出端输出的所有特征图，第二PReLu激活层的输入端接收对第二卷积层的输出端输出的所有特征图与第一PReLu激活层的输出端输出的所有特征图进行Add融合后得到的融合结果，第三卷积层的输入端接收第二PReLu激活层的输出端输出的所有特征图，第一PixelShuffle(像素重组)层的输入端接收第三卷积层的输出端输出的所有特征图，第二PixelShuffle层的输入端接收第一PixelShuffle层的输出端输出的所有特征图，第四卷积层的输入端接收第二PixelShuffle层的输出端输出的所有特征图，第四卷积层的输出端作为基于残差网络的生成网络的输出端输出一幅超分辨率图像；其中，第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、输出通道数均为64，第四卷积层的卷积核大小为9×9、输出通道数均为3，第一PixelShuffle层和第二PixelShuffle层均能进行2倍上采样操作；在此，残差网络直接采用现有技术，残差网络中的每个残差块由依次连接的第1个卷积层、第1个批量归一化层、第1个PReLu激活层、第2个卷积层、第2个批量归一化层、第2个PReLu激活层、第3个卷积层、第3个批量归一化层组成，第1个卷积层、第1个批量归一化层、第1个PReLu激活层用来实现对特征的第一次提取与激活，第2个批量归一化层、第2个PReLu激活层、第3个卷积层用来实现对特征的第二次提取与激活，对18个残差块进行串联，并对每个残差块进行残差连接，即把当前残差块的输出结果与残差之前的特征进行Add融合，残差块中的卷积层的参数为默认参数；利用两层PixelShuffle层对特征进行两次上采样操作；第四卷积层对提取的特征进行特征映射，输出通道数为3的RGB图像。
在本实施例中，步骤5中，如图4所示，高频信息蒸馏模块提取出高分辨率图像或超分辨率图像中的三个高频信息并对三个高频信息进行融合及归一化处理的具体过程为：
步骤5_1：利用离散小波变换技术提取出高分辨率图像或超分辨率图像中的三个高频信息，分别记为GLH、GHL、GHH；其中，GLH、GHL、GHH的尺寸为48×48。
步骤5_2：对GLH、GHL、GHH进行融合，将得到的融合图像记为G，G＝aGLH+βGHL+γGHH；其中，α、β、γ均为平衡因子，α＝0.7，β＝0.8，γ＝1.2。
步骤5_3：对G中的所有像素点的像素值进行归一化处理，得到尺寸为48×48的高频信息归一化图像。
在本实施例中，步骤5_a3中，归一化处理采用的是min-max归一化方法。
在本实施例中，步骤5中，如图3所示，高频信息特征提取模块包括依次连接的第五卷积层、第一批量归一化(BN)层、第一Leaky ReLu激活层、第六卷积层、第二批量归一化层、第二Leaky ReLu激活层、第七卷积层、第三批量归一化层、第三Leaky ReLu激活层，第五卷积层的输入端作为高频信息特征提取模块的输入端，第一批量归一化层的输入端接收第五卷积层的输出端输出的所有特征图，第一Leaky ReLu激活层的输入端接收第一批量归一化层的输出端输出的所有特征图，第六卷积层的输入端接收第一Leaky ReLu激活层的输出端输出的所有特征图，第二批量归一化层的输入端接收第六卷积层的输出端输出的所有特征图，第二Leaky ReLu激活层的输入端接收第二批量归一化层的输出端输出的所有特征图，第七卷积层的输入端接收第二Leaky ReLu激活层的输出端输出的所有特征图，第三批量归一化层的输入端接收第七卷积层的输出端输出的所有特征图，第三Leaky ReLu激活层的输入端接收第三批量归一化层的输出端输出的所有特征图，第三Leaky ReLu激活层的输出端作为高频信息特征提取模块的输出端；其中，第五卷积层的卷积核大小为3×3、步长为1、输出通道数为32，第六卷积层的卷积核大小为3×3、步长为1、输出通道数为64，第七卷积层的卷积核大小为3×3、步长为1、输出通道数为128。在此，第五卷积层、第一批量归一化层、第一Leaky ReLu激活层实现对特征的初步提取，第六卷积层、第二批量归一化层、第二LeakyReLu激活层实现对特征的第二次提取。
在本实施例中，步骤5中，如图3所示，图像特征提取模块包括依次连接的第八卷积层、第四批量归一化层、第四Leaky ReLu激活层、第九卷积层、第五批量归一化层、第五Leaky ReLu激活层、第十卷积层、第六批量归一化层、第六Leaky ReLu激活层、最大池化层，第八卷积层的输入端作为图像特征提取模块的输入端，第四批量归一化层的输入端接收第八卷积层的输出端输出的所有特征图，第四Leaky ReLu激活层的输入端接收第四批量归一化层的输出端输出的所有特征图，第九卷积层的输入端接收第四Leaky ReLu激活层的输出端输出的所有特征图，第五批量归一化层的输入端接收第九卷积层的输出端输出的所有特征图，第五Leaky ReLu激活层的输入端接收第五批量归一化层的输出端输出的所有特征图，第十卷积层的输入端接收第五Leaky ReLu激活层的输出端输出的所有特征图，第六批量归一化层的输入端接收第十卷积层的输出端输出的所有特征图，第六Leaky ReLu激活层的输入端接收第六批量归一化层的输出端输出的所有特征图，最大池化层的输入端接收第六Leaky ReLu激活层的输出端输出的所有特征图，最大池化层的输出端作为图像特征提取模块的输出端；其中，第八卷积层的卷积核大小为3×3、步长为1、输出通道数为32，第九卷积层的卷积核大小为3×3、步长为1、输出通道数为64，第十卷积层的卷积核大小为3×3、步长为1、输出通道数为128，最大池化层的卷积核大小为2×2、步长为2。在此，第八卷积层、第四批量归一化层、第四Leaky ReLu激活层实现对特征的初步提取，第九卷积层、第五批量归一化层、第五Leaky ReLu激活层实现对特征的第二次提取，最大池化层来进行下采样。
在本实施例中，步骤5中，如图3所示，特征融合模块包括两个结构相同的通道注意力模块，第1个通道注意力模块的输入端作为特征融合模块的第一输入端，第1个通道注意力模块的输出端输出高频信息特征的权重，第2个通道注意力模块的输入端作为特征融合模块的第二输入端，第2个通道注意力模块的输出端输出图像特征的权重，对高频信息特征提取模块的输出端输出的高频信息特征与第1个通道注意力模块的输出端输出的权重进行相乘操作，并对图像特征提取模块的输出端输出的图像特征与第2个通道注意力模块的输出端输出的权重进行相乘操作，再对两个相乘操作结果进行拼接操作融合得到融合特征，融合特征作为特征融合模块的输出端的输出。在此，通道注意力模块采用现有技术，参见Squeeze-and-Excitation Network(挤压与激发网络)(https://doi.org/10.48550/arXiv.1709.01507)；相乘操作和拼接操作均为现有技术。
在本实施例中，步骤5中，如图3所示，像素域判别模块包括依次连接的第十一卷积层、第七Leaky ReLu激活层、第十二卷积层、第七批量归一化层、第八Leaky ReLu激活层、第十三卷积层、第八批量归一化层、第九Leaky ReLu激活层、第十四卷积层，第十一卷积层的输入端作为像素域判别模块的输入端，第七Leaky ReLu激活层的输入端接收第十一卷积层的输出端输出的所有特征图，第十二卷积层的输入端接收第七Leaky ReLu激活层的输出端输出的所有特征图，第七批量归一化层的输入端接收第十二卷积层的输出端输出的所有特征图，第八Leaky ReLu激活层的输入端接收第七批量归一化层的输出端输出的所有特征图，第十三卷积层的输入端接收第八Leaky ReLu激活层的输出端输出的所有特征图，第八批量归一化层的输入端接收第十三卷积层的输出端输出的所有特征图，第九Leaky ReLu激活层的输入端接收第八批量归一化层的输出端输出的所有特征图，第十四卷积层的输入端接收第九Leaky ReLu激活层的输出端输出的所有特征图，第十四卷积层的输出端作为像素域判别模块的输出端；其中，第十一卷积层的卷积核大小为4×4、步长为2、输出通道数为512，第十二卷积层的卷积核大小为4×4、步长为2、输出通道数为512，第十三卷积层的卷积核大小为4×4、步长为1、输出通道数为1024，第十四卷积层的卷积核大小为4×4、步长为1、输出通道数为1。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
实验选取五个广泛使用的数据集Set5、Set14、BSD100、Urban100和DIV2Kvalidation，其中，Set5数据集包含5张RGB图像，Set14数据集包含14张RGB图像，BSD100数据集、Urban100数据集和DIV2K validation数据集均包含100张RGB图像。对每个数据集中的RGB图像进行4×下采样得到一共319张低分辨率图像，然后将这些低分辨率图像输入到生成网络训练模型中，得到对应的超分辨率图像，此时通过计算低分辨率图像生成的超分辨率图像和低分辨率图像所对应的高分辨率图像之间的相似度的评估算法来得出对比结果。评估算法包括PSNR(峰值信噪比)、SSIM(结构相似性)和LPIPS(学习感知图像块相似度)，其中，PSNR是一个基于像素来评估的算法，通过将超分辨率图像和高分辨率图像进行像素级对比，并通过均方误差算出分贝值，单位是分贝，值越高代表重建图像的质量越好；SSIM是从图像组成的角度来进行评估的，其将失真建模为亮度、对比度和结构相似程度，用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量，是一种衡量两幅图像相似度的指标，其输出为0到1的比率，越接近于1说明两幅图像更相似；LPIPS是一种基于感知的评估标准，比传统方法更符合人类的感知情况，其首先在参考图像和重建图像中提取patch，然后通过预训练的BaseNet(基础网络)去激活patch(特征块)，学习的权重对每一层进行缩放，并对所有层进行距离求和，评估值越低说明重建图像的感知效果越好。
实验选取的对比方法有双三次插值方法、SRResNet方法(Ledig C,Theis L,FHuszar,et al.Photo-Realistic Single Image Super-Resolution Using aGenerative Adversarial Network[J].IEEE Computer Society,2016.(超分辨率生成对抗网络))、SRGAN方法(Ledig C,Theis L,FHuszar,et al.Photo-Realistic Single ImageSuper-Resolution Using a Generative Adversarial Network[J].IEEE ComputerSociety,2016.(超分辨率生成对抗网络))、ESRGAN方法(Wang X,Yu K,Wu S,etal.ESRGAN:Enhanced Super-Resolution Generative Adversarial Networks[J].Springer,Cham,2018.(增强的超分辨率生成对抗网络))、RankSRGAN方法(Zhang W,LiuY,Dong C,et al.RankSRGAN:Generative Adversarial Networks with Ranker forImage Super-Resolution[J].2019.(基于排名的图像超分辨率生成对抗网络))。
表1给出了在数据集Set5、Set14、BSD100、Urban100和DIV2K validation上，利用双三次插值方法、SRGAN方法、ESRGAN方法、RankSRGAN方法及本发明方法重建的重建图像的PSNR、SSIM和LPIPS值。
表1在数据集Set5、Set14、BSD100、Urban100和DIV2K validation上，利用双三次插值方法、SRGAN方法、ESRGAN方法、RankSRGAN方法及本发明方法重建的重建图像的PSNR、SSIM和LPIPS值
Figure BDA0003694619560000181
从表1中可以看出，利用本发明方法取得了较高的PSNR、SSIM和LPIPS值，表1中加了下划线的为最好的结果。
图5a给出了数据集Urban100(4×)中的高分辨率图像img 093，图中的矩形框为细节对比域；图5b给出了图5a所示的高分辨率图像中的矩形框处放大后得到的图像；图5c给出了利用双三次插值方法重建的重建图像中与矩形框对应区域放大后得到的图像；图5d给出了利用SRResNet方法重建的重建图像中与矩形框对应区域放大后得到的图像；图5e给出了利用SRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图5f给出了利用ESRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图5g给出了利用RankSRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图5h给出了利用本发明方法重建的重建图像中与矩形框对应区域放大后得到的图像。通过对比可以看出，利用本发明方法重建的重建图像的纹理细节表现最好，基本恢复了斑马线的大致纹理，而图5e和图5g出现了纹理崩塌，图5c和图5d较为模糊，虽然图5f的纹理表现也较为优秀，但整体表现不如本发明方法重建的重建图像。
图6a给出了数据集Urban100(4×)中的高分辨率图像img 009，图中的矩形框为细节对比域；图6b给出了图6a所示的高分辨率图像中的矩形框处放大后得到的图像；图6c给出了利用双三次插值方法重建的重建图像中与矩形框对应区域放大后得到的图像；图6d给出了利用SRResNet方法重建的重建图像中与矩形框对应区域放大后得到的图像；图6e给出了利用SRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图6f给出了利用ESRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图6g给出了利用RankSRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图6h给出了利用本发明方法重建的重建图像中与矩形框对应区域放大后得到的图像。通过对比可以看出，利用本发明方法重建的重建图像的纹理细节表现最好，基本恢复了台阶的大致纹理，而图6c和图6d较为模糊，图6f和图6g出现了纹理缺失，图6e出现了大量的棋盘效应。
图7a给出了数据集Urban100(4×)中的高分辨率图像img 070，图中的矩形框为细节对比域；图7b给出了图7a所示的高分辨率图像中的矩形框处放大后得到的图像；图7c给出了利用双三次插值方法重建的重建图像中与矩形框对应区域放大后得到的图像；图7d给出了利用SRResNet方法重建的重建图像中与矩形框对应区域放大后得到的图像；图7e给出了利用SRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图7f给出了利用ESRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图7g给出了利用RankSRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图7h给出了利用本发明方法重建的重建图像中与矩形框对应区域放大后得到的图像。通过对比可以看出，利用本发明方法重建的重建图像的纹理细节表现最好，基本恢复了石柱的大致纹理，而图7c较为模糊，图7d边缘过于光滑，图7e和图7g出现了纹理崩塌，虽然图7f表现也较为优秀，但是整体效果相较于本发明方法重建的重建图像较差一点。
图8a给出了数据集DIV2K validation(4×)中的高分辨率图像img 0828，图中的矩形框为细节对比域；图8b给出了图8a所示的高分辨率图像中的矩形框处放大后得到的图像；图8c给出了利用双三次插值方法重建的重建图像中与矩形框对应区域放大后得到的图像；图8d给出了利用SRResNet方法重建的重建图像中与矩形框对应区域放大后得到的图像；图8e给出了利用SRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图8f给出了利用ESRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图8g给出了利用RankSRGAN方法重建的重建图像中与矩形框对应区域放大后得到的图像；图8h给出了利用本发明方法重建的重建图像中与矩形框对应区域放大后得到的图像。通过对比可以看出，利用本发明方法重建的重建图像的纹理细节表现最好，基本恢复了烟花的大致纹理，而图8c和图8d较为模糊，图8e和图8g出现了纹理崩塌，图8f出现了大量的噪点。

Claims (9)

1.一种基于高频信息特征融合的图像超分辨率重建方法，其特征在于包括以下步骤：
步骤1：选取至少501幅RGB图像；然后对每幅RGB图像进行预处理，得到每幅RGB图像对应的尺寸为24×24且包含有高频信息的低分辨率图像；再将至少500幅尺寸为24×24且包含有高频信息的低分辨率图像构成训练图像集，将剩余的尺寸为24×24且包含有高频信息的低分辨率图像构成测试图像集；
步骤2：构建基于残差网络的生成网络：其包括特征预提取模块、包含有18个残差块的残差网络、基于PixelShuffle的上采样模块、输出模块，特征预提取模块对输入的低分辨率图像进行特征预提取，残差网络对特征预提取模块预提取的特征进行特征提取，上采样模块对残差网络提取的特征进行两次上采样操作，输出模块对上采样操作后得到的特征进行特征映射，并输出通道数为3的超分辨率图像；其中，低分辨率图像的尺寸为24×24，超分辨率图像的尺寸为96×96；
步骤3：将训练图像集中的每幅低分辨率图像输入到基于残差网络的生成网络中进行预训练，预训练过程中采用MSE损失函数；
步骤4：使用训练图像集按照步骤3的过程进行至少300轮预训练，得到生成网络预训练模型；
步骤5：构建基于高频信息特征融合的生成对抗网络：其包括已构建的基于残差网络的生成网络和基于卷积神经网络的判别网络，生成网络加载生成网络预训练模型，判别网络由高频信息蒸馏模块、高频信息特征提取模块、图像特征提取模块、特征融合模块以及像素域判别模块组成，高频信息蒸馏模块的输入端接收一幅高分辨率图像或超分辨率图像，高频信息蒸馏模块提取出高分辨率图像或超分辨率图像中的三个高频信息并对三个高频信息进行融合及归一化处理，高频信息蒸馏模块的输出端输出高分辨率图像或超分辨率图像的高频信息归一化图像，高频信息特征提取模块的输入端接收高频信息蒸馏模块的输出端输出的高频信息归一化图像，高频信息特征提取模块对高频信息归一化图像进行特征提取，高频信息特征提取模块的输出端输出高频信息特征，图像特征提取模块的输入端接收输入到高频信息蒸馏模块的高分辨率图像或超分辨率图像，图像特征提取模块对高分辨率图像或超分辨率图像进行特征提取，图像特征提取模块的输出端输出图像特征，特征融合模块的第一输入端接收高频信息特征提取模块的输出端输出的高频信息特征，特征融合模块的第二输入端接收图像特征提取模块的输出端输出的图像特征，特征融合模块对特征进行拼接融合，特征融合模块的输出端输出融合特征，像素域判别模块的输入端接收特征融合模块的输出端输出的融合特征，像素域判别模块对融合特征进行判别，像素域判别模块的输出端输出高分辨率图像或超分辨率图像的矩阵得分；其中，高分辨率图像的尺寸为96×96，高频信息归一化图像的尺寸为48×48，矩阵得分的维数为16×16；
步骤6：将训练图像集中的每幅低分辨率图像输入到生成网络中，生成网络输出对应的超分辨率图像；然后将训练图像集中的每幅低分辨率图像对应的高分辨率图像和超分辨率图像分别输入到判别网络中，判别网络分别输出高分辨率图像和超分辨率图像各自的矩阵得分；接着将训练图像集中的每幅低分辨率图像对应的高分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，并将训练图像集中的每幅低分辨率图像对应的超分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，利用这两幅特征图计算感知损失，记为
Figure FDA0003694619550000021
Figure FDA0003694619550000022
再利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分计算对抗损失，记为
Figure FDA0003694619550000023
Figure FDA0003694619550000024
之后根据感知损失
Figure FDA0003694619550000025
和对抗损失
Figure FDA0003694619550000026
计算生成网络的损失，记为LossGen，
Figure FDA0003694619550000027
同时利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分和训练图像集中的每幅低分辨率图像对应的高分辨率图像的矩阵得分计算判别网络的损失，记为LossDis，
Figure FDA0003694619550000028
最后根据生成网络的损失进行反向传播优化生成网络的参数；同样，根据判别网络的损失进行反向传播优化判别网络的参数；其中，IHR表示低分辨率图像对应的高分辨率图像，
Figure FDA0003694619550000031
表示VGG网络模型提取出的IHR对应的特征图，
Figure FDA0003694619550000032
表示
Figure FDA0003694619550000033
中坐标位置为(w,h)的像素点的像素值，ILR表示低分辨率图像，gen( )表示生成网络，gen(ILR)表示生成网络输出的ILR对应的超分辨率图像，
Figure FDA0003694619550000034
表示VGG网络模型提取出的gen(ILR)对应的特征图，
Figure FDA0003694619550000035
表示
Figure FDA0003694619550000036
中坐标位置为(w,h)的像素点的像素值，W表示VGG网络模型提取出的特征图的宽度，H表示VGG网络模型提取出的特征图的高度，1≤w≤W，1≤h≤H，δDWT( )表示高频信息蒸馏模块，δDWT(gen(ILR))表示高频信息蒸馏模块的输出端输出的超分辨率图像的高频信息归一化图像，符号
Figure FDA0003694619550000037
表示两幅图像的拼接操作，dis( )表示像素域判别模块，
Figure FDA0003694619550000038
表示像素域判别模块的输出端输出的超分辨率图像的矩阵得分，δDWT(IHR)表示高频信息蒸馏模块的输出端输出的高分辨率图像的高频信息归一化图像，
Figure FDA0003694619550000039
表示像素域判别模块的输出端输出的高分辨率图像的矩阵得分；
步骤7：使用训练图像集按照步骤6的过程进行至少300轮对抗训练，得到生成网络训练模型和判别网络训练模型；其中，对抗训练过程中，adam优化器的两个超参数beta1设为0.9、beta2设为0.999、batch size设为16、初始学习率设为10e-4，每迭代1×105次后学习率都减半；
步骤8：生成网络训练模型根据测试图像集中的每幅低分辨率图像生成对应的超分辨率图像。
2.根据权利要求1所述的基于高频信息特征融合的图像超分辨率重建方法，其特征在于所述的步骤1中，对每幅RGB图像进行预处理的具体过程为：
步骤1_1：在RGB图像中随机选取一个尺寸为96×96的区域进行裁剪；
步骤1_2：利用二次插值法对尺寸为96×96的区域进行4倍下采样，得到尺寸为24×24的低分辨率图像；
步骤1_3：计算低分辨率图像中的所有像素点的像素值的方差；然后判断低分辨率图像对应的方差是否小于0.5，如果是，则返回步骤1_1进行重新裁剪；否则，认为低分辨率图像包含有高频信息。
3.根据权利要求1所述的基于高频信息特征融合的图像超分辨率重建方法，其特征在于所述的步骤2中，特征预提取模块由依次连接的第一卷积层和第一PReLu激活层组成，上采样模块由依次连接的第二卷积层、第二PReLu激活层、第三卷积层、第一PixelShuffle层、第二PixelShuffle层组成，输出模块由第四卷积层组成，第一卷积层的输入端作为基于残差网络的生成网络的输入端接收一幅低分辨率图像的R、G、B三通道，第一PReLu激活层的输入端接收第一卷积层的输出端输出的所有特征图，残差网络的输入端接收第一PReLu激活层的输出端输出的所有特征图，第二卷积层的输入端接收残差网络的输出端输出的所有特征图，第二PReLu激活层的输入端接收对第二卷积层的输出端输出的所有特征图与第一PReLu激活层的输出端输出的所有特征图进行Add融合后得到的融合结果，第三卷积层的输入端接收第二PReLu激活层的输出端输出的所有特征图，第一PixelShuffle层的输入端接收第三卷积层的输出端输出的所有特征图，第二PixelShuffle层的输入端接收第一PixelShuffle层的输出端输出的所有特征图，第四卷积层的输入端接收第二PixelShuffle层的输出端输出的所有特征图，第四卷积层的输出端作为基于残差网络的生成网络的输出端输出一幅超分辨率图像；其中，第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、输出通道数均为64，第四卷积层的卷积核大小为9×9、输出通道数均为3，第一PixelShuffle层和第二PixelShuffle层均能进行2倍上采样操作。
4.根据权利要求1或3所述的基于高频信息特征融合的图像超分辨率重建方法，其特征在于所述的步骤5中，高频信息蒸馏模块提取出高分辨率图像或超分辨率图像中的三个高频信息并对三个高频信息进行融合及归一化处理的具体过程为：
步骤5_1：利用离散小波变换技术提取出高分辨率图像或超分辨率图像中的三个高频信息，分别记为GLH、GHL、GHH；其中，GLH、GHL、GHH的尺寸为48×48；
步骤5_2：对GLH、GHL、GHH进行融合，将得到的融合图像记为G，G＝αGLH+βGHL+γGHH；其中，a、β、γ均为平衡因子，α＝0.7，β＝0.8，γ＝1.2；
步骤5_3：对G中的所有像素点的像素值进行归一化处理，得到尺寸为48×48的高频信息归一化图像。
5.根据权利要求4所述的基于高频信息特征融合的图像超分辨率重建方法，其特征在于所述的步骤5_a3中，归一化处理采用的是min-max归一化方法。
6.根据权利要求1所述的基于高频信息特征融合的图像超分辨率重建方法，其特征在于所述的步骤5中，高频信息特征提取模块包括依次连接的第五卷积层、第一批量归一化层、第一Leaky ReLu激活层、第六卷积层、第二批量归一化层、第二Leaky ReLu激活层、第七卷积层、第三批量归一化层、第三Leaky ReLu激活层，第五卷积层的输入端作为高频信息特征提取模块的输入端，第一批量归一化层的输入端接收第五卷积层的输出端输出的所有特征图，第一Leaky ReLu激活层的输入端接收第一批量归一化层的输出端输出的所有特征图，第六卷积层的输入端接收第一Leaky ReLu激活层的输出端输出的所有特征图，第二批量归一化层的输入端接收第六卷积层的输出端输出的所有特征图，第二Leaky ReLu激活层的输入端接收第二批量归一化层的输出端输出的所有特征图，第七卷积层的输入端接收第二Leaky ReLu激活层的输出端输出的所有特征图，第三批量归一化层的输入端接收第七卷积层的输出端输出的所有特征图，第三Leaky ReLu激活层的输入端接收第三批量归一化层的输出端输出的所有特征图，第三Leaky ReLu激活层的输出端作为高频信息特征提取模块的输出端；其中，第五卷积层的卷积核大小为3×3、步长为1、输出通道数为32，第六卷积层的卷积核大小为3×3、步长为1、输出通道数为64，第七卷积层的卷积核大小为3×3、步长为1、输出通道数为128。
7.根据权利要求1所述的基于高频信息特征融合的图像超分辨率重建方法，其特征在于所述的步骤5中，图像特征提取模块包括依次连接的第八卷积层、第四批量归一化层、第四Leaky ReLu激活层、第九卷积层、第五批量归一化层、第五Leaky ReLu激活层、第十卷积层、第六批量归一化层、第六Leaky ReLu激活层、最大池化层，第八卷积层的输入端作为图像特征提取模块的输入端，第四批量归一化层的输入端接收第八卷积层的输出端输出的所有特征图，第四Leaky ReLu激活层的输入端接收第四批量归一化层的输出端输出的所有特征图，第九卷积层的输入端接收第四Leaky ReLu激活层的输出端输出的所有特征图，第五批量归一化层的输入端接收第九卷积层的输出端输出的所有特征图，第五Leaky ReLu激活层的输入端接收第五批量归一化层的输出端输出的所有特征图，第十卷积层的输入端接收第五Leaky ReLu激活层的输出端输出的所有特征图，第六批量归一化层的输入端接收第十卷积层的输出端输出的所有特征图，第六Leaky ReLu激活层的输入端接收第六批量归一化层的输出端输出的所有特征图，最大池化层的输入端接收第六Leaky ReLu激活层的输出端输出的所有特征图，最大池化层的输出端作为图像特征提取模块的输出端；其中，第八卷积层的卷积核大小为3×3、步长为1、输出通道数为32，第九卷积层的卷积核大小为3×3、步长为1、输出通道数为64，第十卷积层的卷积核大小为3×3、步长为1、输出通道数为128，最大池化层的卷积核大小为2×2、步长为2。
8.根据权利要求1所述的基于高频信息特征融合的图像超分辨率重建方法，其特征在于所述的步骤5中，特征融合模块包括两个结构相同的通道注意力模块，第1个通道注意力模块的输入端作为特征融合模块的第一输入端，第1个通道注意力模块的输出端输出高频信息特征的权重，第2个通道注意力模块的输入端作为特征融合模块的第二输入端，第2个通道注意力模块的输出端输出图像特征的权重，对高频信息特征提取模块的输出端输出的高频信息特征与第1个通道注意力模块的输出端输出的权重进行相乘操作，并对图像特征提取模块的输出端输出的图像特征与第2个通道注意力模块的输出端输出的权重进行相乘操作，再对两个相乘操作结果进行拼接操作融合得到融合特征，融合特征作为特征融合模块的输出端的输出。
9.根据权利要求1所述的基于高频信息特征融合的图像超分辨率重建方法，其特征在于所述的步骤5中，像素域判别模块包括依次连接的第十一卷积层、第七Leaky ReLu激活层、第十二卷积层、第七批量归一化层、第八Leaky ReLu激活层、第十三卷积层、第八批量归一化层、第九Leaky ReLu激活层、第十四卷积层，第十一卷积层的输入端作为像素域判别模块的输入端，第七Leaky ReLu激活层的输入端接收第十一卷积层的输出端输出的所有特征图，第十二卷积层的输入端接收第七Leaky ReLu激活层的输出端输出的所有特征图，第七批量归一化层的输入端接收第十二卷积层的输出端输出的所有特征图，第八Leaky ReLu激活层的输入端接收第七批量归一化层的输出端输出的所有特征图，第十三卷积层的输入端接收第八Leaky ReLu激活层的输出端输出的所有特征图，第八批量归一化层的输入端接收第十三卷积层的输出端输出的所有特征图，第九Leaky ReLu激活层的输入端接收第八批量归一化层的输出端输出的所有特征图，第十四卷积层的输入端接收第九Leaky ReLu激活层的输出端输出的所有特征图，第十四卷积层的输出端作为像素域判别模块的输出端；其中，第十一卷积层的卷积核大小为4×4、步长为2、输出通道数为512，第十二卷积层的卷积核大小为4×4、步长为2、输出通道数为512，第十三卷积层的卷积核大小为4×4、步长为1、输出通道数为1024，第十四卷积层的卷积核大小为4×4、步长为1、输出通道数为1。
CN202210716324.XA 2022-06-15 2022-06-15 基于高频信息特征融合的图像超分辨率重建方法 Pending CN115115514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210716324.XA CN115115514A (zh) 2022-06-15 2022-06-15 基于高频信息特征融合的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210716324.XA CN115115514A (zh) 2022-06-15 2022-06-15 基于高频信息特征融合的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN115115514A true CN115115514A (zh) 2022-09-27

Family

ID=83327897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210716324.XA Pending CN115115514A (zh) 2022-06-15 2022-06-15 基于高频信息特征融合的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115115514A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210203900A1 (en) * 2020-04-17 2021-07-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
CN115546031A (zh) * 2022-12-01 2022-12-30 运易通科技有限公司 一种用于仓库顶棚检查的图像增强方法及装置
CN116052141A (zh) * 2023-03-30 2023-05-02 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210203900A1 (en) * 2020-04-17 2021-07-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
US11930307B2 (en) * 2020-04-17 2024-03-12 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
CN115546031A (zh) * 2022-12-01 2022-12-30 运易通科技有限公司 一种用于仓库顶棚检查的图像增强方法及装置
CN115546031B (zh) * 2022-12-01 2023-03-24 运易通科技有限公司 一种用于仓库顶棚检查的图像增强方法及装置
CN116052141A (zh) * 2023-03-30 2023-05-02 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质
CN116052141B (zh) * 2023-03-30 2023-06-27 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN115115514A (zh) 基于高频信息特征融合的图像超分辨率重建方法
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110717857A (zh) 超分辨率图像重构方法和装置
CN113139907A (zh) 视觉分辨率增强的生成方法、系统、装置及存储介质
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN112270644A (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
CN114549308B (zh) 面向感知的具有大感受野的图像超分辨率重建方法及系统
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN116091313A (zh) 一种图像超分辨率网络模型和重建方法
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN114359039A (zh) 基于知识蒸馏的图像超分方法
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
CN112070669B (zh) 一种针对任意模糊核的超分辨率图像重建方法
Bai et al. Self-supervised deep blind video super-resolution
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination