CN116721018A - 基于密集残差连接的生成对抗网络的图像超分辨重建方法 - Google Patents

基于密集残差连接的生成对抗网络的图像超分辨重建方法 Download PDF

Info

Publication number
CN116721018A
CN116721018A CN202310994932.1A CN202310994932A CN116721018A CN 116721018 A CN116721018 A CN 116721018A CN 202310994932 A CN202310994932 A CN 202310994932A CN 116721018 A CN116721018 A CN 116721018A
Authority
CN
China
Prior art keywords
layer
convolution layer
convolution
network
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310994932.1A
Other languages
English (en)
Other versions
CN116721018B (zh
Inventor
李子园
王志
王思颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN202310994932.1A priority Critical patent/CN116721018B/zh
Publication of CN116721018A publication Critical patent/CN116721018A/zh
Application granted granted Critical
Publication of CN116721018B publication Critical patent/CN116721018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于密集残差连接的生成对抗网络的图像超分辨重建方法，属于图像超分辨率重建技术领域，该方法包括：构建包括密集残差块组合的多层生成器网络；构建多层判别器网络，形成自注意力生成对抗网络；形成低分辨率训练集；分别设置生成器网络和判别器网络的初始学习率，并通过Adam优化器对学习率进行自适应调整，以及将高分辨率训练集中的高分辨图像和低分辨率训练集中的低分辨率图像输入至所述自注意力生成对抗网络进行训练，获取自注意力生成对抗网络对应的最优参数；通过自注意力生成对抗网络对应的最优参数对低分辨率训练集中的低分辨率图像进行超分辨重建。本发明提供的方法，提取到的特征更加丰富、图像超分辨重建的效果更好。

Description

基于密集残差连接的生成对抗网络的图像超分辨重建方法
技术领域
本发明涉及图像超分辨率重建技术领域，尤其涉及一种基于密集残差连接的生成对抗网络的图像超分辨重建方法。
背景技术
随着多媒体技术与数字图像处理技术的发展，人们对图像质量的要求越来越高，对高分辨率图像的需求出现在各个领域中，特别是在一些情况下，严格要求图像是高分辨率图像。例如，在医学领域，为了更好的诊断出那些肉眼难以察觉的疾病，需要对图像进行超分辨重建。卫星地面系统必须提供高清晰度的图像，以便能够准确识别出人脸和证件。因此，提升图像质量已成为计算机图像处理领域的重要目标。现阶段，深度学习强大的非线性能力与特征学习能力成为超分辨重建中的主流方法。
例如，公开号为CN111476717A的中国专利公开了一种基于自注意力生成对抗网络的人脸图像超分辨重建方法，该发明设计了一个加入了自注意力模块的生成对抗网络，由两个生成器网络和两个判别器网络组成，其中一个生成器网络和判别器网络用来对图像进行下采样，另一组用来进行图像超分辨重建。但是，生成器网络中的残差连接中的残差连接模块使用归一化层，归一化层虽然可以加速网络收敛且对过拟合有一定的抑制作用，但在图像超分辨重建中却有着潜在问题，归一化层会使得图像空间信息丢失从而使得网络重建效果并不明显。
例如，公开号为CN111932456A 的中国专利公开了一种基于生成对抗网络的单幅图像超分辨率重建方法，该发明设计了一个使用简化残差连接的生成对抗网络，由一个生成器网络和一个判别器网络组成，用来重建低分辨率图像。虽然其中生成器网络没有使用归一化层，但是其使用的仍是相加方法的简单残差连接，对低分辨率图像的特征提取效果仍不够详细，生成器学习不到更高级的图像特征使得生成的高分辨率图像的效果不好。
发明内容
本发明意在提供一种基于密集残差连接的生成对抗网络的图像超分辨重建方法，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。
本发明提供的基于密集残差连接的生成对抗网络的图像超分辨重建方法，包括：
构建包括密集残差块组合的多层生成器网络，其中，所述密集残差块组合包括依次串联的多个密集残差块，每个密集残差块的结构为：输入层→第1卷积层→第1激活函数层→第2卷积层→第2激活函数层→第3卷积层→第3激活函数层→第4卷积层→第4激活函数层→输出层；
构建多层判别器网络，并将构建的生成器网络和判别器网络级联组成自注意力生成对抗网络；
将高分辨率训练集中的高分辨图像进行格式转换、缩放以及插值处理，获取低分辨率图像，并对低分辨率图像进行存储形成低分辨率训练集；
分别设置生成器网络和判别器网络的初始学习率，并通过Adam优化器对生成器网络和判别器网络的学习率进行自适应调整，以及将高分辨率训练集中的高分辨图像和低分辨率训练集中的低分辨率图像输入至所述自注意力生成对抗网络进行训练，获取自注意力生成对抗网络对应的最优参数；
通过自注意力生成对抗网络对应的最优参数对低分辨率训练集中的低分辨率图像进行超分辨重建。
在上述的方案中，所述密集残差块的第2卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层的输出进行通道连接组成，所述密集残差块的第3卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层的输出和所述密集残差块的第2卷积层的输出进行通道连接组成，所述密集残差块的第4卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层、所述密集残差块的第2卷积层的输出和所述密集残差块的第3卷积层的输出进行通道连接组成，所述密集残差块的输出层为所述密集残差块的第1卷积层的输出+所述密集残差块的第2卷积层的输出+所述密集残差块的第3卷积层的输出+第4卷积层的输出。
在上述的方案中，所述密集残差块的第1激活函数层、第2激活函数层、第3激活函数层和第4激活函数层采用的激活函数为LeakyReLU函数，所述LeakyReLU函数的斜率为0.2。
在上述的方案中，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的卷积核个数分别为64、128、256和512；所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的卷积核大小均为3×3，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的步长均为1，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的边缘填充大小均为1；输出层的卷积核个数为64，大小为3×3，步长为1，边缘填充大小为1。
在上述的方案中，所述生成器网络的结构为：输入层→第1卷积层→第1激活函数层→第1注意力模块→密集残差块组合→第2注意力模块→第2卷积层→第2激活函数层→第3卷积层→第1亚像素卷积层→第3激活函数层→第4卷积层→第2亚像素卷积层→第4激活函数层→第5卷积层→第5激活函数层→输出层。
在上述的方案中，所述生成器网络中的第1激活函数层、第2激活函数层、第3激活函数层和第4激活函数层采用的激活函数为Prelu激活函数，所述生成器网络中的第5激活函数层采用的激活函数为Tanh激活函数。
在上述的方案中，所述第1注意力模块和所述第2注意力模块的结构为：输入层→第1最大池化层与第1平均池化层→全连接层→激活函数层→第2最大池化层→第2平均池化层→卷积层→输出层。
在上述的方案中，所述判别器网络的结构为：输入层→第1卷积层→第1激活函数层→第2卷积层→第1归一化层→第2激活函数层→第3卷积层→第2归一化层→第3激活函数层→第4卷积层→第3归一化层→第4激活函数层→第5卷积层→第4归一化层→第5激活函数层→第6卷积层→第5归一化层→第6激活函数层→第7卷积层→第6归一化层→第7激活函数层→第8卷积层→第7归一化层→第8激活函数层→第1池化层→第9卷积层→第9激活函数层→第10卷积层→第10激活函数层→输出层。
在上述的方案中，所述生成器网络的初始学习率设置为0.0001，所述判别器网络的初始学习率设置为0.0003。
在上述的方案中，获取自注意力生成对抗网络对应的最优参数包括：
获取生成器网络对应的损失函数在判别器网络中的得分；
将得分最高时自注意力生成对抗网络对应的参数作为最优参数；
其中，通过得分公式获取生成器网络对应的损失函数在判别器网络中的得分，得分公式表示为：
;
其中，;
;
;
其中，D(G(Z))为将低分辨率图像输入至生成器网络得到与其对应的高分辨图像的准确性；其中，Preception Loss为感知损失，为将第i个高分辨图像输入至生成器网络得到的结果，/>将第i个低分辨率图像输入至生成器网络得到的图像再次至生成器网络得到的结果，N为图像数量，MSE Loss为均方损失，/>表示欧氏距离的平方， xi为将第i个低分辨率图像输入至生成器网络得到的图像的像素值,/>为第i个高分辨图像的像素值，TV Loss为总变分损失，/>为图像第i个低分辨率图像在水平方向的梯度，/>为图像第i个低分辨率图像在垂直方向的梯度，/>为L1范数。
本发明实施例包括以下优点：
本发明实施例提供的基于密集残差连接的生成对抗网络的图像超分辨重建方法，通过构建一个包括密集残差块组合的多层生成器网络，并加入注意力模块辅助特征提取，形成自注意力生成对抗网络，以及在自注意力生成对抗网络训练过程中，通过Adam优化器对生成器网络和判别器网络的学习率进行自适应调整，获取生成器网络对应的损失函数在判别器网络中的得分，将得分最高时自注意力生成对抗网络对应的参数作为最优参数，从而使得提取到的特征更加丰富、图像超分辨重建的效果更好。
附图说明
图1是本发明的一种基于密集残差连接的生成对抗网络的图像超分辨重建方法的步骤图。
图2是本发明的生成器网络的结构示意图。
图3是本发明的每个密集残差块的结构示意图。
图4是本发明的每个注意力模块的结构示意图。
图5是本发明的判别器网络的结构示意图。
图6是本发明一个对比实施例中的重建结果对比图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明提供一种基于密集残差连接的生成对抗网络的图像超分辨重建方法，包括：
步骤S1：构建包括密集残差块组合的多层生成器网络。
如图2所示，所述生成器网络的结构为：输入层→第1卷积层→第1激活函数层→第1注意力模块→密集残差块组合→第2注意力模块→第2卷积层→第2激活函数层→第3卷积层→第1亚像素卷积层→第3激活函数层→第4卷积层→第2亚像素卷积层→第4激活函数层→第5卷积层→第5激活函数层→输出层。
其中，所述生成器网络中的第1激活函数层、第2激活函数层、第3激活函数层和第4激活函数层采用的激活函数为Prelu激活函数，所述生成器网络中的第5激活函数层采用的激活函数为Tanh激活函数。
其中，所述生成器网络中的第1卷积层的卷积核个数为64，卷积核大小为9×9，步长为1，边缘填充大小为4；所述生成器网络中的第2卷积层的卷积核个数为64，卷积核大小为3×3，步长为1，边缘填充大小为1；所述生成器网络中的第3卷积层的卷积核个数为256，卷积核大小为3×3，步长为1，边缘填充大小为1；所述生成器网络中的第4卷积层的卷积核个数为256，卷积核大小为3×3，步长为1，边缘填充大小为1；所述生成器网络中的第5卷积层的卷积核个数为3，卷积核大小为9×9，步长为1，边缘填充大小为4。
如图3所示，所述密集残差块组合包括依次串联的多个密集残差块，每个密集残差块的结构为：输入层→第1卷积层→第1激活函数层→第2卷积层→第2激活函数层→第3卷积层→第3激活函数层→第4卷积层→第4激活函数层→输出层。
其中，所述密集残差块的第2卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层的输出进行通道连接组成，所述密集残差块的第3卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层的输出和所述密集残差块的第2卷积层的输出进行通道连接组成，所述密集残差块的第4卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层、所述密集残差块的第2卷积层的输出和所述密集残差块的第3卷积层的输出进行通道连接组成，所述密集残差块的输出层为所述密集残差块的第1卷积层的输出+所述密集残差块的第2卷积层的输出+所述密集残差块的第3卷积层的输出+第4卷积层的输出。
其中，所述密集残差块的第1激活函数层、第2激活函数层、第3激活函数层和第4激活函数层采用的激活函数为LeakyReLU函数，所述LeakyReLU函数的斜率为0.2。
其中，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的卷积核个数分别为64、128、256和512；所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的卷积核大小均为3×3，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的步长均为1，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的边缘填充大小均为1；输出层的卷积核个数为64，大小为3×3，步长为1，边缘填充大小为1。
具体地，所述密集残差块具有信息传递效率高的特点，所述密集残差块中每个卷积层都与其前面的所有卷积层进行通道连接，促进了信息梯度的传递，使得信息在层与层之间流动的更加直接，提高了特征的复用与信息的传递效率；同时，所述密集残差块的每一层都拥有前面所有层的特征信息，从而帮助网络提高表达能力和感受野，丰富了特征的多样性，有助于模型的性能提升；此外，所述密集残差块，有利于减轻梯度消失和防止梯度爆炸问题。
具体地，所述密集残差块和现有对于图像超分辨重建方面的密集残差连接技术相对比：该密集残差连接由四个卷积层组成，其中第2，3，4卷积层分别与前面所有层的输出进行通道连接，形成密集连接，然后输出层为将1，2，3，4层相加，而现有的对于图像超分辨重建的密集残差连接采用的是每个密集残差块内部的卷积层直接连接，而不是卷积连接，然后再经过一层1×1的卷积层调整通道数，再与初始输入进行残差连接；由此，采用密集残差块具有以下优点：对通道的调整直接在卷积连接中实现使得在所述密集残差块不需要1×1的卷积层的加入，使得网络的结构更加精炼，同等条件下的计算量更小，计算速度更快并且提取到的特征量相同；由于生成器网络的主体是密集残差块组合，密集残差块组合是由大量密集残差块组成，所以对于整个生成器网络来说其提取特征值的速度将会大大提升并且其计算量将会大大减少，从而在相同算力下可以增加更多的密集残差块，使得特征提取更加丰富。
如图4所示，所述第1注意力模块和所述第2注意力模块的结构为：输入层→第1最大池化层与第1平均池化层→全连接层→激活函数层→第2最大池化层→第2平均池化层→卷积层→输出层。
具体地，所述第1注意力模块和所述第2注意力模块非常灵活，可以直接插入在任意层后使用，并且可以提升经过密集残差块组合提取到的不同位置的特征的重要性，减少不重要特征对最终结果的干扰；此外，与现有技术中的具有固定权重的注意力层相比，所述第1注意力模块和所述第2注意力模块可进行自适应学习，对经过密集残差块组合提取到的大量特征具有筛查能力。
步骤S2：构建多层判别器网络，并将构建的生成器网络和判别器网络级联组成自注意力生成对抗网络。
如图5所示，所述判别器网络的结构为：输入层→第1卷积层→第1激活函数层→第2卷积层→第1归一化层→第2激活函数层→第3卷积层→第2归一化层→第3激活函数层→第4卷积层→第3归一化层→第4激活函数层→第5卷积层→第4归一化层→第5激活函数层→第6卷积层→第5归一化层→第6激活函数层→第7卷积层→第6归一化层→第7激活函数层→第8卷积层→第7归一化层→第8激活函数层→第1池化层→第9卷积层→第9激活函数层→第10卷积层→第10激活函数层→输出层。
其中，所述判别器网络中的第1激活函数层至第9激活函数层采用的激活函数为LeakyReLU激活函数，LeakyReLU函数的斜率设置为0.2，所述判别器网络中的第10激活函数层采用的激活函数为Sigmoid激活函数，所述判别器网络中的所有归一化层均采用BatchNorm2d函数实现。
其中，所述判别器网络中的第1卷积层、第3卷积层、第5卷积层和第7卷积层的卷积核个数分别为64、128、256和512，卷积核大小均为3×3，步长为1，边缘填充大小为1；所述判别器网络中的第2卷积层、第4卷积层、第6卷积层和第8卷积层的卷积核个数分别为64、128、256和512，卷积核大小均为3×3，步长为2，边缘填充大小为1；所述判别器网络中的第9卷积层和第10卷积层的卷积核个数分别为1024和1，卷积核大小均为1×1，步长为1，边缘填充大小为0。
步骤S3：将高分辨率训练集中的高分辨图像进行格式转换、缩放以及插值处理，获取低分辨率图像，并对低分辨率图像进行存储形成低分辨率训练集。
步骤S4：分别设置生成器网络和判别器网络的初始学习率，并通过Adam优化器对生成器网络和判别器网络的学习率进行自适应调整，以及将高分辨率训练集中的高分辨图像和低分辨率训练集中的低分辨率图像输入至所述自注意力生成对抗网络进行训练，获取自注意力生成对抗网络对应的最优参数。
其中，所述生成器网络的初始学习率设置为0.0001，所述判别器网络的初始学习率设置为0.0003,通过Adam优化器每训练一轮就用测试集进行测试，并且输出测试集经过指定倍下采样的低分辨率图像和原始高分辨率图像，并将经过每轮训练的生成器网络的生成图像进行保存，每 10 轮对这 10 轮测试集的 PNSR和SSIM 进行画折线图操作并保存在对应文件中。
获取自注意力生成对抗网络对应的最优参数包括：
获取生成器网络对应的损失函数在判别器网络中的得分；
将得分最高时自注意力生成对抗网络对应的参数作为最优参数；
其中，通过得分公式获取生成器网络对应的损失函数在判别器网络中的得分，得分公式表示为：
;
其中，;
;
;
其中，D(G(Z))为将低分辨率图像输入至生成器网络得到与其对应的高分辨图像的准确性，其取值范围在0~1之间，越接近1，就意味着生成器网络更有可能准确识别与低分辨率图像对应的高分辨图像，当生成器网络经判别器网络判断得到与低分辨率图像对应的高分辨图的概率越大，表明生成器网络生成效果越好，此时用1减去该概率，整体值变小；其中，Preception Loss为感知损失，为将第i个高分辨图像输入至生成器网络得到的结果，/>将第i个低分辨率图像输入至生成器网络得到的图像再次至生成器网络得到的结果，N为图像数量，MSE loss为均方损失，/>表示欧氏距离的平方，xi为将第i个低分辨率图像输入至生成器网络得到的图像的像素值，/>为第i个高分辨图像的像素值，在图像生成任务中起着十分重要的作用，用于衡量生成器网络的生成图像与高分辨图像之间的差异，可以生成器网络的生成图像的质量，驱使生成器网络学习；TVLoss为总变分损失，用于惩罚图像中高频噪声与不连续性，常被用作正则化项防止过拟合，/>为图像第i个低分辨率图像在水平方向的梯度，/>为图像第i个低分辨率图像在垂直方向的梯度，/>为L1范数。
步骤S5：通过自注意力生成对抗网络对应的最优参数对低分辨率训练集中的低分辨率图像进行超分辨重建。
在本发明的一个对比实施例中，分别采用SRGAN方法、仅在SRGAN方法中加入注意力模块的方法以及本发明提供的基于密集残差连接的生成对抗网络的图像超分辨重建方法进行超分辨重建，分别计算各个方法分别对应的PSNR和SSIM，对比结果如表1所示：
表1 PSNR和SSIM对比结果
如图6所示，图6中的(a)为输入的低分辨率图像，图6中的(b)为采用SRGAN方法进行超分辨重建的结果图，图6中的(c)为仅在SRGAN方法中加入注意力模块进行超分辨重建的结果图，图6中的(d)为采用本发明提供的基于密集残差连接的生成对抗网络的图像超分辨重建方法进行超分辨重建的结果图。
综上，采用基于密集残差连接的生成对抗网络的图像超分辨重建方法进行超分辨重建，因为在生成器网络中采用了密集残差块组合，具有更好的重建的效果。
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述方法包括：
构建包括密集残差块组合的多层生成器网络，其中，所述密集残差块组合包括依次串联的多个密集残差块，每个密集残差块的结构为：输入层→第1卷积层→第1激活函数层→第2卷积层→第2激活函数层→第3卷积层→第3激活函数层→第4卷积层→第4激活函数层→输出层；
构建多层判别器网络，并将构建的生成器网络和判别器网络级联组成自注意力生成对抗网络；
将高分辨率训练集中的高分辨图像进行格式转换、缩放以及插值处理，获取低分辨率图像，并对低分辨率图像进行存储形成低分辨率训练集；
分别设置生成器网络和判别器网络的初始学习率，并通过Adam优化器对生成器网络和判别器网络的学习率进行自适应调整，以及将高分辨率训练集中的高分辨图像和低分辨率训练集中的低分辨率图像输入至所述自注意力生成对抗网络进行训练，获取自注意力生成对抗网络对应的最优参数；
通过自注意力生成对抗网络对应的最优参数对低分辨率训练集中的低分辨率图像进行超分辨重建。
2.根据权利要求1所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述密集残差块的第2卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层的输出进行通道连接组成，所述密集残差块的第3卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层的输出和所述密集残差块的第2卷积层的输出进行通道连接组成，所述密集残差块的第4卷积层为所述密集残差块的输入层与所述密集残差块的第1卷积层、所述密集残差块的第2卷积层的输出和所述密集残差块的第3卷积层的输出进行通道连接组成，所述密集残差块的输出层为所述密集残差块的第1卷积层的输出+所述密集残差块的第2卷积层的输出+所述密集残差块的第3卷积层的输出+第4卷积层的输出。
3.根据权利要求2所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述密集残差块的第1激活函数层、第2激活函数层、第3激活函数层和第4激活函数层采用的激活函数为LeakyReLU函数，所述LeakyReLU函数的斜率为0.2。
4.根据权利要求3所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的卷积核个数分别为64、128、256和512；所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的卷积核大小均为3×3，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的步长均为1，所述密集残差块的第1卷积层、第2卷积层、第3卷积层和第4卷积层的边缘填充大小均为1；输出层的卷积核个数为64，大小为3×3，步长为1，边缘填充大小为1。
5.根据权利要求1所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述生成器网络的结构为：输入层→第1卷积层→第1激活函数层→第1注意力模块→密集残差块组合→第2注意力模块→第2卷积层→第2激活函数层→第3卷积层→第1亚像素卷积层→第3激活函数层→第4卷积层→第2亚像素卷积层→第4激活函数层→第5卷积层→第5激活函数层→输出层。
6.根据权利要求5所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述生成器网络中的第1激活函数层、第2激活函数层、第3激活函数层和第4激活函数层采用的激活函数为Prelu激活函数，所述生成器网络中的第5激活函数层采用的激活函数为Tanh激活函数。
7.根据权利要求5所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述第1注意力模块和所述第2注意力模块的结构为：输入层→第1最大池化层与第1平均池化层→全连接层→激活函数层→第2最大池化层→第2平均池化层→卷积层→输出层。
8.根据权利要求1所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述判别器网络的结构为：输入层→第1卷积层→第1激活函数层→第2卷积层→第1归一化层→第2激活函数层→第3卷积层→第2归一化层→第3激活函数层→第4卷积层→第3归一化层→第4激活函数层→第5卷积层→第4归一化层→第5激活函数层→第6卷积层→第5归一化层→第6激活函数层→第7卷积层→第6归一化层→第7激活函数层→第8卷积层→第7归一化层→第8激活函数层→第1池化层→第9卷积层→第9激活函数层→第10卷积层→第10激活函数层→输出层。
9.根据权利要求1所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，所述生成器网络的初始学习率设置为0.0001，所述判别器网络的初始学习率设置为0.0003。
10.根据权利要求1所述的基于密集残差连接的生成对抗网络的图像超分辨重建方法，其特征在于，获取自注意力生成对抗网络对应的最优参数包括：
获取生成器网络对应的损失函数在判别器网络中的得分；
将得分最高时自注意力生成对抗网络对应的参数作为最优参数；
其中，通过得分公式获取生成器网络对应的损失函数在判别器网络中的得分，得分公式表示为：
;
其中， ;
;
;
其中，D(G(Z))为将低分辨率图像输入至生成器网络得到与其对应的高分辨图像的准确性；其中，Preception Loss为感知损失，为将第i个高分辨图像输入至生成器网络得到的结果，/>将第i个低分辨率图像输入至生成器网络得到的图像再次至生成器网络得到的结果，N为图像数量，MSE Loss为均方损失，/>表示欧氏距离的平方，xi为将第i个低分辨率图像输入至生成器网络得到的图像的像素值, />为第i个高分辨图像的像素值，TV Loss为总变分损失，/>为图像第i个低分辨率图像在水平方向的梯度，/>为图像第i个低分辨率图像在垂直方向的梯度，/>为L1范数。
CN202310994932.1A 2023-08-09 2023-08-09 基于密集残差连接的生成对抗网络的图像超分辨重建方法 Active CN116721018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310994932.1A CN116721018B (zh) 2023-08-09 2023-08-09 基于密集残差连接的生成对抗网络的图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310994932.1A CN116721018B (zh) 2023-08-09 2023-08-09 基于密集残差连接的生成对抗网络的图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN116721018A true CN116721018A (zh) 2023-09-08
CN116721018B CN116721018B (zh) 2023-11-28

Family

ID=87875547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310994932.1A Active CN116721018B (zh) 2023-08-09 2023-08-09 基于密集残差连接的生成对抗网络的图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN116721018B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110038558A1 (en) * 2009-08-13 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN111080513A (zh) * 2019-10-24 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的人脸图像超分辨率方法
CN111105352A (zh) * 2019-12-16 2020-05-05 佛山科学技术学院 超分辨率图像重构方法、系统、计算机设备及存储介质
CN113837940A (zh) * 2021-09-03 2021-12-24 山东师范大学 基于密集残差网络的图像超分辨率重建方法及系统
CN114820323A (zh) * 2022-05-17 2022-07-29 东南大学 一种基于立体注意力机制的多尺度残差双目图像超分辨率方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110038558A1 (en) * 2009-08-13 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN111080513A (zh) * 2019-10-24 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的人脸图像超分辨率方法
CN111105352A (zh) * 2019-12-16 2020-05-05 佛山科学技术学院 超分辨率图像重构方法、系统、计算机设备及存储介质
CN113837940A (zh) * 2021-09-03 2021-12-24 山东师范大学 基于密集残差网络的图像超分辨率重建方法及系统
CN114820323A (zh) * 2022-05-17 2022-07-29 东南大学 一种基于立体注意力机制的多尺度残差双目图像超分辨率方法

Also Published As

Publication number Publication date
CN116721018B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN112330542B (zh) 基于crcsan网络的图像重建系统及方法
CN109905624B (zh) 一种视频帧插值方法、装置及设备
US10769757B2 (en) Image processing apparatuses and methods, image processing systems and training methods
CN109087273B (zh) 基于增强的神经网络的图像复原方法、存储介质及系统
CN112001847A (zh) 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN111242846B (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN108961186A (zh) 一种基于深度学习的老旧影片修复重制方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN112801877A (zh) 一种视频帧的超分辨率重构方法
CN112070702B (zh) 多尺度残差特征判别增强的图像超分辨率重构系统及方法
CN111784582A (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN111784570A (zh) 一种视频图像超分辨率重建方法及设备
CN117058160B (zh) 基于自适应特征融合网络的三维医学图像分割方法及系统
CN113920043A (zh) 基于残差通道注意力机制的双流遥感图像融合方法
CN109064407A (zh) 基于多层感知机层的密集连接网络图像超分辨率方法
CN112949636A (zh) 一种车牌超分辨率识别方法、系统及计算机可读介质
CN113298716A (zh) 基于卷积神经网络的图像超分辨率重建方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN116721018B (zh) 基于密集残差连接的生成对抗网络的图像超分辨重建方法
US20240062347A1 (en) Multi-scale fusion defogging method based on stacked hourglass network
CN112633340A (zh) 目标检测模型训练、检测方法、设备及存储介质
CN112365405A (zh) 一种基于生成对抗网络的无监督超分辨率重建方法
CN110378466A (zh) 基于神经网络差分的量化方法及系统
CN110648291B (zh) 一种基于深度学习的无人机运动模糊图像的复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant