CN111210007A - 基于改进srgan模型的超分辨率螺栓图像生成方法 - Google Patents
基于改进srgan模型的超分辨率螺栓图像生成方法 Download PDFInfo
- Publication number
- CN111210007A CN111210007A CN202010003211.6A CN202010003211A CN111210007A CN 111210007 A CN111210007 A CN 111210007A CN 202010003211 A CN202010003211 A CN 202010003211A CN 111210007 A CN111210007 A CN 111210007A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- discriminator
- model
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 239000011541 reaction mixture Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 58
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 238000010276 construction Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012821 model calculation Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于改进SRGAN模型的超分辨率螺栓图像生成方法，涉及图像处理技术领域；其包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力；其通过在SRGAN模型的损失函数中加入相对均值鉴别器等，实现了在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像分辨率高。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及基于改进SRGAN模型的超分辨率螺栓图像生成方法，是一种基于生成式对抗网络(Generative Adversarial Networks,GAN)的超分辨率方法。
背景技术
百度中，超分辨率是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。
近年来超分辨率(Super Resolution,SR)图像生成技术作为工业界、学术界一直讨论研究的热门话题，在增加图像质量方面发挥着重要的作用。超分辨率图像生成是指低分辨率图像(Low Resolution,LR)通过一定的转换之后生成高分辨率图像(HighResolution,HR)的过程。对于图像超分辨率技术，关键是建立从LR图像到HR图像的非线性映射，由于LR图像信息不充足，需要根据先验知识提供信息。
传统方法一般是插值，这样的效果是不理想的，将对抗学习的思想引入超分辨率图像生成中，加入的判别器能够解决不同数据域存在分布不相同的问题，通过使判别器无法区分两个不同数据域的样本，使得它们属于同一个分布，从而作为一个规则化的方法去指导深度学习模型更新参数权重，取得更好的生成效果。其中，SRGAN(Super-ResolutionGenerative Adversarial Network)模型在超分辨率生成方面取得了巨大的成功，实验也表明该模型能够获得较好的效果。然而仍然存在一些不足，生成的图像会出现噪声，细节不够真实，影响了生成样本的质量，而且GAN网络在训练过程中存在不稳定的情况。
本申请主要针对的问题就是在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像分辨率低，针对这一问题，提出了一种基于改进SRGAN模型的超分辨率螺栓图像生成方法。
现有技术问题及思考：
如何解决在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像分辨率低的技术问题。
发明内容
本发明所要解决的技术问题是提供基于改进SRGAN模型的超分辨率螺栓图像生成方法，其通过在SRGAN模型的损失函数中加入相对均值鉴别器等，实现了在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像的分辨率高。
为解决上述技术问题，本发明所采取的技术方案是：基于改进SRGAN模型的超分辨率螺栓图像生成方法包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。
进一步的技术方案在于：在所述步骤S2建立生成式对抗网络模型中去除生成器网络中的BN层以降低模型计算复杂度。
进一步的技术方案在于：所述步骤S4判别器损失函数构建包括判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失，在判别器损失函数中引入相对均值鉴别器，相对均值鉴别器的计算公式如下所示：
DRa(xr,xf)＝σ(C(xr)-Exf[C(xf)]) (4)
其中，σ为激活函数，C(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，E()代表期望函数，C(xf)是低分辨率图像未经判别器最后层激活函数的输出；
加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：
式(6)中，xr代表高分辨率图像，P是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，Q是生成的高分辨率图像的概率分布，E()代表期望函数。
进一步的技术方案在于：所述步骤S2建立生成式对抗网络模型包括生成器G采用残差网络结构，移除残差网络中的批量归一化层即BN层。
进一步的技术方案在于：在所述S2建立生成式对抗网络模型的步骤中，螺栓图像超分辨率网络基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成，生成器G生成服从真实数据分布的假样本，判别器D是一个二分类器，用来评估所述假样本是真实图像的概率，产生的概率值反作用到生成器G来帮助其继续训练，直到最后生成判别器D无法辨真假的假样本。
进一步的技术方案在于：在所述S2建立生成式对抗网络模型的步骤中，生成器G使用15个卷积层，输入为低分辨率螺栓图像，经过一个卷积核大小为9×9的卷积层，PReLU激活层，经过5个去除了BN层的残差结构块，中间采用跳层连接，第一层的输出作为第三层的输入，第三层的输出作为第五层的输入，通过两个亚像素卷积层来增加输入图像的分辨率，最后输出高分辨率的螺栓图像。
进一步的技术方案在于：在所述S2建立生成式对抗网络模型的步骤中，判别器D的网络使用了VGG网络，输入是真实的高分辨率螺栓图像和生成的螺栓图像，判别器D的网络包含8个卷积层，全部为3×3大小的卷积核，每两个卷积层的输出映射数是一样的，从64到512，成两倍的变化，每次输出映射数变化，卷积网络就降低图像的分辨率，512个特征映射后是两个密度层dense layer、一个LeakyRelu激活函数以及一个Sigmoid激活函数，增加了区分HR图像和SR图像可能性，两个密度层一个是1024层，另外一个只有1层。
进一步的技术方案在于：所述步骤S1模型训练使用的数据集包括收集模型训练使用的数据集，将高分辨率图像和低分辨率图像一一对应。
进一步的技术方案在于：所述步骤S3生成器损失函数构建包括以下步骤，生成器损失函数为：
式1中，
是生成器损失函数，
是基于内容的损失函数，用于计算内容损失，
是基于对抗学习的代价函数，用于计算代价损失；
基于内容的损失函数通过重构图像的特征表示和对应的高清晰度图像之间的欧式距离表示，计算公式如下所示：
式(2)中，Wi,j、Hi,j描述了VGG网络中对应特征图宽度和高度的维数，Φi,j表示第i个最大值池化层前第j个卷积层的特征图，IHR为高分辨率图像，ILR为低分辨率图像，
为低分辨率图像经过生成器之后生成的高分辨率图像；
基于对抗学习的代价函数的计算公式如下所示：
式(3)中，
是一个图像属于真实的高分辨率图像的概率，
为生成器生成的高分辨率图像。
进一步的技术方案在于：所述步骤S5高分辨率螺栓图像生成包括将低分辨率的螺栓图像输入训练好的生成器模型中，获得高分辨率的螺栓图像。
采用上述技术方案所产生的有益效果在于：
第一，包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。该技术方案，其通过在SRGAN模型的损失函数中加入相对均值鉴别器等，实现了在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像的分辨率高。
第二，去除生成器网络中的BN层并降低模型计算复杂度。该技术方案，由于减少模型计算复杂度，大大缩短网络的训练和测试时间。
详见具体实施方式部分描述。
附图说明
图1是本发明的流程图；
图2是本发明中生成器网络的结构图；
图3是本发明中判别器网络的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
如图1～图3所示，本发明公开了基于改进SRGAN模型的超分辨率螺栓图像生成方法，包括S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成共五个步骤，具体如下：
S1模型训练使用的数据集
收集模型训练使用的数据集，将高分辨率图像和低分辨率图像一一对应。
S2建立生成式对抗网络模型
螺栓图像超分辨率网络基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成，生成器G生成服从真实数据分布的假样本，判别器D是一个二分类器，用来评估所述假样本是真实图像的概率，产生的概率值反作用到生成器G来帮助其继续训练，直到最后生成判别器D无法辨真假的假样本。
生成器G采用残差网络结构，移除残差网络中的批量归一化层即BN层，使用15个卷积层。输入为低分辨率螺栓图像，经过一个卷积核大小为9×9的卷积层，PReLU激活层，经过5个去除了BN层的残差结构块，中间采用跳层连接，第一层的输出作为第三层的输入，第三层的输出作为第五层的输入，通过两个亚像素卷积层来增加输入图像的分辨率，最后输出高分辨率的螺栓图像。判别器D的网络使用了VGG网络，输入是真实的高分辨率螺栓图像和生成的螺栓图像，判别器D的网络包含8个卷积层，全部为3×3大小的卷积核，每两个卷积层的输出映射数是一样的，从64到512，成两倍的变化，每次输出映射数变化，卷积网络就降低图像的分辨率，512个特征映射后是两个密度层dense layer、一个LeakyRelu激活函数以及一个Sigmoid激活函数，增加了区分HR图像和SR图像可能性，两个密度层一个是1024层，另外一个只有1层。
S3生成器损失函数构建
生成器损失函数为：
式(1)中，
是生成器损失函数，
是基于内容的损失函数，用于计算内容损失，
是基于对抗学习的代价函数，用于计算代价损失。
基于内容的损失函数通过重构图像的特征表示和对应的高清晰度图像之间的欧式距离表示，计算公式如下所示：
式(2)中，Wi,j、Hi,j描述了VGG网络中对应特征图宽度和高度的维数，Φi,j表示第i个最大值池化层前第j个卷积层的特征图，IHR为高分辨率图像，ILR为低分辨率图像，
为低分辨率图像经过生成器之后生成的高分辨率图像。
基于对抗学习的代价函数的计算公式如下所示：
式(3)中，
是一个图像属于真实的高分辨率图像的概率，
为生成器生成的高分辨率图像。
S4判别器损失函数构建
判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失，在判别器损失函数中引入相对均值鉴别器，相对均值鉴别器的计算公式如下所示：
DRa(xr,xf)＝σ(C(xr)-Exf[C(xf)]) (4)
其中，σ为激活函数，C(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，E()代表期望函数，C(xf)是低分辨率图像未经判别器最后层激活函数的输出。
加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：
式(6)中，xr代表高分辨率图像，P是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，Q是生成的高分辨率图像的概率分布，E()代表期望函数。
S5高分辨率螺栓图像生成
将低分辨率的螺栓图像输入训练好的生成器模型中，获得高分辨率的螺栓图像。
本申请的发明构思：
第一，在SRGAN模型的损失函数中加入相对均值鉴别器，进一步平衡生成器和判别器的能力，解决生成图像的质量问题。
第二，去除生成器网络中的BN层，减少模型计算复杂度，大大缩短网络的训练和测试时间。
本申请的技术贡献：
S1模型训练使用的数据集
收集模型训练使用的数据集，需要将高分辨率图像和低分辨率图像一一对应。
S2建立生成式对抗网络模型
该螺栓图像超分辨率网络是基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成，生成器G生成服从真实数据分布的假样本，判别器D是一个二分类器，用来评估这个假样本是真实图像的概率，产生的概率值反作用到生成器G来帮助其继续训练，直到最后生成判别器D无法辨真假的假样本。
如图2所示，生成器G采用残差网络结构，移除残差网络中的批量归一化层即BN层，使用了15个卷积层。输入为低分辨率螺栓图像，经过一个卷积核大小为9×9的卷积层，PReLU激活层，经过5个去除BN层的残差结构块，中间采用跳层连接，第一层的输出作为第三层的输入，第三层的输出作为第五层的输入，减少网络参数，通过两个亚像素卷积层来增加输入图像的分辨率，最后输出高分辨率的螺栓图像。和生成的螺栓图像，网络结构使用了VGG网络，输入是真实的高分辨率螺栓图像和生成的螺栓图像。判别器D网络包含8个卷积层，全部为3×3大小的卷积核，每两个卷积层的输出映射数是一样的，从64到512，成两倍的变化，每次输出映射数变化，卷积网络就降低图像的分辨率，512个特征映射后是两个密度层dense layer、一个LeakyRelu激活函数以及一个Sigmoid激活函数，增加了区分HR图像和SR图像可能性，两个密度层一个是1024层，另外一个只有1层。
S3生成器损失函数构建
生成器损失函数为：
式(1)中，
是生成器损失函数，
是基于内容的损失函数，用于计算内容损失，
是基于对抗学习的代价函数，用于计算代价损失。
基于内容的损失函数通过重构图像的特征表示和对应的高清晰度图像之间的欧式距离表示，计算公式如下所示：
式(2)中，Wi,j、Hi,j描述了VGG网络中对应特征图宽度和高度的维数，Φi,j表示第i个最大值池化层前第j个卷积层的特征图，IHR为高分辨率图像，ILR为低分辨率图像，
为低分辨率图像经过生成器之后生成的高分辨率图像。
基于对抗学习的代价函数的计算公式如下所示：
式(3)中，
是一个图像属于真实的高分辨率图像的概率，
为生成器生成的高分辨率图像。
S4判别器损失函数构建
判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失。由于生成器无法直接从螺栓样本中观测其形状，其对螺栓产生的信息来自鉴别器，这就导致鉴别器在二分类中分类能力太强，使得生成器容易生成变形的螺栓，如：螺母和螺杆边缘扭曲，螺纹不清晰等问题，因此在判别器损失函数中引入相对均值鉴别器，将真假螺栓样本混合利用“图灵测试”的思想提升了判别器的能力。相对均值鉴别器的计算公式如下所示：
DRa(xr,xf)＝σ(C(xr)-Exf[C(xf)]) (4)
其中，σ为激活函数，C(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，E()代表期望函数，C(xf)是低分辨率图像未经判别器最后层激活函数的输出。
因此加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：
式(6)中，xr代表高分辨率图像，P是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，Q是生成的高分辨率图像的概率分布，E()代表期望函数。
S5高分辨率螺栓图像生成
将低分辨率的螺栓图像输入训练好的生成器模型中，获得高分辨率的螺栓图像。
实施例说明如下：
如图1所示，为基于生成式对抗网络的超分辨率螺栓图像生成的整个流程。输入为低分辨率螺栓图像，经过卷积层和激活函数之后，经过5个残差块，最后生成高分辨率螺栓图像。
如图2所示，生成器G采用残差网络结构，移除残差网络中的批量归一化层即BN层。
如图3所示，将生成的高分辨率螺栓图像和已有的高分辨率螺栓图像输入判别器网络，经过7个卷积块，得出图片真假的分类结果。
如表1所示，改进前训练一个回合约需要255秒。
表1：改进前模型训练时间数据表
如表2所示，改进之后训练一个回合仅需要67秒，大大的缩短了训练时间。
表2：改进后模型训练时间数据表
与现有方法相比，本发明的有益效果是：
本发明构建了螺栓图像超分辨率网络的生成器和判别器模型，在该网络的损失函数中加入了相对均值鉴别器，能够进一步平衡生成器和判别器的能力，能够解决生成的图像出现噪声，细节不够真实，影响图像质量的技术问题。
进一步的，将生成器网络中的BN层去除之后，模型更加稳定，能够减少模型计算复杂度，大大缩短网络的训练和测试时间。
该发明切实可行，对相关问题的方案设计有一定的借鉴意义。
Claims (10)
1.基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。
2.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：在所述步骤S2建立生成式对抗网络模型中去除生成器网络中的BN层以降低模型计算复杂度。
3.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：所述步骤S4判别器损失函数构建包括判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失，在判别器损失函数中引入相对均值鉴别器，相对均值鉴别器的计算公式如下所示：
DRa(xr,xf)＝σ(C(xr)-Exf[C(xf)]) (4)
其中，σ为激活函数，C(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，E()代表期望函数，C(xf)是低分辨率图像未经判别器最后层激活函数的输出；
加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：
式(6)中，xr代表高分辨率图像，P是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，Q是生成的高分辨率图像的概率分布，E()代表期望函数。
4.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：所述步骤S2建立生成式对抗网络模型包括生成器G采用残差网络结构，移除残差网络中的批量归一化层即BN层。
5.根据权利要求4所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：在所述S2建立生成式对抗网络模型的步骤中，螺栓图像超分辨率网络基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成，生成器G生成服从真实数据分布的假样本，判别器D是一个二分类器，用来评估所述假样本是真实图像的概率，产生的概率值反作用到生成器G来帮助其继续训练，直到最后生成判别器D无法辨真假的假样本。
6.根据权利要求4所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：在所述S2建立生成式对抗网络模型的步骤中，生成器G使用15个卷积层，输入为低分辨率螺栓图像，经过一个卷积核大小为9×9的卷积层，PReLU激活层，经过5个去除了BN层的残差结构块，中间采用跳层连接，第一层的输出作为第三层的输入，第三层的输出作为第五层的输入，通过两个亚像素卷积层来增加输入图像的分辨率，最后输出高分辨率的螺栓图像。
7.根据权利要求4所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：在所述S2建立生成式对抗网络模型的步骤中，判别器D的网络使用了VGG网络，输入是真实的高分辨率螺栓图像和生成的螺栓图像，判别器D的网络包含8个卷积层，全部为3×3大小的卷积核，每两个卷积层的输出映射数是一样的，从64到512，成两倍的变化，每次输出映射数变化，卷积网络就降低图像的分辨率，512个特征映射后是两个密度层dense layer、一个LeakyRelu激活函数以及一个Sigmoid激活函数，增加了区分HR图像和SR图像可能性，两个密度层一个是1024层，另外一个只有1层。
8.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：所述步骤S1模型训练使用的数据集包括收集模型训练使用的数据集，将高分辨率图像和低分辨率图像一一对应。
9.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：所述步骤S3生成器损失函数构建包括以下步骤，生成器损失函数为：
式1中，
是生成器损失函数，
是基于内容的损失函数，用于计算内容损失，
是基于对抗学习的代价函数，用于计算代价损失；
基于内容的损失函数通过重构图像的特征表示和对应的高清晰度图像之间的欧式距离表示，计算公式如下所示：
式(2)中，Wi,j、Hi,j描述了VGG网络中对应特征图宽度和高度的维数，Φi,j表示第i个最大值池化层前第j个卷积层的特征图，IHR为高分辨率图像，ILR为低分辨率图像，
为低分辨率图像经过生成器之后生成的高分辨率图像；
基于对抗学习的代价函数的计算公式如下所示：
式(3)中，
是一个图像属于真实的高分辨率图像的概率，
为生成器生成的高分辨率图像。
10.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：所述步骤S5高分辨率螺栓图像生成包括将低分辨率的螺栓图像输入训练好的生成器模型中，获得高分辨率的螺栓图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003211.6A CN111210007A (zh) | 2020-01-02 | 2020-01-02 | 基于改进srgan模型的超分辨率螺栓图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003211.6A CN111210007A (zh) | 2020-01-02 | 2020-01-02 | 基于改进srgan模型的超分辨率螺栓图像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111210007A true CN111210007A (zh) | 2020-05-29 |
Family
ID=70789460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010003211.6A Pending CN111210007A (zh) | 2020-01-02 | 2020-01-02 | 基于改进srgan模型的超分辨率螺栓图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210007A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932456A (zh) * | 2020-07-31 | 2020-11-13 | 浙江师范大学 | 一种基于生成对抗网络的单幅图像超分辨率重建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
| CN110135366A (zh) * | 2019-05-20 | 2019-08-16 | 厦门大学 | 基于多尺度生成对抗网络的遮挡行人重识别方法 |
| CN110263858A (zh) * | 2019-06-21 | 2019-09-20 | 华北电力大学（保定） | 一种螺栓图像合成方法、装置及相关设备 |
| US20190370608A1 (en) * | 2018-05-31 | 2019-12-05 | Seoul National University R&Db Foundation | Apparatus and method for training facial locality super resolution deep neural network |
-
2020
- 2020-01-02 CN CN202010003211.6A patent/CN111210007A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190370608A1 (en) * | 2018-05-31 | 2019-12-05 | Seoul National University R&Db Foundation | Apparatus and method for training facial locality super resolution deep neural network |
| CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
| CN110135366A (zh) * | 2019-05-20 | 2019-08-16 | 厦门大学 | 基于多尺度生成对抗网络的遮挡行人重识别方法 |
| CN110263858A (zh) * | 2019-06-21 | 2019-09-20 | 华北电力大学（保定） | 一种螺栓图像合成方法、装置及相关设备 |
Non-Patent Citations (3)
| Title |
|---|
| CHRISTIAN LEDIG 等: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| XINTAO WANG 等: "ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks", 《COMPUTER VISION–ECCV 2018 WORKSHOPS》 * |
| 戚银城 等: "结合注意力机制的相对GAN螺栓图像生成", 《电测与仪表》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932456A (zh) * | 2020-07-31 | 2020-11-13 | 浙江师范大学 | 一种基于生成对抗网络的单幅图像超分辨率重建方法 |
| CN111932456B (zh) * | 2020-07-31 | 2023-05-16 | 浙江师范大学 | 一种基于生成对抗网络的单幅图像超分辨率重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109671022B (zh) | 一种基于深度特征翻译网络的图片纹理增强超分辨率方法 | |
| CN113240580A (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN110458765B (zh) | 基于感知保持卷积网络的图像质量增强方法 | |
| CN110097609B (zh) | 一种基于样本域的精细化绣花纹理迁移方法 | |
| CN113284051B (zh) | 一种基于频率分解多注意力机制的人脸超分辨方法 | |
| CN111429340A (zh) | 一种基于自注意力机制的循环图像翻译方法 | |
| CN111275640B (zh) | 一种融合二维离散小波变换和生成对抗网络的图像增强方法 | |
| CN111915490A (zh) | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 | |
| CN111383173B (zh) | 一种基于基线的图像超分辨率重建方法及系统 | |
| CN111243045A (zh) | 一种基于高斯混合模型先验变分自编码器的图像生成方法 | |
| CN111402137B (zh) | 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法 | |
| CN115936985A (zh) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 | |
| CN112365405A (zh) | 一种基于生成对抗网络的无监督超分辨率重建方法 | |
| CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
| CN112270300A (zh) | 基于生成式对抗网络的人脸素描图像转换为rgb图像方法 | |
| CN111861886A (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| Dengpan et al. | Faster and transferable deep learning steganalysis on GPU | |
| CN114494003B (zh) | 一种联合形状变换和纹理转换的古文字生成方法 | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| CN111210007A (zh) | 基于改进srgan模型的超分辨率螺栓图像生成方法 | |
| CN113129231A (zh) | 一种基于对抗生成网络生成高清图像的方法及系统 | |
| Huang | Image super-resolution reconstruction based on generative adversarial network model with double discriminators | |
| CN116777745A (zh) | 一种基于稀疏自适应聚类的图像超分辨率重建方法 | |
| CN116630967A (zh) | 基于改进ConvNeXt网络模型的SEM图像自动分类方法、电子装置 | |
| CN115760603A (zh) | 一种基于大数据技术的干涉阵列宽带成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200529 |