CN114782285A - 一种低分辨率模糊图像增强方法 - Google Patents

一种低分辨率模糊图像增强方法 Download PDF

Info

Publication number
CN114782285A
CN114782285A CN202210688985.6A CN202210688985A CN114782285A CN 114782285 A CN114782285 A CN 114782285A CN 202210688985 A CN202210688985 A CN 202210688985A CN 114782285 A CN114782285 A CN 114782285A
Authority
CN
China
Prior art keywords
image
network
representing
low
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210688985.6A
Other languages
English (en)
Inventor
吴迪
陶昕辰
高恬曼
朱涛
黄玉玲
张晓俊
陶智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210688985.6A priority Critical patent/CN114782285A/zh
Publication of CN114782285A publication Critical patent/CN114782285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种低分辨率模糊图像增强方法，先利用卷积层提取低分辨率模糊图像特征，接着经过若干残差块组成的残差网络提取残差特征，使用两个转置卷积进行上采样后再次送入卷积层提取特征，在卷积层后连接用密集残差块组成的密集残差网络，用于丰富和恢复图像的细节信息，最终输出得到高分辨率的清晰图像，通过在损失函数中添加感知损失，增强了图像的真实性，具有较好的图像增强复原效果，对于后续可能的目标检测任务来说，本文算法可以极大地提升检测准确率与效率，具有广阔的应用前景。

Description

一种低分辨率模糊图像增强方法
技术领域
本发明关于一种模糊图像增强方法，特别是有关于一种深度密集残差GAN的低分辨率模糊图像增强方法。
背景技术
现随着计算机技术的发展，计算机视觉技术因其非接触、低成本、高效率的优点，受到了国内外研究人员的关注，被广泛应用于目标检测、障碍探测、行为识别、遥感图像分析等多个领域。但拍摄图像过程中不可避免地会由于物体运动以及拍摄对象过于遥远，导致获得的图像常常出现分辨率过低以及成像模糊的问题，如果对这些低分辨率模糊的低质量图像直接进行检测，将严重影响到识别准确率和识别效率，现有技术在对低分辨率的模糊图像进行复原时，图像仍会出现存在伪影以及图像细节不真实的问题，严重影响了恢复后图像质量，无法满足后续检测需求，因此亟待提出一种增强低分辨率模糊图像的方法。
发明内容
针对上述问题，本发明提供一种低分辨率模糊图像增强方法，包括以下步骤：
S1：接收低分辨率模糊图像；
S2：深度密集残差GAN网络生成器G生成该模糊图像对应的增强图像G(M)；
S3：将该增强图像G(M)和该增强图像G(M)对应的清晰图像S送入判别器网络D；
S4：判别器网络D判断该增强图像G(M)为该清晰图像S的概率是否在阈值内，若是，则进行步骤S5，若否，则返回步骤S2；
S5：退出图像增强，达到最优状态；
其中，该深度密集残差GAN网络生成器G用于对每个输入的低分辨率模糊图像都能生成相应的增强图像；该判别器网络D用于判断输入网络的图像是来自于该深度密集残差GAN网络生成器G的增强图像G(M)还是增强图像G(M)对应的清晰图像S，该判别器网络D输出的是图像为清晰图像的概率。
进一步地，该深度密集残差GAN网络生成器G结构为：头部3个卷积-激活模块，后面连接6个残差块组成的残差网络，再连接2个转置卷积模块，再连接3通道的卷积-激活模块，接着通过卷积层再次提取图像特征，送入9个RRDB构成的密集残差网络，然后连接PixelShuffler上采样模块，最后连接一层3×3的卷积层输出图像。
进一步地，判别器网络D结构为：网络通过若干卷积对输入图像进行降采样，接着经过一个维度为1024的全连接层，最后通过一维的全连接层与Sigmoid函数输出判断结果。
进一步地，步骤S2中该深度密集残差GAN网络生成器G的总损失函数为：
Figure 583904DEST_PATH_IMAGE001
，其中，Ladversarial为对抗损失函数，Lperceptual为感知损失函数，γ为常数系数；
Figure 563362DEST_PATH_IMAGE002
，其中，
Figure 405416DEST_PATH_IMAGE003
代表输入网络生成器G的低分辨率模糊图像，
Figure 394100DEST_PATH_IMAGE004
代表网络生成器G输出的生成图像，
Figure 677314DEST_PATH_IMAGE005
表示判别器将网络生成器G生成的图像判别为真实清晰图像的概率，n为图像批处理的数量；
Figure 93252DEST_PATH_IMAGE006
，其中，
Figure 829127DEST_PATH_IMAGE007
表示图片在VGG19第
Figure 90344DEST_PATH_IMAGE008
个最大池化层之前第
Figure 352698DEST_PATH_IMAGE009
个卷积层激活之后的特征映射，得到这个特征映射就是特征图，VGG19表示Visual Geometry Group 19网络，是牛津大学计算机视觉研究组提出的，
Figure 408379DEST_PATH_IMAGE010
为该特征图的宽，
Figure 631550DEST_PATH_IMAGE011
为该特征图的高，
Figure 430878DEST_PATH_IMAGE012
为真实清晰图像，
Figure 547739DEST_PATH_IMAGE013
为生成器输出的生成图像，
Figure 446425DEST_PATH_IMAGE014
表示特征图上像素点的坐标。
进一步地，步骤S4中通过峰值信噪比评价该增强图像G(M)的质量，峰值信噪比
Figure 281526DEST_PATH_IMAGE015
，
Figure 25491DEST_PATH_IMAGE016
，其中，MSE表示生成图像与真实清晰图像的均方差，
Figure 262437DEST_PATH_IMAGE017
为真实清晰图像，
Figure 66445DEST_PATH_IMAGE018
为生成图像，
Figure 795367DEST_PATH_IMAGE019
代表图像的高度与宽度，
Figure 467656DEST_PATH_IMAGE020
代表像素坐标，
Figure 434475DEST_PATH_IMAGE021
代表可能的最大像素值，n代表每个像素的比特数。
进一步地，步骤S4中通过结构相似性评价该增强图像G(M)的质量，结构相似性
Figure 799598DEST_PATH_IMAGE022
，其中，
Figure 219078DEST_PATH_IMAGE023
和
Figure 695058DEST_PATH_IMAGE024
代表真实清晰图像与生成图像的均值，
Figure 47542DEST_PATH_IMAGE025
和
Figure 52407DEST_PATH_IMAGE026
代表真实清晰图像与生成图像标准差，
Figure 959184DEST_PATH_IMAGE027
则代表两张图像的协方差，R代表像素值的动态范围，k1=0.01，k2=0.03。
进一步地，
Figure 973276DEST_PATH_IMAGE028
为100。
通过本发明提供的一种低分辨率模糊图像增强方法，先利用卷积层提取低分辨率模糊图像特征，接着经过若干残差块组成的残差网络提取残差特征，使用两个转置卷积进行上采样后再次送入卷积层提取特征，在卷积层后连接用密集残差块组成的密集残差网络，用于丰富和恢复图像的细节信息，最终输出得到高分辨率的清晰图像，通过在损失函数中添加感知损失，增强了图像的真实性，具有较好的图像增强复原效果。
附图说明
图1为本发明一种低分辨率模糊图像增强方法的流程图；
图2为本发明一种低分辨率模糊图像增强方法中残差网络的基本残差块单元示意图；
图3为本发明一种低分辨率模糊图像增强方法中深度密集残差GAN网络结构示意图；
图4为本发明一种低分辨率模糊图像增强方法中密集残差网络基本结构示意图；
图5为本发明一种低分辨率模糊图像增强方法中密集残差网络中单个密集块结构示意图；
图6为本发明一种低分辨率模糊图像增强方法中深度密集残差GAN网络生成器G的结构示意图；
图7为本发明一种低分辨率模糊图像增强方法中判别网络D的结构示意图；
图8A为本发明一种低分辨率模糊图像增强方法中需测试的低分辨率模糊图像；
图8B为本发明一种低分辨率模糊图像增强方法中需测试的低分辨率模糊图像对应的清晰图像；
图9为经过ESRGAN算法增强后生成的图像；
图10为经过DeBlurGAN-V2算法增强后生成的图像；
图11为经过本发明一种低分辨率模糊图像增强方法增强后生成的图像。
具体实施方式
为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。
本发明提供一种低分辨率模糊图像增强方法，参见图1，图1为本发明一种低分辨率模糊图像增强方法的流程图，包括以下步骤：
S1：接收低分辨率模糊图像；
S2：深度密集残差GAN网络生成器G生成该模糊图像对应的增强图像G(M)；
S3：将该增强图像G(M)和该增强图像G(M)对应的清晰图像S送入判别器网络D；
S4：判别器网络D判断该增强图像G(M)为该清晰图像S的概率是否在阈值内，若是，则进行步骤S5，若否，则返回步骤S2；
S5：退出图像增强，达到最优状态；
其中，深度密集残差GAN网络生成器G用于对每个输入的低分辨率模糊图像都能生成相应的增强图像；判别器网络D用于判断输入网络的图像是来自于该深度密集残差GAN网络生成器G的增强图像G(M)还是增强图像G（M）对应的清晰图像S，判别器网络D输出的是图像为清晰图像的概率。
残差网络（Residual Network，ResNet）通过在输入与输出之间建立一条直接通道的方法，保护了信息的完整，极大程度上解决了这个问题。残差网络由若干个残差块单元（Residual Block，RB）构成，每一个残差块都包含了前馈卷积网络与一个跳跃连接。设希望得到的潜在映射关系为C(x)，x为残差块的输入，用输入与输出间堆叠的非线性多层网络拟合另外一个残差映射函数H(x)=C(x)-x。假设此网络的最优解为一个恒等映射，即H(x)=x，那么将H(x)拟合0的难度会远远低于直接让C(x)拟合为恒等映射。虽然一般情况下最优解不会是一个简单的恒等映射，但是这种残差结构将有助于划定最优解的范围，为求解器提供一个合理的预设条件，从而简化了网络学习的难度。残差网络的基本单元结构参见图2，图2为本发明一种低分辨率模糊图像增强方法中残差网络的基本残差块单元示意图，其中，Conv为卷积层，ReLU为激活函数层。残差网络的搭建难度不高，仅仅添加了一个跳跃连接，网络也没有添加别的训练参数，没有增加计算复杂度。但是残差网络与传统的前馈卷积网络相比更容易优化，并且可以通过增加一定的网络深度提高网络性能而不用担心网络退化问题。本发明通过引入RB，解决了网络加深后梯度消失的问题，提升了网络整体性能，保证了增强后图像的质量。
本发明提出的算法整体结构框架包括两部分：深度密集残差GAN网络生成器G和判别器网络D，具体参见图3，图3为本发明一种低分辨率模糊图像增强方法中深度密集残差GAN网络结构示意图。
优选地，深度密集残差GAN网络生成器G中的主要网络单元为将残差网络与密集网络相结合的密集残差网络（RRDB, Residual in Residual Dense Block），基本结构参见图4，图4为本发明一种低分辨率模糊图像增强方法中密集残差网络基本结构示意图；DenseBlock为密集块，若干个密集块按残差方式连接即构成了一个密集残差网络，每个密集块的输入与输出之间都形成一个残差映射，整个网络的输入与输出也形成一个残差映射，利用这种方式，RRDB可以结合网络的浅层特征与深层特征，得到全局特征。其中，RRDB中每一个密集块的结构参见图5，图5为本发明一种低分辨率模糊图像增强方法中密集残差网络中单个密集块结构示意图，其中，Conv为卷积层，LReLU为激活层，通过密集跳跃连接的方式，每一个卷积层的输入都包含了当前密集块前面所有卷积层输出的全部信息，这样层与层之间的信息传递就得到了加强，有利于实现特征信息复用，从而缓解梯度消失。与此同时，每一个卷积层后面都没有添加批本发明一种低分辨率模糊图像增强方法中量归一化层（BN），实现了网络结构的简化，有利于建立更深的网络。本发明通过在网络结构中引入RRDB，解决了网络加深后梯度消失的问题，提升了网络整体性能，保证了增强后图像的质量。
深度密集残差GAN网络生成器G对于每个输入的低分辨率模糊图像都能生成相应的增强图像，其目标是让生成的图像尽可能与真实的清晰图像相符合，使判别器无法准确分辨。参见图6，图6为本发明一种低分辨率模糊图像增强方法中深度密集残差GAN网络生成器G的结构示意图，深度密集残差GAN网络生成器G结构为：头部3个卷积-激活模块，后面连接6个残差块组成的残差网络，再连接2个转置卷积模块，再连接3通道的卷积-激活模块，接着通过卷积层再次提取图像特征，送入9个RRDB构成的密集残差网络，然后连接PixelShuffler上采样模块，最后连接一层3×3的卷积层输出图像。
优选地，参见图7，图7为本发明一种低分辨率模糊图像增强方法中判别网络D的结构示意图，网络通过若干卷积层对输入图像进行降采样，接着经过一个维度为1024的全连接层，最后通过一维的全连接层与Sigmoid函数输出判断结果。
进一步地，步骤S2中该深度密集残差GAN网络生成器G的总损失函数为：
Figure 508162DEST_PATH_IMAGE029
，其中，Ladversarial为对抗损失函数，Lperceptual为感知损失函数，
Figure 90454DEST_PATH_IMAGE028
为常数系数；
Figure 15684DEST_PATH_IMAGE030
为对抗损失函数，其中，
Figure 833467DEST_PATH_IMAGE031
代表输入生成器网络的低分辨率模糊图像，
Figure 363806DEST_PATH_IMAGE032
代表生成器网络输出的生成图像，
Figure 241632DEST_PATH_IMAGE033
表示判别器将生成器生成的图像判别为真实清晰图像的概率，n为图像批处理的数量；深度密集残差GAN网络生成器的最终目标是生成尽可能与真实清晰图像相符合的伪清晰图像，骗过判别器，使判别器无法准确判断图像来源，即需要最大化判别器网络将生成图像判别为真实清晰图像的概率，所以引入此对抗损失。
但如果仅将对抗损失作为唯一的优化目标，生成图像上易出现一些模糊伪影，为了进一步增强生成图像的真实性，本文添加了感知损失。
Figure 716476DEST_PATH_IMAGE006
为感知损失函数，其中，
Figure 744475DEST_PATH_IMAGE034
表示图片在VGG19第
Figure 394899DEST_PATH_IMAGE035
个最大池化层之前第
Figure 178047DEST_PATH_IMAGE036
个卷积层激活之后的特征映射，得到这个特征映射就是特征图，VGG19表示Visual Geometry Group 19网络，是牛津大学计算机视觉研究组提出的一种19层网络模型，
Figure 546712DEST_PATH_IMAGE037
为该特征图的宽，
Figure 112822DEST_PATH_IMAGE038
为该特征图的高，
Figure 7966DEST_PATH_IMAGE039
为真实清晰图像，
Figure 837381DEST_PATH_IMAGE040
为生成器输出的生成图像，
Figure 817976DEST_PATH_IMAGE041
表示特征图上像素点的坐标。在损失函数中添加感知损失项，进一步提升了生成图像的真实性。
经过实验测验，总损失函数式中
Figure 656619DEST_PATH_IMAGE028
为100时，总损失函数对于网络训练的优化效果达到最佳。
优选地，步骤S4中通过峰值信噪比评价该增强图像G(M)的质量，峰值信噪比PSNR是一个与两张图像像素均方误差有关的指标，表明两张图片在像素层面上的相似程度，PSNR值越大，两张图片的像素相似度越高。峰值信噪比定义为：
Figure 140690DEST_PATH_IMAGE042
，
Figure 937744DEST_PATH_IMAGE043
，其中，MSE表示生成图像与真实清晰图像的均方差，
Figure 15422DEST_PATH_IMAGE044
为真实清晰图像，
Figure 782390DEST_PATH_IMAGE045
为生成图像，
Figure 261913DEST_PATH_IMAGE046
代表图像的高度与宽度，
Figure 292185DEST_PATH_IMAGE047
代表像素坐标，
Figure 981793DEST_PATH_IMAGE048
代表可能的最大像素值，此处n为每个像素的比特数。
优选地，步骤S4中通过结构相似性评价该增强图像G(M)的质量，结构相似性SSIM是衡量两张图片在亮度、对比度、结构上相似的指标，SSIM值越接近于1，表明两张图像相似程度越高。其定义为：
Figure 755714DEST_PATH_IMAGE049
，其中，
Figure 620902DEST_PATH_IMAGE050
和
Figure 228600DEST_PATH_IMAGE051
代表真实清晰图像与生成图像的均值，
Figure 417223DEST_PATH_IMAGE052
和
Figure 135780DEST_PATH_IMAGE053
代表真实清晰图像与生成图像标准差，
Figure 714529DEST_PATH_IMAGE054
则代表两张图像的协方差，R代表像素值的动态范围，k1=0.01，k2=0.03。
深度密集残差GAN网络整体通过PyTorch1.9搭建，实验所用电脑显卡为NVIDIAGeForce RTX 2060，运行内存16G。训练数据集采用GoPro数据集，该数据集包含一个训练集和一个测试集，场景丰富，被广泛用于去模糊网络的训练与测试中。
为了展现出本发明提出的算法的有效性与优越性，将本发明算法与ESRGAN和DeBlurGAN-V2进行比较，这两种算法为近年在图像超分辨率领域与低质量模糊图像增强领域较为优秀的算法。
在同一实验条件下从GoPro数据集中选取典型的低分辨率模糊图像进行增强处理，测试图片如图8A和图8B所示，图8A为本发明一种低分辨率模糊图像增强方法中需测试的低分辨率模糊图像图，图8B为本发明一种低分辨率模糊图像增强方法中需测试的低分辨率模糊图像对应的清晰图像。经过本文算法与ESRGAN和DeBlurGAN-V2两种算法增强后的生成图像如图9-图11所示，图9为经过ESRGAN算法增强后生成的图像，由图9可以看出ESRGAN对图像的增强效果有限，得到的图像中车辆的轮廓仍然存在较为严重的失真问题，图10为经过DeBlurGAN-V2算法增强后生成的图像，DeBlurGAN-V2得到的增强图像虽然实现了基本的运动模糊去除，但是图像的细节信息仍然缺失严重，图像的边缘没能被很好的恢复，图11为经过本发明一种低分辨率模糊图像增强方法增强后生成的图像，图11在人眼看来更加清晰，图像的细节信息更为丰富，也得到了更为清晰的边缘。
利用客观评价指标PSNR与SSIM衡量各算法生成的图像与对应的真实清晰图像的相似程度，可以定量地评价网络的图像增强效果，比较结果如表1所示：
表1 不同算法得出图像的客观评价标准对比
Figure 493129DEST_PATH_IMAGE056
从表中结果可以看出本文算法相较于ESRGAN在PSNR上提高了1.7072dB，在SSIM上提高了0.0783，相较于DeBlurGAN-V2算法，PSNR提高了1.1683dB，在SSIM上提高了0.0713。
图像增强实验对深度密集残差GAN网络的低分辨率模糊图像增强算法效果进行了验证，结果表明本文算法对低分辨率的模糊图像具有明显的增强效果。
通过本发明提供的一种低分辨率模糊图像增强方法，先利用卷积层提取低分辨率模糊图像特征，接着经过若干残差块组成的残差网络提取残差特征，使用两个转置卷积进行上采样后再次送入卷积层提取特征，在卷积层后连接用密集残差块组成的密集残差网络，用于丰富和恢复图像的细节信息，最终输出得到高分辨率的清晰图像，通过在损失函数中添加感知损失，增强了图像的真实性，具有较好的图像增强复原效果。对于后续可能的目标检测任务来说，本文算法可以极大地提升检测准确率与效率，具有广阔的应用前景。
本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。

Claims (6)

1.一种低分辨率模糊图像增强方法，其特征在于，该方法包括以下步骤：
S1：接收低分辨率模糊图像；
S2：深度密集残差GAN网络生成器G生成该模糊图像对应的增强图像G(M)；
S3：将该增强图像G(M)和该增强图像G(M)对应的清晰图像S送入判别器网络D；
S4：判别器网络D判断该增强图像G(M)为该清晰图像S的概率是否在阈值内，若是，则进行步骤S5,若否，则返回步骤S2；
S5：退出图像增强，达到最优状态；
其中，该深度密集残差GAN网络生成器G用于对每个输入的低分辨率模糊图像都能生成相应的增强图像，该网络生成器G的结构为：头部3个卷积-激活模块，后面连接6个残差块组成的残差网络，再连接2个转置卷积模块，再连接3通道的卷积-激活模块，接着通过卷积层再次提取图像特征，送入9个RRDB构成的密集残差网络，然后连接PixelShuffler上采样模块，最后连接一层3×3的卷积层输出图像；该判别器网络D用于判断输入网络的图像是来自于该深度密集残差GAN网络生成器G的增强图像G(M)还是来自于该增强图像G(M)对应的清晰图像S，该判别器网络D输出的是图像为清晰图像的概率。
2.根据权利要求1所述的一种低分辨率模糊图像增强方法，其特征在于，判别器网络D结构为：网络通过若干卷积层对输入图像进行降采样，接着经过一个维度为1024的全连接层，最后通过一维的全连接层与Sigmoid函数输出判断结果。
3.根据权利要求1所述的一种低分辨率模糊图像增强方法，其特征在于，步骤S2中该深度密集残差GAN网络生成器G的总损失函数为：
Figure 371761DEST_PATH_IMAGE001
，其中，Ladversarial为对抗损失函数，Lperceptual为感知损失函数，
Figure 25597DEST_PATH_IMAGE002
为常数系数；
Figure 516621DEST_PATH_IMAGE003
，其中，
Figure 964920DEST_PATH_IMAGE004
代表输入网络生成器G的低分辨率模糊图像，
Figure 806974DEST_PATH_IMAGE005
代表网络生成器G输出的生成图像，
Figure 733341DEST_PATH_IMAGE006
表示判别器将网络生成器G生成的图像判别为真实清晰图像的概率，n为图像批处理的数量；
Figure 168670DEST_PATH_IMAGE007
，其中，
Figure 787870DEST_PATH_IMAGE008
表示图片在VGG19第
Figure 851641DEST_PATH_IMAGE009
个最大池化层之前第
Figure 581700DEST_PATH_IMAGE010
个卷积层激活之后的特征映射，得到这个特征映射就是特征图，VGG19表示Visual Geometry Group 19网络，
Figure 781737DEST_PATH_IMAGE011
为该特征图的宽，
Figure 837418DEST_PATH_IMAGE012
为该特征图的高，
Figure 857326DEST_PATH_IMAGE013
为真实清晰图像，
Figure 656655DEST_PATH_IMAGE014
为生成器输出的生成图像，
Figure 976778DEST_PATH_IMAGE015
表示特征图上像素点的坐标。
4.根据权利要求1所述的一种低分辨率模糊图像增强方法，其特征在于，步骤S4中通过峰值信噪比评价该增强图像G(M)的质量，峰值信噪比
Figure 937781DEST_PATH_IMAGE016
，
Figure 710565DEST_PATH_IMAGE017
，其中，MSE表示生成图像与真实清晰图像的均方差，
Figure 48005DEST_PATH_IMAGE018
为真实清晰图像，
Figure 957055DEST_PATH_IMAGE019
为生成图像，
Figure 354539DEST_PATH_IMAGE020
代表图像的高度与宽度，
Figure 614619DEST_PATH_IMAGE021
代表像素坐标，
Figure 755750DEST_PATH_IMAGE022
代表可能的最大像素值，n代表每个像素的比特数。
5.根据权利要求4所述的一种低分辨率模糊图像增强方法，其特征在于，步骤S4中通过结构相似性评价该增强图像G(M)的质量，结构相似性
Figure 784886DEST_PATH_IMAGE023
，其中，
Figure 87691DEST_PATH_IMAGE024
和
Figure 100647DEST_PATH_IMAGE025
代表真实清晰图像与生成图像的均值，
Figure 514310DEST_PATH_IMAGE026
和
Figure 929111DEST_PATH_IMAGE027
代表真实清晰图像与生成图像标准差，
Figure 402818DEST_PATH_IMAGE028
则代表两张图像的协方差，R代表像素值的动态范围，k1=0.01，k2=0.03。
6.根据权利要求3所述一种低分辨率模糊图像增强方法，其特征在于，
Figure 637490DEST_PATH_IMAGE002
为100。
CN202210688985.6A 2022-06-17 2022-06-17 一种低分辨率模糊图像增强方法 Pending CN114782285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210688985.6A CN114782285A (zh) 2022-06-17 2022-06-17 一种低分辨率模糊图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210688985.6A CN114782285A (zh) 2022-06-17 2022-06-17 一种低分辨率模糊图像增强方法

Publications (1)

Publication Number Publication Date
CN114782285A true CN114782285A (zh) 2022-07-22

Family

ID=82422007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210688985.6A Pending CN114782285A (zh) 2022-06-17 2022-06-17 一种低分辨率模糊图像增强方法

Country Status (1)

Country Link
CN (1) CN114782285A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523754A (zh) * 2023-05-10 2023-08-01 广州民航职业技术学院 一种飞机蒙皮损伤自动识别图像质量增强方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN112419171A (zh) * 2020-10-28 2021-02-26 云南电网有限责任公司昆明供电局 一种多残差块条件生成对抗网络的图像复原方法
CN112651894A (zh) * 2020-12-29 2021-04-13 湖北工业大学 基于rrdb的生成对抗网络的图像去模糊算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN112419171A (zh) * 2020-10-28 2021-02-26 云南电网有限责任公司昆明供电局 一种多残差块条件生成对抗网络的图像复原方法
CN112651894A (zh) * 2020-12-29 2021-04-13 湖北工业大学 基于rrdb的生成对抗网络的图像去模糊算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李烨等: ""面向图像复原的残差密集生成对抗网络新方法"", 《小型微型计算机系统》 *
陈富成等: ""基于生成对抗网络的图像盲去运动模糊算法"", 《软件导刊》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523754A (zh) * 2023-05-10 2023-08-01 广州民航职业技术学院 一种飞机蒙皮损伤自动识别图像质量增强方法及系统

Similar Documents

Publication Publication Date Title
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111028146B (zh) 基于双判别器的生成对抗网络的图像超分辨率方法
CN112001847A (zh) 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110517306B (zh) 一种基于深度学习的双目深度视觉估计的方法和系统
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN111709307B (zh) 一种基于分辨率增强的遥感图像小目标检测方法
CN116091314B (zh) 一种基于多尺度深度单应性的红外图像拼接方法
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN112184731A (zh) 一种基于对抗性训练的多视图立体深度估计方法
CN114782285A (zh) 一种低分辨率模糊图像增强方法
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
CN117671540A (zh) 基于多谱频率通道注意力航拍图像小目标检测方法及系统
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
CN116862765A (zh) 一种医学影像超分辨率重建方法及系统
CN116229123A (zh) 基于多通道分组互相关代价卷的双目立体匹配方法及装置
CN115331078A (zh) 一种基于ESR-YOLOv5的光学遥感图像目标检测方法
CN116228520A (zh) 基于Transformer生成对抗网络的图像压缩感知重建方法及系统
CN112001479B (zh) 基于深度学习模型的处理方法、系统及电子设备
CN111524104B (zh) 基于多尺度轮廓波特征的全参考光场图像质量评价方法
CN113554671A (zh) 基于轮廓增强的sar图像到可见光图像的转换方法及装置
CN114463379A (zh) 一种视频关键点的动态捕捉方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination