CN117314750A - 一种基于残差生成网络的图像超分辨率重建方法 - Google Patents

一种基于残差生成网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN117314750A
CN117314750A CN202311305647.0A CN202311305647A CN117314750A CN 117314750 A CN117314750 A CN 117314750A CN 202311305647 A CN202311305647 A CN 202311305647A CN 117314750 A CN117314750 A CN 117314750A
Authority
CN
China
Prior art keywords
network
loss
layer
image
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311305647.0A
Other languages
English (en)
Inventor
于文学
周国祥
尤敏捷
操星
徐姣
平红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Journey Information Technology Co ltd
Original Assignee
Nanjing Journey Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Journey Information Technology Co ltd filed Critical Nanjing Journey Information Technology Co ltd
Priority to CN202311305647.0A priority Critical patent/CN117314750A/zh
Publication of CN117314750A publication Critical patent/CN117314750A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于残差生成网络的图像超分辨率重建方法，包括：构建超分辨率重建网络模型，模型包括生成网络和判别网络，生成网络包括预处理层、核心残差网络以及上采样层，核心残差网络包括32个依次连接的残差块，判别网络包括10个卷积层；重新定义模型的损失函数并对模型进行训练，得到训练好的重建网络模型，根据训练好的重建网络模型重建出高分辨率图像。本发明解决了图像超分辨率重建领域中模型训练困难、模型精度有待提高、生成图像质量低的问题，同时实现图像感知质量和SSIM参数的均衡优化。

Description

一种基于残差生成网络的图像超分辨率重建方法
技术领域
本发明涉及一种基于残差生成网络的图像超分辨率重建方法，属于图像重建技术领域。
背景技术
图像超分辨率重建是机器视觉领域的一个经典应用，它的含义是从一个低分辨率的输入图像中重建出一个高分辨率的输出图像，通过对数字图像的信号进行分析并且采用软件算法，将一帧或多帧图像重建成分辨率更高的图像或视频。它在监控设备视频通信编码、视频复原、卫星成像遥感、数字高清影像、医学图像处理等方面有着广泛的应用。
在深度学习的知识背景下，基于深度学习方法的图像超分辨率重建算法不断涌现，参数的调整是深度学习网络训练的重要一环，有的网络模型中所含参数量过大，导致无法很好地应用到实际之中。为解决这一问题，满开亮等人使用全局特征复用块对多层特征进行重组与综合利用，基于稠密残差网络，提出了ERDN算法，使得模型参数量大幅减少，同时提高了重建质量。在之前研究所得的经验中，一般网络层数越深，所得出的效果越好，但随之而来的就是巨大的计算量。近期的工作中，为了在保持网络深度不增加的状态下提升网络的多样性，Li等人提出增加残差块残差函数的种类的多尺度残差网络，使得网络可以在训练时对图像不同方面的特征进行提取融合，解决了特征提取尺度单一的问题。与之相似的Sha等人提出的深度并行残差网络将局部残差学习的特征与全局残差学习的特征融合，提升了训练速度以及特征传播效率。但残差网络可能忽略图像结构和纹理的相关性，导致图像质量的降低。所以近期卢正浩等人在网络中添加注意力机制与跳跃长(短)连接以增强图像高频特征的重建以及多尺度特征的再利用，改善了纹理信息与结构信息。
在Goodfellow等人提出GAN之后，产生了很多基于GAN的图像超分辨率重建的方法，近期有从数据预处理角度出发，Shang等人在增强型ESRGAN的基础上做出改进，从卷积核的尺寸入手，将大的卷积核替换为小卷积核，降低了计算复杂度且并未损失网络性能。因为GAN网络较为庞大，从轻量化的角度出发，Luo等人提出轻量级晶格网络LatticeNet，Kim等人提出轻量级SRAC网络，减少了网络计算量，加快了训练速度。从网络融合的角度出发，Niu等人与Lu等人提出将注意力机制融合进生成对抗网络，一方面提高重建图像的精度，另一方面能够提高网络训练的稳定性。上述方法均存在模型训练困难、模型精度有待提高、生成图像质量低的问题，因此为生成更加贴近真实图像、更逼真还原纹理信息的高分辨率图像，需要提出一种新的重建方案。
发明内容
本发明所要解决的技术问题是：提供一种基于残差生成网络的图像超分辨率重建方法，解决图像超分辨率重建领域中模型训练困难、模型精度有待提高、生成图像质量低的问题。
本发明为解决上述技术问题采用以下技术方案：
一种基于残差生成网络的图像超分辨率重建方法，包括如下步骤：
步骤1，构建超分辨率重建网络模型，所述模型包括生成网络和判别网络；其中，生成网络包括预处理层、核心残差网络以及上采样层；预处理层包括第一和第二卷积层，第一、第二卷积层的特征图数量分别对应为64、256，第一、第二卷积层的卷积核大小分别对应为9×9、3×3，第一和第二卷积层后面均设置一个Relu激活层；核心残差网络包括32个依次连接的残差块，每个残差块都包括第三和第四卷积层，第三和第四卷积层之间设置Relu激活层，第三和第四卷积层的卷积核大小均为3×3，第三和第四卷积层的特征图数量均为256；上采样层包括第一和第二亚像素卷积层，每个亚像素卷积层的前面设置一个特征图数量为256的卷积层，每个亚像素卷积层的后面设置一个Relu激活层；上采样层输出端依次连接第五卷积层和tanh激活层，第五卷积层的特征图数量为64，卷积核大小为9×9；
判别网络包括10个卷积层，卷积层的特征图数量每两个卷积层增加一倍，从32增加到512，每个卷积层的后面设置一个leaky relu激活层，最后一个卷积层后面接一个展平层，把多维数据转化为一维向量，在展平层后面连接两个全连接层；
步骤2，分别定义生成网络和判别网络的损失函数，其中，生成网络的损失包括感知损失和生成损失，将像素级MAE损失与VGG损失的加权和作为感知损失；
步骤3，根据步骤2定义的损失函数对步骤1构建的超分辨率重建网络模型进行训练，得到训练好的超分辨率重建网络模型，利用训练好的超分辨率重建网络模型将原始低分辨率图像重建为高分辨率图像。
作为本发明的一种优选方案，所述像素级MAE损失的表达式如下：
其中，表示像素级MAE损失，r为降采样系数，W、H分别为图像的长度、宽度，/>表示高分辨率图像，/>表示低分辨率图像，G代表生成网络，生成网络中的参数表示为θG。
作为本发明的一种优选方案，所述VGG损失通过使用预先训练好的VGG19网络提取高级特征，利用高级特征进行定义，VGG损失的表达式如下：
其中，表示VGG损失，φi,j表示VGG19网络中第i个最大池化层之前的第j个卷积层，Wi,j、Hi,j分别为VGG19网络中重建出的超分辨率图像的特征图的高度和宽度，/>表示高分辨率图像，/>表示低分辨率图像，G代表生成网络，生成网络中的参数表示为θG。
作为本发明的一种优选方案，所述生成损失的表达式如下：
其中，表示生成损失，N为模型训练时每批样本大小，/>为重建图像是否是一个自然图像的重建概率，ILR表示低分辨率图像。
作为本发明的一种优选方案，所述生成网络的损失函数表达式如下：
其中，表示生成网络的损失，/>表示像素级MAE损失，/>表示VGG损失，表示生成损失，WMAE-loss、WVGG/i.j-loss、WGen-loss分别为像素级MAE损失、VGG损失、生成损失对应的权重。
作为本发明的一种优选方案，所述判别网络的损失函数表达式如下：
其中，表示判别网络的损失，N为模型训练时每批样本大小，GradientPenalty为梯度惩罚，/>为判别网络判断重建图像/>是否是一个自然图像的概率，/>为判别网络判断训练数据集中高分辨率图像IHR是否是一个自然图像的概率。
一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于残差生成网络的图像超分辨率重建方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于残差生成网络的图像超分辨率重建方法的步骤。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明通过残差生成网络构建新的重建网络模型，并对模型的损失函数重新定义，该网络模型精度高，在图像超分辨率重建方面达到了比较好的画面表现，SSIM值与画面感知质量有较大提高。
2、本发明提出基于残差生成网络的图像超分辨率重建方法，解决了图像超分辨率重建领域中模型训练困难、模型精度有待提高、生成图像质量低的问题。
附图说明
图1是本发明一种基于残差生成网络的图像超分辨率重建方法的流程图；
图2是本发明生成网络结构图；
图3是本发明判别网络结构图；
图4是本发明核心残差网络结构图；
图5是本发明超分辨率重建方法与其他方法对图片face的重建对比。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
如图1所示，本发明提出一种基于残差生成网络的图像超分辨率重建方法，包括以下步骤：
1)构建改进的超分辨率重建网络模型，模型包括生成网络和判别网络，并用这个新型的网络架构解决图像超分辨率重建问题。
2)重新定义生成网络和判别网络的损失函数。
3)通过1)中改进的超分辨率重建网络模型对低分辨率图像进行重建。
生成网络的目的是从低分辨率图像中生成一个与真实图像高度近似的超分辨率的图像以欺骗判别网络，最终生成一个在感知上良好的图像。如图2所示，生成网络由预处理层、核心残差网络、上采样层三部分组成，因为大部分卷积计算都是对小尺寸图像的计算，所以这样的整体网络结构设计可以减少计算量。
预处理层由两个卷积层(conv)和两个Relu激活层组成，其中两个卷积层特征图的数量分别为64、256，第一个卷积层卷积核尺寸为9×9大小，第二个为3×3大小。
BN层的存在不利于网络的训练，所以去除原始残差块结构中的BN层，这样设计的好处是减少了单个残差块的计算量，可以引入更多的残差块。这样的操作虽然会使训练变得困难，但是会让网络可以学习到更多的特征，可以进行更加复杂的建模映射，有可能大幅提高网络的精度，使得网络的潜力进一步提升。参考EDSR，设计残差网络如图4所示。在超分辨率重建任务中残差网络由32个残差块组成，每个残差块使用两个相同的卷积层，它们的参数如下：卷积核大小为3×3，特征图数量为256。两个卷积层之间使用Relu作为激活函数。
为了避免高分辨率空间中的大量计算，上采样操作仅在网络的最后进行。上采样层首先使用两个亚像素卷积层(subpixel conv)进行上采样，提高输入图像的分辨率。并且在这两个亚像素卷积层前面各自增加一个256个特征图的卷积层，在这两个亚像素卷积层之后各自增加一个Relu激活层，逐步将图像进行重建放大，以避免图像连续放大造成的图像细节丢失，最后连接一个卷积层和一个tanh激活层，卷积层的特征图的数量为64，卷积核尺寸为9×9大小。
将生成网络表示为G，网络中的参数表示为θG。
判别网络的目的是区分真实图像与生成图像，并将分辨出的结果以损失函数形式反馈到生成网络，激励其生成贴近真实的图像。如图3所示：
(1)去掉所有的BN层，防止引入同一批(batch)中不同样本之间的相互依赖关系；
(2)增加两个32个特征图的卷积层，步长(stride)分别为1和2，以减小输入图像尺寸，减少计算量；
(3)去掉最后的sigmoid激活层。
Wasserstein距离表达式：
Π(pr,pg)是pr和pg相组合的所有可能的联合分布集合，也就是说，Π(pr,pg)中每个分布的边缘分布都是pr和pg。对于任意一个联合分布γ来说，都可以从中进行采样(x,y)～γ，来得到一个真实的样本x和一个生成的样本y，计算出真实样本与生成样本之间的距离||x-y||，由此可以计算出联合分布γ下样本对距离的期望通过训练，就可以在所有可能存在的联合分布中对这个期望取到最小值/>这个最小值就定义为Wasserstein距离。
由于在WGAN-GP中判别网络所做的工作是最小化Wasserstein距离，而非普通GAN的判别网络真假二分类问题，所以需要去掉判别网络最后一层的sigmoid激活层。
判别网络包含10个卷积层，卷积层的特征图数量每两个卷积层增加一倍，从32增加到512，每当特征图数量增加一倍时，使用stride为2的卷积降低图像的分辨率。最后512个特征图的卷积层后面接一个展平层(Flatten)把多维的输入一维化，之后连接两个全连接层(denselayer)。
将判别网络表示为D，网络中的参数表示为θD。
生成网络的损失由两部分组成，分别为感知损失与生成损失/>其中感知损失函数由两部分组成，分别是像素级MAE损失/>VGG损失/>
MAE-loss可以衡量预测值与真实值之间的平均绝对误差，MAE-loss越小表示预测值与真实值越接近，像素级MAE损失为：
其中，表示像素级MAE损失，r为降采样系数，W、H分别为图像的长度、宽度，/>表示高分辨率图像，/>表示低分辨率图像，G代表生成网络，生成网络中的参数表示为θG。对于通道数为C的图像，使用W×H×C描述ILR的尺寸信息，使用rW×rH×C来描述ISR以及IHR的尺寸信息。
为了使图像在感知上更接近真实图像，使用预训练好的VGG19网络提取高级特征，利用高级特征定义VGG损失来弥补细节信息。
其中，表示VGG损失，φi,j表示VGG19网络中第i个最大池化层之前的第j个卷积层，Wi,j、Hi,j为VGG19网络中重建出的超分辨率图像的特征图的高度和宽度，/>表示高分辨率图像，/>表示低分辨率图像，G代表生成网络，生成网络中的参数表示为θG。
除了感知损失之外，将WGAN-GP中定义的生成损失添加到生成网络的损失中，用以激励生成网络生成出能够欺骗过判别网络的图像。
其中，表示生成损失，N为模型训练时每批样本大小，/>为重建图像是否是一个自然图像的重建概率，ILR表示低分辨率图像。
超分辨率重建流程图如图1所示，对于每个batch，随机采用4个96×96尺寸的不同训练图像，通过生成网络将图像放大到384×384尺寸大小，为四倍放大。计算生成的SR图像与HR图像之间的MAE-loss，将生成的SR图像与HR图像输入VGG19网络与判别网络，利用得到的输出计算VGG-loss与Gen-loss。计算生成器的损失为：
其中，表示生成网络的损失，/>表示像素级MAE损失，/>表示VGG损失，表示生成损失，WMAE-loss、WVGG/i.j-loss、WGen-loss分别为像素级MAE损失、VGG损失、生成损失对应的权重。
根据WGAN-GP的理论基础，将判别网络(Discriminator)的损失定义如下：
其中，Gradient Penalty为梯度惩罚，为判别网络判断重建图像是否是一个自然图像的概率，/>为判别网络判断真实高分辨率图像IHR是否是一个自然图像的概率。
步骤一、使用DIV2K数据集作为训练集，在NVIDIA-RTX2080ti上训练所有的网络。
步骤二、在训练中，对于每个batch，随机采用4个96×96尺寸的不同训练图像，通过生成网络将图像放大到384×384尺寸大小，为四倍放大。使用β＝0.9的Adam优化器实现最优化，初始学习率为10e-5。
步骤三、使用四个超分辨率重建领域广泛使用的基准数据集Set5、Set14、BSD100以及Urban100对模型进行测试，所有测试均使用各自数据集四倍降采样得到的图像进行测试。
图5是本发明超分辨率重建方法与其他方法对图片face的重建对比，从对比结果可知，用改进的超分辨率模型对图像进行处理，有比较好的画面表现，SSIM值与画面感知质量有所提高。
基于同一发明构思，本申请实施例提供一种计算机设备，包括存储器、处理器，以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述的基于残差生成网络的图像超分辨率重建方法的步骤。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现前述的基于残差生成网络的图像超分辨率重建方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.一种基于残差生成网络的图像超分辨率重建方法，其特征在于，包括如下步骤：
步骤1，构建超分辨率重建网络模型，所述模型包括生成网络和判别网络；其中，生成网络包括预处理层、核心残差网络以及上采样层；预处理层包括第一和第二卷积层，第一、第二卷积层的特征图数量分别对应为64、256，第一、第二卷积层的卷积核大小分别对应为9×9、3×3，第一和第二卷积层后面均设置一个Relu激活层；核心残差网络包括32个依次连接的残差块，每个残差块都包括第三和第四卷积层，第三和第四卷积层之间设置Relu激活层，第三和第四卷积层的卷积核大小均为3×3，第三和第四卷积层的特征图数量均为256；上采样层包括第一和第二亚像素卷积层，每个亚像素卷积层的前面设置一个特征图数量为256的卷积层，每个亚像素卷积层的后面设置一个Relu激活层；上采样层输出端依次连接第五卷积层和tanh激活层，第五卷积层的特征图数量为64，卷积核大小为9×9；
判别网络包括10个卷积层，卷积层的特征图数量每两个卷积层增加一倍，从32增加到512，每个卷积层的后面设置一个leaky relu激活层，最后一个卷积层后面接一个展平层，把多维数据转化为一维向量，在展平层后面连接两个全连接层；
步骤2，分别定义生成网络和判别网络的损失函数，其中，生成网络的损失包括感知损失和生成损失，将像素级MAE损失与VGG损失的加权和作为感知损失；
步骤3，根据步骤2定义的损失函数对步骤1构建的超分辨率重建网络模型进行训练，得到训练好的超分辨率重建网络模型，利用训练好的超分辨率重建网络模型将原始低分辨率图像重建为高分辨率图像。
2.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述像素级MAE损失的表达式如下：
其中，表示像素级MAE损失，r为降采样系数，W、H分别为图像的长度、宽度，/>表示高分辨率图像，/>表示低分辨率图像，G代表生成网络，生成网络中的参数表示为θG。
3.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述VGG损失通过使用预先训练好的VGG19网络提取高级特征，利用高级特征进行定义，VGG损失的表达式如下：
其中，表示VGG损失，φi,j表示VGG19网络中第i个最大池化层之前的第j个卷积层，Wi,j、Hi,j分别为VGG19网络中重建出的超分辨率图像的特征图的高度和宽度，/>表示高分辨率图像，/>表示低分辨率图像，G代表生成网络，生成网络中的参数表示为θG。
4.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述生成损失的表达式如下：
其中，表示生成损失，N为模型训练时每批样本大小，/>为重建图像是否是一个自然图像的重建概率，ILR表示低分辨率图像。
5.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述生成网络的损失函数表达式如下：
其中，表示生成网络的损失，/>表示像素级MAE损失，/>表示VGG损失，/>表示生成损失，WMAE-loss、WVGG/i.j-loss、WGen-loss分别为像素级MAE损失、VGG损失、生成损失对应的权重。
6.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述判别网络的损失函数表达式如下：
其中，表示判别网络的损失，N为模型训练时每批样本大小，Gradient Penalty为梯度惩罚，/>为判别网络判断重建图像/>是否是一个自然图像的概率，/>为判别网络判断训练数据集中高分辨率图像IHR是否是一个自然图像的概率。
7.一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于残差生成网络的图像超分辨率重建方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于残差生成网络的图像超分辨率重建方法的步骤。
CN202311305647.0A 2023-10-10 2023-10-10 一种基于残差生成网络的图像超分辨率重建方法 Pending CN117314750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311305647.0A CN117314750A (zh) 2023-10-10 2023-10-10 一种基于残差生成网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311305647.0A CN117314750A (zh) 2023-10-10 2023-10-10 一种基于残差生成网络的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN117314750A true CN117314750A (zh) 2023-12-29

Family

ID=89284628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311305647.0A Pending CN117314750A (zh) 2023-10-10 2023-10-10 一种基于残差生成网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN117314750A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118333859A (zh) * 2024-06-07 2024-07-12 珠海博杰电子股份有限公司 一种应用在自动化设备中的实现超分辨率的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118333859A (zh) * 2024-06-07 2024-07-12 珠海博杰电子股份有限公司 一种应用在自动化设备中的实现超分辨率的方法

Similar Documents

Publication Publication Date Title
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN111798400B (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN110148085B (zh) 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN112001847A (zh) 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN112580473B (zh) 一种融合运动特征的视频超分辨率重构方法
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN115565056A (zh) 基于条件生成对抗网络的水下图像增强方法及系统
CN117314750A (zh) 一种基于残差生成网络的图像超分辨率重建方法
CN116797768A (zh) 全景图像减少现实的方法和装置
Ren et al. A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms
CN116258632A (zh) 一种基于文本辅助的文本图像超分辨率重建方法
Liu et al. Facial image inpainting using multi-level generative network
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN111899161A (zh) 一种超分辨率重建方法
CN116128722A (zh) 基于频域-纹理特征融合的图像超分辨率重建方法及系统
CN116091893A (zh) 一种基于U-net网络的地震图像反褶积方法及系统
CN114862699A (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN113506226A (zh) 运动模糊复原方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination