CN111461976A - 基于高效轻量级坐标神经网络的图像超分辨率方法 - Google Patents

基于高效轻量级坐标神经网络的图像超分辨率方法 Download PDF

Info

Publication number
CN111461976A
CN111461976A CN202010194477.3A CN202010194477A CN111461976A CN 111461976 A CN111461976 A CN 111461976A CN 202010194477 A CN202010194477 A CN 202010194477A CN 111461976 A CN111461976 A CN 111461976A
Authority
CN
China
Prior art keywords
level
image
resolution
reconstruction
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010194477.3A
Other languages
English (en)
Inventor
陈志颖
王清华
李振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010194477.3A priority Critical patent/CN111461976A/zh
Publication of CN111461976A publication Critical patent/CN111461976A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高效轻量级坐标神经网络的图像超分辨率方法，包括以下步骤：构建图像数据集；构造高效轻量级坐标神经网络；训练高效轻量级坐标神经网络；将待处理图像输入至训练后的高效轻量级坐标神经网络，获得图像超分辨率结果。本发明的高效轻量级坐标神经网络通过结合金字塔结构的渐进式残差学习和递归密集块的递归学习，大大减小了网络的参数量，使得计算更加高效；通过引入坐标卷积使得超分辨率网络对图像高频特征的超分辨率能力大大提高。本发明的方法实现了网络轻量化且保持较高超分辨率精度的目的，并且在处理高尺度超分辨率任务时有着更好的性能。

Description

基于高效轻量级坐标神经网络的图像超分辨率方法
技术领域
本发明属于图像处理技术及深度学习领域，特别涉及一种基于高效轻量级坐标神经网络的图像超分辨率方法。
背景技术
图像超分辨率(SR)的目的是找到一幅低分辨率(LR)图像到它的高分辨率(HR)图像的映射方法。图像超分辨率是一个热门重要的研究方向，广泛应用在需要精细图像的领域，如监控、医学成像、卫星遥感等。这个问题本质上是不适定的，因为不同的HR图像可以通过缩小比例生成相同的LR图像。
多年来，为了解决这个问题，人们提出了各种方法。经典的方法采用基于插值和基于重建的方法，如双二次插值(Bicubic)和对称三对角矩阵(Lanczos)来解决SR问题。这些方法虽然复杂度低、计算量小，但存在着过于平滑、缺乏高频信息等问题。更高级的方法引入了基于学习的模型，模型可以学习低分辨率和高分辨率图像块之间的复杂映射。这些图像块可以直接从输入图像中获得，也可以从外部数据库中获得。相邻嵌入和稀疏编码是两种常见的基于外部学习的SR技术。
近年来，基于深度卷积神经网络(CNN)的深度学习方法取得了显著的性能改进，但是大多数先进的模型网络结构都非常深而且计算量很大。为了获得更好的重建性能，它们往往使用更多的堆叠卷积层和块。这些模型结构导致计算成本和内存消耗的急剧增加。尽管生成了高质量的图像，但深重的模型计算效率并不高，也不适合实时处理。对于可用计算资源有限或实时性能优先的应用程序，需要具有少量参数的轻量级模型。另一方面，虽然最近基于CNN的图像超分辨率方法提出了各种模型结构和训练方法，但是现有的方法中还没有明确利用像素位置信息。卷积层(Conv)学习一个平移不变函数，这意味着多个平移后的输入可以产生一个输出。在图像分类等任务中，最终输出与输入图像的位置无关，平移不变性是必不可少的。然而，在涉及空间表示和转换的超分辨率任务中，这种平移不变性是有限制的，需要更精确的位置信息。
发明内容
本发明的目的在于提供一种高效的图像超分辨率方法，减少基于深度学习的图像超分辨率方法占用的计算资源和计算时间。
实现本发明目的的技术解决方案为：一种基于高效轻量级坐标神经网络的图像超分辨率方法，包括以下步骤：
步骤1，构建图像数据集；
步骤2，构造高效轻量级坐标神经网络；
步骤3，训练高效轻量级坐标神经网络；
步骤4，将待处理图像输入至训练后的高效轻量级坐标神经网络，获得图像超分辨率结果。
进一步地，步骤1所述构建图像数据集，具体过程包括：
步骤1-1，采集图像样本构建图像数据集；
步骤1-2，将图像样本按比例P1:P2划分为训练集和测试集，其中P1＞＞P2。
进一步地，步骤2所述构造高效轻量级坐标神经网络，具体过程包括：
步骤2-1，构造浅特征提取网络，用于提取输入图像的浅层特征；
步骤2-2，构造金字塔密集连接特征提取网络，用于对浅特征提取网络的输出进行残差学习；该网络为s级金字塔结构，包括依次连接的第一级、第二级、...、第s级密集连接特征提取网络；
步骤2-3，构造特征引导重建网络，用于对所述金字塔密集连接特征提取网络输出的特征进行重建，输出残差图像；该网络包括s个重构子网，记为第一级、第二级、...、第s级重构子网，分别用于对第一级、第二级、...、第s级密集连接特征提取网络输出的特征进行重建，输出该级重构子网对应的残差图像；
步骤2-4，构造超分辨率重建网络，该网络包括s个重建子网，记为第一级、第二级、...、第s级重建子网，与s个重构子网一一对应，每一级重建子网用于将上一级输出图像经2倍Bicubic后的结果与该级重建子网对应的重构子网输出的残差图像求和，输出该级重建子网的超分辨率图像；其中，针对第一级重建子网，所述上一级输出图像为浅特征提取网络的输入图像，针对其余级重建子网，所述上一级输出图像为上一级重建子网输出的超分辨率图像。
进一步地，步骤2-1所述浅特征提取网络包括依次相连的一层坐标卷积层和一层卷积层；所述坐标卷积层用于扩展图像的通道数，具体添加两个通道，分别为每个像素点在宽度和高度上的坐标信息通道。
进一步地，步骤2-2所述金字塔密集连接特征提取网络的每一级密集连接特征提取网络的内部均通过依次连接的若干全连接递归块RDB进行残差学习，且每一级密集连接特征提取网络的输出经亚像素卷积上采样后输出给下一级密集连接特征提取网络。
进一步地，所述金字塔密集连接特征提取网络采用非对称s级金字塔结构，当前级密集连接特征提取网络的RDB数目多于下一级密集连接特征提取网络的RDB数目。
进一步地，步骤2-3中所述每个重构子网均包括若干个相连的1*1卷积层。
进一步地，步骤3所述训练高效轻量级坐标神经网络，具体过程包括：
步骤3-1，初始化高效轻量级坐标神经网络的参数和迭代次数阈值N1；
步骤3-2，选取优化器与损失函数；
步骤3-3，对训练集图像进行预处理获得低分辨率图像；
步骤3-4，提取部分低分辨率图像输入高效轻量级坐标神经网络进行前向传播获得预估值；
步骤3-5，从训练集中提取部分真值图像输入高效轻量级坐标神经网络进行误差逆传播，计算损失函数并利用优化器更新网络参数；
步骤3-6，判断当前迭代次数是否超过迭代次数阈值N1，若是，则执行下一步，反之返回执行步骤3-4；
步骤3-7，利用测试集验证损失是否收敛，若是，结束训练过程，否则，重新设置迭代次数阈值为N2，返回执行步骤3-4，直至收敛，N2＜N1。
本发明与现有技术相比，其显著优点为：1)现有的多数方法网络结构深、参数量庞大，本发明提出了一个轻量级的超分辨率网络，在保证超分辨率精度的同时只有少量的参数计算；2)将金字塔结构的渐进式残差学习和递归学习结合，有效抑制了常见的梯度爆炸或梯度消失问题；3)引入了块级的局部跳转连接和金字塔级的长跳转连接，实现参数共享；4)首次将坐标卷积应用在图像超分辨率，使得本发明方法对图像高频特征的重建更精确；5)每一级金字塔通过亚像素卷积上采样而非多数方法所用的反卷积，避免了无用信息的惨杂，提高了超分辨率精度；6)目前多数方法在更换不同尺度的超分辨率任务时，需要重新设立网络参数并重新训练，本发明的方法实现了单一网络输出不同尺度的超分辨率图像。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中基于高效轻量级坐标神经网络的图像超分辨率方法的流程图。
图2为一个实施例中高效轻量级坐标神经网络的结构示意图。
图3为一个实施例中浅特征提取网络结构图。
图4为一个实施例中的金字塔密集连接特征提取网络结构图。
图5为一个实施例中的特征引导重建网络结构图。
图6为一个实施例中的坐标卷积层结构图。
图7为一个实施例中的递归密集块结构图。
图8为一个实施例中的2倍超分辨率视觉对比图，其中图(a)为测试图像，图(b)为对测试图像截取的原始图像块(图a中的矩形框部分)，图(c)至图(g)依次为SRCNN、VDSR、DRRN、LapSRN和本发明的方法对应图(b)的2倍超分辨率结果图。
图9为一个实施例中的4倍超分辨率视觉对比图，其中图(a)为测试图像，图(b)为对测试图像截取的原始图像块(图a中的矩形框部分)，图(c)至图(g)依次为SRCNN、VDSR、DRRN、LapSRN和本发明的方法对应图(b)的4倍超分辨率结果图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，结合图1，提供了一种基于高效轻量级坐标神经网络的图像超分辨率方法，包括以下步骤：
步骤1，构建图像数据集；
步骤2，构造高效轻量级坐标神经网络；
步骤3，训练高效轻量级坐标神经网络；
步骤4，将待处理图像输入至训练后的高效轻量级坐标神经网络，获得图像超分辨率结果。
进一步地，在其中一个实施例中，步骤1构建图像数据集，具体过程包括：
步骤1-1，采集图像样本构建图像数据集；
步骤1-2，将图像样本按比例P1:P2划分为训练集和测试集，其中P1＞＞P2。
这里，示例性地，步骤1-1从DIV2K数据集中采集样本。
这里，示例性地，P1:P2＝8:1。
进一步地，在其中一个实施例中，结合图2，上述步骤2构造高效轻量级坐标神经网络，具体过程包括：
步骤2-1，构造浅特征提取网络，用于提取输入图像的浅层特征；
步骤2-2，构造金字塔密集连接特征提取网络，用于对浅特征提取网络的输出进行残差学习；该网络为s级金字塔结构，包括依次连接的第一级、第二级、...、第s级密集连接特征提取网络；
步骤2-3，构造特征引导重建网络，用于对金字塔密集连接特征提取网络输出的特征进行重建，输出残差图像；该网络包括s个重构子网，记为第一级、第二级、...、第s级重构子网，分别用于对第一级、第二级、...、第s级密集连接特征提取网络输出的特征进行重建，输出该级重构子网对应的残差图像；
步骤2-4，构造超分辨率重建网络，该网络包括s个重建子网，记为第一级、第二级、...、第s级重建子网，与s个重构子网一一对应，每一级重建子网用于将上一级输出图像经2倍Bicubic后的结果与该级重建子网对应的重构子网输出的残差图像求和，输出该级重建子网的超分辨率图像；其中，针对第一级重建子网，所述上一级输出图像为浅特征提取网络的输入图像，针对其余级重建子网，所述上一级输出图像为上一级重建子网输出的超分辨率图像。
进一步地，在其中一个实施例中，结合图2和图3，步骤2-1中浅特征提取网络包括依次相连的一层坐标卷积层和一层卷积层；结合图6，坐标卷积层用于扩展图像的通道数，具体添加两个通道，分别为每个像素点在宽度和高度上的坐标信息通道。
这里，浅特征提取网络的工作过程为：
ILR图像作为浅特征提取网络的输入，坐标卷积层(CoordConv)先添加额外p(i,j)坐标信息通道，再经由一层Conv卷积处理，这一过程表示为：
Fcoord＝Hcoord*ILR
式中，Hcoord为坐标卷积运算，Fcoord为坐标卷积层的输出。
坐标卷积层输出后再传入下一层Conv层进行进一步的浅处理。该Conv层生成若干个特征图，用于接下来的全局残差学习，经过该卷积层的输出表示为：
Figure BDA0002417104150000051
式中，H0为卷积运算，
Figure BDA0002417104150000052
表示这个输出将用作金字塔第一级的输入。
进一步地，在其中一个实施例中，结合图2和图4，步骤2-2中金字塔密集连接特征提取网络的每一级密集连接特征提取网络的内部均通过依次连接的若干全连接递归块RDB(如图7所示)进行残差学习，且每一级密集连接特征提取网络的输出经亚像素卷积上采样后输出给下一级密集连接特征提取网络。
这里，在第s级金字塔，第b个RDB的输出表示为：
Figure BDA0002417104150000061
式中，
Figure BDA0002417104150000062
表示递归密集块的运算。第s级金字塔的输出表示为：
Figure BDA0002417104150000063
式中，
Figure BDA0002417104150000064
为从第s级金字塔层提取的特征图，
Figure BDA0002417104150000065
为亚像素卷积操作。
进一步地，在其中一个实施例中，上述金字塔密集连接特征提取网络采用非对称s级金字塔结构，当前级密集连接特征提取网络的RDB数目多于下一级密集连接特征提取网络的RDB数目。
示例性优选地，上述金字塔密集连接特征提取网络采用非对称两级金字塔结构。
进一步地，在其中一个实施例中，结合图5，步骤2-3中每个重构子网均包括若干个相连的1*1卷积层。
这里，示例性地，每个重构子网均包括4个相连的1*1卷积层，重构子网输出的残差图像表示为：
Figure BDA0002417104150000066
式中，Fconcat为特征连接操作，Hrecon为连续卷积重建过程：
Hrecon＝Conv1(Conv32(Conv64(Conv128)))
由此，上述每一级重建子网用于将上一级输出图像经2倍Bicubic后的结果与该级重建子网对应的重构子网输出的残差图像求和，输出该级重建子网的超分辨率SR图像，表示为：
Figure BDA0002417104150000067
式中，
Figure BDA0002417104150000068
为2倍Bicubic运算。
进一步地，在其中一个实施例中，上述步骤3训练高效轻量级坐标神经网络，具体过程包括：
步骤3-1，初始化高效轻量级坐标神经网络的参数和迭代次数阈值N1；
步骤3-2，选取优化器与损失函数；
步骤3-3，对训练集图像进行预处理获得低分辨率图像；
步骤3-4，提取部分低分辨率图像输入高效轻量级坐标神经网络进行前向传播获得预估值；
步骤3-5，从训练集中提取部分真值图像输入高效轻量级坐标神经网络进行误差逆传播，计算损失函数并利用优化器更新网络参数；
步骤3-6，判断当前迭代次数是否超过迭代次数阈值N1，若是，则执行下一步，反之返回执行步骤3-4；
步骤3-7，利用测试集验证损失是否收敛，若是，结束训练过程，否则，重新设置迭代次数阈值为N2，返回执行步骤3-4，直至收敛，N2＜N1。
进一步优选地，在其中一个实施例中，上述步骤3-2中选取的优化器为Adam优化器；
选取的损失函数为：
Figure BDA0002417104150000071
式中，
Figure BDA0002417104150000072
为Charbonnier损失函数，
Figure BDA0002417104150000073
表示第i个样本图像对应第s级金字塔的预测图像，
Figure BDA0002417104150000074
表示第i个样本图像对应第s级金字塔的真值图像，N为每批训练样本的数量，L为金字塔的级数。
进一步地，在其中一个实施例中，上述步骤3-3对训练集图像进行预处理，具体过程包括：对图像依次进行2倍Bicubic下采样、2倍Bicubic上采样。
作为一种具体示例，对本发明的方法进行验证，本示例在视觉上比较分析的对象为如图8(a)所示的飞机图像和如图9(a)所示的建筑图像。本示例还将本发明方法与现有的SRCNN、VDSR、LapSR、MSLapSR、DRRN、MemNet、IDN方法在指标上进行对比实现验证，对比评判指标包括：
(1)PSNR。一般PSNR指标越高，说明图像质量越好。PSNR表达式如下：
Figure BDA0002417104150000081
其中，n为每像素的比特数，MSE是均方误差。
(2)SSIM。一般SSIM的值越大，表示图像失真程度越小。SSIM表达式如下：
SSIM(X,Y)＝L(X,Y)*C(X,Y)*S(X,Y)
其中L(X,Y)、C(X,Y)、S(X,Y)的表达式如下：
Figure BDA0002417104150000082
其中μX和μY表示图像的像素均值，σX和σY表示图像像素的标准值，σXY代表图像X和图像Y的协方差。C1，C2和C3为常数项。
(3)GMSD。一般GMSD指标越低，说明图像梯度相似度越高。
对参考图像和失真图像使用边缘算子hx和hy进行卷积计算：
Figure BDA0002417104150000083
Figure BDA0002417104150000084
得到GMS分布：
Figure BDA0002417104150000085
在GMS上运用偏差池化，便可得到最终GMSD值：
Figure BDA0002417104150000086
其中N代表像素点数量。
具体试验过程包括：
初始化高效轻量级坐标神经网络的参数如下表1所示。
表1高效轻量级坐标神经网络的参数初始化
Figure BDA0002417104150000091
利用本发明的方法以及SRCNN、VDSR、DRRN、LapSR方法分别对图8(a)、图9(a)分别进行2倍超分辨率和4倍超分辨率处理，视觉效果比较如图8、图9所示。此外，分别在三个基准数据集Set5、BSD100和Urban100上测试本发明的方法，测试PSNR、SSIM和GMSD三项指标在每个数据集图像上的均值，并与SRCNN、VDSR、LapSR、MSLapSR、DRRN、MemNet、IDN方法进行比较，比较结果如下表3和表4所示。表中加粗且带下划线的数值表示对应方法在对应数据集上对应指标最优，仅加粗的数值表示对应方法在对应数据集上对应指标次优。
表3超分辨率结果对比(2倍)
Figure BDA0002417104150000092
Figure BDA0002417104150000101
表4超分辨率结果对比(4倍)
Figure BDA0002417104150000102
通过表3和表4的比较结果可以看出，本发明的方法在4倍超分辨率的任务上比现有的方法处理能力更强，并且在Urban100这个包含复杂细节的图像数据集上三项指标均达到最优。再通过图8和图9的视觉比较可以看出，本发明的方法对图像细节即高频特征的超分辨率结果比其它方法更为精确，比如图8(a)中飞机上的数字本发明的方法呈现出的结果相比其它方法更清楚，以及图9(a)中建筑物上的直线本发明的方法呈现出的结果更平滑整齐，而其它方法呈现出的结果则显得参差不齐。
综上，本发明的高效轻量级坐标神经网络通过结合金字塔结构的渐进式残差学习和递归密集块的递归学习，大大减小了网络的参数量，使得计算更加高效；通过引入坐标卷积使得超分辨率网络对图像高频特征的超分辨率能力大大提高。本发明的方法实现了网络轻量化且保持较高超分辨率精度的目的，并且在处理高尺度超分辨率任务时有着更好的性能。

Claims (10)

1.一种基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，包括以下步骤：
步骤1，构建图像数据集；
步骤2，构造高效轻量级坐标神经网络；
步骤3，训练高效轻量级坐标神经网络；
步骤4，将待处理图像输入至训练后的高效轻量级坐标神经网络，获得图像超分辨率结果。
2.根据权利要求1所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，步骤1所述构建图像数据集，具体过程包括：
步骤1-1，采集图像样本构建图像数据集；
步骤1-2，将图像样本按比例P1:P2划分为训练集和测试集，其中P1＞＞P2。
3.根据权利要求1或2所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，步骤2所述构造高效轻量级坐标神经网络，具体过程包括：
步骤2-1，构造浅特征提取网络，用于提取输入图像的浅层特征；
步骤2-2，构造金字塔密集连接特征提取网络，用于对浅特征提取网络的输出进行残差学习；该网络为s级金字塔结构，包括依次连接的第一级、第二级、...、第s级密集连接特征提取网络；
步骤2-3，构造特征引导重建网络，用于对所述金字塔密集连接特征提取网络输出的特征进行重建，输出残差图像；该网络包括s个重构子网，记为第一级、第二级、...、第s级重构子网，分别用于对第一级、第二级、...、第s级密集连接特征提取网络输出的特征进行重建，输出该级重构子网对应的残差图像；
步骤2-4，构造超分辨率重建网络，该网络包括s个重建子网，记为第一级、第二级、...、第s级重建子网，与s个重构子网一一对应，每一级重建子网用于将上一级输出图像经2倍Bicubic后的结果与该级重建子网对应的重构子网输出的残差图像求和，输出该级重建子网的超分辨率图像；其中，针对第一级重建子网，所述上一级输出图像为浅特征提取网络的输入图像，针对其余级重建子网，所述上一级输出图像为上一级重建子网输出的超分辨率图像。
4.根据权利要求3所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，步骤2-1所述浅特征提取网络包括依次相连的一层坐标卷积层和一层卷积层；所述坐标卷积层用于扩展图像的通道数，具体添加两个通道，分别为每个像素点在宽度和高度上的坐标信息通道。
5.根据权利要求4所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，步骤2-2所述金字塔密集连接特征提取网络的每一级密集连接特征提取网络的内部均通过依次连接的若干全连接递归块RDB进行残差学习，且每一级密集连接特征提取网络的输出经亚像素卷积上采样后输出给下一级密集连接特征提取网络。
6.根据权利要求5所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，所述金字塔密集连接特征提取网络采用非对称s级金字塔结构，当前级密集连接特征提取网络的RDB数目多于下一级密集连接特征提取网络的RDB数目。
7.根据权利要求6所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，步骤2-3中所述每个重构子网均包括若干个相连的1*1卷积层。
8.根据权利要求7所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，步骤3所述训练高效轻量级坐标神经网络，具体过程包括：
步骤3-1，初始化高效轻量级坐标神经网络的参数和迭代次数阈值N1；
步骤3-2，选取优化器与损失函数；
步骤3-3，对训练集图像进行预处理获得低分辨率图像；
步骤3-4，提取部分低分辨率图像输入高效轻量级坐标神经网络进行前向传播获得预估值；
步骤3-5，从训练集中提取部分真值图像输入高效轻量级坐标神经网络进行误差逆传播，计算损失函数并利用优化器更新网络参数；
步骤3-6，判断当前迭代次数是否超过迭代次数阈值N1，若是，则执行下一步，反之返回执行步骤3-4；
步骤3-7，利用测试集验证损失是否收敛，若是，结束训练过程，否则，重新设置迭代次数阈值为N2，返回执行步骤3-4，直至收敛，N2＜N1。
9.根据权利要求8所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，步骤3-2中选取的优化器为Adam优化器；
选取的损失函数为：
Figure FDA0002417104140000031
式中，
Figure FDA0002417104140000032
为Charbonnier损失函数，
Figure FDA0002417104140000033
表示第i个样本图像对应第s级金字塔的预测图像，
Figure FDA0002417104140000034
表示第i个样本图像对应第s级金字塔的真值图像，N为每批训练样本的数量，L为金字塔的级数。
10.根据权利要求9所述的基于高效轻量级坐标神经网络的图像超分辨率方法，其特征在于，步骤3-3所述对训练集图像进行预处理，具体过程包括：对图像依次进行2倍Bicubic下采样、2倍Bicubic上采样。
CN202010194477.3A 2020-03-19 2020-03-19 基于高效轻量级坐标神经网络的图像超分辨率方法 Withdrawn CN111461976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010194477.3A CN111461976A (zh) 2020-03-19 2020-03-19 基于高效轻量级坐标神经网络的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010194477.3A CN111461976A (zh) 2020-03-19 2020-03-19 基于高效轻量级坐标神经网络的图像超分辨率方法

Publications (1)

Publication Number Publication Date
CN111461976A true CN111461976A (zh) 2020-07-28

Family

ID=71678433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010194477.3A Withdrawn CN111461976A (zh) 2020-03-19 2020-03-19 基于高效轻量级坐标神经网络的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN111461976A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734638A (zh) * 2020-12-24 2021-04-30 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN113256496A (zh) * 2021-06-11 2021-08-13 四川省人工智能研究院(宜宾) 一种轻量级渐进式特征融合的图像超分辨率系统及方法
CN114063965A (zh) * 2021-11-03 2022-02-18 腾讯音乐娱乐科技（深圳）有限公司 高解析音频生成方法、电子设备及其训练方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734638A (zh) * 2020-12-24 2021-04-30 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112734638B (zh) * 2020-12-24 2022-08-05 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN113256496A (zh) * 2021-06-11 2021-08-13 四川省人工智能研究院(宜宾) 一种轻量级渐进式特征融合的图像超分辨率系统及方法
CN114063965A (zh) * 2021-11-03 2022-02-18 腾讯音乐娱乐科技（深圳）有限公司 高解析音频生成方法、电子设备及其训练方法

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113673307B (zh) 一种轻量型的视频动作识别方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN111461976A (zh) 基于高效轻量级坐标神经网络的图像超分辨率方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
Tu et al. SWCGAN: Generative adversarial network combining swin transformer and CNN for remote sensing image super-resolution
CN116342596B (zh) 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN115660955A (zh) 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质
CN113506224A (zh) 基于多尺度生成对抗网络的图像修复方法
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN111986085A (zh) 一种基于深度反馈注意力网络系统的图像超分辨率方法
CN113592715A (zh) 一种面向小样本图像集的超分辨率图像重构方法
CN115829834A (zh) 基于半耦合深度卷积字典学习的图像超分辨率重建方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN108550111B (zh) 一种基于多级字典学习的残差实例回归超分辨重建方法
CN114693755B (zh) 多模图像最大矩与空间一致性的非刚性配准方法及系统
CN115272670A (zh) 一种基于掩膜注意交互的sar图像舰船实例分割方法
CN113191947B (zh) 一种图像超分辨率的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200728