CN112967184A - 一种基于双尺度卷积神经网络的超分辨放大方法 - Google Patents

一种基于双尺度卷积神经网络的超分辨放大方法 Download PDF

Info

Publication number
CN112967184A
CN112967184A CN202110154681.7A CN202110154681A CN112967184A CN 112967184 A CN112967184 A CN 112967184A CN 202110154681 A CN202110154681 A CN 202110154681A CN 112967184 A CN112967184 A CN 112967184A
Authority
CN
China
Prior art keywords
feature
resolution
scale
image
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110154681.7A
Other languages
English (en)
Other versions
CN112967184B (zh
Inventor
刘晶
何帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110154681.7A priority Critical patent/CN112967184B/zh
Publication of CN112967184A publication Critical patent/CN112967184A/zh
Application granted granted Critical
Publication of CN112967184B publication Critical patent/CN112967184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双尺度卷积神经网络的超分辨放大方法，具体按照以下步骤实施：步骤1，预处理原始图像数据集；步骤2，将步骤1获得的低分辨率图像数据集中的每一幅低分辨率图像输入到特征学习模块提取特征图，步骤3，将步骤2中获得的特征图输入到放大模块进行训练得到放大的图像，步骤4，将步骤3获得的小尺度链和大尺度链特征图进行融合，经过数次训练后生成超分辨放大网络模型；步骤5，设置超分辨放大网络模型的参数，完成图像超分辨放大。解决了现有图像超分辨方法中忽略了非整数因子超分辨放大的问题。

Description

一种基于双尺度卷积神经网络的超分辨放大方法
技术领域
本发明属于数字图像处理方法技术领域，涉及一种基于双尺度卷积神经网络的超分辨放大方法。
背景技术
图像超分辨在各种计算机视觉任务中有着广泛的应用，如医学成像、监控成像、以及卫星成像。超分辨是研究图像从低分辨率图像块到高分辨率图像块的映射，而超分辨放大是图像超分辨领域的一个重要环节，我们关注的是超分辨的放大问题。随着深度学习技术的发展，许多研究者提出了一些基于学习的超分辨放大方法。这些超分辨放大方法有如下三类：基于插值的放大方法、基于亚像素卷积的放大方法和基于反卷积的放大方法。
基于插值的放大方法需要将原始低分辨率图像插值到所需的大小，然后再将其输入网络，因此它未能建立从原始低分辨率图像到高分辨率图像端到端的映射。插值图像在大尺度下会丢失大量细节，增加了计算复杂度；基于亚像素卷积的放大方法直接从低分辨率图像中学习特征，并在网络的末端使用滤波器放大特征映射，但是它只能对整数因子进行放大；基于反卷积的放大方法是先直接学习低分辨率图像块的特征，然后通过使用一组反卷积核来放大特征映射。由于原始低分辨率图像被分割成许多非常小的块，所以它需要存储大量的参数来学习图像的细节特征。
发明内容
本发明的目的是提供一种基于双尺度卷积神经网络的超分辨放大方法，解决了现有图像超分辨方法中忽略了非整数因子超分辨放大的问题。
本发明所采用的技术方案是，一种基于双尺度卷积神经网络的超分辨放大方法，具体按照以下步骤实施：
步骤1，预处理原始图像数据集，对原始图像数据集中的每一幅图像进行下采样得到低分辨率图像数据集；
步骤2，将步骤1获得的低分辨率图像数据集中的每一幅低分辨率图像输入到特征学习模块提取特征图，其中，特征学习模块包含特征嵌入模块、残差模块和重构模块三部分；
步骤3，将步骤2中获得的特征图输入到放大模块进行训练得到放大的图像，其中，放大模块包含小尺度链和大尺度链两部分；
步骤4，将步骤3获得的小尺度链和大尺度链特征图进行融合，并且将大尺度链的输入FBI通过残差学习与融合后的特征图FMms进行连接，然后将连接后的全局特征图FMgf输入逐像素损失函数中，不断地迭代使损失函数最小化，经过数次训练后生成超分辨放大网络模型；
步骤5，设置超分辨放大网络模型的参数，将测试数据集中的图像输入到该模型中，进行任意尺度因子超分辨测试，完成图像超分辨放大。
本发明的特点还在于：
步骤2具体按照以下步骤实施：
步骤2.1，将步骤1中获得的低分辨率图像输入到特征嵌入模块，实现从图像空间映射到特征空间，生成特征映射。特征嵌入模块使用3×3卷积核和使用ReLU作为激活函数，每层卷积使用64个卷积核生成64个特征映射；
步骤2.2，将步骤2.1中得到的特征映射输入到残差模块，得到多通道特征映射的特征图；残差模块包含多个依次连接的残差块，每个块包含残差分支和恒等映射两个分支，每个残差块定义如公式(1)所示；
Ru＝F(Ru-1)+Ru-1 (1)
其中，R表示每个残差块，u＝1，2，u，u为残差块个数，F为残差函数；
恒等映射让每一幅图像的整体特征直接从一个单元传递到另一个单元，加速了神经网络的收敛。残差分支含有两个卷积层，目的是使用卷积滤波器来提取特征；
步骤2.3，将步骤2.2得到的多通道特征映射的特征图输入到残差网络的重构模块，重构模块将特征图从多通道转换回图像的原始空间，即1通道或3通道，1通道表示灰度图像，3通道表示彩色图像，重构模块也使用3×3卷积核作为重构部分，以输出精确的特征图。
步骤3具体按照以下实施：将步骤2中获得的特征图直接输入到小尺度链，经过8层卷积和1层反卷积计算得到与原始图像相同尺寸的一组特征图；将步骤2中得到的特征图利用双三插值法将其上采样到与原始图像相同的尺寸，然后输入进大尺度链，经过6层卷积计算得到一组特征图，其中的小尺度链和大尺度链都使用3×3卷积核和使用ReLU作为激活函数，并且每层卷积使用64个卷积核生成64个特征映射。
步骤4具体按照以下步骤实施：
步骤4.1，将步骤3得到的小尺度链产生的特征映射和大尺度链产生的特征映射进行合并，得到一组128通道的特征图，然后在使用一组1×1和3×3的卷积核对这些特征图进行融合，如公式(2)所示，
FMms＝Cms([FMss,FMcs]) (2)
公式(2)中FMms表示双尺度链的特征图融合，Cms表示1×1卷积和3×3卷积的多重运算，1×1卷积目的是对128个通道特征图进行降维，3×3卷积目的是融合双尺度链的特征图，FMss表示大尺度链的特征图映射，FMcs表示小尺度链的特征图映射；
步骤4.2，将步骤4.1融合后的特征图使用残差学习与大尺度链的输入进行连接，得到全局特征图如图5所示，如公式(3)所示，
FMgf＝FMms+FBI (3)
公式(3)中FMgf表示全局特征图，FBI表示大尺度链上经过双三上采样后的输入图像。
步骤4.3，定义双尺度卷积神经网络的逐像素损失函数，如公式(4)所示，
Figure BDA0002934174510000041
公式(4)中，Lmse表示逐像素损失，FMgf表示网络产生的全局特征图，y为低分辨率图像对应的原始图像，C、W、H分别为输入图像的通道、宽度和高度；
步骤4.4，将步骤4.2输出的全局特征图与原始图像输入到步骤4.3的逐像素损失函数中，经过逐像素损失函数处理生成峰值信噪比和结构相似比较高的高分辨率图像；
步骤4.5，不断迭代步骤4.4，得到使损失函数Lmse最小的一组权重参数作为训练好的模型参数，保存训练好的超分辨放大网络模型。
步骤5中设置超分辨放大网络模型的参数具体按照以下实施：特征学习模块的网络深度设置为18，残差块为8个，每层卷积使用64个3×3的卷积核。放大模块中大尺度链有6层卷积，每层使用64个3×3的卷积核；小尺度链有8层卷积和1层反卷积，每层也是使用64个3×3的卷积核。网络的批处理大小设置为16，双尺度卷积神经网络利用动量为0.9，最小批量大小为32的SGD，设置学习速率是10-3，每迭代1.0×105次减小一半。
本发明的有益效果是：本发明一种基于双尺度卷积神经网络的超分辨放大方法，解决了现有图像超分辨方法中忽略了非整数因子超分辨放大的问题。相较于传统方法，卷积神经网络可以学习到图像更深层次的复杂特征，这使原始图像的特征信息不会丢失的过多，利用双尺度链结构实现了任意尺度因子超分辨，大大提高了超分辨的实际应用价值。本发明一种基于双尺度卷积神经网络的超分辨放大方法，使用残差结构进行特征学习，缩小了图像特征映射范围，加速了损失函数的收敛，增强了网络的性能。
附图说明
图1是本发明一种基于双尺度卷积神经网络的超分辨放大方法中使用的超分辨网络整体结构示意图；
图2是本发明一种基于双尺度卷积神经网络的超分辨放大方法中使用的残差网络结构的示意图；
图3是本发明一种基于双尺度卷积神经网络的超分辨放大方法中使用的小尺度链结构示意图；
图4是本发明一种基于双尺度卷积神经网络的超分辨放大方法中使用的大尺度链结构示意图。
图5是本发明一种基于双尺度卷积神经网络的超分辨放大方法中使用的全局特征融合结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于双尺度卷积神经网络的超分辨放大方法，具体按照如下步骤实施：
步骤1，预处理原始图像数据集(DIV2K)，将原始图像数据集中的每一幅图像进行下采样得到低分辨率图像数据集；
步骤2，将步骤1获得的低分辨图像数据集中的每一幅低分辨率图像输入到特征学习模块，得到一组特征图。其中，特征学习模块采用的是残差网络，该网络又包含特征嵌入模块、残差模块和重构模块三部分，如图2所示，具体为：
步骤2.1，将步骤1中获得的低分辨率图像输入到特征嵌入模块，实现从图像空间映射到特征空间，生成特征映射。特征嵌入模块使用3×3卷积核和使用ReLU作为激活函数，每层卷积使用64个卷积核生成64个特征映射；
步骤2.2，将步骤2.1中得到的特征映射输入到残差模块，得到多通道特征映射的特征图。残差模块包含多个依次连接的残差块，每个块包含残差分支和恒等映射两个分支，每个残差块定义如公式(1)所示；
Ru＝F(Ru-1)+Ru-1 (1)
其中，R表示每个残差块，u＝1，2，u，u为残差块个数，F为残差函数；
恒等映射让每一幅图像的整体特征直接从一个单元传递到另一个单元，加速了神经网络的收敛。残差分支含有两个卷积层，目的是使用卷积滤波器来提取特征；
步骤2.3，将步骤2.2得到的多通道特征映射的特征图输入到残差网络的重构模块，重构模块将特征图从多通道转换回图像的原始空间，即1通道或3通道，1通道表示灰度图像，3通道表示彩色图像，重构模块也使用3×3卷积核作为重构部分，以输出精确的特征图；
步骤3，将步骤2中获得的特征图输入到双尺度卷积神经网络的放大模块进行训练得到放大的图像，其中为了生成真实的高分率图像，放大模块包含大尺度链和小尺度链两部分，具体为：
将步骤2中获得的特征图直接输入到小尺度链，如图3所示，经过8层卷积和1层反卷积计算得到与原始图像相同尺寸的一组特征图；将步骤2中得到的特征图利用双三插值法将其上采样到与原始图像相同的尺寸，然后输入进大尺度链，如图4所示，经过6层卷积计算得到一组特征图；
其中的小尺度链和大尺度链都使用3×3卷积核和使用ReLU作为激活函数，并且每层卷积使用64个卷积核生成64个特征映射。
步骤4，将步骤3获得的双尺度链特征图进行融合，并且将大尺度链的输入FBI通过残差学习与融合后的特征图FMms进行连接，然后将连接后的全局特征图FMgf输入逐像素损失函数中，不断地迭代使损失函数最小化，经过数次训练后生成超分辨放大网络模型，如图1所示，具体为；
步骤4.1，将步骤3.1小尺度链产生的特征映射和步骤3.2大尺度链产生的特征映射进行合并，得到一组128通道的特征图，然后在使用一组1×1和3×3的卷积核对这些特征图进行融合，如公式(2)所示，
FMms＝Cms([FMss,FMcs]) (2)
公式(2)中FMms表示双尺度链的特征图融合，Cms表示1×1卷积和3×3卷积的多重运算，1×1卷积目的是对128个通道特征图进行降维，3×3卷积目的是融合双尺度链的特征图，FMss表示大尺度链的特征图映射，FMcs表示小尺度链的特征图映射；
步骤4.2，将步骤4.1融合后的特征图使用残差学习与大尺度链的输入进行连接，得到全局特征图如图5所示，如公式(3)所示，
FMgf＝FMms+FBI (3)
公式(3)中FMgf表示全局特征图，FBI表示大尺度链上经过双三上采样后的输入图像。
步骤4.3，定义双尺度卷积神经网络的逐像素损失函数，如公式(4)所示，
Figure BDA0002934174510000081
公式(4)中，Lmse表示逐像素损失，FMgf表示网络产生的全局特征图，y为低分辨率图像对应的原始图像，C、W、H分别为输入图像的通道、宽度和高度；
步骤4.4，将步骤4.2输出的全局特征图与原始图像输入到步骤4.3的逐像素损失函数中，经过逐像素损失函数处理生成峰值信噪比和结构相似比较高的高分辨率图像。
步骤4.5，不断迭代步骤4.4，得到使损失函数Lmse最小的一组权重参数作为训练好的模型参数，保存训练好的超分辨放大网络模型。
步骤5，设置超分辨放大网络模型的参数，将测试数据集中的图像输入到该模型中，进行任意尺度因子超分辨测试，完成图像超分辨放大。
其中设置超分辨放大网络模型的参数，具体为：特征学习模块的网络深度设置为18，残差块为8个，每层卷积使用64个3×3的卷积核。放大模块中大尺度链有6层卷积，每层使用64个3×3的卷积核；小尺度链有8层卷积和1层反卷积，每层也是使用64个3×3的卷积核。网络的批处理大小设置为16，双尺度卷积神经网络利用动量为0.9，最小批量大小为32的SGD，设置学习速率是10-3，每迭代1.0×105次减小一半；
我们使用数据集(Set5,Set14,B100,Urban100)进行测试，如果我们已经训练好的是2倍网络，测试数据集中的图像尺寸为n×n，要将数据集中的图像放大r∈(1,4]倍，那么我们可以先将测试图像下采样为nr/2×nr/2，然后输入到步骤4.5产生的模型中，经过特征学习模块和放大模块运算，最后产生nr×nr的高分辨率图像。
本发明一种基于双尺度卷积神经网络的超分辨放大方法，解决了现有图像超分辨方法中忽略了非整数因子超分辨放大的问题。相较于传统方法，卷积神经网络可以学习到图像更深层次的复杂特征，这使原始图像的特征信息不会丢失的过多，利用双尺度链结构实现了任意尺度因子超分辨，大大提高了超分辨的实际应用价值。本发明一种基于双尺度卷积神经网络的超分辨放大方法，使用残差结构进行特征学习，缩小了图像特征映射范围，加速了损失函数的收敛，增强了网络的性能。

Claims (5)

1.一种基于双尺度卷积神经网络的超分辨放大方法，其特征在于，具体按照以下步骤实施：
步骤1，预处理原始图像数据集，对原始图像数据集中的每一幅图像进行下采样得到低分辨率图像数据集；
步骤2，将步骤1获得的低分辨率图像数据集中的每一幅低分辨率图像输入到特征学习模块提取特征图，其中，特征学习模块包含特征嵌入模块、残差模块和重构模块三部分；
步骤3，将步骤2中获得的特征图输入到放大模块进行训练得到放大的图像，其中，放大模块包含小尺度链和大尺度链两部分；
步骤4，将步骤3获得的小尺度链和大尺度链特征图进行融合，并且将大尺度链的输入FBI通过残差学习与融合后的特征图FMms进行连接，然后将连接后的全局特征图FMgf输入逐像素损失函数中，不断地迭代使损失函数最小化，经过数次训练后生成超分辨放大网络模型；
步骤5，设置超分辨放大网络模型的参数，将测试数据集中的图像输入到该模型中，进行任意尺度因子超分辨测试，完成图像超分辨放大。
2.根据权利要求1所述的一种基于双尺度卷积神经网络的超分辨放大方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1，将步骤1中获得的低分辨率图像输入到特征嵌入模块，实现从图像空间映射到特征空间，生成特征映射。特征嵌入模块使用3×3卷积核和使用ReLU作为激活函数，每层卷积使用64个卷积核生成64个特征映射；
步骤2.2，将步骤2.1中得到的特征映射输入到残差模块，得到多通道特征映射的特征图；残差模块包含多个依次连接的残差块，每个块包含残差分支和恒等映射两个分支，每个残差块定义如公式(1)所示；
Ru＝F(Ru-1)+Ru-1 (1)
其中，R表示每个残差块，u＝1，2，u，u为残差块个数，F为残差函数；
恒等映射让每一幅图像的整体特征直接从一个单元传递到另一个单元，加速了神经网络的收敛。残差分支含有两个卷积层，目的是使用卷积滤波器来提取特征；
步骤2.3，将步骤2.2得到的多通道特征映射的特征图输入到残差网络的重构模块，重构模块将特征图从多通道转换回图像的原始空间，即1通道或3通道，1通道表示灰度图像，3通道表示彩色图像，重构模块也使用3×3卷积核作为重构部分，以输出精确的特征图。
3.根据权利要求2所述的一种基于双尺度卷积神经网络的超分辨放大方法，其特征在于，所述步骤3具体按照以下实施：将步骤2中获得的特征图直接输入到小尺度链，经过8层卷积和1层反卷积计算得到与原始图像相同尺寸的一组特征图；将步骤2中得到的特征图利用双三插值法将其上采样到与原始图像相同的尺寸，然后输入进大尺度链，经过6层卷积计算得到一组特征图，其中的小尺度链和大尺度链都使用3×3卷积核和使用ReLU作为激活函数，并且每层卷积使用64个卷积核生成64个特征映射。
4.根据权利要求3所述的一种基于双尺度卷积神经网络的超分辨放大方法，其特征在于，所述步骤4具体按照以下步骤实施：
步骤4.1，将步骤3得到的小尺度链产生的特征映射和大尺度链产生的特征映射进行合并，得到一组128通道的特征图，然后在使用一组1×1和3×3的卷积核对这些特征图进行融合，如公式(2)所示，
FMms＝Cms([FMss,FMcs]) (2)
公式(2)中FMms表示双尺度链的特征图融合，Cms表示1×1卷积和3×3卷积的多重运算，1×1卷积目的是对128个通道特征图进行降维，3×3卷积目的是融合双尺度链的特征图，FMss表示大尺度链的特征图映射，FMcs表示小尺度链的特征图映射；
步骤4.2，将步骤4.1融合后的特征图使用残差学习与大尺度链的输入进行连接，得到全局特征图如图5所示，如公式(3)所示，
FMgf＝FMms+FBI (3)
公式(3)中FMgf表示全局特征图，FBI表示大尺度链上经过双三上采样后的输入图像。
步骤4.3，定义双尺度卷积神经网络的逐像素损失函数，如公式(4)所示，
Figure FDA0002934174500000031
公式(4)中，Lmse表示逐像素损失，FMgf表示网络产生的全局特征图，y为低分辨率图像对应的原始图像，C、W、H分别为输入图像的通道、宽度和高度；
步骤4.4，将步骤4.2输出的全局特征图与原始图像输入到步骤4.3的逐像素损失函数中，经过逐像素损失函数处理生成峰值信噪比和结构相似比较高的高分辨率图像；
步骤4.5，不断迭代步骤4.4，得到使损失函数Lmse最小的一组权重参数作为训练好的模型参数，保存训练好的超分辨放大网络模型。
5.根据权利要求4所述的一种基于双尺度卷积神经网络的超分辨放大方法，其特征在于，所述步骤5中设置超分辨放大网络模型的参数具体按照以下实施：特征学习模块的网络深度设置为18，残差块为8个，每层卷积使用64个3×3的卷积核。放大模块中大尺度链有6层卷积，每层使用64个3×3的卷积核；小尺度链有8层卷积和1层反卷积，每层也是使用64个3×3的卷积核。网络的批处理大小设置为16，双尺度卷积神经网络利用动量为0.9，最小批量大小为32的SGD，设置学习速率是10-3，每迭代1.0×105次减小一半。
CN202110154681.7A 2021-02-04 2021-02-04 一种基于双尺度卷积神经网络的超分辨放大方法 Active CN112967184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110154681.7A CN112967184B (zh) 2021-02-04 2021-02-04 一种基于双尺度卷积神经网络的超分辨放大方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110154681.7A CN112967184B (zh) 2021-02-04 2021-02-04 一种基于双尺度卷积神经网络的超分辨放大方法

Publications (2)

Publication Number Publication Date
CN112967184A true CN112967184A (zh) 2021-06-15
CN112967184B CN112967184B (zh) 2022-12-13

Family

ID=76275448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110154681.7A Active CN112967184B (zh) 2021-02-04 2021-02-04 一种基于双尺度卷积神经网络的超分辨放大方法

Country Status (1)

Country Link
CN (1) CN112967184B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李岚等: "基于改进残差亚像素卷积神经网络的超分辨率图像重建方法研究", 《长春师范大学学报》 *

Also Published As

Publication number Publication date
CN112967184B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN109509152B (zh) 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN112734646A (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN111652804B (zh) 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN111709882A (zh) 基于亚像素卷积与特征分割的超分辨率融合的计算方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN116523740B (zh) 一种基于光场的红外图像超分辨率方法
CN113240683A (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
Hu et al. Hyperspectral image super resolution based on multiscale feature fusion and aggregation network with 3-D convolution
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN114372918A (zh) 基于像素级注意力机制的超分辨率图像重构方法及系统
CN114331842A (zh) 结合地形特征的dem超分辨率重建方法
CN115018750A (zh) 中波红外高光谱及多光谱图像融合方法、系统及介质
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN110619604B (zh) 三维降尺度方法、装置、电子设备及可读存储介质
CN111986092A (zh) 一种基于双重网络的图像超分辨率重建方法及系统
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN112734645B (zh) 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法
CN115731141A (zh) 面向机动目标动态监测的天基遥感图像时空融合方法
CN112967184B (zh) 一种基于双尺度卷积神经网络的超分辨放大方法
CN117173022A (zh) 基于多路径融合和注意力的遥感图像超分辨率重建方法
CN116823610A (zh) 一种基于深度学习的水下图像超分辨率生成方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant