CN115100039B - 一种基于深度学习的轻量级图像超分辨率重建方法 - Google Patents

一种基于深度学习的轻量级图像超分辨率重建方法 Download PDF

Info

Publication number
CN115100039B
CN115100039B CN202210736896.4A CN202210736896A CN115100039B CN 115100039 B CN115100039 B CN 115100039B CN 202210736896 A CN202210736896 A CN 202210736896A CN 115100039 B CN115100039 B CN 115100039B
Authority
CN
China
Prior art keywords
feature map
pixel
input
super
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210736896.4A
Other languages
English (en)
Other versions
CN115100039A (zh
Inventor
赵于前
李明鸿
张帆
阳春华
桂卫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210736896.4A priority Critical patent/CN115100039B/zh
Publication of CN115100039A publication Critical patent/CN115100039A/zh
Application granted granted Critical
Publication of CN115100039B publication Critical patent/CN115100039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的轻量级图像超分辨率重建方法，其实施方案为：1)获取训练数据集；2)扩充训练数据集；3)构建多尺度特征挑选网络；4)构建损失函数；5)训练模型；6)图像超分辨率重建。本发明构建的多尺度特征挑选网络，通过构建多尺度特征挑选模块来提取丰富的多尺度特征，增强网络的表达能力，提升图像超分辨率重建性能。为了提高网络的自适应能力，在多尺度特征挑选模块中，设计多尺度特征融合模块用于融合不同尺度的特征并动态调整感受野范围。相比其他基于深度学习的轻量级图像超分辨率重建方法，本发明能以相对较少的参数获得较为准确的图像超分辨率重建结果，易于部署在现实场景的移动设备中。

Description

一种基于深度学习的轻量级图像超分辨率重建方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于深度学习的轻量级图像超分辨率重建方法。
背景技术
图像超分辨率重建是计算机视觉中具有深入研究价值的领域，旨在将低分辨率图像转换为相应的高分辨率图像。图像超分辨率重建因其不适定性而具有很大挑战。目前的图像超分辨率重建方法主要分为两类：传统方法和基于深度学习的方法。在图像超分辨率重建研究早期，传统方法为主流方法，但由于其手工先验的应用，无法获得令人满意的性能。近年来，得益于深度学习的发展，卷积神经网络在图像超分辨率重建领域取得了显著成果，基于深度学习的方法也逐渐取代了传统方法。起初，一些学者提出用简单的网络来实现图像超分辨率重建，但由于网络层数少，限制了网络的性能。因此，许多研究人员探索更深的网络来改善图像超分辨率重建结果。然而，由于梯度消失问题，深层网络的训练不稳定。为了解决这个问题，残差学习思想被引入到网络的结构设计中，以加强网络内信息的传递，从而使深度模型更容易训练。此外，许多有效的技巧或策略，如注意力机制、稠密连接等被引入网络以增强特征的表达能力。现有的基于深度学习的图像超分辨率重建方法主要是通过构建更宽或更深的网络来提升性能，但也因此引入了大量参数，加大了计算负担，使其难以部署在计算资源有限的移动设备中。
发明内容
本发明充分考虑了现有技术存在的缺点，其目的在于提供一种基于深度学习的轻量级图像超分辨率重建方法，以相对较少的参数获得较好的图像重建质量。
一、技术原理
目前，虽然已有一些基于深度学习的轻量级图像超分辨率重建方法通过利用各种策略，如组卷积、递归卷积等来降低模型的计算复杂度。然而，由于这些方法构建的网络缺乏足够的特征表达和自适应能力，导致其不能很好地捕捉图像的细节信息，限制了模型的性能。为了更好地提升网络的多尺度特征表达能力，本发明设计一种高效的多尺度特征挑选模块。该模块主要利用四条并行的支路提取丰富的多尺度特征。除最后一条支路外，其他支路都采用一个宽激活残差单元改善特征的非线性能力。为了更好地融合不同尺度的特征，本发明设计一种多尺度特征融合模块。该模块使用综合通道注意力机制提取不同特征通道间的依赖关系，并形成两个动态调整的通道权重，使其可以自动挑选不同尺度的输入信息来形成合适的多尺度特征组合，以增强网络的自适应能力。
二、根据上述原理，本发明通过以下方案实现：
一种基于深度学习的轻量级图像超分辨率重建方法，包括以下步骤：
(1)获取训练数据集：从公共数据库中获取原始高分辨率图像，对这些高分辨率图像进行下采样，得到对应的低分辨图像，将这些一一对应的由高、低分辨率图像对组成的集合作为训练数据集。
(2)扩充训练数据集：对步骤(1)得到的训练数据集进行随机裁剪，并采用随机旋转和翻转的数据增量方式扩充训练数据集。
(3)构建多尺度特征挑选网络：该网络由卷积层1、卷积层2、卷积层3，N个多尺度特征挑选模块MFSB，像素重组层，以及逐像素相加操作构成。其中N为正整数，且N∈[1,50]。该网络的输入图像经卷积层1后得到中间特征图X0，X0依次经过N个MFSB模块，即MFSB1，MFSB2，…，MFSBN，分别得到中间特征图X1,X2,…,XN；将XN作为卷积层2的输入，得到的结果与中间特征图X0逐像素相加，得到中间特征图XF；XF依次经过卷积层3和像素重组层后，得到输出的超分辨率图像，完成多尺度特征挑选网络的构建。
该步骤中的多尺度特征挑选模块MFSBi，其作用是提取丰富的多尺度特征，增强网络的表达能力；MFSBi的输入为中间特征图Xi-1，其中i为正整数，且i∈{1,2,…,N}，Xi-1经卷积层4进行维度调整后，得到中间特征图XA；将XA输入到切分层1中进行切分，得到四个子特征图和/>将子特征图/>输入到宽激活残差单元1后得到中间特征图将子特征图/>与中间特征图/>输入到多尺度特征融合模块MFFM1，得到中间特征图U1，将U1输入到宽激活残差单元2，得到中间特征图/>将子特征图/>与中间特征图/>一起输入到多尺度特征融合模块MFFM2，得到中间特征图U2，将U2输入到宽激活残差单元3，得到中间特征图/>子特征图/>不经任何变换得到中间特征图/>即/>与/>相等；将得到的中间特征图/>和/>拼接后，输入到卷积层5，得到中间特征图XR；XR与输入的中间特征图Xi-1逐像素相加，得到MFSBi的输出Xi。
所述多尺度特征融合模块MFFMi具有相同的结构，其中i＝1,2；MFFM模块的作用是有效融合不同支路上不同尺度的特征，动态调整感受野范围，以提高网络的自适应能力；MFFMi模块以子特征图与中间特征图/>作为输入；将/>和/>逐像素相加，得到中间特征图M，将M作为综合通道注意力模块的输入，得到通道权重z；将z输入到切分层2中，生成两个不同的子通道权重z1和z2；将z1和输入的子特征图/>逐像素相乘，得到中间特征图F1；将z2和输入的中间特征图/>逐像素相乘，得到中间特征图F2；将中间特征图F1和F2逐像素相加，得到MFFMi模块的输出Ui。
所述综合通道注意力模块的作用是利用通道间的全局和局部相关性来计算不同尺度特征图的权重，该模块以中间特征图M作为输入，依次经过全局平均池化层、全连接层、ReLU层、一维卷积层和Softmax层后，得到通道权重z。
(4)构建损失函数：
构建如下损失函数L：
其中，B为批量的大小，B为正整数且B∈[1,64]，x(t)表示由多尺度特征挑选网络得到的第t幅超分辨率图像，y(t)表示第t幅原始高分辨率图像，||·||1表示l1范数。
(5)训练模型：将步骤(2)得到的扩充训练数据集输入到步骤(3)构建的多尺度特征挑选网络中，并以步骤(4)构建的损失函数作为优化目标进行训练，使用Adam优化器更新模型参数，直到损失不再下降，得到训练好的图像超分辨率重建模型。
(6)图像超分辨率重建：用步骤(5)中训练好的图像超分辨率重建模型对测试集中的低分辨率图像进行超分辨率重建，得到超分辨率图像。
所述步骤(3)中的宽激活残差单元1、2、3具有相同的结构，都由卷积层6、ReLU层、卷积层7和逐像素相加操作构成；宽激活残差单元的作用是改善网络的非线性表达能力；宽激活残差单元的输入特征图依次经过卷积层6、ReLU层和卷积层7后，得到的结果与输入特征图逐像素相加，得到宽激活残差单元的输出。
步骤(3)中的N优选16；步骤(4)中的B优先16。
本发明具有如下优点：
第一，本发明针对现有的基于深度学习的轻量级图像超分辨率重建模型缺乏充足的特征表达能力，设计一种高效的多尺度特征挑选模块。该模块主要利用四条并行支路产生丰富的多尺度特征，进而改善网络的多尺度表达能力，提升网络的性能。
第二，本发明构建的多尺度特征融合模块通过利用综合通道注意力机制来提取特征通道之间的全局和局部依赖关系，动态调整特征的感受野范围，使来自不同支路的多尺度特征被有效地融合，进而提升网络的自适应能力。
第三，本发明引入宽激活残差单元来提取图像特征，相比普通的残差单元，宽激活残差单元在激活层ReLU前放大特征的维度，从而增强特征的非线性表达能力，提高模型重建图像的准确度。
附图说明
图1本发明实施方式的基于深度学习的轻量级图像超分辨率重建方法流程图；
图2本发明实施方式的多尺度特征挑选网络结构图；
图3本发明实施方式的多尺度特征挑选模块MFSB结构图；
图4本发明实施方式的宽激活残差单元结构图；
图5本发明实施方式的多尺度特征融合模块MFFM结构图；
图6本发明实施方式和其他方法在4倍上采样情况下得到的结果对比图；
图7本发明实施方式和其他方法在8倍上采样情况下得到的结果对比图。
具体实施方式
下面说明本发明具体实施方式：
实施例1
图1所示为本发明实施方式的基于深度学习的轻量级图像超分辨率重建方法流程图，具体步骤如下：
步骤1，获取训练数据集
从公共数据库中获取原始高分辨率图像，对这些高分辨率图像进行下采样，得到对应的低分辨图像，将这些一一对应的由高、低分辨率图像对组成的集合作为训练数据集。
步骤2，扩充训练数据集
对步骤(1)得到的训练数据集进行随机裁剪，并采用随机旋转和翻转的数据增量方式扩充训练数据集。
步骤3，构建多尺度特征挑选网络
图2所示为本发明实施方式的多尺度特征挑选网络的结构图，该网络由卷积层1、卷积层2、卷积层3，N个多尺度特征挑选模块MFSB，像素重组层，以及逐像素相加操作构成；该网络的输入为大小为48×48×3的图像，经卷积核为3×3的卷积层1后得到大小为48×48×32的中间特征图X0，X0依次经过N个MFSB模块，即MFSB1，MFSB2，…，MFSBN，分别得到大小均为48×48×32的中间特征图X1,X2,…,XN；将XN作为卷积核为3×3的卷积层2的输入，得到的结果与中间特征图X0逐像素相加，得到大小为48×48×32的中间特征图XF；XF依次经过卷积核为3×3的卷积层3和像素重组层后，得到大小为192×192×3的输出超分辨率图像，完成多尺度特征挑选网络的构建；本实施例选N为16。
图3所示为本发明实施方式的多尺度特征挑选模块MFSB结构图，该模块的作用是提取丰富的多尺度特征，增强网络的表达能力；MFSBi的输入为大小为48×48×32的中间特征图Xi-1，其中i为正整数，且i∈{1,2,…,N}，Xi-1经卷积核为1×1的卷积层4进行维度调整后，得到大小为48×48×48的中间特征图XA；将XA输入到切分层1中进行切分，得到大小均为48×48×12的四个子特征图 和/>将子特征图/>输入到宽激活残差单元1后得到大小为48×48×12的中间特征图/>将子特征图/>与中间特征图/>输入到多尺度特征融合模块MFFM1，得到大小为48×48×12的中间特征图U1，将U1输入到宽激活残差单元2，得到大小为48×48×12的中间特征图/>将子特征图/>与中间特征图/>一起输入到多尺度特征融合模块MFFM2，得到大小为48×48×12的中间特征图U2，将U2输入到宽激活残差单元3，得到大小为48×48×12的中间特征图/>子特征图/>不经任何变换得到中间特征图/>即/>与/>相等；将得到的中间特征图/>和/>拼接后，输入到卷积核为1×1的卷积层5进行融合，得到大小为48×48×32的中间特征图XR；XR与输入的中间特征图/>逐像素相加，得到MFSBi大小为48×48×32的输出Xi。
图4所示为本发明实施方式的宽激活残差单元结构图，其作用是改善网络的非线性表达能力。宽激活残差单元1、2、3具有相同的结构，都由卷积层6、ReLU层、卷积层7和逐像素相加操作构成；宽激活残差单元以大小为48×48×12的特征图作为输入，并使用卷积核为3×3的卷积层6将输入特征图的特征维度放大r倍；大小为48×48×(12×r)的放大结果经ReLU层进行非线性激活后，输入到该单元内卷积核为3×3的卷积层7进行特征维度复原；将复原结果与输入特征图逐像素相加，得到大小为48×48×12的输出特征图；本实施例选r＝4。
图5所示为本发明实施方式的多尺度特征融合模块MFFM结构图。MFFM模块的作用是有效融合不同支路上不同尺度的特征，动态调整感受野范围，以提高网络的自适应能力；MFFMi模块具有相同的结构，其中i＝1,2；MFFMi模块以大小均为48×48×12的子特征图与中间特征图/>作为输入；将/>和/>逐像素相加，得到大小为48×48×12中间特征图M，将M作为综合通道注意力模块的输入，得到大小为1×1×24通道权重z；将z输入到切分层2中，生成两个不同且大小均为1×1×12的子通道权重z1和z2；将z1和输入子特征图/>逐像素相乘，得到大小为48×48×12的中间特征图F1；将z2和输入中间特征图/>逐像素相乘，得到大小为48×48×12的中间特征图F2；将中间特征图F1和F2逐像素相加，得到MFFMi模块的输出Ui，其大小为48×48×12。
所述综合通道注意力模块的作用是利用通道间的全局和局部相关性来计算不同尺度特征图的权重。将大小为48×48×12的中间特征图M作为该模块的输入，依次经过全局平均池化层、全连接层、ReLU层、卷积核大小为1×k的1D卷积层和Softmax层后，得到大小为1×1×24的通道权重z；本实施例选k＝3。
步骤4，构建损失函数
构建如下损失函数L：
其中，B为批量的大小，B为正整数且B∈[1,64]，x(t)表示由多尺度特征挑选网络得到的第t幅超分辨率图像，y(t)表示第t幅原始高分辨率图像，||·||1表示l1范数；本实例选B为16。
步骤5，训练模型
将步骤(2)得到的扩充训练数据集输入到步骤(3)构建的多尺度特征挑选网络中，并以步骤(4)构建的损失函数作为优化目标进行训练，使用Adam优化器更新模型参数，直到损失不再下降，得到训练好的图像超分辨率重建模型。
步骤6，图像超分辨率重建
用步骤(5)中训练好的图像超分辨率重建模型对测试集中的低分辨率图像进行超分辨率重建，得到超分辨率图像。
实施例2
采用实施例1中的方法对公开数据集Set5、Set14、BSD100、Urban100、Manga109中的低分辨率图像进行图像超分辨率重建实验。本实验的计算机环境：操作系统为LinuxUbuntu 18.04版本，一块NVIDIA 1080Ti 11G GPU，软件平台为PyTorch。
图6所示为本发明实施方式和其他方法在4倍上采样情况下得到的结果对比图。图6中第一行从左到右分别为FSRCNN、VDSR、LapSRN、MemNet和IDN方法得到的超分辨率图像；第二行从左到右分别为由CARN、IMDN、RFDN、本发明得到的超分辨率图像和原始高分辨率图像。从图6中可以看到，相比其他方法，本发明能取得更好的重建效果。以图6中书籍的边缘为例，其他方法恢复的书籍边缘存在明显歪曲的情况，而本发明可以更好地恢复书籍的边缘且生成的伪影更少。这些结果表明本发明利用MFSB模块能获得更丰富的多尺度特征，增强网络的表达能力，从而恢复更多的图像细节。
在本实施例中，采用峰值信噪比(PSNR)、结构相似指数(SSIM)来评估不同方法得到的超分辨率图像在亮度通道上的客观质量，图6中每一幅图下方的数字即表示该图的PSNR/SSIM值。在4倍上采样情况下，不同方法在Set5、Set14、BSD100、Urban100、Manga109五个数据集上的平均PSNR和SSIM值如表1所示，表中粗体数字表示最好的值。从表1中可以发现，相较于其他方法，本发明在各个数据集上都获得了最高的PSNR和SSIM值。
表1
实施例3
采用实施例1中的方法对公开数据集Set5、Set14、BSD100、Urban100、Manga109中的低分辨率图像进行图像超分辨率重建实验。本实验的计算机环境：操作系统为LinuxUbuntu 18.04版本，一块NVIDIA 1080Ti 11G GPU，软件平台为PyTorch。
图7所示为本发明实施方式和其他方法在8倍上采样情况下得到的结果对比图。图7中第一行从左到右分别为FSRCNN、VDSR、LapSRN、MemNet、IDN方法得到的超分辨率图像；第二行从左到右分别为CARN、IMDN、RFDN、本发明得到的超分辨率图像和原始高分辨率图像。从图7中可以看到，相比其他方法，本发明能取得更好的重建效果。以图7中建筑的结构为例，其他方法恢复的建筑结构存在明显的伪影，而本发明能更准确地恢复建筑的结构且生成的伪影更少。主要原因是本发明构建的MFSB模块能提供合适的感受野范围来更准确地捕捉图像中的全局结构和局部细节。
在本实施例中，采用峰值信噪比(PSNR)、结构相似指数(SSIM)来评估不同方法得到的超分辨率图像在亮度通道上的客观质量，图7中每一幅图下方的数字即表示该图的PSNR/SSIM值。在8倍上采样情况下，不同方法在五个数据集上的平均PSNR和SSIM值如表2所示，表中粗体数字表示最好的值。从表2中可以发现，相较于其他方法，本发明在各个数据集上都获得了最高的PSNR和SSIM值。
表2

Claims (3)

1.一种基于深度学习的轻量级图像超分辨率重建方法，其特征在于包括以下步骤：
(1)获取训练数据集：从公共数据库中获取原始高分辨率图像，对这些高分辨率图像进行下采样，得到对应的低分辨图像，将这些一一对应的由高、低分辨率图像对组成的集合作为训练数据集；
(2)扩充训练数据集：对步骤(1)得到的训练数据集进行随机裁剪，并采用随机旋转和翻转的数据增量方式扩充训练数据集；
(3)构建多尺度特征挑选网络：该网络由卷积层1、卷积层2、卷积层3，N个多尺度特征挑选模块MFSB，像素重组层，以及逐像素相加操作构成；该网络的输入图像经卷积层1后得到中间特征图X0，X0依次经过N个MFSB模块，即MFSB1，MFSB2，…，MFSBN，分别得到中间特征图X1,X2,…,XN；将XN作为卷积层2的输入，得到的结果与中间特征图X0逐像素相加，得到中间特征图XF；XF依次经过卷积层3和像素重组层后，得到输出的超分辨率图像，完成多尺度特征挑选网络的构建；
该步骤中的多尺度特征挑选模块MFSBi，其输入为中间特征图Xi-1，其中i为正整数，且i∈{1,2,…,N}，Xi-1经卷积层4进行维度调整后，得到中间特征图XA；将XA输入到切分层1中进行切分，得到四个子特征图和/>将子特征图/>输入到宽激活残差单元1后得到中间特征图/>将子特征图/>与中间特征图/>输入到多尺度特征融合模块MFFM1，得到中间特征图U1，将U1输入到宽激活残差单元2，得到中间特征图/>将子特征图/>与中间特征图/>一起输入到多尺度特征融合模块MFFM2，得到中间特征图U2，将U2输入到宽激活残差单元3，得到中间特征图/>子特征图/>不经任何变换得到中间特征图/>即/>与/>相等；将得到的中间特征图/>和/>拼接后，输入到卷积层5，得到中间特征图XR；XR与输入的中间特征图Xi-1逐像素相加，得到MFSBi的输出Xi；
所述多尺度特征融合模块MFFMi具有相同的结构，其中i＝1,2；MFFMi模块以子特征图与中间特征图/>作为输入；将/>和/>逐像素相加，得到中间特征图M，将M作为综合通道注意力模块的输入，得到通道权重z；将z输入到切分层2中，生成两个不同的子通道权重z1和z2；将z1和输入的子特征图/>逐像素相乘，得到中间特征图F1；将z2和输入的中间特征图/>逐像素相乘，得到中间特征图F2；将中间特征图F1和F2逐像素相加，得到MFFMi模块的输出Ui；
所述综合通道注意力模块以中间特征图M作为输入，依次经过全局平均池化层、全连接层、ReLU层、一维卷积层和Softmax层后，得到通道权重z；
(4)构建损失函数：
构建如下损失函数L：
其中，B为批量的大小，B为正整数且B∈[1,64]，x(t)表示由多尺度特征挑选网络得到的第t幅超分辨率图像，y(t)表示第t幅原始高分辨率图像，||·||1表示l1范数；
(5)训练模型：将步骤(2)得到的扩充训练数据集输入到步骤(3)构建的多尺度特征挑选网络中，并以步骤(4)构建的损失函数作为优化目标进行训练，使用Adam优化器更新模型参数，直到损失不再下降，得到训练好的图像超分辨率重建模型；
(6)图像超分辨率重建：用步骤(5)中训练好的图像超分辨率重建模型对测试集中的低分辨率图像进行超分辨率重建，得到超分辨率图像。
2.如权利要求1所述的一种基于深度学习的轻量级图像超分辨率重建方法，其特征在于，所述步骤(3)中的宽激活残差单元1、2、3具有相同的结构，都由卷积层6、ReLU层、卷积层7和逐像素相加操作构成；宽激活残差单元的输入特征图依次经过卷积层6、ReLU层和卷积层7后，得到的结果与输入特征图逐像素相加，得到宽激活残差单元的输出。
3.如权利要求1所述的一种基于深度学习的轻量级图像超分辨率重建方法，其特征在于，所述步骤(3)中的N为正整数，且N∈[1,50]。
CN202210736896.4A 2022-06-27 2022-06-27 一种基于深度学习的轻量级图像超分辨率重建方法 Active CN115100039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210736896.4A CN115100039B (zh) 2022-06-27 2022-06-27 一种基于深度学习的轻量级图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210736896.4A CN115100039B (zh) 2022-06-27 2022-06-27 一种基于深度学习的轻量级图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN115100039A CN115100039A (zh) 2022-09-23
CN115100039B true CN115100039B (zh) 2024-04-12

Family

ID=83295553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210736896.4A Active CN115100039B (zh) 2022-06-27 2022-06-27 一种基于深度学习的轻量级图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115100039B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937018B (zh) * 2022-11-03 2023-11-03 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法
CN116468619B (zh) * 2023-03-01 2024-02-06 山东省人工智能研究院 一种基于多特征反馈融合的医学影像去噪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN114092330A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种轻量化多尺度的红外图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7469866B2 (ja) * 2019-11-05 2024-04-17 キヤノン株式会社 符号化装置および符号化方法、復号装置および復号方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN114092330A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种轻量化多尺度的红外图像超分辨率重建方法

Also Published As

Publication number Publication date
CN115100039A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN115100039B (zh) 一种基于深度学习的轻量级图像超分辨率重建方法
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN110929602B (zh) 一种基于卷积神经网络的地基云图云状识别方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN108830813A (zh) 一种基于知识蒸馏的图像超分辨率增强方法
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
CN112102177B (zh) 基于压缩与激励机制神经网络的图像去模糊方法
CN109741260A (zh) 一种基于深度反投影网络的高效超分辨率方法
CN111861961A (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
CN110148091A (zh) 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN108765290A (zh) 一种基于改进的稠密卷积神经网络的超分辨率重建方法
CN113902658B (zh) 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN112884650B (zh) 一种基于自适应纹理蒸馏的图像混合超分辨率方法
CN112017116B (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113538234A (zh) 基于轻量化生成模型的遥感图像超分辨率重建方法
CN112288630A (zh) 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统
CN111461978A (zh) 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法
CN111640061B (zh) 一种自适应图像超分辨率系统
CN111414988B (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant