CN113409191A - 一种基于注意力反馈机制的轻量级图像超分方法及系统 - Google Patents
一种基于注意力反馈机制的轻量级图像超分方法及系统 Download PDFInfo
- Publication number
- CN113409191A CN113409191A CN202110615890.7A CN202110615890A CN113409191A CN 113409191 A CN113409191 A CN 113409191A CN 202110615890 A CN202110615890 A CN 202110615890A CN 113409191 A CN113409191 A CN 113409191A
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- network
- image
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000008713 feedback mechanism Effects 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 59
- 238000005070 sampling Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 11
- 230000000977 initiatory effect Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- BVPWJMCABCPUQY-UHFFFAOYSA-N 4-amino-5-chloro-2-methoxy-N-[1-(phenylmethyl)-4-piperidinyl]benzamide Chemical compound COC1=CC(N)=C(Cl)C=C1C(=O)NC1CCN(CC=2C=CC=CC=2)CC1 BVPWJMCABCPUQY-UHFFFAOYSA-N 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 241000556720 Manga Species 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于注意力反馈机制的轻量级图像超分方法及系统，包括：将低分辨率图像输入浅层特征提取网络中获取浅层特征信息，将浅层特征信息输入深层特征提取网络中得到深度特征信息；将深度特征信息输入重建网络中重建超分辨率图像，经上采样得到高分辨率特征图，再将高分辨率特征图与低分辨率图像进行双三次上采样后智能相加，得到超分辨率图像；根据超分辨率图像与原始高分辨率图像计算损失函数并对超分辨率模型训练；将深度特征信息输入下一个深层特征提取网络中提取深度特征信息，并重复上述步骤至完成最后一个深层特征提取网络的深度特征信息提取，将提取的深度特征信息输入重建网络中进行超分辨率图像重建，输出得到超分辨率图像SR。
Description
技术领域
本发明涉及深度学习技术领域，更具体地，涉及一种基于注意力反馈机制的轻量级图像超分方法及系统。
背景技术
深度学习在各种计算机视觉任务中表现出了优越的性能，其中包含语义分割，模式识别，图像分类等，在图像超分辨率技术领域也包含了大量应用。在图像超分辨率方面，Dong等人首次提出使用一个3层CNN来学习了复杂的低分辨率图到高分辨率图的映射关系，Kim等人提出将CNN的深度增加到了20层，以便获从低分辨率图中得到更多的上下文信息，当网络深度变得更深时，又使用跳连接来克服优化网路，如传统的EDSR应用了许多残差连接，在图像超分方面取得了显著的进步。与此同时，Legid等人提出引入了SRRestNet，并通过引入密集连接得到了进一步改进，zhang等人提出将局部，全局残差和稠密跳连接结合到他们的网络模型中。
然而，由于这些网络模型结构中的跳跃连接是以自下而上的方式使用或者组合分层特征，而底层特征只能接受来自网络模型中前几层的信息，由于CNN中小的感受野的限制，底层特征中缺乏足够的上下文信息，且这些底层特征在随后的层中被重用，因而进一步限制了网络的重构能力，超分效果不理想。
发明内容
本发明为克服上述现有技术所述的缺乏更深层次的特征信息，影响超分效果的缺陷，提供一种基于注意力反馈机制的轻量级图像超分方法，以及一种基于注意力反馈机制的轻量级图像超分系统。
为解决上述技术问题，本发明的技术方案如下：
一种基于注意力反馈机制的轻量级图像超分方法，包括以下步骤：
S1：采集高分辨率图像数据集并对其进行数据增强处理，得到低分辨率图像集合；
S2：构建超分辨率模型；所述超分辨率模型包括浅层特征提取网络、若干深层特征提取网络，以及重建网络，其中所述深层特征提取网络包括依次连接的inception网络和通道注意力网络模块ECA；
S3：将低分辨率图像输入超分辨率模型的浅层特征提取网络中，获取所述低分辨率图像的浅层特征信息
再将浅层特征信息
输入深层特征提取网络中得到深度特征信息
其中m＝1,2,...,M，M为深层特征提取网络的个数；
S4：将所述深度特征信息
输入重建网络中进行超分辨率图像重建，经过上采样得到高分辨率特征图，再将所述高分辨率特征图与所述低分辨率图像进行双三次上采样后智能相加，得到超分辨率图像；
S5：根据所述超分辨率图像与原始高分辨率图像计算损失函数并对所述超分辨率模型进行训练；
S6：将所述深度特征信息
输入下一个深层特征提取网络中提取深度特征信息
并重复步骤S4～S6至完成最后一个深层特征提取网络的深度特征信息提取，将提取的深度特征信息
输入重建网络中进行超分辨率图像重建，输出得到的超分辨率图像SR。
作为优选方案，对高分辨率图像数据集进行数据增强处理的步骤包括：对高分辨率图像进行翻折、旋转、放大、缩小处理。
作为优选方案，所述通道注意力网络模块ECA包括2个通道注意力块CAB，通过残差计算进一步获取深层特征信息；所述通道注意力块CAB通过全局池化将输入的特征信息融合在一个空间，然后依次经过卷积、激活函数、卷积，最后通过sigmoid函数将不同权值的特征信息相乘到相应的通道，完成深层特征提取。
作为优选方案，所述S3步骤中，提取深度特征信息
的步骤包括：所述浅层特征信息
通过inception网络在一个特征图上进行不同尺度的卷积操作，然后将提取的空间特征信息输入通道注意力网络模块ECA中，所述通道注意力网络模块ECA将提取的空间特征信息在通道的维度上进行基于注意力机制的权重分配，得到综合特征空间和每个通道的特征信息，然后进行上采样，得到高分辨率特征图并保存；将所述高分辨率特征图进行下采样，得到低分辨率特征图并保存；重复上采样和下采样的操作，提取其深层次的特征信息，最终将提取的深度融合的低分辨率特征信息作为深度特征信息
进行输出。
作为优选方案，所述通道注意力块CAB包括依次连接的ConV层、BN层、ReLU激活函数层、ConV层、BN层、CAL网络层。
作为优选方案，所述CAL网络层包括依次连接的AvgP层、ConV层、ReLU激活函数层、ConV层、sigmoid函数层。
作为优选方案，所述S6步骤中，还包括以下步骤：将最终输出的超分辨率图像SR与原始高分辨率图像进行损失函数计算，并与在前计算的损失函数进行不同权值的损失训练，完成对所述超分辨率模型的训练。
作为优选方案，所述损失函数采用L1函数，其表达公式如下：
式中，T为迭代次数，θ为学习参数，Km表示第m次迭代的超参数；
表示第m次迭代的原始高分辨率图像，
表示第m次迭代的超分辨率图像，||·||1表示第一范式。
作为优选方案，所述损失函数的权值依次设置为0.4、0.8、1.2、1.6。
本发明还提出了一种基于注意力反馈机制的轻量级图像超分系统，应用于上述任一技术方案提出的轻量级图像超分方法，其包括：
数据处理模块，所述数据处理模块用于对采集的高分辨率图像进行数据增强处理，得到低分辨率图像集合；
超分辨率模型，所述超分辨率模型包括浅层特征提取网络、若干深层特征提取网络，以及重建网络；其中，所述浅层特征提取网络用于提取浅层的特征信息，即获取图像特征的基元特征；所述深层特征提取网络包括依次连接的inception网络和通道注意力网络模块ECA，所述通道注意力网络模块ECA的第一输出端与所述重建网络的输入端连接，所述通道注意力网络模块ECA的第二输出端与下一深层特征提取网络中的inception网络的输入端连接；所述重建网络用于根据输入的深度特征信息重建超分辨率图像；
损失计算模块，所述损失计算模块用于根据所述重建网络输出的超分辨率图像与原始高分辨率图像进行损失函数计算，并对所述超分辨率模型进行训练。
与现有技术相比，本发明技术方案的有益效果是：本发明提出结合inception网络和通道注意力网络模块ECA的超分辨率模型，能够充分发现低分辨率图像特征到高分辨率图像特征，与高分辨率图像特征到低分辨率图像特征的映射关系，能够进一步提取图像更深层次的特征信息，得到更丰富的信息；其中inception网络能够得到不同的空间特征信息，配合通道注意力网络模块ECA中的加强的通道注意力，通过得到不同通道的权值，其提取的特征信息更加精确，得到更加全面的特征信息，有效提高超分效果。
附图说明
图1为实施例1的基于注意力反馈机制的轻量级图像超分方法的流程图。
图2为实施例1的超分辨率模型的示意图。
图3为实施例1的深层特征提取网络的示意图。
图4为实施例1的通道注意力网络模块ECA的示意图。
图5为实施例1的超分辨率模型随机选取超分辨率的效果图。
图6为实施例1的set5数据集上参数-PSNR的对照图。
图7为实施例2的基于注意力反馈机制的轻量级图像超分系统的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种基于注意力反馈机制的轻量级图像超分方法，如图1所示，为本实施例的基于注意力反馈机制的轻量级图像超分方法的流程图。
本实施例提出的基于注意力反馈机制的轻量级图像超分方法中，包括以下步骤：
S1：采集高分辨率图像数据集并对其进行数据增强处理，得到低分辨率图像集合。
本实施例中，对高分辨率图像数据集进行数据增强处理的步骤包括：对高分辨率图像进行翻折、旋转、放大、缩小处理，用于对本实施例的超分辨率模型进行充分训练，提高超分效果。
S2：构建超分辨率模型。
本实施例中的超分辨率模型结构如图2所示，超分辨率模型包括浅层特征提取网络、若干深层特征提取网络(ICAFB)，以及重建网络。
本实施例中的浅层特征提取网络包括依次连接的ConV层和1×1ConV层，用于获取低分辨率图像中浅层的特征信息。
深层特征提取网络(ICAFB)包括依次连接的inception网络和通道注意力网络模块ECA，如图3所示，为本实施例的深层特征提取网络的示意图。
本实施例的深层特征提取网络(ICAFB)中，为了尽可能的获取深层次的特征信息，先引用了inception网络，在一个特征图上进行不同尺度的卷积操作，其目的是为了充分提取空间特征信息，因此本实施例中的inception网络包括并列设置的3×3MP层、5×5ConV层、3×3ConV层、1×1ConV层。
然后将提取的特征信息送进通道注意力网络模块ECA中，用于将提取到的空间特征信息在通道的维度上进行基于注意力机制的权重分配。本实施例中的通道注意力网络模块ECA包括2个依次连接的通道注意力块CAB，通过残差计算进一步获取深层特征信息，其输出的特征信息充分综合了特征空间和每个通道的特征信息。
其中，通道注意力块CAB通过全局池化将输入的特征信息融合在一个空间，然后依次经过卷积、激活函数、卷积，最后通过sigmoid函数将不同权值的特征信息相乘到相应的通道，完成深层特征提取。
进一步的，本实施例中的通道注意力块CAB包括依次连接的ConV层、BN层、ReLU激活函数层、ConV层、BN层、CAL网络层，CAL网络层包括依次连接的AvgP层、ConV层、ReLU激活函数层、ConV层、sigmoid函数层。如图4所示，为本实施例的通道注意力网络模块ECA的示意图。
S3：将低分辨率图像输入超分辨率模型的浅层特征提取网络中，获取所述低分辨率图像的浅层特征信息
再将浅层特征信息
输入深层特征提取网络中得到深度特征信息
其中m＝1,2,...,M，M为深层特征提取网络的个数。
本实施例中，提取深度特征信息
的步骤包括：所述浅层特征信息
通过inception网络在一个特征图上进行不同尺度的卷积操作，然后将提取的空间特征信息输入通道注意力网络模块ECA中，所述通道注意力网络模块ECA将提取的空间特征信息在通道的维度上进行基于注意力机制的权重分配，得到综合特征空间和每个通道的特征信息，然后进行上采样，得到高分辨率特征图并保存；将所述高分辨率特征图进行下采样，得到低分辨率特征图并保存；重复上采样和下采样的操作，提取其深层次的特征信息，最终将提取的深度融合的低分辨率特征信息作为深度特征信息
进行输出。
具体的，浅层特征信息
通过inception网络在一个特征图上进行不同尺度的卷积操作；其表达公式如下：
式中，fincep(·)表示inception网络，
表示第m次迭代第0组的空间特征信息；
将提取的空间特征信息
输入通道注意力网络模块ECA中，所述通道注意力网络模块ECA将提取的空间特征信息在通道的维度上进行基于注意力机制的权重分配，得到综合特征空间和每个通道的特征信息；其表达公式如下：
式中，fECA(·)表示通道注意力网络模块ECA，
表示第m次迭代第0组的特征信息；
对通道注意力网络模块ECA输出的特征信息
进行上采样，得到高分辨率特征图并保存；其表达公式如下：
式中，
表示上采样操作，
表示第m次迭代第0组的高分辨率特征图；
将所述高分辨率特征图
进行下采样，得到低分辨率特征图并保存；其表达公式如下：
式中，
表示下采样操作，
表示第m次迭代第1组的低分辨率特征图；
将
和
通过级联后，经过inception模块，再经过ECA模块，最后通过转置卷积得到m次迭代的第g组高分辨率特征图
其表达公式如下：
式中，
表示上采样操作，
和
表示表示第m次迭代的g-1组低分辨率特征图和g-2组的低分辨率特征图；
将
和
通过级联后，经过inception模块，再经过ECA模块，最后通过转置卷积得到m次迭代的第g组低分辨率特征图
其表达公式如下：
式中，
表示下采样操作，
和
表示第m次迭代的g-1组高分辨率特征图和g-2组的高分辨率特征图；
将第1组到第G组的所有低分辨率特征图进行级联，再通过卷积压缩通道，输出深度特征信息
其表达公式如下：
式中，Clast(·)表示级联操作。
S4：将所述深度特征信息
输入重建网络中进行超分辨率图像重建，经过上采样得到高分辨率特征图，再将所述高分辨率特征图与所述低分辨率图像进行双三次上采样后智能相加，得到超分辨率图像。
S5：根据所述超分辨率图像与原始高分辨率图像计算损失函数并对所述超分辨率模型进行训练。
本实施例中，损失函数采用L1函数，其表达公式如下：
式中，T为迭代次数，θ为学习参数；Km表示第m次迭代的超参数，本实施例采用4次迭代，且依次设置为0.4、0.8、1.2、1.6；
表示第m次迭代的原始高分辨率图像，
表示第m次迭代的超分辨率图像，||·||1表示第一范式。
S6：将所述深度特征信息
输入下一个深层特征提取网络中提取深度特征信息
并重复步骤S4～S6至完成最后一个深层特征提取网络的深度特征信息提取，将提取的深度特征信息
输入重建网络中进行超分辨率图像重建，输出得到的超分辨率图像SR。
本实施例中，还包括以下步骤：将最终输出的超分辨率图像SR与原始高分辨率图像进行损失函数计算，并与在前计算的损失函数进行不同权值的损失训练，即完成对所述超分辨率模型的训练。
在一具体实施过程中，使用DIV2K作为训练数据集，并对训练数据集进行数据增强处理。本实施例在Set5、Set14、B100、Urban100和Manga109五个标准基准数据集上评估了PSNR和SSIM指标下的SR结果。为了与以往的工作保持一致，定量结果只在亮度(Y)通道上进行评估。为了充分证明该专利网络的先进性，本实施例将实验结果与先前网络模型进行了对比。如下表1所示，为与当前先进的网络模型进行PSNR/SSIM指标分析。
表1PSNR/SSIM指标分析
图5为本实施例提出的超分辨率模型在Urban100数据集上随机选取超分辨率(放大4倍)的效果，从左至右依次为低分辨率图像、本实施例的超分辨率图像、原始高分辨率图像。图6为本实施例在set5数据集上参数的对比。由图4、5以及表1可知，本实施例提出的基于注意力反馈机制的轻量级图像超分方法能够充分发现低分辨率图像特征到高分辨率图像特征，与高分辨率图像特征到低分辨率图像特征的映射关系，这将进一步提取图像更深层次的特征信息，得到更丰富的信息。实验表明本实施例提出的超分辨率模型有利于单张图像的超分辨率任务，达到空前先进的超分辨率的指标，且本实施例提出的超分辨率模型是百万级以下参数的轻量级网络最先进的网络。
实施例2
本实施例提出一种基于注意力反馈机制的轻量级图像超分系统，如图7所示，为本实施例的基于注意力反馈机制的轻量级图像超分系统的结构示意图。
本实施例提出的基于注意力反馈机制的轻量级图像超分系统中，包括依次连接的数据处理模块1、超分辨率模型2、损失计算模块3，其中：
数据处理模块1，所述数据处理模块1用于对采集的高分辨率图像进行数据增强处理，得到低分辨率图像集合；
超分辨率模型2，所述超分辨率模型2包括浅层特征提取网络201、若干深层特征提取网络202，以及重建网络203；其中，所述浅层特征提取网络201用于提取浅层的特征信息，即获取图像特征的基元特征；所述深层特征提取网络202包括依次连接的inception网络和通道注意力网络模块ECA，所述通道注意力网络模块ECA的第一输出端与所述重建网络203的输入端连接，所述通道注意力网络模块ECA的第二输出端与下一深层特征提取网络202中的inception网络的输入端连接；所述重建网络203用于根据输入的深度特征信息重建超分辨率图像；
损失计算模块3，所述损失计算模块3用于根据所述重建网络203输出的超分辨率图像与原始高分辨率图像进行损失函数计算，并对所述超分辨率模型2进行训练。
本实施例中，深层特征提取网络202(ICAFB)包括依次连接的inception网络和通道注意力网络模块ECA，其中，inception网络包括并列设置的3×3MP层、5×5ConV层、3×3ConV层、1×1ConV层；通道注意力网络模块ECA包括2个依次连接的通道注意力块CAB，通道注意力块CAB包括依次连接的ConV层、BN层、ReLU激活函数层、ConV层、BN层、CAL网络层，CAL网络层包括依次连接的AvgP层、ConV层、ReLU激活函数层、ConV层、sigmoid函数层。如图4所示，为本实施例的通道注意力网络模块ECA的结构示意图。
在具体实施过程中，数据处理模块1采集高分辨率图像数据集并对其进行数据增强处理，得到低分辨率图像集合；将低分辨率图像输入超分辨率模型2的浅层特征提取网络201中，获取所述低分辨率图像的浅层特征信息
再将浅层特征信息
输入深层特征提取网络202中得到深度特征信息
其中m＝1,2,...,M，M为深层特征提取网络202的个数；将所述深度特征信息
输入重建网络203中进行超分辨率图像重建，经过上采样得到高分辨率特征图，再将所述高分辨率特征图与所述低分辨率图像进行双三次上采样后智能相加，得到超分辨率图像；
损失计算模块3根据所述超分辨率图像与原始高分辨率图像计算损失函数并对所述超分辨率模型2进行训练；超分辨率模型2将所述深度特征信息
输入下一个深层特征提取网络202中提取深度特征信息
并重复上述步骤至完成最后一个深层特征提取网络202的深度特征信息提取，将提取的深度特征信息
输入重建网络203中进行超分辨率图像重建，输出得到的超分辨率图像SR。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于注意力反馈机制的轻量级图像超分方法，其特征在于，包括以下步骤：
S1：采集高分辨率图像数据集并对其进行数据增强处理，得到低分辨率图像集合；
S2：构建超分辨率模型；所述超分辨率模型包括浅层特征提取网络、若干深层特征提取网络，以及重建网络，其中所述深层特征提取网络包括依次连接的inception网络和通道注意力网络模块ECA；
S3：将低分辨率图像输入超分辨率模型的浅层特征提取网络中，获取所述低分辨率图像的浅层特征信息
再将浅层特征信息
输入深层特征提取网络中得到深度特征信息
其中m＝1,2,...,M，M为深层特征提取网络的个数；
S4：将所述深度特征信息
输入重建网络中进行超分辨率图像重建，经过上采样得到高分辨率特征图，再将所述高分辨率特征图与所述低分辨率图像进行双三次上采样后智能相加，得到超分辨率图像；
S5：根据所述超分辨率图像与原始高分辨率图像计算损失函数并对所述超分辨率模型进行训练；
S6：将所述深度特征信息
输入下一个深层特征提取网络中提取深度特征信息
并重复步骤S4～S6至完成最后一个深层特征提取网络的深度特征信息提取，将提取的深度特征信息
输入重建网络中进行超分辨率图像重建，输出得到的超分辨率图像SR。
2.根据权利要求1所述的轻量级图像超分方法，其特征在于，对高分辨率图像数据集进行数据增强处理的步骤包括：对高分辨率图像进行翻折、旋转、放大、缩小处理。
3.根据权利要求1所述的轻量级图像超分方法，其特征在于，所述通道注意力网络模块ECA包括2个通道注意力块CAB，通过残差计算进一步获取深层特征信息；所述通道注意力块CAB通过全局池化将输入的特征信息融合在一个空间，然后依次经过卷积、激活函数、卷积，最后通过sigmoid函数将不同权值的特征信息相乘到相应的通道，完成深层特征提取。
4.根据权利要求3所述的轻量级图像超分方法，其特征在于，所述S3步骤中，提取深度特征信息
的步骤包括：所述浅层特征信息
通过inception网络在一个特征图上进行不同尺度的卷积操作，然后将提取的空间特征信息输入通道注意力网络模块ECA中，所述通道注意力网络模块ECA将提取的空间特征信息在通道的维度上进行基于注意力机制的权重分配，得到综合特征空间和每个通道的特征信息，然后进行上采样，得到高分辨率特征图并保存；将所述高分辨率特征图进行下采样，得到低分辨率特征图并保存；重复上采样和下采样的操作，提取其深层次的特征信息，最终将提取的深度融合的低分辨率特征信息作为深度特征信息
进行输出。
5.根据权利要求3所述的轻量级图像超分方法，其特征在于，所述通道注意力块CAB包括依次连接的ConV层、BN层、ReLU激活函数层、ConV层、BN层、CAL网络层。
6.根据权利要求5所述的轻量级图像超分方法，其特征在于，所述CAL网络层包括依次连接的AvgP层、ConV层、ReLU激活函数层、ConV层、sigmoid函数层。
7.根据权利要求1～6任一项所述的轻量级图像超分方法，其特征在于，所述S6步骤中，还包括以下步骤：将最终输出的超分辨率图像SR与原始高分辨率图像进行损失函数计算，并与在前计算的损失函数进行不同权值的损失训练，完成对所述超分辨率模型的训练。
8.根据权利要求7所述的轻量级图像超分方法，其特征在于，所述损失函数采用L1函数，其表达公式如下：
式中，T为迭代次数，θ为学习参数，Km表示第m次迭代的超参数；
表示第m次迭代的原始高分辨率图像，
表示第m次迭代的超分辨率图像，||·||1表示第一范式。
9.根据权利要求7所述的轻量级图像超分方法，其特征在于，所述损失函数的权值依次设置为0.4、0.8、1.2、1.6。
10.一种基于注意力反馈机制的轻量级图像超分系统，应用于权利要求1～9任一项所述的轻量级图像超分方法，其特征在于，包括：
数据处理模块，所述数据处理模块用于对采集的高分辨率图像进行数据增强处理，得到低分辨率图像集合；
超分辨率模型，所述超分辨率模型包括浅层特征提取网络、若干深层特征提取网络，以及重建网络；其中，所述浅层特征提取网络用于提取浅层的特征信息，即获取图像特征的基元特征；所述深层特征提取网络包括依次连接的inception网络和通道注意力网络模块ECA，所述通道注意力网络模块ECA的第一输出端与所述重建网络的输入端连接，所述通道注意力网络模块ECA的第二输出端与下一深层特征提取网络中的inception网络的输入端连接；所述重建网络用于根据输入的深度特征信息重建超分辨率图像；
损失计算模块，所述损失计算模块用于根据所述重建网络输出的超分辨率图像与原始高分辨率图像进行损失函数计算，并对所述超分辨率模型进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110615890.7A CN113409191B (zh) | 2021-06-02 | 2021-06-02 | 一种基于注意力反馈机制的轻量级图像超分方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110615890.7A CN113409191B (zh) | 2021-06-02 | 2021-06-02 | 一种基于注意力反馈机制的轻量级图像超分方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409191A true CN113409191A (zh) | 2021-09-17 |
| CN113409191B CN113409191B (zh) | 2023-04-07 |
Family
ID=77676000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110615890.7A Active CN113409191B (zh) | 2021-06-02 | 2021-06-02 | 一种基于注意力反馈机制的轻量级图像超分方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409191B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888491A (zh) * | 2021-09-27 | 2022-01-04 | 长沙理工大学 | 基于非局部特征的多级高光谱图像递进超分方法及系统 |
| CN113888412A (zh) * | 2021-11-23 | 2022-01-04 | 钟家兴 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
| CN114222123A (zh) * | 2021-12-15 | 2022-03-22 | 华南农业大学 | 一种任意压缩率的加密图像有损压缩与重构系统及方法 |
| CN114926342A (zh) * | 2022-05-31 | 2022-08-19 | 武汉大学 | 图像超分辨率重建模型构建方法、装置、设备及存储介质 |
| CN114943650A (zh) * | 2022-04-14 | 2022-08-26 | 北京东软医疗设备有限公司 | 一种图像去模糊方法、装置、计算机设备和存储介质 |
| CN115063297A (zh) * | 2022-06-30 | 2022-09-16 | 中国人民解放军战略支援部队信息工程大学 | 基于参数重构的图像超分辨率重建方法及系统 |
| CN115358929A (zh) * | 2022-10-19 | 2022-11-18 | 中科方寸知微(南京)科技有限公司 | 压缩图像超分方法、图像压缩方法及系统 |
| CN115358932A (zh) * | 2022-10-24 | 2022-11-18 | 山东大学 | 一种多尺度特征融合的人脸超分辨率重构方法及系统 |
| CN115578615A (zh) * | 2022-10-31 | 2023-01-06 | 成都信息工程大学 | 基于深度学习的夜间交通标志图像检测模型建立方法 |
| CN115578260A (zh) * | 2022-10-08 | 2023-01-06 | 苏州大学 | 针对图像超分辨率的方向解耦的注意力方法和系统 |
| CN116091317A (zh) * | 2023-02-02 | 2023-05-09 | 苏州大学 | 扫描电镜二次电子图像超分辨方法和系统 |
| CN116385265A (zh) * | 2023-04-06 | 2023-07-04 | 北京交通大学 | 一种图像超分辨率网络的训练方法及装置 |
| WO2023206343A1 (zh) * | 2022-04-29 | 2023-11-02 | 中国科学院深圳先进技术研究院 | 一种基于图像预训练策略的图像超分辨率方法 |
| CN117237197A (zh) * | 2023-11-08 | 2023-12-15 | 华侨大学 | 基于交叉注意力机制与Swin-Transformer的图像超分辨率方法及装置 |
| CN117422614A (zh) * | 2023-12-19 | 2024-01-19 | 华侨大学 | 基于混合特征交互Transformer的单帧图像超分辨率方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
| CN111046967A (zh) * | 2019-12-18 | 2020-04-21 | 江苏科技大学 | 一种基于卷积神经网络和注意力机制的水下图像分类方法 |
| CN111583107A (zh) * | 2020-04-03 | 2020-08-25 | 长沙理工大学 | 一种基于注意力机制的图像超分辨率重建方法和系统 |
| CN111833261A (zh) * | 2020-06-03 | 2020-10-27 | 北京工业大学 | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 |
| CN111931624A (zh) * | 2020-08-03 | 2020-11-13 | 重庆邮电大学 | 基于注意力机制的轻量级多分支行人重识别方法及系统 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112200724A (zh) * | 2020-10-22 | 2021-01-08 | 长沙理工大学 | 一种基于反馈机制的单图像超分辨率重建系统及方法 |
| CN112734643A (zh) * | 2021-01-15 | 2021-04-30 | 重庆邮电大学 | 一种基于级联网络的轻量图像超分辨率重建方法 |
-
2021
- 2021-06-02 CN CN202110615890.7A patent/CN113409191B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
| CN111046967A (zh) * | 2019-12-18 | 2020-04-21 | 江苏科技大学 | 一种基于卷积神经网络和注意力机制的水下图像分类方法 |
| CN111583107A (zh) * | 2020-04-03 | 2020-08-25 | 长沙理工大学 | 一种基于注意力机制的图像超分辨率重建方法和系统 |
| CN111833261A (zh) * | 2020-06-03 | 2020-10-27 | 北京工业大学 | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 |
| CN111931624A (zh) * | 2020-08-03 | 2020-11-13 | 重庆邮电大学 | 基于注意力机制的轻量级多分支行人重识别方法及系统 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112200724A (zh) * | 2020-10-22 | 2021-01-08 | 长沙理工大学 | 一种基于反馈机制的单图像超分辨率重建系统及方法 |
| CN112734643A (zh) * | 2021-01-15 | 2021-04-30 | 重庆邮电大学 | 一种基于级联网络的轻量图像超分辨率重建方法 |
Non-Patent Citations (6)
| Title |
|---|
| HU J ET AL.: "Squeeze-and-excitation networks", 《IEEE》 * |
| TANG Y ET AL.: "Deep inception-residual laplacian pyramid networks for accurate single image super-resolution", 《ARXIV》 * |
| 朱磊磊: "基于卷积神经网络的图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 汪锐: "基于深度学习的单帧图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 闫娟娟: "基于卷积神经网络的壁画图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 雷鹏程等: "分层特征融合注意力网络图像超分辨率重建", 《中国图象图形学报》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888491A (zh) * | 2021-09-27 | 2022-01-04 | 长沙理工大学 | 基于非局部特征的多级高光谱图像递进超分方法及系统 |
| CN113888412A (zh) * | 2021-11-23 | 2022-01-04 | 钟家兴 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
| CN114222123A (zh) * | 2021-12-15 | 2022-03-22 | 华南农业大学 | 一种任意压缩率的加密图像有损压缩与重构系统及方法 |
| CN114943650A (zh) * | 2022-04-14 | 2022-08-26 | 北京东软医疗设备有限公司 | 一种图像去模糊方法、装置、计算机设备和存储介质 |
| WO2023206343A1 (zh) * | 2022-04-29 | 2023-11-02 | 中国科学院深圳先进技术研究院 | 一种基于图像预训练策略的图像超分辨率方法 |
| CN114926342A (zh) * | 2022-05-31 | 2022-08-19 | 武汉大学 | 图像超分辨率重建模型构建方法、装置、设备及存储介质 |
| CN115063297A (zh) * | 2022-06-30 | 2022-09-16 | 中国人民解放军战略支援部队信息工程大学 | 基于参数重构的图像超分辨率重建方法及系统 |
| CN115578260A (zh) * | 2022-10-08 | 2023-01-06 | 苏州大学 | 针对图像超分辨率的方向解耦的注意力方法和系统 |
| CN115358929A (zh) * | 2022-10-19 | 2022-11-18 | 中科方寸知微(南京)科技有限公司 | 压缩图像超分方法、图像压缩方法及系统 |
| CN115358929B (zh) * | 2022-10-19 | 2023-03-24 | 中科方寸知微(南京)科技有限公司 | 压缩图像超分方法、图像压缩方法及系统 |
| CN115358932A (zh) * | 2022-10-24 | 2022-11-18 | 山东大学 | 一种多尺度特征融合的人脸超分辨率重构方法及系统 |
| CN115578615A (zh) * | 2022-10-31 | 2023-01-06 | 成都信息工程大学 | 基于深度学习的夜间交通标志图像检测模型建立方法 |
| CN115578615B (zh) * | 2022-10-31 | 2023-05-09 | 成都信息工程大学 | 基于深度学习的夜间交通标志图像检测模型建立方法 |
| CN116091317A (zh) * | 2023-02-02 | 2023-05-09 | 苏州大学 | 扫描电镜二次电子图像超分辨方法和系统 |
| CN116385265A (zh) * | 2023-04-06 | 2023-07-04 | 北京交通大学 | 一种图像超分辨率网络的训练方法及装置 |
| CN116385265B (zh) * | 2023-04-06 | 2023-10-17 | 北京交通大学 | 一种图像超分辨率网络的训练方法及装置 |
| CN117237197A (zh) * | 2023-11-08 | 2023-12-15 | 华侨大学 | 基于交叉注意力机制与Swin-Transformer的图像超分辨率方法及装置 |
| CN117237197B (zh) * | 2023-11-08 | 2024-03-01 | 华侨大学 | 基于交叉注意力机制的图像超分辨率方法及装置 |
| CN117422614A (zh) * | 2023-12-19 | 2024-01-19 | 华侨大学 | 基于混合特征交互Transformer的单帧图像超分辨率方法及装置 |
| CN117422614B (zh) * | 2023-12-19 | 2024-03-12 | 华侨大学 | 基于混合特征交互Transformer的单帧图像超分辨率方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409191B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113409191B (zh) | 一种基于注意力反馈机制的轻量级图像超分方法及系统 | |
| AU2020100200A4 (en) | Content-guide Residual Network for Image Super-Resolution | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及系统 | |
| CN110929736A (zh) | 多特征级联rgb-d显著性目标检测方法 | |
| CN112070768B (zh) | 基于Anchor-Free的实时实例分割方法 | |
| CN101482925A (zh) | 基于局部嵌入式隐马尔可夫模型的照片生成方法 | |
| CN114037986A (zh) | 一种用于智慧城市的车牌识别方法及装置 | |
| CN111414988B (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
| CN115171052B (zh) | 基于高分辨率上下文网络的拥挤人群姿态估计方法 | |
| CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
| CN114299578A (zh) | 一种基于面部情绪分析的动态人脸生成方法 | |
| CN116701681B (zh) | 一种用于语义分割的多查询网络 | |
| CN117422998A (zh) | 一种基于YOLOv5s改进的河道漂浮物识别算法 | |
| CN116977822A (zh) | 一种融合CNN与Transformer模型的图像识别网络 | |
| CN117437557A (zh) | 一种基于双通道特征增强的高光谱图像分类方法 | |
| CN115375537A (zh) | 非线性感知多尺度的超分辨率图像生成系统及方法 | |
| CN114529450A (zh) | 基于改进深度迭代协作网络的人脸图像超分辨方法 | |
| Huang et al. | Compact Cross-Reparam Convolution Network for Efficient Image Super-resolution | |
| Wang et al. | W-EFLN: A Wavelet Transform-Based Extendable Frequency Learning Network for Image Super-Resolution | |
| Huynh et al. | Light-weight Sketch Recognition with Knowledge Distillation | |
| Mohammed et al. | Content based Image Retrieval using Fine-tuned Deep Features with Transfer Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |