CN115546032A - 一种基于特征融合与注意力机制的单帧图像超分辨率方法 - Google Patents
一种基于特征融合与注意力机制的单帧图像超分辨率方法 Download PDFInfo
- Publication number
- CN115546032A CN115546032A CN202211528666.5A CN202211528666A CN115546032A CN 115546032 A CN115546032 A CN 115546032A CN 202211528666 A CN202211528666 A CN 202211528666A CN 115546032 A CN115546032 A CN 115546032A
- Authority
- CN
- China
- Prior art keywords
- resolution
- feature
- attention mechanism
- feature fusion
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 69
- 230000004927 fusion Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000001965 increasing effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及一种基于特征融合与注意力机制的单帧图像超分辨率方法，具体包括以下步骤：步骤一、制作数据集与标签；步骤二、构建基于多尺度特征融合的单帧图像超分辨率网络；步骤三、将混合注意力机制引入基于多尺度特征融合单帧图像超分辨率网络，得到基于特征融合与注意力机制的超分辨率网络；步骤四、使用所述基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，获得网络输出的高分辨率图像。克服了现有技术的不足，在经典超分辨率方法的基础上，引入多尺度特征融合与混合注意力机制，提供多尺度的特征信息，并且剔除冗余特征，以增强模型的深度特征提取能力。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于特征融合与注意力机制的单帧图像超分辨率方法。
背景技术
单帧图像的超分辨率(Single image super resolution, SISR)在计算机视觉领域中应用广泛，例如医学图像、视频监控、遥感图像以及视频传输等等。
SISR是根据已有的低分辨率(Low resolution, LR)图像，通过软件处理生成其对应的高分辨率(High resolution, HR)图像。随着深度学习的发展，基于卷积神经网络(Convolutional neural network, CNN)的方法已经远超了传统的插值算法，并且可以从HR-LR图像块之间学习到更加精准的映射关系，重建的HR图像质量也更高。因此，基于CNN的方法是当前阶段单幅图像的超分辨率研究的主要方法。
基于深度学习的超分辨率方法大致可以分为两类。第一类是以生成对抗网络为基础。这类方法通过优化感知损失，使得生成的HR图像更加符合人类的主观视觉感受。但是，这类方法得到的重建图像的PSNR（峰值信噪比，Peak Signal-to-Noise Ratio）和SSIM（结构相似性，Structural Similarity）指标较低，并且细节纹理上与原始图像差异较大，因此在实际应用中存在的缺陷也较为明显。
第二类是则是更加重视重建图像的细节和纹理特征，其客观指标相对第一种方法也更高。但是，这类方法依然存在一些问题。首先，为了提高重建图像的质量，这类方法对应的模型往往需要堆叠大量的模块，以增加网络的深度，但这导致模型训练难度较大，时间较长。其次，由于大部分这类方法缺乏对特征提取模块的思考与研究，导致提取出的深度特征较弱。例如，这些模型缺乏自适应区分重要特征与次要特征的能力，将所有的特征信息平等看待，因此不可避免地影响了重建图像的高频特征。
发明内容
本发明的目的在于提供一种基于特征融合与注意力机制的单帧图像超分辨率方法，克服原有经典超分辨率模型提取的特征信息过于单一的问题，提供多尺度的特征信息，并且剔除冗余特征。
为解决上述问题，本发明所采取的技术方案如下：
一种基于特征融合与注意力机制的单帧图像超分辨率方法，具体包括以下步骤：
步骤一、制作数据集与标签；
步骤二、构建基于多尺度特征融合的单帧图像超分辨率网络；
步骤三、将混合注意力机制引入基于多尺度特征融合单帧图像超分辨率网络，得到基于特征融合与注意力机制的超分辨率网络；
步骤四、使用所述基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，获得网络输出的高分辨率图像。
进一步，步骤一中所述制作数据集与标签，具体步骤包括：
S1、从经典的DIV2K数据集中得到800张高分辨率图像用于训练网络，并选择公开的Set5、Set14、B100和Urban100数据集用于测试网络的性能；
S2、取上述数据集中的图像进行下采样操作，得到其指定缩小倍数的低分辨率图像；
S3、将低分辨率图像裁剪成48*48大小的LR图像块，将其作为模型输入，并且将LR图像块对应的HR图像裁剪为（48*scale）*（48*scale）大小，将其作为输入对应的标签；其中scale表示指定的放大倍数；
S4、对训练图像进行随机进行旋转90º、180º、270º和水平翻转中一项操作，增加训练集的图像数量，再重复S2、S3以得到充足的训练图像与对应标签。
进一步，步骤二中所述基于多尺度特征融合的单帧图像超分辨率网络由3个卷积层、深度特征提取模块和基于亚像素卷积的上采样模块组成，所述深度特征提取模块中包含多尺度特征融合模块；
所述深度特征提取模块还包括4个ResNet中的基本残差块与1个卷积层，其中所述基本残差块中的所有归一化操作被移除；
所述多尺度特征融合模块通过多种不同感受野的卷积核、Relu激活操作及Concat操作，得到拥有多尺度信息的特征图。
进一步，所述通过多种不同感受野的卷积核、Relu激活操作及Concat操作，由三个不同感受野的特征提取单元并联组成，分别为第一特征提取单元、第二特征提取单元、第三特征提取单元；
其中，每个特征提取单元由两组Conv+Relu单元组成，第一特征提取单元中Conv卷积核大小为1*1，第二特征提取单元中Conv卷积核大小为3*3，第三特征提取单元中Conv卷积核大小为5*5；且三个特征提取单元的卷积核的数量均为64个；
在每个提取单元中，第1组Conv+Relu单元提取的特征会被输入到所有特征提取单元的第2组Conv+Relu单元，使得不同特征提取单元的特征信息共享互通；
输入第2组Conv+Relu单元的特征信息的初始通道数为192，经过Concat操作后，该特征信息通道数调整为64。
进一步，所述多尺度特征融合模块还包括特征融合单元，且特征融合单元由一个Concat层、1个卷积核大小为1*1的Conv层构成、1个残差连接操作；
具体步骤为：获取由三种不同感受野的特征提取单元分别提取后的三种不同尺度的特征，将三种不同尺度的特征输入Concat层，进行不同尺度信息的特征融合，再经过一个1*1的Conv层，增强特征信息，最后利用残差连接操作，与初始特征信息求和，得到多尺度特征融合模块的输出特征信息。
进一步，步骤三中所述混合注意力机制，具体为：将通道注意力机制与空间注意力机制并联使用，并组合两个注意力机制中前期处理所得的特征信息权重，再进行Sigmoid操作，最终与初始信息求和，得到输出结果。
进一步，所述通道注意力机制与空间注意力机制并联使用，具体为：
通道注意力机制依次由一个全局池化层、一个Conv层、一个Relu激活层、一个Conv层串联组成，且上述Conv层均使用1*1的卷积核，其数量为64；
空间注意力机制依次由一个Conv层、一个Relu激活层、一个Conv层串联组成，且上述Conv层均使用3*3的卷积核，其数量为64。
进一步，步骤四中所述使用所述基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，具体步骤包括：
将48*48*3维度的低分辨率图像作为输入，经过基于特征融合与注意力机制的超分辨率网络的处理后其输出是一幅（48*scale）*（48*scale）*3维度的高分辨率图像；其中，scale表示指定的放大倍数。
本发明与现有技术相比较，具有以下有益效果：
1.本发明通过引入多尺度特征融合机制，可以提取并融合不同大小尺度的特征，以获得更加有用的图像特征，从而为深度特征提取提供更具指导意义的尺度信息。
2.本发明通过引入混合注意力机制能够动态地优化残差模块来提取深度特征，并有效的剔除冗余特征量，增强网络对深层特征的辨识能力。
附图说明
图1为本发明的流程示意图；
图2为本发明的网络框架示意图；
图3为本发明中深度特征提取模块示意图；
图4为本发明中多尺度特征融合模块示意图；
图5为本发明中混合注意力机制示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-图5所示，本发明所述一种基于特征融合与注意力机制的单帧图像超分辨率方法，包括以下步骤：
步骤一、制作数据集与标签；
步骤二、构建基于多尺度特征融合的单帧图像超分辨率网络；
步骤三、将混合注意力机制引入基于多尺度特征融合单帧图像超分辨率网络，得到基于特征融合与注意力机制的超分辨率网络；
步骤四、使用基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，获得网络输出的高分辨率图像。
为了进一步解释本发明的技术方案，下面通过具体实施例对本发明进行详细阐述。
1.制作数据集
从经典的DIV2K数据集中得到800张高分辨率图像用于训练网络，并选择公开的Set5、Set14、B100和Urban100数据集用于测试网络的性能。首先，我们将这些数据集中的图像进行下采样操作，得到其指定缩小倍数的低分辨率图像。然后，我们将低分辨率图像裁剪成48*48大小的LR图像块，将其作为模型输入，并且将LR图像块对应的HR图像裁剪为（48*scale）*（48*scale）大小，将其作为输入对应的标签。其中，scale表示指定的放大倍数。最后，我们对训练图像进行随机旋转90º、180º、270º和水平翻转等操作，以增加训练集的图像数量。由此，得到充足的训练图像与对应标签。
2. 构建基于多尺度特征融合的单帧图像超分辨率网络
构建基于多尺度特征融合的单帧图像超分辨率网络，该网络由3个卷积层、深度特征提取模块和基于亚像素卷积的上采样模块组成。其中，深度特征提取模块中包含多尺度特征融合模块(Multi-scale feature fusion block, MSFFB)；
所述深度特征提取模块还包括4个ResNet中的基本残差块与1个卷积层，其中上述基本残差块中的所有归一化操作被移除。
所述多尺度特征融合模块利用多种不同感受野的卷积（Convolution, Conv）、Relu（Rectified Linear Unit）激活操作、Concat操作，从而得到拥有多尺度信息的特征图，有利于图像高频信息的重建。特别的是，与专利CN11433183的方法中简单利用1*1卷积层的做法不同，提出的多尺度特征融合模块分两步利用1*1的卷积层，并将其提取的特征信息参与到特征融合，从而使该感受野下的信息得到有效利用，进而更有利于高质量图像的重建。
利用多种不同感受野的卷积核、Relu激活操作、Concat操作，该过程由3个不同感受野的特征提取单元并联组成，即由第一特征提取单元，第二特征提取单元，第三特征提取单元并联组成。
其中，每个特征提取单元由两组Conv+Relu单元组成，第一特征提取单元中Conv卷积核大小为1*1；第二特征提取单元中Conv卷积核大小为3*3；第三特征提取单元中Conv卷积核大小为5*5；所有特征提取单元的卷积核的数量均为64个。
在每个提取单元中，第1组Conv+Relu单元提取的特征会被输入到所有特征提取单元的第2组Conv+Relu单元，使得不同特征提取单元的特征信息共享互通。输入第2组Conv+Relu单元的特征信息的初始通道数为192，经过特征信息在通道维度叠加操作(Concat)后，该特征信息的通道数会被调整为64。
特征融合单元由一个Concat层、1个卷积核大小为1*1的Conv层构成、1个残差连接操作。
前部3个并联特征提取单元得到3种不同尺度的特征后，先将3种不同尺度的特征输入Concat层，以进行不同尺度信息的特征融合，再经过一个1*1的Conv层，以增强特征信息，最后利用残差连接操作，与初始特征信息求和，得到多尺度特征融合模块的输出特征信息。
3. 将混合注意力机制加入深度特征提取模块尾部。其中，混合注意力机制将混合注意力机制引入基于多尺度特征融合单帧图像超分辨率网络，得到基于特征融合与注意力机制的超分辨率网络
将通道注意力机制与空间注意力机制并联使用，并组合两个注意力机制中前期处理所得的特征信息权重，再进行Sigmoid操作，最终与初始信息求和，得到输出结果。
特别的是，专利CN111192200A的方法中简单串联空间注意力机制与通道注意力机制，并利用两种注意力分两次加权。但是，分两次加权会造成额外的资源使用，不利于权衡性能与效率。而提出的混合注意力机制在一次重新加权的过程中，在sigmoid操作前叠加使用空间注意力机制与通道注意力机制。这样的做法不仅提高了重建图像质量，而且没有耗费过多的计算资源。
通道注意力机制与空间注意力机制并联使用。具体为：通道注意力机制依次由一个全局池化层（Global Pooling）、一个Conv层、一个Relu激活层、一个Conv层串联组成。上述Conv层均使用1*1的卷积核，其数量为64。空间注意力机制依次由一个Conv层、一个Relu激活层、一个Conv层串联组成。上述Conv层均使用3*3的卷积核，其数量为64。
4. 使用基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，得到重建结果
将48*48*3维度的低分辨率图像作为的一种基于特征融合与注意力机制的单帧图像超分辨率方法的输入，其得到的输出是一幅（48*scale）*（48*scale）*3维度的高分辨率输出。其中，scale表示需要的放大倍数，例如scale为2、3或4。
5.消融实验
在消融实验的过程中，我们在测试一个模块性能时，总是保证同组实验内不同实验项目使用的基本模块与网络结构相同，以稳定非实验变量。
表1
表2
A．在移除多尺度特征融合模块MSFFB后，与加入多尺度融合特征时作对比，结果见表1所示。实验选择的放大倍数为3倍，分别测试了Set5、Set14、B100、以及Urban100的平均PSNR变化。从表1可以得出，在使用多尺度特征融合模块提取图像的融合特征后，可以学习到更多有助于图像重建的多尺度信息，从而使得PSNR有明显的改善，进而也为后续深度特征的提取提供了保证。
B. 从表2可以看出，相比于无使用任何注意力机制的情况，在只引入的空间注意力机制PSNR整体提升较小；在只引入通道注意力机制时，PSNR提升略微改善，其中在Urban100数据集上测试的平均PSNR提升0.05dB，较为明显；在引入混合注意力时，表现最好，尤其是Set5数据集测试的平均PSNR提升了0.08dB，而其他三个数据集也均有所提升，4个基准数据集测试的PSNR总体平均提升0.05dB。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (5)
1.一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：具体包括以下步骤：
步骤一、制作数据集与标签；
步骤二、构建基于多尺度特征融合的单帧图像超分辨率网络；
步骤三、将混合注意力机制引入基于多尺度特征融合单帧图像超分辨率网络，得到基于特征融合与注意力机制的超分辨率网络；
步骤四、使用所述基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，获得网络输出的高分辨率图像；
步骤二中所述基于多尺度特征融合的单帧图像超分辨率网络由3个卷积层、深度特征提取模块和基于亚像素卷积的上采样模块组成，所述深度特征提取模块中包含多尺度特征融合模块；
所述深度特征提取模块还包括4个ResNet中的基本残差块与1个卷积层，其中所述基本残差块中的所有归一化操作被移除；
所述多尺度特征融合模块通过多种不同感受野的卷积核、Relu激活操作及Concat操作，得到拥有多尺度信息的特征图；
所述通过多种不同感受野的卷积核、Relu激活操作及Concat操作，由三个不同感受野的特征提取单元并联组成，分别为第一特征提取单元、第二特征提取单元、第三特征提取单元；
其中，每个特征提取单元由两组Conv+Relu单元组成，第一特征提取单元中Conv卷积核大小为1*1，第二特征提取单元中Conv卷积核大小为3*3，第三特征提取单元中Conv卷积核大小为5*5；且三个特征提取单元的卷积核的数量均为64个；
在每个提取单元中，第1组Conv+Relu单元提取的特征会被输入到所有特征提取单元的第2组Conv+Relu单元，使得不同特征提取单元的特征信息共享互通；
输入第2组Conv+Relu单元的特征信息的初始通道数为192，经过Concat操作后，该特征信息通道数调整为64；
所述多尺度特征融合模块还包括特征融合单元，且特征融合单元由一个Concat层、1个卷积核大小为1*1的Conv层构成、1个残差连接操作；
具体步骤为：获取由三种不同感受野的特征提取单元分别提取后的三种不同尺度的特征，将三种不同尺度的特征输入Concat层，进行不同尺度信息的特征融合，再经过一个1*1的Conv层，增强特征信息，最后利用残差连接操作，与初始特征信息求和，得到多尺度特征融合模块的输出特征信息。
2.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：步骤一中所述制作数据集与标签，具体步骤包括：
S1、从经典的DIV2K数据集中得到800张高分辨率图像用于训练网络，并选择公开的Set5、Set14、B100和Urban100数据集用于测试网络的性能；
S2、取上述数据集中的图像进行下采样操作，得到其指定缩小倍数的低分辨率图像；
S3、将低分辨率图像裁剪成48*48大小的LR图像块，将其作为模型输入，并且将LR图像块对应的HR图像裁剪为（48*scale）*（48*scale）大小，将其作为输入对应的标签；其中scale表示指定的放大倍数；
S4、对训练图像进行随机进行旋转90º、180º、270º和水平翻转中一项操作，增加训练集的图像数量，再重复S2、S3以得到充足的训练图像与对应标签。
3.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：步骤三中所述混合注意力机制，具体为：将通道注意力机制与空间注意力机制并联使用，并组合两个注意力机制中前期处理所得的特征信息权重，再进行Sigmoid操作，最终与初始信息求和，得到输出结果。
4.根据权利要求3所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：所述通道注意力机制与空间注意力机制并联使用，具体为：
通道注意力机制依次由一个全局池化层、一个Conv层、一个Relu激活层、一个Conv层串联组成，且上述Conv层均使用1*1的卷积核，其数量为64；
空间注意力机制依次由一个Conv层、一个Relu激活层、一个Conv层串联组成，且上述Conv层均使用3*3的卷积核，其数量为64。
5.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：步骤四中所述使用所述基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，具体步骤包括：
将48*48*3维度的低分辨率图像作为输入，经过基于特征融合与注意力机制的超分辨率网络的处理后其输出是一幅（48*scale）*（48*scale）*3维度的高分辨率图像；其中，scale表示指定的放大倍数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211528666.5A CN115546032B (zh) | 2022-12-01 | 2022-12-01 | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211528666.5A CN115546032B (zh) | 2022-12-01 | 2022-12-01 | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115546032A true CN115546032A (zh) | 2022-12-30 |
| CN115546032B CN115546032B (zh) | 2023-04-21 |
Family
ID=84722107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211528666.5A Active CN115546032B (zh) | 2022-12-01 | 2022-12-01 | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546032B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994857A (zh) * | 2023-01-09 | 2023-04-21 | 深圳大学 | 一种视频超分辨率方法、装置、设备及存储介质 |
| CN116596764A (zh) * | 2023-07-17 | 2023-08-15 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
| CN117132472A (zh) * | 2023-10-08 | 2023-11-28 | 兰州理工大学 | 基于前向-反向可分离自注意力的图像超分辨率重建方法 |
| CN117173025A (zh) * | 2023-11-01 | 2023-12-05 | 华侨大学 | 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
| CN111161150A (zh) * | 2019-12-30 | 2020-05-15 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN112862688A (zh) * | 2021-03-08 | 2021-05-28 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建模型及方法 |
| CN113298818A (zh) * | 2021-07-09 | 2021-08-24 | 大连大学 | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 |
| WO2021208726A1 (zh) * | 2020-11-23 | 2021-10-21 | 平安科技（深圳）有限公司 | 基于注意力机制的目标检测方法、装置及计算机设备 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
| CN114331830A (zh) * | 2021-11-04 | 2022-04-12 | 西安理工大学 | 一种基于多尺度残差注意力的超分辨率重建方法 |
| CN114581300A (zh) * | 2022-02-17 | 2022-06-03 | 华南理工大学 | 一种图像超分辨率重建方法及装置 |
| CN114841856A (zh) * | 2022-03-07 | 2022-08-02 | 中国矿业大学 | 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法 |
| CN115358932A (zh) * | 2022-10-24 | 2022-11-18 | 山东大学 | 一种多尺度特征融合的人脸超分辨率重构方法及系统 |
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
-
2022
- 2022-12-01 CN CN202211528666.5A patent/CN115546032B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
| CN111161150A (zh) * | 2019-12-30 | 2020-05-15 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| WO2021208726A1 (zh) * | 2020-11-23 | 2021-10-21 | 平安科技（深圳）有限公司 | 基于注意力机制的目标检测方法、装置及计算机设备 |
| CN112862688A (zh) * | 2021-03-08 | 2021-05-28 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建模型及方法 |
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
| CN113298818A (zh) * | 2021-07-09 | 2021-08-24 | 大连大学 | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
| CN114331830A (zh) * | 2021-11-04 | 2022-04-12 | 西安理工大学 | 一种基于多尺度残差注意力的超分辨率重建方法 |
| CN114581300A (zh) * | 2022-02-17 | 2022-06-03 | 华南理工大学 | 一种图像超分辨率重建方法及装置 |
| CN114841856A (zh) * | 2022-03-07 | 2022-08-02 | 中国矿业大学 | 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法 |
| CN115358932A (zh) * | 2022-10-24 | 2022-11-18 | 山东大学 | 一种多尺度特征融合的人脸超分辨率重构方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王孝天等: "基于多尺度融合的图像超分辨率重建" * |
| 陈锦伦: "基于多尺度特征融合的图像超分辨率重建研究" * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994857A (zh) * | 2023-01-09 | 2023-04-21 | 深圳大学 | 一种视频超分辨率方法、装置、设备及存储介质 |
| CN115994857B (zh) * | 2023-01-09 | 2023-10-13 | 深圳大学 | 一种视频超分辨率方法、装置、设备及存储介质 |
| CN116596764A (zh) * | 2023-07-17 | 2023-08-15 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
| CN116596764B (zh) * | 2023-07-17 | 2023-10-31 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
| CN117132472A (zh) * | 2023-10-08 | 2023-11-28 | 兰州理工大学 | 基于前向-反向可分离自注意力的图像超分辨率重建方法 |
| CN117132472B (zh) * | 2023-10-08 | 2024-05-31 | 兰州理工大学 | 基于前向-反向可分离自注意力的图像超分辨率重建方法 |
| CN117173025A (zh) * | 2023-11-01 | 2023-12-05 | 华侨大学 | 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统 |
| CN117173025B (zh) * | 2023-11-01 | 2024-03-01 | 华侨大学 | 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115546032B (zh) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115546032B (zh) | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 | |
| CN110659727B (zh) | 一种基于草图的图像生成方法 | |
| CN109685819B (zh) | 一种基于特征增强的三维医学图像分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN113362242B (zh) | 基于多特征融合网络的图像修复方法 | |
| Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| CN113361546A (zh) | 融合非对称卷积和注意力机制的遥感图像特征提取方法 | |
| CN114331911A (zh) | 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法 | |
| CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
| CN113222818A (zh) | 一种使用轻量化多通道聚合网络重建超分辨率图像的方法 | |
| CN112634438A (zh) | 基于对抗网络的单帧深度图像三维模型重建方法及装置 | |
| CN111986085A (zh) | 一种基于深度反馈注意力网络系统的图像超分辨率方法 | |
| Xu et al. | AutoSegNet: An automated neural network for image segmentation | |
| CN115546060A (zh) | 一种可逆的水下图像增强方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| Hua et al. | A pixel–channel hybrid attention model for image processing | |
| CN117291803B (zh) | Pamgan轻量化面部超分辨率重建方法 | |
| Niu et al. | GRAN: ghost residual attention network for single image super resolution | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN116977822A (zh) | 一种融合CNN与Transformer模型的图像识别网络 | |
| CN116524180A (zh) | 基于轻量级主干结构的戏曲舞台场景分割方法 | |
| CN116823647A (zh) | 基于快速傅里叶变换和选择性注意力机制的图像补全方法 | |
| CN116091319A (zh) | 基于长距离上下文依赖的图像超分辨率重建方法及系统 | |
| CN116188652A (zh) | 一种基于双尺度循环生成对抗的人脸灰度图像着色方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |