CN117011184A - 基于多尺度注意力特征融合的图像去模糊方法 - Google Patents
基于多尺度注意力特征融合的图像去模糊方法 Download PDFInfo
- Publication number
- CN117011184A CN117011184A CN202311024126.8A CN202311024126A CN117011184A CN 117011184 A CN117011184 A CN 117011184A CN 202311024126 A CN202311024126 A CN 202311024126A CN 117011184 A CN117011184 A CN 117011184A
- Authority
- CN
- China
- Prior art keywords
- attention
- feature
- image
- convolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 230000000694 effects Effects 0.000 claims abstract description 30
- 238000012512 characterization method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及基于多尺度注意力特征融合的图像去模糊方法，包括构建残差注意力模块(RAM)，利用坐标注意力抓取关键特征，提高对图像相对模糊区域的关注度，增加网络的表征能力；构建基于注意力残差的特征金字塔结构(RA‑FPN)，利用自下而上的金字塔结构增加特征图中的细节特征，并通过编码解码实现图像的去模糊；采用多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，增大网络的感受野，利用注意力模型抓取关键特征，提高模型对于图像细节的恢复能力，使得本发明解决了SRN网络利用残差块进行特征提取容易产生特征冗余导致的图像局部去模糊效果差的问题。
Description
技术领域
本发明属于图像处理技术领域，具体涉及基于多尺度注意力特征融合的图像去模糊方法。
背景技术
图像去模糊已经应用于各个领域，在医学影像、天文遥感等方面具有重要的作用，图像去模糊技术能够提高图像的清晰度，复原图像丢失的信息，对于特殊环境下的视觉任务具有重要的研究意义。
目前，国内外针对运动图像去模糊技术展开了广泛的研究。传统去模糊方法是通过估计图像的模糊核，对图像进行反卷积得到复原图像，Xu等人提出非自然L0范数对图像进行去模糊，取得了较好的效果；Shan等人利用分段函数采用交替迭代的方式估计模糊核；Liu等人提出采用图像梯度的L0范数估计模糊核，通过提升模糊核的精度来提高去模糊效果。这几种方法能够对图像有一定的去模糊效果，但对于噪声都是十分的敏感，而且图像复原效果不够理想。
随着学者对于深度学习的深入研究，已经将深度学习应用于图像的去模糊任务中，Nah等人提出了利用多尺度卷积网络对图像进行训练，采用端到端的方式去模糊；Kupyn等人提出了生成式对抗网络，利用基于VGG19的感知损失对网络进行优化，图像的复原效果较为理想，但是对抗网络只能输入固定尺寸的图像，训练时间较长，而且对于图像细节的恢复能力有限。
可见，上述方法中通过现有SRN网络利用残差块进行特征提取容易产生特征冗余导致的图像局部去模糊效果差的问题，由此，有待进一步进行改进。
发明内容
针对现有SRN网络利用残差块进行特征提取容易产生特征冗余导致的图像局部去模糊效果差的问题上述技术问题，本发明的目的是提出一种有利于提高图像细节纹理恢复能力的基于多尺度注意力特征融合的图像去模糊方法。
为了实现上述目的，本发明通过以下技术方案实现的：
基于多尺度注意力特征融合的图像去模糊方法，包括以下步骤：
S1、构建残差注意力模块(RAM)，利用坐标注意力抓取关键特征，提高对图像相对模糊区域的关注度，增加网络的表征能力；
S2、构建基于注意力残差的特征金字塔结构(RA-FPN)，利用自下而上的金字塔结构增加特征图中的细节特征，并通过编码解码实现图像的去模糊；
S3、构建多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，增大网络的感受野，利用注意力模型抓取关键特征，提高模型对于图像细节的恢复能力；
S4、在基于注意力残差的特征金字塔结构(RA-FPN)和多尺度高效通道注意力(MECA)特征融合结构的基础上，构建多尺度注意力特征融合模型(MAFF-SRN)，实现对图像的去模糊处理。
优选地，步骤S1中，所述残差注意力模块(RAM)通过残差结构减少卷积过程中特征丢失的同时，再利用坐标注意力(CA)模块关注特征图的通道、方向以及细节信息，提高对图像相对模糊区域的关注度，增加网络的表征能力，从而提高网络的去模糊效果。
其中，所述残差注意力模块(RAM)的构建过程如下：
S11、输入一个维度为H×W×C的特征Mc进行一次2D卷积；
S12、利用两个一维的全局平均池化分别将特征层沿高和宽两个方向聚合为两个独立的方向感知特征图；
S13、分别对两个特征图进行1×1卷积变换，并对两个变换结果进行Concat通道拼接；
S14、采用ReLU激活函数增加其非线性得到中间特征图f；
S15、将中间特征图f沿着空间维度切分为两个单独的张量fh和fw，并利用1×1卷积将其变换到与输入同样的通道数，再将其与原特征图相乘得到最终的注意力输出，接着进行一次2D卷积；
S16、将2D卷积的结果与原始输入作对应元素求和得到残差注意力模块(RAM)的输出。
优选地，步骤S2中，所述基于注意力残差的特征金字塔结构(RA-FPN)将浅层分辨率较高的细节特征与深层语义信息融合，从而减少了卷积过程中特征信息的丢失，加强了高层特征的表征能力，提升网络的性能和对图像细节的恢复能力。
其中，所述基于注意力残差的特征金字塔结构(RA-FPN)的构建过程如下：
S21、将输入图像进行一次卷积；
S22、对卷积后的结果进行三次残差注意力模块特征提取，将分辨率较高的浅层特征图做2倍下采样后与下一个卷积块的输出进行特征融合；
S23、重复两次步骤S21～S22的过程，能够得到自上而下的基于注意力残差的特征金字塔结构(RA-FPN)。
进一步地，S22中，进行特征融合前，利用1x1的卷积来调整通道数，使2倍下采样后的两个特征图的通道数保持一致，重复这个过程就能够得到具有丰富语义和细节的特征层，从而提升网络的特征特征提取能力。
再进一步地，所述利用1x1的卷积来调整通道数，具体包括：设置步长为2，直接对浅层特征图同时进行长、宽以及通道数的调整，然后通过对应元素求和(Add)的方式进行特征的融合。
优选地，步骤S3中，所述多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，在增大网络的感受野的同时，利用注意力机制提高网络特征提取能力，进而提升模型的去模糊效果，其构建过程如下：
S31、将网络的输入转换为256×256,512×512,1024×1024三个尺寸的输入Input1、Input2、Input3；
S32、对输入Input1进行编码和解码卷积过程实现图像的初步复原；
S33、引入高效通道注意力(ECA)模块，将图像初步复原的结果进行全局平均池化得到一个表示通道的1维向量；
S34、利用自适应函数计算卷积核的大小，卷积核计算公式如下：
其中，k为卷积核的大小，b为1，γ为2，C为通道数；
S35、通过1D卷积计算各个通道的权重，卷积核的大小为自适应函数计算出的卷积核k，再将得到的权重与原始输入的特征图逐通道相乘；
S36、采用上采样将高效通道注意力的输出转换为与输入Input2维度相同的特征图，通过对应元素求和的方式将注意力输出和输入Input2进行特征融合；
S37、对输入Input2和Input3重复上述S31～S36的过程就能够得到多尺度高效通道注意力特征融合结构。
与现有技术相比，本发明的有益效果为：
本发明基于所提出的残差注意力模块(RAM)，利用坐标注意力(CA)模块关注图像中重要通道和位置信息，提升了网络对于图像相对模糊区域的关注度，提高了对图像的整体去模糊效果；其次，通过构建基于残差注意力的特征金字塔结构(RA-FPN)，实现了在深层语义信息较多的特征图中融入浅层特征，使特征图既包含位置、细节特征信息，也富含语义特征信息，解决了由于卷积导致的关键特征丢失的问题；通过构建多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，增大了网络的感受野的同时，利用注意力模型抓取关键特征，提高了模型的去模糊效果。
总之，通过采用本发明的技术方案，解决了SRN网络利用残差块进行特征提取容易产生特征冗余导致的图像局部去模糊效果差的问题，通过在GOPRO数据集上进行测试，PSNR和SSIM分别能达到34.84dB和0.98，与现有其他方法对比在细节纹理恢复能力上具有很大的优势。
附图说明
图1为实施例中的本发明的总体网络结构图。
图2为实施例中的残差结构图。
图3为实施例中的坐标注意力(CA)模块的结构图。
图4为实施例中的残差注意力模块(RAM)的结构图。
图5为实施例中的高效通道注意力(ECA)模块，的结构图。
图6为实施例中的多尺度高效通道注意力(MECA)特征融合结构的结构图。
图7为实施例中的基于注意力残差的特征金字塔结构(RA-FPN)的结构图。
图8为实施例中本发明与现有技术中其它方法在场景一中的应用效果对比图。
图9为实施例中本发明与现有技术中其它方法在场景二中的应用效果对比图。
具体实施方式
下面将结合本实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。
实施例
如图1所示，本实施例提出的基于多尺度注意力特征融合的图像去模糊方法，包括以下步骤：
S1、构建残差注意力模块(RAM)，利用坐标注意力抓取关键特征，提高对图像相对模糊区域的关注度，增加网络的表征能力；
S2、构建基于注意力残差的特征金字塔结构(RA-FPN)，利用自下而上的金字塔结构增加特征图中的细节特征，并通过编码解码实现图像的去模糊；
S3、构建多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，增大网络的感受野，利用注意力模型抓取关键特征，提高模型对于图像细节的恢复能力；
S4、在基于注意力残差的特征金字塔结构(RA-FPN)和多尺度高效通道注意力(MECA)特征融合结构的基础上，构建多尺度注意力特征融合模型(MAFF-SRN)，实现对图像的去模糊处理。
具体地，步骤S1中，所述残差注意力模块(RAM)通过残差结构减少卷积过程中特征丢失的同时，再利用坐标注意力(CA)模块关注特征图的通道、方向以及细节信息，提高对图像相对模糊区域的关注度，增加网络的表征能力，从而提高网络的去模糊效果，所述残差结构如图2所示，所述坐标注意力(CA)模块如图3所示。
其中，如图4所示，所述残差注意力模块(RAM)的构建过程如下：
S11、输入一个维度为H×W×C的特征Mc进行一次2D卷积；
S12、利用两个一维的全局平均池化分别将特征层沿高和宽两个方向聚合为两个独立的方向感知特征图；
S13、分别对两个特征图进行1×1卷积变换，并对两个变换结果进行Concat通道拼接；
S14、采用ReLU激活函数增加其非线性得到中间特征图f；
S15、将中间特征图f沿着空间维度切分为两个单独的张量fh和fw，并利用1×1卷积将其变换到与输入同样的通道数，再将其与原特征图相乘得到最终的注意力输出，接着进行一次2D卷积；
S16、将2D卷积的结果与原始输入作对应元素求和得到残差注意力模块(RAM)的输出。
具体地，步骤S2中，所述基于注意力残差的特征金字塔结构(RA-FPN)将浅层分辨率较高的细节特征与深层语义信息融合，从而减少了卷积过程中特征信息的丢失，加强了高层特征的表征能力，提升网络的性能和对图像细节的恢复能力。
其中，如图7所示，所述基于注意力残差的特征金字塔结构(RA-FPN)的构建过程如下：
S21、将输入图像进行一次卷积；
S22、对卷积后的结果进行三次残差注意力模块特征提取，将分辨率较高的浅层特征图做2倍下采样后与下一个卷积块的输出进行特征融合；
S23、重复两次步骤S21～S22的过程，能够得到自上而下的基于注意力残差的特征金字塔结构(RA-FPN)。
进一步地，S22中，进行特征融合前，利用1x1的卷积来调整通道数，使2倍下采样后的两个特征图的通道数保持一致，重复这个过程就能够得到具有丰富语义和细节的特征层，从而提升网络的特征特征提取能力。
再进一步地，所述利用1x1的卷积来调整通道数，具体包括：设置步长为2，直接对浅层特征图同时进行长、宽以及通道数的调整，然后通过对应元素求和(Add)的方式进行特征的融合。
具体地，如图6所示，步骤S3中，所述多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，在增大网络的感受野的同时，利用注意力机制提高网络特征提取能力，进而提升模型的去模糊效果，其构建过程如下：
S31、将网络的输入转换为256×256,512×512,1024×1024三个尺寸的输入Input1、Input2、Input3；
S32、对输入Input1进行编码和解码卷积过程实现图像的初步复原；
S33、引入高效通道注意力(ECA)模块(如图5所示)，将图像初步复原的结果进行全局平均池化得到一个表示通道的1维向量；
S34、利用自适应函数计算卷积核的大小，卷积核计算公式如下：
其中，k为卷积核的大小，b为1，γ为2，C为通道数；
S35、通过1D卷积计算各个通道的权重，卷积核的大小为自适应函数计算出的卷积核k，再将得到的权重与原始输入的特征图逐通道相乘；
S36、采用上采样将高效通道注意力的输出转换为与输入Input2维度相同的特征图，通过对应元素求和的方式将注意力输出和输入Input2进行特征融合；
S37、对输入Input2和Input3重复上述S31～S36的过程就能够得到多尺度高效通道注意力特征融合结构。
与现有技术相比，本发明的有益效果为：
本发明基于所提出的残差注意力模块(RAM)，利用坐标注意力模块(Coordinateattention)关注图像中重要通道和位置信息，提升了网络对于图像相对模糊区域的关注度，提高了对图像的整体去模糊效果；其次，通过构建基于残差注意力的特征金字塔结构(RA-FPN)，实现了在深层语义信息较多的特征图中融入浅层特征，使特征图既包含位置、细节特征信息，也富含语义特征信息，解决了由于卷积导致的关键特征丢失的问题；通过构建多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，增大了网络的感受野的同时，利用注意力模型抓取关键特征，提高了模型的去模糊效果。
总之，通过采用本发明的技术方案，解决了SRN网络利用残差块进行特征提取容易产生特征冗余导致的图像局部去模糊效果差的问题，通过在GOPRO数据集上进行测试，PSNR和SSIM分别能达到34.84dB和0.98，与其他方法对比在细节纹理恢复能力上具有很大的优势。
为了验证上述技术方案，本实施例通过以下方式进行以下实验：
实验环境和数据集：
使用2017年Nah等人提供的GoPro公共数据集，分别利用2103张清晰和模糊的街景图像进行实验。计算机的GPU配置是RTX2080Ti，显存是11GB。采用Adam优化器来优化损失函数，动量参数分别为0.9，0.999，学习率为0.000001。
评价指标：
为了验证本实施例提出的网络模型的去模糊效果，选取其他几种经典去模糊算法进行对比，利用峰值信噪比(PSNR)和结构相似性(SSIM)作为去模糊效果的评价标准。
给定1张大小为m×n的清晰图像I和去模糊后的图像K，均方误差(MSE)如下式所示：
峰值信噪比(PSNR)如下式所示：
结构相似性(SSIM)是一种衡量两幅图像相似度的指标，结构如下式所示：
其中，μx是x的平均值，μy是y的平均值，是x的方差，/>是y的方差，σxy是x和y的协方差，c1＝(k1L)2,c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01,k2＝0.03。
实验结果和分析：
在GOPRO街景数据集上，利用现有的8种经典算法与本实施例进行比较，表1为不同去模糊算法的测试结果。
表1GOPRO数据集去模糊算法评价结果
| 算法 | PSNR(dB) | SSIM |
| Pan等 | 23.50 | 0.84 |
| Sun | 24.64 | 0.84 |
| Deblur GAN | 26.12 | 0.89 |
| Deblur GAN_v2 | 27.34 | 0.87 |
| SRN | 32.35 | 0.96 |
| BANet | 33.68 | 0.97 |
| MIMO_UNet | 33.96 | 0.97 |
| MPRnet | 34.42 | 0.97 |
| 本实施例 | 34.84 | 0.98 |
将基于特征融合SRN的图像去模糊方法与其他先进算法在GOPRO街景数据集上的结果进行对比，表1为几种算法PSNR、SSIM和时间对比结果，其中SRN、BANet、MIMO_UNet_main、MPRnet三种算法为近几年图像去模糊领域的先进算法。从表1中可以看到，本实施例提出的去模糊方法能够在PSNR和SSIM方面都达到了良好的结果。相较于原始SRN算法，PSNR提高了2.49dB，SSIM提高了0.02。
图8、图9是Deblur GAN_V2、SRN、BANet、MIMO_UNet、MPRnet算法和本实施例的去模糊效果的对比图。从图8、图9中可以明显的看出Deblur GAN_V2算法的去模糊效果最差，车牌和车灯以及布料上的图像都比较模糊。MIMO_UNet、BANet、SRN和MPRnet四种算法对于图像复原的效果相较于Deblur GAN_V2的效果好。而本实施例的去模糊效果相较于其他方法更佳，并且基本不存在原SRN算法出现的失真现象。总之，MIMO_UNet、BANet、SRN和MPRnet四种算法虽然也能够在图像的纹理和细节恢复上有一定的效果，但是仍有一些不足。本申请提出的方法去模糊最佳，并且对于图像的细节纹理方面的恢复更加的清晰和真实。
消融实验
为了证明本实施例中各个模块的有效性，本文使用GOPRPO数据集在相同的实验环境下进行消融实验。实验结果如表2所示：
表2消融实验结果
| ARM | FPN | CA | PSNR | SSIM |
| 32.35 | 0.96 | |||
| √ | 33.52 | 0.97 | ||
| √ | 33.72 | 0.97 | ||
| √ | 33.64 | 0.97 | ||
| √ | √ | √ | 34.84 | 0.98 |
从表2可以看出，加入注意卷积模块(ARM)、特征金字塔模块(FPN)和多尺度坐标注意力模块(CA)后的PSNR分别为33.52、33.72和33.64，SSIM为0.97、0.97、0.97。与原来的SRN网络相比，PSNR和SSIM都有一定的提升。融合三种结构后，PSNR和SSIM分别为34.84和0.98，可以达到较好的效果。
以上已经描述了本发明的实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的实施例。在不偏离所说明实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。
Claims (8)
1.基于多尺度注意力特征融合的图像去模糊方法，其特征在于，包括以下步骤：
S1、构建残差注意力模块(RAM)，利用坐标注意力抓取关键特征，提高对图像相对模糊区域的关注度，增加网络的表征能力；
S2、构建基于注意力残差的特征金字塔结构(RA-FPN)，利用自下而上的金字塔结构增加特征图中的细节特征，并通过编码解码实现图像的去模糊；
S3、构建多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，增大网络的感受野，利用注意力模型抓取关键特征，提高模型对于图像细节的恢复能力；
S4、在基于注意力残差的特征金字塔结构(RA-FPN)和多尺度高效通道注意力(MECA)特征融合结构的基础上，构建多尺度注意力特征融合模型(MAFF-SRN)，实现对图像的去模糊处理。
2.根据权利要求1所述的图像去模糊方法，其特征在于，步骤S1中，所述残差注意力模块(RAM)通过残差结构减少卷积过程中特征丢失的同时，再利用坐标注意力(CA)模块关注特征图的通道、方向以及细节信息，提高对图像相对模糊区域的关注度，增加网络的表征能力，从而提高网络的去模糊效果。
3.根据权利要求2所述的图像去模糊方法，其特征在于，所述残差注意力模块(RAM)的构建过程如下：
S11、输入一个维度为H×W×C的特征Mc进行一次2D卷积；
S12、利用两个一维的全局平均池化分别将特征层沿高和宽两个方向聚合为两个独立的方向感知特征图；
S13、分别对两个特征图进行1×1卷积变换，并对两个变换结果进行Concat通道拼接；
S14、采用ReLU激活函数增加其非线性得到中间特征图f；
S15、将中间特征图f沿着空间维度切分为两个单独的张量fh和fw，并利用1×1卷积将其变换到与输入同样的通道数，再将其与原特征图相乘得到最终的注意力输出，接着进行一次2D卷积；
S16、将2D卷积的结果与原始输入作对应元素求和得到残差注意力模块(RAM)的输出。
4.根据权利要求1所述的图像去模糊方法，其特征在于，步骤S2中，所述基于注意力残差的特征金字塔结构(RA-FPN)将浅层分辨率较高的细节特征与深层语义信息融合，从而减少了卷积过程中特征信息的丢失，加强了高层特征的表征能力，提升网络的性能和对图像细节的恢复能力。
5.根据权利要求4所述的图像去模糊方法，其特征在于，所述基于注意力残差的特征金字塔结构(RA-FPN)的构建过程如下：
S21、将输入图像进行一次卷积；
S22、对卷积后的结果进行三次残差注意力模块特征提取，将分辨率较高的浅层特征图做2倍下采样后与下一个卷积块的输出进行特征融合；
S23、重复两次步骤S21～S22的过程，能够得到自上而下的基于注意力残差的特征金字塔结构(RA-FPN)。
6.根据权利要求5所述的图像去模糊方法，其特征在于，S22中，进行特征融合前，利用1x1的卷积来调整通道数，使2倍下采样后的两个特征图的通道数保持一致，重复这个过程就能够得到具有丰富语义和细节的特征层，从而提升网络的特征特征提取能力。
7.根据权利要求6所述的图像去模糊方法，其特征在于，所述利用1x1的卷积来调整通道数，具体包括：设置步长为2，直接对浅层特征图同时进行长、宽以及通道数的调整，然后通过对应元素求和(Add)的方式进行特征的融合。
8.根据权利要求1所述的图像去模糊方法，其特征在于，步骤S3中，所述多尺度高效通道注意力(MECA)特征融合结构，引入高效通道注意力(ECA)模块，在增大网络的感受野的同时，利用注意力机制提高网络特征提取能力，进而提升模型的去模糊效果，其构建过程如下：
S31、将网络的输入转换为256×256,512×512,1024×1024三个尺寸的输入Input1、Input2、Input3；
S32、对输入Input1进行编码和解码卷积过程实现图像的初步复原。
S33、引入高效通道注意力(ECA)模块，将图像初步复原的结果进行全局平均池化得到一个表示通道的1维向量；
S34、利用自适应函数计算卷积核的大小，卷积核计算公式如下：
其中，k为卷积核的大小，b为1，γ为2，C为通道数；
S35、通过1D卷积计算各个通道的权重，卷积核的大小为自适应函数计算出的卷积核k，再将得到的权重与原始输入的特征图逐通道相乘；
S36、采用上采样将高效通道注意力的输出转换为与输入Input2维度相同的特征图，通过对应元素求和的方式将注意力输出和输入Input2进行特征融合；
S37、对输入Input2和Input3重复上述S31～S36的过程就能够得到多尺度高效通道注意力特征融合结构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024126.8A CN117011184A (zh) | 2023-08-14 | 2023-08-14 | 基于多尺度注意力特征融合的图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024126.8A CN117011184A (zh) | 2023-08-14 | 2023-08-14 | 基于多尺度注意力特征融合的图像去模糊方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117011184A true CN117011184A (zh) | 2023-11-07 |
Family
ID=88572556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311024126.8A Pending CN117011184A (zh) | 2023-08-14 | 2023-08-14 | 基于多尺度注意力特征融合的图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011184A (zh) |
-
2023
- 2023-08-14 CN CN202311024126.8A patent/CN117011184A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| KR101291869B1 (ko) | 공간 및 시간 처리를 이용하는 비디오 시퀀스에서의 노이즈 및/또는 플리커 감소 | |
| CN111915484A (zh) | 基于密集匹配与自适应融合的参考图引导超分辨率方法 | |
| CN107274347A (zh) | 一种基于深度残差网络的视频超分辨率重建方法 | |
| CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN111369466B (zh) | 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN111008938B (zh) | 一种基于内容和连续性引导的实时多帧比特增强方法 | |
| CN112102163B (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
| CN111612695B (zh) | 一种低分辨率人脸图像超分辨重建方法 | |
| CN112381866B (zh) | 一种基于注意力机制的视频比特增强方法 | |
| CN106600533B (zh) | 单图像超分辨率重建方法 | |
| CN113066022B (zh) | 一种基于高效时空信息融合的视频比特增强方法 | |
| Choi et al. | Wavelet attention embedding networks for video super-resolution | |
| CN111626927A (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
| Park et al. | Spatially adaptive high-resolution image reconstruction of DCT-based compressed images | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
| CN114202463A (zh) | 面向云端融合的视频超分辨率方法及系统 | |
| Ling et al. | PRNet: Pyramid Restoration Network for RAW Image Super-Resolution | |
| CN112070669A (zh) | 一种针对任意模糊核的超分辨率图像重建方法 | |
| Choi et al. | Group-based bi-directional recurrent wavelet neural network for efficient video super-resolution (VSR) | |
| CN108921785B (zh) | 基于小波包的超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |