CN111311518B - 基于多尺度混合注意力残差网络的图像去噪方法及装置 - Google Patents
基于多尺度混合注意力残差网络的图像去噪方法及装置 Download PDFInfo
- Publication number
- CN111311518B CN111311518B CN202010144583.0A CN202010144583A CN111311518B CN 111311518 B CN111311518 B CN 111311518B CN 202010144583 A CN202010144583 A CN 202010144583A CN 111311518 B CN111311518 B CN 111311518B
- Authority
- CN
- China
- Prior art keywords
- network
- scale
- image
- attention
- mixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于多尺度混合注意力残差网络的图像去噪方法及装置，其中建立基于多尺度混合注意力残差(MR‑MA)网络结构，通过上半部分的多尺度残差网络模块分支中三种不同像素尺寸大小的卷积核提取多尺度的底层特征信息，并通过下半部分混合注意力网络分支获得图像非局部混合注意力信息；使用乘法连接将两个分支提取的特征进行融合并加入全局跳跃连接，并在网络堆叠多尺度残差模块以捕获特征间的不同尺度相关性；利用训练集及各层次特征,预训练出深度多尺度混合注意力残差神经网络,利用网络多尺度的低级别和高级别的特征从分层特征中学习混合的局部和全局注意力信息；利用训练好的网络对输入的噪声图像进行去噪。利用本发明可实现高质量的图像去噪效果。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，特别是一种基于多尺度混合注意力残差网络的图像去噪方法及装置。
背景技术
在图像处理及传输过程中，外界影响将不可避免地产生噪声从而使得图像降质，影响后续图像处理的效果，因此，在后续的图像处理操作之前进行去噪处理以提高图像质量是非常必要的，所以，图像去噪一直都是数字图像处理和计算机视觉领域的研究热点。
传统的图像去噪算法，如低通滤波，中/均值滤波等在滤除噪声的同时，也会平滑图像的高频信息，无法保留细节特征，由于近年来深度学习在图像识别等领域取得较好的成果，基于深度学习的图像去噪方法也被提出并得到了发展，如卷积神经网络模型，栈式去噪自编码器等方法，证明了深度学习网络用于图像去噪任务的强大能力。
但是目前的方法主要存在三个问题。首先，这些网络的感受野大小相对单一。它们中的大多数只使用一种尺度的卷积核使用局部方式提取底层特征，这无法捕获图像中不同大小区域的区别性细节。同时大尺寸的卷积核有较大的感受野，可允许更好地利用训练输入和更多上下文信息。这对于捕获高质量图像的潜在退化模型非常有帮助，尤其是当图像遭受严重损坏时。其次，这些网络的辨别能力也是有限的。大多数先前的去噪方法忽略了在噪声输入中内容的区别处理。这将导致局部区域和全局区域的输出过度平滑，并且一些纹理细节也将无法恢复。第三，图像所有通道在这些网络中做相同处理，没有增加注意力机制对显著区域作对应增强。这种处理方式在处理不同类型的信息(例如，低频和高频信息)方面缺乏灵活性。应考虑通道之间的相互依赖性和区域间的混合注意力，以便更准确地恢复图像。
发明内容
本发明的主要目的在于克服上述技术存在的去噪结果质量较低的问题，提供一种基于多尺度混合注意力残差网络的图像去噪方法及装置。为实现上述目的，本发明采用以下技术方案：
一种图像去噪方法，包括如下步骤：
第一步：建立基于多尺度混合注意力残差(MR-MA)网络结构，包括多尺度残差网络模块(MRB)分支和混合注意力网络(MAN)分支，网络通过上半部分的多尺度残差网络模块分支中三种不同像素尺寸大小的卷积核提取多尺度的底层特征信息，并通过下半部分混合注意力网络分支以获得图像非局部混合注意力信息；使用乘法连接将两个分支提取的特征进行融合并加入全局跳跃连接增加信息流动，并在网络最后堆叠多尺度残差模块以捕获特征间的不同尺度相关性；
第二步：根据多尺度残差网络模块能够提取全局分层特征以及混合注意力机制能够自适应地重新缩放图像的分层特征，利用训练集及各层次特征,预训练出深度多尺度混合注意力残差神经网络,利用网络多尺度的低级别和高级别的特征从分层特征中学习混合的局部和全局注意力信息；
第三步：利用训练好的网络对输入的噪声图像进行去噪,得到输出的高清图像。
所述第一步具体包括：上半分支的多尺度残差网络模块(MRB)中使用三种不同尺寸大小的卷积核构成的卷积层Conv3、Conv5和Conv7进行不同尺寸的底层特征的提取，并通过ReLU激活层和Conv3卷积调整尺寸和通道大小。
所述第一步具体包括：下半分支的混合注意力网络(MAN)包含混合注意力模块(MAB)，从而提取全局和非全局的注意力特征，在此之后连接m个残差模块(RB)，之后进行下采样以实现全局特征提取，之后连接2m个RB并进行上采样恢复，并通过m个RB将局部和全局的注意力特征进行融合，最终通过Sigmoid层激活。
在所述第一步中，构建上下两个分支之后，通过乘法连接将多尺度的残差特征和混合注意力特征进行融合，并加入全局跳跃连接以尽可能保留原始信息，再加入q个MRB对最终得到的特征图进行多尺度残差融合，以构建完整的网络框架。
在所述第二步中，将来自不同深度的多尺度残差网络模块分支的特征映射用作分层特征,通过混合注意力网络分支，将图像通道和空间注意力自适应地重新缩放分层特征。
所述第三步具体包括：对于每一个原始含噪声图像，直接将其输入到训练好的多尺度混合注意力残差网络中，利用训练好的网络提取多层次注意力特征,在网络最终端得到重构后的清晰图像。
一种图像去噪装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，所述可执行程序被所述处理器执行时，实现所述的图像去噪方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，所述可执行程序被处理器执行时，实现所述的图像去噪方法。
本发明与现有技术对比的有益效果包括：
本发明提出了一种基于多尺度混合注意力残差网络的图像去噪方法，利用该方法可实现高质量的图像去噪效果。本发明第一次在图像去噪方法中考虑使用多尺度残差网络和混合注意力机制相结合的方式，在网络上半分支中通过多尺度卷积层捕捉多区域底层特征，下半分支通过堆叠局部和全局的混合注意力模块来构建网络，其次提取局部和非局部注意力感知特征。多尺度残差模块用于提取全局分层特征。混合注意力机制以自适应地重新缩放图像的分层特征。同时，本发明提出的多尺度混合注意力残差学习方法，通过保留更多低级特征和显著特征来训练深层网络，更适合于图像去噪。利用网络的多尺度的低级别和高级别的注意力特征，有更好的网络表示能力，并最终获得高质量的图像去噪结果。此外，该模型方法在中等模型尺寸下实现了卓越的性能，并且执行速度非常快。
附图说明
图1是本发明实施例基于多尺度混合注意力残差网络的图像去噪方法的流程简图。
图2是本发明实施例基于多尺度混合注意力残差的网络结构示意图。
图3是本发明实施例基于多尺度混合注意力残差网络的图像去噪方法的重构过程图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
本发明实施例提出的基于多尺度混合注意力残差网络的图像去噪方法的流程简图如图1所示。
在一种实施例中，一种基于多尺度混合注意力残差(MR-MA)网络的图像去噪方法，包括如下步骤：
步骤A1：建立基于多尺度混合注意力残差(MultiscaleResidual-MixedAttention，MR-MA)网络结构，由多尺度残差网络模块(MultiscaleResidualBlock，MRB)分支和混合注意力网络(MixedAttentionNetwork，MAN)分支组成。网络通过上半部分的多尺度残差分支中三种不同像素尺寸大小的卷积核提取多尺度的底层特征信息，并通过下半部分混合注意力网络分支以获得图像非局部混合注意力信息；使用乘法连接将上述两个分支提取的特征进行融合并加入全局跳跃连接增加信息流动，并在网络最后堆叠多尺度残差模块以捕获特征间的不同尺度相关性；
步骤A2：根据多尺度残差模块可以提取全局分层特征以及混合注意力机制可以自适应地重新缩放图像的分层特征，利用训练集及各层次特征，预训练出深度多尺度混合注意力残差神经网络，利用网络多尺度的低级别和高级别的特征从分层特征中学习混合的局部和全局注意力信息；
步骤A3：利用训练好的网络对输入的噪声图像进行去噪，得到输出的高清图像。
步骤A1具体包括：建立基于多尺度混合注意力残差网络结构，如图2中所示，网络主体由上半分支的多尺度残差模块(MRB)和下半分支的混合注意力网络(MAN)来构造的。上半分支的MRB中使用三种不同尺寸大小的卷积核构成的卷积层Conv3、Conv5和Conv7进行不同尺寸的底层特征的提取，并通过ReLU激活层和Conv3卷积调整尺寸和通道大小，该模块可以从原始噪声图像中得到更多细节信息，同时每层的短路连接可保证信息完整性。下半分支的MAN包含混合注意力模块(MAB)，从而提取全局和非全局的注意力特征，在此之后连接m个残差模块(Residualblock，RB)，之后进行下采样以实现全局特征提取，之后连接2m个RB并进行上采样恢复，并在最后通过m个RB将局部和全局的注意力特征进行融合，最终通过Sigmoid层激活。
在步骤A1构建上下两个分支之后，通过乘法连接将多尺度的残差特征和混合注意力特征进行融合，并加入全局跳跃连接尽可能保留原始信息，如图2中所示，在最后加入q个MRB对最终得到的特征图进行多尺度残差融合，以构建完整的网络框架。
步骤A2具体包括：将来自不同深度的多尺度残差网络分支的特征映射用作分层特征，通过混合注意力网络分支，可以将图像通道和空间注意力自适应地重新缩放分层特征。残差学习倾向于保留更多低级特征，并允许训练非常深的残差神经网络，得到最终的网络模型。
步骤A3具体包括：对于每一个原始含噪声图像，直接将其输入到训练好的MR-MA深度网络中，该网络的组成和重构过程如图3所示。利用训练好的网络提取多层次注意力特征，在网络最终端得到重构后的清晰图像。
在一些实施例中，一种基于多尺度混合注意力残差网的图像去噪方法，其网络结构组成部分中，上半分支的多尺度残差网络是通过堆叠t个如图2中所示的多尺度残差模块(MRB)来构造的。下半分支的混合注意力网络(MAN)是由混合注意力模块(MAB)、m个残差模块(RB)以及下采样和上采样操作构造，从而引入全局特征。之后将上下两个分支提取的特征进行乘法连接并引入全局跳跃连接保留原始信息，之后堆叠q个多尺度残差模块(MRB)进行特征融合。
下面再做进一步详细描述。
多尺度残差模块分支(MRB)：如图2所示(蓝色虚线标记处)，该分支包括t个堆叠的多尺度残差模块(图2黄色虚线标记处)。其由三个并行的卷积核大小分别为3、5、7的Conv3，、Conv5和Conv7的卷积层和ReLU函数及基本卷积层组成，省略了不必要的组件，例如池化层和批量标准化层，可提取不同区域大小的底层细节特征。同时来自不同深度的多尺度残差分支的特征映射用作分层特征。并通过混合注意力网络分支(MAN)，将图像通道和空间注意力自适应地缩放作为分层特征。提供不同位置的注意力特征。故多尺度残差模块的处理结果为HMRB(x)：
HMRB(x)＝(Conv3(x)+Conv5(x)+Conv7(x))FReLUFConv3+x
其中Conv3，Conv5，Conv7分别表示不同尺度的卷积层函数，FReLU表示ReLU激活函数，FConv3表示基本卷积函数，x为原始输入。
混合注意力网络分支(MAN)：如图2中用绿色虚线标记处，网络中使用的混合注意力分支包括混合注意力模块(MAB)和多个堆叠的残差模块(RB，如图2的紫色虚线标记处)。非局部特征可以通过使用混合注意力模块变成多区域分层特征。RB仅由两个卷积层和一个ReLU函数组成，可将来自不同深度的主干分支的特征映射用作分层特征。混合注意力分支的关键是掌握更大范围的信息，即更大的感受野大小，从而获得更复杂的注意力图。这里选择使用大步幅卷积和反卷积来扩大感受野。
混合注意力模块(MAB)：从输入开始，使用DownSample下采样操作的大步幅卷积层增加了m个RB之后的感受野大小。在额外的2mRB之后，缩小的特征图由UpSample上采样操作进行扩展。扩展的特征通过m个RB和一个基本卷积层进一步转化。然后Sigmoid函数层规范化输出值，范围为[0，1]。使用混合注意力模块(MAB)可以获得非局部混合注意力特征，从而进行多层次的特征融合。
网络训练部分：具有多尺度残差模块的上半分支可以提取不同区域大小的底层细节信息，具有混合注意力网络的下半分支可以产生非局部的混合注意力特征。然而，来自双分支的特征之间的简单乘法不足以形成非常深的可训练网络。因此本专利提出残差的混合注意力学习策略来解决这些问题，在分支的乘法连接后加入全局跳跃连接增加网络信息流动，通过直接引入输入特征x，提出了一种简单但更合适的残差注意力学习方法。并在网络最后堆叠q个MRB以捕获上下分支特征间的多尺度相关性。计算其输出结果HMR-MA为：
HMR-MA(x)＝FMRB(HMRB(x)HMAN(x)+x)
HMRB(x)和HMAN(x)分别表示多尺度残差和混合注意力分支的处理结果，FMRB表示网络最后的多尺度融合函数。这种残差学习倾向于保留更多低级特征，最终的网络模型如图3所示，Conv3表示卷积层，MR-MA表示多尺度混合注意力残差模块，RB表示残差模块，最后使用损失函数训练网络，为了显示本发明方法的有效性，选择与先前去噪工作相同的损失函数L(Θ)：
其中，IL和IH表示为低质量和高质量图像，HMR-MA表示本发明提出的基于多尺度混合注意力残差网络的的图像去噪函数，|| ||2表示2-范数，给定训练集，其中包含N对低质量输入及其高质量去噪图像。可基于此损失函数对本专利申请的多尺度混合注意力残差网络进行训练，实施过程中可设置q,t,m＝2,2,1，梯度优化使用自适应学习率的Adam算法(使用标准参数：β1＝0.9,β2＝0.999,ε＝10-8)，训练可得到最优网络参数。
图像去噪实现：将待去噪的测试集图像输入到训练好的基于多尺度混合注意力残差特征的神经网络模型，即可得到高质量的去噪图像输出。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。
Claims (7)
1.一种图像去噪方法，其特征在于，包括如下步骤：
第一步：建立基于多尺度混合注意力残差(MR-MA)网络结构，包括多尺度残差网络模块(MRB)分支和混合注意力网络(MAN)分支，网络通过上半部分的多尺度残差网络模块分支中三种不同像素尺寸大小的卷积核提取多尺度的底层特征信息，并通过下半部分混合注意力网络分支以获得图像非局部混合注意力信息；使用乘法连接将两个分支提取的特征进行融合并加入全局跳跃连接，并在网络最后堆叠多尺度残差网络模块以捕获特征间的不同尺度相关性；在所述第一步中，构建上下两个分支之后，通过乘法连接将多尺度的残差特征和混合注意力特征进行融合，并加入全局跳跃连接以保留原始信息，再加入q个MRB对最终得到的特征图进行多尺度残差融合，以构建完整的网络框架；
第二步：根据多尺度残差网络模块能够提取全局分层特征以及混合注意力机制能够自适应地重新缩放图像的分层特征，利用训练集及各层次特征,预训练出深度多尺度混合注意力残差神经网络,利用网络多尺度的低级别和高级别的特征从分层特征中学习混合的局部和全局注意力信息；
第三步：利用训练好的网络对输入的噪声图像进行去噪,得到输出的高清图像。
2.如权利要求1所述的图像去噪方法，其特征在于：所述第一步具体包括：上半分支的多尺度残差网络模块(MRB)中使用三种不同尺寸大小的卷积核构成的卷积层Conv3、Conv5和Conv7进行不同尺寸的底层特征的提取，并通过ReLU激活层和Conv3卷积调整尺寸和通道大小。
3.如权利要求1或2所述的图像去噪方法，其特征在于：所述第一步具体包括：下半分支的混合注意力网络(MAN)包含混合注意力模块(MAB)，从而提取全局和非全局的注意力特征，在此之后连接m个残差模块(RB)，之后进行下采样以实现全局特征提取，之后连接2m个RB并进行上采样恢复，并通过m个RB将局部和全局的注意力特征进行融合，最终通过Sigmoid层激活。
4.如权利要求1至2任一项所述的图像去噪方法，其特征在于：在所述第二步中，将来自不同深度的多尺度残差网络模块分支的特征映射用作分层特征,通过混合注意力网络分支，将图像通道和空间注意力自适应地重新缩放分层特征。
5.如权利要求1至2任一项所述的图像去噪方法，其特征在于：所述第三步具体包括：对于每一个原始含噪声图像，直接将其输入到训练好的多尺度混合注意力残差网络中，利用训练好的网络提取多层次注意力特征,在网络最终端得到重构后的清晰图像。
6.一种图像去噪装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被所述处理器执行时，实现如权利要求1至5任一项所述的图像去噪方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被处理器执行时，实现如权利要求1至5任一项所述的图像去噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010144583.0A CN111311518B (zh) | 2020-03-04 | 2020-03-04 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010144583.0A CN111311518B (zh) | 2020-03-04 | 2020-03-04 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311518A CN111311518A (zh) | 2020-06-19 |
| CN111311518B true CN111311518B (zh) | 2023-05-26 |
Family
ID=71149463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010144583.0A Active CN111311518B (zh) | 2020-03-04 | 2020-03-04 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311518B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814726B (zh) * | 2020-07-20 | 2023-09-22 | 南京工程学院 | 一种探测机器人视觉目标检测方法 |
| CN113962873A (zh) * | 2020-07-21 | 2022-01-21 | 武汉Tcl集团工业研究院有限公司 | 一种图像去噪方法、存储介质及终端设备 |
| CN112102176A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于多尺度密集混合注意力神经网络的图像去雨方法 |
| CN111986112B (zh) * | 2020-08-19 | 2023-01-06 | 北京航空航天大学 | 一种软注意力机制的深度全卷积神经网络图像去噪方法 |
| CN112132761B (zh) * | 2020-09-16 | 2023-07-14 | 厦门大学 | 一种基于循环上下文聚合网络的单图像去雾方法 |
| CN112419184B (zh) * | 2020-11-19 | 2022-11-04 | 重庆邮电大学 | 一种综合局部信息和全局信息的空间注意力图像去噪方法 |
| CN112561877B (zh) * | 2020-12-14 | 2024-03-29 | 中国科学院深圳先进技术研究院 | 多尺度双通道卷积模型训练方法、图像处理方法及装置 |
| CN112861931B (zh) * | 2021-01-21 | 2022-04-12 | 南开大学 | 一种基于差异注意力神经网络的多级别变化检测方法、系统、介质及电子设备 |
| CN112950570B (zh) * | 2021-02-25 | 2022-05-17 | 昆明理工大学 | 一种结合深度学习与密集连续中心点的裂纹检测方法 |
| CN112862723B (zh) * | 2021-03-04 | 2022-08-02 | 清华大学深圳国际研究生院 | 基于伪3d自相关网络的真实图像去噪方法 |
| CN112927159B (zh) * | 2021-03-11 | 2022-08-02 | 清华大学深圳国际研究生院 | 基于多尺度选择反馈网络的真实图像去噪方法 |
| CN113033448B (zh) * | 2021-04-02 | 2022-07-08 | 东北林业大学 | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 |
| CN113128583B (zh) * | 2021-04-15 | 2022-08-23 | 重庆邮电大学 | 基于多尺度机制和残差注意力的医学图像融合方法及介质 |
| CN113284064B (zh) * | 2021-05-24 | 2023-04-07 | 西安理工大学 | 一种基于注意力机制跨尺度上下文低照度图像增强方法 |
| CN113256526A (zh) * | 2021-05-25 | 2021-08-13 | 烟台艾睿光电科技有限公司 | 一种红外图像增强方法、装置、设备及存储介质 |
| CN113610719B (zh) * | 2021-07-19 | 2024-08-06 | 河南大学 | 一种注意力和密集连接残差块卷积核神经网络图像去噪方法 |
| CN113792757B (zh) * | 2021-08-18 | 2023-12-08 | 吉林大学 | 一种基于多尺度注意力残差网络的波形图分类方法 |
| CN114005096B (zh) * | 2021-11-09 | 2024-05-10 | 河北工业大学 | 基于特征增强的车辆重识别方法 |
| CN114782695B (zh) * | 2022-04-19 | 2024-04-09 | 青岛海洋地质研究所 | 基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法 |
| CN114708511B (zh) * | 2022-06-01 | 2022-08-16 | 成都信息工程大学 | 基于多尺度特征融合和特征增强的遥感图像目标检测方法 |
| CN114972107B (zh) * | 2022-06-14 | 2024-07-26 | 福州大学 | 基于多尺度堆叠式注意力网络的低照度图像增强方法 |
| CN115393596B (zh) * | 2022-10-28 | 2023-02-21 | 武汉纺织大学 | 一种基于人工智能的服装图像分割方法 |
| CN116029946B (zh) * | 2023-03-29 | 2023-06-13 | 中南大学 | 基于异构残差注意神经网络模型的图像去噪方法及系统 |
| CN116594061B (zh) * | 2023-07-18 | 2023-09-22 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555458A (zh) * | 2019-07-24 | 2019-12-10 | 中北大学 | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467B (zh) * | 2016-06-27 | 2021-07-09 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN107784654B (zh) * | 2016-08-26 | 2020-09-25 | 杭州海康威视数字技术股份有限公司 | 图像分割方法、装置及全卷积网络系统 |
| CN110148091A (zh) * | 2019-04-10 | 2019-08-20 | 深圳市未来媒体技术研究院 | 基于非局部注意力机制的神经网络模型及图像超分辨方法 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
-
2020
- 2020-03-04 CN CN202010144583.0A patent/CN111311518B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555458A (zh) * | 2019-07-24 | 2019-12-10 | 中北大学 | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311518A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311518B (zh) | 基于多尺度混合注意力残差网络的图像去噪方法及装置 | |
| CN109101975B (zh) | 基于全卷积神经网络的图像语义分割方法 | |
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN111754438B (zh) | 基于多分支门控融合的水下图像复原模型及其复原方法 | |
| CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
| CN107403415A (zh) | 基于全卷积神经网络的压缩深度图质量增强方法及装置 | |
| CN113658040B (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN111242238A (zh) | 一种rgb-d图像显著性目标获取的方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN110991560A (zh) | 一种结合上下文信息的目标检测方法及系统 | |
| CN113920043A (zh) | 基于残差通道注意力机制的双流遥感图像融合方法 | |
| Zuo et al. | Depth map enhancement by revisiting multi-scale intensity guidance within coarse-to-fine stages | |
| Yang et al. | Underwater image enhancement with latent consistency learning‐based color transfer | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| CN117237190A (zh) | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 | |
| CN115205527A (zh) | 一种基于域适应和超分辨率的遥感图像双向语义分割方法 | |
| CN107729885A (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
| CN117173063A (zh) | 基于梯度变换先验的红外与可见光视觉信息融合方法 | |
| CN114882220B (zh) | 基于域自适应先验知识引导gan的图像生成方法及系统 | |
| CN116630763A (zh) | 一种基于多尺度上下文感知的多聚焦图像融合方法 | |
| CN113947512B (zh) | 一种大容量可控无载体图像隐写方法 | |
| CN116468996A (zh) | 一种增加边缘信息特征的水下实时目标识别方法及系统 | |
| CN116128722A (zh) | 基于频域-纹理特征融合的图像超分辨率重建方法及系统 | |
| CN115631335A (zh) | 一种基于自注意力机制与空洞卷积池化的语义分割方法、存储介质和视觉装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |