CN114266709B - 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 - Google Patents
一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 Download PDFInfo
- Publication number
- CN114266709B CN114266709B CN202111524553.3A CN202111524553A CN114266709B CN 114266709 B CN114266709 B CN 114266709B CN 202111524553 A CN202111524553 A CN 202111524553A CN 114266709 B CN114266709 B CN 114266709B
- Authority
- CN
- China
- Prior art keywords
- degradation
- module
- branch
- network
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 240
- 230000015556 catabolic process Effects 0.000 title claims abstract description 237
- 239000002131 composite material Substances 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 title claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 239000010410 layer Substances 0.000 claims description 116
- 230000006870 function Effects 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 44
- 230000004913 activation Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 239000002344 surface layer Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 3
- 238000011840 criminal investigation Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
一种基于跨分支连接网络的复合降质图像解耦分析与复原方法属于数字图像/视频信号处理领域。本发明设计了一个多分支并行的网络结构，分支网络内部为编解码的网络结构，并在其中添加短链接和长连接让分支网络可以充分的融合低层和高层的语义特征，同时还在分支网络内部添加注意力机制，让网络能够自适应地对不同程度的降质因素自适应的动态调整网络参数，达到一定的动态调整能力。本发明还在分支之间添加了跨分支连接，不仅可以保证了我们在不同分支只提取到一种降质因素，还兼顾了不同降质因素产生先后顺序。将加权后的融合降质特征输入到重建模块后得到清晰的复原图像。该技术在刑侦、目标跟踪、军事侦察等领域具有广泛的应用前景。
Description
技术领域
本发明属于数字图像/视频信号处理领域，特别涉及一种基于跨分支连接网络的复合降质图像解耦分析与复原方法。
背景技术
随着信息技术的不断发展，图像日益成为我们获取信息的重要方式。然而，受到拍摄设备、拍摄周围环境以及拍摄者抖动等影响，真实场景下得到的图像会夹杂不同类型的降质因素，例如模糊、噪声、压缩等，给人眼带来了极其不好的主观感受。因此，关于复杂降质图像复原的相关研究具有重要的学术价值和应用价值。
在真实自然环境下采集到的复合降质图像不同于实验室环境下的单一降质图像，复合降质图像内的降质类型复杂多变，不同降质之间随机耦合且不可预知。这些特点导致了复原复合降质图像的难度要远远高于单一降质图像。
近年来，基于深度学习的卷积神经网络在图像复原问题中得到了广泛的应用且取得了显著成果，但这些方法大部分都是应用于单一降质图像的。上述复合降质图像的那些特点也导致了将复原单一降质图像的方法应用于复合降质图像时，图像复原的性能会大大减弱，让原本就主观感受不佳的图像更加难以看清。为了解决这一问题，针对复杂降质图像复原的研究受到关注。但这些研究大部分只是向网络中添加动态模块，添加动态处理路径或者添加注意力模块的方式来动态调整网络的参数，增加网络的自适应能力，来提升网络网络的复原性能。这些方法仍然难以在复合降质图像中的多种不同降质之间找到一个很好的平衡点。
本发明从一个新的角度出发，利用多分支并行网络结构和多阶段的训练策略，让网络的不同分支分别提取复合降质图像中不同降质的特征并指导后续的图像复原，从而将先前技术方法需要在多种不同降质之间找到平衡点这一复杂问题，转化为了在同种降质之间寻找平衡点这一相对简单的问题。
本发明提出了一种基于跨分支连接的复合降质图像解耦分析与复原方法。设计了一个多分支并行的网络结构，分支网络内部为编解码的网络结构，并在其中添加短链接和长连接让分支网络可以充分的融合低层和高层的语义特征，同时还在分支网络内部添加注意力机制，让网络能够自适应地对不同程度的降质因素自适应的动态调整网络参数，达到一定的动态调整能力。本技术发明在分支之间添加了跨分支连接，不仅可以保证了我们在不同分支只提取到一种降质因素，还兼顾了不同降质因素产生先后顺序。不同分支提取到的降质特征和低质图像一起经过分支注意力模块给不同的降质特征分配不同的权重系数，让网络更加有侧重的复原复合降质图像中相对程度更深的降质因素。将加权后的融合降质特征输入到重建模块后得到清晰的复原图像。该技术在刑侦、目标跟踪、军事侦察等领域具有广泛的应用前景。
发明内容
本发明的目的在于缓解了先前大部分方法难以有效解决的两个问题。第一问题是处理复杂降质图像复原问题时难以在不同降质之间找到一个平衡点；第二个问题是传统端到端网络是一个难以有效解释的黑盒问题。针对第一问题，本发明技术将原先大部分方法需要在不同降质之间寻找平衡点这一非常复杂困难的问题，转化为了在同一降质内部找平衡点这一相对简单的问题，为卷积神经网络难以在不同降质之间找到一个平衡点提供了一个新的解决思路。针对第二个问题，本发明在不同分支内部提取不同降质的特征并予以显示，将原本的黑盒问题通过结合提取降质的特征的方式转变为了灰盒问题，提高了网络设计的可解释性。并且，提取到的降质特征让网络可以根据不同降质的差异，捕获不同降质的结构性特征，从而自适应的生成不同降质的权重，实现复合降质图像的动态动态复原。
本发明是采用以下技术手段实现的：
一种基于跨分支连接网络的复合降质图像解耦分析与复原方法。该方法基于多分支并行的网络结构框架；首先，复合降质图像通过不同的并行分支分贝在不同分支的末端提取到不同的降质特征；然后，利用分支注意力模块对不同的降质特征分配不同的权重并融合为混合降质特征；最后，将混合降质特征输送到后续的重建模块中得到最终的复原图像。该方法的整体网络如附图1所示，分为五部分：空间注意力分支、通道注意力分支、跨分支连接、分支注意力模块和重建模块，如附图2、4、6、7、8所示。
现有的针对复合降质图像复原的方法缺乏对降质成份的关注，大部分方法忽略了不同降质之间的特征存在巨大的差异，对复合降质图像中的所有降质均采用相同权重的网络结构进行处理，容易造成网络难以在不同降质之找到平衡点，使得重建效果不佳。本发明基于多阶段训练的多分支并行的网络结构，让不同分支分别提取复合降质图像中的不同降质特征，同时，在分支的末端添加分支注意力模块，让网络能够根据不同降质的特征以及降质程度不同，自适应的对不同特征分配不同的权重，从而让网络能够更好的在不同降质之间找到平衡点。
网络总体上划分为了6部分介绍，分别是各个分支、跨分支连接、分支注意力模块、整体重建模块和多阶段训练策略。
该方法具体包括以下步骤：
1)空间注意力分支：
分支的主要作用就是提取复合降质图像内的单一降质特征，用来指导后续的复原任务。空间注意力分支和通道注意力分支都是由特征升维网络、编解码网络、提取降质特征模块和这3部分组成。
第一步，特征升维网络提升特征维度。由于输入网络的图像只有三个维度，所以当我们需要获取图像中的更多信息时，需要对输入图像进行升维处理。特征降维网络由1个卷积操作组成，将三维的输入图像送入到一个7×7卷积层并输出64维的特征图，每个卷积层后都跟有LeakyReLU激活层提升训练网络时的收敛速度。
第二步，使用编解码网络结构融合多层语义信息。在一幅低质图像中，物体的边缘位置和降质出现的地方往往是频率较高的地方，都属于高频信息，因此不能一味的去除高频信息来复原图像，这样会让低质图像更加的模糊不清。因此，本技术引入编解码的网络结构，让分支网络在去除降质这一高频信息的同时，会在编码网络的末端获取低质图像的全局概述信息，让网络在最大去除降质的前提下，最好的保留图像中有用的结构信息。并且，随着图像的尺度不断缩小，图像内的降质程度也会相应的减少，能够减少复原图像的复杂度。
编解码网络由编码网络和解码网络组成，其中编码网络内包含了3个不同尺度和通道数的含有短链接的密集子模块和两个升维卷积层，每个子模块都是由6个相同的残差模块组成，残差模块内部由一个短链接和两个卷积层组成，并在其中添加空间注意力模块来动态调整残差的权重系数，达到增强网络自适应能力的效果，同时，在卷积层之间加入ReLU激活函数保证网络在训练时更快的收敛。记密集子模块内第i个残差模块的输出特征为li，则可用公式(1)表示：
li＝SA(F(li-1))+li-1,#(1)
其中，li表示第i个残差模块的输出特征，li-1则表示前一个残差模块输出的特征，F(·)表示残差模块内两个卷积层的映射方程，包括LeakyReLU激活层和3×3卷积操作，SA(·)则表示空间注意力模块的映射方程。并且空间注意力模块的网络结构由图3所示，可以看到残差模块内的残差特征输入模块后，依次经过最大池化和平均池化操作后输入到一个卷积层中并经过Sigmoid函数归一化得到特征图并与输入的残差特征相乘得到加权后的残差特征图作为模块的输出SA(F(li-1))，即公式(2)表示：
SA(F(li-1))＝Sig(F′(AP(MP(F(li-1)))))⊙F(li-1), (2)
其中F(li-1)表达的是在当前残差模块中卷积层输出的残差特征。MP(·)表达的是最大池化操作，AP(·)表达的是平均池化操作，F′(·)表示的是一个卷积核为3×3的卷积操作，Sig(·)表达的是Sigmoid函数操作，⊙表示的是对应位置相乘操作。
由于在密集子模块中引入了短链接来缓解高层语义特征与低层语义特征之间的语义鸿沟。因此，第i个密集子模块的整体输出可用公式(3)表示：
Oi＝li6+τi,#(3)
其中τi表示第i个密集子模块的输入特征，因此由公式(3)可得，第i个密集子模块的整体输出等于密集子模块的输入特征与其中内部第6个残差模块的输出特征之和。同时，由于三个密集子模块中卷积层的通道数分别为64，128和256，互不相同，因此，在每一个密集子模块之间加入一个升维卷积层和一个ReLU激活函数层，来对特征的通道数量进行升维操作，可用公式(4)表达：
τi+1＝UP(Oi),#(4)
其中，Oi表示第i个子模块的整体输出特征，τi+1表示的是第i+1个子模块的整体输入特征，UP(·)表示的是升维操作。它是一个组合操作，包括ReLU激活层和3×3卷积操作。编码网络的输出为第三个密集子模块的整体输出，即O3，同时作为后续解码网络的输入特征
解码网络由两个逆卷积模块组成，每个逆卷积模块内部有一个逆卷积层和一个卷积层，并在两个层之间加入ReLU激活函数。第一个逆卷积模块将解码网络的输入的通道数由256个降低为128个，并将特征图的尺寸扩大为原来的两倍。第二个逆卷积模块将第一个模块的输出/>的通道数由128个再次降低为64个，并再次将特征图的尺寸扩大为原来的两倍，这样第二个逆卷积模块的输出/>与原先输入的低质图像的尺寸一致了。同时，/>会与编码网络的输入/>在对应位置相加并作为整个编解码网络的输出，保证了低质图像中有用的信息在经过编解码网络后不会丢失。
第三步，提取降质特征模块来提取复合降质图像内降质的位置信息。提取降质特征模块内部有一个重建模块和一个全局长连接，重建模块内部有两个卷积层，卷积层之间引入ReLU激活函数。针对缺乏对复合降质图像中空间降质信息的提取，设计了一个提取降质特征模块能够有效的提取复合降质图像内部的单一类型的降质特征。先将第二步中编解码网络提取到的64维的特征图通过重建模块将为3维特征图，并利用一个全局长连接与输入的低质图像对应位置相加，这个全局长连接将分支网络转变为了一个残差网络，因此，在残差部分我们提取到的特征即为低质图像与对应高质图像之间的差，为我们所求的降质特征ψ1。同时为了确保在每一个分支都只提取一种降质，我们后续会通过跨分支连接将ψ1输送到通道注意力分支。空间注意力分支提取ψ1的函数表达式为：
ψ1＝N(M(P(U(x1)))),#(5)
其中，x1表示为输入的压缩低质图像，U(·)表示第一步中特征升维网络的函数，P(·)表示为编码网络的函数，M(·)表示为解码网络的函数，N(·)表示为第三步提取降质特征模块的函数，方程(2)表达的是从分支内部看的函数表达式，当从分支外部看时，则为：
ψ1＝y-x1,#(6)
其中y为训练网络时所用到的高质图像，x1为输入的压缩降低质图像。
2)通道注意力分支
通道注意力分支与空间注意力分支在网络结构上几乎一致，不同的地方只有两点：1)在所有密集连接块内部中的残差模块中，使用通道注意力机制来代替空间注意力分支中的空间注意力机制；2)在提取降质特征模块内，提取到的降质特征ψ2会与从空间注意力分支提取到的降质特征ψ1和低质图像对应位置相加。
通道注意力模块的网络结构图如图5所示，模块的输入为残差模块的残差特征，残差特征分别经过最大池化和平均池化后并依次送入到MLP多层感知机生成特征的权重图，并经过对应位置相加并通过Sigmoid函数归一化后得到取值为[0,1]的特征权重图，并与输入的残差特征图对应位置相乘得到加权后的残差特征图。可用公式(7)表达：
r＝t⊙Sig(MLP(MP(t)+AP(t))),#(7)
其中t表示的是残差模块中残差的特征图，r为通过通道注意力模块后的加权残差特征图，MP(·)表示最大池化的函数，AP(·)表示平均池化的函数，MLP(·)表达的是MLP感知机的函数，Sig(·)表示Sigmoid函数，⊙表示的是对应位置相乘操作。
上述的两点不同主要从以下方面考虑，在复合降质图像中会存在多种类型的降质特征，在空间注意力分支希望分支网络多加关注图像中空间信息上的降质特征，而在通道注意力分支则希望分支网络关注图像中通道信息上的降质特征，同时使用空间注意力分支和通道注意力分支可以使网络拥有更好的鲁棒性来处理更加复杂的降质图像。并且，如果直接向通道注意力分支输送复合降质图像后会在提取降质特征模块提取到多个不同的降质特征。因此，为了确保在每一个分支只提取到一种降质的特征，将提取到的降质特征ψ2与ψ1和低质图像对应位置相加，确保了ψ2中不会存在ψ1的降质特征。
通道注意力分支提取降质特征ψ2的函数表达式为：
ψ2＝N′(M′(P′(U′(x2))))-ψ1,#(8)
其中，x2表示为输入的模糊和复合降质的低质图像，U′(·)表示第一步中特征升维网络的函数，P′(·)表示为编码网络的函数，M′(·)表示为解码网络的函数，N′(·)表示为第三步提取降质特征模块的函数，ψ1表示从空间注意力分支提取到的降质特征，方程(8)表达的是从分支内部看的函数表达式，当从分支外部看时，则为：
ψ2＝y-x2-ψ1,#(9)
其中y为训练网络时所用到的高质图像，x2为模糊和复合降质的低质图像，ψ1表示从空间注意力分支提取到的降质特征。
3)跨分支连接
跨分支连接是一个分支之间的长连接，在上述的空间注意力分支和通道注意力分支可以看出，跨分支连接是将从空间注意力分支提取到的降质特征ψ1输送到通道注意力分支的提取降质特征模块内，然后与通道注意力分支提取到的降质特征ψ2相加并输出。
这样做的依据有两点：1)在形成复合降质图像的过程中，降质的出现存在先后顺序，因此，我们设计的跨分支连接的方向为空间注意力分支指向通道注意力分支，这样我们可以在空间注意力分支中提取到外层的降质特征，并在通道注意力分支中提取到内层的降质特征；2)一幅模糊和噪声降质的复合降质图像的生成过程可以由公式(10)所表达：
L＝k*H+Noise,#(10)
其中k表示模糊降质的模糊核，H表示高质图像，L为复合降质图像，Noise表示噪声降质特征。我们可以将一幅复合降质图像L的生成过程定义为一幅高质图像H经过模糊核k卷积后于噪声Noise相加得到。因此，依据上述多类型降质图像的生成过程，我们进一步推导公式(10)，经过简单的运算即可得到公式(11)：
k*H＝L-Noise.#(11)
可以看到公式(11)中等号左侧只有模糊核这一个参数，即我们想要模糊特征，以此为依据并类比残差网络设计了跨分支结构。加入了跨分支连接后，当向通道注意力分支中加入复合降质图像时，我们通过端到端的训练在通道注意力分支得到了复合降质的特征L，即模糊-噪声混合特征，利用跨分支将噪声的降质特征Noise与复合降质的特征L在通道注意力分支做差得到特征ψ2，那么ψ2即为公式(11)左侧只有模糊降质的形式。因此，加入跨分支后，在通道注意力分支可以准确的提取到单一降质的特征。
4)分支注意力模块
分支注意力模块的作用是对各个分支提取到的降质特征加权并融合为混合降质特征，方便输送到后续的重建模块中复原。一幅复合降质图像内部的不同降质因为降质特征不同，程度不同，从而对图像的干扰程度不同。如果网络专注于处理干扰程度更深的降质，则会忽略了影响程度相对较轻的降质，这样图像的复原结果完全取绝于影响较轻降质的程度，如果程度依然会对图像造成很大的干扰，那么网络的复原图像依然难以看清。因此，引入分支注意力模块会基于各个分支提取到的降质特征，给予不同降质特征不同的权重，让网络有侧重有针对的复原对图像干扰程度更大的降质。这样既能在保证网络主要复原干扰程度更深降质的前提下，兼顾干扰程度相对较小的降质复原。
在网络结构方面，我们并没有使用简单拼接或相乘的方式直接用于双分支特征。为了更有效地利用多分支网络提取不同降质的特征，分支注意力融合模块由元素对应相乘和相加两部分操作组成。首先，以输入低质图像LR、空间注意力分支输出ψ1和通道注意力分支的输出ψ2三个特征的拼接特征作为输入，使用两个卷积层P(·)提取降质的权重掩模特征图，并将其与通道注意力分支的输出ψ2进行对应元素相乘操作，得到带有权重的ψ2特征。然后，将带有权重的ψ2特征与空间注意力分支的输出ψ1相加得到分支注意力模块的输出ψ。该过程如公式(12)所示：
ψ＝ψ2⊙P(LR,ψ1,ψ2)+ψ1,#(12)
其中，⊙代表元素相乘操作。P(·)为提取局部权重掩模特征图的两个卷积层，低质图像LR、空间注意力分支的输出ψ1和通道注意力分支的输出ψ2，并且这三个特征输入分支注意力模块时为拼接操作。
5)整体重建模块
整体重建模块接收分支注意力模块的输出ψ并通过两个卷积层得到最终的复原图像。在两个卷积层之间添加了LeakyReLU激活函数。
6)多阶段训练策略
采用多阶段训练策略是让各个分支提取不同单一降质的关键。因为一幅复合降质图像内部的不同降质存在先后顺序，后添加的降质会掩盖先前添加的降质特征。如果直接在复合降质图像中提取先添加的，即更深层的降质特征，因为后添加降质的影响，难度会非常的大。因此，采用分阶段的训练策略，在第一个阶段只训练空间注意力分支，先让空间注意力分支提取表层的，最后添加的降质特征。然后在第二个阶段训练通道注意力分支、分支注意力模块和重建模块，并保持空间注意力分支的网络权重不变。在第二个阶段的训练过程中，直接在通道注意力提取复合降质图像的全部降质特征，并通过跨分支连接让两个分支可以进行交互，让提取到的全部降质特征减去空间注意力分支提取到的表层降质特征，剩下的即为深层的降质特征。
其中第一阶段的数学表达式为：
其中，SA(·)为空间注意力分支，x为输入的压缩降质低质图像。表示损失函数为L2范数。
第二阶段的数学表达式为：
其中x表示模糊和复合降质的低质图像，CA(·)表示通道注意力分支,φ(·)表示整体网络，ψ1和ψ2分别表示从空间注意力分支和通道注意力分支提取到的不同类型降质的特征，表示损失函数为L2范数。
为了验证本发明的有效性，我们采用了两种常用的图像质量评价指标分别是峰值信噪比(PSNR)和结构相似性(SSIM)。
本发明与现有技术相比，具有明显的优势和显著的效果：
本发明提出了一种基于跨分支连接网络的复合降质图像解耦分析与复原方法。我们的主要思想是基于多阶段训练策略多分支并行的网络结构，将复合降质图像中的不同降质分开成单一降质并在各个分支提取其特征，同时利用注意力机制帮助网络更好、更快的找到最佳的网络参数，提升网络的性能。与现有技术相比，现有技术大部分都采用在网络中添加动态模块或是动态规划处理路径的方式来增加网络的动态调整能力和自适应能力，但仍然难以在不同降质之间找到一个平衡点，因此，难以提升网络的性能。本方法将不同降质之间的矛盾通过多阶段训练策略和多分支并行的网络结构转化为了同一降质内部的矛盾。有效的提升了网络的性能。并行的网络结构很好的避免了现有大部分串行方法存在的误差累积这一问题，还兼顾了不同降质因素产生的先后关系。在分支之间还加入了分支注意力模块有效的感知了不同降质特征的动态变化，并以此来对不同降质特征添加不同的权重系数，自适应的融合了不同分支提取到的降质特征。在分支内部加入注意力机制对残差模块中的不同残差添加不同的权重系数，让分支网络拥有更好的调整能力。本发明的主要贡献是复合降质的解耦并动态分析，以及不同降质与复原网络的有效融合，该方法可以有效提升复合降质图像的复原效果。
本发明的特点：
1.我们提出了一种跨分支连接网络对多种降质类型的复杂低质图像进行解耦分析和复原。将多个不同类型降质之间的矛盾转化到在同一类型降质不同程度之间的矛盾，并受到残差网络的启发，根据图像模糊与压缩失真、图像模糊与噪声等多类型降质产生的耦合过程，在双分支网络中引入跨分支连接，可有效实现对不同降质类型特征的解耦合分析；
2.引入空间注意力机制、通道注意力机制和分支注意力机制，自适应调节多类型降质程度不同的动态重建问题。
3.引入多阶段训练损失函数，分阶段的训练不同的网络分支，解决不同类型降质解耦合问题。
附图说明
图1、网络整体架构图；
图2、空间注意力网络架构；
图3、空间注意力模块的网络架构；
图4、通道注意力网络架构；
图5、通道注意力模块的网络架构；
图6、跨分支连接
图7、分支注意力模块
图8、重建模块
图9a、通道注意力分支提取复合降质图像内降质特征的效果展示
图9b、空间注意力分支提取复合降质图像内降质特征的效果展示
图10、不同方法的部分主观结果比较；(观测主观测试结果，图像从左到右依次为低质图像、清晰图像、CResMD的测试结果、本发明的测试结果)
具体实施方式
以下结合说明书附图，对本发明的实施实例加以说明：
本发明采用DIV2K数据集进行训练。DIV2K数据集有1000幅分辨率为2K的高质图像，我们在DIV2K数据集中的高质图像上分别添加高斯模糊、高斯噪声、JPEG压缩降质来生成多种单一类型降质图像，并在高斯模糊、高斯噪声和JPEG压缩降质之间两两组合生成模糊-噪声、模糊-压缩和噪声-压缩这三种不同的混合降质图像。其中高斯模糊的模糊核范围为[0,4]，核的大小固定为21*21；高斯噪声的协方差范围为[0,50]；JPEG压缩降质的qt值q在[10,100]范围区间。
本发明采用CBSD68数据集进行测试。CBSD68数据集作为测试数据集，其中有68幅高质图像。我们向高质图像中添加不同程度不同类型的降质来生成所需的降质图像。包括模糊核分别为1、2、4的单一模糊图像；协方差分别为15、30、50的单一噪声图像以及qt值分别为10、80、100的JPEG压缩降质图像。混合降质图像中降质参数为模糊核为1、2、4的模糊降质，协方差为15、50的噪声降质以及qt值为10、80的JPEG压缩降质。混合降质图像由上述的三种不同类型的降质之间两两组合生成。
本发明提出方法整体架构图如附图1所示。算法主要分为两个阶段：空间注意力分支训练阶段和整体网络训练阶段。
(1)空间注意力分支训练阶段
空间注意力分支网络结构如图2所示，训练阶段的具体实现如下：
a)特征升维网络提升特征通道数
首先将训练集中的图像随机剪切成256×256像素值的大小，并进行翻折、旋转等图像预处理方法进行数据的增强。将裁剪后的图像块输送进一个7×7的卷积核提取低质图像的特征，步长为1，padding为3，采用0进行填充，输入的是一个三维的低质图像，输出的是64维的特征图。将64维的特征图经过参数为0.2的LeakyReLU激活函数，得到特征升维网络的输出并输送到后续的编解码网络中。
b)编解码网络融合多层语义信息
编解码网络融合多层语义信息。在编码网络中，首先对特征升维网络的输出特征先经过一个由6个残差模块级联组成的密集子模块，在残差模块内由两个卷积层、跳跃连接、卷积层之间有一个ReLU激活函数层和一个空间注意力模块组成。卷积层采用一个3×3的卷积核提取特征，设置步长为1，卷积padding为1，采用0进行填充，并设置bias为True，并设置输入和输出的通道数均为64。同时在两个卷积层的后端级联一个空间注意力模块，空间注意力模块内部设有一个卷积层和Sigmoid函数层，卷积层的参数设置为输入是两个通道，输出为一个通道数，步长设为1，卷积核大小为7×7，padding设置为3，且用0填充。经过空间注意力模块加权后的降质特征与跳跃连接对应位置相加后为残差模块的输出。/>经过第一个64通道的密集链接子模块后得到的降质特征图先经过一个卷积层进行升维操作，这个卷积层的输入通道数为64通道，输出为128通道，卷积核大小为3×3，步长为2，padding大小设为1且用0填充，扩维后的特征经过ReLU激活函数层后输入到第二个密集子模块中，子模块由6个相同的残差模块组成，残差模块的结构与第一个密集子模块相同，但残差模块内的卷积通道数输入和输出由原来的64通道调整为了128通道。经过第二个密集子模块后得到的128维特征输入到一个升维卷积层，这个卷积层的输入通道数为128通道，输出为256通道，卷积核为3×3，步长为2，padding为1且用0填充，在升维卷积层的后面接上一个ReLU激活函数层，并设置inplace参数为True。然后将这128维的特征图输入到第三个密集子模块中，密集子模块的结构与第一个密集子模块一致，并只改变残差模块内卷积层的输入和输出通道数，由原先的64维调整为256维。最后在第三个密集子模块的末端输出特征/>首先会经过第一个逆卷积模块，逆卷积模块中的有一个逆卷积层和一个ReLU激活函数层，逆卷积层的设置为输入通道数256个，输出128个通道数，逆卷积核为4×4，步长为2，padding为1并用0填充。将输入的/>特征图的尺寸扩大原来的两倍，并将通道数减少一半。然后再经过另一个逆卷积模块，这个逆卷积模块中包含了一个逆卷积层，一个ReLU激活函数层和一个卷积层，其中逆卷积层的设置为输入128个通道，输出64个通道，并设置逆卷积核为4×4，步长为2，padding为1且用0填充。卷积层的设置为输入输出均为64个通道数，卷积核为7×7，步长设为1，padding设为3且用0填充。卷积层的输出与特征升维网络的输出/>相加并输送到提取降质特征模块中。
C)提取降质特征模块复原图像并提取降质特征
提取降质模块内的重建模块中有两个卷积层和一个ReLU激活函数层，第一个卷积层的设置为输入和输出通道数均为64，核为3×3，步长为1，padding为1且用0填充。第二个卷积层的设置为输入64个通道数，输出为3维图像，卷积核为3×3，步长为1，padding为1且用0填充。并将重建模块的输出通过全局长连接与低质图像对应位置相加并作为该分支的输出ψ1，通过跨分支连接会将ψ1输送到后续整体网络阶段中参与训练的通道注意力分支。
(2)整体网络训练阶段
a)整体网络训练阶段任务概述
整体网络训练阶段是在空间注意力分支训练完并固定参数后进行的，包含了三个不同模块参与训练，分别是通道注意力分支、分支注意力模块和重建模块，这三部分模块的网络结构分别如3、图5和图6所示。整体网络训练阶段的目标是让通道注意力分支提取到复合降质图像中的深层降质特征，让分支注意力模块学习对不同分支提取的降质特征分配不同的权重，让重建模块学习利用分支注意力输送进来的混合降质特征来复原图像。
b)训练数据预处理阶段
首先将训练集中的图像随机剪切成256×256像素值的大小，并进行翻折、旋转等图像预处理方法进行数据的增强。将裁剪后的图像块输送进一个7×7的卷积核提取低质图像的特征，步长为1，padding为3，采用0进行填充，输入的是一个三维的低质图像，输出的是64维的特征图。将64维的特征图经过参数为0.2的LeakyReLU激活函数，得到特征升维网络的输出并输送到后续的编解码网络中。
c)通道注意力分支提取深层降质过程
通道注意力分支网络与空间注意力分支网络的网络结构和参数大致相同，不同的地方只有两处：1)在通道注意力分支网络中，三个密集子模块内的残差模块中的注意力机制为通道注意力模块，模块内有一个平均池化操作层、一个最大池化操作层、一个MLP决策层和一个Sigmoid函数层。平均池化层和最大池化层均使用自适应的平均池化和最大池化并设置其中参数均为1，在MLP决策层中有两个卷积层，第一个卷积层的输入为密集子模块的层数，例如，在第一个密集子模块中层数为64，则第一个卷积层的输入为64，卷积层的输出为卷积层的输入除以16并取整数部分，设置步长为1，卷积核为3×3，padding为1且用0填充。特征图并行经过最大池化层和平均池化层后输入MLP决策层输出决策特征，并通过Sigmoid得到残差的权重系数。2)在通道注意力分支内的提取降质特征网络中通过跨分支连接将空间注意力分支提取到的降质特征与通道注意力分支提取到的降质特征对应位置相加并输出，跨分支连接的结构如图4所示。从而当一幅复合降质图像输入整体网络时，在空间注意力分支提取到表层降质特征并输入通道注意力分支，防止在通道注意力分支提取到相同的降质特征，因此，在训练整体网络的阶段中，在通道注意力分支学习到了深层降质的特征。
d)分支注意力模块融合各个降质特征
各个分支提取到的降质特征和低质图像经过concat操作先聚合在一起，然后一并输送到分支注意力模块。分支注意力模块中有两个卷积层，和一个LeakyReLU激活函数层。第一个卷积层输入的通道数为131个，输出64维特征图，卷积核为3×3，步长为1，padding为1且用0填充。第二个卷积层输入64维的特征图，输出64维的特征图，卷积核为1×1，步长为1，padding为0。两个卷积层之间加入LeakyReLU激活函数层并设置参数为0.2，inplace为true。分支注意力模块输出的权重掩膜图先与通道注意力分支提取到的深层降质特征对应位置相乘，再与空间注意力分支提取到的浅层降质特征相加得到最终的混合降质特征并输送到后续的重建模块中。
e)重建模块复原图像
重建模块内有两个卷积层和两个LeakyReLU激活函数，其中，第一个卷积层的输入64通道的特征图，输出也为64维的特征图，卷积核为3×3，步长为1，padding为1且用0填充，第二个卷积层输入为64维特征图，输出为3维的图像，卷积核为3×3，步长为1，padding为1且用0填充。两个LeakyReLU激活函数层分别在两个卷积层的后面，均设置参数为0.2，inplace为true。
下面介绍网络训练和测试的过程：
网络可以接收任意尺寸的彩色图像，数据集中可以不包含成对的清晰-低质图像对。但为了方便测量PSNR、SSIM指标，在测试中我们使用了成对的清晰-低质图像对。使用的数据集为CBSD68数据集，其中的低质图像通过人为方式生成。
a)模型训练
第一阶段和第二阶段模型的训练均取batch size设为8，设置初始学习率均设为10-4，设置epoch＝30，并且每训练10次迭代中让学习率线性衰减一半。使用的优化器为Adam优化器并设置β1＝0.9，β2＝0.999。
b)模型测试
使用CBSD68测试数据集对整体网络测试。分别将测试集中的68幅复合降质图像送入网络，得到相应的复原图像，计算复原图像与对应清晰图像的PSNR值和SSIM值作为评价指标，验证模型的有效性。
所述算法与不同算法在不同的降质图像复原任务上的PSNR与SSIM的客观结果如表1所示。网络对不同的复合降质在不同分支的提取效果如图7所示。典型的主观结果图如附图说明图8所示。
表1不同方法CBSD68测试集的客观结果
/>
Claims (1)
1.一种基于跨分支连接网络的复合降质图像解耦分析与复原方法，其特征在于，包括以下步骤：
1)空间注意力分支：
空间注意力分支和通道注意力分支都是由特征升维网络、编解码网络、提取降质特征模块和这3部分组成；
第一步，特征升维网络提升特征维度；
特征降维网络由1个卷积操作组成，将三维的输入图像送入到一个7×7卷积层并输出64维的特征图，每个卷积层后都跟有LeakyReLU激活层提升训练网络时的收敛速度；
第二步，使用编解码网络结构融合多层语义信息；
编解码网络由编码网络和解码网络组成，其中编码网络内包含了3个不同尺度和通道数的含有短链接的密集子模块和两个升维卷积层，每个子模块都是由6个相同的残差模块组成，残差模块内部由一个跨层连接和两个卷积层组成，跨层连接将前一个残差模块的输出与当前的残差输出进行对应位置相加的操作，并在残差模块内添加空间注意力模块来动态调整残差的权重系数，同时，在卷积层之间加入ReLU激活函数保证网络在训练时更快的收敛；记密集子模块内第i个残差模块的输出特征为li，用公式(1)表示：
li＝SA(F(li-1))+li-1,#(1)
其中，li表示第i个残差模块的输出特征，li-1则表示通过跨层连接得到的前一个残差模块输出的特征，F(·)表示残差模块内两个卷积层的映射方程，包括LeakyReLU激活层和3×3卷积操作，SA(·)则表示空间注意力模块的映射方程；
残差模块内的残差特征输入模块后，依次经过最大池化和平均池化操作后输入到一个卷积层中并经过Sigmoid函数归一化得到特征图并与输入的残差特征相乘得到加权后的残差特征图作为模块的输出SA(F(li-1))，即公式(2)表示：
SA(F(li-1))＝Sig(F′(AP(MP(F(li-1)))))⊙F(li-1), (2)
其中F(li-1)表达的是在当前残差模块中卷积层输出的残差特征；MP(·)表达的是最大池化操作，AP(·)表达的是平均池化操作，F′(·)表示的是一个卷积核为3×3的卷积操作，Sig(·)表达的是Sigmoid函数操作，⊙表示的是对应位置相乘操作；
由于在密集子模块中引入了短链接来缓解高层语义特征与低层语义特征之间的语义鸿沟；因此，第i个密集子模块的整体输出可用公式(3)表示：
其中τi表示第i个密集子模块的输入特征，因此由公式(3)可得，第i个密集子模块的整体输出等于密集子模块的输入特征与其中内部第6个残差模块的输出特征之和；同时，由于三个密集子模块中卷积层的通道数分别为64，128和256，互不相同，因此，在每一个密集子模块之间加入一个升维卷积层和一个ReLU激活函数层，来对特征的通道数量进行升维操作，用公式(4)表达：
τi+1＝UP(Oi),#(4)
其中，Oi表示第i个子模块的整体输出特征，τi+1表示的是第i+1个子模块的整体输入特征，UP(·)表示的是升维操作；它是一个组合操作，包括ReLU激活层和3×3卷积操作；编码网络的输出为第三个密集子模块的整体输出，即O3，同时作为后续解码网络的输入特征
解码网络由两个逆卷积模块组成，每个逆卷积模块内部有一个逆卷积层和一个卷积层，并在两个层之间加入ReLU激活函数；第一个逆卷积模块将解码网络的输入的通道数由256个降低为128个，并将特征图的尺寸扩大为原来的两倍；第二个逆卷积模块将第一个模块的输出/>的通道数由128个再次降低为64个，并再次将特征图的尺寸扩大为原来的两倍，这样第二个逆卷积模块的输出/>与原先输入的低质图像的尺寸一致了；同时，/>会与编码网络的输入/>在对应位置相加并作为整个编解码网络的输出；
第三步，提取降质特征模块来提取复合降质图像内降质的位置信息；
提取降质特征模块内部有一个重建模块和一个全局连接，重建模块内部有两个卷积层，卷积层之间引入ReLU激活函数；针对缺乏对复合降质图像中空间降质信息的提取，设计了一个提取降质特征模块能够有效的提取复合降质图像内部的单一类型的降质特征；先将第二步中编解码网络提取到的64维的特征图通过重建模块将为3维特征图，并利用一个全局长连接与输入的低质图像对应位置相加，这个全局长连接将分支网络转变为了一个残差网络，因此，在残差部分提取到的特征即为低质图像与对应高质图像之间的差，为所求的降质特征ψ1；同时为了确保在每一个分支都只提取一种降质，后续会通过跨分支连接将ψ1输送到通道注意力分支；空间注意力分支提取ψ1的函数表达式为：
ψ1＝N(M(P(U(x1)))),#(5)
其中，x1表示为输入的压缩低质图像，U(·)表示第一步中特征升维网络的函数，P(·)表示为编码网络的函数，M(·)表示为解码网络的函数，N(·)表示为第三步提取降质特征模块的函数，方程(2)表达的是从分支内部看的函数表达式，当从分支外部看时，则为：
ψ1＝y-x1,#(6)
其中y为训练网络时所用到的高质图像，x1为输入的压缩降低质图像；
2)通道注意力分支
通道注意力分支与空间注意力分支在网络结构上几乎一致，不同的地方只有两点：1)在所有密集连接块内部中的残差模块中，使用通道注意力机制来代替空间注意力分支中的空间注意力机制；2)在提取降质特征模块内，提取到的降质特征ψ2会与从空间注意力分支提取到的降质特征ψ1和低质图像对应位置相加；
通道注意力模块的网络结构中模块的输入为残差模块的残差特征，残差特征分别经过最大池化和平均池化后并依次送入到MLP多层感知机生成特征的权重图，并经过对应位置相加并通过Sigmoid函数归一化后得到取值为[0,1]的特征权重图，并与输入的残差特征图对应位置相乘得到加权后的残差特征图；用公式(7)表达：
r＝t⊙Sig(MLP(MP(t)+AP(t))),#(7)
其中t表示的是残差模块中残差的特征图，r为通过通道注意力模块后的加权残差特征图，MP(·)表示最大池化的函数，AP(·)表示平均池化的函数，MLP(·)表达的是MLP感知机的函数，Sig(·)表示Sigmoid函数，⊙表示的是对应位置相乘操作；
为了确保在每一个分支只提取到一种降质的特征，将提取到的降质特征ψ2与ψ1和低质图像对应位置相加，确保了ψ2中不会存在ψ1的降质特征；
通道注意力分支提取降质特征ψ2的函数表达式为：
ψ2＝N′(M′(P′(U′(x2))))-ψ1,#(8)
其中，x2表示为输入的模糊和复合降质的低质图像，U′(·)表示第一步中特征升维网络的函数，P′(·)表示为编码网络的函数，M′(·)表示为解码网络的函数，N′(·)表示为第三步提取降质特征模块的函数，ψ1表示从空间注意力分支提取到的降质特征，方程(8)表达的是从分支内部看的函数表达式，当从分支外部看时，则为：
Ψ2＝y-x2-Ψ1,#(9)
其中y为训练网络时所用到的高质图像，x2为模糊和复合降质的低质图像，Ψ1表示从空间注意力分支提取到的降质特征；
3)跨分支连接
跨分支连接是一个分支之间的长连接，在上述的空间注意力分支和通道注意力分支可以看出，跨分支连接是将从空间注意力分支提取到的降质特征Ψ1输送到通道注意力分支的提取降质特征模块内，然后与通道注意力分支提取到的降质特征Ψ2相加并输出；
以模糊和噪声降质，如公式(10)所示：
L＝k*H+Noise,#(10)
其中k表示模糊降质的模糊核，H表示高质图像，L为复合降质图像，Noise表示噪声降质特征；可以将一幅复合降质图像L的生成过程定义为一幅高质图像H经过模糊核k卷积后于噪声Noise相加得到；
进一步推导公式(10)，经过简单的运算即可得到公式(11)：
k*H＝L-Noise.#(11)
可以看到公式(11)中等号左侧只有模糊核这一个参数，即想要模糊特征，以此为依据并类比残差网络设计了跨分支结构；加入了跨分支连接后，当向通道注意力分支中加入复合降质图像时，通过端到端的训练在通道注意力分支得到了复合降质的特征L，即模糊-噪声混合特征，利用跨分支将噪声的降质特征Noise与复合降质的特征L在通道注意力分支做差得到特征Ψ2，那么Ψ2即为公式(11)左侧只有模糊降质的形式；
4)分支注意力模块
以输入低质图像LR、空间注意力分支输出Ψ1和通道注意力分支的输出Ψ2三个特征的拼接特征作为输入，使用两个卷积层P(·)提取降质的权重掩模特征图，并将其与通道注意力分支的输出ψ2进行对应元素相乘操作，得到带有权重的ψ2特征；然后，将带有权重的ψ2特征与空间注意力分支的输出ψ1相加得到分支注意力模块的输出ψ；该过程如公式(12)所示：
ψ＝ψ2⊙P(LR,ψ1,ψ2)+ψ1,#(12)
其中，⊙代表元素相乘操作；P(·)为提取局部权重掩模特征图的两个卷积层，低质图像LR、空间注意力分支的输出ψ1和通道注意力分支的输出ψ2，并且这三个特征输入分支注意力模块时为拼接操作；
5)整体重建模块
整体重建模块接收分支注意力模块的输出ψ并通过两个卷积层得到最终的复原图像；在两个卷积层之间添加了LeakyReLU激活函数；
6)多阶段训练策略
采用分阶段的训练策略，在第一个阶段只训练空间注意力分支，先让空间注意力分支提取表层的，最后添加的降质特征；然后在第二个阶段训练通道注意力分支、分支注意力模块和重建模块，并保持空间注意力分支的网络权重不变；在第二个阶段的训练过程中，直接在通道注意力提取复合降质图像的全部降质特征，并通过跨分支连接让两个分支可以进行交互，让提取到的全部降质特征减去空间注意力分支提取到的表层降质特征，剩下的即为深层的降质特征；
其中第一阶段的数学表达式为：
其中，SA(·)为空间注意力分支，x为输入的压缩降质低质图像；表示损失函数为L2范数；
第二阶段的数学表达式为：
其中x表示模糊和复合降质的低质图像，CA(·)表示通道注意力分支,φ(·)表示整体网络，ψ1和ψ2分别表示从空间注意力分支和通道注意力分支提取到的不同类型降质的特征，表示损失函数为L2范数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111524553.3A CN114266709B (zh) | 2021-12-14 | 2021-12-14 | 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111524553.3A CN114266709B (zh) | 2021-12-14 | 2021-12-14 | 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114266709A CN114266709A (zh) | 2022-04-01 |
| CN114266709B true CN114266709B (zh) | 2024-04-02 |
Family
ID=80826968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111524553.3A Active CN114266709B (zh) | 2021-12-14 | 2021-12-14 | 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114266709B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115358954B (zh) * | 2022-10-21 | 2022-12-23 | 电子科技大学 | 一种注意力引导的特征压缩方法 |
| CN116935074B (zh) * | 2023-07-25 | 2024-03-26 | 苏州驾驶宝智能科技有限公司 | 基于深度亲和网络自适应关联的多目标跟踪方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685072A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
| CN111275637A (zh) * | 2020-01-15 | 2020-06-12 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325111A (zh) * | 2020-01-23 | 2020-06-23 | 同济大学 | 一种融合逆注意力和多尺度深度监督的行人重识别方法 |
-
2021
- 2021-12-14 CN CN202111524553.3A patent/CN114266709B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685072A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
| CN111275637A (zh) * | 2020-01-15 | 2020-06-12 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| 分层特征融合注意力网络图像超分辨率重建;雷鹏程;刘丛;唐坚刚;彭敦陆;;中国图象图形学报;20200916(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114266709A (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN106709875B (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
| Syu et al. | Learning deep convolutional networks for demosaicing | |
| CN114266709B (zh) | 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 | |
| CN112233038A (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| Zhao et al. | Invertible image decolorization | |
| CN112862688B (zh) | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 | |
| CN111539884A (zh) | 一种基于多注意力机制融合的神经网络视频去模糊方法 | |
| CN111179167A (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN110223245B (zh) | 基于深度神经网络的模糊图片清晰化处理方法及系统 | |
| CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
| CN114418850A (zh) | 一种融合图卷积的有参考图像超分辨率重构方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| Zhang et al. | INFWIDE: Image and feature space Wiener deconvolution network for non-blind image deblurring in low-light conditions | |
| Esmaeilzehi et al. | UPDResNN: A deep light-weight image upsampling and deblurring residual neural network | |
| Huang et al. | Image restoration from patch-based compressed sensing measurement | |
| CN112734645B (zh) | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 | |
| Wang et al. | Data hiding during image processing using capsule networks | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| CN114820389B (zh) | 一种基于无监督解耦表征的人脸图像去模糊方法 | |
| CN116703752A (zh) | 融合近红外的Transformer结构的图像去雾方法及装置 | |
| Li et al. | An improved method for underwater image super-resolution and enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |