CN114549361A - 一种基于改进U-Net模型的去图像运动模糊方法 - Google Patents
一种基于改进U-Net模型的去图像运动模糊方法 Download PDFInfo
- Publication number
- CN114549361A CN114549361A CN202210183370.8A CN202210183370A CN114549361A CN 114549361 A CN114549361 A CN 114549361A CN 202210183370 A CN202210183370 A CN 202210183370A CN 114549361 A CN114549361 A CN 114549361A
- Authority
- CN
- China
- Prior art keywords
- convolution
- channel
- image
- depth separable
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000033001 locomotion Effects 0.000 title claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 230000004913 activation Effects 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 241000282326 Felis catus Species 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012821 model calculation Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002597 diffusion-weighted imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像去运动模糊技术领域，具体涉及一种基于改进U‑Net模型的去图像运动模糊方法，所述改进U‑Net模型由深度可分离卷积、深度可分离残差卷积、哈尔小波变换、哈尔小波逆变换、密集多接受域通道模块组成，网络中的卷积核为3×3，激活函数为Leaky ReLU。使用深度可分离卷积和残差卷积代替标准卷积，减少模型计算量和参数。本发明的峰值信噪比和结构相似度值较高，不仅可以显著减少模型的参数，而且减少了模型恢复的清晰图像运行时间，同时去模糊的图像取得良好得效果。
Description
技术领域
本发明涉及图像去运动模糊技术领域，具体涉及一种基于改进U-Net模型的去图像运动模糊方法。
背景技术
目前，在数字图像获取过程中，会存在图像运动模糊。如获取遥感图像时，成像时间内由于卫星平台的震颤、卫星运动及姿态变化、地球自转、成像目标运动等原因，获取的图像存在运动模糊。在天文探测、无人驾驶等应用场景，存在成像设备抖动、散焦、噪声等问题，获取的图像也会存在运动模糊。这些模糊图像不仅在主观影响视觉体验，而且影响了分类、目标检测等后续的视觉任务。因此，图像去运动模糊是计算机视觉中的一个关键问题。
现有的传统去模糊方法大多采用正则化和手工制作图像先估计模糊核，再用迭代优化的方式逐步恢复清晰图片，涉及到复杂模糊核的估计，去模糊的过程繁琐，实时性差，算法的性能也不高。随着深度学习快速发展，基于深度学习的图像去模糊方法已逐步得到应用。毛勇等提出一种基于生成对抗网络的车牌去运动模糊算法，并通过实验证明能够有效去除合成运动模糊图像和真实场景下运动模糊图像中存在的运动模糊。董星煜等提出了一种基于U-Net模型的神经网络框架,将融合的运动信息输入网络,并给定每一像素点不同的运动约束，经过网络的编码器与解码器结构,得到每一像素点的预测值,实现端对端的方式直接获得复原图像。Kupyn等用生成对抗网络的特征金子塔模型来去除运动图像模糊，为去模糊提供了一个新的概念方法。罗琪彬等提出双框架生成对抗网络，在原有CycleGan基础上改进了其网络结构和损失函数,提高了运动图像盲去除的精度,并且在样本有限情况下大幅度增强了网络的稳定性。Wang等针对肺弥散加权磁共振成像过程中，由于呼吸和心脏运动、血流和肺迟滞导致的图像模糊，提出了一种基于低秩分解的运动校正和去噪方法，利用时空连续性序列来减少图像模糊。Zeng等采用了密集网络来进行图像的去模糊，可以避免梯度消失问题，但网络的接受域较小，不能获取更多的图像信息。Purohit等提出了一种由自适应密集区域可变形模块组成的新结构，该模块可以发现导致输入图像中非均匀模糊的空间变化位移，并通过学习调整滤波器，并补充注意力模块，捕获中间特征之间的非局部空间关系，以增强空间变化的处理能力，从而实现近乎实时的图像去运动模糊。
近年来，U-Net变体也被用于其他图像处理领域。Zhang等结合特定领域的知识，设计了基于注意力的Tri-UNet，包括特征提取、特征融合和图像重建，以生成高质量高分辨率多光谱图像。Chen等提出了一种新的基于学习的方法，使用空间动态编码器-解码器网络HDRUNet，可以学习端到端映射，用于单图像高动态范围重建，并进行去噪和去量化。Zang等提出了一种新的级联密集U-Net网结构，以充分利用所有分层特征实现单图像超分辨率。在每一个密集的网络区中，许多短而密集的跳跃路径可以促进信息流动，整合不同的感受野。Guan等提出了一种改进的全密度U-Net网络，用于从稀疏数据重建的二维光声层析成像图像中去除伪影，并在重建图像质量方面与标准U-Net网络进行比较。Alimjan等基于多特征注意力融合机制的U-Net，提出遥感图像变化检测算法，该算法在U-Net的编码器和解码器之间添加了多特征注意力机制，以获得更丰富的上下文依赖性。但这些方法多是不断叠加普通卷积层或增大卷积核大小来增加感受野，增加了网络的计算负担。
发明内容
为解决上述问题，本发明提供了一种基于改进U-Net模型的去图像运动模糊方法，可以实现端到端的图像去模糊，降低了模型训练的难度和图像信息的丢失，提高了图像恢复质量，减少了信息重用，增加了图像的接收范围，获得了良好的视觉效果。
为实现上述目的，本发明采取的技术方案为：
一种基于改进U-Net模型的去图像运动模糊方法，所述改进U-Net模型的网络中的卷积核为3×3，激活函数为Leaky ReLU；其编码器通过以下4个阶段操作实现图像的信息提取：第一阶段用一个32通道深度可分离卷积和三个32通道深度可分离残差卷积；第二阶段用哈尔小波变换、一个64通道深度可分离卷积和三个64通道深度可分离残差卷积；第三阶段用哈尔小波变换、一个128通道深度可分离卷积和三个128通道深度可分离残差卷积；第四阶段用哈尔小波变换、一个256通道深度可分离卷积和两个256通道深度可分离残差卷积，以及密集多接受域通道模块；其解码器通过以下4个阶段的操作实现图像的信息处理：第一阶段用两个256通道深度可分离残差卷积和一个512通道深度可分离卷积，以及哈尔小波逆变换；第二阶段与编码器第三阶段的输出通过跳跃连接进行特征融合，用了三个128通道深度可分离残差卷积和一个256通道深度可分离卷积，以及小波逆变换；第三阶段与编码器第二阶段的输出通过跳跃连接进行特征融合，用了三个64通道深度可分离残差卷积和一个128通道深度可分离卷积，以及小波逆变换；第四阶段层与编码器第一阶段的输出通过跳跃连接进行特征融合，用了三个32通道深度可分离残差卷积和一个3通道深度可分离卷积，将特征图恢复到原始分辨率，最后在于输入数据进行融合后，得到恢复结果。
进一步地，所述的深度可分离卷积由逐通道卷积和逐点卷积组成，逐通道卷积用于将上一层的多通道特征全部拆分为单个通道的特征图，并将所得的单个通道的特征图分别用3×3卷积核进行卷积，然后重新堆叠到一起；逐点卷积用于将逐通道卷积得到的特征图进行第二次卷积，使用1×1卷积核，将逐通道卷积结果进行融合，并自由改变输出通道数量。
进一步地，所述的深度可分离残差卷积根据残差卷积，采用两个深度可分离卷积，添加跳跃连接，直接把输入x传到输出作为初始结果，训练目标是将残差结果逼近于0。
进一步地，所述的改进U-Net模型采用小波变换对原始图像进行分解，然后采小波逆变换进行重建，具体的，所述的哈尔小波变换采用二维离散哈尔小波，具体的，设一维高通滤波器用
表示，一维低通滤波器用ψ(·)表示，小波变换过程如下：先用
对图像的行进行操作、对列下采样，再分别用
和ψ(·)对图像的列进行操作、对行下采样，得到IHH和IHL子频信息；然后用ψ(·)对图像的行进行操作、对列下采样，再用ψ(·)和
对图像的列进行滤波、水平下采样，得到ILL和ILH子频信息，得到的四个子频信息如式(1)-(4)所示：
ILL(x，y)＝ψ(x)ψ(y) (4)
式(1)-(4)中，x和y表示图像信息的行和列。IHL表示图像的水平高频、垂直低频信息；IHH表示图像的水平、垂直的高频信息；ILL表示图像的水平、垂直的低频信息；ILH表示图像水平低频、垂直高频信息。
然后，将这些信息经过小波逆变换进行融合，最终重构图像。
进一步地，所述的密集多接受域通道模块由四个多接受域通道块和一个瓶颈层组成，用式(5)表示：
Xout＝G{(Hi[x0，x1，...，xi-1])；ε} (5)
式中，[x0，x1，...，xi-1]表示串联0，…，i-1层的混合接受域块所产生的特征图；Hi表示将多个输入张量转化为单个张量；G(·)表示瓶颈层的输出，ε为瓶颈层的超参数，瓶颈层采用的滤波器大小为1×1。
进一步地，多接受域通道块由扩张接受域块和通道注意力模块组合而成，用式(6)-(7)表示。
其中，w是卷积层，上标代表扩张卷积大小，下表为卷积核大小，LK代表Leaky ReLU激活函数，cat代表连接操作，C表示融合特征，
为Sigmoid激活函数，Out为多接受域通道块的输出。
上述方案中，采用深度可分离卷积代替普通卷积，深度可分离残差卷积代替残差卷积，来减少U-Net模型的参数数量。利用小波变换代替U-Net模型中下采样，用小波逆变换代替U-Net型的上采样，通过小波变换得到不同频率图像的信息，获得更多图像细节信息，同时降低计算的复杂度。为了在小波变换后重建高质量图像，采用了密集多接受域通道模块，用密集连接的方式连接多接受域通道块，减少了多接受域通道块参数，加强了特征的传递。多接受域通道块可以提取深层次特征，用通道注意力模块选择重要的通道和特征。通过实验表明，本发明的方法不仅可以显著减少模型的参数，而且减少了模型恢复的清晰图像运行时间，同时去模糊的图像取得良好得效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中的改进U-Net模型
图2为本发明实施例中的深度可分离卷积结构
图3为本发明实施例中的深度可分离残差卷积
图4为本发明实施例中的哈尔小波变换及其逆变换
图5为本发明实施例中的密集多接受域通道模块
图6为本发明实施例中的多接收域通道块
图7为可视化对比；
图中：(a)模糊图像；(b)文献[1]去模糊图像处理后；(c)文献[2]去模糊图像处理后；(d)文献[5]去模糊图像处理后；(e)文献[6]去模糊图像处理后；(f)本发明去模糊图像处理后。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明设计的模型结构图如图1所示，该模型基于U-Net网络结构，由深度可分离卷积、深度可分离残差卷积、哈尔小波变换、哈尔小波逆变换、密集多接受域通道模块组成，网络中的卷积核为3×3，激活函数为Leaky ReLU。
如图1所示，本发明的模型包括两个部分，第一部分为左半部，即编码器，第二部分为右半部，即解码器。编码器通过以下4个阶段操作实现图像的信息提取：第一阶段用一个32通道深度可分离卷积和三个32通道深度可分离残差卷积；第二阶段用哈尔小波变换、一个64通道深度可分离卷积和三个64通道深度可分离残差卷积；第三阶段用哈尔小波变换、一个128通道深度可分离卷积和三个128通道深度可分离残差卷积；第四阶段用哈尔小波变换、一个256通道深度可分离卷积和两个256通道深度可分离残差卷积，以及密集多接受域通道模块。解码器也实现4个阶段的操作，第一阶段用两个256通道深度可分离残差卷积和一个512通道深度可分离卷积，以及哈尔小波逆变换；第二阶段与编码器第三阶段的输出通过跳跃连接进行特征融合，用了三个128通道深度可分离残差卷积和一个256通道深度可分离卷积，以及小波逆变换；第三阶段与编码器第二阶段的输出通过跳跃连接进行特征融合，用了三个64通道深度可分离残差卷积和一个128通道深度可分离卷积，以及小波逆变换；第四阶段层与编码器第一阶段的输出通过跳跃连接进行特征融合，用了三个32通道深度可分离残差卷积和一个3通道深度可分离卷积，将特征图恢复到原始分辨率。最后在于输入数据进行融合后，得到恢复结果。
深度可分离卷积
本发明的深度可分离卷积结构如图2所示，它由两部分组成，分别是逐通道卷积和逐点卷积。逐通道卷积首先将上一层的多通道特征全部拆分为单个通道的特征图，再分别用3×3卷积核对他们进行卷积，然后重新堆叠到一起，即对上一层的特征图调整了尺寸，而通道数不变。逐点卷积将逐通道卷积得到的特征图进行第二次卷积，使用1×1卷积核，将逐通道卷积结果进行融合，并自由改变输出通道数量。
深度可分离残差卷积
本发明的深度可分离残差卷积结构如图3所示。深度可分离残差卷积是根据残差卷积，采用两个深度可分离卷积，添加跳跃连接。直接把输入x传到输出作为初始结果，训练目标是将残差结果逼近于0，使得随着网络加深，准确率不下降，并减少了网络模型的参数。
哈尔小波变换及其逆变换
由于哈尔小波是小波变换最易于实现、操作简单的小波基函数，因此本发明用二维离散哈尔小波进行小波变换操作。设一维高通滤波器用
表示，一维低通滤波器用ψ(·)表示，小波变换过程如下：先用
对图像的行进行操作、对列下采样，再分别用
和ψ(·)对图像的列进行操作、对行下采样，得到IHH和IHL子频信息；然后用ψ(·)对图像的行进行操作、对列下采样，再用ψ(·)和
对图像的列进行滤波、水平下采样，得到ILL和ILH子频信息。得到的四个子频信息如式(1)-(4)所示。
ILL(x，y)＝ψ(x)ψ(y) (4)
式(1)-(4)中，x和y表示图像信息的行和列。IHL表示图像的水平高频、垂直低频信息；IHH表示图像的水平、垂直的高频信息；ILL表示图像的水平、垂直的低频信息；ILH表示图像水平低频、垂直高频信息。将这些信息经过小波逆变换进行融合，最终重构图像，如图4所示。使用小波变换对原始图像进行分解，然后采小波逆变换进行重建，不会造成图像信息的丢失，且会生成更多的高频信息。如果需要进行多次小波变换时，可以再对IHL、IHH、ILH、ILL进行进一步的处理，得到多次小波变换结果。
密集多接受域通道模块
为提取图像的深层语义信息，提高图像去模糊的性能，设计了密集多接受域模块，如图5所示，由四个多接受域通道块和一个瓶颈层组成，通过多接受域通道块来提取图像的语义特征，再用瓶颈层来减少特征输出的数量，来提高模型的紧凑性和计算效率。用密集连接的方式，来加强图像特征的传递，更加有效的利用图像特征。密集多接受域通道模块可用式(5)表示。
Xout＝G{(Hi[x0，x1，...，xi-1])；ε} (5)
式(5)中[x0，x1，...，xi-1]表示串联0，…，i-1层的混合接受域块所产生的特征图；Hi表示将多个输入张量转化为单个张量；G(·)表示瓶颈层的输出，ε为瓶颈层的超参数，瓶颈层采用的滤波器大小为1×1。
密集多接受域模块所用到的多接受域通道块如图6所示，由扩张接受域块和通道注意力模块组合而成。在扩张接受域部分，为了增加特征提取的多样性，采用了4个特征提取分支，用了3×3的卷积核和扩张率分别为1、3、5、7。连接操作融合了4个分支的并行特征图。非线性特征通过在每个通道自适应地添加权重，每个通道的权重学习来自于CBAM中的通道注意力模块，利用平均池化特征来提高了网络的非线性表示能力，提高了去模糊的能力。多接受域通道块可以用式(6)-(7)表示。
其中，w是卷积层，上标代表扩张卷积大小，下表为卷积核大小。LK代表Leaky ReLU激活函数，cat代表连接操作，C表示融合特征，
为Sigmoid激活函数，Out为多接受域通道块的输出。
实验与分析
数据集
本发明使用了GOPRO数据集来训练本发明的模型，它由3214模糊清晰图像对组成，包含了22个不同的场景。选用2103对图像作为训练集，1111对图像作为测试集。为了提高模型的泛化能力，对训练集进行数据增强操作，分别采用随机旋转，随机左右、上下翻转，高斯噪声，旋转角度为90°，180°，270°，噪声均值为0，方差为0.0001。
2.2损失函数设计
为防止模型过拟合，将训练集图像随机裁剪到256×256像素大小。将训练周期设为4000轮，初始学习率设为1e-4，每1000轮进行减半。网络优化方法使用Adam，参数β1＝0.9，β2＝0.999。使用PyTorch深度学习框架搭建去模糊网络，并使用GTX 2080 GPU。
图像去模糊采用均方误差(MSE)损失作为常用指标，通过使用欧式距离来测量预测值与实际值之间的差值，如式(8)所示。为获得图像边缘细节信息，使用了SSIM损失函数，如式(9)所示。因此，本发明最终损失函数Ltotal由两部分组成，表示如下
LMSE＝||R-S||2 (8)
LSSIM＝1-SSIM(R，S) (9)
式(8)-(9)中R表示去模糊的图像，S表示为清晰图像，SSIM表示通过结构相似度来计算。最终我们通过结合MSE和SSIM损失函数对网络进行训练。因此，设计的损失函数如式(10)所示，w1为权衡参数，设为0.001。
Ltotal＝LMSE+w1LSSIM (10)
2.3定量评价
使用峰值信噪比(PSNR)和结构相似度来(SSIM)作为定量评价指标，它们的值越大，代表图像的质量就越好，她们表示如下：
其中，MAX是图像的最大值为255，RMSE是指恢复的清晰图像和模糊图像均方根误差。μx、μy是图像x、y的均值，
是图像x、y的方差，σxy是x和y的协方差，c1和c2是避免除以零的小常数。
表1显示了在GOPRO测试数据集上的平均PSNR和平均SSIM与其他方法的进行了定量比较。通过比较发现，本发明方法在PSNR和SSIM方面优于其他方法，比文献[6]的PSNR高0.89，SSIM高0.014。
表1各算法在数据集上的定量评估
表2显示在GOPRO测试数据集上所用的时间用Time表示；以及模型参数大小用Size表示。本发明比文献[3]和文献[6]的所需的时间更少，模型参数更小。
表2各算法在数据集上的运行时间和网络模型大小
视觉分析
在图7展示本发明方法与其他方法在GOPRO测试数据集上生成的可视化比较示例。文献[4]是通过CNN估计模糊核的方式实现去模糊，对比发现，文献[1]方法的有一定模糊效果，但存在伪影，无法恢复空间变异的模糊图像。文献[2]、文献[5]和文献[6]都是采用无核方法来去除图像模糊，它们都表现出了相对有限的接受域，虽然可以取得高质量的图像，但是在纹理细节的恢复方面有所欠缺。本发明提出的方法用小波变换保留图像细节信息，使用密集多接受域通道块学习图像非线性特征，与其他比较方法生成的细节和结构相比，本发明网络的去模糊能够保持清晰的纹理细节，效果更佳的明显，可以获得更高质量的视觉效果。
各模块的性能影响
为了验证各个模块的有效性，分别进行了三个模型实验来说明小波变换、密集多接受域通道模块本发明模型的影响。只包含深度可分离卷积、深度可分离残差卷积，图像上下采样用卷积的步长进行控制，5个深度可分离残差块代替密集多接受域块。Model2在Model1的基础上，用小波变换代替图像上、下采样。Model3进一步引入密集多接收域通道块，而Model3就是本发明的模型。它们的对比结果如表3所示。
表3不同模型的定量结果
由表3可知，在Model1模型下，图像评价指标PSNR为26.21dB，SSIM为0.871。Model2在引入小波变换后PSNR升到28.17dB，SSIM升到0.891。说明小波引入可以提升模型性能，原因在于小波变换可以得到四个方向的子频信息，可以学习更多图像细节信息。Model3在引入密集多接收域通道块，PSNR升至30.83dB，SSIM升到0.948。说明密集多接收域通道块有助于提高模型恢复的质量，原因在于减少信息重用、增大了图像接受域并通道注意力机制选取重要的通道信息。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
参考文献：
[1]Sun J,Cao W,Xu Z,et al.Learning a Convolutional Neural Network forNon-uniform Motion Blur Removal[C]//2015 IEEE Conference on Computer Visionand Pattern Recognition(CVPR).IEEE,2015.
[2]Zeng Tao,and Changyu Diao.“Single Image Motion Deblurring Based OnModified DenseNet.”2020 2nd International Conference on Machine Learning,BigData and Business Intelligence(MLBDBI),2020.
[3]Nah S,Kim T H,Lee K M.Deep Multi-scale Convolutional NeuralNetwork for Dynamic Scene Deblurring[C]//IEEE Computer Society.IEEE ComputerSociety,2016.
[4]Kupyn O,Budzan V,Mykhailych M,et al.DeblurGAN:Blind MotionDeblurring Using Conditional Adversarial Networks[C]//2018 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).IEEE,2018.
[5]Zhang J,Pan J,Ren J,et al.Dynamic Scene Deblurring Using SpatiallyVariant Recurrent Neural Networks[C]//2018 IEEE/CVF Conference on ComputerVision and Pattern Recognition(CVPR).IEEE,2018.
[6]Tao X,Gao H,WangY,et al.Scale-recurrent Network for Deep ImageDeblurring[C]//2018IEEE/CVF Conference on Computer Vision and PatternRecognition.IEEE,2018.
Claims (6)
1.一种基于改进U-Net模型的去图像运动模糊方法，其特征在于：所述改进U-Net模型的网络中的卷积核为3×3，激活函数为Leaky ReLU；其编码器通过以下4个阶段操作实现图像的信息提取：第一阶段用一个32通道深度可分离卷积和三个32通道深度可分离残差卷积；第二阶段用哈尔小波变换、一个64通道深度可分离卷积和三个64通道深度可分离残差卷积；第三阶段用哈尔小波变换、一个128通道深度可分离卷积和三个128通道深度可分离残差卷积；第四阶段用哈尔小波变换、一个256通道深度可分离卷积和两个256通道深度可分离残差卷积，以及密集多接受域通道模块；其解码器通过以下4个阶段的操作实现图像的信息处理：第一阶段用两个256通道深度可分离残差卷积和一个512通道深度可分离卷积，以及哈尔小波逆变换；第二阶段与编码器第三阶段的输出通过跳跃连接进行特征融合，用了三个128通道深度可分离残差卷积和一个256通道深度可分离卷积，以及小波逆变换；第三阶段与编码器第二阶段的输出通过跳跃连接进行特征融合，用了三个64通道深度可分离残差卷积和一个128通道深度可分离卷积，以及小波逆变换；第四阶段层与编码器第一阶段的输出通过跳跃连接进行特征融合，用了三个32通道深度可分离残差卷积和一个3通道深度可分离卷积，将特征图恢复到原始分辨率，最后在于输入数据进行融合后，得到恢复结果。
2.如权利要求1所述的一种基于改进U-Net模型的去图像运动模糊方法，其特征在于：所述的深度可分离卷积由逐通道卷积和逐点卷积组成，逐通道卷积用于将上一层的多通道特征全部拆分为单个通道的特征图，并将所得的单个通道的特征图分别用3×3卷积核进行卷积，然后重新堆叠到一起；逐点卷积用于将逐通道卷积得到的特征图进行第二次卷积，使用1×1卷积核，将逐通道卷积结果进行融合，并自由改变输出通道数量。
3.如权利要求1所述的一种基于改进U-Net模型的去图像运动模糊方法，其特征在于：所述的深度可分离残差卷积根据残差卷积，采用两个深度可分离卷积，添加跳跃连接，直接把输入x传到输出作为初始结果,训练目标是将残差结果逼近于0。
4.如权利要求1所述的一种基于改进U-Net模型的去图像运动模糊方法，其特征在于：所述的改进U-Net模型采用小波变换对原始图像进行分解，然后采小波逆变换进行重建，具体的，所述的哈尔小波变换采用二维离散哈尔小波，具体的，设一维高通滤波器用
表示，一维低通滤波器用ψ(·)表示，小波变换过程如下：先用
对图像的行进行操作、对列下采样，再分别用
和ψ(·)对图像的列进行操作、对行下采样，得到IHH和IHL子频信息；然后用ψ(·)对图像的行进行操作、对列下采样，再用ψ(·)和
对图像的列进行滤波、水平下采样，得到ILL和ILH子频信息，得到的四个子频信息如式(1)-(4)所示：
ILL(x,y)＝ψ(x)ψ(y) (4)
式(1)-(4)中，x和y表示图像信息的行和列。IHL表示图像的水平高频、垂直低频信息；IHH表示图像的水平、垂直的高频信息；ILL表示图像的水平、垂直的低频信息；ILH表示图像水平低频、垂直高频信息。
然后，将这些信息经过小波逆变换进行融合，最终重构图像。
5.如权利要求1所述的一种基于改进U-Net模型的去图像运动模糊方法，其特征在于：所述的密集多接受域通道模块由四个多接受域通道块和一个瓶颈层组成，用式(5)表示：
Xout＝G{(Hi[x0,x1,…,xi-1])；ε} (5)
式中，[x0,x1,…,xi-1]表示串联0，…，i-1层的混合接受域块所产生的特征图；Hi表示将多个输入张量转化为单个张量；G(·)表示瓶颈层的输出，ε为瓶颈层的超参数，瓶颈层采用的滤波器大小为1×1。
6.如权利要求5所述的一种基于改进U-Net模型的去图像运动模糊方法，其特征在于：多接受域通道块由扩张接受域块和通道注意力模块组合而成，用式(6)-(7)表示。
其中，w是卷积层，上标代表扩张卷积大小，下表为卷积核大小，LK代表Leaky ReLU激活函数，cat代表连接操作，C表示融合特征，
为Sigmoid激活函数，Out为多接受域通道块的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210183370.8A CN114549361B (zh) | 2022-02-28 | 2022-02-28 | 一种基于改进U-Net模型的去图像运动模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210183370.8A CN114549361B (zh) | 2022-02-28 | 2022-02-28 | 一种基于改进U-Net模型的去图像运动模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114549361A true CN114549361A (zh) | 2022-05-27 |
| CN114549361B CN114549361B (zh) | 2023-06-30 |
Family
ID=81678586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210183370.8A Active CN114549361B (zh) | 2022-02-28 | 2022-02-28 | 一种基于改进U-Net模型的去图像运动模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549361B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN118297804A (zh) * | 2024-06-04 | 2024-07-05 | 南方海洋科学与工程广东省实验室(珠海) | 一种sst空间降尺度的智能方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| US20210166350A1 (en) * | 2018-07-17 | 2021-06-03 | Xi'an Jiaotong University | Fusion network-based method for image super-resolution and non-uniform motion deblurring |
| US20210272248A1 (en) * | 2020-03-02 | 2021-09-02 | GM Global Technology Operations LLC | Systems and methods for training a non-blind image deblurring module |
-
2022
- 2022-02-28 CN CN202210183370.8A patent/CN114549361B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| US20210166350A1 (en) * | 2018-07-17 | 2021-06-03 | Xi'an Jiaotong University | Fusion network-based method for image super-resolution and non-uniform motion deblurring |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| US20210272248A1 (en) * | 2020-03-02 | 2021-09-02 | GM Global Technology Operations LLC | Systems and methods for training a non-blind image deblurring module |
Non-Patent Citations (2)
| Title |
|---|
| 王晓红;卢辉;黄中秋;麻祥才;: "基于颜色空间变换和CNN的自适应去模糊方法", no. 07 * |
| 郭业才;朱文军;: "基于深度卷积神经网络的运动模糊去除算法", no. 03 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN116051408B (zh) * | 2023-01-06 | 2023-10-27 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN118297804A (zh) * | 2024-06-04 | 2024-07-05 | 南方海洋科学与工程广东省实验室(珠海) | 一种sst空间降尺度的智能方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114549361B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
| CN111539879B (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN111091503B (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
| CN109360156A (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
| CN114549361B (zh) | 一种基于改进U-Net模型的去图像运动模糊方法 | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN111199521B (zh) | 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法 | |
| CN113902647B (zh) | 一种基于双闭环网络的图像去模糊方法 | |
| Liu et al. | Single image super resolution techniques based on deep learning: Status, applications and future directions | |
| CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN116029902A (zh) | 一种基于知识蒸馏的无监督真实世界图像超分辨方法 | |
| López-Tapia et al. | Deep learning approaches to inverse problems in imaging: Past, present and future | |
| Zhang et al. | Learning temporal-ordered representation for spike streams based on discrete wavelet transforms | |
| CN114331913B (zh) | 基于残差注意力块的运动模糊图像复原方法 | |
| CN117114984A (zh) | 基于生成对抗网络的遥感图像超分辨率重建方法 | |
| Dharejo et al. | SwinWave-SR: Multi-scale lightweight underwater image super-resolution | |
| Lian et al. | An Image Deblurring Method Using Improved U‐Net Model | |
| Shin et al. | LoGSRN: Deep super resolution network for digital elevation model | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 | |
| Cao et al. | Wavelet-supervision convolutional neural network for restoration of JPEG-LS near lossless compression image | |
| Ranjan et al. | Image Denoising using Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |