CN116703786A - 一种基于改进UNet网络的图像去模糊方法和系统 - Google Patents

一种基于改进UNet网络的图像去模糊方法和系统 Download PDF

Info

Publication number
CN116703786A
CN116703786A CN202310992914.XA CN202310992914A CN116703786A CN 116703786 A CN116703786 A CN 116703786A CN 202310992914 A CN202310992914 A CN 202310992914A CN 116703786 A CN116703786 A CN 116703786A
Authority
CN
China
Prior art keywords
feature
image
module
improved
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310992914.XA
Other languages
English (en)
Other versions
CN116703786B (zh
Inventor
李现国
石蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN202310992914.XA priority Critical patent/CN116703786B/zh
Publication of CN116703786A publication Critical patent/CN116703786A/zh
Application granted granted Critical
Publication of CN116703786B publication Critical patent/CN116703786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于改进UNet网络的图像去模糊方法和系统，涉及图像处理技术领域，包括：构建包括三种尺度的模糊图像的训练数据集；将训练数据集输入至改进UNet网络中进行训练，其中，改进UNet网络的各个编码器中都嵌入有改进的残差模块AotRes，在第三编码器中还嵌入有Swin Transformer模块；各个解码器中都嵌入有改进的残差模块AotRes，在第一解码器和第二解码器中还设有转置卷积模块；接收待处理模糊图像，将待处理模糊图像输入到训练后的改进UNet网络，得到去模糊后的图像。本发明充分利用了图像先验信息，增强对远距离特征和丰富结构细节的捕捉，增强全局特征提取能力的同时降低了计算复杂度，能够更好的进行运动图像去模糊。

Description

一种基于改进UNet网络的图像去模糊方法和系统
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于改进UNet网络的图像去模糊方法和系统。
背景技术
图像是人类获取信息的主要来源之一，但是由于噪声、传感器的非线性因素以及景物与成像设备之间的相对运动等多种因素的影响，图像成像过程中会导致图像质量的降低，该过程即为图像退化，具体的表现形式就是图像模糊。无论是对于仅仅影响一幅图像中某些个别点的点退化而言，还是影响图像中的一个空间区域的空间退化，退化都会导致图像模糊，所以要对图像进行分析、处理。造成模糊的原因有很多种，一般分为失焦模糊和运动模糊。而其中较为重要的是在拍摄时，相机与景物之间存在足够大的相对运动造成所拍摄图像的模糊，称之为运动模糊。随着人们生活的日益丰富，相机的应用越来越普遍，运动模糊在成像过程中很容易发生。例如在高速行驶的列车、汽车中拍摄窗外景物，在飞机或宇宙飞行器上进行拍照，用相机拍摄高速运动物体，在突发事件的场合，以及战场上飞行中的导弹等均有可能产生这种现象。
在实现本发明的过程中，发明人发现：虽然模糊图像的恢复结果得到不断的改善，但还远远没有达到人们的要求，已有去模糊的方法多多少少有其不足之处，尤其是不能充分利用先验信息，不能充分的捕捉远距离特征和结构细节，造成图像部分信息的缺失，而低质量的模糊图像往往不便于人们观察、易引起视觉疲劳，并给后续诸多领域的图像智能化分析带来极大挑战。因此，如何充分利用先验信息，推断大的缺失区域的缺失内容是非常有必要的。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一，公开了一种基于改进UNet网络的图像去模糊方法和系统，能够充分利用先验信息，充分捕捉远距离特征和结构细节，能够推断大的缺失区域的缺失内容，同时降低了计算复杂度，提高了图像修复效率，为后续的图像智能化分析工作提供巨大帮助。
本发明的第一方面公开了一种基于改进UNet网络的图像去模糊方法，包括：接收若干公开的模糊图像，对模糊图像进行预处理，得到三种尺度的模糊图像以构建训练数据集；将训练数据集输入至改进UNet网络中进行训练，得到训练后的改进UNet网络，其中，改进UNet网络包括编码模块、特征融合模块和解码模块，编码模块具体包括第一编码器、第二编码器和第三编码器，各个编码器中都嵌入有改进的残差模块AotRes，在第三编码器中还嵌入有Swin Transformer模块；特征融合模块采用非对称特征融合算法进行特征融合；解码模块具体包括第一解码器、第二解码器和第三解码器，各个解码器中都嵌入有改进的残差模块AotRes，在第一解码器和第二解码器中还设有转置卷积模块；接收待处理模糊图像，将待处理模糊图像输入到训练后的改进UNet网络，得到去模糊后的图像。
根据本发明公开的基于改进UNet网络的图像去模糊方法，优选地，预处理具体包括：将公开的模糊图像作为第一尺度输入图像Input_C1；将第一尺度输入图像Input_C1输入到数组采样操作F.interpolate中，进行下采样操作得到第二尺度输入图像Input_C2；将第二尺度输入图像Input_C2输入到数组采样操作F.interpolate中，进行下采样操作得到第三尺度输入图像Input_C3。
根据本发明公开的基于改进UNet网络的图像去模糊方法，优选地，训练具体包括：将第一尺度输入图像Input_C1输入到第一编码器中得到特征图Feature_EM1；将第二尺度输入图像Input_C2首先经过浅卷积模块处理，然后与特征图Feature_EM1一起输入到第二编码器中得到特征图Feature_EM2；将第三尺度输入图像Input_C3首先经过浅卷积模块处理，然后与特征图Feature_EM2一起输入到第三编码器中得到特征图Feature_EM3。
根据本发明公开的基于改进UNet网络的图像去模糊方法，优选地，采用非对称特征融合算法进行特征融合的步骤，具体包括：将特征图Feature_EM1、特征图Feature_EM2和特征图Feature_EM3执行concat操作，得到合并后的特征图，合并后的特征图再依次输入至卷积核为1×1的卷积层、卷积核为3×3的Do-Conv和通道注意力SE Block，得到特征融合图Feature_FM1和特征融合图Feature_FM2，其中，特征融合图Feature_FM1和特征融合图Feature_FM2的通道数不同。
根据本发明公开的基于改进UNet网络的图像去模糊方法，优选地，解码模块的具体运算过程包括：将特征图Feature_EM3输入至解码器1得到特征图Feature_DM1；将特征图Feature_DM1与特征融合图Feature_FM2 进行融合得到特征图Feature_Fuse2，将特征图Feature_Fuse2输入至解码器2中得到特征图Feature_DM2；将特征图Feature_DM2与特征融合图Feature_FM1 进行融合得到特征图Feature_Fuse1，将特征图Feature_Fuse1输入至解码器3得到特征图Feature_DM3；将特征图Feature_DM3输入卷积核为3×3的卷积层，然后经过残差计算得到输出图像。
根据本发明公开的基于改进UNet网络的图像去模糊方法，优选地，改进的残差模块AotRes被配置为进行拆分、转换、合并的运算，具体运算过程包括：拆分：将标准卷积的卷积核拆分为四个子核，每个子核具有四分之一的输出通道；转换：四个子核分别使用膨胀率为1、2、3、4的空洞卷积，对输入特征x1进行不同变换,得到x2、 x3、 x4、 x5，然后通过级联得到特征x6；合并：输入特征x1依次经过卷积核为3×3的卷积和sigmoid运算，计算出输入特征x1空间变化的门限值g，然后输入特征x1和特征x6进行加权求和得到特征x7，计算式为：。
本发明的第二方面公开了一种基于改进UNet网络的图像去模糊的系统，包括：存储器，用于存储程序指令；处理器，用于调用存储器中存储的程序指令以实现如上述任一技术方案的基于改进UNet网络的图像去模糊方法。
本发明的有益效果至少包括：充分利用了图像先验信息，增强对远距离特征和丰富结构细节的捕捉，增强全局特征提取能力的同时降低了计算复杂度，能够更好的进行运动图像去模糊，该方法可以但不局限于应用在公开的模糊图像数据集任务中。
附图说明
图1示出了根据本发明的一个实施例的基于改进UNet网络的图像去模糊方法的流程示意图。
图2示出了根据本发明的一个实施例的基于改进UNet网络的图像去模糊方法的网络结构示意图。
图3示出了根据本发明的一个实施例的改进的残差模块AotRes的模型结构图。
图4示出了根据本发明的一个实施例的Swin Transformer模块的模型结构图。
图5示出了根据本发明的一个实施例的改进的非对称特征融合模块的模型结构图。
图6示出了根据本发明的一个实施例的UNet网络改进前后应用于公开的模糊图像数据集去模糊结果的对比图。
图7示出了根据本发明的一个实施例的UNet网络改进前后应用于文本模糊图像和车牌模糊图像去模糊结果的对比图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
如图1所示，本发明公开的基于改进UNet网络的图像去模糊方法具体包括：
S1、准备公开的模糊图像数据集，对公开的模糊图像数据集进行预处理，得到三种尺度输入图像；
S2、将三种尺度输入图像输入至改进UNet网络中进行训练，得到训练后的改进UNet模型，所述改进UNet网络包括编码模块、特征融合模块和解码模块：在编码模块有三个编码器，分别为编码器1、编码器2和编码器3，在三个编码器中都嵌入改进的残差模块AotRes，在编码器3中还嵌入Swin Transformer模块；在特征融合模块，使用改进的非对称特征融合模块进行特征融合；在解码模块有三个解码器，分别为解码器1、解码器2和解码器3，在三个解码器中都嵌入改进的残差模块AotRes，在解码器1和解码器2中还嵌入转置卷积；
S3、将待处理的模糊图像输入至训练后的改进UNet模型，得到去模糊结果。
在上述步骤S1中，准备公开的GoPro数据集和RealBlur数据集，进行预处理，本实施例中，采用数组采样操作的方法对图像的预处理，具体为：公开的模糊图像数据集为第一尺度输入图像Input_C1；将第一尺度输入图像Input_C1输入到数组采样操作F.interpolate中，进行下采样操作得到第二尺度输入图像Input_C2；将第二尺度输入图像Input_C2输入到数组采样操作F.interpolate中，进行下采样操作得到第三尺度输入图像Input_C3。
本实施例中，数组采样操作方法对目标图像进行下采样操作，改变第一尺度输入图像Input_C1和第二尺度输入图像Input_C2的尺寸大小，尽量保证数据的完整性，然后将第一尺度输入图像Input_C1，第二尺度输入图像Input_C2和第三尺度输入图像Input_C3输入至模型中进行训练。
在上述步骤S2中，将所述三种尺度输入图像输入至改进UNet网络中进行训练，得到训练后的改进UNet模型；本发明实施例中，参见图2，改进的UNet模型包括：1)在编码模块有三个编码器，分别为解码器1、解码器2和解码器3在每个编码器中都嵌入改进的残差模块AotRes，在编码器3中嵌入Swin Transformer模块进行编码；2)在特征融合模块，使用改进的非对称特征融合模块进行特征融合；3)在解码模块有三个解码器，分别为解码器1、解码器2和解码器3，在每个解码器中都嵌入改进的残差模块AotRes，在解码器1和解码器2中嵌入转置卷积。
编码模块的具体运算过程包括：
编码的主要目的是将输入数据转换为一种更高级别的表示，以便于后续的处理和分析。如图2所示，本发明实施例中，在编码模块中，主要由三个编码器构成，分别为编码器1、编码器2和编码器3，其中编码器1由卷积层、改进的残差模块AotRes组成，编码器2由卷积层、特征注意力模块FAM和改进的残差模块AotRes组成，编码器3由卷积层、SwinTransformer模块和改进的残差模块AotRes组成；其中改进的残差模块AotRes和SwinTransformer模块的结构分别如图3和图4所示；
如图2所示，编码模块的具体流程如下：
S1、第一尺度输入图像Input_C1输入到编码器1中经过一层卷积核为3×3卷积层，再经过改进的残差模块AotRes，得到特征图Feature_EM1；
本发明实施例中，改进的残差模块AotRes参见图3，具体操作为：首先经过拆分将输出通道的子核平均分成四个子核使得每个子内核具有四分之一个输出通道；然后经过转换，使用膨胀率分别为1、2、3、4的4组空洞卷积，在连续位置之间引入零来展开扩张的核对输入特征x1进行不同变换,得到x2、 x3、 x4、 x5,然后通过concat操作得到特征x6，每组膨胀卷积的通道数是原来的四分之一，拼接在一起后保持通道数不变；最后合并，输入特征x1依次经过卷积核为3×3的卷积和sigmoid运算，计算出输入特征x1空间变化的门限值g，然后输入特征x1和特征x6进行加权求和得到特征x7，计算式为：
公式中对传统的相同剩余连接进行改进，改进为选通剩余连接，公式中g是空间可变门控，这种空间变化的特征聚合在尽可能更新缺失区域内特征的同时，保留缺失区域外的已知特征；通过以上三个步骤聚合多个上下文转换以增强上下文推理；
S2、第二尺度输入图像Input_C2首先使用浅卷积模块，然后再输入到编码器2中经过第一层卷积核为3×3的卷积层，再与特征图Feature_EM1一起经过特征注意力模块，最后通过改进的残差模块AotRes，改进的残差模块AotRes包括拆分、转换、合并三个步骤聚合多个上下文转换以增强上下文推理，得到特征图Feature_EM2；
S3、第三尺度输入图像Input_C3，首先使用浅卷积模块，然后输入到编码器3中经过第一层卷积核为3×3的卷积层；再与特征图Feature_EM2一起经过Swin Transformer模块，最后经过改进的残差模块AotRes，改进的残差模块AotRes包括拆分、转换、合并三个步骤聚合多个上下文转换以增强上下文推理，得到特征图Feature_EM3；
本发明实施例中，浅卷积模块的具体操作为：输入特征首先经过一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层，然后再经过一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层，得到中间特征，然后将中间特征和输入特征进行concat操作，最后再经过一个卷积核为1×1的卷积层；
本发明实施例中，Swin Transformer模型参见图4，在特征输入至Swin Transformer模型之前，网络首先读取融合特征的维度并作记录，融合特征仍然与图像维度 一致，即(B, C, H, W)，其中，H为图像高度，W为图像宽度，C为图像通道数，使用Flatten操 作将图像的宽高维度展开成一维数据的形式，即(B, C, H×W)，受到Swin Transformer模 块层输入的限制，需要再次将展开后的数据形式进行转换，修改为(B, H×W, C),得到融合 后的图像特征输入Swin Transformer模块，Swin Transformer模块的具体操作步骤 为：
1)、融合后的图像特征先经过LayerNorm层，然后将融合后的64×64的特征图 平均划分16×16个窗口，得到窗口数D=256，其中每个窗口像素个数P=4，在窗口中计算自注 意力机制Self-Attention，再经过残差计算得到特征；
其中，窗口数D的计算式为：
2)、特征依次经过LayerNorm层、多层感知机MLP和残差连接得到特征；
3)、特征先经过LayerNorm层，然后将64×64的特征图平均划分16×16个窗口， 再移动(2, 2)个像素, 得到窗口数D=289，在窗口中计算自注意力机制Self-Attention，再 经过一个残差连接得到特征；
4)、特征依次经过LayerNorm层、多层感知机MLP和残差连接得到特征；
Swin Transformer模块的具体操作步骤可表示为：
在窗口中计算Self-Attention，会导致不同窗口之间缺乏信息交互，为了使不同窗口能进行窗口交互，增强建模能力，同时保持非重叠窗口的高效计算，Swin Transformer模块中的SW-MSA计算模块，是在计算W-MSA的局部窗口基础上移动(P/2, P/2)个像素所得的窗口。
参见图5所示，特征融合模块的具体运算过程包括：
将所述特征图Feature_EM1，特征图Feature_EM2和特征图Feature_EM3执行concat操作，将编码器中提取的特征进行融合，以促进不同尺度之间特征信息的融合流动，得到合并后的特征图，然后将合并后的特征图输入至卷积核为1×1的卷积层和卷积核为3×3的Do-Conv中组合多尺度特征，最后输入至通道注意力SE Block中，进一步提升网络去模糊性能，增强融合特征通道之间的相互依赖关系，得到特征融合图Feature_FM1和特征融合图Feature_FM2 ，特征融合图Feature_FM1和特征融合图Feature_FM2的通道数不同。
解码模块的具体运算过程包括：
解码的主要目的是将编码部分提取的高层次特征重新转换为原始数据，本发明实施例中，在编码模块中，主要由三个解码器构成，分别为解码器1、解码器2和解码器3，解码器1是由一层改进的残差模块AotRes和一层转置卷积构成；解码器2是由卷积层、改进的残差模块AotRes和转置卷积构成；解码器3是由卷积层和改进的残差模块AotRes构成；
参见图2所示，解码模块的具体流程如下：
S1、将特征图Feature_EM3输入至解码器1，经过一个改进的残差模块AotRes，改进的残差模块AotRes包括拆分、转换、合并三个步骤聚合多个上下文转换以增强上下文推理，再经过一个卷积核为4×4的转置卷积，得到输出特征图Feature_DM1；
S2、将特征图Feature_DM1与特征融合图Feature_FM2 特征进行融合得到融合后的特征图Feature_Fuse2;将特征图Feature_Fuse2输入至解码器2，经过一个卷积核为1×1的卷积层，再经过一个改进的残差模块AotRes，改进的残差模块AotRes包括拆分、转换、合并三个步骤聚合多个上下文转换以增强上下文推理，最后经过一个卷积核为4×4的转置卷积，从而得到输出特征图Feature_DM2；
S3、将所述特征图Feature_DM2与所述特征融合图Feature_FM1 特征进行融合得到融合后的特征图Feature_Fuse1，将所述特征图Feature_Fuse1输入至解码器3，经过一个卷积核为1×1的卷积层，在经过一个改进的残差模块AotRes，改进的残差模块AotRes包括拆分、转换、合并三个步骤聚合多个上下文转换以增强上下文推理，得到特征图Feature_DM3；
S4、将所述特征图Feature_DM3输入至卷积核为3×3的卷积层，然后在经过一个残差连接得到输出图像，训练完成得到最终的改进UNet模型；
本发明实施例中，两个转置卷积的操作过程相同，首先在输入特征图元素间填充1行0和1列0, 然后在输入特征图四周填充1行0和1列0,接着对卷积核参数进行上下和左右翻转，最后做常规的卷积操作。
进一步地，取公开的数据集中的图像输入至所述训练后的改进UNet模型，得到结果；其中两张图像的对比结果如图6所示，其中图6上边部分是GoPro数据集中的一张图片，从左到右分别是模糊图像、DeepDeblur、DMPHN、MPRNet、改进UNet模型的结果,下边部分Realblur数据集中的一张图片,从左到右分别是模糊图像、DeepDeblur、SRN、MPRNet、改进UNet模型的结果,通过对比，可以说明本发明方法能够有效解决不能充分利用先验信息，不能充分的捕捉远距离特征和结构细节，造成图像部分信息缺失的运动图像去模糊问题。
进一步地，将文本模糊图像和车牌模糊图像输入至所述训练后的改进UNet模型，得到结果，并和未改进UNet模型的结果进行对比，对比结果如图7所示，其中图7左上部分为未改进UNet模型的文本图像去模糊结果，图7的右上部分为本发明改进UNet模型的文本图像去模糊结果，图7左下部分为未改进UNet模型的车牌图像去模糊结果，图7的右下部分为本发明改进UNet模型的车牌图像去模糊结果；本发明充分利用了图像先验信息，增强对远距离特征和丰富结构细节的捕捉，增强全局特征提取能力的同时降低了计算复杂度，能够更好的进行运动图像去模糊，该方法可以但不局限于应用在公开的模糊图像数据集任务中。
上述实施例的各种方法中的全部或部分步骤是可以通过程序来控制相关的硬件来完成，该程序可以存储于可读存储介质中，存储介质包括只读存储器(Read—OnlyMemory，ROM) 、随机存储器(Random Access Memory，RAM) 、可编程只读存储器(Programmable Read-only Memory，PROM) 、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM) 、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM) 、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM) 、只读光盘(CompactDisc Read—Only Memory，CD-ROM) 或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的可读的任何其他介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于改进UNet网络的图像去模糊方法，其特征在于，包括：
接收若干公开的模糊图像，对所述模糊图像进行预处理，得到三种尺度的模糊图像以构建训练数据集；
将所述训练数据集输入至改进UNet网络中进行训练，得到训练后的改进UNet网络，其中，所述改进UNet网络包括编码模块、特征融合模块和解码模块，所述编码模块具体包括第一编码器、第二编码器和第三编码器，各个编码器中都嵌入有改进的残差模块AotRes，在第三编码器中还嵌入有Swin Transformer模块；所述特征融合模块采用非对称特征融合算法进行特征融合；所述解码模块具体包括第一解码器、第二解码器和第三解码器，各个解码器中都嵌入有改进的残差模块AotRes，在第一解码器和第二解码器中还设有转置卷积模块；
接收待处理模糊图像，将所述待处理模糊图像输入到所述训练后的改进UNet网络，得到去模糊后的图像。
2.根据权利要求1所述的基于改进UNet网络的图像去模糊方法，其特征在于，所述预处理具体包括：
将公开的模糊图像作为第一尺度输入图像Input_C1；
将第一尺度输入图像Input_C1输入到数组采样操作F.interpolate中，进行下采样操作得到第二尺度输入图像Input_C2；
将第二尺度输入图像Input_C2输入到数组采样操作F.interpolate中，进行下采样操作得到第三尺度输入图像Input_C3。
3.根据权利要求2所述的基于改进UNet网络的图像去模糊方法，其特征在于，所述训练具体包括：
将第一尺度输入图像Input_C1输入到第一编码器中得到特征图Feature_EM1；将第二尺度输入图像Input_C2首先经过浅卷积模块处理，然后与特征图Feature_EM1一起输入到第二编码器中得到特征图Feature_EM2；将第三尺度输入图像Input_C3首先经过浅卷积模块处理，然后与特征图Feature_EM2一起输入到第三编码器中得到特征图Feature_EM3。
4.根据权利要求3所述的基于改进UNet网络的图像去模糊方法，其特征在于，所述采用非对称特征融合算法进行特征融合的步骤，具体包括：
将特征图Feature_EM1、特征图Feature_EM2和特征图Feature_EM3执行concat操作，得到合并后的特征图，合并后的特征图再依次输入至卷积核为1×1的卷积层、卷积核为3×3的Do-Conv和通道注意力SE Block，得到特征融合图Feature_FM1和特征融合图Feature_FM2，其中，所述特征融合图Feature_FM1和所述特征融合图Feature_FM2的通道数不同。
5.根据权利要求4所述的基于改进UNet网络的图像去模糊方法，其特征在于，所述解码模块的具体运算过程包括：
将特征图Feature_EM3输入至解码器1得到特征图Feature_DM1;
将特征图Feature_DM1与特征融合图Feature_FM2 进行融合得到特征图Feature_Fuse2，将特征图Feature_Fuse2输入至解码器2中得到特征图Feature_DM2；
将特征图Feature_DM2与特征融合图Feature_FM1 进行融合得到特征图Feature_Fuse1，将特征图Feature_Fuse1输入至解码器3得到特征图Feature_DM3；
将特征图Feature_DM3输入卷积核为3×3的卷积层，然后经过残差计算得到输出图像。
6.根据权利要求1至5中任一项所述的基于改进UNet网络的图像去模糊方法，其特征在于，所述改进的残差模块AotRes被配置为进行拆分、转换、合并的运算，具体运算过程包括：
拆分：将标准卷积的卷积核拆分为四个子核，每个子核具有四分之一的输出通道；
转换：四个子核分别使用膨胀率为1、2、3、4的空洞卷积，对输入特征x1进行不同变换,得到x2、 x3、 x4、 x5，然后通过级联得到特征x6；
合并：输入特征x1依次经过卷积核为3×3的卷积和sigmoid运算，计算出输入特征x1空间变化的门限值g，然后输入特征x1和特征x6进行加权求和得到特征x7，计算式为：。
7.一种基于改进UNet网络的图像去模糊的系统，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如权利要求1至5中任一项所述的基于改进UNet网络的图像去模糊方法。
CN202310992914.XA 2023-08-09 2023-08-09 一种基于改进UNet网络的图像去模糊方法和系统 Active CN116703786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310992914.XA CN116703786B (zh) 2023-08-09 2023-08-09 一种基于改进UNet网络的图像去模糊方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310992914.XA CN116703786B (zh) 2023-08-09 2023-08-09 一种基于改进UNet网络的图像去模糊方法和系统

Publications (2)

Publication Number Publication Date
CN116703786A true CN116703786A (zh) 2023-09-05
CN116703786B CN116703786B (zh) 2023-10-20

Family

ID=87843724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310992914.XA Active CN116703786B (zh) 2023-08-09 2023-08-09 一种基于改进UNet网络的图像去模糊方法和系统

Country Status (1)

Country Link
CN (1) CN116703786B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658282A (zh) * 2021-06-25 2021-11-16 陕西尚品信息科技有限公司 一种图像压缩解压缩方法及其装置
CN114723630A (zh) * 2022-03-31 2022-07-08 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN114936977A (zh) * 2022-05-31 2022-08-23 东南大学 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN115439751A (zh) * 2022-09-22 2022-12-06 桂林理工大学 一种融合多注意力的高分辨率遥感影像道路提取方法
CN115546505A (zh) * 2022-09-14 2022-12-30 浙江工商大学 一种基于深度学习的无监督单目图像深度估计方法
CN115690002A (zh) * 2022-10-11 2023-02-03 河海大学 一种基于Transformer和密集特征融合的遥感图像变化检测方法及系统
CN115965633A (zh) * 2023-01-19 2023-04-14 重庆理工大学 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统
CN116309648A (zh) * 2023-05-14 2023-06-23 哈尔滨理工大学 一种基于多注意力融合的医学图像分割模型构建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN113658282A (zh) * 2021-06-25 2021-11-16 陕西尚品信息科技有限公司 一种图像压缩解压缩方法及其装置
CN114723630A (zh) * 2022-03-31 2022-07-08 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN114936977A (zh) * 2022-05-31 2022-08-23 东南大学 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN115546505A (zh) * 2022-09-14 2022-12-30 浙江工商大学 一种基于深度学习的无监督单目图像深度估计方法
CN115439751A (zh) * 2022-09-22 2022-12-06 桂林理工大学 一种融合多注意力的高分辨率遥感影像道路提取方法
CN115690002A (zh) * 2022-10-11 2023-02-03 河海大学 一种基于Transformer和密集特征融合的遥感图像变化检测方法及系统
CN115965633A (zh) * 2023-01-19 2023-04-14 重庆理工大学 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统
CN116309648A (zh) * 2023-05-14 2023-06-23 哈尔滨理工大学 一种基于多注意力融合的医学图像分割模型构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIAN ZHAO: "Rethinking Image Deblurring via CNN-Transformer Multiscale Hybrid Architecture", 《IEEE》 *

Also Published As

Publication number Publication date
CN116703786B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
Kim et al. Deep sr-itm: Joint learning of super-resolution and inverse tone-mapping for 4k uhd hdr applications
CN112308200B (zh) 神经网络的搜索方法及装置
CN109993712B (zh) 图像处理模型的训练方法、图像处理方法及相关设备
CN110933429B (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN111028150A (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN112070664A (zh) 一种图像处理方法以及装置
CN113378775B (zh) 一种基于深度学习的视频阴影检测与消除方法
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN114973049A (zh) 一种统一卷积与自注意力的轻量视频分类方法
CN112529776A (zh) 图像处理模型的训练方法、图像处理方法及装置
WO2020043296A1 (en) Device and method for separating a picture into foreground and background using deep learning
CN115345866A (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN115272438A (zh) 一种面向三维场景重建的高精度单目深度估计系统及方法
CN114067225A (zh) 一种无人机小目标检测方法、系统及可存储介质
CN113362239A (zh) 一种基于特征交互的深度学习图像修复方法
CN116703786B (zh) 一种基于改进UNet网络的图像去模糊方法和系统
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统
CN116977208A (zh) 双分支融合的低照度图像增强方法
CN116778165A (zh) 基于多尺度自适应语义分割的遥感影像灾害检测方法
Sun et al. Two-stage deep single-image super-resolution with multiple blur kernels for Internet of Things
CN116402717A (zh) 基于自注意力机制与联合空洞卷积的goci图像修复去噪方法
CN112686828B (zh) 视频去噪方法、装置、设备及存储介质
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230905

Assignee: TIANJIN JIETAI GAOKE SENSING TECHNOLOGY CO.,LTD.

Assignor: TIANJIN POLYTECHNIC University

Contract record no.: X2024980002554

Denomination of invention: A method and system for image deblurring based on improved UNet network

Granted publication date: 20231020

License type: Common License

Record date: 20240306