CN112801901B - 基于分块多尺度卷积神经网络的图像去模糊算法 - Google Patents
基于分块多尺度卷积神经网络的图像去模糊算法 Download PDFInfo
- Publication number
- CN112801901B CN112801901B CN202110082948.6A CN202110082948A CN112801901B CN 112801901 B CN112801901 B CN 112801901B CN 202110082948 A CN202110082948 A CN 202110082948A CN 112801901 B CN112801901 B CN 112801901B
- Authority
- CN
- China
- Prior art keywords
- image
- scale
- encoder
- residual block
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 71
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于分块多尺度卷积神经网络的图像去模糊算法，属于图像处理技术领域，包括将预处理后的图像作为训练数据；生成器的网络架构包括编码器和解码器两个部分；编码器生成特征编码；解码器重构输出图片，最终生成去模糊后的图片，通过对最终的去模糊图片与原始图像进行误差处理，获得最终优化的去模糊图像。本发明提升了网络模型的去模糊能力；结合通道注意力机制,使得网络在训练过程中可以关注到更加有用的信息而忽略不重要的信息；结合空间注意力机制，使网络学习到全局特征之间的依赖关系，捕捉到图片信息中更需要被关注的区域；降低了模型的参数量，提升了训练速度和图像重建速度均；提高了去模糊的质量。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于分块多尺度卷积神经网络的图像去模糊算法。
背景技术
随着数码产品的不断升级换代，智能手机、数码相机等具有摄影摄像功能的设备得到广泛普及。数以亿计的成像设备每分每秒都会产生海量的视频图像数据，这些数据包含了大量有价值的信息。然而，人们在使用手持摄影设备时通常会发生相机抖动或者物体相对与相机运动的情况，使得最终获取的视频图像存在模糊，丢失一部分有用信息。因此，如何去除图像中的运动模糊，重建出更加符合人类视觉感受的清晰图像非常具有研究价值。
针对如何去除图像中的运动模糊这一问题，通常采用基于传统的去模糊方法和基于深度学习的去模糊方法。随着深度学习和机器学习的不断发展，基于卷积神经网络的图像去模糊方法成为研究的主流方向。基于卷积神经网络的图像去模糊方法通过在大量包含运动模糊的图像数据集上提取运动特征，并在网络模型训练的过程中不断迭代更新去模糊网络的参数，获取更加适合图像恢复的参数值，从而重建出清晰的图像。虽然基于深度学习的方法具有很好去模糊效果，但是如何在提升网络模型去除图像模糊速度的同时保证更好的图像复原质量依然是个难点。
发明内容
本发明的目的在于提供一种通过结合双注意力机制，在增加较少模型参数的情况下，可以显著提升模型去模糊效果的基于分块多尺度卷积神经网络的图像去模糊算法，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
本发明提供一种基于分块多尺度卷积神经网络的图像去模糊算法，其特征在于，包括如下流程步骤：
步骤S110：选用Gopro数据集作为训练集，获取图像数据集中的清晰--模糊图像对，对模糊图像进行预处理，将预处理后的图像作为训练数据；
步骤S120：设置生成器的网络架构，生成器的网络架构采用U-net结构，包括编码器和解码器两个部分；
步骤S130：编码器的多个下采样层对原始图像进行卷积运算，再通过残差块提取图像特征，对相邻块图像生成的特征编码进行连接操作，生成具有与下一尺度编码器生成特征相同尺寸的特征编码；解码器重构输出图片，生成具有与下一尺度输入数据相同尺寸的特征图；
步骤S140：将生成的特征图与下一尺度输入数据叠加，作为下一尺度的输入数据；将进行连接操作后的特征编码与下一尺度编码器生成的特征编码叠加，作为下一尺度解码器的解码对象；
步骤S150：最终生成去模糊后的图片，通过对最终的去模糊图片与原始图像进行误差处理，获得最终优化的去模糊图像。
优选的，生成器的网络架构为3个尺度，分别为第一尺度、第二尺度和第三尺度。
优选的，将第一尺度的输入图像等分成大小相等的4个图像块，将图像块送入编码器下采样提取图像块中待识别的特征进行编码，并将相邻的两个特征进行连接操作，合并成与下一个尺度图像块具有相同尺寸的特征，解码器用于上采样并解码出特征图像；
将第一尺度输出的特征图像作为第二尺度的输入图像的一部分，与分为2块后的输入第二尺度的原始图像共同作为输入数据送入第二尺度的编码器；第二尺度的编码器编码后得到的特征与第一尺度编码器编码后得到的特征叠加，经解码器解码出特征图像；
将第二尺度输出的特征图像作为第三尺度输入图像的一部分，与分为1块后的输入第三尺度的原始图像共同作为输入数据送入第三尺度的编码器；第二尺度编码器编码后得到的特征与第三尺度编码器编码后得到的特征叠加，经解码器解码出特征图像，并最终输出去模糊后的图像；
优选的，所述编码器由3个卷积层、1个结合双注意力机制的残差块和5个普通残差块组成，其结构依次是：第一卷积层、第一残差块、结合双注意力机制的残差块、第二卷积层、第二残差块、第三残差块、第三卷积层、第四残差块、第五残差块。
优选的，所述解码器由1个卷积层、2个反卷积层和6个普通残差块组成，其结构依次是：第一残差块、第二残差块、第一反卷积层、第三残差块、第四残差块、第二反卷积层、第五残差块、第六残差块、第三卷积层。
优选的，第一个卷积层的卷积核大小为3×3、步幅为1，生成32个特征图；第二个卷积层的卷积核大小为3×3、步幅为2，生成64个特征图；第三个卷积层的卷积核大小为3×3、步幅为2，生成128个特征图。
优选的，所述解码器第一个反卷积层的卷积核大小为4×4、步幅为2，生成64个特征图；第二个反卷积层的卷积核大小为4×4、步幅为2，生成32个特征图；卷积层的卷积核大小为3×3、步幅为2，生成128个特征图；每个残差块包含2个卷积层，每个卷积层的卷积核大小为3×3、步幅为1。
优选的，所述网络模型的的损失函数为：
其中，S1表示最后一个尺度的输出，G表示真实的清晰图像，F取1，表示采用L1范数。通过最小化网络输出与真实清晰图像之间的均方误差，不断更新网络参数。
第二方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求1-8任一项所述的基于分块多尺度卷积神经网络的图像去模糊算法。
第三方面，本发明提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的基于分块多尺度卷积神经网络的图像去模糊算法。
本发明有益效果：基于分块多尺度卷积神经网络，提出结合双注意力机制的解决方法，多尺度的策略使得网络在关注图像细节信息的同时可以兼顾保留全局信息，提升了网络模型的去模糊能力；结合通道注意力机制，使得网络在训练过程中可以关注到更加有用的信息而忽略不重要的信息；结合空间注意力机制，使网络学习到全局特征之间的依赖关系，捕捉到图片信息中更需要被关注的区域。改进后的网络框架具有更少的层数，不仅降低了模型的参数量，而且训练速度和重建模糊图像的速度均有提升；在降低参数的同时提高了去模糊的质量，提升了去模糊后图像的客观评价指标。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的改进的基于分块多尺度卷积神经网络的运动图像去模糊算法的流程框架示意图。
图2为本发明实施例所述的改进的基于分块多尺度卷积神经网络的运动图像去模糊算法所结合的双注意力模块示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种基于分块多尺度卷积神经网络的图像去模糊算法，该算法包括如下流程步骤：
步骤S110：选用Gopro数据集作为训练集，获取图像数据集中的清晰--模糊图像对，对模糊图像进行预处理，将预处理后的图像作为训练数据；
步骤S120：设置生成器的网络架构，生成器的网络架构采用U-net结构，包括编码器和解码器两个部分；
步骤S130：编码器的多个下采样层对原始图像进行卷积运算，再通过残差块提取图像特征，对相邻块图像生成的特征编码进行连接操作，生成具有与下一尺度编码器生成特征相同尺寸的特征编码；解码器重构输出图片，生成具有与下一尺度输入数据相同尺寸的特征图；
步骤S140：将生成的特征图与下一尺度输入数据叠加，作为下一尺度的输入数据；将进行连接操作后的特征编码与下一尺度编码器生成的特征编码叠加，作为下一尺度解码器的解码对象；
步骤S150：最终生成去模糊后的图片，通过对最终的去模糊图片与原始图像进行误差处理，获得最终优化的去模糊图像。
在本实施例1中，生成器的网络架构为3个尺度，分别为第一尺度、第二尺度和第三尺度。
在本实施例1中，将第一尺度的输入图像等分成大小相等的4个图像块，将图像块送入编码器下采样提取图像块中待识别的特征进行编码，并将相邻的两个特征进行连接操作，合并成与下一个尺度图像块具有相同尺寸的特征，解码器用于上采样并解码出特征图像；
将第一尺度输出的特征图像作为第二尺度的输入图像的一部分，与分为2块后的输入第二尺度的原始图像共同作为输入数据送入第二尺度的编码器；第二尺度的编码器编码后得到的特征与第一尺度编码器编码后得到的特征叠加，经解码器解码出特征图像；
将第二尺度输出的特征图像作为第三尺度输入图像的一部分，与分为1块后的输入第三尺度的原始图像共同作为输入数据送入第三尺度的编码器；第二尺度编码器编码后得到的特征与第三尺度编码器编码后得到的特征叠加，经解码器解码出特征图像，并最终输出去模糊后的图像；
在本实施例1中，所述编码器由3个卷积层、1个结合双注意力机制的残差块和5个普通残差块组成，其结构依次是：第一卷积层、第一残差块、第二卷积层、结合双注意力机制的残差块、第二残差块、第三残差块、第三卷积层、第四残差块、第五残差块。
在本实施例1中，所述解码器由1个卷积层、2个反卷积层和6个普通残差块组成，其结构依次是：第一残差块、第二残差块、第一反卷积层、第三残差块、第四残差块、第二反卷积层、第五残差块、第六残差块、第三卷积层。
在本实施例1中，第一个卷积层的卷积核大小为3×3、步幅为1，生成32个特征图；第二个卷积层的卷积核大小为3×3、步幅为2，生成64个特征图；第三个卷积层的卷积核大小为3×3、步幅为2，生成128个特征图。
在本实施例1中，所述解码器第一个反卷积层的卷积核大小为4×4、步幅为2，生成64个特征图；第二个反卷积层的卷积核大小为4×4、步幅为2，生成32个特征图；卷积层的卷积核大小为3×3、步幅为2，生成128个特征图；每个残差块包含2个卷积层，每个卷积层的卷积核大小为3×3、步幅为1。
在本实施例1中，所述网络模型的的损失函数为：
其中，S1表示最后一个尺度的输出，G表示真实的清晰图像，F取1，表示采用L1范数。通过最小化网络输出与真实清晰图像之间的均方误差，不断更新网络参数。
实施例2
在本实施例2中，提供一种改进的基于分块多尺度卷积神经网络的图像去模糊算法，该方法包括如下流程步骤：
步骤一：准备数据集，获取图像数据集中的清晰--模糊图像对；
步骤二：搭建卷积神经网络模型，设置初始参数；
步骤三：编码器的多个下采样层对原始图像进行卷积运算，再通过残差块提取图像特征，对相邻块图像生成的特征编码进行连接操作，生成具有与下一尺度编码器生成特征相同尺寸的特征编码。解码器重构输出图片，生成具有与下一尺度输入数据相同尺寸的特征图；
步骤四：将生成的特征图与下一尺度输入数据叠加，作为下一尺度的输入数据；将进行连接操作后的特征编码与下一尺度编码器生成的特征编码叠加，作为下一尺度解码器的解码对象；
步骤五：最终生成去模糊后的图片，通过对最终的去模糊图片与原始图像进行误差处理，获得最终优化的去模糊图像。
如图1所示，优选的，本实施例2中，网络架构共三个尺度，每个尺度对输入图像进行分块操作，分块数分别为4，2，1，三个尺度的输入图像按分块数量从大到小的顺序排列；
优选的，所述下采样层的层数为2层，每一层的采样因子为2。
优选的，所述下采样层的卷积核大小为3×3、步幅为1，所述下采样特征提取层的卷积核大小为3×3、步幅为1。
优选的，所述上采样层的卷积核大小为3×3、步幅为1，所述上采样特征提取层的卷积核大小为3×3、步幅为1。
所述编码器由3个卷积层、1个结合双注意力机制的残差块和5个普通残差块组成。所述解码器由1个卷积层、2个反卷积层和6个普通残差块组成。
所述编码器第一个卷积层的卷积核大小为3×3、步幅为1，生成32个特征图；第二个卷积层的卷积核大小为3×3、步幅为2，生成64个特征图；第三个卷积层的卷积核大小为3×3、步幅为2，生成128个特征图；所述解码器第一个反卷积层的卷积核大小为4×4、步幅为2，生成64个特征图；第二个反卷积层的卷积核大小为4×4、步幅为2，生成32个特征图；卷积层的卷积核大小为3×3、步幅为2，生成128个特征图；每个残差块包含2个卷积层，每个卷积层的卷积核大小为3×3、步幅为1。
实施例3
如图1、图2所示，本发明实施例3提供一种改进的基于分块多尺度卷积神经网络的运动图像去模糊算法，简称为DMPHN-A。
该方法包括如下流程步骤：
步骤一：选用Gopro数据集作为训练集，获取图像数据集中的清晰--模糊图像对，对模糊图像进行预处理，如翻转、水平和垂直旋转等操作，将预处理后的图像输入网络作为训练数据；
步骤二：设置生成器的网络架构，生成器的网络架构采用U-net结构，包括编码器和解码器两个部分。编码器由3个卷积层、1个结合双注意力机制的残差块和5个普通残差块组成，其结构依次是：第一卷积层、第一残差块、结合双注意力机制的残差块、第二卷积层、第二残差块、第三残差块、第三卷积层、第四残差块、第五残差块；所述解码器由1个卷积层、2个反卷积层和6个普通残差块组成，其结构依次是：第一残差块、第二残差块、第一反卷积层、第三残差块、第四残差块、第二反卷积层、第五残差块、第六残差块、第三卷积层。
步骤三：将第一尺度输入的图像进行分块操作，等分成大小相等的4块图像，分块后的图像送入编码器下采样提取图像中有用的特征进行编码，并将相邻的两个特征进行连接操作，合并成与下个尺度分块图像具有相同尺寸的特征。解码器用于上采样并解码出特征图像；
步骤四：将第一尺度输出的特征图像作为第二尺度输入图像的一部分，与分成2块后的图像共同作为输入数据送入第二尺度的编码器。第二尺度的编码器编码后得到的特征与第一尺度编码器编码后得到的特征叠加，经解码器解码出特征图像；
步骤五：将第二尺度输出的特征图像作为第三尺度输入图像的一部分，与分成1块后图像共同作为输入数据送入第三尺度的编码器。第二尺度编码器编码后得到的特征与第三尺度编码器编码后得到的特征叠加，经解码器解码出特征图像，并最终输出去模糊后的图像；
步骤六：根据步骤五输出的图像与对应的清晰图像进行误差处理，对网络模型进行优化训练。通过反向传播使得此误差值达到最小，从而达到最佳的训练效果；
步骤七：利用优化后的模型参数对数据集以外的含有运动模糊的图片进行处理得到相应清晰的图片。
在步骤二中，第一个卷积层的卷积核大小为3×3、步幅为1，生成32个特征图；第二个卷积层的卷积核大小为3×3、步幅为2，生成64个特征图；第三个卷积层的卷积核大小为3×3、步幅为2，生成128个特征图；所述解码器第一个反卷积层的卷积核大小为4×4、步幅为2，生成64个特征图；第二个反卷积层的卷积核大小为4×4、步幅为2，生成32个特征图；卷积层的卷积核大小为3×3、步幅为2，生成128个特征图；每个残差块包含2个卷积层，每个卷积层的卷积核大小为3×3、步幅为1。
在步骤二中，所述网络的尺度数量总计为3；
在步骤三中，第一尺度输入图像分块的数量为4；
在步骤四中，第一尺度输入图像分块的数量为2；
在步骤五中，第一尺度输入图像分块的数量为1；
在步骤六中，网络的损失函数为：其中，S1表示最后一个尺度的输出，G表示真实的清晰图像，F取1，表示采用L1范数。通过最小化网络输出与真实清晰图像之间的均方误差，不断更新网络参数。
与其他现有的基于分块的去模糊方法不同，在步骤三中，编码器逐级对输入数据进行下采样，由浅入深，挖掘图像的低层信息和高层信息。加入残差模块，使网络训练的重点放在对模糊部分运动矢量的学习。残差块与通道注意力机制、空间注意力机制相结合，可以进一步提高去模糊能力。通道注意力机制对卷积后各通道输出的内容进行加权，抑制不重要的信息，使网络更加关注有用的特征。得到加权后的结果会再经过一个空间注意模块。空间注意力模块对输入图像中的空间域信息变换到另一个空间做对应的空间变换，提取图片空间信息中的关键信息，对输入的数据进行加权操作，以此来提高网络的训练能力。实验表明，在结合双注意力模块后，该网络的性能要优于其他先进的方法。
实验结果比较
在本实施例3中，将改进后的基于分块多尺度卷积神经网络的运动图像去模糊算法与三种现有的图像去模糊算法以及未改进的该算法进行比较，所有结果在Gopro数据集上进行测试。在表1中，给出了平均PSNR值、SSIM值的客观性能以及模型大小的比较，其中最好的结果以粗体突出显示。
表1
如表1所示，DMPHN-A(1-2-4)在与其他方法的比较中获得了最高的PSNR值。(1-2-4)表示的是网络分为三个尺度，每个尺度输入图像的分块数量分别为1、2、4。通过与DMPHN(1-2-4)比较可以看出，在尺度数量相同的情况下，DMPHN-A(1-2-4)模型的大小仅增加0.2MB，而平均PSNR增长了0.25dB，SSIM增长了0.0028；与DMPHN(1-2-4-8)的比较中可以看出，DMPHN(1-2-4-8)在增加了一层尺度的情况下，模型的大小显著增加，虽然得到的平均PSNR与SSIM值相较于DMPHN(1-2-4)略有提升，但与DMPHN-A(1-2-4)相比仍有差距。
实施例4
本发明实施例4提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行基于分块多尺度卷积神经网络的图像去模糊算法，包括如下流程步骤：
步骤S110：选用Gopro数据集作为训练集，获取图像数据集中的清晰--模糊图像对，对模糊图像进行预处理，将预处理后的图像作为训练数据；
步骤S120：设置生成器的网络架构，生成器的网络架构采用U-net结构，包括编码器和解码器两个部分；
步骤S130：编码器的多个下采样层对原始图像进行卷积运算，再通过残差块提取图像特征，对相邻块图像生成的特征编码进行连接操作，生成具有与下一尺度编码器生成特征相同尺寸的特征编码；解码器重构输出图片，生成具有与下一尺度输入数据相同尺寸的特征图；
步骤S140：将生成的特征图与下一尺度输入数据叠加，作为下一尺度的输入数据；将进行连接操作后的特征编码与下一尺度编码器生成的特征编码叠加，作为下一尺度解码器的解码对象；
步骤S150：最终生成去模糊后的图片，通过对最终的去模糊图片与原始图像进行误差处理，获得最终优化的去模糊图像。
实施例5
本发明实施例5提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现基于分块多尺度卷积神经网络的图像去模糊算法，包括如下流程步骤：
步骤S110：选用Gopro数据集作为训练集，获取图像数据集中的清晰--模糊图像对，对模糊图像进行预处理，将预处理后的图像作为训练数据；
步骤S120：设置生成器的网络架构，生成器的网络架构采用U-net结构，包括编码器和解码器两个部分；
步骤S130：编码器的多个下采样层对原始图像进行卷积运算，再通过残差块提取图像特征，对相邻块图像生成的特征编码进行连接操作，生成具有与下一尺度编码器生成特征相同尺寸的特征编码；解码器重构输出图片，生成具有与下一尺度输入数据相同尺寸的特征图；
步骤S140：将生成的特征图与下一尺度输入数据叠加，作为下一尺度的输入数据；将进行连接操作后的特征编码与下一尺度编码器生成的特征编码叠加，作为下一尺度解码器的解码对象；
步骤S150：最终生成去模糊后的图片，通过对最终的去模糊图片与原始图像进行误差处理，获得最终优化的去模糊图像。
综上所述，本发明实施例提供的基于分块多尺度卷积神经网络的图像去模糊算法，基于分块多尺度卷积神经网络，提出了一种结合双注意力机制的解决方法。多尺度的策略使得网络在关注图像细节信息的同时可以兼顾保留全局信息，提升网络模型的去模糊能力。结合通道注意力机制和空间注意力机制，使得网络在训练过程中可以关注到更加有用的信息而忽略不重要的信息。改进后的网络框架具有更少的层数，不仅降低了模型的参数量，而且训练速度和重建模糊图像的速度均有提升。不仅如此，该方法在降低参数的同时提高了去模糊的质量，提升了去模糊后图像的客观评价指标。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于分块多尺度卷积神经网络的图像去模糊算法，其特征在于，包括如下流程步骤：
步骤S110：选用Gopro数据集作为训练集，获取图像数据集中的清晰--模糊图像对，对模糊图像进行预处理，将预处理后的图像作为训练数据；
步骤S120：设置生成器的网络架构，生成器的网络架构采用U-net结构，包括编码器和解码器两个部分；所述编码器由3个卷积层、1个结合双注意力机制的残差块和5个普通残差块组成，其结构依次是：第一卷积层、第一残差块、结合双注意力机制的残差块、第二卷积层、第二残差块、第三残差块、第三卷积层、第四残差块、第五残差块；
步骤S130：编码器的多个下采样层对原始图像进行卷积运算，再通过残差块提取图像特征，对相邻块图像生成的特征编码进行连接操作，生成具有与下一尺度编码器生成特征相同尺寸的特征编码；解码器重构输出图片，生成具有与下一尺度输入数据相同尺寸的特征图；
步骤S140：将生成的特征图与下一尺度输入数据叠加，作为下一尺度的输入数据；将进行连接操作后的特征编码与下一尺度编码器生成的特征编码叠加，作为下一尺度解码器的解码对象；
步骤S150：最终生成去模糊后的图片，通过对最终的去模糊图片与原始图像进行误差处理，获得最终优化的去模糊图像。
2.根据权利要求1所述的基于分块多尺度卷积神经网络的图像去模糊算法，其特征在于：生成器的网络架构为3个尺度，分别为第一尺度、第二尺度和第三尺度。
3.根据权利要求2所述的基于分块多尺度卷积神经网络的图像去模糊算法，其特征在于：
将第一尺度的输入图像等分成大小相等的4个图像块，将图像块送入编码器下采样提取图像块中待识别的特征进行编码，并将相邻的两个特征进行连接操作，合并成与下一个尺度图像块具有相同尺寸的特征，解码器用于上采样并解码出特征图像；
将第一尺度输出的特征图像作为第二尺度的输入图像的一部分，与分为2块后的输入第二尺度的原始图像共同作为输入数据送入第二尺度的编码器；第二尺度的编码器编码后得到的特征与第一尺度编码器编码后得到的特征叠加，经解码器解码出特征图像；
将第二尺度输出的特征图像作为第三尺度输入图像的一部分，与分为1块后的输入第三尺度的原始图像共同作为输入数据送入第三尺度的编码器；第二尺度编码器编码后得到的特征与第三尺度编码器编码后得到的特征叠加，经解码器解码出特征图像，并最终输出去模糊后的图像。
4.根据权利要求1所述的基于分块多尺度卷积神经网络的图像去模糊算法，其特征在于：所述解码器由1个卷积层、2个反卷积层和6个普通残差块组成，其结构依次是：第一残差块、第二残差块、第一反卷积层、第三残差块、第四残差块、第二反卷积层、第五残差块、第六残差块、第三卷积层。
5.根据权利要求4所述的基于分块多尺度卷积神经网络的图像去模糊算法，其特征在于，第一个卷积层的卷积核大小为3×3、步幅为1，生成32个特征图；第二个卷积层的卷积核大小为3×3、步幅为2，生成64个特征图；第三个卷积层的卷积核大小为3×3、步幅为2，生成128个特征图。
6.根据权利要求5所述的基于分块多尺度卷积神经网络的图像去模糊算法，其特征在于，所述解码器第一个反卷积层的卷积核大小为4×4、步幅为2，生成64个特征图；第二个反卷积层的卷积核大小为4×4、步幅为2，生成32个特征图；卷积层的卷积核大小为3×3、步幅为2，生成128个特征图；每个残差块包含2个卷积层，每个卷积层的卷积核大小为3×3、步幅为1。
7.根据权利要求6所述的基于分块多尺度卷积神经网络的图像去模糊算法，其特征在于，网络模型的损失函数为：
其中，S1表示最后一个尺度的输出，G表示真实的清晰图像，F取1，表示采用L1范数；通过最小化网络输出与真实清晰图像之间的均方误差，不断更新网络参数。
8.一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，其特征在于，所述处理器调用所述程序指令执行如权利要求1-7任一项所述的基于分块多尺度卷积神经网络的图像去模糊算法。
9.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于分块多尺度卷积神经网络的图像去模糊算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110082948.6A CN112801901B (zh) | 2021-01-21 | 2021-01-21 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110082948.6A CN112801901B (zh) | 2021-01-21 | 2021-01-21 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801901A CN112801901A (zh) | 2021-05-14 |
| CN112801901B true CN112801901B (zh) | 2023-08-18 |
Family
ID=75811097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110082948.6A Active CN112801901B (zh) | 2021-01-21 | 2021-01-21 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801901B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053306A (zh) * | 2020-10-10 | 2020-12-08 | 哈尔滨工业大学 | 基于深度多块网络的图像去模糊方法 |
| CN113313776A (zh) * | 2021-05-27 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
| CN115470176B (zh) * | 2021-06-10 | 2024-04-09 | 中科寒武纪科技股份有限公司 | 计算装置、利用计算装置实施卷积运算的方法及相关产品 |
| CN113487528B (zh) * | 2021-06-30 | 2022-11-29 | 展讯通信（上海）有限公司 | 图像处理方法及装置、计算机可读存储介质、终端 |
| CN113610725A (zh) * | 2021-08-05 | 2021-11-05 | 深圳市慧鲤科技有限公司 | 图片处理方法、装置、电子设备及存储介质 |
| CN113793276B (zh) * | 2021-09-02 | 2024-04-26 | 清华大学 | 根据模糊严重程度对图片分区域自适应去模糊的方法 |
| CN113487475B (zh) * | 2021-09-08 | 2021-12-07 | 联想新视界(南昌)人工智能工研院有限公司 | 交互式图像编辑方法、系统、可读存储介质及电子设备 |
| CN114332840A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种无约束场景下的车牌识别方法 |
| CN114723630A (zh) * | 2022-03-31 | 2022-07-08 | 福州大学 | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 |
| CN114708170A (zh) * | 2022-06-06 | 2022-07-05 | 松立控股集团股份有限公司 | 一种基于增强多尺度特征的车牌图像去模糊方法 |
| CN114841897B (zh) * | 2022-06-08 | 2024-03-15 | 西北工业大学 | 基于自适应模糊核估计的深度去模糊方法 |
| CN114821449B (zh) * | 2022-06-27 | 2022-09-20 | 松立控股集团股份有限公司 | 一种基于注意力机制的车牌图像处理方法 |
| CN115330635B (zh) * | 2022-08-25 | 2023-08-15 | 苏州大学 | 一种图像压缩伪迹移除方法、装置及存储介质 |
| CN116070172B (zh) * | 2022-11-16 | 2023-06-02 | 北京理工大学 | 增强时间序列的特征表达性的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN111612711A (zh) * | 2019-05-31 | 2020-09-01 | 北京理工大学 | 一种基于生成对抗网络改进的图片去模糊方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN112102177A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于压缩与激励机制神经网络的图像去模糊方法 |
-
2021
- 2021-01-21 CN CN202110082948.6A patent/CN112801901B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612711A (zh) * | 2019-05-31 | 2020-09-01 | 北京理工大学 | 一种基于生成对抗网络改进的图片去模糊方法 |
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN112102177A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于压缩与激励机制神经网络的图像去模糊方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801901A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801901B (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| Liang et al. | Swinir: Image restoration using swin transformer | |
| CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
| CN110782399B (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| Yang et al. | NTIRE 2022 challenge on super-resolution and quality enhancement of compressed video: Dataset, methods and results | |
| Yin et al. | Deep prior guided network for high-quality image fusion | |
| US20230177652A1 (en) | Image restoration method and apparatus, and electronic device | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN111476745A (zh) | 一种进行运动模糊超分辨的多分支网络及方法 | |
| JP2022536381A (ja) | 動作遷移方法、装置、デバイス、および記憶媒体 | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| CN115409716B (zh) | 视频处理方法、装置、存储介质及设备 | |
| CN109949234A (zh) | 基于深度网络的视频复原模型训练方法及视频复原方法 | |
| CN115293968A (zh) | 一种超轻量高效的单图像超分辨率方法 | |
| Xin et al. | Video face super-resolution with motion-adaptive feedback cell | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN112801912B (zh) | 一种人脸图像复原方法、系统、装置及存储介质 | |
| CN116128722A (zh) | 基于频域-纹理特征融合的图像超分辨率重建方法及系统 | |
| Jammal et al. | Multiview video quality enhancement without depth information | |
| CN113033616B (zh) | 高质量视频重建方法、装置、设备及存储介质 | |
| Liu | Unsupervised single image dehazing via disentangled representation | |
| Peng et al. | PDRF: progressively deblurring radiance field for fast scene reconstruction from blurry images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |