CN112102177B - 基于压缩与激励机制神经网络的图像去模糊方法 - Google Patents
基于压缩与激励机制神经网络的图像去模糊方法 Download PDFInfo
- Publication number
- CN112102177B CN112102177B CN202010730250.6A CN202010730250A CN112102177B CN 112102177 B CN112102177 B CN 112102177B CN 202010730250 A CN202010730250 A CN 202010730250A CN 112102177 B CN112102177 B CN 112102177B
- Authority
- CN
- China
- Prior art keywords
- image
- compression
- excitation
- network
- deblurring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005284 excitation Effects 0.000 title claims abstract description 82
- 230000006835 compression Effects 0.000 title claims abstract description 80
- 238000007906 compression Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 50
- 230000007246 mechanism Effects 0.000 title claims abstract description 31
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于压缩与激励机制神经网络的图像去模糊方法，包括以下步骤：获取训练网络所需数据集，所述数据集为多个图像对，每个图像对由模糊图像及其对应的清晰图像组成；构建压缩与激励去模糊网络，所述网络为多尺度网络，每一个尺度的构造相同，包括编码器‑解码器结构以及ConvLSTM层；使用数据集对压缩与激励去模糊网络进行训练；使用训练完成的压缩与激励去模糊网络对模糊图像进行处理。本发明在SRN去模糊网络的基础上对特征处理模块中的残差块进行改进，引入压缩与激励机制，得到了应用于本发明网络的SE残差块，进而构成SEDN去模糊网络，使最终恢复的清晰图像质量上更加优秀。
Description
技术领域
本发明属于计算机视觉与图像处理技术领域，涉及一种基于压缩与激励机制神经网络的图像去模糊方法。
背景技术
使用多尺度的卷积神经网络来处理图像去模糊问题在近年来已经是一个被许多研究人员不断研究且改进的问题。2018年Tao等人在其会议论文《Scale-recurrentnetwork for deep image deblurring》中提到的SRN去模糊网络改进而来。该SRN去模糊网络是基于更早的用于处理图像去模糊问题的多尺度卷积神经网络改进来的。通过在原始的结构较简单的网络中使用一些更高性能的网络模块与结构代替原本的简单网络模块与结构，SRN去模糊网络在网络恢复出的清晰图像质量上取得了明显的提升。
上述技术使用到的替换模块与结构的发明时间距离现在已经有一段时间了，目前有更多研究人员提出了更加新颖且高效的网络模块，故上述技术在最终恢复清晰图像的质量上仍有很大可以提升的空间。
Hu等人于其会议论文《Squeeze-and-Excitation Networks》中提出了压缩与激励机制以及可以利用轻量的压缩与激励模块(SE模块)对一些网络模块进行改进，以提升对应模块的性能，也提出了使用SE模块对残差块进行改进的思路。
发明内容
本发明的主要目的在于克服现有技术的不足，提出一种基于压缩与激励机制神经网络的图像去模糊方法，提出了一种使用了压缩与激励机制的端到端多尺度去模糊网络，进一步提升现有的基于端到端深度神经网络方法的图像去模糊网络的性能。
为了达到上述目的，本发明采用以下技术方案：
基于压缩与激励机制神经网络的图像去模糊方法，包括以下步骤：
获取训练压缩与激励机制神经网络所需数据集，所述数据集为多个图像对，每个图像对由模糊图像及其对应的清晰图像组成；
构建压缩与激励去模糊神经网络，所述压缩与激励去模糊神经网络为多尺度网络，每一个尺度的构造相同，包括编码器-解码器结构以及ConvLSTM层；所述编码器-解码器结构包括用于从输入图像中抽取特征并处理的编码器部分、用于将复杂的特征复原为对应的清晰图像的解码器部分以及用于在不同的编码器-解码器层级上组合不同层级获取到的特征，对不同层级的特征加以复用的跳跃链接；所述ConvLSTM层设置在所述编码器部分与解码器部分之间，用于将编码器部分抽取与处理过的复杂特征进一步地在压缩与激励去模糊神经网络各尺度间传播；所述编码器部分包括多个顺序连接的Eblock；所述解码器部分包括多个顺序连接的Dblock；
使用获取到的数据集对压缩与激励去模糊神经网络进行训练，根据数据集获取网络的输入图像，网络处理输入图像的正向过程，根据所有网络处理恢复结果，计算本次正向传播结果的损失并利用该损失更新压缩与激励去模糊神经网络中可训练参数的权重，反向更新梯度过程；
使用训练完成的压缩与激励去模糊神经网络对模糊图像进行处理。
进一步的，所述数据集中图像的场景与需要进行去模糊处理的模糊图像的场景一致或相似。
进一步的，所述编码器部分具体包括3个Eblock，所述Eblock具体包括顺序连接的特征抽取层以及特征处理模块，所述特征抽取层为一层卷积层，用于使输入图像的通道数增加并将图像高度与宽度缩小为原来的一半。
进一步的，所述解码器部分具体包括3个Dblock，所述Dblock具体包括顺序连接的特征处理模块以及特征重建层；所述特征重建层用于将图像高度与宽度放大一倍并将通道数减少，前两个Dblock的特征重建层为一层反卷积层，最后一个Dblock的特征重建层为一层卷积层。
进一步的，所述特征处理模块具体为3个堆叠的压缩与激励残差块，所述压缩与激励残差块包括固有的处理特征部分以及SE模块，所述固有的处理特征部分由卷积层、ReLU单元以及卷积层依次堆叠而成；所述SE模块由全局平均池化层、全连接层、ReLU单元、全连接层以及Sigmoid单元依次堆叠而成。
进一步的，所述压缩与激励残差块的处理过程具体为：
首先是固有的处理特征部分进行一般的特征抽取处理，处理后的特征交由SE模块处理，SE模块处理过程为利用压缩与激励机制对这部分输入的特征进行优化处理，增强其中的有用信息的同时抑制噪声信息，经过压缩与激励机制处理后会得到一个注意力向量，用该向量对之前残差块的输出的每个通道进行加权运算得到经过压缩与激励处理后的特征图，最后，通过与原始的输入特征图求和完成残差运算得到的特征图即为SE残差块的最终输出。
进一步的，所述对压缩与激励去模糊神经网络进行训练包括对数据集图像进行处理、网络正向处理图像过程以及根据损失函数值反向更新网络模型权重过程，具体为：
根据数据集获取压缩与激励去模糊神经网络的输入，输入的图像对数目与压缩与激励去模糊神经网络尺度数相等，将图像对进行缩小并根据图像尺寸大小从小到大排列；
压缩与激励去模糊神经网络在处理输入模糊图像的正向过程：
在第一个尺度上输入尺寸最小的图像对中的模糊图像；
压缩与激励去模糊神经网络内部结构处理图像，得到恢复图像；
根据图像尺寸大小排列，将恢复图像上采样到次小的尺寸，将上采样得到的图像与尺寸次小的图像对中的模糊图像拼接，作为下一尺度的输入图像；
重复网络内部结构处理以及上采样、拼接步骤，直至最后一个尺度的网络内部结构处理完成，得到恢复图像；
计算本次正向传播结果的损失，并利用该损失更新压缩与激励去模糊神经网络中可训练参数的权重；
各尺度得到的恢复图像分别用于反向更新梯度过程。
进一步的，所述反向梯度更新过程为：
根据各尺度正向过程恢复得到的该尺度输出的恢复图像，与各尺度的原始的输入图像对中的清晰图像计算损失函数值；
根据损失函数值使用Adam方法反向更新网络中的权重参数。
进一步的，所述计算本次正向传播结果的损失具体为：
利用得到的所有恢复图像与所有原始图像对中的清晰图像，计算均方误差，对每个均方误差除以该尺度图像的像素数目归一化后求和，得到本次正向传播结果的损失，并利用该损失更新网络中可训练参数的权重；网络反向误差传播损失函数具体如下：
其中i为尺度下标，N为网络尺度数目，Ri为经过网络内部结构处理的恢复图像，Gi为原始图像对中的清晰图像，Si为该尺度图像的像素数目。
进一步的，所述压缩与激励去模糊神经网络在不同尺度间的上采样过程使用双线性插值方法且压缩与激励去模糊网络各个尺度内部结构之间共享参数，即压缩与激励去模糊神经网络各尺度的内部结构参数是共享的。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明的SEDN去模糊网络在SRN去模糊网络的基础上对特征处理模块中的残差块进行改进，引入压缩与激励机制，得到了应用于本发明网络的SE残差块，使最终恢复的清晰图像质量上更加优秀，在定量与定性的分析上都展现出了更优的结果。
2、由于SE模块本身不需要复杂的参数来进行运算，是一个具有高可移植性的轻量模块，本发明的SEDN去模糊网络在模型的参数量上相比于SRN去模糊网络没有明显的提升(约提升了7‰)，保证了SEDN去模糊网络没有因为引入SE模块而使得网络变得臃肿。
3、本发明的SE残差块与现有的其他研究人员使用的SE残差块的区别在于移除了SE模块中设置在激励过程中瓶颈结构上对于瓶颈层中神经元节点的最小值约束，该改进使在网络不同尺度级别间每个相对应的SE残差块上拥有相似形状的瓶颈结构，从而保证了网络在每个尺度上能够致力于处理相似的求解问题。
4、本发明使用的SE残差块可以进一步优化特征处理模块中对特征图的处理过程，增强这些特征图中有用信息的同时抑制无用的信息。
附图说明
图1是本发明方法的流程示意图；
图2是本发明提出的压缩与激励去模糊网络的工作流程示意图；
图3是本发明提出的压缩与激励去模糊网络的内部结构示意图；
图4是本发明方法使用的SE残差块结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本发明中用到的术语及其含义解释如下：
多尺度神经网络：分级别处理数据的卷积神经网络，每个级别拥有相似的结构。
卷积层：卷积神经网络中的基本处理结构，进行一次卷积运算。
残差块：整合了卷积层的网络模块，其性能优于堆叠相同数量的卷积层。
编码器-解码器结构：一种网络结构，相比堆叠结构性能更优。
ConvLSTM：一种应用在循环网络中的循环模块。
上/下采样：上采样为将一幅图像放大，下采样为将一幅图像缩小。
特征图：网络层处理其输入图像后得到的图像，有输入图像处理后的特征信息。
压缩与激励机制：一种优化特征图的方法，压缩与激励模块(SE模块)为该机制的实现方式。
本发明所提出的SEDN网络基于2018年Tao等人在其会议论文《Scale-recurrentnetwork for deep image deblurring》中提到的SRN去模糊网络。
本发明的网络框架中利用到的压缩与激励机制由Hu等人于其会议论文《Squeeze-and-Excitation Networks》中提出，可以利用轻量的压缩与激励模块(SE模块)对一些网络模块进行改进，以提升对应模块的性能。本发明中的使用SE模块对残差块进行改进的思路也在该文章中提出。
本发明的SEDN去模糊网络在SRN去模糊网络的基础上对特征处理模块中的残差块进行改进，引入压缩与激励机制，得到了应用于本发明网络的SE残差块，使最终恢复的清晰图像质量上更加优秀，在定量与定性的分析上都展现出了更优的结果。本发明的SE残差块与现有的其他研究人员使用的SE残差块的区别在于移除了SE模块中设置在激励过程中瓶颈结构上对于瓶颈层中神经元节点的最小值约束，该改进使在网络不同尺度级别间每个相对应的SE残差块上拥有相似形状的瓶颈结构，从而保证了网络在每个尺度上能够致力于处理相似的求解问题。
实施例
如图1所示，本发明基于压缩与激励机制神经网络的图像去模糊方法包括以下步骤：
S1、获取训练网络所需数据集；数据集为多个图像对，每个图像对由模糊图像与其对应的清晰图像组成；数据集根据实际使用的特定场景进行获取，如，在需要处理高速摄像机捕捉到的模糊的车牌图像时，需要根据这种情况构建以高速运动的汽车与车牌的数据集；数据集应该尽可能的大，以保证该数据集能够涵盖对应的模糊模式。
在本实施例中，在构建数据集时，模糊图像分辨率最小为256*256，因为在网络训练时会随机裁剪出图像对中一个256*256的块进行训练。
S2、构建压缩与激励去模糊网络(SEDN)；
SEDN有多个尺度，如图2所示，本实施例中，SEDN为3个尺度，网络在不同尺度间的上采样过程使用了双线性插值的方式。
在本实施例中，网络不同的尺度上内部结构是一样的，为了保证网络模型尺度不局限于少量的数量上，各尺度网络内部结构之间均采用了共享的参数，即网络各尺度的内部结构参数是共享的，只需要对第一个尺度进行初始化，所有尺度的网络便均配置完成。
如图3所示，所述SEDN每个尺度的内部具体包括编码器-解码器结构与ConvLSTM层，编码器-解码器结构分为编码器部分和解码器部分，编码器部分用于逐步从输入图像中抽取特征并处理，解码器部分用于将复杂的特征逐渐复原为对应的清晰图像；ConvLSTM层设置在编码器部分与解码器部分之间，用于将编码器部分抽取与处理过的复杂的特征进一步地在网络各尺度间传播；编码器-解码器结构中还包含跳跃链接，其用于在不同的编码器-解码器层级上组合不同层级获取到的特征，对不同层级的特征加以复用。
在本实施例中，编码器部分包括Eblock1、Eblock2以及Eblock3，解码器部分包括Dblock1、Dblock2以及Dblock3。
所述Eblock构造具体为顺序连接的一个特征抽取层和一个特征处理模块，所述特征抽取层为一层卷积层，该卷积层将输入图像的通道数增加，同时图像高度与宽度缩小为原来的一半；所述特征处理模块包括3个堆叠的压缩与激励残差块(SE残差块)。
所述Dblock构造具体为顺序连接的一个特征处理模块和一个特征重建层。在本实施例中，Dblock1与Dblock2的特征重建层为一个反卷积层，用于将图像高度与宽度放大一倍并将通道数减少；Dblock3的特征重建层为一个卷积层，功能与Dblock1、Dblock2的特征重建层相同。
如图4所述，在本实施例中，所述SE残差块具体包括固有的处理特征部分和SE模块；所述处理特征部分构造具体为卷积层、ReLU单元以及卷积层依次堆叠；所述SE模块构造具体为全局平均池化层、全连接层、ReLU单元、全连接层以及Sigmoid单元依次堆叠；
压缩与激励残差块对图像的处理具体如下：
首先是固有的处理特征部分，该部分进行一般的特征抽取处理，处理后的特征交由SE模块处理，SE模块处理过程为压缩与激励机制内容，即利用压缩与激励机制对这部分输入的特征进行优化处理，增强其中的有用信息的同时抑制噪声信息，经过压缩与激励机制处理后会得到一个注意力向量a，用该向量去对之前残差块的输出Y的每个通道进行加权运算得到经过压缩与激励处理后的特征图P，最后，通过与原始的输入特征图X求和完成残差运算得到的特征图Z即为SE残差快的最终输出。
S3、使用数据集对SEDN进行训练；在训练前，需要根据数据集获取网络的输入；
在本实施例中，需要输入原始的模糊-清晰图像对与对应的两个下采样图像对，分别为缩小到128*128与64*64的图像对。图像根据尺寸从小到大分为B1与G1、B2与G2、B3与G3。
如图2所示，网络在处理输入的正向过程为：
网络逐级地将低尺寸的模糊图像一步步恢复为原本尺寸的清晰图像。在第一个尺度上，直接输入模糊图像B1，经过网络内部结构恢复得到R1，之后将R1上采样到与B2相同尺寸并与B2拼接，经过网络内部结构恢复得到R2，将R2上采样到与B3相同尺寸并与B3拼接，经过网络内部结构恢复得到R3。正向过程得到的R1、R2与R3分别用于反向更新梯度过程。
利用了恢复得到的R1、R2、R3与原始图像对中清晰图像的G1、G2、G3，计算出3个均方误差，对每个均方误差除以该尺度图像的像素数目Si归一化后求和，得到本次正向传播结果的损失，并利用该损失更新网络中可训练参数的权重；网络反向误差传播损失函数如下：
公式中i为尺度下标，N为网络尺度数目，Ri为经过网络内部结构处理的恢复图像，Gi为原始图像对中的清晰图像，Si为该尺度图像的像素数目。
所述反向更新过程具体为：
根据各尺度正向过程恢复得到的该尺度输出的恢复图像，与各尺度的原始的输入图像对中的清晰图像计算损失函数值；
根据损失函数值使用Adam方法反向更新网络中的权重参数。
在本实施例中，网络训练的具体配置为：
SEDN去模糊网络使用python中的开源框架TensorFlow实现，在训练时输入一组共有16张图像对同时训练。所有的网络模型中的可训练参数都使用Xavier方法进行初始化。网络的优化过程使用Adam方法，其配置为默认配置，即β1＝0.9，β2＝0.999，ε＝10-8。学习率初始值设置为10-4，使用0.3作为权重指数衰减到0。对ConvLSTM层的设置与Tao等人提出的SRN去模糊网络中该模块的设置相同，在链接权重上使用梯度裁剪策略以保证训练的稳定进行。网络的训练过程以预设训练集迭代轮数决定停止时间。在本实施例中，采用的选取方式是在还有3214个图像对的数据集上训练共4000轮数据集迭代次数。这个设置可能根据不同数据集大小与针对的不同的图像内容场景有所不同。可以通过观察损失函数值的变化曲线决定数据集迭代次数。
S4、使用训练完成的SEDN对模糊图像进行处理；
输入模糊图像，使用训练完成的模型处理模糊图像数据集，网络对输入图像进行处理的过程与训练时的过程一致；处理时，模糊图像的场景与训练网络所需数据集一致或相似，才能保证去模糊的效果。
还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，包括以下步骤：
获取训练压缩与激励机制神经网络所需数据集，所述数据集为多个图像对，每个图像对由模糊图像及其对应的清晰图像组成；
构建压缩与激励去模糊神经网络，所述压缩与激励去模糊神经网络为多尺度网络，每一个尺度的构造相同，包括编码器-解码器结构以及ConvLSTM层；所述编码器-解码器结构包括用于从输入图像中抽取特征并处理的编码器部分、用于将复杂的特征复原为对应的清晰图像的解码器部分以及用于在不同的编码器-解码器层级上组合不同层级获取到的特征，对不同层级的特征加以复用的跳跃链接；所述ConvLSTM层设置在所述编码器部分与解码器部分之间，用于将编码器部分抽取与处理过的复杂特征进一步地在压缩与激励去模糊神经网络各尺度间传播；所述编码器部分包括多个顺序连接的Eblock；所述解码器部分包括多个顺序连接的Dblock；
使用获取到的数据集对压缩与激励去模糊神经网络进行训练，根据数据集获取网络的输入图像，网络处理输入图像的正向过程，根据所有网络处理恢复结果，计算本次正向传播结果的损失并利用该损失更新压缩与激励去模糊神经网络中可训练参数的权重，反向更新梯度过程；
所述对压缩与激励去模糊神经网络进行训练包括对数据集图像进行处理、网络正向处理图像过程以及根据损失函数值反向更新网络模型权重过程，具体为：
根据数据集获取压缩与激励去模糊神经网络的输入，输入的图像对数目与压缩与激励去模糊神经网络尺度数相等，将图像对进行缩小并根据图像尺寸大小从小到大排列；
压缩与激励去模糊神经网络在处理输入模糊图像的正向过程：
在第一个尺度上输入尺寸最小的图像对中的模糊图像；
压缩与激励去模糊神经网络内部结构处理图像，得到恢复图像；
根据图像尺寸大小排列，将恢复图像上采样到次小的尺寸，将上采样得到的图像与尺寸次小的图像对中的模糊图像拼接，作为下一尺度的输入图像；
重复网络内部结构处理以及上采样、拼接步骤，直至最后一个尺度的网络内部结构处理完成，得到恢复图像；
计算本次正向传播结果的损失，并利用该损失更新压缩与激励去模糊神经网络中可训练参数的权重；
各尺度得到的恢复图像分别用于反向更新梯度过程；
使用训练完成的压缩与激励去模糊神经网络对模糊图像进行处理。
2.根据权利要求1所述的基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，所述数据集中图像的场景与需要进行去模糊处理的模糊图像的场景一致或相似。
3.根据权利要求1所述的基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，所述编码器部分具体包括3个Eblock，所述Eblock具体包括顺序连接的特征抽取层以及特征处理模块，所述特征抽取层为一层卷积层，用于使输入图像的通道数增加并将图像高度与宽度缩小为原来的一半。
4.根据权利要求1所述的基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，所述解码器部分具体包括3个Dblock，所述Dblock具体包括顺序连接的特征处理模块以及特征重建层；所述特征重建层用于将图像高度与宽度放大一倍并将通道数减少，前两个Dblock的特征重建层为一层反卷积层，最后一个Dblock的特征重建层为一层卷积层。
5.根据权利要求3或4所述的基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，所述特征处理模块具体为3个堆叠的压缩与激励残差块，所述压缩与激励残差块包括固有的处理特征部分以及SE模块，所述固有的处理特征部分由卷积层、ReLU单元以及卷积层依次堆叠而成；所述SE模块由全局平均池化层、全连接层、ReLU单元、全连接层以及Sigmoid单元依次堆叠而成。
6.根据权利要求5所述的基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，所述压缩与激励残差块的处理过程具体为：
首先是固有的处理特征部分进行一般的特征抽取处理，处理后的特征交由SE模块处理，SE模块处理过程为利用压缩与激励机制对这部分输入的特征进行优化处理，增强其中的有用信息的同时抑制噪声信息，经过压缩与激励机制处理后会得到一个注意力向量，用该向量对之前残差块的输出的每个通道进行加权运算得到经过压缩与激励处理后的特征图，最后，通过与原始的输入特征图求和完成残差运算得到的特征图即为SE残差块的最终输出。
7.根据权利要求1所述的基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，所述反向更新梯度过程为：
根据各尺度正向过程恢复得到的该尺度输出的恢复图像，与各尺度的原始的输入图像对中的清晰图像计算损失函数值；
根据损失函数值使用Adam方法反向更新网络中的权重参数。
8.根据权利要求1所述的基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，所述计算本次正向传播结果的损失具体为：
利用得到的所有恢复图像与所有原始图像对中的清晰图像，计算均方误差，对每个均方误差除以该尺度图像的像素数目归一化后求和，得到本次正向传播结果的损失，并利用该损失更新网络中可训练参数的权重；网络反向误差传播损失函数具体如下：
其中i为尺度下标，N为网络尺度数目，Ri为经过网络内部结构处理的恢复图像，Gi为原始图像对中的清晰图像，Si为该尺度图像的像素数目。
9.根据权利要求1所述的基于压缩与激励机制神经网络的图像去模糊方法，其特征在于，所述压缩与激励去模糊神经网络在不同尺度间的上采样过程使用双线性插值方法且压缩与激励去模糊网络各个尺度内部结构之间共享参数，即压缩与激励去模糊神经网络各尺度的内部结构参数是共享的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010730250.6A CN112102177B (zh) | 2020-07-27 | 2020-07-27 | 基于压缩与激励机制神经网络的图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010730250.6A CN112102177B (zh) | 2020-07-27 | 2020-07-27 | 基于压缩与激励机制神经网络的图像去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102177A CN112102177A (zh) | 2020-12-18 |
| CN112102177B true CN112102177B (zh) | 2022-06-21 |
Family
ID=73749735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010730250.6A Active CN112102177B (zh) | 2020-07-27 | 2020-07-27 | 基于压缩与激励机制神经网络的图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102177B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597887B (zh) * | 2020-12-22 | 2024-05-07 | 深圳集智数字科技有限公司 | 一种目标识别方法及装置 |
| CN112801901B (zh) * | 2021-01-21 | 2023-08-18 | 北京交通大学 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
| CN112926429A (zh) * | 2021-02-19 | 2021-06-08 | 百果园技术(新加坡)有限公司 | 机审模型训练、视频机审方法、装置、设备及存储介质 |
| CN113034404A (zh) * | 2021-04-20 | 2021-06-25 | 北京大学深圳研究生院 | 一种基于多尺度对抗学习的交通图像去模糊方法及装置 |
| CN113592736B (zh) * | 2021-07-27 | 2024-01-12 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
| CN116368500A (zh) * | 2021-10-28 | 2023-06-30 | 京东方科技集团股份有限公司 | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 |
| CN114722208B (zh) * | 2022-06-08 | 2022-11-01 | 成都健康医联信息产业有限公司 | 一种健康医疗文本自动分类和安全等级自动分级方法 |
| CN114897741B (zh) * | 2022-06-09 | 2023-05-30 | 华东师范大学 | 基于深度残差傅里叶变换的图像盲去模糊方法 |
| CN116977220B (zh) * | 2023-08-07 | 2024-02-13 | 中国矿业大学 | 基于图像质量启发的盲图像去运动模糊算法 |
| CN117237235B (zh) * | 2023-11-13 | 2024-02-02 | 大连理工大学 | 图像散焦检测攻击的去模糊方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550173A (zh) * | 2018-04-03 | 2018-09-18 | 西北工业大学 | 基于语音生成口型视频的方法 |
| CN108846820A (zh) * | 2018-07-10 | 2018-11-20 | 深圳市唯特视科技有限公司 | 一种基于尺度递归网络的深度图像去模糊方法 |
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199522B (zh) * | 2019-12-24 | 2024-02-09 | 芽米科技(广州)有限公司 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
-
2020
- 2020-07-27 CN CN202010730250.6A patent/CN112102177B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550173A (zh) * | 2018-04-03 | 2018-09-18 | 西北工业大学 | 基于语音生成口型视频的方法 |
| CN108846820A (zh) * | 2018-07-10 | 2018-11-20 | 深圳市唯特视科技有限公司 | 一种基于尺度递归网络的深度图像去模糊方法 |
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
Non-Patent Citations (1)
| Title |
|---|
| Convolutional Neural Network with Squeeze and Excitation Modules for Image Blind Deblurring;Jiaqi Wu 等;《2020 Information Communication Technologies Conference》;20200630;第338-345页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102177A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102177B (zh) | 基于压缩与激励机制神经网络的图像去模糊方法 | |
| CN111311629B (zh) | 图像处理方法、图像处理装置及设备 | |
| CN112419184B (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及系统 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN113421187B (zh) | 一种超分辨率重建方法、系统、存储介质、设备 | |
| CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
| CN111652804A (zh) | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 | |
| CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
| CN114821449B (zh) | 一种基于注意力机制的车牌图像处理方法 | |
| CN114881888A (zh) | 基于线性稀疏注意力Transformer的视频去摩尔纹方法 | |
| CN114708170A (zh) | 一种基于增强多尺度特征的车牌图像去模糊方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN116757930A (zh) | 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质 | |
| CN111461978A (zh) | 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 | |
| CN114626984A (zh) | 中文文本图像的超分辨率重建方法 | |
| CN114445299A (zh) | 一种基于注意力分配机制的双残差去噪方法 | |
| CN114596233A (zh) | 基于注意引导和多尺度特征融合的低照度图像增强方法 | |
| CN111008936A (zh) | 一种多光谱图像全色锐化方法 | |
| CN116883265A (zh) | 一种基于增强特征融合机制的图像去模糊方法 | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
| CN115689918A (zh) | 一种基于残差先验注意力机制的并行单幅图像去雨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |