CN113096032A - 一种基于图像区域划分的非均匀一致模糊去除方法 - Google Patents
一种基于图像区域划分的非均匀一致模糊去除方法 Download PDFInfo
- Publication number
- CN113096032A CN113096032A CN202110288031.1A CN202110288031A CN113096032A CN 113096032 A CN113096032 A CN 113096032A CN 202110288031 A CN202110288031 A CN 202110288031A CN 113096032 A CN113096032 A CN 113096032A
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- parameters
- strong
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 230000009286 beneficial effect Effects 0.000 claims abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 44
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 101150033591 outC gene Proteins 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于图像区域划分的非均匀一致模糊去除方法，属于图像处理技术领域。包括以下步骤：提取单帧模糊图像中有利于后续重建清晰图像的特征图，将特征图输入到强模糊和弱模糊检测模块中，分别输出检测到的强模糊区域和弱模糊区域注意力图；分别将强模糊区域和弱模糊区域注意力图与特征图进行按位点乘，并加上输入的特征图，提取出按照图像成份被划分出的强模糊区域和弱模糊区域在原始特征图上的特征信息；随后分别输入到强模糊和弱模糊去除的解码器模块中，采用两个解码器分支同时重建潜在的清晰图像的形式，分别得到去除强模糊及弱模糊后的图像：之后输入到特征融合模块进而生成完整的去模糊后的最终清晰图像。
Description
技术领域
本发明属于图像处理技术领域，涉及一种非均匀一致模糊去除方法，具体是一种基于图像区域划分指导下的非均匀一致模糊图像去模糊方法。
背景技术
与均匀一致模糊去除问题相比，非均匀一致运动模糊去除问题更加复杂和困难。文献“Nah,S.；Hyun Kim,T.；and Mu Lee,K.2017.Deep multiscale convolutionalneural network for dynamic scene deblurring.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,3883–3891.”提出了一种非均匀模糊图像模糊去除方法，提出用卷积神经网络(Convolutional Neural Networks，CNN)模型拟合非均匀一致模糊图像的退化重建过程，利用多尺度的CNN架构模拟传统coarse-to-fine 的优化方法，提出基于对抗损失的优化模型，大大提高了算法的收敛性，提升了处理效果。
然而，由于不同模糊区域的模糊去除目的不同，例如强模糊区域需要去除明显模糊、平滑区域需要锐化增强细节、纹理区域需要保持细节，利用常规的统一网络训练策略学习非均匀运动去模糊模型，几乎无法同时实现上述目标。文献所采用的方法笼统地将不同模糊形式和程度的图像块视为一致，用统一的训练策略，对不同图像区域进行处理，忽视了不同模糊区域的差异，这种统一的训练策略很容易导致模型过拟合，包括文献方法在内的大多数非均匀一致模糊去除方法都未能有效针对不同模糊区域进行处理。
发明内容
要解决的技术问题
非均匀运动模糊在真实场景中十分普遍，其目的随不同的图像区域成份变化而变化，利用常规的统一训练策略学习非均匀运动去模糊模型很难同时达到对不同图像区域的不同处理，导致非均匀模糊区域效果不能同时提升。本发明提出了一种基于图像区域划分的改进非均匀去模糊框架，对模糊图像不同区域进行不同处理。具体来说，本方法提出了两个分支去除不同区域的模糊，并提出两个注意力机制模块学习强模糊和弱模糊区域的注意力图。然后，将注意力图输送到两分支的解码器中，并融合为最终的去模糊图像。
技术方案
一种基于图像区域划分的非均匀一致模糊去除方法，其特征在于步骤如下：
步骤1：模糊图像特征提取
针对单帧模糊图像B，设计一个特征提取编码器fE，通过该编码器提取出图像中有利于后续重建清晰图像的特征图F；
步骤2：自适应图像区域划分注意力图提取
将步骤1中得到的特征图F输入到两个不同的自适应图像区域划分注意力模块：强模糊检测模块fA_L和弱模糊检测模块fA_S中，分别输出检测到的强模糊区域的注意力图Iatt_L和弱模糊区域的注意力图Iatt_S；
步骤3：两分支清晰图像重建
分别将步骤2输出的模糊区域的注意力图Iatt_L和弱模糊区域的注意力图Iatt_S，与步骤1的特征图F进行按位点乘，并加上输入的特征图F，提取出按照图像成份被划分出的强模糊区域和弱模糊区域在原始特征图上的特征信息；随后分别输入到强模糊和弱模糊去除的解码器模块fD_L和fD_S中，采用两个解码器分支同时重建潜在的清晰图像的形式，分别得到去除强模糊及弱模糊后的图像
和
上式⊙表示特征图按位点乘；
步骤4：融合重建最终清晰图像
将步骤3输出的
和
同时输入到特征融合模块ff，经过ff后，已经分别去除了大、弱模糊的图像区域得到了融合，进而生成完整的去模糊后的最终清晰图像
步骤5：训练阶段损失函数计算
模型的损失函数总共包含3个：整体重建损失Lre、强模糊区域重建损失Ll以及弱模糊成分重建损失Ls；
整体重建损失Lre由重建出的清晰图像
和真值Igt计算MSE距离得到：
强、弱模糊区域重建损失和整体重建损失相似，计算公式如下：
xi表示图像在i处的像素值，Lgt和Sgt为强弱模糊区域重建的图像对应的真值，
和
分别表示强弱模糊重建分支的输出结果；网络模型最终的损失函数loss为：
loss＝Lre+λ1×Ls+λ2×Ll
其中，λ1＝λ2＝0.1为权重参数。
本发明技术方案更进一步的说：步骤2中所述的强模糊检测模块fA_L和弱模糊检测模块fA_S的网络结构相同。
本发明技术方案更进一步的说：步骤2中所述的强模糊检测模块fA_L由一个通道注意力模块fCA和空间注意力模块fSA组成，其中通道注意力模块fCA由1个平均池化层， 2个卷积层，2个激活层组成；第一层是平均池化层，该层的参数主要是池化窗口大小，即核尺寸，具体数值为1，其余输入通道和输出通道参数在该层不适用；特征经过平均池化层处理之后，被送入第二层卷积层进行卷积处理，该层参数为(128，8，1，1)，表示输入通道数为128，输出通道数为8，卷积核尺寸为1×1，步长为1；第三层是ReLU 激活层，第五层是Sigmoid激活层，这两层均没有参数；第四层是参数为(8，128，1， 1)的卷积层；空间注意力模块fSA由2个卷积层，2个ResBlock残差块，1个可变形卷积层以及1个Sigmoid激活层构成；对于从通道注意力模块fCA输出的特征，先在第一层做一次参数为(128，64，1，1)的卷积，再经过参数为(64，64，3，1)的第二层残差块处理；接下来，fSA的第三层是可变形卷积层，该层参数为(64，64，3，1)，表示输入通道数为64，输出通道数为64，卷积核尺寸为3×3，步长为1；第四、五层分别是参数为(64，64，3，1)、(64，128，1，1)的残差块和卷积层；最后一层是Sigmoid激活层。
本发明技术方案更进一步的说：步骤3中强模糊去除解码器由6个可变形卷积层和2个反卷积层实现；第一、二层的可变形卷积层参数均为(128，128，3，1)，第三层是反卷积层，实现了特征的上采样，参数设置为(128，64，4，2)；第四、五层的可变形卷积层参数均为(64，64，3，1)，第六层是参数为(64，32，4，2)的反卷积层；第七、八层的可变形卷积层参数均为(32，32，3，1)。
本发明技术方案更进一步的说：步骤3中弱模糊去除解码器由6个ResBlock残差块，3个可变形卷积层，2个反卷积层组成；第一、二层的残差块参数和第三层的可变形卷积层的网络参数均为(128，128，3，1)，第四层是参数为(128，64，4，2)的反卷积层，实现了特征的上采样；第五、六层的残差块和第七层可变形卷积层参数均为(64，64，3，1)，第八层是参数为(64，32，4，2)的反卷积层；第九、十层的残差块和第十一层可变形卷积层参数均为(32，32，3，1)。
本发明技术方案更进一步的说：步骤4中特征融合模块包括4个不同方向的卷积层和2个标准的卷积层，其中，不同方向的卷积层参数分别为：竖直方向卷积层(8，8， [3,1]，1)，表示输入通道数是8，输出通道数是8，卷积核尺寸是3×1的，步长为1，水平方向卷积层(8，8，[1,3]，1)、对角线方向卷积层(8，8，[3,3]，1)以及反对角线方向卷积层(8，8，[3,3]，1)；将以上四个方向输出的特征进行特征拼接处理后再进行两次卷积操作，卷积层参数分别为(32，8，3，1)和(8，3，3，1)。
有益效果
针对一般基于统一训练策略下的深度学习去模糊算法导致非均匀模糊区域效果不能同时提升的问题，以及模糊图像的不同区域需要进行不同处理的需求，本发明提出了一系列新的网络模块、训练策略以及损失函数。本发明提出了一种基于通道注意力和空间注意力机制的自适应图像区域划分注意力模块，可从模糊图像中有效提取强模糊和小模糊图像区域；提出了两支路重建清晰图像策略，能够同时去除同一模糊图像内不同程度和类型的模糊现象，且不会互相影响重建效果；提出了基于方向滤波的图像特征融合模块，能够较好融合不同模糊程度的去模糊特征区域；提出了基于清晰度图像掩膜计算的重建损失函数，引入表征图像清晰程度的清晰度图，能够有效约束两支路重建模型生成各自对应的清晰图像，从而最终提升模型学习去模糊的能力。本发明提出的方法有效提升了基于自监督学习的估计效果，在权威评估数据集上取得当时很好的去模糊结果。
具体实施方式
步骤一：模糊图像特征提取
本方法训练样本为单帧模糊图像，在训练阶段，输入图像B的分辨率为256*256 像素。设计特征提取编码器fE，通过该编码器提取出图像中有利于后续重建清晰图像的特征图F。
F＝fE(B) (1)
其中，特征提取编码器fE结构如下表1所示：由3个卷积层和6个残差块(ResBlock)构成，每层的参数可描述为(inC,outC,ksize,stride)，inC表示输入通道数，outC表示输出通道数，ksize表示卷积核尺寸，stride表示步长。
针对数据通道数为3的输入图像B，fE的第一层是卷积层，其参数为(3，32，3， 1)，表示输入通道数为3，输出通道数为32，卷积核尺寸为3×3，步长为1。第二、三层是残差块层，参数均为(32，32，3，1)。第四层的卷积层参数为(32，64，3，2)，表示输入通道数为32，输出通道数为64，卷积核尺寸为3×3，步长为2，实现了特征的两倍下采样。第五、六层是残差块层，参数均为(64，64，3，1)。第七层的卷积层参数为(64，128，3，2)，表示输入通道数为64，输出通道数为128，卷积核尺寸为3×3，步长为2。第八、九层是残差块层，参数均为(128，128，3，1)。
表1编码器网络结构
| 层数 | 网络层 | 参数(输入通道数，输出通道数，核尺寸，步长) |
| 1 | 卷积层 | (3，32，3，1) |
| 2 | ResBlock | (32，32，3，1) |
| 3 | ResBlock | (32，32，3，1) |
| 4 | 卷积层 | (32，64，3，2) |
| 5 | ResBlock | (64，64，3，1) |
| 6 | ResBlock | (64，64，3，1) |
| 7 | 卷积层 | (64，128，3，2) |
| 8 | ResBlock | (128，128，3，1) |
| 9 | ResBlock | (128，128，3，1) |
其中，卷积层是标准2D卷积操作，ResBlock为经典的ResNet网络所提出的残差块，当步长设置为2时，表示进行下采样2倍的操作，默认所有层的padding填充参数都为1。
步骤二：自适应图像区域划分注意力模块
将步骤一中得到的特征图F输入到两个不同的自适应图像区域划分注意力模块fA_L和fA_S中，分别输出检测到的强模糊区域的注意力图Iatt_L和弱模糊区域的注意力图Iatt_S。
Iatt_L＝fA_L(F) (2)
Iatt_S＝fA_S(F) (3)
fA_L和fA_S的网络结构相同，但是在实际训练中，参数不同，因此可以分别提取出强模糊和弱模糊区域成份的注意力特征图。具体的，以注意力模块fA_L为例说明该模块的详细构成，fA_L的网络结构由一个通道注意力模块fCA和空间注意力模块fSA组成，
Iatt_L＝fSA1(fCA1(F)⊙F) (4)
其中⊙表示特征图按位点乘。类似的，Iatt_S亦可由下式得到：
Iatt_S＝fSA2(fCA2(F)⊙F) (5)
式(4)和(5)中的fCA1和fCA2、fSA1和fSA2是结构相同参数不同的模块。
通道注意力模块fCA具体结构如下表2所示。由1个平均池化层，2个卷积层，2 个激活层组成。第一层是平均池化层，该层的参数主要是池化窗口大小，即核尺寸，具体数值为1，其余输入通道和输出通道参数在该层不适用。特征经过平均池化层处理之后，被送入第二层卷积层进行卷积处理，与步骤一中的描述一致，该层参数为(128， 8，1，1)，表示输入通道数为128，输出通道数为8，卷积核尺寸为1×1，步长为1。第三层是ReLU激活层，第五层是Sigmoid激活层，这两层均没有参数。第四层是参数为(8，128，1，1)的卷积层。
表2通道注意力模块网络结构
| 层数 | 网络层 | 参数(输入通道数，输出通道数，核尺寸，步长) |
| 1 | 平均池化层 | (—，—，1，—) |
| 2 | 卷积层 | (128，8，1，1) |
| 3 | ReLU激活层 | — |
| 4 | 卷积层 | (8，128，1，1) |
| 5 | Sigmod激活层 | — |
空间注意力模块fSA具体结构如下表3所示。由2个卷积层，2个ResBlock残差块， 1个可变形卷积层以及1个Sigmoid激活层构成。对于从通道注意力模块fCA输出的特征，先在第一层做一次参数为(128，64，1，1)的卷积，再经过参数为(64，64，3，1) 的第二层残差块处理。接下来，fSA的第三层是可变形卷积层，该层参数为(64，64，3， 1)，表示输入通道数为64，输出通道数为64，卷积核尺寸为3×3，步长为1。第四、五层分别是参数为(64，64，3，1)、(64，128，1，1)的残差块和卷积层。最后一层是 Sigmoid激活层。
表3空间注意力模块网络结构
| 层数 | 网络层 | 参数(输入通道数，输出通道数，核尺寸，步长) |
| 1 | 卷积层 | (128，64，1，1) |
| 2 | ResBlock | (64，64，3，1) |
| 3 | 可变形卷积层 | (64，64，3，1) |
| 4 | ResBlock | (64，64，3，1) |
| 5 | 卷积层 | (64，128，1，1) |
| 6 | Sigmod激活层 | — |
其中，所涉及到的网络层都是标准规范的网络层，例如卷积层、可变形卷积层以及激活层等。
步骤三：两分支清晰图像重建
分别将公式(2)、(3)输出的注意力图Iatt_L和Iatt_S，与公式(1)的特征图F进行按位点乘，并加上输入的特征图F，提取出按照图像成份被划分出的强模糊区域和弱模糊区域在原始特征图上的特征信息。随后分别输入到强模糊和弱模糊去除的解码器模块 fD_L和fD_S中，采用两个解码器分支同时重建潜在的清晰图像的形式，进而分别得到去除强模糊及弱模糊后的图像
和
上式⊙表示特征图按位点乘。由于编码器和解码器都是多尺度的结构，因此在编码器与两个解码器之间都存在2个跳层连接。
解码器fD_L网络结构分别为表4所示，由6个可变形卷积层和2个反卷积层实现。第一、二层的可变形卷积层参数均为(128，128，3，1)，第三层是反卷积层，实现了特征的上采样，参数设置为(128，64，4，2)。类似的，第四、五层的可变形卷积层参数均为(64，64，3，1)，第六层是参数为(64，32，4，2)的反卷积层。第七、八层的可变形卷积层参数均为(32，32，3，1)。
表4强模糊重建解码器fD_L网络结构
| 层数 | 网络层 | 参数(输入通道数，输出通道数，核尺寸，步长) |
| 1 | 可变形卷积层 | (128，128，3，1) |
| 2 | 可变形卷积层 | (128，128，3，1) |
| 3 | 反卷积层 | (128，64，4，2) |
| 4 | 可变形卷积层 | (64，64，3，1) |
| 5 | 可变形卷积层 | (64，64，3，1) |
| 6 | 反卷积层 | (64，32，4，2) |
| 7 | 可变形卷积层 | (32，32，3，1) |
| 8 | 可变形卷积层 | (32，32，3，1) |
解码器fD_S网络结构如表5所示，由6个ResBlock残差块，3个可变形卷积层，2 个反卷积层组成。由于fD_L和fD_S两支路处理的任务类似，只是处理难度有所不同，因此，在网络结构设计时，结构是相似的，但也存在着不同。为处理细节信息更丰富的图像区域，fD_S支路的结构更加复杂。第一、二层的残差块参数和第三层的可变形卷积层的网络参数均为(128，128，3，1)，第四层是参数为(128，64，4，2)的反卷积层，实现了特征的上采样。第五、六层的残差块和第七层可变形卷积层参数均为(64， 64，3，1)，第八层是参数为(64，32，4，2)的反卷积层。第九、十层的残差块和第十一层可变形卷积层参数均为(32，32，3，1)。
表5弱模糊重建解码器fD_S网络结构
其中，卷积层是标准2D卷积操作，ResBlock为经典的ResNet网络所提出的残差块。当反卷积层的步长设置为2时，表示进行向上采样2倍的操作。每一个可变性卷积层后面都紧接着一层卷积核尺寸为1×1的卷积操作，以数据实现降维，降低网络的参数量。
步骤四：融合重建最终清晰图像
步骤三对强模糊和弱模糊区域分别进行处理，得到的输出图像分别包含各自区域的模糊去除后的图像特征，需要在本步骤下进行特征融合。将步骤三输出的
和
同时输入到基于方向滤波的特征融合模块fOFF。
该模块对
和
在不同方向上进行滤波，包括水平方向、竖直方向、对角线方向以及反对角线方向。由于运动模糊具有方向性，该模块通过方向滤波的方式，对两支路输出的去模糊特征进行方向上的精细选择并进一步开展两支路特征的融合，最终可获得清晰图像
该融合模块的网络结构如表6所示，总共有4个不同方向的卷积层和2个标准的卷积层。其中，不同方向的卷积层参数分别为：竖直方向卷积层(8，8，[3,1]，1)，表示输入通道数是8，输出通道数是8，卷积核尺寸是3×1的，步长为1，水平方向卷积层(8，8，[1,3]，1)、对角线方向卷积层(8，8，[3,3]，1)以及反对角线方向卷积层(8，8， [3,3]，1)。将以上四个方向输出的特征进行特征拼接处理后再进行两次卷积操作，卷积层参数分别为(32，8，3，1)和(8，3，3，1)。
表6融合模块fOFF网络结构
其中，Concatenate表示特征拼接操作。
步骤五：训练阶段损失函数计算
以上步骤一到步骤四为测试阶段的算法流程，网络在训练阶段还需要包括损失函数计算、误差反向传递以及模型参数更新等阶段。本方法采用的反向传递、模型参数更新策略Adam都来自于标准深度学习工具库Pytorch。设置的batch size为6，模型迭代次数3000epochs，初始学习率为0.0001，学习率衰减率为0.5。
模型的损失函数总共包含3个：整体重建损失Lre、强模糊区域重建损失Ll以及弱模糊成分重建损失Ls。整体重建损失Lre由重建出的清晰图像
和数据集中给出的真值 Igt计算MSE距离得到：
强、弱模糊区域重建损失和整体重建损失相似，计算公式如下：
其中，xi表示图像在i处的像素值，Lgt和Sgt为强、弱模糊区域重建的图像对应的真值，
和
分别表示强、弱模糊重建分支的输出结果。
首先需要计算出
和
对应的真值Lgt、Sgt。基于文献“Pan,J.；Bai,H.；and Tang,J. 2020.Cascaded Deep Video Deblurring Using Temporal Sharpness Prior.InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,3043–3051.”的方法可以得到输入的模糊图像对应的清晰度图像ISN，通过下式可进一步计算出清晰度图像的掩膜
其中，sign(·)为符号函数，xi是图像在i处的像素值，μ是符号函数的阈值，实现中可以取值为0.96，max(·)表示计算最大值。进一步，将清晰度图像的掩膜
和真值 Igt相乘，便可计算得出Lgt、Sgt：
综上所述，网络模型最终的损失函数loss为：
loss＝Lre+λ1×Ls+λ2×Ll (15)
其中，λ1＝λ2＝0.1为权重参数。
Claims (6)
1.一种基于图像区域划分的非均匀一致模糊去除方法，其特征在于步骤如下：
步骤1：模糊图像特征提取
针对单帧模糊图像B，设计一个特征提取编码器fE，通过该编码器提取出图像中有利于后续重建清晰图像的特征图F；
步骤2：自适应图像区域划分注意力图提取
将步骤1中得到的特征图F输入到两个不同的自适应图像区域划分注意力模块：强模糊检测模块fA_L和弱模糊检测模块fA_S中，分别输出检测到的强模糊区域的注意力图Iatt_L和弱模糊区域的注意力图Iatt_S；
步骤3：两分支清晰图像重建
分别将步骤2输出的模糊区域的注意力图Iatt_L和弱模糊区域的注意力图Iatt_S，与步骤1的特征图F进行按位点乘，并加上输入的特征图F，提取出按照图像成份被划分出的强模糊区域和弱模糊区域在原始特征图上的特征信息；随后分别输入到强模糊和弱模糊去除的解码器模块fD_L和fD_S中，采用两个解码器分支同时重建潜在的清晰图像的形式，分别得到去除强模糊及弱模糊后的图像
和
上式⊙表示特征图按位点乘；
步骤4：融合重建最终清晰图像
将步骤3输出的
和
同时输入到特征融合模块ff，经过ff后，已经分别去除了大、弱模糊的图像区域得到了融合，进而生成完整的去模糊后的最终清晰图像
步骤5：训练阶段损失函数计算
模型的损失函数总共包含3个：整体重建损失Lre、强模糊区域重建损失Ll以及弱模糊成分重建损失Ls；
整体重建损失Lre由重建出的清晰图像
和真值Igt计算MSE距离得到：
强、弱模糊区域重建损失和整体重建损失相似，计算公式如下：
xi表示图像在i处的像素值，Lgt和Sgt为强弱模糊区域重建的图像对应的真值，
和
分别表示强弱模糊重建分支的输出结果；网络模型最终的损失函数loss为：
loss＝Lre+λ1×Ls+λ2×Ll
其中，λ1＝λ2＝0.1为权重参数。
2.根据权利要求1所述的一种基于图像区域划分的非均匀一致模糊去除方法，其特征在于步骤2中所述的强模糊检测模块fA_L和弱模糊检测模块fA_S的网络结构相同。
3.根据权利要求2所述的一种基于图像区域划分的非均匀一致模糊去除方法，其特征在于步骤2中所述的强模糊检测模块fA_L由一个通道注意力模块fCA和空间注意力模块fSA组成，其中通道注意力模块fCA由1个平均池化层，2个卷积层，2个激活层组成；第一层是平均池化层，该层的参数主要是池化窗口大小，即核尺寸，具体数值为1，其余输入通道和输出通道参数在该层不适用；特征经过平均池化层处理之后，被送入第二层卷积层进行卷积处理，该层参数为(128，8，1，1)，表示输入通道数为128，输出通道数为8，卷积核尺寸为1×1，步长为1；第三层是ReLU激活层，第五层是Sigmoid激活层，这两层均没有参数；第四层是参数为(8，128，1，1)的卷积层；空间注意力模块fSA由2个卷积层，2个ResBlock残差块，1个可变形卷积层以及1个Sigmoid激活层构成；对于从通道注意力模块fCA输出的特征，先在第一层做一次参数为(128，64，1，1)的卷积，再经过参数为(64，64，3，1)的第二层残差块处理；接下来，fSA的第三层是可变形卷积层，该层参数为(64，64，3，1)，表示输入通道数为64，输出通道数为64，卷积核尺寸为3×3，步长为1；第四、五层分别是参数为(64，64，3，1)、(64，128，1，1)的残差块和卷积层；最后一层是Sigmoid激活层。
4.根据权利要求1所述的一种基于图像区域划分的非均匀一致模糊去除方法，其特征在于步骤3中强模糊去除解码器由6个可变形卷积层和2个反卷积层实现；第一、二层的可变形卷积层参数均为(128，128，3，1)，第三层是反卷积层，实现了特征的上采样，参数设置为(128，64，4，2)；第四、五层的可变形卷积层参数均为(64，64，3，1)，第六层是参数为(64，32，4，2)的反卷积层；第七、八层的可变形卷积层参数均为(32，32，3，1)。
5.根据权利要求1所述的一种基于图像区域划分的非均匀一致模糊去除方法，其特征在于步骤3中弱模糊去除解码器由6个ResBlock残差块，3个可变形卷积层，2个反卷积层组成；第一、二层的残差块参数和第三层的可变形卷积层的网络参数均为(128，128，3，1)，第四层是参数为(128，64，4，2)的反卷积层，实现了特征的上采样；第五、六层的残差块和第七层可变形卷积层参数均为(64，64，3，1)，第八层是参数为(64，32，4，2)的反卷积层；第九、十层的残差块和第十一层可变形卷积层参数均为(32，32，3，1)。
6.根据权利要求1所述的一种基于图像区域划分的非均匀一致模糊去除方法，其特征在于步骤4中特征融合模块包括4个不同方向的卷积层和2个标准的卷积层，其中，不同方向的卷积层参数分别为：竖直方向卷积层(8，8，[3,1]，1)，表示输入通道数是8，输出通道数是8，卷积核尺寸是3×1的，步长为1，水平方向卷积层(8，8，[1,3]，1)、对角线方向卷积层(8，8，[3,3]，1)以及反对角线方向卷积层(8，8，[3,3]，1)；将以上四个方向输出的特征进行特征拼接处理后再进行两次卷积操作，卷积层参数分别为(32，8，3，1)和(8，3，3，1)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110288031.1A CN113096032B (zh) | 2021-03-18 | 2021-03-18 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110288031.1A CN113096032B (zh) | 2021-03-18 | 2021-03-18 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113096032A true CN113096032A (zh) | 2021-07-09 |
| CN113096032B CN113096032B (zh) | 2024-03-19 |
Family
ID=76668441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110288031.1A Active CN113096032B (zh) | 2021-03-18 | 2021-03-18 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096032B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022143812A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN114998156A (zh) * | 2022-06-30 | 2022-09-02 | 同济大学 | 一种基于多补丁多尺度网络的图像运动去模糊方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680491A (zh) * | 2015-02-28 | 2015-06-03 | 西安交通大学 | 一种基于深度神经网络的图像非均匀运动模糊去除方法 |
| CN107133948A (zh) * | 2017-05-09 | 2017-09-05 | 电子科技大学 | 基于多任务卷积神经网络的图像模糊与噪声评测方法 |
| CN108564552A (zh) * | 2018-04-28 | 2018-09-21 | 深圳市商汤科技有限公司 | 图像去模糊的方法及装置 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| KR102160101B1 (ko) * | 2019-03-19 | 2020-09-25 | 연세대학교 산학협력단 | 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법, 그리고 블러링 영상 변환장치 |
-
2021
- 2021-03-18 CN CN202110288031.1A patent/CN113096032B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680491A (zh) * | 2015-02-28 | 2015-06-03 | 西安交通大学 | 一种基于深度神经网络的图像非均匀运动模糊去除方法 |
| CN107133948A (zh) * | 2017-05-09 | 2017-09-05 | 电子科技大学 | 基于多任务卷积神经网络的图像模糊与噪声评测方法 |
| CN108564552A (zh) * | 2018-04-28 | 2018-09-21 | 深圳市商汤科技有限公司 | 图像去模糊的方法及装置 |
| KR102160101B1 (ko) * | 2019-03-19 | 2020-09-25 | 연세대학교 산학협력단 | 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법, 그리고 블러링 영상 변환장치 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 吴迪;赵洪田;郑世宝;: "密集连接卷积网络图像去模糊", 中国图象图形学报, no. 05 * |
| 陈阳;周圆;: "一种基于深度学习模型的图像模糊自动分析处理算法", 小型微型计算机系统, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022143812A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN114998156A (zh) * | 2022-06-30 | 2022-09-02 | 同济大学 | 一种基于多补丁多尺度网络的图像运动去模糊方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113096032B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345449B (zh) | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 | |
| CN109101975B (zh) | 基于全卷积神经网络的图像语义分割方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN109102462B (zh) | 一种基于深度学习的视频超分辨率重建方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN103533214B (zh) | 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法 | |
| CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN113096032B (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN112907448A (zh) | 一种任意比率图像超分辨率方法、系统、设备及存储介质 | |
| CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
| CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN108122262B (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| Chen et al. | Attention-based broad self-guided network for low-light image enhancement | |
| CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Yanning Inventor after: Wang Pei Inventor after: Zhu Yu Inventor after: Li Rui Inventor after: Sun Jinqiu Inventor before: Zhang Yanning Inventor before: Zhu Yu Inventor before: Wang Pei Inventor before: Li Rui Inventor before: Sun Jinqiu |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |