CN113012071A - 一种基于深度感知网络的图像失焦去模糊方法 - Google Patents
一种基于深度感知网络的图像失焦去模糊方法 Download PDFInfo
- Publication number
- CN113012071A CN113012071A CN202110339430.6A CN202110339430A CN113012071A CN 113012071 A CN113012071 A CN 113012071A CN 202110339430 A CN202110339430 A CN 202110339430A CN 113012071 A CN113012071 A CN 113012071A
- Authority
- CN
- China
- Prior art keywords
- feature map
- residual error
- error module
- image
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008447 perception Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度感知网络的图像失焦去模糊方法，包括S1，对待去模糊图像进行预处理；S2，将待去模糊图像输入至已训练好的深度感知网络模型中，得到恢复图像；S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标PSNR；本发明有效地利用深度图像的辅助失焦模糊的恢复，通过足够数据对网络进行训练使其学习退化映射，从而得到一个有效且快速的失焦去模糊图像复原网络，本发明可应用相机的图像处理中。
Description
技术领域
本发明属于数字图像处理的技术领域，具体涉及一种基于深度感知网络的图像失焦去模糊方法，该方法能够将相机获得的带有失焦模糊的数字图像恢复成清晰的数字图像。
背景技术
在互联网普及和移动智能迅速发展的信息化时代，图像信息出现在生活的方方面面，人们可以便捷地通过移动智能设备，数码相机等传感器设备获取身边的数字图像，以及进行传播及分享。随着5G的发展，获取和分享已经与他人沟通的媒介逐渐从文本信息演变成数字图像，乃至视频等多媒体信息。数字图像和视频等多媒体信息不仅能提供更丰富多彩的信息和交互，还能简化用户的获取信息的成本。然而，通过移动设备或者数码相机获取的数字图像，在一些情况下会存在对焦不准，或者对焦错误，从而导致最终呈现的数字图像存在局部的失焦模糊。失焦模糊的存在会使得数字图像不能很好的表达所要展示的信息，因此，研究如何从失焦模糊的图像恢复得到清晰图像是不可缺少的课题。
图像去模糊是图像处理中常见的一种处理任务。失焦去模糊是指将存在对焦不准的图像恢复到清晰图像，以便后续的图像理解任务使用。目前的图像失焦去模糊相关的方法可以分为失焦模糊检测、失焦模糊图估计及失焦去模糊，其中失焦模糊检测的目的是区分出图像上哪些位置的像素是存在失焦模糊的，而失焦模糊图估计是估计一个二值图用来表示图像哪些位置存在失焦模糊，同时一些方法可以利用失焦模糊图作为辅助信息，进一步对存在失焦模糊的区域进行去模糊。近来随着深度学习的发展，一些方法通过卷积神经网络来估计失焦模糊图，从而进行失焦去模糊。
以往的失焦去模糊方法大都是基于数值优化或者图像先验约束的优化的方法，该类方法在失焦模糊比较简单的情况下能够得到不错的失焦去模糊效果，当图像存在的失焦模糊比较复杂或者失焦模糊比较严重时，传统的图像先验约束的优化方法不能得到理想的结果。
因此，行业内急需研发一种基于卷积神经网络的针对失焦模糊比较复杂或者失焦模糊比较严重时的去模糊方法或者系统。
发明内容
本发明的主要目的是一种寻找在失焦模糊情况下，能够将其恢复为清晰图像的基于深度感知网络的图像失焦去模糊方法。
为了达到上述目的，本发明采用以下技术方案：
一种基于深度感知网络的图像失焦去模糊方法，包括下述步骤：
S1，对待去模糊图像进行预处理；
S2，将待去模糊图像输入至已训练好的深度感知网络模型中，得到恢复图像；
S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标PSNR；
其中，深度感知网络模型的训练包括下述步骤：
(1)获取失焦模糊图像数据库；
(2)将数据库内的失焦模糊图像进行预处理，将预处理后的失焦模糊图像划分为训练集和验证集；
(3)利用训练集对深度感知网络模型进行训练，保存训练完成的网络参数；
(4)利用验证集对深度感知网络模型进行验证。
优选地，步骤(1)中包括：选择并下载在真实场景下采集的高分辨率失焦模糊图像数据集。
优选地，步骤(2)中，在训练集中，清晰图像及对应的失焦模糊图像为一组。
优选地，将数据库内的失焦模糊图像的预处理包括：尺寸裁剪、随机翻转并进行归一化处理。
优选地，步骤(3)包括：将训练集的失焦模糊图像C输入已搭建好的深度感知网络模型中，提取失焦模糊图像C的特征图，得到恢复后的清晰图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型收敛至对应的真实清晰图像。
优选地，将训练集的失焦模糊图像C输入已搭建好的深度感知网络模型中，提取失焦模糊图像C的特征图，得到恢复后的清晰图像包括：
1)将失焦模糊图像C输入卷积层conv1，卷积层conv1的卷积核大小为3，卷积个数为32，步长为1，保持分辨率不变，再通过非线性激活得到特征图X1；
2)将特征图X1输入残差模块ResBlock1，残差模块ResBlock1的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X2；
3)将特征图X2输入残差模块ResBlock2，残差模块ResBlock2的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X3；
4)将特征图X3输入残差模块ResBlock3，残差模块ResBlock3的卷积核大小为3，步长为1，保持分辨率不变得到特征图X4；
5)将特征图X4输入卷积层conv2，卷积层conv2的卷积核大小为3，卷积个数为64，步长为2，再通过非线性激活得到特征图X5；
6)将特征图X5输入残差模块ResBlock4，残差模块ResBlock4的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X6；
7)将特征图X6输入残差模块ResBlock5，残差模块ResBlock5的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X7；
8)将特征图X7输入残差模块ResBlock6，残差模块ResBlock6的卷积核大小为3，步长为1，保持分辨率不变得到特征图X8；
9)将特征图X8输入卷积层conv3，卷积层conv3的卷积核大小为3，卷积个数为128，步长为2，再通过非线性激活得到特征图X9；
10)将特征图X9输入残差模块ResBlock7，残差模块ResBlock7的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X10；
11)将特征图X10输入残差模块ResBlock8，残差模块ResBlock8的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X11；
12)将特征图X11输入残差模块ResBlock9，残差模块ResBlock9的卷积核大小为3，步长为1，保持分辨率不变得到特征图X12；
13)将特征图X12通过残差模块ResBlock10，残差模块ResBlock10的卷积核大小为3，步长为1，保持分辨率不变得到特征图X13；
14)将特征图X13通过上采样算子得到两倍分辨率并经过卷积层conv4，卷积层conv4的卷积核大小为1，卷积个数为64，步长为1，得到特征图X14；
15)将特征图X14和特征图X8相加，通过残差模块ResBlock11，残差模块ResBlock11的卷积核大小为3，步长为1，保持分辨率不变得到特征图X15；
16)将特征图X15通过上采样算子得到两倍分辨率并经过卷积层conv5，卷积层conv5的卷积核大小为1，卷积个数为32，步长为1，得到特征图X16；
17)将特征图X16和特征图X4相加后，通过残差模块ResBlock12，残差模块ResBlock12的卷积核大小为3，步长为1，保持分辨率不变得到特征图X17；
18)将特征图X17输入卷积层conv6，卷积层conv6的卷积核大小为3，卷积个数为1，步长为1，得到深度图D1，并降采样得到深度图D2和深度图D3；
19)将特征图X12与深度图D3联结输入残差模块ResBlock13，残差模块ResBlock13的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X18；
20)将特征图X18输入残差模块ResBlock14，残差模块ResBlock14的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X19；
21)将特征图X19与输入残差模块ResBlock15，残差模块ResBlock15的卷积核大小为3，步长为1，保持分辨率不变得到特征图X20；
22)将特征图X20通过上采样算子得到两倍分辨率并经过卷积层conv7，卷积层conv7的卷积核大小为1，卷积个数为64，步长为1，得到特征图X21；
23)将特征图X21与深度图D2联结输入残差模块ResBlock16，残差模块ResBlock16的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X22；
24)将特征图X22输入残差模块ResBlock17，残差模块ResBlock17的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X23；
25)将特征图X23与输入残差模块ResBlock18，残差模块ResBlock18的卷积核大小为3，步长为1，保持分辨率不变得到特征图X24；
26)将特征图X24通过上采样算子得到两倍分辨率并经过卷积层conv8，卷积层conv8的卷积核大小为1，卷积个数为32，步长为1，得到特征图X25；
27)将特征图X25与深度图D1联结输入残差模块ResBlock19，残差模块ResBlock19的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X26；
28)将特征图X26输入残差模块ResBlock20，残差模块ResBlock20的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X27；
29)将特征图X27与输入残差模块ResBlock21，输入残差模块ResBlock21的卷积核大小为3，步长为1，保持分辨率不变得到特征图X28；
30)将特征图X28通过上采样算子得到两倍分辨率并经过卷积层conv9，卷积核大小为1，卷积个数为3，步长为1，得到恢复图像Y。
优选地，损失函数为：
L＝Lccont+λ1Lcgrad
其中λ1＝0.9；Lccont为内容损失函数，Lcgrad为梯度损失函数；
内容损失函数为：
其中i代表每个像素的下标，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复的图像；
梯度损失函数为：
其中
和
分别表示图像上在特征图X放心及v方向上的梯度，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复图像。
本发明与现有的技术相比，具有以下优点：
本发明有效地利用深度图像的辅助失焦模糊的恢复，通过足够的数据对网络进行训练使其学习退化映射，从而得到一个有效且快速的失焦去模糊图像复原网络，能够将存在失焦模糊的图像恢复为清晰图像，本发明可应用相机的图像处理中，具有实际应用场景。
本发明提出的端到端的深度感知网络模型通过计算深度信息时加入恢复图像的过程，这样能通过计算深度信息来辅助清晰图像的恢复，建立起了图像失焦模糊与图像深度信息的强关联性，能够达到一个更好的效果。
本发明深度感知网络模型的端到端训练，直接从输入经过模型得到输出，无须分阶段估计失焦模糊图再进行失焦去模糊，网络可根据训练集的输入模糊图像和对应的清晰图像自动提取各种特征和学到输入到输出的映射，无须人为干预。
本发明相比于传统优化算法具有更低的时间复杂度，本发明训练好的网络模型能够很快地得到恢复结果，而传统方法需要进行迭代优化，需要更高的时间复杂度。
附图说明
图1为本发明的基于深度感知网络的图像失焦去模糊方法的示意性流程图。
图2为本发明的深度感知网络模型的结构图。
图3为本发明的ResBlock结构图。
具体实施方式
下面结合实例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1-3，一种基于深度感知网络的图像失焦去模糊方法，包括下述步骤：
S1，对待去模糊图像进行预处理；预处理包括：尺寸裁剪、随机翻转并进行归一化处理。
S2，将待去模糊图像输入至已训练好的深度感知网络模型中，得到恢复图像；
S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标PSNR；
其中，深度感知网络模型的训练包括下述步骤：
(1)获取失焦模糊图像数据库；具体为，选择并下载在真实场景下采集的高分辨率失焦模糊图像数据集。该数据集由Canon EOS 5D Mark IV DSLR相机拍摄自真实场景，主要分为室内场景和室外场景。该数据集总共有500张分辨率为6720特征图X4480图像。
(2)将数据库内的失焦模糊图像进行预处理，预处理包括：尺寸裁剪、随机翻转并进行归一化处理。将预处理后的失焦模糊图像划分为训练集和验证集，分别为70％，30％；本发明是通过有监督的学习进行端到端的图像失焦去模糊恢复，所以本发明需要一个较大数量的待训练的失焦模糊图像数据集，包含成对的存在失焦模糊的图像及其对应的清晰图像。本发明对失焦模糊图像进行预处理时，首先从训练集中随机选取图像，然后将图像降采样到1680*1120的分辨率。为了提高网络对于不同图像的鲁棒性，本发明还对图像进行了随机裁剪得到分辨率为256*256的图像，之后对图像进行了随机水平翻转和随机垂直翻转，最后将图像像素值归一化到[0，1]，才可以输入网络进行计算。
(3)利用训练集对深度感知网络模型进行训练，保存训练完成的网络参数；
(4)利用验证集对深度感知网络模型进行验证。
在本实施例，步骤(3)包括：损失函数为：
L＝Lccont+λ1Lcgrad
其中λ1＝0.9；Lccont为内容损失函数，Lcgrad为梯度损失函数；
内容损失函数为：
其中i代表每个像素的下标，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复的图像；
梯度损失函数为：
其中
和
分别表示图像上在特征图X放心及y方向上的梯度，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复图像。
将训练集的失焦模糊图像C输入已搭建好的深度感知网络模型中，提取失焦模糊图像C的特征图，得到恢复后的清晰图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型收敛至对应的真实清晰图像。参见图2-3，将训练集的失焦模糊图像C输入已搭建好的深度感知网络模型中，提取失焦模糊图像C的特征图，得到恢复后的清晰图像具体为：
1)将失焦模糊图像C输入卷积层conv1，卷积层conv1的卷积核大小为3，卷积个数为32，步长为1，保持分辨率不变，再通过非线性激活得到特征图X1；
2)将特征图X1输入残差模块ResBlock1，残差模块ResBlock1的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X2；
3)将特征图X2输入残差模块ResBlock2，残差模块ResBlock2的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X3；
4)将特征图X3输入残差模块ResBlock3，残差模块ResBlock3的卷积核大小为3，步长为1，保持分辨率不变得到特征图X4；
5)将特征图X4输入卷积层conv2，卷积层conv2的卷积核大小为3，卷积个数为64，步长为2，再通过非线性激活得到特征图X5；
6)将特征图X5输入残差模块ResBlock4，残差模块ResBlock4的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X6；
7)将特征图X6输入残差模块ResBlock5，残差模块ResBlock5的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X7；
8)将特征图X7输入残差模块ResBlock6，残差模块ResBlock6的卷积核大小为3，步长为1，保持分辨率不变得到特征图X8；
9)将特征图X8输入卷积层conv3，卷积层conv3的卷积核大小为3，卷积个数为128，步长为2，再通过非线性激活得到特征图X9；
10)将特征图X9输入残差模块ResBlock7，残差模块ResBlock7的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X10；
11)将特征图X10输入残差模块ResBlock8，残差模块ResBlock8的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X11；
12)将特征图X11输入残差模块ResBlock9，残差模块ResBlock9的卷积核大小为3，步长为1，保持分辨率不变得到特征图X12；
13)将特征图X12通过残差模块ResBlock10，残差模块ResBlock10的卷积核大小为3，步长为1，保持分辨率不变得到特征图X13；
14)将特征图X13通过上采样算子得到两倍分辨率并经过卷积层conv4，卷积层conv4的卷积核大小为1，卷积个数为64，步长为1，得到特征图X14；
15)将特征图X14和特征图X8相加，通过残差模块ResBlock11，残差模块ResBlock11的卷积核大小为3，步长为1，保持分辨率不变得到特征图X15；
16)将特征图X15通过上采样算子得到两倍分辨率并经过卷积层conv5，卷积层conv5的卷积核大小为1，卷积个数为32，步长为1，得到特征图X16；
17)将特征图X16和特征图X4相加后，通过残差模块ResBlock12，残差模块ResBlock12的卷积核大小为3，步长为1，保持分辨率不变得到特征图X17；
18)将特征图X17输入卷积层conv6，卷积层conv6的卷积核大小为3，卷积个数为1，步长为1，得到深度图D1，并降采样得到深度图D2和深度图D3；
19)将特征图X12与深度图D3联结输入残差模块ResBlock13，残差模块ResBlock13的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X18；
20)将特征图X18输入残差模块ResBlock14，残差模块ResBlock14的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X19；
21)将特征图X19与输入残差模块ResBlock15，残差模块ResBlock15的卷积核大小为3，步长为1，保持分辨率不变得到特征图X20；
22)将特征图X20通过上采样算子得到两倍分辨率并经过卷积层conv7，卷积层conv7的卷积核大小为1，卷积个数为64，步长为1，得到特征图X21；
23)将特征图X21与深度图D2联结输入残差模块ResBlock16，残差模块ResBlock16的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X22；
24)将特征图X22输入残差模块ResBlock17，残差模块ResBlock17的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X23；
25)将特征图X23与输入残差模块ResBlock18，残差模块ResBlock18的卷积核大小为3，步长为1，保持分辨率不变得到特征图X24；
26)将特征图X24通过上采样算子得到两倍分辨率并经过卷积层conv8，卷积层conv8的卷积核大小为1，卷积个数为32，步长为1，得到特征图X25；
27)将特征图X25与深度图D1联结输入残差模块ResBlock19，残差模块ResBlock19的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X26；
28)将特征图X26输入残差模块ResBlock20，残差模块ResBlock20的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X27；
29)将特征图X27与输入残差模块ResBlock21，输入残差模块ResBlock21的卷积核大小为3，步长为1，保持分辨率不变得到特征图X28；
30)将特征图X28通过上采样算子得到两倍分辨率并经过卷积层conv9，卷积核大小为1，卷积个数为3，步长为1，得到恢复图像Y。
本发明训练深度感知网络模型时，将训练集图像分批输入网络，得到恢复后的清晰图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型能够学习到越来越接近真实清晰图像的恢复结果。
本发明构建端到端的深度感知网络模型，直接从输入经过模型得到输出，直接从失焦模糊图像计算清晰图像，没有分阶段。该模型以三通道RGB彩色失焦模糊图像作为输入，通过执行一系列卷积、池化和非线性激活操作提取特征，再通过一系列卷积、池化和非线性激活操作得到深度感知信息，最后利用深度感知信息辅助，通过一系列卷积、池化和非线性激活操作恢复得到清晰图像。
本发明可以运用到如下领域：
相机算法，本发明能够嵌入到相机算法以缓解相机获取的图像中的失焦模糊；
图像理解任务，更清晰的图像有助于其他图像理解任务的准确性。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度感知网络的图像失焦去模糊方法，其特征在于，包括下述步骤：
S1，对待去模糊图像进行预处理；
S2，将待去模糊图像输入至已训练好的深度感知网络模型中，得到恢复图像；
S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标PSNR；
其中，深度感知网络模型的训练包括下述步骤：
(1)获取失焦模糊图像数据库；
(2)将数据库内的失焦模糊图像进行预处理，将预处理后的失焦模糊图像划分为训练集和验证集；
(3)利用训练集对深度感知网络模型进行训练，保存训练完成的网络参数；
(4)利用验证集对深度感知网络模型进行验证。
2.根据权利要求1所述的一种基于深度感知网络的图像失焦去模糊方法，其特征在于，步骤(1)中包括：选择并下载在真实场景下采集的高分辨率失焦模糊图像数据集。
3.根据权利要求1所述的一种基于深度感知网络的图像失焦去模糊方法，其特征在于，步骤(2)中，在训练集中，清晰图像及对应的失焦模糊图像为一组。
4.根据权利要求3所述的一种基于深度感知网络的图像失焦去模糊方法，其特征在于，将数据库内的失焦模糊图像的预处理包括：尺寸裁剪、随机翻转并进行归一化处理。
5.根据权利要求1所述的一种基于深度感知网络的图像失焦去模糊方法，其特征在于，步骤(3)包括：将训练集的失焦模糊图像C输入已搭建好的深度感知网络模型中，提取失焦模糊图像C的特征图，得到恢复后的清晰图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型收敛至对应的真实清晰图像。
6.根据权利要求5所述的一种基于深度感知网络的图像失焦去模糊方法，其特征在于，将训练集的失焦模糊图像C输入已搭建好的深度感知网络模型中，提取失焦模糊图像C的特征图，得到恢复后的清晰图像包括：
1)将失焦模糊图像C输入卷积层conv1，卷积层conv1的卷积核大小为3，卷积个数为32，步长为1，保持分辨率不变，再通过非线性激活得到特征图X1；
2)将特征图X1输入残差模块ResBlock1，残差模块ResBlock1的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X2；
3)将特征图X2输入残差模块ResBlock2，残差模块ResBlock2的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X3；
4)将特征图X3输入残差模块ResBlock3，残差模块ResBlock3的卷积核大小为3，步长为1，保持分辨率不变得到特征图X4；
5)将特征图X4输入卷积层conv2，卷积层conv2的卷积核大小为3，卷积个数为64，步长为2，再通过非线性激活得到特征图X5；
6)将特征图X5输入残差模块ResBlock4，残差模块ResBlock4的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X6；
7)将特征图X6输入残差模块ResBlock5，残差模块ResBlock5的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X7；
8)将特征图X7输入残差模块ResBlock6，残差模块ResBlock6的卷积核大小为3，步长为1，保持分辨率不变得到特征图X8；
9)将特征图X8输入卷积层conv3，卷积层conv3的卷积核大小为3，卷积个数为128，步长为2，再通过非线性激活得到特征图X9；
10)将特征图X9输入残差模块ResBlock7，残差模块ResBlock7的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X10；
11)将特征图X10输入残差模块ResBlock8，残差模块ResBlock8的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X11；
12)将特征图X11输入残差模块ResBlock9，残差模块ResBlock9的卷积核大小为3，步长为1，保持分辨率不变得到特征图X12；
13)将特征图X12通过残差模块ResBlock10，残差模块ResBlock10的卷积核大小为3，步长为1，保持分辨率不变得到特征图X13；
14)将特征图X13通过上采样算子得到两倍分辨率并经过卷积层conv4，卷积层conv4的卷积核大小为1，卷积个数为64，步长为1，得到特征图X14；
15)将特征图X14和特征图X8相加，通过残差模块ResBlock11，残差模块ResBlock11的卷积核大小为3，步长为1，保持分辨率不变得到特征图X15；
16)将特征图X15通过上采样算子得到两倍分辨率并经过卷积层conv5，卷积层conv5的卷积核大小为1，卷积个数为32，步长为1，得到特征图X16；
17)将特征图X16和特征图X4相加后，通过残差模块ResBlock12，残差模块ResBlock12的卷积核大小为3，步长为1，保持分辨率不变得到特征图X17；
18)将特征图X17输入卷积层conv6，卷积层conv6的卷积核大小为3，卷积个数为1，步长为1，得到深度图D1，并降采样得到深度图D2和深度图D3；
19)将特征图X12与深度图D3联结输入残差模块ResBlock13，残差模块ResBlock13的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X18；
20)将特征图X18输入残差模块ResBlock14，残差模块ResBlock14的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X19；
21)将特征图X19与输入残差模块ResBlock15，残差模块ResBlock15的卷积核大小为3，步长为1，保持分辨率不变得到特征图X20；
22)将特征图X20通过上采样算子得到两倍分辨率并经过卷积层conv7，卷积层conv7的卷积核大小为1，卷积个数为64，步长为1，得到特征图X21；
23)将特征图X21与深度图D2联结输入残差模块ResBlock16，残差模块ResBlock16的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X22；
24)将特征图X22输入残差模块ResBlock17，残差模块ResBlock17的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X23；
25)将特征图X23与输入残差模块ResBlock18，残差模块ResBlock18的卷积核大小为3，步长为1，保持分辨率不变得到特征图X24；
26)将特征图X24通过上采样算子得到两倍分辨率并经过卷积层conv8，卷积层conv8的卷积核大小为1，卷积个数为32，步长为1，得到特征图X25；
27)将特征图X25与深度图D1联结输入残差模块ResBlock19，残差模块ResBlock19的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X26；
28)将特征图X26输入残差模块ResBlock20，残差模块ResBlock20的卷积核大小为3，步长为1，保持分辨率不变，得到特征图X27；
29)将特征图X27与输入残差模块ResBlock21，输入残差模块ResBlock21的卷积核大小为3，步长为1，保持分辨率不变得到特征图X28；
30)将特征图X28通过上采样算子得到两倍分辨率并经过卷积层conv9，卷积核大小为1，卷积个数为3，步长为1，得到恢复图像Y。
7.根据权利要求5所述的一种基于深度感知网络的图像失焦去模糊方法，其特征在于，损失函数为：
L＝Lccont+λ1Lcgrad
其中λ1＝0.9；Lccont为内容损失函数，Lcgrad为梯度损失函数；
内容损失函数为：
其中i代表每个像素的下标，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复的图像；
梯度损失函数为：
其中
和
分别表示图像上在特征图X放心及y方向上的梯度，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110339430.6A CN113012071B (zh) | 2021-03-30 | 2021-03-30 | 一种基于深度感知网络的图像失焦去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110339430.6A CN113012071B (zh) | 2021-03-30 | 2021-03-30 | 一种基于深度感知网络的图像失焦去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012071A true CN113012071A (zh) | 2021-06-22 |
| CN113012071B CN113012071B (zh) | 2023-01-06 |
Family
ID=76409236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110339430.6A Active CN113012071B (zh) | 2021-03-30 | 2021-03-30 | 一种基于深度感知网络的图像失焦去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012071B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115527100A (zh) * | 2022-10-09 | 2022-12-27 | 范孝徐 | 用于关联数据库的标识分析系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
-
2021
- 2021-03-30 CN CN202110339430.6A patent/CN113012071B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
Non-Patent Citations (2)
| Title |
|---|
| YONG XU ET AL.: "Image Denoising via Sequential Ensemble Learning", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 刘平等: "残差分离卷积神经网络的图像去运动模糊技术", 《计算机与数字工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115527100A (zh) * | 2022-10-09 | 2022-12-27 | 范孝徐 | 用于关联数据库的标识分析系统及方法 |
| CN115527100B (zh) * | 2022-10-09 | 2023-05-23 | 广州佳禾科技股份有限公司 | 用于关联数据库的标识分析系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012071B (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111199522A (zh) | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 | |
| CN110544205B (zh) | 基于可见光与红外交叉输入的图像超分辨率重建方法 | |
| CN107392852B (zh) | 深度图像的超分辨率重建方法、装置、设备及存储介质 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
| CN111028177A (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN110097509A (zh) | 一种局部运动模糊图像的复原方法 | |
| CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
| CN114820408A (zh) | 基于自注意力和卷积神经网络的红外可见光图像融合方法 | |
| CN111553856B (zh) | 基于深度估计辅助的图像去雾方法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN116055460A (zh) | 一种复杂通信条件下的图像压缩恢复方法 | |
| CN113012071B (zh) | 一种基于深度感知网络的图像失焦去模糊方法 | |
| CN108764287B (zh) | 基于深度学习和分组卷积的目标检测方法及系统 | |
| CN111626944B (zh) | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| CN112734675A (zh) | 一种基于金字塔模型和非局部增强密集块的图像去雨方法 | |
| Li et al. | ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution | |
| CN115861108A (zh) | 一种基于小波自注意力生成对抗网络的图像修复方法 | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN115578274A (zh) | 一种基于边缘约束的双分支图像去雾方法 | |
| CN115619677A (zh) | 一种基于改进的CycleGAN的图像去雾方法 | |
| CN110717873A (zh) | 一种基于多尺度残差的交通标识去模糊检测识别算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |