CN111598809A - 一种基于深度学习的图像运动模糊盲去除算法 - Google Patents
一种基于深度学习的图像运动模糊盲去除算法 Download PDFInfo
- Publication number
- CN111598809A CN111598809A CN202010422022.2A CN202010422022A CN111598809A CN 111598809 A CN111598809 A CN 111598809A CN 202010422022 A CN202010422022 A CN 202010422022A CN 111598809 A CN111598809 A CN 111598809A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- fuzzy
- motion blur
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000002474 experimental method Methods 0.000 claims abstract description 10
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 17
- 239000000654 additive Substances 0.000 claims description 12
- 230000000996 additive effect Effects 0.000 claims description 12
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000011160 research Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的图像运动模糊盲去除算法，涉及图像的运动模糊技术领域；它的算法如下：步骤一：采用深度学习的方法，在仅具有一张未知模糊图像的情况下，复原出清晰图像；步骤二：建立图像运动模糊的问题模型；步骤三：确定神经网络类型；步骤四：确定网络的总体结构，进行神经网络的具体设计；步骤五：查找并选定网络训练使用的数据集；准备工作完成后，进行训练实验，分析实验结果并总结，进行进一步调试；本发明能够在一次网络前馈传播中，同时预测多个模糊核的像素级模糊参数，并给出清晰图像复原结果；减小模糊参数估计的误差、提高模糊参数估计的精度；加快算法的运行速度、减小占用的存储空间。
Description
技术领域
本发明属于图像的运动模糊技术领域，具体涉及一种基于深度学习的图像运动模糊盲去除算法。
背景技术
传统可变模糊盲去除方法的应用范围受限，运行耗时长，自动化程度不高。而现存的基于深度学习的方法虽然能够在一定程度上消除上诉弊端，但仍然存在下列缺陷：1)、没有脱离传统的清晰图像复原方法，运行速度慢；2)、对于同时预测多个模糊核的模糊参数，需进行分块和融合处理。
发明内容
为解决现有的问题；本发明的目的在于提供一种基于深度学习的图像运动模糊盲去除算法。
本发明的一种基于深度学习的图像运动模糊盲去除算法，它的算法如下：
步骤一：采用深度学习的方法，在仅具有一张未知模糊图像的情况下，复原出清晰图像；
步骤二：建立图像运动模糊的问题模型：
模糊图像通常被建模为一张清晰图像与点扩散函数卷积再加上随机噪声的过程。即：
Ib＝Io*q+ε (1-1)
其中，Ib代表模糊图像；Io代表真实清晰图像；q代表模糊核或点扩散函数，在模糊可变的模糊模型中，q是空间可变的；ε代表加性噪声；对于随机噪声ε，在图像模糊复原领域通常被建模为加性白噪声，白噪声具备均值为0的特性，即E[ε]＝0；
图像去模糊可以看作根据模糊图像Ib，模糊核q，噪声ε，反向求解清晰图像Io的过程；由于图像去模糊问题的不适定性特别是在模糊核和噪声都没办法提前获知的情况下，精确的求解真实清晰图像Io是不现实的，最终只能求解得真实图像的最优近似
这个求解最优近似的任务可以被描述为如下求最优的问题：
其中D表示距离度量函数，在传统模糊去除问题中，一般取均方误差；在实际运用过程中不能直接使用二维连续信号的退化模型，其原因在于计算机只能处理离散信号，因此需要将连续的模糊图像和点扩散函数PSF离散化；即分别对输入清晰图像、输出模糊图像和点扩散函数PSF进行等间隔采样并转换成计算机可以处理和计算的矩阵形式；针对图像退化过程中的加性噪声，现有的图像去噪算法能够较好的去除，因此忽略式(1-1)中的噪声，仅对图像运动模糊的盲去除进行研究；
步骤三：确定神经网络类型：深入学习卷积神经网络，在仔细研究基于深度学习的盲去模糊方法的基础上，选取一种最优的神经网络，即一种对图像模糊估计粒度足够精细、适用于单幅图片具有多个模糊核的情况、算法耗费时长相对较短的神经网络；
步骤四：确定网络的总体结构，进行神经网络的具体设计：
用两个端对端的子网络解决运动模糊参数估计和运动模糊非盲去除问题；两个子网络分别是参数估计子网络和条件生成子网络，即参数估计网络用于实现模糊核参数的估计，条件生成网络用于模糊的非盲去除，完成图像复原，输出清晰图像；
步骤五：查找并选定网络训练使用的数据集，包括训练数据集和测试数据集；准备工作完成后，进行训练实验，分析实验结果并总结，进行进一步调试。
与现有技术相比，本发明的有益效果为：
一、能够在一次网络前馈传播中，同时预测多个模糊核的像素级模糊参数，并给出清晰图像复原结果；
二、减小模糊参数估计的误差、提高模糊参数估计的精度，得到的清晰图像的质量评价更优、视觉效果更佳；加快算法的运行速度、减小占用的存储空间。
具体实施方式
本具体实施方式采用以下技术方案：它的算法如下：
步骤一：设计主要针对图像运动模糊的盲去除技术进行研究。根据前文所提到的基于先验的图像模糊盲去除技术，可以了解到该种方法对模糊图像的复原结果不仅依赖于参数估计算法的选择，也受到所选的非盲去模糊算法的限制，方法具有一定局限性。同时，根据上文，可知运动模糊通常分为两类，即单幅图像只具有一个模糊核的空间不变化运动模糊，与单幅图像具有多个模糊核的空间变化运动模糊。在去运动模糊技术的研究中，传统算法很难解决具有多个模糊核的单幅图像去模糊问题。所以采用深度学习的方法，在仅具有一张未知模糊图像的情况下，复原出清晰图像。
二、建立图像运动模糊的问题模型。一般来说模糊图像通常被建模为一张清晰图像与点扩散函数(Point Spread Function，PSF)卷积再加上随机噪声的过程。即：
Ib＝Io*q+ε (1-1)
其中，Ib代表模糊图像。Io代表真实清晰图像。q代表模糊核或点扩散函数，在模糊可变的模糊模型中，q是空间可变的。ε代表加性噪声。对于随机噪声ε，在图像模糊复原领域通常被建模为加性白噪声，白噪声具备均值为0的特性，即E[ε]＝0。
图像去模糊可以看作根据模糊图像Ib，模糊核q，噪声ε，反向求解清晰图像Io的过程。由于图像去模糊问题的不适定性特别是在模糊核和噪声都没办法提前获知的情况下，精确的求解真实清晰图像Io是不现实的，我们最终只能求解得真实图像的最优近似
这个求解最优近似的任务可以被描述为如下求最优的问题：
其中D表示距离度量函数，在传统模糊去除问题中，一般取均方误差(Mean SquareError，MSE)。在实际运用过程中不能直接使用二维连续信号的退化模型，其原因在于计算机只能处理离散信号，因此需要将连续的模糊图像和点扩散函数PSF离散化。即分别对输入清晰图像、输出模糊图像和点扩散函数PSF进行等间隔采样并转换成计算机可以处理和计算的矩阵形式。针对图像退化过程中的加性噪声，现有的图像去噪算法能够较好的去除，因此忽略式(1-1)中的噪声，仅对图像运动模糊的盲去除进行研究。
三、确定神经网络类型。深入学习卷积神经网络，在仔细研究基于深度学习的盲去模糊方法的基础上，选取一种最优的神经网络，即一种对图像模糊估计粒度足够精细、可以适用于单幅图片具有多个模糊核的情况、算法耗费时长相对较短的神经网络。
四、确定网络的总体结构，进行神经网络的具体设计。根据已查阅的参考文献得知，图像运动模糊盲去除被分解为运动模糊参数预测和运动模糊非盲去除两个问题，上述算法框架关键在于参数预测算法的准确性和模糊复原算法的能力。受上述框架启发，用两个端对端的子网络解决运动模糊参数估计和运动模糊非盲去除问题。两个子网络分别是参数估计子网络和条件生成子网络，即参数估计网络用于实现模糊核参数的估计，条件生成网络用于模糊的非盲去除，完成图像复原，输出清晰图像。
五、查找并选定网络训练使用的数据集，包括训练数据集和测试数据集。准备工作完成后，进行训练实验，分析实验结果并总结，进行进一步调试。
本具体实施方式的图像去运动模糊一直以来作为学术界的热点研究问题备受关注，产生运动模糊的因素不同，相应的去运动模糊模型和算法也不尽相同，近年来，国内外众多学者在去运动模糊上做了大量的工作，且提出了许多有效的去模糊算法模型。针对前文所提及的基于深度学习的单幅图像模糊盲去除算法的不足，提出了一种新型的基于深度学习的图像模糊盲去除方法，目标是能够在一次网络前馈传播中，同时预测多个模糊核的像素级模糊参数，并给出清晰图像复原结果。具体研究内容如下：
1.基于深度学习研究一种可以准确估计模糊核的参数估计网络，用于估计输入图像的像素级模糊参数，以满足任意输入图像大小和多种模糊类型模糊参数估计的需要。网络结构的选取主要考虑在不损失特征图信息、不增加卷积参数数量的同时增大感受野、提高网络的特征抽象能力，达到对单幅图像中多个模糊核参数快速高效的做出精准估计。
2.基于深度学习研究一种可以生成清晰图像的条件生成网络，用于将上述的参数估计结果作为指导进行运动模糊去除，并且整合参数估计子网络和条件生成子网络为端到端的网络。训练好的网络免去了分块操作的必要，摆脱了传统非盲去模糊方法，使整个模糊去除过程更具一致性。
3.查找适合实验的数据集，并进行选定，为网络的训练提供样本。其次，设置多组对比实验对参数估计子网络的参数估计性能和条件生成子网络的去模糊性能进行测试。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (1)
1.一种基于深度学习的图像运动模糊盲去除算法，其特征在于：它的算法如下：
步骤一：采用深度学习的方法，在仅具有一张未知模糊图像的情况下，复原出清晰图像；
步骤二：建立图像运动模糊的问题模型：
模糊图像通常被建模为一张清晰图像与点扩散函数卷积再加上随机噪声的过程；即：
Ib＝Io*q+ε(1-1)
其中，Ib代表模糊图像；Io代表真实清晰图像；q代表模糊核或点扩散函数，在模糊可变的模糊模型中，q是空间可变的；ε代表加性噪声；对于随机噪声ε，在图像模糊复原领域通常被建模为加性白噪声，白噪声具备均值为0的特性，即E[ε]＝0；
图像去模糊可以看作根据模糊图像Ib，模糊核q，噪声ε，反向求解清晰图像Io的过程；由于图像去模糊问题的不适定性特别是在模糊核和噪声都没办法提前获知的情况下，精确的求解真实清晰图像Io是不现实的，最终只能求解得真实图像的最优近似
这个求解最优近似的任务可以被描述为如下求最优的问题：
其中D表示距离度量函数，在传统模糊去除问题中，一般取均方误差；在实际运用过程中不能直接使用二维连续信号的退化模型，其原因在于计算机只能处理离散信号，因此需要将连续的模糊图像和点扩散函数PSF离散化；即分别对输入清晰图像、输出模糊图像和点扩散函数PSF进行等间隔采样并转换成计算机可以处理和计算的矩阵形式；针对图像退化过程中的加性噪声，现有的图像去噪算法能够较好的去除，因此忽略式(1-1)中的噪声，仅对图像运动模糊的盲去除进行研究；
步骤三：确定神经网络类型：深入学习卷积神经网络，在仔细研究基于深度学习的盲去模糊方法的基础上，选取一种最优的神经网络，即一种对图像模糊估计粒度足够精细、适用于单幅图片具有多个模糊核的情况、算法耗费时长相对较短的神经网络；
步骤四：确定网络的总体结构，进行神经网络的具体设计：
用两个端对端的子网络解决运动模糊参数估计和运动模糊非盲去除问题；两个子网络分别是参数估计子网络和条件生成子网络，即参数估计网络用于实现模糊核参数的估计，条件生成网络用于模糊的非盲去除，完成图像复原，输出清晰图像；
步骤五：查找并选定网络训练使用的数据集，包括训练数据集和测试数据集；准备工作完成后，进行训练实验，分析实验结果并总结，进行进一步调试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010422022.2A CN111598809A (zh) | 2020-05-18 | 2020-05-18 | 一种基于深度学习的图像运动模糊盲去除算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010422022.2A CN111598809A (zh) | 2020-05-18 | 2020-05-18 | 一种基于深度学习的图像运动模糊盲去除算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111598809A true CN111598809A (zh) | 2020-08-28 |
Family
ID=72191546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010422022.2A Pending CN111598809A (zh) | 2020-05-18 | 2020-05-18 | 一种基于深度学习的图像运动模糊盲去除算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598809A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330555A (zh) * | 2020-10-30 | 2021-02-05 | 西安工业大学 | 一种用于天文图像的解卷积的网络训练方法 |
| CN114418883A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于深度先验的盲图像去模糊方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003234A (zh) * | 2018-06-21 | 2018-12-14 | 东南大学 | 针对运动模糊图像复原的模糊核计算方法 |
| CN109118438A (zh) * | 2018-06-29 | 2019-01-01 | 上海航天控制技术研究所 | 一种基于生成对抗网络的高斯模糊图像复原方法 |
-
2020
- 2020-05-18 CN CN202010422022.2A patent/CN111598809A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003234A (zh) * | 2018-06-21 | 2018-12-14 | 东南大学 | 针对运动模糊图像复原的模糊核计算方法 |
| CN109118438A (zh) * | 2018-06-29 | 2019-01-01 | 上海航天控制技术研究所 | 一种基于生成对抗网络的高斯模糊图像复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| 伍楚丹: "基于深度全卷积网络的图像可变模糊盲去除", 《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》 * |
| 鲍宗袍: "运动图像盲去模糊技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330555A (zh) * | 2020-10-30 | 2021-02-05 | 西安工业大学 | 一种用于天文图像的解卷积的网络训练方法 |
| CN112330555B (zh) * | 2020-10-30 | 2024-01-19 | 西安工业大学 | 一种用于天文图像的解卷积的网络训练方法 |
| CN114418883A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于深度先验的盲图像去模糊方法 |
| CN114418883B (zh) * | 2022-01-18 | 2024-03-29 | 北京工业大学 | 一种基于深度先验的盲图像去模糊方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Haze concentration adaptive network for image dehazing | |
| CN109671029B (zh) | 基于伽马范数最小化的图像去噪方法 | |
| CN112200750A (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
| CN111192211B (zh) | 一种基于单个深度神经网络的多噪声类型盲去噪方法 | |
| CN111695421B (zh) | 图像识别方法、装置及电子设备 | |
| CN110675347A (zh) | 一种基于组稀疏表示的图像盲复原方法 | |
| CN105260998A (zh) | 基于mcmc采样和阈值低秩逼近的图像去噪方法 | |
| CN111598809A (zh) | 一种基于深度学习的图像运动模糊盲去除算法 | |
| CN111127354A (zh) | 一种基于多尺度字典学习的单图像去雨方法 | |
| CN116563146A (zh) | 基于可学习曲率图的图像增强方法与系统 | |
| CN114331886A (zh) | 一种基于深度特征的图像去模糊方法 | |
| Dalal et al. | Autoregressive models: What are they good for? | |
| Nithya et al. | Pilot based channel estimation of OFDM systems using deep learning techniques | |
| Jaisurya et al. | Attention-based single image dehazing using improved cyclegan | |
| CN117115032A (zh) | 一种基于图片去噪扩散生成模型的图像恢复方法 | |
| Zhu et al. | Image quality assessment based on deep learning with FPGA implementation | |
| CN117314787A (zh) | 基于自适应多尺度融合和注意力机制的水下图像增强方法 | |
| CN110136164B (zh) | 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 | |
| CN113379641B (zh) | 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 | |
| Jadhav et al. | Image denoising using deep auto-encoder network for production monitoring in real-time | |
| CN110415190B (zh) | 基于深度学习去除图像压缩噪声的方法、装置及处理器 | |
| Song et al. | Quality-aware blind image motion deblurring | |
| Liu | Lightweight single image super-resolution by channel split residual convolution | |
| Yadav et al. | GPGPU based implementation of a high performing No Reference (NR)-IQA algorithm, BLIINDS-II | |
| CN117893424A (zh) | 一种基于神经拟态事件信号辅助的视频去雨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200828 |
|
| WD01 | Invention patent application deemed withdrawn after publication |