CN115456914B - 一种基于先验知识的散焦图像去模糊方法、装置及介质 - Google Patents
一种基于先验知识的散焦图像去模糊方法、装置及介质 Download PDFInfo
- Publication number
- CN115456914B CN115456914B CN202211390819.4A CN202211390819A CN115456914B CN 115456914 B CN115456914 B CN 115456914B CN 202211390819 A CN202211390819 A CN 202211390819A CN 115456914 B CN115456914 B CN 115456914B
- Authority
- CN
- China
- Prior art keywords
- network model
- image
- deep learning
- learning network
- priori knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像去模糊技术领域，提供了一种基于先验知识的散焦图像去模糊方法、装置及介质，包括：构建一个用于单图像散焦图模糊的深度学习网络模型，其中包括编码器与解码器；在所述深度学习网络模型中增加先验知识驱动特征提取模块，作为特征提取的编码器；将光场生成数据集LFDOF作为第一训练数据集对所述深度学习网络模型进行训练，并将DPDD数据集作为第二训练数据集对所述深度学习网络模型进行微调；由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。本发明的优点在于在网络模型中引入了一个先验知识驱动的特征提取模块，该模块使用共享卷积核来提取公共信息，并使用私有卷积核来提取特定于模态的信息，以更好地处理空间变化的散焦模糊。
Description
技术领域
本发明涉及图像去模糊技术领域，尤其涉及一种基于先验知识的散焦图像去模糊方法、装置及介质。
背景技术
使用大光圈可以增加光通量，从而以更短的曝光时间拍摄图像。然而，这也降低了景深 (DOF)，只有靠近焦平面的点才能被清晰地捕捉到，而远离焦平面的点将投射到相机传感器上，而不是单个图像点，此现象被称为散焦模糊，这个点被称为混乱圈。浅景深有时是摄影师刻意追求的美学效果，但它也可能会降低重要的视觉信息。因此，高度需要从其散焦版本恢复全焦图像以揭示潜在信息并有利于人工智能应用。
尽管具有巨大的潜力，但去焦点去模糊仍然是一个具有挑战性的问题，因为它的空间变化的性质，每个点都有自己的混乱圈直径，具体取决于相应场景点的深度。此外，混乱圈的形状随着与光轴的相对位置而变化。
为了解决散焦模糊，最直观的方法是首先估计每个像素的模糊核，然后应用非盲去卷积。然而，这两个步骤都有局限性。首先，基于简单的高斯或磁盘核假设，模糊核的估计经常不准确。其次，即使给出了准确的模糊核，由于吉布斯现象，反卷积也会在边缘引入环形伪影。
发明内容
本发明的目的在于提供一种基于先验知识的散焦图像去模糊方法、装置及介质，用以解决上述问题。
为了实现上述目的，本发明采用的技术方案为：
一种基于先验知识的散焦图像去模糊方法，包括：
构建一个用于单图像散焦图模糊的深度学习网络模型，其中包括编码器与解码器；
在所述深度学习网络模型中增加先验知识驱动特征提取模块，作为特征提取的编码器；
将光场生成数据集LFDOF作为第一训练数据集对所述深度学习网络模型进行训练，并将DPDD数据集作为第二训练数据集对所述深度学习网络模型进行微调；
由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。
进一步的，所述深度学习网络模型由编码器提取多尺度金字塔特征，通过跳跃连接将特征添加至解码器的相应尺度。
进一步的，所述先验知识驱动特征提取模块包括初始卷积层以及多个先验知识残差块，输入的特征在经过所述初始卷积层和多个先验知识残差块的卷积运算后得到包含跨模态图像对中的共享特征和私有特征。
进一步的，先验知识残差块的卷积运算可以表示为：
其中*表示卷积，输入特征｛L,R｝对应的第p个先验知识残差块中的第q个卷积层记为
，/>
的输出特征记为/>
，
分别表示与输入特征 R 和 L 对应的共享卷积核和私有卷积核，C是/>
中的内核数。
进一步的，经过所述先验知识残差块卷积运算后的输出特征为：
其中，ReLU为激活函数。
进一步的，在以第一训练数据集对所述深度学习网络模型进行训练时，使用L1范数作为损失函数，其可表示为：
其中，
为恢复得到的清晰图像，y为第一训练数据集中与输入网络训练图像对应的全焦图像。
进一步的，以第二训练数据集对所述深度学习网络模型进行微调时，在特征空间中计算特征损失，其损失函数可表示为：
其中，
来表示损失网络。
本发明还提供了一种基于先验知识的散焦图像去模糊装置，包括至少一个处理器、以及至少一个存储器，其中，
所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行所述的基于先验知识的散焦图像去模糊方法。
本发明还提供了一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行所述的基于先验知识的散焦图像去模糊方法。
本发明与现有技术相比，至少包含以下有益效果：
（1）提出了一种端到端的深度学习网络模型，该模型配备了一种新颖的动态残差块，以从粗到细的方式重建清晰的图像；
（2）在网络模型中引入了一个先验知识驱动的特征提取模块，该模块使用共享卷积核来提取公共信息，并使用私有卷积核来提取特定于模态的信息，以更好地处理空间变化的散焦模糊；
（3）开发了一种新的单图像散焦去模糊训练策略，以提高该网络模型的适用性。
附图说明
图1是本发明所提供实施例中散焦图像去模糊方法的流程图；
图2是本发明所提供实施例中深度学习网络模型的架构示意图；
图3是本发明所提供实施例中先验知识驱动特征提取模块的框架示意图。
具体实施方式
需要说明，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
以下是本发明的具体实施例，并结合附图对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
单图像散焦去模糊旨在从观察到的输入图像x中恢复潜在的清晰图像
，该输入图像x因散焦模糊而失真。
如图1所示，本发明提供的一种基于先验知识的散焦图像去模糊方法，包括：
S1、构建一个用于单图像散焦图模糊的深度学习网络模型，其中包括编码器与解码器；
S2、在所述深度学习网络模型中增加先验知识驱动特征提取模块，作为特征提取的编码器；
S3、将光场生成数据集LFDOF作为第一训练数据集对所述深度学习网络模型进行训练，并将DPDD数据集作为第二训练数据集对所述深度学习网络模型进行微调；
S4、由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。
本发明可以将所构建的深度学习网络模型训练为由θ参数化的映射函数F，从而将输入的图像x恢复至清晰图像
。其中，该映射函数可表示为：
在深度学习网络模型训练中，通过调整损失函数优化θ，而最小化
和y之间的距离，从而提高恢复所得图像的精确性。
其中， (xi, yi) 是散焦和全焦图像对。
如图2所示，本发明在编码器解码器结构中设计了深度学习网络模型F，其包括有编码器ε和解码器D，由编码器ε提取多尺度金字塔特征，通过跳跃连接将特征添加至解码器的相应尺度以稳定网络训练，并由解码器通过上采样在全分辨率重建清晰图像。同时，有两个残差块被添加到解码器的每个尺度，将深层次特征更加清晰地重建。
在本发明所提供的深度网络学习模型F中引入了先验知识驱动特征提取模块Rn，其构建为用于特征提取的编码器，以更好地处理空间变化的散焦模糊。
如图3所示，先验知识驱动特征提取模块包括初始卷积层以及多个先验知识残差块，输入的特征在经过所述初始卷积层和多个先验知识残差块的卷积运算后得到包含跨模态图像对中的共享特征和私有特征。
将对应于｛L,R｝的初始卷积层表示为
，｛L,R｝对应的第p个先验知识残差块中的第q个卷积层记为/>
，其中p = 1, 2, … , P, q=1, 2，/>
的输出特征记为/>
，M，N为不同尺度特征图像的高度和宽度，C是/>
中的内核数，P和C是可以认为调整的。
那么以第p个先验知识残差块中的卷积核为例，先验知识残差块的卷积运算可以表示为
其中*表示卷积，输入特征｛L,R｝对应的第p个先验知识残差块中的第q个卷积层记为
，/>
的输出特征记为/>
，
分别表示与输入特征 R 和 L 对应的共享卷积核和私有卷积核。
经过卷积运算后，第p个残差块中的输出特征为：
其中，ReLU为激活函数。
此基于先验知识驱动特征提取模块的输出是
和/>
，它们包含跨模态图像对中的共享特征和私有特征，并由该共享特征和私有特征重建清晰图像。
在构建完深度学习网络模型后，就需要对该网络模型进行训练。由于传统数码相机和光场相机产生的散焦模糊是不同的，为了弥补这一差距，提出了一种利用强度并克服光场数据缺点的训练策略。
具体来说，通过训练分析了两个散焦模糊数据集LFDOF和DPDD的特征后，在主训练轮中应用光场生成数据集LFDOF以获得高度准确的图像对应。然后，使用DPDD数据集对网络模型进行微调，以缓解两个领域之间的差异，从而提高网络模型的适用范围。
在网络模型训练时，每个阶段使用不同的损失函数。其中，在以LFDOF数据集对深度学习网络模型进行训练时，使用L1范数作为损失函数，其可表示为：
其中，
为恢复得到的清晰图像，y为数据集LFDOF中与输入网络训练图像对应的全焦图像。
而通过数据集DPDD对深度学习网络模型进行微调时，在特征空间中计算特征损失，其损失函数可表示为：
其中，
来表示损失网络。
本发明在这一过程中，应用基于VGG的特征损失将学习到的知识转移到特征空间中的目标域，从而避免在图像空间中的精确匹配。
在本发明另一实施例中，还提供一种基于先验知识的散焦图像去模糊装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的基于先验知识的散焦图像去模糊方法。
在本发明另一实施例中，还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的基于先验知识的散焦图像去模糊方法。
专业人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (3)
1.一种基于先验知识的散焦图像去模糊方法，其特征在于，包括：
构建一个用于单图像散焦图模糊的深度学习网络模型，其中包括编码器与解码器；
在所述深度学习网络模型中增加先验知识驱动特征提取模块，作为特征提取的编码器；
将光场生成数据集LFDOF作为第一训练数据集对所述深度学习网络模型进行训练，并将DPDD数据集作为第二训练数据集对所述深度学习网络模型进行微调；
由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像；
所述深度学习网络模型由编码器提取多尺度金字塔特征，通过跳跃连接将特征添加至解码器的相应尺度；
所述先验知识驱动特征提取模块包括初始卷积层以及多个先验知识残差块，输入的特征在经过所述初始卷积层和多个先验知识残差块的卷积运算后得到包含跨模态图像对中的共享特征和私有特征；
先验知识残差块的卷积运算可以表示为：
其中*表示卷积，输入特征｛L,R｝对应的第p个先验知识残差块中的第q个卷积层记为
，
的输出特征记为
，M，N为不同尺度特征图像的高度和宽度，C是
中的内核数，p=1，2，…，P，q=1，2，P和C是可以调整的；
分别表示与输入特征R和L对应的共享卷积核和私有卷积核；
经过所述先验知识残差块卷积运算后的输出特征为：
其中，ReLU为激活函数；
在以第一训练数据集对所述深度学习网络模型进行训练时，使用L1范数作为损失函数，其可表示为：
其中，
为恢复得到的清晰图像，y为第一训练数据集中与输入网络训练图像对应的全焦图像；
以第二训练数据集对所述深度学习网络模型进行微调时，在特征空间中计算特征损失，其损失函数可表示为：
其中，
来表示损失网络。
2.一种基于先验知识的散焦图像去模糊装置，包括至少一个处理器、以及至少一个存储器，其中，
所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行权利要求1所述的基于先验知识的散焦图像去模糊方法。
3.一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行权利要求1所述的基于先验知识的散焦图像去模糊方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211390819.4A CN115456914B (zh) | 2022-11-08 | 2022-11-08 | 一种基于先验知识的散焦图像去模糊方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211390819.4A CN115456914B (zh) | 2022-11-08 | 2022-11-08 | 一种基于先验知识的散焦图像去模糊方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115456914A CN115456914A (zh) | 2022-12-09 |
| CN115456914B true CN115456914B (zh) | 2023-03-24 |
Family
ID=84310822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211390819.4A Active CN115456914B (zh) | 2022-11-08 | 2022-11-08 | 一种基于先验知识的散焦图像去模糊方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115456914B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977220B (zh) * | 2023-08-07 | 2024-02-13 | 中国矿业大学 | 基于图像质量启发的盲图像去运动模糊算法 |
| CN117274067A (zh) * | 2023-11-22 | 2023-12-22 | 浙江优众新材料科技有限公司 | 一种基于强化学习的光场图像盲超分辨处理方法与系统 |
| CN117291808B (zh) * | 2023-11-27 | 2024-02-20 | 浙江优众新材料科技有限公司 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
| CN117409058B (zh) * | 2023-12-14 | 2024-03-26 | 浙江优众新材料科技有限公司 | 一种基于自监督的深度估计匹配代价预估方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677304A (zh) * | 2022-03-28 | 2022-06-28 | 东南大学 | 一种基于知识蒸馏和深度神经网络的图像去模糊算法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9692939B2 (en) * | 2013-05-29 | 2017-06-27 | Yeda Research And Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
| CN109377459B (zh) * | 2018-09-30 | 2022-03-18 | 国网智能科技股份有限公司 | 一种生成式对抗网络的超分辨率去模糊方法 |
| CN110415193A (zh) * | 2019-08-02 | 2019-11-05 | 平顶山学院 | 煤矿低照度模糊图像的复原方法 |
| TWI784349B (zh) * | 2020-11-16 | 2022-11-21 | 國立政治大學 | 顯著圖產生方法及使用該方法的影像處理系統 |
-
2022
- 2022-11-08 CN CN202211390819.4A patent/CN115456914B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677304A (zh) * | 2022-03-28 | 2022-06-28 | 东南大学 | 一种基于知识蒸馏和深度神经网络的图像去模糊算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115456914A (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115456914B (zh) | 一种基于先验知识的散焦图像去模糊方法、装置及介质 | |
| Ignatov et al. | Dslr-quality photos on mobile devices with deep convolutional networks | |
| US10360664B2 (en) | Image processing apparatus and method using machine learning | |
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN107403415B (zh) | 基于全卷积神经网络的压缩深度图质量增强方法及装置 | |
| CN1870715B (zh) | 手抖动校正装置 | |
| US11188777B2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
| WO2020152521A1 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| CN110533607B (zh) | 一种基于深度学习的图像处理方法、装置及电子设备 | |
| JP2013508811A (ja) | 空間画像事前確率を用いたぼけ画像修正 | |
| CN111553867B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| JP2017010095A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| CN107220945B (zh) | 多重退化的极模糊图像的复原方法 | |
| Wali et al. | Recent Progress in Digital Image Restoration Techniques: A Review | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| JP2021082118A (ja) | 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法 | |
| US11967096B2 (en) | Methods and apparatuses of depth estimation from focus information | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| Bhagat et al. | Novel Approach to Estimate Motion Blur Kernel Parameters and Comparative Study of Restoration Techniques | |
| CN115393491A (zh) | 一种基于实例分割和参考帧的水墨视频生成方法及装置 | |
| Muhammad et al. | Matlab Program for Sharpening Image due to Lenses Blurring Effect Simulation with Lucy Richardson Deconvolution | |
| CN117745916B (zh) | 多张多类型模糊图像的三维渲染方法和系统 | |
| CN117876253B (zh) | 一种低照度彩色偏振图像增强方法及系统 | |
| CN112465828B (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method, device, and medium for deblurring defocused images based on prior knowledge Effective date of registration: 20230725 Granted publication date: 20230324 Pledgee: Zhejiang Tailong Commercial Bank Co.,Ltd. Zhoushan Lincheng small and micro enterprise franchise sub branch Pledgor: ZHEJIANG UNISOM NEW MATERIAL TECHNOLOGY CO.,LTD. Registration number: Y2023330001557 |