CN115456914A - 一种基于先验知识的散焦图像去模糊方法、装置及介质 - Google Patents
一种基于先验知识的散焦图像去模糊方法、装置及介质 Download PDFInfo
- Publication number
- CN115456914A CN115456914A CN202211390819.4A CN202211390819A CN115456914A CN 115456914 A CN115456914 A CN 115456914A CN 202211390819 A CN202211390819 A CN 202211390819A CN 115456914 A CN115456914 A CN 115456914A
- Authority
- CN
- China
- Prior art keywords
- network model
- deep learning
- image
- learning network
- priori knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像去模糊技术领域,提供了一种基于先验知识的散焦图像去模糊方法、装置及介质,包括:构建一个用于单图像散焦图模糊的深度学习网络模型,其中包括编码器与解码器;在所述深度学习网络模型中增加先验知识驱动特征提取模块,作为特征提取的编码器;将光场生成数据集LFDOF作为第一训练数据集对所述深度学习网络模型进行训练,并将DPDD数据集作为第二训练数据集对所述深度学习网络模型进行微调;由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。本发明的优点在于在网络模型中引入了一个先验知识驱动的特征提取模块,该模块使用共享卷积核来提取公共信息,并使用私有卷积核来提取特定于模态的信息,以更好地处理空间变化的散焦模糊。
Description
技术领域
本发明涉及图像去模糊技术领域,尤其涉及一种基于先验知识的散焦图像去模糊方法、装置及介质。
背景技术
使用大光圈可以增加光通量,从而以更短的曝光时间拍摄图像。然而,这也降低了景深 (DOF),只有靠近焦平面的点才能被清晰地捕捉到,而远离焦平面的点将投射到相机传感器上,而不是单个图像点,此现象被称为散焦模糊,这个点被称为混乱圈。浅景深有时是摄影师刻意追求的美学效果,但它也可能会降低重要的视觉信息。因此,高度需要从其散焦版本恢复全焦图像以揭示潜在信息并有利于人工智能应用。
尽管具有巨大的潜力,但去焦点去模糊仍然是一个具有挑战性的问题,因为它的空间变化的性质,每个点都有自己的混乱圈直径,具体取决于相应场景点的深度。此外,混乱圈的形状随着与光轴的相对位置而变化。
为了解决散焦模糊,最直观的方法是首先估计每个像素的模糊核,然后应用非盲去卷积。然而,这两个步骤都有局限性。首先,基于简单的高斯或磁盘核假设,模糊核的估计经常不准确。其次,即使给出了准确的模糊核,由于吉布斯现象,反卷积也会在边缘引入环形伪影。
发明内容
本发明的目的在于提供一种基于先验知识的散焦图像去模糊方法、装置及介质,用以解决上述问题。
为了实现上述目的,本发明采用的技术方案为:
一种基于先验知识的散焦图像去模糊方法,包括:
构建一个用于单图像散焦图模糊的深度学习网络模型,其中包括编码器与解码器;
在所述深度学习网络模型中增加先验知识驱动特征提取模块,作为特征提取的编码器;
将光场生成数据集LFDOF作为第一训练数据集对所述深度学习网络模型进行训练,并将DPDD数据集作为第二训练数据集对所述深度学习网络模型进行微调;
由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。
进一步的,所述深度学习网络模型由编码器提取多尺度金字塔特征,通过跳跃连接将特征添加至解码器的相应尺度。
进一步的,所述先验知识驱动特征提取模块包括初始卷积层以及多个先验知识残差块,输入的特征在经过所述初始卷积层和多个先验知识残差块的卷积运算后得到包含跨模态图像对中的共享特征和私有特征。
进一步的,先验知识残差块的卷积运算可以表示为:
进一步的,经过所述先验知识残差块卷积运算后的输出特征为:
其中,ReLU为激活函数。
进一步的,在以第一训练数据集对所述深度学习网络模型进行训练时,使用L1范数作为损失函数,其可表示为:
进一步的,以第二训练数据集对所述深度学习网络模型进行微调时,在特征空间中计算特征损失,其损失函数可表示为:
本发明还提供了一种基于先验知识的散焦图像去模糊装置,包括至少一个处理器、以及至少一个存储器,其中,
所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器能够执行所述的基于先验知识的散焦图像去模糊方法。
本发明还提供了一种计算机可读存储介质,当所述存储介质中的指令由设备内的处理器执行时,使得所述设备能够执行所述的基于先验知识的散焦图像去模糊方法。
本发明与现有技术相比,至少包含以下有益效果:
(1)提出了一种端到端的深度学习网络模型,该模型配备了一种新颖的动态残差块,以从粗到细的方式重建清晰的图像;
(2)在网络模型中引入了一个先验知识驱动的特征提取模块,该模块使用共享卷积核来提取公共信息,并使用私有卷积核来提取特定于模态的信息,以更好地处理空间变化的散焦模糊;
(3)开发了一种新的单图像散焦去模糊训练策略,以提高该网络模型的适用性。
附图说明
图1是本发明所提供实施例中散焦图像去模糊方法的流程图;
图2是本发明所提供实施例中深度学习网络模型的架构示意图;
图3是本发明所提供实施例中先验知识驱动特征提取模块的框架示意图。
具体实施方式
需要说明,在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
以下是本发明的具体实施例,并结合附图对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
如图1所示,本发明提供的一种基于先验知识的散焦图像去模糊方法,包括:
S1、构建一个用于单图像散焦图模糊的深度学习网络模型,其中包括编码器与解码器;
S2、在所述深度学习网络模型中增加先验知识驱动特征提取模块,作为特征提取的编码器;
S3、将光场生成数据集LFDOF作为第一训练数据集对所述深度学习网络模型进行训练,并将DPDD数据集作为第二训练数据集对所述深度学习网络模型进行微调;
S4、由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。
其中, (xi, yi) 是散焦和全焦图像对。
如图2所示,本发明在编码器解码器结构中设计了深度学习网络模型F,其包括有编码器ε和解码器D,由编码器ε提取多尺度金字塔特征,通过跳跃连接将特征添加至解码器的相应尺度以稳定网络训练,并由解码器通过上采样在全分辨率重建清晰图像。同时,有两个残差块被添加到解码器的每个尺度,将深层次特征更加清晰地重建。
在本发明所提供的深度网络学习模型F中引入了先验知识驱动特征提取模块Rn,其构建为用于特征提取的编码器,以更好地处理空间变化的散焦模糊。
如图3所示,先验知识驱动特征提取模块包括初始卷积层以及多个先验知识残差块,输入的特征在经过所述初始卷积层和多个先验知识残差块的卷积运算后得到包含跨模态图像对中的共享特征和私有特征。
将对应于{L,R}的初始卷积层表示为,{L,R}对应的第p个先验知识残差块中的第q个卷积层记为,其中p = 1, 2, … , P, q=1, 2,的输出特征记为,M,N为不同尺度特征图像的高度和宽度,C是中的内核数,P和C是可以认为调整的。
那么以第p个先验知识残差块中的卷积核为例,先验知识残差块的卷积运算可以表示为
经过卷积运算后,第p个残差块中的输出特征为:
其中,ReLU为激活函数。
在构建完深度学习网络模型后,就需要对该网络模型进行训练。由于传统数码相机和光场相机产生的散焦模糊是不同的,为了弥补这一差距,提出了一种利用强度并克服光场数据缺点的训练策略。
具体来说,通过训练分析了两个散焦模糊数据集LFDOF和DPDD的特征后,在主训练轮中应用光场生成数据集LFDOF以获得高度准确的图像对应。然后,使用DPDD数据集对网络模型进行微调,以缓解两个领域之间的差异,从而提高网络模型的适用范围。
在网络模型训练时,每个阶段使用不同的损失函数。其中,在以LFDOF数据集对深度学习网络模型进行训练时,使用L1范数作为损失函数,其可表示为:
而通过数据集DPDD对深度学习网络模型进行微调时,在特征空间中计算特征损失,其损失函数可表示为:
本发明在这一过程中,应用基于VGG的特征损失将学习到的知识转移到特征空间中的目标域,从而避免在图像空间中的精确匹配。
在本发明另一实施例中,还提供一种基于先验知识的散焦图像去模糊装置,包括至少一个处理器、以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器能够执行上述的基于先验知识的散焦图像去模糊方法。
在本发明另一实施例中,还提供一种计算机可读存储介质,当所述存储介质中的指令由设备内的处理器执行时,使得所述设备能够执行上述的基于先验知识的散焦图像去模糊方法。
专业人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (9)
1.一种基于先验知识的散焦图像去模糊方法,其特征在于,包括:
构建一个用于单图像散焦图模糊的深度学习网络模型,其中包括编码器与解码器;
在所述深度学习网络模型中增加先验知识驱动特征提取模块,作为特征提取的编码器;
将光场生成数据集LFDOF作为第一训练数据集对所述深度学习网络模型进行训练,并将DPDD数据集作为第二训练数据集对所述深度学习网络模型进行微调;
由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。
2.根据权利要求1所述的一种基于先验知识的散焦图像去模糊方法,其特征在于,所述深度学习网络模型由编码器提取多尺度金字塔特征,通过跳跃连接将特征添加至解码器的相应尺度。
3.根据权利要求1所述的一种基于先验知识的散焦图像去模糊方法,其特征在于,所述先验知识驱动特征提取模块包括初始卷积层以及多个先验知识残差块,输入的特征在经过所述初始卷积层和多个先验知识残差块的卷积运算后得到包含跨模态图像对中的共享特征和私有特征。
8.一种基于先验知识的散焦图像去模糊装置,包括至少一个处理器、以及至少一个存储器,其中,
所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器能够执行权利要求1-7任一项所述的基于先验知识的散焦图像去模糊方法。
9.一种计算机可读存储介质,当所述存储介质中的指令由设备内的处理器执行时,使得所述设备能够执行权利要求1-7任一项所述的基于先验知识的散焦图像去模糊方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211390819.4A CN115456914B (zh) | 2022-11-08 | 2022-11-08 | 一种基于先验知识的散焦图像去模糊方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211390819.4A CN115456914B (zh) | 2022-11-08 | 2022-11-08 | 一种基于先验知识的散焦图像去模糊方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115456914A true CN115456914A (zh) | 2022-12-09 |
CN115456914B CN115456914B (zh) | 2023-03-24 |
Family
ID=84310822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211390819.4A Active CN115456914B (zh) | 2022-11-08 | 2022-11-08 | 一种基于先验知识的散焦图像去模糊方法、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115456914B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934970A (zh) * | 2023-07-24 | 2023-10-24 | 天津大学 | 一种基于先验知识引导的医学单视图三维重建装置 |
CN116977220A (zh) * | 2023-08-07 | 2023-10-31 | 中国矿业大学 | 基于图像质量启发的盲图像去运动模糊算法 |
CN117274067A (zh) * | 2023-11-22 | 2023-12-22 | 浙江优众新材料科技有限公司 | 一种基于强化学习的光场图像盲超分辨处理方法与系统 |
CN117291808A (zh) * | 2023-11-27 | 2023-12-26 | 浙江优众新材料科技有限公司 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
CN117409058A (zh) * | 2023-12-14 | 2024-01-16 | 浙江优众新材料科技有限公司 | 一种基于自监督的深度估计匹配代价预估方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140354886A1 (en) * | 2013-05-29 | 2014-12-04 | Yeda Research & Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
CN109377459A (zh) * | 2018-09-30 | 2019-02-22 | 国网山东省电力公司电力科学研究院 | 一种生成式对抗网络的超分辨率去模糊方法 |
CN110415193A (zh) * | 2019-08-02 | 2019-11-05 | 平顶山学院 | 煤矿低照度模糊图像的复原方法 |
US20220156889A1 (en) * | 2020-11-16 | 2022-05-19 | National Chengchi University | Saliency map generation method and image processing system using the same |
CN114677304A (zh) * | 2022-03-28 | 2022-06-28 | 东南大学 | 一种基于知识蒸馏和深度神经网络的图像去模糊算法 |
-
2022
- 2022-11-08 CN CN202211390819.4A patent/CN115456914B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140354886A1 (en) * | 2013-05-29 | 2014-12-04 | Yeda Research & Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
CN109377459A (zh) * | 2018-09-30 | 2019-02-22 | 国网山东省电力公司电力科学研究院 | 一种生成式对抗网络的超分辨率去模糊方法 |
CN110415193A (zh) * | 2019-08-02 | 2019-11-05 | 平顶山学院 | 煤矿低照度模糊图像的复原方法 |
US20220156889A1 (en) * | 2020-11-16 | 2022-05-19 | National Chengchi University | Saliency map generation method and image processing system using the same |
CN114677304A (zh) * | 2022-03-28 | 2022-06-28 | 东南大学 | 一种基于知识蒸馏和深度神经网络的图像去模糊算法 |
Non-Patent Citations (2)
Title |
---|
VEERARAGHAVAN, ASHOK等: "Mask enhanced cameras for heterodyned light fields and coded aperture refocusing", 《ACM TRANSACTIONS ON GRAPHICS》 * |
彭杨: "基于编码孔径的折反射散焦模糊图像复原方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934970A (zh) * | 2023-07-24 | 2023-10-24 | 天津大学 | 一种基于先验知识引导的医学单视图三维重建装置 |
CN116977220A (zh) * | 2023-08-07 | 2023-10-31 | 中国矿业大学 | 基于图像质量启发的盲图像去运动模糊算法 |
CN116977220B (zh) * | 2023-08-07 | 2024-02-13 | 中国矿业大学 | 基于图像质量启发的盲图像去运动模糊算法 |
CN117274067A (zh) * | 2023-11-22 | 2023-12-22 | 浙江优众新材料科技有限公司 | 一种基于强化学习的光场图像盲超分辨处理方法与系统 |
CN117291808A (zh) * | 2023-11-27 | 2023-12-26 | 浙江优众新材料科技有限公司 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
CN117291808B (zh) * | 2023-11-27 | 2024-02-20 | 浙江优众新材料科技有限公司 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
CN117409058A (zh) * | 2023-12-14 | 2024-01-16 | 浙江优众新材料科技有限公司 | 一种基于自监督的深度估计匹配代价预估方法 |
CN117409058B (zh) * | 2023-12-14 | 2024-03-26 | 浙江优众新材料科技有限公司 | 一种基于自监督的深度估计匹配代价预估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115456914B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115456914B (zh) | 一种基于先验知识的散焦图像去模糊方法、装置及介质 | |
US10360664B2 (en) | Image processing apparatus and method using machine learning | |
CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
Wang et al. | Recent progress in image deblurring | |
Yu et al. | A unified learning framework for single image super-resolution | |
EP3706069A2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
Jeon et al. | Ring difference filter for fast and noise robust depth from focus | |
JP2013531268A (ja) | 符号化開口を使用した距離の測定 | |
US20220398698A1 (en) | Image processing model generation method, processing method, storage medium, and terminal | |
Chen et al. | U-net like deep autoencoders for deblurring atmospheric turbulence | |
Kotera et al. | Blind deconvolution with model discrepancies | |
Quan et al. | Neumann network with recursive kernels for single image defocus deblurring | |
CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
Wali et al. | Recent progress in digital image restoration techniques: a review | |
CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
CN107220945B (zh) | 多重退化的极模糊图像的复原方法 | |
Vint et al. | Analysis of deep learning architectures for turbulence mitigation in long-range imagery | |
CN113628134B (zh) | 图像降噪方法及装置、电子设备及存储介质 | |
Guo et al. | Image blind deblurring using an adaptive patch prior | |
Zhou et al. | Parameter-free Gaussian PSF model for extended depth of field in brightfield microscopy | |
Maik et al. | Blind deconvolution using maximum a posteriori (MAP) estimation with directional edge based priori | |
Katsaros et al. | Concurrent video denoising and deblurring for dynamic scenes | |
Feng et al. | A Multiscale Generalized Shrinkage Threshold Network for Image Blind Deblurring in Remote Sensing | |
Bhagat et al. | Novel Approach to Estimate Motion Blur Kernel Parameters and Comparative Study of Restoration Techniques | |
Xu et al. | Removing out-of-focus blur from a single image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method, device, and medium for deblurring defocused images based on prior knowledge Effective date of registration: 20230725 Granted publication date: 20230324 Pledgee: Zhejiang Tailong Commercial Bank Co.,Ltd. Zhoushan Lincheng small and micro enterprise franchise sub branch Pledgor: ZHEJIANG UNISOM NEW MATERIAL TECHNOLOGY CO.,LTD. Registration number: Y2023330001557 |