CN112991194B - 一种基于深度残差网络的红外热波图像去模糊方法 - Google Patents
一种基于深度残差网络的红外热波图像去模糊方法 Download PDFInfo
- Publication number
- CN112991194B CN112991194B CN202110125885.8A CN202110125885A CN112991194B CN 112991194 B CN112991194 B CN 112991194B CN 202110125885 A CN202110125885 A CN 202110125885A CN 112991194 B CN112991194 B CN 112991194B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- residual error
- deblurring
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 239000000463 material Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000011157 advanced composite material Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度残差网络的红外热波图像去模糊方法,通过两阶段的网络模型共同实现模糊去处效果,网络包含模糊核估计网络以及去模糊网络,前者输入为模糊图像,输出为模糊核估计结果,后者输入为模糊图像与模糊核拼接结果,输出为清晰图像。在去模糊网络之中,为提高网络精度,在中间层数据传播过程中,不仅利用前一层的输出信息,还将利用模糊核估计网络中的残差信息,共同作为网络输入。网络输出结果有效去除图像模糊,深层的缺陷更加明显,边界更加锐化清晰,对于形状较小的缺陷也能实现较好的输出结果,为缺陷的定位和分析提供了便利。
Description
技术领域
本发明属于红外图像处理技术领域,尤其涉及一种基于深度残差网络的红外热波图像去模糊方法。
背景技术
材料是人们用以制造机器、构件等多种物品的物质基础,金属材料时常出现在我们的生活之中,先进的复合材料已经广泛应用于航空航天领域,但是由于使用方式、时间、环境等多种因素的影响,材料缺陷已经成为了普遍存在的问题。材料缺陷不仅会影响所制物品的性能问题,严重时还将伴随安全隐患,因此对材料缺陷进行有效的检测和分析具有十分重要的意义。
红外热波成像技术属于无损检测技术的一种,通过不同媒介材料表面及表面下的物理特性和边界条件对红外热波传输的影响反映在媒介表面的温度变化可以实现缺陷检测,此类检测方法不会破坏物体本身的结构以及材料性质,因此有着十分广泛的应用。然而由于不同材料的热性质不同,热波在传播过程中容易出现横向热扩散,成像距离不一致等多种因素,原始红外热波图像结果容易存在模糊的情况,表现为图像灰度值不高,边界区域不够锐化,严重影响了图像质量,对于缺陷的定位以及判断造成了困难。因此研究一种有效的红外热波图像去模糊方法有着巨大价值。
随着图像处理技术的发展,深度学习的方法展示出优秀的图像处理能力,通过学习图像本身多维度的特征,在图像识别检测、超分辨率等多个领域有着重要的应用。在去模糊领域的应用中,深度学习的方法更多的是应用于可见光图像上,对于红外热波图像的去模糊效果不明显,图像质量提升程度不足以满足需求,尤其体现在图像边缘不够锐化。本专利旨在解决深度学习中去模糊算法领域中存在的上诉问题。
发明内容
本发明的目的在于克服现有深度学习去模糊方法在红外热波图像上的技术不足,提供一种红外热波图像去模糊方法,有效提高模糊图像的图像质量,提升图像的纹理细节,实现图像边缘锐化的效果。
本发明采用的技术方案为一种基于深度残差网络的红外热波图像去模糊方法,该方法的步骤如下:
步骤一:构建深度残差网络模型,模型分为两个主要组成部分,分别为模糊核估计网络与去模糊网络,模糊核估计网络输入为模糊图像,输出为该图像的模糊核分布信息。去模糊网络输入为模糊图像与模糊核估计结果的拼接图像,拼接操作通过两张图像在通道维度上的叠加实现,输出为清晰图像。网络模型的设计理念遵循编码器-解码器网络的设计思想。
步骤二:采集红外热波图像,制作数据集用以网络模型的训练。
步骤三:设计网络的损失函数,用于网络的训练优化,将红外热波图像数据集送入网络中进行训练,待损失函数收敛后网络模型训练完成。
步骤四:输入需要去模糊的红外热波图像,网络输出即为清晰的图像结果。
本发明提出了一种基于深度残差网络的红外热波图像去模糊方法,有效解决了红外图像在成像过程中产生的模糊问题,算法输出结果有效提升图像质量,恢复图像纹理细节,对于图像边界区域有着明显的锐化效果,对于去模糊后的输出图像,将峰值信噪比指标PSNR提高至44.43,相似结构性指标SSIM提高至0.9961,有效实现红外图像的去模糊操作,有利于后续对红外图像的检测分析。
附图说明
图1是本发明的网络结构示意图
图2是图1中的残差模块内部结构示意图
图3是图像拼接操作示意图
图4是原始的红外热波模糊图像
图5是本发明的去模糊结果图像
具体实施方式
为详细说明本发明的技术内容,实现效果,下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
具体实施方法一:构建深度残差网络模型,模型分为两个主要组成部分,分别为模糊核估计网络与去模糊网络,图1所示的是网络结构的示意图,图中右侧的是去模糊网络,左侧的为模糊核估计网络,图2是其中残差模块的内部结构示意图。对于采集到原始红外热波图像,为RGB三通道图像,将多张图像封装为一个批次首先送入模糊核估计网络中,设输入图像为I∈RB,H,W,C,B,H,W,C分别为封装的图像数量,图像的长、宽尺寸以及图像的通道数。
1.模糊图像首先输入进模糊核估计网络,通过一个卷积核大小为3*3,卷积核数目为n,卷积步长为1的卷积层,并由此获得相应的卷积特征图:
2.将获得的第一层卷积特征输入至残差网络模块中,残差模块内部的卷积核大小为3*3,卷积核数目与输入此层的特征图尺寸相关,如果特征图尺寸大小与原始输入I一致,则卷积核数目为n,如果输入特征图尺寸为I的1/m,则卷积核数目为n*m,卷积步长均为1。
其中引入批量归一化层以及激活函数,批量归一化层即通过计算输入特征图的均值和方差,从而将输入特征图归一化至均值为0,方差为1的状态。激活函数选用的是PReLU函数,相应的数学表达式为:
单个残差模块总共包含3个卷积层,2个批量归一化层,2个激活函数,并在最后将输入与输出结果相加,实现残差连接,残差模块的输出可如下表示:
3.将残差模块的特征结果输入池化层,池化层选择的是最大值池化的方式,池化结果会导致输出的特征图的高度和宽度均缩小一半,但是输出的特征图数量不变:
6.将前一层的特征结果图进行上采样,主要通过反卷积操作实现,卷积核大小为3*3,步长为2,卷积核数目与输入特征图数量一致,反卷积的结果会导致特征图的高度和宽度均扩大一倍,输出结果记为:
9.将最后一层的残差模块的结果经过一个卷积层,卷积核大小为3*3,卷积核数目为3,卷积步长为1,即可获得输入图像对应的模糊核估计结果B。
10.将模糊核估计结果与原始模糊图像进行拼接,拼接结果记为ID=Cconcat(I,B),将其送入去模糊网络之中,去模糊网络的网络结构与模糊核估计网络一致,区别在于学习的特征不同,去模糊网络输出的结果即为清晰图像,此网络的第一层输出结果记为:
11.重复上述步骤2-8的类似操作,可以得到去模糊网络的不同中间层特征结果,与模糊核估计网络的区别在于,去模糊网络输出的是清晰图像,在网络传播过程中,需要结合模糊核信息,以此提高输出结果的精确程度。为实现此目的,从第2个残差模块开始,每个残差模块的输入除了前一层的特征结果,还将拼接模糊核估计中对应的特征结果:
12.将最后一层的残差模块的结果经过一个卷积层,卷积核大小为3*3,卷积核数目为3,卷积步长为1,将卷积特征加上原始输入图像即可获得输入图像对应的清晰结果O。
具体实施方法二:采集原始的红外热波图像数据,并制作清晰的图像,作为用以网络训练的红外热波数据集对。
具体实施方法三:使用红外热波数据集对网络进行训练优化,所使用的损失函数如下:
其中Lloss为网络的总损失函数,α,β,γ,ε为常数,公式11-13为应用于不同网络部分的损失函数,上标D,B分别代表使用在去模糊网络或者模糊核估计网络上,I,B分别代表清晰图像、模糊图像、模糊核分布图像,其中h,w,c代表图像的高度,宽度,通道数。G(·)操作代表对图像求梯度。训练过程即实现对损失函数的最小化,待损失函数曲线收敛视为训练完成。
如图4所示,原始的模糊图像由于不同样品缺陷成像距离不一致,较深的缺陷则更为模糊不清,不易通过人眼观察得到,图像的模糊区域导致丢失了许多特征信息,边界不够锐化明显,对缺陷的定位以及分析带来困难。
图5是本发明算法的去模糊结果,如图所示,网络输出结果有效去除图像模糊,深层的缺陷更加明显,边界更加锐化清晰,对于形状较小的缺陷也能实现较好的输出结果,为缺陷的定位和分析提供了便利。
为更好的评估本发明的性能,现对本发明的测试结果进行峰值信噪比(PeakSignal to Noise Ratio,PSNR)以及结构相似性(Structural Similarity,SSIM)指标评价,并与对比算法1(Kupyn,Orest,et al."DeblurGAN:Blind Motion Deblurring UsingConditional Adversarial Networks."2018IEEE/CVF Conference on Computer Visionand Pattern Recognition(CVPR)IEEE,2018.)以及对比算法2(Tao,Xin,et al."Scale-recurrent Network for Deep Image Deblurring."2018IEEE/CVF Conference onComputer Vision and Pattern Recognition IEEE,2018.)进行比较分析,结果如下所示:
表1不同方法图像去模糊结果
Claims (3)
1.基于深度残差网络的红外热波图像去模糊方法,其特征在于,算法网络包括以下步骤:
构建深度残差网络模型,网络包含两个子网络结构,分别为模糊核估计网络及去模糊网络,网络结构中包含残差、池化、上采样操作以提取图像特征,模糊核估计网络输入为模糊图像,输出为模糊核估计结果,去模糊网络输入为模糊图像与模糊核拼接结果,输出为清晰图像,去模糊网络中从第2个残差模块开始,每个残差模块的输入除了前一层的特征,还将拼接模糊核估计中对应的中间层特征;优化网络的损失函数为
其中
2.根据权利要求1所述的基于深度残差网络的红外热波图像去模糊方法,其特征在于,每个残差块中包含若干个卷积层、批量归一化层以及激活函数,并在最后将输入与输出结果相加,实现残差连接。
3.根据权利要求1所述的基于深度残差网络的红外热波图像去模糊方法,其特征在于,残差模块内部的卷积核数目与输入此层的特征图尺寸相关,如果特征图尺寸大小与原始输入I一致,则卷积核数目为n,如果输入特征图尺寸为I的1/m,则卷积核数目为n*m。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110125885.8A CN112991194B (zh) | 2021-01-29 | 2021-01-29 | 一种基于深度残差网络的红外热波图像去模糊方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110125885.8A CN112991194B (zh) | 2021-01-29 | 2021-01-29 | 一种基于深度残差网络的红外热波图像去模糊方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112991194A CN112991194A (zh) | 2021-06-18 |
CN112991194B true CN112991194B (zh) | 2022-06-24 |
Family
ID=76345821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110125885.8A Active CN112991194B (zh) | 2021-01-29 | 2021-01-29 | 一种基于深度残差网络的红外热波图像去模糊方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112991194B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116703785B (zh) * | 2023-08-04 | 2023-10-27 | 普密特(成都)医疗科技有限公司 | 一种微创手术镜下模糊图像的处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254309A (zh) * | 2011-07-27 | 2011-11-23 | 清华大学 | 一种基于近红外图像的运动模糊图像去模糊方法和装置 |
CN103279935A (zh) * | 2013-06-09 | 2013-09-04 | 河海大学 | 基于map算法的热红外遥感图像超分辨率重建方法及系统 |
CN109767404A (zh) * | 2019-01-25 | 2019-05-17 | 重庆电子工程职业学院 | 一种椒盐噪声下红外图像去模糊方法 |
CN111462019A (zh) * | 2020-04-20 | 2020-07-28 | 武汉大学 | 基于深度神经网络参数估计的图像去模糊方法及系统 |
CN111598776A (zh) * | 2020-04-29 | 2020-08-28 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10835803B2 (en) * | 2019-03-18 | 2020-11-17 | Rapsodo Pte. Ltd. | Object trajectory simulation |
CN111028177B (zh) * | 2019-12-12 | 2023-07-21 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
CN111199522B (zh) * | 2019-12-24 | 2024-02-09 | 芽米科技(广州)有限公司 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
-
2021
- 2021-01-29 CN CN202110125885.8A patent/CN112991194B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254309A (zh) * | 2011-07-27 | 2011-11-23 | 清华大学 | 一种基于近红外图像的运动模糊图像去模糊方法和装置 |
CN103279935A (zh) * | 2013-06-09 | 2013-09-04 | 河海大学 | 基于map算法的热红外遥感图像超分辨率重建方法及系统 |
CN109767404A (zh) * | 2019-01-25 | 2019-05-17 | 重庆电子工程职业学院 | 一种椒盐噪声下红外图像去模糊方法 |
CN111462019A (zh) * | 2020-04-20 | 2020-07-28 | 武汉大学 | 基于深度神经网络参数估计的图像去模糊方法及系统 |
CN111598776A (zh) * | 2020-04-29 | 2020-08-28 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
Non-Patent Citations (1)
Title |
---|
基于多尺度残差的图像去模糊;翟方兵;《计算机与数字工程》;20200331;第48卷(第03期);第658-662页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112991194A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
CN108805814B (zh) | 基于多频段深度卷积神经网络的图像超分辨重建方法 | |
CN110599409A (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
CN113516601A (zh) | 基于深度卷积神经网络与压缩感知的图像恢复技术 | |
CN107341776B (zh) | 基于稀疏编码与组合映射的单帧超分辨率重建方法 | |
CN111008936B (zh) | 一种多光谱图像全色锐化方法 | |
CN110751612A (zh) | 多通道多尺度卷积神经网络的单幅图像去雨方法 | |
CN110264404B (zh) | 一种超分辨图像纹理优化的方法和装置 | |
CN114219719A (zh) | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 | |
CN117575915B (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
CN112991194B (zh) | 一种基于深度残差网络的红外热波图像去模糊方法 | |
CN114612714A (zh) | 基于课程学习的无参考图像质量评价方法 | |
CN112149662A (zh) | 一种基于扩张卷积块的多模态融合显著性检测方法 | |
CN115272303A (zh) | 基于高斯模糊的纺织物缺陷程度评估方法、装置及系统 | |
CN113256494A (zh) | 一种文本图像超分辨率方法 | |
CN115700731A (zh) | 一种基于双通道卷积神经网络的水下图像增强方法 | |
CN116309178A (zh) | 一种基于自适应注意力机制网络的可见光图像去噪方法 | |
CN110349101A (zh) | 一种多尺度联合的小波图像去噪方法 | |
CN117437123A (zh) | 一种光谱与纹理注意力融合的深度光谱超分辨率方法 | |
CN114708281B (zh) | 基于自适应非局部特征融合网络的图像压缩感知重建方法 | |
Aghajarian et al. | Deep learning algorithm for Gaussian noise removal from images | |
CN115564676A (zh) | 一种水下图像增强方法、系统及可读存储介质 | |
CN115984578A (zh) | 一种串联融合DenseNet和Transformer的皮肤图像特征提取方法 | |
CN115829895A (zh) | 基于结构相似与区域分割的多聚焦图像融合方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |