CN110660021A - 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 - Google Patents
一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 Download PDFInfo
- Publication number
- CN110660021A CN110660021A CN201910757622.1A CN201910757622A CN110660021A CN 110660021 A CN110660021 A CN 110660021A CN 201910757622 A CN201910757622 A CN 201910757622A CN 110660021 A CN110660021 A CN 110660021A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- gradient
- network
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000007547 defect Effects 0.000 description 13
- 239000002184 metal Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，1)图像采集；2)低分辨率图像；3)ESRGAN网络训练；4)梯度转换网络模块搭建与训练；5)融合网络模块搭建与训练；6)模型测试；基于深度学习对于脉冲涡流热成像图像进行超分辨率重建；通过融合模块使得初始高分辨率图像与梯度高分辨率图像融合，生成最终的高分辨率图像；本发明在ESRGAN网络重建的高分辨率图像基础上引入梯度提高图像的高频信息，增强图像的轮廓和细节信息，提高了图像重建的效果；能实现脉冲涡流热成像高分辨率清晰化，降低了对红外热像仪分辨率的要求，降低了成本，对脉冲涡流功率和作用时间的要求降低，降低了能耗，减少了对目标的损害，提高了测量的快速性。
Description
技术领域
本发明属于计算机视觉、图像超分辨率重建技术领域，具体涉及一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法。
背景技术
脉冲涡流热成像技术作为红外检测技术的一种，由于效率高、非接触、可控性、操作简单、直观等优点，目前逐步被应用于金属部件结构的健康检测，尤其金属亚表面缺陷由于其特征不易在材料表面直接观察与检测，因此脉冲涡流热成像是一种有效的方法。但是，由于脉冲涡流热成像分辨率低，导致分析和可视化效果较差。使用脉冲涡流热成像技术检测金属缺陷时，存在对激励参数设置不佳、缺陷尺寸较小与环境因素造成的原始红外图像信噪比低下、缺陷特征模糊等问题。
发明内容
为了克服上述现有技术的不足，本发明的目的是提供一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，在不提高硬件成本的基础上引入梯度融合网络对低分辨率脉冲涡流热成像图像进行16倍的超分辨率重建，可以有效提高脉冲涡流热成像在金属亚表面缺陷的定性与定量检测性能，提高了脉冲涡流热成像的分辨率。
为了达到上述目的，本发明所采用的技术方案为：
一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，ESRGAN网络在图像重建中应用GAN网络框架可以对原图像进行16倍超分辨率重建且不失真，本发明对于高频信息模糊、信噪比低的脉冲涡流热成像图像基于ESRGAN网络重建图像添加了梯度转换网络模块、融合网络模块；梯度转换网络模块可分为两个部分：从低分辨率图像提取x、y方向的梯度信息，并将这两张图像融合成一张完整的低分辨率梯度图；用网络对该低分辨率梯度图像重建，获得高分辨率梯度图像；融合网络模块将ESRGAN网络重建的初始高分辨率图像与梯度转换网络重建的高分辨率梯度图像相融合，生成最终的涡流热成像高分辨率图像，包括以下步骤：
步骤一，图像采集：对原始脉冲涡流热成像图像进行采集，进行图像预处理，采集的图像组作为监督学习标签的高分辨率图像；
步骤二，低分辨率图像：将该组高分辨率图像进行0.25倍的降采样，使得图像缩小为原始图像的1/16，即图像的长和宽均为原图的0.25倍，降采样之后的图像组作为输入低分辨率图像，低分辨率图像与高分辨率图像是一组对应标签；
步骤三，ESRGAN网络训练：将脉冲涡流热成像图像的低分辨率图像和高分辨率图像输入ESRGAN网络中进行训练，ESRGAN为增强型GAN网络应用于单图像超分辨率重建，ESRGAN网络具有GAN网络中生成器与判别器相互对抗学习的特点，使得生成器重建的高分辨率图像越接近真实的高分辨率图像，判别器训练更好的区别真实图像与伪图像；ESRGAN网络输入为脉冲涡流低分辨率图像，监督标签为高分辨率图像，损失函数为感知内容损失函数，经过多次迭代，重建出初始高分辨率图像；
步骤四，梯度转换网络模块搭建与训练：融合重建网络中梯度转换网络模块包括两个部分：梯度提取层与梯度超分辨率重建层，当输入低分辨率图像时，梯度提取层对图像进行梯度提取，获得两个低分辨率梯度特征向量，包括水平和垂直梯度特征；然后通过水平方向和垂直方向各占50％的比例将两个特征向量融合成一张低分辨率梯度图像作为梯度超分辨率重建层的输入图像，同样进行梯度提取层及水平方向和垂直方向融合的高分辨率梯度图像作为梯度超分辨率重建层的监督图像；经过多次迭代优化梯度超分辨率重建层，使得该模块能根据一张低分辨率梯度图像重建出高分辨率梯度图像；
步骤五，融合网络模块搭建与训练：融合网络主要功能是融合ESRGAN网络生成的初始高分辨率图像与梯度转换网络模块重建的高分辨率梯度图像；融合层的第一层是连接层，连接初始高分辨率图像与高分辨率梯度图像；第二层为调节层，负责调节初始高分辨率图像与高分辨率梯度图像的维数，因为在转换过程中二者的维数可能不相等，因此需要调节层对两张图像的维数进行调节，以便图像特征的融合；最后的一层为图像重建层，主要的作用就是对两张图像进行超分辨率融合重建，获取最终的高分辨率图像；
融合网络模块输入的图像包含ESRGAN重建的初始高分辨率图像和梯度转换网络模块重建的高分辨率梯度图像，采集的高分辨率图像作为融合图像重建网络的监督标签；经过网络的训练，该网络能很好的将初始高分辨率图像与高分辨率梯度图像融合，获得具有高频信息的最终高分辨率图像；
步骤六，模型测试：输入测试的低分辨率图像，调用步骤三训练好的ESRGAN模型重建初始高分辨率图像，调用步骤四的梯度转换网络模块生成高分辨率梯度图像，最后将初始高分辨率图像与高分辨率梯度图像输入步骤五的融合模块重建出最终的高分辨率图像。
步骤一所述的图像预处理，包括对图像集进行筛选、有效成分的提取；对脉冲涡流图像集进行筛选，去除模糊不清的图像、对部分包含无关背景的图像进行裁剪，保留清晰且有效的图像；对筛选后的图像集进行主成分提取，提取出三个主成分，并对第二主成分进行灰度转换。
步骤四所述的梯度转换网络模块，主要作用在于重建低分辨率未有的高频信息，为了细节信息的真实性，使用均方差作为网络的损失函数，其表达式如下式所示：
其中，
表示低分辨率图像块的梯度信息，
表示高分辨率图像块的梯度信息，n表示其代表的图像块序列，为带有网络参数θ的的梯度转换；
梯度转换网络模块输入低分辨率图像，经过梯度提取层输出的低分辨率梯度图像作为梯度超分辨率重建层的输入信息；原始的高分辨率图像也经过梯度提取层输出高分辨率梯度图像作为梯度重建层的监督信息；损失函数为均方差，经过多次迭代，梯度转换网络模块能够重建出高分辨率梯度图像。
步骤五所述的融合网络模块，根据初始高分辨率图像和高分辨率梯度图像重建出最终的高分辨率图像，融合网络的损失函数可以表示为：
其中，表示序列数为n的初始分辨率图像块，
表示序列数为n的高分辨率梯度图像块，
表示带有网络参数θF的梯度转换，
表示序列数为n的作为监督图像的高分辨率图像。
本发明针对使用脉冲涡流热成像技术检测金属缺陷时，存在激励参数设置不佳、缺陷尺寸较小与环境因素造成的原始红外图像信噪比低下、缺陷特征模糊的问题，将深度学习网络应用于红外热图处理，实现缺陷信号增强，提升脉冲涡流热成像技术对于金属亚表面缺陷的检测灵敏度。本发明方法降低了脉冲涡流热成像技术对红外热像仪分辨率的要求，降低了成本，并且降低了对脉冲涡流功率和作用时间的要求，降低了能耗，减少了对目标的损害，提高了测量的快速性。
本发明包含三个模块：ESRGAN网络模块、梯度转换网络模块、融合网络模块；引入提取高频信息的融合网络提高图像的分辨率，输入低分辨率图像，ESRGAN网络模块重建初始高分辨率图像，梯度转换网络提取出低分辨率梯度图像再通过网络重建出高分辨率梯度图像，然后通过融合网络模块使得初始高分辨率图像与高分辨率梯度图像融合，生成最终的高分辨率图像；本发明在ESRGAN网络重建的初始高分辨率图像基础上引入梯度提高图像的高频信息，增强图像的轮廓和细节信息，提高了图像重建的效果。本发明方法能够实现脉冲涡流热成像高分辨率清晰化，降低了对红外热像仪分辨率的要求。
本发明主要应用于脉冲涡流热成像图像超分辨率重建中，在不提高硬件成本的基础上，对于输入的低分辨率图像能够进行高倍的超分辨率重建，即图像重建为低分辨率图像的16倍且图像的高频信息得到增强。
本发明对于脉冲涡流热成像图像的信噪比低、对比度弱、高频信息少、缺陷信息不明显等特点，在ESRGAN重建的高分辨率图像基础上引入提取高频细节的融合网络，通过梯度转换网络模块从低分辨率图像重建出高分辨率梯度图像，再通过融合重建模块使得ESRGAN生成的高分辨率图像与梯度高分辨率图像融合重建出最终的高分辨率图像。
附图说明
图1是本发明的实现流程框架图。
图2(a)为本发明输入的第一主成分图像。
图2(b)为本发明输入的第二主成分图像。
图2(c)为本发明输入的第三主成分图像。
图2(d)为本发明输入的第二主成分灰度图像。
图3(a)本发明ESRGAN网络重建的第一主成分初始高分辨率图像。
图3(b)本发明ESRGAN网络重建的第二主成分初始高分辨率图像。
图3(c)本发明ESRGAN网络重建的第三主成分初始高分辨率图像。
图3(d)本发明ESRGAN网络重建的第二主成分灰度初始高分辨率图像。
图4(a)本发明根据低分辨率图像提取的第一主成分梯度图像。
图4(b)本发明根据低分辨率图像提取的第二主成分梯度图像。
图4(c)本发明根据低分辨率图像提取的第三主成分梯度图像。
图4(d)本发明根据低分辨率图像提取的第二主成分灰度梯度图像。
图5(a)本发明重建的第一主成分梯度高分辨率图像。
图5(b)本发明重建的第二主成分梯度高分辨率图像。
图5(c)本发明重建的第三主成分梯度高分辨率图像。
图5(d)本发明重建的第二主成分灰度梯度高分辨率图像。
图6(a)本发明融合重建的第一主成分高分辨率图像。
图6(b)本发明融合重建的第二主成分高分辨率图像。
图6(c)本发明融合重建的第三主成分高分辨率图像。
图6(d)本发明融合重建的第二主成分灰度高分辨率图像。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
如图1所示，一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，过程如下：
采集脉冲涡流图像，选取了3000张图片作为模型的训练数据集，训练图像为输入网络的作为监督学习的高清晰度图像。进行降采样作为训练的低分辨率图像；
将训练样本输入到ESRGAN网络生成初始高分辨率图像，梯度转换网络重建高分辨率梯度图像，融合重建网络将初始高分辨率图像与梯度高分辨率图像融合为最终的高分辨率涡流图像。原始图像大小为218×533，重建后图像大小为872×2132。
其具体过程如下：
步骤一，图像采集：对原始脉冲涡流热成像图像进行采集，进行图像预处理，采集的图像组作为监督学习标签的高分辨率图像；
步骤二，低分辨率图像：将该组高分辨率图像进行0.25倍的降采样，使得图像缩小为原始图像的1/16，即图像的长和宽均为原图的0.25倍，降采样之后的图像组作为输入低分辨率图像，低分辨率图像与高分辨率图像是一组对应标签；
步骤三，ESRGAN网络训练：将脉冲涡流热成像图像的低分辨率图像和高分辨率图像输入ESRGAN网络中进行训练，ESRGAN为增强型GAN网络应用于单图像超分辨率重建，ESRGAN网络具有GAN网络中生成器与判别器相互对抗学习的特点，使得生成器重建的高分辨率图像越接近真实的高分辨率图像，判别器训练更好的区别真实图像与伪图像；ESRGAN网络输入为脉冲涡流低分辨率图像，监督标签为高分辨率图像，损失函数为感知内容损失函数，经过多次迭代，重建出初始高分辨率图像；
步骤四，梯度转换网络模块搭建与训练：融合重建网络中梯度转换网络模块包括两个部分：梯度提取层与梯度超分辨率重建层，当输入低分辨率图像时，梯度提取层对图像进行梯度提取，获得两个低分辨率梯度特征向量，包括水平和垂直梯度特征；然后通过水平方向和垂直方向各占50％的比例将两个特征向量融合成一张低分辨率梯度图像作为梯度超分辨率重建层的输入图像，同样进行梯度提取层及水平方向和垂直方向融合的高分辨率梯度图像作为梯度超分辨率重建层的监督图像；经过多次迭代优化梯度超分辨率重建层，使得该模块能根据一张低分辨率梯度图像重建出高分辨率梯度图像；
步骤五，融合网络模块搭建与训练：融合网络主要功能是融合ESRGAN网络生成的初始高分辨率图像与梯度转换网络模块重建的高分辨率梯度图像；融合层的第一层是连接层，连接初始高分辨率图像与高分辨率梯度图像；第二层为调节层，负责调节初始高分辨率图像与高分辨率梯度图像的维数，因为在转换过程中二者的维数可能不相等，因此需要调节层对两张图像的维数进行调节，以便图像特征的融合；最后的一层为图像重建层，主要的作用就是对两张图像进行超分辨率融合重建，获取最终的高分辨率图像；
融合网络模块输入的图像包含ESRGAN重建的初始高分辨率图像和梯度转换网络模块重建的高分辨率梯度图像，采集的高分辨率图像作为融合图像重建网络的监督标签；经过网络的训练，该网络能很好的将初始高分辨率图像与高分辨率梯度图像融合，获得具有高频信息的最终高分辨率图像；
步骤六，模型测试：输入测试的低分辨率图像，调用步骤三训练好的ESRGAN模型重建初始高分辨率图像，调用步骤四的梯度转换网络模块生成高分辨率梯度图像，最后将初始高分辨率图像与高分辨率梯度图像输入步骤五的融合模块重建出最终的高分辨率图像。
步骤一所述的图像预处理，包括对图像集进行筛选、有效成分的提取；对脉冲涡流图像集进行筛选，去除模糊不清的图像、对部分包含无关背景的图像进行裁剪，保留清晰且有效的图像；对筛选后的图像集进行主成分提取，提取出三个主成分，参见图2(a)～(c)，并对第二主成分进行灰度转换，参见图2(d)。
步骤四所述的梯度转换网络模块，主要作用在于重建低分辨率未有的高频信息，为了细节信息的真实性，使用均方差作为网络的损失函数，其表达式如下式所示：
其中，
表示低分辨率图像块的梯度信息，
表示高分辨率图像块的梯度信息，n表示其代表的图像块序列，
为带有网络参数θ的的梯度转换；
梯度转换网络模块输入低分辨率图像，经过梯度提取层输出的低分辨率梯度图像作为梯度超分辨率重建层的输入信息；原始的高分辨率图像也经过梯度提取层输出高分辨率梯度图像作为梯度重建层的监督信息；损失函数为均方差，经过多次迭代，梯度转换网络模块能够重建出高分辨率梯度图像。
步骤五所述的融合网络模块，根据初始高分辨率图像和高分辨率梯度图像重建出最终的高分辨率图像，融合网络的损失函数可以表示为：
其中，
表示序列数为n的初始分辨率图像块，
表示序列数为n的高分辨率梯度图像块，
表示带有网络参数θF的梯度转换，
表示序列数为n的作为监督图像的高分辨率图像。
本发明的研究对象是腐蚀试件，对该试件采集的脉冲涡流热成像图像进行主成分分析，采集主要的三种主成分进行分析，分析得出第二主成分能较好的表示试件的裂纹信息，因此对第二主成分保留其灰度信息。参见图2(a)～(d)为低分辨率图像，图2(a)第一主成分图；图2(b)第二主成分图；图2(c)第三主成分图；图2(d)第二主成分灰度图；
参见图3(a)～(d)为ESGGAN网络重建的初始高分辨率图，图3(a)第一主成分图；图3(b)第二主成分图；图3(c)第三主成分图；图3(d)第二主成分灰度图；
参见图4(a)～(d)为梯度提取图，图4(a)第一主成分图；图4(b)第二主成分图；图4(c)第三主成分图；图4(d)第二主成分灰度图；
参见图5(a)～(d)为重建的高分辨率梯度图，图5(a)第一主成分图；图5(b)第二主成分图；图5(c)第三主成分图；图5(d)第二主成分灰度图；
参见图6(a)～(d)最终的高分辨率图，图6(a)第一主成分图；图6(b)第二主成分图；图6(c)第三主成分图；图6(d)第二主成分灰度图。
Claims (4)
1.一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于：包括步骤以下步骤：
步骤一，图像采集：对原始脉冲涡流热成像图像进行采集，进行图像预处理，采集的图像组作为监督学习标签的高分辨率图像；
步骤二，低分辨率图像：将该组高分辨率图像进行0.25倍的降采样，使得图像缩小为原始图像的1/16，即图像的长和宽均为原图的0.25倍，降采样之后的图像组作为输入低分辨率图像，低分辨率图像与高分辨率图像是一组对应标签；
步骤三，ESRGAN网络训练：将脉冲涡流热成像图像的低分辨率图像和高分辨率图像输入ESRGAN网络中进行训练，ESRGAN为增强型GAN网络应用于单图像超分辨率重建，ESRGAN网络具有GAN网络中生成器与判别器相互对抗学习的特点，使得生成器重建的高分辨率图像越接近真实的高分辨率图像，判别器训练更好的区别真实图像与伪图像；ESRGAN网络输入为脉冲涡流低分辨率图像，监督标签为高分辨率图像，损失函数为感知内容损失函数，经过多次迭代，重建出初始高分辨率图像；
步骤四，梯度转换网络模块搭建与训练：融合重建网络中梯度转换网络模块包括两个部分：梯度提取层与梯度超分辨率重建层，当输入低分辨率图像时，梯度提取层对图像进行梯度提取，获得两个低分辨率梯度特征向量，包括水平和垂直梯度特征；然后通过水平方向和垂直方向各占50％的比例将两个特征向量融合成一张低分辨率梯度图像作为梯度超分辨率重建层的输入图像，同样进行梯度提取层及水平方向和垂直方向融合的高分辨率梯度图像作为梯度超分辨率重建层的监督图像；经过多次迭代优化梯度超分辨率重建层，使得该模块能根据一张低分辨率梯度图像重建出高分辨率梯度图像；
步骤五，融合网络模块搭建与训练：融合网络主要功能是融合ESRGAN网络生成的初始高分辨率图像与梯度转换网络模块重建的高分辨率梯度图像；融合层的第一层是连接层，连接初始高分辨率图像与高分辨率梯度图像；第二层为调节层，负责调节初始高分辨率图像与高分辨率梯度图像的维数，因为在转换过程中二者的维数可能不相等，因此需要调节层对两张图像的维数进行调节，以便图像特征的融合；最后的一层为图像重建层，主要的作用就是对两张图像进行超分辨率融合重建，获取最终的高分辨率图像；
融合网络模块输入的图像包含ESRGAN重建的初始高分辨率图像和梯度转换网络模块重建的高分辨率梯度图像，采集的高分辨率图像作为融合图像重建网络的监督标签；经过网络的训练，该网络能很好的将初始高分辨率图像与高分辨率梯度图像融合，获得具有高频信息的最终高分辨率图像；
步骤六，模型测试：输入测试的低分辨率图像，调用步骤三训练好的ESRGAN模型重建初始高分辨率图像，调用步骤四的梯度转换网络模块生成高分辨率梯度图像，最后将初始高分辨率图像与高分辨率梯度图像输入步骤五的融合模块重建出最终的高分辨率图像。
2.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤一所述的图像预处理，包括对图像集进行筛选、有效成分的提取；对脉冲涡流图像集进行筛选，去除模糊不清的图像、对部分包含无关背景的图像进行裁剪，保留清晰且有效的图像；对筛选后的图像集进行主成分提取，提取出三个主成分，并对第二主成分进行灰度转换。
3.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤四所述的梯度转换网络模块，主要作用在于重建低分辨率未有的高频信息，为了细节信息的真实性，使用均方差作为网络的损失函数，其表达式如下式所示：
其中，
表示低分辨率图像块的梯度信息，
表示高分辨率图像块的梯度信息，n表示其代表的图像块序列，
为带有网络参数θ的的梯度转换；
梯度转换网络模块输入低分辨率图像，经过梯度提取层输出的低分辨率梯度图像作为梯度超分辨率重建层的输入信息；原始的高分辨率图像也经过梯度提取层输出高分辨率梯度图像作为梯度重建层的监督信息；损失函数为均方差，经过多次迭代，梯度转换网络模块能够重建出高分辨率梯度图像。
4.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤五所述的融合网络模块，根据初始高分辨率图像和高分辨率梯度图像重建出最终的高分辨率图像，融合网络的损失函数可以表示为：
其中，表示序列数为n的初始分辨率图像块，
表示序列数为n的高分辨率梯度图像块，
表示带有网络参数θF的梯度转换，
表示序列数为n的作为监督图像的高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910757622.1A CN110660021B (zh) | 2019-08-16 | 2019-08-16 | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910757622.1A CN110660021B (zh) | 2019-08-16 | 2019-08-16 | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110660021A true CN110660021A (zh) | 2020-01-07 |
| CN110660021B CN110660021B (zh) | 2022-12-20 |
Family
ID=69037619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910757622.1A Active CN110660021B (zh) | 2019-08-16 | 2019-08-16 | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110660021B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696033A (zh) * | 2020-05-07 | 2020-09-22 | 中山大学 | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 |
| CN111754405A (zh) * | 2020-06-22 | 2020-10-09 | 北京大学深圳研究生院 | 图像降分辨率及复原方法、设备及可读存储介质 |
| CN112699912A (zh) * | 2020-11-19 | 2021-04-23 | 电子科技大学 | 一种通过改进gan增强红外热图像的方法 |
| CN113763368A (zh) * | 2021-09-13 | 2021-12-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸试件多类型损伤检测特征分析方法 |
| CN113763367A (zh) * | 2021-09-13 | 2021-12-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸试件红外检测特征综合判读方法 |
| CN116523754A (zh) * | 2023-05-10 | 2023-08-01 | 广州民航职业技术学院 | 一种飞机蒙皮损伤自动识别图像质量增强方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN107993225A (zh) * | 2017-11-28 | 2018-05-04 | 电子科技大学 | 一种磁光涡流成像检测的缺陷识别方法 |
| US20190065884A1 (en) * | 2017-08-22 | 2019-02-28 | Boe Technology Group Co., Ltd. | Training method and device of neural network for medical image processing, and medical image processing method and device |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
-
2019
- 2019-08-16 CN CN201910757622.1A patent/CN110660021B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| US20190065884A1 (en) * | 2017-08-22 | 2019-02-28 | Boe Technology Group Co., Ltd. | Training method and device of neural network for medical image processing, and medical image processing method and device |
| CN107993225A (zh) * | 2017-11-28 | 2018-05-04 | 电子科技大学 | 一种磁光涡流成像检测的缺陷识别方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郑凯等: "红外热波无损检测技术的研究现状与进展", 《红外技术》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696033A (zh) * | 2020-05-07 | 2020-09-22 | 中山大学 | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 |
| CN111696033B (zh) * | 2020-05-07 | 2023-04-28 | 中山大学 | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 |
| CN111754405A (zh) * | 2020-06-22 | 2020-10-09 | 北京大学深圳研究生院 | 图像降分辨率及复原方法、设备及可读存储介质 |
| WO2021258529A1 (zh) * | 2020-06-22 | 2021-12-30 | 北京大学深圳研究生院 | 图像降分辨率及复原方法、设备及可读存储介质 |
| CN111754405B (zh) * | 2020-06-22 | 2023-08-08 | 北京大学深圳研究生院 | 图像降分辨率及复原方法、设备及可读存储介质 |
| CN112699912A (zh) * | 2020-11-19 | 2021-04-23 | 电子科技大学 | 一种通过改进gan增强红外热图像的方法 |
| CN112699912B (zh) * | 2020-11-19 | 2022-04-19 | 电子科技大学 | 一种通过改进gan增强红外热图像的方法 |
| CN113763368A (zh) * | 2021-09-13 | 2021-12-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸试件多类型损伤检测特征分析方法 |
| CN113763367A (zh) * | 2021-09-13 | 2021-12-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸试件红外检测特征综合判读方法 |
| CN116523754A (zh) * | 2023-05-10 | 2023-08-01 | 广州民航职业技术学院 | 一种飞机蒙皮损伤自动识别图像质量增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110660021B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110660021B (zh) | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 | |
| CN109447089B (zh) | 基于超分技术的高分辨率北极海冰类型提取方法 | |
| CN108765279A (zh) | 一种面向监控场景的行人人脸超分辨率重建方法 | |
| US20220366682A1 (en) | Computer-implemented arrangements for processing image having article of interest | |
| CN105931246A (zh) | 一种基于小波变换和遗传算法的织物瑕疵检测方法 | |
| CN114973032A (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN114170527B (zh) | 一种利用旋转框表示的遥感目标检测方法 | |
| CN116612106A (zh) | 一种基于yolox算法的光学元件表面缺陷检测方法 | |
| CN118321203B (zh) | 机器人远程控制系统及控制方法 | |
| CN117671509A (zh) | 遥感目标检测方法、装置、电子设备及存储介质 | |
| CN115410024A (zh) | 一种基于动态激活热力图的电力图像缺陷检测方法 | |
| CN111161156A (zh) | 一种基于深度学习的水下桥墩病害图像分辨率增强方法 | |
| CN118365543A (zh) | 一种基于改进EnlightenGAN的裂缝图像阴影去除方法 | |
| CN116704526B (zh) | 工尺谱扫描机器人及其方法 | |
| CN105654070A (zh) | 一种低分辨率人脸识别方法 | |
| CN117788379A (zh) | 一种基于域变换的端到端的异源遥感图像变化检测方法 | |
| CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
| CN116721022A (zh) | 一种基于一维卷积自编码器的红外热成像缺陷特征增强方法 | |
| CN112508862B (zh) | 一种通过改进gan增强裂纹磁光图像的方法 | |
| CN113902695A (zh) | 一种针对色织物裁片缺陷区域的检测方法 | |
| Liu et al. | A hierarchical semantic segmentation framework for computer vision-based bridge damage detection | |
| Koeshidayatullah et al. | Is attention all geosciences need? Advancing quantitative petrography with attention-based deep learning | |
| Zhao et al. | Refined Infrared Small Target Detection Scheme with Single-Point Supervision | |
| CN116978052B (zh) | 基于改进YOLOv5的桥梁设计图的子图布局识别方法 | |
| Guo et al. | Research on Deep Learning-based Deraining Method of Catenary Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |