CN110660021B - 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 - Google Patents

一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 Download PDF

Info

Publication number
CN110660021B
CN110660021B CN201910757622.1A CN201910757622A CN110660021B CN 110660021 B CN110660021 B CN 110660021B CN 201910757622 A CN201910757622 A CN 201910757622A CN 110660021 B CN110660021 B CN 110660021B
Authority
CN
China
Prior art keywords
image
resolution
gradient
network
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910757622.1A
Other languages
English (en)
Other versions
CN110660021A (zh
Inventor
杨延西
毛如玉
邓毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910757622.1A priority Critical patent/CN110660021B/zh
Publication of CN110660021A publication Critical patent/CN110660021A/zh
Application granted granted Critical
Publication of CN110660021B publication Critical patent/CN110660021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，1)图像采集；2)低分辨率图像；3)ESRGAN网络训练；4)梯度转换网络模块搭建与训练；5)融合网络模块搭建与训练；6)模型测试；基于深度学习对于脉冲涡流热成像图像进行超分辨率重建；通过融合模块使得初始高分辨率图像与梯度高分辨率图像融合，生成最终的高分辨率图像；本发明在ESRGAN网络重建的高分辨率图像基础上引入梯度提高图像的高频信息，增强图像的轮廓和细节信息，提高了图像重建的效果；能实现脉冲涡流热成像高分辨率清晰化，降低了对红外热像仪分辨率的要求，降低了成本，对脉冲涡流功率和作用时间的要求降低，降低了能耗，减少了对目标的损害，提高了测量的快速性。

Description

一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法
技术领域
本发明属于计算机视觉、图像超分辨率重建技术领域，具体涉及一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法。
背景技术
脉冲涡流热成像技术作为红外检测技术的一种，由于效率高、非接触、可控性、操作简单、直观等优点，目前逐步被应用于金属部件结构的健康检测，尤其金属亚表面缺陷由于其特征不易在材料表面直接观察与检测，因此脉冲涡流热成像是一种有效的方法。但是，由于脉冲涡流热成像分辨率低，导致分析和可视化效果较差。使用脉冲涡流热成像技术检测金属缺陷时，存在对激励参数设置不佳、缺陷尺寸较小与环境因素造成的原始红外图像信噪比低下、缺陷特征模糊等问题。
发明内容
为了克服上述现有技术的不足，本发明的目的是提供一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，在不提高硬件成本的基础上引入梯度融合网络对低分辨率脉冲涡流热成像图像进行16倍的超分辨率重建，可以有效提高脉冲涡流热成像在金属亚表面缺陷的定性与定量检测性能，提高了脉冲涡流热成像的分辨率。
为了达到上述目的，本发明所采用的技术方案为：
一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，ESRGAN网络在图像重建中应用GAN网络框架可以对原图像进行16倍超分辨率重建且不失真，本发明对于高频信息模糊、信噪比低的脉冲涡流热成像图像基于ESRGAN网络重建图像添加了梯度转换网络模块、融合网络模块；梯度转换网络模块可分为两个部分：从低分辨率图像提取x、y方向的梯度信息，并将这两张图像融合成一张完整的低分辨率梯度图；用网络对该低分辨率梯度图像重建，获得高分辨率梯度图像；融合网络模块将ESRGAN网络重建的初始高分辨率图像与梯度转换网络重建的高分辨率梯度图像相融合，生成最终的涡流热成像高分辨率图像，包括以下步骤：
步骤一，图像采集：对原始脉冲涡流热成像图像进行采集，进行图像预处理，采集的图像组作为监督学习标签的高分辨率图像；
步骤二，低分辨率图像：将该组高分辨率图像进行0.25倍的降采样，使得图像缩小为原始图像的1/16，即图像的长和宽均为原图的0.25倍，降采样之后的图像组作为输入低分辨率图像，低分辨率图像与高分辨率图像是一组对应标签；
步骤三，ESRGAN网络训练：将脉冲涡流热成像图像的低分辨率图像和高分辨率图像输入ESRGAN网络中进行训练，ESRGAN为增强型GAN网络应用于单图像超分辨率重建，ESRGAN网络具有GAN网络中生成器与判别器相互对抗学习的特点，使得生成器重建的高分辨率图像越接近真实的高分辨率图像，判别器训练更好的区别真实图像与伪图像；ESRGAN网络输入为脉冲涡流低分辨率图像，监督标签为高分辨率图像，损失函数为感知内容损失函数，经过多次迭代，重建出初始高分辨率图像；
步骤四，梯度转换网络模块搭建与训练：融合重建网络中梯度转换网络模块包括两个部分：梯度提取层与梯度超分辨率重建层，当输入低分辨率图像时，梯度提取层对图像进行梯度提取，获得两个低分辨率梯度特征向量，包括水平和垂直梯度特征；然后通过水平方向和垂直方向各占50％的比例将两个特征向量融合成一张低分辨率梯度图像作为梯度超分辨率重建层的输入图像，同样进行梯度提取层及水平方向和垂直方向融合的高分辨率梯度图像作为梯度超分辨率重建层的监督图像；经过多次迭代优化梯度超分辨率重建层，使得该模块能根据一张低分辨率梯度图像重建出高分辨率梯度图像；
步骤五，融合网络模块搭建与训练：融合网络主要功能是融合ESRGAN网络生成的初始高分辨率图像与梯度转换网络模块重建的高分辨率梯度图像；融合层的第一层是连接层，连接初始高分辨率图像与高分辨率梯度图像；第二层为调节层，负责调节初始高分辨率图像与高分辨率梯度图像的维数，因为在转换过程中二者的维数可能不相等，因此需要调节层对两张图像的维数进行调节，以便图像特征的融合；最后的一层为图像重建层，主要的作用就是对两张图像进行超分辨率融合重建，获取最终的高分辨率图像；
融合网络模块输入的图像包含ESRGAN重建的初始高分辨率图像和梯度转换网络模块重建的高分辨率梯度图像，采集的高分辨率图像作为融合图像重建网络的监督标签；经过网络的训练，该网络能很好的将初始高分辨率图像与高分辨率梯度图像融合，获得具有高频信息的最终高分辨率图像；
步骤六，模型测试：输入测试的低分辨率图像，调用步骤三训练好的ESRGAN模型重建初始高分辨率图像，调用步骤四的梯度转换网络模块生成高分辨率梯度图像，最后将初始高分辨率图像与高分辨率梯度图像输入步骤五的融合模块重建出最终的高分辨率图像。
步骤一所述的图像预处理，包括对图像集进行筛选、有效成分的提取；对脉冲涡流图像集进行筛选，去除模糊不清的图像、对部分包含无关背景的图像进行裁剪，保留清晰且有效的图像；对筛选后的图像集进行主成分提取，提取出三个主成分，并对第二主成分进行灰度转换。
步骤四所述的梯度转换网络模块，主要作用在于重建低分辨率未有的高频信息，为了细节信息的真实性，使用均方差作为网络的损失函数，其表达式如下式所示：
Figure BDA0002169252120000041
其中，
Figure BDA0002169252120000042
表示低分辨率图像块的梯度信息，
Figure BDA0002169252120000043
表示高分辨率图像块的梯度信息，n表示其代表的图像块序列，
Figure BDA0002169252120000044
为带有网络参数θ的的梯度转换；
梯度转换网络模块输入低分辨率图像，经过梯度提取层输出的低分辨率梯度图像作为梯度超分辨率重建层的输入信息；原始的高分辨率图像也经过梯度提取层输出高分辨率梯度图像作为梯度重建层的监督信息；损失函数为均方差，经过多次迭代，梯度转换网络模块能够重建出高分辨率梯度图像。
步骤五所述的融合网络模块，根据初始高分辨率图像和高分辨率梯度图像重建出最终的高分辨率图像，融合网络的损失函数可以表示为：
Figure BDA0002169252120000051
其中，
Figure BDA0002169252120000052
表示序列数为n的初始分辨率图像块，
Figure BDA0002169252120000053
表示序列数为n的高分辨率梯度图像块，
Figure BDA0002169252120000054
表示带有网络参数θF的梯度转换，
Figure BDA0002169252120000055
表示序列数为n的作为监督图像的高分辨率图像。
本发明针对使用脉冲涡流热成像技术检测金属缺陷时，存在激励参数设置不佳、缺陷尺寸较小与环境因素造成的原始红外图像信噪比低下、缺陷特征模糊的问题，将深度学习网络应用于红外热图处理，实现缺陷信号增强，提升脉冲涡流热成像技术对于金属亚表面缺陷的检测灵敏度。本发明方法降低了脉冲涡流热成像技术对红外热像仪分辨率的要求，降低了成本，并且降低了对脉冲涡流功率和作用时间的要求，降低了能耗，减少了对目标的损害，提高了测量的快速性。
本发明包含三个模块：ESRGAN网络模块、梯度转换网络模块、融合网络模块；引入提取高频信息的融合网络提高图像的分辨率，输入低分辨率图像，ESRGAN网络模块重建初始高分辨率图像，梯度转换网络提取出低分辨率梯度图像再通过网络重建出高分辨率梯度图像，然后通过融合网络模块使得初始高分辨率图像与高分辨率梯度图像融合，生成最终的高分辨率图像；本发明在ESRGAN网络重建的初始高分辨率图像基础上引入梯度提高图像的高频信息，增强图像的轮廓和细节信息，提高了图像重建的效果。本发明方法能够实现脉冲涡流热成像高分辨率清晰化，降低了对红外热像仪分辨率的要求。
本发明主要应用于脉冲涡流热成像图像超分辨率重建中，在不提高硬件成本的基础上，对于输入的低分辨率图像能够进行高倍的超分辨率重建，即图像重建为低分辨率图像的16倍且图像的高频信息得到增强。
本发明对于脉冲涡流热成像图像的信噪比低、对比度弱、高频信息少、缺陷信息不明显等特点，在ESRGAN重建的高分辨率图像基础上引入提取高频细节的融合网络，通过梯度转换网络模块从低分辨率图像重建出高分辨率梯度图像，再通过融合重建模块使得ESRGAN生成的高分辨率图像与梯度高分辨率图像融合重建出最终的高分辨率图像。
附图说明
图1是本发明的实现流程框架图。
图2(a)为本发明输入的第一主成分图像。
图2(b)为本发明输入的第二主成分图像。
图2(c)为本发明输入的第三主成分图像。
图2(d)为本发明输入的第二主成分灰度图像。
图3(a)本发明ESRGAN网络重建的第一主成分初始高分辨率图像。
图3(b)本发明ESRGAN网络重建的第二主成分初始高分辨率图像。
图3(c)本发明ESRGAN网络重建的第三主成分初始高分辨率图像。
图3(d)本发明ESRGAN网络重建的第二主成分灰度初始高分辨率图像。
图4(a)本发明根据低分辨率图像提取的第一主成分梯度图像。
图4(b)本发明根据低分辨率图像提取的第二主成分梯度图像。
图4(c)本发明根据低分辨率图像提取的第三主成分梯度图像。
图4(d)本发明根据低分辨率图像提取的第二主成分灰度梯度图像。
图5(a)本发明重建的第一主成分梯度高分辨率图像。
图5(b)本发明重建的第二主成分梯度高分辨率图像。
图5(c)本发明重建的第三主成分梯度高分辨率图像。
图5(d)本发明重建的第二主成分灰度梯度高分辨率图像。
图6(a)本发明融合重建的第一主成分高分辨率图像。
图6(b)本发明融合重建的第二主成分高分辨率图像。
图6(c)本发明融合重建的第三主成分高分辨率图像。
图6(d)本发明融合重建的第二主成分灰度高分辨率图像。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
如图1所示，一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，过程如下：
采集脉冲涡流图像，选取了3000张图片作为模型的训练数据集，训练图像为输入网络的作为监督学习的高清晰度图像。进行降采样作为训练的低分辨率图像；
将训练样本输入到ESRGAN网络生成初始高分辨率图像，梯度转换网络重建高分辨率梯度图像，融合重建网络将初始高分辨率图像与梯度高分辨率图像融合为最终的高分辨率涡流图像。原始图像大小为218×533，重建后图像大小为872×2132。
其具体过程如下：
步骤一，图像采集：对原始脉冲涡流热成像图像进行采集，进行图像预处理，采集的图像组作为监督学习标签的高分辨率图像；
步骤二，低分辨率图像：将该组高分辨率图像进行0.25倍的降采样，使得图像缩小为原始图像的1/16，即图像的长和宽均为原图的0.25倍，降采样之后的图像组作为输入低分辨率图像，低分辨率图像与高分辨率图像是一组对应标签；
步骤三，ESRGAN网络训练：将脉冲涡流热成像图像的低分辨率图像和高分辨率图像输入ESRGAN网络中进行训练，ESRGAN为增强型GAN网络应用于单图像超分辨率重建，ESRGAN网络具有GAN网络中生成器与判别器相互对抗学习的特点，使得生成器重建的高分辨率图像越接近真实的高分辨率图像，判别器训练更好的区别真实图像与伪图像；ESRGAN网络输入为脉冲涡流低分辨率图像，监督标签为高分辨率图像，损失函数为感知内容损失函数，经过多次迭代，重建出初始高分辨率图像；
步骤四，梯度转换网络模块搭建与训练：融合重建网络中梯度转换网络模块包括两个部分：梯度提取层与梯度超分辨率重建层，当输入低分辨率图像时，梯度提取层对图像进行梯度提取，获得两个低分辨率梯度特征向量，包括水平和垂直梯度特征；然后通过水平方向和垂直方向各占50％的比例将两个特征向量融合成一张低分辨率梯度图像作为梯度超分辨率重建层的输入图像，同样进行梯度提取层及水平方向和垂直方向融合的高分辨率梯度图像作为梯度超分辨率重建层的监督图像；经过多次迭代优化梯度超分辨率重建层，使得该模块能根据一张低分辨率梯度图像重建出高分辨率梯度图像；
步骤五，融合网络模块搭建与训练：融合网络主要功能是融合ESRGAN网络生成的初始高分辨率图像与梯度转换网络模块重建的高分辨率梯度图像；融合层的第一层是连接层，连接初始高分辨率图像与高分辨率梯度图像；第二层为调节层，负责调节初始高分辨率图像与高分辨率梯度图像的维数，因为在转换过程中二者的维数可能不相等，因此需要调节层对两张图像的维数进行调节，以便图像特征的融合；最后的一层为图像重建层，主要的作用就是对两张图像进行超分辨率融合重建，获取最终的高分辨率图像；
融合网络模块输入的图像包含ESRGAN重建的初始高分辨率图像和梯度转换网络模块重建的高分辨率梯度图像，采集的高分辨率图像作为融合图像重建网络的监督标签；经过网络的训练，该网络能很好的将初始高分辨率图像与高分辨率梯度图像融合，获得具有高频信息的最终高分辨率图像；
步骤六，模型测试：输入测试的低分辨率图像，调用步骤三训练好的ESRGAN模型重建初始高分辨率图像，调用步骤四的梯度转换网络模块生成高分辨率梯度图像，最后将初始高分辨率图像与高分辨率梯度图像输入步骤五的融合模块重建出最终的高分辨率图像。
步骤一所述的图像预处理，包括对图像集进行筛选、有效成分的提取；对脉冲涡流图像集进行筛选，去除模糊不清的图像、对部分包含无关背景的图像进行裁剪，保留清晰且有效的图像；对筛选后的图像集进行主成分提取，提取出三个主成分，参见图2(a)～(c)，并对第二主成分进行灰度转换，参见图2(d)。
步骤四所述的梯度转换网络模块，主要作用在于重建低分辨率未有的高频信息，为了细节信息的真实性，使用均方差作为网络的损失函数，其表达式如下式所示：
Figure BDA0002169252120000101
其中，
Figure BDA0002169252120000102
表示低分辨率图像块的梯度信息，
Figure BDA0002169252120000103
表示高分辨率图像块的梯度信息，n表示其代表的图像块序列，
Figure BDA0002169252120000104
为带有网络参数θ的的梯度转换；
梯度转换网络模块输入低分辨率图像，经过梯度提取层输出的低分辨率梯度图像作为梯度超分辨率重建层的输入信息；原始的高分辨率图像也经过梯度提取层输出高分辨率梯度图像作为梯度重建层的监督信息；损失函数为均方差，经过多次迭代，梯度转换网络模块能够重建出高分辨率梯度图像。
步骤五所述的融合网络模块，根据初始高分辨率图像和高分辨率梯度图像重建出最终的高分辨率图像，融合网络的损失函数可以表示为：
Figure BDA0002169252120000111
其中，
Figure BDA0002169252120000112
表示序列数为n的初始分辨率图像块，
Figure BDA0002169252120000113
表示序列数为n的高分辨率梯度图像块，
Figure BDA0002169252120000114
表示带有网络参数θF的梯度转换，
Figure BDA0002169252120000115
表示序列数为n的作为监督图像的高分辨率图像。
本发明的研究对象是腐蚀试件，对该试件采集的脉冲涡流热成像图像进行主成分分析，采集主要的三种主成分进行分析，分析得出第二主成分能较好的表示试件的裂纹信息，因此对第二主成分保留其灰度信息。参见图2(a)～(d)为低分辨率图像，图2(a)第一主成分图；图2(b)第二主成分图；图2(c)第三主成分图；图2(d)第二主成分灰度图；
参见图3(a)～(d)为ESGGAN网络重建的初始高分辨率图，图3(a)第一主成分图；图3(b)第二主成分图；图3(c)第三主成分图；图3(d)第二主成分灰度图；
参见图4(a)～(d)为梯度提取图，图4(a)第一主成分图；图4(b)第二主成分图；图4(c)第三主成分图；图4(d)第二主成分灰度图；
参见图5(a)～(d)为重建的高分辨率梯度图，图5(a)第一主成分图；图5(b)第二主成分图；图5(c)第三主成分图；图5(d)第二主成分灰度图；
参见图6(a)～(d)最终的高分辨率图，图6(a)第一主成分图；图6(b)第二主成分图；图6(c)第三主成分图；图6(d)第二主成分灰度图。

Claims (4)

1.一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于：包括步骤以下步骤：
步骤一，图像采集：对原始脉冲涡流热成像图像进行采集，进行图像预处理，采集的图像组作为监督学习标签的高分辨率图像；
步骤二，低分辨率图像：将该组高分辨率图像进行0.25倍的降采样，使得图像缩小为原始图像的1/16，即图像的长和宽均为原图的0.25倍，降采样之后的图像组作为输入低分辨率图像，低分辨率图像与高分辨率图像是一组对应标签；
步骤三，ESRGAN网络训练：将脉冲涡流热成像图像的低分辨率图像和高分辨率图像输入ESRGAN网络中进行训练，ESRGAN为增强型GAN网络应用于单图像超分辨率重建，ESRGAN网络具有GAN网络中生成器与判别器相互对抗学习的特点，使得生成器重建的高分辨率图像越接近真实的高分辨率图像，判别器训练更好的区别真实图像与伪图像；ESRGAN网络输入为脉冲涡流低分辨率图像，监督标签为高分辨率图像，损失函数为感知内容损失函数，经过多次迭代，重建出初始高分辨率图像；
步骤四，梯度转换网络模块搭建与训练：融合重建网络中梯度转换网络模块包括两个部分：梯度提取层与梯度超分辨率重建层，当输入低分辨率图像时，梯度提取层对图像进行梯度提取，获得两个低分辨率梯度特征向量，包括水平和垂直梯度特征；然后通过水平方向和垂直方向各占50％的比例将两个特征向量融合成一张低分辨率梯度图像作为梯度超分辨率重建层的输入图像，同样进行梯度提取层及水平方向和垂直方向融合的高分辨率梯度图像作为梯度超分辨率重建层的监督图像；经过多次迭代优化梯度超分辨率重建层，使得该模块能根据一张低分辨率梯度图像重建出高分辨率梯度图像；
步骤五，融合网络模块搭建与训练：融合网络主要功能是融合ESRGAN网络生成的初始高分辨率图像与梯度转换网络模块重建的高分辨率梯度图像；融合层的第一层是连接层，连接初始高分辨率图像与高分辨率梯度图像；第二层为调节层，负责调节初始高分辨率图像与高分辨率梯度图像的维数，因为在转换过程中二者的维数可能不相等，因此需要调节层对两张图像的维数进行调节，以便图像特征的融合；最后的一层为图像重建层，主要的作用就是对两张图像进行超分辨率融合重建，获取最终的高分辨率图像；
融合网络模块输入的图像包含ESRGAN重建的初始高分辨率图像和梯度转换网络模块重建的高分辨率梯度图像，采集的高分辨率图像作为融合图像重建网络的监督标签；经过网络的训练，该网络能很好的将初始高分辨率图像与高分辨率梯度图像融合，获得具有高频信息的最终高分辨率图像；
步骤六，模型测试：输入测试的低分辨率图像，调用步骤三训练好的ESRGAN模型重建初始高分辨率图像，调用步骤四的梯度转换网络模块生成高分辨率梯度图像，最后将初始高分辨率图像与高分辨率梯度图像输入步骤五的融合模块重建出最终的高分辨率图像。
2.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤一所述的图像预处理，包括对图像集进行筛选、有效成分的提取；对脉冲涡流图像集进行筛选，去除模糊不清的图像、对部分包含无关背景的图像进行裁剪，保留清晰且有效的图像；对筛选后的图像集进行主成分提取，提取出三个主成分，并对第二主成分进行灰度转换。
3.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤四所述的梯度转换网络模块，主要作用在于重建低分辨率未有的高频信息，为了细节信息的真实性，使用均方差作为网络的损失函数，其表达式如下式所示：
Figure FDA0002169252110000031
其中，
Figure FDA0002169252110000032
表示低分辨率图像块的梯度信息，
Figure FDA0002169252110000033
表示高分辨率图像块的梯度信息，n表示其代表的图像块序列，
Figure FDA0002169252110000034
为带有网络参数θ的的梯度转换；
梯度转换网络模块输入低分辨率图像，经过梯度提取层输出的低分辨率梯度图像作为梯度超分辨率重建层的输入信息；原始的高分辨率图像也经过梯度提取层输出高分辨率梯度图像作为梯度重建层的监督信息；损失函数为均方差，经过多次迭代，梯度转换网络模块能够重建出高分辨率梯度图像。
4.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤五所述的融合网络模块，根据初始高分辨率图像和高分辨率梯度图像重建出最终的高分辨率图像，融合网络的损失函数可以表示为：
Figure FDA0002169252110000041
其中，
Figure FDA0002169252110000042
表示序列数为n的初始分辨率图像块，
Figure FDA0002169252110000043
表示序列数为n的高分辨率梯度图像块，
Figure FDA0002169252110000044
表示带有网络参数θF的梯度转换，
Figure FDA0002169252110000045
表示序列数为n的作为监督图像的高分辨率图像。
CN201910757622.1A 2019-08-16 2019-08-16 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 Active CN110660021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910757622.1A CN110660021B (zh) 2019-08-16 2019-08-16 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910757622.1A CN110660021B (zh) 2019-08-16 2019-08-16 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法

Publications (2)

Publication Number Publication Date
CN110660021A CN110660021A (zh) 2020-01-07
CN110660021B true CN110660021B (zh) 2022-12-20

Family

ID=69037619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910757622.1A Active CN110660021B (zh) 2019-08-16 2019-08-16 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法

Country Status (1)

Country Link
CN (1) CN110660021B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696033B (zh) * 2020-05-07 2023-04-28 中山大学 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN111754405B (zh) * 2020-06-22 2023-08-08 北京大学深圳研究生院 图像降分辨率及复原方法、设备及可读存储介质
CN112699912B (zh) * 2020-11-19 2022-04-19 电子科技大学 一种通过改进gan增强红外热图像的方法
CN113763367B (zh) * 2021-09-13 2023-07-28 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件红外检测特征综合判读方法
CN113763368B (zh) * 2021-09-13 2023-06-23 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件多类型损伤检测特征分析方法
CN116523754A (zh) * 2023-05-10 2023-08-01 广州民航职业技术学院 一种飞机蒙皮损伤自动识别图像质量增强方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN107993225A (zh) * 2017-11-28 2018-05-04 电子科技大学 一种磁光涡流成像检测的缺陷识别方法
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN107993225A (zh) * 2017-11-28 2018-05-04 电子科技大学 一种磁光涡流成像检测的缺陷识别方法
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
红外热波无损检测技术的研究现状与进展;郑凯等;《红外技术》;20180520(第05期);全文 *

Also Published As

Publication number Publication date
CN110660021A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110660021B (zh) 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法
CN109447089B (zh) 基于超分技术的高分辨率北极海冰类型提取方法
CN105931246A (zh) 一种基于小波变换和遗传算法的织物瑕疵检测方法
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN114973032A (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN115661655A (zh) 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN111161156A (zh) 一种基于深度学习的水下桥墩病害图像分辨率增强方法
CN115410024A (zh) 一种基于动态激活热力图的电力图像缺陷检测方法
CN116704526B (zh) 工尺谱扫描机器人及其方法
CN104881877A (zh) 基于fpga的卷积与时序优化的图像关键点检测的方法
CN116958073A (zh) 基于注意力特征金字塔机制的小样本钢材缺陷检测方法
CN116503354A (zh) 基于多模态融合的光伏电池热斑检测及评估方法与装置
CN105654070A (zh) 一种低分辨率人脸识别方法
CN112508862B (zh) 一种通过改进gan增强裂纹磁光图像的方法
CN114298909A (zh) 一种超分辨网络模型及其应用
CN113421212A (zh) 一种医学影像的增强方法、装置、设备和介质
Liu et al. A hierarchical semantic segmentation framework for computer vision-based bridge damage detection
Koeshidayatullah et al. Is attention all geosciences need? Advancing quantitative petrography with attention-based deep learning
CN116978052B (zh) 基于改进YOLOv5的桥梁设计图的子图布局识别方法
Liu et al. Siamese Generative Adversarial Network for Change Detection Under Different Scales
Guo et al. Research on Deep Learning-based Deraining Method of Catenary Images
CN110223274B (zh) 一种基于乘性模糊的红外技术缺陷重构与特征提取方法
Hong et al. Few-Shot Object Detection for High-Speed Rail Infrastructure Defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant