CN112699912B - 一种通过改进gan增强红外热图像的方法 - Google Patents
一种通过改进gan增强红外热图像的方法 Download PDFInfo
- Publication number
- CN112699912B CN112699912B CN202011300158.2A CN202011300158A CN112699912B CN 112699912 B CN112699912 B CN 112699912B CN 202011300158 A CN202011300158 A CN 202011300158A CN 112699912 B CN112699912 B CN 112699912B
- Authority
- CN
- China
- Prior art keywords
- sequence
- point
- image
- infrared thermal
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 14
- 230000007547 defect Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000000513 principal component analysis Methods 0.000 claims abstract description 26
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 238000010438 heat treatment Methods 0.000 claims description 9
- 238000001931 thermography Methods 0.000 claims description 7
- 238000009659 non-destructive testing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 239000006247 magnetic powder Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Radiation Pyrometers (AREA)
- Image Processing (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明公开了一种通过改进GAN增强红外热图像的方法，首先对采集到的红外热图像序列任意一个目标点及其周围8邻域的9个像素点进行主成分分析，并选取其第一主成分分量；为了减少数据冗余和提高计算效率，再对第一主成分分量进行采样并与其经处理得到的单幅二值图像一起作为训练集；然后分别通过融合相邻域内的像素点，获得更多热时序信号及其二值像素点，扩充训练集数据；最后利用热图像温度‑时间序列训练改进GAN模型，并通过改进GAN模型对红外热图像进行图像增强处理，有效提高缺陷区域与背景区域之间的对比度，完成了红外热图像的重构。
Description
技术领域
本发明属于图像处理技术领域，更为具体地讲，涉及一种通过改进生成式对抗网络(GAN)增强红外热图像的方法。
背景技术
裂纹检测在预防由裂纹缺陷设施引起的偶发危险事件中起着极其重要的作用。随着现代工业科技的快速发展，工业中设施装备逐渐向着高精度发展，其对组件的安全性也有着极高的要求，裂纹的出现和扩展不仅会严重影响设施装备的性能，在扩展到一定程度后甚至会导致组件的断裂，引起设施的安全问题，从而造成极其严重的后果。因此有必要在早期对工业组件进行裂纹的检测。
目前的无损检测技术主要包括射线检测、涡流检测、磁粉检测、超声检查等。射线检测检测成本高且存在安全问题；磁粉检测仅适合开口缺陷且检测过程复杂；超声检测需要耦合。综合来看，涡流检测因其检测速度快，操作难度低、多种多样的应用方式等优点受到广泛关注。随着涡流检测技术发展,其在简单缺陷的检出及空间定位方面都已经比较成熟，且逐渐向精确测量和成像检测方向发展。其中脉冲涡流热成像技术集合了涡流检测与热成像技术两方面的优势，其主要特点如下：
(1)、采用红外辐射测量物体表面温度，检测距离较大，热像仪具有分辨率较高的优点。
(2)、检测效率高，热像仪可以在几毫秒内测出目标的温度，相对于涡流磁光成像来说检测范围更大。
(3)、成像效果直观，可以通过热图像温度分布直接确定缺陷位置，便于后期处理。
(4)、具有涡流检测的优点，与射线检测相比更安全；与超声检测技术相比无需耦合且不必接触；且相对于磁粉法及渗透法操作更为简单
因其诸多优点，脉冲涡流成像技术十分适合缺陷的检测，也因此吸引了大量学者的关注，在红外热图像的处理和增强方面也取得了一系列的进展。脉冲涡流热成像技术的主要原理在于：高频的脉冲激励源使试件表面和内部感应出高频涡流，涡流在试件中的流动总是选择阻抗最低的环路，当试件内部存在缺陷时，内部孔洞或者裂缝的存在使得缺陷处的阻抗变大，因此当涡流遇到缺陷时，会绕过缺陷从缺陷的边缘处流过，使得缺陷边缘处的涡流密度变大。由焦耳定律可知，导体中产生的热量与电流的平方成正比，因此缺陷边缘处的温度要高于其他无缺陷区域，通过观察红外热图像中的颜色差异即可判断出缺陷的轮廓。
通过对采集到的红外热图像或热图像序列进行处理，可以得到关于试件表面和亚表面部分的缺陷信息。因此很多学者们对热图像和热图像序列的处理进行了研究，目前对热图像的处理都只是将热图像看作一幅普通的可见光图像，许多学者通过在空间域或者频率域对热图像中的各个像素进行处理，消除噪声，提高图像质量从而达到使缺陷轮廓更加清晰，达到便于缺陷检测的目的。但是，由于不能准确地估计检测最佳红外图像的时间，因此难以获得有效的红外图像。为了使用图像检测裂纹，通常根据经验在固定的检测时间手动选择可行图像。基于人工选择的图像，提出了各种用于裂纹检测的高级图像处理算法，例如k均值聚类算法，离散小波变换，热阻效应模型方法以及其他一些特殊方法和算法。这些图像处理算法的目的在于根据可行的图像选择方法，使用静态热图像来增强裂纹图像。实际上，脉冲涡流红外图像中的大量信息包含在瞬态模式中，因此，传统的图像方法无法充分利用脉冲涡流热成像技术的特点进行裂纹检测。目前，许多学者也研究了大量的瞬态响应特征以更加深入地提取和增强裂纹信息。当前，基于模式热图像序列处理算法主要有以下几种：应用基于傅立叶变换的频率模式提取方法，旨在通过相位图来增强图像对比度；通过使用主成分分析(PCA)和独立成分分析(ICA)的模式提取方法，基于原始图像序列提高裂纹检测的能力；此外，在热图像序列处理中还存在其他一些算法，例如单通道盲源分离和鲁棒主成分分析(RPCA)方法。
热成像检测技术中裂纹检测的挑战在于，由于多种及动态的影响因素，很难建立与物理过程相关的精确模型，且由于噪声的存在，很难建立具有良好泛化性能的模型。因此，开展新的分析角度和方法，构建性能良好的泛化模型并完成对缺陷信息的有效检测有很大的研究意义。
发明内容
本发明的目的在于克服现有技术的不足，提供一种通过改进GAN增强红外热图像的方法，基于时域特征到空域特征的映射来充分利用红外热图像序列的信息，有效提高缺陷区域与背景区域之间的对比度，完成了红外热图像的重构。
为实现上述发明目的，本发明一种通过改进GAN增强红外热图像的方法，其特征在于，包括以下步骤：
(1)、获取红外热图像序列；
利用脉冲涡流热成像无损检测平台对常温状态下存在已知缺陷的试件进行加热，并采集整个加热阶段的P帧红外热图像，组成红外图像时间序列S，其中，每帧红外热图像的大小为M×N，M、N分别为红外热图像长、宽；
(2)、主成分分析；
(2.1)、在红外图像时间数据序列S中，任意设置一像素点作为目标点，提取目标点及其8邻域共计9个像素点的温度-时间数据进行PCA处理，将主成分分析后的第一主成分作为该目标点的温度-时间数据，其中，对于边界像素点的邻域点用0补齐；
(2.2)、按照步骤(2.1)的方法将温度-时间数据序列S中所有像素点处理完成后，得到长度为P的目标点时序数据序列S1，然后对目标点时序数据序列S1进行时序间的均匀采样，得到长度为P'的目标点时序数据序列S2；
(3)、GAN训练数据的生成；
(3.1)、二值化处理；
通过人工检索的方式从目标点时序数据序列S2中挑选出一帧缺陷区域明显的红外热图像，并进行二值化处理，得到二值化图像，其中，二值化处理后缺陷区域的像素值为1，而非缺陷区域的像素值为0；
(3.2)、对目标点时序数据序列S2进行数据扩充；
从目标点时序数据序列S2中随机选取一帧红外热图像，并随机标记红外热图像中缺陷区域相邻的两个空间像素位置，记为(i1，j1)、(i2，j2)；
在P'帧红外热图像中，计算每一帧红外热图像在(i1，j1)、(i2，j2)出的温度均值，获得一个温度随时间变化的一维序列，其长度为P'；
(3.3)、对二值化图像进行数据扩充；
以空间像素位置(i1，j1)、(i2，j2)为基准，在二值化图像中，在(i1，j1)和(i2，j2)之间创造一个点值；
(3.4)、重复步骤(3.2)、(3.3)共计K次，获得K个一维序列和K个点值；
(3.5)、对K个一维序列及目标点时序数据序列S2进行归一化处理；
(3.6)、提取目标点时序数据序列S2中每个像素点的温度-时间序列数据，共计获得MN个一维序列，再与扩充的K个一维序列共计构成MN+K个一维温度-时间序列S3；
提取二值化图像中所有的像素点值，再与扩充的K个点值共计MN+K个点值，构成一维点值序列S4；
(4)、训练改进GAN模型
(4.1)、从温度-时间序列S3中选取k个一维序列，并作为改进GAN模型中生成网络G的输入，记为z，其输出记为G(z)；
(4.2)、将选取的k个一维序列对应的k个点值记为X，然后将X及G(z)同时作为改进GAN模型中判别网络D的输入，其输出D(X)、D(G(z))分别为判别网络判断输入X及G(z)属于一维点值序列S4的概率；
(4.3)、根据概率值计算判别网络的损失函数值V(D)；
其中，Pdata(X)表示输入点值集合X的分布，
表示求logD(X)的期望，Pz(Z)表示输入温度-时间序列z的分布，
表示求log(1-D(G(z)))的期望；
(4.4)、根据损失函数值V(D)梯度增大的方向更新判别网络，当更新完成后，将G(z)再次输入至更新后的判别网络，并根据输出结果D(G(z))判别G(z)属于一维点值序列S4的概率；
(4.5)、根据概率值计算生成网络的损失函数值V(G)；
其中，λ1是平衡参数，σ(*)表示Sigmoid型函数，λ2和λ3是Sigmoid型函数的参数，var(*)是方差函数，C为常数；
(4.6)、根据损失函数值V(G)梯度减小的方向更新生成网络；
(4.7)、重复步骤(4.1)-(4.6)，直到改进GAN模型收敛，从而得到训练完成的改进GAN模型；
(5)、利用改进GAN模型进行图像增强
(5.1)、按照步骤(1)所述方法采集待测试件的红外热图像序列T；
(5.2)、按照步骤(2)所述方法对红外热图像序列T进行主成分分析，得到每个像素点的时序数据序列；
(5.3)、将每个像素点的时序数据序列依次输入至改进GAN模型，经生成网络输出每个像素点增强处理后的像素值；
(5.4)、将增强后的所有像素点按照原位置排列，获得缺陷增强后的红外图像。
本发明的发明目的是这样实现的：
本发明一种通过改进GAN增强红外热图像的方法，首先对采集到的红外热图像序列任意一个目标点及其周围8邻域的9个像素点进行主成分分析，并选取其第一主成分分量；为了减少数据冗余和提高计算效率，再对第一主成分分量进行采样并与其经处理得到的单幅二值图像一起作为训练集；然后分别通过融合相邻域内的像素点，获得更多热时序信号及其二值像素点，扩充训练集数据；最后利用热图像温度-时间序列训练改进GAN模型，并通过改进GAN模型对红外热图像进行图像增强处理，有效提高缺陷区域与背景区域之间的对比度，完成了红外热图像的重构。
同时，本发明一种通过改进GAN增强红外热图像的方法还具有以下有益效果：
(1)、本发明对采集到的数据进行主成分分析并选用第一主成分作为训练数据，这样的处理有效消除了红外图像数据中的冗余信息；
(2)、由于红外热图像中存在大量的高频噪声，会对热响应曲线带来干扰，通过均匀采样的方式对热响应数据进行滤波，消除了热响应数据中的噪声带来的影响；
(3)、由于热传导的特性，连续的空间点的温度同样是连续的，在热时序图像中相邻(上下/左右)的像素点是离散的，因此，本发明基于热传导特性，对相邻的空间点进行融合取其均值，生成了更多的训练数据，从而保证了GAN训练需要的数据量。
(4)、本发明中根据红外图像数据的特点，对现有的生成式对抗网络进行改进，提高了GAN技术的性能，减少了泛化误差，并且增强了缺陷的对比度。
附图说明
图1是本发明一种通过改进GAN增强红外热图像的方法流程图；
图2是进行PCA处理和均匀采样的过程示意图；
图3是训练数据的一帧红外图像；
图4是训练数据的二值图像数据；
图5是测试数据的一帧红外图像；
图6是用普通GAN进行特征提取得到的红外图像三维图；
图7是利用改进后的GAN对未经PCA处理消除噪声的数据进行特征提取获得的红外图像；
图8是利用本专利改进的GAN算法进行特征提取获得的红外图像；
图9是图8的三维图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种通过改进GAN增强红外热图像的方法流程图。
在本实施例中，如图1所示，本发明一种通过改进GAN增强红外热图像的方法，包括以下步骤：
S1、获取红外热图像序列；
利用脉冲涡流热成像无损检测平台对常温状态下存在已知缺陷的试件进行加热，并采集整个加热阶段的P帧红外热图像，组成红外图像时间序列S，其中，每帧红外热图像的大小为M×N，M、N分别为红外热图像长、宽；
S2、主成分分析；
S2.1、在红外图像时间数据序列S中，任意设置一像素点作为目标点，提取目标点及其8邻域共计9个像素点的温度-时间数据进行PCA处理，将主成分分析后的第一主成分作为该目标点的温度-时间数据，其中，对于边界像素点的邻域点用0补齐；
S2.2、按照步骤S2.1的方法将温度-时间数据序列S中所有像素点处理完成后，得到长度为P的目标点时序数据序列S1，然后对目标点时序数据序列S1进行时序间的均匀采样，得到长度为P'的目标点时序数据序列S2；
在本实施例中，由于采样率较高，热像仪在短时间内就可以获取上千幅图像。而因热传导是一个缓慢的过程，一些像素点在时域相邻的图像上像素值极为接近，造成了数据的冗余造成计算量的增大。因此，如图2所示，可采取均匀采样的方法减少冗余数据，通过均匀帧抽取实现。
S3、GAN训练数据的生成；
本发明基于热传导特性，对相邻的空间点进行融合取其均值，生成了更多的训练数据，从而保证了GAN训练需要的数据量。这样处理的原理在于，由于热传导的特性，连续的空间点的温度同样是连续的，在热时序图像中相邻(上下/左右)的像素点是离散的，因而可以通过插值的方法获得相邻像素点间的温度。进行数据扩充的原因在于，尽管可以检测到大量的数据，但是绝大部分是重复的难以用于GAN训练，而包含裂纹缺陷的热时序信号相对来说极为稀缺。
下面我们对具体的处理过程进行描述：
S3.1、二值化处理；
通过人工检索的方式从目标点时序数据序列S2中挑选出一帧缺陷区域明显的红外热图像，并进行二值化处理，得到二值化图像，其中，二值化处理后缺陷区域的像素值为1，而非缺陷区域的像素值为0；
S3.2、对目标点时序数据序列S2进行数据扩充；
从目标点时序数据序列S2中随机选取一帧红外热图像，并随机标记红外热图像中缺陷区域相邻的两个空间像素位置，记为(i1，j1)、(i2，j2)；
在P'帧红外热图像中，计算每一帧红外热图像在(i1，j1)、(i2，j2)出的温度均值，获得一个温度随时间变化的一维序列，其长度为P'；
S3.3、对二值化图像进行数据扩充；
以空间像素位置(i1，j1)、(i2，j2)为基准，在二值化图像中，在(i1，j1)和(i2，j2)之间创造一个点值；
点值的大小为：如果(i1，j1)和(i2，j2)对应的像素值均为1，则创造点值的大小为1，否则创造点值的大小为0。
S3.4、重复步骤S3.2、S3.3共计K次，获得K个一维序列和K个点值；
S3.5、对K个一维序列及目标点时序数据序列S2进行归一化处理；
S3.6、提取目标点时序数据序列S2中每个像素点的温度-时间序列数据，共计获得MN个一维序列，再与扩充的K个一维序列共计构成MN+K个一维温度-时间序列S3；
提取二值化图像中所有的像素点值，再与扩充的K个点值共计MN+K个点值，构成一维点值序列S4；
在本实施例中，如图3所示，训练数据的某一帧图像，经过经验方法处理得到图4所示的二值图。
用于GAN训练的输入数据通常有两种：作为生成器输入数据的噪音及作为判别器输入数据的真实图像。而在本实施例中，通过步骤S3.6获得的多组维温度-时间序列将作为生成器的训练数据，其数据形式为某一个像素点的归一化后的温度随时间变化曲线；通过步骤S3.6获得的二值数据为作为判别器输入，其数据形式为二值图中某一像素点的值，且与生成器的训练数据在空间位置上一一对应。
S4、训练改进GAN模型
S4.1、从温度-时间序列S3中选取k个一维序列，并作为改进GAN模型中生成网络G的输入，记为z，其输出记为G(z)，G(z)表示生成器产生的生成数据；
S4.2、将选取的k个一维序列对应的k个点值记为X，然后将X及G(z)同时作为改进GAN模型中判别网络D的输入，其输出D(X)、D(G(z))分别为判别网络判断输入X及G(z)属于一维点值序列S4的概率；
S4.3、根据概率值计算判别网络的损失函数值V(D)；
其中，Pdata(X)表示输入点值集合X的分布，
表示求logD(X)的期望，Pz(Z)表示输入温度-时间序列z的分布，
表示求log(1-D(G(z)))的期望；
S4.4、根据损失函数值V(D)梯度增大的方向更新判别网络，当更新完成后，将G(z)再次输入至更新后的判别网络，并根据输出结果D(G(z))判别G(z)属于一维点值序列S4的概率；
S4.5、根据概率值计算生成网络的损失函数值V(G)；
其中，λ1是平衡参数，σ(*)表示Sigmoid型函数，λ2和λ3是Sigmoid型函数的参数，var(*)是方差函数，C为常数；
在本实施例中，不同空间点时序信号的温度随时间变化的分布曲线是不同的，越接近裂纹的像素点温度变化更剧烈，因而其经过采样得到的值相较其他像素点更为分散，即方差更大。因此，热时序信号的方差是其一个重要的特征表现，因此为提高模型能力降低泛化误差，结合热时序信号方差与Sigmiod函数非线性的特点设计了新的损失函数，这样对现有的生成式对抗网络进行改进，提高了GAN技术的性能，减少了泛化误差，并且增强了缺陷的对比度。
通过以上改进的GAN对提取的热时间序列信号的特征进行训练可以生成像素点增强后的分布值，估计其是否属于裂纹，其中裂纹区域的像素值相对接近1，非缺陷区域的像素值较低接近0。当G(z)大约为0.5时，很难确定该空间点是否属于裂纹区域，通过调节参数λ2和λ3，可以将G(z)的值减小到较低的值，以提高裂纹的对比度。
S4.6、根据损失函数值V(G)梯度减小的方向更新生成网络；
S4.7、重复步骤S4.1-S4.6，直到改进GAN模型收敛，从而得到训练完成的改进GAN模型；
S5、利用改进GAN模型进行图像增强
S5.1、按照步骤S1所述方法采集待测试件的红外热图像序列T；
S5.2、按照步骤S2所述方法对红外热图像序列T进行主成分分析，得到每个像素点的时序数据序列；
S5.3、将每个像素点的时序数据序列依次输入至改进GAN模型，经生成网络输出每个像素点增强处理后的像素值；
S5.4、将增强后的所有像素点按照原位置排列，获得缺陷增强后的红外图像。
图5是用于测试的一帧红外图像，图6是利用未经改进的原始GAN算法进行特征提取重构出的红外图像的三维图，图9是用改进的GAN对经过PCA和均匀采样等预处理过程的实验数据进行特征提取得到的结果图，从这两幅图的对比中能够看到，因为缺陷区域的存在而产生的干扰区域仍然存在，这部分区域的像素值被认为是1，即被原始GAN认为是缺陷区域。由此我们可以看到，未经改进的原始GAN算法虽然能够给出每个像素点像素值，但是像素值的准确度不高，从而无法消除加热线圈对背景区域的加热作用带来的干扰，而本论文提出的改进的GAN算法则很好地对加热线圈带来的虚假高温部分进行了抑制，背景区域的像素值基本为0，使缺陷轮廓与背景区域之间的对比度得到了明显提升。
图7是利用改进的GAN对未经PCA消除噪声处理的数据进行特征提取的结果；图8是利用改进的GAN对经过PCA和均匀采样等预处理过程的实验数据进行特征提取得到的结果图。
从图7和图8的对比中能够看到，未经PCA处理得到的结果图的背景区域中存在许多像素值为1的点，这是因为这些点存在大量高频噪声，对温度-时间数据的方差带来了影响，导致GAN认为该点是缺陷数据；而经过PCA预处理后，PCA方法及后续的采样过程使得温度-时间数据中的高频噪声得到了很好的抑制，从而利用GAN进行特征提取时能够有效识别缺陷区域和背景区域，获重构出清晰的红外图像，且缺陷轮廓也变得非常明显。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种通过改进GAN增强红外热图像的方法，其特征在于，包括以下步骤：
(1)、获取红外热图像序列；
利用脉冲涡流热成像无损检测平台对常温状态下存在已知缺陷的试件进行加热，并采集整个加热阶段的P帧红外热图像，组成红外图像时间序列S，其中，每帧红外热图像的大小为M×N，M、N分别为红外热图像长、宽；
(2)、主成分分析；
(2.1)、在红外图像时间数据序列S中，任意设置一像素点作为目标点，提取目标点及其8邻域共计9个像素点的温度-时间数据进行PCA处理，将主成分分析后的第一主成分作为该目标点的温度-时间数据，其中，对于边界像素点的邻域点用0补齐；
(2.2)、按照步骤(2.1)的方法将温度-时间数据序列S中所有像素点处理完成后，得到长度为P的目标点时序数据序列S1，然后对目标点时序数据序列S1进行时序间的均匀采样，得到长度为P'的目标点时序数据序列S2；
(3)、GAN训练数据的生成；
(3.1)、二值化处理；
通过人工检索的方式从目标点时序数据序列S2中挑选出一帧缺陷区域明显的红外热图像，并进行二值化处理，得到二值化图像，其中，二值化处理后缺陷区域的像素值为1，而非缺陷区域的像素值为0；
(3.2)、对目标点时序数据序列S2进行数据扩充；
从目标点时序数据序列S2中随机选取一帧红外热图像，并随机标记红外热图像中缺陷区域相邻的两个空间像素位置，记为(i1，j1)、(i2，j2)；
在P'帧红外热图像中，计算每一帧红外热图像在(i1，j1)、(i2，j2)出的温度均值，获得一个温度随时间变化的一维序列，其长度为P'；
(3.3)、对二值化图像进行数据扩充；
以空间像素位置(i1，j1)、(i2，j2)为基准，在二值化图像中，在(i1，j1)和(i2，j2)之间创造一个点值；
(3.4)、重复步骤(3.2)、(3.3)共计K次，获得K个一维序列和K个点值；
(3.5)、分别对K个一维序列及目标点时序数据序列S2进行归一化处理；
(3.6)、提取目标点时序数据序列S2中每个像素点的温度-时间序列数据，共计获得MN个一维序列，再与扩充的K个一维序列共计构成MN+K个一维温度-时间序列S3；
提取二值化图像中所有的像素点值，再与扩充的K个点值共计MN+K个点值，构成一维点值序列S4；
(4)、训练改进GAN模型
(4.1)、从温度-时间序列S3中选取k个一维序列，并作为改进GAN模型中生成网络G的输入，记为z，其输出记为G(z)；
(4.2)、将选取的k个一维序列对应的k个点值记为X，然后将X及G(z)同时作为改进GAN模型中判别网络D的输入，其输出D(X)、D(G(z))分别为判别网络判断输入X及G(z)属于一维点值序列S4的概率；
(4.3)、根据概率值计算判别网络的损失函数值V(D)；
其中，Pdata(X)表示输入点值集合X的分布，
表示求log D(X)的期望，Pz(Z)表示输入温度-时间序列z的分布，
表示求log(1-D(G(z)))的期望；
(4.4)、根据损失函数值V(D)梯度增大的方向更新判别网络，当更新完成后，将G(z)再次输入至更新后的判别网络，并根据输出结果D(G(z))判别G(z)属于一维点值序列S4的概率；
(4.5)、根据概率值计算生成网络的损失函数值V(G)；
其中，λ1是平衡参数，σ(*)表示Sigmoid型函数，λ2和λ3是Sigmoid型函数的参数，var(*)是方差函数，C为常数；
(4.6)、根据损失函数值V(G)梯度减小的方向更新生成网络；
(4.7)、重复步骤(4.1)-(4.6)，直到改进GAN模型收敛，从而得到训练完成的改进GAN模型；
(5)、利用改进GAN模型进行图像增强
(5.1)、按照步骤(1)所述方法采集待测试件的红外热图像序列T；
(5.2)、按照步骤(2)所述方法对红外热图像序列T进行主成分分析，得到每个像素点的时序数据序列；
(5.3)、将每个像素点的时序数据序列依次输入至改进GAN模型，经生成网络输出每个像素点增强处理后的像素值；
(5.4)、将增强后的所有像素点按照原位置排列，获得缺陷增强后的红外图像。
2.根据权利要求1所述的一种通过改进GAN增强红外热图像的方法，其特征在于，所述步骤(3.3)中，创造点值的大小为：如果(i1，j1)和(i2，j2)对应的像素值均为1，则创造点值的大小为1，否则创造点值的大小为0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011300158.2A CN112699912B (zh) | 2020-11-19 | 2020-11-19 | 一种通过改进gan增强红外热图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011300158.2A CN112699912B (zh) | 2020-11-19 | 2020-11-19 | 一种通过改进gan增强红外热图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112699912A CN112699912A (zh) | 2021-04-23 |
| CN112699912B true CN112699912B (zh) | 2022-04-19 |
Family
ID=75505959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011300158.2A Active CN112699912B (zh) | 2020-11-19 | 2020-11-19 | 一种通过改进gan增强红外热图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699912B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360725B (zh) * | 2021-06-04 | 2023-10-03 | 重庆邮电大学 | 基于边缘协同分类的电力时序数据检索方法 |
| CN113884538B (zh) * | 2021-10-18 | 2024-07-23 | 沈阳工业大学 | 大型风力机叶片内部微小缺陷的红外热像检测方法 |
| CN114841921B (zh) * | 2022-03-29 | 2024-03-19 | 合肥工业大学 | 热成像不均匀温度背景获取方法及缺陷检测方法 |
| CN115439573B (zh) * | 2022-10-27 | 2023-03-24 | 北京航空航天大学 | 一种基于温度信息编码的可见光转红外图像的生成方法 |
| CN115617882B (zh) * | 2022-12-20 | 2023-05-23 | 粤港澳大湾区数字经济研究院(福田) | 基于gan的带有结构约束的时序图数据生成方法及系统 |
| CN117392122B (zh) * | 2023-12-07 | 2024-03-15 | 深圳前海慧联科技发展有限公司 | 基于超声波技术的螺栓无损检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
| CN110634108A (zh) * | 2019-08-30 | 2019-12-31 | 北京工业大学 | 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法 |
| CN110660021A (zh) * | 2019-08-16 | 2020-01-07 | 西安理工大学 | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 |
| CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10474881B2 (en) * | 2017-03-15 | 2019-11-12 | Nec Corporation | Video retrieval system based on larger pose face frontalization |
-
2020
- 2020-11-19 CN CN202011300158.2A patent/CN112699912B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
| CN110660021A (zh) * | 2019-08-16 | 2020-01-07 | 西安理工大学 | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 |
| CN110634108A (zh) * | 2019-08-30 | 2019-12-31 | 北京工业大学 | 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法 |
| CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| Deep learning enhancement of infrared face images using generative adversarial networks;AXEL-CHRISTIAN GUEI 等;《Applied Optics》;20180620;第57卷(第18期);98-107 * |
| TDCGAN: TEMPORAL DILATED CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORK FOR END-TO-END SPEECH ENHANCEMENT;Shuaishuai Ye 等;《arXiv》;20200930;1-5 * |
| 基于改进生成对抗网络的水下激光图像后向散射光修复方法;张清博 等;《激光与光电子学进展》;20190228;第56卷(第4期);041004-1:9 * |
| 基于生成对抗网络的红外图像数据增强;陈佛计 等;《计算机应用》;20200710;第40卷(第7期);2084-2088 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112699912A (zh) | 2021-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112699912B (zh) | 一种通过改进gan增强红外热图像的方法 | |
| Zahran et al. | Automatic weld defect identification from radiographic images | |
| CN101221150B (zh) | 用于检查具有复杂几何形状的部件的多频率图像处理 | |
| Chen et al. | Accurate defect detection via sparsity reconstruction for weld radiographs | |
| CN110992363B (zh) | 一种基于生成对抗网络的三维漏磁检测缺陷重构方法 | |
| Usamentiaga et al. | Automated dynamic inspection using active infrared thermography | |
| JP2006292747A (ja) | 渦電流探傷検査方法及びシステム | |
| CN112798648B (zh) | 基于生成核主成分热影像分析的复合材料缺陷检测方法 | |
| Ratsakou et al. | Shape reconstruction of delamination defects using thermographic infrared signals based on an enhanced Canny approach | |
| Tang et al. | A novel approach for fracture skeleton extraction from rock surface images | |
| CN109636755B (zh) | 一种通过加权估计实现红外热图像增强的方法 | |
| Yan et al. | Multi-scale multi-intensity defect detection in ray image of weld bead | |
| CN109360145A (zh) | 一种基于涡流脉冲红外热图像拼接方法 | |
| Xiang et al. | Automated analysis of rotating probe multi-frequency eddy current data from steam generator tubes | |
| Jayasudha et al. | Weld defect segmentation and feature extraction from the acquired phased array scan images | |
| CN112508862B (zh) | 一种通过改进gan增强裂纹磁光图像的方法 | |
| Chen et al. | Wire Rope Damage Detection Based on Magnetic Leakage and Visible Light | |
| Liang et al. | Potential of eddy current pulsed thermography as a nondestructive testing method | |
| Zhang et al. | Quantitative nondestructive testing of broken wires for wire rope based on multi-image fusion | |
| Udpa et al. | Automated analysis of eddy current signals in steam generator tube inspection | |
| Zhang et al. | Nondestructive Testing of Steel Wire Rope Based on Gagnetic Signal and Infrared Information | |
| CN111028196B (zh) | 一种基于热图像时间序列特征的红外图像增强方法 | |
| Yu et al. | Si3N4 ceramic ball surface defects’ detection based on SWT and nonlinear enhancement | |
| Mohana Sundari et al. | Detection and segmentation of cracks in weld images using ANFIS classification method | |
| Rale et al. | Comparison of different ANN techniques for automatic defect detection in X-Ray images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |