CN112508862A - 一种通过改进gan增强裂纹磁光图像的方法 - Google Patents
一种通过改进gan增强裂纹磁光图像的方法 Download PDFInfo
- Publication number
- CN112508862A CN112508862A CN202011304362.1A CN202011304362A CN112508862A CN 112508862 A CN112508862 A CN 112508862A CN 202011304362 A CN202011304362 A CN 202011304362A CN 112508862 A CN112508862 A CN 112508862A
- Authority
- CN
- China
- Prior art keywords
- magneto
- image
- optical image
- optical
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 32
- 230000007547 defect Effects 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 229910044991 metal oxide Inorganic materials 0.000 claims description 3
- 150000004706 metal oxides Chemical class 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000012634 optical imaging Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000005381 magnetic domain Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 239000006247 magnetic powder Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
- G01N27/72—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
- G01N27/82—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
- G01N27/90—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws using eddy currents
- G01N27/9006—Details, e.g. in the structure or functioning of sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Chemical & Material Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Biochemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Electrochemistry (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种通过改进GAN增强裂纹磁光图像的方法，先采集裂纹磁光图像并进行预处理，再对预处理后的磁光图像进行扩充，获取训练改进GAN模型的训练数据，然后对改进GAN模型进行训练，最后，将待测试件的磁光图像输入至改进GAN模型，通过内部的生成网络输出图像块并拼接，从而获取到具有高对比度的裂纹磁光图像，实现了缺陷增强。
Description
技术领域
本发明属于图像处理技术领域，更为具体地讲，涉及一种通过改进生成式对抗网络(GAN)增强裂纹磁光图像的方法。
背景技术
裂纹检测在预防由裂纹缺陷设施引起的偶发危险事件中起着极其重要的作用。随着现代工业科技的快速发展，工业中设施装备逐渐向着高精度发展，其对组件的安全性也有着极高的要求，裂纹的出现和扩展不仅会严重影响设施装备的性能，在扩展到一定程度后甚至会导致组件的断裂，引起设施的安全问题，从而造成极其严重的后果。因此有必要早期对工业组件进行裂纹的检测。
目前的无损检测技术主要包括射线检测、涡流检测、磁粉检测、超声检查等。射线检测检测成本高且存在安全问题；磁粉检测仅适合开口缺陷且检测过程复杂；超声检测需要耦合；综合来看，涡流检测因其检测速度快，操作难度低、多种多样的应用方式等优点受到广泛关注。导电试件上的裂纹信息与涡流产生的磁场有关。涡流路径上存在裂纹时，路径会发生改变，从而导致感应磁场的分布及强度大小的变化。由于裂纹处的涡流密度会高于非缺陷部分，其边缘的磁场强度也会更高，因此，磁场通常包含着缺陷的信息，通过检测磁场信息达到检测缺陷的目的。
随着涡流检测技术发展,其在简单缺陷的检出及空间定位方面都已经比较成熟，且逐渐向精确测量和成像检测方向发展。目前的涡流成像方像方法主要有涡流阵列成像、脉冲涡流热成像、涡流磁光成像等方法，其中涡流磁光成像检测方法在空间上的分辨率理论上与光子相同，属于最高分辨率的手段，相比来说精度最高。涡流磁光成像技术的主要原理在于当偏振光通过某种介质时，若此时在介质中注入相同方向的磁场，会观察到偏振的偏振角度进行偏转，磁场强度越强，则偏转角度越大。发生偏转后的偏振光通过检偏器后被成像装置收集，图像的光强便包含了磁场信号的强度信息。
由涡流磁光成像获取的图像与自然光学图像存在差异，而这些差异主要有如下几点：
1)图像数据量较小。在实验中，样本图像通过人工方法获取，因而可用于裂纹分析的图像数量有限甚至稀少。
2)图像不具有纹理特征。通常情况下，裂纹自然产生，导致其形状多种多样且不可预测。而且与自然光学图像相比较，磁光成像获取的图像并不稳定(多次对同一目标的成像具有差异性)。因此，无法基于纹理特征判断图像的裂纹。
3)“假性裂纹”与裂纹的像素值差异较小。涡流激励要求材料的导电性，受磁化场的影响，在磁场覆盖的试件部分会因激励磁场产生较多的“假性裂纹区域”。由于像素值相近，区分裂纹和“假性裂纹”的难度较高。
4)噪声对裂纹检测的精确性影响较大。从像素级区分裂纹与“假性”裂纹较为困难，甚至若裂纹区域与“假性裂纹”区域距离较近，噪音可能会导致两部分连接到一起，从而降低裂纹检测的准确性。
由上所述，磁光图像的成像质量及后期图像增强对裂纹的识别及定量分析中起着至关重要的作用。在磁光成像装置的成像质量优化方面，Park Unsang团队针对服役期长的旧飞机采用磁光无损检测技术对其进行探伤，实现了对焊接铆钉的可视化检测。为了优化磁光成像质量，提高检测精度，H.Ferrari团队针对“人”字型磁畴壁进行了成像研究。同时期，C.Holthaus团队，通过改进磁光成像装置，优化了磁光成像质量。该成果为磁光薄膜的改进提供了方向；针对磁光图像的成像的处理，电子科技大学程玉华团队田露露等人分别采用了主成分分析法对某幅磁光图像进行了裂纹提取取得了不错的效果。
从以上科研成果来看，目前少有学者针对磁光图像的缺陷识别进行研究，其发展处于初级阶段，急需合适的处理方法。尽管主成分分析法取得了一定的效果，但目前仍不能实现自动检测。可以预见的是，由于磁光图像其存在的无纹理、多噪声等特点导致的图像模糊及缺陷的不明显，传统的图像处理方法在磁光图像的增强方面会存在较大的挑战。图像的增强方法可分为基于空间域和基于频率域两类，前者在空域对图像的像素进行处理，后者通过将图像变换为频域对频谱进行操作再将其变换到空间域。基于空域的增强方法主要有灰度变换、直方图增强、图像平滑、锐化等。由于噪声区域与裂纹区域像素值极高的相似性，上述办法难以起到较好的效果滤除噪声。在频率域进行滤波时，通常采用特定通带的方法滤除噪声分量，但在磁光图像中噪声与缺陷区域在频域也没有明显的频率分布区别。此外，在图像处理领域通常采用边缘检测、阈值分割等方法进行图像的分割，但上述方法通常极其依赖人为选择参数，且不具有泛化能力，无法实现大批量图像的自动检测。因此，开展新的分析角度和方法，构建性能良好的泛化模型并完成对缺陷信息的有效检测有很大的研究意义。
发明内容
本发明的目的在于克服现有技术的不足，提供一种通过改进GAN增强裂纹磁光图像的方法，通过改进的GAN模型重建出高对比度磁光图像，从而实现裂纹的高精度检测。
为实现上述发明目的，本发明一种通过改进GAN增强裂纹磁光图像的方法，其特征在于，包括以下步骤：
(1)、获取磁光图像；
通过MOI检测装置获取包含不同类型裂纹缺陷试件的多幅磁光图像，构成磁光图像序列S，其中，每幅磁光图像的大小为M×N，M、N分别为磁光图像的长和宽；
(2)磁光图像的预处理
对每幅磁光图像进行灰度和归一化处理，得到磁光图像序列S1；然后再对磁光图像序列S1中每一帧磁光图像进行二值化处理，得到二值化图像序列S2，其中，二值化处理后，每一帧磁光图像中的缺陷区域的像素值为0，而非缺陷区域的像素值为1；
(3)、获取改进GAN模型的训练数据
(3.1)、在磁光图像序列S1中任意选取一帧磁光图像s，再在磁光图像s中随机选取m×n个像素点，对应的坐标标记为(i11，j11),(i12，j12)...(i1n,j1n),...,(im1,jm1),(im2,jm2)...(imn,jmn)，m＜M，n＜N；最后将这m×n个像素点按照原空间位置组成新磁光图像；
(3.2)、在磁光图像s对应二值化图像中，选出磁光图像s中选取的m×n个像素点，按照原空间位置组成新二值化图像；
(3.3)、重复步骤(3.1)、(3.2)共计K次，获得K组成对的磁光图像序列S3和二值化图像序列S4，并作为改进GAN模型的训练数据；
(4)、训练改进GAN模型
(4.1)、生成网络的预训练
(4.1.1)、从S3中选取k帧磁光图像作为自动编码器网络的输入，记为X，其输出记为F(X)；
(4.1.2)、计算自动编码器网络的损失函数；
其中，||*||F表示求F范数，Pdata表示输入X的分布，
表示求||X-F(X)||2的期望；
(4.1.3)、根据损失函数L梯度减小的方向更新迭代自动编码器网络；
(4.1.4)重复步骤(4.1.1)-(4.1.3)，迭代P次后，得到训练完成的自动编码器网络，然后作为改进GAN的生成网络G；
(4.2)、再次从S3中选取k帧磁光图像并作为生成网络G的输入，记为I，其输出记为G(I)；
(4.3)、从S4中选取步骤4.2中k帧磁光图像对应的k帧二值图像，记为Q,将Q及G(I)同时作为改进GAN模型中判别网络D的输入，其输出D(Q)、D(G(z))分别为判别网络判断输入Q及G(z)属于二值化图像序列S4的概率；。
(4.4)、根据概率值计算判别网络的损失函数值V(D)；
其中，Pt表示输入二值化图像Q的分布，Pc表示输入磁光图像的分布；
(4.5)、根据损失函数值V(D)梯度增大的方向更新判别网络，当更新完成后，将G(I)再次输入至更新后的判别网络，并根据输出结果D(G(I))判别G(I)属于二值化图像序列S4的概率；
(4.6)、根据概率值计算生成网络的损失函数值V(G)；
其中，λ1、λ2是平衡参数，||*||F表示求F范数；
(4.7)、根据损失函数值V(G)梯度减小的方向更新生成网络G；
(4.8)、重复步骤(4.1)-(4.7)，直到改进GAN模型收敛，从而得到训练完成的改进GAN模型；
(5)、利用改进的GAN进行图像增强
(5.1)、按照步骤(1)所述方法采集待测试件的磁光图像T，其大小为H×W，其中，H、W分别为磁光图像T的长和宽；
(5.2)、将磁光图像T转换成灰度图，再均分为
个图像块，若不能整除，则在灰度图的边缘补0，每个图像块大小为m×n；
(5.3)、从左至右按行依次将每个图像块送入至改进GAN模型，经生成网络输出每个图像块增强处理后的图像，再按照原顺序将所有的图像块拼接重建，获得缺陷增强后的裂纹磁光图像。
本发明的发明目的是这样实现的：
本发明一种通过改进GAN增强裂纹磁光图像的方法，先采集裂纹磁光图像并进行预处理，再对预处理后的磁光图像进行扩充，获取训练改进GAN模型的训练数据，然后对改进GAN模型进行训练，最后，将待测试件的磁光图像输入至改进GAN模型，通过内部的生成网络输出图像块并拼接，从而获取到具有高对比度的裂纹磁光图像，实现了缺陷增强。
同时，本发明一种通过改进GAN增强裂纹磁光图像的方法还具有以下有益效果：
(1)、本发明采用随机选取训练图像及二值化图像像素点的方法，生成成对的训练集数据，有效的扩充了数据量，从而增加了改进GAN模型的精准度，也有效解决了GAN训练需要大量的训练数据，且磁光图像数据不易获得的矛盾；
(2)、本发明采用随机选取的像素数据构成新数据用于GAN的训练，这样的意义在于：新图像的像素点仅包含了像素的灰度值信息，不含纹理或其他特征，因而训练完成后，GAN的生成器仅对输入图像像素值敏感，其特点在于使像素值小的像素变的更小，并增大像素值大的像素；
(3)、本发明对GAN的损失函数进行了改进，采用添加正则项的方式，对现有的生成式对抗网络进行改进，提高了GAN技术的性能，减少了泛化误差，并且增强了缺陷的对比度。
附图说明
图1是本发明一种通过改进GAN增强裂纹磁光图像的方法流程图；
图2是GAN数据扩充示意图；
图3是GAN本发明数据扩充过程图；
图4是训练图像及其归一化图像像素分布图；
图5是GAN测试过程示意图；
图6是普通GAN及本发明提出的GAN生成图像及阈值分割图像对比图；
图7是模板为1×1时GAN生成图像及其阈值分割后图像像素分布图；
图8是裂纹提取结果示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种通过改进GAN增强裂纹磁光图像的方法流程图。
在本实施例中，如图1所示，本发明一种通过改进GAN增强裂纹磁光图像的方法，包括以下步骤：
S1、获取磁光图像；
通过MOI检测装置获取包含不同类型裂纹缺陷试件的多幅磁光图像，构成磁光图像序列S，其中，每幅磁光图像的大小为M×N，M、N分别为磁光图像的长和宽；
S2、磁光图像的预处理
对每幅磁光图像进行灰度和归一化处理，得到磁光图像序列S1；然后再对磁光图像序列S1中每一帧磁光图像进行二值化处理，得到二值化图像序列S2，其中，二值化处理后，每一帧磁光图像中的缺陷区域的像素值为0，而非缺陷区域的像素值为1；
在本实施例中，用于训练的原参考图像大小为1761×1833，归一化后图像的像素值分布为0-1。经过经验方法处理后，其结果为包含噪声的二值化图像，其中裂纹区域及“假性裂纹”区域的像素值为1，无缺陷区域像素值为0。
S3、获取改进GAN模型的训练数据
S3.1、在磁光图像序列S1中任意选取一帧磁光图像s，再在磁光图像s中随机选取m×n个像素点，对应的坐标标记为(i11，j11),(i12，j12)...(i1n,j1n),...,(im1,jm1),(im2,jm2)...(imn,jmn)，m＜M，n＜N；最后将这m×n个像素点按照原空间位置组成新磁光图像；
S3.2、在磁光图像的对应二值化图像中，选出磁光图像s中选取的m×n个像素点，按照原空间位置组成新二值化图像；
S3.3、重复步骤S3.1、S3.2共计K次，获得K组成对的磁光图像序列S3和二值化图像序列S4，并作为改进GAN模型的训练数据；
在本实施例中，如图2所示，在磁光图像序列S1中任意选取一帧磁光图像作为参考图像，同时选取对应的二值图像，进行数据扩充。图3本描述了本发明数据扩充及训练的过程，磁光图像序列S1及其二值化后的二值图像序列S2大小均为1761×1833。扩充改进GAN模型样本数据时，从参考图像随机选取49个像素组成模板为7×7的磁光图像数据序列S3，同时在二值化图像中对应的空间位置选取像素构成二值图像序列S4。上述磁光图像与二值图像一一对应，共计60000组，其中S3中60000幅磁光图像作为生成网络的输入数据，而S4中二值图像用于判别网络的训练。
S4、训练改进GAN模型
S4.1、生成网络的预训练
S4.1.1、从S3中选取k帧磁光图像作为自动编码器网络的输入，记为X，其输出记为F(X)；
S4.1.2、计算自动编码器网络的损失函数；
其中，
表示求F范数的平方，Pdata表示输入X的分布，
表示求||X-F(X)||2的期望；
S4.1.3、根据损失函数L梯度减小的方向更新迭代自动编码器网络；
S4.1.4、重复步骤S4.1.1-S4.1.3，迭代P次后，得到训练完成的自动编码器网络，然后作为改进GAN的生成网络G；
S4.2、再次从S3中选取k帧磁光图像并作为生成网络G的输入，记为I，其输出记为G(I)；
S4.3、从S4中选取步骤S4.2中k帧磁光图像对应的k帧二值图像，记为Q,将Q及G(I)同时作为改进GAN模型中判别网络D的输入，其输出D(Q)、D(G(z))分别为判别网络判断输入Q及G(z)属于二值化图像序列S4的概率；。
S4.4、根据概率值计算判别网络的损失函数值V(D)；
其中，Pt表示输入二值化图像Q的分布，Pc表示输入磁光图像的分布；
S4.5、根据损失函数值V(D)梯度增大的方向更新判别网络，当更新完成后，将G(I)再次输入至更新后的判别网络，并根据输出结果D(G(I))判别G(I)属于二值化图像序列S4的概率；
S4.6、根据概率值计算生成网络的损失函数值V(G)；
其中，λ1、λ2是平衡参数，||*||F表示求F范数；
S4.7、根据损失函数值V(G)梯度减小的方向更新生成网络G；
S4.8、重复步骤S4.1-S4.7，直到改进GAN模型收敛，从而得到训练完成的改进GAN模型；
磁光图像的裂纹检测难点在于，“假性裂纹”与裂纹的像素值差异较小，由于像素值相近，区分裂纹和“假性裂纹”的难度较高且噪声对裂纹检测的精确性影响较大。在本实施例中，图4为测试磁光图像的像素值分布，其中4(a)为原始图像，4(b)由4(a)归一化得到。图4(c)(d)分别为(a)(b)的像素值分布，图中测试图像像素值分布主要有(I)背景区域、(II)裂纹区域、(III)模糊区域、(IV)其他区域，其中，背景区域灰度与另三个区域区别明显；其他区域中像素值较高；裂纹区域的像素值主要集中在低灰度；模糊区域占据着图像极大部分的像素数量，其包含无缺陷区域、噪音、缺陷。从以上四个区域的特点可知，背景区域与其他区域对缺陷的提取影响较小，而由于模糊区域包含着缺陷、噪音、非缺陷区域等多种像素分布，因此模糊区域是造成图像缺陷难以提取的主要原因。为增强图像对比度，提取裂纹缺陷的关键点在于增强模糊区域中裂纹与非裂纹的像素值差别，即减少模糊区域的像素点数量，使其集中于裂纹区域或其他区域。为实现上述目的，本发明采用在损失函数中添加正则项的方式。进一步分析，磁光图像中，裂纹区域灰度值较小，而无缺陷区域的灰度值较高，因此本发明采用的正则项其作用在于使得，GAN在输入低像素值图像时，生成像素值进一步减小的图像；在输入高像素值图像时，其生成像素值进一步增大的图像。为将GAN的输入与输出相联系，将输入图像I及生成图像G(I)共同作为正则项参数。正则项的效果是：在输入GAN的图像I像素值较小的情况下，正则项第一项将使得GAN生成像素值小的图像G(I)，此时第二项约束较小；在输入GAN的图像I像素值较大的情况下，正则项第二项将使得GAN生成像素值大的图像G(I)，此时第一项约束较小。由于本发明中用于GAN训练的图像具有像素点极少、无纹理规则等特点，因此GAN模型仅会对像素值敏感，进一步提高图像的增强效果。
S5、利用改进的GAN进行图像增强
S5.1、如图5所示，按照步骤S1所述方法采集裂纹宽度为1mm、深度为0.2mm的待测试件的磁光图像T，其大小为H×W，其中，H、W分别为磁光图像T的长和宽；
S5.2、将磁光图像T转换成灰度图，再均分为
个图像块，若不能整除，则在灰度图的边缘补0，每个图像块大小为m×n；
S5.3、从左至右按行依次将每个图像块送入至改进GAN模型，经生成网络输出每个图像块增强处理后的图像，再按照原顺序将所有的图像块拼接重建，获得缺陷增强后的裂纹磁光图像。
由于GAN的训练图像大小为7×7，因而测试图像同样被拆分为相同大小的图像依顺序经生成器生成新图像并进行重构，其过程示意图如图5所示。在本实施例中，采用普通GAN进行了两次实验，其输出图像如图6(a)(b)所示，图6(c)为采用了本发明提出的GAN损失函数得到的结果。由(a)(b)可以看出中仅仅采用普通GAN模型，其生成图像存在大量噪声，裂纹区域模糊不清，对裂纹图像并未起到增强的效果；对比(a)(b)(c),本发明方法得到的增强图像中非缺陷区域及缺陷区域区别明显，噪音大部分被抑制。图6(d)(e)(f)为上述(a)(b)(c)经过阈值分割后的图像，可以看出，普通GAN生成的图像即使通过过人为选取合适的阈值，也难以提取出裂纹，而图像(c)经过GAN的增强，模糊区域的像素减少，图像经过分割后缺陷清晰可见，仅存在部分噪声，便于后续处理。。
图6中已经初步体现了本发明提出的损失函数的对图像的增强作用，为进一步描述本发明所构建的生成对抗网络的效果，将训练数据改为1×1的单个像素点。上文中已经提到由于本发明中训练图像具有像素数量小、无纹理等特点，GAN对像素值大小极为敏感，因此，进一步降低模板大小，将会增强GAN的效果。训练完成后生成的重构图像及进行阈值分割后的二值化图像如图7(a)(b)所示，7(c)反映了(a)(b)中不同灰度的像素值数量。进一步减小了训练模板大小后，GAN模型生成的图像与其阈值分割后的图像极为相似,对比其像素分布，可以看出，GAN极大的减小了处于模糊区域的像素数量，从而使得原图像中裂纹的对比度有了显著的提高。而后，经后续滤波最终得到的结果为图8，清晰的提取到了裂纹。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (1)
1.一种通过改进GAN增强裂纹磁光图像的方法，其特征在于，包括以下步骤：
(1)、获取磁光图像；
通过MOI检测装置获取包含不同类型裂纹缺陷试件的多幅磁光图像，构成磁光图像序列S，其中，每幅磁光图像的大小为M×N，M、N分别为磁光图像的长和宽；
(2)磁光图像的预处理
对每幅磁光图像进行灰度和归一化处理，得到磁光图像序列S1；然后再对磁光图像序列S1中每一帧磁光图像进行二值化处理，得到二值化图像序列S2，其中，二值化处理后，每一帧磁光图像中的缺陷区域的像素值为1，而非缺陷区域的像素值为1；
(3)、获取改进GAN模型的训练数据
(3.1)、在磁光图像序列S1中任意选取一帧磁光图像s，再在磁光图像s中随机选取m×n个像素点，对应的坐标标记为(i11，j11),(i12，j12)...(i1n,j1n),...,(im1,jm1),(im2,jm2)...(imn,jmn)，m＜M，n＜N；最后将这m×n个像素点按照原空间位置组成新磁光图像；
(3.2)、在磁光图像s对应二值化图像中，选出磁光图像s中选取的m×n个像素点，按照原空间位置组成新二值化图像；
(3.3)、重复步骤(3.1)、(3.2)共计K次，获得K组成对的磁光图像序列S3和二值化图像序列S4，并作为改进GAN模型的训练数据；
(4)、训练改进GAN模型
(4.1)、生成网络的预训训练
(4.1.1)、从S3中选取k帧磁光图像作为自动编码器网络的输入，记为X，其输出记为F(X)；
(4.1.2)、计算自动编码器网络的损失函数；
其中，||*||F表示求F范数，Pdata表示输入X的分布，
表示求||X-F(X)||2的期望；
(4.1.3)、根据损失函数L梯度减小的方向更新迭代自动编码器网络；
(4.1.4)重复步骤(4.1.1)-(4.1.3)，迭代P次后，得到训练完成的自动编码器网络，然后作为改进GAN的生成网络G；
(4.2)、再次从S3中选取k帧磁光图像并作为生成网络G的输入，记为I，其输出记为G(I)；
(4.3)、从S4中选取步骤4.2中k帧磁光图像对应的k帧二值图像，记为Q,将Q及G(I)同时作为改进GAN模型中判别网络D的输入，其输出D(Q)、D(G(z))分别为判别网络判断输入Q及G(z)属于二值化图像序列S4的概率；。
(4.4)、根据概率值计算判别网络的损失函数值V(D)；
其中，Pt表示输入二值化图像Q的分布，Pc表示输入磁光图像的分布；
(4.5)、根据损失函数值V(D)梯度增大的方向更新判别网络，当更新完成后，将G(I)再次输入至更新后的判别网络，并根据输出结果D(G(I))判别G(I)属于二值化图像序列S4的概率；
(4.6)、根据概率值计算生成网络的损失函数值V(G)；
其中，λ1、λ2是平衡参数，||*||F表示求F范数；
(4.7)、根据损失函数值V(G)梯度减小的方向更新生成网络G；
(4.8)、重复步骤(4.1)-(4.7)，直到改进GAN模型收敛，从而得到训练完成的改进GAN模型；
(5)、利用改进的GAN进行图像增强
(5.1)、按照步骤(1)所述方法采集待测试件的磁光图像T，其大小为H×W，其中，H、W分别为磁光图像T的长和宽；
(5.2)、将磁光图像T转换成灰度图，再均分为
个图像块，若不能整除，则在灰度图的边缘补0，每个图像块大小为m×n；
(5.3)、从左至右按行依次将每个图像块送入至改进GAN模型，经生成网络输出每个图像块增强处理后的图像，再按照原顺序将所有的图像块拼接重建，获得缺陷增强后的裂纹磁光图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011304362.1A CN112508862B (zh) | 2020-11-19 | 2020-11-19 | 一种通过改进gan增强裂纹磁光图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011304362.1A CN112508862B (zh) | 2020-11-19 | 2020-11-19 | 一种通过改进gan增强裂纹磁光图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508862A true CN112508862A (zh) | 2021-03-16 |
| CN112508862B CN112508862B (zh) | 2022-03-25 |
Family
ID=74958922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011304362.1A Active CN112508862B (zh) | 2020-11-19 | 2020-11-19 | 一种通过改进gan增强裂纹磁光图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508862B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255738A (zh) * | 2021-05-06 | 2021-08-13 | 武汉象点科技有限公司 | 一种基于自注意力生成对抗网络的异常图像检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
| US20190333219A1 (en) * | 2018-04-26 | 2019-10-31 | Elekta, Inc. | Cone-beam ct image enhancement using generative adversarial networks |
| CN110494894A (zh) * | 2017-04-07 | 2019-11-22 | 科磊股份有限公司 | 基于轮廓的缺陷检测 |
| CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
| CN111833300A (zh) * | 2020-06-04 | 2020-10-27 | 西安电子科技大学 | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 |
| CN111833359A (zh) * | 2020-07-13 | 2020-10-27 | 中国海洋大学 | 基于生成对抗网络的脑瘤分割数据增强方法 |
-
2020
- 2020-11-19 CN CN202011304362.1A patent/CN112508862B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110494894A (zh) * | 2017-04-07 | 2019-11-22 | 科磊股份有限公司 | 基于轮廓的缺陷检测 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| US20190333219A1 (en) * | 2018-04-26 | 2019-10-31 | Elekta, Inc. | Cone-beam ct image enhancement using generative adversarial networks |
| CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
| CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
| CN111833300A (zh) * | 2020-06-04 | 2020-10-27 | 西安电子科技大学 | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 |
| CN111833359A (zh) * | 2020-07-13 | 2020-10-27 | 中国海洋大学 | 基于生成对抗网络的脑瘤分割数据增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| WANG J ET AL: "《CA-GAN：Class-Condition Attention GAN for Underwater Image Enhancement》", 《IEEE》 * |
| 凌铖: "《基于生成对抗网络的医学图像数据增强技术研究》", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255738A (zh) * | 2021-05-06 | 2021-08-13 | 武汉象点科技有限公司 | 一种基于自注意力生成对抗网络的异常图像检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508862B (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
| CN111325748B (zh) | 一种基于卷积神经网络的红外热像无损检测方法 | |
| CN101221150B (zh) | 用于检查具有复杂几何形状的部件的多频率图像处理 | |
| CN112699912B (zh) | 一种通过改进gan增强红外热图像的方法 | |
| CN112329588B (zh) | 一种基于Faster R-CNN的管道故障检测方法 | |
| Lin et al. | Welding defect detection based on local image enhancement | |
| CN110598613B (zh) | 一种高速公路团雾监测方法 | |
| CN112085734B (zh) | 一种基于gan的图像修复的缺陷检测方法 | |
| Xiao et al. | Development of a CNN edge detection model of noised X-ray images for enhanced performance of non-destructive testing | |
| CN110660021A (zh) | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 | |
| CN115170529A (zh) | 基于注意力机制的多尺度微小瑕疵检测方法 | |
| CN112215803A (zh) | 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 | |
| CN114549446A (zh) | 一种基于深度学习的气缸套缺陷标检测方法 | |
| CN116309483A (zh) | 基于ddpm的半监督变电设备表征缺陷检测方法及系统 | |
| CN112508862B (zh) | 一种通过改进gan增强裂纹磁光图像的方法 | |
| Yang et al. | Crack identification of automobile steering knuckle fluorescent penetrant inspection based on deep convolutional generative adversarial networks data enhancement | |
| CN114428110A (zh) | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| CN111325724B (zh) | 隧道裂纹区域检测方法和装置 | |
| CN112614113A (zh) | 一种基于深度学习的带钢缺陷检测方法 | |
| Sahasrabudhe et al. | Structured spatial domain image and data comparison metrics | |
| CN107993193A (zh) | 基于光照均衡化和改进surf算法的隧道衬砌图像拼接方法 | |
| Yang et al. | Weld Defect Cascaded Detection Model Based on Bidirectional Multi-scale Feature Fusion and Shape Pre-classification | |
| CN112581467B (zh) | 一种基于疑似危险品评价的智能安检方法 | |
| CN115761606A (zh) | 基于图像处理的箱体电能表识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |