CN111325748A - 一种基于卷积神经网络的红外热像无损检测方法 - Google Patents

Abstract

一种基于卷积神经网络的红外热像无损检测方法，属于图像识别领域。现有的目前卷积神经网络的无损检测未能在红外成像上应用的问题。一种基于卷积神经网络的红外热像无损检测方法，包括如下步骤：布置红外图像数据采集场景，采集待测物的具有缺陷的红外图像；对采集到的待测物的具有缺陷的红外图像进行增强和降噪处理，完成预处理过程；利用预处理后的待测物的具有缺陷的红外图像，进行数据集增广及构建；融合VGG16和DenseNet169网络的模型，并利用数据集对该融合模型进行训练和测试识别；利用融合的网络模型，对待测物的具有缺陷的红外图像中的缺陷进行识别及检测。本发明检测方法的识别精度达到98.5％。

Description

一种基于卷积神经网络的红外热像无损检测方法

技术领域

本发明涉及一种基于卷积神经网络的红外热像无损检测方法。

背景技术

近年来，深度学习算法在图像分类、模式识别、目标检测等领域表现卓越。通过将卷积神经网络这种基于计算机视觉的前沿算法应用到无损检测技术中，不仅可以验证其可行性、适用性，还可以为目视检测和其他无损检测技术提供新思路，对无损检测技术的发展具有重要意义。

卷积神经网络与无损检测相结合可以提高检测性能，并且可以对缺陷进行快速、实时、准确的检测。但是目前卷积神经网络的无损检测主要是在可见光图像、电磁超声检测等方面，在红外热成像的应用很少。

发明内容

本发明的目的是为了解决现有的目前卷积神经网络的无损检测未能在红外成像上应用的问题，而提出一种基于卷积神经网络的红外热像无损检测方法。

一种基于卷积神经网络的红外热像无损检测方法，所述方法包括以下步骤：

步骤一、布置红外图像数据采集场景，采集待测物的具有缺陷的红外图像；

步骤二、对采集到的待测物的具有缺陷的红外图像进行增强和降噪处理，完成预处理过程；

步骤三、利用预处理后的待测物的具有缺陷的红外图像，进行数据集增广及构建；

步骤四、融合VGG16和DenseNet169网络的模型，并利用步骤三的数据集对该融合模型进行训练和测试识别；

步骤五、利用融合的网络模型，对待测物的具有缺陷的红外图像中的缺陷进行识别及检测。

本发明的有益效果为：

传统的检测手动检测为主，面对目前大面积材料制造主体，不仅检测效率低下，而且由环境引起的材料结构内部积水、紧贴型脱粘等损伤，传统检测工艺受到很大局限。

红外无损检测作为一种非接触的检测手段，具有快速、无损、非接触、无需耦合、实时、检测范围大和直观等优点。可以在完全无光的夜晚，或是在雨、雪等烟云密布的恶劣环境，能够清晰地观察到所需监控的物体。

卷积神经网络与红外无损检测相结合可以提高检测性能，可以对缺陷进行快速、实时、准确的检测，并且可以达到自动检测双面缺陷的效果。

通过对抗生成网络(GAN)解决小样本难以训练卷积神经网络问题。

提出了一种多模型融合的红外图像缺陷检测方法，提高了缺陷检测的正确率。针对目前流行的卷积神经网络VGG16块与块之间采用最大池化，会丢失原始图像一部分特征，很难保留图像细微特征，提出一种多网络模型融合的检测方法。在VGG16网络的基础上引入DenseNet169网络，DenseNet每一层和其它层进行直连接，确保网络层中各层之间最大的信息，且每一层都能直接从损失函数和原始输入信号中获得梯度，能够避免图像细微特征的丢失，除此之外，DenseNet这种密集连接的方式有助于训练更深的网络架构且减少在小规模数据集上任务的过拟合问题。通过该模型融合的方法，能够使融合网络既保留VGG16网络通过采用堆叠3*3卷积核引入多层非线性以保证学习更复杂模式的优点，又能通过引入的DenseNet网络弥补VGG16网络块与块间使用最大池化丢失细节特征的缺点，使网络提取到更丰富及细微的特征。通过实验，采用该多模型融合方法，使缺陷检测的正确率丛97％提高到98.5％。

本发明是红外热成像技术是一种被动式的非接触的检测与识别，隐蔽性好。红外热成像技术不受电磁干扰，能远距离精确跟踪热目标，精确制导。红外热成像技术能真正做到24h全天候监控，红外辐射是自然界中存在最为广泛的辐射，而大气、烟云等可吸收可见光和近红外线，但是对3～5μm和8～14μm的红外线却是透明的，这两个波段被称为红外线的“大气窗口”。因此，利用这两个窗口，可以在完全无光的夜晚，或是在雨、雪等烟云密布的恶劣环境，能够清晰地观察到所需监控的目标。正是由于这个特点，红外热成像技术能真正做到24h全天候监控。

本发明网络模型所需要的训练时间短。且当训练batch size约为80个epoch时，模型稳定。验证集的预测准确性保持稳定。验证集的最终识别精度达到98.5％。

附图说明

图1为本发明方法的流程图；

图2为生成对抗网络示意图；

图3为融合的多模型整体架构图示；

图4为训练集模型损失值；

图5为验证集模型预测精度；

图6为随机输入第一组训练集里没有的图像进行测试结果图；

图7为随机输入第二组训练集里没有的图像进行测试结果图；

图8为随机输入第三组训练集里没有的图像进行测试结果图；

图9孔径为11mm，孔深对应表2的测试；

图10孔径为10mm，孔深对应表2的测试；

图11孔径为9mm，孔深对应表2的测试；

图12孔径为7mm，孔深对应表2的测试；

图13孔径为5mm，孔深对应表2的测试；

图14孔径为3mm，孔深对应表2的测试；

图15孔径为2mm，孔深对应表2的测试。

具体实施方式

具体实施方式一：

本实施方式的一种基于卷积神经网络的红外热像无损检测方法，如图1所示，所述方法通过以下步骤实现：

步骤一、布置红外图像数据采集场景，采集待测物的具有缺陷的红外图像；

步骤二、对采集到的待测物的具有缺陷的红外图像进行增强和降噪处理，完成预处理过程；

步骤三、利用预处理后的待测物的具有缺陷的红外图像，进行数据集增广及构建；

步骤四、融合VGG16和DenseNet169网络的模型，并利用步骤三的数据集对该融合模型进行训练和测试识别；

步骤五、利用融合的网络模型，对待测物的具有缺陷的红外图像中的缺陷进行识别及检测。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，步骤二所述的对采集到的待测物的具有缺陷的红外图像进行增强和降噪处理，完成预处理过程，具体为：

首先，对采集到的红外图像计算绝对对比度、变化对比度、归一化对比度、标准对比度和差分绝对对比度的多对比度联合图像，以增强红外图像中缺陷部分；

另外，使用小波变换阈值去噪声，去除图像中存在的加热不均匀、噪声和畸形。由于红外成像系统容易受到干扰，并且图像中会存在加热不均匀的情况，与可见光图像相比，噪声更大，红外探测本身属于微弱信号检测，弱信号检测的难度之一正是降噪问题，高斯噪声和椒盐噪声是热成像噪声中出现较多的噪声，热成像降噪是一个将长期存在的问题。因此在对计算对比度后的图像使用小波变换阈值去噪声，去除图像中存在的加热不均匀以及噪声。

从而消除图像采集过程中，由于操作不当、重构方法不当或外界环境引入的噪声或者图像的畸形。

具体实施方式三：

与具体实施方式二不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，所述的使用小波变换阈值去噪声，去除图像中存在的加热不均匀、噪声和畸形的过程为：

首先，将红信号分解；

然后，根据信号在经过小波变换后能量具有集中性，即通常集中在较大的小波系数这一特性，想要获得信号就要分别针对高、低分辨率下的小波系数进行分别处理，保留大尺度低分辨率的小波系数；对于其余尺度中的高分辨对应的小波系数不能直接决定去留，需要设定一个阈值，将这些小波系数幅值与该阈值作比较，保留或采用其他处理方式对高于阈值的小波系数进行处理，而幅值比阈值低的小波系数将其置零；其中，采用其他处理方式对高于阈值的小波系数的方法例如是收缩处理；

最后，将高于阈值的小波系数组合在一起进行重构，这样就可以得到去噪后的信号；

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，所述的确定阈值的过程为，阈值函数表示对超过和低于该阈值的处理方式，目前常用的阈值函数有硬阈值函数和软阈值函数，硬阈值函数是绝对值高于阈值的小波系数保持不变，低于阈值的小波系数置零，软阈值函数是将保留的小波系数进行收缩；对于阈值的选取，一般来说有全局和局部之说，全局就是统一的，针对各层或同一层，而局部阈值则是针对小波变换后的系数的局部特征来确定的，目前较常用的几种阈值是：VisuShrink阈值、BayesShrink阈值、SureShrink阈值、Minimax阈值、HeurSure阈值、GCV阈值。

具体实施方式五：

与具体实施方式四不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，步骤三所述的利用预处理后的待测物的具有缺陷的红外图像，进行数据集增广及构建，具体为：

对预处理后的图像进行统一尺寸的剪裁，并且使用生成式对抗网络(GenerativeAdversarial Nets,GAN)对采集到的已有原始红外图像数据做数据增广，生成更多的红外图像，并将这些图像和原始红外图像混合，以此扩充带有缺陷的红外图像数据集。

以得到卷积神经网络训练所需要的大量数据样本。

若利用较小的有限数据集，会导致训练出来的卷积神经网络可能测试集的正确率低：采用生成对抗网络(GAN)进行数据增广，弥补上述问题。

本发明采用生成式对抗网络进行数据增强扩充数据集的大小，从而解决小样本数据集难以训练卷积神经网络的问题。

生成对抗网络示意图如图2所示(图中LOSS表示损失)，从图中可以看到，首先，设计包括生成器模型和判别器模型两部分的生成式对抗网络，生成器模型主要用来学习真实图像数据的分布，生成器模型的输入是一个随机初始化的噪声，噪声通过生成器模型后生成一张假的图像，目的是使生成器模型生成的假图像尽可能地像真实的数据集图像，达到以假乱真的效果；另一部分是判别器模型，接受真实数据集中的图片和生成器模型生成的假图像，判别器模型是一个二分类模型，目的是尽可能地区分输入的图片是来至于真实数据集还是生成的假图片，生成器要尽可能生成以假乱真的图片去欺骗判别器模型，而判别器模型要就可能地区分真假图片；

其次，在这个动态博弈的过程中，整个网络不断地进行优化；

最后，当判别器对于一张输入的判别结果为0.5时，表示判别器无法区分图片的来源，此时达到纳什平衡，说明设计的生成式对抗网络模型可以生成以假乱真的图片，

生成式对抗网络的目标函数为：

具体实施方式六：

与具体实施方式五不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，与具体实施方式七不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，步骤四所述的融合VGG16和DenseNet169网络的模型，并利用步骤三的数据集对该融合模型进行训练和测试识别的步骤，并利用融合VGG16和DenseNet169网络的模型，提取到缺陷图像更多的细节特征，从而实现对缺陷的可靠检测，其中，搭建出的融合卷积神经网络模型的方法为：

针对VGG16使用块与块之间采用最大池化，会丢失原始图像一部分特征，很难保留图像细微特征。提出一种多网络模型融合的检测方法。在VGG16网络的基础上引入DeseNet169网络，DenseNet每一层和其它层进行直连接，确保网络层中各层之间最大的信息，且每一层都能直接从损失函数和原始输入信号中获得梯度，能够避免铝材瑕疵图像重要特征的丢失。

同时，DenseNet的密集连接有一种正则化的效果，这有助于减小在小规模数据集上的任务的过拟合问题。考虑到小样本空间下2个网络融合造成的训练困难问题，且采用迁移学习方法，能够很好的将预训练好的VGG16和Densenet169模型的特征提取层。

提出的多模型融合缺陷检测方法主要分为多模型网络融合和多模型网络训练2个部分，整体架构如图3所示。

第一，利用迁移学习的方法将预训练VGG16网络特征提取器和DenseNet169网络特征提取器结构后分别接一个全局池化平均层，解决两个网络特征提取器输出的特征图尺寸不一致问题；

第二，将两个网络全局池化平均层的输出Concatenate，重新构造承担整个模型输出分类工作的全连接层，采用两层全连接层，用随机失活(dropout)的方法减少模型的过拟合，提高模型的鲁棒性；

第三，采用随机初始化全连接层参数的方式，对融合后的模型进行训练；

第四，将需要测试的图片输入网络进行测试。

具体实施方式七：

与具体实施方式六不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，并利用步骤三的数据集对该融合模型进行训练和测试识别的步骤中，训练卷积神经网络可能导致欠拟合或过拟合，所以采用正则化及droupout方法。

由于数据集是图片构成，在进行神经网络的训练过程中存在耗时长的问题，所以需要采用GPU来对神经网络的训练过程加速。且训练过程中将数据划分为批(batch)进行处理，一个batch为一个单元，大小为batch size，batch size的值的范围为60-100。

具体实施方式八：

与具体实施方式七不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，步骤一所述的布置红外图像数据采集场景，采集待测物的具有缺陷的红外图像，具体为：

搭建红外成像系统，并利用使用搭建好的红外成像系统对待测物的红外图像进行采集，并保存这些图像数据以作为后续步骤的数据集。

具体实施方式十：

与具体实施方式一、二、四、六或八不同的是，本实施方式的一种基于卷积神经网络的红外热像无损检测方法，以一定尺寸将图像中的缺陷部分截取出来，作为数据集图像，截取出1350张图像作为数据集，其中750张包含缺陷，而600张不包含缺陷，根据5:1的比例将1350张图像分为训练集和验证集。

实施例1：

一种基于卷积神经网络的红外热像无损检测方法，包括如下过程：

1.数据集构建

以一定尺寸将待检测物的红外图像中的缺陷部分截取出来，作为数据集图像。截取出1350张图像作为数据集，其中750张包含缺陷，而600张不包含缺陷。根据5:1的比例将1350张图像分为训练集和验证集。

2.网格训练

利用融合VGG16和DenseNet169网络的模型。

2.1卷积神经网络

作为深度学习的模型结构，是专门设计用于识别二维形状的深度学习多层感知器，在结构上，它主要由单个或多个卷积层和池化层组成。由于其重量共享和局部感觉，它具有比其他深度学习模型更有效地提取特征的能力。

通常，卷积过程如等式

公式中，l代表层数，w代表卷积核，M_j代表选择的特征图，b是权重。

最大池化被用在池化层，如公式

2.2结构参数

利用融合的VGG16和Densenet169网络的模型，主要结构图如图3所示。本发明使用的卷积神经网络由两部分组成。原始图像resize为224*224输入。Bathsize＝64，初始学习率lr＝0.00001。

训练过程中训练集模型损失值随迭代次数的关系曲线如图4所示，验证集的预测正确率随迭代次数的关系曲线如图5所示。

实验结果表明，模型的损失值在训练前迅速降低，预测精度也迅速提高。当训练约为80个epoch时，模型稳定。验证集的预测准确性保持稳定。验证集的最终识别精度达到98.5％。

3.测试

随机输入一些训练集里没有的图像进行测试。

括号里面为真实label，括号外的为预测的label。flaw组表示预测正确，non flaw组表示预测错误。如图6、图7、图8所示的三组训练集里没有的图像进行测试结果图；

从图6、图7、图8可以看出大部分图像都预测正确。且有的肉眼看不明的缺陷也能正确预测。接下来分析预测错误的图片，发现预测错误的图片大多为孔径为2mm的图片，2mm孔径下各种孔径深度的图片都预测错误。接下来对板块孔径分别为2mm、3mm、5mm、7mm、9mm、10mm、11mm，每块板子孔深分别为下表1的缺陷进行测试。

表1孔名对应的孔深

孔名	孔深
		1	2.4mm
2	2mm
		3	1.8mm
4	1.6mm
		5	1.4mm
6	1.2mm
		7	1mm
8	0.8mm
		9	0.5mm

通过以上的测试可以看出，如图9-15所示，该网络能够正确预测孔径大于5mm且孔深大于0.5mm的缺陷，且对于图像上肉眼不容易分辨的缺陷也能正确预测。但对孔径为2mm、3mm的预测准确率不高，或许通过分辨率更高的红外热像仪可以解决该问题。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于卷积神经网络的红外热像无损检测方法，其特征在于：所述方法通过以下步骤实现：

步骤一、布置红外图像数据采集场景，采集待测物的具有缺陷的红外图像；

步骤二、对采集到的待测物的具有缺陷的红外图像进行增强和降噪处理，完成预处理过程；

步骤三、利用预处理后的待测物的具有缺陷的红外图像，进行数据集增广及构建；

步骤四、融合VGG16和DenseNet169网络的模型，并利用步骤三的数据集对该融合模型进行训练和测试识别；

步骤五、利用融合的网络模型，对待测物的具有缺陷的红外图像中的缺陷进行识别及检测。

2.根据权利要求1所述一种基于卷积神经网络的红外热像无损检测方法，其特征在于：步骤二所述的对采集到的待测物的具有缺陷的红外图像进行增强和降噪处理，完成预处理过程，具体为：

首先，对采集到的红外图像计算绝对对比度、变化对比度、归一化对比度、标准对比度和差分绝对对比度的多对比度联合图像，以增强红外图像中缺陷部分；

另外，使用小波变换阈值去噪声，去除图像中存在的加热不均匀、噪声和畸形。

3.根据权利要求2所述一种基于卷积神经网络的红外热像无损检测方法，其特征在于：所述的使用小波变换阈值去噪声，去除图像中存在的加热不均匀、噪声和畸形的过程为：

首先，将红外热图像分解；

然后，分别针对分解后的高、低分辨率下的小波系数进行分别处理，保留大尺度低分辨率的小波系数；对于其余尺度中的高分辨对应的小波系数设定一个阈值，将这些小波系数幅值与该阈值作比较，保留或采用其他处理方式对高于阈值的小波系数进行处理，而幅值比阈值低的小波系数将其置零；其中，采用其他处理方式对高于阈值的小波系数的方法例如是收缩处理；

最后，将高于阈值的小波系数组合在一起进行重构，这样就可以得到去噪后的信号。

4.根据权利要求3所述一种基于卷积神经网络的红外热像无损检测方法，其特征在于：所述的阈值包括全局和局部，全局是针对各层或同一层，而局部阈值是针对小波变换后的系数的局部特征来确定的，常用的几种阈值是：VisuShrink阈值、BayesShrink阈值、SureShrink阈值、Minimax阈值、HeurSure阈值、GCV阈值。

5.根据权利要求1、2、3或4所述一种基于卷积神经网络的红外热像无损检测方法，其特征在于：步骤三所述的利用预处理后的待测物的具有缺陷的红外图像，进行数据集增广及构建，具体为：

首先，设计包括生成器模型和判别器模型两部分的生成式对抗网络，生成器模型的输入是一个随机初始化的噪声，噪声通过生成器模型后生成一张假的图像，使生成器模型生成的假图像尽可能地像真实的数据集图像；另一部分是判别器模型，接受真实数据集中的图片和生成器模型生成的假图像，判别器模型是一个二分类模型，目的是尽可能地区分输入的图片是来至于真实数据集还是生成的假图片，生成器要尽可能生成以假乱真的图片去欺骗判别器模型，而判别器模型要就可能地区分真假图片；

其次，在这个动态博弈的过程中，整个网络不断地进行优化；

最后，当判别器对于一张输入的判别结果为0.5时，表示判别器无法区分图片的来源，此时达到纳什平衡，说明设计的生成式对抗网络模型可以生成以假乱真的图片，

生成式对抗网络的目标函数为：

6.根据权利要求5所述一种基于卷积神经网络的红外热像无损检测方法，其特征在于：步骤四所述的融合VGG16和DenseNet169网络的模型，并利用步骤三的数据集对该融合模型进行训练和测试识别的步骤，并利用融合VGG16和DenseNet169网络的模型，提取到缺陷图像更多的细节特征，从而实现对缺陷的可靠检测，其中，搭建出的融合卷积神经网络模型的方法为：

第一，利用迁移学习的方法将预训练VGG16网络特征提取器和DenseNet169网络特征提取器结构后分别接一个全局池化平均层，解决两个网络特征提取器输出的特征图尺寸不一致问题；

第二，将两个网络全局池化平均层的输出Concatenate，重新构造承担整个模型输出分类工作的全连接层，采用两层全连接层，用随机失活的方法减少模型的过拟合，提高模型的鲁棒性；

第三，采用随机初始化全连接层参数的方式，对融合后的模型进行训练；

第四，将需要测试的图片输入网络进行测试。

7.根据权利要求6所述一种基于卷积神经网络的红外热像无损检测方法，其特征在于：并利用步骤三的数据集对该融合模型进行训练和测试识别的步骤中，采用正则化及droupout方法。

8.根据权利要求1、2、3、4、6或7所述一种基于卷积神经网络的红外热像无损检测方法，步骤一所述的布置红外图像数据采集场景，采集待测物的具有缺陷的红外图像，具体为：

搭建红外成像系统，并利用使用搭建好的红外成像系统对待测物的红外图像进行采集，并保存这些图像数据以作为后续步骤的数据集。

Images