CN112798648B - 基于生成核主成分热影像分析的复合材料缺陷检测方法 - Google Patents

Abstract

基于生成核主成分热影像分析的复合材料缺陷检测方法，属于复合材料热成像无损检测技术领域。它包括以下步骤：步骤1、获取复合材料的热影像数据集；步骤2、热影像数据的扩增和预处理：建立谱归一化生成对抗网络生成热图像；步骤3、建立核主成分分析模型：特征空间映射和投影矩阵计算；步骤4、图像重构与缺陷可视化；步骤5、模型表现评估。本发明采用基于生成对抗网络的数据扩增策略和基于核映射的非线性降维技术来分析具有非线性特性的热图像数据；在原始热影像数据较少的情况下生成与实验记录热图像分布相同的数据；采用核主成分热成像分析模型解决了热影像分析中缺陷和背景难以分离的问题，提高了缺陷的可见性。

Description

基于生成核主成分热影像分析的复合材料缺陷检测方法

技术领域

本发明属于复合材料热成像的无损检测技术领域，具体涉及基于生成核主成分热影像分析的复合材料缺陷检测方法。

背景技术

红外热像仪(IRT)具有响应快、测量范围广、结果直观等优点，被广泛应用于复合材料产品或结构的无损检测的质量评价中。但是，特别是在缺陷评估任务中，由于实验设置和环境的影响，IRT很难达到预期的检测结果。红外热像图中背景的不均匀性和噪声往往是影响检测精度和效率的主要因素。因此，采用数据分析方法来辅助提高IRT性能已成为普遍现象。

近年来，机器学习方法已经成功地解决了许多计算机视觉领域的问题，包括目标检测和图像分割，使得各种任务能够达到先进的效果。许多热成像数据分析方法已经开发为IRT缺陷识别，以提高在热像图缺陷的可见性。这些方法通过自己的框架设计，为缺陷定位和识别提供了解决方案，并在具体案例中进行了验证。其中，无监督线性降维技术—主成分分析热成像(PCT)方法及其扩展方法等可以看作是具有简单性和可扩展性的无监督线性度量学习，它们对提高红外热成像的缺陷检测性能起着重要的作用。

然而，由于复合材料的加热不均和热各向异性，红外热成像记录的数据往往是非线性的。这一特征的直接表现是热图像中背景和噪声的严重不均匀，掩盖了缺陷信息。因此，在缺陷识别的任务中非线性模型可能比线性模型表现得更好。目前的非线性热像数据分析方法依旧很少。热像数据的另一个特点是，它通常是与可见光数据集相比它是一个有限的数据集。单次测试仅产生几十个热图像，这通常限制了模型执行预期结果的能力。

发明内容

针对上述问题，本发明的目的在于提供一种基于非线性生成核主成分热成像(GKPCT)方法来提高缺陷的可见性，光谱归一化生成对抗网络(SNGAN)被嵌入到核主成分热成像(KPCT)框架中，训练产生与IRT记录具有相同分布的热图像数据，KPCT用于从热像数据中提取非线性特征。借助数据扩增的优势，GKPCT能够更准确地评估被检对象内部表面缺陷的几何属性，从而有助于缺陷的识别。

本发明提供如下技术方案：基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于：包括以下步骤：

步骤1、获取复合材料的热影像数据集：运行红外热成像IRT系统，工作闪光激发的热脉冲对试样进行加热，在热前沿接触实验试样的表面并穿过试样后，采用红外热相机记录试样表面的温度响应，提取到具有表观温度变化的区域即为热图像数据；

步骤2、热影像数据的扩增和预处理：建立谱归一化生成对抗网络SNGAN生成热图像：将在IRT检查记录的热图像作为训练样本，采用SNGAN生成仿真的热图像数据；将生成的热影像数据与原始的IRT实验数据合后作为建模数据进行预处理；

步骤3、建立核主成分分析模型：特征空间映射和投影矩阵计算：将步骤2预处理后的数据作为核主成分分析模型的训练数据，通过将其映射到高维特征空间实现线性可分，计算得到投影矩阵T；

步骤4、图像重构与缺陷可视化：投影矩阵T的每一列表示高维空间的数据在投影方向的主成分，将其重构成大小为n_x×n_y的二维矩阵，可视化后获得可识别到缺陷的主成分热图像；

步骤5、模型表现评估：采用评价指标评价该方法识别缺陷的能力。

所述的基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于所述步骤1中，红外影像数据集表示为维数为n_x×n_y×n_t的三维矩阵，其表示共采集到n_t帧n_x×n_y大小的热图像。

所述的基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于所述步骤2包括以下步骤：

步骤2.1：建立谱归一化生成对抗网络SNGAN生成热图像：SNGAN图像扩增的网络结构包括一个用于学习数据分布的生成器G和一个用于从目标中区分数据真假的判别器D，将G生成的图像送入D，同时对D的每一层进行频谱归一化，使权矩阵W^l满足Lipschitz约束算法σ(W^l)＝1：

其中：W^l表示第l层的权矩阵(l＝1，…，L)；

σ(W^l)为W^l的谱范数；

为谱归一化后的权矩阵。

直至判别器D无法鉴别生成器G产生的假热图像，SNGAN模型收敛，最终，训练好的SNGAN网络生成n_g张仿真热图像；

步骤2.2：将SNGAN生成的热影像数据与原始的IRT实验数据合后形成一个三维的热影像数据集，随后将三维数据集扩展成一个(n_t+n_g)×(n_x×n_y)的二维矩阵X以满足建模需要；为消除过程变量之间因量纲带来的差异性，先对矩阵X的每一行进行min-max归一化处理；再对X的每一列减去该列的平均值进行归一化处理，预处理后的矩阵仍记为X，两步归一化的公式如下：

行归一化公式如下：

其中：x'表示归一化后的图像样本(即矩阵的每一行)数据；

x表示通过摄像机记录的原始图像(即矩阵的每一行)；

x_min表示图像中的最小值；

x_max表示图像中的最大值；

列归一化公式如下：

其中：

表示列归一化后的数据；

x&表示矩阵X行归一化之后的列元素；

x_mean表示矩阵X行归一化之后的列元素均值。

所述的基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于所述步骤3包括以下步骤：

步骤3.1：特征空间映射：

将预处理后的二维矩阵X输入到核主成分分析热成像(KPCT)模型中，通过一个非线性映射Φ，所有数据被映射到高维特征空间H中，则高维空间数据的协方差矩阵为：

其中：x_i为原始数据的第i个样本；

Φ(x_i)为x_i在特征空间H中的样本；

m为样本个数，m＝n_x×n_y；

步骤3.2：投影矩阵T的计算：

定义一个m×m核矩阵K＝Φ(x)^TΦ(x)，则K的特征值分解表示为：

Kw＝λw

其中：λ为K的特征值矩阵，

w为对应的特征向量矩阵；

对上述的特征值分解等式进行恒等变形后带入K，得到：

该等式等价表述为：

S^H[Φ(x)w]＝λ[Φ(x)w]

则高维空间样本Φ(x)在投影方向上的分量为Φ(x)^TΦ(x)w，即投影矩阵T的计算公式为：

T＝Kw

选择高斯核函数计算得到K矩阵：

其中：x_i、x_j分别为原始数据的第i个和第j个样本；

η为高斯核的宽度；

所述的基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于所述步骤4中，投影矩阵T的每一列表示高维空间的数据在投影方向的主成分，此处将其重构成大小为n_x×n_y的二维矩阵，可视化后获得可识别到缺陷的主成分PC热图像；

所述的基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于所述步骤5中，采用信噪比SNR和Fisher准则J作为评价指标，评价提出方法识别缺陷的能力，其中：

信噪比评价SNR：信噪比是缺陷区域与非缺陷区域的对比，信噪比越高，该方法识别缺陷的能力越大，计算方法如下：

其中：M_def为缺陷区域像素值的均值；

M_in为非缺陷区域像素值的均值；

σ_in为非缺陷区域像素值的标准差；

J值评价：将Fisher准则引入热像分析领域，用于评价热像图中缺陷区域与完好区域的对比，J的定义如下：

其中：非缺陷区域的像素记录在一个类别中，缺陷区域的像素记录在另一个类别中，

S_def为热图缺陷区域像素的方差，

S_in为完好区域像素的方差；

根据LDA原则，J越大表示类间距离越大，类内距离越小，表明缺陷区域与完好区域的分离程度越高。

通过采用上述技术，与现有技术相比，本发明的有益效果如下：

本发明提出了一种非线性热成像数据分析和处理框架GKPCT，以促进红外热成像技术在缺陷检测中的应用；该方法采用数据扩增策略来扩增数据有限的红外数据集，且采用基于核映射的非线性降尺度技术来处理具有非线性特性的热图像；此外，还基于SNGAN的数据扩增策略和非线性降维很好地解决了热图像分析中经常遇到的缺陷和背景非线性难以分离的问题，提高了缺陷的可见性。

附图说明

图1为本发明检测方法的流程示意图；

图2为本发明的实验中碳纤维扩增聚合物(CFRP)试样内部缺陷区域示意图；

图3为本发明的PT检测系统及获取的热图序列；

图4为本发明中利用SNGAN生成的热图序列；

图5为本发明的GKPCT方法对CFRP试样内部缺陷分析结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

请参阅图1-5，一种基于生成核主成分热影像分析的复合材料缺陷检测方法，所述方法包括以下步骤：

(1)获取复合材料的热影像数据集

对人工制作的包含多个不同形状和深度的缺陷的CFRP试样进行IRT检测。运行脉冲热成像系统(PT)，该系统由一个3ms持续传输3200W能量的手电筒、一个红外摄像头(TAS-G100EXD，NEC)和一台计算机组成。在热前沿接触表面后，工作闪光激发的热脉冲穿过试样，对CFRP试样进行加热。通常，健康地区的表面温度会随着时间均匀下降。缺陷引起的次表面不连续会导致表面产生异常的温度响应。实验捕获了目标区域热分析图像，提取具有表观温度变化的区域。该红外影像数据集可以表示为维数为308×212×90的三维矩阵；

(2)热影像数据的扩增和预处理

步骤2.1：SNGAN生成网络G设置四个反卷积层，前三个层使用了直线单元(ReLU)激活函数来防止梯度蔓延，最后一层使用了tanh激活函数并进行批处理标准化。判别器D包含三个卷积层和一个全连接层，卷积层使用Leaky ReLU激活函数，在卷积过程中通过光谱归一化，在卷积后通过批处理归一化。所有卷积核大小设置为3×3，优化器选择Adam，并将学习率设置为0.0002。用于学习数据分布的生成器G将生成的图像送入判别器，用于从目标中区分数据真假的判别器D不断扩增自己分辨真伪的能力，这两者能力不断对抗，不断扩增能力。同时对D的每一层进行频谱归一化，使权矩阵W^l满足Lipschitz约束算法σ(W^l)＝1:

其中：W^l表示l层的权矩阵(l＝1，…，L)；

σ(W^l)为W^l的谱范数；

为谱归一化后的权矩阵。

直至判别器D无法鉴别生成器G产生的假热图像，SNGAN模型收敛。最终，训练好的SNGAN网络生成n_g张仿真热图像；

步骤2.2：由于三维矩阵KPCT不能直接解决，将其扩展成一个(90+80)×(312×208)的二维X矩阵。为消除过程变量之间因量纲带来的差异性，先对矩阵X的每一行进行min-max归一化处理；再对X的每一列减去该列的平均值进行归一化处理，预处理后的矩阵仍记为X。两步归一化的公式如下：

行归一化公式如下：

其中：x'表示归一化后的图像样本(即矩阵的每一行)数据；

x表示通过摄像机记录的原始图像(即矩阵的每一行)；

x_min表示图像中的最小值；

x_max表示图像中的最大值。

列归一化公式如下：

其中：

表示列归一化后的数据；

x&表示矩阵X行归一化之后的列元素；

x_mean表示矩阵X行归一化之后的列元素均值。

(3)建立核主成分分析模型：特征空间映射和投影矩阵计算

步骤3.1：特征空间映射：

将预处理后的二维矩阵X输入到核主成分分析热成像(KPCT)模型中，通过一个非线性映射Φ，所有数据被映射到高维特征空间H中，则高维空间数据的协方差矩阵为：

其中：x_i为原始数据的第i个样本；

Φ(x_i)为x_i在特征空间H中的样本；

m为样本个数，m＝n_x×n_y；

步骤3.2：投影矩阵T的计算：

定义一个m×m核矩阵K＝Φ(x)^TΦ(x)，则K的特征值分解可表示为：

Kw＝λw

其中：λ为K的特征值矩阵，

w为对应的特征向量矩阵。

对上述的特征值分解等式进行恒等变形后带入K，得到：

该等式也可表述为：

S^H[Φ(x)w]＝λ[Φ(x)w]

则高维空间样本Φ(x)在投影方向上的分量为Φ(x)^TΦ(x)w，即投影矩阵T的计算公式为:

T＝Kw

这里，求解T矩阵的关键是求解K矩阵，选择高斯核函数计算得到K矩阵：

其中：x_i、x_j分别为原始数据的第i个和第j个样本；

η为高斯核的宽度；

(4)图像重构与缺陷可视化

利用热影像数据在特征空间中的投影系数，对原始数据进行图像重构，得到原始数据的近似解。将矩阵T的每一列向量重构为大小为312×208的二维矩阵，得到6幅主成分PC热图像。

由于T的前几列是与较大特征值相对应的投影方向的主要分量，这在很大程度上保留了原始数据的固有特征。因此，重构PC图像只调查T的前6列。

(5)模型表现评估

步骤5.1：信噪比SNR评价

信噪比是缺陷区域与非缺陷区域的对比。信噪比越高，该方法识别缺陷的能力越大，计算方法如下:

其中：M_def为缺陷区域像素值的均值；

M_in为非缺陷区域像素值的均值；

σ_in为非缺陷区域像素值的标准差。

如表1所示，将本发明方法与传统方法计算所得的SNR进行对比。

步骤5.2：J值评价

J值用于评价热像图中缺陷区域与完好区域的对比。J越大表示类间距离越大，类内距离越小，表明缺陷区域与完好区域的分离程度越高。J的定义如下：

其中：S_def为热图缺陷区域像素的方差；

S_in为完好区域像素的方差。

如表2所示，将本发明方法与传统方法计算所得J值进行对比。

从上述对比结果可以看出，本发明方法的相比于传统方法有明显优势，具有良好的信息分离能力和缺陷识别能力。它是一种有效的热图像数据分析方法，有助于提高红外热成像对碳纤维布内部缺陷评估的能力。

表1

表2

本发明方法采用SNGAN对红外热影像数据进行扩充，结合非线性KPCT方法降维可视化，GKPCT模型提高了缺陷的清晰度和缺陷评估的准确性，同时也提高了检测效率，具有普遍性和通用性

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于：包括以下步骤：

步骤1、获取复合材料的热影像数据集：运行红外热成像IRT系统，工作闪光激发的热脉冲对试样进行加热，在热前沿接触实验试样的表面并穿过试样后，采用红外热相机记录试样表面的温度响应，提取到具有表观温度变化的区域即为热图像数据；

步骤2、热影像数据的扩增和预处理：建立谱归一化生成对抗网络SNGAN生成热图像：将在IRT检查记录的热图像作为训练样本，采用SNGAN生成仿真的热图像数据；将生成的热影像数据与原始的IRT实验数据合后作为建模数据进行预处理；具体步骤如下：

步骤2.1：建立谱归一化生成对抗网络SNGAN生成热图像：SNGAN图像扩增的网络结构包括一个用于学习数据分布的生成器G和一个用于从目标中区分数据真假的判别器D，将G生成的图像送入D，同时对D的每一层进行频谱归一化，使权矩阵W^l满足Lipschitz约束算法σ(W^l)＝1：

其中：W^l表示第l层的权矩阵，l＝1，…，L；

σ(W^l)为W^l的谱范数；

为谱归一化后的权矩阵；

直至判别器D无法鉴别生成器G产生的假热图像，SNGAN模型收敛，最终，训练好的SNGAN网络生成n_g张仿真热图像；

步骤2.2：将SNGAN生成的热影像数据与原始的IRT实验数据合后形成一个三维的热影像数据集，随后将三维数据集扩展成一个(n_t+n_g)×(n_x×n_y)的二维矩阵X以满足建模需要；为消除过程变量之间因量纲带来的差异性，先对矩阵X的每一行进行min-max归一化处理；再对X的每一列减去该列的平均值进行归一化处理，预处理后的矩阵仍记为X，两步归一化的公式如下：

行归一化公式如下：

其中：x'表示归一化后的图像样本数据；

x表示通过摄像机记录的原始图像；

x_min表示图像中的最小值；

x_max表示图像中的最大值；

列归一化公式如下：

其中：

表示列归一化后的数据；

表示矩阵X行归一化之后的列元素；

x_mean表示矩阵X行归一化之后的列元素均值；

步骤3、建立核主成分分析模型：特征空间映射和投影矩阵计算：将步骤2预处理后的数据作为核主成分分析模型的训练数据，通过将其映射到高维特征空间实现线性可分，计算得到投影矩阵T；具体步骤如下：

步骤3.1：特征空间映射：

将预处理后的二维矩阵X输入到核主成分分析热成像KPCT模型中，通过一个非线性映射Φ，所有数据被映射到高维特征空间H中，则高维空间数据的协方差矩阵为：

其中：x_i为原始数据的第i个样本；

Φ(x_i)为x_i在特征空间H中的样本；

m为样本个数，m＝n_x×n_y；

步骤3.2：投影矩阵T的计算：

定义一个m×m核矩阵K＝Φ(x)^TΦ(x)，则K的特征值分解表示为：

Kw＝λw

其中：λ为K的特征值矩阵，

w为对应的特征向量矩阵；

对上述的特征值分解等式进行恒等变形后带入K，得到：

该等式等价表述为：

S^H[Φ(x)w]＝λ[Φ(x)w]

则高维空间样本Φ(x)在投影方向上的分量为Φ(x)^TΦ(x)w，即投影矩阵T的计算公式为：

T＝Kw

选择高斯核函数计算得到K矩阵：

其中：x_i、x_j分别为原始数据的第i个和第j个样本；

η为高斯核的宽度；

步骤4、图像重构与缺陷可视化：投影矩阵T的每一列表示高维空间的数据在投影方向的主成分，将其重构成大小为n_x×n_y的二维矩阵，可视化后获得可识别到缺陷的主成分PC热图像；

步骤5、模型表现评估：采用评价指标评价该方法识别缺陷的能力。

2.根据权利要求1所述的基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于所述步骤1中，红外影像数据集表示为维数为n_x×n_y×n_t的三维矩阵，其表示共采集到n_t帧n_x×n_y大小的热图像。

3.根据权利要求1或2所述的基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于所述步骤4中，投影矩阵T的每一列表示高维空间的数据在投影方向的主成分，此处将其重构成大小为n_x×n_y的二维矩阵，可视化后获得可识别到缺陷的主成分PC热图像。

4.根据权利要求1或2所述的基于生成核主成分热影像分析的复合材料缺陷检测方法，其特征在于所述步骤5中，采用信噪比SNR和Fisher准则J作为评价指标，评价提出方法识别缺陷的能力，其中：

信噪比评价SNR：信噪比是缺陷区域与非缺陷区域的对比，信噪比越高，该方法识别缺陷的能力越大，计算方法如下：

其中：M_def为缺陷区域像素值的均值；

M_in为非缺陷区域像素值的均值；

σ_in为非缺陷区域像素值的标准差；

J值评价：将Fisher准则引入热像分析领域，用于评价热像图中缺陷区域与完好区域的对比，J的定义如下：

其中：非缺陷区域的像素记录在一个类别中，缺陷区域的像素记录在另一个类别中，

S_def为热图缺陷区域像素的方差，

S_in为完好区域像素的方差；

根据LDA原则，J越大表示类间距离越大，类内距离越小，表明缺陷区域与完好区域的分离程度越高。

Images