CN109872319A - 一种基于特征挖掘和神经网络的热图像缺陷提取方法 - Google Patents

Abstract

本发明公开了一种基于特征挖掘和神经网络的热图像缺陷提取方法，通过选取热图像序列中的步长将图像分块，并根据分块去除冗余信息，提取代表性瞬态热响应。本发明利用特征提取公式对瞬态热响应的总热量、吸热阶段的温度变化率、放热阶段的温度变化率、温度均值、温度峰值这些特征进行提取，并根据所提取出的特征，构建神经网络，并将瞬态热响应分类，然后，对三维矩阵进行变换，得到含有缺陷区域的二维图像，最后采用模糊C均值算法对含有缺陷区域的二维图像进行聚类和二值化，得到最终的缺陷图像，从而提取出热图像的缺陷特征。本发明通过深层次挖掘瞬态热响应曲线所包含的物理信息，提高了聚类的合理性，从而提高了缺陷提取的精准度。

Description

一种基于特征挖掘和神经网络的热图像缺陷提取方法

技术领域

本发明属于缺陷检测技术领域，更为具体地讲，涉及一种基于特征挖掘和神经网络的热图像缺陷提取方法。

背景技术

红外热成像技术已广泛应用于汽车工业、造船业、石油化工工业以及航空航天领域，它能够有效的用于对缺陷的无损检测技术。其优势在于无需直接接触待检测试件，检测时间短等。

红外热图像检测技术通过控制热激励方法和测量材料表面的温场变化获取材料表面及其表面以下的结构信息，从而达到检测的目的。在获取结构信息时，常常用到红外热像仪记录试件表面或者亚表面随时间变化的温场信息，并将其转换为热图像序列呈现出来。由于用红外热像仪得到的热图像序列的数据量巨大，噪声干扰强，为了获得更好的检测效果，需要对热图像序列进行特征提取。

在处理热图像序列时，有基于单帧图像处理的方法，也有基于图像序列处理的方法。基于单帧图像处理的方法只考虑了试件在某一个时刻的温度分布信息，并不能体现试件在不同时刻的温度情况，得到的处理结果是不完整的，片面的。因此基于图像序列处理的方法得到了广泛的关注与研究。

红外热成像检测最常采用的是涡流热成像。根据电磁感应定律，当通入高频的交变电流的感应线圈靠近导体试件(简称试件)时，在试件的表面会感生出涡流。如果试件中有缺陷，涡流将被迫绕过缺陷，改变其流向，这将使得被测件内部涡流密度发生变化。由焦耳定律可知，涡流在试件中转换成焦耳热，导致试件中产生的热量不均匀，从而产生高温区和低温区，由于温度的差异性，高温区热量通过热传导向低温区传递，导致试件不同区域温度发生变化，通过红外热像仪采集试件温度的变化过程，然后将采集的热图像序列交给计算机进行分析处理，来获取试件相关信息，实现缺陷的定性与定量检测。

在2018年10月30日公布的、公布号为CN108712069A、名称为“一种基于行变步长分割的高压容器热成像缺陷检测方法”的中国发明专利申请中，利用了步长搜索方法进行缺陷特征的提取，在此之后采用模糊C均值算法将瞬态热响应曲线分类。在该发明专利申请中，模糊C均值算法通过聚类中心和隶属度函数将瞬态热响应曲线分类，由其目标函数可知，其分类原理是将样本与聚类中心之间的距离最小化，然而这种方法对于每条瞬态热响应曲线所蕴含的物理意义没有更进一步的挖掘。由于没有深层次挖掘瞬态热响应曲线所包含的物理信息，因此使得聚类的合理性降低，从而影响了缺陷提取的精度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于特征挖掘和神经网络的热图像缺陷提取方法，通过深层次挖掘瞬态热响应曲线所包含的物理信息，以提高聚类的合理性，从而提高缺陷提取的精准度。

为实现上述发明目的，本发明基于特征挖掘和神经网络的热图像缺陷提取方法，其特征在于，包括以下步骤：

(1)、将红外热像仪获取的热图像序列用三维矩阵S表示，其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值；

(2)、从三维矩阵S选出最大像素值S(i_zz,j_zz,t_zz)，其中，i_zz、j_zz和t_zz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数；

(3)、对于三维矩阵S的t_zz帧，选取第j_zz行，根据像素值(即温度值)的变化，选取P个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按行对三维矩阵S进行划分，得到P+1个行数据块；

在第p个行数据块S^p中(p＝1,2,...,P+1)，找到最大像素值，记为其中，分别表示第p个行数据块S^p中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为t＝1,2,...,T，T为三维矩阵S帧的总数量；

设置第p个行数据块S^p的温度阈值为THRE^p，计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Re^b，b依次取1,2,...，并判断相关度Re^b是否小于温度阈值THRE^p，当小于时，停止计算，此时，像素点间距b为第p个行数据块行数据块S^p的行步长，记为CL^p；

(4)、对于三维矩阵S的t_zz帧，选取第i_zz行，根据像素值(即温度值)的变化，选取Q个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按列对三维矩阵S进行划分，得到Q+1个列数据块；

在第q个列数据块S^q中(q＝1,2,...,Q+1)，找到最大像素值，记为其中，分别表示第q个列数据块S^q中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为t＝1,2,...,T，T为三维矩阵S帧的总数量；

设置第q个列数据块S^q的温度阈值为THRE^q，计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Re^d，d依次取1,2,...，并判断相关度Re^d是否小于温度阈值THRE^q，当小于时，停止计算，此时，像素点间距d为第d个列数据块S^q的列步长，记为CL^q；

(5)、分块分步长选取瞬态热响应

(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块，得到(P+1)×(Q+1)个数据块，行上第p、列上第q个数据块表示为S^p,q；

(5.2)、对于每个数据块S^p,q，设置阈值DD，初始化集合编号g＝1，初始化像素点位置i＝1，j＝1，并将最大像素值S(i_zz,j_zz,t_zz)对应的瞬态热响应S(i_zz,j_zz,t)，t＝1,2,...,T，存储在集合X(g)中；然后计算数据块S^p,q中像素点位于i行，j列的瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T，与集合X(g)间的相关度Re_i,j，并判断：

如果Re_i,j<DD，则g＝g+1，并将瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T作为一个新特征存储在集合X(g)中；否则，令i＝i+CL^p，继续计算下一个瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T与集合X(g)的相关度；如果i＞M^p,q，则令i＝i-M^p,q，j＝j+CL^q，即变化到第j+CL^q列进行计算，如果j＞N^p,q,则瞬态热响应选取完毕，其中，M^p,q、N^p,q分别为数据块S^p,q的行数、列数；

(6)、步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应为G条，对这G条瞬态热响应进行特征提取，并分为L类

(6.1)、特征提取

计算每条瞬态热响应的能量即第一个特征：

其中，g为瞬态热响应序号，g＝1,2,...,G，x_g,t为瞬态热响应g在t帧的像素值(温度值)；

计算每条瞬态热响应在吸热过程中的温度变化率即第二个特征：

其中，t_mid表示加热终止帧序号，为瞬态热响应g在t_mid帧的像素值(温度值)，t₀表示加热起始帧序号(通常为1，即第1帧)，为瞬态热响应g在t₀帧的像素值(温度值)；

计算每条瞬态热响应在放热过程中的温度变化率即第三个特征：

其中，t_end表示放热结束帧序号，为瞬态热响应g在t_end帧的像素值(温度值)；

计算每条瞬态热响应的平均温度值即第四个特征：

计算每条瞬态热响应的最大温度值即第五个特征：

完成特征提取后，每条瞬态热响应的特征可以表示为：

(6.2)、设定聚类数目L，其中既包含了有缺陷部分的聚类，又包含了无缺陷部分的聚类；

输入层神经元个数等于特征个数5，映射层神经元个数为L个，初始化每个映射层神经元权值为l＝1,2,...,L：用K均值算法基于提取的特征对G条瞬态热响应进行聚类(聚为L类特征聚类)，将L类特征聚类的中心作为每个映射层神经元权值的初始化权值，其中，分别对应第l个特征聚类中心的五个特征即能量、吸热过程中的温度变化率、放热过程中的温度变化率、平均温度值、最大温度值；

初始化迭代次数k＝0时，然后进行迭代；

(6.3)、在第k次迭代时，首先通过Fisher准则计算每个特征的影响因子，即：

其中，表示第k次迭代时第z个特征的影响因子，和分别表示第k迭代时第z个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z个特征在第l₂个特征聚类中的均值和方差，同样地，和分别表示第k迭代时第z'个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z'个特征在第l₂个特征聚类中的均值和方差；

然后更新映射层神经元权值：

将G条瞬态热响应中每条瞬态热响应特征X_g作为并表示为然后计算与每个映射层神经元的权值之间的欧式距离从而挑选获胜神经元：

其中，l＝1,2,...,L，

将距离该瞬态热响应特征X_g最近的映射层神经元作为获胜神经元l^*，即：

将获胜神经元以及其邻域内映射层神经元的权值更新为

其中，为获胜神经元以及其邻域内映射层神经元中的一个映射层神经元，η(k)为改变更新快慢的自适应学习因子，其值为：

其中，为：

其中，表示获胜神经元以及其邻域内映射层神经元中的一个映射层神经元到获胜神经元l^*的距离，δ为一个常数；

每条瞬态热响应特征X_g更新一次映射层神经元权值，直到所有G条瞬态热响应都用于了映射层神经元权值的更新；

(6.4)将G条瞬态热响应的每一条瞬态热响应的特征X_g作为g＝1,2,...,G，输入神经网络，计算每一条瞬态热响应特征分别到L个映射层神经元权值的距离，距离最近的映射层神经元权值所对应的聚类为该瞬态热响应特征所对应聚类，即：

其中，表示瞬态热响应特征的聚类；

(6.5)当k＞k_max或时，迭代结束，k+1次聚类为每条瞬态热响应的类别；否则k＝k+1，且返回(6.3)，其中，k_max表示最大迭代次数，ε表示允许的最大误差；

(7)、对于L类瞬态热响应寻找每一类的代表，并构成构成一个T×L的矩阵Y

(7.1)、首先求取每一类瞬态热响应的中心，用每一类的均值表示该类的中心即：

其中，每一帧的均值t＝1,2,...T，可以通过下式计算：

其中，为c_l类瞬态热响应的数量，分别表示c_l类第1条、第条瞬态热响应在t帧的像素值(温度值)；

(7.2)、用表示第c_l类的代表，并通过下式计算每一类的代表：

其中，表示除了类别c_l以外的其他类别集合；

即在类别c_l的条瞬态热响应中找到一条瞬态热响应满足与其他类别c_u的瞬态热响应中心的距离和最大；

(7.3)、将L类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值)，构成一个T×L的矩阵Y；

(8)、将三维矩阵S中的每一帧从第一列开始，将后一列接在前一列的末尾，构成新的一列，得到T帧对应的T列像素值，然后，依据时间先后，将T列像素值依次放置，构成I×J行、T列二维图像矩阵O，用矩阵Y对二维矩阵O进行线性变换，即：得到二维图像矩阵R，其中，为L×T矩阵，是矩阵Y的伪逆矩阵，O^T二维图像矩阵O的转置矩阵，得到的二维图像矩阵R为L行、I×J列；

二维图像矩阵R的每一行，按J列依次进行截取，截取的J列按行依次放置，构成一张I×J二维图像，这样L行，得到L张I×J二维图像，这些图片都包含了缺陷区域，为方便缺陷轮廓提取，选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像，并记为f(x,y)；

(9)、采用模糊C均值算法对二维图像f(x,y)进行图像分割，实现特征提取：

首先采用模糊C均值算法对的二维图像f(x,y)进行聚类，根据隶属度最大，得到每个像素点所属类别，然后该类别聚类中心的值作为该像素点的幅值，得到分割后的图像，最后，将分割后图像转换成二值图像，即设定阈值为TH，当分割后的图像中像素点幅值大于TH时，将该像素点幅值设为1，否则幅值设为0；二值图像为缺陷图像，从而完成缺陷的提取。

本发明的发明目的是这样实现的：

本发明基于特征挖掘和神经网络的热图像缺陷提取方法，通过选取热图像序列中的步长将图像分块，并根据分块去除冗余信息，提取代表性瞬态热响应。本发明通过对于之前结果的分析，发现不同类别的瞬态热响应，在一些物理量上存在较大的差异性。例如总热量、吸热阶段的温度变化率、放热阶段的温度变化率、温度均值、温度峰值，本发明利用特征提取公式对瞬态热响应的这些特征进行提取，并根据所提取出的特征，构建神经网络，并将瞬态热响应分类，然后，对三维矩阵进行变换，得到含有缺陷区域的二维图像，最后采用模糊C均值算法对含有缺陷区域的二维图像进行聚类和二值化，得到最终的缺陷图像，从而提取出热图像的缺陷特征。本发明通过深层次挖掘瞬态热响应曲线所包含的物理信息，提高了聚类的合理性，从而提高了缺陷提取的精准度。

同时，本发明基于特征挖掘和神经网络的热图像缺陷提取方法还具有以下有益效果：

(1)、本发明充分发掘瞬态热响应的物理特性，并根据不同类别瞬态热响应不同物理特性之间的差异性将瞬态热响应分类，在对于瞬态热响应的分类方面比传统方法更加合理；

(2)、本发明在提取瞬态热响应物理特性之后，利用自组织特征映射建立缺陷检测模型。最终结果与ICA算法结果相比，本发明无论在趋势上，还是物理意义上对于原瞬态热响应的还原度更高；

(3)、本发明采用行列变步长搜索实现了高效提取试件中的缺陷信息，并准确的刻画缺陷轮廓，弥补了传统方法对于缺陷提取上的一些不足。

附图说明

图1是本发明基于特征挖掘和神经网络的热图像缺陷提取方法一种具体实施方式的流程图；

图2是含有缺陷的试件；

图3是根据已知的缺陷位置，直接从无缺陷位置以及缺陷1、2位置提取的瞬态热响应曲线图；

图4是本发明提取无缺陷位置以及缺陷1、2位置的三类瞬态响应代表的曲线图；

图5是本发明缺陷特征提取得到得到三张二维图像；

图6是采用ICA从无缺陷位置以及缺陷1、2位置提取的瞬态热响应曲线图；

图7是缺陷1位置三种方式获取的归一化曲线图；

图8是缺陷2位置三种方式获取的归一化曲线图；

图9是无缺陷位置三种方式获取的归一化曲线图；

图10是本发明与ICA算法提取的缺陷图像对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于特征挖掘加权贝叶斯分类器的缺陷提取方法一种具体实施方式的流程图。

在本实施例中，如图1所示，本发明基基于特征挖掘加权贝叶斯分类器的缺陷提取方法包括以下步骤：

步骤S1：热图像序列表示为三维矩阵

将红外热像仪获取的热图像序列用三维矩阵S表示，其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值。

步骤S2：选出最大像素值

从三维矩阵S选出最大像素值S(i_zz,j_zz,t_zz)，其中，i_zz、j_zz和t_zz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数。

步骤S3：划分出行数据块并计算其行步长

对于三维矩阵S的t_zz帧，选取第j_zz行，根据像素值(即温度值)的变化，选取P个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按行对三维矩阵S进行划分，得到P+1个行数据块；

在第p个行数据块S^p中(p＝1,2,...,P+1)，找到最大像素值，记为其中，分别表示第p个行数据块S^p中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为t＝1,2,...,T，T为三维矩阵S帧的总数量；

设置第p个行数据块S^p的温度阈值为THRE^p，计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Re^d，d依次取1,2,...，并判断相关度Re^d是否小于温度阈值THRE^p，当小于时，停止计算，此时，像素点间距d为第p个行数据块行数据块S^p的行步长，记为CL^p。

步骤S4：划分出列数据块并计算其列步长

对于三维矩阵S的t_zz帧，选取第i_zz行，根据像素值(即温度值)的变化，选取K个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按列对三维矩阵S进行划分，得到K+1个列数据块；

在第k个列数据块S^k中(k＝1,2,...,K+1)，找到最大像素值，记为其中，分别表示第k个列数据块S^k中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为t＝1,2,...,T，T为三维矩阵S帧的总数量；

设置第k个列数据块S^k的温度阈值为THRE^k，计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Re^c，c依次取1,2,...，并判断相关度Re^c是否小于温度阈值THRE^k，当小于时，停止计算，此时，像素点间距c为第k个列数据块S^k的列步长，记为CL^k。

步骤S5：分块分步长选取瞬态热响应

步骤S5.1：依据步骤S3选取的P个像素值跳变点按列以及步骤步骤S4选取的K个像素值跳变点按行对三维矩阵S进行分块，得到(P+1)×(K+1)个数据块，行上第p、列上第k个数据块表示为S^p,k；

步骤S5.2：对于每个数据块S^p,k，设置阈值DD，初始化集合编号g＝1，初始化像素点位置i＝1，j＝1，并将最大像素值S(i_zz,j_zz,t_zz)对应的瞬态热响应S(i_zz,j_zz,t)，t＝1,2,...,T，存储在集合X(g)中；然后计算数据块S^k,p中像素点位于i行，j列的瞬态热响应S^p,k(i,j,t)，t＝1,2,...,T，与集合X(g)间的相关度Re_i,j，并判断：

如果Re_i,j<DD，则g＝g+1，并将瞬态热响应S^p,k(i,j,t)，t＝1,2,...,T作为一个新特征存储在集合X(g)中；否则，令i＝i+CL^p，继续计算下一个瞬态热响应S^p,k(i,j,t)，t＝1,2,...,T与集合X(g)的相关度；如果i＞M^p,k，则令i＝i-M^p,k，j＝j+CL^k，即变化到第j+CL^k列进行计算，如果j＞N^p,k,则瞬态热响应选取完毕，其中，M^p,k、N^p,k分别为数据块S^p,k的行数、列数。

步骤S6：特征提取并基于神经网络对瞬态热响应进行分类

步骤S5选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应为G条，对这G条瞬态热响应进行特征提取，并分为L类，具体包括以下步骤：

步骤S6.1：特征提取

计算每条瞬态热响应的能量即第一个特征：

其中，g为瞬态热响应序号，g＝1,2,...,G，x_g,t为瞬态热响应g在t帧的像素值(温度值)；

计算每条瞬态热响应在吸热过程中的温度变化率即第二个特征：

其中，t_mid表示加热终止帧序号，为瞬态热响应g在t_mid帧的像素值(温度值)，t₀表示加热起始帧序号(通常为1，即第1帧)，为瞬态热响应g在t₀帧的像素值(温度值)；

计算每条瞬态热响应在放热过程中的温度变化率即第三个特征：

其中，t_end表示放热结束帧序号，为瞬态热响应g在t_end帧的像素值(温度值)；

计算每条瞬态热响应的平均温度值即第四个特征：

计算每条瞬态热响应的最大温度值即第五个特征：

完成特征提取后，每条瞬态热响应的特征可以表示为：

步骤S6.2：设定聚类数目L，其中既包含了有缺陷部分的聚类，又包含了无缺陷部分的聚类；

输入层神经元个数等于特征个数5，映射层神经元个数为L个，初始化每个映射层神经元权值为l＝1,2,...,L：用K均值算法基于提取的特征对G条瞬态热响应进行聚类(聚为L类特征聚类)，将L类特征聚类的中心作为每个映射层神经元权值的初始化权值，其中，分别对应第l个特征聚类中心的五个特征即能量、吸热过程中的温度变化率、放热过程中的温度变化率、平均温度值、最大温度值；

初始化迭代次数k＝0时，然后进行迭代；；

步骤S6.3：在第k次迭代时，首先通过Fisher准则计算每个特征的影响因子，即：

其中，表示第k次迭代时第z个特征的影响因子，和分别表示第k迭代时第z个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z个特征在第l₂个特征聚类中的均值和方差，同样地，和分别表示第k迭代时第z'个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z'个特征在第l₂个特征聚类中的均值和方差；

然后更新映射层神经元权值：

将G条瞬态热响应中每条瞬态热响应特征X_g作为并表示为然后计算与每个映射层神经元的权值之间的欧式距离从而挑选获胜神经元：

其中，l＝1,2,...,L，

将距离该瞬态热响应特征X_g最近的映射层神经元作为获胜神经元l^*，即：

将获胜神经元以及其邻域内映射层神经元的权值更新为

其中，为获胜神经元以及其邻域内映射层神经元中的一个映射层神经元，η(k)为改变更新快慢的自适应学习因子，其值为：

其中，为：

其中，表示获胜神经元以及其邻域内映射层神经元中的一个映射层神经元到获胜神经元l^*的距离，δ为一个常数；

每条瞬态热响应特征X_g更新一次映射层神经元权值，直到所有G条瞬态热响应都用于了映射层神经元权值的更新；

步骤S6.4：将G条瞬态热响应的每一条瞬态热响应的特征X_g作为g＝1,2,...,G，输入神经网络，计算每一条瞬态热响应特征分别到L个映射层神经元权值的距离，距离最近的映射层神经元权值所对应的聚类为该瞬态热响应特征所对应聚类，即：

其中，表示瞬态热响应特征的聚类；

步骤S6.5：当k＞k_max或时，迭代结束，k+1次聚类为每条瞬态热响应的类别；否则k＝k+1，且返回步骤S6.3，其中，k_max表示最大迭代次数，ε表示允许的最大误差。

步骤S7：对于L类瞬态热响应寻找每一类的代表，并构成构成一个T×L的矩阵Y

步骤S7.1：首先求取每一类瞬态热响应的中心，用每一类的均值表示该类的中心即：

其中，每一帧的均值t＝1,2,...T，可以通过下式计算：

其中，为c_l类瞬态热响应的数量，分别表示c_l类第1条、第条瞬态热响应在t帧的像素值(温度值)；

步骤S7.2：用表示第c_l类的代表，并通过下式计算每一类的代表：

其中，表示除了类别c_l以外的其他类别集合；

即在类别c_l的条瞬态热响应中找到一条瞬态热响应满足与其他类别c_u的瞬态热响应中心的距离和最大；

步骤S7.3：将L类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值)，构成一个T×L的矩阵Y。

步骤S8：将三维矩阵S变为二维矩阵，并用矩阵Y对其进行线性变换得到得到二维图像矩阵R以及像素值(温度值)差距最大的一张二维图像f(x,y)：

将三维矩阵S中的每一帧从第一列开始，将后一列接在前一列的末尾，构成新的一列，得到T帧对应的T列像素值，然后，依据时间先后，将T列像素值依次放置，构成I×J行、T列二维图像矩阵O，用矩阵Y对二维矩阵O进行线性变换，即：得到二维图像矩阵R，其中，为L×T矩阵，是矩阵Y的伪逆矩阵，O^T二维图像矩阵O的转置矩阵，得到的二维图像矩阵R为L行、I×J列；

二维图像矩阵R的每一行，按J列依次进行截取，截取的J列按行依次放置，构成一张I×J二维图像，这样L行，得到L张I×J二维图像，这些图片都包含了缺陷区域，为方便缺陷轮廓提取，选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像，并记为f(x,y)。

步骤S9：采用模糊C均值算法对二维图像f(x,y)进行图像分割，实现特征提取：首先采用模糊C均值算法对的二维图像f(x,y)进行聚类，得到每个像素点所属类别，然后该类别聚类中心的值作为该像素点的幅值，得到分割后的图像，最后，将分割后图像转换成二值图像，即设定阈值为TH，当分割后的图像中像素点幅值大于TH时，将该像素点幅值设为1，否则幅值设为0；二值图像为缺陷图像，从而完成缺陷的提取，具体而言，包括以下步骤：

步骤S9.1：初始化迭代次数h＝0时，初始化类别数目M，初始化M个聚类中心设置终止条件为ε，然后进行迭代计算

步骤S9.2：计算第h次迭代第i'类的隶属度矩阵第k'个像素点隶属于第i'类的程度即隶属度为：

其中，i'＝1,2,…,M， 表示第k'个像素点与h次迭代的第i'聚类中心的欧氏距离， 表示第k'个像素点与h次迭代的第j'聚类中心的欧氏距离，x_k'表示第k'个像素点的幅值，τ为常数，通常取2；

步骤S9.3：计算目标函数：

如果h≥1且停止迭代，否则，更新聚类中心即计算第h+1次迭代的聚类中心i'＝1,2,...,M：

其中，K'＝I×J，表示二维图像f(x,y)的像素点总个数；

更新迭代次数h＝h+1，返回步骤S9.2；

步骤S9.4：对于每个像素点，根据隶属度矩阵i'＝1,2,...,M，得到每个像素点k'，k＝1,2,...,K'，的最大隶属度，其所在隶属度矩阵对应的类别记为该像素点k'的类别即：然后，将该类别聚类中心的值V_i'作为该像素点的幅值，得到分割后的图像，最后，将分割后图像转换成二值图像，即设定阈值为TH，当分割后的图像中像素点幅值大于TH时，将该像素点幅值设为1，否则幅值设为0；二值图像为缺陷图像，从而完成缺陷的提取。

实验仿真

下面分别利用本发明和ICA对图3所示的试件进行特征提取。在本实施例中，在试件上有两种缺陷：闭孔缺陷即缺陷1以及开孔缺陷即缺陷2。

根据已知的缺陷位置，直接从无缺陷位置以及缺陷1、2位置提取的瞬态热响应如图3(a)、图3(b)和图3(c)所示。本发明步骤S6、S7提取的无缺陷位置以及缺陷1、2位置的三类瞬态响应代表如图4(a)、图4(b)和图4(c)所示，然后依据步骤S8(缺陷特征提取)得到三张二维图像，如图5(a)、图5(b)和图5(c)，其中，缺陷区域和非缺陷区域像素值(温度值)差距最大的是图6(c)，选其作为f(x,y)。

在同样的基础上，采用ICA算法从无缺陷位置以及缺陷1、2位置提取的试件的混叠向量，如图6(a)、图6(b)和图6(c)所示。

通过对比图3(b)、图4(b)和图6(b)以及3(c)、图4(c)和图6(c)本发明与ICA算法都能够在趋势上与实际情况相似。然而，从本发明提出的物理意义上分别分析三条曲线发现，本发明具有实际的物理意义，与实际情况更加相似。同样的结果通过对比图3(a)、图4(a)和图6(a)也可以得到。

通过本发明提取的缺陷1位置的瞬态热响应代表、ICA算法提取的缺陷1位置的混叠向量以及实际情况即缺陷位置1直接选取(实际)的瞬态热响应的比较，如图7所示，本发明以及ICA算法的峰值与曲线走势与实际情况基本相同，故本发文明所述方法同ICA一样可以提取相应的特征信息。

通过本发明提取的缺陷2位置的瞬态热响应代表、ICA算法提取的缺陷1位置的混叠向量以及实际情况即缺陷位置2直接选取(实际)的瞬态热响应的比较，如图8所示，本发明所述方法以与实际情况基本相同，然而ICA算法的结果却与实际结果存在差异性，因此本专利能够准确的提取相应的特征信息。

通过本发明提取的缺陷周围区域的瞬态响应、ICA算法提取缺陷周围区域的混叠向量以及实际情况即缺陷周围区直接选取(实际)的瞬态热响应的比较，如图9所示，本发明以及ICA算法的峰值与曲线走势与实际情况基本相同，故本发明同ICA算法一样可以提取相应的特征信息。

最后，本发明中，试件经过模糊C均值算法以及二值化处理之后，得到图10(a)所示的缺陷，而ICA算法中，得到图10(b)所示的缺陷，通过比较，本发明可以滤去更多的噪声，精确的提取缺陷轮廓，可视效果明显。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于特征挖掘和神经网络的热图像缺陷提取方法，其特征在于，包括以下步骤：

(1)、将红外热像仪获取的热图像序列用三维矩阵S表示，其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值；

(2)、从三维矩阵S选出最大像素值S(i_zz,j_zz,t_zz)，其中，i_zz、j_zz和t_zz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数；

(3)、对于三维矩阵S的t_zz帧，选取第j_zz行，根据像素值(即温度值)的变化，选取P个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按行对三维矩阵S进行划分，得到P+1个行数据块；

在第p个行数据块S^p中(p＝1,2,...,P+1)，找到最大像素值，记为其中，分别表示第p个行数据块S^p中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量；

设置第p个行数据块S^p的温度阈值为THRE^p，计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Re^b，b依次取1,2,...，并判断相关度Re^b是否小于温度阈值THRE^p，当小于时，停止计算，此时，像素点间距b为第p个行数据块行数据块S^p的行步长，记为CL^p；

(4)、对于三维矩阵S的t_zz帧，选取第i_zz行，根据像素值(即温度值)的变化，选取Q个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按列对三维矩阵S进行划分，得到Q+1个列数据块；

在第q个列数据块S^q中(q＝1,2,...,Q+1)，找到最大像素值，记为其中，分别表示第q个列数据块S^q中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量；

设置第q个列数据块S^q的温度阈值为THRE^q，计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Re^d，d依次取1,2,...，并判断相关度Re^d是否小于温度阈值THRE^q，当小于时，停止计算，此时，像素点间距d为第d个列数据块S^q的列步长，记为CL^q；

(5)、分块分步长选取瞬态热响应

(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块，得到(P+1)×(Q+1)个数据块，行上第p、列上第q个数据块表示为S^p,q；

(5.2)、对于每个数据块S^p,q，设置阈值DD，初始化集合编号g＝1，初始化像素点位置i＝1，j＝1，并将最大像素值S(i_zz,j_zz,t_zz)对应的瞬态热响应S(i_zz,j_zz,t)，t＝1,2,...,T，存储在集合X(g)中；然后计算数据块S^p,q中像素点位于i行，j列的瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T，与集合X(g)间的相关度Re_i,j，并判断：

如果Re_i,j<DD，则g＝g+1，并将瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T作为一个新特征存储在集合X(g)中；否则，令i＝i+CL^p，继续计算下一个瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T与集合X(g)的相关度；如果i＞M^p,q，则令i＝i-M^p,q，j＝j+CL^q，即变化到第j+CL^q列进行计算，如果j＞N^p,q,则瞬态热响应选取完毕，其中，M^p,q、N^p,q分别为数据块S^p,q的行数、列数；

(6)、步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应为G条，对这G条瞬态热响应进行特征提取，并分为L类

(6.1)、特征提取

计算每条瞬态热响应的能量即第一个特征：

其中，g为瞬态热响应序号，g＝1,2,...,G，x_g,t为瞬态热响应g在t帧的像素值(温度值)；

计算每条瞬态热响应在吸热过程中的温度变化率即第二个特征：

其中，t_mid表示加热终止帧序号，为瞬态热响应g在t_mid帧的像素值(温度值)，t₀表示加热起始帧序号(通常为1，即第1帧)，为瞬态热响应g在t₀帧的像素值(温度值)；

计算每条瞬态热响应在放热过程中的温度变化率即第三个特征：

其中，t_end表示放热结束帧序号，为瞬态热响应g在t_end帧的像素值(温度值)；

计算每条瞬态热响应的平均温度值即第四个特征：

计算每条瞬态热响应的最大温度值即第五个特征：

完成特征提取后，每条瞬态热响应的特征可以表示为：

(6.2)、设定聚类数目L，其中既包含了有缺陷部分的聚类，又包含了无缺陷部分的聚类；

输入层神经元个数等于特征个数5，映射层神经元个数为L个，初始化每个映射层神经元权值为用K均值算法基于提取的特征对G条瞬态热响应进行聚类(聚为L类特征聚类)，将L类特征聚类的中心作为每个映射层神经元权值的初始化权值，其中，分别对应第l个特征聚类中心的五个特征即能量、吸热过程中的温度变化率、放热过程中的温度变化率、平均温度值、最大温度值；

初始化迭代次数k＝0时，然后进行迭代；

(6.3)、在第k次迭代时，首先通过Fisher准则计算每个特征的影响因子，即：

其中，表示第k次迭代时第z个特征的影响因子，和分别表示第k迭代时第z个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z个特征在第l₂个特征聚类中的均值和方差，同样地，和分别表示第k迭代时第z'个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z'个特征在第l₂个特征聚类中的均值和方差；

然后更新映射层神经元权值：

将G条瞬态热响应中每条瞬态热响应特征X_g作为并表示为然后计算与每个映射层神经元的权值之间的欧式距离从而挑选获胜神经元：

其中，l＝1,2,...,L，

将距离该瞬态热响应特征X_g最近的映射层神经元作为获胜神经元l^*，即：

将获胜神经元以及其邻域内映射层神经元的权值更新为

其中，为获胜神经元以及其邻域内映射层神经元中的一个映射层神经元，η(k)为改变更新快慢的自适应学习因子，其值为：

其中，为：

其中，表示获胜神经元以及其邻域内映射层神经元中的一个映射层神经元到获胜神经元l^*的距离，δ为一个常数；

每条瞬态热响应特征X_g更新一次映射层神经元权值，直到所有G条瞬态热响应都用于了映射层神经元权值的更新；

(6.4)将G条瞬态热响应的每一条瞬态热响应的特征X_g作为g＝1,2,...,G，输入神经网络，计算每一条瞬态热响应特征分别到L个映射层神经元权值的距离，距离最近的映射层神经元权值所对应的聚类为该瞬态热响应特征所对应聚类，即：

其中，表示瞬态热响应特征的聚类；

(6.5)当k＞k_max或时，迭代结束，k+1次聚类为每条瞬态热响应的类别；否则k＝k+1，且返回(6.3)，其中，k_max表示最大迭代次数，ε表示允许的最大误差；

(7)、对于L类瞬态热响应寻找每一类的代表，并构成构成一个T×L的矩阵Y

(7.1)、首先求取每一类瞬态热响应的中心，用每一类的均值表示该类的中心即：

其中，每一帧的均值可以通过下式计算：

其中，为c_l类瞬态热响应的数量，分别表示c_l类第1条、第条瞬态热响应在t帧的像素值(温度值)；

(7.2)、用表示第c_l类的代表，并通过下式计算每一类的代表：

其中，表示除了类别c_l以外的其他类别集合；

即在类别c_l的条瞬态热响应中找到一条瞬态热响应满足与其他类别c_u的瞬态热响应中心的距离和最大；

(7.3)、将L类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值)，构成一个T×L的矩阵Y；

(8)、将三维矩阵S中的每一帧从第一列开始，将后一列接在前一列的末尾，构成新的一列，得到T帧对应的T列像素值，然后，依据时间先后，将T列像素值依次放置，构成I×J行、T列二维图像矩阵O，用矩阵Y对二维矩阵O进行线性变换，即：得到二维图像矩阵R，其中，为L×T矩阵，是矩阵Y的伪逆矩阵，O^T二维图像矩阵O的转置矩阵，得到的二维图像矩阵R为L行、I×J列；

二维图像矩阵R的每一行，按J列依次进行截取，截取的J列按行依次放置，构成一张I×J二维图像，这样L行，得到L张I×J二维图像，这些图片都包含了缺陷区域，为方便缺陷轮廓提取，选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像，并记为f(x,y)；

(9)、采用模糊C均值算法对二维图像f(x,y)进行图像分割，实现特征提取：

首先采用模糊C均值算法对的二维图像f(x,y)进行聚类，根据隶属度最大，得到每个像素点所属类别，然后该类别聚类中心的值作为该像素点的幅值，得到分割后的图像，最后，将分割后图像转换成二值图像，即设定阈值为TH，当分割后的图像中像素点幅值大于TH时，将该像素点幅值设为1，否则幅值设为0；二值图像为缺陷图像，从而完成缺陷的提取。

2.根据权利要求1所述的基于特征挖掘和神经网络的热图像缺陷提取方法，其特征在于，步骤(9)具体为：

(9.1)、初始化迭代次数h＝0时，初始化类别数目M，初始化M个聚类中心设置终止条件为ε，然后进行迭代计算

(9.2)、计算第h次迭代第i'类的隶属度矩阵第k'个像素点隶属于第i'类的程度即隶属度为：

其中，i'＝1,2,…,M， 表示第k'个像素点与h次迭代的第i'聚类中心的欧氏距离， 表示第k'个像素点与h次迭代的第j'聚类中心的欧氏距离，x_k'表示第k'个像素点的幅值，τ为常数，通常取2；

(9.3)、计算目标函数：

如果h≥1且停止迭代，否则，更新聚类中心即计算第h+1次迭代的聚类中心

其中，K'＝I×J，表示二维图像f(x,y)的像素点总个数；

更新迭代次数h＝h+1，返回步骤(9.2)；

(9.4)、对于每个像素点，根据隶属度矩阵得到每个像素点k'，k＝1,2,...,K'，的最大隶属度，其所在隶属度矩阵对应的类别记为该像素点k'的类别即：然后，将该类别聚类中心的值V_i'作为该像素点的幅值，得到分割后的图像，最后，将分割后图像转换成二值图像，即设定阈值为TH，当分割后的图像中像素点幅值大于TH时，将该像素点幅值设为1，否则幅值设为0；二值图像为缺陷图像，从而完成缺陷的提取。