CN109636781A - 一种基于特征挖掘和加权贝叶斯分类器的缺陷提取方法 - Google Patents

Abstract

本发明公开了一种基于特征挖掘和加权贝叶斯分类器的缺陷提取方法，通过选取热图像序列中的步长将图像分块，并根据分块去除冗余信息，提取代表性瞬态热响应。之后，再利用特征提取公式对瞬态热响应进行特征提取，并根据所提取出的特征以及不同特征的权值，运用加权贝叶斯分类器将瞬态热响应分类，然后，对三维矩阵进行变换，得到含有缺陷区域的二维图像，最后采用Canny算子对像素值(温度值)差距最大的含有缺陷区域的二维图像进行边缘轮廓提取，得到最终的缺陷图像，从而提取出热图像的缺陷特征。本发明通过深层次挖掘瞬态热响应曲线所包含的物理信息，提高了聚类的合理性，从而提高了缺陷提取的精准度。

Description

一种基于特征挖掘和加权贝叶斯分类器的缺陷提取方法

技术领域

本发明属于缺陷检测技术领域，更为具体地讲，涉及一种基于特征挖掘和加权贝叶斯分类器的缺陷提取方法。

背景技术

红外热图像检测技术通过控制热激励方法和测量材料表面的温场变化获取材料表面及其表面以下的结构信息，从而达到检测的目的。在获取结构信息时，常常用到红外热像仪记录试件表面或者亚表面随时间变化的温场信息，并将其转换为热图像序列呈现出来。由于用红外热像仪得到的热图像序列的数据量巨大，噪声干扰强，为了获得更好的检测效果，需要对热图像序列进行特征提取。

在处理热图像序列时，有基于单帧图像处理的方法，也有基于图像序列处理的方法。基于单帧图像处理的方法只考虑了试件在某一个时刻的温度分布信息，并不能体现试件在不同时刻的温度情况，得到的处理结果是不完整的，片面的。因此基于图像序列处理的方法得到了广泛的关注与研究。

红外热成像检测最常采用的是涡流热成像。根据电磁感应定律，当通入高频的交变电流的感应线圈靠近导体试件(简称试件)时，在试件的表面会感生出涡流。如果试件中有缺陷，涡流将被迫绕过缺陷，改变其流向，这将使得被测件内部涡流密度发生变化。由焦耳定律可知，涡流在试件中转换成焦耳热，导致试件中产生的热量不均匀，从而产生高温区和低温区，由于温度的差异性，高温区热量通过热传导向低温区传递，导致试件不同区域温度发生变化，通过红外热像仪采集试件温度的变化过程，然后将采集的热图像序列交给计算机进行分析处理，来获取试件相关信息，实现缺陷的定性与定量检测。

在2018年10月30日公布的、公布号为CN108712069A、名称为“一种基于行变步长分割的高压容器热成像缺陷检测方法”的中国发明专利申请中，利用了步长搜索方法进行缺陷特征的提取，在此之后采用模糊C均值算法将瞬态热响应曲线分类。在该发明专利申请中，模糊C均值算法通过聚类中心和隶属度函数将瞬态热响应曲线分类，由其目标函数可知，其分类原理是将样本与聚类中心之间的距离最小化，然而这种方法对于每条瞬态热响应曲线所蕴含的物理意义没有更进一步的挖掘。由于没有深层次挖掘瞬态热响应曲线所包含的物理信息，因此使得聚类的合理性降低，从而影响了缺陷提取的精度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于特征挖掘和加权贝叶斯分类器的缺陷提取方法，通过深层次挖掘瞬态热响应曲线所包含的物理信息，以提高聚类的合理性，从而提高缺陷提取的精准度。

为实现上述发明目的，本发明基于特征挖掘和加权贝叶斯分类器的缺陷提取方法，其特征在于，包括以下步骤：

(1)、将红外热像仪获取的热图像序列用三维矩阵S表示，其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值；

(2)、从三维矩阵S选出最大像素值S(i_zz,j_zz,t_zz)，其中，i_zz、j_zz和t_zz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数；

(3)、对于三维矩阵S的t_zz帧，选取第j_zz行，根据像素值(即温度值)的变化，选取P个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按行对三维矩阵S进行划分，得到P+1个行数据块；

在第p个行数据块S^p中(p＝1,2,...,P+1)，找到最大像素值，记为其中，分别表示第p个行数据块S^p中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为t＝1,2,...,T，T为三维矩阵S帧的总数量；

设置第p个行数据块S^p的温度阈值为THRE^p，计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Re^b，b依次取1,2,...，并判断相关度Re^b是否小于温度阈值THRE^p，当小于时，停止计算，此时，像素点间距b为第p个行数据块行数据块S^p的行步长，记为CL^p；

(4)、对于三维矩阵S的t_zz帧，选取第i_zz行，根据像素值(即温度值)的变化，选取Q个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按列对三维矩阵S进行划分，得到Q+1个列数据块；

在第q个列数据块S^q中(q＝1,2,...,Q+1)，找到最大像素值，记为其中，分别表示第q个列数据块S^q中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为t＝1,2,...,T，T为三维矩阵S帧的总数量；

设置第q个列数据块S^q的温度阈值为THRE^q，计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Re^d，d依次取1,2,...，并判断相关度Re^d是否小于温度阈值THRE^q，当小于时，停止计算，此时，像素点间距d为第d个列数据块S^q的列步长，记为CL^q；

(5)、分块分步长选取瞬态热响应

(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块，得到(P+1)×(Q+1)个数据块，行上第p、列上第q个数据块表示为S^p,q；

(5.2)、对于每个数据块S^p,q，设置阈值DD，初始化集合编号g＝1，初始化像素点位置i＝1，j＝1，并将最大像素值S(i_zz,j_zz,t_zz)对应的瞬态热响应S(i_zz,j_zz,t)，t＝1,2,...,T，存储在集合X(g)中；然后计算数据块S^p,q中像素点位于i行，j列的瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T，与集合X(g)间的相关度Re_i,j，并判断：

如果Re_i,j<DD，则g＝g+1，并将瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T作为一个新特征存储在集合X(g)中；否则，令i＝i+CL^p，继续计算下一个瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T与集合X(g)的相关度；如果i＞M^p,q，则令i＝i-M^p,q，j＝j+CL^q，即变化到第j+CL^q列进行计算，如果j＞N^p,q,则瞬态热响应选取完毕，其中，M^p,q、N^p,q分别为数据块S^p,q的行数、列数；

(6)、步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应为G条，对这G条瞬态热响应进行特征提取，并分为K类

(6.1)、特征提取：

计算每条瞬态热响应的能量：

其中，g为瞬态热响应序号，g＝1,2,...,G，x_g,t为瞬态热响应g在t帧的像素值(温度值)；

计算每条瞬态热响应在吸热过程中的温度变化率：

其中，t_mid表示加热终止帧序号，t₀表示加热起始帧序号(通常为1，即第1帧)；

计算每条瞬态热响应在放热过程中的温度变化率：

其中，t_end表示放热结束帧序号；

计算每条瞬态热响应的平均温度值：

计算每条瞬态热响应的最大温度值：

完成特征提取后，每条瞬态热响应可以表示为：g＝1,2,...,G；

(6.2)、将每个特征下的连续数值离散化，离散化后每个特征可由4个离散的数值标记：

能量由很大E₁、较大E₂、较小E₃、很小E₄表示，同样的，吸热过程中的温度变化率由很大V_up1、较大V_up2、较小V_up3、很小V_up4表示，放热过程中的温度变化率由很大V_down1、较大V_down2、较小V_down3、很小V_down4表示,平均温度值由很大T_ave1、较大T_ave2、较小V_ave3、很小V_ave4表示,最大温度值由很大T_max1、较大T_max2、较小T_max3、很小T_max4表示；

(6.3)、设置分类数目为K，类别表示为：C＝(c₁,c₂,...,c_K)，其中有一类表示无缺陷类别，剩下表示不同的缺陷类别，通过计算最大后验概率得到最终的类别：

其中，h_nb(X_g)表示求瞬态热响应X_g的类别，即满足p(c_k)p(X_g|c_k)最大的类别c_k为瞬态热响应X_g的类别；

其中，p(c_k)为类别c_k的先验概率，其值为：

N_total为用于训练的历史数据中瞬态热响应的总数，为用于训练的历史数据中在类别c_k的瞬态热响应条数；

其中，似然概率p(X_g|c_k)的值为：

其中，权值w_E、分别为：

其中，分别为用于训练的历史数据中属于能量很大E₁、较大E₂、较小E₃、很小E₄的瞬态热响应条数，分别为用于训练的历史数据中属于吸热过程中的温度变化率很大V_up1、较大V_up2、较小V_up3、很小V_up4的瞬态热响应条数，分别为用于训练的历史数据中属于放热过程中的温度变化率很大V_down1、较大V_down2、较小V_down3、很小V_down4的瞬态热响应条数，分别为用于训练的历史数据中属于平均温度值很大T_ave1、较大T_ave2、较小T_ave3、很小T_ave4的瞬态热响应条数，分别为用于训练的历史数据中属于最大温度值很大T_max1、较大T_max2、较小T_max3、很小T_max4的瞬态热响应条数；

其中：

其中：h为离散数值的序号，KL表示Kullback–Leible散度，计算公式如下：

其中：p(c_k|E_h)、分别表示第h个离散能量、吸热过程中的温度变化率、放热过程中的温度变化率平均温度值最大温度值的数值属于类别的后验概率；

(7)、对于K类瞬态热响应寻找每一类的代表，并构成构成一个T×K的矩阵Y

(7.1)、首先求取每一类瞬态热响应的中心，用每一类的均值表示该类的中心即：

其中，每一帧的均值t＝1,2,...T，可以通过下式计算：

其中，为c_k类瞬态热响应的数量，分别表示c_k类第1条、第条瞬态热响应在t帧的像素值(温度值)；

(7.2)、用表示第c_k类的代表，并通过下式计算每一类的代表：

其中，表示除了类别c_k以外的其他类别集合；

即在类别c_k的条瞬态热响应中找到一条瞬态热响应满足与其他类别c_u的瞬态热响应中心的距离和最大；

(7.3)、将K类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值)，构成一个T×K的矩阵Y；

(8)、将三维矩阵S中的每一帧从第一列开始，将后一列接在前一列的末尾，构成新的一列，得到T帧对应的T列像素值，然后，依据时间先后，将T列像素值依次放置，构成I×J行、T列二维图像矩阵O，用矩阵Y对二维矩阵O进行线性变换，即：得到二维图像矩阵R，其中，为K×T矩阵，是矩阵Y的伪逆矩阵，O^T二维图像矩阵O的转置矩阵，得到的二维图像矩阵R为K行、I×J列；

二维图像矩阵R的每一行，按J列依次进行截取，截取的J列按行依次放置，构成一张I×J二维图像，这样K行，得到K张I×J二维图像，这些图片都包含了缺陷区域，为方便缺陷轮廓提取，选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像，并记为f(x,y)；

(9)、采用Canny算子对的二维图像f(x,y)进行边缘提取，得到最终的缺陷图像

(9.1)、对二维图像f(x,y)平滑处理，得到图像g₁(x,y)，然后计算：

G_x＝g₁(x,y)-g₁(x+1,y+1)

G_y＝g₁(x+1,y)-g₁(x,y+1)

G(x,y)＝|G_x|+|G_y|

其中，G_x、G_y分别表示在图像水平、垂直方向的梯度，G(x,y)代表梯度幅值；

若G(x,y)>G_a(x,y)，则保留G(x,y)的值，否则将此位置的幅值设为0，得到图像g₂(x,y)，其中G_a(x,y)表示像素点(x,y)八邻域像素点与该点梯度方向交点的梯度幅值；

(9.2)、①如果G_T(x,y)>H_th，其中G_T(x,y)为图像g₂(x,y)的像素点梯度幅值，则该像素点被保留为边缘像素；②如果G_T(x,y)<L_th，则该像素点被排除；③如果L_th≦G_T(x,y)≦H_th，则进一步判断该像素8领域空间的像素是否存在高于H_th的像素点，若存在，则该像素点被保留为边缘像素，否则，该像素点被排除，得到最终的缺陷图像，其中，H_th和L_th分别为高阈值和低阈值。

本发明的发明目的是这样实现的：

本发明基于特征挖掘和加权贝叶斯分类器的缺陷提取方法，通过选取热图像序列中的步长将图像分块，并根据分块去除冗余信息，提取代表性瞬态热响应。之后，再利用特征提取公式对瞬态热响应进行特征提取，并根据所提取出的特征以及不同特征的权值，运用加权贝叶斯分类器将瞬态热响应分类，然后，对三维矩阵进行变换，得到含有缺陷区域的二维图像，最后采用Canny算子对像素值(温度值)差距最大的含有缺陷区域的二维图像进行边缘轮廓提取，得到最终的缺陷图像，从而提取出热图像的缺陷特征。本发明通过深层次挖掘瞬态热响应曲线所包含的物理信息，提高了聚类的合理性，从而提高了缺陷提取的精准度。

同时，本发明基于特征挖掘和加权贝叶斯分类器的缺陷提取方法还具有以下有益效果：

(1)、本发明充分发掘瞬态热响应曲线的物理特性，并根据不同类别瞬态热响应不同物理特性之间的差异性将瞬态热响应分类，在对于瞬态热响应的分类方面比传统方法更加合理；

(2)、本发明在提取瞬态热响应之后，利用历史数据采用基于属性加权的方式对瞬态热响应进行分类。最终结果与ICA算法结果相比，新算法无论在趋势上，还是物理意义上对于原瞬态热响应的还原度更高。

(3)、本发明采用行列变步长搜索实现了高效提取试件中的缺陷信息，并准确的刻画缺陷轮廓，弥补了传统方法对于缺陷提取上的一些不足。

附图说明

图1是本发明基于特征挖掘和加权贝叶斯分类器的缺陷提取方法一种具体实施方式的流程图；

图2是本发明中瞬态热响应特征提取以及权重分配示意图；

图3是含有缺陷的试件；

图4是根据已知的缺陷位置，直接从无缺陷位置以及缺陷1、2位置提取的瞬态热响应曲线图；

图5是本发明提取无缺陷位置以及缺陷1、2位置的三类瞬态响应代表的曲线图；

图6是本发明缺陷特征提取得到得到三张二维图像；

图7是采用ICA从无缺陷位置以及缺陷1、2位置提取的瞬态热响应曲线图；

图8是缺陷1位置三种方式获取的归一化曲线图；

图9是缺陷2位置三种方式获取的归一化曲线图；

图10是无缺陷位置三种方式获取的归一化曲线图；

图11是本发明与ICA算法提取的缺陷图像对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于特征挖掘和加权贝叶斯分类器的缺陷提取方法一种具体实施方式的流程图。

在本实施例中，如图1所示，本发明基基于特征挖掘和加权贝叶斯分类器的缺陷提取方法包括以下步骤：

步骤S1：热图像序列表示为三维矩阵

将红外热像仪获取的热图像序列用三维矩阵S表示，其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值。

步骤S2：选出最大像素值

从三维矩阵S选出最大像素值S(i_zz,j_zz,t_zz)，其中，i_zz、j_zz和t_zz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数。

步骤S3：划分出行数据块并计算其行步长

对于三维矩阵S的t_zz帧，选取第j_zz行，根据像素值(即温度值)的变化，选取P个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按行对三维矩阵S进行划分，得到P+1个行数据块；

在第p个行数据块S^p中(p＝1,2,...,P+1)，找到最大像素值，记为其中，分别表示第p个行数据块S^p中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为t＝1,2,...,T，T为三维矩阵S帧的总数量；

设置第p个行数据块S^p的温度阈值为THRE^p，计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Re^d，d依次取1,2,...，并判断相关度Re^d是否小于温度阈值THRE^p，当小于时，停止计算，此时，像素点间距d为第p个行数据块行数据块S^p的行步长，记为CL^p。

步骤S4：划分出列数据块并计算其列步长

对于三维矩阵S的t_zz帧，选取第i_zz行，根据像素值(即温度值)的变化，选取K个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按列对三维矩阵S进行划分，得到K+1个列数据块；

在第k个列数据块S^k中(k＝1,2,...,K+1)，找到最大像素值，记为其中，分别表示第k个列数据块S^k中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为t＝1,2,...,T，T为三维矩阵S帧的总数量；

设置第k个列数据块S^k的温度阈值为THRE^k，计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Re^c，c依次取1,2,...，并判断相关度Re^c是否小于温度阈值THRE^k，当小于时，停止计算，此时，像素点间距c为第k个列数据块S^k的列步长，记为CL^k。

步骤S5：分块分步长选取瞬态热响应

步骤S5.1：依据步骤S3选取的P个像素值跳变点按列以及步骤步骤S4选取的K个像素值跳变点按行对三维矩阵S进行分块，得到(P+1)×(K+1)个数据块，行上第p、列上第k个数据块表示为S^p,k；

步骤S5.2：对于每个数据块S^p,k，设置阈值DD，初始化集合编号g＝1，初始化像素点位置i＝1，j＝1，并将最大像素值S(i_zz,j_zz,t_zz)对应的瞬态热响应S(i_zz,j_zz,t)，t＝1,2,...,T，存储在集合X(g)中；然后计算数据块S^k,p中像素点位于i行，j列的瞬态热响应S^p,k(i,j,t)，t＝1,2,...,T，与集合X(g)间的相关度Re_i,j，并判断：

如果Re_i,j<DD，则g＝g+1，并将瞬态热响应S^p,k(i,j,t)，t＝1,2,...,T作为一个新特征存储在集合X(g)中；否则，令i＝i+CL^p，继续计算下一个瞬态热响应S^p,k(i,j,t)，t＝1,2,...,T与集合X(g)的相关度；如果i＞M^p,k，则令i＝i-M^p,k，j＝j+CL^k，即变化到第j+CL^k列进行计算，如果j＞N^p,k,则瞬态热响应选取完毕，其中，M^p,k、N^p,k分别为数据块S^p,k的行数、列数。

步骤S6：特征提取、离散化并分类

在本发明中，如图2所示，将瞬态热响应的特征(属性)分为五个，并进行提取。同时，将五个特征赋予不同的权值w_E、以充分挖掘每条瞬态热响应所蕴含的物理意义，以及不同特征对分类的影响，使得分类(聚类)更加合理。

步骤S5选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应为G条，对这G条瞬态热响应进行特征提取，并分为K类，具体包括以下步骤：

步骤S6.1：计算每条瞬态热响应的能量：

其中，g为瞬态热响应序号，g＝1,2,...,G，x_g,t为瞬态热响应g在t帧的像素值(温度值)；

计算每条瞬态热响应在吸热过程中的温度变化率：

其中，t_mid表示加热终止帧序号，t₀表示加热起始帧序号(通常为1，即第1帧)；

计算每条瞬态热响应在放热过程中的温度变化率：

其中，t_end表示放热结束帧序号；

计算每条瞬态热响应的平均温度值：

计算每条瞬态热响应的最大温度值：

完成特征提取后，每条瞬态热响应可以表示为：g＝1,2,...,G。

步骤S6.2：将每个特征下的连续数值离散化，离散化后每个特征可由4个离散的数值标记：

能量由很大E₁、较大E₂、较小E₃、很小E₄表示，同样的，吸热过程中的温度变化率由很大V_up1、较大V_up2、较小V_up3、很小V_up4表示，放热过程中的温度变化率由很大V_down1、较大V_down2、较小V_down3、很小V_down4表示,平均温度值由很大T_ave1、较大T_ave2、较小V_ave3、很小V_ave4表示,最大温度值由很大T_max1、较大T_max2、较小T_max3、很小T_max4表示；

步骤S6.3：设置分类数目为K，类别表示为：C＝(c₁,c₂,...,c_K)，其中有一类表示无缺陷类别，剩下表示不同的缺陷类别，通过计算最大后验概率得到最终的类别：

其中，h_nb(X_g)表示求瞬态热响应X_g的类别，即满足p(c_k)p(X_g|c_k)最大的类别c_k为瞬态热响应X_g的类别；

其中，p(c_k)为类别c_k的先验概率，其值为：

N_total为用于训练的历史数据中瞬态热响应的总数，为用于训练的历史数据中在类别c_k的瞬态热响应条数；

其中，似然概率p(X_g|c_k)的值为：

其中，权值w_E、分别为：

其中，分别为用于训练的历史数据中属于能量很大E₁、较大E₂、较小E₃、很小E₄的瞬态热响应条数，分别为用于训练的历史数据中属于吸热过程中的温度变化率很大V_up1、较大V_up2、较小V_up3、很小V_up4的瞬态热响应条数，分别为用于训练的历史数据中属于放热过程中的温度变化率很大V_down1、较大V_down2、较小V_down3、很小V_down4的瞬态热响应条数，分别为用于训练的历史数据中属于平均温度值很大T_ave1、较大T_ave2、较小T_ave3、很小T_ave4的瞬态热响应条数，分别为用于训练的历史数据中属于最大温度值很大T_max1、较大T_max2、较小T_max3、很小T_max4的瞬态热响应条数；

其中：

其中：h为离散数值的序号，KL表示Kullback–Leible散度，计算公式如下：

其中：p(c_k|E_h)、分别表示第h个离散能量、吸热过程中的温度变化率、放热过程中的温度变化率平均温度值最大温度值的数值属于类别的后验概率。

在本步骤中，将瞬态热响应X_g分到第c_k类是根据后验概率的大小。瞬态热响应对于某一类的后验概率越大，则属于这一类的可能性越大。因此，瞬态热响应所属的类别是后验概率最大的类，由贝叶斯定理得后验概率：

其中，p(c_k)为类别c_k先验概率，k＝1,2,...,K；p(X_g)为证据因子，它对于分类没有任何影响。p(X_g|c_k)为似然概率，它表征位于不同类别时，瞬态热响应的概率分布。

由于证据因子与分类无关，因此，需要得到最大后验概率只需最大化p(X_g|c_k)p(c_k)。对于离散数据，概率的大小可以通过频数来计算，先验概率p(c_k)为：

其中，N_total为用于训练的历史数据中瞬态热响应的总数，Nck为用于训练的历史数据中在类别c_k的瞬态热响应条数。

为了简化计算，本发明认为各个属性之间独立。同时，为了说明不同特征对于分类的影响大小不同，本发明对各个特征进行加权处理。

步骤S7：对于K类瞬态热响应寻找每一类的代表，并构成构成一个T×K的矩阵Y

步骤S7.1：首先求取每一类瞬态热响应的中心，用每一类的均值表示该类的中心即：

其中，每一帧的均值t＝1,2,...T，可以通过下式计算：

其中，为c_k类瞬态热响应的数量，分别表示c_k类第1条、第条瞬态热响应在t帧的像素值(温度值)。

步骤S7.2：用表示第c_k类的代表，并通过下式计算每一类的代表：

其中，表示除了类别c_k以外的其他类别集合；

即在类别c_k的条瞬态热响应中找到一条瞬态热响应满足与其他类别c_u的瞬态热响应中心的距离和最大；

步骤S7.3：将K类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值)，构成一个T×K的矩阵Y。

步骤S8：将三维矩阵S变为二维矩阵，并用矩阵Y对其进行线性变换得到得到二维图像矩阵R以及像素值(温度值)差距最大的一张二维图像f(x,y)：

将三维矩阵S中的每一帧从第一列开始，将后一列接在前一列的末尾，构成新的一列，得到T帧对应的T列像素值，然后，依据时间先后，将T列像素值依次放置，构成I×J行、T列二维图像矩阵O，用矩阵Y对二维矩阵O进行线性变换，即：得到二维图像矩阵R，其中，为K×T矩阵，是矩阵Y的伪逆矩阵，O^T二维图像矩阵O的转置矩阵，得到的二维图像矩阵R为K行、I×J列；

二维图像矩阵R的每一行，按J列依次进行截取，截取的J列按行依次放置，构成一张二维图像，这样K行，得到K张二维图像，这些图片都包含了缺陷区域，为方便缺陷轮廓提取，选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像，并记为f(x,y)。

步骤S9：采用Canny算子对二维图像f(x,y)进行边缘提取，，得到最终的缺陷图像

步骤S9.1：对二维图像f(x,y)平滑处理，得到图像g₁(x,y)：

g₁(x,y)＝h(x,y,σ)·f(x,y)

其中：

其中，σ为平滑尺度。

然后计算：

G_x＝g₁(x,y)-g₁(x+1,y+1)

G_y＝g₁(x+1,y)-g₁(x,y+1)

G(x,y)＝|G_x|+|G_y|

其中，G_x、G_y分别表示在图像水平、垂直方向的梯度，G(x,y)代表梯度幅值；

若G(x,y)>G_a(x,y)，则保留G(x,y)的值，否则将此位置的幅值设为0，得到图像g₂(x,y)，其中G_a(x,y)表示像素点(x,y)八邻域像素点与该点梯度方向交点的梯度幅值；

步骤S9.2：①如果G_T(x,y)>H_th，其中G_T(x,y)为图像g₂(x,y)的像素点梯度幅值，则该像素点被保留为边缘像素；②如果G_T(x,y)<L_th，则该像素点被排除；③如果L_th≦G_T(x,y)≦H_th，则进一步判断该像素8领域空间的像素是否存在高于H_th的像素点，若存在，则该像素点被保留为边缘像素，否则，该像素点被排除，得到最终的缺陷图像，其中，H_th和L_th分别为高阈值和低阈值。

实验仿真

下面分别利用本发明和ICA对图3所示的试件进行特征提取。在本实施例中，在试件上有两种缺陷：闭孔缺陷即缺陷1以及开孔缺陷即缺陷2。

根据已知的缺陷位置，直接从无缺陷位置以及缺陷1、2位置提取的瞬态热响应如图4(a)、图4(b)和图4(c)所示。本发明步骤S6、S7提取的无缺陷位置以及缺陷1、2位置的三类瞬态响应代表如图5(a)、图5(b)和图5(c)所示，然后依据步骤S8(缺陷特征提取)得到三张二维图像，如图6(a)、图6(b)和图6(c)，其中，缺陷区域和非缺陷区域像素值(温度值)差距最大的是图6(c)，选其作为f(x,y)。

在同样的基础上，采用ICA算法从无缺陷位置以及缺陷1、2位置提取的试件的混叠向量，如图7(a)、图7(b)和图7(c)所示。

通过对比图4(b)、图5(b)和图7(b)以及4(c)、图5(c)和图7(c)本发明与ICA算法都能够在趋势上与实际情况相似。然而，从本发明提出的物理意义上分别分析三条曲线发现，本发明具有实际的物理意义，与实际情况更加相似。同样的结果通过对比图4(a)、图5(a)和图7(a)也可以得到。

通过本发明提取的缺陷1位置的瞬态热响应代表、ICA算法提取的缺陷1位置的混叠向量以及实际情况即缺陷位置1直接选取(实际)的瞬态热响应的比较，如图8所示，本发明以及ICA算法的峰值与曲线走势与实际情况基本相同，故本发文明所述方法同ICA一样可以提取相应的特征信息。

通过本发明提取的缺陷2位置的瞬态热响应代表、ICA算法提取的缺陷1位置的混叠向量以及实际情况即缺陷位置2直接选取(实际)的瞬态热响应的比较，如图9所示，本发明所述方法以与实际情况基本相同，然而ICA算法的结果却与实际结果存在差异性，因此本专利能够准确的提取相应的特征信息。

通过本发明提取的缺陷周围区域的瞬态响应、ICA算法提取缺陷周围区域的混叠向量以及实际情况即缺陷周围区直接选取(实际)的瞬态热响应的比较，如图10所示，本发明以及ICA算法的峰值与曲线走势与实际情况基本相同，故本发明同ICA算法一样可以提取相应的特征信息。

最后，本发明中，试件经过Canny算子处理之后，得到图11(a)所示的缺陷，而ICA算法中，得到图11(b)所示的缺陷，通过比较，本发明可以滤去更多的噪声，精确的提取缺陷轮廓，可视效果明显。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于特征挖掘和加权贝叶斯分类器的缺陷提取方法，其特征在于，包括以下步骤：

(1)、将红外热像仪获取的热图像序列用三维矩阵S表示，其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值；

(2)、从三维矩阵S选出最大像素值S(i_zz,j_zz,t_zz)，其中，i_zz、j_zz和t_zz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数；

(3)、对于三维矩阵S的t_zz帧，选取第j_zz行，根据像素值(即温度值)的变化，选取P个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按行对三维矩阵S进行划分，得到P+1个行数据块；

在第p个行数据块S^p中(p＝1,2,...,P+1)，找到最大像素值，记为其中，分别表示第p个行数据块S^p中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量；

设置第p个行数据块S^p的温度阈值为THRE^p，计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Re^b，b依次取1,2,...，并判断相关度Re^b是否小于温度阈值THRE^p，当小于时，停止计算，此时，像素点间距b为第p个行数据块行数据块S^p的行步长，记为CL^p；

(4)、对于三维矩阵S的t_zz帧，选取第i_zz行，根据像素值(即温度值)的变化，选取Q个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按列对三维矩阵S进行划分，得到Q+1个列数据块；

在第q个列数据块S^q中(q＝1,2,...,Q+1)，找到最大像素值，记为其中，分别表示第q个列数据块S^q中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量；

设置第q个列数据块S^q的温度阈值为THRE^q，计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Re^d，d依次取1,2,...，并判断相关度Re^d是否小于温度阈值THRE^q，当小于时，停止计算，此时，像素点间距d为第d个列数据块S^q的列步长，记为CL^q；

(5)、分块分步长选取瞬态热响应

(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块，得到(P+1)×(Q+1)个数据块，行上第p、列上第q个数据块表示为S^p,q；

(5.2)、对于每个数据块S^p,q，设置阈值DD，初始化集合编号g＝1，初始化像素点位置i＝1，j＝1，并将最大像素值S(i_zz,j_zz,t_zz)对应的瞬态热响应S(i_zz,j_zz,t)，t＝1,2,...,T，存储在集合X(g)中；然后计算数据块S^p,q中像素点位于i行，j列的瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T，与集合X(g)间的相关度Re_i,j，并判断：

如果Re_i,j<DD，则g＝g+1，并将瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T作为一个新特征存储在集合X(g)中；否则，令i＝i+CL^p，继续计算下一个瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T与集合X(g)的相关度；如果i＞M^p,q，则令i＝i-M^p,q，j＝j+CL^q，即变化到第j+CL^q列进行计算，如果j＞N^p,q,则瞬态热响应选取完毕，其中，M^p,q、N^p,q分别为数据块S^p,q的行数、列数；

(6)、步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应为G条，对这G条瞬态热响应进行特征提取，并分为K类

(6.1)、特征提取：

计算每条瞬态热响应的能量：

其中，g为瞬态热响应序号，g＝1,2,...,G，x_g,t为瞬态热响应g在t帧的像素值(温度值)；

计算每条瞬态热响应在吸热过程中的温度变化率：

其中，t_mid表示加热终止帧序号，t₀表示加热起始帧序号(通常为1，即第1帧)；

计算每条瞬态热响应在放热过程中的温度变化率：

其中，t_end表示放热结束帧序号；

计算每条瞬态热响应的平均温度值：

计算每条瞬态热响应的最大温度值：

完成特征提取后，每条瞬态热响应可以表示为：

(6.2)、将每个特征下的连续数值离散化，离散化后每个特征可由4个离散的数值标记：

能量由很大E₁、较大E₂、较小E₃、很小E₄表示，同样的，吸热过程中的温度变化率由很大V_up1、较大V_up2、较小V_up3、很小V_up4表示，放热过程中的温度变化率由很大V_down1、较大V_down2、较小V_down3、很小V_down4表示,平均温度值由很大T_ave1、较大T_ave2、较小V_ave3、很小V_ave4表示,最大温度值由很大T_max1、较大T_max2、较小T_max3、很小T_max4表示；

(6.3)、设置分类数目为K，类别表示为：C＝(c₁,c₂,...,c_K)，其中有一类表示无缺陷类别，剩下表示不同的缺陷类别，通过计算最大后验概率得到最终的类别：

其中，h_nb(X_g)表示求瞬态热响应X_g的类别，即满足p(c_k)p(X_g|c_k)最大的类别c_k为瞬态热响应X_g的类别；

其中，p(c_k)为类别c_k的先验概率，其值为：

N_total为用于训练的历史数据中瞬态热响应的总数，为用于训练的历史数据中在类别c_k的瞬态热响应条数；

其中，似然概率p(X_g|c_k)的值为：

其中，权值w_E、分别为：

其中，分别为用于训练的历史数据中属于能量很大E₁、较大E₂、较小E₃、很小E₄的瞬态热响应条数，分别为用于训练的历史数据中属于吸热过程中的温度变化率很大V_up1、较大V_up2、较小V_up3、很小V_up4的瞬态热响应条数，分别为用于训练的历史数据中属于放热过程中的温度变化率很大V_down1、较大V_down2、较小V_down3、很小V_down4的瞬态热响应条数，分别为用于训练的历史数据中属于平均温度值很大T_ave1、较大T_ave2、较小T_ave3、很小T_ave4的瞬态热响应条数，分别为用于训练的历史数据中属于最大温度值很大T_max1、较大T_max2、较小T_max3、很小T_max4的瞬态热响应条数；

其中：

其中：h为离散数值的序号，KL表示Kullback–Leible散度，计算公式如下：

其中：p(c_k|E_h)、分别表示第h个离散能量、吸热过程中的温度变化率、放热过程中的温度变化率平均温度值最大温度值的数值属于类别的后验概率；

(7)、对于K类瞬态热响应寻找每一类的代表，并构成构成一个T×K的矩阵Y

(7.1)、首先求取每一类瞬态热响应的中心，用每一类的均值表示该类的中心即：

其中，每一帧的均值可以通过下式计算：

其中，为c_k类瞬态热响应的数量，分别表示c_k类第1条、第条瞬态热响应在t帧的像素值(温度值)；

(7.2)、用表示第c_k类的代表，并通过下式计算每一类的代表：

其中，表示除了类别c_k以外的其他类别集合；

即在类别c_k的N_ck条瞬态热响应中找到一条瞬态热响应满足与其他类别c_u的瞬态热响应中心的距离和最大；

(7.3)、将K类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值)，构成一个T×K的矩阵Y；

(8)、将三维矩阵S中的每一帧从第一列开始，将后一列接在前一列的末尾，构成新的一列，得到T帧对应的T列像素值，然后，依据时间先后，将T列像素值依次放置，构成I×J行、T列二维图像矩阵O，用矩阵Y对二维矩阵O进行线性变换，即：得到二维图像矩阵R，其中，为K×T矩阵，是矩阵Y的伪逆矩阵，O^T二维图像矩阵O的转置矩阵，得到的二维图像矩阵R为K行、I×J列；

二维图像矩阵R的每一行，按J列依次进行截取，截取的J列按行依次放置，构成一张I×J二维图像，这样K行，得到K张I×J二维图像，这些图片都包含了缺陷区域，为方便缺陷轮廓提取，选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像，并记为f(x,y)；

(9)、采用Canny算子对的二维图像f(x,y)进行边缘提取，得到最终的缺陷图像

(9.1)、对二维图像f(x,y)平滑处理，得到图像g₁(x,y)，然后计算：

G_x＝g₁(x,y)-g₁(x+1,y+1)

G_y＝g₁(x+1,y)-g₁(x,y+1)

G(x,y)＝|G_x|+|G_y|

其中，G_x、G_y分别表示在图像水平、垂直方向的梯度，G(x,y)代表梯度幅值；

若G(x,y)>G_a(x,y)，则保留G(x,y)的值，否则将此位置的幅值设为0，得到图像g₂(x,y)，其中G_a(x,y)表示像素点(x,y)八邻域像素点与该点梯度方向交点的梯度幅值；

(9.2)、①如果G_T(x,y)>H_th，其中G_T(x,y)为图像g₂(x,y)的像素点梯度幅值，则该像素点被保留为边缘像素；②如果G_T(x,y)<L_th，则该像素点被排除；③如果L_th≦G_T(x,y)≦H_th，则进一步判断该像素8领域空间的像素是否存在高于H_th的像素点，若存在，则该像素点被保留为边缘像素，否则，该像素点被排除，得到最终的缺陷图像，其中，H_th和L_th分别为高阈值和低阈值。