CN109767438B - 一种基于动态多目标优化的红外热图像缺陷特征识别方法 - Google Patents
一种基于动态多目标优化的红外热图像缺陷特征识别方法 Download PDFInfo
- Publication number
- CN109767438B CN109767438B CN201910019827.XA CN201910019827A CN109767438B CN 109767438 B CN109767438 B CN 109767438B CN 201910019827 A CN201910019827 A CN 201910019827A CN 109767438 B CN109767438 B CN 109767438B
- Authority
- CN
- China
- Prior art keywords
- transient thermal
- thermal response
- pixel
- transient
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 27
- 230000001052 transient effect Effects 0.000 claims abstract description 199
- 230000004044 response Effects 0.000 claims abstract description 168
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 81
- 230000000875 corresponding effect Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 17
- 230000009191 jumping Effects 0.000 claims description 13
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000006386 neutralization reaction Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 5
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 14
- 239000000463 material Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000001931 thermography Methods 0.000 description 3
- 239000004020 conductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Radiation Pyrometers (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明公开了一种基于动态多目标优化的红外热图像缺陷特征识别方法,通过对热图像序列变换步长选取出像素点的瞬态热响应,并采用FCM进行分类,得到各个像素点的瞬态热响应的所属类别,然后考虑每个类别像素点与同类像素点的像素值相似性,以及与不同类别像素点的差异性,构造相应的多目标函数,同时,在每次环境发生变化后,通过预测机制,为种群进化提供引导方向,帮助多目标优化算法对新变化做出快速响应,获得热图像序列的降维结果,最后利用脉冲耦合神经网络提取出红外热图像的缺陷特征,从而实现代表瞬态热相应(温度点)的精确选择,保证了缺陷特征提取的精准度,同时降低了动态环境下获取各个类别信息代表瞬态热相应的计算消耗。
Description
技术领域
本发明属于缺陷检测技术领域,更为具体地讲,涉及一种基于动态多目标优化的红外热图像缺陷特征识别方法。
背景技术
红外热图像检测技术通过控制热激励方法和测量材料表面的温场变化获取材料表面及其表面以下的结构信息,从而达到检测的目的。在获取结构信息时,常常用到红外热像仪记录试件表面或者亚表面随时间变化的温场信息,并将其转换为热图像序列呈现出来。由于用红外热像仪得到的热图像序列的数据量巨大,噪声干扰强,为了获得更好的检测效果,需要对热图像序列进行特征提取。
在处理热图像序列时,有基于单帧图像处理的方法,也有基于图像序列处理的方法。基于单帧图像处理的方法只考虑了试件在某一个时刻的温度分布信息,并不能体现试件在不同时刻的温度情况,得到的处理结果是不完整的,片面的。因此基于图像序列处理的方法得到了广泛的关注与研究。
红外热成像检测最常采用的是涡流热成像。根据电磁感应定律,当通入高频的交变电流的感应线圈靠近导体试件(简称试件)时,在试件的表面会感生出涡流。如果试件中有缺陷,涡流将被迫绕过缺陷,改变其流向,这将使得被测件内部涡流密度发生变化。由焦耳定律可知,涡流在试件中转换成焦耳热,导致试件中产生的热量不均匀,从而产生高温区和低温区,由于温度的差异性,高温区热量通过热传导向低温区传递,导致试件不同区域温度发生变化,通过红外热像仪采集试件温度的变化过程,然后将采集的热图像序列交给计算机进行分析处理,来获取试件相关信息,实现缺陷的定性与定量检测。
在2018年10月30日公布的、公布号为CN108712069A、名称为“一种基于行变步长分割的高压容器热成像缺陷检测方法”的中国发明专利申请中,对聚类结果进行降维处理,并用降维得到的二维矩阵与原图像序列线性变换后提取缺陷特征。在这个过程中,利用不同类别间的相关度获取每一类的代表温度点,但是没有研究代表温度点(瞬态热响应)与同类温度点的相似性,选出的代表温度点不足以表征该类的特征,故需要同时考虑差异性和相似性这两个方面的目标。此外,该方法是在每个类别中搜索具有区域代表性的热响应温度点,该温度点是对应类别中筛选与其他聚类中心距离和最大的热响应数据,所有类别的代表温度点的热响应数据构成一个二维矩阵,然后这些代表温度点对对应类别的信息表征是不全面的,故通过线性变换后提取的缺陷特征是不准确的,从而达不到一定的精准度。
在现实世界中,许多多目标优化问题受环境的影响,优化问题本身、自变量等会随着环境的变化而变化。在这个过程中,通过使用多目标优化方法,综合考虑不同类别间的差异性和同类别的相似性,获得每个类别温度点的近似前沿解,从这些前沿解中随机选择一个温度点作为代表温度点。在不考虑环境的因素的理想条件下,获得能全面地表征各个类别信息的代表温度点,但是如果在动态环境下,每一次的环境下都执行整个计算步骤、时间消耗大且反应慢。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于动态多目标优化的红外热图像缺陷特征识别方法,在提高缺陷特征提取精准度的同时,降低动态环境下,获取各个类别信息代表瞬态热相应(温度点)的计算消耗。
为实现上述发明目的,本发明基于动态多目标优化的红外热图像缺陷特征识别方法,其特征在于,包括以下步骤:
(1)、将红外热像仪获取的热图像序列用三维矩阵S表示,其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值;
(2)、从三维矩阵S选出最大像素值S(izz,jzz,tzz),其中,izz、jzz和tzz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数;
(3)、对于三维矩阵S的tzz帧,选取第jzz行,根据像素值(即温度值)的变化,选取P个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按行对三维矩阵S进行划分,得到P+1个行数据块;
在第p个行数据块Sp中(p=1,2,...,P+1),找到最大像素值,记为其中,分别表示第p个行数据块Sp中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为t=1,2,...,T,T为三维矩阵S帧的总数量;
设置第p个行数据块Sp的温度阈值为THREp,计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Reb,b依次取1,2,...,并判断相关度Reb是否小于温度阈值THREp,当小于时,停止计算,此时,像素点间距b为第p个行数据块行数据块Sp的行步长,记为CLp;
(4)、对于三维矩阵S的tzz帧,选取第izz行,根据像素值(即温度值)的变化,选取Q个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按列对三维矩阵S进行划分,得到Q+1个列数据块;
在第q个列数据块Sq中(q=1,2,...,Q+1),找到最大像素值,记为其中,分别表示第q个列数据块Sq中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为t=1,2,...,T,T为三维矩阵S帧的总数量;
设置第q个列数据块Sq的温度阈值为THREq,计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Red,d依次取1,2,...,并判断相关度Red是否小于温度阈值THREq,当小于时,停止计算,此时,像素点间距d为第d个列数据块Sq的列步长,记为CLq;
(5)、分块分步长选取瞬态热响应
(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块,得到(P+1)×(Q+1)个数据块,行上第p、列上第q个数据块表示为Sp,q;
(5.2)、对于每个数据块Sp,q,设置阈值DD,初始化集合编号g=1,初始化像素点位置i=1,j=1,并将最大像素值S(izz,jzz,tzz)对应的瞬态热响应S(izz,jzz,t),t=1,2,...,T,存储在集合X(g)中;然后计算数据块Sp,q中像素点位于i行,j列的瞬态热响应Sp,q(i,j,t),t=1,2,...,T,与集合X(g)间的相关度Rei,j,并判断:
如果Rei,j<DD,则g=g+1,并将瞬态热响应Sp,q(i,j,t),t=1,2,...,T作为一个新特征存储在集合X(g)中;否则,令i=i+CLp,继续计算下一个瞬态热响应Sp,q(i,j,t),t=1,2,...,T与集合X(g)的相关度;如果i>Mp,q,则令i=i-Mp,q,j=j+CLq,即变化到第j+CLq列进行计算,如果j>Np,q,则瞬态热响应选取完毕,其中,Mp,q、Np,q分别为数据块Sp,q的行数、列数;
(6)、将步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应采用FCM(模糊C均值聚类)算法分为L类,得到每个瞬态热响应所属的类别;
(7)、基于动态多目标选取每类瞬态热响应的代表,并构成矩阵Y
(7.1)、在第m+1次外部环境下,对第i'(i'=1,...,L)个类瞬态热响应选代表时,定义多目标函数:
(7.2)、第m-1次和第m次环境下得到的多目标函数近似前沿解集分别为和对应的种群瞬态热响应(温度点)解集分别为和其数目分别为和在环境变化后,根据第m-1次和第m次环境的历史信息,预测计算第m+1次环境下的近似前沿解集的初始化种群瞬态热响应,步骤如下:
(7.2.2)、选择W个代表瞬态热响应
其中,为第个聚类结果的代表瞬态热响应,为第个聚类结果的第k个代表瞬态热响应;即找到每个聚类结果中瞬态热响应与对应的代表瞬态热响应的距离最大的瞬态热响应,这样一个聚类结果就得到一个距离最大的瞬态热响应,共W个,然后再在这W个距离最大的瞬态热响应找到一个最大的作为新增代表瞬态热响应然后返回步骤C);
(7.3)、初始化相关参数
(7.5)、对n=1,...,NP:按照粒子群算法更新速度和种群瞬态热响应按照多目标优化算法比较更新全局最优局部最优和参考点从中保留支配的解向量,移除所有被支配的解向量,如果中的向量都不支配将加入同时n=n+1,若n≤NP,则g'=g'+1;
(8)、将三维矩阵S中的每一帧从第一列开始,将后一列接在前一列的末尾,构成新的一列,得到T帧对应的T列像素值,然后,依据时间先后,将T列像素值依次放置,构成I×J行、T列二维图像矩阵O,用矩阵Y对二维矩阵O进行线性变换,即:得到二维图像矩阵R,其中,为L×T矩阵,是矩阵Y的伪逆矩阵,OT二维图像矩阵O的转置矩阵,得到的二维图像矩阵R为L行、I×J列;
二维图像矩阵R的每一行,按J列依次进行截取,截取的J列按行依次放置,构成一张I×J二维图像,这样L行,得到L张I×J二维图像,这些图片都包含了缺陷区域,为方便缺陷轮廓识别,选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像,并记为f(x,y);
(9)、利用脉冲耦合神经网络(PCNN)对二维图像f(x,y)进行特征识别,得到缺陷特征:
(9.1)、构造一个由I×J个神经元的PCNN网络,每个神经元分别与二维图像f(x,y)的I×J个像素点相对应,将第x行,第y列像素点像素值作为标号为第x行,第y列的神经网络神经元的外部刺激Ixy送入PCNN,获得图像分割结果RE,RE是一个二值矩阵;
(9.2)、对二值矩阵RE求边缘轮廓,得到缺陷特征。
本发明的发明目的是这样实现的:
本发明基于动态多目标优化的红外热图像缺陷特征识别方法,通过对热图像序列变换步长选取出像素点的瞬态热响应,并采用FCM进行分类,得到各个像素点的瞬态热响应的所属类别,然后考虑每个类别像素点与同类像素点的像素值(温度值)相似性,同时考虑该像素点(温度点)与不同类别像素点(温度点)的差异性,构造相应的多目标函数,同时,在每次环境发生变化后,通过预测机制,为种群进化提供引导方向,帮助多目标优化算法对新变化做出快速响应,通过多目标优化算法,获得热图像序列的降维结果,最后利用脉冲耦合神经网络进行特征识别,从而识别出红外热图像的缺陷特征。通过上述步骤,实现代表瞬态热相应(温度点)的精确选择,保证了缺陷特征识别的精准度,同时降低了动态环境下获取各个类别信息代表瞬态热相应的计算消耗。
同时,本发明基于动态多目标优化的红外热图像缺陷特征识别方法还具有以下有益效果:
1、本发明采用多目标优化方法实现了差异性与相似性的综合考量,并准确的刻画缺陷轮廓,弥补了传统方法对于降维处理上的一些不足,比只基于差异性的算法识别缺陷特征更具代表性;
2、本发明采用多方向预测策略,引入多个代表瞬态热响应适当地描述PS(ParetoSet)的形状,记录每次环境PS的分布情况,以此来预测PS的新位置。在环境发生了变化后,用前两次环境的代表瞬态热响应来预测PS的新位置,在新位置生成若干新的初始种群瞬态热响应,由此加快了对环境变化的响应。
附图说明
图1是本发明基于动态多目标优化的红外热图像缺陷特征识别方法一种具体实施方式的流程图;
图2是采用模糊C均值聚类对选取的瞬态热响应进行分类后的结果图;
图3是材料本身温度点的瞬态热响应曲线图;
图4是缺陷1温度点的瞬态热响应曲线图;
图5是缺陷2温度点的瞬态热响应曲线图;
图6是基于差异性选取的对应材料本身温度点的瞬态热响应曲线图;
图7是基于差异性选取的对应缺陷1温度点的瞬态热响应曲线图;
图8是基于差异性选取的对应缺陷2温度点的瞬态热响应曲线图;
图9是基于本发明选取的对应材料本身温度点的瞬态热响应曲线图;
图10是基于本发明选取的对应缺陷1温度点的瞬态热响应曲线图;
图11是基于本发明选取的对应缺陷2温度点的瞬态热响应曲线图;
图12是基于本发明识别的缺陷特征图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
图1是本发明基于动态多目标优化的红外热图像缺陷特征识别方法一种具体实施方式的流程图。
在本实施例中,如图1所示,本发明基于动态多目标优化的红外热图像缺陷特征识别方法包括以下步骤:
步骤S1:热图像序列表示为三维矩阵
将红外热像仪获取的热图像序列用三维矩阵S表示,其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值。
步骤S2:选出最大像素值
从三维矩阵S选出最大像素值S(izz,jzz,tzz),其中,izz、jzz和tzz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数。
步骤S3:划分出行数据块并计算其行步长
对于三维矩阵S的tzz帧,选取第jzz行,根据像素值(即温度值)的变化,选取P个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按行对三维矩阵S进行划分,得到P+1个行数据块;
在第p个行数据块Sp中(p=1,2,...,P+1),找到最大像素值,记为其中,分别表示第p个行数据块Sp中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为t=1,2,...,T,T为三维矩阵S帧的总数量;
设置第p个行数据块Sp的温度阈值为THREp,计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Reb,b依次取1,2,...,并判断相关度Reb是否小于温度阈值THREp,当小于时,停止计算,此时,像素点间距b为第p个行数据块行数据块Sp的行步长,记为CLp。
步骤S4:划分出列数据块并计算其列步长
对于三维矩阵S的tzz帧,选取第izz行,根据像素值(即温度值)的变化,选取Q个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按列对三维矩阵S进行划分,得到Q+1个列数据块;
在第q个列数据块Sq中(q=1,2,...,Q+1),找到最大像素值,记为其中,分别表示第q个列数据块Sq中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为t=1,2,...,T,T为三维矩阵S帧的总数量;
设置第q个列数据块Sq的温度阈值为THREq,计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Red,d依次取1,2,...,并判断相关度Red是否小于温度阈值THREq,当小于时,停止计算,此时,像素点间距d为第d个列数据块Sq的列步长,记为CLq。
步骤S5:分块分步长选取瞬态热响应
步骤S5.1:依据步骤S3选取的P个像素值跳变点按列以及步骤S4选取的Q个像素值跳变点按行对三维矩阵S进行分块,得到(P+1)×(Q+1)个数据块,行上第p、列上第q个数据块表示为Sp,q;
步骤S5.2:对于每个数据块Sp,q,设置阈值DD,初始化集合编号g=1,初始化像素点位置i=1,j=1,并将最大像素值S(izz,jzz,tzz)对应的瞬态热响应S(izz,jzz,t),t=1,2,...,T,存储在集合X(g)中;然后计算数据块Sp,q中像素点位于i行,j列的瞬态热响应Sp,q(i,j,t),t=1,2,...,T,与集合X(g)间的相关度Rei,j,并判断:
如果Rei,j<DD,则g=g+1,并将瞬态热响应Sp,q(i,j,t),t=1,2,...,T作为一个新特征存储在集合X(g)中;否则,令i=i+CLp,继续计算下一个瞬态热响应Sp,q(i,j,t),t=1,2,...,T与集合X(g)的相关度;如果i>Mp,q,则令i=i-Mp,q,j=j+CLq,即变化到第j+CLq列进行计算,如果j>Np,q,则瞬态热响应选取完毕,其中,Mp,q、Np,q分别为数据块Sp,q的行数、列数。
步骤S6:采用模糊C均值聚类对选取的瞬态热响应进行分类
将步骤S5选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应采用FCM(模糊C均值聚类)算法分为L类,得到每个瞬态热响应所属的类别。
在本实施例中,具体而言,包括以下步骤:
步骤S6.1:设置聚类数目L,初始化迭代次数c=0,设定终止迭代条件阈值ε;
其中,i'=1,2,…,L,c∈L,n'dk'=||xk'-i'V||,n'=i',j',n'dk'表示第k'个像素点与第i'聚类中心i'V的欧氏距离,xk'表示第k'个像素点的坐标;τ为常数;i'uk'表示第k'个像素点隶属于第i'类的程度;
步骤S6.3:更新聚类中心i'V
步骤S6.4:如果迭代次数到达最大值L或者前后两次聚类中心之差绝对值小于ε,则算法结束,并输出隶属度矩阵U和聚类中心V,再进入步骤步骤S6.5;否则,令c=c+1,返回步骤S6.2;
步骤S6.5:利用隶属度最大化准则对所有像素点去模糊化,得到每个像素点所属类别,即Mk'=argi'max(i'uk')。
步骤S7:基于动态多目标选取每类瞬态热响应的代表,并构成矩阵Y
步骤S7.1:在第m+1次外部环境下,对第i'(i'=1,...,L)个类瞬态热响应选代表时,定义多目标函数:
步骤S7.2:第m-1次和第m次环境下得到的多目标函数近似前沿解集分别为和对应的种群瞬态热响应(温度点)解集分别为和其数目分别为和在环境变化后,根据第m-1次和第m次环境的历史信息,预测计算第m+1次环境下的近似前沿解集的初始化种群瞬态热响应,步骤如下:
步骤S7.2.2:选择W个代表瞬态热响应
其中,为第个聚类结果的代表瞬态热响应,为第个聚类结果的第k个代表瞬态热响应;即找到每个聚类结果中瞬态热响应与对应的代表瞬态热响应的距离最大的瞬态热响应,这样一个聚类结果就得到一个距离最大的瞬态热响应,共W个,然后再在这W个距离最大的瞬态热响应找到一个最大的作为新增代表瞬态热响应然后返回步骤C);
本发明中,由于根据此前环境下的的历史信息,得到第m+1次环境下的近似前沿解集的初始化种群瞬态热响应,为种群进化提供引导方向,帮助多目标优化算法对新变化做出快速响应。
S7.3:初始化相关参数
S7.5:对n=1,...,NP:按照粒子群算法更新速度和种群瞬态热响应按照多目标优化算法比较更新全局最优局部最优和参考点从中保留支配的解向量,移除所有被支配的解向量,如果中的向量都不支配将加入同时n=n+1,若n≤NP,则g'=g'+1;
步骤S8:将三维矩阵S变为二维矩阵,并用矩阵Y对其进行线性变换得到得到二维图像矩阵R以及像素值(温度值)差距最大的一张二维图像f(x,y):
将三维矩阵S中的每一帧从第一列开始,将后一列接在前一列的末尾,构成新的一列,得到T帧对应的T列像素值,然后,依据时间先后,将T列像素值依次放置,构成I×J行、T列二维图像矩阵O,用矩阵Y对二维矩阵O进行线性变换,即:得到二维图像矩阵R,其中,为L×T矩阵,是矩阵Y的伪逆矩阵,OT二维图像矩阵O的转置矩阵,得到的二维图像矩阵R为L行、I×J列;
二维图像矩阵R的每一行,按J列依次进行截取,截取的J列按行依次放置,构成一张I×J二维图像,这样L行,得到L张I×J二维图像,这些图片都包含了缺陷区域,为方便缺陷轮廓识别,选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像,并记为f(x,y)。
步骤S9:利用脉冲耦合神经网络(PCNN)对二维图像f(x,y)进行特征识别,得到缺陷特征
步骤S9.1:构造一个由I×J个神经元的PCNN网络,每个神经元分别与二维图像f(x,y)的I×J个像素点相对应,将第x行,第y列像素点像素值作为标号为第x行,第y列的神经网络神经元的外部刺激Ixy送入PCNN,获得图像分割结果RE,RE是一个二值矩阵;
步骤S9.2:、对二值矩阵RE求边缘轮廓,得到缺陷特征。
实例
在本实施例中,在试件上有两种缺陷,即没有填充任何材料的缺陷1以及填充导热性差材料的缺陷2。
在本实施例中,采用模糊C均值聚类对选取的瞬态热响应进行分类后的结果图如图2所示。
在试件的热像图序列中直接识别三个已知温度点,即材料本身温度点、缺陷1温度点以及缺陷2温度点的瞬态热响应曲线,分别记为BacPOINT、Def1POINT以及Def2POINT,如图3、4、5所示。
用现有基于差异性选瞬态热响应代表的方法,获得了三个瞬态热响应代表:ANFCM23、BNFCM68以及cNFCM79,它们分别对应材料本身温度点、缺陷1温度点以及缺陷2温度点,其曲线如图6、7、8所示。
用本发明中动态多目标优化选瞬态热响应代表的方法,获得了三个瞬态热响应代表:ANFCM25、BNFCM66以及cNFCM25,它们分别对应材料本身温度点、缺陷1温度点以及缺陷2温度点,其曲线如图9、10、11所示。
由热响应曲线可知:缺陷1温度点具有明显的下降趋势,缺陷2温度点的幅值温度最低。三个特征相比,缺陷1温度点放热最快,缺陷2温度点最慢。
两种方法下的瞬态热响应曲线与直接从热像图序列识别对应的瞬态热响应曲线相关度如表1所示。
本身温度点 | 缺陷1温度点 | 缺陷2温度点 | |
基于差异法 | 0.9976 | 0.9954 | 0.9966 |
本发明 | 0.9989 | 0.9959 | 0.9971 |
表1
从表1,可以看出,本发明方法选取的瞬态热响应曲线的相关性更好。
在本实施例中,识别的缺陷特征如图12所示。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (1)
1.一种基于动态多目标优化的红外热图像缺陷特征识别方法,其特征在于,包括以下步骤:
(1)、将红外热像仪获取的热图像序列用三维矩阵S表示,其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值;
(2)、从三维矩阵S选出最大像素值S(izz,jzz,tzz),其中,izz、jzz和tzz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数;
(3)、对于三维矩阵S的tzz帧,选取第jzz行,根据像素值的变化,选取P个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按行对三维矩阵S进行划分,得到P+1个行数据块;
在第p个行数据块Sp中(p=1,2,...,P+1),找到最大像素值,记为其中,分别表示第p个行数据块Sp中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量;
设置第p个行数据块Sp的温度阈值为THREp,计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Reb,b依次取1,2,...,并判断相关度Reb是否小于温度阈值THREp,当小于时,停止计算,此时,像素点间距b为第p个行数据块行数据块Sp的行步长,记为CLp;
(4)、对于三维矩阵S的tzz帧,选取第izz行,根据像素值的变化,选取Q个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按列对三维矩阵S进行划分,得到Q+1个列数据块;
在第q个列数据块Sq中(q=1,2,...,Q+1),找到最大像素值,记为其中,分别表示第q个列数据块Sq中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量;
设置第q个列数据块Sq的温度阈值为THREq,计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Red,d依次取1,2,...,并判断相关度Red是否小于温度阈值THREq,当小于时,停止计算,此时,像素点间距d为第d个列数据块Sq的列步长,记为CLq;
(5)、分块分步长选取瞬态热响应
(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块,得到(P+1)×(Q+1)个数据块,行上第p、列上第q个数据块表示为Sp,q;
(5.2)、对于每个数据块Sp,q,设置阈值DD,初始化集合编号g=1,初始化像素点位置i=1,j=1,并将最大像素值S(izz,jzz,tzz)对应的瞬态热响应S(izz,jzz,t),t=1,2,...,T,存储在集合X(g)中;然后计算数据块Sp,q中像素点位于i行,j列的瞬态热响应Sp,q(i,j,t),t=1,2,...,T,与集合X(g)间的相关度Rei,j,并判断:
如果Rei,j<DD,则g=g+1,并将瞬态热响应Sp,q(i,j,t),t=1,2,...,T作为一个新特征存储在集合X(g)中;否则,令i=i+CLp,继续计算下一个瞬态热响应Sp,q(i,j,t),t=1,2,...,T与集合X(g)的相关度;如果i>Mp,q,则令i=i-Mp,q,j=j+CLq,即变化到第j+CLq列进行计算,如果j>Np,q,则瞬态热响应选取完毕,其中,Mp,q、Np,q分别为数据块Sp,q的行数、列数;
(6)、将步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应采用FCM(模糊C均值聚类)算法分为L类,得到每个瞬态热响应所属的类别;
(7)、基于动态多目标选取每类瞬态热响应的代表,并构成矩阵Y
(7.1)、在第m+1次外部环境下,对第i'(i'=1,...,L)个类瞬态热响应选代表时,定义多目标函数:
(7.2)、第m-1次和第m次环境下得到的多目标函数近似前沿解集分别为和对应的种群瞬态热响应解集分别为和其数目分别为和在环境变化后,根据第m-1次和第m次环境的历史信息,预测计算第m+1次环境下的近似前沿解集的初始化种群瞬态热响应,步骤如下:
(7.2.2)、选择W个代表瞬态热响应
其中,为第个聚类结果的代表瞬态热响应,为第个聚类结果的第k个代表瞬态热响应;即找到每个聚类结果中瞬态热响应与对应的代表瞬态热响应的距离最大的瞬态热响应,这样一个聚类结果就得到一个距离最大的瞬态热响应,共W个,然后再在这W个距离最大的瞬态热响应找到一个最大的作为新增代表瞬态热响应然后返回步骤C);
(7.3)、初始化相关参数
(7.5)、对n=1,...,NP:按照粒子群算法更新速度和种群瞬态热响应按照多目标优化算法比较更新全局最优局部最优和参考点从中保留支配的解向量,移除所有被支配的解向量,如果中的向量都不支配将加入同时n=n+1,若n≤NP,则g'=g'+1;
(8)、将三维矩阵S中的每一帧从第一列开始,将后一列接在前一列的末尾,构成新的一列,得到T帧对应的T列像素值,然后,依据时间先后,将T列像素值依次放置,构成I×J行、T列二维图像矩阵O,用矩阵Y对二维矩阵O进行线性变换,即:得到二维图像矩阵R,其中,为L×T矩阵,是矩阵Y的伪逆矩阵,OT二维图像矩阵O的转置矩阵,得到的二维图像矩阵R为L行、I×J列;
二维图像矩阵R的每一行,按J列依次进行截取,截取的J列按行依次放置,构成一张I×J二维图像,这样L行,得到L张I×J二维图像,这些图片都包含了缺陷区域,为方便缺陷轮廓提取,选择缺陷区域和非缺陷区域像素值差距最大的一张二维图像,并记为f(x,y);
(9)、利用脉冲耦合神经网络(PCNN)对二维图像f(x,y)进行特征提取,得到缺陷特征:
(9.1)、构造一个由I×J个神经元的PCNN网络,每个神经元分别与二维图像f(x,y)的I×J个像素点相对应,将第x行,第y列像素点像素值作为标号为第x行,第y列的神经网络神经元的外部刺激Ixy送入PCNN,获得图像分割结果RE,RE是一个二值矩阵;
(9.2)、对二值矩阵RE求边缘轮廓,得到缺陷特征。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910019827.XA CN109767438B (zh) | 2019-01-09 | 2019-01-09 | 一种基于动态多目标优化的红外热图像缺陷特征识别方法 |
US16/370,202 US11036978B2 (en) | 2018-05-29 | 2019-03-29 | Method for separating out a defect image from a thermogram sequence based on weighted naive bayesian classifier and dynamic multi-objective optimization |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910019827.XA CN109767438B (zh) | 2019-01-09 | 2019-01-09 | 一种基于动态多目标优化的红外热图像缺陷特征识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109767438A CN109767438A (zh) | 2019-05-17 |
CN109767438B true CN109767438B (zh) | 2021-06-08 |
Family
ID=66453527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910019827.XA Active CN109767438B (zh) | 2018-05-29 | 2019-01-09 | 一种基于动态多目标优化的红外热图像缺陷特征识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109767438B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321871B (zh) * | 2019-07-11 | 2023-04-07 | 电子科技大学成都学院 | 一种基于lstm的掌静脉识别系统及方法 |
CN110569616B (zh) * | 2019-09-12 | 2022-06-21 | 哈尔滨工业大学 | 一种基于som的建筑多目标优化设计决策支持方法 |
CN110889437B (zh) * | 2019-11-06 | 2022-11-11 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111311638B (zh) * | 2020-02-11 | 2020-12-08 | 中国人民解放军军事科学院评估论证研究中心 | 基于分割多向预测策略的动态多目标优化方法 |
CN111598887B (zh) * | 2020-05-25 | 2023-04-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于lvq-gmm算法和多目标优化分割算法的航天器缺陷检测方法 |
CN111667466B (zh) * | 2020-05-26 | 2023-04-18 | 湖北工业大学 | 一种带钢表面质量缺陷多分类的多目标优化特征选择方法 |
CN112037211B (zh) * | 2020-09-04 | 2022-03-25 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种用于微小空间碎片撞击事件动态监测的损伤特征识别方法 |
CN112016628B (zh) * | 2020-09-04 | 2022-05-06 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于动态多目标预测的空间碎片撞击损伤判读方法 |
CN112016627B (zh) * | 2020-09-04 | 2022-04-19 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种在轨航天器微小撞击损伤可视化检测评估方法 |
CN112233099B (zh) * | 2020-10-21 | 2022-03-25 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种可重复使用航天器表面撞击损伤特征识别方法 |
CN112215830B (zh) * | 2020-10-21 | 2022-03-04 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种航天防热材料撞击损伤特征类型判读方法 |
CN112819778B (zh) * | 2021-01-28 | 2022-04-12 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种航天材料损伤检测图像多目标全像素分割方法 |
CN112784847B (zh) * | 2021-01-28 | 2022-03-04 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种超高速撞击损伤检测图像的分割识别方法 |
CN113538232B (zh) * | 2021-06-21 | 2023-04-07 | 电子科技大学 | 大尺寸航空航天复合材料构件全局缺陷定量识别方法 |
CN113723433B (zh) * | 2021-11-03 | 2022-02-15 | 北京邮电大学 | 一种基于动态参考点的多目标特征选择方法和装置 |
CN114882016B (zh) * | 2022-06-30 | 2022-12-13 | 中国矿业大学(北京) | 基于红外温度场时序信息识别混凝土缺陷面积方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488851A (zh) * | 2013-10-15 | 2014-01-01 | 浙江大学 | 基于几何结构信息的多目标优化方法 |
US8856054B2 (en) * | 2011-01-31 | 2014-10-07 | The Penn State Research Foundation Intellectual Property Offie, The Pennsylvania State University | Evolutionary computing based optimization |
CN105447857A (zh) * | 2015-11-17 | 2016-03-30 | 电子科技大学 | 脉冲涡流红外热图像的特征提取方法 |
CN105674326A (zh) * | 2016-01-13 | 2016-06-15 | 北京市环境保护科学研究院 | 一种工业燃气锅炉多目标多约束燃烧优化方法 |
CN103839261B (zh) * | 2014-02-18 | 2017-01-25 | 西安电子科技大学 | 基于分解进化多目标优化和fcm的sar图像分割方法 |
CN107025445A (zh) * | 2017-04-10 | 2017-08-08 | 中国科学院合肥物质科学研究院 | 基于类信息熵的多源遥感图像组合选择方法 |
CN107515822A (zh) * | 2017-08-16 | 2017-12-26 | 南京大学 | 基于多目标优化的软件缺陷定位方法 |
CN107590436A (zh) * | 2017-08-10 | 2018-01-16 | 云南财经大学 | 基于膜粒子群多目标算法的雷达辐射源信号特征选择方法 |
CN108765401A (zh) * | 2018-05-29 | 2018-11-06 | 电子科技大学 | 一种基于行列变步长分割和区域生长法的热成像检测方法 |
-
2019
- 2019-01-09 CN CN201910019827.XA patent/CN109767438B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8856054B2 (en) * | 2011-01-31 | 2014-10-07 | The Penn State Research Foundation Intellectual Property Offie, The Pennsylvania State University | Evolutionary computing based optimization |
CN103488851A (zh) * | 2013-10-15 | 2014-01-01 | 浙江大学 | 基于几何结构信息的多目标优化方法 |
CN103839261B (zh) * | 2014-02-18 | 2017-01-25 | 西安电子科技大学 | 基于分解进化多目标优化和fcm的sar图像分割方法 |
CN105447857A (zh) * | 2015-11-17 | 2016-03-30 | 电子科技大学 | 脉冲涡流红外热图像的特征提取方法 |
CN105674326A (zh) * | 2016-01-13 | 2016-06-15 | 北京市环境保护科学研究院 | 一种工业燃气锅炉多目标多约束燃烧优化方法 |
CN107025445A (zh) * | 2017-04-10 | 2017-08-08 | 中国科学院合肥物质科学研究院 | 基于类信息熵的多源遥感图像组合选择方法 |
CN107590436A (zh) * | 2017-08-10 | 2018-01-16 | 云南财经大学 | 基于膜粒子群多目标算法的雷达辐射源信号特征选择方法 |
CN107515822A (zh) * | 2017-08-16 | 2017-12-26 | 南京大学 | 基于多目标优化的软件缺陷定位方法 |
CN108765401A (zh) * | 2018-05-29 | 2018-11-06 | 电子科技大学 | 一种基于行列变步长分割和区域生长法的热成像检测方法 |
Non-Patent Citations (5)
Title |
---|
"An improved feature extraction algorithm for automatic defect identification based on eddy current pulsed thermography";P. P. Zhu, C. Yin, Y. H. Cheng, et al.;《Mechanical Systems and Signal Processing》;20170317;第5-21页 * |
"MOEA/D: A Multiobjective Evolutionary Algorithm Based on Decomposition";Qingfu Zhang,Hui Li;《IEEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION》;20071231;第11卷(第6期);第712-731页 * |
"SPATIAL INFORMATION BASED FCM FOR INFRARED SHIP TARGET SEGMENTATION";Xiangzhi Bai,Zhiguo Chen et. al .;《IEEE Transactions on Cybernetics》;20151231;第46卷(第12期);第5127-5131页 * |
"基于模糊集和k-means算法的变压器红外图像分割";巩方超,王硕禾等;《石家庄铁道大学学报(自然科学版)》;20180630;第31卷(第2期);第76-81页 * |
"基于涡流磁光成像检测的缺陷图像分割方法";田露露,程玉华等;《2018 远东无损检测新技术论坛》;20181231;第162-169页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109767438A (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109767438B (zh) | 一种基于动态多目标优化的红外热图像缺陷特征识别方法 | |
CN109767437B (zh) | 基于k均值动态多目标的红外热图像缺陷特征提取方法 | |
CN109559309B (zh) | 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 | |
Kukreja et al. | A Deep Neural Network based disease detection scheme for Citrus fruits | |
CN109544546B (zh) | 一种基于多目标优化的红外热图像缺陷特征提取方法 | |
CN109598711B (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
CN105913025B (zh) | 一种基于多特征融合的深度学习人脸识别方法 | |
CN103593670B (zh) | 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 | |
CN103390279B (zh) | 联合显著性检测与判别式学习的目标前景协同分割方法 | |
Ghazal et al. | Analysis of visual features and classifiers for Fruit classification problem | |
CN109919241B (zh) | 基于概率模型和深度学习的高光谱未知类别目标检测方法 | |
Kumari et al. | Hybridized approach of image segmentation in classification of fruit mango using BPNN and discriminant analyzer | |
CN109684922A (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN105447857A (zh) | 脉冲涡流红外热图像的特征提取方法 | |
CN106874862B (zh) | 基于子模技术和半监督学习的人群计数方法 | |
CN108268890A (zh) | 一种高光谱图像分类方法 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN115019103A (zh) | 基于坐标注意力群组优化的小样本目标检测方法 | |
CN109816638A (zh) | 基于动态环境特征和加权贝叶斯分类器的缺陷提取方法 | |
Kumar et al. | Multiclass support vector machine based plant leaf diseases identification from color, texture and shape features | |
CN113469084B (zh) | 基于对比生成对抗网络的高光谱图像分类方法 | |
CN109872319B (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
Wang et al. | Classification and extent determination of rock slope using deep learning | |
CN109636781B (zh) | 一种基于特征挖掘和加权贝叶斯分类器的缺陷提取方法 | |
CN105678798A (zh) | 一种结合局部空间信息的多目标模糊聚类图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |