CN109559309B - 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 - Google Patents
基于均匀进化的多目标优化红外热图像缺陷特征提取方法 Download PDFInfo
- Publication number
- CN109559309B CN109559309B CN201811451866.9A CN201811451866A CN109559309B CN 109559309 B CN109559309 B CN 109559309B CN 201811451866 A CN201811451866 A CN 201811451866A CN 109559309 B CN109559309 B CN 109559309B
- Authority
- CN
- China
- Prior art keywords
- pixel
- column
- matrix
- transient
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 71
- 238000000605 extraction Methods 0.000 title claims abstract description 21
- 238000005457 optimization Methods 0.000 title claims abstract description 18
- 230000001052 transient effect Effects 0.000 claims abstract description 93
- 230000004044 response Effects 0.000 claims abstract description 89
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 81
- 239000013598 vector Substances 0.000 claims description 28
- 230000000875 corresponding effect Effects 0.000 claims description 23
- 230000009191 jumping Effects 0.000 claims description 20
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 18
- 238000012360 testing method Methods 0.000 description 14
- 239000000463 material Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000001931 thermography Methods 0.000 description 3
- 239000004020 conductor Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开了一种基于均匀进化的多目标优化红外热图像缺陷特征提取方法,通过对热图像序列变换步长选取出像素点的瞬态热响应,并采用FCM进行分类,得到各个像素点的瞬态热响应的所属类别,然后考虑每个类别像素点与同类像素点的像素值(温度值)相似性,同时考虑该像素点(温度点)与不同类别像素点(温度点)的差异性,构造相应的多目标函数,利用基于分解的均匀进化多目标进化算法,获得热图像序列的降维结果,最后利用脉冲耦合神经网络进行特征提取,从而提取出红外热图像的缺陷特征。通过解的均匀进化方向,使得差异性与相似性得到综合考虑,实现代表像素点(温度点)的精确选择,保证了缺陷特征提取的精准度。
Description
技术领域
本发明属于缺陷检测技术领域,更为具体地讲,涉及一种基于均匀进化的多目标优化红外热图像缺陷特征提取方法。
背景技术
红外热图像检测技术通过控制热激励方法和测量材料表面的温场变化获取材料表面及其表面以下的结构信息,从而达到检测的目的。在获取结构信息时,常常用到红外热像仪记录试件表面或者亚表面随时间变化的温场信息,并将其转换为热图像序列呈现出来。由于用红外热像仪得到的热图像序列的数据量巨大,噪声干扰强,为了获得更好的检测效果,需要对热图像序列进行特征提取。
在处理热图像序列时,有基于单帧图像处理的方法,也有基于图像序列处理的方法。基于单帧图像处理的方法只考虑了试件在某一个时刻的温度分布信息,并不能体现试件在不同时刻的温度情况,得到的处理结果是不完整的,片面的。因此基于图像序列处理的方法得到了广泛的关注与研究。
红外热成像检测最常采用的是涡流热成像。根据电磁感应定律,当通入高频的交变电流的感应线圈靠近导体试件(简称试件)时,在试件的表面会感生出涡流。如果试件中有缺陷,涡流将被迫绕过缺陷,改变其流向,这将使得被测件内部涡流密度发生变化。由焦耳定律可知,涡流在试件中转换成焦耳热,导致试件中产生的热量不均匀,从而产生高温区和低温区,由于温度的差异性,高温区热量通过热传导向低温区传递,导致试件不同区域温度发生变化,通过红外热像仪采集试件温度的变化过程,然后将采集的热图像序列交给计算机进行分析处理,来获取试件相关信息,实现缺陷的定性与定量检测。
在2018年10月30日公布的、公布号为CN108712069A、名称为“一种基于行变步长分割的高压容器热成像缺陷检测方法”的中国发明专利申请中,对聚类结果进行降维处理,并用降维得到的二维矩阵与原图像序列线性变换后提取缺陷特征。在这个过程中,利用不同类别间的相关度获取每一类的代表温度点,但是没有研究代表温度点与同类温度点的相似性,选出的代表温度点不足以表征该类的特征,故需要同时考虑差异性和相似性这两个方面的目标。此外,该方法是在每个类别中搜索具有区域代表性的热响应温度点,该温度点是对应类别中筛选与其他聚类中心距离和最大的热响应数据,所有类别的代表温度点的热响应数据构成一个二维矩阵,然后这些代表温度点对对应类别的信息表征是不全面的,故通过线性变换后提取的缺陷特征是不准确的,从而达不到一定的精准度。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于均匀进化的多目标优化红外热图像缺陷特征提取方法,通过解的均匀进化方向,使得差异性与相似性得到综合考虑,以提高缺陷特征提取的精准度。
为实现上述发明目的,本发明基于均匀进化的多目标优化红外热图像缺陷特征提取方法,其特征在于,包括以下步骤:
(1)、将红外热像仪获取的热图像序列用三维矩阵S表示,其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值;
(2)、从三维矩阵S选出最大像素值S(izz,jzz,tzz),其中,izz、jzz和tzz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数;
(3)、对于三维矩阵S的tzz帧,选取第jzz行,根据像素值(即温度值)的变化,选取P个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按行对三维矩阵S进行划分,得到P+1个行数据块;
在第p个行数据块Sp中(p=1,2,...,P+1),找到最大像素值,记为其中,分别表示第p个行数据块Sp中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量;
设置第p个行数据块Sp的温度阈值为THREp,计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Reb,b依次取1,2,...,并判断相关度Reb是否小于温度阈值THREp,当小于时,停止计算,此时,像素点间距b为第p个行数据块行数据块Sp的行步长,记为CLp;
(4)、对于三维矩阵S的tzz帧,选取第izz行,根据像素值(即温度值)的变化,选取Q个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按列对三维矩阵S进行划分,得到Q+1个列数据块;
在第q个列数据块Sq中(q=1,2,...,Q+1),找到最大像素值,记为其中,分别表示第q个列数据块Sq中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量;
设置第q个列数据块Sq的温度阈值为THREq,计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Red,d依次取1,2,...,并判断相关度Red是否小于温度阈值THREq,当小于时,停止计算,此时,像素点间距d为第d个列数据块Sq的列步长,记为CLq;
(5)、分块分步长选取瞬态热响应
(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块,得到(P+1)×(Q+1)个数据块,行上第p、列上第q个数据块表示为Sp,q;
(5.2)、对于每个数据块Sp,q,设置阈值DD,初始化集合编号g=1,初始化像素点位置i=1,j=1,并将最大像素值S(izz,jzz,tzz)对应的瞬态热响应S(izz,jzz,t),t=1,2,...,T,存储在集合X(g)中;然后计算数据块Sp,q中像素点位于i行,j列的瞬态热响应Sp,q(i,j,t),t=1,2,...,T,与集合X(g)间的相关度Rei,j,并判断:
如果Rei,j<DD,则g=g+1,并将瞬态热响应Sp,q(i,j,t),t=1,2,...,T作为一个新特征存储在集合X(g)中;否则,令i=i+CLp,继续计算下一个瞬态热响应Sp,q(i,j,t),t=1,2,...,T与集合X(g)的相关度;如果i>Mp,q,则令i=i-Mp,q,j=j+CLq,即变化到第j+CLq列进行计算,如果j>Np,q,则瞬态热响应选取完毕,其中,Mp,q、Np,q分别为数据块Sp,q的行数、列数;
(6)、将步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态响应采用FCM(模糊C均值聚类)算法分为L类,得到每个瞬态响应所属的类别;
(7)、均匀进化的多目标优化选取每类瞬态热响应的代表,并构成矩阵Y
(7.1)、对第i'(i'=1,...,L)个类瞬态响应选代表时,定义多目标函数:
minimize F(i'X)=(f1(i'X),...,fL(i'X))T
其中,f1(i'X)为第i'类瞬态响应选出的一个瞬态响应i'X的类内欧氏距离,表示为:
fl(i'X),l=2,3,...,L为第i'类瞬态响应选出的一个瞬态响应i'X的L-1个类间欧
i'xh为瞬态响应i'X在第h时刻的像素值即温度值,i'Centerh为第i'类瞬态响应聚类中心在第h时刻的像素值即温度值,j'Centerh为第j'类瞬态响应聚类中心在第h时刻的像素值即温度值;
(7.2)、基于分解的多目标进化算法(Multi-objective Evolutionary AlgorithmBased on Decomposition,MOEA/D),以步骤(7.1)给出多目标函数,选出第i'类瞬态响应的代表i'REP,i'∈(1,2,...,L);
①、设置进化的范围:根据随机产生的随机数rand∈(0,1),设置阈值δ,确定邻域范围范围Pi'(n):
其中,Bi'(n)为权值向量索引集;
其中,变异因子σi'(h)满足:
(7.3)、将L类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值),构成一个T×L的矩阵Y;
(8)、将三维矩阵S中的每一帧从第一列开始,将后一列接在前一列的末尾,构成新的一列,得到T帧对应的T列像素值,然后,依据时间先后,将T列像素值依次放置,构成I×J行、T列二维图像矩阵O,用矩阵Y对二维矩阵O进行线性变换,即:得到二维图像矩阵R,其中,为K×T矩阵,是矩阵Y的伪逆矩阵,OT二维图像矩阵O的转置矩阵,得到的二维图像矩阵R为K行、I×J列;
二维图像矩阵R的每一行,按J列依次进行截取,截取的J列按行依次放置,构成一张I×J二维图像,这样K行,得到K张I×J二维图像,这些图片都包含了缺陷区域,为方便缺陷轮廓提取,选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像,并记为f(x,y);
(9)、利用脉冲耦合神经网络(PCNN)对二维图像f(x,y)进行特征提取,得到缺陷特征:
(9.1)、构造一个由I×J个神经元的PCNN网络,每个神经元分别与二维图像f(x,y)的I×J个像素点相对应,将第x行,第y列像素点像素值作为标号为第x行,第y列的神经网络神经元的外部刺激Ixy送入PCNN,获得图像分割结果RE,RE是一个二值矩阵;
(9.2)、对二值矩阵RE求边缘轮廓,得到缺陷特征。
本发明的发明目的是这样实现的:
本发明基于均匀进化的多目标优化红外热图像缺陷特征提取方法,通过对热图像序列变换步长选取出像素点的瞬态热响应,并采用FCM进行分类,得到各个像素点的瞬态热响应的所属类别,然后考虑每个类别像素点与同类像素点的像素值(温度值)相似性,同时考虑该像素点(温度点)与不同类别像素点(温度点)的差异性,构造相应的多目标函数,利用基于分解的均匀进化多目标进化算法,获得热图像序列的降维结果,最后利用脉冲耦合神经网络进行特征提取,从而提取出红外热图像的缺陷特征。通过解的均匀进化方向,使得差异性与相似性得到综合考虑,实现代表像素点(温度点)的精确选择,保证了缺陷特征提取的精准度。
同时,本发明基于均匀进化的多目标优化红外热图像缺陷特征提取方法还具有以下有益效果:
1、本发明采用多目标优化方法实现了差异性与相似性的综合考量,并准确的刻画缺陷轮廓,弥补了传统方法对于降维处理上的一些不足;
2、本发明提取缺陷特征比只基于差异性的算法提取缺陷特征更具代表性。
附图说明
图1是本发明基于均匀进化的多目标优化红外热图像缺陷特征提取方法一种具体实施方式的流程图;
图2是采用模糊C均值聚类对选取的瞬态热响应进行分类后的结果图;
图3是材料本身温度点的瞬态热响应曲线图;
图4是缺陷1温度点的瞬态热响应曲线图;
图5是缺陷2温度点的瞬态热响应曲线图;
图6是基于差异性选取的对应材料本身温度点的瞬态热响应曲线图;
图7是基于差异性选取的对应缺陷1温度点的瞬态热响应曲线图;
图8是基于差异性选取的对应缺陷2温度点的瞬态热响应曲线图;
图9是基于本发明选取的对应材料本身温度点的瞬态热响应曲线图;
图10是基于本发明选取的对应缺陷1温度点的瞬态热响应曲线图;
图11是基于本发明选取的对应缺陷2温度点的瞬态热响应曲线图;
图12是基于本发明提取的缺陷特征图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
图1是本发明基于均匀进化的多目标优化红外热图像缺陷特征提取方法一种具体实施方式的流程图。
在本实施例中,如图1所示,本发明基于均匀进化的多目标优化红外热图像缺陷特征提取方法包括以下步骤:
步骤S1:热图像序列表示为三维矩阵
将红外热像仪获取的热图像序列用三维矩阵S表示,其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值。
步骤S2:选出最大像素值
从三维矩阵S选出最大像素值S(izz,jzz,tzz),其中,izz、jzz和tzz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数。
步骤S3:划分出行数据块并计算其行步长
对于三维矩阵S的tzz帧,选取第jzz行,根据像素值(即温度值)的变化,选取P个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按行对三维矩阵S进行划分,得到P+1个行数据块;
在第p个行数据块Sp中(p=1,2,...,P+1),找到最大像素值,记为其中,分别表示第p个行数据块Sp中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量;
设置第p个行数据块Sp的温度阈值为THREp,计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Red,d依次取1,2,...,并判断相关度Red是否小于温度阈值THREp,当小于时,停止计算,此时,像素点间距d为第p个行数据块行数据块Sp的行步长,记为CLp。
步骤S4:划分出列数据块并计算其列步长
对于三维矩阵S的tzz帧,选取第izz行,根据像素值(即温度值)的变化,选取K个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按列对三维矩阵S进行划分,得到K+1个列数据块;
在第k个列数据块Sk中(k=1,2,...,K+1),找到最大像素值,记为其中,分别表示第k个列数据块Sk中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量;
设置第k个列数据块Sk的温度阈值为THREk,计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Rec,c依次取1,2,...,并判断相关度Rec是否小于温度阈值THREk,当小于时,停止计算,此时,像素点间距c为第k个列数据块Sk的列步长,记为CLk。
步骤S5:分块分步长选取瞬态热响应
步骤S5.1:依据步骤S3选取的P个像素值跳变点按列以及步骤步骤S4选取的K个像素值跳变点按行对三维矩阵S进行分块,得到(P+1)×(K+1)个数据块,行上第p、列上第k个数据块表示为Sp,k;
步骤S5.2:对于每个数据块Sp,k,设置阈值DD,初始化集合编号g=1,初始化像素点位置i=1,j=1,并将最大像素值S(izz,jzz,tzz)对应的瞬态热响应S(izz,jzz,t),t=1,2,...,T,存储在集合X(g)中;然后计算数据块Sk,p中像素点位于i行,j列的瞬态热响应Sp,k(i,j,t),t=1,2,...,T,与集合X(g)间的相关度Rei,j,并判断:
如果Rei,j<DD,则g=g+1,并将瞬态热响应Sp,k(i,j,t),t=1,2,...,T作为一个新特征存储在集合X(g)中;否则,令i=i+CLp,继续计算下一个瞬态热响应Sp,k(i,j,t),t=1,2,...,T与集合X(g)的相关度;如果i>Mp,k,则令i=i-Mp,k,j=j+CLk,即变化到第j+CLk列进行计算,如果j>Np,k,则瞬态热响应选取完毕,其中,Mp,k、Np,k分别为数据块Sp,k的行数、列数。
步骤S6:采用模糊C均值聚类对选取的瞬态热响应进行分类
将步骤S5选取的所有(P+1)×(K+1)个数据块的所有集合X(g)即瞬态响应采用FCM(模糊C均值聚类)算法分为L类,得到每个瞬态响应所属的类别。
在本实施例中,具体而言,包括以下步骤:
步骤S6.1:设置聚类数目L,初始化迭代次数c=0,设定终止迭代条件阈值ε;
其中,i'=1,2,…,L,c∈L,n'dk'=||xk'-i'V||,n'=i',j',n'dk'表示第k'个像素点与第i'聚类中心i'V的欧氏距离,xk'表示第k'个像素点的坐标;τ为常数;i'uk'表示第k'个像素点隶属于第i'类的程度;
步骤S6.3:更新聚类中心i'V
步骤S6.4:如果迭代次数到达最大值L或者前后两次聚类中心之差绝对值小于ε,则算法结束,并输出隶属度矩阵U和聚类中心V,再进入步骤步骤S6.5;否则,令c=c+1,返回步骤S6.2;
步骤S6.5:利用隶属度最大化准则对所有像素点去模糊化,得到每个像素点所属类别,即Mk'=argi'max(i'uk')。
步骤S7:均匀进化的多目标优化选取每类瞬态热响应的代表
步骤S7.1:对第i'(i'=1,...,L)个类瞬态响应选代表时,定义多目标函数:
minimize F(i'X)=(f1(i'X),...,fL(i'X))T
其中,f1(i'X)为第i'类瞬态响应选出的一个瞬态响应i'X的类内欧氏距离,表示为:
i'xh为瞬态响应i'X在第h时刻的像素值即温度值,i'Centerh为第i'类瞬态响应聚类中心在第h时刻的像素值即温度值,j'Centerh为第j'类瞬态响应聚类中心在第h时刻的像素值即温度值;
步骤S7.2:基于分解的多目标进化算法(Multi-objective EvolutionaryAlgorithm Based on Decomposition,MOEA/D),以步骤(7.1)给出多目标函数,选出第i'类瞬态响应的代表i'REP,i'∈(1,2,...,L):
步骤S7.2.2:利用Tchebycheff分解算法将L个多目标问题分解为N个子问题,每个子问题为:
步骤S7.2.3:初始化种群中的个体:初始化进化次数h=0,从i'Ω中随机生成N个值按照下列公式得到第i'类种群个体的初始化值i'X1(0),i'X2(0),...,i'Xj(0),...,i'XN(0)∈i'Ω:
i'Xn(0)表示初始化时第i'类中第n个个体的值,i'Ω为第i'类T时间维度的瞬态热响应确定的取值范围;
A、更新个体:
①、设置进化的范围:根据随机产生的随机数rand∈(0,1),设置阈值δ,确定邻域范围范围Pi'(n):
其中,Bi'(n)为权值向量索引集;
其中,变异因子σi'(h)满足:
B、更新参考点i'z(h):对每一个l=1,2,...,L,若i'zl(h)>fl(i'Y(h)),令i'zl(h)=fl(i'Y(h)),i'zl(h)表示第i’类在第h次进化时函数fh的参考点;
D、更新i'EP(h):从i'EP(h)中保留支配F(i'Y(h))的的解向量,移除所有被F(i'Y(h))支配的解向量,如果i'EP(h)中的向量都不支配F(i'Y(h)),将F(i'Y(h))加入i'EP(h);同时n=n+1,即对下一个权值向量进行处理;
步骤S7.2.7:循环判断:若n>N则h=h+1,即进行下一次进化;若不满足终止条件,重复步骤S7.2.6,否则,得到第i'类温度瞬态热响应最终的Pareto前沿解集i'EP(h)。
步骤S7.2.8:从i'EP(h)中选取一个温度瞬态热响应优化解i'REP,第i'类瞬态响应的代表i'REP,i'∈(1,2,...,L);
步骤S7.3:将L类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值),构成一个T×L的矩阵Y;
步骤S8:将三维矩阵S变为二维矩阵,并用矩阵Y对其进行线性变换得到得到二维图像矩阵R以及像素值(温度值)差距最大的一张二维图像f(x,y):
将三维矩阵S中的每一帧从第一列开始,将后一列接在前一列的末尾,构成新的一列,得到T帧对应的T列像素值,然后,依据时间先后,将T列像素值依次放置,构成I×J行、T列二维图像矩阵O,用矩阵Y对二维矩阵O进行线性变换,即:得到二维图像矩阵R,其中,为K×T矩阵,是矩阵Y的伪逆矩阵,OT二维图像矩阵O的转置矩阵,得到的二维图像矩阵R为K行、I×J列;
二维图像矩阵R的每一行,按J列依次进行截取,截取的J列按行依次放置,构成一张I×J二维图像,这样K行,得到K张I×J二维图像,这些图片都包含了缺陷区域,为方便缺陷轮廓提取,选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像,并记为f(x,y)。
步骤S9:利用脉冲耦合神经网络(PCNN)对二维图像f(x,y)进行特征提取,得到缺陷特征
步骤S9.1:构造一个由I×J个神经元的PCNN网络,每个神经元分别与二维图像f(x,y)的I×J个像素点相对应,将第x行,第y列像素点像素值作为标号为第x行,第y列的神经网络神经元的外部刺激Ixy送入PCNN,获得图像分割结果RE,RE是一个二值矩阵;
步骤S9.2:、对二值矩阵RE求边缘轮廓,得到缺陷特征。
实例
在本实施例中,在试件上有两种缺陷,即没有填充任何材料的缺陷1以及填充导热性差材料的缺陷2。
在本实施例中,采用模糊C均值聚类对选取的瞬态热响应进行分类后的结果图如图2所示。
在试件的热像图序列中直接提取三个已知温度点,即材料本身温度点、缺陷1温度点以及缺陷2温度点的瞬态热响应曲线,分别记为BacPOINT、Def1POINT以及Def2POINT,如图3、4、5所示。
用现有基于差异性选瞬态热响应代表的方法,获得了三个瞬态热响应代表:ANFCM12、BNFCM3以及cNFCM50,它们分别对应材料本身温度点、缺陷1温度点以及缺陷2温度点,其曲线如图6、7、8所示。
用本发明中多目标优化选瞬态热响应代表的方法,获得了三个瞬态热响应代表:ANFCM14、BNFCM9以及cNFCM12,它们分别对应材料本身温度点、缺陷1温度点以及缺陷2温度点,其曲线如图9、10、11所示。
由热响应曲线可知:缺陷1温度点具有明显的下降趋势,缺陷2温度点的幅值温度最低。三个特征相比,缺陷1温度点放热最快,缺陷2温度点最慢。
两种方法下的瞬态热响应曲线与直接从热像图序列提取对应的瞬态热响应曲线相关度如表1所示。
本身温度点 | 缺陷1温度点 | 缺陷2温度点 | |
基于差异法 | 0.9974 | 0.9679 | 0.9973 |
本发明 | 0.9987 | 0.9993 | 0.9977 |
表1
从表1,可以看出,本发明方法选取的瞬态热响应曲线的相关性更好。
在本实施例中,提取的缺陷特征如图12所示。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (1)
1.一种基于均匀进化的多目标优化红外热图像缺陷特征提取方法,其特征在于,包括以下步骤:
(1)、将红外热像仪获取的热图像序列用三维矩阵S表示,其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值;
(2)、从三维矩阵S选出最大像素值S(izz,jzz,tzz),其中,izz、jzz和tzz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数;
(3)、对于三维矩阵S的tzz帧,选取第jzz行,根据像素值的变化,选取P个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按行对三维矩阵S进行划分,得到P+1个行数据块;
在第p个行数据块Sp中(p=1,2,...,P+1),找到最大像素值,记为其中,分别表示第p个行数据块Sp中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量;
设置第p个行数据块Sp的温度阈值为THREp,计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Reb,b依次取1,2,...,并判断相关度Reb是否小于温度阈值THREp,当小于时,停止计算,此时,像素点间距b为第p个行数据块行数据块Sp的行步长,记为CLp;
(4)、对于三维矩阵S的tzz帧,选取第izz行,根据像素值的变化,选取Q个像素值跳变点,跳变点位于两个跳变像素值像素点之间,以跳变点按列对三维矩阵S进行划分,得到Q+1个列数据块;
在第q个列数据块Sq中(q=1,2,...,Q+1),找到最大像素值,记为其中,分别表示第q个列数据块Sq中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数,则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量;
设置第q个列数据块Sq的温度阈值为THREq,计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Red,d依次取1,2,...,并判断相关度Red是否小于温度阈值THREq,当小于时,停止计算,此时,像素点间距d为第d个列数据块Sq的列步长,记为CLq;
(5)、分块分步长选取瞬态热响应
(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块,得到(P+1)×(Q+1)个数据块,行上第p、列上第q个数据块表示为Sp,q;
(5.2)、对于每个数据块Sp,q,设置阈值DD,初始化集合编号g=1,初始化像素点位置i=1,j=1,并将最大像素值S(izz,jzz,tzz)对应的瞬态热响应S(izz,jzz,t),t=1,2,...,T,存储在集合X(g)中;然后计算数据块Sp,q中像素点位于i行,j列的瞬态热响应Sp,q(i,j,t),t=1,2,...,T,与集合X(g)间的相关度Rei,j,并判断:
如果Rei,j<DD,则g=g+1,并将瞬态热响应Sp,q(i,j,t),t=1,2,...,T作为一个新特征存储在集合X(g)中;否则,令i=i+CLp,继续计算下一个瞬态热响应Sp,q(i,j,t),t=1,2,...,T与集合X(g)的相关度;如果i>Mp,q,则令i=i-Mp,q,j=j+CLq,即变化到第j+CLq列进行计算,如果j>Np,q,则瞬态热响应选取完毕,其中,Mp,q、Np,q分别为数据块Sp,q的行数、列数;
(6)、将步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态响应采用FCM(模糊C均值聚类)算法分为L类,得到每个瞬态响应所属的类别;
(7)、均匀进化的多目标优化选取每类瞬态热响应的代表,并构成矩阵Y
(7.1)、对第i'(i'=1,...,L)个类瞬态响应选代表时,定义多目标函数:
minimizeF(i'X)=(f1(i'X),...,fL(i'X))T
其中,f1(i'X)为第i'类瞬态响应选出的一个瞬态响应i'X的类内欧氏距离,表示为:
i'xh为瞬态响应i'X在第h时刻的像素值即温度值,i'Centerh为第i'类瞬态响应聚类中心在第h时刻的像素值即温度值,j'Centerh为第j'类瞬态响应聚类中心在第h时刻的像素值即温度值;
(7.2)、基于分解的多目标进化算法(Multi-objective Evolutionary AlgorithmBased on Decomposition,MOEA/D),以步骤(7.1)给出多目标函数,选出第i'类瞬态响应的代表i'REP,i'∈(1,2,...,L);
①、设置进化的范围:根据随机产生的随机数rand∈(0,1),设置阈值δ,确定邻域范围范围Pi'(n):
其中,Bi'(n)为权值向量索引集;
其中,变异因子σi'(h)满足:
(7.3)、将L类的瞬态响应代表按列放置,构成一个T×L的矩阵Y;
(8)、将三维矩阵S中的每一帧从第一列开始,将后一列接在前一列的末尾,构成新的一列,得到T帧对应的T列像素值,然后,依据时间先后,将T列像素值依次放置,构成I×J行、T列二维图像矩阵O,用矩阵Y对二维矩阵O进行线性变换,即:得到二维图像矩阵R,其中,为K×T矩阵,是矩阵Y的伪逆矩阵,OT二维图像矩阵O的转置矩阵,得到的二维图像矩阵R为K行、I×J列;
二维图像矩阵R的每一行,按J列依次进行截取,截取的J列按行依次放置,构成一张I×J二维图像,这样K行,得到K张I×J二维图像,这些图片都包含了缺陷区域,为方便缺陷轮廓提取,选择缺陷区域和非缺陷区域像素值差距最大的一张二维图像,并记为f(x,y);
(9)、利用脉冲耦合神经网络(PCNN)对二维图像f(x,y)进行特征提取,得到缺陷特征:
(9.1)、构造一个由I×J个神经元的PCNN网络,每个神经元分别与二维图像f(x,y)的I×J个像素点相对应,将第x行,第y列像素点像素值作为标号为第x行,第y列的神经网络神经元的外部刺激Ixy送入PCNN,获得图像分割结果RE,RE是一个二值矩阵;
(9.2)、对二值矩阵RE求边缘轮廓,得到缺陷特征。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811451866.9A CN109559309B (zh) | 2018-11-30 | 2018-11-30 | 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 |
US16/370,136 US10846841B2 (en) | 2018-05-29 | 2019-03-29 | Method for separating out a defect image from a thermogram sequence based on feature extraction and multi-objective optimization |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811451866.9A CN109559309B (zh) | 2018-11-30 | 2018-11-30 | 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109559309A CN109559309A (zh) | 2019-04-02 |
CN109559309B true CN109559309B (zh) | 2021-03-30 |
Family
ID=65868117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811451866.9A Active CN109559309B (zh) | 2018-05-29 | 2018-11-30 | 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109559309B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110986960B (zh) * | 2019-12-31 | 2022-10-28 | 哈尔滨工业大学 | 一种基于改进聚类算法的无人机航迹规划方法 |
CN112016628B (zh) * | 2020-09-04 | 2022-05-06 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于动态多目标预测的空间碎片撞击损伤判读方法 |
CN112233099B (zh) * | 2020-10-21 | 2022-03-25 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种可重复使用航天器表面撞击损伤特征识别方法 |
CN112508903B (zh) * | 2020-12-01 | 2022-04-19 | 电子科技大学 | 一种卫星望远镜镜片表面疵病轮廓检测方法 |
CN112819775B (zh) * | 2021-01-28 | 2022-07-19 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种航空航天复合材料损伤检测图像的分割强化方法 |
CN112819778B (zh) * | 2021-01-28 | 2022-04-12 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种航天材料损伤检测图像多目标全像素分割方法 |
CN112784847B (zh) * | 2021-01-28 | 2022-03-04 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种超高速撞击损伤检测图像的分割识别方法 |
CN112884716B (zh) * | 2021-01-28 | 2022-03-18 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种超高速撞击损伤区域特征强化方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004104610A3 (en) * | 2003-05-15 | 2005-02-24 | Univ Case Western Reserve | Optimized magnetic resonance data acquisition |
CN103316928A (zh) * | 2013-06-25 | 2013-09-25 | 中冶南方工程技术有限公司 | 一种冷轧板形信号在线模式识别系统 |
CN103839261A (zh) * | 2014-02-18 | 2014-06-04 | 西安电子科技大学 | 一种基于分解进化多目标优化和fcm的sar图像分割方法 |
CN104463171A (zh) * | 2014-12-09 | 2015-03-25 | 四川大学 | 一种基于pcnn的印文提取方法 |
CN104809722A (zh) * | 2015-04-13 | 2015-07-29 | 国家电网公司 | 一种基于红外热像的电气设备故障诊断方法 |
CN106647262A (zh) * | 2016-11-28 | 2017-05-10 | 中国人民解放军国防科学技术大学 | 一种面向敏捷卫星多目标任务规划的差分进化方法 |
CN107392155A (zh) * | 2017-07-25 | 2017-11-24 | 西安电子科技大学 | 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法 |
CN108665442A (zh) * | 2018-04-03 | 2018-10-16 | 中国空气动力研究与发展中心超高速空气动力研究所 | 红外无损检测的热图像缺陷特征增强处理方法 |
-
2018
- 2018-11-30 CN CN201811451866.9A patent/CN109559309B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004104610A3 (en) * | 2003-05-15 | 2005-02-24 | Univ Case Western Reserve | Optimized magnetic resonance data acquisition |
CN103316928A (zh) * | 2013-06-25 | 2013-09-25 | 中冶南方工程技术有限公司 | 一种冷轧板形信号在线模式识别系统 |
CN103839261A (zh) * | 2014-02-18 | 2014-06-04 | 西安电子科技大学 | 一种基于分解进化多目标优化和fcm的sar图像分割方法 |
CN104463171A (zh) * | 2014-12-09 | 2015-03-25 | 四川大学 | 一种基于pcnn的印文提取方法 |
CN104809722A (zh) * | 2015-04-13 | 2015-07-29 | 国家电网公司 | 一种基于红外热像的电气设备故障诊断方法 |
CN106647262A (zh) * | 2016-11-28 | 2017-05-10 | 中国人民解放军国防科学技术大学 | 一种面向敏捷卫星多目标任务规划的差分进化方法 |
CN107392155A (zh) * | 2017-07-25 | 2017-11-24 | 西安电子科技大学 | 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法 |
CN108665442A (zh) * | 2018-04-03 | 2018-10-16 | 中国空气动力研究与发展中心超高速空气动力研究所 | 红外无损检测的热图像缺陷特征增强处理方法 |
Non-Patent Citations (4)
Title |
---|
"An improved feature extraction algorithm for automatic defect identification based on eddy current pulsed thermography";Peipei Zhu et.al.;《Mechanical Systems and Signal Processing》;20170317;第5-21页 * |
"MOEA/D: A Multiobjective Evolutionary Algorithm Based on Decomposition";Qingfu Zhang et.al.;《IEEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION》;20071231;第11卷(第6期);第712-731页 * |
"SPATIAL INFORMATION BASED FCM FOR INFRARED SHIP TARGET SEGMENTATION";Xiangzhi Bai et.al.;《ICIP 2014》;20141231;第5127-5131页 * |
"约束优化进化算法综述";李智勇;《软件学报》;20170220;第28卷(第6期);第1529-1546页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109559309A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109559309B (zh) | 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 | |
CN109767438B (zh) | 一种基于动态多目标优化的红外热图像缺陷特征识别方法 | |
CN109544546B (zh) | 一种基于多目标优化的红外热图像缺陷特征提取方法 | |
CN109767437B (zh) | 基于k均值动态多目标的红外热图像缺陷特征提取方法 | |
CN107657279B (zh) | 一种基于少量样本的遥感目标检测方法 | |
CN109598711B (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
CN105512684B (zh) | 基于主成分分析卷积神经网络的车标自动识别方法 | |
CN109919241B (zh) | 基于概率模型和深度学习的高光谱未知类别目标检测方法 | |
CN105740912B (zh) | 基于核范数正则化的低秩图像特征提取的识别方法及系统 | |
CN109766813B (zh) | 基于对称人脸扩充样本的字典学习人脸识别方法 | |
CN110197205A (zh) | 一种多特征来源残差网络的图像识别方法 | |
CN107169504A (zh) | 一种基于扩展非线性核残差网络的手写字符识别方法 | |
CN113729735B (zh) | 基于多域自适应图卷积神经网络的情感脑电特征表示方法 | |
CN108268890A (zh) | 一种高光谱图像分类方法 | |
CN105512681A (zh) | 一种目标类别图片的获取方法及系统 | |
CN104573699B (zh) | 基于中等场强磁共振解剖成像的实蝇识别方法 | |
CN113793318B (zh) | 一种多区域复杂损伤缺陷特征综合分析方法 | |
CN107528824B (zh) | 一种基于二维度稀疏化的深度信念网络入侵检测方法 | |
CN104966075B (zh) | 一种基于二维判别特征的人脸识别方法与系统 | |
CN107273919B (zh) | 一种基于置信度构造类属字典的高光谱无监督分类方法 | |
CN112163450A (zh) | 基于s3d学习算法的高频地波雷达船只目标检测方法 | |
Patel | Bacterial colony classification using atrous convolution with transfer learning | |
CN113469084B (zh) | 基于对比生成对抗网络的高光谱图像分类方法 | |
Taghipour et al. | Hyperspectral anomaly detection using spectral–spatial features based on the human visual system | |
CN107067041A (zh) | 一种基于高频局放信号图的电缆绝缘缺陷状态评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |