CN111781244B - 基于长短期记忆网络的红外热成像式涂层检测方法 - Google Patents

基于长短期记忆网络的红外热成像式涂层检测方法 Download PDF

Info

Publication number
CN111781244B
CN111781244B CN202010678512.9A CN202010678512A CN111781244B CN 111781244 B CN111781244 B CN 111781244B CN 202010678512 A CN202010678512 A CN 202010678512A CN 111781244 B CN111781244 B CN 111781244B
Authority
CN
China
Prior art keywords
coating
detection
thermal
sequence
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010678512.9A
Other languages
English (en)
Other versions
CN111781244A (zh
Inventor
张坤婷
贾立好
王笑
郭丁飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010678512.9A priority Critical patent/CN111781244B/zh
Publication of CN111781244A publication Critical patent/CN111781244A/zh
Application granted granted Critical
Publication of CN111781244B publication Critical patent/CN111781244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00Investigating or analyzing materials by the use of thermal means
    • G01N25/72Investigating presence of flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30156Vehicle coating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明属于红外无损检测领域,具体涉及一种基于长短期记忆网络的红外热成像式涂层检测方法、系统、装置,旨在解决现有涂层检测方法检测实时性差、准确率低、适用性差的问题。本系统方法包括采集物体的待检测区域在受到脉冲热激励前后的红外热像图;对红外热像图进行处理,得到减背景热像序列图;根据减背景热像序列图,构建温度‑时间变化离散序列,并进行滤波处理;基于滤波处理的序列,通过涂层检测网络模型得到待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果;基于各传递截止时间得到涂覆厚度,并结合对应的涂层涂覆质量分类结果,得到待检测区域的检测结果。本发明提高了检测的实时性、准确度及适用性。

Description

基于长短期记忆网络的红外热成像式涂层检测方法
技术领域
本发明属于红外无损检测领域,具体涉及一种基于长短期记忆网络的红外热成像式涂层检测方法、系统、装置。
背景技术
航空航天器、复合材料等关键部位需要涂覆涂层,暴露的涂层要经受各种应力,与基体之间的附着力减小,易出现接触性脱粘、非接触性脱粘甚至脱落等问题,影响设备的安全与功能特性的实现。同时,一些造价高昂的涂层,其喷涂时的厚度控制具备很高的经济效益,但湿态涂层的厚度检测难于实现。因此,急需一种高效的干湿态涂层质量及厚度无损检测方法,用于大型综合设备中蒙皮涂层、发动机涂层、温控涂层、伪装涂层等涂层的生产及后期维护时,涂层内部缺陷、非接触性或接触性脱粘等状态以及涂层厚度的自动检测及定量评估,对保障大型综合设备的安全尤为重要。
目前,检测涂层涂覆质量和厚度的方法主要有人工敲击法和超声检测法,人工敲击法大部分依赖于检测人员的经验,导致检测的准确率较差;超声检测法需要涂抹耦合剂进行接触式检测,且单次检测面积较小;因此,人工敲击法和超声检测法难以实现有效、高效的检测。
红外热成像方法,是一种显示被测物体表面辐射亮度变化的方法,具有观测面积大、直观、非接触、快捷、无损检测的效果。红外热成像方法包括被动式热像检测法、主动式热像检测法。被动式热像检测法是通过探测物体本身辐射亮度分布的一种红外热像法,主动式热像检测法则通过探测物体受激励后辐射亮度分布的变化而进行检测。
航空航天器、复合材料等涂层检测需要实现不同状态和种类的检测,一般采用主动式热像检测法,探测被测物受到热激励之后的辐射亮度分布变化,其中,热源激励信号包括脉冲激励、振动激励、超声激励、锁相激励等,脉冲激励法能更好的区分涂层完好覆盖处与涂层缺陷处的辐射亮度分布变化,热量在涂层厚度方向上传播时,遇到涂层与基底的分界面时,辐射亮度分布也会发生变化。
通过采集航空航天器、复合材料等被测物表面受热脉冲激励前后一段时间内的热辐射序列图后,目前主要的处理方法为:对热像序列的温度-时间对数曲线进行多项式拟合后,求得微分序列,对比人工给定的经验参数,判断涂层状态。由于热信号受周围环境影响大、热量在涂层中存在横向传播等特点,导致采集到的热像序列的信噪比较低,采用上述方法,很难全面的提取到不同应用场合及不同状态下的热衰减特征,因此在实际应用中检测准确率较低,对不同应用场合下涂层检测的适用性差。采用人工神经网络,自动提取热衰减序列的特征,可以很好的解决上述问题。
而在利用神经网络提取热辐射序列图的特征时,若序列较长,极容易出现梯度消失和梯度爆炸问题。长短期记忆网络LSTM(Long Short-Term Memory),是一种时间递归神经网络RNN,适合于记忆、处理和预测时间序列中间隔和延迟相对较长的重要事件,相比普通的RNN,LSTM能够在更长的序列处理及信息预测中有更好的表现,适合应用于涂层检测中红外热像序列信息的处理。因此,本发明提出了一种基于长短期记忆网络的红外热成像式涂层检测的方法。
发明内容
为了解决现有技术中的上述问题,即为了解决现有的涂层检测方法检测实时性差、人工特征提取准确率低、对不同种类及厚度涂层检测的适用性差的问题,本发明第一方面,提出了一种基于长短期记忆网络的红外热成像式涂层检测的方法,该方法包括:
步骤S100,通过红外热像仪采集物体的待检测区域在受到脉冲热激励前后的红外热像图,构建红外热像图集;所述红外热像图集包括脉冲热激励发生前的热像背景图、热激励发生后的热像衰减序列图;
步骤S200,基于各热像背景图、所述热像衰减序列图,通过预设第一方法获取减背景热像序列图;
步骤S300,根据所述减背景热像序列图,分别提取所述待检测区域各位置处的温度变化序列,并构建对应的温度-时间变化离散序列,作为第一序列;对各第一序列进行滤波处理,得到第二序列;
步骤S400,基于各第二序列,通过预训练的涂层检测网络模型得到所述待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果;所述涂层检测网络模型基于LSTM网络构建;
步骤S500,基于各传递截止时间,分别通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度,并结合对应的涂层涂覆质量分类结果,得到所述待检测区域的检测结果。
在一些优选的实施方式中,步骤S200中“通过预设第一方法获取减背景热像序列图”,其方法为:
对红外热像图集中的各图像进行滤波处理,并对滤波后的各热像背景图取均值,得到背景均值图;
将滤波后的热像衰减序列图中的各图像分别减去所述背景均值图,得到减背景热像序列图。
在一些优选的实施方式中,所述LSTM网络其包括输入层、隐含层、输出层、分类层;所述隐含层由两个LSTM网络层构成;所述分类层基于Softmax函数构建。
在一些优选的实施方式中,所述LSTM网络层之间的权重参数共享。
在一些优选的实施方式中,所述LSTM网络层其包括输入门、输出门、遗忘门;各个门对应的神经元参数的总个数为4×(m(m+1)+m),其中,m为隐含层的状态的维度。
在一些优选的实施方式中,步骤S500中“通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度”,其方法为:
De2=a0+a1t+a2t2
其中,De表示涂层的涂覆厚度,t表示传递截止时间,a0、a1、a2表示预设的二阶多项式的拟合系数。
本发明的第二方面,提出了一种基于长短期记忆网络的红外热成像式涂层检测的系统,该系统包括采集模块、预处理模块、提取模块、检测模块、检测结果输出模块;
所述采集模块,配置为通过红外热像仪采集物体的待检测区域在受到脉冲热激励前后的红外热像图,构建红外热像图集;所述红外热像图集包括脉冲热激励发生前的热像背景图、热激励发生后的热像衰减序列图;
所述预处理模块,配置为基于各热像背景图、所述热像衰减序列图,通过预设第一方法获取减背景热像序列图;
所述提取模块,配置为根据所述减背景热像序列图,分别提取所述待检测区域各位置处的温度变化序列,并构建对应的温度-时间变化离散序列,作为第一序列;对各第一序列进行滤波处理,得到第二序列;
所述检测模块,配置为基于各第二序列,通过预训练的涂层检测网络模型得到所述待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果;所述涂层检测网络模型基于LSTM网络构建;
所述检测结果输出模块,配置为基于各传递截止时间,分别通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度,并结合对应的涂层涂覆质量分类结果,得到所述待检测区域的检测结果。
本发明的第三方面,提出了一种存储装置,其中存储有多条程序,所述程序应用由处理器加载并执行以实现上述的基于长短期记忆网络的红外热成像式涂层检测方法。
本发明的第四方面,提出了一种处理设置,包括处理器、存储装置;处理器,适用于执行各条程序;存储装置,适用于存储多条程序;所述程序适用于由处理器加载并执行以实现上述的基于长短期记忆网络的红外热成像式涂层检测方法。
本发明的有益效果:
本发明提高了涂层检测方法的实时性、准确率、适用性。本发明采用主动式热像检测方法,对待测区域的热障涂层施加短时间、高能量的脉冲热激励;之后被测物受热激励后热辐射分布发生变化,采集一定时间变化范围内的红外热成像图,并进行滤波、背景均值等预处理,保证检测的准确率。基于预处理后的红外热像图,采用长短期记忆网络(LSTM)对采集到的热序列图像进行处理,判断该检测区域内涂层与基底之间是否发生了结构脱粘,并得到涂层的涂覆厚度。通过LSTM解决长序列训练过程中的梯度消失和梯度爆炸的问题,进一步提高了缺陷检测的准确性及实时性。
同时,主动式热像检测方法相比于检测涂层涂覆质量及厚度的常规方法,例如敲击法和超声检测法等,该方法具有观测面积大、直观、非接触、准确度高等优势,且常规方法无法对湿态涂层的厚度进行检测,提高了方法的适用性。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述,本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于长短期记忆网络的红外热成像式涂层检测方法的流程示意图;
图2是本发明一种实施例的基于长短期记忆网络的红外热成像式涂层检测方法的框架示意图;
图3是本发明一种实施例的涂层采集及检测的硬件系统的示意图;
图4是本发明一种实施例的热障涂层表面温度随时间变化曲线的示意图;
图5是本发明一种实施例的一层LSTM网络按时序展开的结构示意图;
图6是本发明一种实施例的涂层检测网络模型训练和检测过程的示意图;
图7是本发明一种实施例的涂层检测网络模型的详细结构及检测过程的示意图;
图8是本发明一种实施例的涂层厚度-热量传递截止时间的拟合曲线的示意图;
图9是本发明一种实施例的涂层涂覆质量检测结果的示意图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于长短期记忆网络的红外热成像式涂层检测方法,如图1所示,包括以下步骤:
步骤S100,通过红外热像仪采集物体的待检测区域在受到脉冲热激励前后的红外热像图,构建红外热像图集;所述红外热像图集包括脉冲热激励发生前的热像背景图、热激励发生后的热像衰减序列图;
步骤S200,基于各热像背景图、所述热像衰减序列图,通过预设第一方法获取减背景热像序列图;
步骤S300,根据所述减背景热像序列图,分别提取所述待检测区域各位置处的温度变化序列,并构建对应的温度-时间变化离散序列,作为第一序列;对各第一序列进行滤波处理,得到第二序列;
步骤S400,基于各第二序列,通过预训练的涂层检测网络模型得到所述待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果;所述涂层检测网络模型基于LSTM网络构建;
步骤S500,基于各传递截止时间,分别通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度,并结合对应的涂层涂覆质量分类结果,得到所述待检测区域的检测结果。
为了更清晰地对本发明基于长短期记忆网络的红外热成像式涂层检测方法进行说明,下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S100,通过红外热像仪采集物体的待检测区域在受到脉冲热激励前后的红外热像图,构建红外热像图集;所述红外热像图集包括脉冲热激励发生前的热像背景图、热激励发生后的热像衰减序列图。
本发明所述的一种基于长短期记忆网络的红外热成像式涂层检测方法,其原理是采用主动式热像检测方法,对物体的待检测区域的热障涂层施加短时间、高能量的脉冲热激励,待检测区域受热激励后热辐射分布发生变化,根据热辐射分布的变化,采集一定时间变化范围内的红外热像图;最后,采用长短期记忆网络(LSTM)对采集到的热序列图像进行处理,判断该检测区域内涂层与基底之间是否发生了结构脱粘,同时得到涂层的涂覆厚度,从而得到涂层的缺陷检测结果,如图3所示中右下侧部分所示,图3中A处和C处的涂层完好,B处出现了杂质或者气泡,D处出现了涂层底漆和金属基底之间结构脱粘的现象,实际中,涂层脱粘缺陷以D处示意的情况为主。采集及检测红外热像图的硬件系统,一般包括红外热像仪、闪光灯、控制装置、计算机等。在本发明中,采集及检测红外热像图的硬件系统主要包括计算机、下位机控制装置、手持遮罩装置;计算机与下位机控制装置通过USB通信,计算机和手持遮罩装置通过Ethernet网络通信,下位机控制装置与手持遮罩装置通过信号线(或数据线)连接,手持遮罩装置中集成了窄脉冲加热激励(即窄脉冲控制装置)、红外热像仪、闪光灯等模块,下位机控制装置中集成了主控板、通信模块、电源模块等,如图3所示。
计算机上装有基于长短期记忆网络的红外热成像式涂层检测方法的软件平台。
需要说明的是,图3中的硬件系统只是本发明为执行基于长短期记忆网络的红外热成像式涂层检测方法优选的硬件系统,在其他实施例中,可以根据实际情况采用不同的硬件结果获取红外热像图,并执行本发明基于长短期记忆网络的红外热成像式涂层检测方法。
基于采集红外热像图的硬件系统获取红外热像图的具体过程为:计算机根据接收的检测指令下发至下位机控制器,下位机控制器给红外热像仪和加热激励模块发送同步控制指令,加热激励模块根据接收的控制指令对待检测区域的热障涂层施加短时间、高能量的脉冲热激励;红外热像仪根据接收的控制指令,对待检测区域受热辐射分布发生变化前后的情况进行采集,得到红外热像图。红外热像图包括脉冲热激励发生前的热像背景图(即脉冲热激励发生前的红外热像图,一般为多张)、热激励发生后的热像衰减序列图(即热激励发生后的红外热像图)。其中,涂层表面收到热激励后的表面温度随时间变化,变化曲线如图4所示,图4中N-spot为涂层完好覆盖位置处的滤波曲线,D-spot为结构脱粘缺陷位置处的滤波曲线,横坐标t代表时间,纵坐标T代表温度,热量在涂层厚度方向上向内传递,一直传递到基底。
步骤S200,基于各热像背景图、所述热像衰减序列图,通过预设第一方法获取减背景热像序列图。
在本实施例中,对获取的红外热像图,即脉冲热激励发生前的热像背景图、热激励发生后的热像衰减序列图,进行滤波操作,滤除杂点。滤波后对各热像背景图进行取均值,得到背景均值图。背景均值图仅为一张。
将热像衰减序列图中的各图像分别减去背景均值图,得到减背景序列图。减背景序列图中每个检测点的温度衰减序列表示为K(x,y,t),其中K为温度,x、y为检测区域内某点的横坐标、纵坐标,t为时间。
步骤S300,根据所述减背景热像序列图,分别提取所述待检测区域各位置处的温度变化序列,并构建对应的温度-时间变化离散序列,作为第一序列;对各第一序列进行滤波处理,得到第二序列。
在本实施例中,在减背景热像序列中直接提取可视区域全位置的热变化(温度变化)序列,其中,可视区域全位置为红外热像仪分辨率范围内的所有位置点,即待检测区域的各位置。若红外热像仪的横向分辨率为M,纵向分辨率为N,则全位置热变化序列共包括M×N个序列,所述坐标x的取值范围为[1,M],所述纵坐标y的取值范围为[1,N]。并结合减背景热像序列对应得时间,构建可视区域全位置处的温度-时间变化离散序列。每个温度-时间变化离散序列表示为K(x,y)(t),热像序列的长度为T。
对每个温度-时间变化离散序列进行滤波处理,得到温度-时间滤波序列F(x,y)(t)。温度-时间滤波序列的长度不变,仍为T。
步骤S400,基于各第二序列,通过预训练的涂层检测网络模型得到所述待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果;所述涂层检测网络模型基于LSTM网络构建。
在本实施例中,基于温度-时间滤波序列,通过预训练的涂层检测网络模型得到待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果,涂层涂覆质量分类结果包括正常和异常,即涂层与基底是否发生了结构脱粘。
其中,涂层检测网络模型基于LSTM网络构建,LSTM网络包含输入层、隐含层、输出层,并把Softmax分类层作为最后一层。输入层的节点数与输入序列的长度T相同,隐含层由两个LSTM网络层组成,每个时刻都可以输出当前时序t的隐状态
Figure BDA0002584906080000101
(长度为m),以及对下一个时刻的预测状态Ot(长度为1)。LSTM网络分类层的输出是在最后一个时序时获取,涂层状态分为发生结构脱粘和正常两类,Softmax分类层输出的分类向量为2维向量。
本发明中,在开源机器学习平台TensorFlow平台中搭建了基于LSTM的涂层涂覆状态及厚度检测网络模型(简称为涂层检测网络模型)。在TensorFlow中提供了LSTM cell操作来支持LSTM模型的搭建。LSTM cell相当于LSTM模型的隐含层,在内部封装了LSTM隐含层包含的遗忘门、输入门和输出门等结构,可根据研究需要设置隐含层结点个数。
LSTM网络的隐含层包含两个LSTM网络层,对每一层LSTM来说,细胞(cell)的权重是共享的,所有的时序数据都会通过同一个cell,然后不断更新它的参数。一层LSTM网络按时间上进行展开,按照时间次序传递细胞状态Ct,对于一个细胞(cell)来说,内部结构从左到右,依次是遗忘门,输入门,输出门。如图5所示,具体如下:
遗忘门:决定从细胞状态中丢弃什么信息,通过当前时刻输入和前一个时刻输出决定;计算如公式(1)所示:
Figure BDA0002584906080000111
其中,
Figure BDA0002584906080000112
表示上一个时刻的隐向量(长度为m),
Figure BDA0002584906080000113
表示当前时刻的输入(长度为1),
Figure BDA0002584906080000114
长度为m+1,Wf和bf分别为遗忘门的权重和偏置量,σ为该层的激活函数,ft表示遗忘门的输出,为一个0到1之间的概率。
输入门:确定并更新新信息到当前时刻的细胞状态中;确定更新信息的计算过程如公式(2)(3)(4)所示:
Figure BDA0002584906080000115
Figure BDA0002584906080000116
Figure BDA0002584906080000117
其中,it表示细胞即时状态输入到长期状态的概率,bi、Wi表示输入门的偏置量和权重,Ct-1、Ct表示上一个时刻、当前时刻的细胞长期状态,
Figure BDA0002584906080000121
表示细胞即时状态。
输出门:基于目前的细胞状态决定该时刻的输出;计算过程如公式(5)(6)所示:
Figure BDA0002584906080000122
ht=opt*tanh(Ct) (6)
其中,Wo、bo表示输出门的权重和偏置量,opt表示细胞状态的输出概率,ht表示细胞的输出。
以上各个层,神经元参数总个数为W和b的参数总个数为4×(m(m+1)+m)。
其中,涂层检测网络模型训练和检测过程如图6所示,假设有一个温度随时间的衰减序列F(x,y),即特征F,如式(7)所示:
F(x,y)=(F(x,y) 1,F(x,y) 2...F(x,y) T) (7)
其中,T为涂层红外图像帧数,也就是序列长度。网络训练过程输入标注后的训练数据,数据类型如式(8)所示:
(F(x,y),Y)=(F(x,y) 1,F(x,y) 2...F(x,y) T,Y) (8)
其中,Y表示数据标签。
训练过程分为预测模型的训练以及顶层分类器的训练。训练预测模型的过程中,输入数据为没有发生脱粘缺陷,即涂层涂覆质量正常的温度序列。整个时间轴的损失是所有时刻的损失值之和,如公式(9)所示:
Figure BDA0002584906080000123
其中,E(O(x,y),F(x,y))表示损失值,Ot (x,y)为t时刻的输出值,表示t+1时刻的预测值,Ft+1 (x,y)为t+1时刻的观测值(即实际测量值),t时刻的输出Ot (x,y),如公式(10)所示:
Ot (x,y)=Vht (x,y) (10)
其中,
Figure BDA0002584906080000131
为当前时序t的隐状态(长度为m),V表示输出层的权重。
利用梯度下降法最小化损失函数,来训练预测模型。
顶层分类层(softmax)的训练中,数据输入包括正常和缺陷的两类温度序列以及对应的标签(F(x,y),Y),输出为分类结果Y’,分类结果和输入的标签类别之差为分类误差e,分类误差指的是涂层状态预测值与实际类别值之间的差异化程度。本发明将涂层状态分为发生结构脱粘和正常两类,因此,每个序列的预测分类向量和实际类别值都为2维向量,其差异化程度用损失函数表示,损失函数的定义如公式(11)所示:
Figure BDA0002584906080000132
其中,L为损失,y'j是分类层(softmax)的输出向量Y’的第j个值,表示的是这个样本属于第j个类别的概率,j的范围是从1到类别k,因此Y是一个1×k的向量,里面的k个值,只有真实标签对应位置的一个值为1,其他位置都是0。本发明将涂层状态分为两类,因此这里k=2。
分类器的训练过程采用梯度下降法,梯度下降是一个用来求函数最小值的算法,预测网络模型训练的过程是使用梯度下降算法求得损失函数的最小值。网络训练开始时,采用随机参数组合(θ0,θ1...θn),计算代价函数;之后寻找下一个能让损失函数值下降最多的参数组合;持续这样做,直到找到全局最小值,此时的参数组合就是训练后的网络参数。输入大量的涂层涂覆质量正常的温度序列,完成预测网络模型的训练;之后,输入包括正常和缺陷的两类温度序列以及对应的标签(F(x,y),Y),完成分类器的训练。
基于训练好的涂层检测网络模型,加载已训练好的网络参数(θ0,θ1...θn),输入未标注的检测数据,输出为涂层厚度方向上的热量传递截止时间t0以及涂层涂覆质量分类结果Y’。具体如图7所示:
将分类模型按时间次序展开,共有T个时间步骤(T steps),图中标有LSTM cell的方框表示的是LSTM隐含层,同一行的LSTM cell表示的是同一个LSTM隐含层,按照T个时间步骤进行展开,输入依次为温度-时间滤波序列F(x,y)(t),即F(x,y) 1、F(x,y) 2...F(x,y) T,不同时间次序的网络权重参数W是共享的。本发明中的网络模型添加了两个LSTM隐含层,其中每一层的隐含层状态hi t是m维的;两层LSTM cell按照时间次序输出的序列依次为h(x,y) 1,h(x,y) 2...h(x,y) T;输出层将隐向量转换为对下一时刻的预测值,按时间次序输出依次为O1 (x,y),O2 (x,y)...OT-1 (x,y),根据预测值与真实值之间的偏离程度得出热量传递截止时间t0。其原理是:在每个时间步骤上,假设热量在涂层厚度方向上持续传递,LSTM网络对该序列下一个输入值进行预测;如果热量持续传递,该预测值与下一个输入的实际值接近,如果热量刚好遇到两种介质的分界面,则预测值偏离输入的实际值;将该时间点记为涂层厚度方向上的传递截止时间t0
将隐向量h(x,y) 1,h(x,y) 2...h(x,y) T输入均值池化层(mean-pooling)即对所有值求均值,得到与时间无关的向量h(x,y),向量的长度为m维;最后经过一个softmax分类层,并用损失函数L(Y',Y)计算模型预估分类与真实类别之间的误差。分类层的输出结果为每个位置处的温度序列属于正常类或异常类的概率,选出概率较高的一类作为分类结果。
步骤S500,基于各传递截止时间,分别通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度,并结合对应的涂层涂覆质量分类结果,得到所述待检测区域的检测结果。
在本实施例中,根据热量传递截止时间t0计算得到涂层涂覆厚度De,涂层厚度和热量传递截止时间之间满足如下关系,如公式(12)所示:
De2=a0+a1t+a2t2 (12)
其中,De表示涂层的涂覆厚度,t表示传递截止时间,a0、a1、a2表示预设的二阶多项式的拟合系数。
基于公式(11)拟合出的曲线如图8所示,该曲线经过原点,对已知涂层厚度的标准试件进行多次试验,以厚度(Depth)平方作为纵坐标,以热量传递截止时间(t)作为横坐标。若热像序列的采集帧率为fr HZ,将热量传递截止时间序列转换为真实的时间,如t0转换后为
Figure BDA0002584906080000151
本实施例优选采用的热像仪频率fr=50,最小二乘法拟合得出二次曲线,如图8所示。拟合得到的系数分别为:a0=-0.001,a1=0.782,a2=0.436,将LSTM网络输出的热量传递截止时间t0带入上述公式计算得出涂层厚度。
最后,将涂层涂覆质量分类结果Y以及涂层厚度De,放入对应坐标(x,y)下,得到可视区域全位置下的涂层质量重构分类图,并且能够查看每个位置处的涂层厚度。按照检测结果将涂层质量与厚度重构图染色。本实施例中,将发生涂层脱粘缺陷位置处染蓝色系,质量正常位置处染黄绿色系,不同的涂层厚度对应不同的RGB值,即可得到可视区域全位置下的涂层涂覆质量及厚度重构图。
另外,利用本发明提出的方法进行涂层涂覆状态和厚度的实际检测,针对多批次多材料的试件开展了综合实验验证,并在现场开展验证试验,与超声方法测得的厚度进行试验对比,与人工铲除方法判断是否发生脱粘缺陷进行对比。实验证明,本发明提出的方法能够对涂层是否出现结构脱粘进行有效的分类,能对干湿态涂层厚度进行有效检测。图9是本实施例的部分检测结果图,图中黑色的部分代表分类为结构脱粘的区域,其他部分代表分类为正常的区域,不同的涂层厚度对应不同的RGB值,并且可以查看每个位置处的涂层厚度信息,经验证与实际情况相符。本实施例搭建的LSTM网络模型在验证集上的分类准确率为99.7%,损失L(Y',Y)为0.0073。因此,本发明提出的方法能够对干湿态涂层涂覆质量及厚度进行有效的检测。
本发明第二实施例的一种基于长短期记忆网络的红外热成像式涂层检测系统,如图2所示,包括:采集模块100、预处理模块200、提取模块300、检测模块400、检测结果输出模块500;
所述采集模块100,配置为通过红外热像仪采集物体的待检测区域在受到脉冲热激励前后的红外热像图,构建红外热像图集;所述红外热像图集包括脉冲热激励发生前的热像背景图、热激励发生后的热像衰减序列图;
所述预处理模块200,配置为基于各热像背景图、所述热像衰减序列图,通过预设第一方法获取减背景热像序列图;
所述提取模块300,配置为根据所述减背景热像序列图,分别提取所述待检测区域各位置处的温度变化序列,并构建对应的温度-时间变化离散序列,作为第一序列;对各第一序列进行滤波处理,得到第二序列;
所述检测模块400,配置为基于各第二序列,通过预训练的涂层检测网络模型得到所述待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果;所述涂层检测网络模型基于LSTM网络构建;
所述检测结果输出模块500,配置为基于各传递截止时间,分别通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度,并结合对应的涂层涂覆质量分类结果,得到所述待检测区域的检测结果。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的系统的具体的工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于长短期记忆网络的红外热成像式涂层检测系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种存储装置,其中存储有多条程序,所述程序适用于由处理器加载并实现上述的基于长短期记忆网络的红外热成像式涂层检测方法。
本发明第四实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于长短期记忆网络的红外热成像式涂层检测方法。
所述技术领域的技术人员可以清楚的了解到,未描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考签署方法实例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于长短期记忆网络的红外热成像式涂层检测方法,其特征在于,该方法包括:
步骤S100,通过红外热像仪采集物体的待检测区域在受到脉冲热激励前后的红外热像图,构建红外热像图集;所述红外热像图集包括脉冲热激励发生前的热像背景图、热激励发生后的热像衰减序列图;
步骤S200,基于各热像背景图、所述热像衰减序列图,通过预设第一方法获取减背景热像序列图;
步骤S300,根据所述减背景热像序列图,分别提取所述待检测区域各位置处的温度变化序列,并构建对应的温度-时间变化离散序列,作为第一序列;对各第一序列进行滤波处理,得到第二序列;
步骤S400,基于各第二序列,通过预训练的涂层检测网络模型得到所述待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果;所述涂层检测网络模型基于LSTM网络构建;
步骤S500,基于各传递截止时间,分别通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度,并结合对应的涂层涂覆质量分类结果,得到所述待检测区域的检测结果;
其中,“通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度”,其方法为:
De2=a0+a1t+a2t2
其中,De表示涂层的涂覆厚度,t表示传递截止时间,a0、a1、a2表示预设的二阶多项式的拟合系数。
2.根据权利要求1所述的基于长短期记忆网络的红外热成像式涂层检测方法,其特征在于,步骤S200中“通过预设第一方法获取减背景热像序列图”,其方法为:
对红外热像图集中的各图像进行滤波处理,并对滤波后的各热像背景图取均值,得到背景均值图;
将滤波后的热像衰减序列图中的各图像分别减去所述背景均值图,得到减背景热像序列图。
3.根据权利要求1所述的基于长短期记忆网络的红外热成像式涂层检测方法,其特征在于,所述LSTM网络其包括输入层、隐含层、输出层、分类层;所述隐含层由两个LSTM网络层构成;所述分类层基于Softmax函数构建。
4.根据权利要求3所述的基于长短期记忆网络的红外热成像式涂层检测方法,其特征在于,所述LSTM网络层之间的权重参数共享。
5.根据权利要求3所述的基于长短期记忆网络的红外热成像式涂层检测方法,其特征在于,所述LSTM网络层其包括输入门、输出门、遗忘门;各个门对应的神经元参数的总个数为4×(m(m+1)+m),其中,m为隐含层的状态的维度。
6.一种基于长短期记忆网络的红外热成像式涂层检测系统,其特征在于,该系统包括采集模块、预处理模块、提取模块、检测模块、检测结果输出模块;
所述采集模块,配置为通过红外热像仪采集物体的待检测区域在受到脉冲热激励前后的红外热像图,构建红外热像图集;所述红外热像图集包括脉冲热激励发生前的热像背景图、热激励发生后的热像衰减序列图;
所述预处理模块,配置为基于各热像背景图、所述热像衰减序列图,通过预设第一方法获取减背景热像序列图;
所述提取模块,配置为根据所述减背景热像序列图,分别提取所述待检测区域各位置处的温度变化序列,并构建对应的温度-时间变化离散序列,作为第一序列;对各第一序列进行滤波处理,得到第二序列;
所述检测模块,配置为基于各第二序列,通过预训练的涂层检测网络模型得到所述待检测区域各位置在涂层厚度方向上的传递截止时间以及涂层涂覆质量分类结果;所述涂层检测网络模型基于LSTM网络构建;
所述检测结果输出模块,配置为基于各传递截止时间,分别通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度,并结合对应的涂层涂覆质量分类结果,得到所述待检测区域的检测结果;
其中,“通过预设的第一方法得到所述待检测区域各位置涂层的涂覆厚度”,其方法为:
De2=a0+a1t+a2t2
其中,De表示涂层的涂覆厚度,t表示传递截止时间,a0、a1、a2表示预设的二阶多项式的拟合系数。
7.一种存储装置,其中存储有多条程序,其特征在于,所述程序应用由处理器加载并执行以实现权利要求1-5任一项所述的基于长短期记忆网络的红外热成像式涂层检测方法。
8.一种处理设置,包括处理器、存储装置;处理器,适用于执行各条程序;存储装置,适用于存储多条程序;其特征在于,所述程序适用于由处理器加载并执行以实现权利要求1-5任一项所述的基于长短期记忆网络的红外热成像式涂层检测方法。
CN202010678512.9A 2020-07-15 2020-07-15 基于长短期记忆网络的红外热成像式涂层检测方法 Active CN111781244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010678512.9A CN111781244B (zh) 2020-07-15 2020-07-15 基于长短期记忆网络的红外热成像式涂层检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010678512.9A CN111781244B (zh) 2020-07-15 2020-07-15 基于长短期记忆网络的红外热成像式涂层检测方法

Publications (2)

Publication Number Publication Date
CN111781244A CN111781244A (zh) 2020-10-16
CN111781244B true CN111781244B (zh) 2021-10-26

Family

ID=72768589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010678512.9A Active CN111781244B (zh) 2020-07-15 2020-07-15 基于长短期记忆网络的红外热成像式涂层检测方法

Country Status (1)

Country Link
CN (1) CN111781244B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113358697B (zh) * 2021-04-27 2022-03-29 东南大学 基于非线性调频的高分辨率光热脉冲压缩热成像检测方法
CN113433168B (zh) * 2021-06-30 2022-08-05 浙江农林大学 基于涡流热像识别粘钢加固结构胶粘缺陷的装置及方法
CN116912243B (zh) * 2023-09-12 2023-11-21 吉林大学第一医院 一种用于医疗用管的涂层质量检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102608162A (zh) * 2012-02-20 2012-07-25 首都师范大学 超声红外热图阈值分割方法
CN102628796A (zh) * 2012-01-13 2012-08-08 首都师范大学 超声红外无损检测中热图序列缺陷信号的自动识别方法
CN102692429A (zh) * 2011-03-24 2012-09-26 中国科学院沈阳自动化研究所 一种复合材料内部缺陷类型自动识别检测方法
CN103630543A (zh) * 2013-10-23 2014-03-12 航天材料及工艺研究所 一种利用脉冲红外热波检测吸波涂层缺陷的判定方法
CN108562811A (zh) * 2018-03-12 2018-09-21 西安理工大学 基于双向长短期记忆的复杂电能质量扰动分析方法
CN110215212A (zh) * 2019-04-19 2019-09-10 福州大学 一种基于低分辨率红外热成像的智能跌倒检测系统
CN110322429A (zh) * 2019-05-09 2019-10-11 中南大学 一种基于深度学习的蜂窝复合材料缺陷分类方法
CN110866530A (zh) * 2019-11-13 2020-03-06 云南大学 一种字符图像识别方法、装置及电子设备
CN111222677A (zh) * 2019-10-22 2020-06-02 浙江运达风电股份有限公司 一种基于长短期记忆时间神经网络的风速预测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200033515A (ko) * 2018-09-20 2020-03-30 한국전자통신연구원 다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692429A (zh) * 2011-03-24 2012-09-26 中国科学院沈阳自动化研究所 一种复合材料内部缺陷类型自动识别检测方法
CN102628796A (zh) * 2012-01-13 2012-08-08 首都师范大学 超声红外无损检测中热图序列缺陷信号的自动识别方法
CN102608162A (zh) * 2012-02-20 2012-07-25 首都师范大学 超声红外热图阈值分割方法
CN103630543A (zh) * 2013-10-23 2014-03-12 航天材料及工艺研究所 一种利用脉冲红外热波检测吸波涂层缺陷的判定方法
CN108562811A (zh) * 2018-03-12 2018-09-21 西安理工大学 基于双向长短期记忆的复杂电能质量扰动分析方法
CN110215212A (zh) * 2019-04-19 2019-09-10 福州大学 一种基于低分辨率红外热成像的智能跌倒检测系统
CN110322429A (zh) * 2019-05-09 2019-10-11 中南大学 一种基于深度学习的蜂窝复合材料缺陷分类方法
CN111222677A (zh) * 2019-10-22 2020-06-02 浙江运达风电股份有限公司 一种基于长短期记忆时间神经网络的风速预测方法及系统
CN110866530A (zh) * 2019-11-13 2020-03-06 云南大学 一种字符图像识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN111781244A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111781244B (zh) 基于长短期记忆网络的红外热成像式涂层检测方法
US11828652B2 (en) Method for characterising samples using neural networks
Saeed et al. Automatic defects detection in CFRP thermograms, using convolutional neural networks and transfer learning
US10605783B2 (en) System and method for progressive damage monitoring and failure event prediction in a composite structure
D'Orazio et al. Defect detection in aircraft composites by using a neural approach in the analysis of thermographic images
CN110322429B (zh) 一种基于深度学习的蜂窝复合材料缺陷分类方法
CN110967344B (zh) 基于红外探测的隧道衬砌浅层剥落剥离判定方法与装置
EP2605213B1 (en) Method and system for processing images for inspection of an object
Benmoussat et al. Automatic metal parts inspection: Use of thermographic images and anomaly detection algorithms
Grys et al. Automated characterisation of subsurface defects by active IR thermographic testing–Discussion of step heating duration and defect depth determination
US10690581B2 (en) Infrared thermographic porosity quantification in composite structures
Dabetwar et al. Performance evaluation of deep learning algorithms for heat loss damage classification in buildings from UAV-borne infrared images
Vrabie et al. Active IR thermography processing based on higher order statistics for nondestructive evaluation
CN108956696A (zh) 绝缘子表面rtv涂层老化状态评估方法、装置及系统
Shrestha et al. Infrared thermography: philosophy, approaches, analysis—processing, and guidelines
CN110880170A (zh) 一种复合材料缺陷的深度预测方法
Cole et al. Development of a sensor-based learning approach to prognostics in intelligent vehicle health monitoring
De et al. A Comprehensive Structural Analysis Process for Failure Assessment in Aircraft Lap Joint Mimics Using Intramodal Fusion of Eddy Current Data
Kopf et al. Thermographic identification of hidden corrosion
CN111898314B (zh) 湖泊水体参数检验方法、装置、电子设备及存储介质
Venegas et al. Image and data processing techniques applied to infrared thermographic non-destructive inspections of aeronautical composite components
Li et al. An integrated architecture for corrosion monitoring and testing, data mining, modeling and diagnostics/prognostics
Li et al. Imaging and information processing of pitting-corroded aluminum alloy panels with surface metrology methods
Hernandez Experimentation and Simulation of Pulsed Eddy Current Thermography of Subsurface Aircraft Corrosive Defects
Iskandarani Correlating and Modeling of Extracted Features from PVT Images of Composites using Optical Flow Technique and Weight Elimination Algorithm Optimization [OFT-WEA].

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant