CN108198181A - 一种基于区域分割和图像融合的红外热图像处理方法 - Google Patents

一种基于区域分割和图像融合的红外热图像处理方法 Download PDF

Info

Publication number
CN108198181A
CN108198181A CN201810064381.8A CN201810064381A CN108198181A CN 108198181 A CN108198181 A CN 108198181A CN 201810064381 A CN201810064381 A CN 201810064381A CN 108198181 A CN108198181 A CN 108198181A
Authority
CN
China
Prior art keywords
image
sub
regions
frame
subregion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810064381.8A
Other languages
English (en)
Other versions
CN108198181B (zh
Inventor
于海超
田露露
程玉华
陈雪
白呼和
甘文东
白利兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810064381.8A priority Critical patent/CN108198181B/zh
Publication of CN108198181A publication Critical patent/CN108198181A/zh
Application granted granted Critical
Publication of CN108198181B publication Critical patent/CN108198181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明公开了一种基于区域分割和图像融合的红外热图像处理方法，首先实时在线采集加热阶段的视频流数据，然后对图像进行预处理后提取边缘信息，接着对热图像序列进行等区域分割，对每个子区域分析其空间相关性，即按照时间顺序，计算各子区域相邻帧之间的相关性系数，再通过对相关性系数与阈值比较，返回不满足阈值条件的子区域的左上角坐标值及对应的帧数，最后利用这些子区域的左上角坐标值及对应的帧数融合成一帧图像，从而实现缺陷信息的增强并快速识别缺陷，完成缺陷定量检测。

Description

一种基于区域分割和图像融合的红外热图像处理方法
技术领域
本发明属于图像处理技术领域，更为具体地讲，涉及一种基于区域分割和图像融合的红外热图像处理方法。
背景技术
目前，红外热成像无损检测技术已成为无损检测技术的一个重要分支。在红外热成像无损检测技术中，缺陷提取、图像增强方面的研究已经获得了许多的成果。红外热成像检测技术可以有很多检测方式。脉冲热成像无损检测其激励源为主动式，常用的激励源有热水、热气流、闪光灯、超声波、微波、激光和电流等。不同加热方式，产生热量形式不同。对于电流激励的加热方式，其加热范围广，热量可达被测件内部，而且加热效率高。在加热过程中，电流的流向会受到被测件内部缺陷的影响发生改变，使得缺陷处的加热效果与其周围区域不同，最终导致缺陷处的温度分布与其他区域不同，从而通过温度的差异判定缺陷。电流激励方式可分为两种：接触式和非接触式。接触式对应的是电磁传导热成像，非接触式对应的是涡流热成像。涡流热成像即非接触式激励，其应用范围更广，相关研究也相对较多，所以这种检测方法是一种极具发展潜力的无损检测技术。
脉冲涡流热成像检测过程可以划分为感应加热阶段和冷却阶段。在感应加热阶段电磁感应与热传导两种物理过程并存，被测件通过高频交流电激励进行加热，涡流分布被缺陷影响发生改变，在被测件表面产生不同的涡流密度区域，由焦耳热定律可知，这会导致产生的热量不同，从而使试件表面产生高低温的差异；在冷却阶段，被测件中只有热传导一种物理过程起作用，高温区的热量向低温区传递，直至热量平衡。被测件中的缺陷同样会改变热传导的速度，形成温差。通过红外热像仪采集整个过程的温度变化情况，并对热图像序列进行处理分析来检测评估缺陷。
作为新兴的无损检测技术，脉冲涡流热成像检测受到了广泛关注，目前国内外一些机构也对该技术进行了研究分析。部分机构对该技术从检测机理方面进行了仿真分析。国防科学技术大学研究了脉冲涡流热成像技术的检测机理，并利用该技术实现了钢结构与碳纤维复合试件缺陷的检测评估。军械工程学院对脉冲涡流热成像图像去噪方法进行了研究，对该技术的检测缺陷的机理进行了仿真，讨论了裂纹方向对脉冲涡流激励的影响，并通过该技术实现了钢板表面裂纹及腐蚀的定量检测。部分机构通过对该技术检测原理的研究，搭建了自己的试验平台。巴斯大学、英国纽卡斯尔大学等机构在英国相关机构的资助下，对脉冲涡流热成像技术的检测原理进行了研究，设计了自己的检测系统。这些机构也对采集的热图像数据处理和缺陷特征提取相关算法进行了研究，实现了金属、复合材料中缺陷以及RCF产生的疲劳多裂纹的检测。还有一些机构学者应用该技术对不同材料缺陷检测进行了研究。Vrana等人于2009年在《AIP Conference》“Induction and conductionthermography:optimizing the electromagnetic excitation towards application”一文中说明利用脉冲涡流热成像技术检测细小裂纹，其能检测到的深度可以小到100μm。澳大利亚莱奥本大学通过该技术检测了不同材料的试件不同尺寸的缺陷，并对结果进行了分析研究。除此之外，Bai、Tian等人于2012年-2013年期间在“Physical interpretation andseparation of eddy current pulsed thermography”等文章中对该技术中涉及到的焦耳加热、热对流、热传导等物理过程进行了深入的研究分析，并将其与热图像特征提取相结合，从物理层面分析了缺陷特性，并在缺陷自动识别、应力检测等方面进行了应用。
随着脉冲涡流热成像技术的发展，与其相关的热图像处理方法也受到了广泛关注。该技术采集的热视频流，通过合适处理方法可以提取大量的材料特性、缺陷特征等信息，因此很多学者对热图像处理方法进行了研究。
Marinetti等人于1996年在《J.Appl.Phys》第79期第5卷“Pulsed Phase InfraredThermography”一文提到采用傅立叶变换的方法对采集到的整个热图像序列进行变换，分离出幅度信息和相位信息。其中，相位图增大了图像中的对比度，消除了发射率的影响，突出了缺陷的信息，提高了缺陷的识别率。脉冲涡流热成像检测技术采集到的整个热图像序列中还包含了缺陷特征以及其他大量信息，于是有些学者还引入了统计学的方法来挖掘隐藏信息。Rajic、Marinetti等人分别于2002年在《Composite Structures》第58期“Principal component thermography for flaw contrast enhancement and flawdepth characterisation in composite structures”和2005年在《Infrared Phys.&Technol》第46期“Statistical analysis of IR thermographic sequences by PCA”中都提出了利用主成分分析法将整个热图像序列主要信息压缩到少量的主成分数据中，使关键的信息更集中，达到强化缺陷特征的目的。Cheng等人于2014在《IEEE Sensor Journal》第14期第5卷“Impact Damage Detection and Identification Using Eddy CurrentPulsed Thermography Through Integration of PCA and ICA”一文中提出通过主成分分析和独立成分分析处理热图像视频流，实现了碳纤维增强复合材料不同层缺陷的检测。Khan等人于2008年在《IEEE Sensor Journal》第8期第7卷“Asource separationtechnique for processing of thermometric data from fiber-optic DTSmeasurement for water leakage identification in dikes”中提出同时利用主成分分析及独立成分分析对采集的温度数据处理，来检测堤坝水泄漏的问题，并取得了较好的效果。随后部分学者发现独立成分对于缺陷特征提取比主成分分析效果更好，并在这方面进行了深入研究。Bai等人于2013年在《IEEE Sensor Journal》第13期“Spatial and TimePatterns Extraction of Eddy Current Pulsed Thermography using Blind SourceSeparation”一文中提出采用独立成分分析算法对热视频流进行处理，得到了热图像空域及时域特征，实现了不锈钢板表面缺陷的检测。Gao等人于2014年在《IEEE TRANSACTIONSON INSTRUMENTATION AND MEASUREMENT》第63期第4卷“AComparative Study ofPrincipal Component Analysis and Independent Component Analysis in EddyCurrent Pulsed Thermography Data Processing”一文中提出利用独立成分分析的方法提取了缺陷特征，提出一种基于峰态系数的缺陷自动识别方法，并对独立成分中对比函数的选取提出了指导方针。Liang等人于2014年在《IEEE Sensors Journal》第14期第5卷“Impact Damage Detection and Identification Using Eddy Current PulsedThermography Through Integration of PCAand ICA”一文中提出了采用将主成分分析与独立成分分析相结合的方法，在没有任何培训知识的条件下，根据瞬时响应特征提取出时间和空间模型，检测和识别碳纤维复合材料中不同类型的缺陷。
虽然独立成分分析的算法可以很好的分离信号、提取相关特征信息，但仍然存在一些不足之处，很多学者对该算法的结果优化进行了研究。随着大数据时代的到来，数据融合作为新兴的数据处理技术也关注，也得到了广泛应用。王仲妮等人在第三届图像图形技术与应用学术会议“基于有序的快速独立成分分析的遥感影像融合”一文中提出了一种基于有序的快速独立成分分析的全色影像和多光谱影像的融合算法，提高了融合后图像的信噪比。Chen等人于2012年在《Procedia Engineering》第29期“Fusion of remote sensingimages using improved ICA mergers based on wavelet decomposition”一文中提出了一种基于小波变换的独立成分分析融合方法来处理遥感图像，该方法提高了融合图像的空间分辨率。Nedeljko等人在2006年的IEEE International Conference上的“Adaptiveimage fusion using ICA bases”一文中提出了一种基于独立成分分析的多通道图像融合算法，实现了图像特征的增强。除此之外常用的融合方法还用很多种，如贝叶斯推理、Contourlet变换、模糊理论等。
从上述科研成果来看，虽然对缺陷信息的提取具有良好的效果，但是目前大量的研究方法还是将所有的热图像序列都采集后再进行处理，或者是单独采集加热阶段或冷却阶段的数据进行处理，这样不仅运算量太大，而且存在信息冗余，使得检测效率并不高。同时，以上研究的缺陷检测仍然是基于单个缺陷或者是多个缺陷耦合作用可以被忽略的情况，并没有考虑多个缺陷同时存在并相互影响的情况，对多缺陷检测缺少相应的研究。傅里叶变换、主成分分析、独立成分分析等方法虽对单个缺陷检测有效，但是当多个缺陷存在且热场相互耦合时，其有效性有待考证。同时，以上数值方法并没有考虑涡流脉冲热成像数据的物理含义，对数据本身的物理信息的挖掘极其有限。而热成像数据的物理含义来源于电磁场，热场之间的能量转换，缺陷之间的耦合作用通过热场耦合的形式表现出来，和缺陷的状态有着密切的联系，因此，需要开展新的分析角度和方法有很大的研究意义。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于区域分割和图像融合的红外热图像处理方法，通过区域分割后相关性系数来实现图像融合，从而实现缺陷区域的检测及定位。
为实现上述发明目的，本发明一种基于区域分割和图像融合的红外热图像处理方法，其特征在于，包括以下步骤：
(1)、数据的预处理：
(1.1)、对处于室温或低于室温的被测试件进行一段时间的加热，然后实时在线采集加热阶段的热图像序列TData，共计P帧，每帧的大小为M*N，M、N为每帧图像的长和宽；
(1.2)、将热图像序列中的每一帧图像转换成灰度图，得到灰度图序列Gray_I，再利用Sobel算子模板对Gray_I中的每一帧图像进行边缘信息提取，得到包含每一帧图像边缘信息的图像序列L；
(2)、对边缘信息图像序列L进行区域分割处理
(2.1)、将边缘信息图像序列L中的每一帧图像进行区域划分，每一帧图像中每个子区域的大小为d*e，共计(M/d)*(N/e)个子区域；
(2.2)、计算边缘图像序列L中相邻帧的同一子区域的相关性系数；
(2.2.1)、从第一帧和第二帧开始，先计算左上角第一个子区域的相关性系数，如果第一个子区域的相关性系数大于预设阈值R，则第一个子区域的相关性系数计算完成，不进行后续相邻帧的第一个子区域的相关性系数，否则继续计算后续相邻帧的第一个子区域的相关性系数，再与预设阈值R比较；
(2.2.2)、当第一个子区域的相关性系数计算完成后，按照步骤(2.2.1)所述方法继续计算第二个子区域的相关性系数，直到第(M/d)*(N/e)个子区域的相关性系数计算完成；
(2.2.3)、从第一个子区域开始，统计每个子区域的相关性系数大于预设阈值R时对应的当前帧数，以及该子区域的左上角的坐标值，如果某一个子区域的相关性系数始终没有大于预设阈值R，则统计最后时刻对应的帧数及该子区域的左上角的坐标值；
(2.3)、按照统计的先后顺序，用每个子区域对应的当前帧数及左上角的坐标值建立子区域信息统计表，子区域信息统计表共3列(M/d)*(N/e)行，每一行依次存放第一个子区域至第(M/d)*(N/e)个子区域的对应的当前帧数及左上角的横纵坐标值；
(3)、图像融合
依据子区域信息统计表，按照每个子区域对应的当前帧数从边缘信息图像序列L中取出对应的子区域，再将取出的各个子区域按照子区域信息统计表中对应的左上角的坐横纵坐标值组合成一帧图像；
(4)、缺陷定位
依据子区域信息统计表，统计子区域信息统计表中出现当前帧数次数最多的帧，并将该帧中对应的子区域标记为正常区域，将其余帧对应的子区域标记为异常区域；
再对异常区域进行去噪，滤出异常区域中的噪声部分，得到异常区域中的缺陷部分。
本发明的发明目的是这样实现的：
本发明基于区域分割和图像融合的红外热图像处理方法，首先实时在线采集加热阶段的视频流数据，然后对图像进行预处理后提取边缘信息，接着对热图像序列进行等区域分割，对每个子区域分析其空间相关性，即按照时间顺序，计算各子区域相邻帧之间的相关性系数，再通过对相关性系数与阈值比较，返回不满足阈值条件的子区域的左上角坐标值及对应的帧数，最后利用这些子区域的左上角坐标值及对应的帧数融合成一帧图像，从而实现缺陷信息的增强并快速识别缺陷，完成缺陷定量检测。
附图说明
图1是基于区域分割和图像融合的红外热图像处理方法流程图；
图2是被测试件图像；
图3是区域分割示意图；
图4是相关性系数计算方法的示意图；
图5是图像融合的结果示意图(子区域大小为30*40)；
图6是图像融合的结果示意图(子区域大小为20*40)；
图7是前期基于空间相关性研究的处理结果。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是基于区域分割和图像融合的红外热图像处理方法流程图。
在本实施例中，如图1所示，本发明一种基于区域分割和图像融合的红外热图像处理方法，包括以下步骤：
S1、数据的预处理
S1.1、对处于室温或低于室温的被测试件进行一段时间的加热，然后实时在线采集加热阶段的热图像序列TData，共计P帧，每帧的大小为M*N，M、N为每帧图像的长和宽；在本实施例中，对于采集到的热图像序列还可以进行去噪处理，以消除由于仪器造成的时间差以及外界噪声的干扰作用；
在本实施例中，如图2所示，被测试件属于不锈钢材料，存在孔洞及凹槽缺陷。用脉冲涡流对试件中的3号和4号缺陷进行加热，采集其加热过程中的部分红外热图像视频流，共计201帧热图像序列。其中，红外热像仪采用的帧频为25Hz，红外热成像视频流每帧为480*640像素。
S1.2、将热图像序列中的每一帧图像转换成灰度图，得到灰度图序列Gray_I，再利用Sobel算子模板对Gray_I中的每一帧图像进行边缘信息提取，得到包含每一帧图像边缘信息的图像序列L；其中Sobel算子模板大小为3*3。
S2、对边缘信息图像序列L进行区域分割处理
S2.1、将边缘信息图像序列L中的每一帧图像进行区域划分，每一帧图像中每个子区域的大小为d*e，共计(M/d)*(N/e)个子区域；
在本实施例中，如图3所示，对热图像序列进行等区域划分，每个子区域的大小为30*40，于是共有256个子区域。
S2.2、计算边缘图像序列L中相邻帧的同一子区域的相关性系数；
S2.2.1、相邻帧的同一子区域的相关性系数计算公式为：
其中，其中，i＝1,2,…,M′，j＝1.,2,…,N′，M′和N′分别表示每个子区域横向和纵向像素点的总数，和分别表示第m和第n帧边缘信息图像中第k个子区域中像素点(i,j)的像素值，和分别表示第m和第n帧边缘信息图像中第k个子区域的均值；
S2.2.2、从第一帧和第二帧开始，如图4所示，每个子区域的空间相关性采用的是行扫描的方式，按照上述公式先计算左上角第一个子区域的相关性系数，如果第一个子区域的相关性系数大于预设阈值R，则第一个子区域的相关性系数计算完成，不进行后续相邻帧的第一个子区域的相关性系数，否则继续计算后续相邻帧的第一个子区域的相关性系数，再与预设阈值R比较；
在本实施例中，为了更准确地显示相关性系数曲线在加热过程中的变化趋势，帧间隔δ不宜太大，其取值范围一般为1≤δ≤3，其具体的值可以根据各类缺陷的实验得到。在本实施例中δ＝1。
在本实施例中，如果第一帧和第二帧中第一个子区域的相关性系数大于预设阈值R＝0.95，则第一个子区域的相关性系数计算完成，不进行后续二三、三四…..帧的第一个子区域的相关性系数计算；
S2.2.3、当第一个子区域的相关性系数计算完成后，按照步骤(2.2.2)所述方法继续计算第二个子区域的相关性系数，直到第256个子区域的相关性系数计算完成；
S2.2.4、从第一个子区域开始，统计每个子区域的相关性系数大于预设阈值R时对应的当前帧数，以及该子区域的左上角的坐标值，如果某一个子区域的相关性系数始终没有大于预设阈值R，则统计最后时刻对应的帧数及该子区域的左上角的坐标值；
在本实施例中，如果第一帧和第二帧中第一个子区域的相关性系数大于预设阈值R＝0.95，则统计第一个子区域左上角的坐标值，及对应的当前帧数，即第一帧；如果最后两帧中第一个子区域的相关性系数始终没有大于预设阈值R＝0.95，则统计第一个子区域左上角的坐标值，及对应的当前帧数，即倒数第二帧；
S2.3、按照统计的先后顺序，用每个子区域对应的当前帧数及左上角的坐标值建立子区域信息统计表，子区域信息统计表共3列256行，每一行依次存放第一个子区域至第256个子区域的对应的当前帧数及左上角的横纵坐标值；
在本实施例中，第一行代表第一个子区域，最后一行代表最后一个子区域，即边缘图像序列M的右下角区域；共3列，第一列为各子区域左上角像素点对应的横坐标，第二列为各子区域左上角像素点对应的纵坐标，第三列为各子区域满足阈值条件时返回的对应帧数或者未满足阈值条件时返回的最后一帧对应的帧数；
S3、图像融合
依据子区域信息统计表，按照每个子区域对应的当前帧数从边缘信息图像序列L中取出对应的子区域，再将取出的各个子区域按照子区域信息统计表中对应的左上角的坐横纵坐标值组合成一帧图像；
表1
如表1所示，第一列代表子区域左上角像素点对应的横坐标值，第二列代表子区域左上角像素点对应的纵坐标，第三列代表满足阈值条件时对应的帧数或者未满足阈值条件时返回的最后一帧对应的帧数。
表1所示为部分返回值的示意表，选取了子区域左上角的横坐标范围在91～181之间、纵坐标范围在1～601之间的子区域块来进行解释(中间大量重复数据以省略号代替)。从图中可以看出，大部分子区域对应的返回的帧数为200，即表明这些子区域的相关性系数在计算过程中直到最后才满足相关性系数的阈值条件或者直到最后仍不满足，这说明其相关性系数并未出现大的突变值且一直保持平稳的增长趋势；对于图5中返回的帧数为1和2这样较小的数，通过对完整的返回值统计表的观察可以证明，当子区域位于图像的边缘时，这些位置离加热源比较远，所以其热响应仅是由于受到感应加热区域的热扩散而引起的，故这些子区域的相邻帧的相关性很好，即相关性系数的数值在一开始就很高，于是在计算初期就能满足相关性阈值的条件，从而返回的帧数较小；而对于表1中标记为黑色字体的帧数，如返回值分别为97、72和65，与大部分返回值(即200)不同，按照统计概率来看，属于异常数据，经过对其坐标值的进一步判断可知，这三个子区域确实是缺陷区域，对应的是图2中左侧的缺陷。因此，可以通过对类似这样的异常数据的统计来实现异常区域的识别。
S4、缺陷定位
依据子区域信息统计表，统计子区域信息统计表中出现当前帧数次数最多的帧，并将该帧中对应的子区域标记为正常区域，将其余帧对应的子区域标记为异常区域；在加热过程中，由于相邻几帧的变化在整体上而言差别不是很大，而且热图像易受外界噪声的影响，因此在实际的统计过程中，不要求大部分数据一定是相同的，只要保证大致相似即可。
再对异常区域进行去噪，滤出异常区域中的噪声部分，得到异常区域中的缺陷部分。
图5是图像融合的结果示意图(子区域大小为30*40)。融合的方法按照原始热图像的排列方式拼接，将所有子区域还原，恢复成原始热图像的大小。在未知缺陷信息的情况下，根据前面的步骤，已经可以判断出是否有缺陷存在以及缺陷位置的分布情况，然后再将各子区域拼接之后，就可以直观地看到缺陷的具体位置及其形状、大小等尺寸信息，而且可以从图中看出，经过重构的热图像起到了缺陷信息增强的效果，提高了缺陷区域的灰度对比度，便于后续缺陷的定量检测。
图6是另一个图像融合的结果示意图(子区域大小为20*40)。为了进一步说明子区域的大小设置情况对图像处理结果的影响，此处仅以实验结果中的采用的两个不同子区域尺寸为例进行对比说明。通过对比图6和图7可以发现，当子区域的尺寸变小时，针对某一缺陷而言，它的像素信息会包含在更多的子区域当中，从而可以使缺陷精度更高，图像的分辨率也会更好。这里关于子区域的尺寸大小经过大量实验证明，当区域大小为15*15像素，帧间隔δ为2时，相关性系数的异常变化不仅会出现在缺陷端点区域，同时也将其他区域识别为异常。由于这些区域都处于非加热的偏远区域，该区域材料本身的温度比较低，温度不稳定，容易受到外界噪声的影响，因此被判别为异常的可能性极大，这样就会导致缺陷的误判，所以，当帧间隔δ在满足其取值范围时，子区域的大小设置不建议小于15*15像素。
图7是前期基于空间相关性研究的处理结果。将图6与图7进行对比可以看出，虽然最后的融合结果是以灰度图的形式呈现的，但是比图6所示图像中包含了更多的缺陷信息，其中最重要的就是缺陷所在的区域及其坐标位置。而且还可以发现，早期的研究结果对大尺寸的缺陷检测效果比较好，如图6中左边的缺陷，小尺寸缺陷的因加热而产生的温度差比大尺寸的小，这样的话在对整幅图利用空间相关性处理时，大尺寸缺陷的相关性系数变化就会比小尺寸的相关性系数的变化明显，从而导致小尺寸的缺陷容易被忽略，如图6中右边的缺陷。但是基于区域分割和图像融合的方法却可以很好的避免这个问题，因为通过对整幅图像进行区域分割，将整幅图划分为很多个子区域，这样可以对不同区域通过调节各自的阈值单独进行不同的效果处理，避免了不同区域的相关性系数的相互影响作用，使得各区域的缺陷信息都被保留下来，从而达到了图像增强的效果，也提高了缺陷检测的精度。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于区域分割和图像融合的红外热图像处理方法，其特征在于，包括以下步骤：
(1)、数据的预处理：
(1.1)、对处于室温或低于室温的被测试件进行一段时间的加热，然后实时在线采集加热阶段的热图像序列TData，共计P帧，每帧的大小为M*N，M、N为每帧图像的长和宽；
(1.2)、将热图像序列中的每一帧图像转换成灰度图，得到灰度图序列Gray_I，再利用Sobel算子模板对Gray_I中的每一帧图像进行边缘信息提取，得到包含每一帧图像边缘信息的图像序列L；
(2)、对边缘信息图像序列L进行区域分割处理
(2.1)、将边缘信息图像序列L中的每一帧图像进行区域划分，每一帧图像中每个子区域的大小为d*e，共计(M/d)*(N/e)个子区域；
(2.2)、计算边缘图像序列L中相邻帧的同一子区域的相关性系数；
(2.2.1)、从第一帧和第二帧开始，先计算左上角第一个子区域的相关性系数，如果第一个子区域的相关性系数大于预设阈值R，则第一个子区域的相关性系数计算完成，不进行后续相邻帧的第一一个子区域的相关性系数，否则继续计算后续相邻帧的第一个子区域的相关性系数，再与预设阈值R比较；
(2.2.2)、当第一个子区域的相关性系数计算完成后，按照步骤(2.2.1)所述方法继续计算第二个子区域的相关性系数，直到第(M/d)*(N/e)个子区域的相关性系数计算完成；
(2.2.3)、从第一个子区域开始，统计每个子区域的相关性系数大于预设阈值R时对应的当前帧数，以及该子区域的左上角的坐标值，如果某一个子区域的相关性系数始终没有大于预设阈值R，则统计最后时刻对应的帧数及该子区域的左上角的坐标值；
(2.3)、按照统计的先后顺序，用每个子区域对应的当前帧数及左上角的坐标值建立子区域信息统计表，子区域信息统计表共3列(M/d)*(N/e)行，每一行依次存放第一个子区域至第(M/d)*(N/e)个子区域的对应的当前帧数及左上角的横纵坐标值；
(3)、图像融合
依据子区域信息统计表，按照每个子区域对应的当前帧数从边缘信息图像序列L中取出对应的子区域，再将取出的各个子区域按照子区域信息统计表中对应的左上角的坐横纵坐标值组合成一帧图像；
(4)、缺陷定位
依据子区域信息统计表，统计子区域信息统计表中出现当前帧数次数最多的帧，并将该帧中对应的子区域标记为区域，将其余帧对应的子区域标记为异常区域；
再对异常区域进行去噪，滤出异常区域中的噪声部分，得到异常区域中的缺陷部分。
2.根据权利要求1所述的基于区域分割和图像融合的红外热图像处理方法，其特征在于，所述步骤(2.2)中，相邻帧的同一子区域的相关性系数计算公式为：
其中，其中，i＝1,2,…,M′，j＝1.,2,…,N′，M′和N′分别表示每个子区域横向和纵向像素点的总数，和分别表示第m和第n帧边缘信息图像中第k个子区域中像素点(i,j)的像素值，和分别表示第m和第n帧边缘信息图像中第k个子区域的均值。
3.根据权利要求1所述的基于区域分割和图像融合的红外热图像处理方法，其特征在于，所述Sobel算子模板的大小为3*3。
4.根据权利要求1所述的基于区域分割和图像融合的红外热图像处理方法，其特征在于，所述的预设阈值R＝0.95。
CN201810064381.8A 2018-01-23 2018-01-23 一种基于区域分割和图像融合的红外热图像处理方法 Active CN108198181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810064381.8A CN108198181B (zh) 2018-01-23 2018-01-23 一种基于区域分割和图像融合的红外热图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810064381.8A CN108198181B (zh) 2018-01-23 2018-01-23 一种基于区域分割和图像融合的红外热图像处理方法

Publications (2)

Publication Number Publication Date
CN108198181A true CN108198181A (zh) 2018-06-22
CN108198181B CN108198181B (zh) 2019-12-27

Family

ID=62590411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810064381.8A Active CN108198181B (zh) 2018-01-23 2018-01-23 一种基于区域分割和图像融合的红外热图像处理方法

Country Status (1)

Country Link
CN (1) CN108198181B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285118A (zh) * 2018-09-26 2019-01-29 电子科技大学 一种添加附件层的红外热图像拼接方法
CN109323317A (zh) * 2018-12-06 2019-02-12 林丽 自适应调控型吸油烟机
CN109360145A (zh) * 2018-10-30 2019-02-19 电子科技大学 一种基于涡流脉冲红外热图像拼接方法
CN109446992A (zh) * 2018-10-30 2019-03-08 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN109636755A (zh) * 2018-12-12 2019-04-16 电子科技大学 一种通过加权估计实现红外热图像增强的方法
CN109632871A (zh) * 2018-11-22 2019-04-16 成都飞机工业（集团）有限责任公司 一种针对碳纤维复合材料r区无损检测的系统及检测方法
CN110222740A (zh) * 2019-05-23 2019-09-10 电子科技大学 一种基于加性模糊的红外技术缺陷重构与特征提取方法
CN110426415A (zh) * 2019-07-15 2019-11-08 武汉大学 基于深度卷积神经网络和图像分割的油浸式变压器内部热故障诊断方法
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111028196A (zh) * 2019-10-29 2020-04-17 电子科技大学 一种基于热图像时间序列特征的红外图像增强方法
CN111487250A (zh) * 2020-04-02 2020-08-04 苏州奥创智能科技有限公司 一种应用于注塑件不良品检测的智能视觉检测方法及系统
CN111611921A (zh) * 2020-05-21 2020-09-01 佛山市高明曦逻科技有限公司 一种基于遥感大数据的太阳能板识别系统
CN112834569A (zh) * 2021-02-22 2021-05-25 上海展湾信息科技有限公司 一种实时检测焊接气孔的方法与设备
CN112862740A (zh) * 2019-11-28 2021-05-28 宁波微科光电股份有限公司 一种地铁障碍物检测方法
CN113433167A (zh) * 2021-06-10 2021-09-24 国网湖南省电力有限公司 基于红外热图的电力电缆终端设备的状态监测方法及系统
CN113537236A (zh) * 2021-06-21 2021-10-22 电子科技大学 用于航天器损伤红外检测的热扩散效应缺陷定量识别方法
CN114058778A (zh) * 2021-11-18 2022-02-18 中国安全生产科学研究院 一种炼钢设备温度采集安全监控系统
CN114219765A (zh) * 2021-11-18 2022-03-22 电子科技大学 一种基于相位特征自适应提取红外热图像缺陷的方法
CN114487014A (zh) * 2022-01-26 2022-05-13 电子科技大学 一种红外无损检测的缺陷几何特征提取方法
CN115511881A (zh) * 2022-11-08 2022-12-23 南京航空航天大学 一种数字图像相关和数字体相关中的相关性调谐法
CN117617888A (zh) * 2024-01-26 2024-03-01 湖南火眼医疗科技有限公司 一种近视屈光度的预测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0476603A2 (en) * 1990-09-20 1992-03-25 Nec Corporation Method and apparatus for coding moving image signal
CN101119442A (zh) * 2007-08-10 2008-02-06 浙江大学 基于全景图拼接的视频编辑方法
CN101455576A (zh) * 2007-12-12 2009-06-17 深圳迈瑞生物医疗电子股份有限公司 超声宽景成像的方法、装置与系统
US20120243757A1 (en) * 2010-07-30 2012-09-27 Siemens Corporation System and method for detection of acoustic shadows and automatic assessment of image usability in 3d ultrasound images
US20130188866A1 (en) * 2012-01-24 2013-07-25 Telefonica, S.A. Method to assess aesthetic quality of photographs
CN105719278A (zh) * 2016-01-13 2016-06-29 西北大学 一种基于统计形变模型的器官辅助定位分割方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0476603A2 (en) * 1990-09-20 1992-03-25 Nec Corporation Method and apparatus for coding moving image signal
CN101119442A (zh) * 2007-08-10 2008-02-06 浙江大学 基于全景图拼接的视频编辑方法
CN101455576A (zh) * 2007-12-12 2009-06-17 深圳迈瑞生物医疗电子股份有限公司 超声宽景成像的方法、装置与系统
US20120243757A1 (en) * 2010-07-30 2012-09-27 Siemens Corporation System and method for detection of acoustic shadows and automatic assessment of image usability in 3d ultrasound images
US20130188866A1 (en) * 2012-01-24 2013-07-25 Telefonica, S.A. Method to assess aesthetic quality of photographs
CN105719278A (zh) * 2016-01-13 2016-06-29 西北大学 一种基于统计形变模型的器官辅助定位分割方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285118A (zh) * 2018-09-26 2019-01-29 电子科技大学 一种添加附件层的红外热图像拼接方法
CN109285118B (zh) * 2018-09-26 2023-03-07 电子科技大学 一种添加附件层的红外热图像拼接方法
CN109446992B (zh) * 2018-10-30 2022-06-17 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN109360145A (zh) * 2018-10-30 2019-02-19 电子科技大学 一种基于涡流脉冲红外热图像拼接方法
CN109446992A (zh) * 2018-10-30 2019-03-08 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN109632871A (zh) * 2018-11-22 2019-04-16 成都飞机工业（集团）有限责任公司 一种针对碳纤维复合材料r区无损检测的系统及检测方法
CN109323317A (zh) * 2018-12-06 2019-02-12 林丽 自适应调控型吸油烟机
CN109636755A (zh) * 2018-12-12 2019-04-16 电子科技大学 一种通过加权估计实现红外热图像增强的方法
CN109636755B (zh) * 2018-12-12 2023-03-28 电子科技大学 一种通过加权估计实现红外热图像增强的方法
CN110222740B (zh) * 2019-05-23 2022-03-25 电子科技大学 一种基于加性模糊的红外技术缺陷重构与特征提取方法
CN110222740A (zh) * 2019-05-23 2019-09-10 电子科技大学 一种基于加性模糊的红外技术缺陷重构与特征提取方法
CN110426415A (zh) * 2019-07-15 2019-11-08 武汉大学 基于深度卷积神经网络和图像分割的油浸式变压器内部热故障诊断方法
CN111028196A (zh) * 2019-10-29 2020-04-17 电子科技大学 一种基于热图像时间序列特征的红外图像增强方法
CN111028196B (zh) * 2019-10-29 2021-12-10 电子科技大学 一种基于热图像时间序列特征的红外图像增强方法
CN112862740A (zh) * 2019-11-28 2021-05-28 宁波微科光电股份有限公司 一种地铁障碍物检测方法
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111028189B (zh) * 2019-12-09 2023-06-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111487250A (zh) * 2020-04-02 2020-08-04 苏州奥创智能科技有限公司 一种应用于注塑件不良品检测的智能视觉检测方法及系统
CN111611921B (zh) * 2020-05-21 2021-05-14 苏州科知律信息科技有限公司 一种基于遥感大数据的太阳能板识别系统
CN111611921A (zh) * 2020-05-21 2020-09-01 佛山市高明曦逻科技有限公司 一种基于遥感大数据的太阳能板识别系统
CN112834569A (zh) * 2021-02-22 2021-05-25 上海展湾信息科技有限公司 一种实时检测焊接气孔的方法与设备
CN113433167A (zh) * 2021-06-10 2021-09-24 国网湖南省电力有限公司 基于红外热图的电力电缆终端设备的状态监测方法及系统
CN113537236A (zh) * 2021-06-21 2021-10-22 电子科技大学 用于航天器损伤红外检测的热扩散效应缺陷定量识别方法
CN113537236B (zh) * 2021-06-21 2023-04-21 电子科技大学 用于航天器损伤红外检测的热扩散效应缺陷定量识别方法
CN114058778B (zh) * 2021-11-18 2022-09-20 中国安全生产科学研究院 一种炼钢设备温度采集安全监控系统
CN114219765B (zh) * 2021-11-18 2023-03-10 电子科技大学 一种基于相位特征自适应提取红外热图像缺陷的方法
CN114219765A (zh) * 2021-11-18 2022-03-22 电子科技大学 一种基于相位特征自适应提取红外热图像缺陷的方法
CN114058778A (zh) * 2021-11-18 2022-02-18 中国安全生产科学研究院 一种炼钢设备温度采集安全监控系统
CN114487014A (zh) * 2022-01-26 2022-05-13 电子科技大学 一种红外无损检测的缺陷几何特征提取方法
CN114487014B (zh) * 2022-01-26 2023-05-09 电子科技大学 一种红外无损检测的缺陷几何特征提取方法
CN115511881A (zh) * 2022-11-08 2022-12-23 南京航空航天大学 一种数字图像相关和数字体相关中的相关性调谐法
CN117617888A (zh) * 2024-01-26 2024-03-01 湖南火眼医疗科技有限公司 一种近视屈光度的预测系统及方法
CN117617888B (zh) * 2024-01-26 2024-04-05 湖南火眼医疗科技有限公司 一种近视屈光度的预测系统及方法

Also Published As

Publication number Publication date
CN108198181B (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN108198181A (zh) 一种基于区域分割和图像融合的红外热图像处理方法
CN108109128B (zh) 一种基于空间相关性的红外热图像处理方法
Li et al. Quantitative surface crack evaluation based on eddy current pulsed thermography
Cheng et al. Impact damage detection and identification using eddy current pulsed thermography through integration of PCA and ICA
CN102621150B (zh) 基于灰度共生矩阵和支持向量机的飞机蒙皮损伤识别方法
CN103439342A (zh) 基于热图时序特征的红外无损检测方法
CN108932713A (zh) 一种基于深度学习的焊缝气孔缺陷自动检测方法
CN105447857B (zh) 脉冲涡流红外热图像的特征提取方法
CN107392885A (zh) 一种基于视觉对比机制的红外弱小目标检测方法
CN107389732A (zh) 一种激光扫描热成像裂纹检测方法
Deng et al. Line scanning thermography reconstruction algorithm for defects inspection with novel velocity estimation and image registration
CN109636755B (zh) 一种通过加权估计实现红外热图像增强的方法
Cheng et al. Research on crack detection applications of improved PCNN algorithm in MOI nondestructive test method
CN106018479A (zh) 基于异常区域定位的红外热图像处理方法
CN105572143A (zh) 压延过程中压延材料表面周期性缺陷的检测方法
Chen et al. Characterization of image sequences of a defect using pulsed eddy current signals
Xiao et al. Spatial-time-state fusion algorithm for defect detection through eddy current pulsed thermography
CN106022365B (zh) 基于数据融合和rbf神经网络的表面缺陷深度估计方法
Cao et al. Balanced multi-scale target score network for ceramic tile surface defect detection
CN113537236A (zh) 用于航天器损伤红外检测的热扩散效应缺陷定量识别方法
Zeng et al. Support vector machines based defect recognition in SonicIR using 2D heat diffusion features
CN109816651B (zh) 基于变化率与温度差异的热图像缺陷特征提取方法
Souridi et al. Simple digital image processing applied to thermographic data for the detection of cracks via eddy current thermography
Yuhong et al. Detection clustering analysis algorithm and system parameters study of the near-point multi-class foreign fiber
Tong et al. Surface Defect Detection Method Based on Improved Faster-RCNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant