CN113538232A - 大尺寸航空航天复合材料构件全局缺陷定量识别方法 - Google Patents

大尺寸航空航天复合材料构件全局缺陷定量识别方法 Download PDF

Info

Publication number
CN113538232A
CN113538232A CN202110686339.1A CN202110686339A CN113538232A CN 113538232 A CN113538232 A CN 113538232A CN 202110686339 A CN202110686339 A CN 202110686339A CN 113538232 A CN113538232 A CN 113538232A
Authority
CN
China
Prior art keywords
image
defect
region
overlap
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110686339.1A
Other languages
English (en)
Other versions
CN113538232B (zh
Inventor
殷春
杨晓
程玉华
陈凯
黄雪刚
王胤泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110686339.1A priority Critical patent/CN113538232B/zh
Priority to US17/401,760 priority patent/US11587250B2/en
Publication of CN113538232A publication Critical patent/CN113538232A/zh
Application granted granted Critical
Publication of CN113538232B publication Critical patent/CN113538232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种大尺寸航空航天复合材料构件全局缺陷定量识别方法，首先，利用拼接图像时基准图像和配准图像的仿射变换关系得到红外重构拼接图像重叠区域，将红外重构拼接图像划分为三个部分：基准图像部分I12_1、配准图像部分I12_2以及重叠区域部分I12_overlap；然后，对红外重构拼接图像进行缺陷特征区域提取，得到P个缺陷特征区域；最后，根据缺陷特征区域位于红外重构拼接图像的部分采用直接获取、利用仿射变换的逆规律设计的坐标区域变换获得瞬态热响应曲线，并欧式距离或动态时间归整算法进行不同的热扩散区域像素点统计，进而得到缺陷特征区域(缺陷)大小NRp，完成缺陷定量识别，提高了缺陷识别的准确性。

Description

大尺寸航空航天复合材料构件全局缺陷定量识别方法
技术邻域
本发明属于无损检测技术领域，更为具体地讲，涉及一种大尺寸航空航天复合材料构件全局缺陷定量识别方法。
背景技术
对于大尺寸航空航天复合材料的缺陷(损伤)检测，为了保证检测的精度，需要对大尺寸构件进行多次局部红外无损检测，并且保证每次局部红外无损检测时有一定重叠区域。利用检测得到的红外图像序列进行重构，可得到局部检测部分对应的局部缺陷特征重构图像。对所有的局部缺陷特征重构图像进行拼接，得到红外重构拼接图像，以呈现大尺寸航空航天复合材料的整体缺陷检测结果。
为了进一步对大尺寸航空航天复合材料中的缺陷进行研究，需要获得缺陷的定量信息，才能有效地判断出损伤的严重程度。但是，在拍摄的过程中，由于拍摄角度会发生轻微的偏转，以及局部拍摄区域之间位置有水平的偏移，对于局部缺陷特征重构图像的拼接，需要将作为配准图像的局部特征重构图像进行扭曲变形(仿射变换)与作为基准图像的局部特征重构图像配准融合后得到拼接图像(拼接后的拼接图像再作为基准图像与其他局部特征重构图像(作为配准图像)进行拼接，最后得到红外重构拼接图像)。对局部特征红外重构图像进行拼接可以将局部检测时没有检测完整的缺陷部分，通过拼接得到对应的整体缺陷区域。拼接图像中的缺陷特征区域特别是位于重叠区域中的缺陷可能会发生一定的形变，因此，考虑以上情况直接对红外重构拼接图像进行缺陷特征区域提取不能得到准确的缺陷定量信息。
于是我们希望提取到红外重构拼接图像中的缺陷区域，然后利用对应像素位置关系获得缺陷对应的红外图像序列，进而得到缺陷特征区域对应的具有温度变化特征的瞬态热响应曲线用以判断特征区域中的像素点是否为真实的缺陷，以此获得缺陷区域准确大小。
因为构成红外重构拼接图像的基准图像和配准图像，两者像素点分别对应红外图像序列中每一像素，其对应的温度变化信息反映了该位置对应的检测试样中不同的温度变化，当连续性(缺陷)有一定改变时其对应的热属性也会与正常部位产生差异。利用这种瞬态热响应之间的差异性可以获得判断缺陷的实际大小。但是红外重构拼接图像中缺陷会位于两幅局部特征重构图像之间的重叠区域，甚至只有一部分位于重叠区域进而需要依靠两幅局部检测红外重构图像拼接后的拼接结果获得完整的缺陷区域。这样会导致重叠区域由于仿射变换可能使缺陷形态发生畸变导致的重叠部分提取的部分缺陷的像素点个数不准确，影响缺陷定量识别的准确性。
发明内容
本发明的目的在于克服现有技术的不足，提供一种大尺寸航空航天复合材料构件全局缺陷定量识别方法，以解决重叠区域缺陷像素点提取不准确的问题，实现缺陷定量的准确识别。
为实现上述发明目的，本发明大尺寸航空航天复合材料构件全局缺陷定量识别方法，其特征在于，包括：
(1)、红外重构拼接图像重叠区域确定
1.1)、拼接局部特征重构图像并计算坐标转换的x轴、y轴坐标补充值；
将一幅局部特征重构图像作为基准图像I1，将相邻的有一定重叠区域的另一幅局部特征重构图像作为配准图像I2，将基准图像I1、配准图像I2置于世界坐标系下，然后利用仿射变换矩阵H进行拼接，得到的红外重构拼接图像I12，其中，基准图像I1、配准图像I2的尺寸大小相同，宽度为m个像素点，高度为n个像素点；
所述仿射变换矩阵H为：
Figure BDA0003124733790000021
其中，o1、o2、o3、o4、o5、o6为系数；
根据仿射变换矩阵H，求其逆矩阵H-1，并表示为：
Figure BDA0003124733790000022
其中，o′1、o′2、o′3、o′4、o′5、o′6为系数；
根据仿射变换矩阵H、配准图像I2计算坐标转换的x轴、y轴坐标补充值Xadd,Yadd：
Figure BDA0003124733790000031
Figure BDA0003124733790000032
Xadd＝0|Xmin＞0,Xadd＝Xmin|Xmin≤0
Yadd＝0|Ymin＞0,Yadd＝Ymin|Ymin≤0
其中，(x2_1,y2_n)表示配准图像I2第1列、第n行像素点坐标，(x2_1,y2_1)表示配准图像I2第1列、第1行像素点的坐标，(x2_m,y2_1)表示配准图像I2第m列、第1行像素点坐标，
Figure BDA0003124733790000033
表示选取两个经仿射变换后的坐标中x轴坐标最小值，
Figure BDA0003124733790000034
表示选取两个经仿射变换后的坐标中y轴坐标最小值；
1.2)、获取搜索矩形区域
根据仿射变换矩阵H、配准图像I2计算x轴坐标最大值、y轴坐标最大值：
Figure BDA0003124733790000035
Figure BDA0003124733790000036
式中，(x2_m,y2_n)表示配准图像I2第m列、第n行像素点的坐标，(x2_m,y2_1)表示配准图像I2第m列、第1行像素点的坐标，(x2_1,y2_n)表示配准图像I2第1列宽度1、第n行像素点坐标，
Figure BDA0003124733790000037
表示选取两个仿射变换后的坐标中x轴坐标最大值，
Figure BDA0003124733790000038
表示选取两个仿射变换后的坐标中y轴坐标最大值；
判断并确定世界坐标系顶点数值：当Xmin＞0,则Xmin＝1；当Xmin≤0则Xmin＝Xmin；当Ymin＞0则Ymin＝1；当Ymin≤0则Ymin＝Ymin；当Xmax＞m,则Xmax＝Xmax；当Xmin≤m则Xmax＝m；当Ymax＞n则Ymax＝Ymax；当Ymax≤n则Ymax＝n；
世界坐标系下的四个顶点(Xmax,Ymax)、(Xmax,Ymin)、(Xmin,Ymax)、(Xmin,Ymin)连接构成的区域为搜索矩形区域；
将红外重构拼接图像中像素坐标点构成的数组表示为：
I12(x12_m′,y12_n),m′＝1,...,M′,n′＝1,...,N′
其中，红外重构拼接图像的长对应的像素点个数M′＝Xmax-Xmin，宽对应的像素点个数N′＝Ymax-Ymin；
1.3)、确定红外重构拼接图像的三个部分
①、将基准图像I1、配准图像I2变换至搜索矩形区域内：将基准图像像素值I1(x1_i,y1_j),i＝1,...,m,j＝1,...,n以左下角为原点变换至搜索矩形区域内，用0作为插值补充没有对应数值的位置，得到基准图像I1置于世界坐标系后的像素值I1(x1_i,y1-j)，i＝1,...,Xmax-Xmin,j＝1,...，Ymax-Ymin；将配准图像像素值I2(x1_i，y2_j)，i＝1，...，m，j＝1，...，n经仿射变换Hmosaic·I2(x1_i，y2_j)变换至搜索矩形区域内，用0作为插值补充没有对应数值的位置，得到配准图像I2置于世界坐标系后的像素值I′2(x2_i,y2_j)i＝1,...,Xmax-Xmin,j＝1,...,Ymax-Ymin；
②、初始化i＝1,j＝1，然后进行；
③、判断在当前像素点(i，j)下，像素值I′1(x1_i,y1-j)、I′2(x2_i,y2_j)是否都为非零数值，若都为非零数值，则该像素点坐标值为交点坐标值，并作为重叠区域部分I12_overlap的像素点坐标值，i＝i+1；
④、若i＞Xmax-Xmin，则j＝j+1，返回步骤③，否则直接返回步骤③，直至j＞Ymax-Ymin，重叠区域搜索完成，输出重叠区域I12_overlap；
根据获得的重叠区域I12_overlap，将红外重构图像I12划分为以下三个部分：重叠区域部分I12_overlap、基准图像I1上非重叠区域部分为红外重构拼接图像I12的基准图像部分I12_1以及仿射图像I′2上非重叠区域部分为红外重构拼接图像I12的配准图像部分I12_2，其中仿射图像I′2与配准图像I2的对应关系为：
Figure BDA0003124733790000041
其中，(x2_i，y2_j)为配准图像I2第i列，第j行像素点的坐标，i＝1，2，...，m，j＝1,2,...n，(x′2_i',y′2_j')为仿射图像I′2第i′列，第j′行像素点的坐标；
(2)、红外重构拼接图像缺陷特征区域提取
2.1)、将红外重构拼接图像I12的像素值(温度特征值)从RGB颜色空间转换到L*a*b*颜色空间；
2.2)、根据红外重构拼接图像I12的“a*”和“b*”颜色信息转换值，利用聚类中心将其像素点聚类为K类，保留“L*”(即亮度)最高的一类的像素点，其余类丢弃；然后进行形态学开闭运算操作，来连接相邻的像素点，获得缺陷特征区域de1，de2，...，deP，P为缺陷特征区域数量；
(3)、红外重构拼接图像缺陷特征区域(缺陷)定量识别
情形1：对于第p个缺陷特征区域，如果全部位于基准图像部分I12_1、全部位于重叠区域部分I12_overlap或同时位于基准图像部分I12_1以及重叠区域部分I12_overlap，将坐标补充值Xadd,Yadd用于下式得到的像素点转换坐标：
Figure BDA0003124733790000051
其中，坐标(x12_p_i,y12_p_j)为红外重构拼接图像I12上第p个缺陷特征区域第i行，第j列的坐标，坐标(x1_p_i″,y1_p_j″)为基准图像I1上第p个缺陷特征区域对应区域的第i″行，第j″列的坐标；利用像素点转换坐标与重构基准图像I1的对应图像序列获得第p个缺陷特征区域dep位置的瞬态热响应曲线TTRp_1,TTRp_2,...,TTRp_Np，Np为第p个缺陷特征区域dep位置的瞬态热响应曲线数量(即第p个缺陷特征区域dep的像素点数量)；
情形2：对于第p个缺陷特征区域，如果全部位于配准图像部分I12_2或同时位于基准图像部分I12_2以及重叠区域部分I12_overlap，则将第p个缺陷特征区域dep中像素点的坐标进行转换，得到其在配准图像I2上的像素点坐标(像素点转换坐标)，然后，在重构配准图像I2的对应图像序列，根据获得的像素点转换坐标，获得第p个缺陷特征区域dep位置的瞬态热响应曲线TTRp_1,TTRp_2,...,TTRp_Np，Np为第p个缺陷特征区域dep位置的瞬态热响应曲线数量(即第p个缺陷特征区域dep的像素点数据量)，其中，所述像素点转换坐标根据以下公式得到：
Figure BDA0003124733790000052
其中，坐标(x12_p_i,y12_p_j)为红外重构拼接图像I12上第p个缺陷特征区域第i行，第j列的坐标，坐标(x1_p_i″,y1_p_j″)为配准图像I2上第p个缺陷特征区域对应区域的第i″行，第j″列的坐标；
对情形1、情形2获得的瞬态热响应曲线，找出位于几何中心(质心)的瞬态热响应曲线，然后，计算其他瞬态热响应曲线到质心瞬态热响应曲线的欧式距离，如果大于设定的距离阈值，则该瞬态热响应曲线对应的像素点为热扩散区域像素点，统计热扩散区域像素点，得到第p个缺陷特征区域的热扩散区域像素点数量NSp，这样得到第p个缺陷特征区域(缺陷)大小NRp，完成缺陷定量识别，其中：
NRp＝Np-NSp；
情形3：对于第p个缺陷特征区域，如果同时位于基准图像部分I12_1、重叠区域部分I12_overlap以及配准图像部分I12_2，则采用情形1的方式，获取第p个缺陷特征区域dep在基准图像部分I12_1、重叠区域部分I12_overlap(基准图像I1)位置的瞬态热响应曲线，然后再获得该部分的热扩散区域像素点数量NSp_1；同时，采用情形2的方式，获取第p个缺陷特征区域dep在重叠区域部分I12_overlap以及配准图像部分I12_2(仿射图像I′2)位置的瞬态热响应曲线，然后再获得该部分的热扩散区域像素点数量NSp_2；对重叠区域部分I12_overlap分别采用情形1、2的方式获得瞬态热响应曲线，然后采用DTW(Dynamic Time Warping，动态时间归整)算法对同一位置的瞬态热响应曲线进行两两间的相似性度量，如果相似度大于设定的相似度阈值，则对应位置的像素点为正确一致的重叠点；对所有重叠区域部分I12_overlap的像素点进行判断，统计正确一致的重叠点，得到重叠区域正确一致的像素点个数NRp_overlap；这样得到第p个缺陷特征区域的热扩散区域像素点数量NSp：
Figure BDA0003124733790000061
其中，orgNRp_overlap为重叠区域部分I12_overlap的像素点个数；
这样得到第p个缺陷特征区域(缺陷)大小NRp，完成缺陷定量识别，其中：
NRp＝Np-NSp
其中，Np为第p个缺陷特征区域dep的像素点数量。
本发明的发明目的是这样实现的：
本发明大尺寸航空航天复合材料构件全局缺陷定量识别方法，首先，利用拼接图像时基准图像和配准图像的仿射变换关系得到红外重构拼接图像重叠区域，将红外重构拼接图像划分为三个部分：基准图像部分I12_1、配准图像部分I12_2以及重叠区域部分I12_overlap；然后，对红外重构拼接图像进行缺陷特征区域提取，得到P个缺陷特征区域；最后，根据缺陷特征区域位于红外重构拼接图像的部分采用直接获取、利用仿射变换的逆规律设计的坐标区域变换获得瞬态热响应曲线，使用欧式距离或动态时间归整算法对缺陷热扩散区域像素点进行统计，进而得到缺陷特征区域(缺陷)对应的像素点个数NRp，完成缺陷定量识别。
本发明具有以下有益效果：
(1)、本发明对于大尺寸红外重构拼接图像在进行缺陷检测时可能会出现单幅红外重构图像中出现不完整的缺陷特征，通过拼接算法能够后获得完整的缺陷区域，对于该类缺陷在考虑热扩散区域大小的同时本发明考虑并解决了重叠区域由于仿射变换可能使缺陷形态发生畸变导致的重叠部分提取的部分缺陷的像素点个数的不准确问题；
(2)、本发明利用拼接图像的仿射变换矩阵设计像素转换方法将拼接图像中的像素点转换至配准图像，获得缺陷特征对应的瞬态热响应曲线，这也进一步提高缺陷识别的准确性。
附图说明
图1是本发明大尺寸航空航天复合材料构件全局缺陷定量识别方法具体实施方式的流程图；
图2是三种情形的缺陷特征区域示意图，其中，(a)对应情形1、(b)对应情形2，(c)对应情形3；
图3是同一位置在不同图像序列获得的瞬态热响应曲线两两比较示意图；
图4是置于世界坐标系的基准图像、配准图像以及红外重构拼接图像，其中，(a)为基准图像，(b)为配准图像，(c)为红外重构拼接图像；
图5是红外重构拼接图像缺陷特征区域提取对比图，其中，(a)为缺陷特征区域提取前的红外重构拼接图像，(b)为缺陷特征区域提取后的红外重构拼接图像；
图6是图5(b)所示的缺陷特征区域提取后的红外重构拼接图像经二值化，形态学开闭运算后的缺陷特征区域图像；
图7是缺陷特征区域分类结果图，其中，(a)位于基准图像部分I12_1，(b)配准图像部分I12_2，(c)位于重叠区域部分I12_overlap；
图8是缺陷特征区域(缺陷)de5的位置情况，其中，(a)位于重叠区域的部分；(b)位于重叠区域的部分对应基准图像；(c)位于重叠区域的部分对应在配准图像。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
在本实施例中，如图1所示，本发明大尺寸航空航天复合材料构件全局缺陷定量识别方法包括以下步骤：
步骤S1：红外重构拼接图像重叠区域确定
步骤S1.1：拼接局部特征重构图像
在确定红外重构拼接图像的重叠范围的过程中，由于拍摄过程中受到的水平影响因素少可以比较容易的保证红外热成像仪与检测的对象即大尺寸复合材料的水平位置，得到的局部特征重构图像内的缺陷相对大小一致。然而在获取多个局部区域的图像序列时，红外热成像仪与检测的对象即大尺寸复合材料的距离受到的无法准确调整的局限性，重构得到的不同局部区域的局部特征重构图像具有一定的旋偏角和高度变化。于是对于相邻两张具有一定重叠的拼接局部特征重构图像，使用了仿射变换矩阵H的进行图像配准，具体为：
将一局部特征重构图像作为基准图像I1，将相邻的有一定重叠区域的另一局部特征重构图像作为配准图像I2，其中，基准图像I1、配准图像I2的尺寸大小相同，宽度为m个像素点，高度为n个像素点。分别设基准图像中的像素点坐标点构成的数组为I1(x1_i,y1_j),i＝1,...,m,j＝1,...,n，(x1_i,y1_j)表示基准图像I1第i列、第j行像素点的坐标；配准图像中像素坐标点构成的数组为I2(x2_i,y2_j),i＝1,...,m,j＝1,...,n,(x2_i,y2_j)，表示配准图像I2第i列、第j行像素点的坐标。将基准图像I1、配准图像I2置于世界坐标系下，然后利用仿射变换矩阵H进行拼接，得到的红外重构拼接图像I12。
设
Figure BDA0003124733790000081
和
Figure BDA0003124733790000082
为分别为检测对象复合材料中的三维场景点Q在重构图像I1和I2中的对应的投影位置坐标，位置坐标在理论条件下满足关系：
Figure BDA0003124733790000091
其中，仿射变换矩阵H为重构图像I1和I2的二维图像变换单应性矩阵。单应性矩阵是一个大小为3×3的可逆变换矩阵：
Figure BDA0003124733790000092
其中，o1、o2、o3、o4、o5、o6为系数；
根据仿射变换矩阵H，求其逆矩阵H-1为：
Figure BDA0003124733790000093
其中，|H|为行列式：H*为伴随矩阵。
其中Hij为对应代数余子式。以H11为例
Figure BDA0003124733790000094
对于行列式|H|有：|H|＝o1*o5*1+o2*o6*0+o3*o4*0-o2*o4*1-o1*o6*0-o3*o5*0＝o1*o5-o2*o4。于是有单应性变换矩阵的逆矩阵：
Figure BDA0003124733790000095
其中，o′1、o′2、o′3、o′4、o′5、o′6为仿射逆变换矩阵系数。考虑到对于像素点的坐标没有负数计数，在实际求解过程中经过仿射变换后的像素点集会出现以负数为原点的世界坐标系，需要通过仿射变换矩阵H以及、配准图像I2，计算坐标转换的x轴、y轴坐标补充值Xadd,Yadd。
Figure BDA0003124733790000096
Figure BDA0003124733790000097
Xadd＝0|Xmin＞0,Xadd＝Xmin|Xmin≤0
Yadd＝0|Ymin＞0,Yadd＝Ymin|Ymin≤0
其中，(x2_1,y2_n)表示配准图像I2第1列、第n行像素点坐标，(x2_1,y2_1)表示配准图像I2第1列、第1行像素点的坐标，(x2_m,y2_1)表示配准图像I2第m列、第1行像素点坐标，
Figure BDA0003124733790000107
表示选取两个经仿射变换后的坐标中x轴坐标最小值，
Figure BDA0003124733790000101
表示选取两个经仿射变换后的坐标中y轴坐标最小值。通过逆矩阵
Figure BDA0003124733790000102
和x轴、y轴坐标补充值，可以将红外重构拼接图像中缺陷特征点的对应坐标还原到对应配准图像像素位置的坐标。如对于位于I12中重叠区域中的像素点将其转换到配准图像I2中对应变换的关系如下式所示：
Figure BDA0003124733790000103
其中，坐标(x12_p_i,y12_p_j)为红外重构拼接图像I12上第p个缺陷特征区域第i行，第j列的坐标，坐标(x1_p_i″,y1_p_j″)为配准图像I2上第p个缺陷特征区域对应区域的第i″行，第j″列的坐标。
通过以上变换关系可以判断当缺陷特征区域位于重叠区域I12_overlap或配准图像区域I12_1时利用其在拼接图像中的坐标获得对应于配准图像坐标位置，进而获得对应于配准图像红外图像序列中的瞬态热响应曲线用于缺陷特征区域面积大小的判断。
步骤S1.2：获取搜索矩形区域
所述搜索矩形区域为世界坐标系下的四个顶点(Xmax,Ymax)、(Xmax,Ymin)、(Xmin,Ymax)、(Xmin,Ymin)构成连续构成的区域，其中：
Figure BDA0003124733790000104
Figure BDA0003124733790000105
式中，(x2_m,y2_n)表示配准图像I2第m列、第n行像素点的坐标，(x2_m,y2_1)表示配准图像I2第m列、第1行像素点的坐标，(x2_1,y2_n)表示配准图像I2第1列、第n行像素点坐标，
Figure BDA0003124733790000108
表示选取两个仿射变换后的坐标中x轴坐标最大值，
Figure BDA0003124733790000106
表示选取两个仿射变换后的坐标中y轴坐标最大值。同时判断符号确定世界坐标系顶点数值：当Xmin＞0，则Xmin＝1；当Xmin≤0则Xmin＝Xmin；当Ymin＞0则Ymin＝1；当Ymin≤0则Ymin＝Ymin；当Xmax＞m，则Xmax＝Xmax；当Xmin≤m则Xmax＝m；当Ymax＞n则Ymax＝Ymax；当Ymax≤n则Ymax＝n；将红外重构拼接图像中像素坐标点构成的数组为I12(x12_m′，y12_n′)，m′＝1，...，M′，n′＝1，...，N′，其中图像的长对应的像素点个数M′＝Xmax-Xmin，宽对应的像素点个数N′＝Ymax-Ymin。
步骤S1.3：确定红外重构拼接图像的三个部分
①、将基准图像I1、配准图像I2变换至搜索矩形区域内：将基准图像像素值I1(x1_i，y1_j),i＝1,...,m,j＝1,...,n以左下角为原点变换至搜索矩形区域内，用0作为插值补充没有对应数值的位置，得到基准图像I1置于世界坐标系后的像素值I′1(x1_i,y1-j)，i＝1,...,Xmax-Xmin,j＝1，...，Ymax-Ymin；将配准图像像素值I2(x1_i，y2_j)，i＝1,...,m，j＝1,...,n经仿射变换Hmosaic·I2(x1_i,y2_j)变换至搜索矩形区域内，用0作为插值补充没有对应数值的位置得到配准图像I2置于世界坐标系后的像素值I′2(x2_i,y2_j)i＝1,...,Xmax-Xmin,j＝1,...,Ymax-Ymin；
②、初始化i＝1,j＝1；
③、判断在当前像素点(i,j)下，像素值I′1(x1_i,y1-j)、I′2(x2_i,y2_j)是否都为非零数值的点值，若都为非零数值，则该像素点坐标值为交点坐标值，并作为重叠区域部分I12_overlap的像素点坐标值，i＝i+1；
④、i≥Xmax-Xmin，则j＝j+1，返回步骤③，否则直接返回步骤③，直至j＞Ymax-Ymin，重叠区域搜索完成，输出重叠区域I12_overlap。
根据获得的重叠区域I12_overlap，将红外重构图像I12划分为以下三个部分：重叠区域部分I12_overlap、基准图像I1上非重叠区域部分为红外重构拼接图像I12的基准图像部分I12_1以及仿射图像I′2上非重叠区域部分为红外重构拼接图像I12的配准图像部分I12_2，其中仿射图像I′2与配准图像I2的对应关系为：
Figure BDA0003124733790000111
其中，(x2_i，y2_j)为配准图像I2第i列，第j行像素点的坐标，i＝1,2,...,m，j＝1,2,...n，(x′2_i'，y′2_j')为仿射图像I′2第i′列，第j′行像素点的坐标。
步骤S2：红外重构拼接图像缺陷特征区域提取
基于L*a*b颜色空间进行分类，并将高亮色的缺陷特征区域提取出来作为后续处理对象，可以提高缺陷位置形态信息量化评估的准确度。缺陷特征区域提取的具体步骤为：
步骤S2.1：颜色空间转换
将红外重构拼接图像I12的像素值(温度特征值)从RGB颜色空间转换到数据处理速度最快的三维L*a*b*颜色空间，将每个红外重构拼接图像中表示温度特征像素点映射得到的“a*”和“b*”颜色信息转换值，构建m*n个颜色特征对象放入集合
Figure BDA0003124733790000121
步骤S2.2：聚类、形态学开闭运算得到缺陷特征区域
根据红外重构拼接图像I12的“a*”和“b*”颜色信息转换值，利用聚类中心
Figure BDA0003124733790000122
将其像素点聚类为K类ok是某一聚类簇的聚类中心，其中ck是K类中某一聚类簇，nk是聚类簇ck中红外重构图像颜色特征簇个数。保留符合缺陷对应的高亮颜色信息的一类像素点，其余类丢弃，保留的则为缺陷特征区域图像；对缺陷特征区域图像进行二值化，将缺陷特征区域标记为高亮的白色，然后进行形态学开闭运算操作，来连接相邻的像素点，获得缺陷特征区域de1,de2,...,deP，P为缺陷特征区域数量。
步骤S3：红外重构拼接图像缺陷特征区域(缺陷)定量识别
通过步骤S1将红外重构图像I12划分为以下三个部分：重叠区域部分I12_overlap；基准图像I1上非重叠区域部分为红外重构拼接图像I12的基准图像部分I12_1；仿射图像I′2上非重叠区域部分为红外重构拼接图像I12的配准图像部分I12_2。将S2获得缺陷特征区域de1,de2,...,deP对应的坐标位置与上述三个部分坐标进行比对获得以下三种情形：
情形1：对于第p个缺陷特征区域，如图2(a)所示，如果全部位于基准图像部分I12_1、全部位于重叠区域部分I12_overlap，或同时位于基准图像部分I12_1以及重叠区域部分I12_overlap，将坐标补充值Xadd,Yadd用于下式得到的像素点转换坐标：
Figure BDA0003124733790000123
其中，坐标(x12_p_i,y12_p_j)为红外重构拼接图像I12上第p个缺陷特征区域第i行，第j列的坐标，坐标(x1_p_i″,y1_p_j″)为基准图像I1上第p个缺陷特征区域对应区域的第i″行，第j″列的坐标。利用像素点转换坐标与重构基准图像I1的对应图像序列获得第p个缺陷特征区域dep位置的瞬态热响应曲线TTRp_1,TTRp_2,...,TTRp_Np，Np为第p个缺陷特征区域dep位置的瞬态热响应曲线数量(即第p个缺陷特征区域dep的像素点数量)。
情形2：对于第p个缺陷特征区域，如图2(b)所示，如果全部位于配准图像部分I12_2或同时位于配准图像部分I12_2以及重叠区域部分I12_overlap，则将第p个缺陷特征区域dep中像素点的坐标进行转换，得到其在配准图像I2上的像素点坐标(像素点转换坐标)，然后，在重构配准图像I2的对应图像序列，根据获得的像素点转换坐标，获得第p个缺陷特征区域dep位置所对应的瞬态热响应曲线TTRp_1，TTRp_2，...，TTRp_Np，Np为第p个缺陷特征区域dep位置的瞬态热响应曲线数量(即第p个缺陷特征区域dep的像素点数据量)，其中，所述像素点转换坐标根据以下公式得到：
Figure BDA0003124733790000131
其中，坐标(x12_p_i,y12_p_j)为红外重构拼接图像I12上第p个缺陷特征区域第i行，第j列的坐标，坐标(x2_p_i″，y2_p_j″)为配准图像I2上第p个缺陷特征区域对应区域的第i″行，第j″列的坐标。
对情形1、情形2获得的瞬态热响应曲线，找出位于几何中心(质心)的瞬态热响应曲线，然后，计算其他瞬态热响应曲线到质心瞬态热响应曲线的欧式距离，如果大于设定的距离阈值，则该瞬态热响应曲线对应的像素点为热扩散区域像素点，统计热扩散区域像素点，得到第p个缺陷特征区域的热扩散区域像素点数量NSp，这样得到第p个缺陷特征区域(缺陷)大小NRp，完成缺陷定量识别，其中：
NRp＝Np-NSp。
情形3：对于第p个缺陷特征区域，如图2(c)所示，如果同时位于基准图像部分I12_1、重叠区域部分I12_overlap以及配准图像部分I12_2，则采用情形1的方式，获取第p个缺陷特征区域dep在基准图像部分I12_1、重叠区域部分I12_overlap(基准图像I1)位置的瞬态热响应曲线，然后再获得该部分的热扩散区域像素点数量NSp_1；同时，采用情形2的方式，获取第p个缺陷特征区域dep在重叠区域部分I12_overlap以及配准图像部分I12_2(仿射图像I′2，经过逆仿射变换对应坐标还原至配准图像I2)位置的瞬态热响应曲线，然后再获得该部分的热扩散区域像素点数量NSp_2；然后，对重叠区域部分I12_overlap分别采用情形1、2的方式获得瞬态热响应曲线。
对于基于同一图像序列获取的瞬态热响应曲线的相似性度量，我们可以计算瞬态热响应曲线之间的欧式距离并设定合理判别阈值后对瞬态热响应曲线与缺陷几何中心的瞬态热响应曲线进行相似性度量，去除热扩散区域像素点(缺陷提取误差后)进而获得缺陷特征区域(缺陷)大小即像素点个数。当进行重叠区域缺陷对应的像素点个数确定时。于是对于同一位置来自两个不同红外图像序列的瞬态热响应曲线无法在同一X轴上一一对应，但是由于缺陷对应的热传导率和热阻是相同的，于是如图3所示，不同图像序列获取的瞬态热响应曲线两两比较，相同位置的瞬态热响应曲线具有相似的变化，只是对应的变化点所处的时间点不一致。在这样的情况下，使用传统的欧式距离无法有效地计算的两个瞬态热响应之间的距离(或者相似性)。因此，为了解决这个问题，就需要将对比的一个瞬态热响应曲线在X轴上进行Warping扭曲以获得一一对应效果。
具体而言，对于重叠区域部分I12_overlap的像素点(个数orgNRp_overlap)按照情形1、2的方式分别获得的瞬态热响应曲线采用DTW(Dynamic Time Warping，动态时间归整)算法对同一位置的瞬态热响应曲线进行两两间的相似性度量。如果相似度距离值大于设定的相似度阈值，则对应位置的像素点为正确一致的重叠点；对所有重叠区域部分I12_overlap的像素点进行判断，统计正确一致的重叠点，得到重叠区域正确一致的像素点个数NRp_overlap；这样得到第p个缺陷特征区域的热扩散区域像素点数量NSp：
Figure BDA0003124733790000141
这样得到第p个缺陷特征区域(缺陷)大小NRp，完成缺陷定量识别，其中：
NRp＝Np-NSp
其中，Np为第p个缺陷特征区域dep的像素点数量。
实例
对试件进行两次局部红外无损检测，两次局部红外无损检测有一定重叠区域，对检测得到的图像序列进行重构，得到两幅局部特征重构图像，一幅局部特征重构图像作为基准图像I1，将相邻的有一定重叠区域的另一幅局部特征重构图像作为配准图像I2，将基准图像I1、配准图像I2置于世界坐标系下，然后利用仿射变换矩阵H进行拼接，得到的红外重构拼接图像I12。如图4所示，(a)为基准图像，(b)为配准图像，(c)为红外重构拼接图像，其中，图4(c)中，中间矩形部分为重叠区域部分I12_overlap，左侧为基准图像部分I12_1，右侧为配准图像部分I12_2。
在本实例中，仿射变换矩阵H为：
Figure BDA0003124733790000151
仿射变换矩阵H为单应性变换矩阵，其逆矩阵也为单应性变换矩阵，在本实例中，仿射变换矩阵H的逆矩阵H-1为：
Figure BDA0003124733790000152
搜索矩形区域为：
Figure BDA0003124733790000153
在本实例中，重叠区域部分I12_overlap的大小为166868个像素点。
在本实例中，红外重构拼接图像缺陷特征区域提取前后的图像如图5所示。从图5可以看出，红外重构拼接图像缺陷特征区域提取结果良好。将缺陷特征区域提取后的红外重构拼接图像(缺陷特征区域图像)作为新的分割处理对象，进行形态学开闭运算操作：对缺陷特征区域图像进行二值化，将缺陷特征区域标记为高亮的白色，并经过形态学开闭运算，形成连通域，获得缺陷特征区域de1,de2,...,de7。在本实例中，缺陷特征区域数量P＝7，如图6所示。
缺陷特征区域分类结果如图7所示，每个缺陷特征区域对应的隶属部分判断见表1。
缺陷特征区域 图7中编号 红外重构拼接图像I<sub>12</sub>中的隶属部分
de<sub>1</sub> 1 I<sub>12_1</sub>
de<sub>2</sub> 2 I<sub>12_1</sub>
de<sub>3</sub> 3 I<sub>12_overlap</sub>
de<sub>4</sub> 4 I<sub>12_overlap</sub>
de<sub>5</sub> 5 I<sub>12_1</sub>、I<sub>12_overlap</sub>、I<sub>12_2</sub>
de<sub>6</sub> 6 I<sub>12_2</sub>
de<sub>7</sub> 7 I<sub>12_2</sub>
表1
如图7所示，缺陷特征区域(缺陷)de5分别有一部分位于基准图像部分I12_1、重叠区域部分I12_overlap以及配准图像部分I12_2，属于情形3。对于热扩散区域的确定需要分别使用基准图像I1和配准图像I2对应的红外图像序列中的瞬态热响应曲线进行热扩散区域大小判断的同时，要考虑重叠区域的正确大小以获得最终的缺陷像素点个数，于是需要利用在不同图像序列下相似性度量的方法考虑两者对应的瞬态热响应曲线的相似度以获得正确的重叠点数量。
如图8所示，对于第5个缺陷特征区域，即p＝5，将重构拼接图像中缺陷特征区域(缺陷)de5在重叠区域中对应的orgNR5_overlap＝8730个像素分别转换至基准图像位置和配准图像位置，然后得到图像序列对应位置的瞬态热响应曲线。采用DTW(Dynamic TimeWarping，动态时间归整)算法进行相似性度量，如果相似度大于设定的相似度阈值，则该像素点为正确一致的重叠点；对所有重叠区域部分I12_overlap的像素点进行判断，统计正确一致的重叠点，得到重叠区域像素点个数NR5_overlap＝8130。
对于缺陷特征区域(缺陷)de5，其像素点数量N5＝11394，在基准图像I1位置的热扩散区域像素点数量NS5_1＝278(距离阈值为337.8041)，在仿射图像I2′置的热扩散区域像素点数量NS5_2＝296(距离阈值为583.56)，这样缺陷特征区域的热扩散区域像素点数量NS5：
Figure BDA0003124733790000161
这样，第5个缺陷特征区域(缺陷)大小NRp：
NR5＝N5-NS5＝11393-327＝11067
缺陷特征区域(缺陷)de1～4属于情形1，缺陷特征区域(缺陷)de6～7属于情形2，缺陷特征区域(缺陷)大小表2所示。
Figure BDA0003124733790000171
表2
在本实例中，根据每个像素点的实际大小(面积)得到，缺陷实际面积，如表3所示。
Figure BDA0003124733790000172
表3
通过表3可以看出，本发明大尺寸航空航天复合材料构件全局缺陷定量识别方法，实现缺陷定量的准确识别。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术邻域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术邻域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种大尺寸航空航天复合材料构件全局缺陷定量识别方法，其特征在于，包括：
(1)、红外重构拼接图像重叠区域确定
1.1)、拼接局部特征重构图像并计算坐标转换的x轴、y轴坐标补充值；
将一幅局部特征重构图像作为基准图像I1，将相邻的有一定重叠区域的另一幅局部特征重构图像作为配准图像I2，将基准图像I1、配准图像I2置于世界坐标系下，然后利用仿射变换矩阵H进行拼接，得到的红外重构拼接图像I12，其中，基准图像I1、配准图像I2的尺寸大小相同，宽度为m个像素点，高度为n个像素点；
所述仿射变换矩阵H为：
Figure FDA0003124733780000011
其中，o1、o2、o3、o4、o5、o6为系数；
根据仿射变换矩阵H，求其逆矩阵H-1，并表示为：
Figure FDA0003124733780000012
其中，o′1、o′2、o′3、o′4、o′5、o′6为系数；
根据仿射变换矩阵H、配准图像I2计算坐标转换的x轴、y轴坐标补充值Xadd，Yadd：
Figure FDA0003124733780000013
Figure FDA0003124733780000014
Xadd＝0|Xmin＞0，Xadd＝Xmin|Xmin≤0
Yadd＝0|Ymin＞0,Yadd＝Ymin|Ymin≤0
其中，(x2_1,y2_n)表示配准图像I2第1列、第n行像素点坐标，(x2_1,y2_1)表示配准图像I2第1列、第1行像素点的坐标，(x2_m,y2_1)表示配准图像I2第m列、第1行像素点坐标，
Figure FDA0003124733780000015
表示选取两个经仿射变换后的坐标中x轴坐标最小值，
Figure FDA0003124733780000021
表示选取两个经仿射变换后的坐标中y轴坐标最小值；
1.2)、获取搜索矩形区域
根据仿射变换矩阵H、配准图像I2计算x轴坐标最大值、y轴坐标最大值：
Figure FDA0003124733780000022
Figure FDA0003124733780000023
式中，(x2_m，y2_n)表示配准图像I2第m列、第n行像素点的坐标，(x2_m，y2_1)表示配准图像I2第m列、第1行像素点的坐标，(x2_1，y2_n)表示配准图像I2第1列宽度1、第n行像素点坐标，
Figure FDA0003124733780000024
表示选取两个仿射变换后的坐标中x轴坐标最大值，
Figure FDA0003124733780000025
表示选取两个仿射变换后的坐标中y轴坐标最大值；
判断并确定世界坐标系顶点数值：当Xmin＞0，则Xmin＝1；当Xmin≤0则Xmin＝Xmin；当Ymin＞0则Ymin＝1；当Ymin≤0则Ymin＝Ymin；当Xmax＞m，则Xmax＝Xmax；当Xmin≤m则Xmax＝m；当Ymax＞n则Ymax＝Ymax；当Ymax≤n则Ymax＝n；
世界坐标系下的四个顶点(Xmax，Ymax)、(Xmax，Ymin)、(Xmin，Ymax)、(Xmin,Ymin)连接构成的区域为搜索矩形区域；
将红外重构拼接图像中像素坐标点构成的数组表示为：
I12(x12_m′,y12_n′),m′＝1,...,M′,n′＝1,...,N′
其中，红外重构拼接图像的长对应的像素点个数M′＝Xmax-Xmin，宽对应的像素点个数N′＝Ymax-Ymin；
1.3)、确定红外重构拼接图像的三个部分
①、将基准图像I1、配准图像I2变换至搜索矩形区域内：将基准图像像素值I1(x1_i,y1_j),i＝1,...,m,j＝1,...,n以左下角为原点变换至搜索矩形区域内，用0作为插值补充没有对应数值的位置，得到基准图像I1置于世界坐标系后的像素值I′1(x1_i,y1-j)，i＝1,...,Xmax-Xmin,j＝1,...,Ymax-Ymin；将配准图像像素值I2(x1_i,y2_j)，i＝1,...,m,j＝1,...,n经仿射变换Hmosaic·I2(x1_i,y2_j)变换至搜索矩形区域内，用0作为插值补充没有对应数值的位置，得到配准图像I2置于世界坐标系后的像素值I′2(x2_i,y2_j)i＝1,...,Xmax-Xmin,j＝1,...,Ymax-Ymin；
②、初始化i＝1,j＝1，然后进行；
③、判断在当前像素点(i,j)下，像素值I′1(x1_i,y1-j)、I′2(x2_i,y2_j)是否都为非零数值，若都为非零数值，则该像素点坐标值为交点坐标值，并作为重叠区域部分I12_overlap的像素点坐标值，i＝i+1；
④、若i＞Xmax-Xmin，则j＝j+1，返回步骤③，否则直接返回步骤③，直至j＞Ymax-Ymin，重叠区域搜索完成，输出重叠区域I12_overlap；
根据获得的重叠区域I12_overlap，将红外重构图像I12划分为以下三个部分：重叠区域部分I12_overlap、基准图像I1上非重叠区域部分为红外重构拼接图像I12的基准图像部分I12_1以及仿射图像I′2上非重叠区域部分为红外重构拼接图像I12的配准图像部分I12_2，其中仿射图像I′2与配准图像I2的对应关系为：
Figure FDA0003124733780000031
其中，(x2_i,y2_j)为配准图像I2第i列，第j行像素点的坐标，i＝1,2,...,m，j＝1,2,...n，(x′2_i',y′2_j')为仿射图像I′2第i′列，第j′行像素点的坐标；
(2)、红外重构拼接图像缺陷特征区域提取
2.1)、将红外重构拼接图像I12的像素值(温度特征值)从RGB颜色空间转换到L*a*b*颜色空间；
2.2)、根据红外重构拼接图像I12的“a*”和“b*”颜色信息转换值，利用聚类中心将其像素点聚类为K类，保留“L*”(即亮度)最高的一类的像素点，其余类丢弃；然后进行形态学开闭运算操作，来连接相邻的像素点，获得缺陷特征区域de1,de2,...,deP，P为缺陷特征区域数量；
(3)、红外重构拼接图像缺陷特征区域(缺陷)定量识别
情形1：对于第p个缺陷特征区域，如果全部位于基准图像部分I12_1、全部位于重叠区域部分I12_overlap或同时位于基准图像部分I12_1以及重叠区域部分I12_overlap，将坐标补充值Xadd,Yadd用于下式得到的像素点转换坐标：
Figure FDA0003124733780000032
其中，坐标(x12_p_i,y12_p_j)为红外重构拼接图像I12上第p个缺陷特征区域第i行，第j列的坐标，坐标(x1_p_i″,y1_p_j″)为基准图像I1上第p个缺陷特征区域对应区域的第i″行，第j″列的坐标；利用像素点转换坐标与重构基准图像I1的对应图像序列获得第p个缺陷特征区域dep位置的瞬态热响应曲线TTRp_1,TTRp_2,...,TTRp_Np，Np为第p个缺陷特征区域dep位置的瞬态热响应曲线数量(即第p个缺陷特征区域dep的像素点数量)；
情形2：对于第p个缺陷特征区域，如果全部位于配准图像部分I12_2或同时位于基准图像部分I12_2以及重叠区域部分I12_overlap，则将第p个缺陷特征区域dep中像素点的坐标进行转换，得到其在配准图像I2上的像素点坐标(像素点转换坐标)，然后，在重构配准图像I2的对应图像序列，根据获得的像素点转换坐标，获得第p个缺陷特征区域dep位置的瞬态热响应曲线TTRp_1,TTRp_2,...,TTRp_Np，Np为第p个缺陷特征区域dep位置的瞬态热响应曲线数量(即第p个缺陷特征区域dep的像素点数据量)，其中，所述像素点转换坐标根据以下公式得到：
Figure FDA0003124733780000041
其中，坐标(x12_p_i,y12_p_j)为红外重构拼接图像I12上第p个缺陷特征区域第i行，第j列的坐标，坐标(x1_p_i″,y1_p_j″)为配准图像I2上第p个缺陷特征区域对应区域的第i″行，第j″列的坐标；
对情形1、情形2获得的瞬态热响应曲线，找出位于几何中心(质心)的瞬态热响应曲线，然后，计算其他瞬态热响应曲线到质心瞬态热响应曲线的欧式距离，如果大于设定的距离阈值，则该瞬态热响应曲线对应的像素点为热扩散区域像素点，统计热扩散区域像素点，得到第p个缺陷特征区域的热扩散区域像素点数量NSp，这样得到第p个缺陷特征区域(缺陷)大小NRp，完成缺陷定量识别，其中：
NRp＝Np-NSp；
情形3：对于第p个缺陷特征区域，如果同时位于基准图像部分I12_1、重叠区域部分I12_overlap以及配准图像部分I12_2，则采用情形1的方式，获取第p个缺陷特征区域dep在基准图像部分I12_1、重叠区域部分I12_overlap(基准图像I1)位置的瞬态热响应曲线，然后再获得该部分的热扩散区域像素点数量NSp_1；同时，采用情形2的方式，获取第p个缺陷特征区域dep在重叠区域部分I12_overlap以及配准图像部分I12_2(仿射图像I′2)位置的瞬态热响应曲线，然后再获得该部分的热扩散区域像素点数量NSp_2；对重叠区域部分I12_overlap分别采用情形1、2的方式获得瞬态热响应曲线，然后采用DTW(Dynamic Time Warping，动态时间归整)算法对同一位置的瞬态热响应曲线进行两两间的相似性度量，如果相似度大于设定的相似度阈值，则对应位置的像素点为正确一致的重叠点；对所有重叠区域部分I12_overlap的像素点进行判断，统计正确一致的重叠点，得到重叠区域正确一致的像素点个数NRp_overlap；这样得到第p个缺陷特征区域的热扩散区域像素点数量NSp：
Figure FDA0003124733780000051
其中，orgNRp_overlap为重叠区域部分I12_overlap的像素点个数；
这样得到第p个缺陷特征区域(缺陷)大小NRp，完成缺陷定量识别，其中：
NRp＝Np-NSp
其中，Np为第p个缺陷特征区域dep的像素点数量。
CN202110686339.1A 2021-06-21 2021-06-21 大尺寸航空航天复合材料构件全局缺陷定量识别方法 Active CN113538232B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110686339.1A CN113538232B (zh) 2021-06-21 2021-06-21 大尺寸航空航天复合材料构件全局缺陷定量识别方法
US17/401,760 US11587250B2 (en) 2021-06-21 2021-08-13 Method for quantitatively identifying the defects of large-size composite material based on infrared image sequence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110686339.1A CN113538232B (zh) 2021-06-21 2021-06-21 大尺寸航空航天复合材料构件全局缺陷定量识别方法

Publications (2)

Publication Number Publication Date
CN113538232A true CN113538232A (zh) 2021-10-22
CN113538232B CN113538232B (zh) 2023-04-07

Family

ID=78125499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110686339.1A Active CN113538232B (zh) 2021-06-21 2021-06-21 大尺寸航空航天复合材料构件全局缺陷定量识别方法

Country Status (1)

Country Link
CN (1) CN113538232B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549449A (zh) * 2022-02-17 2022-05-27 中国空气动力研究与发展中心超高速空气动力研究所 小尺寸曲面构件全局缺陷精细定量识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080021502A1 (en) * 2004-06-21 2008-01-24 The Trustees Of Columbia University In The City Of New York Systems and methods for automatic symmetry identification and for quantification of asymmetry for analytic, diagnostic and therapeutic purposes
CN101871895A (zh) * 2010-05-10 2010-10-27 重庆大学 连铸热坯表面缺陷激光扫描成像无损检测方法
US20180075603A1 (en) * 2016-09-12 2018-03-15 MorphoTrak, LLC Automated tattoo recognition techniques
CN108444934A (zh) * 2018-01-30 2018-08-24 四川沐迪圣科技有限公司 一种复合材料脱粘缺陷的自动分割及量化方法
CN109598711A (zh) * 2018-11-30 2019-04-09 电子科技大学 一种基于特征挖掘和神经网络的热图像缺陷提取方法
CN109767438A (zh) * 2019-01-09 2019-05-17 电子科技大学 一种基于动态多目标优化的红外热图像缺陷特征识别方法
CN112881467A (zh) * 2021-03-15 2021-06-01 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸复合材料损伤成像与定量识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080021502A1 (en) * 2004-06-21 2008-01-24 The Trustees Of Columbia University In The City Of New York Systems and methods for automatic symmetry identification and for quantification of asymmetry for analytic, diagnostic and therapeutic purposes
CN101871895A (zh) * 2010-05-10 2010-10-27 重庆大学 连铸热坯表面缺陷激光扫描成像无损检测方法
US20180075603A1 (en) * 2016-09-12 2018-03-15 MorphoTrak, LLC Automated tattoo recognition techniques
CN108444934A (zh) * 2018-01-30 2018-08-24 四川沐迪圣科技有限公司 一种复合材料脱粘缺陷的自动分割及量化方法
CN109598711A (zh) * 2018-11-30 2019-04-09 电子科技大学 一种基于特征挖掘和神经网络的热图像缺陷提取方法
CN109767438A (zh) * 2019-01-09 2019-05-17 电子科技大学 一种基于动态多目标优化的红外热图像缺陷特征识别方法
CN112881467A (zh) * 2021-03-15 2021-06-01 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸复合材料损伤成像与定量识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOUSIF HUMEIDA等: "Simulation of Ultrasonic Array Imaging of Composite Materials With Defects" *
程玉华等: "基于独立成分分析的脉冲涡流红外热成像缺陷检测低维特征子空间构造" *
赵烨菊: "噪声背景下金属材料小缺陷超声检测关键技术分析" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549449A (zh) * 2022-02-17 2022-05-27 中国空气动力研究与发展中心超高速空气动力研究所 小尺寸曲面构件全局缺陷精细定量识别方法
CN114549449B (zh) * 2022-02-17 2023-05-12 中国空气动力研究与发展中心超高速空气动力研究所 小尺寸曲面构件全局缺陷精细定量识别方法

Also Published As

Publication number Publication date
CN113538232B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Han et al. Visible and infrared image registration in man-made environments employing hybrid visual features
CN107993258B (zh) 一种图像配准方法及装置
US20210383563A1 (en) Method for quantitatively identifying the defects of large-size composite material based on infrared image sequence
US8666170B2 (en) Computer system and method of matching for images and graphs
TWI500925B (zh) Check the device, check the method and check the program
CN106447601A (zh) 一种基于投影‑相似变换的无人机遥感影像拼接方法
CN112304960B (zh) 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN112396643A (zh) 一种尺度不变特征与几何特征融合的多模态高分影像配准方法
JP2019091493A (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
Redzuwan et al. Affine versus projective transformation for SIFT and RANSAC image matching methods
CN113538232B (zh) 大尺寸航空航天复合材料构件全局缺陷定量识别方法
CN115409814A (zh) 一种基于融合图像的光伏组件热斑检测方法及系统
CN104966283A (zh) 图像分层配准方法
Huang et al. Crack detection of masonry structure based on thermal and visible image fusion and semantic segmentation
CN117314986A (zh) 基于语义分割的无人机跨模态配电设备巡检图像配准方法
JP2008252856A (ja) 画像の補正方法、補正プログラムおよび画像歪み補正装置
CN107886530A (zh) 一种改进的基于sift特征的图像配准算法
CN116152068A (zh) 一种可用于太阳能板图像的拼接方法
Song et al. Automatic calibration method based on improved camera calibration template
CN114943738A (zh) 一种基于视觉识别的传感器封装固化胶缺陷识别方法
CN112348823A (zh) 一种面向对象的高分辨率遥感影像分割算法
CN110781731A (zh) 一种基于镜面反射去除的巡检机器人仪表识别方法
CN113792721B (zh) 基于one-shot机制的仪表检测方法
CN114187294B (zh) 基于先验信息的规则晶片定位方法
Mingquan et al. Optimized detection method of automotive floor solder joints based on digital-analog information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant