CN114549449B - 小尺寸曲面构件全局缺陷精细定量识别方法 - Google Patents
小尺寸曲面构件全局缺陷精细定量识别方法 Download PDFInfo
- Publication number
- CN114549449B CN114549449B CN202210148016.1A CN202210148016A CN114549449B CN 114549449 B CN114549449 B CN 114549449B CN 202210148016 A CN202210148016 A CN 202210148016A CN 114549449 B CN114549449 B CN 114549449B
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- infrared
- region
- overlap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 46
- 230000001052 transient effect Effects 0.000 claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 230000002950 deficient Effects 0.000 claims abstract description 10
- 238000009792 diffusion process Methods 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开了小尺寸曲面构件全局缺陷精细定量识别方法,包括:利用透视变换模型对图像进行拼接,得到完整的红外重构拼接图像,将图像划分为基准图像部分、配准图像部分以及重叠区域部分;对红外重构拼接图像进行缺陷特征区域提取,得到缺陷特征区域;根据缺陷特征区域所处不同位置设计不同的坐标转换算法,获得像素点对应的瞬态热响应曲线,使用欧式距离或动态时间归整算法对缺陷热扩散区域像素点进行统计,进而得到缺陷特征区域对应的像素点个数,完成缺陷定量识别。本发明提高了图像拼接精度,减小了拼接误差,解决了重叠区域由于透视变换可能使缺陷形态发生畸变导致的重叠部分提取的部分缺陷的像素点个数的不准确问题。
Description
技术领域
本发明属于损伤识别评估技术领域,更具体地说,本发明涉及小尺寸曲面构件全局缺陷精细定量识别方法。
背景技术
对于各类航空航天飞行器而言,由于在发射、运行或返回过程中受到各类微小碎片的高速/超高速撞击,使得飞行器表面产生复杂的微小损伤缺陷。考虑到空气动力学因素,航空航天飞行器外形通常都是曲面设计,因此在航空航天表面材料的损伤检测中,需要同时考虑到试件曲率造成的加热不均的影响,根据曲率角度调整红外热像仪和被测试件的相对位置或拍摄角度。调节红外热像仪焦距,并使红外热像仪拍摄角度与曲面切面方向近似垂直,直至其能够完整清晰的拍摄到被测对象标定区域红外图像。利用检测得到的红外图像序列进行重构,可得到局部检测部分对应的局部缺陷特征重构图像。由于损伤的未知性,热像仪在拍摄时都是按照一定的间隔进行拍摄,这样必定会产生重叠区域,因此要想得到完整的全局缺陷区域就必须用到拼接算法。
对于小尺寸曲面构件来说,热像仪在距离足够近的情况下,可以将局部材料表面近似等价于一个平面,这样能够避免曲面材料在拼接时带来的误拼接问题,但是在进行图像采集的过程中,如果镜头距离材料太近就会导致拍摄面积太小,那么对一个材料就需要进行多次拍摄,效率太低,同时由于表面曲率的影响,采集图像时热像仪角度会发生改变,因此需要使用八个自由度的透视变换模型进行拼接。
在得到了完整缺陷区域的情况下(缺陷区域初步定量),需要进一步得到缺陷的准确信息,来判断出损伤的严重程度。由于在拼接过程中需要将配准图片进行变换,这样可能会使两张图片的重合区域产生形变,从而导致区域内的缺陷信息发生改变,因此直接对拼接后的图像进行缺陷信息的提取和量化并不能保证结果的准确性。
在对材料加热的过程中,损伤缺陷部分和正常无缺陷部分的温度变化信息的有差异的,我们可以利用这种差异性来得到缺陷位置的准确信息。因此,在得到缺陷的大致信息后,通过提出的坐标转换算法将缺陷信息回溯到红外视频流中,得到每个缺陷像素点对应的具有温度变化特征的瞬态热响应曲线,用以判断区域中的像素点是否为真实的缺陷,以此获得缺陷区域的准确大小。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷,并提供至少后面将说明的优点。
为了实现根据本发明的这些目的和其它优点,提供了小尺寸曲面曲面构件全局缺陷精细定量识别方法,包括:首先,利用透视变换模型对图像进行拼接,得到完整的红外重构拼接图像,将图像划分为三个部分:基准图像部分、配准图像部分以及重叠区域部分;然后,对红外重构拼接图像进行缺陷特征区域提取,得到缺陷特征区域;最后,根据缺陷特征区域所处不同位置设计不同的坐标转换算法,获得像素点对应的瞬态热响应曲线,使用欧式距离或动态时间归整算法对缺陷热扩散区域像素点进行统计,进而得到缺陷特征区域对应的像素点个数,完成缺陷定量识别。
优选的是,其中,还包括以下步骤:
步骤S1、确定红外重构拼接图像重叠区域,通过不同的红外视频流重构出不同红外重构图像,通过前一个红外重构图像和后一个红外重构图像之间的相互拼接得到红外重构拼接图像;
步骤S2、采取改进的区域生长算法来对缺陷进行分割,将灰度阈值设置为生长准则,进行红外重构拼接图像缺陷特征区域提取;
步骤S3、进行红外重构拼接图像缺陷特征区域(缺陷)定量识别。
优选的是,其中,所述步骤S1的具体方法包括:将得到的视频流记为VG(AG,KG,TG),其中G=1,2,...,N表示该视频流为第几个视频流,(AG,KG)表示拍摄区域的像素点坐标,其中AG=1,2,...,M,KG=1,2,...,N,TG=1,2,3...,T表示视频流拍摄的帧数;通过不同的红外视频流重构出不同红外重构图像IG,通过前一个红外重构图像IG和后一个红外重构图像IG+1之间的相互拼接得到红外重构拼接图像;
步骤S11、进行红外重构图像拼接,使用的拼接算法的具体步骤包括:
步骤S111、采用SURF算法提取出检测图像的特征点并加以描述,最后得到匹配的特征点对;
步骤S112、采用RANSAC算法对得到的特征点对进行去误匹配,剔除误匹配的特征点对,获得最佳透视变换矩阵:
步骤S113、利用最佳透视变换矩阵对配准图像IG+1进行变换:
其中,变换前后配准图片的像素点点集分别为:IG+1(xG+1_iyG+1_j),(xG+1_i,yG+1_j)是原图像素点坐标,是变换后的像素点坐标,w是透视变换尺度参数;用于线性变换,用于透视变换,用于平移;
步骤S115、判断是否出现负坐标情况,若出现转步骤S12,若未出现转步骤13;
步骤S12、进行负坐标转换;对于步骤S114中得到的红外重构拼接图像IG来说,由于微小空间碎片的尺寸在0.1mm-1mm,就可能在材料表面形成微小的缺陷,因此图像中的每一个像素点都很重要,要确保得到完整的拼接图像;
为了解决这个问题,本专利在变换矩阵的基础上提出了改进算法,在提高效率的同时减小了拼接误差,以下是算法步骤:
步骤S122、初始化i=1,j=1;
步骤S124、j=j+1,如果j>n,令j=1,i=i+1,返回步骤S123,直到i>m;最后,我们得到更新系数αG和βG;
步骤S13、划分红外重构拼接图像的三个区域,具体方法包括:
步骤S131、初始化i=1,j=1;
步骤S132、判断在当前像素点(i,j)下,基准图片和配准图片的像素值是否为零,若都为非零数值,则该像素点坐标值为交点坐标值,并作为重叠区域部分IG_overlap_new或者IG_overlap的像素点坐标值,i=i+1;
步骤S133、若i>m,则j=j+1,返回步骤S132,否则直接返回步骤S132,直至j>n,重叠区域搜索完成,输出重叠区域IG_overlap_new或者IG_overlap;
根据获得的重叠区域IG_overlap_new或者IG_overlap,将红外重构拼接图像IG或者IG_new划分为以下三个部分:重叠区域IG_overlap_new或者IG_overlap,图像上非重叠区域IG_1,图像上非重叠区域部IG_2,图像与配准图像IG+1的对应关系为:
优选的是,其中,所述步骤S2包括以下方法:由于缺陷在红外热像仪下呈现的亮度与非缺陷区域差异较大,红外重构拼接图像的缺陷提取可以根据灰度阈值的差异来进行提取,本专利采取改进的区域生长算法,自动选取种子点来对缺陷进行分割,提高了缺陷特征区域提取的准确性,具体步骤包括:
步骤S21、将图像二值化,对二值化后的图像进行寻找联通区域的操作求出联通区域的质心,然后将质心设置为区域生长的种子点;
步骤S22、将灰度阈值设置为生长准则,选择初始种子点作为生长点,对种子点领域的8个点做相似性判断,若是符合条件则加入种子序列并移除已经选择的种子点,同时将该点加入缺陷序列,循环遍历所有的种子点,直到种子序列中不存在种子点,迭代结束,最终获得缺陷特征区域are1,are2,...,areP,P为缺陷特征区域数量。
优选的是,其中,所述步骤S3进行红外重构拼接图像缺陷特征区域定量识别的具体方法包括:根据红外重构图像IG_new划分的三个部分,提出了一种坐标转换算法,利用坐标转换关系得到对应于缺陷点的正确瞬态热响应曲线,从而获得准确的缺陷面积,具体步骤为:
步骤S31、对于第P个缺陷特征区域,其位于IG_1的部分,由下式转换像素点坐标,得到对应的TTR曲线的真实坐标:
其中,(xGF_P_i,yGF_P_j)为红外重构拼接图像IG_new(或者IG)上第P个缺陷特征区域第i列,第j行的坐标,(xG_P_i″,yG_P_j″)为基准图像IG上第P个缺陷特征区域对应区域的第i″列,第j″行的坐标;利用像素点转换坐标与基准图像IG的对应图像序列获得第P个缺陷特征区域areP的部分瞬态热响应曲线NP为第P个缺陷特征区域areP的部分瞬态热响应曲线数量,即第P个缺陷特征区域areP这一部分的像素点数量;
步骤S32、对于第P个缺陷特征区域,其位于IG_2的部分由于经过了图片配准,坐标位置发生了很大的改变,通过以下推导得到这部分的坐标转换公式,从而得到对应的TTR曲线的真实坐标:
其中:
令:
则:
令:
则可得到最终的坐标变换公式:
其中,坐标(xGF_P_i,yGF_P_j)为红外重构拼接图像IG_new上第P个缺陷特征区域第i列,第j行的坐标,坐标(xG+1_P_i″,yG+1_P_j″)为配准图像IG上第P个缺陷特征区域对应区域的第i″列,第j″行的坐标;
对上面两个部分的缺陷,找出位于几何中心的瞬态热响应曲线,即质心的瞬态热响应曲线,然后计算其他瞬态热响应曲线到质心瞬态热响应曲线的欧式距离,如果小于设定的距离阈值,则该瞬态热响应曲线对应的像素点为缺陷区域像素点;统计这两部分缺陷特征区域的像素点数量和其中,P为缺陷特征区域的编号;
步骤S33、对于第P个缺陷特征区域,其位于IG_overlap_new的部分,首先采用公式(3.1.1)的方式,获取第P个缺陷特征区域areP在IG_overlap_new中的瞬态热响应曲线;同时,采用公式(3.2.1)的方式,获取第P个缺陷特征区域areP在IG_overlap_new中的瞬态热响应曲线,记该部分缺陷数量为最后,对IG_overlap_new中的缺陷部分采用DTW算法对同一位置的瞬态热响应曲线进行两两间的相似性度量,DTW算法即动态时间归整算法;如果相似度距离值小于设定的相似度阈值,则对应位置的像素点为正确一致的重叠点,对重叠区域IG_overlap_new中缺陷部分的所有像素点进行判断,统计正确一致的重叠点,得到重叠区域中缺陷部分正确一致的像素点个数从而得到第P个缺陷特征区域的大小完成缺陷定量识别,其中,
本发明小尺寸曲面构件全局缺陷精细定量识别方法,首先,利用透视变换模型对图像进行拼接,得到完整的红外重构拼接图像,将图像划分为三个部分:基准图像部分IG_1、配准图像部分IG_2以及重叠区域部分IG_overlap_new;然后,对红外重构拼接图像进行缺陷特征区域提取,得到P个缺陷特征区域;最后,根据缺陷特征区域所处不同位置设计不同的坐标转换算法,获得像素点对应的瞬态热响应曲线,使用欧式距离或动态时间归整算法对缺陷热扩散区域像素点进行统计,进而得到缺陷特征区域(缺陷)对应的像素点个数完成缺陷定量识别。
本发明至少包括以下有益效果:
(1)、本发明对于小尺寸曲面试件在进行拼接时存在的误拼接现象进行了改进,选取了适合的拼接模型,提高了拼接的精度;
(2)、本发明为了解决图片信息缺失的问题,对变换矩阵进行改进,提高效率的同时减小了拼接误差;
(3)、本发明通过拼接得到完整的缺陷区域,考虑并解决了重叠区域由于透视变换可能使缺陷形态发生畸变导致的重叠部分提取的部分缺陷的像素点个数的不准确问题;
(4)、本发明利用拼接图像的透视变换矩阵设计坐标转换算法将拼接图像中的像素点转换至配准图像,获得缺陷特征对应的瞬态热响应曲线,这也进一步提高缺陷识别的准确性。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1是本发明小尺寸曲面构件全局缺陷精细定量识别方法具体实施方式的流程图;
图2是四个视频流重构图像拼接而成的红外重构拼接图像;
图3是总体红外重构拼接图像缺陷特征区域提取结果;
图4是两个视频流重构图像拼接而成的红外重构拼接图像;
图5是部分红外重构拼接图像缺陷特征区域提取结果;
图6是部分缺陷的重叠区域;
图7是缺陷对应的不同部分;
图8是某一位置在一个图像序列获得的瞬态热响应曲线两两比较示意图;
图9是某一位置在另一个图像序列获得的瞬态热响应曲线。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
如图1所示:本发明的小尺寸曲面构件全局缺陷精细定量识别方法,包括:首先,利用透视变换模型对图像进行拼接,得到完整的红外重构拼接图像,将图像划分为三个部分:基准图像部分、配准图像部分以及重叠区域部分;然后,对红外重构拼接图像进行缺陷特征区域提取,得到缺陷特征区域;最后,根据缺陷特征区域所处不同位置设计不同的坐标转换算法,获得像素点对应的瞬态热响应曲线,使用欧式距离或动态时间归整算法对缺陷热扩散区域像素点进行统计,进而得到缺陷特征区域对应的像素点个数,完成缺陷定量识别。
在上述技术方案中,还包括以下步骤:
步骤S1、确定红外重构拼接图像重叠区域,通过不同的红外视频流重构出不同红外重构图像,通过前一个红外重构图像和后一个红外重构图像之间的相互拼接得到红外重构拼接图像;
步骤S2、采取改进的区域生长算法来对缺陷进行分割,将灰度阈值设置为生长准则,进行红外重构拼接图像缺陷特征区域提取;
步骤S3、进行红外重构拼接图像缺陷特征区域(缺陷)定量识别。
在上述技术方案中,所述步骤S1的具体方法包括:将得到的视频流记为VG(AG,KG,TG),其中G=1,2,...,N表示该视频流为第几个视频流,(AG,KG)表示拍摄区域的像素点坐标,其中AG=1,2,...,M,KG=1,2,...,N,TG=1,2,3...,T表示视频流拍摄的帧数;通过不同的红外视频流重构出不同红外重构图像IG,通过前一个红外重构图像IG和后一个红外重构图像IG+1之间的相互拼接得到红外重构拼接图像;
步骤S11、进行红外重构图像拼接,使用的拼接算法的具体步骤包括:
步骤S111、采用SURF算法提取出检测图像的特征点并加以描述,最后得到匹配的特征点对;
步骤S112、采用RANSAC算法对得到的特征点对进行去误匹配,剔除误匹配的特征点对,获得最佳透视变换矩阵:
步骤S113、利用最佳透视变换矩阵对配准图像IG+1进行变换:
其中,变换前后配准图片的像素点点集分别为:IG+1(xG+1_iyG+1_j),(xG+1_i,yG+1_j)是原图像素点坐标,是变换后的像素点坐标,w是透视变换尺度参数;用于线性变换,用于透视变换,用于平移;
步骤S115、判断是否出现负坐标情况,若出现转步骤S12,若未出现转步骤13;
步骤S12、进行负坐标转换;对于步骤S114中得到的红外重构拼接图像IG来说,由于微小空间碎片的尺寸在0.1mm-1mm,就可能在材料表面形成微小的缺陷,因此图像中的每一个像素点都很重要,要确保得到完整的拼接图像;
为了解决这个问题,本专利在变换矩阵的基础上提出了改进算法,在提高效率的同时减小了拼接误差,以下是算法步骤:
步骤S121、初始化变换矩阵输入改进前配准图像坐标点集输入基准图像坐标点集IG(xG_iyG_j),初始化最小XY轴坐标值,这里人工设置min(x)=1000,min(y)=1000,其中 步骤S122、初始化i=1,j=1;
步骤S124、j=j+1,如果j>n,令j=1,i=i+1,返回步骤S123,直到i>m;最后,我们得到更新系数αG和βG;
步骤S13、划分红外重构拼接图像的三个区域,具体方法包括:
步骤S131、初始化i=1,j=1;
步骤S132、判断在当前像素点(i,j)下,基准图片和配准图片的像素值是否为零,若都为非零数值,则该像素点坐标值为交点坐标值,并作为重叠区域部分IG_overlap_new或者IG_overlap的像素点坐标值,i=i+1;
步骤S133、若i>m,则j=j+1,返回步骤S132,否则直接返回步骤S132,直至j>n,重叠区域搜索完成,输出重叠区域IG_overlap_new或者IG_overlap;
根据获得的重叠区域IG_overlap_new或者IG_overlap,将红外重构拼接图像IG或者IG_new划分为以下三个部分:重叠区域IG_overlap_new或者IG_overlap,图像上非重叠区域IG_1,图像上非重叠区域部IG_2,图像与配准图像IG+1的对应关系为:
在上述技术方案中,所述步骤S2包括以下方法:由于缺陷在红外热像仪下呈现的亮度与非缺陷区域差异较大,红外重构拼接图像的缺陷提取可以根据灰度阈值的差异来进行提取,本专利采取改进的区域生长算法,自动选取种子点来对缺陷进行分割,提高了缺陷特征区域提取的准确性,具体步骤包括:
步骤S21、将图像二值化,对二值化后的图像进行寻找联通区域的操作求出联通区域的质心,然后将质心设置为区域生长的种子点;
步骤S22、将灰度阈值设置为生长准则,选择初始种子点作为生长点,对种子点领域的8个点做相似性判断,若是符合条件则加入种子序列并移除已经选择的种子点,同时将该点加入缺陷序列,循环遍历所有的种子点,直到种子序列中不存在种子点,迭代结束,最终获得缺陷特征区域are1,are2,...,areP,P为缺陷特征区域数量。
在上述技术方案中,所述步骤S3进行红外重构拼接图像缺陷特征区域定量识别的具体方法包括:根据红外重构图像IG_new划分的三个部分,提出了一种坐标转换算法,利用坐标转换关系得到对应于缺陷点的正确瞬态热响应曲线,从而获得准确的缺陷面积,具体步骤为:
步骤S31、对于第P个缺陷特征区域,其位于IG_1的部分,由下式转换像素点坐标,得到对应的TTR曲线的真实坐标:
其中,(xGF_P_i,yGF_P_j)为红外重构拼接图像IG_new(或者IG)上第P个缺陷特征区域第i列,第j行的坐标,(xG_P_i″,yG_P_j″)为基准图像IG上第P个缺陷特征区域对应区域的第i″列,第j″行的坐标;利用像素点转换坐标与基准图像IG的对应图像序列获得第P个缺陷特征区域areP的部分瞬态热响应曲线NP为第P个缺陷特征区域areP的部分瞬态热响应曲线数量,即第P个缺陷特征区域areP这一部分的像素点数量;
步骤S32、对于第P个缺陷特征区域,其位于IG_2的部分由于经过了图片配准,坐标位置发生了很大的改变,通过以下推导得到这部分的坐标转换公式,从而得到对应的TTR曲线的真实坐标:
其中:
令:
则:
令:
则可得到最终的坐标变换公式:
其中,坐标(xGF_P_i,yGF_P_j)为红外重构拼接图像IG_new上第P个缺陷特征区域第i列,第j行的坐标,坐标(xG+1_P_i″,yG+1_P_j″)为配准图像IG上第P个缺陷特征区域对应区域的第i″列,第j″行的坐标;
对上面两个部分的缺陷,找出位于几何中心的瞬态热响应曲线,即质心的瞬态热响应曲线,然后计算其他瞬态热响应曲线到质心瞬态热响应曲线的欧式距离,如果小于设定的距离阈值,则该瞬态热响应曲线对应的像素点为缺陷区域像素点;统计这两部分缺陷特征区域的像素点数量和其中,P为缺陷特征区域的编号;
步骤S33、对于第P个缺陷特征区域,其位于iG_overlap_new的部分,首先采用公式(3.1.1)的方式,获取第P个缺陷特征区域areP在IG_overlap_new中的瞬态热响应曲线;同时,采用公式(3.2.1)的方式,获取第P个缺陷特征区域areP在IG_overlap_new中的瞬态热响应曲线,记该部分缺陷数量为最后,对IG_overlap_new中的缺陷部分采用DTW算法对同一位置的瞬态热响应曲线进行两两间的相似性度量,DTW算法即动态时间归整算法;如果相似度距离值小于设定的相似度阈值,则对应位置的像素点为正确一致的重叠点,对重叠区域IG_overlap_new中缺陷部分的所有像素点进行判断,统计正确一致的重叠点,得到重叠区域中缺陷部分正确一致的像素点个数从而得到第P个缺陷特征区域的大小完成缺陷定量识别,其中,
实施例
对试件进行两次局部红外无损检测,两次局部红外无损检测有一定重叠区域,对检测得到的图像序列进行重构,得到两幅局部特征重构图像,一幅局部特征重构图像作为基准图像IG,将相邻的有一定重叠区域的另一幅局部特征重构图像作为配准图像IG+1,将基准图像IG、配准图像IG+1分别利用矩阵K和改进的透视变换矩阵H*进行拼接,得到的红外重构拼接图像IG_new如图4所示。其中,图2所示为四个视频流重构图像拼接而成的红外重构拼接图像,图3所示为总体红外重构拼接图像缺陷特征区域提取结果。
在本实例中,透视变换矩阵H*为:
基准图像的变换矩阵K为:
红外重构拼接图片的纵向像素点个数为:595,横向像素点个数为:1162。
在本实例中,重叠区域部分IG_overlap_new的大小为74132个像素点。
在本实例中,红外重构拼接图像缺陷特征区域提取结果如图5所示。从图5可以看出,红外重构拼接图像缺陷特征区域提取结果良好。将图像进行二值化,对图像进行求取联通区域的操作,将联通区域的质心设置为初始种子点,利用区域生长算法获得缺陷特征区域。图6中的方框表示部分缺陷特征的重叠区域。
如图7所示,缺陷特征区域(缺陷)分别有一部分位于基准图像部分IG_1、重叠区域部分IG_overlap_new以及配准图像部分IG_2。分别使用基准图像IG和配准图像IG+1对应的红外图像序列中的瞬态热响应曲线进行判断,考虑重叠区域的正确大小以获得最终的缺陷像素点个数,于是需要利用在不同图像序列下相似性度量的方法考虑两者对应的瞬态热响应曲线的相似度以获得正确的重叠点数量。
如图7所示,将重构拼接图像中缺陷特征区域(缺陷)在重叠区域中对应的47052个像素分别转换至基准图像位置和配准图像位置,然后得到图像序列对应位置的瞬态热响应曲线。如图8、图9所示,为同一位置在不同图像序列获得的瞬态热响应曲线两两比较示意图。采用DTW(Dynamic Time Warping,动态时间归整)算法进行相似性度量,如果相似度大于设定的相似度阈值,则该像素点为正确一致的重叠点;对所有重叠区域部分IG_overlap_new的像素点进行判断,统计正确一致的重叠点,得到重叠区域缺陷像素点个数
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (2)
1.小尺寸曲面构件全局缺陷精细定量识别方法,其特征在于,包括:首先,利用透视变换模型对图像进行拼接,得到完整的红外重构拼接图像,将图像划分为三个部分:基准图像部分、配准图像部分以及重叠区域部分;然后,对红外重构拼接图像进行缺陷特征区域提取,得到缺陷特征区域;最后,根据缺陷特征区域所处不同位置设计不同的坐标转换算法,获得像素点对应的瞬态热响应曲线,使用欧式距离或动态时间归整算法对缺陷热扩散区域像素点进行统计,进而得到缺陷特征区域对应的像素点个数,完成缺陷定量识别;
利用透视变换模型对图像进行拼接的具体方法包括:将得到的视频流记为VG(AG,KG,TG),其中G=1,2,...,N表示该视频流为第几个视频流,(AG,KG)表示拍摄区域的像素点坐标,其中AG=1,2,...,M,KG=1,2,...,N,TG=1,2,3...,T表示视频流拍摄的帧数;通过不同的红外视频流重构出不同红外重构图像IG,通过前一个红外重构图像IG和后一个红外重构图像IG+1之间的相互拼接得到红外重构拼接图像;
步骤S11、进行红外重构图像拼接,使用的拼接算法的具体步骤包括:
步骤S111、采用SURF算法提取出检测图像的特征点并加以描述,最后得到匹配的特征点对;
步骤S112、采用RANSAC算法对得到的特征点对进行去误匹配,剔除误匹配的特征点对,获得最佳透视变换矩阵:
步骤S113、利用最佳透视变换矩阵对配准图像IG+1进行变换:
其中,变换前后配准图片的像素点点集分别为:IG+1(xG+1_iyG+1_j),(xG+1_i,yG+1_j)是原图像素点坐标,是变换后的像素点坐标,w是透视变换尺度参数;用于线性变换,用于透视变换,用于平移;
步骤S115、判断是否出现负坐标情况,若出现转步骤S12,若未出现转步骤13;
步骤S12、进行负坐标转换;对于步骤S114中得到的红外重构拼接图像IG,在变换矩阵的基础上提出了改进算法,在提高效率的同时减小了拼接误差,以下是算法步骤:
步骤S122、初始化i=1,j=1;
步骤S124、j=j+1,如果j>n,令j=1,i=i+1,返回步骤S123,直到i>m;最后,我们得到更新系数αG和βG;
步骤S13、划分红外重构拼接图像的三个区域,具体方法包括:
步骤S131、初始化i=1,j=1;
步骤S132、判断在当前像素点(i,j)下,基准图片和配准图片的像素值是否为零,若都为非零数值,则该像素点坐标值为交点坐标值,并作为重叠区域部分IG_overlap_new或者IG_overlap的像素点坐标值,i=i+1;
步骤S133、若i>m,则j=j+1,返回步骤S132,否则直接返回步骤S132,直至j>n,重叠区域搜索完成,输出重叠区域IG_overlap_new或者IG_overlap;
根据获得的重叠区域IG_overlap_new或者IG_overlap,将红外重构拼接图像IG或者IG_new划分为以下三个部分:重叠区域IG_overlap_new或者IG_overlap,图像上非重叠区域IG_1,图像上非重叠区域部IG_2,图像与配准图像IG+1的对应关系为:
进行红外重构拼接图像缺陷特征区域定量识别的具体方法包括:根据红外重构图像IG_new划分的三个部分,提出了一种坐标转换算法,利用坐标转换关系得到对应于缺陷点的正确瞬态热响应曲线,从而获得准确的缺陷面积,具体步骤为:
步骤S31、对于第P个缺陷特征区域,其位于IG_1的部分,由下式转换像素点坐标,得到对应的TTR曲线的真实坐标:
其中,(xGF_P_i,yGF_P_j)为红外重构拼接图像IG_new或者IG上第P个缺陷特征区域第i列,第j行的坐标,(xG_P_i″,yG_P_j″)为基准图像IG上第P个缺陷特征区域对应区域的第i″列,第j″行的坐标;利用像素点转换坐标与基准图像IG的对应图像序列获得第P个缺陷特征区域areP的部分瞬态热响应曲线TTRP_1,TTRP_2,...,NP为第P个缺陷特征区域areP的部分瞬态热响应曲线数量,即第P个缺陷特征区域areP这一部分的像素点数量;
步骤S32、对于第P个缺陷特征区域,其位于IG_2的部分由于经过了图片配准,坐标位置发生了改变,通过以下推导得到这部分的坐标转换公式,从而得到对应的TTR曲线的真实坐标:
其中:
令:
则:
令:
则可得到最终的坐标变换公式:
其中,坐标(xGF_P_i,yGF_P_j)为红外重构拼接图像IG_new上第P个缺陷特征区域第i列,第j行的坐标,坐标(xG+1_P_i″,yG+1_P_j″)为配准图像IG上第P个缺陷特征区域对应区域的第i″列,第j″行的坐标;
对上面两个部分的缺陷,找出位于几何中心的瞬态热响应曲线,即质心的瞬态热响应曲线,然后计算其他瞬态热响应曲线到质心瞬态热响应曲线的欧式距离,如果小于设定的距离阈值,则该瞬态热响应曲线对应的像素点为缺陷区域像素点;统计这两部分缺陷特征区域的像素点数量和其中,P为缺陷特征区域的编号;
步骤S33、对于第P个缺陷特征区域,其位于IG_overlap_new的部分,首先采用公式(3.1.1)的方式,获取第P个缺陷特征区域areP在IG_overlap_new中的瞬态热响应曲线;同时,采用公式(3.2.1)的方式,获取第P个缺陷特征区域areP在IG_overlap_new中的瞬态热响应曲线,记该部分缺陷数量为最后,对IG_overlap_new中的缺陷部分采用DTW算法对同一位置的瞬态热响应曲线进行两两间的相似性度量,DTW算法即动态时间归整算法;如果相似度距离值小于设定的相似度阈值,则对应位置的像素点为正确一致的重叠点,对重叠区域IG_overlap_new中缺陷部分的所有像素点进行判断,统计正确一致的重叠点,得到重叠区域中缺陷部分正确一致的像素点个数从而得到第P个缺陷特征区域的大小完成缺陷定量识别,其中,
2.如权利要求1所述的小尺寸曲面构件全局缺陷精细定量识别方法,其特征在于,还包括以下步骤:
步骤S1、确定红外重构拼接图像重叠区域,通过不同的红外视频流重构出不同红外重构图像,通过前一个红外重构图像和后一个红外重构图像之间的相互拼接得到红外重构拼接图像;
步骤S2、采取改进的区域生长算法来对缺陷进行分割,将灰度阈值设置为生长准则,进行红外重构拼接图像缺陷特征区域提取;
步骤S3、进行红外重构拼接图像缺陷特征区域定量识别;
所述步骤S2包括以下方法:
步骤S21、将图像二值化,对二值化后的图像进行寻找联通区域的操作求出联通区域的质心,然后将质心设置为区域生长的种子点;
步骤S22、将灰度阈值设置为生长准则,选择初始种子点作为生长点,对种子点领域的8个点做相似性判断,若是符合条件则加入种子序列并移除已经选择的种子点,同时将选择的种子点加入缺陷序列,循环遍历所有的种子点,直到种子序列中不存在种子点,迭代结束,最终获得缺陷特征区域are1,are2,...,areP,P为缺陷特征区域数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210148016.1A CN114549449B (zh) | 2022-02-17 | 2022-02-17 | 小尺寸曲面构件全局缺陷精细定量识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210148016.1A CN114549449B (zh) | 2022-02-17 | 2022-02-17 | 小尺寸曲面构件全局缺陷精细定量识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549449A CN114549449A (zh) | 2022-05-27 |
CN114549449B true CN114549449B (zh) | 2023-05-12 |
Family
ID=81675395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210148016.1A Active CN114549449B (zh) | 2022-02-17 | 2022-02-17 | 小尺寸曲面构件全局缺陷精细定量识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549449B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016031597A1 (ja) * | 2014-08-27 | 2016-03-03 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、画像処理システム |
CN107392929A (zh) * | 2017-07-17 | 2017-11-24 | 河海大学常州校区 | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 |
CN109849977A (zh) * | 2019-01-14 | 2019-06-07 | 同济大学 | 一种基于异态检测的有轨电车辅助安全防护方法 |
CN112881467A (zh) * | 2021-03-15 | 2021-06-01 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸复合材料损伤成像与定量识别方法 |
CN112907527A (zh) * | 2021-02-07 | 2021-06-04 | 电子科技大学 | 一种针对大尺寸曲面试件的红外热成像拼接检测方法 |
CN112986329A (zh) * | 2021-02-07 | 2021-06-18 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
CN113538232A (zh) * | 2021-06-21 | 2021-10-22 | 电子科技大学 | 大尺寸航空航天复合材料构件全局缺陷定量识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8559698B2 (en) * | 2012-03-09 | 2013-10-15 | National Applied Research Laboratories | Method of inspecting chip defects |
US11587250B2 (en) * | 2021-06-21 | 2023-02-21 | University Of Electronic Science And Technology Of China | Method for quantitatively identifying the defects of large-size composite material based on infrared image sequence |
-
2022
- 2022-02-17 CN CN202210148016.1A patent/CN114549449B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016031597A1 (ja) * | 2014-08-27 | 2016-03-03 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、画像処理システム |
CN107392929A (zh) * | 2017-07-17 | 2017-11-24 | 河海大学常州校区 | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 |
CN109849977A (zh) * | 2019-01-14 | 2019-06-07 | 同济大学 | 一种基于异态检测的有轨电车辅助安全防护方法 |
CN112907527A (zh) * | 2021-02-07 | 2021-06-04 | 电子科技大学 | 一种针对大尺寸曲面试件的红外热成像拼接检测方法 |
CN112986329A (zh) * | 2021-02-07 | 2021-06-18 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
CN112881467A (zh) * | 2021-03-15 | 2021-06-01 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸复合材料损伤成像与定量识别方法 |
CN113538232A (zh) * | 2021-06-21 | 2021-10-22 | 电子科技大学 | 大尺寸航空航天复合材料构件全局缺陷定量识别方法 |
Non-Patent Citations (4)
Title |
---|
Rapid Defect Detection for Spacecraft in Infrared Reconstructed Images Based on Automatic Optimum Mosaic Algorithm;Yiting Feng等;《2021 American Control Conference (ACC)》;第1718-1723页 * |
基于无人机视觉的大规模光伏电池板检测技术研究;黄钰雯;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第02期);第C042-1620页 * |
基于红外热波技术的大尺寸复合材料缺陷检测研究;杨晓;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》(第01期);第B020-397页 * |
应用于压力容器红外无损检测的SIFT图像拼接方法;杨晓 等;《电子测量与仪器学报》;第33卷(第12期);第31-40页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114549449A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8331650B2 (en) | Methods, systems and apparatus for defect detection | |
Prescott et al. | Line-based correction of radial lens distortion | |
CN107993258B (zh) | 一种图像配准方法及装置 | |
CN108520514B (zh) | 基于计算机视觉的印刷电路板电子元器一致性检测方法 | |
CN107240130B (zh) | 遥感影像配准方法、装置及系统 | |
JP2017032548A (ja) | 自動工業検査における3dビジョンの使用 | |
CN111667470B (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
CN114494462A (zh) | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 | |
CN114331995A (zh) | 一种基于改进2d-icp的多模板匹配实时定位方法 | |
CN113970560B (zh) | 一种基于多传感融合的缺陷三维检测方法 | |
KR101782364B1 (ko) | 케이평균군집화를 통한 학습기반의 비전검사 방법 | |
CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 | |
CN114549449B (zh) | 小尺寸曲面构件全局缺陷精细定量识别方法 | |
CN113095385A (zh) | 一种基于全局和局部特征描述的多模图像匹配方法 | |
CN116908185A (zh) | 物品的外观缺陷检测方法、装置、电子设备及存储介质 | |
CN112562008B (zh) | 一种局部双目视觉测量中的靶标点匹配方法 | |
CN112986329B (zh) | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 | |
CN113538232B (zh) | 大尺寸航空航天复合材料构件全局缺陷定量识别方法 | |
WO2022124017A1 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 | |
CN111339848B (zh) | 一种自然环境下人造目标识别方法及装置 | |
CN117115488B (zh) | 一种基于图像处理的水表检测方法 | |
CN116310285B (zh) | 一种基于深度学习的指针式仪表自动读数方法及系统 | |
McLean | Image warping for calibration and removal of lens distortion | |
CN112651972A (zh) | 使用双定位的整体约束的定位方法 | |
Möller et al. | An integrated analysis concept for errors in image registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |