CN116977316A - 一种复杂外形构件损伤缺陷全场检测与量化评估方法 - Google Patents
一种复杂外形构件损伤缺陷全场检测与量化评估方法 Download PDFInfo
- Publication number
- CN116977316A CN116977316A CN202310975192.7A CN202310975192A CN116977316A CN 116977316 A CN116977316 A CN 116977316A CN 202310975192 A CN202310975192 A CN 202310975192A CN 116977316 A CN116977316 A CN 116977316A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- spliced
- reconstruction
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000007547 defect Effects 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000011158 quantitative evaluation Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 37
- 238000003708 edge detection Methods 0.000 claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000004445 quantitative analysis Methods 0.000 claims abstract description 8
- 238000009792 diffusion process Methods 0.000 claims description 52
- 238000001914 filtration Methods 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 238000013139 quantization Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000001931 thermography Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Radiation Pyrometers (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种复杂外形构件损伤缺陷全场检测与量化评估方法,包括:获得红外重构灰度图像;构造特征点检测的非线性尺度空间;建立特征点集合;构建红外热重构图像特征点的特征描述符;对特征点对进行粗匹配,建立拼接的全局单应性模型;建立基于距离的待拼接图像网格划分,加权获得拼接模型局部加权单应性矩阵模型,对待拼接图像进行拼接;对损伤全景图像进行颜色分割;选择分割结果图像,对其进行亚像素级的边缘检测处理与定量分析处理。本发明提升了热重构图像中图像特征点的提取质量,改善了红外重构图像的拼接效果。本发明结合空间位置信息和物理特征量化信息来描述缺陷特征,满足了对多类型复杂缺陷进行定量识别的需求。
Description
技术领域
本发明属于航空航天飞行器损伤检测与维修保障技术领域,更具体地说,本发明涉及一种复杂外形构件损伤缺陷全场检测与量化评估方法。
背景技术
为满足先进气动力设计或者复杂功能需求,航空航天飞行器通常具有复杂的外形结构,在对其进行损伤缺陷检测分析时需要考虑大尺寸非平面复杂外形带来的不利影响,同时还需要关注损伤缺陷具有分布面积广、形状及类型较为复杂的特点。在航空航天飞行器无损检测技术中,红外热成像检测技术可以克服传统损伤检测手段中效率低、检测周期长、难以精确量化等不利因素,具有较高的实际应用价值。
在航空航天飞行器非平面复杂外形试件的实际红外热成像检测实践中,由于拍摄距离的限制以及红外热像仪的画幅、分辨率、焦距等限制,通常无法在一次拍摄中就实现对整个大尺寸复杂外形构件的全场检测。因此需要从多个视角采集该试件的红外热成像序列数据,通过对红外热图像序列数据进行特征重构后,进一步对局部区域重构图像进行拼接,从完整的拼接图像中最终得到实际损伤试件中不同损伤区域的损伤分布及量化信息。其中,基于红外热图像序列数据的重构图像具有一定程度的边缘模糊、信噪比低等特点,因此通过红外重构特征尺度空间的构造,重点保留重构图像的缺陷区域的边缘信息以及细节信息,从而提高图像中特征点检出的质量,实现重构图像的有效拼接。同时,在红外热重构图像的拼接特征点检测中,希望利用重构图像中的损伤区域完成特征点的检出,以规避在其深色背景区域检出一定数量的特征点而导致可能的误匹配发生。另一方面,在大尺寸非平面试件的多视角红外热图像序列数据的采集过程中,需要调整红外热像仪拍摄位置和拍摄角度以检测到试件全场损伤,这也使得采集到的多视角图像之间无法满足图像拼接的单应性关系。若此时使用基于图像之间的全局单应性变换关系来指导重构图像的拼接变换,会不可避免地在红外拼接结果图像上出现拼接缝,其往往来自不符合图像全局单应性变换的待拼接红外重构图像边缘重影或畸变。这种拼接缝的出现会影响红外重构拼接图像的计算效果,并为红外重构拼接图像精确定量分析带来了困难。
在2021年6月18日公布的,专利申请公布号为CN112986329A,专利名称为“大尺寸非平面试件超高速撞击损伤的红外热成像检测方法”的中国发明专利使用了基于SIFT的拼接算法实现了针对红外热重构图像的拼接。这种红外热重构图像的拼接算法在特征空间的构造上采用了线性构造方式,其采用的全局高斯模糊将红外重构图像的背景区域与重点关注区域在同一尺度上被模糊,无法自适应地在模糊背景的同时保留红外重构图像中的边缘以及细节信息,这导致特征点检测的位置精度和独特性大打折扣。并且在其针对大尺寸非平面试件多视角重构图像的检测中,使用了基于全局单应性的图像拼接变换模型,不可避免地因为各视角之间的视差导致拼接结果效果不够精细。同时,上述专利使用像素数统计的方式实现了对航空航天飞行器大尺寸非平面试件的损伤区域量化过程。考虑这种像素级的位置分析方法,像素之间存在不可细分的间隙,当缺陷边界落在像素之间的间隙处时,整像素的定位方法会出现较大的误差。并且离散的缺陷像素轮廓放大后会失真,影响缺陷区域的边缘判定。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷,并提供至少后面将说明的优点。
为了实现根据本发明的这些目的和其它优点,提供了一种复杂外形构件损伤缺陷全场检测与量化评估方法,包括:
步骤一、将红外热图像序列数据做重构处理,得到红外热重构图像,并对红外热重构图像做灰度处理,得到红外重构灰度图像;
步骤二、对待拼接红外重构灰度图像Ri(x,y)应用扩散滤波,并使用扩散滤波结果图像构造特征点检测的非线性尺度空间,其中i为待拼接红外重构灰度图像的序号;
步骤三、在由扩散滤波结果图像组成的非线性尺度空间中寻找待拼接红外热重构图像Rik的特征点,并建立特征点集合;
步骤四、计算第i张红外热重构图像Ri的第s个特征点pis圆形邻域内各方向的haar小波特征总和,使用两次高斯加权函数对红外热重构图像进行处理,统计小波特征总和参数并进行归一化处理,依此构建红外热重构图像特征点的特征描述符;
步骤五、对特征点对进行以欧氏距离为度量的粗匹配,并依据粗匹配点进行去误匹配处理,建立拼接的全局单应性模型;在待拼接红外热重构图像之间,建立基于距离的待拼接图像网格划分,加权获得拼接模型局部加权单应性矩阵模型,利用此模型对待拼接图像进行拼接;
步骤六、对损伤全景图像进行色彩空间的转换,对损伤全景图像进行颜色分割;选择分割结果图像,对其进行亚像素级的边缘检测处理与定量分析处理。
优选的是,其中,所述步骤一中,获得红外重构灰度图像的方法包括:针对航空航天飞行器红外损伤试件,使用红外热像仪记录不同视角的构件损伤温度分布,得到带有温度分布信息的红外热图像序列数据T(X,Y,N),三维矩阵T(X,Y,N)的各元素分别为红外热像仪的画幅长宽(X,Y),以及视频流的帧数N;将红外热图像序列数据做重构处理,得到红外热重构图像,并对红外热重构图像做灰度处理,得到红外重构灰度图像R(x,y),x=1,2,...,X,y=1,2,...,Y,其中,红外重构灰度图像中的灰度值分布表示了实际损伤温度数值。
优选的是,其中,所述步骤二中,对待拼接红外重构灰度图像Ri(x,y)应用扩散滤波,并使用扩散滤波结果图像构造特征点检测的非线性尺度空间的具体方法包括:
S21、对待拼接红外重构灰度图像Ri(x,y)作高斯平滑,使用Scharr滤波算法求取高斯平滑后图像的灰度分布梯度▽Rσi;将灰度分布梯度▽Rσi的模引入到传到函数中,由灰度分布梯度构造红外重构灰度图像Ri的扩散滤波传导函数Bi(x,y,t),如下式所示:
其中,参数q为控制扩散级别的对比度因子,q的取值将决定着在滤波过程中边缘信息的保留程度,q取得越大,其保留的边缘信息就越少,则其图像滤波结果就越平滑;计算图像的梯度直方图HG,选取直方图合适位置的百分位数作为q参数的取值;|▽Rσi|为待拼接重构灰度图像Ri(x,y)灰度分布梯度▽Rσi的模;
S22、将待拼接红外重构灰度图像Ri(x,y)中灰度亮度的变化描述为流场函数的散度,代入扩散滤波的传导函数Bi(x,y,t),用非线性偏微分方程来描述:
其中,div为散度算子,针对上述公式,有div[Bi·▽Ri]=▽[Bi]·▽Ri+Bi·▽2Ri;
S23、针对S22中非线性偏微分方程,求解得到原图像Ri的扩散滤波结果图像,即非线性尺度空间中的各级图像但由于此非线性偏微分方程没有解析解,故使用数值方法来逼近上述非线性偏微分方程;
设置时间步长τ,利用加性算子分裂法将上述非线性篇微分方程离散化,得到半隐式解:
其中,k代表时间迭代次数,则为红外热重构图像Ri在k+1与k时刻扩散滤波结果图像的n=XY维重构列向量,其中X,Y分别为原始画幅长和宽;/>为重构图像列向量Vik在其各个维度d上的传导性矩阵,d=1,...,n;
S24、移项求解S23中的方程,得到非线性偏微分方程的解;
得到红外热重构图像Ri非线性尺度空间中子图像的重构列向量/>
其中,I为与传导性矩阵维度XY×XY相同的单位矩阵;
S25、确定热重构图像Ri非线性尺度空间的构造参数,设置尺度空间的分组数量M,以及组内各层N,则非线性尺度空间中的图像总数为MN,由此创建尺度参数
其中,k=0,...,M×N,代表了非线性尺度空间中的图像总数,为热重构图像Ri非线性尺度空间的尺度参数初始值,不同的尺度空间组别及组内各层尺度参数/>均由上述参数一一对应;
S26、在各个层级中,均使用与原始图像分辨率相同的滤波图像,其不同尺度参数对应着不同的扩散滤波结果图像;考虑到非线性扩散滤波为时域模型,利用进化时间/>与尺度参数关系,/>将时间与空间参数进行转换,带入S24式中获得非线性尺度空间中的所有图像结果:
通过设定一组进化时间并增加迭代次数k,则在热重构图像Ri的非线性尺度空间中各分组及组内各层级需要的所有扩散滤波结果图像/>的重构列向量均可以被构造出来;并由原红外热图像序列数据的画幅参数X与Y,将各组各层非线性扩散滤波结果向量/>逆重构恢复为长宽为(X,Y)的图像/>
优选的是,其中,所述步骤三中,在由扩散滤波结果图像组成的非线性尺度空间中寻找待拼接红外热重构图像的特征点,并建立特征点集合的具体方法包括:
S31、计算非线性尺度空间不同层图像的Hessian矩阵Hik:
其中,σ′i为尺度参数σi的整数值,分别为非线性尺度空间不同层图像/>二阶水平及垂直导数;/>为图像/>的水平垂直二阶混合导数;
S32、将非线性尺度空间不同层图像的Hessian矩阵/>进行归一化,并在归一化的非线性尺度空间图像集中寻找响应极值;
S32、在非线性尺度空间k=0,1,...,M×N的各非线性滤波后的图像中寻找极值;设置大小为3×3的初次小半径搜索窗口,对目标层数目标像素周边8个像素点以及其上下邻接层相应位置各9个像素,共26个像素点进行搜索,以便快速抛弃整体空间中的非极大值响应点;
S33、针对初步排除非极大值响应点的区域,依据参数设置大小为/>的搜索窗,在目标层数f以及目标层数的相邻层f-1与f+1分别进行搜索,若某像素点满足极大值相应要求,则保留检测结果为关键点;
S34、考虑图像的灰度亮度分布在非线性尺度空间下对边缘及噪声分布较为敏感,故针对初步检测结果关键点集进行基于图像泰勒公式的亚像素级精确定位,得到第i张红外热重构图像Ri的特征检测点集合:
其中,代表第i张红外热重构图像Ri的第s个特征检测点及其坐标,特征点标号为s=1,2,...,Si,Si为第i张红外热重构图像Ri的特征点总数。
优选的是,其中,所述步骤四中,计算第i张红外热重构图像Ri的第s个特征点圆形邻域内各方向的haar小波特征总和,使用两次高斯加权函数对红外热重构图像进行处理,统计小波特征总和参数并进行归一化处理,依此构建红外热重构图像特征点的特征描述符的具体方法包括:
S41、确定得到第i张红外热重构图像Ri的特征检测点的主方向,若特征点所在图像Ri的尺度参数为σi,则搜索半径设为6σi,在这个圆形邻域内做一个30°的扇形区域,统计这个扇形区域内的haar小波特征总和,记为/>然后转动扇形区域,再统计另一个扇形区域的小波特征总和分别为/>取小波特征总和最大的方向作为第i张红外热重构图像Ri的第s个特征点/>的主方向;
S42、对于尺度参数为σi的热重构图像Ri上面的特征点以其为中心取一个24σi×24σi的窗口,并将窗口划分为4×4共计16个子区域,每个子区域大小为9σi×9σi,相邻的子区域有宽度为2σi的交叠带;
S43、使用的高斯加权函数,对热重构图像Ri第s个特征检测点/>的第t个子窗口区域内的haar小波响应值进行中心加权,并统计出每个子区域内的特征矢量为:
其中,分别为子区域上haar小波响应的水平方向响应值总和、垂直方向响应值总和、水平方向响应值绝对值总和、垂直方向响应值绝对值总和;
S44、在4×4的窗口上,使用另一个的高斯加权函数对每个子区域的特征矢量进行中心加权,每个窗口通过/> 四个参数对热重构图像Ri第s个特征检测点的第t个子窗口形成4维描述向量/>对t=1,2,...,16的所有窗口遍历上述操作,进而形成描述第第s个特征检测点/>的64维特征列向量
S45、对64维的特征矢量进行归一化处理得到使描述矢量获得对比度不变性;
S46、对热重构图像Ri所有共S个特征检测点进行整合,获得热重构图像Ri特征点描述点集:
其中,Si为红外重构热图像Ri中被检测出的特征点总数。
优选的是,其中,所述步骤五中,对特征点对进行以欧氏距离为度量的粗匹配,并依据粗匹配点进行去误匹配处理,建立拼接的全局单应性模型;在待拼接红外热重构图像之间,建立基于距离的待拼接图像网格划分,加权获得拼接模型局部加权单应性矩阵模型,利用此模型对待拼接图像进行拼接的具体方法包括:
S51、选取待拼接热重构图像Ra、Rb,则其特征点描述集合为依欧式距离最小原则遍历所有特征点对,得到初始匹配特征点集/>其中,共有n1各初始匹配特征点对,n1=min(Sa,Sb),/>表示待拼接图像Ra、Rb匹配点对集合中的第一对匹配点;
S52、基于粗匹配点集进行RANSAC去误匹配,得到精确匹配的拼接点对集合其中,n2为精确匹配点的个数,n2<n1,/>表示待拼接图像Ra、Rb去误匹配后点对集合中的第一对匹配点,经由精确匹配点对集合,建立待拼接图像Ra、Rb之间的全局变换矩阵HG;
S53、分别将待拼接红外热重构图像Ra、Rb划分为g1×g2的网格,以红外热重构图像Ra为例,找到其每个网格的中心点为pic,ic=1,...,g1×g2;
S54、建立多个局部单应性求解方程:针对精确匹配的拼接点对中每一个特征点对FPin,根据其距离当前的网格中心点pic的距离进行加权:
其中,k=1,2,...,m为评估局部单应性矩阵的个数,权重矩阵W(k)为权重wi (k)的对角组合,h为3×3单应性矩阵HG的向量化,h=[h1 h2 ... h9]T;当处理对象为两幅待拼接图像时,针对某匹配点对ain为2×9线性参数矩阵:
S55、计算各网格的权重值:
其中,点(x(ic),y(ic))表示查询图上第ic个网格的中心点,点(xin-a,yin-a)表示图Ra上第i个特征点对,参数σ是高斯函数的尺度因子,参数γ是阈值参数;当γ=1时,权重则此时权重对角阵W(k)则恒等于单位矩阵;此时的局部单应性矩阵求解则退化成求解全局单应型矩阵;故参数γ越接近1,则此时的图像变换过程就越考虑全局变换效应;参数γ越远离1,则此时的图像变换过程就越考虑各网格的局部变换效应;
S56、依据S52中的求解结果,将配准图像Rb变换至Ra平面,完成两幅红外热重构图像的拼接,得到重构拼接图像Rab;重复步骤二至步骤五,将所有待拼接红外图像拼接为损伤全景图像RP;
优选的是,其中,所述步骤六中,对损伤全景图像进行色彩空间的转换,对损伤全景图像进行颜色分割;选择分割结果图像,对其进行亚像素级的边缘检测处理与定量分析处理的具体方法包括:
S61、将得到的损伤全景图像RP转换至Lab色彩空间,并在此色彩空间中进行色度层a、b的颜色分割;采用基于颜色空间色度值距离度量的聚类分割算法,根据重构图像中不同颜色信息将其分为几种不同色域的分割图像,得到背景区域图像RP(background)、热扩散区域图像RP(diffusion)和缺陷特征区域图像RP(defect)的聚类划分结果;
S62、选择分割结果中的缺陷特征区域图像RP(defect),对其进行缺陷区域的标注,对缺陷特征区域图像进行灰度化处理,并根据类间方差阈值分割法将目标图像二值化,得到图像中每一块缺陷都可以看作是一个独立的连通区域,通过对二值图像中目标像素的标记,让每个单独的连通区域形成一个被标识的块/>d=1,2,...,numdefect,所得连通区域的个数即缺陷特征区域的个数numdefect,并求出联通区域的质心对其位置进行标记;
S63、对缺陷区域进行亚像素边界像素提取与计算,使用7×7的Zernike算子Im(Z11)、Re(Z11)、Z20对二值图像进行卷积:
得到卷积后的过程图像
S64、使用卷积后的过程图像计算二值图像各像素的边缘检测参数:
其中,l与k三个参数均为过程图像矩阵/>对应元素的数值计算;/>l与k计算的最终结果为与过程图像矩阵维度(X,Y)同纬度的矩阵;
S65、使用Zernike边缘检测距离阈值及边缘强度阈值Thhigh-l、Thlow-k对参数矩阵l、k进行边缘检测点筛选,满足边缘检测距离阈值Thhigh-l及边缘强度阈值Thlow-k的像素点将视作边缘像素,存储边缘像素的坐标,得到二值图像的边缘像素集合Edge(defect):
其中,i=1,2,...,X,j=1,2,...,Y分别为l、k以及二值图像的矩阵维度(X,Y);
S66、对于边缘像素集合Edge(defect)中的某个边缘像素edgpixel(xe,ye);计算其Zernike矩亚像素坐标:
其中e∈(1,2,...,numedge),numedge为边缘像素集合中像素点的总数,le为边缘像素edgpixel(xe,ye)在l矩阵中对应的参数值,/>为边缘像素edgpixel(xe,ye)在/>矩阵中对应的参数值,并将亚像素坐标存储在亚像素边缘像素坐标集合/>中;
S67、利用亚像素边缘像素坐标集合,计算损伤区域的区域边缘坐标,依此获得亚像素级别的缺陷外接框标记,并对外接框标记及缺陷轮廓进行亚像素级的几何特征定量计算。
本发明至少包括以下有益效果:
(1)使用非线性扩散滤波进行图像尺度空间的构造,有选择性地保留重构图像中的损伤特征区域,而对较为均匀一致的背景区域进行模糊处理,有效地提升了热重构图像中图像特征点的提取质量。
(2)在拼接关系的建立上,使用网格划分法将待拼接图像划分网格,利用特征点与网格中心的距离进行加权计算,实现局部单应性的求解。基于局部单应性的图像拼接考虑了大尺寸非平面试件在多视角检测时的视差,对比全局单应性变换,其距离加权的网格变换方式较好地改善了红外重构图像的拼接效果。
(3)使用Zernike不变矩对色彩分割后的红外重构图像进行边缘像素的提取,并由矩参数计算损伤区域亚像素的边缘坐标。相比较像素级的图像区域边界提取算法,Zernike不变矩基于红外重构图像的全局特征进行边缘特征提取,对噪声、灰度亮度变化等因素具有较好的鲁棒性。可以有效地描述航空航天飞行器受到空间碎片超高速撞击产生的复杂红外重构图像纹理和损伤区域形态特征,对不规则形状和复杂结构具有较强的辨别能力。结合了空间位置信息和物理特征量化信息来描述缺陷特征,满足了对多类型复杂缺陷进行定量识别的需求。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1是本发明一种复杂外形构件损伤缺陷全场检测与量化评估方法的实施方式流程图;
图2是大尺寸非平面H1试件3视角待拼接图像热重构图像;
图3是大尺寸非平面H1试件视角1的非线性尺度空间构造示意图;
图4是大尺寸非平面H1试件视角1以及视角2待拼接图像的特征点检测图;
图5是大尺寸非平面H1试件视角1以及视角2待拼接图像的特征点粗匹配图;
图6是大尺寸非平面H1试件视角1以及视角2待拼接图像的特征点精匹配图;
图7是大尺寸非平面H1试件视角1以及视角2待拼接图像的网格划分与单应性变形图;
图8是大尺寸非平面H1试件视角1以及视角2待拼接图像的局部单应性拼接结果图;
图9是大尺寸非平面H1试件视角1、2拼接结果与视角3的待拼接图像特征点检测结果图;
图10是大尺寸非平面H1试件视角1、2拼接结果与视角3的待拼接图像特征点粗匹配图;
图11是大尺寸非平面H1试件视角1、2拼接结果与视角3的待拼接图像特征点精确匹配图;
图12是大尺寸非平面H1试件视角1、2拼接结果与视角3的待拼接图像特征点局部单应性拼接结果图;
图13是大尺寸非平面H1试件颜色分割选择区域的高斯模糊与二值化图;
图14是大尺寸非平面H1试件颜色分割选择区域的区域标记及亚像素坐标标记图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
如图1,本发明的一种复杂外形构件损伤缺陷全场检测与量化评估方法,包括以下步骤:
步骤一、针对航空航天飞行器红外损伤试件,使用红外热像仪记录不同视角的构件损伤温度分布,得到带有温度分布信息的红外热图像序列数据T(X,Y,N),三维矩阵T(X,Y,N)的各元素分别为红外热像仪的画幅长宽(X,Y),以及视频流的帧数N;将红外热图像序列数据做重构处理,得到红外热重构图像,并对红外热重构图像做灰度处理,得到红外重构灰度图像R(x,y),x=1,2,...,X,y=1,2,...,Y,其中,红外重构灰度图像中的灰度值分布表示了实际损伤温度数值;
步骤二、对待拼接红外重构灰度图像Ri(x,y)应用扩散滤波,并使用扩散滤波结果图像构造特征点检测的非线性尺度空间,其中i为待拼接红外重构灰度图像的序号;
步骤三、在由扩散滤波结果图像组成的非线性尺度空间中寻找待拼接红外热重构图像的特征点,并建立特征点集合;
步骤四、计算第i张红外热重构图像Ri的第s个特征点pis圆形邻域内各方向的haar小波特征总和,使用两次高斯加权函数对红外热重构图像进行处理,统计小波特征总和参数并进行归一化处理,依此构建红外热重构图像特征点的特征描述符;
步骤五、对特征点对进行以欧氏距离为度量的粗匹配,并依据粗匹配点进行去误匹配处理,建立拼接的全局单应性模型;在待拼接红外热重构图像之间,建立基于距离的待拼接图像网格划分,加权获得拼接模型局部加权单应性矩阵模型,利用此模型对待拼接图像进行拼接;
步骤六、对损伤全景图像进行色彩空间的转换,对损伤全景图像进行颜色分割;选择分割结果图像,对其进行亚像素级的边缘检测处理与定量分析处理。
在上述技术方案中,所述步骤二中,对待拼接红外重构灰度图像Ri(x,y)应用扩散滤波,并使用扩散滤波结果图像构造特征点检测的非线性尺度空间的具体方法包括:
S21、对待拼接红外重构灰度图像Ri(x,y)作高斯平滑,使用Scharr滤波算法求取高斯平滑后图像的灰度分布梯度▽Rσi;将灰度分布梯度▽Rσi的模引入到传到函数中,由灰度分布梯度构造红外重构灰度图像Ri的扩散滤波传导函数Bi(x,y,t),如下式所示:
其中,参数q为控制扩散级别的对比度因子,q的取值将决定着在滤波过程中边缘信息的保留程度,q取得越大,其保留的边缘信息就越少,则其图像滤波结果就越平滑;计算图像的梯度直方图HG,选取直方图合适位置的百分位数作为q参数的取值;|▽Rσi|为待拼接重构灰度图像Ri(x,y)灰度分布梯度▽Rσi的模;
S22、将待拼接红外重构灰度图像Ri(x,y)中灰度亮度的变化描述为流场函数的散度,代入扩散滤波的传导函数Bi(x,y,t),用非线性偏微分方程来描述:
其中,div为散度算子,针对上述公式,有div[Bi·▽Ri]=▽[Bi]·▽Ri+Bi·▽2Ri;
S23、针对S22中非线性偏微分方程,求解得到原图像Ri的扩散滤波结果图像,即非线性尺度空间中的各级图像但由于此非线性偏微分方程没有解析解,故使用数值方法来逼近上述非线性偏微分方程;
设置时间步长τ,利用加性算子分裂法将上述非线性篇微分方程离散化,得到半隐式解:
其中,k代表时间迭代次数,则为红外热重构图像Ri在k+1与k时刻扩散滤波结果图像的n=XY维(X,Y为原始画幅长宽)重构列向量;/>为重构图像列向量/>在其各个维度d(d=1,...,n)上的传导性矩阵;
S24、移项求解S23中的方程,得到非线性偏微分方程的解;
得到红外热重构图像Ri非线性尺度空间中子图像的重构列向量/>
其中,I为与传导性矩阵维度XY×XY相同的单位矩阵;
S25、确定热重构图像Ri非线性尺度空间的构造参数,设置尺度空间的分组数量M,以及组内各层N,则非线性尺度空间中的图像总数为MN,由此创建尺度参数
其中,k=0,...,M×N,代表了非线性尺度空间中的图像总数,为热重构图像Ri非线性尺度空间的尺度参数初始值,不同的尺度空间组别及组内各层尺度参数/>均由上述参数一一对应;
S26、在各个层级中,均使用与原始图像分辨率相同的滤波图像,其不同尺度参数对应着不同的扩散滤波结果图像;考虑到非线性扩散滤波为时域模型,利用进化时间/>与尺度参数关系,/>将时间与空间参数进行转换,带入S24式中获得非线性尺度空间中的所有图像结果:
通过设定一组进化时间并增加迭代次数k,则在热重构图像Ri的非线性尺度空间中各分组及组内各层级需要的所有扩散滤波结果图像/>的重构列向量均可以被构造出来;并由原红外热图像序列数据的画幅参数X与Y,将各组各层非线性扩散滤波结果向量/>逆重构恢复为长宽为(X,Y)的图像/>
在上述技术方案中,所述步骤三中,在由扩散滤波结果图像组成的非线性尺度空间中寻找待拼接红外热重构图像的特征点,并建立特征点集合的具体方法包括:
S31、计算非线性尺度空间不同层图像的Hessian矩阵/>
其中,σ′i为尺度参数σi的整数值,分别为非线性尺度空间不同层图像/>二阶水平及垂直导数;/>为图像/>的水平垂直二阶混合导数;
S32、将非线性尺度空间不同层图像的Hessian矩阵/>进行归一化,并在归一化的非线性尺度空间图像集中寻找响应极值;
S32、在非线性尺度空间k=0,1,...,M×N的各非线性滤波后的图像中寻找极值;设置大小为3×3的初次小半径搜索窗口,对目标层数目标像素周边8个像素点以及其上下邻接层相应位置各9个像素,共26个像素点进行搜索,以便快速抛弃整体空间中的非极大值响应点;
S33、针对初步排除非极大值响应点的区域,依据参数设置大小为/>的搜索窗,在目标层数f以及目标层数的相邻层f-1与f+1分别进行搜索,若某像素点满足极大值相应要求,则保留检测结果为关键点;
S34、考虑图像的灰度亮度分布在非线性尺度空间下对边缘及噪声分布较为敏感,故针对初步检测结果关键点集进行基于图像泰勒公式的亚像素级精确定位,得到第i张红外热重构图像Ri的特征检测点集合:
其中,代表第i张红外热重构图像Ri的第s个特征检测点及其坐标,特征点标号为s=1,2,...,Si,Si为第i张红外热重构图像Ri的特征点总数。
在上述技术方案中,所述步骤四中,计算第i张红外热重构图像Ri的第s个特征点圆形邻域内各方向的haar小波特征总和,使用两次高斯加权函数对红外热重构图像进行处理,统计小波特征总和参数并进行归一化处理,依此构建红外热重构图像特征点的特征描述符的具体方法包括:
S41、确定得到第i张红外热重构图像Ri的特征检测点的主方向,若特征点所在图像Ri的尺度参数为σi,则搜索半径设为6σi,在这个圆形邻域内做一个30°的扇形区域,统计这个扇形区域内的haar小波特征总和,记为/>然后转动扇形区域,再统计另一个扇形区域的小波特征总和分别为/>取小波特征总和最大的方向作为第i张红外热重构图像Ri的第s个特征点/>的主方向;
S42、对于尺度参数为σi的热重构图像Ri上面的特征点以其为中心取一个24σi×24σi的窗口,并将窗口划分为4×4共计16个子区域,每个子区域大小为9σi×9σi,相邻的子区域有宽度为2σi的交叠带;
S43、使用的高斯加权函数,对热重构图像Ri第s个特征检测点/>的第t个子窗口区域内的haar小波响应值进行中心加权,并统计出每个子区域内的特征矢量为:
其中,分别为子区域上haar小波响应的水平方向响应值总和、垂直方向响应值总和、水平方向响应值绝对值总和、垂直方向响应值绝对值总和;
S44、在4×4的窗口上,使用另一个的高斯加权函数对每个子区域的特征矢量进行中心加权,每个窗口通过/> 四个参数对热重构图像Ri第s个特征检测点的第t个子窗口形成4维描述向量/>对t=1,2,...,16的所有窗口遍历上述操作,进而形成描述第第s个特征检测点/>的64维特征列向量
S45、对64维的特征矢量进行归一化处理得到使描述矢量获得对比度不变性;
S46、对热重构图像Ri所有共S个特征检测点进行整合,获得热重构图像Ri特征点描述点集:
其中,Si为红外重构热图像Ri中被检测出的特征点总数。
在上述技术方案中,所述步骤五中,对特征点对进行以欧氏距离为度量的粗匹配,并依据粗匹配点进行去误匹配处理,建立拼接的全局单应性模型;在待拼接红外热重构图像之间,建立基于距离的待拼接图像网格划分,加权获得拼接模型局部加权单应性矩阵模型,利用此模型对待拼接图像进行拼接的具体方法包括:
S51、选取待拼接热重构图像Ra、Rb,则其特征点描述集合为依欧式距离最小原则遍历所有特征点对,得到初始匹配特征点集/>其中,共有n1各初始匹配特征点对,n1=min(Sa,Sb),/>表示待拼接图像Ra、Rb匹配点对集合中的第一对匹配点;
S52、基于粗匹配点集进行RANSAC去误匹配,得到精确匹配的拼接点对集合其中,n2为精确匹配点的个数,n2<n1,/>表示待拼接图像Ra、Rb去误匹配后点对集合中的第一对匹配点,经由精确匹配点对集合,建立待拼接图像Ra、Rb之间的全局变换矩阵HG;
S53、分别将待拼接红外热重构图像Ra、Rb划分为g1×g2的网格,以红外热重构图像Ra为例,找到其每个网格的中心点为pic,ic=1,...,g1×g2;
S54、建立多个局部单应性求解方程:针对精确匹配的拼接点对中每一个特征点对FPin,根据其距离当前的网格中心点pic的距离进行加权:
其中,k=1,2,...,m为评估局部单应性矩阵的个数,权重矩阵W(k)为权重的对角组合,h为3×3单应性矩阵HG的向量化,h=[h1 h2 ... h9]T;当处理对象为两幅待拼接图像时,针对某匹配点对/>ain为2×9线性参数矩阵:
S55、计算各网格的权重值:
其中,点(x(ic),y(ic))表示查询图上第ic个网格的中心点,点(xin-a,yin-a)表示图Ra上第i个特征点对,参数σ是高斯函数的尺度因子,参数γ是阈值参数;当γ=1时,权重则此时权重对角阵W(k)则恒等于单位矩阵;此时的局部单应性矩阵求解则退化成求解全局单应型矩阵;故参数γ越接近1,则此时的图像变换过程就越考虑全局变换效应;参数γ越远离1,则此时的图像变换过程就越考虑各网格的局部变换效应;
S56、依据S52中的求解结果,将配准图像Rb变换至Ra平面,完成两幅红外热重构图像的拼接,得到重构拼接图像Rab;重复步骤二至步骤五,将所有待拼接红外图像拼接为损伤全景图像RP;
在上述技术方案中,所述步骤六中,对损伤全景图像进行色彩空间的转换,对损伤全景图像进行颜色分割;选择分割结果图像,对其进行亚像素级的边缘检测处理与定量分析处理的具体方法包括:
S61、将得到的损伤全景图像RP转换至Lab色彩空间,并在此色彩空间中进行色度层a、b的颜色分割;采用基于颜色空间色度值距离度量的聚类分割算法,根据重构图像中不同颜色信息将其分为几种不同色域的分割图像,得到背景区域图像RP(background)、热扩散区域图像RP(diffusion)和缺陷特征区域图像RP(defect)的聚类划分结果;
S62、选择分割结果中的缺陷特征区域图像RP(defect),对其进行缺陷区域的标注,对缺陷特征区域图像进行灰度化处理,并根据类间方差阈值分割法将目标图像二值化,得到图像中每一块缺陷都可以看作是一个独立的连通区域,通过对二值图像中目标像素的标记,让每个单独的连通区域形成一个被标识的块/>d=1,2,...,numdefect,所得连通区域的个数即缺陷特征区域的个数numdefect,并求出联通区域的质心对其位置进行标记;
S63、对缺陷区域进行亚像素边界像素提取与计算,使用7×7的Zernike算子Im(Z11)、Re(Z11)、Z20对二值图像进行卷积:
得到卷积后的过程图像
S64、使用卷积后的过程图像计算二值图像各像素的边缘检测参数:
其中,l与k三个参数均为过程图像矩阵/>对应元素的数值计算;/>l与k计算的最终结果为与过程图像矩阵维度(X,Y)同纬度的矩阵;
S65、使用Zernike边缘检测距离阈值及边缘强度阈值Thhigh-l、Thlow-k对参数矩阵l、k进行边缘检测点筛选,满足边缘检测距离阈值Thhigh-l及边缘强度阈值Thlow-k的像素点将视作边缘像素,存储边缘像素的坐标,得到二值图像的边缘像素集合Edge(defect):
其中,i=1,2,...,X,j=1,2,...,Y分别为l、k以及二值图像的矩阵维度(X,Y);
S66、对于边缘像素集合Edge(defect)中的某个边缘像素edgpixel(xe,ye);计算其Zernike矩亚像素坐标:
其中e∈(1,2,...,numedge),numedge为边缘像素集合中像素点的总数,le为边缘像素edgpixel(xe,ye)在l矩阵中对应的参数值,/>为边缘像素edgpixel(xe,ye)在/>矩阵中对应的参数值,并将亚像素坐标存储在亚像素边缘像素坐标集合/>中;
S67、利用亚像素边缘像素坐标集合,计算损伤区域的区域边缘坐标,依此获得亚像素级别的缺陷外接框标记,并对外接框标记及缺陷轮廓进行亚像素级的几何特征定量计算。
实施例
针对带有微小空间碎片超高速撞击损伤缺陷的航空航天飞行器复杂外形试件,使用热激励源对试件进行加热并且冷却至室温。采用红外热像仪选择合适的距离与位置对此过程进行分别记录,获得原始红外热图像序列数据T1(640,512,250)、T2(640,512,250)、T3(640,512,250)。并使用热重构算法获得对应的3张红外热重构图像R1、R2、R3,如图2所示。首先选取红外热重构图像R1、R2,确定非线性尺度空间构造层数参数M=4、N=5,扩散级别控制因子参数q=0.7。构造R1、R2图像的非线性尺度空间,其中图像R1的非线性尺度空间的构造结果如图3所示。在图像的非线性尺度空间中作特征点检测,将特征点的位置以及尺度半径在图像R1、R2的灰度图像上描述,如图4所示。其中,重构图像R1、R2的特征点集为即在重构图像R1中检出特征点1987个,在重构图像R2中检出特征点1533个。进一步地,基于两幅图像的特征点集合/>进行特征点匹配,得到初始匹配特征点集/>其匹配关系如图5所示。使用RANSAC去误匹配算法对初始匹配点集进行去误匹配计算处理,得到精确匹配的内点集合其匹配关系如图5所示。
分别将待拼接红外热重构图像R1、R2划分为100×100的网格。求解局部单应性矩阵,并依据图7网格变形结果创建全景画布,依局部单应性变换完成图像拼接,获得重构拼接图像R12,如图8所示。
将重构拼接结果图像R12与重构图像R3作为输入图像,重复热重构图像的非线性空间构造及特征点检出步骤如图9至图11所示。实现多视角热重构图像全景拼接结果,如图12所示。
将重构拼接结果图像R12与重构图像R3作为输入图像,重复热重构图像的非线性空间构造及特征点检出步骤如图9至图11所示。实现多视角热重构图像全景拼接结果,获得损伤全景图像RP如图12所示。
进一步地,对航空航天飞行器超高速撞击损伤缺陷试件的损伤全景图像进行色彩转换,采用基于Lab颜色空间色度值距离度量的聚类分割算法,根据全景图像中不同损伤区域的颜色信息将其分为3类图像。在图像颜色分类结果中选择核心损伤区域的分割图像,对目标图像进行高斯模糊,并采用类间方差阈值分割法对高斯模糊的图像进行二值化处理,如图13所示。统计二值化图像中的连通域,得到核心损伤图像的损伤区域为numdefect=15。求出损伤连通区域的质心坐标,并对其最小外接矩形进行标注。选取Zernike矩的边缘检测距离阈值及边缘强度阈值Thhigh-l=0.175、Thlow-k=0.5,提取损伤区域的亚像素边缘像素并计算边缘像素的亚像素坐标,其区域标记及亚像素坐标计算结果如图14所示。进一步地,利用亚像素边缘像素坐标集合,修正获得亚像素级别的缺陷外接框标记。并对外接框标记及缺陷轮廓进行亚像素级的几何特征定量计算。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (7)
1.一种复杂外形构件损伤缺陷全场检测与量化评估方法,其特征在于,包括以下步骤:
步骤一、获得试件红外热重构图像,并对红外热重构图像做灰度处理,得到红外热灰度图像;
步骤二、对待拼接红外热灰度图像Ri(x,y)应用扩散滤波,并使用扩散滤波结果图像构造特征点检测的非线性尺度空间,其中i为待拼接红外重构灰度图像的序号;
步骤三、在由扩散滤波结果图像组成的非线性尺度空间中寻找待拼接红外热重构图像的特征点,并建立特征点集合;
步骤四、计算第i张红外热重构图像Ri的第s个特征点pis圆形邻域内各方向的haar小波特征总和,使用两次高斯加权函数对红外热重构图像进行处理,统计小波特征总和参数并进行归一化处理,依此构建红外热重构图像特征点的特征描述符;
步骤五、对特征点对进行以欧氏距离为度量的粗匹配,并依据粗匹配点进行去误匹配处理,建立拼接的全局单应性模型;在待拼接红外热重构图像之间,建立基于距离的待拼接图像网格划分,加权获得拼接模型局部加权单应性矩阵模型,利用此模型对待拼接图像进行拼接;
步骤六、对损伤全景图像进行色彩空间的转换,对损伤全景图像进行颜色分割;选择分割结果图像,对其进行亚像素级的边缘检测处理与定量分析处理。
2.如权利要求1所述的复杂外形构件损伤缺陷全场检测与量化评估方法,其特征在于,所述步骤一中,获得红外重构灰度图像的方法包括:针对航空航天飞行器红外损伤试件,使用红外热像仪记录不同视角的构件损伤温度分布,得到带有温度分布信息的红外热图像序列数据T(X,Y,N),三维矩阵T(X,Y,N)的各元素分别为红外热像仪的画幅长宽(X,Y),以及视频流的帧数N;将红外热图像序列数据做重构处理,得到红外热重构图像,并对红外热重构图像做灰度处理,得到红外重构灰度图像R(x,y),x=1,2,...,X,y=1,2,...,Y,其中,红外重构灰度图像中的灰度值分布表示了实际损伤温度数值。
3.如权利要求1所述的复杂外形构件损伤缺陷全场检测与量化评估方法,其特征在于,所述步骤二中,对待拼接红外重构灰度图像Ri(x,y)应用扩散滤波,并使用扩散滤波结果图像构造特征点检测的非线性尺度空间的具体方法包括:
S21、对待拼接红外重构灰度图像Ri(x,y)作高斯平滑,使用Scharr滤波算法求取高斯平滑后图像的灰度分布梯度将灰度分布梯度/>的模引入到传到函数中,由灰度分布梯度构造红外重构灰度图像Ri的扩散滤波传导函数Bi(x,y,t),如下式所示:
其中,参数q为控制扩散级别的对比度因子,q的取值将决定着在滤波过程中边缘信息的保留程度,q取得越大,其保留的边缘信息就越少,则其图像滤波结果就越平滑;计算图像的梯度直方图HG,选取直方图合适位置的百分位数作为q参数的取值;为待拼接重构灰度图像Ri(x,y)灰度分布梯度/>的模;
S22、将待拼接红外重构灰度图像Ri(x,y)中灰度亮度的变化描述为流场函数的散度,代入扩散滤波的传导函数Bi(x,y,t),用非线性偏微分方程来描述:
其中,div为散度算子,
S23、针对S22中非线性偏微分方程,求解得到原图像Ri的扩散滤波结果图像,即非线性尺度空间中的各级图像但由于此非线性偏微分方程没有解析解,故使用数值方法来逼近上述非线性偏微分方程;
设置时间步长τ,利用加性算子分裂法将上述非线性篇微分方程离散化,得到半隐式解:
其中,k代表时间迭代次数,则为红外热重构图像Ri在k+1与k时刻扩散滤波结果图像的n=XY维,X,Y为原始画幅长宽,重构列向量;/>为重构图像列向量/>在其各个维度d上的传导性矩阵,d=1,...,n;
S24、移项求解S23中的方程,得到非线性偏微分方程的解;
得到红外热重构图像Ri非线性尺度空间中子图像的重构列向量/>
其中,I为与传导性矩阵维度XY×XY相同的单位矩阵;
S25、确定热重构图像Ri非线性尺度空间的构造参数,设置尺度空间的分组数量M,以及组内各层N,则非线性尺度空间中的图像总数为MN,由此创建尺度参数
其中,k=0,...,M×N,代表了非线性尺度空间中的图像总数,为热重构图像Ri非线性尺度空间的尺度参数初始值,不同的尺度空间组别及组内各层尺度参数/>均由上述参数一一对应;
S26、在各个层级中,均使用与原始图像分辨率相同的滤波图像,其不同尺度参数对应着不同的扩散滤波结果图像;考虑到非线性扩散滤波为时域模型,利用进化时间/>与尺度参数关系,/>将时间与空间参数进行转换,带入S24式中获得非线性尺度空间中的所有图像结果:
通过设定一组进化时间并增加迭代次数k,则在热重构图像Ri的非线性尺度空间中各分组及组内各层级需要的所有扩散滤波结果图像/>的重构列向量均可以被构造出来;并由原红外热图像序列数据的画幅参数X与Y,将各组各层非线性扩散滤波结果向量/>逆重构恢复为长宽为(X,Y)的图像/>
4.如权利要求1所述的复杂外形构件损伤缺陷全场检测与量化评估方法,其特征在于,所述步骤三中,在由扩散滤波结果图像组成的非线性尺度空间中寻找待拼接红外热重构图像的特征点,并建立特征点集合的具体方法包括:
S31、计算非线性尺度空间不同层图像的Hessian矩阵/>
其中,σ′i为尺度参数σi的整数值,分别为非线性尺度空间不同层图像二阶水平及垂直导数;/>为图像/>的水平垂直二阶混合导数;
S32、将非线性尺度空间不同层图像的Hessian矩阵/>进行归一化,并在归一化的非线性尺度空间图像集中寻找响应极值;
S32、在非线性尺度空间k=0,1,...,M×N的各非线性滤波后的图像中寻找极值;设置大小为3×3的初次小半径搜索窗口,对目标层数目标像素周边8个像素点以及其上下邻接层相应位置各9个像素,共26个像素点进行搜索,以便快速抛弃整体空间中的非极大值响应点;
S33、针对初步排除非极大值响应点的区域,依据参数设置大小为/>的搜索窗,在目标层数f以及目标层数的相邻层f-1与f+1分别进行搜索,若某像素点满足极大值相应要求,则保留检测结果为关键点;
S34、针对初步检测结果关键点集进行基于图像泰勒公式的亚像素级精确定位,得到第i张红外热重构图像Ri的特征检测点集合:
其中,代表第i张红外热重构图像Ri的第s个特征检测点及其坐标,特征点标号为s=1,2,...,Si,Si为第i张红外热重构图像Ri的特征点总数。
5.如权利要求1所述的复杂外形构件损伤缺陷全场检测与量化评估方法,其特征在于,所述步骤四中,计算第i张红外热重构图像Ri的第s个特征点圆形邻域内各方向的haar小波特征总和,使用两次高斯加权函数对红外热重构图像进行处理,统计小波特征总和参数并进行归一化处理,依此构建红外热重构图像特征点的特征描述符的具体方法包括:
S41、确定得到第i张红外热重构图像Ri的特征检测点的主方向,若特征点所在图像Ri的尺度参数为σi,则搜索半径设为6σi,在这个圆形邻域内做一个30°的扇形区域,统计这个扇形区域内的haar小波特征总和,记为/>然后转动扇形区域,再统计另一个扇形区域的小波特征总和分别为/>取小波特征总和最大的方向作为第i张红外热重构图像Ri的第s个特征点pis的主方向;
S42、对于尺度参数为σi的热重构图像Ri上面的特征点以其为中心取一个24σi×24σi的窗口,并将窗口划分为4×4共计16个子区域,每个子区域大小为9σi×9σi,相邻的子区域有宽度为2σi的交叠带;
S43、使用的高斯加权函数,对热重构图像Ri第s个特征检测点pis的第t个子窗口区域内的haar小波响应值进行中心加权,并统计出每个子区域内的特征矢量为:
其中,分别为子区域上haar小波响应的水平方向响应值总和、垂直方向响应值总和、水平方向响应值绝对值总和、垂直方向响应值绝对值总和;
S44、在4×4的窗口上,使用另一个的高斯加权函数对每个子区域的特征矢量进行中心加权,每个窗口通过/> 四个参数对热重构图像Ri第s个特征检测点的第t个子窗口形成4维描述向量/>对t=1,2,...,16的所有窗口遍历上述操作,进而形成描述第第s个特征检测点/>的64维特征列向量
S45、对64维的特征矢量进行归一化处理得到使描述矢量获得对比度不变性;
S46、对热重构图像Ri所有共S个特征检测点进行整合,获得热重构图像Ri特征点描述点集:
其中,Si为红外重构热图像Ri中被检测出的特征点总数。
6.如权利要求1所述的复杂外形构件损伤缺陷全场检测与量化评估方法,其特征在于,所述步骤五中,对特征点对进行以欧氏距离为度量的粗匹配,并依据粗匹配点进行去误匹配处理,建立拼接的全局单应性模型;在待拼接红外热重构图像之间,建立基于距离的待拼接图像网格划分,加权获得拼接模型局部加权单应性矩阵模型,利用此模型对待拼接图像进行拼接的具体方法包括:
S51、选取待拼接热重构图像Ra、Rb,则其特征点描述集合为依欧式距离最小原则遍历所有特征点对,得到初始匹配特征点集/>其中,共有n1各初始匹配特征点对,n1=min(Sa,Sb),/>表示待拼接图像Ra、Rb匹配点对集合中的第一对匹配点;
S52、基于粗匹配点集进行RANSAC去误匹配,得到精确匹配的拼接点对集合其中,n2为精确匹配点的个数,n2<n1,/>表示待拼接图像Ra、Rb去误匹配后点对集合中的第一对匹配点,经由精确匹配点对集合,建立待拼接图像Ra、Rb之间的全局变换矩阵HG;
S53、分别将待拼接红外热重构图像Ra、Rb划分为g1×g2的网格,以红外热重构图像Ra为例,找到其每个网格的中心点为pic,ic=1,...,g1×g2;
S54、建立多个局部单应性求解方程:针对精确匹配的拼接点对中每一个特征点对FPin,根据其距离当前的网格中心点pic的距离进行加权:
其中,k=1,2,...,m为评估局部单应性矩阵的个数,权重矩阵W(k)为权重的对角组合,h为3×3单应性矩阵HG的向量化,h=[h1 h2 ... h9]T;当处理对象为两幅待拼接图像时,针对某匹配点对/>ain为2×9线性参数矩阵:
S55、计算各网格的权重值:
其中,点(x(ic),y(ic))表示查询图上第ic个网格的中心点,点(xin-a,yin-a)表示图Ra上第i个特征点对,参数σ是高斯函数的尺度因子,参数γ是阈值参数;当γ=1时,权重则此时权重对角阵W(k)则恒等于单位矩阵;此时的局部单应性矩阵求解则退化成求解全局单应型矩阵;故参数γ越接近1,则此时的图像变换过程就越考虑全局变换效应;参数γ越远离1,则此时的图像变换过程就越考虑各网格的局部变换效应;
S56、依据S52中的求解结果,将配准图像Rb变换至Ra平面,完成两幅红外热重构图像的拼接,得到重构拼接图像Rab;重复步骤二至步骤五,将所有待拼接红外图像拼接为损伤全景图像RP。
7.如权利要求1所述的复杂外形构件损伤缺陷全场检测与量化评估方法,其特征在于,所述步骤六中,对损伤全景图像进行色彩空间的转换,对损伤全景图像进行颜色分割;选择分割结果图像,对其进行亚像素级的边缘检测处理与定量分析处理的具体方法包括:
S61、将得到的损伤全景图像RP转换至Lab色彩空间,并在此色彩空间中进行色度层a、b的颜色分割;采用基于颜色空间色度值距离度量的聚类分割算法,根据重构图像中不同颜色信息将其分为几种不同色域的分割图像,得到背景区域图像RP(background)、热扩散区域图像RP(diffusion)和缺陷特征区域图像RP(defect)的聚类划分结果;
S62、选择分割结果中的缺陷特征区域图像RP(defect),对其进行缺陷区域的标注,对缺陷特征区域图像进行灰度化处理,并根据类间方差阈值分割法将目标图像二值化,得到图像中每一块缺陷都可以看作是一个独立的连通区域,通过对二值图像中目标像素的标记,让每个单独的连通区域形成一个被标识的块/>所得连通区域的个数即缺陷特征区域的个数numdefect,并求出联通区域的质心对其位置进行标记;
S63、对缺陷区域进行亚像素边界像素提取与计算,使用7×7的Zernike算子Im(Z11)、Re(Z11)、Z20对二值图像进行卷积:
得到卷积后的过程图像
S64、使用卷积后的过程图像计算二值图像各像素的边缘检测参数:
其中,l与k三个参数均为过程图像矩阵/>对应元素的数值计算;/>l与k计算的最终结果为与过程图像矩阵维度(X,Y)同纬度的矩阵;
S65、使用Zernike边缘检测距离阈值及边缘强度阈值Thhigh-l、Thlow-k对参数矩阵l、k进行边缘检测点筛选,满足边缘检测距离阈值Thhigh-l及边缘强度阈值Thlow-k的像素点将视作边缘像素,存储边缘像素的坐标,得到二值图像的边缘像素集合Edge(defect):
其中,i=1,2,...,X,j=1,2,...,Y分别为l、k以及二值图像的矩阵维度(X,Y);
S66、对于边缘像素集合Edge(defect)中的某个边缘像素edgpixel(xe,ye);计算其Zernike矩亚像素坐标:
其中e∈(1,2,...,numedge),numedge为边缘像素集合中像素点的总数,le为边缘像素edgpixel(xe,ye)在l矩阵中对应的参数值,/>为边缘像素edgpixel(xe,ye)在/>矩阵中对应的参数值,并将亚像素坐标存储在亚像素边缘像素坐标集合/>中;
S67、利用亚像素边缘像素坐标集合,计算损伤区域的区域边缘坐标,依此获得亚像素级别的缺陷外接框标记,并对外接框标记及缺陷轮廓进行亚像素级的几何特征定量计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310975192.7A CN116977316A (zh) | 2023-08-03 | 2023-08-03 | 一种复杂外形构件损伤缺陷全场检测与量化评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310975192.7A CN116977316A (zh) | 2023-08-03 | 2023-08-03 | 一种复杂外形构件损伤缺陷全场检测与量化评估方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116977316A true CN116977316A (zh) | 2023-10-31 |
Family
ID=88471202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310975192.7A Pending CN116977316A (zh) | 2023-08-03 | 2023-08-03 | 一种复杂外形构件损伤缺陷全场检测与量化评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116977316A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455907A (zh) * | 2023-12-22 | 2024-01-26 | 中国石油大学(华东) | 一种基于图像处理的腐蚀产物膜厚度统计方法及系统 |
-
2023
- 2023-08-03 CN CN202310975192.7A patent/CN116977316A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455907A (zh) * | 2023-12-22 | 2024-01-26 | 中国石油大学(华东) | 一种基于图像处理的腐蚀产物膜厚度统计方法及系统 |
CN117455907B (zh) * | 2023-12-22 | 2024-03-19 | 中国石油大学(华东) | 一种基于图像处理的腐蚀产物膜厚度统计方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110660023B (zh) | 一种基于图像语义分割的视频拼接方法 | |
Ahmed | Comparative study among Sobel, Prewitt and Canny edge detection operators used in image processing | |
CN107025648A (zh) | 一种电路板故障红外图像自动检测方法 | |
CN108648168A (zh) | Ic晶圆表面缺陷检测方法 | |
CN110223330B (zh) | 一种可见光和红外图像的配准方法及系统 | |
CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
CN111191629A (zh) | 一种基于多目标的图像能见度检测方法 | |
CN112288761B (zh) | 一种异常发热的电力设备检测方法、装置和可读存储介质 | |
CN108257125B (zh) | 一种基于自然场景统计的深度图像质量无参考评价方法 | |
CN111340701A (zh) | 一种基于聚类法筛选匹配点的电路板图像拼接方法 | |
CN103902953B (zh) | 一种屏幕检测系统及方法 | |
CN116977316A (zh) | 一种复杂外形构件损伤缺陷全场检测与量化评估方法 | |
CN104537376A (zh) | 一种识别台标的方法及相关设备、系统 | |
Sahoo et al. | Design and simulation of various edge detection techniques using Matlab Simulink | |
Li et al. | Image quality assessment using deep convolutional networks | |
CN111861866A (zh) | 一种变电站设备巡检图像全景重建方法 | |
CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
CN116433733A (zh) | 一种电路板的光学图像与红外图像之间的配准方法及装置 | |
CN112183325A (zh) | 基于图像对比的公路车辆检测方法 | |
CN111915485A (zh) | 一种特征点稀疏工件图像的快速拼接方法及系统 | |
CN111563896A (zh) | 一种用于接触网异常检测的图像处理方法 | |
CN104966283A (zh) | 图像分层配准方法 | |
CN112990234A (zh) | 基于改进孪生网络检测超分辨率小样本数据的方法 | |
CN117314986A (zh) | 基于语义分割的无人机跨模态配电设备巡检图像配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |