CN112819775B - 一种航空航天复合材料损伤检测图像的分割强化方法 - Google Patents
一种航空航天复合材料损伤检测图像的分割强化方法 Download PDFInfo
- Publication number
- CN112819775B CN112819775B CN202110118566.4A CN202110118566A CN112819775B CN 112819775 B CN112819775 B CN 112819775B CN 202110118566 A CN202110118566 A CN 202110118566A CN 112819775 B CN112819775 B CN 112819775B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- segmentation
- infrared
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 239000002131 composite material Substances 0.000 title claims abstract description 34
- 230000002787 reinforcement Effects 0.000 title claims description 5
- 230000007547 defect Effects 0.000 claims abstract description 92
- 238000003709 image segmentation Methods 0.000 claims abstract description 69
- 238000005457 optimization Methods 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 35
- 230000014759 maintenance of location Effects 0.000 claims abstract description 32
- 230000001052 transient effect Effects 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 238000005728 strengthening Methods 0.000 claims abstract description 7
- 238000012423 maintenance Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 89
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000012360 testing method Methods 0.000 claims description 14
- 238000004321 preservation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 4
- 230000008030 elimination Effects 0.000 description 6
- 238000003379 elimination reaction Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000005284 excitation Effects 0.000 description 3
- 230000003116 impacting effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000032798 delamination Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Genetics & Genomics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种航空航天复合材料损伤检测图像的分割强化方法,包括:提取缺陷的典型瞬态热响应;获得红外重构图像;利用多目标衡量去除噪声、保留细节、保持边缘三个方面的分割性能,求取各个分割性能的权重系数;在噪声去除、保留细节及保持边缘三种目的指导下构建红外图像分割函数据;获得目标函数的权重系数;对重构得到的全像素红外图像进行图像分割;在图像分割层实现红外全像素图像分割,得到缺陷的分割图像。本发明利用多目标优化理论进行红外重构图像中的损伤缺陷区域分割,针对噪声问题和边缘模糊问题分别构造目标函数,提高区域分割精度,降低误检率,从而有效增强损伤缺陷区域的可读性,便于复杂缺陷的量化研究。
Description
技术领域
本发明属于航空航天飞行器损伤检测与维修保障技术领域,更具体地说,本发明涉及一种航空航天复合材料损伤检测图像的分割强化方法。
背景技术
随着航空航天飞行器迫切的减重需求,具有优异力学性能的轻质结构材料,尤其是以高强/高模碳纤维复合材料、蜂窝结构材料等为代表的轻质复合材料,日益成为航空航天研究的热点。与此同时,具有特殊功能用途的复合材料,如隐身涂层材料、碳基防热材料等功能复合材料在航空航天领域的应用也更加广泛。然而,复合材料在生产制造、装配加工或实时使用过程中,由于工艺不当、反复循环应力和外部冲击等会导致严重的质量问题,如分层、脱粘、疏松、裂纹和冲击缺陷等。比如,飞机在起飞和降落过程中容易受到飞鸟的撞击,航天器在发射和在轨运行过程中遭受微小空间碎片的超高速撞击,从而导致航空航天飞行器复合材料表面产生各类损伤,比如穿孔、撞击坑、层裂、剥落等,使得飞行器表面复合材料结构发生破坏或者功能下降、失效。因此,为了避免航空航天复合材料构件在使用过程中由各类损伤缺陷而引起严重事故,对复合材料开展损伤缺陷检测和质量评价尤为关键。
红外热成像技术具有安全、直观、快速、高效、检测面积大、无接触等优点,在航天器在轨检测中发挥了重要作用,其基础原理是:基于傅里叶传热与红外辐射原理,当被检对象受到外部热激励时(太阳光照射或人工热激励),由于材料缺陷的存在导致热传导过程受到影响,并表现为被检对象表面瞬态温度响应的差异。通过红外热像仪采集表面温度场响应,从而了解被检对象表面和内部的缺陷状态。红外成像仪采集到的数据是由多帧红外热图像构成的红外热图像序列数据,其包含了被检区域内每个像素点的温度变化信息(瞬态热响应曲线),通过对红外热图像序列数据进行分析和处理,获取缺陷的重构图像,从而实现对复合材料损伤缺陷的可视化检测。
为了对损伤缺陷进行精确评估,就需要对缺陷的红外重构图像中目标缺陷区域与背景区域进行有效分离。区别于常规的自然可见光图像,红外图像具有较低的分辨率和模糊的边缘,尤其是在复杂的检测背景中,由于背景中存在其他热源或者是材料本身的热反射性强等原因,会导致背景区域重叠和混乱,降低目标与背景之间的对比度,严重干扰重构图像中的缺陷识别,并对缺陷区域精确提取和类型准确识别造成较大困难。为解决上述问题,需要通过图像分割算法对原始图像进行处理,将目标区域与背景区域有效分离,可见,正确分割缺陷成为目标识别过程中的关键步骤。在现有的研究中,通过利用FCM算法及其改进的算法对图像进行分割,但是这些分割问题往往面向的是一个损伤函数,即一个目标函数。一方面,如果在充分满足保留细节的前提下,缺陷的检测率虽有一定的提高,但是也保留了噪声,容易对缺陷识别造成误判,导致误检率的上升。另一方面,若只满足对图像进行整体去噪,由于微小碎片撞击导致的损伤缺陷尺寸小且数量多,这些同噪音近似的微小缺陷会一并随着去噪过程而去除,降低了缺陷的检测率和检测精度。因此,上述常规分割方法运用到本发明对象,即缺陷的红外重构图像中,由于不能权衡缺陷的误检率与检测率,分割效果不尽人意。特别是考虑到红外热图像反映的是试件的热辐射信息,容易受到环境、成像链路等影响,使得获得的缺陷红外重构图像背景噪声大。同时,由于缺陷区域与背景区域的表面热辐射能力的差异,使得缺陷的红外重构图像的边缘不够平滑、边缘区域划分不够清晰,也不利于图像分割。
为了降低缺陷的误检率并提高检测率,去除噪声并充分保留细节,我们设置了噪声消除函数和细节保留函数,并且考虑到红外图像反映的是通过施加热激励后不同区域的温度差异,而温度变化是连续的,因此各区域之间没有明显的轮廓划分,所以我们又引入了一个边缘保持函数,以实现对缺陷的准确分割。在设置噪声消除函数时,通过设置模糊因子充分考虑红外图像的邻域信息尽可能地消除噪声像素点对红外图像分割的影响,但是红外图像受到噪声影响较大,在噪声消除效果不好时,可能会出现相似的两类缺陷分为一类、将噪声和边界分为一类的情况,故我们引入了一个衡量类间离散度的函数,能够灵活调整各类别聚类中心之间的距离,来解决相似性较小的不同缺陷类别之间的像素点难以区分的问题。在设置细节保留函数时,为了保留更多的缺陷细节信息,需要分割后图像的紧致性小且分离性大,并且为了增强微小缺陷信息,这里考虑到邻域像素点和中心像素点位置和颜色之间的相关性,引入了一个相关性系数,如果邻域像素与中心像素的相关性较大,则在目标函数中考虑该像素的信息,如果邻域像素与中心像素的相关性较小,则在目标函数中不考虑该像素的信息。在设置边缘保持函数时,利用局部梯度信息,通过计算边缘像素来对红外图像进行边缘修订,准确分割的关键是邻域像素对中心像素的影响程度,因此这里基于像素灰度差的相关性来计算邻域像素对中心像素的影响程度,相关性大的,说明该邻域像素和中心像素属于同一类,并通过放大邻域像素对中心像素隶属度的影响来增强缺陷边缘信息,从而提高图像分割效果。
设置了实现三个分割性能的目标函数后,新的问题是如何调整三个目标函数的权重系数,使得其构成的分割目标函数具有最好的分割性能。本发明采用了双层分割模型,第一层通过多目标优化算法求得各目标函数的权重系数;第二层利用求得的权重系数构造分割目标函数实现红外图像分割。
在求解各目标函数的权重系数时,我们在经过处理后得到的包含完整缺陷信息的低质红外图像中,利用多目标算法,通过权重向量将多目标优化问题分解为若干个标量子问题,每个子问题的权重向量的分量能够反映每个目标函数对分割目标函数重要程度。为了在空间中选择最合适的权重系数,本发明在多目标算法迭代求解的过程中结合权重向量调整,在调整权重向量时,考虑到稀疏数据会导致部分缺陷特征缺失,不能反映某些维度目标函数的分割性能,考虑到像素点的空间信息,用马氏距离来定义数据的稀疏度水平大小,基于像素点的稀疏度水平大小来调整权重向量,在低质红外图像中搜索得到最能反映每个目标函数的重要程度的权重系数。在低质红外图像中搜索得到权重系数后,再回到全像素红外图像中,根据求解权重系数得到的分割目标函数进行图像分割。
本发明基于多目标优化分割的缺陷检测,使用红外热像仪记录被测对象表面温度场变化,满足原位、非接触的无损检测需求,通过对红外热图像序列进行分析处理,满足对复杂缺陷高精度检测和识别需求。算法使用变换行列步长的方式对红外热图像序列进行采样,获得具有典型温度变化特征的瞬态热响应曲线构成的数据集,提高后续数据分类的速度。利用FCM算法得到个像素点与聚类中心的隶属度,对比隶属度大小对数据集中每一瞬态热响应曲线进行分类,并选取分类后的典型热响应曲线进行红外热图像重建,获得缺陷重构图像。在此基础上,本发明进一步利用多目标优化理论进行红外重构图像中的缺陷分割,针对噪声问题和边缘模糊问题分别构造合适的目标函数以提高分割的精度,既保证了缺陷的检测率高同时也降低了误检率,从而有效提取出重构图像中的损伤缺陷区域,以便于复杂缺陷的量化研究。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷,并提供至少后面将说明的优点。
为了实现根据本发明的这些目的和其它优点,提供了一种航空航天复合材料损伤检测图像的分割强化方法,包括以下步骤:
步骤一、对采集到的试件红外数据在提取有效信息后,按照缺陷类型对其进行分类并提取每类缺陷的典型瞬态热响应;
步骤二、将选择出的典型瞬态热响应构成变换矩阵,获得红外重构图像;
步骤三、对重构得到的K张大小为M×N的红外图像,计算像素其变异系数,通过测量邻域像素与中心像素的同质性,将最能突出的像素采样出来,获得K张包含了完整缺陷信息的含有Kn个像素点的低质红外重构图像;
步骤四、在经过处理得到每张红外重构图像的相应的包含完整缺陷信息的含有Kn个像素点的低质红外重构图像中,利用多目标衡量去除噪声、保留细节、保持边缘三个方面的分割性能,求取各个分割性能的权重系数以构建分割目标函数;在噪声去除、保留细节及保持边缘三种目的指导下构建红外图像分割函数;
步骤五、构建双层分割模型的第一层,双层分割模型的第一层为权重系数确定层,在提取出来包含完整的缺陷信息的低质红外重构图像中,采用多目标优化算法权衡设置的三个目标函数,设置多目标优化问题;多目标优化算法结合权重向量获得实现各个分割性能的目标函数的权重系数,具体步骤包括:
步骤S51、多目标优化算法参数初始化;获取Kn个均匀分布的权重向量,并计算每个权重向量最近的T个权重向量;在满足多目标优化问题的可行空间采样产生初始种群;初始化多目标优化函数;采用基于切比雪夫的分解模型分解子问题;设置外部种群EP为空集;
步骤S52、进化多目标优化算法,更新种群中的个体;根据马氏距离定义稀疏度水平大小,基于稀疏度水平大的个体调整权重向量;
步骤S53、选择权衡解,获得实现去除噪声、保留细节、保持边缘函数分割性能的权重系数;
步骤六、构建全像素红外图像分割目标函数,将步骤五求得的权重系数输入到双层分割模型的第二层,双层分割模型第二层为图像分割层,利用双层分割模型对重构得到的像素点个数为M×N的全像素红外图像进行图像分割;
步骤七、根据步骤六中构建的全像素红外图像分割目标函数已经求取的隶属度、聚类中心更新公式,输入算法终止判断的阈值和最大迭代次数,在图像分割层实现红外全像素图像分割,得到试件缺陷的分割图像。
优选的是,其中,所述步骤一的具体方法包括:对采集到的试件d维红外热图像序列S(m,n,:),采用分块分步长的方式提取有效的瞬态热响应,其中m和n分别表示三维矩阵的第m行和第n列,第三个维度表示红外热图像的帧数;对提取出的有效瞬态热响应根据缺陷类型K,对其划分为K个区域,从划分好的各类缺陷区域中提取最能代表当前类别缺陷特征的典型瞬态热响应。
优选的是,其中,所述步骤二获得红外重构图像的方法为:由步骤一提取出的K个d维典型瞬态热响应,获得维度为d×K的线性变化矩阵H1,将S(m,n,:)由三维矩阵化为二维矩阵,即对红外热视频中每一帧图像向量化,将每一帧图像矩阵按列取值并排列后得到包含一帧的像素点温度信息的向量且作为新矩阵的行向量,构建出一个新的二维矩阵P(x,y)a×b,a=d,b=M×N;用矩阵H1对P进行线性变换,即其中为矩阵H1的K×d维伪逆矩阵。将二维图像矩阵O再按行取值构成原图像尺寸大小的二维图像,得到K张大小为M×N的红外重构图像。
优选的是,其中,所述步骤四在噪声去除、保留细节及保持边缘三种目的指导下构建的红外图像分割函数为:
f4(v)=ω1·f1(v)+ω2·f2(v)+ω3·f3(v)
其中,ω1、ω2、ω3分别为三个目标函数的权重系数;
步骤S41、f1(v)为解决噪声问题的单目标噪声去除函数SGNS;在FCM算法中引入模糊因子,利用重构图像邻域窗内像素点间的欧氏距离dij来确定像素点间的空间约束关系的基础上,针对差异不大的相近类别之间难以区分的问题再引入一个类间离散度度量函数,设计的f1(v)表达式下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,是以像素xi为中心大小为r×r的邻域窗,xj则为红外重构图像中心像素xi的邻域像素,m∈[1,∞)为平滑参数,是红外重构图像中的像素xi与聚类中心vt的高斯径向基相似度测量函数, 是新的加权模糊因子,表示像素xi领域内第j个像素关于聚类中心vt的加权模糊因子,满足其中空间距离约束ζdc满足空间灰度约束ζgc满足其中,Vj=Var(Mi)/[Mean(Mi)]2表示像素xj的r×r邻域内所有像素点;
Mi的方差与均方的比值,εij为邻域像素点xj与中心像素点xi应均方差在核空间投影的值,即,常数2用以增强邻域像素点对中心像素点的抑制作用;ηt为类间离散度参数,vt为聚类中心代表当前类别像素点的温度均值,为红外图像中所有像素点的温度均值。函数f1(v)需要满足:利用拉格朗日乘数法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt更新公式为:
步骤S42、f2(v)为解决细节保留问题的单目标细节保留函数SGDR;考虑图像局部空间信息能进一步指导图像像素的分割,有利于解决边缘模糊的问题,并引入一个衡量像素位置及像素的颜色的相关系数mij。构造细节保留函数f2(v)如下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,vt是聚类中心,uti是像素点xi对聚类中心vt的隶属度,m∈[1,∞)为平滑参数,δi表示局部空间信息,Ni是以第i个像素为中心的邻域窗内像素的集合,xa是Ni里第a个像素,表示邻域像素xi与中心像素vt的相关性,记像素xi和vt的空间坐标分别为(xim,yin)、(vtm,vtn),灰度值分别为g(xi)、g(vt),则有λs是空间尺度的影响因子,λg是灰度尺度影响因子,为以像素xi为中心的邻域像素的平均灰度方差,是邻域像素集合Ni中的像素个数;函数f2(v)需要满足:利用拉格朗日乘数法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt的更新公式为:
步骤S43、f3(v)为解决边缘保持问题的单目标边缘保持函数SOEM;为了获得准确的分割结果,在目标函数中引入一个根据灰度级进行分割的边缘保持函数,并且为了加强边缘信息,引入了一个放大函数Ati放大邻域像素xi对中心像素vt隶属度的影响,构造边缘保持函数f3(v)如下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,n表示像素点的灰度值,uti表示灰度值为n的像素点xi关于当前聚类中心vt的隶属度,m∈[1,∞)为平滑参数,Un为红外图像灰度级数目,Nn为灰度值为n的像素点个数,为含有Kn个像素点的低质图像中的像素点;Ni是以像素xi为中心的邻域像素集合,是集合Ni中的像素点个数,g(xi)和g(xj)分别表示像素点xi和其邻域像素xj的灰度值,为邻域像素集合Ni中的像素xj与中心像素xi的平均灰度差。函数f3(v)需要满足:利用拉格朗日数乘法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt的更新公式为:
由此完成了红外图像分割函数的构建。
优选的是,其中于,所述步骤五设置的多目标优化问题如下式所示:
minF(ν)=[f1(ν),f2(v),f3(v)]T
s.t v=(v1,…,vc)T
其中,c为分类数目,v=(v1,…,vc)T表示一组候选聚类中心;利用权重向量将多目标优化问题分解为若干个标量子问题,每个子问题的权重向量的分量能够反映每个目标函数对分割目标函数重要程度;
多目标算法在像素点个数为Kn的低质红外重构图像中求取各个目标函数的权重系数的具体步骤如下:
步骤S51、多目标优化算法参数初始化,具体包括:
步骤S511、多目标优化的目标函数F(v),最大迭代次数gmax,阈值ζ、ε;种群大小Kn;每个邻域中权重向量的个数T;
步骤S515、采用基于切比雪夫的分解模型分解子问题,其中第j个子问题为:
步骤S516、设置外部种群EP为空集;
步骤S52、进行多目标优化算法更新;当小于最大迭代次数gmax的时候,每次迭代L次更新权重向量一次,即mod(g,L)=0时,先进入步骤S521调整权重向量,在进行步骤S522更新个体;否则直接转入步骤S522更新个体;
步骤S521、调整权重向量,具体包括:
步骤S5213、删除权重向量λn,插入新的权重向量λnew:
其中,λnew=(λ1,λ2,λ3);
其中,Σ-1为λnew和λj协方差矩阵;
根据当前隶属度计算新聚类中心:
步骤S522、更新种群中的个体,具体包括:
步骤S5221、复制:从B(i)中随机选取两个序号k,l,运用差分进化算法由sk,sl产生一个对于图像分割多目标问题新的解e;
步骤S5222、改进:对e进行图像分割多目标优化问题中所提出的约束条件处理产生e′;
步骤S523、更新参考点f*:若参考点的数值f*<f*(e'),则f*=f*(e');
步骤S524、更新邻域解:根据Tchebycheff的数学表达式若gte(e'|λj,f*)≤gte(sj|λj,f*),j∈B(i),则sj=e′,,FVi=F(e′);
步骤S525、更新EP:移除所有被F(e′)支配的向量,若F(e′)不被EP里面向量所支配,把e′加入EP;
步骤S53、终止迭代:若满足终止条件g=gmax,输出EP得到最优即得到使图像分割多目标问题达到最优聚类中心集,否则增加迭代次数g=g+1转到步骤S52。
优选的是,其中,所述步骤六构建全像素红外图像分割目标函数的具体步骤包括:将步骤五求得的权重系数,输入到双层分割模型的第二层,双层分割模型的第二层为图像分割层,利用分割模型对重构得到的像素点个数维M×N的全像素红外图像进行图像分割;
在双层分割模型的第二层中,针对红外热图像的像素点个数为M×N的全像素图像有如下的优化函数:
在求解这个目标函数时,由于细节保留函数f2(v)中的分离性度量不含有像素xi关于聚类中心vt的隶属程度uti,故将对以下函数做拉格朗日乘数法下的隶属度函数和聚类中心的求解:
则隶属度的更新公式为:
同时,聚类中心的更新公式为:
全像素红外图像分割目标函数便构建完成。
优选的是,其中,所述步骤七在双层分割模型第二层实现红外全像素图像分割的具体步骤为:
步骤S71、初始化迭代次数t,生成初始聚类中心并计算初始隶属度;
步骤S73、按照公式
更新隶属度;
步骤S74、按照公式
更新聚类中心;
本发明至少包括以下有益效果:本发明提供的航空航天复合材料损伤检测图像的分割强化方法通过红外热图像序列数据中温度点最大值进行列向搜索比较获得变换列步长,同时利用瞬态热响应曲线中温度最大值对数据进行分块,获得每个数据块的变换行步长,使用变换列步长和变换行步长进行采样获得具有含有典型温度变化的瞬态热响应曲线构成的采样数据集,使用FCM算法,得到了采样数据集分类的隶属度。利用隶属度对数据集中每一瞬态热响应曲线进行分类,并利用分类后的典型热响应曲线进行重构缺陷图像。构造双层多目标优化的热图像分割框架,实现缺陷的精准分割。
同时,本发明航空航天复合材料损伤检测图像的分割强化方法,还具有以下有益效果:
(1)、本发明提出的双层多目标优化的热图像分割框架将多目标理论引入,针对需要被解决的三个目标问题分别建立目标函数,针对性地解决分割问题,使获得的分割图像是三者的权衡,分割获得的结果图像兼具噪声消除、细节保留和边缘保持三种性能。为了在空间中选择最合适的权重系数,本发明在多目标算法迭代求解的过程中结合权重向量调整,在调整权重向量时,考虑到稀疏数据会导致部分缺陷特征缺失,不能反映某些维度目标函数的分割性能,考虑到像素点的空间信息,用马氏距离来定义数据的稀疏度水平大小,基于像素点的稀疏度水平大小来调整权重向量,在低质红外图像中搜索得到最能反映每个目标函数的重要程度的权重系数。在低质红外图像中搜索得到权重系数后,再回到全像素红外图像中,根据求解权重系数得到的分割目标函数进行图像分割。
(2)、本发明提出的双层分割模型,能够在保证分割质量的前提条件下,解决由多目标算法本身、实验采集到的红外数据量庞大造成的计算效率低下的问题。
(3)本发明提出的双层多目标优化的热图像分割框架不用重复计算噪声消除、细节保留和边缘保持三者对应的目标函数的权重系数,适用性更强。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明:
图1为本发明航空航天复合材料损伤检测图像的分割强化方法流程图;
图2为本发明实施例中多目标优化问题求解后得到的PF面图;
图3为本发明实施例中复合材料撞击坑背景区域的TTR曲线;
图4为本发明实施例中复合材料撞击坑背景区域TTR曲线对应的红外重构图像;
图5为本发明实施例中复合材料撞击坑边缘的TTR曲线;
图6为本发明实施例中复合材料撞击坑边缘TTR曲线对应的红外重构图像;
图7为本发明实施例中复合材料撞击坑内部的TTR曲线;
图8为本发明实施例中复合材料撞击坑内部TTR曲线对应的红外重构图像;
图9为本发明实施例复合材料撞击坑边缘重构图像缺陷分割结果图;
图10为本发明实施例复合材料撞击坑内部重构图像缺陷分割结果图。
具体实施方式:
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
如图1所示:本发明的一种航空航天复合材料损伤检测图像的分割强化方法,包括以下步骤:
步骤一、对采集到的试件红外数据在提取有效信息后,按照缺陷类型对其进行分类并提取每类缺陷的典型瞬态热响应;
步骤二、将选择出的典型瞬态热响应构成变换矩阵,获得红外重构图像;
步骤三、对重构得到的K张大小为M×N的红外图像,计算像素其变异系数,通过测量邻域像素与中心像素的同质性,将最能突出的像素采样出来,获得K张包含了完整缺陷信息的含有Kn个像素点的低质红外重构图像;
步骤四、在经过处理得到每张红外重构图像的相应的包含完整缺陷信息的含有Kn个像素点的低质红外重构图像中,利用多目标衡量去除噪声、保留细节、保持边缘三个方面的分割性能,求取各个分割性能的权重系数以构建分割目标函数;在噪声去除、保留细节及保持边缘三种目的指导下构建红外图像分割函数;
步骤五、构建双层分割模型的第一层,双层分割模型的第一层为权重系数确定层,在提取出来包含完整的缺陷信息的低质红外重构图像中,采用多目标优化算法权衡设置的三个目标函数,设置多目标优化问题;多目标优化算法结合权重向量获得实现各个分割性能的目标函数的权重系数,具体步骤包括:
步骤S51、多目标优化算法参数初始化;获取Kn个均匀分布的权重向量,并计算每个权重向量最近的T个权重向量;在满足多目标优化问题的可行空间采样产生初始种群;初始化多目标优化函数;采用基于切比雪夫的分解模型分解子问题;设置外部种群EP为空集;
步骤S52、进化多目标优化算法,更新种群中的个体;根据马氏距离定义稀疏度水平大小,基于稀疏度水平大的个体调整权重向量;
步骤S53、选择权衡解,获得实现去除噪声、保留细节、保持边缘函数分割性能的权重系数;
步骤六、构建全像素红外图像分割目标函数,将步骤五求得的权重系数输入到双层分割模型的第二层,双层分割模型第二层为图像分割层,利用双层分割模型对重构得到的像素点个数为M×N的全像素红外图像进行图像分割;
步骤七、根据步骤六中构建的全像素红外图像分割目标函数已经求取的隶属度、聚类中心更新公式,输入算法终止判断的阈值和最大迭代次数,在图像分割层实现红外全像素图像分割,得到试件缺陷的分割图像。
在上述技术方案中,所述步骤一的具体方法包括:对采集到的试件d维红外热图像序列S(m,n,:),采用分块分步长的方式提取有效的瞬态热响应,其中m和n分别表示三维矩阵的第m行和第n列,第三个维度表示红外热图像的帧数;对提取出的有效瞬态热响应根据缺陷类型K,对其划分为K个区域,从划分好的各类缺陷区域中提取最能代表当前类别缺陷特征的典型瞬态热响应。
在上述技术方案中,所述步骤二获得红外重构图像的方法为:由步骤一提取出的K个d维典型瞬态热响应,获得维度为d×K的线性变化矩阵H1,将S(m,n,:)由三维矩阵化为二维矩阵,即对红外热视频中每一帧图像向量化,将每一帧图像矩阵按列取值并排列后得到包含一帧的像素点温度信息的向量且作为新矩阵的行向量,构建出一个新的二维矩阵P(x,y)a×b,a=d,b=M×N;用矩阵H1对P进行线性变换,即其中为矩阵H1的K×d维伪逆矩阵。将二维图像矩阵O再按行取值构成原图像尺寸大小的二维图像,得到K张大小为M×N的红外重构图像。
在上述技术方案中,缺陷的红外重构图像受复杂能量来源、成像链路、试件表面杂质等带来的背景噪声大,红外重构图像颜色信息弱,对比度差的问题,使得一般分割方式不能获得良好的分割结果。为了利用实现含有M×N个像素的红外重构图像x=(x1,…,xMN)进行背景区域与缺陷区域的准确分离,本发明在经过处理得到每张红外重构图像的相应的包含完整缺陷信息的含有Kn个像素点的低质红外重构图像中,利用多目标衡量去除噪声、保留细节、保持边缘三个方面的分割性能,求取各个分割性能的权重系数以构建分割目标函数。在噪声去除、保留细节及保持边缘三种目的指导下构建以下红外图像分割函数:
f4(v)=ω1·f1(v)+ω2·f2(v)+ω3·f3(v)
其中,ω1、ω2、ω3分别为三个目标函数的权重系数;
步骤S41、f1(v)为解决噪声问题的单目标噪声去除函数SGNS;在FCM算法中引入模糊因子,利用重构图像邻域窗内像素点间的欧氏距离dij来确定像素点间的空间约束关系的基础上,针对差异不大的相近类别之间难以区分的问题再引入一个类间离散度度量函数,设计的f1(v)表达式下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,是以像素xi为中心大小为r×r的邻域窗,xj则为红外重构图像中心像素xi的邻域像素,m∈[1,∞)为平滑参数,是红外重构图像中的像素xi与聚类中心vt的高斯径向基相似度测量函数, 是新的加权模糊因子,表示像素xi领域内第j个像素关于聚类中心vt的加权模糊因子,满足其中空间距离约束ζdc满足空间灰度约束ζgc满足其中,Vj=Var(Mi)/[Mean(Mi)]2表示像素xj的r×r邻域内所有像素点;
Mi的方差与均方的比值,εij为邻域像素点xj与中心像素点xi应均方差在核空间投影的值,即,常数2用以增强邻域像素点对中心像素点的抑制作用;ηt为类间离散度参数,vt为聚类中心代表当前类别像素点的温度均值,为红外图像中所有像素点的温度均值。函数f1(v)需要满足:利用拉格朗日乘数法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt更新公式为:
步骤S42、f2(v)为解决细节保留问题的单目标细节保留函数SGDR;考虑图像局部空间信息能进一步指导图像像素的分割,有利于解决边缘模糊的问题,并引入一个衡量像素位置及像素的颜色的相关系数mij。构造细节保留函数f2(v)如下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,vt是聚类中心,uti是像素点xi对聚类中心vt的隶属度,m∈[1,∞)为平滑参数,δi表示局部空间信息,Ni是以第i个像素为中心的邻域窗内像素的集合,xa是Ni里第a个像素,表示邻域像素xi与中心像素vt的相关性,记像素xi和vt的空间坐标分别为(xim,yin)、(vtm,vtn),灰度值分别为g(xi)、g(vt),则有λs是空间尺度的影响因子,λg是灰度尺度影响因子,为以像素xi为中心的邻域像素的平均灰度方差,是邻域像素集合Ni中的像素个数;函数f2(v)需要满足:利用拉格朗日乘数法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt的更新公式为:
步骤S43、f3(v)为解决边缘保持问题的单目标边缘保持函数SOEM;为了获得准确的分割结果,在目标函数中引入一个根据灰度级进行分割的边缘保持函数,并且为了加强边缘信息,引入了一个放大函数Ati放大邻域像素xi对中心像素vt隶属度的影响,构造边缘保持函数f3(v)如下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,n表示像素点的灰度值,uti表示灰度值为n的像素点xi关于当前聚类中心vt的隶属度,m∈[1,∞)为平滑参数,Un为红外图像灰度级数目,Nn为灰度值为n的像素点个数,为含有Kn个像素点的低质图像中的像素点;Ni是以像素xi为中心的邻域像素集合,是集合Ni中的像素点个数,g(xi)和g(xj)分别表示像素点xi和其邻域像素xj的灰度值,为邻域像素集合Ni中的像素xj与中心像素xi的平均灰度差。函数f3(v)需要满足:利用拉格朗日数乘法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt的更新公式为:
由此完成了红外图像分割函数的构建。
在上述技术方案中,所述步骤五设置的多目标优化问题如下式所示:
minF(ν)=[f1(ν),f2(v),f3(v)]T
s.t v=(v1,…,vc)T
其中,c为分类数目,v=(v1,…,vc)T表示一组候选聚类中心;利用权重向量将多目标优化问题分解为若干个标量子问题,每个子问题的权重向量的分量能够反映每个目标函数对分割目标函数重要程度;
多目标算法在像素点个数为Kn的低质红外重构图像中求取各个目标函数的权重系数的具体步骤如下:
步骤S51、多目标优化算法参数初始化,具体包括:
步骤S511、多目标优化的目标函数F(v),最大迭代次数gmax,阈值ζ、ε;种群大小Kn;每个邻域中权重向量的个数T;
步骤S515、采用基于切比雪夫的分解模型分解子问题,其中第j个子问题为:
步骤S516、设置外部种群EP为空集;
步骤S52、进行多目标优化算法更新;当小于最大迭代次数gmax的时候,每次迭代L次更新权重向量一次,即mod(g,L)=0时,先进入步骤S521调整权重向量,在进行步骤S522更新个体;否则直接转入步骤S522更新个体;
步骤S521、调整权重向量,具体包括:
步骤S5213、删除权重向量λn,插入新的权重向量λnew:
其中,λnew=(λ1,λ2,λ3);
其中,Σ-1为λnew和λj协方差矩阵;
根据当前隶属度计算新聚类中心:
步骤S522、更新种群中的个体,具体包括:
步骤S5221、复制:从B(i)中随机选取两个序号k,l,运用差分进化算法由sk,sl产生一个对于图像分割多目标问题新的解e;
步骤S5222、改进:对e进行图像分割多目标优化问题中所提出的约束条件处理产生e′;
步骤S523、更新参考点f*:若参考点的数值f*<f*(e'),则f*=f*(e');
步骤S524、更新邻域解:根据Tchebycheff的数学表达式若gte(e'|λj,f*)≤gte(sj|λj,f*),j∈B(i),则sj=e′,,FVi=F(e′);
步骤S525、更新EP:移除所有被F(e′)支配的向量,若F(e′)不被EP里面向量所支配,把e′加入EP;
步骤S53、终止迭代:若满足终止条件g=gmax,输出EP得到最优即得到使图像分割多目标问题达到最优聚类中心集,否则增加迭代次数g=g+1转到步骤S52。
在上述技术方案中,所述步骤六构建全像素红外图像分割目标函数的具体步骤包括:将步骤五求得的权重系数,输入到双层分割模型的第二层,双层分割模型的第二层为图像分割层,利用分割模型对重构得到的像素点个数维M×N的全像素红外图像进行图像分割;
在双层分割模型的第二层中,针对红外热图像的像素点个数为M×N的全像素图像有如下的优化函数:
在求解这个目标函数时,由于细节保留函数f2(v)中的分离性度量不含有像素xi关于聚类中心vt的隶属程度uti,故将对以下函数做拉格朗日乘数法下的隶属度函数和聚类中心的求解:
则隶属度的更新公式为:
同时,聚类中心的更新公式为:
全像素红外图像分割目标函数便构建完成。
在上述技术方案中,所述步骤七在双层分割模型第二层实现红外全像素图像分割的具体步骤为:
步骤S71、初始化迭代次数t,生成初始聚类中心并计算初始隶属度;
步骤S73、按照公式
更新隶属度;
步骤S74、按照公式
更新聚类中心;
综上,本发明提出了一种航空航天复合材料损伤检测图像的分割强化方法。变量区间搜索的自动分割方法是为了实现红外视频分割获得待分类数据集,数据集中包含了典型变化特征的温度曲线。FCM算法获得数据集相应的聚类,利用像素点与聚类中心的隶属度进行“软”划分,提高分类结果的可靠性。分类后的每一类数据子集中都含有相应的温度变化特征。利用主要特征对红外热图像序列进行重构由此获得缺陷的红外重构图像,反映出试件的缺陷特征。对于含有突出缺陷的红外重构图像进行目标分割获得的结果图像既能实现噪声消除又能保证细节保留,边缘保持也能提高图像分割的精度。
实施例:
在本实施例中,红外热像仪共采集了502帧像素大小为512×640的图像。即每张图上共有327680个温度点,每个温度点的温度值被记录502次,这种时变的温度条件构成了温度点的瞬态热响应TTR。步骤一在从红外热序列中提取有效瞬态热响应后,再对根据缺陷类型进行区域划分,从划分好的每类区域中,提取典型瞬态热响应。在提取有效瞬态热响应时,设置参数ReCL=0.92,从327680个温度点中提取了包含完整缺陷信息的441个有效瞬态热响应。根据像素点对每类聚类中心的隶属度进行软化分,将103,196和142条热响应曲线划分到相应分类。从每类缺陷区域中提取代表该类缺陷信息的典型瞬态热响应,代表三个缺陷区域的典型瞬态热响应构成矩阵X1。对原二维矩阵P(x,y)502×327680进行线性变换,使用其中,为X1的伪逆矩阵,得到二维图像矩阵O,将二维图像矩阵O再按行取值重构成原图像尺寸大小512×640的二维图像,得到3张大小为512×640的红外重构图像,红外缺陷重构图像及对应的TTR曲线见图3~图8,其中图3和图4分别是撞击坑背景区域的TTR曲线和对应的红外重构图像,图5和图6分别是撞击坑边缘的TTR曲线和对应的红外重构图像,图7和图8分别是撞击坑内部的TTR曲线和对应的红外重构图像。
如图3、图5和图7所示分类出的TTR曲线可观察到不同分类的TTR在温度上升率和温度下降率都有不同的差异,可以根据差异以及红外重构图像颜色的凸显区域来判断重构图像中的表达区域类型,试件的区域类型有背景区域、撞击坑边缘以及撞击坑内部。
本发明中多目标优化分割算法的最大代数设置为200,设置每迭代10次基于个体稀疏度水平大小调整权重向量一次,当迭代次数满足调整权重向量的条件时,先调整权重向量再更新个体。在根据分割性能设置的目标函数中,设置平滑参数m为2,聚类数目c为3。得到如图2所示的得到由帕累托最优集在空间上形成的曲面PF前沿面。从PF前沿面中选择权衡解,其对应的权重向量分量反映每个目标函数的权重系数,根据权重系数构建全像素红外图像分割目标函数模型,实现图像分割,得到分割后的图像如图9和图10所示,其中图9是撞击坑内部红外重构图像的分割结果,图10是撞击坑边缘红外重构图像的分割结果。实验结果证实本文构建的函数SGNS f1(v)、SGDRf2(v)和边缘保持函数SOEMf3(v)分别可以起到抑制噪声、保留细节和保持边缘的作用,将缺陷区域和背景区域准确剥离,实现红外图像的准确分割。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (6)
1.一种航空航天复合材料损伤检测图像的分割强化方法,其特征在于,包括以下步骤:
步骤一、对采集到的试件红外数据在提取有效信息后,按照缺陷类型对其进行分类并提取每类缺陷的典型瞬态热响应;
步骤二、将选择出的典型瞬态热响应构成变换矩阵,获得红外重构图像;
步骤三、对重构得到的K张大小为M×N的红外图像,计算像素其变异系数,通过测量邻域像素与中心像素的同质性,将最能突出的像素采样出来,获得K张包含了完整缺陷信息的含有Kn个像素点的低质红外重构图像;
步骤四、在经过处理得到每张红外重构图像的相应的包含完整缺陷信息的含有Kn个像素点的低质红外重构图像中,利用多目标衡量去除噪声、保留细节、保持边缘三个方面的分割性能,求取各个分割性能的权重系数以构建分割目标函数;在噪声去除、保留细节及保持边缘三种目的指导下构建红外图像分割函数,在噪声去除、保留细节及保持边缘三种目的指导下构建的红外图像分割函数为:
f4(v)=ω1·f1(v)+ω2·f2(v)+ω3·f3(v)
其中,ω1、ω2、ω3分别为三个目标函数的权重系数;
步骤S41、f1(v)为解决噪声问题的单目标噪声去除函数SGNS;在FCM算法中引入模糊因子,利用重构图像邻域窗内像素点间的欧氏距离dij来确定像素点间的空间约束关系的基础上,针对差异不大的相近类别之间难以区分的问题再引入一个类间离散度度量函数,设计的f1(v)表达式下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,是以像素xi为中心大小为r×r的邻域窗,xj则为红外重构图像中心像素xi的邻域像素,m∈[1,∞)为平滑参数,是红外重构图像中的像素xi与聚类中心vt的高斯径向基相似度测量函数, 是新的加权模糊因子,表示像素xi领域内第j个像素关于聚类中心vt的加权模糊因子,满足其中空间距离约束ζdc满足空间灰度约束ζgc满足其中,Vj=Var(Mi)/[Mean(rMi)]2表示像素xj的r×r邻域内所有像素点;
Mi的方差与均方的比值,εij为邻域像素点xj与中心像素点xi应均方差在核空间投影的值,即,常数2用以增强邻域像素点对中心像素点的抑制作用;ηt为类间离散度参数,vt为聚类中心代表当前类别像素点的温度均值,为红外图像中所有像素点的温度均值;函数f1(v)需要满足:利用拉格朗日乘数法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt更新公式为:
步骤S42、f2(v)为解决细节保留问题的单目标细节保留函数SGDR;考虑图像局部空间信息能进一步指导图像像素的分割,有利于解决边缘模糊的问题,并引入一个衡量像素位置及像素的颜色的相关系数mij,构造细节保留函数f2(v)如下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,vt是聚类中心,uti是像素点xi对聚类中心vt的隶属度,m∈[1,∞)为平滑参数,δi表示局部空间信息,Ni是以第i个像素为中心的邻域窗内像素的集合,xa是Ni里第a个像素,表示邻域像素xi与中心像素vt的相关性,记像素xi和vt的空间坐标分别为(xim,yin)、(vtm,vtn),灰度值分别为g(xi)、g(vt),则有λs是空间尺度的影响因子,λg是灰度尺度影响因子,为以像素xi为中心的邻域像素的平均灰度方差,是邻域像素集合Ni中的像素个数;函数f2(v)需要满足:利用拉格朗日乘数法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt的更新公式为:
步骤S43、f3(v)为解决边缘保持问题的单目标边缘保持函数SOEM;为了获得准确的分割结果,在目标函数中引入一个根据灰度级进行分割的边缘保持函数,并且为了加强边缘信息,引入了一个放大函数Ati放大邻域像素xi对中心像素vt隶属度的影响,构造边缘保持函数f3(v)如下式所示:
其中,Kn是低质红外图像中像素点个数,c是聚类数目,n表示像素点的灰度值,uti表示灰度值为n的像素点xi关于当前聚类中心vt的隶属度,m∈[1,∞)为平滑参数,Un为红外图像灰度级数目,Nn为灰度值为n的像素点个数,为含有Kn个像素点的低质图像中的像素点;Ni是以像素xi为中心的邻域像素集合,BNi是集合Ni中的像素点个数,g(xi)和g(xj)分别表示像素点xi和其邻域像素xj的灰度值,为邻域像素集合Ni中的像素xj与中心像素xi的平均灰度差;函数f3(v)需要满足:利用拉格朗日数乘法求得像素xi相对于聚类中心vt的隶属度为
聚类中心vt的更新公式为:
由此完成了红外图像分割函数的构建;
步骤五、构建双层分割模型的第一层,双层分割模型的第一层为权重系数确定层,在提取出来包含完整的缺陷信息的低质红外重构图像中,采用多目标优化算法权衡设置的三个目标函数,设置多目标优化问题;多目标优化算法结合权重向量获得实现各个分割性能的目标函数的权重系数,具体步骤包括:
步骤S51、多目标优化算法参数初始化;获取Kn个均匀分布的权重向量,并计算每个权重向量最近的T个权重向量;在满足多目标优化问题的可行空间采样产生初始种群;初始化多目标优化函数;采用基于切比雪夫的分解模型分解子问题;设置外部种群EP为空集;
步骤S52、进化多目标优化算法,更新种群中的个体;根据马氏距离定义稀疏度水平大小,基于稀疏度水平大的个体调整权重向量;
步骤S53、选择权衡解,获得实现去除噪声、保留细节、保持边缘函数分割性能的权重系数;
步骤六、构建全像素红外图像分割目标函数,将步骤五求得的权重系数输入到双层分割模型的第二层,双层分割模型第二层为图像分割层,利用双层分割模型对重构得到的像素点个数为M×N的全像素红外图像进行图像分割;
步骤七、根据步骤六中构建的全像素红外图像分割目标函数已经求取的隶属度、聚类中心更新公式,输入算法终止判断的阈值和最大迭代次数,在图像分割层实现红外全像素图像分割,得到试件缺陷的分割图像。
2.如权利要求1所述的航空航天复合材料损伤检测图像的分割强化方法,其特征在于,所述步骤一的具体方法包括:对采集到的试件d维红外热图像序列S(m,n,:),采用分块分步长的方式提取有效的瞬态热响应,其中m和n分别表示三维矩阵的第m行和第n列,第三个维度表示红外热图像的帧数;对提取出的有效瞬态热响应根据缺陷类型K,对其划分为K个区域,从划分好的各类缺陷区域中提取最能代表当前类别缺陷特征的典型瞬态热响应。
4.如权利要求1所述的航空航天复合材料损伤检测图像的分割强化方法,其特征在于,所述步骤五设置的多目标优化问题如下式所示:
min F(ν)=[f1(ν),f2(v),f3(v)]T
s.t v=(v1,…,vc)T
其中,c为分类数目,v=(v1,…,vc)T表示一组候选聚类中心;利用权重向量将多目标优化问题分解为若干个标量子问题,每个子问题的权重向量的分量能够反映每个目标函数对分割目标函数重要程度;
多目标算法在像素点个数为Kn的低质红外重构图像中求取各个目标函数的权重系数的具体步骤如下:
步骤S51、多目标优化算法参数初始化,具体包括:
步骤S511、多目标优化的目标函数F(v),最大迭代次数gmax,阈值ζ、ε;种群大小Kn;每个邻域中权重向量的个数T;
步骤S515、采用基于切比雪夫的分解模型分解子问题,其中第j个子问题为:
步骤S516、设置外部种群EP为空集;
步骤S52、进行多目标优化算法更新;当小于最大迭代次数gmax的时候,每次迭代L次更新权重向量一次,即mod(g,L)=0时,先进入步骤S521调整权重向量,在进行步骤S522更新个体;否则直接转入步骤S522更新个体;
步骤S521、调整权重向量,具体包括:
步骤S5213、删除权重向量λn,插入新的权重向量λnew:
其中,λnew=(λ1,λ2,λ3);
其中,Σ-1为λnew和λj协方差矩阵;
根据当前隶属度计算新聚类中心:
步骤S522、更新种群中的个体,具体包括:
步骤S5221、复制:从B(i)中随机选取两个序号k,l,运用差分进化算法由sk,sl产生一个对于图像分割多目标问题新的解e;
步骤S5222、改进:对e进行图像分割多目标优化问题中所提出的约束条件处理产生e′;
步骤S523、更新参考点f*:若参考点的数值f*<f*(e'),则f*=f*(e');
步骤S524、更新邻域解:根据Tchebycheff的数学表达式若gte(e'|λj,f*)≤gte(sj|λj,f*),j∈B(i),则sj=e′,,FVi=F(e′);
步骤S525、更新EP:移除所有被F(e′)支配的向量,若F(e′)不被EP里面向量所支配,把e′加入EP;
步骤S53、终止迭代:若满足终止条件g=gmax,输出EP得到最优即得到使图像分割多目标问题达到最优聚类中心集,否则增加迭代次数g=g+1转到步骤S52。
5.如权利要求4所述的航空航天复合材料损伤检测图像的分割强化方法,其特征在于,所述步骤六构建全像素红外图像分割目标函数的具体步骤包括:将步骤五求得的权重系数,输入到双层分割模型的第二层,双层分割模型的第二层为图像分割层,利用分割模型对重构得到的像素点个数维M×N的全像素红外图像进行图像分割;
在双层分割模型的第二层中,针对红外热图像的像素点个数为M×N的全像素图像有如下的优化函数:
在求解这个目标函数时,由于细节保留函数f2(v)中的分离性度量不含有像素xi关于聚类中心vt的隶属程度uti,故将对以下函数做拉格朗日乘数法下的隶属度函数和聚类中心的求解:
则隶属度的更新公式为:
同时,聚类中心的更新公式为:
全像素红外图像分割目标函数便构建完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110118566.4A CN112819775B (zh) | 2021-01-28 | 2021-01-28 | 一种航空航天复合材料损伤检测图像的分割强化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110118566.4A CN112819775B (zh) | 2021-01-28 | 2021-01-28 | 一种航空航天复合材料损伤检测图像的分割强化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819775A CN112819775A (zh) | 2021-05-18 |
CN112819775B true CN112819775B (zh) | 2022-07-19 |
Family
ID=75859918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110118566.4A Active CN112819775B (zh) | 2021-01-28 | 2021-01-28 | 一种航空航天复合材料损伤检测图像的分割强化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819775B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140474B (zh) * | 2021-11-30 | 2022-06-28 | 哈尔滨理工大学 | 一种多尺度分块贝叶斯图像分割方法 |
CN114419453B (zh) * | 2022-04-01 | 2022-07-01 | 中国人民解放军火箭军工程大学 | 一种基于电磁散射特征与拓扑构型的群目标检测方法 |
CN114817425B (zh) * | 2022-06-28 | 2022-09-02 | 成都交大大数据科技有限公司 | 一种冷热数据分类的方法、装置、设备及可读存储介质 |
CN115330802B (zh) * | 2022-10-17 | 2024-01-19 | 山东大学 | 一种碳纤维复合材料气瓶x射线图像脱粘缺陷提取方法 |
CN115641331B (zh) * | 2022-11-18 | 2023-03-28 | 山东天意装配式建筑装备研究院有限公司 | 一种墙板膜具喷涂效果的智能检测方法 |
CN116091504B8 (zh) * | 2023-04-11 | 2023-09-15 | 重庆大学 | 基于图像处理的连接管连接头质量检测方法 |
CN118015000B (zh) * | 2024-04-09 | 2024-06-21 | 陕西思诺特精密科技有限公司 | 一种基于图像处理的导轨用表面缺陷检测方法 |
CN118349786B (zh) * | 2024-06-14 | 2024-08-20 | 东华理工大学南昌校区 | 一种面向挤压背景下的铀矿模型构建方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8059894B1 (en) * | 2006-12-19 | 2011-11-15 | Playvision Technologies, Inc. | System and associated methods of calibration and use for an interactive imaging environment |
CN104408459A (zh) * | 2014-10-27 | 2015-03-11 | 国家电网公司 | 电力设备监控中使用的图像识别方法 |
CN108765514A (zh) * | 2018-06-06 | 2018-11-06 | 上海交通大学 | 一种ct图像重建的加速方法及装置 |
CN109035166A (zh) * | 2018-07-16 | 2018-12-18 | 国网四川省电力公司巴中供电公司 | 基于非下采样剪切波变换的电气设备红外图像增强方法 |
CN109559309A (zh) * | 2018-11-30 | 2019-04-02 | 电子科技大学 | 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 |
CN109816638A (zh) * | 2019-01-03 | 2019-05-28 | 电子科技大学 | 基于动态环境特征和加权贝叶斯分类器的缺陷提取方法 |
CN110147795A (zh) * | 2019-05-24 | 2019-08-20 | 电子科技大学 | 一种自适应非局部模糊c均值聚类sar图像分割算法 |
CN110689485A (zh) * | 2019-10-14 | 2020-01-14 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
CN111598887A (zh) * | 2020-05-25 | 2020-08-28 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于lvq-gmm算法和多目标优化分割算法的航天器缺陷检测方法 |
KR20200117598A (ko) * | 2019-04-05 | 2020-10-14 | 한화시스템 주식회사 | 적외선 영상을 위한 잡음 제거 장치 |
CN112233099A (zh) * | 2020-10-21 | 2021-01-15 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种可重复使用航天器表面撞击损伤特征识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9743024B2 (en) * | 2015-07-01 | 2017-08-22 | Massachusetts Institute Of Technology | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure |
-
2021
- 2021-01-28 CN CN202110118566.4A patent/CN112819775B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8059894B1 (en) * | 2006-12-19 | 2011-11-15 | Playvision Technologies, Inc. | System and associated methods of calibration and use for an interactive imaging environment |
CN104408459A (zh) * | 2014-10-27 | 2015-03-11 | 国家电网公司 | 电力设备监控中使用的图像识别方法 |
CN108765514A (zh) * | 2018-06-06 | 2018-11-06 | 上海交通大学 | 一种ct图像重建的加速方法及装置 |
CN109035166A (zh) * | 2018-07-16 | 2018-12-18 | 国网四川省电力公司巴中供电公司 | 基于非下采样剪切波变换的电气设备红外图像增强方法 |
CN109559309A (zh) * | 2018-11-30 | 2019-04-02 | 电子科技大学 | 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 |
CN109816638A (zh) * | 2019-01-03 | 2019-05-28 | 电子科技大学 | 基于动态环境特征和加权贝叶斯分类器的缺陷提取方法 |
KR20200117598A (ko) * | 2019-04-05 | 2020-10-14 | 한화시스템 주식회사 | 적외선 영상을 위한 잡음 제거 장치 |
CN110147795A (zh) * | 2019-05-24 | 2019-08-20 | 电子科技大学 | 一种自适应非局部模糊c均值聚类sar图像分割算法 |
CN110689485A (zh) * | 2019-10-14 | 2020-01-14 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
CN111598887A (zh) * | 2020-05-25 | 2020-08-28 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于lvq-gmm算法和多目标优化分割算法的航天器缺陷检测方法 |
CN112233099A (zh) * | 2020-10-21 | 2021-01-15 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种可重复使用航天器表面撞击损伤特征识别方法 |
Non-Patent Citations (2)
Title |
---|
"Multi-target ISAR Imaging Based on Image";Da Xiao et al;《2012 5th International Congress on Image and Signal Processing》;20130225;第1832-1836页 * |
"应用于压力容器红外无损检测的STFT图像拼接方法";杨晓 等;《电子测量与仪器学报》;20191215;第33卷(第12期);第31-40页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112819775A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819775B (zh) | 一种航空航天复合材料损伤检测图像的分割强化方法 | |
CN112818822B (zh) | 一种航空航天复合材料损伤区域自动识别方法 | |
CN111598887B (zh) | 一种基于lvq-gmm算法和多目标优化分割算法的航天器缺陷检测方法 | |
CN112884716B (zh) | 一种超高速撞击损伤区域特征强化方法 | |
CN106203523B (zh) | 基于梯度提升决策树半监督算法融合的高光谱图像分类方法 | |
CN108537102B (zh) | 基于稀疏特征与条件随机场的高分辨sar图像分类方法 | |
CN112784847B (zh) | 一种超高速撞击损伤检测图像的分割识别方法 | |
Xie et al. | SRUN: Spectral regularized unsupervised networks for hyperspectral target detection | |
CN113392931B (zh) | 基于自监督学习及多任务学习的高光谱开放集分类方法 | |
CN108229551B (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
CN112233099B (zh) | 一种可重复使用航天器表面撞击损伤特征识别方法 | |
CN112215830B (zh) | 一种航天防热材料撞击损伤特征类型判读方法 | |
CN105760877A (zh) | 一种基于灰度共生矩阵模型的羊毛羊绒识别算法 | |
CN110414616B (zh) | 一种利用空间关系的遥感图像字典学习分类方法 | |
CN111273288B (zh) | 一种基于长短期记忆网络的雷达未知目标识别方法 | |
CN109558803B (zh) | 基于卷积神经网络与np准则的sar目标鉴别方法 | |
CN115393631A (zh) | 基于贝叶斯层图卷积神经网络的高光谱图像分类方法 | |
CN113781445A (zh) | 一种多区域复杂损伤缺陷特征提取融合方法 | |
CN105160666A (zh) | 基于非平稳分析与条件随机场的sar图像变化检测方法 | |
CN110837787B (zh) | 一种三方生成对抗网络的多光谱遥感图像检测方法及系统 | |
CN112906713B (zh) | 一种航空航天复合材料损伤可视化特征提取方法 | |
CN109872319B (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
Hong et al. | Random forest fusion classification of remote sensing PolSAR and optical image based on LASSO and IM factor | |
Ye | Objective assessment of nonlinear segmentation approaches to gray level underwater images | |
Ensafi et al. | Sparse non-parametric bayesian model for hep-2 cell image classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |