CN111340754A - 一种基于飞机蒙皮表面缺陷检测和分类的方法 - Google Patents
一种基于飞机蒙皮表面缺陷检测和分类的方法 Download PDFInfo
- Publication number
- CN111340754A CN111340754A CN202010058064.2A CN202010058064A CN111340754A CN 111340754 A CN111340754 A CN 111340754A CN 202010058064 A CN202010058064 A CN 202010058064A CN 111340754 A CN111340754 A CN 111340754A
- Authority
- CN
- China
- Prior art keywords
- image
- view
- resolution
- measurement
- aircraft skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000007547 defect Effects 0.000 title claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000000053 physical method Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000005065 mining Methods 0.000 claims abstract description 5
- 230000001133 acceleration Effects 0.000 claims abstract description 4
- 230000007797 corrosion Effects 0.000 claims description 15
- 238000005260 corrosion Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 206010040840 Skin erosion Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000037380 skin damage Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于飞机蒙皮表面缺陷检测和分类的方法，包括以下步骤：对图像进行多视角超分辨率重建预处理，将空间上不同相机所拍的图像信息融合，获取分辨率更高的图像；特征提取，基于多视角测量来获取缺陷的物理测量特征，采用通过GPU加速对卷积神经网络(CNN)进行训练和加速来挖掘能表征飞机蒙皮缺陷的深度特征；特征融合和分类识别，基于多模态加权组合的SVM模型进行数据融合和分类。本发明开展了飞机蒙皮检测技术的研究，针对飞机蒙皮表面缺陷开展图像监测与识别，以实现非接触、无破坏的精确测量，对多模态测量数据进行融合、提取并加以分类，自动识别缺陷类型，为实现飞机精确化维护管理提供一条新途径。
Description
技术领域
以飞机蒙皮为研究对象，建立其缺陷检测和分类的技术体系，并进行实例分析研究。
背景技术
飞机蒙皮的作用是维持飞机外形，使之具有很好的空气动力特性。蒙皮承受空气动力作用后将作用力传递到相连的机身机翼骨架上，受力复杂，加之蒙皮直接与外界接触，所以不仅要求蒙皮材料强度高、塑性好，还要求表面光滑，有较高的抗蚀能力。
飞机蒙皮缺陷主要可分为三大类：分别为裂纹，腐蚀和意外损伤。飞机每一次起降都会使蒙皮出现周期性膨胀和收缩，在这种交变作用力的持续作用下，飞机表面的铆钉周围的材料极易产生微小的疲劳裂纹。当裂纹扩展至临界裂纹长度后，会快速失稳扩展，最后导致结构断裂破坏，这也是造成飞机空难的主要因素之一。典型的蒙皮裂纹如图1(b)所示。腐蚀的产生主要是由于两种不同的金属之间存在导电介质(如液体、潮气)，在微电流的作用下，正极金属逐渐消耗的过程。特别对于经常在沿海地区执行任务的军用飞机，高温、高湿、高盐的恶劣环境加速了对飞机蒙皮的腐蚀。严重的腐蚀会增加飞机维修的工作量，有时候甚至造成飞机长时间停场修理。图1(c)是典型的飞机蒙皮腐蚀。蒙皮的意外损伤是指由于飞机在飞行过程和维护过程中由于不可预料的因素引起的损伤，比如鸟类撞击产生的凹坑和行驶中出现的划痕等。虽然这类缺陷出现随机，仍需在飞机维护期间进行严格的检测。典型意外损伤如图1(d)所示。
机器视觉是用机器代替人眼，将被拍摄结果转换成图像信号传给图像处理系统，并做出判断和测量。一个典型的工业机器视觉系统包括：光源、图像采集系统、数字图像处理模块、智能判断决策模块、监视器和通讯输入、输出单元等。对于飞机蒙皮的机器视觉检测而言，需要设计图像采集装置来实现飞机蒙皮表面图像的实时采集，并通过传输模块将采集信号传回地面监控站，由数字图像处理模块进行处理，并通过图像识别算法对采集的图像进行预处理、特征提取以及分类识别等，最后根据识别结果做出决策。这其中，完成对数字图像的处理在整个系统中起了决定性的作用。首先，由于外部环境，在采集和传输过程中图像会受到噪声影响。为了提升图像质量，需要对图像进行预处理工作；其次，为了实现对蒙皮缺陷类型的划分，需要对图像的纹理特征、形状特征等进行特征提取；提取特征以后，要实现多种特征量的融合，并运用分类算法进行缺陷识别；最后需要完成对特定缺陷的定量测量。整个过程包括了多种图像识别技术手段，虽然每个对应技术都有相对成熟的方法，但如何找到最适合飞机蒙皮图像检测的算法，如何使整个检测过程效果达到最优，如何提升缺陷检测的效率和精确度，仍是一个值得研究的问题。
发明内容
有鉴于此，本发明的目的在于一种飞机蒙皮表面缺陷检测和分类的方法，通过对图像进行多视角超分辨率重建预处理，提出把多视角超分辨率问题转换成一个多图像去模糊问题，其产生的子问题能被ADMM算法有效解决。通过多视角测量技术和CNN分别得到历史表面损伤图像的物理测量特征和深度特征，从而训练出混合核函数SVM分类器能对这些多模态数据进行融合和分类的能力。最后对在线监控的关键金属构件表面状态图像，在经历图像预处理，特征提取后，利用训练好的混合核函数SVM分类器就能准确进行飞机蒙皮缺陷分类。
基于上述目的，本发明提供的一种基于飞机蒙皮表面缺陷检测和分类的方法，包括以下步骤：
1)对图像进行多视角超分辨率重建预处理，将空间上不同相机所拍的图像信息融合，获取分辨率更高的飞机蒙皮缺陷图像；
2)特征提取，基于多视角测量来获取飞机蒙皮缺陷图像的物理测量特征，采用通过GPU加速对卷积神经网络(CNN)进行训练和加速来挖掘能表征飞机蒙皮缺陷的深度特征；
3)特征融合和分类识别，基于多模态加权组合的SVM模型将基于CNN提取的深度特征进行池化后得到的深度特征和基于多视角测量来获取缺陷的物理测量特征通过进行数据融合和分类。
优选地，所述步骤1具体过程为：所述步骤1具体过程为：利用提出的超分辨模型将多视角超分辨率(multi-view super-resolution,MVSR)问题转变成一个多视角去模糊(muti-view deblurring,MVBD)问题，其中所述提出的超分辨率模型用数学公式可描述为：
yk＝FkDHku+nk，k＝1,2，L，l
其中yk是第k个视角所得到的低分辨率图像，l为低分辨率图像的总数，u 为目标超高分辨率图像，D是下采样矩阵，Hk代表模糊矩阵，Fk代表低分辨率图像位移矩阵，nk代表噪声；其中所述视角去模糊问题可表示为：
gk＝Hku+sk
其中
最后得到最终需要优化的目标函数：
其中γ是优化参数，P(u)为反映图像先验知识的正则化项(如全变分)， Q(hk)为约束模糊核的正则化项，对未知模糊核和需估计的高分辨率图像进行迭代优化，运用交替乘子法(alternating direction method of multipliers,ADMM) 可以有效地完成对目标函数的求解，得到高分辨率图像。
优选地，所述基于多视角测量来获取缺陷的物理测量特征的具体过程为：首先需要完成监测多目视觉系统的标定，可采用张正友标定法或平板视差法；对于裂纹的长度，采用链条编码或树形模型方法进行计算测量。对于裂纹的宽度，首先需要计算得到裂纹的轮廓，定义宽度的实际意义，随后可以采用欧氏距离变换方法进行计算；对于腐蚀面积的测量，需要实现图像的分割，将正常表面和腐蚀表面分开来，通过对像素面积的计算，实现对实际腐蚀面积的计算。
优选地，所述多模态加权组合的SVM模型的构建的具体过程为：首先对单一模态训练最优混合核函数SVM子分类器，仅需要小样本的训练集，且性能优于单一高斯核函数。然后优化选择SVM模型子分类器权重系数，针对各个模态突出的差异信息不同，选择的特征信息和支持向量各有侧重，重点聚焦错分数据点，得到多模态加权组合的SVM分类器模型。
与现有技术相比，本发明以下优点和有益效果：本发明提出的一种飞机蒙皮表面缺陷检测和分类的方法提高了飞机蒙皮表面缺陷的识别准确率和增强分类的性能。
附图说明
图1(a)为正常蒙皮；
图1(b)为裂纹；
图1(c)为腐蚀；
图1(d)为意外损失；
图2为本发明飞机蒙皮表面状态多模态融合和分类过程示意图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
如图2所示，本发明提供的一种基于飞机蒙皮表面缺陷检测和分类的方法，包括以下步骤：
1)对图像进行多视角超分辨率重建预处理，将空间上不同相机所拍的图像信息融合，获取分辨率更高的飞机蒙皮缺陷图像；
2)特征提取，基于多视角测量来获取飞机蒙皮缺陷图像的物理测量特征，采用通过GPU加速对卷积神经网络(CNN)进行训练和加速来挖掘能表征飞机蒙皮缺陷的深度特征；
3)特征融合和分类识别，基于多模态加权组合的SVM模型将基于CNN提取的深度特征进行池化后得到的深度特征和基于多视角测量来获取缺陷的物理测量特征通过进行数据融合和分类。
优选地，多视角图像超分辨率重建技术是由多个摄像机已经获取的低分辨率图像来重新构造一幅或多幅高分辨率图像。它在不改变成像系统硬件设备的情况下，用软件方法提高输出图像的分辨率，在缺陷图像的预处理阶段能发挥很大作用。
多视角图像超分辨率重建技术是利用多个摄像机获取的低分辨率图像来重新构造一幅或多幅高分辨率图像，其原理就是把空间上不同摄像机所拍的图像信息融合，从而得到更高分辨率的图像。它在不改变成像系统硬件设备的情况下，用软件方法提高输出图像的分辨率，在图像预处理阶段能发挥很大作用。例如，在用多摄像头监控飞机蒙皮时，首先就要进行多视角超分辨率重建，来得到高质量的金属表面缺陷图像。
传统的多视角图像超分辨率数学模型记为：
yk＝DHkWku+nk,k＝1,2,L,l (1)
其中，yk是第k个视角所得到的低分辨率图像，u为目标超高分辨率图像， D是下采样矩阵，Hk代表模糊矩阵，Wk代表高分辨率图像间的位移矩阵，nk代表噪声。因为DHkWk是一个列多于行的矩阵，其求解是一个病态问题，需要添加正则化项进行限制优化。
公式(1)所示为传统的超分辨率重建的前向模型。在实际求解过程中，对于Wk的计算通常是经过对多视角低分辨率图像运用匹配算法(如光流法、投影法等)得到。这与公式(1)中定义的Wk(高分辨率图像的位移)不符。因此我们拟采用一种新型的超分辨率模型。用数学公式可描述为：
yk＝FkDHku+nk (2)
其与传统模型的区别主要在于，用低分辨率图像位移矩阵Fk取代了高分辨率图像位移矩阵Wk，并调整了计算顺序。
提出的模型的另外一个优点在于，可以将多视角超分辨率(multi-view super-resolution,MVSR)问题转变成一个多视角去模糊(muti-view deblurring, MVBD)问题：
gk＝Hku+sk (3)
其中
这样所获得的信息相对于传统模型更多(gk长度大于yk)，求解可以更精确。此时，可以得到最终需要优化的目标函数：
其中γ是优化参数，P(u)为反映图像先验知识的正则化项(如全变分)， Q(hk)为约束模糊核的正则化项。对未知模糊核和需估计的高分辨率图像进行迭代优化，运用交替乘子法(alternating direction method of multipliers,ADMM) 可以有效地完成对目标函数的求解，得到高分辨率图像。
优选地，所述基于多视角测量来获取缺陷的物理测量特征的具体过程为：首先需要完成监测多目视觉系统的标定，可采用张正友标定法或平板视差法；对于裂纹的长度，采用链条编码或树形模型方法进行计算测量。对于裂纹的宽度，首先需要计算得到裂纹的轮廓，定义宽度的实际意义，随后可以采用欧氏距离变换方法进行计算；对于腐蚀面积的测量，需要实现图像的分割，将正常表面和腐蚀表面分开来，通过对像素面积的计算，实现对实际腐蚀面积的计算。
优选地，卷积神经网络(convolutional neural network,CNN)是受生物启发的多层感知器，它们有着不同类别的层，并且每层的工作方式与普通的神经网络层不一样，是深度学习领域常用的网络结构。深度学习可以自动学习数据的特征，对前一步稀疏表示的特征进行更深一步的学习抽象，得到更高层更有效的特征。通过对稀疏表示特征的深度学习，可以得到能表征相应现象的深度特征。因此，在挖掘飞机蒙皮表面的灰色图像的特征(也将用语挖掘关键管道红外图像的深度特征)时，CNN被用来提取这些灰度图像的深度特征。
由于CNN的特征检测层通过训练数据进行学习，在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中学习。在很多情况下，图像显式的特征提取并不容易，在一些应用问题中也并非总是可靠的。CNN避免了显式的特征取样，隐式地从训练数据中进行学习。这使得CNN明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器，输入图像和网络的拓扑结构能更好地吻合，能训练出图片的深度特征。在实际的应用里，往往通过GPU对CNN的训练和分类进行加速。
优选地，所述多模态加权组合的SVM模型的构建的具体过程为：首先对单一模态训练最优混合核函数SVM子分类器，仅需要小样本的训练集，且性能优于单一高斯核函数。然后优化选择SVM模型子分类器权重系数，针对各个模态突出的差异信息不同，选择的特征信息和支持向量各有侧重，重点聚焦错分数据点，得到多模态加权组合的SVM分类器模型。
现有的基本的支持向量机与基于距离的模糊支持向量机，基于样本紧密度的模糊支持向量机在五类飞机蒙皮损伤的识别中具有更高的识别率，这是因为在将多类问题转化为多个两类问题时，基本的支持向量机不可避免的存在不可分区域，而在普通的模糊支持向量机中，虽然引入了模糊隶属度将不可分区域变得可分，但是通常隶属度的确定只考虑了样本到所在类中心的距离关系，而忽略了样本与样本之间的关系，基于紧密度的模糊隶属度同时考虑了二者，所以在识别率上有了较大的提高。
通过以上实施例方式的描述，本领域的技术人员可以清楚地了解，各实施例方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案的实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读写介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等。包括若干指令，用以使得一台计算机设备(如个人计算机，服务器或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (4)
1.一种基于飞机蒙皮表面缺陷检测和分类的方法，其特征在于，包括以下步骤：
步骤1，对图像进行多视角超分辨率重建预处理，将空间上不同相机所拍的图像信息融合，获取分辨率更高的飞机蒙皮缺陷图像；
步骤2，特征提取，基于多视角测量来获取飞机蒙皮缺陷图像的物理测量特征，采用通过GPU加速对卷积神经网络进行训练和加速来挖掘能表征飞机蒙皮缺陷的深度特征；
步骤3，特征融合和分类识别，基于多模态加权组合的SVM模型将基于CNN提取的深度特征进行池化后得到的深度特征和基于多视角测量来获取缺陷的物理测量特征通过进行数据融合和分类。
2.如权利要求1所述的方法，其特征在于，所述步骤1具体过程为：利用提出的超分辨模型将多视角超分辨率问题转变成一个多视角去模糊问题，其中所述提出的超分辨率模型用数学公式可描述为：
yk＝FkDHku+nk，k＝1,2，L，l
其中yk是第k个视角所得到的低分辨率图像，l为低分辨率图像的总数，u为目标超高分辨率图像，D是下采样矩阵，Hk代表模糊矩阵，Fk代表低分辨率图像位移矩阵，nk代表噪声；其中所述视角去模糊问题可表示为：
gk＝Hku+sk
其中
最后得到最终需要优化的目标函数：
其中γ是优化参数，P(u)为反映图像先验知识的正则化项，Q(hk)为约束模糊核的正则化项，对未知模糊核和需估计的高分辨率图像进行迭代优化，运用交替乘子法完成对目标函数的求解，得到高分辨率图像。
3.如权利要求1所述的方法，其特征在于，所述基于多视角测量来获取缺陷的物理测量特征的具体过程为：首先需要完成监测多目视觉系统的标定，可采用张正友标定法或平板视差法；对于裂纹的长度，采用链条编码或树形模型方法进行计算测量；对于裂纹的宽度，首先需要计算得到裂纹的轮廓，定义宽度的实际意义，随后可以采用欧氏距离变换方法进行计算；对于腐蚀面积的测量，需要实现图像的分割，将正常表面和腐蚀表面分开来，通过对像素面积的计算，实现对实际腐蚀面积的计算。
4.如权利要求1所述的方法，其特征在于，所述多模态加权组合的SVM模型的构建的具体过程为：首先对单一模态训练最优混合核函数SVM子分类器，仅需要小样本的训练集，且性能优于单一高斯核函数；然后优化选择SVM模型子分类器权重系数，针对各个模态突出的差异信息不同，选择不同的特征信息和支持向量，聚焦错分数据点，得到多模态加权组合的SVM分类器模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058064.2A CN111340754B (zh) | 2020-01-18 | 2020-01-18 | 一种基于飞机蒙皮表面缺陷检测和分类的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058064.2A CN111340754B (zh) | 2020-01-18 | 2020-01-18 | 一种基于飞机蒙皮表面缺陷检测和分类的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340754A true CN111340754A (zh) | 2020-06-26 |
| CN111340754B CN111340754B (zh) | 2023-08-25 |
Family
ID=71183382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010058064.2A Active CN111340754B (zh) | 2020-01-18 | 2020-01-18 | 一种基于飞机蒙皮表面缺陷检测和分类的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340754B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037178A (zh) * | 2020-08-10 | 2020-12-04 | 泉州市澳莱格电子有限责任公司 | 一种基于多目相机的柱体二维图像生成方法 |
| CN112396604A (zh) * | 2021-01-21 | 2021-02-23 | 中国人民解放军国防科技大学 | 一种基于多视角的飞机蒙皮缺陷检测方法 |
| CN112419401A (zh) * | 2020-11-23 | 2021-02-26 | 上海交通大学 | 一种基于云边协同与深度学习的飞机表面缺陷检测系统 |
| CN112669292A (zh) * | 2020-12-31 | 2021-04-16 | 上海工程技术大学 | 一种实现飞机蒙皮喷漆表面缺陷检测与分类的方法 |
| CN112700423A (zh) * | 2021-01-06 | 2021-04-23 | 中国民航科学技术研究院 | 基于深度学习的机身表面损伤缺陷自动检测方法及系统 |
| CN112700483A (zh) * | 2021-01-13 | 2021-04-23 | 上海微亿智造科技有限公司 | 用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 |
| CN112884030A (zh) * | 2021-02-04 | 2021-06-01 | 重庆邮电大学 | 一种基于交叉重建的多视角分类系统及方法 |
| CN112907510A (zh) * | 2021-01-15 | 2021-06-04 | 中国人民解放军国防科技大学 | 一种表面缺陷检测方法 |
| CN113052207A (zh) * | 2021-03-10 | 2021-06-29 | 中国特种设备检测研究院 | 基于Hybrid思想的不锈钢环境开裂判别方法及系统 |
| CN113343355A (zh) * | 2021-06-08 | 2021-09-03 | 四川大学 | 基于深度学习的飞机蒙皮型面检测路径规划方法 |
| CN113358659A (zh) * | 2021-04-25 | 2021-09-07 | 上海工程技术大学 | 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法 |
| CN113409254A (zh) * | 2021-06-04 | 2021-09-17 | 哈尔滨理工大学 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
| CN113553667A (zh) * | 2021-08-12 | 2021-10-26 | 东北大学 | 一种基于深度学习的飞机结构件设计方法 |
| CN113706501A (zh) * | 2021-08-26 | 2021-11-26 | 成都飞机工业（集团）有限责任公司 | 一种飞机装配的智能监测方法 |
| CN113935973A (zh) * | 2021-10-18 | 2022-01-14 | 南京航空航天大学 | 一种飞机蒙皮零件的检测方法及装置 |
| CN116824213A (zh) * | 2023-05-17 | 2023-09-29 | 杭州新中大科技股份有限公司 | 一种基于多视角特征融合的渣土车带泥检测方法及装置 |
| CN117788472A (zh) * | 2024-02-27 | 2024-03-29 | 南京航空航天大学 | 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法 |
| CN117994753A (zh) * | 2024-04-03 | 2024-05-07 | 浙江浙能数字科技有限公司 | 基于视觉的翻车机入口轨道异常检测装置及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110268334A1 (en) * | 2010-04-30 | 2011-11-03 | Korean Advanced Institute Of Science And Technology | Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography |
| CN102928435A (zh) * | 2012-10-15 | 2013-02-13 | 南京航空航天大学 | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 |
| CN106250855A (zh) * | 2016-08-02 | 2016-12-21 | 南京邮电大学 | 一种基于多核学习的多模态情感识别方法 |
| CN109800824A (zh) * | 2019-02-25 | 2019-05-24 | 中国矿业大学(北京) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 |
| CN110490802A (zh) * | 2019-08-06 | 2019-11-22 | 北京观微科技有限公司 | 一种基于超分辨率的卫星影像飞机目标型号识别方法 |
-
2020
- 2020-01-18 CN CN202010058064.2A patent/CN111340754B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110268334A1 (en) * | 2010-04-30 | 2011-11-03 | Korean Advanced Institute Of Science And Technology | Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography |
| CN102928435A (zh) * | 2012-10-15 | 2013-02-13 | 南京航空航天大学 | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 |
| CN106250855A (zh) * | 2016-08-02 | 2016-12-21 | 南京邮电大学 | 一种基于多核学习的多模态情感识别方法 |
| CN109800824A (zh) * | 2019-02-25 | 2019-05-24 | 中国矿业大学(北京) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 |
| CN110490802A (zh) * | 2019-08-06 | 2019-11-22 | 北京观微科技有限公司 | 一种基于超分辨率的卫星影像飞机目标型号识别方法 |
Non-Patent Citations (7)
| Title |
|---|
| CHEN CHAO ET AL.: "Vision-based Pan-tilt unit error measurement", 《2014 IEEE WORKSHOP ONELECTRONICS, COMPUTER AND APPLICATIONS》, pages 92 - 96 * |
| CONGQING WANG: "The Aircraft Skin Crack Inspection Based on Different-Source Sensors and Support Vector Machines", 《JOURNAL OF NONDESTRUCTIVE EVALUATION》, pages 1 - 8 * |
| 王昊;王从庆;: "基于模糊支持向量机的飞机蒙皮损伤识别方法", 科学技术与工程, no. 10 * |
| 肖亮 等, 北京：国防工业出版社 * |
| 郝振华;李丽;王少辉;高庆吉;: "飞机蒙皮裂纹的数学形态学识别方法", 中国民航大学学报, no. 06 * |
| 马冰: "基于计算机视觉的机场增强型地勤检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, pages 031 - 148 * |
| 高庆吉;王祥凤;崔鹏;牛国臣;邢志伟;: "飞机蒙皮缺陷磁光图像识别算法研究", 中国民航学院学报, no. 01 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037178A (zh) * | 2020-08-10 | 2020-12-04 | 泉州市澳莱格电子有限责任公司 | 一种基于多目相机的柱体二维图像生成方法 |
| CN112419401A (zh) * | 2020-11-23 | 2021-02-26 | 上海交通大学 | 一种基于云边协同与深度学习的飞机表面缺陷检测系统 |
| CN112669292A (zh) * | 2020-12-31 | 2021-04-16 | 上海工程技术大学 | 一种实现飞机蒙皮喷漆表面缺陷检测与分类的方法 |
| CN112700423A (zh) * | 2021-01-06 | 2021-04-23 | 中国民航科学技术研究院 | 基于深度学习的机身表面损伤缺陷自动检测方法及系统 |
| CN112700423B (zh) * | 2021-01-06 | 2023-05-05 | 中国民航科学技术研究院 | 基于深度学习的机身表面损伤缺陷自动检测方法及系统 |
| CN112700483A (zh) * | 2021-01-13 | 2021-04-23 | 上海微亿智造科技有限公司 | 用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 |
| CN112907510A (zh) * | 2021-01-15 | 2021-06-04 | 中国人民解放军国防科技大学 | 一种表面缺陷检测方法 |
| CN112396604A (zh) * | 2021-01-21 | 2021-02-23 | 中国人民解放军国防科技大学 | 一种基于多视角的飞机蒙皮缺陷检测方法 |
| CN112884030A (zh) * | 2021-02-04 | 2021-06-01 | 重庆邮电大学 | 一种基于交叉重建的多视角分类系统及方法 |
| CN112884030B (zh) * | 2021-02-04 | 2022-05-06 | 重庆邮电大学 | 一种基于交叉重建的多视角分类系统及方法 |
| CN113052207A (zh) * | 2021-03-10 | 2021-06-29 | 中国特种设备检测研究院 | 基于Hybrid思想的不锈钢环境开裂判别方法及系统 |
| CN113358659B (zh) * | 2021-04-25 | 2022-07-19 | 上海工程技术大学 | 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法 |
| CN113358659A (zh) * | 2021-04-25 | 2021-09-07 | 上海工程技术大学 | 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法 |
| CN113409254A (zh) * | 2021-06-04 | 2021-09-17 | 哈尔滨理工大学 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
| CN113409254B (zh) * | 2021-06-04 | 2022-06-07 | 哈尔滨理工大学 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
| CN113343355A (zh) * | 2021-06-08 | 2021-09-03 | 四川大学 | 基于深度学习的飞机蒙皮型面检测路径规划方法 |
| CN113343355B (zh) * | 2021-06-08 | 2022-10-18 | 四川大学 | 基于深度学习的飞机蒙皮型面检测路径规划方法 |
| CN113553667B (zh) * | 2021-08-12 | 2023-10-27 | 东北大学 | 一种基于深度学习的飞机结构件设计方法 |
| CN113553667A (zh) * | 2021-08-12 | 2021-10-26 | 东北大学 | 一种基于深度学习的飞机结构件设计方法 |
| CN113706501A (zh) * | 2021-08-26 | 2021-11-26 | 成都飞机工业（集团）有限责任公司 | 一种飞机装配的智能监测方法 |
| CN113706501B (zh) * | 2021-08-26 | 2024-03-19 | 成都飞机工业（集团）有限责任公司 | 一种飞机装配的智能监测方法 |
| CN113935973A (zh) * | 2021-10-18 | 2022-01-14 | 南京航空航天大学 | 一种飞机蒙皮零件的检测方法及装置 |
| CN116824213A (zh) * | 2023-05-17 | 2023-09-29 | 杭州新中大科技股份有限公司 | 一种基于多视角特征融合的渣土车带泥检测方法及装置 |
| CN116824213B (zh) * | 2023-05-17 | 2024-08-16 | 杭州新中大科技股份有限公司 | 一种基于多视角特征融合的渣土车带泥检测方法及装置 |
| CN117788472A (zh) * | 2024-02-27 | 2024-03-29 | 南京航空航天大学 | 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法 |
| CN117788472B (zh) * | 2024-02-27 | 2024-05-14 | 南京航空航天大学 | 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法 |
| CN117994753A (zh) * | 2024-04-03 | 2024-05-07 | 浙江浙能数字科技有限公司 | 基于视觉的翻车机入口轨道异常检测装置及方法 |
| CN117994753B (zh) * | 2024-04-03 | 2024-06-07 | 浙江浙能数字科技有限公司 | 基于视觉的翻车机入口轨道异常检测装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340754B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340754A (zh) | 一种基于飞机蒙皮表面缺陷检测和分类的方法 | |
| CN110298266B (zh) | 基于多尺度感受野特征融合的深度神经网络目标检测方法 | |
| CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
| CN111192237B (zh) | 一种基于深度学习的涂胶检测系统和方法 | |
| CN114627383B (zh) | 一种基于度量学习的小样本缺陷检测方法 | |
| CN105678332B (zh) | 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统 | |
| CN112836713A (zh) | 基于图像无锚框检测的中尺度对流系统识别与追踪方法 | |
| CN108427920A (zh) | 一种基于深度学习的边海防目标检测方法 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN110070008A (zh) | 一种采用无人机图像的桥梁病害识别方法 | |
| WO2022028031A1 (zh) | 一种轮廓形状识别方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN108416270B (zh) | 一种基于多属性联合特征的交通标志识别方法 | |
| CN109086803B (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN109815814A (zh) | 一种基于卷积神经网络的人脸检测方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| Yusof et al. | Automated asphalt pavement crack detection and classification using deep convolution neural network | |
| CN114283325B (zh) | 一种基于知识蒸馏的水下目标识别方法 | |
| CN113780423A (zh) | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 | |
| CN111145145A (zh) | 一种基于MobileNets的图像表面缺陷检测方法 | |
| WO2020119624A1 (zh) | 一种基于深度学习的类别敏感型边缘检测方法 | |
| CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
| CN109816022A (zh) | 一种基于三支决策与cnn的图像识别方法 | |
| CN112270661B (zh) | 一种基于火箭遥测视频的空间环境监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |