CN116642897A - 一种航空零部件涂层外观缺陷检测系统 - Google Patents

一种航空零部件涂层外观缺陷检测系统 Download PDF

Info

Publication number
CN116642897A
CN116642897A CN202310351663.7A CN202310351663A CN116642897A CN 116642897 A CN116642897 A CN 116642897A CN 202310351663 A CN202310351663 A CN 202310351663A CN 116642897 A CN116642897 A CN 116642897A
Authority
CN
China
Prior art keywords
coating
image
feature
defect
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310351663.7A
Other languages
English (en)
Inventor
张勇德
王玮
郭中华
冀阳春
吕弛
王浩熠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVIC Xian Aircraft Industry Group Co Ltd
Original Assignee
AVIC Xian Aircraft Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVIC Xian Aircraft Industry Group Co Ltd filed Critical AVIC Xian Aircraft Industry Group Co Ltd
Priority to CN202310351663.7A priority Critical patent/CN116642897A/zh
Publication of CN116642897A publication Critical patent/CN116642897A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/8422Investigating thin films, e.g. matrix isolation method
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/8422Investigating thin films, e.g. matrix isolation method
    • G01N2021/8427Coatings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8858Flaw counting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8861Determining coordinates of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N2021/8924Dents; Relief flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种航空零部件涂层外观缺陷检测系统,由高清工业相机、辅助光源、图像分析服务器、数据管理系统、网络控制器、信号提示器组成,高清工业相机能实时采集航空零部件涂层外观图像,通过有线网络将涂层外观图像传输至图像分析服务器,图像分析服务器通过智能识别算法平台对工业相机采集的涂层外观图像进行实时缺陷分析,并将有缺陷的涂层外观图像实时反馈至数据管理系统,数据管理系统对分析后的图像数据信息进行存储、管理和显示,并通过网络控制器将涂层缺陷信号发送至信号提示器。本发明避免了人为因素的干扰,极大降低检测人员长期目视检查造成的大量人力耗费和时间投入,保障了航空零部件涂层外观检测的稳定性和一致性。

Description

一种航空零部件涂层外观缺陷检测系统
技术领域
本发明涉及一种航空零部件涂层外观缺陷检测系统,主要适用于种航空零部件喷涂后的涂层外观缺陷图像识别。
背景技术
随着自动化喷漆生产线的出现,各种新工艺和新设备不断更新、完善,使得表面处理技术得到迅速发展,与之匹配的检测技术也需同步实现自动化。在涂层外观缺陷检测方面,传统的方法采用目视检测的方式。人工检测法需要工人处于固定工位上,用肉眼观察产品来判断有无缺陷。长时间的检测易造成对人眼的伤害,其检测结果易受检测员的情绪波动、技术水平、判断标准、个体差异等因素的影响,无法保障对零部件涂层外观缺陷检测的一致性和稳定性,使产品质量上下浮动、参差不齐。
随着计算机视觉技术的快速发展,基于深度学习的飞机零部件涂层外观图像缺陷智能检测为喷涂质量自动化检测提供可行的技术方案。通过高清采集成像设备对航空零部件喷涂外观进行图像采集并处理,建立具有不同缺陷类型的航空零部件涂层外观缺陷图像数据库;针对图像训练任务,搭建卷积神经网络模型,设计合理的优化损失函数,通过将图像输入卷积神经网络模型进行前向推理、损失函数计算误差、误差反向传播方式,不断更新卷积神经网络权重,获得针对航空零部件涂层外观图像缺陷识别的深度神经网络模型,实现对涂层外观图像中喷涂缺陷的特征自动化提取与识别。
针对航空零部件涂层外观质量检测仍然大量依靠人工目测,导致喷涂质量检测稳定性差、效率低、误差大等问题,严重影响航空零部件喷涂的质量检测效率,并且喷涂目视检测方法无法与自动化喷涂工艺相匹配,因此需采用新一代人工智能图像识别技术进行航空零部件涂层外观缺陷自动化检测。
发明内容
为了克服零部件涂层质量肉眼检测判断的不足,本发明提供了一种航空零部件涂层外观缺陷检测系统,避免因个人主观因素导致的涂层质量检测问题,实现了航空零部件涂层外观缺陷实时自动化检测。
本申请解决其技术问题所采用的技术方案是:
一种航空零部件涂层外观缺陷检测系统,包含高清工业相机、辅助光源、图像分析服务器、数据管理系统、网络控制器、信号提示器,所述的高清工业相机能实时采集航空零部件涂层外观图像,通过有线网络将涂层外观图像传输至图像分析服务器,图像分析服务器配置有航空零部件涂层外观缺陷智能识别算法平台,图像分析服务器针对工业相机采集的涂层外观图像进行实时缺陷分析,并将有缺陷的涂层外观图像实时反馈至数据管理系统,数据管理系统对分析后的图像数据信息进行存储、管理和显示,并通过网络控制器将涂层缺陷信号发送至信号提示器,包括以下步骤:
步骤1:利用高清工业相机拍摄多张航空零部件涂层外观图像,使拍摄的图像覆盖整个航空零部件涂层外观表面,并将所有图像导入图像分析服务器,对拍摄的涂层外观图像人工筛选出涂层缺陷图像,对每一张涂层外观缺陷图像中的涂层缺陷进行分类与定位标注,建立航空零部件涂层外观缺陷图像数据库;
步骤2:根据涂层外观缺陷图像数据库搭建面向涂层外观缺陷识别的深度神经网络模型;
步骤3:利用涂层外观缺陷图像数据库对深度神经网络模型进行训练,直至深度神经网络模型训练损失值收敛,获得最终的涂层外观图像缺陷识别模型,训练时加入图像预处理模块和数据增强模块,提升涂层外观缺陷图像数据库的多样性,使涂层外观缺陷识别模型训练获得更好的泛化性;
步骤4:实时拍摄飞机零部件涂层外观图像,采用涂层外观图像缺陷识别模型,对飞机零部件涂层外观图像进行涂层缺陷识别,将识别结果包括涂层外观的缺陷类型和缺陷坐标实时反馈至数据管理系统,并通过网络控制器将缺陷信号发送至信号提示器工作。
进一步的,涂层外观缺陷智能识别算法平台,含有图像预处理模块、数据增强模块、涂层外观图像缺陷识别的深度神经网络模型;所述的图像预处理模块,用于将训练图像缩放为统一尺寸并对图像进行归一化;所述的图像数据增强模块,用于扩增涂层外观缺陷图像数据库规模,提升深度神经网络模型的识别准确度;所述的涂层外观图像缺陷识别的深度神经网络模型,包含卷积神经网络架构YOLOv5-OBB、通道注意力模块、空间注意力模块、特征金字塔非局部块,用于实现对实时采集的涂层外观图像中的缺陷进行多尺度目标分类和定位,得到最终的缺陷检测结果并满足现场涂层外观图像缺陷检测准确率。
进一步的,步骤1中,对每一张涂层外观缺陷图像中的涂层缺陷进行分类与定位标注时,会生成一张对应缺陷图像的标签文档信息,用于记录缺陷在图像中的坐标位置、缺陷类型等信息;所述的航空零部件涂层外观缺陷图像数据库由涂层外观缺陷图像与对应的标签文档组成。
进一步的,步骤2中,搭建面向涂层外观图像缺陷识别的深度神经网络模型时,深度神经网络模型以涂层外观缺陷图像数据库作为网络模型的输入数据,深度神经网络模型以基于目标识别YOLOv5-OBB架构搭建,设计通道注意力模块、空间注意力模块、特征金字塔非局部块并嵌入深度神经网络模型YOLOv5-OBB中,提升深度神经网络模型对涂层外观缺陷目标区域的特征表达能力,使深度神经网络模型能够提取包含有多尺度和有效目标信息的缺陷特征,以此提升对不同类型缺陷的检测能力。
通道注意力模块的设计过程,包含如下过程:
为了聚集每个特征通道的空间信息,采用了平均值池化和最大值池化,这两种池化方式收集了关于目标的不同重要特征,然后采用一个分数权重网络用于进一步集成两个池化后的特征,给定一个特征图F∈RC×H×W作为输入,同时获得平均值池化特征与最大值池化特征/>为计算通道注意力特征,将平均值池化特征/>与最大值池化特征/>级联生成一个有效的特征表达器/>并作为得分权重网络的输入张量,分数权重网络由多个卷积层组成用来生成通道注意力缩放特征Schannel∈RC×1×1,为了减少计算量,将两层卷积核的大小分别设置为W1∈RC/r×C×2×1和W2∈RC×C/r×1×1,其中r为缩减比率,然后利用S形激活函数计算通道注意力缩放特征Schannel。通道注意力缩放特征计算如下式:
式中,SWN代表得分权重网络,Concat代表级联函数,AvgPool代表平均值池化,MaxPool代表最大值池化,σ为S形激活函数,代表卷积运算;
空间注意力模块的设计过程,包含如下过程:
受编码器-解码器网络架构的启发,构建了空间注意力模块来计算空间注意力得分图Sspatial∈R1×H×W,用于突出目标在空间上的有效位置信息,给定输入特征F′∈RC×H×W,为了减少计算量,沿通道轴维度使用平均池化和最大池化运算并获得平均池化特征和最大池化特征/>然后将平均池化特征/>和最大池化特征/>级联获得输入特征而不是直接将特征F′输入到空间注意力模块,空间注意力模块由编码器和解码器组成的,使用卷积核大小为3×3的卷积运算和池化运算来构造编码器,使用上采样运算、卷积核大小为2×2的卷积运算以及S形激活函数来构造解码器,用以生成空间注意力得分图Sspatial∈R1×H×W
金字塔非局部块由特征金字塔池化FPP模块与特征矩阵运算构成,包含过程如下:
给定一个输入特征图F∈R2C×H×W作为输入,首先将其输入卷积层并行生成三个新的特征图特征Fθ和Fg输入特征金字塔池化FPP模块,生成矩阵Mθ,Mg∈RC×135,计算如下式:
Mθ=FPP(Fθ),Mg=FPP(Fg)
特征Fφ尺寸变形并转置为矩阵中其中N=H×W代表像素数量,相似度矩阵Ms∈RN×135可以通过矩阵乘法和softmax运算获得,计算如下式:
MS=Softmax(Mφ T×Mθ)
矩阵Mg和相似度矩阵MS的转置之间执行矩阵乘法,产生输出矩阵Mg,s∈RC×N,计算如下式:
Mg,S=Mg×MS T
其中Mg,S尺寸变形Fg,s∈RC×H×W。然后将特征Fg,S输入卷积层W进行卷积获得与输入特征F∈R2C×H×W具有相同输出维度的特征F1,最后,将特征F1乘以比例参数α并与输入特征F执行逐点元素求和运算,以获得如下最终输出特征FO∈R2C×H×W,计算如下式:
其中表示矩阵乘法,/>表示逐点元素求和,参数α被初始化为零并随着深度神经网络训练变化。
特征金字塔池化FPP模块的设计过程,包含如下过程:n表示池化层输出特征大小的宽度或高度,在特征金字塔池化FPP模块中,四个输出特征大小分别为的1×1、3×3、5×5和10×10,然后将四个输出特征图展平并级联起来用于接下来的矩阵乘法。
进一步的,步骤3中,利用涂层外观缺陷图像数据库对深度神经网络模型进行训练时,
loss=λ1Lcls2Lobj3Lloc4Lang
式中,Lcls、Lobj、Lloc、Lang分别为分类损失值、目标损失值、定位损失值和角度分类损失值,λ1、λ2、λ3、λ4为超参数,用于平衡这四项的控制参数,训练时加入的图像预处理模块和数据增强模块;图像预处理模块包括将采集的原始图像以640×640像素的规格进行缩放,并进行归一化处理,数据增强模块包括对涂层外观缺陷图像数据库进行图像亮度与对比度的调节、随机平移缩放旋转、随机剪裁、镜像翻转、随机加噪、随机模糊等处理,扩增涂层外观缺陷图像数据库规模。
进一步的,步骤1中,所述的涂层外观缺陷包含航空零部件喷涂后出现的流淌、脏颗粒、划痕、凹坑和气泡现象,由人工对每种涂层外观缺陷进行分类与定位标注,建立航空零部件涂层外观缺陷图像数据库。
本发明具有如下有益效果:1)航空零部件涂层外观缺陷检测系统精度高、检测速度快、模型计算占用显存等硬件资源少;2)面向涂层外观缺陷识别的深度神经网络模型具备角度旋转目标检测能力,降低冗余背景信息干扰,提取有效缺陷目标;3)嵌入深度神经网络模型的通道注意力模块、空间注意力模块、特征金字塔非局部块具有突出深度神经网络模型的缺陷特征提取能力,提升深度神经网络模型的缺陷识别检测精度;4)航空零部件涂层外观缺陷智能识别算法平台具有灵活增删各类型涂层缺陷识别功能;5)涂层外观缺陷识别结果实时反馈至数据管理系统,电子记录涂层缺陷分析结果,通过网络控制器控制信号提示器工作,实现实时告警提示。
以下结合附图及实例对本发明作进一步的详细描述。
附图说明
图1为本发明的航空零部件涂层外观缺陷检测系统结构图;
图2为本发明的航空零部件涂层外观缺陷智能识别算法流程图;
图3为本发明的通道注意力模块示意图;
图4为本发明的空间注意力模块示意图;
图5为本发明的特征金字塔非局部块示意图;
图6为本发明的特征金字塔池化FPP模块示意图。
具体实施方式
应当理解,此处所描述的具体实例仅仅用以解释本发明,并不用于限定本发明。本发明经过了技术验证,一种航空零部件涂层外观缺陷检测系统,包含高清工业相机、辅助光源、图像分析服务器、数据管理系统、网络控制器、信号提示器。
实施方式:高清工业相机能实时采集航空零部件涂层外观图像,通过有线网络将涂层外观图像传输至图像分析服务器,图像分析服务器配置有航空零部件涂层外观缺陷智能识别算法平台,涂层外观缺陷智能识别算法平台含有图像预处理模块、数据增强模块、涂层外观图像缺陷识别的深度神经网络模型;图像预处理模块用于将训练图像缩放为统一尺寸并对图像进行归一化;图像数据增强模块用于扩增涂层外观缺陷图像数据库规模,提升深度神经网络模型的识别准确度;涂层外观图像缺陷识别的深度神经网络模型包含卷积神经网络架构YOLOv5-OBB、通道注意力模块、空间注意力模块、特征金字塔非局部块,用于实现对实时采集的涂层外观图像中的缺陷进行多尺度目标分类和定位,得到最终的缺陷检测结果并满足现场涂层外观图像缺陷检测准确率。图像分析服务器针对工业相机采集的涂层外观图像进行实时缺陷分析,并将有缺陷的涂层外观图像实时反馈至数据管理系统,数据管理系统对分析后的图像数据信息进行存储、管理和显示,并通过网络控制器将涂层缺陷信号发送至信号提示器,如图1所示。
参见图2,航空零部件涂层外观缺陷智能识别算法平台,包括:
步骤1:利用高清工业相机拍摄多张航空零部件涂层外观图像,使拍摄的图像覆盖整个航空零部件涂层外观表面,并将所有图像导入图像分析服务器,对拍摄的涂层外观图像人工筛选出涂层缺陷图像,涂层外观缺陷包含航空零部件喷涂后出现的流淌、脏颗粒、划痕、凹坑和气泡现象,由人工对每一张涂层外观缺陷图像中的每种涂层缺陷进行分类与定位标注,生成一张对应缺陷图像的标签文档信息,记录缺陷在图像中的坐标位置、缺陷类型、缺陷尺度大小,建立由涂层外观缺陷图像与对应的标签文档组成的航空零部件涂层外观缺陷图像数据库;
步骤2:根据涂层外观缺陷图像数据库搭建面向涂层外观缺陷识别的深度神经网络模型,利用涂层外观缺陷图像数据库作为深度神经网络模型的输入数据并进行模型训练,深度神经网络模型以基于目标识别YOLOv5-OBB架构搭建,设计通道注意力模块、空间注意力模块、特征金字塔非局部块并嵌入深度神经网络模型YOLOv5-OBB中,提升深度神经网络模型对涂层外观缺陷目标区域的特征表达能力,使深度神经网络模型能够提取包含有多尺度和有效目标信息的缺陷特征,以此提升对不同类型缺陷的检测能力;
图3描述了通道注意力模块的设计过程。为了聚集每个特征通道的空间信息,采用了平均值池化和最大值池化,这两种池化方式收集了关于目标的不同重要特征,然后采用一个分数权重网络用于进一步集成两个池化后的特征。给定一个特征图F∈RC×H×W作为输入,同时获得平均值池化特征与最大值池化特征/>为计算通道注意力特征,将平均值池化特征/>与最大值池化特征/>级联生成一个有效的特征表达器/>并作为得分权重网络的输入张量。分数权重网络由多个卷积层组成用来生成通道注意力缩放特征Schannel∈RC×1×1。为了减少计算量,将两层卷积核的大小分别设置为W1∈RC/r×C×2×1和W2∈RC×C/r×1×1,其中r为缩减比率,然后利用S形激活函数计算通道注意力缩放特征Schannel。通道注意力缩放特征计算如下式:
式中,SWN代表得分权重网络,Concat代表级联函数,AvgPool代表平均值池化,MaxPool代表最大值池化,σ为S形激活函数,代表卷积运算;
图4描述了空间注意力模块的设计过程。空间注意机制用于突出目标在空间上的有效位置信息。受编码器-解码器网络架构的启发,构建了空间注意力模块来计算空间注意力得分图Sspatial∈R1×H×W,用于突出目标在空间上的有效位置信息。给定输入特征F′∈RC ×H×W,为了减少计算量,沿通道轴维度使用平均池化和最大池化运算并获得平均池化特征和最大池化特征/>然后将平均池化特征/>和最大池化特征/>级联获得输入特征而不是直接将特征F′输入到空间注意力模块。空间注意力模块由编码器和解码器组成的,使用卷积核大小为3×3的卷积运算和池化运算来构造编码器,使用上采样运算、卷积核大小为2×2的卷积运算以及S形激活函数来构造解码器,用以生成空间注意力得分图Sspatial∈R1×H×W
特征金字塔非局部块由特征金字塔池化FPP模块与特征矩阵运算构成。
图5描述了特征金字塔非局部块的设计过程。给定一个输入特征图F∈R2C×H×W作为输入,首先将其输入卷积层并行生成三个新的特征图特征Fθ和Fg输入特征金字塔池化FPP模块,生成矩阵Mθ,Mg∈RC×135,计算如下式:
Mθ=FPP(Fθ),Mg=FPP(Fg)
特征Fφ尺寸变形并转置为矩阵中其中N=H×W代表像素数量,相似度矩阵Ms∈RN×135可以通过矩阵乘法和softmax运算获得,计算如下式:
MS=Softmax(Mφ T×Mθ)
矩阵Mg和相似度矩阵MS的转置之间执行矩阵乘法,产生输出矩阵Mg,s∈RC×N,计算如下式:
Mg,S=Mg×MS T
其中Mg,S尺寸变形Fg,s∈RC×H×W。然后将特征Fg,S输入卷积层W进行卷积获得与输入特征F∈R2C×H×W具有相同输出维度的特征F1。最后,将特征F1乘以比例参数α并与输入特征F执行逐点元素求和运算,以获得如下最终输出特征FO∈R2C×H×W,计算如下式:
其中表示矩阵乘法,/>表示逐点元素求和,参数α被初始化为零并随着深度神经网络训练变化;
图6描述了特征金字塔池化FPP模块的设计过程。n表示池化层输出特征大小的宽度或高度。在特征金字塔池化FPP模块中,四个输出特征大小分别为的1×1、3×3、5×5和10×10,然后将四个输出特征图展平并级联起来用于接下来的矩阵乘法;
步骤3:利用涂层外观缺陷图像数据库对深度神经网络模型进行训练,多任务训练优化目标损失函数表示为:
loss=λ1Lcls2Lobj3Lloc4Lang
式中,Lcls、Lobj、Lloc、Lang分别为分类损失值、目标损失值、定位损失值和角度分类损失值,λ1、λ2、λ3、λ4为超参数,用于平衡这四项的控制参数。直至深度神经网络模型训练损失值收敛稳定时,获得最终的涂层外观图像缺陷识别模型。训练时加入的图像预处理模块和数据增强模块;图像预处理模块包括将采集的原始图像以640×640像素的规格进行缩放,并进行归一化处理,数据增强模块包括对涂层外观缺陷图像数据库进行图像亮度与对比度的调节、随机平移缩放旋转、随机剪裁、镜像翻转、随机加噪、随机模糊等处理,扩增涂层外观缺陷图像数据库规模,提升涂层外观缺陷图像数据库的多样性,使涂层外观缺陷识别模型获得更好的泛化性;
步骤4:实时拍摄飞机零部件涂层外观图像,采用涂层外观图像缺陷识别模型,对飞机零部件涂层外观图像进行涂层缺陷识别,将识别结果包括涂层外观的缺陷类型和缺陷坐标实时反馈至数据管理系统进行存储、管理与展示,并将涂层缺陷识别结果信号通过UDP通信协议发送至网络控制器,用于控制信号提示器工作。
针对上述方法,发明人进行了验证,验证过程描述如下:
涂层外观缺陷图像数据库共由1500张原始分辨率为4032×3024的图像组成。涂层外观缺陷包含航空零部件喷涂后出现的流淌、脏颗粒、划痕、凹坑和气泡现象,各类缺陷的数量分布如表1所示。
表1各类涂层外观缺陷的数量分布表
缺陷种类 流淌 脏颗粒 划痕 凹坑 气泡
统计数量 1210 2650 1008 930 613
所述的深度神经网络模型简称为YO-CF,利用涂层外观缺陷图像数据库对深度神经网络模型进行训练,训练细节包括:
采用随机梯度下降法,即SGD优化器,对深度神经网络模型进行300次迭代训练,最小批次数量为30,初始学习率参数设定为0.01,动量为0.9,权重衰减设置为0.0005,通过计算均值平均精度,即mAP值,用于评价深度神经网络模型的性能指标。
表2深度神经网络模型的性能指标表
由表2中可以看到,相比其他五种算法模型,采用本实施例提出的深度神经网络模型YO-CF的mAP值为71.6%,能够实现最高的检测精度,对于每种类型缺陷的平均精度,即AP值,也实现最高的检测精度。
本发明提供了一种航空零部件涂层外观缺陷检测系统的通用框架,不限于具体的检测方法。该框架的优势是,所述的航空零部件涂层外观缺陷智能识别算法平台,含有图像预处理模块、数据增强模块、涂层外观图像缺陷识别的深度神经网络模型;所述的图像预处理模块,用于将训练图像缩放为统一尺寸并对图像进行归一化;所述的图像数据增强模块,用于扩增涂层外观缺陷图像数据库规模,提升深度神经网络模型的识别准确度;所述的涂层外观图像缺陷识别的深度神经网络模型,包含卷积神经网络架构YOLOv5-OBB、通道注意力模块、空间注意力模块、特征金字塔非局部块,用于实现对实时采集的涂层外观图像中的缺陷进行多尺度目标分类和定位,得到最终的缺陷检测结果并满足现场涂层外观图像缺陷检测准确率。
最后说明的是,本领域的普通技术人员应当理解以上实施例仅用以说明本发明的技术方案而非限制,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种航空零部件涂层外观缺陷检测系统,包含高清工业相机、辅助光源、图像分析服务器、数据管理系统、网络控制器、信号提示器,其特征在于,所述的高清工业相机能实时采集航空零部件涂层外观图像,通过有线网络将涂层外观图像传输至图像分析服务器,图像分析服务器配置有航空零部件涂层外观缺陷智能识别算法平台,图像分析服务器针对工业相机采集的涂层外观图像进行实时缺陷分析,并将有缺陷的涂层外观图像实时反馈至数据管理系统,数据管理系统对分析后的图像数据信息进行存储、管理和显示,并通过网络控制器将涂层缺陷信号发送至信号提示器,包括以下步骤:
步骤1:利用高清工业相机拍摄多张航空零部件涂层外观图像,使拍摄的图像覆盖整个航空零部件涂层外观表面,并将所有图像导入图像分析服务器,对拍摄的涂层外观图像人工筛选出涂层缺陷图像,对每一张涂层外观缺陷图像中的涂层缺陷进行分类与定位标注,建立航空零部件涂层外观缺陷图像数据库;
步骤2:根据涂层外观缺陷图像数据库搭建面向涂层外观缺陷识别的深度神经网络模型;
步骤3:利用涂层外观缺陷图像数据库对深度神经网络模型进行训练,直至深度神经网络模型训练损失值收敛,获得最终的涂层外观图像缺陷识别模型,训练时加入图像预处理模块和数据增强模块,提升涂层外观缺陷图像数据库的多样性,使涂层外观缺陷识别模型训练获得更好的泛化性;
步骤4:实时拍摄飞机零部件涂层外观图像,采用涂层外观图像缺陷识别模型,对飞机零部件涂层外观图像进行涂层缺陷识别,将识别结果包括涂层外观的缺陷类型和缺陷坐标实时反馈至数据管理系统,并通过网络控制器将缺陷信号发送至信号提示器工作。
2.根据权利要求1所述的一种航空零部件涂层外观缺陷检测系统,其特征在于:所述的涂层外观缺陷智能识别算法平台,含有图像预处理模块、数据增强模块、涂层外观图像缺陷识别的深度神经网络模型;所述的图像预处理模块,用于将训练图像缩放为统一尺寸并对图像进行归一化;所述的图像数据增强模块,用于扩增涂层外观缺陷图像数据库规模,提升深度神经网络模型的识别准确度;所述的涂层外观图像缺陷识别的深度神经网络模型,包含卷积神经网络架构YOLOv5-OBB、通道注意力模块、空间注意力模块、特征金字塔非局部块,用于实现对实时采集的涂层外观图像中的缺陷进行多尺度目标分类和定位,得到最终的缺陷检测结果并满足现场涂层外观图像缺陷检测准确率。
3.根据权利要求1所述的一种航空零部件涂层外观缺陷检测系统,其特征在于:步骤1中,对每一张涂层外观缺陷图像中的涂层缺陷进行分类与定位标注时,会生成一张对应缺陷图像的标签文档信息,用于记录缺陷在图像中的坐标位置、缺陷类型等信息;所述的航空零部件涂层外观缺陷图像数据库由涂层外观缺陷图像与对应的标签文档组成。
4.根据权利要求1所述的一种航空零部件涂层外观缺陷检测系统,其特征在于:步骤2中,搭建面向涂层外观图像缺陷识别的深度神经网络模型时,深度神经网络模型以涂层外观缺陷图像数据库作为网络模型的输入数据,深度神经网络模型以基于目标识别YOLOv5-OBB架构搭建,设计通道注意力模块、空间注意力模块、特征金字塔非局部块并嵌入深度神经网络模型YOLOv5-OBB中,提升深度神经网络模型对涂层外观缺陷目标区域的特征表达能力,使深度神经网络模型能够提取包含有多尺度和有效目标信息的缺陷特征,以此提升对不同类型缺陷的检测能力。
5.根据权利要求4所述的一种航空零部件涂层外观缺陷检测系统,其特征在于所述的通道注意力模块的设计过程,包含如下过程:
为了聚集每个特征通道的空间信息,采用了平均值池化和最大值池化,这两种池化方式收集了关于目标的不同重要特征,然后采用一个分数权重网络用于进一步集成两个池化后的特征,给定一个特征图F∈RC×H×W作为输入,同时获得平均值池化特征与最大值池化特征/>为计算通道注意力特征,将平均值池化特征/>与最大值池化特征/>级联生成一个有效的特征表达器/>并作为得分权重网络的输入张量,分数权重网络由多个卷积层组成用来生成通道注意力缩放特征Schannel∈RC ×1×1,为了减少计算量,将两层卷积核的大小分别设置为W1∈RC/r×C×2×1和W2∈RC×C/r×1×1,其中r为缩减比率,然后利用S形激活函数计算通道注意力缩放特征Schannel。通道注意力缩放特征计算如下式:
式中,SWN代表得分权重网络,Concat代表级联函数,AvgPool代表平均值池化,MaxPool代表最大值池化,σ为S形激活函数,代表卷积运算。
6.根据权利要求4所述的一种航空零部件涂层外观缺陷检测系统,其特征在于所述的空间注意力模块的设计过程,包含如下过程:
受编码器-解码器网络架构的启发,构建了空间注意力模块来计算空间注意力得分图Sspatial∈R1×H×W,用于突出目标在空间上的有效位置信息,给定输入特征F′∈RC×H×W,为了减少计算量,沿通道轴维度使用平均池化和最大池化运算并获得平均池化特征和最大池化特征/>然后将平均池化特征/>和最大池化特征/>级联获得输入特征而不是直接将特征F′输入到空间注意力模块,空间注意力模块由编码器和解码器组成的,使用卷积核大小为3×3的卷积运算和池化运算来构造编码器,使用上采样运算、卷积核大小为2×2的卷积运算以及S形激活函数来构造解码器,用以生成空间注意力得分图Sspatial∈R1×H×W
7.根据权利要求4所述的一种航空零部件涂层外观缺陷检测系统,其特征在于所述的特征金字塔非局部块由特征金字塔池化FPP模块与特征矩阵运算构成,包含过程如下:
给定一个输入特征图F∈R2C×H×W作为输入,首先将其输入卷积层并行生成三个新的特征图特征Fθ和Fg输入特征金字塔池化FPP模块,生成矩阵Mθ,Mg∈RC ×135,计算如下式:
Mθ=FPP(Fθ),Mg=FPP(Fg)
特征Fφ尺寸变形并转置为矩阵中其中N=H×W代表像素数量,相似度矩阵Ms∈RN×135可以通过矩阵乘法和softmax运算获得,计算如下式:
MS=Softmax(Mφ T×Mθ)
矩阵Mg和相似度矩阵MS的转置之间执行矩阵乘法,产生输出矩阵Mg,s∈RC×N,计算如下式:
Mg,S=Mg×MS T
其中Mg,S尺寸变形Fg,s∈RC×H×W。然后将特征Fg,S输入卷积层W进行卷积获得与输入特征F∈R2C×H×W具有相同输出维度的特征F1,最后,将特征F1乘以比例参数α并与输入特征F执行逐点元素求和运算,以获得如下最终输出特征FO∈R2C×H×W,计算如下式:
其中表示矩阵乘法,/>表示逐点元素求和,参数α被初始化为零并随着深度神经网络训练变化。
8.根据权利要求7所述的一种航空零部件涂层外观缺陷检测系统,其特征在于所述的特征金字塔池化FPP模块的设计过程,包含如下过程:
n表示池化层输出特征大小的宽度或高度,在特征金字塔池化FPP模块中,四个输出特征大小分别为的1×1、3×3、5×5和10×10,然后将四个输出特征图展平并级联起来用于接下来的矩阵乘法。
9.根据权利要求1至8中任意一项所述的一种航空零部件涂层外观缺陷检测系统,其特征在于:步骤3中,利用涂层外观缺陷图像数据库对深度神经网络模型进行训练时,
loss=λ1Lcls2Lobj3Lloc4Lang
式中,Lcls、Lobj、Lloc、Lang分别为分类损失值、目标损失值、定位损失值和角度分类损失值,λ1、λ2、λ3、λ4为超参数,用于平衡这四项的控制参数,训练时加入的图像预处理模块和数据增强模块;图像预处理模块包括将采集的原始图像以640×640像素的规格进行缩放,并进行归一化处理,数据增强模块包括对涂层外观缺陷图像数据库进行图像亮度与对比度的调节、随机平移缩放旋转、随机剪裁、镜像翻转、随机加噪、随机模糊等处理,扩增涂层外观缺陷图像数据库规模。
10.根据权利要求1所述的一种航空零部件涂层外观缺陷检测系统,其特征在于,步骤1中,所述的涂层外观缺陷包含航空零部件喷涂后出现的流淌、脏颗粒、划痕、凹坑和气泡现象,由人工对每种涂层外观缺陷进行分类与定位标注,建立航空零部件涂层外观缺陷图像数据库。
CN202310351663.7A 2023-04-03 2023-04-03 一种航空零部件涂层外观缺陷检测系统 Pending CN116642897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310351663.7A CN116642897A (zh) 2023-04-03 2023-04-03 一种航空零部件涂层外观缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310351663.7A CN116642897A (zh) 2023-04-03 2023-04-03 一种航空零部件涂层外观缺陷检测系统

Publications (1)

Publication Number Publication Date
CN116642897A true CN116642897A (zh) 2023-08-25

Family

ID=87623585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310351663.7A Pending CN116642897A (zh) 2023-04-03 2023-04-03 一种航空零部件涂层外观缺陷检测系统

Country Status (1)

Country Link
CN (1) CN116642897A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116973373A (zh) * 2023-09-25 2023-10-31 昆山泰瑞克智能科技有限公司 一种电极涂层的检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116973373A (zh) * 2023-09-25 2023-10-31 昆山泰瑞克智能科技有限公司 一种电极涂层的检测方法及系统
CN116973373B (zh) * 2023-09-25 2023-12-08 昆山泰瑞克智能科技有限公司 一种电极涂层的检测方法及系统

Similar Documents

Publication Publication Date Title
CN108492272B (zh) 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN110705425B (zh) 一种基于图卷积网络的舌象多标签分类方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109740665A (zh) 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108596226A (zh) 一种基于深度学习的显示面板缺陷训练方法及系统
CN111402227B (zh) 一种桥梁裂缝检测方法
CN105825511A (zh) 一种基于深度学习的图片背景清晰度检测方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111832546A (zh) 一种轻量级自然场景文本识别方法
CN111652853A (zh) 一种基于深度卷积神经网络的磁粉探伤检测方法
CN115661622A (zh) 一种基于图像增强和改进YOLOv5的陨石坑检测方法
CN116642897A (zh) 一种航空零部件涂层外观缺陷检测系统
CN110490915A (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN114627017B (zh) 一种基于多层次注意力感知的点云去噪方法
CN111275684A (zh) 一种基于多尺度特征提取的带钢表面缺陷检测方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN110334747A (zh) 基于改进卷积神经网络的图像识别方法及应用
CN115849202B (zh) 基于数字孪生技术的智能起重机操作目标识别方法
CN113674218A (zh) 焊缝特征点提取方法、装置、电子设备与存储介质
CN117036243A (zh) 刨花板表面缺陷检测的方法、装置、设备和存储介质
CN117095199A (zh) 一种基于单纯形扩散模型的工业视觉异常检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination