CN116402821A - 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法 - Google Patents

一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法 Download PDF

Info

Publication number
CN116402821A
CN116402821A CN202310676359.XA CN202310676359A CN116402821A CN 116402821 A CN116402821 A CN 116402821A CN 202310676359 A CN202310676359 A CN 202310676359A CN 116402821 A CN116402821 A CN 116402821A
Authority
CN
China
Prior art keywords
feature
classification
network
prediction
coarse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310676359.XA
Other languages
English (en)
Other versions
CN116402821B (zh
Inventor
毛建旭
易俊飞
王耀南
张辉
曾凯
陶梓铭
谢核
刘彩苹
朱青
刘敏
周显恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310676359.XA priority Critical patent/CN116402821B/zh
Publication of CN116402821A publication Critical patent/CN116402821A/zh
Application granted granted Critical
Publication of CN116402821B publication Critical patent/CN116402821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法，包括数据采集，利用相机对飞机蒙皮进行拍照获取图片数据；对获取到的图片数据进行预处理，通过标注软件对数据进行标注获取用于网络训练的数据集；建立一个基于特征擦除和边界细化的缺陷检测网络模型，其中，缺陷检测网络模型包括依次连接的特征提取网络、语义引导的特征擦除模块、多尺度特征融合网络和基于边界细化的缺陷预测网络，利用数据集对网络模型进行训练，并将训练好的模型参数保存；利用训练好的网络模型对直接采集到的蒙皮涂胶图像进行检测，并输出检测结果。可以快速准确地实现飞机蒙皮涂胶缺陷的无损检测，推动蒙皮高质量智能制造进程。

Description

一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法
技术领域
本发明属于飞机蒙皮缺陷检测技术领域，特别是涉及一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法。
背景技术
随着我国科学技术水平的快速发展，飞机在军事，交通运输，农业等各个领域都起到关键的作用。其中飞机蒙皮件作为飞机的重要组成部分，保障其制造质量是决定飞机综合性能和安全运行的关键因素。
飞机蒙皮表面损伤和缺陷的产生主要原因在于飞机每次升空和降落都会经历一次加压和减压的过程，使得蒙皮表面出现周期性膨胀和收缩，从而导致飞机表面铆钉周围材料产生微小裂纹。尤其在恶劣飞行环境中，会进一步加速裂纹恶化，促使产生腐蚀，这些缺陷的产生不仅会影响飞机蒙皮表面的美观，更在一定程度上会破坏飞机蒙皮结构的完整性，引起结构强度下降，严重威胁飞行员和乘客的生命财产安全。
传统的飞机蒙皮缺陷检测常用技术人员肉眼检测，人工检测和技术人员的经验、责任心等密切相关，存在很大的局限性，容易发生丢、错、漏等问题，而且检测效率十分低下。随着飞机装备性能的不断提升，同时也对其检测技术提出了更高的要求，急需相应检测技术朝着智能化、集成化、数字化、在线化等方向快速推进。目前我国大部分航空制造企业已经普遍采用数字化测量设备用于飞机蒙皮表面缺陷检测，如激光雷达、激光跟踪仪、全站仪等，正在逐步摆脱过去依靠模线、样板等工艺装备的检测方法，但仍以技术人员人工检测为主。为了解决检测技术的获取大量依赖人工，存在一致性差、效率低等突出问题，提出了一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法。
发明内容
针对以上技术问题，本发明提供一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法。
本发明解决其技术问题采用的技术方案是：
一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法，方法包括以下步骤：
S100：利用高清工业相机对飞机蒙皮进行拍照获取图片数据，并对图片数据进行预处理；
S200：通过标注软件对预处理好的数据进行标注，获取用于网络训练的数据集；
S300：建立一个基于特征擦除和边界细化的缺陷检测网络模型，其中，缺陷检测网络模型包括依次连接的特征提取网络、语义引导的特征擦除模块、多尺度特征融合网络和基于边界细化的缺陷预测网络，特征提取网络用于提取多尺度特征图；语义引导的特征擦除模块用于对多尺度特征图进行处理，使特征图的预设区域有预设概率置零；多尺度特征融合网络用于将处理后的不同尺度的特征进行深度融合得到融合后的多尺度特征图；基于边界细化的缺陷预测网络用于根据融合后的多尺度特征图进行预测得到分类预测结果和框预测结果；
S400：利用数据集对缺陷检测网络模型进行训练得到分类预测结果和框预测结果，根据分类预测结果、框预测结果和预设的网络损失函数进行反向传播对网络权重进行更新，在完成预设训练轮次之后，得到训练好的缺陷检测网络模型；
S500：利用训练好的缺陷检测网络模型对直接采集到的蒙皮涂胶图像进行检测，并得到质量缺陷检测结果。
优选地，S300中特征提取网络用于提取多尺度特征图，语义引导特征擦除模块用于对多尺度特征图进行处理，使特征图的预设区域有预设概率置零，包括：
S311：数据集中的缺陷图片经过特征提取网络中的残差网络提取之后得到三个具有不同尺度大小的输入特征图；
S312：按照预设的大小将任一输入特征图
Figure SMS_1
进行切块，得到大小、通道数相同的特征块/>
Figure SMS_2
，其中，/>
Figure SMS_3
代表特征块的数量；
S313：将输入特征图
Figure SMS_4
输入到全局平均池化层中得到具有全局语义特征信息的全局语义特征g；
S314：计算每个特征块
Figure SMS_5
和全局语义特征g之间的语义相似度cos_sim，其中相似度度量方式采用余弦距离，计算公式如下：
Figure SMS_6
；
S315：根据语义相似度cos_sim从大到小排序得到
Figure SMS_7
，并取出相似度高的前K个矩阵块/>
Figure SMS_8
；
S316：将
Figure SMS_9
特征输入到DropOut层当中，设置DropOut的概率，即/>
Figure SMS_10
特征中每个元素会有预设概率被设置为零。
优选地，S300中基于边界细化的缺陷预测网络用于根据融合后的多尺度特征图进行预测得到分类预测结果和框预测结果，包括：
S321：将融合后的多尺度特征图
Figure SMS_11
输入到缺陷特征增强网络之中得到缺陷形状增强后的特征/>
Figure SMS_12
；
S322：将缺陷形状增强增强后的特征
Figure SMS_13
分别输入到粗分类分支和粗框预测分支得到粗分类结果/>
Figure SMS_14
、增强后的分类特征、粗框预测结果/>
Figure SMS_15
和增强后的粗框预测；将粗分类结果和增强后的分类特征输入到粗分类分支的边界感知模块之中得到细化分类特征/>
Figure SMS_16
，将粗框预测结果与增强后的框预测输入到粗框预测分支的边界感知模块得到细化框预测特征/>
Figure SMS_17
；
S323：将细化分类特征
Figure SMS_18
和细化框预测特征/>
Figure SMS_19
分别和缺陷形状增强后的特征/>
Figure SMS_20
融合，分别再输入到两个1x1卷积层中得到最终的分类预测结果/>
Figure SMS_21
和框预测结果/>
Figure SMS_22
。
优选地，S321包括：
S3211：将融合后的多尺度特征图
Figure SMS_23
输入到缺陷特征增强网络进行横向和纵向的全局平均池化操作，得到具有细长形状感知能力的横向特征/>
Figure SMS_24
和纵向特征/>
Figure SMS_25
；
S3212：通过双线性插值法对横向特征
Figure SMS_26
和纵向特征/>
Figure SMS_27
进行插值，得到和融合后的多尺度特征图/>
Figure SMS_28
大小一致的横向特征/>
Figure SMS_29
和纵向特征/>
Figure SMS_30
，具体为：
Figure SMS_31
；
Figure SMS_32
；
其中，
Figure SMS_33
表示双线性插值法，/>
Figure SMS_34
和/>
Figure SMS_35
分别代表纵向和横向的全局平均池化操作；
S3213：再将横向特征
Figure SMS_36
和纵向特征/>
Figure SMS_37
进行对应元素相加，得到具备纵横两方向感知的融合特征，并依次经过1x1卷积和Sigmoid层得到和融合后的多尺度特征图/>
Figure SMS_38
大小一致的权重w；
S3214：将权重w与融合后的多尺度特征图
Figure SMS_39
进行元素相乘得到缺陷形状增强后的特征/>
Figure SMS_40
，计算公式如下：
Figure SMS_41
；
Figure SMS_42
；
其中，
Figure SMS_43
表示Sigmoid层，conv1表示1x1卷积，“+”表示元素相加，“/>
Figure SMS_44
”表示逐元素相乘。
优选地，粗分类分支和粗框预测分支均包括4个3x3卷积层和1个1x1卷积层，S322包括：
S3221：将缺陷形状增强后的特征
Figure SMS_47
分别输入到粗分类分支和粗框预测分支中，通过4个3x3卷积层得到增强后的分类特征/>
Figure SMS_48
和增强后的粗框预测特征/>
Figure SMS_52
，增强后的分类特征/>
Figure SMS_46
通过1x1卷积层输出得到粗分类结果/>
Figure SMS_49
，增强后的粗框预测特征
Figure SMS_51
通过1x1卷积层输出得到粗框坐标偏移量/>
Figure SMS_53
，将粗框坐标偏移量
Figure SMS_45
解码得到预测框坐标/>
Figure SMS_50
；
S3222：将预测框坐标
Figure SMS_54
和增强后的分类特征/>
Figure SMS_55
输入至粗分类分支的边界感知模块得到具有边界感知的细化分类特征/>
Figure SMS_56
，将预测框坐标/>
Figure SMS_57
和增强后的粗框预测特征/>
Figure SMS_58
输入至粗框预测分支的边界感知模块得到具有边界感知的细化框预测特征/>
Figure SMS_59
。
优选地，S3222包括：
S32221：将增强后的分类特征
Figure SMS_60
和增强后的粗框预测特征/>
Figure SMS_61
分别输入到2个3x3卷积层得到中心特征/>
Figure SMS_62
和边界特征/>
Figure SMS_63
，将中心特征/>
Figure SMS_64
和边界特征/>
Figure SMS_65
进行拼接得到拼接后的特征/>
Figure SMS_66
；
S32222：将特征
Figure SMS_67
和粗预测框坐标/>
Figure SMS_68
输入到边界对齐模块中，边界对齐模块先对粗预测框的四条边均匀采样N个点，并通过双线性插值法得到每个点对应特征图/>
Figure SMS_69
的值，取N个点中的特征最大值作为对应边的边界感知值，得到输出/>
Figure SMS_70
；
S32223：将特征
Figure SMS_71
同时输入到3x3卷积层和Sigmoid函数得到每个点的掩码mask：
Figure SMS_72
；
Figure SMS_73
S32224：将掩码mask和拼接后的特征
Figure SMS_74
进行逐元素相乘，并将其经过1x1卷积降维之后，作为边界感知模块的输出/>
Figure SMS_75
或/>
Figure SMS_76
。
优选地，S32222的计算公式如下：
Figure SMS_77
；
其中，C表示通道数，（i，j）表示特征点坐标，
Figure SMS_78
表示粗预测框左上角点的坐标，/>
Figure SMS_79
表示粗预测框右下角坐标，k表示采样点位置/>
Figure SMS_80
，N表示采样点数量，h和w分别表示预测框的高和宽。
优选地，预设的网络损失函数包括分类损失Focal Loss和框预测损失GIoU Loss，分类损失包括粗分类损失
Figure SMS_81
和最终细化后的分类损失/>
Figure SMS_82
，框预测损失GIoU Loss包括粗预测损失/>
Figure SMS_83
和细预测损失/>
Figure SMS_84
；
分类损失Focal Loss，计算方式如下：
Figure SMS_85
；
Figure SMS_86
；
其中，y代表分类的真实标签，p代表粗分类或细分类的预测值，
Figure SMS_87
是超参数，用于调节粗-细分类损失之间的权重；
框预测损失GIoU Loss，计算方式如下：
Figure SMS_88
；
Figure SMS_89
；
其中，IoU表示标签和预测框之间的交并比，C表示最小封闭形状，
Figure SMS_90
表示C的面积，U表示A和B的面积，/>
Figure SMS_91
是超参数，用于调节粗-细框预测损失之间的权重；
最终整个网络的损失函数计算方式如下：
Figure SMS_92
；
其中，
Figure SMS_93
是超参数，用于调节分类和框预测损失之间的权重占比。
附图说明
图1为本发明一实施例中一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法流程图；
图2为本发明一实施例中缺陷检测网络模型的结构示意图；
图3为本发明一实施例中语义引导特征擦除模块的结构示意图；
图4为本发明一实施例中缺陷特征增强网络的结构示意图；
图5为本发明一实施例中边界感知模块的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法，方法包括以下步骤：
S100：利用高清工业相机对飞机蒙皮进行拍照获取图片数据，并对图片数据进行预处理；
S200：通过标注软件对预处理好的数据进行标注，获取用于网络训练的数据集；
S300：建立一个基于特征擦除和边界细化的缺陷检测网络模型，其中，缺陷检测网络模型包括依次连接的特征提取网络、语义引导的特征擦除模块、多尺度特征融合网络和基于边界细化的缺陷预测网络，特征提取网络用于提取多尺度特征图；语义引导的特征擦除模块用于对多尺度特征图进行处理，使特征图的预设区域有预设概率置零；多尺度特征融合网络用于将处理后的不同尺度的特征进行深度融合得到融合后的多尺度特征图；基于边界细化的缺陷预测网络用于根据融合后的多尺度特征图进行预测得到分类预测结果和框预测结果；
S400：利用数据集对缺陷检测网络模型进行训练得到分类预测结果和框预测结果，根据分类预测结果、框预测结果和预设的网络损失函数进行反向传播对网络权重进行更新，在完成预设训练轮次之后，得到训练好的缺陷检测网络模型；
S500：利用训练好的缺陷检测网络模型对直接采集到的蒙皮涂胶图像进行检测，并得到质量缺陷检测结果。
具体地，缺陷检测网络模型的结构示意图如图2所示。
上述一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法，基于特征擦除和边界细化的缺陷检测网络模型，可以快速准确地实现飞机蒙皮涂胶缺陷的无损检测，推动蒙皮高质量智能制造进程。
在一个实施例中，如图3所示，S300中特征提取网络用于提取多尺度特征图，语义引导特征擦除模块用于对多尺度特征图进行处理，使特征图的预设区域有预设概率置零，包括：
S311：数据集中的缺陷图片经过特征提取网络中的残差网络提取之后得到三个具有不同尺度大小的输入特征图；
S312：按照预设的大小将任一输入特征图
Figure SMS_94
进行切块，得到大小、通道数相同的特征块/>
Figure SMS_95
，其中，/>
Figure SMS_96
代表特征块的数量；
S313：将输入特征图
Figure SMS_97
输入到全局平均池化层中得到具有全局语义特征信息的全局语义特征g；
S314：计算每个特征块
Figure SMS_98
和全局语义特征g之间的语义相似度cos_sim，其中相似度度量方式采用余弦距离，计算公式如下：
Figure SMS_99
；
S315：根据语义相似度cos_sim从大到小排序得到
Figure SMS_100
，并取出相似度高的前K个矩阵块/>
Figure SMS_101
；
S316：将
Figure SMS_102
特征输入到DropOut层当中，设置DropOut的概率，即/>
Figure SMS_103
特征中每个元素会有预设概率被设置为零。
具体地， 缺陷图片经过残差网络提取之后得到三个具有不同尺度大小的特征图F1，F2，F3。为了增强网络的鲁棒性，采用一种基于语义引导特征擦除模块对特征处理，使特征图的部分区域有一定概率置零。在本实施例中，DropOut的概率设置为0.4，即
Figure SMS_104
特征中每个元素会有0.4的概率被设置为0，这样可以增强神经网络的特征提取能力，并且提取到的特征更具备鲁棒性。因为/>
Figure SMS_105
和全局语义信息具有较高的相似度，因此/>
Figure SMS_106
的特征相比于其他特征更具判别性。
进一步地，特征融合模块中往往包含有特征金字塔FPN（Feature PyramidNetwork），特征金字塔的存在是为了获取具备高层语义信息和底层位置信息的特征图，然后会将不同尺度的特征进行深度融合。由于ResNet不同层的特征图大小不一样，特征图映射回原图的感受野也不同，并且通常高层特征更具语义性，而低层特征属于像素级位置信息。通过FPN的横向连接和纵向连接等方式进行特征融合，使高层语义特征和低层像素特征能够有效融合。由于飞机蒙皮表面缺陷细小、缺陷和背景之间的各自特征不明显，将带有语义信息的高层特征图经过自顶向下的特征融合模块，可以使底层像素级特征具备高层语义信息，进而提升检测精度。为此，采用了自顶向下的特征金字塔结构，对异物特征进行融合。本发明方法中区别于相较于经典目标检测算法RetinaNet的五层FPN结构，只选择了4层不同尺度大小的特征图构建特征金字塔结构，其通道数分别是256、512、1024、2048，通过1×1卷积之后将通道数统一为256维。这可以在保证检测飞机蒙皮缺陷精度的同时，减少检测过程中的参数量，优化了检测的网络结构，减少了算力损耗，一定程度上面加速了检测速度，达到节省训练时间的目的。
在一个实施例中，如图2所示，S300中基于边界细化的缺陷预测网络用于根据融合后的多尺度特征图进行预测得到分类预测结果和框预测结果，包括：
S321：将融合后的多尺度特征图
Figure SMS_107
输入到缺陷特征增强网络之中得到缺陷形状增强后的特征/>
Figure SMS_108
；
S322：将缺陷形状增强增强后的特征
Figure SMS_109
分别输入到粗分类分支和粗框预测分支得到粗分类结果/>
Figure SMS_110
、增强后的分类特征、粗框预测结果/>
Figure SMS_111
和增强后的粗框预测；将粗分类结果和增强后的分类特征输入到粗分类分支的边界感知模块之中得到细化分类特征/>
Figure SMS_112
，将粗框预测结果与增强后的框预测输入到粗框预测分支的边界感知模块得到细化框预测特征/>
Figure SMS_113
；
S323：将细化分类特征
Figure SMS_114
和细化框预测特征/>
Figure SMS_115
分别和缺陷形状增强后的特征/>
Figure SMS_116
融合，分别再输入到两个1x1卷积层中得到最终的分类预测结果/>
Figure SMS_117
和框预测结果/>
Figure SMS_118
。
在一个实施例中，如图4所示，S321包括：
S3211：将融合后的多尺度特征图
Figure SMS_119
输入到缺陷特征增强网络进行横向和纵向的全局平均池化操作，得到具有细长形状感知能力的横向特征/>
Figure SMS_120
和纵向特征/>
Figure SMS_121
；
S3212：通过双线性插值法对横向特征
Figure SMS_122
和纵向特征/>
Figure SMS_123
进行插值，得到和融合后的多尺度特征图/>
Figure SMS_124
大小一致的横向特征/>
Figure SMS_125
和纵向特征/>
Figure SMS_126
，具体为：
Figure SMS_127
；
Figure SMS_128
；
其中，
Figure SMS_129
表示双线性插值法，/>
Figure SMS_130
和/>
Figure SMS_131
分别代表纵向和横向的全局平均池化操作；
S3213：再将横向特征
Figure SMS_132
和纵向特征/>
Figure SMS_133
进行对应元素相加，得到具备纵横两方向感知的融合特征，并依次经过1x1卷积和Sigmoid层得到和融合后的多尺度特征图/>
Figure SMS_134
大小一致的权重w；
S3214：将权重w与融合后的多尺度特征图
Figure SMS_135
进行元素相乘得到缺陷形状增强后的特征/>
Figure SMS_136
，计算公式如下：
Figure SMS_137
；
Figure SMS_138
；
其中，
Figure SMS_139
表示Sigmoid层，conv1表示1x1卷积，“+”表示元素相加，“/>
Figure SMS_140
”表示逐元素相乘。
具体地，由于蒙皮涂胶缺陷大多为细长形且微弱，其形态特征容易被网络模型忽视，利用缺陷特征增强网络对蒙皮涂胶缺陷进行增强可以保障其形态特征的有效增强。
在一个实施例中，如图2所示，粗分类分支和粗框预测分支均包括4个3x3卷积层和1个1x1卷积层，S322包括：
S3221：将缺陷形状增强后的特征
Figure SMS_142
分别输入到粗分类分支和粗框预测分支中，通过4个3x3卷积层得到增强后的分类特征/>
Figure SMS_146
和增强后的粗框预测特征/>
Figure SMS_148
，增强后的分类特征/>
Figure SMS_141
通过1x1卷积层输出得到粗分类结果/>
Figure SMS_144
，增强后的粗框预测特征
Figure SMS_147
通过1x1卷积层输出得到粗框坐标偏移量/>
Figure SMS_149
，将粗框坐标偏移量
Figure SMS_143
解码得到预测框坐标/>
Figure SMS_145
；
S3222：将预测框坐标
Figure SMS_150
和增强后的分类特征/>
Figure SMS_151
输入至粗分类分支的边界感知模块得到具有边界感知的细化分类特征/>
Figure SMS_152
，将预测框坐标/>
Figure SMS_153
和增强后的粗框预测特征/>
Figure SMS_154
输入至粗框预测分支的边界感知模块得到具有边界感知的细化框预测特征/>
Figure SMS_155
。
在一个实施例中，如图5所示，S3222包括：
S32221：将增强后的分类特征
Figure SMS_156
和增强后的粗框预测特征/>
Figure SMS_157
分别输入到2个3x3卷积层得到中心特征/>
Figure SMS_158
和边界特征/>
Figure SMS_159
，将中心特征/>
Figure SMS_160
和边界特征/>
Figure SMS_161
进行拼接得到拼接后的特征/>
Figure SMS_162
；
S32222：将特征
Figure SMS_163
和粗预测框坐标/>
Figure SMS_164
输入到边界对齐模块中，边界对齐模块先对粗预测框的四条边均匀采样N个点，并通过双线性插值法得到每个点对应特征图/>
Figure SMS_165
的值，取N个点中的特征最大值作为对应边的边界感知值，得到输出/>
Figure SMS_166
；
S32223：将特征
Figure SMS_167
同时输入到3x3卷积层和Sigmoid函数得到每个点的掩码mask：
Figure SMS_168
；
Figure SMS_169
S32224：将掩码mask和拼接后的特征
Figure SMS_170
进行逐元素相乘，并将其经过1x1卷积降维之后，作为边界感知模块的输出/>
Figure SMS_171
或/>
Figure SMS_172
。
进一步地，S32222的计算公式如下：
Figure SMS_173
；
其中，C表示通道数，（i，j）表示特征点坐标，
Figure SMS_174
表示粗预测框左上角点的坐标，/>
Figure SMS_175
表示粗预测框右下角坐标，k表示采样点位置/>
Figure SMS_176
，N表示采样点数量，h和w分别表示预测框的高和宽。
进一步地，根据残差学习的思路，将得到的具备边界感知的特征
Figure SMS_177
或/>
Figure SMS_178
与形状增强后的特征/>
Figure SMS_179
进行元素相加，再将其输入到1x1卷积层中得到细化后最终的分类分数/>
Figure SMS_180
或框偏移量的预测结果/>
Figure SMS_181
。
最后，分别计算粗分类、粗框预测、最终分类预测、最终框预测与真实标签之间的损失。
在一个实施例中，预设的网络损失函数包括分类损失Focal Loss和框预测损失GIoU Loss，分类损失包括粗分类损失
Figure SMS_182
和最终细化后的分类损失/>
Figure SMS_183
，框预测损失GIoU Loss包括粗预测损失/>
Figure SMS_184
和细预测损失/>
Figure SMS_185
；
分类损失Focal Loss，计算方式如下：
Figure SMS_186
；
Figure SMS_187
；
其中，y代表分类的真实标签，p代表粗分类或细分类的预测值，
Figure SMS_188
是超参数，用于调节粗-细分类损失之间的权重。
框预测损失GIoU Loss，计算方式如下：
Figure SMS_189
；
Figure SMS_190
；
其中，IoU表示标签和预测框之间的交并比，C表示最小封闭形状，
Figure SMS_191
表示C的面积，U表示A和B的面积，/>
Figure SMS_192
是超参数，用于调节粗-细框预测损失之间的权重；
最终整个网络的损失函数计算方式如下：
Figure SMS_193
；
其中，
Figure SMS_194
是超参数，用于调节分类和框预测损失之间的权重占比。
具体地，对于分类损失包括了粗分类损失
Figure SMS_195
和最终细化后的分类损失
Figure SMS_196
两个方面，为了缓解正负样本不平衡的问题，采用Focal Loss作为分类损失；框预测损失也相应的包含了粗预测损失/>
Figure SMS_197
和细预测损失/>
Figure SMS_198
两种，损失均采用了GIoU Loss作为框预测损失。
进一步地，利用反向传播和随机梯度下降算法对神经网络进行训练，并保存训练权重。
首先反向传播算法将计算损失函数相对于每个参数的梯度，使用链式法则按相反的顺序从输出层到输入层遍历网络来计算梯度。反向传播算法会重复利用前向传播中存储的中间值，来避免重复计算，节约计算时间。
如果使用梯度下降法，则每个自变量迭代的计算代价为
Figure SMS_199
，，它随n（样本数目）线性增长。因此，当训练数据集较大时，每次迭代的梯度下降计算代价将较高，使用随机梯度下降可以降低迭代时候产生的计算代价。在随机梯度下降的每次迭代中，该算法会随机选择一部分样本，通过计算这些样本的梯度来更新模型参数，从而逐步接近最优解。我们对数据样本随机均匀采样一个索引i，其中/>
Figure SMS_200
，并计算梯度/>
Figure SMS_201
以更新权重/>
Figure SMS_202
：
Figure SMS_203
；
其中，
Figure SMS_204
是神经网络中参数更新后的值，/>
Figure SMS_205
是当前参数值，/>
Figure SMS_206
是梯度，/>
Figure SMS_207
是函数，/>
Figure SMS_208
是学习率。
重复训练过程，将重复执行前向传播、计算损失、反向传播和更新权重和偏差的步骤，直到模型收敛为止，并通过比较损失函数值的变化来判断模型是否收敛。
保存训练权重，一旦模型训练完成，保存训练权重。这些权重可以用于进行预测。将权重保存到文件中，以便在需要时重新加载。
上述一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法，基于特征擦除和边界细化的缺陷检测网络模型，可以快速准确地实现飞机蒙皮涂胶缺陷的无损检测，推动蒙皮高质量智能制造进程。解决了现有技术中检测技术的获取大量依赖人工，存在一致性差、效率低等突出问题。
以上对本发明所提供的一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法，其特征在于，所述方法包括以下步骤：
S100：利用高清工业相机对飞机蒙皮进行拍照获取图片数据，并对所述图片数据进行预处理；
S200：通过标注软件对预处理好的数据进行标注，获取用于网络训练的数据集；
S300：建立一个基于特征擦除和边界细化的缺陷检测网络模型，其中，所述缺陷检测网络模型包括依次连接的特征提取网络、语义引导的特征擦除模块、多尺度特征融合网络和基于边界细化的缺陷预测网络，所述特征提取网络用于提取多尺度特征图；所述语义引导的特征擦除模块用于对所述多尺度特征图进行处理，使特征图的预设区域有预设概率置零；所述多尺度特征融合网络用于将处理后的不同尺度的特征进行深度融合得到融合后的多尺度特征图；所述基于边界细化的缺陷预测网络用于根据融合后的多尺度特征图进行预测得到分类预测结果和框预测结果；
S400：利用所述数据集对所述缺陷检测网络模型进行训练得到分类预测结果和框预测结果，根据所述分类预测结果、所述框预测结果和预设的网络损失函数进行反向传播对网络权重进行更新，在完成预设训练轮次之后，得到训练好的缺陷检测网络模型；
S500：利用所述训练好的缺陷检测网络模型对直接采集到的蒙皮涂胶图像进行检测，并得到质量缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，S300中所述特征提取网络用于提取多尺度特征图，所述语义引导特征擦除模块用于对所述多尺度特征图进行处理，使特征图的预设区域有预设概率置零，包括：
S311：所述数据集中的缺陷图片经过所述特征提取网络中的残差网络提取之后得到三个具有不同尺度大小的输入特征图；
S312：按照预设的大小将任一所述输入特征图
Figure QLYQS_1
进行切块，得到大小、通道数相同的特征块/>
Figure QLYQS_2
，其中，/>
Figure QLYQS_3
代表特征块的数量；
S313：将所述输入特征图
Figure QLYQS_4
输入到全局平均池化层中得到具有全局语义特征信息的全局语义特征g；
S314：计算所述每个特征块
Figure QLYQS_5
和所述全局语义特征g之间的语义相似度cos_sim，其中相似度度量方式采用余弦距离，计算公式如下：
Figure QLYQS_6
；
S315：根据所述语义相似度cos_sim从大到小排序得到
Figure QLYQS_7
，并取出相似度高的前K个矩阵块/>
Figure QLYQS_8
；
S316：将所述
Figure QLYQS_9
特征输入到DropOut层当中，设置DropOut的概率，即/>
Figure QLYQS_10
特征中每个元素会有预设概率被设置为零。
3.根据权利要求2所述的方法，其特征在于，S300中基于边界细化的缺陷预测网络用于根据融合后的多尺度特征图进行预测得到分类预测结果和框预测结果，包括：
S321：将所述融合后的多尺度特征图
Figure QLYQS_11
输入到缺陷特征增强网络之中得到缺陷形状增强后的特征/>
Figure QLYQS_12
；
S322：将所述缺陷形状增强增强后的特征
Figure QLYQS_13
分别输入到粗分类分支和粗框预测分支得到粗分类结果/>
Figure QLYQS_14
、增强后的分类特征、粗框预测结果/>
Figure QLYQS_15
和增强后的粗框预测；将所述粗分类结果和所述增强后的分类特征输入到所述粗分类分支的边界感知模块之中得到细化分类特征/>
Figure QLYQS_16
，将所述粗框预测结果与所述增强后的框预测输入到所述粗框预测分支的边界感知模块得到细化框预测特征/>
Figure QLYQS_17
；
S323：将所述细化分类特征
Figure QLYQS_18
和所述细化框预测特征/>
Figure QLYQS_19
分别和所述缺陷形状增强后的特征/>
Figure QLYQS_20
融合，分别再输入到两个1x1卷积层中得到最终的分类预测结果/>
Figure QLYQS_21
和框预测结果/>
Figure QLYQS_22
。
4.根据权利要求3所述的方法，其特征在于，S321包括：
S3211：将所述融合后的多尺度特征图
Figure QLYQS_23
输入到缺陷特征增强网络进行横向和纵向的全局平均池化操作，得到具有细长形状感知能力的横向特征/>
Figure QLYQS_24
和纵向特征/>
Figure QLYQS_25
；
S3212：通过双线性插值法对所述横向特征
Figure QLYQS_26
和纵向特征/>
Figure QLYQS_27
进行插值，得到和所述融合后的多尺度特征图/>
Figure QLYQS_28
大小一致的横向特征/>
Figure QLYQS_29
和纵向特征/>
Figure QLYQS_30
，具体为：
Figure QLYQS_31
；
Figure QLYQS_32
；
其中，
Figure QLYQS_33
表示双线性插值法，/>
Figure QLYQS_34
和/>
Figure QLYQS_35
分别代表纵向和横向的全局平均池化操作；
S3213：再将所述横向特征
Figure QLYQS_36
和所述纵向特征/>
Figure QLYQS_37
进行对应元素相加，得到具备纵横两方向感知的融合特征，并依次经过1x1卷积和Sigmoid层得到和所述融合后的多尺度特征图
Figure QLYQS_38
大小一致的权重w；
S3214：将所述权重w与所述融合后的多尺度特征图
Figure QLYQS_39
进行元素相乘得到缺陷形状增强后的特征/>
Figure QLYQS_40
，计算公式如下：
Figure QLYQS_41
；
Figure QLYQS_42
；
其中，
Figure QLYQS_43
表示Sigmoid层，conv1表示1x1卷积，“+”表示元素相加，“/>
Figure QLYQS_44
”表示逐元素相乘。
5.根据权利要求4所述的方法，其特征在于，所述粗分类分支和所述粗框预测分支均包括4个3x3卷积层和1个1x1卷积层，S322包括：
S3221：将所述缺陷形状增强后的特征
Figure QLYQS_46
分别输入到所述粗分类分支和所述粗框预测分支中，通过4个3x3卷积层得到增强后的分类特征/>
Figure QLYQS_49
和增强后的粗框预测特征/>
Figure QLYQS_51
，所述增强后的分类特征/>
Figure QLYQS_47
通过1x1卷积层输出得到粗分类结果/>
Figure QLYQS_50
，所述增强后的粗框预测特征/>
Figure QLYQS_52
通过1x1卷积层输出得到粗框坐标偏移量/>
Figure QLYQS_53
，将所述粗框坐标偏移量/>
Figure QLYQS_45
解码得到预测框坐标/>
Figure QLYQS_48
；
S3222：将所述预测框坐标
Figure QLYQS_54
和所述增强后的分类特征/>
Figure QLYQS_55
输入至所述粗分类分支的边界感知模块得到具有边界感知的细化分类特征/>
Figure QLYQS_56
，将所述预测框坐标
Figure QLYQS_57
和所述增强后的粗框预测特征/>
Figure QLYQS_58
输入至所述粗框预测分支的边界感知模块得到具有边界感知的细化框预测特征/>
Figure QLYQS_59
。
6.根据权利要求5所述的方法，其特征在于，S3222包括：
S32221：将所述增强后的分类特征
Figure QLYQS_60
和所述增强后的粗框预测特征/>
Figure QLYQS_61
分别输入到2个3x3卷积层得到中心特征/>
Figure QLYQS_62
和边界特征/>
Figure QLYQS_63
，将所述中心特征/>
Figure QLYQS_64
和所述边界特征
Figure QLYQS_65
进行拼接得到拼接后的特征/>
Figure QLYQS_66
；
S32222：将所述特征
Figure QLYQS_67
和所述粗预测框坐标/>
Figure QLYQS_68
输入到边界对齐模块中，所述边界对齐模块先对粗预测框的四条边均匀采样N个点，并通过双线性插值法得到每个点对应特征图/>
Figure QLYQS_69
的值，取N个点中的特征最大值作为对应边的边界感知值，得到输出/>
Figure QLYQS_70
；
S32223：将所述特征
Figure QLYQS_71
同时输入到3x3卷积层和Sigmoid函数得到每个点的掩码mask：
Figure QLYQS_72
；
Figure QLYQS_73
；
S32224：将所述掩码mask和所述拼接后的特征
Figure QLYQS_74
进行逐元素相乘，并将其经过1x1卷积降维之后，作为所述边界感知模块的输出/>
Figure QLYQS_75
或/>
Figure QLYQS_76
。
7.根据权利要求6所述的方法，其特征在于，S32222的计算公式如下：
Figure QLYQS_77
；
其中，C表示通道数，（i，j）表示特征点坐标，
Figure QLYQS_78
表示粗预测框左上角点的坐标，
Figure QLYQS_79
表示粗预测框右下角坐标，k表示采样点位置/>
Figure QLYQS_80
，N表示采样点数量，h和w分别表示预测框的高和宽。
8.根据权利要求7所述的方法，其特征在于，预设的网络损失函数包括分类损失FocalLoss和框预测损失GIoU Loss，所述分类损失包括粗分类损失
Figure QLYQS_81
和最终细化后的分类损失/>
Figure QLYQS_82
，所述框预测损失GIoU Loss包括粗预测损失/>
Figure QLYQS_83
和细预测损失/>
Figure QLYQS_84
；
所述分类损失Focal Loss，计算方式如下：
Figure QLYQS_85
；
Figure QLYQS_86
；
其中，y代表分类的真实标签，p代表粗分类或细分类的预测值，
Figure QLYQS_87
是超参数，用于调节粗-细分类损失之间的权重；
所述框预测损失GIoU Loss，计算方式如下：
Figure QLYQS_88
；
Figure QLYQS_89
；
其中，IoU表示标签和预测框之间的交并比，C表示最小封闭形状，
Figure QLYQS_90
表示C的面积，U表示A和B的面积，/>
Figure QLYQS_91
是超参数，用于调节粗-细框预测损失之间的权重；
最终整个网络的损失函数计算方式如下：
Figure QLYQS_92
；
其中，
Figure QLYQS_93
是超参数，用于调节分类和框预测损失之间的权重占比。
CN202310676359.XA 2023-06-08 2023-06-08 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法 Active CN116402821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310676359.XA CN116402821B (zh) 2023-06-08 2023-06-08 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310676359.XA CN116402821B (zh) 2023-06-08 2023-06-08 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116402821A true CN116402821A (zh) 2023-07-07
CN116402821B CN116402821B (zh) 2023-09-22

Family

ID=87010910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310676359.XA Active CN116402821B (zh) 2023-06-08 2023-06-08 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116402821B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116818063A (zh) * 2023-08-30 2023-09-29 江铃汽车股份有限公司 汽车芯片散热胶涂覆质量检测方法、装置及可读存储介质
CN117474914A (zh) * 2023-12-27 2024-01-30 湖南大学 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法
CN117576095A (zh) * 2024-01-16 2024-02-20 南京航空航天大学 一种多尺度学习任务的金属表面缺陷检测和分类方法
CN117710379A (zh) * 2024-02-06 2024-03-15 杭州灵西机器人智能科技有限公司 一种无损检测模型构建方法、无损检测方法、装置及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
WO2019237646A1 (zh) * 2018-06-14 2019-12-19 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
US20210331191A1 (en) * 2020-04-22 2021-10-28 Nanjing University Of Aeronautics And Astronautics Method for automatic glue-spraying of stringer and inspection of glue-spraying quality
CN114005096A (zh) * 2021-11-09 2022-02-01 河北工业大学 基于特征增强的车辆重识别方法
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114565579A (zh) * 2022-03-02 2022-05-31 南京航空航天大学 一种基于深度学习的飞机蒙皮表面损伤检测方法及系统
CN115063725A (zh) * 2022-06-23 2022-09-16 中国民航大学 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别系统
CN115829995A (zh) * 2022-12-20 2023-03-21 浙江理工大学 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
US20230136547A1 (en) * 2020-06-29 2023-05-04 Zhejiang Dahua Technology Co., Ltd. Target re-identification method, network training method thereof, and related device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
WO2019237646A1 (zh) * 2018-06-14 2019-12-19 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
US20210331191A1 (en) * 2020-04-22 2021-10-28 Nanjing University Of Aeronautics And Astronautics Method for automatic glue-spraying of stringer and inspection of glue-spraying quality
US20230136547A1 (en) * 2020-06-29 2023-05-04 Zhejiang Dahua Technology Co., Ltd. Target re-identification method, network training method thereof, and related device
CN114005096A (zh) * 2021-11-09 2022-02-01 河北工业大学 基于特征增强的车辆重识别方法
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114565579A (zh) * 2022-03-02 2022-05-31 南京航空航天大学 一种基于深度学习的飞机蒙皮表面损伤检测方法及系统
CN115063725A (zh) * 2022-06-23 2022-09-16 中国民航大学 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别系统
CN115829995A (zh) * 2022-12-20 2023-03-21 浙江理工大学 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116818063A (zh) * 2023-08-30 2023-09-29 江铃汽车股份有限公司 汽车芯片散热胶涂覆质量检测方法、装置及可读存储介质
CN116818063B (zh) * 2023-08-30 2023-11-14 江铃汽车股份有限公司 汽车芯片散热胶涂覆质量检测方法、装置及可读存储介质
CN117474914A (zh) * 2023-12-27 2024-01-30 湖南大学 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法
CN117474914B (zh) * 2023-12-27 2024-04-12 湖南大学 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法
CN117576095A (zh) * 2024-01-16 2024-02-20 南京航空航天大学 一种多尺度学习任务的金属表面缺陷检测和分类方法
CN117576095B (zh) * 2024-01-16 2024-04-05 南京航空航天大学 一种多尺度学习任务的金属表面缺陷检测和分类方法
CN117710379A (zh) * 2024-02-06 2024-03-15 杭州灵西机器人智能科技有限公司 一种无损检测模型构建方法、无损检测方法、装置及介质

Also Published As

Publication number Publication date
CN116402821B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN116402821B (zh) 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN110298387A (zh) 融入像素级attention机制的深度神经网络目标检测方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN110826549A (zh) 基于计算机视觉的巡检机器人仪表图像识别方法及系统
CN111178206A (zh) 一种基于改进yolo的建筑预埋件检测方法及系统
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN113989662A (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
CN110659601B (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN113408423A (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN113989261A (zh) 基于Unet改进的无人机视角下红外图像光伏板边界分割方法
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN111626241B (zh) 一种人脸检测方法及装置
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN115115954A (zh) 基于无人机遥感的松材线虫病疫区变色立木智能识别方法
Qiu et al. Underwater sea cucumbers detection based on pruned SSD
CN110796716B (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN109255794B (zh) 一种标准件深度全卷积特征边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant