CN117474914B - 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法 - Google Patents

一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法 Download PDF

Info

Publication number
CN117474914B
CN117474914B CN202311812865.3A CN202311812865A CN117474914B CN 117474914 B CN117474914 B CN 117474914B CN 202311812865 A CN202311812865 A CN 202311812865A CN 117474914 B CN117474914 B CN 117474914B
Authority
CN
China
Prior art keywords
network model
loss
uncertainty
feature
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311812865.3A
Other languages
English (en)
Other versions
CN117474914A (zh
Inventor
毛建旭
易俊飞
王耀南
张辉
刘彩苹
曾凯
陶梓铭
谢核
谭浩然
朱青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202311812865.3A priority Critical patent/CN117474914B/zh
Publication of CN117474914A publication Critical patent/CN117474914A/zh
Application granted granted Critical
Publication of CN117474914B publication Critical patent/CN117474914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法，包括：构建用于网络训练的数据集；构建用于飞机蒙皮缺陷检测的教师网络模型和轻量化学生网络模型，使用数据集对教师网络模型进行训练，并将训练好的教师网络模型权重文件保存并载入到教师网络模型，使用数据集对学生网络模型进行训练，根据教师网络模型和学生网络模型输出的多尺度特征计算不确定性预测的知识蒸馏损失，结合蒸馏损失和学生网络模型原本的检测损失利用反向传播算法来训练学生网络模型，保存训练好的学生网络模型的权重文件；利用训练好的轻量化学生网络模型实现飞机蒙皮的缺陷检测。在确保精度的前提下，大幅度降低计算复杂度，提高自动化检测技术应用的实时性。

Description

一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法
技术领域
本发明属于飞机蒙皮缺陷检测技术领域，特别是涉及一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法。
背景技术
随着航空工业的飞速发展，在飞机制造过程中，飞机蒙皮的缺陷检测技术成为决定飞机整体性能高低的关键因素。在飞机航行过程中，蒙皮持续受到外界的压力作用，容易出现裂纹、凹陷等缺陷，这些缺陷严重影响了飞机性能和航行安全。人工缺陷检测方法存在效率低、依赖经验、成本高昂等问题，因此迫切需要一种高效、准确的自动化检测方法。
近年来，计算机视觉和深度学习技术迅猛发展，自动化缺陷检测成为飞机制造业的研究热点。然而，传统深度学习方法存在计算资源消耗大、模型复杂等问题，很难应用在大规模飞机蒙皮图像的处理上，对于飞机制造现场这类对实时性要求较高的场景，传统方法并不适用。
为解决上述问题，提出了一种基于轻量化神经网络的飞机蒙皮缺陷检测方法。
发明内容
针对以上技术问题，本发明提供一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法。
本发明解决其技术问题采用的技术方案是：
一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法，所述方法包括以下步骤：
S100：对飞机蒙皮进行拍照，并对拍摄的照片进行预处理操作，使用标注软件进行标注，构建用于网络训练的数据集；
S200：构建用于飞机蒙皮缺陷检测的教师网络模型和轻量化学生网络模型；
S300：使用数据集对教师网络模型进行训练，并将训练好的教师网络模型权重文件保存；
S400：载入保存的教师网络模型权重文件到教师网络模型，使用数据集对学生网络模型进行训练，根据教师网络模型和学生网络模型输出的多尺度特征计算不确定性预测的知识蒸馏损失，结合蒸馏损失和学生网络模型原本的检测损失利用反向传播算法来训练学生网络模型，利用不确定性预测的知识蒸馏方法实现教师网络模型对学生网络模型的知识传递，保存训练好的学生网络模型的权重文件，作为最终用于飞机蒙皮缺陷检测的轻量化学生网络网络的权重文件；
S500：将训练好的用于飞机蒙皮缺陷检测的轻量化学生网络模型部署和应用到自主移动机器人上，实现飞机蒙皮的动态、实时缺陷检测。
优选地，S200中教师网络模型包括用于多尺度特征提取的深度为101层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别。
优选地，S200中轻量化网络模型包括用于多尺度特征提取的深度为18层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别。
优选地，S400包括：
S410：载入保存的教师网络模型权重文件到教师网络模型，使用数据集对轻量化学生网络模型进行训练；
S420：数据集中的缺陷图片分别经过教师网络模型和学生网络模型的残差网络和特征金字塔之后得到具有不同尺度大小的特征图和/>，其中，/>，/>表示学生网络模型的多尺度特征，/>表示教师网络模型的多尺度特征；
S430：利用不确定性预测的知识蒸馏方法计算具有相同尺寸大小的特征图和之间的不确定性预测的知识蒸馏损失；其中，基于不确定性预测的知识蒸馏损失包括不确定性前景损失/>、不确定性背景损失/>、注意力损失/>和全局损失/>；
S440：结合蒸馏损失和学生网络模型原本的检测损失利用反向传播算法来训练学生网络模型，利用不确定性预测的知识蒸馏方法实现教师网络模型对学生网络模型的知识传递，保存训练好的学生网络模型的权重文件，作为最终用于飞机蒙皮缺陷检测的轻量化学生网络网络的权重文件。
优选地，S430包括：
S431：计算具有相同尺寸大小的特征图和/>之间的空间注意力损失、通道注意力损失、特征损失和全局信息损失，根据空间注意力损失和通道注意力损失计算得到注意力损失；
S432：搭建不确定性预测网络，包括特征映射模块、MLP编码模块、特征拼接模块和不确定性预测模块；
S433：计算特征图的掩码和尺度缩放矩阵，将空间注意力损失、通道注意力损失、特征损失和全局信息损失输出至不确定性预测网络，通过特征映射模块中1x1卷积层计算不同损失的深度特征映射，再利用MLP编码模块的多层感知机技术分别对损失的特征映射进行编码得到编码特征，并通过特征拼接模块对不同损失的编码特征进行拼接，通过不确定性预测模块对损失的编码特征进行解码，进而预测出每个像素位置的不确定性因子；结合不确定因子得到不确定前景损失和不确定性背景损失。
S434：根据注意力损失、全局信息损失、不确定前景损失和不确定性背景损失计算得到不确定性预测的知识蒸馏损失。
优选地，S431中计算具有相同尺寸大小的特征图和/>之间的空间注意力损失、通道注意力损失，根据空间注意力损失和通道注意力损失计算得到注意力损失，具体为：
利用空间注意力和通道注意力/>对传递过程进行约束，/>和的计算公式如下：
；
；
；
；
其中，和/>表示教师网络模型的空间注意力和通道注意力，/>和/>表示学生网络模型的空间注意力和通道注意力，C代表通道总数，c代表当前通道，/>表示坐标位置；
进一步通过空间和通道注意力/>计算空间注意力掩码/>和通道注意力掩码/>，具体计算公式如下：
；
；
；
；
其中，和/>表示教师网络模型的空间注意力掩码和通道注意力掩码，/>和/>表示学生网络模型的空间注意力掩码和通道注意力掩码，T是超参数用于平滑softmax函数的分布；
通过注意力损失将空间和通道掩码背后对应的知识进行传递，具体计算公式如下：
；
；
；
其中，是超参数用于调整注意力损失的大小，/>和/>分别代表教师网络模型和学生网络模型的空间掩码，/>和/>分别代表教师网络模型和学生网络模型的通道掩码，MSE代表均方差误差。
优选地，S431中计算具有相同尺寸大小的特征图和/>之间的全局信息损失，具体为：
教师网络模型的全局关系采用GcBlock网络计算，计算方式如下：
；
学生网络模型的全局关系采用GcBlock网络计算，计算方式如下：
；
其中，，/>和/>分别代表了卷积层，/>代表了层级归一化，/>表示特征图中像素点的数量；
通过均方差进一步计算教师网络模型和学生网络模型全局损失，计算公式如下：
；
其中，是超参数用于调整全局损失的大小，MSE代表均方差误差。
优选地，S431中计算具有相同尺寸大小的特征图和/>之间的特征损失，具体为：
。
优选地，S433具体为：
为了对特征图的前景和背景分开蒸馏，前景对应了飞机蒙皮缺陷，背景对应了非缺陷，计算特征图的掩码，具体计算公式如下：
；
其中，表示坐标位置，GT表示真实标注框；
为了防止计算过程中的损失值过大，通过计算和/>的乘积来减小/>的数值，其中/>的计算方式如下：
；
；
其中，表示尺度缩放矩阵，H和W分别表示特征图的高和宽，/>表示坐标位置，GT表示真实标注框；
先利用1x1卷积层计算不同损失的深度特征映射，再利用多层感知机技术MLP分别对损失的特征映射进行编码得到编码特征E，并通过线性层对损失的编码特征进行解码，从而预测出每个像素位置的不确定性因子U，具体的计算如下：
；
；
；
；
；
其中，和/>分别代表教师网络模型和学生网络模型的特征，conv1代表用于特征映射的1x1卷积层，MLP代表多层感知机，Cat表示将不同损失的编码特征进行拼接，predict是由线性层和ReLU层组成的不确定性预测网络，U表示每个像素点的不确定性；
不确定前景损失和不确定性背景损失/>计算如下：
；
；
其中，和/>适用于调整前景不确定性和背景不确定损失大小的超参数，/>是用于调整将学生网络模型通道数的自适应函数，/>表示教师网络模型中在c通道/>位置的特征值，/>表示学生网络模型中在c通道/>位置的特征值。
优选地，S434具体为：
；
其中，表示不确定性预测的知识蒸馏损失，/>表示不确定前景损失，/>表示不确定性背景损失，/>表示全局信息损失，/>表示注意力损失。
上述一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法，通过采用轻量级的神经网络结构，在确保检测精度的前提下，利用知识蒸馏的传递，能够大幅度降低计算复杂度，提高自动化检测技术应用的实时性。这一方法将为飞机制造过程中的自动化缺陷检测提供一种创新、高效的解决方案，为飞机航行安全提供坚实的技术保障，推动飞机制造业向数字化、智能化的方向迈进。
附图说明
图1为本发明一实施例中一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法的流程图；
图2为本发明一实施例中构建的用于飞机蒙皮缺陷检测的教师网络模型和轻量化学生网络模型的结构示意图；
图3为本发明一实施例中不确定性预测网络的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法，所述方法包括以下步骤：
S100：对飞机蒙皮进行拍照，并对拍摄的照片进行预处理操作，使用标注软件进行标注，构建用于网络训练的数据集。
具体地，利用高清工业相机对飞机蒙皮进行拍照，并对拍摄的照片进行翻转、缩放等预处理操作，使用标注软件进行标注，构建用于网络训练的数据集。
S200：构建用于飞机蒙皮缺陷检测的教师网络模型和轻量化学生网络模型。
在一个实施例中，如图2所示，S200中教师网络模型包括用于多尺度特征提取的深度为101层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别。
在一个实施例中，S200中轻量化网络模型包括用于多尺度特征提取的深度为18层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别。
具体地，构建一个参数量大但性能强的缺陷检测网络作为教师网络模型，构建一个参数量小但性能一般的缺陷检测网络作为学生网络模型。为了保证检测效率，采用单阶段目标检测网络作为飞机蒙皮缺陷检测的网络模型。该网络模型包括了用于多尺度特征提取的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块。
S300：使用数据集对教师网络模型进行训练，并将训练好的教师网络模型权重文件保存。
S400：载入保存的教师网络模型权重文件到教师网络模型，使用数据集对学生网络模型进行训练，根据教师网络模型和学生网络模型输出的多尺度特征计算不确定性预测的知识蒸馏损失，结合蒸馏损失和学生网络模型原本的检测损失利用反向传播算法来训练学生网络模型，利用不确定性预测的知识蒸馏方法实现教师网络模型对学生网络模型的知识传递，保存训练好的学生网络模型的权重文件，作为最终用于飞机蒙皮缺陷检测的轻量化学生网络网络的权重文件。
在一个实施例中S400包括：
S410：载入保存的教师网络模型权重文件到教师网络模型，使用数据集对轻量化学生网络模型进行训练；
S420：数据集中的缺陷图片分别经过教师网络模型和学生网络模型的残差网络和特征金字塔之后得到具有不同尺度大小的特征图和/>，其中，/>，/>表示学生网络模型的多尺度特征，/>表示教师网络模型的多尺度特征；
S430：利用不确定性预测的知识蒸馏方法计算具有相同尺寸大小的特征图和之间的不确定性预测的知识蒸馏损失；其中，基于不确定性预测的知识蒸馏损失包括不确定性前景损失/>、不确定性背景损失/>、注意力损失/>和全局损失/>；
S440：结合蒸馏损失和学生网络模型原本的检测损失利用反向传播算法来训练学生网络模型，利用不确定性预测的知识蒸馏方法实现教师网络模型对学生网络模型的知识传递，保存训练好的学生网络模型的权重文件，作为最终用于飞机蒙皮缺陷检测的轻量化学生网络网络的权重文件。
具体地，基于不确定性预测的知识蒸馏主要通过将不确定性引入到教师和学生网络模型的知识传递过程中，进而提升飞机蒙皮缺陷检测的效果。首先，缺陷图片分别经过教师网络模型和学生网络模型的残差网络和特征金字塔之后可以得到具有不同尺度大小的特征图，通过计算教师网络模型和学生网络模型中具有相同尺度的特征图之间的不确定性预测的知识蒸馏损失，结合反向传播算法来实现知识传递。基于不确定性预测的知识蒸馏损失包括了不确定性前景损失，和不确定性背景损失/>，注意力损失/>和全局损失/>。
在一个实施例中S431中计算具有相同尺寸大小的特征图和/>之间的空间注意力损失、通道注意力损失，根据空间注意力损失和通道注意力损失计算得到注意力损失，具体为：
利用空间注意力和通道注意力/>对传递过程进行约束，/>和的计算公式如下：
；
；
；
；
其中，和/>表示教师网络模型的空间注意力和通道注意力，/>和/>表示学生网络模型的空间注意力和通道注意力，C代表通道总数，c代表当前通道，/>表示坐标位置；
进一步通过空间和通道注意力/>计算空间注意力掩码/>和通道注意力掩码/>，具体计算公式如下：
；
；
；
；
其中，和/>表示教师网络模型的空间注意力掩码和通道注意力掩码，/>和/>表示学生网络模型的空间注意力掩码和通道注意力掩码，T是超参数用于平滑softmax函数的分布；
通过注意力损失将空间和通道掩码背后对应的知识进行传递，具体计算公式如下：
；
；
；
其中，是超参数用于调整注意力损失的大小，/>和/>分别代表教师网络模型和学生网络模型的空间掩码，/>和/>分别代表教师网络模型和学生网络模型的通道掩码，MSE代表均方差误差。
具体地，利用空间和通道注意力/>对传递过程进行约束，是为了让缺陷类别和位置相关的知识在教师和学生模型之间有效传递。
在一个实施例中S431中计算具有相同尺寸大小的特征图和/>之间的全局信息损失，具体为：
教师网络模型的全局关系采用GcBlock网络计算，计算方式如下：
；
学生网络模型的全局关系采用GcBlock网络计算，计算方式如下：
；
其中，，/>和/>分别代表了卷积层，/>代表了层级归一化，/>表示特征图中像素点的数量；
通过均方差进一步计算教师网络模型和学生网络模型全局损失，计算公式如下：
；
其中，是超参数用于调整全局损失的大小，MSE代表均方差误差。
具体地，全局损失主要是用于将教师模型中不同位置、不同通道之间的全局关系传递给学生模型。
在一个实施例中，S431中计算具有相同尺寸大小的特征图和/>之间的特征损失，具体为：
。
在一个实施例中，S433具体为：
为了对特征图的前景和背景分开蒸馏，前景对应了飞机蒙皮缺陷，背景对应了非缺陷，计算特征图的掩码，具体计算公式如下：
；
其中，表示坐标位置，GT表示真实标注框；
为了防止计算过程中的损失值过大，通过计算和/>的乘积来减小/>的数值，其中/>的计算方式如下：
；
；
其中，表示尺度缩放矩阵，用于调整掩码的大小，防止损失过大，H和W分别表示特征图的高和宽，/>表示坐标位置，GT表示真实标注框；
先利用1x1卷积层计算不同损失的深度特征映射，再利用多层感知机技术MLP分别对损失的特征映射进行编码得到编码特征E，并通过线性层对损失的编码特征进行解码，从而预测出每个像素位置的不确定性因子U，具体的计算如下：
；
；
；
；
；
其中，和/>分别代表教师网络模型和学生网络模型的特征，conv1代表用于特征映射的1x1卷积层，MLP代表多层感知机，Cat表示将不同损失的编码特征进行拼接，predict是由线性层和ReLU层组成的不确定性预测网络，U表示每个像素点的不确定性；
不确定前景损失和不确定性背景损失/>计算如下：
；/>
；
其中，和/>适用于调整前景不确定性和背景不确定损失大小的超参数，/>是用于调整将学生网络模型通道数的自适应函数，/>表示教师网络模型中在c通道/>位置的特征值，/>表示学生网络模型中在c通道/>位置的特征值。
具体的，虽然教师模型的缺陷性能优于学生模型，但是教师模型也不具备完美的检测效果，因此教师模型的知识应当具备一种不确定性。这种不确定性是由教师模型能力影响的。为此，通过结合不确定性的知识蒸馏更加符合教师模型和学生模型之间的知识传递。
进一步地，在知识传递过程中，不确定性与模型损失密切相关。为此，先利用1x1卷积层计算不同损失的深度特征映射，再利用多层感知机技术（MLP）分别对损失的特征映射进行编码得到编码特征E，并通过线性层对损失的编码特征进行解码，从而预测出每个像素位置的不确定性因子U，不确定性预测网络如图3所示。
在一个实施例中，S434具体为：
；
其中，表示不确定性预测的知识蒸馏损失，/>表示不确定前景损失，/>表示不确定性背景损失，/>表示全局信息损失，/>表示注意力损失。
具体地，通过将知识蒸馏损失结合到原来的训练损失之中，就可以实现教师模型和学生模型之间的知识迁移，从而提升轻量化学生模型的缺陷检测能力。
S500：将训练好的用于飞机蒙皮缺陷检测的轻量化学生网络模型部署和应用到自主移动机器人上，实现飞机蒙皮的动态、实时缺陷检测。
上述一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法，通过采用轻量级的神经网络结构，在确保检测精度的前提下，利用知识蒸馏的传递，能够大幅度降低计算复杂度，提高自动化检测技术应用的实时性。这一方法将为飞机制造过程中的自动化缺陷检测提供一种创新、高效的解决方案，为飞机航行安全提供坚实的技术保障，推动飞机制造业向数字化、智能化的方向迈进。
以上对本发明所提供的一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (5)

1.一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法，其特征在于，所述方法包括以下步骤：
S100：对飞机蒙皮进行拍照，并对拍摄的照片进行预处理操作，使用标注软件进行标注，构建用于网络训练的数据集；
S200：构建用于飞机蒙皮缺陷检测的教师网络模型和轻量化学生网络模型；
S300：使用数据集对教师网络模型进行训练，并将训练好的教师网络模型权重文件保存；
S400：使用数据集对轻量化学生网络模型进行训练，根据教师网络模型和轻量化学生网络模型输出的多尺度特征计算不确定性预测的知识蒸馏损失，利用反向传播算法来训练轻量化学生网络模型；
S500：将训练好的用于飞机蒙皮缺陷检测的轻量化学生网络模型部署和应用到自主移动机器人上，实现飞机蒙皮的动态、实时缺陷检测；
S200中教师网络模型包括用于多尺度特征提取的深度为101层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别；
S200中轻量化学生网络模型包括用于多尺度特征提取的深度为18层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别；
S400包括：
S410：载入保存的教师网络模型权重文件到教师网络模型，使用数据集对轻量化学生网络模型进行训练；
S420：数据集中的缺陷图片分别经过教师网络模型和轻量化学生网络模型的残差网络和特征金字塔之后得到具有不同尺度大小的特征图和/>，其中，/>，/>表示轻量化学生网络模型的多尺度特征，/>表示教师网络模型的多尺度特征；
S430：利用不确定性预测的知识蒸馏方法计算具有相同尺寸大小的特征图和/>之间的不确定性预测的知识蒸馏损失；其中，基于不确定性预测的知识蒸馏损失包括不确定性前景损失/>、不确定性背景损失/>、注意力损失/>和全局损失/>；
S440：结合蒸馏损失和轻量化学生网络模型原本的检测损失利用反向传播算法来训练轻量化学生网络模型，利用不确定性预测的知识蒸馏方法实现教师网络模型对轻量化学生网络模型的知识传递，保存训练好的轻量化学生网络模型的权重文件，作为最终用于飞机蒙皮缺陷检测的轻量化学生网络的权重文件；
S430包括：
S431：计算具有相同尺寸大小的特征图和/>之间的空间注意力损失、通道注意力损失、特征损失和全局信息损失，根据空间注意力损失和通道注意力损失计算得到注意力损失；
S432：搭建不确定性预测网络，包括特征映射模块、MLP编码模块、特征拼接模块和不确定性预测模块；
S433：计算特征图的掩码和尺度缩放矩阵，将空间注意力损失、通道注意力损失、特征损失和全局信息损失输出至不确定性预测网络，通过特征映射模块中1x1卷积层计算不同损失的深度特征映射，再利用MLP编码模块的多层感知机技术分别对损失的特征映射进行编码得到编码特征，并通过特征拼接模块对不同损失的编码特征进行拼接，通过不确定性预测模块对损失的编码特征进行解码，进而预测出每个像素位置的不确定性因子；结合不确定因子得到不确定前景损失和不确定性背景损失；
S434：根据注意力损失、全局信息损失、不确定前景损失和不确定性背景损失计算得到不确定性预测的知识蒸馏损失；
S433具体为：
为了对特征图的前景和背景分开蒸馏，前景对应了飞机蒙皮缺陷，背景对应了非缺陷，计算特征图的掩码，具体计算公式如下：
；
其中，表示坐标位置，GT表示真实标注框；
为了防止计算过程中的损失值过大，通过计算和/>的乘积来减小/>的数值，其中/>的计算方式如下：
；
；
其中，表示尺度缩放矩阵，H和W分别表示特征图的高和宽，/>表示坐标位置，GT表示真实标注框；
先利用1x1卷积层计算不同损失的深度特征映射，再利用多层感知机技术MLP分别对损失的特征映射进行编码得到编码特征E，并通过线性层对损失的编码特征进行解码，从而预测出每个像素位置的不确定性因子U，具体的计算如下：
；
；
；
；
；
其中，和/>分别代表教师网络模型和轻量化学生网络模型的特征，conv1代表用于特征映射的1x1卷积层，MLP代表多层感知机，Cat表示将不同损失的编码特征进行拼接，predict是由线性层和ReLU层组成的不确定性预测网络，U表示每个像素点的不确定性；
不确定性前景损失和不确定性背景损失/>计算如下：
；
；
其中，和/>适用于调整前景不确定性和背景不确定损失大小的超参数，/>是用于调整将轻量化学生网络模型通道数的自适应函数，/>表示教师网络模型中在c通道/>位置的特征值，/>表示轻量化学生网络模型中在c通道/>位置的特征值。
2.根据权利要求1所述的方法，其特征在于，S431中计算具有相同尺寸大小的特征图和/>之间的空间注意力损失、通道注意力损失，根据空间注意力损失和通道注意力损失计算得到注意力损失，具体为：
利用空间注意力和通道注意力/>对传递过程进行约束，/>和/>的计算公式如下：
；
；
；
；
其中，和/>表示教师网络模型的空间注意力和通道注意力，/>和表示轻量化学生网络模型的空间注意力和通道注意力，C代表通道总数，c代表当前通道，/>表示坐标位置；
进一步通过空间和通道注意力/>计算空间注意力掩码/>和通道注意力掩码/>，具体计算公式如下：
；
；
；
；
其中，和/>表示教师网络模型的空间注意力掩码和通道注意力掩码，和/>表示轻量化学生网络模型的空间注意力掩码和通道注意力掩码，T是超参数用于平滑softmax函数的分布；
通过注意力损失将空间和通道掩码背后对应的知识进行传递，具体计算公式如下：
；
；
；
其中，是超参数用于调整注意力损失的大小，/>和/>分别代表教师网络模型和轻量化学生网络模型的空间掩码，/>和/>分别代表教师网络模型和轻量化学生网络模型的通道掩码，MSE代表均方差误差。
3.根据权利要求2所述的方法，其特征在于，S431中计算具有相同尺寸大小的特征图和/>之间的全局信息损失，具体为：
教师网络模型的全局关系采用GcBlock网络计算，计算方式如下：
；
轻量化学生网络模型的全局关系采用GcBlock网络计算，计算方式如下：
；
其中，，/>和/>分别代表了卷积层，/>代表了层级归一化，/>表示特征图中像素点的数量；
通过均方差进一步计算教师网络模型和轻量化学生网络模型全局损失，计算公式如下：
；
其中，是超参数用于调整全局损失的大小，MSE代表均方差误差。
4.根据权利要求3所述的方法，其特征在于，S431中计算具有相同尺寸大小的特征图和/>之间的特征损失，具体为：
。
5.根据权利要求4所述的方法，其特征在于，S434具体为：
；
其中，表示不确定性预测的知识蒸馏损失。
CN202311812865.3A 2023-12-27 2023-12-27 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法 Active CN117474914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311812865.3A CN117474914B (zh) 2023-12-27 2023-12-27 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311812865.3A CN117474914B (zh) 2023-12-27 2023-12-27 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN117474914A CN117474914A (zh) 2024-01-30
CN117474914B true CN117474914B (zh) 2024-04-12

Family

ID=89626003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311812865.3A Active CN117474914B (zh) 2023-12-27 2023-12-27 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN117474914B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911403A (zh) * 2024-03-18 2024-04-19 沈阳派得林科技有限责任公司 一种基于知识蒸馏的轻量化动态dr钢管焊缝缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947590A (zh) * 2021-10-26 2022-01-18 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN114387486A (zh) * 2022-01-19 2022-04-22 中山大学 基于持续学习的图像分类方法以及装置
CN114819148A (zh) * 2022-05-17 2022-07-29 西安电子科技大学 基于不确定性估计知识蒸馏的语言模型压缩方法
WO2023033194A1 (ko) * 2021-08-30 2023-03-09 주식회사 노타 가지치기 기반 심층 신경망 경량화에 특화된 지식 증류 방법 및 시스템
CN116402821A (zh) * 2023-06-08 2023-07-07 湖南大学 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法
CN116758120A (zh) * 2023-06-16 2023-09-15 复旦大学 一种基于深度学习的3t mra到7t mra的预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200052444A (ko) * 2018-10-30 2020-05-15 삼성전자주식회사 신경망을 이용하여 예측 결과를 출력하는 방법, 신경망을 생성하는 방법 및 그 장치들

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033194A1 (ko) * 2021-08-30 2023-03-09 주식회사 노타 가지치기 기반 심층 신경망 경량화에 특화된 지식 증류 방법 및 시스템
CN113947590A (zh) * 2021-10-26 2022-01-18 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN114387486A (zh) * 2022-01-19 2022-04-22 中山大学 基于持续学习的图像分类方法以及装置
CN114819148A (zh) * 2022-05-17 2022-07-29 西安电子科技大学 基于不确定性估计知识蒸馏的语言模型压缩方法
CN116402821A (zh) * 2023-06-08 2023-07-07 湖南大学 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法
CN116758120A (zh) * 2023-06-16 2023-09-15 复旦大学 一种基于深度学习的3t mra到7t mra的预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Efficient Uncertainty Estimation in Semantic Segmentation via Distillation;Christopher J. Holder et al.;《ICCV》;20211231;第3087-3094页 *
基于标签置信估计与知识蒸馏的表情识别算法研究;许大良;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230215;全文 *
基于模糊遮蔽与动态推理的生成式工业异常定位模型;吴天月 等;《计算机科学》;20231130;第50卷;全文 *

Also Published As

Publication number Publication date
CN117474914A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
WO2022193420A1 (zh) 近水桥梁多类型病害智能检测方法与无人船设备
CN117474914B (zh) 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法
CN109145747B (zh) 一种水面全景图像语义分割方法
EP3822852B1 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
CN112950645B (zh) 一种基于多任务深度学习的图像语义分割方法
CN112651437B (zh) 一种基于深度学习的空间非合作目标位姿估计方法
CN111738206B (zh) 基于CenterNet的用于无人机巡检的挖掘机检测方法
CN114972989B (zh) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN115861635B (zh) 抗透射畸变的无人机倾斜影像语义信息提取方法及设备
CN114972748B (zh) 一种可解释边缘注意力和灰度量化网络的红外语义分割方法
CN115578416A (zh) 一种无人机目标跟踪方法、系统、介质及电子设备
Wu et al. Cooperative unmanned surface vehicles and unmanned aerial vehicles platform as a tool for coastal monitoring activities
CN116659516B (zh) 基于双目视差机制的深度立体注意力视觉导航方法及装置
CN116912675A (zh) 一种基于特征迁移的水下目标检测方法及系统
CN116994068A (zh) 一种基于知识蒸馏的目标检测方法及装置
CN116721206A (zh) 一种实时的室内场景视觉同步定位与建图方法
CN116977866A (zh) 一种轻量级滑坡检测方法
CN116310967A (zh) 一种基于改进YOLOv5的化工厂安全帽佩戴检测方法
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
Wang et al. Lightweight Network-Based Aquatic Contaminant Detection Using a Robotic Vision System
CN117422689B (zh) 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法
CN117152646B (zh) 无人电力巡检ai轻量大模型方法及系统
Zhou et al. Fast detection algorithm for cracks on tunnel linings based on deep semantic segmentation
CN117115723B (zh) 一种消防设施计数方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant