CN114529543A - 一种航空发动机外周螺钉垫片的安装检测方法及装置 - Google Patents

一种航空发动机外周螺钉垫片的安装检测方法及装置 Download PDF

Info

Publication number
CN114529543A
CN114529543A CN202210415393.7A CN202210415393A CN114529543A CN 114529543 A CN114529543 A CN 114529543A CN 202210415393 A CN202210415393 A CN 202210415393A CN 114529543 A CN114529543 A CN 114529543A
Authority
CN
China
Prior art keywords
frame
installation
screw gasket
peripheral
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210415393.7A
Other languages
English (en)
Other versions
CN114529543B (zh
Inventor
黄必清
郝睿阳
余嘉玮
汪祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210415393.7A priority Critical patent/CN114529543B/zh
Publication of CN114529543A publication Critical patent/CN114529543A/zh
Application granted granted Critical
Publication of CN114529543B publication Critical patent/CN114529543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及数字图像处理技术领域，特别涉及一种航空发动机外周螺钉垫片的安装检测方法及装置，方法包括：采集待检测发动机在多角度下的多帧外周图像；将各帧外周图像输入至预先训练的安装正确性检测模型，确定待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，其中，安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到；根据多帧图像的定位结果对螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定螺钉垫片的当前安装位置正确，否则判定螺钉垫片未被正确安装。由此，该方法能够有效提升垫片安装正确性的识别效果，有效避免零部件遮挡对垫片安装正确性检测的不利影响。

Description

一种航空发动机外周螺钉垫片的安装检测方法及装置
技术领域
本申请涉及数字图像处理技术领域，特别涉及一种航空发动机外周螺钉垫片的安装检测方法及装置。
背景技术
航空发动机为航空器提供飞行动力，其装配过程的可靠性对于航空器飞行安全具有重要的意义。螺钉垫片是航空发动机装配过程中经常使用到的一种锁紧装置，由于航空发动机中的螺钉将长期保持高温、高压、高强度状态，因此对于起锁紧作用的螺钉垫片就有较高的可靠性、安全性要求。
航空发动机外周上的螺钉垫片安装未正确安装状态主要包括螺钉垫片安装不标准以及螺钉垫片未安装，这些未正确安装状态对航空器飞行安全造成巨大风险。鉴于航空发动机的高成本与高标准，航空发动机装配过程将经过多轮检查检测以保证螺钉垫片装配的安全可靠。在自动化智能化检测设备出现之前，往往通过人工检查的方式对包括螺钉垫片在内的发动机零部件装配结果进行检查，但是人工检查容易受到工人主观因素影响而且效率较低。自动化智能化的装配检测对于提高检测效率，提高检测可靠性具有重要意义。
然而，目前自动化智能化的装配检测对于发动机外周螺钉垫片安装正确性检测时，容易受到零部件遮挡的影响，识别效果较差，无法实现航空发动机外周螺钉垫片安装正确性的高效准确检测。
发明内容
本申请提供一种航空发动机外周螺钉垫片的安装检测方法、装置、电子设备及存储介质，能够有效提升垫片安装正确性的识别效果，有效避免零部件遮挡对垫片安装正确性检测的不利影响，实现对航空发动机外周螺钉垫片安装正确性的高效准确检测。
本申请第一方面实施例提供一种航空发动机外周螺钉垫片的安装检测方法，包括以下步骤：采集待检测发动机在多角度下的多帧外周图像；将各帧外周图像输入至预先训练的安装正确性检测模型，确定所述待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，其中，所述安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到；根据多帧图像的所述定位结果对所述螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定所述螺钉垫片的当前安装位置正确，否则判定所述螺钉垫片的当前安装位置不正确。
进一步地，所述将所述各帧外周图像输入至预先训练的安装正确性检测模型，确定所述待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，包括：将所述多帧外周图像输入至所述深度卷积神经网络，提取每帧外周图像的多分辨率图像特征；将所述每帧外周图像的多分辨率图像特征输入至所述双分支检测器网络，确定所述螺钉垫片在每个角度下的安装正确性检测结果和定位结果。
进一步地，所述深度卷积神经网络包括残差网络、横向通路和自上而下通路，所述将所述多帧外周图像输入至所述深度卷积神经网络中，提取每帧外周图像的多分辨率图像特征，包括：将所述多帧外周图像输入至所述残差网络，提取每帧外周图像的多分辨率特征图；将所述多分辨率特征图输入至所述横向通路，对所述多分辨率特征图进行特征降维，得到维度一致的降维特征图；将所述降维特征图输入至所述自上而下通路，对所述降维特征图进行特征融合，得到每帧外周图像的多分辨率图像特征。
进一步地，所述双分支检测器网络包括区域建议网络、定位分支网络和识别分支网络，所述将所述每帧外周图像的多分辨率图像特征输入至所述双分支检测器网络，确定所述螺钉垫片在每个角度下的安装正确性检测结果和定位结果，包括：将所述每帧外周图像的多分辨率图像特征输入至所述区域建议网络，提取包括所述螺钉垫片的候选区域；将所述候选区域特征输入至所述定位分支网络，生成每帧外周图像的螺钉垫片的检测框坐标，即实现螺钉垫片在每帧外周图像上的定位；将所述候选区域输入至所述识别分支网络，识别每帧外周图像中每个螺钉垫片检测框的置信度，基于所述置信度确定所述螺钉垫片在各帧外周图像对应角度下的安装正确性检测结果。
进一步地，所述根据所述定位结果所述螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定所述螺钉垫片的当前安装位置正确，否则判定所述螺钉垫片的当前安装位置不正确，包括：计算相邻外周图像中任意检测框之间的图间交并比；将所述图间交并比大于图间阈值的检测框对应的螺钉垫片视为同一螺钉垫片，并判断所述螺钉垫片在所述任意检测框对应两个视角下的安装正确性检测结果是否合格；如果合格，则继续检测，直到检测所有所述图间交并比大于所述图间阈值的检测框对应两个视角下的安装正确性检测结果均合格时，判定所述螺钉垫片的当前安装位置正确，否则判定所述螺钉垫片的当前安装位置不正确。
进一步地，所述安装正确性检测结果包括未正确安装类型，在计算相邻外周图像中任意检测框之间的图间交并比之前，还包括如下后处理算法：对所述未正确安装类型对应检测框的置信度进行修正，得到修正置信度，其中，所述修正置信度大于所述修正前的置信度；将所有修正置信度中小于置信度阈值的检测框删除，并计算修正置信度最高的检测框与其他检测框之间的框间交并比；判断所述框间交并比是否大于框间阈值，如果是，则将所述其他检测框删除。
进一步地，所述安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到，包括：获取发动机的外周螺钉垫片的历史图像数据，对所述历史图像数据中的螺钉垫片位置与安装正确性进行标注，得到螺钉垫片图像数据集；利用所述螺钉垫片图像数据集对所述深度卷积神经网络和双分支检测器网络进行端到端的模型训练，得到所述安装正确性检测模型。
本申请第二方面实施例提供一种航空发动机外周螺钉垫片的安装检测装置，包括：采集模块，用于采集待检测发动机在多角度下的多帧外周图像；单帧检测模块，用于将所述各帧外周图像输入至预先训练的安装正确性检测模型，确定所述待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，其中，所述安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到；多帧分析模块，用于根据多帧图像的所述定位结果对所述螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定所述螺钉垫片的当前安装位置正确，否则判定所述螺钉垫片的当前安装位置不正确。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的航空发动机外周螺钉垫片的安装检测方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的航空发动机外周螺钉垫片的安装检测方法。
由此，本申请至少具有如下有益效果：
综合多视角检测结果实现对航空发动机外周螺钉垫片安装正确性的跟踪检测分析，能够有效避免航空发动机外周零部件遮挡对检测结果的影响；通过深度卷积神经网络实现单帧图像上的图像特征提取，能够产生高质量的多分辨率图像特征；通过双分支检测器网络实现螺钉垫片在单帧图像上的定位和安装正确性的识别，能够有效提升螺钉垫片安装正确性的识别精度；通过后处理算法实现单帧图像中的冗余检测的去除，提升检测模型对垫片未正确安装情况的敏感度，能够有效避免安装正确性判定中的漏检情况。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的航空发动机外周螺钉垫片的安装检测方法的流程示意图；
图2为根据本申请实施例提供的深度卷积神经网络的结构示意图；
图3为根据本申请实施例提供的双分支检测器网络的结构示意图；
图4为根据本申请实施例提供的多帧分析方法示意图；
图5为根据本申请一个实施例提供的航空发动机外周螺钉垫片的安装检测方法的流程示意图；
图6为根据本申请实施例提供的航空发动机外周螺钉垫片的安装检测装置的示例图；
图7为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例主要面向航空发动机装配过程中的螺钉垫片安装正确性检测任务。作为计算机视觉领域的核心问题之一，目标检测技术的目标是找出图像中所有感兴趣的目标，确定其类别和位置；因此，本申请实施例可以将先进的目标检测技术应用于航空发动机外周螺钉垫片安装正确性检测。
相关技术中，通常采用Faster R-CNN（Faster Region-based CNN，快速的基于区域的卷积神经网络）解决航空发动机外周螺钉垫片安装正确性检测，但是依然存在如下不足：分类识别和定位两个子任务的模型结构共享部分太多，影响了识别精度，受数据分布的影响模型在异常安装类别上的表现不稳定，航空发动机表面零部件遮挡影响了螺钉垫片检测的顺利进行。
为此，本申请实施例可以通过双分支检测器网络来提升螺钉垫片安装正确性识别的准确性；对异常安装类别的置信度进行调整来提升安装异常情况的检出率；利用多帧图像追踪螺钉垫片位置并综合多视角检测结果进行最终评估，来解决航空发动机外周零部件遮挡问题。
下面将参考附图描述本申请实施例的航空发动机外周螺钉垫片的安装检测方法、装置、电子设备及存储介质，首先将参照附图描述根据本申请实施例提出的航空发动机外周螺钉垫片的安装检测方法。
图1为本申请实施例所提供的一种航空发动机外周螺钉垫片的安装检测方法的流程示意图。
如图1所示，该航空发动机外周螺钉垫片的安装检测方法包括以下步骤：
在步骤S101中，采集待检测发动机在多角度下的多帧外周图像。
可以理解的是，本申请实施例可以对航空发动机外周螺钉垫片的多视角拍摄，能够为线下阶段积累螺钉垫片图像数据集，也能够为在线阶段实时采集需要检测的图像。因此，本申请实施例可以正在处于离线状态下基于航空发动机外周螺钉垫片历史图像数据集训练检测模型，处于在线状态下采集到的航空发动机外周图像将依次输入到检测模型。其中，检测模块将在以下实施例中进行阐述，为避免冗余，此处不作过多阐述。
具体而言，本申请实施例可以通过环绕式图像采集装置从不同角度采集发动机外周的连续帧图像，其中，环绕式图像采集装置可以根据环绕运动速度确定图像采集频率，对于模型训练所依据的图像还需要包含螺钉垫片的位置标注与安装正确性标注。
其中，在具体采集时，图像采集装置可以设置在一个环绕式轨道上，环绕式轨道能够保证图像采集装置绕航空发动机外周运动，从而连续帧扫描航空发动机外周的图像，从多个角度采集航空发动机外周螺钉垫片的图像。
在步骤S102中，将各帧外周图像输入至预先训练的安装正确性检测模型，确定待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，其中，安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到。
其中，安装正确性检测结果可以包括正确安装类型和未正确安装类型，未正确安装类型可以包括安装不标准和未安装的情况。
可以理解的是，本申请实施例可以将航空发动机外周单帧图像输入至预先训练的安装正确性检测模型，实现螺钉垫片在单帧图像上的定位和安装正确性的识别，其中，预先训练的检测模型由深度卷积神经网络以及双分支检测器网络构成。
需要说明的是，本申请实施例在阐述时被表述为对单帧图像进行处理，但是在实践中可以以批处理的形式输入模型，从而可以显著提升检测模型运行效率。
在本申请实施例中，将各帧外周图像输入至预先训练的安装正确性检测模型，确定待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，包括：将多帧外周图像输入至深度卷积神经网络，提取每帧外周图像的多分辨率图像特征；将每帧外周图像的多分辨率图像特征输入至双分支检测器网络，确定螺钉垫片在每个角度下的安装正确性检测结果和定位结果。
可以理解的是，本申请实施例可以利用深度卷积神经网络从发动机外周单帧图像中提取出多分辨率图像特征，并利用双分支检测器网络在单帧图像上对螺钉垫片进行定位和安装正确性识别，从而通过图像特征提取、对螺钉垫片实现定位和安装正确性识别，实现单帧图像上航空发动机外周螺钉垫片安装正确性的检测。
在本申请实施例中，深度卷积神经网络包括残差网络、横向通路和自上而下通路，将多帧外周图像输入至深度卷积神经网络中，提取每帧外周图像的多分辨率图像特征，包括：将多帧外周图像输入至残差网络，提取每帧外周图像的多分辨率特征图；将多分辨率特征图输入至横向通路，对多分辨率特征图进行特征降维，得到维度一致的降维特征图；将降维特征图输入至自上而下通路，对降维特征图进行特征融合，得到每帧外周图像的多分辨率图像特征。
可以理解的是，本申请实施例可以使用残差网络结构提取出多分辨率特征图，使用横向通路对多分辨率特征图进行特征降维，使用自上而下通路对降维后特征图进行融合最终形成特征融合后的多分辨率复杂高维特征图，其中，多分辨率复杂高维特征图即为多分辨率图像特征。
具体而言，如图2所示，残差网络结构用来从图像中提取基础的多分辨率特征，其中，残差结构中的自映射通路能够通过恒等变换或者卷积核尺度为1*1的卷积来实现，残差结构的变换通路能够通过卷积核尺度为1*1，3*3以及1*1的卷积组合实现，其中，卷积核尺度为1*1的卷积用来实现特征维度变换，卷积核尺度为1*1的卷积用来实现局部区域特征提取。残差网络结构能够保证特征提取效果的同时解决神经网络模型的梯度消失问题。
横向通路通过卷积核尺度为1*1的卷积层处理上述残差网络结构输出的多分辨率特征图，将其特征维度降低到多分辨率特征图中最低的维度；自上而下通路通过上采样与相加的方式实现降维后不同分辨率特征图的合并，即对低分辨率特征图首先采用双线性插值方法实现特征上采样，再与对应的高分辨率特征图进行相加得到合并特征图。
在本申请实施例中，双分支检测器网络包括区域建议网络、定位分支网络和识别分支网络，将每帧外周图像的多分辨率图像特征输入至双分支检测器网络，确定螺钉垫片在每个角度下的安装正确性检测结果和定位结果，包括：将每帧外周图像的多分辨率图像特征输入至区域建议网络，提取包括螺钉垫片的候选区域特征；将候选区域特征输入至定位分支网络，生成每帧外周图像的螺钉垫片的检测框坐标，实现螺钉垫片在每帧外周图像上的定位；将候选区域输入至识别分支网络，识别每帧外周图像中每个螺钉垫片检测框的置信度，基于置信度确定帧螺钉垫片在每个角度下的安装正确性检测结果。
可以理解的是，本申请实施例区域建议网络分析特征融合后的多分辨率复杂高维特征图得到更有可能包含螺钉垫片的区域，即候选区域；使用卷积层和全连接层构成的定位分支网络进行螺钉垫片的定位；使用全连接层构成的识别分支网络进行螺钉垫片的安装正确性识别。
具体而言，区域建议网络用来产生更有可能包含螺钉垫片的局部区域，即候选区域，如图2所示，其输入是多分辨率图像特征，对于各个分辨率图像特征，区域建议网络使用空间滑动窗口获取局部特征，将获取到的局部特征输入到分类层和回归层两个并列的全连通层中，其中，分类层用于判断区域是否是螺钉垫片区域，即二分类，回归层用于计算滑动窗口向螺钉垫片区域的平移。其中，在每个滑动窗口位置，区域建议网络同时预测多个具有一定大小和长宽比的锚点区域。上述滑动窗和全连通层分别由卷积核尺度为3*3和1*1的卷积层来实现。
定位分支网络与识别分支网络分别进行螺钉垫片的定位和安装正确性的识别。如图3所示，首先根据区域建议网络产生的候选区域，从输出的多分辨率图像特征中提取到候选区域特征，即将各候选区域对应的特征映射为一个固定分辨率的特征图，其中特征映射方法通过候选区域联合层来实现。定位分支网络以固定分辨率的特征图为输入，经过两个卷积核尺度为3*3的卷积层后特征展开再经过一个全连接层输出检测框坐标，即螺钉垫片位置。识别分支网络以固定分辨率的特征图为输入，特征展开后经过两个全连接层输出各类型的置信度，具体包括三个类型：螺钉垫片正确安装，螺钉垫片安装不标准，螺钉垫片未安装。可以理解的是，识别分支网络除了对候选区域包含螺钉垫片安装情况进行分类，也对其是否包含螺钉垫片进行分类，在实现环节是直接在缺陷类别中添加背景类。
在本申请实施例中，安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到，包括：获取发动机的外周螺钉垫片的历史图像数据，对历史图像数据中的螺钉垫片位置与安装正确性进行标注，得到螺钉垫片图像数据集；利用螺钉垫片图像数据集对深度卷积神经网络和双分支检测器网络进行端到端的模型训练，得到安装正确性检测模型。
可以理解的是，本申请实施例可以获取步骤S101中环绕式图像采集装置采集到螺钉垫片图像数据集，其中，图像数据需要对螺钉垫片的位置和安装正确性类别进行标注；基于图像数据集，对深度卷积神经网络和双分支检测器网络误差反向传播方法进行模型训练。
在步骤S103中，根据多帧图像的定位结果对螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定螺钉垫片的当前安装位置正确，否则判定螺钉垫片的当前安装位置不正确。
可以理解的是，本申请实施例综合分析多帧图像经过多帧图像检测结果得出最终的安装正确性评估结论，其中包括对相同螺钉垫片的位置追踪与多视角下检测结果的最终评估，从而可以实现对航空发动机外周螺钉垫片安装正确性的跟踪检测分析，能够有效避免航空发动机外周零部件遮挡对检测结果的影响。
在本申请实施例中，根据定位结果螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定螺钉垫片的当前安装位置正确，否则判定螺钉垫片的当前安装位置不正确，包括：计算相邻外周图像中任意检测框之间的图间交并比IoU_I；将图间交并比IoU_I大于图间阈值Th_I的检测框对应的螺钉垫片视为同一螺钉垫片，并判断螺钉垫片在任意检测框对应两个视角下的安装正确性检测结果是否合格；如果合格，则继续检测，直到检测所有图间交并比IoU_I大于图间阈值Th_I的检测框对应两个视角下的安装正确性检测结果均合格时，判定螺钉垫片的当前安装位置正确，否则判定螺钉垫片的当前安装位置不正确。
其中，图间阈值Th_I可以根据实际情况进行设置，对此不作具体限定。
可以理解的是，本申请实施例可以依据多帧图像的检测框之间的交并比来判定多帧图像中哪些螺钉垫片来自同一螺钉垫片部位，综合多帧图像中同一螺钉垫片部位的判定结果给出最终安装正确性结论，从而可以结合多视角下各帧检测结果对同一螺钉垫片进行跟踪检测并对垫片安装正确性做出最终评估。
具体而言，根据多帧图像检测结果中检测框的交并比实现对同一螺钉垫片的跟踪，结合同一螺钉垫片的多帧检测结果对对航空发动机外周螺钉垫片安装正确性做出最终评估，具体如下：
计算相邻帧图像的螺钉垫片检测框之间的交并比，相邻帧图像中交并比最高的检测框所对应的螺钉垫片被视为同一螺钉垫片在两个视角下的检测结果，进一步地重复上述步骤可以得到同一螺钉垫片在多个视角下的连续检测结果。以图4所示的场景为例，视角1和视角2存在明显的遮挡情况，视角3无遮挡，综合多个视角下的连续检测结果分析，有效解决了航空发动机外周零部件遮挡问题，当同一螺钉垫片在所有视角下的单帧检测结果均判定为按照正常时，判定螺钉垫片安装正确；当存在某一个视角下的检测结果为螺钉垫片未被正确安装，那么该螺钉垫片被认定为未正确安装，具体的未正确安装类型按照多帧检测结果中两类未被正确安装情况，即安装不标准和未安装的比例进行最终确定，比例高的类型被记为最终类型。
在本申请实施例中，在计算相邻外周图像中任意检测框之间的图间交并比IoU_I之前，还包括：对未正确安装类型对应检测框的置信度进行修正，得到修正置信度，其中，修正置信度大于修正前的置信度；将所有修正置信度中小于置信度阈值Th_S的检测框删除，并计算修正置信度最高的检测框与其他检测框之间的框间交并比IoU_B；判断框间交并比IoU_B是否大于框间阈值Th_B，如果是，则将其他检测框删除。
其中，置信度阈值Th_S和框间阈值Th_B均可以根据实际情况进行设置或标定，对此不作具体限定。
可以理解的是，本申请实施例可以利用后处理算法来去除单帧图像中的冗余检测并提升检测模型对垫片未正确安装情况的敏感度，其中，通过类别不可知的非最大抑制算法来去除单帧图像中的冗余检测结果；同时提升检测模型对未正确安装情况的置信度来提升检测效果。
具体而言，本申请实施例可以通过对未正确安装情况的置信度赋予更高的权值来提升检测模型对垫片未正确安装情况的敏感度，在此基础上采用类别不可知的非极大抑制算法对检测结果进行去重。具体如下：
后处理算法首先对螺钉垫片未被正确安装的两种类型（安装不标准和未安装）的置信度乘关注系数α（α>1）得到各类别的修正置信度，从而提升检测模型对垫片未正确安装情况的敏感度，降低未正确安装情况的漏检率。然后采用类别不可知的非极大抑制算法对检测结果去重，具体得，包含以下步骤：按修正置信度降序顺序对检测边界框列表进行排序，从列表删除修正置信度小于某阈值的检测边界框，从具有最高修正置信度的边界框开始如下循环：计算该边界框与所有剩余边界框的交并比，若该交并比大于某阈值则从列表中删除修正置信度较小的检测边界框。
下面将通过结合图5对航空发动机外周螺钉垫片的安装检测方法进行进一步阐述，具体如下：
线下阶段：通过环绕式图像采集装置采集到历史图像数据，并对螺钉垫片历史图像数据进行标注，最终得到螺钉垫片图像数据集：
Figure 664405DEST_PATH_IMAGE001
，其中，x i 表示航空发动机外周拍摄图像，y i 表示其含有的螺钉垫片安装正确性类别，p i 表示其含有的螺钉垫片位置；基于有标注的螺钉垫片图像数据集，对深度卷积神经网络和双分支检测器网络进行端到端的模型训练。
在线阶段：实时地通过环绕式图像采集装置采集航空发动机外周图像；实时图像输入到训练好的深度卷积神经网络和双分支检测器网络进行单帧图像的螺钉垫片安装正确性分类与定位；后处理算法对单帧检测结果进行修正并去重；按照多帧分析算法结合多视角下各帧检测结果对同一螺钉垫片进行跟踪检测并对垫片安装正确性做出最终评估。
综上，本申请实施例至少具备如下优点：
1）提升了航空发动机外周螺钉垫片安装正确性识别的准确性。本申请实施例通过双分支检测器网络将分类和定位两个子任务分开处理，有效避免了分类和定位两个子任务的模型结构共享对识别精度带来的不利影响。
2）提高了网络模型对航空发动机外周螺钉垫片异常安装类别识别的稳定性。本申请实施例对异常安装类别的置信度进行加权修正，有效避免了受数据分布影响而造成的模型在异常安装类别上的识别不稳定现象。
3）避免了航空发动机外周零部件遮挡对螺钉垫片安装正确性识别检测结果的影响。本申请实施例利用多帧图像追踪螺钉垫片位置并综合多视角检测结果进行最终评估，有效解决了航空发动机外周零部件遮挡问题。
其次参照附图描述根据本申请实施例提出的航空发动机外周螺钉垫片的安装检测装置。
图6是本申请实施例的航空发动机外周螺钉垫片的安装检测装置的方框示意图。
如图6所示，该航空发动机外周螺钉垫片的安装检测装置10包括：采集模块100、单帧检测模块200和多帧分析模块300。
其中，采集模块100用于采集待检测发动机在多角度下的多帧外周图像；单帧检测模块200用于将各帧外周图像输入至预先训练的安装正确性检测模型，确定待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，其中，安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到；多帧分析模块300用于根据多帧图像的定位结果对螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定螺钉垫片的当前安装位置正确，否则判定螺钉垫片的当前安装位置不正确。
需要说明的是，前述对航空发动机外周螺钉垫片的安装检测方法实施例的解释说明也适用于该实施例的航空发动机外周螺钉垫片的安装检测装置，此处不再赘述。
根据本申请实施例提出的航空发动机外周螺钉垫片的安装检测装置，综合多视角检测结果实现对航空发动机外周螺钉垫片安装正确性的跟踪检测分析，能够有效避免航空发动机外周零部件遮挡对检测结果的影响；通过深度卷积神经网络实现单帧图像上的图像特征提取，能够产生高质量的多分辨率图像特征；通过双分支检测器网络实现螺钉垫片在单帧图像上的定位和安装正确性的识别，能够有效提升螺钉垫片安装正确性的识别精度；通过后处理算法实现单帧图像中的冗余检测的去除，提升检测模型对垫片未正确安装情况的敏感度，能够有效避免安装正确性判定中的漏检情况。
图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的航空发动机外周螺钉垫片的安装检测方法。
进一步地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM（Random Access Memory，随机存取存储器）存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是ISA（IndustryStandard Architecture，工业标准体系结构）总线、PCI（Peripheral Component，外部设备互连）总线或EISA（Extended Industry Standard Architecture，扩展工业标准体系结构）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个CPU（Central Processing Unit，中央处理器），或者是ASIC（Application Specific Integrated Circuit，特定集成电路），或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的航空发动机外周螺钉垫片的安装检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (10)

1.一种航空发动机外周螺钉垫片的安装检测方法，其特征在于，包括以下步骤：
采集待检测发动机在多角度下的多帧外周图像；
将各帧外周图像输入至预先训练的安装正确性检测模型，确定所述待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，其中，所述安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到；以及
根据多帧图像的所述定位结果对所述螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定所述螺钉垫片的当前安装位置正确，否则判定所述螺钉垫片的当前安装位置不正确。
2.根据权利要求1所述的方法，其特征在于，所述将各帧外周图像输入至预先训练的安装正确性检测模型，确定所述待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，包括：
将所述多帧外周图像输入至所述深度卷积神经网络，提取每帧外周图像的多分辨率图像特征；
将所述每帧外周图像的多分辨率图像特征输入至所述双分支检测器网络，确定所述螺钉垫片在每个角度下的安装正确性检测结果和定位结果。
3.根据权利要求2所述的方法，其特征在于，所述深度卷积神经网络包括残差网络、横向通路和自上而下通路，所述将所述多帧外周图像输入至所述深度卷积神经网络中，提取每帧外周图像的多分辨率图像特征，包括：
将所述多帧外周图像输入至所述残差网络，提取每帧外周图像的多分辨率特征图；
将所述多分辨率特征图输入至所述横向通路，对所述多分辨率特征图进行特征降维，得到维度一致的降维特征图；
将所述降维特征图输入至所述自上而下通路，对所述降维特征图进行特征融合，得到每帧外周图像的多分辨率图像特征。
4.根据权利要求2所述的方法，其特征在于，所述双分支检测器网络包括区域建议网络、定位分支网络和识别分支网络，所述将所述每帧外周图像的多分辨率图像特征输入至所述双分支检测器网络，确定所述螺钉垫片在每个角度下的安装正确性检测结果和定位结果，包括：
将所述每帧外周图像的多分辨率图像特征输入至所述区域建议网络，提取包括所述螺钉垫片的候选区域特征；
将所述候选区域特征输入至所述定位分支网络，生成每帧外周图像的螺钉垫片的检测框坐标，实现螺钉垫片在每帧外周图像上的定位；
将所述候选区域输入至所述识别分支网络，识别每帧外周图像中每个螺钉垫片检测框的置信度，基于所述置信度确定所述螺钉垫片在各帧外周图像对应角度下的安装正确性检测结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述定位结果所述螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定所述螺钉垫片的当前安装位置正确，否则判定所述螺钉垫片的当前安装位置不正确，包括：
计算相邻外周图像中任意检测框之间的图间交并比；
将所述图间交并比大于图间阈值的检测框对应的螺钉垫片视为同一螺钉垫片，并判断所述螺钉垫片在所述任意检测框对应两个视角下的安装正确性检测结果是否合格；
如果合格，则继续检测，直到检测所有所述图间交并比大于所述图间阈值的检测框对应两个视角下的安装正确性检测结果均合格时，判定所述螺钉垫片的当前安装位置正确，否则判定所述螺钉垫片的当前安装位置不正确。
6.根据权利要求5所述的方法，其特征在于，所述安装正确性检测结果包括未正确安装类型，在计算相邻外周图像中任意检测框之间的图间交并比之前，还包括：
对所述未正确安装类型对应检测框的置信度进行修正，得到修正置信度，其中，所述修正置信度大于所述修正前的置信度；
将所有修正置信度中小于置信度阈值的检测框删除，并计算修正置信度最高的检测框与其他检测框之间的框间交并比；
判断所述框间交并比是否大于框间阈值，如果是，则将所述其他检测框删除。
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到，包括：
获取发动机的外周螺钉垫片的历史图像数据，对所述历史图像数据中的螺钉垫片位置与安装正确性进行标注，得到螺钉垫片图像数据集；
利用所述螺钉垫片图像数据集对所述深度卷积神经网络和双分支检测器网络进行端到端的模型训练，得到所述安装正确性检测模型。
8.一种航空发动机外周螺钉垫片的安装检测装置，其特征在于，包括：
采集模块，用于采集待检测发动机在多角度下的多帧外周图像；
单帧检测模块，用于将所述各帧外周图像输入至预先训练的安装正确性检测模型，确定所述待检测发动机的外周螺钉垫片在每个角度下的安装正确性检测结果和定位结果，其中，所述安装正确性检测模型由深度卷积神经网络和双分支检测器网络训练得到；以及
多帧分析模块，用于根据多帧图像的所述定位结果对所述螺钉垫片进行跟踪，并在跟踪过程中确定任意角度下的安装正确性检测结果均为合格时，判定所述螺钉垫片的当前安装位置正确，否则判定所述螺钉垫片的当前安装位置不正确。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的航空发动机外周螺钉垫片的安装检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的航空发动机外周螺钉垫片的安装检测方法。
CN202210415393.7A 2022-04-20 2022-04-20 一种航空发动机外周螺钉垫片的安装检测方法及装置 Active CN114529543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210415393.7A CN114529543B (zh) 2022-04-20 2022-04-20 一种航空发动机外周螺钉垫片的安装检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210415393.7A CN114529543B (zh) 2022-04-20 2022-04-20 一种航空发动机外周螺钉垫片的安装检测方法及装置

Publications (2)

Publication Number Publication Date
CN114529543A true CN114529543A (zh) 2022-05-24
CN114529543B CN114529543B (zh) 2022-07-26

Family

ID=81627995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210415393.7A Active CN114529543B (zh) 2022-04-20 2022-04-20 一种航空发动机外周螺钉垫片的安装检测方法及装置

Country Status (1)

Country Link
CN (1) CN114529543B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913232A (zh) * 2022-06-10 2022-08-16 嘉洋智慧安全生产科技发展（北京）有限公司 图像处理方法、装置、设备、介质及产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN213435776U (zh) * 2020-10-14 2021-06-15 厦门三达林电子材料有限公司 螺钉垫片安装到位检测装置
CN113643284A (zh) * 2021-09-09 2021-11-12 西南交通大学 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN213435776U (zh) * 2020-10-14 2021-06-15 厦门三达林电子材料有限公司 螺钉垫片安装到位检测装置
CN113643284A (zh) * 2021-09-09 2021-11-12 西南交通大学 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913232A (zh) * 2022-06-10 2022-08-16 嘉洋智慧安全生产科技发展（北京）有限公司 图像处理方法、装置、设备、介质及产品
CN114913232B (zh) * 2022-06-10 2023-08-08 嘉洋智慧安全科技(北京)股份有限公司 图像处理方法、装置、设备、介质及产品

Also Published As

Publication number Publication date
CN114529543B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
CN101923711B (zh) 基于邻域相似性及掩模增强的sar图像变化检测方法
CN111178392B (zh) 基于深度神经网络的航空发动机孔探图像损伤分割方法
CN108492327B (zh) Aoi图像匹配方法、系统、可读存储介质及智能设备
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
US8977665B2 (en) Fault-aware matched filter and optical flow
CN113361354A (zh) 轨道部件巡检方法、装置、计算机设备和存储介质
CN108764119A (zh) 基于迭代最大类间方差的sar图像变化检测方法
CN114529543B (zh) 一种航空发动机外周螺钉垫片的安装检测方法及装置
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN115980050A (zh) 排水口的水质检测方法、装置、计算机设备及存储介质
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN112200777B (zh) 快速判别航空发动机核心零部件装置拆装顺序的方法
Midwinter et al. Unsupervised defect segmentation with pose priors
Shaw et al. Automation of digital historical map analyses
CN112419244B (zh) 混凝土裂缝分割方法及装置
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
Zhao et al. A hybrid CNN/Poisson fusion based power transformer external defect detecting method
CN111369508A (zh) 一种金属三维点阵结构的缺陷检测方法及系统
CN117690846B (zh) 太阳能硅片视觉检测方法、装置、设备及存储介质
CN114677574B (zh) 用于自动驾驶的诊断图像故障的方法和系统
CN113099210B (zh) 三维图像还原方法、装置、计算机设备和存储介质
CN117129480B (zh) 基于机器视觉的计算机主板元器件智能检测方法及装置
Sui et al. A boundary aware neural network for road extraction from high-resolution remote sensing imagery
Topp et al. How can NDT 4.0 improve the Probability of Detection (POD)?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant