CN113838013A - 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置 - Google Patents

基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置 Download PDF

Info

Publication number
CN113838013A
CN113838013A CN202111068098.0A CN202111068098A CN113838013A CN 113838013 A CN113838013 A CN 113838013A CN 202111068098 A CN202111068098 A CN 202111068098A CN 113838013 A CN113838013 A CN 113838013A
Authority
CN
China
Prior art keywords
data set
blade
engine
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111068098.0A
Other languages
English (en)
Inventor
李双宝
于婧仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202111068098.0A priority Critical patent/CN113838013A/zh
Publication of CN113838013A publication Critical patent/CN113838013A/zh
Priority to US18/576,275 priority patent/US20240212124A1/en
Priority to PCT/CN2022/119657 priority patent/WO2023036346A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置，涉及航空发电机检测技术领域，方法包括：发送第一指令以获取发动机内部叶片图像；对发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集；输入训练数据集至预先设置的YOLOv5网络模型进行训练，利用验证数据集对训练导出的模型效果进行初步评估以对模型进行调整，利用训练好的权重文件与测试数据集进行测试，并获取mAP值以及P‑R曲线对模型进行最终评估；实时获取发动机内部叶片图像并利用权重文件对发动机叶片进行实时检测并输出检测结果。通过本发明可以提高现有技术中叶片裂纹的检测速度，提高叶片裂纹检测算法的网络灵活度。

Description

基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及 装置
技术领域
本发明涉及航空发电机检测技术领域，尤其是涉及一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置。
背景技术
航空发动机叶片的正常运转可以为发动机提供持续不断的飞行动力，它服役时间往往较长，这样的环境容易使其产生疲劳裂纹，这些发动机叶片上的裂纹对航空发动机的正常运行构成了潜在的威胁。未及时处理的裂纹会进一步恶化，进而导致整个发动机的瘫痪失效，这对正常的航空飞行产生了严重的威胁。事实上，只要发动机叶片上存在裂纹，无论其大小如何，都会危及人员并对机器构成严重的威胁，重则机毁人亡，造成不可挽回的损失。长期以来，涡轮叶片断裂引发的飞行事故在飞行中屡见不鲜，因此为了保障航空发动机安全地运行，对叶片裂纹的定期检测至关重要。
现有检测叶片裂纹的方法包括：孔探仪和渗透检测法、X射线和磁粉检测法、涡流和超声检测等传统方法；Faster R-CNN双阶段算法等图像处理方法。传统方法主要存在的问题：人工标记数量有限且鲁棒性较差，工艺流程步骤多，耗时费力等。
目标检测算法分为单阶段和双阶段算法，单阶段算法在图像信息输入后进行定位预测，并直接输出结果，检测速度快但锚框较多，需要对锚框的选取进行优化，YOLO是单阶段目标检测的代表算法，一次性输出目标框的位置和类别置信度；双阶段算法将锚框进行分类回归，进行多次检测及更新，速度较单阶段算法慢，结构不够灵活，但网络融合度高。
综上所述，现有技术中叶片裂纹检测方法依靠人工标记，效率低下，同时目标检测算法无法满足同时兼顾叶片检测速度与叶片检测网络灵活度。
发明内容
有鉴于此，本发明的目的在于提供一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置，以提高现有技术中叶片裂纹的检测速度，提高叶片裂纹检测算法的网络灵活度。
第一方面，本发明实施例提供了一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法，应用于上位机，具体包括如下步骤：
发送第一指令以获取发动机内部叶片图像；
对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集；
输入所述训练数据集至预先设置的YOLOv5网络模型进行训练，利用验证数据集对训练导出的模型效果进行初步评估以对模型进行调整，利用训练好的权重文件与测试数据集进行测试，并获取mAP值以及P-R曲线对模型进行最终评估；
实时获取发动机内部叶片图像并利用所述权重文件对发动机叶片进行实时检测并输出检测结果。
优选的，所述对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集的步骤包括：
对所述发动机内部叶片图像进行裂纹标注、缩放以及翻折以对数据集进行扩充获取所述测试数据集、训练数据集以及验证数据集。
优选的，所述预先设置的YOLOv5网络模型包括输入端、Backbone主干网络、Neck颈部网络和输出端；
所述输入端包括数据增强模块以及锚框选取模块，所述用于对输入的数据进行缩放、剪裁以及随机排布的方式进行拼接，所述锚框选取模块用于对所述发动机内部叶片图像标注的裂纹锚框，计算并更新裂纹锚框的大小；
所述Backbone主干网络包括Focus结构、CBL结构、CSP结构和SPP模块；
所述Focus结构获取所述输入端的裂纹图片进行切片并行卷积操作，所述CBL结构提取经所述Focus结构片并行卷积操作的裂纹图片特征信息；
所述SPP模块用于将裂纹图片特征的特征映射进行等分并进行池化操作；
所述Neck颈部网络包括FPN结构和PAN结构，所述FPN结构与所述CBL结构增大所述裂纹图片特征图尺寸，所述PAN结构与所述FPN结构进行特征融合以缩小述裂纹图片特征图尺寸；
所述输出端对裂纹信息进行标注并输出置信度，以获取精确率以及召回率。
优选的，采用如下公式进行池化操作：
Figure BDA0003259349450000031
SH—矩阵的高度；
SW—矩阵的宽度；
h—图片的高度；
w—图片的宽度；
p—填充数量；
f—过滤器尺寸；
s—步长。
优选的，采用如下公式获取精确率
Figure BDA0003259349450000032
n—识别出来的图片总数；
TP—正确识别出来的图片数量；
FP—错误识别出来的图片数量。
采用如下公式获取召回率：
Figure BDA0003259349450000041
m—有待识别目标的图片总数；
FN—目标但未被系统识别的图片数量。
优选的，采用如下步骤获取TP以及FP：
获取置信度以及重叠度IOU，所述重叠度IOU采用如下公式获取：
Figure BDA0003259349450000042
Bp—预测框；
Bgt—真实框；
基于重叠度IOU获取所述TP以及所述FP：
若识别的区域面积大于IOU阈值判定为TP，小于IOU阈值判定为FP。
优选的，采用如下公式获取mAP值：
Figure BDA0003259349450000043
P—精确度；
r—召回率；
mAP值为类别特征的AP值的求平均值。
另一方面.本发明提供了一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测装置，包括：
图像获取指令发送模块：发送第一指令以获取发动机内部叶片图像；
样本采集模块：用于对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集；
训练测试模块：用于输入所述训练数据集至预先设置的YOLOv5网络模型进行训练，利用验证数据集对训练导出的模型效果进行初步评估以对模型进行调整，利用训练好的权重文件与测试数据集进行测试，并获取mAP值以及P-R曲线对模型进行最终评估；
输出模块：实时获取发动机内部叶片图像并利用所述权重文件对发动机叶片进行实时检测并输出检测结果。
本发明实施例带来了以下有益效果：本发明提供了一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置，方法的具体步骤包括：发送第一指令以获取发动机内部叶片图像；对发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集；输入训练数据集至预先设置的YOLOv5网络模型进行训练，利用验证数据集对训练导出的模型效果进行初步评估以对模型进行调整，利用训练好的权重文件与测试数据集进行测试，并获取mAP值以及P-R曲线对模型进行最终评估；实时获取发动机内部叶片图像并利用权重文件对发动机叶片进行实时检测并输出检测结果。通过本发明可以提高现有技术中叶片裂纹的检测速度，提高叶片裂纹检测算法的网络灵活度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法流程图；
图2为一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法重叠度示意图；
图3为一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法在mAP值为0.625下的P-R曲线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，目标检测算法分为单阶段和双阶段算法，单阶段算法在图像信息输入后进行定位预测，并直接输出结果，检测速度快但锚框较多，需要对锚框的选取进行优化，YOLO是单阶段目标检测的代表算法，一次性输出目标框的位置和类别置信度；双阶段算法将锚框进行分类回归，进行多次检测及更新，速度较单阶段算法慢，结构不够灵活，但网络融合度高，基于此，本发明实施例提供的一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置，可以提高现有技术中叶片裂纹的检测速度，提高叶片裂纹检测算法的网络灵活度。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法进行详细介绍。
实施例一：
如图1所示，本发明实施一例提供了一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法，应用于上位机，具体包括如下步骤：
发送第一指令以获取发动机内部叶片图像；
对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集；
输入训练数据集至预先设置的YOLOv5网络模型进行训练，利用验证数据集对训练导出的模型效果进行初步评估以对模型进行调整，利用训练好的权重文件与测试数据集进行测试，并获取mAP值以及P-R曲线对模型进行最终评估；
实时获取发动机内部叶片图像并利用所述权重文件对发动机叶片进行实时检测并输出检测结果。
优选的，所述对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集的步骤包括：
对所述发动机内部叶片图像进行裂纹标注、缩放以及翻折以对数据集进行扩充获取所述测试数据集、训练数据集以及验证数据集。
进一步的，可采用Labelimg图片标注工具并对图片经过水平方向、垂直方向、水平垂直方向的翻折以对数据集进行扩充；
本发明获取了300张图片并对其进行了预处理以获取1500张图片，具体的，数据集划分参照表1所示：
表一：数据集分布表
Figure BDA0003259349450000071
优选的，所述预先设置的YOLOv5网络模型包括输入端、Backbone主干网络、Neck颈部网络和输出端；
所述输入端包括数据增强模块以及锚框选取模块，所述用于对输入的数据进行缩放、剪裁以及随机排布的方式进行拼接，所述锚框选取模块用于对所述发动机内部叶片图像标注的裂纹锚框，计算并更新裂纹锚框的大小；
所述Backbone主干网络包括Focus结构、CBL结构、CSP结构和SPP模块；
所述Focus结构获取所述输入端的裂纹图片进行切片并行卷积操作，所述CBL结构提取经所述Focus结构片并行卷积操作的裂纹图片特征信息；
所述SPP模块用于将裂纹图片特征的特征映射进行等分并进行池化操作；
所述Neck颈部网络包括FPN结构和PAN结构，所述FPN结构与所述CBL结构增大所述裂纹图片特征图尺寸，所述PAN结构与所述FPN结构进行特征融合以缩小述裂纹图片特征图尺寸；
所述输出端对裂纹信息进行标注并输出置信度，以获取精确率以及召回率。所述输出端包括GIOU损失函数和NMS非极大值抑制，进一步的
优选的，采用如下公式进行池化操作：
Figure BDA0003259349450000081
SH—矩阵的高度；
SW—矩阵的宽度；
h—图片的高度；
w—图片的宽度；
p—填充数量；
f—过滤器尺寸；
s—步长。
优选的，采用如下公式获取精确率
Figure BDA0003259349450000082
n—识别出来的图片总数；
TP—正确识别出来的图片数量；
FP—错误识别出来的图片数量。
采用如下公式获取召回率：
Figure BDA0003259349450000091
m—有待识别目标的图片总数；
FN—目标但未被系统识别的图片数量。
优选的，采用如下步骤获取TP以及FP：
结合图2，获取置信度以及重叠度IOU，所述重叠度IOU采用如下公式获取：
Figure BDA0003259349450000092
Bp—预测框；
Bgt—真实框；
基于重叠度IOU获取所述TP以及所述FP：
若识别的区域面积大于IOU阈值判定为TP，小于IOU阈值判定为FP。
优选的，采用如下公式获取mAP值：
Figure BDA0003259349450000093
P—精确度；
r—召回率；
mAP值为类别特征的AP值的求平均值。
进一步的，TP、FP、NP、FN分类内容如下表所示：
表二：TP、FP、NP、FN分类内容
Figure BDA0003259349450000094
Figure BDA0003259349450000101
需要说明的是在本发明提供的实施例中，权重文件下的mAP值为0.625，具体测试结果如下所示，P-R曲线如图3所示：
表3：mAP在0.625下的测试结果：
Figure BDA0003259349450000102
实施例二：
本发明实施例二提供了一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测装置，包括：
图像获取指令发送模块：用于发送第一指令以获取发动机内部叶片图像；
样本采集模块：用于对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集；
训练测试模块：用于输入训练数据集至预先设置的YOLOv5网络模型进行训练，利用验证数据集对训练导出的模型效果进行初步评估以对模型进行调整，利用训练好的权重文件与测试数据集进行测试，并获取mAP值以及P-R曲线对模型进行最终评估；
输出模块：用于实时获取发动机内部叶片图像并利用所述权重文件对发动机叶片进行实时检测并输出检测结果。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法，其特征在于，应用于上位机，具体包括如下步骤：
发送第一指令以获取发动机内部叶片图像；
对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集；
输入所述训练数据集至预先设置的YOLOv5网络模型进行训练，利用验证数据集对训练导出的模型效果进行初步评估以对模型进行调整，利用训练好的权重文件与测试数据集进行测试，并获取mAP值以及P-R曲线对模型进行最终评估；
实时获取发动机内部叶片图像并利用所述权重文件对发动机叶片进行实时检测并输出检测结果。
2.根据权利要求1所述方法，其特征在于，所述对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集的步骤包括：
对所述发动机内部叶片图像进行裂纹标注、缩放以及翻折以对数据集进行扩充获取所述测试数据集、训练数据集以及验证数据集。
3.根据权利要求1所述的方法，其特征在于，所述预先设置的YOLOv5网络模型包括输入端、Backbone主干网络、Neck颈部网络和输出端；
所述输入端包括数据增强模块以及锚框选取模块，所述用于对输入的数据进行缩放、剪裁以及随机排布的方式进行拼接，所述锚框选取模块用于对所述发动机内部叶片图像标注的裂纹锚框，计算并更新裂纹锚框的大小；
所述Backbone主干网络包括Focus结构、CBL结构、CSP结构和SPP模块；
所述Focus结构获取所述输入端的裂纹图片进行切片并行卷积操作，所述CBL结构提取经所述Focus结构片并行卷积操作的裂纹图片特征信息；
所述SPP模块用于将裂纹图片特征的特征映射进行等分并进行池化操作；
所述Neck颈部网络包括FPN结构和PAN结构，所述FPN结构与所述CBL结构增大所述裂纹图片特征图尺寸，所述PAN结构与所述FPN结构进行特征融合以缩小述裂纹图片特征图尺寸；
所述输出端对裂纹信息进行标注并输出置信度，以获取精确率以及召回率。
4.根据权利要求3所述的方法，其特征在于，采用如下公式进行池化操作：
Figure FDA0003259349440000021
SH—矩阵的高度；
SW—矩阵的宽度；
h—图片的高度；
w—图片的宽度；
p—填充数量；
f—过滤器尺寸；
s—步长。
5.根据权利要求3所述的方法，其特征在于，采用如下公式获取精确率
Figure FDA0003259349440000031
n—识别出来的图片总数；
TP—正确识别出来的图片数量；
FP—错误识别出来的图片数量。
采用如下公式获取召回率：
Figure FDA0003259349440000032
m—有待识别目标的图片总数；
FN—目标但未被系统识别的图片数量。
6.根据权利要求5所述的方法，其特征在于，采用如下步骤获取TP以及FP：
获取置信度以及重叠度IOU，所述重叠度IOU采用如下公式获取：
Figure FDA0003259349440000033
Bp—预测框；
Bgt—真实框；
基于重叠度IOU获取所述TP以及所述FP：
若识别的区域面积大于IOU阈值判定为TP，小于IOU阈值判定为FP。
7.根据权利要求6所述的方法，其特征在于，采用如下公式获取mAP值：
Figure FDA0003259349440000034
P—精确度；
r—召回率；
mAP值为类别特征的AP值的求平均值。
8.一种基于YOLOv5的航空发动机运维中叶片裂纹实时检测装置，其特征在于，包括：
图像获取指令发送模块：发送第一指令以获取发动机内部叶片图像；
样本采集模块：用于对所述发动机内部叶片图像进行预处理以获取测试数据集、训练数据集以及验证数据集；
训练测试模块：用于输入所述训练数据集至预先设置的YOLOv5网络模型进行训练，利用验证数据集对训练导出的模型效果进行初步评估以对模型进行调整，利用训练好的权重文件与测试数据集进行测试，并获取mAP值以及P-R曲线对模型进行最终评估；
输出模块：用于实时获取发动机内部叶片图像并利用所述权重文件对发动机叶片进行实时检测并输出检测结果。
CN202111068098.0A 2021-09-13 2021-09-13 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置 Pending CN113838013A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111068098.0A CN113838013A (zh) 2021-09-13 2021-09-13 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置
US18/576,275 US20240212124A1 (en) 2021-09-13 2022-09-19 Yolov5-based real-time detection method and device for blade cracks in aeroengine operation and maintenance
PCT/CN2022/119657 WO2023036346A1 (zh) 2021-09-13 2022-09-19 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111068098.0A CN113838013A (zh) 2021-09-13 2021-09-13 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置

Publications (1)

Publication Number Publication Date
CN113838013A true CN113838013A (zh) 2021-12-24

Family

ID=78959170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111068098.0A Pending CN113838013A (zh) 2021-09-13 2021-09-13 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置

Country Status (3)

Country Link
US (1) US20240212124A1 (zh)
CN (1) CN113838013A (zh)
WO (1) WO2023036346A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580901A (zh) * 2022-03-04 2022-06-03 国网湖北省电力有限公司黄石供电公司 基于YOLOv5和空间转换的开关柜按钮识别定位方法及装置
CN114782778A (zh) * 2022-04-25 2022-07-22 广东工业大学 一种基于机器视觉技术的装配状态监控方法及系统
CN114802511A (zh) * 2022-03-30 2022-07-29 大连海事大学 一种面向船体检测的智能爬壁机器人
WO2023036346A1 (zh) * 2021-09-13 2023-03-16 中国民航大学 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209408A1 (de) * 2019-06-27 2020-12-31 MTU Aero Engines AG Verfahren zum Erkennen von Fehlstellen in einem Bauteil, Verfahren zum Trainieren eines maschinellen Lernsystems, Computerprogrammprodukt, computerlesbares Medium und System zum Erkennen von Fehlstellen in einem Bauteil
CN116777895B (zh) * 2023-07-05 2024-05-31 重庆大学 基于可解释深度学习的混凝土桥梁表观病害智能检测方法
CN116580285B (zh) * 2023-07-14 2023-09-22 西安益迪惟科智能科技有限责任公司 铁路绝缘子夜间目标识别检测方法
CN117456389B (zh) * 2023-11-07 2024-07-16 西安电子科技大学 一种基于YOLOv5s的改进型无人机航拍图像密集和小目标识别方法、系统、设备及介质
CN118196086B (zh) * 2024-05-15 2024-09-06 华雁智科(杭州)信息技术有限公司 分合闸不到位智能识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582320A (zh) * 2020-04-17 2020-08-25 电子科技大学 一种基于半监督学习的动态个体识别方法
CN112285504A (zh) * 2020-10-27 2021-01-29 华北电力大学 多谱段日盲窄带紫外成像仪及其检测不同放电状态的方法
CN112581430A (zh) * 2020-12-03 2021-03-30 厦门大学 一种基于深度学习的航空发动机无损检测方法、装置、设备及存储介质
CN113313695A (zh) * 2021-06-05 2021-08-27 西北工业大学 一种基于小样本航空发动机叶片ct图像的深度学习缺陷自动检测识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046213A1 (en) * 2018-08-31 2020-03-05 Agency For Science, Technology And Research A method and apparatus for training a neural network to identify cracks
CN112287899A (zh) * 2020-11-26 2021-01-29 山东捷讯通信技术有限公司 基于yolo v5的无人机航拍图像河流排污口检测方法及系统
CN112581443A (zh) * 2020-12-14 2021-03-30 北京华能新锐控制技术有限公司 一种风力发电机叶片表面损伤轻量化识别方法
CN113838013A (zh) * 2021-09-13 2021-12-24 中国民航大学 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582320A (zh) * 2020-04-17 2020-08-25 电子科技大学 一种基于半监督学习的动态个体识别方法
CN112285504A (zh) * 2020-10-27 2021-01-29 华北电力大学 多谱段日盲窄带紫外成像仪及其检测不同放电状态的方法
CN112581430A (zh) * 2020-12-03 2021-03-30 厦门大学 一种基于深度学习的航空发动机无损检测方法、装置、设备及存储介质
CN113313695A (zh) * 2021-06-05 2021-08-27 西北工业大学 一种基于小样本航空发动机叶片ct图像的深度学习缺陷自动检测识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨晓玲 等: "基于yolov5的交通标志识别检测", 《信息技术与信息化》, no. 4, pages 28 - 30 *
程起敏: "《遥感图像智能检索技术》", 31 March 2021, 武汉大学出版社, pages: 35 - 37 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023036346A1 (zh) * 2021-09-13 2023-03-16 中国民航大学 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置
CN114580901A (zh) * 2022-03-04 2022-06-03 国网湖北省电力有限公司黄石供电公司 基于YOLOv5和空间转换的开关柜按钮识别定位方法及装置
CN114802511A (zh) * 2022-03-30 2022-07-29 大连海事大学 一种面向船体检测的智能爬壁机器人
CN114782778A (zh) * 2022-04-25 2022-07-22 广东工业大学 一种基于机器视觉技术的装配状态监控方法及系统

Also Published As

Publication number Publication date
WO2023036346A1 (zh) 2023-03-16
US20240212124A1 (en) 2024-06-27

Similar Documents

Publication Publication Date Title
CN113838013A (zh) 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置
Lei et al. New crack detection method for bridge inspection using UAV incorporating image processing
CN112581430B (zh) 一种基于深度学习的航空发动机无损检测方法、装置、设备及存储介质
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
US9785919B2 (en) Automatic classification of aircraft component distress
Duque et al. Bridge deterioration quantification protocol using UAV
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
Kim et al. Development of crack detection system with unmanned aerial vehicles and digital image processing
CN115731164A (zh) 基于改进YOLOv7的绝缘子缺陷检测方法
CN107742093A (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN112367518B (zh) 一种输电线路无人机巡检图像质量评价方法
JP6707920B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20210350521A1 (en) Method for computer-implemented determination of blade-defects of a wind turbine
CN111127448B (zh) 一种基于孤立森林检测空气弹簧故障的方法
CN113361354A (zh) 轨道部件巡检方法、装置、计算机设备和存储介质
EP3889588A1 (en) Inspection assistance device, inspection assistance method, and inspection assistance program for concrete structure
US20220327684A1 (en) Method and device for detecting mechanical equipment parts
CN109146880A (zh) 一种基于深度学习的电力设备检测方法
CN107798301A (zh) 一种用于车辆年检的签名检测系统及方法
CN114841920A (zh) 基于图像处理的火焰识别方法、装置及电子设备
CN117726991B (zh) 一种高空吊篮安全带检测方法及终端
CN114418945A (zh) 一种光伏组件热斑检测方法及装置
CN117333437A (zh) 一种钢筋表面缺陷检测系统及方法
CN112734693A (zh) 一种管道焊缝缺陷检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination