CN115049856A - 基于改进的YOLOv5的风机桨叶故障检测方法及系统 - Google Patents

基于改进的YOLOv5的风机桨叶故障检测方法及系统 Download PDF

Info

Publication number
CN115049856A
CN115049856A CN202210734091.6A CN202210734091A CN115049856A CN 115049856 A CN115049856 A CN 115049856A CN 202210734091 A CN202210734091 A CN 202210734091A CN 115049856 A CN115049856 A CN 115049856A
Authority
CN
China
Prior art keywords
fan blade
fault detection
data
data set
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210734091.6A
Other languages
English (en)
Inventor
王宁
王恩路
王雁冰
韩则胤
杨健
王铁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cgn Beijing New Energy Technology Co ltd
Original Assignee
Cgn Beijing New Energy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cgn Beijing New Energy Technology Co ltd filed Critical Cgn Beijing New Energy Technology Co ltd
Priority to CN202210734091.6A priority Critical patent/CN115049856A/zh
Publication of CN115049856A publication Critical patent/CN115049856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Control Of Positive-Displacement Air Blowers (AREA)

Abstract

本发明涉及一种基于改进的YOLOv5的风机桨叶故障检测方法，涉及风机检测领域，该方法包括：采集风机桨叶数据集；采用AutoAugment方法对数据集中样本图像进行数据增强，获得第一数据增强后的数据集；采用Retinex算法对第一数据增强后的数据集中图像进行数据增强，获得第二数据增强后的数据集；采用第二数据增强后的数据集训练改进的YOLOv5，获得风机桨叶故障检测模型；改进的YOLOv5包括在Neck部分的跳转连接处添加自适应注意力模块，以及在Neck部分的上采样部分添加特征增强模块；采用风机桨叶故障检测模型对待检测风机桨叶进行。本发明提高了检测模型的鲁棒性。

Description

基于改进的YOLOv5的风机桨叶故障检测方法及系统
技术领域
本发明涉及风机检测领域，特别是涉及一种基于改进的YOLOv5的风机桨叶故障检测方法及系统。
背景技术
在经济呈高速发展的趋势下，人们对能源的需求量和生态环境的变化迫使人们不断的去探索新能源。人们将利用水能、太阳能、核能、风能进行发电的技术统称为新能源发电。中国水资源丰富，但开发较少，对因建造水电站而搬迁的农民进行补偿以及生态环境保护是扼制发展的主要原因。中国核电发电总量为1.8％，与世界平均水平相比较低，核安全是核电发展的拦路虎。太阳能十分充足，无污染，但能量密度不均衡、强度受季节的影响变化较大，这成为了太阳能发展和利用的绊脚石。风能在自然界分布广泛，储存量很大，而且风力发电不会受燃料和水的限制，同时，因为发电过程安全可靠，零污染，使其不但成为新能源发电中的排头兵，也真正成为现代能源供应的重要组成部分。
风电机组中将风能转变为机械能最主要的部件是受风力旋转的桨叶，而桨叶的工作环境非常不友好，载荷复杂多变，损坏率极高。桨叶作为整个风力发电机组的重要装备，其成本占整个机组设备成本的15％-20％，价格昂贵。
桨叶非常沉重并且位于高空，肉眼较难找出桨叶早期出现的损伤。同时，人工维护困难，一旦发生事故，情况很严重；如果桨叶的细小缺陷没有被及时发现并且处理，严重之后会造成桨叶断裂导致机组停机，会造成巨大的人力和物力损失。
对于大型风电场来说，针对桨叶的巡检任务是非常繁琐且艰巨的。如果采用定期检查，在发现问题之后再去给机组做检查、进行故障分析、处理故障，进而有可能由于这些小缺陷引发一些比较重大的故障，造成巨大损伤和严重后果。为了保证风电机组在安全的状态下发电，减少维护所需要的资金，提高对风能的利用率，及时且准确地检测出桨叶早期缺陷有着至关重要的意义。
目前常用的人工巡检方式，需在风机停运状态下进行，通过望远镜观察桨叶表面是否有裂痕、损坏或遭受过雷击。这种方式使得检测人员工作量大，容易造成检测人员容易疲劳，增加了工作的不安全性，同时也降低了桨叶巡检效率。同时，巡检过程对巡检精密仪器以及巡检人员的专业技术水平均具有较严格的要求。
由于人工目测风机叶片表面缺陷效率低下，无法保障检测人员生命安全，同时检测准确率无法得到保障，安装各种传感器又价格昂贵，对检测环境要求高，而目前基于机器视觉的风机叶片故障检测存在鲁棒性差或检测效率差的问题。
发明内容
本发明的目的是提供一种基于改进的YOLOv5的风机桨叶故障检测方法及系统，提高了检测模型的鲁棒性。
为实现上述目的，本发明提供了如下方案：
一种基于改进的YOLOv5的风机桨叶故障检测方法，包括：
采集风机桨叶数据集；
采用AutoAugment方法对所述数据集中样本图像进行数据增强，获得第一数据增强后的数据集；
采用Retinex算法对所述第一数据增强后的数据集中图像进行数据增强，获得第二数据增强后的数据集；
采用所述第二数据增强后的数据集训练改进的YOLOv5，获得风机桨叶故障检测模型；所述改进的YOLOv5包括在Neck部分的跳转连接处添加自适应注意力模块，以及在Neck部分的上采样部分添加特征增强模块；
采用所述风机桨叶故障检测模型对待检测风机桨叶进行。
可选地，所述自适应注意力模块用于通过自适应平均池化层获得不同尺度的多个上下文特征。
可选地，所述特征增强模块包括多分支卷积层和一个分支池化层，所述多分支卷积层用于对输入特征图提供不同大小的感受野，所述分支池化层用于对所述多分支卷积层的输出进行特征融合。
可选地，所述采用AutoAugment方法对所述数据集中样本图像进行数据增强，获得第一数据增强后的数据集之前，具体还包括：
分别通过空间几何变换和RGB颜色扰动的方法对所述数据集中样本图像进行数据增强；所述空间几何变换包括对样本图像进行水平或垂直翻转、随机裁剪、旋转和放射变换。
可选地，所述风机桨叶故障检测模型的输出包括故障类型和桨叶位置，所述故障类型包括腐蚀、擦痕、裂纹、涂层剥落、表面斑点和表面砂眼。
可选地，还包括：将所述风机桨叶故障检测模型部署到无人机的移动终端上，部署到无人机的移动终端上的所述风机桨叶故障检测模型用于对所述无人机采集的风机桨叶图像进行实时故障检测。
本发明公开了一种基于改进的YOLOv5的风机桨叶故障检测系统，包括：
数据集采集模块，用于采集风机桨叶数据集；
第一数据增强模块，用于采用AutoAugment方法对所述数据集中样本图像进行数据增强，获得第一数据增强后的数据集；
第二数据增强模块，用于采用Retinex算法对所述第一数据增强后的数据集中图像进行数据增强，获得第二数据增强后的数据集；
改进的YOLOv5训练模块，用于采用所述第二数据增强后的数据集训练改进的YOLOv5，获得风机桨叶故障检测模型；所述改进的YOLOv5包括在Neck部分的跳转连接处添加自适应注意力模块，以及在Neck部分的上采样部分添加特征增强模块；
风机桨叶故障检测模块，用于采用所述风机桨叶故障检测模型对待检测风机桨叶进行。
可选地，所述自适应注意力模块用于通过自适应平均池化层获得不同尺度的多个上下文特征。
可选地，所述特征增强模块包括多分支卷积层和一个分支池化层，所述多分支卷积层用于对输入特征图提供不同大小的感受野，所述分支池化层用于对所述多分支卷积层的输出进行特征融合。
可选地，所述风机桨叶故障检测模型的输出包括故障类型和桨叶位置，所述故障类型包括腐蚀、擦痕、裂纹、涂层剥落、表面斑点和表面砂眼。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于改进的YOLOv5的风机桨叶故障检测方法，采用AutoAugment方法和Retinex算法对数据集图像进行数据增强，通过 AutoAugment方法丰富数据集使其更适合实际场景，并通过Retinex算法进行图像增强预处理，消除光照不均的影响，改善图像的视觉效果，进而提高模型的鲁棒性，另外，改进后的模型利用自适应注意力模块(AAM)和特征增强模块 (FEM)来减少特征图生成过程中的信息丢失并增强表示能力，提高了检测模型故障检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于改进的YOLOv5的风机桨叶故障检测方法流程示意图；
图2为本发明一种基于改进的YOLOv5的风机桨叶故障检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于改进的YOLOv5的风机桨叶故障检测方法及系统，提高了检测模型的鲁棒性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于改进的YOLOv5的风机桨叶故障检测方法流程示意图，如图1所示，一种基于改进的YOLOv5的风机桨叶故障检测方法，包括：
步骤101：采集风机桨叶数据集。
本发明采集的实验对象为风机桨叶。桨叶工作环境特别恶劣，受到气动载荷、重力载荷和惯性载荷的叠加作用，而且长期不停的运转在自然环境中，外界气候对叶片运行会造成很大影响，尤其是台风、雷雨、冰雪、沙尘等恶劣气候随时都可能对叶片造成危害，从而对风力发电造成经济损失。如现场的沙尘对桨叶表面日积月累的侵蚀而造成桨叶出现表面砂眼；桨叶运行不可避免的产生扭转、弯曲、振动等致使风机桨叶出现裂纹或断裂；因风机桨叶安装位置过高而使得桨叶遭受雷击等。风机桨叶的表面缺陷一般有腐蚀、擦痕和裂纹、涂层剥落、表面斑点、表面砂眼等类型，背景包括灰黄色荒野、农业用地、工业用地、未降水的天空等。原始图像均为使用海康威视工业彩色相机拍摄到的风机桨叶图像，共计1000张图像。采集数据完成后，对采集的1000张风机桨叶图像进行标注，标注部位主要是风力发电机的桨叶。
步骤102：采用AutoAugment方法对所述数据集中样本图像进行数据增强，获得第一数据增强后的数据集。
其中步骤102之前，具体还包括：
分别通过空间几何变换和RGB颜色扰动的方法对所述数据集中样本图像进行数据增强；所述空间几何变换包括对样本图像进行水平或垂直翻转、随机裁剪、旋转和放射变换。
RGB颜色扰动的方法为将图片从RGB颜色空间转换到另一颜色空间，增加或减少颜色参数后返回RGB颜色空间。
通过提高数据集的规模和质量，提高模型的泛化能力。
本发明采用自动搜索合适数据增强策略的方法AutoAugment，有效增强风机桨叶的数据集，增加训练图像数据的数量和多样性。
AutoAugment是2018谷歌大脑的研究者提出的一种自动搜索合适数据增强策略的方法，该方法创建一个数据增强策略的搜索空间，利用搜索算法选取适合特定数据集的数据增强策略。
步骤103：采用Retinex算法对所述第一数据增强后的数据集中图像进行数据增强，获得第二数据增强后的数据集。
使用Retinex算法对步骤102中数据增强后的风机桨叶图像进行图像增强预处理，降低了外部大雾、阴暗等复杂环境对风机桨叶故障识别的影响，使风机桨叶图像便于改进的YOLOv5模型识别。
将第二数据增强后的数据集输入到Retinex算法中，进行以下三步处理：
1)根据原始图像得到R(x,y)，计算原始图像按指定尺度进行模糊后的图像 L(x,y)；
2)按照下面的公式(2)，得到logR(x,y)的值；
3)将logR(x,y)量化为0到255的像素值，得到最终的输出即处理后的图像。
Retinex算法原理如下：
根据图像生成的原理，图像可以看作由入射图像和反射图像构成的，入射光照在反射物体上，通过反射物体的反射光进入人眼，就是人类看到的图像。
观察者所看到的物体的图像S是由物体表面对入射光L反射得到的，反射率R由物体本身决定，不受入射光L变化。原始图像S是光照图像L和反射率图像R的乘积，即可表示为下式的形式：
S(x,y)＝R(x,y)·L(x,y) (1)
其中，L(x,y)表示入射光图像，L(x,y)直接决定了图像中像素所能达到的动态范围，R(x,y)表示物体的反射性质图像，即图像的内在属性，S(x,y)表示人眼所能接收到的反射光图像。
基于Retinex的图像预处理的目的就是从原始图像S中估计出光照L，从而分解出R，消除光照不均的影响，以改善图像的视觉效果,正如人类视觉系统那样。在处理中，通常将图像转至对数域，从而将乘积关系转换为和的关系即：
logS(x,y)＝logR(x,y)+logL(x,y) (2)
Retinex方法的核心就是估测照度L，从图像S中估测L分量，并去除L分量，得到原始反射分量R，设s＝logS(x,y),r＝logR(x,y),l＝logL(x,y)，并设置 l＝f(s)，即s＝r+l＝r+f(s)，可以得到：
r＝s-f(s) (3)
设r＝f(x)，函数f(x)实现通过对照度L的估计从而得到r分量。
步骤104：采用所述第二数据增强后的数据集训练改进的YOLOv5，获得风机桨叶故障检测模型；所述改进的YOLOv5包括在Neck部分的跳转连接处添加自适应注意力模块，以及在Neck部分的上采样部分添加特征增强模块。
所述自适应注意力模块用于通过自适应平均池化层获得不同尺度的多个上下文特征。
所述特征增强模块包括多分支卷积层和一个分支池化层，所述多分支卷积层用于对输入特征图提供不同大小的感受野，所述分支池化层用于对所述多分支卷积层的输出进行特征融合。
采用第二数据增强后的数据集训练改进的YOLOv5，其中，输入改进的 YOLOv5中图像为人工标注后的风机桨叶图像，标注部位是风力发电机的桨叶。通过设置网络训练参数包括batch大小、学习率和迭代次数等，利用标注的数据集(第二数据增强后的数据集)对网络模型(改进的YOLOv5)进行训练，当网络训练到收敛、损失函数小于给定值时，完成网络训练。
改进的YOLOv5训练评价指标包括精度和召回率。
精度(Precision)：(找对的正类/所有找到的正类)；
Figure RE-GDA0003752146760000081
召回率(Recall)：(找对的正类/所有本应该被找对的正类)；
Figure RE-GDA0003752146760000082
其中，FN：FalseNegative，为被判定为负样本，但事实上是正样本。FP：FalsePositive，被判定为正样本，但事实上是负样本。TP：TruePositive，被判定为正样本，事实上也是正样本。
在一个数据集检测中，会产生四类检测结果：TP、TN、FP、FN：
T——true表示正确
F——false表示错误
P——positive表示积极的，看成正例
N——negative表示消极的，看成负例
TP——预测为P(正类)，预测对了，本来是正样本，检测为正样本(真阳性)。
TN——预测为N(负类)，预测对了，本来是负样本，检测为负样本(真阴性)。
FP——预测为P(正类)，预测错了，本来是负样本，检测为正样本(假阳性)。
FN——预测为N(负类)，预测错了，本来是正样本，检测为负样本(假阴性)。
在本发明中，正类就是改进的YOLOv5模型对风力发电机的桨叶上的缺陷进行检测，若检测结果与实际情况相符，就是正类；若检测结果与实际情况不相符，就是负类。
改进的YOLOv5的基本框架可以分为4个部分：
(1)输入端：AutoAugment数据增强、自适应锚框计算；
(2)Backbone(主干网络)：Focus结构，CSP结构(Cross Stage ParitialNetwork)；
(3)Neck：FPN(Feature Pyramid Network)(融合AAM和FEM)+PAN (RegionProposal Network)结构；
(4)Prediction(预测端)：IOU_Loss(Intersection over Union_Loss)。
输入端作用：
①AutoAugment数据增强，有效增强风机桨叶的数据集，增加训练图像数据的数量和多样性。
②自适应锚框计算，在YOLO算法中，针对不同的数据集，都会有初始设定长宽的锚框，在YOLOv5中本功能是在每次计算训练时，自适应的计算不同训练集中的最佳锚框值。
Backbone(主干网络)作用：
①Focus结构，起到下采样的作用，同时提高检测速度。例如，将原始 608*608*3的图像输入Focus结构，采用切片操作，先变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图。
②CSP结构(Cross Stage Paritial Network)，主要从网络结构设计的角度解决推理中计算量很大的问题，因此采用CSP模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时，可以保证准确率。
Neck作用：
①FPN(Feature Pyramid Network)，即特征金字塔，实现特征图像分辨率的恢复和浅层特征的结合。
②RPN(Region Proposal Network)，即区域生成网络，作用是专门用来提取候选框。
Prediction(预测端)，通过IOU_Loss(Intersection over Union_Loss)来不断调整权重，进而实现训练网络的目的。
改进的YOLOv5为：原始YOLOv5中Neck部分的传统特征金字塔(FPN) 中，在skipconnection(跳转连接)添加自适应注意力模块(AAM)，缓解了特征通道的减少带来的高层特征图中上下文损失。在上采样部分添加特征增强模块，增强了特征金字塔的表示同时提高了推理速度。具体添加模块见上图Neck 部分。
具体为：Backbone包括依次连接的Focus、CBL、csp1、CBL、csp1、CBL、 CBL、csp1、CBL、CBL、CBL、SPP和CBL。在第三个CBL的输出端的跳转连接处添加自适应注意力模块。在第五个CBL的输出端的上采样部分添加特征增强模块。
其中，自适应模块的操作可以分为两个步骤：
首先，通过自适应平均池化层获得不同尺度的多个上下文特征。池化层系数为[0.1，0.5]，根据数据集的目标大小自适应变化。
其次，通过空间注意力机制，为每个特征图生成权值图。通过权重图融合上下文，生成包含多尺度上下信息的新特征图。
特征增强模块(FEM)主要是根据检测到的风机桨叶尺度的不同，利用扩张卷积自适应地学习每个特征图中的不同感受野，从而提高多尺度目标检测识别的准确性。该模块分为多分支卷积层和分支池化层，多分支卷积层通过扩张卷积为输入特征图提供不同大小的感受野，利用分支池化层融合来自三个支路感受野的交通信息，提高了多尺度精度预测。
扩张卷积的感受野公式如下：
r1＝d*(k-1)+1 (8)
rn＝d*(k-1)+rn-1 (9)
其中k表示kernel-size(卷积核大小)，d表示卷积的stride，rn表示膨胀率。
分支池化层用于融合来自不同并行分支的信息，避免引入额外参数。在训练过程中，利用平均操作来平衡不同平行分支的表示，使单个分支在测试过程中实现推理。表达式如下：
Figure RE-GDA0003752146760000101
其中，B表示特征增强模块中卷积层分支的数量，yi表示各分支卷积层的输出，yp表示分支池化层的输出。
步骤105：采用所述风机桨叶故障检测模型对待检测风机桨叶进行。
所述风机桨叶故障检测模型的输出包括故障类型和桨叶位置，所述故障类型包括腐蚀、擦痕、裂纹、涂层剥落、表面斑点和表面砂眼。
一种基于改进的YOLOv5的风机桨叶故障检测方法还包括：将所述风机桨叶故障检测模型部署到无人机的移动终端上，部署到无人机的移动终端上的所述风机桨叶故障检测模型用于对所述无人机采集的风机桨叶图像进行实时故障检测。
本发明使用JETSON TX2开发板，JETSON系列是Nvidia公司推出的面向无人智能化领域的嵌入式平台，可以在边缘设备上处理复杂数据，实现人工智能。JETSON TX2是一台模块化AI超级计算机，采用NVIDIA PascalTM架构。它性能强大，但外形小巧，节能高效，非常适合机器人、无人机、智能摄像机和便携医疗设备等智能边缘设备。它支持JetsonTX1模块的所有功能，同时可以铸就更大型、更复杂的深度神经网络。
将完成训练的风机桨叶故障检测模型部署到TX2边缘检测设备上，利用训练好的网络对工业相机采集的风机桨叶图像进行识别，并得到图像中识别出的风机桨叶的缺陷。利用训练好的网络对摄像头采集的图像进行识别，得到图像中识别出的风机桨叶的缺陷并加以分类，实现风机桨叶的故障检测。
本发明设计了基于改进的YOLOv5算法的风机桨叶故障检测方法。首先将故障检测技术引入风机机组无人机巡检中，利用海康工业相机对风机桨叶进行实时拍摄，再将图像输入到Retinex图像增强算法中，最后把处理过后的图像输入到改进后的YOLOv5检测网络中，得到有缺陷的图像，并将缺陷进行分类。
优势在于加入了AutoAugment数据增强算法，增加了训练图像数据的数量和多样性。引入了Retinex图像增强算法，降低了大雾、阴暗等外部复杂环境对工件识别精度的影响。改进了YOLOv5检测模型，在传统的特征图金字塔上增加了自适应注意力模块和特征增强模块，通过自适应特征融合和感受野增强，在特征传递过程中很大程度上保留通道信息，并自适应学习每个特征图中的不同感受野，增强特征金字塔的表示，有效地提高了多尺度目标识别的精度。与现有的YOLOv5网络不同，对当前版本进行了改进，以减少尺度不变性的影响。同时，它可以部署在无人机的移动终端上，对风机桨叶进行实时检测和识别。
图2为本发明一种基于改进的YOLOv5的风机桨叶故障检测系统结构示意图，如图2所示，一种基于改进的YOLOv5的风机桨叶故障检测系统，其特征在于，包括：
数据集采集模块201，用于采集风机桨叶数据集。
第一数据增强模块202，用于采用AutoAugment方法对所述数据集中样本图像进行数据增强，获得第一数据增强后的数据集。
第二数据增强模块203，用于采用Retinex算法对所述第一数据增强后的数据集中图像进行数据增强，获得第二数据增强后的数据集。
改进的YOLOv5训练模块204，用于采用所述第二数据增强后的数据集训练改进的YOLOv5，获得风机桨叶故障检测模型；所述改进的YOLOv5包括在Neck部分的跳转连接处添加自适应注意力模块，以及在Neck部分的上采样部分添加特征增强模块。
风机桨叶故障检测模块205，用于采用所述风机桨叶故障检测模型对待检测风机桨叶进行。
所述自适应注意力模块用于通过自适应平均池化层获得不同尺度的多个上下文特征。
所述特征增强模块包括多分支卷积层和一个分支池化层，所述多分支卷积层用于对输入特征图提供不同大小的感受野，所述分支池化层用于对所述多分支卷积层的输出进行特征融合。
所述风机桨叶故障检测模型的输出包括故障类型和桨叶位置，所述故障类型包括腐蚀、擦痕、裂纹、涂层剥落、表面斑点和表面砂眼。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于改进的YOLOv5的风机桨叶故障检测方法，其特征在于，包括：
采集风机桨叶数据集；
采用AutoAugment方法对所述数据集中样本图像进行数据增强，获得第一数据增强后的数据集；
采用Retinex算法对所述第一数据增强后的数据集中图像进行数据增强，获得第二数据增强后的数据集；
采用所述第二数据增强后的数据集训练改进的YOLOv5，获得风机桨叶故障检测模型；所述改进的YOLOv5包括在Neck部分的跳转连接处添加自适应注意力模块，以及在Neck部分的上采样部分添加特征增强模块；
采用所述风机桨叶故障检测模型对待检测风机桨叶进行。
2.根据权利要求1所述的基于改进的YOLOv5的风机桨叶故障检测方法，其特征在于，所述自适应注意力模块用于通过自适应平均池化层获得不同尺度的多个上下文特征。
3.根据权利要求1所述的基于改进的YOLOv5的风机桨叶故障检测方法，其特征在于，所述特征增强模块包括多分支卷积层和一个分支池化层，所述多分支卷积层用于对输入特征图提供不同大小的感受野，所述分支池化层用于对所述多分支卷积层的输出进行特征融合。
4.根据权利要求1所述的基于改进的YOLOv5的风机桨叶故障检测方法，其特征在于，所述采用AutoAugment方法对所述数据集中样本图像进行数据增强，获得第一数据增强后的数据集之前，具体还包括：
分别通过空间几何变换和RGB颜色扰动的方法对所述数据集中样本图像进行数据增强；所述空间几何变换包括对样本图像进行水平或垂直翻转、随机裁剪、旋转和放射变换。
5.根据权利要求1所述的基于改进的YOLOv5的风机桨叶故障检测方法，其特征在于，所述风机桨叶故障检测模型的输出包括故障类型和桨叶位置，所述故障类型包括腐蚀、擦痕、裂纹、涂层剥落、表面斑点和表面砂眼。
6.根据权利要求1所述的基于改进的YOLOv5的风机桨叶故障检测方法，其特征在于，还包括：将所述风机桨叶故障检测模型部署到无人机的移动终端上，部署到无人机的移动终端上的所述风机桨叶故障检测模型用于对所述无人机采集的风机桨叶图像进行实时故障检测。
7.一种基于改进的YOLOv5的风机桨叶故障检测系统，其特征在于，包括：
数据集采集模块，用于采集风机桨叶数据集；
第一数据增强模块，用于采用AutoAugment方法对所述数据集中样本图像进行数据增强，获得第一数据增强后的数据集；
第二数据增强模块，用于采用Retinex算法对所述第一数据增强后的数据集中图像进行数据增强，获得第二数据增强后的数据集；
改进的YOLOv5训练模块，用于采用所述第二数据增强后的数据集训练改进的YOLOv5，获得风机桨叶故障检测模型；所述改进的YOLOv5包括在Neck部分的跳转连接处添加自适应注意力模块，以及在Neck部分的上采样部分添加特征增强模块；
风机桨叶故障检测模块，用于采用所述风机桨叶故障检测模型对待检测风机桨叶进行。
8.根据权利要求7所述的基于改进的YOLOv5的风机桨叶故障检测系统，其特征在于，所述自适应注意力模块用于通过自适应平均池化层获得不同尺度的多个上下文特征。
9.根据权利要求7所述的基于改进的YOLOv5的风机桨叶故障检测系统，其特征在于，所述特征增强模块包括多分支卷积层和一个分支池化层，所述多分支卷积层用于对输入特征图提供不同大小的感受野，所述分支池化层用于对所述多分支卷积层的输出进行特征融合。
10.根据权利要求7所述的基于改进的YOLOv5的风机桨叶故障检测系统，其特征在于，所述风机桨叶故障检测模型的输出包括故障类型和桨叶位置，所述故障类型包括腐蚀、擦痕、裂纹、涂层剥落、表面斑点和表面砂眼。
CN202210734091.6A 2022-06-27 2022-06-27 基于改进的YOLOv5的风机桨叶故障检测方法及系统 Pending CN115049856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210734091.6A CN115049856A (zh) 2022-06-27 2022-06-27 基于改进的YOLOv5的风机桨叶故障检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210734091.6A CN115049856A (zh) 2022-06-27 2022-06-27 基于改进的YOLOv5的风机桨叶故障检测方法及系统

Publications (1)

Publication Number Publication Date
CN115049856A true CN115049856A (zh) 2022-09-13

Family

ID=83163278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210734091.6A Pending CN115049856A (zh) 2022-06-27 2022-06-27 基于改进的YOLOv5的风机桨叶故障检测方法及系统

Country Status (1)

Country Link
CN (1) CN115049856A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058396A (zh) * 2023-10-11 2023-11-14 精效悬浮(苏州)科技有限公司 基于人工智能的风机叶片缺陷区域快速分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058396A (zh) * 2023-10-11 2023-11-14 精效悬浮(苏州)科技有限公司 基于人工智能的风机叶片缺陷区域快速分割方法及系统
CN117058396B (zh) * 2023-10-11 2023-12-26 精效悬浮(苏州)科技有限公司 基于人工智能的风机叶片缺陷区域快速分割方法及系统

Similar Documents

Publication Publication Date Title
CN113538391B (zh) 一种基于Yolov4和热红外图像的光伏缺陷检测方法
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
CN113486865B (zh) 一种基于深度学习的输电线路悬挂异物目标检测方法
CN111696075A (zh) 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN113284124B (zh) 一种基于无人机视觉的光伏面板缺陷检测方法
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN112365468A (zh) 基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法
CN109741320A (zh) 一种基于航拍图像的风电叶片故障检测方法
CN110517224A (zh) 一种基于深度神经网络的光伏板缺陷检测方法
CN114943689A (zh) 基于半监督学习的钢铁冷轧退火炉元器件检测方法
CN115115934A (zh) 一种基于改进型YOLOv5的无人机航拍图像河流漂浮物检测方法
CN114283137A (zh) 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法
CN114021741A (zh) 一种基于深度学习的光伏电池板巡检方法
CN114596278A (zh) 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置
CN115240069A (zh) 一种全雾天场景下的实时性障碍物检测方法
Wang et al. Insulator anomaly detection method based on few-shot learning
CN117218101A (zh) 一种基于语义分割的复合材料风电叶片缺陷检测方法
Özer et al. An approach based on deep learning methods to detect the condition of solar panels in solar power plants
CN115049856A (zh) 基于改进的YOLOv5的风机桨叶故障检测方法及系统
CN116385911A (zh) 一种用于无人机巡检绝缘子的轻量型目标检测方法
CN114897857A (zh) 基于轻量型神经网络的太阳能电池缺陷检测方法
CN115393747A (zh) 一种基于深度学习的光伏故障检测方法
CN110136059A (zh) 直线特征的风电叶片图像拼接方法
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN114627074A (zh) 一种基于深度学习的地面拍摄风机叶片实时监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination