CN108416294A - 一种基于深度学习的风机叶片故障智能识别方法 - Google Patents

一种基于深度学习的风机叶片故障智能识别方法 Download PDF

Info

Publication number
CN108416294A
CN108416294A CN201810190754.6A CN201810190754A CN108416294A CN 108416294 A CN108416294 A CN 108416294A CN 201810190754 A CN201810190754 A CN 201810190754A CN 108416294 A CN108416294 A CN 108416294A
Authority
CN
China
Prior art keywords
frame
deep learning
fault zone
failure
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810190754.6A
Other languages
English (en)
Other versions
CN108416294B (zh
Inventor
李晶晶
戴川
吕艳洁
郑欣
胡大鹏
陈班
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Days Mdt Infotech Ltd
Original Assignee
Nanjing Days Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Days Mdt Infotech Ltd filed Critical Nanjing Days Mdt Infotech Ltd
Priority to CN201810190754.6A priority Critical patent/CN108416294B/zh
Publication of CN108416294A publication Critical patent/CN108416294A/zh
Application granted granted Critical
Publication of CN108416294B publication Critical patent/CN108416294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于深度学习在计算机视觉技术领域的应用，公开了一种基于深度学习的风机叶片故障智能识别方法，能够自动对无人机拍摄的风机视频进行故障识别定位，节省人力成本，帮助工作人员提高工作效率。所述方法具体包括以下步骤：利用已标注的风机视频帧构建深度学习网络模型；对待检测的风机视频进行帧抓取，识别出故障帧图片；压缩后的故障帧图片输入目标检测网络，获取故障区域样本，并进一步输入深度学习回归网络模型，计算风机叶片故障区域面积。

Description

一种基于深度学习的风机叶片故障智能识别方法
技术领域
本发明属于深度学习在计算机视觉技术领域的应用，涉及一种基于深度学习的风机叶片故障智能识别方法。
背景技术
风能是一种清洁的可再生资源，其储量大，分布面广。风电对于缓解能源供应、改善能源结结构、保护环境等方面意义重大。这些年，风电机组在我国得到了广泛的安装使用。由于风力发电机组通常处于野外，环境条件恶劣，容易出现故障，电站运维团队需要定期对风力发电机进行巡检，以保证风力发电机组的可靠运行，提高设备可利用率。但发电机多地处偏远地区，且排布分散，人工巡检不仅存在安全性差、工作量大、效率低等问题，而且受观测角度影响，不能全面及时的发现问题。
叶片是风机发电组中的一个关键部件，其气动效率决定了风力发电机组利用风能的能力。而叶片高速运转时不可避免会与空气中的沙尘、颗粒产生摩擦和撞击，导致叶片前缘磨碎，前缘粘合因此开裂等。另外，随着风机运行年限的增加，叶片表面胶衣磨损、脱落后会出现砂眼和裂纹。砂眼一方面会造成叶片阻力增加，影响发电量；另一方面，如果变成通腔砂眼，会有积水，从而造成防雷指数降低，易遭雷击伤害。设立在海上的发电机，其叶片容易遭受海风的腐蚀等等。所以，需要定期对叶片表面进行巡检以保证风电的正常运行。
传统的叶片表面巡检方式是运维人员通过望远镜观测，以及在风机附近仔细聆听叶片是否有刺耳的异常噪音，凭借经验进行判断。无人机在风机叶片拍摄的运用大大提高了工作人员的观察角度。无人机通过搭载高分辨率可见光摄像机观察记录叶片表面状态，从叶片低端至顶端概况巡查，同时向工作人员传回高清视频。专业人员通过对其拍摄的不同角度的风机叶片视频进行观测查看，确认叶片是否损伤，并通过拍摄时所做的标志以及整体的拍摄画面预估当前损伤所处的大概位置以及故障大小，虽然整个过程中比起传统方法能够多角度多多方面的观测风机叶片，但是需要很多专业人员对视频进行查看分析，且随着观测时间增长，由于疲劳而导致的误判率及漏判率也随之升高，从而衍生出平台能够自动对无人机拍摄的风机视频进行分析的需求，减少人力劳动，提高工作效率。
随着深度学习的发展，深度学习在图像数据方面的应用逐渐成熟，在图像数据分类方面展现了巨大的潜力，因此可利用深度学习技术去识别视频中的故障帧。同时，经过大量数据学习后的卷积网络能够很好的提取高维图像特征，利用这一点对其进行进一步分析也能取得不错的效果。在当前背景下，进一步通过目标检测框架获取具体的故障区域以及大小也成为了可能。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种基于深度学习的风机叶片故障智能识别方法，能够对风机视频进行分析，自动精确识别叶片的故障区域，提高了故障识别的准确率与效率。
为了实现上述目标，本发明采用如下的技术方案：一种基于深度学习的风机叶片故障智能识别方法，其特征在于，包括以下步骤：
步骤一，利用已标注的风机视频故障帧构建深度学习网络模型；
步骤二，对待检测的风机视频进行帧抓取，识别出故障帧图片；
步骤三，压缩后的故障帧图片输入目标检测网络，获取故障区域样本，并进一步输入深度学习回归网络模型，计算风机叶片故障区域面积。
进一步地，步骤一中所述利用已标注的风机视频故障帧构建深度学习网络模型的步骤如下：
步骤1a，对风机视频进行帧抓取；
步骤1b，对获取的帧进行数据标注，标注内容包括故障区域、类别及估计面积；
步骤1c，构建用于识别故障帧的卷积分类网络；
步骤1d，基于已标注故障帧，构建目标检测网络；
步骤1e，用图像处理方法获取已标注故障帧中的故障区域样本；
步骤1f，基于所述故障区域样本，构建深度学习回归网络。
进一步地，步骤1b中所述对获取的帧进行数据标注，标注内容包括故障区域和类别的步骤如下：
专业人员先将获取的帧分别标注为正常帧或故障帧；
专业人员利用标注工具标注所述故障帧中的故障区域，并附注故障类型以及估计面积。
进一步地，步骤1c中所述构建用于识别故障帧的卷积分类网络的步骤如下：
搭建卷积神经网络分类模型，基本构架采用conv+relu+pooling结构，输出层激活函数采用sigmoid函数，参数调优的loss采用交叉熵；
将正常帧和故障帧经过数据增强后，输入构建好的卷积神经网络分类模型中进行训练。
进一步地，步骤1d中所述基于已标注故障帧，构建目标检测网络的步骤如下：
搭建目标检测网络；
处理已标注的故障帧，获取故障帧中故障区域的bbox信息以及对应标签；
利用原始图像数据以及处理得到的故障区域数据对目标检测网络进行训练。
进一步地，步骤1e中所述用图像处理方法获取已标注故障帧中的故障区域样本的步骤如下：
求取故障帧中故障区域mask图的连通区域；
求取所有所述连通区域的bbox信息；
通过所述bbox信息从原图中获取该故障区域子图，并与对应估计面积构成故障区域样本。
进一步地，步骤1f中所述基于所述故障区域样本，构建深度学习回归网络的步骤如下：
构建深度学习回归网络，其卷积层采用conv+relu+pooling架构；
对故障区域面积进行回归，参数调优的loss采用mse或mae；
对所述故障区域样本进行预处理，包括补零，resize等图像处理方法；
对所述深度学习回归网络基于处理好的故障区域样本进行训练。
进一步地，步骤二中所述以一定的时间间隔对视频进行帧抓取，识别出故障帧图片的步骤如下：
步骤2a，利用所述卷积分类网络，识别视频帧中的故障帧；
步骤2b，获取故障帧的全连接层特征，利用所述全连接层特征对故障帧进行聚类，去除重复故障帧；
进一步地，步骤2a中所述利用卷积分类网络，识别视频帧中的故障帧的步骤如下：
将帧图片输入卷积分类网络中，获取故障置信度，若故障置信度大于或等于预设的阈值，则为故障帧，若故障置信度小于预设的阈值，则为正常帧进行舍弃。
进一步地，步骤2b中所述利用卷积网络中的全连接层特征对获得的故障帧进行聚类，去除重复故障帧的方法为：将故障帧通过卷积神经网络计算出全连接层特征并结合相应时间轴特征构成聚类样本集，从中随机选取一个样本作为簇中心，利用meanshift算法不断迭代计算，直到所有样本都被归类到相应簇中，保留离簇中心最近的帧样本作为输出，簇中其它样本舍弃，从而完成故障帧压缩。
进一步地，步骤三中所述压缩后的故障帧图片输入目标检测网络，获取故障区域样本，并进一步输入深度学习回归网络模型，计算风机叶片故障区域面积的步骤如下：
步骤3a，利用所述目标检测网络对步骤2b得到的故障帧进行预测，获取故障区域的bbox信息和故障类型；
步骤3b，对故障区域进行处理，以处理后的故障区域数据作为所述深度学习回归网络的输入，获得故障区域的面积。
进一步地，步骤3b中所述对故障区域进行处理，以处理后的故障区域数据作为所述深度学习回归网络的输入，获得故障区域的面积的方法为：利用故障区域的bbox信息从相应故障帧中提取出故障区域子图，所述故障区域子图通过补零、resize等图像处理方法处理后，输入到所述深度学习回归网络中，计算故障区域面积。
本发明的有益之处在于：
本发明采用技术方案与现有技术相比，采用深度学习框架自动对风机视频进行分析，提高了现有工作方式的工作效率；并通过模型一次性预测出故障的多个信息值，减少了工作工序；能够负荷长时间工作，减小了工作人员由于外部因素干扰而导致的误判以及漏判，提高了故障识别的准确率。
附图说明
图1是本发明一种基于深度学习的风机叶片故障识别方法的流程示意图；
图2是本发明的第三个实施例中训练模块的运行示意图；
图3是本发明的第三个实施例中检测模块的运行示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
参照图1所示，针对现有技术的缺陷，本发明提供了一种自动对风机视频(比如可以是无人机拍摄的)进行分析的技术。由于一些风机视频中的风机背景比较复杂，用传统的图像处理方法无法很好的解决，因此，采用深度学习作为主要的技术路线。
本发明一种基于深度学习的风机叶片故障识别方法，包括以下步骤：
S10，利用已标注的风机视频故障帧构建深度学习网络模型；
S20，对待检测的风机视频进行分帧，识别出故障帧图片；
S30，压缩后的故障帧图片输入目标检测网络，获取故障区域样本，并进一步输入深度学习回归网络模型，计算风机叶片故障区域面积。
其中，S10中利用已标注的风机视频故障帧构建深度学习网络模型的具体步骤为：
S11，对风机视频进行帧抓取；
S12，对获取的帧进行数据标注，标注内容包括故障区域、类别及估计面积；
S13，构建用于识别故障帧的卷积分类网络；
S14，基于已标注故障帧，构建目标检测网络；
S15，用图像处理方法获取已标注故障帧中的故障区域样本；
S16，基于所述故障区域样本，构建深度学习回归网络。
进一步，S15中，用图像处理方法获取已标注故障帧中的故障区域样本包括如下步骤：
求取故障帧中故障区域mask图的连通区域；
求取所有所述连通区域的bbox信息；
通过所述bbox信息从原图中获取该故障区域子图，并与对应估计面积构成故障区域样本。
在本发明的第一个实施例中，对深度学习模块进行训练的方法为：
第一步，利用计算机视觉处理库读取风机视频并以一定时间间隔进行帧抓取，获取帧图片；
第二步，专业人员对帧图片进行标注，标注包含正常帧、故障帧以及标注故障帧的损伤区域及其类别，并对损伤区域面积大小做出估算；
第三步，搭建卷积神经网络分类模型，采用conv+relu+pooling架构，全连接输出层采用sigmoid激活，参数调优的loss函数采用交叉熵，将正常帧和故障帧经过数据增强后，训练构建好的分类模型；
第四步，搭建目标检测网络，包含两个模块，定位模块和分类模块，定位模块为回归模型，用于对检测目标的位置进行预测，参数调优的loss采用smooth_l1，分类模块为分类模型，用于对检测目标的具体类别进行预测，激活函数采用softmax函数，参数调优的loss采用交叉熵；
第五步，使用计算机视觉处理库将故障帧中的故障区域取出，并通过resize操作将所有图像统一到同一分辨率，然后对处理后的图像进行周边补零操作，达到同一大小；
第六步，对第五步得到的图像数据resize成网络输入要求大小，训练深度学习回归网络，回归目标为故障区域面积，参数调优的loss函数采用mse或mae。
S30中所述以压缩后的故障帧图片作为深度学习回归网络模型的输入，计算风机叶片故障区域面积的具体方法为：
S31，利用所述卷积分类网络，识别视频帧中的故障帧；
S32，获取故障帧的全连接层特征，利用所述全连接层特征对故障帧进行聚类，去除重复故障帧；
S33，利用所述目标检测网络对步骤S32得到的故障帧进行预测，获取故障区域的bbox信息和故障类型；
S34，对故障区域进行处理，以处理后的故障区域数据作为所述深度学习回归网络的输入，获得故障区域的面积。
在第一个实施例的基础上，本发明的第二个实施例中，以压缩后的故障帧图片作为深度学习模块的输入，计算风机叶片故障区域面积的步骤为：
第一步，读取待测风机视频并以一定时间间隔进行帧抓取，获取帧图片；
第二步，帧图片输入训练好的分类网络中，获取所有帧图片的故障置信度，保留所有故障置信度大于或等于阈值的图片；
第三步，对保留的故障帧提取全连接层特征，同时结合时间轴特征，进行meanshift聚类，保留最终聚类结果中离簇中心最近的样本，完成故障帧的压缩；
第四步，故障帧进一步输入目标检测网络，获取帧中故障区域的bbox值和具体故障类别；
第五步，用计算机视觉处理库基于bbox值从故障帧中提取故障区域，并将故障区域通过resize操作统一分辨率，同时通过周边补零操作统一大小；
第六步，将处理后得到的故障区域数据输入深度学习回归网络，预测得到相应故障区域的面积大小。检测过程结束。
在本发明的第三个实施例中，本发明方法的实施平台为python/Keras/Tensorflow，分为两个模块——训练模块和检测模块进行。参照图2所示，训练模块具体按照以下步骤运行：
(1)用计算机视觉处理库读取风机视频，并以一定时间间隔进行帧抓取；
(2)专业人员对帧图片进行标注，标注包含正常、故障，并对故障帧的故障区域进行具体标注(包含类别，故障区域面积)。
(3)搭建卷积神经分类网络，卷积层结构采用conv+relu+pooling架构，输出层采用sigmoid激活，使用交叉熵作为loss函数，优化器采用Adam，用正常帧和故障帧训练分类网络。
(4)搭建目标检测网络并用故障样本(区域类别已标记)训练。
(5)处理故障帧，单独切取故障帧中的故障区域数据，并通过resize操作达到统一分辨率以及在周边进行补零操作达到统一图像大小。
(6)搭建深度学习回归网络(卷积+回归)，其特征提取模块——卷积网络采用基本架构conv+relu+pooling，并用处理得到的故障区域以及对应面积进行训练。
参照图3所示，检测模块按照以下步骤运行：
(1)用计算机视觉处理库读取待测风机视频并以一定时间间隔进行帧处理。
(2)帧图片输入卷积分类网络，预测故障置信度，大于或等于预设阈值为故障帧，小于预设阈值为正常帧。
(3)对预测得到的故障帧进行meanshift聚类，保留离簇中心最近的样本，完成故障帧压缩。
(4)将压缩后故障帧输入目标检测网络，输出故障区域的bbox信息以及故障类型。
(5)利用bbox值获取相应故障帧的故障区域数据，进行resize操作统一分辨率，周边补零操作统一图像大小。
(6)将故障区域数据输入深度学习回归网络，输出当前故障区域的面积。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (12)

1.一种基于深度学习的风机叶片故障智能识别方法，其特征在于，包括以下步骤：
步骤一，利用已标注的风机视频帧构建深度学习网络模型；
步骤二，对待检测的风机视频进行帧抓取，识别出故障帧图片；
步骤三，压缩后的故障帧图片输入目标检测网络，获取故障区域样本，并进一步输入深度学习回归网络模型，计算风机叶片故障区域面积。
2.根据权利要求1所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤一中所述利用已标注的风机视频帧构建深度学习网络模型的步骤如下：
步骤1a，对风机视频进行帧抓取；
步骤1b，对得到的故障帧进行数据标注，标注内容包括故障区域、类别及估计面积；
步骤1c，构建用于识别故障帧的卷积分类网络；
步骤1d，基于已标注故障帧，构建目标检测网络；
步骤1e，用图像处理方法获取已标注故障帧中的故障区域样本；
步骤1f，基于所述故障区域样本，构建深度学习回归网络。
3.根据权利要求2所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤1b中所述对得到的故障帧进行数据标注，标注内容包括故障区域、类别及估计面积的步骤如下：
专业人员先将获得的帧图片分别标注为正常帧或故障帧；
专业人员利用标注工具标注所述故障帧中的故障区域，并附注故障类型以及估计面积。
4.根据权利要求3所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤1c中所述构建用于识别故障帧的卷积分类网络的步骤如下：
搭建卷积神经网络分类模型，基本构架采用conv+relu+pooling结构，输出层激活函数采用sigmoid函数，参数调优的loss采用交叉熵；
将正常帧和故障帧经过数据增强后，放入构建好的卷积神经网络分类模型中进行训练。
5.根据权利要求2所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤1d中所述基于已标注故障帧，构建目标检测网络的步骤如下：
搭建目标检测网络；
处理已标注的故障帧，获取故障帧中故障区域的bbox信息以及对应标签；
利用原始图像数据以及处理得到的故障区域数据对目标检测网络进行训练。
6.根据权利要求2所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤1e中所述用图像处理方法获取已标注故障帧中的故障区域样本的步骤如下：
求取故障帧中故障区域mask图的连通区域；
求取所有所述连通区域的bbox信息；
通过所述bbox信息从原图中获取故障区域子图，并与对应估计面积构成故障区域样本。
7.根据权利要求6所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤1f中所述基于所述故障区域样本，构建深度学习回归网络的步骤如下：
构建深度学习回归网络，其卷积层采用conv+relu+pooling架构；
对故障区域面积进行回归，参数调优的loss采用mse或mae；
对所述故障区域样本进行预处理，包括补零，resize等图像处理方法；
对所述深度学习回归网络基于处理好的故障区域样本进行训练。
8.根据权利要求1所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤二中所述以一定的时间间隔对视频进行帧抓取，识别出故障帧图片的步骤如下：
步骤2a，利用所述卷积分类网络，识别视频帧中的故障帧；
步骤2b，获取故障帧的全连接层特征，利用所述全连接层特征对视频中故障帧进行聚类，去除重复故障帧。
9.根据权利要求8所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤2a中所述利用卷积分类网络，识别视频帧中的故障帧的步骤如下：
将视频帧图片输入卷积分类网络中，获取故障置信度，若故障置信度大于或等于预设的阈值，则为故障帧，若故障置信度小于预设的阈值，则为正常帧进行舍弃。
10.根据权利要求8所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤2b中所述利用卷积网络中的全连接层特征对获得的故障帧进行聚类，去除重复故障帧的方法为：将故障帧通过卷积神经网络计算出全连接层特征并结合相应时间轴特征构成聚类样本集，从中随机选取一个样本作为簇中心，利用meanshift算法不断迭代计算，直到所有样本都被归类到相应簇中，保留离簇中心最近的帧样本作为输出，簇中其它样本舍弃，从而完成故障帧压缩。
11.根据权利要求1所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤三中所述压缩后的故障帧图片输入目标检测网络，获取故障区域样本，并进一步输入深度学习回归网络模型，计算风机叶片故障区域面积的步骤如下：
步骤3a，利用所述目标检测网络对步骤2b压缩后的故障帧进行预测，获取故障区域的bbox信息和故障类型；
步骤3b，对故障区域进行预处理，以处理后的故障区域数据作为所述深度学习回归网络的输入，计算故障区域的面积。
12.根据权利要求11所述的一种基于深度学习的风机叶片故障智能识别方法，其特征在于，步骤3b中所述对故障区域进行预处理，以处理后的故障区域数据作为所述深度学习回归网络的输入，计算故障区域的面积的方法为：利用故障区域的bbox信息从相应故障帧中提取出故障区域子图，所述故障区域子图通过补零、resize等图像处理方法处理后，输入到所述深度学习回归网络中，计算出故障区域面积。
CN201810190754.6A 2018-03-08 2018-03-08 一种基于深度学习的风机叶片故障智能识别方法 Active CN108416294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810190754.6A CN108416294B (zh) 2018-03-08 2018-03-08 一种基于深度学习的风机叶片故障智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810190754.6A CN108416294B (zh) 2018-03-08 2018-03-08 一种基于深度学习的风机叶片故障智能识别方法

Publications (2)

Publication Number Publication Date
CN108416294A true CN108416294A (zh) 2018-08-17
CN108416294B CN108416294B (zh) 2022-04-01

Family

ID=63130481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810190754.6A Active CN108416294B (zh) 2018-03-08 2018-03-08 一种基于深度学习的风机叶片故障智能识别方法

Country Status (1)

Country Link
CN (1) CN108416294B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086876A (zh) * 2018-09-21 2018-12-25 广州发展集团股份有限公司 设备的运行状态检测方法、装置、计算机设备和存储介质
CN109803108A (zh) * 2019-01-22 2019-05-24 国网信息通信产业集团有限公司 一种图像识别方法和装置
CN109870617A (zh) * 2018-09-21 2019-06-11 浙江大学 一种基于宽度学习和红外图像时空特征的智能电厂电气设备故障诊断方法
CN110111328A (zh) * 2019-05-16 2019-08-09 上海中认尚科新能源技术有限公司 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN110243830A (zh) * 2019-03-11 2019-09-17 华电电力科学研究院有限公司 一种风电机组叶片表面缺陷检测系统及检测方法
CN110259648A (zh) * 2019-07-05 2019-09-20 河北工业大学 一种基于优化K-means聚类的风机叶片故障诊断方法
CN110889357A (zh) * 2019-11-19 2020-03-17 湖南国奥电力设备有限公司 基于标注区域的地下电缆故障检测方法和装置
CN111079750A (zh) * 2019-12-13 2020-04-28 国网电力科学研究院武汉南瑞有限责任公司 一种基于局部区域聚类的电力设备故障区域提取方法
CN111122705A (zh) * 2019-12-26 2020-05-08 中国科学院工程热物理研究所 一种风力机叶片超声无损检测方法
CN111708380A (zh) * 2020-06-29 2020-09-25 北京御航智能科技有限公司 风电机组外观缺陷的检测方法、平台、无人机以及系统
CN111860593A (zh) * 2020-06-15 2020-10-30 北京华电天仁电力控制技术有限公司 一种基于生成对抗网络的风机叶片故障检测方法
CN112070102A (zh) * 2019-06-11 2020-12-11 上海电机学院 一种风机叶片状态监测方法及系统
CN112233091A (zh) * 2020-10-15 2021-01-15 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN113221668A (zh) * 2021-04-20 2021-08-06 西安翔迅科技有限责任公司 一种风力发电机组叶片视频监测中的抽帧方法
CN113313428A (zh) * 2021-06-29 2021-08-27 上海煤科信息科技有限公司 一种基于大数据的智慧矿山的ai故障监测方法及系统
WO2023206750A1 (zh) * 2022-04-28 2023-11-02 麦加芯彩新材料科技(上海)股份有限公司 一种风力发电叶片缺陷智能比对方法、装置及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026805A1 (en) * 2009-07-31 2011-02-03 Olympus Corporation Image processing apparatus and image processing method
US20130114878A1 (en) * 2011-11-03 2013-05-09 Pratt & Whitney System and Method for Automated Defect Detection Utilizing Prior Data
CN103984956A (zh) * 2014-04-25 2014-08-13 广东电网公司电力科学研究院 基于机器视觉图像对电力系统风力发电机叶片表面点蚀故障进行诊断的方法
US20150168352A1 (en) * 2012-08-01 2015-06-18 Korea Advanced Institute Of Science And Technology Laser ultrasonic imaging system for a rotating object and method thereof
CN205047372U (zh) * 2015-10-14 2016-02-24 大唐（赤峰）新能源有限公司 一种风电浆叶表面故障的识别装置
US20170052060A1 (en) * 2014-04-24 2017-02-23 Alstom Transport Technologies Method and system for automatically detecting faults in a rotating shaft
CN106568783A (zh) * 2016-11-08 2017-04-19 广东工业大学 一种五金零件缺陷检测系统及方法
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN107154037A (zh) * 2017-04-20 2017-09-12 西安交通大学 基于深度层次特征提取的风机叶片故障识别方法
CN107543828A (zh) * 2017-08-25 2018-01-05 广东工业大学 一种工件表面缺陷检测方法及系统
CN107729809A (zh) * 2017-09-11 2018-02-23 汕头大学 一种自适应生成视频摘要的方法、装置及其可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026805A1 (en) * 2009-07-31 2011-02-03 Olympus Corporation Image processing apparatus and image processing method
US20130114878A1 (en) * 2011-11-03 2013-05-09 Pratt & Whitney System and Method for Automated Defect Detection Utilizing Prior Data
US20150168352A1 (en) * 2012-08-01 2015-06-18 Korea Advanced Institute Of Science And Technology Laser ultrasonic imaging system for a rotating object and method thereof
US20170052060A1 (en) * 2014-04-24 2017-02-23 Alstom Transport Technologies Method and system for automatically detecting faults in a rotating shaft
CN103984956A (zh) * 2014-04-25 2014-08-13 广东电网公司电力科学研究院 基于机器视觉图像对电力系统风力发电机叶片表面点蚀故障进行诊断的方法
CN205047372U (zh) * 2015-10-14 2016-02-24 大唐（赤峰）新能源有限公司 一种风电浆叶表面故障的识别装置
CN106568783A (zh) * 2016-11-08 2017-04-19 广东工业大学 一种五金零件缺陷检测系统及方法
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN107154037A (zh) * 2017-04-20 2017-09-12 西安交通大学 基于深度层次特征提取的风机叶片故障识别方法
CN107543828A (zh) * 2017-08-25 2018-01-05 广东工业大学 一种工件表面缺陷检测方法及系统
CN107729809A (zh) * 2017-09-11 2018-02-23 汕头大学 一种自适应生成视频摘要的方法、装置及其可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾桂梅等: "基于深度信念网络的风机叶片结构损伤识别研究", 《甘肃农业大学学报》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870617B (zh) * 2018-09-21 2020-08-14 浙江大学 一种基于宽度学习和红外图像时空特征的智能电厂电气设备故障诊断方法
CN109870617A (zh) * 2018-09-21 2019-06-11 浙江大学 一种基于宽度学习和红外图像时空特征的智能电厂电气设备故障诊断方法
CN109086876B (zh) * 2018-09-21 2022-07-22 广州发展集团股份有限公司 设备的运行状态检测方法、装置、计算机设备和存储介质
CN109086876A (zh) * 2018-09-21 2018-12-25 广州发展集团股份有限公司 设备的运行状态检测方法、装置、计算机设备和存储介质
CN109803108A (zh) * 2019-01-22 2019-05-24 国网信息通信产业集团有限公司 一种图像识别方法和装置
CN110243830A (zh) * 2019-03-11 2019-09-17 华电电力科学研究院有限公司 一种风电机组叶片表面缺陷检测系统及检测方法
CN110111328A (zh) * 2019-05-16 2019-08-09 上海中认尚科新能源技术有限公司 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN112070102A (zh) * 2019-06-11 2020-12-11 上海电机学院 一种风机叶片状态监测方法及系统
CN110259648B (zh) * 2019-07-05 2020-10-09 河北工业大学 一种基于优化K-means聚类的风机叶片故障诊断方法
CN110259648A (zh) * 2019-07-05 2019-09-20 河北工业大学 一种基于优化K-means聚类的风机叶片故障诊断方法
CN110889357A (zh) * 2019-11-19 2020-03-17 湖南国奥电力设备有限公司 基于标注区域的地下电缆故障检测方法和装置
CN110889357B (zh) * 2019-11-19 2023-10-27 湖南国奥电力设备有限公司 基于标注区域的地下电缆故障检测方法和装置
CN111079750A (zh) * 2019-12-13 2020-04-28 国网电力科学研究院武汉南瑞有限责任公司 一种基于局部区域聚类的电力设备故障区域提取方法
CN111079750B (zh) * 2019-12-13 2022-05-24 国网电力科学研究院武汉南瑞有限责任公司 一种基于局部区域聚类的电力设备故障区域提取方法
CN111122705A (zh) * 2019-12-26 2020-05-08 中国科学院工程热物理研究所 一种风力机叶片超声无损检测方法
CN111860593A (zh) * 2020-06-15 2020-10-30 北京华电天仁电力控制技术有限公司 一种基于生成对抗网络的风机叶片故障检测方法
CN111708380A (zh) * 2020-06-29 2020-09-25 北京御航智能科技有限公司 风电机组外观缺陷的检测方法、平台、无人机以及系统
CN111708380B (zh) * 2020-06-29 2023-11-10 北京御航智能科技有限公司 风电机组外观缺陷的检测方法、平台、无人机以及系统
WO2022077605A1 (zh) * 2020-10-15 2022-04-21 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN112233091B (zh) * 2020-10-15 2021-05-18 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN112233091A (zh) * 2020-10-15 2021-01-15 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN113221668A (zh) * 2021-04-20 2021-08-06 西安翔迅科技有限责任公司 一种风力发电机组叶片视频监测中的抽帧方法
CN113221668B (zh) * 2021-04-20 2023-04-07 西安翔迅科技有限责任公司 一种风力发电机组叶片视频监测中的抽帧方法
CN113313428A (zh) * 2021-06-29 2021-08-27 上海煤科信息科技有限公司 一种基于大数据的智慧矿山的ai故障监测方法及系统
WO2023206750A1 (zh) * 2022-04-28 2023-11-02 麦加芯彩新材料科技(上海)股份有限公司 一种风力发电叶片缺陷智能比对方法、装置及电子设备

Also Published As

Publication number Publication date
CN108416294B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN108416294A (zh) 一种基于深度学习的风机叶片故障智能识别方法
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
CN106595551B (zh) 基于深度学习的输电线路覆冰图像中覆冰厚度检测方法
CN110261394A (zh) 在线风机叶片损伤实时诊断系统和方法
CN107808133B (zh) 基于无人机巡线的油气管道安全监测方法、系统及软件存储器
CN111696075A (zh) 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN111047818A (zh) 一种基于视频图像的森林火灾预警系统
CN113283344A (zh) 一种基于语义分割网络的矿用输送带跑偏检测方法
CN107679495A (zh) 一种输电线路周边活动工程车辆的检测方法
CN107153160B (zh) 一种风力发电机组全方位安全监控系统
CN110059076A (zh) 一种输变电线路设备的故障数据库半自动化建立方法
Hao et al. Detection of bird nests on power line patrol using single shot detector
Özer et al. An approach based on deep learning methods to detect the condition of solar panels in solar power plants
CN111767826A (zh) 一种定时定点场景异常检测方法
CN113469938B (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
Chen et al. Attention mechanism-based CNN for surface damage detection of wind turbine blades
CN117636186A (zh) 一种基于无人机系统的配电网缺陷就地智能识别方法及装置
CN111539395A (zh) 一种基于光流法和支持向量机的挖掘机实时检测方法
Zhang et al. Unmanned Aerial Vehicle (UAV) vision-based detection of power line poles by CPU-based deep learning method
Hu et al. A detecting algorithm for occlusion on the surface of photovoltaic modules based on improved YOLOv5
CN114612763A (zh) 一种风电机组变桨轴承裂纹监测方法、计算机程序产品
Rachid et al. Application of Deep Learning Based Detector YOLOv5 for Soiling Recognition in Photovoltaic Modules
Wei Research on electric power aerial work recognition model based on deep learning
Pu et al. Anomaly detection of substation engineering video object based on cloud platform
CN115711206B (zh) 一种基于聚类权重的风力发电机叶片覆冰状态监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 210000 4 floor, 5 software Avenue, Yuhuatai District, Nanjing, Jiangsu, 180

Applicant after: Nanjing Tian Zhi Zhi Technology Co., Ltd.

Address before: 210000 4 floor, 5 software Avenue, Yuhuatai District, Nanjing, Jiangsu, 180

Applicant before: Nanjing days Mdt InfoTech Ltd

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201100 no.1628, sushao Road, Minhang District, Shanghai

Applicant after: Shanghai Tiantian smart core semiconductor Co., Ltd

Address before: 210000 4 floor of No. 180, No. 180, Yuhuatai District, Yuhuatai District, Jiangsu

Applicant before: ILUVATAR COREX Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant