CN112233091A - 一种风力机叶片图像损伤检测和定位方法 - Google Patents

一种风力机叶片图像损伤检测和定位方法 Download PDF

Info

Publication number
CN112233091A
CN112233091A CN202011101812.7A CN202011101812A CN112233091A CN 112233091 A CN112233091 A CN 112233091A CN 202011101812 A CN202011101812 A CN 202011101812A CN 112233091 A CN112233091 A CN 112233091A
Authority
CN
China
Prior art keywords
damage
wind turbine
image
model
turbine blade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011101812.7A
Other languages
English (en)
Other versions
CN112233091B (zh
Inventor
曹金凤
郭继鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao keduobang Information Technology Co.,Ltd.
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202011101812.7A priority Critical patent/CN112233091B/zh
Priority to PCT/CN2020/125752 priority patent/WO2022077605A1/zh
Publication of CN112233091A publication Critical patent/CN112233091A/zh
Application granted granted Critical
Publication of CN112233091B publication Critical patent/CN112233091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24317Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于故障检测技术领域,具体涉及一种风力机叶片图像损伤检测和定位方法。基于深度卷积神经网络,包括模型训练和损伤检测及定位两个过程。本发明能够对无人机和监控摄像头拍摄的风力机叶片图像自动解读,实现高效准确识别和定位多种类别的风力机叶片损伤。实现叶片损伤评估和预警,减少由于风力机叶片故障导致的风力机意外停机次数,降低风力机运行维护成本。具有识别速度快、精度高、过程全自动化、操作门槛低等优点,弥补了传统方法依靠人工完成,效率低、误判率高,费时费力等缺憾。

Description

一种风力机叶片图像损伤检测和定位方法
技术领域:
本发明属于故障检测技术领域,具体涉及一种风力机叶片图像损伤检测和定位方法。
背景技术:
我国风能资源丰富,全国可开发的风能资源约4350GW,风能资源储量居世界前列。我国普及风力发电机(简称“风力机”)速度迅猛,随着中国乃至世界范围内风力机的部署规模不断扩大,其运行状态监测和安全维护工作越来越受到人们关注。风力机安装在风力资源丰富的地方,大多为海边或离海边较近的山顶野外,环境严酷。因此,风力机通常暴露在多变恶劣的环境中,如高空、沙漠、戈壁和海上等。风力机叶片是风力机的主要部件,寒冷、冰雹、雨雪、潮湿、腐蚀、风沙、震动和高温等极端条件会快速导致风力机叶片的损耗。此外,风力机叶片在长期运行过程中由于变化的负载和疲劳应力产生裂纹,存在严重的安全隐患。据统计,风力机叶片损伤是导致风力机停机的主要故障之一。风力机叶片体型巨大,且安装在高空中,需要使用专业工具和经过专业训练的人员才能接近,人工检修和维护难度极大,故而在所有风力机故障中,风力机叶片故障的维修成本最高,维修时间最长。
近年来,公开发表的资料和文献的数量表明:风力机叶片损伤检测、评估和预测等相关领域,正成为国内外科研机构和相关企业的研究热点。国内外学者对风力机叶片在线损伤检测方法进行了大量的探索,目前主流的检测方法包括声发射检测和振动检测两种。
(1)声发射检测
声发射检测是指通过接收和分析材料的声发射信号来评定风力机叶片性能或结构完整性的检测方法。例如,专利CN103389341A公开了一种风力机叶片裂纹检测方法,其特征是:在风力机叶片上安装声发射传感器,并将接收到的声发射信号传递给声发射采集系统,确定信号的采样频率、采样长度、滤波频率;基于Shannon小波熵优化Morlet小波基函数的带宽参数,得到与扩展裂纹和萌生裂纹声发射信号特征匹配的Morlet小波基函数,再计算声发射信号的重分配尺度谱判断裂纹状态;接着根据所提取的裂纹声发射信号的时频特征参数来判定裂纹故障的扩展状态。专利CN107657110A公开了一种大型风力机叶片的疲劳损伤评价方法,其特征是:在风力机叶片上安装声发射传感器,并将接收到的声发射信号传递给声发射采集系统,并对声发射信号进行评价,根据评价集合评定出的疲劳等级从而达到对风力机叶片的疲劳损伤状态的评价并确定叶片疲劳损伤的实时状态。
(2)振动信号检测
振动信号检测是指对结构的振动信号进行检测以反映风力机叶片的健康状态。例如,专利CN110568074A公开了一种基于非接触多点测振与Hilbert变换的风力机叶片裂纹定位方法,其特征是:在风力机叶片上安装振动传感器,采用随机信号激励方式对具有裂纹的风力机叶片进行激振,采集随机信号激励条件下叶片的非线性振动信号,根据随机信号激励条件下激励输入和输出位置振动信号,并对振动信号进行Hilbert变换,确定裂纹位置。专利CN109541028A公开了一种风力机叶片裂纹位置定位检测方法及系统,其特征是:分别采集风力机叶片有无裂纹时的振动响应信号,根据有无裂纹时的振动响应信号计算出现裂纹损伤前后的互信息熵和振动响应非线性程度变化量,并根据变化量确定裂纹位置。
然而,在实际操作中,上述检测方法依旧存在几处难以克服的缺点:1、风力机叶片运行的工况复杂多变,传感器信号容易受到大量噪声干扰,故障信息容易被淹没从而出现判断误差,难以提取到鲁棒性强的故障特征。2、使用基于声或振动信号的方法很难检测叶片的早期损伤。例如,当叶片的裂纹较小或裂纹位于靠近叶片尖端的位置时,固有频率和振动响应的变化很小,这种变化很难被传感器所探知。3、风力机运行过程中,不同信号数据都是通过布置在风力机叶片上的传感器获取,传感器的布置方式、使用寿命以及采集信号的准确性会极大影响风力机叶片故障检测方法的可靠性。例如,将贴片式光纤载荷传感器安装于风机叶片上,通过采集风力机运行过程中的信号,运用一定的方法来对叶片裂纹进行监测,然而该方法忽略了传感器自身性能容易受到环境因素的影响,在风力机运行工况复杂的条件下,安装于叶片上传感器容易出现损坏,影响了检测结果的准确性,增加了检测成本。
近年来,风电场通过利用无人机和监控摄像头,拍摄大量高分辨率的风力机叶片图像,实现了远程实时监控风力机的运行状况,特别是风力机叶片表面损伤,极大提高了风力机的维护和运行效率。与基于声发射信号和振动信号的检测方法相比,利用图像或视频的风力机叶片损伤检测清晰直观,对于不引起信号明显变化的小缺陷更为敏感,且不依赖于传感器获取信号数据,克服了上述方法的种种缺点。然而,对于通过无人机和监控摄像头拍摄的大量图像,目前的处理方式依旧是由人工甄别风力机叶片表面损伤。在这种情况下,通过计算机自动处理无人机和监控摄像头拍摄的图像并生成分析结果具有重要意义,从而可以节省人工成本并消除人为错误。
在过去的十年中,计算机视觉和深度学习的巨大发展促进了图像处理和目标检测在工业场景中的应用。在国外,Hutchinson等提出了一种基于贝叶斯决策理论的基于统计的图像评估方法,以检测混凝土结构的损伤。Cha等使用深度学习神经网络检测混凝土裂缝。Wang等提出了一种数据驱动的风力机叶片损伤检测框架,该框架通过使用扩展级联分类器基于无人机拍摄的图像进行自动裂纹检测。Wang等提出了使用具有深层特征的无监督学习的裂纹检测方法。利用计算机视觉和深度学习方法自动处理风力机叶片图像并实现损伤检测和识别,挑战在于:1、风力机叶片图像具有更复杂的背景信息,例如风力机周围天空、森林以及其他风电设备;2、叶片损伤的尺寸、形状和纹理上各不相同;3、与叶片的尺寸(数十米)相比,缺陷的尺寸极小,一般检测器难以对此精确定位。例如,早期的叶片裂纹可以是几厘米或更小。基于上述因素,当前检测方法在实际应用中的检测精度(虚预警率和漏检率高)和识别效果(要不然无法实现损伤定位,要不然无法分类特定损伤类型)方面的表现不佳。
因此,需要开发风力机叶片故障检测的新方法,通过远程在线对风力机叶片损伤进行检测,在叶片发生故障失效之前提出预警,有效地避免意外事故发生,降低维护和运行成本。
发明内容:
本发明要解决的技术问题是我国是风力发电产业和设备制造大国,却不是强国,在相关领域所掌握的技术和发明专利的拥有量都处于劣势。而且,我国的主要风电场将逐渐进入事故高发期,风电装备服役的安全保障已成为风电发展的瓶颈。风力机健康运行的故障预警与安全保障亟需理论和技术上的突破。新装机风力机叶片在复杂载荷、严酷自然条件下缺乏详实的特性数据资料,专家级诊断与维护信息,难以用精确的理论模型进行准确表达,急需探索动态运行环境下风力机叶片健康状态评估与预测和安全保障的新理论和新方法。
为解决上述问题,本发明通过引入深度学习算法,开发反映风力机叶片运行状态的图像识别算法和有效特征提取算法,通过远程在线对风力机叶片损伤进行检测,在叶片发生故障失效之前提出预警,有效地避免意外事故发生,降低维护和运行成本,以提升风力机叶片在复杂恶劣地理气象条件下的可靠性,保障风力机长期稳定可靠地运行,降低风力机运营和维护成本,提高风力机的经济效益和市场竞争力。
为达到上述目的,本发明通过以下技术方案实现,一种风力机叶片图像损伤检测和定位方法,基于深度卷积神经网络,包括模型训练和损伤检测及定位两个过程;
其中,模型训练过程包括:
S101、采集无人机或监控摄像头拍摄的风力机叶片表面图像;
S102、在风力机叶片图像中人工标记出损伤的位置、类型信息,并根据人工标记从图像中裁切出含有损伤区域的图像样本,即正样本;以及正常叶片表面的图像样本,即负样本;建立样本数据库;
S103、利用步骤S102中建立的样本数据库,按照经典AdaBoostHaar-like算法训练级联强分类器;
S104、搭建深度卷积神经网络损伤识别模型,利用步骤S102中建立的样本数据库对卷积神经网络模型进行训练、调参和验证,得到训练好的损伤识别模型;
损伤检测及定位过程包括:
S201、通过滑动窗口方法遍历风力机叶片图像,并经过步骤S103中训练的级联强分类器识别,判断图像中是否可能包含损伤区域;
S202、将步骤S201中检测出的损伤目标区域缩放为统一大小,输入步骤S104中训练的损伤识别模型,经模型识别后,判断该区域属于哪一种损伤类型;由于前一步骤中检测的疑似损伤目标区域具有不同的比例和尺寸,为了下一步识别,需要将这些区域缩放为统一大小。将缩放为统一尺寸的疑似区域依次输入步骤S104中训练的损伤识别模型,经模型识别后,判断疑似区域属于哪一种损伤类型。如果判断疑似区域不属于任何一种损伤,则将该区域从疑似区域中排除(即视为正常区域);
S203、输出结果文件,包括识别出的损伤目标区域位置、种类等信息,并在原始风力机叶片图像的对应位置中用方框和数字编号将损伤区域和类别标注出来。
进一步的,S102中人工标记的损伤包括玻纤破损、裂纹、表皮破损和腐蚀四种类型。
进一步的,S103中体算法训练流程为:
(1)首先,将图像样本转换为灰度图像,之后,对每张图像计算其Haar-like特征;
(2)通过AdaBoost算法训练图像样本强分类器;假设训练数据集{(x1,y1),(x2,y2),...,(xN,yN)}(其中N是训练样本的数量)且
Figure BDA0002725623390000041
y∈[-1,1]。xi是训练样本,yi=1表示训练图像样本中包含损伤区域。假设hi作为训练样本x计算出的Haar-like的特征之一,单特征弱分类器f(x)的计算式为:
Figure BDA0002725623390000042
其中tk是分割阈值,tk=0.5×(hk+hk+1),wi是训练样本的权重;对于每个迭代步骤m=1,2,...,M,通过下式计算最优的弱分类器:
Figure BDA0002725623390000043
在每次迭代结束时,通过下式更新强分类器F(x)和wi权重值
F(x)←F(x)+fm(x) (3)
wi←wiexp(-yifm(xi)) (4)
在训练初始,F(x)=0,训练数据的权重分布由
Figure BDA0002725623390000051
初始化得到。执行所需的迭代后,最终的强分类器C(x)可以表示为:
Figure BDA0002725623390000052
进一步的,S104中搭建的深度卷积神经网络损伤识别模型包括输入层、卷积层、池化层和输出层,无全连接层。该模型大大减少了训练参数的数量,同时保持了模型优秀的识别能力,这使模型具有更高的训练效率和更好的泛化能力。
进一步的,S104中搭建的深度卷积神经网络损伤识别模型包括四组包含卷积层和池化层的特征提取模块,总计含有8个卷积层和4个池化层。多层的卷积和池化操作使得模型能够捕获小尺寸图像样本中抽象化且类别间差异极大的鲁棒特征,从而使模型具有更好的损伤识别性能。
进一步的,S104中训练步骤包括:采用梯度下降方法,对卷积神经网络模型权值进行多次迭代更新,使模型损失函数输出降低,模型的检测值与数据的真实值之间越来越接近,直至损失函数收敛到0,完成模型的训练和优化,得到训练好的卷积神经网络模型。
进一步的,S104中调参步骤包括:采用交叉验证方法,确定模型最优训练批次大小和学习率等参数;验证步骤包括:模型在验证数据上的表现结果,即得到模型验证的准确率。
进一步的,S201步骤具体为:将待检测到的风力机叶片图像按照一定比例多次缩放,在特定缩放尺度上,沿水平或垂直方向按照固定步长平移滑动窗口;将每次平移后滑动窗口覆盖的图像区域作为检测窗口,提取检测窗口内的Haar-like特征,并经过步骤S103中训练的级联强分类器识别,判断该区域是否可能包含损伤区域,图像首先基于Haar-like特征和浅层分类器筛选出疑似损伤目标区域,从而极大降低了计算成本,为下一步骤中部署深度学习网络识别奠定了基础;如果模型判断检测窗口内可能包含损伤区域,则用方框标记该区域为疑似损伤目标区域,否则跳过该区域判别下一个区域;采用上述方法遍历整个图像,获取到一系列的疑似损伤目标区域。
本发明针对目前尚缺少可用于工程实际的风力机叶片损伤检测与定位的成熟技术,公开了一种基于深度卷积神经网络的风力机叶片图像损伤检测方法,能够对无人机和监控摄像头拍摄的风力机叶片图像自动解读,实现高效准确识别和定位多种类别的风力机叶片损伤。实现叶片损伤评估和预警,减少由于风力机叶片故障导致的风力机意外停机次数,降低风力机运行维护成本。本方案具有识别速度快、精度高、过程全自动化、操作门槛低等优点,弥补了传统方法依靠人工完成,效率低、误判率高,费时费力等缺憾。目前国内在相关方面的研究成果还鲜有报道,本发明填补了国内风力机叶片图像损伤检测与识别方法的空白,对保障国家风电事业安全生产和发展都具有重要意义。本发明的有益效果具体在于:
(1)本方法能够自动解读处理无人机和监控摄像头拍摄的风力机叶片表面图像,实现风力机叶片表面损伤的高效检测预警。相比传统方法无需考虑叶片运行过程中的信号干扰,无需部署传感器,能够实现叶片早期损伤检测;
(2)本方法通过计算机视觉和深度学习算法,自动识别风力机叶片表面损伤类型,并在图像中定位损伤位置,无需人工辅助,极大节省了人力物力,节约了时间,降低风电场的运行维护成本;
(3)本方法实现了一种新的深度卷积神经网络损伤识别模型,该模型简化了传统卷积神经网络模型结构,保持了模型优秀的识别能力的同时使模型具有更高的训练效率和更好的泛化能力,实验结果证明本模型的识别分类正确率明显高于VGG16等传统模型,为该方法能够实现风力机叶片表面多种类型损伤识别的可行性奠定基础。
(4)本方法设计了一种新的损伤检测流程,该流程包含两个阶段的检测过程,首先通过Haar-like特征和浅层分类器筛选出疑似损伤目标区域,再通过深度卷积神经网络损伤识别模型对疑似损伤目标区域识别。采用这种方法可以避免识别模型在大量明显不包含损伤的区域浪费太多时间,从而将更多检测时间集中专注于处理难以辨识的区域,极大提高了单张图片的检测效率,为该方法能够实现风力机叶片表面损伤快速识别奠定基础。
(5)本方法采用Haar-like特征和浅层分类器对待测图像进行多尺度检测,从而实现了从大到小,多种尺寸的损伤定位。
附图说明
图1为模型训练流程示意图;
图2为风力机叶片表面图像样张;
图3为深度卷积神经网络损伤识别模型结构示意图,
其中,1卷积层、2池化层、3全局做大池化层、4Dropout操作、5输出层;
图4为验证结果混淆矩阵;
图5为损伤图像检测流程示意图;
图6为待检测的风力机叶片表面图像样张;
图7为待检测图像疑似损伤区域检测结果;
图8为待检测图像最终损伤区域检测结果。
具体实施方式:
为使本发明实施例的目的、技术方案和优点更加清楚,下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
一种风力机叶片图像损伤检测和定位方法,基于深度卷积神经网络,包括模型训练和损伤检测及定位两个过程:
其中,如图1所示,模型训练包括以下步骤:
在步骤S101中,利用监控摄像头对风力机叶片表面图像进行采集。本发明实施例中采用的图像数据均来自于中国东部某风电场,一共包含725张由高分辨率相机拍摄的风力机叶片表面图像。图2为风电场现场采集到的风力机叶片表面图像样张。
在步骤S102中,对风力机叶片图像人工标记出损伤的位置、类型信息,并根据人工标记从图像中裁切出含有损伤区域的图像样本(正样本),以及正常叶片表面的图像样本(负样本),建立样本数据库。人工标记的损伤包括玻纤破损、裂纹、表皮破损和腐蚀四种类型,其中,玻纤破损是指叶片严重损坏导致纤维和层压板分层,裂纹是指叶片胶衣破裂或脱胶,表皮破损是指叶片胶衣分层、破损和损坏,腐蚀是指叶片前缘腐蚀。
在步骤S103中,利用步骤S102中建立的样本数据库,按照经典AdaBoostHaar-like算法训练级联强分类器。具体算法训练流程为:
(1)首先,将图像样本转换为灰度图像,之后,对每张图像计算其Haar-like特征。
(2)通过AdaBoost算法训练图像样本强分类器。假设训练数据集{(x1,y1),(x2,y2),...,(xN,yN)}(其中N是训练样本的数量)且
Figure BDA0002725623390000071
y∈[-1,1]。xi是训练样本,yi=1表示训练图像样本中包含损伤区域。假设hi作为训练样本x计算出的Haar-like的特征之一,单特征弱分类器f(x)的计算式为:
Figure BDA0002725623390000081
其中tk是分割阈值,tk=0.5×(hk+hk+1),wi是训练样本的权重。对于每个迭代步骤m=1,2,...,M,通过下式计算最优的弱分类器:
Figure BDA0002725623390000082
在每次迭代结束时,通过下式更新强分类器F(x)和wi权重值
F(x)←F(x)+fm(x) (3)
wi←wiexp(-yifm(xi)) (4)
在训练初始,F(x)=0,训练数据的权重分布由
Figure BDA0002725623390000083
初始化得到。执行所需的迭代后,最终的强分类器C(x)可以表示为:
Figure BDA0002725623390000084
在步骤S104中,本实例设计了一个深度卷积神经网络损伤识别模型,深度卷积神经网络模型的输入为三通道50×50的图像,模型结构示意图如图3所示。建立的深度卷积神经网络模型结构,包含4个特征提取模块。第一个特征提取模块由2个卷积层组成,每个卷积层包括64个尺寸为3×3卷积核。第二个特征提取模块由2个卷积层组成,每个卷积层包括128个尺寸为3×3卷积核。第三个特征提取模块由3个卷积层组成,每个卷积层包括256个尺寸为3×3卷积核。第四个特征提取模块由1个卷积层组成,该卷积层包括512个尺寸为3×3卷积核。卷积层的卷积步长均为1。每个特征提取模块间通过一个最大池化层链接,池化层的池化尺寸为2×2,池化操作步长为2。图像经4个特征提取模块后,输出给全局最大池化层,再经一层Dropout后,输出给输出层。所述输出层为一个包含5个元素的一维向量,5个元素值分别表示输入图像判断为正常叶片、玻纤破损、裂纹、表皮破损和腐蚀等五种类型的置信度。所述输出层采用Softmax函数进行分类。全模型的激活函数采用LReLU函数,LeakyRate设置为0.1,Dropout率设置为0.5。训练过程采用Adam优化器,训练批量取6-24之间,学习率取10-3-10-4,并根据交叉验证结果确定训练批次大小和学习率。
该模型的特点是:
(1)该卷积神经网络模型具体包括输入层、卷积层、池化层和输出层,但不包含全连接层。其优点是该模型大大减少了训练参数的数量,同时保持了模型优秀的识别能力,这使模型具有更高的训练效率和更好的泛化能力。
(2)该卷积神经网络模型包括四组包含卷积层和池化层的特征提取模块,总计含有8个卷积层和4个池化层。其优点是,多层的卷积和池化操作使得模型能够捕获小尺寸图像样本中抽象化且类别间差异极大的鲁棒特征,从而使模型具有更好的损伤识别性能。
在步骤S104中,利用步骤S102中建立的样本数据库对卷积神经网络模型进行训练、调参和验证,得到具有识别能力的卷积神经网络模型。其中,训练是指:采用梯度下降方法,对卷积神经网络模型权值进行多次迭代更新,使模型损失函数输出降低,模型的检测值与数据的真实值之间越来越接近,直至损失函数收敛到0,完成模型的训练和优化,得到训练好的卷积神经网络模型。调参是指:采用交叉验证方法,确定模型最优训练批次大小和学习率等参数。验证是指:模型在验证数据上的表现结果,即模型验证的准确率。
采用随机抽样的方法从步骤S2生成的样本数据库中进行抽取验证数据,对训练好的识别模型进行验证,并与经典的卷积神经网络模型VGG16和传统分类模型SVM进行对比,对比结果如表1。根据表1,本发明实例识别模型的识别正确率达到97%,相对于SVM(88%)和VGG16(91%)有显着提高。
表1模型验证结果对比
Figure BDA0002725623390000091
图4为本发明实施例中对验证结果进行展示的混淆矩阵示意图,该图像证明了本发明实例识别模型可以有效区分正常叶片和损伤叶片,同样本模型可以正确区分大部分图像样本中所有四种类型的损伤。上述实验结果表明,可以利用该训练好的卷积神经网络模型对风力机叶片表面损伤进行识别判断。
如图5所示,损伤检测及定位包括以下步骤:
在步骤S201中,将待检测到的风力机叶片图像按照一定比例多次缩放,在特定缩放尺度上,沿水平或垂直方向按照固定步长平移滑动窗口(本实例中步长设置为10)。将每次平移后滑动窗口覆盖的图像区域作为检测窗口,提取检测窗口内的Haar-like特征,并经过步骤S103中训练的级联强分类器识别,判断该区域是否可能包含损伤区域。如果模型判断检测窗口内可能包含损伤区域,则用方框标记该区域为疑似损伤目标区域,否则跳过该区域判别下一个区域。采用上述方法遍历整个图像,获取到一系列的疑似损伤目标区域。图像样张经步骤S201后的检测结果如图7所示,其中用方框标出的就是经检测的疑似损伤目标区域。
在步骤S201中,图像首先基于Haar-like特征和浅层分类器筛选出疑似损伤目标区域,从而极大降低了计算成本,为下一步骤中部署深度学习网络识别奠定了基础。
在步骤S202中,由于前一步骤中检测的疑似损伤目标区域具有不同的比例和尺寸,为了下一步识别,需要将这些区域缩放为统一大小(本实例中疑似损伤目标区域均被缩放为50×50大小进行识别)。将缩放为统一尺寸的疑似区域依次输入步骤S104中训练的损伤识别模型,经模型识别后,判断疑似区域属于哪一种损伤类型。如果判断疑似区域不属于任何一种损伤,则将该区域从疑似区域中排除(即视为正常区域)。
在步骤S203中,对经过前两个步骤的检测结果进行整理,输出结果文件,包括识别出的损伤目标区域位置、种类等信息,并在原始风力机叶片图像的对应位置中用方框和数字编号将损伤区域和类别标注出来。图像样张经上述步骤后的检测识别结果如图8所示,其中用方框标出的就是识别的损伤目标区域,损伤类别用文字在方框左上角标出。对比图7可以看出,经损伤识别模型识别后,检测为疑似区域的正常叶片区域被基本排除,只有真正的损伤区域被识别出来。

Claims (9)

1.一种风力机叶片图像损伤检测和定位方法,其特征在于:基于深度卷积神经网络,包括模型训练和损伤检测及定位两个过程;
其中,模型训练过程包括:
S101、采集无人机或监控摄像头拍摄的风力机叶片表面图像;
S102、在风力机叶片图像中人工标记出损伤的位置、类型信息,并根据人工标记从图像中裁切出含有损伤区域的图像样本,即正样本;以及正常叶片表面的图像样本,即负样本;建立样本数据库;
S103、利用步骤S102中建立的样本数据库,按照经典AdaBoost Haar-like算法训练级联强分类器;
S104、搭建深度卷积神经网络损伤识别模型,利用步骤S102中建立的样本数据库对卷积神经网络模型进行训练、调参和验证,得到训练好的损伤识别模型;
损伤检测及定位过程包括:
S201、通过滑动窗口方法遍历风力机叶片图像,并经过步骤S103中训练的级联强分类器识别,判断图像中是否可能包含损伤区域;
S202、将步骤S201中检测出的损伤目标区域缩放为统一大小,输入步骤S104中训练的损伤识别模型,经模型识别后,判断该区域属于哪一种损伤类型;
S203、输出结果文件,包括识别出的损伤目标区域位置、种类等信息,并在原始风力机叶片图像的对应位置中用方框和数字编号将损伤区域和类别标注出来。
2.如权利要求1所述的风力机叶片图像损伤检测和定位方法,其特征在于:S102中人工标记的损伤包括玻纤破损、裂纹、表皮破损和腐蚀四种类型。
3.如权利要求1所述的风力机叶片图像损伤检测和定位方法,其特征在于:S103中体算法训练流程为:
(1)首先,将图像样本转换为灰度图像,之后,对每张图像计算其Haar-like特征;
(2)通过AdaBoost算法训练图像样本强分类器;假设训练数据集{(x1,y1),(x2,y2),...,(xN,yN)}(其中N是训练样本的数量)且
Figure FDA0002725623380000011
y∈[-1,1]。xi是训练样本,yi=1表示训练图像样本中包含损伤区域。假设hi作为训练样本x计算出的Haar-like的特征之一,单特征弱分类器f(x)的计算式为:
Figure FDA0002725623380000021
其中tk是分割阈值,tk=0.5×(hk+hk+1),wi是训练样本的权重;对于每个迭代步骤m=1,2,...,M,通过下式计算最优的弱分类器:
Figure FDA0002725623380000022
在每次迭代结束时,通过下式更新强分类器F(x)和wi权重值
F(x)←F(x)+fm(x) (3)
wi←wiexp(-yifm(xi)) (4)
在训练初始,F(x)=0,训练数据的权重分布由
Figure FDA0002725623380000023
初始化得到。执行所需的迭代后,最终的强分类器C(x)可以表示为:
Figure FDA0002725623380000024
4.如权利要求1所述的风力机叶片图像损伤检测和定位方法,其特征在于:S104中搭建的深度卷积神经网络损伤识别模型包括输入层、卷积层、池化层和输出层,无全连接层。
5.如权利要求1或4所述的风力机叶片图像损伤检测和定位方法,其特征在于:S104中搭建的深度卷积神经网络损伤识别模型包括四组包含卷积层和池化层的特征提取模块,总计含有8个卷积层和4个池化层。
6.如权利要求1所述的风力机叶片图像损伤检测和定位方法,其特征在于:S104中训练步骤包括:采用梯度下降方法,对卷积神经网络模型权值进行多次迭代更新,使模型损失函数输出降低,模型的检测值与数据的真实值之间越来越接近,直至损失函数收敛到0,完成模型的训练和优化,得到训练好的卷积神经网络模型。
7.如权利要求1所述的风力机叶片图像损伤检测和定位方法,其特征在于:S104中训练步骤包括:采用梯度下降方法,对卷积神经网络模型权值进行多次迭代更新,使模型损失函数输出降低,模型的检测值与数据的真实值之间越来越接近,直至损失函数收敛到0,完成模型的训练和优化,得到训练好的卷积神经网络模型。
8.如权利要求1所述的风力机叶片图像损伤检测和定位方法,其特征在于:S104中调参步骤包括:采用交叉验证方法,确定模型最优训练批次大小和学习率等参数;验证步骤包括:模型在验证数据上的表现结果,即得到模型验证的准确率。
9.如权利要求1所述的风力机叶片图像损伤检测和定位方法,其特征在于:S201步骤具体为:将待检测到的风力机叶片图像按照一定比例多次缩放,在特定缩放尺度上,沿水平或垂直方向按照固定步长平移滑动窗口;将每次平移后滑动窗口覆盖的图像区域作为检测窗口,提取检测窗口内的Haar-like特征,并经过步骤S103中训练的级联强分类器识别,判断该区域是否可能包含损伤区域;如果模型判断检测窗口内可能包含损伤区域,则用方框标记该区域为疑似损伤目标区域,否则跳过该区域判别下一个区域;采用上述方法遍历整个图像,获取到一系列的疑似损伤目标区域。
CN202011101812.7A 2020-10-15 2020-10-15 一种风力机叶片图像损伤检测和定位方法 Active CN112233091B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011101812.7A CN112233091B (zh) 2020-10-15 2020-10-15 一种风力机叶片图像损伤检测和定位方法
PCT/CN2020/125752 WO2022077605A1 (zh) 2020-10-15 2020-11-02 一种风力机叶片图像损伤检测和定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011101812.7A CN112233091B (zh) 2020-10-15 2020-10-15 一种风力机叶片图像损伤检测和定位方法

Publications (2)

Publication Number Publication Date
CN112233091A true CN112233091A (zh) 2021-01-15
CN112233091B CN112233091B (zh) 2021-05-18

Family

ID=74113081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011101812.7A Active CN112233091B (zh) 2020-10-15 2020-10-15 一种风力机叶片图像损伤检测和定位方法

Country Status (2)

Country Link
CN (1) CN112233091B (zh)
WO (1) WO2022077605A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950634A (zh) * 2021-04-22 2021-06-11 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN113640297A (zh) * 2021-06-30 2021-11-12 华北电力大学 基于深度学习的双叶轮风力发电机叶片损伤在线检测方法
CN113657193A (zh) * 2021-07-27 2021-11-16 中铁工程装备集团有限公司 基于计算机视觉的管片破损检测方法、系统和盾构机
CN114004982A (zh) * 2021-10-27 2022-02-01 中国科学院声学研究所 一种面向水中目标识别的声学Haar特征提取方法及系统
CN114215702A (zh) * 2021-12-07 2022-03-22 北京智慧空间科技有限责任公司 风机叶片故障检测方法、系统
CN114862796A (zh) * 2022-05-07 2022-08-05 北京卓翼智能科技有限公司 一种用于风机叶片损伤检测的无人机
CN115239034A (zh) * 2022-09-26 2022-10-25 北京科技大学 一种风力发电机叶片早期缺陷预测方法及系统
CN115564740A (zh) * 2022-10-17 2023-01-03 风脉能源(武汉)股份有限公司 一种风机叶片缺陷定位方法及系统
CN116503612A (zh) * 2023-06-26 2023-07-28 山东大学 基于多任务关联的风机叶片损伤识别方法与系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782400B (zh) * 2022-05-17 2023-06-20 东风本田发动机有限公司 金属物料渣点检测方法、装置、设备、介质和程序产品
CN115096891B (zh) * 2022-05-28 2024-05-07 国营芜湖机械厂 一种航空发动机叶片智能检查方法
WO2024023322A1 (en) * 2022-07-28 2024-02-01 Lm Wind Power A/S Method for performing a maintenance or repair of a rotor blade of a wind turbine
CN115345072B (zh) * 2022-08-12 2023-06-06 中山大学 一种风机叶片冲击损伤预测方法、系统及可读存储介质
CN116012774A (zh) * 2022-12-02 2023-04-25 中国能源建设集团安徽省电力设计院有限公司 高空风电空中伞面的损伤检测方法及装置
CN116306231B (zh) * 2023-02-06 2024-01-23 大连理工大学 基于超声导波深度学习的胶接结构脱粘损伤识别方法和装置
CN116704266B (zh) * 2023-07-28 2023-10-31 国网浙江省电力有限公司信息通信分公司 一种电力设备故障检测方法、装置、设备及存储介质
CN116883391B (zh) * 2023-09-05 2023-12-19 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN117232577B (zh) * 2023-09-18 2024-04-05 杭州奥克光电设备有限公司 一种光缆交接箱承载内部监测方法、系统和光缆交接箱
CN117237367B (zh) * 2023-11-16 2024-02-23 江苏星火汽车部件制造有限公司 一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统
CN117541640B (zh) * 2024-01-09 2024-04-02 西南科技大学 叶栅试验油流图气动流场均匀性的判别方法、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011503A1 (en) * 2013-03-15 2017-01-12 Digital Wind Systems, Inc. System and Method for Ground Based Inspection of Wind Turbine Blades
CN107144569A (zh) * 2017-04-27 2017-09-08 西安交通大学 基于选择性搜索分割的风机叶片表面缺陷诊断方法
CN107154037A (zh) * 2017-04-20 2017-09-12 西安交通大学 基于深度层次特征提取的风机叶片故障识别方法
CN108090512A (zh) * 2017-12-15 2018-05-29 佛山市厚德众创科技有限公司 一种基于Ransac算法的鲁棒AdaBoost分类器构建方法
CN108416294A (zh) * 2018-03-08 2018-08-17 南京天数信息科技有限公司 一种基于深度学习的风机叶片故障智能识别方法
US20190180150A1 (en) * 2017-12-13 2019-06-13 Bossa Nova Robotics Ip, Inc. Color Haar Classifier for Retail Shelf Label Detection
CN110261394A (zh) * 2019-06-24 2019-09-20 内蒙古工业大学 在线风机叶片损伤实时诊断系统和方法
CN110314854A (zh) * 2019-06-06 2019-10-11 苏州市职业大学 一种基于视觉机器人的工件检测分拣的装置及方法
CN110610492A (zh) * 2019-09-25 2019-12-24 空气动力学国家重点实验室 在役风机全尺寸叶片外部损伤识别方法、系统、存储介质和终端
CN111122705A (zh) * 2019-12-26 2020-05-08 中国科学院工程热物理研究所 一种风力机叶片超声无损检测方法
CN111612030A (zh) * 2020-03-30 2020-09-01 华电电力科学研究院有限公司 基于深度学习的风电机组叶片表面故障识别与分类方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景(北京)科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011503A1 (en) * 2013-03-15 2017-01-12 Digital Wind Systems, Inc. System and Method for Ground Based Inspection of Wind Turbine Blades
CN107154037A (zh) * 2017-04-20 2017-09-12 西安交通大学 基于深度层次特征提取的风机叶片故障识别方法
CN107144569A (zh) * 2017-04-27 2017-09-08 西安交通大学 基于选择性搜索分割的风机叶片表面缺陷诊断方法
US20190180150A1 (en) * 2017-12-13 2019-06-13 Bossa Nova Robotics Ip, Inc. Color Haar Classifier for Retail Shelf Label Detection
CN108090512A (zh) * 2017-12-15 2018-05-29 佛山市厚德众创科技有限公司 一种基于Ransac算法的鲁棒AdaBoost分类器构建方法
CN108416294A (zh) * 2018-03-08 2018-08-17 南京天数信息科技有限公司 一种基于深度学习的风机叶片故障智能识别方法
CN110314854A (zh) * 2019-06-06 2019-10-11 苏州市职业大学 一种基于视觉机器人的工件检测分拣的装置及方法
CN110261394A (zh) * 2019-06-24 2019-09-20 内蒙古工业大学 在线风机叶片损伤实时诊断系统和方法
CN110610492A (zh) * 2019-09-25 2019-12-24 空气动力学国家重点实验室 在役风机全尺寸叶片外部损伤识别方法、系统、存储介质和终端
CN111122705A (zh) * 2019-12-26 2020-05-08 中国科学院工程热物理研究所 一种风力机叶片超声无损检测方法
CN111612030A (zh) * 2020-03-30 2020-09-01 华电电力科学研究院有限公司 基于深度学习的风电机组叶片表面故障识别与分类方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景(北京)科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ADRIAN STETCO等: "Machine learning methods for wind turbine condition monitoring: A review", 《HTTPS://DOI.ORG/10.1016/J.RENENE.2018.10.047》 *
ASM SHIHAVUDDIN等: "Wind Turbine Surface Damage Detection by Deep Learning Aided Drone Inspection Analysis", 《DOI:10.17632/HD96PRN3NC.1》 *
仇梓峰: "基于计算机视觉的风机叶片表面损伤检测研究", 《中国优秀硕士学位论文全文数据库_工程科技Ⅱ辑》 *
倪朋朋等: "基于Haar-like和Adaboost的车辆检测算法研究", 《汽车零部件》 *
刘建平PINARD: "集成学习之Adaboost算法原理小结", 《HTTPS://WWW.CNBLOGS.COM/PINARD/P/6133937.HTML》 *
刘禹欣等: "Haar-like特征双阈值Adaboost人脸检测", 《中国图象图形学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950634B (zh) * 2021-04-22 2023-06-30 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN112950634A (zh) * 2021-04-22 2021-06-11 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN113640297A (zh) * 2021-06-30 2021-11-12 华北电力大学 基于深度学习的双叶轮风力发电机叶片损伤在线检测方法
CN113657193A (zh) * 2021-07-27 2021-11-16 中铁工程装备集团有限公司 基于计算机视觉的管片破损检测方法、系统和盾构机
CN114004982A (zh) * 2021-10-27 2022-02-01 中国科学院声学研究所 一种面向水中目标识别的声学Haar特征提取方法及系统
CN114215702A (zh) * 2021-12-07 2022-03-22 北京智慧空间科技有限责任公司 风机叶片故障检测方法、系统
CN114215702B (zh) * 2021-12-07 2024-02-23 北京智慧空间科技有限责任公司 风机叶片故障检测方法、系统
CN114862796A (zh) * 2022-05-07 2022-08-05 北京卓翼智能科技有限公司 一种用于风机叶片损伤检测的无人机
CN115239034A (zh) * 2022-09-26 2022-10-25 北京科技大学 一种风力发电机叶片早期缺陷预测方法及系统
CN115564740A (zh) * 2022-10-17 2023-01-03 风脉能源(武汉)股份有限公司 一种风机叶片缺陷定位方法及系统
CN115564740B (zh) * 2022-10-17 2023-06-20 风脉能源(武汉)股份有限公司 一种风机叶片缺陷定位方法及系统
CN116503612A (zh) * 2023-06-26 2023-07-28 山东大学 基于多任务关联的风机叶片损伤识别方法与系统
CN116503612B (zh) * 2023-06-26 2023-11-24 山东大学 基于多任务关联的风机叶片损伤识别方法与系统

Also Published As

Publication number Publication date
CN112233091B (zh) 2021-05-18
WO2022077605A1 (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
CN112233091B (zh) 一种风力机叶片图像损伤检测和定位方法
CN109522627B (zh) 基于scada数据的风机叶片结冰预测方法
CN104865269A (zh) 风力机叶片故障诊断方法
CN107944622A (zh) 基于连续时段聚类的风电功率预测方法
CN110985310B (zh) 基于声传感器阵列的风力发电机叶片故障监测方法与设备
CN103631681A (zh) 一种在线修复风电场异常数据的方法
CN111931851A (zh) 一种基于一维残差神经网络的风机叶片结冰故障诊断方法
CN111855816A (zh) 一种综合概率模型和cnn网络的风叶故障识别方法
CN103778305A (zh) 基于k-VNN和LS-SVM的输电线路覆冰建模方法
CN113866455A (zh) 基于深度学习的桥梁加速度监测数据异常检测方法、系统和装置
CN114169445A (zh) 基于cae和gan混合网络的日前光伏功率预测方法、装置与系统
Wang et al. Insulator defect recognition based on faster R-CNN
Mahmoodi et al. Outlier detection in ocean wave measurements by using unsupervised data mining methods
CN117371337B (zh) 一种基于数字孪生的水利模型构建方法及系统
CN114387261A (zh) 一种适用于铁路钢桥螺栓病害的自动检测方法
CN113606099A (zh) 一种监测风电机组叶片结冰的方法和系统
CN116363536B (zh) 一种基于无人机巡查数据的电网基建设备缺陷归档方法
CN111833336A (zh) 一种基于高光谱的风电叶片表面砂眼故障的检测系统及方法
CN116503612A (zh) 基于多任务关联的风机叶片损伤识别方法与系统
CN116702588A (zh) 一种基于多源数据的风电场关键气象因子预报方法及系统
CN113406107B (zh) 风机叶片缺陷检测系统
CN116106856B (zh) 雷暴大风的识别模型建立方法、识别方法及计算设备
CN116454882B (zh) 一种基于机器视觉预测体的光伏发电预测方法
CN116308180B (zh) 基于无人机及机器视觉的风电结构健康监测系统及方法
Rachid et al. Application of Deep Learning Based Detector YOLOv5 for Soiling Recognition in Photovoltaic Modules

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211125

Address after: 266000 room 120-52, building a, No. 43, Zhengzhou road, Shibei District, Qingdao, Shandong

Patentee after: Qingdao keduobang Information Technology Co.,Ltd.

Patentee after: qingdao technological university

Address before: No. 11, Fushun Road, North District, Qingdao, Shandong

Patentee before: QINGDAO TECHNOLOGICAL University