CN111784632A - 基于深度学习的风力发电机叶片表面缺陷检测系统及方法 - Google Patents

基于深度学习的风力发电机叶片表面缺陷检测系统及方法 Download PDF

Info

Publication number
CN111784632A
CN111784632A CN202010449115.4A CN202010449115A CN111784632A CN 111784632 A CN111784632 A CN 111784632A CN 202010449115 A CN202010449115 A CN 202010449115A CN 111784632 A CN111784632 A CN 111784632A
Authority
CN
China
Prior art keywords
deep learning
network
surface defect
defect detection
resnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010449115.4A
Other languages
English (en)
Inventor
董朝轶
杨鹏
陈晓艳
赵肖懿
齐咏生
刘利强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN202010449115.4A priority Critical patent/CN111784632A/zh
Publication of CN111784632A publication Critical patent/CN111784632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于深度学习的风力发电机叶片表面缺陷检测系统及方法，该系统包括无人机，用于按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；终端设备，其与无人机信号连接，用于将原始图像数据输入至预先由深度学习网络构建的分类器中，确定各个叶片的表面缺陷类型，其中深度学习网络为ResNet网络。由于深度学习ResNet网络中增加了直连通道，通过将输入信息绕道传至输出，保护了信息的完整性，整个网络只需要学习输入和输出差别的部分，简化了学习目标和难度，同时可以具有更深层次的网络结构，避免了梯度消失的现象，使得对风力发电机叶片表面缺陷的分类精度大为提升。

Description

基于深度学习的风力发电机叶片表面缺陷检测系统及方法
技术领域
本发明一般涉及缺陷检测技术领域，具体涉及一种基于深度学习的风力发电机叶片表面缺陷检测系统及方法。
背景技术
风力发电机是将风能转化为电能的装置，主要由风轮、调速装置、控制系统、发电机、机舱、偏航系统和塔架等构成。其中，风轮包括叶片和轮毂，而叶片是风能捕获机构，用于将风能转换为自身的机械能，其既是风力发电机能量转换的主要部件，也是风力发电机的力源和主要承载部件。因此，叶片安全有效运行对风力发电机的发电效率有着重要影响。
目前，风力发电机叶片表面缺陷检测中无损检测方式主要包括超声波检测技术、红外热成像检测技术、振动检测技术、X光检测技术和应力检测技术等。但这些技术或者需要在风力发电机的叶片上附加额外装置，可能会对风力发电机桨叶的正常运转造成影响，或者检测过程繁琐，并且精度不够，无法在实际中得到大规模运用。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种基于深度学习的风力发电机叶片表面缺陷检测系统及方法，能够对风力发电机叶片表面缺陷进行精确地判别，同时提高检测效率。
第一方面，本申请提供一种基于深度学习的风力发电机叶片表面缺陷检测系统，所述系统包括：
无人机，用于按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；
终端设备，其与所述无人机信号连接，用于将所述原始图像数据输入至预先由深度学习网络构建的分类器中，确定所述各个叶片的表面缺陷类型，其中所述深度学习网络为ResNet网络。
可选地，所述ResNet网络包括ResNet18、ResNet34、ResNet50、ResNet101或者ResNet152中的任意一种。
可选地，当所述ResNet网络为ResNet18或ResNet34时，残差模块由两个3×3的卷积网络串接而成。
可选地，当所述ResNet网络为ResNet50、ResNet101或ResNet152时，残差模块由1×1、3×3和1×1的卷积网络串接而成。
可选地，所述预设巡航轨迹为以所述风力发电机各个叶片的连接点为起点，按照预设垂直距离依次对所述各个叶片的正面和背面进行原始图像数据的采集；所述预设垂直距离为能够广角覆盖所述各个叶片的距离。
可选地，所述分类器的分类结果包括正常类、砂眼损伤类、裂纹损伤类、混合损伤类和背景类。
第二方面，本申请提供一种基于深度学习的风力发电机叶片表面缺陷检测方法，所述方法包括：
按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；
将所述原始图像数据输入至预先由深度学习网络构建的分类器中，确定所述各个叶片的表面缺陷类型，其中所述深度学习网络为ResNet网络。
可选地，所述ResNet网络包括ResNet18、ResNet34、ResNet50、ResNet101或者ResNet152中的任意一种。
可选地，当所述ResNet网络为ResNet18或ResNet34时，残差模块由两个3×3的卷积网络串接而成。
可选地，当所述ResNet网络为ResNet50、ResNet101或ResNet152时，残差模块由1×1、3×3和1×1的卷积网络串接而成。
综上，本申请实施例提供的基于深度学习的风力发电机叶片表面缺陷检测系统及方法，该系统包括无人机，用于按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；终端设备，其与无人机信号连接，用于将原始图像数据输入至预先由深度学习网络构建的分类器中，确定各个叶片的表面缺陷类型，其中深度学习网络为ResNet网络。由于深度学习ResNet网络中增加了直连通道，通过将输入信息绕道传至输出，保护了信息的完整性，整个网络只需要学习输入和输出差别的部分，简化了学习目标和难度，同时可以具有更深层次的网络结构，避免了梯度消失的现象，使得对风力发电机叶片表面缺陷的分类精度大为提升。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种基于深度学习的风力发电机叶片表面缺陷检测系统的基本结构示意图；
图2为本申请实施例提供的一种无人机结构缩略示意图；
图3为本申请实施例提供的一种风力发电机示意图；
图4为本申请实施例提供的一种无人机自动巡航示意图；
图5为本申请实施例提供的一种常规卷积结构示意图；
图6为本申请实施例提供的一种ResNet网络中的残差结构示意图；
图7为本申请实施例提供的一种ResNet18或ResNet34的残差结构示意图；
图8为本申请实施例提供的一种ResNet50、ResNet101或ResNet152的残差结构示意图；
图9为本申请实施例提供的ResNet18至ResNet152网络结构图；
图10为本申请实施例提供的各网络所能达到的最大精度示意图；
图11为本申请实施例提供的一种基于ResNet50网络构建的分类器结构示意图；
图12为本申请实施例提供的基本操作流程示意图；
图13为本申请实施例提供的一种基于深度学习的风力发电机叶片表面缺陷检测方法的基本流程示意图；
图14为本申请实施例提供的一种计算机系统结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了便于理解和说明，下面通过图1至图14详细的阐述本申请实施例提供的基于深度学习的风力发电机叶片表面缺陷检测系统及方法。
请参考图1，其为本申请实施例提供的一种基于深度学习的风力发电机叶片表面缺陷检测系统的基本结构示意图。该系统100包括：
无人机101，用于按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据。
比如，本申请实施例中以无人机巡航的方式，利用四旋翼无人机机器视觉完成原始图像数据的采集任务，并实时传输至地面工作区，从而实现全面、准确地捕获风力发电机叶片表面损伤图像。由于采集任务处于低空环境，这就要求无人机操作简单、易于上手和采集数据时悬停稳定，并且体积尽量不要过大。因此，本申请实施例选择某公司的PHANTOM4PRO+智能航拍无人机进行图像数据采集。
如图2所示，其为本申请实施例提供的一种无人机结构缩略示意图。该无人机包括云台201、测距传感器202和旋翼203，其中在云台201上配备有一英寸2000万像素影像传感器，机械快门可以达到14张/秒的高速静态照片拍摄功能，单像素面积大幅提升不仅增加了清晰度，而且实现了高感光度和精确的色彩还原功能，对于后期处理效果相当出色。同时，该无人机还搭载了前视、后视避障和左右红外避障，操作简单安全、可靠性高，其最大续航时间约30分钟，最远遥控距离可达7公里。
需要说明的是，采集风力发电机叶片原始图像数据的最佳时间为每年弱风期停机的时候。可选地，采用“正反Y形巡航”的方式进行数据采集，即预设巡航轨迹为以风力发电机各个叶片的连接点为起点，按照预设垂直距离依次对各个叶片的正面和背面进行原始图像数据的采集，该预设垂直距离为能够广角覆盖各个叶片的距离。如图3和图4所示，以一扇叶片长度是28m的风力发电机为例，当无人机距离风机叶片预设垂直距离为6米时，其广角镜头可以容下宽度最大的叶根，此距离是拍摄清晰叶片的最佳距离。把风力发电机三枚叶片的正面连接中心O作为起点，以0.5米/秒的速度沿着OA方向拍摄视频数据，到达A点后绕到此叶片背面，在相同的预设垂直距离6米处沿着AO方向继续采集视频数据，直至返回O点，以同样的方式进行另外两枚叶片的数据采集。这样设置的好处在于，不仅无人机的巡航路径最短，同时还能确保全部叶片都被纳入到视频数据中。之后，将视频数据按照2张/秒的步幅拆解为图像数据，作为原始图像数据。
终端设备102，其与无人机101信号连接，用于将原始图像数据输入至预先由深度学习网络构建的分类器中，确定各个叶片的表面缺陷类型，其中深度学习网络为ResNet网络。
需要说明的是，本申请实施例中信号连接通过无线互联网的连接方式来实现，而无线互联网接入技术可以包括但不限于Wi-Fi、无线宽带、全球微波互联接入(WorldwideInteroperability for MicrowaveAccess，Wimax)，以及蓝牙、射频识别(Radio FrequencyIdentification，RFID)、超宽带(Ultra Wideband，UWB)等，本申请实施例对此不进行限定。
而深度学习的基本架构是卷积神经网络(Convolutional Neural Network，CNN)，其可以通过局部感受来自动提取图像特征，避免了前期图像预处理时所掺杂的人为因素。作为卷积神经网络高级变形的深度残差网络ResNet，由于增加了直连通道，通过将输入信息绕道传至输出，保护了信息的完整性，整个网络只需要学习输入和输出差别的部分，简化了学习目标和难度。同时，相较于AlexNet、VGGNet到GoogLeNet网络等，深度残差网络ResNet可以具有更深层次的网络结构，避免了梯度消失的现象，使得对风力发电机叶片表面缺陷的分类精度大为提升。
具体的，从AlexNet、VGGNet到GoogLeNet网络不难看出，更深层次的网络可以带来更好的识别效果，然而一个简单的实验曾证明56层的卷积神经网络在训练和测试方面的误差都大于20层的，也就是说随着网络的加深，模型的效果却越来越差。排除过拟合的干扰，真正的原因来自于梯度消失。梯度消失现象，是反向传播训练算法的先天不足，随着误差的回传，前层网络的梯度会变得越来越小。
请参考式(1)，当网络的损失函数为F(X,W)时，其反向传播的梯度值如式(2)所示。进一步地，扩展至多层网络结构，损失函数如式(3)所示，其中n表示网络层数，根据链式法则能够推导出第i层的梯度值如式(4)所示。可以看出，随着误差的回传，前层网络的梯度值越来越小。
Loss＝F(X,W) (1)
Figure BDA0002507032520000061
Loss＝Fn(Xn,Wn),Ln＝Fn-1(Xn-1,Wn-1),…,L2＝F1(X1,W1) (3)
Figure BDA0002507032520000062
为了解决该问题，ResNet网络引入了残差结构。请参考图5和图6所示，其中图5为常规卷积结构，图6为ResNet网络中的残差结构，Conv表示卷积层，ReLU表示激活函数。对比图5和图6可知，ResNet网络将常规卷积结构输出层H(X)＝F(X)替换为H(X)＝F(X)+X，也就是从式(4)变成了式(5)。因此即便网络再深，梯度也不会消失了。
Figure BDA0002507032520000071
可选地，ResNet网络包括ResNet18、ResNet34、ResNet50、ResNet101或者ResNet152中的任意一种。而这些模型又根据ResNet残差模块的不同可以分为两类，当ResNet网络为ResNet18或ResNet34时，如图7所示，残差模块由两个3×3的卷积网络串接而成。而当ResNet网络为ResNet50、ResNet101或ResNet152时，如图8所示，残差模块由1×1、3×3和1×1的卷积网络串接而成。其中，图8又称为“bottleneck design”，起着降低参数数目的作用。第一个1*1的卷积把256维的通道降到64维，然后在最后通过1*1卷积进行恢复，整体上用的参数数目为1×1×256×64+3×3×64×64+1×1×64×256＝69632，而不使用bottleneck的话就是两个3×3×256的卷积，参数数目为3×3×256×256×2＝1179648，差了整整16.94倍。以ResNet50为例，其参数量为25.5×106，远远小于AlexNet的60×106和VGG16的138×106的参数量。并且，随着网络层数的加深，激活函数ReLU的数量也增加了，进而模型的非线性能力增强，拟合能力也随之加强。具体请参考图9，其为本申请实施例提供的ResNet18至ResNet152网络结构图。从图9中可见，不同残差网络的区别在于残差结构的反复堆叠，每个残差模块又由多个小尺度卷积核构成，除了最后的全连接层外均是全卷积的，极大地提升了计算速度。同时，在网络所能达到的最大精度上，残差网络也优于VGG系列和GoogLeNet，且远远高于AlexNet，各网络所能达到的最大精度如图10所示。
可选地，分类器的分类结果包括正常类、砂眼损伤类、裂纹损伤类、混合损伤类和背景类。由于风力发电机组运行环境凶险恶劣，风沙侵蚀、雨雪雷电、高低温差以及叶片的自然老化都使叶片在运转过程中极易出现损坏，其故障种类主要分为前缘腐蚀、前缘开裂、后缘损坏、叶根断裂、雷击损坏、叶片覆冰和整体结构失效。而这些主要故障均可由砂眼和裂纹来表征，即砂眼、裂纹是风机叶片损伤的基本形态，大部分典型损伤都是这两种损伤疲劳生长延伸而来的。因此，将风机叶片故障分为砂眼损伤类、裂纹损伤类、混合损伤类、正常类(无损伤)和背景类等5大类。也就是说，分类器的输出结果有5类，损伤类型及其特征如表1所示。
表1风力发电机叶片故障分类
Figure BDA0002507032520000081
为了验证本申请实施例ResNet网络的分类精度优于其它网络，此处以ResNet网络中ResNet50为例，并与AlexNet网络做对比。请参考图11，其为本申请实施例提供的一种基于ResNet50网络构建的分类器结构示意图。本申请实施例中采集的数据来自于20台不同型号的风力发电机，以像素为基本单位，将原始图像数据裁剪至适用于各卷积网络输入大小的尺寸，比如AlexNet网络和ResNet50网络输入大小分别为227×227、224×224，因此均得到子图5571400张。
从12台风力发电机叶片子图中任意选取10000张作为训练集，剩下的8台，每台选取400张子图作为测试集，创建8个测试集，也就是说，每个测试集子图均来自于同一台风力发电机。同时，为了控制唯一变量，AlexNet和ResNet50分类器均采用一样的训练和测试样本。由于数据量较多，为加快样本训练速度，本申请实施例采用AMAX高性能服务器执行此次任务，该服务器搭载一块K40 GPU计算卡，具备2880个流处理单元，可以提供1.43T的双精度浮点计算能力。各分类器设置的训练参数如表2所示。
表2各分类器参数设置
参数 设置量
执行单元 单GPU
最小批次 64
最大训练次数 40
学习率 0.0001
训练函数 sgdm
其中，AlexNet分类器的测试结果如表3所示，ResNet50分类器的测试结果如表4所示。对比表3和表4可见，在数据集和训练参数均一致的情况下，ResNet50分类器以95.61％的平均准确率优于94.21％的AlexNet分类器。
表3 AlexNet分类器准确率
测试集 包含损伤子图数 正确率
测试集1 72 94.27％
测试集2 56 93.19％
测试集3 47 94.57％
测试集4 47 92.98％
测试集5 58 95.87％
测试集6 81 91.69％
测试集7 53 96.35％
测试集8 27 94.73％
平均正确率 94.21％
表4 ResNet50分类器准确率
测试集 包含损伤子图数 正确率
测试集1 71 94.00％
测试集2 62 97.25％
测试集3 53 96.13％
测试集4 54 92.88％
测试集5 60 95.74％
测试集6 81 95.58％
测试集7 50 98.00％
测试集8 27 95.27％
平均正确率 95.61％
另外，本申请实施例还基于MATLAB的GUI功能搭建了人机交互界面，使用户可以一键操作实现风力发电机叶片的损伤检测。如图12所示，其为本申请实施例提供的基本操作流程示意图。具体的，首先无人机101自动巡航采集数据，然后终端设备102选择待测图像进行损伤检测，如果存在损伤则标定损伤并输出损伤类型，而如果不存在损伤则结束检测。由此，本申请实施例通过搭建人机交互界面，构建了从输入数据到损伤检测一体化的系统。
本申请实施例提供的基于深度学习的风力发电机叶片表面缺陷检测系统该系统包括无人机，用于按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；终端设备，其与无人机信号连接，用于将原始图像数据输入至预先由深度学习网络构建的分类器中，确定各个叶片的表面缺陷类型，其中深度学习网络为ResNet网络。由于深度学习ResNet网络中增加了直连通道，通过将输入信息绕道传至输出，保护了信息的完整性，整个网络只需要学习输入和输出差别的部分，简化了学习目标和难度，同时可以具有更深层次的网络结构，避免了梯度消失的现象，使得对风力发电机叶片表面缺陷的分类精度大为提升。
基于前述实施例，请参考图13，其为本申请实施例提供的一种基于深度学习的风力发电机叶片表面缺陷检测方法的基本流程示意图，该方法包括如下步骤：
S1301，按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据。
需要说明的是，本申请实施例中预设巡航轨迹为以风力发电机各个叶片的连接点为起点，按照预设垂直距离依次对各个叶片的正面和背面进行原始图像数据的采集，该预设垂直距离为能够广角覆盖各个叶片的距离。
S1302，将原始图像数据输入至预先由深度学习网络构建的分类器中，确定各个叶片的表面缺陷类型，其中深度学习网络为ResNet网络。
可选地，ResNet网络包括ResNet18、ResNet34、ResNet50、ResNet101或者ResNet152中的任意一种。当ResNet网络为ResNet18或ResNet34时，残差模块由两个3×3的卷积网络串接而成。而当ResNet网络为ResNet50、ResNet101或ResNet152时，残差模块由1×1、3×3和1×1的卷积网络串接而成。
可选地，分类器的分类结果包括正常类、砂眼损伤类、裂纹损伤类、混合损伤类和背景类。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请实施例提供的基于深度学习的风力发电机叶片表面缺陷检测方法，该方法包括按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；进而，将原始图像数据输入至预先由深度学习网络构建的分类器中，确定各个叶片的表面缺陷类型，其中深度学习网络为ResNet网络。由于深度学习ResNet网络中增加了直连通道，通过将输入信息绕道传至输出，保护了信息的完整性，整个网络只需要学习输入和输出差别的部分，简化了学习目标和难度，同时可以具有更深层次的网络结构，避免了梯度消失的现象，使得对风力发电机叶片表面缺陷的分类精度大为提升。
基于前述实施例，本申请实施例提供一种计算机系统。请参照图14所示，该计算机系统1400包括中央处理单元(CPU)1401，其可以根据存储在只读存储器(ROM)1402中的程序或者从存储部分加载到随机访问存储器(RAM)1403中的程序而执行各种适当的动作和处理。在RAM1403中，还存储有系统操作所需的各种程序和数据。CPU1401、ROM1402以及RAM1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
特别地，根据本申请的实施例，上文参考流程图13描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序由CPU1401执行，以实现如下步骤：
按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；
将原始图像数据输入至预先由深度学习网络构建的分类器中，确定各个叶片的表面缺陷类型，其中深度学习网络为ResNet网络。
在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例基于深度学习的风力发电机叶片表面缺陷检测方法、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括采集模块及分类模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的无人机或者终端设备中所包含的；也可以是单独存在，而未装配入该无人机或者终端设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该无人机或者终端设备执行时，使得该无人机或者终端设备实现如上述实施例中的基于深度学习的风力发电机叶片表面缺陷检测方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于深度学习的风力发电机叶片表面缺陷检测系统，其特征在于，所述系统包括：
无人机，用于按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；
终端设备，其与所述无人机信号连接，用于将所述原始图像数据输入至预先由深度学习网络构建的分类器中，确定所述各个叶片的表面缺陷类型，其中所述深度学习网络为ResNet网络。
2.根据权利要求1所述的基于深度学习的风力发电机叶片表面缺陷检测系统，其特征在于，所述ResNet网络包括ResNet18、ResNet34、ResNet50、ResNet101或者ResNet152中的任意一种。
3.根据权利要求2所述的基于深度学习的风力发电机叶片表面缺陷检测系统，其特征在于，当所述ResNet网络为ResNet18或ResNet34时，残差模块由两个3×3的卷积网络串接而成。
4.根据权利要求2所述的基于深度学习的风力发电机叶片表面缺陷检测系统，其特征在于，当所述ResNet网络为ResNet50、ResNet101或ResNet152时，残差模块由1×1、3×3和1×1的卷积网络串接而成。
5.根据权利要求1所述的基于深度学习的风力发电机叶片表面缺陷检测系统，其特征在于，所述预设巡航轨迹为以所述风力发电机各个叶片的连接点为起点，按照预设垂直距离依次对所述各个叶片的正面和背面进行原始图像数据的采集；所述预设垂直距离为能够广角覆盖所述各个叶片的距离。
6.根据权利要求1至5任意一项所述的基于深度学习的风力发电机叶片表面缺陷检测系统，其特征在于，所述分类器的分类结果包括正常类、砂眼损伤类、裂纹损伤类、混合损伤类和背景类。
7.一种基于深度学习的风力发电机叶片表面缺陷检测方法，其特征在于，所述方法包括：
按照预设巡航轨迹，采集风力发电机各个叶片的原始图像数据；
将所述原始图像数据输入至预先由深度学习网络构建的分类器中，确定所述各个叶片的表面缺陷类型，其中所述深度学习网络为ResNet网络。
8.根据权利要求7所述的基于深度学习的风力发电机叶片表面缺陷检测方法，其特征在于，所述ResNet网络包括ResNet18、ResNet34、ResNet50、ResNet101或者ResNet152中的任意一种。
9.根据权利要求8所述的基于深度学习的风力发电机叶片表面缺陷检测方法，其特征在于，当所述ResNet网络为ResNet18或ResNet34时，残差模块由两个3×3的卷积网络串接而成。
10.根据权利要求8所述的基于深度学习的风力发电机叶片表面缺陷检测方法，其特征在于，当所述ResNet网络为ResNet50、ResNet101或ResNet152时，残差模块由1×1、3×3和1×1的卷积网络串接而成。
CN202010449115.4A 2020-05-25 2020-05-25 基于深度学习的风力发电机叶片表面缺陷检测系统及方法 Pending CN111784632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010449115.4A CN111784632A (zh) 2020-05-25 2020-05-25 基于深度学习的风力发电机叶片表面缺陷检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010449115.4A CN111784632A (zh) 2020-05-25 2020-05-25 基于深度学习的风力发电机叶片表面缺陷检测系统及方法

Publications (1)

Publication Number Publication Date
CN111784632A true CN111784632A (zh) 2020-10-16

Family

ID=72753236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010449115.4A Pending CN111784632A (zh) 2020-05-25 2020-05-25 基于深度学习的风力发电机叶片表面缺陷检测系统及方法

Country Status (1)

Country Link
CN (1) CN111784632A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176268A (zh) * 2021-05-18 2021-07-27 哈尔滨理工大学 一种基于云台拍摄图像的风电叶片表面损伤检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510001A (zh) * 2018-04-04 2018-09-07 北京交通大学 一种风力发电机叶片缺陷分类方法及其分类系统
KR20200031860A (ko) * 2018-09-17 2020-03-25 윈디텍 주식회사 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510001A (zh) * 2018-04-04 2018-09-07 北京交通大学 一种风力发电机叶片缺陷分类方法及其分类系统
KR20200031860A (ko) * 2018-09-17 2020-03-25 윈디텍 주식회사 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵烨: "基于卷积神经网络的叶片损伤识别方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176268A (zh) * 2021-05-18 2021-07-27 哈尔滨理工大学 一种基于云台拍摄图像的风电叶片表面损伤检测方法

Similar Documents

Publication Publication Date Title
Sadykova et al. IN-YOLO: Real-time detection of outdoor high voltage insulators using UAV imaging
KR102386221B1 (ko) 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법
CN108510001B (zh) 一种风力发电机叶片缺陷分类方法及其分类系统
CN115546630A (zh) 基于遥感影像特征目标检测的工地提取方法和系统
CN113050693B (zh) 一种用于风电叶片检测的无人机巡检方法和装置以及设备
Zheng et al. Component identification and defect detection in transmission lines based on deep learning
CN113252701B (zh) 基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法
CN116503318A (zh) 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备
CN111337898B (zh) 激光点云的处理方法、装置、设备及存储介质
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN115170816A (zh) 多尺度特征提取系统、方法和风机桨叶缺陷检测方法
CN113569981A (zh) 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN111784632A (zh) 基于深度学习的风力发电机叶片表面缺陷检测系统及方法
CN113256668A (zh) 图像分割方法以及装置
CN115272412B (zh) 一种基于边缘计算的低小慢目标检测方法及跟踪系统
KR20200142142A (ko) 고압 송전탑 안전 점검 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN115859148A (zh) 风机叶片振动报警方法及装置
CN115912183A (zh) 高压输电线路生态措施巡视方法、系统及可读存储介质
US20230267364A1 (en) Processing images of wind farms and plant farms captured by a drone
Damodaran et al. Extraction of Overhead Transmission Towers from UAV Images
CN113657287A (zh) 一种基于深度学习改进YOLOv3的目标检测方法
Özer et al. Low-cost AI-based solar panel detection drone design and implementation for solar power systems
Özer et al. An approach based on deep learning methods to detect the condition of solar panels in solar power plants
CN111208165A (zh) 一种基于红外成像技术探测风机叶片损伤的装置及方法
Wang et al. High-Voltage Transmission Line Foreign Object and Power Component Defect Detection Based on Improved YOLOv5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination