CN113822844A - 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质 - Google Patents

风电机组叶片无人机巡检缺陷检测方法、装置和存储介质 Download PDF

Info

Publication number
CN113822844A
CN113822844A CN202110559945.7A CN202110559945A CN113822844A CN 113822844 A CN113822844 A CN 113822844A CN 202110559945 A CN202110559945 A CN 202110559945A CN 113822844 A CN113822844 A CN 113822844A
Authority
CN
China
Prior art keywords
blade
defect detection
wind turbine
defect
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110559945.7A
Other languages
English (en)
Inventor
李刚
邹学
李骥
赵剑寒
李小慧
刘俊燕
渠叶君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guodian Power Ningxia New Energy Development Co ltd
Original Assignee
Guodian Power Ningxia New Energy Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guodian Power Ningxia New Energy Development Co ltd filed Critical Guodian Power Ningxia New Energy Development Co ltd
Priority to CN202110559945.7A priority Critical patent/CN113822844A/zh
Publication of CN113822844A publication Critical patent/CN113822844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种风电机组叶片无人机巡检缺陷检测方法、装置和存储介质。该方法包括：利用无人机巡检采集风电机组叶片的原始图像，并沿着叶片方向对原始图像进行图像切分，获得若干包含叶片区域的分割子图像；将若干分割子图像输入叶片缺陷检测网络模型，进行叶片缺陷检测，得到分割子图像的缺陷信息；根据分割子图像的缺陷信息，得到风电机组叶片上缺陷的类型和位置；其中，叶片缺陷检测网络模型通过构建叶片缺陷检测网络并进行网络训练得到，叶片缺陷检测网络采用Yolo v4神经网络。本发明方法，采用Yolo V4神经网络进行叶片重大缺陷进行识别，与较传统计算机视觉算法相比更加稳定。

Description

风电机组叶片无人机巡检缺陷检测方法、装置和存储介质
技术领域
本发明属于风电设备检测技术领域，具体涉及一种风电机组叶片无人 机巡检缺陷检测方法、装置和存储介质。
背景技术
在风力发电领域，风电机组的叶片是将风能转化为电能的重要零件之 一，但是在风电机组发电过程中，由于环境多变等因素，叶片的表面可能会 产生砂眼、裂纹、剥皮等常见缺陷，这些缺陷会严重影响风力发电的效率与 安全。
目前，风机叶片检测的方法主要有目视法、超声波检测、传统计算机视 觉算法、声发射检测、以及红外热成像技术等。超声波检测能对缺陷进行定 位和定量描述，但易受主观因素影响，需要有经验的人员进行测试；超声发 射检测可以识别叶片微小缺陷，覆盖面积广，但是需要对设备施加外力才能 进行，无法反映检测目标的静态状况；红外热成像技术是一种无损检测方法， 具有非接触、高效、操作简单等优点，但相对的设备成本高。这些方法都是 基于离线数据处理，即需要将图像数据上传到后台服务器处理，进行缺陷分 析。而且，传统计算机视觉算法需要大量的人工设计特征，并且设计出来的 特征还需要大量的调试工作。
为了提升风电机组的叶片巡检效率，有必要探索自动化、智能化的风电 机组叶片巡检技术，以在巡检过程中及早发现机组叶片严重缺陷，使得叶片 及时获得维修。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种风电机组叶 片无人机巡检缺陷检测方法、装置和存储介质。本发明要解决的技术问题通 过以下技术方案实现：
本发明提供了一种风电机组叶片无人机巡检缺陷检测方法，包括：
利用无人机巡检采集风电机组叶片的原始图像，并沿着叶片方向对所 述原始图像进行图像切分，获得若干包含叶片区域的分割子图像；
将若干所述分割子图像输入叶片缺陷检测网络模型，进行叶片缺陷检 测，得到所述分割子图像的缺陷信息，所述缺陷信息包括缺陷类型和缺陷检 测框的坐标；
根据所述分割子图像的缺陷信息，得到风电机组叶片上缺陷的类型和 位置；
其中，所述叶片缺陷检测网络模型通过构建叶片缺陷检测网络并进行 网络训练得到，所述叶片缺陷检测网络采用Yolo v4神经网络，其中，所述 Yolo v4神经网络选取CSPDarknet53作为特征提取模块，选取ASPP和PAN 作为特征融合层，并在每一层输入中加入BN层，使每一层神经网络的输入 保持相同分布。
在本发明的一个实施例中，所述叶片缺陷检测网络模型的训练方法包 括：
S1：采集风电机组叶片在不同角度、不同环境条件下的图像，并对其进 行标注和预处理，生成训练数据集；
S2：构建Yolo v4神经网络，并根据所述训练数据集对其进行训练，得 到所述叶片缺陷检测网络模型；
其中，在训练过程中，使用NNI进行超参数优化，并采用CutOut和 Mixup算法对训练数据进行增强。
在本发明的一个实施例中，在所述S1中，采用可旋转标注框对所述图 像进行标注，采用直方图线性变换对所述图像进行预处理。
在本发明的一个实施例中，采用CutOut对所述训练数据进行增强，包 括：
步骤a：设置对所述训练数据实施随机擦除的参数，包括：概率P，擦 除面积比率的下界sl和上界sh，擦除矩形长宽比的下界r1和上界r2；
步骤b：通过均匀分布计算得到随机擦除概率P1，如果P1≥P，对其进 行擦除。
在本发明的一个实施例中，采用Mixup对所述训练数据进行增强，包 括：
步骤1：将输入的训练数据，按照预设的融合比例将其和随机抽取的图 像进行融合，得到混合张量；
步骤2：将所述混合张量传递至所述叶片缺陷检测网络得到输出张量；
步骤3：计算输出张量与混合张量之间各标签的损失函数；
步骤4：按照所述融合比例对各标签的损失函数进行加权求和，得到最 终损失函数。
在本发明的一个实施例中，根据所述分割子图像的缺陷信息，得到风电 机组叶片上缺陷的类型和位置，包括：
将得到的所述分割子图像的缺陷检测框的坐标还原至其所述原始图像 中，并将具有相同缺陷类型且有交叠区域的缺陷检测框进行合并；
采用soft NMS算法去除多余的缺陷检测框，得到风电机组叶片上缺陷 的类型和位置。
本发明还提供了一种风电机组叶片无人机巡检缺陷检测装置，用于执 行上述任一项实施例所述的风电机组叶片无人机巡检缺陷检测方法，所述 装置包括：
图像采集模块，用于采集的风电机组叶片的原始图像；
图像切分模块，用于沿着叶片方向对所述原始图像进行图像切分，获得 若干包含叶片区域的分割子图像；
叶片缺陷检测模块，用于根据预设的叶片缺陷检测网络模型，对若干所 述分割子图像，进行叶片缺陷检测，得到所述分割子图像的缺陷信息，所述 缺陷信息包括缺陷类型和缺陷检测框的坐标；
数据处理模块，用于根据所述分割子图像的缺陷信息，得到风电机组叶 片上缺陷的类型和位置。
在本发明的一个实施例中，所述预设的叶片缺陷检测网络模型通过构 建叶片缺陷检测网络并进行网络训练得到，所述叶片缺陷检测网络采用 Yolo v4神经网络，其中，所述Yolo v4神经网络选取CSPDarknet53作为特 征提取模块，选取ASPP和PAN作为特征融合层，并在每一层输入中加入 BN层，使每一层神经网络的输入保持相同分布。
本发明又提供了一种存储介质，所述存储介质中存储有计算机程序，所 述计算机程序用于执行上述任一项实施例所述的风电机组叶片无人机巡检 缺陷检测方法的步骤。
与现有技术相比，本发明的有益效果在于：
1.本发明的风电机组叶片无人机巡检缺陷检测方法，采用Yolo V4神 经网络进行叶片重大缺陷进行识别，与较传统计算机视觉算法相比更加稳 定；
2.本发明的风电机组叶片无人机巡检缺陷检测方法，对Yolo V4神经 网络进行了修改，加入空洞空间卷积池化金字塔，对叶片缺陷具有较高的识 别准确率和实时性；
3.本发明的风电机组叶片无人机巡检缺陷检测方法，在无人机视觉巡 检过程中引入人工智能辅助识别缺陷，弥补了无人机智巡检行业的智能化 的空白，对整个行业起到了积极的作用。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的 技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其 他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图， 详细说明如下。
附图说明
图1是本发明实施例提供的一种风电机组叶片无人机巡检缺陷检测方 法的流程图；
图2a是本发明实施例提供的风电机组叶片的原始图像；
图2b是图2a的原始图像经图像切分后得到的包含叶片区域的分割子 图像；
图3是本发明实施例提供的Yolo v4神经网络的结构示意图；
图4是本发明实施例提供的CSPDarknet53的结构示意图；
图5是本发明实施例提供的Yolo v4神经网络的主干网路结构示意图；
图6是本发明实施例提供的ASPP结构图；
图7是本发明实施例提供的PAN结构图；
图8是本发明实施例提供的风电机组叶片图像及风电机组叶片主要缺 陷的标注示意图；
图9是本发明实施例提供的CutOut叶片数据增强方法示意图；
图10是本发明实施例提供的Mixup叶片数据增强方法示意图；
图11是本发明实施例提供的一种风电机组叶片无人机巡检缺陷检测装 置的结构框图；
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效， 以下结合附图及具体实施方式，对依据本发明提出的一种风电机组叶片无 人机巡检缺陷检测方法、装置和存储介质进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具 体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本 发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解， 然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加 以限制。
实施例一
请参见图1，图1是本发明实施例提供的一种风电机组叶片无人机巡检 缺陷检测方法的流程图。如图所示，该方法包括：
Step1：利用无人机巡检采集风电机组叶片的原始图像，并沿着叶片方 向对原始图像进行图像切分，获得若干包含叶片区域的分割子图像；
Step2：将若干分割子图像输入叶片缺陷检测网络模型，进行叶片缺陷 检测，得到分割子图像的缺陷信息，缺陷信息包括缺陷类型和缺陷检测框的 坐标；
Step3：根据分割子图像的缺陷信息，得到风电机组叶片上缺陷的类型 和位置。
具体地，在本实施例中，无人机搭载相机，控制无人机以平飞视角依次 拍摄风电机组三个叶片的四个面(压力面、吸力面、前缘和后缘)的巡检照 片，在拍摄过程中，无人机以恒速飞行，确保拍摄到图像覆盖整个叶片且前 后拍摄的图像直接保持很大重叠度。
请参见图2a和图2b，图2a是本发明实施例提供的风电机组叶片的原 始图像；图2b是图2a的原始图像经图像切分后得到的包含叶片区域的分 割子图像。由于叶片缺陷在原始图像中占比较小，需要增强图像缺陷数据， 如图所示，图中矩形框所示缺陷在原始的1920×1080图像中尺寸为120×80， 其所在区域在整幅图像面积比为
Figure BDA0003078567500000071
当将原始图像经过图像 切分，得到若干尺寸为560×400的分割子图像后，上述缺陷在分割子图像中 尺寸和面积不变，但矩形框所在区域在整幅图像面积比为
Figure BDA0003078567500000072
也就是，经过图像切分后，缺陷区域的相对面积扩大了约10倍，对小目标 检测是很显著的。
进一步地，在本实施例中，叶片缺陷检测网络模型通过构建叶片缺陷检 测网络并进行网络训练得到。其中，叶片缺陷检测网络采用Yolo v4神经网 络，具体地，Yolo v4神经网络选取CSPDarknet53作为特征提取模块，选取 ASPP和PAN作为特征融合层，并在每一层输入中加入BN层，使每一层 神经网络的输入保持相同分布加入BN层，以加快模型收敛速度，提高训练 速度。
请参见图3-图7，图3是本发明实施例提供的Yolo v4神经网络的结构 示意图；图4是本发明实施例提供的CSPDarknet53的结构示意图；图5是 本发明实施例提供的Yolo v4神经网络的主干网路结构示意图；图6是本发 明实施例提供的ASPP结构图；图7是本发明实施例提供的PAN结构图。 从图3可以看出，Yolo v4神经网络可以在有效检测目标的同时输出高质量 的检测框。Yolo v4神经网络是一个简单且高效的目标检测算法，该算法可 通过普通的GPU(1080Ti或者2080Ti)来训练。Yolo v4神经网络提供了一 种目标检测网络思想，其没有固定的网络结构，各个模块都可拼接进行实验 预测。
如图4所示，CSPDarknet53把CSPNet深度可分离卷积思想与darknet 网络融合，改进darknet不同的层重复的学习同一份梯度信息，使早期层的 梯度信息也和后层权重加权，同时也去掉最后的池化、全连接和softmax层。
如图6所示，为了解决当rate＝feature map时，不能捕获全图上下文而 在每一层输入中加入BN层，其中，每个特征图的卷积核都有256个。
相邻两层之间的细节结构如图7所示，其融合操作是逐像素相乘。每 个特征图Ni先经过2步长大小的3×3卷积降采样分辨率降为原来的一半， 特征图Pi+1和下采样特征图的每个元件在水平连接上相乘，然后通过3×3 卷积产生。所有特征图都使用256个通道，所有的卷积都跟随ReLU，这样 做使叶片图片缩短了底层尺寸大的特征到高层尺寸小的特征之间的距离， 让特征融合更加有效。
进一步地，叶片缺陷检测网络模型的训练方法包括：
S1：采集风电机组叶片在不同角度、不同环境条件下的图像，并对其进 行标注和预处理，生成训练数据集；
具体地，通过无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶 片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机 组各个角度的影像。
在本实施例中，风电机组叶片图像集总共包含：不同风电机组在不同角 度、不同环境条件(环境条件包括：天气、光照)下的2000张大小为 1920×1080像素的高清图像。
为了适应Yolo v4神经网络的特性和处理效率，先将风电机组叶片图像 进行标注，在训练的时候再将采集到的图像及其标注框降采样至608×608 像素，然后再进行训练。
在实际工况中，风电机组叶片的主要缺陷主要分2类，分别为：细长裂 纹和开放式裂纹，如图8所示，图8是本发明实施例提供的风电机组叶片 图像及风电机组叶片主要缺陷的标注示意图，图8中(a)图为细长裂纹， (b)图为开放式裂纹。由于风电机组叶片具有旋转的特性，采用一般的 Bounding box(边框)进行标注会有较大误差，因此，采用可旋转标注框， 这种标注框可以更好的标注出叶片缺陷的形状。通过记录四个点坐标记录 矩形边框的坐标，可以更好地拟合叶片缺陷的形状。
由于在自然不同环境下的光照对风电机组叶片图像的影响，对其卷积 特征提取带来误差，会影响最终的识别准确率，因此，在对Yolo v4神经网 络训练之前，采用直方图线性变换对采集的图像进行预处理，以实现数据增 强处理。
具体预处理过程如下：
假设待处理图像为灰度图像，γ表示待处理图像的灰度，γ取值范围为 [0,L-1]，L表示图像灰度级数量，则γ＝0表示黑色，γ＝[0,L-1]表示白色， 直方图均衡化的过程是线性变换函数T：
s＝T(γ),0≤γ≥L-1i (1)，
对于输入图像的某个灰度值γ，可以通过变换函数T得到均衡化后的图 像对应位置的灰度值s。其中变换函数T满足以下条件：T(γ)在[0,L-1]上严 格单调递增；当0≤γ≤L-1时，0≤T(γ)≤L-1。一幅灰度图像的灰度级可以看 作区间[0,L-1]内的随机变量。假设pγ(γ)和ps(s)分别表示随机变量γ和s的密 度函数，pγ(γ)和变换函数T已知，且T(γ)在自变量内连续可微，则变换后s 的密度函数式：
Figure BDA0003078567500000101
为寻找随机变量s的概率密度函数ps(s)由(2)式得：
Figure BDA0003078567500000102
Figure BDA0003078567500000103
将(4)式代入(2)式得：
Figure BDA0003078567500000104
由(5)式可知，ps(s)为均匀分布，也就是说，输入图像的概率密度经 过(3)式中的变换函数T得到均匀分布的随机变量s。图像均衡化变换T(γ) 取决于pγ(γ)，但得到的ps(s)始终是均匀的，与pγ(γ)的形式无关。可得(3) 式的离散形式：
Figure BDA0003078567500000105
其中，MN表示图像总像素，nk表示灰度为γk的像素个数，L表示图像 灰度级数量。通过(6)式，输出图像中像素的灰度值可由输入图像中像素 灰度γk映射为sk后得到，(6)式中的变换T(γk)称为直方图线性变换。
S2：构建Yolo v4神经网络，并根据训练数据集对其进行训练，得到叶 片缺陷检测网络模型；
具体地，首先，按照上述Yolo v4神经网络具体结构搭建Yolo v4神经 网络，获取训练根路径并加载imageNet预训练权重；
然后，加载训练数据集，建立模型并设定权重初始化方式以及超参数， 修改Yolov4的cfg文件，适配训练数据集；
最后，执行训练，得到叶片缺陷检测网络模型。
其中，在训练过程中，使用NNI(Neural Network Intelligence)进行超 参数优化，并采用CutOut和Mixup算法对训练数据进行增强。
NNI是微软的自动机器学习工具，它能自动构建特征工程、神经网络 结构搜索、超参数优化、模型压缩，在本实施例中使用NNI来进行超参调 优实验。
具体地，包括：
(1)准备搜索空间：
利用JSON文件定义了搜索空间，在本实施例的训练中定义了 dropout_rate、conv_size、hidden_size、batch_size、lr、momentum、optimizer、 model。具体定义如下所示：
Figure BDA0003078567500000121
(2)启动训练实验代码设置
在NNI参数中添加了几行代码，并返回了传输结果，并结合NNI的训 练代码，NNI与训练代码如下所示，矩形框内所示为添加的代码：
Figure RE-GDA0003370678080000131
(3)定义实验配置
实验由yml定义文件组成，包括实验的基本信息、训练平台的选择、本 地训练任务的选择、搜索空间的决定、协调器的选择和训练任务的构成。本 实施例中定义的方法是：使用TPE协调器来定义搜索空间来配置的本地训 练任务。yml文件配置如下所示：
Figure BDA0003078567500000131
在本实施例中，使用NNI训练的目的是确定一组最优的超参数，所有 训练数据集图像可以减半运行，当webUI查看结果确定了超参数之后再加 入全部训练数据集的图像开始训练。
进一步地，在本实施例中，通过采用随机图像区域裁切解决目标遮挡及 目标不足的问题，即在图像中随机裁剪矩形区域，并用0来填充(CutOut算 法)随机裁剪多个矩形区域(hide-and-seek，grid mask)；通过采用mixup 算法对样本及其标签的凸组合，既把不同4张缺陷样本随机组合在一张图 片上，目的是加入一些噪声使检测鲁棒性增加。请参见图9和图10，图9 是本发明实施例提供的CutOut叶片数据增强方法示意图；图10是本发明 实施例提供的Mixup叶片数据增强方法示意图。对本实施例的CutOut以及 mixupt算法对训练数据进行增强的具体过程说明如下：
采用CutOut对训练数据进行增强，包括：
步骤a：设置对训练数据实施随机擦除的参数，包括：概率P，擦除面 积比率的下界sl和上界sh，擦除矩形长宽比的下界r1和上界r2；
步骤b：通过均匀分布计算得到随机擦除概率P1，如果P1≥P，对其进 行擦除。
具体地擦除过程为：通过均匀分布取样得到擦除矩形面积，以及长宽值。 选择一个满足所有矩形部分都在图像内的左上角坐标，将这个矩形区域都 设置为统一的和图像其他区域无关的纯色值。
采用Mixup对训练数据进行增强，包括：
步骤1：将输入的训练数据，按照预设的融合比例将其和随机抽取的图 像进行融合，得到混合张量；
在本实施例中，预设的融合比例lam是[0,1]之间的随机实数，符合beta 分布，如图10所示，图像中对应的每个像素值直接相加；
步骤2：将混合张量传递至叶片缺陷检测网络得到输出张量；
步骤3：计算输出张量与混合张量之间各标签的损失函数；
步骤4：按照融合比例对各标签的损失函数进行加权求和，得到最终损 失函数。
在本实施例中，根据得到的训练完成的叶片缺陷检测网络模型对分割 子图像进行检测，得到分割子图像的缺陷信息，然后，根据分割子图像的缺 陷信息，得到风电机组叶片上缺陷的类型和位置，具体地，Step3包括：
Step31：将得到的所述分割子图像的缺陷检测框的坐标还原至其所述原 始图像中，并将具有相同缺陷类型且有交叠区域的缺陷检测框进行合并；
Step32：采用soft NMS算法去除多余的缺陷检测框，得到风电机组叶 片上缺陷的类型和位置。
在叶片缺陷检测中，在图像中可能存在一个目标被检测到多个目标框， 因此需要将多余的检测框去取消。
在本实施例中，采用soft NMS算法去除多余的缺陷检测框。需要说明 的是在其他实施例中，也可采用NMS(非极大抑制)算法，去掉去除多余 的缺陷检测框。对NMS和softNMS的具体实现过程进行说明如下：
NMS一般设有一个nms_threshold＝0.5，具体的实现思路如下：
首先，选取缺陷检测框中scores最大的，记为box_best，并保留该缺陷 检测框；
其次，利用下式计算box_best与其余的缺陷检测框的IOU(Intersection overUnion)；
Figure BDA0003078567500000151
如果其IOU>0.5，那么就舍弃这个缺陷检测框(这是因为可能这两个缺 陷检测框表示同一目标，所以保留分数高的缺陷检测框)；
然后，从最后剩余的缺陷检测框中，再找出scores最大的，记为 box_best，，如此循环往复。
由于叶片有许多缺陷是非常密集的，采用NMS处理后往往有漏检的可 能，因此，本实施例采用改进密集物体检测效果的soft NMS来改进精度。 soft NMS相比于NMS，其对密集的沙眼和交叉裂痕缺陷的漏检有一定的减 少，并且使用一种线性加权(如公式(8))来优化NMS的一刀切。
Figure BDA0003078567500000152
其中，soft NMS的伪代码如下所示：
Figure BDA0003078567500000161
本实施例的风电机组叶片无人机巡检缺陷检测方法，采用Yolo V4神 经网络进行叶片重大缺陷进行识别，与较传统计算机视觉算法相比更加稳 定，通过对Yolo V4神经网络进行修改，增加修正条件，对叶片缺陷具有较 高的识别准确率和实时性。
本实施例的风电机组叶片无人机巡检缺陷检测方法，在无人机视觉巡 检过程中引入人工智能辅助识别缺陷，弥补了无人机智巡检行业的智能化 的空白，对整个行业起到了积极的作用。
实施例二
在上述实施例的基础上，本实施例的提供了一种风电机组叶片无人机 巡检缺陷检测装置，用于执行实施例一中的风电机组叶片无人机巡检缺陷 检测方法。
请参见图11，图11是本发明实施例提供的一种风电机组叶片无人机巡 检缺陷检测装置的结构框图。如图所示，本实施例的装置包括：图像采集模 块10、图像切分模块20、叶片缺陷检测模块30和数据处理模块40。
其中，图像采集模块10用于采集的风电机组叶片的原始图像。图像切 分模块20用于沿着叶片方向对原始图像进行图像切分，获得若干包含叶片 区域的分割子图像，需要说明的是若干分割子图像拼接后的图像包含整个 叶片区域。
叶片缺陷检测模块30用于根据预设的叶片缺陷检测网络模型，对若干 分割子图像，进行叶片缺陷检测，得到分割子图像的缺陷信息，缺陷信息包 括缺陷类型和缺陷检测框的坐标。在本实施例中，预设的叶片缺陷检测网络 模型通过构建叶片缺陷检测网络并进行网络训练得到，叶片缺陷检测网络 采用Yolo v4神经网络，其中，Yolo v4神经网络选取CSPDarknet53作为 特征提取模块，选取ASPP和PAN作为特征融合层，并在每一层输入中加入BN层，使每一层神经网络的输入保持相同分布加入BN层，以加快模型 收敛速度，提高训练速度。关于叶片缺陷检测网络模型的训练过程这里不再 赘述。
数据处理模块40用于根据分割子图像的缺陷信息，得到风电机组叶片 上缺陷的类型和位置。具体地，将得到的分割子图像的缺陷检测框的坐标还 原至其原始图像中，并将具有相同缺陷类型且有交叠区域的缺陷检测框进 行合并；采用soft NMS算法去除多余的缺陷检测框，得到风电机组叶片上 缺陷的类型和位置。
本实施例还提供了一种存储介质，所述存储介质中存储有计算机程序， 所述计算机程序用于执行上述实施例中所述的风电机组叶片无人机巡检缺 陷检测方法的步骤。
应该理解的是，本文所揭露的装置和方法，可以通过其它的方式实现。 例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分， 仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模 块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不 执行。
另外，各功能模块可以集成在一个处理模块中，也可以是各个模块单独 物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块 既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
应当说明的是，在本文中，术语“包括”、“包含”或者任何其他变体 意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情 况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物 品或者设备中还存在另外的相同要素。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明， 不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域 的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单 推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种风电机组叶片无人机巡检缺陷检测方法，其特征在于，包括：
利用无人机巡检采集风电机组叶片的原始图像，并沿着叶片方向对所述原始图像进行图像切分，获得若干包含叶片区域的分割子图像；
将若干所述分割子图像输入叶片缺陷检测网络模型，进行叶片缺陷检测，得到所述分割子图像的缺陷信息，所述缺陷信息包括缺陷类型和缺陷检测框的坐标；
根据所述分割子图像的缺陷信息，得到风电机组叶片上缺陷的类型和位置；
其中，所述叶片缺陷检测网络模型通过构建叶片缺陷检测网络并进行网络训练得到，所述叶片缺陷检测网络采用Yolo v4神经网络，其中，所述Yolo v4神经网络选取CSPDarknet53作为特征提取模块，选取ASPP和PAN作为特征融合层，并在每一层输入中加入BN层，使每一层神经网络的输入保持相同分布。
2.根据权利要求1所述的风电机组叶片无人机巡检缺陷检测方法，其特征在于，所述叶片缺陷检测网络模型的训练方法包括：
S1：采集风电机组叶片在不同角度、不同环境条件下的图像，并对其进行标注和预处理，生成训练数据集；
S2：构建Yolo v4神经网络，并根据所述训练数据集对其进行训练，得到所述叶片缺陷检测网络模型；
其中，在训练过程中，使用NNI进行超参数优化，并采用CutOut和Mixup算法对训练数据进行增强。
3.根据权利要求2所述的风电机组叶片无人机巡检缺陷检测方法，其特征在于，在所述S1中，采用可旋转标注框对所述图像进行标注，采用直方图线性变换对所述图像进行预处理。
4.根据权利要求2所述的风电机组叶片无人机巡检缺陷检测方法，其特征在于，采用CutOut对所述训练数据进行增强，包括：
步骤a：设置对所述训练数据实施随机擦除的参数，包括：概率P，擦除面积比率的下界sl和上界sh，擦除矩形长宽比的下界r1和上界r2；
步骤b：通过均匀分布计算得到随机擦除概率P1，如果P1≥P，对其进行擦除。
5.根据权利要求2所述的风电机组叶片无人机巡检缺陷检测方法，其特征在于，采用Mixup对所述训练数据进行增强，包括：
步骤1：将输入的训练数据，按照预设的融合比例将其和随机抽取的图像进行融合，得到混合张量；
步骤2：将所述混合张量传递至所述叶片缺陷检测网络得到输出张量；
步骤3：计算输出张量与混合张量之间各标签的损失函数；
步骤4：按照所述融合比例对各标签的损失函数进行加权求和，得到最终损失函数。
6.根据权利要求1所述的风电机组叶片无人机巡检缺陷检测方法，其特征在于，根据所述分割子图像的缺陷信息，得到风电机组叶片上缺陷的类型和位置，包括：
将得到的所述分割子图像的缺陷检测框的坐标还原至其所述原始图像中，并将具有相同缺陷类型且有交叠区域的缺陷检测框进行合并；
采用soft NMS算法去除多余的缺陷检测框，得到风电机组叶片上缺陷的类型和位置。
7.一种风电机组叶片无人机巡检缺陷检测装置，其特征在于，用于执行权利要求1至6中任一项的所述的风电机组叶片无人机巡检缺陷检测方法，所述装置包括：
图像采集模块，用于采集的风电机组叶片的原始图像；
图像切分模块，用于沿着叶片方向对所述原始图像进行图像切分，获得若干包含叶片区域的分割子图像；
叶片缺陷检测模块，用于根据预设的叶片缺陷检测网络模型，对若干所述分割子图像，进行叶片缺陷检测，得到所述分割子图像的缺陷信息，所述缺陷信息包括缺陷类型和缺陷检测框的坐标；
数据处理模块，用于根据所述分割子图像的缺陷信息，得到风电机组叶片上缺陷的类型和位置。
8.根据权利要求7所述的风电机组叶片无人机巡检缺陷检测装置，其特征在于，所述预设的叶片缺陷检测网络模型通过构建叶片缺陷检测网络并进行网络训练得到，所述叶片缺陷检测网络采用Yolo v4神经网络，其中，所述Yolo v4神经网络选取CSPDarknet53作为特征提取模块，选取ASPP和PAN作为特征融合层，并在每一层输入中加入BN层，使每一层神经网络的输入保持相同分布。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1至6中任一项所述的风电机组叶片无人机巡检缺陷检测方法的步骤。
CN202110559945.7A 2021-05-21 2021-05-21 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质 Pending CN113822844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110559945.7A CN113822844A (zh) 2021-05-21 2021-05-21 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110559945.7A CN113822844A (zh) 2021-05-21 2021-05-21 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN113822844A true CN113822844A (zh) 2021-12-21

Family

ID=78923808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110559945.7A Pending CN113822844A (zh) 2021-05-21 2021-05-21 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN113822844A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442665A (zh) * 2022-01-20 2022-05-06 北京华能新锐控制技术有限公司 基于无人机的风电叶片巡检线路规划方法
CN114881997A (zh) * 2022-05-27 2022-08-09 广东省风力发电有限公司 一种风电机组缺陷评估方法及相关设备
CN115100547A (zh) * 2022-05-17 2022-09-23 长春理工大学 基于ASPP-YOLOv4多尺度融合的无人机图像目标检测方法
CN115631197A (zh) * 2022-12-21 2023-01-20 中科慧远视觉技术(北京)有限公司 一种图像处理方法、装置、介质、设备及系统
CN115100547B (zh) * 2022-05-17 2024-06-07 长春理工大学 基于ASPP-YOLOv4多尺度融合的无人机图像目标检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102008973B1 (ko) * 2019-01-25 2019-08-08 (주)나스텍이앤씨 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법
CN110163177A (zh) * 2019-05-28 2019-08-23 李峥嵘 一种风电机组叶片无人机自动感知识别方法
CN110555513A (zh) * 2019-08-16 2019-12-10 国电南瑞科技股份有限公司 一种基于深度学习的电力设备缺陷集成诊断方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景（北京）科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN111832513A (zh) * 2020-07-21 2020-10-27 西安电子科技大学 基于神经网络的实时足球目标检测方法
CN111929329A (zh) * 2020-07-30 2020-11-13 广东寰球智能科技有限公司 玻璃幕墙智能检测方法、系统及存储介质
CN112101433A (zh) * 2020-09-04 2020-12-18 东南大学 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
CN112287768A (zh) * 2020-10-09 2021-01-29 上海东普信息科技有限公司 用于物流仓库的抽烟识别方法、装置、设备和存储介质
CN112330592A (zh) * 2020-10-09 2021-02-05 西安星闪数创智能科技有限公司 风机叶片缺陷检测方法和装置、存储介质
CN112380952A (zh) * 2020-11-10 2021-02-19 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法
US20210073692A1 (en) * 2016-06-12 2021-03-11 Green Grid Inc. Method and system for utility infrastructure condition monitoring, detection and response
CN112766040A (zh) * 2020-12-23 2021-05-07 北京农业信息技术研究中心 残余饵料的探测方法、设备、装置及可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073692A1 (en) * 2016-06-12 2021-03-11 Green Grid Inc. Method and system for utility infrastructure condition monitoring, detection and response
KR102008973B1 (ko) * 2019-01-25 2019-08-08 (주)나스텍이앤씨 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법
CN110163177A (zh) * 2019-05-28 2019-08-23 李峥嵘 一种风电机组叶片无人机自动感知识别方法
CN110555513A (zh) * 2019-08-16 2019-12-10 国电南瑞科技股份有限公司 一种基于深度学习的电力设备缺陷集成诊断方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景（北京）科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN111832513A (zh) * 2020-07-21 2020-10-27 西安电子科技大学 基于神经网络的实时足球目标检测方法
CN111929329A (zh) * 2020-07-30 2020-11-13 广东寰球智能科技有限公司 玻璃幕墙智能检测方法、系统及存储介质
CN112101433A (zh) * 2020-09-04 2020-12-18 东南大学 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
CN112287768A (zh) * 2020-10-09 2021-01-29 上海东普信息科技有限公司 用于物流仓库的抽烟识别方法、装置、设备和存储介质
CN112330592A (zh) * 2020-10-09 2021-02-05 西安星闪数创智能科技有限公司 风机叶片缺陷检测方法和装置、存储介质
CN112380952A (zh) * 2020-11-10 2021-02-19 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法
CN112766040A (zh) * 2020-12-23 2021-05-07 北京农业信息技术研究中心 残余饵料的探测方法、设备、装置及可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
何龙 著: "深入理解XGBoost高效机器学习算法与进阶", 31 May 2020, 机械工业出版社, pages: 307 *
姚路遥遥: "【图像数据增强】Mixup、Cutout、Random Erasing、CutMix、Mosaic等详解", pages 1 - 8, Retrieved from the Internet <URL:https://blog.csdn.net/Roaddd/article/details/114693988> *
张超;文传博;: "基于改进Mask R-CNN的风机叶片缺陷检测", 可再生能源, no. 09, pages 1181 - 1186 *
汪鑫耘;赵卫东;: "卷积神经网络在指针缺陷检测系统中的应用", 兰州工业学院学报, no. 06, pages 49 - 54 *
董洪义 编著: "深度学习之PyTorch物体检测实战", 31 March 2020, 机械工业出版社, pages: 77 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442665A (zh) * 2022-01-20 2022-05-06 北京华能新锐控制技术有限公司 基于无人机的风电叶片巡检线路规划方法
CN114442665B (zh) * 2022-01-20 2023-12-08 北京华能新锐控制技术有限公司 基于无人机的风电叶片巡检线路规划方法
CN115100547A (zh) * 2022-05-17 2022-09-23 长春理工大学 基于ASPP-YOLOv4多尺度融合的无人机图像目标检测方法
CN115100547B (zh) * 2022-05-17 2024-06-07 长春理工大学 基于ASPP-YOLOv4多尺度融合的无人机图像目标检测方法
CN114881997A (zh) * 2022-05-27 2022-08-09 广东省风力发电有限公司 一种风电机组缺陷评估方法及相关设备
CN115631197A (zh) * 2022-12-21 2023-01-20 中科慧远视觉技术(北京)有限公司 一种图像处理方法、装置、介质、设备及系统

Similar Documents

Publication Publication Date Title
CN113822844A (zh) 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质
CN109409365A (zh) 一种基于深度目标检测的待采摘水果识别和定位方法
CN110473221B (zh) 一种目标物体自动扫描系统及方法
CN110264457B (zh) 基于旋转区域候选网络的焊缝自主识别方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN112528862B (zh) 基于改进的交叉熵损失函数的遥感图像目标检测方法
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN111696079B (zh) 一种基于多任务学习的表面缺陷检测方法
CN108229587A (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN110363769B (zh) 一种高铁接触网支撑装置腕臂系统图像分割方法
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
CN113569981A (zh) 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN112347805A (zh) 一种多目标二维码检测识别方法、系统、装置及存储介质
Yang et al. Towards accurate image stitching for drone-based wind turbine blade inspection
CN115115950A (zh) 一种基于图像直方图特征的无人机图像查重方法
CN113326734B (zh) 一种基于YOLOv5的旋转目标检测方法
CN113536896A (zh) 基于改进Faser RCNN的小目标检测方法、装置及存储介质
CN113158860A (zh) 基于深度学习多维度输出人脸质量评估方法与电子设备
CN110298347B (zh) 一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法
CN115063679B (zh) 一种基于深度学习的路面质量评估方法
CN115619796A (zh) 获取光伏组件模板的方法及装置、非易失性存储介质
CN114049478A (zh) 基于改进Cascade R-CNN的红外船舶图像快速识别方法及系统
CN115482277A (zh) 一种社交距离风险预警方法及装置
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination