CN114627074A - 一种基于深度学习的地面拍摄风机叶片实时监测方法 - Google Patents

Abstract

一种基于深度学习的地面拍摄风机叶片实时监测方法，本发明公开了一种基于深度学习的地面拍摄风机叶片实时监测方法：包括以下步骤：构建云台拍摄模型，用以实时跟踪风机叶片在运行工作中的样本采集；建立远程通信系统，实现计算机、电动云台以及深度网络模型的连接；用改进的YOLOv5和Siam FC结合框架设计深度网络模型，修改损伤函数增强网络对损伤边缘的敏感度，减少YOLOv5特征提取层感受野较大的网络结构，适应小目标检测。实验表明，此方法可以在风机正常运转状态下完成对风机叶片损伤部位的检测。本发明可应用于高空设备难以维护的设施及配件损伤检测，尤其是对于实时性要求高，停机检测损失较大的工业设备，减轻由于设备故障、维修带来的损失。

Description

一种基于深度学习的地面拍摄风机叶片实时监测方法

(一)技术领域

本发明属于能源设备检测技术领域，特别设计一种基于深度学习网络模型的损伤检测方法。

(二)背景技术

世界各国能源供给目前仍以化石能源为主，为解传统能源导致的环境污染问题和能源短缺问题，大多数国家都在大力推动新能源的发展和低碳电力。2021年煤炭价格的不可控上涨，进一步导致的连锁效应是煤电发电成本的急剧上升，加剧了各国政府对能源结构转型的迫切程度。

由于我国风力发电机装机量大，日常检修难度大，人员保养维护跟不上，导致风力发电机故障高于其他发达国家。在众多故障中，检测难度最大，维护成本最高的是风力发电机叶片。风力发电机的叶片作为风力发电机组能量转化的重要部件，保障风力发电机正常运行起到至关重要的作用。而且叶片价格昂贵，它的制造成本占到风力发电机总成本的15-20％。但其在服役运行过程中，不仅受到施加外力的载荷，还会受到雷电、风沙、飓风、异物撞击等恶劣环境影响，最终导致叶片掉漆、刮伤、边缘裂漆、疲劳断裂。损伤产生初期，危险系数小，对叶片进行及时、有效的损伤检测可以帮助检修人员对叶片健康状态进行合理分析，能够有效的减少风机的停机时间、降低风电场的经济损失、保障检修人员的安全。目前已有一些检测方法如手持式望远镜、人工吊篮巡检、红外热成像检测、无人机拍摄检测等已在使用。但由于风电场的环境恶劣、风速风向不稳定等原因，这些方法都存在着或是效率不高、安全隐患大、或是受外界环境影响大、检测不准等缺点。

因此，为了保证风力发电机的健康运行，开发一种易检测、维护成本低且检测效率高的“叶片表面损伤检测系统”是目前风场安全运营的迫切需求，且具有重要理论研究及市场应用价值。

(三)发明内容

本发明旨在提供一种基于深度学习的地面拍摄风机叶片实时监测方法，可以辅助风机叶片设备检测人员及时、安全、高效的了解风机叶片的健康状态，减少因风机叶片损伤维修产生的时间，提高风机发电场的发电效率。为实现以上目的，本发明采用如下技术方案：

步骤1：风电叶片跟踪电动云台建模，采用相机在地面对叶片进行拍摄可以实现稳定性，不需要考虑续航问题，可以实现不间断监测。通过对云台的控制实现相机角度的变换的自动拍摄。拍摄方式以风机的运行状态分为停机拍摄和运行拍摄两类，运行拍摄是为了实现风机叶片实时性方案的必要步骤。(风机高85米，叶片长40米，相机距离机柱约100米，拍摄多张图像以保证清晰度)；

步骤2：根据电动云台各组成部分之间的关系，完成端到端的各部分之间信息传输通道的构建与连接，电动云台组成部分包括：电动云台、激光测距仪、长焦相机、计算机及电源；

步骤3：图像处理可以分为四个步骤：图像降噪，图像灰度化，图像锐化，图像校正。对校正后的图像利用SRMD法实现图像去噪操作。该算法的特点是：提出了扩展性较强的网络，更适用于处理实际问题、使用了维度拉长策略，可以让模糊核和噪声的维度跟图像匹配。

步骤4：损伤检测及分类模型的构建对叶片图像采用基于深度学习网络的图像识别模型，致力于加速收敛速率，提高损伤检测的准确性；进一步实现叶片损伤类型分类与损伤分割，并计算出损伤面积。通过实验分析对比不同网络模型进行损伤检测的速度与精度，调节网络参数提高网络性能，从而确定最适合风机叶片分类的网络；

网络的训练部分：通过GAN网络对风机叶片损伤图像进行数据增强，通过训练完善的网络生成器生成大量伪样本来扩充数据集，伪样本的使用：通过使用标记数据训练有监督网络模型——对无标签数据进行训练，得出预测概率P——改写模型损失函数，并使用有标签的数据以及伪标签共同训练新模型。

伪标签的加入主要从两个方面对网络模型提供正向作用：1.根据聚类假设，这些概率较高的点，通常在相同类别的可能性较大，所以其pseudo-label可信度非常高；2.根据熵正则化的定义，在最大后验估计框架内，一种从未标记数据中获取信息的一种方法，通过最小化未标记数据的类概率中获得条件熵，促进类间的低密度分离，而无需对密度进行建模，伪标签与熵正则化有相同的作用效果，都希望利用未标签数据的分布重叠程度信息。

实时跟踪网络采用SOT的Siam系列Siam FC由于其成对结构(两个输入)又被称为孪生网络结构，该结构首先z为输入的范本，即第一帧图像中的目标框，x为输入的搜索图像，接着对两个输入分别进行特征提取，分别生成了特征图(feature map)，提取了特征之后，再对提取的特征进行互相关操作(即求卷积)，生成响应图(heatmap).

损伤检测模型采用YOLOv5中的网络结构，由于损伤检测仅为2分类问题，网络层数太多会降低检测效率，因此需要对网络结构上进行调整，风机叶片损伤属于小目标检测，要求感受野较小。

与现有技术相比，本发明的有益效果是：

(1)本发明将深度卷积网络的目标检测和实时跟踪网络模型相结合的方式应用于风机叶片的损伤检测中，利用训练完成的网络结构指挥设备操作人员进行施工，提高了检测效率；

(2)本发明考虑到风机叶片的损伤检测较以往的分类问题简单，且特征多为纹理等简单特征，因此对于网络特征提取的深度要求不会很高，应减少Yolov5分类网络特征提取部分的网络模块，从而增强对本目标问题的适配性，改善其在该问题上的表现效果；

(3)本发明方法能够应对风机叶片损伤的突出紧急事件，有一定的预测，预警能力。

(四)附图说明

图1为基于深度学习的风机叶片实时监控方法总体结构图；

图2为风机叶片位置示意图；

图3为水平方向叶片角速度跟踪；

图4为俯仰方向叶片角速度跟踪；

图5为GAN网络训练图片结构图；

图6为风机叶片损伤生成、检测和分类模型总结构图；

图7为Siam FC实时跟踪网络训练结构图。

(五)具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实验结果，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施案例仅用于解释本发明，并不用于限定本发明。

步骤1：风电叶片跟踪电动云台建模，采用相机在地面对叶片进行拍摄可以实现稳定性，不需要考虑续航问题，可以实现不间断监测。通过对云台的控制实现相机角度的变换的自动拍摄。拍摄方式以风机的运行状态分为停机拍摄和运行拍摄两类，运行拍摄是为了实现风机叶片实时性方案的必要步骤。(风机高85米，叶片长40米，相机距离机柱约100米，拍摄多张图像以保证清晰度)。

本章主要进行电动云台建模和参考跟踪信号推导，为后续控制器设计提供可靠依据。首先根据电动云台的内部结构，利用机理建模得到电动云台的标称数学模型如图2。然后根据风电叶片停转、旋转的两种状态，分别推导云台拍摄所需的参考跟踪信号，明确控制器设计的性能指标，分析电动云台实际拍摄过程中存在的参数不确定性及外界扰动等因素，建立云台的不确定性模型。

云台内部驱动系统主要包括转动电机、减速器、齿轮链条转向器、云台末端转向装置。驱动系统的功能是提供让云台产生转向的动能，使水平或者俯仰方向按照给定值进行偏转。具体过程为：电动云台内部的转动电机接受跟踪指令后产生旋转，通过减速器改变电机输出转矩，继而齿轮链条转向器带动云台末端产生水平或者俯仰方向上的偏移，令电动云台发生偏转。为了保证系统模型的准确性，对于电动云台的数学建模从三方面出发，分别是转动电机—减速器模型、齿轮链条转向器模型及云台末端转向装置模型，最后将三个模型整合为云台整体标称模型。

此外，云台的水平和俯仰方向的转向系统完全一致，推导水平方向的云台模型，俯仰方向与水平方向建模过程一致则不再赘述。搭建承载长焦相机的电动云台摄像系统，通过分析叶片相关参数选取摄像系统配件，并编写电动云台控制器代码、设计相关软件界面，最后通过实际拍摄情况验证控制器有效性。

电动云台跟踪拍摄系统组成：由于风场环境相对空旷，电动云台摄像系统为获取云台与风机叶片之间的距离需要激光测距仪的帮助，将长焦相机和激光测距仪固定在云台顶端，这样两者可同时随电动云台转动从而达到跟踪风机叶片的目的。为实现对风机叶片的自动化损伤检测设计电动云台摄像系统，其中硬件包括：电动云台、激光测距仪、长焦相机、计算机及电源。

对电动云台的选择主要从最大水平和俯仰方向的旋转角度和速度、定位精度及承载裕度这三方面出发。第一，云台的旋转角度和速度对转动中风机叶片的追踪起到了决定性作用；第二，云台顶端要搭载长焦相机及激光测距仪，这就要求云台的承重裕度要大于负载重量。

所述步骤1的风机转动状态下云台模型的搭建：

在风机转动状态下，推导云台需要的参考跟踪信号，同样先回顾风机叶片表面的图像获取过程，与风机停转状态下的过程基本相同，不同之处在于，云台在沿着叶片方向逐段拍摄的同时，还需要跟踪叶片的转动，因此过程更为复杂；

为推导风机转动状态下控制器的参考跟踪信号，给出图2叶片位置示意图；云台固定在距离风机轮毂s米外的地面，且正对风电叶片转动平面。设风机轮毂高度为h，叶片顺时针转动且长度为r，转动角速度为ω；

在某一时刻，风机叶尖运行到a点，叶片与水平方向夹角为θ，当相机对a点拍摄时，云台的水平转角为θ₁，俯仰转角为θ₂，根据几何原理可得：

式(1)和(2)分别为水平和俯仰方向的参考跟踪信号；

不同于停转状态的低速定点拍摄，相比于内部参数的变化，此状态下云台的不确定部分主要来自于外界，包括强风强压等环境的干扰、测量干扰等，所以在确定风机转动状态下云台的不确定模型时主要考虑外界干扰部分；

此时将公式(3)进行改写，得到风机转动状态下云台的不确定性模型如下：

其中：

为系统标称值；d为云台外界扰动；将相关数据代入系统(3)可得电动云台在风机转动状态下的不确定数学模型为：

风机叶片顺时针匀速旋转，计算云台在水平方向最大旋转角θ_s1：

俯仰方向最大旋转角θ_m1：

定义云台在水平方向最大旋转速度为：两次拍摄间隔时间内，叶片转过的最大距离。叶片水平方向上最大旋转速度对应的叶片位置。a、b为两次相邻拍摄点的叶尖部分，当l最大时旋转速度达到最大。

水平旋转最大速度ω_s1为：

同理可得俯仰旋转最大速度ω_m1为：

根据图3、图4的实验结果为满足旋转角度和速度的要求，选择汇源光公司HY-MZ17-01A型号的电动云台，其相关参数如表1所示。

表1 HY-MZ17-01A型号电动云台相关参数

表中相关参数表明HY-MZ17-01A型号的电动云台完全满足设计要求。

长焦相机：本文所选相机为佳能EOS C300 Mark III相机，搭配佳能EF-S长焦摄像头，满足拍摄需求。

激光测距仪：本文所选激光测距仪为上海申稷光电公司SK-L300型号的激光测距仪，此款测距仪体积较小，重量较轻，量程为200米，满足安装重量及测量距离要求。

选型完成后，将上述硬件组合成云台跟踪拍摄系统。根据叶片模型的拍摄位置和相机焦距的不同分为整体、单叶片、叶片切片；此分类方式的原因是相机焦距不同得到的叶片图像的像素不同，不同的焦距用来平衡焦距与采集到的叶片图像清晰度，从而确定最佳的焦距大小。

根据叶片模型的旋转速度可以分为匀速和非匀速两种运动状态，由于不确定相机跟踪拍摄对于速度变化的鲁棒性，故实验对比采集叶片在匀速和非匀速状态下的叶片清晰度

步骤2：根据电动云台各组成部分之间的关系，完成端到端的各部分之间信息传输通道的构建与连接，电动云台组成部分包括：电动云台、激光测距仪、长焦相机、计算机及电源；

由于风场环境相对空旷，电动云台摄像系统为获取云台与风机叶片之间的距离需要激光测距仪的帮助，将长焦相机和激光测距仪固定在云台顶端，这样两者可同时随电动云台转动从而达到跟踪风机叶片的目的。为实现对风机叶片的自动化损伤检测设计电动云台摄像系统，其中硬件包括：电动云台、激光测距仪、长焦相机、计算机及电源。

计算机与相机间RS485通讯连接，跟踪拍摄的叶片照片传送到计算机专门文件夹进行保存；与电动云台通过网口连接，计算机向云台发送位置指令且云台反馈跟踪信息给计算机；与激光测距仪也是通过RS485通讯连接，计算机发送开始和结束指令，测距仪向计算机反馈距离信息。

步骤3：图像处理可以分为四个步骤：图像降噪，图像灰度化，图像锐化，图像校正。对校正后的图像利用SRMD法实现图像去噪操作。该算法的特点是：提出了扩展性较强的网络，更适用于处理实际问题、使用了维度拉长策略，可以让模糊核和噪声的维度跟图像匹配。

图像灰度化：灰度图是指只包含亮度信息，不含色彩信息的图像，如生活中看到的黑白照片，其亮度由暗到明，变化是连续的。通常可以分为256个级别，0为黑色，1为白色。通常我们看到的彩色图像，是包含了三个颜色通道的图像，即红绿蓝三通道的叠加，在计算机视觉领域称为RGB图像。但是很多时候我们在计算时并不需要颜色信息，那么就可以使用图像灰度化处理，可以在保留其他信息的基础上极大的降低图像信息量、提高运算速度。

图像去噪：图像去噪是指削弱数字图像中噪声的过程。图像在获取的过程中或传输的过程中可能会引入各种噪声，有效的去噪处理可以更好的保留原图像信息的完整性，是图像预处理中重要的一步。常见的图像噪声有高斯噪声、椒盐噪声和均匀噪声等。根据图像中存在的噪声类型，可以采取不同的去噪方法。使用频率较高的去噪方法包括中值滤波、高斯滤波、均值滤波和傅里叶滤波等。

图像锐化：图像锐化是一种增强图像轮廓的技术。图像锐化通过空间域处理或频域处理，加强了图像中的边缘信息，减少了图像的模糊。图像锐化在增强边缘信息的同时可能会加强噪声，因此需要先对图像去噪后再进行锐化处理。图像锐化通常采用一阶微分锐化滤波器或二阶微分锐化滤波器来实现。

图像校正：图像校正是指对失真图像进行的修复性处理。引起成像失真的原因包括：成像系统畸变导致的失真、拍摄角度导致的几何失真、运动导致的模糊失真和图像噪声导致的失真等。图像校正的核心思想是通过分析失真原因建立相应的数学模型，利用这个模型逆向的恢复图像的原始面貌。在实际工程中出现最多的是拍摄姿态引起的几何失真，常用的校正方法包括：基于投影的方法、基于霍夫变换的方法和基于线性拟合的方法等。

步骤4：损伤检测及分类模型的构建对叶片图像采用基于深度学习网络的图像识别模型，致力于加速收敛速率，提高损伤检测的准确性；进一步实现叶片损伤类型分类与损伤分割，并计算出损伤面积。通过实验分析对比不同网络模型进行损伤检测的速度与精度，调节网络参数提高网络性能，从而确定最适合风机叶片分类的网络。

网络的训练部分：通过GAN网络对风机叶片损伤图像进行数据增强，通过训练完善的网络生成器生成大量伪样本来扩充数据集，伪样本的使用：通过使用标记数据训练有监督网络模型——对无标签数据进行训练，得出预测概率P——改写模型损失函数，并使用有标签的数据以及伪标签共同训练新模型。

选用的生成式对抗网络模型为图像翻译网络pix2pix。pix2pix生成图像质量较高，但是需要成对的训练样本进行训练，而目前只有大量的无损伤图像样本，难以满足训练要求，因此提出了随机损伤生成模型用于构建训练样本对如图5。

在图像中，一切事物都由像素构成，通过改变像素的灰度值，可以调节图像的亮度，改变像素之间的排列，可以组成不同的形状、图案等。因此，损伤在图像中也就是一个个特定灰度值的像素进行组合的结果，那么我们就可以采用改变图像像素的方式实现损伤的模拟。如图6中的随机损伤生成(Random Damage，RD)模型，其输入x是无损伤图像，输出x′是添加了损伤后的图像，这就构成了一对用于训练pix2pix的样本对。生成的损伤种类包括：点、线、圆、椭圆、多边形及噪声等。

伪标签的加入主要从两个方面对网络模型提供正向作用：1.根据聚类假设，这些概率较高的点，通常在相同类别的可能性较大，所以其pseudo-label可信度非常高；2.根据熵正则化的定义，在最大后验估计框架内，一种从未标记数据中获取信息的一种方法，通过最小化未标记数据的类概率中获得条件熵，促进类间的低密度分离，而无需对密度进行建模，伪标签与熵正则化有相同的作用效果，都希望利用未标签数据的分布重叠程度信息。

实时跟踪网络采用SOT的Siam系列Siam FC由于其成对结构(两个输入)又被称为孪生网络结构，该结构首先z为输入的范本，即第一帧图像中的目标框，x为输入的搜索图像，接着对两个输入分别进行特征提取变换分别生成了特征图(feature map)如图7，提取了特征之后，再对提取的特征进行互相关操作(即求卷积)，生成响应图(heatmap)。

损伤检测模型采用YOLO v5中的网络结构，由于损伤检测仅为2分类问题，网络层数太多会降低检测效率，因此需要对网络结构上进行调整，风机叶片损伤属于小目标检测，要求感受野较小。

而作为one-stage的YOLO网络主要由三个主要组件组成：Backbone-在不同图像细粒度上聚合并形成图像特征的卷积神经网络；Neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；Head：对图像特征进行预测，生成边界框并预测类别。

考虑到几方面的平衡：输入网络分辨率/卷积层数量/参数数量/输出维度。一个模型的分类效果好不见得其检测效果就好，想要检测效果好需要以下几点：更大的网络输入分辨率——用于检测小目标；更深的网络层——能够覆盖更大面积的感受野；更多的参数——更好的检测同一图像内不同size的目标。根据表2显然YOLO系列的分类网络YOLOv5更适合本实验的检测方法研究。

表2 YOLO分类网络的优缺点

本发明的上述实验室里仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上诉说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (1)

1.一种基于深度学习的地面拍摄风机叶片实时监测方法，其特征在于，包括以下步骤：

步骤1：风电叶片跟踪电动云台建模，为电动云台控制系统组装配件；

步骤2：根据电动云台各组成部分之间的关系，完成端到端的各部分之间信息传输通道的构建与连接；

步骤3：图像处理，选择合适的校正算法以及降噪算法，系统化图片处理流程，尤其是拍摄图片产生的图像畸变问题；

步骤4：损伤检测及分类模型的构建对叶片图像采用基于深度学习网络的图像识别模型，致力于加速收敛速率，提高损伤检测的准确性；

所述步骤1的风机转动状态下云台模型的搭建：

在风机转动状态下，推导云台需要的参考跟踪信号，同样先回顾风机叶片表面的图像获取过程，与风机停转状态下的过程基本相同，不同之处在于，云台在沿着叶片方向逐段拍摄的同时，还需要跟踪叶片的转动，因此过程更为复杂；

为推导风机转动状态下控制器的参考跟踪信号，给出图2叶片位置示意图；云台固定在距离风机轮毂s米外的地面，且正对风电叶片转动平面，设风机轮毂高度为h，叶片顺时针转动且长度为r，转动角速度为ω；

在某一时刻，风机叶尖运行到a点，叶片与水平方向夹角为θ，当相机对a点拍摄时，云台的水平转角为θ₁，俯仰转角为θ₂，根据几何原理可得：

式(1)和(2)分别为水平和俯仰方向的参考跟踪信号；

不同于停转状态的低速定点拍摄，相比于内部参数的变化，此状态下云台的不确定部分主要来自于外界，包括强风强压等环境的干扰、测量干扰等，所以在确定风机转动状态下云台的不确定模型时主要考虑外界干扰部分；

此时将公式(3)进行改写，得到风机转动状态下云台的不确定性模型如下：

其中：

为系统标称值；d为云台外界扰动；将相关数据代入系统(3)可得电动云台在风机转动状态下的不确定数学模型为：

所述步骤2中的电动云台组成部分包括：电动云台、激光测距仪、长焦相机、计算机及电源；

所述步骤4中的深度网络模型，通过对比各网络结构的性能及优缺点，选择采用现阶段目标跟踪的代表性的孪生网络Siam FC,以及目标检测网络模型YOLOv5通过对两者网络结构的应用删减与改进搭建新型网络模型。

Images