CN112598637A

CN112598637A - 一种风电机组叶片巡检叶片区域路线自动飞行方法

Info

Publication number: CN112598637A
Application number: CN202011523481.6A
Authority: CN
Inventors: 刘汉政; 冯晓东; 韩建锋; 马俊祥; 王磊; 王恩民; 任鑫; 童彤; 王�华; 赵鹏程; 杨晓峰
Original assignee: Huaneng Anyang Energy Co ltd; Huaneng Clean Energy Research Institute
Current assignee: Huaneng Anyang Energy Co ltd; Huaneng Clean Energy Research Institute
Priority date: 2020-12-21
Filing date: 2020-12-21
Publication date: 2021-04-02

Abstract

本发明公开了一种风电机组叶片巡检叶片区域路线自动飞行方法，步骤1，建立无人机空间定位坐标系；步骤2，依据风电机组外形参数在空间定位坐标系中设置巡检路径点；步骤3，设置无人机叶片区域飞行巡检路线进行巡检；步骤4，获取风电机组叶片的红外图像；步骤5，对红外图像不同温度区域进行划分，构建风电机组轮廓，将设置为红外感兴趣区域；步骤6，巡检过程中获取拍摄图像进行精准区域分割，采用深度学习模型对精准区域图像进行深度学习，获取置信度；步骤7，将步骤5获得的红外感兴趣的区域的和步骤6中精准区域图片进行融合计算；步骤8，重新生成图像；步骤9，依据图像，无人机实时调整位置，完成自动飞行巡检。

Description

一种风电机组叶片巡检叶片区域路线自动飞行方法

技术领域

本发明属于无人机自动巡检技术领域，具体属于一种风电机组叶片巡检叶片区域路线自动飞行方法。

背景技术

风电机组是将风能转换为机械功，机械功带动转子旋转，最终输出交流电的电力设备。风力发电机一般有机舱(传动机构及发电机)、叶片、塔筒等部件组成。风电机组运行过程中，叶片的表面会呈现出各种损伤，例如掉漆、叶片结冰、开裂、雷击等。目前传统的风电机组叶片检测，通常采用人工爬上风力发电机，采用高空作业进行检测，不仅会花费大量的人力，而且存在较大的安全隐患。

因此通过无人机搭载图像采集装置进行风电机组叶片检测，能够避免上述问题，很好的代替人工进行检测。目前无人机搭载图像采集装置进行风电机组叶片检测通常采用操作员遥控无人机飞行实现巡检，或者通过提前规划路径，以引导无人机完成自动追踪巡检。由于每次巡检风机叶片所处位置不同，因此路径也会发生较大的变化。操作员遥控难度大，并不能很好的进行操控，提前规划路径不能有效的对各种环境下的风电机组进行巡检，造成巡检结果不准确的问题。

发明内容

为了解决现有技术中存在的问题，本发明提供一种风电机组叶片巡检叶片区域路线自动飞行方法，能够自动识别风电机组叶片叶根到叶尖区域，并规划路线，从而引导无人机完成叶根到叶尖对叶片的自动追踪巡检。

为实现上述目的，本发明提供如下技术方案：

一种风电机组叶片巡检叶片区域路线自动飞行方法，包括以下步骤，

步骤1，建立无人机空间定位坐标系；

步骤2，依据风电机组外形参数在步骤1中的空间定位坐标系中设置巡检路径点；

步骤3，依据巡检路径点设置无人机叶片区域飞行巡检路线进行巡检；

步骤4，在巡检过程中获取风电机组叶片的红外图像；

步骤5，对获取的红外图像不同温度区域进行划分，构建风电机组轮廓，将风电机组轮廓设置为红外感兴趣区域；

步骤6，巡检过程中获取拍摄图像进行精准区域分割，并采用深度学习模型对精准区域图像进行深度学习，获取叶片分割图片中，叶根、叶中、叶尖区域的置信度；

步骤7，将步骤5获得的红外感兴趣的区域的和步骤6中精准区域图片进行融合计算，得到全局置信度；

步骤8，依据全局置信度判断，重新生成图像；

步骤9，依据重新生成的图像，无人机实时调整位置，完成自动飞行巡检。

优选的，步骤1中，以风电机组轮毂中心为坐标系原点，建立三维坐标系，三维坐标系中水平面方向为X轴、Z轴，水平面垂直方向为Y轴。

优选的，步骤2中，以风电机组轮毂中心为坐标系原点，其坐标为(0，0，0)，并根据风电机组外形参数设置巡检第一叶片、第二叶片、第三叶片叶尖位置坐标分别为(X1，Y1，Z1)、(X2，Y2，Z2)和(X3，Y3，Z3)；

设置无人机距叶片距离高度为H，坐标(0，0，H)的点为路径点0，坐标(X1，Y1，Z1+H)的点为巡检路径点1；坐标(X2，Y2，Z2+H)的点为巡检路径点2；坐标(X3，Y3，Z3+H)的点为巡检路径点3。

进一步的，步骤3中，巡检路径点的顺序为路径点0、路径点1、路径点0、路径点2、路径点0、路径点3、路径点0。

优选的，步骤5中，依据灰度统计特征值方法对红外图像不同温度区域进行划分，在风电机组区域的红外图像中，划分出风电机组的叶片和塔筒区域，构建风电机组轮廓，并将风电机组轮廓设置为红外感兴趣区域。

优选的，步骤6中，依据分割模型技术，在摄像机拍摄的视频流每帧图片中找到叶片区域，基于分割模型将叶片从图片中分割出来，并使其与背景区分开来，得到精准区域图片。

优选的，步骤7中，在融合计算前，将红外感兴趣的彩色区域变成黑白区域。

优选的，步骤7中，根据下式进行全局置信度融合计算，

全局置信度＝精准区域中像素点×置信度+红外感兴趣的区域图像像素点×(1-置信度)

式中：全局置信度为融合计算后的置信度；

精准区域中像素点为步骤6获取的精准区域图像中像素点数值；

红外感兴趣区域图像像素点为步骤5图像中像素点数值；

置信度为步骤6深度学习得到的置信度。

优选的，步骤8中，设置0.5为阈值，将全局置信度数值与阈值进行比较，将图像中所有全局置信度大于等于阈值0.5的像素点重新赋值为1，将图像中所有全局置信度小于阈值0.5的像素点重新赋值为0；

像素点为1的设置为白色，像素点为0的设置成黑色，重新构造生成图像。

优选的，步骤9中，根据重新生成的图像，实时调整无人机到叶片的距离，保持叶片区域占图像的1/3～2/3，依次完成第一叶片、第二叶片和第三叶片的巡检工作。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供一种风电机组叶片巡检叶片区域路线自动飞行方法，利用无人机加装红外摄像机和摄像机，对红外摄像机拍摄的红外图像划分红外感兴趣的区域，通过摄像机进行拍摄图像进行精准区域分割精心深度学习，将红外感兴趣的区域与经过分割深度学习精准区域，进行融合计算，增强了对叶片区域识别的准确度，并据此控制无人机风行位置，能够实现无人机风电机组叶片巡检叶片区域路线自动规划判断，对叶片区域进行自动识别进行风电机组叶片巡检叶片区域路线自动飞行。

进一步的，通过采用白色表示叶片区域，黑色表示背景区域形成的计算图像，方便进行自动识别，调整飞行路线。

进一步的，实时调整无人机到叶片的距离，保持叶片区域占图像的1/3～2/3，保证巡检对于叶片状态的准确判断。

附图说明

图1为本发明实施例无人机自动飞行坐标系及路径点示意图；

图2为本发明实施例无人机自动飞行路线示意图；

图3为本发明实施例精准区域获取效果图；

附图中：1为第一叶片；2为第二叶片；3为第三叶片；4为无人机。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

实施例

如图1所示，本发明一种风电机组叶片巡检叶片区域路线自动飞行方法，包括以下步骤：

第一步，建立无人机4空间定位坐标系：

如图1和图2所示，将风电机组停机，并将叶片处于如图1所示的倒Y位置，人为设置风电机组轮毂中心为坐标系原点，并建立三维坐标系，其中水平面方向为X轴、Z轴，水平面垂直方向为Y轴。坐标单位为厘米CM。

第二步，设置巡检路径点：

具体的，如图1所示，设置风电机组轮毂中心为坐标系原点，其坐标为(0，0，0)，并根据风电机组厂商提供的机组外形参数，设置巡检第一叶片1、第二叶片2、第三叶片3叶尖位置坐标分别为(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)；预设无人机4距叶片距离高度为H，设置坐标(0，0，H)的点为路径点0，坐标(X1，Y1，Z1+H)的点为巡检路径点1；坐标(X2，Y2，Z2+H)的点为巡检路径点2；坐标(X3，Y3，Z3+H)的点为巡检路径点3。

本发明第三到第十一步的每个过程都是一个动态过程，都是实时在处理中的。

第三步，预设无人机4叶片区域飞行巡检路线：

具体的，如图1所示，根据巡检路径点1、2、3的坐标，按照1-7的顺序，无人机4按照路径点间直线方向作为巡检路线。

序号	路径点	坐标
			1	路径点0	0，0，H
2	路径点1	X1，Y1，Z1+H
			3	路径点0	0，0，H
4	路径点2	X2，Y2，Z2+H
			5	路径点0	0，0，H
6	路径点3	X3，Y3，Z3+H
			7	路径点0	0，0，H

第四步，风电机组红外图像获取：

具体的，利用装在无人机4上的红外摄像头对风电机组区域进行拍摄，获取当前场景下的红外图像。

第五步，红外感兴趣的区域(ROI region of interest)的获取：

具体的，由于风电机组整体温度会略高于环境温度，因此风电机组整体会在红外图像中呈现为温度较高的区域。利用上述原理，根据第四步获取的风电机组区域的红外图像，依据灰度统计特征值方法，可对获取的红外图像不同温度区域进行划分，从而在第四步获取的风电机组区域的红外图像中，划分出风电机组(叶片和塔筒)的区域，构建风电机组轮廓，并将风电机组轮廓设置为红外感兴趣的区域。

第六步，精准区域的获取：

具体的，利用摄像机拍摄的视频流进行叶片的实例分割。可依据目前已有分割模型技术，可在摄像机拍摄的视频流每帧图片中找到叶片占有的区域，基于分割模型将叶片从图片中分割出来，并使其与背景区分开来，得到精准区域。

如利用基于端到端训练的语义分割网络结构segment模型等。其分割结果通常是一个有0和1组成的蒙版图片，0表示背景，1表示前景，而通常将0显示为黑色，1显示为白色。如图3所示。通常是图片中白色区域为叶片，黑色区域为背景，并输出该图片。

第七步，叶片分割结果深度学习：

具体的，可利用现有的深度学习模型对第六步获取的精准区域，输出的图片进行深度学习，深度学习模型可使用目前常见的AlexNet、VGGNET等。其学习结果将给出在第六步获取的风电机组叶片分割图片中，叶根、叶中、叶尖区域及其相应区间的置信度。一般的置信度设为0-1，数值越大可信度越高。

第八步，红外感兴趣的区域图像转换：具体的，由于第五步得到的红外感兴趣的区域是彩色区域图像，第六步得到的是黑白图像。因此需要先将第四步得到的红外感兴趣的彩色区域变成黑白区域，以便进行下一步融合计算工作。

通过设置红外感兴趣的区域中的像素点赋值为1，其他区域中的像素点赋值为0，可得到的像素点为0和1组成的图片，其中像素点为1的设置为白色，像素点为0的设置成黑色。一般的，可得到风机及叶片区域为白色，背景为黑色的图片。

此时，已将第五步及第六步得到的图像均转换成像素点为0和1组成的黑白图片，其中像素点为1设置为白色，像素点为0设置成黑色。

第九步，精准区域与红外感兴趣的区域的融合计算：具体的，可根据以下计算公式进行全局置信度融合计算。

式中：全局置信度为融合计算后的置信度，该值作为判断依据与第十步本方法设置的阈值进行比较，从而得出该区域的实际位置。

精准区域中像素点为本发明第六步获取的精准区域图像中像素点数值，其中白色为1，黑色为0。

红外感兴趣的区域图像像素点为本发明第五步得出的图像中像素点数值，其中白色为1，黑色为0。

置信度为本发明第七步通过叶片分割结果深度学习得到的叶片置信区间，一般的置信度设为0-1，数值越大可信度越高。

第十步，全局置信度判断及计算图像的构成：具体的，设置0.5为阈值，并将第九步得到图像像素点的全局置信度数值进行较。将图像中所有全局置信度大于等于阈值0.5的像素点重新赋值为1，将图像中所有全局置信度小于阈值0.5的像素点重新赋值为0。并据此重新构造并生成计算图像。

第十一步，无人机4实时位置调整：

根据叶片图像检测的需要，需要实时调整无人机4到叶片的距离，保持叶片区域占画幅的1/3～2/3。具体的，无人机4按照第三步预设飞行路径飞行，在飞行过程中依据第四到第十步生成的图像作为判断依据，根据统计图像画幅占比调整无人机4实时位置。

如在飞行过程中，画幅占比处于大于1/3，小于2/3区间，则保持无人机4原预设飞行路径。

如在飞行过程中，画幅占比处于小于等于1/3，则按照30CM步长，逐步降低无人机4预设路径点Z轴坐标，直至画幅占比大于1/3。并同时修改后续路径点坐标值。

如在飞行过程中，画幅占比处于大于等于2/3，则按照30CM步长，逐步提高无人机4预设路径点Z轴坐标，直至画幅占比小于2/3。并同时修改后续路径点坐标值。直至无人机4到达路径点1。随后无人机4从路径点1按照无人机4实时记录飞行路径坐标原路返回至路径点0。此时已完成第一叶片1的图像巡检工作。同理，依次设置目标路径点为路径点2、路径点3，依次开始巡检第二叶片2、第三叶片3，依次完成三只叶片的巡检工作。

以无人机4巡检第一叶片1，路径点0至路径点1为例。

11A)无人机4起始位置，路径点0坐标为(0，0，H)，其目标位置，路径点1为(X1，Y1，Z1+H)。无人机4沿两点间直线方向飞行。无人机4实时记录飞行路径坐标。

如在飞行过程中，画幅占比处于大于1/3，小于2/3区间，则保持无人机4原预设飞行路径，即目标位置仍为(X1，Y1，Z1+H)。

11B)如在飞行过程中，画幅占比处于小于等于1/3，则按照30CM步长，逐步降低无人机4预设路径点Z轴坐标，直至画幅占比大于1/3。如经过a次调整后，画幅占比大于1/3，则此刻目标位置已修正为(X1，Y1，Z1+H-30×a)，并同时修改路径点1坐标值。即目标位置修正为(X1，Y1，Z1+H-30×a)。

11C)如在飞行过程中，画幅占比大于等于2/3，则按照30CM步长，逐步提高无人机4预设路径点Z轴坐标，直至画幅占比小于2/3。如经过b次调整后，画幅占比小于2/3，则此刻目标位置已修正为(X1，Y1，Z1+H-30×a+30×b)，并同时修正路径点1坐标值。即目标位置修正为(X1，Y1，Z1+H-30×a+30×b)。

11D)如在飞行过程中，画幅占比再次出现小于等于1/3，则按照上述步骤不断动态调整目标位置坐标。直至无人机4到达路径点1。随后无人机4从路径点1按照无人机4实时记录飞行路径坐标原路返回至路径点0。此时已完成第一叶片1的图像巡检工作。

同理，依次设置目标路径点为路径点2、路径点3，依次开始巡检第二叶片2、第三叶片3，依次完成三只叶片的巡检工作。

Claims

1.一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，包括以下步骤，

步骤1，建立无人机空间定位坐标系；

步骤4，在巡检过程中获取风电机组叶片的红外图像；

步骤8，依据全局置信度判断，重新生成图像；

步骤9，依据重新生成的图像，无人机(4)实时调整位置，完成自动飞行巡检。

2.根据权利要求1所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤1中，以风电机组轮毂中心为坐标系原点，建立三维坐标系，三维坐标系中水平面方向为X轴、Z轴，水平面垂直方向为Y轴。

3.根据权利要求1所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤2中，以风电机组轮毂中心为坐标系原点，其坐标为(0，0，0)，并根据风电机组外形参数设置巡检第一叶片(1)、第二叶片(2)、第三叶片(3)叶尖位置坐标分别为(X1，Y1，Z1)、(X2，Y2，Z2)和(X3，Y3，Z3)；

设置无人机(4)距叶片距离高度为H，坐标(0，0，H)的点为路径点0，坐标(X1，Y1，Z1+H)的点为巡检路径点1；坐标(X2，Y2，Z2+H)的点为巡检路径点2；坐标(X3，Y3，Z3+H)的点为巡检路径点3。

4.根据权利要求3所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤3中，巡检路径点的顺序为路径点0、路径点1、路径点0、路径点2、路径点0、路径点3、路径点0。

5.根据权利要求1所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤5中，依据灰度统计特征值方法对红外图像不同温度区域进行划分，在风电机组区域的红外图像中，划分出风电机组的叶片和塔筒区域，构建风电机组轮廓，并将风电机组轮廓设置为红外感兴趣区域。

6.根据权利要求1所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤6中，依据分割模型技术，在摄像机拍摄的视频流每帧图片中找到叶片区域，基于分割模型将叶片从图片中分割出来，并使其与背景区分开来，得到精准区域图片。

7.根据权利要求1所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤7中，在融合计算前，将红外感兴趣的彩色区域变成黑白区域。

8.根据权利要求1所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤7中，根据下式进行全局置信度融合计算，

式中：全局置信度为融合计算后的置信度；

红外感兴趣区域图像像素点为步骤5图像中像素点数值；

置信度为步骤6深度学习得到的置信度。

9.根据权利要求1所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤8中，设置0.5为阈值，将全局置信度数值与阈值进行比较，将图像中所有全局置信度大于等于阈值0.5的像素点重新赋值为1，将图像中所有全局置信度小于阈值0.5的像素点重新赋值为0；

10.根据权利要求1所述的一种风电机组叶片巡检叶片区域路线自动飞行方法，其特征在于，步骤9中，根据重新生成的图像，实时调整无人机(4)到叶片的距离，保持叶片区域占图像的1/3～2/3，依次完成第一叶片(1)、第二叶片(2)和第三叶片(3)的巡检工作。