CN110163177A - 一种风电机组叶片无人机自动感知识别方法 - Google Patents

Abstract

本发明公开了一种风电机组叶片无人机自动感知识别方法，包括以下步骤：1、在不同角度、不同环境条件下采集风电机组叶片全景图像；2、创建风机数据集并标注风电机组的主要结构；3、搭建Mask R‑CNN神经网络；4、采用Mask R‑CNN神经网络对风机数据集进行训练获取网络训练模型；5、利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；6、利用风电机组结构约束条件修正分类错误的风电机组结构类别；7、在检测结果中排除非感兴趣目标。本发明的有益之处在于：(1)采用Mask R‑CNN神经网络进行叶片、叶尖识别，较传统计算机视觉算法更加稳定；(2)对Mask R‑CNN神经网络进行了修改，增加了修正条件，对叶片、叶尖具有较高的识别准确率。

Description

一种风电机组叶片无人机自动感知识别方法

技术领域

本发明涉及一种风电机组叶片无人机自动感知识别方法，具体涉及一种算法更加稳定并且对叶片、叶尖具有较高的识别准确率的风电机组叶片无人机自动感知识别方法，属于风电设备检测技术领域。

背景技术

无人机作为一种智能航空器，不论是在民用领域还是在军事领域，都发挥着不可替代的作用。在民用领域，无人机可以用于3D地形测绘、农业监测、城市建筑成像以及野外搜救等方面，尤其是对人迹罕至或者山岭森林等特殊条件，无人机都能够灵活、快速的完成任务，这是传统航拍和卫星侦查所难以替代的。图像处理技术和成像硬件设备的飞速发展，大大提升了无人机通过视觉系统完成任务的能力。而目标识别与跟踪技术也成为无人机通过视觉对未知环境进行感知和理解的核心技术手段，使无人机在无法与地面工作站联系的情况下，能够对未知环境进行自主感知理解、自主规划决策、自主控制传感器等，最终实现全自主控制和作业。因此，结合先进的数字图像处理技术和计算机视觉理论，探索复杂环境下目标的自主检测与识别成为无人机视觉系统最为重要的技术。

在风力发电领域，风电机组的叶片是将风能转化为电能的重要零件之一，但是在风电机组发电过程中，由于环境多变等因素，叶片的表面可能会产生砂眼、裂纹、剥皮等常见缺陷，这些缺陷会严重影响风力发电的效率与安全。

随着无人机在风电方面的广泛应用，无人机自动叶片巡检技术的研究成为该领域的热门话题。而叶片、叶尖识别是无人机自动叶片巡检过程中重要的一部分。

以往的无人机叶片识别主要是采用激光雷达设备结合相机进行叶片的定位感知。激光雷达设备虽然有着精度高、稳定等优点，但是也存在一些缺点，例如：

(1)对于精度高、射程远的激光雷达设备：重量重、价格高，现行的无人机在载重及续航时间上都存在局限性；

(2)对于重量较轻的激光雷达设备：在射程上不能满足无人机安全巡检的距离要求。

传统计算机视觉是广泛的算法集合，允许计算从图像中提取信息(通常表示为像素值数组)。目前，传统计算机视觉已有多种用途，例如对不同的对象进行去噪、增强和检测。主要的用途在寻找简单的几何原语，如边缘检测、形态分析、霍夫变换、斑点检测、角点检测、各种图像阈值化技术等。还有一些特征代表技术，如方向梯度直方图可以作为机器学习分类器的前端，来构建更复杂的检测器。

传统计算机视觉可以构建面部检测器、汽车检测器、路标检测器，在精准度和计算复杂性等方面，这些检测器很可能优于深度学习。但问题是，每个检测器都需要有能力的人从头开始构建，这一行为低效又昂更。因此，从历史上看，表现优良的探测器只适用于那些必须经常被探测，并且能够证明前期投资是明智的对象。

对于一些非常见的事物的探测器，传统计算机视觉没有一个专有的探测器去管理，因此传统计算机视觉算法的稳定性较差。

风电机组的叶片、叶尖的形状在传统计算机视觉中没有形成一个专有的模式，不能用已有的模板去描述，所以传统计算机视觉算法对风电机组的叶片、叶尖识别准确率较低。

本发明主要是利用无人机智能化进行叶片的巡检，如果叶片、叶尖检测不稳定，则可能导致计算的叶尖坐标存在较大的误差，进而导致无人机路径规划时出现偏差，存在撞机的风险。

发明内容

为解决现有技术的不足，本发明采用深度学习，目的在于提供一种算法更加稳定并且对叶片、叶尖具有较高的识别准确率的风电机组叶片无人机自动感知识别方法。

为了实现上述目标，本发明采用如下的技术方案：

一种风电机组叶片无人机自动感知识别方法，其特征在于，包括以下步骤：

Step1：在不同角度、不同环境条件下采集风电机组叶片全景图像；

Step2：创建风机数据集，并标注风电机组的主要结构，风电机组的主要结构共分4类，分别为：杆塔、毂、叶片和叶尖，标注叶片时，采用可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask，标注叶尖时，创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于叶尖；

Step3：搭建Mask R-CNN神经网络；

Step4：采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型；

Step5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；

Step6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别；

Step7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标。

前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step1中，无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机组各个角度的影像。

前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step2中，风机数据集总共包含：不同风电机组在不同角度、不同环境条件下的2000张大小为4000×2250像素的高清图像，前述环境条件包括：天气、光照，标注前先将采集到的高清图像降采样至1280×720像素。

前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step4中，采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型，具体方法为：

(1)获取训练根路径并加载coco预训练权重；

(2)加载风机数据集，建立模型并设定权重初始化方式以及超参数；

(3)加载VIA标记的标记文件并生成mask；

(4)修改配置函数，适配风机数据集；

(5)执行训练，显示结果。

前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step5中，利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测，具体方法为：

(1)加载模块以及载入训练好的模型权重；

(2)根据自己训练时的配置，从Config类中继承创建一个新类，并在该类中新建一个专门用于预测的类；

(3)载入风机图像进行风电机组结构分类和叶尖的预测。

前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step7中，采用目标风电机组在图像中占的面积是最大的原则进行非目标滤波，具体按照杆塔在图像中的面积进行过滤，然后再过滤未连接在杆塔上的叶片和叶尖。

本发明的有益之处在于：

(1)本发明采用Mask R-CNN神经网络进行叶片、叶尖识别，所以较传统计算机视觉算法更加稳定；

(2)本发明对Mask R-CNN神经网络进行了修改，增加了修正条件，所以对叶片、叶尖具有较高的识别准确率；

(3)在无人机视觉巡检过程中引入人工智能，弥补了无人机智巡检行业的智能化的空白，所以对整个行业起到了积极的作用。

附图说明

图1是本发明提供的风电机组叶片无人机自动感知识别方法的主要工作流程图；

图2是创建的风机数据集及风电机组主要结构的标注示意图；

图3是Mask R-CNN神经网络的框架结构图；

图4是网络头的结构图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

本发明提供的风电机组叶片无人机自动感知识别方法，设计思路是：首先创建风机数据集，然后采用Mask R-CNN神经网络对提供的风机数据集进行训练，获取网络训练模型，最后通过训练好的网络训练模型对未知图片进行分类、识别。

本发明提供的风电机组叶片无人机自动感知识别方法，参照图1，具体包括以下步骤：

Step1：在不同角度、不同环境条件下采集风电机组叶片全景图像无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机组各个角度的影像。

Step2：创建风机数据集，并标注风电机组的主要结构

风机数据集总共包含：不同风电机组在不同角度、不同环境条件(环境条件包括：天气、光照)下的2000张大小为4000×2250像素的高清图像。

为了适应Mask R-CNN神经网络的特性，我们先将采集到的高清图像降采样至1280×720像素，然后再进行标注和训练。

风电机组的主要结构共分4类，分别为：杆塔(tower)、毂(hub)、叶片(blade)和叶尖(tip)，如图2所示。

由于风电机组叶片具有旋转的特性，采用一般的Bounding box进行标注会有较大误差，因此我们采用了一种可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask。这样可以更好地拟合blade形状，这也是我们采用Mask R-CNN神经网络检测风电机组的主要原因。

值得一提的是，由于tip尺度较小，所以我们采用了一种较为巧妙的方式进行标注，即创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于tip。这样就避免了Mask R-CNN神经网络去拟合较小的特征，从而提高了tip识别的准确率。

Step3：搭建Mask R-CNN神经网络

图3是Mask R-CNN神经网络的框架结构图。

由图3可以看出，Mask R-CNN神经网络可以在有效检测目标的同时输出高质量的实例分割mask。

Mask R-CNN神经网络是对Faster R-CNN神经网络的扩展，与bounding box识别并行的增加一个预测每一个ROI的分割mask的分支。mask分支是应用到每一个ROI上的一个小的FCN(Fully Convolutional Network)，以pix to pix的方式预测分割mask。

能否正确的设计mask分支是结果好坏的关键。正确的设计mask分支的要点有二：

第一个要点(也是最重要的一点)是：quantization-free layer(也叫RoIAlign层)。Faster R-CNN神经网络没有设计网络输入与输出的pixel to pixel的对齐机制，特别明显的是，ROIpooling对特征提取执行非常粗糙的空间量化。为了改进未对齐的缺点，MaskR-CNN神经网络采用quantization-free layer，它能够准确的保存原图的空间位置，尽管原图的空间位置发生的是很小的变化，但是quantization-free layer的作用很明显，可以提高相对mask准确率10％-50％；

第二个要点是：mask分支。非常必要的对mask和class prediction去耦合，MaskR-CNN神经网络对每个类别独立的预测一个二值mask，不依赖分类分支的预测结果。

正确的设计mask分支的细节如下：

细节1：损失函数

多任务损失函数对于每一个ROI，L＝L_cls+L_box+L_mask，其中，L_cls和L_box与Faster R-CNN神经网络中的一样。mask分支对每一个ROI有K×m×m维输出，表示分辨率为m×m的K个二值mask，K是物体的类别，每一类一个，对每个像素实行一个sigmoid，定义L_mask是平均二值cross-entropy loss，对于一个ROI的ground truth是第k类，L_mask只定义在第k个mask上(其他mask输出对于损失没有贡献)。

细节2：mask空间布局mask覆盖输入目标的空间位置，所以不能像类标和boundingbox一样通过全连接层坍塌到很短的向量。提取空间结构很自然的想到利用卷积的pixelto pixel对应的特性。

具体的对每一个ROI预测一个mm大小的mask用FCN。这能保证mask分支的每一层都明确的保持mm目标的空间布局，不会坍塌成缺少空间维度的向量。与前人工作使用全连接层预测mask相比，Mask R-CNN神经网络的FCN需要更少的参数，得到更好的效果，pixel topixel的任务需要ROI特征与原始输入图像有很好的对齐来保持每个像素的空间对应。这就是提出RoIAlign层的动机。

细节3：RoIAlign层

ROIpool是对ROI提取小的特征映射(e.g.7×7)标准的操作符。

量化导致了ROI和特征层的不对齐，这对分类任务没什么影响，但是对pixel topixel的任务就有很大的负面影响。

为了移除ROIPool粗糙的量化，正确的对齐特征和输入，Mask R-CNN神经网络提出了RoIAlign层，其提出的改变非常简单：避免任何ROI边界或者bins的量化，即用x/16代替[x/16]，用双向性插值法输入特征在每个ROI bin的四个采样点的精确。

细节4：双线性插值

假设想知道未知函数f在点P＝(x,y)的值，假设已知函数f在Q₁₁＝(x₁,y₁)，Q₁₂＝(x₁,y₂)，Q₂₁＝(x₂,y₁)及Q₂₂＝(x₂,y₂)四个点的值。

首先，在x方向进行线性插值，得到：

然后，在y方向进行线性插值，得到：

这样就得到所要的结果f(x,y)：

如果选择一个坐标系统使得f的四个已知点坐标分别为(0,0)、(0,1)、(1,0)和(1,1)，那么插值公式就可以化简为：

f(x,y)≈f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy

或者用矩阵运算表示为：

细节5：网络结构

将整个网络分成两部分：

1)卷积主干结构：用来提取整幅图像的特征；

2)网络头：用来对ROI进行bounding box识别和mask预测。

分别考察50层和101层Resnet和ResNeXt网络作为卷积主干结构。还探索另一种有效的主干结构，叫作FPN(Feature Pyramid Network)。

网络头的结构见图4。

Step4：采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型

首先，获取训练根路径并加载coco预训练权重；

然后，加载风机数据集，建立模型并设定权重初始化方式以及超参数；

接下来，加载VIA标记的标记文件并生成mask；

之后，修改配置函数，适配风机数据集；

最后，执行训练，显示结果。

Step5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测

首先，加载模块以及载入训练好的模型权重；

然后，根据自己训练时的配置，从Config类中继承创建一个新类，并在该类中新建一个专门用于预测的类；

最后，载入风机图像进行风电机组结构分类和叶尖的预测。

Step6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别

风电机组具有严格的形状约束关系：下部由竖直的tower支撑，三个blade通过hub固定于tower顶端，而tip位于blade的另一端，每两个blade之间的夹角均相等为120°。根据这一事实，我们在MaskR-CNN神经网络的输出中通过算法验证各个bounding box是否满足约束，从而修正或删除错误的结果。

Step7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标

在网络分类中，在图像中可能存在多个风电机组，而较远或者不完整的风电机组可能会被识别出来，因此需要将非目标风电机组进行过滤。

本发明采用目标风电机组在图像中占的面积是最大的原则进行非目标滤波。具体按照tower在图像中的面积进行过滤，然后再过滤未连接在tower上的blade和tip。

传统计算机视觉算法的主要步骤为：特征感知、图像预处理、特征提取、特征筛选、推理预测与识别。

传统计算机视觉算法是将特征提取和分类器设计分开来做，然后在应用时再合在一起。这不仅需要大量的人工设计特征，而且需要对领域和数据特别的了解，并且设计出来的特征还需要大量的调试工作。

另外，传统计算机视觉算法还需要选择一个比较合适的分类器，设计特征与选择分类器两者之间的最优结合也是一个困难的任务。

而在本发明中，我们采用Mask R-CNN神经网络进行叶片识别，通过深度学习可以将图像抽象出来，然后提取抽象的信息，再把这些抽象的信息综合表现出来，用于后面的分类学习，与“传统计算机视觉”相比该网络通过大量的数据能够自动的识别叶片、叶尖信息，并能够准确的叶尖的位置坐标。

Mask R-CNN神经网络的算法是在Fasker R-CNN神经网络的定位网络的基础上并联了一个分支，同于预测物体掩码，因此，分割网络的输入与重定位框是一样的，两个任务是同步进行的。这不同于目前的将重定位区域作为分割网络的输入的算法，而是为每一类单独进行掩码预测，避免了各类之间的竞争，相应的损失值也是一样的，哪一类的掩码就只对这个类的输出结果生效。其具体的网络是模仿FCN创建的。该网络通过保存空间位置信息，避免被全连接层，在FCN中进行情景分割时，计算的是逐像素的softmax和多项交叉熵损失值，在本发明中，Mask R-CNN神经网络算法结合了Fasker R-CNN神经网络以及FCN网络的优点，达到叶片、叶尖识别以及叶尖坐标的提取。

此外，Mask R-CNN神经网络提出RoIAlign以优化RoIlPool带来的空间位置错位问题。区域提案是对原图进行兴趣区域提取，再用RoIPool找到卷积产生的特征图对应位置提取特征小块，计算方法是对原图中的位置除以在卷积过程中的步长乘积，再取整，这样找到对应区域的特征小块就因为取整导致不齐。因此，RoIAlign就不再对除后结果取整，而是通过双线性差值确定原图兴趣区域中每个点的特征值，再进行池化等操作就相对准确。

此外，Mask R-CNN神经网络算法应用了新提出的FPN特征金字塔网络技术，实现了不同尺度特征的更有效利用，在单一尺度输入的情况下，很好的解决了多尺度问题。FPN特征金字塔网络技术采用了自上而下的侧向连接，将不同尺度的特征连接融合起来，再进行3×3的卷积以消除混叠现象，而后在所有尺度上进行预测，重复这个过程，直到得到最佳的分辨率。FPN特征金字塔网络技术在不增加计算量的前提下，很好的解决了多尺度下小物体的精准快速检测问题，所以本发明提出的风电机组叶片无人机自动感知识别方法提高了叶片、叶尖自动识别的准确性。

需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (7)

1.一种风电机组叶片无人机自动感知识别方法，其特征在于，包括以下步骤：

Step1：在不同角度、不同环境条件下采集风电机组叶片全景图像；

Step2：创建风机数据集，并标注风电机组的主要结构，风电机组的主要结构共分4类，分别为：杆塔、毂、叶片和叶尖，标注叶片时，采用可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask，标注叶尖时，创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于叶尖；

Step3：搭建Mask R-CNN神经网络；

Step4：采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型；

Step5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；

Step6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别；

Step7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标。

2.根据权利要求1所述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step1中，无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机组各个角度的影像。

3.根据权利要求1所述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step2中，风机数据集总共包含：不同风电机组在不同角度、不同环境条件下的2000张大小为4000×2250像素的高清图像，所述环境条件包括：天气、光照。

4.根据权利要求3所述的风电机组叶片无人机自动感知识别方法，其特征在于，标注前先将采集到的高清图像降采样至1280×720像素。

5.根据权利要求1所述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step4中，采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型，具体方法为：

(1)获取训练根路径并加载coco预训练权重；

(2)加载风机数据集，建立模型并设定权重初始化方式以及超参数；

(3)加载VIA标记的标记文件并生成mask；

(4)修改配置函数，适配风机数据集；

(5)执行训练，显示结果。

6.根据权利要求1所述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step5中，利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测，具体方法为：

(1)加载模块以及载入训练好的模型权重；

(2)根据自己训练时的配置，从Config类中继承创建一个新类，并在该类中新建一个专门用于预测的类；

(3)载入风机图像进行风电机组结构分类和叶尖的预测。

7.根据权利要求1所述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step7中，采用目标风电机组在图像中占的面积是最大的原则进行非目标滤波，具体按照杆塔在图像中的面积进行过滤，然后再过滤未连接在杆塔上的叶片和叶尖。