CN110189315B - 一种风电机组叶片无人机自动定位方法 - Google Patents

Abstract

本发明公开了一种风电机组叶片无人机自动定位方法，包括：风电机组叶片无人机自动感知识别、解算叶片地理坐标，后者包括以下步骤：基于Mask R‑CNN神经网络检测叶尖的bounding box的中心位置，在叶尖的bounding box的中心位置的上下左右各取一个20×20像素的局部邻域，形成叶尖模式，FAST拐角点检测，PnP算法解算叶尖三维坐标，并计算相机的R、T，采用Bundle Adjustment进行坐标优化，通过R、T将相机坐标系转换到地理坐标系。本发明的有益之处在于：(1)通过Mask R‑CNN神经网络来识别叶尖，运算时间大大缩短，叶尖定位更精准；(2)基于单张相片进行叶尖地理坐标求解，相片数量少、方程维度小、运算时间短，运算效率大大提高；(3)采用BA算法对坐标进行优化，坐标点位精度大大提高。

Description

一种风电机组叶片无人机自动定位方法

技术领域

本发明涉及一种风电机组叶片定位方法，具体涉及一种风电机组叶片无人机自动定位方法，属于风电机组检测技术领域。

背景技术

风电机组的叶片是将风能转化为电能的重要零件之一，但是在风电机组发电过程中由于环境多变等因素，叶片的表面可能会产生砂眼，裂纹，剥皮等常见缺陷，这些缺陷会严重影响风力发电的效率与安全。

随着无人机在风力发电方面的广泛应用，无人机自动叶片巡检技术的研究成为该领域的热门话题。叶片、叶尖识别是无人机自动叶片巡检过程中重要的一部分。

无人机在巡检时，需要暂停风电机组的运作。风电机组停机的状态可能受风向等因素影响处于随机状态，因此在进行无人机自动巡检时，需要根据当前叶片的位置进行路径设计，这就要求获取叶片的地理坐标。根据风电机组的叶片之间的形状结构可知，只需要获取叶尖及叶片中心轴的坐标即可完成路径规划任务。

在摄影测量学中，GPS/IMU辅助空中三角形测量通过共线方程建立平差方程，能够获取相片的内方位元素以及地面点地理三维坐标。由于该方法需要形成立体像对，所以多张相片同时参与平差计算才能获取地面点地理三维坐标。可见，该方法存在着相片数量多、平差方程维度大、运算时间长等缺点。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种相片数量少、方程维度小、运算时间短的风电机组叶片无人机自动定位方法。

为了实现上述目标，本发明采用如下的技术方案：

一种风电机组叶片无人机自动定位方法，其特征在于，包括以下步骤：

(一)风电机组叶片无人机自动感知识别

步骤1：在不同角度、不同环境条件下采集风机叶片全景图像；

步骤2：创建风机数据集并标注风电机组的主要结构，主要结构包括：杆塔、毂、叶片和叶尖，标注叶片时，采用可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask，标注叶尖时，创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于叶尖；

步骤3：搭建Mask R-CNN网络；

步骤4：采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型；

步骤5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；

步骤6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别；

步骤7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标；

(二)解算叶片的地理坐标

步骤8：基于Mask R-CNN神经网络检测叶尖的bounding box的中心位置；

步骤9：在叶尖的bounding box的中心位置的上下左右各取一个20×20像素的局部邻域，形成叶尖模式；

步骤10：FAST拐角点检测；

步骤11：PnP算法解算叶尖三维坐标，并计算相机的R、T，其中，R为相机坐标系到地理坐标系转化的旋转矩阵；T为相机坐标系到地理坐标系转化的平移矩阵；

步骤12：采用Bundle Adjustment进行坐标优化；

步骤13：通过步骤11中的R、T，将相机坐标系转换到地理坐标系，具体公式如下：

式中，X_c、Y_c、Z_c为相机坐标系专为地理坐标系的三维点坐标；X、Y、Z为相机坐标系下的三维点坐标；exp(ξ^∧)为旋转矩阵与平移矩阵以李代数的形式表示；

至此，即完成了风电机组叶片无人机在地理坐标系中的自动定位。

前述的风电机组叶片无人机自动定位方法，其特征在于，在步骤1中，无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机组各个角度的影像。

前述的风电机组叶片无人机自动定位方法，其特征在于，在步骤2中，风机数据集总共包含：不同风电机组在不同角度、不同环境条件下的2000张大小为4000×2250像素的高清图像，在进行标注前，先将采集到的高清图像降采样至1280×720像素。

前述的风电机组叶片无人机自动定位方法，其特征在于，在步骤4中，采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型，具体方法为：

(1)获取训练根路径并加载coco预训练权重；

(2)加载风机数据集，建立模型并设定权重初始化方式以及超参数；

(3)加载VIA标记的标记文件并生成mask；

(4)修改配置函数，适配风机数据集；

(5)执行训练，显示结果。

前述的风电机组叶片无人机自动定位方法，其特征在于，在步骤5中，利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测，具体方法为：

(1)加载模块以及载入训练好的模型权重；

(2)根据自己训练时的配置，从Config类中继承创建一个新类，并在该类中新建一个专门用于预测的类；

(3)载入风机图像进行风电机组结构分类和叶尖的预测。

前述的风电机组叶片无人机自动定位方法，其特征在于，在步骤7中，采用目标风电机组在图像中占的面积是最大的原则进行非目标滤波，具体按照杆塔在图像中的面积进行过滤，然后再过滤未连接在杆塔上的叶片和叶尖。

前述的风电机组叶片无人机自动定位方法，其特征在于，在步骤10中，FAST拐角点检测，具体方法为：

(1)在叶尖角点识别过程中，检测叶尖的中心，记为像素点p，以像素点p为中心、以3个像素点长为半径画圆，该圆上共有16个像素点，将该圆的最上方且位于中间的像素点记为像素点p1，其他像素点按顺时针方向依次记为像素点p2、像素点p3、...、像素点p16；

(2)定义一个阈值，分别计算像素点p1、像素点p9、像素点p5、像素点p13与像素点p的像素差，若像素差的绝对值有至少3个超过阈值，则将像素点p当做候选角点，执行步骤(3)；否则，像素点p不可能是角点，执行步骤(1)；

(3)分别计算像素点p1至像素点p16这16个像素点与像素点p的像素差，若像素差的绝对值有连续至少9个超过阈值，则确定像素点P是特征点，执行步骤(4)；否则，像素点p不可能是特征点，删除该候选点，执行步骤(1)；

(4)计算特征点P处的FAST得分值，在以特征点p为中心的一个邻域内：

1)若邻域内有多个特征点，则判断每个特征点的s值，若特征点p是邻域内所有特征点中响应值最大的，则保留特征点p；否则，抑制特征点p；

2)若邻域内只有一个特征点，则保留特征点。

前述的风电机组叶片无人机自动定位方法，其特征在于，在步骤11中，PnP算法解算叶尖三维坐标，并计算相机的运动R、T，具体方法为：

(1)建立独立空间直角坐标系，在已知叶片长度的前提下，建立在独立坐标系下的坐标方程式：

(2)PnP使用n对匹配点，其中，利用三个点对建立几何模型，一个点对作为验证点，以从可能的解中选出正确值，利用验证的验证点计算最可能的解，得到A、B、C在相机坐标系下的3D坐标，然后利用3D-3D的点对，计算相机的运动R、T。

本发明的有益之处在于：

(1)通过Mask R-CNN神经网络来识别叶尖，不仅大大减小了计算机视觉整体图像检测的运算时间，而且实现了更精准的定位叶尖位置，减少了错误识别；

(2)基于单张相片进行叶尖地理坐标求解，相片数量少、方程维度小、运算时间短，大大提高了运算效率；

(3)采用BA算法对坐标进行了优化，大大提高了坐标点位精度。

附图说明

图1是风电机组叶片无人机自动感知识别的主要工作流程图；

图2是创建的风机数据集及风电机组主要结构的标注示意图；

图3是Mask R-CNN神经网络的框架结构图；

图4是网络头的结构图；

图5是叶片地理坐标的解算流程图；

图6(a)至图6(d)分别是叶尖的bounding box的中心位置的上、下、左、右四个方向对应的20×20像素的局部邻域；

图7是FAST算法的示意图；

图8是建立独立空间直角坐标系的示意图；

图9是小孔成像的透视投影的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

本发明提供的风电机组叶片无人机自动定位方法，包括两部分内容：(一)风电机组叶片无人机自动感知识别、(二)在自动感知识别的基础上，解算叶片的地理坐标(即完成自动定位)。

第(一)部分内容：风电机组叶片无人机自动感知识别

该部分内容包括步骤1至步骤7，参照图1，具体如下：

步骤1：在不同角度、不同环境条件下采集风机叶片全景图像

无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机组各个角度的影像。

步骤2：创建风机数据集并标注风电机组的主要结构

风机数据集总共包含：不同风电机组在不同角度、不同环境条件(环境条件包括：天气、光照)下的2000张大小为4000×2250像素的高清图像。

为了适应Mask R-CNN神经网络的特性，我们先将采集到的高清图像降采样至1280×720像素，然后再进行标注和训练。

风电机组的主要结构共分4类，分别为：杆塔(tower)、毂(hub)、叶片(blade)和叶尖(tip)，如图2所示。

由于风电机组叶片具有旋转的特性，采用一般的Bounding box进行标注会有较大误差，因此我们采用了一种可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask。这样可以更好地拟合blade形状，这也是我们采用Mask R-CNN神经网络检测风电机组的主要原因。

值得一提的是，由于tip尺度较小，所以我们采用了一种较为巧妙的方式进行标注，即创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于tip。这样就避免了Mask R-CNN神经网络去拟合较小的特征，从而提高了tip识别的准确率。

步骤3：搭建Mask R-CNN网络

图3是Mask R-CNN神经网络的框架结构图。

由图3可以看出，Mask R-CNN神经网络可以在有效检测目标的同时输出高质量的实例分割mask。

Mask R-CNN神经网络是对Faster R-CNN神经网络的扩展，与bounding box识别并行的增加一个预测每一个ROI的分割mask的分支。mask分支是应用到每一个ROI上的一个小的FCN(Fully Convolutional Network)，以pix to pix的方式预测分割mask。

能否正确的设计mask分支是结果好坏的关键。正确的设计mask分支的要点有二：

第一个要点(也是最重要的一点)是：quantization-free layer(也叫RoIAlign层)。Faster R-CNN神经网络没有设计网络输入与输出的pixel to pixel的对齐机制，特别明显的是，ROIpooling对特征提取执行非常粗糙的空间量化。为了改进未对齐的缺点，MaskR-CNN神经网络采用quantization-free layer，它能够准确的保存原图的空间位置，尽管原图的空间位置发生的是很小的变化，但是quantization-free layer的作用很明显，可以提高相对mask准确率10％-50％；

第二个要点是：mask分支。非常必要的对mask和class prediction去耦合，MaskR-CNN神经网络对每个类别独立的预测一个二值mask，不依赖分类分支的预测结果。

正确的设计mask分支的细节如下：

细节1：损失函数

多任务损失函数对于每一个ROI，L＝L_cls+L_box+L_mask，其中，L_cls和L_box与FasterR-CNN神经网络中的一样。mask分支对每一个ROI有K×m×m维输出，表示分辨率为m×m的K个二值mask，K是物体的类别，每一类一个，对每个像素实行一个sigmoid，定义L_mask是平均二值cross-entropy loss，对于一个ROI的ground truth是第k类，L_mask只定义在第k个mask上(其他mask输出对于损失没有贡献)。

细节2：mask空间布局mask覆盖输入目标的空间位置，所以不能像类标和boundingbox一样通过全连接层坍塌到很短的向量。提取空间结构很自然的想到利用卷积的pixelto pixel对应的特性。

具体的对每一个ROI预测一个mm大小的mask用FCN。这能保证mask分支的每一层都明确的保持mm目标的空间布局，不会坍塌成缺少空间维度的向量。与前人工作使用全连接层预测mask相比，Mask R-CNN神经网络的FCN需要更少的参数，得到更好的效果，pixel topixel的任务需要ROI特征与原始输入图像有很好的对齐来保持每个像素的空间对应。这就是提出RoIAlign层的动机。

细节3：RoIAlign层

ROIpool是对ROI提取小的特征映射(e.g.7×7)标准的操作符。

量化导致了ROI和特征层的不对齐，这对分类任务没什么影响，但是对pixel topixel的任务就有很大的负面影响。

为了移除ROIPool粗糙的量化，正确的对齐特征和输入，Mask R-CNN神经网络提出了RoIAlign层，其提出的改变非常简单：避免任何ROI边界或者bins的量化，即用x/16代替[x/16]，用双向性插值法输入特征在每个ROI bin的四个采样点的精确。

细节4：双线性插值

假设想知道未知函数f在点P＝(x,y)的值，假设已知函数f在Q₁₁＝(x₁,y₁)，Q₁₂＝(x₁,y₂)，Q₂₁＝(x₂,y₁)及Q₂₂＝(x₂,y₂)四个点的值。

首先，在x方向进行线性插值，得到：

然后，在y方向进行线性插值，得到：

这样就得到所要的结果f(x,y)：

如果选择一个坐标系统使得f的四个已知点坐标分别为(0,0)、(0,1)、(1,0)和(1,1)，那么插值公式就可以化简为：

f(x,y)≈f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy

或者用矩阵运算表示为：

细节5：网络结构

将整个网络分成两部分：

1)卷积主干结构：用来提取整幅图像的特征；

2)网络头：用来对ROI进行bounding box识别和mask预测。

分别考察50层和101层Resnet和ResNeXt网络作为卷积主干结构。还探索另一种有效的主干结构，叫作FPN(Feature Pyramid Network)。

网络头的结构见图4。

步骤4：采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型

首先，获取训练根路径并加载coco预训练权重；

然后，加载风机数据集，建立模型并设定权重初始化方式以及超参数；

接下来，加载VIA标记的标记文件并生成mask；

之后，修改配置函数，适配风机数据集；

最后，执行训练，显示结果。

步骤5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测

首先，加载模块以及载入训练好的模型权重；

然后，根据自己训练时的配置，从Config类中继承创建一个新类，并在该类中新建一个专门用于预测的类；

最后，载入风机图像进行风电机组结构分类和叶尖的预测。

步骤6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别

风电机组具有严格的形状约束关系：下部由竖直的tower支撑，三个blade通过hub固定于tower顶端，而tip位于blade的另一端，每两个blade之间的夹角均相等为120°。根据这一事实，我们在Mask R-CNN神经网络的输出中通过算法验证各个bounding box是否满足约束，从而修正或删除错误的结果。

步骤7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标

在网络分类中，在图像中可能存在多个风电机组，而较远或者不完整的风电机组可能会被识别出来，因此需要将非目标风电机组进行过滤。

本发明采用目标风电机组在图像中占的面积是最大的原则进行非目标滤波。具体按照tower在图像中的面积进行过滤，然后再过滤未连接在tower上的blade和tip。

传统计算机视觉算法是将特征提取和分类器设计分开来做，然后在应用时再合在一起。这不仅需要大量的人工设计特征，而且需要对领域和数据特别的了解，并且设计出来的特征还需要大量的调试工作。另外，传统计算机视觉算法还需要选择一个比较合适的分类器，设计特征与选择分类器两者之间的最优结合也是一个困难的任务。

而在本发明中，我们采用Mask R-CNN神经网络进行叶片识别，通过深度学习可以将图像抽象出来，然后提取抽象的信息，再把这些抽象的信息综合表现出来，用于后面的分类学习，与“传统计算机视觉”相比该网络通过大量的数据能够自动的识别叶片、叶尖信息，并能够准确的叶尖的位置坐标。

第(二)部分内容：在自动感知识别的基础上，解算叶片的地理坐标

该部分内容包括步骤8至步骤13，参照图5，具体如下：

步骤8：检测叶尖的边界框的中心位置

基于Mask R-CNN神经网络检测叶尖的边界框(bounding box)的中心位置。

步骤9：形成叶尖模式

在叶尖的bounding box的中心位置的上下左右各取一个20×20像素的局部邻域(如图6(a)至图6(d)所示)，形成叶尖模式(patterns)，叶尖模式(patterns)具有较为显著的角点特征。

步骤10：FAST拐角点检测

参照图7，FAST拐角点检测的具体步骤为：

步骤(1)：在叶尖角点识别过程中，检测叶尖的中心，记为像素点p，以像素点p为中心、以3个像素点长为半径画圆，该圆上共有16个像素点(见图7中的放大图)，将该圆的最上方且位于中间的像素点记为像素点p1，其他像素点按顺时针方向依次记为像素点p2、像素点p3、...、像素点p16；

步骤(2)：定义一个阈值，分别计算像素点p1、像素点p9、像素点p5、像素点p13与像素点p的像素差，若像素差的绝对值有至少3个超过阈值，则将像素点p当做候选角点，执行步骤(3)；否则，像素点p不可能是角点，执行步骤(1)；

步骤(3)：分别计算像素点p1至像素点p16这16个像素点与像素点p的像素差，若像素差的绝对值有连续至少9个超过阈值，则确定像素点P是角点(特征点P)，执行步骤(4)；否则，像素点p不可能是角点(特征点P)，删除该候选点，执行步骤(1)；

步骤(4)：对图像进行非极大值抑制，具体的，计算特征点P处的FAST得分值(即score值，也即s值)，在以特征点p为中心的一个邻域(如3×3或5×5)内：

1)若邻域内有多个特征点，则判断每个特征点的s值，若特征点p是邻域内所有特征点中响应值最大的，则保留特征点p；否则，抑制特征点p；

2)若邻域内只有一个特征点(角点，像素点P)，则保留特征点(像素点p)。

FAST得分值的计算公式如下：

式中，V表示得分，t表示阈值。

步骤11：PnP算法解算叶尖三维坐标

利用叶片长度以及叶片之间的几何关系，建立独立坐标系，计算在当前坐标系下图像的外方位元素，进而转换相机坐标系下的三维坐标，具体步骤如下：

步骤(1)：建立独立空间直角坐标系(如图8所示)，在已知叶片长度的前提下，建立在独立坐标系下的坐标方程式：

步骤(2)：PnP使用n对匹配点，其中，利用三个点对建立几何模型，一个点对作为验证点，以从可能的解中选出正确值。

小孔成像的透视投影的示意图如图9所示，其中，A、B、C为相机坐标系下三个控制点，a、b、c为图像坐标系对应的三个像点。

显然，三角形之间存在如下对应相似关系：

于是有以下的方程组：

OA²+OB²-2OA·OB·cos<a,b>＝AB² OC²+OB²-2OB·OC·cos<b,c>＝BC²

OA²+OC²-2OA·OC·cos<a,c>＝AC²

这个方程组最终可推导成：

(1-u)y²-ux²-cos<b，c>y+2uxy cos<a，b>+1＝0

(1-w)x²-wy²-cos<a，c>x+2wxy cos<a，b>+1＝0

式中，u＝BC²/AB²，w＝AC²/AB²，x＝OA/OC，y＝OB/OC

该方程组是关于x、y的一个二元二次方程。利用验证的验证点计算最可能的解，得到A、B、C在相机坐标系下的3D坐标，然后利用3D-3D的点对，计算相机的运动R、T，其中，R为相机坐标系到地理坐标系转化的旋转矩阵；T为相机坐标系到地理坐标系转化的平移矩阵。

步骤12：采用BA(Bundle Adjustment)进行坐标优化

算法原理：

假设某空间点坐标为P_i＝[X_i,Y_i,Z_i]，其投影的像素坐标为u_i＝[u_i,v_i]^T，利用小孔成像模型得到如下关系：

其中，K为内参矩阵，exp(ξ^∧)为李代数的旋转矩阵。

把所有误差项求和，构建最小二乘问题，然后寻找最好的相机位姿，使误差项平方之和最小化，误差函数最小二乘的公式如下：

式中，S_i为缩放比例尺，u_i为像素横坐标，v_i为像素纵坐标，P_I为三维实际坐标。

在利用LM优化算法求解最优值时，需要计算每个误差项关于优化变量的导数，即：

e(x+Δx)≈e(x)+JΔx

式中，J为偏导系数，f_x为对X求偏导的系数，f_y为对Y求偏导的系数，X′为X偏导值，Y′为Y偏导值，Z′为Z偏导值。

除了优化位姿，还要增加优化特征点空间位置，因此，需要e关于空间点P的导数，函数e在P点的导数的公式如下：

其中，X′、Y′、Z′为相机坐标系下的空间坐标P′，即：

P'(exp(ξ^∧)P_1:3)＝[X',Y',Z']^TX',Y',Z'

步骤13：坐标系转换

由相机坐标系到地理坐标系的转换，需要通过步骤11中的R、T进行转换，具体公式如下：

式中，X_c、Y_c、Z_c为相机坐标系专为地理坐标系的三维点坐标；X、Y、Z为相机坐标系下的三维点坐标；exp(ξ^∧)为旋转矩阵与平移矩阵以李代数的形式表示。

至此，即完成了风电机组叶片无人机在地理坐标系中的自动定位。

本发明提供的风电机组叶片无人机自动定位方法，基于单张相片进行叶尖地理坐标求解，相片数量少、方程维度小、运算时间短，大大提高了运算效率。

另外，本发明提供的风电机组叶片无人机自动定位方法，采用BA(BundleAdjustment)算法对坐标进行了优化，大大提高了坐标点位的精度。

需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种风电机组叶片无人机自动定位方法，其特征在于，包括以下步骤：

(一)风电机组叶片无人机自动感知识别

步骤1：在不同角度、不同环境条件下采集风机叶片全景图像；

步骤2：创建风机数据集并标注风电机组的主要结构，主要结构包括：杆塔、毂、叶片和叶尖，标注叶片时，采用可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask，标注叶尖时，创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于叶尖；

步骤3：搭建Mask R-CNN网络；

步骤4：采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型；

步骤5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；

步骤6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别；

步骤7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标；

(二)解算叶片的地理坐标

步骤8：基于Mask R-CNN神经网络检测叶尖的bounding box的中心位置；

步骤9：在叶尖的bounding box的中心位置的上下左右各取一个20×20像素的局部邻域，形成叶尖模式；

步骤10：FAST拐角点检测；

步骤11：PnP算法解算叶尖三维坐标，并计算相机的R、T，其中，R为相机坐标系到地理坐标系转化的旋转矩阵；T为相机坐标系到地理坐标系转化的平移矩阵；

步骤12：采用Bundle Adjustment进行坐标优化；

步骤13：通过步骤11中的R、T，将相机坐标系转换到地理坐标系，具体公式如下：

式中，X_c、Y_c、Z_c为相机坐标系专为地理坐标系的三维点坐标；X、Y、Z为相机坐标系下的三维点坐标；exp(ξ^∧)为旋转矩阵与平移矩阵以李代数的形式表示；

至此，即完成了风电机组叶片无人机在地理坐标系中的自动定位。

2.根据权利要求1所述的风电机组叶片无人机自动定位方法，其特征在于，在步骤1中，无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机组各个角度的影像。

3.根据权利要求1所述的风电机组叶片无人机自动定位方法，其特征在于，在步骤2中，风机数据集总共包含：不同风电机组在不同角度、不同环境条件下的2000张大小为4000×2250像素的高清图像，在进行标注前，先将采集到的高清图像降采样至1280×720像素。

4.根据权利要求1所述的风电机组叶片无人机自动定位方法，其特征在于，在步骤4中，采用Mask R-CNN神经网络对风机数据集进行训练，获取网络训练模型，具体方法为：

(1)获取训练根路径并加载coco预训练权重；

(2)加载风机数据集，建立模型并设定权重初始化方式以及超参数；

(3)加载VIA标记的标记文件并生成mask；

(4)修改配置函数，适配风机数据集；

(5)执行训练，显示结果。

5.根据权利要求1所述的风电机组叶片无人机自动定位方法，其特征在于，在步骤5中，利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测，具体方法为：

(1)加载模块以及载入训练好的模型权重；

(2)根据自己训练时的配置，从Config类中继承创建一个新类，并在该类中新建一个专门用于预测的类；

(3)载入风机图像进行风电机组结构分类和叶尖的预测。

6.根据权利要求1所述的风电机组叶片无人机自动定位方法，其特征在于，在步骤7中，采用目标风电机组在图像中占的面积是最大的原则进行非目标滤波，具体按照杆塔在图像中的面积进行过滤，然后再过滤未连接在杆塔上的叶片和叶尖。

7.根据权利要求1所述的风电机组叶片无人机自动定位方法，其特征在于，在步骤10中，FAST拐角点检测，具体方法为：

(1)在叶尖角点识别过程中，检测叶尖的中心，记为像素点p，以像素点p为中心、以3个像素点长为半径画圆，该圆上共有16个像素点，将该圆的最上方且位于中间的像素点记为像素点p1，其他像素点按顺时针方向依次记为像素点p2、像素点p3、...、像素点p16；

(2)定义一个阈值，分别计算像素点p1、像素点p9、像素点p5、像素点p13与像素点p的像素差，若像素差的绝对值有至少3个超过阈值，则将像素点p当做候选角点，执行步骤(3)；否则，像素点p不可能是角点，执行步骤(1)；

(3)分别计算像素点p1至像素点p16这16个像素点与像素点p的像素差，若像素差的绝对值有连续至少9个超过阈值，则确定像素点P是特征点，执行步骤(4)；否则，像素点p不可能是特征点，删除该候选点，执行步骤(1)；

(4)计算特征点P处的FAST得分值，在以特征点p为中心的一个邻域内：

1)若邻域内有多个特征点，则判断每个特征点的s值，若特征点p是邻域内所有特征点中响应值最大的，则保留特征点p；否则，抑制特征点p；

2)若邻域内只有一个特征点，则保留特征点。

8.根据权利要求1所述的风电机组叶片无人机自动定位方法，其特征在于，在步骤11中，PnP算法解算叶尖三维坐标，并计算相机的运动R、T，具体方法为：

(1)建立独立空间直角坐标系，在已知叶片长度的前提下，建立在独立坐标系下的坐标方程式：

(2)PnP使用n对匹配点，其中，利用三个点对建立几何模型，一个点对作为验证点，以从可能的解中选出正确值，利用验证的验证点计算最可能的解，得到A、B、C在相机坐标系下的3D坐标，然后利用3D-3D的点对，计算相机的运动R、T。

Images