CN115407766A - 一种风机自动巡检路径规划方法 - Google Patents

Abstract

本发明公开了一种风机自动巡检路径规划方法，首先通过无人机识别出轮毂和叶片、定位风机关键点并计算出风机关键点的位置坐标；然后计算出风机朝向、叶片风机夹角，并根据风机朝向、叶片风机夹角、叶片根部坐标及叶片的长度计算出叶片尖部位置坐标；接着根据叶片根部位置坐标和叶片尖部位置坐标计算出巡航关键点位置坐标；最后控制无人机按照规定的路径进行巡检。本发明不需要人工干预进行打点飞行，减少人员投入及降低操作风险，解决了无人机人工打点巡检局限性，实现了根据自动获取风机的实际关键坐标位置进行巡检路径规划，提高了风机叶片的巡检效率。

Description

一种风机自动巡检路径规划方法

技术领域

本发明涉及风机巡检技术领域，尤其涉及一种风机自动巡检路径规划方法。

背景技术

目前风电作为新能源的主要开发利用形式，在世界内正在被广泛开发利用。为提高风机运维人员的工作效率，快速发展的无人机技术逐渐应用到风机叶片巡检中。现有技术中，无人机巡检主要有两种方式。一是巡检人员手动控制无人机飞行，无人机搭载高清相机采集风机叶片表面状态数据，该方式对巡检人员操作无人机水平有较高的要求。二是进行打点飞行，巡检人员先手动控制无人机飞行，在叶片巡检关键位置打点标记，然后加载打点结果进行航点飞行。该方法相对于全手动飞行巡检提高了一定的工作效率，降低了巡检飞行故障可能性，但由于每次巡检时风机停机状态不同、朝向不同，每次巡检都需要进行打点，大大增加了无人机巡检的额外工作。以上几种巡检方法均存在同一风机历史拍摄角度视野、拍摄距离、焦距具有一定差异等情况，导致历史巡检数据并非同一基准下的数据。

现有技术中的一种无人机巡检系统及方法(一种测绘无人机以及基于无人机的测绘方法)，该发明采用无人机系统配合地面站进行巡检，克服了人工巡检效率低和安全性低的问题，通过无人机近距离对风机叶片的拍摄，能够在地面站准确掌握叶片的工作状态。数据经过分析及对比后的精准度也较高，获得的巡检结果也较为准确。无人机配合云台可以实现多角度、大范围的检查，避免出现巡检死角、巡检效率高，大大减轻工作人员巡检负担，不需要人工巡检，安全性也得到提高，但该发明是采用打点飞行的方式，无人机在飞行至待测样点时悬停，每一处待测样点均进行多次经纬度打点定位和高程打点测量，并得出多组测量数据，导致巡检数据并非同一基准下的数据。

发明内容

本发明的目的在于提供一种风机自动巡检路径规划方法，以根据自动获取风机的实际关键坐标位置进行巡检路径规划，提高风机叶片的巡检效率。

基于上述目的，本发明提供技术方案如下：

一种风机自动巡检路径规划方法，包括如下步骤：

S1：通过无人机进行风机识别，所述风机识别是通过识别出无人机图像中的轮毂和叶片得到，其中叶片为若干个、并沿所述轮毂均匀分布；

S2:定位风机关键点并计算出风机关键点的位置坐标，所述风机关键点包括轮毂关键点和叶片根部关键点，所述轮毂关键点为轮毂的中心，所述叶片根部关键点为叶片根部的横向中心。由于叶片尺寸较大，叶尖位置可根据叶根位置和叶片角度进行推算，因此选择叶片中心轮毂和叶根作为关键点；

S3:根据轮毂关键点和叶片根部关键点的位置坐标计算出风机朝向、叶片风机夹角，并根据风机朝向、叶片风机夹角、叶片根部坐标及叶片的长度计算出叶片尖部位置坐标；

S4:根据叶片根部位置坐标和叶片尖部位置坐标计算出巡航关键点位置坐标；

S5:控制无人机按照规定的路径进行巡检。

通过无人机识别轮毂和叶片并定位风机关键点(轮毂关键点和叶片根部关键点)并计算出风机关键点的位置坐标；然后计算出风机朝向、叶片风机夹角，并根据风机朝向、叶片风机夹角、叶片根部坐标及叶片的长度计算出叶片尖部位置坐标；接着根据叶片根部位置坐标和叶片尖部位置坐标计算出巡航关键点位置坐标；最后控制无人机按照规定的路径进行巡检。实现了根据自动获取风机的实际关键坐标位置进行巡检路径规划，提高了风机叶片的巡检效率。

风机朝向和风机叶尖坐标是根据轮毂关键点坐标、叶片根部关键点坐标和叶片长度信息通过其三角函数关系计算得出。关键位置s的世界坐标可由公式

计算得出，其中u，v,为目标检测出的图像像素坐标，M为相机内参，R为旋转矩阵，t为平移矩阵，可计算出唯一世界坐标s。使用该方法可计算轮毂和叶根的关键位置坐标s＝(x,y,z)。

其中，步骤S3中根据轮毂关键点和叶片根部关键点的位置坐标计算出风机朝向具体过程如下：

关键点计算的是实际位置，在计算完叶根坐标之后，略微调整云台位姿，使用同样的方法计算若干个非关键坐标，共计算N个关键坐标(x,y,z)，x为经度，y为纬度，z为高度，俯视风机时其拟合平面垂直于地面，可直接使用二维拟合该平面，设y＝bx+a表示，建立最小二乘公式得

解得

可得风机朝向所在垂直平面的经纬度关系式,然后得风机朝向夹角θ₀＝tan^-1 b。

步骤S3通过图像处理、线性特征识别等处理可计算出叶片与垂直方向的实际夹角。

步骤S3中计算出叶片尖部位置坐标的具体过程如下：

记某一叶片的叶根坐标为(x,y,z)，计算出的风机朝向为θo，叶片夹角θc，叶片长度为L。叶尖的实际坐标分两步计算，首先计算叶尖的高度h，通过叶片的长度L和叶片与垂直方向的夹角θc计算出叶片在垂直方向的投影长度Δh，叶根的高度z加上投影长度Δh即叶尖的高度h；计算叶尖的经纬度(x0,y0)，通过叶片的长度L和叶片与垂直方向的夹θc计算出叶片在水平方向的投影长度Δl，该长度即为叶根经纬坐标和叶尖经纬坐标之间的距离，结合风机朝向θo可计算出叶尖经纬度(x0,y0)，综合可得叶尖坐标经纬高坐标(x0,y0,h)。

作为进一步的方案，所述步骤S1中包括：

S11：控制待巡检的风机停机，将搭载相机、激光测距仪和机载电脑的无人机放置在风机前方，控制无人机起飞，轮毂叶片识别过程中始终保持相机云台归中，控制无人机俯仰角度始终为0°；

S12:无人机搭载的机载电脑预先部署风机轮毂和风机叶片的目标检测模块，在无人机上升过程中实时获取相机视频流，通过相机视频流检测风机轮毂和叶片；

S13：检测到风机轮毂和叶片根部后对无人机位置进行微调，使叶片根部均出现在视野内，并对风机轮毂和风机叶片进行激光测距的关键点定位。

S14：通过控制无人机俯仰角度，对于同一个风机多次巡检时规划的巡检路径及数据采集角度、距离、焦距等可以保持一致，解决了历史数据基准不统一、有差异的问题。

作为进一步的方案，所述步骤S2中包括：

S21：对检测到轮毂和叶片的图像进行处理，提取图像特征，并根据图像特征计算风机轮毂关键点位置坐标、叶片根部关键点位置坐标；

S22：计算风机轮毂关键点位置坐标和图像中心的像素差，根据像素差换算为无人机的位移，控制无人机的移动，在使风机轮毂位于相机的图像中心过程中，控制云台归中，无人机俯仰角为0°；

S23:启动无人机激光测距功能，测量云台至关键点的距离L，记录风机轮毂关键点位于图像中心时的无人机位姿、云台位姿，计算轮毂的位置坐标；

S24:重复步骤S22和S23,依次使叶片根部关键点位于相机的图像中心，然后计算其位置坐标。

作为进一步的方案，所述步骤S3中包括：

S31:在风机轮毂关键点位于相机的图像中心时，控制云台进行俯仰、横移，采集叶片根部三维坐标信息，对采集到的三维坐标进行平面拟合，得到风机朝向角；

S32:对轮毂兴趣点位于图像中心的图像进行处理，提取其线特征，计算叶片之间的夹角及叶片与相机垂直方向的夹角；

S33:根据坐标之间的关系将叶片夹角和风机朝向换算为叶片的实际朝向；

S34：以叶片根部坐标为起点，以叶片实际长度为距离，计算在风机叶片朝向方向上的叶片尖部的实际坐标。

作为进一步的方案，所述步骤S4中包括：

S41:根据计算出的叶片根部叶片尖部关键点位置坐标进行安全距离膨胀得到巡航关键点，在巡航关键点位置需要控制无人机转向行为、相机视频采集开关行为；

S42：根据风机形态角度指定航迹点，所述指定航迹点包括无人机位姿、及无人机速度，其中叶片根部与叶片尖部连接的方向设置无人机为直线飞行，在叶片尖部从叶片一个面过渡到另一个面时设置无人机为曲线飞行，相机的仰视角度θ是根据指定航迹点对应的叶片角度θ_c计算，公式如下：

θ＝±90-θ_c。

S43:无人机加载规划出的航迹点并根据航迹参数开始进行巡检，巡检到达最后一个航迹点时完成巡检，根据预设指令返回指定位置，结束巡检。

根据自动获取风机的实际关键坐标位置进行巡检路径规划，自动获取风机关键坐标进行巡检路径规划，解决了无人机需要拍摄风机全景图像进行路径规划导致的巡检效率降低的问题。

本发明所实现的有益效果：

本发明通过无人机识别轮毂和叶片并定位风机关键点并计算出风机关键点的位置坐标，然后计算出风机朝向、叶片风机夹角，并根据风机朝向、叶片风机夹角、叶片根部坐标及叶片的长度计算出叶片尖部位置坐标，接着根据叶片根部位置坐标和叶片尖部位置坐标计算出巡航关键点位置坐标，最后控制无人机按照规定的路径进行巡检，不需要人工干预进行打点飞行，减少人员投入及降低操作风险，解决了无人机人工打点巡检局限性，实现了根据自动获取风机的实际关键坐标位置进行巡检路径规划，提高了无人机的风机叶片巡检效率。

附图说明

图1为本发明实施例的风机叶片自动巡检路径规划流程图；

图2为本发明实施例的风机轮毂及风机叶片根部关键点位置坐标检测示意图；

图3为本发明实施例的风机叶片朝向夹角检测示意图；

图4为本发明实施例的风机整体朝向检测示意图；

图5为本发明实施例的巡航关键点及路径规划结果示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，下面结合附图和实施例对本发明作进一步说明。

下面结合附图与实施例对本文发明作进一步说明，如图1～5所示，

如图1所示，一种基于无人机激光测距的风机叶片自动巡检系统，包括步骤：

S1、控制风机停机，使用无人机搭载相机、激光雷达、机载电脑等负载对风机进行轮毂和叶片的识别；

S2、计算风机轮毂和风机叶片根部的关键点位置坐标并调整无人机位姿使关键点位于图像中心，然后根据激光测距值、无人机位姿、云台位姿计算轮毂、风机叶片根部的位置坐标；

S3、根据轮毂关键点位于图像中心的图像、无人机位姿、云台位姿解算风机整体朝向角、叶片的夹角、叶片尖部位置坐标；

S4、解算无人机自动巡检关键航迹点位置坐标，根据解算出的航迹点进行航点飞行；

S5、巡检到达最后一个航迹点时完成巡检，根据预设指令返回指定位置，结束巡检。

具体的，步骤S1为：

1.控制待巡检的风机停机，将搭载相机、激光测距仪和机载电脑的无人机放置在风机前方，控制无人机起飞，轮毂叶片识别过程中始终保持相机云台归中，控制无人机俯仰角度为0°；

2.无人机搭载的机载电脑预先部署风机轮毂和风机叶片的目标检测模块，在无人机上升过程中实时获取相机视频流，检测风机轮毂和叶片是否存在；

3.检测到风机轮毂和叶片根部后对无人机位置进行微调，使风机3个叶片的根部均出现在视野内，然后对风机轮毂和风机叶片进行激光测距的关键点定位。

具体的，该发明主要用于3叶片风力发电机，其本身呈“Y”状，其中心位置和3个尾端位置特征较为明显，有助于风机叶片的定位计算，对应到叶片应当是中心轮毂位置和叶尖位置。由于叶片尺寸较大，叶尖位置可根据叶根位置和叶片角度进行推算，因此选择叶片中心轮毂和叶根作为关键点。

关键位置s的世界坐标可由公式

计算得出，其中u，v,为目标检测出的图像像素坐标，M为标定后的相机内参，R为旋转矩阵，t为平移矩阵，可计算出唯一世界坐标s。使用该方法可计算轮毂和叶根的关键位置坐标。

其中，步骤S3中根据轮毂关键点和叶片根部关键点的位置坐标计算出风机朝向具体过程如下：

关键点计算的是实际位置，在计算完叶根坐标之后，略微调整云台位姿，使用同样的方法计算若干个非关键坐标，共计算N个关键坐标(x,y,z)，x为经度，y为纬度，z为高度。如图4所示，俯视风机时其拟合平面垂直于地面，可直接使用二维拟合该平面，设y＝bx+a表示，建立最小二乘公式得

解得

可得风机朝向所在垂直平面的经纬度关系式，然后得风机朝向夹角θ₀＝tan^-1 b；

步骤S3中叶片夹角通过图像处理、线性特征识别进行计算，如图3所示即为叶片与垂直方向的实际夹角。

步骤S3中计算出叶片尖部位置坐标的具体过程如下：

记某一叶片的叶根坐标为(x,y,z)，计算出的风机朝向为θ_o，叶片夹角θ_c，叶片长度为L，叶尖的实际坐标分两步计算，首先计算叶尖的高度h，通过叶片的长度L和叶片与垂直方向的夹角θ_c计算出叶片在垂直方向的投影长度Δh，叶根的高度z加上投影长度Δh即叶尖的高度h；计算叶尖的经纬度(x0,y0)，通过叶片的长度L和叶片与垂直方向的夹角θ_c计算出叶片在水平方向的投影长度Δl，该长度即为叶根经纬坐标和叶尖经纬坐标之间的距离，结合风机朝向θ_o可计算出叶尖经纬度(x0,y0)，综合可得叶尖坐标经纬高坐标(x0,y0,h)。

如图2所示，步骤S2具体包括：

1.对检测到轮毂和叶片的图像进行处理，提取图像特征，并根据图像特征计算风机轮毂关键点位置坐标、3处叶片根部关键点位置坐标，并记为P_c0、P_c1、P_c2、P_c3；其中P_c0为轮毂关键点，P_c1、P_c2、P_c3均为叶片根部关键点，O_c为图像中心。

2.计算关键点Pc0和图像中心O_c的像素差，根据像素差换算为无人机的位移，控制无人机的移动，在使风机轮毂位于图像中心过程中，控制云台归中，无人机俯仰角为0°；

3.启动无人机激光测距功能，测量云台至关键点的距离L，记录风机轮毂关键点位于图像中心O_c时的无人机位姿、云台位姿，计算轮毂的位置坐标P_w0；

4.重复步骤2、3、4，依次使3处叶片根部关键点P_c1、P_c2、P_c3位于图像中心O_c，然后计算其位置坐标P_w1、P_w2、P_w3。

如图3、图4、图5所示，步骤S3具体包括：

1.在风机轮毂关键点位于图像中心时，控制云台进行俯仰、横移，采集N个叶片根部三维坐标信息，对采集到的N个三维坐标进行平面拟合，求取风机朝向角θ₀；

2.对轮毂兴趣点位于图像中心的图像进行处理，提取其线特征，计算叶片之间的夹角及叶片与相机垂直方向的夹角，P_c1、P_c2、P_c3对应的叶片夹角记为θ_c1、θ_c2、θ_c3；

3.根据坐标之间的关系将叶片夹角和风机朝向换算为叶片的实际朝向θ_w1、θ_w2、θ_w3、θ_w；

4.以叶片根部坐标为起点，以叶片实际长度为距离，计算在风机叶片朝向方向上的叶片尖部的实际坐标P_w11、P_w22、P_w33。

如图3和图5所示，步骤S4具体包括：

1.根据计算出的叶片根部叶片尖部关键点位置坐标进行安全距离膨胀，初步计算无人机巡检的关键航迹点，从P₁至P₁₂共12个关键航迹点；

2.根据风机形态角度指定每个航迹点无人机和云台的位姿、速度等参数。其中在叶片根部到叶片尖部(或叶片尖部到叶片根部)方向设置无人机为直线飞行，在叶片尖部位置从叶片一个面过渡到另一个面时设置无人机为曲线飞行。根据指定航迹点对应的叶片角度计算相机的俯仰角度为

θ_c1、θ_c2、θ_c3为拟合出的叶片方向朝向与图像水平线的方向夹角，θ₁为θ_c1对应的相机的俯仰角度，θ₂为θ_c2对应的相机的俯仰角度，θ₃为θ_c3对应的相机的俯仰角度，图3为风机仰视角得到示意图。

3.无人机加载规划出的航迹点并根据航迹参数开始进行巡检，巡检到达最后一个航迹点时完成巡检，根据预设指令返回指定位置，结束巡检。

本实施例中的叶片为3个，也可以选2、4或更多的叶片，但3叶片的方式实现了成本和收益的最佳平衡，所以本实施例选3叶片。通过无人机识别轮毂和叶片并定位风机关键点并计算出风机关键点的位置坐标，然后计算出风机朝向、叶片风机夹角，并根据风机朝向、叶片风机夹角、叶片根部坐标及叶片的长度计算出叶片尖部位置坐标，接着根据叶片根部位置坐标和叶片尖部位置坐标计算出巡航关键点位置坐标，最后控制无人机按照规定的路径进行巡检，不需要人工干预进行打点飞行，减少人员投入及降低操作风险，解决了无人机人工打点巡检局限性，实现了根据自动获取风机的实际关键坐标位置进行巡检路径规划，提高了风机叶片的巡检效率。

最后需要说明的是，上述实施例阐明的内容应当理解为这些实施例仅用于更清楚地说明本发明，而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

Claims (5)

1.一种风机自动巡检路径规划方法，其特征在于，包括如下步骤：

S1：通过无人机进行风机识别，所述风机识别是通过识别出无人机图像中的轮毂和叶片得到，其中叶片为若干个、并沿所述轮毂均匀分布；

S2:定位风机关键点并计算出风机关键点的位置坐标，所述风机关键点包括轮毂关键点和叶片根部关键点，所述轮毂关键点为轮毂的中心，所述叶片根部关键点为叶片根部的横向中心；

S3:根据轮毂关键点和叶片根部关键点的位置坐标计算出风机朝向、叶片风机夹角，并根据风机朝向、叶片风机夹角、叶片根部坐标及叶片的长度计算出叶片尖部位置坐标；

S4:根据叶片根部位置坐标和叶片尖部位置坐标计算出巡航关键点位置坐标；

S5:控制无人机按照规定的路径进行巡检。

2.根据权利要求1所述的风机自动巡检路径规划方法，其特征在于，所述步骤S1中包括：

S11控制待巡检的风机停机，将搭载相机、激光测距仪和机载电脑的无人机放置在风机前方，控制无人机起飞，轮毂叶片识别过程中始终保持相机云台归中，控制无人机俯仰角度为0°；

S12:无人机搭载的机载电脑预先部署风机轮毂和风机叶片的目标检测模块，在无人机上升过程中实时获取相机视频流，通过相机视频流检测风机轮毂和叶片；

S13：检测到风机轮毂和叶片根部后对无人机位置进行微调，使叶片根部均出现在视野内，并对风机轮毂和风机叶片进行激光测距的关键点定位。

3.根据权利要求1所述的风机自动巡检路径规划方法，其特征在于，所述步骤S2中包括：

S21：对检测到轮毂和叶片的图像进行处理，提取图像特征，并根据图像特征计算风机轮毂关键点位置坐标、叶片根部关键点位置坐标；

S22：计算风机轮毂关键点位置坐标和图像中心的像素差，根据像素差换算为无人机的位移，控制无人机的移动，在使风机轮毂位于相机的图像中心过程中，控制云台归中，无人机俯仰角为0°；

S23:启动无人机激光测距功能，测量云台至关键点的距离L，记录风机轮毂关键点位于图像中心时的无人机位姿、云台位姿，计算轮毂的位置坐标；

S24:重复步骤S22和S23,依次使叶片根部关键点位于相机的图像中心，然后计算叶片根部关键点的位置坐标。

4.根据权利要求1所述的风机自动巡检路径规划方法，其特征在于，所述步骤S3中包括：

S31:在风机轮毂关键点位于相机的图像中心时，控制云台进行俯仰、横移，采集叶片根部三维坐标信息，对采集到的三维坐标进行平面拟合，得到风机朝向角；

S32:对轮毂兴趣点位于图像中心的图像进行处理，提取其线特征，计算叶片之间的夹角及叶片与相机垂直方向的夹角；

S33:根据坐标之间的关系将叶片夹角和风机朝向换算为叶片的实际朝向；

S34：以叶片根部坐标为起点，以叶片实际长度为距离，计算在风机叶片朝向方向上的叶片尖部的实际坐标。

5.根据权利要求1所述的风机自动巡检路径规划方法，其特征在于，所述步骤S4中包括：

S41:根据计算出的叶片根部叶片尖部关键点位置坐标进行安全距离膨胀得到巡航关键点，在巡航关键点位置需要控制无人机转向行为、相机视频采集开关行为；

S42：根据风机形态角度指定航迹点，所述指定航迹点包括无人机位姿、及无人机速度，其中叶片根部与叶片尖部连接的方向设置无人机为直线飞行，在叶片尖部从叶片一个面过渡到另一个面时设置无人机为曲线飞行，相机的仰视角度θ是根据指定航迹点对应的叶片角度θ_c计算，公式如下：

θ＝±90-θ_c。

S43:无人机加载规划出的航迹点并根据航迹参数开始进行巡检，巡检到达最后一个航迹点时完成巡检，根据预设指令返回指定位置，结束巡检。

Images