CN114623049A - 一种风电机组塔架净空监测方法、计算机程序产品 - Google Patents

Abstract

本发明为解决目前采用基于计算机视觉的方法监测风电机组塔架净空时，存在双目的方式对相机性能和校准匹配要求高、难以部署、成本高，单目的方式对运维人员配置经验要求高、虚警率高、实时性差且带宽压力大的技术问题，提供一种风电机组塔架净空监测方法、计算机程序产品，基于视觉技术、深度学习和数值计算，通过风电机组侧面和塔顶机舱上图像采集装置获取底部叶片净空距离的关系，在实际对净空距离进行监测时仅需在塔顶机舱上安装一个图像采集装置，即可对底部叶片的净空距离进行监测，且只需要识别叶片后根据叶片叶尖与塔筒底部的距离，即可快速得到净空距离。

Description

一种风电机组塔架净空监测方法、计算机程序产品

技术领域

本发明属于净空监测方法，具体涉及一种风电机组塔架净空监测方法、计算机程序产品。

背景技术

在“碳达峰、碳中和”背景下，风力发电具备不产生任何碳排放的天然绿色属性，使其成为最具潜力的发电形式之一。近年来，风力发电为节约成本与化石能源同台竞争，风电机组叶片在实现减重的同时也越来越长，所使用的材料柔性也越来越大，而风电机组净空裕量却越来越小，如何预防扫塔成为亟需解决的问题，否则，一旦发生叶片扫塔，将会为风电场带来巨大的经济损失。

实时监测净空数据并反馈至风电机组主控程序，以控制机组的运行状态(如停机、降载操作等)，是当前预防扫塔最直接有效的方式。现有风电机组净空监测方法主要包括：基于激光雷达的方法、基于多传感器的数据分析方法及基于计算机视觉的方法。基于激光雷达的方法不受夜间光照影响，准确度高，但其易受复杂天气和大气的影响，且其高昂的成本让用户望而却步。基于多传感器的数据分析方法，存在建模困难、难以部署和成本高的缺点。基于计算机视觉的方法由于具有结果可视、易部署、可与智能视频安防系统结合等特点，越来越受到用户的欢迎。

目前，采用基于计算机视觉的方法对风电机组塔架净空监测主要包括单目和双目两种技术方案。因塔架高度高，叶片尺寸大，双目测距对相机的性能和校准匹配要求高，且难以部署，成本高，因此，难以被用户接受。而单目的方法，主要通过模板匹配、比较叶片叶尖有没有出现在预设置的敏感区域为依据实现，对运维人员配置经验要求高，且虚警率高。此外，当前单目风电机组塔架净空监测的实现，还需通过中心服务器集中处理分析，实时性差且带宽压力大。

发明内容

本发明为解决目前采用基于计算机视觉的方法监测风电机组塔架净空时，存在双目的方式对相机性能和校准匹配要求高、难以部署、成本高，单目的方式对运维人员配置经验要求高、虚警率高、实时性差且带宽压力大的技术问题，提供一种风电机组塔架净空监测方法、计算机程序产品。

为达到上述目的，本发明采用以下技术方案予以实现：

一种风电机组塔架净空监测方法，其特殊之处在于，包括以下步骤：

S1，安装图像采集装置

同时在正对叶片运行轨迹面的风电机组侧面和塔顶机舱上安装图像采集装置；

S2，通过风电机组侧面图像采集装置得到叶片实际净空距离，通过塔顶机舱上的图像采集装置同步获取底部叶片图像

S2.1，通过多张风电机组侧面图像采集装置采集的包含塔筒和底部叶片的图像，训练第一深度学习目标检测模型，得到能够从叶片侧面图像中识别叶片的第一深度学习目标检测模型；

S2.2，通过塔筒两侧直线的方程，以及叶片叶尖位于最低处时，叶尖至塔筒两侧直线的垂线对应方程，得到同样拍摄条件下塔筒的像素直径dist_BC；

S2.3，通过第一深度学习目标检测模型识别底部叶片，以图像左上角为坐标原点，获取叶片叶尖位于最低处时叶尖的坐标，得到底部叶片叶尖到塔筒的像素距离dist_AB；

S2.4，根据底部叶片叶尖与塔筒的像素距离dist_AB、塔筒的像素直径dist_BC、塔筒的实际直径r_tower，得到底部叶片叶尖到塔筒的实际距离dist_clearance；

S2.5，在执行步骤S2.1至步骤S2.4的同时，通过塔顶机舱上的图像采集装置同步获取底部叶片图像；

S3，确定塔顶机舱上图像采集装置和风电机组侧面图像采集装置获取净空距离的关系

S3.1，通过多张塔顶机舱上图像采集装置获取的底部叶片图像，训练第二深度学习目标检测模型，得到能够从塔顶机舱上获得的图像中识别叶片的第二深度学习目标检测模型；

S3.2，通过第二深度学习目标检测模型识别底部叶片，以图像左上角为坐标原点，获取叶片叶尖位于最低处时叶尖的坐标，得到底部叶片叶尖到塔筒底部的像素距离min{dist}；

S3.3，根据多组dist_clearance和min{dist}，通过拟合方法求解下式中的第一顶部净空参数α和第二顶部净空参数β：

dist_clearance＝α×min{dist}+β；

S4，监测风电机组塔架净空

拆除风电机组侧面的图像采集装置，通过塔顶机舱上的图像采集装置在风电机组运行中采集底部叶片图像，通过第二深度学习目标检测模型识别底部叶片，确定底部叶片位于最低处时叶尖与塔筒底部的距离，并带入下式中的min{dist}：

dist_clearance＝α×min{dist}+β

得到对应底部叶片叶尖到塔筒的实际距离dist_clearance，对风电机组塔架净空进行监测。

进一步地，步骤S2.1具体为，从多张风电机组侧面图像采集装置采集的包含塔筒和底部叶片的图像中，通过矩形框标出叶片，使叶片全部位于矩形框内且叶尖位于矩形框底边中心处，对第一深度学习目标检测模型进行训练，得到能够从叶片侧面图像中识别叶片的第一深度学习目标检测模型。

进一步地，步骤S2.2具体为：

S2.2.1，在图像上标出塔筒两侧直线，以图像左上角为坐标原点，分别取塔筒两侧直线上的任意两个点坐标，求解塔筒两侧直线；

S2.2.2，标出底部叶片叶尖至塔筒两侧直线的垂线，得到该垂线的方程；

S2.2.3，将步骤S2.2.2得到的垂线方程代入步骤S2.2.1得到的塔筒两侧直线，得到垂线与塔筒两侧直线的交点坐标；

S2.2.4，通过垂线与塔筒两侧直线交点的坐标，计算得到同样拍摄条件下塔筒的像素直径dist_BC。

进一步地，步骤S2.3中，所述获取叶片叶尖位于最低处时叶尖的坐标具体为，从叶片叶尖进入图像画面至离开图像画面，统计叶片叶尖的坐标，得到叶片叶尖坐标中纵坐标的最大值，以该最大值对应的坐标为叶片叶尖位于最低处时叶尖的坐标。

进一步地，步骤S2.3中，所述得到底部叶片叶尖到塔筒的像素距离具体为，根据叶片叶尖位于最低处时叶尖的纵坐标，得到叶尖到塔筒两侧直线的垂线方程，将该垂线方程分别代入塔筒两侧直线的方程，得到该垂线与塔筒两侧直线的交点坐标，根据两点间欧式距离计算方法，得到底部叶片叶尖到塔筒的像素距离dist_AB。

进一步地，步骤S2.4具体为，通过以下公式计算底部叶片叶尖到塔筒的实际距离dist_bottom：

dist_bottom＝dist_AB×r_tower/dist_BC。

进一步地，步骤S3.2中，所述获取叶片叶尖位于最低处时叶尖的坐标，具体为，从叶片进入图像至离开图像，根据叶片叶尖坐标计算叶片叶尖到塔筒底部的距离，取叶片叶尖到塔筒底部距离的最小值，该最小值对应叶片叶尖坐标为叶片叶尖位于最低处时叶尖的坐标。

本发明还提供了一种计算机程序产品，包括计算机程序，其特殊之处在于，该程序被处理器执行时实现上述一种风电机组塔架净空监测方法的步骤。

与现有技术相比，本发明具有以下有益效果：

1.本发明风电机组塔架净空监测方法，基于视觉技术、深度学习和数值计算，通过风电机组侧面和塔顶机舱上图像采集装置获取底部叶片净空距离的关系，在实际对净空距离进行监测时仅需在塔顶机舱上安装一个图像采集装置，即可对底部叶片的净空距离进行监测，且只需要识别叶片后根据叶片叶尖与塔筒底部的距离，即可快速得到净空距离，并根据要求进行监测和判，监测精度高，操作简便。图像采集装置的部署简单，不需要运维人员过多介入，只需要在前期进行模型训练和关系确定即可，监测实时性。

2.本发明的监测方法中，在第一深度学习目标检测模型训练时，通过矩形框标记叶片，使叶尖位于矩形框的底部中心处，标记准确率高，使第一深度学习目标检测模型能够准确识别叶片，为后续准确获得叶尖坐标奠定了较好的基础。

3.本发明的监测方法中，通过塔筒两侧直线，底部叶片叶尖至塔筒两侧直线的垂线，确定垂线与塔筒两侧直线的交点，进而得到塔筒的像素直径，再结合叶片叶尖到塔筒的像素距离，通过比例计算得到叶片叶尖的净空距离，计算准确、简便。

4.本发明的监测方法可基于处理器执行，监测更加智能，操作更加简便，准确性也更高。

附图说明

图1为本发明风电机组塔架净空监测方法中塔顶机舱上图像采集装置的安装示意图；

图2为本发明风电机组塔架净空监测方法中风电机组侧面图像采集装置的安装示意图；

图3为本发明风电机组塔架净空监测方法的流程示意图；

图4为风电机组侧面图像采集装置采集图像的示意图(将图像简化为黑白线条)；

图5为同一段时间内，地面相机获取的净空数据和机舱上相机获取的叶尖与塔筒底部最短距离关系示意图；

图6为本发明风电机组塔架净空监测方法实施例中，地面相机获取的净空数据和塔顶机舱相机获得的叶尖与塔筒底部最短距离组成的多组数据对示意图；

其中，1-塔筒、2-叶片。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

塔架净空监测时，相机通常安装在塔筒顶部的机舱侧面M处，垂直向下拍摄，如图1所示。如果直接通过该相机安装参数求解净空值，相机标定工作复杂，且精度差。因此，如图2，本发明借助一台设置在地面上N处的相机，使相机正对叶片运行轨迹面，从风电机组侧面拍摄获取叶片实际净空数据，再通过数值计算方法，得到通过从塔筒顶部的机舱侧面垂直向下拍摄相机计算净空值的方法，本发明的监测方法可广泛应用于不同型号不同标准安装参数的机型，实现风电机组塔架净空监测和部署。如图3所示，本发明监测方法的具体流程下：

1.地面相机获取实际净空数据

如图2所示，地面相机放置在距离塔筒200米以外的位置，正对叶片运行轨迹面拍摄，调整相机使塔架在拍摄的画面中尽量处于竖直状态。

地面相机拍摄时，净空计算转化为叶片2叶尖运行到画面最低位置时叶尖到塔筒1的距离，为图4中A、B两点的距离。在风电机组侧面图像采集装置采集的包含塔筒1和底部叶片2的图像中，标出塔筒1两侧边所在直线，可通过手动分别选取画面中两侧直线上的两个点，代入塔筒1两侧边直线对应直线方程，得到塔筒1两侧边直线的直线方程，x代表图像中像素所在空间直角坐标系的水平轴，y代表图像中像素所在空间直角坐标系的竖直轴，式(1)为塔筒1左侧边直线方程，式(2)为塔筒1右侧边直线方程：

x＝a₁y+b1 (1)

x＝a₂y+b2 (2)

从多张风电机组侧面图像采集装置采集的包含塔筒1和底部叶片2的图像中，通过矩形框标出叶片2，使叶片2全部位于矩形框内且叶尖位于矩形框底边中心处，对第一深度学习目标检测模型进行训练，得到能够从叶片2侧面图像中识别叶片2的第一深度学习目标检测模型。

通过第一深度学习目标检测模型识别叶片2，以图像左上角为坐标原点，得到叶尖所在点A，做叶尖至塔筒1两侧直线的垂线，将该垂线与塔筒1两侧直线的交点分别记为B、C，A、B、C三点坐标分别为(x_a，y_a)、(x_b，y_b)、(x_c，y_c)，将该垂线的直线方程分别代入式(1)和式(2)，则得到B、C点坐标：

考虑塔筒1基本竖直，为简化计算，图像中AB段的像素距离，底部叶片2叶尖与塔筒1的像素距离dist_AB可依据式(3)得到：

dist_AB＝x_b-x_a (3)

BC段的像素距离，即塔筒1的像素直径dist_BC可依据式(4)得到：

dist_BC＝x_c-x_b (4)

由于塔筒1实际直径已知，记为r_tower，此时，底部叶片2叶尖到塔筒1的实际距离dist_clearance，即净空值可依据式(5)得到。

dist_clearance＝diSt_AB×r_tower/dist_BC (5)

因此，计算净空值的一个关键问题是准确检出叶片2，并得到叶尖转动到画面最底端位置时的坐标。本发明中使用深度学习目标检测方法检测叶片2，由于深度学习目标检测方法比较成熟，这里不再赘述。最终净空值计算采用叶尖位置进行计算，获取准确的叶尖坐标至关重要。因叶尖较小且形态不一，直接检测叶尖容易出现误检或漏检，所以采取直接检测叶片2的方法。为了便于计算叶尖位置，叶片2标注时尽量使叶尖在叶片2所在矩形框的下边缘中心位置，此时，可直接根据叶片2的检测框左上角坐标(x_left，y_top)和右下角坐标，(x_right，y_bottom)，得到准确的叶尖位置(

y_bottom)。此外，为保证叶片2检测效果，在数据标注时，叶片2有较大面积出现在画面中时才进行标注。

每次叶片2进入画面中时检测出叶片2，记录获取的叶尖坐标。待叶片2出画面时，筛选出整个过程中记录叶尖坐标中纵坐标最大值对应的叶尖坐标，以及对应叶片2位置，得到叶尖转动到画面最底端时的坐标位置，得到该次叶片2工作时的净空值。

2.塔顶机舱相机净空监测

塔顶机舱相机同时垂直向下拍摄，得到对应的叶片图像。同一段时间内搜集地面相机获取的净空数据，以及机舱上相机的叶尖与塔筒底部最短距离数据发现，二者一一对应且呈线性相关关系，如图5所示。

由图5呈现的线性关系可知，可通过式(6)对其进行相关计算：

dist_clearance＝α×min{dist}+β (6)

其中，参数α、β可以通过地面相机获取的净空数据，和机舱相机的叶尖与塔筒底部最短距离组成的数据对求解。只需将每次叶片进入画面和出画面过程中塔筒与叶尖的最短像素距离带入式(6)中的min{dist}，即可得到净空值。

在实际进行监测时，可拆除地面上的相机，仅保留机舱相机，需要实时获取叶尖的准确位置，计算机舱相机拍摄图像中，叶尖与塔筒底部最短距离，第二深度学习目标检测模型也需要通过大量机舱相机拍摄的图像进行训练，以识别图像中的叶片，训练方法为成熟技术，不再赘述。

同理，在机舱相机拍摄图像时，每次叶片进入画面时检测出叶片，记录获取叶尖坐标，计算其与塔筒底部的像素距离，待叶片出画面时，筛选出整个过程中像素距离最小的位置，代入式(6)，得到该次叶片工作时的净空值，实现塔架净空的实时监测。

3.净空监测部署

可选择同型号同安装参数的风机，根据实验获取的安装数据，在塔顶机舱相同位置安装网络摄像机，将针对塔顶机舱的第二深度学习叶片检测模型和计算净空值的算法部署至AI边缘设备，或者直接部署至智能网络摄像机中，实现风机的净空实时监测。同时，可将监测结果实时反馈给风机主控程序，以及风场智能视频安防系统，实现风电场的全天候无人值守。

4.进行风电场塔架净空实时监测

通过上述方法进行实时监测，可根据监测结果判断是否满足预设要求

本发明的上述监测方法也可作为计算机程序产品，包括计算机程序，程序被处理器执行时实现上述监测方法的步骤。

以某机型风力发电机的净空监测为例，净空监测具体包括以下步骤：

步骤一，第一深度学习目标检测模型和第二深度学习目标检测模型训练

获取地面相机从侧面拍摄的和塔架顶部机舱相机垂直拍摄的图片，分别标注和整理数据集，两个检测模型网络均使用yolov5s，训练模型，保存并选择最优结果的模型。

步骤二，地面相机获取的净空数据，和机舱相机获取的叶尖与塔筒底部最短距离数据对的获取

同一段时间内，分别采集地面相机从侧边拍摄的，和塔架顶部相机垂直拍摄的叶片视频。使用步骤一训练的模型分别对视频进行叶片检测，得到地面相机视频对应的净空数据；同时，得到机舱相机视频对应的叶尖与塔筒底部最短距离数据。并根据时间对应关系，如图6，得到地面相机获取的净空数据和塔顶机舱相机获得的叶尖与塔筒底部最短距离组成的数据对。

步骤三，净空计算参数求解

将步骤二中的数据对，代入公式(6)，通过最小二乘求解参数α、β值，拟合绝对误差得到：

α＝28.8399,β＝-572.7289

步骤四，净空监测部署

为有效利用现有资源，本风场采用NVIDIA Jetson AGX Xavier边缘设备部署叶片检测和净空计算算法，并使用NVIDIA TensorRT SDK对叶片检测yolov5s模型进行推理加速。该设备能以不低于25帧/秒的速度实现叶片检测和净空监测，并且可同时支持6台该类型风机的监测。此外，如果风电场没有利用现有资源的需求，采购的摄像机可包含智能硬件，将叶片检测和净空监测直接部署到相机端，实现净空监测的端侧部署。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种风电机组塔架净空监测方法，其特征在于，包括以下步骤：

S1，安装图像采集装置

同时在正对叶片运行轨迹面的风电机组侧面和塔顶机舱上安装图像采集装置；

S2，通过风电机组侧面图像采集装置得到叶片实际净空距离，通过塔顶机舱上的图像采集装置同步获取底部叶片图像

S2.1，通过多张风电机组侧面图像采集装置采集的包含塔筒和底部叶片的图像，训练第一深度学习目标检测模型，得到能够从叶片侧面图像中识别叶片的第一深度学习目标检测模型；

S2.2，通过塔筒两侧直线的方程，以及叶片叶尖位于最低处时，叶尖至塔筒两侧直线的垂线对应方程，得到同样拍摄条件下塔筒的像素直径dist_BC；

S2.3，通过第一深度学习目标检测模型识别底部叶片，以图像左上角为坐标原点，获取叶片叶尖位于最低处时叶尖的坐标，得到底部叶片叶尖到塔筒的像素距离dist_AB；

S2.4，根据底部叶片叶尖与塔筒的像素距离dist_AB、塔筒的像素直径dist_BC、塔筒的实际直径r_tower，得到底部叶片叶尖到塔筒的实际距离dist_clearance；

S2.5，在执行步骤S2.1至步骤S2.4的同时，通过塔顶机舱上的图像采集装置同步获取底部叶片图像；

S3，确定塔顶机舱上图像采集装置和风电机组侧面图像采集装置获取净空距离的关系

S3.1，通过多张塔顶机舱上图像采集装置获取的底部叶片图像，训练第二深度学习目标检测模型，得到能够从塔顶机舱上获得的图像中识别叶片的第二深度学习目标检测模型；

S3.2，通过第二深度学习目标检测模型识别底部叶片，以图像左上角为坐标原点，获取叶片叶尖位于最低处时叶尖的坐标，得到底部叶片叶尖到塔筒底部的像素距离min{dist}；

S3.3，根据多组dist_clearance和min{dist}，通过拟合方法求解下式中的第一顶部净空参数α和第二顶部净空参数β：

dist_clearance＝α×min{dist}+β；

S4，监测风电机组塔架净空

拆除风电机组侧面的图像采集装置，通过塔顶机舱上的图像采集装置在风电机组运行中采集底部叶片图像，通过第二深度学习目标检测模型识别底部叶片，确定底部叶片位于最低处时叶尖与塔筒底部的距离，并带入下式中的min{dist}：

dist_clearance＝α×min{dist}+β

得到对应底部叶片叶尖到塔筒的实际距离dist_clearance，对风电机组塔架净空进行监测。

2.如权利要求1所述一种风电机组塔架净空监测方法，其特征在于：步骤S2.1具体为，从多张风电机组侧面图像采集装置采集的包含塔筒和底部叶片的图像中，通过矩形框标出叶片，使叶片全部位于矩形框内且叶尖位于矩形框底边中心处，对第一深度学习目标检测模型进行训练，得到能够从叶片侧面图像中识别叶片的第一深度学习目标检测模型。

3.如权利要求2所述一种风电机组塔架净空监测方法，其特征在于，步骤S2.2具体为：

S2.2.1，在图像上标出塔筒两侧直线，以图像左上角为坐标原点，分别取塔筒两侧直线上的任意两个点坐标，求解塔筒两侧直线；

S2.2.2，标出底部叶片叶尖至塔筒两侧直线的垂线，得到该垂线的方程；

S2.2.3，将步骤S2.2.2得到的垂线方程代入步骤S2.2.1得到的塔筒两侧直线，得到垂线与塔筒两侧直线的交点坐标；

S2.2.4，通过垂线与塔筒两侧直线交点的坐标，计算得到同样拍摄条件下塔筒的像素直径dist_BC。

4.如权利要求1至3任一所述一种风电机组塔架净空监测方法，其特征在于：步骤S2.3中，所述获取叶片叶尖位于最低处时叶尖的坐标具体为，从叶片叶尖进入图像画面至离开图像画面，统计叶片叶尖的坐标，得到叶片叶尖坐标中纵坐标的最大值，以该最大值对应的坐标为叶片叶尖位于最低处时叶尖的坐标。

5.如权利要求4所述一种风电机组塔架净空监测方法，其特征在于：步骤S2.3中，所述得到底部叶片叶尖到塔筒的像素距离具体为，根据叶片叶尖位于最低处时叶尖的纵坐标，得到叶尖到塔筒两侧直线的垂线方程，将该垂线方程分别代入塔筒两侧直线的方程，得到该垂线与塔筒两侧直线的交点坐标，根据两点间欧式距离计算方法，得到底部叶片叶尖到塔筒的像素距离dist_AB。

6.如权利要求5所述一种风电机组塔架净空监测方法，其特征在于：步骤S2.4具体为，通过以下公式计算底部叶片叶尖到塔筒的实际距离dist_bottom：

dist_bottom＝dist_AB×r_tower/dist_BC。

7.如权利要求6所述一种风电机组塔架净空监测方法，其特征在于：步骤S3.2中，所述获取叶片叶尖位于最低处时叶尖的坐标，具体为，从叶片进入图像至离开图像，根据叶片叶尖坐标计算叶片叶尖到塔筒底部的距离，取叶片叶尖到塔筒底部距离的最小值，该最小值对应叶片叶尖坐标为叶片叶尖位于最低处时叶尖的坐标。

8.一种计算机程序产品，包括计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至7任一所述一种风电机组塔架净空监测方法的步骤。

Images