CN118224050A - 一种新型无人值守式风电机组外部监测机器人系统 - Google Patents
一种新型无人值守式风电机组外部监测机器人系统 Download PDFInfo
- Publication number
- CN118224050A CN118224050A CN202410379729.8A CN202410379729A CN118224050A CN 118224050 A CN118224050 A CN 118224050A CN 202410379729 A CN202410379729 A CN 202410379729A CN 118224050 A CN118224050 A CN 118224050A
- Authority
- CN
- China
- Prior art keywords
- blade
- image
- lens camera
- shooting
- blades
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 77
- 230000007547 defect Effects 0.000 claims abstract description 77
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000002950 deficient Effects 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012300 Sequence Analysis Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 4
- 235000017491 Bambusa tulda Nutrition 0.000 description 4
- 241001330002 Bambuseae Species 0.000 description 4
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 4
- 239000011425 bamboo Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D9/00—Adaptations of wind motors for special use; Combinations of wind motors with apparatus driven thereby; Wind motors specially adapted for installation in particular locations
- F03D9/20—Wind motors characterised by the driven apparatus
- F03D9/25—Wind motors characterised by the driven apparatus the apparatus being an electrical generator
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种新型无人值守式风电机组外部监测机器人系统，在机器人上搭载云台、激光雷达和相机模块，相机模块包含广角镜头相机和长焦镜头相机，可实现对风机叶片的净空距离监测、叶片形变监测和叶片外表面缺陷检测功能。本发明利用机器人围绕风机的塔筒进行旋转的方式，可使激光雷达和相机模块始终正对风机轮毂，保证激光雷达和相机处于最佳监测角度；采用的净空监测方法，仅一次标定即可实现叶片的净空距离实时监测；高风速下采用广角镜头相机拍摄的图像，可用于叶片形变监测；低风速下，采用广角镜头相机逐一对单根叶片进行跟踪拍摄，通过获取的叶片空间位置，引导长焦镜头相机对叶片进行局部连续跟踪拍摄，长焦镜头相机拍摄的高精度图像集可用于叶片的缺陷类型分析、缺陷位置定位和尺寸计算。该系统不仅节省人工成本，还实现了叶片从整体外形到表面细节的全方位检测目的。
Description
技术领域
本发明属于电力监测领域，尤其涉及一种新型无人值守式风电机组外部监测机器人系统。
背景技术
由于风力发电规模巨大，运行管理难度增加，会发生机组运行安全事故，特别是叶片折损情况时有发生，而传统的人工检测与维护难以满足要求，急需要一套高效实时可靠的解决方案。
常规的人工吊篮、无人机、地面人工等观察检查手段在不同方向都有较大局限，难以实时高频率自动化监测。如今，主流的无人机巡检方案，对监测距离、作业环境、风速、风机工作状态、人员操控技术等都有较高适应性要求，并且无人机系统运行的安全性要求高、单次作业成果的稳定可靠性不足、检查作业频次受限，对机组安全运行保障能力有限，通常容易漏检、误检或检查周期过长，难以及时发现叶片外表面缺陷，导致缺陷发展过快而发生叶片折损事故。
此外，由于机组容量的增大，叶片长度从之前的30-40米发展成70-100米甚至以上，高风速运行条件下，叶片受风变形幅度增加，增加了叶片扫碰塔柱风险甚至产生由此带来的倒塔风险。目前行业内采用不同的净空监测手段以适应新的需求，例如以检测叶片形变异常为目标来提前预警运行风险，但现有的机组叶片外表面缺陷检测、叶片净空监测、叶片形变异常监测等监测方案大多都只有单一功能模式，且监测设备灵活性较差，适用范围较小，难以满足当下机组安全运行的监测需求。
发明内容
针对以上问题，本发明技术旨在提供一种全天候无人值守、高频次、智能化、可远程控制的外部监测方案，以实时在线监测机组的安全运行。以无人监测机器人为平台，搭载智能云平台、激光雷达、长焦和广角镜头相机，采集叶片激光点云数据和图像数据，采用坐标转换、图像拼接和目标检测等算法，可同时实现叶片外表面缺陷检测、叶片净空监测、叶片形变异常监测功能。
本发明搭建的无人值守式风电机组外部监测机器人适用于不同大小的风力发电塔筒，同时实现全天候、无人高频率监测叶片净空距离和形变，以及检测叶片外表面缺陷。
本发明解决其技术问题所采用的技术方案是：
一种新型无人值守式风电机组外部监测机器人系统，包括云台、激光雷达监测模块和相机检测模块，相机检测模块包含广角镜头相机和长焦镜头相机，其特征在于，机器人系统可围绕塔筒进行旋转，相机检测模块和激光雷达监测模块对叶片进行拍摄和扫描；在高风速下，激光雷达对叶片进行点云扫描进行，通过点云扫描数据监测净空距离；广角镜头相机拍摄整根叶片图像，通过提取拍摄图像中的整根叶片轮廓，进行叶片的形变监测；在低风速下，相机监测模块中的广角镜头相机逐一对叶片进行跟踪拍摄，并通过图像算法控制长焦镜头相机对跟踪中的叶片进行连续高精度拍摄，采用缺陷分析模型处理长焦镜头相机拍摄的叶片图像，识别出缺陷位置，同时对长焦镜头相机连续拍摄后的照片进行相对位置和姿态计算，生成完整风机叶片的空间排布图像，根据识别出的缺陷在完整拼接叶片图像的位置信息，确定该缺陷在叶片表面的位置和尺寸大小。
进一步的，本发明的一种新型无人值守式风电机组外部监测机器人系统，包括以下工作过程：
步骤1、无人监测机器人设计：根据智能云台、激光雷达、长焦和广角镜头相机、数据传输等载荷重量及尺寸，设计合适的动力系统和运动模块，完成硬件搭建。
步骤2、叶片净空距离监测：建立塔筒表面坐标系，并确定塔筒表面坐标系与激光雷达原点坐标系之间的转换关系，采用激光雷达以固定视角扫描叶片，获得叶片与塔筒表面之间的最小距离，即净空距离，并且建立净空距离时序图，以发现异常并预警。
步骤3、在高风速下监测叶片的几何形变：，采用广角镜头相机固定拍摄角度高速拍摄叶片及旋转动态，根据拍摄图像范围和叶片成像时间计算叶片旋转速度，对叶片进行编号标记；然后固定叶片构图区域，对该区域的叶片进行边缘轮廓提取，以叶轮为基准对任意时刻的叶片轮廓与初期模型进行重叠配准；最后计算不同叶片每个时刻的形变量，并确定变形区域与位置，并进行时序分析，实现叶片形变监测与预警。
步骤4、在低风速下进行完整叶片图像采集：首先以塔筒表面为基准建立塔筒表面坐标系，采用广角镜头相机对叶片中轴线进行图像识别，从而确定叶片运动轨迹与位置，然后将叶片运动轨迹坐标信息传递给智能云台，使长焦相机对运动的叶片进行跟踪拍摄，获取完整的叶片图像集。
步骤5、对低风速下采集的叶片图像集进行叶片空间排布：根据叶片运动轨迹坐标信息，计算叶片图像集中每一张跟踪拍摄图像的相对空间位置和姿态，将叶片图像集按照叶片形态走向，按叶根到叶尖或叶尖到叶根的顺序排布到一张完整图面中。
步骤6、对低风速下采集的叶片图像集进行叶片表面缺陷检测：采用YOLOv8模型识别叶片外表面缺陷类型，并构建叶片坐标系，计算获得缺陷的尺寸大小和实际位置。
进一步的，激光雷达对风机叶片进行净空距离监测的具体步骤为：
步骤2.1：机器人根据风向信息及机组轮毂朝向信息，围绕塔筒自动旋转，使检测模块正对叶片，并始终保持同轮毂朝向一致。
步骤2.2：将激光雷达固定安装在机器人的智能平台处，激光雷达固定正前方视角扫描叶片，采集点云数据。
步骤2.3：建立塔筒表面坐标系，以激光雷达原点坐标系yc轴沿线交于塔筒表面为原点o，与塔筒平行垂直向上为z轴，原点与激光雷达原点连线朝向叶片方向为y轴，x轴与y轴和z轴构成右手坐标系o-xyz。
步骤2.4：根据激光雷达内参数标定，以及激光雷达与塔面的关系，获取激光雷达原点坐标系与塔筒表面坐标系之间坐标转换六参数，即欧拉角和平移参数。
步骤2.5：将激光雷达原点坐标系下三维坐标(xc,yc,zc)转换至塔筒表面坐标系下三维坐标(x,y,z)，y的最小值为净空距离；
其中，表示激光雷达原点坐标系与塔筒表面坐标系之间的坐标轴平移量；R(dω)和R(dε)分别表示激光雷达原点坐标系的xc轴、yc轴和zc轴相对于塔筒表面坐标系的x轴、y轴和z轴旋转矩阵；/>表示扫描叶片的点云数据在塔筒表面坐标系下的三维坐标。
步骤2.6：当叶片扫过激光雷达时，系统逐次获取y的最小值作为净空距离，该数值大于正常参考值时表示叶片运作净空为正常，反之则记录并预警。
进一步的，风机叶片在高风速下工作时，采用广角镜头相机进行形变监测的具体步骤为：
步骤3.1：固定广角镜头相机，保证拍摄范围内能够完整地拍摄整个叶片。
步骤3.2：以叶轮区域作为基准匹配区域，并将三个叶片的叶轮基准匹配区域进行标记区分。
步骤3.3：广角镜头高速拍摄叶片，记录第一次出现叶轮时刻以及消失在拍摄范围内时刻/>根据相机拍摄范围像素累计值α求解叶片转速υ，如下式所示：
其中，γ表示α转换为拍摄范围的空间弧度值对应的转换系数，t1、t2和t3分别表示叶片1,2,3的时刻，将开始拍摄第一次出现的叶片记为叶片1，随后记为叶片2和叶片3。
步骤3.4：根据开机拍摄υ，求解任意时刻t所对应的叶片编号，如下式所示：
其中，当时，表示拍摄范围内的叶片属于叶片3；当/>时，表示拍摄范围内的叶片属于叶片2；当/>时，表示拍摄范围内的叶片属于叶片1。
步骤3.5：固定叶片构图区域，选择拍摄图像中检测叶片的叶轮与初期模型中的叶轮重合时刻的叶片；然后采用Canny边缘提取算法，提取图像中叶片边缘；最后对提取结果中存在间断不连续的边缘数据构建多项式进行平滑处理，所述多项式的公式如下：
步骤3.6：将间断不连续的边缘数据集合M带入上式进行最小二乘求解参数(a0,a1,…,an)，然后将参数与边缘集合M中的x坐标，逐一带入多项式求解y'坐标，形成新的边缘集合M'，最后将各点平滑连接，构成新的叶片边缘曲线。
步骤3.7：将实时拍摄叶片获得的叶片边缘曲线与初期叶片模型的叶轮部分进行重叠匹配。
步骤3.8：计算每个像素初期叶片模型的叶片边缘曲线与实时拍摄的叶片边缘曲线之间的差值di。
di＝yi-yj
其中，yi表示初期叶片模型值，yj表示该时刻叶片值，di>0表示叶片形变朝净空方向内变形，di>0表示叶片形变朝净空方向外变形。
步骤3.9：设定变形阈值T，当|di|>T时记为该处叶片变形，并记录对应的x值。
步骤3.10：重复步骤3.8和步骤3.9，从而确定整个叶片变形区域x值范围与形变量
步骤3.11：将实时记录每个叶片对应每次检测的形变位置、范围、形变量和时间，自动生成时序分析图，从而获取叶片形变过程，为后续预测监测提供依据。
进一步的，在低风速下采集完整叶片图像的具体步骤为：
步骤4.1：以塔筒表面坐标系为基准，分别构建以智能云台、长焦镜头相机和广角镜头相机为原点的三维坐标参数(xh,yh,zh)、(xl,yl,zl)和(xw,yw,zw)；
步骤4.2、广角镜头相机调整角度使其可拍摄到一根完整的叶片，并对该叶片进行跟踪拍摄，同时标记出叶片中轴线；根据长焦镜头相机的拍摄范围，对广角镜头相机拍摄的叶片范围进行划分，将广角镜头相机拍摄的叶片范围沿叶片中轴线划分为多个部分重叠的长焦镜头相机拍摄范围，通过划分的长焦镜头相机拍摄范围内的各图像中心坐标，设定长焦镜头相机的拍摄轨迹；
步骤4.3、长焦镜头相机根据设定的拍摄轨迹从叶尖开始对被跟踪的叶片进行拍摄，获得叶片的完整图像集。
进一步的，步骤4.2中，先确定划分的长焦镜头相机拍摄范围内的各图像中心坐标在广角镜头相机坐标系下的坐标参数，然后再将各图像中心坐标转换为塔筒表面坐标系下的坐标参数，以转换后的塔筒表面坐标系下的图像中心坐标作为长焦镜头相机拍摄范围的中心参考点，对长焦镜头相机的拍摄轨迹进行指引。
进一步的，步骤4.2中，将划分的各图像中心坐标转换为塔筒表面坐标系下的拍摄范围中心坐标的转换关系为：
其中，表示广角镜头相机坐标系与塔筒表面坐标系之间的坐标轴平移量；R(Δω)和R(Δε)分别表示x轴、y轴和z轴的广角镜头相机坐标系相对于塔筒表面坐标系旋转矩阵；/>表示长焦镜头相机坐标系与广角镜头相机坐标系之间的坐标轴平移量；/>R(Δω')和R(Δε')分别表示x轴、y轴和z轴的长焦镜头相机坐标系相对于塔筒表面坐标系旋转矩阵；/>表示塔筒表面坐标系下长焦镜头相机拍摄范围的图像中心三维坐标。
进一步的，获取长焦镜头相机拍摄的完整叶片图像集后，通过图像处理，得到完整叶片平面图的步骤为：
步骤5.1：根据相机拍摄实际BD和图像BD'对安装的相机进行参数标定，求解图像畸变系数λ，并逐一对每张叶片图像进行修正，图像畸变系数λ的表达式为：
其中，BD为相机实际拍摄物体长度，BD'为相机图像长度，A点为相机所处位置，O点为相机至BD的垂点，C点为A点与BD'垂直延长线与BD的交点。
步骤5.2：采用中值滤波器对叶片图像进行降噪处理，获取清晰的风机叶片图像，所述降噪处理公式如下：
g(x,y)＝med{f(x-m,y-n),(m,n∈G)}
其中，f(x,y)表示像素坐标(x,y)处的像素值，取m,n＝3；G表示滤波滑动窗口，滑动窗口G的长宽均为3，对窗口的所有像素进行排序，求得区域G中像素的中值。
步骤5.3：对图像进行锐化处理，凸显边缘特征像素和缺陷像素。
步骤5.4：采用Canny边缘提取算法提取新的完整叶片边缘曲线。
步骤5.5：根据叶片运动轨迹坐标信息，计算叶片图像集中每一张跟踪拍摄图像的相对空间位置和姿态，生成完整的风机叶片的空间排布图像。
进一步的，步骤5.5中，利用叶片运动轨迹坐标信息，计算轨迹坐标的最大值和最小值，设定叶片空间排布图像的分辨率，确定叶片空间排布图像的尺寸；计算每一张跟踪拍摄图像在排布图像空间中的相对空间位置和姿态，采用图像纠正算法将叶片图像集重投影到排布图像空间中。将同属一组风机叶片的采样图片逐一进行空间排布，从而生成完整的风机叶片图像。
进一步的，采用YOLOv8算法对预处理后的叶片图像进行缺陷检测和定位的具体步骤为：
步骤6.1：收集大量叶片外表面缺陷图像，对YOLOv8模型进行训练。
步骤6.2：将训练好的模型对经过降噪和锐化处理的叶片图像进行检测，确定叶片外表面缺陷，并获得缺陷所在的图像像素坐标。
步骤6.3：若发现存在缺陷叶片图像，对具有缺陷的叶片图像进行拼接，再通过叶片编号确定缺陷叶片，并提取该叶片尖和叶片根中心像素。
步骤6.4：将叶片根中心像素作为坐标原点，以叶片根中心与叶尖连线作为x轴，y轴垂直于x轴向上。
步骤6.5：假设叶片拼接的第i张图像的左下角坐标为(xi,yi)，缺陷的图像位于第n张图像，其中缺陷检测的目标框中心坐标在该缺陷图像中的像素坐标为(Dx,Dy)，则缺陷位置相对于叶根位置(x,y):
步骤6.6：根据叶片实际长度L和新拼接完成的叶片图像坐标对应的像素长度l，求解长度比例系数k＝L/l，再根据缺陷距离叶片根中心的水平距离dis求解缺陷实际位置，其中dis表达式为：
并通过比例系数k和缺陷的长宽像素尺寸，获得缺陷实际长宽尺寸。
与现有技术相比，本发明的有益效果是：(1)在智能云台上同时搭载激光雷达和相机，可根据任务需要，测量和检测叶片的不同参数，达到一个平台完成叶片不同监测内容的目的。(2)本发明采用激光雷达通过扫描叶片的方式，通过本发明设定的净空距离监测方式，可防止叶片与塔台发生碰撞，避免重大安全事故的发生。采用相机对叶片进行拍摄后，通过本发明设定的叶片形变监测步骤，可完成每根叶片的形变过程监测，防止叶片自身形变过大导致自身被折断的事故发生。通过对风机叶片的图像缺陷检测，可检测风机叶片在使用过程中产生的微观缺陷，依据本发明设定的缺陷定位方法，可快速定位风机叶片的缺陷位置，方便后续人工维修和养护，防止缺陷进一步扩大，进而提升叶片的使用寿命。(3)相机检测模块始终保持正对叶片，保持同轮毂朝向一致，该角度拍摄得到的图片，通过设计的图像拼接方法可更好的完成图像拼接，方便更精准的进行叶片形变监测和缺陷定位。(4)由于风机轮毂会随风调整，叶片的朝向也会随之发生转变，将机器人安装在风机塔筒上或沿塔筒进行布置，通过机器人围绕塔筒旋转及云台相机拍摄角度的调整，可使相机进行多方位拍摄，进而可使相机在叶片朝向改变后，通过调整机器人在塔筒的位置和相机的角度，实现风机叶片不同角度的拍摄及跟踪拍摄，从而达到监测风机叶片全貌的目的，解决了现有技术中受环境或拍摄角度制约，无法拍摄叶片全貌的困扰。(5)相机首先拍摄叶尖或叶根，然后顺着叶片中轴线方向进行连续跟踪拍摄，通过本申请设定的图像拼接算法，可实现一次连续跟踪拍摄即可完成一根叶片的完整全貌拍摄；以叶片中轴线为跟踪拍摄参照物，也有利于后续图像进行空间排布。(6)本申请通过激光雷达在固定角度对叶片进行扫描，结合激光雷达与塔面的标定关系，将扫描得到的叶片点云数据转换为叶片相对塔面的坐标数据，从而根据叶片相对塔面的坐标数据获得叶片工作时的净空距离，实现叶片净空距离监测，该方法简单方便，仅需一次标定即可。(7)通过本申请的图像畸变调整、滤波降噪处理、去噪锐化、边缘特征提取和图像重新排布方法，可获得整根叶片的边缘曲线及完整的叶片轮廓，方便后续叶片的形变计算和缺陷定位。(8)通过对叶片轮廓的监测，并与初期叶片轮廓进行比较，通过本申请的叶片形变计算方法，可获得风机叶片的形变累积过程，为后续的监测提供依据。(9)广角镜头相机的拍摄范围大，但图像精度低，长焦镜头相机的拍摄范围小，但图像精度高。在风机叶片处于低速或停止状态时，本申请采用广角镜头相机对叶片的完整轮廓进行跟踪拍摄、识别和定位，为长焦镜头相机的跟踪拍摄提供指引，可保证长焦镜头相机能始终对一根叶片进行连续跟踪拍摄，这样既保证了叶片外表面图像的微观高精度采集，又可以实现后续图像空间排布时的完整性和连续性，进而实现整支叶片的宏观高精度检测。(10)通过对高精度采集图像中的缺陷进行检测识别，配合叶片的实际尺寸参数、图像处理时的叶尖和叶根的特征提取，依据缺陷在图像中的像素坐标，可实现风机叶片故障的准确定位和类别分析，方便指导后续人工维修和养护。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于举例说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。
图1为本发明整体技术流程图。
图2为净空距离监测流程图。
图3为激光雷达坐标系转换关系示意图。
图4为叶片形变监测流程图。
图5为风机叶轮示意图。
图6为依据长焦镜头相机的拍摄范围划分广角镜头相机拍摄图像的示意图。
图7为叶片拼接流程图。
图8为相机拍摄几何畸变示意图。
图9为一根叶片的连续拍摄图片集和排布完成后的叶片图像。
图10为叶片外表面缺陷检测流程图。
图11为叶片图像坐标系与缺陷定位示意图。
附图标记说明：1、t时刻长焦镜头相机拍摄的图片；2、t+1时刻长焦镜头相机拍摄的图片；3、t+2时刻长焦镜头相机拍摄的图片；4、t+3时刻长焦镜头相机拍摄的图片。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
实施例1
图1为本发明整体技术流程图。如图1所示，本实施例的包括云台、激光雷达监测模块和相机检测模块，包括云台、激光雷达监测模块和相机检测模块，相机检测模块包含广角镜头相机和长焦镜头相机，机器人系统可围绕塔筒进行旋转，使相机检测模块和激光监测模块正对叶片，并始终保持同轮毂朝向一致。通过使相机检测模块和激光监测模块正对叶片视角，可以使相机和激光雷达处于较好的视角，便于拍摄完整的叶片图像。
本发明的一种新型无人值守式风电机组外部监测机器人系统，包括以下工作步骤：
步骤1、无人监测机器人设计：根据智能云台、激光雷达、长焦和广角镜头相机、数据传输等载荷重量及尺寸，设计合适的动力系统和运动模块，完成硬件搭建。
步骤2、叶片净空距离监测：建立塔筒表面坐标系，并确定塔筒表面坐标系与激光雷达原点坐标系之间的转换关系，采用激光雷达以固定视角扫描叶片，获得叶片与塔筒表面之间的最小距离，即净空距离，并且建立净空距离时序图，以发现异常并预警。
步骤3、叶片几何形变监测：在高风速下，采用广角镜头相机固定拍摄角度高速拍摄叶片及旋转动态，根据拍摄图像范围和叶片成像时间计算叶片旋转速度，从而对叶片进行编号标记；然后固定叶片构图区域，对该区域的叶片进行边缘轮廓提取，以叶轮为基准对任意时刻的叶片轮廓与初期模型进行重叠配准；最后计算不同叶片每个时刻的形变量，并确定变形区域与位置，最后进行时序分析，实现叶片形变监测与预警。
步骤4、完整叶片图像采集：在低风速下，叶片处于慢速运动状态，为准确获取完整叶片图像，首先以塔筒表面为基准建立塔筒表面坐标系，采用广角镜头相机对叶片中轴线进行图像识别，从而确定叶片运动轨迹与位置，然后将叶片运动轨迹坐标信息传递给智能云台，使长焦相机对运动的叶片进行跟踪拍摄，获取完整的叶片图像集。
步骤5、叶片空间排布：根据叶片运动轨迹坐标信息，计算叶片图像集中每一张跟踪拍摄图像的相对空间位置和姿态，将叶片图像集按照叶片形态走向，从叶根到叶尖或叶尖到叶根排布到一张完整图面中。
步骤6、叶片表面缺陷检测：采用YOLOv8模型识别叶片外表面缺陷类型，并构建叶片坐标系，计算获得缺陷的尺寸大小和实际位置。
如图2所示，激光雷达对风机叶片进行净空距离监测的具体步骤包含：
步骤2.1：机器人根据风向信息及机组轮毂朝向信息，围绕塔筒自动旋转，使检测模块正对叶片，并始终保持同轮毂朝向一致。
步骤2.2：将激光雷达固定安装在机器人的智能平台处，激光雷达固定正前方视角扫描叶片，采集点云数据。
步骤2.3：建立塔筒表面坐标系，如图3所示，以激光雷达原点坐标系yc轴沿线交于塔筒表面为原点o，与塔筒平行垂直向上为z轴，原点与激光雷达原点连线朝向叶片方向为y轴，x轴与y轴和z轴构成右手坐标系o-xyz。
步骤2.4：根据激光雷达内参数标定，以及激光雷达与塔面的关系，获取激光雷达原点坐标系与塔筒表面坐标系之间坐标转换六参数，即欧拉角和平移参数。
步骤2.5：将激光雷达原点坐标系下三维坐标(xc,yc,zc)转换至塔筒表面坐标系下三维坐标(x,y,z)，即y的最小值为净空距离；
其中，表示激光雷达原点坐标系与塔筒表面坐标系之间的坐标轴平移量；R(dω)和R(dε)分别表示激光雷达原点坐标系的xc轴、yc轴和zc轴相对于塔筒表面坐标系的x轴、y轴和z轴旋转矩阵；/>表示扫描叶片的点云数据在塔筒表面坐标系下的三维坐标。
步骤2.6：当叶片扫过激光雷达时，系统逐次获取y的最小值作为净空距离，该数值大于正常参考值时表示叶片运作净空为正常，反之则记录并预警。
风机叶片在高风速下工作时，如图4所示，采用广角镜头相机进行形变监测的具体步骤为：
步骤3.1：固定广角镜头相机，保证拍摄范围内能够完整地拍摄整个叶片。
步骤3.2：实际工程中，通常叶片折断方向为净空方向，因此我们主要监测净空方向的形变特征。叶根与轮毂整体称为叶轮，如图5所示。叶轮通常不会发生形变，因此本发明将叶轮区域作为基准匹配区域，并将三个叶片的叶轮基准匹配区域进行标记区分。
步骤3.3：广角镜头高速拍摄叶片，记录第一次出现叶轮时刻以及消失在拍摄范围内时刻/>根据相机拍摄范围像素累计值α求解叶片转速υ，如下式所示：
其中，γ表示α转换为拍摄范围的空间弧度值对应的转换系数，t1、t2和t3分别表示叶片1,2,3的时刻，将开始拍摄第一次出现的叶片记为叶片1，随后记为叶片2和叶片3。
步骤3.4：根据开机拍摄v，求解任意时刻t所对应的叶片编号，如下式所示：
其中，当时，表示拍摄范围内的叶片属于叶片3；当/>时，表示拍摄范围内的叶片属于叶片2；当/>时，表示拍摄范围内的叶片属于叶片1。
步骤3.5：固定叶片构图区域，选择拍摄图像中检测叶片的叶轮与初期模型中的叶轮重合时刻的叶片；然后采用Canny边缘提取算法，提取图像中叶片边缘；最后对提取结果中存在间断不连续的边缘数据构建多项式进行平滑处理。公式如下：
步骤3.6：将间断不连续的边缘数据集合M带入上式进行最小二乘求解参数(a0,a1,…,an)，然后将参数与边缘集合M中的x坐标，逐一带入多项式求解y'坐标，形成新的边缘集合M'，最后将各点平滑连接，构成新的叶片边缘曲线。
步骤3.7：由于通常叶轮部分处于稳定，不会发生形变，因此将实时拍摄叶片获得的叶片边缘曲线与初期叶片模型的叶轮部分进行重叠匹配。
步骤3.8：如图4所示，将叶片边缘轮廓沿x轴方向，计算每个像素初期叶片模型的叶片边缘曲线与实时拍摄的叶片对应y值差异di，
di＝yi-yj，
其中，yi表示初期叶片模型值，yj表示该时刻叶片值，di>0表示叶片形变朝净空方向内变形，di>0表示叶片形变朝净空方向外变形。
步骤3.9：设定变形阈值T，当|di|>T时记为该处叶片变形，并记录对应的x值。
步骤3.10：重复步骤3.8和步骤3.9，从而确定整个叶片变形区域x值范围与形变量
步骤3.11：将实时记录每个叶片对应每次检测的形变位置、范围、形变量和时间，自动生成时序分析图，从而获取叶片形变过程，为后续预测监测提供依据。
进一步的，在低风速下采集完整叶片图像的具体步骤为：
步骤4.1：如图6所示，以塔筒表面坐标系为基准，智能云台、长焦镜头相机和广角镜头相机分别对应的三维坐标参数为(xh,yh,zh)、(xl,yl,zl)和(xw,yw,zw)。
步骤4.2：广角镜头相机调整角度使其可拍摄到一根完整的叶片，并对该叶片进行跟踪拍摄，同时标记出叶片中轴线。如图6所示，虚线框1表示长焦镜头相机的在t时刻的可拍摄范围，虚线框2表示长焦镜头相机的在t+1时刻的可拍摄范围，虚线框3表示长焦镜头相机的在t+2时刻的可拍摄范围，虚线框4表示长焦镜头相机的在t+3时刻的可拍摄范围。根据长焦镜头相机的拍摄范围，对广角镜头相机拍摄的叶片范围进行划分，并将叶片中轴线划分为多个拍摄范围，将广角镜头相机拍摄的完整叶片图像采用多个虚线框将其进行划分。如图6所示，广角镜头相机拍摄的完整叶片图像，长焦镜头相机的拍摄范围和顺序可按虚线框1-4的范围进行确定。通过划分拍摄范围内的各图像中心坐标，设定长焦镜头相机的拍摄范围，从而达到引导长焦镜头相机拍摄轨迹的目的。
步骤4.3：长焦镜头相机根据设定的拍摄范围从叶尖或叶根开始对被跟踪的叶片进行拍摄，获得叶片的完整图像集。
进一步的，步骤4.2中，根据长焦镜头相机的拍摄范围，对广角镜头相机拍摄的图像进行划分后的图像中心坐标，与长焦镜头相机拍摄的图像中心坐标转换关系为：
其中，表示广角镜头相机坐标系与塔筒表面坐标系之间的坐标轴平移量；R(Δω)和R(Δε)分别表示x轴、y轴和z轴的广角镜头相机坐标系相对于塔筒表面坐标系旋转矩阵；/>表示长焦镜头相机坐标系与广角镜头相机坐标系之间的坐标轴平移量；/>R(Δω')和R(Δε')分别表示x轴、y轴和z轴的长焦镜头相机坐标系相对于塔筒表面坐标系旋转矩阵；/>表示塔筒表面坐标系下长焦镜头相机拍摄范围的图像中心三维坐标，将图像中心坐标(x1,y1,z1)，传输给智能云台调整长焦镜头相机拍摄角度，使长焦镜头相机拍摄划分范围内的叶片图像，从而获取长焦镜头相机拍摄的叶片图像集。长焦镜头相机拍摄的图像集拥有更高的拍摄精度，可拍摄到更细节的叶片图片，可用于后续叶片的微观缺陷识别和缺陷定位。
如图7所示，获取长焦镜头相机拍摄的完整叶片图像集后，通过图像处理和空间排布，得到完整叶片平面图的步骤为：
步骤5.1：由于摄像头标定不准确、拍摄角度和距离等因素将导致拍摄图像存在几何畸变。如图8所示，相机拍摄实际BD和图像BD'存在差异，安装相机前需要进行参数标定，求解图像畸变系数λ，逐一对每张叶片图像进行修正。
其中，BD为相机实际拍摄物体长度，BD'为相机图像长度，A点为相机所处位置，O点为相机至BD的垂点，C点为A点与BD'垂直延长线与BD的交点。
步骤5.2：由于采集的风机叶片时，叶片处于运动状态，信号波动将会产生椒盐噪声，因此采用中值滤波器对叶片图像进行降噪处理，获取清晰的风机叶片图像。公式如下：
g(x,y)＝med{f(x-m,y-n),(m,n∈G)}
其中，f(x,y)表示像素坐标(x,y)处的像素值，取m,n＝3；G表示滤波滑动窗口。滑动窗口G的长宽均为3，对窗口的所有像素进行排序，求得区域G中像素的中值。
步骤5.3：经过中值滤波去噪后，虽然很大程度准确保留了叶片边缘和缺陷信息，但存在特征不够明显的问题，需要对图像进行锐化处理，将边缘特征像素和缺陷像素凸显出来，有利于提取特征点进行叶片拼接。
步骤5.4：采用步骤3.5和3.6提取完整新的叶片边缘曲线。
步骤5.5：利用叶片运动轨迹坐标信息，计算轨迹坐标的最大值和最小值，设定叶片空间排布图像的分辨率，确定叶片空间排布图像的尺寸。计算每一张跟踪拍摄图像在排布图像空间中的相对空间位置和姿态，采用图像纠正算法将叶片图像集重投影到排布图像空间中。将同属一组风机叶片的采样图片逐一进行空间排布，从而生成完整的风机叶片图像。如图9所示，通过本发明的跟踪拍摄方法和图像空间排布方法，获得了一根叶片空间排布后的完整图片。
如图10所示，采用YOLOv8算法对预处理后的叶片图像进行缺陷检测和定位的具体步骤为：
步骤6.1：收集大量叶片外表面缺陷图像，将缺陷类型分为斑点、砂眼、擦痕和裂纹，分为训练集、验证集和测试集对YOLOv8模型进行训练。
步骤6.2：将训练好的模型对步骤3.3和步骤3.4预处理后的图像进行检测，确定叶片外表面缺陷类型。
步骤6.3：若发现存在缺陷叶片图像，使用步骤3对具有缺陷的叶片图像进行拼接，再使用步骤4.1对叶片进行编号确定缺陷叶片，并提取该叶片尖和叶片根中心像素。
步骤6.4：如图11所示，将叶片根中心像素作为坐标原点，以叶片根中心与叶尖连线作为x轴，y轴垂直于x轴向上。
步骤6.5：设叶片拼接的第i张图像的左下角坐标为(xi,yi)，如图11所示，假设缺陷的图像位于第n张图像，其中缺陷检测的目标框中心坐标在该缺陷图像中的像素坐标为(Dx,Dy)。则缺陷位置相对于叶根位置(x,y):
步骤6.6：根据叶片实际长度L和步骤5.4中图像坐标对应的像素长度l，求解长度比例系数k＝L/l，再根据以下公式求解缺陷实际位置，距离叶片根中心水平距离为dis米，
同时，通过比例系数k和缺陷的长宽像素尺寸，也可获得缺陷的实际长宽尺寸。
以上内容是结合具体的/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施例做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (10)
1.一种新型无人值守式风电机组外部监测机器人系统，包括云台、激光雷达监测模块和相机检测模块，相机检测模块包含广角镜头相机和长焦镜头相机，其特征在于，机器人系统可围绕塔筒进行旋转，相机检测模块和激光雷达监测模块对叶片进行拍摄和扫描；在高风速下，激光雷达对叶片进行点云扫描进行，通过点云扫描数据监测净空距离；广角镜头相机拍摄整根叶片图像，通过提取拍摄图像中的整根叶片轮廓，进行叶片的形变监测；在低风速下，相机监测模块中的广角镜头相机逐一对叶片进行跟踪拍摄，并通过图像算法控制长焦镜头相机对跟踪中的叶片进行连续高精度拍摄，采用缺陷分析模型处理长焦镜头相机拍摄的叶片图像，识别出缺陷位置，同时对长焦镜头相机连续拍摄后的照片进行相对位置和姿态计算，生成完整风机叶片的空间排布图像，根据识别出的缺陷在完整拼接叶片图像的位置信息，确定该缺陷在叶片表面的位置和尺寸大小。
2.根据权利要求1所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，所述风电机组外部监测机器人系统包括以下工作步骤：
步骤1、根据智能云台、激光雷达、长焦和广角镜头相机等载荷重量及尺寸，搭建合适的动力系统和运动模块；
步骤2、叶片净空距离监测：建立塔筒表面坐标系，并确定塔筒表面坐标系与激光雷达原点坐标系之间的转换关系，采用激光雷达以固定视角扫描叶片，获得叶片与塔筒表面之间的最小距离，即净空距离，并且建立净空距离时序图，以发现异常并预警；
步骤3、在高风速下监测叶片的几何形变：，采用广角镜头相机固定拍摄角度高速拍摄叶片及旋转动态，根据拍摄图像范围和叶片成像时间计算叶片旋转速度，对叶片进行编号标记；然后固定叶片构图区域，对该区域的叶片进行边缘轮廓提取，以叶轮为基准对任意时刻的叶片轮廓与初期模型进行重叠配准；最后计算不同叶片每个时刻的形变量，并确定变形区域与位置，并进行时序分析，实现叶片形变监测与预警；
步骤4、在低风速下进行完整叶片图像采集：首先以塔筒表面为基准建立塔筒表面坐标系，采用广角镜头相机对叶片中轴线进行图像识别，从而确定叶片运动轨迹与位置，然后将叶片运动轨迹坐标信息传递给智能云台，使长焦相机对运动的叶片进行连续跟踪拍摄，获取完整的叶片图像集；
步骤5、对低风速下采集的叶片图像集进行叶片空间排布：根据叶片运动轨迹坐标信息，计算叶片图像集中每一张跟踪拍摄图像的相对空间位置和姿态，将叶片图像集按照叶片形态走向，按叶根到叶尖或叶尖到叶根的顺序排布到一张完整图面中；
步骤6、对低风速下采集的叶片图像集进行叶片表面缺陷检测：采用YOLOv8模型识别叶片外表面缺陷类型，构建叶片坐标系，计算获得缺陷的尺寸大小和实际位置。
3.根据权利要求2所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，激光雷达对风机叶片进行净空距离监测的具体方法为：
步骤2.1、机器人根据风向信息及机组轮毂朝向信息，围绕塔筒自动旋转，使检测模块正对叶片，并始终保持同轮毂朝向一致；
步骤2.2、激光雷达固定正前方视角扫描叶片，采集点云数据；
步骤2.3、根据激光雷达内参数标定，以及激光雷达与塔面的关系，将激光雷达坐标系下获得的点云数据转换为塔筒表面坐标系下的点云数据；
步骤2.4、当叶片扫过激光雷达时，系统逐次获取叶片距离塔筒的最小值作为净空距离，该数值大于正常参考值时表示叶片运作净空为正常，反之则记录并预警。
4.根据权利要求2所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，风机叶片在高风速下工作时，采用广角镜头相机进行形变监测的具体步骤为：
步骤3.1、固定广角镜头相机，保证拍摄范围内能够完整地拍摄整个叶片；
步骤3.2、以叶轮区域作为基准匹配区域，并将三个叶片的叶轮基准匹配区域进行标记区分；
步骤3.3、广角镜头高速拍摄叶片，记录第一次出现叶轮时刻以及消失在拍摄范围内时刻/>根据相机拍摄范围像素累计值α与叶片转速υ的关系式获得叶片转速，所述关系式为：
其中，γ表示α转换为拍摄范围的空间弧度值对应的转换系数，t1、t2和t3分别表示叶片1,2,3的时刻，将开始拍摄第一次出现的叶片记为叶片1，随后记为叶片2和叶片3；
步骤3.4、根据开机拍摄υ，求解任意时刻t所对应的叶片编号，叶片编号求解方法为：
其中，当时，表示拍摄范围内的叶片属于叶片3；当/>时，表示拍摄范围内的叶片属于叶片2；当/>时，表示拍摄范围内的叶片属于叶片1；
步骤3.5、固定叶片构图区域，选择拍摄图像中检测叶片的叶轮与初期模型中的叶轮重合时刻的叶片；然后采用Canny边缘提取算法，提取图像中叶片边缘；最后对提取结果中存在间断不连续的边缘数据进行平滑处理；
步骤3.6：将处理后的边缘数据进行平滑连接，构成新的叶片边缘曲线；
步骤3.7、将实时拍摄叶片获得的叶片边缘曲线与初期叶片模型的叶轮部分进行重叠匹配；
步骤3.8、计算每个像素初期叶片模型的叶片边缘曲线与实时拍摄的叶片对应y值差异di，
di＝yi-yj；
其中，yi表示初期叶片模型值，yj表示该时刻叶片值；
步骤3.9、设定变形阈值T，当|di|>T时记为该处叶片变形，并记录对应的x值；
步骤3.10、重复步骤3.8和步骤3.9，从而确定整个叶片变形区域x值范围与形变量
步骤3.11、将实时记录每个叶片对应每次检测的形变位置、范围、形变量和时间，自动生成时序分析图，从而获取叶片形变过程，为后续预测监测提供依据。
5.根据权利要求2所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，在低风速下采集完整叶片图像的具体步骤为：
步骤4.1、以塔筒表面坐标系为基准，分别构建以智能云台、长焦镜头相机和广角镜头相机为原点的三维坐标参数(xh,yh,zh)、(xl,yl,zl)和(xw,yw,zw)；
步骤4.2、广角镜头相机调整角度使其可拍摄到一根完整的叶片，并对该叶片进行跟踪拍摄，同时标记出叶片中轴线；根据长焦镜头相机的拍摄范围，对广角镜头相机拍摄的叶片范围进行划分，将广角镜头相机拍摄的叶片范围沿叶片中轴线划分为多个部分重叠的长焦镜头相机拍摄范围，通过划分的长焦镜头相机拍摄范围内的各图像中心坐标，设定长焦镜头相机的拍摄轨迹；
步骤4.3、长焦镜头相机根据设定的拍摄轨迹从叶尖或叶根开始对被跟踪的叶片进行拍摄，获得叶片的完整图像集。
6.根据权利要求5所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，所述步骤4.2中，先确定划分的长焦镜头相机拍摄范围内的各图像中心坐标在广角镜头相机坐标系下的坐标参数，然后再将各图像中心坐标转换为塔筒表面坐标系下的坐标参数，以转换后的塔筒表面坐标系下的图像中心坐标作为长焦镜头相机拍摄范围的中心参考点，对长焦镜头相机的拍摄轨迹进行指引。
7.根据权利要求6所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，所述步骤4.2中，将划分的各图像中心坐标转换为塔筒表面坐标系下的拍摄范围中心坐标的转换关系为：
其中，表示广角镜头相机坐标系与塔筒表面坐标系之间的坐标轴平移量；/>R(Δω)和R(Δε)分别表示x轴、y轴和z轴的广角镜头相机坐标系相对于塔筒表面坐标系旋转矩阵；/>表示长焦镜头相机坐标系与广角镜头相机坐标系之间的坐标轴平移量；R(Δω')和R(Δε')分别表示x轴、y轴和z轴的长焦镜头相机坐标系相对于塔筒表面坐标系旋转矩阵；/>表示塔筒表面坐标系下长焦镜头相机拍摄范围的图像中心三维坐标。
8.根据权利要求2所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，获取长焦镜头相机拍摄的完整叶片图像集后，通过图像处理和空间排布，得到完整叶片平面图的步骤为：
步骤5.1、根据相机的实际拍摄物和拍摄图像对安装的相机进行参数标定，并逐一对每张叶片图像进行修正；
步骤5.2、采用中值滤波器对叶片图像进行降噪处理，获取清晰的风机叶片图像；
步骤5.3、对图像进行锐化处理，凸显边缘特征像素和缺陷像素；
步骤5.4、采用Canny边缘提取算法提取完整新的叶片边缘曲线；
步骤5.5、根据叶片运动轨迹坐标信息，计算叶片图像集中每一张跟踪拍摄图像的相对空间位置和姿态，生成完整的风机叶片的空间排布图像。
9.根据权利要求8所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，所述步骤5.5中，利用叶片运动轨迹坐标信息，计算轨迹坐标的最大值和最小值，设定叶片空间排布图像的分辨率，确定叶片空间排布图像的尺寸；计算每一张跟踪拍摄图像在排布图像空间中的相对空间位置和姿态，采用图像纠正算法将叶片图像集重投影到排布图像空间中；将同属一组风机叶片的采样图片逐一进行空间排布，从而生成完整的风机叶片图像。
10.根据权利要求2所述的一种新型无人值守式风电机组外部监测机器人系统，其特征在于，采用YOLOv8算法对预处理后的叶片图像进行缺陷检测和定位的具体方法为：
步骤6.1、收集大量叶片外表面缺陷图像，对YOLOv8模型进行训练；
步骤6.2、将训练好的模型对经过降噪和锐化处理的叶片图像进行检测，确定叶片外表面缺陷，并获得缺陷所在的图像像素坐标；
步骤6.3、若发现存在缺陷叶片图像，对具有缺陷的叶片图像进行拼接，再通过叶片编号确定缺陷叶片，并提取该叶片尖和叶片根中心像素；
步骤6.4、将叶片根中心像素作为坐标原点，以叶片根中心与叶尖连线作为x轴，y轴垂直于x轴向上；
步骤6.5、假设叶片拼接的第i张图像的左下角坐标为(xi,yi)，缺陷的图像位于第n张图像，其中缺陷检测的目标框中心坐标在该缺陷图像中的像素坐标为(Dx,Dy)，则缺陷位置相对于叶根位置(x,y):
步骤6.6：根据叶片实际长度L和新拼接完成的叶片图像坐标对应的像素长度l，求解长度比例系数k＝L/l，再根据缺陷距离叶片根中心的水平距离dis求解缺陷实际位置，其中dis表达式为：
并通过比例系数k和缺陷的长宽像素尺寸，获得缺陷实际长宽尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410379729.8A CN118224050B (zh) | 2024-03-29 | 2024-03-29 | 一种无人值守式风电机组外部监测机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410379729.8A CN118224050B (zh) | 2024-03-29 | 2024-03-29 | 一种无人值守式风电机组外部监测机器人系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118224050A true CN118224050A (zh) | 2024-06-21 |
| CN118224050B CN118224050B (zh) | 2024-10-11 |
Family
ID=91511642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410379729.8A Active CN118224050B (zh) | 2024-03-29 | 2024-03-29 | 一种无人值守式风电机组外部监测机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118224050B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014043973A1 (zh) * | 2012-09-24 | 2014-03-27 | 天津市亚安科技股份有限公司 | 云台摄像机自动定位角度计算方法 |
| CN112267980A (zh) * | 2020-10-26 | 2021-01-26 | 无锡风电设计研究院有限公司 | 风力发电机组的叶片净空监测系统和方法 |
| CN112539143A (zh) * | 2020-11-30 | 2021-03-23 | 明阳智慧能源集团股份公司 | 一种通过叶尖发射信号的风力发电机组净空监测方法 |
| CN113586367A (zh) * | 2021-09-28 | 2021-11-02 | 浙江中自庆安新能源技术有限公司 | 一种基于风荷载的自适应塔筒叶尖净空测量方法及系统 |
| WO2022082856A1 (zh) * | 2020-10-19 | 2022-04-28 | 广东科凯达智能机器人有限公司 | 一种巡检目标自动识别跟踪的方法、系统及机器人 |
| CN114623049A (zh) * | 2022-01-29 | 2022-06-14 | 西安翔迅科技有限责任公司 | 一种风电机组塔架净空监测方法、计算机程序产品 |
| WO2023029445A1 (zh) * | 2021-08-31 | 2023-03-09 | 北京金风科创风电设备有限公司 | 一种风力发电机净空值的测量方法及装置 |
-
2024
- 2024-03-29 CN CN202410379729.8A patent/CN118224050B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014043973A1 (zh) * | 2012-09-24 | 2014-03-27 | 天津市亚安科技股份有限公司 | 云台摄像机自动定位角度计算方法 |
| WO2022082856A1 (zh) * | 2020-10-19 | 2022-04-28 | 广东科凯达智能机器人有限公司 | 一种巡检目标自动识别跟踪的方法、系统及机器人 |
| CN112267980A (zh) * | 2020-10-26 | 2021-01-26 | 无锡风电设计研究院有限公司 | 风力发电机组的叶片净空监测系统和方法 |
| CN112539143A (zh) * | 2020-11-30 | 2021-03-23 | 明阳智慧能源集团股份公司 | 一种通过叶尖发射信号的风力发电机组净空监测方法 |
| WO2023029445A1 (zh) * | 2021-08-31 | 2023-03-09 | 北京金风科创风电设备有限公司 | 一种风力发电机净空值的测量方法及装置 |
| CN113586367A (zh) * | 2021-09-28 | 2021-11-02 | 浙江中自庆安新能源技术有限公司 | 一种基于风荷载的自适应塔筒叶尖净空测量方法及系统 |
| CN114623049A (zh) * | 2022-01-29 | 2022-06-14 | 西安翔迅科技有限责任公司 | 一种风电机组塔架净空监测方法、计算机程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118224050B (zh) | 2024-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109632103B (zh) | 高空建筑物温度分布与表面裂缝远程监测系统及监测方法 | |
| CN111255636B (zh) | 确定风力发电机组的塔架净空的方法和装置 | |
| CN102567983B (zh) | 即时红外热图中被监测目标位置的确定方法及应用 | |
| CN112525162A (zh) | 一种无人机测量输电线路影像距离的系统及方法 | |
| CN112360699A (zh) | 一种全自动风力发电机组叶片智能巡视及诊断分析方法 | |
| CN108258613B (zh) | 智能巡线光电吊舱及实现巡线的方法 | |
| CN111911364B (zh) | 叶尖塔筒净空监测方法 | |
| CN106403900B (zh) | 飞行物追踪定位系统及方法 | |
| CN114373138A (zh) | 一种高速铁路全自动无人机巡检方法及系统 | |
| CN110533649B (zh) | 一种无人机通用结构裂缝识别检测装置及方法 | |
| US20230105991A1 (en) | Method of imaging a wind turbine rotor blade | |
| CN115372412B (zh) | 一种涡轮叶片基于六点定位的特征测量方法 | |
| CN113900436B (zh) | 巡检控制方法、装置、设备和存储介质 | |
| CN114241177A (zh) | 一种基于线阵扫描成像的机场道面表观图像检测系统 | |
| CN111208146B (zh) | 一种隧道线缆检测系统及检测方法 | |
| CN116501091B (zh) | 基于无人机自动调整航线的风机巡检控制方法和装置 | |
| CN113780246A (zh) | 无人机三维航迹监测方法、系统以及三维监测装置 | |
| CN115773209A (zh) | 一种风机叶片净空检测装置及检测方法 | |
| CN118224050B (zh) | 一种无人值守式风电机组外部监测机器人系统 | |
| Mitra et al. | A UAV Payload for Real-time Inspection of Highway Ancillary Structures | |
| EP4009272A1 (en) | Unmanned airborne visual diagnosis of an operating wind turbine generator | |
| US20240175426A1 (en) | Method of imaging a wind turbine rotor blade | |
| CN117146727B (zh) | 基于机器视觉的塔筒焊缝监测方法及系统 | |
| CN117536797B (zh) | 一种基于无人机的风机叶片巡检系统及方法 | |
| CN112484692B (zh) | 一种飞行器与云层相对高度视觉检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 2 / F, building 8, Chutian 181 cultural and Creative Industrial Park, Hubei Daily Media Group, 181 Donghu Road, Wuchang District, Wuhan City, Hubei Province, 430000 Applicant after: Wuhan Dite Juneng Technology Co.,Ltd. Address before: 2 / F, building 8, Chutian 181 cultural and Creative Industrial Park, Hubei Daily Media Group, 181 Donghu Road, Wuchang District, Wuhan City, Hubei Province, 430000 Applicant before: Wuhan Dite Imaging Technology Co.,Ltd. Country or region before: China |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |