CN112068539A - 一种风电机组叶片无人机自动驾驶巡检方法 - Google Patents
一种风电机组叶片无人机自动驾驶巡检方法 Download PDFInfo
- Publication number
- CN112068539A CN112068539A CN201910432833.8A CN201910432833A CN112068539A CN 112068539 A CN112068539 A CN 112068539A CN 201910432833 A CN201910432833 A CN 201910432833A CN 112068539 A CN112068539 A CN 112068539A
- Authority
- CN
- China
- Prior art keywords
- wind turbine
- unmanned aerial
- aerial vehicle
- blade
- turbine generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 238000002360 preparation method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 90
- 238000004422 calculation algorithm Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 39
- 238000001914 filtration Methods 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000012821 model calculation Methods 0.000 claims description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000010977 unit operation Methods 0.000 description 2
- 241000571697 Icarus Species 0.000 description 1
- 208000025274 Lightning injury Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Wind Motors (AREA)
Abstract
本发明提供了一种风电机组叶片无人机自动驾驶巡检方法，该风电机组叶片无人机自动驾驶巡检方法通过对风电机组和无人机分别进行适应性的准备布置工作，并根据该无人机在飞行过程中实时回传的图像，确定该风电机组叶片的地理坐标信息，再根据该风电机组叶片的地理坐标信息，对该无人机的巡检路线进行实时规划调整，最后指示该无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于该风电机组叶片的图像。
Description
技术领域
本发明涉及风力发电监控方法的技术领域，特别涉及一种风电机组叶片无人机自动驾驶巡检方法。
背景技术
叶片是风电机组的一个重要组成部件，由于风机所处环境较为恶劣，叶片在严苛的环境中运行时受到风沙、雨雪、雷电等自然因素的破坏，形成表面脱落、砂眼、雷击、叶边磨损等缺陷，需要通过对叶片进行定期检查和维护以预防缺陷造成的事故发生。传统的叶片巡检多采用人工方式，作业强度大、停机周期长并伴有人员安全风险。随着技术的发展，无人机在巡检工作的应用范围日益广泛。目前业内较为常见的巡检方式是由操作人员通过地面站显示的实时图像观察叶片表面状态，当发现可疑点时远程操作无人机采集各角度的画面以便进一步详细检查。这种叶片巡检方式在解决了巡检效率和人员安全问题的同时也具有一定的局限性：叶片检查需要由专门的运维人员进行，而无人机的操作门槛又相对较高，从而需要培养一批既掌握叶片缺陷知识又具有无人机操作能力的运维人员，无形中加大了人力成本。因此，无人机自动驾驶巡检系统已成为新的发展趋势。无人机自动驾驶是模仿驾驶员的动作驾驶飞行的，它由敏感元件、计算机和伺服机构组成。按照规划的飞行路线进行飞行，通过无人机机载的GPS接收机接收卫星发射信号，以获取实时定位信息，当某种干扰使飞机偏离原有姿态时，敏感元件(如陀螺仪)以及二维激光雷达检测出姿态、位置的变化；计算机算出需要的修正舵偏量；伺服机构(舵机)将舵面操作到所需位置。与飞机组成反馈回路，保证飞机稳定飞行。
目前，国外针对无人机系统自动驾驶技术研究已开展了许多卓有成效的工作如Johnson等提出的可靠自主控制技术，Ward等提出无人机作战飞机的智能自动控制，Cheng认为模型预测控制MPC可以提高UAV自主水平，Re ichard等研究了自主控制的智能态势感知。在无人机系统方面，目前美军“捕食者”、“全球鹰”都实现了2～3级ACI。无人战斗武器旋翼机将实现7～9级ACL，实现远程复杂低空环境下的自主任务能力，但目前还有很多困难有待克服。2008年8月，洛·马公司智能控制与自主重规划无人系统ICARUS动态地重规划了系统任务，使无人机在动态变化的环境中能够完成复杂的任务。国内对无人机系统相关技术的研究起步较晚，主要解决了飞行控制问题，平台的自主能力不强，无法执行诸如高密度防控体系下的突击和大纵深精确打击等复杂任务。其中，周锐等提出无人战术飞机分层式智能控制结构，张新国等探讨了不确定环境下的自主飞行控制面临的挑战，唐强等探讨了多无人机自主飞行控制中的飞行规划与重规划、自主飞行控制结构和自主着陆等问题，杨晖等提出了无人作战飞机可变权限自主的结构和方法，高劲松等研究了无人机的自主性，牛轼峰等提出了基于图像融合的无人机自主控制策略，王宏伦等阐述了无人机的自主飞行控制系统组成等。总的来说，国内外已有自主控制水平普遍不高，缺乏对于不确定事件的感知，判断与处理能力，只能实现无人机系统的相对确定环境下的自主或半自主控制，要实现在快速变化的不确定环境下，真正意义上的无人机系统自主控制，目前技术尚不成熟。
发明内容
针对现有技术存在的缺陷，本发明提供一种风电机组叶片无人机自动驾驶巡检方法，该风电机组叶片无人机自动驾驶巡检方法通过对风电机组和无人机分别进行适应性的准备布置工作，并根据该无人机在飞行过程中实时回传的图像，确定该风电机组叶片的地理坐标信息，再根据该风电机组叶片的地理坐标信息，对该无人机的巡检路线进行实时规划调整，最后指示该无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于该风电机组叶片的图像。该风电机组叶片无人机自动驾驶巡检方法实现了无人机自动驾驶巡检的一键起飞、Mask R-CNN神经网络识别风叶、PNP算法及BA优化计算风叶地理坐标、巡检路线实时规划、定焦拍摄、自动避障、自主返航的功能，其能够针对风电机组叶片巡检过程，需要了解风机叶片的位置后，才能设计规划飞行路线，完成无人机自动驾驶、自动巡检工作。
本发明提供一种风电机组叶片无人机自动驾驶巡检方法，其特征在于，所述风电机组叶片无人机自动驾驶巡检方法包括如下步骤：
步骤(1)，对风电机组和无人机分别进行适应性的准备布置工作；
步骤(2)，根据所述无人机在飞行过程中实时回传的图像，确定所述风电机组叶片的地理坐标信息；
步骤(3)，根据所述风电机组叶片的地理坐标信息，对所述无人机的巡检路线进行实时规划调整；
步骤(4)，指示所述无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于所述风电机组叶片的图像；
进一步，在所述步骤(1)中，对风电机组和无人机分别进行适应性的准备布置工作具体包括，
步骤(101)，确定所述风电机组的机组运行状态，并根据所述机组运行状态的确定结果设置所述风电机组的相关参数，其中，所述风电机组的相关参数包括风电机组的杆塔高度和/或叶片长度；
步骤(102)，设置所述无人机的起飞地点和返航地点，以及检查所述无人机的设备运行情况；
步骤(103)，在检查确定所述无人机的设备运行情况正常时，启动所述无人机执行飞行任务；
进一步，在所述步骤(2)中，根据所述无人机在飞行过程中实时回传的图像，确定所述风电机组叶片的地理坐标信息具体包括，
步骤(201)，判断所述无人机实时回传的图像中是否包含所述风电机组的所有叶片对应全景图像，若是，则进入下面步骤(202)，若否，则对所述无人机进行状态调整操作后、再次对所述无人机实时回传的图像进行上述判断处理；
步骤(202)，对所述风电机组的所有叶片对应全景图像进行目标识别处理和滤波处理，以此得到对应的中间处理图像；
步骤(203)，对所述中间处理图像进行拐角点检查处理和预设算法模型解算处理，以此得到关于所述风电机组叶片的中间地理坐标；
步骤(204)，对所述中间地理坐标进行预设算法模型优化处理，以此得到所述风电机组叶片的地理坐标信息；
进一步，在所述步骤(202)中，对所述风电机组的所有叶片对应全景图像进行目标识别处理和滤波处理，以此得到对应的中间处理图像具体包括，
步骤(2021)，对所述风电机组的所有叶片对应全景图像进行Mask R-CNN神经网络算法模型的识别处理，以此得到关于所述风电机组的所有叶片结构的图像检测信息；
步骤(2022)，对所述所有叶片结构的图像检测信息进行约束关系滤波处理和非目标滤波处理，以此修正所述图像检测信息；
步骤(2023)，对经过所述约束关系滤波处理和非目标滤波处理的所述图像检测信息进行检测对象的判断处理，以此判断当前所述全景图像中的风电机组是否属于目标检测对象，并确定得到所述中间处理图像；
进一步，在所述步骤(203)中，对所述中间处理图像进行拐角点检查处理和预设算法模型解算处理，以此得到关于所述风电机组叶片的中间地理坐标具体包括，
步骤(2031)，对所述中间处理图像进行FAST拐角点检测处理，以此获得关于叶片的叶尖像素坐标；
步骤(2032)，通过PnP算法模型对叶尖像素坐标进行解算处理，以此计算得到关于所述叶片的叶尖地理三维坐标，并作为所述中间地理坐标；
或者，
在所述步骤(204)中，对所述中间地理坐标进行预设算法模型优化处理，以此得到所述风电机组叶片的地理坐标信息具体包括，
通过BA算法模型对所述中间地理坐标进行坐标优化处理，以此得到所述风电机组叶片的地理坐标信息；
进一步，在所述步骤(2021)中，对所述风电机组的所有叶片对应全景图像进行Mask R-CNN神经网络算法模型的识别处理，以此得到关于所述风电机组的所有叶片结构的图像检测信息具体包括，
步骤(20211)，将Faster R-CNN算法模型和FCN算法模型纳入同一框架中形成所述Mask R-CNN神经网络算法模型；
步骤(20212)，通过所述Faster R-CNN算法模型对所述所有叶片对应全景图像进行分类标签处理和候选窗口确定处理；
步骤(20213)，通过所述FCN算法模型，确定所述所有叶片结构的图像检测信息中目标叶片的轮廓；
步骤(20214)，基于上述步骤(20212)和步骤(20213)的处理结果，获得关于所述风电机组的所有叶片结构的图像检测信息；
进一步，在所述步骤(2022)中，对所述所有叶片结构的图像检测信息进行约束关系滤波处理和非目标滤波处理，以此修正所述图像检测信息具体包括，
步骤(20221)，通过关于风电机组的数据集合，确定所述风电机组的结构参数和叶尖的像素坐标，以此进行所述非目标滤波处理；
步骤(20222)，建立关于风电机组的严格形状约束条件，并判断所述图像检测信息通过预设算法验证得到的各个boundingbox是否满足所述严格形状约束条件，以此进行所述约束关系滤波处理；
进一步，在所述步骤(2032)中，通过PnP算法模型对叶尖像素坐标进行解算处理，以此计算得到关于所述叶片的叶尖地理三维坐标具体包括，
步骤(20321)，在独立空间直角坐标系中，构建下面公式(1)所示的坐标方程式
在上述公式(1)中，[A B C]T为叶尖的地理坐标，L为叶片的长度；
步骤(20322)，获取无人机中相机的内部参数、畸变参数，叶尖像素坐标，在相机坐标系中相机的姿态角和无人机的偏航角，以此计算出风电机组的定向角α和叶片的倾斜角θ；
步骤(20323)，根据下面公式(2)-(4)分别计算出叶尖的地理坐标[A B C]T
A：
B：
C：
在上述公式(2)-(4)中，(X0，Y0，Z0)为风电机组的GPS坐标，H为风电机组的杆塔高度，H为叶片的长度，α为风电机组的定向角θ为，叶片的倾斜角；
进一步，在所述步骤(3)中，根据所述风电机组叶片的地理坐标信息，对所述无人机的巡检路线进行实时规划调整具体包括，
步骤(301)，根据所述风电机组叶片的地理坐标信息，初步规划设计所述无人机的飞行路线；
步骤(302)，通过二维激光雷达获取所述无人机与叶片之间的距离信息、所述无人机与叶片之间的角度信息以及所述无人机的位置姿态信息；
步骤(303)，根据所述距离信息、所述角度信息和所述位置姿态信息，实时确定所述叶片的三维坐标信息；
步骤(304)，根据所述叶片的三维坐标信息，对所述无人机的实时飞行路径进行规划调整；
进一步，在所述步骤(4)中，指示所述无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于所述风电机组叶片的图像具体包括，
步骤(401)，根据无人机的飞行路线、叶片长度和图像拍摄帧数中的至少一者，确定无人机中相机的图像拍摄间隔；
步骤(402)，调整相机对应云台的姿态，并指示所述相机拍摄关于所述风电机组叶片的图像；
步骤(403)，通过计算机视觉识别的方式，对所述图像进行识别处理，以此识别叶片平均像素中心坐标与图像中心坐标之间的偏差；
步骤(404)，若所述偏差符合预设可接受条件，则确定当前拍摄的图像为最终图像；
步骤(405)，若所述偏差不符合预设可接受条件，则根据所述偏差判断，计算获得所述云台的姿态调整修正值并进入下面步骤(406)；
步骤(406)，根据所述姿态调整修正值，指示所述云台调整所述相机的姿态，并重新进行拍摄图像。
相比于现有技术，该风电机组叶片无人机自动驾驶巡检方法通过对风电机组和无人机分别进行适应性的准备布置工作，并根据该无人机在飞行过程中实时回传的图像，确定该风电机组叶片的地理坐标信息，再根据该风电机组叶片的地理坐标信息，对该无人机的巡检路线进行实时规划调整，最后指示该无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于该风电机组叶片的图像。该风电机组叶片无人机自动驾驶巡检方法实现了无人机自动驾驶巡检的一键起飞、Mask R-CNN神经网络识别风叶、PNP算法及BA优化计算风叶地理坐标、巡检路线实时规划、定焦拍摄、自动避障、自主返航的功能，其能够针对风电机组叶片巡检过程，需要了解风机叶片的位置后，才能设计规划飞行路线，完成无人机自动驾驶、自动巡检工作。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种风电机组叶片无人机自动驾驶巡检方法的流程示意图。
图2为本发明提供的一种风电机组叶片无人机自动驾驶巡检方法中无人机飞行路径的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种风电机组叶片无人机自动驾驶巡检方法的流程示意图。该风电机组叶片无人机自动驾驶巡检方法包括如下步骤：
步骤(1)，对风电机组和无人机分别进行适应性的准备布置工作。
优选地，在该步骤(1)中，对风电机组和无人机分别进行适应性的准备布置工作具体包括，
步骤(101)，确定该风电机组的机组运行状态，并根据该机组运行状态的确定结果设置该风电机组的相关参数，其中，该风电机组的相关参数包括风电机组的杆塔高度和/或叶片长度；
步骤(102)，设置该无人机的起飞地点和返航地点，以及检查该无人机的设备运行情况；
步骤(103)，在检查确定该无人机的设备运行情况正常时，启动该无人机执行飞行任务。
步骤(2)，根据该无人机在飞行过程中实时回传的图像，确定该风电机组叶片的地理坐标信息。
优选地，在该步骤(2)中，根据该无人机在飞行过程中实时回传的图像，确定该风电机组叶片的地理坐标信息具体包括，
步骤(201)，判断该无人机实时回传的图像中是否包含该风电机组的所有叶片对应全景图像，若是，则进入下面步骤(202)，若否，则对该无人机进行状态调整操作后、再次对该无人机实时回传的图像进行上述判断处理；
步骤(202)，对该风电机组的所有叶片对应全景图像进行目标识别处理和滤波处理，以此得到对应的中间处理图像；
步骤(203)，对该中间处理图像进行拐角点检查处理和预设算法模型解算处理，以此得到关于该风电机组叶片的中间地理坐标；
步骤(204)，对该中间地理坐标进行预设算法模型优化处理，以此得到该风电机组叶片的地理坐标信息。
优选地，在该步骤(202)中，对该风电机组的所有叶片对应全景图像进行目标识别处理和滤波处理，以此得到对应的中间处理图像具体包括，
步骤(2021)，对该风电机组的所有叶片对应全景图像进行Mask R-CNN神经网络算法模型的识别处理，以此得到关于该风电机组的所有叶片结构的图像检测信息；
步骤(2022)，对该所有叶片结构的图像检测信息进行约束关系滤波处理和非目标滤波处理，以此修正该图像检测信息；
步骤(2023)，对经过该约束关系滤波处理和非目标滤波处理的该图像检测信息进行检测对象的判断处理，以此判断当前该全景图像中的风电机组是否属于目标检测对象，并确定得到该中间处理图像。
优选地，在该步骤(203)中，对该中间处理图像进行拐角点检查处理和预设算法模型解算处理，以此得到关于该风电机组叶片的中间地理坐标具体包括，
步骤(2031)，对该中间处理图像进行FAST拐角点检测处理，以此获得关于叶片的叶尖像素坐标；
步骤(2032)，通过PnP算法模型对叶尖像素坐标进行解算处理，以此计算得到关于该叶片的叶尖地理三维坐标，并作为该中间地理坐标。
优选地，在该步骤(204)中，对该中间地理坐标进行预设算法模型优化处理，以此得到该风电机组叶片的地理坐标信息具体包括，
通过BA算法模型对该中间地理坐标进行坐标优化处理，以此得到该风电机组叶片的地理坐标信息。
优选地，在该步骤(2021)中，对该风电机组的所有叶片对应全景图像进行Mask R-CNN神经网络算法模型的识别处理，以此得到关于该风电机组的所有叶片结构的图像检测信息具体包括，
步骤(20211)，将Faster R-CNN算法模型和FCN算法模型纳入同一框架中形成该Mask R-CNN神经网络算法模型；
步骤(20212)，通过该Faster R-CNN算法模型对该所有叶片对应全景图像进行分类标签处理和候选窗口确定处理；
步骤(20213)，通过该FCN算法模型，确定该所有叶片结构的图像检测信息中目标叶片的轮廓；
步骤(20214)，基于上述步骤(20212)和步骤(20213)的处理结果，获得关于该风电机组的所有叶片结构的图像检测信息。
优选地，在该步骤(2022)中，对该所有叶片结构的图像检测信息进行约束关系滤波处理和非目标滤波处理，以此修正该图像检测信息具体包括，
步骤(20221)，通过关于风电机组的数据集合，确定该风电机组的结构参数和叶尖的像素坐标，以此进行该非目标滤波处理；
步骤(20222)，建立关于风电机组的严格形状约束条件，并判断该图像检测信息通过预设算法验证得到的各个bounding box是否满足该严格形状约束条件，以此进行该约束关系滤波处理。
优选地，在该步骤(2032)中，通过PnP算法模型对叶尖像素坐标进行解算处理，以此计算得到关于该叶片的叶尖地理三维坐标具体包括，
步骤(20321)，在独立空间直角坐标系中，构建下面公式(1)所示的坐标方程式
在上述公式(1)中，[A B C]T为叶尖的地理坐标，L为叶片的长度；
步骤(20322)，获取无人机中相机的内部参数、畸变参数，叶尖像素坐标，在相机坐标系中相机的姿态角和无人机的偏航角，以此计算出风电机组的定向角α和叶片的倾斜角θ；
步骤(20323)，根据下面公式(2)-(4)分别计算出叶尖的地理坐标[A B C]T
A：
B：
C：
在上述公式(2)-(4)中，(X0，Y0，Z0)为风电机组的GPS坐标，H为风电机组的杆塔高度，H为叶片的长度，α为风电机组的定向角θ为，叶片的倾斜角。
步骤(3)，根据该风电机组叶片的地理坐标信息，对该无人机的巡检路线进行实时规划调整。
优选地，在该步骤(3)中，根据该风电机组叶片的地理坐标信息，对该无人机的巡检路线进行实时规划调整具体包括，
步骤(301)，根据该风电机组叶片的地理坐标信息，初步规划设计该无人机的飞行路线；
步骤(302)，通过二维激光雷达获取该无人机与叶片之间的距离信息、该无人机与叶片之间的角度信息以及该无人机的位置姿态信息；
步骤(303)，根据该距离信息、该角度信息和该位置姿态信息，实时确定该叶片的三维坐标信息；
步骤(304)，根据该叶片的三维坐标信息，对该无人机的实时飞行路径进行规划调整。
步骤(4)，指示该无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于该风电机组叶片的图像。
优选地，在该步骤(4)中，指示该无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于该风电机组叶片的图像具体包括，
步骤(401)，根据无人机的飞行路线、叶片长度和图像拍摄帧数中的至少一者，确定无人机中相机的图像拍摄间隔；
步骤(402)，调整相机对应云台的姿态，并指示该相机拍摄关于该风电机组叶片的图像；
步骤(403)，通过计算机视觉识别的方式，对该图像进行识别处理，以此识别叶片平均像素中心坐标与图像中心坐标之间的偏差；
步骤(404)，若该偏差符合预设可接受条件，则确定当前拍摄的图像为最终图像；
步骤(405)，若该偏差不符合预设可接受条件，则根据该偏差判断，计算获得该云台的姿态调整修正值并进入下面步骤(406)；
步骤(406)，根据该姿态调整修正值，指示该云台调整该相机的姿态，并重新进行拍摄图像。
从上述实施例可以看出，该风电机组叶片无人机自动驾驶巡检方法通过对风电机组和无人机分别进行适应性的准备布置工作，并根据该无人机在飞行过程中实时回传的图像，确定该风电机组叶片的地理坐标信息，再根据该风电机组叶片的地理坐标信息，对该无人机的巡检路线进行实时规划调整，最后指示该无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于该风电机组叶片的图像。该风电机组叶片无人机自动驾驶巡检方法实现了无人机自动驾驶巡检的一键起飞、Mask R-CNN神经网络识别风叶、PNP算法及BA优化计算风叶地理坐标、巡检路线实时规划、定焦拍摄、自动避障、自主返航的功能，其能够针对风电机组叶片巡检过程，需要了解风机叶片的位置后，才能设计规划飞行路线，完成无人机自动驾驶、自动巡检工作。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种风电机组叶片无人机自动驾驶巡检方法，其特征在于，所述风电机组叶片无人机自动驾驶巡检方法包括如下步骤：
步骤(1)，对风电机组和无人机分别进行适应性的准备布置工作；
步骤(2)，根据所述无人机在飞行过程中实时回传的图像，确定所述风电机组叶片的地理坐标信息；
步骤(3)，根据所述风电机组叶片的地理坐标信息，对所述无人机的巡检路线进行实时规划调整；
步骤(4)，指示所述无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于所述风电机组叶片的图像。
2.如权利要求1所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(1)中，对风电机组和无人机分别进行适应性的准备布置工作具体包括，
步骤(101)，确定所述风电机组的机组运行状态，并根据所述机组运行状态的确定结果设置所述风电机组的相关参数，其中，所述风电机组的相关参数包括风电机组的杆塔高度和/或叶片长度；
步骤(102)，设置所述无人机的起飞地点和返航地点，以及检查所述无人机的设备运行情况；
步骤(103)，在检查确定所述无人机的设备运行情况正常时，启动所述无人机执行飞行任务。
3.如权利要求1所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(2)中，根据所述无人机在飞行过程中实时回传的图像，确定所述风电机组叶片的地理坐标信息具体包括，
步骤(201)，判断所述无人机实时回传的图像中是否包含所述风电机组的所有叶片对应全景图像，若是，则进入下面步骤(202)，若否，则对所述无人机进行状态调整操作后、再次对所述无人机实时回传的图像进行上述判断处理；
步骤(202)，对所述风电机组的所有叶片对应全景图像进行目标识别处理和滤波处理，以此得到对应的中间处理图像；
步骤(203)，对所述中间处理图像进行拐角点检查处理和预设算法模型解算处理，以此得到关于所述风电机组叶片的中间地理坐标；
步骤(204)，对所述中间地理坐标进行预设算法模型优化处理，以此得到所述风电机组叶片的地理坐标信息。
4.如权利要求3所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(202)中，对所述风电机组的所有叶片对应全景图像进行目标识别处理和滤波处理，以此得到对应的中间处理图像具体包括，
步骤(2021)，对所述风电机组的所有叶片对应全景图像进行Mask R-CNN神经网络算法模型的识别处理，以此得到关于所述风电机组的所有叶片结构的图像检测信息；
步骤(2022)，对所述所有叶片结构的图像检测信息进行约束关系滤波处理和非目标滤波处理，以此修正所述图像检测信息；
步骤(2023)，对经过所述约束关系滤波处理和非目标滤波处理的所述图像检测信息进行检测对象的判断处理，以此判断当前所述全景图像中的风电机组是否属于目标检测对象，并确定得到所述中间处理图像。
5.如权利要求3所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(203)中，对所述中间处理图像进行拐角点检查处理和预设算法模型解算处理，以此得到关于所述风电机组叶片的中间地理坐标具体包括，
步骤(2031)，对所述中间处理图像进行FAST拐角点检测处理，以此获得关于叶片的叶尖像素坐标；
步骤(2032)，通过PnP算法模型对叶尖像素坐标进行解算处理，以此计算得到关于所述叶片的叶尖地理三维坐标，并作为所述中间地理坐标；或者，
在所述步骤(204)中，对所述中间地理坐标进行预设算法模型优化处理，以此得到所述风电机组叶片的地理坐标信息具体包括，
通过BA算法模型对所述中间地理坐标进行坐标优化处理，以此得到所述风电机组叶片的地理坐标信息。
6.如权利要求4所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(2021)中，对所述风电机组的所有叶片对应全景图像进行Mask R-CNN神经网络算法模型的识别处理，以此得到关于所述风电机组的所有叶片结构的图像检测信息具体包括，
步骤(20211)，将Faster R-CNN算法模型和FCN算法模型纳入同一框架中形成所述MaskR-CNN神经网络算法模型；
步骤(20212)，通过所述Faster R-CNN算法模型对所述所有叶片对应全景图像进行分类标签处理和候选窗口确定处理；
步骤(20213)，通过所述FCN算法模型，确定所述所有叶片结构的图像检测信息中目标叶片的轮廓；
步骤(20214)，基于上述步骤(20212)和步骤(20213)的处理结果，获得关于所述风电机组的所有叶片结构的图像检测信息。
7.如权利要求4所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(2022)中，对所述所有叶片结构的图像检测信息进行约束关系滤波处理和非目标滤波处理，以此修正所述图像检测信息具体包括，步骤(20221)，通过关于风电机组的数据集合，确定所述风电机组的结构参数和叶尖的像素坐标，以此进行所述非目标滤波处理；
步骤(20222)，建立关于风电机组的严格形状约束条件，并判断所述图像检测信息通过预设算法验证得到的各个bounding box是否满足所述严格形状约束条件，以此进行所述约束关系滤波处理。
8.如权利要求5所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(2032)中，通过PnP算法模型对叶尖像素坐标进行解算处理，以此计算得到关于所述叶片的叶尖地理三维坐标具体包括，步骤(20321)，在独立空间直角坐标系中，构建下面公式(1)所示的坐标方程式
在上述公式(1)中，[A B C]T为叶尖的地理坐标，L为叶片的长度；
步骤(20322)，获取无人机中相机的内部参数、畸变参数，叶尖像素坐标，在相机坐标系中相机的姿态角和无人机的偏航角，以此计算出风电机组的定向角α和叶片的倾斜角θ；
步骤(20323)，根据下面公式(2)-(4)分别计算出叶尖的地理坐标[A B C]T
在上述公式(2)-(4)中，(X0，Y0，Z0)为风电机组的GPS坐标，H为风电机组的杆塔高度，H为叶片的长度，α为风电机组的定向角θ为，叶片的倾斜角。
9.如权利要求1所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(3)中，根据所述风电机组叶片的地理坐标信息，对所述无人机的巡检路线进行实时规划调整具体包括，
步骤(301)，根据所述风电机组叶片的地理坐标信息，初步规划设计所述无人机的飞行路线；
步骤(302)，通过二维激光雷达获取所述无人机与叶片之间的距离信息、所述无人机与叶片之间的角度信息以及所述无人机的位置姿态信息；
步骤(303)，根据所述距离信息、所述角度信息和所述位置姿态信息，实时确定所述叶片的三维坐标信息；
步骤(304)，根据所述叶片的三维坐标信息，对所述无人机的实时飞行路径进行规划调整。
10.如权利要求1所述的风电机组叶片无人机自动驾驶巡检方法，其特征在于：
在所述步骤(4)中，指示所述无人机在沿实时规划调整的巡检路线飞行的过程中，拍摄获得关于所述风电机组叶片的图像具体包括，
步骤(401)，根据无人机的飞行路线、叶片长度和图像拍摄帧数中的至少一者，确定无人机中相机的图像拍摄间隔；
步骤(402)，调整相机对应云台的姿态，并指示所述相机拍摄关于所述风电机组叶片的图像；
步骤(403)，通过计算机视觉识别的方式，对所述图像进行识别处理，以此识别叶片平均像素中心坐标与图像中心坐标之间的偏差；
步骤(404)，若所述偏差符合预设可接受条件，则确定当前拍摄的图像为最终图像；
步骤(405)，若所述偏差不符合预设可接受条件，则根据所述偏差判断，计算获得所述云台的姿态调整修正值并进入下面步骤(406)；
步骤(406)，根据所述姿态调整修正值，指示所述云台调整所述相机的姿态，并重新进行拍摄图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910432833.8A CN112068539A (zh) | 2019-05-23 | 2019-05-23 | 一种风电机组叶片无人机自动驾驶巡检方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910432833.8A CN112068539A (zh) | 2019-05-23 | 2019-05-23 | 一种风电机组叶片无人机自动驾驶巡检方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112068539A true CN112068539A (zh) | 2020-12-11 |
Family
ID=73658101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910432833.8A Pending CN112068539A (zh) | 2019-05-23 | 2019-05-23 | 一种风电机组叶片无人机自动驾驶巡检方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112068539A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598637A (zh) * | 2020-12-21 | 2021-04-02 | 华能安阳能源有限责任公司 | 一种风电机组叶片巡检叶片区域路线自动飞行方法 |
| CN112596543A (zh) * | 2020-12-14 | 2021-04-02 | 广东电网有限责任公司佛山供电局 | 多机协同巡检系统 |
| CN112700498A (zh) * | 2021-01-14 | 2021-04-23 | 中广核风电有限公司 | 一种基于深度学习的风力发电机叶尖定位方法及系统 |
| CN112905955A (zh) * | 2021-01-27 | 2021-06-04 | 天津航天中为数据系统科技有限公司 | 一种风机正反面自主巡检规划方法 |
| CN112904877A (zh) * | 2021-01-14 | 2021-06-04 | 星闪世图(台州)科技有限公司 | 一种基于无人机的风机叶片自动巡检系统及方法 |
| CN113107788A (zh) * | 2021-05-27 | 2021-07-13 | 上海扩博智能技术有限公司 | 基于纯视觉的叶片巡检方法 |
| CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
| CN114397910A (zh) * | 2022-01-17 | 2022-04-26 | 南方电网电力科技股份有限公司 | 一种风力发电机无人机自动巡检方法及相关装置 |
| CN114740895A (zh) * | 2022-05-18 | 2022-07-12 | 福建海电运维科技有限责任公司 | 一种基于无人机的风力发电机组叶片巡检路径规划方法 |
-
2019
- 2019-05-23 CN CN201910432833.8A patent/CN112068539A/zh active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112596543A (zh) * | 2020-12-14 | 2021-04-02 | 广东电网有限责任公司佛山供电局 | 多机协同巡检系统 |
| CN112596543B (zh) * | 2020-12-14 | 2024-04-09 | 广东电网有限责任公司佛山供电局 | 多机协同巡检系统 |
| CN112598637A (zh) * | 2020-12-21 | 2021-04-02 | 华能安阳能源有限责任公司 | 一种风电机组叶片巡检叶片区域路线自动飞行方法 |
| CN112700498A (zh) * | 2021-01-14 | 2021-04-23 | 中广核风电有限公司 | 一种基于深度学习的风力发电机叶尖定位方法及系统 |
| CN112904877A (zh) * | 2021-01-14 | 2021-06-04 | 星闪世图(台州)科技有限公司 | 一种基于无人机的风机叶片自动巡检系统及方法 |
| CN112905955A (zh) * | 2021-01-27 | 2021-06-04 | 天津航天中为数据系统科技有限公司 | 一种风机正反面自主巡检规划方法 |
| CN113107788A (zh) * | 2021-05-27 | 2021-07-13 | 上海扩博智能技术有限公司 | 基于纯视觉的叶片巡检方法 |
| CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
| CN114020002B (zh) * | 2021-12-20 | 2024-05-03 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
| CN114397910A (zh) * | 2022-01-17 | 2022-04-26 | 南方电网电力科技股份有限公司 | 一种风力发电机无人机自动巡检方法及相关装置 |
| CN114397910B (zh) * | 2022-01-17 | 2024-05-17 | 南方电网电力科技股份有限公司 | 一种风力发电机无人机自动巡检方法及相关装置 |
| CN114740895A (zh) * | 2022-05-18 | 2022-07-12 | 福建海电运维科技有限责任公司 | 一种基于无人机的风力发电机组叶片巡检路径规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112068539A (zh) | 一种风电机组叶片无人机自动驾驶巡检方法 | |
| CN109992006B (zh) | 一种电力巡检无人机的精准回收方法和系统 | |
| CN109765930B (zh) | 一种无人机视觉导航系统 | |
| CN104015931B (zh) | 一种无人机自动加油盲区视觉定位测控方法、系统及实验平台 | |
| CN108919821A (zh) | 一种面向规模化集中式光伏电站的无人机自动巡检系统及方法 | |
| CN112904877A (zh) | 一种基于无人机的风机叶片自动巡检系统及方法 | |
| CN110597264B (zh) | 无人机反制系统 | |
| CN109753076A (zh) | 一种无人机视觉追踪实现方法 | |
| CN110879601A (zh) | 一种对于未知风机结构的无人机巡检方法 | |
| CN114020002B (zh) | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 | |
| CN104298248A (zh) | 旋翼无人机精确视觉定位定向方法 | |
| CN113093772B (zh) | 一种无人机机库精确降落方法 | |
| CN111038721B (zh) | 一种基于图像识别的风力机叶片巡检无人机和巡检方法 | |
| CN107289953A (zh) | 一种无人机群的导航控制方法 | |
| CN112789568A (zh) | 控制和导航系统 | |
| CN106155086A (zh) | 一种道路检测无人机及其自动巡航方法 | |
| Vidal et al. | UAV vision aided positioning system for location and landing | |
| WO2020000790A1 (zh) | 立井检测方法及系统 | |
| CN106502257A (zh) | 一种无人机精准降落抗干扰的控制方法 | |
| CN111244822B (zh) | 一种复杂地理环境的固定翼无人机巡线方法、系统和装置 | |
| CN113156998A (zh) | 一种无人机飞控系统及控制方法 | |
| CN112947550A (zh) | 一种基于视觉伺服的非法飞行器打击方法及机器人 | |
| CN110307837B (zh) | 一种基于图像识别的无人机导航系统及方法 | |
| CN115761535A (zh) | 应用于土壤质量数据分析方法和系统 | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201211 |