CN113759960A - 基于无人机的风机叶片及塔筒巡检识别系统及方法 - Google Patents
基于无人机的风机叶片及塔筒巡检识别系统及方法 Download PDFInfo
- Publication number
- CN113759960A CN113759960A CN202110846306.9A CN202110846306A CN113759960A CN 113759960 A CN113759960 A CN 113759960A CN 202110846306 A CN202110846306 A CN 202110846306A CN 113759960 A CN113759960 A CN 113759960A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- defect
- module
- fan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007547 defect Effects 0.000 claims abstract description 161
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000007726 management method Methods 0.000 claims abstract description 39
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000013523 data management Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 33
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000013439 planning Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012550 audit Methods 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 7
- 235000017166 Bambusa arundinacea Nutrition 0.000 claims description 5
- 235000017491 Bambusa tulda Nutrition 0.000 claims description 5
- 241001330002 Bambuseae Species 0.000 claims description 5
- 235000015334 Phyllostachys viridis Nutrition 0.000 claims description 5
- 239000011425 bamboo Substances 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 241001442234 Cosa Species 0.000 claims description 3
- 235000009776 Rathbunia alamosensis Nutrition 0.000 claims description 3
- 244000097202 Rathbunia alamosensis Species 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 238000010223 real-time analysis Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了基于无人机的风机叶片及塔筒巡检识别系统及方法，该系统包括无人机自主飞行平台、智能识别及管理平台、可视化操作客户端平台，所述无人机自主飞行平台包括无人机、边缘计算模块、云台相机模块、无人机管控模块，所述边缘计算模块、所述云台相机模块均安装于所述无人机上，所述无人机管控模块与所述边缘计算模块通讯连接，所述无人机与所述边缘计算模块、所述云台相机模块通讯连接；所述智能识别及管理平台包括缺陷智能识别模块、数据管理模块、自学习训练模块；所述可视化操作客户端平台包括、数据加载模块、智能识别模块、数据上传模块、生成报告模块。本申请还公开了基于无人机的风机叶片及塔筒巡检识别方法。
Description
技术领域
本申请涉及无人机设备技术领域，具体是基于无人机的风机叶片及塔筒巡检识别系统及方法。
背景技术
针对风力发电机叶片检查，传统的方式主要为目测检查，形式上分为高倍望远镜、高空绕行下降目测检查和维修平台检查。上述方法均不同程度的存在检查效率低、经济成本高、高空坠落安全隐患等问题。
无人机作业在巡检过程中带来巨大便利的同时也产生了大量的巡检数据，但是，传统的单纯依靠人工审核的方式已不再适用，反而有可能导致更大的人力需求，从而降低了无人机的价值。随着人工智能的快速发展，为实现智能识别提供了强大的技术支持，基于人工智能的图像识别系统进一步提高了巡检的自动化和智能化。因此，亟需一种依靠人工智能的无人机巡检作业系统来进行智能化的风机叶片及塔筒巡检任务。
发明内容
本申请的目的在于提供基于无人机的风机叶片及塔筒巡检识别系统及方法，已解决上述背景技术中提出的技术问题。
为实现上述目的，本申请提供了一种基于无人机的风机叶片及塔筒巡检识别系统，包括无人机自主飞行平台、智能识别及管理平台、可视化操作客户端平台，所述无人机自主飞行平台包括采用RTK高精度定位实现长航时精准飞行的无人机，用于对传入视频进行实时分析并通过实时识别结果对所述无人机进行实时调整的边缘计算模块，通过禅思变焦相机和激光雷达对叶片跟踪、并通过变焦拍摄对叶片表面进行清晰拍照的云台相机模块，用于根据巡检任务控制所述无人机飞行作业的无人机管控模块，所述边缘计算模块、所述云台相机模块均安装于所述无人机上，所述无人机管控模块与所述边缘计算模块通讯连接，所述无人机与所述边缘计算模块、所述云台相机模块通讯连接；所述智能识别及管理平台包括用于对传入的巡检数据进行缺陷识别的缺陷智能识别模块，用于对巡检数据和缺陷数据进行存储和管理的数据管理模块，用于对收集缺陷数据进行迭代训练的自学习训练模块；所述可视化操作客户端平台包括用于接入数据信息的数据加载模块，通过深度学习以对接入的数据信息进行智能识别以识别出缺陷数据的智能识别模块，用于上传识别到的缺陷数据的数据上传模块，用于生成缺陷报告的生成报告模块。
通过无人机自主飞行平台的无人机智能巡检技术实现对风力发电叶片及塔筒的自动化巡检，该平台主要实现对风力发电叶片及塔筒的自主巡检，按照风机状态可以分为：停车状态和正常运行状态，根据不同的风机状态采取不同的巡检方式，可以分为基于低速状态的叶片细节的精细化拍照和基于正常运行状态的整体轮廓的视频拍摄。
通过智能识别及管理平台的人工智能技术实现对风力发电叶片及塔筒巡检图像的缺陷智能识别和检测，该平台主要针对风力叶片及塔筒的缺陷进行检测，按照风机的状态分为图片模式即风机停止运行状态和视频模式即风机正常运行状态，图片模式下是针对叶片进行精细化的缺陷检测，包括对细小裂纹，小范围胶衣脱落等缺陷检测；视频模式下是针对运动状态下的风机叶片进行较大缺陷的检测。
通过可视化操作客户端平台的缺陷自主学习训练实现对缺陷数据的自动再训练过程和对缺陷识别模块的迭代更新和精度提升，该平台主要是对现阶段初期模型精度较低，结合人工审核方式，增加训练库样本容量，进行迭代训练提高模型的精度，从而达到逐渐减少甚至替代人工的方式，该模块可以应用到包括通道环境、杆塔精细化和风力发电叶片及塔筒的模型精度的提高。
作为优选，所述缺陷智能识别模块包括缺陷目标检测单元和语义分割单元，所述缺陷目标检测单元用于示出输入的巡检图像上的缺陷位置和缺陷类型以识别出缺陷，所述语义分割单元用于对输入的巡检图像按照像素进行识别以计算缺陷所占像素大小。
作为优选，所述自学习训练模块包括用于统计并查看数据库中数据详细信息的信息统计和查看单元，选择需要训练模型的类型自动构建训练数据集的数据集构建单元，用于显示训练相关数据的训练可视化单元，用于发布训练精度高的模型的模型发布单元，用于对数据库中一级类别和二级类别进行增、删、改、查中的任意一种操作的缺陷类别管理单元，用于将新增训练样本同步到数据库中的数据同步单元。
本申请还公开了一种基于无人机的风机叶片及塔筒巡检识别方法，该方法包括以下步骤：
S1：风力发电机停机，关停待巡检的风力发电机停机；
S2：航线规划，通过无人机管控模块规划无人机飞向目标巡检位置的路径点；
S3：风机定向，位于待巡检的风力发电机正上方的无人机将云台相机模块拍摄该风力发电机的俯视图，通过视觉算法检测风机与机舱的位置，确认该风力发电机在地理坐标系下朝向的角度；
S4：机舱轮毂定位，无人机飞行至该风力发电机正前方的100±1米的安全距离处，向机舱轮毂缓慢靠近，同时通过视觉算法实现轮毂中心位置的定位；
S5：叶片定位导航，无人机通过视觉算法实现叶片位置的定位，通过获得的叶片位置信息，规划预设路线，通过目标检测算法识别出叶片的位置，并计算出叶片与塔筒之间的夹角，通过夹角反算出各叶片在三维空间中的位置，并根据叶片位置进行航线规划，计算出粗略的航线；
S6：叶片跟踪飞行，无人机根据RTK和激光雷达信息，实时调整在风机航向与位置偏差上的多维度修正，并通过云台相机模块的前端识别结果，调整叶片在相机中的位置，保持叶片的拍摄角度；
S7：故障识别与处理，智能识别及管理平台对拍摄的照片进行处理后识别缺陷，后台人员通过可视化操作客户端平台对缺陷进行审核并通过生成报告模块自动生成缺陷报告。
作为优选，所述风机定向具体包括：
S3-1：无人机飞行到初始位置，初始位置是待巡检的风力发电机的正上方距离叶片顶端距离H米处，H＝20±0.5，风机机舱的地理坐标为(X,Y,Z)，叶片长度为L，无人机与风机机舱之间的高度间距为deltaZ＝L+H，则无人机的初始位置坐标为(X,Y,Z+deltaZ)；
S3-2：无人机到达初始位置坐标后，云台相机模块垂直向下俯拍，如果拍摄目标未在图像中心，则调整无人机使得拍摄目标移动到图像中心，此时的无人机经纬度为(X1,Y1)，与初始位置经纬度之间的偏差分别为deltaX、deltaY，其中，deltaX＝X1–X，deltaY＝Y1–Y，修正后的初始位置的经纬度为(X+deltaX,Y+deltaY)；
S3-3：使用目标检测算法提取风机叶片和风机机舱，提取的目标为四点标框，对提取的目标区域进一步通过图像分割算法提取风机和机舱的轮廓，基于该轮廓拟合出风机和机舱位置；
S3-4：计算风机偏航角，根据机舱位置计算无人机机头朝向与机舱轴线之间的夹角a，则风机的偏航角为β＝180°-a；
S3-5：去除偶然误差，原地旋转无人机，调整无人机机头朝向，并拍摄多张图片，通过所述S33和所述S34，重复计算风机偏航角，求取平均值，并以该平均为作为最终的风机偏航角。
作为优选，所述机舱轮毂定位具体包括：
S4-1：基于修正后的初始位置(X1,Y1,Z)和计算的风机的偏航角β，确定一个距离轮毂为d的位置A，A的坐标为(Xa,Ya,Za)，其中，Xa＝X1+d*sina，Ya＝Y1+d*cosa，Za＝Z；
S4-2：若无人机航向角为α，对轮毂区域通过目标检测算法进行识别定位，基于定位的轮毂区域，通过霍夫变换提取轮毂圆形，通过圆心与图像中心的差距，调整无人机在竖直平面内运动，直至圆心与图像中心重合，记录下此时的圆心位置；
S4-3：在得到圆心与图像中心重合的轮毂图片后，识别出叶片和塔筒所在位置，通过四个矢量方向之间所成的夹角差异，去除风机塔的矢量，剩下的即为三个叶片的矢量方向。
目标检测算法不同于图像分割算法的地方在于目标采用的是四点标框，这样标记的导地线会有较多的背景信息。目前目标检测算法不断改进和突破，逐渐形成Anchor-Based、Anchor-Free两大派系的目标检测算法。而本次研究中对目标的识别速度要求较高，在这类算法中Anchor-Free的算法及Anchor-Based中的一阶段算法在速度上具有优越性。本次研究主要针对这两类的算法，目前Anchor-Free类的算法是最近新成的一派，在稳定性上不如Anchor-Based的算法，在研究分析过程中放弃了Anchor-Free类的算法，由于Anchor-Based类的算法中的Anchor可人工设计，这对于模型设计及算法验证都很有帮助。在Anchor-Based中的一阶段算法最具代表性的就是YOLO系列，目前YOLO系列已经更迭到第四个版本。
作为优选，所述目标检测算法为通过Pytorch改写后并采用TensorRT加速的YOLOV3算法和/或YOLOV4算法，其中，所述YOLOV3算法改写的步骤具体包括：通过运行yolov3_to_onnx.py脚本程序将Darknet模型转为ONNX格式，运行onnx_to_tensorrt.py脚本程序将ONNX转为TensorRT model；所述图像分割算法为基于MobileNet模型的DeepLabV3+算法。
作为优选，所述故障识别与处理具体包括：
S7-1：智能识别，对无人机获取的图片或者视频进行识别，通过人工二次审核后生成缺陷报告，审核后的缺陷图片通过数据上传模块上传到自主学习训练模块进行迭代训练；
S7-2：数据管理，对无人机飞行过程中获取的巡检数据、巡检基础信息、巡检任务相关的数据进行管理。
作为优选，所述智能识别具体包括：
S7-1-1：接入视频，将无人机巡检获取的图片或视频推送到智能识别模块，智能识别模块对图片或视频进行实时分析；
S7-1-2：生成缺陷列表，对视频检测出的缺陷生成缺陷列表，标注出缺陷位置和缺陷类型；
S7-1-3：人工审核，人工对图片或视频进行二次人工审核；
S7-1-4：生成缺陷报告，对审核完的图像进行自动缺陷报告生成，形成word版的报告并将报告导出；
S7-1-5：迭代训练，人工审核后的图片通过数据上传模块上传到自学习训练模块的数据服务器中，扩充训练数据集，并进行迭代训练。
作为优选，所述数据处理具体包括：
S7-2-1：任务管理，对巡检任务进行管理，管理的内容包括巡检类型、巡视班组、任务时间的记录，并将巡检图片或视频上传后供用户查看；
S7-2-2：信息汇总，汇总出现缺陷的总数，并按照缺陷等级进行划分，以图标格式展示给用户；
S7-2-3：缺陷管理，对上传的缺陷图片或视频进行管理和查询，按照风机编号、经纬度、缺陷描述、状态信息进行缺陷图片或视频的罗列，并根据风机编号、经纬度、缺陷描述、状态信息对缺陷图片或视频进行筛选；
S7-2-4：设备管理，对无人机的相关数据进行管理，包括无人机型号、无人机编号、电池的型号、电池的编号的信息管理展示；
S7-2-5：资源管理，对风机基础信息进行管理，包括风机编号、风机GPS位置进行汇总和展示；
S7-2-6：地图展示，通过经纬度信息和地图软件，将缺陷图片或视频通过在地图软件中展示。
有益效果：本申请的基于无人机的风机叶片及塔筒巡检识别系统及方法，实现无人机一键起飞、自主规划航线、自动飞行、自主降落等功能，并针对飞行巡检获取的视频、图片进行基于深度学习的目标检测，智能识别出叶片、塔筒上存在的缺陷，最终形成缺陷报告，提高对风机叶片及塔筒的巡检效率和质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中基于无人机的风机叶片及塔筒巡检识别系统的结构框图；
图2为本申请实施例中基于无人机的风机叶片及塔筒巡检识别系统的系统架构图；
图3为本申请实施例中无人机自主巡检平台的结构框图；
图4为本申请实施例中智能识别及管理平台的工作流程图；
图5为本申请实施例中可视化操作客户端平台的工作流程图；
图6为本申请实施例中无人机飞行至初始位置处的状态示意图；
图7为本申请实施例中俯拍中修正后获取的风机示意图；
图8为本申请实施例中获取的风机叶片和风机机舱的轮廓示意图；
图9为本申请实施例中若无人机航向角为α时拍摄的照片和调整后的照片；
图10为本申请实施例中三个叶片的矢量方向示意图；
图11为本申请实施例中无人机飞行轨迹示意图；
图12为本申请实施例中智能识别及管理平台的工作流程图；
图13为本申请实施例中导出的缺陷报告示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-13
实施例：为实现针对风力发电机的全自主智能巡检，并对巡检视频或图像进行基于人工智能的自动缺陷识别，生成缺陷报告，本实施例提出一种基于无人机自主巡检和AI智能识别的系统，利用无人机的边缘计算自动规划航线，按照不同的模式对风力发电机组进行自主巡检，实现“自动飞行——缺陷检测——缺陷管理——模型提升”的流程闭环操作。
参考图1和图2所示的基于无人机的风机叶片及塔筒巡检识别系统，无人机自主飞行平台、智能识别及管理平台、可视化操作客户端平台，无人机自主飞行平台、智能识别及管理平台、可视化操作客户端平台均可以是现有技术中的任意一种。
在本实施例中，参考图3所示，无人机自主飞行平台包括无人机、边缘计算模块、云台相机模块、无人机管控模块，边缘计算模块、云台相机模块均安装于无人机上，无人机管控模块与边缘计算模块通讯连接，无人机与边缘计算模块、云台相机模块通讯连接。
无人机，采用长航时无人机，结合RTK高精度定位，实现无人机的长航时作业，并可以在寒冷条件下稳定作业，具体工作参数如表1所示。
表1-无人机工作参数
| 飞行时长 | 50分钟 | 图传距离 | 15公里 |
| 工作温度 | -20℃～50℃ | 等级防护 | IP45等级防护 |
| 最大倾斜下降速度 | 7米/秒 | 最大飞行速度 | 20米/秒 |
| 抗风等级 | 15米/秒 |
边缘计算模块，采用人工智能芯片，对云台传入视频进行实时分析，通过实时识别结果对无人机进行实时调整，主要是在无人机端进行智能识别和控制，在对边缘计算模块进行选型时需要综合考虑硬件模块体积、重量、功耗、计算力等，其性能参数如表2所示，其主要功能：
1)风机叶片的实时检测和跟踪；
2)轮毂检测及风机朝向定位解算；
3)风机叶片方位检测与角度解算。
表2-边缘计算模块性能参数
| 重量 | 100g | 供电电压 | 5V |
| 功耗 | 7.5w | 处理速度 | ≥15FPS |
| 体积 | 85mm长50mm宽45mm高 |
云台相机模块，结合禅思变焦相机和激光雷达，实现叶片跟踪，并通过变焦拍摄，对叶片表面进行清晰拍照。为了能适应静态和动态两种工作模式下都能清晰的看到风机叶片上的缺陷问题，本方案拟采用多相机集成的云台相机模块，结合广角镜头、变焦镜头，并集成激光测距，让飞行过程更安全，拍摄更清晰。其主要参数如表3所示。
表3-云台相机模块主要参数
无人机管控模块，可以是现有技术中的提供智慧飞行的可视化操作手持APP端，将巡检任务下发到APP上，工作人员可以选择巡检风机，通过预置点位，控制无人机实现一键飞行，并对无人机飞行状态和实时视频进行监控，系统在Android8.0以上版本的平台上通过APK安装包进行安装。其主要功能：
1)风机位置一键导航；
2)风机朝向检测飞行；
3)风机叶片定位检测飞行；
4)风机塔筒及叶片精细化巡检自动航线规划；
5)无人机操控与状态监控；
6)巡检数据实时回传。
当无人机对风机完成自动巡检后，需要对巡检后的图像或视频进行智能缺陷识别和数据管理，并利用识别出的缺陷扩充训练样本集，进行模型迭代训练，实现自主学习训练。如图4所示，本实施例中的智能识别及管理平台包括缺陷智能识别模块、数据管理模块、自学习训练模块。
缺陷智能识别模块：提供智能识别服务，对传入的巡检数据进行缺陷识别，其中识别服务可以分为缺陷目标检测和语义分割，目标检测是指框出输入巡检图像的缺陷位置，语义分割是按照像素进行识别，不仅能识别出缺陷并能计算出缺陷所占像素大小。在本实施例中，缺陷智能识别模块包括缺陷目标检测单元和语义分割单元，缺陷目标检测单元用于示出输入的巡检图像上的缺陷位置和缺陷类型以识别出缺陷，语义分割单元用于对输入的巡检图像按照像素进行识别以计算缺陷所占像素大小。
在进行智能识别时支持两种方式的输入：图片和视频。可以按照需求分成目标检测和语义分割智能识别模式，目标检测可以实现缺陷位置定位和缺陷类型区分，语义分割模式可以实现缺陷类型区分和缺陷区域大小量化。智能识别模块主要提供RestfulAPI识别接口服务，该方式可以实现智能识别和业务系统的解耦。智能识别服务对算力资源要求比较高，因此智能识别服务器的配置要求如表4所示：
表4-智能识别服务器配置要求
| 显卡 | 独立显卡，显存大于8G |
| 内存 | 16G及以上 |
| 硬盘存储 | SSD256及机上机械硬盘1T |
| 缺陷类型 | 可识别横向裂纹、竖向裂纹、胶衣脱落、油污等缺陷 |
| 识别精度 | 缺陷准确率和召回率达到85％以上 |
| 服务形式 | 提供识别API接口 |
| 识别速度 | 不高于0.5s/张 |
数据管理模块：数据管理主要是对巡检数据和缺陷数据进行存储和管理，主要为历史回溯提供数据支撑，并进行可视化管理，为下一步进行缺陷消缺闭环管理提供依赖。数据管理模块主要是在后台进行基础数据、巡检数据、缺陷数据的管理，其中基础数据包括了风电机组的GPS位置、每基风机的基本信息；巡检数据主要是指无人机巡检的图片或视频数据，进行数据存储，形成历史巡检数据查询；缺陷数据指进行智能识别和数据审核后的缺陷图片，主要包含发生缺陷的风机位置、缺陷类型、缺陷严重程度等，为下一步的消缺闭环提供数据支撑，实现缺陷发现——缺陷上报——缺陷消除的闭环流程操作，数据管理模块主要是后端服务器，采用B/S架构模式，既可以方便用户进行统一的管理，也为查询提供便捷性。数据管理服务器主要是对数据存储和数据并发有较高要求，因此数据管理服务器的配置要求如表5所示。
表5-数据管理服务器的配置要求
| CPU | 8核CPU及以上 |
| 内存 | 32G及以上 |
| 硬盘存储 | SSD256及机上机械硬盘4T |
| 服务形式 | 提供网页浏览方式 |
| 响应速度 | 不高于3s/次 |
自学习训练模块：利用可视化自学习训练平台对收集缺陷数据进行迭代训练，通过智能识别和数据审核过后的数据积累，不断扩充训练样本集的数据，从而实现模型训练的良性循环。在本实施例中，自学习训练模块包括用于统计并查看数据库中数据详细信息的信息统计和查看单元，选择需要训练模型的类型自动构建训练数据集的数据集构建单元，用于显示训练相关数据的训练可视化单元，用于发布训练精度高的模型的模型发布单元，用于对数据库中一级类别和二级类别进行增、删、改、查中的任意一种操作的缺陷类别管理单元，用于将新增训练样本同步到数据库中的数据同步单元。自学习训练模块主要进行训练数据集、测试数据集管理，对训练过程进行可视化展示，并可以进行基于原有模型的迭代训练，利用数据图表的方式对数据集、模型库、各阶段模型精度进行监管，并可以进行模型的发布，系统拟采用B/S架构进行设计和部署，同时提供丰富的WebApi接口，让用户可以上传图片和标签，可以访问自学习训练结果，查找同步最优训练模型。通过学习训练功能，保证识别模型的不断更新，持续优化检测效果，形成线下到线上的闭环生态。同时自学习系统内部可以完成自动模型调参，根据训练精度自适应调整训练策略，调整训练模式，不需要过多的人为干预。自学习训练模块对服务器资源的需求包括高并发、数据存储，并对算力要求较高，本实施例中自学习训练模块的服务器配置要求如表6所示。
表6自学习训练模块的服务器配置要求
参考图5所示，可视化操作客户端平台主要通过接入数据信息，数据信息包括视频和图片模式，其中视频模式下，需要对读取到的视频抽帧，采用深度学习的方式对读入的数据进行智能识别，最后返回标注好缺陷位置和缺陷类型的图片，由于视频帧的重复性，采用追踪方式，只有当新的缺陷出现时才进行截图保存，减少缺陷图片的冗余性，再通过人工审核的方式，对智能识别的缺陷图片进行审核和编辑，完成一次任务后，生成缺陷报告，并导出word形式的缺陷报告。可视化操作客户端平台包括用于接入数据信息的数据加载模块，通过深度学习以对接入的数据信息进行智能识别以识别出缺陷数据的智能识别模块，用于上传识别到的缺陷数据的数据上传模块，用于生成缺陷报告的生成报告模块。
本实施例还公开了一种基于无人机的风机叶片及塔筒巡检识别方法，该方法包括了从风力发电机停机、无人机起飞开始，到无人机完成沿着风机叶片巡检的拍摄后降落，再到后台数据处理拍摄的叶片照片、完成故障自动识别与巡检报告的自动生成的整个巡检过程。具体包括以下S1-S7的步骤。
S1：风力发电机停机，关停待巡检的风力发电机停机。在无人机起飞开始叶片巡检任务前，风力发电机需停机，保障无人机在作业的过程中不会发生因风机突然变化偏航角而导致风机叶片与无人机发生意外碰撞。
S2：航线规划，通过无人机管控模块规划无人机飞向目标巡检位置的路径点；无人机起飞前，由地面操作人员通过无人机管控模块的APP界面，规划无人机飞向目标巡检风机的路径点，路径点设置完成后，无人机将自主根据该路径飞行到指定风机的上方，该位置距离机舱的垂直距离为20m。
S3：风机定向，位于待巡检的风力发电机正上方的无人机将云台相机模块拍摄该风力发电机的俯视图，通过视觉算法检测风机与机舱的位置，确认该风力发电机在地理坐标系下朝向的角度，风机定向是为了确定风机面的朝向问题，以便于为无人机巡视确定航向。具体包括：
S3-1：参考图6所示，无人机飞行到初始位置，初始位置是待巡检的风力发电机的正上方距离叶片顶端距离H米处，H＝20±0.5，在本实施例中，H为20米，即无人机飞行至距离机舱的垂直距离为20m的位置处。风机机舱的地理坐标为已知量(X,Y,Z)，叶片长度为L，例如L＝40米，无人机与风机机舱之间的高度间距为deltaZ＝L+H＝20+40＝60米，则无人机的初始位置坐标为(X,Y,Z+60)；
S3-2：无人机到达初始位置坐标后，云台相机模块垂直向下俯拍，如果拍摄目标未在图像中心，则调整无人机使得拍摄目标移动到图像中心，此时的无人机经纬度为(X1,Y1)，与初始位置经纬度之间的偏差分别为deltaX、deltaY，其中，deltaX＝X1–X，deltaY＝Y1–Y，参考图7所示，修正后的初始位置的经纬度为(X+deltaX,Y+deltaY)；
S3-3：使用目标检测算法提取风机叶片和风机机舱，提取的目标为四点标框，对提取的目标区域进一步通过图像分割算法提取风机和机舱的轮廓，基于该轮廓拟合出风机和机舱位置，如图8中AB线段为风机叶片的轮廓线，CD线段为风机机舱的轮廓线，其中，线段AB与线段CD垂直；
S3-4：计算风机偏航角，根据机舱位置计算无人机机头朝向与机舱轴线之间的夹角a，如图8所示，无人机机头的正北朝向为EF，EF与CD之间的夹角即为a，则风机的偏航角为β＝180°-a；
S3-5：去除偶然误差，原地旋转无人机，调整无人机机头朝向，并拍摄多张图片，通过S33和S34，重复计算风机偏航角，求取平均值，并以该平均为作为最终的风机偏航角。
S4：机舱轮毂定位，通过S3-5得到的风机朝向角度后，无人机飞行至该风力发电机正前方的100±1米的安全距离处，为了达到最佳的拍照距离，无人机向机舱轮毂缓慢靠近，在此过程中，无人机通过视觉算法实现轮毂中心位置的定位。通过识别出轮毂中心的圆形，使得无人机在逼近风机的过程中，始终保持识别出的轮毂中心位于无人机视野里的正中心，以此保证无人机的逼近位置在轮毂的正前方。具体包括：
S4-1：基于修正后的初始位置(X1,Y1,Z)和计算的风机的偏航角β，确定一个距离轮毂为d的位置A，A的坐标为(Xa,Ya,Za)，其中，Xa＝X1+d*sina，Ya＝Y1+d*cosa，Za＝Z；
S4-2：结合图9和图10所示，若无人机航向角为α，对轮毂区域通过目标检测算法进行识别定位，基于定位的轮毂区域，通过霍夫变换提取轮毂圆形，通过圆心与图像中心的差距，调整无人机在竖直平面内运动，直至圆心与图像中心重合，记录下此时的圆心位置；
S4-3：在得到圆心与图像中心重合的轮毂图片后，识别出叶片和塔筒所在位置，通过四个矢量方向之间所成的夹角差异，去除风机塔的矢量，剩下的即为三个叶片的矢量方向。
S5：叶片定位导航，无人机通过视觉算法实现叶片位置的定位，通过获得的叶片位置信息，规划预设路线，通过目标检测算法识别出叶片的位置，并计算出叶片与塔筒之间的夹角，通过夹角反算出各叶片在三维空间中的位置，并根据叶片位置进行航线规划，计算出粗略的航线。
在本实施例中，目标检测算法为通过Pytorch改写后并采用TensorRT加速的YOLOV3算法和/或YOLOV4算法，其中，YOLOV3算法改写的步骤具体包括：通过运行yolov3_to_onnx.py脚本程序将Darknet模型转为ONNX格式，运行onnx_to_tensorrt.py脚本程序将ONNX转为TensorRT model。用20类缺陷的样本做测试，在TX2上运行模型，其平均准确率在85％以上，召回率在90％以上，速度达到62ms每张图片。在风机叶片的巡检图像处理中，其缺陷有一大部分是裂纹或沙眼、交易脱落等缺陷，这些缺陷形状不规则、背景单一，仅仅通过目标检测方法可能保证不了检测精度。本项目会研究基于图像分割的深度学习方法，进行标注区域的逐像素学习，以期达到理想的识别精度。考虑到机载端应用，模型结构不能过于复杂，同时在识别速度上也不能过慢，所以选择了较小的MobileNet模型，分割算法选择了最优异的DeepLabV3+。DeeplabV3+模型采取主流的encoder-decoder结构，在encoder过程中会使用骨干网络(backbone)进行特征的提取，不同的backbone提取特征的计算开销千差万别。MobileNet最初是为移动端设计的，它的计算速度相比Xception更快，计算所占显存更小，模型体积也更小。因为对实时性要求高，所以使用了MobileNet的backbone。
S6：叶片跟踪飞行，无人机根据RTK和激光雷达信息，实时调整在风机航向与位置偏差上的多维度修正，并通过云台相机模块的前端识别结果，调整叶片在相机中的位置，保持叶片的拍摄角度。如图11所示，本实施例中的无人机飞行轨迹为1→2→3→4→5→6→7→8→9→10→风机背面。
S7：故障识别与处理，参考图12所示，智能识别及管理平台对拍摄的照片进行处理后识别缺陷，后台人员通过可视化操作客户端平台对缺陷进行审核并通过生成报告模块自动生成缺陷报告。具体包括：
S7-1：智能识别，对无人机获取的图片或者视频进行识别，通过人工二次审核后生成缺陷报告，审核后的缺陷图片通过数据上传模块上传到自主学习训练模块进行迭代训练；
S7-2：数据管理，对无人机飞行过程中获取的巡检数据、巡检基础信息、巡检任务相关的数据进行管理。
其中，S7-1：智能识别的具体步骤包括：
S7-1-1：接入视频，将无人机巡检获取的图片或视频推送到智能识别模块，智能识别模块对图片或视频进行实时分析；
S7-1-2：生成缺陷列表，对视频检测出的缺陷生成缺陷列表，标注出缺陷位置和缺陷类型；
S7-1-3：人工审核，人工对图片或视频进行二次人工审核，主要是为了弥补初期缺陷识别精度不准确的问题，通过二次人工审核完成，进入下一步；
S7-1-4：生成缺陷报告，对审核完的图像进行自动缺陷报告生成，形成word版的报告并导出如图13所示的报告；
S7-1-5：迭代训练，人工审核后的图片通过数据上传模块上传到自学习训练模块的数据服务器中，扩充训练数据集，并进行迭代训练。
S7-2：数据管理的具体步骤包括：
S7-2-1：任务管理，对巡检任务进行管理，管理的内容包括巡检类型、巡视班组、任务时间的记录，并将巡检图片或视频上传后供用户查看；
S7-2-2：信息汇总，汇总出现缺陷的总数，并按照缺陷等级进行划分，以图标格式展示给用户，方便用户了解线路运行状况；
S7-2-3：缺陷管理，对上传的缺陷图片或视频进行管理和查询，按照风机编号、经纬度、缺陷描述、状态信息进行缺陷图片或视频的罗列，并根据风机编号、经纬度、缺陷描述、状态信息对缺陷图片或视频进行筛选；
S7-2-4：设备管理，对无人机的相关数据进行管理，包括无人机型号、无人机编号、电池的型号、电池的编号的信息管理展示；
S7-2-5：资源管理，对风机基础信息进行管理，包括风机编号、风机GPS位置进行汇总和展示；
S7-2-6：地图展示，融合经纬度信息和地图软件，地图软件可以是现有技术中的任意一种，将缺陷图片通过在地图软件中展示，用户可以很容易就可以确定缺陷位置，并从宏观上把握风机整体的运行情况。
综上，本申请的基于无人机的风机叶片及塔筒巡检识别系统及方法：
利用无人机进行设备巡检，相较人工操作，可大幅提升工作效率，而且无人机能达到人工不方便到达的高度和肉眼难以企及的精度，可大大提升检查的准确度；
无人机在巡检风电发电机外观及叶片过程中，由于大幅提升了巡检效率，因此可以极大的缩短停机时间；
无人机可以保存高精度照片、空间位置数据、实时巡检数据在自备存储器中，实现数据进行即时的数据分析，从而判断出设备当前状态以及未来运行趋势。
最后应说明的是：以上仅所述为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于无人机的风机叶片及塔筒巡检识别系统，包括无人机自主飞行平台、智能识别及管理平台、可视化操作客户端平台，其特征在于：
所述无人机自主飞行平台包括采用RTK高精度定位实现长航时精准飞行的无人机，用于对传入视频进行实时分析并通过实时识别结果对所述无人机进行实时调整的边缘计算模块，通过禅思变焦相机和激光雷达对叶片跟踪、并通过变焦拍摄对叶片表面进行清晰拍照的云台相机模块，用于根据巡检任务控制所述无人机飞行作业的无人机管控模块，所述边缘计算模块、所述云台相机模块均安装于所述无人机上，所述无人机管控模块与所述边缘计算模块通讯连接，所述无人机与所述边缘计算模块、所述云台相机模块通讯连接；
所述智能识别及管理平台包括用于对传入的巡检数据进行缺陷识别的缺陷智能识别模块，用于对巡检数据和缺陷数据进行存储和管理的数据管理模块，用于对收集缺陷数据进行迭代训练的自学习训练模块；
所述可视化操作客户端平台包括用于接入数据信息的数据加载模块，通过深度学习以对接入的数据信息进行智能识别以识别出缺陷数据的智能识别模块，用于上传识别到的缺陷数据的数据上传模块，用于生成缺陷报告的生成报告模块。
2.根据权利要求1所述的基于无人机的风机叶片及塔筒巡检识别系统，其特征在于：所述缺陷智能识别模块包括缺陷目标检测单元和语义分割单元，所述缺陷目标检测单元用于示出输入的巡检图像上的缺陷位置和缺陷类型以识别出缺陷，所述语义分割单元用于对输入的巡检图像按照像素进行识别以计算缺陷所占像素大小。
3.根据权利要求1所述的基于无人机的风机叶片及塔筒巡检识别系统，其特征在于：所述自学习训练模块包括用于统计并查看数据库中数据详细信息的信息统计和查看单元，选择需要训练模型的类型自动构建训练数据集的数据集构建单元，用于显示训练相关数据的训练可视化单元，用于发布训练精度高的模型的模型发布单元，用于对数据库中一级类别和二级类别进行增、删、改、查中的任意一种操作的缺陷类别管理单元，用于将新增训练样本同步到数据库中的数据同步单元。
4.一种基于无人机的风机叶片及塔筒巡检识别方法，其特征在于：该方法包括以下步骤：
S1：风力发电机停机，关停待巡检的风力发电机停机；
S2：航线规划，通过无人机管控模块规划无人机飞向目标巡检位置的路径点；
S3：风机定向，位于待巡检的风力发电机正上方的无人机将云台相机模块拍摄该风力发电机的俯视图，通过视觉算法检测风机与机舱的位置，确认该风力发电机在地理坐标系下朝向的角度；
S4：机舱轮毂定位，无人机飞行至该风力发电机正前方的100±1米的安全距离处，向机舱轮毂缓慢靠近，同时通过视觉算法实现轮毂中心位置的定位；
S5：叶片定位导航，无人机通过视觉算法实现叶片位置的定位，通过获得的叶片位置信息，规划预设路线，通过目标检测算法识别出叶片的位置，并计算出叶片与塔筒之间的夹角，通过夹角反算出各叶片在三维空间中的位置，并根据叶片位置进行航线规划，计算出粗略的航线；
S6：叶片跟踪飞行，无人机根据RTK和激光雷达信息，实时调整在风机航向与位置偏差上的多维度修正，并通过云台相机模块的前端识别结果，调整叶片在相机中的位置，保持叶片的拍摄角度；
S7：故障识别与处理，智能识别及管理平台对拍摄的照片进行处理后识别缺陷，后台人员通过可视化操作客户端平台对缺陷进行审核并通过生成报告模块自动生成缺陷报告。
5.根据权利要求4所述的基于无人机的风机叶片及塔筒巡检识别方法，其特征在于：所述风机定向具体包括：
S3-1：无人机飞行到初始位置，初始位置是待巡检的风力发电机的正上方距离叶片顶端距离H米处，H＝20±0.5，风机机舱的地理坐标为(X,Y,Z)，叶片长度为L，无人机与风机机舱之间的高度间距为deltaZ＝L+H，则无人机的初始位置坐标为(X,Y,Z+deltaZ)；
S3-2：无人机到达初始位置坐标后，云台相机模块垂直向下俯拍，如果拍摄目标未在图像中心，则调整无人机使得拍摄目标移动到图像中心，此时的无人机经纬度为(X1,Y1)，与初始位置经纬度之间的偏差分别为deltaX、deltaY，其中，deltaX＝X1–X，deltaY＝Y1–Y，修正后的初始位置的经纬度为(X+deltaX,Y+deltaY)；
S3-3：使用目标检测算法提取风机叶片和风机机舱，提取的目标为四点标框，对提取的目标区域进一步通过图像分割算法提取风机和机舱的轮廓，基于该轮廓拟合出风机和机舱位置；
S3-4：计算风机偏航角，根据机舱位置计算无人机机头朝向与机舱轴线之间的夹角a，则风机的偏航角为β＝180°-a；
S3-5：去除偶然误差，原地旋转无人机，调整无人机机头朝向，并拍摄多张图片，通过所述S33和所述S34，重复计算风机偏航角，求取平均值，并以该平均为作为最终的风机偏航角。
6.根据权利要求5所述的基于无人机的风机叶片及塔筒巡检识别方法，其特征在于：所述机舱轮毂定位具体包括：
S4-1：基于修正后的初始位置(X1,Y1,Z)和计算的风机的偏航角β，确定一个距离轮毂为d的位置A，A的坐标为(Xa,Ya,Za)，其中，Xa＝X1+d*sina，Ya＝Y1+d*cosa，Za＝Z；
S4-2：若无人机航向角为α，对轮毂区域通过目标检测算法进行识别定位，基于定位的轮毂区域，通过霍夫变换提取轮毂圆形，通过圆心与图像中心的差距，调整无人机在竖直平面内运动，直至圆心与图像中心重合，记录下此时的圆心位置；
S4-3：在得到圆心与图像中心重合的轮毂图片后，识别出叶片和塔筒所在位置，通过四个矢量方向之间所成的夹角差异，去除风机塔的矢量，剩下的即为三个叶片的矢量方向。
7.根据权利要求6所述的基于无人机的风机叶片及塔筒巡检识别方法，其特征在于：所述目标检测算法为通过Pytorch改写后并采用TensorRT加速的YOLOV3算法和/或YOLOV4算法，其中，所述YOLOV3算法改写的步骤具体包括：通过运行yolov3_to_onnx.py脚本程序将Darknet模型转为ONNX格式，运行onnx_to_tensorrt.py脚本程序将ONNX转为TensorRTmodel；所述图像分割算法为基于MobileNet模型的DeepLabV3+算法。
8.根据权利要求4所述的基于无人机的风机叶片及塔筒巡检识别方法，其特征在于：所述故障识别与处理具体包括：
S7-1：智能识别，对无人机获取的图片或者视频进行识别，通过人工二次审核后生成缺陷报告，审核后的缺陷图片通过数据上传模块上传到自主学习训练模块进行迭代训练；
S7-2：数据管理，对无人机飞行过程中获取的巡检数据、巡检基础信息、巡检任务相关的数据进行管理。
9.根据权利要求8所述的基于无人机的风机叶片及塔筒巡检识别方法，其特征在于：所述智能识别具体包括：
S7-1-1：接入视频，将无人机巡检获取的图片或视频推送到智能识别模块，智能识别模块对图片或视频进行实时分析；
S7-1-2：生成缺陷列表，对视频检测出的缺陷生成缺陷列表，标注出缺陷位置和缺陷类型；
S7-1-3：人工审核，人工对图片或视频进行二次人工审核；
S7-1-4：生成缺陷报告，对审核完的图像进行自动缺陷报告生成，形成word版的报告并将报告导出；
S7-1-5：迭代训练，人工审核后的图片通过数据上传模块上传到自学习训练模块的数据服务器中，扩充训练数据集，并进行迭代训练。
10.根据权利要求8所述的基于无人机的风机叶片及塔筒巡检识别方法，其特征在于：所述数据处理具体包括：
S7-2-1：任务管理，对巡检任务进行管理，管理的内容包括巡检类型、巡视班组、任务时间的记录，并将巡检图片或视频上传后供用户查看；
S7-2-2：信息汇总，汇总出现缺陷的总数，并按照缺陷等级进行划分，以图标格式展示给用户；
S7-2-3：缺陷管理，对上传的缺陷图片或视频进行管理和查询，按照风机编号、经纬度、缺陷描述、状态信息进行缺陷图片或视频的罗列，并根据风机编号、经纬度、缺陷描述、状态信息对缺陷图片或视频进行筛选；
S7-2-4：设备管理，对无人机的相关数据进行管理，包括无人机型号、无人机编号、电池的型号、电池的编号的信息管理展示；
S7-2-5：资源管理，对风机基础信息进行管理，包括风机编号、风机GPS位置进行汇总和展示；
S7-2-6：地图展示，通过经纬度信息和地图软件，将缺陷图片或视频通过在地图软件中展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110846306.9A CN113759960B (zh) | 2021-07-26 | 2021-07-26 | 基于无人机的风机叶片及塔筒巡检识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110846306.9A CN113759960B (zh) | 2021-07-26 | 2021-07-26 | 基于无人机的风机叶片及塔筒巡检识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113759960A true CN113759960A (zh) | 2021-12-07 |
| CN113759960B CN113759960B (zh) | 2024-07-19 |
Family
ID=78787940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110846306.9A Active CN113759960B (zh) | 2021-07-26 | 2021-07-26 | 基于无人机的风机叶片及塔筒巡检识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113759960B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114281093A (zh) * | 2021-12-27 | 2022-04-05 | 国网江苏省电力有限公司泰州供电分公司 | 一种基于无人机电力巡检的缺陷检测系统及方法 |
| CN114296483A (zh) * | 2022-03-09 | 2022-04-08 | 北京图知天下科技有限责任公司 | 一种风力发电机不停机状态下的智能巡检方法及电子设备 |
| CN114397910A (zh) * | 2022-01-17 | 2022-04-26 | 南方电网电力科技股份有限公司 | 一种风力发电机无人机自动巡检方法及相关装置 |
| CN114442665A (zh) * | 2022-01-20 | 2022-05-06 | 北京华能新锐控制技术有限公司 | 基于无人机的风电叶片巡检线路规划方法 |
| CN115480589A (zh) * | 2022-09-06 | 2022-12-16 | 中科云尚(南京)智能技术有限公司 | 基于无人机的风机巡检航线生成方法及系统 |
| CN115626254A (zh) * | 2022-06-15 | 2023-01-20 | 上海交通大学 | 一种基于无人艇及图像的海上风机塔架可靠性检测系统 |
| CN115661970A (zh) * | 2022-12-26 | 2023-01-31 | 海外远景(北京)科技有限公司 | 一种基于图像识别技术的风电设备巡检系统 |
| CN116308180A (zh) * | 2023-03-22 | 2023-06-23 | 兰州理工大学 | 基于无人机及机器视觉的风电结构健康监测系统及方法 |
| WO2023188378A1 (ja) * | 2022-03-31 | 2023-10-05 | 株式会社Acsl | 無人航空機を用いて風力発電装置のロータ方向・アジマス角を推定するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体 |
| CN116862915A (zh) * | 2023-09-05 | 2023-10-10 | 西南石油大学 | 一种风机内部视频流缺陷识别方法 |
| NL2036818A (en) * | 2023-11-15 | 2024-03-01 | Huaneng Fuxin Windy Power Generator Co Ltd | An Unmanned Aerial Vehicle Inclination Monitoring Device and A Method Thereof |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140168420A1 (en) * | 2011-04-26 | 2014-06-19 | Eads Deutschland Gmbh | Method and System for Inspecting a Surface Area for Material Defects |
| CN108319290A (zh) * | 2017-01-16 | 2018-07-24 | 财团法人金属工业研究发展中心 | 利用无人机拍摄风机叶面的方法、内储程序的计算机程序产品及可读取记录媒体 |
| CN110282143A (zh) * | 2019-06-14 | 2019-09-27 | 中国能源建设集团广东省电力设计研究院有限公司 | 一种海上风电场无人机巡检方法 |
| KR20200033822A (ko) * | 2018-03-15 | 2020-03-30 | (주)니어스랩 | 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 |
| CN112327906A (zh) * | 2020-10-22 | 2021-02-05 | 华能阜新风力发电有限责任公司 | 一种基于无人机的智能自动巡检系统 |
| CN112904877A (zh) * | 2021-01-14 | 2021-06-04 | 星闪世图(台州)科技有限公司 | 一种基于无人机的风机叶片自动巡检系统及方法 |
-
2021
- 2021-07-26 CN CN202110846306.9A patent/CN113759960B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140168420A1 (en) * | 2011-04-26 | 2014-06-19 | Eads Deutschland Gmbh | Method and System for Inspecting a Surface Area for Material Defects |
| CN108319290A (zh) * | 2017-01-16 | 2018-07-24 | 财团法人金属工业研究发展中心 | 利用无人机拍摄风机叶面的方法、内储程序的计算机程序产品及可读取记录媒体 |
| KR20200033822A (ko) * | 2018-03-15 | 2020-03-30 | (주)니어스랩 | 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 |
| CN110282143A (zh) * | 2019-06-14 | 2019-09-27 | 中国能源建设集团广东省电力设计研究院有限公司 | 一种海上风电场无人机巡检方法 |
| CN112327906A (zh) * | 2020-10-22 | 2021-02-05 | 华能阜新风力发电有限责任公司 | 一种基于无人机的智能自动巡检系统 |
| CN112904877A (zh) * | 2021-01-14 | 2021-06-04 | 星闪世图(台州)科技有限公司 | 一种基于无人机的风机叶片自动巡检系统及方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114281093A (zh) * | 2021-12-27 | 2022-04-05 | 国网江苏省电力有限公司泰州供电分公司 | 一种基于无人机电力巡检的缺陷检测系统及方法 |
| CN114397910A (zh) * | 2022-01-17 | 2022-04-26 | 南方电网电力科技股份有限公司 | 一种风力发电机无人机自动巡检方法及相关装置 |
| CN114397910B (zh) * | 2022-01-17 | 2024-05-17 | 南方电网电力科技股份有限公司 | 一种风力发电机无人机自动巡检方法及相关装置 |
| CN114442665A (zh) * | 2022-01-20 | 2022-05-06 | 北京华能新锐控制技术有限公司 | 基于无人机的风电叶片巡检线路规划方法 |
| CN114442665B (zh) * | 2022-01-20 | 2023-12-08 | 北京华能新锐控制技术有限公司 | 基于无人机的风电叶片巡检线路规划方法 |
| CN114296483A (zh) * | 2022-03-09 | 2022-04-08 | 北京图知天下科技有限责任公司 | 一种风力发电机不停机状态下的智能巡检方法及电子设备 |
| CN114296483B (zh) * | 2022-03-09 | 2022-06-28 | 北京图知天下科技有限责任公司 | 一种风力发电机不停机状态下的智能巡检方法及电子设备 |
| WO2023188378A1 (ja) * | 2022-03-31 | 2023-10-05 | 株式会社Acsl | 無人航空機を用いて風力発電装置のロータ方向・アジマス角を推定するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体 |
| CN115626254A (zh) * | 2022-06-15 | 2023-01-20 | 上海交通大学 | 一种基于无人艇及图像的海上风机塔架可靠性检测系统 |
| CN115480589A (zh) * | 2022-09-06 | 2022-12-16 | 中科云尚(南京)智能技术有限公司 | 基于无人机的风机巡检航线生成方法及系统 |
| CN115661970A (zh) * | 2022-12-26 | 2023-01-31 | 海外远景(北京)科技有限公司 | 一种基于图像识别技术的风电设备巡检系统 |
| CN116308180A (zh) * | 2023-03-22 | 2023-06-23 | 兰州理工大学 | 基于无人机及机器视觉的风电结构健康监测系统及方法 |
| CN116308180B (zh) * | 2023-03-22 | 2024-06-07 | 兰州理工大学 | 基于无人机及机器视觉的风电结构健康监测系统及方法 |
| CN116862915A (zh) * | 2023-09-05 | 2023-10-10 | 西南石油大学 | 一种风机内部视频流缺陷识别方法 |
| NL2036818A (en) * | 2023-11-15 | 2024-03-01 | Huaneng Fuxin Windy Power Generator Co Ltd | An Unmanned Aerial Vehicle Inclination Monitoring Device and A Method Thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113759960B (zh) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113759960B (zh) | 基于无人机的风机叶片及塔筒巡检识别系统及方法 | |
| CN111289533B (zh) | 风机叶片的巡检方法、装置、无人机和存储介质 | |
| CN112326686B (zh) | 无人机智能巡航路面病害检测方法、无人机和检测系统 | |
| CN112904877A (zh) | 一种基于无人机的风机叶片自动巡检系统及方法 | |
| CN112327906A (zh) | 一种基于无人机的智能自动巡检系统 | |
| CN109254303B (zh) | 基于激光扫描引导的电力线走廊快速巡检系统及方法 | |
| CN111178148B (zh) | 一种基于无人机视觉系统的地面目标地理坐标定位方法 | |
| CN114373138A (zh) | 一种高速铁路全自动无人机巡检方法及系统 | |
| CN110879601A (zh) | 一种对于未知风机结构的无人机巡检方法 | |
| CN113610749B (zh) | 基于神经网络的风机叶片缺陷检测方法 | |
| CN112734970B (zh) | 基于LoRaWAN定位技术的风电场无人机自动巡检系统及方法 | |
| CN114296483B (zh) | 一种风力发电机不停机状态下的智能巡检方法及电子设备 | |
| CN107168370A (zh) | 输电线路多旋翼无人机精细智能巡检系统及其方法 | |
| CN107069549A (zh) | 旋翼无人机电力巡线系统 | |
| CN116258980A (zh) | 一种基于视觉的无人机分布式光伏电站巡检方法 | |
| CN113342041A (zh) | 一种无人机实现自动化巡检风叶发电设备的方法及系统 | |
| CN115865915A (zh) | 基于边缘计算的无人机巡检图像实时识别方法及系统 | |
| CN116501091B (zh) | 基于无人机自动调整航线的风机巡检控制方法和装置 | |
| CN116545122B (zh) | 一种输电线路防外破监测装置和防外破监测方法 | |
| CN113534846A (zh) | 输电线路无人机自主智能巡检系统 | |
| CN114744756A (zh) | 一种基于机器视觉的输电线路智能巡检系统 | |
| CN114663818B (zh) | 基于视觉自监督学习机场运行核心区监测预警系统及方法 | |
| CN213987269U (zh) | 一种无人机巡检风机叶片的系统 | |
| CN114898361A (zh) | 桃园果实状态识别与计数方法及系统 | |
| CN114285374A (zh) | 光伏电站的设备定位方法、系统、电子设备及储存介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 813000 green industry development park, Hainan Tibetan Autonomous Prefecture, Qinghai Province Applicant after: Qinghai Huanghe Wind Power Generation Co.,Ltd. Applicant after: China Southern Power Grid Digital Grid Technology (Guangdong) Co.,Ltd. Address before: 813000 green industry development park, Hainan Tibetan Autonomous Prefecture, Qinghai Province Applicant before: Qinghai Huanghe Wind Power Generation Co.,Ltd. Country or region before: China Applicant before: GUANGZHOU KE TENG INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |