CN116308180B - 基于无人机及机器视觉的风电结构健康监测系统及方法 - Google Patents

基于无人机及机器视觉的风电结构健康监测系统及方法 Download PDF

Info

Publication number
CN116308180B
CN116308180B CN202310286461.9A CN202310286461A CN116308180B CN 116308180 B CN116308180 B CN 116308180B CN 202310286461 A CN202310286461 A CN 202310286461A CN 116308180 B CN116308180 B CN 116308180B
Authority
CN
China
Prior art keywords
module
aerial vehicle
unmanned aerial
monitoring
wind turbine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310286461.9A
Other languages
English (en)
Other versions
CN116308180A (zh
Inventor
李万润
李清
赵文海
范博源
潘梓鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN202310286461.9A priority Critical patent/CN116308180B/zh
Publication of CN116308180A publication Critical patent/CN116308180A/zh
Application granted granted Critical
Publication of CN116308180B publication Critical patent/CN116308180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

基于无人机及机器视觉的风电结构健康监测系统及方法,采用分段监测方式对风力机叶片及塔筒的图像信息进行全方位采集，利用搭载树莓派主板的无人机采集装置对采集的图像进行实时预处理，通过该实时检测系统识别风力机结构的表面缺陷与动力特性，确定风力机结构的损伤程度，在出现严重损伤时做出预警，通知人员进行维修。该实时检测系统基于深度学习神经网络，采用数据扩充技术与树莓派结合的方式，使实时检测更加有效，且该系统消除无人机漂移位移影响可提高监测结果准确性。该方法提出的实时、快速、非接触的健康监测方法，能够高效、准确的完成风力机结构的检测工作，为风力机结构的继续安全运行提供快捷、可靠的技术保障。

Description

基于无人机及机器视觉的风电结构健康监测系统及方法
技术领域
本发明涉及风力机结构健康监测领域，具体涉及的是基于无人机及机器视觉的风电结构健康监测技术。
背景技术
在国家大举推广清洁能源的当下，风能作为一种清洁无公害的可再生能源，利用风力发电非常环保，且我国风能蕴量巨大，风力发电成为继火电与水电后国内第三大主力电源，风电装机规模持续增长。随着风机数量不断增多，存在的问题也逐渐显露出来，在运行过程中常常出现叶片断裂、塔筒屈曲等安全事故。而大型风力机结构检测常用采用人工检测，但人工检测不但费时耗力而且检测结果往往需要较高的工程经验。近年来随着计算机视觉技术的兴起，许多结构健康监测方法应运而生，但大多数监测方法使用设备多数为固定式相机且设有人工标志物仅适用于普通民用及桥梁结构，针对风力机这类高耸结构运维的视觉监测方法通常采用无人机作为图像信息采集的设备，但在风场这种监测条件较差的环境下，这些系统方法的应用便有了一定的局限性。如何利用无人机及视觉技术在较差的风场环境条件下实时对大型风机整体结构进行准确的全面评估的问题亟待解决。
发明内容
本发明的目的是提供一种基于无人机及机器视觉的风电结构健康监测系统及方法。
本发明是基于无人机及机器视觉的风电结构健康监测系统及方法，其结构是由无人机采集装置1、图像采集与稳像子系统2、模型训练与内嵌子系统3、整体结构评估子系统4、紧急事故预警子系统5组成的一种风电结构全面健康监测方法。所述的无人机采集装置1由无人机11、摄像头12、树莓派主板13组成；所述的图像采集与稳像子系统2由无人机位姿确认模块21、相机标定与校准模块22、分段监测模块23、巡航路线规划模块24、图像采集与检测模块25组成，用于图像采集工作；所述的模型训练与内嵌子系统3由深度学习跟踪与分割模块31、模型训练及验证模块32、树莓派内嵌程序模块33、无人机补偿位移模块34、图像拼接模块35、响应计算模块36和损伤结合计算模块37组成，用于模型训练后根据目标跟踪与图像分割的工作具体计算出结构的动力特性与表面缺陷；所述的整体结构评估子系统4由对比结构特性模块41、判断安全运行模块42、异常数据保存模块43、整体故障诊断模块44、数据整合模块45和整体损伤程度判断模块46组成，用于风力机结构的损伤判断；所述的紧急事故预警子系统5由继续运行判断模块51、预警报备模块52、事故信息上传模块53、在线系统通知模块54和风力机维修模块55组成，用于风力机不可继续运行时及时预警通知维修风力机结构并给出维修建议，以避免严重的安全事故与经济损失。
本发明的基于无人机及机器视觉的风电结构健康监测方法，其具体步骤为：
步骤(1)无人机飞行至规定位置后由图像采集与稳像子系统确定位姿并进行相机标定及校准，再通过分段监测方式对巡航路线进行规划，最后在巡航路线中获取图像并对所采集的图像质量进行检测；
步骤(2)由模型训练与内嵌子系统对获取的图像进行深度学习方法下的目标跟踪与语义分割的学习步骤，再进行数据集扩充及模型训练，将训练好的深度学习网络参数返回内嵌至树莓派，最后将监测图像通过无人机位移补偿与图像拼接得到结构响应并计算风力机结构动力特性与表面缺陷；
步骤(3)由整体结构评估子系统将监测所得的动力特性与表面缺陷做相关计算后对比整体结构特性判断风力机是否能够继续安全运行，若可以安全运行则继续按规定间隔周期进行监测，若无法安全运行则保存异常数据及视频信息进行故障诊断，最后进行数据整合对整体结构损伤程度进行判定；
步骤(4)由紧急事故预警子系统在损伤判定无法继续运行时对客户端预警并上传事故信息给出维修建议，最后线上通知管理员进行风力机维修。
本发明相对于现有技术具有以下优点：
1、本发明通过无人机搭载装置拍摄风力机结构，采用深度学习的视觉算法计算结构动力特性与表面缺陷，为弥补存在的计算量和训练的问题，在监测过程中创新的采用数据扩充与树莓派结合的方式，可实现快速实时监测。
2、本发明的无人机悬停监测采用更加高效的分段监测新方法。无人机的灵活便利使其可以在所需监测点充分监测，针对大型风力机结构无法全面进行监测的问题，该方法采用自上而下的分段监测方式对风力机结构进行全面监测，充分利用了无人机的灵活性和分辨率且同时解决了在大气效应下引起的图像失真问题。
3、本发明对无人机监测过程中产生的漂移位移进行了补偿，消除了采用无人机进行监测时产生的位移误差，提高监测的准确性。
4、本发明对风力机图像信息进行三维重建得到风力机模型进而进行数据扩充，提高了深度学习检测的准确性。无人机分段监测后通过拍摄图像进行点云重建，通过稀疏与密集点云重构建立实体三维模型，最后在不同环境下导出不同检测位置的局部图像进行数据集扩充，在深度学习网络中训练提高精度。
5、本发明的无人机采集装置所涉及的零件均可以利用当前加工技术轻易实现，在工厂进行相应的预制后，进行现场组装，加工性能强、连接性强，提出的方法思路清晰可在实际监测中应用。
附图说明
图1为本发明的无人机使用计算机视觉的监测方式及处理系统示意图，图2为本发明的无人机搭载装置效果图，图3为本发明的无人机巡航路线环绕方式示意图，图4为本发明的无人机巡航实时检测流程框图，附图标记及对应名称为：1：无人机搭载装置，2：图像采集与稳像子系统，3：模型训练与内嵌子系统，4：整体结构评估子系统，5：紧急事故预警子系统，11：无人机，12：摄像头，13：树莓派主板，21：无人机位姿确认模块，22：相机标定与校准模块，23：分段监测模块，24：巡航路线规划模块，25：图像采集与检测模块，31：深度学习跟踪与分割模块，32：模型训练及验证模块，33：树莓派内嵌程序模块，34：无人机补偿位移模块，35：图像拼接模块，36：响应计算模块，37：损伤结合计算模块，41：对比结构特性模块，42：判断安全运行模块，43：异常数据保存模块，44：整体故障诊断模块，45：数据整合模块，46：整体损伤程度判断模块，51：继续运行判断模块，52：预警报备模块，53：事故信息上传模块，54：在线系统通知模块，55：风力机维修模块。
实施方式
本发明是基于无人机及机器视觉的风电结构健康监测系统及方法，其结构是由无人机采集装置1、图像采集与稳像子系统2、模型训练与内嵌子系统3、整体结构评估子系统4、紧急事故预警子系统5组成的一种风电结构全面健康监测方法。所述的无人机采集装置1由无人机11、摄像头12、树莓派主板13组成；所述的图像采集与稳像子系统2由无人机位姿确认模块21、相机标定与校准模块22、分段监测模块23、巡航路线规划模块24、图像采集与检测模块25组成，用于图像采集工作；所述的模型训练与内嵌子系统3由深度学习跟踪与分割模块31、模型训练及验证模块32、树莓派内嵌程序模块33、无人机补偿位移模块34、图像拼接模块35、响应计算模块36和损伤结合计算模块37组成，用于模型训练后根据目标跟踪与图像分割的工作具体计算出结构的动力特性与表面缺陷；所述的整体结构评估子系统4由对比结构特性模块41、判断安全运行模块42、异常数据保存模块43、整体故障诊断模块44、数据整合模块45和整体损伤程度判断模块46组成，用于风力机结构的损伤判断；所述的紧急事故预警子系统5由继续运行判断模块51、预警报备模块52、事故信息上传模块53、在线系统通知模块54和风力机维修模块55组成，用于风力机不可继续运行时及时预警通知维修风力机结构并给出维修建议，以避免严重的安全事故与经济损失。
采用以上所述的基于无人机及机器视觉的风电结构健康监测系统的监测方法，其步骤为：
步骤(1)无人机飞行至规定位置后由图像采集与稳像子系统确定位姿并进行相机标定及校准，再通过分段监测方式对巡航路线进行规划，最后在巡航路线中获取图像并对所采集的图像质量进行检测；
步骤(2)由模型训练与内嵌子系统对获取的图像进行深度学习方法下的目标跟踪与语义分割的学习步骤，再进行数据集扩充及模型训练，将训练好的深度学习网络参数返回内嵌至树莓派，最后将监测图像通过无人机位移补偿与图像拼接得到结构响应并计算风力机结构动力特性与表面缺陷；
步骤(3)由整体结构评估子系统将监测所得的动力特性与表面缺陷做相关计算后对比整体结构特性判断风力机是否能够继续安全运行，若可以安全运行则继续按规定间隔周期进行监测，若无法安全运行则保存异常数据及视频信息进行故障诊断，最后进行数据整合对整体结构损伤程度进行判定；
步骤(4)由紧急事故预警子系统在损伤判定无法继续运行时对客户端预警并上传事故信息给出维修建议，最后线上通知管理员进行风力机维修。
以上所述的监测方法，由终端通过无人机搭载的树莓派来控制无人机进行图像信息的采集工作，并将采集到的图像通过已提前内嵌深度学习网络参数的树莓派进行数据预处理，后实时传输数据至终端进行后续计算。
以上所述的监测方法，所述的深度学习网络参数获取方法为：
将采集到的图像通过稀疏点云与密集点云的方法重构建立实体三维模型，之后在不同环境下导出不同监测位置的局部图像，来模拟不同条件下的工况，从而进行数据集扩充，再使用扩充后的数据集进行视觉跟踪算法YOLO(You Only Look Once)深度学习的模型训练，最后将训练好的模型参数内嵌置树莓派主板内。
以上所述的监测方法，所述的分段监测方法为：
根据无人机视野范围确定每次悬停监测区域范围，在相邻监测区域内图像有重叠的前提下，控制无人机在风电结构不同监测位置进行自上而下的悬停拍摄及顺时针的环绕拍摄，依次分段采集风力发电机结构图像信息；
在计算全局振型时，对监测重叠部分进行归一化因子Ri传递响应，该因子将重叠域中的模式形状缩放为在重叠处具有相同的值。
以上所述的监测方法，所述的无人机位移补偿方法为：
平面内位移补偿由光流法对监测点和背景不动点同时跟踪，得出第i帧下监测点位移坐标POi(xOi,yOi)和不动点坐标PUAVi(xUVAi,yUAVi),则可得监测点的绝对坐标PAOi＝POi-PUAVi＝(xOi-xUVAi,yOi-yUAVi),再由得到监测点的绝对位移；
平面外位移补偿通过基于刚体相对位置不变假设下的自适应比例因子法，采用自适应比例因子将结构监测的位移从图像坐标转换为物理坐标进而进行平面外位移补偿，来消除无人机漂移位移影响。
以上所述的监测方法，所述的整体损伤判断方法为：将通过相关运算获得的所监测结构的频率、振型等动力特性信息与风力机结构原始的动力特性信息进行对比，并结合风机表面缺陷信息对数据进行整合从而给出风力机结构的整体损伤程度。
下面结合附图，对本发明的基于无人机及机器视觉的风电结构健康监测系统及方法做进一步详细说明。
由图1所示，本发明提供的是无人机使用计算机视觉的监测方式及处理系统，其是由无人机搭载装置1，图像采集与稳像子系统2，模型训练与内嵌子系统3，整体结构评估子系统4，紧急事故预警子系统5共同组成。无人机搭载装置1通过对风力机叶片，塔筒等结构进行环绕式巡航及悬停式监测获取风力机整体运动图像，之后由无人机巡航实时检测各系统进行分析与判断。无人机定时检测，综合分析风力机整体结构动力特性与表面缺陷进行结构健康评估。
由图2、图3所示，无人机搭载装置1搭载摄像头12用于风力机整体结构的悬停拍摄与环绕拍摄，树莓派主板13用于实时处理拍摄数据。无人机搭载装置1通过自上而下环绕结构的无人机巡航路线进行检测，其中悬停检测时将无人机搭载装置1悬停于叶片和塔筒前方进行动力特性监测，缺陷识别通过无人机搭载装置1绕叶片、塔筒进行多角度全方位拍摄以达到数据精确化的目的。
由图4所示，图像采集与稳像子系统2由无人机位姿确认模块21，相机标定与校准模块22，分段监测模块23，巡航路线规划模块24，图像采集与检测模块25组成，用于无人机图像信息采集的准备工作。模型训练与内嵌子系统3由深度学习跟踪与分割模块31，模型训练及验证模块32，树莓派内嵌程序模块33，无人机补偿位移模块34，图像拼接模块35，响应计算模块36，损伤结合计算模块37组成，用于模型训练后根据树莓派内嵌程序中的跟踪与分割工作具体计算出结构动力特性及表面缺陷。整体结构评估子系统4由对比结构特性模块41，判断安全运行模块42，异常数据保存模块43，整体故障诊断模块44，数据整合模块45，整体损伤程度判断模块46组成，用于评估结构是否可以安全运行并判断损伤程度。紧急事故预警子系统5由继续运行判断模块51，预警报备模块52，事故信息上传模块53，在线系统通知模块54，风力机维修模块55组成，用于风力机出现严重损伤后进行预警。
本发明利用无人机搭载装置对运行的风力机进行检测，通过后端处理系统对拍摄视频进行计算得到风力机结构动力特性与表面缺陷，进而评估风力机的安全性能并给定是否继续运行的建议，达到无损伤、非接触、高精度的结构健康监测目的。无人机搭载装置拍摄风力机结构运行状态与表面缺陷，采用深度学习视觉算法进行计算，为弥补计算量及训练问题，在监测过程中采用数据扩充技术与树莓派结合，使其实时检测更加有效。采用此方式对风力机损伤判定并评估安全性能。本发明在保证风力机结构不损伤叶片的情况下可有效监测风力机运行情况、评估风力机状态且装置连接方便、构造简单，方法实用性强。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于无人机及机器视觉的风电结构健康监测系统，其特征在于：其结构由无人机采集装置(1)，图像采集与稳像子系统(2)，模型训练与内嵌子系统(3)，整体结构评估子系统(4)，紧急事故预警子系统(5)组成；无人机采集装置(1)由无人机(11)，摄像头(12)和树莓派主板(13)组成，使用树莓派的摄像头模块，实时捕获视频流并将其传输至终端；图像采集与稳像子系统(2)，由无人机位姿确认模块(21)，相机标定与校准模块(22)，分段监测模块(23)，巡航路线规划模块(24)，图像采集与检测模块(25)组成；模型训练与内嵌子系统(3)，由深度学习跟踪与分割模块(31)，模型训练及验证模块(32)，树莓派内嵌程序模块(33)，无人机位移补偿模块(34)，图像拼接模块(35)，响应计算模块(36)和损伤结合计算模块(37)组成，对风力发电结构的动力特性及表面缺陷进行实时计算；整体结构评估子系统(4)由对比结构特性模块(41)，判断安全运行模块(42)，异常数据保存模块(43)，整体故障诊断模块(44)，数据整合模块(45)，整体损伤程度判断模块(46)组成，对风力发电机结构的整体损伤程度进行分析；紧急事故预警子系统(5)由继续运行判断模块(51)，预警报备模块(52)，事故信息上传模块(53)，在线系统通知模块(54)，风力机维修模块(55)组成；
采用所述的基于无人机及机器视觉的风电结构健康监测系统的监测方法，其步骤为：
步骤(1)无人机飞行至规定位置后由图像采集与稳像子系统确定位姿并进行相机标定及校准，再通过分段监测方式对巡航路线进行规划，最后在巡航路线中获取图像并对所采集的图像质量进行检测；
步骤(2)由模型训练与内嵌子系统对获取的图像进行深度学习方法下的目标跟踪与语义分割的学习步骤，再进行数据集扩充及模型训练，将训练好的深度学习网络参数返回内嵌至树莓派，最后将监测图像通过无人机位移补偿与图像拼接得到结构响应并计算风力机结构动力特性与表面缺陷；
步骤(3)由整体结构评估子系统将监测所得的动力特性与表面缺陷做相关计算后对比整体结构特性判断风力机是否能够继续安全运行，若可以安全运行则继续按规定间隔周期进行监测，若无法安全运行则保存异常数据及视频信息进行故障诊断，最后进行数据整合对整体结构损伤程度进行判定；
步骤(4)由紧急事故预警子系统在损伤判定无法继续运行时对客户端预警并上传事故信息给出维修建议，最后线上通知管理员进行风力机维修。
2.根据权利要求1所述的基于无人机及机器视觉的风电结构健康监测系统，其特征在于所述的深度学习跟踪与分割方法为：
深度学习目标跟踪使用YOLO算法来实现风机叶片在图像序列中的持续跟踪，来获取结构的动力特性信息；通过深度学习分割技术判别风机表面存在的表面缺陷信息。
3.根据权利要求1所述的基于无人机及机器视觉的风电结构健康监测系统，其特征在于所述的分段监测方法为：
根据无人机视野范围确定每次悬停监测区域范围，在相邻监测区域内图像有重叠的前提下，控制无人机在风电结构不同监测位置进行自上而下的悬停拍摄及顺时针的环绕拍摄，依次分段采集风力发电机结构图像信息；
其中悬停检测时将无人机搭载装置(1)悬停于叶片和塔筒前方进行动力特性监测，环绕检测时将无人机搭载装置(1)绕叶片、塔筒进行多角度全方位环绕拍摄进行缺陷识别。
4.根据权利要求1所述的基于无人机及机器视觉的风电结构健康监测系统，其特征在于所述的无人机位移补偿方法为：
进行悬停监测时，在采集到的风力发电结构图像信息中，通过追踪分析风机上监测点和背景不动点相邻图像帧之间的光流信息来估计无人机的位移来补偿无人机的漂移影响。
5.根据权利要求1所述的基于无人机及机器视觉的风电结构健康监测系统，其特征在于所述的整体结构损伤程度判断方法为：
将响应计算模块(36)获得的监测结构的频率、振型动力特性信息与风力机结构原始的动力特性信息进行对比，结合由深度学习跟踪与分割模块(31)获得的风机表面缺陷信息并结合整体结构评估子系统(4)对数据进行整合从而给出风力机结构的整体损伤程度。
CN202310286461.9A 2023-03-22 2023-03-22 基于无人机及机器视觉的风电结构健康监测系统及方法 Active CN116308180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310286461.9A CN116308180B (zh) 2023-03-22 2023-03-22 基于无人机及机器视觉的风电结构健康监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310286461.9A CN116308180B (zh) 2023-03-22 2023-03-22 基于无人机及机器视觉的风电结构健康监测系统及方法

Publications (2)

Publication Number Publication Date
CN116308180A CN116308180A (zh) 2023-06-23
CN116308180B true CN116308180B (zh) 2024-06-07

Family

ID=86786828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310286461.9A Active CN116308180B (zh) 2023-03-22 2023-03-22 基于无人机及机器视觉的风电结构健康监测系统及方法

Country Status (1)

Country Link
CN (1) CN116308180B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488850A (zh) * 2019-08-02 2019-11-22 南京理工大学 一种基于树莓派的四旋翼无人机视觉导航系统及方法
KR20200031860A (ko) * 2018-09-17 2020-03-25 윈디텍 주식회사 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법
CN113759960A (zh) * 2021-07-26 2021-12-07 青海黄河风力发电有限责任公司 基于无人机的风机叶片及塔筒巡检识别系统及方法
CN114394236A (zh) * 2022-01-14 2022-04-26 北京华能新锐控制技术有限公司 风电叶片巡检用无人机
CN114764795A (zh) * 2022-04-20 2022-07-19 上海电机学院 一种基于无人机视觉的起重机缺陷检测方法
CN114812403A (zh) * 2022-06-21 2022-07-29 兰州理工大学 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200031860A (ko) * 2018-09-17 2020-03-25 윈디텍 주식회사 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법
CN110488850A (zh) * 2019-08-02 2019-11-22 南京理工大学 一种基于树莓派的四旋翼无人机视觉导航系统及方法
CN113759960A (zh) * 2021-07-26 2021-12-07 青海黄河风力发电有限责任公司 基于无人机的风机叶片及塔筒巡检识别系统及方法
CN114394236A (zh) * 2022-01-14 2022-04-26 北京华能新锐控制技术有限公司 风电叶片巡检用无人机
CN114764795A (zh) * 2022-04-20 2022-07-19 上海电机学院 一种基于无人机视觉的起重机缺陷检测方法
CN114812403A (zh) * 2022-06-21 2022-07-29 兰州理工大学 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于光流法和无人机的大型风力机结构动力特性测试";李万润 等;《湖南大学学报（自然科学版）》;第1-12页 *
基于机器视觉的风电叶片风沙侵蚀程度检测方法研究;王雪平;张建斐;李万润;杜永峰;李慧;;太阳能学报;20200528(05);第172-179页 *

Also Published As

Publication number Publication date
CN116308180A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
WO2022077605A1 (zh) 一种风力机叶片图像损伤检测和定位方法
CN107941537B (zh) 一种机械设备健康状态评估方法
CN110261394B (zh) 在线风机叶片损伤实时诊断系统和方法
CN207600967U (zh) 一种用于风电场扇叶表面缺陷检测的装置
CN106017551A (zh) 一种智能化输电线路综合监测分析预警方法
CN106762451A (zh) 基于无人机的风机叶片损伤检测方法、装置及系统
CN110220909A (zh) 一种基于深度学习的地铁盾构隧道病害检测方法
CN107843285A (zh) 一种输电塔线的风致动力效应远程监测系统及应用
CN108981924B (zh) 一种在役大型风力机叶片早期损伤现场检测系统
CN113339205A (zh) 一种风力发电机组叶片运行轨迹监测方法及系统
Guo et al. Detecting and positioning of wind turbine blade tips for uav-based automatic inspection
CN113406107A (zh) 风机叶片缺陷检测系统
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN114021906A (zh) 无人值守的风力发电运维管理方法及系统
CN115218801A (zh) 基于机器视觉的风力发电机净空距离测量方法及装置
CN105426665B (zh) 基于状态监测的动态可靠度确定方法
CN116308180B (zh) 基于无人机及机器视觉的风电结构健康监测系统及方法
CN113344275A (zh) 一种基于lstm模型的浮式平台波浪爬升在线预报方法
CN113569956A (zh) 一种基于ai算法的山火灾害勘查识别方法
CN110608133B (zh) 一种海上风力发电控制系统及方法
CN110188939B (zh) 风电场的风功率的预测方法、系统、设备和存储介质
CN110006483B (zh) 一种电力铁塔
CN114442658B (zh) 输配电线路无人机自动巡检系统及其运行方法
CN107218180B (zh) 一种基于振动加速度测量的风力发电机组传动系统故障报警方法
CN114612763A (zh) 一种风电机组变桨轴承裂纹监测方法、计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant