CN110910349B - 一种基于航拍视觉的风电机组状态获取方法 - Google Patents

一种基于航拍视觉的风电机组状态获取方法 Download PDF

Info

Publication number
CN110910349B
CN110910349B CN201911013435.9A CN201911013435A CN110910349B CN 110910349 B CN110910349 B CN 110910349B CN 201911013435 A CN201911013435 A CN 201911013435A CN 110910349 B CN110910349 B CN 110910349B
Authority
CN
China
Prior art keywords
wind turbine
turbine generator
blade
boundary frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911013435.9A
Other languages
English (en)
Other versions
CN110910349A (zh
Inventor
徐一鸣
顾海峰
戴秋霞
张海东
卞春磊
华亮
徐星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN201911013435.9A priority Critical patent/CN110910349B/zh
Publication of CN110910349A publication Critical patent/CN110910349A/zh
Application granted granted Critical
Publication of CN110910349B publication Critical patent/CN110910349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明于计算机视觉和机器学习领域，涉及一种基于航拍视觉的风电机组状态获取方法，采用无人机航拍对处于风力发电厂中工作的风电机组进行图像采集，对风电机组图像进行目标对象增强以及降噪处理，将数据集制作成带有目标标签的数据集，基于改进的SSD网络模型进行本地化训练，然后对航拍视频进行识别定位跟踪检测，获得带标签的目标边界框，并截取边界框以内的图像内容，识别并拟合桨叶、立柱的边缘直线，通过检测桨叶与立柱重合时刻计算风电机组运行速度，使用帧差法以及关键参考点位置关系，判定风电机组相对无人机的6种位置关系。本发明提供的方法可以基于航拍视频自动识别风电机组的缺损情况、转速信息、朝向信息等运行状态。

Description

一种基于航拍视觉的风电机组状态获取方法
技术领域
本发明属于计算机视觉和机器学习领域，具体涉及一种基于航拍视觉的风电机组状态获取方法。
背景技术
风力发电是国家获取清洁能源的一个重要途径。风电发电机组运行过程中，对风电机组进行常规性检测能够解决风电机组寿命周期内存在的运行隐患,保证风电场的长期稳定效益。传统的人工检测方法，存在高空作业危险系数高、工作效率低、停机检测影响发电效率等缺点。随着无人机技术发展显著，稳定的飞行控制以及搭载视觉传感器，在应对室外复杂背景环境，目标空间占比大以及背景融合度高等问题具有一定的技术优势。因此，如何基于无人机航拍视觉获取风电机组运行状况，实现对风电机组的日常巡检，成为亟需解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于航拍视觉的风电机组姿态获取方法，可以基于航拍视频自动识别风电机组的缺损情况、转速信息、朝向信息等运行状态。
本发明提供了一种基于航拍视觉的风电机组状态获取方法，所述风电机组包括立柱和三个桨叶，所述桨叶的各个直边之间的夹角为120°，包括以下步骤：
S1.分别从无人机航拍视频和网络检索图片中获取完整的风电机组图像，构建风机机组图像数据集，在所述图像数据集中手动添加带标签目标边界框，得到训练数据集，其中，所述带标签目标边界框包括桨叶目标边界框和立柱目标边界框；
S2.修改SSD卷积神经网络全连接层右侧输出参数，将所述SSD卷积神经网络的分类减少为3个分类，然后用步骤S1得到的训练数据集进行训练；
S3.使用步骤S2训练完成的SSD卷积神经网络对于巡检航拍视频进行检测，获得具有带标签目标边界框的巡检航拍视频；
S4.根据步骤S3获得的具有带标签目标边界框的巡检航拍视频，根据形成连通域的带标签目标边界框是否包含桨叶目标边界框判断所述风电机组的缺损状况，若不包含桨叶目标边界框则判定风电机组存在重大机械部件损坏；
S5.在步骤S3获得具有带标签目标边界框的巡检航拍视频中，对形成连通域的带标签目标边界框内的图像使用canny边缘检测算法获得风电机组边缘的离散轮廓线，再使用霍夫变换将所述离散轮廓线拟合成直线；
S6.对步骤S5拟合得到的直线进行分析，确定立柱和与所述立柱匹配的桨叶，根据桨叶与立柱的位置关系推算风电机组转速；
S7.以用于航拍所述巡检航拍视频的无人机为参照对象，确定桨叶的位姿信息；
S8.输出所述风电机组的状态，所述状态包括缺损状况、桨叶转速以及桨叶位姿信息。
优选的，步骤S2中所述修改SSD卷积神经网络全连接层右侧输出参数，将所述SSD卷积神经网络的分类减少为3个分类具体为：
S21.将所述SSD卷积神经网络中各个全连接层的连接方式改为稀疏连接；
S22.将所述SSD卷积神经网络中的最后一个全连接层右侧输出参数由1000个减少到3个，并连接softmax分类层。
优选的，步骤S6中所述对步骤S5拟合得到的直线进行分析，确定立柱和与所述立柱匹配的桨叶具体为：
S61.对步骤S5拟合得到的直线进行分析，计算各个立柱目标边界框和各个桨叶目标边界框内各条直线的斜率；
S62.在各个立柱目标边界框的内选择斜率最接近90°的一条直线的视为立柱直线；
S63.根据步骤S61计算得到的各个桨叶目标边界框内各条直线的斜率，将各个所述桨叶目标边界框内的直线采用投票机制进行两两比较，根据投票结果确定桨叶直线；
其中，所述投票机制为：夹角为120°的两条直线都获得一个投票，最终取获得投票次数最多的三条直线视为桨叶直线。
优选的，步骤S6中所述根据桨叶与立柱的位置关系推算风电机组转速的计算公式为：
Figure BDA0002244899600000021
其中，v表示风电机组的转速；Δt表示所述桨叶直线与所述立柱直线连续两次重合的间隔时间。
优选的，所述步骤S7具体为：
S71.根据步骤S3获得的具有带标签目标边界框的巡检航拍视频，采用帧差法获取桨叶旋转方式，所述桨叶旋转方式为顺时针方式或逆时针方式；
S72.对桨叶直线进行角点检测，确定轮毂中心点和所述轮毂中心点的像素坐标，所述轮毂中心点为所述桨叶直线的交点；
S73.根据所述轮毂中心点的像素坐标在所述立柱直线上确定立柱对比点，所述立柱对比点的纵坐标的值与所述轮毂中心点纵坐标的值相同；
S74.根据所述桨叶旋转方式、无人机的位置和所述轮毂中心点与所述立柱对比点的相对位置关系，确定所述风电机组的位姿状态。
优选的，所述步骤S8还包括：根据所述桨叶的位姿信息判断所述桨叶平面是否处于可获取最大风能的方向。
与现有技术相比，本发明具有以下有益效果：
(1)本发明使用深度学习卷积神经网络的方法，实现运动平台拍摄视角对特定运动目标(风电机组)的跟踪，此方法只需拓展训练数据集，即可应用于不同风力发电场中进行风电机组跟踪，因此，本发明具有检测场景迁移性。
(2)根据应用场景的需求选定SSD卷积神经网络模型并对模型结构进行修改，网络参数得到了合理删减，在室外复杂光照条件下特定运动目标跟踪中得到精准的跟踪效果。
(3)基于目标跟踪结果，进行轮毂中心点、立柱拟合直线上的定位对比点等特征点提取，降低此应用场景里的复杂室外背景及无关运动目标的影响。
(4)根据目标固有几何特性及使用投票选择机制，准确分类出目标边界框内桨叶、立柱拟合直线，然后对关键特征点(轮毂中心点、立柱拟合直线上的立柱对比点)提取并判断特征点的位置关系，从而获得风电机组转速、风电机组与无人机的相对位置关系。
(5)依据风电机组与无人机相对位置关系，判断出风电机组的朝向信息，再结合现场风向数据，识别判定风电机组是否工作在获取风能最大方向。
附图说明
图1是本发明提供的基于航拍视觉的风电机组姿态获取方法流程图；
图2是本发明提供的添加了人工标签的风机机组示意图；
图3是本发明风电机组轮毂中心点与立柱对比点的相对位置模型示意图；
附图标记：1为桨叶目标边界框；2为立柱目标边界框。
具体实施方式
为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为了进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
如图1所示，本发明提供了一种基于航拍视觉的风电机组状态获取方法，风电机组包括立柱和三个桨叶，桨叶的各个直边之间的夹角为120°，包括以下步骤：
S1.分别从无人机航拍视频和网络检索图片中获取完整的风电机组图像，构建风机机组图像数据集，在所述图像数据集中手动添加带标签目标边界框，得到训练数据集，其中，所述带标签目标边界框包括桨叶目标边界框和立柱目标边界框；
首先，从无人机航拍视频和网络检索图片中获取完整的风电机组图像，构建风机机组图像数据集，对风机机组图像数据集中部分图像采用卷积核锐化、翻转、旋转以及一些基于噪声的数据增强手段，使得到的风机机组图像数据集具有较强的鲁棒性以及避免过拟合。然后，使用labellmg在得到风机机组图像数据集中添加带标签的目标边界框，如图2所示，包含两个带标签目标边界框：桨叶目标边界框和立柱目标边界框。
S2.修改SSD卷积神经网络全连接层右侧输出参数，将SSD卷积神经网络的分类减少为3个分类，然后用步骤S1得到的训练数据集进行训练；
SSD卷积神经网络模型可以实现目标对象分类以及目标边界框回归确定，此网络模型中目标边界框回归确定采用无显示候选框提取以及Anchor机制，对比随机候选框，冗余计算量大大降低；此神经网络模型在特征空间中融合了不同卷积层的特征进行预测，适合户外应用场景，但是对小尺寸识别效果不佳，在本专利应用场景中，一帧图像中存在远距离风电机组(距离远显得小)，由于不是识别的主体所以需要被忽略，SSD模型的可以满足这一需求。
SSD卷积神经网络模型中实现目标分类是依靠VGGNet，VGGNet包含了13个卷积层和3个全连接层。由于全连接层占据网络大量参数，而减少网络模型参数，可以提升网络模型收敛速度，降低网络模型训练难度。VGGNet最后一个全连接层存在1000个输出参数即可以有1000种不同的种类分类，在风电机组识别中，只需要立柱、桨叶、背景3个分类。具体修改方法如下：先将SSD卷积神经网络中各个全连接层的连接方式改为稀疏连接；然后将SSD卷积神经网络中的最后一个全连接层右侧输出参数由1000个减少到3个，并连接softmax分类层。
然后，用上一步骤得到的训练数据集进行训练,首先基于COCO数据集训练，再采用迁移学习的方式，学习率设定为0.001，权重衰减率为0.0005，学习率衰减因子为0.94，步长为3。
S3.使用步骤S2训练完成的SSD卷积神经网络对于巡检航拍视频进行检测，获得具有带标签目标边界框的巡检航拍视频；
对需要检测的风电机组采用无人机进行巡检航拍，获得巡检航拍视频(视频帧速率为25帧/秒)，使用经过训练的SSD卷积神经网络对于得到的风电机组巡检航拍视频进行检测，在视频中进行目标跟踪，得到具有带标签目标边界框的巡检航拍视频。
S4.根据步骤S3获得的具有带标签目标边界框的巡检航拍视频，根据形成连通域的带标签目标边界框是否包含桨叶目标边界框判断所述风电机组的缺损状况，若不包含桨叶目标边界框则判定风电机组存在重大机械部件损坏；
将获得带标签目标边界框的巡检航拍视频进行处理，将目标边界框内的像素值置0，边界框外的像素置成255，将视频帧图像转化为二值图像。
i.遍历图像，一旦碰到像素值不为0的像素进入第ii步；
ii.判断该像素是不是属于一个连通域，如果不属于任何已知连通域进入第iii(a)步,如果属于一个已知连通域进入第iii(b)步；
iii(a).将连通域计数加1，并将该计数值赋给此像素点作为连通域的标志，同时把该值记录到一个映射关系数组的相应位置，如a[3]＝3。回到第i步；
iii(b).将该像素值和其上下左右不为0的像素的值进行比较，找其中的最小值赋值给所有非零的像素作为连通域标志，并调整映射关系数组。回到第i步；
iv.经过上面的遍历，映射关系数组记录了修改过的图像的连通域信息，然而该信息比较杂乱，同一个连通域可能分别被几个值所标志，通过遍历该数组可以调整这个情况，将同一个连通域的映射值用其最小值进行标志；
v.遍历图像结合映射关系数组对连通域值进行调整，经过这一步同一连通域将据有相同的像素值。
vi.结合每个分类标签的位置信息，获得同一个连通域内拥有分类标签的情况。
根据形成连通域的带标签目标边界框是否包含桨叶目标边界框判断所述风电机组的缺损状况，若形成连通域的带标签目标边界框既包含桨叶目标边界框又包含立柱目标边界框，若仅有立柱目标边界框，则可认为该风电机组缺少桨叶，即存在重大机械部件损坏。
S5.在步骤S3获得具有带标签目标边界框的巡检航拍视频中，对形成连通域的带标签目标边界框内的图像使用canny边缘检测算法获得风电机组边缘的离散轮廓线，再使用霍夫变换将所述离散轮廓线拟合成直线；
具体的，在具有带标签目标边界框的巡检航拍视频中，对目标边界框内的图像，使用canny算法进行边缘检测，首先基于灰度图像使用sobel算子计算方向导数，利用的是3*3的卷积核进行垂直和水平方向的微分，然后沿梯度下降最快方向跟踪边缘，将边缘检测图片转换为二值图，并删除不必要的弱边缘，接着使用霍夫直线变换，将桨叶和立柱边缘轮廓线拟合成直线；
S6.对步骤S5拟合得到的直线进行分析，确定立柱和与所述立柱匹配的桨叶，根据桨叶与立柱的位置关系推算风电机组转速；
首先，对步骤S5拟合得到的直线进行分析，计算各个立柱目标边界框和各个桨叶目标边界框内各条直线的斜率；然后，在各个立柱目标边界框的内选择斜率最接近90°的一条直线的视为立柱直线；最后，根据计算得到的各个桨叶目标边界框内各条直线的斜率，将各个桨叶目标边界框内的直线采用投票机制进行两两比较，根据投票结果确定桨叶直线；
本发明中投票机制为：夹角为120°的两条直线都获得一个投票，最终取获得投票次数最多的三条直线视为桨叶直线。
本发明中，根据桨叶与立柱的位置关系推算风电机组转速的计算公式为：
Figure BDA0002244899600000041
其中，v表示风电机组的转速；Δt表示所述桨叶直线与所述立柱直线连续两次重合的间隔时间。重合时间点的确认：检测已经分类的桨叶和立柱拟合直线的夹角，若识别到夹角为120°则判定立柱与其中一条桨叶重合，将第一次重合时间记为t1,第二次重合时间记为t2。
S7.以用于航拍所述巡检航拍视频的无人机为参照对象，确定桨叶的位姿信息；
具体的，首先根据步骤S3获得的具有带标签目标边界框的巡检航拍视频，采用帧差法获取桨叶旋转方式，桨叶旋转方式为顺时针方式或逆时针方式；
基于带标签目标边界框的巡检航拍视频序列图像，截取桨叶目标边界框内的图像，以边界框中心点为原点建立坐标系，将图像划分四个象限。基于两个时间点t1,t3(t3为t1,t2的中间时刻)，使用帧差法获得两个时间点对应的运动目标粗糙的运动区域幽像，确定运动区域幽像所在象限，比较两个时间点象限差别，从而判断桨叶的旋转方式。
然后，对桨叶直线进行角点检测，将桨叶直线的交点作为轮毂中心点，获取轮毂中心点的像素坐标；
接着，根据轮毂中心点的像素坐标在立柱直线上确定立柱对比点，立柱对比点的纵坐标的值与轮毂中心点纵坐标的值相同；
最后，根据桨叶旋转方式、无人机的位置以及轮毂中心点与立柱对比点的相对位置关系，确定风电机组的位姿状态。
相对位置关系判定如下：若顺时针旋转则风电机组正对无人机，若逆时针旋转则风电机组背对无人机；将轮毂中心点记为A，立柱拟合直线上所取参考点记为B，若两点近似相近，则判定为正对或者背对，相对无人机位置关系可判定为反向或同向。若A点位于B点左侧，可以判定风机向左朝向，反之则向右朝向，结合步骤七中识别结果，则可以将相对位置状态分为：正左、正右、背左、背右，轮毂中心点与立柱对比点的相对位置如图3所示，其中，图3(a)表示背右、图3(b)表示背左、图3(c)表示正右、图3(d)表示正左。
S8.输出所述风电机组的状态，所述状态包括缺损状况、桨叶转速以及桨叶位姿信息。
本发明还包括根据所述桨叶的位姿信息判断所述桨叶平面是否处于可获取最大风能的方向。
具体的，根据无人机的位姿信息和上一步得到的风电机组跟无人机相对位置关系，然后推算出风电机组在世界坐标的朝向，对比现场风向数据，校验风电机组是否工作在获取风能的最大方向上，从而对风电机组的工作效率提供一种视觉检测方案。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于航拍视觉的风电机组状态获取方法，所述风电机组包括立柱和三个桨叶，所述桨叶的各个直边之间的夹角为120°，其特征在于，包括以下步骤：
S1.分别从无人机航拍视频和网络检索图片中获取完整的风电机组图像，构建风机机组图像数据集，在所述图像数据集中手动添加带标签目标边界框，得到训练数据集，其中，所述带标签目标边界框包括桨叶目标边界框和立柱目标边界框；
S2.修改SSD卷积神经网络全连接层右侧输出参数，将所述SSD卷积神经网络的分类减少为3个分类，然后用步骤S1得到的训练数据集进行训练；
S3.使用步骤S2训练完成的SSD卷积神经网络对于巡检航拍视频进行检测，获得具有带标签目标边界框的巡检航拍视频；
S4.根据步骤S3获得的具有带标签目标边界框的巡检航拍视频，根据形成连通域的带标签目标边界框是否包含桨叶目标边界框判断所述风电机组的缺损状况，若不包含桨叶目标边界框则判定风电机组存在重大机械部件损坏；
S5.在步骤S3获得具有带标签目标边界框的巡检航拍视频中，对形成连通域的带标签目标边界框内的图像使用canny边缘检测算法获得风电机组边缘的离散轮廓线，再使用霍夫变换将所述离散轮廓线拟合成直线；
S6.对步骤S5拟合得到的直线进行分析，确定立柱和与所述立柱匹配的桨叶，根据桨叶与立柱的位置关系推算风电机组转速；
S7.以用于航拍所述巡检航拍视频的无人机为参照对象，确定桨叶的位姿信息；
S8.输出所述风电机组的状态，所述状态包括缺损状况、桨叶转速以及桨叶位姿信息。
2.根据权利要求1所述的基于航拍视觉的风电机组状态获取方法，其特征在于，步骤S2中所述修改SSD卷积神经网络全连接层右侧输出参数，将所述SSD卷积神经网络的分类减少为3个分类具体为：
S21.将所述SSD卷积神经网络中各个全连接层的连接方式改为稀疏连接；
S22.将所述SSD卷积神经网络中的最后一个全连接层右侧输出参数由1000个减少到3个，并连接softmax分类层。
3.根据权利要求1所述的基于航拍视觉的风电机组状态获取方法，其特征在于，步骤S6中所述对步骤S5拟合得到的直线进行分析，确定立柱和与所述立柱匹配的桨叶具体为：
S61.对步骤S5拟合得到的直线进行分析，计算各个立柱目标边界框和各个桨叶目标边界框内各条直线的斜率；
S62.在各个立柱目标边界框内选择斜率最接近90°的一条直线视为立柱直线；
S63.根据步骤S61计算得到的各个桨叶目标边界框内各条直线的斜率，将各个所述桨叶目标边界框内的直线采用投票机制进行两两比较，根据投票结果确定桨叶直线；
其中，所述投票机制为：夹角为120°的两条直线都获得一个投票，最终取获得投票次数最多的三条直线视为桨叶直线。
4.根据权利要求1所述的基于航拍视觉的风电机组状态获取方法，其特征在于，步骤S6中所述根据桨叶与立柱的位置关系推算风电机组转速的计算公式为：
其中，v表示风电机组的转速；Δt表示所述桨叶直线与所述立柱直线连续两次重合的间隔时间。
5.根据权利要求1所述的基于航拍视觉的风电机组状态获取方法，其特征在于，所述步骤S7具体为：
S71.根据步骤S3获得的具有带标签目标边界框的巡检航拍视频，采用帧差法获取桨叶旋转方式，所述桨叶旋转方式为顺时针方式或逆时针方式；
S72.对桨叶直线进行角点检测，确定轮毂中心点和所述轮毂中心点的像素坐标，所述轮毂中心点为所述桨叶直线的交点；
S73.根据所述轮毂中心点的像素坐标在所述立柱直线上确定立柱对比点，所述立柱对比点的纵坐标的值与所述轮毂中心点纵坐标的值相同；
S74.根据所述桨叶旋转方式、无人机的位置和所述轮毂中心点与所述立柱对比点的相对位置关系，确定所述风电机组的位姿状态。
6.根据权利要求1所述的基于航拍视觉的风电机组状态获取方法，其特征在于，所述步骤S8还包括：根据所述桨叶的位姿信息判断所述桨叶平面是否处于可获取最大风能的方向。
CN201911013435.9A 2019-10-23 2019-10-23 一种基于航拍视觉的风电机组状态获取方法 Active CN110910349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911013435.9A CN110910349B (zh) 2019-10-23 2019-10-23 一种基于航拍视觉的风电机组状态获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911013435.9A CN110910349B (zh) 2019-10-23 2019-10-23 一种基于航拍视觉的风电机组状态获取方法

Publications (2)

Publication Number Publication Date
CN110910349A CN110910349A (zh) 2020-03-24
CN110910349B true CN110910349B (zh) 2023-04-07

Family

ID=69814949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911013435.9A Active CN110910349B (zh) 2019-10-23 2019-10-23 一种基于航拍视觉的风电机组状态获取方法

Country Status (1)

Country Link
CN (1) CN110910349B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708380B (zh) * 2020-06-29 2023-11-10 北京御航智能科技有限公司 风电机组外观缺陷的检测方法、平台、无人机以及系统
CN112096566A (zh) * 2020-08-27 2020-12-18 上海扩博智能技术有限公司 风机停机状态参数的获取方法、系统、设备和介质
CN113393430B (zh) * 2021-06-09 2023-05-12 东方电气集团科学技术研究院有限公司 用于风机叶片缺陷检测的热成像图像增强训练方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106762451A (zh) * 2016-12-05 2017-05-31 北京金风科创风电设备有限公司 基于无人机的风机叶片损伤检测方法、装置及系统
CN107633511A (zh) * 2017-09-14 2018-01-26 南通大学 一种基于自编码神经网络的风机视觉检测系统
CN110163177A (zh) * 2019-05-28 2019-08-23 李峥嵘 一种风电机组叶片无人机自动感知识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579897B2 (en) * 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106762451A (zh) * 2016-12-05 2017-05-31 北京金风科创风电设备有限公司 基于无人机的风机叶片损伤检测方法、装置及系统
CN107633511A (zh) * 2017-09-14 2018-01-26 南通大学 一种基于自编码神经网络的风机视觉检测系统
CN110163177A (zh) * 2019-05-28 2019-08-23 李峥嵘 一种风电机组叶片无人机自动感知识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐一鸣 ; 张娟 ; 刘成成 ; 顾菊平 ; 潘高超 ; .迁移学习模式下基于GoogLeNet网络的风电机组视觉检测.计算机科学.2019,(05),全文. *

Also Published As

Publication number Publication date
CN110910349A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN110910349B (zh) 一种基于航拍视觉的风电机组状态获取方法
CN110097536B (zh) 基于深度学习和霍夫变换的六边形螺栓松动检测方法
WO2019154541A1 (en) Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera
Su et al. RCAG-Net: Residual channelwise attention gate network for hot spot defect detection of photovoltaic farms
CN111310631B (zh) 一种旋翼作业飞行机器人目标跟踪方法及系统
CN111914698B (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
CN113378686B (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN113408584B (zh) Rgb-d多模态特征融合3d目标检测方法
Song et al. Analysis on the impact of data augmentation on target recognition for UAV-based transmission line inspection
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN112396656A (zh) 一种视觉与激光雷达融合的室外移动机器人位姿估计方法
CN111566675A (zh) 车辆定位
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
Yang et al. Towards accurate image stitching for drone-based wind turbine blade inspection
CN114581307A (zh) 用于目标追踪识别的多图像拼接方法、系统、设备及介质
CN114742864A (zh) 皮带跑偏检测方法及装置
CN116823816B (zh) 一种基于安防监控静态存储器的检测设备及检测方法
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant