CN115423810B - 一种风力发电机组叶片覆冰形态分析方法 - Google Patents

一种风力发电机组叶片覆冰形态分析方法 Download PDF

Info

Publication number
CN115423810B
CN115423810B CN202211375227.5A CN202211375227A CN115423810B CN 115423810 B CN115423810 B CN 115423810B CN 202211375227 A CN202211375227 A CN 202211375227A CN 115423810 B CN115423810 B CN 115423810B
Authority
CN
China
Prior art keywords
blade
convolution
icing
features
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211375227.5A
Other languages
English (en)
Other versions
CN115423810A (zh
Inventor
熊俊杰
曾伟
赵伟哲
饶臻
匡德兴
李佳
张堃
吴建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Kechen Electric Power Test And Research Co ltd
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Original Assignee
Nanchang Kechen Electric Power Test And Research Co ltd
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Kechen Electric Power Test And Research Co ltd, State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd filed Critical Nanchang Kechen Electric Power Test And Research Co ltd
Priority to CN202211375227.5A priority Critical patent/CN115423810B/zh
Publication of CN115423810A publication Critical patent/CN115423810A/zh
Application granted granted Critical
Publication of CN115423810B publication Critical patent/CN115423810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Abstract

本发明公开了一种风力发电机组叶片覆冰形态分析方法，具体步骤如下：采集风力发电机组叶片侧面图像数据集，通过判断叶片长度像素值的极值，获取风力发电机组任一叶片与地面垂直时的侧面图像，对数据做增强处理；构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，分割出与地面垂直的风机叶片的覆冰区域；最后将覆冰区域厚度的像素值转换为实际覆冰厚度，并对覆冰区域进行形态分析。本发明的有益效果是：本发明仅凭摄像头采集图像信息搭配基于图嵌入式叶片覆冰区域分割网络的非接触式风力发电机组叶片覆冰分割监测算法完成对风力发电机组叶片覆冰厚度测量和覆冰的形态分析。

Description

一种风力发电机组叶片覆冰形态分析方法
技术领域
本发明涉及风力发电机组叶片覆冰监测技术领域，尤其涉及一种风力发电机组叶片覆冰形态分析方法。
背景技术
目前，我国的风资源基本分布在非常寒冷的北方以及极其潮湿的南方，环境均极其恶劣。风力发电机组在摄氏零度以下低温条件下运行时，如果遇到潮湿空气、雨水、盐雾、冰雪，特别是遇到过冷却水滴时，常常会发生冻冰现象。风力发电机组叶片覆冰后，会对风力发电机组的正常运行造成严重的危害。叶片覆冰后会产生较大的冰载，大大降低叶片的使用寿命。同时，由于加载在每个叶片上的冰载荷不尽相同，使得风力发电组的不平衡载荷增大，若机组继续运行，对机组将产生极大的危害；若停机，则机组的利用率大大降低。
目前现有的风力发电机叶片覆冰检测算法可以分为间接监测和直接监测两大类，间接监测通过监测导致结冰的环境参数建立数学模型来预测覆冰事件，这种方法一方面对于环境专家知识过度依赖，另一方面预测模型的使用条件限制，环境和风机型号的改变将造成模型预测性能得不到保证。直接监测则是通过电阻式应变传感器等监测风力发电机组的叶片覆冰情况，然而由于风力发电机组自身结构及运行环境极其恶劣而无法正常运行，诸如在雷击，盐雾，昼夜高低温，强电磁干扰等状况下极易失效。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种风力发电机组叶片覆冰形态分析方法，能够在风力发电机组叶片上不安装任何传感设施的情况下，完成对风力发电机组叶片覆冰的形态分析。
为了实现上述目的，本发明采用了如下技术方案：一种风力发电机组叶片覆冰形态分析方法，其特征是：具体步骤如下：
步骤S1：采集风力发电机组叶片侧面图像数据集，通过判断风力发电机组叶片长度像素值的极值，获取风力发电机组中任一叶片与地面垂直时的图像；
步骤S2：构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，将步骤S1中得到的风力发电机组中任一叶片与地面垂直时的图像放入图嵌入式叶片覆冰区域分割网络进行图像数据增强处理，对增强处理后的图像数据进行分割处理，得到与地面垂直的风机叶片的覆冰区域；
步骤S3：对步骤S2中与地面垂直的风机叶片的覆冰区域进行形态分析，检测出与地面垂直的风机叶片的覆冰区域像素值，将覆冰区域像素值转换为覆冰厚度，根据覆冰厚度将覆冰区域划分为重冰区、中冰区、轻冰区。
进一步的，在步骤S1中，采集风力发电机组叶片侧面图像数据集是利用APL超远高清相机远距离采集，在APL超远高清相机的视野范围内安装正方形的标定物，标定物中心高度与APL超远高清相机等高，标定物与风力发电机在同一深度位置。
进一步的，在步骤S2中，构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，具体操作如下：
S21，对采集的图像数据进行增强处理，搭建像素还原模块和图像再生成模块，对图像数据做降噪去雾增强处理；
S22，基于全局信息引导金字塔与尺度感知金字塔按照ω型神经网络搭建网络的编码层和解码层；
S23，使用欧几里得距离衡量编码层提取的特征间的相似性，根据编码层提取的特征间的相似性将分割网络全连接层中的卷积特征重建为图形特征，增强特征表达能力。
进一步的，图像数据增强处理通过引入像素还原模块和图像再生成模块分别对每个通道的像素信息进行复原；
像素还原模块由通道注意力模块和像素注意力模块组成，通道注意力模块帮助ω型神经网络去关注被雾气影响的特征信息，像素注意力模块对每个像素点进行加权；
图像再生成模块对像素还原模块提取的特征图进行去雾操作；所述图像再生成模块由三个Ghost模块和一个卷积组成，第一个Ghost模块对提取的特征图做整合细化处理，第二个Ghost模块和第三个Ghost模块分别对整合细化处理后的特征图进行降维，降维后输出的特征图与像素还原模块得到的特征图相融合通过卷积输出，得到再生成的去雾图像。
进一步的，全局信息引导金字塔在编码的过程中，通过将当前编码层的特征图与当前编码层的下一层编码层的特征图相结合；
将当前编码层的下一层编码层提取的图像特征通过一个线性映射函数映射到与当前编码层相同的通道空间中，定义第i层编码层生成的特征图为Gi，使用扩张卷积从不同级别的特征图中提取全局信息，使用普通卷积获取最终的特征图；
全局信息引导金字塔的推理公式如下：
Figure 615878DEST_PATH_IMAGE001
其中Fi为第i层编码层通过全局信息引导后推理出的特征图；
Figure 714678DEST_PATH_IMAGE002
表示连 接操作；Dconv表示扩张卷积，
Figure 876669DEST_PATH_IMAGE003
为扩张率；U表示上采样操作，
Figure 407007DEST_PATH_IMAGE004
为采样率；Gi为第i层编 码层生成的特征图，n表示扩张率上的编码层的层数，m表示采样率上的编码层的层数，且n= m。
进一步的，尺度感知金字塔具体过程如下：
选择不同扩张率的扩张卷积来捕捉不同的尺度信息；接着定义尺度感知模块来融 合不同的尺度特征，通过自学习的方式动态选择合适的尺度特征并融合；定义不同尺度特 征为
Figure 861997DEST_PATH_IMAGE005
，其中
Figure 212207DEST_PATH_IMAGE006
为编码的过程中提取到的第t个特征，不同尺度特征经过 卷积操作得到的特征图为
Figure 912310DEST_PATH_IMAGE007
，GFt是卷积操作后生成的第t张特征图， 由归一化指数函数对空间值生成像素级注意图；推理公式如下：
Figure 297155DEST_PATH_IMAGE008
其中CEs是生成的像素级注意图，s=2～t，GFs是卷积操作后生成的第s张特征图；
将特征图进行融合，获取最终融合特征，推理公式如下：
Figure 690090DEST_PATH_IMAGE009
其中Feature为最终融合特征，
Figure 763482DEST_PATH_IMAGE010
为待融合的特征。
进一步的，根据编码层提取的特征间的相似性将分割网络全连接层中的卷积特征重建为图形特征，从卷积特征中提取图像信息来重建特征，个体特征在被相邻特征重建时会得到增强，为构建图形特征，从每幅图像中提取的每个特征都作为图像的一个节点，将图形特征进行分批重建；重建图形特征的具体操作方法为：
T1，将图形特征分成批次，每批图形特征中的每个特征作为重建图型特征的节点；
T2，通过计算每个节点到其余节点的欧几里得距离，为每个节点找到最近的k个邻居；
T3，通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图形特征的边；
定义卷积特征集合为
Figure 267275DEST_PATH_IMAGE011
，对于第j个卷积特征
Figure 241048DEST_PATH_IMAGE012
能够重建为第j个图型特征
Figure 303419DEST_PATH_IMAGE013
，定义 (V,E)表示为节点之间的潜在关系，V表示每个卷 积特征
Figure 628221DEST_PATH_IMAGE014
组成的节点，E是每个卷积特征
Figure 670127DEST_PATH_IMAGE015
组成的节点之间的边，以邻接矩阵A的形 式表示。
进一步的，通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图形特征的边；其步骤如下：
（1）初始化邻接矩阵A,初始化卷积特征之间的距离D,初始化排序距离为变量R；
（2）计算卷积特征之间的距离，卷积特征之间的距离推理公式：
Figure 763985DEST_PATH_IMAGE016
其中，D(p,q)是节点p和节点q之间的距离，
Figure 11906DEST_PATH_IMAGE017
和
Figure 558425DEST_PATH_IMAGE018
是卷积特征集合C中的 任意两个卷积特征，
Figure 669600DEST_PATH_IMAGE017
是卷积特征p，
Figure 883544DEST_PATH_IMAGE018
是卷积特征q；
（3）根据邻接矩阵分别对卷积特征集合C中的任意两个卷积特征
Figure 789183DEST_PATH_IMAGE017
和
Figure 321534DEST_PATH_IMAGE019
进行图特征的边重建，推理公式如下：
Figure 705241DEST_PATH_IMAGE020
其中E(p，q)是节点p和节点q之间的边， C(p，q)是两个卷积特征
Figure 39271DEST_PATH_IMAGE017
和
Figure 850232DEST_PATH_IMAGE019
组成的节点， I表示单位矩阵
Figure 138387DEST_PATH_IMAGE021
。
进一步的，步骤S3中，覆冰厚度的计算方法如下式所示：
Figure 325786DEST_PATH_IMAGE022
式中
Figure 514322DEST_PATH_IMAGE023
为覆冰厚度，a为与地面垂直的叶片覆冰区域厚度的像素值，
Figure 761764DEST_PATH_IMAGE024
为正方形标 定物像素值。
与现有技术相比，本发明具有以下有益效果：
1、本发明采用APL超远高清相机远距离采集风力发电机组叶片侧面图像信息；有效解决普通相机近距离安装会影响风力发电机组的正常工作，而且视野范围小，检测效率低的问题；同时有效解决采用无人机巡航拍摄会影响检测精度的问题。
2、本发明能够在风力发电机组叶片上不安装任何传感设施的情况下，仅凭摄像头采集图像信息搭配基于图嵌入式叶片覆冰区域分割网络的非接触式风力发电机组叶片覆冰分割监测算法完成对风力发电机组叶片覆冰厚度测量。
3、本发明在分割网络中引入全局信息引导金字塔能够解决感受野不匹配存在语义鸿沟和特征信息传输到较浅层时被减弱的问题。
4、本发明在分割网络中引入尺度感知金字塔能够有效整合全局信息，提高语义分割的性能。
5、本发明将分割网络全连接层中的卷积特征重建为图形特征，增强个体特征，提高分类器的准确性。
附图说明
图1为本发明实施例的工程结构示图；
图2为本发提出的图嵌入式叶片覆冰区域分割网络结构图；
图3为本发明中去雾模块结构图；
图4为本发明全局信息引导金字塔网络结构图；
图5为本发明尺度感知金字塔网络结构图；
在图中，1为APL超远高清相机，2、树莓派，3、标定物，4、风力发电机叶片，5、叶片上的覆冰。
具体实施方式
下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，为本发明的实施例工程图，在风力发电机组侧面远处安装APL超远高清相机1，由搭载图嵌入式叶片覆冰区域分割网络的树莓派2控制，在APL超远高清相机1的视野范围内安装0.5×0.5米的正方形标定物3，正方形标定物3中心高度与APL超远高清相机1等高，标定物3与风力发电机在同一深度位置用于转换出与地面垂直的叶片覆冰厚度，风力发电机上设有风力发电机叶片4，风力发电机叶片4上有叶片上的覆冰5。
本发明是这样来工作和实施的，一种风力发电机组叶片覆冰形态分析方法，其特征在于，具体步骤如下：
步骤S1：采集风力发电机组叶片侧面图像数据集，通过判断风力发电机组叶片长度像素值的极值，获取风力发电机组中任一叶片与地面垂直时的图像；
步骤S2：构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，将步骤S1中得到的风力发电机组中任一叶片与地面垂直时的图像放入图嵌入式叶片覆冰区域分割网络进行图像数据增强处理，对增强处理后的图像数据进行分割处理，得到与地面垂直的风机叶片的覆冰区域；
步骤S3：对步骤S2中与地面垂直的风机叶片的覆冰区域进行形态分析，检测出与地面垂直的风机叶片的覆冰区域像素值，将覆冰区域像素值转换为覆冰厚度，根据覆冰厚度将覆冰区域划分为重冰区、中冰区、轻冰区。
参照图2，本发明构建的基于ω型神经网络的图嵌入式叶片覆冰区分割网络，具体操作如下：
（1）在预处理端搭建像素还原模块和图像再生成模块，对采集的图像数据做降噪去雾的增强处理；
（2）基于全局信息引导金字塔结构与尺度感知金字塔按照ω型结构搭建网络的编码层和解码层；
（3）使用欧几里得距离衡量特征间的相似性，根据特征的相似性将分割网络全连接层中的卷积特征重建为图形特征，增强特征表达能力。
参照图3，去雾模块由像素还原模块和图像再生成模块组成，像素还原模块为仍然保留有原始图像纹理信息的浅层特征图的每个像素点分配权重，使最终复原的图像在细节纹理上更接近原始图像的像素分布。像素还原模块由通道注意力模块和像素注意力模块组成，通道注意力模块能够帮助网络去重点关注被雾气影响的特征信息，像素注意力模块则是对每个像素点进行加权。图像再生成模块将前像素还原模块提取的特征图再生成为去雾后的图像，完成对图像的去雾操作。该模块由三个Ghost模块和一个卷积组成，Ghost模块能够代替卷积处理特征信息的工作任务，而且可以降低神经网络大小和计算资源占用。第一个Ghost模块对提取的特征图做整合细化处理，第二个第三个Ghost模块对特征图进行降维，其输出与修复模块得到的特征图相融合后传入最后的卷积层输出，即是再生成的去雾图像。
参照图4，全局信息引导金字塔能够解决感受野不匹配存在语义鸿沟和特征信息 传输到较浅层时被减弱的问题。在编码的过程中通过将该编码层的特征图与更深层次编码 层的特征图相结合。以第二个编码层为例，首先将所有更深层次的编码层提取的图像特征 通过一个线性映射函数映射到与第二个编码层相同的通道空间中；定义第i层编码层生成 的特征图为
Figure 268706DEST_PATH_IMAGE025
，接着将
Figure 259796DEST_PATH_IMAGE026
通过上采样与
Figure 37259DEST_PATH_IMAGE027
串联起来；然后使用三个扩张卷积从 不同级别的特征图中提取全局信息；最后使用普通卷积获取最终的特征图。其中扩张卷积 能够减少模型参数，并行路径的数量和扩张率随着融合阶段的数量而变化。全局信息引导 金字塔的推理公式如下：
Figure 721181DEST_PATH_IMAGE028
其中Fi为第i层编码层通过全局信息引导后推理出的特征图；
Figure 187191DEST_PATH_IMAGE029
表示连 接操作；Dconv表示扩张卷积，
Figure 981972DEST_PATH_IMAGE003
为扩张率；表示上采样操作，
Figure 613941DEST_PATH_IMAGE030
为采样速率；Gi第i层编码 层生成的特征图，n和m表示编码层的层数，且n=m。
参照图5，尺度感知金字塔能够有效整合全局信息，提高语义分割的性能。首先选 择三个具有不同扩张率的扩张卷积来捕捉不同的尺度信息；接着设计一个尺度感知模块来 融合不同的尺度特征，通过自学习的方式动态选择合适的尺度特征并融合。定义不同尺度 的待融合特征为
Figure 203186DEST_PATH_IMAGE005
，经过卷积操作得到的特征图为
Figure 684720DEST_PATH_IMAGE031
； 然后由归一化指数函数对空间值生成像素级注意图
Figure 283192DEST_PATH_IMAGE032
；推理公式如 下：
Figure 769668DEST_PATH_IMAGE033
Figure 795393DEST_PATH_IMAGE034
其中CEs是生成的像素级注意图，GFs是卷积操作后生成的第s张特征图， t表示待 融合的特征图的总数，
Figure 265688DEST_PATH_IMAGE035
是卷积操作后生成的第t张特征图；
最后将特征图进行融合，获取来自三个分支的最终融合特征，推理公式如下：
Figure 372578DEST_PATH_IMAGE036
其中Feature为最终融合特征，
Figure 244719DEST_PATH_IMAGE010
为待融合的特征，
Figure 441345DEST_PATH_IMAGE037
是像素级注意图。
重建特征的方法：将分割网络全连接层中的卷积特征重建为图形特征，卷积特征中提取图信息来重建特征，个体特征在被相邻特征重建时会得到增强，为了构建特征图，从每幅图像中提取的每个特征都作为图的一个节点。为了高效计算，将特征进行分批重建。重建特征的具体操作方法为：首先将特征分成批次，对于每批特征，让该批中的每个特征作为重建图特征的节点；接着，通过计算每个节点到其余节点的欧几里得距离，为每个节点找到最近的k个邻居；最后通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图特征的的边。
定义卷积特征集合为
Figure 867779DEST_PATH_IMAGE011
，对于每个卷积特征
Figure 306588DEST_PATH_IMAGE038
都 可以重建为图型特征
Figure 502077DEST_PATH_IMAGE039
，定义(V,E)表示为节点之间的潜在关系，V表示每个卷积特征
Figure 604025DEST_PATH_IMAGE014
组成的节点，E是节点之间的边，以邻接矩阵A的形式表示。
邻接矩阵重建图特征的边的步骤如下：
步骤1：初始化邻接矩阵A,初始化特征之间的距离D,初始化排序距离为变量R；
步骤2：计算特征之间的距离，定义两个卷积特征
Figure 273080DEST_PATH_IMAGE040
和
Figure 751466DEST_PATH_IMAGE041
，特征之间的距 离推理公式：
Figure 801461DEST_PATH_IMAGE042
其中
Figure 339890DEST_PATH_IMAGE043
和
Figure 505030DEST_PATH_IMAGE041
是卷积特征集合C中的任意两个卷积特征；
步骤3：根据邻接矩阵A分别对卷积特征集合C中的任意两个卷积特征
Figure 787107DEST_PATH_IMAGE043
和
Figure 488347DEST_PATH_IMAGE044
进行图特征的边重建，推理公式如下：
Figure 932097DEST_PATH_IMAGE045
其中E(p，q)是节点之间的边，D (p,q)是两个节点之间的距离，C(p,q)是两个卷积 特征
Figure 85998DEST_PATH_IMAGE017
和
Figure 142072DEST_PATH_IMAGE041
组成的节点，I表示单位矩阵。
实际覆冰厚度测量方法：在APL超远高清相机的视野范围内安装0.5×0.5米的正 方形标定物，标定物中心高度与相机等高，标定物与风力发电机在同一深度位置。定义与地 面垂直的叶片覆冰区域厚度的像素值为a，0.5×0.5米的正方形标定物像素值为
Figure 432239DEST_PATH_IMAGE024
，实际覆 冰厚度为
Figure 46891DEST_PATH_IMAGE023
，实际覆冰厚度的计算方法如下式所示：
Figure 688088DEST_PATH_IMAGE046
式中
Figure 810503DEST_PATH_IMAGE023
为实际覆冰厚度，a为与地面垂直的叶片覆冰区域厚度的像素值，
Figure 955176DEST_PATH_IMAGE024
为0.5× 0.5米的正方形标定物像素值，最后对覆冰区域进行形态分析将覆冰区域根据薄厚划分为 重冰区、中冰区、轻冰区，根据不同等级的覆冰提醒工作人员采用不同方法进行破冰。
本发明中披露的说明和实践，对于本技术领域的普通技术人员来说，都是易于思考和理解的，且在不脱离本发明原理的前提下，还可以做出若干改进和润饰。因此，在不偏离本发明精神的基础上所做的修改或改进，也应视为本发明的保护范围。

Claims (5)

1.一种风力发电机组叶片覆冰形态分析方法，其特征是：具体步骤如下：
步骤S1：采集风力发电机组叶片侧面图像数据集，通过判断风力发电机组叶片长度像素值的极值，获取风力发电机组中任一叶片与地面垂直时的图像；
步骤S2：构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，将步骤S1中得到的风力发电机组中任一叶片与地面垂直时的图像放入图嵌入式叶片覆冰区域分割网络进行图像数据增强处理，对增强处理后的图像数据进行分割处理，得到与地面垂直的风机叶片的覆冰区域；
步骤S3：对步骤S2中与地面垂直的风机叶片的覆冰区域进行形态分析，检测出与地面垂直的风机叶片的覆冰区域像素值，将覆冰区域像素值转换为覆冰厚度，根据覆冰厚度将覆冰区域划分为重冰区、中冰区、轻冰区；
在步骤S2中，构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，具体操作如下：
S21，对采集的图像数据进行增强处理，搭建像素还原模块和图像再生成模块，对图像数据做降噪去雾增强处理；
S22，基于全局信息引导金字塔与尺度感知金字塔按照ω型神经网络搭建网络的编码层和解码层；
S23，使用欧几里得距离衡量编码层提取的特征间的相似性，根据编码层提取的特征间的相似性将分割网络全连接层中的卷积特征重建为图形特征，增强特征表达能力；
图像数据增强处理通过引入像素还原模块和图像再生成模块分别对每个通道的像素信息进行复原；
像素还原模块由通道注意力模块和像素注意力模块组成，通道注意力模块帮助ω型神经网络去关注被雾气影响的特征信息，像素注意力模块对每个像素点进行加权；
图像再生成模块对像素还原模块提取的特征图进行去雾操作；所述图像再生成模块由三个Ghost模块和一个卷积组成，第一个Ghost模块对提取的特征图做整合细化处理，第二个Ghost模块和第三个Ghost模块分别对整合细化处理后的特征图进行降维，降维后输出的特征图与像素还原模块得到的特征图相融合通过卷积输出，得到再生成的去雾图像；
全局信息引导金字塔在编码的过程中，通过将当前编码层的特征图与当前编码层的下一层编码层的特征图相结合；
将当前编码层的下一层编码层提取的图像特征通过一个线性映射函数映射到与当前 编码层相同的通道空间中，定义第
Figure DEST_PATH_IMAGE001
层编码层生成的特征图为Gi，使用扩张卷积从不同级别 的特征图中提取全局信息，使用普通卷积获取最终的特征图；
全局信息引导金字塔的推理公式如下：
Figure 160087DEST_PATH_IMAGE002
其中Fi为第i层编码层通过全局信息引导后推理出的特征图；
Figure 579567DEST_PATH_IMAGE003
表示连接操 作；Dconv表示扩张卷积，
Figure 806280DEST_PATH_IMAGE004
为扩张率；U表示上采样操作，
Figure 893184DEST_PATH_IMAGE005
为采样率；Gi为第i层编码 层生成的特征图，n表示扩张率上的编码层的层数，m表示采样率上的编码层的层数，且n=m；
尺度感知金字塔具体过程如下：
选择不同扩张率的扩张卷积来捕捉不同的尺度信息；接着定义尺度感知模块来融合不 同的尺度特征，通过自学习的方式动态选择合适的尺度特征并融合；定义不同尺度特征为
Figure 304574DEST_PATH_IMAGE006
，其中
Figure 335984DEST_PATH_IMAGE007
为编码的过程中提取到的第t个特征，不同尺度特征经过卷 积操作得到的特征图为
Figure 491022DEST_PATH_IMAGE008
，GFt是卷积操作后生成的第t张特征图，由 归一化指数函数对空间值生成像素级注意图；推理公式如下：
Figure 307799DEST_PATH_IMAGE009
其中CEs是生成的像素级注意图， s=2～t，GFs是卷积操作后生成的第s张特征图；
将特征图进行融合，获取最终融合特征，推理公式如下：
Figure 890090DEST_PATH_IMAGE010
其中
Figure 549742DEST_PATH_IMAGE011
为最终融合特征，
Figure 367525DEST_PATH_IMAGE012
为待融合的特征。
2.根据权利要求1所述的一种风力发电机组叶片覆冰形态分析方法，其特征是：在步骤S1中，采集风力发电机组叶片侧面图像数据集是利用APL超远高清相机远距离采集，在APL超远高清相机的视野范围内安装正方形的标定物，标定物中心高度与APL超远高清相机等高，标定物与风力发电机在同一深度位置。
3.根据权利要求1所述的一种风力发电机组叶片覆冰形态分析方法，其特征是：根据编码层提取的特征间的相似性将分割网络全连接层中的卷积特征重建为图形特征，为构建图形特征，从每幅图像中提取的每个特征都作为图像的一个节点，将图形特征进行分批重建；重建图形特征的具体操作方法为：
T1，将图形特征分成批次，每批图形特征中的每个特征作为重建图型特征的节点；
T2，通过计算每个节点到其余节点的欧几里得距离，为每个节点找到最近的k个邻居；
T3，通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图形特征的边；
定义卷积特征集合为
Figure 897864DEST_PATH_IMAGE013
，其中，1≤j≤Z，对于第j个卷积特征
Figure 526422DEST_PATH_IMAGE014
能够 重建为第j个图型特征
Figure 673370DEST_PATH_IMAGE015
，定义
Figure 294844DEST_PATH_IMAGE016
表示为节点之间的潜在关系，
Figure 945268DEST_PATH_IMAGE017
表示每个卷积 特征
Figure 482078DEST_PATH_IMAGE018
组成的节点，
Figure 850743DEST_PATH_IMAGE019
是每个卷积特征
Figure 10329DEST_PATH_IMAGE020
组成的节点之间的边，以邻接矩阵A的 形式表示。
4.根据权利要求3所述的一种风力发电机组叶片覆冰形态分析方法，其特征是：通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图形特征的边；其步骤如下：
（1）初始化邻接矩阵A,初始化卷积特征之间的距离
Figure 780839DEST_PATH_IMAGE021
,初始化排序距离为变量
Figure 875834DEST_PATH_IMAGE022
；
（2）计算卷积特征之间的距离，卷积特征之间的距离推理公式：
Figure 607160DEST_PATH_IMAGE023
其中，
Figure 445803DEST_PATH_IMAGE024
是节点p和节点q之间的距离，
Figure 929874DEST_PATH_IMAGE025
和
Figure 461350DEST_PATH_IMAGE026
是卷积特征集合
Figure 414393DEST_PATH_IMAGE027
中 的任意两个卷积特征，
Figure 56727DEST_PATH_IMAGE028
是卷积特征p，
Figure 660884DEST_PATH_IMAGE029
是卷积特征q；
（3）根据邻接矩阵分别对卷积特征集合
Figure 97682DEST_PATH_IMAGE030
中的任意两个卷积特征
Figure 928234DEST_PATH_IMAGE031
和
Figure 984046DEST_PATH_IMAGE032
进 行图特征的边重建，推理公式如下：
Figure 583655DEST_PATH_IMAGE033
其中E(p，q)是节点p和节点q之间的边， C(p，q)是两个卷积特征
Figure 315987DEST_PATH_IMAGE034
和
Figure 368257DEST_PATH_IMAGE035
组成 的节点，
Figure 352394DEST_PATH_IMAGE036
表示单位矩阵
Figure 678945DEST_PATH_IMAGE037
。
5.根据权利要求1所述的一种风力发电机组叶片覆冰形态分析方法，其特征是：步骤S3中，覆冰厚度的计算方法如下式所示：
Figure 457545DEST_PATH_IMAGE038
式中
Figure 121745DEST_PATH_IMAGE039
为覆冰厚度，
Figure 909572DEST_PATH_IMAGE040
为与地面垂直的叶片覆冰区域厚度的像素值，
Figure 93560DEST_PATH_IMAGE041
为正方形标定 物像素值。
CN202211375227.5A 2022-11-04 2022-11-04 一种风力发电机组叶片覆冰形态分析方法 Active CN115423810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211375227.5A CN115423810B (zh) 2022-11-04 2022-11-04 一种风力发电机组叶片覆冰形态分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211375227.5A CN115423810B (zh) 2022-11-04 2022-11-04 一种风力发电机组叶片覆冰形态分析方法

Publications (2)

Publication Number Publication Date
CN115423810A CN115423810A (zh) 2022-12-02
CN115423810B true CN115423810B (zh) 2023-03-14

Family

ID=84207803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211375227.5A Active CN115423810B (zh) 2022-11-04 2022-11-04 一种风力发电机组叶片覆冰形态分析方法

Country Status (1)

Country Link
CN (1) CN115423810B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994325B (zh) * 2023-03-24 2023-05-30 湖北省气象服务中心（湖北省专业气象服务台） 基于TimeGAN深度学习方法的风机覆冰发电功率数据增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106595551A (zh) * 2016-12-13 2017-04-26 武汉大学 基于深度学习的输电线路覆冰图像中覆冰厚度检测方法
RU2635332C1 (ru) * 2016-06-07 2017-11-10 Владимир Васильевич Чернявец Способ определения состояния ледяного покрова
CN110070530A (zh) * 2019-04-19 2019-07-30 山东大学 一种基于深度神经网络的输电线路覆冰检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784654B (zh) * 2016-08-26 2020-09-25 杭州海康威视数字技术股份有限公司 图像分割方法、装置及全卷积网络系统
CN109711413B (zh) * 2018-12-30 2023-04-07 陕西师范大学 基于深度学习的图像语义分割方法
CN110263833A (zh) * 2019-06-03 2019-09-20 韩慧慧 基于编码-解码结构的图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2635332C1 (ru) * 2016-06-07 2017-11-10 Владимир Васильевич Чернявец Способ определения состояния ледяного покрова
CN106595551A (zh) * 2016-12-13 2017-04-26 武汉大学 基于深度学习的输电线路覆冰图像中覆冰厚度检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110070530A (zh) * 2019-04-19 2019-07-30 山东大学 一种基于深度神经网络的输电线路覆冰检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Improved Algorithm for Wind Turbine Blade Defect Detection;XIUKANG RAN et al;《IEEE Access》;20221025;第10卷;122171-122181页 *
基于实时图像及灰色预测的输电线覆冰灾害预警;侯慧等;《武汉大学学报(工学版)》;20151001(第05期);697-701页 *
基于改进Canny算法的输电导线覆冰冰形视觉识别;卞荣等;《高压电器》;20211116;第57卷(第11期);131-138页 *
输电线路绝缘子覆冰厚度图像识别算法;张烨等;《电力系统自动化》;20161110(第21期);195-202页 *

Also Published As

Publication number Publication date
CN115423810A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN109117858B (zh) 监测风力发电机叶片结冰的方法及装置
CN111696075A (zh) 一种基于双光谱图像的风机叶片缺陷智能检测方法
Hacıefendioğlu et al. Intelligent ice detection on wind turbine blades using semantic segmentation and class activation map approaches based on deep learning method
CN109190718B (zh) 一种核电厂海生物探测预警多源信息融合方法
CN105787501A (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN112380944B (zh) 一种基于卫星遥感的输电杆塔结构状态的评估方法和系统
CN115423810B (zh) 一种风力发电机组叶片覆冰形态分析方法
Feng et al. Short-term global horizontal irradiance forecasting based on sky imaging and pattern recognition
CN114169445A (zh) 基于cae和gan混合网络的日前光伏功率预测方法、装置与系统
CN115267945A (zh) 一种基于图神经网络的雷电预警方法与系统
CN114399081A (zh) 一种基于天气分类的光伏发电功率预测方法
CN114882373A (zh) 基于深度神经网络的多特征融合沙尘暴预测方法
CN113536944A (zh) 基于图像识别的配电线路巡检数据识别及分析方法
CN110188939B (zh) 风电场的风功率的预测方法、系统、设备和存储介质
CN116307220A (zh) 一种屋顶光伏功率的预测方法、装置及电子设备
CN116029440A (zh) 光伏电站超短期功率预测方法和装置
CN116012618A (zh) 一种基于雷达回波图的天气辨识方法、系统、设备及介质
Pillai et al. Fine-Tuned EfficientNetB4 Transfer Learning Model for Weather Classification
CN115841167A (zh) 基于多维度交叉注意力机制的光伏数据预测方法
CN114005045A (zh) 基于轻量级深度神经网络的旋转框遥感目标检测方法
Islam et al. Location agnostic adaptive rain precipitation prediction using deep learning
KR20230066927A (ko) 발전량 예측 방법 및 장치
Harba et al. Prediction of dust storm direction from satellite images by utilized deep learning neural network
Wu et al. Overview of day-ahead solar power forecasts based on weather classifications
Zhang et al. Snow loss modeling for solar modules using image processing and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant