CN109117858B - 监测风力发电机叶片结冰的方法及装置 - Google Patents

监测风力发电机叶片结冰的方法及装置 Download PDF

Info

Publication number
CN109117858B
CN109117858B CN201710494706.1A CN201710494706A CN109117858B CN 109117858 B CN109117858 B CN 109117858B CN 201710494706 A CN201710494706 A CN 201710494706A CN 109117858 B CN109117858 B CN 109117858B
Authority
CN
China
Prior art keywords
blade
convolution
layer
image
icing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710494706.1A
Other languages
English (en)
Other versions
CN109117858A (zh
Inventor
杨博宇
王百方
程庆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Goldwind Science and Creation Windpower Equipment Co Ltd
Original Assignee
Beijing Goldwind Science and Creation Windpower Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Goldwind Science and Creation Windpower Equipment Co Ltd filed Critical Beijing Goldwind Science and Creation Windpower Equipment Co Ltd
Priority to CN201710494706.1A priority Critical patent/CN109117858B/zh
Priority to EP17899223.6A priority patent/EP3457326B1/en
Priority to PCT/CN2017/112477 priority patent/WO2019000818A1/zh
Priority to US16/082,433 priority patent/US11286913B2/en
Priority to AU2017401053A priority patent/AU2017401053B2/en
Publication of CN109117858A publication Critical patent/CN109117858A/zh
Application granted granted Critical
Publication of CN109117858B publication Critical patent/CN109117858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D7/00—Controlling wind motors 
    • F03D7/02—Controlling wind motors  the wind motors having rotation axis substantially parallel to the air flow entering the rotor
    • F03D7/04—Automatic control; Regulation
    • F03D7/042—Automatic control; Regulation by means of an electrical or electronic controller
    • F03D7/043—Automatic control; Regulation by means of an electrical or electronic controller characterised by the type of control logic
    • F03D7/046—Automatic control; Regulation by means of an electrical or electronic controller characterised by the type of control logic with learning or adaptive control, e.g. self-tuning, fuzzy logic or neural network
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D80/00—Details, components or accessories not provided for in groups F03D1/00 - F03D17/00
    • F03D80/40—Ice detection; De-icing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/70—Type of control algorithm
    • F05B2270/709—Type of control algorithm with neural networks
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/80—Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
    • F05B2270/804—Optical devices
    • F05B2270/8041—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供一种监测风力发电机叶片结冰的方法及装置。所述方法包括：通过摄像头拍摄叶片的图像；从拍摄的图像中检测叶片所在区域；从拍摄的图像中去除叶片所在区域之外的背景区域的图像信息，以获取叶片图像；将获取的叶片图像输入到基于样本集训练得到的叶片结冰识别模型，来确定所拍摄的叶片是否已结冰，其中，所述样本集包括多个指示叶片已结冰的叶片图像。根据所述方法及装置，能够快捷、准确地监测风力发电机叶片是否结冰。

Description

监测风力发电机叶片结冰的方法及装置
技术领域
本发明总体说来涉及风力发电领域，更具体地讲，涉及一种监测风力发电机叶片结冰的方法及装置。
背景技术
鉴于化石燃料消费对生态环境所造成的负面影响，近些年可再生能源备受关注，新型的清洁能源取代传统能源是大势所趋。随着新能源技术的广泛应用及风能技术的快速发展，风力发电机装机量不断创下新高，由于其建设周期短、发电效率高而得到越来越多的青睐，风力发电已成为我国新能源发电的主力军。开发利用风能等可再生的清洁能源资源符合能源发展的轨迹，对建立可持续的能源系统，促进国民经济发展和环境保护发挥着重大作用。
高原、寒冷地区、以及山脊、山顶的风能资源十分丰富，具有很大的开发价值，由于电能需求不同及风资源分布不均等原因，我国的优质风资源多分布于三北(东北、西北、华北)地区、高原地区，然则这些地区在冬季气温低、湿度大，因此很容易造成风力发电机的叶片结冰，同时南方部分风场也存在叶片结冰现象，叶片结冰可引起风力发电机叶片气动性能的变化而导致叶片过载、叶片载荷分布不均，进而捕风能力下降，影响发电量；其次易造成过载，缩短部件使用寿命；同时在叶片旋转过程中，当冰层黏着力下降时极易出现冰块脱落，造成运营事故。
叶片结冰是水蒸汽凝结在叶片表面形成水滴，由于温度低于冰点而在叶片上凝结成的冰晶的过程，叶片结冰后对风力发电机主要会造成如下影响：升力系数下降，导致Cp降低，造成发电量的损失；阻力系数增加，导致传动链轴向载荷过大，可能造成机舱加速度超限；叶片质量增加，轮毂转矩增大，影响叶根处疲劳寿命；叶轮气动、质量不平衡；在额定转速下，风力发电机控制系统不能对叶片变桨动作做精确控制。
目前风力发电机叶片结冰成了阻碍风能发展的一个重要因素，也是风电场建设的不确定性因素，大大降低了风力发电机的利用率，严重威胁风力发电机的安全运行，同时也是现场作业人员的一个潜在危险源，因此如何准确识别风力发电机叶片结冰问题也就具有重大的现实意义。
目前叶片结冰检测方法主要包括：依赖风功率不匹配进行检测、使用结冰传感器进行检测、或者在叶片上布置光纤传感器进行检测。然而，造成风功率不匹配的原因较多，难以较为精准的确定叶片是否由于结冰而造成风功率不匹配。结冰传感器是一种间接测量方法，其仅仅可以确定是否结冰，但是对于结冰现象是否消失无从判断，若依赖结冰传感器则容易造成冬季长时间停机，无法确定风力发电机恢复运行时间从而造成经济损失。光纤传感器成本较高，安装难度大，需要专业技术人员进行安装，很难在已有风场进行部署。
发明内容
本发明的示例性实施例在于提供一种监测风力发电机叶片结冰的方法及装置，以解决现有的叶片结冰监测方法存在的问题。
根据本发明的示例性实施例，提供一种监测风力发电机叶片结冰的方法，其特征在于，所述方法包括：通过摄像头拍摄叶片的图像；从拍摄的图像中检测叶片所在区域；从拍摄的图像中去除叶片所在区域之外的背景区域的图像信息，以获取叶片图像；将获取的叶片图像输入到基于样本集训练得到的叶片结冰识别模型，来确定所拍摄的叶片是否已结冰，其中，所述样本集包括多个指示叶片已结冰的叶片图像。
可选地，叶片结冰识别模型是使用卷积神经网络基于样本集训练得到的，其中，所述叶片结冰识别模型包括输入层、第一预定数量的卷积层、第二预定数量的池化层、对经由卷积层和池化层后得到的叶片图像的特征进行向量化的向量层、对向量层输出的向量进行分类的分类器，以及输出层，其中，所述输入层包含用于描述叶片图像的像素的多个输入神经元，所述输出层包含用于指示叶片是否已结冰的输出神经元，各卷积层通过训练好的至少一个卷积核对上一层的输出进行特征提取来得到本层的输出，各池化层通过训练好的至少一个池化核对上一卷积层的输出进行聚合统计处理来得到本层的输出。
可选地，在所述叶片结冰识别模型中，在输入层之后，卷积层和池化层交替排列，并且，卷积层和池化层之中的每一层的特征映射的数量大于前一层的特征映射的数量。
可选地，所述叶片结冰识别模型包括多个卷积阶段，不同卷积阶段之间通过池化层相连接，其中，每个卷积阶段包括至少一个卷积层，所述多个卷积阶段中的卷积层所包括的卷积核的大小相同，越靠后执行的卷积阶段中的卷积层所包括的卷积核的数量越多。
可选地，所述卷积核的大小为3*3。
可选地，所述样本集包括以下种类的叶片图像之中的至少一种：针对不同地理位置获取的指示叶片已结冰的叶片图像、针对不同时段获取的指示叶片已结冰的叶片图像、针对不同天气情况获取的指示叶片已结冰的叶片图像。
可选地，所述从拍摄的图像中检测叶片所在区域的步骤包括：利用边缘检测和/或显著物体检测从拍摄的图像中检测叶片所在区域。
可选地，所述显著物体检测是基于全局嵌套边缘检测的显著物体检测。
可选地，所述显著物体检测的训练集包括以下种类的图像之中的至少一种：针对不同地理位置拍摄的叶片的图像、针对不同时段拍摄的叶片的图像、针对不同天气情况拍摄的叶片的图像。
可选地，所述通过摄像头拍摄叶片的图像的步骤包括：通过摄像头周期性地拍摄叶片的图像，其中，所述方法还包括：基于预定时间长度内拍摄的叶片的多个图像之中的每一图像对应的识别结果，来确定所拍摄的叶片是否已结冰，其中，所述每一图像对应的识别结果是针对所述每一图像执行所述检测叶片所在区域的步骤、所述获取叶片图像的步骤、所述确定所拍摄的叶片是否已结冰的步骤得到的。
根据本发明的另一示例性实施例，提供一种监测风力发电机叶片结冰的装置，其特征在于，所述装置包括：拍摄单元，通过摄像头拍摄叶片的图像；检测单元，从拍摄的图像中检测叶片所在区域；背景去除单元，从拍摄的图像中去除叶片所在区域之外的背景区域的图像信息，以获取叶片图像；识别单元，将获取的叶片图像输入到基于样本集训练得到的叶片结冰识别模型，来确定所拍摄的叶片是否已结冰，其中，所述样本集包括多个指示叶片已结冰的叶片图像。
可选地，叶片结冰识别模型是使用卷积神经网络基于样本集训练得到的，其中，所述叶片结冰识别模型包括输入层、第一预定数量的卷积层、第二预定数量的池化层、对经由卷积层和池化层后得到的叶片图像的特征进行向量化的向量层、对向量层输出的向量进行分类的分类器，以及输出层，其中，所述输入层包含用于描述叶片图像的像素的多个输入神经元，所述输出层包含用于指示叶片是否已结冰的输出神经元，各卷积层通过训练好的至少一个卷积核对上一层的输出进行特征提取来得到本层的输出，各池化层通过训练好的至少一个池化核对上一卷积层的输出进行聚合统计处理来得到本层的输出。
可选地，在所述叶片结冰识别模型中，在输入层之后，卷积层和池化层交替排列，并且，卷积层和池化层之中的每一层的特征映射的数量大于前一层的特征映射的数量。
可选地，所述叶片结冰识别模型包括多个卷积阶段，不同卷积阶段之间通过池化层相连接，其中，每个卷积阶段包括至少一个卷积层，所述多个卷积阶段中的卷积层所包括的卷积核的大小相同，越靠后执行的卷积阶段中的卷积层所包括的卷积核的数量越多。
可选地，所述卷积核的大小为3*3。
可选地，所述样本集包括以下种类的叶片图像之中的至少一种：针对不同地理位置获取的指示叶片已结冰的叶片图像、针对不同时段获取的指示叶片已结冰的叶片图像、针对不同天气情况获取的指示叶片已结冰的叶片图像。
可选地，检测单元利用边缘检测和/或显著物体检测从拍摄的图像中检测叶片所在区域。
可选地，所述显著物体检测是基于全局嵌套边缘检测的显著物体检测。
可选地，所述显著物体检测的训练集包括以下种类的图像之中的至少一种：针对不同地理位置拍摄的叶片的图像、针对不同时段拍摄的叶片的图像、针对不同天气情况拍摄的叶片的图像。
可选地，拍摄单元通过摄像头周期性地拍摄叶片的图像，其中，所述装置还包括：确定单元，基于预定时间长度内拍摄的叶片的多个图像之中的每一图像对应的识别结果，来确定所拍摄的叶片是否已结冰，其中，所述每一图像对应的识别结果是通过检测单元、背景去除单元以及识别单元针对所述每一图像执行操作得到的。
根据本发明的另一示例性实施例，提供一种计算机可读存储介质，存储有程序，其特征在于，所述程序包括执行如上所述的监测风力发电机叶片结冰的方法的代码。
根据本发明的另一示例性实施例，提供一种计算机，包括存储有计算机程序的可读介质，其特征在于，所述计算机程序包括执行如上所述的监测风力发电机叶片结冰的方法的代码。
根据本发明示例性实施例的监测风力发电机叶片结冰的方法及装置，能够快捷、准确地监测风力发电机叶片是否结冰。并且，能够应用在广泛的地域，而不需要对不同风场分别进行设计。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1示出根据本发明示例性实施例的监测风力发电机叶片结冰的方法的流程图；
图2-图4示出根据本发明示例性实施例的拍摄的叶片的图像中的背景噪声的示例；
图5示出根据本发明示例性实施例的叶片图像的示例；
图6和图7示出根据本发明示例性实施例的叶片结冰的识别结果的示例；
图8示出根据本发明示例性实施例的叶片结冰识别模型的配置方式的示例；
图9示出根据本发明示例性实施例的监测风力发电机叶片结冰的装置的框图。
具体实施方式
现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
图1示出根据本发明示例性实施例的监测风力发电机叶片结冰的方法的流程图。
参照图1，在步骤S10，通过摄像头拍摄叶片的图像。
作为示例，可通过摄像头周期性地拍摄叶片的图像。
作为示例，所述摄像头可安装在风力发电机的机舱上。作为另一示例，所述摄像头可通过红外补光灯在亮度较低的情况下(例如，夜间)拍摄清晰的图像。
在步骤S20，从拍摄的图像中检测叶片所在区域。
可使用各种适合的方式从拍摄的图像中检测叶片所在区域。作为示例，可利用边缘检测从拍摄的图像中识别叶片的轮廓，从而将轮廓内的区域确定为叶片所在区域。作为另一示例，可利用显著物体检测从拍摄的图像中检测叶片所在区域。
作为另一示例，可利用边缘检测和显著物体检测两者从拍摄的图像中检测叶片所在区域。例如，可先利用边缘检测来检测叶片所在区域，然后再利用显著物体检测基于边缘检测的检测结果来最终确定叶片所在区域。例如，可先利用显著物体检测来检测叶片所在区域，然后再利用边缘检测基于显著物体检测的检测结果来最终确定叶片所在区域。此外，还可分别利用边缘检测和显著物体检测来检测叶片所在区域，然后结合两者的检测结果来最终确定叶片所在区域。例如，基于两者的检测结果使用概率密度分析来最终确定叶片所在区域。通过上述方法，能够更准确地检测叶片所在区域。
作为示例，上述显著物体检测的训练集可包括以下种类的图像之中的至少一种：针对不同地理位置拍摄的叶片的图像、针对不同时段拍摄的叶片的图像、针对不同天气情况拍摄的叶片的图像。从而，利用训练好的显著物体检测模型能够从各种环境、地理位置下拍摄的叶片的图像中准确识别出叶片所在区域。
应该理解，在从拍摄的图像中检测叶片所在区域之前，可先对拍摄的图像进行适合的图像预处理(例如，灰度化)。
在步骤S30，从拍摄的图像中去除叶片所在区域之外的背景区域的图像信息，以获取叶片图像。
具体说来，在拍摄的图像中仅保留叶片所在区域(即，叶片轮廓内的区域)的图像信息，去除叶片所在区域之外的区域(即，背景区域)的图像信息(例如，将RGB值全部调整为(0,0,0))，从而获取叶片图像。
考虑到风力发电机所处环境多变，背景噪声(如图2所示的太阳、图3所示的天空中的云层，以及图4所示的天空中存在的光斑)与叶片结冰的特征存在一定的相似性，因此需要将叶片从整体背景中提取出来，以删去背景噪声的同时又不损失叶片图像的信息量，从而避免叶片结冰识别模型受到背景噪声的影响。
图5示出根据本发明示例性实施例的叶片图像的示例。可利用边缘检测从拍摄的图像中识别叶片轮廓，然后去除轮廓外的背景信息(即，将轮廓外的区域处理为黑色)，仅保留轮廓内的有效图像信息，从而获得如图5所示的叶片图像。
在步骤S40，将获取的叶片图像输入到基于样本集训练得到的叶片结冰识别模型，来确定所拍摄的叶片是否已结冰，其中，所述样本集包括多个指示叶片已结冰的叶片图像。
考虑到叶片结冰的特性、叶片图像的特性、以及卷积神经网络(CNNs)的特点，作为示例，叶片结冰识别模型可以是使用卷积神经网络基于样本集训练得到的。
作为示例，所述样本集可包括以下种类的叶片图像之中的至少一种：针对不同地理位置获取的指示叶片已结冰的叶片图像、针对不同时段获取的指示叶片已结冰的叶片图像、针对不同天气情况获取的指示叶片已结冰的叶片图像。
这里，应该理解，针对不同地理位置获取的指示叶片已结冰的叶片图像是：对在不同地理位置拍摄的已结冰叶片的图像执行步骤S20和S30所得到的叶片图像。针对不同时段获取的指示叶片已结冰的叶片图像是：对在不同时段拍摄的已结冰叶片的图像执行步骤S20和S30所得到的叶片图像。针对不同天气情况获取的指示叶片已结冰的叶片图像是：对在不同天气情况下拍摄的已结冰叶片的图像执行步骤S20和S30所得到的叶片图像。
考虑到风力发电机所处环境多变，在不同环境下叶片结冰的性状不同(例如，由于早晚光照不同，叶片的结冰部分在不同时段呈现出不同的明暗程度及与未结冰部分的对比度；例如，由于风力发电机所处的地理位置不同，叶片结冰的位置、面积、和形状有所不同)，使用上述多样性的样本集来训练叶片结冰识别模型，能够使根据本发明示例性实施例的监测风力发电机叶片结冰的方法应用在广泛的地域而不受以上这些情况的限制(也即，针对处于广泛地域的风力发电机的叶片均可使用本发明提供的叶片结冰识别模型来进行结冰识别)，从而可以应用在大部分风场进行准确识别而不需要对不同风场分别进行设计。
考虑到图像采集环境恶劣，仅针对单一图像来识别叶片是否已结冰容易出现误判情况，因此，可对在一定时间段内拍摄的一系列图像分别进行识别，再基于多个识别结果来最终确定叶片是否已结冰，从而提高识别精度。
作为示例，根据本发明示例性实施例的监测风力发电机叶片结冰的方法还可包括：基于预定时间长度内拍摄的叶片的多个图像之中的每一图像对应的识别结果，来确定所拍摄的叶片是否已结冰，其中，所述每一图像对应的识别结果是针对所述每一图像执行步骤S10-S40得到的。
作为示例，可确定所述多个图像之中对应的识别结果为叶片已结冰的图像的第一数量和对应的识别结果为叶片未结冰的图像的第二数量，其中，当第一数量大于等于第二数量时，确定所拍摄的叶片已结冰；当第二数量大于第一数量时，确定所拍摄的叶片未结冰。
图6和图7示出根据本发明示例性实施例的叶片结冰的识别结果的示例。Accuracy_layer.cpp后显示的数字指示确定的叶片结冰概率，越接近1识别为结冰的概率越高，越接近0识别为未结冰的概率越高。
作为示例，上述示例性实施例中的边缘检测方法可包括以下步骤：
滤波：由于边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，因此可采用滤波器来改善与噪声有关的边缘检测器的性能。例如，可使用高斯滤波。
增强：增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以将图像灰度点邻域强度值有显著变化的点凸显出来。例如，可通过计算梯度幅值来确定。
检测：经过增强的图像，往往邻域中有很多点的梯度幅值比较大，但一些点并不是我们要找的边缘点，所以可对这些点进行取舍。例如，可通过阈值化方法来检测。
例如，可通过下式计算梯度幅值G和梯度方向θ：
其中，Gx为沿x方向的高斯分布函数，Gy为沿y方向的高斯分布函数。
可将梯度方向近似到四个可能角度之一(例如：0、45、90、135)之后进行非极大值抑制，以排除非边缘像素，仅保留一些细线条(候选边缘)。然后，可利用Canny算子(滞后阈值包括高阈值和低阈值)：如果某一像素位置的梯度幅值超过高阈值，则该像素被保留为边缘像素；如果某一像素位置的幅值小于低阈值，则该像素被排除；如果某一像素位置的幅值在两个阈值之间，则该像素仅在连接到一个高于高阈值的像素时被保留。
作为示例，上述示例性实施例中的显著物体检测可以是基于全局嵌套边缘检测(HED，Holistically-Nested Edge Detection)的显著物体检测。
例如，HED结构可为：T＝f(Xn；Zn)，其中，n＝{1，2，…，N}表示训练集，Xn＝{xj，j＝1，…，Xn}是输入图像，Zn＝{zj，j＝1，…，|Xn|}，zj<[0,1]，Zn表示关于Xn对应连续真实显著地图。接下来，为了方便起见，可省略下标n。表示所有标准网络的集合层参数W，假设有M侧输出，每个侧输出与分类器相关联，其中，相应的权重可表示为：
W＝(W(1),W(2),…,W(M)) (3)
因此，HED的侧目标函数可由下式给出：
am指示第m个侧损失的权重，Lside表明图像表示第m个边输出的图像级别平衡交叉熵损失函数。此外，可添加加权融合层以更好地捕获每个侧输出的优势。熔融层的熔融损失可表示为：
其中，F＝(f1，…，fm)是熔权重，是激活第m层的输出，h为一个sigmoid公式，表示地面真实图和融合预测之间的距离，其被设置为图像水平的类平衡交叉熵损失。
HED在VGGNET的每一步连接每一侧的输出到上一个卷积层。各自的conv1_2，conv2_2，conv3_3，conv4_3，conv5_3，每一侧的输出被组合成一个单通道卷基层，它的核是1*1，随后的上层采样用于学习边缘信息。
卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNNs的特征检测层通过训练数据进行学习，所以在使用CNNs时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。卷积神经网络避免了显式的特征取样(显式的特征提取并不容易，在一些应用问题中也并非总是可靠的)，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基于图像的分类。卷积神经网络较一般神经网络在图像处理方面有如下优点：a)输入图像和网络的拓扑结构能很好的吻合；b)特征提取和模式分类同时进行，并同时在训练中产生；c)权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。
考虑到叶片结冰的特性、叶片图像的特性、以及卷积神经网络的特点，作为示例，叶片结冰识别模型可以是使用卷积神经网络基于样本集训练得到的。
进一步地，所述叶片结冰识别模型可包括输入层、第一预定数量的卷积层(C层)、第二预定数量的池化层(S层)、对经由卷积层和池化层后得到的叶片图像的特征进行向量化的向量层(V层)、对向量层输出的向量进行分类的分类器(包含但不限于Softmax、SVM)，以及输出层。其中，所述输入层包含用于描述叶片图像的像素的多个输入神经元，所述输出层包含用于指示叶片是否已结冰的输出神经元，各卷积层通过训练好的至少一个卷积核对上一层的输出进行特征提取来得到本层的输出，各池化层通过训练好的至少一个池化核对上一卷积层的输出进行聚合统计处理来得到本层的输出。作为示例，第一预定数据和第二预定数量不固定，可依据样本集等具体情况来确定。
具体说来，卷积层和池化层的输入都为图像像素矩阵，输出都为经过处理之后的图像像素矩阵，即，每一层将输出的像素矩阵导入至下一层中作为下一层的输入，以进行进一步的运算，最后将得到一系列的最终像素矩阵，然后可依据分类器等将矩阵进行运算以得到0/1的结果，其公式可为y＝θ1+θ2X2+…θnXn，(y＝{0,1},θ为分类器参数，X为像素矩阵)，y的结果0与1分别对应结冰与未结冰。
作为示例，可将1920*1080*3的图像像素矩阵作为叶片结冰识别模型的输入，其中，1920*1080为叶片图片的长宽，3为3通道RGB数据，每经过一个卷积层，像素矩阵根据卷积层的卷积核(kernel)进行卷积运算，输出为新的像素矩阵，如若卷积核为5*5的矩阵，则输出为1916*1086*3的矩阵。
作为示例，在根据本发明示例性实施例的叶片结冰识别模型中，在输入层之后，卷积层和池化层可交替排列(即，从第一个卷积层开始，一个卷积层后接一个池化层，一个池化层后接一个卷积层)，并且，卷积层和池化层之中的每一层的特征映射的数量可大于前一层的特征映射的数量，即，排列越靠后的卷积层或池化层的特征映射的数量越多。
作为示例，根据本发明示例性实施例的叶片结冰识别模型可包括：用于实现卷积的第一隐藏层(即，卷积层C1)、用于实现子抽样和局部平均的第二隐藏层(即，池化层S2)、用于实现第二次卷积的第三隐藏层(即，卷积层C3)、用于实现第二次子抽样和局部平均的第四隐藏层(即，池化层S4)、用于实现最后卷积的第五隐藏层(即，卷积层C5)。
例如，卷积神经网络的输入层用于接收原始图像(即，叶片图像)，可由多个感知节点组成。计算流程可在卷积和子抽样之间交替进行，如下所述：
第一隐藏层进行卷积，它可由N个特征映射组成，每个特征映射可由多个神经元组成，每个神经元可指定一个接受域；
第二隐藏层进行子抽样和局部平均，它同样可由多个特征映射组成，但其每个特征映射可由多个神经元组成。每个神经元可具有一个2*2的接受域，一个可训练系数，一个可训练偏置和一个sigmoid激活函数。可训练系数和偏置控制神经元的操作点；
第三隐藏层进行第二次卷积，它可由多个特征映射组成，每个特征映射可由多个神经元组成。该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接，它可以与第一个卷积层相似的方式操作；
第四隐藏层进行第二次子抽样和局部平均计算，它可由多个特征映射组成，但每个特征映射可由多个神经元组成，它可以与第一次抽样相似的方式操作；
第五隐藏层进行卷积的最后阶段，它可由多个神经元组成，每个神经元可指定一个接受域。然后是个向量层，对第五隐藏层的神经元进行向量化。
相继的计算层在卷积和抽样之间的连续交替，得到一个“双尖塔”的效果，也就是在每个卷积层或抽样层，随着空间分辨率下降，与相应的前一层相比特征映射的数量增加。
作为示例，输入层到第一隐藏层，第四隐藏层到第五隐藏层，第五隐藏层到向量层可以是全连接；第一隐藏层到第二隐藏层，第三隐藏层到第四隐藏层可以是一一对应的连接；第二隐藏层到第三隐藏层为了消除网络对称性，可去掉一部分连接，以让特征映射更具多样性。需要注意的是第五隐藏层的卷积核的尺寸要和第四隐藏层的输出相同，只有这样才能保证输出是一维向量。
作为优选示例，根据本发明示例性实施例的叶片结冰识别模型可包括多个卷积阶段，不同卷积阶段之间通过池化层相连接，其中，每个卷积阶段包括至少一个卷积层，所述多个卷积阶段中的卷积层所包括的卷积核的大小相同(即，全部卷积层的卷积核大小相同)，越靠后执行的卷积阶段中的卷积层所包括的卷积核的数量越多。作为优选示例，所述卷积核的大小可为3*3。
图8示出根据本发明示例性实施例的叶片结冰识别模型的配置方式的示例。如图8所示，每一列指示A-E不同的配置方式下的网络结构，以及随后的每一级别的参数量，每种配置方式均具有5个卷积阶段，每个卷积阶段均具有至少一个卷积层，同时每个卷积阶段后会连接一个最大池化层用来缩小图片尺寸，每个卷积阶段内的卷积层所包括的卷积核的数量相同，越靠后的卷积阶段中的卷积层的卷积核的数量越多。例如，可按照下列规律递增：64–128–256–512–512。以A配置方式的第一卷积阶段为例，包括一个卷积层，conv3-64指示该卷积层包括64个3*3大小的卷积核。
考虑到卷积神经网络的深度与其性能之间的关系，本发明的示例性实施例通过反复堆叠3*3的小型卷积核和池化核为2*2的最大池化层，构筑了16～19层深的卷积神经网络。本网络全部使用了3*3的卷积核和2*2的池化核，通过不断加深网络结构来提升性能。
虽然从A到E每一级网络逐渐变深，但是网络的参数量并没有增长很多，这是因为参数量主要都消耗在最后3个全连接层。前面的卷积部分虽然很深，但是消耗的参数量不大，不过训练比较耗时的部分依然是卷积，因其计算量比较大。以全连接层FC-4096为例，4096指示该全连接层的元素的数量。
C配置方式相比B配置方式多了几个1*1的卷积层，1*1卷积的意义主要在于线性变换，而输入通道数和输出通道数不变，没有发生降维。
如图8所示，本发明示例性实施例将多个完全一样的3*3的卷积层堆叠在一起，这是因为考虑到两个3*3的卷积层串联相当于1个5*5的卷积层，即一个像素会跟周围5*5的像素产生关联，可以说感受野大小为5*5；而3个3*3的卷积层串联的效果则相当于1个7*7的卷积层。但是3个串联的3*3的卷积层，拥有比1个7*7的卷积层更少的参数量，只有后者的一半。最重要的是，3个3*3的卷积层拥有比1个7*7的卷积层更多的非线性变换(前者可以使用三次ReLU激活函数，而后者只有一次)，这使得根据本发明示例实施例的CNN对特征的学习能力更强。
根据本发明的上述示例性实施例，能够达到以下有益效果：(1)可以滤除阳光投射到叶片上的光斑；(2)叶片上任意位置结冰(叶尖、叶片中段等位置)都可以识别出来；(3)任意形状的结冰区域(带状区域、片状区域等)都可以识别出来；(4)由于夜间拍摄的图片亮度很暗，甚至用红外灯补光之后得到的图片亮度还是很暗，上述实施例能够识别出夜间拍摄的图像中叶片的结冰区域。
图9示出根据本发明示例性实施例的监测风力发电机叶片结冰的装置的框图。
如图9所示，根据本发明示例性实施例的监测风力发电机叶片结冰的装置包括：拍摄单元10、检测单元20、背景去除单元30和识别单元40。
拍摄单元10用于通过摄像头拍摄叶片的图像。
作为示例，拍摄单元10可通过摄像头周期性地拍摄叶片的图像。
检测单元20用于从拍摄的图像中检测叶片所在区域。
作为示例，检测单元20可利用边缘检测和/或显著物体检测从拍摄的图像中检测叶片所在区域。
作为示例，所述显著物体检测可以是基于全局嵌套边缘检测(HED)的显著物体检测。
作为示例，所述显著物体检测的训练集可包括以下种类的图像之中的至少一种：针对不同地理位置拍摄的叶片的图像、针对不同时段拍摄的叶片的图像、针对不同天气情况拍摄的叶片的图像。
背景去除单元30用于从拍摄的图像中去除叶片所在区域之外的背景区域的图像信息，以获取叶片图像。
识别单元40用于将获取的叶片图像输入到基于样本集训练得到的叶片结冰识别模型，来确定所拍摄的叶片是否已结冰，其中，所述样本集包括多个指示叶片已结冰的叶片图像。
作为示例，叶片结冰识别模型可以是使用卷积神经网络基于样本集训练得到的，其中，所述叶片结冰识别模型包括输入层、第一预定数量的卷积层、第二预定数量的池化层、对经由卷积层和池化层后得到的叶片图像的特征进行向量化的向量层、对向量层输出的向量进行分类的分类器，以及输出层，其中，所述输入层包含用于描述叶片图像的像素的多个输入神经元，所述输出层包含用于指示叶片是否已结冰的输出神经元，各卷积层通过训练好的至少一个卷积核对上一层的输出进行特征提取来得到本层的输出，各池化层通过训练好的至少一个池化核对上一卷积层的输出进行聚合统计处理来得到本层的输出。
作为示例，在根据本发明示例性实施例的叶片结冰识别模型中，可在输入层之后，卷积层和池化层交替排列，并且，卷积层和池化层之中的每一层的特征映射的数量大于前一层的特征映射的数量。
作为示例，根据本发明示例性实施例的叶片结冰识别模型可包括多个卷积阶段，不同卷积阶段之间通过池化层相连接，其中，每个卷积阶段包括至少一个卷积层，所述多个卷积阶段中的卷积层所包括的卷积核的大小相同，越靠后执行的卷积阶段中的卷积层所包括的卷积核的数量越多。作为优选示例，所述卷积核的大小可为3*3。
作为示例，所述样本集可包括以下种类的叶片图像之中的至少一种：针对不同地理位置获取的指示叶片已结冰的叶片图像、针对不同时段获取的指示叶片已结冰的叶片图像、针对不同天气情况获取的指示叶片已结冰的叶片图像。
作为示例，根据本发明示例性实施例的监测风力发电机叶片结冰的装置还可包括：确定单元(未示出)。
确定单元用于基于预定时间长度内拍摄的叶片的多个图像之中的每一图像对应的识别结果，来确定所拍摄的叶片是否已结冰，其中，所述每一图像对应的识别结果是通过检测单元、背景去除单元以及识别单元针对所述每一图像执行操作得到的。
作为示例，确定单元可确定所述多个图像之中对应的识别结果为叶片已结冰的图像的第一数量和对应的识别结果为叶片未结冰的图像的第二数量，其中，当第一数量大于等于第二数量时，确定所拍摄的叶片已结冰；当第二数量大于第一数量时，确定所拍摄的叶片未结冰。
应该理解，根据本发明示例性实施例的监测风力发电机叶片结冰的装置的具体实现方式可参照结合图1描述的相关具体实现方式来实现，在此不再赘述。
作为示例，根据本发明示例性实施例的计算机可读存储介质，存储有程序，所述程序可包括执行如上述任一示例性实施例的监测风力发电机叶片结冰的方法的代码。
作为示例，根据本发明示例性实施例的计算机，包括存储有计算机程序的可读介质，所述计算机程序可包括执行如上述任一示例性实施例的监测风力发电机叶片结冰的方法的代码。
根据本发明示例性实施例的监测风力发电机叶片结冰的方法及装置，能够快捷、准确地监测风力发电机叶片是否结冰。并且，能够应用在广泛的地域，而不需要对不同风场分别进行设计。
根据本发明示例性实施例的监测风力发电机叶片结冰的方法及装置，如果一旦监测到叶片结冰，可发出相应的报警或者触发除冰设备工作，一旦监测到叶片结冰情况消失则可迅速反馈到中控室，使现场运维人员及时重启风力发电机，既可以防范叶片结冰造成的危害，也可以作为相关故障解决系统的触发信号，还可以在故障解决之后第一时间重启风力发电机，降低由于叶片结冰导致停机所造成的经济损失。
此外，应该理解，根据本发明示例性实施例的监测风力发电机叶片结冰的装置中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。
此外，根据本发明示例性实施例的监测风力发电机叶片结冰的方法可以被实现为计算机可读记录介质中的计算机代码。本领域技术人员可以根据对上述方法的描述来实现所述计算机代码。当所述计算机代码在计算机中被执行时实现本发明的上述方法。
虽然已表示和描述了本发明的一些示例性实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。

Claims (18)

1.一种监测风力发电机叶片结冰的方法，其特征在于，所述方法包括：
通过摄像头拍摄叶片的图像；
从拍摄的图像中检测叶片所在区域；
从拍摄的图像中去除叶片所在区域之外的背景区域的图像信息，以获取叶片图像；
将获取的叶片图像输入到基于样本集训练得到的叶片结冰识别模型，来确定所拍摄的叶片是否已结冰，其中，所述样本集包括多个指示叶片已结冰的叶片图像，
其中，叶片结冰识别模型是使用卷积神经网络基于样本集训练得到的，
其中，所述叶片结冰识别模型包括输入层、第一预定数量的卷积层、第二预定数量的池化层、对经由卷积层和池化层后得到的叶片图像的特征进行向量化的向量层、对向量层输出的向量进行分类的分类器、以及输出层，
其中，所述输入层包含用于描述叶片图像的像素的多个输入神经元，所述输出层包含用于指示叶片是否已结冰的输出神经元，各卷积层通过训练好的至少一个卷积核对上一层的输出进行特征提取来得到本层的输出，各池化层通过训练好的至少一个池化核对上一卷积层的输出进行聚合统计处理来得到本层的输出，
其中，在所述叶片结冰识别模型中，在输入层之后，卷积层和池化层交替排列，并且卷积层和池化层之中的每一层的特征映射的数量大于前一层的特征映射的数量。
2.根据权利要求1所述的方法，其特征在于，所述叶片结冰识别模型包括多个卷积阶段，不同卷积阶段之间通过池化层相连接，其中，每个卷积阶段包括至少一个卷积层，所述多个卷积阶段中的卷积层所包括的卷积核的大小相同，越靠后执行的卷积阶段中的卷积层所包括的卷积核的数量越多。
3.根据权利要求2所述的方法，其特征在于，所述卷积核的大小为3*3。
4.根据权利要求1至3中的任意一项所述的方法，其特征在于，所述样本集包括以下种类的叶片图像：针对不同地理位置获取的指示叶片已结冰的叶片图像、针对不同时段获取的指示叶片已结冰的叶片图像、针对不同天气情况获取的指示叶片已结冰的叶片图像。
5.根据权利要求1所述的方法，其特征在于，所述从拍摄的图像中检测叶片所在区域的步骤包括：
利用边缘检测和显著物体检测从拍摄的图像中检测叶片所在区域。
6.根据权利要求5所述的方法，其特征在于，所述显著物体检测是基于全局嵌套边缘检测的显著物体检测。
7.根据权利要求5或6所述的方法，其特征在于，所述显著物体检测的训练集包括以下种类的图像：针对不同地理位置拍摄的叶片的图像、针对不同时段拍摄的叶片的图像、针对不同天气情况拍摄的叶片的图像。
8.根据权利要求1所述的方法，其特征在于，所述通过摄像头拍摄叶片的图像的步骤包括：通过摄像头周期性地拍摄叶片的图像，其中，所述方法还包括：
基于预定时间长度内拍摄的叶片的多个图像之中的每一图像对应的识别结果，来确定所拍摄的叶片是否已结冰，其中，所述每一图像对应的识别结果是针对所述每一图像执行所述检测叶片所在区域的步骤、所述获取叶片图像的步骤、所述确定所拍摄的叶片是否已结冰的步骤得到的。
9.一种监测风力发电机叶片结冰的装置，其特征在于，所述装置包括：
拍摄单元，通过摄像头拍摄叶片的图像；
检测单元，从拍摄的图像中检测叶片所在区域；
背景去除单元，从拍摄的图像中去除叶片所在区域之外的背景区域的图像信息，以获取叶片图像；
识别单元，将获取的叶片图像输入到基于样本集训练得到的叶片结冰识别模型，来确定所拍摄的叶片是否已结冰，其中，所述样本集包括多个指示叶片已结冰的叶片图像，
其中，叶片结冰识别模型是使用卷积神经网络基于样本集训练得到的，
其中，所述叶片结冰识别模型包括输入层、第一预定数量的卷积层、第二预定数量的池化层、对经由卷积层和池化层后得到的叶片图像的特征进行向量化的向量层、对向量层输出的向量进行分类的分类器，以及输出层，
其中，所述输入层包含用于描述叶片图像的像素的多个输入神经元，所述输出层包含用于指示叶片是否已结冰的输出神经元，各卷积层通过训练好的至少一个卷积核对上一层的输出进行特征提取来得到本层的输出，各池化层通过训练好的至少一个池化核对上一卷积层的输出进行聚合统计处理来得到本层的输出，
其中，在所述叶片结冰识别模型中，在输入层之后，卷积层和池化层交替排列，并且卷积层和池化层之中的每一层的特征映射的数量大于前一层的特征映射的数量。
10.根据权利要求9所述的装置，其特征在于，所述叶片结冰识别模型包括多个卷积阶段，不同卷积阶段之间通过池化层相连接，其中，每个卷积阶段包括至少一个卷积层，所述多个卷积阶段中的卷积层所包括的卷积核的大小相同，越靠后执行的卷积阶段中的卷积层所包括的卷积核的数量越多。
11.根据权利要求10所述的装置，其特征在于，所述卷积核的大小为3*3。
12.根据权利要求9至11中的任意一项所述的装置，其特征在于，所述样本集包括以下种类的叶片图像：针对不同地理位置获取的指示叶片已结冰的叶片图像、针对不同时段获取的指示叶片已结冰的叶片图像、针对不同天气情况获取的指示叶片已结冰的叶片图像。
13.根据权利要求9所述的装置，其特征在于，检测单元利用边缘检测和显著物体检测从拍摄的图像中检测叶片所在区域。
14.根据权利要求13所述的装置，其特征在于，所述显著物体检测是基于全局嵌套边缘检测的显著物体检测。
15.根据权利要求13或14所述的装置，其特征在于，所述显著物体检测的训练集包括以下种类的图像：针对不同地理位置拍摄的叶片的图像、针对不同时段拍摄的叶片的图像、针对不同天气情况拍摄的叶片的图像。
16.根据权利要求9所述的装置，其特征在于，拍摄单元通过摄像头周期性地拍摄叶片的图像，其中，所述装置还包括：
确定单元，基于预定时间长度内拍摄的叶片的多个图像之中的每一图像对应的识别结果，来确定所拍摄的叶片是否已结冰，其中，所述每一图像对应的识别结果是通过检测单元、背景去除单元以及识别单元针对所述每一图像执行操作得到的。
17.一种计算机可读存储介质，存储有程序，其特征在于，所述程序包括执行如权利要求1至8之中任一项所述的监测风力发电机叶片结冰的方法的代码。
18.一种计算机，包括存储有计算机程序的可读介质，其特征在于，所述计算机程序包括执行如权利要求1至8之中任一项所述的监测风力发电机叶片结冰的方法的代码。
CN201710494706.1A 2017-06-26 2017-06-26 监测风力发电机叶片结冰的方法及装置 Active CN109117858B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710494706.1A CN109117858B (zh) 2017-06-26 2017-06-26 监测风力发电机叶片结冰的方法及装置
EP17899223.6A EP3457326B1 (en) 2017-06-26 2017-11-23 Method and device for monitoring icing of wind turbine blade
PCT/CN2017/112477 WO2019000818A1 (zh) 2017-06-26 2017-11-23 监测风力发电机叶片结冰的方法及装置
US16/082,433 US11286913B2 (en) 2017-06-26 2017-11-23 Method and apparatus for monitoring formation of ice on wind turbine blade
AU2017401053A AU2017401053B2 (en) 2017-06-26 2017-11-23 Method and apparatus for monitoring formation of ice on wind turbine blade

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710494706.1A CN109117858B (zh) 2017-06-26 2017-06-26 监测风力发电机叶片结冰的方法及装置

Publications (2)

Publication Number Publication Date
CN109117858A CN109117858A (zh) 2019-01-01
CN109117858B true CN109117858B (zh) 2024-02-13

Family

ID=64740317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710494706.1A Active CN109117858B (zh) 2017-06-26 2017-06-26 监测风力发电机叶片结冰的方法及装置

Country Status (5)

Country Link
US (1) US11286913B2 (zh)
EP (1) EP3457326B1 (zh)
CN (1) CN109117858B (zh)
AU (1) AU2017401053B2 (zh)
WO (1) WO2019000818A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111120220B (zh) * 2018-10-31 2021-05-28 北京金风科创风电设备有限公司 风力发电机组叶片视频监测的方法及系统
EP3674974A1 (en) * 2018-12-31 2020-07-01 Samsung Electronics Co., Ltd. Apparatus and method with user verification
CN110131109A (zh) * 2019-04-25 2019-08-16 浙江大学 一种基于卷积神经网络的风力机叶片不平衡检测方法
EP3770425A1 (en) * 2019-07-26 2021-01-27 Siemens Gamesa Renewable Energy A/S A method and an apparatus for computer-implemented monitoring of one or more wind turbines in a wind farm
CN110472531B (zh) * 2019-07-29 2023-09-01 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质
EP3816885A1 (en) * 2019-10-28 2021-05-05 Siemens Gamesa Renewable Energy Innovation & Technology, S.L. Method for computer-implemented forecasting of wind phenomena with impact on a wind turbine
CN111091532B (zh) * 2019-10-30 2023-07-18 中国四维测绘技术有限公司 一种基于多层感知机的遥感影像色彩评价方法和系统
CN110996055A (zh) * 2019-12-02 2020-04-10 国网辽宁省电力有限公司检修分公司 输电线路图像监测系统镜头的自清洁装置及方法
CN113743428A (zh) * 2020-05-27 2021-12-03 广东芬尼克兹节能设备有限公司 一种结合摄像头进行精准除霜控制的方法及装置
CN111654642B (zh) * 2020-07-22 2021-10-01 上海扩博智能技术有限公司 拍摄风机叶片的曝光值调整方法、系统、设备和存储介质
CN111737923A (zh) * 2020-07-28 2020-10-02 湘电风能有限公司 一种风机叶片结冰预测方法
CN112561288A (zh) * 2020-12-07 2021-03-26 东北大学 一种采用图像模型的风力发电机运行状态智能辩识方法
CN112966692A (zh) * 2020-12-23 2021-06-15 中国人民解放军空军工程大学 一种基于图像识别的飞机机翼、平尾结冰实时探测方法
CN112906626A (zh) * 2021-03-12 2021-06-04 李辉 一种基于人工智能断层识别方法
CN113393430B (zh) * 2021-06-09 2023-05-12 东方电气集团科学技术研究院有限公司 用于风机叶片缺陷检测的热成像图像增强训练方法和装置
CN113339210A (zh) * 2021-06-10 2021-09-03 北京国电思达科技有限公司 一种风电机组叶片覆冰监测方法、系统
CN113719433A (zh) * 2021-06-15 2021-11-30 国家电投集团宁夏能源铝业中卫新能源有限公司 风电机组叶片结冰检测方法、装置、系统及存储介质
CN113606099A (zh) * 2021-07-30 2021-11-05 华能大理风力发电有限公司 一种监测风电机组叶片结冰的方法和系统
CN114549914B (zh) * 2022-04-24 2022-07-12 中国民航大学 一种飞机大面积结冰检测方法及检测系统
CN114673638B (zh) * 2022-05-26 2022-09-02 国网江西省电力有限公司电力科学研究院 一种风力发电机叶片覆冰监测方法及装置
CN115311535B (zh) * 2022-09-29 2022-12-30 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞云雾场参数获取方法和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012104276A1 (en) * 2011-02-01 2012-08-09 Alstom Wind, S.L.U. Device and method for visual analysis of a wind turbine blade
CN103982378A (zh) * 2014-04-25 2014-08-13 广东电网公司电力科学研究院 基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法
CN104915676A (zh) * 2015-05-19 2015-09-16 西安电子科技大学 基于深层特征学习和分水岭的sar图像分类
CN105298761A (zh) * 2015-11-06 2016-02-03 周志宏 一种风力发电机组结冰预警和控制方法及其装置
CN105464912A (zh) * 2016-01-27 2016-04-06 国电联合动力技术有限公司 一种风力发电机组叶片结冰检测的方法和装置
CN106156734A (zh) * 2016-06-28 2016-11-23 浙江工业大学 一种基于卷积神经网络图像识别的水流测速方法
JP2017004350A (ja) * 2015-06-12 2017-01-05 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
CN106683091A (zh) * 2017-01-06 2017-05-17 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN106677985A (zh) * 2016-12-13 2017-05-17 云南能投海装新能源设备有限公司 一种风力发电机组评估系统及其预测控制服务系统
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0613551D0 (en) * 2006-07-07 2006-08-16 Diagnostic Potentials Ltd Investigating neurological function
US7708524B2 (en) * 2006-12-21 2010-05-04 General Electric Company Method and system for utilizing lateral tower acceleration to detect asymmetric icing
US20100111695A1 (en) * 2008-11-05 2010-05-06 General Electric Company Apparatus and method for detecting solid water build-up
WO2011014712A2 (en) * 2009-07-29 2011-02-03 Michigan Aerospace Corporation Atmospheric measurement system
US20110020122A1 (en) * 2009-07-24 2011-01-27 Honeywell International Inc. Integrated condition based maintenance system for wind turbines
CN101886617B (zh) 2010-06-07 2012-05-30 三一电气有限责任公司 一种风力发电机组及其叶片除冰系统
DE102013014622A1 (de) * 2013-09-02 2015-03-05 Northrop Grumman Litef Gmbh System und Verfahren zum Bestimmen von Bewegungen und Schwingungen bewegter Strukturen
US20160063350A1 (en) 2014-08-26 2016-03-03 Digital Wind Systems, Inc. Method and apparatus for contrast enhanced photography of wind turbine blades
CN105989330A (zh) 2015-02-03 2016-10-05 阿里巴巴集团控股有限公司 一种图片检测方法及设备
CN104865269A (zh) 2015-04-13 2015-08-26 华北理工大学 风力机叶片故障诊断方法
CN106762451B (zh) 2016-12-05 2018-10-23 北京金风科创风电设备有限公司 基于无人机的风机叶片损伤检测方法、装置及系统
EP3339639A1 (en) * 2016-12-21 2018-06-27 Vestas Wind Systems A/S System for monitoring a wind turbine blade
US20170173262A1 (en) * 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
CN107154037A (zh) * 2017-04-20 2017-09-12 西安交通大学 基于深度层次特征提取的风机叶片故障识别方法
CN108986071B (zh) * 2018-05-31 2020-12-01 上海扩博智能技术有限公司 叶片自动检测跟踪方法、系统、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012104276A1 (en) * 2011-02-01 2012-08-09 Alstom Wind, S.L.U. Device and method for visual analysis of a wind turbine blade
CN103982378A (zh) * 2014-04-25 2014-08-13 广东电网公司电力科学研究院 基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法
CN104915676A (zh) * 2015-05-19 2015-09-16 西安电子科技大学 基于深层特征学习和分水岭的sar图像分类
JP2017004350A (ja) * 2015-06-12 2017-01-05 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
CN105298761A (zh) * 2015-11-06 2016-02-03 周志宏 一种风力发电机组结冰预警和控制方法及其装置
CN105464912A (zh) * 2016-01-27 2016-04-06 国电联合动力技术有限公司 一种风力发电机组叶片结冰检测的方法和装置
CN106156734A (zh) * 2016-06-28 2016-11-23 浙江工业大学 一种基于卷积神经网络图像识别的水流测速方法
CN106677985A (zh) * 2016-12-13 2017-05-17 云南能投海装新能源设备有限公司 一种风力发电机组评估系统及其预测控制服务系统
CN106683091A (zh) * 2017-01-06 2017-05-17 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于分层卷积深度学习系统的植物叶片识别研究;张帅;淮永建;;北京林业大学学报;20160915(第09期);全文 *

Also Published As

Publication number Publication date
CN109117858A (zh) 2019-01-01
AU2017401053B2 (en) 2020-05-21
EP3457326A1 (en) 2019-03-20
WO2019000818A1 (zh) 2019-01-03
US11286913B2 (en) 2022-03-29
EP3457326B1 (en) 2023-04-12
US20210180571A1 (en) 2021-06-17
EP3457326A4 (en) 2019-09-25
AU2017401053A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
CN109117858B (zh) 监测风力发电机叶片结冰的方法及装置
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
Yuan et al. Large-scale solar panel mapping from aerial images using deep convolutional networks
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN104865269A (zh) 风力机叶片故障诊断方法
CN104616032A (zh) 基于深度卷积神经网络的多摄像机系统目标匹配方法
CN110197231A (zh) 基于可见光和红外光图像融合的鸟情探测设备及识别方法
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
CN113297915A (zh) 一种基于无人机巡检的绝缘子识别目标检测方法
CN112487900A (zh) 一种基于特征融合的sar图像舰船目标检测方法
CN114821018B (zh) 一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法
Zhang et al. Aerial image analysis based on improved adaptive clustering for photovoltaic module inspection
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
Hao et al. Detection of bird nests on power line patrol using single shot detector
CN112907138A (zh) 一种从局部到整体感知的电网场景预警分类方法及系统
CN111931577A (zh) 一种电网线路特定异物智能巡检方法
CN115423810B (zh) 一种风力发电机组叶片覆冰形态分析方法
Wu et al. Ground-based vision cloud image classification based on extreme learning machine
Liu et al. Ground-based visible-light cloud image classification based on a convolutional neural network
CN116309407A (zh) 一种铁路接触网螺栓异常状态的检测方法
xi Wang et al. Detection of MMW radar target based on Doppler characteristics and deep learning
CN115965825B (zh) 一种基于轻量级网络的多光谱卫星图像舰船冰山分类方法
Sun et al. Swarm Fuzzy Feature Lightweight Network Algorithm for Flying Birds Recognition Application
Wang Rapid visual detection method of highway pavement sag based on improved Yolov7-tiny
Liu et al. Fast Recognition of birds in offshore wind farms based on an improved deep learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant