CN115135874A - 使用红外成像和机器学习监测风力涡轮转子叶片的系统和方法 - Google Patents

使用红外成像和机器学习监测风力涡轮转子叶片的系统和方法 Download PDF

Info

Publication number
CN115135874A
CN115135874A CN202080097674.1A CN202080097674A CN115135874A CN 115135874 A CN115135874 A CN 115135874A CN 202080097674 A CN202080097674 A CN 202080097674A CN 115135874 A CN115135874 A CN 115135874A
Authority
CN
China
Prior art keywords
rotor assembly
image frames
anomaly
machine learning
blade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080097674.1A
Other languages
English (en)
Inventor
M·J·麦克唐纳
A·贾恩
F·薛
X·卞
V·V·纳拉德加
G·A·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LM Wind Power AS
Original Assignee
LM Wind Power AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LM Wind Power AS filed Critical LM Wind Power AS
Publication of CN115135874A publication Critical patent/CN115135874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/70—Type of control algorithm
    • F05B2270/709—Type of control algorithm with neural networks
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/80—Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
    • F05B2270/804—Optical devices
    • F05B2270/8041—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Sustainable Energy (AREA)
  • General Engineering & Computer Science (AREA)
  • Sustainable Development (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Wind Motors (AREA)

Abstract

一种用于监测风力涡轮的转子组件的方法包括：经由控制器的成像分析模块接收转子组件的热成像数据。热成像数据包括多个图像帧。该方法还包括：经由成像分析模块的第一机器学习模型自动识别多个图像帧内的转子组件的转子叶片的多个部段，直到识别转子叶片的全部部段。另外，该方法包括，经由成像分析模块的函数从多个图像帧选择图像帧的子集，图像帧的子集包括需要用来表示转子叶片的全部部段的最小数量的多个图像帧。此外，该方法包括：经由控制器的可视化模块使用图像帧的子集生成转子组件的图像。

Description

使用红外成像和机器学习监测风力涡轮转子叶片的系统和 方法
技术领域
本公开大体上涉及风电场，并且更特别地，涉及用于使用红外成像和机器学习技术监测风力涡轮转子叶片的系统和方法。
背景技术
风能被认为是目前可用的最清洁、最环保的能量源之一，并且风力涡轮在这方面已经获得了越来越多的关注。现代风力涡轮典型地包括塔架、发电机、变速箱、机舱和一个或多个转子叶片。转子叶片使用已知的翼型件原理捕获风的动能。例如，转子叶片典型地具有翼型件的横截面轮廓，使得在操作期间，空气流过叶片在两侧之间产生压力差。因此，从压力侧朝向吸力侧引导的升力作用在叶片上。升力在主转子轴上生成扭矩，主转子轴齿轮连接到发电机以用于产生电力。
在操作期间，各种风力涡轮部件经受各种负载。特别地，转子叶片经受极端负载和疲劳负载两者。尽管转子叶片被设计成经得住一定量的负载，但风力条件并非总是可预测的并且可导致叶片过度损坏。在最坏情况的场景下，叶片损坏可导致整个风力涡轮被关停而使得可安排合适的维修措施。这种停机时间导致年度能源生产的损失并且非常昂贵。
因此，在风力涡轮的操作期间监测叶片健康状况是有利的。常规的系统采用传感器以用于监测叶片的某些特性和/或其随着时间推移的改变。例如，在某些情况下，可采用应变仪以用于监测转子叶片中的偏转。在其它示例中，传感器可被安装到塔架，当叶片围绕毂旋转时，传感器监测转子叶片的叶片末梢的距离。在这种实施例中，如果距离随着时间推移改变，可推断出叶片损坏，并且可实施合适的控制动作。
近年来，在监测叶片健康状况中已经取得了进展，但并非没有问题。例如，红外成像近来已经变得更受欢迎，然而分析与这种成像相关联的大量繁琐的数据的能力已经被证明太耗时且成本太高而没有优势。
因此，解决上述问题的系统和方法将是有利的。因此，本公开针对一种用于使用红外成像和机器学习技术来监测风力涡轮转子叶片的系统和方法。
发明内容
本发明的方面和优点将在以下描述中被部分地阐述，或从描述中可为显而易见的，或可通过本发明的实践而习知。
在一方面，本公开针对用于监测风力涡轮的至少一个转子组件的方法。例如，转子组件可包括具有可旋转的毂的任何转子，其中至少一个转子叶片固定到该毂。因此，方法包括经由控制器的成像分析模块接收转子组件的热成像数据。热成像数据包括多个图像帧。方法还包括经由成像分析模块的第一机器学习模型自动识别多个图像帧内的转子组件的多个部段，直到识别转子叶片的全部部段。另外，方法包括经由成像分析模块的函数从多个图像帧选择图像帧的子集，图像帧的子集包括需要用来表示转子叶片的全部部段的最小数量的多个图像帧。此外，方法包括经由控制器的可视化模块使用图像帧的子集生成转子组件的图像。
在另一方面，本公开针对用于监测风力涡轮的至少一个转子组件的方法。方法包括，在建模时间段期间，经由控制器的成像分析模块接收输入数据，该输入数据包括转子组件或另一个转子组件的多个热图像。多个热图像包括多个图像帧。方法还包括经由成像分析模块的机器学习模型使用输入数据自动识别至少一个异常和相关联的异常类别信息。另外，方法包括经由成像分析模块生成输出数据，该输出数据包括对应于至少一个异常的像素信息和异常类别信息。此外，在模型实施的时间段期间，方法包括使用输入数据和输出数据随着时间推移训练机器学习模型。因此，方法包括经由控制器的可视化模块使用训练过的机器学习模型生成转子组件的图像。应当理解的是，方法可包括本文中描述的另外的步骤和/或特征中的任何一个或多个。
在又一方面，本公开针对用于监测风力涡轮的至少一个转子组件的系统。系统包括具有成像分析模块和可视化模块的控制器，该成像分析模块配置成执行多个操作。多个操作包括：在建模时间段期间接收输入数据，该输入数据包括转子组件的热成像数据，热成像数据包括多个图像帧；经由成像分析模块的机器学习模型自动识别多个图像帧内的转子叶片的多个部段，直到识别转子叶片的全部部段；经由成像分析模块的函数从多个图像帧选择图像帧的子集，图像帧的子集包括需要用来表示转子叶片的全部部段的最小数量的多个图像帧；经由机器学习模型自动识别图像帧的子集内的至少一个异常和相关联的异常类别信息；生成输出数据，该输出数据包括对应于至少一个异常的像素信息和异常类别信息；并且在模型实施的时间段期间，使用输入数据和输出数据随着时间推移训练机器学习模型。另外，可视化模块配置成使用训练过的机器学习模型生成转子组件的图像。应当理解的是，系统可包括本文中描述的另外的特征中的任何一个或多个。
参考以下描述和所附的权利要求书，本公开的这些和其它特征、方面和优点将变得更好理解。结合在本说明书中并且构成本说明书的一部分的附图图示了本发明的实施例，并且与描述一起用来解释本发明的原理。
附图说明
在参考附图的说明书中详细阐述了针对本领域普通技术人员的本发明的完整且能够实现的公开内容，包括其最佳模式，在附图中：
图1图示了根据本公开的风力涡轮的一个实施例的透视图；
图2图示了根据本公开的风电场的一个实施例的透视图；
图3图示了根据本公开的风力涡轮和/或风电场的控制器的一个实施例的框图；
图4图示了根据本公开的用于监测风力涡轮的至少一个转子组件的系统的一个实施例的示意图；
图5图示了根据本公开的用于监测风力涡轮的至少一个转子组件的方法的一个实施例的流程图；
图6图示了根据本公开的系统的图像拼接模块的一个实施例的过程流程图；和
图7图示了根据本公开的用于监测风力涡轮的至少一个转子组件的系统的另一个实施例的示意图；
图8图示了根据本公开的用于监测风力涡轮的至少一个转子组件的方法的另一个实施例的流程图；
图9图示了根据本公开的使用系统和方法的转子组件的计算机生成图像的屏幕截图。
具体实施方式
现在将详细参考本发明的实施例，其一个或多个示例在附图中被图示。每个示例通过解释本发明而不是限制本发明的方式被提供。事实上，对本领域技术人员来说将显而易见的是，在不脱离本发明的范围或精神的情况下，可在本发明中做出各种修改和变化。例如，作为一个实施例的部分被图示或描述的特征可与另一个实施例一起使用，以产生又一另外的实施例。因此，意图是，本公开覆盖如归入所附权利要求书的范围的这种修改和变化及其等同物。
红外(IR)成像提供了检测以传统成像方法不能观察到的表面下的缺陷的能力。照此，本公开针对收集风力涡轮叶片的IR图像的成像系统。成像系统可被手动操作或使用基于传感器的控制器自动操作。另外，本公开的成像系统提供基于深度学习的自动化工具以用于对收集的IR风力涡轮叶片数据执行分析。在收集IR数据之后，成像系统可自动识别各种部件并且可继续去自动识别图像内的叶片部段。在执行该分析之后，可使用度量函数对IR帧进行二次采样，使得关键帧的最小集被包括以用于最终分析，从而减轻了分析的负担。更特别地，成像系统可使用基于深度学习的系统以从IR图像中自动辨认出缺陷或异常。
因此，本公开提供优于现有技术的系统的许多优点。例如，由于缺乏对比和增加的噪音导致难以识别图像之间的独特特征，当与传统的视频分析相比时IR视频存在许多挑战。因此，使用根据本公开的基于深度学习的方法来自动分析IR图像的优点是：在被给予更多数据的情况下，基础模型可随着时间推移而改进。另外，本公开的系统配置成将大的叶片检查视频文件自动压缩成选定的关键图像帧，从而降低用于分析数据以发现缺陷或人工视觉检查的计算成本。因此，本公开的系统被配置成降低对于数据的储存需求并且可容易地为用户生成报告。
现在参考附图，图1图示了根据本公开的风力涡轮102的一个实施例的透视图。如图所示，风力涡轮102包括从支撑表面延伸的塔架114、安装在塔架114顶部的机舱116和联接到机舱16的转子118。转子包括具有多个转子叶片112安装在其上的可旋转的毂120，毂120继而连接到主转子轴，该主转子轴联接到容纳在机舱116(未示出)内的发电机。因此，发电机从由转子118生成的旋转能量产生电功率。应当意识到的是，图1的风力涡轮102仅被提供用于说明性目的。因此，本领域普通技术人员应当理解，本发明不限于风力涡轮构造的任何特定类型。
现在参考图2，风力涡轮102可为风电场100的部分。更特别地，图2图示了风电场100的一个实施例的示意图，该风电场100包含根据本公开的方面的多个风力涡轮102。风力涡轮102可以任何合适的方式布置。通过示例的方式，风力涡轮102可布置成行和列的阵列、单行或随机的布置。另外，图2图示了风电场100的一个实施例的示例布局。典型地，风电场中的风力涡轮布置是基于许多优化算法确定的，使得AEP对于对应的现场风气候被最大化。应当理解的是，在不脱离本公开的范围的情况下，可实施任何风力涡轮布置，诸如在不平坦的陆地上。
如大体上在图中所示出的，风电场100的每个风力涡轮102还可包括通信联接到场控制器108的涡轮控制器104。此外，在一个实施例中，场控制器108可通过网络110联接到涡轮控制器104以便于各种风电场部件之间的通信。风力涡轮102还可包括一个或多个传感器105、106、107，该一个或多个传感器105、106、107配置成监测风力涡轮102的各种操作、风力和/或负载条件。例如，一个或多个传感器可包括用于监测转子叶片112的叶片传感器；用于监测发电机的发电机负载、扭矩、速度、加速度和/或功率输出的发电机传感器；用于监测一个或多个风力条件的风力传感器106；和/或用于测量转子轴的负载和/或转子轴的旋转速度的轴传感器。另外地，风力涡轮102可包括一个或多个塔架传感器以用于测量通过塔架114传递的负载和/或塔架114的加速度(acceleration)。在各种实施例中，传感器可为以下中的任何一个或组合：加速度计、压力传感器、迎角传感器、振动传感器、微型惯性测量单元(MIMU)、摄像系统、光纤系统、风速计，风向标，声波检测及测距(SODAR)传感器，红外激光、光检测及测距(LIDAR)传感器、辐射计、皮托管、无线电探空测风仪、其它光学传感器和/或任何其它合适的传感器。
现在参考图3，图示了可包括在场控制器108、(一个或多个)涡轮控制器104和/或根据本公开的其它合适的控制器内的合适的部件的一个实施例的框图。如图所示，(一个或多个)控制器104、108可包括配置成执行各种计算机实施的功能(例如，如本文中所公开的那样执行方法、步骤、计算等并储存相关数据)的一个或多个处理器150和相关联的(一个或多个)存储设备152。另外地，(一个或多个)控制器104、108还可包括通信模块154以便于(一个或多个)控制器104、108和风力涡轮102的各种部件之间的通信。另外，通信模块154可包括传感器接口156(例如，一个或多个模数转换器)以允许从一个或多个传感器105、106、107(诸如本文中描述的传感器)传输的信号被转换成可被处理器150理解和处理的信号。应当意识到的是，传感器105、106、107可使用任何合适的手段通信联接到通信模块154。例如，如图所示，传感器105、106、107经由有线连接联接到传感器接口156。然而，在其它实施例中，传感器105、106、107可经由无线连接联接到传感器接口156，诸如通过使用在本领域中已知的任何合适的无线通信协议。
如本文中使用的，术语“处理器”不仅指在本领域中被认作包括在计算机中的集成电路，而且还指控制器、微型控制器、微型计算机、可编程逻辑控制器(PLC)、专用集成电路和其它可编程电路。另外地，(一个或多个)存储设备152可大体上包括(一个或多个)存储元件，该存储元件包括但不限于：计算机可读的介质(例如，随机存取存储器(RAM))、计算机可读的非易失性介质(例如，闪速存储器)、软盘、紧凑型光盘只读存储器(CD-ROM)、磁光盘(MOD)、数字多功能光盘(DVD)和/或其它合适的存储元件。(一个或多个)这种存储设备152可大体上配置成储存合适的计算机可读的指令，当通过(一个或多个)处理器150执行时，这些指令将(一个或多个)控制器104、108配置成执行如本文中描述的各种功能。
此外，联接在风电场100中的场控制器108、涡轮控制器104和/或风传感器106的网络110可包括任何已知的通信网络，诸如有线或无线网络、光纤网络等。除此之外，网络110可以任何已知的拓扑来连接，诸如环、总线或集线器，并且可具有任何已知的竞争解决协议而不脱离本领域。因此，网络110配置成接近实时地在(一个或多个)涡轮控制器104和场控制器之间108提供数据通信。
现在参考图4和图5，用于监测风力涡轮的转子组件(诸如风力涡轮102的转子118、毂120或一个或多个转子叶片112中的一者)的系统200和方法300的实施例被图示。更具体地，图4图示了根据本公开的用于监测风力涡轮的转子组件的系统200的示意图，而图5图示了根据本公开的用于监测风力涡轮的转子组件的方法300的流程图。大体上，根据本公开，系统200包括控制器202，诸如场控制器108、(一个或多个)涡轮控制器104和/或其它合适的控制器。另外，如图所示，控制器202可包括成像分析模块204和可视化模块206，下文对其功能进行了更详细地描述。
大体上，如在图5中所示，本文中方法300被描述为被实施以用于监测上文描述的风力涡轮102的转子组件。然而，应当意识到的是，公开的方法300可用于监测具有任何合适构造的任何其它转子组件或部件。除此之外，尽管为了说明和讨论的目的图5描绘了以特定顺序执行的步骤，但本文中描述的方法不限于任何特定的顺序或布置。使用本文中提供的公开内容的本领域技术人员将意识到的是，方法的各种步骤可以各种方式被省略、重新布置、组合和/或修改。
如在(302)所示，方法300包括经由成像分析模块204接收输入数据208，输入数据208包含风力涡轮102的转子组件或另一个风力涡轮的转子组件中的任何转子组件的热成像数据。例如，如在图4中所示，输入数据/热成像数据208可包括具有多个图像帧或视频的红外成像数据。因此，在某些实施例中，方法300还可包括通过例如经由一个或多个红外成像设备210(诸如红外摄像头)扫描转子组件收集红外成像数据。在特定实施例中，可使用题为“用于风力涡轮叶片的基于地面的检查的系统和方法(System and Method for Ground-Based Inspection of Wind Turbine Blades)”的美国专利第9,652,839号中描述的技术收集数据208，该专利以其整体通过引用结合到本文中。因此，热成像数据可包括转子组件的吸力侧和压力侧的一次或多次扫描，以便从叶片根部到叶片末梢覆盖(一个或多个)叶片112的整体。此外，数据208可任选地以视频格式储存(例如，在存储储存装置(memorystore)212内)并且然后如下文所描述的通过成像分析模块204进一步处理以减小数据量。
更特别地并且参考回图5，如在(304)所示，方法300包括自动识别多个图像帧内的(一个或多个)转子叶片112的多个部段，直到识别(一个或多个)转子叶片112的全部部段。例如，在实施例中，(一个或多个)转子叶片112的多个部段可包括(例如)叶片根部部段、中间叶片部段或叶片末梢部段。除此之外，如在图5中所示，可经由成像分析模块204的第一机器学习模型214自动识别各种部段。在这种实施例中，第一机器学习模型214可包括深度学习神经网络。因此，第一机器学习模型214配置成接收视频帧并且自动识别图像帧中的不同部件。在各种实施例中，可以监督、半监督或以无人监督的方式学习第一机器学习模型214。此外，可存在深度学习神经网络的若干架构变体，任何这些变体可应用于分类任务。一旦算法在视频帧中识别出(一个或多个)叶片112的不同部件，方法300可包括从多个部段的共同部段聚合多个图像帧的图像帧，直到多个部段中的每个被表示。例如，在一个实施例中，如果红外图像帧包含三个转子叶片的扫描，在完成分析之后，成像分析模块204可具有三组图像帧，这三组图像帧包含属于全部三个叶片的全部图像，其可基于转子叶片的各种部段被聚合。帧的聚合取决于由操作员扫描风力涡轮102所遵循的扫描协议。
在另外的实施例中，系统200还可能够自动识别多个图像帧内的(一个或多个)转子叶片112的一个或多个部件。这种部件可包括(例如)叶片根部、叶片末梢、凸耳螺母、前缘、后缘、压力侧、吸力侧或最大翼弦。例如，如在图5中所示，成像分析模块204可包括第二机器学习模型216以用于自动识别(一个或多个)转子叶片112的某些部件。例如，在特定实施例中，第二机器学习模型216可使用一个或多个部件自动识别(一个或多个)转子叶片112的叶片轴线。更具体地，在实施例中，第二机器学习模型216可配置成通过在多个图像帧内检测凸耳螺母或任何其它轴线指示物(模型可被调整以学习其它机舱和/或毂特征)的位置并基于凸耳螺母的位置自动识别(一个或多个)转子叶片112的叶片轴线，来使用一个或多个部件自动识别(一个或多个)转子叶片112的叶片轴线。由于叶片轴线通过限定相对于其的涡轮轴线的风力涡轮上的凸耳螺母的位置(或任何其它可辨别的特征)限定，第二机器学习模型216可确定哪一个叶片轴线对应于收集的图像帧。
还应当理解的是，在此描述的各种机器学习模型可包括一个或多个机器学习算法，并且可为单个模型或多个模型的部分。此外，本文中描述的机器学习模型可包括任何合适的算法和/或统计模型(除了深度学习神经网络之外)，诸如例如，逐步线性回归。大体上，逐步线性回归一次增加或移除一个特征，在不过度拟合的情况下尝试得到最佳回归模型。另外，逐步回归典型地具有两个变体，包括向前回归和向后回归，它们两者都处于本发明的范围内。例如，向前逐步回归是通过预测变量的连续增加来构建模型的步进式过程。在每一步，比较具有潜在预测值变量和不具有潜在预测值变量的模型，并且较大的模型只有在它导致与数据显著更好拟合时才被接受。备选地，向后逐步回归以具有全部预测值的模型开始，并且移除在对响应变量建模方面不具有统计学意义的项。
可被用于生成本文中描述的机器学习模型的另一个统计方法可为绝对收缩和选择算子(LASSO)算法。大体上，LASSO算法在受制于系数的绝对值之和小于常数的约束条件下使残差平方和最小化。可被用于生成(一个或多个)模型的又一的统计算法是M5普里姆(M5P)算法，它是一种在许多领域中有效的基于树的回归算法。例如，逐步线性回归为数据产生单个全局线性模型，而基于树的回归算法对特征执行逻辑测试以形成树结构。大体上，M5P算法在树的每个节点处都利用线性回归模型，从而提供更专用的模型。必须包括方向的机器学习模型还可连同权力集合组(power ensemble group)的平均值一起使用以确定权利(entitilement)(即，权力(power)的期望)。这可被认为是在将数据过滤到具体的方向扇区的先前方法(其然后为每个扇区形成单独的模型)上的改进。可用于生成(一个或多个)模型的其它机器学习方法还可包括高斯过程模型、随机森林模型、支持向量机和/或微服务，其在本文中被更详细地讨论。
仍旧参考图5，在(一个或多个)模型214、216自动识别(一个或多个)转子叶片112的部件和/或部段之后，如在(306)所示，方法300包括经由成像分析模块204的函数218从多个图像帧选择图像帧的子集。例如，如在图4中所示，第一和/或第二机器学习模型214、216的输出可被送到包含函数218的函数模块220，该函数模块220确定数据的子集。因此，图像帧的子集包括需要用来表示(一个或多个)转子叶片112的全部部段的最小数量的多个图像帧，例如，没有重复的图像帧或具有减少量的重复图像。在这种实施例中，成像分析模块204的函数218(即，用于选择图像帧的子集)可包括(例如)度量函数或图像拼接函数。在这种实施例中，度量函数可包括归一化互相关、绝对差之和、光流、学习的距离度量( learneddistance metric)函数或任何其它合适的函数。另外，在实施例中，如在图4中所示，方法300可包括经由机器学习算法222训练函数216。
因此，参考回图5，如在(308)所示，方法300包括经由可视化模块206使用图像帧的子集生成转子组件的图像224。应当理解的是，本文中描述的可视化模块可包括物理显示监视器、网页应用或任何合适的显示手段。因此，如在图4中所示，可视化模块206的输出数据224可包括(一个或多个)转子组件112的图像，下文对其进行了更详细地描述。
更特别地，图6图示了图像拼接函数350的一个实施例的过程流程图，该图像拼接函数350(被图示)可用于在一个图像中生成转子组件的整个计算机生成图像224。另外，图示了图像拼接函数350，其可用于确定图像帧之间的重叠部分，并且随后决定给定的图像帧是否是关键帧。如图所示，图像拼接函数350配置成学习从一个图像到另一个图像的像素的映射，从而给出关于图像在扫描期间经历的变换的信息。这些可用于决定是否由操作员做出了足够的移动以调出新的图像作为关键帧或将其放弃。更特别地，如在图6中所示，为(一个或多个)转子叶片112的各种部段(例如，帧nx、帧nx-1等等)收集多个图像帧。如在352和354所示，多个图像帧然后可被预处理和配准。例如，在配准期间，可使用增强的基于相关性的配准方法将图像帧拼接在一起。更特别地，如在356所示，每个图像帧可配准至在它之前的帧并且然后累积地增加至先前配准的全部帧。一旦对于全部的图像帧完成该过程(如在358所示)，整个转子叶片可在一个拼接图像(360)可见。由于缺陷是在个别帧上检测到的，并且在每个帧之间的变换矩阵是已知的，因此在每个帧上的缺陷位置相对于整个风力涡轮叶片也是全局已知的，本文中将进一步对其进行解释。
除此之外，方法300还可包括使用成像分析模块204的输入数据和/或输出数据208、224随着时间推移训练本文中描述的机器学习模型214、216。例如，大体上，可存在两个部分的训练，本文中称为阶段I和阶段II。在阶段I期间，初始组的训练数据用于学习或发展和学习机器学习模型214、216。在阶段II期间，一旦模型214、216开始产生输出数据，该输出数据可由检查员进行可视化并对错误进行编辑，注释过的或编辑过的数据/图像可输入到机器学习模型214、216中以随着时间推移不断地改进模型214、216。更具体地，在阶段II期间，人工注释者可注释输出数据224，输出数据224可被输入回成像分析模块204中。如本文中使用的，在机器学习中的注释大体上指以可由机器或计算机辨认的方式对数据打标的过程。此外，这种注释可由人手动完成，这是由于人工注释者通常更好地解释数据内的主观性、含义和模糊性。因此，机器可随着时间推移通过辨认人工注释从注释过的数据中学习。在一些情况中，可通过人工智能和/或其它算法学习注释，诸如半监督学习或聚簇，以及任何其它合适的精确的打标过程。因此，如在图4中所示，注释过的输出数据226然后可被反馈到(一个或多个)模型214、216中以用于训练和/或纠正。在其它情况中，无人监督的学习方法，诸如高斯混合模型模型、稀疏重建或基于神经网络的自编码/生成式对抗网络(GANs)也可在算法学习数据的正态分布的情况下被采用，并且可用于标记为异常的数据。还应当理解的是，可仅经由阶段I或阶段II而不是两者来训练本文中描述的机器学习模型214、216。
换句话说，成像分析模块204可包括监督机器学习算法，监督机器学习算法可使用打标数据将在过去已经学习到的内容应用到新的数据。从模型构建开始，学习算法产生推断函数以做出关于输出值的预测。照此，在足够的训练之后，成像分析模块204能够为任何新的输入提供目标。学习算法还可将它的输出与正确的预期输出比较，并找出错误以便因此修改模型。
参考回图4，如在(310)所示，方法300可包括监测转子组件的计算机生成图像224以发现转子组件上的异常。参考本文中描述的图7和图8可进一步理解这种监测。因此，如在(312)所示，方法300可包括，当检测到至少一个异常时，实施控制动作。例如，在一个实施例中，控制动作可包括生成警报。应当理解的是，如本文中描述的控制动作还可涵盖通过控制器202的任何合适的指令或约束条件。例如，在若干实施例中，控制动作可包括暂时对风力涡轮102降额或升额。
对风力涡轮102降额或升额可包括对速度降额或升额、对扭矩降额或升额或者两者的组合。另外，如所提到的，通过使转子叶片112中的一个或多个围绕它的变桨轴线变桨，可对风力涡轮102降额或升额。通过使机舱116偏航以改变机舱116相对于风的方向的角度，也可暂时对风力涡轮102降额或升额。在另外的实施例中，控制器202可配置成致动一个或多个机械制动器以便降低转子叶片112的旋转速度。在又一些另外的实施例中，控制器202可配置成执行在本领域中已知的任何合适的控制动作。另外，控制器202可实施两个或更多控制动作的组合。
现在参考图7和图8，用于监测风力涡轮的转子组件(诸如风力涡轮102的转子118、毂120或一个或多个转子叶片112中的一者)的系统400和方法500的另外的实施例被图示。更具体地，图7图示了根据本公开的用于监测风力涡轮的转子组件的系统400的示意图，而图8图示了根据本公开的用于监测风力涡轮的转子组件的方法500的流程图。大体上，系统400可包括图4中图示的任何部件。因此，如图所示，系统400根据本公开可至少包括控制器402，诸如场控制器108、(一个或多个)涡轮控制器104和/或其它合适的控制器。另外，如图所示，控制器402可包括成像分析模块404和可视化模块406，下文对其功能进行了更详细地描述。下文对系统400的其余部件进一步进行解释，同时对方法500进行讨论。
大体上，如在图8中所示，本文中方法500被描述为被实施以用于监测上文描述的风力涡轮102的转子组件。然而，应当意识到的是，公开的方法500可用于监测具有任何合适构造的任何其它转子组件或部件。除此之外，尽管为了说明和讨论的目的，图8描绘了以特定顺序执行的步骤，但本文中描述的方法不限于任何特定的顺序或布置。使用本文中提供的公开内容的本领域技术人员将意识到，方法的各种步骤可以各种方式被省略、重新布置、组合和/或修改。
如在(502)所示，方法500包括：在建模时间段期间，经由成像分析模块404接收本文中描述的输入数据408。如在(504)所示，方法500包括经由成像分析模块404的机器学习模型414使用输入数据408自动识别至少一个异常和相关联的异常类别信息。在实施例中，例如，机器学习模型414可包括深度学习神经网络。因此，在某些实施例中，深度学习神经网络可包括具有配置成实施语义分割的编码器-解码器架构的卷积神经网络(CNN)。因此，编码器-解码器架构可被用于语义分割任务。更特别地，编码器网络结构可学习需要用来解决给定的任务的合适表示，而解码器结构可组合较低水平和较高水平的表示以做出预测。在一个示例中，该预测可为属于缺陷类别的每个像素的概率图。在另一个示例中，第一编码器-解码器结构可针对每个像素预测缺陷对(versus)非缺陷，并且被辨认为缺陷的那些像素可传递通过另一个网络以用于进一步分类到缺陷类别中。
如在(506)所示，方法500包括经由成像分析模块404生成输出数据416，输出数据416包括对应于(一个或多个)异常的像素信息和相关联的异常类别信息。例如，输出数据416可包括与(一个或多个)异常相关联的像素(包括尺寸、形状、密集度(concentrations)等等)。另外，类别信息可包括，例如，(一个或多个)异常的类型或严重程度。此外，在另外的实施例中，方法500可包括将属于共同异常类别的邻近区域的像素组合成单个异常区域。因此，在这种实施例中，方法500可包括使用连通分量或凸包拟合中的至少一种来将至少一个边界(诸如一个或多个多边形)拟合成单个异常区域，并且经由可视化模块406显示边界。在图9中进一步图示了拟合成多个缺陷区域的示例边界434。
如在(508)所示，在模型实施的时间段期间，方法500包括使用输入数据408和输出数据424随着时间推移训练机器学习模型414。这种训练可例如包括随着时间推移注释对应于异常的像素信息和相关联的异常类别信息，其可由专业操作员完成。照此，在实施例中，操作员可标记属于缺陷/异常的像素和它们的对应类别。因此，机器学习模型414可被训练成为人类尽可能精确地预测缺陷像素位置和对应的类别。
另外，如图所示，注释过的输出数据426然后可储存在存储储存装置412中。在特定实施例中，成像分析模块404可因此配置成生成像素信息的概率图428(例如属于缺陷类别的每个像素的概率图)。如本文中使用的，概率图428大体上包括每个像素实际上对应于特定的异常的概率和相关联的异常类别信息。因此，较高的概率指示该像素属于该缺陷类别的较高的机会。因此，在某些实施例中，方法500可包括基于概率图428对具有某阈值以上置信水平的像素信息424进行标记，从而创建(一个或多个)异常和相关联的异常类别信息的置信图430。照此，在模型414的部署期间，每个像素与由网络为其预测的最高概率的类别相关联。因此，网络可直接被训练成预测缺陷像素位置和它的类别，或首先被训练成预测像素是否属于缺陷对非缺陷类别，并且然后每个缺陷像素被分类到它的对应缺陷类别。
参考图8，如在(510)所示，方法500包括经由可视化模块406例如使用训练过的机器学习模型414生成转子组件的图像。例如，在若干实施例中，可使用图像拼接函数442将多个图像帧拼接在一起来生成转子组件的图像。例如，在图9中提供了转子组件的示例计算机生成图像424。因此，在实施例中，方法500可包括使用转子组件的计算机生成图像424监测转子组件以发现异常。照此，转子组件的计算机生成图像配置成显示异常位置和相关联的异常类别信息，它们作为层覆盖在转子组件的图像上，并且当检测到至少一个异常时实施控制动作。
更特别地，如图所示，可在交互式用户界面438上显示转子组件的计算机生成图像424，该交互式用户界面438允许用户与图像交互，诸如经由具有一个或多个可选择按钮440的触摸屏技术与图像交互，或经由允许用户选择各种选项的用户设备(诸如鼠标或键盘)与图像交互。例如，在实施例中，方法500可包括：响应于接收边界434的选择，经由可视化模块406显示相关联的异常类别信息和像素信息。另外，在实施例中，方法500可包括经由可视化模块406至少接收指令。例如，这种指令可包括移除或修改边界或者改变相关联的异常类别信息。
因此，在另外的实施例中，方法500还可包括验证涉及转子组件的检查的多个热图像、(一个或多个)边界、一个或多个异常、相关联的异常类别信息或元信息中的至少一种，并且经由可视化模块406生成报告432。因此，如在图7中所示，方法500可还包括使用报告432随着时间推移训练机器学习模型414。
本公开的各种方面和实施例由以下编号的条款限定：
条款1. 一种用于监测风力涡轮的至少一个转子组件的方法，所述转子组件包括可旋转的毂和至少一个转子叶片中的至少一者，所述方法包括：
经由控制器的成像分析模块接收所述转子组件的热成像数据，所述热成像数据包括多个图像帧；
经由所述成像分析模块的第一机器学习模型自动识别所述多个图像帧内的所述转子组件的多个部段，直到识别所述转子叶片的全部部段；
经由所述成像分析模块的函数从所述多个图像帧选择图像帧的子集，图像帧的所述子集包括需要用来表示所述转子叶片的全部部段的最小数量的所述多个图像帧；
经由所述控制器的可视化模块使用图像帧的所述子集生成所述转子组件的图像。
条款2. 根据条款1所述的方法，其中，所述热成像数据包括红外成像数据，所述方法还包括：通过经由一个或多个红外成像设备扫描所述转子组件来收集所述红外成像数据。
条款3. 根据前述条款中的任一项所述的方法，其中，所述第一机器学习模型包括深度学习神经网络。
条款4. 根据前述条款中的任一项所述的方法，还包括：从所述多个部段的共同部段聚合所述多个图像帧的图像帧，直到所述多个部段中的每个被表示。
条款5. 根据前述条款中的任一项所述的方法，其中，所述转子叶片的所述多个部段包括叶片根部部段、中间叶片部段或叶片末梢部段中的至少一种。
条款6. 根据前述条款中的任一项所述的方法，还包括：经由所述成像分析模块自动识别所述多个图像帧内的所述转子叶片的一个或多个部件，其中所述转子叶片的所述一个或多个部件包括叶片根部、叶片末梢、凸耳螺母、前缘、后缘、压力侧、吸力侧或最大翼弦中的至少一者。
条款7. 根据条款6所述的方法，还包括：经由所述成像分析模块的第二机器学习模型使用所述一个或多个部件自动识别所述转子叶片的叶片轴线。
条款8. 根据条款7所述的方法，其中，经由所述成像分析模块的所述第二机器学习模型使用所述一个或多个部件自动识别所述转子叶片的所述叶片轴线还包括：
检测所述多个图像帧内的所述凸耳螺母的位置；和
经由所述第二机器学习模型基于所述凸耳螺母的位置自动识别所述转子叶片的所述叶片轴线。
条款9. 根据前述条款中的任一项所述的方法，其中，所述成像分析模块的所述函数包括度量函数或图像拼接函数中的至少一种。
条款10. 根据条款9所述的方法，其中，所述度量函数包括归一化互相关、绝对差之和、光流或学习的距离度量函数中的至少一种。
条款11. 根据条款9所述的方法，还包括：经由机器学习算法训练所述函数。
条款12. 根据前述条款中的任一项所述的方法，还包括：
监测所述转子组件的所述图像以发现所述转子组件上的异常；并且
当检测到至少一个异常时，实施控制动作。
条款13. 一种用于监测风力涡轮的转子组件的方法，所述转子组件包括可旋转的毂和至少一个转子叶片中的至少一者，所述方法包括：
在建模时间段期间，经由控制器的成像分析模块接收输入数据，所述输入数据包括所述转子组件或另一个转子组件的多个热图像，所述多个热图像包括多个图像帧；
经由所述成像分析模块的机器学习模型使用所述输入数据自动识别至少一个异常和相关联的异常类别信息；
经由所述成像分析模块生成输出数据，所述输出数据包括对应于所述至少一个异常的像素信息和所述异常类别信息；
在模型实施的时间段期间，使用所述输入数据和所述输出数据随着时间推移训练所述机器学习模型；并且
经由所述控制器的可视化模块使用训练过的所述机器学习模型生成所述转子组件的图像。
条款14. 根据条款13所述的方法，其中，所述机器学习模型包括深度学习神经网络。
条款15. 根据条款14所述的方法，其中，所述深度学习神经网络包括具有配置成实施语义分割的编码器-解码器架构的卷积神经网络(CNN)。
条款16. 根据条款15所述的方法，其中，使用所述输入数据和所述输出数据训练所述机器学习模型还包括：
随着时间推移，注释对应于所述异常的所述像素信息和相关联的所述异常类别信息；和
储存所注释的像素信息；和
生成所述像素信息的概率图，所述概率图包括所述像素信息中的每个像素信息实际上对应于所述异常的概率和所述异常类别信息。
条款17. 根据条款16所述的方法，还包括：基于所述概率图，对具有某阈值以上置信水平的所述像素信息进行标记，从而创建所述至少一个异常和相关联的所述异常类别信息的置信图。
条款18. 根据条款16所述的方法，还包括：将属于共同异常类别的邻近区域的像素组合成单个异常区域。
条款19. 根据条款18所述的方法，还包括：使用连通分量或凸包拟合中的至少一种将至少一个边界拟合成所述单个异常区域，并且经由所述可视化模块显示所述边界。
条款20. 根据条款19所述的方法，还包括：
响应于接收所述边界的选择，经由所述可视化模块显示相关联的所述异常类别信息和所述像素信息。
条款21. 根据条款19所述的方法，还包括：
经由所述可视化模块至少接收指令，所述指令包括移除或修改所述至少一个边界或者改变相关联的所述异常类别信息中的至少一种。
条款22. 根据条款19所述的方法，还包括：对涉及所述转子组件的检查的所述多个热图像、所述边界、所述至少一个异常、相关联的所述异常类别信息或元信息中的至少一个进行验证，并且经由所述可视化模块生成报告。
条款23. 根据条款22所述的方法，还包括：使用所述报告随着时间推移训练所述机器学习模型。
条款24. 根据条款13-23所述的方法，还包括：
使用所述转子组件的所述图像来监测所述转子组件以发现异常，所述转子组件的所述图像显示作为层覆盖在所述转子组件的所述图像上的异常位置和相关联的所述异常类别信息；和
当检测到至少一个异常时，实施控制动作。
条款25. 根据条款13-24所述的方法，其中，所述可视化模块包括物理显示监视器或网页应用中的至少一种。
条款26. 根据条款13-25所述的方法，其中，生成所述转子组件的所述图像还包括利用图像拼接函数来将所述多个图像帧拼接在一起。
条款27. 一种用于监测风力涡轮的转子组件的系统，所述转子组件包括可旋转的毂和至少一个转子叶片中的至少一者，所述方法包括，所述系统包括：
控制器，其包括：
成像分析模块，其配置成执行多个操作，所述多个操作包括：
在建模时间段期间接收输入数据，所述输入数据包括所述转子组件的热成像数据，所述热成像数据包括多个图像帧；
经由所述成像分析模块的机器学习模型自动识别所述多个图像帧内的所述转子叶片的多个部段，直到识别所述转子叶片的全部部段；
经由所述成像分析模块的函数从所述多个图像帧选择图像帧的子集，图像帧的所述子集包括需要用来表示所述转子叶片的全部部段的最小数量的所述多个图像帧；
经由所述机器学习模型自动识别图像帧的所述子集内的至少一个异常和相关联的异常类别信息；
生成输出数据，所述输出数据包括对应于所述至少一个异常的像素信息和所述异常类别信息；和
在模型实施的时间段期间，使用所述输入数据和输出数据随着时间推移训练所述机器学习模型；以及
可视化模块，其配置成使用所述训练过的机器学习模型生成所述转子组件的图像。
本书面描述使用示例来公开本发明，包括最佳模式，并且还使任何本领域技术人员能够实践本发明，包括制造和使用任何设备或系统并且执行任何结合的方法。本发明的可专利性范围由权利要求书限定，并且可包括本领域技术人员想到的其它示例。如果这种其它示例包括不异于权利要求书的字面语言的结构要素，或如果它们包括与权利要求书的字面语言具有无实质性差异的等同结构要素，则这种其它示例旨在处于权利要求书的范围内。

Claims (27)

1.一种用于监测风力涡轮的至少一个转子组件的方法，所述转子组件包括可旋转的毂和至少一个转子叶片中的至少一者，所述方法包括：
经由控制器的成像分析模块接收所述转子组件的热成像数据，所述热成像数据包括多个图像帧；
经由所述成像分析模块的第一机器学习模型自动识别所述多个图像帧内的所述转子组件的多个部段，直到识别所述转子叶片的全部部段；
经由所述成像分析模块的函数从所述多个图像帧选择图像帧的子集，图像帧的所述子集包括需要用来表示所述转子叶片的全部部段的最小数量的所述多个图像帧；
经由所述控制器的可视化模块使用图像帧的所述子集生成所述转子组件的图像。
2.根据权利要求1所述的方法，其中，所述热成像数据包括红外成像数据，所述方法还包括：通过经由一个或多个红外成像设备扫描所述转子组件来收集所述红外成像数据。
3.根据权利要求1所述的方法，其中，所述第一机器学习模型包括深度学习神经网络。
4.根据权利要求1所述的方法，还包括：从所述多个部段的共同部段聚合所述多个图像帧的图像帧，直到所述多个部段中的每个被表示。
5.根据权利要求1所述的方法，其中，所述转子叶片的所述多个部段包括叶片根部部段、中间叶片部段或叶片末梢部段中的至少一种。
6.根据权利要求1所述的方法，还包括：经由所述成像分析模块自动识别所述多个图像帧内的所述转子叶片的一个或多个部件，其中所述转子叶片的所述一个或多个部件包括叶片根部、叶片末梢、凸耳螺母、前缘、后缘、压力侧、吸力侧或最大翼弦中的至少一者。
7.根据权利要求6所述的方法，还包括：经由所述成像分析模块的第二机器学习模型使用所述一个或多个部件自动识别所述转子叶片的叶片轴线。
8. 根据权利要求7所述的方法，其中，经由所述成像分析模块的所述第二机器学习模型使用所述一个或多个部件自动识别所述转子叶片的所述叶片轴线还包括：
检测所述多个图像帧内的所述凸耳螺母的位置；和
经由所述第二机器学习模型基于所述凸耳螺母的位置自动识别所述转子叶片的所述叶片轴线。
9.根据权利要求1所述的方法，其中，所述成像分析模块的所述函数包括度量函数或图像拼接函数中的至少一种。
10.根据权利要求9所述的方法，其中，所述度量函数包括归一化互相关、绝对差之和、光流或学习的距离度量函数中的至少一种。
11.根据权利要求9所述的方法，还包括：经由机器学习算法训练所述函数。
12. 根据权利要求1所述的方法，还包括：
监测所述转子组件的所述图像以发现所述转子组件上的异常；并且
当检测到至少一个异常时，实施控制动作。
13.一种用于监测风力涡轮的转子组件的方法，所述转子组件包括可旋转的毂和至少一个转子叶片中的至少一者，所述方法包括：
在建模时间段期间，经由控制器的成像分析模块接收输入数据，所述输入数据包括所述转子组件或另一个转子组件的多个热图像，所述多个热图像包括多个图像帧；
经由所述成像分析模块的机器学习模型使用所述输入数据自动识别至少一个异常和相关联的异常类别信息；
经由所述成像分析模块生成输出数据，所述输出数据包括对应于所述至少一个异常的像素信息和所述异常类别信息；
在模型实施的时间段期间，使用所述输入数据和所述输出数据随着时间推移训练所述机器学习模型；并且
经由所述控制器的可视化模块使用训练过的所述机器学习模型生成所述转子组件的图像。
14.根据权利要求13所述的方法，其中，所述机器学习模型包括深度学习神经网络。
15.根据权利要求14所述的方法，其中，所述深度学习神经网络包括具有配置成实施语义分割的编码器-解码器架构的卷积神经网络(CNN)。
16. 根据权利要求15所述的方法，其中，使用所述输入数据和所述输出数据训练所述机器学习模型还包括：
随着时间推移，注释对应于所述异常的所述像素信息和相关联的所述异常类别信息；和
储存所注释的像素信息；和
生成所述像素信息的概率图，所述概率图包括所述像素信息中的每个像素信息实际上对应于所述异常的概率和所述异常类别信息。
17.根据权利要求16所述的方法，还包括：基于所述概率图，对具有某阈值以上置信水平的所述像素信息进行标记，从而创建所述至少一个异常和相关联的所述异常类别信息的置信图。
18.根据权利要求16所述的方法，还包括：将属于共同异常类别的邻近区域的像素组合成单个异常区域。
19.根据权利要求18所述的方法，还包括：使用连通分量或凸包拟合中的至少一种将至少一个边界拟合成所述单个异常区域，并且经由所述可视化模块显示所述边界。
20.根据权利要求19所述的方法，还包括：
响应于接收所述边界的选择，经由所述可视化模块显示相关联的所述异常类别信息和所述像素信息。
21.根据权利要求19所述的方法，还包括：
经由所述可视化模块至少接收指令，所述指令包括移除或修改所述至少一个边界或者改变相关联的所述异常类别信息中的至少一种。
22.根据权利要求19所述的方法，还包括：对涉及所述转子组件的检查的所述多个热图像、所述边界、所述至少一个异常、相关联的所述异常类别信息或元信息中的至少一个进行验证，并且经由所述可视化模块生成报告。
23.根据权利要求22所述的方法，还包括：使用所述报告随着时间推移训练所述机器学习模型。
24. 根据权利要求13所述的方法，还包括：
使用所述转子组件的所述图像来监测所述转子组件以发现异常，所述转子组件的所述图像显示作为层覆盖在所述转子组件的所述图像上的异常位置和相关联的所述异常类别信息；和
当检测到至少一个异常时，实施控制动作。
25.根据权利要求13所述的方法，其中，所述可视化模块包括物理显示监视器或网页应用中的至少一种。
26.根据权利要求13所述的方法，其中，生成所述转子组件的所述图像还包括利用图像拼接函数来将所述多个图像帧拼接在一起。
27.一种用于监测风力涡轮的转子组件的系统，所述转子组件包括可旋转的毂和至少一个转子叶片中的至少一者，所述方法包括，所述系统包括：
控制器，其包括：
成像分析模块，其配置成执行多个操作，所述多个操作包括：
在建模时间段期间接收输入数据，所述输入数据包括所述转子组件的热成像数据，所述热成像数据包括多个图像帧；
经由所述成像分析模块的机器学习模型自动识别所述多个图像帧内的所述转子叶片的多个部段，直到识别所述转子叶片的全部部段；
经由所述成像分析模块的函数从所述多个图像帧选择图像帧的子集，图像帧的所述子集包括需要用来表示所述转子叶片的全部部段的最小数量的所述多个图像帧；
经由所述机器学习模型自动识别图像帧的所述子集内的至少一个异常和相关联的异常类别信息；
生成输出数据，所述输出数据包括对应于所述至少一个异常的像素信息和所述异常类别信息；和
在模型实施的时间段期间，使用所述输入数据和输出数据随着时间推移训练所述机器学习模型；以及
可视化模块，其配置成使用所述训练过的机器学习模型生成所述转子组件的图像。
CN202080097674.1A 2020-02-27 2020-02-27 使用红外成像和机器学习监测风力涡轮转子叶片的系统和方法 Pending CN115135874A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/020111 WO2021173138A1 (en) 2020-02-27 2020-02-27 System and method for monitoring wind turbine rotor blades using infrared imaging and machine learning

Publications (1)

Publication Number Publication Date
CN115135874A true CN115135874A (zh) 2022-09-30

Family

ID=69941515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080097674.1A Pending CN115135874A (zh) 2020-02-27 2020-02-27 使用红外成像和机器学习监测风力涡轮转子叶片的系统和方法

Country Status (4)

Country Link
US (1) US20230107092A1 (zh)
EP (1) EP4111054A1 (zh)
CN (1) CN115135874A (zh)
WO (1) WO2021173138A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6728465B1 (ja) * 2019-12-25 2020-07-22 電源開発株式会社 風力発電機
CN113763443B (zh) * 2021-11-08 2022-03-22 河北三恩油气工程技术服务有限公司 一种用于燃气轮机的部件监控系统
CN116547713A (zh) * 2021-12-03 2023-08-04 宁德时代新能源科技股份有限公司 一种用于缺陷检测的方法和系统
CN114412724B (zh) * 2021-12-31 2024-07-12 安徽驭风能源科技有限公司 一种用于监测风电叶片运行状态的激光雷达测距系统
CN116740619B (zh) * 2023-08-10 2023-10-17 中国海洋大学 基于数字图像处理的海上风力机角速度测量方法
CN117934464B (zh) * 2024-03-21 2024-06-14 温州风涌智能科技有限公司 一种基于机器视觉的缺陷识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017564B4 (de) * 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler
US9453500B2 (en) 2013-03-15 2016-09-27 Digital Wind Systems, Inc. Method and apparatus for remote feature measurement in distorted images
EP3453874A1 (en) * 2017-09-08 2019-03-13 Sulzer & Schmid Laboratories AG Method for analysis of sensor data related to a wind turbine
US11170255B2 (en) * 2018-03-21 2021-11-09 Kla-Tencor Corp. Training a machine learning model with synthetic images
EP3605453A1 (en) * 2018-08-03 2020-02-05 Siemens Gamesa Renewable Energy GmbH & Co. KG Convolutional neural network based inspection of blade-defects of a wind turbine

Also Published As

Publication number Publication date
WO2021173138A1 (en) 2021-09-02
US20230107092A1 (en) 2023-04-06
EP4111054A1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
CN115135874A (zh) 使用红外成像和机器学习监测风力涡轮转子叶片的系统和方法
CN114430816B (zh) 用于融合风力涡轮机的多种分析以提高效率的系统和方法
US12038354B2 (en) Systems and methods for operating a power generating asset
US9995278B2 (en) Digital twin interface for operating wind farms
US8141416B2 (en) Systems and methods for identifying wind turbine performance inefficiency
Peng et al. Wind turbine failure prediction and health assessment based on adaptive maximum mean discrepancy
Zhang et al. Graph neural network-based bearing fault diagnosis using Granger causality test
EP4080304A1 (en) System and method for cyberattack detection in a wind turbine control system
CN114165392A (zh) 一种风电机组功率异常诊断方法、装置及存储介质
Wang et al. Randomization-based neural networks for image-based wind turbine fault diagnosis
Sethi et al. Vibration signal-based diagnosis of wind turbine blade conditions for improving energy extraction using machine learning approach
EP3913216A1 (en) System and method for training anomaly detection analytics to automatically remove outlier data
Jastrzebska et al. Measuring wind turbine health using fuzzy-concept-based drifting models
US20220341393A1 (en) System and method for fusing multiple analytics of a wind turbine for improved efficiency
CN114585950A (zh) 用于对风力涡轮机具有影响的风现象的计算机实现的预报的方法
EP4060430A1 (en) Systems and methods for operating power generating assets
CN116591911A (zh) 一种面向海上风机发电机组的智能检测运维系统及方法
Barker et al. Semi-Supervised Surface Anomaly Detection of Composite Wind Turbine Blades From Drone Imagery
Su et al. Fault Diagnosis Based on Interpretable Convolutional Temporal-Spatial Attention Network for Offshore Wind Turbines
CN116108989B (zh) 一种风电超短期功率预测方法、系统、存储介质及设备
Obdam et al. Flight leader concept for wind farm load counting: First offshore implementation
Sheikhi Offshore Wind Turbine Gearbox Condition Monitoring with Data Cubes and Deep Learning
Kongala Explainable structural health monitoring (SHM) for damage classification based on vibration
Özkan Computer Vision in Wind Turbine Blade Inspections: An Analysis of Resolution Impact on Detection and Classification of Leading-Edge Erosion
Yang et al. Fault diagnosis of wind turbine with few-shot learning based on acoustic signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination