CN112513927A - 基于卷积神经网络的风力涡轮机叶片缺陷检查 - Google Patents
基于卷积神经网络的风力涡轮机叶片缺陷检查 Download PDFInfo
- Publication number
- CN112513927A CN112513927A CN201980051691.9A CN201980051691A CN112513927A CN 112513927 A CN112513927 A CN 112513927A CN 201980051691 A CN201980051691 A CN 201980051691A CN 112513927 A CN112513927 A CN 112513927A
- Authority
- CN
- China
- Prior art keywords
- image
- blade
- wind turbine
- resized
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 67
- 238000013527 convolutional neural network Methods 0.000 title claims description 21
- 238000007689 inspection Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 25
- 230000004807 localization Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 description 18
- 238000005260 corrosion Methods 0.000 description 18
- 230000003628 erosive effect Effects 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D80/00—Details, components or accessories not provided for in groups F03D1/00 - F03D17/00
- F03D80/50—Maintenance or repair
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
- F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
- F05B2260/00—Function
- F05B2260/80—Diagnostics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
Abstract
一种用于确定叶片缺陷的计算机实现的方法由计算系统(CS)来自动执行。在步骤S1)中,通过计算机系统(CS)的接口(IF)来接收风力涡轮机的图像(OI),所述图像(OI)包含风力涡轮机的一个或多个叶片的至少一部分。所述图像在高度和宽度上具有给定的原始像素数量。步骤S2)基本上由两个连续的步骤S2a)和S2b)组成,这两个步骤由计算机系统(CS)的处理单元(PU)来执行。在步骤S2a)中,分析所述图像(IO)以确定所述图像中的叶片的轮廓。在步骤S2b)中,从仅包含叶片的图像信息的所分析的图像(OI)中创建经修改的图像(AI)。最后,步骤S3)由如下操作组成:由处理单元(PU)来分析经修改的图像(AI),以确定叶片的叶片缺陷(BD)和/或叶片缺陷类型(BDT)。作为结果,由处理单元(PU)来输出叶片缺陷(BD)和/或叶片缺陷类型(BDT)。
Description
技术领域
本发明涉及用于对风力涡轮机的叶片缺陷进行计算机实现的确定的方法和系统以及计算机程序产品。特别地,本发明涉及对风力涡轮机的叶片的视觉检查。
背景技术
在使用的时段内,会发生对风力涡轮机的转子叶片(简称:叶片)的损坏,诸如腐蚀。为了找到这种叶片缺陷,例如由无人机来拍摄大量高分辨率图像。到目前为止,已经由注释者来手动地完成这些图像中的叶片缺陷分类和定位,该注释者逐个地在视觉上分析这些图像。注释者标识并且标记图像中的缺陷的位置。这样收集的信息被存储在数据库中。
手动检查多个图像的主要缺点是检测准确度有时较差。另外,视觉检查所需的时间非常长。这可能花费多达一小时来评估图像。作为结果,这种分析不具有成本效益。
因此,需要一种更简单的方法来确定风力涡轮机的叶片缺陷。
因此,本发明的目的是提供一种允许可靠且容易地确定风力涡轮机的叶片缺陷的方法。本发明的另一个目的是提供一种允许可靠且容易地确定风力涡轮机的叶片缺陷的系统。
这些目的通过根据权利要求1的特征的方法、根据权利要求11的计算机程序产品以及根据权利要求12的系统来解决。从属权利要求中阐述了优选实施例。
发明内容
根据本发明,提出了一种用于对风力涡轮机的叶片缺陷进行计算机实现的确定的方法。该方法包括以下步骤:S1)通过接口来接收风力涡轮机的图像,该图像包含风力涡轮机的一个或多个叶片的至少一部分,该图像在高度和宽度上具有给定的原始像素数量;S2a)由处理单元来分析该图像以确定该图像中的叶片的轮廓;S2b)由处理单元从仅包含叶片的图像信息的所分析的图像中创建经修改的图像;以及S3)由处理单元分析经修改的图像以确定叶片的叶片缺陷和/或叶片缺陷类型。
本发明基于如下考虑:即通过应用深度学习模型,使得能够实现对风力涡轮机的叶片缺陷进行计算机实现的并且因此是自动化的确定。因此,叶片检查花费更少的时间,并且更加具有成本效益。另外,它不需要熟练的图像注释者。
该方法使用经训练的深度学习模型,该模型可以在大量图像数据上自动运行。随着深度学习模型的进一步开发,可以实质上降低注释的成本,并且增加图像注释的质量。
所描述的方法的主要优点在于:可以在像素级别上进行叶片缺陷确定,这提供了高准确度。
该方法基本上由如下两个步骤组成:检测图像中的叶片的轮廓;以及创建经修改的图像,该经修改的图像去除了除叶片之外的任何不相关的信息。换句话说,第一步骤的结果是经修改的图像,该经修改的图像随着该图像的背景信息被去除而具有简化/减少的信息。该经简化的图像(被称为经修改的图像)形成了用于在第二步骤中确定叶片缺陷的基础。该第二步骤允许收集关于缺陷的位置以及所标识的缺陷的类型(也被称为类别)的进一步信息。
使用全卷积神经网络(也被称为CNN)的监督机器学习模型可以被应用于步骤S2a)和S2b)中对叶片轮廓的确定、以及步骤S3)中的叶片缺陷定位和分类两者。如技术人员所知晓的,训练和测试数据是实施监督机器学习模型所必需的。针对模型的训练和测试,使用具有精确注释的图像,其中注释是手动完成的。为了增强监督机器学习模型的准确度,从原始叶片图像(即,在接口处接收到的图像)中产生较小尺寸的片块(patch),并且将该片块用于模型训练。可以利用开源工具来进行模型的实现、训练、测试和部署。
根据优选实施例,使用卷积神经网络(CNN)来执行步骤S2a)和S2b),该卷积神经网络是利用风力涡轮机的手动注释的图像的训练数据来训练的。可以利用预定义对象类别来进行注释以构造图像信息。例如,四个对象级别可以用于注释:叶片、背景、背景中的相同涡轮机、背景中的不同涡轮机。然而,要理解的是,也可以以另一种方式来选择类别的量和类别的内容。
CNN可以实施用于全局图像分割的全局模型、以及用于对来自全局模型的分割进行局部化完善(refinement)的局部模型。全局模型和局部模型两者都可以使用相同的神经网络架构。全局模型使得能够粗略标识该图像中示出了待评估的叶片的那些部分。局部模型使得能够找到该图像中涉及待评估的风力涡轮机叶片的所有那些像素。
在全局模型和局部模型中,将多个预定义对象类别指派给带注释的图像中的像素或像素块,其中该多个对象类别涉及对于确定待评估的叶片的轮廓所必需或不必需的相关和不相关的图像信息。例如,上面提到的四个对象类别可以用于注释:叶片、背景、背景中的相同涡轮机、背景中的不同涡轮机。预定义对象类别可以用相同的方式在全局和局部模型两者中使用。
在全局模型中,在执行已经训练的CNN期间,在进行到由处理单元分析图像以确定该图像中的叶片的轮廓(步骤S2a))之前,将接收到的图像调整尺寸(resize)为经调整尺寸的图像,该经调整尺寸的图像在高度和宽度上具有比经调整尺寸的图像更小的第二像素数量。对接收到的图像进行调整尺寸具有如下优点:可以减少待处理的数据的量。这有助于加快对叶片轮廓的确定。
根据进一步的优选实施例,作为要在步骤S2b)中处理的全局模型的输出,用预定义对象类别来注释经调整尺寸的图像,并且将其上扩(up-scale)到原始像素数量。上扩使得能够与局部模型内的处理进行组合。
在局部模型中,通过执行已经训练的CNN来对接收到的图像以及被上扩且带注释的经调整尺寸的图像进行组合,从而提供经修改的图像,该经修改的图像具有在接收到的图像的质量方面的叶片的图像信息、以及带有预定义对象类别的注释。该高分辨率图像使得能够借助于步骤S3)中的进一步已经训练的神经网络来对叶片缺陷进行定位和分类。
在步骤S3)中,利用经修改的图像的手动注释的片块的训练数据来训练的另一个神经网络被执行,以对叶片缺陷进行定位和分类。为了开发叶片缺陷分类和定位模型,可以选择腐蚀叶片缺陷类型(类别)。可以使用神经网络架构,例如在Keras中实现的“腐蚀模型”,或者作为进一步示例,在TensorFlow中实现的“替代腐蚀模型”。Keras和TensorFlow是已知的神经网络工具(例如,参见[3]或[4])。
在步骤S3)中,在利用预定义的缺陷类别进行注释之前,可以将经修改的图像调整尺寸为经调整尺寸的经修改的图像,该经调整尺寸的经修改的图像在高度和宽度上具有比经修改的图像更小的第二像素数量。
作为输出,经调整尺寸且带注释的经修改的图像被上扩到原始像素数量。针对模型训练,通过亮度和颜色饱和度中的随机改变和随机翻转来扩张(augment)图像和注释。仅仅取得叶片区域的片块。不具有腐蚀的图像不被用于训练。
根据进一步的方面,提出了一种可直接加载到数字计算机的内部存储器中的计算机程序产品,包括当所述产品在计算机上运行时用于执行前述权利要求之一的步骤的软件代码部分。该计算机程序产品可以采用存储介质的形式,诸如DVD、CD-ROM、USB存储器盘等等。替代地,该计算机程序产品可以采用信号的形式,该信号可以经由有线或无线通信线路来传输。
根据进一步的方面,提出了一种用于对风力涡轮机的叶片缺陷进行计算机实现的确定的系统。该系统包括接口:该接口用于接收风力涡轮机的图像,该图像包含风力涡轮机的一个或多个叶片的至少一部分,该图像在高度和宽度上具有给定的原始像素数量;以及处理单元。处理单元被适配成分析该图像以确定该图像中的叶片的轮廓。处理单元被适配成从仅包含叶片的图像信息的所分析的图像中创建经修改的图像。此外,处理单元被适配成分析经修改的图像以确定叶片的叶片缺陷和/或叶片缺陷类型。
该系统具有与根据本文中描述的方法已经描述的优点相同的优点。
附图说明
将借助于附图来更详细地描述本发明。
图1接收到的图像以及用于训练卷积神经网络CNN的带注释的图像;
图2图示了根据本发明的方法的两步骤过程的示图;
图3接收到的图像以及从该方法的第一步骤所得的经修改的图像;
图4经修改的图像以及从该方法的第二步骤所得的带注释的图像;
图5图示了根据本发明的系统的框图;以及
图6图示了根据本发明的方法的步骤的流程图。
具体实施方式
为了避免对风力涡轮机的叶片缺陷进行耗时且不具成本效益的手动确定,下面描述了用于图像中的自动叶片缺陷分类和定位的方法。
该方法使用监督机器学习模型,该模型利用了全卷积神经网络CNN。CNN用于叶片检测和定位(对应于找到叶片轮廓)以及背景去除的两个步骤,使得叶片轮廓保留为所谓的经修改的图像中仅有的图像信息、以及具有轮廓化的叶片和去除了背景的图像中的叶片缺陷分类和定位。叶片缺陷分类和定位的步骤可以在像素级别上完成,这导致了所确定的叶片缺陷的高准确度。
为了能够进行CNN,有必要利用合适的训练数据进行训练。出于此目的,利用预定义对象类别对多个图像进行手动注释,以用于训练和测试该模型。利用预定义对象类别进行注释的目的是构造由计算系统CS(图5)的接口IF接收到的图像的图像信息。可以用合适的方式来选择类别的量和类别的内容。
为了增强和加快训练,可以从原始叶片图像中产生较小尺寸的片块,并且将其用于模型训练。可以利用开源工具来进行模型的实现、训练、测试和部署。
从[1]已知的是,使用全CNN来进行语义图像分割。[1]中描述的方法允许以最精确的级别(即,像素级别)来同时地检测和定位图像中的对象。[1]中提出的CNN可以用作实现如下描述的方法的基础。
为了训练深度学习模型,需要精确的叶片图像注释。注释由注释者来手动准备。图1在其左侧示出了如例如由无人机所拍摄的图像OI的示例。这种“原始”图像将被称为接收到的图像OI,该图像OI是由根据本发明的计算系统CS的接口IF接收到的(图6)。作为示例,原始图像OI示出了:具有待评估的风力涡轮机的潜在缺陷的叶片的一部分(根据预定义第一对象类别用OC1来表示)(在该图像的中间)、背景(根据预定义第二对象类别用OC2来表示)、以及背景中的另一个风力涡轮机(根据预定义第四对象类别用OC4来表示)。
图1的右侧示出了原始图像OI的手动注释的图像MAI。带注释的图像MAI具有根据预定义对象类别通过着色而制成的注释。例如,四个对象类别OC1……OC4可以用于注释:叶片(OC1)、背景(OC2)、背景中的相同涡轮机(OC3,图1中未示出)、背景中的不同涡轮机(OC4)。然而,也可以用另一种方式来选择类别的量和类别的内容。带注释的图像MAI由叶片的单色轮廓(根据其属于对象类别OC1用OC1来表示)和背景中具有不同颜色的单色涡轮机(根据其属于对象类别OC4用OC4来表示)组成。属于对象类OC2的背景被去除。
如图1中所示的多个手动注释的图像MAI被用于训练CNN。
叶片缺陷(诸如,腐蚀)的确定包括叶片缺陷的定位、以及所定位的叶片缺陷的分类。后者指代找到所定位的叶片缺陷的(预定义)类型。用于检测和定位风力涡轮机的叶片缺陷的下面描述的自动化方法基本上由两个阶段组成:即,对接收到的(原始)图像中的叶片进行定位并且确定其在图像中的轮廓;以及对叶片缺陷进行定位和分类。
叶片轮廓的确定
图2中图示了叶片轮廓模型,并且叶片轮廓模型使用两步骤过程。全局模型GM用于全局图像分割,并且局部模型LM用于对来自全局模型GM的分割进行局部化完善。全局模型和局部模型两者都使用相同的神经网络架构。神经网络架构可以例如由七(7)个卷积和最大池化块、以及三(3)个上采样和卷积块来表示,这些块是使用PyTorch [3]来实现的。在这之后,计算针对四个输出类别的概率,并且然后将其上采样到原始图像尺寸。
全局模型的训练如下那样工作。作为输入,全局模型GM以经调整尺寸的尺寸来接收原始图像OI作为经调整尺寸的图像RI。虽然原始图像OI在高度上具有数量h的像素并且在宽度上具有数量w的像素(采用简短符号:OI(h,w)),但是经调整尺寸的图像RI在高度上具有数量rh的像素并且在宽度上具有数量rw的像素(采用简短符号:RI(rh,rw)),其中rh<h并且rw<w。全局模型被训练成向经调整尺寸的图像添加注释,从而产生与经调整尺寸的图像具有相同尺寸的带注释的经调整尺寸的图像ARI,即ARI(rw,rh,c),其中c表示用于注释的预定义对象类别OCi的数量,其中i=1…c。根据上面选择的示例,c=4,这是由于使用了四个对象类别:叶片、背景、背景中的相同涡轮机、背景中的不同涡轮机。带注释的经调整尺寸的图像ARI与其注释一起被上扩,从而产生被上扩且带注释的图像UAI,该图像UAI在高度上具有数量ah的像素并且在宽度上具有数量aw的像素(采用简短符号:UAI(ah,aw,c)),其中ah=h,并且aw=w。换句话说,被上扩且带注释的图像UAI的尺寸对应于原始图像OI的尺寸,或者UAI(ah,aw,c)= UAI(h,w,c)。对于训练而言,通过亮度和颜色饱和度中的随机改变和随机翻转来进行图像和注释的扩张(augmentation)。出于训练目的,仅考虑叶片区域的片块。不具有腐蚀的图像不被用于训练。
在全局模型GM的训练完成之后,如下那样来执行该全局模型:作为输入,局部模型GM以经调整尺寸(缩减尺寸)的尺寸来接收原始图像OI(h,w)作为经调整尺寸的图像RI(rh,rw)。作为输出,生成与经调整尺寸的图像RI具有相同尺寸的带注释的经调整尺寸的图像ARI(rw,rh,c)。如图2中所示,将带注释的经调整尺寸的图像ARI(rw,rh,c)上扩(扩张)成被上扩且带注释的图像UAI(ah,aw,c)。被上扩且带注释的图像UAI(ah,aw,c)= UAI(h,w,c)、以及原始图像OI(h,w)将被用作局部模型LM中的输入信息。
局部模型LM的训练如下那样工作。作为输入,局部模型LM接收采用全分辨率的原始图像OI(h,w)的片块、以及来自全局模型GM所提供的被上扩且带注释的图像UAI(ah,aw,c)=UAI(h,w,c)的其注释。用与针对全局模型训练的方式相同的方式来定义注释的对象类别OCi。此外,来自全局模型的输出(图2中的UAI(ah,aw,c))的四个概率被用作输入。图像和注释被上扩,从而产生带注释的图像AI(ah,aw,c),图像AI(ah,aw,c)具有与原始图像OI(h,w)相同的尺寸,即ah=h并且aw=w。换句话说,作为局部模型LM的输出的被上扩且带注释的图像AI的尺寸对应于原始图像OI的尺寸,或者AI(ah,aw,c)= AI(h,w,c)。出于训练目的,仅考虑叶片区域的片块。不具有腐蚀的图像不被用于训练。
在全局模型GM的训练完成之后,如下那样来执行该全局模型:作为输入,局部模型LM接收采用全分辨率的原始图像OI(h,w)、以及来自全局模型GM所提供的被上扩且带注释的图像UAI(ah,aw,c)= UAI(h,w,c)的其注释。作为输出,提供带注释的图像AI(ah,aw,c)。用与针对局部模型训练的方式相同的方式来定义注释。带注释的图像AI构成经修改的图像,该经修改的图像是用于接下来的第二步骤中的进一步评估的输入。
叶片缺陷分类和定位
为了开发叶片缺陷分类和定位模型,选择了腐蚀叶片缺陷类型。可以利用两种不同的神经网络架构,被称为“腐蚀模型”的第一模型、以及被称为“替代腐蚀模型”的替代或第二模型。例如,腐蚀模型可以在Keras中实现(见[3]),并且替代腐蚀模型可以在Tensor-Flow中实现(见[4])。
腐蚀模型架构由卷积和最大池化层的4个块并且然后由上采样和卷积层的4个块组成。为了训练该神经网络,来自原始图像OI的具有POI(eh,ew)像素(eh<h并且ew<w)的片块POI以及注释被调整尺寸为其中去除了背景的POI(reh,rew)像素(reh>eh并且rew>ew)。在注释中,使用预定义的叶片和缺陷类型(在这种情况下是腐蚀)类别。
在腐蚀模型的训练完成之后,如下那样来执行它:作为输入,腐蚀模型接收被调整尺寸为RMI(rh,rw)像素的原始图像OI(h,w)。在经调整尺寸的原始图像RMI(rh,rw)中,使用经修改的图像AI的信息去除了背景。腐蚀模型输出具有尺寸(h,w)的被上扩且带注释的图像RAMI,即RAMI(h,w),图像RAMI是通过对RMI(rh,rw)进行上扩所得到的。
替代腐蚀模型使用[1]中描述的全卷积网络架构,并且可以使用[4]中描述的TensorFlow来实现。考虑两个类别:腐蚀和无腐蚀,无腐蚀包括背景、叶片和其他缺陷类型。在预定像素尺寸(其当然小于原始图像的尺寸)的片块上来训练替代腐蚀模型,这些片块是使用随机位置、随机旋转、随机水平翻转和随机垂直翻转而产生的。
叶片轮廓模型和腐蚀模型的结果的示例分别在图3和4中示出。图3示出了叶片轮廓模型的结果,在左侧详细示出了叶片图像,并且在右侧详细示出了叶片轮廓模型的结果。叶片及其位置在该图中清楚地被标识并且可见。图4图示了腐蚀模型的结果,其中在左侧示出了叶片图像,并且在右侧示出了腐蚀模型的结果。腐蚀缺陷类型由预定义的颜色(在该图中,由箭头ET来标记)来标识和标记。
表格1中呈现了模型性能的结果,其中TP、FP和FN分别被定义为真阳性、假阳性和假阴性。结果表明了叶片轮廓模型以及用于腐蚀叶片缺陷检测和定位的两个模型的良好性能。
表格1:模型性能的结果
图6图示了所描述的本发明的流程图。该方法由计算系统CS来执行,该计算系统CS包括接口IF和处理单元PU并且在图5中被图示。用于确定叶片缺陷的方法由计算系统CS来进行计算机实现的执行。在步骤S1)中,通过计算机系统CS的接口1F来接收风力涡轮机的图像OI,该图像OI包含风力涡轮机的一个或多个叶片的至少一部分。该图像在高度和宽度上具有给定原始像素数量。步骤S2)基本上由两个连续的步骤S2a)和S2b)组成,这两个步骤由计算机系统CS的处理单元PU来执行。在步骤S2a)中,分析该图像以确定该图像中的叶片的轮廓。在步骤S2b)中,从仅包含叶片的图像信息的所分析的图像中创建经修改的图像。最后,步骤S3)由如下操作组成:由处理单元PU来分析经修改的图像,以确定叶片的叶片缺陷和/或叶片缺陷类型。作为结果,由处理单元PU来输出叶片缺陷BD和/或叶片缺陷类型BDT。
概括地说,该方法基本上由如下两个步骤组成:检测图像中的叶片的轮廓;以及创建经修改的图像,该经修改的图像去除了除叶片之外的任何不相关的信息。换句话说,第一步骤的结果是经修改的图像,该经修改的图像随着该图像的背景信息被去除而具有简化/减少的信息。该经简化的图像(被称为经修改的图像)形成了用于在第二步骤中确定叶片缺陷的基础。该第二步骤允许收集关于缺陷的位置以及所标识的缺陷的类型(也被称为类别)的进一步信息。
所提出的方法使得能够对风力涡轮机的叶片缺陷进行计算机实现的并且因此是自动化的确定。因此,叶片检查花费更少的时间,并且更加具有成本效益。另外,在神经网络已经被训练之后,它不需要熟练的图像注释者。该方法使用经训练的深度学习模型,该模型可以在大量图像数据上自动运行。随着深度学习模型的进一步开发,可以实质上降低注释的成本,并且增加图像注释的质量。
所描述方法的主要优点在于:可以在像素级别上进行叶片缺陷确定,这提供了高准确度。
Claims (12)
1.一种用于对风力涡轮机的叶片缺陷进行计算机实现的确定的方法,包括以下步骤:
Si)通过接口(IF)来接收风力涡轮机的图像(OI),所述图像(OI)包含风力涡轮机的一个或多个叶片的至少一部分,所述图像(OI)在高度和宽度上具有给定原始像素数量(h,w);
S2a)由处理单元(PU)分析所述图像(OI)以确定所述图像中的叶片的轮廓;
S2b)由处理单元从仅包含叶片的图像信息的所分析的图像(OI)中创建经修改的图像(AI);以及
S3)由处理单元(PU)分析经修改的图像(AI),以确定叶片的叶片缺陷(BD)和/或叶片缺陷类型(BDT)。
2.根据权利要求1所述的方法,其中使用卷积神经网络(CNN)来执行步骤S2a)和S2b)和/或S3),所述卷积神经网络(CNN)是利用风力涡轮机的手动注释的图像的训练数据来训练的。
3.根据权利要求2所述的方法,其中所述CNN实施用于全局图像分割的全局模型(GM)、以及用于对来自全局模型(GM)的分割进行局部化完善的局部模型(LM)。
4.根据权利要求3所述的方法,其中在全局模型(GM)和局部模型(LM)中,将多个预定义对象类别(OCi)指派给带注释的图像(ARI,UAI)中的像素或像素块,其中所述多个对象类别(OCi)涉及对于确定待评估的叶片的轮廓所必需或不必需的相关和不相关的图像信息。
5.根据权利要求3或4所述的方法,其中在全局模型(GM)中,在进行到步骤S2a)之前,将接收到的图像(OI)调整尺寸为经调整尺寸的图像(RI),经调整尺寸的图像(RI)在高度和宽度上具有比经调整尺寸的图像(OI)更小的第二像素数量(rh,rw)。
6.根据权利要求3至5中的一项所述的方法,其中作为要在步骤S2b)中处理的全局模型(GM)的输出,利用预定义对象类别来注释经调整尺寸的图像(RI),并且将其上扩到原始像素数量(h,w)。
7.根据权利要求3至6中的一项所述的方法,其中在局部模型(LM)中,利用预定义对象类别(OCi)来注释接收到的图像(OI)、以及被上扩且带注释的经调整尺寸的图像(UARI),其中该处理的结果构成经修改的图像(AI)。
8.根据前述权利要求中的一项所述的方法,其中在步骤S3)中,执行另一个神经网络,所述另一个神经网络是利用经修改的图像(AI)的手动注释的片块的训练数据来训练的。
9.根据前述权利要求中的一项所述的方法,其中在步骤S3)中,在利用预定义的缺陷类别进行注释之前,将经修改的图像(AI)调整尺寸为经调整尺寸的经修改的图像,所述经调整尺寸的经修改的图像在高度和宽度上具有比经修改的图像更小的第二像素数量(rh,rw)。
10.根据权利要求8或9所述的方法,其中作为输出,将经调整尺寸且带注释的经修改的图像上扩到原始像素数量(h,w)。
11.一种可直接加载到数字计算机的内部存储器中的计算机程序产品,包括当所述产品在计算机上运行时用于执行前述权利要求中的一项的步骤的软件代码部分。
12.一种用于对风力涡轮机的叶片缺陷进行计算机实现的确定的系统,包括:
- 接口(IF),用于接收风力涡轮机的图像(OI),所述图像(OI)包含风力涡轮机的一个或多个叶片的至少一部分,所述图像在高度和宽度上具有给定的原始像素数量(h,w);
- 处理单元(PU),其被适配成:
= 分析所述图像(OI)以确定所述图像(OI)中的叶片的轮廓;
= 从仅包含叶片的图像信息的所分析的图像(OI)中创建经修改的图像(AI);以及
= 分析经修改的图像(AI)以确定叶片的叶片缺陷(BD)和/或叶片缺陷类型(BDT)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18187326.6A EP3605453A1 (en) | 2018-08-03 | 2018-08-03 | Convolutional neural network based inspection of blade-defects of a wind turbine |
EP18187326.6 | 2018-08-03 | ||
PCT/EP2019/069789 WO2020025392A1 (en) | 2018-08-03 | 2019-07-23 | Convolutional neural network based inspection of blade-defects of a wind turbine |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112513927A true CN112513927A (zh) | 2021-03-16 |
Family
ID=63144918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980051691.9A Pending CN112513927A (zh) | 2018-08-03 | 2019-07-23 | 基于卷积神经网络的风力涡轮机叶片缺陷检查 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210350521A1 (zh) |
EP (2) | EP3605453A1 (zh) |
CN (1) | CN112513927A (zh) |
WO (1) | WO2020025392A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115564740A (zh) * | 2022-10-17 | 2023-01-03 | 风脉能源(武汉)股份有限公司 | 一种风机叶片缺陷定位方法及系统 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021173138A1 (en) * | 2020-02-27 | 2021-09-02 | Lm Wind Power A/S | System and method for monitoring wind turbine rotor blades using infrared imaging and machine learning |
CN112419352B (zh) * | 2020-11-24 | 2022-05-20 | 复旦大学 | 一种基于轮廓的小样本语义分割方法 |
CN113298775B (zh) * | 2021-05-21 | 2023-01-24 | 佛山职业技术学院 | 自吸泵双面金属叶轮外观缺陷检测方法、系统和介质 |
WO2024023322A1 (en) * | 2022-07-28 | 2024-02-01 | Lm Wind Power A/S | Method for performing a maintenance or repair of a rotor blade of a wind turbine |
CN116109637B (zh) * | 2023-04-13 | 2023-12-26 | 杭州深度视觉科技有限公司 | 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102434403A (zh) * | 2010-09-29 | 2012-05-02 | 通用电气公司 | 用于风力涡轮机检查的系统及方法 |
CN107833220A (zh) * | 2017-11-28 | 2018-03-23 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
CN108038846A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 |
CN108154504A (zh) * | 2017-12-25 | 2018-06-12 | 浙江工业大学 | 一种基于卷积神经网络的钢板表面缺陷的检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153842A (zh) * | 2017-04-27 | 2017-09-12 | 西安交通大学 | 基于边缘分割的风机叶片保护膜损伤检测方法 |
CN107144569A (zh) * | 2017-04-27 | 2017-09-08 | 西安交通大学 | 基于选择性搜索分割的风机叶片表面缺陷诊断方法 |
US10692220B2 (en) * | 2017-10-18 | 2020-06-23 | International Business Machines Corporation | Object classification based on decoupling a background from a foreground of an image |
-
2018
- 2018-08-03 EP EP18187326.6A patent/EP3605453A1/en not_active Withdrawn
-
2019
- 2019-07-23 EP EP19752931.6A patent/EP3807841A1/en active Pending
- 2019-07-23 CN CN201980051691.9A patent/CN112513927A/zh active Pending
- 2019-07-23 US US17/264,147 patent/US20210350521A1/en active Pending
- 2019-07-23 WO PCT/EP2019/069789 patent/WO2020025392A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102434403A (zh) * | 2010-09-29 | 2012-05-02 | 通用电气公司 | 用于风力涡轮机检查的系统及方法 |
CN107833220A (zh) * | 2017-11-28 | 2018-03-23 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
CN108038846A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 |
CN108154504A (zh) * | 2017-12-25 | 2018-06-12 | 浙江工业大学 | 一种基于卷积神经网络的钢板表面缺陷的检测方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115564740A (zh) * | 2022-10-17 | 2023-01-03 | 风脉能源(武汉)股份有限公司 | 一种风机叶片缺陷定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3807841A1 (en) | 2021-04-21 |
WO2020025392A1 (en) | 2020-02-06 |
US20210350521A1 (en) | 2021-11-11 |
EP3605453A1 (en) | 2020-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112513927A (zh) | 基于卷积神经网络的风力涡轮机叶片缺陷检查 | |
EP3452959B1 (en) | Model construction in a neural network for object detection | |
JP6693938B2 (ja) | 外観検査装置 | |
JP2018200685A (ja) | 完全教師あり学習用のデータセットの形成 | |
JP2019050376A5 (zh) | ||
WO2020151340A1 (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
CN111461212A (zh) | 一种用于点云目标检测模型的压缩方法 | |
CN111583180B (zh) | 一种图像的篡改识别方法、装置、计算机设备及存储介质 | |
CN113763312A (zh) | 使用弱标记检测半导体试样中的缺陷 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
CN114445746A (zh) | 模型训练方法、铁路接触网异常检测方法及相关装置 | |
CN111652266A (zh) | 用户界面组件的识别方法、装置、电子设备和存储介质 | |
CN111127454A (zh) | 基于深度学习生成工业缺陷样本的方法及系统 | |
CN116128839A (zh) | 晶圆缺陷识别方法、装置、电子设备以及存储介质 | |
CN111758117A (zh) | 检查系统、识别系统以及学习数据生成装置 | |
CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
WO2023159527A1 (zh) | 检测器训练方法、装置及存储介质 | |
CN116596875A (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
CN117611879A (zh) | 缺陷检测方法、装置、设备及计算机可读介质 | |
CN117372424A (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
CN112434585A (zh) | 一种车道线的虚实识别方法、系统、电子设备及存储介质 | |
CN115631197B (zh) | 一种图像处理方法、装置、介质、设备及系统 | |
JP2023047003A (ja) | 機械学習システム、学習データ収集方法及び学習データ収集プログラム | |
CN114120057A (zh) | 一种基于PaddleDetection的混淆矩阵生成方法 | |
KR20230063742A (ko) | 계층적 cnn을 이용한 스마트 팩토리에서의 제품 불량 탐지 방법 및 이를 기록한 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |