CN111852792B - 一种基于机器视觉的风机叶片缺陷自诊断定位方法 - Google Patents

一种基于机器视觉的风机叶片缺陷自诊断定位方法 Download PDF

Info

Publication number
CN111852792B
CN111852792B CN202010945749.9A CN202010945749A CN111852792B CN 111852792 B CN111852792 B CN 111852792B CN 202010945749 A CN202010945749 A CN 202010945749A CN 111852792 B CN111852792 B CN 111852792B
Authority
CN
China
Prior art keywords
defect
image
sample set
blade
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010945749.9A
Other languages
English (en)
Other versions
CN111852792A (zh
Inventor
范芳蕾
余宏涛
黄伟莉
张克义
郝世查
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Leqian Information Technology Co ltd
Original Assignee
East China Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Institute of Technology filed Critical East China Institute of Technology
Priority to CN202010945749.9A priority Critical patent/CN111852792B/zh
Publication of CN111852792A publication Critical patent/CN111852792A/zh
Application granted granted Critical
Publication of CN111852792B publication Critical patent/CN111852792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03DWIND MOTORS
    • F03D17/00Monitoring or testing of wind motors, e.g. diagnostics
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/70Wind energy
    • Y02E10/72Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于机器视觉的风机叶片缺陷自诊断定位方法,具体面向风力发电机表面裂纹、麻面、点蚀、折断等缺陷的快速诊断、分类及定位。该方法通过CMOS摄像机、光源、控制盒及自动传输平台构成的机器视觉系统获取风机叶片各种缺陷样本数据集;采用中值滤波去除图像中的大部分噪声同时较为完整地保留了边缘细节信息;使用阈值分割和Blob分割法相结合,最大限度地减少图像处理复杂度,提高效率,快速剔除背景并标记缺陷位置;收集缺陷特征样本,依据样本特性创建基于颗粒特征向量的分类器,并对样本集合利用支持向量机进行决策分类,得到准确度较高的分类器。将各缺陷叶片图像作为输入,得以实现快速准确地叶片缺陷定位及分类。

Description

一种基于机器视觉的风机叶片缺陷自诊断定位方法
技术领域
本发明涉及的是一种风机叶片自诊断方法,具体是一种基于机器视觉的风机叶片多种缺陷自诊断定位方法。
背景技术
我国近年对风能大力开发,风机容量占比迅速提升,减少向大气排放的温室气体约15万吨。然而,在风机的运行中,维护的成本占据能源成本的10%-20%,风机叶片一直处于恶劣的自然环境中,容易使得叶片产生缺陷导致机组运行失效或安全事故,对叶片的缺陷进行监测能够及时发现并排除存在危险,减少运维成本。当前解决这个问题的方法主要有:1.声发生法:当叶片在运行时产生裂纹、折断等缺陷时,对其进行敲击,其返回的声信号将发生改变,但由于环境噪音较大,对叶片状态分析造成很大影响。叶片敲击在实验室中容易完成,但实际运行过程中难以实现。2.应力监测:通过在叶片上布置检测光纤,叶片在运转时发生的振动及形变都会使得光纤内部的光信号传输发生微小的变化,通过分析传输的信号的变化,对叶片进行监测。光纤监测的敏感度高,但是成本太高。3.超声波探伤和红外热成像检测技术受噪声和环境温度影响很大,且成本较高。随着计算机技术及图像处理技术的不断发展,基于机器视觉的无损检测技术也得到了迅速的发展。中国专利公开号CN108510001A公开了一种风力发电机叶片缺陷分类方法及其分类系统。利用在风力发电机叶片图像样本数据集上进行过训练的ResNet提取叶片的缺陷特征;利用ResNet提取的所述叶片的缺陷特征来获得频繁程度高的叶片缺陷类别信息;将提取的频繁程度高的叶片缺陷类别信息用于决策树的构建,重复迭代直至收敛后得到缺陷分类模型,并利用基于高频取样CatBoost方法对其缺陷特征进行分类。这种方法虽然得到缺陷分类模型并分类,但未对缺陷进行标记和定位,不利于后续的缺陷追踪。中国专利公开号CN103984952A公开了基于机器视觉图像对电力系统风力发电机叶片表面裂纹故障进行诊断的方法。该方法包括步骤一、划分风力发电机叶片,获得叶片基元;步骤二、对风力发电机叶片基元进行拍照,并对背景进行剔除;步骤三、对步骤二获得的叶片基元结果图像进行二次划分成图像基元,并对基元结果图像进行特征提取;步骤四、对故障诊断所用的支持向量机进行训练;步骤五、使用训练好的支持向量机对风力发电机叶片基元的表面故障种类进行诊断;步骤六、对所有的叶片基元均进行步骤二、三、五的操作,直至完成整片叶片的表面故障诊断。这种方法能够诊断大型叶片表面缺陷,但专利中仅提到了对叶片表面裂纹的检测,未对其他缺陷的检测展开研究,检测效果单一。并且也未对缺陷进行标记和定位,同样不利于后续的缺陷追踪。
发明内容
本发明针对现有技术存在的不足,提供一种基于机器视觉的风机叶片缺陷自诊断定位方法,即风机叶片自动判别、定位及分类方法,针对当前叶片诊断过程中缺少叶片定位技术,提出解决方案,保证叶片缺陷快速识别、分类的同时标记定位缺陷位置,为后续叶片表面缺陷追踪提供依据。
本发明的技术方案如下:一种基于机器视觉的风机叶片缺陷自诊断定位方法,其特征是该方法包括如下步骤:
步骤1:通过视觉传感器获取风机叶片各种缺陷样本图像集,对样本图像人工分类,为后续判断分类器的正确率提供依据;
步骤2:对步骤1采集到的图像样本数据集中的缺陷特征及噪声进行分析,采用中值滤波,在很好地保留目标边缘特征的同时去除图像中大部分噪声;
步骤3:根据步骤2获得的去噪后的图像样本集,采用阈值法将样本集中图像的目标区域完整的分割出来,然后运用Blob分割算法度量图像中连通区域的形心、边界盒、面积等属性来对物体的检测区域进行分析和处理,并标记缺陷位置;该方法可以检测单个叶片中的多种不同类型缺陷,标记各缺陷在图像中的位置;
步骤4:根据步骤3获得的缺陷特征样本集,依据样本特性创建基于颗粒特征向量的分类器,采用支持向量机对样本集合进行训练,得到准确度较高的分类器;步骤3中已标记出缺陷坐标,在进行缺陷分类训练时直接读取每幅图像中各缺陷在图像中的起点和终点位置,能够最大限度的减少图像扫描时间,减少样本训练及缺陷分类检测的时间;
步骤5:将不同缺陷类别图像作为输入,可以快速准确地实现风机叶片的缺陷分类及定位。
进一步的,所述步骤3的具体步骤为:
步骤3.1:首先根据滤波后样本集直方图设置灰度值阈值,采用阈值分割法分离图像前景和背景,获得二值图像;
步骤3.2:对步骤3.1获得的二值图像采用形态学方法,进行闭运算消除小的孤立噪声的同时获得叶片表面缺陷连通区域;
步骤3.3:根据骤3.2获得图像目标像素,统计出目标图像中满足叶片缺陷条件的Blob数目,并对图像中每个Blob进行标记;
步骤3.4:Blob信息提取,采用Blob线处理方法获取连通区域的几何特征,即连通区域的线段边界点、最小外接矩形及形心位置,最后计算获得风机缺陷位置坐标。
进一步的,所述步骤4的具体步骤为:
步骤4.1:对由步骤3获得的图像缺陷样本,分别取它们的面积特征、圆度因子、细长度特征以及孔洞数作为目标特征,计算样本集的各特征参数;
步骤4.2:基于步骤4.1获得的样本集各特征参数的非线性特性,选用非线性内核函数,将各特征参数数据映射到高维空间中使样本数据变成线性;
步骤4.3:求解特性空间中的最优分类函数,得到最优分类模型;
步骤4.4:选用叶片缺陷训练样本集,经步骤3特征提取后,输入SVM分类器,依据分类结果测试分类器的可靠性。
本发明的优点是:发明提供了一种基于机器视觉的风机叶片缺陷自诊断、定位及分类方法,该方法快速有效识别叶片表面缺陷,对缺陷进行分类、标记及定位,实时掌握叶片情况,追踪缺陷发展。该方法能够有效监测风力发电机叶片健康状况,保障风机安全运行,提高风机工作效率,大大降低运维成本。
附图说明
图1为本发明方法的系统工作流程图。
图2为本发明CMOS相机标定后重投影误差图。
图3为本发明矫正后角点和实际角点图。
图4为本发明方法的缺陷定位、分类与识别流程图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程。
参照图1,本实施例程包括:图像采集模块、图像预处理模块、缺陷提取与标记模块、缺陷分类模块。其中图像采集模块用于采集测试图像样本集及系统工作过程中对叶片未知类别图像数据的实时采集,并将采集的信息传输到PC机。图像预处理模块对采集的叶片图像进行图像滤波去除噪声,之后缺陷提取与标记模块根据上述预处理后的样本数据运用阈值法+Blob分割算法度量图像中连通区域的属性,对物体的检测区域进行分析和处理,提取测试叶片图像的多种缺陷特征并标记缺陷位置。缺陷分类模块依据各类缺陷特征创建基于颗粒特征向量的分类器对缺陷进行分类,从而得到更加精确的缺陷分类,最后输出叶片缺陷坐标及缺陷类别。
所述图像采集模块,CMOS摄像机作为图像采集传感器,获取风机叶片图像。为消除相机畸变给缺陷定位带来的影响,使用GP100-2型的菲林标定板作为参数计算的拍摄对象,采集标定板不同姿态的图像共17张,使用Camera Calibrator对采集到的标定的图像进行解算,求出各幅图像的旋转矩阵和平移矩阵,进而计算出重投影误差(如图2),并得到修正参数(如图3)。
所述预处理模块,其主要任务是去除图像噪声。采用5*5的十字交叉中值滤波模板,滤除孤立噪声的同时很好地保留了目标边缘细节。
所述缺陷提取与标记模块参考图4特征提取部分,其主要任务是图像的目标区域与背景完整的分割出来,提取缺陷连通区域并标记缺陷,得到缺陷形心坐标。与现有技术相比,本发明具有的优势是可以快速的识别并标记一副图像中的多种缺陷类型。具体实施步骤如下:
1.采用Otsu算法(最大类间方差)自动计算阈值实现图像二值化。读取图像像素值,计算灰度直方图,根据类间方差最大确定最佳阈值,对灰度图像进行阈值自动分割。
2.叶片缺陷的一些位置本来应该是一个完整的连通区域,但因为叶片在同一位置的缺陷程度比较浅,使得在二值化后缺陷变成一个个独立的小连通区域。这会使得对缺陷的检测出现数目过多,可能导致缺陷被判断为多个独立缺陷。根据二值化图像特征,选用圆盘形模板采用闭运算将弥散分布的孔洞合并得到连通区域,同时去除孤立亮点噪声。
3.Blob连通区域统计,并标记每个连通区域。
4.采用Blob处理方法,在连通区域的扫描过程中,同时获取连通区域的几何特征,包括连通区域的线段边界点、最小外接矩形及形心位置,并同时将缺陷连通区域数据存入各Blob的信息结构体中。
所述缺陷分类模块参考图4训练阶段,根据风机运转过程中叶片常见缺陷(麻面、点蚀、裂纹、断裂)确定特征参数,作为分类器的特征向量对分类器进行训练,并对样本集中的缺陷进行分类。具体步骤如下:
1.选取特征向量。根据缺陷类型选取面积特征A、圆度因子C、细长度特征S以及孔洞数为训练分类器的输入特征参数。
面积特征A:
Figure BDA0002675216890000051
其中,(i,j)目标区域的起始坐标,M,N为目标区域的长和宽,I(x,y)为目标区域像素;
圆度因子C:
Figure BDA0002675216890000052
其中,P为目标区域周长,A为目标区域面积;
细长度为目标区域等效矩形的长宽比;
孔洞数用拓扑形状特征描述,这里用欧拉数E来表示拓扑特征。H表示目标区域中空洞数,C表示连通域数。孔洞数结合面积特征快速有效区分麻面和点蚀。
E=C-H
2.利用支持向量机(SVM)对叶片缺陷进行决策分类,样本特征向量数据作为分类器的输入。由于样本空间非线性问题,在支持向量中,针对样本集线性不可分的情况,本发明选用径向基核函数完成将输入原始样本数据映射到高维空间中使样本数据变成线性可分,确定最优分类线,最终得到最优分类模型。
3.分类器测试阶段。将各种叶片缺陷的图像作为输入,可得到缺陷定位的相关数据(表1列出了各种缺陷数据示例)以及分类结果。为了得到分类器的准确度对实验结果进行分析。
表1叶片缺陷检测数据示例(部分数据)
Figure BDA0002675216890000053
Figure BDA0002675216890000061
使用训练完成的分类器对叶片中的麻面、裂纹、点蚀、折断情况进行诊断,分类结果及准确率如表2所示。
表2各缺陷分类的准确率
Figure BDA0002675216890000062
由表2可知,对四种缺陷检测的准确率分别为86.02%、93.12%、87.11%、96.06%,各种缺陷准确度较高,平均准确度高达90.63%。如表3所示,为比较算法的准确度,与卷积神经网络(CNN)算法Inception-V2、ResNet-50、ResNet-101、Inception-ResNet-V2实验数据比较,检测的准确率高于目前常用的这四种卷积算法。
表3不同的卷积神经网络算法与本发明方法分类效果对比
Figure BDA0002675216890000063

Claims (2)

1.一种基于机器视觉的风机叶片缺陷自诊断定位方法,其特征是该方法包括如下步骤:
步骤1:通过视觉传感器获取风机叶片各种缺陷样本图像集,对样本图像人工分类,为后续判断分类器的正确率提供依据;
步骤2:对步骤1采集到的图像样本数据集中的缺陷特征及噪声进行分析,采用中值滤波,在很好地保留了目标边缘特征的同时去除图像中大部分噪声;
步骤3:根据步骤2获得的去噪后的图像样本集,采用阈值法将样本集中图像的目标区域完整的分割出来,然后运用Blob分割算法度量图像中连通区域的形心、边界盒、面积属性来对物体的检测区域进行分析和处理,并标记缺陷位置;
步骤4:根据步骤3获得的缺陷特征样本集,依据样本特性创建基于颗粒特征向量的分类器,采用支持向量机对样本集合进行训练,得到准确度较高的分类器;
步骤5:将不同缺陷类别图像作为输入,可以快速准确地实现风机叶片的缺陷分类及定位;
其特征是步骤3的具体步骤为:
步骤3.1:首先根据滤波后样本集直方图设置灰度值阈值,采用阈值分割法分离图像前景和背景,获得二值图像;
步骤3.2:对步骤3.1获得的二值图像采用形态学方法,进行闭运算消除小的孤立噪声的同时获得叶片表面缺陷连通区域;
步骤3.3:根据骤3.2获得图像目标像素,统计出目标图像中满足叶片缺陷条件的Blob数目,并对图像中每个Blob进行标记;
步骤3.4:Blob信息提取,采用Blob线处理方法获取连通区域的几何特征,即连通区域的线段边界点、最小外接矩形及形心位置,最后计算获得风机缺陷位置坐标。
2.如权利要求1所述的一种基于机器视觉的风机叶片缺陷自诊断定位方法,其特征是步骤4的具体步骤为:
步骤4.1:对由步骤3获得的图像缺陷样本,分别取它们的面积特征、圆度因子、细长度特征以及孔洞数作为目标特征,计算样本集的各特征参数;
步骤4.2:基于步骤4.1获得的样本集各特征参数的非线性特性,选用非线性内核函数,将各特征参数数据映射到高维空间中使样本数据变成线性;
步骤4.3:求解特性空间中的最优分类函数,得到最优分类模型;
步骤4.4:选用叶片缺陷训练样本集,经步骤3特征提取后,输入SVM分类器,依据分类结果测试分类器的可靠性。
CN202010945749.9A 2020-09-10 2020-09-10 一种基于机器视觉的风机叶片缺陷自诊断定位方法 Active CN111852792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010945749.9A CN111852792B (zh) 2020-09-10 2020-09-10 一种基于机器视觉的风机叶片缺陷自诊断定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010945749.9A CN111852792B (zh) 2020-09-10 2020-09-10 一种基于机器视觉的风机叶片缺陷自诊断定位方法

Publications (2)

Publication Number Publication Date
CN111852792A CN111852792A (zh) 2020-10-30
CN111852792B true CN111852792B (zh) 2022-10-28

Family

ID=72967589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010945749.9A Active CN111852792B (zh) 2020-09-10 2020-09-10 一种基于机器视觉的风机叶片缺陷自诊断定位方法

Country Status (1)

Country Link
CN (1) CN111852792B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112283050A (zh) * 2020-11-17 2021-01-29 天津科技大学 一种基于机器视觉的风力机叶片在线监测方法
CN112727705A (zh) * 2020-12-23 2021-04-30 蚌埠学院 风力发电机组桨叶监测探伤方法
CN113610749B (zh) * 2021-04-21 2024-04-19 北京智慧空间科技有限责任公司 基于神经网络的风机叶片缺陷检测方法
CN113298775B (zh) * 2021-05-21 2023-01-24 佛山职业技术学院 自吸泵双面金属叶轮外观缺陷检测方法、系统和介质
CN117593294B (zh) * 2024-01-18 2024-04-09 中化学西部新材料有限公司 基于图像特征分析的离心风机风叶裂纹视觉检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017564B4 (de) * 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler
CN107144569A (zh) * 2017-04-27 2017-09-08 西安交通大学 基于选择性搜索分割的风机叶片表面缺陷诊断方法
CN108506170A (zh) * 2018-03-08 2018-09-07 上海扩博智能技术有限公司 风机叶片检测方法、系统、设备及存储介质
CN110006907A (zh) * 2019-04-10 2019-07-12 清华大学深圳研究生院 一种基于机器视觉的压铸件表面缺陷检测方法及系统

Also Published As

Publication number Publication date
CN111852792A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111852792B (zh) 一种基于机器视觉的风机叶片缺陷自诊断定位方法
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN111091544B (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN112699876B (zh) 一种用于集气站多类型仪表自动读数方法
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
CN117250208B (zh) 基于机器视觉的纳米压印晶圆缺陷精准检测系统及方法
CN113706490B (zh) 一种晶片缺陷检测方法
CN109583295B (zh) 一种基于卷积神经网络的转辙机缺口自动检测方法
CN113139572B (zh) 一种基于图像的列车空气弹簧的故障检测方法
CN106599890A (zh) 变电站巡检机器人数字式仪表识别算法
CN110349125A (zh) 一种基于机器视觉的led芯片外观缺陷检测方法及系统
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN113962929A (zh) 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线
CN112487890A (zh) 一种基于并行稀疏滤波的轴承声信号故障诊断方法
CN116228651A (zh) 一种布匹缺陷检测方法、系统、设备及介质
CN114494103A (zh) 缺陷检测方法及检测装置
CN117252840B (zh) 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN115019294A (zh) 一种指针式仪表读数识别方法及系统
CN102680488B (zh) 一种基于pca的块状农产品在线识别装置及方法
CN113989196A (zh) 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法
Zhang et al. Design of tire damage image recognition system based on deep learning
CN112396580A (zh) 一种圆形零件缺陷检测方法
CN116664540A (zh) 基于高斯线检测的橡胶密封圈表面缺陷检测方法
CN114662594B (zh) 一种目标特征识别分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231221

Address after: Room 302, 3rd Floor, Office Building, No. 88 Jinxuan Avenue (East China University of Technology Science Park), Fuzhou High tech Industrial Development Zone, Fuzhou City, Jiangxi Province, 344000

Patentee after: Fuzhou Leqian Information Technology Co.,Ltd.

Address before: 330013 No.418 Guanglan Avenue, Nanchang City, Jiangxi Province

Patentee before: EAST CHINA INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right