CN115564740B - 一种风机叶片缺陷定位方法及系统 - Google Patents

一种风机叶片缺陷定位方法及系统 Download PDF

Info

Publication number
CN115564740B
CN115564740B CN202211267434.9A CN202211267434A CN115564740B CN 115564740 B CN115564740 B CN 115564740B CN 202211267434 A CN202211267434 A CN 202211267434A CN 115564740 B CN115564740 B CN 115564740B
Authority
CN
China
Prior art keywords
fan blade
defect
picture
blade
reference line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211267434.9A
Other languages
English (en)
Other versions
CN115564740A (zh
Inventor
韩梦婷
张翼龙
汪杨
郭鹏程
魏青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Windmagics Wuhan Co ltd
Original Assignee
Windmagics Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Windmagics Wuhan Co ltd filed Critical Windmagics Wuhan Co ltd
Priority to CN202211267434.9A priority Critical patent/CN115564740B/zh
Publication of CN115564740A publication Critical patent/CN115564740A/zh
Application granted granted Critical
Publication of CN115564740B publication Critical patent/CN115564740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，具体涉及一种风机叶片缺陷定位方法及系统，其方法包括，构建风机叶片数学模型，拍摄风机叶片图片组；对风机叶片图片组进行缺陷识别；在缺陷风机叶片图片中标定出径向弦长参考线，并计算径向弦长参考线的实际长度与像素长度之间的转换系数；基于径向弦长参考线，根据缺陷中心点坐标以及转换系数，在风机叶片数学模型中标注出缺陷中心点的坐标。本发明利用作径向弦长参考线的方法计算出实际长度和像素长度之间的转换系数，且利用转换系数计算出缺陷相对边缘线和叶根的距离比例，从而将缺陷在图片中的位置映射至风机叶片数学模型上实现定风机叶片缺陷的定位，有利于对于风机叶片检查结果进行信息化跟踪管理。

Description

一种风机叶片缺陷定位方法及系统
技术领域
本发明涉及图像处理领域，具体涉及一种风机叶片缺陷定位方法及系统。
背景技术
风力发电机的叶片运行进入中期后，在反复的疲劳载荷作用下，很多叶片开始出现局部开裂、分层等的问题，部分严重的就会发生断裂。如果我们能够及时发现这些缺陷，在缺陷没有扩展前进行有效修复，就可以避免大多数叶片断裂事故的发生。
目前无人机已越来越广泛的用于工业巡检领域，成为给能源行业的企业提供安全、高效的检查和数据收集的有效手段。无人机拍摄风机叶片的照片结合人工智能图像识别算法，就可以提高叶片检查的质量和效率，增加了风场运维的安全性。
现有的基于机器视觉对风机叶片缺陷进行图像识别的技术很多，但是很少有对缺陷进行定位。
发明内容
本发明所要解决的技术问题是提供一种风机叶片缺陷定位方法及系统，可以定位出风机叶片中的缺陷。
本发明解决上述技术问题的技术方案如下：一种风机叶片缺陷定位方法，包括以下步骤，
S1，根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
S2，基于MaskR-CNN的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
S3，在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的GPS坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
S4，基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
基于上述一种风机叶片缺陷定位方法，本发明还提供一种风机叶片缺陷定位系统。
一种风机叶片缺陷定位系统，用于实现上述所述的风机叶片缺陷定位方法，包括如下模块，
模型构建及图片拍摄模块，其用于根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
缺陷识别模块，其用于基于MaskR-CNN的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
转换系数计算模块，其用于在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的GPS坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
缺陷定位模块，其用于基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
本发明的有益效果是：在本发明一种风机叶片缺陷定位方法及系统中，通过基于MaskR-CNN的深度学习算法，可以准确识别风机叶片上的缺陷及类型，并利用作径向弦长参考线的方法计算出实际长度和像素长度之间的转换系数，且利用转换系数计算出缺陷相对边缘线和叶根的距离比例，从而将缺陷在图片中的位置映射至风机叶片数学模型上实现定风机叶片缺陷的定位，方便后期实现可视化展示和自动化报告的生成，有利于对于风机叶片检查结果进行信息化跟踪管理。
附图说明
图1为本发明一种风机叶片缺陷定位方法的流程图；
图2为风机叶片数学模型的示意图；
图3为风机叶片表面为迎风面或背风面时径向弦长参考线的标定示意图；
图4为风机叶片表面为前缘面或后缘面时径向弦长参考线的标定示意图；
图5为本发明一种风机叶片缺陷定位系统的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种风机叶片缺陷定位方法，包括以下步骤，
S1，根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
S2，基于MaskR-CNN的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
S3，在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的GPS坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
S4，基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
下面对各步骤进行具体解释说明：
在所述S1中：
所述风机叶片的已知参数包括叶根节圆直径PitchDim、叶片长度BladeLength、叶片最大径向弦长MaxChordLen以及叶片最大径向弦长处至叶根距离MaxChordDis。所述风机叶片数学模型如图2所示，在所述图2中，点P1的纵坐标值代表叶根节圆直径，点P3的横坐标值代表叶片长度，点P2的纵坐标值代表叶片最大径向弦长，点P4的横坐标值代表叶片最大径向弦长处至叶根距离。
无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片的过程中，假设无人机在拍摄任意一帧风机叶片图片时的GPS坐标到在叶根处拍摄第一帧风机叶片图片时的GPS坐标之间在大地坐标系下的空间距离为x；当x∈(0,MaxChordDis]时，叶片径向弦长Chord为该叶片径向弦长落在点P1与点P2之间线段上对应点的y值；当x∈(MaxChordDis,BladeLength]时，叶片径向弦长为该叶片径向弦长落在点P2与点P3之间线段上对应点的y值减去该叶片径向弦长落在点P3与点P4之间线段上对应点的y值。
无人机搭载相机进行拍摄获得风机叶片图片的图片信息中包括无人机的GPS坐标。
在所述S2中：
MaskR-CNN是一个两阶段的检测器，第一个阶段扫描图片生成有可能包含一个目标的区域，第二阶段分类上述区域并生成边界框和掩码。基于MaskR-CNN的深度神经网络模型对叶片上的缺陷进行分类识别。通过大量图片训练不同的缺陷标记，可以准确识别出叶片上不同类别的缺陷。
MaskR-CNN主要由FPN+ResNet组成，增加了RoIAlign模块。整个检测流程是首先输入需要检测和分割的图片。将图片输入CNN特征提取网络得到特征图，对特征图的每一个像素位置设定固定个数的ROI，然后将ROI区域输入RPN网络进行二分类(前景和背景)以及坐标回归，以获得精炼后的ROI区域。对此ROI区域直线ROIAlign操作，即先将原图和特征图的像素对应起来，然后将特征图和固定大小的特征对应起来。最后对这些ROI区域进行多类别分类，候选框回归和引入FCN生成Mask，完成实例分割任务。
在所述S3中：
在所述缺陷风机叶片图片中标定出径向弦长参考线的具体步骤为，
在所述缺陷风机叶片图片中，分别取叶片两条相对边缘线的中点，得到第一方向点和第二方向点，并分别标注出所述第一方向点以及所述第二方向点的图片坐标系坐标；
连接所述第一方向点和所述第二方向点所得到的线段即为所述径向弦长参考线。
若所述风机叶片的表面是为迎风面(PS)或背风面(SS)，在所述缺陷风机叶片图片中，叶片两条相对边缘线分别为叶片前缘所在边缘线以及叶片后缘所在边缘线。在本实施例中，将叶片前缘所在边缘线的中点定义为第一方向点(也叫前缘方向点)，将叶片后缘所在边缘线的中点定义为第二方向点(也叫后缘方向点)；在其他实施例中，两者的定义可以对调。在图片坐标系中，左上角为坐标系原点，水平方向为x轴，向右为x轴正方向；垂直方向为y轴，向下为y轴正方向。图3为风机叶片表面为迎风面或背风面时径向弦长参考线的标定示意图，在图3中，点B为第一方向点，点A为第二方向点。第一方向点的图片坐标系坐标为B(xle,yle)，第二方向点的图片坐标系坐标为A(xte,yte)。
当所述风机叶片的表面为前缘面(LE)或后缘面(TE)时，在所述缺陷风机叶片图片中，叶片两条相对边缘线分别为所述缺陷风机叶片图片中叶片左边缘线的中点以及叶片右边缘线的中点。图4为风机叶片表面为前缘面或后缘面时径向弦长参考线的标定示意图；其中，点M和点N分别为第一方向点和第二方向点。
在所述S3中，计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度的具体方法为，
基于两点之间的距离计算公式，根据所述第一方向点以及所述第二方向点的图片坐标系坐标，计算出所述第一方向点与所述第二方向点之间的距离；
其中，所述第一方向点与所述第二方向点之间的距离即为所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度。
以图3为例，所述第一方向点与所述第二方向点之间的距离dAB具体为
Figure BDA0003893629520000071
在所述S3中，基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的GPS坐标，计算出所述径向弦长参考线在风机叶片中的实际长度的具体步骤为，
获取所述无人机在叶根处拍摄第一帧风机叶片图片时的第一GPS坐标；获取所述无人机在拍摄所述缺陷风机叶片图片时的第二GPS坐标；
计算所述第二GPS坐标到所述第一GPS坐标之间在大地坐标系下的空间距离；
根据所述风机叶片数学模型，计算出所述空间距离对应的径向弦长，则所述空间距离对应的径向弦长即为所述缺陷风机叶片图片的径向弦长参考线在风机叶片中的实际长度。
在得到所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度以及所述径向弦长参考线在风机叶片中的实际长度后即可计算出实际长度和像素长度之间的转换系数，所述转换系数的表达式为：
Figure BDA0003893629520000072
其中，k为所述转换系数，chord为所述径向弦长参考线在风机叶片中的实际长度，所述转换系数的单位为m/pixel。
在所述S4中：
如图3所示，当所述风机叶片的表面为迎风面或背风面时：
在标定完径向弦长参考线后，可得到第一方向点的图片坐标系坐标B(xle,yle)、第二方向点的图片坐标系坐标A(xte,yte)以及线段AB(径向弦长参考线)中点O的图片坐标系坐标O(xmid,ymid)，则线段AB所在直线L1的斜率aAB以及方程为，
Figure BDA0003893629520000081
进一步可以得到线段AB的中垂线L2的斜率aCD以及方程为，
Figure BDA0003893629520000082
中垂线L2与所述缺陷风机叶片图片边界有两个交点，将叶根方向的交点C定义为叶根方向点，将叶尖方向的交点D定义为叶尖方向点，并在所述缺陷风机叶片图片中标注出所述叶根方向点的图片坐标系坐标C(xroot,yroot)和所述叶尖方向点的图片坐标系坐标D(xtip,ytip)。
经缺陷识别，假设缺陷中心点为点E，且缺陷中心点的图片坐标系坐标为E(x0,y0)，过第一方向点B作中垂线L2的平行线L3，将平行线L3作为叶片前缘的边界线，则平行线L3的直线方程为L3:y＝aCD*x+yle-aCD*xle。
根据点到直线距离公式可求得缺陷中心点E到直线L1的距离dy以及缺陷中心点E到平行线L3的距离dx。
将缺陷中心点E和叶根方向点C的横坐标分别代入直线L1的方程，得到side_E＝aAB*x0-y0+ymid-aAB*xmid和side_C＝aAB*xroot-yroot+ymid-aAB*xmid；
若side_E*side_C＜0，则说明缺陷中心点E与叶根方向点C相对于直线L1异侧，则缺陷中心点E至叶根距离的比例为，
Figure BDA0003893629520000083
若side_E*side_C≥0，则说明缺陷中心点E与叶根方向点C相对于直线L1同侧，则缺陷中心点E至叶根距离的比例为，
Figure BDA0003893629520000091
其中，ScaleRoot为缺陷中心点E至叶根距离的比例，GPS_P为所述空间距离，dy为缺陷中心点E到直线L1之间的距离，k为所述转换系数，BladeLength为所述叶片长度。
缺陷中心点E至第一方向点B所在边缘距离的比例为，
Figure BDA0003893629520000092
其中，ScaleFront为所述缺陷中心点E至第一方向点B所在边缘距离的比例，dx为缺陷中心点E到平行线L3之间的距离，dAB为所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；
根据缺陷中心点E至第一方向点B所在边缘距离的比例以及缺陷中心点E至叶根距离的比例，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标，该坐标为二维坐标。
如图4所示，当所述风机叶片的表面为前缘面或后缘面时：
按照在迎风面或背风面中的方法进行同样的径向弦长参考线，径向弦长参考线的端点分别为图4中叶片左边缘线的中点M和叶片右边缘线的中点N，然后作径向弦长参考线MN的中垂线，中垂线与图片边界的两个交点，其中叶根方向点为C(xroot,yroot)，叶尖方向点为D(xtip,ytip)。
在前缘面或后缘面中，缺陷在缺陷风机叶片图片中的径向位置固定，则只需用轴向位置表示，即缺陷至叶根距离。也就是说，在前缘面中，缺陷至前缘距离比例为0；在后缘面中，缺陷至前缘距离比例为1。
在前缘面或后缘面中，缺陷中心点至叶根距离的比例计算方法，与上述迎风面或背风面中，缺陷中心点至叶根距离的比例计算方法相同在此不在赘述。
另外，在所述S2中，基于MaskR-CNN的深度神经网络对所述风机叶片图片组进行缺陷识别得到缺陷风机叶片图片的过程中，还得到所述缺陷风机叶片图片中缺陷的最小外接矩形以及所述最小外接矩形的长和宽；
所述的风机叶片缺陷定位方法还包括以下步骤，
S5，根据所述转换系数以及所述最小外接矩形的长和宽计算出所述缺陷风机叶片图片中的缺陷在所述风机叶片中的实际尺寸。
其中，最小外接矩形的长为w，宽为h，面积为area＝w*h；那么，缺陷在所述风机叶片中实际尺寸的长为k*w，宽为k*h，面积为k2*area。
基于上述一种风机叶片缺陷定位方法，本发明还提供一种风机叶片缺陷定位系统。
如图5所示，一种风机叶片缺陷定位系统，用于实现上述所述的风机叶片缺陷定位方法，包括如下模块，
模型构建及图片拍摄模块，其用于根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
缺陷识别模块，其用于基于MaskR-CNN的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
转换系数计算模块，其用于在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的GPS坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
缺陷定位模块，其用于基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
在本发明一种风机叶片缺陷定位系统中，各模块的具体功能参见上述风机叶片缺陷定位方法中的各步骤，在此不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种风机叶片缺陷定位方法，其特征在于：包括以下步骤，
S1，根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
S2，基于MaskR-CNN的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
S3，在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的GPS坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
S4，基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
2.根据权利要求1所述的风机叶片缺陷定位方法，其特征在于：在所述S1中，所述风机叶片的已知参数包括叶根节圆直径、叶片长度、叶片最大径向弦长以及叶片最大径向弦长处至叶根距离。
3.根据权利要求1所述的风机叶片缺陷定位方法，其特征在于：所述S3中，在所述缺陷风机叶片图片中标定出径向弦长参考线的具体步骤为，
在所述缺陷风机叶片图片中，分别取叶片两条相对边缘线的中点，得到第一方向点和第二方向点，并分别标注出所述第一方向点以及所述第二方向点的图片坐标系坐标；
连接所述第一方向点和所述第二方向点所得到的线段即为所述径向弦长参考线。
4.根据权利要求3所述的风机叶片缺陷定位方法，其特征在于：在所述S3中，计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度的具体方法为，
基于两点之间的距离计算公式，根据所述第一方向点以及所述第二方向点的图片坐标系坐标，计算出所述第一方向点与所述第二方向点之间的距离；
其中，所述第一方向点与所述第二方向点之间的距离即为所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度。
5.根据权利要求3所述的风机叶片缺陷定位方法，其特征在于：在所述S3中，基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的GPS坐标，计算出所述径向弦长参考线在风机叶片中的实际长度的具体步骤为，
获取所述无人机在叶根处拍摄第一帧风机叶片图片时的第一GPS坐标；获取所述无人机在拍摄所述缺陷风机叶片图片时的第二GPS坐标；
计算所述第二GPS坐标到所述第一GPS坐标之间在大地坐标系下的空间距离；
根据所述风机叶片数学模型，计算出所述空间距离对应的径向弦长，则所述空间距离对应的径向弦长即为所述缺陷风机叶片图片的径向弦长参考线在风机叶片中的实际长度。
6.根据权利要求5所述的风机叶片缺陷定位方法，其特征在于：所述S4具体为，
S41，判断所述风机叶片的表面是为迎风面或背风面，还是为前缘面或后缘面；当所述风机叶片的表面为迎风面或背风面时，执行S42、S43和S44；当所述风机叶片的表面为前缘面或后缘面时，执行S42和S45；
S42，在所述缺陷风机叶片图片中计算出所述缺陷中心点到所述径向弦长参考线之间的距离；根据叶片长度、所述空间距离、所述转换系数以及所述缺陷中心点到所述径向弦长参考线之间的距离，计算出所述缺陷中心点至叶根距离的比例；
S43，在所述缺陷风机叶片图片中，过所述径向弦长参考线的中点作所述径向弦长参考线的中垂线，并过所述第一方向点作所述中垂线的平行线，且计算出所述缺陷中心点到所述平行线之间的距离；根据所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度以及所述缺陷中心点到所述平行线之间的距离，计算出所述缺陷中心点至所述第一方向点所在边缘距离的比例；
S44，根据所述缺陷中心点至所述第一方向点所在边缘距离的比例以及所述缺陷中心点至叶根距离的比例，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点坐标；
S45，根据所述缺陷中心点至叶根距离的比例，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点坐标。
7.根据权利要求6所述的风机叶片缺陷定位方法，其特征在于：所述S42具体为，
在所述缺陷风机叶片图片中，根据所述缺陷中心点、所述第一方向点以及所述第二方向点的图片坐标系坐标，计算出所述缺陷中心点到所述径向弦长参考线之间的距离；
在所述缺陷风机叶片图片中，将所述中垂线与所述缺陷风机叶片图片边界在叶根方向上的交点定义为叶根方向点；
当所述缺陷中心点与所述叶根方向点相对于所述径向弦长参考线异侧时，则所述缺陷中心点至叶根距离的比例为，
Figure FDA0004174354210000041
当所述缺陷中心点与所述叶根方向点相对于所述径向弦长参考线同侧时，所述缺陷中心点至叶根距离的比例为，
Figure FDA0004174354210000042
其中，ScaleRoot为所述缺陷中心点至叶根距离的比例，GPS_P为所述空间距离，dy为所述缺陷中心点到所述径向弦长参考线之间的距离，k为所述转换系数，BladeLength为所述叶片长度。
8.根据权利要求6所述的风机叶片缺陷定位方法，其特征在于：当所述风机叶片的表面为迎风面或背风面时，所述缺陷中心点至所述第一方向点所在边缘距离的比例为，
Figure FDA0004174354210000043
其中，ScaleFront为所述缺陷中心点至所述第一方向点所在边缘距离的比例，dx为所述缺陷中心点到所述平行线之间的距离，dAB为所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；
当所述风机叶片的表面为前缘面或后缘面时，所述缺陷中心点至所述第一方向点所在边缘距离的比例为1或0。
9.根据权利要求1至8任一项所述的风机叶片缺陷定位方法，其特征在于：在所述S2中，基于MaskR-CNN的深度神经网络对所述风机叶片图片组进行缺陷识别得到缺陷风机叶片图片的过程中，还得到所述缺陷风机叶片图片中缺陷的最小外接矩形以及所述最小外接矩形的长和宽；
所述的风机叶片缺陷定位方法还包括以下步骤，
S5，根据所述转换系数以及所述最小外接矩形的长和宽计算出所述缺陷风机叶片图片中的缺陷在所述风机叶片中的实际尺寸。
10.一种风机叶片缺陷定位系统，其特征在于：用于实现如权利要求1至9任一项所述的风机叶片缺陷定位方法，包括如下模块，
模型构建及图片拍摄模块，其用于根据风机叶片的已知参数构建风机叶片数学模型；利用搭载有相机的无人机沿着风机叶片的表面在叶根到叶尖之间飞行拍摄一组风机叶片图片，得到风机叶片图片组；
缺陷识别模块，其用于基于MaskR-CNN的深度神经网络对所述风机叶片图片组进行缺陷识别，得到缺陷风机叶片图片以及所述缺陷风机叶片图片中缺陷中心点的图片坐标系坐标；其中，所述缺陷风机叶片图片为所述风机叶片图片组中具有缺陷的风机叶片图片；
转换系数计算模块，其用于在所述缺陷风机叶片图片中标定出径向弦长参考线，并计算出所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度；基于所述风机叶片数学模型，根据所述无人机在拍摄过程中的GPS坐标，计算出所述径向弦长参考线在风机叶片中的实际长度；将所述径向弦长参考线在风机叶片中的实际长度与所述径向弦长参考线在所述缺陷风机叶片图片中的像素长度作比例计算，得到实际长度和像素长度之间的转换系数；
缺陷定位模块，其用于基于所述径向弦长参考线，根据缺陷中心点的图片坐标系坐标以及所述转换系数，在所述风机叶片数学模型中标注出所述缺陷风机叶片图片中缺陷中心点的坐标。
CN202211267434.9A 2022-10-17 2022-10-17 一种风机叶片缺陷定位方法及系统 Active CN115564740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211267434.9A CN115564740B (zh) 2022-10-17 2022-10-17 一种风机叶片缺陷定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211267434.9A CN115564740B (zh) 2022-10-17 2022-10-17 一种风机叶片缺陷定位方法及系统

Publications (2)

Publication Number Publication Date
CN115564740A CN115564740A (zh) 2023-01-03
CN115564740B true CN115564740B (zh) 2023-06-20

Family

ID=84747112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211267434.9A Active CN115564740B (zh) 2022-10-17 2022-10-17 一种风机叶片缺陷定位方法及系统

Country Status (1)

Country Link
CN (1) CN115564740B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461210A (zh) * 2020-03-31 2020-07-28 天津智惠未来科技有限责任公司 一种基于无人机风电巡检叶片缺陷等级判定方法
CN112233091A (zh) * 2020-10-15 2021-01-15 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
WO2022171624A1 (en) * 2021-02-09 2022-08-18 Lm Wind Power A/S System and method for inspection of a wind turbine blade shell part

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015106366B4 (de) * 2015-04-24 2019-05-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung einer Position von Fehlstellen oder Schädigungen an Rotorblättern einer Windkraftanlage in eingebautem Zustand
CN106762451B (zh) * 2016-12-05 2018-10-23 北京金风科创风电设备有限公司 基于无人机的风机叶片损伤检测方法、装置及系统
KR102386221B1 (ko) * 2018-03-15 2022-04-13 (주)니어스랩 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법
EP3605453A1 (en) * 2018-08-03 2020-02-05 Siemens Gamesa Renewable Energy GmbH & Co. KG Convolutional neural network based inspection of blade-defects of a wind turbine
CN109900713B (zh) * 2019-04-17 2022-01-18 中国人民解放军国防科技大学 摄像引导的无人机风电叶片缺陷动态检测系统及其方法
CN114020033A (zh) * 2021-11-25 2022-02-08 苏州热工研究院有限公司 一种基于风力发电机组叶片的无人机检测系统及方法
CN114529817A (zh) * 2022-02-21 2022-05-24 东南大学 基于注意力神经网络的无人机光伏故障诊断及定位方法
CN114965483A (zh) * 2022-05-23 2022-08-30 中国空气动力研究与发展中心超高速空气动力研究所 一种航天器多类型复杂缺陷的量化评估方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461210A (zh) * 2020-03-31 2020-07-28 天津智惠未来科技有限责任公司 一种基于无人机风电巡检叶片缺陷等级判定方法
CN112233091A (zh) * 2020-10-15 2021-01-15 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
WO2022171624A1 (en) * 2021-02-09 2022-08-18 Lm Wind Power A/S System and method for inspection of a wind turbine blade shell part

Also Published As

Publication number Publication date
CN115564740A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN113744270B (zh) 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
EP3196853A1 (en) Machine vision-based method and system for aircraft docking guidance and aircraft type identification
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN115546170B (zh) 一种基于激光测距的风机叶片缺陷定位方法及系统
CN102842034B (zh) 一种激光扫描与自动识别雕刻字符的装置及识别方法
CN112085024A (zh) 一种罐表面字符识别方法
CN110910350A (zh) 一种用于风电塔筒的螺母松动检测方法
CN111091544A (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN110889827A (zh) 一种基于视觉的输电线路杆塔在线识别和倾斜检测方法
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
CN112330592A (zh) 风机叶片缺陷检测方法和装置、存储介质
CN113822844A (zh) 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质
CN111444916A (zh) 面向无约束条件下的车牌定位及识别方法、系统
CN113962929A (zh) 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线
CN115564740B (zh) 一种风机叶片缺陷定位方法及系统
CN112686872A (zh) 基于深度学习的木材计数方法
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置
CN111597939A (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN116739986A (zh) Auv在输水隧洞内对典型缺陷检测的光学声学组合方法
CN112257514B (zh) 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN113971799A (zh) 一种车辆铭牌信息位置检测方法和系统
CN114037822A (zh) 一种行驶证检测方法和系统
CN113591548A (zh) 靶环识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system for locating defects in fan blades

Granted publication date: 20230620

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: WINDMAGICS (WUHAN) CO.,LTD.

Registration number: Y2024980009864

PE01 Entry into force of the registration of the contract for pledge of patent right