CN110261394B - 在线风机叶片损伤实时诊断系统和方法 - Google Patents

在线风机叶片损伤实时诊断系统和方法 Download PDF

Info

Publication number
CN110261394B
CN110261394B CN201910551222.5A CN201910551222A CN110261394B CN 110261394 B CN110261394 B CN 110261394B CN 201910551222 A CN201910551222 A CN 201910551222A CN 110261394 B CN110261394 B CN 110261394B
Authority
CN
China
Prior art keywords
classification
damage
aerial vehicle
unmanned aerial
fan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910551222.5A
Other languages
English (en)
Other versions
CN110261394A (zh
Inventor
董朝轶
赵肖懿
陈晓艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN201910551222.5A priority Critical patent/CN110261394B/zh
Publication of CN110261394A publication Critical patent/CN110261394A/zh
Priority to US16/903,037 priority patent/US11514567B2/en
Application granted granted Critical
Publication of CN110261394B publication Critical patent/CN110261394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/70Wind energy
    • Y02E10/72Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

提出了一种在线风机叶片损伤实时诊断系统和方法,属于风机叶片损伤诊断技术领域,所述系统包括四旋翼无人机、云数据库以及计算机系统;所述四旋翼无人机实时捕捉风机叶片图像并实时传递至所述计算机系统;所述云数据库存储有用于VGG‑19net图像分类方法的图像库,所述云数据库中存储的图像库中的图像从网络动态捕获;所述计算机系统用于通过所述图像库训练得到改进的VGG‑19net图像分类方法,并使用所述改进的VGG‑19net图像分类方法对接收的来自四旋翼无人机的风机叶片图像进行分类,得到风机叶片损伤诊断分类、损伤等级划分结果。

Description

在线风机叶片损伤实时诊断系统和方法
技术领域
本发明涉及风机叶片损伤诊断领域,尤其涉及一种在线风机叶片损伤实时诊断系统和方法。
背景技术
现有技术中存在多种风机叶片故障诊断方案,但现存的各方案都存在一定缺点。发明专利申请CN107144569A提出了基于选择性搜索分割和深度卷积神经网络为特征提取器的SVM分类算法的风机叶片故障诊断方法。首先,其将待检测的图像进行选择性搜索分割获得候选区域;然后,通过ImageNet图像集训练深度卷积神经网络,并提取除输出层外的网络结构作为特征提取器;最后,将提取的风机叶片图像的特征用作训练SVM分类器,完成故障诊断任务。其存在以下缺陷:对于风机叶片图像的故障诊断算法,该方法提出利用Imagenet图像作为训练数据,以确定深度卷积网络结构参数,该固化网络结构参数的方法,不能说明该网络结构性能达到最优。发明专利申请CN104215640A提出了一种基于无人直升机的风电叶片缺陷损伤检查方法及检查系统。通过在小型无人直升机上设置光、热、声信号采集装置,操纵无人直升机接近风电场风机塔上的叶片,采集叶片的光、热、声信号,记录或传回信号,供地面工作人员分析叶片状态,完成风机故障检测任务。其存在以下缺陷:该方法提出利用无人直升机搭载光、热、声信号采集装置,针对风机叶片进行数据采集,无人直升机在风力较大的环境执行数据采集任务并非十分稳定,且其结构复杂,运行时振动和噪声较高、维护检修工作量较大、使用成本较高,续航能力差,可见并不完全适合该任务。发明专利申请CN109741320A提出了一种基于航拍图像的风电叶片故障检测方法,通过无人机采集风机叶片图像,基于增强的图像构建风电叶片三维可视化模型,采用差分发法将原有的含缺陷的图像与重构的图像相减得到其主成分的残差信息并进行逆变换,运用Alexnet对缺陷的叶片图像完成剥落、裂纹、沙眼等类别的分类,并利用深度网络分级模型,根据缺陷损坏程度划分为不同的缺陷等级。其存在以下缺陷:该风电叶片故障检测方法中,运用Alexnet基于图像对风机叶片损伤进行分类,而Alexnet分类方法是结构较为简单的分类方法,而且该方法仅对叶片涂层剥落、裂纹、沙眼等三种损伤进行检测,且损伤等级结果精度不高。
发明内容
根据本发明的一个方面,提出了一种在线风机叶片损伤实时诊断系统,所述系统包括四旋翼无人机、云数据库以及计算机系统;所述四旋翼无人机实时捕捉风机叶片图像并实时传递至所述计算机系统;所述云数据库存储有用于VGG-19net图像分类方法的图像库,所述云数据库中存储的图像库中的图像从网络动态捕获;所述计算机系统用于通过所述图像库训练得到改进的VGG-19net图像分类方法,并使用所述改进的VGG-19net图像分类方法对接收的来自四旋翼无人机的风机叶片图像进行分类,得到风机叶片损伤诊断、损伤等级划分结果。
根据本发明的一个方面,所述四旋翼无人机包括位于机身上的用于四周避障的一个或多个测距传感器、用于与计算机系统通信的无线信号发射器以及捕捉图像的云台。
根据本发明的一个方面,所述四旋翼无人机根据风机所处的工况采取不同的巡航路径采集风机叶片图像。
根据本发明的一个方面,当风机在弱风期停工检修时,无人机距离风叶第一间距,无人机从巡检起点到巡检终点的巡检路线为绕三个风机叶片一周;当风机在日常慢速转动时,无人机距离风叶第一间距,无人机从风机三个叶片的交点处出发,沿第一叶片的长度方向巡航,随后巡航至第二叶片的离心端,从第二叶片的离心端沿第二叶片的长度方向巡航至所述交点,最后从所述交点处沿第三叶片的长度方向巡航,直到第三叶片的离心端;当风机在盛风期风机叶片转速较快时,无人机距离风叶第二间距,无人机仅在风机叶片长度方向上的两个采样点间往复运动;其中,第二间距大于第一间距,且根据无人机距离风叶的距离设置采样点的数量,以确保能够采集风机叶片的全部图像。
根据本发明的一个方面,所述云数据库通过Python爬虫获取指定网址或全网的风机叶片表面图像进行存储。
根据本发明的一个方面,所述计算机系统将所述四旋翼无人机定期捕获的风机叶片图像上传至所述指定网址以由所述Python爬虫获取并更新所述云数据库。
根据本发明的一个方面,所述改进的VGG-19net图像分类方法中,采用LeakyReLU功能子层替换VGG-19net中原有的ReLU功能子层完成算法改进,并对分类层进行结构重构。
根据本发明的一个方面,所述重构的分类层中,损伤诊断分类包括背景类、无损伤类、伪损伤类、砂眼类、裂纹类、麻面类、涂层脱落类、涂层修复类、边缘腐蚀类、混合损伤类、表面渗水类,损伤等级包括轻度损伤、中度损伤、重度损伤。
根据本发明的一个方面,还提出了一种在线风机叶片损伤实时诊断方法,所述方法包括:四旋翼无人机采集风机叶片图像并将采集的图像传递至计算机系统;计算机系统利用云数据库提供的动态更新的图像库训练改进的VGG-19net图像分类方法中的VGG-19net模型;计算机系统接收所述采集的图像,利用VGG-19net图像分类方法对图像进行分类;计算机系统根据图像分类结果输出叶片损伤情况。
本方案采用四旋翼无人机,其抗风能力较强,低能耗、高功效、基本垂直起降、不易受环境因素影响等特点,比无人直升机四旋翼无人机更适合采集风机叶片数据。本方案还提出了将风机叶片数据采集并保存和传输到地面分析站后,诊断其损伤类别的分类方法,基于深度卷积网络VGG-19net进行改进,VGG-19net是性能较优的分类算法,并获得2014年度Imagenet大规模视觉识别挑战赛(Large Scale Visual Recognition Challenge,ILSVRC)冠军,其网络结构参数是在一定的理论基础上固化的,改进的方法在此基础上只增加一个参数,可以通过逐次修改该参数实验的方法来确定所改进的分类算法最优结构,并对其进行损伤分级,建立人机交互界面,实现风机叶片表面损伤一键式诊断。由此可见,本发明的创新点包括:设计了用于采集风机叶片图像的无人机所需搭载的功能模块;根据风机的运行情况,规划了多种无人机巡航路径,设计了多种图像采集方案;采用改进的VGG-19net对风机叶片常发的多种损伤进行自动诊断;利用Python爬虫获取网页中最新的风机叶片图像,并将其列入训练集中,用于训练改进的VGG-19net分类器,提高分类器的泛化能力;建立了人机交互界面,构成较为完整的在线风机叶片损伤诊断系统。
附图说明
图1示出了四旋翼无人机的侧视图;
图2示出了四旋翼无人机的俯视图;
图3示出了无人机与风机叶片的第一间距示意图;
图4示出了风机停机检修状态下无人机的巡航示意图;
图5示出了风机慢速转动的示意图;
图6示出了风机慢速转动状态下无人机的巡航示意图;
图7示出了风机快速转动状态下无人机与风机叶片的第二间距示意图;
图8示出了风机快速转动状态下无人机的巡航示意图;
图9a和图9b分别示出了LeakyReLU与ReLU的激活函数模型示意图;
图10示出了改进重构的VGG-19net分类方法的结构示意图;
图11示出了网络爬虫获取数据的示意图;
图12示出了计算机系统中风机叶片损伤诊断系统的GUI示意图;
图13示出了本发明提出的在线风机叶片损伤实时诊断系统的整体连接示意图;
图14示出了在线风机叶片损伤实时诊断方法的各步骤示意图。
具体实施方式
图1-2示出了本发明所使用的四旋翼无人机的示意图。
如图1、2所示,所述四旋翼无人机包括位于机身上的一个或多个向下测距传感器101、向上测距传感器104、向左测距传感器105、向右测距传感器106、向前测距传感器102、向后测距传感器103、无线信号发射器107、开关108以及云台100。其中,四个向下测距传感器安装在无人机的下方,用于下方避障,降落缓冲;四个向上测距传感器安置在四旋翼无人机的上方,用于当云台俯倾巡检拍摄时,对上方进行避障;无人机的前、后、左、右各装置一个测距传感器,分别为向前测距传感器、向后测距传感器、向左测距传感器、向右测距传感器,也均用于避障。所述无线信号发射器用于云台巡检实时回传,向地面诊断系统回传所采集的图像。
图3-8示出了无人机在风机不同转速下与风机的距离、采样点及巡航路径的示意图。本发明通过四旋翼无人机对在不同工况下的风机叶片进行图像采样,以无人机巡航的方式,全面、准确地捕获风机叶片表面损伤图像,并实时传输至地面工作区。
图3和图4示出了在风机弱风期停工检修时无人机的巡航路径及图像采集方法。
如图3、4所示,风机在弱风期停工检修时,在一个实施例中,无人机距离风叶的距离为8米,由于其能够至少可以采集到长为15米、宽为10米的风机叶片表面图像,在风机叶片的长度为25米、宽度一般不会超过5米的情况下,每个风叶设置两个图像采样点,可确保叶片该翼面均纳入图像中。
在图4的示例中展示了无人机在风机弱风期停工检修时围绕风机拍摄图像的巡检路线。如图4所示,其从巡检起点到巡检终点的巡检路线整体上绕三枚风机叶片一周,每个风机叶片一侧均具有两个图像采样点。
图5、6示出了无人机在风机日常慢速转动时其采样点及巡航路径的示意图。
当风机如图5所示慢速转动时,四旋翼无人机如图6所述进行图像采样。无人机从风机三个叶片的交点处出发(巡航起点),沿第一叶片的长度方向巡航,在第一叶片上设置两个图像采样点,随后巡航至第二叶片的离心端(即第二叶片远离三叶片交点的一端),从第二叶片的离心端沿第二叶片的长度方向巡航至所述交点,在该过程中同样设置两个图像采样点,最后从所述交点处沿第三叶片的长度方向巡航,直到第三叶片的离心端,该过程同样设置两个图像采样点。由此完成所有叶片的图像采集工作。
与图3、4相比,当风机在转动时,无人机由于要随着风机叶片同样进行转动,因此难以绕三个叶片均一周,因此其采样点相对于停工检修时数量减少一半。但是,其与风叶的距离可以与图3、4的工况相同,因为慢速转动时风速较小,不会影响无人机的工作稳定性。
图7、8示出了无人机在盛风期风机叶片转速较快时的采样方法和巡航路径。
如图7所示,当风机叶片转速较快时,无人机距离叶片旋转平面需加大一定距离,防止风机叶片旋转带动周围气体流速影响四旋翼无人机系统工作稳定性,在一个实施例中,该距离为10-15米。
此外,由于风机叶片转速较快,无人机难以追随叶片同速率转动,因此,在图8所示的图像采样点和巡航路径中,无人机仅在风机叶片长度方向上的两个采样点间往复运动,在图8的实施例中,其在风机叶片交点垂直于地面的方向上的两个采样点间往复运动,对经过采样点的三个风机叶片进行分别采样。
如上文所述的无人机图像采样系统和方法,能够根据不同工况采用合理的间距和巡航路径及采样点进行图像采样,尽可能地保障了图像采样的完备性和准确性,还保证了设备安全和运行稳定性。
当无人机通过云台上的摄像机对风机叶片的图像进行收集后,将图像传输至计算机系统,计算机系统对所述图像中的叶片损伤进行判断,输出最终的损伤分类结果。
在所述计算机系统中,采用改进的VGG-19net方法对图像进行分类,从而确定叶片的具体损伤。
与卷积神经网络相同,其简化图像预处理步骤,运用卷积核对图像自动进行特征提取,无需人工设定提取的特征,排除人为客观因素对该分类算法的影响。VGG-19net是现有的分类算法,它优于传统的卷积神经网络,是因为它引入了ReLU激活功能子层和Dropout功能子层,ReLU激活函数使得VGG-19net具有仿生非线性映射功能,模拟大脑神经元稀疏态连接,完成图像特征的非线性映射;Dropout子层,随机隐匿神经元的权值和链接权重,在训练过程中使得VGG-19net获得较强的联合适应能力、较强的泛化能力,在测试过程中,使得VGG-19net卷积层以及全连接的特征呈稀疏态传递映射,避免出现梯度分散、梯度消失等状况。
本诊断系统对其激活函数进行了改进,虽然ReLU作为激活函数,其可使网络神经元稀疏态激活,缓解了梯度发散、梯度消失、网络参数过拟合等状况。但是,ReLU作为激活函数,会导致部分神经元可能永远不会被激活,其相应的参数永远不能被更新,即死区问题(Dead ReLU Problem)。所以,为了解决这类问题,本申请用LeakyReLU功能子层替换VGG-19net中原有的ReLU功能子层,LeakyReLU与ReLU不同的是其令小于0的输入值乘以一个很小的斜率,作为该神经元的权值,从而解决这类死区问题。图9a和图9b分别示出了LeakyReLU与ReLU的激活函数模型示意图。
此外,本诊断系统对VGG-19net方法的分类层进行了重构。由于VGG-19net的分类层设置分类类别为1000类,所以,为了使VGG-19net更能适应风机叶片表面损伤诊断,需重构分类层,重新设置分类层类别数,损伤诊断设置为11类,分别为背景类、无损伤类、伪损伤类、砂眼类、裂纹类、麻面类、涂层脱落类、涂层修复类、边缘腐蚀类、混合损伤类、表面渗水类;损伤等级划分设置为3类,分别为轻度损伤、中度损伤、重度损伤。图10示出了改进重构的VGG-19net分类方法的结构示意图。
本发明提出的诊断损伤分别为背景类、无损伤类、伪损伤类、砂眼类、裂纹类、麻面类、涂层脱落类、涂层修复类、边缘腐蚀类、混合损伤类、表面渗水类等11类,其中,背景类包括天空背景、草地背景;无损伤类是指不存在损伤的叶片图像等;伪损伤类包括红色箭头(标识发电运行方向)、排水孔、蓝色三角形(标识发电运行方向);砂眼类是指只存在椭圆形的损伤(砂眼、砂坑);裂纹类主要是指只存在呈长条状的损伤(划痕、裂纹);麻面类是指由密集的砂眼类损伤广泛分布构成损伤;涂层脱落类损伤是指图像中叶片表面涂层发生脱落的情况;涂层修复类是指涂层存在修复痕迹的情况;边缘腐蚀类损伤是指叶片边缘存在腐蚀甚至开裂损伤的图像;混合损伤类是指图像中叶片包含损伤的形状和类型具有多样性的情况;表面渗水类损伤是指图像中叶片存在浸水的情况。
损伤等级划分为三级,包括轻度损伤、中度损伤和重度损伤,其中,轻度损伤是指叶片存在单个或小面积的损伤,且较为浅显(表面)程度的损伤;中度损伤是指分布广且较浅的损伤;重度损伤是指密集且较深、较严重的损伤。
VGG-19net分类方法的训练需要图像数据库的支撑,从中提取出训练图像数据集和测试图像数据集,本发明采用了云数据库的训练方法,提高VGG-19net分类方法的准确性。
如图11所示,如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛,沿着网络抓取自己的猎物(数据),爬虫指的是:向网站发起请求,获取资源后分析并提取有用数据的程序;Python是一种编程语言,其具有简洁清晰的语法和强制使用空白符进行语句缩进等特点,适用于多版本软件平台,均可实现爬虫功能。
所述云数据库的形成方法为:
建立具有交互功能的Python爬虫;
通过Python爬虫获取指定网址,或全网的风机叶片表面图像并创建云数据库。
这样,可得VGG-19net具备更好的泛化能力。
如上文所述,本发明采用改进的VGG-19net深度卷积分类方法,以图像作为输入,进行训练或测试,假设神经网络的输入为X={x1,x2,x3……xi},输出为Y(y1、y2、y3、y4……ym),输入X和输出Y是存在某种对应关系的,训练是指向网络输入足够多的X和Y样本,利用输入输出的对应关系,调整神经网络神经元的权值和链接权使其可适当拟合输入X和输出Y的非线性映射关系。测试则是指验证该神经网络对该问题的拟合程度。
以BP神经网络、VGG-19net和改进的VGG-19net三种方法进行对比,实验结果表明,本申请中改进的VGG-19net的分类效果最优,对于损伤诊断任务,其诊断率可达96%以上,对于损伤等级划分任务,其诊断准确率可达95%以上。
此外,在上文所述的计算机系统中,可基于MATLAB中GUI模块建立人机交互界面,该界面包含3个坐标图像显示单元和7个按钮,分别为图像选择按钮、损伤诊断按钮、等级划分按钮、加入训练样本集按钮、训练分类器按钮、复位按钮、退出系统按钮,如图12所示。
图13示出了在线风机叶片损伤实时诊断系统的整体结构示意图,其中云数据库与计算机系统、无人机与计算机系统之间具有可通信的连接。图14示出了在线风机叶片损伤实时诊断方法的各步骤示意图。
本发明实现了在线风机叶片表面损伤诊断检测。基于无人机巡检方式捕获风机叶片表面损伤图像,运用改进ReLU子层、重构分类层的VGG-19net对风机叶片表面损伤进行诊断,深度卷积神经网络可实现图像特征自动提取;LeakyReLU激活函数使得VGG-19net具有仿生非线性映射功能,模拟大脑神经元稀疏态连接,完成图像特征的非线性映射;并运用Python爬虫获取最新的风机叶片表面图像进行数据库更新,使得我们建立的VGG-19net分类模型更具泛化能力,可有效保证诊断的准确率。在一个实施例中,将某风电厂风机叶片表面定期巡检拍摄的图片更新于某指定网址,运用交互的Python爬虫获取该网址的图片,便可建立该厂风机叶片数据库,进行训练可提高VGG-19net模型的泛化能力和诊断准确率;进行诊断,可获得该厂的风机诊断报告,可针对某一型号风机易发生故障位置进行重点巡查,也可联系厂家对风机叶片易发生故障位置进行重新设计,弥补叶片生产的不足之处。
由此可见,本发明的优点为:实现风机叶片表面较为全面、细致的勘察;实现风机叶片表面损伤准确的诊断,以及损伤等级划分,改进并重构分类层的VGG-19net模型对于损伤诊断、损伤等级划分的准确率可达96%以上。使得风电生产现场的非专业工作人员也可完成风机叶片表面损伤诊断工作;实现数据库更新,利用交互的Python爬虫,对指定网址甚至全网最新的风机叶片表面图像进行收集,并添加到训练VGG-19net的数据库中,使得训练的模型更具泛化能力。建立了友好的人机交互界面,使非技术人员也可从事风机叶片表面损伤诊断工作。
本发明的上述实施例仅为对本发明技术方案的具体说明,并不意图限定本申请要求保护的范围。本领域技术人员可在不脱离本申请主旨的前提下对上述实施例进行适应性修改,所述修改同样落入本申请的保护范围之内。

Claims (6)

1.一种在线风机叶片损伤实时诊断系统,其特征在于:
所述系统包括四旋翼无人机、云数据库以及计算机系统;
所述四旋翼无人机实时捕捉风机叶片图像并实时传递至所述计算机系统;
所述云数据库存储有用于VGG-19net图像分类方法的图像库,所述云数据库中存储的图像库中的图像从网络动态捕获,所述云数据库通过Python爬虫获取指定网址或全网的风机叶片表面图像进行存储,所述计算机系统将所述四旋翼无人机定期捕获的风机叶片图像上传至所述指定网址以由所述Python爬虫获取并更新所述云数据库;
所述计算机系统用于通过所述图像库训练得到改进的VGG-19net图像分类方法,并使用所述改进的VGG-19net图像分类方法对接收的来自四旋翼无人机的风机叶片图像进行分类,得到风机叶片损伤诊断、损伤等级划分结果;
所述改进的VGG-19net图像分类方法中,采用LeakyReLU功能子层替换VGG-19net中原有的ReLU功能子层完成方法改进,并对分类层进行结构重构;
所述四旋翼无人机根据风机所处的工况采取不同的巡航路径采集风机叶片图像;
当风机在弱风期停工检修时,无人机距离风叶第一间距,无人机从巡检起点到巡检终点的巡检路线为绕三个风机叶片一周;
当风机在日常慢速转动时,无人机距离风叶第一间距,无人机从风机三个叶片的交点处出发,沿第一叶片的长度方向巡航,随后巡航至第二叶片的离心端,从第二叶片的离心端沿第二叶片的长度方向巡航至所述交点,最后从所述交点处沿第三叶片的长度方向巡航,直到第三叶片的离心端;
当风机在盛风期风机叶片转速较快时,无人机距离风叶第二间距,无人机仅在风机叶片长度方向上的两个采样点间往复运动;
其中,第二间距大于第一间距,且根据无人机距离风叶的距离设置采样点的数量,以确保能够采集风机叶片的全部图像。
2.根据权利要求1所述的系统,其特征在于:
所述四旋翼无人机包括位于机身上的用于四周避障的一个或多个测距传感器、用于与计算机系统通信的无线信号发射器以及捕捉图像的云台。
3.根据权利要求1所述的系统,其特征在于:
所述重构的分类层中,损伤诊断分类包括背景类、无损伤类、伪损伤类、砂眼类、裂纹类、麻面类、涂层脱落类、涂层修复类、边缘腐蚀类、混合损伤类、表面渗水类,损伤等级包括轻度损伤、中度损伤、重度损伤。
4.一种在线风机叶片损伤实时诊断方法,其特征在于,所述方法包括:
四旋翼无人机采集风机叶片图像并将采集的图像传递至计算机系统;
计算机系统利用云数据库提供的动态更新的训练和测试图像库训练改进的VGG-19net图像分类方法中的VGG-19net模型,通过Python爬虫获取指定网址或全网的风机叶片表面图像进行创建所述云数据库,所述计算机系统将所述四旋翼无人机定期捕获的风机叶片图像上传至所述指定网址以由所述Python爬虫获取并更新所述云数据库;
计算机系统接收所述采集的图像,利用VGG-19net图像分类方法对图像进行分类;
计算机系统根据图像分类结果输出叶片损伤情况;
所述改进的VGG-19net图像分类方法中,采用LeakyReLU功能子层替换VGG-19net中原有的ReLU功能子层完成方法改进,并对分类层进行结构重构;
所述四旋翼无人机根据风机所处的工况采取不同的巡航路径采集风机叶片图像;
当风机在弱风期停工检修时,无人机距离风叶第一间距,无人机从巡检起点到巡检终点的巡检路线为绕三个风机叶片一周;
当风机在日常慢速转动时,无人机距离风叶第一间距,无人机从风机三个叶片的交点处出发,沿第一叶片的长度方向巡航,随后巡航至第二叶片的离心端,从第二叶片的离心端沿第二叶片的长度方向巡航至所述交点,最后从所述交点处沿第三叶片的长度方向巡航,直到第三叶片的离心端;
当风机在盛风期风机叶片转速较快时,无人机距离风叶第二间距,无人机仅在风机叶片长度方向上的两个采样点间往复运动;
其中,第二间距大于第一间距,且根据无人机距离风叶的距离设置采样点的数量,以确保能够采集风机叶片的全部图像。
5.根据权利要求4所述的方法,其特征在于:
所述计算机系统将所述四旋翼无人机定期捕获的风机叶片图像上传至所述指定网址以由所述Python爬虫获取并更新所述云数据库。
6.根据权利要求4所述的方法,其特征在于:
所述重构的分类层中,损伤诊断分类包括背景类、无损伤类、伪损伤类、砂眼类、裂纹类、麻面类、涂层脱落类、涂层修复类、边缘腐蚀类、混合损伤类、表面渗水类,损伤等级包括轻度损伤、中度损伤、重度损伤。
CN201910551222.5A 2019-06-24 2019-06-24 在线风机叶片损伤实时诊断系统和方法 Active CN110261394B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910551222.5A CN110261394B (zh) 2019-06-24 2019-06-24 在线风机叶片损伤实时诊断系统和方法
US16/903,037 US11514567B2 (en) 2019-06-24 2020-06-16 On-line real-time diagnosis system and method for wind turbine blade (WTB) damage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910551222.5A CN110261394B (zh) 2019-06-24 2019-06-24 在线风机叶片损伤实时诊断系统和方法

Publications (2)

Publication Number Publication Date
CN110261394A CN110261394A (zh) 2019-09-20
CN110261394B true CN110261394B (zh) 2022-09-16

Family

ID=67921082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910551222.5A Active CN110261394B (zh) 2019-06-24 2019-06-24 在线风机叶片损伤实时诊断系统和方法

Country Status (2)

Country Link
US (1) US11514567B2 (zh)
CN (1) CN110261394B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK179018B1 (en) 2016-03-14 2017-08-21 Ventus Eng Gmbh Method of condition monitoring one or more wind turbines and parts thereof and performing instant alarm when needed
US20220296930A1 (en) * 2019-11-14 2022-09-22 Elekta (Shanghai) Technology Co., Ltd. Predictive maintenance of dynamic leaf guide based on deep learning
CN111122705B (zh) * 2019-12-26 2023-01-03 中国科学院工程热物理研究所 一种风力机叶片超声无损检测方法
CN111208165A (zh) * 2020-03-06 2020-05-29 河北新天科创新能源技术有限公司 一种基于红外成像技术探测风机叶片损伤的装置及方法
CN111830845A (zh) * 2020-04-30 2020-10-27 航天图景(北京)科技有限公司 一种无人机风机叶片自动巡检仿真系统及方法
EP3916672A1 (en) * 2020-05-29 2021-12-01 Atos Information Technology GmbH System and method for examining objects for errors
CN111708380B (zh) * 2020-06-29 2023-11-10 北京御航智能科技有限公司 风电机组外观缺陷的检测方法、平台、无人机以及系统
CN112233091B (zh) * 2020-10-15 2021-05-18 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN112465776B (zh) * 2020-11-26 2023-10-31 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112986994B (zh) * 2021-02-06 2023-11-17 中国人民解放军国防科技大学 一种sar层析参考网快速生成方法
CN113537394B (zh) * 2021-04-08 2024-08-02 中国农业大学 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法
CN112950634B (zh) * 2021-04-22 2023-06-30 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN113237888B (zh) * 2021-05-21 2022-06-14 哈尔滨工业大学 大口径光学元件损伤点在线与离线暗场图像匹配方法
CN113378327B (zh) * 2021-07-02 2022-09-02 吉林重通成飞新材料股份公司 风电叶片后缘抗开裂设计方法、装置、设备及存储介质
CN114639025B (zh) * 2022-03-11 2024-08-27 湖南科技大学 一种无人机辅助下风力机叶片检修方法及装置
KR102431251B1 (ko) * 2022-06-08 2022-08-11 (주)니어스랩 산업 구조물 점검을 위한 드론 이동 경로 생성 방법 및 장치
KR102431252B1 (ko) * 2022-06-08 2022-08-11 (주)니어스랩 산업 구조물 점검을 위한 복수의 드론의 이동 경로 생성 방법 및 장치
KR102431247B1 (ko) * 2022-06-08 2022-08-11 (주)니어스랩 풍력 발전기 점검을 위한 드론 이동 경로 생성 방법 및 장치
CN115546170B (zh) * 2022-10-17 2023-04-21 风脉能源(武汉)股份有限公司 一种基于激光测距的风机叶片缺陷定位方法及系统
CN116340751A (zh) * 2023-02-22 2023-06-27 西北工业大学 基于神经网络的航空发动机传感器故障诊断方法及系统
CN116503612B (zh) * 2023-06-26 2023-11-24 山东大学 基于多任务关联的风机叶片损伤识别方法与系统
CN116757101B (zh) * 2023-08-21 2023-11-07 湖南科技大学 一种基于机理模型和神经网络的机舱风速修正方法和系统
CN117034174B (zh) * 2023-09-26 2023-12-29 国网安徽省电力有限公司经济技术研究院 变电站设备异常检测方法及其系统
CN117536797B (zh) * 2023-10-24 2024-05-31 华能安徽怀宁风力发电有限责任公司 一种基于无人机的风机叶片巡检系统及方法
CN117605633B (zh) * 2024-01-24 2024-03-22 湖南江河能源科技股份有限公司 一种风机叶片除冰方法、系统、终端及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104215640A (zh) 2014-08-18 2014-12-17 南京航空航天大学 基于无人直升机的风电叶片缺陷损伤检查方法及检查系统
CN106875011B (zh) * 2017-01-12 2020-04-17 南京风兴科技有限公司 二值权重卷积神经网络加速器的硬件架构及其计算流程
DE102017104490A1 (de) * 2017-03-03 2018-09-06 Innogy Se Inspektionsgerätsteuerungseinrichtung für ein Inspektionsgerät einer Windkraftanlage
CN107144569A (zh) 2017-04-27 2017-09-08 西安交通大学 基于选择性搜索分割的风机叶片表面缺陷诊断方法
CN109459446A (zh) * 2018-12-29 2019-03-12 哈尔滨理工大学 一种基于无人机的风电叶片图像信息采集方法
CN109741320A (zh) 2019-01-07 2019-05-10 哈尔滨理工大学 一种基于航拍图像的风电叶片故障检测方法
US11508056B2 (en) * 2019-02-28 2022-11-22 Measure Global, Inc. Drone inspection analytics for asset defect detection
US12046038B2 (en) * 2019-03-22 2024-07-23 The Regents Of The University Of California System and method for generating visual analytics and player statistics
AU2019100354A4 (en) * 2019-04-04 2019-05-16 Chen, Mingjie Mr An animal image search system based on convolutional neural network
CN109900712B (zh) * 2019-04-17 2022-03-29 中国人民解放军国防科技大学 基于摄像测量的风电叶片机械故障在线检测系统及其方法

Also Published As

Publication number Publication date
CN110261394A (zh) 2019-09-20
US20200402220A1 (en) 2020-12-24
US11514567B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
CN110261394B (zh) 在线风机叶片损伤实时诊断系统和方法
Pérez et al. Ground vehicle detection through aerial images taken by a UAV
Chamoso et al. UAVs applied to the counting and monitoring of animals
CN108037770A (zh) 基于人工智能的无人机输电线路巡检系统和方法
US20220099067A1 (en) Method of Inspection of Wind Turbine Blades
CN109886396A (zh) 一种输电线路舞动在线预测系统及方法
CN103324937A (zh) 标注目标的方法和装置
CN113406107B (zh) 风机叶片缺陷检测系统
CN111852792B (zh) 一种基于机器视觉的风机叶片缺陷自诊断定位方法
CN112348003B (zh) 基于深度卷积神经网络的飞机加油场景识别方法及系统
CN112950634A (zh) 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN112455676A (zh) 一种光伏板健康状态智能监测分析系统及方法
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN113205039A (zh) 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法
CN114359695A (zh) 基于不确定性估计的绝缘子破损识别方法
CN114723271A (zh) 一种基于图像识别的输电工程质量检测方法及系统
Memari et al. Review on the advancements in wind turbine blade inspection: Integrating drone and deep learning technologies for enhanced defect detection
CN114021906A (zh) 无人值守的风力发电运维管理方法及系统
Katrojwar et al. Design of Image based Analysis and Classification using Unmanned Aerial Vehicle
CN117647526A (zh) 一种风力发电机叶片表面缺陷检测方法及装置
CN112183805B (zh) 一种输电线路在线巡视结果状态的预测方法
Özer et al. Low-cost AI-based solar panel detection drone design and implementation for solar power systems
CN112097743A (zh) 基于无人机技术的建筑抗震特性分析方法
CN112183191A (zh) 一种基于对抗训练的检测输电线路中鸟巢的方法
Wang et al. Diversion tunnel defects inspection and identification using an automated robotic system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Dong Chaodie

Inventor after: Zhao Xiaoyi

Inventor after: Chen Xiaoyan

Inventor before: Dong Chaozhi

Inventor before: Zhao Xiaoyi

Inventor before: Chen Xiaoyan

GR01 Patent grant
GR01 Patent grant