CN113610749A - 基于神经网络的风机叶片缺陷检测方法 - Google Patents

基于神经网络的风机叶片缺陷检测方法 Download PDF

Info

Publication number
CN113610749A
CN113610749A CN202110430263.6A CN202110430263A CN113610749A CN 113610749 A CN113610749 A CN 113610749A CN 202110430263 A CN202110430263 A CN 202110430263A CN 113610749 A CN113610749 A CN 113610749A
Authority
CN
China
Prior art keywords
detected
blade
defect
image
fan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110430263.6A
Other languages
English (en)
Other versions
CN113610749B (zh
Inventor
庞涛
马征
白颖伟
毛辉
张晓帆
贾海梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Navroom Technology Co ltd
Original Assignee
Beijing Navroom Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Navroom Technology Co ltd filed Critical Beijing Navroom Technology Co ltd
Priority to CN202110430263.6A priority Critical patent/CN113610749B/zh
Publication of CN113610749A publication Critical patent/CN113610749A/zh
Application granted granted Critical
Publication of CN113610749B publication Critical patent/CN113610749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于神经网络的风机叶片缺陷检测方法,包括:控制无人机以第一轨迹分别绕处于检修状态的待检测风机的各个叶片的轴线飞行,并在绕飞过程中对叶片进行拍照,得到多个待检测图像;将待检测图像输入预先训练的目标叶片缺陷检测模型,输出待检测图像的缺陷检测信息,缺陷信息包括缺陷在待检测图像中的位置以及缺陷的类别;目标叶片缺陷检测模型经由如下步骤训练得到:获取样本图像集合,将样本图像中缺陷的位置和类别作为样本标签,标记样本图像;将标记后的样本图像输入预先构建的初始叶片缺陷检测模型,将标记后的样本图像的样本标签作为期望输出,训练得到目标叶片缺陷检测模型。该方法能够提高训练出的目标叶片缺陷检测模型的精度,降低缺陷漏判率和误判率。

Description

基于神经网络的风机叶片缺陷检测方法
技术领域
本发明涉及风机叶片缺陷检测领域,尤其涉及一种基于神经网络的风机叶片缺陷检测方法。
背景技术
风能是一种清洁的可再生资源,其储量大,分布面广。风电对于缓解能源供应、改善能源结结构、保护环境等方面意义重大。风力发电机是将风能转换为机械功,机械功带动转子旋转,最终输出交流电的电力设备。由于风力发电机组通常处于野外,环境条件恶劣,容易出现故障,电站运维团队需要定期对风力发电机进行巡检,以保证风力发电机组的可靠运行,提高设备可利用率。但发电机多地处偏远地区,且排布分散,人工巡检不仅存在安全性差、工作量大、效率低等问题,而且受观测角度影响,不能全面及时的发现问题。
为解决上述问题,近年来,风电场通过利用无人机和监控摄像头,拍摄大量高分辨率的风机叶片图像,通过计算机自动处理无人机和监控摄像头拍摄的图像并生成分析结果,实现了远程实时监控风机的运行状况,特别是风机叶片表面损伤,极大提高了风机的维护和运行效率。但是现有的计算机自动处理方法存在着缺陷漏判、误判率高的问题,存在较大的安全隐患。
发明内容
基于上述现状,本发明的主要目的在于提供一种能够有效降低缺陷漏判、误判率的基于神经网络的风机叶片缺陷检测方法。
为实现上述目的,第一方面,本发明采用的技术方案如下:
一种基于神经网络的风机叶片缺陷检测方法,所述方法包括如下步骤:
S10、控制无人机以第一轨迹分别绕处于检修状态的待检测风机的各个叶片的轴线飞行,并在绕飞过程中在多个第一预定拍照位置对叶片进行拍照,得到多个待检测图像;
S20、将所述待检测图像输入预先训练的目标叶片缺陷检测模型,输出所述待检测图像的缺陷检测信息,所述缺陷信息包括缺陷在所述待检测图像中的位置以及所述缺陷的类别;
其中,所述目标叶片缺陷检测模型经由如下步骤训练得到:
S100、获取样本图像集合,所述样本图像集合中的各样本图像由无人机以第二轨迹绕处于检修状态的样本风机的各个叶片的轴线飞行时在多个第二预定拍照位置拍照得到;
S200、识别所述样本图像集合中有叶片缺陷的样本图像,将所述样本图像中缺陷的位置和类别作为样本标签,标记所述样本图像;
S300、将标记后的样本图像输入预先构建的初始叶片缺陷检测模型,将标记后的样本图像的样本标签作为期望输出,训练所述初始叶片缺陷检测模型,得到所述目标叶片缺陷检测模型。
优选地,按照叶片的延伸方向,将所述待检测风机的各个叶片划分为多个待检测叶片段,所述第一轨迹包括第一预设数量个第一子轨迹,所述第一子轨迹与所述待检测叶片段一一对应,所述第一子轨迹表征所述无人机在相应的待检测叶片段内绕该待检测叶片段的轴线飞行;
按照叶片的延伸方向,将所述样本风机的各个叶片划分为多个样本叶片段,所述第二轨迹包括第二预设数量个第二子轨迹,所述第二子轨迹与所述样本叶片段一一对应,所述第二子轨迹表征所述无人机在相应的样本叶片段内绕该样本叶片段的轴线飞行。
优选地,每个所述第二子轨迹均具有多个周向位置,每个周向位置包括多个不同径向的第二预定拍照位置。
优选地,所述第一轨迹至少与所述第二轨迹的部分轨迹相同。
优选地,所述方法还包括步骤S30、基于所述缺陷在所述待检测图像中的位置,确定所述缺陷在所述待检测风机的实际位置。
优选地,所述方法还包括步骤S40、基于所述缺陷在所述待检测风机的实际位置以及所述缺陷的类别生成缺陷描述。
优选地,所述步骤S30具体为:
S31、采集所述待检测图像的相机内参和相机外参;
S32、根据所述相机内参、相机外参、缺陷在待检测图像中的位置确定缺陷在世界坐标系下的位置;
S33、根据缺陷在世界坐标系下的位置以及风机在世界坐标系下的位置,确定出缺陷在待检测风机中的实际位置。
优选地,所述步骤S20具体包括:
采用特征提取网络提取所述待检测图像的特征,生成特征图;
将所述特征图输入预测网络,输出预测向量;
根据所述预测向量确定所述特征图中缺陷的位置和缺陷的类别。
本申请提供的基于神经网络的风机叶片缺陷检测方法中,在目标叶片缺陷检测模型的训练过程中,在控制无人机绕飞叶片进行取样以构建样本库时,采用绕叶片的轴线飞行的方式,如此,无论是叶片的两部分面积比较大的表面,还是连接两个表面的边部曲面,均能够获得正对角度的图片,从而提高训练出的目标叶片缺陷检测模型的精度,降低缺陷漏判率和误判率。另外,在拍摄训练用照片和拍摄检测用照片时,均将风机调整至检修状态,从而进一步提高目标叶片缺陷检测模型的检测精度。
本发明的其他有益效果,将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述,本领域技术人员通过这些技术特征和技术方案的介绍,应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
以下将参照附图对根据本发明的基于神经网络的风机叶片缺陷检测方法的优选实施方式进行描述。图中:
图1为本发明具体实施方式提供的基于神经网络的风机叶片缺陷检测方法的流程图之一;
图2为本发明具体实施方式提供的基于神经网络的风机叶片缺陷检测方法的流程图之二;
图3为框选出缺陷的待检测图像;
图4为本发明具体实施方式提供的基于神经网络的风机叶片缺陷检测方法中,一个第二子轨迹的多个第二预定拍照位置的示意图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分,为了避免混淆本发明的实质,公知的方法、过程、流程、元件并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
针对现有的计算机自动处理方法存在的缺陷漏判、误判率高的问题,本发明发现,现有的叶片照片取样时,无人机通常是面对风机绕风机的轴线(即各个叶片的旋转轴)在风机的一侧和另一侧各绕一圈,并在绕行过程中进行照片的拍摄,由于现有的镜头技术已非常成熟,拍摄的图像分辨率能够达到很高,因此通常认为这样即可完整的反映出叶片的表面情况,但实际上当损伤发生在叶片的边缘时,计算机很容易发生漏判,以及在叶片边缘未发生损伤时,计算机也容易将边缘轮廓线误判为损伤。
基于此,本申请提供了一种基于神经网络的风机叶片缺陷检测方法,如图1所示,该方法包括如下步骤:
S10、控制无人机以第一轨迹分别绕处于检修状态的待检测风机的各个叶片的轴线飞行,并在绕飞过程中在多个第一预定拍照位置对叶片进行拍照,得到多个待检测图像;
S20、将所述待检测图像输入预先训练的目标叶片缺陷检测模型,输出所述待检测图像的缺陷检测信息,所述缺陷信息包括缺陷在所述待检测图像中的位置以及所述缺陷的类别。
其中,目标叶片缺陷检测模型由如下步骤训练得到:
S100、获取样本图像集合,所述样本图像集合中的各样本图像由无人机以第二轨迹绕处于检修状态的样本风机的各个叶片的轴线飞行时在多个第二预定拍照位置拍照得到;
S200、识别所述样本图像集合中有叶片缺陷的样本图像,将所述样本图像中缺陷的位置和类别作为样本标签,标记所述样本图像;
S300、将标记后的样本图像输入预先构建的初始叶片缺陷检测模型,将标记后的样本图像的样本标签作为期望输出,训练所述初始叶片缺陷检测模型,得到所述目标叶片缺陷检测模型。
其中,步骤S10和S100中,叶片的轴线指的是叶片根部的中心位置与叶片尖部之间的连线所在的直线。将叶片的两部分较大的表面定义为侧面,连接两侧面的曲面定义为边部曲面。多个第一预定拍照位置至少包括正对待检测风机的叶片的两个侧面的照片以及正对叶片的两个边部曲面的照片,多个第二预定拍照位置至少包括正对样本风机的叶片的两个侧面的照片以及正对叶片的两个边部曲面的照片。
本申请提供的基于神经网络的风机叶片缺陷检测方法中,在目标叶片缺陷检测模型的训练过程中,在控制无人机绕飞叶片进行取样以构建样本库时,采用绕叶片的轴线飞行的方式,如此,无论是叶片的两部分面积比较大的表面,还是连接两个表面的边部曲面,均能够获得正对角度的图片,从而提高训练出的目标叶片缺陷检测模型的精度,而在对降低缺陷漏判率和误判率。另外,在拍摄训练用照片和拍摄检测用照片时,均将风机调整至检修状态,即,在拍摄训练用照片和拍摄检测用照片时,风机的叶片均处于相同的位置和角度状态,从而进一步提高目标叶片缺陷检测模型的检测精度。
其中缺陷在待检测图像中的位置可如图3所示通过框选的方式示出。缺陷的类别可参照下表所示。
Figure BDA0003031203050000061
其中,第一轨迹可以为沿叶片的延伸方向螺旋绕飞叶片,为了方便无人机的飞行路线的控制以及保证无人机拍摄的照片能够完整反映叶片的表面情况,在一个优选的实施例中,按照叶片的延伸方向,将待检测风机的各个叶片划分为多个待检测叶片段,第一轨迹包括第一预设数量个第一子轨迹,第一子轨迹与待检测叶片段一一对应,第一子轨迹表征无人机在相应的待检测叶片段内绕该待检测叶片段的轴线飞行,即,无人机先绕一个待检测叶片段的轴线飞行,绕飞一圈后再飞行至下一个待检测叶片段,并绕下一个待检测叶片段的轴线飞行,直至将所有的待检测叶片段均绕飞一遍。待检测叶片段的数量可根据叶片的长度、无人机上的相机的焦距等进行具体设置,能够完整反映待检测叶片的表面情况即可,例如可以为两个、三个甚至更多。
同样类似地,第二轨迹可以为沿叶片的延伸方向螺旋绕飞叶片,为了方便无人机的飞行路线的控制以及保证无人机拍摄的照片能够完整反映叶片的表面情况,在一个优选的实施例中,按照叶片的延伸方向,将样本风机的各个叶片划分为多个样本叶片段,第二轨迹包括第二预设数量个第二子轨迹,第二子轨迹与样本叶片段一一对应,第二子轨迹表征无人机在相应的样本叶片段内绕该样本叶片段的轴线飞行,即,无人机先绕一个样本叶片段的轴线飞行,绕飞一圈后再飞行至下一个样本叶片段,并绕下一个样本叶片段的轴线飞行,直至将所有的样本叶片段均绕飞一遍。样本叶片段的数量可根据叶片的长度、无人机上的相机的焦距等进行具体设置,能够完整反映样本叶片的表面情况即可,例如可以为两个、三个甚至更多。
由于在无人机对叶片的表面进行拍照时受外界环境因素(例如风)、自身飞行精度等的影响,无法保证其上的镜头与叶片之间的距离始终一致,即在采样阶段无人机拍照时镜头与叶片之间是一个距离,而在检测阶段无人机拍照时镜头与叶片之间是另一个距离,这样会导致目标叶片缺陷检测模型对缺陷的类别判断不准确,尤其在采用上表作为缺陷类别标准的实施例中,由上表可知,有些缺陷是按面积大小来划分类别的,例如,表面涂料脱落面积在20cm*20cm以下为2级-表面损伤,而面积在20cm*20cm以上则为3级-一般性损伤,同样的玻纤和起鼓分层面积也存在相同的问题,若采样时的拍照距离与检测时的拍照距离不同,则会影响判断缺陷类别的准确性,而由上表可知,不同级别的损伤,处理方式是不同的,因此,对于缺陷类别的误判会造成对存在缺陷的叶片的误处理,从而耽误工作人员对叶片的及时处理。
针对上述问题,在一个实施例中,将检测时的第一预定拍照位置设置为与采样时的第二预定拍照位置相同,在采样时,无人机上的摄像头在拍照的同时记录拍照时与叶片之间的距离,每一张照片均对应一个拍照距离,即在样本数据库中存储的是各个样本图像与拍照距离的映射,在检测时,每拍一张照片也记录一次与叶片之间的距离,即每一张待检测图像对应一个拍照距离,在将待检测图像输入目标叶片缺陷检测模型之前,首先对待检测图像进行距离校正,即根据待检测图像对应的拍照距离以及与拍摄该待检测图像的第一预定拍照位置对应的第二预定拍照所拍摄的样本图像即其对应的拍照距离对待检测图像进行距离校正,将其校正为拍照距离与样本图像的拍照距离一致,之后再将校正后的图像输入目标叶片缺陷检测模型。为了降低运算量,提高检测效率,在另一个优选地实施例中,每个第二子轨迹均具有多个周向位置,每个周向位置包括多个不同径向的第二预定拍照位置,此处所述的周向即围绕叶片轴线的方向,径向即叶片的中心指向外周的方向,具体可参照图4,在一个第二子轨迹中,周向位置的数量具体不限,能够完整反映叶片的表面特征为准,优选为四个以上,同一周向位置的不同径向的第二预定拍照位置的数量不限,可以为三个、四个甚至更多,例如,如图4所示,中部的长形结构为叶片的横截面,圆圈代表第二预定拍照位置,即在每个圆圈位置均进行一次拍照,第二子轨迹具有四个周向位置,每个周向位置可对应三个不同径向的第二预定拍照位置,如此,对于同一个缺陷位置会有多个拍照距离的样本照片输入至初始叶片缺陷检测模型中进行训练,使得神经网络将拍照距离也纳入缺陷类别的判断因素,如此,无需再对照片进行拍照距离的校正即可保证缺陷类别的判断准确性。
第二轨迹可以与第一轨迹相同,在每个周向位置包括多个不同径向的第二预定拍照位置的实施例中,在检测阶段无需再就各个不同径向位置进行拍照,因此,此时第一轨迹为第二轨迹的一部分,即,在检测阶段,无人机无需调整与叶片之间的距离,直接在沿周向绕飞时拍摄各个待检测图像即可。
进一步第,步骤S20具体包括:
采用特征提取网络提取所述待检测图像的特征,生成特征图;
将所述特征图输入预测网络,输出预测向量;
根据所述预测向量确定所述特征图中缺陷的位置和缺陷的类别。
在一个优选地实施例中,首先,将待检测图像压缩为预设维度(例如415X415),然后根据预设的预测图的维度,将待检测图像划分成对应的网格,例如待检测图像维度为415X415,则32倍下采样的特征图维度为13X13,因而可以将待检测图像划分为13X13个单元格。之后将压缩后的图像输入特征提取网络(例如Darknet-53)进行特征提取,然后输出特征图。由于叶片上的损伤形状大小差别很大,若仅输出一个尺度的特征图,有可能会存在较大的损伤或者较小的损伤识别不准确的情况,基于此,优选地,通过32倍下采样、15倍下采样和8倍下采样输出3个尺度的特征图。然后,将特征图输入预测层(1X1卷积层),得到预测图,预测图中的每一个单元格可以预测出3个边界框(边界框参数包括:位置参数、物体得分和类别概率),则每一个单元格对3个尺度的特征图可以预测出9个边界框,然后基于物体得分和非极大值抑制原则,从中确定出得分最高的目标边界框,该边界框即为目标叶片缺陷检测模型的输出结果,其中,边界框的位置参数可以作为缺陷的位置,边界框的类别即为缺陷的类别。
为了进一步方便工作人员查看存在缺陷的叶片,优选地,还可向工作人员输出缺陷在待检测风机上的实际位置,例如,由于无人机的绕飞轨迹是确定的,因此对于无人机拍摄的各个待检测图像,均可确定是无人机的哪个叶片上的哪个位置的照片,如此,可在无人机拍照时对照片进行标记,根据照片标记以及无人机的绕飞路线即可得到缺陷在风机上的大致位置。为了能够向工作人员输出精确的缺陷位置,在一个优选实施例中,该方法还包括如下步骤:
S30、基于缺陷在待检测图像中的位置,确定缺陷在待检测风机的实际位置。
例如,在一个具体的实施例中,步骤S30具体为:
S31、采集所述待检测图像的相机内参和相机外参;
在本实施例中,相机内参表征相机采集到的图像中缺陷的位置信息(例如缺陷的像素坐标)与相机在真实世界中的相对位置(例如缺陷在相机坐标系中的坐标)。相机内参例如可以包括畸变参数、相机的焦点位置、相机的焦距等。
相机外参用于表征相机在真实世界中的位置和姿态,其中,可以用3个平移参数表征相机的位置,可以用3个旋转参数表征相机的姿态。
实践中,无人机通常配置有GPS(Global Positioning System,全球定位系统)模块以及姿态传感器(例如陀螺仪),可以获取无人机的实时位置和姿态。如此,当无人机采集待检测图像时,可以同时记录无人机的实时位置和姿态,以此作为待检测图像的相机外参。
S32、根据所述相机内参、相机外参、缺陷在待检测图像中的位置确定缺陷在世界坐标系下的位置;
在本实施例中,可以结合缺陷在待检测图像中的像素坐标和相机内参,通过坐标变换,确定出缺陷在相机坐标系中的坐标(即缺陷与相机在真实世界中的相对位置),之后,结合缺陷在相机坐标系中的坐标和相机外参,再次通过坐标变换,确定出缺陷在世界坐标系中的坐标(即位置)。
可以理解的是,坐标变换为图像处理领域的广泛应用的成熟技术,本申请在此不再赘述。
S33、根据缺陷在世界坐标系下的位置以及风机在世界坐标系下的位置,确定出缺陷在待检测风机中的实际位置。
为了便于工作人员更加直观的获取缺陷信息以及便于存档及后续的查找,进一步优选地,所述方法还包括如下步骤:
S40、基于缺陷在待检测风机的实际位置以及缺陷的类别生成缺陷描述。缺陷描述例如为“缺陷位于叶片的尖端位置,缺陷类别为前缘腐蚀(未损伤玻纤)”。
在本实施例的一个优选实现方式中,该方法还可以进一步包括:
步骤S10中,将无人机拍摄的照片上传至服务器;服务器对上传的照片进行归类,并将归类后的照片作为待检测图像;
步骤S20中,将所述待检测图像输入训练后的目标叶片缺陷检测模型,输出待检测图像的缺陷检测信息后,根据缺陷检测信息以及待检测图像的采集信息生成缺陷列表,其中,所述采集信息包括所述待检测风机的身份标识、所述待检测风机所属风场的身份标识以及采集时间。
在一个具体的示例中,待检测风机的身份标识可以是风机的编号,风场的身份标识可以是风场的名称。具体的采集过程包括如下步骤:在将无人机拍摄的照片上传至服务器时,将风场名称作为根目录的名称,然后将每个风场中包含的各个风机作为一级子目录名称,再将每个风机中的各个叶片作为二级子目录名称,最后可以将待检测图像的采集时间作为三级子目录,从而可以将待检测图像的采集信息映射至待检测图像的存储位置。如此一来,只需确定待检测图像的存储路径,即可确定待检测图像的采集信息,例如待检测图像的存储路径为:A风场/风机3/叶片2/2020-12-31,则可以确定其采集信息为:A风场的3号风机的2号叶片,采集时间为2020年12月31日。
基于存在缺陷的待检测图像的缺陷描述和采集信息,生成各风场的检测结果。
在本实现方式中,风场的检测结果可以表征该风场中所有待检测风机存在的缺陷。
作为示例,可以根据采集信息中的风场的身份标识对存在缺陷的待检测图像分类,每个风场对应一个存在缺陷的待检测图像的集合,然后根据每个集合中的待检测图像对应的待检测风机的身份标识、采集时间和缺陷描述,生成该风场的检测结果,例如可以采用页面的形式呈现该检测结果。
更进一步地,目标叶片缺陷检测模型可以输出标记了缺陷信息的图像,然后将该图像的存储路径以超链接的形式嵌入检测结果中,以便于用户查看。
为进一步提高目标叶片缺陷检测模型的精度,在使用过程中还可利用人工对其输出的结果进行复核,若其输出结果有误,则人工将结果修改为正确的结果作为标签输入目标叶片缺陷检测模型进行再次学习,从而对目标叶片缺陷检测模型进行修正。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于神经网络的风机叶片缺陷检测方法,其特征在于,所述方法包括如下步骤:
S10、控制无人机以第一轨迹分别绕处于检修状态的待检测风机的各个叶片的轴线飞行,并在绕飞过程中在多个第一预定拍照位置对叶片进行拍照,得到多个待检测图像;
S20、将所述待检测图像输入预先训练的目标叶片缺陷检测模型,输出所述待检测图像的缺陷检测信息,所述缺陷检测信息包括缺陷在所述待检测图像中的位置以及所述缺陷的类别;
其中,所述目标叶片缺陷检测模型经由如下步骤训练得到:
S100、获取样本图像集合,所述样本图像集合中的各样本图像由无人机以第二轨迹绕处于检修状态的样本风机的各个叶片的轴线飞行时在多个第二预定拍照位置拍照得到;
S200、识别所述样本图像集合中有叶片缺陷的样本图像,将所述样本图像中缺陷的位置和类别作为样本标签,标记所述样本图像;
S300、将标记后的样本图像输入预先构建的初始叶片缺陷检测模型,将标记后的样本图像的样本标签作为期望输出,训练所述初始叶片缺陷检测模型,得到所述目标叶片缺陷检测模型。
2.根据权利要求1所述的方法,其特征在于,按照叶片的延伸方向,将所述待检测风机的各个叶片划分为多个待检测叶片段,所述第一轨迹包括第一预设数量个第一子轨迹,所述第一子轨迹与所述待检测叶片段一一对应,所述第一子轨迹表征所述无人机在相应的待检测叶片段内绕该待检测叶片段的轴线飞行;
按照叶片的延伸方向,将所述样本风机的各个叶片划分为多个样本叶片段,所述第二轨迹包括第二预设数量个第二子轨迹,所述第二子轨迹与所述样本叶片段一一对应,所述第二子轨迹表征所述无人机在相应的样本叶片段内绕该样本叶片段的轴线飞行。
3.根据权利要求2所述的方法,其特征在于,每个所述第二子轨迹均具有多个周向位置,每个周向位置包括多个不同径向的第二预定拍照位置。
4.根据权利要求1所述的方法,其特征在于,所述第一轨迹至少与所述第二轨迹的部分轨迹相同。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括步骤:
S30、基于所述缺陷在所述待检测图像中的位置,确定所述缺陷在所述待检测风机的实际位置。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括步骤:
S40、基于所述缺陷在所述待检测风机的实际位置以及所述缺陷的类别生成缺陷描述。
7.根据权利要求5所述的方法,其特征在于,所述步骤S30具体为:
S31、采集所述待检测图像的相机内参和相机外参;
S32、根据所述相机内参、相机外参、缺陷在待检测图像中的位置确定缺陷在世界坐标系下的位置;
S33、根据缺陷在世界坐标系下的位置以及风机在世界坐标系下的位置,确定出缺陷在待检测风机中的实际位置。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述步骤S20具体包括:
采用特征提取网络提取所述待检测图像的特征,生成特征图;
将所述特征图输入预测网络,输出预测向量;
根据所述预测向量确定所述特征图中缺陷的位置和缺陷的类别。
9.根据权利要求1至8任一项所述的方法,其特征在于,
所述步骤S10还包括:将无人机拍摄的照片上传至服务器,并对上传的照片进行归类,将归类后的照片作为待检测图像;通过对照片进行归类形成所述待检测图像的采集信息,其中,所述采集信息包括待检测风机的身份标识、所述待检测风机所属风场的身份标识以及采集时间;
所述步骤S20中,将所述待检测图像输入训练后的目标叶片缺陷检测模型,输出待检测图像的缺陷检测信息后,根据缺陷检测信息以及待检测图像的采集信息生成缺陷列表。
10.根据权利要求9所述的方法,其特征在于,所述形成所述待检测图像的采集信息的过程包括:在将无人机拍摄的照片上传至服务器时,将风场名称作为根目录的名称,将每个风场中包含的各个风机编号作为一级子目录名称,将每个风机中的各个叶片作为二级子目录名称,将待检测图像的采集时间作为三级子目录,根据待检测图像的存储目录形成待检测图像的所述采集信息。
CN202110430263.6A 2021-04-21 2021-04-21 基于神经网络的风机叶片缺陷检测方法 Active CN113610749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110430263.6A CN113610749B (zh) 2021-04-21 2021-04-21 基于神经网络的风机叶片缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110430263.6A CN113610749B (zh) 2021-04-21 2021-04-21 基于神经网络的风机叶片缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113610749A true CN113610749A (zh) 2021-11-05
CN113610749B CN113610749B (zh) 2024-04-19

Family

ID=78303357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110430263.6A Active CN113610749B (zh) 2021-04-21 2021-04-21 基于神经网络的风机叶片缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113610749B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114047195A (zh) * 2021-11-11 2022-02-15 合肥工业大学智能制造技术研究院 一种新能源电池帽缺陷检测方法和系统
CN115824957A (zh) * 2021-11-16 2023-03-21 戈昱科技(上海)有限公司 一种基于图像实现风电叶片缺陷自动检测的方法
EP4261408A1 (en) * 2022-04-12 2023-10-18 Siemens Gamesa Renewable Energy A/S Method for technically supporting a manual inspection process of a wind turbine component
CN117212077A (zh) * 2023-11-08 2023-12-12 云南滇能智慧能源有限公司 一种风电机的风轮故障监测方法、装置、设备及存储介质
CN117307414A (zh) * 2023-09-26 2023-12-29 金开智维(宁夏)科技有限公司 基于无人机航摄的风机叶片检测方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319290A (zh) * 2017-01-16 2018-07-24 财团法人金属工业研究发展中心 利用无人机拍摄风机叶面的方法、内储程序的计算机程序产品及可读取记录媒体
CN108869196A (zh) * 2018-06-27 2018-11-23 上海扩博智能技术有限公司 通过无人机对风机后侧叶根区域检测方法及系统
CN108915959A (zh) * 2018-06-27 2018-11-30 上海扩博智能技术有限公司 通过无人机对风机叶尖区域绕行检测方法及系统
CN110701003A (zh) * 2019-11-20 2020-01-17 山东理工大学 风电机组叶片缺陷自动检测系统及检测方法
CN110889823A (zh) * 2019-10-08 2020-03-17 山东天岳先进材料科技有限公司 一种SiC缺陷的检测方法和系统
KR20200033822A (ko) * 2018-03-15 2020-03-30 (주)니어스랩 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법
CN111852792A (zh) * 2020-09-10 2020-10-30 东华理工大学 一种基于机器视觉的风机叶片缺陷自诊断定位方法
CN112070135A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像检测方法、装置、电力设备及存储介质
CN112330592A (zh) * 2020-10-09 2021-02-05 西安星闪数创智能科技有限公司 风机叶片缺陷检测方法和装置、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319290A (zh) * 2017-01-16 2018-07-24 财团法人金属工业研究发展中心 利用无人机拍摄风机叶面的方法、内储程序的计算机程序产品及可读取记录媒体
KR20200033822A (ko) * 2018-03-15 2020-03-30 (주)니어스랩 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법
CN108869196A (zh) * 2018-06-27 2018-11-23 上海扩博智能技术有限公司 通过无人机对风机后侧叶根区域检测方法及系统
CN108915959A (zh) * 2018-06-27 2018-11-30 上海扩博智能技术有限公司 通过无人机对风机叶尖区域绕行检测方法及系统
CN110889823A (zh) * 2019-10-08 2020-03-17 山东天岳先进材料科技有限公司 一种SiC缺陷的检测方法和系统
CN110701003A (zh) * 2019-11-20 2020-01-17 山东理工大学 风电机组叶片缺陷自动检测系统及检测方法
CN112070135A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像检测方法、装置、电力设备及存储介质
CN111852792A (zh) * 2020-09-10 2020-10-30 东华理工大学 一种基于机器视觉的风机叶片缺陷自诊断定位方法
CN112330592A (zh) * 2020-10-09 2021-02-05 西安星闪数创智能科技有限公司 风机叶片缺陷检测方法和装置、存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114047195A (zh) * 2021-11-11 2022-02-15 合肥工业大学智能制造技术研究院 一种新能源电池帽缺陷检测方法和系统
CN115824957A (zh) * 2021-11-16 2023-03-21 戈昱科技(上海)有限公司 一种基于图像实现风电叶片缺陷自动检测的方法
CN115824957B (zh) * 2021-11-16 2023-12-01 戈昱科技(上海)有限公司 一种基于图像实现风电叶片缺陷自动检测的方法
EP4261408A1 (en) * 2022-04-12 2023-10-18 Siemens Gamesa Renewable Energy A/S Method for technically supporting a manual inspection process of a wind turbine component
WO2023198384A1 (en) * 2022-04-12 2023-10-19 Siemens Gamesa Renewable Energy A/S Method for technically supporting a manual inspection process of a wind turbine component
CN117307414A (zh) * 2023-09-26 2023-12-29 金开智维(宁夏)科技有限公司 基于无人机航摄的风机叶片检测方法、装置及电子设备
CN117307414B (zh) * 2023-09-26 2024-05-03 金开智维(宁夏)科技有限公司 基于无人机航摄的风机叶片检测方法、装置及电子设备
CN117212077A (zh) * 2023-11-08 2023-12-12 云南滇能智慧能源有限公司 一种风电机的风轮故障监测方法、装置、设备及存储介质
CN117212077B (zh) * 2023-11-08 2024-02-06 云南滇能智慧能源有限公司 一种风电机的风轮故障监测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113610749B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN113610749B (zh) 基于神经网络的风机叶片缺陷检测方法
CN110282143B (zh) 一种海上风电场无人机巡检方法
CN207600967U (zh) 一种用于风电场扇叶表面缺陷检测的装置
CN108894933A (zh) 通过无人机对风机叶尖跟踪检测时跟丢再捕捉方法及系统
CN112904877A (zh) 一种基于无人机的风机叶片自动巡检系统及方法
WO2017158479A1 (en) Method of condition monitoring one or more wind turbines and parts thereof and performing instant alarm when needed
CN106815838A (zh) 一种光伏组件热斑检测的方法以及系统
CN108915959A (zh) 通过无人机对风机叶尖区域绕行检测方法及系统
CN113759960A (zh) 基于无人机的风机叶片及塔筒巡检识别系统及方法
CN112360699A (zh) 一种全自动风力发电机组叶片智能巡视及诊断分析方法
CN108869197B (zh) 通过无人机进行风机高度精确测量方法及系统
CN114296483B (zh) 一种风力发电机不停机状态下的智能巡检方法及电子设备
JP2018181235A (ja) 報告書作成装置、風力発電設備点検システム、プログラム、及び風力発電設備の点検報告書の作成方法
CN104239899B (zh) 一种用于无人机巡检的输电线路间隔棒识别方法
CN111911364B (zh) 叶尖塔筒净空监测方法
CN116501091B (zh) 基于无人机自动调整航线的风机巡检控制方法和装置
CN115442532B (zh) 风机不停机巡检的方法、系统、设备及存储介质
CN108869196A (zh) 通过无人机对风机后侧叶根区域检测方法及系统
Guo et al. Detecting and positioning of wind turbine blade tips for uav-based automatic inspection
CN115240093A (zh) 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN206448905U (zh) 一种风力机叶片状态监测系统
CN112184903A (zh) 高压线行树障风险点的检测方法、装置、设备及介质
CN116974298A (zh) 基于单线激光雷达输电线路仿线飞行方法及系统
WO2024040566A1 (zh) 基于图像识别的变电站智能巡检系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant