CN113406091A - 一种用于风机叶片检测的无人机系统及控制方法 - Google Patents

一种用于风机叶片检测的无人机系统及控制方法 Download PDF

Info

Publication number
CN113406091A
CN113406091A CN202110643559.6A CN202110643559A CN113406091A CN 113406091 A CN113406091 A CN 113406091A CN 202110643559 A CN202110643559 A CN 202110643559A CN 113406091 A CN113406091 A CN 113406091A
Authority
CN
China
Prior art keywords
fan blade
image
aerial vehicle
thermal imaging
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110643559.6A
Other languages
English (en)
Other versions
CN113406091B (zh
Inventor
莫堃
王立闻
刘标
彭凡
杨霄
徐娜
张沛
邓超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfang Electric Group Research Institute of Science and Technology Co Ltd
Original Assignee
Dongfang Electric Group Research Institute of Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfang Electric Group Research Institute of Science and Technology Co Ltd filed Critical Dongfang Electric Group Research Institute of Science and Technology Co Ltd
Priority to CN202110643559.6A priority Critical patent/CN113406091B/zh
Publication of CN113406091A publication Critical patent/CN113406091A/zh
Application granted granted Critical
Publication of CN113406091B publication Critical patent/CN113406091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于风机叶片检测的无人机系统，包括控制单元、通讯单元、用于对被检测风机叶片进行热成像图像采样进行采样的第一无人机，以及用于对被检测风机叶片进行高清图像采样的第二无人机；是一种用于风机叶片检测的双机设计的无人机系统和方法，能够实现提高检测效率和识别准确率，降低无人机与风机叶片撞击的风险，延长无人机和风机叶片的使用寿命。

Description

一种用于风机叶片检测的无人机系统及控制方法
技术领域
本发明涉及风力发电机检测技术领域，尤其涉及一种用于风机叶片检测的无人机系统及控制方法。
背景技术
风能是一种重要的可再生能源，随着我国风能市场的扩大，风机制造业逐渐进入高速发展期。风力发电机的寿命和安全性影响着风电利用和发展的脚步，风机叶片是风力发电机的核心部件，其寿命和安全性直接影响着整个风电机组的寿命和安全状况。由于风电场运行环境比较复杂，风机叶片全天候在高空运行，长期接收风沙、污染、雷击以及台风等各种因素的影响，风机叶片容易出现缺陷并逐步扩展，若未能及时发现风机叶片缺陷，会直接影响了载荷和刚度矩阵，最终降低叶片的寿命和运行安全性。
现有中，对风机叶片的巡检通过无人机飞到指定风机上空进行拍摄后返航，再将无人机拍摄的图像导出进行查看分析，上述方式存在花费较多的人工成本进行处理，降低检测效率和识别的准确率；另外，在无人机飞行过程中由于人为操控，容易撞击风机导致无人机损坏，以及导致增加风机叶片表面的损坏程度。
发明内容
本发明的目的在于针对现有技术的缺陷，本发明的目的在于提出一种用于风机叶片检测的无人机系统，能够实现提高检测效率和识别准确率，降低无人机与风机叶片撞击的风险，延长无人机和风机叶片的使用寿命。
本发明提供的一种用于风机叶片检测的无人机系统，包括控制单元、通讯单元、用于对被检测风机叶片进行热成像图像采样进行采样的第一无人机，以及用于对被检测风机叶片进行高清图像采样的第二无人机；
所述第一无人机包括控制器以及与控制器间控制相连的热成像相机，控制器通过所述通讯单元接收所述控制单元的无人机控制信号和热成像采样信号，并根据无人机控制信号和热成像采样信号控制第一无人机飞抵指定位置对被检测风机叶片进行热成像图像采样；
所述第二无人机包括控制器以及与控制器间控制相连的高清成像相机，控制器通过所述通讯单元接收所述控制单元的无人机控制信号和高清成像采样信号，并根据无人机控制信号和高清成像采样信号控制第二无人机飞抵指定位置对被检测风机叶片进行高清图像采样；
所述控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，识别出风机叶片的缺陷位置，并向第二无人机的控制器发出控制指令，控制第二无人机飞抵指定位置，对被检测风机叶片缺陷位置进行高清图像采样，并对高清图像进行处理，将从热成像图像中识别出的风机叶片缺陷位置标记在高清图像上。
优选的，所述第一无人机沿平行于风机叶片的长度方向进行飞行拍摄，且控制所述热成像相机与所述风机叶片的距离为1～3米。
优选的，所述第一无人机和第二无人机均还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机和第二无人机的位置信息。
优选的，所述高清相机为设有云台的高清相机或双光摄像头相机。
对应上述的无人机系统，本发明还提供了一种用于风机叶片检测的无人机系统及控制方法，包括以下步骤：
步骤1，控制单元通过通讯单元向第一无人机的控制器发送控制指令，控制第一无人机飞抵指定高度位置，然后通过通讯单元向第一无人机的控制器发送热成像采样信号，第一无人机的热成像相机对准被检测风机叶片进行热成像图像采样，并将采集到的风机叶片热成像图像通过控制器发送至控制单元；
步骤2，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，识别出风机叶片的缺陷位置，并根据风机叶片的缺陷位置生成第二无人机的控制指令；
步骤3，控制单元通过通讯单元向第二无人机的控制器发送步骤2生成的控制指令，控制第二无人机飞抵指定位置，然后通过通讯单元向第二无人机的控制器发送高清成像采样信号，第二无人机的高清成像相机对准被检测风机叶片的缺陷位置进行高清图像采样，并将采集到的风机叶片高清成像图像通过控制器发送至控制单元；
步骤4，控制单元对步骤3中采集到的高清图像进行处理，并将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像上。
优选的，所述步骤1中，所述第一无人机对被检测风机叶片进行热成像图像采样时，所述控制单元控制所述第二无人机同时获取风机叶片整体图像，其中，所述整体图像中包括含第一无人机对风机叶片进行热成像图像采样的图像。
进一步的，所述第一无人机和第二无人机均还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机和第二无人机的位置信息，所述第一无人机和第二无人机在进行热成像图像采样和高清图像采样时，同时将第一无人机和第二无人机的位置信息标记在热成像图像和高清图像中，所述步骤4中，将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像的过程中，还包括根据热成像图像和高清图像中的位置信息对热成像图像和高清图像的比例进行统一调整定位。
更具体的，所述步骤2中，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，具体的，包括以下步骤：
步骤1，对热成像图像进行图像增广处理，增加热成像图像的数据量；具体的，所述步骤1中，对所述热成像图像进行图像增广处理包括：对所述热成像图像进行翻转、裁剪和变换颜色处理，能够实现对图像质量的改善，以便于计算分析，提高模型的泛化能力，还可以防止模型过拟合，从而导致检测精度降低。优选的，所述对所述热成像图像进行翻转是将热成像图像进行左右上下翻转；所述变换颜色处理是将同一张热成像图像的颜色饱和度进行变换形成若干张颜色饱和度不同的热成像图像；所述裁剪是对热成像图像不同位置(如右下部分或者左上部分)进行剪裁。
步骤2，对经过步骤1图像增广处理后的热成像图像进行二值化处理，然后通过高斯滤波处理消除热成像图像中的高斯噪声，然后对高斯滤波处理后的图像再进行线性灰度增强处理；高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程，通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。给定一张黑白图片，该图片可能黑白并不分明，整个图片最黑的像素点的像素值可能并没有达到0，而最白的像素点的像素值可能并没有达到255，换句话说，这张黑白图像的像素并不均匀，整体的像素值集中在某一块区域，因此需要进行线性的像素，因此，所述步骤2中，所述线性灰度增强处理，是将高斯滤波处理后的图像中最黑的像素点像素值调整为0、将最白的像素点像素值调整为255，将其他的像素点的像素值根据其与最黑和/或最白的像素点间的颜色深度比值进行线性调整，比值比率和线性度可以根据先验阈值设定和调整。
优选的，所述步骤2中进行高斯滤波处理，具体的，是采用二维高斯分布
Figure BDA0003108909000000041
对经过步骤1图像增广处理后的热成像图像中的特征变量x和y进行高斯滤波处理，其中，σ是可调参数，σ的大小决定高斯函数的宽度，G(x，y)表示关于x和y的高斯函数，x代表像素点的灰度值，y代表通过高斯函数计算后的灰度值。
进一步的，所述步骤2中进行线性灰度增强处理，具体的，是通过灰度线性变换函数
Figure BDA0003108909000000042
对所述经过高斯滤波处理后的图像中的特征变量x和y进行线性灰度增强处理，其中，g(x，y)表示关于(x，y)的线性变换函数，其灰度范围为[c，d]，前述高斯函数是先处理图像的噪声，线性变换函数再对图像内的像素进行线性扩展，f(x，y)为线性变换函数转换前的热成像图像灰度值，其灰度范围为[a，b]。
步骤3，对经过步骤2处理的图像进一步进行图像锐化处理，得到图像增强模型。优选的，所述步骤3中是采用scharr算子进行图像锐化处理，采用scharr算子进行图像锐化处理，能够更加凸显图像的边缘细节，从而提高计算精度，为了能够有效的提取出较弱的边缘，需要将像素值间的差距增大，因此引入Scharr算子，Scharr算子是对Sobel算子差异性的增强，因此两者之间的在检测图像边缘的原理和使用方式上相同，charr算子的边缘检测滤波的尺寸为3×3，因此也有称其为Scharr滤波器，可以通过将Scharr算子中的权重系数放大来增大像素值间的差异，Scharr算子就是采用的这种思想，其在二值化图像的X方向和Y方向的边缘检测算子
Figure BDA0003108909000000043
或者，所述步骤2中，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，具体的，包括以下步骤：
风机叶片提取步骤，获取待检测风机叶片的热成像图像，获取的热成像图像中应当有风机叶片且叶片清晰，对所述热成像图像进行图像进行分割并提取热成像图像中风机叶片边缘区域，根据风机叶片的边缘区域提取热成像图像中的风机叶片图像；
优选地，所述风机叶片提取步骤中，根据风机叶片的边缘区域提取热成像图像中的风机叶片，是根据风机叶片的边缘区域所在位置，将热成像图像中的边缘区域以外的背景去除，提到得到图像中的风机叶片图像。
具体的，所述风机叶片提取步骤中，获取待检测风机叶片的热成像图像后，对热成像图像进行二值化处理、以及将二值化处理后的热成像图像划分为N*n个图格，哪一步先进行都可以，其中N和n是可以根据设计需求和精度要求进行调整的，原则是划分的每一个图格尺寸不小于每个像素点，然后将每一个图格的中间与根据先验阈值设定的属于风机叶片边缘区域图格的灰度判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘区域的图格，其中，每一个图格的中间灰度值是指图格中所包含的所有灰度值中处于中位数或者比重最大的灰度值。
风机叶片边缘确定步骤，将所述风机叶片提取步骤中提取的风机叶片图像边缘区域进行灰度值求导，并根据灰度值求导结果确定风机叶片边缘的像素点，提取得到风机叶片的边缘。
具体的，所述风机叶片边缘确定步骤中，首先对风机叶片图像进行二值化处理，然后对二值化处理后的图像逐个像素点进行灰度值求导处理，并将灰度值求导的结果与根据先验阈值设定的风机叶片边缘像素点的灰度求导判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘的像素点，即构成热成像图像中风机叶片的边缘。
更进一步的，所述风机叶片边缘确定步骤中对热成像图像的灰度值进行求导，具体的，是对对热成像图像进行二值化处理后，对经过二值化处理的热成像图像设立二维坐标系，并将热成像图像中每个像素点都用二维坐标(x，y)来表示，一张图像有x方向和y方向也可以称为(x，y)坐标，求导只能求一个方向，所以建立二维的(x，y)两个方向的导数对应二值化的像素点，任意方向的导数超过设定值都可以判定该点为边缘点，然后利用梯度公式
Figure BDA0003108909000000051
计算每一个像素点的梯度的模，对应得到每一个像素点灰度值的变换率，其中，整体的梯度f的长度为M(x，y)，则
Figure BDA0003108909000000061
其中
Figure BDA0003108909000000062
分别表示在x方向上求导和早y方向上求导，灰度值的变换率即为灰度值求导的结果，对应的，所述灰度求导判定阈值为设定的变换率值。
当然，出于节省算力、降低实现成本、或者针对于进度要求没有那么高的使用场景而言，所述风机叶片边缘确定步骤中，还可以是，对风机叶片图像进行二值化处理、以及将二值化处理后的热成像图像划分为N*n个图格，哪一步先进行都可以，其中N和n是可以根据设计需求和精度要求进行调整的，原则是划分的每一个图格尺寸不小于每个像素点，然后对每一个图格的中间灰度值进行求导，并将灰度值求导的结果与根据先验阈值设定的风机叶片边缘图格的灰度求导判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘的图格，所有判定出的图格即围成热成像图像中风机叶片的边缘，其中，每一个图格的中间灰度值是指图格中所包含的所有灰度值中处于中位数或者比重最大的灰度值。
图像增强步骤，将所述风机叶片边缘确定步骤中提取的热成像图像的风机叶片边缘，进行邻域卷积处理，计算出风机叶片边缘每一个位置与其上下、左右相邻位置的灰度差，实现对风机叶片边缘的极值检测，去掉所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘中的伪边缘，得到图像增强模型。
所述图像增强步骤，是通过Prewitt算子对所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘进行邻域卷积处理的，Prewitt算子是一种一阶微分算子的边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用，其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的，这两个方向模板一个检测水平边缘，一个检测垂直边缘，具体的：
是根据梯度值计算公式
Figure BDA0003108909000000063
或者P(xi,yj)＝G(xi)+G(yj)来对所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘每一个像素点进行处理，计算每一个像素点与其上下、左右相邻像素点间的灰度差，完成边缘像素点极值检测，其中，
G(xi)＝|[f(xi-1,yj-1)+f(xi-1,yj)+f(xi-1,yj+1)]-[f(xi+1,yj-1)+f(xi+1,yj)+f(xi+1,yj+1)]|
G(yj)＝|[f(xi-1,yj+1)+f(xi,yj+1)+f(xi+1,yj+1)]-[f(xi-1,yj-1)+f(xi,yj-1)+f(xi+1,yj-1)]|
i表示二维坐标系中第i行，j表示二维坐标系中第j列。
与现有技术方案相比本发明的技术方案至少具有以下优点：
以上方案，通过第一无人机和第二无人机的相互配合，从而保证无人机飞行过程的飞行安全，降低无人机与风机叶片撞击的风险，延长无人机和风机叶片的使用寿命，由第一无人机拍摄风机叶片的图像后，通过通讯连接将获取的图像传输给控制单元进行解析和存储并对应生成对第二无人机的控制指令，保证在第一无人机故障或损坏时，能确保数据不丢失同时，还能控制第二无人机针对性的对缺陷位置进行高清图像采样。
以上方案，通过控制单元对第一无人机拍摄风机叶片的热成像图像进行分析处理，当分析到第一无人机发送的图像存在缺陷，则控制单元进一步通过第二通讯模块发送控制指令至第一无人机、控制高清相机获取风机叶片同一位置的高清图像，由第一无人机进行重复拍摄，从而实现反复确认该缺陷位置的过程，以提高风机叶片的检测精度。
附图说明
本发明的前述和下文具体描述在结合以下附图阅读时变得更清楚，附图中：
图1为本发明一种用于风机叶片检测的无人机系统的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以下结合实施例详细阐述本发明的内容。
本发明提供一种用于风机叶片检测的无人机系统，能够实现提高检测效率和识别准确率，降低无人机与风机叶片撞击的风险，延长无人机和风机叶片的使用寿命。
参照图1所示为本实施例提供的一种用于风机叶片检测的无人机系统的结构示意图。
本实施例中，所述无人机系统包括：
包括控制单元、通讯单元、用于对被检测风机叶片进行热成像图像采样进行采样的第一无人机，以及用于对被检测风机叶片进行高清图像采样的第二无人机。
所述第一无人机包括控制器以及与控制器间控制相连的热成像相机，控制器通过所述通讯单元接收所述控制单元的无人机控制信号和热成像采样信号，并根据无人机控制信号和热成像采样信号控制第一无人机飞抵指定位置对被检测风机叶片进行热成像图像采样。
所述第二无人机包括控制器以及与控制器间控制相连的高清成像相机，控制器通过所述通讯单元接收所述控制单元的无人机控制信号和高清成像采样信号，并根据无人机控制信号和高清成像采样信号控制第二无人机飞抵指定位置对被检测风机叶片进行高清图像采样。
所述控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，识别出风机叶片的缺陷位置，并向第二无人机的控制器发出控制指令，控制第二无人机飞抵指定位置，对被检测风机叶片缺陷位置进行高清图像采样，并对高清图像进行处理，将从热成像图像中识别出的风机叶片缺陷位置标记在高清图像上。
所述控制单元用于根据预设其中的缺陷检测模型检测所述热成像图像，当检测出所述热成像图像存在缺陷时，所述控制处理模块进一步通过所述通讯单元发送控制指令至所述第二无人机、并控制所述高清相机获取风机叶片至指定位置或与第一无人机采样时的同一位置的高清图像；所述控制单元进一步用于将所述热成像图像及其对应的高清图像打标并存储于所述存储器中。
控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，具体的，包括以下步骤：
步骤1，对热成像图像进行图像增广处理，增加热成像图像的数据量；具体的，所述步骤1中，对所述热成像图像进行图像增广处理包括：对所述热成像图像进行翻转、裁剪和变换颜色处理，能够实现对图像质量的改善，以便于计算分析，提高模型的泛化能力，还可以防止模型过拟合，从而导致检测精度降低。优选的，所述对所述热成像图像进行翻转是将热成像图像进行左右上下翻转；所述变换颜色处理是将同一张热成像图像的颜色饱和度进行变换形成若干张颜色饱和度不同的热成像图像；所述裁剪是对热成像图像不同位置(如右下部分或者左上部分)进行剪裁。
步骤2，对经过步骤1图像增广处理后的热成像图像进行二值化处理，然后通过高斯滤波处理消除热成像图像中的高斯噪声，然后对高斯滤波处理后的图像再进行线性灰度增强处理；高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程，通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。给定一张黑白图片，该图片可能黑白并不分明，整个图片最黑的像素点的像素值可能并没有达到0，而最白的像素点的像素值可能并没有达到255，换句话说，这张黑白图像的像素并不均匀，整体的像素值集中在某一块区域，因此需要进行线性的像素，因此，所述步骤2中，所述线性灰度增强处理，是将高斯滤波处理后的图像中最黑的像素点像素值调整为0、将最白的像素点像素值调整为255，将其他的像素点的像素值根据其与最黑和/或最白的像素点间的颜色深度比值进行线性调整，比值比率和线性度可以根据先验阈值设定和调整。
优选的，所述步骤2中进行高斯滤波处理，具体的，是采用二维高斯分布
Figure BDA0003108909000000091
对经过步骤1图像增广处理后的热成像图像中的特征变量x和y进行高斯滤波处理，其中，σ是可调参数，σ的大小决定高斯函数的宽度，G(x，y)表示关于x和y的高斯函数，x代表像素点的灰度值，y代表通过高斯函数计算后的灰度值。
进一步的，所述步骤2中进行线性灰度增强处理，具体的，是通过灰度线性变换函数
Figure BDA0003108909000000092
对所述经过高斯滤波处理后的图像中的特征变量x和y进行线性灰度增强处理，其中，g(x，y)表示关于(x，y)的线性变换函数，其灰度范围为[c，d]，前述高斯函数是先处理图像的噪声，线性变换函数再对图像内的像素进行线性扩展，f(x，y)为线性变换函数转换前的热成像图像灰度值，其灰度范围为[a，b]。
步骤3，对经过步骤2处理的图像进一步进行图像锐化处理，得到图像增强模型。优选的，所述步骤3中是采用scharr算子进行图像锐化处理，采用scharr算子进行图像锐化处理，能够更加凸显图像的边缘细节，从而提高计算精度，为了能够有效的提取出较弱的边缘，需要将像素值间的差距增大，因此引入Scharr算子，Scharr算子是对Sobel算子差异性的增强，因此两者之间的在检测图像边缘的原理和使用方式上相同，charr算子的边缘检测滤波的尺寸为3×3，因此也有称其为Scharr滤波器，可以通过将Scharr算子中的权重系数放大来增大像素值间的差异，Scharr算子就是采用的这种思想，其在二值化图像的X方向和Y方向的边缘检测算子
Figure BDA0003108909000000101
或者，所述步骤2中，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，具体的，包括以下步骤：
风机叶片提取步骤，获取待检测风机叶片的热成像图像，获取的热成像图像中应当有风机叶片且叶片清晰，对所述热成像图像进行图像进行分割并提取热成像图像中风机叶片边缘区域，根据风机叶片的边缘区域提取热成像图像中的风机叶片图像；
优选地，所述风机叶片提取步骤中，根据风机叶片的边缘区域提取热成像图像中的风机叶片，是根据风机叶片的边缘区域所在位置，将热成像图像中的边缘区域以外的背景去除，提到得到图像中的风机叶片图像。
具体的，所述风机叶片提取步骤中，获取待检测风机叶片的热成像图像后，对热成像图像进行二值化处理、以及将二值化处理后的热成像图像划分为N*n个图格，哪一步先进行都可以，其中N和n是可以根据设计需求和精度要求进行调整的，原则是划分的每一个图格尺寸不小于每个像素点，然后将每一个图格的中间与根据先验阈值设定的属于风机叶片边缘区域图格的灰度判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘区域的图格，其中，每一个图格的中间灰度值是指图格中所包含的所有灰度值中处于中位数或者比重最大的灰度值。
风机叶片边缘确定步骤，将所述风机叶片提取步骤中提取的风机叶片图像边缘区域进行灰度值求导，并根据灰度值求导结果确定风机叶片边缘的像素点，提取得到风机叶片的边缘。
具体的，所述风机叶片边缘确定步骤中，首先对风机叶片图像进行二值化处理，然后对二值化处理后的图像逐个像素点进行灰度值求导处理，并将灰度值求导的结果与根据先验阈值设定的风机叶片边缘像素点的灰度求导判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘的像素点，即构成热成像图像中风机叶片的边缘。
更进一步的，所述风机叶片边缘确定步骤中对热成像图像的灰度值进行求导，具体的，是对对热成像图像进行二值化处理后，对经过二值化处理的热成像图像设立二维坐标系，并将热成像图像中每个像素点都用二维坐标(x，y)来表示，一张图像有x方向和y方向也可以称为(x，y)坐标，求导只能求一个方向，所以建立二维的(x，y)两个方向的导数对应二值化的像素点，任意方向的导数超过设定值都可以判定该点为边缘点，然后利用梯度公式
Figure BDA0003108909000000111
计算每一个像素点的梯度的模，对应得到每一个像素点灰度值的变换率，其中，整体的梯度f的长度为M(x，y)，则
Figure BDA0003108909000000112
其中
Figure BDA0003108909000000113
分别表示在x方向上求导和早y方向上求导，灰度值的变换率即为灰度值求导的结果，对应的，所述灰度求导判定阈值为设定的变换率值。
当然，出于节省算力、降低实现成本、或者针对于进度要求没有那么高的使用场景而言，所述风机叶片边缘确定步骤中，还可以是，对风机叶片图像进行二值化处理、以及将二值化处理后的热成像图像划分为N*n个图格，哪一步先进行都可以，其中N和n是可以根据设计需求和精度要求进行调整的，原则是划分的每一个图格尺寸不小于每个像素点，然后对每一个图格的中间灰度值进行求导，并将灰度值求导的结果与根据先验阈值设定的风机叶片边缘图格的灰度求导判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘的图格，所有判定出的图格即围成热成像图像中风机叶片的边缘，其中，每一个图格的中间灰度值是指图格中所包含的所有灰度值中处于中位数或者比重最大的灰度值。
图像增强步骤，将所述风机叶片边缘确定步骤中提取的热成像图像的风机叶片边缘，进行邻域卷积处理，计算出风机叶片边缘每一个位置与其上下、左右相邻位置的灰度差，实现对风机叶片边缘的极值检测，去掉所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘中的伪边缘，得到图像增强模型。
所述图像增强步骤，是通过Prewitt算子对所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘进行邻域卷积处理的，Prewitt算子是一种一阶微分算子的边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用，其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的，这两个方向模板一个检测水平边缘，一个检测垂直边缘，具体的：
是根据梯度值计算公式
Figure BDA0003108909000000121
或者P(xi,yj)＝G(xi)+G(yj)来对所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘每一个像素点进行处理，计算每一个像素点与其上下、左右相邻像素点间的灰度差，完成边缘像素点极值检测，其中，
G(xi)＝|[f(xi-1,yj-1)+f(xi-1,yj)+f(xi-1,yj+1)]-[f(xi+1,yj-1)+f(xi+1,yj)+f(xi+1,yj+1)]|
G(yj)＝|[f(xi-1,yj+1)+f(xi,yj+1)+f(xi+1,yj+1)]-[f(xi-1,yj-1)+f(xi,yj-1)+f(xi+1,yj-1)]|
i表示二维坐标系中第i行，j表示二维坐标系中第j列。
优选的，所述高清相机为设有云台的高清相机或双光摄像头相机，通过在第一无人机的高清相机设置有云台能够用于安装和固定支撑该高清相机，该云台为4108电机三轴微单云台，可挂载Sony等微单相机，最大负载800g，实现飞行过程中三轴增稳，避免所拍照片糊掉等状况。从而保证高清相机的自稳定性，也就是提高拍摄的稳像功能，并且还控制云台上的高清相机在空间方位的转动。第一无人机还包括用于给第一无人机进行供电的第一电池模块，该第一电池模块包括装载两块6S10000mah的电池，可实现热插拔。其中，所述第二相机为高清相机或热成像相机或双光摄像头相机。
在本实施例中，第一无人机主要通过搭载红外摄像头相机，负责拍摄风机叶片的热成像图像信息，也就是通过热成像相机拍摄风机叶片的热成像图像，从而能够直观显示热成像图像信息，快速找出风机叶片表面蒙皮脱落或者大裂纹等缺陷；通过设有云台的高清相机实现高清拍摄，采集风机叶片的高清图像信息并经过处理分析，找出细小裂纹等细微缺陷。
在本实施例中，第二无人机主要搭载TX2控制处理模块，TX2控制处理模块主要获取第一无人机拍摄的图像信息、云台位姿信息、获取第一无人机的坐标位置信息，并分析处理缺陷图像、控制第一无人机进行重复拍摄。具体负责观测周围环境，处理第一无人机拍摄的图像并输出表面缺陷信息，控制第一无人机对缺陷位置处拉近拍摄细节图像，从而实现确认该缺陷位置的过程，以提高风机叶片的检测精度。
在本方案中，所述第一无人机和第二无人机均还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机和第二无人机的位置信息，所述第一无人机和第二无人机在进行热成像图像采样和高清图像采样时，同时将第一无人机和第二无人机的位置信息标记在热成像图像和高清图像中，所述步骤4中，将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像的过程中，还包括根据热成像图像和高清图像中的位置信息对热成像图像和高清图像的比例进行统一调整定位，从而根据第一无人机对应风机叶片拍摄位置的位置信息分析缺陷在风机叶片的位置。
对应上述的无人机系统，本发明还提供了一种用于风机叶片检测的无人机系统及控制方法，包括以下步骤：
步骤1，控制单元通过通讯单元向第一无人机的控制器发送控制指令，控制第一无人机飞抵指定高度位置，然后通过通讯单元向第一无人机的控制器发送热成像采样信号，第一无人机的热成像相机对准被检测风机叶片进行热成像图像采样，并将采集到的风机叶片热成像图像通过控制器发送至控制单元；
步骤2，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，识别出风机叶片的缺陷位置，并根据风机叶片的缺陷位置生成第二无人机的控制指令；
步骤3，控制单元通过通讯单元向第二无人机的控制器发送步骤2生成的控制指令，控制第二无人机飞抵指定位置，然后通过通讯单元向第二无人机的控制器发送高清成像采样信号，第二无人机的高清成像相机对准被检测风机叶片的缺陷位置进行高清图像采样，并将采集到的风机叶片高清成像图像通过控制器发送至控制单元；
步骤4，控制单元对步骤3中采集到的高清图像进行处理，并将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像上。
所述步骤1中，所述第一无人机沿平行于风机叶片的长度方向进行飞行拍摄，且控制所述热成像相机与所述风机叶片的距离为1～3米，通过控制第一无人机沿平行于风机叶片的长度方向进行飞行拍摄以及控制热成像相机距风机叶片的拍摄距离设置在1～3米之间，不仅能够降低无人机在飞行过程中出现撞击风机的几率，还使得在所设置的拍摄距离内获得清晰精准的图像拍摄精度。若拍摄距离设置太远，会导致拍摄的图像不清楚、避免后期检测导致精度低；另外，太近距离拍摄时，无人机在飞行过程中容易出现撞击风机导致无人机和风机损坏。
优选的，所述步骤1中，所述第一无人机对被检测风机叶片进行热成像图像采样时，所述控制单元控制所述第二无人机同时获取风机叶片整体图像，其中，所述整体图像中包括含第一无人机对风机叶片进行热成像图像采样的图像。
进一步的，所述第一无人机和第二无人机均还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机和第二无人机的位置信息，所述第一无人机和第二无人机在进行热成像图像采样和高清图像采样时，同时将第一无人机和第二无人机的位置信息标记在热成像图像和高清图像中，所述步骤4中，将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像的过程中，还包括根据热成像图像和高清图像中的位置信息对热成像图像和高清图像的比例进行统一调整定位。
在本实施例中，其中，所述第一无人机还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机的位置信息，通过第一无人机中的RTK定位模块对第一无人机进行实时定位，以可获得第一无人机的位置信息，从而根据所获得第一无人机的位置信息可进一步分析风机叶片的拍摄位置的位置信息，从而获得更加精准的图像位置信息，并通过通讯单元将第一无人机获取的热成像图像信息传输至控制单元。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例中的实施方案可以进一步组合或者替换，且实施例仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中专业技术人员对本发明的技术方案作出的各种变化和改进，均属于本发明的保护范围。

Claims (10)

1.一种用于风机叶片检测的无人机系统，其特征在于：包括控制单元、通讯单元、用于对被检测风机叶片进行热成像图像采样进行采样的第一无人机，以及用于对被检测风机叶片进行高清图像采样的第二无人机；
所述第一无人机包括控制器以及与控制器间控制相连的热成像相机，控制器通过所述通讯单元接收所述控制单元的无人机控制信号和热成像采样信号，并根据无人机控制信号和热成像采样信号控制第一无人机飞抵指定位置对被检测风机叶片进行热成像图像采样；
所述第二无人机包括控制器以及与控制器间控制相连的高清成像相机，控制器通过所述通讯单元接收所述控制单元的无人机控制信号和高清成像采样信号，并根据无人机控制信号和高清成像采样信号控制第二无人机飞抵指定位置对被检测风机叶片进行高清图像采样；
所述控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，识别出风机叶片的缺陷位置，并向第二无人机的控制器发出控制指令，控制第二无人机飞抵指定位置，对被检测风机叶片缺陷位置进行高清图像采样，并对高清图像进行处理，将从热成像图像中识别出的风机叶片缺陷位置标记在高清图像上。
2.如权利要求1所述的一种用于风机叶片检测的无人机系统，其特征在于：所述第一无人机沿平行于风机叶片的长度方向进行飞行拍摄，且控制所述热成像相机与所述风机叶片的距离为1～3米。
3.如权利要求1所述的一种用于风机叶片检测的无人机系统，其特征在于：所述第一无人机和第二无人机均还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机和第二无人机的位置信息。
4.如权利要求1所述的一种用于风机叶片检测的无人机系统，其特征在于：所述高清相机为设有云台的高清相机或双光摄像头相机。
5.一种用于风机叶片检测的无人机控制方法，其特征在于，包括以下步骤：
步骤1，控制单元通过通讯单元向第一无人机的控制器发送控制指令，控制第一无人机飞抵指定高度位置，然后通过通讯单元向第一无人机的控制器发送热成像采样信号，第一无人机的热成像相机对准被检测风机叶片进行热成像图像采样，并将采集到的风机叶片热成像图像通过控制器发送至控制单元；
步骤2，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，识别出风机叶片的缺陷位置，并根据风机叶片的缺陷位置生成第二无人机的控制指令；
步骤3，控制单元通过通讯单元向第二无人机的控制器发送步骤2生成的控制指令，控制第二无人机飞抵指定位置，然后通过通讯单元向第二无人机的控制器发送高清成像采样信号，第二无人机的高清成像相机对准被检测风机叶片的缺陷位置进行高清图像采样，并将采集到的风机叶片高清成像图像通过控制器发送至控制单元；
步骤4，控制单元对步骤3中采集到的高清图像进行处理，并将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像上。
6.如权利要求5所述的一种用于风机叶片检测的无人机控制方法，其特征在于：所述步骤1中，所述第一无人机对被检测风机叶片进行热成像图像采样时，所述控制单元控制所述第二无人机同时获取风机叶片整体图像，其中，所述整体图像中包括含第一无人机对风机叶片进行热成像图像采样的图像。
7.如权利要求5所述的一种用于风机叶片检测的无人机控制方法，其特征在于：所述步骤1中，所述第一无人机沿平行于风机叶片的长度方向进行飞行拍摄，且控制所述热成像相机与所述风机叶片的距离为1～3米。
8.如权利要求5或6所述的一种用于风机叶片检测的无人机控制方法，其特征在于：所述第一无人机和第二无人机均还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机和第二无人机的位置信息，所述第一无人机和第二无人机在进行热成像图像采样和高清图像采样时，同时将第一无人机和第二无人机的位置信息标记在热成像图像和高清图像中，所述步骤4中，将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像的过程中，还包括根据热成像图像和高清图像中的位置信息对热成像图像和高清图像的比例进行统一调整定位。
9.如权利要求5所述的一种用于风机叶片检测的无人机控制方法，其特征在于，所述步骤2中，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，具体的，包括以下步骤：
步骤21，对热成像图像进行图像增广处理，增加热成像图像的数据量；
步骤22，对经过步骤21图像增广处理后的热成像图像进行二值化处理，然后通过高斯滤波处理消除热成像图像中的高斯噪声，具体的，是采用二维高斯分布
Figure FDA0003108908990000031
对经过步骤21图像增广处理后的热成像图像中的特征变量x和y进行高斯滤波处理，其中，σ是可调参数，σ的大小决定高斯函数的宽度，G(x，y)表示关于x和y的高斯函数，x代表像素点的灰度值，y代表通过高斯函数计算后的灰度值；然后对高斯滤波处理后的图像再进行线性灰度增强处理具体的，是通过灰度线性变换函数
Figure FDA0003108908990000032
对所述经过高斯滤波处理后的图像中的特征变量x和y进行线性灰度增强处理，其中，g(x，y)表示关于(x，y)的线性变换函数，其灰度范围为[c，d]，前述高斯函数是先处理图像的噪声，线性变换函数再对图像内的像素进行线性扩展，f(x，y)为线性变换函数转换前的热成像图像灰度值，其灰度范围为[a，b]；
步骤23，采用scharr算子对经过步骤22处理的图像进一步进行图像锐化处理，得到图像增强模型，charr算子的边缘检测滤波的尺寸为3×3，因此也有称其为Scharr滤波器，可以通过将Scharr算子中的权重系数放大来增大像素值间的差异，Scharr算子就是采用的这种思想，其在二值化图像的X方向和Y方向的边缘检测算子
Figure FDA0003108908990000033
10.如权利要求5所述的一种用于风机叶片检测的无人机控制方法，其特征在于，所述步骤2中，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，具体的，包括以下步骤：
风机叶片提取步骤，获取待检测风机叶片的热成像图像，对热成像图像进行二值化处理、以及将二值化处理后的热成像图像划分为N*n个图格，哪一步先进行都可以，其中N和n是可以根据设计需求和精度要求进行调整的，原则是划分的每一个图格尺寸不小于每个像素点，然后将每一个图格的中间与根据先验阈值设定的属于风机叶片边缘区域图格的灰度判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘区域的图格，其中，每一个图格的中间灰度值是指图格中所包含的所有灰度值中处于中位数或者比重最大的灰度值，根据风机叶片的边缘区域所在位置，将热成像图像中的边缘区域以外的背景去除，提到得到图像中的风机叶片图像；
风机叶片边缘确定步骤，将所述风机叶片提取步骤中提取的风机叶片图像边缘区域进行灰度值求导，并根据灰度值求导结果确定风机叶片边缘的像素点，提取得到风机叶片的边缘，具体的，对风机叶片图像逐个像素点进行灰度值求导处理，并将灰度值求导的结果与根据先验阈值设定的风机叶片边缘像素点的灰度求导判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘的像素点，即构成热成像图像中风机叶片的边缘，对风机叶片图像设立二维坐标系，并将热成像图像中每个像素点都用二维坐标(x，y)来表示，一张图像有x方向和y方向也可以称为(x，y)坐标，求导只能求一个方向，所以建立二维的(x，y)两个方向的导数对应二值化的像素点，任意方向的导数超过设定值都可以判定该点为边缘点，然后利用梯度公式
Figure FDA0003108908990000041
计算每一个像素点的梯度的模，对应得到每一个像素点灰度值的变换率，其中，整体的梯度f的长度为M(x，y)，则
Figure FDA0003108908990000042
其中
Figure FDA0003108908990000043
分别表示在x方向上求导和早y方向上求导，灰度值的变换率即为灰度值求导的结果，对应的，所述灰度求导判定阈值为设定的变换率值；
图像增强步骤，通过Prewitt算子对所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘进行邻域卷积处理，实现对风机叶片边缘的极值检测，去掉所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘中的伪边缘，具体的：是根据梯度值计算公式
Figure FDA0003108908990000044
或者P(xi,yj)＝G(xi)+G(yj)来对所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘每一个像素点进行处理，计算每一个像素点与其上下、左右相邻像素点间的灰度差，完成边缘像素点极值检测，其中，
G(xi)＝|[f(xi-1,yj-1)+f(xi-1,yj)+f(xi-1,yj+1)]-[f(xi+1,yj-1)+f(xi+1,yj)+f(xi+1,yj+1)]|
G(yj)＝|[f(xi-1,yj+1)+f(xi,yj+1)+f(xi+1,yj+1)]-[f(xi-1,yj-1)+f(xi,yj-1)+f(xi+1,yj-1)]|
i表示二维坐标系中第i行，j表示二维坐标系中第j列；
即得到图像增强模型。
CN202110643559.6A 2021-06-09 2021-06-09 一种用于风机叶片检测的无人机系统及控制方法 Active CN113406091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110643559.6A CN113406091B (zh) 2021-06-09 2021-06-09 一种用于风机叶片检测的无人机系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110643559.6A CN113406091B (zh) 2021-06-09 2021-06-09 一种用于风机叶片检测的无人机系统及控制方法

Publications (2)

Publication Number Publication Date
CN113406091A true CN113406091A (zh) 2021-09-17
CN113406091B CN113406091B (zh) 2024-07-26

Family

ID=77683358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110643559.6A Active CN113406091B (zh) 2021-06-09 2021-06-09 一种用于风机叶片检测的无人机系统及控制方法

Country Status (1)

Country Link
CN (1) CN113406091B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758075A (zh) * 2023-08-18 2023-09-15 深圳市智祥源科技有限公司 基于人工智能的吹风机电机运行故障检测方法
CN117029782A (zh) * 2023-07-25 2023-11-10 无锡建设监理咨询有限公司 基于无人机排查市政道路给排水施工的方法、系统及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150043769A1 (en) * 2013-03-15 2015-02-12 Digital Wind Systems, Inc. Method and apparatus for remote feature measurement in distorted images
CN105651780A (zh) * 2015-12-28 2016-06-08 新疆金风科技股份有限公司 通过无人机检测风机叶片状态的方法、装置及系统
CN108459027A (zh) * 2018-03-21 2018-08-28 华北电力大学 一种基于图像处理的风力发电机叶片表面缺陷检测方法
KR101912434B1 (ko) * 2017-07-12 2018-10-26 세종대학교산학협력단 회전 구조물 모니터링을 위한 연속파 라인 레이저 열화상 장치 및 방법
CN108981924A (zh) * 2018-07-27 2018-12-11 内蒙古农业大学 一种在役大型风力机叶片早期损伤现场检测系统
CN109470712A (zh) * 2018-12-23 2019-03-15 北京汉文景科技有限公司 一种风电叶片检测系统
CN110231365A (zh) * 2019-07-16 2019-09-13 中能电力科技开发有限公司 一种基于红外热波的风力发电机组叶片无损检测系统
CN111461210A (zh) * 2020-03-31 2020-07-28 天津智惠未来科技有限责任公司 一种基于无人机风电巡检叶片缺陷等级判定方法
CN112098416A (zh) * 2020-08-21 2020-12-18 深圳大学 一种基于机器视觉的风机叶片缺陷检测方法及系统
CN112577606A (zh) * 2020-12-10 2021-03-30 湖南大学 一种双无人机搭载主动热成像的风机叶片巡检方法
CN112666219A (zh) * 2020-12-29 2021-04-16 厦门理工学院 一种基于红外热成像的叶片检测方法和装置以及设备
CN112686860A (zh) * 2020-12-29 2021-04-20 厦门理工学院 一种基于红外热成像的叶片检测方法和装置以及设备
CN112802011A (zh) * 2021-02-25 2021-05-14 上海电机学院 一种基于vgg-bls的风机叶片缺陷检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150043769A1 (en) * 2013-03-15 2015-02-12 Digital Wind Systems, Inc. Method and apparatus for remote feature measurement in distorted images
CN105651780A (zh) * 2015-12-28 2016-06-08 新疆金风科技股份有限公司 通过无人机检测风机叶片状态的方法、装置及系统
KR101912434B1 (ko) * 2017-07-12 2018-10-26 세종대학교산학협력단 회전 구조물 모니터링을 위한 연속파 라인 레이저 열화상 장치 및 방법
CN108459027A (zh) * 2018-03-21 2018-08-28 华北电力大学 一种基于图像处理的风力发电机叶片表面缺陷检测方法
CN108981924A (zh) * 2018-07-27 2018-12-11 内蒙古农业大学 一种在役大型风力机叶片早期损伤现场检测系统
CN109470712A (zh) * 2018-12-23 2019-03-15 北京汉文景科技有限公司 一种风电叶片检测系统
CN110231365A (zh) * 2019-07-16 2019-09-13 中能电力科技开发有限公司 一种基于红外热波的风力发电机组叶片无损检测系统
CN111461210A (zh) * 2020-03-31 2020-07-28 天津智惠未来科技有限责任公司 一种基于无人机风电巡检叶片缺陷等级判定方法
CN112098416A (zh) * 2020-08-21 2020-12-18 深圳大学 一种基于机器视觉的风机叶片缺陷检测方法及系统
CN112577606A (zh) * 2020-12-10 2021-03-30 湖南大学 一种双无人机搭载主动热成像的风机叶片巡检方法
CN112666219A (zh) * 2020-12-29 2021-04-16 厦门理工学院 一种基于红外热成像的叶片检测方法和装置以及设备
CN112686860A (zh) * 2020-12-29 2021-04-20 厦门理工学院 一种基于红外热成像的叶片检测方法和装置以及设备
CN112802011A (zh) * 2021-02-25 2021-05-14 上海电机学院 一种基于vgg-bls的风机叶片缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
仇梓峰 等: "基于无人机图像的风力发电机叶片缺陷识别", 发电技术, vol. 39, no. 03, 30 June 2018 (2018-06-30), pages 277 - 285 *
李刚 等: "风力发电机叶片状态监测与故障诊断技术近况", 工业仪表与自动化装置, no. 05, pages 16 - 20 *
毛希玮 等: "基于无人机的风机叶片缺陷自动检测技术", 复合材料科学与工程, no. 09, pages 85 - 89 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117029782A (zh) * 2023-07-25 2023-11-10 无锡建设监理咨询有限公司 基于无人机排查市政道路给排水施工的方法、系统及装置
CN116758075A (zh) * 2023-08-18 2023-09-15 深圳市智祥源科技有限公司 基于人工智能的吹风机电机运行故障检测方法
CN116758075B (zh) * 2023-08-18 2023-11-24 深圳市智祥源科技有限公司 基于人工智能的吹风机电机运行故障检测方法

Also Published As

Publication number Publication date
CN113406091B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
CN104482860B (zh) 鱼类形态参数自动测量装置和方法
AU2019222803A1 (en) Volume measurement apparatus and method
CN113406091A (zh) 一种用于风机叶片检测的无人机系统及控制方法
CN112069902A (zh) 一种变电站屏柜压板识别方法及系统
WO2022233096A1 (zh) 一种基于深度视觉的钢坯最优剪切控制方法及装置
CN114623049B (zh) 一种风电机组塔架净空监测方法、计算机程序产品
CN109523528B (zh) 一种基于无人机双目视觉sgc算法的输电线路提取方法
CN109886170B (zh) 一种钉螺智能检测识别与统计系统
CN115115595B (zh) 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法
CN107221006A (zh) 一种基于无人机成像平台的通信单管塔倾斜检测方法
CN108921132A (zh) 无人机机载电缆探测系统
CN109297978B (zh) 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统
CN114639025B (zh) 一种无人机辅助下风力机叶片检修方法及装置
CN110288623A (zh) 无人机海上网箱养殖巡检图像的数据压缩方法
CN207366475U (zh) 一种凹凸图案在线视频检测装置
CN116912715A (zh) 一种面向风机叶片巡检的无人机视觉伺服控制方法及系统
CN111985435A (zh) 一种基于机器视觉的无人机水域监测巡航方法
CN208187400U (zh) 一种基于机器视觉的鱼类体长测量装置
CN116600210B (zh) 基于机器人视觉的图像采集优化系统
CN116883999A (zh) 变电站大型施工机械与工作区域的安全距离监测方法
CN116665077A (zh) 基于ai识别技术的输电线路检测拍摄方法及其系统
CN108509851B (zh) 基于图像分析的气候危情报警平台
CN115437394A (zh) 一种用于河道监测的无人机系统及其自主巡线方法
CN114926532B (zh) 一种再生稻穗层高度在线检测方法及系统和收获机
CN213987269U (zh) 一种无人机巡检风机叶片的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant