CN108915959A - 通过无人机对风机叶尖区域绕行检测方法及系统 - Google Patents
通过无人机对风机叶尖区域绕行检测方法及系统 Download PDFInfo
- Publication number
- CN108915959A CN108915959A CN201810675504.1A CN201810675504A CN108915959A CN 108915959 A CN108915959 A CN 108915959A CN 201810675504 A CN201810675504 A CN 201810675504A CN 108915959 A CN108915959 A CN 108915959A
- Authority
- CN
- China
- Prior art keywords
- blade
- unmanned plane
- blower
- point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种通过无人机对风机叶尖区域绕行检测方法及系统,风机包括风塔和设置在风塔顶端的叶轮、发电机,叶轮包括连接发电机的轮毂和多个沿轮毂周向均匀分布的叶片,将一叶片作为目标叶片,包括如下:通过设置有固态雷达的无人机对目标叶片一侧面进行从叶根区域至叶尖区域的跟踪探测;当固态雷达已探测到无人机飞离叶尖区域第一设定距离时,通过无人机上设置的相机采集视频流,相机的镜头朝向角度与固态雷达的探测角度相同;通过一控制界面查看视频流,当通过视频流确认无人机已飞离叶尖区域时,控制无人机通过叶尖端绕行至目标叶片另一侧面。本发明能够避免了在固态雷达的反馈存在误差时,无人机撞到叶片上的风险。
Description
技术领域
本发明涉及风机检测,具体地,涉及一种通过无人机对风机叶尖区域绕行检测方法及系统。
背景技术
风力发电机是将风能转换为机械功,机械功带动转子旋转,最终输出交流电的电力设备。风力发电机一般有叶片、发电机、调向器、塔架、限速安全机构和储能装置等构件组成。
在风力发电机的长期运行过程中,叶片的表面会呈现出各种损伤,例如叶片保护膜损伤、叶片掉漆、叶片结冰、叶片裂纹以及叶片油污等。
目前,对叶片表面进行损伤检测时,通常采用人工爬上风力发电机进行检测,不仅会花费大量的人力,而且在人工爬上风力发电的进行检测的时候需要高空作业,作业人员的安全具有一定的风险。
因此通过无人机装载摄像头进行风机检测,能够很好的代替人工进行检测。为了提高无人机的检测效率,需要对无人机的飞行路线进行规划,但是在完成一风机叶片的一侧面检测时,需要通过叶尖绕行至叶片的另一侧面进行检测,由于无人机飞行时通过固态雷达的探测和GPS定位确认无人机的位置,但是GPS定位时存在较大的误差,而且在叶尖区域,叶片的宽度较窄以及光线对叶片的照射均会引起固态雷达探测的错误,而固态雷达的探测错误将会使得无人与风机叶片相撞,容易造成无人机的坠机。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种通过无人机对风机叶尖区域绕行检测方法及系统。
本发明提供的通过无人机对风机叶尖区域绕行检测方法,所述风机包括风塔和设置在风塔顶端的叶轮、发电机,所述叶轮设置在所述发电机前端以驱动所述发电机,所述叶轮包括连接所述发电机的轮毂和多个沿轮毂周向均匀分布的叶片,将一叶片作为目标叶片,包括如下步骤:
步骤S1:通过设置有固态雷达的无人机对目标叶片一侧面进行从叶根区域至叶尖区域的跟踪探测;
步骤S2:当所述固态雷达探测到所述无人机飞离所述目标叶片的叶尖端第一设定距离时,通过所述无人机上设置的相机采集视频流,所述相机的镜头朝向与所述固态雷达的探测朝向相同;
步骤S3:通过一控制界面查看所述视频流,当通过所述视频流确认所述无人机已飞离所述叶尖区域时,控制所述无人机通过叶尖端绕行至所述目标叶片另一侧面。
优选地,当在步骤S1至步骤S2中,当所述固态雷达探测到目标叶片时,通过所述相机连续采集目标叶片的多张图像;
在所述图像中识别出所述叶片的缺陷,并标注出每一所述缺陷的缺陷位置和缺陷类型以及所述缺陷所在叶片的编号。
优选地,当在所述图像中识别出所述叶片的缺陷包括如下步骤:
步骤M101:将所述叶片的缺陷分类成若干缺陷类型,采集每种缺陷类型对应的叶片图像区域,生成多组训练图像;
步骤M102:通过多组所述训练图像训练缺陷识别模块;
步骤M103:将采集到的所述多张图像输入所述缺陷识别模块识别并进行缺陷位置和缺陷类型的标记。
优选地,所述控制界面为用于控制所述无人机的APP界面,装载所述APP的智能手机或平板电脑无线连接所述无人机上搭载的机载电脑;
所述机载电脑连接所述相机和所述固态雷达。
优选地,当在步骤S1至步骤S3中,所述无人机的飞行路线通过如下方式生成
步骤N1:以风机的风塔的地面中心为原点O建立世界坐标系,所述世界坐标系中,Y轴为竖直向上的方向,Z轴为正南方向,X轴为正东方向;
步骤N2:根据所述世界坐标系进行平移变换和旋转变换生成所述电机对应的电机坐标系,根据所述电机坐标系进行平移变换和旋转变换生成所述轮毂对应的轮毂坐标系,进而根据所述轮毂坐标系进行旋转变换生成每一叶片对应的叶片坐标系;
步骤N3:通过每一叶片对应的叶片坐标系在每一所述叶片的前侧和/或后侧设置多个路径点,每个所述路径点包括地理位置和相机姿态信息,根据所述路径点形成飞行路线。
优选地,在每一叶片对应的所述叶片坐标系中确定每一叶片前侧和/或后侧路径点的坐标,具体为:
a=n/(N-1);
V_wp[n]=[a*L,V_dist,H_dist];
其中,V_wp[n]为编号n的路径点坐标,N为沿叶长度方向的路径点的数量,n为路径点的编号,L为叶片的长度,H_dist为路径点距离叶片中的水平距离,V_dist为路径点距离叶片的垂直距离,当路径点位于叶片前侧时,H_dist为正值,当路径点位于叶片后侧时,H_dist为负值,当路径点位于叶片上侧时,V_dist为正值,当路径点位于叶片下侧面时,V_dist为负值。
优选地,所述相机姿态信息包括朝向角和俯仰角;
所述朝向角采用无人机的朝向角;
所述俯仰角通过路径点的地理位置和目标点的坐标计算生成,具体为:
dv=wpos_trgt-wpos_wp
wpos_trgt是目标点的世界坐标,wpos_wp是路径点的世界坐标,dv作为相机观测向量,通过下式计算可得:
r=sqrt(dv.x*dv.x+dv.z*dv.z);
H0=atan(x,z);
H=90-H0;
P=atan(r,y);
其中,x为相机观测向量在世界坐标系中x轴分量、z为机观测向量在世界坐标系中z轴分量,r是相机观测向量在x-z平面上的投影,H是相机的朝向角,P是相机的俯仰角。
优选地,所述发电机与所述风塔之间的平移矩阵为(0,Hgt,0),所述发电机与所述风塔之间的旋转矩阵为(0,Hdg,0);
所述轮毂与所述发电机之间的平移矩阵为(0,0,Fwd),所述轮毂与所述发电机之间的旋转矩阵(P,0,R);
其中,Hgt为风塔高度,具体为地面至轮毂中心的距离,Hdg为风机的朝向角度,Fwd为从轮毂中心至风塔中心的位置,P为轮毂的俯仰角,R为轮毂的转角。
优选地,所述风机的朝向角度采用如下步骤计算生成:
步骤M1:控制无人机以风塔高度绕风机飞行,当无人机在飞行过程中,通过图像传感器采集所述叶轮的视频流;
步骤M2:对所述视频流中的叶片进行检测,当检测到风机的三个叶片时,对三个叶片进行实时跟踪,并实时计算三个叶片的相对位置及重叠度;
步骤M3:当检测到两个叶片完全重叠时,认定此时无人机飞行到风轮平面β上,读取此时位置传感器获取的点P1的位置信息;
步骤M4:根据点P1的位置信息计算与点P1以风塔呈轴对称分别的点P2的第一位置信息;
步骤M5:根据点P1的位置信息、点P2的第一位置信息以及地球质心计算出风轮平面β,进而根据所述风轮平面的法向量确定所述风机的朝向角度。
本发明提供的通过无人机对风机叶尖区域绕行检测系统,用于实现所述的通过无人机对风机叶尖区域绕行检测方法,包括如下模块:
跟踪探测模块,用于控制设置有固态雷达的无人机对目标叶片一侧面进行从叶根区域至叶尖区域的跟踪探测;
视频采集模块,用于当所述固态雷达探测到所述无人机飞离所述目标叶片的叶尖端第一设定距离时,通过所述无人机上设置的相机采集视频流,所述相机的镜头朝向与所述固态雷达的探测朝向相同;
飞行控制模块,用于提供一控制界面查看所述视频流,当通过所述视频流确认所述无人机已飞离所述叶尖区域时,控制所述无人机通过叶尖端绕行至所述目标叶片另一侧面。
与现有技术相比,本发明具有如下的有益效果:
本发明中在进行风机叶片检测时,当无人机完成从叶根区域至叶尖区域的跟踪检测时,需要通过叶尖端绕行至所述目标叶片另一侧面时,当在收到固态雷达探测到无人机已与叶尖端的之间的距离大于第一设定距离时,通过相机采集的视频流确认无人机确已远离叶尖区域时,才控制无人机通过叶尖端绕行至所述目标叶片另一侧面,避免了在固态雷达的反馈存在误差时,无人机撞到叶片上的风险。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明中通过无人机对风机叶尖区域绕行检测方法的步骤流程图;
图2、图3示出了本发明中通过控制界面控制无人机绕过叶尖的示意图;
图4为本发明中风机前侧检测的飞行路线示意图;
图5为本发明中风机后侧检测的飞行路线示意图;
图6为本发明中风机的朝向角度确定的原理示意图;
图7为本发明中通过无人机对风机叶尖区域绕行检测系统的模块示意图。
图中:
1 为风塔;
2 为轮毂;
3 为发电机;
4 为叶片A;
5 为叶片B;
6 为叶片C;
101 为第一平面δ;
102 为飞行轨迹曲线s;
103 为风轮平面β;
104 为直线l;
105 为点P1;
106 为点P2。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1为本发明中通过无人机对风机叶尖区域绕行检测方法的步骤流程图;如图1所示,本发明提供的通过无人机对风机叶尖区域绕行检测方法,所述风机包括风塔和设置在风塔顶端的叶轮、发电机,所述叶轮设置在所述发电机前端以驱动所述发电机,所述叶轮包括连接所述发电机的轮毂和多个沿轮毂周向均匀分布的叶片,将一的叶片作为目标叶片,包括如下步骤:
步骤S1:通过设置有固态雷达的无人机对目标叶片一侧面进行从叶根区域至叶尖区域的跟踪探测;
步骤S2:当所述固态雷达探测到所述无人机飞离所述目标叶片的叶尖端第一设定距离时,通过所述无人机上设置的相机采集视频流,所述相机的镜头朝向与所述固态雷达的探测朝向相同;
步骤S3:通过一控制界面查看所述视频流,当通过所述视频流确认所述无人机已飞离所述叶尖区域时,控制所述无人机通过叶尖端绕行至所述目标叶片另一侧面。
在本实施例中,向上延伸的叶片作为目标叶片,具体为,在地面坐标系中朝向Z轴的正轴。所述第一设定距离为8至10米。所述相机的镜头朝向角度保持与所述固态雷达的探测朝向角度相同,即当所述固态雷达探测到所述目标叶片的一位置时,所述相机的镜头也朝向该位置,实现对该位置图像的采集。所述相机和所述固态雷达装载在所述无人机的正前侧。
在本实施例中,所述叶尖区域可以设定为靠近叶尖端的1/8叶片长度,叶根区域可以设定为靠近叶根端的1/8叶片长度。
在本实施例中,所述固态雷达采用北醒CE30-D固态激光雷达。
当图2、图3示出了本发明中通过控制界面控制无人机绕过叶尖的示意图,如图2、图3所示,在所述控制界面上,当通过视频流还能够查看所述目标叶片的图像,所述控制界面显示继续图标,此时,不能够控制无人机进行绕叶尖路径飞行,当通过视频流看不到所述目标叶片的图像,所述控制界面显示确认图标,即判断出所述无人机已飞离所述叶尖区域时,可以控制无人机进行绕叶尖路径飞行,使得所述无人机能够绕至所述目标叶片另一侧面。
本发明中在进行风机叶片背侧的检测时,当无人机飞行至目标叶片根部区域时,继续向下,在发电机下侧绕所述风塔旋转第一设定角度后,继续向上飞行,实现了叶片根部区域的检测,避免了在对叶片根部区域进行检测时,撞到发电机的风险。
当在步骤S1至步骤S2中,当所述固态雷达探测到目标叶片时,通过无人机上设置的相机连续采集目标叶片的多张图像;
在所述图像中识别出所述叶片的缺陷,并标注出每一所述缺陷的缺陷位置和缺陷类型以及所述缺陷所在叶片的编号。
在本实施例中,所述缺陷类型包括如下任一种或任多种:
-叶片开裂;
-附件脱落;
-表面腐蚀;
-表面掉漆;
-胶衣脱落;
-胶衣裂纹。
在变形例中,也可以增加叶片雷击损伤、表面污染、结构损坏或前缘保护膜损伤等其他损坏。
当在所述图像中识别出所述叶片的缺陷包括如下步骤:
步骤M101:将所述叶片的缺陷分类成若干缺陷类型,采集每种缺陷类型对应的叶片图像区域,生成多组训练图像;
步骤M102:通过多组所述训练图像训练缺陷识别模块;
步骤M103:将采集到的所述多张图像输入所述缺陷识别模块识别并进行缺陷位置和缺陷类型的标记。
在本实施例中,本发明中将所述叶片的缺陷分类呈若干缺陷类型,采集每种缺陷类型对应的叶片图像区域,生成多组训练图像,通过多组所述训练图像训练缺陷识别模块,从而提高了缺陷类型的识别效率。
在本实施例中,进行缺陷位置和缺陷类型的标记,具体为将缺陷位置在叶片上框出,将所述缺陷类型通过文字标识出或通过字符标识出。
在将所述每种缺陷类型对应的叶片图像区域生成多组训练图像时,将所述叶片图像区域的背景去除;
所述背景为采集叶片图像区域时生成的与所述叶片图像区域在平面上相邻的区域。
当将采集到的所述多张图像输入所述缺陷识别模块识别时,将所述图像的背景去除。
在本实施例中,所述背景可以拍摄风机图像时,引入的地面、草地、天空等背景,将所述叶片图像区域的背景去除,即将所述图像上的非叶片图像区域去除。将所述图像的背景去除,即将在所述图像上的非风机和叶片区域去除。
所述目标叶片的前侧边与所述风塔的轴线之间夹角在±5°以内。
在本实施例中,所述目标叶片的前侧边与所述风塔的轴线相平行。
当在步骤S1至步骤S5中,所述无人机的飞行路线通过如下方式生成,包括如下步骤:
步骤N1:以风机的风塔的地面中心为原点O建立世界坐标系,所述世界坐标系中,Y轴为竖直向上的方向,Z轴为正南方向,X轴为正东方向;
步骤N2:根据所述世界坐标系进行平移变换和旋转变换生成所述发电机对应的发电机坐标系,根据所述发电机坐标系进行平移变换和旋转变换生成所述轮毂对应的轮毂坐标系,进而根据所述轮毂坐标系进行旋转变换生成每一叶片对应的叶片坐标系;
步骤N3:通过每一叶片对应的叶片坐标系在每一所述叶片的前侧和/或后侧设置多个路径点,每个所述路径点包括地理位置和相机姿态信息,根据所述路径点形成飞行路线。
在本实施例中,当通过无人机进行风机叶片检测时,无人机上设置的路径计算模块将计算出无人机的预设的所述飞行路线,并在飞行路线上路径点拍摄照片。其中每个路径点包括地理位置、高度和相机姿态,所述地理位置采用经度和纬度表示,所述高度为相对于起飞点的高度,所述相机姿态包括相机朝向和相机偏转角度。
路径计算模块的输入包括:风塔的GPS位置、风机的朝向、风机参数以及自定义参数。所述风机参数包括风塔高度、叶片长度、风轮相对于风塔的前移距离以及风轮的朝向。自定义参数包括路径点的数量和路径点的位置。
在三维坐标系中,点和方向采用向量V表示,V=[X,Y,Z];在三维坐标系中,点和方向的变换包括平移、旋转和缩放,本发明中仅涉及平移和旋转。本发明中两个三维坐标系之间采用4×4矩阵进行变换,当进行变换时,只需要进行两个矩阵的相乘即可,从而实现级联合并,如M=Mt*Mr*Ms,Mt是平移矩阵,Mr是旋转矩阵,Ms是缩放矩阵。
在本发明中,风机模型可以采用如下的部件数表示。
■风塔
ο发电机
■轮毂
·叶片A
·叶片B
·叶片C
对于每一部件,在世界坐标系中,变换关系如下:
表1为本发明中风机各部件的变换关系
其中,Hgt为风塔高度,具体为地面至轮毂中心的距离;Hdg为风机的朝向角度;如Hdg为0度时,朝向为正北,Hdg为90度时,朝向为正东,Hdg为180度时,朝向为为正南,Hdg为270度时,朝向为正西,即风机的朝向角度在0度至360度之间均匀变化。在本实施例中,以发电机的朝向为确定为风机的朝向角度。Fwd为从轮毂中心至风塔中心的位置;P为轮毂的俯仰角,通常为5度;R为轮毂的转角,在本实施例中,轮毂的转角为-90度,即叶片A与风塔平行。旋转变换采用欧拉角表示,章动角p、旋进角y和自转角r组成。在本实施例中,所述轮毂中心为轮毂的质心。
在本实施例中,叶片B为目标叶片,叶片C为另一叶片,叶片A为另一叶片。
在本发明中,在每一叶片对应的所述叶片坐标系中确定每一叶片前侧和/或后侧路径点的坐标,具体为:
a=n/(N-1);
V_wp[n]=[a*L,V_dist,H_dist];
其中,V_wp[n]为编号n的路径点坐标,N为沿叶长度方向的路径点的数量,n为路径点的编号,L为叶片的长度,H_dist为路径点距离叶片中的水平距离,V_dist为路径点距离叶片的垂直距离,当路径点位于叶片前侧时,H_dist为正值,当路径点位于叶片后侧时,H_dist为负值,当路径点位于叶片上侧时,V_dist为正值,当路径点位于叶片下侧面时,V_dist为负值。
每一叶片两侧的路径点作为叶片的子目标附附加在叶片上。
每一路径点对应一相机观测的目标点V_trgt[n],所述目标点位于所述叶片上沿所述叶片的长度方向依次排列,具体为:
V_trgt[n]=[a*L,0,0]。
在本实施例中,相机观测的目标点作为叶片的子目标附加在叶片上。在后续计算过程中,V_wp和V_trgt的位置将被转换至世界空间系中,且然后采用视角矩阵计算摄像机的朝向角和俯仰角。
当所述叶片的长度方向上存在弯曲时,
a=n/(N-1);
dV=a*K1+a*a*K2;
V_wp[n]=[a*L,V_dist+dV,H_dist];
其中,其中,K1为预设的一阶系数、K2为预设的二阶系数。
在本实施例中,本发明在不同的检测段之间增加辅助路径点。如在叶片的俯视检测路径点与仰视检测路径点之间设置辅助路径点。
在本实施例中,所述相机姿态信息包括朝向角和俯仰角;
所述朝向角采用无人机的朝向角;
所述俯仰角通过路径点的地理位置和目标点的坐标计算生成,具体为:
dv=wpos_trgt-wpos_wp
wpos_trgt是目标点的世界坐标,wpos_wp是路径点的世界坐标,dv作为相机观测向量,通过下式计算可得:
r=sqrt(dv.x*dv.x+dv.z*dv.z);
H0=atan(x,z);
H=90-H0;
P=atan(r,y);
其中,x为相机观测向量在世界坐标系中x轴分量、z为机观测向量在世界坐标系中z轴分量,r是相机观测向量在x-z平面上的投影,H是相机的朝向角,P是相机的俯仰角。
而H0转换为H的原因是,正北为-z轴上,而当atan()结果为0时,在+x轴上。
地理朝向是顺时针的,但本发明中采用的三维计算是右手规则,即x-z平面上逆时针。
当通过无人沿所述路径点飞行时,通过GPS模块提供每一位置的经度和纬度,本发明中采用Haversine公式计算,并通过如下方式计算两个位置之间的距离d:
R=6371;
a=sin(dLat/2)*sin(dLat/2)+cos(dLat1))*cos(dLat2))*sin(dLon/2)*sin(dLon/2);
c=2*atan2(sqrt(a),sqrt(1-a));
d=R*c;
R为公里为单位的地球半径;dLat为两个位置之间的纬度差,dlon为两个位置之间的经度差。
在本实施例中,世界坐标系和大地坐标系(GPS坐标)之间的映射也是基于该公式,本发明中将风塔的底端中心点作为世界坐标系的原点。
在本实施例中,所述发电机与所述风塔之间的平移矩阵为(0,Hgt,0),所述发电机与所述风塔之间的旋转矩阵为(0,Hdg,0);
所述轮毂与所述发电机之间的平移矩阵为(0,0,Fwd),所述轮毂与所述发电机之间的旋转矩阵(P,0,R);
多个所述叶片具体为叶片A、叶片B以及叶片C,所述叶片A与所述轮毂之间的旋转矩阵为(0,0,60),所述叶片B与所述轮毂之间的旋转矩阵为(0,0,180),所述叶片C与所述轮毂之间的旋转矩阵为(0,0,300);
其中,Hgt为风塔高度,具体为地面至轮毂中心的距离,Hdg为风机的朝向角度,Fwd为从轮毂中心至风塔中心的位置,P为轮毂的俯仰角,R为轮毂的转角。
所述风机的朝向角度采用如下步骤计算生成:
步骤M1:控制无人机以风塔高度绕风机飞行,当无人机在飞行过程中,通过图像传感器采集所述叶轮的视频流;
步骤M2:对所述视频流中的叶片进行检测,当检测到风机的三个叶片时,对三个叶片进行实时跟踪,并实时计算三个叶片的相对位置及重叠度;
步骤M3:当检测到两个叶片完全重叠时,认定此时无人机飞行到风轮平面β上,读取此时位置传感器获取的点P1的位置信息;
步骤M4:根据点P1的位置信息计算与点P1以风塔呈轴对称分别的点P2的第一位置信息;
步骤M5:根据点P1的位置信息、点P2的第一位置信息以及地球质心计算出风轮平面β,进而根据所述风轮平面的法向量确定所述风机的朝向角度。
在本实施例中,在步骤S3和步骤S4之间还包括如下步骤:
-让无人机继续飞行,当再次检测到两个叶片完全重叠时,读取此时位置传感器获取的点P2的第二位置信息,通过点P2的第二位置信息对点P2的第一位置信息进行验证,从而提高了算法的效率。
所述无人机上搭载位置传感器、图像传感器和机载电脑;所述位置传感器、所述图像传感器连接所述机载电脑;
当所述无人机绕风机飞行时,所述位置传感器用于实时读取无人机位置信息,图像传感器用于拍摄风机叶片生成风机叶片图像,机载电脑用于无人机位置信息和风机叶片图像的处理。
根据叶片在不同视觉角度呈现不同姿态来精确估计P1,P2,结合地球质点三个不共线的位置点确定风轮平面β,即可求得偏航角a。同理转角的测量是先定位PT,同时读取PT对应图像,应用视觉图像检测出叶片姿态的方位角度。
如图6所示,无人机绕风机轮毂飞行一周形成第一平面δ和飞行轨迹曲线s,第一平面δ与风轮平面β相交于直线l;直线l与飞行轨迹曲线s相交于点P1、P2。
由于点P1、P2在风轮平面β上,因此在确定点P1、P2后配合地球质心便能够确定风轮平面β。
所述无人机在绕风机轮毂飞行时,所述图像传感器采集叶片的视频流,所述位置传感器采集所述视频流对应的位置信息。
由于现在的水平轴大型风力发电机组多采用三叶片形式,根据平面视角遮挡原理,当无人机正好位于点P1或点P2时,会有一个叶片被其他两个叶片遮挡,所述图像传感器检测到风机叶片图像为两个叶片时,进一步的根据点P1、P2的位置特殊性,应用视觉跟踪方法能够将点P1、P2标定出来。
无人机在飞行时实时读取所述图像传感器拍摄到视频流fi,并对图像视频流fi进行预处理生成仅含叶片目标的二值图像流ti。
当无人机接近点P1或点P2时,三叶片中有两叶片接近重叠或者一叶片被部分遮挡,当其重叠率达到最大或者只能检测到两个叶片时,图像传感器检测到二值图像流ti近似为一条斜方向窄带,当无人机位于点P1或P2时,所述窄带的宽度为最小,即二值图像流ti中目标行数累加值τ为最小。
P1=P[min(τ)]
其中,τ为二值图像流ti中目标行数累加值,P为无人机的实时位置,P1为感兴趣位置,fi表示图像传感器采集的视频图像流,τ为根据ti(x,y)的值累加生成,当ti(x,y)=1时累加一次。
因直线l与飞行轨迹曲线s相交于点P1、P2,即点P1、P2相对于轮毂存在对称关系,当先计算出点P1位置,便可计算出点P2大致位置,再借助无人机去验证点P2,从而进一步提高算法的效率。
当进行P0、P1位置验证时包括如下步骤:
步骤A1:将点P0、P1、P2的位置信息转换至地球坐标系(Xe,Ye,Ze);在本实施例中,所述位置传感器为GPS模块,点P0、P1、P2的位置信息通过GPS模块,采用经度、纬度、高度表示;
转换计算公式为:
N为纬度B处的卯酉圈曲率半径,E为地球第一偏心率,E=a2-b2)/a2,a为地球长半径,b为地球短半径,B为位置信息中的纬度,L为位置信息中的风塔高度,H为位置信息中的风塔高度;
步骤A2:验证点P2、P1在地球坐标的下的位置关系,即 其中为P2,P1点直线距离,为P1离风轮中心距离,为P2离风轮中心距离;
步骤A3:计算精确度ratio,判断精确度ratio是否满足98%<ratio<102%;
在本变形例在,还可以通过如下方式确定所述风机的朝向角度:
在风塔附件标记P0点,延后把无人带到无人机前30至50米,标记P3点,从而能够确定风机的朝向为向量P3至P0。虽然本方法没有P1-P2准确,由于P3点的位置由操作者抬头观察风机确定。但是P0-P3方法避免了在叶片检测的环形飞行。
在本实施例中,为了确定风机的朝向和轮毂的旋转角度,当所述无人机以风塔高度绕风机飞行时路径点的位置为:
v_wp[n]=[R*sin(360*n/N),H,R*cos(360*n/N)]
其中,H为风塔高度;距离轮毂的前侧面中心点距离均为H_dist的路径点为前中心路径点,距离轮毂的后侧面中心点距离均为H_dist的路径点为后中心路径点。
图3为本发明中风机前侧检测的飞行路线示意图,图4为本发明中风机后侧检测的飞行路线示意图,如图3、图4所示,当进行本发明中路径点的合并时采用如下顺序
■环绕区域,可省略
■前中心路径点
■叶片A
■前侧俯视检测路径点
■后侧俯视检测路径点
■后侧仰视检测路径点
■前侧仰视检测路径点
■前中心路径点
■叶片B
■左侧前侧检测路径点
■左侧后侧检测路径点
■绕风塔旋转路径点
■右侧后侧检测路径点
■右侧前侧检测路径点
■前中心路径点
■叶片C
■前侧俯视检测路径点
■后侧俯视检测路径点
■后侧仰视检测路径点
■前侧仰视检测路径点
■前中心路径点
其中前中心路径点为起点,依次进行叶片A的前侧俯视检测路径点、绕叶片A叶尖路径点、后侧俯视检测路径点、后侧仰视检测路径点、绕叶片A叶尖路径点,叶片B的左侧前侧检测路径点、左侧后侧检测路径点、绕风塔旋转路径点、右侧后侧检测路径点、右侧前侧检测路径点,叶片C的前侧俯视检测路径点、后侧俯视检测路径点、后侧仰视检测路径点、前侧仰视检测路径点。
在本实施例中,图6为本发明中通过无人机对风机叶尖区域绕行检测系统的模块示意图,如图6所示,本发明提供的通过无人对风机进行自动巡检飞行路线确定系统100,用于实现所述的通过无人机对风机叶尖区域绕行检测方法,包括如下模块:
跟踪探测模块101,用于控制设置有固态雷达的无人机对目标叶片一侧面进行从叶根区域至叶尖区域的跟踪探测;
视频采集模块102,用于当所述固态雷达探测到所述无人机飞离所述目标叶片的叶尖端第一设定距离时,通过所述无人机上设置的相机采集视频流,所述相机的镜头朝向与所述固态雷达的探测朝向相同;
飞行控制模块103,用于提供一控制界面查看所述视频流,当通过所述视频流确认所述无人机已飞离所述叶尖区域时,控制所述无人机通过叶尖端绕行至所述目标叶片另一侧面。
本发明中在进行风机叶片检测时,当无人机完成从叶根区域至叶尖区域的跟踪检测时,需要通过叶尖端绕行至所述目标叶片另一侧面时,当在收到固态雷达探测到无人机已与叶尖区域的之间的距离大于第一设定距离时,通过相机采集的视频流确认无人机确已远离叶尖区域时,才控制无人机通过叶尖端绕行至所述目标叶片另一侧面,避免了在固态雷达的反馈存在误差时,无人机撞到叶片上的风险。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种通过无人机对风机叶尖区域绕行检测方法,所述风机包括风塔和设置在风塔顶端的叶轮、发电机,所述叶轮设置在所述发电机前端以驱动所述发电机,所述叶轮包括连接所述发电机的轮毂和多个沿轮毂周向均匀分布的叶片,将一叶片作为目标叶片,其特征在于,包括如下步骤:
步骤S1:通过设置有固态雷达的无人机对目标叶片一侧面进行从叶根区域至叶尖区域的跟踪探测;
步骤S2:当所述固态雷达探测到所述无人机飞离所述目标叶片的叶尖端第一设定距离时,通过所述无人机上设置的相机采集视频流,所述相机的镜头朝向与所述固态雷达的探测朝向相同;
步骤S3:通过一控制界面查看所述视频流,当通过所述视频流确认所述无人机已飞离所述叶尖区域时,控制所述无人机通过叶尖端绕行至所述目标叶片另一侧面。
2.根据权利要求1所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,当在步骤S1至步骤S2中,当所述固态雷达探测到目标叶片时,通过所述相机连续采集目标叶片的多张图像;
在所述图像中识别出所述叶片的缺陷,并标注出每一所述缺陷的缺陷位置和缺陷类型以及所述缺陷所在叶片的编号。
3.根据权利要求2所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,
当在所述图像中识别出所述叶片的缺陷包括如下步骤:
步骤M101:将所述叶片的缺陷分类成若干缺陷类型,采集每种缺陷类型对应的叶片图像区域,生成多组训练图像;
步骤M102:通过多组所述训练图像训练缺陷识别模块;
步骤M103:将采集到的所述多张图像输入所述缺陷识别模块识别并进行缺陷位置和缺陷类型的标记。
4.根据权利要求1所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,
所述控制界面为用于控制所述无人机的APP界面,装载所述APP的智能手机或平板电脑无线连接所述无人机上搭载的机载电脑;
所述机载电脑连接所述相机和所述固态雷达。
5.根据权利要求1所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,当在步骤S1至步骤S3中,所述无人机的飞行路线通过如下方式生成
步骤N1:以风机的风塔的地面中心为原点O建立世界坐标系,所述世界坐标系中,Y轴为竖直向上的方向,Z轴为正南方向,X轴为正东方向;
步骤N2:根据所述世界坐标系进行平移变换和旋转变换生成所述电机对应的电机坐标系,根据所述电机坐标系进行平移变换和旋转变换生成所述轮毂对应的轮毂坐标系,进而根据所述轮毂坐标系进行旋转变换生成每一叶片对应的叶片坐标系;
步骤N3:通过每一叶片对应的叶片坐标系在每一所述叶片的前侧和/或后侧设置多个路径点,每个所述路径点包括地理位置和相机姿态信息,根据所述路径点形成飞行路线。
6.根据权利要求5所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,在每一叶片对应的所述叶片坐标系中确定每一叶片前侧和/或后侧路径点的坐标,具体为:
a=n/(N-1);
V_wp[n]=[a*L,V_dist,H_dist];
其中,V_wp[n]为编号n的路径点坐标,N为沿叶长度方向的路径点的数量,n为路径点的编号,L为叶片的长度,H_dist为路径点距离叶片中的水平距离,V_dist为路径点距离叶片的垂直距离,当路径点位于叶片前侧时,H_dist为正值,当路径点位于叶片后侧时,H_dist为负值,当路径点位于叶片上侧时,V_dist为正值,当路径点位于叶片下侧面时,V_dist为负值。
7.根据权利要求5所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,所述相机姿态信息包括朝向角和俯仰角;
所述朝向角采用无人机的朝向角;
所述俯仰角通过路径点的地理位置和目标点的坐标计算生成,具体为:
dv=wpos_trgt-wpos_wp
wpos_trgt是目标点的世界坐标,wpos_wp是路径点的世界坐标,dv作为相机观测向量,通过下式计算可得:
r=sqrt(dv.x*dv.x+dv.z*dv.z);
H0=atan(x,z);
H=90-H0;
P=atan(r,y);
其中,x为相机观测向量在世界坐标系中x轴分量、z为机观测向量在世界坐标系中z轴分量,r是相机观测向量在x-z平面上的投影,H是相机的朝向角,P是相机的俯仰角。
8.根据权利要求6所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,所述发电机与所述风塔之间的平移矩阵为(0,Hgt,0),所述发电机与所述风塔之间的旋转矩阵为(0,Hdg,0);
所述轮毂与所述发电机之间的平移矩阵为(0,0,Fwd),所述轮毂与所述发电机之间的旋转矩阵(P,0,R);
其中,Hgt为风塔高度,具体为地面至轮毂中心的距离,Hdg为风机的朝向角度,Fwd为从轮毂中心至风塔中心的位置,P为轮毂的俯仰角,R为轮毂的转角。
9.根据权利要求8所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,所述风机的朝向角度采用如下步骤计算生成:
步骤M1:控制无人机以风塔高度绕风机飞行,当无人机在飞行过程中,通过图像传感器采集所述叶轮的视频流;
步骤M2:对所述视频流中的叶片进行检测,当检测到风机的三个叶片时,对三个叶片进行实时跟踪,并实时计算三个叶片的相对位置及重叠度;
步骤M3:当检测到两个叶片完全重叠时,认定此时无人机飞行到风轮平面β上,读取此时位置传感器获取的点P1的位置信息;
步骤M4:根据点P1的位置信息计算与点P1以风塔呈轴对称分别的点P2的第一位置信息;
步骤M5:根据点P1的位置信息、点P2的第一位置信息以及地球质心计算出风轮平面β,进而根据所述风轮平面的法向量确定所述风机的朝向角度。
10.一种通过无人机对风机叶尖区域绕行检测系统,用于实现权利要求1至9中任一项所述的通过无人机对风机叶尖区域绕行检测方法,其特征在于,包括如下模块:
跟踪探测模块,用于控制设置有固态雷达的无人机对目标叶片一侧面进行从叶根区域至叶尖区域的跟踪探测;
视频采集模块,用于当所述固态雷达探测到所述无人机飞离所述目标叶片的叶尖端第一设定距离时,通过所述无人机上设置的相机采集视频流,所述相机的镜头朝向与所述固态雷达的探测朝向相同;
飞行控制模块,用于提供一控制界面查看所述视频流,当通过所述视频流确认所述无人机已飞离所述叶尖区域时,控制所述无人机通过叶尖端绕行至所述目标叶片另一侧面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810675504.1A CN108915959B (zh) | 2018-06-27 | 2018-06-27 | 通过无人机对风机叶尖区域绕行检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810675504.1A CN108915959B (zh) | 2018-06-27 | 2018-06-27 | 通过无人机对风机叶尖区域绕行检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108915959A true CN108915959A (zh) | 2018-11-30 |
CN108915959B CN108915959B (zh) | 2020-09-01 |
Family
ID=64421548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810675504.1A Active CN108915959B (zh) | 2018-06-27 | 2018-06-27 | 通过无人机对风机叶尖区域绕行检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108915959B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109720593A (zh) * | 2018-12-28 | 2019-05-07 | 上海扩博智能技术有限公司 | 基于激光光斑的叶片跟踪检测挂载装置、无人机及方法 |
CN112360699A (zh) * | 2020-10-22 | 2021-02-12 | 华能大理风力发电有限公司 | 一种全自动风力发电机组叶片智能巡视及诊断分析方法 |
CN112394741A (zh) * | 2019-08-15 | 2021-02-23 | 北醒(北京)光子科技有限公司 | 一种基于激光雷达的无人机风机定距方法及无人机 |
CN112483330A (zh) * | 2020-11-13 | 2021-03-12 | 江苏科技大学 | 一种匹配在役风力机状态的无人巡检轨迹程控方法 |
CN112558632A (zh) * | 2020-12-03 | 2021-03-26 | 上海扩博智能技术有限公司 | 无人机巡检路径转换方法、系统、设备和存储介质 |
CN113586360A (zh) * | 2021-05-25 | 2021-11-02 | 深圳创动科技有限公司 | 风机的检测方法、检测装置、检测系统以及可读存储介质 |
CN113610749A (zh) * | 2021-04-21 | 2021-11-05 | 北京智慧空间科技有限责任公司 | 基于神经网络的风机叶片缺陷检测方法 |
CN114757454A (zh) * | 2022-06-15 | 2022-07-15 | 广东数字生态科技有限责任公司 | 一种风力发电机的无人机巡检航线生成方法、装置及设备 |
CN115143056A (zh) * | 2022-07-21 | 2022-10-04 | 中国长江三峡集团有限公司 | 风力发电机的停机姿态参数测量方法及装置 |
WO2023062747A1 (ja) * | 2021-10-13 | 2023-04-20 | 株式会社Acsl | 無人航空機を用いて点検のために風力発電装置のブレードを撮像するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010051848A1 (de) * | 2010-11-18 | 2012-05-24 | Horst Zell | Luftfahrzeug mit integrierter Arbeitsbühne |
US8757003B1 (en) * | 2011-12-15 | 2014-06-24 | Shaw Shahriar Makaremi | Multi-frequency-band blade condition monitoring system |
CN105651780A (zh) * | 2015-12-28 | 2016-06-08 | 新疆金风科技股份有限公司 | 通过无人机检测风机叶片状态的方法、装置及系统 |
CN106762451A (zh) * | 2016-12-05 | 2017-05-31 | 北京金风科创风电设备有限公司 | 基于无人机的风机叶片损伤检测方法、装置及系统 |
CN206627830U (zh) * | 2017-04-12 | 2017-11-10 | 西南交通大学 | 一种室内消防无人机系统 |
CN107515392A (zh) * | 2017-08-11 | 2017-12-26 | 北京中科罗宾雷达技术有限公司 | 低小慢目标的防范系统和方法 |
CN107656537A (zh) * | 2016-07-25 | 2018-02-02 | 新疆金风科技股份有限公司 | 无人机航线规划方法及装置、基于无人机的风机叶片检查方法及系统 |
CN108073180A (zh) * | 2016-11-08 | 2018-05-25 | 北京金风科创风电设备有限公司 | 无人机的控制方法、装置和系统 |
-
2018
- 2018-06-27 CN CN201810675504.1A patent/CN108915959B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010051848A1 (de) * | 2010-11-18 | 2012-05-24 | Horst Zell | Luftfahrzeug mit integrierter Arbeitsbühne |
US8757003B1 (en) * | 2011-12-15 | 2014-06-24 | Shaw Shahriar Makaremi | Multi-frequency-band blade condition monitoring system |
CN105651780A (zh) * | 2015-12-28 | 2016-06-08 | 新疆金风科技股份有限公司 | 通过无人机检测风机叶片状态的方法、装置及系统 |
CN107656537A (zh) * | 2016-07-25 | 2018-02-02 | 新疆金风科技股份有限公司 | 无人机航线规划方法及装置、基于无人机的风机叶片检查方法及系统 |
CN108073180A (zh) * | 2016-11-08 | 2018-05-25 | 北京金风科创风电设备有限公司 | 无人机的控制方法、装置和系统 |
CN106762451A (zh) * | 2016-12-05 | 2017-05-31 | 北京金风科创风电设备有限公司 | 基于无人机的风机叶片损伤检测方法、装置及系统 |
CN206627830U (zh) * | 2017-04-12 | 2017-11-10 | 西南交通大学 | 一种室内消防无人机系统 |
CN107515392A (zh) * | 2017-08-11 | 2017-12-26 | 北京中科罗宾雷达技术有限公司 | 低小慢目标的防范系统和方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109720593A (zh) * | 2018-12-28 | 2019-05-07 | 上海扩博智能技术有限公司 | 基于激光光斑的叶片跟踪检测挂载装置、无人机及方法 |
CN112394741A (zh) * | 2019-08-15 | 2021-02-23 | 北醒(北京)光子科技有限公司 | 一种基于激光雷达的无人机风机定距方法及无人机 |
CN112360699A (zh) * | 2020-10-22 | 2021-02-12 | 华能大理风力发电有限公司 | 一种全自动风力发电机组叶片智能巡视及诊断分析方法 |
CN112483330A (zh) * | 2020-11-13 | 2021-03-12 | 江苏科技大学 | 一种匹配在役风力机状态的无人巡检轨迹程控方法 |
CN112558632B (zh) * | 2020-12-03 | 2023-03-14 | 上海扩博智能技术有限公司 | 无人机巡检路径转换方法、系统、设备和存储介质 |
CN112558632A (zh) * | 2020-12-03 | 2021-03-26 | 上海扩博智能技术有限公司 | 无人机巡检路径转换方法、系统、设备和存储介质 |
CN113610749A (zh) * | 2021-04-21 | 2021-11-05 | 北京智慧空间科技有限责任公司 | 基于神经网络的风机叶片缺陷检测方法 |
CN113610749B (zh) * | 2021-04-21 | 2024-04-19 | 北京智慧空间科技有限责任公司 | 基于神经网络的风机叶片缺陷检测方法 |
CN113586360A (zh) * | 2021-05-25 | 2021-11-02 | 深圳创动科技有限公司 | 风机的检测方法、检测装置、检测系统以及可读存储介质 |
WO2023062747A1 (ja) * | 2021-10-13 | 2023-04-20 | 株式会社Acsl | 無人航空機を用いて点検のために風力発電装置のブレードを撮像するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体 |
CN114757454A (zh) * | 2022-06-15 | 2022-07-15 | 广东数字生态科技有限责任公司 | 一种风力发电机的无人机巡检航线生成方法、装置及设备 |
CN115143056A (zh) * | 2022-07-21 | 2022-10-04 | 中国长江三峡集团有限公司 | 风力发电机的停机姿态参数测量方法及装置 |
CN115143056B (zh) * | 2022-07-21 | 2023-06-16 | 中国长江三峡集团有限公司 | 风力发电机的停机姿态参数测量方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108915959B (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108915959A (zh) | 通过无人机对风机叶尖区域绕行检测方法及系统 | |
CN108733079A (zh) | 通过无人机对风机进行自动巡检飞行路径确定方法及系统 | |
CN108894933A (zh) | 通过无人机对风机叶尖跟踪检测时跟丢再捕捉方法及系统 | |
CN108869196A (zh) | 通过无人机对风机后侧叶根区域检测方法及系统 | |
CN110554704B (zh) | 一种基于无人机的风机叶片自主巡检方法 | |
He et al. | Research of multi-rotor UAVs detailed autonomous inspection technology of transmission lines based on route planning | |
CN108869197B (zh) | 通过无人机进行风机高度精确测量方法及系统 | |
CN106762451A (zh) | 基于无人机的风机叶片损伤检测方法、装置及系统 | |
CN113610749B (zh) | 基于神经网络的风机叶片缺陷检测方法 | |
CN110580717A (zh) | 一种针对电力杆塔的无人机自主巡检航线生成方法 | |
CN108757345A (zh) | 通过无人机进行风机叶片的自动跟踪检测方法及系统 | |
CN113286129B (zh) | 一种光伏电站的巡检方法及系统 | |
CN106683097A (zh) | 一种无人机定位的方法以及系统 | |
CN108413987A (zh) | 一种定日镜的校准方法、装置及系统 | |
CN109555654A (zh) | 基于风机模型重构的叶片自动跟踪检测方法及系统 | |
CN110007690A (zh) | 一种无人机巡检系统及方法 | |
CN108843492B (zh) | 通过无人机进行风机偏航角测算方法及系统 | |
CN106971408A (zh) | 一种基于时空转换思想的摄像机标定方法 | |
CN113885580A (zh) | 基于无人机实现自动化巡检风机的路径规划方法及系统 | |
EP4097354A1 (en) | Method of imaging a wind turbine rotor blade | |
CN116501091B (zh) | 基于无人机自动调整航线的风机巡检控制方法和装置 | |
Guo et al. | Detecting and positioning of wind turbine blade tips for uav-based automatic inspection | |
CN115442532A (zh) | 风机不停机巡检的方法、系统、设备及存储介质 | |
CN109194284A (zh) | 光伏电站巡检系统、地面终端及航拍设备 | |
CN109752566A (zh) | 风向方位角的检测方法、装置及风力发电机组 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |