CN111289533B - 风机叶片的巡检方法、装置、无人机和存储介质 - Google Patents
风机叶片的巡检方法、装置、无人机和存储介质 Download PDFInfo
- Publication number
- CN111289533B CN111289533B CN202010115183.7A CN202010115183A CN111289533B CN 111289533 B CN111289533 B CN 111289533B CN 202010115183 A CN202010115183 A CN 202010115183A CN 111289533 B CN111289533 B CN 111289533B
- Authority
- CN
- China
- Prior art keywords
- fan
- image
- fan blade
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请涉及一种风机叶片的巡检方法、装置、无人机和存储介质。该方法包括:在风机的上方采集所述风机的第一图像;对所述第一图像进行分析,确定所述风机的朝向;根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径;按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析。由于风机叶片的巡检过程中所涉及的关键步骤,即风机叶片的图像采集,均是通过无人机自主确定风机朝向、并自主规划巡检路径完成图像采集,整个过程无须巡检人员的参与,均由无人机自主完成,不仅有效保证了巡检人员的安全,同时也大大提高了风机叶片的巡检效率。
Description
技术领域
本申请涉及新能源领域,特别是涉及一种风机叶片的巡检方法、装置、无人机和存储介质。
背景技术
风机叶片是风力发电机的一种重要组成部件,由于风力发电机所处环境较为恶劣,风机叶片在严苛的环境中运行时易收到风沙、雨雪、雷电等自然因素的破坏,形成表面脱落、砂眼、雷击、叶片磨损等缺陷,因此,需要定期对风机叶片进行巡检。
传统技术中,通常采用人工手段实现对风机叶片的巡检。但是,传统方式的时效性较低,且巡检人员的安全问题无法保障。
发明内容
基于此,有必要针对传统方式的时效性较低,且巡检人员的安全问题无法保障的技术问题,提供一种风机叶片的巡检方法、装置、无人机和存储介质。
第一方面,本申请实施例提供一种风机叶片的巡检方法,应用于无人机,所述方法包括:
在风机的上方采集所述风机的第一图像;
对所述第一图像进行分析,确定所述风机的朝向;
根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径;
按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析。
第二方面,本申请实施例提供一种风机叶片的巡检装置,集成于无人机,所述方法包括:
第一图像采集模块,用于在风机的上方采集所述风机的第一图像;
确定模块,用于对所述第一图像进行分析,确定所述风机的朝向;
路径规划模块,用于根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径;
第二图像采集模块,用于按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析。
第三方面,本申请实施例提供一种无人机,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现本申请实施例第一方面提供的风机叶片的巡检方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例第一方面提供的风机叶片的巡检方法。
本申请实施例提供的风机叶片的巡检方法、装置、无人机和存储介质,无人机在风机的上方采集风机的第一图像,对第一图像进行分析,确定风机的朝向,并根据风机的朝向、风机叶片的倒Y形状、长度以及风机的轮毂中心的位置信息,规划巡检路径,以及按照巡检路径对风机叶片进行图像采集,以通过采集的图像对风机叶片进行缺陷分析。由于风机叶片的巡检过程中所涉及的关键步骤,即风机叶片的图像采集,均是通过无人机自主确定风机朝向、并自主规划巡检路径完成图像采集,整个过程无须巡检人员的参与,均由无人机自主完成,不仅有效保证了巡检人员的安全,同时也大大提高了风机叶片的巡检效率。
附图说明
图1为本申请实施例提供的风机叶片的巡检方法的一种流程示意图;
图2为本申请实施例提供的一种风机叶片的拍摄角度演算示意图;
图3为本申请实施例提供的风机叶片的巡检方法的另一种流程示意图;
图4为本申请实施例提供的一种第一目标分割图像的示意图;
图5为本申请实施例提供的风机叶片的巡检装置的内部结构示意图;
图6为本申请实施例提供的一种无人机的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,通过下述实施例并结合附图,对本申请实施例中的技术方案进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,下述方法实施例的执行主体可以是风机叶片的巡检装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为无人机的部分或者全部。下述方法实施例以执行主体是无人机为例进行说明。
图1为本申请实施例提供的风机叶片的巡检方法的一种流程示意图。本实施例涉及的是无人机如何实现对风机叶片的自主巡检的具体过程。如图1所示,该方法可以包括:
S101、在风机的上方采集所述风机的第一图像。
具体的,在采集第一图像之前,需要通过风机控制系统将风机叶片固定为倒“Y”字型,以使风机叶片的形状以及位置固定。接着,无人机控制自身飞行到风机的上方预设位置处,并对风机进行拍摄,从而得到风机的第一图像。其中,为了提高对风机的拍摄效果,上述预设位置与风机叶片最高点之间的距离可以为20m。假设风机叶片的长度为40m,此时,无人机可以飞行至风机正上方,与风机机舱的垂直距离为60m的位置处,控制无人机保持姿态(0,0,0)度,对风机进行拍摄,以得到第一图像。
可选的,上述S101的过程可以为:获取飞行参数,根据所述飞行参数,飞行至风机的上方,控制云台的俯仰角,以使与所述云台连接的相机的取景方向与地面垂直,并控制所述相机对所述风机进行拍摄,得到所述风机的第一图像;其中,所述飞行参数包括风机塔筒的位置信息、高度信息以及所述风机叶片的长度。可选的,上述风机塔筒的位置信息可以为风机塔筒的经纬度。无人机可以按照风机塔筒的高度信息以及风机叶片的长度,计算飞行的目标高度,然后控制自身从距离风机一定安全距离的任意位置起飞,飞行到上述目标高度,再基于风机塔筒的经纬度飞行至风机的上方。
S102、对所述第一图像进行分析,确定所述风机的朝向。
其中,无人机对第一图像进行图像分析,将风机机舱提取出来,并对提取出来的风机机舱进行分析,以及结合无人机的北向朝向,从而确定风机的朝向。
S103、根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径。
具体的,无人机在得到风机的朝向后,根据风机的朝向、风机叶片的倒Y形状、长度以及风机的轮毂中心的位置信息,规划倒“Y”字型巡检路径。其中,该倒“Y”字型巡检路径可以包括风机叶片的正面巡检路径和背面巡检路径。针对正面巡检路径,正面巡检路径可以包括针对每个风机叶片的目标正面巡检路径,目标正面巡检路径可以包括目标风机叶片的正面两侧的巡检路径。针对背面巡检路径,背面巡检路径可以包括针对每个风机叶片的目标背面巡检路径,目标背面巡检路径可以包括目标风机叶片的背面两侧的巡检路径。也就是说,每个风机叶片对应四条巡检路径(两条正面巡检路径和两条背面巡检路径)。
S104、按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析。
其中,无人机按照巡检路径,每间隔预设距离对风机叶片进行一次图像采集,如无人机可以每间隔2m-5m对风机叶片进行一次图像采集。可选的,巡检路径可以包括风机叶片的正面巡检路径和背面巡检路径,这样,无人机可以先按照正面巡检路径对每个风机叶片进行图像采集,再按照背面巡检路径对每个风机叶片进行图像采集,也可以先按照背面巡检路径对每个风机叶片进行图像采集,再按照正面巡检路径对每个风机叶片进行图像采集,本实施例对此不做限定。
在对风机叶片进行图像采集之后,无人机可以通过采集的图像对风机叶片进行缺陷分析,也可以将采集的图像发送给后台设备,以使后台设备对风机叶片进行缺陷分析,本实施例对此不做限定。
本申请实施例提供的风机叶片的巡检方法,无人机在风机的上方采集风机的第一图像,对第一图像进行分析,确定风机的朝向,并根据风机的朝向、风机叶片的倒Y形状、长度以及风机的轮毂中心的位置信息,规划巡检路径,以及按照巡检路径对风机叶片进行图像采集,以通过采集的图像对风机叶片进行缺陷分析。由于风机叶片的巡检过程中所涉及的关键步骤,即风机叶片的图像采集,均是通过无人机自主确定风机朝向、并自主规划巡检路径完成图像采集,整个过程无须巡检人员的参与,均由无人机自主完成,不仅有效保证了巡检人员的安全,同时也大大提高了风机叶片的巡检效率。
在实际应用中,为了提高拍摄的图像的质量,在上述实施例的基础上,可选的,无人机按照正面巡检路径对每个风机叶片进行图像采集的过程可以为:针对每个风机叶片,按照所述正面巡检路径进行飞行,当飞行至预设的采集位置时,根据所述无人机的位置信息、高度信息以及目标风机叶片的位置信息、高度信息,确定云台的目标俯仰角;按照所述目标俯仰角调整所述云台,并对所述目标风机叶片进行拍摄。
具体的,无人机的位置信息可以为无人机所在位置的经纬度或者无人机所在位置的坐标。目标风机叶片的位置信息可以为目标风机叶片所在位置的经纬度或者目标风机叶片所在位置的坐标。针对目标风机叶片,无人机按照正面巡检路径进行飞行,根据全球定位系统(Global Positioning System,GPS)以及实时动态载波相位差分技术(Real TimeKinematic,RTK)所采集的定位数据,实时确定自身的当前位置,当确定飞行至预设的采集位置时,无人机按照无人机与目标风机叶片之间的相对位置关系以及相对高度关系,确定云台的目标俯仰角,并按照目标俯仰角调整云台,并对目标风机叶片进行拍摄。如图2所示,图2中无人机相对于目标风机叶片的高度为10m,当无人机飞行至M点时,无人机根据M点的经纬度和高度,以及目标风机叶片的位置信息和高度信息(即图2中P点的经纬度和高度),确定云台的目标俯仰角,并按照目标俯仰角调整云台,使相机的取景方向与MP方向一致,对目标风机叶片进行拍摄。在完成目标风机叶片的一侧的图像采集之后,无人机再飞行至目标风机叶片的另一侧进行图像采集。
需要说明的是,对于无人机按照背面巡检路径对每个风机叶片进行图像采集的过程可以参照上述无人机按照正面巡检路径对每个风机叶片进行图像采集的过程,本实施例在此不再赘述。
在本实施例中,无人机在对每个风机叶片进行图像采集的过程中,可以根据自身与目标风机叶片之间的相对位置关系以及相对高度关系,确定云台的目标俯仰角,并按照目标俯仰角调整云台,并对目标风机叶片进行拍摄,从而实现了风机叶片的清晰拍摄,进而提高了所采集的风机叶片的图像质量,为后续风机叶片的缺陷分析提供了必要的基础。
图3为本申请实施例提供的风机叶片的巡检方法的另一种流程示意图。本实施例涉及的是无人机如何根据采集的第一图像确定风机的朝向的具体过程。如图3所示,在上述实施例的基础上,可选的,上述S102可以为:
S201、测量所述无人机与正北方向的第一夹角。
其中,无人机可以通过罗盘等测量装置测量自身与正北方向的第一夹角,即测量自身的北向朝向。
S202、对所述第一图像进行图像分割,得到第一目标分割图像,所述第一目标分割图像包括风机机舱所在的第一区域。
其中,无人机通过预设的图像分割模型,对第一图像进行图像分割,从而从第一图像中提取出风机机舱所在的第一区域。
S203、当所述第一区域的第一中心点与所述第一目标分割图像的第二中心点重合时,根据所述第一区域的中心线与所述第一目标分割图像的视觉边缘垂直线,确定所述风机在相机坐标系中的第二夹角。
其中,参见图4,图4为第一目标分割图像的示意图,图4中的O1为风机机舱所在的第一区域的第一中心点,O为第一目标分割图像的第二中心点。无人机对得到的第一目标分割图像进行分析,确定第一目标分割图像中风机机舱所在的第一区域的第一中心点O1与第一目标分割图像的第二中心点O是否重合,当第一区域的第一中心点O1与第二中心点O重合时,表明无人机位于风机的正上方,此时,所识别出的风机机舱的位置更为准确。这样,无人机便可以将第一区域的中心线与第一目标分割图像的视觉边缘垂直线之间的夹角,确定为风机在相机坐标系中的第二夹角。
当第一区域的第一中心点O1与第二中心点O不重合时,表明无人机并未位于风机的正上方,此时,需要移动无人机的位置,以使无人机位于风机的正上方。针对此情况,无人机可以参照如下过程确定风机在相机坐标系中的第二夹角,即:计算所述第一中心点与所述第二中心点之间的坐标差;控制所述无人机按照所述坐标差在水平面内移动,并在移动后的位置控制所述相机对所述风机进行拍摄,得到所述风机的第二图像,并对所述第二图像进行图像分割,直至得到的第二目标分割图像中的风机机舱所在的第二区域的第三中心点,与所述第二目标分割图像的第四中心点重合为止;将所述第二区域的中心线与所述第二目标分割图像的视觉边缘垂直线之间的夹角,确定为所述风机在相机坐标系中的第二夹角。
具体的,无人机可以以第二中心点O为坐标原点,建立平面坐标系,并在该平面坐标系中计算第一中心点O1与第二中心点O之间的坐标差(Δx,Δy),并控制无人机按照坐标差(Δx,Δy)在水平面内移动。在无人机移动后,无人机再次采集风机的第二图像,并对第二图像进行图像分割,从第二图像中提取风机机舱所在的第二区域。接着,无人机判断第二区域的第三中心点与第二目标分割图像的第四中心点是否重合,若重合,则将第二区域的中心线与第二目标分割图像的视觉边缘垂直线之间的夹角,确定为风机在相机坐标系中的第二夹角。若不重合,继续参照上述过程移动无人机并计算风机在相机坐标系中的第二夹角。
S204、根据所述第一夹角和所述第二夹角,确定所述风机的朝向。
其中,可选的,无人机可以根据第一变换矩阵以及第二变换矩阵,将所述第二夹角变换为在导航坐标系中对应的第三夹角,将所述第一夹角和所述第三夹角的和确定为所述风机的朝向。其中,第一变换矩阵用于表征相机坐标系与无人机坐标系之间的转换关系,第二变换矩阵用于表征无人机坐标系与导航坐标系之间的转换关系。
在本实施例中,由于无人机通过对第一目标分割图像中风机机舱所在的第一区域的第一中心点与第一目标分割图像的第二中心点是否重合进行了判断,并在第一中心点与第二中心点不重合时,反复移动无人机直至后续得到的第二目标分割图像中风机机舱所在的区域的第三中心点与第二目标分割图像的第四中心点重合为止,并基于两个中心点重合时风机机舱所在的区域的中心线与第二目标分割图像的视觉边缘垂直线间的夹角,确定风机在相机坐标系中的第二夹角,使得所确定出的第二夹角的准确性较高,同时,也进一步提高了基于第二夹角与无人机的北向朝向所确定出的风机的朝向的准确性。
图5为本申请实施例提供的风机叶片的巡检装置的结构示意图,该装置集成于无人机,如图5所示,该装置可以包括:第一图像采集模块10、确定模块11、路径规划模块12和第二图像采集模块13。
具体的,第一图像采集模块10,用于在风机的上方采集所述风机的第一图像;
确定模块11,用于对所述第一图像进行分析,确定所述风机的朝向;
路径规划模块12,用于根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径;
第二图像采集模块13,用于按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析。
本申请实施例提供的风机叶片的巡检装置,无人机在风机的上方采集风机的第一图像,对第一图像进行分析,确定风机的朝向,并根据风机的朝向、风机叶片的倒Y形状、长度以及风机的轮毂中心的位置信息,规划巡检路径,以及按照巡检路径对风机叶片进行图像采集,以通过采集的图像对风机叶片进行缺陷分析。由于风机叶片的巡检过程中所涉及的关键步骤,即风机叶片的图像采集,均是通过无人机自主确定风机朝向、并自主规划巡检路径完成图像采集,整个过程无须巡检人员的参与,均由无人机自主完成,不仅有效保证了巡检人员的安全,同时也大大提高了风机叶片的巡检效率。
在上述实施例的基础上,可选的,第一图像采集模块10具体用于获取飞行参数;根据所述飞行参数,飞行至风机的上方;控制云台的俯仰角,以使与所述云台连接的相机的取景方向与地面垂直,并控制所述相机对所述风机进行拍摄,得到所述风机的第一图像,其中,所述飞行参数包括风机塔筒的位置信息、高度信息以及所述风机叶片的长度。
在上述实施例的基础上,可选的,确定模块11可以包括:测量单元、图像分割单元、第一确定单元和第二确定单元;
具体的,测量单元用于测量所述无人机与正北方向的第一夹角;
图像分割单元用于对所述第一图像进行图像分割,得到第一目标分割图像,所述第一目标分割图像包括风机机舱所在的第一区域;
第一确定单元用于当所述第一区域的第一中心点与所述第一目标分割图像的第二中心点重合时,根据所述第一区域的中心线与所述第一目标分割图像的视觉边缘垂直线,确定所述风机在相机坐标系中的第二夹角;
第二确定单元用于根据所述第一夹角和所述第二夹角,确定所述风机的朝向。
在上述实施例的基础上,可选的,确定模块11还可以包括:第三确定单元;
具体的,第三确定单元用于当所述第一中心点与所述第二中心点不重合时,计算所述第一中心点与所述第二中心点之间的坐标差;控制所述无人机按照所述坐标差在水平面内移动,并在移动后的位置控制所述相机对所述风机进行拍摄,得到所述风机的第二图像,并对所述第二图像进行图像分割,直至得到的第二目标分割图像中的风机机舱所在的第二区域的第三中心点,与所述第二目标分割图像的第四中心点重合为止;将所述第二区域的中心线与所述第二目标分割图像的视觉边缘垂直线之间的夹角,确定为所述风机在相机坐标系中的第二夹角。
在上述实施例的基础上,可选的,第二确定单元具体用于根据第一变换矩阵以及第二变换矩阵,将所述第二夹角变换为在导航坐标系中对应的第三夹角;将所述第一夹角和所述第三夹角的和确定为所述风机的朝向,其中,第一变换矩阵用于表征相机坐标系与无人机坐标系之间的转换关系,第二变换矩阵用于表征无人机坐标系与导航坐标系之间的转换关系。
在上述实施例的基础上,可选的,所述巡检路径包括所述风机叶片的正面巡检路径和背面巡检路径,第二图像采集模块13可以包括:第一图像采集单元和第二图像采集单元;
具体的,第一图像采集单元用于按照所述正面巡检路径对每个风机叶片进行图像采集;
第二图像采集单元用于按照所述背面巡检路径对所述每个风机叶片进行图像采集。
在上述实施例的基础上,可选的,第一图像采集单元具体用于针对每个风机叶片,按照所述正面巡检路径进行飞行,当飞行至预设的采集位置时,根据所述无人机的位置信息、高度信息以及目标风机叶片的位置信息、高度信息,确定云台的目标俯仰角;按照所述目标俯仰角调整所述云台,并对所述目标风机叶片进行拍摄。
在一个实施例中,提供了一种无人机,其内部结构图可以如图6所示。该无人机包括通过系统总线连接的处理器和存储器。其中,该无人机的处理器用于提供计算和控制能力。该无人机的存储器用于存储计算机程序。该计算机程序被处理器执行时以实现一种风机叶片的巡检方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的无人机的限定,具体的无人机可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种无人机,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
在风机的上方采集所述风机的第一图像;
对所述第一图像进行分析,确定所述风机的朝向;
根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径;
按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取飞行参数;根据所述飞行参数,飞行至风机的上方;控制云台的俯仰角,以使与所述云台连接的相机的取景方向与地面垂直,并控制所述相机对所述风机进行拍摄,得到所述风机的第一图像,其中,所述飞行参数包括风机塔筒的位置信息、高度信息以及所述风机叶片的长度。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:测量所述无人机与正北方向的第一夹角;对所述第一图像进行图像分割,得到第一目标分割图像,所述第一目标分割图像包括风机机舱所在的第一区域;当所述第一区域的第一中心点与所述第一目标分割图像的第二中心点重合时,根据所述第一区域的中心线与所述第一目标分割图像的视觉边缘垂直线,确定所述风机在相机坐标系中的第二夹角;根据所述第一夹角和所述第二夹角,确定所述风机的朝向。
在一个实施例中,当所述第一中心点与所述第二中心点不重合时,处理器执行计算机程序时还实现以下步骤:计算所述第一中心点与所述第二中心点之间的坐标差;控制所述无人机按照所述坐标差在水平面内移动,并在移动后的位置控制所述相机对所述风机进行拍摄,得到所述风机的第二图像,并对所述第二图像进行图像分割,直至得到的第二目标分割图像中的风机机舱所在的第二区域的第三中心点,与所述第二目标分割图像的第四中心点重合为止;将所述第二区域的中心线与所述第二目标分割图像的视觉边缘垂直线之间的夹角,确定为所述风机在相机坐标系中的第二夹角。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据第一变换矩阵以及第二变换矩阵,将所述第二夹角变换为在导航坐标系中对应的第三夹角;将所述第一夹角和所述第三夹角的和确定为所述风机的朝向,其中,第一变换矩阵用于表征相机坐标系与无人机坐标系之间的转换关系,第二变换矩阵用于表征无人机坐标系与导航坐标系之间的转换关系。
在一个实施例中,所述巡检路径包括所述风机叶片的正面巡检路径和背面巡检路径,处理器执行计算机程序时还实现以下步骤:按照所述正面巡检路径对每个风机叶片进行图像采集;按照所述背面巡检路径对所述每个风机叶片进行图像采集。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:针对每个风机叶片,按照所述正面巡检路径进行飞行,当飞行至预设的采集位置时,根据所述无人机的位置信息、高度信息以及目标风机叶片的位置信息、高度信息,确定云台的目标俯仰角;按照所述目标俯仰角调整所述云台,并对所述目标风机叶片进行拍摄。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
在风机的上方采集所述风机的第一图像;
对所述第一图像进行分析,确定所述风机的朝向;
根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径;
按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取飞行参数;根据所述飞行参数,飞行至风机的上方;控制云台的俯仰角,以使与所述云台连接的相机的取景方向与地面垂直,并控制所述相机对所述风机进行拍摄,得到所述风机的第一图像,其中,所述飞行参数包括风机塔筒的位置信息、高度信息以及所述风机叶片的长度。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:测量所述无人机与正北方向的第一夹角;对所述第一图像进行图像分割,得到第一目标分割图像,所述第一目标分割图像包括风机机舱所在的第一区域;当所述第一区域的第一中心点与所述第一目标分割图像的第二中心点重合时,根据所述第一区域的中心线与所述第一目标分割图像的视觉边缘垂直线,确定所述风机在相机坐标系中的第二夹角;根据所述第一夹角和所述第二夹角,确定所述风机的朝向。
在一个实施例中,当所述第一中心点与所述第二中心点不重合时,计算机程序被处理器执行时还实现以下步骤:计算所述第一中心点与所述第二中心点之间的坐标差;控制所述无人机按照所述坐标差在水平面内移动,并在移动后的位置控制所述相机对所述风机进行拍摄,得到所述风机的第二图像,并对所述第二图像进行图像分割,直至得到的第二目标分割图像中的风机机舱所在的第二区域的第三中心点,与所述第二目标分割图像的第四中心点重合为止;将所述第二区域的中心线与所述第二目标分割图像的视觉边缘垂直线之间的夹角,确定为所述风机在相机坐标系中的第二夹角。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据第一变换矩阵以及第二变换矩阵,将所述第二夹角变换为在导航坐标系中对应的第三夹角;将所述第一夹角和所述第三夹角的和确定为所述风机的朝向,其中,第一变换矩阵用于表征相机坐标系与无人机坐标系之间的转换关系,第二变换矩阵用于表征无人机坐标系与导航坐标系之间的转换关系。
在一个实施例中,所述巡检路径包括所述风机叶片的正面巡检路径和背面巡检路径,计算机程序被处理器执行时还实现以下步骤:按照所述正面巡检路径对每个风机叶片进行图像采集;按照所述背面巡检路径对所述每个风机叶片进行图像采集。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:针对每个风机叶片,按照所述正面巡检路径进行飞行,当飞行至预设的采集位置时,根据所述无人机的位置信息、高度信息以及目标风机叶片的位置信息、高度信息,确定云台的目标俯仰角;按照所述目标俯仰角调整所述云台,并对所述目标风机叶片进行拍摄。
上述实施例中提供的风机叶片的巡检装置、无人机以及存储介质可执行本申请任意实施例所提供的风机叶片的巡检方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的风机叶片的巡检方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种风机叶片的巡检方法,其特征在于,应用于无人机,所述方法包括:
在风机的上方采集所述风机的第一图像;
对所述第一图像进行分析,确定所述风机的朝向;
根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径;
按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析;
所述巡检路径为倒Y字型巡检路径;
所述倒Y字型巡检路径包括风机叶片的正面巡检路径和背面巡检路径;
其中,所述对所述第一图像进行分析,确定所述风机的朝向,包括:
测量所述无人机与正北方向的第一夹角;
对所述第一图像进行图像分割,得到第一目标分割图像,所述第一目标分割图像包括风机机舱所在的第一区域;
当所述第一区域的第一中心点与所述第一目标分割图像的第二中心点重合时,根据所述第一区域的中心线与所述第一目标分割图像的视觉边缘垂直线,确定所述风机在相机坐标系中的第二夹角;
其中,当所述第一中心点与所述第二中心点不重合时,所述确定所述风机在相机坐标系中的第二夹角,包括:
计算所述第一中心点与所述第二中心点之间的坐标差;
控制所述无人机按照所述坐标差在水平面内移动,并在移动后的位置控制所述相机对所述风机进行拍摄,得到所述风机的第二图像,并对所述第二图像进行图像分割,直至得到的第二目标分割图像中的风机机舱所在的第二区域的第三中心点,与所述第二目标分割图像的第四中心点重合为止;
将所述第二区域的中心线与所述第二目标分割图像的视觉边缘垂直线之间的夹角,确定为所述风机在相机坐标系中的第二夹角;
根据所述第一夹角和所述第二夹角,确定所述风机的朝向。
2.根据权利要求1所述的方法,其特征在于,所述在风机的上方采集所述风机的第一图像,包括:
获取飞行参数,其中,所述飞行参数包括风机塔筒的位置信息、高度信息以及所述风机叶片的长度;
根据所述飞行参数,飞行至风机的上方;
控制云台的俯仰角,以使与所述云台连接的相机的取景方向与地面垂直,并控制所述相机对所述风机进行拍摄,得到所述风机的第一图像。
3.根据权利要求1所述的方法,其特征在于,根据所述第一夹角和所述第二夹角,确定所述风机的朝向,包括:
将所述第二夹角变换为在导航系统中对应的第三夹角;
将所述第一夹角和所述第三夹角的和确定为所述风机的朝向。
4.根据权利要求3所述的方法,其特征在于,所述将所述第二夹角变换为在导航系统中对应的第三夹角,包括:
根据第一变换矩阵以及第二变换矩阵,将所述第二夹角变换为在导航坐标系中对应的第三夹角,其中,第一变换矩阵用于表征相机坐标系与无人机坐标系之间的转换关系,第二变换矩阵用于表征无人机坐标系与导航坐标系之间的转换关系。
5.根据权利要求1所述的方法,其特征在于,所述巡检路径包括所述风机叶片的正面巡检路径和背面巡检路径,所述按照所述巡检路径对所述风机叶片进行图像采集,包括:
按照所述正面巡检路径对每个风机叶片进行图像采集;
按照所述背面巡检路径对所述每个风机叶片进行图像采集。
6.根据权利要求1所述的方法,其特征在于,所述按照所述正面巡检路径对每个风机叶片进行图像采集,包括:
针对每个风机叶片,按照所述正面巡检路径进行飞行,当飞行至预设的采集位置时,根据所述无人机的位置信息、高度信息以及目标风机叶片的位置信息、高度信息,确定云台的目标俯仰角;
按照所述目标俯仰角调整所述云台,并对所述目标风机叶片进行拍摄。
7.一种风机叶片的巡检装置,其特征在于,集成于无人机,所述装置包括:
第一图像采集模块,用于在风机的上方采集所述风机的第一图像;
确定模块,用于对所述第一图像进行分析,确定所述风机的朝向;
路径规划模块,用于根据所述朝向、所述风机叶片的倒Y形状、长度以及所述风机的轮毂中心的位置信息,规划巡检路径;
第二图像采集模块,用于按照所述巡检路径对所述风机叶片进行图像采集,以通过采集的图像对所述风机叶片进行缺陷分析;
所述巡检路径为倒Y字型巡检路径;
所述倒Y字型巡检路径包括风机叶片的正面巡检路径和背面巡检路径;
其中,所述确定模块包括测量单元、图像分割单元、第一确定单元和第二确定单元;
所述测量单元,用于测量所述无人机与正北方向的第一夹角;
所述图像分割单元,用于对所述第一图像进行图像分割,得到第一目标分割图像,所述第一目标分割图像包括风机机舱所在的第一区域;
所述第一确定单元,用于当所述第一区域的第一中心点与所述第一目标分割图像的第二中心点重合时,根据所述第一区域的中心线与所述第一目标分割图像的视觉边缘垂直线,确定所述风机在相机坐标系中的第二夹角;
所述第二确定单元,用于根据所述第一夹角和所述第二夹角,确定所述风机的朝向;
其中,所述确定模块还包括:第三确定单元;
所述第三确定单元,用于当所述第一中心点与所述第二中心点不重合时,计算所述第一中心点与所述第二中心点之间的坐标差;控制所述无人机按照所述坐标差在水平面内移动,并在移动后的位置控制所述相机对所述风机进行拍摄,得到所述风机的第二图像,并对所述第二图像进行图像分割,直至得到的第二目标分割图像中的风机机舱所在的第二区域的第三中心点,与所述第二目标分割图像的第四中心点重合为止;将所述第二区域的中心线与所述第二目标分割图像的视觉边缘垂直线之间的夹角,确定为所述风机在相机坐标系中的第二夹角。
8.一种无人机,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010115183.7A CN111289533B (zh) | 2020-02-25 | 2020-02-25 | 风机叶片的巡检方法、装置、无人机和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010115183.7A CN111289533B (zh) | 2020-02-25 | 2020-02-25 | 风机叶片的巡检方法、装置、无人机和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111289533A CN111289533A (zh) | 2020-06-16 |
CN111289533B true CN111289533B (zh) | 2023-06-23 |
Family
ID=71023135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010115183.7A Active CN111289533B (zh) | 2020-02-25 | 2020-02-25 | 风机叶片的巡检方法、装置、无人机和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111289533B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111858553A (zh) * | 2020-07-10 | 2020-10-30 | 天津智惠未来科技有限责任公司 | 一种风电叶片巡检数据库管理系统构建方法 |
CN112230235B (zh) * | 2020-09-24 | 2021-12-10 | 北京京能能源技术研究有限责任公司 | 风机叶片定位方法、系统、计算机设备及可读存储介质 |
CN112577606B (zh) * | 2020-12-10 | 2022-02-22 | 湖南大学 | 一种双无人机搭载主动热成像的风机叶片巡检方法 |
CN112947511A (zh) * | 2021-01-25 | 2021-06-11 | 北京京能能源技术研究有限责任公司 | 一种无人机巡检风机叶片的方法 |
CN112905955B (zh) * | 2021-01-27 | 2022-08-02 | 天津航天中为数据系统科技有限公司 | 一种风机正反面自主巡检规划方法 |
CN113050693B (zh) * | 2021-03-26 | 2022-04-19 | 厦门理工学院 | 一种用于风电叶片检测的无人机巡检方法和装置以及设备 |
CN112950634B (zh) * | 2021-04-22 | 2023-06-30 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 基于无人机巡检的风力机叶片损伤识别方法、设备和系统 |
CN113586360B (zh) * | 2021-05-25 | 2023-06-16 | 深圳创动科技有限公司 | 风机的检测方法、检测装置、检测系统以及可读存储介质 |
CN113324548B (zh) * | 2021-05-27 | 2022-04-12 | 南京韦博智控科技有限公司 | 一种风力发电机叶片巡检路径的规划方法 |
CN113107788A (zh) * | 2021-05-27 | 2021-07-13 | 上海扩博智能技术有限公司 | 基于纯视觉的叶片巡检方法 |
CN113885580A (zh) * | 2021-11-17 | 2022-01-04 | 国能定边新能源有限公司 | 基于无人机实现自动化巡检风机的路径规划方法及系统 |
CN114138012B (zh) * | 2021-11-23 | 2024-09-10 | 复亚智能技术发展(江苏)有限公司 | 一种风机叶片巡检方法、装置、设备及存储介质 |
CN114020033A (zh) * | 2021-11-25 | 2022-02-08 | 苏州热工研究院有限公司 | 一种基于风力发电机组叶片的无人机检测系统及方法 |
CN114428518B (zh) * | 2021-12-09 | 2024-03-22 | 西安因诺航空科技有限公司 | 一种用于无人机风机叶片自动巡检的风机定向方法 |
CN114020002B (zh) * | 2021-12-20 | 2024-05-03 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
CN115167511A (zh) * | 2022-07-22 | 2022-10-11 | 上海扩博智能技术有限公司 | 飞行器路径规划方法、系统、设备和存储介质 |
CN115442532B (zh) * | 2022-09-29 | 2023-12-29 | 上海扩博智能技术有限公司 | 风机不停机巡检的方法、系统、设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105651780A (zh) * | 2015-12-28 | 2016-06-08 | 新疆金风科技股份有限公司 | 通过无人机检测风机叶片状态的方法、装置及系统 |
CN106762451A (zh) * | 2016-12-05 | 2017-05-31 | 北京金风科创风电设备有限公司 | 基于无人机的风机叶片损伤检测方法、装置及系统 |
CN108733079A (zh) * | 2018-06-19 | 2018-11-02 | 上海扩博智能技术有限公司 | 通过无人机对风机进行自动巡检飞行路径确定方法及系统 |
CN108757345A (zh) * | 2018-08-10 | 2018-11-06 | 上海扩博智能技术有限公司 | 通过无人机进行风机叶片的自动跟踪检测方法及系统 |
CN108894933A (zh) * | 2018-06-27 | 2018-11-27 | 上海扩博智能技术有限公司 | 通过无人机对风机叶尖跟踪检测时跟丢再捕捉方法及系统 |
CN109116869A (zh) * | 2017-06-23 | 2019-01-01 | 北京臻迪科技股份有限公司 | 一种绕点飞行控制方法及装置 |
CN109459446A (zh) * | 2018-12-29 | 2019-03-12 | 哈尔滨理工大学 | 一种基于无人机的风电叶片图像信息采集方法 |
CN109765930A (zh) * | 2019-01-29 | 2019-05-17 | 理光软件研究所(北京)有限公司 | 一种无人机视觉导航系统 |
CN110554704A (zh) * | 2019-08-15 | 2019-12-10 | 成都优艾维智能科技有限责任公司 | 一种基于无人机的风机叶片自主巡检方法 |
CN110557604A (zh) * | 2018-05-31 | 2019-12-10 | 北京星闪世图科技有限公司 | 用于电力设施智能巡检的无人机影像全自动拍摄方法装置 |
-
2020
- 2020-02-25 CN CN202010115183.7A patent/CN111289533B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105651780A (zh) * | 2015-12-28 | 2016-06-08 | 新疆金风科技股份有限公司 | 通过无人机检测风机叶片状态的方法、装置及系统 |
CN106762451A (zh) * | 2016-12-05 | 2017-05-31 | 北京金风科创风电设备有限公司 | 基于无人机的风机叶片损伤检测方法、装置及系统 |
CN109116869A (zh) * | 2017-06-23 | 2019-01-01 | 北京臻迪科技股份有限公司 | 一种绕点飞行控制方法及装置 |
CN110557604A (zh) * | 2018-05-31 | 2019-12-10 | 北京星闪世图科技有限公司 | 用于电力设施智能巡检的无人机影像全自动拍摄方法装置 |
CN108733079A (zh) * | 2018-06-19 | 2018-11-02 | 上海扩博智能技术有限公司 | 通过无人机对风机进行自动巡检飞行路径确定方法及系统 |
CN108894933A (zh) * | 2018-06-27 | 2018-11-27 | 上海扩博智能技术有限公司 | 通过无人机对风机叶尖跟踪检测时跟丢再捕捉方法及系统 |
CN108757345A (zh) * | 2018-08-10 | 2018-11-06 | 上海扩博智能技术有限公司 | 通过无人机进行风机叶片的自动跟踪检测方法及系统 |
CN109459446A (zh) * | 2018-12-29 | 2019-03-12 | 哈尔滨理工大学 | 一种基于无人机的风电叶片图像信息采集方法 |
CN109765930A (zh) * | 2019-01-29 | 2019-05-17 | 理光软件研究所(北京)有限公司 | 一种无人机视觉导航系统 |
CN110554704A (zh) * | 2019-08-15 | 2019-12-10 | 成都优艾维智能科技有限责任公司 | 一种基于无人机的风机叶片自主巡检方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111289533A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111289533B (zh) | 风机叶片的巡检方法、装置、无人机和存储介质 | |
CN110879601B (zh) | 一种对于未知风机结构的无人机巡检方法 | |
CN108109437B (zh) | 一种基于地图特征的无人机自主航线提取生成方法 | |
CN107514993B (zh) | 基于无人机的面向单体建筑建模的数据采集方法及系统 | |
CN105159319B (zh) | 一种无人机的喷药方法及无人机 | |
CN112904877A (zh) | 一种基于无人机的风机叶片自动巡检系统及方法 | |
CN113759960A (zh) | 基于无人机的风机叶片及塔筒巡检识别系统及方法 | |
CN106762451A (zh) | 基于无人机的风机叶片损伤检测方法、装置及系统 | |
CN106683097A (zh) | 一种无人机定位的方法以及系统 | |
CN110718137B (zh) | 目标物密度分布地图的构建方法及装置、终端、移动装置 | |
CN112326686A (zh) | 无人机智能巡航路面病害检测方法、无人机和检测系统 | |
CN115657706B (zh) | 基于无人机的地貌测量方法及系统 | |
CN115331130B (zh) | 基于地理标志物辅助导航的无人机巡检方法和无人机 | |
CN116501091B (zh) | 基于无人机自动调整航线的风机巡检控制方法和装置 | |
CN113342041A (zh) | 一种无人机实现自动化巡检风叶发电设备的方法及系统 | |
CN111189433A (zh) | 一种基于无人机航拍的岩溶峰林地貌参数测量方法 | |
CN117557931B (zh) | 一种基于三维场景的表计最优巡检点的规划方法 | |
Paulin et al. | Application of raycast method for person geolocalization and distance determination using UAV images in Real-World land search and rescue scenarios | |
CN117351359B (zh) | 基于改进Mask R-CNN的矿区无人机影像沙棘识别方法及系统 | |
CN112184903B (zh) | 高压线行树障风险点的检测方法、装置、设备及介质 | |
CN116700330A (zh) | 一种智慧巡检方法与智慧巡检系统 | |
CN116893685A (zh) | 一种无人机航线规划方法及系统 | |
CN116974298A (zh) | 基于单线激光雷达输电线路仿线飞行方法及系统 | |
CN115686073A (zh) | 一种基于无人机的输电线路巡检控制方法及系统 | |
KR102557775B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |