CN109116865A - 基于机器视觉的大型设备无人机巡检系统及其方法 - Google Patents
基于机器视觉的大型设备无人机巡检系统及其方法 Download PDFInfo
- Publication number
- CN109116865A CN109116865A CN201811090856.7A CN201811090856A CN109116865A CN 109116865 A CN109116865 A CN 109116865A CN 201811090856 A CN201811090856 A CN 201811090856A CN 109116865 A CN109116865 A CN 109116865A
- Authority
- CN
- China
- Prior art keywords
- module
- unmanned plane
- large scale
- control module
- scale equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 5
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 241000883990 Flabellum Species 0.000 description 2
- 241000270666 Testudines Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及一种基于机器视觉的大型设备巡检无人机系统及其方法,包括多轴无人机、云台相机、定位模块、飞控模块、控制模块、目标识别模块和通讯模块,云台相机、定位模块和通讯模块均与飞控模块连接,控制模块与定位模块、通讯模块、目标检测模块和云台相机连接,通过获取控制模块发送的云台朝向数据,在目标检测模块的辅助下对云台相机实施控制以及自动化拍摄,所述无人机巡检系统还包括双目避障模块,所述双目避障模块与飞控模块连接用于障碍物距离的测量。本发明能降低自动巡检系统的建设成本,显著提高巡检效率和大型设备自动巡检过程的安全性。
Description
技术领域
本发明涉及无人机技术与机器视觉领域,具体涉及基于机器视觉的大型设备无人机巡检系统及其方法。
背景技术
设备巡检系统是通过确保巡检工作质量以及提高巡检工作效率来提高设备维护水平的一种系统,其目的是掌握设备运行状况及其周围环境变化,发现设施缺陷和危及安全的隐患,从而及时采取有效措施,保证设备的安全和系统稳定。其中大型设备的结构外表面VT(Visual Testing,目视检测)检测是必不可少的一环,当用户通过VT发现设备存在裂缝、锈蚀、油漆剥落、螺栓松动(脱落)等缺陷后,将情况通知给制造商,制造商基于缺陷位置的照片,提出针对的解决方法。
目前,针对大型设备,VT检测主要由人工完成,即检测人员挂安全带攀爬至所需检测的位置,然后用相机对目标位置进行拍摄,有条件的情况下,会在所需检测的位置搭脚手架。检测人员直接攀爬至检测位置的方法存在着危险系数高、检测效率低的缺点,尤其是部分检测人员难以到达的位置,搭脚手架的施工成本较高,且需要设备长时间停机,间接造成更大的经济损失。上述原因导致大量用户往往不愿意按照制造商的规定进行VT检测,从而使设备存在事故隐患,甚至导致严重事故的发生。
中国专利CN207466988U公开了一种电力设备巡检定位的无人机航拍装置,包括保护壳、扇叶、保护架、固定螺帽、LED灯、第一摄像头、电机、电机支架、主动轮、传送带、从动轮、发电机、支架、旋转台、第二摄像头、无人机本体、蓄电池、保护槽、减震弹簧和纤维棒。此专利实现了扇叶旋转的能量装换为电能,解决了传统无人机只能往下航拍的现象,并且设置了减震弹簧,防止了无人机的损坏。但此专利没能解决无人机智能检测大型设备的问题,拍摄的大量图片或视频需要工作人员逐一查看,使得工作人员工作量大、检测效率低。
中国专利CN108305346A公开了设备巡检方法、装置,此专利仅能检测出异常发热设备的问题,对设备表面的锈蚀、螺钉松动、设备表面裂纹等问题无法检测,并且此专利的无人机行走路线需要提前获得待检设备的三维分布图,增加了检测前期工作量,不利于无人机的快速投入检测使用,增加了无人机巡检的成本。
因此,设计一款智能化水平高、有效降低检测人员劳动强度、提高检测效率、降低巡检系统建设和运行成本,并且能检测出大型设备多种隐患的一种基于机器视觉的大型设备无人机巡检系统及其方法,显得尤为必要。
发明内容
为了克服上述缺陷,本发明提供一种基于机器视觉的大型设备无人机巡检系统及其方法,具体采用如下的技术方案:
一种基于机器视觉的大型设备无人机巡检系统,包括通信模块、飞控模块、控制模块、多轴无人机、云台相机、定位模块、目标检测模块、数据存储模块,所述定位模块、所述通信模块和所述飞控模块设置在所述多轴无人机内部,所述控制模块和所述目标检测模块设置在所述云台相机内,所述云台相机通过三轴云台设置在所述多轴无人机的下部,所述控制模块均与所述定位模块、所述通信模块、所述目标检测模块和所述云台相机连接,所述飞控模块、所述控制模块均与所述多轴无人机连接,所述数据存储模块与所述云台相机和通信模块连接。
优选地,所述多轴无人机为四轴无人机;
所述定位模块,采用双天线RTK定位模块,用于无人机位置的精确定位;
所述飞控模块,用于控制多轴无人机的飞行状态、云台相机的朝向与拍摄;
所述通信模块,用于实现无人机系统与无人机指挥系统之间的通信以及数据的传输,所述通信模块包括图传模块。
优选地,所述无人机巡检系统还包括双目避障模块,所述双目避障模块与飞控模块连接用于障碍物距离的测量。
优选地,所述无人机指挥系统包括用于控制多轴无人机的遥控装置、控制模块以及基站,所述控制模块和所述基站均与所述遥控装置连接,所述基站是基于RTK(载波相位差分技术)建立。
一种基于机器视觉的大型设备无人机巡检系统的巡检方法,包括以下步骤:
1)对大型设备的结构进行划分,确定划分后机械设备每个区域的中心点,生成对应的大型设备的坐标系进行存储;
2)通过控制模块将大型设备的坐标系形成示教GNSS坐标,在示教过程中,训练无人机系统飞过指定线路,采集相应大型设备关键节点的图像信息;
3)根据示教同时采集得到的包含节点信息的图像,通过深度学习算法训练定位识别模型,检测图像中的关键节点以及其位置;
4)正式巡检过程中,无人机系统自动捕捉到包含关键节点的画面,根据上述模型检测到的节点位置,计算出图像中所有关键节点的几何中心,作为无人机拍摄的画面中心以及对焦点,进而进行拍摄。
优选地,所述控制模块用于通过获取所述定位模块提供的位置数据,辅助所述飞控模块实现对多轴无人机飞行状态的控制,以及通过获取所述三轴云台的朝向数据,在所述目标检测模块的辅助下对所述云台相机实施控制。
优选地,所述目标检测模块通过加载预训练的定位识别模型,自动捕捉到由所述云台相机传来的包含关键节点的图像,根据所述定位识别模型检测到的节点位置,计算出所述图像中所有关键节点的几何中心回传到所述控制模块,所述控制模块对云台相机实施控制。
优选地,所述RTK(载波相位差分技术)基站用于接收卫星数据将观测值与已知位置数据进行对比获得差分数据通过遥控装置发送至定位模块。
优选地,所述定位识别模型的训练步骤包括:
1)获取定位识别训练用数据;
2)利用深度卷积神经网络算法搭建定位识别模型;
3)根据步骤1)中所述定位识别训练用数据,利用深度学习算法来训练上述定位识别模型。
优选地,所述定位识别训练用数据为标注了特定关键节点的图像数据;所述定位识别训练用数据可以是服务器中预先存储的数据,也可以是设备巡检过程中得到的图像数据。
本发明所获得的有益技术效果:
1)本发明通过智能化设计,使得大型设备的巡检系统建设成本有效降低、巡检效率有效增加,显著降低了用户对巡检成本的投入,有效保证了大型设备的安全运行。
2)本发明通过机器视觉对于待检测区域内关键节点的自动识别,计算出云台相机最优的拍摄角度及对焦点,从而控制云台相机进行自动化拍摄,能显著提高拍摄效率和拍摄质量。
3)本发明通过在无人机上设置的双目避障模块,能够实现无人机在大型设备周围的安全飞行,保证了无人机的安全,保证了巡检系统各项检测指标的稳定、可靠。并且双目避障模块可以保证大型设备不会因为检修的原因照成碰撞事故的发生,影响生成。
4)本发明通过巡检方法针对相同结构形式的大型设备,在完成一次飞行路线设计后,用户只需对无人机进行一次标定,无人机即可自动对该大型设备进行目视检测,能显著降低巡检系统的建设成本,并且能够显著提高无人机巡检系统投入运行的日期。
5)本发明通过无人机采用VT(目视检测)检测方法对大型设备实施日常巡检,使得检测过程具有自动化程度高,耗时短,安全性好,操作便捷等特点,能够有效解决检测人员面对的大型设备检测难点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明的无人机巡检系统的结构框图;
图2为本发明的巡检方法的流程示意图。
具体实施方式
以下将参照附图,通过实施例方式详细地描述本发明的技术方案。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B三种情况,本文中术语“/和”是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A,单独存在A和B两种情况,另外,本文中字符“/”,一般表示前后关联对象是一种“或”关系。
实施列1
根据图1所示,一种基于机器视觉的大型设备无人机巡检系统,包括云台相机、飞控模块、控制模块、目标检测模块。所述无人机巡检系统还包括多轴无人机、定位模块和通信模块,所述定位模块、所述通信模块和所述飞控模块设置在所述多轴无人机内部,所述控制模块和所述目标检测模块设置在所述云台相机内,所述云台相机设置在所述多轴无人机的下部,所述控制模块均与所述定位模块、所述通信模块、所述目标检测模块和所述云台相机连接,所述飞控模块、所述控制模块均与所述多轴无人机连接。所述控制模块用于通过获取定位模块提供的位置数据辅助飞控模块实现对多轴无人机飞行状态的控制,以及通过获取控制模块发送的云台朝向数据,在目标检测模块的辅助下对云台相机实施控制。
作为一种选择,所述飞控模块用于控制所述多轴无人机的飞行状态,所述控制模块用于控制所述云台相机的朝向与拍摄;所述通信模块用于实现多轴无人机与无人机指挥系统之间的通信以及数据的传输,所述无人机指挥系统包括用于控制所述多轴无人机的遥控装置、所述控制模块以及基站,所述控制模块和所述基站均与遥控装置连接,所述基站是基于RTK(载波相位差分技术)建立。
进一步的,所述RTK(载波相位差分技术)基站用于接收卫星数据将观测值与已知位置数据进行对比获得差分数据通过遥控装置发送至所述定位模块。
进一步的,所述多轴无人机采用四轴无人机,所述云台相机采用三轴云台挂载在四轴无人机的机身底部,所述三轴云台能提高所述云台相机的稳定性,避免外界干扰造成画面模糊,同时为相机提供充分的指向性,以适应各种拍摄角度。
进一步的,用于通过获取所述定位模块提供的位置数据辅助所述飞控模块实现对所述多轴无人机飞行状态的控制,以及通过获取所述控制模块发送的云台朝向数据控制所述云台相机进行自动化拍摄。
进一步的,所述无人机巡检系统包括双目避障模块,所述双目避障模块与飞控模块连接用于障碍物距离的测量。
进一步的,所述无人机巡检系统还包括用于存储拍摄结果的数据存储模块,所述数据存储模块与所述云台相机和所述通信模块连接,所述数据存储模块包括TF卡,所述TF卡在飞行过程中用于存储拍摄结果,降落后,所述数据存储模块将从TF卡中提取这些照片发送至所述控制模块,由所述控制模块完成归类整理。
根据图2所示,一种基于机器视觉的大型设备无人机巡检方法,其采用如前所述的无人机巡检系统,包括以下步骤:
1)对大型设备的结构进行划分,确定划分后大型设备每个区域的中心点,生成大型设备每个区域对应的坐标系进行存储;
2)基于控制模块将大型设备的坐标系形成示教GNSS坐标,在示教过程中,训练无人机系统飞过指定线路,采集相应大型设备关键节点的图像信息;
3)根据示教同时采集得到的包含节点信息的图像,通过深度学习算法训练定位识别模型,检测图像中的关键节点以及其位置;
4)正式巡检过程中,无人机巡检系统自动捕捉到包含关键节点的画面,根据上述定位识别模型检测到的节点位置,计算出图像中所有关键节点的几何中心,作为无人机拍摄的画面中心以及对焦点,进而进行拍摄。
作为一种选择,所述控制模块用于获取所述定位模块的实时位置数据,使控制模块能够记录用户操作时无人机的准确位置,所述控制模块还能够获取所述云台相机朝向的数据,及控制所述云台相机实施控制及自动化拍摄信息。
在本实施例中,上述巡检方法中所述定位识别模型的训练步骤包括:
1)获取定位识别训练用数据;
2)利用深度卷积神经网络算法搭建定位识别模型;
3)根据步骤1)中所述定位识别训练用数据,利用深度学习算法来训练上述定位识别模型。
进一步的,所述定位识别训练用数据为标注了特定关键节点的图像数据;所述定位识别训练用数据可以是服务器中预先存储的数据,也可以是设备巡检过程中得到的图像数据。所述定位识别训练用数据对于待识别的关键部位进行了标注,例如,用标框标注的方式将关键节点全部标注;若包含关键节点的图像数据量相对于上述深度卷积神经网络偏少,则可对标注后的上述关键节点图像进行移动操作,或是移动到不同的背景上,以扩充上述训练用数据。根据上述标注了关键节点的训练数据,利用深度学习或是机器学习的方式训练初始定位识别模型。对于上述识别训练数据,可以进行多特征训练,生成上述图像数据的多个特征图。还可以用滑动窗口的方式,计算各小窗口内的最大值作为新的特征,将上述特征排列成一列作为多特征融合的结果。
进一步的,上述利用最大池化实现多特征融合,可以预设预处理后的图像大小为M*N(此实验中M与N相等)。利用小窗口在多个特征图上进行间隔滑动,取小窗口内的最大值作为新特征。所有得到的新特征排列成一列多特征融合的结果。
进一步的,在本实施例中,对大型设备上关键节点处,检测其是否存在裂缝、锈蚀、油漆剥落、螺栓松动(脱落)等缺陷。通过无人机对大型设备关键节点处的航拍得到相应的图像数据,控制模块通过搭载的上述定位识别模型实时计算出上述图像数据中所有关键节点位置,并推算出上述关键节点位置的几何中心,以此作为画面的中心点以及对焦点。控制模块根据上述推算结果实时调整云台的朝向与焦距并对其进行图像采集,实现采集过程全自动化的同时也保证每一张图像质量。将所述图像采集的图像发送到用户的终端设备,并提醒用户对相关出现了缺陷的节点区域进行及时修复。同时,所述图像采集的图像可以作为训练定位识别系统的新一批训练数据,添加到训练中。
实施例2
本实施例是在前述实施例1的基础上进行的,主要明确相关部件的具体实施方式。本实施例与实施例1相同之处不再鳌述。
本实施例中,多轴无人机采用大疆创新的Matrice 210四轴无人机(以下简称无人机)作为飞行平台;本实施例中,通信模块包括图传模块,所述图传模块和飞控模块为Matrice 210四轴无人机的自带模块,为本领域的现有技术,在本实施例中不再对其型号和电路图加以赘述。
作为一种选择,所述云台相机为大疆创新Zenmuse X5S云台相机配合奥林巴斯M.ZUIKO DIGITAL 45mm F1.8镜头,能够实现高分辨率、高清晰度照片的采集。
作为一种选择,所述遥控装置与Matrice 210四轴无人机相适配,为本领域的现有技术,在本实施例中作为数据链路使用,用于传输航线数据、RTK数据、获取无人机实时状态以及用于突发情况下对无人机进行回收。
进一步的,所述控制模块按照标定位置的GNSS坐标将大型设备坐标系转为无人机飞行使用的航点WGS84坐标系。具体的,坐标系转换是将大型设备设计图纸中的以机械上或附件的某处为原点,按结构主朝向制定的三维笛卡尔(Cartesian)坐标系转为NED(NorthEast Down)坐标系,然后再将NED坐标系转为WGS84(World Geodetic System 1984)坐标系,所述GNSS数据采用的坐标系即为WGS84坐标系。
实施列3
本实施例是在前述实施例1或2的基础上进行的。本实施例与实施例1-2任一项相同之处不再鳌述。
本实施例中,将示教过程拍摄的带有关键节点的图片存储到所述控制模块中作为标准图片,所述标准图片为所述关键节点的正常工作状态下的照片,即表面没有锈蚀状态的、螺栓紧固状态的、没有裂缝的、油漆没有脱落的等各种不良缺陷下的照片。
进一步的,所述数据存储模块从TF卡中提取这些照片发送至所述控制模块后,所述控制模块将正常巡检时拍摄的各个关键节点的照片与相应关键节点的标准照片进行比对,将有一定差异的正常巡检时拍摄的照片自动筛选出,主动推送给巡检人员,以便巡检人员对异常关键节点及时跟踪检查和维修,有效降低巡检人员的巡检劳动强度和提高巡检人员巡检效率,有效降低大型设备的巡检成本。
如上所述,可较好地实现本发明,对于本领域的技术人员而言,在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和变型仍落入本发明的保护范围内。本发明中未进行特殊说明或限定的部分,均采用现有技术实施。
Claims (10)
1.一种基于机器视觉的大型设备无人机巡检系统,包括通信模块、飞控模块、控制模块,其特征在于,所述无人机巡检系统还包括多轴无人机、云台相机、定位模块、目标检测模块、数据存储模块,所述定位模块、所述通信模块和所述飞控模块设置在所述多轴无人机内部,所述控制模块和所述目标检测模块设置在所述云台相机内,所述云台相机通过三轴云台设置在所述多轴无人机的下部,所述控制模块均与所述定位模块、所述通信模块、所述目标检测模块和所述云台相机连接,所述飞控模块、所述控制模块均与所述多轴无人机连接,所述数据存储模块与所述云台相机和通信模块连接。
2.根据权利要求1所述的一种基于机器视觉的大型设备无人机巡检系统,其特征在于,所述多轴无人机为四轴无人机;
所述定位模块,采用双天线RTK定位模块,用于无人机位置的精确定位;
所述飞控模块,用于控制多轴无人机的飞行状态、云台相机的朝向与拍摄;
所述通信模块,用于实现无人机系统与无人机指挥系统之间的通信以及数据的传输,所述通信模块包括图传模块。
3.根据权利要求1所述的一种基于机器视觉的大型设备无人机巡检系统,其特征在于,所述无人机巡检系统还包括双目避障模块,所述双目避障模块与飞控模块连接用于障碍物距离的测量。
4.根据权利要求2所述的一种基于机器视觉的大型设备无人机巡检系统,其特征在于,所述无人机指挥系统包括用于控制多轴无人机的遥控装置、控制模块以及基站,所述控制模块和所述基站均与所述遥控装置连接,所述基站是基于RTK(载波相位差分技术)建立。
5.根据权利要求1-4任一项所述的一种基于机器视觉的大型设备无人机巡检系统的巡检方法,其特征在于,包括以下步骤:
1)对大型设备的结构进行划分,确定划分后机械设备每个区域的中心点,生成对应的大型设备的坐标系进行存储;
2)通过控制模块将大型设备的坐标系形成示教GNSS坐标,在示教过程中,训练无人机系统飞过指定线路,采集相应大型设备关键节点的图像信息;
3)根据示教同时采集得到的包含节点信息的图像,通过深度学习算法训练定位识别模型,检测图像中的关键节点以及其位置;
4)正式巡检过程中,无人机系统自动捕捉到包含关键节点的画面,根据上述模型检测到的节点位置,计算出图像中所有关键节点的几何中心,作为无人机拍摄的画面中心以及对焦点,进而进行拍摄。
6.根据权利要求5所述的一种基于机器视觉的大型设备无人机巡检方法,其特征在于,所述控制模块用于通过获取所述定位模块提供的位置数据,辅助所述飞控模块实现对多轴无人机飞行状态的控制,以及通过获取所述三轴云台的朝向数据,在所述目标检测模块的辅助下对所述云台相机实施控制。
7.根据权利要求5所述的一种基于机器视觉的大型设备无人机巡检方法,其特征在于,所述目标检测模块通过加载预训练的定位识别模型,自动捕捉到由所述云台相机传来的包含关键节点的图像,根据所述定位识别模型检测到的节点位置,计算出所述图像中所有关键节点的几何中心回传到所述控制模块,所述控制模块对云台相机实施控制。
8.根据权利要求5所述的一种基于机器视觉的大型设备无人机巡检方法,其特征在于,所述RTK(载波相位差分技术)基站用于接收卫星数据将观测值与已知位置数据进行对比获得差分数据通过遥控装置发送至定位模块。
9.根据权利要求5所述的一种基于机器视觉的大型设备无人机巡检方法,其特征在于,所述定位识别模型的训练步骤包括:
1)获取定位识别训练用数据;
2)利用深度卷积神经网络算法搭建定位识别模型;
3)根据步骤1)中所述定位识别训练用数据,利用深度学习算法来训练上述定位识别模型。
10.根据权利要求9所述的一种基于机器视觉的大型设备无人机巡检方法,其特征在于,所述定位识别训练用数据为标注了特定关键节点的图像数据;所述定位识别训练用数据可以是服务器中预先存储的数据,也可以是设备巡检过程中得到的图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811090856.7A CN109116865A (zh) | 2018-09-19 | 2018-09-19 | 基于机器视觉的大型设备无人机巡检系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811090856.7A CN109116865A (zh) | 2018-09-19 | 2018-09-19 | 基于机器视觉的大型设备无人机巡检系统及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109116865A true CN109116865A (zh) | 2019-01-01 |
Family
ID=64858478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811090856.7A Pending CN109116865A (zh) | 2018-09-19 | 2018-09-19 | 基于机器视觉的大型设备无人机巡检系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109116865A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110044594A (zh) * | 2019-04-25 | 2019-07-23 | 华南理工大学 | 一种基于无人机图像识别的建筑塔机螺栓松紧监测方法 |
CN111652067A (zh) * | 2020-04-30 | 2020-09-11 | 南京理工大学 | 一种基于图像探测的无人机识别方法 |
CN111929329A (zh) * | 2020-07-30 | 2020-11-13 | 广东寰球智能科技有限公司 | 玻璃幕墙智能检测方法、系统及存储介质 |
CN113074698A (zh) * | 2021-03-25 | 2021-07-06 | 涵涡智航科技(玉溪)有限公司 | 一种基于机器视觉的智能杆塔倾斜检测系统 |
CN113452912A (zh) * | 2021-06-25 | 2021-09-28 | 山东新一代信息产业技术研究院有限公司 | 巡视机器人的云台摄像机的控制方法、装置、设备及介质 |
CN113447000A (zh) * | 2021-06-26 | 2021-09-28 | 珠海经济特区建设监理有限公司 | 超高层建筑工程测量的监理控制方法、系统、设备及介质 |
WO2022193081A1 (zh) * | 2021-03-15 | 2022-09-22 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、装置及无人机 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103135550A (zh) * | 2013-01-31 | 2013-06-05 | 南京航空航天大学 | 用于电力巡线的无人机多重避障控制方法 |
KR101418487B1 (ko) * | 2013-03-22 | 2014-07-14 | 한국항공우주산업 주식회사 | Arinc 653을 이용하는 무인기용 비행제어시스템 및 그 제어방법 |
CN205158443U (zh) * | 2015-09-23 | 2016-04-13 | 上海电巴新能源科技有限公司 | 供电线路的铁塔结构巡检系统 |
CN106379535A (zh) * | 2016-09-29 | 2017-02-08 | 深圳大学 | 一种基于无人机的现代有轨电车接触网巡检方法及装置 |
CN107292870A (zh) * | 2017-06-07 | 2017-10-24 | 复旦大学 | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统 |
CN107450587A (zh) * | 2017-09-19 | 2017-12-08 | 广东电网有限责任公司佛山供电局 | 一种无人机精细化巡检的智能飞行控制方法及系统 |
CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
CN107749055A (zh) * | 2017-09-20 | 2018-03-02 | 广东方纬科技有限公司 | 一种led交通诱导屏的故障检测方法、系统及装置 |
CN107992067A (zh) * | 2017-11-24 | 2018-05-04 | 贵州电网有限责任公司 | 基于集成吊舱和ai技术的无人机巡检故障诊断系统 |
CN108022235A (zh) * | 2017-11-23 | 2018-05-11 | 中国科学院自动化研究所 | 高压输电铁塔关键部件缺陷识别方法 |
CN108334104A (zh) * | 2017-12-28 | 2018-07-27 | 成都优艾维智能科技有限责任公司 | 一种基于rtk定位的无人机自主巡检系统及方法 |
CN108416510A (zh) * | 2018-02-10 | 2018-08-17 | 杭州后博科技有限公司 | 一种铁塔巡检任务列表实时调整方法及系统 |
CN108520567A (zh) * | 2018-03-26 | 2018-09-11 | 云南电网有限责任公司丽江供电局 | 一种依靠拍摄设备运行图像识别的辅助巡检方法 |
-
2018
- 2018-09-19 CN CN201811090856.7A patent/CN109116865A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103135550A (zh) * | 2013-01-31 | 2013-06-05 | 南京航空航天大学 | 用于电力巡线的无人机多重避障控制方法 |
KR101418487B1 (ko) * | 2013-03-22 | 2014-07-14 | 한국항공우주산업 주식회사 | Arinc 653을 이용하는 무인기용 비행제어시스템 및 그 제어방법 |
CN205158443U (zh) * | 2015-09-23 | 2016-04-13 | 上海电巴新能源科技有限公司 | 供电线路的铁塔结构巡检系统 |
CN106379535A (zh) * | 2016-09-29 | 2017-02-08 | 深圳大学 | 一种基于无人机的现代有轨电车接触网巡检方法及装置 |
CN107292870A (zh) * | 2017-06-07 | 2017-10-24 | 复旦大学 | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统 |
CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
CN107450587A (zh) * | 2017-09-19 | 2017-12-08 | 广东电网有限责任公司佛山供电局 | 一种无人机精细化巡检的智能飞行控制方法及系统 |
CN107749055A (zh) * | 2017-09-20 | 2018-03-02 | 广东方纬科技有限公司 | 一种led交通诱导屏的故障检测方法、系统及装置 |
CN108022235A (zh) * | 2017-11-23 | 2018-05-11 | 中国科学院自动化研究所 | 高压输电铁塔关键部件缺陷识别方法 |
CN107992067A (zh) * | 2017-11-24 | 2018-05-04 | 贵州电网有限责任公司 | 基于集成吊舱和ai技术的无人机巡检故障诊断系统 |
CN108334104A (zh) * | 2017-12-28 | 2018-07-27 | 成都优艾维智能科技有限责任公司 | 一种基于rtk定位的无人机自主巡检系统及方法 |
CN108416510A (zh) * | 2018-02-10 | 2018-08-17 | 杭州后博科技有限公司 | 一种铁塔巡检任务列表实时调整方法及系统 |
CN108520567A (zh) * | 2018-03-26 | 2018-09-11 | 云南电网有限责任公司丽江供电局 | 一种依靠拍摄设备运行图像识别的辅助巡检方法 |
Non-Patent Citations (1)
Title |
---|
本书编委会: "《2017测绘地理信息仪器装备发展研究》", 31 October 2017, 测绘出版社 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110044594A (zh) * | 2019-04-25 | 2019-07-23 | 华南理工大学 | 一种基于无人机图像识别的建筑塔机螺栓松紧监测方法 |
CN111652067A (zh) * | 2020-04-30 | 2020-09-11 | 南京理工大学 | 一种基于图像探测的无人机识别方法 |
CN111929329A (zh) * | 2020-07-30 | 2020-11-13 | 广东寰球智能科技有限公司 | 玻璃幕墙智能检测方法、系统及存储介质 |
WO2022193081A1 (zh) * | 2021-03-15 | 2022-09-22 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、装置及无人机 |
CN113074698A (zh) * | 2021-03-25 | 2021-07-06 | 涵涡智航科技(玉溪)有限公司 | 一种基于机器视觉的智能杆塔倾斜检测系统 |
CN113074698B (zh) * | 2021-03-25 | 2022-03-22 | 涵涡智航科技(玉溪)有限公司 | 一种基于机器视觉的智能杆塔倾斜检测系统 |
CN113452912A (zh) * | 2021-06-25 | 2021-09-28 | 山东新一代信息产业技术研究院有限公司 | 巡视机器人的云台摄像机的控制方法、装置、设备及介质 |
CN113447000A (zh) * | 2021-06-26 | 2021-09-28 | 珠海经济特区建设监理有限公司 | 超高层建筑工程测量的监理控制方法、系统、设备及介质 |
CN113447000B (zh) * | 2021-06-26 | 2022-06-21 | 珠海经济特区建设监理有限公司 | 超高层建筑工程测量的监理控制方法、系统、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109116865A (zh) | 基于机器视觉的大型设备无人机巡检系统及其方法 | |
CN109901625B (zh) | 一种桥梁巡检系统 | |
CN107450587B (zh) | 一种无人机精细化巡检的智能飞行控制方法及系统 | |
CN108306217B (zh) | 一种架空高压线智能自主沿导线飞行巡检系统和方法 | |
CN109911188B (zh) | 非卫星导航定位环境的桥梁检测无人机系统 | |
CN104843176B (zh) | 一种用于桥梁隧道自动巡检旋翼无人机系统及导航方法 | |
CN106909167B (zh) | 一种多机多站联合立体任务系统及方法 | |
CN109683629B (zh) | 基于组合导航和计算机视觉的无人机电力架线系统 | |
CN110113570A (zh) | 一种输电线路无人机自主巡检系统及其工作方法 | |
CN108255189A (zh) | 一种电力巡检无人机系统 | |
CN109901580A (zh) | 一种无人机与无人地面机器人协作循径避障系统及其方法 | |
CN106708073B (zh) | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 | |
CN112884931A (zh) | 一种用于变电站的无人机巡检方法及系统 | |
CN107729808A (zh) | 一种用于输电线路无人机巡检的图像智能采集系统及方法 | |
CN104015931B (zh) | 一种无人机自动加油盲区视觉定位测控方法、系统及实验平台 | |
CN108258613A (zh) | 智能巡线光电吊舱及实现巡线的方法 | |
CN114035614A (zh) | 基于先验信息的无人机自主巡检方法、系统及存储介质 | |
CN208013784U (zh) | 一种无人机精细化巡检的智能飞行控制系统 | |
CN112162565B (zh) | 一种基于多机协同作业的不间断自主杆塔巡检方法 | |
CN109739254A (zh) | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 | |
CN210090988U (zh) | 一种无人机巡检系统 | |
CN112326686A (zh) | 无人机智能巡航路面病害检测方法、无人机和检测系统 | |
CN110110112A (zh) | 一种基于可升降小车的绕机检查方法及系统 | |
CN109901623B (zh) | 桥梁墩身巡检航线规划方法 | |
CN109829908A (zh) | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190101 |
|
RJ01 | Rejection of invention patent application after publication |