CN114020039A - 无人机巡检杆塔自动对焦系统及方法 - Google Patents
无人机巡检杆塔自动对焦系统及方法 Download PDFInfo
- Publication number
- CN114020039A CN114020039A CN202111501611.0A CN202111501611A CN114020039A CN 114020039 A CN114020039 A CN 114020039A CN 202111501611 A CN202111501611 A CN 202111501611A CN 114020039 A CN114020039 A CN 114020039A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- camera
- target
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013136 deep learning model Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种无人机巡检杆塔自动对焦系统及方法,该系统包括部署于无人机内部的机载激光雷达设备、RTK接收机、以及边缘计算平台。RTK接收机对无人机实时定位得到相应的定位信息;机载激光雷达设备对配电架空线路进行全方位扫描得到相应的三维激光雷达点云数据,进而利用当前获取的定位信息对三维激光雷达点云数据进行处理,并以此生成针对配电架空线路的航迹路线图;对于航迹路线图中每个关键特征点,边缘计算平台获取无人机在该关键特征点下所拍摄的目标图像,并在该目标图像中识别相应巡检目标,进而利用当前所获取的定位管信息计算该巡检目标与无人机的相机焦距中心的实际距离,以此确定相匹配的相机调整参数,执行自动对焦。
Description
技术领域
本发明涉及配网技术领域,更具体地说,涉及一种无人机巡检杆塔自动对焦系统及方法。
背景技术
当前,无人机作为电力巡视的重要手段之一,已开展常态化作业,解决了人工巡视受角度限制、无法近距离巡视等问题,但当前无人机巡线模式主要依靠人工方式控制、自动化程度不高,加之配网线路工况环境复杂,利用无人机实现自动巡检和辅助竣工验收,仍面临一系列问题。
地面操控人员仅能通过回传的实时画面在很短的距离(1-3km)范围内对机载云台的指向做手动调整,加之电力线路的电磁干扰,极易影响无人机的自主飞行可靠性,导致很多无人机飞出预设航线的事故。
因此,如何实时识别杆塔关键拍照点位指导无人机飞行对焦拍照得到高质量的巡检样本,成为现阶段亟需解决的问题。
发明内容
有鉴于此,为解决上述问题,本发明提供一种无人机巡检杆塔自动对焦系统及方法,技术方案如下:
一种无人机巡检杆塔自动对焦系统,所述系统包括:部署无人机内部的机载激光雷达设备、RTK实时差分定位接收机、以及边缘计算平台;
所述RTK接收机,用于对所述无人机进行实时定位得到相应的定位信息,并分别输出至所述机载激光雷达设备和所述边缘计算平台;
所述机载激光雷达设备,用于对配电架空线路进行全方位扫描,得到相应的三维激光雷达点云数据;利用当前获取的定位信息对所述三维激光雷达点云数据进行处理,并基于处理后的三维激光雷达点云数据生成针对所述配电架空线路的航迹路线图、并输出至所述边缘计算平台,所述航迹路线图中包含多个关键特征点、以及每个关键特征点对应的巡检目标;
所述边缘计算平台,用于针对所述多个关键特征点中的每个关键特征点,获取所述无人机在该关键特征点下所拍摄的目标图像,并在所述目标图像中识别该关键特征点对应的巡检目标;利用当前所获取的定位信息计算所识别到的巡检目标与所述无人机的相机焦距中心间的实际距离,并确定与所述实际距离相匹配的相机调整参数;按照所述相机调整参数执行所述无人机的自动对焦。
优选的,用于在所述目标图像中识别该关键特征点对应的巡检目标的所述边缘计算平台,具体用于:
调用目标识别模型,所述目标识别模型是基于深度学习模型所预先训练的;将所述目标图像输入至所述目标识别模型,通过所述目标识别模型确定所述目标图像中的该关键特征点对应的巡检目标。
优选的,用于利用当前所获取的定位信息计算所识别到的巡检目标与所述无人机的相机焦距中心间的实际距离的所述边缘计算平台,具体用于:
分别确定所述无人机的相机焦距中心、以及所识别到的巡检目标在所述目标图像中对应的图像位置坐标;基于当前所获取的定位信息确定所述目标图像中不同图像位置坐标对应的世界位置坐标,并结合所述相机焦距中心、以及所识别到的巡检目标各自对应的图像位置坐标分别确定各自的世界位置坐标;利用所述相机焦距中心、以及所识别到的巡检目标的世界位置坐标,确定所识别到的巡检目标与所述相机焦距中心间的实际距离。
优选的,所述系统该包括:无人机云台;
用于按照所述相机调整参数执行所述无人机的自动对焦的所述边缘计算平台,具体用于:
将所述相机调整参数输出至所述无人机云台,并获取所述无人机云台所返回的实际相机调整参数;按照所述实际相机调整参数执行所述无人机的自动对焦;
所述无人机云台,还用于获取所述边缘计算平台所输出的所述相机调整参数;对所述相机调整参数进行处理得到实际相机调整参数,并返回至所述边缘计算平台。
一种无人机巡检杆塔自动对焦方法,所述方法应用于系统中部署于无人机内部的边缘计算平台,所述无人机内部还部署有机载激光雷达设备、以及RTK实时差分定位接收机;
获取所述机载激光雷达设备所输出的针对配电架空线路的航迹路线图,所述航迹路线图是所述机载激光雷达设备基于处理后的三维激光雷达点云数据所生成的,所述三维激光雷达点云数据是所述机载激光雷达设备对所述配电架空线路进行全方位扫描得到的、且利用当前获取的定位信息处理的,所述航迹路线图中包含多个关键特征点、以及每个关键特征点对应的巡检目标,所述机载激光雷达设备当前获取的定位信息是所述RTK接收机对所述无人机进行实时定位并输出的;
针对所述多个关键特征点中的每个关键特征点,获取所述无人机在该关键特征点下所拍摄的目标图像,并在所述目标图像中识别该关键特征点对应的巡检目标;
利用当前获取的定位信息计算所识别到的巡检目标与所述无人机的相机焦距中心间的实际距离,并确定与所述实际距离相匹配的相机调整参数,当前获取的定位信息是所述RTK接收机对所述无人机进行实时定位并输出的;
按照所述相机调整参数执行所述无人机的自动对焦。
优选的,所述在所述目标图像中识别该关键特征点对应的巡检目标,包括:
调用目标识别模型,所述目标识别模型是基于深度学习模型所预先训练的;
将所述目标图像输入至所述目标识别模型,通过所述目标识别模型确定所述目标图像中的该关键特征点对应的巡检目标。
优选的,所述利用当前获取的定位信息计算所识别到的巡检目标与所述无人机的相机焦距中心间的实际距离,包括:
分别确定所述无人机的相机焦距中心、以及所识别到的巡检目标在所述目标图像中对应的图像位置坐标;
基于当前所获取的定位信息确定所述目标图像中不同图像位置坐标对应的世界位置坐标,并结合所述相机焦距中心、以及所识别到的巡检目标各自对应的图像位置坐标分别确定各自的世界位置坐标;
利用所述相机焦距中心、以及所识别到的巡检目标的世界位置坐标,确定所识别到的巡检目标与所述相机焦距中心间的实际距离。
优选的,所述系统还包括无人机云台,所述按照所述相机调整参数执行所述无人机的自动对焦,包括:
将所述相机调整参数输出至所述无人机云台,并获取所述无人机云台所返回的实际相机调整参数;
按照所述实际相机调整参数执行所述无人机的自动对焦。
相较于现有技术,本发明实现的有益效果为:
本发明提供一种无人机巡检杆塔自动对焦系统及方法,该系统包括部署于无人机内部的机载激光雷达设备、RTK接收机、以及边缘计算平台。RTK接收机对无人机实时定位得到相应的定位信息;机载激光雷达设备对配电架空线路进行全方位扫描得到相应的三维激光雷达点云数据,进而利用当前获取的定位信息对三维激光雷达点云数据进行处理,并以此生成针对配电架空线路的航迹路线图;对于航迹路线图中每个关键特征点,边缘计算平台获取无人机在该关键特征点下所拍摄的目标图像,并在该目标图像中识别相应巡检目标,进而利用当前所获取的定位管信息计算该巡检目标与无人机的相机焦距中心的实际距离,以此确定相匹配的相机调整参数,执行自动对焦。基于本发明,能生成精细化的无人机的航迹路线图,并针对每个关键特征点均最优化设置其相机调整参数,以此大大提高无人机的巡检效率、巡检安全和图像识别的准确率,真正解决特殊需求,可以适应不同场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的无人机巡检杆塔自动对焦系统的结构示意图;
图2为本发明实施例提供的无人机巡检杆塔自动对焦系统的另一结构示意图;
图3为本发明实施例提供的无人机巡检杆塔自动对焦方法的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
针对现有技术的不足,本发明提供了一种无人机巡检杆塔自动对焦方案,解决了现有技术中的配网线路无人机自主飞行中采集图像质量不一所造成的后端分析压力、网络带宽和传输信号干扰影响等技术问题。
参见图1,图1为本发明实施例提供的无人机巡检杆塔自动对焦系统的结构示意图,该无人机巡检杆塔自动对焦系统包括部署无人机内部的机载激光雷达设备10、RTK接收机20、以及边缘计算平台30,其中RTK(Real-time kinematic)即实时差分定位。
RTK接收机20,用于对无人机进行实时定位得到相应的定位信息,并分别输出至机载激光雷达设备10和边缘计算平台30。
本发明实施例中,RTK接收机20能够面向低空摄影测量应用,具备厘米级导航定位系统和高性能成像系统,由此可以准确的实时无人机定位信息。
机载激光雷达设备10,用于对配电架空线路进行全方位扫描,得到相应的三维激光雷达点云数据;利用当前获取的定位信息对三维激光雷达点云数据进行处理,并基于处理后的三维激光雷达点云数据生成针对配电架空线路的航迹路线图、并输出至边缘计算平台30,航迹路线图中包含多个关键特征点、以及每个关键特征点对应的巡检目标。
本发明实施例中,机载激光雷达设备10可以对配电架空线路的导线、通道及杆塔设备进行全方位扫描,以此得到相应的三维激光雷达模型,该三维激光雷达模型具有相应的三维激光雷达点云数据。
进而,根据当前获取的定位信息,机载激光雷达设备10可以对三维激光雷达点云数据进行处理,处理后的三维激光雷达点云数据中每个点都含有相应的定位信息。
进一步,可以预先梳理配电架空线路的所有关键特征点以及各关键特征点对应的巡检目标,该关键特征点包括特定的导线、通道及杆塔设备、而巡检目标则可以包括杆塔本体、横担、绝缘子、变压器、绝缘保护套等硬件结构。机载激光雷达设备10可以基于配电架空线路的所有关键特征点、以及各关键特征点对应的巡检目标可以进行无人机的飞行顺序排序,并在处理后的三维激光雷达点云数据中标志各关键特征点、以及各关键特征点对应的巡检目标,利用现有的航线规划软件生成无人机自动飞行的航线规划,即航迹路线图,并且考虑无人机的电池容量、航线距离等因素还可以优化航迹路线图。
边缘计算平台30,用于针对多个关键特征点中的每个关键特征点,获取无人机在该关键特征点下所拍摄的目标图像,并在目标图像中识别该关键特征点对应的巡检目标;利用当前所获取的定位信息计算所识别到的巡检目标与无人机的相机焦距中心间的实际距离,并确定与实际距离相匹配的相机调整参数;按照相机调整参数执行无人机的自动对焦。
本发明实施例中,对于机载激光雷达设备10所输出的航迹路线图,无人机可以依次飞行至各关键特征点,在该关键特征点对相应的巡检目标进行拍照。因此边缘计算平台30可以无人机在该关键特征点下所拍摄的图像,即目标图像,进而对目标图像进行目标识别,以识别目标图像中的与该关键特征点相对应的巡检目标。
进一步,根据当前获取的定位信息,边缘计算平台30可以进一步计算所识别的巡检目标与无人机的相机焦距中心,即目标图像的图像中心间的实际距离,该实际距离是世界坐标系下的距离,包括经纬度和高度,并以该实际距离确定相匹配的相机调整参数,该相机调整参数包括无人机角度和焦距的调整量,按照该相机调整参数对无人机进行调整后,无人机可以实现相机的自动对焦,后续所拍摄图像的相机焦距中心即巡检目标的中心,即巡检目标位于图像的图像中心。
最后,无人机按照航迹路线图重复执行每个关键特征点的首次图像拍摄、自动对焦以及后续的图像拍摄,直到无人机的电池容量达到临界点停止巡检计划并返航。
在一些实施例中,用于在目标图像中识别该关键特征点对应的巡检目标的边缘计算平台30,具体用于:
调用目标识别模型,目标识别模型是基于深度学习模型所预先训练的;将目标图像输入至目标识别模型,通过目标识别模型确定目标图像中的该关键特征点对应的巡检目标。
本发明实施例中,边缘计算平台30可以预先基于深度学习模型训练得到目标识别模型。在基于深度学习模型训练目标识别模型的过程中,可以将大量的含有不同配电架空线路下所拍摄的不同关键特征点所对应巡检目标的图像作为训练样本,对训练样本标注真实目标识别结果的标签,将训练样本输入至深度学习模型中,以深度学习模型对训练样本的目标识别结果趋近于相应的标签为目标,对深度学习模型中前端的特征提取层和后端的分类器层进行多次迭代训练,从而训练得到端到端的目标识别模型。需要说明的是,深度学习模型可以采用yolov5目标检测算法,在图像的不同位置进行密集采样,然后使用CNN(Convolutional Neural Networks,卷积神经网络)提取特征并直接进行分类和回归,训练得到的目标识别模型能够识别巡检目标的位置和类别。
由此,通过目标识别模型可以确定目标图像中与相应关键特征点对应的巡检目标,从而输出该巡检目标所在的矩形区域。
在一些实施例中,用于利用当前所获取的定位信息计算所识别到的巡检目标与无人机的相机焦距中心间的实际距离的边缘计算平台30,具体用于:
分别确定无人机的相机焦距中心、以及所识别到的巡检目标在目标图像中对应的图像位置坐标;基于当前所获取的定位信息确定目标图像中不同图像位置坐标对应的世界位置坐标,并结合相机焦距中心、以及所识别到的巡检目标各自对应的图像位置坐标分别确定各自的世界位置坐标;利用相机焦距中心、以及所识别到的巡检目标的世界位置坐标,确定所识别到的巡检目标与相机焦距中心间的实际距离。
本发明实施例中,无人机的相机焦距中心即目标图像的中心点、而所识别到的巡检目标则可以以其所在矩形区域的中心点来表示,因此可以在目标图像中定位相机焦距中心和所识别到的巡检目标所在的像素坐标,即图像坐标系下的位置坐标,即图像位置坐标。进而,由于当前所获取的定位信息中包含有目标图像中不同图像位置坐标对应的世界坐标系下的位置坐标,即世界位置坐标,则通过匹配相机焦距中心和所识别到的巡检目标所在的图像位置坐标可以分别确定相机焦距中心和所识别到的巡检目标各自的世界位置坐标。进一步,利用相机焦距中心的世界位置坐标和所识别到的巡检目标的世界位置坐标,可以计算出两者之间的实际距离。需要说明的是,世界位置坐标中包含经纬度和高度。
在一些实施例中,无人机巡检杆塔自动对焦系统还包括无人机云台40,该无人机巡检杆塔自动对焦系统的结构示意图如图2所示。
用于按照相机调整参数执行无人机的自动对焦的边缘计算平台30,具体用于:
将相机调整参数输出至无人机云台40,并获取无人机云台40所返回的实际相机调整参数;按照实际相机调整参数执行无人机的自动对焦;
无人机云台40,还用于获取边缘计算平台30所输出的相机调整参数;对相机调整参数进行处理得到实际相机调整参数,并返回至边缘计算平台30。
本发明实施例中,边缘计算平台30可以将相机调整参数输出至无人机云台40。无人机云台40则可以对无人机进行设备检测,并依据设备检测结果对相机调整参数进行相应的处理,比如以指定的逻辑对相机调整参数进行微调,以此将处理得到的实际相机调整参数返回至边缘计算平台30。边缘计算平台30则可以按照实际相机调整参数中的无人机角度和焦距的调整量来调整无人机,实现相机的自动对焦,保证后续所拍摄图像的相机焦距中心即巡检目标的中心。
在无人机飞行的过程中,可以使用无人机云台40的管理功能对无人机进行绝对角度控制,在规定的时间内从当前位置转动到指定位置,另外,对无人机进行焦距调整可以保证图像拍摄的清晰度。在实际应用中,无人机云台40的管理功能还可以进一步控制无人机的转动速度,本发明实施例对此不做限定,从而完成指导飞行、自主拍照/自动对焦。
本发明实施例提供的无人机巡检杆塔自动对焦系统,能生成精细化的无人机的航迹路线图,并针对每个关键特征点均最优化设置其相机调整参数,以此大大提高无人机的巡检效率、巡检安全和图像识别的准确率,真正解决特殊需求,可以适应不同场景。
基于上述实施例提供的无人机巡检杆塔自动对焦系统,本发明实施例则对应提供一种无人机巡检杆塔自动对焦方法,该方法应用于系统中部署于无人机内部的边缘计算平台,无人机内部还部署有机载激光雷达设备、以及RTK实时差分定位接收机,该方法的方法流程图如图3所示,包括如下步骤:
S10,获取机载激光雷达设备所输出的针对配电架空线路的航迹路线图,航迹路线图是机载激光雷达设备基于处理后的三维激光雷达点云数据所生成的,三维激光雷达点云数据是机载激光雷达设备对配电架空线路进行全方位扫描得到的、且利用当前获取的定位信息处理的,航迹路线图中包含多个关键特征点、以及每个关键特征点对应的巡检目标,机载激光雷达设备当前获取的定位信息是RTK接收机对无人机进行实时定位并输出的。
S20,针对多个关键特征点中的每个关键特征点,获取无人机在该关键特征点下所拍摄的目标图像,并在目标图像中识别该关键特征点对应的巡检目标。
S30,利用当前获取的定位信息计算所识别到的巡检目标与无人机的相机焦距中心间的实际距离,并确定与实际距离相匹配的相机调整参数,当前获取的定位信息是RTK接收机对无人机进行实时定位并输出的。
S40,按照相机调整参数执行无人机的自动对焦。
可选的,步骤S20中“在目标图像中识别该关键特征点对应的巡检目标”,包括:
调用目标识别模型,目标识别模型是基于深度学习模型所预先训练的;
将目标图像输入至目标识别模型,通过目标识别模型确定目标图像中的该关键特征点对应的巡检目标。
可选的,步骤S30中“利用当前获取的定位信息计算所识别到的巡检目标与无人机的相机焦距中心间的实际距离”,包括:
分别确定无人机的相机焦距中心、以及所识别到的巡检目标在目标图像中对应的图像位置坐标;
基于当前所获取的定位信息确定目标图像中不同图像位置坐标对应的世界位置坐标,并结合相机焦距中心、以及所识别到的巡检目标各自对应的图像位置坐标分别确定各自的世界位置坐标;
利用相机焦距中心、以及所识别到的巡检目标的世界位置坐标,确定所识别到的巡检目标与相机焦距中心间的实际距离。
可选的,系统还包括无人机云台,步骤S40中“按照相机调整参数执行无人机的自动对焦”,包括:
将相机调整参数输出至无人机云台,并获取无人机云台所返回的实际相机调整参数;
按照实际相机调整参数执行无人机的自动对焦。
需要说明的是,本发明实施例中各步骤的细化实现可以参见上述无人机巡检杆塔自动对焦系统实施例对应公开部分,在此不再赘述。
以上对本发明所提供的一种无人机巡检杆塔自动对焦系统及方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素,或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种无人机巡检杆塔自动对焦系统,其特征在于,所述系统包括:部署无人机内部的机载激光雷达设备、RTK实时差分定位接收机、以及边缘计算平台;
所述RTK接收机,用于对所述无人机进行实时定位得到相应的定位信息,并分别输出至所述机载激光雷达设备和所述边缘计算平台;
所述机载激光雷达设备,用于对配电架空线路进行全方位扫描,得到相应的三维激光雷达点云数据;利用当前获取的定位信息对所述三维激光雷达点云数据进行处理,并基于处理后的三维激光雷达点云数据生成针对所述配电架空线路的航迹路线图、并输出至所述边缘计算平台,所述航迹路线图中包含多个关键特征点、以及每个关键特征点对应的巡检目标;
所述边缘计算平台,用于针对所述多个关键特征点中的每个关键特征点,获取所述无人机在该关键特征点下所拍摄的目标图像,并在所述目标图像中识别该关键特征点对应的巡检目标;利用当前所获取的定位信息计算所识别到的巡检目标与所述无人机的相机焦距中心间的实际距离,并确定与所述实际距离相匹配的相机调整参数;按照所述相机调整参数执行所述无人机的自动对焦。
2.根据权利要求1所述的系统,其特征在于,用于在所述目标图像中识别该关键特征点对应的巡检目标的所述边缘计算平台,具体用于:
调用目标识别模型,所述目标识别模型是基于深度学习模型所预先训练的;将所述目标图像输入至所述目标识别模型,通过所述目标识别模型确定所述目标图像中的该关键特征点对应的巡检目标。
3.根据权利要求1所述的系统,其特征在于,用于利用当前所获取的定位信息计算所识别到的巡检目标与所述无人机的相机焦距中心间的实际距离的所述边缘计算平台,具体用于:
分别确定所述无人机的相机焦距中心、以及所识别到的巡检目标在所述目标图像中对应的图像位置坐标;基于当前所获取的定位信息确定所述目标图像中不同图像位置坐标对应的世界位置坐标,并结合所述相机焦距中心、以及所识别到的巡检目标各自对应的图像位置坐标分别确定各自的世界位置坐标;利用所述相机焦距中心、以及所识别到的巡检目标的世界位置坐标,确定所识别到的巡检目标与所述相机焦距中心间的实际距离。
4.根据权利要求1所述的系统,其特征在于,所述系统该包括:无人机云台;
用于按照所述相机调整参数执行所述无人机的自动对焦的所述边缘计算平台,具体用于:
将所述相机调整参数输出至所述无人机云台,并获取所述无人机云台所返回的实际相机调整参数;按照所述实际相机调整参数执行所述无人机的自动对焦;
所述无人机云台,还用于获取所述边缘计算平台所输出的所述相机调整参数;对所述相机调整参数进行处理得到实际相机调整参数,并返回至所述边缘计算平台。
5.一种无人机巡检杆塔自动对焦方法,其特征在于,所述方法应用于系统中部署于无人机内部的边缘计算平台,所述无人机内部还部署有机载激光雷达设备、以及RTK实时差分定位接收机;
获取所述机载激光雷达设备所输出的针对配电架空线路的航迹路线图,所述航迹路线图是所述机载激光雷达设备基于处理后的三维激光雷达点云数据所生成的,所述三维激光雷达点云数据是所述机载激光雷达设备对所述配电架空线路进行全方位扫描得到的、且利用当前获取的定位信息处理的,所述航迹路线图中包含多个关键特征点、以及每个关键特征点对应的巡检目标,所述机载激光雷达设备当前获取的定位信息是所述RTK接收机对所述无人机进行实时定位并输出的;
针对所述多个关键特征点中的每个关键特征点,获取所述无人机在该关键特征点下所拍摄的目标图像,并在所述目标图像中识别该关键特征点对应的巡检目标;
利用当前获取的定位信息计算所识别到的巡检目标与所述无人机的相机焦距中心间的实际距离,并确定与所述实际距离相匹配的相机调整参数,当前获取的定位信息是所述RTK接收机对所述无人机进行实时定位并输出的;
按照所述相机调整参数执行所述无人机的自动对焦。
6.根据权利要求5所述的方法,其特征在于,所述在所述目标图像中识别该关键特征点对应的巡检目标,包括:
调用目标识别模型,所述目标识别模型是基于深度学习模型所预先训练的;
将所述目标图像输入至所述目标识别模型,通过所述目标识别模型确定所述目标图像中的该关键特征点对应的巡检目标。
7.根据权利要求5所述的方法,其特征在于,所述利用当前获取的定位信息计算所识别到的巡检目标与所述无人机的相机焦距中心间的实际距离,包括:
分别确定所述无人机的相机焦距中心、以及所识别到的巡检目标在所述目标图像中对应的图像位置坐标;
基于当前所获取的定位信息确定所述目标图像中不同图像位置坐标对应的世界位置坐标,并结合所述相机焦距中心、以及所识别到的巡检目标各自对应的图像位置坐标分别确定各自的世界位置坐标;
利用所述相机焦距中心、以及所识别到的巡检目标的世界位置坐标,确定所识别到的巡检目标与所述相机焦距中心间的实际距离。
8.根据权利要求5所述的方法,其特征在于,所述系统还包括无人机云台,所述按照所述相机调整参数执行所述无人机的自动对焦,包括:
将所述相机调整参数输出至所述无人机云台,并获取所述无人机云台所返回的实际相机调整参数;
按照所述实际相机调整参数执行所述无人机的自动对焦。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111501611.0A CN114020039A (zh) | 2021-12-09 | 2021-12-09 | 无人机巡检杆塔自动对焦系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111501611.0A CN114020039A (zh) | 2021-12-09 | 2021-12-09 | 无人机巡检杆塔自动对焦系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114020039A true CN114020039A (zh) | 2022-02-08 |
Family
ID=80068550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111501611.0A Pending CN114020039A (zh) | 2021-12-09 | 2021-12-09 | 无人机巡检杆塔自动对焦系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114020039A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116030366A (zh) * | 2023-02-21 | 2023-04-28 | 中国电建集团山东电力建设第一工程有限公司 | 一种电力线路巡检检测方法及系统 |
CN116824414A (zh) * | 2023-08-29 | 2023-09-29 | 深圳市硕腾科技有限公司 | 一种无人机快速部署rtk的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106340009A (zh) * | 2016-08-18 | 2017-01-18 | 河海大学常州校区 | 一种基于平行双目的电力线检测方法及系统 |
CN110703800A (zh) * | 2019-10-29 | 2020-01-17 | 国网江苏省电力有限公司泰州供电分公司 | 基于无人机的电力设施智能识别方法及系统 |
CN112004025A (zh) * | 2020-09-02 | 2020-11-27 | 广东电网有限责任公司 | 一种基于目标点云的无人机自动驾驶变焦方法、系统及设备 |
WO2020250093A1 (en) * | 2019-06-11 | 2020-12-17 | Gpm 3 S.R.L. | Multistatic radar system and method of operation thereof for detecting and tracking moving targets, in particular unmanned aerial vehicles |
CN112947519A (zh) * | 2021-02-05 | 2021-06-11 | 北京御航智能科技有限公司 | 一种无人机的巡检方法、装置及边缘计算模块 |
-
2021
- 2021-12-09 CN CN202111501611.0A patent/CN114020039A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106340009A (zh) * | 2016-08-18 | 2017-01-18 | 河海大学常州校区 | 一种基于平行双目的电力线检测方法及系统 |
WO2020250093A1 (en) * | 2019-06-11 | 2020-12-17 | Gpm 3 S.R.L. | Multistatic radar system and method of operation thereof for detecting and tracking moving targets, in particular unmanned aerial vehicles |
CN110703800A (zh) * | 2019-10-29 | 2020-01-17 | 国网江苏省电力有限公司泰州供电分公司 | 基于无人机的电力设施智能识别方法及系统 |
CN112004025A (zh) * | 2020-09-02 | 2020-11-27 | 广东电网有限责任公司 | 一种基于目标点云的无人机自动驾驶变焦方法、系统及设备 |
CN112947519A (zh) * | 2021-02-05 | 2021-06-11 | 北京御航智能科技有限公司 | 一种无人机的巡检方法、装置及边缘计算模块 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116030366A (zh) * | 2023-02-21 | 2023-04-28 | 中国电建集团山东电力建设第一工程有限公司 | 一种电力线路巡检检测方法及系统 |
CN116824414A (zh) * | 2023-08-29 | 2023-09-29 | 深圳市硕腾科技有限公司 | 一种无人机快速部署rtk的方法 |
CN116824414B (zh) * | 2023-08-29 | 2023-11-14 | 深圳市硕腾科技有限公司 | 一种无人机快速部署rtk的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109741257B (zh) | 全景图全自动拍摄、拼接系统及方法 | |
CN109387186B (zh) | 测绘信息获取方法、装置、电子设备及存储介质 | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
CN112884931A (zh) | 一种用于变电站的无人机巡检方法及系统 | |
CN111080832A (zh) | 输电线路杆塔的巡检方法及系统 | |
CN114020039A (zh) | 无人机巡检杆塔自动对焦系统及方法 | |
CN112327906A (zh) | 一种基于无人机的智能自动巡检系统 | |
CN111765974B (zh) | 一种基于微型制冷红外热像仪的野生动物观测系统及方法 | |
CN105578027A (zh) | 一种拍照方法及装置 | |
CN112949478A (zh) | 基于云台相机的目标检测方法 | |
CN113759961A (zh) | 基于无人机ai巡检控制的输电线路全景巡检方法及系统 | |
CN115311346A (zh) | 一种电力巡检机器人定位图像构建方法、装置、电子设备及存储介质 | |
CN113902698A (zh) | 一种基于智能视觉控制的无人机云台渐进式目标对焦方法 | |
CN114035606A (zh) | 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质 | |
CN116185065A (zh) | 无人机巡检方法、装置及非易失性存储介质 | |
CN114037895A (zh) | 一种无人机杆塔巡检图像识别方法 | |
CN113987246A (zh) | 无人机巡检的图片自动命名方法、装置、介质和电子设备 | |
WO2021168707A1 (zh) | 对焦方法、装置及设备 | |
JP2014099055A (ja) | 検出装置、検出方法、及びプログラム | |
US20220283584A1 (en) | Information processing device, information processing method, and information processing program | |
CN112631333A (zh) | 无人机的目标跟踪方法、装置及图像处理芯片 | |
CN115588143A (zh) | 一种基于无人机机载计算机的电力设备目标识别跟踪方法 | |
CN112956182A (zh) | 相机控制方法、设备及计算机可读存储介质 | |
CN114740878B (zh) | 基于计算机图像识别的无人机飞行障碍物探测方法 | |
CN116228860A (zh) | 目标物的地理位置预测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |