CN109885098B - 一种桥梁边栏巡检航线规划方法 - Google Patents
一种桥梁边栏巡检航线规划方法 Download PDFInfo
- Publication number
- CN109885098B CN109885098B CN201910290125.5A CN201910290125A CN109885098B CN 109885098 B CN109885098 B CN 109885098B CN 201910290125 A CN201910290125 A CN 201910290125A CN 109885098 B CN109885098 B CN 109885098B
- Authority
- CN
- China
- Prior art keywords
- bridge
- unmanned aerial
- aerial vehicle
- route
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Bridges Or Land Bridges (AREA)
Abstract
本发明公开了一种桥梁边栏巡检航线规划方法,操作无人机对桥梁单侧边栏巡检,通过云台相机对桥梁边栏进行图像采集。在对桥梁单侧边栏进行巡检的同时将无人机飞行航线与云台相机包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合,生成桥梁单侧边栏巡检航线。操作无人机对桥梁另一侧边栏进行巡检,通过云台相机对桥梁边栏进行图像采集,生成另一侧边栏巡检航线。在桥梁两侧巡检航线的末端手动飞行一条跨越桥梁底面的航线,再将三条航线融合成一条完整的桥梁边栏巡检航线。本发明能够解决现有巡检方式主要依靠人工操作无人机采集桥梁表面数据,自动化程度低、工作量大、获取数据稳定性差、安全性低的技术问题。
Description
技术领域
本发明涉及工程检测技术领域,尤其是涉及一种利用无人飞行器实现铁路、公路等桥梁巡检的桥梁边栏巡检航线规划方法。
背景技术
到2017年底,全国铁路营业里程达到12.7万公里,其中高铁2.5万公里,按桥梁占线路52%的比例计算,我国高铁桥梁约有一万余公里。像京津城际桥梁累计长度占全线正线总长的比例为86.6%,京沪高铁为80.5%,广珠城际为94.0%,武广客专为48.5%,哈大客专为74.3%。桥梁检测作为工程领域一项的常规作业类型,其检测范围通常包括桥面系、上部结构和下部结构。桥梁检测的种类分为经常性检测、定期检测和特殊检测三种。经常性检测由路段检测人或桥梁养护人员进行巡视检测。定期检测是对桥梁结构的质量状况进行定期跟踪的全面检测。特殊检测是因各种特殊原因由专家们依据一定的物理、化学无破损检验手段对桥梁进行的全面察看、测强和测缺,旨在找出损坏的明确原因、程度和范围,分析损坏所造成的后果以及潜在缺陷可能给结构带来的危险。桥梁检测的意义主要体现在如下几个方面:
第一,通过对桥梁进行定期的检测,可以建立和健全桥梁技术状况的相关档案;
第二,通过对桥梁进行定期的检测,可以检测桥梁的健康状况,进而及时发现病害或控制病害的发展;
第三,通过对桥梁进行定期的检测,可以对桥梁进行技术状况评价,形成客观详实的统计资料,从而可以为桥梁的维修、加固和技术改造等提供重要的参考资料;
第四,通过对桥梁进行定期的检测,可以及时的发现桥梁的安全隐患,从而可以有效防止安全事故的发生。
通常,桥梁检测的具体部位主要包括:桥梁底面、外沿面、底座、人行道、墩身、边栏等区域,如附图1和附图2所示。如附图2中所示,G为桥梁的人行道,H为轨道。长期以来,桥梁检测主要采用目视检测或者借助大型桥梁检测车或小型辅助检测仪器等方法来确定桥梁是否存在缺陷,但是这种方式需要人员多、人工参与比例大、时间长、劳动强度大、效率低、成本高,其检测效果与巡查人员的经验和责任心直接相关,因此无法满足日益增长的桥梁维护需求。而随着无人机技术的发展,无人机作为一种新型设备,为桥梁检测提供了一种高效、安全的方法,可以替代传统的检测手段在桥梁检测方面得到广泛的应用。通常在无人机上搭载高清摄像设备,操作人员远距离控制无人机对桥梁外表面数据进行采集,再利用桥梁数据管理软件对采集数据进行管理、分析、处理,及对缺陷进行自动检测和人工校核,能够完成桥梁各种缺陷的检测。现阶段无人机巡检桥梁主要依靠工作人员遥控无人机,存在以下几个方面的技术问题:
1、桥梁所在环境复杂,很多横跨江、河、湖泊、峡谷,给工作人员操作无人机带来了诸多不便;
2、桥梁结构复杂,需要巡检的部分很多,包含墩身、外沿面、栏杆、墩台、桥梁底面等,工作量大,造成无人机操作复杂需要很高的技巧;
3、巡检过程一直需要人工操作无人机,效率低,且无人机飞行安全保障全部依赖操作人员的熟练程度及工作态度,容易出现安全事故;
4、桥梁底面GNSS信号受到遮挡,无人机在无GNSS信号下飞行,导航及定位完全依靠工作人员遥控操作,无人机巡检桥梁技术难度、安全隐患会大幅增加,容易出现无人机坠毁事故;
5、工作人员操作无人机带来晃动,会带来采集的图像数据不清晰、稳定,进而影响后续的数据分析,缺陷检测;
6、桥梁底座区域光照被遮挡,采集到图像数据不够清晰、明亮,为后续的图像处理及缺陷分析检测带来困难。
在现有技术中,中国发明申请CN105551108A和CN105501248A分别公开了一种铁路线路巡检方法及系统。进一步的,CN104762877A、CN106645205A、CN204833672U、CN104843176A、CN105460210A、CN106054916A、CN205366074U、CN106320173A、CN107748572A、CN108051450A、CN108284953A、CN108177787A、CN207173986U等文献也都提出了以无人机为平台,搭载高清相机采集桥梁数据,并完成对桥梁检测的技术方案。然而,这些技术方案均存在以下明显缺点:
1、以上申请主要依靠工作人员操作无人机采集桥梁表面数据,自动化程度低、工作量大、获取数据的稳定性差、安全性低;
2、桥梁结构复杂,不同部位形状差异很大,不同部位检测需要专业的方法和手段,以上申请均未针对桥梁各个部位提出针对性的检测方法;
3、无人机检测过程中会出现低电量、通讯丢失等故障,以上申请均未提出故障情况下的处理方法;
4、桥梁底面之下环境复杂,存在各种障碍物,需要进行有效规避,以上申请均未提出有效的方法。
发明内容
有鉴于此,本发明的目的在于提供一种桥梁边栏巡检航线规划方法,以解决现有巡检方式主要依靠人工操作无人机采集桥梁表面数据,自动化程度低、工作量大、获取数据的稳定性差、安全性低的技术问题。
为了实现上述发明目的,本发明具体提供了一种桥梁边栏巡检航线规划方法的技术实现方案,桥梁边栏巡检航线规划方法,包括以下步骤:
操作无人机对桥梁沿线路长度方向一侧的边栏进行巡检,通过云台相机对桥梁单侧的边栏进行图像采集。在对桥梁单侧边栏进行巡检的同时将无人机的飞行航线与云台相机包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合,生成桥梁的单侧边栏巡检航线。操作无人机对桥梁沿线路长度方向另一侧的边栏进行巡检,通过云台相机对桥梁边栏进行图像采集。在对桥梁另一侧边栏进行巡检的同时将无人机的飞行航线与云台相机包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合,生成桥梁另一侧边栏的巡检航线。在桥梁两侧巡检航线的末端手动飞行一条跨越桥梁底面的航线,再将三条航线融合成一条完整的桥梁边栏巡检航线。
进一步的,桥梁边栏巡检航线规划方法包括:
基于被检测桥梁的三维电子地图,根据桥梁边缘的三维坐标,再结合无人机巡检距离桥梁边栏最佳的位置进行解算,得到整个边栏的巡检航线坐标,在巡检航线的起始位置设置悬停时间,并将巡检航线加载至飞控模块。
进一步的,桥梁边栏巡检航线规划方法包括:
操作无人机起飞,当所述无人机到达桥梁边栏巡检高度后,将飞行模式由手动模式切换至航线模式。无人机根据加载的巡检航线自动进行飞行,当无人机飞行至巡检航线的起始点时,人工调整无人机与桥梁边栏之间保持安全距离,并调整云台相机的姿态、拍摄角度及焦距值,云台相机朝向并对准边栏,使成像达到最佳状态。
进一步的,桥梁边栏巡检航线规划方法包括:
当巡检航线规划完成后,将无人机的飞行模式由航线模式切换至手动模式,然后将无人机降落至起飞点。
进一步的,桥梁边栏巡检航线规划方法包括:
查看整个巡检航线规划过程采集的数据是否满足要求,对于出现拍摄图像不清晰或拍摄角度不正确的位置再次飞行进行微调。
进一步的,桥梁边栏巡检航线规划方法包括:
当调整整个巡检航线及云台相机的作业达到最佳状态,记录整个巡检作业过程中无人机的航线坐标和云台相机的动作,保存为永久的巡检航线,则桥梁一侧的边栏巡检航线规划完成,按照相同的步骤完成桥梁另一侧的边栏巡检航线规划。
进一步的,在靠近桥梁两侧的两条巡检航线结束的位置且空旷无障碍物的区域手动操作无人机飞行一次跨桥梁底面的巡检航线,该过程进一步包括以下步骤:
操作无人机从桥梁一侧巡检航线结束位置的原地起飞至飞行高度与桥梁边栏巡检海拔高度一致,然后朝向桥梁底面方向飞行设定距离,下降至桥梁底面以下设定距离,继续飞越桥梁底面设定距离后直至飞出桥梁底面,再将无人机拉升至桥梁另一侧边栏巡检海拔高度,向桥梁外侧飞行设定距离后,寻找合适的地点降落。
进一步的,桥梁边栏巡检航线规划方法包括:
将桥梁沿线路长度方向两侧的边栏巡检航线以及跨越桥梁底面的航线进行融合操作,并将跨越桥梁底面的起飞及降落航线删除。对桥梁一侧边栏巡检的结束点与跨越桥梁底面航线的起始点进行坐标插值融合操作,并对桥梁另一侧边栏的起始点与跨越桥梁底面航线的结束点进行坐标插值融合操作,最终成一条完整的桥梁边栏巡检航线。
进一步的,桥梁边栏巡检航线规划方法包括:
在垂直于桥梁线路长度的两侧设置安全起降点,并在垂直于桥梁线路长度的两侧设定范围内设置安全返航网。安全返航网的海拔高度低于桥梁的桥面高度,并高于地面障碍物的高度,以确保无人机在返航过程中安全返回至安全返航网上。安全返航网设置完成后,与巡检航线一起加载至飞控模块。在每个墩身垂直于桥梁线路长度的两侧设置返航起始点,当无人机在巡检作业过程中出现信号丢失、低电量或紧急一键返航情况时,飞行至邻近的返航起始点,并通过安全返航网返回至起飞点。
进一步的,无人机的桥梁边栏巡检海拔高度处于桥梁外沿面沿垂直方向的中部以上至桥梁的桥面以下位置,将云台相机安装于无人机的顶部或前部。
通过实施上述本发明提供的桥梁边栏巡检航线规划方法的技术方案,具有如下有益效果:
(1)本发明桥梁边栏巡检航线规划方法,利用无人机针对被检测桥梁边栏规划相应的巡检航线,以控制无人机根据巡检航线进行自动巡检作业,使得整个巡检作业过程自动化程度、稳定性和安全性极高,且获取的桥梁边栏表面数据质量极高,非常有利于后续的图像处理和缺陷检测及定位;
(2)本发明桥梁边栏巡检航线规划方法,采用无人机分段巡检航线规划,同时多段航线融合的方法,在空旷且GNSS信号强的区域进行航线融合,降低了人工巡检航线规划的难度,提高了无人机巡检航线的精确度,大幅提升了无人机桥梁巡检的自动化程度;
(3)本发明桥梁边栏巡检航线规划方法,通过在无人机平台上搭载惯性测量模块、视觉模块和激光雷达,实现了无GNSS信号环境下的无人机定位及导航;
(4)本发明桥梁边栏巡检航线规划方法,针对桥梁巡检设置了安全返航网,保证无人机在紧急情况下能够快速安全返航,确保了桥梁巡检过程中的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的实施例。
图1是被检测桥梁的结构示意图;
图2是被检测桥梁在另一视角下的结构示意图;
图3是本发明桥梁边栏巡检航线规划方法一种具体实施例的单侧航线规划示意图;
图4是本发明桥梁边栏巡检航线规划方法一种具体实施例中跨桥梁底面的航线融合示意图;
图5是本发明桥梁边栏巡检航线规划方法一种具体实施例的航线规划示意图;
图6是本发明桥梁边栏巡检航线规划方法一种具体实施例中巡检安全返航网的设置示意图;
图7是本发明桥梁边栏巡检航线规划方法一种具体实施例中分段航线融合示意图;
图8是本发明方法基于的桥梁巡检系统中基准站的结构组成示意图;
图9是基于本发明方法的无人机巡检航线规划方法的程序流程图;
图10是本发明方法基于的桥梁巡检系统的系统结构框图;
图11是本发明方法基于的桥梁巡检系统的工作原理示意图;
图12是本发明方法基于的无人机系统的结构组成框图;
图13是本发明方法基于的桥梁巡检系统中图像数据定位方法的原理框图;
图14是本发明方法基于的桥梁巡检系统中检修缺陷定位方法的原理框图;
图15是本发明方法基于的桥梁巡检系统中桥梁数据管理模块的功能框图;
图16是本发明方法基于的桥梁巡检系统以轨道车为平台的结构示意主视图;
图17是本发明方法基于的桥梁巡检系统以轨道车为平台的结构示意俯视图;
图18是本发明方法基于的桥梁巡检系统以机动车为平台的结构示意图;
图19是基于本发明方法的桥梁巡检方法的程序流程图;
图中:1-无人机系统,2-地面端系统,3-手持定位仪,4-基准站,5-主机,6-电台,7-发射天线,8-脚架,9-电池,10-无人机,11-机载数据处理单元,12-云台相机,13-第一数传电台,14-第一图传电台,15-机载存储模块,16-飞控模块,17-惯性测量模块,18-视觉模块,19-激光雷达,110-避障模块,111-定位模块,112-补光模块,113-气压计,20-地面站,21-第一显示屏,22-第二数传电台,23-第二图传电台,24-第二显示屏,100-轨道车,101-司机室,102-车厢,103-伸缩平台,200-机动车,201-驾驶室,202-货箱。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如附图3至附图19所示,给出了本发明桥梁边栏巡检航线规划方法的具体实施例,下面结合附图和具体实施例对本发明作进一步说明。
实施例1
桥梁边栏巡检包括人行道边栏巡检,因边栏处不存在遮挡,GNSS(GlobalNavigation Satellite System,全球导航卫星系统的简称)信号良好,因此可以直接在三维模型中,根据桥梁边缘的三维坐标,再结合无人机巡检距离桥梁边栏的最佳位置进行解算,得到整个边栏的航线坐标,作业飞行海拔高度与桥面高度一致,云台相机12上置或前置并向内拍摄。
如附图3至附图5所示,一种本发明桥梁边栏巡检航线规划方法的实施例,具体包括以下步骤:
操作无人机10对桥梁沿线路长度方向L一侧的边栏进行巡检(巡检方向为桥梁墩身N1→N3方向),通过云台相机12对桥梁单侧的边栏进行图像采集。在对桥梁单侧边栏进行巡检的同时将无人机10的飞行航线与云台相机12包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合,生成桥梁的单侧边栏巡检航线,如附图3所示。操作无人机10对桥梁沿线路长度方向L另一侧的边栏进行巡检,通过云台相机12对桥梁边栏进行图像采集。在对桥梁另一侧边栏进行巡检的同时将无人机10的飞行航线与云台相机12包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合,生成桥梁另一侧边栏的巡检航线。如附图4所示,在两侧巡检航线的末端手动飞行一条跨越桥梁底面的航线,再将三条航线融合成一条完整的桥梁边栏巡检航线,如附图5所示。
1)基于被检测桥梁的三维电子地图,根据桥梁边缘的三维坐标,再结合无人机10巡检距离桥梁边栏最佳的位置(该最佳位置的确定以云台相机12采集的图像能够覆盖整个桥梁边栏表面数据,同时云台相机12的成像效果最佳)进行解算,得到整个边栏的巡检航线坐标,在巡检航线的起始位置设置悬停时间,并将巡检航线加载至飞控模块16。如果在边栏巡检之前或之后还要对人行道底面进行巡检,则在巡检航线的起始位置设置第一悬停时间,当巡检航线下降至设定高度时再设置第二悬停时间,并将巡检航线加载至飞控模块16。
2)将云台相机12安装于无人机10的顶部或前部,操作无人机10起飞,当无人机10到达桥梁边栏巡检海拔高度后,将飞行模式由手动模式切换至航线模式。无人机10根据加载的巡检航线自动进行飞行,当无人机10飞行至巡检航线的起始点时,人工调整无人机10与桥梁边栏之间保持安全距离,并调整云台相机12的姿态、拍摄角度及焦距值,云台相机12朝向并对准边栏,使成像达到最佳状态。在无人机10进行桥梁边栏巡检之前或之后,还可以下降一定高度以对桥梁的人行道底面进行巡检。
3)当巡检航线规划完成后,将无人机10的飞行模式由航线模式切换至手动模式,然后将无人机10降落至起飞点X。
4)查看整个巡检航线规划过程采集的数据是否满足要求,对于出现拍摄图像不清晰或拍摄角度不正确的位置再次飞行进行微调。
5)当调整整个巡检航线及云台相机12的作业达到最佳状态,记录整个巡检作业过程中无人机10的航线坐标和云台相机12的动作,保存为永久的巡检航线,则桥梁一侧的边栏巡检航线规划完成,按照相同的步骤完成桥梁另一侧的边栏巡检航线规划。
6)在靠近桥梁两侧的两条巡检航线结束的位置且空旷无障碍物的区域手动操作无人机10飞行一次跨桥梁底面的巡检航线,该过程进一步包括以下步骤:
7)桥梁两侧边栏巡检完成后,操作无人机10从桥梁一侧巡检航线结束位置的原地起飞至飞行高度与桥梁边栏巡检海拔高度一致,然后朝向桥梁底面方向飞行设定距离,下降至桥梁底面以下设定距离(如:3米),继续飞越桥梁底面设定距离后直至飞出桥梁底面,再将无人机10拉升至桥梁另一侧边栏巡检海拔高度,向桥梁外侧飞行设定距离后,寻找合适的地点降落。
在分段完成整个桥梁线路的巡检后,再将所有分段航线在接近重复的地方连接起来,将其中的起降航线去除,融合点为无人机10飞行位置有定位信号且空旷的区域,以形成一条完整的巡检航线。分段航线在有GNSS信号下进行融合是考虑无GNSS信号下无人机靠视觉及激光进行导航时在一定距离后会出现误差。因此,在GNSS信号良好的条件下进行融合能够保证飞行安全。航线融合是在地面站20的软件中完成的,巡检航线加载至无人机系统1的飞控模块16中。如附图7所示的两段航线,X为起飞点,Y为降落点,两段航线的融合点需要在GNSS信号好的地方,将两条航线在接近重复的地方连接起来,并将中间的起降航线去除,融合点是无人机10飞行处有良好GNSS信号的地方。当如附图7所述的两段航线融合时,航线1的降落过程和航线2的起飞过程都会去除。在有GNSS信号的地方航线是由一个个坐标组成,一条航线的坐标是由经纬度和高程数据组成。但是,在桥梁底面之下的航线坐标不是由经纬度与高程数据组成,而是通过视觉里程计也就是惯性测量模块17与视觉模块18及激光雷达19的融合,来进行无GNSS信号下的导航。在无GNSS信号条件下,无人机系统1通过惯性测量模块17、视觉模块18和激光雷达19获取无人机10距离定位信号丢失点位置的三维坐标,并通过高度计113获取高程数据反推航线坐标,以实现无定位信号环境下的导航。
无人机10的桥梁边栏巡检海拔高度可以处于桥梁外沿面,以及外沿面以上至边栏以下的位置,最好处于外沿面沿垂直方向的中部以上至桥梁的桥面(即桥梁梁体的上表面,如附图4和6中I所示)以下位置。桥梁边栏巡检海拔高度位于桥面以下可以大大提高无人机10巡检作业的安全性。在巡检过程中,云台相机12的拍摄角度以水平朝向并对准桥梁边栏为最佳。
为了确保无人机10在巡检作业过程中出现信号丢失、低电量、紧急一键返航时快速返回到起飞点X,从而保证无人机10安全作业,本实施例描述的桥梁边栏巡检航线规划方法进一步包括巡检安全返航网规划过程,该过程具体包括以下步骤:
在垂直于桥梁线路长度的两侧设置安全起降点Z,并在垂直于桥梁线路长度的两侧设定范围(如:10米)内设置安全返航网。安全返航网的海拔高度低于桥梁的桥面高度,并高于地面障碍物的高度,在这一海拔区域不应有地面障碍物。为保证无人机10返航过程中安全返回到安全返航网上,在每个桥梁墩身垂直于桥梁线路长度的两侧设置返航起始点J,以确保无人机10在返航过程中安全返回至安全返航网上,如附图6所示。紧急返航过程分以下情况:
当无人机10在桥梁底面之下进行巡检作业,处于无定位信号环境的过程中出现信号丢失、低电量或紧急一键返航情况时,首先拉高至靠近桥梁底面的位置,然后飞出桥梁底面,接收到定位信号后,无人机10拉升至安全返航网的海拔高度,然后直线飞行至安全返航网返航至安全起降点Z。
当无人机10在巡检作业并处于有定位信号状态的过程中出现信号丢失、低电量或紧急一键返航情况时,无人机10拉升至安全返航网的海拔高度,然后直线飞行至安全返航网返航至安全起降点Z。
安全返航网设置完成后,与巡检航线一起加载至飞控模块16。当无人机10在巡检作业过程中出现信号丢失、低电量或紧急一键返航情况时,飞行至邻近的返航起始点J,并通过安全返航网快速返回至安全起降点Z。
实施例2
如附图8所示,一种基于本发明方法的桥梁巡检航线规划方法的实施例,具体包括以下步骤:
S100)架设基准站4;
S200)准备无人机10,并通过地面站20设置禁止飞行区域;
S300)人工操作无人机10对需要巡检的桥梁包括底面、边栏、底座、墩身及边栏在内的区域进行首次巡检作业,并针对桥梁的各个部位分别规划相应的巡检航线;
S400)被检测桥梁各个部位的巡检航线规划完成后,向飞控模块16加载相应的巡检航线,以控制无人机10进行自动巡检作业。
步骤S100)进一步包括以下过程:
S101)将基准站4的脚架8架设于已知点上并对中整平;
S102)连接好基准站4的电源线和发射天线7;
S103)打开基准站4的主机5和电台6,主机5开始自动初始化和搜索卫星,当卫星数和卫星质量达到要求后,基准站4的差分信号开始发射,基准站4开始正常工作。
步骤S200)进一步包括以下过程:
S201)将无人机10放置于空旷区域,打开地面站20上的软件,架设并连接好地面站20的通讯线,然后为无人机10上电;
S202)在地面站20的软件内将桥梁桥面边栏以上的区域设置为禁飞区域,以确保操作人员不会将无人机10飞行至桥梁桥面以上的区域;
S203)测试禁飞区域设置是否有效,操作无人机10原地起飞,快速推遥控器升降舵,测试无人机10是否能够突破禁飞高度。
步骤S300)进一步包括以下过程:
S301)针对需要进行巡检的桥梁进行三维测量、建模,生成桥梁三维地图;
S302)操作无人机10对桥梁包括底面、边栏、人行道底面、底座、墩身及边栏在内的区域进行首次巡检作业,同时调整云台相机12的拍摄角度,使成像达到最佳效果;
S303)将无人机10的飞行航线与云台相机12包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息保存下来进行融合,生成巡检航线。
实施例3
如附图9所示,一种本发明桥梁巡检系统的实施例,具体包括:无人机系统1和地面端系统2。无人机系统1进一步包括无人机10,及搭载在无人机10上的机载数据处理单元11、云台相机12、飞控模块16、避障模块110和定位模块111,地面端系统2进一步包括地面站20。无人机10在人工操作下对需要检测的桥梁进行首次巡检作业,通过云台相机12进行桥梁表面数据采集,并根据定位模块111获取的定位信号(如:采用GNSS信号,Global NavigationSatellite System,全球导航卫星系统的简称,如GPS、Glonass、Galileo、北斗卫星导航系统等都是其中一种全球导航卫星系统)生成巡检航线。无人机10根据写入飞控模块16的巡检航线进行自动巡检作业,机载数据处理单元11根据避障模块110发送的数据进行处理,并通过飞控模块16控制无人机10进行自动避障应急处理。桥梁巡检系统根据被检测桥梁的外形结构,针对每个部位设计精准的无人机巡检航线和数据采集方法,以及安全故障处理机制。云台相机12在自动巡检作业过程中根据设定的参数进行视频采集和图像抓拍,云台相机12采集的视频发送至地面端系统2进行显示,地面站20根据自动巡检作业过程中抓拍的图像进行缺陷检测和定位,如附图10所示。其中,云台相机12可以采用一体化结构,也可以是采用将相机安装在云台上的分体式结构。云台相机12以等间距或者等时间间隔采集数据,保证桥梁表面数据采集的全覆盖。
如附图11所示,无人机10上还搭载有惯性测量模块17、视觉模块18、激光雷达19及补光模块112,惯性测量模块17、视觉模块18、激光雷达19和补光模块112均与机载数据处理单元11相连。惯性测量模块17、视觉模块18和激光雷达19为无人机10提供无定位信号环境下的导航信息,机载数据处理单元11通过对惯性测量模块17、视觉模块18和激光雷达19的数据进行采集和计算,生成对无人机10自身所处位置的定位、姿态及场景地图信息,从而实现无人机10在无定位信号环境下完成自主定位及导航。补光模块112在低照度环境下为云台相机12提供光源。
地面站20实时接收由定位模块111发送的定位坐标数据,以及由避障模块110发送的障碍物数据,并结合被检测桥梁的三维电子地图数据,实时显示无人机10所处的位置。地面站20基于被检测桥梁的三维地图环境,对生成的巡检航线进行仿真飞行,以验证巡检航线是否满足设定的巡检要求,如果满足巡检要求,则保存经过验证合格的巡检航线,并将验证合格的巡检航线写入飞控模块16中,以实现无人机10的自动巡检作业。
无人机10上还搭载有机载存储模块15,机载数据处理单元11完成对云台相机12、惯性测量模块17、视觉模块18、激光雷达19、避障模块110及定位模块111的数据采集和处理。机载数据处理单元11控制云台相机12的姿态及拍摄,云台相机12抓拍的图像数据通过机载数据处理单元11存储至机载存储设备15中,当无人机10完成自动巡检作业后,图像数据再通过机载存储模块15转存至地面站20。地面端系统2还包括与地面站20相连的第二显示屏24,由机载存储模块15(如:可采用SD卡,即Secure Digital Memory Card,安全数字存储卡)转存的图像数据通过第二显示屏24进行显示。在自动巡检作业过程中,云台相机12根据设定的参数进行视频采集和图像抓拍,抓拍图像融合拍摄时无人机10所处位置的定位坐标、云台相机12的姿态角、航线、桥梁及拍摄时间信息存储至机载存储设备15中。航线信息主要包含桥梁名称、该航线巡检桥梁的位置(如:桥梁底面、外沿面、底座、墩身、边栏等)。
当整座桥梁自动巡检作业完成后,机载存储设备15中的数据转存至地面站20中。无人机10在人工操作过程中对需要检测的桥梁包括底面A、外沿面B、人行道底面C、底座D、墩身E及边栏F在内的区域进行首次巡检作业,同时机载数据处理单元11控制云台相机12调整拍摄角度,使成像达到最佳效果。地面站20将云台相机12包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合入无人机10的飞行航线中,生成巡检航线。无人机10上还搭载有高度计113,当无人机10位于无定位信号区域时,无人机系统1通过惯性测量模块17、视觉模块18和激光雷达19获取无人机10距离定位信号丢失点位置的三维坐标,并通过高度计113获取高程数据,以实现无定位信号环境下的导航。同时,无人机系统1通过惯性测量模块17、视觉模块18和激光雷达19生成桥梁被检测区域的三维点云数据以实现场景建图。
无人机10上还搭载有第一数传电台13和第一图传电台14,地面站系统2还包括第一显示屏21、第二数传电台22及第二图传电台23。云台相机12采集的视频数据通过机载数据处理单元11发送至第一图传电台14进行实时传输,该视频数据被第二图传电台23接收后由第一显示屏21进行显示监控,实时传输压缩后的视频流,便于视频监控及数据采集画面调整。第一数传电台13与机载数据处理单元11相连,第二数传电台22与地面站20相连。当无人机10完成自动巡检作业后,图像数据再通过机载存储模块15转存至地面站20。通过数字图像处理对抓拍图像进行智能检测缺陷检测,对图像的分辨率要求很高,图传系统(包括第一图传电台14和第二图传电台23)无法实时传输至地面站20,只能存储至机载存储设备15(如:机载SD卡)中,然后再转存至地面站20。无人机系统1与地面端系统2之间通过第一数传电台13与第二数传电台22实现无人机10的控制指令及飞行状态数据交互传输。第一数传电台13与第二数传电台22之间的交互数据主要包括上行数据和下行数据,其中,上行数据主要包括:遥控指令数据、航线上传数据、云台相机参数设置数据,无人机飞行设置数据等,下行数据主要包括:高度计数据、电池余量数据、云台状态数据、GNSS卫星数据、避障模块数据、惯性测量(IMU,Inertial Measurement Unit)数据、激光雷达数据、飞行状态数据、飞行里程数据等。
避障模块110进一步采用毫米波雷达、超声波传感器、红外测距传感器、激光测距传感器中任意一种或多种的组合,用于探测无人机10周围的障碍物,并为无人机10避障提供距离数据。定位模块111采用基于载波相位观测值的实时动态定位,以实时提供无人机10在指定坐标系中的三维定位信息。
如附图13所示,桥梁巡检系统还包括手持定位仪3,当需要对桥梁缺陷进行维修时,地面端系统2向手持定位仪3发送缺陷所处位置的定位坐标及方位角信息。
如附图14所示,地面站20上进一步设置有桥梁数据管理模块201,桥梁数据管理模块201进一步包括:
基础数据输入子模块202,用于输入被检测桥梁的基本信息;桥梁基本信息包括:桥梁的名称、类型、长度、线路、桥墩(墩身)数量、GPS北、GPS东、GPS高、桥梁起始位置GPS(Global Positioning System,全球定位系统的简称)坐标;
检测数据管理子模块203,用于检测数据的采集和导入,检测数据按照桥梁底面、外沿面、人行道底面、底座、墩身及边栏分类管理,同时能对检测数据进行浏览、查询、搜索,并对历史检测数据进行对比分析;
数据分析子模块204,用于实现智能缺陷检测和人工缺陷检测,智能缺陷检测通过智能图像识别完成对缺陷的自动检测,人工缺陷检测通过工作人员基于显示界面,查看原始检测数据,完成对缺陷的标识、分类及标定操作;
巡检任务规划子模块205,用于安排管理范围内的桥梁巡检计划,并提示工作人员巡检进度。
实施例4
一种应用于实施例1的桥梁巡检无人机系统的实施例,具体包括:无人机10,以及搭载在无人机10上的机载数据处理单元11、云台相机12、第一数传电台13和第一图传电台14。在自动巡检作业过程中,机载数据处理单元11向云台相机12发送桥梁表面数据采集控制信号,机载数据处理单元11向无人机10发送飞行控制信号。云台相机12获取桥梁表面的高清数据,云台相机12采集的桥梁视频数据通过机载数据处理单元11发送至第一图传电台14,该桥梁视频数据由第一图传电台14发送至地面端系统2进行显示监控。第一数传电台13与机载数据处理单元11相连,无人机系统1通过第一数传电台13实现与地面端系统2之间无人机10的控制指令及飞行状态数据的交互传输。
如附图11所示,桥梁巡检无人机系统进一步包括搭载在无人机10上,并与机载数据处理单元11相连的定位模块111,机载数据处理单元11通过定位模块111获取无人机10的定位信息。定位模块111具体采用差分RTK(Real Time Kinematic,实时动态定位)模块,能够保证无人机10在有GNSS信号下的高精度导航及定位。RTK是一种GNSS测量技术,RTK定位技术基于载波相位观测值的实时动态定位,它能够实时地提供被测站点(无人机10)在指定坐标系中的三维定位结果,并达到厘米级精度。
桥梁巡检无人机系统进一步包括搭载在无人机10上,并与机载数据处理单元11相连的避障模块110,机载数据处理单元11通过避障模块110为无人机10提供障碍物的距离信息。避障模块110可以进一步采用毫米波雷达、超声波传感器、红外测距传感器、激光测距传感器中任意一种或多种的组合,用于探测无人机10周围的障碍物,保证无人机10的安全飞行。
桥梁巡检无人机系统进一步包括搭载在无人机10上,并与机载数据处理单元11相连的惯性测量模块17(即IMU,Inertial Measurement Unit)。惯性测量模块17是测量无人机10三轴姿态角(或角速率)以及加速度的装置。机载数据处理单元11通过惯性测量模块17获取无人机10的加速度和角速度信号。
桥梁巡检无人机系统进一步包括搭载在无人机10上,并与机载数据处理单元11相连的视觉模块18。视觉模块18与惯性测量模块17组成视觉SLAM(即SimultaneousLocalization And Mapping,定位与建图功能单元),用于为无人机10提供无定位信号环境下的视觉导航信息。桥梁巡检无人机系统进一步包括搭载在无人机10上,并与机载数据处理单元11相连的激光雷达19。激光雷达19与惯性测量模块17组成激光SLAM(即Simultaneous Localization And Mapping,定位与建图功能单元),用于为无人机10提供无定位信号环境下的三维点云信息。
惯性测量模块17、视觉模块18及激光雷达19为无人机10提供无GNSS信号下的高精度定位及导航信息。惯性测量模块17与视觉模块18构成视觉SLAM,惯性测量模块17与激光雷达19构成激光SLAM。机载数据处理单元11采用嵌入式数据处理中心,通过对传感器数据进行采集和计算,生成对其自身位置姿态的定位和场景地图信息,从而使无人机10在无GNSS信号完成自主定位及导航。SLAM(Simultaneous Localization and Mapping,即时定位与建图)的主要作用是使无人机10在未知的环境中,完成定位(Localization)、建图(Mapping)和路径规划(Navigation)。激光SLAM采用激光雷达19,激光雷达19采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点,被称为点云。通常,激光SLAM通过对不同时刻两片点云的匹配与比对,计算激光雷达19相对运动的距离和姿态的改变,以完成对无人机10自身的定位。激光雷达19测距比较准确,误差模型简单,在强光直射以外的环境中运行稳定,点云的处理简单,同时点云信息本身包含直接的几何关系,使得无人机10的路径规划和导航变得直观。而视觉SLAM可以从环境中获取海量的、富于冗余的纹理信息,拥有超强的场景辨识能力。视觉SLAM利用丰富的纹理信息进行识别,可以较为容易的被用来跟踪和预测场景中的动态目标。视觉SLAM在纹理丰富的动态环境中工作稳定,并能为激光SLAM提供非常准确的点云匹配,而激光雷达19提供的精确方向和距离信息在正确匹配的点云上也能够提供有力的支撑。在光照严重不足或纹理缺失的环境中,激光SLAM定位能够使得视觉SLAM可以借助不多的信息进行场景记录。两者融合使用能够取长补短,大幅提高无人机10的定位精度。
桥梁巡检无人机系统进一步包括搭载在无人机10上,并与机载数据处理单元11相连的补光模块112。机载数据处理单元11控制补光模块112为云台相机12在低照度环境下进行数据采集提供光源,对光照不够的部位进行补光,保证采集图像的清晰、明亮。
桥梁巡检无人机系统进一步包括设置在无人机10上,并与机载数据处理单元11相连的机载存储模块15,由云台相机12抓拍并用于进行缺陷检测的桥梁表面图像数据通过机载数据处理单元11存储至机载存储模块15中。当无人机10完成巡检作业后,该图像数据再由机载存储模块15转存至地面站20。
桥梁巡检无人机系统进一步包括搭载在无人机10上,并与机载数据处理单元11相连的飞控模块16。由地面站20生成的巡检航线通过第二数传电台22发送至第一数传电台13,由第一数传电台13接收后传输至机载数据处理单元11,再通过机载数据处理单元11写入飞控模块16。无人机10根据写入飞控模块16的巡检航线进行自动巡检。
桥梁巡检无人机系统进一步包括搭载在无人机10上,并与机载数据处理单元11相连的气压计113,当无人机10位于无定位信号区域时,机载数据处理单元11通过高度计113获取无人机10所处位置的高程数据,以配合惯性测量模块17、视觉模块18及激光雷达19实现无定位信号环境下的导航。
无人机10上搭载有机载数据处理单元11、云台相机12、机载存储模块15、飞控模块16、惯性测量模块17、视觉模块18、激光雷达19、避障模块110、定位模块111及补光模块112等。且根据具体需要,无人机10的机体顶部、底部或前部均可以挂载云台相机12进行作业。机载数据处理单元11是无人机10的数据采集及处理中心,完成对云台相机12、惯性测量模块17、视觉模块18、激光雷达19、避障模块110、定位模块111等模块数据的采集和实时处理,同时控制补光模块112为云台相机12采集数据进行补光。机载数据处理单元11控制云台相机12的姿态及拍摄,获取相机数据并存储至机载存储模块15中。
本实施例描述的桥梁巡检无人机系统,具有自动化程度高、安全性好、且不影响列车运行、能够全天侯作业等优点,能够大幅提高无人机巡检桥梁的效率及安全性。
实施例5
如附图15和附图16所示,桥梁巡检无人机系统以轨道车100为载体,轨道车100包括司机室101和车厢102。地面端系统2设置于司机室101中,无人机系统1设置于车厢102中,第二数传电台22和第二图传电台23的通讯天线设置于轨道车100的车身外,便于数据接收。
将无人机10搭载在轨道车100上,通过轨道车100将无人机系统1运送至被检测桥梁。在桥梁两侧的线路上,用混凝土固化一个或者多个平台,作为无人机10的固定起降平台。当桥梁巡检无人机系统作业时,轨道车100到达被检测桥梁,首先由工作人员将无人机10放置于起降平台上。然后放置GNSS-RTK基准站(即基准站4),并控制无人机10起降,工作人员可以在轨道车100的司机室101内通过地面端系统2的第一显示屏21控制并监视无人机10的飞行状态,并完成后续的巡检作业。或者可以采用在轨道车100的车厢102两侧设置伸缩平台103。当轨道车100到达被检测桥梁,松开无人机10的机体固定装置,再控制伸缩平台103将无人机10伸出至桥梁边栏的外侧。然后放置GNSS-RTK基准站,再控制无人机10起降,工作人员可以在轨道车100的司机室101内通过地面端系统2的第一显示屏21控制并监视无人机10的飞行状态,并完成后续的巡检作业。
实施例6
如附图17所示,桥梁巡检无人机系统以机动车200为载体,机动车200包括驾驶室201和货箱202。地面端系统2设置于驾驶室201中,无人机系统1设置于机动车200后部的货箱202中,第二数传电台22和第二图传电台23的通讯天线设置于机动车200的车身外。
将无人机10搭载在机动车200上,通过机动车200将无人机系统1运送至被检测桥梁的下方。在桥梁附近的开阔处,利用混凝土固化一个或多个平台,作为无人机10的固定起降平台。当机动车200到达被检桥梁,首先由工作人员将无人机10放置于起降平台上。然后放置GNSS-RTK基准站(即基准站4),并控制无人机10起降,工作人员可以在机动车200的驾驶室201内通过地面端系统2的第一显示屏21控制并监视无人机10的飞行状态,并完成后续的巡检作业。或可以将机动车200后部的货箱202作为无人机10的起降平台。当无人机系统1被运送至被检桥梁,松开无人机10的机体固定装置。然后放置GNSS-RTK基准站,并控制无人机10起降。工作人员可以在机动车200的驾驶室201内通过地面端系统2的第一显示屏21控制并监视无人机10的飞行状态,并完成后续的巡检作业。
实施例7
如附图18所示,一种基于实施例1所述方法的桥梁巡检方法的实施例,具体包括以下步骤:
S10)对被检测的桥梁建立三维地图;
S20)架设基准站4(如可以采用GNSS-RTK基准站),人工操作无人机10针对被检测桥梁的各个部位规划相应的巡检航线,基准站4的结构组成如附图19所示;
巡检航线规划(标定)过程,首先针对需要进行巡检的桥梁进行三维测量、建模,生成桥梁三维地图;然后,人工操作无人机10对桥梁底面、外沿面、人行道底面、底座、桥墩(墩身)、边栏等区域进行首次巡检作业,同时调整云台相机12的拍摄角度,使成像达到最佳效果,并将无人机10的飞行航线与云台相机12的工作角度、拍摄帧率、曝光时间等信息保存下来进行融合,生成巡检航线,然后基于桥梁三维地图环境下,在地面站20的软件中对生成的巡检航线进行仿真飞行,验证巡检航线是否正确,是否满足巡检要求,并保存验证合格的巡检航线;
S30)被检测桥梁各个部位的巡检航线规划完成后,向飞控模块16加载相应的巡检航线,以控制无人机10进行自动巡检作业;
S40)地面站20采集、处理和管理无人机10自动巡检作业过程中发送的数据,并对被检测桥梁存在的缺陷进行检测;
S50)根据地面站20在无人机10自动巡检作业过程中接收到的数据对被检测桥梁存在的缺陷进行定位。
自动巡检过程中的数据处理是通过地面站20的桥梁数据管理软件完成采集数据的识别、管理、缺陷检测、缺陷定位解算等处理,并根据缺陷分类、等级生成详细的报表,以指导维修作业。
在整个桥梁巡检系统中,GNSS-RTK基准站是基准站4,无人机10是流动站,RTK的工作原理是将一台接收机置于基准站4上,另一台或几台接收机置于载体(称为流动站,在本实施例中为无人机10)上。基准站4和流动站同时接收同一时间、同一GPS卫星发射的信号,基准站4所获得的观测值与已知位置信息进行比较,得到GPS差分改正值。然后将这个改正值通过无线电数据链电台6及时传输至共视卫星的流动站(即无人机10)精化其GPS观测值(基准站4将改正值发送至流动站,也就是无人机10上搭载的定位模块111,修正无人机10的测量值,以减少误差、提高测量精度),从而得到经差分改正后无人机10较准确的实时位置。
步骤S10)进一步包括以下过程:
S11)由桥梁线路线形数据、CPⅢ桩坐标数据及桥梁设计图纸,得到桥梁边缘平面坐标、桥梁边缘高程坐标和墩身中心坐标;
S12)从桥梁设计图纸中分解出桥梁的各个组成部件;
S13)根据桥梁设计图纸上的尺寸数据及立面图数据,使用三维制图软件对桥梁的组成部件进行建模;
S14)根据墩身中心坐标的定位数据将各个组成部件组合一起,形成被检测桥梁的三维模型;
S15)将被检测桥梁的三维模型导入地图软件中得到被检测桥梁的三维地图。
由于桥梁巡检作业为超视距飞行,作业过程中大部分处于视距外,为使操作人员实时监控无人机10巡检所在桥梁的位置,保证巡检过程中安全,地面站20根据实时接收到无人机10的GNSS坐标数据、避障模块110的数据,并结合导入至地面站20软件中的桥梁三维电子地图,实时显示无人机10巡检所处的位置。
首先对被巡检的桥梁,建立桥梁三维地图,包含桥梁周围附近的障碍物。铁路桥梁三维地图建立输入数据包含线路线型数据、CPⅢ桩(CPⅢ:中文为基桩控制网,为沿线路布设的三维控制网,平面控制起闭于基础平面控制网CPⅠ或线路控制网CPⅡ,高程控制起闭于沿线路布设的二等水准网,一般在线下工程施工完成后施测,为无砟轨道铺设和运营维护的基准)数据、桥梁设计图纸。公路桥梁三维地图建立方法使用RTK测量模式,测量桥梁两侧边缘的经纬度及高程数据,然后结合桥梁设计图纸,计算出桥梁的三维模型。桥梁周围附近的高杆障碍物也通过RTK模式,测量其经纬度,最终将桥梁及周围几十米以内的障碍物全部纳入三维地图中。
桥梁三维地图建立的流程包括:由线路线形数据、CPⅢ桩坐标数据及桥梁设计图纸,得到桥梁边缘平面坐标、桥梁边缘高程坐标、桥墩中心坐标。再从桥梁设计图纸中分解出各个部件。根据桥梁设计图纸上的尺寸数据及立面图数据,使用AutoCAD或其它三维制图软件对桥梁的部件建模。然后,根据桥墩中心坐标的定位数据将各个部件组合一起,即形成一座桥梁模型。再将桥梁三维模型导入如:谷歌地球等地图软件中得到桥梁三维地图。
步骤S20)进一步包括以下过程:
S21)架设基准站4;具体步骤为,于已知点上架设好脚架8,对中整平(如果架设在未知点上,则大致整平即可);连接好电源线和发射天线7,并注意电源的正负极正确(红正黑负);打开主机5和电台6,主机5开始自动初始化和搜索卫星,当卫星数和卫星质量达到要求后(大约1分钟),主机5上的DL指示灯开始5秒钟快闪2次,同时电台6上的TX指示灯开始每秒钟闪1次;这表明基准站4的差分信号开始发射,整个基准站4开始正常工作;
S22)准备无人机10,并通过地面站20设置禁止飞行区域;具体步骤为,将无人机10放置在空旷区域,打开地面站20上的软件,架设好通讯天线,连接好地面站20的通讯天线,然后为无人机10上电,在地面站20的软件地图内将桥面边杆以上的区域设置为禁止飞行区域,保证操作人员不会将无人机10飞行到桥面以上区域;测试禁飞区域设置是否有效,无人机10原地起飞,快速推升降舵,测试无人机10是否能够突破禁止高度;
S23)人工操作无人机10对需要巡检的桥梁包括底面、外沿面、人行道底面、底座、墩身及边栏在内的区域进行首次巡检作业,并针对桥梁的各个部位分别规划相应的巡检航线。
步骤S30)进一步包括以下过程:
S31)架设基准站4;
S32)将无人机10放置于起飞点X;
S33)连接好通讯天线,打开地面站20上的软件;
S34)加载规划好的巡检航线,确定巡检航线无误后,执行无人机10起飞作业;
S35)无人机10按照加载的巡检航线进行自动巡检作业。
将验证合格的巡检航线通过地面站20的软件写入无人机系统1的飞控模块16,以控制无人机10进行自动巡检,避障模块110保证无人机10巡检过程中的安全,紧急情况下不会对桥梁造成损伤。在巡检过程中,云台相机12根据设定好的参数进行视频采集、图像抓拍。视频数据通过无线电台实时传输至地面端系统2进行显示。抓拍的高清图像融合拍摄时的GNSS坐标、相机姿态、航线、桥梁及拍摄时间信息存储至机载存储模块15,整座桥梁巡检完成后数据转存至地面站20。无人机10采集的图像数据融合采集时刻无人机所处位置的GNSS信息、采集时间、拍摄角度以及巡检航线等信息,为后续缺陷定位提供了精准的定位数据。
步骤S40)进一步包括以下过程:
融合有图像拍摄时无人机10所处位置的定位坐标、云台相机12的姿态角、航线、桥梁及拍摄时间信息的抓拍图像,按照不同巡检航线采集的桥梁表面数据生成相应的文件夹,同一巡检航线采集的数据存储于单独的文件夹中。被检测桥梁的巡检数据导入至地面站20后,按照桥梁底面、外沿面、人行道底面、底座、墩身及边栏管理,并按照拍摄日期、被检测部位类型进行显示,同时能对检测数据进行浏览、查询、搜索,及对历史检测数据进行对比分析。通过对抓拍图像进行智能图像识别完成对缺陷的自动检测,同时通过工作人员基于显示界面,查看原始检测数据,对抓拍图像进行人工缺陷检测,完成对缺陷的标识、分类及标定操作。
步骤S50)进一步包括以下过程:
S51)通过桥梁名称以及航线信息对抓拍图像进行初步定位,如附图12所示;
S52)根据抓拍图像时无人机10所处位置的定位坐标、云台相机12的姿态角、航线信息、桥梁信息及拍摄时间,解算出抓拍图像中每个像素点在大地坐标系下的坐标;当缺陷处于桥梁底面无定位信号时,通过惯性测量模块17、视觉模块18和激光雷达19解算出无人机10在大地坐标系下的坐标,并得到抓拍图像中每个像素点在大地坐标系下的坐标;
S53)当需要对桥梁缺陷进行维修时,将缺陷所处位置的定位坐标及方位角信息发送至手持定位仪3中,作业人员根据手持定位仪3中的信息快速找到缺陷所在位置。
人工操作无人机10对需要检测的桥梁进行首次巡检作业,通过云台相机12进行图像采集,并根据定位模块111获取的定位信号生成巡检航线。无人机10根据写入飞控模块16的巡检航线进行自动巡检作业,机载数据处理单元11根据避障模块110发送的数据进行处理,并通过飞控模块16控制无人机10进行自动避障应急处理。云台相机12在自动巡检作业过程中根据设定的参数进行视频采集和图像抓拍,地面站20根据抓拍的图像进行缺陷检测和定位,云台相机12采集的视频发送至地面端系统2进行显示。云台相机12采集的视频数据通过第一图传电台14实时传输,该视频数据被第二图传电台23接收后由第一显示屏21进行显示监控。无人机系统1和地面端系统2之间通过第一数传电台13与第二数传电台22实现无人机10的控制指令及飞行状态数据交互。用于进行缺陷检测的图像数据存储至机载存储模块15中,当无人机10完成自动巡检作业后再通过机载存储模块15转存至地面站20。由机载存储模块15转存的图像数据通过第二显示屏24进行显示。
惯性测量模块17、视觉模块18和激光雷达19为无人机10提供无定位信号环境下的导航信息,机载数据处理单元11通过对惯性测量模块17、视觉模块18及激光雷达19采集的数据进行计算,生成对无人机10自身所处位置的定位、姿态及场景地图信息,从而实现无人机10在无定位信号环境下完成自主定位及导航。补光模块112在低照度环境下为云台相机12提供光源。机载数据处理单元11控制云台相机12的姿态及拍摄,云台相机12采集的图像数据存储至机载存储设备15中。地面站20实时接收由定位模块111发送的坐标定位数据,以及由避障模块110发送的障碍物数据,并结合被检测桥梁的三维电子地图数据,实时显示无人机10所处的位置。通过对被巡检桥梁设计三维地图,使得无人机10巡检桥梁过程能在地面站20的三维地图软件虚拟环境中进行模拟显示,能够实时监视无人机10在巡检过程中与桥梁之间的具体位置和距离情况,大幅提升了无人机桥梁巡检的安全性及自动化程度。
无人机10在人工操作过程中对需要检测的桥梁包括底面、外沿面、人行道底面、底座、墩身及边栏在内的区域进行首次巡检作业,同时机载数据处理单元11控制云台相机12调整拍摄角度,使成像达到最佳效果。地面站20将云台相机12包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合入无人机10的飞行航线中,生成巡检航线。地面站20基于被检测桥梁的三维地图环境,对生成的巡检航线进行仿真飞行,以验证航线是否满足设定的巡检要求,如果满足巡检要求,则保存经过验证合格的巡检航线,并将验证合格的巡检航线写入飞控模块16中,以实现无人机10的自动巡检作业。
在自动巡检作业过程中,云台相机12根据设定的参数进行视频采集和图像抓拍,抓拍图像融合拍摄时无人机10所处位置的定位坐标、云台相机12的姿态角、航线、桥梁以及拍摄时间信息存储至机载存储设备15中,当整座被检测桥梁巡检作业完成后,机载存储设备15中的数据转存至地面站20中。当无人机10位于无定位信号区域时,无人机系统1通过惯性测量模块17、视觉模块18和激光雷达19获取无人机10距离定位信号丢失点位置的三维坐标,并通过高度计113获取高程数据,以实现无定位信号环境下的导航。同时,无人机系统1通过惯性测量模块17、视觉模块18和激光雷达19生成桥梁被检测区域的三维点云数据以实现场景建图。
本实施例描述的桥梁巡检方法,针对桥梁的每个部位给出了精准的无人机飞行航线及数据采集方式,且只需要首次对飞行航线进行手动干预操作,首次规划的巡检航线保存下来,以后作业只需要把保存的巡检航线加载至无人机10,就能够实现全自动巡检桥梁的各个部位。
通过实施本发明具体实施例描述的桥梁边栏巡检航线规划方法的技术方案,能够产生如下技术效果:
(1)本发明具体实施例描述的桥梁边栏巡检航线规划方法,利用无人机针对被检测桥梁边栏规划相应的巡检航线,以控制无人机根据巡检航线进行自动巡检作业,使得整个巡检作业过程自动化程度、稳定性和安全性极高,且获取的桥梁边栏表面数据质量极高,非常有利于后续的图像处理和缺陷检测及定位;
(2)本发明具体实施例描述的桥梁边栏巡检航线规划方法,采用无人机分段巡检航线规划,同时多段航线融合的方法,在空旷且GNSS信号强的区域进行航线融合,降低了人工巡检航线规划的难度,提高了无人机巡检航线的精确度,大幅提升了无人机桥梁巡检的自动化程度;
(3)本发明具体实施例描述的桥梁边栏巡检航线规划方法,通过在无人机平台上搭载惯性测量模块、视觉模块和激光雷达,实现了无GNSS信号环境下的无人机定位及导航;
(4)本发明具体实施例描述的桥梁边栏巡检航线规划方法,针对桥梁巡检设置了安全返航网,保证无人机在紧急情况下能够快速安全返航,确保了桥梁巡检过程中的安全性。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭示如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明的精神实质和技术方案的情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同替换、等效变化及修饰,均仍属于本发明技术方案保护的范围。
Claims (7)
1.一种桥梁边栏巡检航线规划方法,其特征在于,包括以下步骤:
基于被检测桥梁的三维电子地图,根据桥梁边缘的三维坐标,再结合无人机(10)巡检距离桥梁边栏最佳的位置进行解算,得到整个边栏的巡检航线坐标,在巡检航线的起始位置设置悬停时间,并将巡检航线加载至飞控模块(16);操作无人机(10)起飞,当所述无人机(10)到达桥梁边栏巡检海拔高度后,将飞行模式由手动模式切换至航线模式;无人机(10)根据加载的巡检航线自动进行飞行,当无人机(10)飞行至巡检航线的起始点时,人工调整无人机(10)与桥梁边栏之间保持安全距离,并调整云台相机(12)的姿态、拍摄角度及焦距值,云台相机(12)朝向并对准边栏,使成像达到最佳状态;操作无人机(10)对桥梁沿线路长度方向一侧的边栏进行巡检,通过云台相机(12)对桥梁单侧的边栏进行图像采集;在对桥梁单侧边栏进行巡检的同时将无人机(10)的飞行航线与云台相机(12)包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合,生成桥梁的单侧边栏巡检航线;操作无人机(10)对桥梁沿线路长度方向另一侧的边栏进行巡检,通过云台相机(12)对桥梁边栏进行图像采集;在对桥梁另一侧边栏进行巡检的同时将无人机(10)的飞行航线与云台相机(12)包括姿态角、拍摄角度、帧率、焦距及曝光时间在内的信息进行融合,生成桥梁另一侧边栏的巡检航线;在桥梁两侧巡检航线的末端手动飞行一条跨越桥梁底面的航线,再将三条航线融合成一条完整的桥梁边栏巡检航线;在靠近桥梁两侧的两条巡检航线结束的位置且空旷无障碍物的区域手动操作无人机(10)飞行一次跨桥梁底面的巡检航线,该过程进一步包括以下步骤:
操作无人机(10)从桥梁一侧巡检航线结束位置的原地起飞至飞行高度与桥梁边栏巡检海拔高度一致,然后朝向桥梁底面方向飞行设定距离,下降至桥梁底面以下设定距离,继续飞越桥梁底面设定距离后直至飞出桥梁底面,再将无人机(10)拉升至桥梁另一侧边栏巡检海拔高度,向桥梁外侧飞行设定距离后,寻找合适的地点降落。
2.根据权利要求1所述的桥梁边栏巡检航线规划方法,其特征在于,所述方法进一步包括:
当巡检航线规划完成后,将无人机(10)的飞行模式由航线模式切换至手动模式,然后将无人机(10)降落至起飞点。
3.根据权利要求1或2所述的桥梁边栏巡检航线规划方法,其特征在于,所述方法进一步包括:
查看整个巡检航线规划过程采集的数据是否满足要求,对于出现拍摄图像不清晰或拍摄角度不正确的位置再次飞行进行微调。
4.根据权利要求3所述的桥梁边栏巡检航线规划方法,其特征在于,所述方法进一步包括:
当调整整个巡检航线及云台相机(12)的作业达到最佳状态,记录整个巡检作业过程中无人机(10)的航线坐标和云台相机(12)的动作,保存为永久的巡检航线,则桥梁一侧的边栏巡检航线规划完成,按照相同的步骤完成桥梁另一侧的边栏巡检航线规划。
5.根据权利要求1、2或4所述的桥梁边栏巡检航线规划方法,其特征在于,所述方法进一步包括:
将桥梁沿线路长度方向两侧的边栏巡检航线以及跨越桥梁底面的航线进行融合操作,并将跨越桥梁底面的起飞及降落航线删除;对桥梁一侧边栏巡检的结束点与跨越桥梁底面航线的起始点进行坐标插值融合操作,并对桥梁另一侧边栏的起始点与跨越桥梁底面航线的结束点进行坐标插值融合操作,最终成一条完整的桥梁边栏巡检航线。
6.根据权利要求5所述的桥梁边栏巡检航线规划方法,其特征在于:无人机(10)的桥梁边栏巡检海拔高度处于桥梁外沿面沿垂直方向的中部以上至桥梁的桥面以下位置,将云台相机(12)安装于无人机(10)的顶部或前部。
7.根据权利要求1、2、4或6所述的桥梁边栏巡检航线规划方法,其特征在于,所述方法进一步包括:
在垂直于桥梁线路长度的两侧设置安全起降点,并在垂直于桥梁线路长度的两侧设定范围内设置安全返航网;安全返航网的海拔高度低于桥梁的桥面高度,并高于地面障碍物的高度,以确保无人机(10)在返航过程中安全返回至安全返航网上;安全返航网设置完成后,与巡检航线一起加载至飞控模块(16);在每个墩身垂直于桥梁线路长度的两侧设置返航起始点,当无人机(10)在巡检作业过程中出现信号丢失、低电量或紧急一键返航情况时,飞行至邻近的返航起始点,并通过安全返航网返回至起飞点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290125.5A CN109885098B (zh) | 2019-04-11 | 2019-04-11 | 一种桥梁边栏巡检航线规划方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290125.5A CN109885098B (zh) | 2019-04-11 | 2019-04-11 | 一种桥梁边栏巡检航线规划方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109885098A CN109885098A (zh) | 2019-06-14 |
CN109885098B true CN109885098B (zh) | 2022-02-11 |
Family
ID=66936922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910290125.5A Active CN109885098B (zh) | 2019-04-11 | 2019-04-11 | 一种桥梁边栏巡检航线规划方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109885098B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110703268B (zh) * | 2019-11-06 | 2022-02-15 | 广东电网有限责任公司 | 一种自主定位导航的航线规划方法和装置 |
CN112215805A (zh) * | 2020-09-22 | 2021-01-12 | 广州誉宸信息科技有限公司 | 一种公路桥梁边坡养护无人机巡检方法和系统 |
CN113359832A (zh) * | 2021-06-17 | 2021-09-07 | 上海大风技术有限公司 | 基于无人机作业的桥梁检测系统及检测方法 |
CN113428374B (zh) * | 2021-07-29 | 2023-04-18 | 西南交通大学 | 桥梁结构检测数据收集方法和无人机系统 |
CN114189627B (zh) * | 2021-11-24 | 2024-09-06 | 河南牧原智能科技有限公司 | 用于获取相机预置角度、监测养殖栏的方法及产品 |
CN114967756B (zh) * | 2022-07-07 | 2024-05-24 | 华能盐城大丰新能源发电有限责任公司 | 海上风机巡检无人机辅助降落方法、系统、装置及存储介质 |
CN116740022B8 (zh) * | 2023-06-14 | 2024-02-23 | 深邦智能科技集团(青岛)有限公司 | 基于视觉检测的桥梁性能评估系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107077149A (zh) * | 2016-10-19 | 2017-08-18 | 深圳市大疆创新科技有限公司 | 控制移动设备的方法、控制系统和移动设备 |
CN108496129A (zh) * | 2017-04-28 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的设施检测方法及控制设备 |
CN109060281A (zh) * | 2018-09-18 | 2018-12-21 | 山东理工大学 | 基于无人机的一体化桥梁检测系统 |
CN109444171A (zh) * | 2018-09-18 | 2019-03-08 | 山东理工大学 | 基于无人机的一体化桥梁检测方法 |
CN109445454A (zh) * | 2018-09-18 | 2019-03-08 | 山东理工大学 | 用于桥梁检测的无人机绕梁巡航检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106797438B (zh) * | 2014-10-17 | 2020-03-06 | 索尼公司 | 控制设备、控制方法和飞行器设备 |
CN106645205A (zh) * | 2017-02-24 | 2017-05-10 | 武汉大学 | 一种无人机桥梁底面裂纹检测方法及系统 |
CN108628337A (zh) * | 2017-03-21 | 2018-10-09 | 株式会社东芝 | 路径生成装置、路径控制系统以及路径生成方法 |
US20190041856A1 (en) * | 2017-11-07 | 2019-02-07 | Intel IP Corporation | Methods and apparatus to capture tomograms of structures using unmanned aerial vehicles |
CN108332926A (zh) * | 2018-01-05 | 2018-07-27 | 株洲时代电子技术有限公司 | 一种桥梁巡检系统 |
CN108318499A (zh) * | 2018-01-05 | 2018-07-24 | 株洲时代电子技术有限公司 | 一种桥梁巡检方法 |
-
2019
- 2019-04-11 CN CN201910290125.5A patent/CN109885098B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107077149A (zh) * | 2016-10-19 | 2017-08-18 | 深圳市大疆创新科技有限公司 | 控制移动设备的方法、控制系统和移动设备 |
CN108496129A (zh) * | 2017-04-28 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的设施检测方法及控制设备 |
CN109060281A (zh) * | 2018-09-18 | 2018-12-21 | 山东理工大学 | 基于无人机的一体化桥梁检测系统 |
CN109444171A (zh) * | 2018-09-18 | 2019-03-08 | 山东理工大学 | 基于无人机的一体化桥梁检测方法 |
CN109445454A (zh) * | 2018-09-18 | 2019-03-08 | 山东理工大学 | 用于桥梁检测的无人机绕梁巡航检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109885098A (zh) | 2019-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109901625B (zh) | 一种桥梁巡检系统 | |
CN109885097B (zh) | 一种桥梁外沿面巡检航线规划方法 | |
CN109885098B (zh) | 一种桥梁边栏巡检航线规划方法 | |
CN109945874B (zh) | 一种桥梁巡检航线规划方法 | |
CN109901623B (zh) | 桥梁墩身巡检航线规划方法 | |
CN210090988U (zh) | 一种无人机巡检系统 | |
CN109990778B (zh) | 一种桥梁底座巡检航线规划方法 | |
CN109990777B (zh) | 一种桥梁底面巡检航线规划方法 | |
CN109901624A (zh) | 一种桥梁巡检方法 | |
CN210005927U (zh) | 一种桥梁巡检无人机系统 | |
JP7452743B2 (ja) | 飛行情報制御方法、制御装置及びコンピュータプログラム | |
Dorafshan et al. | Bridge inspection: Human performance, unmanned aerial systems and automation | |
US10452078B2 (en) | Self-localized mobile sensor network for autonomous robotic inspection | |
US10633093B2 (en) | Three-dimensional robotic inspection system | |
CN110888453B (zh) | 一种基于LiDAR数据构建三维实景的无人机自主飞行方法 | |
CN105865427A (zh) | 一种基于小型无人机遥感的单体地质灾害应急调查方法 | |
US20170248967A1 (en) | Unmanned aircraft for positioning an instrument for inspection purposes and methods of inspecting a target surface | |
CN107328783A (zh) | 一种基于无人机的桥梁智能检测系统 | |
CN111999298A (zh) | 一种基于5g技术的无人机快速巡检桥梁系统 | |
US11531833B2 (en) | Creating a ground control point file using an existing landmark shown in images | |
CN113077561A (zh) | 一种无人机智能巡检系统 | |
CN110441314A (zh) | 基于无人机自动化扫描的桥梁梁板底面巡查系统 | |
CN111522360A (zh) | 一种基于电力铁塔的带状倾斜摄影自动航线规划方法 | |
CN116012336A (zh) | 隧道智慧化地质素描及围岩等级判识装置及方法 | |
Congress et al. | Eye in the sky: condition monitoring of transportation infrastructure using drones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |