CN110879615B - 基于多旋翼无人机自动飞行的牵引放线系统及方法 - Google Patents

Abstract

一种基于多旋翼无人机自动飞行的牵引放线方法，利用RTK信息获取架线杆作业点的位置，通过板载计算机控制带有引导线的无人机移动至架线杆作业点附近，根据预设位置对无人机的位置进行粗调，再根据架线弓视觉检测算法及架线弓辅助定位算法对架线弓的位置进行精调，无人机完成一杆架线的自主飞行过程，则飞往下一个作业点重复作业直至完成所有作业任务，当穿越的架线杆为最后一杆，则自动脱钩或手动脱钩降落。本发明利用RGB‑D相机的视觉辅助定位技术，结合本身的边缘计算能力，提升了架线作业的成功率与效率，节约了计算成本；基于2D激光雷达的几何迭代避障模块实时监测障碍物信息，提升了飞行过程的安全性。

Description

基于多旋翼无人机自动飞行的牵引放线系统及方法

技术领域

本发明涉及的是一种电力线引导绳展放领域的技术，是指：一种基于多旋翼无人机自动飞行的牵引放线系统及方法。

背景技术

目前世界上展放导引绳的飞行器主要有如下四种：飞艇、动力伞、无人机和直升机。无人机在安全性、经济性和普及度方面的优越性是其他几种传统飞行器无法比拟的，相信在可预见的未来，它会取代其他飞行器，占据线路施工放线的主要位置。目前国内电力行业中运用最广泛的是架线无人机，其对部分操作人员存在安全隐患，并对操控手的操控技能要求很高，自动化程度低，缺少紧急故障处理程序。现有无人机架线技术存在以下问题：采用GPS定位，而GPS信号受干扰或准确度低时，将导致作业失败；采用地图构建与路径规划的方法辅助定位，但在计算速度以及运用到的高昂设备成本都限制了其实际应用。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于多旋翼无人机自动飞行的牵引放线系统及方法，利用实时动态(Real-time kinematic,RTK)设备高精度定位指引无人机飞行，通过机载彩色深度(RGB-D)相机获得前视深度图与RGB颜色图，结合视觉检测技术对架线弓进行检测以及辅助定位，保证无人机处于正确的穿线位置上，提升穿线的成功率；结合2D激光雷达进行障碍物检测及避障路径规划，保障穿线过程中的安全性。

本发明是通过以下技术方案实现的：

本发明涉及一种基于多旋翼无人机自动飞行的牵引放线系统，包括：控制系统以及分别与之相连的智能滑车架线弓模块和无人机机载模块，其中：智能滑车架线弓模块包括：分别与滑轮单元相连的微波单元、红外检测单元、和智能控制单元，微波单元将检测到的物体位置信息传输至智能控制单元控制滑轮单元的位姿，红外检测单元将检测到的线缆滑落信息传输至智能控制单元控制滑轮单元的状态。

所述的控制系统包括：在机器人操作系统(ROS)下的自主飞行执行节点、障碍物检测与路径规划节点、架线弓检测及目标点输出节点和引导线脱钩节点，其中：架线弓检测及目标点输出节点接收由RGB-D相机传来的深度图和RGB图并输出架线弓中央位置与当前无人机位置的差值信息至板载计算机(Nvidia Jetson Tx2)，障碍物检测与路径规划节点接收2D激光雷达传来的数据并输出是否进入避障程序的标志位和避障的目标路径点，自主飞行执行节点接收障碍物检测与路径规划节点和架线弓检测及目标点输出节点的输出信息并向无人机飞控输出具有最大速度限制的位置及偏航指令，引导线脱钩节点接收无人机飞控传来的吊舱信息。

所述的滑轮单元包括：滑轮、滑轮锁和展放臂，其中：滑轮设置于凹字形空腔内，滑轮锁设置于空腔的顶部，展放臂设置于滑轮锁的两侧。

所述的无人机机载模块包括：板载计算机、RGB-D相机、RTK板卡、脱钩舵机和2D激光雷达，其中：板载计算机与无人机飞控相连以控制其位置和偏航角，RGB-D相机、RTK板卡、2D激光雷达分别与板载计算机相连以传输深度图、颜色图、RTK报文、2D点云信息，脱钩舵机与无人机飞控相连以调节该连接口的空占比以控制脱钩装置。

本发明涉及一种基于上述系统的牵引放线方法，利用RTK信息获取架线杆作业点的位置，通过板载计算机控制带有引导线的无人机移动至架线杆作业点附近，根据预设位置对无人机的位置进行粗调，再根据架线弓视觉检测算法和架线弓辅助定位算法对架线弓的位置进行精调，无人机完成一杆架线的自主飞行过程，则飞往下一个作业点重复作业直至完成所有作业任务，当穿越的架线杆为最后一杆，则自动脱钩或手动脱钩降落。

所述的板载计算机通过RTK板卡获取精准定位信息，并将位置控制指令下发给飞控实现飞行过程中的精准定位；通过RGB-D相机对架线弓进行检测及定位，将位置控制指令通过2D激光雷达检测障碍物，经规划算法以绕开障碍物。

所述的架线弓视觉检测算法是指：根据相邻两根架线弓上若干个像素点的位置及深度值，计算第一架线弓的上下端坐标z的差值；以像素纵轴v排序，将第一架线弓和第二架线弓倒数1/3的中位数对应的点计算架线弓正中央的坐标(x_c,y_c,z_c)；以架线弓正中央的坐标直到无人机的位置控制，根据Δz的正负与数值对无人机偏航控制。

所述的架线弓辅助定位算法是指：从RGB-D相机的ROS SDK中获得RGB图像及校正至RGB坐标系的深度图，对RGB图像进行canny边缘检测和掩码合成并获得掩码边缘图，再将掩码边缘图转换至HSV颜色空间并根据颜色域H进行分割，再对分割后的图像进行霍夫变换直线检测，根据直线长度依次排序并进行配对。

技术效果

本发明整体解决了在GPS信息受干扰不准确的情况下，无人机的定位精度受到影响，基于GPS程序控制的无人机牵引放线系统无法准确地将引线放置进架线弓内，导致架线作业的成功率低。同时，由于缺少必要的避障手段，无人机在自动架线作业过程中无法对障碍物进行检测和避让，无法保证作业过程的安全性的技术问题。

与现有技术相比，本发明基于RGB-D相机的视觉辅助定位技术在RTK信息出现扰动、不够准确时对架线弓进行精确定位，结合本身的边缘计算能力，提升了架线作业的成功率与效率，节约了计算成本；基于2D激光雷达的几何迭代避障模块实时监测飞行通道内的障碍物信息，提升了飞行过程的安全性；增设了手控脱钩、自主脱钩、一键手自动切换等安全保障手段，提升了自主作业过程中的可控性与安全性。

附图说明

图1本发明展放滑轮的示意图；

图中：滑轮1、滑轮锁2、展放臂3；

图2为本发明的硬件示意图；

图3为本发明的软件示意图；

图4为本发明的自主架线流程图；

图5为壁障前向通道构建示意图；

图6为障碍物报警后前向感知距离增加的示意图；

图7为最小偏转距离计算的示意图；

图8为最小偏转角度计算的示意图；

图9为架线弓视觉检测流程图。

具体实施方式

本实施例涉及一种基于多旋翼无人机自动飞行的牵引放线系统，包括：控制系统、智能滑车架线弓模块和无人机机载模块，其中：智能滑车架线弓模块包括：分别与滑轮单元相连的微波单元、红外检测单元、和智能控制单元，其中：微波单元将检测到的物体位置信息传输至智能控制单元控制滑轮单元的位姿，红外检测单元将检测到的线缆滑落信息传输至智能控制单元控制滑轮单元的状态。

如图3所示，所述的控制系统包括：在ROS操作系统下的自主飞行执行节点、障碍物检测与路径规划节点、架线弓检测及目标点输出节点和引导线脱钩节点，其中：架线弓检测及目标点输出节点接收分别由RGB-D相机传来的深度图和RGB图并输出架线弓中央位置与当前无人机位置的差值信息至板载计算机，障碍物检测与路径规划节点接收2D激光雷达传来的数据并输出是否进入避障程序的标志位和避障的目标路径点，自主飞行执行节点接收障碍物检测与路径规划节点和架线弓检测及目标点输出节点的输出信息并向无人机飞控输出具有最大速度限制的位置及偏航指令，引导线脱钩节点接收无人机飞控传来的吊舱信息。

如图1所示，所述的滑轮单元包括：滑轮1、滑轮锁2和展放臂3，其中：滑轮1设置于凹字形空腔内，滑轮锁2设置于空腔的顶部，展放臂3设置于滑轮锁2的两侧，引导线穿越由滑轮1、滑轮锁2和空腔形成的间隙。

如图2所示，所述的无人机机载模块包括：板载计算机、RGB-D相机、RTK板卡、脱钩舵机和2D激光雷达，其中：板载计算机与无人机飞控相连以控制其位置、偏航角及飞行过程中的速度，RGB-D相机、RTK板卡、2D激光雷达分别与板载计算机相连以传输深度图、颜色图、RTK报文、2D点云信息，脱钩舵机与无人机飞控相连以调节该连接口的空占比以实现脱钩装置的开闭。

本实施例涉及一种基于上述系统的牵引放线方法，具体步骤如下：

步骤1、将经过检查的无人机放置于空旷位置并上电；

步骤2、以SSH方式将目标作业杆的GPS信息以txt文档的格式导入板载计算机的工作目录；

步骤3、如图4所示，以ROS命令启动作业系统，确认反馈分解出的作业杆信息无误，遥控云台打开脱钩装置，挂载引导线并关闭脱钩装置，开始作业流程，无人机起飞并悬停至3m的高度；

步骤4、利用RTK对无人机的位置进行粗调，当出现障碍物则进行避障；

步骤5、利用架线弓辅助定位算法和架线弓视觉检测算法对无人机的位置进行精调以至架线弓正中央；

步骤6、无人机上升1.5m后前进5m以完成一杆架线动作；

步骤7、判断无人机是否完成最后一根杆作业，当未完成，则进入步骤4继续完成作业；当完成，则自动脱钩，经自动或手动返航。

所述的板载计算机是指：通过2D激光雷达检测障碍物，经规划算法以绕开障碍物。

如图5所示，所述的规划算法是指：通过构建前向安全通道，在安全通道内障碍物与雷达的关系满足cosθ＞0，d*cosθ＜s2且d*sinθ＜s1/2则认为有障碍物点，其中：θ为障碍物点与雷达的连线和雷达速度方向的夹角，d为障碍物点与雷达的距离，s1为安全通道的长度，s2为安全通道的宽度；如图8所示，当雷达检测到障碍物点则增加s2的长度以继续检测并对检测到的位置信息和角度信息进行储存。

如图7所示，所述的位置信息包括：

当前无人机与障碍物之间的距离：

当前无人机与障碍物之间的角度η＝θ_i+arcos((r_i ²+d²-d_move²)/2r_i*d)，其中：r_i为第i个扫描点到扫描中心的距离，d_move为无人机开始避障后前进的距离，θ_i为第i个扫描点的角度，η为当前无人机与障碍物之间的角度，当满足：

时，则无人机避障成功。

所述的角度信息的最小偏转角

满足：

其中：

θ_v为速度方向与东北天坐标系x轴的夹角，d_remain为安全余量且取值为1/12s，θ_i为第i个扫描点的角度，r_i为第i个扫描点离扫描中心的距离，s为预先设置的安全通道的宽度。

所述的架线弓辅助定位算法是指：从RGB-D相机的ROS SDK中获得RGB图像及校正至RGB坐标系的深度图，对RGB图像进行canny边缘检测和掩码合成并获得掩码边缘图，再将掩码边缘图转换至HSV颜色空间并根据颜色域H进行分割，将饱和度与亮度根据不同光照情况进行调节，获得分割参数Hmin、Hmax、Smin、Smax、Vmin和Vmax以及分割结果图，再对分割后的图像进行霍夫变换直线检测，根据直线长度依次排序并进行配对。

所述的掩码合成包括：高斯平滑滤波去噪、计算像素梯度强度和方向，以及非极大值抑制和双阈值算法。

所述的分割根据饱和度与亮度在不同光照下的情况进行调节。

所述的配对是指：1)两线段的长度差值在短者长度的30％以内；2)两线段成约126°夹角；3)两线段的低端近似平行；4)两线段不相交。以上四个条件全部满足时，停止搜索，此时的配对两直线为最终的选择结果，当配对完所有直线后，依然无满足所有条件的配对，则认为视野内没有架线弓。

所述的架线弓视觉检测算法是指：根据相邻两根架线弓上若干个像素点的位置及深度值，计算第一架线弓的上下端坐标z的差值，z坐标从相机光心出发，正方向为相机正前方；以像素纵轴v排序，将第一架线弓和第二架线弓倒数1/3的中位数对应的点计算架线弓正中央的坐标(x_c,y_c,z_c)；以架线弓正中央的坐标直到无人机的位置控制，根据Δz的正负与数值指导无人机的偏航控制。

所述的架线弓正中央的坐标阈值范围为：-50mm＜x_c＜50mm，-50mm＜y_c＜50mm，1900mm＜z_c＜2100mm。

所述的偏航控制是使无人机机头正对架线弓以为穿越做准备，其判断条件为：当fabs(Δz)＞100mm，且Δz＞0，yaw＝yaw-2°；否则yaw＝yaw+2°；否则结束，其中：yaw为无人机的偏航角。

将精调过程中的x、y和z期望位置以及期望偏航角yaw实时发布至无人机自主飞行节点，通过无人机的onboard-ROS-SDK实现具备最大速度限制的位置及偏航角控制，从而完成一个循环的自主飞行过程。

经过具体实际实验，在11米杆高，25米杆距，三杆两档作业，3-5级风的具体环境设置下，以最大飞行速度2.5m/s运行上述系统，能够得到的实验数据是：

表1无人机精定位系统实验结果分析表

RTK系统冷启动收敛时间	<60s
		RTK垂直定位精度	<±20.0cm
RTK水平定位精度	<±15.0cm
		RTK+视觉垂直定位精度	<±15.0cm
RTK+视觉水平定位精度	<±12.5cm

表2避障实验结果分析表

最大飞行速度	2m/s
		障碍物尺寸	半径3cm
发现障碍物最小距离	1.6m
		最大避障距离	2.6m
最小避障距离	0.4m
		发现障碍物次数	37
有效避障次数	37
		平均避障时间	7.8s

表3实际作业飞行结果分析表

最大飞行速度	2m/s
		最大测试绳系负载(非极限负载)	1.6kg
测试过程最大风力	5级风
		平均作业时间	4分13秒
总实验杆次	14
		有效穿越次数	13

与现有技术相比，本装置提升了作业过程的成功率(92.8％)，减少了每根杆的作业时间(40s/每根)并提升了作业过程中的安全性(避障成功率100％)。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种基于多旋翼无人机自动飞行的牵引放线系统的无人机自动飞行的牵引放线方法，其特征在于，所述的牵引放线系统包括：控制系统以及分别与之相连的智能滑车架线弓模块和无人机机载模块，其中：智能滑车架线弓模块包括：分别与滑轮单元相连的微波单元、红外检测单元、和智能控制单元，微波单元将检测到的物体位置信息传输至智能控制单元控制滑轮单元的位姿，红外检测单元将检测到的线缆滑落信息传输至智能控制单元控制滑轮单元的状态；

所述的控制系统包括：在ROS操作系统下的自主飞行执行节点、障碍物检测与路径规划节点、架线弓检测及目标点输出节点和引导线脱钩节点，其中：架线弓检测及目标点输出节点接收分别由RGB-D相机传来的深度图和RGB图并输出架线弓中央位置与当前无人机位置的差值信息至板载计算机，障碍物检测与路径规划节点接收2D激光雷达传来的数据并输出是否进入避障程序的标志位和避障的目标路径点，自主飞行执行节点接收障碍物检测与路径规划节点和架线弓检测及目标点输出节点的输出信息并向无人机飞控输出具有最大速度限制的位置及偏航指令，引导线脱钩节点接收无人机飞控传来的吊舱信息；

所述的板载计算机通过RTK板卡获取精准定位信息，并将位置控制指令下发给飞控实现飞行过程中的精准定位；通过RGB-D相机对架线弓进行检测及定位，将位置控制指令通过2D激光雷达检测障碍物，经规划算法以绕开障碍物；

所述的无人机自动飞行的牵引放线方法，利用RTK信息获取架线杆作业点的位置，通过板载计算机控制带有引导线的无人机移动至架线杆作业点附近，根据预设位置对无人机的位置进行粗调，再根据架线弓视觉检测算法和架线弓辅助定位算法对架线弓的位置进行精调，无人机完成一杆架线的自主飞行过程，则飞往下一个作业点重复作业直至完成所有作业任务，当穿越的架线杆为最后一杆，则自动脱钩或手动脱钩降落；

所述的架线弓视觉检测算法是指：根据相邻两根架线弓上若干个像素点的位置及深度值，计算第一架线弓的上下端坐标z的差值Δz；以像素纵轴v排序，将第一架线弓和第二架线弓倒数1/3的中位数对应的点计算架线弓正中央的坐标(x_c,y_c,z_c)；以架线弓正中央的坐标直到无人机的位置控制，根据Δz的正负与数值对无人机偏航控制；

所述的架线弓辅助定位算法是指：从RGB-D相机的ROSSDK中获得RGB图像及校正至RGB坐标系的深度图，对RGB图像进行canny边缘检测和掩码合成并获得掩码边缘图，再将掩码边缘图转换至HSV颜色空间并根据颜色域H进行分割，再对分割后的图像进行霍夫变换直线检测，根据直线长度依次排序并进行配对。

2.根据权利要求1所述的无人机自动飞行的牵引放线方法，其特征是，所述的无人机机载模块包括：板载计算机、RGB-D相机、RTK板卡、脱钩舵机和2D激光雷达，其中：板载计算机与无人机飞控相连以控制其位置、偏航角和速度，RGB-D相机、RTK板卡、2D激光雷达分别与板载计算机相连以传输深度图、颜色图、RTK报文、2D点云信息，脱钩舵机与无人机飞控相连以调节该连接口的空占比以实现脱钩装置的开闭。

3.根据权利要求1所述的无人机自动飞行的牵引放线方法，其特征是，所述的滑轮单元包括：滑轮、滑轮锁和展放臂，其中：滑轮设置于凹字形空腔内，滑轮锁设置于空腔的顶部，展放臂设置于滑轮锁的两侧。

4.根据权利要求1所述的无人机自动飞行的牵引放线方法，其特征是，所述的规划算法是指：通过构建前向安全通道，在安全通道内障碍物与雷达的关系满足cosθ＞0，d*cosθ＜s2且d*sinθ＜s1/2则认为有障碍物点，其中：θ为障碍物点与雷达的连线和雷达速度方向的夹角，d为障碍物点与雷达的距离，s1为安全通道的长度，s2为安全通道的宽度；当雷达检测到障碍物点则增加s2的长度以继续检测并对检测到的位置信息和角度信息进行储存；

所述的位置信息包括：

当前无人机与障碍物之间的距离：

当前无人机与障碍物之间的角度：η＝θ_i+arccos((r_i ²+d²-d_move²)/2r_i*d)，其中：r_i为第i个扫描点到扫描中心的距离，d_move为无人机开始避障后前进的距离，θ_i为第i个扫描点的角度，当满足：

时，则无人机避障成功；

所述的角度信息的最小偏转角

满足：

其中：

θ_v为速度方向与东北天坐标系x轴的夹角，d_remain为安全余量且取值为1/12s，θ_i为第i个扫描点的角度，r_i为第i个扫描点离扫描中心的距离，s为预先设置的安全通道的宽度。

5.根据权利要求1所述的无人机自动飞行的牵引放线方法，其特征是，所述的掩码合成依次包括以下步骤：高斯平滑滤波去噪、计算像素梯度强度和方向，以及非极大值抑制和双阈值算法。

6.根据权利要求1所述的无人机自动飞行的牵引放线方法，其特征是，所述的配对是指：1)两线段的长度差值在短者长度的30％以内；2)两线段呈126°夹角；3)两线段的低端平行；4)两线段不相交，以上四个条件全部满足时，停止搜索，此时的配对两直线为最终的选择结果，当配对完所有直线后，依然无满足所有条件的配对，则认为视野内没有架线弓。

7.根据权利要求1所述的无人机自动飞行的牵引放线方法，其特征是，所述的偏航控制是使无人机机头正对架线弓以为穿越做准备，其判断条件为：当fabs(Δz)＞100mm，且Δz＞0，yaw＝yaw-2°；否则yaw＝yaw+2°；否则结束，其中：yaw为无人机的偏航角。

8.根据权利要求1所述的无人机自动飞行的牵引放线方法，其特征是，将精调过程中的x、y和z期望位置以及期望偏航角yaw实时发布至无人机自主飞行节点，通过无人机的onboard-ROS-SDK实现具备最大速度限制的位置及偏航角控制，从而完成一个循环的自主飞行过程。

Images