CN116202489A - 输电线路巡检机与杆塔协同定位方法及系统、存储介质 - Google Patents

Abstract

本发明公开了输电线路巡检机与杆塔协同定位方法及系统、存储介质，属于巡检机定位技术领域。本发明的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，通过构建目标检测模型、图像测距模型、目标跟踪模型、距离修正模型，对视觉图像进行处理，识别无人机目标；并结合附近的杆塔信息，计算无人机目标与一个或多个杆塔的距离；再根据无人机运动轨迹及无人机真实运动信息，对无人机与一个或多个杆塔的距离进行更正计算，得到一个或多个修正距离；然后根据一个或多个修正距离，计算得出无人机在输电线路区域中的相对位置坐标，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小。

Description

输电线路巡检机与杆塔协同定位方法及系统、存储介质

技术领域

本发明涉及输电线路巡检机与杆塔协同定位方法及系统、存储介质，属于巡检机定位技术领域。

背景技术

输电线路是电力系统的重要基础设施。随着电力工业的快速发展，电网规模也相应扩大，为保证输电线路及相关设备安全可靠运行，必须进行巡检。传统的人工巡检已经远远不能适应当今智能电网建设的需求，而采用无人机进行智能化巡检可大幅降低作业人员的工作强度，提高巡检范围和效率，降低运维成本。

无人机定位通常依赖GPS或激光雷达，在复杂地形环境，GPS信号弱带来的高延时，增加了无人机飞行不可控的风险。激光雷达的成本比较高，功耗也比较大，减少了无人机的飞行时间，进而降低了无人机的飞行能力。

进一步，现有技术中的巡检方法通过机载摄像头和地面站的算法程序实现对无人机位置的确定。在无人机云台装备一个定位单目摄像头获取无人机下方物体实时图像，图像回传给地面站，由地面站的视觉定位算法程序ORB-SLAM2计算出无人机视觉定位摄像头的位姿，以此代表无人机的位置信息，从而对无人机实现视觉定位。并且在地面站系统中根据特征点信息构建3D数字地图，记录无人机运动轨迹以及分布的特征点，同时可以直观地了解电网输电线杆塔周围的地理环境信息。

上述方案通过无人机视觉定位摄像头的位姿，代表无人机的位置信息，以此实现对无人机的视觉定位，但上述方案无法确定无人机的坐标位置，并且只是简单通过实时图像进行定位，误差较大，不利于推广使用。

发明内容

针对现有技术的缺陷，本发明的目的一在于提供一种通过构建目标检测模型、图像测距模型、目标跟踪模型、距离修正模型，对视觉图像进行处理，识别无人机目标；并结合附近的杆塔信息，计算无人机目标与一个或多个杆塔的距离；再根据无人机运动轨迹及无人机真实运动信息，对无人机与一个或多个杆塔的距离进行更正计算，得到一个或多个修正距离；然后根据一个或多个修正距离，计算得出无人机在输电线路区域中的相对位置坐标，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案科学、合理，切实可行的输电线路巡检机与杆塔协同定位方法。

针对现有技术的缺陷，本发明的目的二在于提供一种通过设置边缘计算模块、无线自组网通讯模块，采集杆塔上的摄像头视觉图像，通过基于深度学习的目标检测单元、目标跟踪单元及图像测距单元，识别线路附近的无人机类型及判断距离；并通过人工智能视觉处理与深度学习单元，对无人机摄像头图像进行智能分析，识别输电线路巡检过程中的各种异常目标与情况；同时能将输电线路上部署的杆塔侧的边缘计算模块、无人机机载的边缘计算模块整合起来，形成一个分布式的边缘计算网络系统，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案科学、合理，切实可行的输电线路巡检机与杆塔协同定位系统。

针对现有技术的缺陷，本发明的目的三在于提供一种将边缘计算模块分别部署在输电线路杆塔和无人机上，进而利用若干边缘计算模块以及无线自组网通讯模块，计算得出无人机在输电线路区域中的相对位置坐标，并将此坐标结果实时更新到边缘计算网络中；无人机上的边缘计算模块根据自身在区域内的实时坐标以及区域内各杆塔的固定坐标，则实时更新飞行路线，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案详尽、合理，切实可行的输电线路巡检机与杆塔协同定位方法。

针对现有技术的缺陷，本发明的目的四在于提供一种基于视觉图像的输电线路巡检无人机与杆塔协同智能定位技术，能够计算出无人机的坐标信息，实现无人机的准确定位，具有响应快，实时性高，灵活可控，功耗低等特点，同时可降低无人机成本的输电线路巡检机与杆塔协同定位方法及系统、存储介质。

为实现上述目的之一，本发明的第一种技术方案为：

基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，包括以下步骤：

第一步，获取多个杆塔周边监控范围内的视觉图像；

第二步，通过预先构建的目标检测模型，对视觉图像进行处理，识别视觉图像中的无人机目标，确定无人机目标在视觉图像中的无人机目标框；

第三步，根据无人机目标在多个视觉图像中的无人机目标框，利用预先构建的图像测距模型，计算无人机目标与多个杆塔之间的距离；

第四步，通过预先构建的目标跟踪模型，并根据无人机的实时运动状态信息，对无人机目标在多个视觉图像中的无人机目标框进行处理，获取无人机运动轨迹及无人机真实运动信息；

第五步，利用预先构建的距离修正模型，并根据无人机运动轨迹及无人机真实运动信息，对无人机目标与多个杆塔之间的距离进行更正计算，得到多个修正距离；

第六步，根据多个修正距离，以及杆塔位置坐标，计算得出无人机在输电线路区域中的相对位置坐标，从而实现输电线路巡检无人机与杆塔的协同定位。

本发明经过不断探索以及试验，通过构建目标检测模型、图像测距模型、目标跟踪模型、距离修正模型，对视觉图像进行处理，识别无人机目标；并结合附近的杆塔信息，计算无人机目标与一个或多个杆塔的距离；再根据无人机运动轨迹及无人机真实运动信息，对无人机与一个或多个杆塔的距离进行更正计算，得到一个或多个修正距离；然后根据一个或多个修正距离，计算得出无人机在输电线路区域中的相对位置坐标，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案科学、合理，切实可行。

进一步，本发明提出了一种基于视觉图像的输电线路巡检无人机与杆塔协同智能定位技术，通过构建目标检测模型、图像测距模型、目标跟踪模型、距离修正模型，并结合附近的杆塔信息，计算出无人机的坐标信息，实现无人机的准确定位，具有响应快，实时性高，灵活可控，功耗低等特点，同时可降低无人机成本。

本申请的多个可以是一个，也可以是两个或两个以上。

作为优选技术措施：所述第一步中，视觉图像的获取方法如下：

实时采集杆塔周边360°范围内的视觉图像；

视觉图像是通过球型高清监控摄像机进行拍摄。

作为优选技术措施：所述第二步中，获取预先构建的目标检测模型，包括：

获取初始目标检测算法yolov3，确定初始目标检测算法yolov3的回归定位损失函数CIoU；

获取包括样本图像的训练集，利用初始目标检测算法yolov3对样本图像中的样本目标进行预测，得到样本目标在样本图像中的预测框；

利用回归定位损失函数计算样本目标在样本图像中的预测框与样本目标在样本图像中的真实框之间的损失函数，利用损失函数对初始目标检测算法yolov3中的参数进行调整，得到目标检测模型；

其中，回归定位损失函数CIoU的公式如下：

其中，b，b^gt分别表示预测框和真实框的中心点，ρ为欧式距离，，c为覆盖预测框和真实框的最小封闭区域的对角线长度，IoU为损失函数，w^gt和h^gt分别表示真实框的宽和高，w和h分别表示预测框的宽和高；

IoU为预测框A与真实框B的交并比，其计算公式如下：

作为优选技术措施：所述第三步中，计算无人机目标与多个杆塔距离的方法如下：

根据无人机目标在视觉图像中的无人机目标框，确定无人机型号；

通过无人机型号，得到无人机实际尺寸；

将无人机实际尺寸与无人机目标所在图像尺寸进行对比，得到尺寸比例值；

利用相似三角形法，并根据尺寸比例值，计算得到无人机目标与多个杆塔之间的距离。作为优选技术措施：所述第四步中，目标跟踪模型获取无人机运动轨迹及无人机真实运动信息的方法如下：

通过与无人机通信，获取无人机的实时运动状态信息；

实时运动状态信息至少包括无人机的实时速度和实时方向；

根据无人机的实时速度和实时方向，计算得到无人机目标的理论轨迹信息；

采用目标跟踪算法对视觉图像中的无人机目标框进行目标跟踪并计算得到无人机运动轨迹；

基于无人机运动轨迹，利用卡尔曼滤波KF对无人机目标框在t时刻的轨迹进行预测，得到无人机目标框在t时刻的预测位置及大小；

基于无人机目标框在t时刻的预测位置及大小以及无人机目标的理论轨迹信息中无人机目标框在t时刻的位置及大小，确定修正数据信息，利用修正数据信息对无人机目标的轨迹进行更正，得到无人机真实运动轨迹。

所述目标跟踪算法为改进的目标跟踪算法ByteTrack。

作为优选技术措施：

对无人机与一个或多个杆塔的距离进行更正计算的方法如下：

获取无人机真实的运动速度与方向信息；

根据无人机真实的运动速度与方向信息，，确定更正数据信息；

更正数据信息包括像素距离d_track，杆塔摄像机方位角θ_c，无人机运动方向角β，无人机真实移动距离d_UAV，摄像机镜头焦距f；

根据更正数据信息，对下一t+1时刻无人机目标与杆塔的距离d_t+1进行校正，其d_t+1的计算公式如下:

其中，d_t+1为t+1时刻无人机目标与杆塔的距离。

作为优选技术措施：

所述第六步中，计算无人机在输电线路区域中的相对位置坐标的方法如下：

获取第一步中进行视觉图像采集的杆塔的杆塔编号以及相应坐标；

杆塔编号包括杆塔一n1，杆塔二n2，杆塔三n3；

相应坐标包括杆塔一的坐标(x_n1，y_n1)、杆塔二的坐标(x_n2，y_n2)、杆塔三的坐标(x_n3，y_n3)；

根据杆塔一和杆塔二的坐标，并结合无人机坐标，构建杆塔一n1，杆塔二n2与无人机之间的距离关系方程组一，其计算公式如下：

其中，(x_p，y_p)为无人机坐标，d₁为杆塔一与无人机之间的距离，₂为杆塔二与无人机之间的距离；

根据距离关系方程组一，解得无人机坐标一(x_p(n1，n2)，y_p(n1，n2))

同时，根据杆塔二和杆塔三的坐标，并结合无人机坐标，构建杆塔二n2，杆塔三n3与无人机之间的距离关系方程组二，其计算公式如下：

/>

其中，d₃为杆塔三与无人机之间的距离；

根据距离关系方程组二，解得无人机坐标二(x_p(n2，n3)，y_p(n2，n3))；

对无人机坐标一和无人机坐标二进行加权平均得到无人机的坐标的最终结果

其计算公式如下：

其中，a_ni，nj为杆塔ni和杆塔与无人机间的距离权重值，i，j∈(0，N)，为参与距离计算的相邻杆塔个数。

为实现上述目的之一，本发明的第二种技术方案为：

基于视觉图像的输电线路巡检无人机与杆塔协同定位系统，采用上述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，其包括至少两个边缘计算模块、无线自组网通讯模块。

边缘计算模块分为杆塔侧的边缘计算模块、无人机机载的边缘计算模块；

杆塔侧的边缘计算模块，用于部署在输电线路杆塔上，其能采集杆塔上的摄像头视觉图像，通过基于深度学习的目标检测单元、目标跟踪单元及图像测距单元，识别线路附近的无人机类型及判断距离。

无人机机载的边缘计算模块，用于装配在无人机上，其通过人工智能视觉处理与深度学习单元，对无人机摄像头图像进行智能分析，识别输电线路巡检过程中的各种异常目标与情况；

无线自组网通讯模块，用于将输电线路上部署的杆塔侧的边缘计算模块、无人机机载的边缘计算模块整合起来，形成一个分布式的边缘计算网络系统，并将杆塔侧的边缘计算模块或无人机机载的边缘计算模块的分析结果数据在杆塔与无人机之间传输。

本发明经过不断探索以及试验，通过设置边缘计算模块、无线自组网通讯模块，采集杆塔上的摄像头视觉图像，通过基于深度学习的目标检测单元、目标跟踪单元及图像测距单元，识别线路附近的无人机类型及判断距离；并通过人工智能视觉处理与深度学习单元，对无人机摄像头图像进行智能分析，识别输电线路巡检过程中的各种异常目标与情况；同时能将输电线路上部署的杆塔侧的边缘计算模块、无人机机载的边缘计算模块整合起来，形成一个分布式的边缘计算网络系统，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案科学、合理，切实可行。

进一步，本发明的边缘计算模块，可以有效降低云端网络核心节点的压力；提高实时处理前端传感器数据处理能力；减少数据传输量，降低带宽成本；通过数据本地化存储，可以满足安全性和隐私性需求。并可以利用嵌入式智能计算芯片功耗低、算力强、实时性高的特点，基于视觉图像进行智能分析及智能定位，无需增加额外的传感器，提高了无人机应用到各种不同的场景的灵活性，大大降低了使用成本及部署难度。

为实现上述目的之一，本发明的第三种技术方案为：

基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，应用于上述的基于视觉图像的输电线路巡检无人机与杆塔协同定位系统，其包括以下内容：

输电线路杆塔通过球型高清监控摄像机，实时采集杆塔周边360°监控范围内的视觉图像；

输电线路杆塔通过无线自组网通讯模块，组成能覆盖输电线路巡检区域的智能边缘计算网络；

无人机飞入杆塔附近区域时，通过无线自组网通讯模块，实时自动接入边缘计算网络；

输电线路杆塔通过边缘计算模块的目标检测单元对监控球机的视觉图像进行分析，识别无人机目标；

输电线路杆塔通过边缘计算模块的图像测距单元检测无人机目标与杆塔的距离；

杆塔通过边缘计算模块对检测到的无人机目标进行跟踪获得无人机运动轨迹，并与无人机通信获取无人机的速度与方向信息，利用目标跟踪单元得到的无人机运动轨迹及无人机真实运动信息，对无人机与杆塔间的距离进行更正计算，同时通过无线自组网通讯模块将此数据实时分享到边缘计算网络中；

根据相邻的两个杆塔分别检测得到的杆塔与无人机之间的距离数据，获得距离方程组，计算得出无人机在输电线路区域中的相对位置坐标，并将此坐标结果实时更新到边缘计算网络中；

无人机上的边缘计算模块根据自身在区域内的实时坐标以及区域内各杆塔的固定坐标，则实时更新飞行路线。

本发明将边缘计算模块分别部署在输电线路杆塔和无人机上，进而利用若干边缘计算模块以及无线自组网通讯模块，计算得出无人机在输电线路区域中的相对位置坐标，并将此坐标结果实时更新到边缘计算网络中；无人机上的边缘计算模块根据自身在区域内的实时坐标以及区域内各杆塔的固定坐标，则实时更新飞行路线，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案详尽、合理，切实可行。

为实现上述目的之一，本发明的第四种技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法。

与现有技术相比，本发明具有以下有益效果：

本发明经过不断探索以及试验，通过构建目标检测模型、图像测距模型、目标跟踪模型、距离修正模型，对视觉图像进行处理，识别无人机目标；并结合附近的杆塔信息，计算无人机目标与一个或多个杆塔的距离；再根据无人机运动轨迹及无人机真实运动信息，对无人机与一个或多个杆塔的距离进行更正计算，得到一个或多个修正距离；然后根据一个或多个修正距离，计算得出无人机在输电线路区域中的相对位置坐标，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案科学、合理，切实可行。

进一步，本发明提出了一种基于视觉图像的输电线路巡检无人机与杆塔协同智能定位技术，通过构建目标检测模型、图像测距模型、目标跟踪模型、距离修正模型，并结合附近的杆塔信息，计算出无人机的坐标信息，实现无人机的准确定位，具有响应快，实时性高，灵活可控，功耗低等特点，同时可降低无人机成本。

再进一步，本发明经过不断探索以及试验，通过设置边缘计算模块、无线自组网通讯模块，采集杆塔上的摄像头视觉图像，通过基于深度学习的目标检测单元、目标跟踪单元及图像测距单元，识别线路附近的无人机类型及判断距离；并通过人工智能视觉处理与深度学习单元，对无人机摄像头图像进行智能分析，识别输电线路巡检过程中的各种异常目标与情况；同时能将输电线路上部署的杆塔侧的边缘计算模块、无人机机载的边缘计算模块整合起来，形成一个分布式的边缘计算网络系统，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案科学、合理，切实可行。

更进一步，本发明的边缘计算模块，可以有效降低云端网络核心节点的压力；提高实时处理前端传感器数据处理能力；减少数据传输量，降低带宽成本；通过数据本地化存储，可以满足安全性和隐私性需求。并可以利用嵌入式智能计算芯片功耗低、算力强、实时性高的特点，基于视觉图像进行智能分析及智能定位，无需增加额外的传感器，提高了无人机应用到各种不同的场景的灵活性，大大降低了使用成本及部署难度。

进而，发明将边缘计算模块分别部署在输电线路杆塔和无人机上，进而利用若干边缘计算模块以及无线自组网通讯模块，计算得出无人机在输电线路区域中的相对位置坐标，并将此坐标结果实时更新到边缘计算网络中；无人机上的边缘计算模块根据自身在区域内的实时坐标以及区域内各杆塔的固定坐标，则实时更新飞行路线，从而实现输电线路巡检无人机与杆塔的协同定位，能够较为准确的确定无人机的坐标位置，并且精度高，误差小，利于推广使用，方案详尽、合理，切实可行。

附图说明

图1为本发明输电线路巡检无人机与杆塔协同定位方法的一种流程图；

图2为本发明输电线路巡检无人机与杆塔协同定位系统的一种结构示意图；

图3为本发明改进的ByteTrack目标跟踪算法流程示意图；

图4为本发明基于目标运动的单目测距示意图；

图5为本发明杆塔与无人机协同智能边缘计算网络示意图及利用视觉图像对无人机进行定位的原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。

如图1所示，本发明基于视觉图像的输电线路巡检无人机与杆塔协同定位方法的第一种具体实施例：

基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，包括以下步骤：

第一步，获取多个杆塔周边监控范围内的视觉图像；

第二步，通过预先构建的目标检测模型，对视觉图像进行处理，识别视觉图像中的无人机目标，确定无人机目标在视觉图像中的无人机目标框；

第三步，根据无人机目标在多个视觉图像中的无人机目标框，利用预先构建的图像测距模型，计算无人机目标与多个杆塔之间的距离；

第四步，通过预先构建的目标跟踪模型，对无人机目标在多个视觉图像中的无人机目标框进行处理，获取无人机运动轨迹及无人机真实运动信息；

第五步，利用预先构建的距离修正模型，并根据无人机运动轨迹及无人机真实运动信息，对无人机目标与多个杆塔之间的距离进行更正计算，得到多个修正距离；

第六步，根据多个修正距离，以及杆塔位置坐标，计算得出无人机在输电线路区域中的相对位置坐标，从而实现输电线路巡检无人机与杆塔的协同定位。

本发明提出了一种基于视觉图像的输电线路巡检无人机与杆塔协同智能定位技术，具有响应快，实时性高，灵活可控，功耗低等特点，同时可降低无人机成本。

如图2所示，本发明基于视觉图像的输电线路巡检无人机与杆塔协同定位系统的一种具体实施例：

基于视觉图像的输电线路巡检无人机与杆塔协同定位系统包括杆塔侧的边缘计算模块、无人机机载的边缘计算模块、无线自组网通讯模块。

杆塔侧的边缘计算模块：在输电线路杆塔上部署边缘计算模块，采集杆塔上的摄像头视觉图像，通过基于深度学习的目标检测、目标跟踪及图像测距算法，可以识别线路附近的无人机类型及判断距离。

无人机机载的边缘计算模块：在无人机上搭载边缘计算模块，通过人工智能视觉处理与深度学习模型，对无人机摄像头图像进行智能分析，智能识别输电线路巡检过程中的各种异常目标与情况

无线自组网通讯模块：利用在杆塔与无人机的边缘计算模块上集成无线自组网通讯模块，可以将输电线路上部署的所有边缘计算模块整合起来，形成一个分布式的边缘计算网络系统。无线自组网通讯模块可以将边缘计算模块的分析结果数据在杆塔与无人机之间传输。

本发明基于视觉图像的输电线路巡检无人机与杆塔协同定位方法的第二种具体实施例：

基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，包括以下内容：

1.输电线路杆塔通过球型高清监控摄像机，实时采集杆塔周边360°监控范围内的视觉图像；

2.输电线路杆塔通过无线自组网通讯模块，组成可覆盖输电线路巡检区域的智能边缘计算网络；

3.无人机飞入杆塔附近区域时，通过无线自组网通讯模块，实时自动接入边缘计算网络；

4.输电线路杆塔通过边缘计算模块目标检测算法对监控球机的视觉图像进行智能分析，识别无人机目标；

5.输电线路杆塔通过边缘计算模块图像测距方法检测无人机目标与杆塔的距离；

6.杆塔通过边缘计算模块对检测到的无人机目标进行跟踪获得无人机运动轨迹，并与无人机通信获取无人机的速度与方向等实时运动状态信息，利用目标跟踪得到的无人机运动轨迹及无人机真实运动信息，对无人机与杆塔间的距离进行更正计算，同时通过无线自组网通讯模块将此数据实时分享到边缘计算网络中；

7.根据相邻的两个杆塔分别检测得到的杆塔与无人机之间的距离数据，可以获得距离方程组，计算得出无人机在输电线路区域中的相对位置坐标，并将此坐标结果实时更新到边缘计算网络中；具体的计算原理及计算公式参见附录。

8.无人机上的边缘计算模块根据自身在区域内的实时坐标以及区域内各杆塔的固定坐标，则可以实时更新飞行路线；

如图3所示，基于改进的yolov3目标检测模型，对杆塔摄像头图像中的无人机进行检测。原版的yolov3算法基于IoU损失函数来评估目标预测框的效果，，但存在对尺度不敏感的问题，输出的检测框通常没有完整地包括住目标物体或包含了过多的无用背景。本发明采用改进的yolov3算法，使用CIoU回归定位损失函数，在原始IoU的基础上考虑了预测框与真实框的重叠面积比、中心点距离及长宽比等影响因素，得到的预测框结果更加贴近真实框，进而提高后续目标跟踪算法的精度及目标距离计算的准确度。

CIoU损失函数为：

其中b，b^gt分别表示预测框和真实框的中心点，ρ为欧式距离，c为覆盖预测框和真实框的最小封闭区域的对角线长度

其中，w^gt和h^gt分别表示真实框的宽和高，w和h分别表示预测框的宽和高。

采用基于改进的ByteTrack目标跟踪算法对杆塔摄像机画面中的无人机图像进行目标跟踪并计算轨迹。ByteTrack算法中使用卡尔曼滤波(KF)预测边界框位置及大小，KF状态向量为

x＝[x_c,y_c,s，a，x′_c,y′_c,s′]^T

其中x，y为中心值，s为边界框面积比，a为边界框的宽高比(w/h)。

本发明修改KF状态向量为

x＝[x_c，y_c，w，h，x′_c，y′_c，w′，h′]^T

将原始向量中的边界框面积比与宽高比改为直接使用边界框的宽度w与高度h，可以使得KF输出的预测框更准确。同时在跟踪匹配过程中，同样使用CIoU替代原始算法中的IoU，以获得更准确的跟踪结果。

如图4所示，本发明图像测距的一种具体实施例：

杆塔上的边缘计算模块，检测并识别出无人机目标后，结合无人机目标图像大小与该型号实际尺寸的比例，利用相似三角形法可以计算得到无人机与杆塔之间的距离。但是此方法完全依赖于目标检测算法输出的预测框尺寸的准确性，精度不是很高。本发明利用目标跟踪算法得到的无人机轨迹，无人机真实的运动速度与方向等状态信息，对无人机与杆塔间的距离进行更正。进一步，根据无人机与多个邻近杆塔间的距离结果，就可以计算出无人机在杆塔区域内的坐标。

根据相似三角形原理及三角余弦定理，可利用上一时刻的无人机与杆塔的距离d_t，目标跟踪轨迹计算得到的像素距离d_track，杆塔摄像机方位角θ_c，无人机运动方向角β，无人机真实移动距离d_UAV，摄像机镜头焦距f，可对下一时刻无人机与杆塔的距离进行校正计算得到:

其中，d_t+1为无人机目标与杆塔的距离。

如图5所示，本发明计算坐标的一种具体实施例：

输电线路区域中相邻的杆塔n1，n2，n3，坐标分别为(x_n1，y_n1)，(x_n2，y_n2)，(x_n3，y_n3)，无人机坐标为(x_p，y_p)，杆塔与无人机之间的距离分别为d1，d2，d3。

根据杆塔n1，n2与无人机之间的距离关系方程组：

可解得无人机坐标(x_p(n1，n2)，y_p(n1，n2))。

根据另一组杆塔n2，n3与无人机之间的距离关系方程组：

可解得无人机坐标(x_p(n2，n3)，y_p(n2，n3))。

由于杆塔与无人机之间的距离存在测量误差，所以两次求解的结果(x_p(n1，n2)，y_p(n1，n2))与(x_p(n2，n3)，y_p(n2，n3))并不完全相等。无人机的坐标的最终结果

可由多组结果的加权平均得到，即/>

其中，a_ni，nj为杆塔ni，nj与无人机间的距离权重值，i，j∈(0，N)，N为参与距离计算的相邻杆塔个数，可根据输电线路的实际分布情况进行调整，通常可取N＝3。

应用本发明方法的一种设备实施例：

一种计算机设备，其包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法。

应用本发明方法的一种计算机介质实施例：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，其特征在于，

包括以下步骤：

第一步，获取多个杆塔周边监控范围内的视觉图像；

第二步，通过预先构建的目标检测模型，对视觉图像进行处理，识别视觉图像中的无人机目标，确定无人机目标在视觉图像中的无人机目标框；

第三步，根据无人机目标在多个视觉图像中的无人机目标框，利用预先构建的图像测距模型，计算无人机目标与多个杆塔之间的距离；

第四步，通过预先构建的目标跟踪模型，并根据无人机的实时运动状态信息，对无人机目标在多个视觉图像中的无人机目标框进行处理，获取无人机运动轨迹及无人机真实运动信息；

第五步，利用预先构建的距离修正模型，并根据无人机运动轨迹及无人机真实运动信息，对无人机目标与多个杆塔之间的距离进行更正计算，得到多个修正距离；

第六步，根据多个修正距离，以及杆塔位置坐标，计算得出无人机在输电线路区域中的相对位置坐标，从而实现输电线路巡检无人机与杆塔的协同定位。

2.如权利要求1所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，

其特征在于，所述第一步中，视觉图像的获取方法如下：

实时采集杆塔周边360°范围内的视觉图像；

视觉图像是通过球型高清监控摄像机进行拍摄。

3.如权利要求1所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，

其特征在于，所述第二步中，获取预先构建的目标检测模型，包括：

获取初始目标检测算法yolov3，确定初始目标检测算法yolov3的回归定位损失函数CIoU；

获取包括样本图像的训练集，利用初始目标检测算法yolov3对样本图像中的样本目标进行预测，得到样本目标在样本图像中的预测框；

利用回归定位损失函数计算样本目标在样本图像中的预测框与样本目标在样本图像中的真实框之间的损失函数，利用损失函数对初始目标检测算法yolov3中的参数进行调整，得到目标检测模型；

其中，回归定位损失函数CIoU的公式如下：

其中，b，b^gt分别表示预测框和真实框的中心点，ρ为欧式距离，c为覆盖预测框和真实框的最小封闭区域的对角线长度，IoU为损失函数，w^gt和h^gt分别表示真实框的宽和高，w和h分别表示预测框的宽和高；

IoU为预测框A与真实框B的交并比，其计算公式如下：

4.如权利要求1所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，其特征在于，所述第三步中，计算无人机目标与多个杆塔距离的方法如下：

根据无人机目标在视觉图像中的无人机目标框，确定无人机型号；

通过无人机型号，得到无人机实际尺寸；

将无人机实际尺寸与无人机目标所在图像尺寸进行对比，得到尺寸比例值；

利用相似三角形法，并根据尺寸比例值，计算得到无人机目标与多个杆塔之间的距离。

5.如权利要求1所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，其特征在于，所述第四步中，目标跟踪模型获取无人机运动轨迹及无人机真实运动信息的方法如下：

通过与无人机通信，获取无人机的实时运动状态信息；

实时运动状态信息至少包括无人机的实时速度和实时方向；

根据无人机的实时速度和实时方向，计算得到无人机目标的理论轨迹信息；

采用目标跟踪算法对视觉图像中的无人机目标框进行目标跟踪并计算得到无人机运动轨迹：

基于无人机运动轨迹，利用卡尔曼滤波KF对无人机目标框在t时刻的轨迹进行预测，得到无人机目标框在t时刻的预测位置及大小；

基于无人机目标框在t时刻的预测位置及大小以及无人机目标的理论轨迹信息中无人机目标框在t时刻的位置及大小，确定修正数据信息，利用修正数据信息对无人机目标的轨迹进行更正，得到无人机真实运动轨迹。

6.如权利要求5所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，其特征在于，

所述第五步，对无人机目标与多个杆塔的距离进行更正计算的方法如下：

获取无人机运动轨迹及无人机真实运动信息；

根据无人机运动轨迹及无人机真实运动信息，确定更正数据信息；

更正数据信息包括像素距离d_track，杆塔摄像机方位角θ_c，无人机运动方向角β，无人机真实移动距离d_UAV，摄像机镜头焦距f；

根据更正数据信息，对下一t+1时刻无人机目标与杆塔的距离d_t+1进行校正，其d_t+1的计算公式如下：

其中，d_t+1为t+1时刻无人机目标与杆塔的距离。

7.如权利要求1所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，其特征在于，

所述第六步中，计算无人机在输电线路区域中的相对位置坐标的方法如下：

获取第一步中进行视觉图像采集的杆塔的杆塔编号以及相应坐标；

杆塔编号包括杆塔一n1，杆塔二n2，杆塔三n3；

相应坐标包括杆塔一的坐标(x_n1，y_n1)、杆塔二的坐标(x_n2，y_n2)、杆塔三的坐标(x_n3，y_n3)；

根据杆塔一和杆塔二的坐标，并结合无人机坐标，构建杆塔一n1，杆塔二n2与无人机之间的距离关系方程组一，其计算公式如下：

其中，(x_p，y_p)为无人机坐标，d₁为杆塔一与无人机之间的距离，d₂为杆塔二与无人机之间的距离；

根据距离关系方程组一，解得无人机坐标一(x_p(n1，n2)，y_p(n1，n2))

同时，根据杆塔二和杆塔三的坐标，并结合无人机坐标，构建杆塔二n2，杆塔三n3与无人机之间的距离关系方程组二，其计算公式如下：

其中，d₃为杆塔三与无人机之间的距离；

根据距离关系方程组二，解得无人机坐标二(x_p(n2，n3)，y_p(n2，n3))；

对无人机坐标一和无人机坐标二进行加权平均得到无人机的坐标的最终结果

其计算公式如下：

其中，a_ni，nj为杆塔ni和杆塔nj与无人机间的距离权重值，i，j∈(0，N)，N为参与距离计算的相邻杆塔个数。

8.基于视觉图像的输电线路巡检无人机与杆塔协同定位系统，其特征在于，

采用如权利要求1-7任一所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，其包括至少两个边缘计算模块、无线自组网通讯模块；

边缘计算模块分为杆塔侧的边缘计算模块、无人机机载的边缘计算模块；

杆塔侧的边缘计算模块，用于部署在输电线路杆塔上，其能采集杆塔上的摄像头视觉图像，通过基于深度学习的目标检测单元、目标跟踪单元及图像测距单元，识别线路附近的无人机类型及判断距离；

无人机机载的边缘计算模块，用于装配在无人机上，其通过人工智能视觉处理与深度学习单元，对无人机摄像头图像进行智能分析，识别输电线路巡检过程中的各种异常目标与情况；

无线自组网通讯模块，用于将输电线路上部署的杆塔侧的边缘计算模块、无人机机载的边缘计算模块整合起来，形成一个分布式的边缘计算网络系统，并将杆塔侧的边缘计算模块或无人机机载的边缘计算模块的分析结果数据在杆塔与无人机之间传输。

9.基于视觉图像的输电线路巡检无人机与杆塔协同定位方法，其特征在于，

应用于如权利要求8所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位系统，其包括以下内容：输电线路杆塔通过球型高清监控摄像机，实时采集杆塔周边360°监控范围内的视觉图像；

输电线路杆塔通过无线自组网通讯模块，组成能覆盖输电线路巡检区域的智能边缘计算网络；

无人机飞入杆塔附近区域时，通过无线自组网通讯模块，实时自动接入边缘计算网络；

输电线路杆塔通过边缘计算模块的目标检测单元对监控球机的视觉图像进行分析，识别无人机目标；

输电线路杆塔通过边缘计算模块的图像测距单元检测无人机目标与杆塔的距离；

杆塔通过边缘计算模块对检测到的无人机目标进行跟踪获得无人机运动轨迹，并与无人机通信获取无人机的速度与方向信息，利用目标跟踪单元得到的无人机运动轨迹及无人机真实运动信息，对无人机与杆塔间的距离进行更正计算，同时通过无线自组网通讯模块将此数据实时分享到边缘计算网络中；

根据相邻的两个杆塔分别检测得到的杆塔与无人机之间的距离数据，获得距离方程组，计算得出无人机在输电线路区域中的相对位置坐标，并将此坐标结果实时更新到边缘计算网络中；

无人机上的边缘计算模块根据自身在区域内的实时坐标以及区域内各杆塔的固定坐标，则实时更新飞行路线。

10.一种计算机可读存储介质，其特征在于，

其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7任一所述的基于视觉图像的输电线路巡检无人机与杆塔协同定位方法。

Images