CN109829908B - 基于双目影像的电力线下方地物安全距离检测方法及设备 - Google Patents
基于双目影像的电力线下方地物安全距离检测方法及设备 Download PDFInfo
- Publication number
- CN109829908B CN109829908B CN201910099617.6A CN201910099617A CN109829908B CN 109829908 B CN109829908 B CN 109829908B CN 201910099617 A CN201910099617 A CN 201910099617A CN 109829908 B CN109829908 B CN 109829908B
- Authority
- CN
- China
- Prior art keywords
- power line
- coordinate system
- formula
- dimensional
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 11
- 239000000725 suspension Substances 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 abstract description 5
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000011835 investigation Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种基于双目影像的电力线下方地物安全距离检测方法及设备,通过对无人机双目数据进行双目匹配及GPS拼接,实时生成电力线路附近区域三维空间数据,然后利用深度学习算法对三维场景进行语义分割,得到电力线对应的三维点云,再利用该点云数据实时拟合电力线弧垂方程,得到电力线的三维模型,最后采用铅垂线方法对下方地物安全距离进行实时检测,整个过程全自动化,无需人工干预,因此具有操作简单、推广难度小、实时排查安全隐患等优势,且采用深度学习方法进行电力线的自动识别提取,随着数据的积累,样本量的增加,识别精度会越来越高,且无需针对不同场景研究不同的识别方法,环境适应能力强。
Description
技术领域
本申请涉及电力线安全检测技术领域,尤其涉及一种基于双目影像的电力线下方地物安全距离检测方法及设备。
背景技术
电网现行高压电力线路结构复杂、规模庞大,线路通道环境十分复杂,异物缠挂、线路下方树木、违规施工、违章建筑等易导致线路安全距离不足而发生短路事故。事故一旦发生,后果严重,巨大的电流可能造成人员严重伤害,故障造成线路设备损坏,跳闸停运,对电网运行造成冲击,同时,故障对城市区域供电造成影响,扰乱企业和居民的正常生产生活秩序,带来重大经济损失。
对于电力线路安全距离的检测,目前常用的方式是电力工人巡线过程中,对线路段进行人工目视判断或全站仪量测,但线路安全距离不足的多发点通常在人迹难至之地,这些测量方式由于树木、建筑等遮挡以及视觉透视偏差,难以对疑似超限点得出准确有效的判断,不能适应现代化电网的发展和安全运行需要,超、特高压电网急需高效、先进、科学的电力线路安全检测方式。
有人直升机及无人机携带激光扫描系统电力线路通道巡检技术,已在我国电网巡检中逐渐得到应用。机载激光雷达测量系统可以很好地解决空间定位和测量精度等问题,它可直接而快速地采集线路走廊高精度三维激光点云数据,进而快速地获得高精度三维线路走廊的地形、地貌、地物和线路设施的空间信息。随着LiDAR点云数据处理技术的逐渐成熟,目前国内大部分无人机电力巡线系统都配备有LiDAR系统。随着传感器技术的进步,激光扫描仪和定位定姿系统都在逐步小型化,LiDAR系统也随之轻小型化,从而能被多旋翼无人机所搭载。但目前基于LiDAR的导线地物安全检测绝大多是事后处理,即先采集整个导线路的数据,然后再内业进行处理(包括定位定姿数据处理、LiDAR点云生成,导线提取等)。后处理方式的优点是精度高,但延时较大,不便于检修人员实时实地解决安全隐患。另外,后处理流程复杂度高,难以被一般工作人员掌握。这两大问题仍制约着无人机激光雷达系统在电力巡检工作中的大规模使用。
在基于单目相机的无人机导线巡检中,为了恢复带绝对尺度的导线及其下方物体三维信息,需要知道每个曝光时刻相机的位置和姿态信息,并在序列影像间进行同名点匹配及导线提取。相机的位置和姿态信息可以通过搭载在无人机上的较高精度GPS和惯导获取;导线及其下方交跨物的空间信息获取依赖于影像上同名特征的获取,通过影像匹配方法解决。但影像匹配是一个病态问题,特别对于导线这种特征目标而言,难以实现稳定可靠的影像匹配。
发明内容
本申请提供了一种基于双目影像的电力线下方地物安全距离检测方法及设备,通过对无人机双目数据进行双目匹配及GPS拼接,实时生成电力线路附近区域三维空间数据,然后利用深度学习算法对三维场景进行语义分割,得到电力线对应的三维点云,再利用该点云数据实时拟合电力线弧垂方程,得到电力线的三维模型,最后采用铅垂线方法对下方地物安全距离进行实时检测。
有鉴于此,本申请第一方面提供了一种基于双目影像的电力线下方地物安全距离检测方法,包括:
对双目影像数据进行双目匹配及GPS拼接,生成三维彩色点云;
通过深度学习算法识别三维彩色点云中的电力线,得到电力线三维点云;
根据电力线三维点云数据拟合电力线弧垂方程,得到电力线三维模型;
根据电力线三维模型和地物三维点云通过铅垂线方法对下方地物安全距离进行检测。
优选地,对双目影像数据进行双目匹配及GPS拼接,生成电力线三维彩色点云包括:
通过全局坐标计算公式根据传感器坐标系外参数、惯导坐标系外参数和双目影像数据计算得到三维彩色点云;
所述全局坐标计算公式为:
优选地,通过全局坐标计算公式根据传感器坐标系外参数、惯导坐标系外参数和双目影像数据计算得到三维彩色点云之前还包括:
根据第七公式、第八公式、第九公式和双目影像数据通过优化算法求解使得第八公式函数值最小的传感器坐标系外参数;
所述第七公式为传感器坐标系外参数公式:x=[χ0,γ0,z0,θ0,φ0,ψ0]T;
所述第九公式为:
其中,x=[χ0,γ0,z0,θ0,φ0,ψ0]T为传感器坐标系外参数,即传感器坐标系到惯导坐标系的平移参数和传感器坐标系到惯导坐标系的旋转参数χ0,γ0,z0为传感器坐标系到惯导坐标系的平移分量;θ0,φ0,ψ0为传感器坐标系到惯导坐标系的旋转分量,m为预设定值,第p1次对预设定点测量的在传感器坐标系中的坐标参数为xp1,yp1,zp1,惯导坐标系到全局坐标系的平移参数为惯导坐标系到全局坐标系的旋转参数为第p2次对预设定点测量的在传感器坐标系中的坐标参数为xp2,yp2,zp2,惯导坐标系到全局坐标系的平移参数为惯导坐标系到全局坐标系的旋转参数为
优选地,根据第七公式、第八公式、第九公式和双目影像数据通过优化算法求解使得第八公式函数值最小的传感器坐标系外参数之前还包括:
预先通过双目影像对预设定点进行两次测量,得到第四公式和第五公式;
根据第四公式和第五公式得到第六公式,根据第六公式得到第九公式;
所述第四公式为:
所述第五公式为:
所述第六公式为:
其中,第p1次对预设定点测量的全局坐标为Xp1,Yp1,Zp1,第p2次对预设定点测量的全局坐标为Xp2,Yp2,Zp2。
优选地,通过全局坐标计算公式根据传感器坐标系外参数、惯导坐标系外参数和双目影像数据计算得到三维彩色点云之前还包括:
根据第一公式和第二公式得到全局坐标计算公式;
所述第一公式为:
所述第二公式为:
其中,XIMU为惯导坐标系下的坐标。
优选地,通过深度学习算法识别三维彩色点云中的电力线,得到电力线三维点云具体包括:
建立语义分割多模态神经网络算法的MNN网络结构;
通过训练后的MNN网络结构识别三维彩色点云中的电力线,得到电力线三维点云。
优选地,根据电力线三维点云数据拟合电力线弧垂方程,得到电力线三维模型具体包括:
根据电力线三维点云数据获取同一条电力线三个以上节点的三维绝对坐标,根据该三维绝对坐标通过弧垂方程拟合得到该电力线的三维模型,重复拟合过程得到所有电力线的三维模型。
优选地,根据电力线三维模型和地物三维点云通过铅垂线方法对下方地物安全距离进行检测具体包括:
根据电力线三维模型计算电力线上的弧垂;
根据该弧垂计算得到电力线的高度;
用电力线的高度减去对应坐标的地物高度得到电力线与地物的距离;
判断电力线与地物的距离是否超过安全阈值,若是,则判断安全,若否,则判断不安全。
优选地,根据电力线三维模型计算电力线上的弧垂具体通过弧垂计算公式计算;
等高悬点电力线任意一点f的弧垂计算公式为:
不等高悬点电力线任意一点弧垂计算公式为:
其中,σ0为电力线最低点应力,g为电线比载,l为档距,φ为悬点高差角。
本申请第二方面提供基于双目影像的电力线下方地物安全距离检测设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行如第一方面的基于双目影像的电力线下方地物安全距离检测方法;
所述设备连接双目无人机,用于获取双目影像。
从以上技术方案可以看出,本申请具有以下优点:
本申请提供了一种基于双目影像的电力线下方地物安全距离检测方法及设备,通过对无人机双目数据进行双目匹配及GPS拼接,实时生成电力线路附近区域三维空间数据,然后利用深度学习算法对三维场景进行语义分割,得到电力线对应的三维点云,再利用该点云数据实时拟合电力线弧垂方程,得到电力线的三维模型,最后采用铅垂线方法对下方地物安全距离进行实时检测,整个过程全自动化,无需人工干预,因此具有操作简单、推广难度小、实时排查安全隐患等优势,且采用深度学习方法进行电力线的自动识别提取,随着数据的积累,样本量的增加,识别精度会越来越高,且无需针对不同场景研究不同的识别方法,环境适应能力强。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请提供的一种基于双目影像的电力线下方地物安全距离检测方法的一个实施例的示意图;
图2为本申请提供的一种基于双目影像的电力线下方地物安全距离检测方法的坐标系示意图。
具体实施方式
本申请提供了一种基于双目影像的电力线下方地物安全距离检测方法及设备,通过对无人机双目数据进行双目匹配及GPS拼接,实时生成电力线路附近区域三维空间数据,然后利用深度学习算法对三维场景进行语义分割,得到电力线对应的三维点云,再利用该点云数据实时拟合电力线弧垂方程,得到电力线的三维模型,最后采用铅垂线方法对下方地物安全距离进行实时检测。
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
请参阅图1,本申请提供了一种基于双目影像的电力线下方地物安全距离检测方法的一个实施例,包括:
101、对双目影像数据进行双目匹配及GPS拼接,生成三维彩色点云;
102、通过深度学习算法识别三维彩色点云中的电力线,得到电力线三维点云;
103、根据电力线三维点云数据拟合电力线弧垂方程,得到电力线三维模型;
104、根据电力线三维模型和地物三维点云通过铅垂线方法对下方地物安全距离进行检测。
本申请提供了一种基于双目影像的电力线下方地物安全距离检测方法及设备,通过对无人机双目数据进行双目匹配及GPS拼接,实时生成电力线路附近区域三维空间数据,然后利用深度学习算法对三维场景进行语义分割,得到电力线对应的三维点云,再利用该点云数据实时拟合电力线弧垂方程,得到电力线的三维模型,最后采用铅垂线方法对下方地物安全距离进行实时检测,整个过程全自动化,无需人工干预,因此具有操作简单、推广难度小、实时排查安全隐患等优势,且采用深度学习方法进行电力线的自动识别提取,随着数据的积累,样本量的增加,识别精度会越来越高,且无需针对不同场景研究不同的识别方法,环境适应能力强。
进一步地,步骤101包括:
通过全局坐标计算公式(第三公式)根据传感器坐标系外参数、惯导坐标系外参数和双目影像数据计算得到三维彩色点云;
全局坐标计算公式为:
进一步地,通过全局坐标计算公式根据传感器坐标系外参数、惯导坐标系外参数和双目影像数据计算得到三维彩色点云之前还包括:
根据第七公式、第八公式、第九公式和双目影像数据通过优化算法求解使得第八公式函数值最小的传感器坐标系外参数;
第七公式为传感器坐标系外参数公式:x=[χ0,γ0,z0,θ0,φ0,ψ0]T;
第九公式为:
其中,x=[χ0,γ0,z0,θ0,φ0,ψ0]T为传感器坐标系外参数,即传感器坐标系到惯导坐标系的平移参数和传感器坐标系到惯导坐标系的旋转参数χ0,γ0,z0为传感器坐标系到惯导坐标系的平移分量;θ0,φ0,ψ0为传感器坐标系到惯导坐标系的旋转分量,分别为俯仰、横滚、航偏角,m为预设定值,第p1次对预设定点测量的在传感器坐标系中的坐标参数为xp1,yp1,zp1,惯导坐标系到全局坐标系的平移参数为惯导坐标系到全局坐标系的旋转参数为第p2次对预设定点测量的在传感器坐标系中的坐标参数为xp2,yp2,zp2,惯导坐标系到全局坐标系的平移参数为惯导坐标系到全局坐标系的旋转参数为
进一步地,根据第七公式、第八公式、第九公式和双目影像数据通过优化算法求解使得第八公式函数值最小的传感器坐标系外参数之前还包括:
预先通过双目影像对预设定点进行两次测量,得到第四公式和第五公式;
根据第四公式和第五公式得到第六公式,根据第六公式得到第九公式;
第四公式为:
第五公式为:
第六公式为:
其中,第p1次对预设定点测量的全局坐标为Xp1,Yp1,Zp1,第p2次对预设定点测量的全局坐标为Xp2,Yp2,Zp2。
进一步地,通过全局坐标计算公式根据传感器坐标系外参数、惯导坐标系外参数和双目影像数据计算得到三维彩色点云之前还包括:
根据第一公式和第二公式得到全局坐标计算公式;
第一公式为:
第二公式为:
其中,XIMU为惯导坐标系下的坐标。
以下将对步骤101的原理进行详细的解释:
无人机双目系统是一种新型的动态测量系统,一般装备有双目相机、GNSS/IMU组合测量装置(POS)及相机等数据采集传感器,各个传感器获取的数据在物理涵义、频率及空间维度都不相同,但是为了得到对所观测的客观地物目标的统一描述,需要将多种种数据进行融合配准,从而得到彩色点云数据。
在机载测量系统中,GPS/INS组合导航系统提供了平台在世界大地测量坐标系下的位置。利用AprilTag,我们得到了AprilTag相对于传感器的6自由度位姿。相机与GPS/IMU的相对关系如图2所示。
请参阅图2,图2是本申请坐标系图,涉及三个坐标系,分别是传感器坐标系、惯导坐标系以及全局坐标系(世界坐标系),惯导坐标系到全局坐标系的平移参数和旋转参数由系统给出,是已知参数,传感器坐标系与惯导坐标系之间的关系刚性固定,它们之间的旋转平移关系分别用和表示,标定物在惯导坐标系下的坐标可通过第一公式得到,第一公式为:
机载测量系统在平台移动过程中,传感器高频率记录测量数据,经后处理得到平台的位置与姿态信息。在惯导坐标系下的任一扫描点可通过第二公式转换到全局坐标系,第二公式为:
由第二公式代入第一公式得到第三公式,即全局坐标计算公式:
第三公式即机载测量系统的定位方程。
假设机载测量对同一标志物点p进行了两次测量(即第p1次测量和第p2次测量),两次扫描的AprilTag定位可以通过第三公式得到第四公式和第五公式:
x=[χ0,γ0,z0,θ0,φ0,ψ0]T;
然后用优化算法进行求解:
采用LM(Levenberg-Marquart)非线性优化算法解算6个标定参数,该算法通过迭代获得一组非线性方程的最小平方和,即目标函数。
求解得到传感器坐标系外参数后,第三公式中参数全部设定完毕,可以直接将传感器坐标系下的坐标转换为全局坐标系下的坐标,因而所有双目无人机的双目影像数据和GPS数据等都转换为全局坐标系下的坐标,形成了统一的三维彩色点云。
进一步地,步骤102具体包括:
建立语义分割多模态神经网络算法的MNN网络结构;
通过训练后的MNN网络结构识别三维彩色点云中的电力线,得到电力线三维点云。
利用深度学习对三维彩色点云进行分类提取电力线的方法详细解释如下:
对于获取的双目图像,我们可以获取深度图像。然后将最先进的语义分割方法多模态神经网络算法Multimodal Neural Networks(MNN)引入到电力走廊提取的解决方案中。新颖的多模态CNN架构实现了一种中层融合,允许网络利用已经在中等功能级别上的跨模态相互依赖。该体系结构的优点在RGB-D图像理解任务中得到了体现。
MNN网络结构主要由深度网络、Network in network(NiN)和RGB网络两部分组成(第一部分是深度网络。第二部分是GoogLeNet,也就是Network in network(NiN)和RGB)。深度网络主要处理图像信息的深度。第二部分是GoogLeNet,并对网络中RGB图像的输入特征进行特征提取,并将深度网络的特征作为输入。由于早期融合,RGB和深度输入可以直接连接起来,从而产生一个新的第一卷积层。然后,将RGB网络和深度分支网络的得分连接到最后,然后使用1×1卷积层作为分类器。它被称为后期融合。
对于深度分支,使用NiN提取深度数据。NiN由多个模块组成,每个模块都进一步由一个卷积层和多个1x1卷积核组成,卷积层的核大小大于捕获空间信息的核大小。该模块相当于多层感知(MLP),可以提高划分模型的表达能力。我们可以在分类层次上对特征图进行全局平均汇聚,这是有意义和可解释的。对于RGB网络,GoogLeNet由卷积层和最大池层组成,这些层可以快速降低空间分辨率。我们推导出了获取目标对象的方法,如电力线和电力塔。
进一步地,步骤103具体包括:
根据电力线三维点云数据获取同一条电力线三个以上节点的三维绝对坐标,根据该三维绝对坐标(lng,lat,h)通过弧垂方程拟合得到该电力线的三维模型,重复拟合过程得到所有电力线的三维模型。
进一步地,步骤104具体包括:
根据电力线三维模型计算电力线上的弧垂;
根据该弧垂计算得到电力线的高度;
用电力线的高度减去对应坐标的地物高度得到电力线与地物的距离;
判断电力线与地物的距离是否超过安全阈值,若是,则判断安全,若否,则判断不安全。
进一步地,根据电力线三维模型计算电力线上的弧垂具体通过弧垂计算公式计算;
电力线上任意一点的弧垂是指该点距两悬点连线的垂直距离。基于电力线多个节点的三维绝对坐标,根据架空线弧垂原理可以进行电力线拟合;
等高悬点电力线任意一点f的弧垂计算公式为:
不等高悬点电力线任意一点弧垂计算公式为:
其中,σ0为电力线最低点应力,单位为kg/mm2,g为电线比载,单位为kg/m·mm2,l为档距,单位为米,φ为悬点高差角,单位为度。
需要说明的是,根据该弧垂计算得到电力线的高度具体可以是根据电力线三维模型得到电力线两悬挂点的连线的高度,该连线高度减去弧垂即可得到电力线高度。
获得电力线弧垂矢量模型后,同时考虑地球重力场,使用铅垂线方法,自动计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离h0。基于安全距离计算结果,自定义不同的阈值以统计和显示不同阈值下的结果,从而达到自动进行电力线与下方地物安全距离检测目的。
其中,h0在使用铅垂线方法的计算公式如下:
h0=ha-hb;
ha为a点在电力线上的高度(根据该点的弧垂计算得到),hb为a点铅垂线方向地物点云高度(从地物三维点云得到),h0为a点处电力线与地物的距离。
然后判断h0是否超过安全阈值即可。
需要说明的是,步骤104可以是电力线上每一点都进行自动计算,则可以形成关于安全检测的安全距离数据库。
以上是对本申请提供的一种基于双目影像的电力线下方地物安全距离检测方法的一个实施例进行详细的描述,以下将对本申请提供的基于双目影像的电力线下方地物安全距离检测设备进行详细的描述。
本申请提供的基于双目影像的电力线下方地物安全距离检测设备,设备包括处理器以及存储器:
存储器用于存储程序代码,并将程序代码传输给处理器;
处理器用于根据程序代码中的指令执行如上述实施例的基于双目影像的电力线下方地物安全距离检测方法;
设备连接双目无人机,用于获取双目影像。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.基于双目影像的电力线下方地物安全距离检测方法,其特征在于,包括:
对双目影像数据进行双目匹配及GPS拼接,生成三维彩色点云;
通过深度学习算法识别所述三维彩色点云中的电力线,得到电力线三维点云数据;
根据所述电力线三维点云数据拟合电力线弧垂方程,得到电力线三维模型;
根据所述电力线三维模型和地物三维点云通过铅垂线方法对下方地物安全距离进行检测;
所述对双目影像数据进行双目匹配及GPS拼接,生成电力线三维彩色点云的步骤,包括:
通过全局坐标计算公式根据传感器坐标系外参数、惯导坐标系外参数和双目影像数据计算得到三维彩色点云;
所述全局坐标计算公式为:
所述通过全局坐标计算公式根据传感器坐标系外参数、惯导坐标系外参数和双目影像数据计算得到三维彩色点云的步骤之前,包括:
根据第七公式、第八公式、第九公式和双目影像数据通过优化算法求解使得第八公式函数值最小的传感器坐标系外参数;
所述第七公式为传感器坐标系外参数公式:x=[χ0,γ0,z0,θ0,φ0,ψ0]T;
所述第九公式为:
其中,x=[χ0,γ0,z0,θ0,φ0,ψ0]T为传感器坐标系外参数,即传感器坐标系到惯导坐标系的平移参数和传感器坐标系到惯导坐标系的旋转参数χ0,γ0,z0为传感器坐标系到惯导坐标系的平移分量;θ0,φ0,ψ0为传感器坐标系到惯导坐标系的旋转分量,m为预设定值,第p1次对预设定点测量的在传感器坐标系中的坐标参数为xp1,yp1,zp1,惯导坐标系到全局坐标系的平移参数为惯导坐标系到全局坐标系的旋转参数为第p2次对预设定点测量的在传感器坐标系中的坐标参数为xp2,yp2,zp2,惯导坐标系到全局坐标系的平移参数为惯导坐标系到全局坐标系的旋转参数为fi(x)为一组非线性方程,i为第i个预设定值。
4.根据权利要求1所述的基于双目影像的电力线下方地物安全距离检测方法,其特征在于,通过深度学习算法识别三维彩色点云中的电力线,得到电力线三维点云数据具体包括:
建立语义分割多模态神经网络算法的MNN网络结构;
通过训练后的MNN网络结构识别三维彩色点云中的电力线,得到电力线三维点云数据。
5.根据权利要求1所述的基于双目影像的电力线下方地物安全距离检测方法,其特征在于,根据电力线三维点云数据拟合电力线弧垂方程,得到电力线三维模型具体包括:
根据电力线三维点云数据获取同一条电力线三个以上节点的三维绝对坐标,根据该三维绝对坐标通过弧垂方程拟合得到该电力线的三维模型,重复拟合过程得到所有电力线的三维模型。
6.根据权利要求1所述的基于双目影像的电力线下方地物安全距离检测方法,其特征在于,根据电力线三维模型和地物三维点云通过铅垂线方法对下方地物安全距离进行检测具体包括:
根据电力线三维模型计算电力线上的弧垂;
根据该弧垂计算得到电力线的高度;
用电力线的高度减去对应坐标的地物高度得到电力线与地物的距离;
判断电力线与地物的距离是否超过安全阈值,若是,则判断安全,若否,则判断不安全。
8.基于双目影像的电力线下方地物安全距离检测设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的基于双目影像的电力线下方地物安全距离检测方法;
所述设备连接双目无人机,用于获取双目影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910099617.6A CN109829908B (zh) | 2019-01-31 | 2019-01-31 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910099617.6A CN109829908B (zh) | 2019-01-31 | 2019-01-31 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109829908A CN109829908A (zh) | 2019-05-31 |
CN109829908B true CN109829908B (zh) | 2023-04-14 |
Family
ID=66863160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910099617.6A Active CN109829908B (zh) | 2019-01-31 | 2019-01-31 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109829908B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458947A (zh) * | 2019-08-09 | 2019-11-15 | 江苏濠汉信息技术有限公司 | 一种输电导线弧垂的三维重建方法及系统 |
CN111222395B (zh) * | 2019-10-21 | 2023-05-23 | 杭州飞步科技有限公司 | 目标检测方法、装置与电子设备 |
CN112147633A (zh) * | 2020-09-27 | 2020-12-29 | 广东电网有限责任公司 | 一种电力线路安全距离检测方法 |
CN113296121A (zh) * | 2021-05-26 | 2021-08-24 | 广东电网有限责任公司 | 基于机载激光雷达的辅助导航系统、方法、介质和设备 |
CN113695256B (zh) * | 2021-08-18 | 2023-05-23 | 国网江苏省电力有限公司电力科学研究院 | 一种电网异物检测识别方法及装置 |
CN113963254A (zh) * | 2021-08-30 | 2022-01-21 | 武汉众智鸿图科技有限公司 | 一种融合目标识别的车载式智能巡检方法及系统 |
CN115830010B (zh) * | 2023-02-07 | 2023-06-27 | 南方电网数字电网研究院有限公司 | 输电导线交叉跨越距离检测方法、装置和计算机设备 |
CN115861407B (zh) * | 2023-02-28 | 2023-06-16 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 基于深度学习的安全距离检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9165383B1 (en) * | 2011-11-21 | 2015-10-20 | Exelis, Inc. | Point cloud visualization using bi-modal color schemes based on 4D lidar datasets |
CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
CN107314762A (zh) * | 2017-07-06 | 2017-11-03 | 广东电网有限责任公司电力科学研究院 | 基于无人机单目序列影像的电力线下方地物距离检测方法 |
CN107392247A (zh) * | 2017-07-20 | 2017-11-24 | 广东电网有限责任公司电力科学研究院 | 一种电力线下方地物安全距离实时检测方法 |
-
2019
- 2019-01-31 CN CN201910099617.6A patent/CN109829908B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9165383B1 (en) * | 2011-11-21 | 2015-10-20 | Exelis, Inc. | Point cloud visualization using bi-modal color schemes based on 4D lidar datasets |
CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
CN107314762A (zh) * | 2017-07-06 | 2017-11-03 | 广东电网有限责任公司电力科学研究院 | 基于无人机单目序列影像的电力线下方地物距离检测方法 |
CN107392247A (zh) * | 2017-07-20 | 2017-11-24 | 广东电网有限责任公司电力科学研究院 | 一种电力线下方地物安全距离实时检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109829908A (zh) | 2019-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829908B (zh) | 基于双目影像的电力线下方地物安全距离检测方法及设备 | |
CN107392247B (zh) | 一种电力线下方地物安全距离实时检测方法 | |
CN107314762B (zh) | 基于无人机单目序列影像的电力线下方地物距离检测方法 | |
CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
Yang et al. | Deep concrete inspection using unmanned aerial vehicle towards cssc database | |
Le et al. | Autonomous robotic system using non-destructive evaluation methods for bridge deck inspection | |
CN111537515A (zh) | 基于三维实景模型的铁塔螺栓缺陷展示方法和系统 | |
JP6826421B2 (ja) | 設備巡視システム及び設備巡視方法 | |
Meng et al. | Morphology-based building detection from airborne LIDAR data | |
CN104091168B (zh) | 基于无人机影像的电力线自动提取定位方法 | |
CN107167139A (zh) | 一种变电站巡检机器人视觉定位导航方法及系统 | |
Zormpas et al. | Power transmission lines inspection using properly equipped unmanned aerial vehicle (UAV) | |
CN112085003B (zh) | 公共场所异常行为自动识别方法及装置、摄像机设备 | |
JP2009068951A (ja) | 空中架線の管理システム | |
CN106595500A (zh) | 基于无人机双目视觉的输电线路覆冰厚度测量方法 | |
CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
CN114782626B (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
CN109816780B (zh) | 一种双目序列影像的输电线路三维点云生成方法及装置 | |
CN113345019A (zh) | 一种输电线路通道隐患目标测距方法、设备及介质 | |
CN110910440B (zh) | 一种基于电力影像数据的输电线路长度确定方法和系统 | |
CN114812403A (zh) | 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 | |
CN115731545A (zh) | 一种基于融合感知的电缆隧道巡检方法及装置 | |
Fang et al. | A framework of power pylon detection for UAV-based power line inspection | |
CN111354028A (zh) | 基于双目视觉的输电通道隐患物识别追踪方法 | |
WO2022014586A1 (ja) | 検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |