CN114359758A - 一种输电线的检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明提供了一种输电线的检测方法、装置、计算机设备和存储介质，该方法包括：确定多个支撑输电线的杆塔，在相邻两个杆塔之间的上方对飞行器规划非直线的路线，沿路线对输电线生成在深度上的第一阈值，接收飞行器沿路线飞行时，调用摄像头向下方采集的原始图像数据、调用激光雷达向下方采集的原始点云数据，滤除深度大于或等于第一阈值的原始点云数据，获得目标点云数据，对目标点云数据投影至原始图像数据中，获得候选图像数据，筛选在不同角度下对下方相同物体采集的多帧候选图像数据，作为多帧目标图像数据，对多帧目标图像数据进行语义识别，以检测出输电线。降低了对深度学习的泛化能力的要求，提高了检测输电线的精确度。

Description

一种输电线的检测方法、装置、计算机设备和存储介质

技术领域

本发明涉及电力的技术领域，尤其涉及一种输电线的检测方法、装置、计算机设备和存储介质。

背景技术

电力行业的输电线多部署在户外，直接面临各种天气环境，为保证电力正常供应，技术人员会定期或不定期（如台风、寒潮过后）使用飞行器沿输电线采集图像数据，使用深度学习检测输电线，从而筛选可能发生异常的输电线提交人工复核。

但是，飞行器从空中往下拍摄输电线，地面的背景很复杂，树木、草丛、砂砾、河流、道路等等，长尾效应尤为明显，这对深度学习的泛化能力要求很高，但实际上很难将户外所有的场景都采集到作为样本，这导致检测输电线的精确度低。

发明内容

本发明提出了一种输电线的检测方法、装置、计算机设备和存储介质，以解决使用飞行器采集的图像数据检测输电线的精确度低的问题。

第一方面，本发明实施例提供了一种输电线的检测方法，包括：

确定多个支撑输电线的杆塔；

在相邻两个所述杆塔之间的上方对飞行器规划非直线的路线，所述飞行器搭载有摄像头和激光雷达；

沿所述路线对所述输电线生成在深度上的第一阈值；

接收所述飞行器沿所述路线飞行时，调用所述摄像头向下方采集的原始图像数据、调用所述激光雷达向下方采集的原始点云数据；

滤除深度大于或等于所述第一阈值的所述原始点云数据，获得目标点云数据；

对所述目标点云数据投影至所述原始图像数据中，获得候选图像数据；

筛选在不同角度下对下方相同物体采集的多帧所述候选图像数据，作为多帧目标图像数据；

对多帧所述目标图像数据进行语义识别，以检测出输电线。

第二方面，本发明实施例还提供了一种输电线的检测装置，包括：

杆塔确定模块，用于确定多个支撑输电线的杆塔；

路线规划模块，用于在相邻两个所述杆塔之间的上方对飞行器规划非直线的路线，所述飞行器搭载有摄像头和激光雷达；

阈值生成模块，用于沿所述路线对所述输电线生成在深度上的第一阈值；

检测数据接收模块，用于接收所述飞行器沿所述路线飞行时，调用所述摄像头向下方采集的原始图像数据、调用所述激光雷达向下方采集的原始点云数据；

点云滤除模块，用于滤除深度大于或等于所述第一阈值的所述原始点云数据，获得目标点云数据；

点云投影模块，用于对所述目标点云数据投影至所述原始图像数据中，获得候选图像数据；

图像数据筛选模块，用于筛选在不同角度下对下方相同物体采集的多帧所述候选图像数据，作为多帧目标图像数据；

语义识别模块，用于对多帧所述目标图像数据进行语义识别，以检测出输电线。

第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的输电线的检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的输电线的检测方法。

在本实施例中，确定多个支撑输电线的杆塔，在相邻两个杆塔之间的上方对飞行器规划非直线的路线，飞行器搭载有摄像头和激光雷达，沿路线对输电线生成在深度上的第一阈值，接收飞行器沿路线飞行时，调用摄像头向下方采集的原始图像数据、调用激光雷达向下方采集的原始点云数据，滤除深度大于或等于第一阈值的原始点云数据，获得目标点云数据，对目标点云数据投影至原始图像数据中，获得候选图像数据，筛选在不同角度下对下方相同物体采集的多帧候选图像数据，作为多帧目标图像数据，对多帧目标图像数据进行语义识别，以检测出输电线。飞行器从空中往下拍摄输电线时，通过深度滤除了属于地面背景的点云数据，保留了较大概率可能属于输电线的点云数据，对图像数据的信息进行增强，有效缓解了长尾效应，降低了对深度学习的泛化能力的要求，并且，联合多个角度下采集的图像数据检测电线，可以避免遮挡、反光等情况造成图像数据的信息丢失，提高了检测输电线的精确度。

附图说明

图1为本发明实施例一提供的一种输电线的检测方法的流程图；

图2为本发明实施例一提供的一种杆塔的示例图；

图3为本发明实施例一提供的一种拟合输电线的下垂的示例图；

图4是本发明实施例一提供的一种语义识别网络的结构示意图；

图5为本发明实施例二提供的一种输电线的检测装置的结构示意图；

图6为本发明实施例三提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种输电线的检测方法的流程图，本实施例可适用于将点云数据透射到图像数据上、辅助检测输电线的情况，该方法可以由输电线的检测装置来执行，该输电线的检测装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，具体包括如下步骤：

步骤101、确定多个支撑输电线的杆塔。

杆塔（Pole and Tower）是支承架空输电线导线和架空地线并使它们之间以及与大地之间保持一定距离的杆形或塔形构筑物。杆塔可采用钢结构、木结构和钢筋混凝土结构。通常对木和钢筋混凝土的杆形结构称为杆，塔形的钢结构和钢筋混凝土烟囱形结构称为塔。不带拉线的杆塔称为自立式杆塔，带拉线的杆塔称为拉线杆塔。

对杆塔进行分类，可以划分为直线塔、直线转角塔、耐张转角塔，其中，耐张转角塔又分为终端塔、换位塔、分歧塔等形式。

这些杆塔的信息已在建造、检修的过程中，记录在GIS（Geographic InformationSystem，地理信息系统）中，在检测输电线时，可以从GIS中读取杆塔的相关信息。

步骤102、在相邻两个杆塔之间的上方对飞行器规划非直线的路线。

在本实施例中，按照输电线的走势确定支撑该输电线的杆塔之间的顺序，该顺序可以以编号表示，以杆塔作为切分点，独立对每相邻两个杆塔之间的输电线进行检测。

考虑到不同类型的杆塔支撑输电线的方式有所不同，俯视输电线时的状态也有所不同，部分情况会造成重叠，例如，俯视带回路的换位塔时，上下不同的输电线容易重叠，俯视带回路的直线塔时，上下不同的输电线容易重叠，等等，因此，对飞行器规划在相邻两个杆塔之间的上方飞行的路线时，可以规划非直线的路线，从而可以在多个视角观察到输电线，避免重叠造成误检测。

在具体实现中，如图2所示，可以从GIS中查询预先对每个杆塔（如图2中的塔杆210、塔杆220）的根部测量的原始定位数据，其中，原始定位数据包括水平坐标和第一垂直坐标。

从GIS中查询对每个杆塔记录的杆塔高度L1，即从根部到顶部之间的距离。

在第一垂直坐标L1的基础上分别加上高度与预设的飞行距离L2，获得第二垂直坐标，其中，飞行距离为飞行器与杆塔的根部之间的距离。

将第二垂直坐标替代第一垂直坐标，获得目标定位数据（如图2中的点I、点J）。

通过Dijkstra算法、A*算法等方法对飞行器规划跨越相邻两个目标定位数据、且以相邻两个目标定位数据之间的连线来回偏离的路线241。

其中，设相邻两个目标定位数据之间的连线242两侧为第一侧、第二侧，所谓来回偏移，可以指路线241不断地从第一侧规划到第二侧，然后从第二侧规划到第一侧，再从第一侧规划到第二侧，如此循环，直至遍历完两个杆塔。

步骤103、沿路线对输电线生成在深度上的第一阈值。

在本实施例中，可以预估输电线与飞行器的路线之间的距离，从而沿飞行器飞行的路线生成输电线在深度上的第一阈值，即，输电线理论上在该第一阈值范围内。

在具体实现中，如图2所示，相邻两个杆塔（如图2中的塔杆210、塔杆220）之间的输电线230受重力影响，会出现下垂的情况，考虑到在户外地势多不平坦，尤其是山区、丘陵地区，因而相邻两个杆塔并不在同一水平面，导致输电线下垂的情况较为复杂。

针对这种情况，经过实验，相邻两个杆塔在同一水平面时输电线下垂的情况与相邻两个杆塔不在同一水平面时输电线下垂的情况是相近的，因此，为了化简计算，如图3所示，可以在维持相邻两个杆塔之间的距离不变的条件下，将相邻两个杆塔置于同一水平面，为便于理解，相邻两个杆塔化简为2个点，即，点M、点N，通过多项式对两个杆塔（即点M、点N）拟合符合输电线下垂的曲线310，在相邻两个杆塔置于同一水平面的情况下，曲线310较为规范，容易拟合。

计算两个杆塔（即点M、点N）之间连线与曲线相隔最大的距离，作为间隔距离L4，这个间隔距离与真实的间隔距离存在一定的误差，这个间隔距离可能小于真实的间隔距离、也可能大于真实的间隔距离，对该误差可以设置误差距离进行覆盖，即，通过误差距离对间隔距离适当增加，保证添加误差距离后的间隔距离可以覆盖真实的间隔距离，额外增加少许的深度，对于检测悬挂较高的输电线并不造成明显的影响，依然可以保证检测输电线的准确度。

此时，如图2所示，可以在GIS中查询对杆塔上的支撑点记录的、与塔杆顶部相隔最大的距离，作为支撑距离L3。

如图2与图3所示，将飞行距离L2、支撑距离L3、间隔距离L4与预设的误差距离相加，获得深度上的第一阈值。

步骤104、接收飞行器沿路线飞行时，调用摄像头向下方采集的原始图像数据、调用激光雷达向下方采集的原始点云数据。

在本实施例中，飞行器搭载有摄像头和激光雷达Lidar，摄像头具有云台，云台可以控制摄像头旋转，而由于飞行器与输电线之间的距离较近，使得激光雷达与输电线之间的距离较近，因此，激光雷达为单线性激光雷达，或者，小于或等于8线的多线性激光雷达，这样子也能获得不太稀疏的原始点云数据，使得在保持精确性的情况下，可以降低成本。

飞行器在沿路线飞行的过程中，可以持续控制激光雷达旋转，在旋转的过程中向下采集原始点云数据，原始点云数据与图像数据可融合感知，当激光雷达扫描到摄像头的可视范围时，由特定的同步器触发调用该摄像头采集原始图像数据。

步骤105、滤除深度大于或等于第一阈值的原始点云数据，获得目标点云数据。

在本实施例中，可以对原始点云数据进行解析，识别其深度，即，原始点云数据与激光雷达之间的距离，将这些原始点云数据的深度与第一阈值进行比较。

如果原始点云数据的深度大于或等于第一阈值，表示该原始点云数据理论上低于输电线，如位于地面上的点云数据，此时，可以滤除该原始点云数据。

如果原始点云数据的深度小于或等于第一阈值，表示该原始点云数据可能属于输电线，此时，可以 保留该原始点云数据，为便于区分，记为目标点云数据。

步骤106、对目标点云数据投影至原始图像数据中，获得候选图像数据。

在实施例中，可以预先对摄像头与激光雷达进行标定，识别摄像头与激光雷达之间的关系（如旋转关系、平移关系），利用这些关系将对目标点云数据投影至原始图像数据中，为便于区分，包含目标点云数据的原始图像数据为候选图像数据。

在本发明的一个实施例一种，步骤106可以包括如下步骤：

步骤1061、对目标点云数据进行聚类，获得多个点云簇。

在本实施例中，可以使用DBSCAN（Density-Based Spatial Clustering ofApplications with Noise，具有噪声的基于密度的聚类方法）等方法对目标点云数据进行聚类，得到多个点云簇。

步骤1062、统计点云簇中目标点云数据的数量。

对每个点云簇，统计其中包含的目标点云数据的数量。

步骤1063、基于数量滤除部分点云簇中的目标点云数据，将剩余的点云簇中的目标点云数据投影至原始图像数据中，获得候选图像数据。

输电线属于一个长条形的物体，其点云数据较为密集，因此，通过各个点云簇的数量可以分析点云簇是否符合输电线理论上的点云分布的规律，从而识别可能属于噪点、干扰物（如鸟类、漂浮的垃圾等）的点云簇，并滤除这些点云簇中的目标点云数据，从而剩余可能为输电线的点云簇，从而将这些点云簇中的目标点云数据投影至原始图像数据中，获得候选图像数据。

在一个示例中，可以将点云簇划分为第一候选簇、第二候选簇、第三候选簇，其中，第一候选簇对应的数量小于第二阈值，第二候选簇对应的数量大于或等于第二阈值、且小于第三阈值，第三候选簇对应的数量大于或等于第三阈值，即，第一候选簇属于输电线的置信度足够低，第三候选簇属于输电线的置信度足够高，而第二候选簇属于输电线的置信度一般，存在一定误判的几率。

此时，可以按照第三候选簇的走势进行延时，若延伸第三候选簇之后经过第二候选簇、且第三候选簇与第二候选簇之间间隔的距离小于或等于第四阈值，表示第三候选簇与第二候选簇相近且走势符合属于一个整体，则可以对第三候选簇与第二候选簇之间插值新的目标点云数据，以使第二候选簇与新的目标点云数据合并至第三候选簇中。

滤除第一候选簇中的目标点云数据和第二候选簇中的目标点云数据，其中，被滤除的第二候选簇未合并至第三候选簇。

将第三候选簇中的目标点云数据投影至原始图像数据中，获得候选图像数据，提高了目标点云数据语义的识别精确度，从而提高了检测输电线的精确度。

步骤107、筛选在不同角度下对下方相同物体采集的多帧候选图像数据，作为多帧目标图像数据。

由于飞行器是按照非直线的路线飞行，针对输电线可以采集不同角度的图像数据，因此，可以对比已投影目标点云数据的候选图像数据，从中筛选对下方相同物体采集的多帧候选图像数据，记为多帧目标图像数据。

在具体实现中，可以在每帧候选图像数据中提取表征物体的尺度不变特征变换算子SIFT（Scale Invariant Feature Transform）。

对多帧候选图像数据添加时间的窗口，如5秒。

在时间的窗口内，对候选图像数据中的尺度不变特征变换算子SIFT进行匹配。

统计匹配成功的尺度不变特征变换算子SIFT的占比。

若占比位于预设的范围内，则确定候选图像数据为目标图像数据，其中，该范围的上限值小于1、且上限值与1的差值大于第五阈值，表示该范围的上限值并非接近1，范围的下限值大于0、且下限值与0的差值大于第六阈值，表示该范围的下限值并非接近0，这样子，两帧候选图像数据具有一定的相似性，可以保证包含了一些相同的物体，但又并非十分相似，可以保证一定的角度差异。

步骤108、对多帧目标图像数据进行语义识别，以检测出输电线。

多帧目标图像数据之间存在一定的相同之处、也存在一定的差异之处，可以相互对照进行语义识别，从而检测出输电线。

在具体实现中，可以在内存中加载语义识别网络，使得语义识别网络运行。

如图4所示，语义识别网络具有多个卷积层（Convolutional layer，Conv）、加强网络（Renforcing Block）、多个长短期记忆网络（Long short term memory，LSTM）、三维生成网络（Integrating Block）、第一全连接层（Fully connected Layers，FC）和第二全连接层FC。

在每个卷积层中，对每帧目标图像数据执行卷积操作，获得第一图像特征。

在加强网络中，对每帧第一图像特征标记匹配成功的尺度不变特征变换算子SIFT所处的区域，获得第二图像特征。

在每个长短期记忆网络中，对每帧第二图像特征进行处理，获得第三图像特征。

在三维生成网络中，将多帧第三图像特征生成三维的第四图像特征。

在第一全连接层中，将第四图像特征映射为第五图像特征。

在第二全连接层中，将第五图像特征映射为属于输电线的概率。

其中，输电线在实际上属于一个3D（三维）的对象，其某些部分不能从某个特定视点清晰理解的情况下(例如，部分被其他输电线、部分存在反射)，可以从其他视点找到缺失的信息。对于给定的视图图像，如果存在匹配其内部的区域和其他视图中的对应区域的策略，则可以通过利用匹配区域之间的关系来增强该给定视图的信息。

在3D对象的几个部分从某些视点完全不可见的情况下，仅仅建模区域到区域的关系不能进一步帮助那些视图获得关于不可见部分的信息。因而对视图到视图的关系进行建模，以确定每个视图的辨别能力，并进一步整合这些视图以获得最终的3D对象的描述符。

对此，本实施例给定的假设，是连接来自不同视图的对应区域并推理它们之间的关系可以帮助视图更好地表征3D对象。

加强网络负责探索区域与区域之间的关系，以强化每个单独视图（第一图像特征）的信息，三维生成网络负责建模二维的视图到二维的视图的关系，以便有效地集成来自单个三维视图的信息。

具体而言，对于给定视图图像的特征图，特征图中的每个空间位置是对应于图像中某个区域的特征向量。对于给定视图图像中的每个区域，加强网络可以复用筛选目标图像数据时的信息从其他视图中找到匹配/相关区域，并通过利用来自匹配区域的线索来增强该区域的信息。这样，视图的信息可以得到加强。之后，三维生成网络采用自关注选择机制来为每个视图生成重要性分数，这表示该视图的相对辨别能力。

在本实施例中，确定多个支撑输电线的杆塔，在相邻两个杆塔之间的上方对飞行器规划非直线的路线，飞行器搭载有摄像头和激光雷达，沿路线对输电线生成在深度上的第一阈值，接收飞行器沿路线飞行时，调用摄像头向下方采集的原始图像数据、调用激光雷达向下方采集的原始点云数据，滤除深度大于或等于第一阈值的原始点云数据，获得目标点云数据，对目标点云数据投影至原始图像数据中，获得候选图像数据，筛选在不同角度下对下方相同物体采集的多帧候选图像数据，作为多帧目标图像数据，对多帧目标图像数据进行语义识别，以检测出输电线。飞行器从空中往下拍摄输电线时，通过深度滤除了属于地面背景的点云数据，保留了较大概率可能属于输电线的点云数据，对图像数据的信息进行增强，有效缓解了长尾效应，降低了对深度学习的泛化能力的要求，并且，联合多个角度下采集的图像数据检测电线，可以避免遮挡、反光等情况造成图像数据的信息丢失，提高了检测输电线的精确度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例二

图5为本发明实施例二提供的一种输电线的检测装置的结构框图，具体可以包括如下模块：

杆塔确定模块501，用于确定多个支撑输电线的杆塔；

路线规划模块502，用于在相邻两个所述杆塔之间的上方对飞行器规划非直线的路线，所述飞行器搭载有摄像头和激光雷达；

阈值生成模块503，用于沿所述路线对所述输电线生成在深度上的第一阈值；

检测数据接收模块504，用于接收所述飞行器沿所述路线飞行时，调用所述摄像头向下方采集的原始图像数据、调用所述激光雷达向下方采集的原始点云数据；

点云滤除模块505，用于滤除深度大于或等于所述第一阈值的所述原始点云数据，获得目标点云数据；

点云投影模块506，用于对所述目标点云数据投影至所述原始图像数据中，获得候选图像数据；

图像数据筛选模块507，用于筛选在不同角度下对下方相同物体采集的多帧所述候选图像数据，作为多帧目标图像数据；

语义识别模块508，用于对多帧所述目标图像数据进行语义识别，以检测出输电线。

在本发明的一个实施例中，所述路线规划模块502还用于：

查询预先对每个所述杆塔的根部测量的原始定位数据，所述原始定位数据包括水平坐标和第一垂直坐标；

查询对每个所述杆塔记录的所述杆塔高度；

在所述第一垂直坐标的基础上分别加上所述高度与预设的飞行距离，获得第二垂直坐标；

将所述第二垂直坐标替代所述第一垂直坐标，获得目标定位数据；

对飞行器规划跨越相邻两个所述目标定位数据、且以相邻两个所述目标定位数据之间的连线来回偏离的路线。

在本发明的一个实施例中，所述阈值生成模块503还用于：

在维持相邻两个所述杆塔之间的距离不变的条件下，将相邻两个所述杆塔置于同一水平面；

对两个所述杆塔拟合符合所述输电线下垂的曲线；

计算两个所述杆塔之间连线与所述曲线相隔最大的距离，作为间隔距离；

查询对所述杆塔上的支撑点记录的、与所述塔杆顶部相隔最大的距离，作为支撑距离；

将所述飞行距离、所述支撑距离、所述间隔距离与预设的误差距离相加，获得深度上的第一阈值。

在本发明的一个实施例中，所述点云投影模块506还用于：

对所述目标点云数据进行聚类，获得多个点云簇；

统计所述点云簇中所述目标点云数据的数量；

基于所述数量滤除部分所述点云簇中的所述目标点云数据，将剩余的所述点云簇中的所述目标点云数据投影至所述原始图像数据中，获得候选图像数据。

在本发明的一个实施例中，所述点云投影模块506还用于：

将所述点云簇划分为第一候选簇、第二候选簇、第三候选簇，所述第一候选簇对应的所述数量小于第二阈值，所述第二候选簇对应的所述数量大于或等于第二阈值、且小于第三阈值，所述第三候选簇对应的所述数量大于或等于第三阈值；

若延伸所述第三候选簇之后经过所述第二候选簇、且所述第三候选簇与所述第二候选簇之间间隔的距离小于或等于第四阈值，则对所述第三候选簇与所述第二候选簇之间插值新的目标点云数据，以使所述第二候选簇与新的所述目标点云数据合并至所述第三候选簇中；

滤除所述第一候选簇中的所述目标点云数据和所述第二候选簇中的所述目标点云数据；

将所述第三候选簇中的所述目标点云数据投影至所述原始图像数据中，获得候选图像数据。

在本发明的一个实施例中，所述图像数据筛选模块507还用于：

在每帧所述候选图像数据中提取表征物体的尺度不变特征变换算子SIFT；

对多帧所述候选图像数据添加时间的窗口；

在所述时间的窗口内，对所述候选图像数据中的所述尺度不变特征变换算子SIFT进行匹配；

统计匹配成功的所述尺度不变特征变换算子SIFT的占比；

若所述占比位于预设的范围内，则确定所述候选图像数据为目标图像数据，其中，所述范围的上限值小于1、且所述上限值与1的差值大于第五阈值，所述范围的下限值大于0、且所述下限值与0的差值大于第六阈值。

在本发明的一个实施例中，所述语义识别模块508还用于：

加载语义识别网络，所述语义识别网络具有多个卷积层、加强网络、多个长短期记忆网络、三维生成网络、第一全连接层和第二全连接层；

在每个所述卷积层中，对每帧所述目标图像数据执行卷积操作，获得第一图像特征；

在所述加强网络中，对每帧所述第一图像特征标记匹配成功的所述尺度不变特征变换算子SIFT所处的区域，获得第二图像特征；

在每个所述长短期记忆网络中，对每帧所述第二图像特征进行处理，获得第三图像特征；

在所述三维生成网络中，将多帧所述第三图像特征生成三维的第四图像特征；

在所述第一全连接层中，将所述第四图像特征映射为第五图像特征；

在所述第二全连接层中，将所述第五图像特征映射为属于输电线的概率。

本发明实施例所提供的输电线的检测装置可执行本发明任意实施例所提供的输电线的检测方法，具备执行方法相应的功能模块和有益效果。

实施例三

图6为本发明实施例三提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图6未显示，通常称为“硬盘驱动器”）。尽管图6中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的输电线的检测方法。

实施例四

本发明实施例四还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述输电线的检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种输电线的检测方法，其特征在于，包括：

确定多个支撑输电线的杆塔；

在相邻两个所述杆塔之间的上方对飞行器规划非直线的路线，所述飞行器搭载有摄像头和激光雷达；

沿所述路线对所述输电线生成在深度上的第一阈值；

接收所述飞行器沿所述路线飞行时，调用所述摄像头向下方采集的原始图像数据、调用所述激光雷达向下方采集的原始点云数据；

滤除深度大于或等于所述第一阈值的所述原始点云数据，获得目标点云数据；

对所述目标点云数据投影至所述原始图像数据中，获得候选图像数据；

筛选在不同角度下对下方相同物体采集的多帧所述候选图像数据，作为多帧目标图像数据；

对多帧所述目标图像数据进行语义识别，以检测出输电线。

2.根据权利要求1所述的方法，其特征在于，所述在相邻两个所述杆塔之间的上方对飞行器规划非直线的路线，包括：

查询预先对每个所述杆塔的根部测量的原始定位数据，所述原始定位数据包括水平坐标和第一垂直坐标；

查询对每个所述杆塔记录的所述杆塔高度；

在所述第一垂直坐标的基础上分别加上所述高度与预设的飞行距离，获得第二垂直坐标；

将所述第二垂直坐标替代所述第一垂直坐标，获得目标定位数据；

对飞行器规划跨越相邻两个所述目标定位数据、且以相邻两个所述目标定位数据之间的连线来回偏离的路线。

3.根据权利要求2所述的方法，其特征在于，所述沿所述路线对所述输电线生成在深度上的第一阈值，包括：

在维持相邻两个所述杆塔之间的距离不变的条件下，将相邻两个所述杆塔置于同一水平面；

对两个所述杆塔拟合符合所述输电线下垂的曲线；

计算两个所述杆塔之间连线与所述曲线相隔最大的距离，作为间隔距离；

查询对所述杆塔上的支撑点记录的、与所述塔杆顶部相隔最大的距离，作为支撑距离；

将所述飞行距离、所述支撑距离、所述间隔距离与预设的误差距离相加，获得深度上的第一阈值。

4.根据权利要求1所述的方法，其特征在于，所述对所述目标点云数据投影至所述原始图像数据中，获得候选图像数据，包括：

对所述目标点云数据进行聚类，获得多个点云簇；

统计所述点云簇中所述目标点云数据的数量；

基于所述数量滤除部分所述点云簇中的所述目标点云数据，将剩余的所述点云簇中的所述目标点云数据投影至所述原始图像数据中，获得候选图像数据。

5.根据权利要求4所述的方法，其特征在于，所述基于所述数量滤除部分所述点云簇中的所述目标点云数据，将剩余的所述点云簇中的所述目标点云数据投影至所述原始图像数据中，获得候选图像数据，包括：

将所述点云簇划分为第一候选簇、第二候选簇、第三候选簇，所述第一候选簇对应的所述数量小于第二阈值，所述第二候选簇对应的所述数量大于或等于第二阈值、且小于第三阈值，所述第三候选簇对应的所述数量大于或等于第三阈值；

若延伸所述第三候选簇之后经过所述第二候选簇、且所述第三候选簇与所述第二候选簇之间间隔的距离小于或等于第四阈值，则对所述第三候选簇与所述第二候选簇之间插值新的目标点云数据，以使所述第二候选簇与新的所述目标点云数据合并至所述第三候选簇中；

滤除所述第一候选簇中的所述目标点云数据和所述第二候选簇中的所述目标点云数据；

将所述第三候选簇中的所述目标点云数据投影至所述原始图像数据中，获得候选图像数据。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述筛选在不同角度下对下方相同物体采集的多帧所述候选图像数据，作为多帧目标图像数据，包括：

在每帧所述候选图像数据中提取表征物体的尺度不变特征变换算子SIFT；

对多帧所述候选图像数据添加时间的窗口；

在所述时间的窗口内，对所述候选图像数据中的所述尺度不变特征变换算子SIFT进行匹配；

统计匹配成功的所述尺度不变特征变换算子SIFT的占比；

若所述占比位于预设的范围内，则确定所述候选图像数据为目标图像数据，其中，所述范围的上限值小于1、且所述上限值与1的差值大于第五阈值，所述范围的下限值大于0、且所述下限值与0的差值大于第六阈值。

7.根据权利要求6所述的方法，其特征在于，所述对多帧所述目标图像数据进行语义识别，以检测出输电线，包括：

加载语义识别网络，所述语义识别网络具有多个卷积层、加强网络、多个长短期记忆网络、三维生成网络、第一全连接层和第二全连接层；

在每个所述卷积层中，对每帧所述目标图像数据执行卷积操作，获得第一图像特征；

在所述加强网络中，对每帧所述第一图像特征标记匹配成功的所述尺度不变特征变换算子SIFT所处的区域，获得第二图像特征；

在每个所述长短期记忆网络中，对每帧所述第二图像特征进行处理，获得第三图像特征；

在所述三维生成网络中，将多帧所述第三图像特征生成三维的第四图像特征；

在所述第一全连接层中，将所述第四图像特征映射为第五图像特征；

在所述第二全连接层中，将所述第五图像特征映射为属于输电线的概率。

8.一种输电线的检测装置，其特征在于，包括：

杆塔确定模块，用于确定多个支撑输电线的杆塔；

路线规划模块，用于在相邻两个所述杆塔之间的上方对飞行器规划非直线的路线，所述飞行器搭载有摄像头和激光雷达；

阈值生成模块，用于沿所述路线对所述输电线生成在深度上的第一阈值；

检测数据接收模块，用于接收所述飞行器沿所述路线飞行时，调用所述摄像头向下方采集的原始图像数据、调用所述激光雷达向下方采集的原始点云数据；

点云滤除模块，用于滤除深度大于或等于所述第一阈值的所述原始点云数据，获得目标点云数据；

点云投影模块，用于对所述目标点云数据投影至所述原始图像数据中，获得候选图像数据；

图像数据筛选模块，用于筛选在不同角度下对下方相同物体采集的多帧所述候选图像数据，作为多帧目标图像数据；

语义识别模块，用于对多帧所述目标图像数据进行语义识别，以检测出输电线。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的输电线的检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的输电线的检测方法。

Images