CN113537180B - 树障的识别方法、装置、计算机设备和存储介质 - Google Patents
树障的识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113537180B CN113537180B CN202111089604.4A CN202111089604A CN113537180B CN 113537180 B CN113537180 B CN 113537180B CN 202111089604 A CN202111089604 A CN 202111089604A CN 113537180 B CN113537180 B CN 113537180B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- dimensional
- target
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请涉及一种树障的识别方法、装置、计算机设备和存储介质。所述方法包括：获取输配电廊道的拍摄图像；对所述拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据；目标稠密三维点云数据包含色度特征信息；对所述目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果；所述三维语义分割结果包括各语义对应的点云数据集合；根据所述三维语义分割结果，确定输配电线路树障隐患点。采用本方法能够提高树障识别中三维语义分割的准确率，并且可以降低设备成本，缩短获取稠密点云数据的时间。
Description
技术领域
本申请涉及电力输电技术领域，特别是涉及一种树障的识别方法、装置、计算机设备和存储介质。
背景技术
在数字电网时代，电网的感知能力将极大增强，泛在的连接和海量的数据将成为数字电网的基本特征，透明化和智能化将体现出数字电网巨大的价值外延。而威胁到电网供电线路安全运行的线下树冠或线路走廊内的树木，称为“树障”，是供电企业线路巡视中重点关注的问题之一。
随着无人机巡检作业在电网中的普及，通过无人机拍摄照片，三维语义分析实现对树障隐患的精确判断与预警，对减少人力成本，提高工作效率具有现实意义。当前常用的树障的识别方法为基于激光雷达采集并重建的稠密点云数据，进行三维语义分割和树障隐患分析。
然而，该方法的激光雷达点云数据三维语义分割采用的是点云聚类，通过结合先验知识，实现三维点云的语义分割，存在三维点云分割准确率低下的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高三维语义分割的准确率的树障的识别方法、装置、计算机设备和存储介质。
一种树障的识别方法，所述方法包括：
获取输配电廊道的拍摄图像；
对所述拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据；目标稠密三维点云数据包含色度特征信息；
对所述目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果；所述三维语义分割结果包括各语义对应的点云数据集合；
根据所述三维语义分割结果，确定输配电线路树障隐患点。
在其中一个实施例中，所述对所述拍摄图像进行像素级的稠密点云数据恢复，包括：
采用视觉三维重建算法，对所述拍摄图像进行像素级的稠密点云数据恢复。
在其中一个实施例中，所述对所述目标稠密三维点云数据进行三维语义分割，包括：
将所述目标稠密三维点云数据输入至预先训练的深度神经网络，得到三维语义分割结果；所述三维语义分割结果包含杆塔对应的点云数据集合、线路对应的点云数据集合和背景对应的点云数据集合。
在其中一个实施例中，所述深度神经网络为PointNet++网络。
在其中一个实施例中，所述根据所述三维语义分割结果，确定输配电线路树障隐患点，包括：
根据所述三维语义分割结果，针对背景对应的点云数据集合中的每个目标点云数据，确定所述目标点云数据与线路对应的点云数据集合中各点之间的欧式距离，将最小的欧式距离作为所述目标点云数据对应的距离；
根据树障隐患分级表中的最小安全距离和各所述目标点云数据对应的距离，在各所述目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级。
在其中一个实施例中，所述根据树障隐患分级表中的最小安全距离和各所述目标点云数据对应的距离，在各所述目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级，包括：
针对每一目标点云数据，如果目标点云数据对应的距离小于最小安全距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为紧急树障隐患；
如果目标点云数据对应的距离小于第一距离，并且大于最小安全距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为重大树障隐患；所述第一距离为最小安全距离与第一数值的和；
如果目标点云数据对应的距离小于第二距离，并且大于第一距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为一般树障隐患；所述第二距离为最小安全距离与第二数值的和；所述第二数值大于所述第一数值。
在其中一个实施例中，所述在各目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级，还包括：
根据各所述树障隐患点对应的分级，输出分级树障预警。
一种树障的识别装置，所述装置包括：
获取模块，用于获取输配电廊道的拍摄图像；
恢复模块，用于对所述拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据；目标稠密三维点云数据包含色度特征信息；
分割模块，用于对所述目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果；所述三维语义分割结果包括各语义对应的点云数据集合；
确定模块，用于根据所述三维语义分割结果，确定输配电线路树障隐患点。
在其中一个实施例中，所述恢复模块，具体用于：
采用视觉三维重建算法，对所述拍摄图像进行像素级的稠密点云数据恢复。
在其中一个实施例中，所述分割模块，具体用于：
将所述目标稠密三维点云数据输入至预先训练的深度神经网络，得到三维语义分割结果；所述三维语义分割结果包含杆塔对应的点云数据集合、线路对应的点云数据集合和背景对应的点云数据集合。
在其中一个实施例中，所述深度神经网络为PointNet++网络。
在其中一个实施例中，所述确定模块，具体用于：
根据所述三维语义分割结果，针对背景对应的点云数据集合中的每个目标点云数据，确定所述目标点云数据与线路对应的点云数据集合中各点之间的欧式距离，将最小的欧式距离作为所述目标点云数据对应的距离；
根据树障隐患分级表中的最小安全距离和各所述目标点云数据对应的距离，在各所述目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级。
在其中一个实施例中，所述确定模块，具体用于：
针对每一目标点云数据，如果目标点云数据对应的距离小于最小安全距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为紧急树障隐患；
如果目标点云数据对应的距离小于第一距离，并且大于最小安全距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为重大树障隐患；所述第一距离为最小安全距离与第一数值的和；
如果目标点云数据对应的距离小于第二距离，并且大于第一距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为一般树障隐患；所述第二距离为最小安全距离与第二数值的和；所述第二数值大于所述第一数值。
在其中一个实施例中，所述确定模块，具体还用于：
根据各所述树障隐患点对应的分级，输出分级树障预警。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的步骤。
上述树障预警分析方法、装置、计算机设备和存储介质，获取输配电廊道的拍摄图像；对拍摄图像进行像素级的稠密点云数据恢复，得到包含色度特征信息的目标稠密三维点云数据；终端对目标稠密三维点云数据进行三维语义分割，得到包括各语义对应的点云数据集合的三维语义分割结果；终端根据三维语义分割结果，确定输配电线路树障隐患点。多维信息的分析下三维语义分割准确率更高，上述树障的识别方法、装置、计算机设备和存储介质，对包含色度特征信息的目标稠密三维点云数据进行三维语义分割，提高了树障识别中三维语义分割的准确率；且不需要采用激光雷达设备进行采集和重建，可以直接采用巡检作业无人机采集的拍摄图像，采用的稠密点云数据恢复技术低价、高效，降低了设备成本，缩短了获取稠密点云数据的时间。
附图说明
图1为一个实施例中树障的识别方法的流程示意图；
图2为一个实施例中PointNet++网络的结构示意图；
图3为一个实施例中根据三维语义分割结果，确定输配电线路树障隐患点步骤的流程示意图；
图4为一个实施例中确定树障隐患点，以及各树障隐患点对应的分级步骤的流程示意图；
图5为一个实施例中树障的识别装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种树障的识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：
步骤101，获取输配电廊道的拍摄图像。
在本申请实施例中，可以通过图像拍摄设备对输配电廊道进行多视角的拍摄，图像拍摄设备发送输配电廊道的拍摄图像到终端。终端可以接收输配电廊道的拍摄图像。其中，配电廊道的拍摄图像之间有一定的重叠度。在一个示例中，可以采用巡检作业无人机对输配电廊道进行拍摄，终端可以接收巡检作业无人机发送的输配电廊道的拍摄图像。在一个示例中，拍摄图像可以为分辨率大于预设阈值的高清图像。
步骤102，对拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据。
其中，目标稠密三维点云数据包含色度特征信息。
在本申请实施例中，终端可以获取拍摄图像中的像素点。其中，拍摄图像中的像素点包含色度信息。终端对像素点进行三维重建，将拍摄图像的像素点映射到三维空间，获得目标稠密三维点云数据。
步骤103，对目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果。
其中，三维语义分割结果包括各语义对应的点云数据集合。
在本申请实施例中，终端可以对点云数据进行分类识别，区分出线路、杆塔与背景对应的点云数据集合，即对目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果。
步骤104，根据三维语义分割结果，确定输配电线路树障隐患点。
在本申请实施例中，终端可以根据三维语义分割结果，确定背景对应的点云数据集合中的点与线路对应的点云数据集合之间的欧式距离。终端可以根据背景对应的点云数据集合中的点与线路对应的点云数据集合之间的欧式距离，确定输配电线路是否存在树障隐患点，以及树障隐患点的信息。例如，树障隐患点的信息包括：树障隐患点的位置、树障隐患点的分级和树障隐患点的处理时间。
上述树障的识别方法中，终端通过对拍摄图像进行像素级的稠密点云数据恢复，得到包含色度特征信息的目标稠密三维点云数据，并对其进行三维语义分割。多维信息的分析下三维语义分割准确率更高，上述树障的识别方法对包含色度特征信息的目标稠密三维点云数据进行三维语义分割，提高了树障识别中三维语义分割的准确率。
在一个实施例中，对拍摄图像进行像素级的稠密点云数据恢复的具体过程包括以下步骤：采用视觉三维重建算法，对拍摄图像进行像素级的稠密点云数据恢复。
在本申请实施例中，终端可以得到输配电廊道的多张拍摄图像，多张拍摄图像是通过多角度拍摄得到的。终端可以获取各拍摄图像包含的像素点。其中，像素点包含有色度信息。针对每个拍摄图像，终端提取该拍摄图像的特征信息，然后根据各拍摄图像的特征信息，确定各拍摄图像对应的摄像头拍摄姿态，进而根据各拍摄图像对应的摄像头拍摄姿态（如无人机的摄像头的拍摄姿态），确定各拍摄图像的相对位置关系。终端根据各拍摄图像的相对位置关系，计算出各拍摄图像的深度信息。终端根据各拍摄图像的相对位置关系、深度信息和像素点的色度信息，将像素点映射到三维空间，实现对拍摄图像进行像素级的稠密点云数据恢复。
上述树障的识别方法中，终端采用视觉三维重建算法，对拍摄图像进行像素级的稠密点云数据恢复，并对得到的包含色度特征信息的目标稠密三维点云数据进行三维语义分割。多维信息的分析下三维语义分割准确率更高，上述树障的识别方法对包含色度特征信息的目标稠密三维点云数据进行三维语义分割，提高了树障识别中三维语义分割的准确率。而且，上述树障的识别方法不需要采用激光雷达设备进行采集和重建，可以直接采用巡检作业无人机采集的拍摄图像，采用的稠密点云数据恢复技术低价、高效，降低了设备成本，缩短了获取稠密点云数据的时间。
在一个实施例中，对目标稠密三维点云数据进行三维语义分割的具体过程包括以下步骤：将目标稠密三维点云数据输入至预先训练的深度神经网络，得到三维语义分割结果。
其中，三维语义分割结果包含杆塔对应的点云数据集合、线路对应的点云数据集合和背景对应的点云数据集合。
在本申请实施例中，终端可以对深度神经网络进行预先自主学习训练，直至深度神经网络模型收敛。终端将目标稠密三维点云数据输入至训练后的深度神经网络，得到杆塔对应的点云数据集合、线路对应的点云数据集合和背景对应的点云数据集合，得到三维语义分割结果。
上述树障的识别方法中，终端采用预先训练的深度神经网络对目标稠密三维点云数据进行三维语义分割，可以基于点云数据，对物体进行分类识别和环境语义分割，区分出树与架空线路、其他物品，提高了树障识别中三维语义分割的准确率。
在一个实施例中，深度神经网络为PointNet++网络。
在本申请实施例中，终端可以对PointNet++网络进行预先自主学习训练，直至PointNet++网络模型收敛。终端将目标稠密三维点云数据输入至训练后的PointNet++网络，确定杆塔对应的点云数据集合、线路对应的点云数据集合和背景对应的点云数据集合，得到三维语义分割结果。
其中，PointNet网络是能直接处理非结构化点云数据的深度学习神经网络，有效解决了传统二维卷积网络无法解决的点集无序性问题，并且使用T-net小卷积网络生成依赖数据的仿射变换矩阵，对输入的点云数据和提取的点云特征进行对齐操作，因此对于点云集的平移、旋转等变换操作更加鲁棒。PointNet可作为一个通用的连续集函数估计器，如下式所示：
其中，{x1,x2,…,xn}是一个无序点集，
，集合函数
表示一个点集到一个向量的映射，其具有对输入点的排列不变性，并且可以逼近任意的连续集函数；
和h是连续函数，代表多层感知网络。
采用PointNet网络结构可以基于点云数据对物体进行分类识别和环境语义分割，区分出架空线路与背景、杆塔。但是对于对局部特征进行处理和点云密度近密远疏的情况下，PointNet网络的处理效果并不理想，特别是对破损和遮挡的点云数据处理效果还有待加强，在此基础上提出了PointNet+ +网络。
PointNet++网络是分层结构，每一层利用PointNet网络提取不同尺度的特征，其结构如图2所示。PointNet++网络由一系列集合抽象（set abstraction）层构成，setabstraction层将
（N为点数；d为点的维数，C为每个点特征的维数）矩阵作为输入，输出为
（N’是采样后的点数；C’是整合了局部信息的特征维数）矩阵。每个set abstraction层内部由采样层sampling、聚集层grouping和PointNet层组成，其中采样层利用迭代最远点采样从上一层选出中心点；聚集层根据一个半径参数，聚集离这些中心点距离小于半径参数的点；PointNet层对每个中心点附近聚集的点云提取局部特征。经过set abstraction层提取特征后，通过全连接网络整合来获取点云对点云的分类结果。
上述树障的识别方法中，终端采用预先训练的PointNet++网络对目标稠密三维点云数据进行三维语义分割。对于对局部特征进行处理和点云密度近密远疏的情况下PointNet++网络的处理效果更加理想，特别是对破损和遮挡的点云数据处理效果明显加强。因此，上述树障的识别方法提高了树障识别中三维语义分割的准确率。
在一个实施例中，如图3所示，根据三维语义分割结果，确定输配电线路树障隐患点的具体过程包括以下步骤：
步骤301，根据三维语义分割结果，针对背景对应的点云数据集合中的每个目标点云数据，确定目标点云数据与线路对应的点云数据集合中各点之间的欧式距离，将最小的欧式距离作为目标点云数据对应的距离。
在本申请实施例中，终端根据三维语义分割结果，确定线路对应的点云数据集合和背景对应的点云数据集合。针对背景对应的点云数据集合中的目标点云数据，终端计算目标点云数据与线路对应的点云数据集合中各点之间的欧式距离，比较目标点云数据与线路对应的点云数据集合中各点之间的欧式距离，将最小的欧式距离作为目标点云数据对应的距离。
在一个示例中，终端进行三维语义分割，得到分割结果分别表示如下：
杆塔对应的点云数据集合表示为：
线路对应的点云数据集合表示为：
背景对应的点云数据集合表示为：
其中，
为杆塔对应的点云数据集合，
为杆塔对应的点云数据集合内第i个点云数据的坐标；
为线路对应的点云数据集合，
为线路对应的点云数据集合内第i个点云数据的坐标；
为背景对应的点云数据集合，
为背景对应的点云数据集合内第i个点云数据的坐标。
针对背景对应的点云数据集合中的目标点云数据，终端根据公式（5）计算目标点云数据与线路对应的点云数据集合中各点之间的欧式距离。
其中，
为目标点云数据与线路对应的点云数据集合中各点之间的欧式距离，
为目标点云数据与线路对应的点云数据集合中各点之间的垂直距离，
为目标点云数据与线路对应的点云数据集合中各点之间的水平距离。
步骤302，根据树障隐患分级表中的最小安全距离和各目标点云数据对应的距离，在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级。
在本申请实施例中，终端查找树障隐患分级表，确定最小安全距离。终端将最小安全距离与各目标点云数据对应的距离分别计算差值，得到比较结果。终端根据比较结果，在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级。
其中，最小安全距离为树木对导线不会产生安全隐患的最小距离。并且，不同的电压等级，对应不同的最小安全距离。相应的，终端可以先确定导线的电压等级，再根据导线的电压等级，查找树障隐患分级表，确定该电压等级对应的最小安全距离。
在一种实现方式中，目标点云数据对应的距离包括目标点云数据对应的垂直距离和目标点云数据对应的水平距离。终端可以根据树障隐患分级表中的最小安全距离和各目标点云数据对应的垂直距离、各目标点云数据对应的水平距离，在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级。
在另一种实现方式中，可以根据目标点云数据与线路对应的点云数据集合中各点之间的垂直距离和目标点云数据与线路对应的点云数据集合中各点之间的水平距离，计算目标点云数据与线路对应的点云数据集合中各点之间的实际距离，将最小的实际距离作为目标点云数据对应的距离。
在一个示例中，终端查找树障隐患分级表，确定最小安全距离为Di,i=1,2。其中，D1为最小安全垂直距离，D2为最小安全水平距离。终端将最小安全垂直距离D1与各目标点云数据对应的垂直距离分别计算差值，得到第一比较结果。终端将最小安全水平距离D2与各目标点云数据对应的水平距离分别计算差值，得到第二比较结果。终端根据第一比较结果和第二比较结果，在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级。
在另一个示例中，终端查找树障隐患分级表，确定最小安全距离为D。终端将最小安全距离D与各目标点云数据对应的距离分别计算差值，得到第三比较结果。终端根据第三比较结果，在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级。
上述树障的识别方法中，终端根据三维语义分割结果，针对背景对应的点云数据集合中的每个目标点云数据，确定目标点云数据与线路对应的点云数据集合中各点之间的欧式距离，将最小的欧式距离作为目标点云数据对应的距离；根据树障隐患分级表中的最小安全距离和各目标点云数据对应的距离，在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级。上述树障的识别方法可以识别树障隐患点和各树障隐患点对应的分级，提高了树障识别的准确性。
在一个实施例中，如图4所示，根据树障隐患分级表中的最小安全距离和各目标点云数据对应的距离，在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级的具体过程包括以下步骤：
步骤401，针对每一目标点云数据，如果目标点云数据对应的距离小于最小安全距离，则确定目标点云数据为树障隐患点，并确定对应的分级为紧急树障隐患。
在本申请实施例中，终端将最小安全距离与各目标点云数据对应的距离分别作比较。如果目标点云数据对应的距离小于最小安全距离，则终端确定目标点云数据为树障隐患点，并确定对应的分级为紧急树障隐患。
步骤402，如果目标点云数据对应的距离小于第一距离，并且大于最小安全距离，则确定目标点云数据为树障隐患点，并确定对应的分级为重大树障隐患。
其中，第一距离为最小安全距离与第一数值的和。
在本申请实施例中，终端将最小安全距离与各目标点云数据对应的距离分别作比较，同时将第一距离与各目标点云数据对应的距离分别作比较。如果目标点云数据对应的距离小于第一距离，并且大于最小安全距离，则终端确定目标点云数据为树障隐患点，并确定对应的分级为重大树障隐患。例如，第一数值可以为3m。
步骤403，如果目标点云数据对应的距离小于第二距离，并且大于第一距离，则确定目标点云数据为树障隐患点，并确定对应的分级为一般树障隐患。
其中，第二距离为最小安全距离与第二数值的和；第二数值大于第一数值。
在本申请实施例中，终端将第一距离与各目标点云数据对应的距离分别作比较，同时将第二距离与各目标点云数据对应的距离分别作比较。如果目标点云数据对应的距离小于第二距离，并且大于第一距离，则终端确定目标点云数据为树障隐患点，并确定对应的分级为一般树障隐患。例如，第二数值可以为9m。
在一个示例中，树障隐患分级定量的制定如表1所示，其中，导线对树木距离为di,i=1,2，d1为导线对树木垂直距离，d2为导线对树木水平距离。终端确定导线的电压等级，根据导线的电压等级，查找树障隐患分级表，确定最小安全距离为Di,i=1,2。其中，D1为最小安全垂直距离，D2为最小安全水平距离。
终端将最小安全垂直距离与各目标点云数据对应的垂直距离分别作比较。同时，终端将最小安全水平距离与各目标点云数据对应的水平距离分别作比较。如果目标点云数据对应的垂直距离小于最小垂直安全距离，或者，目标点云数据对应的水平距离小于最小水平安全距离，则终端确定目标点云数据为树障隐患点，并确定对应的分级为紧急树障隐患。
如果目标点云数据对应的垂直距离小于第一垂直距离，并且大于最小安全垂直距离，或者，目标点云数据对应的水平距离小于第一水平距离，并且大于最小安全水平距离，则确定目标点云数据为树障隐患点。如果确定目标点云数据对应的分级不是紧急树障隐患，则确定目标点云数据对应的分级为重大树障隐患。其中，第一垂直距离为最小安全垂直距离与第一垂直数值的和，第一水平距离为最小安全水平距离与第一水平数值的和。
如果目标点云数据对应的垂直距离小于第二垂直距离，并且大于第一垂直距离，或者，目标点云数据对应的水平距离小于第二水平距离，并且大于第一水平距离，则确定目标点云数据为树障隐患点。如果确定目标点云数据对应的分级不是重大树障隐患，则确定目标点云数据对应的分级为一般树障隐患。其中，第二垂直距离为最小安全垂直距离与第二垂直数值的和，第二水平距离为最小安全水平距离与第二水平数值的和；第二垂直数值大于第一垂直数值，第二水平数值大于第一水平数值。
表1树障隐患分级表
参照表1，最小安全距离是紧急树障隐患对应的安全距离。例如，终端确定导线的电压等级为500kV，根据电压等级500kV，查找树障隐患分级表，确定电压等级500kV对应的最小安全距离为7m。终端将最小安全距离7m与各目标点云数据对应的距离分别作比较。存在一个目标点云数据对应的距离5.5m小于最小安全距离，则终端确定该目标点云数据为树障隐患点，并确定对应的分级为紧急树障隐患。
上述树障的识别方法中，终端根据树障隐患分级表中的最小安全距离和各目标点云数据对应的距离，在第二点云数据集合中确定树障隐患点，以及各树障隐患点对应的分级，提高了树障识别的准确性。
在一个实施例中，在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级的具体过程还包括以下步骤：根据各树障隐患点对应的分级，输出分级树障预警。
在本申请实施例中，终端在各目标点云数据中确定树障隐患点，以及各树障隐患点对应的分级。终端还可以根据树障隐患分级确定处理时间。其中，紧急树障隐患的处理时间小于重大树障隐患的处理时间和一般树障隐患的处理时间，重大树障隐患的处理时间小于一般树障隐患的处理时间。例如，终端要求紧急树障隐患7日消除，重大树障隐患30日消除，一般树障隐患半年消除。
终端基于上述信息确定分级树障预警，并输出分级树障预警。分级树障预警包括：树障隐患点的位置、树障隐患点的分级和树障隐患点的分级对应的处理时间。
上述树障的识别方法中，终端根据各树障隐患点对应的分级，输出相应的分级树障预警，提高了树障识别的准确性。
应该理解的是，虽然图1-4中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种树障的识别装置500，包括：获取模块510、恢复模块520、分割模块530和确定模块540，其中：
获取模块510，用于获取输配电廊道的拍摄图像；
恢复模块520，用于对所述拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据；目标稠密三维点云数据包含色度特征信息；
分割模块530，用于对所述目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果；所述三维语义分割结果包括各语义对应的点云数据集合；
确定模块540，用于根据所述三维语义分割结果，确定输配电线路树障隐患点。
可选的，所述恢复模块520，具体用于：
采用视觉三维重建算法，对所述拍摄图像进行像素级的稠密点云数据恢复。
可选的，所述分割模块530，具体用于：
将所述目标稠密三维点云数据输入至预先训练的深度神经网络，得到三维语义分割结果；所述三维语义分割结果包含杆塔对应的点云数据集合、线路对应的点云数据集合和背景对应的点云数据集合。
可选的，所述深度神经网络为PointNet++网络。
可选的，所述确定模块540，具体用于：
根据所述三维语义分割结果，针对背景对应的点云数据集合中的每个目标点云数据，确定所述目标点云数据与线路对应的点云数据集合中各点之间的欧式距离，将最小的欧式距离作为所述目标点云数据对应的距离；
根据树障隐患分级表中的最小安全距离和各所述目标点云数据对应的距离，在各所述目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级。
可选的，所述确定模块540，具体用于：
针对每一目标点云数据，如果目标点云数据对应的距离小于最小安全距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为紧急树障隐患；
如果目标点云数据对应的距离小于第一距离，并且大于最小安全距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为重大树障隐患；所述第一距离为最小安全距离与第一数值的和；
如果目标点云数据对应的距离小于第二距离，并且大于第一距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为一般树障隐患；所述第二距离为最小安全距离与第二数值的和；所述第二数值大于所述第一数值。
可选的，所述确定模块540，具体还用于：
根据各所述树障隐患点对应的分级，输出分级树障预警。
关于树障的识别装置的具体限定可以参见上文中对于树障的识别方法的限定，在此不再赘述。上述树障的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种树障的识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种树障的识别方法，其特征在于，所述方法包括：
获取输配电廊道的拍摄图像；
对所述拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据；所述目标稠密三维点云数据包含色度特征信息；
对所述目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果；所述三维语义分割结果包括各语义对应的点云数据集合；
根据所述三维语义分割结果，针对非线路对应的点云数据集合中的每个目标点云数据，确定所述目标点云数据与线路对应的点云数据集合中各点之间的垂直距离和水平距离，将最小的垂直距离作为所述目标点云数据对应的垂直距离，并将最小的水平距离作为所述目标点云数据对应的水平距离；
根据树障隐患分级表中的最小安全垂直距离、树障隐患分级表中的最小安全水平距离、各所述目标点云数据对应的垂直距离、以及各所述目标点云数据对应的水平距离，在各目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级；
其中，所述对所述拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据包括：对所述拍摄图像中的像素点进行三维重建，将所述像素点映射到三维空间，得到目标稠密三维点云数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述拍摄图像进行像素级的稠密点云数据恢复，包括：
采用视觉三维重建算法，对所述拍摄图像进行像素级的稠密点云数据恢复。
3.根据权利要求1所述的方法，其特征在于，所述对所述目标稠密三维点云数据进行三维语义分割，包括：
将所述目标稠密三维点云数据输入至预先训练的深度神经网络，得到三维语义分割结果；所述三维语义分割结果包含杆塔对应的点云数据集合、线路对应的点云数据集合和背景对应的点云数据集合。
4.根据权利要求3所述的方法，其特征在于，所述深度神经网络为PointNet++网络。
5.根据权利要求1所述的方法，其特征在于，所述根据树障隐患分级表中的最小安全垂直距离、树障隐患分级表中的最小安全水平距离、各所述目标点云数据对应的垂直距离、以及各所述目标点云数据对应的水平距离，在各目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级，包括：
针对每一目标点云数据，如果所述目标点云数据对应的垂直距离小于所述最小安全垂直距离，或者，所述目标点云数据对应的水平距离小于所述最小安全水平 距离，则确定所述目标点云数据为树障隐患点，并确定对应的分级为紧急树障隐患；
如果所述目标点云数据对应的垂直距离小于第一垂直距离，并且大于所述最小安全垂直距离，或者，所述目标点云数据对应的水平距离小于第一水平距离，并且大于所述最小安全水平距离，则确定所述目标点云数据为树障隐患点；如果所述目标点云数据对应的分级非所述紧急树障隐患，则确定所述目标点云数据对应的分级为重大树障隐患；所述第一垂直距离为所述最小安全垂直距离与第一垂直数值的和，所述第一水平距离为所述最小安全水平距离与第一水平数值的和；
如果所述目标点云数据对应的垂直距离小于第二垂直距离，并且大于所述第一垂直距离，或者，所述目标点云数据对应的水平距离小于第二水平距离，并且大于所述第一水平距离，则确定所述目标点云数据为树障隐患点；如果所述目标点云数据对应的分级非重大树障隐患，则确定所述目标点云数据对应的分级为一般树障隐患；所述第二垂直距离为所述最小安全垂直距离与第二垂直数值的和，所述第二水平距离为所述最小安全水平距离与第二水平数值的和；所述第二垂直数值大于所述第一垂直数值，所述第二水平数值大于所述第一水平数值。
6.根据权利要求5所述的方法，其特征在于，所述在各目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级，还包括：
根据各所述树障隐患点对应的分级，输出分级树障预警。
7.一种树障的识别装置，其特征在于，所述装置包括：
获取模块，用于获取输配电廊道的拍摄图像；
恢复模块，用于对所述拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据；所述目标稠密三维点云数据包含色度特征信息；
分割模块，用于对所述目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果；所述三维语义分割结果包括各语义对应的点云数据集合；
确定模块，用于根据所述三维语义分割结果，针对非线路对应的点云数据集合中的每个目标点云数据，确定所述目标点云数据与线路对应的点云数据集合中各点之间的垂直距离和水平距离，将最小的垂直距离作为所述目标点云数据对应的垂直距离，并将最小的水平距离作为所述目标点云数据对应的水平距离；根据树障隐患分级表中的最小安全垂直距离、树障隐患分级表中的最小安全水平距离、各所述目标点云数据对应的垂直距离、以及各所述目标点云数据对应的水平距离，在各目标点云数据中确定树障隐患点，以及各所述树障隐患点对应的分级；
其中，所述恢复模块具体用于：对所述拍摄图像中的像素点进行三维重建，将所述像素点映射到三维空间，得到目标稠密三维点云数据。
8.根据权利要求7所述的装置，其特征在于，所述恢复模块，具体用于：
采用视觉三维重建算法，对所述拍摄图像进行像素级的稠密点云数据恢复。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111089604.4A CN113537180B (zh) | 2021-09-16 | 2021-09-16 | 树障的识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111089604.4A CN113537180B (zh) | 2021-09-16 | 2021-09-16 | 树障的识别方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113537180A CN113537180A (zh) | 2021-10-22 |
| CN113537180B true CN113537180B (zh) | 2022-01-21 |
Family
ID=78092764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111089604.4A Active CN113537180B (zh) | 2021-09-16 | 2021-09-16 | 树障的识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537180B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445395B (zh) * | 2022-02-12 | 2022-08-26 | 河南城建学院 | 基于互联网和大数据的配电线路树障智能定位方法和装置 |
| CN114431018B (zh) * | 2022-03-22 | 2023-01-31 | 南方电网电力科技股份有限公司 | 一种树障清理方法、装置及系统 |
| CN116091493B (zh) * | 2023-04-07 | 2023-07-18 | 智洋创新科技股份有限公司 | 一种用于输电线树障隐患的测距方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109000621A (zh) * | 2018-04-04 | 2018-12-14 | 广州优飞信息科技有限公司 | 一种电网树障检测方法 |
| CN109242855A (zh) * | 2018-07-19 | 2019-01-18 | 中国科学院自动化研究所 | 基于多分辨率三维统计信息的屋顶分割方法、系统及设备 |
| CN110595442A (zh) * | 2019-08-13 | 2019-12-20 | 中国南方电网有限责任公司超高压输电公司昆明局 | 输电线路通道树障检测方法、储存介质和计算机设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090231327A1 (en) * | 2008-03-12 | 2009-09-17 | Harris Corporation | Method for visualization of point cloud data |
| CN106772340A (zh) * | 2016-12-08 | 2017-05-31 | 北京国网富达科技发展有限责任公司 | 用于架空输电线路的树障测量系统及方法 |
| CN110223345B (zh) * | 2019-05-14 | 2022-08-09 | 南京理工大学 | 基于点云的配电线路作业对象位姿估计方法 |
| US10992947B2 (en) * | 2019-06-28 | 2021-04-27 | Blackberry Limited | Planar mode in octree-based point cloud coding |
-
2021
- 2021-09-16 CN CN202111089604.4A patent/CN113537180B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109000621A (zh) * | 2018-04-04 | 2018-12-14 | 广州优飞信息科技有限公司 | 一种电网树障检测方法 |
| CN109242855A (zh) * | 2018-07-19 | 2019-01-18 | 中国科学院自动化研究所 | 基于多分辨率三维统计信息的屋顶分割方法、系统及设备 |
| CN110595442A (zh) * | 2019-08-13 | 2019-12-20 | 中国南方电网有限责任公司超高压输电公司昆明局 | 输电线路通道树障检测方法、储存介质和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113537180A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
| CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
| Li et al. | Deepsaliency: Multi-task deep neural network model for salient object detection | |
| Arietta et al. | City forensics: Using visual elements to predict non-visual city attributes | |
| Qiu et al. | RGB-DI images and full convolution neural network-based outdoor scene understanding for mobile robots | |
| CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN108229347A (zh) | 用于人识别的拟吉布斯结构采样的深层置换的方法和装置 | |
| CN112990010B (zh) | 点云数据处理方法、装置、计算机设备和存储介质 | |
| CN110133443B (zh) | 基于平行视觉的输电线路部件检测方法、系统、装置 | |
| Shen et al. | Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm | |
| Li et al. | A GCN-based method for extracting power lines and pylons from airborne LiDAR data | |
| US20220004740A1 (en) | Apparatus and Method For Three-Dimensional Object Recognition | |
| CN115797350B (zh) | 桥梁病害检测方法、装置、计算机设备和存储介质 | |
| CN111680678A (zh) | 目标区域识别方法、装置、设备及可读存储介质 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN115527036A (zh) | 电网场景点云语义分割方法、装置、计算机设备和介质 | |
| Kaur et al. | A systematic review of object detection from images using deep learning | |
| CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
| Wang et al. | Salient object detection using biogeography-based optimization to combine features | |
| Shuai et al. | Regression convolutional network for vanishing point detection | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| Chirgaiya et al. | Tiny object detection model based on competitive multi-layer neural network (TOD-CMLNN) | |
| İsa | Performance Evaluation of Jaccard-Dice Coefficient on Building Segmentation from High Resolution Satellite Images | |
| Li et al. | PointLAE: A Point Cloud Semantic Segmentation Neural Network via Multifeature Aggregation for Large-Scale Application | |
| CN113762249A (zh) | 图像攻击检测、图像攻击检测模型训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |