CN113205116B - 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法 - Google Patents

Abstract

本发明公开了巡检目标点自动提取技术领域的一种输电线路无人机巡检拍摄目标点自动提取及航迹规划方法。包括：采集被巡检设备的点云数据；基于深度学习分类网络对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据；利用主成分分析方法对被巡检部件的点云数据进行分析计算，获取被巡检部件的部件主轴，进而获取拍摄目标点位置。基于相机参数、分层顺序和航线生成智能算法，结合碰撞检测技术，实现航迹自动规划。本发明解决了人工提取拍摄目标点进行航迹规划带来的准确率低、不确定性强、规划效率低、巡检成果命名难等问题，提高了目标点拾取的准确率，缩短了航迹规划时间，提升了航迹规划效率与规划成果的实用性。

Description

输电线路无人机巡检拍摄目标点自动提取及航迹规划方法

技术领域

本发明属于巡检目标点自动提取技术领域，具体涉及一种输电线路无人机巡检拍摄目标点自动提取及航迹规划方法。

背景技术

为保障输电线路的安全稳定运行，线路运维单位必须定期对输电线路进行巡视和检查，以及时发现损坏的设备和危及线路安全的因素，及时消缺，保障线路安全运行。传统的电力杆塔巡检依靠人工逐基杆塔巡视的作业方法，巡视工作量大，巡检效率较低。近年来，随着无人机技术的发展，依靠无人机的电力杆塔巡检得到快速应用。但是，目前依靠无人机进行自主巡检，巡检航迹主要依托于人工选点的方式，逐个提取拍摄目标点的位置。这种方法提出的目标点受人为因素影响较大，提取结果偏差大，耗时长，工作量大，航迹规划效率慢，同时，对航线规划人员的经验要求较高。

发明内容

为解决现有技术中的不足，本发明提供一种输电线路无人机巡检拍摄目标点自动提取及航迹规划方法，能够实现对无人机拍摄目标点的自动提取，有效缩短航迹规划时间，提高航迹规划效率。

为达到上述目的，本发明所采用的技术方案是：

第一方面，提供一种无人机巡检拍摄目标点自动提取方法，包括：采集被巡检设备的点云数据；对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据；对被巡检部件的点云数据进行主成分分析，获取被巡检部件的部件主轴，进而获取拍摄目标点。

进一步地，所述对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据，包括：对被巡检设备的点云数据进行特征提取；对特征提取后的被巡检设备的点云数据进行聚类，实现点云数据中被巡检部件的单体化，获取被巡检设备上被巡检部件的点云数据。

进一步地，采用基于深度学习分类网络的KPConv点云分类模型作为被巡检设备上被巡检部件的识别模型，对被巡检设备的点云数据进行特征提取。

进一步地，采用DBSCAN聚类算法对特征提取后的被巡检设备的点云数据进行聚类。

进一步地，所述对被巡检部件的点云数据进行主成分分析，获取被巡检部件的部件主轴，进而获取拍摄目标点，包括：对三维的被巡检部件的点云数据进行标准化，具体为，将被巡检部件的点云数据的x、y、z轴坐标排列成三行m列的矩阵X，每行减去该行的均值：

基于矩阵X，构建协方差矩阵：

将协方差矩阵分解为特征向量E和特征值λ：

取矩阵X的协方差矩阵的单位特征向量矩阵E，用它的转置E^T来作为转换矩阵P，而矩阵X的协方差矩阵的特征值λ就是各主成分的方差；对特征值及对相应的向量进行降序排序；取前三个特征向量作为被巡检部件的点云数据的三个方向的主轴；获取不同方向的主轴的OBB盒，进而获取被巡检部件的全景拍摄目标点。

进一步地，所述获取不同方向的主轴的OBB盒，进而获取被巡检部件的全景拍摄目标点，包括：对于不同主轴，将所有被巡检部件的点云数据投影到该主轴，计算中心以及半长，作为OBB有向包围盒的中心和半边长，得到OBB盒；取OBB盒最长轴方向上两个面的中心，分别作为第一挂点和第二挂点，OBB盒的中心作为被巡检部件的全景拍摄目标点。

第二方面，提供一种无人机巡检航迹规划方法，包括：获取无人机巡检拍摄目标点；基于获取的无人机巡检拍摄目标点对被巡检设备进行航迹规划。

进一步地，采用第一方面所述的无人机巡检拍摄目标点自动提取方法，获取无人机巡检拍摄目标点。

进一步地，所述基于获取的无人机巡检拍摄目标点对被巡检设备进行航迹规划，包括：依据拍摄目标点位置与当前相机参数，确定各拍摄目标点对应的相机位置；将相机位置按照被巡检部件的位置进行分组，并对每组中的被巡检部件分层排序；基于分层顺序和航线生成智能算法，结合碰撞检测技术，实现航迹自动规划。

第三方面，提供一种无人机巡检航迹规划系统，包括：

拍摄目标点获取模块，用于获取无人机巡检拍摄目标点；

航迹规划模块，用于基于获取的无人机巡检拍摄目标点，结合给定的拍摄顺序，运用智能航线生成算法及碰撞检测算法，对被巡检设备进行航迹规划。

与现有技术相比，本发明所达到的有益效果：

(1)本发明以采集的被巡检设备点云数据为基础，通过深度学习技术实现点云的分类，并提取点云数据中被巡检设备上被巡检部件的点云数据；对被巡检部件的点云数据进行PCA主成分分析，计算得到部件主轴，以计算得到的主轴为基础，计算得到有向包围盒，在包围盒上计算生成拍摄点；依据生成的拍摄点对当前杆塔进行航迹规划；通过点云数据，直接识别被巡检部件并计算其拍摄目标点，能够实现无人机对拍摄目标点的自动提取，且目标点提取不受人为因素影响，提取结果准确，耗时短，技术人员的工作量小，同时，对航线规划人员的经验要求较低；

(2)本发明通过实现对电力杆塔(被巡检设备)点云拍摄目标点的自动提取，依据拍摄目标点位置参数与当前相机参数等信息，结合碰撞检测技术，完成对被巡检设备航迹的自主规划，有效缩短了航迹规划时间，提高了航迹规划效率。

附图说明

图1是本发明实施例提供的一种输电线路无人机巡检航迹规划方法的主要流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

一种输电线路无人机巡检拍摄目标点自动提取方法，包括：采集被巡检设备的点云数据；基于深度学习分类网络对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据；对被巡检部件的点云数据进行主成分分析，获取被巡检部件的部件主轴，进而获取拍摄目标点。

一、采集被巡检设备的点云数据；本实施例以电力输电线路中的电力杆塔为巡检对象，采集电力杆塔的点云数据；

利用无人机搭载激光雷达对电力杆塔进行扫描采集电力杆塔的点云数据，对扫描的原始数据进行数据解析，得到las格式的点云数据，即可支撑航迹规划工作的进行。

二、基于深度学习分类网络对采集的点云数据进行自动分类，获取被巡检设备上被巡检部件(如绝缘子串)的点云数据；包括：采用KPConv点云分类模型作为被巡检设备上被巡检部件的识别模型，基于核心点卷积，对被巡检设备的点云数据进行特征提取；基于DBSCAN聚类算法，对特征提取后的被巡检设备的点云数据进行聚类，实现点云数据中被巡检部件的单体化，获取被巡检设备上被巡检部件的点云数据。

基于核心点卷积的主要方法为对一定半径范围内的点云提取其特征时，通过预设位置相对固定的核心点，引入空间信息，使提取到的特征具有空间不变性。当前点的特征依赖于以当前点为中心的一定半径内的所有点云数据，通过对此范围内点云进行特征提取，作为局部特征，并通过渐进式的特征提取，最终得到点云数据的全局特征，并完成分类。

基于核心点卷积提取到的点云特征，具有空间不变性，减少了点云数据顺序差异带来的干扰。相较于多层感知机等传统提取方式，具有更精细的表达能力。DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。能够快速将已分类的点云进行分簇，比如一簇簇绝缘子。

三、对被巡检部件的点云数据进行主成分分析，获取被巡检部件的部件主轴，进而获取拍摄目标点。

(1)对三维的被巡检部件的点云数据进行标准化，具体为，将被巡检部件的点云数据的x、y、z轴坐标排列成三行m列的矩阵X，每行减去该行的均值：

(2)基于矩阵X，构建协方差矩阵D：

(3)将协方差矩阵D分解为特征向量E和特征值λ：

(4)取矩阵X的协方差矩阵的单位特征向量矩阵E，用它的转置E^T来作为转换矩阵P，而矩阵X的协方差矩阵的特征值λ就是各主成分的方差；

(5)对特征值及对相应的向量进行降序排序；

(6)取排序后的前三个特征向量作为被巡检部件的点云数据的三个方向的主轴；

(7)对于不同主轴，将所有被巡检部件的点云数据投影到该主轴，计算中心以及半长，作为OBB盒(有向包围盒)的中心和半边长，得到OBB盒；

取OBB盒最长轴方向上两个面的中心，分别作为第一挂点和第二挂点，本实施例中以靠近横担端为横担端挂点，即第一挂点，靠近导线端为导线端挂点，即第二挂点，OBB盒的中心作为绝缘子串(即被巡检部件)的全景拍摄目标点。

由于杆塔点云的种类多样，绝缘子串的形状各异，采用主成分分析能够快速和精确的确定OBB包围盒，OBB包围盒能够更紧密的贴近点云集而且其方向性有利于计算绝缘子串相对杆塔的角度，提供更精确的判断信息来确认拍摄目标点。

检查提取的目标点是否合理、符合规范。若不符合，则对目标点进行修改。

本实施例以采集的被巡检设备点云数据为基础，通过深度学习技术实现点云的分类，并提取点云数据中被巡检设备上被巡检部件的点云数据；对被巡检部件的点云数据进行PCA主成分分析，计算得到部件主轴，以计算得到的主轴为基础，计算得到有向包围盒，在包围盒上计算生成拍摄点；依据生成的拍摄点对当前杆塔进行航迹规划；通过点云数据，直接识别被巡检部件并计算其拍摄目标点，能够实现无人机对拍摄目标点的自动提取，且目标点提取不受人为因素影响，提取结果准确，耗时短，技术人员的工作量小，同时，对航线规划人员的经验要求较低。

实施例二：

基于实施例一所述的输电线路无人机巡检拍摄目标点自动提取方法，本实施例提供一种无人机巡检航迹规划方法，包括：基于实施例一所述的无人机巡检拍摄目标点提取方法，获取无人机巡检拍摄目标点；基于获取的无人机巡检拍摄目标点对被巡检设备进行航迹规划。

基于获取的无人机巡检拍摄目标点对被巡检设备进行航迹规划。

(1)拍摄点生成；依据拍摄目标点位置与当前相机参数，以及拍摄安全距离等对拍摄距离进行约束。结合相机焦距、感光元件尺寸，拍摄目标大小，计算得出各目标点对应的相机位置；

(2)拍摄点分组；将所有的相机位置按照被巡检部件的位置进行分组，并对同侧部件进行分层排序；其中一类杆塔类型可以将被巡检部件分为中间部件和侧边部件；其中，侧边部件以导线走向(导线走向的规则就是：站在小号侧，面向大号侧，左手边为左侧，右手边为右侧)分为左侧部件以及右侧部件，在左右两地线中间进行拍摄的点，定义为中间部件；另一类杆塔类型可以将被巡检部件分为侧边部件，其中，侧边部件以导线走向(导线走向的规则就是：站在小号侧，面向大号侧，左手边为左侧，右手边为右侧)分为左侧部件以及右侧部件；

(3)航迹生成；基于分层顺序和航线生成智能算法，依据线路运维单位常用拍摄顺序生成航线。为保障航线安全，运用避障检测技术，对航线的安全性进行检测判定，最终生成符合要求的巡检航迹。

本实施例中，航线生成智能算法，包括：

(1)根据点云分类码分别提取、聚类导线点云和杆塔点云；

(2)分组后的拍摄点与聚类后的导线点云和杆塔点云做距离判断，近导线侧为导线端挂点，近杆塔侧为横担端挂点；

(3)根据拍摄通道方向分组左侧拍摄点和右侧拍摄点，根据中间部件识别距离确定中间部件，根据绝缘子串形状确定绝缘子为直串或v串。结合所有信息对拍摄目标点命名；

(4)根据线路运维单位常用拍摄顺序，结合左右侧、大小号侧计算拍摄目标点的拍摄顺序；

(5)按照拍摄顺序和拍摄参数生成拍摄点即航线点，并对航线进行智能碰撞检测，检测到碰撞时使用规避算法计算出相应的拐点。

航迹顺序以站在小号侧，面向大号侧，从左至右，左侧从下至上，右侧从上至下，先拍小号侧，再拍大号侧的倒U型拍摄顺序；即当分组为中间部件和侧边部件，其中，侧边部件以导线走向分为左侧部件以及右侧部件；航迹顺序为：按照从左至右的顺序，左侧部件从下至上巡检，中间部件从上至下巡检，右侧部件从上至下巡检；当分组为侧边部件，侧边部件以导线走向分为左侧部件以及右侧部件；航迹顺序为：按照从左至右的顺序，左侧部件从下至上巡检，右侧部件从上至下巡检。

本实施例通过基于获取的无人机巡检拍摄目标点对被巡检设备进行航迹规划，有效缩短了航迹规划时间，提高了航迹规划效率。同时所规划出的巡检航迹能与无人机作业时的环境影响因素相结合，不容易出现拍摄目标拍不全、拍摄影像过度曝光、或拍摄不清等问题。

实施例三：

基于实施例二所述是无人机巡检航迹规划方法，本实施例提供一种无人机巡检航迹规划系统，包括：

拍摄目标点获取模块，用于获取无人机巡检拍摄目标点；拍摄目标点获取模块包括：第一模块，用于采集被巡检设备的点云数据；第二模块，用于基于深度学习分类网络对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据；第三模块，用于对被巡检部件的点云数据进行主成分分析，获取被巡检部件的部件主轴，进而获取拍摄目标点。

航迹规划模块，用于基于获取的无人机巡检拍摄目标点，结合给定的拍摄顺序，运用智能航线生成算法及碰撞检测算法，对被巡检设备进行航迹规划。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种无人机巡检拍摄目标点自动提取方法，其特征是，包括：

采集被巡检设备的点云数据；

对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据；

对被巡检部件的点云数据进行主成分分析，获取被巡检部件的部件主轴，进而获取拍摄目标点；

其中，所述对被巡检部件的点云数据进行主成分分析，获取被巡检部件的部件主轴，进而获取拍摄目标点，包括：

对三维的被巡检部件的点云数据进行标准化，具体为，将被巡检部件的点云数据的x、y、z轴坐标排列成三行m列的矩阵X，每行减去该行的均值：

基于矩阵X，构建协方差矩阵：

将协方差矩阵分解为特征向量E和特征值λ：

取矩阵X的协方差矩阵的单位特征向量矩阵E，用它的转置E^T来作为转换矩阵P，而矩阵X的协方差矩阵的特征值λ就是各主成分的方差；

对特征值及对相应的向量进行降序排序；

取前三个特征向量作为被巡检部件的点云数据的三个方向的主轴；

获取不同方向的主轴的OBB盒，进而获取被巡检部件的全景拍摄目标点；

所述获取不同方向的主轴的OBB盒，进而获取被巡检部件的全景拍摄目标点，包括：

对于不同主轴，将所有被巡检部件的点云数据投影到该主轴，计算中心以及半长，作为OBB有向包围盒的中心和半边长，得到OBB盒；

取OBB盒最长轴方向上两个面的中心，分别作为第一挂点和第二挂点，OBB盒的中心作为被巡检部件的全景拍摄目标点。

2.根据权利要求1所述的无人机巡检拍摄目标点自动提取方法，其特征是，所述对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据，包括：

对被巡检设备的点云数据进行特征提取；

对特征提取后的被巡检设备的点云数据进行聚类，实现点云数据中被巡检部件的单体化，获取被巡检设备上被巡检部件的点云数据。

3.根据权利要求2所述的无人机巡检拍摄目标点自动提取方法，其特征是，采用基于深度学习分类网络的KPConv点云分类模型作为被巡检设备上被巡检部件的识别模型，对被巡检设备的点云数据进行特征提取。

4.根据权利要求2所述的无人机巡检拍摄目标点自动提取方法，其特征是，采用DBSCAN聚类算法对特征提取后的被巡检设备的点云数据进行聚类。

5.一种无人机巡检航迹规划方法，其特征是，包括：

采用权利要求1～4任一项所述的无人机巡检拍摄目标点自动提取方法，获取无人机巡检拍摄目标点；

基于获取的无人机巡检拍摄目标点对被巡检设备进行航迹规划，包括：

依据拍摄目标点位置与当前相机参数，确定各拍摄目标点对应的相机位置；

将相机位置按照被巡检部件的位置进行分组，并对每组中的被巡检部件分层排序；

基于分层顺序和航线生成智能算法，结合碰撞检测技术，实现航迹自动规划。

6.一种无人机巡检航迹规划系统，其特征是，包括：

拍摄目标点获取模块，用于采用权利要求1～4任一项所述的无人机巡检拍摄目标点自动提取方法，获取无人机巡检拍摄目标点；

航迹规划模块，用于基于获取的无人机巡检拍摄目标点，结合给定的拍摄顺序，运用智能航线生成算法及碰撞检测算法，对被巡检设备进行航迹规划，包括：

依据拍摄目标点位置与当前相机参数，确定各拍摄目标点对应的相机位置；

将相机位置按照被巡检部件的位置进行分组，并对每组中的被巡检部件分层排序；

基于分层顺序和航线生成智能算法，结合碰撞检测技术，实现航迹自动规划。