CN108334844B - 一种输电线路巡检的沿线自动跟踪方法 - Google Patents

Abstract

本发明公开了一种输电线路巡检的沿线自动跟踪方法，包括一种输电线路巡检的沿线自动跟踪系统，该系统包括视频采集模块、导线检测模块、导线跟踪模块、视频分段模块和存储/传输模块，采用视频采集、导线检测、导线跟踪、杆塔视频分段和存储或传输数据的跟踪方法获得输电线路巡检的自动跟踪，本发明有效减小了背景线段对导线检测的干扰，可较好的适应巡检过程中的光照变化及摄像机焦距的动态调整，分段存储或传输，大幅提升后续缺陷识别的效率和准确率，有效解决了导线检测过程背景线段的干扰、导线跟踪过程中由于光照变化和尺度变化引起的导线跟踪偏差甚至于失败、后续的缺陷识别准确率和效率低下的问题。

Description

一种输电线路巡检的沿线自动跟踪方法

技术领域

本发明涉及一种输电线路巡检的沿线自动跟踪方法，属于输电线路巡检技术领域。

背景技术

经济的飞速发展对电力供给提出了越来越高的要求，高压输电线路不断建设，线路经过的地理环境越来越复杂。传统的输电线路人工巡检耗时长，危险性高，效率低下。无人机因其体积小、质量轻、运输方便、易操作等优点在输电线路巡检方面近年来取得了长足的发展。在无人机巡检过程中，吊舱和输电线路相对位置关系也是动态的，需人工频繁操作飞机和载荷的遥控器，使得电力线路始终处于视角范围内，因此，会造成巡线员的高负荷工作量，导致其巡检的效率及准确率较低。输电线线路沿线自动跟踪可以自动调整载荷姿态使得电力线始终处于视野中央。中国专利申请“直升机巡检电力线路的锁定跟踪方法(公告号CN101833099A)”提出根据红外热像信息提取电力线的位置和角度，自动控制吊舱实现电力线的自动锁定，但是在输电线路巡检过程中，输电线路杆塔因地势变化原因往往存在高低起伏，且线路本身有一定的弧度，需要实时对电力线进行检测和跟踪，始终保持其处于视野中央，该专利并未提出。现有的技术大都采用Canny、Ratio边缘检测结合Hough变换对电力线进行检测，受噪声影响较大，采用Kalman滤波对电力线进行跟踪，无法适应光照变化、复杂背景等多种情况，如文献“输电线路巡检中的电力线追踪算法研究与工程应用(刘俍，山东大学，硕士学位论文，2013年)”。中国专利申请“基于无人机影像的电力线自动提取定位方法(公告号CN104091168A)”采用LSD线段检测与电力线的辐射特征进行提取，需要利用RGB三个通道的像素信息，无法适用于载荷为红外热像仪的情况。

综上所述，存在如下问题：

(1)现有的电力线检测方法采用Canny、Ratio边缘检测算子、Hough变换、RGB像素值筛选等方法，无法适用于背景复杂的可见光图像及信噪比较低的红外图像；

(2)现有的电力线跟踪采用Kalman滤波、粒子滤波等方法，无法适用于光照变化、背景变换、尺度变化等多种复杂情况；

(3)现有的无人机输电线路巡检直接对巡检视频存储或者传输以供后续的缺陷识别。但对于杆塔的视频段和非杆塔的视频段，关注的缺陷元件不同，这种处理方式对后续的缺陷识别挑战性大，导致识别效率低下。

发明内容

本发明要解决的技术问题是：提供一种输电线路巡检的沿线自动跟踪方法，以解决现有技术中存在的导线检测过程背景线段的干扰、导线跟踪过程中由于光照变化和尺度变化引起的导线跟踪偏差甚至于失败、后续的缺陷识别准确率和效率低下的问题。

本发明采取的技术方案为：一种输电线路巡检的沿线自动跟踪方法，包括一种输电线路巡检的沿线自动跟踪系统，一种输电线路巡检的沿线自动跟踪系统包括视频采集模块、导线检测模块、导线跟踪模块、视频分段模块和存储/传输模块，跟踪系统的跟踪方法如下：

1)视频采集：利用视频采集模块对输电线路进行视频采集；

2)导线检测：对采集的视频采用导线检测模块对导线进行检测；

3)导线跟踪：采用导线跟踪模块对步骤2)中检测到的导线进行跟踪；

4)视频分段：采用视频分段模块对步骤3)中跟踪的导线的杆塔进行分段；

5)通过存储/传输模块将视频采集的数据进行存储或传输到地面终端。

导线检测分为离线SVM分类器训练、导线区域检测、线段检测和线段连接筛选四个步骤，具体如下：

(1)SVM分类器训练

对积累的巡检图像/视频数据进行导线和背景区域标记，根据标签生成导线样本和背景样本，提取训练样本的Haar特征，每一种特征的计算值为白色填充区域的像素值之和与黑色像素填充区域之和的差值，将Haar特征和样本标签输入SVM分类器进行训练；

(2)导线区域检测

利用一个滑动窗口在输入图像上进行滑动，提取输入图像Haar特征，根据SVM的分类结果提取属于导线的图像区域并进行区域整合得到图像中的完整导线区域；

(3)LSD线段检测；

(4)线段连接筛选

将满足以下三个条件的任意两线段L1和L2进行连接；

a.L1和L2的角度差小于π/25；

b.L1和L2的近邻点距离小于L1和L2中最短线段的长度；

c.L1的端点到L2的距离及L2的端点到L1的距离小于3。

对连接后的线段按照角度、截距进行聚类，求取每类的最长线段，若其大于图像宽的四分之三，则认为该类线段属于导线。

导线跟踪包括运动模型、特征提取、观测模型和模型更新四个部分，如下：

(1)运动模型

根据上一帧导线的位置，在该区域的R半径范围内，生成当前导线的候选区域；

(2)特征提取

提取Haar特征；

(3)观测模型

采用结构化输出支持向量机对各个候选区域进行二元分类，选取得最分高者作为当前帧的跟踪结果；

(4)模型更新

支持向量的更新过程中，样本的标记依据样本区域与目标区域的重叠度来进行，在跟踪过程中始终维持一个支持向量budget；

杆塔视频分段对图像中是否存在杆塔采用如下步骤进行判断：

(1)图像分块，将图像分为N*N块；

(2)在每个图像块中，提取通过该图像块的线段并按照如下7个方向进行线段统计，线段数量分别是{TLN₁，TLN₂，TLN₃，……，TLN₇}；

方向1：[-7π/14,-5π/14)；

方向2：[-5π/14,-3π/14)；

方向3：[-3π/14,-π/14)；

方向4：[-π/14,π/14)；

方向5：[π/14,3π/14)；

方向6：[3π/14,5π/14)；

方向7：[5π/14,7π/14]；

(3)对每个图像块，若存在TLN_i>TH_TLN，TLN_j>TH_TLN，TLN_k>TH_TLN(i！＝j，j！＝k，i！＝k，其中i,j∈[1,7])，那么，该图像块为杆塔图像块，统计杆塔图像块的数量；

(4)若杆塔图像块的数量大于(N*N)/3，则该图像为杆塔图像；

(5)根据杆塔图像的起始对视频进行杆塔段和导线段的分割标记。

有益效果：与现有技术相比，本发明的效果如下：

(1)本发明采用离线训练的SVM(支持向量机)对导线区域和背景区域进行分类，有效减小了背景线段对导线检测的干扰，而LSD线段检测方法相比于传统的Canny、Ratio、Hough等方法，无需调整阈值，对多种形态的电力线具有较好的适用性；

(2)通常的Kalman滤波、粒子滤波等电力线跟踪方法对光照变化、尺度变化等鲁棒性较低，本发明采用结构化输出的支持向量机对导线及其背景区域进行实时学习，可较好的适应巡检过程中的光照变化及摄像机焦距的动态调整；

(3)本发明在导线跟踪过程中，可采用线段交叉对称特征对导线视频段和杆塔视频段进行分段标记，从而进行巡检视频的分段存储或传输，大幅提升后续缺陷识别的效率和准确率。

附图说明

图1是本发明的沿线自动跟踪流程图；

图2是本发明的电力线检测流程图；

图3是本发明的Haar特征图；

图4是本发明的导线跟踪流程。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

实施例：如图1-图4所示，一种输电线路巡检的沿线自动跟踪方法，包括一种输电线路巡检的沿线自动跟踪系统，一种输电线路巡检的沿线自动跟踪系统包括视频采集模块、导线检测模块、导线跟踪模块、视频分段模块和存储/传输模块，跟踪系统的跟踪方法如下：

1)视频采集：利用视频采集模块对输电线路进行视频采集，即有人飞机或无人机利用搭载的红外热像仪、可见光相机等载荷进行视频采集；

2)导线检测：对采集的视频采用导线检测模块对导线进行检测，如图2所示；

3)导线跟踪：采用导线跟踪模块对步骤2)中检测到的导线进行跟踪；

4)视频分段：采用视频分段模块对步骤3)中跟踪的导线的杆塔进行分段；

5)通过存储/传输模块将视频采集的对可见光、红外图像、视频分段数据进行存储或通过数据链传输到地面终端。

导线检测分为离线SVM分类器训练、导线区域检测、线段检测和线段连接筛选四个步骤，具体如下：

(1)SVM分类器训练

对积累的巡检图像/视频数据进行导线和背景区域标记，根据标签生成导线样本和背景样本，提取训练样本的Haar特征，每一种特征的计算值为白色填充区域的像素值之和与黑色像素填充区域之和的差值，如图3所示，每一种特征的计算都是由白色填充区域的像素值之和与黑色像素填充区域之和的差值，其中a、b属于边缘特征，c、d属于线特征，e属于对角特征，f属于点特征，将Haar特征和样本标签输入SVM分类器进行训练；

(2)导线区域检测

利用一个滑动窗口在输入图像上进行滑动，提取输入图像Haar特征，根据SVM的分类结果提取属于导线的图像区域并进行区域整合得到图像中的完整导线区域；

(3)LSD线段检测，LSD是一种直线检测分割算法，主要包括图像预处理、梯度检测、梯度排序筛选、基于梯度的区域生长和矩形估计等步骤，它能在线性的时间内得出亚像素级精度的检测结果，被设计成可以在任何数字图像上都无需参数调节；

(4)线段连接筛选

将满足以下三个条件的任意两线段L1和L2进行连接；

a.L1和L2的角度差小于π/25；

b.L1和L2的近邻点距离小于L1和L2中最短线段的长度；

c.L1的端点到L2的距离及L2的端点到L1的距离小于3。

对连接后的线段按照角度、截距进行聚类，求取每类的最长线段，若其大于图像宽的的四分之三，则认为该类线段属于导线。

导线跟踪包括运动模型、特征提取、观测模型和模型更新四个部分，如下：

(1)运动模型

根据上一帧导线的位置，在该区域的R半径范围内，生成当前导线的候选区域；

(2)特征提取

提取Haar特征；

(3)观测模型

采用结构化输出支持向量机对各个候选区域进行二元分类，选取得最分高者作为当前帧的跟踪结果；

(4)模型更新

支持向量的更新过程中，样本的标记依据样本区域与目标区域的重叠度来进行，为了保持算法的高效性，在跟踪过程中始终维持一个支持向量budget防止支持向量的无限制增长；

杆塔视频分段对图像中是否存在杆塔采用如下步骤进行判断：

(1)图像分块，将图像分为N*N块；

(2)在每个图像块中，提取通过该图像块的线段并按照如下7个方向进行线段统计，线段数量分别是{TLN₁，TLN₂，TLN₃，……，TLN₇}；

方向1：[-7π/14,-5π/14)；

方向2：[-5π/14,-3π/14)；

方向3：[-3π/14,-π/14)；

方向4：[-π/14,π/14)；

方向5：[π/14,3π/14)；

方向6：[3π/14,5π/14)；

方向7：[5π/14,7π/14]；

(3)对每个图像块，若存在TLN_i>TH_TLN，TLN_j>TH_TLN，TLN_k>TH_TLN(i！＝j，j！＝k，i！＝k，其中i,j∈[1,7])，那么，该图像块为杆塔图像块，统计杆塔图像块的数量；

(4)若杆塔图像块的数量大于(N*N)/3，则该图像为杆塔图像；

(5)根据杆塔图像的起始对视频进行杆塔段和导线段的分割标记。

本发明的优点如下：

1.输电线路巡检沿线跟踪流程

如图1所示，在初始巡检视频帧中，通过离线训练的SVM分类器结合LSD线段检测、线段连接和筛选提取图像中的精确导线区域。在后续巡检视频帧中，构建结构化输出支持向量机，对导线区域进行持续跟踪。在跟踪过程中，若导线区域骤减或者消失，则采用线段交叉对称特征判断其是否进入杆塔区域，从而则进行视频段标记。

2.导线检测方法

采用大量巡检图像离线训练导线区域和背景区域的SVM分类器；利用此SVM提取初始导线区域，在此区域内采用LSD算法进行线段检测，之后经过线段筛选、连接求出完整的导线。

3.导线跟踪方法

采用Haar特征构建结构化输出支持向量机对导线区域和背景区域进行实时分类跟踪，在导线区域内进行LSD线段检测，若满足线段跟踪条件则判定为跟踪正确，将导线位置反馈给吊舱控制系统，调整吊舱姿态，使得导线处于视野中央。

4.杆塔视频分段

在导线区域突然减小或消失时，根据图像中线段的交叉对称特征对杆塔区域进行检测判断，若存在杆塔，则进行视频段标记，从而将视频分为导线段和杆塔段。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (3)

1.一种输电线路巡检的沿线自动跟踪方法，其特征在于：包括一种输电线路巡检的沿线自动跟踪系统，一种输电线路巡检的沿线自动跟踪系统包括视频采集模块、导线检测模块、导线跟踪模块、视频分段模块和存储/传输模块，跟踪系统的跟踪方法如下：

1)视频采集：利用视频采集模块对输电线路进行视频采集；

2)导线检测：对采集的视频采用导线检测模块对导线进行检测；

3)导线跟踪：采用导线跟踪模块对步骤2)中检测到的导线进行跟踪；

4)视频分段：采用视频分段模块对步骤3)中跟踪的导线的杆塔进行分段；

5)通过存储/传输模块将视频采集的数据进行存储或传输到地面终端；导线检测分为离线SVM分类器训练、导线区域检测、线段检测和线段连接筛选四个步骤，具体如下：

(1)SVM分类器训练

对积累的巡检图像/视频数据进行导线和背景区域标记，根据标签生成导线样本和背景样本，提取训练样本的Haar特征，每一种特征的计算值为白色填充区域的像素值之和与黑色像素填充区域之和的差值，将Haar特征和样本标签输入SVM分类器进行训练；

(2)导线区域检测

利用一个滑动窗口在输入图像上进行滑动，提取输入图像Haar特征，根据SVM的分类结果提取属于导线的图像区域并进行区域整合得到图像中的完整导线区域；

(3)LSD线段检测

(4)线段连接和筛选

将满足以下三个条件的任意两线段L1和L2进行连接；

a.L1和L2的角度差小于π/25；

b.L1和L2的近邻点距离小于L1和L2中最短线段的长度；

c.L1的端点到L2的距离及L2的端点到L1的距离小于3；

对连接后的线段按照角度、截距进行聚类，求取每类的最长线段，若其大于图像宽的四分之三，则认为该类线段属于导线。

2.根据权利要求1所述的一种输电线路巡检的沿线自动跟踪方法，其特征在于：导线跟踪包括运动模型、特征提取、观测模型和模型更新四个部分，如下：

(1)运动模型

根据上一帧导线的位置，在该区域的R半径范围内，生成当前导线的候选区域；

(2)特征提取

提取Haar特征；

(3)观测模型

采用结构化输出支持向量机对各个候选区域进行二元分类，选取得最高分者作为当前帧的跟踪结果；

(4)模型更新

支持向量机的更新过程中，样本的标记依据样本区域与目标区域的重叠度来进行，在跟踪过程中始终维持一个支持向量budget。

3.根据权利要求1所述的一种输电线路巡检的沿线自动跟踪方法，其特征在于：杆塔视频分段对图像中是否存在杆塔采用如下步骤进行判断：

(1)图像分块，将图像分为N*N块；

(2)在每个图像块中，提取通过该图像块的线段并按照如下7个方向进行线段统计，线段数量分别是{TLN₁，TLN₂，TLN₃，……，TLN₇}；

方向1：[-7π/14,-5π/14)；

方向2：[-5π/14,-3π/14)；

方向3：[-3π/14,-π/14)；

方向4：[-π/14,π/14)；

方向5：[π/14,3π/14)；

方向6：[3π/14,5π/14)；

方向7：[5π/14,7π/14]；

(3)对每个图像块，若存在TLN_i>TH_TLN，TLN_j>TH_TLN，TLN_k>TH_TLN，i！＝j，j！＝k，i！＝k，其中i,j，k∈[1,7]，那么，该图像块为杆塔图像块，统计杆塔图像块的数量；

(4)若杆塔图像块的数量大于(N*N)/3，则该图像为杆塔图像；

(5)根据杆塔图像的起始对视频进行杆塔段和导线段的分割标记。

Images