CN102393961A - 基于计算机视觉的飞行器输电线路实时检测跟踪方法 - Google Patents

Abstract

本发明公开了一种在复杂自然环境背景下，实现了基于计算机视觉的飞行器输电线路实时检测跟踪方法。本发明首先使用抗噪声的梯度图像与最大类间方差算法对输电线路像素点云进行提取；然后在Hough空间用K-means算法对所检测到的直线段进行筛选；最后根据上一帧视频图像所检测到的直线段信息使用Kalman滤波器进行跟踪检测。本发明解决了复杂背景环境下光照对输电线路检测的影响，提高了输电线路检测的正确率，缩短了检测时间，减轻巡检人员的工作量，提高巡检效率，确保在巡检过程中不会出现输电线路漏检现象的发生。

Description

基于计算机视觉的飞行器输电线路实时检测跟踪方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种基于计算机视觉的飞行器输电线路实时检测跟踪方法。

背景技术

近年来，我国国民经济的持续快速发展对我国电力工业提出了越来越高的要求。由于我国国土辽阔，输电线路走廊地形复杂，平原少、丘陵及山区较多，气象条件复杂，跨越江河的输电线路也日趋增多，传统人工巡线作业模式的局限性日益凸显，采取新技术手段开展巡线作业的需求日渐迫切。随着飞行器在低空领域的不断发展，使得飞行器用于输电线路巡检成为了可能。飞行器巡检是利用飞行器作为载体，装载机载照相机、机载摄像机、红外热像仪、通讯设备等对架空输电线路进行巡检。可及时发现线路的故障和隐患，并及时将检测数据传回地面控制中心，以便做出正确判断，及时排除线路故障。

在复杂自然背景下，输电线路的自动提取在国内和国际上是个较新的课题，目前公开发表的从航空影像中自动提取电力线的文献还不是很多，对基于航空机载视频的高压输电线路实时检测更是鲜有涉及。文献[1 Zhengrong Li，YueeLiu，RossHayward，Jinglan Zhang Jinhai Cai.Knoledge-based Power Line Detection forUAV Surveillance and Inspection Systems[J]、2 Zhengrong Li，Yuee Liu，RodneyWalker，Ross Hayward，Jinglan Zhang.Towards automatic power line detection for aUAV surveillance system using pulse coupled neural filter and an improved Houghtransform[J].Machine Vision and Applications.]提出了一种基于脉冲耦合神经网络(PCNN)和Hough变换的输电线路自动提取的算法，该文献通过简化PCNN算法，实现输电线路像素的提取，最后利用Hough变换对输电线路进行提取。简化PCNN算法在图像分割中有很强的抗噪声能力，且检测效果也是非常的好。但是该方法只适用于在图像中的输电线路亮度比背景亮度高的情况，而且对光照影响非常敏感，另外该算法时间复杂度比较高，无法满足实时检测的要求。国内文献[3李朝阳，阎广建，肖志强，李小文，郭军，王锦地.高分辨率航空影像中高压电力线的自动提取[J].中国图像图形学报.2007，12(6)：1041～1047、4李朝阳.高压线路走廊特征物提取和高程计算研究[D].北京邮电大学.]提出了一种高分辨率航空影像中高压电力线的自动提取方法，该方法首先设计了抗强噪声的线特征提取算子(Ratio算子)，然后采用Radon变换提取并连接各分段线，最后利用Kalman滤波技术连接电力线的断裂部分。Ratio算子能有效抑制边缘结构的像素噪声，但通常需要采用经验阈值，使其在实际应用中有很大的局限性。文献[4李朝阳.高压线路走廊特征物提取和高程计算研究[D].北京邮电大学.]设计了一种线模板检测算子，该算子具有抗强噪声性能，能在复杂自然背景下提取一定宽度的线结构，但是在对比度比较强的边缘像素时抑制效果不理想，且设计的检测算子在检测近似水平方向的线特征有较好效果，检测与水平成一定角度的线特性就会有一定的困难。

上述研究都取得了一定程度上的有益效果，但仍存在如下问题：

1.现有输电线路自动检测方法都是基于静态图像，实验样本有限，而且样本间不具有连贯性，在实际输电线路实时检测过程中就不一定有很好的检测效果；

2.当前方法都是基于高清晰图像检测输电线路，且算法复杂度高，这就影响了输电线路检测的实时性；

3.上述检测方法中，外界环境(如：光照、背景以及拍摄角度)对检测效果影响大，在实际应用中存在很多的局限性。

发明内容

本发明针对现有技术存在的上述不足，提供了一种在复杂自然环境背景下，实现基于计算机视觉的飞行器输电线路实时检测跟踪方法，在实际无人直升机输电线路巡检过程中取得了很好的检测跟踪效果。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

一种基于计算机视觉的飞行器输电线路实时检测跟踪方法，首先使用抗噪声的梯度图像与最大类间方差算法对输电线路像素点云进行提取；然后在Hough空间用K-means算法对所检测到的直线段进行筛选；最后根据上一帧视频图像所检测到的直线段信息使用Kalman滤波器进行跟踪检测。

它的具体步骤为：

第一步、对输入实时视频进行帧图像提取，将图像进行预处理，得到输电线路像素点云及背景中的噪声点云；

第二步、在输电线路像素点云图像中进行Hough变换，得到输电线路所在直线以及其他背景直线；

第三步、根据输电线路成像特性，对所检测到的直线段进行连接、合并和删除；

第四步、如果当前图像前已有连续两帧图像正确检测到直线，则转到第五步执行，否则在Hough空间中用自适应K-means算法对所检测到的直线段进行聚类，并根据输电线路成像特性进行筛选，确定输电线路位置信息；

第五步、根据上两帧图像中检测到的输电线路位置信息，利用Kalman滤波器对输电线路位置信息进行跟踪检测，确定输电线路位置信息。

所述第一步中，预处理是指：先将视频帧图像由RGB到HSI色彩空间转换，然后对I图像分量计算梯度图像，最后用最大类间方差阈值法对图像进行分割。

所述第三步中，输电线路在图像中的成像特性主要包括以下内容：输电线路贯穿整幅图像、输电线路近似直线、输电线路所在像素亮度基本一致、输电线路各向路间基本平行、背景复杂。

所述的第三步具体包括以下步骤：

3-1)判断在同一直线方向上的两直线段，两相邻近的端点距离是否小于一个给定阈值，如果是，则将两直线段连接为一条直线段；否则不变；

3-2)直线段连接后，计算每条直线段所占像素数，如果所占像素数少于给定的阈值，则删除该直线段。

所述第四步具体包括以下步骤：

1)在Hough空间中随机选择k个数据点代表初始聚类的中心，初始化k＝2或k＝3；

2)将Hough空间中的每个点分配到离它最近的中心聚类，使得聚类间距离尽可能的大，聚类内的距离尽可能的小；

3)重新计算k个类的聚类中心，返回到步骤2)，直到k个聚类中心不在变化；

4)分别计算k个聚类的方差，如果k个聚类的方差有一个或多个大于阈值T，则k＝k+1，返回到步骤2)，否则聚类结束；

5)在这k类中找出聚类间距离最小的2组或3组直线段即为检测到的输电线路。

所述Hough空间是，图像空间x-y中的直线用法线式表达为：

xcosθ+ysinθ＝ρ，ρ≥0  0≤θ≤π

其中，ρ为直线l到原点的距离，θ为直线l与x轴正方向的夹角，根据方程式，直线l上不同的点在参数平面ρ-θ中被变换为一簇相交于P点的正弦曲线；图像平面中的直线与参数平面中的点一一对应，反之亦然，这就是Hough变换的对偶性原理，通常将以ρ-θ为参数的平面称为Hough空间。

所述的第五步具体包括以下步骤：

1)在Kalman滤波器中，系统的状态是一个四维向量其中

分别为直线在Hough空间中的ρ轴和θ轴上的位置和速度，假设点(ρ，θ)在单位时间间隔内做匀速运动，所以状态转移矩阵A定义为： $A=\left[\begin{array}{cccc}1& 0& T& 0\\ 0& 1& 0& T\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right],$ 其中T是为相邻两帧间的采样时间，有系统状态和观测状态的关系可知，观测矩阵 $H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right];$

2)初始化状态向量：X₀＝(ρ₂，θ₂，(ρ₂-ρ₁)/T，(θ₂-θ₁)/T)^T，然后确定P₀，Q，R，其中Q，R是不变量；

3)根据k时刻状态我们可以得到最优估计，并更新所有的状态量，重复执行预测与校正的流程，就可以不断迭代出新的预测值，即下一帧图像中高压输电线路直线的位置。

本发明的有益效果：

1.解决了复杂背景环境下光照对输电线路检测的影响，提高了输电线路检测的正确率。

2.快速准确地锁定输电线路，缩短了检测时间，减轻巡检人员的工作量，提高巡检效率，确保在巡检过程中不会出现输电线路漏检现象的发生。

附图说明

图1为本发明实施的流程图。

图2为Kalman滤波实施流程图。

图3为实施例检测到输电线路原始斜率与修正后斜率对比曲线图。

图4为实施例检测到输电线路原始截距与修正后截距对比曲线图。

图5为a1实施例检测到输电线路斜率，a2为通过10个人参与主观人为检测输电线路斜率均值；

图6为b1实施例检测到输电线路截距，b2为通过10个人参与主观人为检测输电线路截距均值。

具体实施方式

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、对输入实时视频进行帧图像提取，将图像进行预处理，得到输电线路像素点云及背景中一些噪声点云；

所述的预处理是指：先将视频帧图像由RGB到HSI色彩空间转换，然后对I图像分量计算梯度图像，最后用最大类间方差阈值法对图像进行分割。

第二步、在输电线路像素点云图像中进行Hough变换，得到输电线路所在直线以及其他背景直线；

第三步、根据输电线路成像特性，对所检测到的直线段进行连接、合并和删除；

所述的输电线路在图像中的成像特性主要包括以下部分：输电线路贯穿整幅图像、输电线路近似直线、输电线路所在像素亮度基本一致、输电线路各向路间基本平行、背景复杂；

具体包括以下步骤：

1)判断在同一直线方向上的两直线段，两相邻近的端点距离是否小于一个给定阈值，如果是，则将两直线段连接为一条直线段；否则不变；

2)直线段连接后，计算每条直线段所占像素数，如果所占像素数少于给定的阈值，则删除该直线段；

第四步、如果当前图像前已有连续两帧图像正确检测到直线，则转到第五步执行，否则在Hough空间中用改进的K-means算法对所检测到的直线段进行聚类，并根据输电线路成像特性进行筛选，确定输电线路位置信息；

具体包括以下步骤：

1)在Hough空间中随机选择k个数据点代表初始聚类的中心，初始化k＝2或k＝3；

2)将Hough空间中的每个点分配到离它最近的中心聚类，使得聚类间距离尽可能的大，聚类内的距离尽可能的小；

3)重新计算k个类的聚类中心，返回到步骤2)，直到k个聚类中心不在变化；

4)分别计算k个聚类的方差，如果k个聚类的方差有一个或多个大于阈值T，则k＝k+1，返回到步骤2)，否则聚类结束；

5)在这k类中找出聚类间距离最小的2组或3组直线段即为检测到的输电线路。

第五步、根据上两帧图像中检测到的输电线路位置信息，利用Kalman滤波器对输电线路进行跟踪检测，确定输电线路位置信息。

1)在Kalman滤波器中，系统的状态是一个四维向量

其中

分别为直线在Hough空间中的ρ轴和θ轴上的位置和速度。假设点(ρ，θ)在单位时间间隔内做匀速运动，所以状态转移矩阵A定义为： $A=\left[\begin{array}{cccc}1& 0& T& 0\\ 0& 1& 0& T\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right],$ 其中T是为相邻两帧间的采样时间。有系统状态和观测状态的关系可知，观测矩阵 $H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right];$

2)初始化状态向量：X₀＝(ρ₂，θ₂，(ρ₂-ρ₁)/T，(θ₂-θ₁)/T)^T，然后确定P₀，Q，R，其中Q，R是不变量；

3)根据k时刻状态我们可以得到最优估计，并更新所有的状态量，重复执行下图的流程，就可以不断迭代出新的预测值，即下一帧图像中高压输电线路直线的位置。

Claims (8)

1.一种基于计算机视觉的飞行器输电线路实时检测跟踪方法，其特征是，首先使用抗噪声的梯度图像与最大类间方差算法对输电线路像素点云进行提取；然后在Hough空间用K-means算法对所检测到的直线段进行筛选；最后根据上一帧视频图像所检测到的直线段信息使用Kalman滤波器进行跟踪检测。

2.如权利要求1所述的基于计算机视觉的无人飞行器输电线路实时检测跟踪方法，其特征是，它的具体步骤为：

第一步、对输入实时视频进行帧图像提取，将图像进行预处理，得到输电线路像素点云及背景中的噪声点云；

第二步、在输电线路像素点云图像中进行Hough变换，得到输电线路所在直线以及其他背景直线；

第三步、根据输电线路成像特性，对所检测到的直线段进行连接、合并和删除；

第四步、如果当前图像前已有连续两帧图像正确检测到直线，则转到第五步执行，否则在Hough空间中用自适应K-means算法对所检测到的直线段进行聚类，并根据输电线路成像特性进行筛选，确定输电线路位置信息；

第五步、根据上两帧图像中检测到的输电线路位置信息，利用Kalman滤波器对输电线路位置信息进行跟踪检测，确定输电线路位置信息。

3.如权利要求2所述的基于计算机视觉的无人飞行器输电线路实时检测跟踪方法，其特征是，所述第一步中，预处理是指：先将视频帧图像由RGB到HSI色彩空间转换，然后对I图像分量计算梯度图像，最后用最大类间方差阈值法对图像进行分割。

4.如权利要求2所述的基于计算机视觉的无人飞行器输电线路实时检测跟踪方法，其特征是，所述第三步中，输电线路在图像中的成像特性主要包括以下内容：输电线路贯穿整幅图像、输电线路近似直线、输电线路所在像素亮度基本一致、输电线路各向路间基本平行、背景复杂。

5.如权利要求2所述的基于机器视觉的无人飞行器输电线路实时检测跟踪方法，其特征是，所述的第三步具体包括以下步骤：

3-1)判断在同一直线方向上的两直线段，两相邻近的端点距离是否小于一个给定阈值，如果是，则将两直线段连接为一条直线段；否则不变；

3-2)直线段连接后，计算每条直线段所占像素数，如果所占像素数少于给定的阈值，则删除该直线段。

6.如权利要求2所述的基于机器视觉的无人飞行器输电线路实时检测跟踪方法，其特征是，所述第四步具体包括以下步骤：

1)在Hough空间中随机选择k个数据点代表初始聚类的中心，初始化k＝2或k＝3；

2)将Hough空间中的每个点分配到离它最近的中心聚类，使得聚类间距离尽可能的大，聚类内的距离尽可能的小；

3)重新计算k个类的聚类中心，返回到步骤2)，直到k个聚类中心不在变化；

4)分别计算k个聚类的方差，如果k个聚类的方差有一个或多个大于阈值T，则k＝k+1，返回到步骤2)，否则聚类结束；

5)在这k类中找出聚类间距离最小的2组或3组直线段即为检测到的输电线路。

7.如权利要求6所述的基于机器视觉的无人飞行器输电线路实时检测跟踪方法，其特征是，所述Hough空间是，图像空间x-y中的直线用法线式表达为：

xcosθ+ysinθ＝ρ，ρ≥0  0≤θ≤π

其中，ρ为直线l到原点的距离，θ为直线l与x轴正方向的夹角，根据方程式，直线l上不同的点在参数平面ρ-θ中被变换为一簇相交于P点的正弦曲线；图像平面中的直线与参数平面中的点一一对应，反之亦然，这就是Hough变换的对偶性原理，以ρ-θ为参数的平面称为Hough空间。

8.如权利要求2所述的基于机器视觉的无人飞行器输电线路实时检测跟踪方法，其特征是，所述的第五步具体包括以下步骤：

1)在Kalman滤波器中，系统的状态是一个四维向量

其中

分别为直线在Hough空间中的ρ轴和θ轴上的位置和速度，假设点(ρ，θ)在单位时间间隔内做匀速运动，所以状态转移矩阵A定义为： $A=\left[\begin{array}{cccc}1& 0& T& 0\\ 0& 1& 0& T\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right],$ 其中T是为相邻两帧间的采样时间，有系统状态和观测状态的关系可知，观测矩阵 $H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right];$

2)初始化状态向量：X₀＝(ρ₂，θ₂，(ρ₂-ρ₁)/T，(θ₂-θ₁)/T)^T，然后确定P₀，Q，R，其中Q，R是不变量；

3)根据k时刻状态得到最优估计，并更新所有的状态量，重复执行预测与校正的流程，不断迭代出新的预测值，即下一帧图像中高压输电线路直线的位置。

Images