CN112686120A - 一种基于无人机航拍图像的输电线异常检测方法 - Google Patents

Abstract

本发明是一种基于无人机拍摄图像的输电线异常检测方法，其特点是，包括图像预处理、输电线提取和异常点检测，首先考虑到实际应用中太阳光的方向，图像的明暗和色彩等都会对使用计算机对图像处理产生影响，因此需要对无人机拍摄的图像进行光学校正等去噪操作；之后考虑到输电线航拍图像的在多数情况下无复杂背景干扰、输电线往往贯穿整个图像的特性，因此使用基于改进的canny算子和Hough变换直线检测算法从航拍图像中提取输电线；最后对候选区域进行检测，提高了准确率和执行效率，具有科学合理、抗噪声干扰能力强、检测准确率高、速度快、适用效果佳等优点。

Description

一种基于无人机航拍图像的输电线异常检测方法

技术领域

本发明涉及电力输电线监测技术领域，特别是一种基于无人机拍摄图像的输电线异常检测方法。

背景技术

随着电力系统的不断发展，输电线作为电能输送的重要组成部分，其安全可靠运行成为电力系统稳定运转的重要环节，输电线巡检也成为了电网运营商重要的预防性维护程序。这就需要使用大量时间培养具备扎实的专业技能、丰富的经验和准确的判断力的检修人员。且人工巡检存在着一定的安全隐患。

随着无人机技术的发展，无人机巡检已经成为一种重要的输电线巡检方式。但目前主要是通过对无人机采集到的视频数据带到检测中心，之后以人工识别的方式进行异常检测，未能实现智能检测，这种方法需要花费大量的时间与人力，且实时性差。因此采用新的方法进行输电线巡检引起了国内外学者的关注。近年来国内外进行了有关无人机巡线技术的研究，并且取得了一定的成果。但大多数研究是如何规划无人机飞行路线、如何避开障碍等控制方面，而目前的巡线工作现场急需一种能够本地处理的输电线路故障检测手段。在最近的研究中，提出将计算机视觉技术应用于输电线巡检中。例如用立体成像自动检测输电线中的障碍物，使用阈值化和形态学算子进行输电线检测、利用双目视觉的色差图进行输电线检测、使用Radon变换分段提取输电线，然后使用Kalman滤波器将断裂的毎一段连接起来、也提出了基于PCNN神经网络滤波器和Hough变换的输电线检测方法。

虽然上述算法对图像中的输电线的提取提出了有效的解决方案，但无法检测出输电线上的各种异常，并且算法的计算过于复杂，无法嵌入到载重量有限的无人机上进行实时检测。

发明内容

本发明的目的是克服现有技术的不足，提供一种科学合理、抗噪声干扰能力强、检测准确率高、速度快、适用效果佳的基于无人机拍摄图像的输电线异常检测方法。

本发明的目的是由以下技术方案来实现的：一种基于无人机拍摄图像的输电线异常检测方法，其特征是，它包括以下步骤：

1.一种基于无人机拍摄图像的输电线异常检测方法，其特征是，它包括以下步骤：

1)根据图像灰度图的亮度和设定的灰度阶，以及亮度与灰度阶的对应关系，按照一定的阈值对不同的灰度值进行区域划分，分成上边界区域、高光区域、过度区域、阴影区域和下边界区域；

2)分别对图像中的不同区间的灰度值使用不同的映射关系把每一个灰度值映射到角度值区间[0，π]，且每一个灰度值区间的灰度值有唯一一个对应的角度区间的角度值，在高光区域、过度区域、阴影区域中不同的灰度值都对应着不同的角度值，但在上边界区域和下边界区域中多个灰度值对应一个角度值，并且在映射到角度值区间后的角度值的最大值是由划分上边界区域和高光区域的阈值所决定的，同理，映射到角度值区间后的最小值是由划分阴影区域和下边界区域的阈值所决定的，

其中x₀，x₁，x₂，x₃为四个阈值，x为原灰度值，Φ(x)为转换后的角度值；

3)从灰度值得到的角度值使用如下的映射关系把每一个角度值映射到伽马值区间，Ω代表[0，π]的角度值区间，R代表伽马值区间，α为权重值，且每一个灰度值区间的灰度值有唯一一个对应的α值，在高光区域、过度区域、阴影区域中不同的灰度值都对应着不同的α值，但在上边界区域和下边界区域中的所有灰度值对应一个α值，α的最大值为1，最小值为根据划分上边界区域、高光区域、过度区域、阴影区域和下边界区域的四个阈值所确定，

h：Ω→R

R＝{γ|γ＝h(x)}

4)对输入图像的所有像素值进行归一化，使其分布在0～1区间，其次，对图像中的每一个像素点使用通过计算得出的各个灰度值所对应的伽马值进行非线性映射，最后，对所得像素值进行反归一化，使得像素值的值域扩大到[0，255]，从而获得伽马校正后的图像；

5)使用直方图均衡化方法，把图像尽可能均匀的分布在每一个灰度级上，提高图像的对比度；

6)Canny检测对噪声比较敏感，因此选用高斯滤波器去除噪声，高斯滤波器是基于一组高斯核对图像灰度值中的像素值进行加权求和；

7)计算梯度的方向和大小，即边缘的最重要的特征：灰度值的剧烈变化，由于图像是离散数据，梯度能够用差分值来表示，差分在实际工程中就是相邻灰度的灰度差，采用8邻域法，分别求出上、下、左、右、斜对角方向上的差值；

8)使用双阈值法进行边缘检测和相连，双阈值中高阈值h1使用最大类间方差法确定，低阈值取h2＝0.5h1；

9)使用Hough变换直线检测算法检测输电线；

10)求出图像的垂直投影曲线，即扫描图像中的每一列，累加像素值为1的点,达到把图像的二维信息映射成一个独立的一维投影序列；

11)求出垂直投影值的平均值，以一定阈值为基准，找出第一个和最后一个比该大的两个点，并将此两点之间的区域设为待检测的候选区域；

12)之后把待检测区域内的直线上的所有点的像素值设为0，再以直线上的点为中心判断周围的像素值为1的点集的形状，若满足规定条件则视为异常，若不是，则视为噪声。

本发明的一种基于无人机拍摄图像的输电线异常检测方法分为图像预处理、输电线提取和异常点检测三个部分内容，首先考虑到实际应用中太阳光的方向，图像的明暗和色彩等都会对使用计算机对图像处理产生影响，因此需要对无人机拍摄的图像进行光学校正等去噪操作；之后考虑到输电线航拍图像的在多数情况下无复杂背景干扰、输电线往往贯穿整个图像的特性，因此使用基于改进的canny算子和Hough变换直线检测算法从航拍图像中提取输电线；最后对候选区域进行检测，提高了准确率和执行效率，能够实现无人机对输电线路的实时巡检处理，改善巡检效率，有效减轻巡检人员的劳动强度，全面提升了电网运维能力。具有科学合理、抗噪声干扰能力强、检测准确率高、速度快、适用效果佳等优点。

附图说明

图1为本发明的一种基于无人机拍摄图像的输电线异常检测方法的架构图；

图2为本发明中对无人机拍摄图像进行光照补偿的方法流程图；

图3为本发明中伽马值与灰度值关系的的曲线示意图；

图4为本发明中原灰度值和伽马校正后灰度值的关系曲线示意图；

图5为本发明中使用的异常检测算法的流程图；

图6为异常检测算法中使用的计算模版。

具体实施方式

下面结合附图实施例对本发明的基于一种基于无人机拍摄图像的输电线异常检测方法作进一步的详细描述。

参照图1和图2，本发明的一种基于无人机拍摄图像的输电线异常检测方法，包括以下步骤：

1)将无人机采集到的由R(红色)，G(绿色)，B(蓝色)三原色按比例混合而成的RGB彩色图像转换为灰度图像。依次取图像中的每个像素点的红绿蓝分值，根据如下公式转换为灰度值，之后将新的灰度值赋给图像的对应位置；

Gray＝0.299×R+0.587×G+0.114×B。

2)为了防止对图像进行过度的光学校正，根据图像的灰度值设置了过渡区间，在过渡区间保留图像的原始信息，设置了γ的增长上边界区域、下边界区域、高光区域和阴影区域，在这些区域使图像得到有效的光照补偿，改善因过度的校正导致的校正后往往会产生的失真现象，达到光照补偿后最大限度的保留真实信息的目的，以提高了算法的自适应性能力。之后分别对图像中的不同区间的灰度值使用不同的映射关系把每一个灰度值映射到角度值区间[0,π]，且每一个灰度值区间的灰度值有唯一一个对应的角度区间的角度值。将灰度值区间P划分成5个区域[0,x₀),[x₀,x₁),[x₁,x₂),[x₂,x₃),[x₃,255]，且每一个灰度值区间的灰度值有唯一一个对应的角度区间的角度值。其中Φ(x)为灰度值x对应的角度值，α为后续计算中使用的权值，x代表一个在区间P的任意像素值，取x₀＝50，x₁＝130，x₂＝180，x₃＝220；

3)从灰度值得到的角度值使用如下的映射关系把每一个角度值映射到伽马值区间。且每一个灰度值区间的灰度值有唯一一个对应的α值。在高光区域，过度区域，阴影区域中不同的灰度值都对应着不同的权重α，但在上边界区域和下边界区域中的所有灰度值对应一个α值。α的最大值为1，最小值为根据划分上边界区域，高光区域，过度区域，阴影区域和下边界区域的四个阈值所确定。根据如下公式求出权重α值，其中x_m为区间[x1,x2)的中值；

之后根据求出的权重α与每个像素点对应的Φ(x)值求出伽马值，Ω代表[0,π]的角度值区间,R代表伽马值区间，γ为计算得到的伽马值，x代表一个在区间P的任意像素值,Ω到R的映射为:

h：Ω→R

R＝{γ|γ＝h(x)}

根据此公式得到的伽马值与灰度值关系的的曲线示意图为如图3所示。

4)对输入图像的所有像素值进行归一化，使其分布在0～1区间。其次，对图像中的每一个像素点使用通过计算得出的各个灰度值所对应的伽马值进行非线性映射，最后，对所得像素值进行反归一化，使得像素值的值域扩大到[0，255]，从而获得伽马校正后的图像；

X_c＝255·(X/255)^1/γ

其中，当γ＞1时，图像的高光部分被扩展，灰度值增大，亮度提高；而当γ＜1时，图像的高光部分被压缩，灰度值减小，亮度降低，有效的对将图像的进行了光学校正。原灰度值和伽马校正后灰度值的关系曲线如图4所示

5)把图像分为多个小块，计算每块小图像的局部直方图，通过将直方图扩展到尽可能宽的范围来增加图像的对比度。对给定的图像I，设直方图高度为h(k)，对应的灰度级为k，则有如下的对相应关系，

其中L是图像中灰度的最大范围(对于8位图像，为256)。nk是输入图像中灰度级为k的像素点数。之后计算概率密度函数pdf(k)，计算公式如下所示：

其中N是图像中像素的总数。之后计算累积密度函数cdf

计算公式如下所示：

根据累计密度函数计算出映射关系，直方图均衡化的转换函数T(k)可以重新分布亮度以改变图像对比度，计算公式如下所示：

T(k)＝I₀+(I_L-1-I₀)×cdf(k)

其中，Ik是输入I的灰度级为k的点，则Ik对应的输出为T(k)。

最后对得到的图像使用双线插值法消除边界问题。改进了图像的局部对比度以及获得更多的图像细节，达到了有效的对无人机拍摄的输电线图像进行光学补偿的作用。之后参照图4，对预处理过后的图像进行输电线异常检测。

6)最优的阶梯型边缘检测算法(Canny边缘检测)对噪声比较敏感，选用高斯滤波器去除噪声，它基于一组高斯核对图像灰度值中的像素值进行加权求和。一个大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式由下式给出：

若图像中一个3x3的窗口为A，要滤波的像素点为e，则经过高斯滤波之后，像素点e的亮度值为：

其中*为卷积符号，sum表示矩阵中所有元素相加求和。

7)计算梯度的方向和大小，这是边缘的最重要的特征。由于图像是离散数据，梯度可以用差分值来表示，差分在实际工程中就是灰度差。采用8邻域法，那么分上、下、左、右、斜对角，因此使用四个算子来检测图像中的水平、垂直和对角边缘。算子是以图像卷积的形式来计算梯度。在x，y，45°，135°方向上的微分卷机算子为：

梯度幅度采用∞范数计算则点(i，j)处的梯度幅值与方向角为：

M(i，j)＝max(|f_x|，|f_y|，|f_45°|，|f_135°|)

8)使用双阈值法进行边缘检测和相连，双阈值中高阈值h1使用最大类间方差法确定，低阈值取h2＝0.5h1。两个阈值分别检测出两个边缘的集合H1和H2，H1是高阈值得到含有很少假边缘，但是有间断，不闭合。为了把不闭合的边缘连接成轮廓，因此到达轮廓边缘时，而算法可以从H2中搜集边缘将H1连接起来。对边缘检测后的图像进行形态学变换，将断断续续的局部线段使用结构元素膨胀方法连接起来。再通过腐蚀运算，删除零散的小线段。

9)进行霍夫变换(Hough)变换对直线检测，初步检测出图像中的输电线，之后根据拍摄的图像中输电线会贯穿整的图像且平行的这一特征，使用区域生长法拼接输电线，并以最长直线为基准去除与之相交或角度相差很大的直线。根据霍夫直线检测中已获得直线的角度，以最长直线的角度作为直线的倾斜角，对图像进行相应的角度旋转，使直线平行于横轴。

10)求异常检测的候选区域。计算图像的垂直投影曲线，即扫描图像中的每一列，累加像素值为1的点,把图像的二维信息映射成一个独立的一维投影序列。若进行边缘检测和形态学变换后的图像尺寸为m×n,求出图像的垂直投影曲线，即扫描图像每一列，计算公式如下:

其中,g(j)为图像的第j列的垂直投影值,f(i,j)为图像上坐标为(i,j)的点的像素值。

之后求出垂直投影值得平均值：

由于图像中的存在异常的部分垂直投影值较大,根据异常点形状的不同垂直投影曲线存在多个峰值。因此以2gmean为基准，找出第一个和最后一个比2gmean大的两个点，并将此两点之间的区域设为待检测的候选区域。

11)把待检测区域内的直线上的所有点的像素值设为0，再以直线上的点为中心用以下算法进行异常检测。流程如图5所示。

(a)设待检测区域直线上的所有点数为n，每一个点映射到集合T1，T2，T3……Tn，集合S1，S2，S3……Sm为存放检测结果为异常的点的集合，且设置计数变量i＝1，j＝0，L＝0其中i为直线上的第i个点，j为检测出的第j个异常，L为最后一个异常对应的直线上的第L个点；

(b)以直线上的第i个点为中心按照图6的模版对周围的点进行逻辑与计算。如果进行与运算后的结果全为0，则跳到步骤(j)，否则继续执行步骤(c)；

(c)将运算结果为1的点放进对应的集合Ti，且设置此点的像素值为0；

(d)以新加入到集合Ti中的点为中心下图的顺序对周围的点进行逻辑‘与’计算，并将结果为1的点的像素值设为0，并将此点放进集合Ti中；

(e)重复步骤(d)直到没有新的点加入Ti为止；

(f)如果Ti中的元素个数不超过10，则视为噪音，不视为异常，跳到步骤(j)；

(g)如果此次异常为第一个异常，即L＝0或对应的直线上的点与上一次出现异常的点之间距离超过10，即i-L>10则视为出现新异常，设j＝j+1；将集合Ti中的元素复制到新集合Sj中。执行步骤(9)；

(h)如果此次异常对应的直线上的点与上一次出现异常的点之间距离不超过10，即i-L<＝10，则视为说明上一个异常未结束，将集Ti中的元素加到集合Sj中；

(i)更新最后一个异常对应的直线上的点L＝i；

(j)若i＝n则检测结束，否则i＝i+1，执行步骤(b)。

本发明的软件程序依据自动化、网络和计算机处理技术编制，是本领域技术人员所熟悉的技术。

本发明实施例仅用于对本发明作进一步的说明，并非穷举，并不构成对权利要求保护范围的限定，本领域技术人员根据本发明实施例获得的启示，不经过创造性劳动就能够想到其它实质上等同的替代，均在本发明保护范围内。

Claims (1)

1.一种基于无人机拍摄图像的输电线异常检测方法，其特征是，它包括以下步骤：

1)根据图像灰度图的亮度和设定的灰度阶，以及亮度与灰度阶的对应关系，按照一定的阈值对不同的灰度值进行区域划分，分成上边界区域、高光区域、过度区域、阴影区域和下边界区域；

2)分别对图像中的不同区间的灰度值使用不同的映射关系把每一个灰度值映射到角度值区间[0,π]，且每一个灰度值区间的灰度值有唯一一个对应的角度区间的角度值，在高光区域、过度区域、阴影区域中不同的灰度值都对应着不同的角度值，但在上边界区域和下边界区域中多个灰度值对应一个角度值，并且在映射到角度值区间后的角度值的最大值是由划分上边界区域和高光区域的阈值所决定的，同理，映射到角度值区间后的最小值是由划分阴影区域和下边界区域的阈值所决定的，

其中x₀,x₁,x₂,x₃为四个阈值，x为原灰度值，Φ(x)为转换后的角度值；

3)从灰度值得到的角度值使用如下的映射关系把每一个角度值映射到伽马值区间，Ω代表[0,π]的角度值区间，R代表伽马值区间，α为权重值，且每一个灰度值区间的灰度值有唯一一个对应的α值，在高光区域、过度区域、阴影区域中不同的灰度值都对应着不同的α值，但在上边界区域和下边界区域中的所有灰度值对应一个α值，α的最大值为1，最小值为根据划分上边界区域、高光区域、过度区域、阴影区域和下边界区域的四个阈值所确定，

h：Ω→R

R＝{γ|γ＝h(x)}

4)对输入图像的所有像素值进行归一化，使其分布在0～1区间，其次，对图像中的每一个像素点使用通过计算得出的各个灰度值所对应的伽马值进行非线性映射，最后，对所得像素值进行反归一化，使得像素值的值域扩大到[0,255]，从而获得伽马校正后的图像；

5)使用直方图均衡化方法，把图像尽可能均匀的分布在每一个灰度级上，提高图像的对比度；

6)Canny检测对噪声比较敏感，因此选用高斯滤波器去除噪声，高斯滤波器是基于一组高斯核对图像灰度值中的像素值进行加权求和；

7)计算梯度的方向和大小，即边缘的最重要的特征：灰度值的剧烈变化，由于图像是离散数据，梯度能够用差分值来表示，差分在实际工程中就是相邻灰度的灰度差，采用8邻域法，分别求出上、下、左、右、斜对角方向上的差值；

8)使用双阈值法进行边缘检测和相连，双阈值中高阈值h1使用最大类间方差法确定，低阈值取h2＝0.5h1；

9)使用霍夫直线检测算法检测输电线；

10)求出图像的垂直投影曲线，即扫描图像中的每一列，累加像素值为1的点,达到把图像的二维信息映射成一个独立的一维投影序列；

11)求出垂直投影值的平均值，以一定阈值为基准，找出第一个和最后一个比该大的两个点，并将此两点之间的区域设为待检测的候选区域；

12)之后把待检测区域内的直线上的所有点的像素值设为0，再以直线上的点为中心判断周围的像素值为1的点集的形状，若满足规定条件则视为异常，若不是，则视为噪声。

Images