CN106683075B - 一种输电线杆塔横担处螺栓缺陷检测方法 - Google Patents

Abstract

目前，大部分基于无人机输电线路巡检技术的研究都是关于导线的断股和异物悬挂、绝缘子缺失等缺陷检测。而对于输电线杆塔横担处螺栓缺陷检测技术的研究却少之又少，甚至是空白的。同时，由于图片背景较为复杂，难以获得令人较为满意的检测效果。螺栓是输电线路中的重要部件，一旦出现故障隐患，将直接威胁高压电网安全，甚至造成难以估量的损失。针对这一不足，本发明公开了一种基于航拍图像的杆塔横担处螺栓缺陷检测方法，主要内容包括航拍图像预处理、螺栓区域定位、螺栓的缺陷检测。

Description

一种输电线杆塔横担处螺栓缺陷检测方法

技术领域

本发明涉及一种缺陷检测方法，具体涉及一种输电线杆塔横担处螺栓缺陷检测方法。

背景技术

经济发展不仅使城乡电网负荷快速增长，也对供电可靠性和供电质量提出了更高的要求。我国的电力线路走廊，经常需要穿越各种复杂的地理环境，频繁经过湖泊水库以及崇山峻岭等，输电线路这种覆盖范围大、分布区域广、传输距离长、地理条件复杂多变及受环境气候影响显著等特点，给线路的日常运行、维护和检修带来极大挑战。

输电线路的巡视一般采用人工巡视方式，这种方法虽简单，但效率较低，周期较长，且需要配备大量光学设备和素质高、经验丰富的巡线人员，对人力、财力的要求较高。随着我国基于无人机的输电线路巡检技术的发展和应用，对于如何在复杂的自然背景下，利用图像处理技术，从航空影像中自动精确地提取线路设备(如导线、绝缘子等)，准确识别检测其缺陷，成为一项关键技术问题。

目前，大部分基于无人机输电线路巡检技术的研究都是关于导线的断股和异物悬挂、绝缘子缺失等缺陷检测。而对于输电线杆塔横担处螺栓缺陷检测技术的研究却少之又少，甚至是空白的。同时，由于图片背景较为复杂，难以获得令人较为满意的检测效果。螺栓是输电线路中的重要部件，一旦出现故障隐患，将直接威胁高压电网安全，甚至造成难以估量的损失。

本文针对这一不足，重点研究了航拍图像中的杆塔横担处螺栓缺陷的检测。

发明内容

本发明首先是填补了杆塔横担处螺栓缺陷检测这一空白；其次提出一种新的适用于螺栓检测的研究方案；最后是提高电网巡检效率。

本发明公开了一种基于航拍图像的杆塔横担处螺栓缺陷检测方法，主要内容包括航拍图像预处理、螺栓区域定位、螺栓的缺陷检测。

本发明分两步提取感兴趣区域，第一步利用灰度投影算法完成杆塔横担区域定位，第二步利用改进的霍夫变换为核心提取精确的感兴趣区域。改进的霍夫变换可更准确的标出图像中的直线，并且寻找出最长直线。完成目标区域提取后，利用面积阈值法去除横担背景，提取待检测的螺栓信息。最后根据螺栓的特征检测螺栓是否平帽或者松动。图1是系统总体流程图。

附图说明

图1主程序流程图；

图2-1加椒盐噪声图与自适应滤波后对比截图；

图2-2LOG边缘检测效果图；

图3-1螺栓区域定位算法流程图；

图3-2灰度投影图；

图3-3螺栓区域粗提取；

图3-4拉普拉斯锐化后的二值化效果图；

图3-5霍夫变换直线检测结果；

图3-6图像旋转后的二值图

图3-7旋转后的霍夫变换直线检测结果；

图3-8螺栓区域精确提取；

图4-1螺栓的缺陷检测算法流程图；

图4-2螺栓区域二值图；

图4-3面积阈值法效果图；

图4-4目标螺栓二值图；

图4-5螺栓平帽检测结果；

图4-6角点检测结果；

图4-7螺栓螺母松动检测结果图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

图像预处理：由于不存在完美状态，在获取图像过程中不可避免总会引入各种噪声，不仅妨碍感官，更会妨碍后续图源信息的理解和分析，给处理结果造成误差，因此，在对图像处理之前一般会所得目标图像进行去噪处理。滤波是信号处理中的概念，目的是将信号中特定波段的频率滤除，为去噪中很经典的处理方法。

自适应中值滤波：中值滤波效果依赖于滤波窗口的大小，太大使边缘模糊，太小了则去噪效果不佳。因为噪声点和边缘点同样是灰度变化较为剧烈的像素，普通中值滤波改变噪声点灰度时，也将一定程度改变边缘像素的灰度值。而噪声点像素值几乎都是邻域内的极值，但边缘通常不会是，则能利用这一特征来限制中值滤波。

具体的改进方法可为：逐行扫描图像，当处理每一个像素时，判断该像素是否是滤波窗口覆盖下邻域像素的极大值或者极小值。如果是，则采用正常的中值滤波处理该像素；如果不是，则不予处理。这种方法能够非常有效地去除突发噪声点，尤其是椒盐噪声，并且几乎不影响边缘。

因其相邻各点有很强的相关性，边缘特征又要保证不被模糊，所以中值滤波法最合适。

边缘检测：LOG算子可以在不同分辨率下检测线特征，当空间常数σ＜1时，可以获得与边缘较一致的零交叉，检测到影像中的聚焦良好的物体的精细边缘特征；并且一定程度上抑制了反差较小的噪声，当空间数增大时，可以检测到影像中的模糊边缘。LOG算子计算简单，便于实现，而且不涉及阈值问题，在一定程度上，可满足应用要求。

螺栓区域定位：由于无人机系统传回来的图片分辨率比较高,并且如果对整张图片进行处理，其要求的计算量就太大，而通过对故障的精确定位，只对感兴趣的故障部位，即螺栓区域，进行处理不但可以大大减少计算量和降低对系统资源的要求，也会提高整个系统的效率，所以故障的定位就显得尤为必要。螺栓区域的定位先是利用灰度投影初步确定该区域的大致边界，然后采用改进的霍夫变换逐步将其位置精确化。

螺栓区域粗提取：图像的信息可用二维函数f(x,y)表示，x、y表示二维平面坐标，f表示在图像像素点(x,y)处的灰度值。灰度投影理论描述的是将灰度图像分别进行向下求和、向左求和的操作，分别称之为列灰度投影和行灰度投影，其目的是将行、列两个方向上的图像二维信息用两组一维信息表示，并能反映出图像灰度分布特征。投影图如下：

分析以上对航拍图像行投影和列投影的结果，可以看出，杆塔横担位于列灰度投影曲线和行灰度投影曲线均值较大的区域。基于以上特征对杆塔横担做一个大致的提取，步骤如下：

1)把列投影结果划分为7块，再分别求和，结果放在Sj容器中；

2)找出Sj数组中的最大值的索引号jindex，根据索引号选取一个合适的y坐标；

3)把行投影结果划分为12块，再分别求和，结果放在Si容器中；

4)先找出Si数组中的最小值Simin，再把每个子块的和与之做差，存放于R数组；

5)设定阈值500，筛选出R大于500的子块，并把其索引号存放于xzuobiao；

6)从数组xzuobiao中选出最大值，在乘以每个子块的长度就是x坐标；

7)根据所得点(x,y)，划分一个高＝100，宽＝210的矩形为螺栓粗提取区域，其结果如图2-4所示。

进一步精确螺栓区域：虽然前面对螺栓区域做了粗提取，但由于杆塔上安装有大量螺栓及螺母，螺栓区域粗提取包含了无关螺栓，会对检测结果造成影响。因此需要对螺栓区域进一步精确提取，把范围缩小在杆塔横担处。结合杆塔横担的特征，本小节利用改进的霍夫变换对杆塔做直线检测。

图像旋转：由于预处理过程会使图像变得模糊，所以先对粗提取图像做图像锐化，使图像变得更加清晰。本节使用拉普拉斯算子对图像做锐化处理，输出图像中的双边缘。如果直接对粗提取图像做二值化处理，霍夫变换直线检测方法将检测不出杆塔横担处的边缘线。故先对粗提取图像做拉普拉斯锐化，然后再二值化，可以很好的检测出杆塔横担处的边缘线。

通过二值图可以看出，杆塔横担处的边缘线较为明显且比较长。为了进一步做螺栓区域的精确提取，先把图像旋转一定角度。此处利用改进的霍夫变换方法对图像进行直线检测，具体图像旋转步骤如下：

1)利用改进的hough()函数执行霍夫变换，得到霍夫矩阵；

2)利用houghpeaks()函数在霍夫矩阵中寻找峰值点；

3)利用houghlines()函数在之前2步结果的基础上得到原二值图像中的直线信息；

4)标出各条符合条件要求的直线段，并寻找出最长直线段，如图3-4所示，红色标注为最长直线段；

5)计算最长直线段的倾斜角度，并旋转该角度，得到旋转后的图像如图3-5所示。

螺栓区域精确定位：在完成图像旋转后，再一次利用改进的霍夫变换直线检测方法对图像进行直线检测。设定阈值，筛选出杆塔横担的上边缘线和下边缘线，检测结果如图3-6所示，红色为上边缘线，绿色为下边缘线。下一步就是利用这两条直线段对图像做精确提取。由图可以看出，两条平行线之间即为待检测的螺栓，根据两条直线段选择一个矩形区域作为提取区域。直线段信息保存在结构体lines()中,以点(lines(1).point1(1,2),1)作为图像区域提取的起始点，再结合两条直线的端点，选取合适的的宽和高。最后得到精确提取的螺栓区域。

螺栓的缺陷检测：输电线杆塔横担处螺栓缺陷主要分为螺栓平帽和螺栓螺母松动两类。两类缺陷的特征表现形式大不相同，需分别设计检测算法。

螺栓平帽缺陷检测：分析此类缺陷可以看出，螺栓平帽特征比较明显。针对螺栓颜色与杆塔颜色比较分明，先对感兴趣区域做二值化处理。但由于杆塔颜色比较高亮，所以二值化后螺栓像素被当作背景设为0。此时需要对二值图取反，把螺栓像素设为1，结果如图4-1所示。由于无人机不能太靠近杆塔，拍摄角度受限，以及杆塔上无关螺栓正好在左边两个螺栓之间，造成左边两个螺栓无法识别以及分割。因此，本文只对右边3个螺栓做检测。利用面积阈值法去除左边两个螺栓及旋转后的无像素区域。面积阈值法步骤如下：

1)首先标记连通分量，即给每一个连通块记上标号；

2)循环遍历，计算每一个连通块的面积；

3)设定阈值，本文根据实验数据，把阈值设为100<连通块面积<500；

4)把不在阈值范围内的连通块像素赋值为0，结果如图4-2所示；

从上图结果可以看出，图像最右边存在一个误检螺栓，该螺栓并不需要检测。为了提高检测的准确率以及减少计算量，需要把该螺栓去掉。由于杆塔横担处的螺栓数量固定，因此可以直接通过从左往右遍历，把多余的螺栓像素赋值为0。最终得到目标螺栓如图4-3所示。由图可知，正常螺栓之间高度非常接近，而存在平帽缺陷的螺栓，明显比正常螺栓矮。然而，由于拍摄角度的原因，第三个螺帽有一部分被杆塔所遮挡，并且有些螺帽颜色与杆塔相同，并不能很好的识别。因此不能简单地通过比较各螺栓之间的高度来寻找存在平帽缺陷的螺栓。但如果螺栓正常，其最高点总是能检测到的。基于此特征，首先找出每个螺栓的最高点，即图像中每个螺栓的行最小值。接着对比各螺栓之间的行最小值，找出最小的那个。把每个螺栓的行最小值与之做差，设定阈值为5，如果行最小值之差大于该值，则判定为平帽；否则不是。螺栓平帽检测结果如图4-4所示。红色矩形框框住的螺栓即为存在平帽缺陷的螺栓。

螺栓螺母松动缺陷检测：螺栓螺母松动故障相对没那么明显，需另外设计一种识别算法。利用此前得到的目标螺栓二值图，先对其进行腐蚀操作，使其棱角分明。然后标记连通分量，循环遍历图像，把每个螺栓单独分割出来。分析螺栓平帽与螺栓螺母松动图片可看出，两者之间是互斥关系，即存在平帽的螺栓就不会存在螺栓螺母松动。计算各螺栓的高度，并找出最高螺栓，再把最高螺栓与每个螺栓做差。利用此方法排除平帽螺栓以及最右边螺栓信息不完整的情况。排除之后，分别提取螺栓的轮廓，用以做角点检测。角点检测算法步骤如下：

1)计算图像的方向导数，分别保存为两个数组Ix以及Iy，这里可以使用任何方法，比较正统的是使用Gaussian函数，因为在Harris角点检测的推导过程中默认是采用了Gaussian函数作为其计算图像偏导数的方法。当然使用简单的Prewitt或者Sobel算子也没有关系。

2)为每一个点计算局部相关矩阵：

u(x,y)＝[Ix(x,y)^2*W Iy(x,y)Ix(x,y)*W；Ix(x,y)Iy(x,y)*W Iy(x,y)^2*W]

这里*W代表以x,y为中心与高斯模板W做卷积，而这个模板的大小则需要你自己指定。

3)如果这个u的两个特征值都很小，则说明这个区域是个平坦区域。如果u的某个特征值一个大一个小，则是线，如果两个都很大，那么就说明这是个角点。Harris提供了另一个公式来获取这个点是否是角点的一个评价：corness＝det(u)-k*trace(u)^2；

这个corness就代表了角点值，其中k是你自己取的一个固定的变量，典型的为[0.04,0.06]之间。当然在求取了每个点的corness以后，最好再做一个极大值抑制，这样的效果比直接设置一个阀值要好。

分析角点检测结果图可知，螺栓螺帽松动的情况检测到角点数量比较多，而正常螺栓比较平滑，角点数量比较少。计算角点数量均值，再把每个螺栓的角点数与之做差。设定阈值1，把差值大于1的螺栓判定为螺栓螺母松动。检测结果如图4-6所示，图中红色矩形框为螺栓螺母松动。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种输电线杆塔横担处螺栓缺陷检测方法，包括步骤：输入原始图像；对原始图像采用自适应中值滤波；进入LOG边缘检测；对杆塔横担区域定位；螺栓区域精确提取；然后对螺栓平帽缺陷和螺栓螺母松动缺陷检测，显示检测结果；

所述的螺栓平帽缺陷检测的具体步骤是：先对感兴趣区域做二值化处理，然后利用面积阈值法去除左边两个螺栓及旋转后的无像素区域，面积阈值法步骤为：

1)首先标记连通分量，即给每一个连通块记上标号；

2)循环遍历，计算每一个连通块的面积；

3)设定面积阈值；

4)把不在阈值范围内的连通块像素赋值为0；

所述的螺栓螺母松动缺陷检测的具体步骤是：利用此前得到的目标螺栓二值图，先对其进行腐蚀操作，使其棱角分明；然后标记连通分量，循环遍历图像，把每个螺栓单独分割出来；计算各螺栓的高度，并找出最高螺栓，再把最高螺栓与每个螺栓做差，利用此方法排除平帽螺栓以及最右边螺栓信息不完整的情况；排除之后，分别提取螺栓的轮廓，用以做角点检测；角点检测算法步骤为：

1)计算图像的方向导数，分别保存为两个数组Ix以及Iy；

2)为每一个点计算局部相关矩阵：

u(x,y)＝[Ix(x,y)^2*W Iy(x,y)Ix(x,y)*W；Ix(x,y)Iy(x,y)*W Iy(x,y)^2*W]

这里(x,y)为像素点，Ix,Iy为向导数，W为高斯模版，*W代表以(x,y)为中心与高斯模板W做卷积；

判断点是否角点：

Corness＝det(u)-k*trace(u)^2

其中，corness代表角点值，k为固定变量，取值范围[0.04,0.06]。

2.如权利要求1所述的检测方法，其特征在于：所述的对原始图像采用自适应中值滤波，具体步骤为：逐行扫描图像，当处理每一个像素时，判断该像素是否是滤波窗口覆盖下邻域像素的极大值或者极小值；如果是，则采用正常的中值滤波处理该像素；如果不是，则不予处理。

3.如权利要求1所述的检测方法，其特征在于：所述的杆塔横担区域定位，具体步骤为：先是利用灰度投影初步确定该区域的大致边界，然后采用改进的霍夫变换逐步将其位置精确化。

4.如权利要求3所述的检测方法，其特征在于：所述的利用灰度投影初步确定该区域的大致边界，具体步骤是：图像的信息可用二维函数f(x,y)表示，x、y表示二维平面坐标，f表示在图像像素点(x,y)处的灰度值；灰度投影理论描述的是将灰度图像分别进行向下求和、向左求和的操作，分别称之为列灰度投影和行灰度投影，将行、列两个方向上的图像二维信息用两组一维信息表示，并能反映出图像灰度分布特征。

5.如权利要求3所述的检测方法，其特征在于：所述的采用改进的霍夫变换逐步将其位置精确化，具体步骤是：首先旋转图像，具体图像旋转步骤如下：

1)利用改进的hough()函数执行霍夫变换，得到霍夫矩阵；

2)利用houghpeaks()函数在霍夫矩阵中寻找峰值点；

3)利用houghlines()函数在之前2步结果的基础上得到原二值图像中的直线信息；

4)标出各条符合条件要求的直线段，并寻找出最长直线段；

5)计算最长直线段的倾斜角度，并旋转该角度，得到旋转后的图像；其次：在完成图像旋转后，再一次利用改进的霍夫变换直线检测方法对图像进行直线检测；设定阈值，筛选出杆塔横担的上边缘线和下边缘线；并利用这两条直线段对图像做精确提取。

Images