CN108537170A - 一种电力设备固件无人机巡检销钉缺失检测方法 - Google Patents

Abstract

本发明公开了一种电力设备固件无人机巡检销钉缺失检测方法，属于无人机巡检视觉检测技术领域，所述方法包括：对无人机巡检样本图像进行处理，获取模板图像；构建卷积神经网络，利用模板图像对所述卷积神经网络进行训练，得到卷积神经网络模型；对无人机巡检图像进行处理，得到中央图像，利用所述中央图像和模板图像的颜色直方图，找到模板图像在所述中央图像中的候选区域；分别提取所述候选区域与模板图像中的关键点，利用所述关键点在所述候选区域中对所述模板图像进行定位，得到螺钉图像；利用所述卷积神经网络模型对螺丝钉图像进行判断，得出检测结果。解决了现有技术中电力设备在复杂场景下难以检测到螺丝钉是否缺失销钉的技术问题。

Description

一种电力设备固件无人机巡检销钉缺失检测方法

技术领域

本发明属于无人机巡检视觉检测技术领域，涉及一种目标提取与检测的方法，尤其涉及一种电力设备固件无人机巡检销钉缺失检测方法。

背景技术

保证电力设备稳定正常工作和整个电力系统的安全运行是电力管理中的核心问题，电力设备中常用的联板、杆塔、电缆以及绝缘子串通常安装在室外，由于长期暴露在外界环境中，受人为因素、恶劣的天气状况、电气闪络、机械张力与材料老化等多种因素影响，导致螺丝钉内的销钉缺失，从而严重影响电力设备的正常运行，更有甚者，造成严重的停电事故和人身安全隐患。

随着技术的发展，无人机巡检电力设备已渐渐取代人工巡检，成为我国电力设备巡检的重要方式，相比于人工巡检，无人机巡检电力设备具有高效、快捷、可靠、成本低、不受地域影响等优点。检测销钉是否缺失的方式是：1、目测：通过目测大量的航拍图像进行人为判断，此方式受主客观因素影响大，由于无人机图像受光照条件的变化，光照强度与角度会随着时间发生变化，使得采集图像的亮度与分辨率得不到保障；且在图像采集过程中噪声与运动模糊的影响使得图像产生严重的降质和退化，因此对复杂场景下的电力设备无人机图像中目标(螺丝钉，销钉在螺丝钉上)图像的提取与识别检测精准度低，效率更低；2.基于灰度匹配的方法，用空间二维滑动模板进行图像匹配，能够获得较高的匹配定位精度，但是运算量大，难以达到实时性要求，不具备旋转不变性以及尺度不变性。而且，在模板图像与待匹配图像之间存在光照、视角变化、局部遮挡时，基于灰度的匹配方法往往无法取得理想的匹配效果；3.采用视频步进跟踪学习方法：提取电线破损的像素特征然后采用SVM分类锁定电线破损方位信息，用于销钉检测时，由于螺丝钉的随机性和不确定性，导致视觉识别效果不好；4.基于Canny检测算子、Hough变换和数学形态学的输电线提取与识别方法：能够较为准备识别出电力设备中输电线，但用于提取其他部件效果较差，尤其是对电力设备螺丝钉的提取。

目前，国内外关于电力巡检图像处理技术的研究还处于起步阶段，无人机巡检图像自动处理将成为无人机巡检研究的又一重要课题。虽然基于图像处理技术的输电线提取与识别、电缆的断股检测以及绝缘子的憎水性等问题有了一定的成功，但基于电力设备小型部件的状态检测与故障诊断的研究还未展开，尤其是销钉缺失视觉检测研究。

发明内容

基于以上技术问题，本发明提供了一种电力设备固件无人机巡检销钉缺失检测方法，解决了现有技术中电力设备在复杂场景下难以检测到螺丝钉是否缺失销钉的技术问题。

为解决以上技术问题，本发明采用的技术方法如下：一种电力设备固件无人机巡检销钉缺失检测方法，所述方法包括：

一种电力设备固件无人机巡检销钉缺失检测方法，所述方法包括：

S1：对无人机巡检样本图像进行降噪和局部直方图均衡化处理，获取模板图像；

S2：构建卷积神经网络，并利用所述模板图像对所述卷积神经网络进行训练，得到训练后的卷积神经网络模型；

S3：对无人机巡检图像进行进行降噪和局部直方图均衡化处理，得到中央图像，利用所述中央图像和模板图像的颜色直方图，找到模板图像在所述中央图像中的候选区域；

S4：分别提取所述候选区域与模板图像中的关键点，利用所述关键点在所述候选区域中对所述模板图像进行定位，得到螺钉图像；

S5：利用所述卷积神经网络模型对螺丝钉图像进行判断，得出检测结果。

进一步的，所述步骤S1的具体步骤为：

S11：输入含噪声的无人机巡检样本图像，对所述无人机巡检图像进行图像切割，提取模板图像；

S12：对含噪声的模板图像进行降噪处理；

S13：对降噪处理后的模板图像进行局部直方图均衡化处理，增强对比度。

进一步的，所述步骤S11中所述的模板图像，为人工识别的螺丝钉样本图像。

进一步的，所述步骤S2的具体步骤为：

S21：对所述模板图像进行样本扩充，构建训练样本；

S22：利用所述训练样本对所述神经卷积网络进行训练与测试，得到神经卷积网络模型。

进一步的，所述步骤S3的具体步骤为：

S31：输入含噪声的无人机巡检图像，提取无人机巡检图像的中央图像，并对所述中央图像进行降噪处理和局部直方图均衡化处理；

S32：分别计算所述模板图像和中央图像的颜色直方图；

S33：使用颜色直方图的反向投影方法，以颜色直方图交集作为比较两个颜色直方图相似性的度量，获取模板图像在中央图像的位置，将此位置的图像定为候选区域。

进一步的，所述步骤S32中所述颜色直方图选用HSV颜色直方图。

进一步的，所述步骤S4中的具体步骤为：

S41：分别提取所述模板图像和候选区域内的关键点，所述关键点为SIFT关键点特征；

S42：在每个所述SIFT关键点特征内计算128维的SIFT描述符，使用最优柱优先算法将模板图像的SIFT描述符与候选区域中的SIFT描述符进行匹配；

S43：使用RANSAC算法消除错配的SIFT描述符，并计算基础矩阵，利用基础矩阵定位所述模板图像在候选区域中的位置，将此位置的图像定为螺丝钉模板。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明将计算机视觉运用到电力设备固件销钉缺失检测中，改进传统巡检方式，不受无人机巡检图像的光照、视角变化、局部遮挡等影响，对缺失销钉的螺丝钉进行准确定位，实现销钉缺失检测的智能化，不仅提高工作效率，还大大的提高了准确率。

2.本发明采用双重查找方式对螺丝钉进行定位，首先采用颜色直方图匹配定位中央模板中的候选区区域，将金属部分从复杂场景中提取出来，进一步排除了复杂背景的干扰，缩小了查找区域；再采用SIFT关键点特征提取方法对螺丝钉进行定位，由于SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定的稳定性，因此对螺丝钉的定位达到很高的准确度。

3.本发明中，采用卷积神经网络学习方法，使用训练样本对卷积神经网络进行训练得到卷积神经网络，再使用卷积神经网络模型对定位的螺丝钉图像进行是否缺失销钉的判断，准确率高达99％以上。

4.本发明不止局限于电力设备销钉缺失检测，同样也可用于电力设备其他部件、工厂流水线固件检测、大型设备螺栓检测、水利水电螺栓检测等方面，提高电力设备的安全可靠性，节约人力。

附图说明

图1为本发明的方法流程图；

图2为中央图像未进行局部均衡化处理前图像；

图3为中央图像局部均衡化处理后图像；

图4为模板图像的HSV颜色直方图(HSV通道彩图)；

图5为训练样本图像；

图6为训练样本的分类图。

具体实施方式

下面结合附图对本发明的具体实施方式进行说明。本发明的实施方式包括但不限于下列实施例。

请参考图1，一种电力设备固件无人机巡检销钉缺失检测方法，所述方法包括：

S1：对无人机巡检样本图像进行降噪和局部直方图均衡化处理，获取模板图像；

所述步骤S1的具体步骤为：

S11：输入含噪声的无人机巡检样本图像，对所述无人机巡检图像进行图像切割，提取模板图像；

S12：对含噪声的模板图像进行降噪处理；

S13：对降噪处理后的模板图像进行局部直方图均衡化处理，增强对比度。

所述步骤S11中所述的模板图像，为人工识别的螺丝钉样本图像。

本实施例中，查找无人机巡检图像中含有较为清晰的螺丝钉的图像，作为无人机巡检样本图像，并通过人工截取螺丝钉图像作为模板图像，并对其进行降噪处理和局部直方图均衡化处理后增强其对比度，所述步骤S12中，采用中值滤波法对模板图像进行降噪处理，降噪处理计算公式具体如下；

g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (1)

其中，f(x,y)和g(x,y)分别为原始图像和处理后图像。W为二维模板，通常为3*3，5*5区域，也可以是不同的的形状，如线状，圆形，十字形，圆环形等。

步骤S13中，在对图像暗区和高亮区的处理上，将模板图像采用局部直方图均衡化方式处理效果更加优于全局直方图均衡化，可增强局部的对比度而不影响整体的对比度，得到的图像整体效果更为清晰，局部直方图均衡化具体方法为：首先将图像分成很多小窗口，对每个窗进行直方图均衡化处理，然后采用双线性差值法连接这些小窗口。

S2：构建卷积神经网络，并利用所述模板图像对所述卷积神经网络进行训练，得到训练后的卷积神经网络模型；

所述步骤S2的具体步骤为：

S21：对所述模板图像进行样本扩充，构建训练样本；

S22：利用所述训练样本对所述神经卷积网络进行训练与测试，得到神经卷积网络模型。

请参考图2-图6，所述步骤S21中，对样本进行扩充的方式为：将样本图像进行图像旋转、图像水平偏移、图像竖直偏移、缩放、水平翻转、竖直翻转、镜像以及调整对比度和透明度等操作，制成训练样本，训练样本包括五大分类：螺丝钉缺失销钉正视图、螺丝钉缺失销钉俯视图、螺丝钉未缺失销钉正视图、螺丝钉未缺失销钉俯视图以及非螺丝钉图。

上所述步骤S22中，利用训练样本对神经卷积网络进训练，使用SGD进行训练，其公式为：

W_t+1：＝W_t+V_t+1 (4)

其中D为数据集，f_w(X⁽ⁱ⁾)是在数据实例X⁽ⁱ⁾上的损失函数，r(W)为规整项，λ为规整项权重，L(W)为损失函数平均值；α为学习速率，V_t为第t次迭代权值更新历史，W_t为第t次迭代的权值，μ为权值更新历史V_t的权重，V_t+1为第t+1次迭代权值更新历史，W_t+1为第t+1次迭代的权值。

S3：对无人机巡检图像进行降噪和局部直方图均衡化处理，得到中央图像，利用所述中央图像和模板图像的颜色直方图，找到模板图像在所述中央图像中的候选区域；

所述步骤S3的具体步骤为：

S31：输入含噪声的无人机巡检图像，提取无人机巡检图像的中央图像，并对所述中央图像进行降噪处理和局部直方图均衡化处理；

S32：分别计算所述模板图像和中央图像的颜色直方图；

S33：使用颜色直方图的反向投影方法，以颜色直方图交集作为比较两个颜色直方图相似性的度量，获取模板图像在中央图像的位置，将此位置的图像定为候选区域。

所述步骤S32中所述颜色直方图选用HSV颜色直方图。

所述步骤S31中，无人机巡检图像在进行拍摄时，通常把目标(电力设备等)放于图像中央，由于原始的无人机巡检图像的尺寸较大，因此，为避免复杂的计算量，需要提取中央图像进行计算。

所述步骤S32中，颜色直方图是在许多图像检索系统中被广泛采用的颜色特征，它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，因此，特别适于描述那些难以进行自动分割的图像；其中，HSV颜色直方图更接近人们对颜色的主观认识，且HSV颜色直方图具有对视角变化、仿射变换以及光照变化不敏感的优点，因此对图像效果要求较低；

通过使用颜色直方图的反向投影方法，将模板图像的颜色直方图和中央图像的颜色直方图相似度进行比对，中央图像中相似度最接近的部分即为和螺丝钉相似的部位——电力设备部分，也就是所述候选区域，在候选区域中进一步查找螺丝钉的位置：

颜色直方图的反向投影公式为：

其中，M₁和I_i分别为模板图像与候选区域的颜色直方图，R_i为比率直方图；

获得R_i后，对颜色值为i的像素，将其值替换为R_i，从而得到一副灰度图像——概率图像。如果在一个像素的圆形邻域内，具有最大的空间平均值，则对象的位置定位在此。

S4：分别提取所述候选区域与模板图像中的关键点，利用所述关键点在所述候选区域中对所述模板图像进行定位，得到螺钉图像；

所述步骤S4中的具体步骤为：

S41：分别提取所述模板图像和候选区域内的关键点，所述关键点为SIFT关键点特征；

S42：在每个所述SIFT关键点特征内计算128维的SIFT描述符，使用最优柱优先算法将模板图像的SIFT描述符与候选区域中的SIFT描述符进行匹配；

S43：使用RANSAC算法消除错配的SIFT描述符，并计算基础矩阵，利用基础矩阵定位所述模板图像在候选区域中的位置，将此位置的图像定为螺丝钉模板。

本实施例中，步骤S41中：分别在模板图像与候选区域内提取SIFT关键点特征，具体步骤如下：

1.尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。

2.关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度，关键点的选择依据于它们的稳定程度。

3.方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。

4.关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

其中：尺度空间的获取需要使用高斯模糊来实现，二维高斯模糊采用5*5高斯模板；尺度空间使用高斯金字塔表示；

关键点是由DOG空间的局部极值点组成的，关键点的初步探查是通过同一组内各DOG相邻两层图像之间比较完成的；为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小；中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；离散空间的极值点并不是真正的极值点。

本实施例中，首先使用最优柱优先算法将模板图像的SIFT描述符与候选区域中的SIFT描述符进行匹配，得到初步的匹配点，在使用RANSAC算法消除错配的匹配点，保留正确的匹配点，并对使用基础矩阵算法对所述正确的匹配点进行定位，由于模板图像中为螺丝钉，因此候选区域中与模板图像的SIFT描述符匹配度高的可判定为螺丝钉区域，即螺丝钉模板；

所述最优柱优先算法、RANSAC算法以及基础矩阵算法均为现有技术，本实施例中不再详细描述。

S5：利用所述卷积神经网络模型对螺丝钉图像进行判断，得出检测结果。

本实施例中，通过所述卷积神经网络模型对螺丝钉图像进行判断，可判断出所述螺丝钉图像中缺失销钉、不缺失销钉以及非螺丝钉，准确率可高达99％以上。

本发明的使用原理为：首先输入无人机巡检样本图像，对其进行图像切割得到模板图像，并将所述模板图像先后进行降噪处理和局部直方图均衡化处理，利用所述模板图像进行样本扩充得到训练样本，并构建卷积神经网络，利用所述训练样本对卷积神经网络进行训练得到卷积神经网络模型；所述模板图像和卷积神经网络模型经过一次得出后保留，可反复使用；再对无人机巡检图像进行处理，截取中央图像，计算所述模板图像和中央图像的HVS颜色直方图，通过对比找出中央图像中的金属所在区域--候选区域，在所述候选区域中进一步定位螺丝钉；提取所述模板图像和候选区域的SIFT特征，获取SIFT描述符，匹配所述SIFT描述符得到匹配点，消除错配匹配点后对剩余的匹配点进行定位，得到螺丝钉模板，所述剩余的匹配点为螺丝钉模板；最后，利用卷积神经网络模型对所述螺丝钉模板进行判断，得出是否缺失销钉的结果。

如上所述即为本发明的实施例。前文所述为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (7)

1.一种电力设备固件无人机巡检销钉缺失检测方法，其特征在于，所述方法包括：

S1：对无人机巡检样本图像进行降噪和局部直方图均衡化处理，获取模板图像；

S2：构建卷积神经网络，并利用所述模板图像对所述卷积神经网络进行训练，得到训练后的卷积神经网络模型；

S3：对无人机巡检图像进行降噪和局部直方图均衡化处理，得到中央图像，利用所述中央图像和模板图像的颜色直方图，找到模板图像在所述中央图像中的候选区域；

S4：分别提取所述候选区域与模板图像中的关键点，利用所述关键点在所述候选区域中对所述模板图像进行定位，得到螺钉图像；

S5：利用所述卷积神经网络模型对螺丝钉图像进行判断，得出检测结果。

2.根据权利要求书1所述的一种电力设备固件无人机巡检销钉缺失检测方法，其特征在于，所述步骤S1的具体步骤为：

S11：输入含噪声的无人机巡检样本图像，对所述无人机巡检图像进行图像切割，提取模板图像；

S12：对含噪声的模板图像进行降噪处理；

S13：对降噪处理后的模板图像进行局部直方图均衡化处理，增强对比度。

3.根据权利要求书2所述的一种电力设备固件无人机巡检销钉缺失检测方法，其特征在于，所述步骤S11中所述的模板图像，为人工识别的螺丝钉样本图像。

4.根据权利要求书1所述的一种电力设备固件无人机巡检销钉缺失检测方法，其特征在于，所述步骤S2的具体步骤为：

S21：对所述模板图像进行样本扩充，构建训练样本；

S22：利用所述训练样本对所述神经卷积网络进行训练与测试，得到神经卷积网络模型。

5.根据权利要求书1所述的一种电力设备固件无人机巡检销钉缺失检测方法，其特征在于，所述步骤S3的具体步骤为：

S31：输入含噪声的无人机巡检图像，提取无人机巡检图像的中央图像，并对所述中央图像进行降噪处理和局部直方图均衡化处理；

S32：分别计算所述模板图像和中央图像的颜色直方图；

S33：使用颜色直方图的反向投影方法，以颜色直方图交集作为比较两个颜色直方图相似性的度量，获取模板图像在中央图像的位置，将此位置的图像定为候选区域。

6.根据权利要求书5所述的一种电力设备固件无人机巡检销钉缺失检测方法，其特征在于，所述步骤S32中所述颜色直方图选用HSV颜色直方图。

7.根据权利要求书1所述的一种电力设备固件无人机巡检销钉缺失检测方法，其特征在于，所述步骤S4中的具体步骤为：

S41：分别提取所述模板图像和候选区域内的关键点，所述关键点为SIFT关键点特征；

S42：在每个所述SIFT关键点特征内计算128维的SIFT描述符，使用最优柱优先算法将模板图像的SIFT描述符与候选区域中的SIFT描述符进行匹配；

S43：使用RANSAC算法消除错配的SIFT描述符，并计算基础矩阵，利用基础矩阵定位所述模板图像在候选区域中的位置，将此位置的图像定为螺丝钉模板。