CN109255776A - 一种输电线路开口销缺损自动识别方法 - Google Patents

Abstract

本发明提供了一种输电线路开口销缺损自动识别方法，包括如下步骤：获取输电线路图像；然后利用训练得到的共享卷积神经网络，检测输电线路图获得图像中的绝缘子区域像素的坐标；根据所述坐标，在绝缘子区域像素内，使用特征识别算法检测连接件开口销是否缺损。有效解决输电线路巡检影像中开口销缺损难以自动识别问题，程序可自动识别工况巡检影像，在影像中自动定位开口销缺损位置，供作业员判读，提高巡检效率，保障输电线路安全稳定运行。

Description

一种输电线路开口销缺损自动识别方法

技术领域

本发明涉及图像识别技术领域，具体地，为一种输电线路开口销缺损自动识别方法。

背景技术

无人机巡检作为一种必要的巡检手段，已与直升机巡检、人工巡检协同构建了新型的巡检体系，彻底改变现有的巡检工作模式。

现有的输电线路缺陷识别软件，通过边缘检测、傅立叶变换、小波变换等图像处理方法，可将目标从巡检影像中分离出来，再通过特征匹配等方式识别特定的缺陷。目前多数软件已可识别绝缘子等较大尺寸部件的缺陷。

开口销，其物理尺寸小，在通常的巡检影像中，单个螺母、开口销像素占全图像素的1/10000以下，由于信息量占比低，常规的基于特征的数字图像处理算法，无论是边缘检测，傅立叶变换、小波变换等均无法有效识别开口销缺陷。

发明内容

本发明要解决的技术问题是提供一种输电线路开口销缺损自动识别方法，可以有效识别小尺寸部件。

为解决上述技术问题，本发明提供了一种输电线路开口销缺损自动识别方法，包括如下步骤：获取输电线路图像；然后利用训练得到的共享卷积神经网络，检测输电线路图获得图像中的绝缘子区域像素的坐标；根据所述坐标，在绝缘子区域像素内，使用特征识别算法检测开口销是否缺损。

进一步地，使用特征识别算法检测开口销是否缺损的方法包括如下步骤：利用LSD算法检测开口销的直线段特征，再用hough梯度圆检测算法检测螺母的圆特征，然后通过二者之间的距离约束判断开口销是否存在。

进一步地，通过距离约束判断开口销是否存在的方法为：所述直线段特征位于所述圆特征中时，判定开口销存在，否则，判定销钉缺损。

进一步地，训练共享卷积神经网络的方法包括如下步骤：

A：准备训练样本；

B：对训练样本进行卷积运算；

C：构建区域特征提取网络；

D：获取绝缘子区域坐标初值。

进一步地，所述步骤A包括如下步骤：在巡检图像中找出包含绝缘子的图片，并在该图片上人工框选出绝缘子像素区域，并添加标签，完成后，将该图片作为训练样本存入训练集。

进一步地，框选绝缘子像素区域时，采用最小外接矩形框标注目标，标注框与目标边缘不大于5像素。

进一步地，所述步骤B包括如下步骤：

将训练样本输入至卷积神经网络的初始卷积层，初始卷积层的卷积核以特定的大小和步幅对训练样本进行卷积运算，得到可反应输入原始巡检影像抽象底层信息的特征图；

进入卷积神经网络的下采样层，对所述特征图进行下采样处理，抽取所述特征图特定区域内的像素灰度值的平均值，经过多层卷积和下采样处理后的图像作为中间结果。

进一步地，所述步骤C包括如下步骤：

在所述特征图上采用3*3卷积的窗口，通过标准VGG16卷积神经网络前13层生成512维全连接特征向量；

区域特征提取网络的架构设计为，使用Faster—RCNN实现目标的检测和识别，其过程与标准VGG16网络共用其前13个VGG卷积层，采用交替训练实现该阶段卷积层的特征共享，学习获得有效分类特征；

输入具有预测层和判定层两个分支的全连接层，由全连接层整合特征并交由分类器进行分类处理，生成判定规则，作为后续绝缘子目标的检测依据，其中，所述预测层用于判定绝缘子目标提取特征的中心点的像素坐标、宽和高，所述判定层用于判定该特征属与待识别绝缘子目标或图片中非目标背景；

采用滑动窗口的处理方式保证遍历以上两个分支关联卷积层的全部特征空间，其卷积结果输入区域特征提取网络。

进一步地，所述步骤D包括如下步骤：

将训练样本进行卷积操作下采样后，输入分类层，采用步骤C生成的判别规则，分类层给出滑动窗口内包含目标的置信度得分，对用户给定的0~1置信度阈值，得分高的矩形像素区域作为正样本，得分低的认为负样本舍弃；

当分类层给出的结果判定该像素区域内大于置信度阈值时，认为该像素区域内有绝缘子目标，需要对目标的位置框进一步回归校正，使识别结果输出的矩形框区域精确贴合绝缘子目标像素区域的最小外接矩形，位置回归校正计算中的重叠度判断阈值通过IOU计算，IOU=两框交集区域面积/两框并集区域面积，当输出的两个像素区域面积重叠度其值大于0.3时，认为以上两个区域可能存在重复输出，需要重新进行回归计算，消除多余的重复输出；

若输入图像内对应的绝缘子目标区域与原始输入巡检影像中的目标的真实区域的重叠度大于等于设定IOU阈值0.5，则判定该像素区域有绝缘子目标，其区域标签为1；若重叠率小于IOU阈值0.5，该区域标签为0，认为该区域像素为非目标背景区域；

对于标签为1的区域，寻找映射回输入图像的坐标与图像中真实的目标坐标之间的映射关系，完成回归定位过程，确定绝缘子区域在顶层金字塔影像中的像素坐标位置，标签为0的区域认为是错误识别，不参与后续运算；

通过回归算法，对目标进行分类，并且使用多任务损失函数边框回归算法，得出下采样图像中目标的精确边界框的坐标，之后通过金字塔影像逐级恢复至巡检图像原始分辨率，输出原始巡检影像像素坐标系下绝缘子区域的像素坐标。

本发明提供的一种输电线路开口销缺损自动识别方法，具有如下优点：

对输电线路巡检影像通过卷积重采样至标准尺寸，避免了巡检工作中不同平台获取的输电线路巡检影像分辨率不一致问题；

综合深度学习与特征匹配算法的各自优势，通过深度学习卷积神经网络识别出巡检影像中的绝缘子区域，在此基础上，采用条件判断特征匹配的方式，识别绝缘子两端连接件的开口销缺损，将开口销缺损算法的搜索计算量减少为全局搜索计算量的1/30以下，提高了巡检效率。

利用先验知识，以绝缘子目标区域像素为特征匹配搜索区域，识别开口销缺损，避免传统特征识别中杆塔上非目标区域螺母螺栓误识别问题，提高了识别准确率。

附图说明

图1是本发明输电线路开口销缺损自动识别方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

开口销-螺母结构位于于绝缘子两端的连接金具上，用于牢固连接导地线和杆塔的金具，开口销用于防止螺母与螺栓的相对转动。开口销金具的安装位置与杆塔上的无开口销结构的螺母、螺栓安装位置有明显区别。结合当前深度学习和特征识别两种算法的优势，采用深度学习模型，通过大数据样本的训练，获取绝缘子区域像素坐标的初值，在提取的像素区域内采用特征识别算法，检测开口销缺损，提高算法搜索效率和计算速度，实现该危急缺陷的自动判别。

本实施例提供了一种输电线路开口销缺损自动识别方法，参考附图1，包括如下步骤：获取输电线路图像；然后利用训练得到的共享卷积神经网络，检测输电线路图获得图像中的绝缘子区域像素的坐标；根据所述坐标，在绝缘子区域像素内，使用特征识别算法检测开口销是否缺损。

具体地，使用特征识别算法检测开口销是否缺损的方法包括如下步骤：利用LSD算法检测开口销的直线段特征，再用hough梯度圆检测算法检测螺母的圆特征，然后通过二者之间的距离约束判断开口销是否存在。其中，通过距离约束判断开口销是否存在的方法为：所述直线段特征位于所述圆特征中时，判定开口销存在，否则，判定销钉缺损。

具体地，训练共享卷积神经网络的方法包括如下步骤：

A：准备训练样本：在巡检图像中找出包含绝缘子的图片，并在该图片上人工框选出绝缘子像素区域，并添加标签，完成后，将该图片作为训练样本存入训练集。框选绝缘子像素区域时，采用最小外接矩形框标注目标，标注框与目标边缘不大于5像素。标记规则和生成的标记xml文件格式依据VOC2007标准。

B：对训练样本进行卷积运算：

将训练样本输入至卷积神经网络的初始卷积层，初始卷积层的卷积核以特定的大小和步幅对训练样本进行卷积运算，得到可反应输入原始巡检影像抽象底层信息的特征图；

进入卷积神经网络的下采样层，对所述特征图进行下采样处理，抽取所述特征图特定区域内的像素灰度值的平均值，经过多层卷积和下采样处理后的图像作为中间结果。

本实施例卷积核为3*3像素滑动窗口，对于一个滑动窗口，可以生成多维特征向量，假设生成k个。对于卷积神经网络每层w*h规格的特征影像，对应生成w*h*k个特征向量。所有的锚点具有尺度不变性特征，即该锚点的特征不随重采样层数的改变而改变。该滑动窗口可顺序遍历原始输入图像，逐层下采样，将获取的特征向量输入区域特征提取网络。本实施例卷积运算采用标准VGG16卷积网络的标准卷积核。VGG16卷积网络结构包含16个运算层，其前13层为卷积层，通过逐层的卷积计算盲目的提取输入原始图像的所有底层特征。卷积运算提取的是不同的特征,有些是颜色分布，有些是纹理特征，有些是边界特征，角点特征等等，提取过程是盲目的。这些初步提取的特征经过后面几个卷积层，会得到表达能力更强的特征，卷积运算结果可以看成是模板匹配程度计算的过程。

C：构建区域特征提取网络：

在所述特征图上采用3*3卷积的窗口，通过标准VGG16卷积神经网络前13层生成512维全连接特征向量；

区域特征提取网络的架构设计为，使用Faster—RCNN实现目标的检测和识别，其过程与标准VGG16网络共用其前13个VGG卷积层，采用交替训练实现该阶段卷积层的特征共享，学习获得有效分类特征；

输入具有预测层和判定层两个分支的全连接层，由全连接层整合特征并交由分类器进行分类处理，生成判定规则，作为后续绝缘子目标的检测依据，其中，所述预测层用于判定绝缘子目标提取特征的中心点的像素坐标、宽和高，所述判定层用于判定该特征属与待识别绝缘子目标或图片中非目标背景；

采用滑动窗口的处理方式保证遍历以上两个分支关联卷积层的全部特征空间，其卷积结果输入区域特征提取网络。

上述过程通过以下规则迭代计算实现。

1、训练区域特征提取网络，初始模型采用ImageNet预训练模型进行初始化，与VGG16网络中共有的层参数可以直接拷贝经ImageNet训练得到的模型中的参数；

2、用区域特征提取网络提取的特征训练Faster-RCNN卷积神经网络。

3、各层损失函数采用用标准差=0.01的高斯分布。

4、用Faster-RCNN初始化区域特征提取网络中的共用卷积层，迭代执行1，2，3，迭代50000次，训练结束。

5、生成黑箱判别规则，根据上述计算，对原始输入图像的每个像素区域，均生成了黑箱式判别规则，具体为区域像素的黑箱特征计算，与训练集中已标记的绝缘子区域像素的匹配用置信度函数计算，置信度值取值范围为由0至1，当置信度为1时，记为完全匹配。本实施例中置信度评分计算采用Faster RCNN算法源码，未经改动。

D：获取绝缘子区域坐标初值：

将训练样本进行卷积操作下采样后，输入分类层，采用步骤C生成的判别规则，分类层给出滑动窗口内包含目标的置信度得分，对用户给定的0~1置信度阈值，得分高的矩形像素区域作为正样本，得分低的认为负样本舍弃；

当分类层给出的结果判定该像素区域内大于置信度阈值时，认为该像素区域内有绝缘子目标，需要对目标的位置框进一步回归校正，使识别结果输出的矩形框区域精确贴合绝缘子目标像素区域的最小外接矩形，位置回归校正计算中的重叠度判断阈值通过IOU计算，IOU=两框交集区域面积/两框并集区域面积，当输出的两个像素区域面积重叠度其值大于0.3时，认为以上两个区域可能存在重复输出，需要重新进行回归计算，消除多余的重复输出；

若输入图像内对应的绝缘子目标区域与原始输入巡检影像中的目标的真实区域的重叠度大于等于设定IOU阈值0.5，则判定该像素区域有绝缘子目标，其区域标签为1；若重叠率小于IOU阈值0.5，该区域标签为0，认为该区域像素为非目标背景区域；

对于标签为1的区域，寻找映射回输入图像的坐标与图像中真实的目标坐标之间的映射关系，完成回归定位过程，确定绝缘子区域在顶层金字塔影像中的像素坐标位置，标签为0的区域认为是错误识别，不参与后续运算；

通过回归算法，对目标进行分类，并且使用多任务损失函数边框回归算法，得出下采样图像中目标的精确边界框的坐标，之后通过金字塔影像逐级恢复至巡检图像原始分辨率，输出原始巡检影像像素坐标系下绝缘子区域的像素坐标。

本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (9)

1.一种输电线路开口销缺损自动识别方法，其特征在于，包括如下步骤：获取输电线路图像；然后利用训练得到的共享卷积神经网络，检测输电线路图获得图像中的绝缘子区域像素的坐标；根据所述坐标，在绝缘子区域像素内，使用特征识别算法检测连接件开口销是否缺损。

2.如权利要求1所述的输电线路开口销缺损自动识别方法，其特征在于，使用特征识别算法检测开口销是否缺损的方法包括如下步骤：利用LSD算法检测开口销的直线段特征，再用hough梯度圆检测算法检测螺母的圆特征，然后通过二者之间的距离约束判断开口销是否存在。

3.如权利要求2所述的输电线路开口销缺损自动识别方法，其特征在于，通过距离约束判断开口销是否存在的方法为：所述直线段特征位于所述圆特征中时，判定开口销存在，否则，判定销钉缺损。

4.如权利要求1所述的输电线路开口销缺损自动识别方法，其特征在于，训练共享卷积神经网络的方法包括如下步骤：

A：准备训练样本；

B：对训练样本进行卷积运算；

C：构建区域特征提取网络；

D：获取绝缘子区域坐标初值。

5.如权利要求4所述的输电线路开口销缺损自动识别方法，其特征在于，所述步骤A包括如下步骤：在巡检图像中找出包含绝缘子的图片，并在该图片上人工框选出绝缘子像素区域，并添加标签，完成后，将该图片作为训练样本存入训练集。

6.如权利要求5所述的输电线路开口销缺损自动识别方法，其特征在于，框选绝缘子像素区域时，采用最小外接矩形框标注目标，标注框与目标边缘不大于5像素。

7.如权利要求4所述的输电线路开口销缺损自动识别方法，其特征在于，所述步骤B包括如下步骤：

将训练样本输入至卷积神经网络的初始卷积层，初始卷积层的卷积核以特定的大小和步幅对训练样本进行卷积运算，得到可反应输入原始巡检影像抽象底层信息的特征图；

进入卷积神经网络的下采样层，对所述特征图进行下采样处理，抽取所述特征图特定区域内的像素灰度值的平均值，经过多层卷积和下采样处理后的图像作为中间结果。

8.如权利要求7所述的输电线路开口销缺损自动识别方法，其特征在于，所述步骤C包括如下步骤：

在所述特征图上采用3*3卷积的窗口，通过标准VGG16卷积神经网络前13层生成512维全连接特征向量；

区域特征提取网络的架构设计为，使用Faster—RCNN实现目标的检测和识别，其过程与标准VGG16网络共用其前13个VGG卷积层，采用交替训练实现该阶段卷积层的特征共享，学习获得有效分类特征；

输入具有预测层和判定层两个分支的全连接层，由全连接层整合特征并交由分类器进行分类处理，生成判定规则，作为后续绝缘子目标的检测依据，其中，所述预测层用于判定绝缘子目标提取特征的中心点的像素坐标、宽和高，所述判定层用于判定该特征属与待识别绝缘子目标或图片中非目标背景；

采用滑动窗口的处理方式保证遍历以上两个分支关联卷积层的全部特征空间，其卷积结果输入区域特征提取网络。

9.如权利要求7所述的输电线路开口销缺损自动识别方法，其特征在于，所述步骤D包括如下步骤：

将训练样本进行卷积操作下采样后，输入分类层，采用步骤C生成的判别规则，分类层给出滑动窗口内包含目标的置信度得分，对用户给定的0~1置信度阈值，得分高的矩形像素区域作为正样本，得分低的认为负样本舍弃；

当分类层给出的结果判定该像素区域内大于置信度阈值时，认为该像素区域内有绝缘子目标，需要对目标的位置框进一步回归校正，使识别结果输出的矩形框区域精确贴合绝缘子目标像素区域的最小外接矩形，位置回归校正计算中的重叠度判断阈值通过IOU计算，IOU=两框交集区域面积/两框并集区域面积，当输出的两个像素区域面积重叠度其值大于0.3时，认为以上两个区域可能存在重复输出，需要重新进行回归计算，消除多余的重复输出；

若输入图像内对应的绝缘子目标区域与原始输入巡检影像中的目标的真实区域的重叠度大于等于设定IOU阈值0.5，则判定该像素区域有绝缘子目标，其区域标签为1；若重叠率小于IOU阈值0.5，该区域标签为0，认为该区域像素为非目标背景区域；

对于标签为1的区域，寻找映射回输入图像的坐标与图像中真实的目标坐标之间的映射关系，完成回归定位过程，确定绝缘子区域在顶层金字塔影像中的像素坐标位置，标签为0的区域认为是错误识别，不参与后续运算；

通过回归算法，对目标进行分类，并且使用多任务损失函数边框回归算法，得出下采样图像中目标的精确边界框的坐标，之后通过金字塔影像逐级恢复至巡检图像原始分辨率，输出原始巡检影像像素坐标系下绝缘子区域的像素坐标。