CN110807765A - 一种基于图像处理的悬垂绝缘子串倾斜检测方法与系统 - Google Patents

Abstract

本发明涉及一种基于图像处理的悬垂绝缘子串倾斜检测方法与系统，属于电力巡检异常状况识别领域。本发明首先以绝缘子串数据集训练目标检测网络，然后根据所得目标检测网络判断现场图像中是否存在悬垂绝缘子串，若存在则后续对图像进行二值化处理，并对悬垂绝缘子串像元进行聚类，直线拟合后获取悬垂绝缘子串中心直线，最终通过构建直角坐标系的方法得出中心直线的斜率，利用斜率计算不同悬垂绝缘子串之间的夹角，确定是否发生悬垂绝缘子串倾斜。本发明以图像识别方法为基础，不需人工目视便可直接进行绝缘子串是否发生倾斜的判断，提高了悬垂绝缘子串倾斜判断的速度，极大程度节省了人工成本，减小了人工工作量。

Description

一种基于图像处理的悬垂绝缘子串倾斜检测方法与系统

技术领域

本发明涉及一种基于图像处理的悬垂绝缘子串倾斜检测方法与系统，属于电力巡检异常状况识别领域。

背景技术

输电线路具有危险大、灾害多、跨度长、运维难度高的特点。其中，悬垂绝缘子串倾斜一直以来是输电线路巡检过程中的常见缺陷，悬垂绝缘子串倾斜如果不能得到及时排查和处理，将会造成严重的电路故障。

近年来，无人机、卫星等先进遥感遥测技术在输电线路巡检领域大量应用，解决了输电线路地理环境复杂、地处偏远以及气候多变引起的运维工作困难问题。然而，在利用如无人机进行悬垂绝缘子串倾斜检测时，现有的检测方法仅能自动识别出图像中是否存在绝缘子串以及其轮廓，但并不能进一步自动判断出绝缘子串是否发生了倾斜故障，如申请公布号为CN108596886A的中国专利申请，公开了一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法，该方法虽能够很好地识别出图像中绝缘子，并进行掉片故障检测，但是并不能直接判断出绝缘子串是否发生了倾斜故障，所以若要判断是否发生倾斜故障还需要借由人工完成检测，极大程度降低了绝缘子串倾斜故障判断的速度，并增加了人工工作量。

发明内容

本发明的目的是提供一种基于图像处理的悬垂绝缘子串倾斜检测方法与系统，以解决现有针对绝缘子串的图像检测方法无法自动判断出绝缘子串是否发生倾斜故障的问题。

为实现上述目的，本发明提供了一种基于图像处理的悬垂绝缘子串倾斜检测方法，该方法包括以下步骤：

1)获取待检测的输电线路巡检图像；

2)采用训练好的目标检测网络对待检测图像进行检测，判断待检测图像中是否存在悬垂绝缘子串，并确定悬垂绝缘子串的位置；

3)对待检测图像中悬垂绝缘子串所在位置的图像区域进行二值化处理，对二值化结果进行直线检测，并通过直线拟合方法得到悬垂绝缘子串中心直线；

4)基于所获得的悬垂绝缘子串中心直线，以悬垂绝缘子串所在图像的坐标系计算悬垂绝缘子串中心直线的斜率，且不同悬垂绝缘子串的坐标系相同或为平移关系；

5)基于所获得的悬垂绝缘子串中心直线的斜率，计算待检测图像中不同悬垂绝缘子串中心直线之间的夹角，并根据所述夹角判断悬垂绝缘子串是否发生倾斜，当所述夹角大于设定角度值时，判断悬垂绝缘子串发生了倾斜，否则判断悬垂绝缘子串未发生倾斜。

本发明的有益效果是：

本发明首先通过对巡检过程中的待检测图像进行检测与处理，确定了图像中悬垂绝缘子串的中心直线，以及中心直线在待检测图像的坐标系下的斜率值，最终通过不同悬垂绝缘子串的中心直线斜率值确定了不同悬垂绝缘子串之间的相对倾斜关系，完成了悬垂绝缘子串是否发生了倾斜故障的自动判断，无需人工干预，提高了检测效率，并很大程度上减轻了巡检人员的人工负担。

进一步的，为了提高检测速度，在二值化处理前，根据悬垂绝缘子串的位置对待检测图像进行裁剪，得到包含有悬垂绝缘子串的子图像，然后对每个子图像进行二值化处理。

进一步的，为了给出一种较优的进行直线检测的方法，步骤3)中是基于Hough变换进行的直线检测。

进一步的，为了更快速获得悬垂绝缘子串中心直线，步骤3)中在二值化处理后，首先利用Canny算子进行边缘检测，然后再基于Hough变换进行直线检测。

进一步的，为了给出一种较优的判断悬垂绝缘子串是否发生倾斜故障的方法，步骤5)中，待检测图像中不同悬垂绝缘子串中心直线之间的夹角为：

其中θ为待检测图像中不同悬垂绝缘子串中心直线之间的夹角，k1与k2分别为待检测图像中不同悬垂绝缘子串中心直线的斜率。

进一步的，为了给出一种较优的悬垂绝缘子串是否倾斜的判断标准，所述设定角度值为5°。

进一步的，为了给出一种更为快速准确的判断待检测图像中是否存在悬垂绝缘子串的方法，目标检测网络为SSD网络。

进一步的，为了给出一种较优的判断待检测图像中是否存在悬垂绝缘子串的标准，在步骤2)判断待检测图像中是否存在悬垂绝缘子串的过程中，当置信度大于50％时，认为待检测图像中存在悬垂绝缘子串，否则不存在悬垂绝缘子串。

进一步的，为了获得更为准确的目标检测网络，训练数据集由各种背景环境下的悬垂绝缘子串图像构成。

为实现上述目的，本发明还提供了一种基于图像处理的悬垂绝缘子串倾斜检测系统，该系统包括处理器以及存储器，所述存储器连接所述处理器，所述处理器用于执行以下检测方法：

1)获取待检测的输电线路巡检图像；

2)采用训练好的目标检测网络对待检测图像进行检测，判断待检测图像中是否存在悬垂绝缘子串，并确定悬垂绝缘子串的位置；

3)对待检测图像中悬垂绝缘子串所在位置的图像区域进行二值化处理，对二值化结果进行直线检测，并通过直线拟合方法得到悬垂绝缘子串中心直线；

4)基于所获得的悬垂绝缘子串中心直线，以悬垂绝缘子串所在图像的坐标系计算悬垂绝缘子串中心直线的斜率，且不同悬垂绝缘子串的坐标系相同或为平移关系；

5)基于所获得的悬垂绝缘子串中心直线的斜率，计算待检测图像中不同悬垂绝缘子串中心直线之间的夹角，并根据所述夹角判断悬垂绝缘子串是否发生倾斜，当所述夹角大于设定角度值时，判断悬垂绝缘子串发生了倾斜，否则判断悬垂绝缘子串未发生倾斜。

本发明的有益效果是：

本发明首先通过对巡检过程中的待检测图像进行检测与处理，确定了图像中悬垂绝缘子串的中心直线，以及中心直线在待检测图像的坐标系下的斜率值，最终通过不同悬垂绝缘子串的中心直线斜率值确定了不同悬垂绝缘子串之间的相对倾斜关系，完成了悬垂绝缘子串是否发生了倾斜故障的自动判断，无需人工干预，提高了检测效率，并很大程度上减轻了巡检人员的人工负担。

进一步的，为了提高检测速度，在二值化处理前，根据悬垂绝缘子串的位置对待检测图像进行裁剪，得到包含有悬垂绝缘子串的子图像，然后对每个子图像进行二值化处理。

进一步的，为了较优地进行直线检测，步骤3)中是基于Hough变换进行的直线检测。

进一步的，为了更快速获得悬垂绝缘子串中心直线，步骤3)中在二值化处理后，首先利用Canny算子进行边缘检测，然后再基于Hough变换进行直线检测。

进一步的，为了较优地判断悬垂绝缘子串是否发生倾斜故障，步骤5)中，待检测图像中不同悬垂绝缘子串中心直线之间的夹角为：

其中θ为待检测图像中不同悬垂绝缘子串中心直线之间的夹角，k1与k2分别为待检测图像中不同悬垂绝缘子串中心直线的斜率。

进一步的，为了给出一种较优的悬垂绝缘子串是否倾斜的判断标准，所述设定角度值为5°。

进一步的，为了更为快速准确地判断待检测图像中是否存在悬垂绝缘子串，目标检测网络为SSD网络。

进一步的，为了给出一种较优的判断待检测图像中是否存在悬垂绝缘子串的标准，在步骤2)判断待检测图像中是否存在悬垂绝缘子串的过程中，当置信度大于50％时，认为待检测图像中存在悬垂绝缘子串，否则不存在悬垂绝缘子串。

进一步的，为了获得更为准确的目标检测网络，训练数据集由各种背景环境下的悬垂绝缘子串图像构成。

附图说明

图1为本发明实施例检测方法的整体流程示意图；

图2为本发明实施例中所采用的SSD目标检测网络的结构示意图；

图3(a)为本发明实施例中所构建的悬垂绝缘子串数据集中正常悬垂绝缘子串图像示意图；

图3(b)为本发明实施例中所构建的悬垂绝缘子串数据集中非正常悬垂绝缘子串图像示意图；

图4为本发明实施例中确定了图3(b)中悬垂绝缘子串位置的示意图；

图5(a)为图4中剪裁获得的右侧悬垂绝缘子串图像；

图5(b)为本发明实施例中对图5(a)图像进行二值化处理以及边缘检测后所确定的悬垂绝缘子串图像；

图6为本发明实施例中确定了图5(b)中悬垂绝缘子串的中心直线并建立坐标轴后的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的说明。

本发明提供的方法实施例：

如图1所示是本实施例检测方法的整体流程图，其包括获取待检测图像过程，悬垂绝缘子串目标检测过程，直线检测过程，绝缘子串倾斜故障判断过程。

1、获取待检测图像。

该步骤的目的是，通过无人机航拍、在悬垂绝缘子串处固定安装相机或者其它方法，获取输电线路上悬垂绝缘子串的待检测图像。

2、目标检测。

该步骤的目的是，借助目标检测网络，确定待检测图像中是否存在悬垂绝缘子串，然后按照悬垂绝缘子串的位置区域，剪裁待检测图像获得悬垂绝缘子串图像。

本发明所采用的目标检测网络，为图2所示的已训练好的SSD深度神经网络，其训练过程为：

首先，需构建悬垂绝缘子串数据集，该数据集由大量包括了绝缘子串的图像构成，如天空、河流、山林等不同环境背景下的绝缘子串图像，以及不同天气条件下的绝缘子串图像。图像中的绝缘子串需包括如图3(a)所示正常悬垂绝缘子串，还需包括如图3(b)所示发生了倾斜故障的悬垂绝缘子串。若不同类别样本数量差别较大，则采用旋转、翻转、噪声等样本增容方法进行调整，以确保各类样本数量分布均衡。

获得悬垂绝缘子串数据集后，以该数据集训练并获得SSD深度神经网络模型，SSD模型的初始化参数为预置参数，参数更新方式为随机梯度下降方式，初始学习速率为0.005，损失评价函数为交叉熵函数，训练步数为10万步，当损失函数小于1或步数达到10万步时停止训练，并认为成功得到了预期模型。当然，SSD深度神经网络模型的训练还可以按照其它合理方法完成。

利用训练好的SSD深度神经网络模型对待检测图像进行检测，判断待检测图像中是否存在悬垂绝缘子串，当检测过程中的置信度大于置信度设定值50％时，则认定待检测图像中存在悬垂绝缘子串，并确定悬垂绝缘子串的位置，获得如图4所示图像。当然，检测过程中的置信度设定值还可以根据所建立的神经网络的检测精度，以及其它影响因素选取不同值。

在确定了待检测图像中每个悬垂绝缘子串的位置后，以平行于待检测图像边缘线的矩形框对待检测图像进行剪裁，可获得如图5(a)所示的对图4中右侧悬垂绝缘子串剪裁后的图像，以及其它悬垂绝缘子串的图像。

当然，在对悬垂绝缘子串进行剪裁时，也可以选取不平行于待检测图像边缘线的矩形框对待检测图像进行剪裁，只需保证用来对待检测图像进行剪裁的每个矩形框的对应边缘线平行即可；以及可确定的是，还可以采用其它合适的剪裁方法。

或者，也可以仅仅确定每个悬垂绝缘子串的位置范围，而不再对待检测图像进行剪裁。

3、直线检测。

该步骤的目的是，对剪裁得到的悬垂绝缘子串的图像进行处理，确定图像中悬垂绝缘子串的中心直线。

以图5(a)所示右侧悬垂绝缘子串的图像为例，首先将图5(a)中所示的该悬垂绝缘子串图像进行二值化处理，然后利用Canny算子对二值化处理后的图像进行边缘检测，获得如图5(b)所示图像。之后，再基于Hough变换对图5(b)中图像进行直线检测，确定图5(b)中所包含的直线区域，并采用最小二乘法对直线区域进行拟合，最终便可确定该悬垂绝缘子串对应的中心直线。

当然，边缘检测还可以利用Sobel算子、Laplacian算子以及小波滤波等其它方法，直线检测还可以利用Freeman等其它检测方法，以及直线拟合还可以采用整体最小二乘法等其它方法。

4、绝缘子串倾斜故障判断。

该步骤的目的是，在确定每个悬垂绝缘子串中心直线后，得出每个中心直线的斜率，然后通过计算不同悬垂绝缘子串中心直线的斜率之间的夹角大小，判断悬垂绝缘子串是否发生倾斜；在计算各悬垂绝缘子串中心直线的斜率时，须保证所建立的对应坐标系是同一坐标系或者可通过平移变换得到的。

确定了图5(b)所示的悬垂绝缘子串的中心直线后，则需要建立直角坐标系，具体是以图像左上角为原点，水平方向为x轴，竖直方向为y轴，自左至右为x轴正方向，自上至下为y轴正方向，最终获得如图6所示坐标轴。记该悬垂绝缘子串中心直线的上端点坐标为(x1,y1)，下端点坐标为(x1′,y1′)，可计算得出该悬垂绝缘子串中心直线的斜率k1为：

按照同样的方法步骤，可计算得出图4中左侧所示悬垂绝缘子串中心直线的斜率k2：

其中，(x2,y2)为该悬垂绝缘子串中心直线上端点的坐标，(x2′,y2′)为该悬垂绝缘子串下端点的坐标。

由于本实施例中对两悬垂绝缘子串进行剪裁的矩形框均是与待检测图像的边缘线平行的，所以可确定本实施例中对两悬垂绝缘子串建立的坐标系是可相互平移得到的。

当然，在以选取不平行于待检测图像边缘线的矩形框对待检测图像进行剪裁时，由于限定了不同矩形框的对应边缘线平行，所以最终对两悬垂绝缘子串建立的坐标系同样是可相互平移得到的。

以及，在选测不对待检测图像进行剪裁时，则可设定整体待检测图像的边缘线分别为x轴以及y轴，以待检测图像的某个角为坐标原点来建立坐标系，此时不同的悬垂绝缘子串都位于同一坐标系中。

在分别确定出两悬垂绝缘子串中心直线的斜率k1以及k2后，通过下式计算悬垂绝缘子串之间夹角：

其中，θ即为两悬垂绝缘子串之间的夹角，当θ>5°时，则悬垂绝缘子串发生倾斜；否则悬垂绝缘子串正常。或者，也可以设定用来进行倾斜故障判断的设定角度值存在选取范围，如选取范围为4°到6°，然后在具体比较时，根据待检测图像的实际情况，在该设定角度值的选取范围内选择一确定值来完成悬垂绝缘子串是否发生倾斜的判断。

本发明提供的系统实施例：

该系统包括处理器以及存储器，存储器通信连接处理器，该处理器用来执行存储于存储器中设定好的悬垂绝缘子串倾斜检测方法，该检测方法实质上就是方法实施例中的倾斜检测方法，由于检测方法的具体内容已在方法实施例中进行了详细介绍，故在此不再赘述。

以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案，在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (10)

1.一种基于图像处理的悬垂绝缘子串倾斜检测方法，其特征在于，该方法包括以下步骤：

1)获取待检测的输电线路巡检图像；

2)采用训练好的目标检测网络对待检测图像进行检测，判断待检测图像中是否存在悬垂绝缘子串，并确定悬垂绝缘子串的位置；

3)对待检测图像中悬垂绝缘子串所在位置的图像区域进行二值化处理，对二值化结果进行直线检测，并通过直线拟合方法得到悬垂绝缘子串中心直线；

4)基于所获得的悬垂绝缘子串中心直线，以悬垂绝缘子串所在图像的坐标系计算悬垂绝缘子串中心直线的斜率，且不同悬垂绝缘子串的坐标系相同或为平移关系；

5)基于所获得的悬垂绝缘子串中心直线的斜率，计算待检测图像中不同悬垂绝缘子串中心直线之间的夹角，并根据所述夹角判断悬垂绝缘子串是否发生倾斜，当所述夹角大于设定角度值时，判断悬垂绝缘子串发生了倾斜，否则判断悬垂绝缘子串未发生倾斜。

2.根据权利要求1所述的检测方法，其特征在于，在二值化处理前，根据悬垂绝缘子串的位置对待检测图像进行裁剪，得到包含有悬垂绝缘子串的子图像，然后对每个子图像进行二值化处理。

3.根据权利要求1所述的检测方法，其特征在于，步骤3)中是基于Hough变换进行的直线检测。

4.根据权利要求3所述的检测方法，其特征在于，步骤3)中在二值化处理后，首先利用Canny算子进行边缘检测，然后再基于Hough变换进行直线检测。

5.根据权利要求1所述的检测方法，其特征在于，步骤5)中，待检测图像中不同悬垂绝缘子串中心直线之间的夹角为：

其中θ为待检测图像中不同悬垂绝缘子串中心直线之间的夹角，k1与k2分别为待检测图像中不同悬垂绝缘子串中心直线的斜率。

6.根据权利要求1所述的检测方法，其特征在于，所述设定角度值为5°。

7.根据权利要求1所述的检测方法，其特征在于，目标检测网络为SSD网络。

8.根据权利要求7所述的检测方法，其特征在于，在步骤2)判断待检测图像中是否存在悬垂绝缘子串的过程中，当置信度大于50％时，认为待检测图像中存在悬垂绝缘子串，否则不存在悬垂绝缘子串。

9.根据权利要求1-8任意一项所述的检测方法，其特征在于，训练数据集由各种背景环境下的悬垂绝缘子串图像构成。

10.一种基于图像处理的悬垂绝缘子串倾斜检测系统，其特征在于，该系统包括处理器以及存储器，所述存储器连接所述处理器，所述处理器用于执行存储于所述存储器中的权利要求1-9中任意一项所述的基于图像处理的悬垂绝缘子串倾斜检测方法。

Images