CN112686334A - 一种对图像中的绝缘子的定位方法 - Google Patents

Abstract

本发明公开了一种对图像中的绝缘子的定位方法，涉及电力设备图像目标定位领域。在对架空线路和杆塔的绝缘子进行污秽、裂纹、爆裂缺失等外部缺陷进行检测前，需要精准定位无人机等装置的采集图像中的绝缘子。本发明步骤为：1)采集绝缘子图像；2)对图像进行扩充；3)利用labelImg工具对采集的图像及扩充图像中绝缘子的位置进行标注；4)构建图像训练集和测试集；5)进行基于改进SSD算法的绝缘子目标模型检测训练；6)对成训练的模型系统进行测试；7)测试通过后，输入实际采集的绝缘子图像进行定位分辨。方便地实现对绝缘子图像进行精准的定位识别，为进一步进行绝缘子外观缺陷检测提供可能。

Description

一种对图像中的绝缘子的定位方法

技术领域

本发明涉及电力设备图像目标定位领域，尤其涉及一种对图像中的绝缘子的定位方法。

背景技术

绝缘子一种有玻璃或陶瓷构成的电力设备，用于增加爬电距离，实现电气绝缘和机械固定。由于绝缘子长期暴露外界，受冰雹等恶劣天气外力破坏、过电压、污损闪络等影响，使得绝缘子掉串或者自爆，无法完成机械支撑和电气绝缘，造成电网安全事故。因此有必要对污秽、裂纹、爆裂缺失等绝缘子外部缺陷进行检测。

在检测之前，首先需要精准定位无人机等装置的采集图像中的绝缘子。现有的基于深度学习的目标定位算法一般通过学习大量的图像完成模型训练，但在实际模型训练中难以收集到大量高质量的绝缘子图像。此外，原SSD算法没有充分考虑上下文信息，导致每个尺度中用于目标检测的信息不够丰富，检测准确性不够高。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种对图像中的绝缘子的定位方法，以实现对图像中绝缘子的精确定位为目的。为此，本发明采取以下技术方案。

一种对图像中的绝缘子的定位方法，包括以下步骤：

1)采集绝缘子图像；

2)采用色彩抖动法、叠加噪声法、裁切混淆法和加权混淆法对图像进行扩充；

3)利用labelImg工具对所有无人机采集图像及扩充图像中绝缘子的位置进行标注；

4)构建图像训练集和测试集；

5)利用训练集进行基于改进SSD算法的绝缘子目标模型检测训练；

6)利用测试集对完成训练的模型系统进行测试；

7)测试通过后，输入实际采集的绝缘子图像进行精确定位分辨。

本方法可方便地实现对绝缘子图像进行精准的定位识别，为进一步进行绝缘子外观缺陷检测提供可能。

作为优选技术手段：步骤2)中，所述的色彩抖动法为通过调整图像的亮度、饱和度和对比度，进行图像的颜色增强。实现颜色增强的图像扩充处理，增加图像样本，便于进行模型训练。

作为优选技术手段：步骤2)中，所述的叠加噪声法是在绝缘子图像上叠加高斯噪声和椒盐噪声。实现噪声叠加图像扩充处理，增加图像样本。

作为优选技术手段：步骤2)中，所述的裁切混淆法是对随机选取绝缘子训练集中的A和B两张图像，随机裁切样本A中一部分矩阵区域C，并保证该矩形区域小于B图像，再将矩形区域C随机覆盖到图像B指定区域上。实现裁切混淆的图像扩充处理，增加图像样本。作为优选技术手段：步骤2)中，所述的加权混淆法是对两张绝缘子图像进行加权求和，生成新的绝缘子样本图像，图像加权混淆公式如下：

其中(p_i,q_i)和(p_j,q_j)是从绝缘子训练数据中随机抽取的两个样本，p为绝缘子图像，q为该图像的标签，λ∈[0,1]，该参数定义了两个样本进行加权求和时各自的权重。实现加权混淆的图像扩充处理，增加图像样本。

作为优选技术手段：步骤5)中，所述的改进SSD算法包括以下步骤：

501)对SSD算法中目标检测特征图f进行两倍上采样后与目标检测特征图e进行融合，作为新的目标检测特征图e’

502)将目标检测特征图e’进行两倍上采样后与目标检测特征图d特征图融合，作为新的目标检测特征图d’

503)将目标检测特征图d’进行两倍上采样后与目标检测特征图c融合，作为新的目标检测特征图c’

504)将目标检测特征图c’进行两倍上采样后与目标检测特征图b融合，作为新的目标检测特征图b’

505)将目标检测特征图b’进行两倍上采样后与目标检测特征图a融合，作为新的目标检测特征图a’

506)在特征图a’、b’、c’、d’、e’、f’上进行目标检测。有效实现SSD算法的改进，提升用于目标检测的特征图中的语义信息。

有益效果：本方法可方便地实现对绝缘子图像进行精准的定位识别，为进一步进行绝缘子外观缺陷检测提供可能。本方法所提基于色彩抖动法、叠加噪声法、裁切混淆法和加权混淆法的绝缘子图像扩充方法，可解决由于数据集不足导致模型过拟合的问题，同时最大程度利用绝缘子图像中的有用信息。其中，由于基于色彩抖动法和叠加噪声法新生成的绝缘子图像与原图像大小一致且绝缘子在图像中位置不变，因此该图像对应的原有标注仍旧能够使用，不必再花费大量时间对新生成图像中绝缘子的位置和类别重新标注，是一种极为省时省力的绝缘子图像扩充方法。此外，在实际图像采集过程中，由于图像传输噪声和光照变化等原因，可能导致所采集的图像存在噪声或者色彩发生变化，因此通过色彩抖动和叠加噪声可使数据集更符合实际情况，增强模型的鲁棒性。基于裁切混淆法的绝缘子图像扩充方法通过将绝缘子图像中的部分区域裁切删除并随机填充训练集中的其他绝缘子图像的区域信息。在此过程中，若填充区域为背景信息且遮盖了原绝缘子区域，则要求模型从局部视图识别对象，能够进一步增强模型的定位能力；若填充信息为新绝缘子信息，则能增强模型对图像中单张图像中存在不同角度、多绝缘子的定位能力。基于加权混淆法的绝缘子图像扩充方法通过对训练集中随机两张绝缘子图像进行加权求和生成新的绝缘子图像，新图像中包含前两张图像中的所有绝缘子，可用于增强模型对于单张图像中存在不同角度、多绝缘子的定位能力。此外，本方法所提基改进SSD算法的绝缘子定位方法，通过对原SSD算法中的特征图进行融合，增加用于目标检测的特征图中的语义信息，提升绝缘子定位准确性。

附图说明

图1是本发明流程示意图。

图2是现有SSD算法的一般流程图。

图3为基于色彩抖动法、叠加噪声法、裁切混淆法和加权混淆法的绝缘子图像扩充方法所生成的绝缘子图像示例。

图4(a)、4(b)、4(c)、4(d)是使用本发明后的定位结果图。

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

如图1所示，一种对图像中的绝缘子的定位方法，包括以下步骤：

1)通过无人机对架空线路和杆塔上的绝缘子进行图像采集；

2)对图像进行扩充：

基于色彩抖动法的绝缘子图像扩充方法对绝缘子数据集进行扩充，色彩抖动主要是在图像的颜色方面做增强，主要调整的是图像的亮度、饱和度和对比度；

基于叠加噪声法的绝缘子图像扩充方法对绝缘子数据集进行扩充，叠加噪声主要包括在绝缘子图像上叠加高斯噪声和椒盐噪声；

基于裁切混淆法的绝缘子图像扩充方法对绝缘子数据集进行扩充，该方法对随机选取绝缘子训练集中的A和B两张图像，随机裁切样本A中一部分矩阵区域C，并保证该矩形区域小于B图像，再将矩形区域C随机覆盖到图像B指定区域上；

基于加权混淆法的绝缘子图像扩充方法对绝缘子数据集进行扩充，是对两张绝缘子图像进行加权求和，生成新的绝缘子样本图像，图像加权混淆公式如下：

其中(p_i,q_i)和(p_j,q_j)是从绝缘子训练数据中随机抽取的两个样本，p为绝缘子图像，q为该图像的标签，λ∈[0,1]，该参数定义了两个样本进行加权求和时各自的权重；

3)完成绝缘子图像扩充后，利用labelImg工具对所有无人机采集图像及扩充图像中绝缘子的位置进行标注；

4)构建图像训练集和测试集，用于训练基于改进SSD算法的绝缘子目标检测模型；

5)利用训练集进行基于改进SSD算法的绝缘子目标模型检测训练，如图2所示为供参考的SSD算法的一般流程图，改进SSD算法是为提升用于目标检测的特征图中的语义信息，改进SSD算法包括以下步骤：

501)对SSD算法中目标检测特征图f进行两倍上采样后与目标检测特征图e进行融合，作为新的目标检测特征图e’；

502)将目标检测特征图e’进行两倍上采样后与目标检测特征图d特征图融合，作为新的目标检测特征图d’；

503)将目标检测特征图d’进行两倍上采样后与目标检测特征图c融合，作为新的目标检测特征图c’；

504)将目标检测特征图c’进行两倍上采样后与目标检测特征图b融合，作为新的目标检测特征图b’；

505)将目标检测特征图b’进行两倍上采样后与目标检测特征图a融合，作为新的目标检测特征图a’；

506)在特征图a’、b’、c’、d’、e’、f’上进行目标检测；

6)利用测试集对完成训练的模型系统进行测试；

7)测试通过后，输入实际采集的绝缘子图像进行精确定位分辨。

本方法可方便地实现对绝缘子图像进行精准的定位识别，为进一步进行绝缘子外观缺陷检测提供可能。

如图3所示，为绝缘子图像示例，其基于色彩抖动法、叠加噪声法、裁切混淆法和加权混淆法的绝缘子图像扩充方法生成的绝缘子图像。

如图4(a)、4(b)、4(c)、4(d)所示，为基于本方法的绝缘子定位结果图。由图可直观得知，本方法可完成不同背景、不同角度图像中不同大小的多个绝缘子的准确定位。

以上图1所示的一种对图像中的绝缘子的定位方法是本发明的具体实施例，已经体现出本发明突出的实质性特点和显著进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (6)

1.一种对图像中的绝缘子的定位方法，其特征在于包括以下步骤：

1)采集绝缘子图像；

2)采用色彩抖动法、叠加噪声法、裁切混淆法和加权混淆法对图像进行扩充；

3)利用labelImg工具对所有无人机采集图像及扩充图像中绝缘子的位置进行标注；

4)构建图像训练集和测试集；

5)利用训练集进行基于改进SSD算法的绝缘子目标模型检测训练；

6)利用测试集对完成训练的模型系统进行测试；

7)测试通过后，输入实际采集的绝缘子图像进行精确定位分辨。

2.根据权利要求1所述的一种对图像中的绝缘子的定位方法，其特征在于：步骤2)中，所述的色彩抖动法为通过调整图像的亮度、饱和度和对比度，进行图像的颜色增强。

3.根据权利要求1所述的一种对图像中的绝缘子的定位方法，其特征在于：步骤2)中，所述的叠加噪声法是在绝缘子图像上叠加高斯噪声和椒盐噪声。

4.根据权利要求1所述的一种对图像中的绝缘子的定位方法，其特征在于：步骤2)中，所述的裁切混淆法是对随机选取绝缘子训练集中的A和B两张图像，随机裁切样本A中一部分矩阵区域C，并保证该矩形区域小于B图像，再将矩形区域C随机覆盖到图像B指定区域上。

5.根据权利要求1所述的一种对图像中的绝缘子的定位方法，其特征在于：步骤2)中，所述的加权混淆法是对两张绝缘子图像进行加权求和，生成新的绝缘子样本图像，图像加权混淆公式如下：

其中(p_i,q_i)和(p_j,q_j)是从绝缘子训练数据中随机抽取的两个样本，p为绝缘子图像，q为该图像的标签，λ∈[0,1]，该参数定义了两个样本进行加权求和时各自的权重。

6.根据权利要求1所述的一种对图像中的绝缘子的定位方法，其特征在于：步骤5)中，所述的改进SSD算法包括以下步骤：

501)对SSD算法中目标检测特征图f进行两倍上采样后与目标检测特征图e进行融合，作为新的目标检测特征图e’

502)将目标检测特征图e’进行两倍上采样后与目标检测特征图d特征图融合，作为新的目标检测特征图d’

503)将目标检测特征图d’进行两倍上采样后与目标检测特征图c融合，作为新的目标检测特征图c’

504)将目标检测特征图c’进行两倍上采样后与目标检测特征图b融合，作为新的目标检测特征图b’

505)将目标检测特征图b’进行两倍上采样后与目标检测特征图a融合，作为新的目标检测特征图a’

506)在特征图a’、b’、c’、d’、e’、f’上进行目标检测。

Images