CN116071299A - 一种绝缘子rtv喷涂缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种绝缘子RTV喷涂缺陷检测方法及系统，包括：获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。本发明实现绝缘子RTV喷涂缺陷的自动化检测，同时可检测多种喷涂缺陷。通过图像处理来自动检测已喷涂RTV涂料的绝缘子涂层上5种缺陷。

Description

一种绝缘子RTV喷涂缺陷检测方法及系统

技术领域

本发明属于图像处理技术领域，涉及一种绝缘子RTV喷涂缺陷检测方法及系统。

技术背景

绝缘子污闪是电力系统发生大面积停电事故的主要原因，同时其对社会的经济也会造成巨大损失。因此，绝缘子污闪已经成为影响电网安全稳定运行的严重障碍。室温硫化硅橡胶(Room Temperature Silicone Rubber)即RTV防污闪涂料以其优良的憎水性和憎水迁移性被广泛应用于陶瓷和玻璃绝缘子上以提高其耐污闪能力。但是，由于绝缘子长期工作于室外复杂环境，因此绝缘子RTV涂层经常会发生破损，老化等问题。为保障电力系统的安全，对于涂层存在缺陷的绝缘子，则会重新喷涂RTV涂料。在喷涂后，电力运维人员会对喷涂质量进行检测，避免因喷涂质量问题影响电力设备的正常工作。现阶段，大部分地方对于RTV喷涂质量的检测还是采用最原始的检测方法即目测法，运维人员在地面借助设备或攀爬至杆塔上进行观测。这种方法的检测结果容易受到检修人员经验的影响，存在很大的不确定性，无法得到可靠的评估结果，而且检测效率低，危险系数较高。

目前，绝缘子RTV喷涂缺陷的检测方法存在无法自动化实现、只可检测RTV涂层脱落或RTV涂层未喷涂这两种缺陷等问题。例如，申请公开号为CN105300323A，名称为“绝缘子RTV涂层脱落面积检测方法及检测装置”的专利申请，实现步骤为：去除绝缘子表面污秽；采用有色液体涂抹绝缘子表面RTV缺损部位；涂抹完所有缺损部位后，将空白的环形宣纸套上绝缘子表面；将拓上有色液体印迹的环形状宣纸摊平后放置在平台上，通过图像采集装置采集宣纸图像，并将采集到的图像发送给计算机；计算机对宣纸上的有色液体印迹进行轮廓提取和区域划分，识别有色液体印迹区域，通过计算像素点数量确定有色液体印迹区域面积，即绝缘子上表面RTV涂层破损的面积。该方法虽然可以计算出绝缘子RTV涂层缺陷的面积，但方法无法自动化实现，很难满足实际应用需求。申请公开号为CN111008967A，名称为“一种绝缘子RTV涂层缺陷识别方法”的专利申请，实现步骤为：采集含有绝缘子RTV涂层缺陷的图像，并对图像进行灰度化和中值滤波操作以提高图像的质量；利用最大类间方差法对预处理过后的绝缘子图像进行二值化处理，分割出绝缘子区域和RTV涂层缺陷区域；计算二值化图像中绝缘子的半径，根据钢帽直径占绝缘子盘径的百分比计算出钢帽的半径，再通过过滤函数计算RTV涂层脱落区域面积，最后计算涂层脱落面积占绝缘子盘面面积的百分比。该方法虽然能够正确分割出绝缘子RTV涂层脱落区域并计算其涂层脱落面积占比，但是该方法仅能检测RTV涂层脱落这一种缺陷，很难满足实际应用需求。申请公开号为CN113920450A，名称为“基于本征图像分解的绝缘子RTV涂层识别方法及装置”的专利申请，实现步骤为：采用目标检测的方法提取出候选绝缘子串；并提取所述候选绝缘子串拍摄点图片对应的目标绝缘子串；之后扩张所述目标绝缘子串的边界，在原始图片上切出目标绝缘子串对应位置的局部图像；对所述局部图像进行本征图像分解；并以所述本征图像分解得到的反射率图像作为输入，进行绝缘子RTV细粒度分类，确定绝缘子是否涂有RTV。该方法虽然可以检测绝缘子是否涂有RTV，但是该方法仅可检测RTV涂层未喷涂这一种缺陷，很难满足实际应用需求。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种绝缘子RTV喷涂缺陷检测方法及系统，旨在保证检测准确率的前提下，实现绝缘子RTV喷涂缺陷的自动化检测，同时可检测多种喷涂缺陷。

为实现上述目的，本发明采取的技术方案包括如下步骤：

一种绝缘子RTV喷涂缺陷检测方法，包括：

获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；

将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；

以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；

将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。

作为本发明的进一步改进，所述获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集，包括：

(1a)采用数码相机采集喷涂过RTV涂料的绝缘子图像，并使用图像标签标注工具标注绝缘子RTV喷涂区域，得到第一标签文件，然后将所有的第一标签文件转换为训练语义分割网络所需要的第一标签图；

(1b)使用图像分块的方法将标注过的图像和第一标签图切割成小图像块，其切割过程经过padding和切割两个步骤：先在图像的右侧和下侧分别填充0像素，直至图像的宽、高均是a的整数倍，再将图像切割为若干个a×a的无重叠区域；然后所有标注过的图像和对应的标签图构成绝缘子RTV喷涂图像数据集。

作为本发明的进一步改进，所述绝缘子RTV喷涂区域分割网络模型的训练方法包括：

(2a)构建采用编码器-解码器结构的深度学习分割网络模型，编码器包含Xception模块、ASPP空洞空间金字塔池化模块、通道拼接层和卷积模块，用于获得不同尺度的卷积特征图，提取细节信息进行绝缘子边界分割；解码器部分包含卷积模块、上采样层、通道拼接层和卷积模块，用于逐步恢复空间维度和绝缘子细节，输出同尺寸的绝缘子RTV喷涂区域分割结果图；

(2b)模型训练，设置网络训练参数，并将绝缘子RTV喷涂图像数据集中的训练样本输入深度学习分割网络模型进行训练，得到训练的绝缘子RTV喷涂区域分割网络模型。

作为本发明的进一步改进，所述深度学习分割网络模型采用解码器来细化分割效果以及恢复分割对象边界，其过程如下：解码器首先对编码器末端的输出特征图使用双线性插值方法进行4倍上采样；其次，对来自Xception模块的具有相同空间分辨率的低级特征图应用1×1卷积，并将1×1卷积后的特征图与4倍上采样结果使用通道拼接层连接；然后对拼接结果使用3×3卷积来细化特征，最后，对3×3卷积后的特征图再进行4倍双线性插值上采样，得到最终的分割结果。

作为本发明的进一步改进，所述将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；包括：

先将绝缘子RTV喷涂图像数据集中的小图像块依次传入预先训练的绝缘子RTV喷涂区域分割网络模型中，进行预测得到小块预测图，然后将每个小块预测图依次拼接为与原始图像相同分辨率的大预测图，最后再裁去padding部分即可获得最终的分割结果图。

作为本发明的进一步改进，所述以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；包括：

在所述分割结果图上进一步标注不同的喷涂缺陷，得到第人标签文件，再分割得到第二标签图，使用图像分块的方法生成绝缘子RTV喷涂缺陷图像数据集。

作为本发明的进一步改进，所述绝缘子RTV喷涂缺陷检测网络模型的训练过程包括：

(4a)构建采用编码器-解码器结构的深度学习缺陷检测网络模型，编码器为去掉网络末端全局平均池化层和全连接层的ResNet50模块，其包含了卷积层和全连接层，用于提取多尺度的特征信息进行RTV喷涂缺陷边界分割；解码器用于逐步恢复空间维度和RTV喷涂缺陷细节，输出绝缘子RTV喷涂缺陷检测结果图；

(4b)模型训练，设置网络训练参数，并将绝缘子RTV喷涂缺陷图像数据集中的训练样本输入绝缘子RTV喷涂缺陷检测网络模型进行训练，得到学习后的绝缘子RTV喷涂缺陷检测网络模型，用于输出绝缘子RTV喷涂缺陷结果，并将绝缘子RTV喷涂缺陷在图像上以不同的颜色标识。

作为本发明的进一步改进，所述深度学习缺陷检测网络模型采用编码器和解码器进行处理，具体包括：

编码器对输入图像进行不同尺度的特征提取，其过程分为五个阶段：第一阶段对输入图像进行卷积、批量归一化、ReLU和最大池化操作；第二至第五阶段都由瓶颈结构组成，对预处理图像进行四个阶段的特征细节提取，得到四组不同尺度的特征图；然后解码器将来自编码器末端的输出特征图通过五个阶段的上采样和卷积操作等逐步恢复至原始分辨率，其过程如下：每个阶段先对来自上一阶段的输出特征图进行2倍双线性插值上采样；其次，将上采样结果与编码器对应位置的输出特征图使用通道拼接层连接，然后将拼接结果使用两个3×3卷积来细化特征，再将卷积后的结果经过ReLU操作传输至下一阶段，如此重复多次；最后，将解码器最后一个阶段的输出特征图经过一个1×1卷积层把64维通道特征图转化为6维通道特征图，分割类别数为6，包括5种喷涂缺陷和背景，获得最终的检测结果。

作为本发明的进一步改进，所述将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果，包括：

先将绝缘子RTV喷涂缺陷图像数据集中小图像块依次传入绝缘子RTV喷涂缺陷检测网络模型进行预测得到小块预测图，然后将每个小块预测图依次拼接为与原始图像相同分辨率的大预测图，最后再裁去padding部分后获得最终的预测结果。

一种绝缘子RTV喷涂缺陷检测系统，包括：

获取模块，用于获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；

分割模块，用于将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；

标注模块，用于以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；

检测模块，用于将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。

本发明与现有技术相比，具有如下优点：

本发明使用训练好的绝缘子RTV喷涂区域分割网络模型完成对各种复杂环境中绝缘子RTV喷涂区域的分割；然后将分割结果图输入训练好的绝缘子RTV喷涂缺陷检测网络模型即可得到缺陷检测结果。采用这种方式无需人工在现场凭借经验使用人眼去评估绝缘子RTV喷涂的喷涂质量，只需使用摄像头将需要评估的绝缘子进行多角度拍摄，大大减少电力检修和维护的难度，且后续工作只需将图像输入模型即可得到绝缘子RTV喷涂缺陷的检测结果。使用该方法提高了绝缘子RTV喷涂质量评估的效率，而且准确率高，满足实际应用场景。

进一步，本发明构建了一种绝缘子RTV喷涂区域分割网络模型，模型采用一个简单且有效的解码器来细化分割效果以及恢复分割对象边界，采用该网络训练好的模型可完成对各种复杂环境中绝缘子RTV喷涂区域的自动化分割，且分割准确率高。

进一步，本发明构建了一种绝缘子RTV喷涂缺陷检测网络模型，模型采用了一个网络层数深且特征提取能力强的编码器和一个简单有效的解码器，采用该网络训练好的模型可完成对绝缘子RTV喷涂区域中缺陷的自动化检测，且缺陷检测的准确率高，有效解决了现有技术存在无法自动化实现的问题。

进一步，本发明可检测绝缘子RTV喷涂缺陷的种类共有5种，其分别为accumulation(堆积)、disease(杂质)、drip(伞裙拉丝滴流)、unprinted(未喷涂)和variety(覆盖不均匀)，有效解决了现有技术存在只可检测RTV喷涂脱落或RTV喷涂未喷涂这两种缺陷的问题。

附图说明

图1是本发明的实现绝缘子RTV喷涂缺陷检测方法流程图；

图2是本发明的实验样本1号绝缘子原图、绝缘子RTV喷涂区域分割图、绝缘子RTV喷涂缺陷区域标签图以及缺陷检测图的对比图；

图3是本发明的实验样本1号绝缘子单个RTV喷涂缺陷区域检测图，其所表示的缺陷从左至右依次是accumulation(堆积)、disease(杂质)、drip(伞裙拉丝滴流)和variety(覆盖不均匀)；

图4是本发明的实验样本2号绝缘子原图、绝缘子RTV喷涂区域分割图、绝缘子RTV喷涂缺陷区域标签图以及缺陷检测图的对比图；

图5是本发明的实验样本2号绝缘子单个RTV喷涂缺陷区域检测图，其所表示的缺陷从左至右依次是accumulation(堆积)、disease(杂质)、unprinted(未喷涂)和variety(覆盖不均匀)；

图6是本发明的实验样本3号绝缘子原图、绝缘子RTV喷涂区域分割图、绝缘子RTV喷涂缺陷区域标签图以及缺陷检测图的对比图；

图7是本发明的实验样本3号绝缘子单个RTV喷涂缺陷区域检测图，其所表示的缺陷从左至右依次是disease(杂质)和variety(覆盖不均匀)。

图8为本发明绝缘子RTV喷涂缺陷检测系统框图；

图9为一种电子设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明具体涉及一种绝缘子RTV喷涂缺陷检测方法，方法包括：一、采集绝缘子RTV喷涂区域图像，对喷涂区域进行标注获得标签图，并利用图像分块的方法切割所有图像和对应的标签图，生成绝缘子RTV喷涂图像数据集；二、构建绝缘子RTV喷涂区域分割网络模型，完成模型训练与学习，该模型可将绝缘子RTV喷涂区域从背景图像中分割出来；三、在绝缘子RTV喷涂图像数据集上，标注5种喷涂缺陷，并利用图像分块的方法切割所有图像和对应的标签图，生成绝缘子RTV喷涂缺陷图像数据集；四、构建绝缘子RTV涂层缺陷检测网络模型，完成模型训练与学习，该模型可以将绝缘子RTV喷涂缺陷在图像上以不同的颜色标识出来。本发明提供了一种自动检测绝缘子RTV喷涂缺陷的方法，准确性高、可降低人工成本。可用于电力设备检修、维护等领域。以下给出多种实施例继续说明。

实施例1

如图1所示，一种绝缘子RTV喷涂缺陷检测方法，包括：

获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；

将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；

以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；

将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。

使用该方法提高了绝缘子RTV喷涂质量评估的效率，而且准确率高，满足实际应用场景。

实施例2

一种绝缘子RTV喷涂缺陷检测方法，包括如下步骤：

(1)绝缘子RTV喷涂图像数据集的获取：

(1a)采用数码相机采集喷涂过RTV涂料的绝缘子图像，并使用Labelme图像标签标注工具标注绝缘子RTV喷涂区域，得到位深度为8的png格式标签图。

(1b)采用图像分块方法将标注过的图像和对应的标签图切割成大小均为512×512的图像块，并将所有标注过的图像和对应的标签图均按照8:1:1的比例划分为训练样本、验证样本和测试样本，构成绝缘子RTV喷涂图像数据集。

(2)构建绝缘子RTV喷涂区域分割网络模型：

(2a)构建采用编码器-解码器结构的深度学习绝缘子RTV喷涂区域分割网络模型，编码器包含Xception模块、ASPP空洞空间金字塔池化模块、通道拼接层和1×1卷积模块，用于获得不同尺度的卷积特征图，提取细节信息进行绝缘子边界分割；解码器部分包含1×1卷积模块、4倍上采样层、通道拼接层和3×3卷积模块，用于逐步恢复空间维度和绝缘子细节，输出同尺寸的绝缘子RTV喷涂区域分割结果图。

(2b)模型训练，设置网络训练参数，并将绝缘子RTV喷涂图像数据集中的训练样本输入绝缘子RTV喷涂区域分割网络模型进行训练，得到学习后的网络模型，该模型可以将绝缘子RTV喷涂区域从背景图像中分割出来。

(3)绝缘子RTV喷涂缺陷图像数据集的获取：

在绝缘子RTV喷涂图像数据集的分割结果图上进一步标注5种喷涂缺陷，即accumulation(堆积)、disease(杂质)、drip(伞裙拉丝滴流)、unprinted(未喷涂)和variety(覆盖不均匀)，得到位深度为8的png格式标签图。然后使用步骤(1b)中所述方法生成绝缘子RTV喷涂缺陷图像数据集。

(4)构建绝缘子RTV喷涂缺陷检测网络模型：

(4a)构建采用编码器-解码器结构的深度学习绝缘子RTV喷涂缺陷检测网络模型，编码器为去掉网络末端全局平均池化层和全连接层的ResNet50模块，其包含了49个卷积层和1个全连接层，用于提取多尺度的特征信息进行RTV喷涂缺陷边界分割。解码器部分包含3×3卷积模块、2倍上采样层、1×1卷积模块，用于逐步恢复空间维度和RTV喷涂缺陷细节，输出绝缘子RTV喷涂缺陷检测结果图。

(4b)模型训练，设置网络训练参数，并将绝缘子RTV喷涂缺陷图像数据集中的训练样本输入绝缘子RTV喷涂缺陷检测网络模型进行训练，得到学习后的网络模型，该模型可以将绝缘子RTV喷涂缺陷在图像上以不同的颜色标识出来。

实施例3

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

(1)获取绝缘子RTV喷涂图像数据集：

(1a)采用数码相机采集喷涂过RTV涂料的绝缘子图像，并使用Labelme图像标签标注工具标注绝缘子RTV喷涂区域，得到json格式的第一标签文件，然后使用json_to_dataset程序将所有的json第一标签文件转换为训练语义分割网络所需要的位深度为8的png格式的第一标签图，其中由于绝缘子钢帽区域不具备绝缘性能，在标注过程中仅标注盘面区域。

步骤(1a)所述绝缘子区域仅包含绝缘子盘面区域即去掉钢帽后的其它表面区域。

(1b)使用图像分块的方法将标注过的图像和第一标签图切割成大小均为512×512的小图像块，其切割过程经过padding和切割两个步骤，先在图像的右侧和下侧分别填充0像素，直至图像的宽、高都是512的整数倍，再将图像切割为若干个512×512的无重叠区域。然后将所有标注过的图像和对应的标签图均按照8:1:1的比例划分为训练样本、验证样本和测试样本，构成绝缘子RTV喷涂图像数据集。

步骤(1b)所述图像分块方法包括填充和切割两个操作，先在图像的右侧和下侧分别填充0像素，直至图像的宽、高都是512的整数倍，再将图像切割为若干个512×512的无重叠区域。

(2)构建绝缘子RTV喷涂区域分割网络模型：

(2a)构建采用编码器-解码器结构的深度学习分割网络模型，编码器包含Xception模块、ASPP空洞空间金字塔池化模块、通道拼接层和1×1卷积模块，用于获得不同尺度的卷积特征图，提取细节信息进行绝缘子边界分割；解码器包含1×1卷积模块、4倍上采样层、通道拼接层和3×3卷积模块，用于逐步恢复空间维度和绝缘子细节，输出同尺寸的绝缘子分割结果图。其中，模型的推理过程如下，编码器部分：绝缘子图像经过特征提取网络即Xception模块输出低级和高级特征图；然后高级特征图进入ASPP(Atrous SpatialPyramid Pooling)即空洞空间金字塔池化模块获得五个不同尺度的卷积特征图；最后五个卷积特征图在通道维度上进行拼接，并将得到的结果通过一个1×1的卷积层实现通道数的降维。解码器部分：首先对来自编码器末端的输出特征图使用双线性插值方法进行4倍上采样；其次，对来自Xception模块的具有相同空间分辨率的低级特征图应用1×1卷积以减少通道数量，并将1×1卷积后的特征图与4倍上采样结果使用通道拼接层连接起来。然后对拼接结果使用3×3卷积来细化特征，最后，对3×3卷积后的特征图再进行4倍双线性插值上采样，得到最终的分割结果。

步骤(2a)所述模型采用了一个简单而且有效的Decoder即解码器来细化分割效果以及恢复分割对象边界，其过程如下：解码器首先对编码器末端的输出特征图使用双线性插值方法进行4倍上采样；其次，对来自Xception模块的具有相同空间分辨率的低级特征图应用1×1卷积以减少通道数量，并将1×1卷积后的特征图与4倍上采样结果使用通道拼接层连接起来。然后对拼接结果使用3×3卷积来细化特征，最后，对3×3卷积后的特征图再进行4倍双线性插值上采样，得到最终的分割结果。

(2b)分割网络模型的训练和预测：网络训练参数如下，训练次数epoch设为200，batchsize设为16，初始学习率为0.0001，初始动量为0.9，模型的损失函数选择交叉熵损失函数，优化器选择adam。模型训练过程：将训练样本输入构建的深度学习分割网络模型进行训练，利用验证样本进行验证，得到优化的绝缘子RTV喷涂区域分割网络模型。模型预测过程：先将采集获得的大分辨率图像使用步骤(1b)所述图像分块方法切割为小图像块依次传入绝缘子RTV喷涂区域分割网络模型进行预测得到小块预测图，然后将每个小块预测图依次拼接为与原始图像相同分辨率的大预测图，最后再裁去padding部分即可获得最终的预测结果。部分实验样本绝缘子分割结果图和绝缘子原图对比如图2、4和6所示。

步骤(2b)所述网络参数包括：训练次数epoch设为200，batchsize设为16，初始学习率为0.0001，初始动量为0.9，使用交叉熵损失函数，同时选择adam优化器优化算法进行训练。

(3)获取缘子RTV喷涂缺陷数据集：

(3a)在绝缘子RTV喷涂图像数据集的分割结果图上进一步标注5种喷涂缺陷，即accumulation(堆积)、disease(杂质)、drip(伞裙拉丝滴流)、unprinted(未喷涂)和variety(覆盖不均匀)，得到json格式的第二标签文件，然后使用json_to_dataset程序将所有的json第二标签文件转换为训练语义分割网络所需要的位深度为8的png格式的第二标签图。

(3b)使用图像分块的方法将标注过的图像和对应的第二标签图切割成大小均为512×512的小图像块，其切割过程经过padding和切割两个步骤，先在图像的右侧和下侧分别填充0像素，直至图像的宽、高都是512的整数倍，再将图像切割为若干个512×512的无重叠区域。然后将所有标注过的图像和对应的标签图均按照8:1:1的比例划分为训练样本、验证样本和测试样本，构成绝缘子RTV喷涂缺陷图像数据集。

(4)构建采用编码器-解码器结构的绝缘子RTV喷涂缺陷检测模型：

(4a)构建采用编码器-解码器结构的深度学习绝缘子RTV喷涂缺陷检测网络模型，编码器为去掉网络末端全局平均池化层和全连接层的ResNet50模块，其包含了49个卷积层和1个全连接层，用于提取多尺度的特征信息进行RTV喷涂缺陷边界分割。解码器包含3×3卷积模块、2倍上采样层、1×1卷积模块，用于逐步恢复空间维度和RTV喷涂缺陷细节，输出绝缘子RTV喷涂缺陷检测结果图。其中，模型的推理过程如下：编码器部分：首先，对输入图像进行不同尺度的特征提取，其过程分为五个阶段：第一阶段，512×512大小的图像经过包括步长为2、输出通道数为64的7×7卷积和步长为2的3×3最大池化等操作输出大小为256×256的预处理图像；第二至第五阶段都由Bottleneck即瓶颈结构组成，主要对预处理图像进行四个阶段的特征细节提取，获得四组不同尺度的特征图，其依次是通道数为256、大小为128×128，通道数为512、大小为64×64，通道数为1024、大小为32×32，通道数为2048、大小为16×16的特征图。解码器部分：将来自编码器末端的输出特征图通过五个阶段的上采样和卷积操作等逐步恢复至原始分辨率，其过程如下：每个阶段先对来自上一阶段的输出特征图进行2倍双线性插值上采样；其次，将上采样结果与编码器对应位置的输出特征图使用通道拼接层连接起来，然后将拼接结果使用两个3×3卷积来细化特征，再将卷积后的结果经过ReLU操作传输至下一阶段，如此重复五次，获得五组不同尺度的特征图，其依次是通道数为512、大小为32×32，通道数为256、大小为64×64，通道数为128，大小为64×64，通道数为64、大小为256×256，通道数为64、大小为512×512的特征图。最后，将解码器最后一个阶段的输出特征图经过一个1×1卷积层把64维通道特征图转化为6维通道特征图(分割类别数为6，包括5种喷涂缺陷和背景)，同时1×1卷积层输出的特征图再通过Softmax分类器逐一对每个像素点进行分类，获得最终的检测结果。

步骤(4a)所述模型采用了一个网络层数深且特征提取能力强的Encoder即编码器和一个简单有效的Decoder即解码器。首先，编码器对输入图像进行不同尺度的特征提取，其过程分为五个阶段：第一阶段的结构最简单，主要对输入图像进行卷积、批量归一化、ReLU和最大池化操作，相当于对图像的预处理；第二至第五阶段都由Bottleneck即瓶颈结构组成，主要对预处理图像进行四个阶段的特征细节提取，得到四组不同尺度的特征图。然后解码器将来自编码器末端的输出特征图通过五个阶段的上采样和卷积操作等逐步恢复至原始分辨率，其过程如下：每个阶段先对来自上一阶段的输出特征图进行2倍双线性插值上采样；其次，将上采样结果与编码器对应位置的输出特征图使用通道拼接层连接起来，然后将拼接结果使用两个3×3卷积来细化特征，再将卷积后的结果经过ReLU操作传输至下一阶段，如此重复五次；最后，将解码器最后一个阶段的输出特征图经过一个1×1卷积层把64维通道特征图转化为6维通道特征图(分割类别数为6，包括5种喷涂缺陷和背景)，获得最终的检测结果。

(4b)缺陷检测网络模型的训练和预测：网络训练参数如下，训练次数epoch设为1200，batchsize设为32，初始学习率为0.0001，初始动量为0.9，模型的损失函数选择交叉熵损失函数，优化器选择adam。网络模型训练过程：将训练样本输入构建的绝缘子RTV喷涂缺陷检测网络模型进行训练，利用验证样本进行验证，得到优化的绝缘子RTV喷涂缺陷检测网络模型。

缺陷检测网络模型的预测过程如下，先将分割模型输出的大分辨率预测结果图使用步骤(1b)所述方法切割为小图像块依次传入模型进行预测得到小块预测图，然后将每个小块预测图依次拼接为与原始图像相同分辨率的大预测图，最后再裁去padding部分即可获得最终的预测结果。部分实验样本绝缘子RTV喷涂缺陷检测结果图和缺陷区域标签图对比如图2、4和6所示，单个RTV喷涂缺陷检测结果如图3、5、7所示。

步骤(4b)所述网络训练参数除训练次数epoch设为1200外，其余参数与权利要求5中所述的参数设置一致。

综上所述，本发明公开了一种绝缘子RTV喷涂缺陷检测方法，构建了一种绝缘子RTV喷涂区域分割网络模型，可以完成复杂环境中绝缘子RTV喷涂区域的分割，同时在分割结果的基础上，构建了一种绝缘子RTV喷涂缺陷检测网络模型，能够对绝缘子5种RTV喷涂缺陷进行准确地检测。首先，获取绝缘子RTV喷涂图像数据集，构建绝缘子RTV喷涂区域分割网络模型，并将绝缘子RTV喷涂区域从背景图像中分割出来；然后，以分割网络模型的结果为基础，进一步标注5种喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集，并构建绝缘子RTV喷涂缺陷检测网络模型。最后，使用训练好的网络模型检测绝缘子RTV喷涂区域中是否存在上述5种RTV喷涂缺陷。相较于现有方法，本发明采用基于深度学习的方法，在保证检测准确率的前提下，有效地解决了绝缘子RTV喷涂缺陷检测方法存在无法自动化实现、只可检测RTV涂层脱落或RTV涂层未喷涂这两种缺陷等问题。

如图4所示，本发明还提供一种绝缘子RTV喷涂缺陷检测系统，包括：

获取模块，用于获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；

分割模块，用于将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；

标注模块，用于以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；

检测模块，用于将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。

如图5所示，本发明提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述绝缘子RTV喷涂缺陷检测方法的步骤。

所述绝缘子RTV喷涂缺陷检测方法包括以下步骤：

获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；

将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；

以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；

将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。

本发明第还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述绝缘子RTV喷涂缺陷检测方法的步骤。

所述绝缘子RTV喷涂缺陷检测方法包括以下步骤：

获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；

将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；

以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；

将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。

以上示意性地对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的实施方式或方案，均应属于本发明的保护范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种绝缘子RTV喷涂缺陷检测方法，其特征在于，包括：

获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；

将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；

以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；

将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。

2.根据权利要求1所述的一种绝缘子RTV喷涂缺陷检测方法，其特征在于，所述获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集，包括：

(1a)采用数码相机采集喷涂过RTV涂料的绝缘子图像，并使用图像标签标注工具标注绝缘子RTV喷涂区域，得到第一标签文件，然后将所有的第一标签文件转换为训练语义分割网络所需要的第一标签图；

(1b)使用图像分块的方法将标注过的图像和第一标签图切割成小图像块，其切割过程经过padding和切割两个步骤：先在图像的右侧和下侧分别填充0像素，直至图像的宽、高均是a的整数倍，再将图像切割为若干个a×a的无重叠区域；然后所有标注过的图像和对应的标签图构成绝缘子RTV喷涂图像数据集。

3.根据权利要求1所述的一种绝缘子RTV喷涂缺陷检测方法，其特征在于，所述绝缘子RTV喷涂区域分割网络模型的训练方法包括：

(2a)构建采用编码器-解码器结构的深度学习分割网络模型，编码器包含Xception模块、ASPP空洞空间金字塔池化模块、通道拼接层和卷积模块，用于获得不同尺度的卷积特征图，提取细节信息进行绝缘子边界分割；解码器部分包含卷积模块、上采样层、通道拼接层和卷积模块，用于逐步恢复空间维度和绝缘子细节，输出同尺寸的绝缘子RTV喷涂区域分割结果图；

(2b)模型训练，设置网络训练参数，并将绝缘子RTV喷涂图像数据集中的训练样本输入深度学习分割网络模型进行训练，得到训练的绝缘子RTV喷涂区域分割网络模型。

4.根据权利要求3所述的一种绝缘子RTV喷涂缺陷检测方法，其特征在于，所述深度学习分割网络模型采用解码器来细化分割效果以及恢复分割对象边界，其过程如下：解码器首先对编码器末端的输出特征图使用双线性插值方法进行4倍上采样；其次，对来自Xception模块的具有相同空间分辨率的低级特征图应用1×1卷积，并将1×1卷积后的特征图与4倍上采样结果使用通道拼接层连接；然后对拼接结果使用3×3卷积来细化特征，最后，对3×3卷积后的特征图再进行4倍双线性插值上采样，得到最终的分割结果。

5.根据权利要求1所述的一种绝缘子RTV喷涂缺陷检测方法，其特征在于，所述将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；包括：

先将绝缘子RTV喷涂图像数据集中的小图像块依次传入预先训练的绝缘子RTV喷涂区域分割网络模型中，进行预测得到小块预测图，然后将每个小块预测图依次拼接为与原始图像相同分辨率的大预测图，最后再裁去padding部分即可获得最终的分割结果图。

6.根据权利要求1所述的一种绝缘子RTV喷涂缺陷检测方法，其特征在于，所述以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；包括：

在所述分割结果图上进一步标注不同的喷涂缺陷，得到第人标签文件，再分割得到第二标签图，使用图像分块的方法生成绝缘子RTV喷涂缺陷图像数据集。

7.根据权利要求1所述的一种绝缘子RTV喷涂缺陷检测方法，其特征在于，所述绝缘子RTV喷涂缺陷检测网络模型的训练过程包括：

(4a)构建采用编码器-解码器结构的深度学习缺陷检测网络模型，编码器为去掉网络末端全局平均池化层和全连接层的ResNet50模块，其包含了卷积层和全连接层，用于提取多尺度的特征信息进行RTV喷涂缺陷边界分割；解码器用于逐步恢复空间维度和RTV喷涂缺陷细节，输出绝缘子RTV喷涂缺陷检测结果图；

(4b)模型训练，设置网络训练参数，并将绝缘子RTV喷涂缺陷图像数据集中的训练样本输入绝缘子RTV喷涂缺陷检测网络模型进行训练，得到学习后的绝缘子RTV喷涂缺陷检测网络模型，用于输出绝缘子RTV喷涂缺陷结果，并将绝缘子RTV喷涂缺陷在图像上以不同的颜色标识。

8.根据权利要求7所述的一种绝缘子RTV喷涂缺陷检测方法，其特征在于，所述深度学习缺陷检测网络模型采用编码器和解码器进行处理，具体包括：

编码器对输入图像进行不同尺度的特征提取，其过程分为五个阶段：第一阶段对输入图像进行卷积、批量归一化、ReLU和最大池化操作；第二至第五阶段都由瓶颈结构组成，对预处理图像进行四个阶段的特征细节提取，得到四组不同尺度的特征图；然后解码器将来自编码器末端的输出特征图通过五个阶段的上采样和卷积操作等逐步恢复至原始分辨率，其过程如下：每个阶段先对来自上一阶段的输出特征图进行2倍双线性插值上采样；其次，将上采样结果与编码器对应位置的输出特征图使用通道拼接层连接，然后将拼接结果使用两个3×3卷积来细化特征，再将卷积后的结果经过ReLU操作传输至下一阶段，如此重复多次；最后，将解码器最后一个阶段的输出特征图经过一个1×1卷积层把64维通道特征图转化为6维通道特征图，分割类别数为6，包括5种喷涂缺陷和背景，获得最终的检测结果。

9.根据权利要求1所述的一种绝缘子RTV喷涂缺陷检测方法，其特征在于，所述将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果，包括：

先将绝缘子RTV喷涂缺陷图像数据集中小图像块依次传入绝缘子RTV喷涂缺陷检测网络模型进行预测得到小块预测图，然后将每个小块预测图依次拼接为与原始图像相同分辨率的大预测图，最后再裁去padding部分后获得最终的预测结果。

10.一种绝缘子RTV喷涂缺陷检测系统，其特征在于，包括：

获取模块，用于获取喷涂过RTV涂料的绝缘子图像，形成绝缘子RTV喷涂图像数据集；

分割模块，用于将绝缘子RTV喷涂图像数据集输入绝缘子RTV喷涂区域分割网络模型中，将绝缘子RTV喷涂区域从背景图像中进行分割并输出分割结果图；

标注模块，用于以分割结果图为基础，标注喷涂缺陷生成绝缘子RTV喷涂缺陷图像数据集；

检测模块，用于将绝缘子RTV喷涂缺陷图像数据输入绝缘子RTV喷涂缺陷检测网络模型中，输出绝缘子RTV喷涂缺陷检测结果。

Images