CN109800697A - 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法 - Google Patents

Abstract

本发明公开了一种基于VGG‑net风格迁移的变压器目标检测与外观缺陷识别方法，涉及图像识别领域。目前变电站内设备外观状态巡视主要依靠机器人采集图像分析完成，由于图像采集误差，外观检测可能出现偏移，导致外观检测失准；另外，采集的设备图像多为正样本，包含锈蚀、漏油等外观缺陷的负样本较少，会导致模型训练过拟合，泛化能力差，容易造成误检。本方法首先采集样本，构建样本集；然后利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷；而后针对负样本不足的问题，利用基于VGG‑net的风格迁移算法，生成缺陷样本用于扩充样本集，提升判别模型的泛化能力；最后根据Le‑net的判别网络对外观进行检测。精确地实现了变压器目标检测与外观缺陷识别。

Description

基于VGG-net风格迁移的变压器目标检测与外观缺陷识别 方法

技术领域

本发明涉及图像识别领域，尤其涉及基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法。

背景技术

目前，变电设备状态检修技术，主要是根据电压、电流等电气量，油温、油压等物理量的数值、变化来判断设备的运行状况；或是利用检修文本日志，使用自然语言处理与知识图谱技术，对设备的健康状况进行判断。对于高度智能化的变电站，已逐步部署了智能巡检机器人，可以实现自动巡检，采集缺陷图像。对于大多数变电站，工程师通常采用照相机、手持终端、摄像头等工具对变压器的缺陷情况进行图像采集。工程师对图像进行标记，并对缺陷事件进行描述记录在日志中，通常包括漏油、锈蚀、开关开合和零部件损坏等事件。这些图像反映了设备的可靠性缺陷情况，有经验的工程师可以准确地判断图像中的缺陷。然而，各大供电公司中变电设备数量众多，需要花费大量的、有经验丰富的工程师反复巡逻巡检，难以做到实时地或预防性地获取变压器的缺陷状况。目前，巡检机器人、分布式摄像头已经大量的布置于变电站，负责图像的采集、现场的监控。若能使用计算机学习工程师巡检经验，实现对变压器缺陷图像的自动识别，将大大减轻巡检工作量，对变压器的外观缺陷进行全方位地、实时地监测。因此，开发基于图像识别与深度学习技术的变压器缺陷图像识别系统，具有十分重要的意义。对于变电设备，目前主要的分析方式还是以红外图像的分析为主，对可见光图像下设备外观缺陷的分析还存在如下问题：

1、定位不精准。目前变电站内设备外观状态巡视主要依靠机器人采集图像分析完成。设备的定位，一般依靠预先设置的固定区域进行提取，再根据提取目标进行外观检测。然而由于图像采集设备的行进误差，目标设备并不一定出现在采集图像的固定位置，外观检测可能出现偏移，导致外观检测失准。

2、负样本数量不足。监控摄像头、巡视机器人拍摄了大量的设备图像。然而采集的设备图像多为正样本，包含锈蚀、漏油等外观缺陷的负样本较少。负样本数量少会导致模型训练过拟合，泛化能力差，在应用中容易造成误检。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，以精确地实现变压器目标检测与外观缺陷识别为目的。为此，本发明采取以下技术方案。

基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，包括以下步骤：

1)采集样本阶段：利用巡视机器人采集主变样本图像，构成样本集；

2)目标检测阶段：利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷，SSD利用不同层次的卷积层，进行多尺度滑窗目标检测，不同卷积深度的划分细度不同，浅层图网格划分较细致，深层图网格划分较粗略，适应的目标尺度更大，对大尺寸目标和小尺寸目标都有良好的识别能力；

3)外观检测阶段：利用VGG-net的算法，在保留图像内容的情况下，实现风格迁移，图像由纹理与内容两部分构成，通过浅层的卷积层，可以提取到局部表征纹理的特征；

通过深层的卷积层，可以提取到图像的内容特征；

采用一种随机缺陷区域融合方法，以获得较为真实的缺陷图像；采用基于Le-net的判别网络，对图像进行判别。

本方法首先采集样本，构建样本集；其次，利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷；而后针对负样本不足的问题，利用基于VGG-net的风格迁移算法，生成缺陷样本用于扩充样本集，提升判别模型的泛化能力；最后根据Le-net的判别网络对外观进行检测，有效地解决了因图像采集定位不精准和负样本数量不足而存在的图像识别问题，精确地实现了变压器目标检测与外观缺陷识别。

作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征。

作为优选技术手段：

步骤3)中，利用VGG-net的算法，在保留图像内容的情况下，实现风格迁移过程包括：假设某一层得到的响应是其中N^l为l层filter的个数，M^l为filter的大小，F^l _ij表示的是第l层第i个filter在位置j的输出，代表提供内容的图像，表示生成的图像，P^l和F^l分别代表它们对于l层的响应，需要计算第l层的内容损失(Content Loss)为：

某一层的风格可以用来表示，代表提供风格的图像，表示生成的图像，A^l和G^l分别代表它们对于l层的风格，计算l层的风格损失(Style Loss)为：计算总的风格损失：最后计算总Loss：其中的α和β为内容损失与风格的比值，可以根据需要调整。

步骤3)中，正常图像与异常图像进行融合，得到较为真实的异常图像过程采用了一种随机缺陷区域融合方法，以获得较为真实的缺陷图像。

有益效果：有效地解决了因图像采集定位不精准和负样本数量不足而存在的图像识别问题，精确地实现了变压器目标检测与外观缺陷识别。

附图说明

图1是本发明SSD流程图。

图2是本发明风格迁移流程图。

图3是本发明生成图与原始图融合流程图。

图4是本发明Le-net结构图。

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，包括以下步骤：

1)采集样本阶段：利用多个变电站的巡视机器人采集主变样本图像，构成样本集；

2)目标检测阶段：利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷，SSD利用不同层次的卷积层，进行多尺度滑窗目标检测，不同卷积深度的划分细度不同，浅层图网格划分较细致，深层图网格划分较粗略，适应的目标尺度更大，对大尺寸目标和小尺寸目标都有良好的识别能力，SSD工作流程如图1所示。

3)外观检测阶段：变电设备相较于输电设备，存在着负样本数量少，异常区域小的问题。因此本发明利用生成模型，对数据负样本进行扩充，有效地提升模型的泛化能力。本发明采集到许多其他设备的生锈、油污样本，其中包含了纹理特征。

步骤3-1：利用VGG-net的算法，在保留图像内容的情况下，实现风格迁移。图像由纹理与内容两部分构成，通过浅层的卷积层，可以提取到局部表征纹理的特征，通过深层的卷积层，可以提取到图像的内容特征；

步骤3-2：由于在真实情况下，锈斑、漏油位置不固定，而生成的异常图像全图都包含了异常纹理，因此需要将正常图像与异常图像进行融合，得到较为真实的异常图像；

步骤3-3：采用基于Le-net的判别网络，对图像进行判别。

在步骤3-1中，假设某一层得到的响应是其中N^l为l层filter的个数，M^l为filter的大小。F^l _ij表示的是第l层第i个filter在位置j的输出。代表提供内容的图像，表示生成的图像，P^l和F^l分别代表它们对于l层的响应，因此l层的内容损失(ContentLoss)为：

由于图像的内容在深层的网络中提出，因此式(1)中l层即为最深层L。

在步骤3-1中，代表提供风格的图像，表示生成的图像，A^l和G^l分别代表它们对于l层的风格，因此l层的风格损失(StyleLoss)为：

所以总的风格损失为：

总Loss为：

其中的α和β为内容损失与风格的比值，可以根据需要调整。总体风格迁移流程如图2所示。

在步骤3-2中，本发明采用了一种随机缺陷区域融合方法，以获得较为真实的缺陷图像，生成图与原始图融合流程如图3所示。

在步骤3-3中，本发明采用了Le-net的判别网络对外观进行检测，对于局部特征与全局特征，都有良好的拟合能力，其结构如图4所示。

以上图1-4所示的基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法是本发明的具体实施例，已经体现出本发明突出的实质性特点和显著进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (3)

1.基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，其特征在于包括以下步骤：

1)采集样本阶段：利用巡视机器人采集主变样本图像，构成样本集；

2)目标检测阶段：利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷，SSD利用不同层次的卷积层，进行多尺度滑窗目标检测，不同卷积深度的划分细度不同，浅层图网格划分细致，深层图网格划分粗略，；

3)外观检测阶段：利用VGG-net的算法，在保留图像内容的情况下，实现风格迁移，图像由纹理与内容两部分构成，通过浅层的卷积层，以提取到局部表征纹理的特征；

通过深层的卷积层，提取到图像的内容特征；

采用随机缺陷区域融合方法获得缺陷图像；并采用基于Le-net的判别网络，对图像进行判别，识别外观缺陷。

2.根据权利要求1所述的基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，其特征在于：步骤3)中，利用VGG-net的算法时，在保留图像内容的情况下，实现风格迁移过程包括：假设某一层得到的响应是其中N^l为l层filter的个数，M^l为filter的大小，表示的是第l层第i个filter在位置j的输出，代表提供内容的图像，表示生成的图像，P^l和F^l分别代表它们对于l层的响应，需要计算第l层的内容损失(Content Loss)为：

某一层的风格可以用来表示，代表提供风格的图像，表示生成的图像，A^l和G^l分别代表它们对于l层的风格，计算l层的风格损失(Style Loss)为：

计算总的风格损失：

最后计算总Loss：

其中的α和β为内容损失与风格的比值，可以根据需要调整。

3.根据权利要求1所述的基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，其特征在于：步骤3)中，正常图像与异常图像进行融合，得到较为真实的异常图像过程采用了一种随机缺陷区域融合方法，以获得较为真实的缺陷图像。