CN112906769A - 一种基于CycleGAN的输变电设备图像缺陷样本增广方法 - Google Patents

Abstract

基于CycleGAN的输变电设备图像缺陷样本增广方法，包括以下步骤：1、对无人机巡检获取的影像进行标注，根据标注文件将原始影像大图切分出正常部件图片以及缺陷部件图片，并且记录相关的文件信息；2、将正常部件图片以及缺陷部件图片作为训练集输入到CycleGAN进行模型训练，训练得到的CycleGAN模型用来将正常部件图片风格迁移为人工缺陷部件图片；3、根据记录的相关文件信息，将人工缺陷部件图片采用不同的方法融合到原始正常影像大图中；4、依据记录的信息更新标注文件，从而得到了扩充后的带标注文件的数据集。相对常规方法增广和本本方法在缺陷样本数量不足的情况下，增广的缺陷样本集能够将目标检测模型的精度提升2～3％，优于常规数据增强方法。

Description

一种基于CycleGAN的输变电设备图像缺陷样本增广方法

技术领域

本发明属于输变电设备图像检测、模拟领域，更具体地，涉及一种基于 CycleGAN(环形生成对抗网络)深度学习网络的输变电设备图像缺陷样本增广 方法。

背景技术

随着人工智能的发展，输变电设备视频、图像数据的逐渐增加，输变电设 备的状态评估可逐渐被深度学习与计算机视觉等智能化体系所代替，以减轻线 路巡检人员的人工工作强度。然而，深度学习实际上是以数据为导向的一种机 器学习方法，数据集类别不平衡的问题非常常见，这直接影响了数据集质量的 好坏，也决定了深度学习训练的效果。

以无人机电力设备自动巡检的应用为例，无人机对输电线路进行拍照摄 像，获取大量的图片及视频资料，以通过目标检测的方法从这些资料中定位锈 蚀、损坏、异物等设备异常状态。在收集的资料中，大部分为正常样本的图 片，有缺陷部件的图片样本只占少部分，在此情况下，各种类型的缺陷部件的 样本在整个有缺陷部件的图片样本中的比例又是各不相同的，甚至相差悬殊。 也就是说，不仅正常样本图片数据集与缺陷样本图片数据集之间存在类别不平 衡问题，缺陷样本数据集本身内部缺陷样本部件的分布也存在着差异，即类间 不平衡与类内不平衡。类间不平衡导致模型无法从少数样本类中学习到足够多的特征，从而根本无法对少数类进行预测，故这样的模型没有意义，深度学习 的效果也差，因此各种数据增广方法应运而生。

现有技术中，有利用StarGAN多领域的图像迁移学习对人脸表情数据增强 方法的应用，也有利用基于卷积神经网络的DCGAN对医学图像数据增强技术 研究。但上述增强技术过于复杂，训练时间长，且容易出现数据过拟合问题。 本专利所涉及的方法相对常规方法增广和本方法在缺陷样本数量不足的情况 下，增广的缺陷样本集能够将目标检测模型的精度提升2～3％，优于常规数据 增强方法。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种基于 CycleGAN的输变电设备图像缺陷样本增广方法，利用CycleGAN对从正常样 本切分下来的部件图片进行风格迁移并采用多种方法融合到原图，扩充缺陷样 本数据集。-

本发明采用如下的技术方案

一种基于CycleGAN的输变电设备图像缺陷样本增广方法，其特征在于， 输变电设备图像缺陷样本增广方法包含如下步骤：

步骤1：采集输变电设备影像，对影像进行标注并生成标注文件，根据标 注文件将所采集输变电设备影像即原始图片切分出正常部件图片以及缺陷部件 图片，并且记录相关的标注文件信息；

步骤2：将切分出正常部件图片以及缺陷部件图片作为训练集输入到 CycleGAN网络模型进行训练，得到训练后的CycleGAN模型，用来将正常部 件图片风格迁移为人工缺陷部件图片；

步骤3：根据记录的标注文件信息，将步骤2得到的人工缺陷部件图片融合 到原始图片即步骤1所采集的输变电设备影像中；

步骤4：更新标注文件，得到扩充后的带标注文件的数据集。

本发明进一步包括以下优选方案：

步骤1中，通过无人机采集输变电设备影像，采用人工标注缺陷样本和正 常样本，然后裁剪得到缺陷部件样本集和正常部件样本集。

根据标注文件从原始影像切分出正常部件图片以及缺陷部件图片的同时， 所记录的相关的标注文件信息是指每一切分后的部件图片所属原始图片名及其 位置信息。

步骤2中的CycleGAN的损失函数根据以下公式计算：

式中，

和

分别为缺陷部件图片判别网络D_Y和正常部件图片判别网络D_X得到的交叉熵损失函数值，

即两个过程中得到的循环一致性损失函数值之和，λ 为权重；

其中，

指得是第一次循环的损失函数值，

指得是第二 次循环的损失函数值。

λ的值为10。

在步骤3中，先将人工缺陷部件图片的色彩空间从RGB空间转到HSV空 间，然后提取亮度通道V进行直方图规定化，最后将图像还原到RGB空间后再 将原始图片中的对应的缺陷部件图片进行替换。

在步骤3中，将人工缺陷部件图片融合到原始图片后，合成后的图像在目标 区域Ω里的像素值和像素位置关系函数f应符合：

其中：

其中，Ω为将缺陷部件图片融合至原始图片中的目标区域，

为该区域边 界，f^*为目标图像的像素值和像素的位置关系，f为合成后的图像在目标区域Ω 里的像素值和像素位置关系，v为一个引导向量场，

的含义为f和f^*在边界上像素值保持一致。

在计算融合后的图片在融合区域里的像素值和像素位置关系函数f时，将人 工缺陷部件图片图像梯度与原始图片在目标区域的图像梯度中的较大值作为引 导向量场。

在步骤3中，人工缺陷部件图片融合到原始图片的目标区域后，重叠区域左 右边界分别为L和R，在重叠区域，每j列像素点以角度表示为：

人工缺陷部件图片A与原始图片B的权重分别为：

ω＝cos²θ₁

κ＝sin²θ₁

水平方向上融合后的图像C_H表示如下：

C_H＝ωA+κB

同理，其重叠区域上下边界分别为U和D，在重叠区域，第i行像素点以 角度表示为：

图像A与图像B的权重分别为：

δ＝cos²θ₂

γ＝sin²θ₂

垂直方向上融合后的图像C_V表示如下：

C_V＝δA+γB

将两个方向上融合结果C_H和C_V在每个图像通道上像素值的几何平均数作 为最后的融合结果，即：

在步骤4中，更新标注文件，更新后的标注文件信息包括融合后的图片 名、缺陷目标的种类、缺陷目标在图片上的位置信息。

本发明与现有技术相比具有以下有益的技术效果：

电力系统中检查线路是否正常运行是一项十分重要的工作，然而实际电力线 路中缺陷发生率低而造成训练样本难以收集，影响了缺陷检测模型的训练效果。 针对电力行业目标检测模型训练样本不足的情况，与现有技术相比，本专利利用 CycleGAN对从正常样本切分下来的部件图片进行风格迁移并采用多种方法融 合到原图，扩充了缺陷样本数据集。相对常规方法增广和本方法在缺陷样本数量 不足的情况下，增广的缺陷样本集能够将目标检测模型的精度提升2～3％，优于 常规数据增强方法。

附图说明

图1为基于CycleGAN的输变电设备缺陷图像样本增强方法过程；

图2为人工缺陷部件图片及其与原始正常图片的关系示例。

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明 本发明的技术方案，而不能以此来限制本申请的保护范围。

步骤1：对巡检获取的影像进行标注，以此根据标注后的影像将原始图片切 分出正常部件图片以及缺陷部件图片，并且记录相关的文件信息。

数据集包括缺陷部件样本集和正常部件样本集：通过无人机采集输变电设备 影像，采用人工标注缺陷样本和正常样本，然后裁剪得到缺陷部件样本集和正常 部件样本集。为方便后续进行图片融合，根据缺陷部件样本集与正常部件样本集 切分出缺陷部件图片，并记录该部件图片的原始图片名及其位置信息。以防震锤 为例，缺陷和正常部件样本集示例如图2所示。

步骤2：将正常部件图片以及缺陷部件图片作为训练集输入到CycleGAN网 络模型进行训练，训练得到的CycleGAN模型用来将正常部件图片风格迁移为人 工缺陷部件图片。

整个CycleGAN网络的损失函数值可以描述如下：对于来自于正常部件样本 集X域的样本x，输入生成网络G后，得到人工缺陷部件图片G(x)，G(x)和来自 于缺陷部件样本集Y域的样本y同时输入缺陷部件样本集的判别网络D_y让其判 断其是否为真实样本，并据此得到第一个交叉熵损失函数值：

代表来自于缺陷部件样本集Y分布的样本y的 log D_Y(y)的期望值；

代表来自于正常部件样本集X分布的样本x的 log(1-D_Y(G(x))的期望值；

接下来将人工缺陷部件图片G(x)输入到生成网络F中得到重构样本

重构样本

和原始样本进行比较，得到一部分循环一致性损失函数值：

对于来自于缺陷部件样本集Y域的样本y，同样可以得到两个损失函数值

和

最后，整个CycleGAN的损失值可以表示为：

该式中，D_Y为缺陷部件样本集的判别网络，D_X为正常部件样本集的判别网 络，

和

分别为D_Y和D_X得到的交叉熵损失函数 值，

即两个过程中得到的循环一致性损 失函数值之和，其中

为第一次循环的损失函数值，

为第二 次循环的损失函数值；λ为权重，本发明中取λ＝10。

使用训练好的CycleGAN模型，将正常部件样本数据作为输入得到对应输变 电设备不同故障的人工缺陷部件图片数据。

步骤3：根据记录的标注文件信息，将步骤2得到的人工缺陷部件图片融合到原始图片即步骤1所采集的输变电设备影像中。

图像融合是指将两张或者两张以上的图像信息融合在一张图像上。在本发明 中，特指将使用CycleGAN生成的人工缺陷部件图片信息融合到原始图片上。

考虑到粗暴地直接使用剪切粘贴技术(cut-and-paste)将原始正常部件图片替换为人工缺陷部件图片，会使得图片上产生明显的“截断”，从而造成人工样本 数据集与原始样本数据集的分布发生偏差。本发明中考虑了三种融合方法。对于 单张原始图片中需要融合多个人工缺陷部件图片的情况，本发明中采取的策略是 将多个人工缺陷部件图片融合到同一张原始图片上。

方法1：通过一个灰度映像函数将人工缺陷部件图片的灰度直方图调整到与 原始图片灰度直方图近似。在本发明中，采用的是先将图像的色彩空间从RGB 空间转到HSV空间，然后提取亮度通道V进行直方图规定化，最后将图像还原 到RGB空间后，再将缺陷部件替换至原始图片中。

方法2：可以达到无缝融合并且最大程度的保留目标区域的纹理信息。合成 后的图像在目标区域Ω里的像素值和像素位置关系函数f，可以表示如下:

其中：

其中，Ω为将缺陷部件图片融合至原始图片中的目标区域，

为该区域边界， f^*为目标图像的像素值和像素的位置关系，f为合成后的图像在目标区域Ω里的 像素值和像素位置关系，v指一个引导向量场，

的含义为f和f^*在边 界上像素值保持一致。

一般情况下v是指人工缺陷部件图的梯度，但是有时完全采用人工缺陷部件 图的梯度作为引导向量场并不能得到很好的结果，可利用一个混合梯度的解决方 案：

对于所有的x∈Ω，

其中，x为人工缺陷部件图和目标图像的像素位置，v(x)为引导向量场在像 素x处的取值，

为目标图像的像素值和像素的位置关系在像素x处的梯 度，

为人工缺陷部件图在像素x处的梯度；

即在计算融合后的图片在融合区域里的像素值和像素位置关系函数f时，将 人工缺陷部件图片图像梯度与原始图片在目标区域的图像梯度中的较大值作为 引导向量场。

方法3：运用了三角函数权重融合，考虑到需要融合的图片为完全重叠而不 是在一个方向上的部分重合，本发明对三角函数权重融合进行了一定的调整： 以水平方向为例，需要融合的图像分别为图像A和图像B，其重叠区域左右边 界分别为L和R，在重叠区域，第j列像素点以角度表示为：

图像A与图像B的权重分别为：

ω＝cos²θ

κ＝sin²θ

因此水平方向上融合后的图像C_H表示如下：

C_H＝ωA+κB

同理，其重叠区域上下边界分别为U和D，在重叠区域，第i行像素点以角度表 示为：

图像A与图像B的权重分别为：

δ＝cos²θ

γ＝sin²θ

垂直方向上融合后的图像C_V表示如下：

C_V＝δA+γB

由于需要融合的图片为完全重叠，而并不仅仅水平方向是的部分重叠，为此，本发明中采取了在水平方向和垂直方向上同时进行图像融合，并采用两个方向上融 合结果C_H和C_V在每个图像通道上像素值的几何平均数C作为最后的融合结果， 即：

步骤4：更新标注文件，得到扩充后的带标注文件的数据集。依据记录的信 息更新标注文件，从而得到了扩充后的带标注文件的数据集。标注文件中，记录 的主要关键信息为图片名、缺陷目标的种类、缺陷目标在图片上的位置信息。本 发明中采用的标注文件格式为xml，对目标进行矩形标注，以目标在图片中左上 角和右下角的横纵坐标进行表示。因此便可以在进行图片融合的同时，根据这些 保留的信息更新标注文件中目标的类别信息。

本发明的有益效果在于，与现有技术相比，该方法针对于电力行业缺陷样 本图像不足的情况，能够将正常样本图像大批量的转换缺陷样本图像，从而用 于缺陷目标检测模型的训练。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描 述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方 案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保 护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应 当落在本发明的保护范围之内。

Claims (10)

1.一种基于CycleGAN的输变电设备图像缺陷样本增广方法，其特征在于，所述输变电设备图像缺陷样本增广方法包含如下步骤：

步骤1：采集输变电设备影像，对所述影像进行标注并生成标注文件，根据标注文件将所采集输变电设备影像即原始图片切分出正常部件图片以及缺陷部件图片，并且记录相关的标注文件信息；

步骤2：将切分出正常部件图片以及缺陷部件图片作为训练集输入到CycleGAN网络模型进行训练，得到训练后的CycleGAN模型，用来将正常部件图片风格迁移为人工缺陷部件图片；

步骤3：根据记录的标注文件信息，将步骤2得到的人工缺陷部件图片融合到原始图片即步骤1所采集的输变电设备影像中；

步骤4：更新标注文件，得到扩充后的带标注文件的数据集。

2.根据权利要求1所述的输变电设备图像缺陷样本增广方法，其特征在于：

所述步骤1中，通过无人机采集输变电设备影像，采用人工标注缺陷样本和正常样本，然后裁剪得到缺陷部件样本集和正常部件样本集。

3.根据权利要求1或2所述的输变电设备图像缺陷样本增广方法，其特征在于：

根据标注文件从原始影像切分出正常部件图片以及缺陷部件图片的同时，所记录的相关的标注文件信息是指每一切分后的部件图片所属原始图片名及其位置信息。

4.根据权利要求1所述的输变电设备图像缺陷样本增广方法，其特征在于：

所述步骤2中的CycleGAN的损失函数根据以下公式计算：

式中，

和

分别为缺陷部件图片判别网络D_Y和正常部件图片判别网络D_X得到的交叉熵损失函数值，

即两个过程中得到的循环一致性损失函数值之和，λ为权重；

其中，

指得是第一次循环的损失函数值，

指得是第二次循环的损失函数值。

5.根据权利要求4所述的输变电设备图像缺陷样本增广方法，其特征在于：

所述λ的值为10。

6.根据权利要求1所述的输变电设备图像缺陷样本增广方法，其特征在于：

在步骤3中，先将人工缺陷部件图片的色彩空间从RGB空间转到HSV空间，然后提取亮度通道V进行直方图规定化，最后将图像还原到RGB空间后再将原始图片中的对应的缺陷部件图片进行替换。

7.根据权利要求1所述的输变电设备图像缺陷样本增广方法，其特征在于：

在步骤3中，将人工缺陷部件图片融合到原始图片后，合成后的图像在目标区域Ω里的像素值和像素位置关系函数f应符合：

其中：

其中，Ω为将缺陷部件图片融合至原始图片中的目标区域，

为该区域边界，f^*为目标图像的像素值和像素的位置关系，f为合成后的图像在目标区域Ω里的像素值和像素位置关系，v为一个引导向量场，

的含义为f和f^*在边界上像素值保持一致。

8.根据权利要求7所述的输变电设备图像缺陷样本增广方法，其特征在于：

在计算融合后的图片在融合区域里的像素值和像素位置关系函数f时，将人工缺陷部件图片图像梯度与原始图片在目标区域的图像梯度中的较大值作为引导向量场。

9.根据权利要求1所述的输变电设备图像缺陷样本增广方法，其特征在于：

在步骤3中，人工缺陷部件图片融合到原始图片的目标区域后，重叠区域左右边界分别为L和R，在重叠区域，每j列像素点以角度表示为：

人工缺陷部件图片A与原始图片B的权重分别为：

ω＝cos²θ₁

κ＝sin²θ₁

水平方向上融合后的图像C_H表示如下：

C_H＝ωA+κB

同理，其重叠区域上下边界分别为U和D，在重叠区域，第i行像素点以角度表示为：

图像A与图像B的权重分别为：

δ＝cos²θ₂

γ＝sin²θ₂

垂直方向上融合后的图像C_V表示如下：

C_V＝δA+γB

将两个方向上融合结果C_H和C_V在每个图像通道上像素值的几何平均数作为最后的融合结果，即：

10.根据权利要求1所述的输变电设备图像缺陷样本增广方法，其特征在于：

在步骤4中，更新标注文件，更新后的标注文件信息包括融合后的图片名、缺陷目标的种类、缺陷目标在图片上的位置信息。

Images