CN111968048A

CN111968048A - 电力巡检少样本图像数据增强方法及系统

Info

Publication number: CN111968048A
Application number: CN202010753710.7A
Authority: CN
Inventors: 王振利; 王万国; 李建祥; 肖鹏; 郝永鑫; 王克南; 郭锐; 王海鹏; 张海龙; 刘丕玉
Original assignee: State Grid Intelligent Technology Co Ltd
Current assignee: State Grid Intelligent Technology Co Ltd
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2020-11-20
Anticipated expiration: 2040-07-30
Also published as: CN111968048B

Abstract

本公开提出了电力巡检少样本图像数据增强方法及系统，包括：对电力巡检所采集的待识别实物的少量图像中设备区域进行标定；将标定后的图像进行去背景处理，并对去背景后的实物图片进行变换，模拟从不同角度、不同距离拍摄该设备的情况；更新背景图片，获得待识别实物在不同背景中的图像，从而生成海量已经标定的图片。实现少样本的增强，便于利用人工智能深度学习算法进行训练，有利于图像的准确识别。

Description

电力巡检少样本图像数据增强方法及系统

技术领域

本公开属于图像处理技术领域，尤其涉及电力巡检少样本图像数据增强方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

电力巡检过程中，采用巡检机器人或无人机进行巡检采集相应对象的图像，上述巡检所存在的技术问题是：

(1)电力巡检图像识别模型对样本进行识别时，其中样本整理、标注主要以人工为主，人工标注工作量大，精度较低。

(2)电力设备缺陷识别应用中，电力设备出现某类缺陷的频率和总数较少，对应的采集的图像就较少，从而造成电力设备缺陷的样本较少，利用人工智能深度学习算法训练时，样本数量不能满足训练的要求，难以实现利用人工智能深度学习算法进行图像的识别。

发明内容

为克服上述现有技术的不足，本公开提供了电力巡检少样本图像数据增强方法，对少样本的增强，解决了样本数量不够的问题。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

电力巡检少样本图像数据增强方法，包括：

对电力巡检所采集的待识别实物的少量图像中设备区域进行标定；

将标定后的图像进行去背景处理，并对去背景后的实物图片进行变换，模拟从不同角度、不同距离拍摄该设备的情况；

更新背景图片，获得待识别实物在不同背景中的图像，从而生成海量已经标定的图片。

进一步的技术方案，进行标定之前，对电力巡检所采集的待识别实物的少量图像进行预处理，增强图像的质量。

优选的，少量图像进行预处理，包括对图像进行去模糊、去抖动的图像预处理。

进一步的技术方案，将标定后的图像进行去背景处理，获得带有透明背景的实物图片。

进一步的技术方案，对去背景后的实物图片进行变换，具体为：对透明背景的图像做随机放缩、旋转、放射变换。

进一步的技术方案，对去背景后的实物图片进行变换后，还包括：

对图像增加不同光照渲染，模拟不同光照条件下的情况，并获取不同光照条件下的图像数据。

进一步的技术方案，生成海量已经标定的图片之后，进行多样本数据增强。

进一步的技术方案，多样本数据增强时，具体为：

定义特征空间，将每个样本对应到特征空间中的某一点，根据样本不平衡比例确定采样倍率；

对每一个小样本类样本，按欧氏距离找出最近邻样本，从中随机选取一个样本点，在特征空间中样本点与最近邻样本点的连线段上随机选取一点作为新样本点，实现直到大、小样本数量平衡。

进一步的技术方案，所述背景图片为现实中拍摄的背景图像或开源的纹理库中背景图像，两种图像呈一定的比例以使训练图像兼顾虚拟和现实数据。

另一方面，公开了电力巡检少样本图像数据增强系统，包括：

图像标定模块，被配置为：对电力巡检所采集的待识别实物的少量图像中设备区域进行标定；

图像变换模块，被配置为：将标定后的图像进行去背景处理，并对去背景后的实物图片进行变换，模拟从不同角度、不同距离拍摄该设备的情况；

海量图片生成模块，被配置为：更新背景图片，获得待识别实物在不同背景中的图像，从而生成海量已经标定的图片。

以上一个或多个技术方案存在以下有益效果：

本公开技术方案提出了一种电力巡检少样本图像数据增强方法，实现了少样本巡检设备图像的自动增强，避免了在电力巡检图像识别业务中，样本人工标注工作量大及巡检样本图像收集困难的问题，提升了少样本条件下，机器人巡检图像识别的准确性。

本公开技术方案利用虚拟现实技术，自动生成设备背景纹理，基于虚拟背景纹理图像，通过图像的放缩、旋转、放射变换，方式、放缩等方式，增加样本背景及尺度的丰富度，实现了少样本巡检设备图像的自动增强，避免了在电力巡检图像识别业务中，样本人工标注工作量大及巡检样本图像收集困难的问题，提升了少样本条件下，机器人巡检图像识别的准确性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例电力巡检少样本图像数据增强方法流程图；

图2为本公开实施例实际操作示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例一

参见附图1、2所示，本实施例公开了电力巡检少样本图像数据增强方法，包括：

本公开通过上述方式实现多种样本图像数据及样本标注文件的扩充，丰富样本的图像数据，便于后续利用人工智能深度学习算法进行图像训练的实现，从而更准确的实现图像设备状态的识别。

为了更好的说明上述技术方案，下面以变电站内某仪表为例进行说明少样本到海量样本的生成过程：

首先，利用巡检机器人现场采集变电站某仪表设备的正面、侧面、背面图像各数张。

对电力巡检所采集的待识别实物的少量图像进行预处理，增强图像的质量。少量图像进行预处理，包括对图像进行去模糊、去抖动等图像预处理。

将采集到的少量图像，进行标定，实现图像中设备区域的标定。由此此步骤进行标定，还是少量图像，进行标定数量较少。

将标定后的图像进行去背景处理，获得带有透明背景的实物图片。在该步骤中进行去背景处理，从而获得带有透明背景的实物图片，以便后续进行背景的更换，实现不同背景下的实物图像。

对去背景后的实物图片进行变换，具体为：对透明背景的图像做随机放缩、旋转、放射变换。模拟从不同角度、不同距离拍摄该设备的情况。

针对所获得少量图像，由于采集时有些部位不方便采集或者无法进行采集从而得不到对应角度的图像，通过上述步骤的变换处理，可以得到相对全面的实物图像，更能有助于表明实物的结构状态。

对去背景后的实物图片进行变换后，还包括：

将图像导入到Blender软件中，对图像增加不同光照渲染，模拟不同光照条件下的情况，并获取不同光照条件下的图像数据。

由于获得的少量图像是在某一定时间下某种光照的图像，不能满足不同情况光照下的图像的需求，因此，进行上述操作，获得不同光照条件下的图像数据，能够使得图像的种类满足训练时的要求。

更新纹理背景或背景环境，获得待识别实物在不同纹理背景或背景环境中的图像，从而生成海量已经标定的图片，实现多种样本图像数据及样本标注文件的扩充，丰富样本的图像数据。

生成海量已经标定的图片之后，所获得海量图像存在大小样本的情况，样本数量不平衡，因此，采用SMOTE即Synthetic Minority Over-sampling Technique方法，解决样本不平衡问题，从而进一步提升分类器性能。

具体实施例子中，多样本数据增强时，具体为：

类不平衡现象是很常见的，具体指的是数据集中各类别数量不近似相等。如果样本类别之间相差很大，会影响分类器的分类效果。假设小样本数据数量极少，如仅占总体的1％，则即使小样本被错误地全部识别为大样本，在经验风险最小化策略下的分类器识别准确率仍能达到99％，但由于没有学习到小样本的特征，实际分类效果就会很差。

SMOTE方法是基于插值的方法，它可以为小样本类合成新的样本，主要流程为：

第一步，定义好特征空间，将每个样本对应到特征空间中的某一点，根据样本不平衡比例确定好一个采样倍率N；

第二步，对每一个小样本类样本(x，y)，按欧氏距离找出K个最近邻样本，从中随机选取一个样本点，假设选择的近邻点为(xn，yn)。在特征空间中样本点与最近邻样本点的连线段上随机选取一点作为新样本点，满足以下公式：

(x_new，y_new)＝(x，y)+rand(0-1)*((x_n-x)，(y_n-y))(x_new，y_new)＝(x，y)+rand(0-1)*((x_n-x)，(y_n-y))

第三步，重复以上的步骤，直到大、小样本数量平衡。

具体实施例子中，背景图片为现实中拍摄的背景图像或开源的纹理库中背景图像，两种图像呈一定的比例以使训练图像兼顾虚拟和现实数据。

随机现实中拍摄的背景图像，通过固定收集，重复使用。

网上一些开源的纹理库，通过固定收集，重复使用。

两种纹理的组合比例的选择(50％，50％，实现虚拟和现实背景图像的有效融合，使训练图像兼顾虚拟和现实数据，更好提升训练模型的识别精度)

该实施例子的电力巡检少样本图像数据增强方法可以应用到普通巡检机器人、无人机巡检、不停车检测机器人等方面，针对所采集的图像进行处理，获得海量已经标定的图片。

在又一实施例子中，首先获取电力巡检所采集的待识别实物的少量图像，然后对电力巡检所采集的待识别实物的少量图像中设备区域进行标定。

在采集电力设备图像数据时，由于变电站内设备众多且所处空间方位各异，人工设置检测点的工作量大且主观性强，巡检机器人在一个固定检测点停靠，之后对周边不同方位设备进行巡检数据采集时，因受到传感器观测角度及光照影响，较难获取每个设备的高质量巡检数据，不利于后续设备状态识别及故障诊断。

因此，该实施例子采用最优数据采集方法进行数据获取，依据机器人接收巡检任务中包含的待检设备信息，结合含有语义信息的变电站三维电子地图及双目视觉与三维激光融合的机器人位姿计算，实现了数据采集时机器人与待检设备最佳相对位姿关系的控制，实现从最佳采集点位进行巡检数据采集。之后，机器人到达与待检设备的最佳观测位姿时，一旦待巡检设备进入巡检数据采集相机视野内，利用深度学习技术识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，实现对多自由度机械臂末端携带摄像机的空间位姿控制，实现对待检设备图像的准确采集。最后，利用大数据平台对采集数据质量的评估优化，从而实现对待检设备巡检数据的最优采集。具体包括：

S101：依据巡检任务中包含的待检设备信息，结合变电站三维语义电子地图及机器人位姿计算，以实现数据采集时机器人与待检设备最佳相对位姿关系的控制。

数据采集时机器人与待检设备最佳相对位姿关系为：

max[|n_x(x-x_r)+n_y(y-y_r)+n_z(z-z_r)|+|n_x*n_xr+n_y*n_yr+n_z*n_zr|]

式中：n_x,n_y,n_z为待检设备检测表面(如标记读数的表盘表面)法向量，x,y,z为待检设备空间坐标，而x_r,y_r,z_r和n_xr,n_yr,n_zr为机器人空间位姿向量，当机器人运行位姿使上式取得最大值时,即可得到机器人与待检测设备的最佳相对位姿。

S102：当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制。

机械臂末端携带采集装置的空间位姿为：

max[|n_x*n_xa+n_y*n_ya+n_z*n_za|]

式中：n_x,n_y,n_z为待检设备检测表面(如标记读数的表盘表面)法向量，n_xa,n_ya,n_za为机械臂末端空间姿态向量，若要得到机械臂与待检测设备的最佳数据采集姿态，控制机械臂使上式取得最大值即可。

在具体实施中，根据机器人与待巡检设备间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；

实时获取巡检相机图像数据，自动识别跟踪并定位待巡检的设备位置，驱动机械臂位置进行精确调整，以使机械臂末端图像采集设备为最佳的拍摄角度，并驱动图像采集设备调整焦距，补偿由于机器人运动对图像造成的影响，获取目标巡检设备图像，实现目标图像精准拍摄；

基于获取到的设备精细图像，在机器人前端自动进行目标识别，实现图像数据在前端的自动分析，实时获取设备的状态信息。

其中，控制机械臂调整位姿始终对准待巡检设备，使得机器人在数据采集时始终与待检设备保持最佳相对位姿关系；

当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；

对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。

其中，根据最佳巡检位姿进行检测包括：基于三维语义地图以及双目视觉与三维激光传感器数据，确定机器人当前的实际位姿；根据实际位姿和最佳位姿计算相对位姿偏差；根据相对位姿偏差控制机器人调整位姿，执行检测。

在巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在设备的布局与三维语义地图不一致，若存在，对三维语义地图进行更新。

具体地，在巡检过程，还对设备图像精细化采集，其过程为：

1)：巡检过程中，实时获取图像数据，对图像中的待检测设备进行识别。

变电站环境复杂，采集的图像中可能同时包含多种类型设备。此处构建了深度学习设备识别算法库，包含faster-rcnn、ssd、yolo等主流目标识别算法。该算法库在全卷积深度神经网络的基础上，结合巡检任务包含的设备信息，提取目标检测特征和语义特征，然后对融合的特征进行分类和检测，实现巡检图像中设备的精确识别。

2)：预先根据语义地图中设备的位置，计算机器人机械臂与待检设备最佳相对位姿关系；巡检过程中，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制机器人机械臂调整位姿，使得巡检相机始终对准所述待检测设备，从而从最佳角度采集待检测设备图像，执行检测，提高设备检测的准确性。

本实施例设计了一种结合电力设备空间位置关系特征的目标检测算法(不局限于faster-rcnn算法、ssd、yolo等)算法，构建了一种高性能计算资源自动调度方法，提出了一种设备目标检测及跟踪方法，实现了巡检视频实时高效识别，提升了变电设备识别的准确率。

在具体实施中，利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。提出一种巡检相机姿态局部自调整方法，采用DeblurGAN运动视频去模糊算法。

本实施例还提出了一种机器人采集图像运动补偿算法，采用了机器人运动补偿提升运动过程中巡检图像采集的稳定性，保证巡检图像的有效性。由于机器人需在行进过程中，始终保持待检测设备在图像中心区域，实现待检测设备的精确采集，为此需对机器人运动进行补偿，本实施例提出了一种机器人采集图像运动补偿算法，公式如下：

Control_x＝Kpx*delta_x+Vx*Kbx*D

Control_y＝Kpy*delta_y+Vy*Kby*D

其中：Control_x、Control_y为机器人末端姿态在X、Y方向的控制调整量，delta_x、delta_y为某一时刻机器人采集图像中设备区域中心与图像中心间在X、Y方向的坐标偏差，Kpx、Kpy为机器人末端姿态在X、Y方向的控制调整量比例系数，Vx，Vy分别为机器人末端在X、Y方向的运动速度，Kbx、Kby为机器人末端姿态在X、Y方向的控制量补偿系数，D为机器人末端与待检测设备间的距离。本实施例的不停车巡检机器人可以用变电站巡检机器人上，可以巡检也可以用在作业上。

S103：对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。

具体地，在采集数据质量评估优化的过程中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。

在采集数据质量评估优化的过程中，对不同位置及不同光照条件下的巡检数据进行置信度评价，在机器人巡检过程中，选取置信度最高的检测数据作为待检测设备的巡检状态数据，提升巡检数据的有效性。

R＝0.5*R_position+0.5*R_l

R_position＝cos(C_dx)

R_l＝1-(L-L_x)/L_x L>L_x

R_l＝1L<L_x

其中R为机器人当前巡检数据的执行度，R_position为位置置信度，C_dx是当前机器人末端位置与待检测设备表面法向量间的夹角，cos为余弦计算函数；R_l为光照置信度，在机械臂末端与巡检相机同轴安装光照强度传感器，实现当前光照方向及强度的计算，L为当前光照度，L_x为标准光照度，取值为正常光照条件下的光照度，一般取100000Lux。

该实施例子中，采集过程中利用基于语义信息的深度学习机械臂视觉伺服方法，实时控制机器人机械臂携带采集装置对准待检设备，解决了人工配置巡检点工作量大，长期运行造成的检测点偏差问题，实现了图像采集的最优化。

建立了巡检最优图像采集点随时间变化的关系模型，提出了不同季节、不同时间段内巡检点的自主最优选择方法，有效避免了光照对巡检采集图像质量的影响。

另一实施例子，公开了电力巡检少样本图像数据增强系统，包括：

基于同样的发明构思，还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述实施例子中的电力巡检少样本图像数据增强方法的步骤。

基于同样的发明构思，还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述实施例子中的电力巡检少样本图像数据增强方法的步骤。

利用虚拟现实技术，自动生成设备背景纹理，通过图像的放缩、旋转、放射变换，实现了少样本巡检设备图像的自动增强，解决了电力巡检样本图像收集困难的问题，避免了在电力巡检图像识别模型时样本整理过程中的标注时人工标注工作量大的问题。

本公开技术方案对电力巡检所采集的待识别实物的少量图像中设备区域进行标定，在少样本阶段进行标定，数量较少，避免了在电力巡检图像识别模型时样本整理过程中的标注时人工标注工作量大的问题。

本公开技术方案通过更新背景图片，获得待识别实物在不同背景中的图像，从而生成海量已经标定的图片，解决了在电力设备缺陷识别应用中，电力设备出现某类缺陷的频率和总数较少，从而造成电力设备缺陷的样本较少的问题，生成海量已经标定的图片，实现少样本的增强，便于利用人工智能深度学习算法进行训练，有利于图像的准确识别。

本公开技术方案利用虚拟背景方式、放缩等方式，可以增加样本背景及尺度的丰富度，提升样本质量，提升识别模型的精度。

以上实施例的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。

本领域技术人员应该明白，上述本公开的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.电力巡检少样本图像数据增强方法，其特征是，包括：

2.如权利要求1所述的电力巡检少样本图像数据增强方法，其特征是，进行标定之前，对电力巡检所采集的待识别实物的少量图像进行预处理，增强图像的质量。

3.如权利要求1所述的电力巡检少样本图像数据增强方法，其特征是，对去背景后的实物图片进行变换，具体为：对透明背景的图像做随机放缩、旋转、放射变换。

4.如权利要求1所述的电力巡检少样本图像数据增强方法，其特征是，对去背景后的实物图片进行变换后，还包括：

5.如权利要求1所述的电力巡检少样本图像数据增强方法，其特征是，生成海量已经标定的图片之后，进行多样本数据增强。

6.如权利要求5所述的电力巡检少样本图像数据增强方法，其特征是，多样本数据增强时，具体为：

7.如权利要求1所述的电力巡检少样本图像数据增强方法，其特征是，所述背景图片为现实中拍摄的背景图像或开源的纹理库中背景图像，两种图像呈一定的比例以使训练图像兼顾虚拟和现实数据。

8.电力巡检少样本图像数据增强系统，其特征是，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一所述的电力巡检少样本图像数据增强方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述权利要求1-7任一所述的电力巡检少样本图像数据增强方法的步骤。