CN112149718B - 一种输电通道隐患目标扩增方法及设备 - Google Patents

Abstract

本申请公开了一种输电通道隐患目标扩增方法及设备，用以解决现有的训练数据扩增方法得到的数据具有不合理性的技术问题。方法包括：采集与输电通道有关的第一图像并输入至输电场景分割模型中，以得到第二图像；其中，第二图像中包括若干分割标注；将第一图像输入至隐患目标检测模型中，以确定第一图像中包含的隐患目标，并基于隐患目标对第一图像进行扣取，得到隐患目标图像；对隐患目标图像进行颜色迁移处理，以得到隐患目标扩增图像；基于第二图像中的若干分割标注，将隐患目标扩增图像添加至第一图像中的预设位置，以得到第一图像扩增图像。本申请通过上述方法保证了扩增数据的真实性及合理性，进而保证了隐患目标检测模型的检出率。

Description

一种输电通道隐患目标扩增方法及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种输电通道隐患目标扩增方法及设备。

背景技术

目前常见的输电线路防止外力破坏的有效手段之一是通过深度学习的输电通道隐患目标检测模型进行有效预警。输电通道隐患目标检测模型的训练过程中需要输入大量的真实训练数据，但在实际应用过程中，有效训练数据的采集比较困难。

现有的扩增有效训练数据的方法之一是通过人工设计数据增强技术。但这种方法增强出来的数据具有不合理性，容易造成输电通道隐患目标检测模型的检出率较低。

发明内容

本申请实施例提供了一种输电通道隐患目标扩增方法及设备，用以解决通过现有的训练数据扩增方法得到的数据具有不合理性，容易影响输电通道隐患目标检测模型检出率的技术问题。

一方面，本申请实施例提供了一种输电通道隐患目标扩增方法，包括：采集与输电通道有关的第一图像，并将第一图像输入至输电场景分割模型中，以得到第二图像；其中，第二图像中包括若干分割标注；将第一图像输入至隐患目标检测模型中，以确定第一图像中包含的隐患目标，并基于隐患目标对第一图像进行扣取，得到隐患目标图像；对隐患目标图像进行颜色迁移处理，以得到隐患目标扩增图像；基于第二图像中的若干分割标注，将隐患目标扩增图像添加至第一图像中的预设位置，以得到第一图像扩增图像。

本申请通过隐患目标检测模型识别出第一图像中包含的隐患目标，将隐患目标进行扣取得到隐患目标图像，并对其进行颜色迁移得到隐患目标扩增图像，保证了隐患目标扩增的真实性；通过输电场景分割模型将第一图像中的场景进行分割，并将扩增出来的隐患目标扩增图像放置在第一图像中的合理位置，保证了扩增数据的合理性，使用该方法扩增出来的训练数据对隐患目标检测模型进行训练，大大提升了隐患目标检测模型的检出率及准确性。

在本申请的一种实现方式中，在得到第一图像扩增图像之后，方法还包括：通过以下公式，对第一图像扩增图像进行高斯模糊处理：

其中，G(x，y)表示高斯模糊处理后的第一图像扩增图像；σ表示预设标准差。

本申请提出的隐患目标扩增方法，在得到第一图像的扩增图像之后，通过高斯模糊，将其边界进行模糊处理，进一步保证了扩增出来的训练数据的真实性，进而提升了使用该训练数据训练的隐患目标检测模型的检出率。

在本申请的一种实现方式中，在确定第一图像中包含的隐患目标之后，方法还包括：对隐患目标进行三维重建，得到三维隐患目标；采集三维隐患目标若干不同角度的二维平面图像数据，以得到若干隐患目标图像。不仅消除了背景的干扰，而且增加了隐患目标的多样性，从而增加了隐患目标扩增图像的真实可靠性及多样性。

在本申请的一种实现方式中，隐患目标主要包括以下任一项或者多项：挖掘机、吊车、风筝、塑料袋、条幅及气球。

在本申请的一种实现方式中，对隐患目标图像进行颜色迁移处理，具体包括：将隐患目标图像及预设颜色图像从RGB颜色空间，转换至LAB颜色空间；在LAB颜色空间内，计算隐患目标图像在任一通道下的均值及方差，以及计算预设颜色图像在任一通道下的均值及方差；以及计算隐患目标图像在LAB颜色空间内各个通道下的像素值：基于像素值，将隐患目标图像从LAB颜色空间转换至RGB颜色空间，以得到隐患目标扩增图像。

在本申请的一种实现方式中，通过以下公式，计算隐患目标图像在LAB颜色空间内各个通道下的像素值：

其中，pn表示隐患目标图像在LAB颜色空间内的各个通道下的像素值；p表示隐患目标图像在RGB颜色空间内的各个通道下的像素值；ms表示隐患目标图像在LAB颜色空间任一通道下的均值；md表示隐患目标图像在LAB颜色空间任一通道下的的方差；ss表示预设颜色图像在LAB颜色空间任一通道下的均值；sd表示预设颜色图像在LAB颜色空间任一通道下的方差。

在本申请的一种实现方式中，方法还包括：对隐患目标图像进行纹理迁移处理，从而得到更加丰富的扩增数据。

在本申请的一种实现方式中，分割标注包括分割框及分割线；各个分割标注分别对应一个输电场景；输电场景包括以下任一项或者多项：天空场景、树木场景、地面场景以及导线和杆塔场景。

在本申请的一种实现方式中，输电场景分割模型采用MaskRCNN算法训练；隐患目标检测模型采用显著性检测RC算法训练。

另一方面，本申请实施例还提供了一种输电通道隐患目标扩增设备，设备包括：处理器；及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述的一种输电通道隐患目标扩增方法。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种输电通道隐患目标扩增方法流程图；

图2为本申请实施例提供的一种隐患目标扩增设备内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

输电线路外力破坏是指输电线路通道内及附近的施工机械、挖掘、植被、建筑等可能引起线路跳闸的情况。目前常见的输电线路防止外力破坏的有效手段之一是通过基于人工智能的图像识别方法进行有效预警，即利用隐患目标检测模型进行隐患识别。

但输电线路分布点多、面广，一条线路途径不同的区域，呈现不同的区域特征，区域环境不容易掌握。基于深度学习的输电通道隐患目标检测模型训练过程中需要大量的真实数据输入，才可以训练出检出率较高的检测模型，但是在真实环境中，有效训练数据的搜集可遇而不可求。比如，通常见到的挖掘机是黄色的，但是个别场景中就会出现绿色或者蓝色的挖掘机；又比如，吊车扬臂的底部通常是黄色的，但在个别场景中就会出现红色、绿色的扬臂；再比如导线异物，通常看到的导线异物有防尘网、反光膜等随风飘散缠绕在到线上或者杆塔上，在个别场景中就会出现风筝、气球或者许愿灯缠绕在线上或者杆塔上。

输电通道隐患目标具有很强的分布性，比如挖掘机、吊车等施工机械只会出现在地面上，导线异物只会出现在导线或者杆塔上。现有的人工设计数据增强技术无法扩充隐患目标的颜色和类别，且无法充分利用隐患目标分布特点，这就会导致增强出来的训练数据存在不合理性，进而造成深度神经网络模型检出率仍较低。

本申请实施例提供了一种输电通道隐患目标扩增方法及设备，通过对输电场景进行分割，对隐患目标进行检测并通过颜色迁移技术进行扩增，然后将扩增后的隐患目标扩增图合理的添加至分割后的场景中。以解决上述通过现有的训练数据扩增方法得到的数据具有不合理性，进而影响隐患目标检测模型检出率的技术问题。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种输电通道隐患目标扩增方法流程图。如图1所示，本申请实施例提供的隐患目标扩增方法主要包括以下步骤：

步骤101、对第一图像进行场景分割，得到第二图像。

采集与输电通道有关的第一图像，并将第一图像输入至输电场景分割模型中，进行场景分割，得到第二图像。

具体地，通过输电通道现场安装的摄像头采集的图像数据，或者从互联网平台获取到的图像数据中，确定与输电通道有关的第一图像。

进一步地，输电场景分割模型输入第一图像之后，将第一图像中存在的输电场景识别出来；然后将识别出的输电场景通过分割框和/或分割线标注出来，并输出第二图像，以完成第一图像的场景分割过程。

在本申请的一个实施例中，第二图像中包含若干分割标注；其中，分割标注包括分割框及分割线，并且第二图像中的各分割标注均对应一个特定的输电场景。

进一步地，输电场景主要包括以下任一项或者多项：天空场景、大地场景、树木场景、导线和杆塔场景。

在本申请的另一实施例中，在将第一图像输入至输电场景分割模型之前，首先对输电场景分割模型进行训练。

具体地，获取若干输电场景图像；通过人工标注方式将输电场景图像中包含的场景标注为4个类别：树木、天空、大地、导线及杆塔。其中，树木、天空、大地及杆塔以标注框的形式进行标注、导线以标注线的形式进行标注。

进一步地，将标注完成的输电场景图像输入至深度学习神经网络模型中进行训练。训练直至输出收敛，得到输电场景分割模型。

在本申请的一个实施例中，输电场景分割模型可以通过Mask RCNN目标检测算法进行训练。

需要说明的是，输电场景分割方法并不限于Mask RCNN算法训练实现，在实际应用过程中，本领域技术人员还可以采用其他现有的目标分割方法，本申请实施例对此不作限定。

步骤102、确定隐患目标图像。

在将第一图像中的输电场景进行分割完成之后，需要确定数据扩增用的隐患目标图像。本申请实施例中使用的隐患目标图像，可以通过以下2种方式获得：

方式1：将第一图像输入至隐患目标检测模型中，将第一图像中包含的隐患目标识别出来。然后，基于确定的隐患目标，对第一图像进行扣取，得到隐患目标图像。

在本申请的一个实施例中，隐患目标包括但不局限于挖掘机、吊车等施工机械类别，风筝、反光膜、条幅、防尘网、防晒网、气球等导线异物类别。

在本申请的另一实施例中，隐患目标检测模型可以采用显著性目标检测(RC，Global Contrast based Salient Region Detection)算法实现。

如果第一图像中不包含隐患目标，此时将第一图像输入隐患目标检测模型之后，输出结果中并不会有隐患目标被识别出来。也就不能通过方式1获得隐患目标图像。

方式2：从互联网平台上获取与隐患目标有关的图像数据，并将其输入至隐患目标检测模型中，确定隐患目标；

进一步地，对隐患目标进行三维重建，得到三维隐患目标。例如，根据一张或者多张挖掘机的图片，对挖掘机进行三维重建，得到立体三维的挖掘机。

更进一步的，对三维隐患目标获取若干不同的角度的二维平面图像，得到若干隐患目标图像。

本身领域技术人员可以明确的是，通过一张或者多张二维图像，三维重建得到立体三维目标的过程可以通过现有模型或者算法来实现，本申请实施例在此不做赘述。

至此，得到输电通道隐患目标的图像数据。

步骤103、对隐患目标图像进行扩增，得到隐患目标扩增图像。

在得到隐患目标图像之后，通过颜色迁移、纹理迁移技术，对隐患目标图像进行扩增，以得到隐患目标扩增图像。其中，其中颜色迁移比如将黄色的挖掘机变换成绿色、红色等；纹理迁移比如将防尘网变换成条幅、彩带等。

对隐患目标图像进行颜色迁移的过程，具体如下：

首先，确定预设颜色图像。此处的预设颜色图像是指将要被迁移的颜色图像。例如，隐患目标图像是黄色的挖掘机图像，在处理时想要将该隐患目标图像转换为绿色的挖掘机图像，此时，预设颜色图像就是绿色的图像。

其次，将隐患目标图像及预设颜色图像从RGB颜色空间，转换至LAB颜色空间。此处的转换过程以通过现有的算法实现，本申请实施例在此不做赘述。

然后，计算隐患目标图像在LAB颜色空间内各个通道下的均值及方差，以及计算预设颜色图像在LAB颜色空间内各个通道下的均值及方差。

具体地计算过程可通过以下公式实现：

其中，s表示各个通道下的像素均值；d表示各个通道下的方差；x_i表示图像中各个像素点的像素值；n表示图像中像素点的个数。

进一步地，在均值及方差计算完成之后，在LAB颜色空间内，通过以下公式重新计算隐患目标图像在各个通道下的像素值：

其中，pn表示隐患目标图像在LAB颜色空间内的各个通道下的像素值；p表示隐患目标图像在RGB颜色空间内的各个通道下的像素值；ms表示隐患目标图像在LAB颜色空间任一通道下的均值；md表示隐患目标图像在LAB颜色空间任一通道下的的方差；ss表示预设颜色图像在LAB颜色空间任一通道下的均值；sd表示预设颜色图像在LAB颜色空间任一通道下的方差。

最后，基于隐患目标图像在LAB颜色空间内各个通道下的像素值，将隐患目标图像转换至RGB颜色空间。

在本申请的一个实施例中，在隐患目标图像从LAB颜色空间转换至RGB颜色空间时，小于0的像素值赋值为0，大于255的像素值赋值为255，以完成隐患目标图像的颜色迁移过程。

在本申请的一个实施例中，还可以对隐患目标图像进行纹理迁移，以生成更多的扩增训练数据。且纹理迁移过程可以通过现有的算法或者模型实现，本申请实施例在此不作限定。

步骤104、基于第二图像及隐患目标扩增图像，得到第一图像扩增图像。

在对隐患目标图像进行颜色迁移或者纹理迁移之后，得到隐患目标扩增图像。

进一步地，基于第二图像中包含的若干分割标注，将隐患目标扩增图像添加至第一图像中的预设位置，得到第一图像的扩增图像。

例如，第一图像中原本含有的隐患目标是黄色的挖掘机，对隐患目标图像(黄色的挖掘机)进行颜色迁移之后，得到隐患目标扩增图像(绿色的挖掘机)；此时，第二图像中的大地场景被分割框标注出来，根据第二图像中的大地场景分割框，将隐患目标扩增图像(绿色的挖掘机)添加至第一图像中的预设位置例如大地上，以完成第一图像的扩增过程。

需要说明的是，在有若干隐患目标扩增图像时，可以将多个隐患目标扩增图像添加至一张场景图像即第一图像中；也可以将一个隐患目标扩增图像添加至一张场景图像即第一图像中。本领域技术人员在实际训练过程中，可以根据实际需要自行设置，本申请实施例在此不作限定。

还需要说明的是，在将隐患目标扩增图像添加至第一图像中的时，需要检测添加位置的合理性。例如，吊车、挖掘机只能放置在地面上，模拟正在施工的状态；单独的吊车扬臂只能放置在树木上，模拟吊车被遮挡的状态；气球、塑料袋等导线异物类别只能放置在天空中或者导线、杆塔上。

在本申请的一个实施例中，在确定第一图像扩增图像之后，使用图像模糊手段比如高斯模糊，对第一图像扩增图像的边界进行模糊处理，以增强扩增得到的图像数据的真实可靠性。

具体地，通过以下公式对第一图像扩增图像进行高斯模糊处理：

其中，G(x，y)表示高斯模糊处理后的第一图像扩增图像；σ表示预设标准差。

本领域技术人员可以明确的是，预设标准差参数可以根据实际模糊要求进行调整。在需要边界模糊处理力度较大时，设置较小的预设标准差参数；而在需要边界模糊处理的力度较小时，可以将预设标准差参数设置的稍大一点。本申请实施例在此不作限定。

通过本申请实施例提供的隐患目标扩增方法，扩增得到的训练数据更加具有真实可靠性，且合理性更强，进而使得使用该扩增出来的训练数据进行模型训练时，能够提高模型对隐患目标的检出率，尤其对于不常见的隐患目标，检出率更是大大提升。并且，检出的隐患目标的准确性也达到了有效的提高。

还需要说明的是，本申请实施例提供的一种输电通道隐患目标扩增方法，不仅适用于输电场景，还适用于其他类似具有目标特征分析的场景中。

以上为本申请提出的方法实施例。基于同样的发明构思，本申请实施例还提供了一种输电通道隐患目标扩增设备，其内部结构如图2所示。

图2为本申请实施例提供的一种输电通道隐患目标扩增设备内部结构示意图。如图2所示，设备包括处理器201、及存储器202，其上存储有可执行代码，当可执行代码被执行时，使得处理器201执行如上的一种输电通道隐患目标扩增方法。

在本申请的一个实施例中，处理器201用于采集与输电通道有关的第一图像，并将第一图像输入至输电场景分割模型中，以得到第二图像；其中，第二图像中包括若干分割标注；以及用于将第一图像输入至隐患目标检测模型中，以确定第一图像中包含的隐患目标，并基于隐患目标对第一图像进行扣取，得到隐患目标图像；还用于对隐患目标图像进行颜色迁移处理，以得到隐患目标扩增图像；还用于基于第二图像中的若干分割标注，将隐患目标扩增图像添加至第一图像中的预设位置，以得到第一图像扩增图像。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种输电通道隐患目标扩增方法，其特征在于，所述方法包括：

采集与输电通道有关的第一图像，并将所述第一图像输入至输电场景分割模型中，以得到第二图像；其中，所述第二图像中包括若干分割标注；所述分割标注包括分割框及分割线；各个所述分割标注分别对应一个输电场景；所述输电场景包括以下任一项或者多项：天空场景、树木场景、地面场景以及导线和杆塔场景；

将所述第一图像输入至隐患目标检测模型中，以确定所述第一图像中包含的隐患目标，并基于所述隐患目标对所述第一图像进行扣取，得到隐患目标图像；

对所述隐患目标进行三维重建，得到三维隐患目标；采集所述三维隐患目标若干不同角度的二维平面图像数据，以得到若干隐患目标图像；所述隐患目标主要包括以下任一项或者多项：挖掘机、吊车、风筝、塑料袋、条幅及气球；

对所述隐患目标图像进行颜色迁移处理，以得到隐患目标扩增图像；

基于所述第二图像中的若干分割标注，将所述隐患目标扩增图像添加至第一图像中的预设位置，以得到第一图像扩增图像。

2.根据权利要求1所述的一种输电通道隐患目标扩增方法，其特征在于，在得到第一图像扩增图像之后，所述方法还包括：

通过以下公式，对所述第一图像扩增图像进行高斯模糊处理：

其中，G(x，y)表示高斯模糊处理后的第一图像扩增图像；σ表示预设标准差。

3.根据权利要求1所述的一种输电通道隐患目标扩增方法，其特征在于，对所述隐患目标图像进行颜色迁移处理，具体包括：

将所述隐患目标图像及预设颜色图像从RGB颜色空间，转换至LAB颜色空间；

在LAB颜色空间内，计算所述隐患目标图像在任一通道下的均值及方差，以及计算所述预设颜色图像在任一通道下的均值及方差；

以及计算所述隐患目标图像在LAB颜色空间内各个通道下的像素值：

基于所述像素值，将隐患目标图像从LAB颜色空间转换至RGB颜色空间，以得到隐患目标扩增图像。

4.根据权利要求3所述的一种输电通道隐患目标扩增方法，其特征在于，通过以下公式，计算所述隐患目标图像在LAB颜色空间内各个通道下的像素值：

其中，pn表示隐患目标图像在LAB颜色空间内的各个通道下的像素值；p表示隐患目标图像在RGB颜色空间内的各个通道下的像素值；ms表示隐患目标图像在LAB颜色空间任一通道下的均值；md表示隐患目标图像在LAB颜色空间任一通道下的的方差；ss表示预设颜色图像在LAB颜色空间任一通道下的均值；sd表示预设颜色图像在LAB颜色空间任一通道下的方差。

5.根据权利要求1所述的一种输电通道隐患目标扩增方法，其特征在于，所述方法还包括：

对所述隐患目标图像进行纹理迁移处理。

6.根据权利要求1所述的一种输电通道隐患目标扩增方法，其特征在于，所述输电场景分割模型采用MaskRCNN算法训练；

所述隐患目标检测模型采用显著性检测RC算法训练。

7.一种输电通道隐患目标扩增设备，其特征在于，所述设备包括：

处理器；

及存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-6任一项所述的一种输电通道隐患目标扩增方法。

Images