CN110807353B - 一种基于深度学习的变电站异物识别方法、装置及系统 - Google Patents

Abstract

本发明涉及人工智能、输变电技术领域，尤其涉及一种基于深度学习的变电站异物识别方法、装置及系统。包括以下步骤：采集变电站的场景图像；根据预先建立的变电站异物的目标检测模型，对所述场景图像中的异物进行识别，得到所述场景图像内的异物所在位置和异物的类型；其中，所述变电站异物的目标检测模型为根据预设的变电站内的异物类型以及若干变电站异物图像进行训练得到。本发明提升了异物检测准确性，能具体分辨出异物的种类，还能起到辅助变电站巡视、监控的作用。本发明方法所开发的模块可集成到固定摄像头和机器人本体以及它们的远程控制系统，赋予它们智能识别变电站内异物的能力，提升变电站巡视和监控的智能化水平。

Description

一种基于深度学习的变电站异物识别方法、装置及系统

技术领域

本发明涉及人工智能、输变电技术领域，尤其涉及一种基于深度学习的变电站异物识别方法、装置及系统。

背景技术

变电站是远程输电架构中最至关重要的组成部分，它内部包含了数百种设备，而每一设备又包括了数十个部件，并且在传统变电站中这些设备、部件基本都是裸露在外，无套管保护的。另一方面，变电站一般是通过矮墙与外部环境进行阻隔，环境中的异物，如风筝、气球、薄膜等，难免会闯入到站内且容易与站内的设备纠缠在一起，如未及时发现，则很容易造成设备短路，继而损坏设备甚至是更加严重的级联灾害。虽然变电站内已经架设了固定摄像机使得人员可以通过实时视频去观察站内的情况以找出闯入的异物，但实际情况下，要求人力进行24小时全方位、多角度的监控是没办法做到的，且人眼容易疲劳，产生误判的情况。若干变电站内也已经部署了巡视机器人，可以沿固定路线对站内不同位置进行拍摄并进行自动分析以发现设备状态的变化和异物的闯入等。然而，当前机器人所使用目标识别技术智能化水平低，仅能通过图像比对的方式来分辨当前与历史画面的异同，并不能真正意义上识别出画面中是否有异物以及异物的具体类别。另外，这种图像比对的方法极易受到环境的影像，当外部光线等条件发生变化时，会造成机器人误判的情况。

现有变电站智能化监控和巡视水平低、尚无能力自动并及时发现站内异物的问题开展研究。当前变电站内均已部署固定摄像头用以监控人员行为和站内状况，然而这却需要人工进行分析、判别，缺乏智能性。另外，部分变电站已经启用巡视机器人，它们虽然能够一定程度上完成设备状态识别和异物发现，但却多使用图像比对的简单方法来实现，性能差、可靠性低、易受环境影响、不能真正分辨出异物具体种类。变电站内闯入的异物常与电力设备和网架缠绕，如未及时发现，将极有可能导致设备的损坏，甚至引起严重的电力事故。

为了解决这些问题，提升变电站内巡视和监控的智能化水平，迫切需要一种方法能够使得机器人和固定摄像头自动识别出视野范围内的异物。

发明内容

针对上述现有技术中目前存在的问题，本发明提出了一种基于深度学习的变电站异物识别方法、装置及系统，其目的是为了提供一种能够智能识别变电站内异物，提升变电站巡视和监控的智能化水平。

为了实现上述发明目，本发明是通过以下技术方案来实现的：

一种基于深度学习的变电站异物识别方法，包括以下步骤：

采集变电站的场景图像；

根据预先建立的变电站异物的目标检测模型，对所述场景图像中的异物进行识别，得到所述场景图像内的异物所在位置和异物的类型；

其中，所述变电站异物的目标检测模型为根据预设的变电站内的异物类型以及若干变电站异物图像进行训练得到。

所述异物类型，包括以下一种或多种：

鸟巢、蜂巢、风筝、气球、塑料薄膜、防尘网。

所述变电站异物的目标检测模型的建立过程，包括：

对变电站内的异物进行辨别和分类；

采集变电站异物场景图像以及模拟变电站异物场景图像，对图像中的每一标注物打上所属的标签，所述标签为标注物所属种类的文字描述，并进行图像汇总得到汇总后的图像；

利用汇总后的图像进行模型训练，得到变电站异物的目标检测模型。

所述采集变电站异物场景图像，包括：

收集变电站异物闯入的历史图像；

根据异物本体的类型剔除质量差的数据样本，所述质量差的数据样本包括：场景图像中异物本体所占像素区域面积小于5％的样例和/或异物本体只有不足10％部分显示在场景图像中的样例；

所述模拟变电站异物场景图像，包括：异物本体图像的拍摄和采集、变电站内场景拍摄、异物本体部分剪裁、图像扩充、改变图像噪声和图像拼接，得到模拟的变电站异物场景图像。

所述异物本体图像的拍摄和采集是指对变电站内异物进行实时拍摄时保证异物落于摄像设备视野中央区域，从不同距离和角度分别进行拍摄，并通过调节设备光圈获取不同亮度的图像；从网上或其它途径下载关于异物本体的图片样例。

所述异物本体部分裁剪包括对每一张图片进行定制化处理，剔除背景，沿边缘剪裁出异物本体部分的图像；

所述图像扩充包括通过翻转、裁剪和缩放的方法来增加所获的每一异物本体的数量；通过翻转进行异物本体图像处理的方法如下：将图像每隔30度进行翻转，获取新的图像；通过裁剪进行异物本体图像处理的方法如下：随机对所获的异物本体图像进行裁剪，分别从图像的上、下、左、右裁剪去图像的20％、40％、60％部分，最终从每一张异物图像获取12张新的裁剪后的图像；通过缩放的进行异物本体图像处理的方法如下，分别将异物图像变为原始尺寸的25％、50％、200％大小，获取新的图像；

所述改变图像噪声包括对所获得的异物本体图像引入图像噪声以增加图像样例的数量；

所述变电站内场景拍摄是使用机器人和固定摄像头针对变电站内易缠挂异物的设备和部件的部位以及容易受异物影响而发生故障的部位进行拍摄，通过改变拍摄的距离、角度、光圈的变化来提升图像的多样性，留存影像；

所述图像拼接包括将所述异物本体的图像拼接到机器人和固定摄像头所拍摄的图像中的易缠挂异物或易受异物影响的部位，以模拟变电站内异物闯入场景。

所述对所获得的异物本体图像引入图像噪声的公式如下：

f(x,y)＝g(x,y)+q(.)，

其中，x和y分别代表图像中像素的横纵坐标，g(x,y)表示每一像素的真实值，对于多信道的图像，g(x,y)表示每一像素所对应的向量，q(.)表示噪声函数，f(x,y)表示引入噪声以后的图像的各像素的值；其中噪声由高斯随机变量的概率密度函数来引入，由下述公式表示：

其中：z为变量，P(z)为z的概率密度函数，μ为z的期望，而σ为z的方差。

所述采集变电站的场景图像，包括：

采集变电站的场景视频并对所述视频进行抽帧得到场景图像；

对所述场景图像进行图像处理；

所述图像处理包含线性灰度增强和对数函数非线性变换；

所述线性灰度增强的方法如下：

其中，g(x,y)为每一像素的真实值，[a,b]为原始图像的灰度范围，[c,d]为新图像灰度的预期范围，f(x,y)为变化后图像的像素值；

所述对数函数非线性变换公式如下：

其中，a、b和c为可调节参数，通过迭代修正后使得新生成的图像的灰度范围居于理想范围内；如所处理图像为彩色图像，则需在图像增强前进行彩色向灰度的转换，用opencv的内置方法来实现，增强的灰度图像通过opencv所提供方法转化回为彩色图像。

一种基于深度学习的变电站异物识别装置，包括：

采集模块，用于采集变电站的场景图像；

识别模块，用于根据预先建立的变电站异物的目标检测模型，对所述场景图像中的异物进行识别，得到所述场景图像内的异物所在位置和异物的类型；

其中，所述变电站异物的目标检测模型为根据预设的异物类型以及异物图像进行训练得到。

一种基于深度学习的变电站异物识别系统，包括变电巡视机器人以及所述的一种基于深度学习的变电站异物识别装置，所述变电巡视机器人包括有摄像头装置，所述变电巡视机器人用于通过所述摄像头装置采集变电站的场景图像。

本发明具有如下优点及有益效果：

本发明提出了一种基于端到端深度学习算法的变电站异物智能识别方法、装置及系统，基于此方法的异物智能识别模块，简称识别模块，可集成到机器人和摄像头的本体或者是它们远程的控制系统中进行异物的实时、智能识别，不仅提升了异物检测准确性，更是能够具体分辨出异物的种类。机器人和智能摄像头在巡视和监控过程中将不间断拍摄影像并向异物智能识别模块实时反馈视频数据，此模块则会将视频拆分成图片，以固定间隔从中抽帧，进行分析，继而检测出当前监视画面中的异物。本发明还能够起到辅助变电站巡视、监控的作用。

当前变电站内的固定摄像头尚不具备智能化识别异物闯入的能力，而机器人在巡视过程中虽然具备了初步的异物识别功能，但由于其采用的技术基于图像比对，导致识别准确度低、可靠性差且缺乏智能化水平，本发明则提出了基于变电站异物识别方法，而基于此方法所开发的模块可集成到固定摄像头和机器人本体以及它们的远程控制系统，赋予它们智能识别变电站内异物的能力，提升变电站巡视和监控的智能化水平。

附图说明

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施方式对本发明作进一步的详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

图1是本发明整体框架示意图。

具体实施方式

实施例1

本发明是一种基于深度学习的变电站异物识别方法，如图1所示，图1是本发明整体框架示意图。包括：

采集变电站的场景图像；

根据预先建立的变电站异物的目标检测模型，对所述场景图像中的异物进行识别，得到所述场景图像内的异物所在位置和异物的类型；

其中，所述变电站异物的目标检测模型为根据预设的变电站内的异物类型以及若干变电站异物图像进行训练得到。

下面针对本发明方法进行详细的说明如下：

步骤1：异物梳理。梳理变电站内出现频率高、危害程度大的异物种类，经调查研究，总结典型异物类型如下，包括以下一种或多种：鸟巢、蜂巢、风筝、气球、塑料薄膜及防尘网等，后期还可在此基础上对变电站内异物的种类进行扩充。

步骤2：图像采集。图像采集分为以下两种情况，包括对于现有变电站异物场景图像的收集和对于异物场景图像的模拟。

步骤2-1：异物场景图像的采集。收集变电站异物闯入的历史图像，根据异物本体的类型，如鸟巢、蜂巢、风筝、气球、塑料薄膜、防尘网等进行分类，剔除出质量较差的数据样本，包括：(1)场景图像中异物本体所占像素区域面积小于5％的样例，(2)异物本体只有不足10％部分显示在场景图像中的样例。

步骤2-2：异物场景图像的模拟。异物场景图像模拟主要包括：异物本体图像的拍摄和采集、变电站内场景拍摄、异物本体部分剪裁、图像扩充、改变图像噪声和图像拼接。

步骤2-2-1：异物本体图像的拍摄和采集。对变电站内异物进行实时拍摄时需保证异物落于摄像设备视野中央区域，从不同距离和角度分别进行拍摄，并通过调节设备光圈获取不同亮度的图像，提升图像样例的数量和多样性；从网上或其它途径下载关于异物本体，包括鸟巢、蜂巢、风筝、气球、塑料薄膜和防尘网等的图片样例。

步骤2-2-2：异物本体部分裁剪。对每一张图片进行定制化处理，剔除背景，沿边缘剪裁出异物本体部分的图像。

步骤2-2-3：图像扩充。包括通过翻转、裁剪和缩放的方法来增加所获的每一异物本体的数量。通过翻转进行异物本体图像处理的方法如下，将图像每隔30度进行翻转，获取新的图像；通过裁剪进行异物本体图像处理的方法如下，随机对技术方案3所获的异物本体图像进行裁剪，分别从图像的上、下、左、右裁剪去图像的20％、40％、60％部分，最终从每一张异物图像获取12张新的裁剪后的图像；通过缩放的进行异物本体图像处理的方法如下，分别将异物图像变为原始尺寸的25％、50％、200％大小，获取新的图像。

步骤2-2-4：改变图像噪声。对于所获得的异物本体图像，引入图像噪声以增加图像样例的数量，具体方法如下，通过加性噪声来对图像进行处理，公式如下：f(x,y)＝g(x,y)+q(.)，其中x和y分别代表图像中像素的横纵坐标，g(x,y)表示每一像素的真实值，对于多信道的图像，g(x,y)表示每一像素所对应的向量，q(.)表示噪声函数，f(x,y)表示引入噪声以后的图像的各像素的值，其中噪声由高斯随机变量的概率密度函数来引入，由下述公式表示：

其中：z为变量，P(z)为z的概率密度函数，μ为z的期望，而σ为z的方差。

步骤2-2-5：变电站内场景拍摄。使用机器人和固定摄像头针对变电站内易缠挂异物的设备和部件的部位以及容易受异物影响而发生故障的部位进行拍摄，通过改变拍摄的距离、角度、光圈的变化来提升图像的多样性，留存影像。

步骤2-2-6：图像拼接。包括将所述异物本体的图像拼接到机器人和固定摄像头所拍摄的图像中的易缠挂异物或易受异物影响的部位，以模拟变电站内异物闯入场景。

步骤2-3：图像汇总。将步骤2-1和步骤2-2-6所收集、设计的图像进行汇总，统一编号。

步骤3：图像标注。针对每一张图像，对于目标物完整显示于图像中的情况，使用最小矩形标注出所有的目标物，包括鸟巢、蜂巢、风筝、气球、塑料薄膜、防尘网等；对于目标物仅有一部分显示于图像中的情况，使用最小矩形将此部分标出，对于目标物被部分遮挡的情况，使用最小矩形将目标物的可见部分标出。对图像中的每一标注物打上所属的标签，包括鸟巢、风筝、气球、塑料薄膜、防尘网等。

步骤4：模型部署；如果获取到模型，则进行模型训练，将训练好的模型部署到硬件设备上，为后期的变电站异物识别提供服务；如果未获取到模型，则重新执行步骤1-步骤4；

所述模型训练为迭代循环过程，每一次迭代包括数据拆分、算法调参、训练模型、模型验证等主要步骤。

步骤4-1：数据拆分。将所有图像分为三部分，分别为训练集、验证集和测试集，使三个子集的图像样例的数量占比分别为70％，20％和10％。

步骤4-2：算法调参。选取基于深度学习算法的目标检测算法，并对算法的参数进行初步的调整。

步骤4-3：训练模型。在训练集图像的基础之上对算法进行训练，获取变电站异物的目标检测模型。

步骤4-4：模型验证。在验证集的基础之上，对目标检测模型的准确度进行评估，假如准确度不满足要求，则对目标检测算法的参数进行调整，并使用训练集进行模型训练，使用验证集进行模型的准确度的评估；经验证符合要求的进行下一步，不符合要求的则重新返回到算法调参步骤，重复上步操作，直到精确度满足条件；在测试集的基础之上对模型的精确度再次进行评估，如准确度满足要求，则保留模型，如准确度无法满足要求，则通过所述步骤2重新扩充并优化样本的质量，并依次按照流程完成模型的训练，直到模型最终满足精度要求。

所述模型部署是将获取到模型进行模型训练，再将训练好的模型部署到硬件设备上，模型部署方式分以下四种，根据实际变电站内硬件配置情况，分别为部署到变电巡视机器人本体、固定摄像头本体，变电巡视机器人远程控制系统和固定摄像头远程控制系统。

步骤5：图像检测。图像检测的主要步骤包括机器人巡视视频和固定摄像头视频的实时采集、视频抽帧、图像处理、检测图像。

步骤5-1：机器人巡视视频和固定摄像头视频的实时采集。在实际的巡视和监控的过程中，无论是机器人还是固定摄像头都将进行实时视频的拍摄，它们需要将这些实时视频传给智能识别模块。

步骤5-2：视频抽帧。模块而后会按照固定的间隔对视频进行抽帧，间隔的具体长度取决于模块的性能和硬件载体的计算能力。

步骤5-3：图像处理。所述帧图像需进行图像增强，具体方法包含线性灰度增强和对数函数非线性变换。由于受拍摄条件的影像，上述帧图像可能会出现质量不佳的情况，影像智能模块的识别准确性，因此需要对每一帧图像进行图像增强，具体方法包含线性灰度增强和对数函数非线性变换。

线性灰度增强的方法如下，

其中，g(x,y)为每一像素的真实值，[a,b]为原始图像的灰度范围，[c,d]为新图像灰度的预期范围，f(x,y)为变化后图像的像素值。

对数函数非线性变换公式如下，

其中，a、b和c为可调节参数，通过迭代修正后可使得新生成的图像的灰度范围居于理想范围内。如所处理图像为彩色图像，则需在图像增强前进行彩色向灰度的转换，这里可用opencv的内置方法来实现，增强的灰度图像也可通过opencv所提供方法转化回为彩色图像。

步骤5-4：检测图像。将修正好的图片传送给图像识别模块，此模块将检测出图像中是否含有目标对象，对象的具体像素位置，以及对象的种类。

步骤6：进行报警，提供报警信息。

实施例2

基于同一发明构思，本发明还提供了一种基于深度学习的变电站异物识别装置，该装置解决技术问题的原理与一种基于深度学习的变电站异物识别方法类似，重复之处不再赘述。

所述基于深度学习的变电站异物识别装置，包括：

采集模块，用于采集变电站的场景图像；

识别模块，用于根据预先建立的变电站异物的目标检测模型，对所述场景图像中的异物进行识别，得到所述场景图像内的异物所在位置和异物的类型；

其中，所述变电站异物的目标检测模型为根据预设的异物类型以及异物图像进行训练得到。

实施例3

基于同一发明构思，本发明还提供了一种基于深度学习的变电站异物识别系统，包括变电巡视机器人以及如实施例2所述的一种基于深度学习的变电站异物识别装置，所述变电巡视机器人包括有摄像头装置，所述变电巡视机器人用于通过所述摄像头装置采集变电站的场景图像。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于深度学习的变电站异物识别方法，其特征在于，包括：采集变电站的场景图像；包括：采集变电站的场景视频并对所述视频进行抽帧得到场景图像；对所述场景图像进行图像处理；所述图像处理包含线性灰度增强和对数函数非线性变换；所述线性灰度增强的方法如下：

其中，g(x,y)为每一像素的真实值，[a,b]为原始图像的灰度范围，[c,d]为新图像灰度的预期范围，f(x,y)为变化后图像的像素值；

所述对数函数非线性变换公式如下：

其中，a、b和c为可调节参数，通过迭代修正后使得新生成的图像的灰度范围居于理想范围内；如所处理图像为彩色图像，则需在图像增强前进行彩色向灰度的转换，用opencv的内置方法来实现，增强的灰度图像通过opencv所提供方法转化回为彩色图像；

根据预先建立的变电站异物的目标检测模型，对所述场景图像中的异物进行识别，得到所述场景图像内的异物所在位置和异物的类型；所述异物类型，包括以下一种或多种：鸟巢、蜂巢、风筝、气球、塑料薄膜、防尘网；所述变电站异物的目标检测模型的建立过程，包括：对变电站内的异物进行辨别和分类；采集变电站异物场景图像以及模拟变电站异物场景图像，对图像中的每一标注物打上所属的标签，所述标签为标注物所属种类的文字描述，并进行图像汇总得到汇总后的图像；利用汇总后的图像进行模型训练，得到变电站异物的目标检测模型；所述采集变电站异物场景图像，包括：收集变电站异物闯入的历史图像；根据异物本体的类型剔除质量差的数据样本，所述质量差的数据样本包括：场景图像中异物本体所占像素区域面积小于5％的样例和/或异物本体只有不足10％部分显示在场景图像中的样例；所述模拟变电站异物场景图像，包括：异物本体图像的拍摄和采集、变电站内场景拍摄、异物本体部分剪裁、图像扩充、改变图像噪声和图像拼接，得到模拟的变电站异物场景图像；所述异物本体图像的拍摄和采集，包括：对变电站内异物进行实时拍摄时保证异物落于摄像设备视野中央区域，从不同距离和角度分别进行拍摄，并通过调节设备光圈获取不同亮度的图像；从网上或其它途径下载关于异物本体的图片样例；所述异物本体部分裁剪包括：对每一张图片进行定制化处理，剔除背景，沿边缘剪裁出异物本体部分的图像；所述图像扩充包括通过翻转、裁剪和缩放的方法来增加所获的每一异物本体的数量；通过翻转进行异物本体图像处理的方法如下：将图像每隔30度进行翻转，获取新的图像；通过裁剪进行异物本体图像处理的方法如下：随机对所获的异物本体图像进行裁剪，分别从图像的上、下、左、右裁剪去图像的20％、40％、60％部分，最终从每一张异物图像获取12张新的裁剪后的图像；通过缩放的进行异物本体图像处理的方法如下，分别将异物图像变为原始尺寸的25％、50％、200％大小，获取新的图像；所述改变图像噪声包括对所获得的异物本体图像引入图像噪声以增加图像样例的数量；所述变电站内场景拍摄是使用机器人和固定摄像头针对变电站内易缠挂异物的设备和部件的部位以及容易受异物影响而发生故障的部位进行拍摄，通过改变拍摄的距离、角度、光圈的变化来提升图像的多样性，留存影像；所述图像拼接包括将所述异物本体的图像拼接到机器人和固定摄像头所拍摄的图像中的易缠挂异物或易受异物影响的部位，以模拟变电站内异物闯入场景；

其中，所述变电站异物的目标检测模型为根据预设的变电站内的异物类型以及若干变电站异物图像进行训练得到；

所述对所获得的异物本体图像引入图像噪声的公式如下：f(x,y)＝g(x,y)+q(.)，其中，x和y分别代表图像中像素的横纵坐标，g(x,y)表示每一像素的真实值，对于多信道的图像，g(x,y)表示每一像素所对应的向量，q(.)表示噪声函数，f(x,y)表示引入噪声以后的图像的各像素的值；其中

噪声由高斯随机变量的概率密度函数来引入，由下述公式表示：

其中：z为变量，P(z)为z的概率密度函数，μ为z的期望，而σ为z的方差。

2.一种基于深度学习的变电站异物识别装置，其特征是，包括：

采集模块，用于采集变电站的场景图像；

识别模块，用于根据预先建立的变电站异物的目标检测模型，对所述场景图像中的异物进行识别，得到所述场景图像内的异物所在位置和异物的类型；

其中，所述变电站异物的目标检测模型为根据预设的异物类型以及异物图像进行训练得到。

3.一种基于深度学习的变电站异物识别系统，其特征在于，包括变电巡视机器人以及如权利要求2所述的一种基于深度学习的变电站异物识别装置，所述变电巡视机器人包括有摄像头装置，所述变电巡视机器人用于通过所述摄像头装置采集变电站的场景图像。