CN111325708B - 一种输电线路检测方法和服务器 - Google Patents

Abstract

本申请公开了一种输电线路检测方法和服务器，检测方法包括：获取输电线路上，当前时刻的输电线路图像以及前一时刻的输电线路图像；将当前时刻的输电线路图像和前一时刻输电线路图像输入到预先训练好的孪生网络中，并将当前时刻的输电线路图像输入到预先训练好的端到端神经网络中；端到端神经网络根据孪生网络的输出结果和当前时刻的输电线路图像，得到至少一个目标图像和目标图像对应的输电线路的隐患类型；端到端神经网络根据输电线路的隐患类型，将各目标图像发送给相应的预先训练好的校验神经网络；校验神经网络判断目标图像是否能够表征目标图像对应的输电线路的隐患类型。本申请提供的技术方案能够提高输电线路检测的准确度。

Description

一种输电线路检测方法和服务器

技术领域

本申请涉及输电线路检测技术领域，尤其涉及一种输电线路检测方法和服务器。

背景技术

随着电力行业的发展，输电线被广泛的铺设在各个地区。输电线路的电压高达数百伏甚至上千伏，因此通常在预设安全区域内设置检测设备，以检测是否存在人或物，从而避免输电线路对附近的人或物造成损伤。

一种判别安全区域内是否存在人或物的方法为基于端到端的深度学习的检测方法。然而，此种检测方法在检测过程中，对于某些目标虽然能够在降低置信度阈值后识别，但是降低阈值的代价就是误报率升高，从而降低了输电线路检测的准确度。

发明内容

为了解决上述问题，本申请提出了一种输电线路检测方法和服务器能够提高输电线路检测的准确度。

第一方面，本申请实施例提供了一种输电线路检测方法，包括：

接收来自输电线采集设备的当前时刻的输电线路图像以及前一时刻的输电线路图像；

将所述当前时刻的输电线路图像和前一时刻输电线路图像输入到预先训练好的孪生网络中；

所述端到端神经网络接收所述当前时刻的输电线路图像，以及根据所述孪生网络的输出结果和所述当前时刻的输电线路图像，得到至少一个目标图像和所述目标图像对应的输电线路的隐患类型；其中，目标图像包含输电线路的隐患信息；

所述端到端神经网络根据所述输电线路的隐患类型，将各所述目标图像发送给相应的预先训练好的校验神经网络；

所述校验神经网络判断所述目标图像是否能够表征所述目标图像对应的输电线路的隐患类型。

在一个示例中，通过所述孪生网络，确定所述当前时刻的输电线路图像与所述前一时刻输电线路图像不同的图像特征；

所述孪生网络将得到的所述图像特征发送给所述端到端神经网络的感兴趣区域池化层。

在一个示例中，所述端到端神经网络的感兴趣区域池化层获取从所述当前时刻的输电线路图像中提取到的图像特征；

所述端到端神经网络的感兴趣区域池化层根据预设的隐患类型，对所述孪生网络得到的图像特征和所述端到端神经网络提取到的图像进行分类，得到至少一个所述目标图像和各所述目标图像对应的隐患类型。

在一个示例中，获取第一训练样本和第二训练样本，其中，所述第一训练样本为与隐患图像数据相似度超过预设阈值的非隐患图像数据，所述第二训练样本为隐患图像数据；

以所述第一训练样本和所述第二训练样本为输入，训练所述校验神经网络。

在一个示例中，对所述校验神经网络的判断结果进行检测，确定误判数据，所述误判数据用于指示所述校验神经网络将与所述非隐患图像数据当作所述隐患数据；

获取所述误判数据对应的图像数据；

将所述误判数据对应的图像数据加入所述第一训练样本，以更新所述第一训练样本；

利用所述更新的第一训练样本对所述校验神经网络进行增量训练。

第二方面，本申请实施例提供了一种输电线路检测服务器，其特征在于，包括：接收模块、孪生网络、端到端神经网络和校验神经网络；

所述接收模块用于接收来自输电线采集设备的当前时刻的输电线路图像以及前一时刻的输电线路图像；

训练好的所述孪生网络用于接收来自所述接收模块的所述当前时刻的输电线路图像和前一时刻输电线路图像；

所述端到端神经网络用于接收来自所述接收模块的当前时刻的输电线路图像，以及根据所述孪生网络的输出结果和所述当前时刻的输电线路图像，得到至少一个目标图像和所述目标图像对应的输电线路的隐患类型；其中，目标图像包含输电线路的隐患信息；根据所述输电线路的隐患类型，将各所述目标图像发送给相应的预先训练好的所述校验神经网络；

所述校验神经网络用于判断所述目标图像是否能够表征所述目标图像对应的输电线路的隐患类型。

在一个示例中，所述孪生网络还用于确定所述当前时刻的输电线路图像与所述前一时刻输电线路图像不同的图像特征；所述孪生网络将得到的所述图像特征发送给所述端到端神经网络的感兴趣区域池化层。

在一个示例中，所述端到端神经网络的感兴趣区域池化层还用于获取从所述当前时刻的输电线路图像中提取到的图像特征；根据预设的隐患类型，对所述孪生网络得到的图像特征和所述端到端神经网络提取到的图像进行分类，得到至少一个所述目标图像和各所述目标图像对应的隐患类型。

在一个示例中，所述服务器还包括：网络训练模块；

所述网络训练模块用于获取第一训练样本和第二训练样本，其中，所述第一训练样本为与隐患图像数据相似度超过预设阈值的非隐患图像数据，所述第二训练样本为隐患图像数据；以所述第一训练样本和所述第二训练样本为输入，训练所述校验神经网络。

在一个示例中，所述服务器还包括：检测模块；

所述检测模块用于对所述校验神经网络的判断结果进行检测，确定误判数据，所述误判数据用于指示所述校验神经网络将与所述非隐患图像数据当做所述隐患数据；获取所述误判数据对应的图像数据；将所述误判数据对应的图像数据加入所述第一训练样本，以更新所述第一训练样本；

所述网络训练模块还用于利用所述更新的第一训练样本对所述校验神经网络进行增量训练。

本申请提供了一种输电线路检测方法，利用孪生网络检测检测动态的目标利用端对端神经网络检测静态目标，以防止对运动的目标漏检，从而降低图像识别漏报率。同时，端对端神经网络对当前时刻的输电线路图像以及孪生网络输出的结果进行图像识别，以尽可能多地得到疑似隐患的图像特征，进一步降低隐患漏检的概率。最后，利用校验神经网络按照隐患类型对得到各个图像特征进行校验，以除去非隐患对应的图像特征，并保留隐患对应的图像，从而提高高输电线路检测的准确度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种输电线路检测方法的流程图；

图2为本申请实施例提供的一种输电线路检测服务器的结构示意图。

具体实施方式

为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。

本申请的实施例公开了一种输电线路检测方法，如图1所示，包括以下步骤：

步骤101、接收来自输电线采集设备的当前时刻的输电线路图像以及前一时刻的输电线路图像。

在本申请实施例中，输电线路通道设备拍照的时间间隔为15分钟一张图像，孪生网络的主要作用是通过前后两帧间隔15分钟的同一设备拍摄的图像来检测两张图像中的变化区域。

步骤102、将当前时刻的输电线路图像和前一时刻输电线路图像输入到预先训练好的孪生网络中。

在本申请实施例中，孪生网络的激活函数为sigmoid函数，损失函数为加权二元交叉熵函数。其中，加权二元交叉熵函数的公式为：

端到端神经网络为Faster-R-CNN+FPN(Regions with Convolutional NeuralNetwork Features，具有卷积神经网络特征的区域；Feature Pyramid Network，特征金字塔网络)。在训练孪生网络和端到端神经网络时，利用bbox来标注训练样本中的隐患。其中，端到端神经网络利用Faster+FPN网络进行训练，利用具有时序性的图像数据来训练孪生网络。例如，针对同一个内容的图像数据，需要获取当前时刻的图像数据以及上一时刻的图像数据。

在本申请实施例中，孪生网络与端对端神经网络并行工作，且两个网络会共用一个感兴趣区域池化层。即孪生网络比对当前时刻的输电线路图像与前一时刻输电线路图像后，会得到两个图像中不同的图像特征，这些图像记为两个图像的变化区域。与传统的帧间差分法相比，基于孪生网络的识别会得到更多且更精确的变化区域，既能减少漏检概率，又能提高检测精准度。之后，孪生网络将得到的变化区域发送给端到端神经网络的感兴趣区域池化层，从而实现孪生网络和端到端神经网络的结合，同时也实现了动态目标检测与静态目标检测的结合。

步骤103、端到端神经网络接收当前时刻的输电线路图像，以及根据孪生网络的输出结果和当前时刻的输电线路图像，得到至少一个目标图像和目标图像对应的输电线路的隐患类型。

在本申请实施例中，不同的隐患类型具有不同的图像特征，因而对于不同的隐患类型而言，对应的区分非隐患图像数据和隐患图像数据的方法也不同。例如，隐患类型为施工机械时，其图像特征通常包括施工机械的隆廓、施工机械的颜色和施工机械的特有结构；隐患类型为烟火时，其图像特征通常包括光强、光的颜色，烟火在天空中呈出的形态；隐患类型为导线异物时，其图像特征通常包括导线的脊特征。显而易见的，上述各隐患类型的识别方法以及识别方法中包含的参数基本不同。如果将各隐患类型的识别方法整合成一个神经网络会导致算法不易收敛，从而降低检测结果的准确度。鉴于此，端到端神经网络中的感兴趣区域池化层在确定目标图像的同时，还要确定各目标图像所属的隐患类型，以便于校验神经网络根据与隐患类型相对应的算法去判定目标图像是否能表征该隐患类型。需要说明的是，目标图像中包含有输电线路的隐患信息；也会预先对隐患类型进行存储，以便于感兴趣区域池化层调用预设的隐患类型，并根据预设的隐患类型对目标图像进行分类。

步骤104、端到端神经网络根据输电线路的隐患类型，将各目标图像发送给相应的预先训练好的校验神经网络。

在本申请实施例中，隐患类型通常包括：施工机械、烟火和导线异物。根据前文所述，不同的隐患类型对应不同的识别方法，因此需要预先训练多个校验神经网络，以使每一个校验神经网络对应一个隐患类型。如此，能够有效剔除每一种隐患类型中的干扰图像特征，从而提高了输电线路检测的精准度。

在训练校验神经网络时，需要同时使用两种训练样本，其中，第一训练样本为与隐患图像数据相似度超过预设阈值的非隐患图像数据，例如风车与吊车臂相似，图像识别时容易将风车识别为吊车臂，因此将风车图像设为第一训练样本。同理将黄色堆积物容易被识别为施工机械，导线上的均压环容易被识别为导线异物，因此黄色堆积物图像和导线上的均压环图像同属于第一训练样本。第二训练样本为隐患图像数据。通过上述两个训练样本的训练，校验神经网络能够识别出哪些图像特征属于隐患图像数据，哪些图像特征属于被误认是隐患图像数据的非隐患数据。

步骤105、校验神经网络判断目标图像是否能够表征目标图像对应的输电线路的隐患类型。

在本申请实施例中，校验神经网络判断目标图像能够表达目标图像对应的输电线路的隐患类型时，将目标图像以及报警信息发送给相应的终端设备或服务器。如果校验神经网络判断目标图像不能表达目标图像对应的输电线路的隐患类型，则不发送目标图像。

此外，由于输电线路通常会设置在环境复杂的地区，如山区等，且拍摄效果易受自然环境影响，如光强、风、沙、雨、雪、雾，使得很难预先确定会把什么样的物体误识别成什么样的隐患。为了能提高识别隐患的准确度，在本申请实施例中，在每一个预设检测周期内，利用各检测设备采集到的各个时刻对应的当前时刻图像以及前一时刻图像组成测试样本集。

使用Faster+FPN网络分析所有的当前时刻的图像，计算每种类型的误报率、漏报率和准确率。同时采用本申请实施例中的神经网络分析图像样本集，计算每种类型的误报率、漏报率和准确率。对比两种网络的误报率、漏报率、准确率和单张图像分析的平均时长，确定孪生网络的实际应用效果。

本申请实施例给出了一组关于两种网络的误报率、漏报率和单张图像分析的平均时长的数据，如表1所示：

神经网络模型	误报率	漏报率	平均时长/张
				Faster+FPN	21.4％	8.5％	0.26s
本申请的网络	8.1％	3.2％	0.35s

表1

由表1可知，相比于只采用faster+fpn网络，本申请实施例中的网络最高只增加了0.1s的时长，因而本申请实施例中的网络并没有因为在计算过程中增加了两个网络而显著降低图像分析的速度。同时相比于只采用faster+fpn网络，本申请实施例中的网络极大的降低了误报率和漏报率。

在本申请实施例中的网络的误报率、漏报率和准确率中的任意一项或多项没有到达预设值时，对校验神经网络的判断结果进行检测，确定误判数据，误判数据用于校验神经网络将与非隐患图像数据当作隐患数据。验证判断结果的方法可以通过派遣工作人员实地观察，或在易出错的位置设置其他传感器。之后，获取误判数据对应的图像数据，并将误判数据对应的图像数据加入第一训练样本，以更新第一训练样本。最后，利用更新的第一训练样本对校验神经网络进行增量训练。通过上述方法，可以不断完善校验神经网络校验精确度，从而提高了输电线路检测的准确度。

本申请的实施例公开了一种输电线路检测服务器，如图2所示，包括：接收模块201、孪生网络202、端到端神经网络203、校验神经网络204、网络训练模块205和检测模块206；

接收模块201用于接收来自输电线采集设备的当前时刻的输电线路图像以及前一时刻的输电线路图像；预先训练好的孪生网络202用于接收来自接收模块201的当前时刻的输电线路图像和前一时刻输电线路图像；；

端到端神经网络203用于接收来自接收模块201的当前时刻的输电线路图像，以及根据孪生网络202的输出结果和当前时刻的输电线路图像，得到至少一个目标图像和目标图像对应的输电线路的隐患类型；其中，目标图像包含输电线路的隐患信息；根据输电线路的隐患类型，将各目标图像发送给相应的预先训练好的校验神经网络204；

校验神经网络204用于判断目标图像是否能够表征目标图像对应的输电线路的隐患类型。

在本申请实施例中，孪生网络202用于确定当前时刻的输电线路图像与前一时刻输电线路图像不同的图像特征；孪生网络202将得到的图像特征发送给端到端神经网络203的感兴趣区域池化层。

在本申请实施例中，端到端神经网络203的感兴趣区域池化层用于获取从当前时刻的输电线路图像中提取到的图像特征；根据预设的隐患类型，对孪生网络202得到的图像特征和端到端神经网络203提取到的图像进行分类，得到至少一个目标图像和各目标图像对应的隐患类型。需要说明的是，端到端神经网络203与孪生网络202共用一个感兴趣区域池化层。

在本申请实施例中，网络训练模块205用于获取第一训练样本和第二训练样本，其中，第一训练样本为与隐患图像数据相似度超过预设阈值的非隐患图像数据，第二训练样本为隐患图像数据；以第一训练样本和第二训练样本为输入，训练校验神经网络204。

在本申请实施例中，检测模块206用于对校验神经网络204的判断结果进行检测，确定误判数据，误判数据用于指示校验神经网络204将与非隐患图像数据当做隐患数据；获取误判数据对应的图像数据；将误判数据对应的图像数据加入第一训练样本，以更新第一训练样本；网络训练模块205还用于利用更新的第一训练样本对校验神经网络204进行增量训练。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种输电线路检测方法，其特征在于，包括：

接收来自输电线采集设备的当前时刻的输电线路图像以及前一时刻的输电线路图像；

将所述当前时刻的输电线路图像和前一时刻输电线路图像输入到预先训练好的孪生网络中；

端到端神经网络接收所述当前时刻的输电线路图像，以及根据所述孪生网络的输出结果和所述当前时刻的输电线路图像，得到至少一个目标图像和所述目标图像对应的输电线路的隐患类型，具体为：所述孪生网络与所述端到端神经网络并行工作，且两个网络会共用一个感兴趣区域池化层，所述孪生网络将变化区域发送给所述端到端神经网络的感兴趣区域池化层，所述变化区域为所述当前时刻的输电线路图像与所述前一时刻输电线路图像不同的图像特征；其中，目标图像包含输电线路的隐患信息；

所述端到端神经网络根据所述输电线路的隐患类型，将各所述目标图像发送给相应的预先训练好的校验神经网络；

所述校验神经网络判断所述目标图像是否能够表征所述目标图像对应的输电线路的隐患类型。

2.根据权利要求1所述的方法，其特征在于，所述端到端神经网络根据所述孪生网络的输出结果和所述当前时刻的输电线路图像，得到至少一个目标图像和所述目标图像对应的输电线路的隐患类型，具体包括：

所述端到端神经网络的感兴趣区域池化层获取从所述当前时刻的输电线路图像中提取到的图像特征；

所述端到端神经网络的感兴趣区域池化层根据预设的隐患类型，对所述孪生网络得到的图像特征和所述端到端神经网络提取到的图像进行分类，得到至少一个所述目标图像和各所述目标图像对应的隐患类型。

3.根据权利要求1所述的方法，其特征在于，在所述将各所述目标图像发送给相应的预先训练好的校验神经网络之前，所述方法还包括：

获取第一训练样本和第二训练样本，其中，所述第一训练样本为与隐患图像数据相似度超过预设阈值的非隐患图像数据，所述第二训练样本为隐患图像数据；

以所述第一训练样本和所述第二训练样本为输入，训练所述校验神经网络。

4.根据权利要求3所述的方法，其特征在于，在所述校验神经网络判断所述目标图像是否能够表征所述目标图像对应的输电线路的隐患类型之后，所述方法还包括：

对所述校验神经网络的判断结果进行检测，确定误判数据，所述误判数据用于指示所述校验神经网络将与所述非隐患图像数据当作所述隐患数据；

获取所述误判数据对应的图像数据；

将所述误判数据对应的图像数据加入所述第一训练样本，以更新所述第一训练样本；

利用所述更新的第一训练样本对所述校验神经网络进行增量训练。

5.一种输电线路检测服务器，其特征在于，包括：接收模块、孪生网络、端到端神经网络和校验神经网络；

所述接收模块用于接收来自输电线采集设备的当前时刻的输电线路图像以及前一时刻的输电线路图像；

训练好的所述孪生网络用于接收来自所述接收模块的所述当前时刻的输电线路图像和前一时刻输电线路图像；

所述端到端神经网络用于接收来自所述接收模块的当前时刻的输电线路图像，以及根据所述孪生网络的输出结果和所述当前时刻的输电线路图像，得到至少一个目标图像和所述目标图像对应的输电线路的隐患类型，具体为：所述孪生网络与所述端到端神经网络并行工作，且两个网络会共用一个感兴趣区域池化层，所述孪生网络将变化区域发送给所述端到端神经网络的感兴趣区域池化层，所述变化区域为所述当前时刻的输电线路图像与所述前一时刻输电线路图像不同的图像特征；其中，目标图像包含输电线路的隐患信息；根据所述输电线路的隐患类型，将各所述目标图像发送给相应的预先训练好的所述校验神经网络；

所述校验神经网络用于判断所述目标图像是否能够表征所述目标图像对应的输电线路的隐患类型。

6.根据权利要求5所述的服务器，其特征在于，

所述端到端神经网络的感兴趣区域池化层还用于获取从所述当前时刻的输电线路图像中提取到的图像特征；根据预设的隐患类型，对所述孪生网络得到的图像特征和所述端到端神经网络提取到的图像进行分类，得到至少一个所述目标图像和各所述目标图像对应的隐患类型。

7.根据权利要求5所述的服务器，其特征在于，所述服务器还包括：网络训练模块；

所述网络训练模块用于获取第一训练样本和第二训练样本，其中，所述第一训练样本为与隐患图像数据相似度超过预设阈值的非隐患图像数据，所述第二训练样本为隐患图像数据；以所述第一训练样本和所述第二训练样本为输入，训练所述校验神经网络。

8.根据权利要求7所述的服务器，其特征在于，所述服务器还包括：检测模块；

所述检测模块用于对所述校验神经网络的判断结果进行检测，确定误判数据，所述误判数据用于指示所述校验神经网络将与所述非隐患图像数据当做所述隐患数据；获取所述误判数据对应的图像数据；将所述误判数据对应的图像数据加入所述第一训练样本，以更新所述第一训练样本；

所述网络训练模块还用于利用所述更新的第一训练样本对所述校验神经网络进行增量训练。

Images