CN106971152B

CN106971152B - 一种基于航拍图像的检测输电线路中鸟巢的方法

Info

Publication number: CN106971152B
Application number: CN201710156552.5A
Authority: CN
Inventors: 侯春萍; 管岱; 杨阳; 章衡光; 郎玥
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2017-03-16
Filing date: 2017-03-16
Publication date: 2020-04-17
Anticipated expiration: 2037-03-16
Also published as: CN106971152A

Abstract

本发明涉及一种基于航拍图像的检测输电线路中鸟巢的方法，包括下列步骤：构建带有标注和标签的图片数据库。分别训练两个深度卷积神经网络：利用所得的数据集，对分类网络VGG16进行修改，变成两个检测网络，分别对其进行训练，得到一个鸟巢粗选神经网络和一个鸟巢细选神经网络，其中粗选网络利用在特征图上进行滑窗的方法可得到鸟巢粗选区域，然后用粗选区域训练鸟巢细选网络，从而得到最佳鸟巢区域。交叉训练微调网络构建检测模型。采用交叉训练的方法，重新训练所得到的粗选神经网络和细选神经网络，使两个网络能够共享前13层卷积层参数，将两个网络组合为一个端到端的卷积神经网络，从而构成鸟巢检测模型。

Description

一种基于航拍图像的检测输电线路中鸟巢的方法

技术领域

本发明属于物体检测领域，涉及一种利用深度卷积神经网络的检测输电线路航拍图像中鸟巢的方法。

背景技术

输电线路在电力系统中起着非常重要的作用，直接关系到千家万户的用电问题，大规模断电将给国民经济带来不可估量的损失。因此，输电线路的安全性是电力部门高度关注的问题之一^[1]。鸟类的自然活动经常会干扰到输电线路的正常工作，例如鸟类常筑巢在输电线路杆塔上，其窝巢材料的掉落很容易引起杆塔周围线路的短路。

因此，为了保证电网的安全可靠运行，必须对鸟类在输电线路杆塔上的筑巢

行为进行监测、预警和防护。输电线路传统的检测方法是依靠人工检测，这种检测方法需要工作人员深入实地作业，受地理限制和时间限制较大，耗费大量的人力物力，监控覆盖范围有限。而无人机巡线技术、直升飞机巡线技术以及基于航拍图像检测系统的输电线路监控技术是目前新兴的输电线路监控方法。前两种方法分别利用无人机和直升飞机来替代人力进行输电线路巡线操作；而基于图像检测系统的输电线路监控技术是通过将采集来的图像传输至后台监测中心，利用监测中心的图像处理检测系统对输电线路杆塔的状态进行自动识别并告警。与传统的人工巡检方法相比，这些监测方法更加简单、准确、实时、经济。

物体检测任务需要回答一张图像中在什么位置存在一个什么物体。与物体分类问题不同，物体检测问题从数学上是研究输入图像X与输出物体窗口Y之间的关系，这里Y的取值不再是一个实数，而是一组“结构化”的数据，指定了物体的外接窗口和类别^[2]。基于航拍图像的鸟巢检测任务作为物体检测任务的一种，依赖于对图像特征的恰当选择与提取。鸟巢的形状往往与其所在的位置有关，有不规则的半球形，也有立方形等等，现有的机器学习算法、模板匹配、特征匹配等方法都不能有效的检测鸟巢。卷积神经网络(ConvolutionalNeural Network，CNN)提供了一种端到端的学习模型，经过训练后的卷积神经网络能够较好的学习到图像中的特征，并且完成对图像特征的提取和分类。在计算机视觉领域，CNN最主要的技术优势体现在：通过充分利用图像数据的层次属性，抽象或组合低层信号来构建高层特征，即局部边缘构成主题，主题聚合成部分，部分组成物体，最终使得图像中的物体易于检测或分类。因此，CNN具有极其优良的数据表征能力^[3]。

[1]仝卫国.基于航拍图像的输电线路识别与状态检测方法研究[D].华北电力大学,2011.

[2]黄凯奇,任伟强,谭铁牛.图像物体分类与检测算法综述[J].计算机学报,2014,(06):1225-1240.

[3]刘栋,李素,曹志冬.深度学习及其在图像物体分类与检测中的应用综述[J].计算机科学,2016,(12):13-23.

发明内容

本发明针对输电线路杆塔上的鸟巢检测问题，提供一种基于深度神经网络的物体检测技术对输电线路杆塔上的鸟巢进行检测的方法。本发明可用于不同环境、光照强度及天气情况，对于复杂环境中的输电线路鸟巢缺陷，可以保证较高的检测准确性和快速性。可以智能、快速、准确地的进行检测，技术方案如下：

一种基于航拍图像的检测输电线路中鸟巢的方法，包括下列步骤：

第一步，构建带有标注和标签的图片数据库：采集输电线路的航拍图像，挑选出含有鸟巢的图片并对其进行标注，使用图像增强技术，构建符合格式要求、匹配网络结构的数据集。

第二步，分别训练两个深度卷积神经网络：利用所得的数据集，对分类网络VGG16进行修改，变成两个检测网络，分别对其进行训练，得到一个鸟巢粗选神经网络和一个鸟巢细选神经网络，其中粗选网络利用在特征图上进行滑窗的方法可得到鸟巢粗选区域，然后用粗选区域训练鸟巢细选网络，从而得到最佳鸟巢区域；方法如下：

(1)训练第一个神经网络作为鸟巢粗选神经网络：对VGG16网络进行修改，将分类网络变成如下的一个检测网络，保留VGG16网络的前13层卷积层作为特征提取层，去掉VGG16的全连接层，添加第14层卷积层，并在其上进行不同尺度的滑窗操作作为特征映射；再添加2个卷积层分别输出候选区域包含鸟巢的置信度和区域框的位置参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值；

(2)训练第二个神经网络作为鸟巢细选神经网络：修改VGG16分类网络变为第二个检测网络，使用13层卷积层作为特征提取层，并且这13层的网络参数与鸟巢粗选神经网络一致；添加ROI池化层，从特征图中直接映射出候选区域框；在其后添加2层全连接层对提取到的特征做非线性变换，再分别添加2个全连接层输出判别是否为鸟巢的置信度和粗选回归框的位置修正参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值。

第三步，交叉训练微调网络构建检测模型。采用交叉训练的方法，重新训练所得到的粗选神经网络和细选神经网络，使两个网络能够共享前13层卷积层参数，将两个网络组合为一个端到端的卷积神经网络，从而构成鸟巢检测模型。

本发明利用深度卷积神经网络的算法，设计一种基于航拍图像的输电线路鸟巢检测系统。该系统以无人机和直升飞机巡线获取的航拍图片库为研究对象，通过交叉训练得到两个卷积神经网络，鸟巢粗选网络和鸟巢细选网络，共享卷积参数构成最终的检测模型。与现有技术相比，这种方法对鸟巢尺度变化和比例变化不敏感，能够有效提升复杂环境下非常规尺度和比例的鸟巢的检测，通过共享卷积层参数，使得计算量较小，并且漏检率较低。

附图说明

图1鸟巢粗选网络结构图

图2鸟巢细选网络结构图

图3基于航拍图像的检测输电线路中鸟巢的模型结构图

图4未使用图像增强的识别结果

图5使用图像增强后的识别结果

具体实施方式

为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述.。本发明按以下步骤具体实现：

第一步，准备数据集。

(1)准备图片数据和标签数据。

将采用无人机巡线和直升机拍摄方式获取的输电线路航拍图片，包括杆塔的航拍图片收集起来，挑选出其中的输电线路中有鸟巢存在的图像，对其进行人工标注。记录下鸟巢在整张图像中的左上角点和左下角的坐标，作为图像的标签数据。为了适应神经网络的结构，对所有图片进行尺寸归一化，得到尺寸为600*400的图片集合，用于分别训练鸟粗选网络和细选网络。

(2)进行图像增强。

考虑到输电线路航拍图像的数据量小的特点，为了提高系统的鲁棒性和识别精度，我们对训练数据进行图像增强。本发明采用五种自然图像增强方法对航拍图像进行增强，其中S(o)为增强后图像，S(i)为原始图像：

a)加入图像噪声。选取高斯噪声，椒盐噪声，泊松噪声三种常见图像噪声，并且改变不同的信噪比生成数据。式中N(θ)为噪声，θ为噪声参数。

S(o)＝S(i)+N(θ)

b)图像模糊化。选取均值滤波、高斯滤波、运动模糊、对比度增强滤波等常见滤波器，设定不同参数得到经过滤波器后的图像式中F(·)为滤波器，φ为滤波器参数。

S(o)＝F(S(i)|φ)

c)改变图像明暗度。选取不同的亮度比例20％、50％、80％，将原图像进行亮度值变换。式中f(·)为亮度变化函数。

S(o)＝f(S(i))

d)图像质量调整。将jpeg图像按照jpeg编码规范降低质量，获取75％、90％两种不同质量下的图像。式中M(·)为jpeg编码质量调整函数。

S(o)＝M(S(i))

根据以上几种常见策略，通过利用该类策略对第一步的得到的训练图像进行变换，实现对微航拍图像训练数据集的图像增强。增强后的数据量是原始数据量的13倍。

第二步，分别训练两个深度卷积神经网络。

(1)训练第一个神经网络作为鸟巢粗选网络。VGG16网络具有13层卷积层、3层全连接层，在图像分类领域中获得了广泛的应用。本发明对VGG16网络进行了修改，将分类网络变成一个检测网络。保留VGG16网络的前13层卷积层作为特征提取层，去掉VGG16的全连接层，添加第14层卷积层，并在其上进行不同尺度的滑窗操作作为特征映射，从而代替在原输入图像上进行滑窗获得候选区域的方法，减少了计算复杂度。再添加2个卷积层分别输出候选区域包含鸟巢的置信度和区域框的位置参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值。鸟巢粗选网络的结构如图1所示。

具体操作时首先对所有训练图像的计算均值文件，将训练所使用的图像减去均值文件，再输入到神经网络中，经过前向传导、反向传导后即更新一次网络的参数权重，经过多次迭代之后，即可得到训练好的神经网络作为鸟巢粗选网络。

(2)训练第二个神经网络作为鸟巢细选网络。由于粗选网络采用多尺度滑窗的方法，得到的候选区域框并不是十分精确，因此还需要进入细选网络对其进行修正。同样修改VGG16分类网络变为检测网络，使用13层卷积层作为特征提取层，并且这13层的网络参数与粗选网络完全一致，用以在后面的步骤中共享卷积层参数。添加ROI池化层，从特征图中直接映射出候选区域框，从而只需对整张图像进行一次卷积计算，减少计算量。在其后添加2层全连接层对提取到的特征做非线性变换，再分别添加2个全连接层输出判别是否为鸟巢的置信度和粗选回归框的位置修正参数，同样使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值鸟巢细选网络的结构如图2所示。

将上一步鸟巢粗选网络得到的鸟巢粗选框前向传播，使用反向传播算法更新网络权重参数，从而不断修正候选区域框，得到训练好的神经网络作为鸟巢细选网络。

第三步，交叉训练微调网络构建检测模型。

(1)微调鸟巢粗选网络。将细选网络的前13层网络权重参数直接复制给粗选网络的前13层上，并且将前13层卷积层的学习率设置为0，即只微调13层之后的网络，重新训练鸟巢粗选网络。

(2)微调鸟巢细选网络。基于上一步微调之后的粗选网络，同样将前13层卷积层的学习率设置为0，只微调之后的卷积神经网络，重新训练鸟巢细选网络。至此，两个网络可以共享前13层卷积层参数，整张图像先进行卷积计算提取特征，经过粗选网络得到候选鸟巢区域，再经过细选网络修正候选框以得到最佳鸟巢区域，通过共享卷积层参数较少计算量。

(3)构建检测模型。将微调之后的粗选网络与细选网络组合起来即得到最终的检测模型，如图3所示。

第四步，测试本系统的检测效果

(1)测试时，将待测试航拍图像输入检测模型，经过鸟巢粗选网络后提取出候选窗口，再经过鸟巢细选网络进行检测和边框回归，最终得到最佳的鸟巢区域。

(2)本发明将使用图像增强前后的模型检测结果进行了对比。图4是未使用图像增强的识别结果，图5是使用图像增强后的识别结果。可发现使用图像增强技术后错误检出率从77.2％提升到79.6％，漏检率从22.8％降低到20.4％。

Claims

1.一种基于航拍图像的检测输电线路中鸟巢的方法，包括下列步骤：

第一步，构建带有标注和标签的图片数据库：采集输电线路的航拍图像，挑选出含有鸟巢的图片并对其进行标注，使用图像增强技术，构建符合格式要求、匹配网络结构的数据集；

(2)训练第二个神经网络作为鸟巢细选神经网络：修改VGG16分类网络变为第二个检测网络，使用13层卷积层作为特征提取层，并且这13层的网络参数与鸟巢粗选神经网络一致；添加ROI池化层，从特征图中直接映射出候选区域框；在其后添加2层全连接层对提取到的特征做非线性变换，再分别添加2个全连接层输出判别是否为鸟巢的置信度和粗选回归框的位置修正参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值；

第三步，交叉训练微调网络构建检测模型：采用交叉训练的方法，重新训练所得到的粗选神经网络和细选神经网络，使两个网络能够共享前13层卷积层参数，将两个网络组合为一个端到端的卷积神经网络，从而构成鸟巢检测模型。

2.根据权利要求1所述的方法，其特征在于，原始图像和各种图像增强后的图像均用来制作数据集,对原始图像进行图像增强的方法如下：

a)加入图像噪声；

b)图像模糊化；

c)改变图像明暗度；选取不同的亮度比例20％、50％、80％，将原始图像进行亮度值变换；

d)图像质量调整；按照编码规范降低质量，获取75％、90％两种不同质量下的图像。