CN108009515A - 一种基于fcn的无人机航拍图像的输电线定位识别方法 - Google Patents

Abstract

本发明公开了一种基于FCN的无人机航拍图像的输电线定位识别方法。首先对训练图片进行标记形成训练集；其次构建FCN模型对图片进行目标检测与定位；再其次用COCO数据集对FCN模型进行预训练，得到预训练模型；最后用标记的训练集对FCN预训练模型进行针对训练。本发明能够实现输电线的识别与定位，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，具有良好的鲁棒性，能够应用于无人机巡检系统或者是变电站智能视频监控系统。

Description

一种基于FCN的无人机航拍图像的输电线定位识别方法

技术领域

本发明涉及了一种计算机图像处理识别方法，尤其是涉及了一种基于FCN的无人机航拍图像输电线定位识别方法。

背景技术

输电线路检测一般是离线操作，时效性和准确性因素影响线路故障的提前预警乃至电网的稳定和可靠运行，因此对输电线路的智能化远程、在线监测系统成为智能电网输电环节的重要组成部分，成为实现输电线路状态运行、检修管理、提升生产运行管理精益化水平的重要技术手段。目前，随着图像及视频分析技术的发展，国内外开始研究智能图像分析技术在巡检任务、联动操作等方面的应用，期望通过计算机实现监控系统返回的视频信号替代部分现场巡视任务，逐步实现输电线检测的远程值守化、无人值守化，并实现操作联动，即工作人员通过视频以所见即所得的方式，直接对输电线进行检测与定位。

发明内容

为了解决背景技术中的问题，本发明提出了一种基于FCN的无人机航拍图像的输电线定位识别方法，能检测图像中的输电线并具有良好稳定性。

本发明的技术方案包括以下步骤：

1)通过无人机航拍采集包含有输电线目标物的输电线样本图像；

输电线样本图像中包含的目标物为指示灯目标物和开关目标物两类，指示灯目标物分为“亮”和“灭”的两类指示灯，开关目标物分为“开”和“合”的两类开关。

2)遍历所有输电线样本图像，对每张图像用包围框针对输电线目标物进行标记处理，包围框为一长方形框，包围完整的输电线目标物，包围框中非目标物的区域面积比例占包围框面积的比例小于15％，将包围框内的像素点均标记为输电线类别，将包围框外的像素点标记为背景类别，获得训练集；

3)采用尺寸缩放方法进行缩放处理：针对训练集中具有包围框的输电线样本图像，进行尺度缩放，分别将每张图像和包围框中较长边变换到预设目标尺寸，较短边根据较长边变换到预设目标尺寸的缩放尺度进行相同比例缩放；

4)采用COCO数据集输入预训练模型进行预训练，预训练中调节预训练模型中的网络参数，即以COCO数据集作为预训练模型的输入，直至模型训练误差loss下降到10％以下结束训练，获得预训练后模型；

5)采用步骤3)中缩放处理后的训练集输入预训练后模型进行针对训练，即以步骤3)中缩放处理后的训练集作为预训练后模型的输入，不断迭代训练直至模型训练误差loss趋于稳定，训练结束获得的模型作为输电线检测模型；

模型训练误差loss趋于稳定具体是所有迭代计算过程中的模型训练误差loss的平均值达到5％以下。

6)实时采集输电线待测图像按照与步骤3)中相同的尺寸缩放方法进行缩放后作为步骤5)获得的输电线检测模型的输入，输电线检测模型输出后，将输出的分类结果中置信度大于90％的分类结果保留，作为输电线待测图像的最终识别结果。

所述的输电线样本图像和输电线待测图像是指无人机飞行到输电线附近，摄像头朝向输电线，以输电线为目标物，水平正对目标物的水平左偏差30度视角和水平右偏差30度视角之间的范围内以及从上俯视偏差70度视角和从下仰视偏差70度视角之间的范围内采集获得图像。

输电线样本图像从多个各种不同视角进行采集，获得多样的样本图像。

具体实施中，所述训练集中，输电线样本图像对其中的每个像素点进行标记形成图像标记集，图像标记集采用如下的形式存储标记数据：

{image_name，label，x1，y1}

其中，image_name表示无人机航拍输电线图像名，label表示像素点的类别，x1表示像素点的横坐标，y1表示像素点的纵坐标。

所述步骤4)和步骤5)中的预训练后模型均采用FCN模型：FCN模型主要由特征提取网络、区域检测网络、分类网络和Cross-entropy分类器构建而成，具体是：先构建从输电线样本图像中提取低尺度多维图像特征的特征提取网络，接着将特征提取网络的输出作为输入构建提取图像中输电线可能性区域的区域检测网络，然后将特征提取网络的输出作为输入构建将低尺度多维图像特征重新映射到与输电线样本图像一致的尺度空间的分类网络；最后将分类网络和区域检测网络的输出共同作为Cross-entropy分类器的输入，Cross-entropy分类器输出分类结果并作为FCN模型的输出。

所述的FCN模型具体为：

所述的特征提取网络采用一个四层的卷积神经网络结构：

第一层，先使用卷积层，卷积层使用大小为7×7的48个卷积滤波器，卷积步幅为2，输出48个任意大小的特征图；获得卷积层的输出后，使用BN层(batch normalization)进行归一化处理，然后使用ReLU函数(Rectified Linear Units)作为非线性激活函数进行激活，最后再用一个窗口大小为3×3的最大池化层(Maxpooling)进行池化，最大池化层(Maxpooling)的采样步幅为2；

第二层，先使用卷积层，卷积层使用大小为5×5的96个卷积滤波器，卷积步幅为2，输出96个任意大小的特征图；获得卷积层的输出后，使用BN层(batch normalization)进行归一化处理，然后使用ReLU函数(Rectified Linear Units)作为非线性激活函数进行激活，最后再用一个窗口大小为3×3的最大池化层(Maxpooling)进行池化，最大池化层(Maxpooling)的采样步幅为2；

第三层，先使用卷积层，卷积层使用大小为3×3的96个卷积滤波器，卷积步幅为1，并设置卷积偏距pad为1使输入图的维度等于输出图，输出96个任意大小的特征图；

第四层，先使用卷积层，卷积层使用大小为3×3的48个卷积滤波器，卷积步幅为1，并设置卷积偏距pad为1，卷积后再使用ReLU函数(Rectified Linear Units)作为激活函数进行激活；

所述的区域检测网络具体采用如下结构：先使用卷积层，卷积层使用大小为3×3的48个卷积滤波器，卷积步幅为1，输出48个任意大小的特征图；获得卷积层的输出后，采用可能性区域检测层(Proposal)对输入的特征图进行处理，以特征图的每个像素点为可能性区域的中心生成产生三种面积尺度下两种长宽比的九个可能性区域，九个可能性区域是三种面积尺度下每个面积尺度的三种长宽比的共九种情况构成，三种面积尺度分别为4096像素平方面积、16384像素平方面积、65536像素平方面积，两种长宽比1:10,10:1，计算每个可能性区域与包围框的重叠率，取重叠率大于0.7的可能性区域作为正样本，取重叠率小于0.3的可能性区域作为负样本，从正样本中选取重叠率最大的前150个可能性区域，从负样本中随机选取150个可能性区域，最终获得300个可能性区域作为预测可能性区域；

获得预测可能性区域后，再采用两个全连接层处理输出256维的特征，然后使用边框回归层(smoothL1Loss Layer)处理，边框回归层输出边框，获得边框的四个元素，四个元素分别是边框回归层所输出边框的左上角的横纵坐标x、y和边框回归层所输出边框的宽w、高h；以边框作为输电线可能性区域，为目标位置的真实区域；

所述分类网络具体采用如下结构：针对输入的每一个特征图使用一个池化层处理，输出的特征图固定为56×56，然后将输出的特征图输入一个三层的卷积核大小为1×1卷积层，其中第一层卷积层具有1024个维度输出，第二层具有256个维度输出，第三层具有4个维度输出，第三层的卷积层的输出输入到Cross-entropy分类器。

所述特征提取网络采用的BN层(batch normalization)的计算具体是：

其中，i表示卷积层输出的特征图中像素点的编号，x_i表示卷积层输出的特征图中像素点的像素值，m表示卷积层输出的特征图中像素点的数量，μ_B表示卷积层输出的特征图中所有像素点像素值的均值，表示卷积层输出的特征图中所有像素点像素值的方差，ε表示BN层的归一化偏置，表示卷积层输出的特征图中第i个像素点x_i像素值的归一化值，γ表示BN层的学习权重，β表示BN层的学习偏置，y_i表示BN层的输出值。

本发明具有的有益效果是：

相比于以往的无人机航拍输电线的定位识别方法，本发明方法准确率高，鲁棒性好，且对其他环境背景下的输电线具有通用性；

根据无人机航拍输电线图像的特点，本发明选择了训练FCN神经网络模型的方式充分利用了神经网络提取低维度图片特征的能力，弥补了传统方法特征描述不足或难以选择合适特征的缺陷；

由于FCN是基于神经网络的方法，具有神经网络的优点，而在无人机航拍输电线检测过程中图像背景往往比较复杂，并且容易受到各种因素的干扰，比如光照、噪声等，将FCN应用到无人机航拍输电线的检测中能够在一定程度上减少各种因素的干扰，提高无人机航拍输电线检测的准确率。

通过FCN的特征提取框架来描述输入图片与检测目标之间的关系，减少目标的错误检测，避免非极大值抑制的步骤，解决同幅图像多路输电线的检测与定位问题。

本发明方法完全不受图片中高斯噪声和椒盐噪声的影响，且在光线不自在的情况下也能够准确地检测与定位出待检测无人机航拍输电线图片中的目标物，具有较强的抗干扰能力。

附图说明

图1为实施例测试样本图像。

图2为实施例本方法在一般情况下无人机航拍输电线检测与定位图。

图3为实施例本方法在高斯噪声与椒盐噪声下的无人机航拍输电线检测与定位图。

图4为实施例本方法在光线不足情况下的无人机航拍输电线检测与定位图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

本发明的实施例如下：

实验图片共有400张，其中用于训练的图片有200张，每种开关与指示灯状态的图片各有50张，其余200张图片作为测试集图片。

本实施例典型的样本图像如图1，图1(a)、1(b)、1(c)、1(d)分别为不同航拍角度的无人机航拍输电线图像。

采用FCN模型去检测无人机航拍输电线的测试图片，得到的结果如表1所示：

表1开关状态检测结果

待检测图片数	输电线检检测正确重合率	输电线检测错误重合率
			200	95.3％	4.7％

从表1中可以看出，输电线检检测正确重合率达到95.3％，输电线检测错误重合率为4.7％。

本发明方法的检测和定位结果示意如图2，其中，图2(a)、2(b)、2(c)、2(d)分别对应图1中不同航拍角度的无人机航拍输电线图像在一般情况下的输电线检测结果图。

本发明实施例同时对多种不同情况进行实施，在高斯噪声与椒盐噪声下的实施例结果如图3所示，图3(a)、3(b)、3(c)、3(d)分别对应图1中不同航拍角度的无人机航拍输电线图像在高斯噪声与椒盐噪声下的输电线检测结果。

椒盐噪声和高斯噪声是数字图像处理领域内最常见的两种噪声，图3表示在待检测图片中加入高斯噪声情况下无人机航拍输电线检测效果。从实验结果来看，本方法完全不受图片中两种噪声的影响，能够准确地检测与定位出待检测图片中的输电线，具有较强的抗干扰能力，为下一步的输电线状态判别做好准备。

在光线不足的情况下无人机航拍输电线的实施例结果如图4所示，图4(a)、4(b)、4(c)、4(d)分别对应图1中不同航拍角度的无人机航拍输电线图像在光线不足情况下的输电线检测结果图。

在图4中可以看到，在光线不足的情况下，本发明方法也能够准确地检测与定位出图像中的输电线，这可以让摄像机的摆放位置以及巡检无人机的定点巡检位置更加自由，可以有效地应对一些复杂的环境状况。

由此可见，本发明能够实现无人机航拍输电线检测和定位，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，对光线不足也具有鲁棒性，能够应用于无人机输电线巡检系统或者是变电站智能视频监控系统。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于FCN的无人机航拍图像的输电线定位识别方法，包括以下步骤：

1)采集包含有输电线目标物的输电线样本图像；

2)遍历所有输电线样本图像，对每张图像用包围框针对输电线目标物进行标记处理，包围框包围完整的输电线目标物，将包围框内的像素点均标记为输电线类别，将包围框外的像素点标记为背景类别，获得训练集；

3)采用尺寸缩放方法进行缩放处理：针对训练集中具有包围框的输电线样本图像，进行尺度缩放，分别将每张图像和包围框中较长边变换到预设目标尺寸，较短边根据较长边变换到预设目标尺寸的缩放尺度进行相同比例缩放；

4)采用COCO数据集输入预训练模型进行预训练，预训练中调节预训练模型中的网络参数，直至模型训练误差loss下降到10％以下结束训练，获得预训练后模型；

5)采用步骤3)中缩放处理后的训练集输入预训练后模型进行针对训练，不断迭代训练直至模型训练误差loss趋于稳定，训练结束获得的模型作为输电线检测模型；

6)实时采集输电线待测图像按照与步骤3)中相同的尺寸缩放方法进行缩放后作为步骤5)获得的输电线检测模型的输入，输电线检测模型输出后，将输出的分类结果中置信度大于90％的分类结果保留，作为输电线待测图像的最终识别结果。

2.根据权利要求1所述的一种基于FCN的无人机航拍图像的输电线定位识别方法，其特征在于：所述的输电线样本图像和输电线待测图像是指无人机飞行到输电线附近，摄像头朝向输电线，以输电线为目标物，水平正对目标物的水平左偏差30度视角和水平右偏差30度视角之间的范围内以及从上俯视偏差70度视角和从下仰视偏差70度视角之间的范围内采集获得图像。

3.根据权利要求1所述的一种基于FCN的无人机航拍图像的输电线定位识别方法，其特征在于：所述步骤4)和步骤5)中的预训练后模型均采用FCN模型：FCN模型主要由特征提取网络、区域检测网络、分类网络和Cross-entropy分类器构建而成，具体是：先构建从输电线样本图像中提取多维图像特征的特征提取网络，接着将特征提取网络的输出作为输入构建提取图像中输电线可能性区域的区域检测网络，然后将特征提取网络的输出作为输入构建将多维图像特征重新映射到与输电线样本图像一致的尺度空间的分类网络；最后将分类网络和区域检测网络的输出共同作为Cross-entropy分类器的输入，Cross-entropy分类器输出分类结果并作为FCN模型的输出。

4.根据权利要求3所述的一种基于FCN的无人机航拍图像的输电线定位识别方法，其特征在于：所述的FCN模型具体为：

所述的特征提取网络采用一个四层的卷积神经网络结构：

第一层，先使用卷积层，卷积层使用大小为7×7的48个卷积滤波器，卷积步幅为2，输出48个任意大小的特征图；获得卷积层的输出后，使用BN层进行归一化处理，然后使用ReLU函数作为非线性激活函数进行激活，最后再用一个窗口大小为3×3的最大池化层进行池化，最大池化层的采样步幅为2；

第二层，先使用卷积层，卷积层使用大小为5×5的96个卷积滤波器，卷积步幅为2，输出96个任意大小的特征图；获得卷积层的输出后，使用BN层进行归一化处理，然后使用ReLU函数作为非线性激活函数进行激活，最后再用一个窗口大小为3×3的最大池化层进行池化，最大池化层的采样步幅为2；

第三层，先使用卷积层，卷积层使用大小为3×3的96个卷积滤波器，卷积步幅为1，并设置卷积偏距pad为1使输入图的维度等于输出图，输出96个任意大小的特征图；

第四层，先使用卷积层，卷积层使用大小为3×3的48个卷积滤波器，卷积步幅为1，并设置卷积偏距pad为1，卷积后再使用ReLU函数作为激活函数进行激活；

所述的区域检测网络具体采用如下结构：先使用卷积层，卷积层使用大小为3×3的48个卷积滤波器，卷积步幅为1，输出48个任意大小的特征图；获得卷积层的输出后，采用可能性区域检测层对输入的特征图进行处理，以特征图的每个像素点为可能性区域的中心生成产生三种面积尺度下两种长宽比的九个可能性区域，三种面积尺度分别为4096像素平方面积、16384像素平方面积、65536像素平方面积，两种长宽比1:10,10:1，计算每个可能性区域与包围框的重叠率，取重叠率大于0.7的可能性区域作为正样本，取重叠率小于0.3的可能性区域作为负样本，从正样本中选取重叠率最大的前150个可能性区域，从负样本中随机选取150个可能性区域，最终获得300个可能性区域作为预测可能性区域；

获得预测可能性区域后，再采用两个全连接层处理输出256维的特征，然后使用边框回归层处理，边框回归层输出边框，获得边框的四个元素，四个元素分别是边框回归层所输出边框的左上角的横纵坐标x、y和边框回归层所输出边框的宽w、高h；以边框作为输电线可能性区域；

所述分类网络具体采用如下结构：针对输入的每一个特征图使用一个池化层处理，输出的特征图固定为56×56，然后将输出的特征图输入一个三层的卷积核大小为1×1卷积层，其中第一层卷积层具有1024个维度输出，第二层具有256个维度输出，第三层具有4个维度输出，第三层的卷积层的输出输入到Cross-entropy分类器。

5.根据权利要求1所述的一种基于FCN的无人机航拍图像的输电线定位识别方法，其特征在于：所述特征提取网络采用的BN层的计算具体是：

<mrow> <msub> <mi>&amp;mu;</mi> <mi>B</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow>

<mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>B</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>B</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

<mrow> <mover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>B</mi> </msub> </mrow> <msqrt> <mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>B</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;epsiv;</mi> </mrow> </msqrt> </mfrac> </mrow>

<mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>&amp;gamma;</mi> <mover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <mi>&amp;beta;</mi> </mrow>

其中，i表示卷积层输出的特征图中像素点的编号，x_i表示卷积层输出的特征图中像素点的像素值，m表示卷积层输出的特征图中像素点的数量，μ_B表示卷积层输出的特征图中所有像素点像素值的均值，表示卷积层输出的特征图中所有像素点像素值的方差，ε表示BN层的归一化偏置，表示卷积层输出的特征图中第i个像素点x_i像素值的归一化值，γ表示BN层的学习权重，β表示BN层的学习偏置，y_i表示BN层的输出值。