CN109583499A - 一种基于无监督sdae网络的输电线路背景目标分类系统 - Google Patents

Abstract

本发明公开了一种基于无监督SDAE网络的输电线路背景目标分类系统，包括无人机视频信息采集模块、神经网络预训练模块、显著性目标检测模块、背景目标分类与标定模块。输电线路背景目标分类过程为无人机视频采集模块利用无人机搭载视频采集设备获取输电线路背景区域图像信息，神经网络预处理模块对图像进行DBN网络训练，获取显著性检测初始参数，显著性目标检测模块利用SDAE网络获取重构图，与原图匹配获取显著性目标标定图，背景目标分类与标定模块将多尺度特征向量输入DBN网络中训练快速分类目标物。本发明提出的输电线路背景目标分类系统，可以准确地对输电线路背景目标进行分类，分析结果稳定、客观。

Description

一种基于无监督SDAE网络的输电线路背景目标分类系统

技术领域

本发明涉及一种基于无监督SDAE网络的输电线路背景目标分类系统，属于图像分割与目标检测与分类领域。

背景技术

随着我国电力行业的不断发展，输电线路网络作为国家电网的重要组成部分，是国家重要的基础设施，其数量和规模都在不断扩大。在农村地区，常有居民在输电线路沿线违规私自建造楼层过高的房屋，严重影响其自身的生命财产安全及输电线路的正常工作。在城市地区，由于地区规划复杂，人口众多，对于日常巡检的要求更高，需要及时发现可能存在的建筑物安全隐患。在地广人稀的地区，输电线路沿线大多是空地和树木，对于生长过高、已经危害到电力线正常工作的树木，需要及时的发现并处理。

伴随着输电线路巡检技术不断地发展，由以往的人工巡检，到手持图像采集设备巡检，再发展到现在无人机巡检，效率在不断提升。但是对于巡检所获得的图像，都需要人工进行二次判断。在无人机复杂的高空航拍图像下，很难仔细的分辨出具体可能影响输电线工作的目标。因此，输电线路背景区域的显著性目标快速识别与分类成为了一个亟待解决的问题。

随着深度学习和神经网络技术的发展，目标识别与分类技术也在不断发展，本发明采用一种基于无监督SDAE网络(Stacked Denoising Auto Encoder，SDAE，栈式降噪自编码网络)的显著性检测算法对输电线路的背景区域进行检测与分析，通过将视频采集设备及通讯装置固定在无人机上，对大范围目标快速进行视频采集，实时获取目标区域的图像信息，利用一种新型的基于无监督栈式降噪自编码网络的显著性检测算法，设计系统完成对目标区域背景物体的快速标定。通过无人机进行大规模图像数据采集，同时系统完成背景目标快速分类，节省了大量人力物力，准确性高。

发明内容

本发明所要解决的技术问题是：在电力线路图像的复杂背景中准确而又快速的找到显著性目标,并能够为常见的背景目标分类。为此提供一种输电线路背景目标分类系统，有效提高背景目标分类与识别的速度和准确性。

为解决上述技术问题，本发明提供一种基于无监督SDAE网络的输电线路背景目标分类系统，利用无监督SDAE网络进行分类学习提高鲁棒性，利用图像的多尺度特征向量输入网络训练增强准确性，包括以下程序模块：

神经网络预训练模块：对录入的预先处理后的输电线路布线区域环境信息原始图像进行网络训练，构建限制玻尔兹曼机(RBM)网络对输电线路布线区域环境信息原始图像进行逐层训练；

由多层RBM网络嵌套形成深度信念网络(DBN)，将训练好的DBN网络参数传递至栈式降噪自编码网络(SDAE)作为网络初始化参数；

显著性检测模块：利用互信息约束的栈式降噪自编码网络(SDAE)模型对神经网络预训练模块输出的图像进行显著性检测，将原始图像与SDAE网络重构图像的差作为显著图，对所述显著图进行二值化处理，得到显著性目标检测图像T_x；

背景目标分类与标定模块：SDAE网络训练产生的显著性目标检测图像均为小目标图像，将二值化处理后的显著性目标检测图像T_x与输电线路布线区域环境信息原始图像T_z进行图像匹配，获得背景区域小目标标定图。背景指电力线路航拍图中的背景。

本发明所达到的有益效果：本发明采用DBN网络预训练参数作为SDAE网络的训练参数，增加了图像的约束条件，能够更快的使网络收敛，精确的定位显著性目标，从而保证了系统具有实时的处理效果和更高的准确性。

附图说明

图1为本发明的系统模块结构图；

图2为系统处理流程图；

图3为RBM网络训练模型图；

图4为互信息约束的SDAE网络模型图；

图5为建筑物检测及背景分类效果图。

具体实施方式

本发明的基于无监督SDAE网络的输电线路背景目标分类系统，包括硬件工作系统及软件操作系统，整个系统模块如图1所示，硬件系统主要包括无人机视频信息采集模块，软件系统主要包括神经网络预训练模块、显著性目标检测模块，背景目标分类与标定模块。具体方案如下：

对于硬件部分，无人机视频采集模块利用无人机搭载视频图像采集设备获取输电线路布线区域周边环境信息视频图像，通过固定视角采集视频图像信息。通过预先设定路线，无人机运行路线与搭设输电线路的模拟路线平行，在高空进行直线匀速飞行。

对于软件部分，包括以下程序模块：神经网络预训练模块、显著性目标检测模块、背景目标分类与标定模块。

本发明的程序模块的具体步骤为：

将无人机搭载的视频采集设备获取的视频序列通过4G模块传递至软件操作系统，软件操作系统从视频序列中按照一定的间隔提取图像帧，然后依次对所有图像帧进行网络预训练、显著性目标检测，背景目标分类与标定，完成整个输电线路的背景区域目标信息采集工作。

本发明的系统运行流程如图2所示：

(1)首先在无人机上安装一个视频采集设备，根据系统要求，选取成像分辨率为1920*1080(单位：像素)，固定焦距的摄像机，相机焦距f(30mm≤f≤50mm)，相机帧率为60fps。将无人机按照事先规划好的输电线路区域路线平稳飞行，保持高度一定(300m左右)，拍摄视角选择俯视。将采集到的视频序列l_z存储至无人机携带的存储设备中，并利用移动无线网络传输至软件系统中。

(2)在无人机采集过程中，实时地将采集到的视频序列l_z从无人机中传输至软件系统，先由工作人员对视频标注拍摄时间和地点，然后保存。对采集的视频图像序列l_z按照设定的间隔在序列l_z中取帧，取帧间隔时间可以为0.5s，形成图像序列T_z，其中图像序列T_z包含n幅图像，分别为T_z1,T_z2...T_zn；首先对第一帧图像T_z1进行处理，按顺序依次对其它所有图像进行处理，直至对第n帧图像T_zn处理结束。

(3)神经网络预训练模块中，将所获得图像序列T_z输入到RBM网络中逐层训练，首先对某一帧原始图像进行DBN网络训练，以获取训练参数，DBN网络是由多个RBM网络嵌套而成，本系统选取五层RBM嵌套形成DBN网络。如图3所示，RBM网络共有两层，第一层为可视层，作为数据输入层，另一层为隐含层，作为特征提取层，RBM网络结构有m个可视节点和n个隐藏节点，其中每个可视节点只和n个隐藏节点相关，与其他可视节点相互独立，即该可视节点的状态只受n个隐藏节点的影响，同理，每个隐藏节点也只受m个可视节点的影响。

在无监督的神经网络训练过程中，首先随机选取均值为0、标准差为0.1的高斯分布中的数值初始化网络节点参数，假设训练样本X的取值为X＝(v₁,v₂,...,v_m)，根据RBM网络，得到所述训练样本的m维的编码后的样本Y＝(h₁,h₂,...,h_n)；n维的编码认为是抽取了n个特征的样本，而m维的编码后的样本按照以下规则生成：

4)对于给定的训练样本X＝(v₁,v₂,...,v_m)，隐藏层的第i个元素的取值为1(编码后的样本的第i个特征的取值为1)的概率为：

其中,σ(x)＝1/(1+e^-x) (2)

其中，v为可视训练样本集合X，c_j是隐藏节点的偏移量，设定节点元素取值h_i＝{0,1}，将节点元素值h_i看作为编码后的样本Y，w_ij为连接权重，竖线代表条件概率，σ(x)为中间函数；

5)设b_i是可视节点的偏移量，则反向重构可视单元中第i个元素的取值为1的概率为：

6)根据以下规则对RBM网络中的连接权重w_ij、隐藏节点的偏移量c_j、可视节点的偏移量b_i进行更新：

v_i’是一个样本，Δw_ij,Δc_i,Δb_i分别是的变化连接权重w_ij、隐藏节点的偏移量c_j、可视节点的偏移量b_i的变化量；h_i’为当前训练样本中节点元素值；与节点元素值h_i对应，取值也为{0,1}；

在训练RBM的过程中，将从单个图像随机提取的p₁个图像块作为输入数据，p₁范围可以是1000至50000，图像块的尺寸为a*b*c像素,如7*7*3像素，分成R₁批次(如100批次)正向训练RBM网络R₂次，如80次；在网络反向传播过程中，将RBM网络训练过程中所有重构的编码数据分成R₃批次(如200批次)反向训练RBM网络R₄次，如10次。设定RBM前四层学习率为0.1，第五层学习率为0.001。完成训练后，将训练好的DBN网络参数P传递至SDAE网络作为网络初始化参数。

(4)利用SDAE网络进行显著性检测，SDAE网络是通过多个降噪自编码器堆叠形成的深度学习网络。如图4所示，本发明使用的SDAE网络模型具有4个编码层与4个解码层，在网络编码器训练过程中，将网络中上一层的输出作为下一层的输入。设SDAE网络在编码部分具有L层，则第k层的激活函数为：

f_e(.)为网络激励函数，y⁽⁰⁾为输入的原始图像块数据，y^(L)为编码器末层的输出，并且y^(L)作为原始图像块数据的高维特征数据，W为连接系数，为输入数据，p为编码层隐藏节点偏移量，在解码器训练过程中，将SDAE网络中上一层的输出作为下一层的输入，则第k层的激活函数如式(6)所示，其中z⁽⁰⁾为解码器第一层输入的数据，即y^(L)，解码器末层输出的数据z^(L)是重构的原始图像数据，q为解码层隐藏节点偏移量，

f_d(a)为中间函数，在SDAE网络训练过程中，将显著性区域作为需处理的噪声区域，将原始图像作为原始数据，网络重构图像作为观察数据,将原始输入图像与网络重构输出图像的互信息作为网络收敛代价进行网络参数调整。其中显著性区域指网络识别的结果，观察数据是控制网络收敛的条件。

在概率论和信息论中，两个变量的互信息是变量间相互依赖性的度量函数。不同于相关系数，互信息并不局限于实值随机变量，它不仅可以表征联合分布p(S,K)，还反映了分解的边缘分布的乘积p(S)p(K)之间的相似程度。原始图像S和网络重构图像K的互信息可以定义为：

其中p(s,k)是原始图像S和网络重构图像K的联合概率分布函数，而p(s)和p(k)分别是原始图像S和网络重构图像K的边缘概率分布函数,，s与k分别表示属于原始图像S与K中的像素点。根据互信息对无监督栈式降噪自编码网络进行反馈与调整，可以提升网络对显著性目标边缘检测与内部填充的敏感度与均衡性。

SDAE网络训练与显著性检测的处理流程如下：

1)将DBN网络参数传递至SDAE网络作为网络初始化参数；

2)从原始图像随机提取若干个图像块，图像块的尺寸为a*b*c像素，将提取的所有图像块作为原始图像数据分批次输入至SDAE网络模型；

3)训练SDAE网络，调整编码层与解码层的连接系数与节点偏移量；

4)计算原始图像与网络重构之间的互信息，并将其作为网络收敛代价，利用小批量梯度下降法的反馈信息调整SDAE网络参数；

5)重复以上步骤，当网络收敛代价最小时，完成网络训练，并对原始图像进行SDAE网络稀疏重构；

6)将图像序列T_z中的原始图像与SDAE网络重构图像序列之间的差作为显著图，再运用自适应阈值分割方法对显著图进行二值化处理，得到显著性目标检测图像T_x。

由于SDAE网络的初始参数是由DBN网络训练得到，再选取原始图像与SDAE重构图像间的互信息作为网络收敛代价进行网络参数微调，解决了传统的SDAE网络收敛难度大的问题。

(5)SDAE网络训练产生的显著性目标检测图像都是小目标图像，能够准确地定位大背景下我们所寻找的小目标。将二值化后的显著图T_x与原图像T_z进行图像匹配，获得背景区域小目标标定图。

考虑到背景中目标一般都为田野、荒地、树木、建筑物等，可能影响输电线路工作的目标是建筑物和树木。由于建筑物和树木有不同于地面的纹理特征。根据纹理特征和颜色特征等多尺度向量的融合，通过深度信念网络训练进行目标分类。具体流程如下：

1)将预先从原始图像中获取的常见目标物体图像添加标注作为训练集，所述标注包括树木、建筑物及其他物体。提取出目标物体图像的hog特征，并加入R、G、B值形成多尺度特征向量，将所述多尺度特征向量输入到设计好的N层(N可以为5)DBN网络中进行初始状态的预训练，根据预训练结果调整网络参数，直到网络收敛；

2)网络训练初始化完成后，对显著性目标检测图像中标定的目标进行与步骤1)相同的操作，即同样输入到DBN网络中进行分类，分类给出多个显著性小目标所属不同标注类别的概率，对于每个显著性小目标，只保留置信度最大的标签作为目标的判别与分类结果。

系统在计算机软件界面反馈目标物体的具体信息，记录目标物体所属类型、发现时间、地理位置等。依次对所有取得的帧图像进行以上处理，完成输电线路背景目标快速分类。根据所获得的目标物体分类信息和地点，可以大大帮助巡检人员定位背景区域中可能存在隐患的位置及物体类型，去除大量周围无关信息，大大节省了工作时间。

Claims (7)

1.一种基于无监督SDAE网络的输电线路背景目标分类系统，其特征在于：包括以下程序模块：

神经网络预训练模块：对录入的预先处理后的输电线路布线区域环境信息原始图像进行网络训练，构建RBM网络对输电线路布线区域环境信息原始图像进行逐层训练；

由多层RBM网络嵌套形成DBN网络，将训练好的DBN网络参数传递至SDAE网络，作为SDAE网络初始化参数；

显著性检测模块：利用互信息约束的SDAE网络模型对神经网络预训练模块输出的图像进行显著性检测，将原始图像与SDAE网络重构图像的差作为显著图，对所述显著图进行二值化处理，得到显著性目标检测图像T_x；

背景目标分类与标定模块：SDAE网络训练产生的显著性目标检测图像均为小目标图像，将二值化处理后的显著性目标检测图像T_x与输电线路布线区域环境信息原始图像T_z进行图像匹配，获得背景区域小目标标定图。

2.根据权利要求1所述的一种基于无监督SDAE网络的输电线路背景目标分类系统，其特征在于：在神经网络预训练模块中，在训练RBM网络的过程中，将从单个图像随机提取的p₁个图像块作为输入数据，图像块的尺寸为a*b*c像素，分成R₁批次正向训练RBM网络R₂次；在网络反向传播过程中，将RBM网络训练过程中所有重构的编码数据分成R₃批次反向训练RBM网络R₄次。

3.根据权利要求1所述的一种基于无监督SDAE网络的输电线路背景目标分类系统，其特征在于：在神经网络预训练模块中，首先随机选取均值为0、标准差为0.1的高斯分布中的数值初始化网络节点参数，假设训练样本X的取值为X＝(v₁,v₂,...,v_m)，根据RBM网络，得到所述训练样本的m维的编码后的样本Y＝(h₁,h₂,...,h_n)；n维的编码认为是抽取了n个特征的样本，m维的编码后的样本按照以下规则生成：

1)对于给定的训练样本X＝(v₁,v₂,...,v_m)，隐藏层的第i个元素的取值为1的概率为：

其中,σ(x)＝1/(1+e^-x) (2)

其中，v为可视训练样本集合X，c_j是隐藏节点的偏移量，设定节点元素取值h_i＝{0,1}，将节点元素值h_i看作为编码后的样本Y，w_ij为连接权重，竖线代表条件概率，σ(x)为中间函数；

2)设b_i是可视节点的偏移量，则反向重构可视单元中第i个元素的取值为1的概率为：

3)根据以下规则对RBM网络中的连接权重w_ij、隐藏节点的偏移量c_j、可视节点的偏移量b_i进行更新：

v_i'是一个样本，Δw_ij,Δc_i,Δb_i分别是的变化连接权重w_ij、隐藏节点的偏移量c_j、可视节点的偏移量b_i的变化量，h_i'为当前训练样本中节点元素值；与节点元素值h_i对应，取值也为{0,1}。

4.根据权利要求1所述的一种基于无监督SDAE网络的输电线路背景目标分类系统，在显著性检测模块中，SDAE网络训练与显著性检测的处理过程如下：

1)将DBN网络参数传递至SDAE网络作为网络初始化参数；

2)从原始图像随机提取若干个图像块，图像块的尺寸为a*b*c像素，将提取的所有图像块作为原始图像数据分批次输入至SDAE网络模型；

3)训练SDAE网络，调整编码层与解码层的连接系数与节点偏移量；

4)计算原始图像与网络重构之间的互信息，并将所述互信息作为网络收敛代价，利用小批量梯度下降法的反馈信息调整SDAE网络参数；

5)重复步骤1)-步骤4)，当网络收敛代价最小时，完成网络训练，并对原始图像进行SDAE网络稀疏重构；

6)将预先处理的图像序列T_z中的原始图像与SDAE网络重构图像序列之间的差作为显著图，再运用自适应阈值分割方法对显著图进行二值化处理，得到显著性目标检测图像T_x。

5.根据权利要求1所述的一种基于无监督SDAE网络的输电线路背景目标分类系统，在显著性检测模块中，设SDAE网络在编码部分具有L层，则第k层的激活函数为：

f_e(.)为网络激励函数，y⁽⁰⁾为输入的原始图像块数据，y^(L)为编码器末层的输出，并且y^(L)作为原始图像块数据的高维特征数据，W为连接系数，为输入数据，p为编码层隐藏节点偏移量，在解码器训练过程中，将SDAE网络中上一层的输出作为下一层的输入，则第k层的激活函数如式(6)所示，其中z⁽⁰⁾为解码器第一层输入的数据，即y^(L)，解码器末层输出的数据z^(L)是重构的原始图像数据，q为解码层隐藏节点偏移量，

f_d(a)为中间函数，在SDAE网络训练过程中，将显著性区域作为需处理的噪声区域，将原始图像作为原始数据，网络重构图像作为观察数据,将原始输入图像与网络重构输出图像的互信息作为网络收敛代价进行网络参数调整。

6.根据权利要求5所述的一种基于无监督SDAE网络的输电线路背景目标分类系统，在显著性检测模块中，原始图像S和网络重构图像K的互信息定义为：

其中p(s,k)是原始图像S和网络重构图像K的联合概率分布函数，而p(s)和p(k)分别是原始图像S和网络重构图像K的边缘概率分布函数，s与k分别表示属于原始图像S与K中的像素点。

7.根据权利要求1所述的一种基于无监督SDAE网络的输电线路背景目标分类系统，在背景目标分类与标定模块中，工作过程为:

1)将预先从原始图像中获取的常见目标物体图像添加标注作为训练集，提取出目标物体图像的hog特征，并加入R、G、B值形成多尺度特征向量，将所述多尺度特征向量输入到设计好的N层DBN网络中进行初始状态的预训练，根据预训练结果调整网络参数，直到网络收敛；

2)网络训练初始化完成后，对显著性目标检测图像中标定的目标进行与步骤1)相同的操作，即同样输入到DBN网络中进行分类，分类给出多个显著性小目标所属不同标注类别的概率，对于每个显著性小目标，保留置信度最大的标签作为目标的判别与分类结果。