基于树莓派的多尺度特征融合配电网设备识别方法
技术领域
本发明涉及电力巡检方向的图像识别技术领域,具体涉及一种基于树莓派的多尺度特征融合配电网设备识别方法。
背景技术
目前深度学习基于卷积神经网络的目标检测算法的发展大致分为两个方向:基于候选区域的二阶段目标检测方法和基于回归的一阶段目标检测方法。二阶段目标检测方法一般具有速度慢、精度高的特点,相对的一阶段目标检测方法一般具有速度快、精度低的特点。尽管基于候选区域的二阶段目标检测方法R-CNN系列取得了非常好的检测结果,但由于配电网设备识别要求比较高的精度和速度,二阶段目标检测方法在识别速度方面离实时效果不理想,且网络大、数量多。与二阶段目标检测方法不同的是,以EfficientNet-B0为基础采用y_pred检测分类头的一阶段目标检测方法的网络模型参数相对较少,在实时性上优越,识别速度和识别精度都比较高。
主干提取网络的综合宽度、深度和分辨率可根据网络进行综合式缩放扩展,适合以树莓派为代表的嵌入无人机设备。但是,由于同一图片中存在变压器类大目标,也存在刀闸和跌落式熔断器类小目标配电网设备,EfficientNet-B0主干提取网络的Con2D+GlobalAveragePooling2D+Dense分类头检测小目标刀闸、跌落式熔断器效果较差。而且,深度学习识别算法带来高精度的同时,其巨大的计算成本也使得寻常的嵌入式设备难以承担,限制了深度学习识别算法与嵌入式无人机设备的结合。
发明内容
为了克服上述所述的不足,本发明的目的是提供一种基于树莓派的多尺度特征融合配电网设备识别方法,其包含基于轻量级EfficientNet-B0网络、多尺度特征融合模块与回归分类预测头,回归分类预测头采用参数较少的y_pred检测分类头。
本发明解决其技术问题的技术方案是:一种基于树莓派的多尺度特征融合配电网设备识别方法,包括如下步骤:
步骤S1、获取初始样本数据集;
步骤S2、构建由EfficientNe-B0主干网络、多尺度特征融合模块、回归分类预测头构成的目标检测网络;
所述EfficientNe-B0主干网络由一个CBL模块和7个Block模块组成,7个Block模块依次为Block1模块、Block2模块、Block3模块、Block4模块、Block5模块、Block6模块、Block7模块 ;
回归分类预测头采用y_pred检测分类头,分别为y_pred1检测分类头、y_pred2检测分类头、y_pred3检测分类头;
多尺度特征融合模块包括四条融合路径,第一条融合路径包括CBL1模块和Conv1层,CBL1模块获取Block7输出的特征图,CBL1模块处理后的特征图进入Conv1层卷积后进入y_pred1检测分类头;
第二条融合路径包括concat1层、CBL2模块和Conv2层;concat1层获取Block5模块输出的特征图并通过上采样获取CBL1模块处理后的特征图进行融合,融合后的融合特征图由CBL2模块处理,CBL2模块处理后的融合特征图进入Conv2层卷积后进入y_pred2检测分类头;
第三条融合路径包括concat2层、CBL3模块和Conv3层;concat2层获取Block3模块输出的特征图并通过上采样获取CBL2模块处理后的特征图进行融合,融合后的融合特征图由CBL3模块处理,CBL3模块处理后的融合特征图进入Conv3层卷积后进入y_pred3检测分类头;
第四条融合路径包括concat3层、CBL4模块,concat3层获取Block2模块输出的特征图并通过上采样获取CBL3模块处理后的特征图进行融合,融合后的融合特征图由CBL4模块处理,CBL4模块通过下采样连接CBL3模块;
步骤S3、以初始样本数据集作为训练样本,训练目标检测网络:由EfficientNe-B0主干网络进行特征提取,多尺度特征融合模块进行多尺度特征融合,输出三幅融合特征图,这三幅融合特征图进入y_pred检测分类头识别;
步骤S4、使用训练后的目标检测网络检测巡检图片:由EfficientNe-B0主干网络进行特征提取,多尺度特征融合模块进行多尺度特征融合,输出三幅融合特征图,这三幅融合特征图进入y_pred检测分类头识别,得到识别结果。
进一步优选,所述Block1模块包括1个MBConv1Block模块,卷积核大小为3×3、步距为2×2;所述Block2模块包括2个MBConv6Block模块,卷积核大小为3×3、步距为2×2;所述Block3模块包括2个MBConv6Block模块,卷积核大小为5×5、步距为2×2;所述Block4模块包括3个MBConv6Block模块,卷积核大小为3×3、步距为2×2;所述Block5模块包括3个MBConv6Block模块,卷积核大小为5×5、步距为2×2;所述Block6模块包括4个MBConv6Block模块,卷积核大小为5×5、步距为2×2;所述Block7模块包括1个MBConv6Block模块,卷积核大小为3×3、步距为1×1;所述MBConv6Block模块进行深度可分离卷积。
进一步优选,特征提取过程中引入深度可分离卷积和通道注意力机制的逆大残差结构,在3×3或者5×5网络结构前利用1×1卷积升维,在3×3或者5×5网络结构后增加了一个SENet通道注意力机制,最后利用1×1卷积降维。
进一步优选,深度可分离卷积在EfficientNe-B0主干网络中的MBConv6Block模块进行,所述深度可分离卷积包括空间维度的深度卷积和通道维度的逐点卷积两个部分。
进一步优选,所述EfficientNe-B0主干网络进行特征提取是指:经EfficientNet-B0主干网络不断地卷积生成7幅特征图。
进一步优选,多尺度特征融合选取Block2模块、 Block3模块、 Block5模块、Block7模块输出的四幅特征图进行多尺度特征融合堆叠,尽可能的保留浅层特征。
进一步优选,y_pred3检测分类头,y_pred2检测分类头和y_pred1检测分类头的通道深度都是255,边长的规律比是13:26:52,y_pred3检测分类头、y_pred2检测分类头用来识别小目标刀闸与熔断器,y_pred1检测分类头用来识别变压器。
进一步优选,y_pred检测分类头识别过程为:每幅融合特征图都进入y_pred检测分类头生成预测框,三个 y_pred检测分类头生成的预测框是相同的,每个y_pred检测分类头设有3个不同尺寸的先验框,y_pred3检测分类头的3个先验框的尺寸对应刀闸的3种尺寸,y_pred2检测分类头的3个先验框的尺寸对应熔断器的3种尺寸,y_pred1检测分类头的3个先验框的尺寸对应变压器的3种尺寸,将预测框与9个先验框进行尺寸比对,选择尺寸偏差最小的先验框所在的类作为输出,判断特征图是属于刀闸、熔断器、变压器中的哪一种,输出真实框作为识别结果;所述先验框是对初始样本数据集进行k-means聚类得到的,将配电网设备的巡检图片分为刀闸、熔断器、变压器3类,每类巡检图片聚类得到3个不同尺寸的先验框;每次输出的真实框补充到初始样本数据集进行下一次k-means聚类。
本发明的有益效果:面对传统人工电力线路勘察、巡检、验收工作量大,效率低等问题,开展使用嵌入式树莓派无人机的人机联动巡查可以达到对较长线路的大范围快速信息搜寻,可以拍摄电力线路及附加设备的图片信息,本发明的方法用于常见的线路上的设备检测和配电网工程建设的智能化勘察设计及验收方法研究。本发明具有以下特点:
1.本发明的目标检测网络参数量较小、精度高,适合嵌入以树莓派为代表的电路巡检微型无人机巡检终端设备;
2.主干提取网络采用轻量级EfficientNet-B0主干网络,更适合布置在树莓派无人机系统这种微型边缘设备上。使用y_pred检测分类头代替EfficientNet-B0网络Con2D+GlobalAveragePooling2D+Dense分类头;
3.特征提取过程中引入深度可分离卷积和通道注意力机制的逆残差结构,在扩大感受野的同时保留更多浅层特征;
4.引入多尺度特征融合模块,避免伴随着网络深度的增加带来的特征丢失现象。
附图说明
图1为本发明的流程图。
图2为本发明的目标检测网络示意图。
具体实施方式
本发明针对无人机所拍配电网设备图像,主要针对移动终端、嵌入式无人机设备因硬件资源和算力的限制,很难运行复杂的深度学习网络模型,小目标配电网设备随着网络加深特征消失,分类检测头识别效果差的问题,提出一种基于树莓派的多尺度特征融合配电网设备识别方法,其中识别的配电网设备主要包括变压器、刀闸、熔断器。
参照图1和图2,本发明的一种基于树莓派的多尺度特征融合配电网设备识别方法,包括如下步骤:
步骤S1、获取初始样本数据集;将采集的变压器、刀闸、熔断器图像进行人工标注分类,变压器、刀闸、熔断器图像各100幅,然后进行变换扩增作为初始样本数据集;
步骤S2、构建由EfficientNe-B0主干网络、多尺度特征融合模块、回归分类预测头构成的目标检测网络;
所述EfficientNe-B0主干网络由一个CBL模块和7个Block模块组成,7个Block模块依次为Block1模块、Block2模块、Block3模块、Block4模块、Block5模块、Block6模块、Block7模块;
回归分类预测头采用y_pred检测分类头,分别为y_pred1检测分类头、y_pred2检测分类头、y_pred3检测分类头;
多尺度特征融合模块包括四条融合路径,第一条融合路径包括CBL1模块和Conv1层,CBL1模块获取Block7输出的特征图,CBL1模块处理后的特征图进入Conv1层卷积后进入y_pred1检测分类头;
第二条融合路径包括concat1层、CBL2模块和Conv2层;concat1层获取Block5模块输出的特征图并通过上采样获取CBL1模块处理后的特征图进行融合,融合后的融合特征图由CBL2模块处理,CBL2模块处理后的融合特征图进入Conv2层卷积后进入y_pred2检测分类头;
第三条融合路径包括concat2层、CBL3模块和Conv3层;concat2层获取Block3模块输出的特征图并通过上采样获取CBL2模块处理后的特征图进行融合,融合后的融合特征图由CBL3模块处理,CBL3模块处理后的融合特征图进入Conv3层卷积后进入y_pred3检测分类头;
第四条融合路径包括concat3层、CBL4模块,concat3层获取Block2模块输出的特征图并通过上采样获取CBL3模块处理后的特征图进行融合,融合后的融合特征图由CBL4模块处理,CBL4模块通过下采样连接CBL3模块;
步骤S3、以初始样本数据集作为训练样本,训练目标检测网络:由EfficientNe-B0主干网络进行特征提取,多尺度特征融合模块进行多尺度特征融合,输出三幅融合特征图,这三幅融合特征图进入y_pred检测分类头识别;
步骤S4、使用训练后的目标检测网络检测巡检图片:由EfficientNe-B0主干网络进行特征提取,多尺度特征融合模块进行多尺度特征融合,输出三幅融合特征图,这三幅融合特征图进入y_pred检测分类头识别,得到识别结果。
本发明中,通过普通卷积(Conv)、正则化(BN)、Leaky relu激活函数构建CBL模块(CBL = conv+BN+LeakyRelu),其中多尺度特征融合模块包括CBL1、CBL2、CBL3、CBL4。CBL模块、CBL1模块、CBL2模块、CBL3模块、CBL4模块的结构均为Conv+BN+Leaky relu。
本发明中,所述Block1模块包括1个MBConv1Block模块,卷积核大小为3×3、步距为2×2;所述Block2模块包括2个MBConv6Block模块,卷积核大小为3×3、步距为2×2;所述Block3模块包括2个MBConv6Block模块,卷积核大小为5×5、步距为2×2;所述Block4模块包括3个MBConv6Block模块,卷积核大小为3×3、步距为2×2;所述Block5模块包括3个MBConv6Block模块,卷积核大小为5×5、步距为2×2;所述Block6模块包括4个MBConv6Block模块,卷积核大小为5×5、步距为2×2;所述Block7模块包括1个MBConv6Block模块,卷积核大小为3×3、步距为1×1;所述MBConv6Block模块进行深度可分离卷积。MBConv6Block模块其实就是MobileNetV3网络中的深度可分离卷积。每个MBConv后会跟一个数字1或6,这里的1或6就是倍率因子n即MBConv中第一个1×1的卷积层会将输入特征矩阵的特征通道数扩充为n倍。设计思路是倒残差(Inverted residuals)结构和残差结构,在3×3或者5×5网络结构前利用1×1卷积升维,在3×3或者5×5网络结构后增加了一个关于通道注意力机制,最后利用1×1卷积降维。在特征提取过程中引入深度可分离卷积和通道注意力机制的逆大残差结构,在扩大感受野的同时保留更多浅层特征。
MBConv6Block模块首先利用Conv2D(1×1)卷积升维,再使用DepthwiseConv2D(3×3或5×5)逐层卷积进行跨特征点的特征提取。完成特征提取后上面添加一个通道注意力机制SENet,最后利用Conv2D(1×1)卷积降维,底下为残差边,不进行处理。
深度可分离卷积在EfficientNe-B0主干网络中的MBConv6Block模块进行,所述深度可分离卷积包括空间维度的深度卷积和特征通道维度的逐点卷积两个部分。与标准卷积相比,深度可分离卷积的执行次数少,更加高效。
本发明中,通道注意力机制的逆残差结构主要作用在 Block模块,在3×3或者5×5网络结构前利用1×1卷积升维,在3×3或者5×5网络结构后增加了一个关于SENet通道注意力机制的残差边。SENet通道注意力机制由压缩池化、激励、特征重标定操作组成。
压缩池化:顺着空间维度来进行特征压缩,将每个二维的特征通道变成一个实数,这个实数某种程度上具有全局的感受野,并且输出的维度和输入的特征通道数相匹配,这个实数表征着在特征通道上响应的全局分布,而且使得靠近输入的层也可以获得全局的感受野。具体操作就是对特征图 W×H×C(W、H、C分别代表特征图高、宽和特征通道数量)进行全局平均池化,得到了一个 1×1×C 大小的特征图,这个特征图具有全局感受野。
激励是将1×1×C 大小的特征经过两个全连接神经网络,最后用一个类似于循环神经网络的机制来为每个特征通道生成权重。
特征重标定操作:将各特征通道权重值与对应特征通道的二维矩阵相乘加权的C维特征通道上,作为下一级的输入数据;以便实现重要的特征增强,不重要的特征减弱 ,从而让提取的特征图指向性更强。
通道注意力机制通过损失去学习特征权重,获取到每幅特征图的重要程度,然后用这个重要程度去给每一个特征通道赋予一个权重值,从而让神经网络去重点关注权重值大的特征图,使目标检测网络达到更好的效果。
传统的EfficientNet-B0的主干网络由一个Stem + 16个Blocks + Con2D +GlobalAveragePooling2D + Dense组成,总共分成了9个阶段,第一个阶段就是一个卷积核大小为3×3步距为2的普通卷积层(包含正则化和激活函数),阶段2~阶段8都是在重复堆叠MBConv结构,而阶段9由一个普通的1×1的卷积层、一个平均池化层和一个全连接层组成,其核心内容是16个移动翻转瓶颈卷积模块,其它的结构与常规的卷积神经网络差距不大。本发明使用y_pred检测分类头代替EfficientNet-B0网络Con2D+GlobalAveragePooling2D+Dense分类头。
本发明中,向目标检测网络输入调整处理大小为M × N 图片, EfficientNe-B0主干网络进行特征提取是指:经EfficientNet-B0主干网络不断地卷积生成7幅特征图,伴随着网络层数的增加,带来的特征丢失现象。
本发明中,多尺度特征融合选取Block2模块、 Block3模块、 Block5模块、 Block7模块输出的四幅特征图进行多尺度特征融合堆叠,尽可能的保留浅层特征。Block2模块、Block3模块由于卷积次数比较少下采样倍数小(浅层特征层),特征图感受野小,小尺度特征分辨率信息足,适合处理小目标,所以适合检测刀闸、熔断器。Block5模块、 Block7模块由于卷积次数比较多下采样倍数大(深层特征层),大尺度特征分辨率信息足适合处理大目标,所以适合检测变压器。通过多尺度特征融合可以在速度和准确率之间进行权衡,可以通过它获得更加鲁棒的语义信息。保留小目标的语义特征,提升小目标刀闸、熔断器的检测效果。
回归分类预测头采用y_pred检测分类头,主要原因是Con2D+GlobalAveragePooling2D+Dense分类头检测小目标刀闸、熔断器效果比较差,采用y_pred检测分类头检测精度高且网络更加轻量化。y_pred检测分类头是一次3×3卷积加上一次1×1卷积,3×3卷积的作用是特征整合,1×1卷积的作用是调整特征通道数。其借鉴了FPN(feature pyramid networks)设计思想,采用多尺度来对不同size的目标进行检测,越精细的grid cell就可以检测出越精细的物体。y_pred3检测分类头,y_pred2检测分类头和y_pred1检测分类头的通道深度都是255,边长的规律比是13:26:52,y_pred3检测分类头、y_pred2检测分类头用来识别小目标刀闸与熔断器,y_pred1检测分类头用来识别变压器。
本发明中,y_pred检测分类头识别过程为:每幅融合特征图都进入y_pred检测分类头生成预测框,三个 y_pred检测分类头生成的预测框是相同的,每个y_pred检测分类头设有3个不同尺寸的先验框,y_pred3检测分类头的3个先验框的尺寸对应刀闸的3种尺寸,y_pred2检测分类头的3个先验框的尺寸对应熔断器的3种尺寸,y_pred1检测分类头的3个先验框的尺寸对应变压器的3种尺寸,将预测框与9个先验框进行尺寸比对,选择尺寸偏差最小的先验框所在的类作为输出,判断特征图是属于刀闸、熔断器、变压器中的哪一种,输出真实框作为识别结果;所述先验框是对初始样本数据集进行k-means聚类得到的,将配电网设备的巡检图片分为刀闸、熔断器、变压器3类,每类巡检图片聚类得到3个不同尺寸的先验框;每次输出的真实框补充到初始样本数据集进行下一次k-means聚类。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。