CN113361322A - 一种基于加权反卷积层数改进dssd算法的输电线目标检测方法、设备及存储介质 - Google Patents
一种基于加权反卷积层数改进dssd算法的输电线目标检测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113361322A CN113361322A CN202110440584.4A CN202110440584A CN113361322A CN 113361322 A CN113361322 A CN 113361322A CN 202110440584 A CN202110440584 A CN 202110440584A CN 113361322 A CN113361322 A CN 113361322A
- Authority
- CN
- China
- Prior art keywords
- layer
- deconvolution
- convolutional layer
- convolutional
- deconvolution layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Abstract
本发明涉及一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法、设备及存储介质,包括:(1)识别出输电线;(2)先对于两条最外围输电线求最佳拟合直线,再根据图像的输电线所在区域取最佳拟合梯形,重心不变对最佳拟合梯形进行扩大,扩大后即为从输入图像提取的检测范围;(3)构建改进后的DSSD网络模型;(4)对改进后的DSSD网络模型进行训练;(5)将待检测的图像经过处理后输入训练好的改进后的DSSD网络模型,得到输电线的检测结果。本发明在于针对输电网络进行有针对性的监控,根据输电线走向与距离的关系完成区域划分进而实现对小目标高效准确的识别,兼顾了小目标识别准确性的同时提高了速度。
Description
技术领域
本发明涉及一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法、设备及存储介质,属于目标检测技术领域。
背景技术
目标检测技术是一种与计算机视觉和图像处理有关的计算机技术,近年来,由于卷积神经网络的发展和硬件算力的提升,基于深度学习的目标检测正快速发展。为了提高神经网络的泛化性能,提出了ALexNet、VGG、GoogLetNet和ResNet等不同结构的神经网络。卷积神经网络CNN是最具代表的深度学习模型。目标检测算法也从two-stage算法发展升级到了one-stage算法,大大提升了网络速度。基于回归的目标检测算法YOLO直接使用了一个卷积神经网络实现了整个检测过程,具有速度快、泛化能力强的特点,但是损失了一定的精度,mAP降低了。SSD系列采用了多尺度特征图用于检测,以VGG16为主干网络并且添加了新的卷积层以获得不同大小的特征图,直接采取卷积进行检测,提升了检测速度,但是对于小目标的检测能力不足。为了提高对小目标的检测能力,DSSD方法将主干网络换成ResNet-101,增强了网络提取的能力,修改了预测米快,增加了反卷积模块,提高了对于小目标和密集目标的检测率,但是由于网络层数申具深,网络结构复杂,检测速度大幅降低。由于感受野过大,且卷积神经网络中使用了池化层,导致特征图上特征点的感受野会比下采样率大很多,因此在一个特征图点上包含小目标物体的概率就会更小了。同时,特征图的细节特征在网络提取的过程中会随着深度的增加导致语义信息的减少。这导致了小目标检测的精度准确率较低。如何兼顾速度与小目标检测的精度是目前目标检测算法的一大难题。
发明内容
针对现有技术的不足,针对于对电力资源网络传输中输电线的精确监控防护,本发明提供了一种基于加权反卷积层数改进SSD算法的输电线目标检测方法,在改进SSD算法的基础上,通过输电线的走向判断距离远近进而判断预测需要的目标大小,从而有针对性的通过设置不同的反卷积层数来进行目标识别,实现了提高运算速度并且同时兼顾小目标识别准确性的功能。
本发明还提供了一种计算机设备和存储介质。
术语解释:
1、radon变换,拉东变换,是一个积分变换,它将定义在二维平面上的一个函数f(x,y)沿着平面上的任意一条直线做线积分,相当于对函数f(x,y)做CT扫描。
2、feature maps,在每个卷积层,数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起,其中每一个称为一个feature map。在输入层,如果是灰度图片,那就只有一个feature map;如果是彩色图片,一般就是3个feature map(红绿蓝)。层与层之间会有若干个卷积核(kernel),上一层和每个feature map跟每个卷积核做卷积,都会产生下一层的一个feature map。
3、softmax分类,将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类。
本发明采用以下技术方案:
一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,包括以下步骤:
(1)根据已有的基于边缘绘图参数自由算法的输电线识别技术,识别出输电线;
(2)先对步骤(1)识别出的多根输电线中两条最外围边缘输电线求最佳拟合直线,再根据图像的输电线所在区域取最佳拟合梯形,保持最佳拟合梯形重心不变对最佳拟合梯形进行扩大,扩大后即为从输入图像提取的检测范围;取最佳拟合梯形,扩大后作为从输入图像提取的检测范围。此步骤删减了图像中不需要监控的部分,提高了运算速度。
(3)取扩大后的最佳拟合梯形中与上底、下底平行的若干条直线,将梯形的高平均分为长度相等的五段,将最佳拟合梯形从上到下分成五个面积不等的部分,面积最小的部分经过六层反卷积层,反卷积层层数按步长为1依次递减,直至面积最大的部分经过二层反卷积层,构建改进后的DSSD网络模型;
(4)将步骤(2)得到的从输入图像提取的检测范围输入步骤(3)构建的改进后的DSSD网络模型进行训练;
(5)将待检测的图像经过步骤(1)、步骤(2)处理后输入训练好的改进后的DSSD网络模型,得到输电线的检测结果。
根据本发明优选的,改进后的DSSD网络模型包括卷积层conv1、卷积层conv2_x、卷积层conv3_x、卷积层conv4_x、卷积层conv5_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x、deconv1_x、deconv2_x、deconv3_x、deconv4_x、deconv5_x、deconv6_x;
经过六层反卷积层时,则从卷积层conv2_x、卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x、反卷积层deconv5_x、反卷积层deconv6_x提取出作为检测所用的feature maps,卷积层conv4_x与反卷积层deconv1_x,卷积层conv5_x与反卷积层deconv2_x,卷积层conv6_x与反卷积层deconv3_x,卷积层conv7_x与反卷积层deconv4_x,卷积层conv8_x与反卷积层deconv5_x,卷积层conv9_x与反卷积层deconv6_x融合一起作检测;
经过五层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x、反卷积层deconv5_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x,卷积层conv8_x与反卷积层deconv4_x,卷积层conv9_x与反卷积层deconv5_x融合一起作检测;
经过四层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x,卷积层conv8_x与反卷积层deconv4_x融合一起作检测;
经过三层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x融合一起作检测;
经过二层反卷积层时,则从卷积层conv3_x、卷积层conv6_x和反卷积层deconv1_x、反卷积层deconv2_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x融合一起作检测;
对于每一个feature maps,设置先验框,设定第k个feature maps,先验框比例公式如式(Ⅰ)所示:
式(Ⅰ)中,m为特征图的个数;Smin,Smin分别为比例的最小值和最大值,Smin取0.2,Smin取0.95,分别代表特征图上先验框占输入图像的比例;在每一个feature maps上,加入了Faster R-CNN的anchors机制,对每一特征图上的先验框采取不同宽高比,以增强先验框对物体形状的鲁棒性,这里采用的宽高比r={1,2,1/2,3,1/3};每一个先验框的中心为fk为特征图的大小;
得到特征图后,对特征图进行卷积得到检测结果,这些大小不同的feature maps同时进行softmax分类和位置回归,检测框架的总体目标损失函数由中心位置损失Ll0c和置信损失Lc0nf的加权和表示。
步骤(4)中,将高层特征的语义信息融入底层特征,提高底层特征的表达能力,SSD额外添加的卷积层中第n层的特征图进行反卷积扩大到和n-1层同样的分辨率;然后再将反卷积扩大后的第n层的特征图和第n-1层的特征图进行元素级别的乘积操作得到最终的用于检测的特征图,记为(n-1)′,后续的多尺度预测在(n-1)′上进行。得到的底层特征相比于SSD中的底层特征具有更加丰富的语义信息,更利于小目标的检测,而根据在一定区域出现小目标概率来提前预设所经过反卷积层数,保证了小目标的检测准确性,提高了mAP,由于有针对性的在小目标出现概率极小的区域减少了不必要的反卷积层数,简化了运算,提升了运算速度。
根据本发明优选的,所述步骤(4)中,检测框架的总体目标损失函数由中心位置损失Lloc和置信损失Lconf的加权和表示,即:损失函数为位置误差(locatizationloss,loc)与置信度误差(confidenceloss,conf)的加权和:如式(II)所示:
式(II)中,N是先验框的正样本数量,c为类别置信度预测值,I为先验框的所对应边界框的位置预测值,g是groundtruth的位置参数,权重系数α通过交叉验证设置为1;中等于1表示第i个先验框与第j个groundtruth匹配,并且groundtruth类别为p;
对于位置误差Lloc(x,l,g),其采用SmoothL1loss,定义如式(III)、式(Ⅳ)、式(V)、式(VI)、式(Ⅶ)所示:
l=(lx,ly,lw,lh),lx,ly表示预测框的中心位置(x,y),lw,lh分别表示预测框的宽w、高h;g=(gx,gy,gw,gh),gx,gy表示真实目标的中心位置(x,y),gw,gh分别表示真实目标的边框(真实框)的宽、高;cx,cy为预测框的中心点;Pos代表正样本; 等于1,表示第i个先验框与第j个groundtruth匹配,并且groundtruth类别为p;d代表真实框的参数,g表示预测框的参数,代表预测的偏移量;由于的存在,所以位置误差近针对正样本进行计算,表示预测框的中心位置,l为先验框的所对应边界框的位置预测值,g是groundtruth的位置参数
对于置信度误差Lconf(x,c),其采用softmaxloss,定义如式(VIII)所示:
式(VIII)中,等于1,表示第i个先验框与第j个groundtruth匹配,并且groundtruth类别为p,c为类别置信度预测值;i表示搜索序号,j表示真实框序号,p表示类别序号,p=0表示背景;Neg表示负样本,代表第i个搜索框对应类别p的预测概率,表示第i个搜索框无物体的预测概率。
步骤(1)中基于边缘绘图参数自由算法的输电线识别技术识别出输电线属于现有技术。另外,本发明未详尽之处,均可采用现有技术进行。
根据本发明优选的,所述步骤(1)的具体实现过程包括:
根据已有技术,首先,将获取的彩色图像依次进行灰度化处理、直方图均衡化处理、高斯滤波得到去噪后的图像;
然后,通过边缘绘图参数自由算法对去噪后的图像处理得到真性线段图像;
最后,用radon变换从真性线段图像中初步提取出直线段集合,并利用每条直线段的斜率信息筛选出正确的直线段,正确的直线段就是输电线。实现快速、精确的识别出完整输电线,可适应多种环境,鲁棒性更好。
进一步优选的,用radon变换从真性线段图像St中初步提取出直线段集合,是指:
沿着平面中具有不同方向的图像St(x,y){x∈[1,M],y∈[1,N]}进行线性积分,如式(IX)所示:
R(ρ,θ)=∫∫StSt(x,y)δ(ρ-xcosθ-ysinθ)dxdy(i∈[1,L]) (IX)
进一步优选的,利用每条直线段的斜率信息筛选出正确的直线段,是指:
在直线段集合Ps中,-θh为倾角差的下限,θh为倾角差的上限,-ρh为距离差的下限,ρh为距离差的上限,1≤h≤10,将倾角差θd在[-θh,θh]以及距离差ρd在[-ρh,ρh]之内的直线归到同一组,同时筛除其它直线,得到正确的直线段E。
根据本发明优选的,步骤(2)中,根据图像的输电线所在区域取最佳拟合梯形,是指:连接输电线最外围两根边缘电线,获得四边形,取四边形中与最外围两根边缘电线重合的线段为梯形的腰,另外两条边求取多种不同斜率的相互平行线段对,构成梯形的上底和下底,构成多种梯形中,与四边形重合面积与梯形面积比值最大的梯形即为最佳拟合梯形。
步骤(3)中,根据所选取的最佳拟合梯形预先规定目标检测所经过的反卷积层数。
进一步优选的,步骤(2)中,保持最佳拟合梯形重心不变对最佳拟合梯形进行扩大至原来的1.2倍,扩大后即为从输入图像提取的检测范围。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现基于加权反卷积层数改进DSSD算法的输电线目标检测方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现基于加权反卷积层数改进DSSD算法的输电线目标检测方法的步骤。
本发明的有益效果为:
1、提升了运算速度。提升速度根据实际情况可高达70%以上。梯形区域识别并提取只需要进行一次,保持拍摄画面稳定的情况下无需再次经过此过程。根据输电线走向与离拍摄地远近的有针对性的在小目标出现概率极小的区域减少了不必要的反卷积层数,简化了运算。
2、提升了小目标的识别准确率,准确率可提高50%以上。专注于远距离的小目标检测,提升了mAP值。
3、针对于电力资源传输进行目标检测,实现对国家电力资源网络的高效监控。
附图说明
图1为输电线路取最佳拟合梯形示意图;
图2为根据区域划分步长为1取不同反卷积层数示意图;
图3为现有的DSSD的网络模型的网络结构示意图;
图4为本发明改进后的DSSD网络模型的网络结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明,本发明未详尽说明的,均按本领域常规技术。
实施例1
一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,包括以下步骤:
(1)根据已有的基于边缘绘图参数自由算法的输电线识别技术,识别出输电线;步骤(1)中的图像由输电网络的监控拍摄,拍摄角度多为俯拍,拍摄范围超广角实现180°覆盖,监控范围500m。识别出近似梯形的输电线走向,此过程可参照现有技术进行。
(2)先对步骤(1)识别出的多根输电线中两条最外围边缘输电线求最佳拟合直线,再根据图像的输电线所在区域取最佳拟合梯形,保持最佳拟合梯形重心不变对最佳拟合梯形进行扩大,扩大后即为从输入图像提取的检测范围;取最佳拟合梯形,扩大后作为从输入图像提取的检测范围。此步骤删减了图像中不需要监控的部分,提高了运算速度。
(3)如图2所示,取扩大后的最佳拟合梯形中与上底、下底平行的若干条直线,将梯形的高平均分为长度相等的五段,将最佳拟合梯形从上到下分成五个面积不等的部分,面积最小的部分经过六层反卷积层,反卷积层层数按步长为1依次递减,直至面积最大的部分经过二层反卷积层,构建改进后的DSSD网络模型;
步骤(1)至(3)仅需要在初始化中计算一次,由于对输电网络固定监控的特殊性。改进后DSSD将SSD的VGG网络用Resnet-101进行了替换,在分类回归之前引入了残差模块。为了提取更多的high-levelcontext,将SSD中的预测层移到一系列不同层数的反卷积层后,形成一种不对称的“沙漏模型”。反卷积模块是个二进一出的结构,“二进"分别来自SSD层和deconv层,“一出”送向下一deconv层。
(4)将步骤(2)得到的从输入图像提取的检测范围输入步骤(3)构建的改进后的DSSD网络模型进行训练;训练过程:先预训练一个SSD模型,使用训练好的SSD模型初始化改进DSSD模型,具体分为两个步骤:先冻结改进DSSD网络中SSD网络层的参数,只用预训练好的SSD模型去微调改进DSSD层的权重(DSSD层的权重初始化方式为Xavier)解冻第一阶段的所有层参数,放开了微调。
(5)将待检测的图像经过步骤(1)、步骤(2)处理后输入训练好的改进后的DSSD网络模型,得到输电线的检测结果。
实施例2
根据实施例1所述的一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,其区别在于:
现有的DSSD的网络模型的网络结构如图3所示。改进后的DSSD网络模型包括卷积层conv1、卷积层conv2_x、卷积层conv3_x、卷积层conv4_x、卷积层conv5_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x、deconv1_x、deconv2_x、deconv3_x、deconv4_x、deconv5_x、deconv6_x;
采用不对称特征金字塔结构进行检测,如图4所示,经过六层反卷积层时,则从卷积层conv2_x、卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x、反卷积层deconv5_x、反卷积层deconv6_x提取出作为检测所用的feature maps,卷积层conv4_x与反卷积层deconv1_x,卷积层conv5_x与反卷积层deconv2_x,卷积层conv6_x与反卷积层deconv3_x,卷积层conv7_x与反卷积层deconv4_x,卷积层conv8_x与反卷积层deconv5_x,卷积层conv9_x与反卷积层deconv6_x融合一起作检测;
经过五层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x、反卷积层deconv5_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x,卷积层conv8_x与反卷积层deconv4_x,卷积层conv9_x与反卷积层deconv5_x融合一起作检测;
经过四层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x,卷积层conv8_x与反卷积层deconv4_x融合一起作检测;
经过三层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x融合一起作检测;
经过二层反卷积层时,则从卷积层conv3_x、卷积层conv6_x和反卷积层deconv1_x、反卷积层deconv2_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x融合一起作检测;
对于每一个feature maps,设置先验框,设定第k个feature maps,先验框比例公式如式(Ⅰ)所示:
式(I)中,m为特征图的个数;Smin,Smax分别为比例的最小值和最大值,Smin取0.2,Smax取0.95,分别代表特征图上先验框占输入图像的比例;在每一个feature maps上,加入了Faster R-CNN的anchors机制,对每一特征图上的先验框采取不同宽高比,以增强先验框对物体形状的鲁棒性,这里采用的宽高比r={1,2,1/2,3,1/3};每一个先验框的中心为fk为特征图的大小;
得到特征图后,对特征图进行卷积得到检测结果,这些大小不同的feature maps同时进行softmax分类和位置回归,检测框架的总体目标损失函数由中心位置损失Lloc和置信损失Lconf的加权和表示。
步骤(4)中,将高层特征的语义信息融入底层特征,提高底层特征的表达能力,SSD额外添加的卷积层中第n层的特征图进行反卷积扩大到和n-1层同样的分辨率;然后再将反卷积扩大后的第n层的特征图和第n-1层的特征图进行元素级别的乘积操作得到最终的用于检测的特征图,记为(n-1)′,后续的多尺度预测在(n-1)′上进行。得到的底层特征相比于SSD中的底层特征具有更加丰富的语义信息,更利于小目标的检测,而根据在一定区域出现小目标概率来提前预设所经过反卷积层数,保证了小目标的检测准确性,提高了mAP,由于有针对性的在小目标出现概率极小的区域减少了不必要的反卷积层数,简化了运算,提升了运算速度。
实施例3
根据实施例2所述的一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,其区别在于:
步骤(4)中,检测框架的总体目标损失函数由中心位置损失Lloc和置信损失Lconf的加权和表示,即:损失函数为位置误差(locatizationloss,loc)与置信度误差(confidenceloss,conf)的加权和:如式(II)所示:
式(II)中,N是先验框的正样本数量,c为类别置信度预测值,I为先验框的所对应边界框的位置预测值,g是groundtruth的位置参数,权重系数α通过交叉验证设置为1;中等于1表示第i个先验框与第j个groundtruth匹配,并且groundtruth类别为p;
对于位置误差Lloc(x,l,g),其采用SmoothL1loss,定义如式(III)、式(Ⅳ)、式(V)、式(VI)、式(Ⅶ)所示:
l=(lx,ly,lw,lh),lx,ly表示预测框的中心位置(x,y),lw,lh分别表示预测框的宽w、高h;g=(gx,gy,gw,gh),gx,gy表示真实目标的中心位置(x,y),gw,gh分别表示真实目标的边框(真实框)的宽、高;cx,cy为预测框的中心点;Pos代表正样本;等于1,表示第i个先验框与第j个groundtruth匹配,并且groundtruth类别为p;d代表真实框的参数,g表示预测框的参数,代表预测的偏移量;由于的存在,所以位置误差近针对正样本进行计算,表示预测框的中心位置,l为先验框的所对应边界框的位置预测值,g是groundtruth的位置参数
对于置信度误差Lconf(x,c),其采用softmaxloss,定义如式(VIII)所示:
式(VIII)中,等于1,表示第i个先验框与第j个groundtruth匹配,并且groundtruth类别为p,c为类别置信度预测值;i表示搜索序号,j表示真实框序号,p表示类别序号,p=0表示背景;Neg表示负样本,代表第i个搜索框对应类别p的预测概率,表示第i个搜索框无物体的预测概率。
步骤(1)中基于边缘绘图参数自由算法的输电线识别技术识别出输电线属于现有技术。另外,本发明未详尽之处,均可采用现有技术进行。
步骤(1)的具体实现过程包括:
根据已有技术,首先,将获取的彩色图像依次进行灰度化处理、直方图均衡化处理、高斯滤波得到去噪后的图像;
然后,通过边缘绘图参数自由算法对去噪后的图像处理得到真性线段图像;
最后,用radon变换从真性线段图像中初步提取出直线段集合,并利用每条直线段的斜率信息筛选出正确的直线段,正确的直线段就是输电线。实现快速、精确的识别出完整输电线,可适应多种环境,鲁棒性更好。
用radon变换从真性线段图像St中初步提取出直线段集合,是指:
沿着平面中具有不同方向的图像St(x,y){x∈[1,M],y∈[1,N]}进行线性积分,如式(IX)所示:
R(ρ,θ)=∫∫StSt(x,y)δ(ρ-xcosθ-ysinθ)dxdy(i∈[1,L]) (IX)
利用每条直线段的斜率信息筛选出正确的直线段,是指:
在直线段集合Ps中,-θh为倾角差的下限,θh为倾角差的上限,-ρh为距离差的下限,ρh为距离差的上限,1≤h≤10,将倾角差θd在[-θh,θh]以及距离差ρd在[-ρh,ρh]之内的直线归到同一组,同时筛除其它直线,得到正确的直线段E。
步骤(2)中,如图1所示,根据图像的输电线所在区域取最佳拟合梯形,是指:连接输电线最外围两根边缘电线,获得四边形,取四边形中与最外围两根边缘电线重合的线段为梯形的腰,另外两条边求取多种不同斜率的相互平行线段对,构成梯形的上底和下底,构成多种梯形中,与四边形重合面积与梯形面积比值最大的梯形即为最佳拟合梯形。
步骤(3)中,由于输电线区域识别的特殊性,可以通过输电线走向判断出距离拍摄地距离,远距离需要小目标预测的准确性,近距离不需要小目标预测,于是,根据所选取的最佳拟合梯形预先规定目标检测所经过的反卷积层数。以此来保证识别准确率的情况下简化计算,提高检测速度。由于监控电力资源传输画面基本稳定,输电线位置基本不变,上述步骤(1)至步骤(3)仅需在初始化时运行一次,大大减少了计算量,提高了部标检测识别的速度。
步骤(2)中,保持最佳拟合梯形重心不变对最佳拟合梯形进行扩大至原来的1.2倍,扩大后即为从输入图像提取的检测范围。梯形选框的扩大倍数可以根据实际情况人为设置,默认为1.2。
实施例4
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行所述计算机程序时实现实施例1-3任一基于加权反卷积层数改进DSSD算法的输电线目标检测方法的步骤。
实施例5
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现实施例1-3任一基于加权反卷积层数改进DSSD算法的输电线目标检测方法的步骤。
Claims (10)
1.一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,其特征在于,包括以下步骤:
(1)基于边缘绘图参数自由算法的输电线识别技术,识别出输电线;
(2)先对步骤(1)识别出的多根输电线中两条最外围边缘输电线求最佳拟合直线,再根据图像的输电线所在区域取最佳拟合梯形,保持最佳拟合梯形重心不变对最佳拟合梯形进行扩大,扩大后即为从输入图像提取的检测范围;
(3)取扩大后的最佳拟合梯形中与上底、下底平行的若干条直线,将梯形的高平均分为长度相等的五段,将最佳拟合梯形从上到下分成五个面积不等的部分,面积最小的部分经过六层反卷积层,反卷积层层数按步长为1依次递减,直至面积最大的部分经过二层反卷积层,构建改进后的DSSD网络模型;
(4)将步骤(2)得到的从输入图像提取的检测范围输入步骤(3)构建的改进后的DSSD网络模型进行训练;
(5)将待检测的图像经过步骤(1)、步骤(2)处理后输入训练好的改进后的DSSD网络模型,得到输电线的检测结果。
2.根据权利要求1所述的一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,其特征在于,改进后的DSSD网络模型包括卷积层conv1、卷积层conv2_x、卷积层conv3_x、卷积层conv4_x、卷积层conv5_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x、deconv1_x、deconv2_x、deconv3_x、deconv4_x、deconv5_x、deconv6_x;
经过六层反卷积层时,则从卷积层conv2_x、卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x、反卷积层deconv5_x、反卷积层deconv6_x提取出作为检测所用的feature maps,卷积层conv4_x与反卷积层deconv1_x,卷积层conv5_x与反卷积层deconv2_x,卷积层conv6_x与反卷积层deconv3_x,卷积层conv7_x与反卷积层deconv4_x,卷积层conv8_x与反卷积层deconv5_x,卷积层conv9_x与反卷积层deconv6_x融合一起作检测;
经过五层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv9_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x、反卷积层deconv5_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x,卷积层conv8_x与反卷积层deconv4_x,卷积层conv9_x与反卷积层deconv5_x融合一起作检测;
经过四层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x、卷积层conv8_x、卷积层conv10_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x、反卷积层deconv4_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x,卷积层conv8_x与反卷积层deconv4_x融合一起作检测;
经过三层反卷积层时,则从卷积层conv3_x、卷积层conv6_x、卷积层conv7_x和反卷积层deconv1_x、反卷积层deconv2_x、反卷积层deconv3_x提取出作为检测所用的featuremaps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x,卷积层conv7_x与反卷积层deconv3_x融合一起作检测;
经过二层反卷积层时,则从卷积层conv3_x、卷积层conv6_x和反卷积层deconv1_x、反卷积层deconv2_x提取出作为检测所用的feature maps,卷积层conv3_x与反卷积层deconv1_x,卷积层conv6_x与反卷积层deconv2_x融合一起作检测;
对于每一个feature maps,设置先验框,设定第k个feature maps,先验框比例公式如式(Ⅰ)所示:
式(Ⅰ)中,m为特征图的个数;Smin,Smax分别为比例的最小值和最大值,Smin取0.2,Smax取0.95,分别代表特征图上先验框占输入图像的比例;在每一个feature maps上,加入了Faster R-CNN的anchors机制,对每一特征图上的先验框采取不同宽高比,采用的宽高比r={1,2,1/2,3,1/3};每一个先验框的中心为fk为特征图的大小;
得到特征图后,对特征图进行卷积得到检测结果,这些大小不同的feature maps同时进行softmax分类和位置回归,检测框架的总体目标损失函数由中心位置损失Lloc和置信损失Lconf的加权和表示。
3.根据权利要求1所述的一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,其特征在于,所述步骤(4)中,检测框架的总体目标损失函数由中心位置损失Llpc和置信损失Lconf的加权和表示,即:损失函数为位置误差与置信度误差的加权和:如式(II)所示:
式(II)中,N是先验框的正样本数量,c为类别置信度预测值,l为先验框的所对应边界框的位置预测值,g是groundtruth的位置参数,权重系数α通过交叉验证设置为1;中等于1表示第i个先验框与第j个groundtruth匹配,并且groundtruth类别为p;
对于位置误差Lloc(x,l,g),其采用SmoothL1loss,定义如式(Ⅲ)、式(Ⅳ)、式(Ⅴ)、式(Ⅵ)、式(VII)所示:
l=(lx,ly,lw,lh),lx,ly表示预测框的中心位置(x,y),lw,lh分别表示预测框的宽w、高h;g=(gx,gy,gw,gh),gx,gy表示真实目标的中心位置(x,y),gw,gh分别表示真实目标的边框的宽、高;cx,cy为预测框的中心点;Pos代表正样本; 等于1,表示第i个先验框与第j个groundtruth匹配,并且groundtruth类别为p;d代表真实框的参数,g表示预测框的参数,代表预测的偏移量;表示预测框的中心位置,l为先验框的所对应边界框的位置预测值,g是groundtruth的位置参数
对于置信度误差Lc0nf(x,c),其采用softmaxloss,定义如式(Ⅷ)所示:
4.根据权利要求1所述的一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,其特征在于,所述步骤(1)的具体实现过程包括:
首先,将获取的彩色图像依次进行灰度化处理、直方图均衡化处理、高斯滤波得到去噪后的图像;
然后,通过边缘绘图参数自由算法对去噪后的图像处理得到真性线段图像;
最后,用radon变换从真性线段图像中初步提取出直线段集合,并利用每条直线段的斜率信息筛选出正确的直线段,正确的直线段就是输电线。
7.根据权利要求1所述的一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,其特征在于,步骤(2)中,根据图像的输电线所在区域取最佳拟合梯形,是指:连接输电线最外围两根边缘电线,获得四边形,取四边形中与最外围两根边缘电线重合的线段为梯形的腰,另外两条边求取多种不同斜率的相互平行线段对,构成梯形的上底和下底,构成多种梯形中,与四边形重合面积与梯形面积比值最大的梯形即为最佳拟合梯形。
8.根据权利要求1所述的一种基于加权反卷积层数改进DSSD算法的输电线目标检测方法,其特征在于,步骤(2)中,保持最佳拟合梯形重心不变对最佳拟合梯形进行扩大至原来的1.2倍,扩大后即为从输入图像提取的检测范围。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-8任一所述基于加权反卷积层数改进DSSD算法的输电线目标检测方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-8任一所述基于加权反卷积层数改进DSSD算法的输电线目标检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110440584.4A CN113361322B (zh) | 2021-04-23 | 2021-04-23 | 一种基于加权反卷积层数改进dssd算法的输电线目标检测方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110440584.4A CN113361322B (zh) | 2021-04-23 | 2021-04-23 | 一种基于加权反卷积层数改进dssd算法的输电线目标检测方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113361322A true CN113361322A (zh) | 2021-09-07 |
CN113361322B CN113361322B (zh) | 2022-09-27 |
Family
ID=77525312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110440584.4A Active CN113361322B (zh) | 2021-04-23 | 2021-04-23 | 一种基于加权反卷积层数改进dssd算法的输电线目标检测方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361322B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105333861A (zh) * | 2015-12-02 | 2016-02-17 | 中国测绘科学研究院 | 基于激光点云的杆塔倾斜检测的方法及装置 |
CN106778472A (zh) * | 2016-11-17 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 基于深度学习的输电走廊常见侵入物目标检测与识别方法 |
CN109615598A (zh) * | 2018-12-10 | 2019-04-12 | 武汉大学 | 一种基于边缘绘图参数自由算法的输电线识别方法 |
CN109886359A (zh) * | 2019-03-25 | 2019-06-14 | 西安电子科技大学 | 基于卷积神经网络的小目标检测方法及检测模型 |
CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
US20200104584A1 (en) * | 2018-09-28 | 2020-04-02 | Aptiv Technologies Limited | Object detection system of a vehicle |
CN111783685A (zh) * | 2020-05-08 | 2020-10-16 | 西安建筑科技大学 | 一种基于单阶段网络模型的目标检测改进算法 |
CN111860623A (zh) * | 2020-07-03 | 2020-10-30 | 北京林业大学 | 基于改进ssd神经网络的统计树木数量的方法及系统 |
CN112184746A (zh) * | 2020-08-27 | 2021-01-05 | 西北工业大学 | 一种输电线绝缘子缺陷分析方法 |
-
2021
- 2021-04-23 CN CN202110440584.4A patent/CN113361322B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105333861A (zh) * | 2015-12-02 | 2016-02-17 | 中国测绘科学研究院 | 基于激光点云的杆塔倾斜检测的方法及装置 |
CN106778472A (zh) * | 2016-11-17 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 基于深度学习的输电走廊常见侵入物目标检测与识别方法 |
US20200104584A1 (en) * | 2018-09-28 | 2020-04-02 | Aptiv Technologies Limited | Object detection system of a vehicle |
CN109615598A (zh) * | 2018-12-10 | 2019-04-12 | 武汉大学 | 一种基于边缘绘图参数自由算法的输电线识别方法 |
CN109886359A (zh) * | 2019-03-25 | 2019-06-14 | 西安电子科技大学 | 基于卷积神经网络的小目标检测方法及检测模型 |
CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
CN111783685A (zh) * | 2020-05-08 | 2020-10-16 | 西安建筑科技大学 | 一种基于单阶段网络模型的目标检测改进算法 |
CN111860623A (zh) * | 2020-07-03 | 2020-10-30 | 北京林业大学 | 基于改进ssd神经网络的统计树木数量的方法及系统 |
CN112184746A (zh) * | 2020-08-27 | 2021-01-05 | 西北工业大学 | 一种输电线绝缘子缺陷分析方法 |
Non-Patent Citations (2)
Title |
---|
XIAOWEI ZHANG ET AL.: "Scale-aware hierarchical detection network for pedestrian detection", 《IEEE ACCESS》 * |
孙实超: "无人机航拍图像的输电线识别方法", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113361322B (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084292B (zh) | 基于DenseNet和多尺度特征融合的目标检测方法 | |
CN111709416B (zh) | 车牌定位方法、装置、系统及存储介质 | |
CN111695514B (zh) | 一种基于深度学习的雾天下车辆检测方法 | |
CN111461213B (zh) | 一种目标检测模型的训练方法、目标快速检测方法 | |
CN110598788A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN111738114B (zh) | 基于无锚点精确采样遥感图像车辆目标检测方法 | |
CN111091095A (zh) | 一种遥感图像中船只目标的检测方法 | |
CN111898621A (zh) | 一种轮廓形状识别方法 | |
CN112949520B (zh) | 一种基于多尺度小样本的航拍车辆检测方法及检测系统 | |
CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
CN113159215A (zh) | 一种基于Faster Rcnn的小目标检测识别方法 | |
CN111951283A (zh) | 一种基于深度学习的医学图像识别方法及系统 | |
CN112488244A (zh) | 一种利用热力图进行点标注方式的密集分布小目标害虫自动计数方法 | |
CN113139979A (zh) | 一种基于深度学习的边缘识别方法 | |
CN113033371A (zh) | 基于csp模型的多级特征融合行人检测方法 | |
CN113361322B (zh) | 一种基于加权反卷积层数改进dssd算法的输电线目标检测方法、设备及存储介质 | |
CN109063749B (zh) | 一种基于角点辐射域的鲁棒卷积核数量适配方法 | |
CN112347967A (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
CN112101283A (zh) | 一种交通标志智能识别方法及系统 | |
CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 | |
CN111738069A (zh) | 人脸检测方法、装置、电子设备及存储介质 | |
CN116824345A (zh) | 基于计算机视觉的弹孔检测方法及装置 | |
CN106845550B (zh) | 一种基于多模板的图像识别方法 | |
CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备 | |
CN115690770A (zh) | 基于空间注意力特征的非受限场景下的车牌识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |