CN109993101B - 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 - Google Patents

基于多分支循环自注意力网络与循环边框回归的车辆检测方法 Download PDF

Info

Publication number
CN109993101B
CN109993101B CN201910243463.3A CN201910243463A CN109993101B CN 109993101 B CN109993101 B CN 109993101B CN 201910243463 A CN201910243463 A CN 201910243463A CN 109993101 B CN109993101 B CN 109993101B
Authority
CN
China
Prior art keywords
layer
network
detection
self
relu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910243463.3A
Other languages
English (en)
Other versions
CN109993101A (zh
Inventor
周智恒
黄宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910243463.3A priority Critical patent/CN109993101B/zh
Publication of CN109993101A publication Critical patent/CN109993101A/zh
Application granted granted Critical
Publication of CN109993101B publication Critical patent/CN109993101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Abstract

本发明公开了一种基于多分支循环自注意力网络与循环边框回归的车辆检测方法,包括如下步骤:构造车辆检测的主干网络;使用RPN网络预测候选框,并根据候选框提取实例特征图,循环地预测自注意力图与计算新的实例特征图得到最终的实例特征图;使用循环边框回归,根据预测出的检测框循环地选择基础网络输出的特征图;使用多分支网络结构,将上述计算网络拓展至多分支,融合多分支检测结果。本发明基于多分支循环自注意力网络与循环边框回归方法,与传统深度学习的车辆检测方法相比能获取车辆更精确的特征,提高车辆的检测框的置信度并能获得更准确的检测框,提高检测准确率。

Description

基于多分支循环自注意力网络与循环边框回归的车辆检测 方法
技术领域
本发明涉及车辆检测技术领域,具体涉及一种基于多分支循环自注意力网络与循环边框回归的车辆检测方法。
背景技术
车辆检测是辅助驾驶系统(ADAS)和自动驾驶系统(ADS)的重要组成部分。准确率更高的车辆检测算法对于自动驾驶系统和辅助驾驶系统的安全性具有重要的意义。由于深度学习的强大泛化能力和拟合能力,基于深度学习的车辆检测算法在准确率方面有着极大的提升。目前基于深度学习的车辆检测算法主要有Fast RCNN、Faster RCNN、SSD等。基于深度学习的目标检测算法中,在训练阶段,输入图像输入到卷积神经网络提取特征,匹配算法根据候选框与标签框的IoU重叠度选取一部分特征训练检测框的置信度以及位置,在推理阶段,检测算法使用所有特征来预测检测框,最后使用非极大值抑制算法(NMS)来过滤检测框以获得最后的检测结果。
由于道路环境的复杂性,车辆经常会被其他物体遮挡,包括类间遮挡和类内遮挡,在传统的深度学习目标检测算法中,选取的区域的特征通常不仅仅有本身车辆的特征,还包含了其他物体的特征。另外,传统的深度学习算法仅仅选取了一次特征或者选取了两次特征作为后续微调的特征。上述的两种缺点导致了目前的车辆检测算法选取的特征仍然不够精确,预测的检测框不够精确,准确率不高。因此目前亟待针对传统深度学习车辆检测算法对于遮挡车辆检测精度低的问题,提供一种基于多分支循环自注意力网络与循环边框回归的车辆检测方法。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于多分支循环自注意力网络与循环边框回归的车辆检测方法。
本发明的目的可以通过采取如下技术方案达到:
一种基于多分支循环自注意力网络与循环边框回归的车辆检测方法,所述的车辆检测方法包括下列步骤:
S1、使用卷积层、BN层、Relu层、池化层构造车辆检测的主干网络,作为图像的特征提取器;
S2、构建循环自注意力网络,用区域提名网络(Region Proposal Network,RPN)在主干网络输出的特征图上预测候选框,并输入候选框和主干网络输出的特征图到自适应池化层得到初始实例特征图,使用m×m的卷积核在实例特征图的基础上预测自注意力图,其中m为卷积核的大小,将自注意力图与初始实例特征图通过Hadamard乘积得到新的实例特征图,循环地预测自注意力图与计算新的实例特征图T次得到最后的实例特征图FT,也就是输入主干网络输出的特征图到循环自注意力网络得到最后的实例特征图FT
S3、给定步骤S2中的实例特征图FT,将实例特征图FT作为检测子网络的输入得到输出的结果
Figure BDA0002010376020000021
其中I为RPN网络预测的候选框个数,
Figure BDA0002010376020000022
表示的是第k分支第j次循环中的检测子网络输出的第i1个候选框,其中1≤k≤K,1≤j≤L,L为循环边框回归的循环次数,K为分支的个数,
Figure BDA0002010376020000023
其中
Figure BDA0002010376020000024
分别表示该边框的左边界、上边界、右边界、下边界的坐标和置信度,Dj,k表示的是第k分支第j次循环中的检测子网络输出的集合;
S4、使用循环边框回归,循环地选择基础网络输出的特征图中更精确的特征区域,得到更准确的边框位置和置信度,重复执行步骤S2、S3共L次得到预测结果DL,k,并对预测结果DL,k利用非极大值抑制(Non-Maximum Suppression,NMS)剔除冗余的检测框后得到最后的检测结果
Figure BDA0002010376020000031
其中Nnms为经过NMS过滤检测框DL,k后的检测框的数目,
Figure BDA0002010376020000032
表示的是第k分支第L次循环中的NMS输出的第i2个候选框;
S5、使用多分支网络结构,在得到基础网络输出的特征图后,重复执行步骤S2、S3、S4共K次,得到K个分支的网络;
S6、融合步骤S5中各个分支网络的检测结果,得到总的检测结果。
进一步地,所述的主干网络具体结构如下:
从输入层至输出层依次连接为:卷积层conv1_1、BN层conv1_1_bn、Relu层conv1_1_relu、卷积层conv1_2、BN层conv1_2_bn、Relu层conv1_2_relu、池化层max_pooling1、卷积层conv2_1、BN层conv2_1_bn、Relu层conv2_1_relu、卷积层conv2_2、BN层conv2_2_bn、Relu层conv2_2_relu、池化层max_pooling2、卷积层conv3_1、BN层conv3_1_bn、Relu层conv3_1_relu、卷积层conv3_2、BN层conv3_2_bn、Relu层conv3_2_relu、卷积层conv3_3、BN层conv3_3_bn、Relu层conv3_3_relu、池化层max_pooling3、卷积层conv4_1、BN层conv4_1_bn、Relu层conv4_1_relu、卷积层conv4_2、BN层conv4_2_bn、Relu层conv4_2_relu、卷积层conv4_3、BN层conv4_3_bn、Relu层conv4_3_relu、池化层max_pooling4、卷积层conv5_1、BN层conv5_1_bn、Relu层conv5_1_relu、卷积层conv5_2、BN层conv5_2_bn、Relu层conv5_2_relu、卷积层conv5_3、BN层conv5_3_bn、Relu层conv5_3_relu、池化层max_pooling5。
进一步地,所述的步骤S2中循环地预测自注意力图与计算新的实例特征图T次得到最后的实例特征图FT的过程如下:
S21、对步骤S1中主干网络输出的特征图,用RPN网络预测候选框,并输入候选框和步骤S1中主干网络输出的特征图到自适应池化层得到初始实例特征图,使用Dt×Wt×Ht表示循环自注意力网络中的第t张特征图,记为Ft,其中Dt,Wt,Ht分别为特征图的通道的维度、宽度、高度,t=0时的特征图F0表示初始实例特征图,使用Dt×Wt×Ht表示循环自注意力网络中的第t张自注意力图,记为Mt,自注意力图使用一个3x3的卷积核作用于循环自注意力网络中的特征图,并使用sigmoid激活函数得出,使用公式表示为:
Figure BDA0002010376020000041
其中,符号σ表示sigmoid函数,
Figure BDA0002010376020000042
表示卷积核大小为3x3,输出通道数为Dt-1的卷积操作,例如将初始实例特征图F0输入公式(1)将得出第一张自注意力图M1
S22、由自注意力图与初始实例特征图计算hadamard积得到下一级的特征图:
Ft=F0⊙Mt,t∈[1,T] (2)
符号表示hadamard积,Ft是循环自注意力网络的前一级特征图Ft-1与自注意力图Mt的hadamard积,Ft作为循环自注意力网络下一级的输入;
S23、循环步骤S21、S22中公式(1)、(2)共T次得到最后的特征图输出FT
进一步地,所述的步骤S4中的循环边框回归,具体如下:
使用步骤S3中的Dj,k代替步骤S2中的RPN网络预测的候选框,然后执行步骤S2、S3得到检测子网络预测检测结果Dj+1,k,其中,检测子网络的共享部分具体结构为:
从输入层至输出层依次连接为:卷积层conv1_subnet、BN层bn1_subnet、Relu激活层relu1_subnet、卷积层conv2_subnet、Relu激活层relu2_subnet;
检测子网络的分类部分具体结构为:从输入层至输出层依次连接为:全连接层fc_cls、softmax层;
检测子网络的边框回归部分为:全连接层fc_reg;
检测子网络的具体结构为:检测子网络的共享部分与分类部分连接组成分类器、检测子网络的共享部分与边框回归部分连接组成边框回归器;
将检测子网络的分类输出和边框回归输出输入至NMS得到检测子网络预测检测结果Dj+1,k
其中,D0,k表示RPN网络预测的候选框,重复执行步骤S2、S3共L次循环得到预测结果DL,k,并对预测结果DL,k利用NMS非极大值抑制算法剔除冗余的检测框后得到最后的检测结果
Figure BDA0002010376020000051
其中Nnms为经过NMS过滤检测框DL,k后的检测框的数目,
Figure BDA0002010376020000052
表示的是第k分支第L次循环中的NMS输出的第i2个候选框。
进一步地,所的述步骤S6中的融合步骤S5中各个分支网络的检测结果的过程如下:
S61、给定检测子网络预测的检测结果
Figure BDA0002010376020000053
定义一个实例子集:
Figure BDA0002010376020000054
其中,Nall表示集合Dnms的大小,
Figure BDA0002010376020000055
表示Dnms中第p个检测框,1≤p≤Nall
Figure BDA0002010376020000056
表示Dnms中第q个检测框,式(3)为每一个检测框寻找与其交并比(Intersection over Union,IoU)大于threshold的所有检测框集合;
S62、计算边框平均,给定集合
Figure BDA0002010376020000057
计算集合内所有检测框的置信度的平均值与边框位置的平均值:
Figure BDA0002010376020000061
其中,集合
Figure BDA0002010376020000062
内元素个数为Np,符号
Figure BDA0002010376020000063
分别表示集合
Figure BDA0002010376020000064
内第np个检测框的左边界、上边界、右边界和下边界的坐标和置信度,
Figure BDA0002010376020000065
cp表示的是集合
Figure BDA0002010376020000066
平均后的检测框的左边界、上边界、右边界和下边界的坐标和置信度。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明通过循环自注意力网络,循环地调整自注意力图,排除遮挡物体的干扰,获取更加精确的定位特征;
(2)本发明通过循环边框回归,实现多级选取特征,使得检测器能够获取车辆更加完整的特征,提高检测框的置信度并能够获得更为准确的检测框;
(3)本发明通过多分支网络,融合多个检测器结果,提高车辆检测框的置信度并能够获得更为准确的检测框,提高检测准确率。
附图说明
图1是本发明中循环自注意力网络示意图;
图2是本发明中循环边框回归流程图;
图3是本发明中多分支网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例公开了一种基于多分支循环自注意力网络与循环边框回归的车辆检测方法,具体包括下列步骤:
步骤S1、使用卷积层、BN层、Relu层、池化层构造车辆检测的主干网络,作为图像的特征提取器,主干网络具体结构如下:
从输入层至输出层依次连接为:卷积层conv1_1、BN层conv1_1_bn、Relu层conv1_1_relu、卷积层conv1_2、BN层conv1_2_bn、Relu层conv1_2_relu、池化层max_pooling1、卷积层conv2_1、BN层conv2_1_bn、Relu层conv2_1_relu、卷积层conv2_2、BN层conv2_2_bn、Relu层conv2_2_relu、池化层max_pooling2、卷积层conv3_1、BN层conv3_1_bn、Relu层conv3_1_relu、卷积层conv3_2、BN层conv3_2_bn、Relu层conv3_2_relu、卷积层conv3_3、BN层conv3_3_bn、Relu层conv3_3_relu、池化层max_pooling3、卷积层conv4_1、BN层conv4_1_bn、Relu层conv4_1_relu、卷积层conv4_2、BN层conv4_2_bn、Relu层conv4_2_relu、卷积层conv4_3、BN层conv4_3_bn、Relu层conv4_3_relu、池化层max_pooling4、卷积层conv5_1、BN层conv5_1_bn、Relu层conv5_1_relu、卷积层conv5_2、BN层conv5_2_bn、Relu层conv5_2_relu、卷积层conv5_3、BN层conv5_3_bn、Relu层conv5_3_relu、池化层max_pooling5。
步骤S2、注意力机制是通过选择性地关注特征图中对结果有利的信息从而减少背景信息的干扰,传统的自注意力机制因为仅仅预测一次注意力图往往不够精确,而循环自注意力网络通过多次预测自注意力图来获取主干网络输出的特征图中更准确的信息,是一种由粗到细的过程。如图1所示,用区域提名网络(Region Proposal Network,RPN)在主干网络输出的特征图上预测候选框,并输入候选框和主干网络输出的特征图到自适应池化层得到初始实例特征图,使用mxm的卷积核在实例特征图的基础上预测自注意力图,其中m为卷积核的大小,在本实例中取m=3。自注意力图与初始实例特征图通过Hadamard乘积得到新的实例特征图,循环地预测自注意力图与计算新的实例特征图T次得到最后的实例特征图FT,本实施例中取T=2,但是该T的取值不构成对本发明技术方案的限制。具体过程如下:
S21、对S1中主干网络输出的特征图,用RPN网络预测候选框,并输入候选框和步骤S1中主干网络输出的特征图到自适应池化层得到初始实例特征图。本发明使用Dt×Wt×Ht表示循环自注意力网络中的第t张特征图,记为Ft,其中Dt,Wt,Ht分别为特征图的通道的维度、宽度、高度。特别地,t=0时的特征图F0表示初始实例特征图。本发明使用Dt×Wt×Ht表示循环自注意力网络中的第t张自注意力图,记为Mt。自注意力图使用一个3x3的卷积核作用于循环自注意力网络中的特征图,并使用sigmoid激活函数得出,使用公式表示为:
Figure BDA0002010376020000081
其中,符号σ表示sigmoid函数,
Figure BDA0002010376020000082
表示卷积核大小为3x3,输出通道数为Dt-1的卷积操作,例如将初始实例特征图F0输入公式(1)将得出第一张自注意力图M1
S22、下一级的特征图由自注意力图与初始实例特征图计算hadamard积得到:
Ft=F0⊙Mt,t∈[1,T] (2)
符号表示hadamard积,Ft是循环自注意力网络的前一级特征图Ft-1与自注意力图Mt的hadamard积。Ft作为循环自注意力网络下一级的输入。
S23、循环地利用公式(1)、(2)2次得到最后的特征图输出FT
步骤S3、
给定步骤S2中的实例特征图FT,将实例特征图FT作为检测子网络的输入得到输出的结果
Figure BDA0002010376020000091
其中I为RPN网络预测的候选框个数,
Figure BDA0002010376020000092
表示的是第k分支第j次循环中的检测子网络输出的第i1个候选框,其中1≤k≤K,1≤j≤L,L为循环边框回归的循环次数,K为分支的个数,
Figure BDA0002010376020000093
其中
Figure BDA0002010376020000094
分别表示该边框的左边界、上边界、右边界、下边界的坐标和置信度,Dj,k表示的是第k分支第j次循环中的检测子网络输出的集合,本发明中取L=2,K=3。
步骤S4、如图2所示,使用循环边框回归,循环地选择基础网络输出的特征图中更加精确的特征区域,得到更加准确的边框位置和置信度。传统的检测算法只预测一次或者两次,本发明中通过多次选择特征图来达到更精确的边框位置和更高的置信度。使用步骤S3中的Dj,k代替S2中的RPN网络预测的候选框,执行步骤S2、S3得到检测子网络预测检测结果Dj+1,k
其中,检测子网络的共享部分具体结构为:
从输入层至输出层依次连接为:卷积层conv1_subnet、BN层bn1_subnet、Relu激活层relu1_subnet、卷积层conv2_subnet、Relu激活层relu2_subnet;
检测子网络的分类部分具体结构为:从输入层至输出层依次连接为:全连接层fc_cls、softmax层;
检测子网络的边框回归部分为:全连接层fc_reg;
检测子网络的具体结构为:检测子网络的共享部分与分类部分连接组成分类器、检测子网络的共享部分与边框回归部分连接组成边框回归器;
将检测子网络的分类输出和边框回归输出输入至NMS得到检测子网络预测检测结果Dj+1,k
特别地,j=0时的D0,k表示RPN网络预测的候选框。重复执行步骤S2、S3L次循环得到预测结果DL,k,并对预测结果DL,k,利用NMS非极大值抑制算法剔除冗余的检测框后得到最后的检测结果
Figure BDA0002010376020000101
Figure BDA0002010376020000102
其中Nnms为经过NMS过滤检测框DL,k后的检测框的数目,
Figure BDA0002010376020000103
表示的是第k分支第L次循环中的NMS输出的第i2个候选框。
步骤S5、如图3所示,使用多分支网络结构,在得到步骤S1中基础网络输出的特征图后,执行步骤S2、S3、S4共K次,得到K个分支的网络。不同于传统的检测方法,使用K分支结果的融合能够降低单分支预测带来的方差,检测结果更为鲁棒。
步骤S6、融合重复S5中各个分支网络的检测结果,得到总的检测结果。具体过程如下:
S61、给定检测子网络预测的检测结果
Figure BDA0002010376020000104
定义一个实例子集:
Figure BDA0002010376020000105
其中,Nall表示集合Dnms的大小,
Figure BDA0002010376020000106
表示Dnms中第p个检测框,1≤p≤Nall
Figure BDA0002010376020000107
表示Dnms中第q个检测框,式(3)为每一个检测框寻找与其交并比(Intersection over Union,IoU)大于threshold的所有检测框集合。在本发明中取threshold=0.7。
S62、计算边框平均,给定集合
Figure BDA0002010376020000108
计算集合内所有检测框的置信度的平均值与边框位置的平均值:
Figure BDA0002010376020000111
其中,集合
Figure BDA0002010376020000112
内元素个数为Np,符号
Figure BDA0002010376020000113
分别表示集合
Figure BDA0002010376020000114
内第np个检测框的左边界、上边界、右边界和下边界的坐标和置信度,
Figure BDA0002010376020000115
cp表示的是集合
Figure BDA0002010376020000116
平均后的检测框的左边界、上边界、右边界和下边界的坐标和置信度。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (5)

1.一种基于多分支循环自注意力网络与循环边框回归的车辆检测方法,其特征在于,所述的车辆检测方法包括下列步骤:
S1、使用卷积层、BN层、Relu层、池化层构造车辆检测的主干网络,作为图像的特征提取器;
S2、构建循环自注意力网络,用区域提名网络RPN在主干网络输出的特征图上预测候选框,并输入候选框和主干网络输出的特征图到自适应池化层得到初始实例特征图,使用m×m的卷积核在实例特征图的基础上预测自注意力图,其中m为卷积核的大小,将自注意力图与初始实例特征图通过Hadamard乘积得到新的实例特征图,循环地预测自注意力图与计算新的实例特征图T次得到最后的实例特征图FT,也就是输入主干网络输出的特征图到循环自注意力网络得到最后的实例特征图FT
S3、给定步骤S2中的实例特征图FT,将实例特征图FT作为检测子网络的输入得到输出的结果Dj,k={Di1,j,k|1≤i1≤I},其中I为区域提名网络RPN预测的候选框个数,Di1,j,k表示的是第k分支第j次循环中的检测子网络输出的第i1个候选框,其中1≤k≤K,1≤j≤L,L为循环边框回归的循环次数,K为分支的个数,
Figure FDA0002734812890000011
其中
Figure FDA0002734812890000012
分别表示该边框的左边界、上边界、右边界、下边界的坐标和置信度,Dj,k表示的是第k分支第j次循环中的检测子网络输出的集合;
S4、使用循环边框回归,循环地选择基础网络输出的特征图中更精确的特征区域,得到更准确的边框位置和置信度,重复执行步骤S2、S3共L次得到预测结果DL,k,并对预测结果DL,k利用非极大值抑制NMS剔除冗余的检测框后得到最后的检测结果
Figure FDA0002734812890000013
Figure FDA0002734812890000014
其中Nnms为经过NMS过滤检测框DL,k后的检测框的数目,
Figure FDA0002734812890000015
表示的是第k分支第L次循环中的NMS输出的第i2个候选框;
S5、使用多分支网络结构,在得到基础网络输出的特征图后,重复执行步骤S2、S3、S4共K次,得到K个分支的网络;
S6、融合步骤S5中各个分支网络的检测结果,得到总的检测结果。
2.根据权利要求1所述的基于多分支循环自注意力网络与循环边框回归的车辆检测方法,其特征在于,所述的主干网络具体结构如下:
从输入层至输出层依次连接为:卷积层conv1_1、BN层conv1_1_bn、Relu层conv1_1_relu、卷积层conv1_2、BN层conv1_2_bn、Relu层conv1_2_relu、池化层max_pooling1、卷积层conv2_1、BN层conv2_1_bn、Relu层conv2_1_relu、卷积层conv2_2、BN层conv2_2_bn、Relu层conv2_2_relu、池化层max_pooling2、卷积层conv3_1、BN层conv3_1_bn、Relu层conv3_1_relu、卷积层conv3_2、BN层conv3_2_bn、Relu层conv3_2_relu、卷积层conv3_3、BN层conv3_3_bn、Relu层conv3_3_relu、池化层max_pooling3、卷积层conv4_1、BN层conv4_1_bn、Relu层conv4_1_relu、卷积层conv4_2、BN层conv4_2_bn、Relu层conv4_2_relu、卷积层conv4_3、BN层conv4_3_bn、Relu层conv4_3_relu、池化层max_pooling4、卷积层conv5_1、BN层conv5_1_bn、Relu层conv5_1_relu、卷积层conv5_2、BN层conv5_2_bn、Relu层conv5_2_relu、卷积层conv5_3、BN层conv5_3_bn、Relu层conv5_3_relu、池化层max_pooling5。
3.根据权利要求1所述的基于多分支循环自注意力网络与循环边框回归的车辆检测方法,其特征在于,所述的步骤S2中循环地预测自注意力图与计算新的实例特征图T次得到最后的实例特征图FT的过程如下:
S21、对步骤S1中主干网络输出的特征图,用RPN网络预测候选框,并输入候选框和步骤S1中主干网络输出的特征图到自适应池化层得到初始实例特征图,使用Dt×Wt×Ht表示循环自注意力网络中的第t张特征图,记为Ft,其中Dt,Wt,Ht分别为特征图的通道的维度、宽度、高度,t=0时的特征图F0表示初始实例特征图,使用Dt×Wt×Ht表示循环自注意力网络中的第t张自注意力图,记为Mt,自注意力图使用一个3x3的卷积核作用于循环自注意力网络中的特征图,并使用sigmoid激活函数得出,使用公式表示为:
Figure FDA0002734812890000031
其中,符号σ表示sigmoid函数,
Figure FDA0002734812890000032
表示卷积核大小为3x3,输出通道数为Dt-1的卷积操作,例如将初始实例特征图F0输入公式(1)将得出第一张自注意力图M1
S22、由自注意力图与初始实例特征图计算hadamard积得到下一级的特征图:
Ft=F0⊙Mt,t∈[1,T] (2)
符号⊙表示hadamard积,Ft是循环自注意力网络的前一级特征图Ft-1与自注意力图Mt的hadamard积,Ft作为循环自注意力网络下一级的输入;
S23、循环步骤S21、S22中公式(1)、(2)共T次得到最后的特征图输出FT
4.根据权利要求1所述的基于多分支循环自注意力网络与循环边框回归的车辆检测方法,其特征在于,所述的步骤S4中的循环边框回归,具体如下:
使用步骤S3中的Dj,k代替步骤S2中的RPN网络预测的候选框,然后执行步骤S2、S3得到检测子网络预测检测结果Dj+1,k,其中,检测子网络的共享部分具体结构为:
从输入层至输出层依次连接为:卷积层conv1_subnet、BN层bn1_subnet、Relu激活层relu1_subnet、卷积层conv2_subnet、Relu激活层relu2_subnet;
检测子网络的分类部分具体结构为:从输入层至输出层依次连接为:全连接层fc_cls、softmax层;
检测子网络的边框回归部分为:全连接层fc_reg;
检测子网络的具体结构为:检测子网络的共享部分与分类部分连接组成分类器、检测子网络的共享部分与边框回归部分连接组成边框回归器;
将检测子网络的分类输出和边框回归输出输入至NMS得到检测子网络预测检测结果Dj+1,k
其中,D0,k表示RPN网络预测的候选框,重复执行步骤S2、S3共L次循环得到预测结果DL,k,并对预测结果DL,k利用NMS非极大值抑制算法剔除冗余的检测框后得到最后的检测结果
Figure FDA0002734812890000041
Figure FDA0002734812890000042
其中Nnms为经过NMS过滤检测框DL,k后的检测框的数目,
Figure FDA0002734812890000043
表示的是第k分支第L次循环中的NMS输出的第i2个候选框。
5.根据权利要求1所述的基于多分支循环自注意力网络与循环边框回归的车辆检测方法,其特征在于,所的述步骤S6中的融合步骤S5中各个分支网络的检测结果的过程如下:
S61、给定检测子网络预测的检测结果
Figure FDA0002734812890000044
定义一个实例子集:
Figure FDA0002734812890000045
其中,Nall表示集合Dnms的大小,
Figure FDA0002734812890000046
表示Dnms中第p个检测框,1≤p≤Nall
Figure FDA0002734812890000047
表示Dnms中第q个检测框,式(3)为每一个检测框寻找与其交并比IoU大于threshold的所有检测框集合;
S62、计算边框平均,给定集合
Figure FDA0002734812890000048
计算集合内所有检测框的置信度的平均值与边框位置的平均值:
Figure FDA0002734812890000051
其中,集合
Figure FDA0002734812890000052
内元素个数为Np,符号
Figure FDA0002734812890000053
分别表示集合
Figure FDA0002734812890000054
内第np个检测框的左边界、上边界、右边界和下边界的坐标和置信度,
Figure FDA0002734812890000055
cp表示的是集合
Figure FDA0002734812890000056
平均后的检测框的左边界、上边界、右边界和下边界的坐标和置信度。
CN201910243463.3A 2019-03-28 2019-03-28 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 Active CN109993101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910243463.3A CN109993101B (zh) 2019-03-28 2019-03-28 基于多分支循环自注意力网络与循环边框回归的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910243463.3A CN109993101B (zh) 2019-03-28 2019-03-28 基于多分支循环自注意力网络与循环边框回归的车辆检测方法

Publications (2)

Publication Number Publication Date
CN109993101A CN109993101A (zh) 2019-07-09
CN109993101B true CN109993101B (zh) 2021-01-19

Family

ID=67131817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910243463.3A Active CN109993101B (zh) 2019-03-28 2019-03-28 基于多分支循环自注意力网络与循环边框回归的车辆检测方法

Country Status (1)

Country Link
CN (1) CN109993101B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852383B (zh) * 2019-11-12 2022-06-14 复旦大学 基于注意力机制深度学习网络的目标检测方法及装置
CN111325161B (zh) * 2020-02-25 2023-04-18 四川翼飞视科技有限公司 一种基于注意力机制的人脸检测神经网络的构建方法
CN112446372B (zh) * 2020-12-08 2022-11-08 电子科技大学 基于通道分组注意力机制的文本检测方法
CN113762248A (zh) * 2021-01-20 2021-12-07 北京京东振世信息技术有限公司 一种目标落地检测方法、装置、电子设备和存储介质
CN112766288B (zh) * 2021-03-03 2024-01-23 重庆赛迪奇智人工智能科技有限公司 图像处理模型构建方法、装置、电子设备和可读存储介质
CN113255759B (zh) * 2021-05-20 2023-08-22 广州广电运通金融电子股份有限公司 基于注意力机制的目标内特征检测系统、方法和存储介质
CN113392655A (zh) * 2021-06-08 2021-09-14 沈阳雅译网络技术有限公司 一种基于多分支网络结构加速翻译模型训练速度的方法
CN113688706B (zh) * 2021-08-16 2023-12-05 南京信息工程大学 一种车辆检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137920A1 (en) * 2017-01-26 2018-08-02 Jaguar Land Rover Limited A system and method for monitoring and detecting tyre wear
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法
CN109522831A (zh) * 2018-11-06 2019-03-26 中科院—南京宽带无线移动通信研发中心 一种基于微卷积神经网络的车辆实时检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073929B (zh) * 2016-11-15 2023-11-24 北京三星通信技术研究有限公司 基于动态视觉传感器的物体检测方法及设备
US20190050742A1 (en) * 2017-12-29 2019-02-14 Intel Corporation Compatibility prediction technology in shared vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137920A1 (en) * 2017-01-26 2018-08-02 Jaguar Land Rover Limited A system and method for monitoring and detecting tyre wear
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法
CN109522831A (zh) * 2018-11-06 2019-03-26 中科院—南京宽带无线移动通信研发中心 一种基于微卷积神经网络的车辆实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-Grained Deep Feature Learning for Robust Pedestrian Detection;Chunze Lin;《IEEE Transactions on Circuits and Systems for Video Technology》;20181128;3608-3621 *
基于Faster RCNN的道路车辆检测算法研究;刘敦强;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190215;C034-487 *

Also Published As

Publication number Publication date
CN109993101A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109993101B (zh) 基于多分支循环自注意力网络与循环边框回归的车辆检测方法
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN106570453B (zh) 用于行人检测的方法、装置和系统
EP3358504A1 (en) A method and system for tracking an object
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
Rottmann et al. Uncertainty measures and prediction quality rating for the semantic segmentation of nested multi resolution street scene images
CN104915972A (zh) 图像处理装置、图像处理方法以及程序
CN108320306B (zh) 融合tld和kcf的视频目标跟踪方法
CN113657560B (zh) 基于节点分类的弱监督图像语义分割方法及系统
CN110826558B (zh) 图像分类方法、计算机设备和存储介质
CN109191498B (zh) 基于动态记忆和运动感知的目标检测方法及系统
CN113989305A (zh) 目标语义分割方法及应用其的街道目标异常检测方法
Wu et al. Analysis of generalization ability for different AdaBoost variants based on classification and regression trees
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN111091101A (zh) 基于一步法的高精度行人检测方法、系统、装置
CN114170570A (zh) 一种适用于拥挤场景下的行人检测方法及系统
CN111931572B (zh) 一种遥感影像的目标检测方法
CN116266387A (zh) 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN110827319A (zh) 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN114612847A (zh) 一种Deepfake视频篡改检测方法以及系统
Liu et al. Scene-Specialized Multitarget Detector with an SMC-PHD Filter and a YOLO Network
CN117593890B (zh) 一种道路遗撒物体的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant