CN111476826A - 一种基于ssd目标检测的多目标车辆跟踪方法 - Google Patents
一种基于ssd目标检测的多目标车辆跟踪方法 Download PDFInfo
- Publication number
- CN111476826A CN111476826A CN202010280283.5A CN202010280283A CN111476826A CN 111476826 A CN111476826 A CN 111476826A CN 202010280283 A CN202010280283 A CN 202010280283A CN 111476826 A CN111476826 A CN 111476826A
- Authority
- CN
- China
- Prior art keywords
- target vehicle
- target
- frame
- detection
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004044 response Effects 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于SSD目标检测的多目标车辆跟踪方法,将SSD网络结构特征提取部分替换为轻量化网络,有效减少了模型参数运算内存占有量,提高了运算速度;针对车辆检测选取四种不同分辨率的特征响应图,通过在不同分辨率的特征响应图上进行目标位置的回归和分类得出目标的类别信息和候选框的位置信息,提高了目标检测框的精度;在目标跟踪时,采用匈牙利算法解决预测结果和跟踪结果之间的数据关联问题,将运动相似度和表观相似度结合作为总的关联代价,有效地减少了ID Switch现象,提高了数据关联的准确性;本发明能够在小显存容量GPU设备和嵌入式ARM设备上运行。
Description
技术领域
本发明属于目标跟踪技术领域,具体涉及一种基于SSD目标检测的多目标车辆跟踪方法。
背景技术
目标检测与跟踪是计算机视觉领域研究的热点问题,目标检测侧重于从场景中找出目标,将目标和其他无关信息进行区分,判断目标是否存在,找出目标的位置并确定目标大小。目标跟踪在给定目标的初始状态后,需要对目标后续的位置和大小做出准确预测,得到物体的运动状态。近年来,随着深度学习的不断发展,卷积神经网络被广泛地应用到目标检测与跟踪,在目标检测与跟踪领域取得了极大的成功。
目标检测主要有三个步骤,首先从场景中生成候选区域,然后判断候选区域的分类,最后确定候选框的位置和大小。主流检测算法分为两个类型:(1)two-stage方法,先通过CNN网络产生稀疏的候选框,再对候选框进行分类回归,准确度高;(2)one-stage方法,均匀地在图片的各个位置进行密集抽样,用CNN进行特征提取后,直接在输出特征层上回归边框的位置及所属类别,整个过程只需要一步,优势是速度快。SSD是one-stage类算法的代表,SSD对浅层和深层特征目标进行预测,相比与R-CNN系列算法少了RPN层的前景和背景的辨别,具有很大的速度优势,相比与YOLO去掉全连接层并采用多尺度训练,具有更高的mAP优势。
按照目标的初始化方式,多目标跟踪算法可分为基于检测的跟踪(Detection-Based Tracking,DBT)和无检测跟踪(Detection-Free Tracking,DFT),如图1所示,DBT在对新一帧中的目标进行跟踪时,先用一个目标检测器将当前帧中的目标检测出来,然后利用数据关联算法将检测出的目标和之前帧中的目标关联起来,得到跟踪结果。DFT在跟踪前由人工标记出每个目标首次出现的位置,接下来再对每个目标分别进行跟踪,这种跟踪方法可以看成是对多个单目标进行跟踪,随着目标检测算法的不断发展,DBT成为多目标跟踪流域的主流研究方向。多目标跟踪需要在一段视频序列中同时跟踪多个,跟踪同时关注视频中多个目标的身份,以及所在的位置,并保持目标的身份不变。多目标跟踪包括检测和多个目标之间的数据关联,相似度估计(similarity estimation)作为数据关联(dataassociation)的标准,在多目标跟踪中非常重要。
在多目标跟踪中目标的位置由检测器给出,对目标检测器的性能要求极高,不能出现误检、漏检等情况,检测精度要高,同时检测速度要快,要及时给出目标位置信息,用于后续的跟踪。
目前的SSD算法以VGG-16为基础网络,该网络包含13个大小的卷积层,网络参数的模型文件也达93M,计算量高达15300MFLOP,模型所需内存也多达500M,如此庞大的模型虽然可以在GPU服务器上达到实时的效果,但是很难在ARM等嵌入式终端设备上运行,导致算法也很难在嵌入式终端设备上实现。
发明内容
针对现有技术中的上述不足,本发明提供的基于SSD目标检测的多目标车辆跟踪方法解决了现有的车辆跟踪受设备内存容量限制的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种基于SSD目标检测的多目标车辆跟踪方法,包括以下步骤:
S1、获取包含若干车辆的连续视频帧;
S2、通过SSD目标检测网络对视频帧进行车辆检测,获得所有检测到的目标车辆检测框;
S3、通过卡尔曼滤波器对目标车辆检测框中的目标车辆进行状态预测,获得对应的目标车辆跟踪框;
S4、计算所有目标车辆检测框和目标车辆跟踪框之间的运动相似度及表观相似度,并对其进行线性叠加作为关联代价,进而构建目标车辆检测框和目标车辆跟踪框之间的关联成本代价矩阵;
S5、根据匈牙利算法对关联成本代价矩阵中的关联代价进行关联匹配,进而确定跟踪结果,实现多目标车辆检测。
进一步地,所述步骤S2中的SSD目标检测网络为Net10基础分类网络;
所述SSD目标检测网络包括依次连接的第一3×3卷积层、第二3×3卷积层、第一最大池化层、第三3×3卷积层、第四3×3卷积层、第二最大池化层、第五3×3卷积层、第六3×3卷积层、第三最大池化层、第七3×3卷积层、第八3×3卷积层、第四最大池化层、第九3×3卷积层、第十3×3卷积层、平均池化层、全连接层和softmax层。
进一步地,所述步骤S2中获得目标车辆检测框的方法具体为:
A1、通过SSD目标检测网络进行车辆检测,获得目标车辆四种不同分辨率的特征响应图;
A2、对四种不同分辨率的特征响应图提取不同尺度的候选框;
A3、在四种不同分辨率的特征响应图上进行目标车辆的位置回归与分类,得到目标车辆的类别信息和检测框的位置信息。
进一步地,所述步骤S3中获得当前时刻对应的目标车辆跟踪框的方法具体为:
B1、通过SSD目标检测网络获取第一帧视频帧对应的目标车辆检测框;
B2、为获取的每个目标车辆检测框分配一个卡尔曼滤波器;
B3、根据目标车辆检测框中的目标车辆状态信息,通过对应的卡尔曼滤波器依次对后一时刻帧的目标车辆状态进行先验估计,进而获得当前时刻帧下目标车辆跟踪框。
进一步地,所述步骤B3中,在获得当前时刻帧下的目标车辆检测框的过程中:
在连续Tlost帧视频帧中,当新分配的卡尔曼滤波器均有新的目标车辆与之关联时,则保留其对应的目标车辆跟踪框,否则删除该新的目标车辆对应的目标车辆跟踪框;在连续Tmin帧视频帧中,当确定的目标车辆跟踪框不存在与之对应的目标车辆检测框时,则结束对该目标车辆检测框中的目标车辆的跟踪,并删除对应的卡尔曼滤波器;Tlost和Tmin分别为设置的视频帧数。
进一步地,所述步骤S4中,所述运动相似度为目标车辆检测框和目标车辆跟踪框之间的马氏距离;所述运动相似度d(1)(i,j)为:
d(1)(i,j)=(dj-yi)TS-1(dj-yi)
式中,dj为目标车辆检测框,yi为第i个卡尔曼滤波器对应的目标车辆跟踪框,S为当前时刻卡尔曼滤波器在观测空间的协方差矩阵,上标T为转置操作符;
所述表观相似度d(2)(i,j)为:
式中,Dj为对当前视频帧进行车辆检测时,检测出的每一个目标车辆检测框dj对应的特征向量;Yi为第i个卡尔曼滤波器上一次跟踪成功的目标车辆跟踪框yi的特征向量;
所述关联代价为:
di,j=λd(1)(i,j)+(1-λ)d(2)(i,j)
式中,λ为超参数,用于调整两种相似度的权重。
进一步地,所述步骤S4中,通过深度特征提取网络确定目标车辆检测框dj对应的特征向量Dj;所述深度特征提取网络包括依次连接的两个卷积层和六个残差块。
进一步地,所述步骤S5具体为:
S51、设置相似度阈值,并与关联成本代价矩阵中的关联代价进行比较;
S52、将大于相似度阈值的关联代价对应的目标车辆检测框和目标车辆跟踪框中的目标车辆作为一组跟踪结果。
本发明的有益效果为:
(1)修改了SSD目标检测算法的基础网络,参考ResNet10设计了简单的基础分类网络Net10,将SSD网络结构特征提取部分替换为轻量化网络,可以有效减少模型参数运算内存占有量,提高了运算速度。针对车辆检测选取四种不同分辨率的特征响应图,通过在不同分辨率的特征响应图上进行目标位置的回归和分类得出目标的类别信息和候选框的位置信息,提高了目标检测框的精度;
(2)采用基于检测的跟踪方法实现多目标跟踪,采用匈牙利算法解决预测结果和跟踪结果之间的数据关联问题,关联代价的设计采用运动相似度和表观相似度结合的方法作为总的关联代价,有效地减少了ID Switch现象,提高了数据关联的准确性,并对传统的Deep SORT算法进行了改进,减少了表观特征匹配时的轨迹计算次数,有效地减少了表观特征匹配的计算量,从而提高跟踪速度;
(3)本发明基于SSD目标检测算法和Deep SORT多目标跟踪方法,实现了对车辆的多目标跟踪,能够在小显存容量GPU设备和嵌入式ARM设备上运行。
附图说明
图1为本发明背景技术中DBT和DFT结构示意图。
图2为本发明提供的基于SSD目标检测的多目标车辆跟踪方法流程图。
图3为本发明提供的Net10基础分类网络结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图2所示,一种基于SSD目标检测的多目标车辆跟踪方法,包括以下步骤:
S1、获取包含若干车辆的连续视频帧;
S2、通过SSD目标检测网络对视频帧进行车辆检测,获得所有检测到的目标车辆检测框;
S3、通过卡尔曼滤波器对目标车辆检测框中的目标车辆进行状态预测,获得对应的目标车辆跟踪框;
S4、计算所有目标车辆检测框和目标车辆跟踪框之间的运动相似度及表观相似度,并对其进行线性叠加作为关联代价,进而构建目标车辆检测框和目标车辆跟踪框之间的关联成本代价矩阵;
S5、根据匈牙利算法对关联成本代价矩阵中的关联代价进行关联匹配,进而确定跟踪结果,实现多目标车辆检测。
SSD算法中的基础网络主要是作为一个分类识别网络而存在,用于学习图像中某种物体目标的特定特征,如边缘信息、轮廓信息等,在上述步骤S2中,为了减少网络模型参数,本发明SSD目标检测网络参考ResNet10基础分类网络,设计了如图3所示的基础分类网络Net10,本发明中SSD目标检测网络包括依次连接的第一3×3卷积层、第二3×3卷积层、第一最大池化层、第三3×3卷积层、第四3×3卷积层、第二最大池化层、第五3×3卷积层、第六3×3卷积层、第三最大池化层、第七3×3卷积层、第八3×3卷积层、第四最大池化层、第九3×3卷积层、第十3×3卷积层、平均池化层、全连接层和softmax层。
上述网络结构不深,不需要浅层的特征的补充,删去了残差结构,直接端到端一条数据通路,没有额外支路。该网络结构中每个卷积层大小为3×3,stride为2,pad为1,maxpooling层大小为,stride为2,pad为0;具体参数如表1所示:
表1:Net10基础网络参数表
上述步骤S2中获得目标车辆检测框的方法具体为:
A1、通过SSD目标检测网络进行车辆检测,获得目标车辆四种不同分辨率的特征响应图;
A2、对四种不同分辨率的特征响应图提取不同尺度的候选框;
A3、在四种不同分辨率的特征响应图上进行目标车辆的位置回归与分类,得到目标车辆的类别信息和检测框的位置信息。
在上述车辆检测过程中用到的SSD目标检测网络是one类算法的代表,将边界框定位问题转换为回归问题,直接在特征层上回归边界的位置及其所属类别。SSD采用多尺度的特征训练,在不同尺度的特征响应图上进行目标位置回归与分类,生成预测框;低层次的特征响应图感受野比较小,应设置较小尺寸的候选框,高层的特征响应图感受野比较大,应设置较大尺寸的候选框。在不同层次的特征响应图上进行预测,可以达到多尺度的目的。四种特征图响应图上的候选框设置如表2所示;
表2:四种特征图响应图上的候选框设置
本发明用到的跟踪方法为Deep SORT多目标跟踪算法,跟踪的主要思想是首先根据SSD检测给出第一帧目标车辆框,利用残差网络提取目标车辆特征信息。对于后续帧利用卡尔曼滤波器预测目标在下一帧出现的位置,得到车辆的状态信息。借助SSD车辆检测算法得到当前帧所有车辆的检测框,由此计算检测框和预测框的位置相似度。在计算检测和跟踪的匹配的关联代价时使用了融合度量的方式,包括检测与跟踪轨迹的运动相似度和目标模型的表观相似度;使用匈牙利算法关联检测结果和跟踪轨迹,对卡尔曼滤波系统进行修正,进而持续地跟踪车辆在下一帧出现的位置。
因此,上述S3中获得当前时刻对应的目标车辆跟踪框的方法具体为:
B1、通过SSD目标检测网络获取第一帧视频帧对应的目标车辆检测框;
B2、为获取的每个目标车辆检测框分配一个卡尔曼滤波器;
B3、根据目标车辆检测框中的目标车辆状态信息,通过对应的卡尔曼滤波器依次对后一时刻帧的目标车辆状态进行先验估计,进而获得当前时刻帧下目标车辆跟踪框。
上述步骤S2中的卡尔曼滤波器基于匀速模型和线性观测模型的标准卡尔曼滤波器,对目标车辆检测框中的目标车辆状态进行预测,用一个四维向量xn=[u,v,w,h]表示目标状态信息,其中u和v表示目标中心坐标位置,w是目标长度,h是目标高度。
在上述步骤B3中,在获得当前时刻帧下的目标车辆检测框的过程中:
目标的初始位置由检测结果确定,如果某一次的检测结果中有目标无法与已有的跟踪器(卡尔曼滤波器)相关联,则认为可能出现了新的目标,需要新建跟踪器来处理,为了避免虚景影响,在连续Tlost帧视频帧中,当新分配的卡尔曼滤波器均有新的目标车辆与之关联时,则认为出现了新的目标,此时保留其对应的目标车辆跟踪框,否则认为出现了虚景,此时删除该新的目标车辆对应的目标车辆跟踪框;
在连续Tmin帧视频帧中,当确定的目标车辆跟踪框不存在与之对应的目标车辆检测框时,即该轨迹长时间处于未“未跟踪状态”,则认为目标已经离开当前场景,此时结束对该目标车辆检测框中的目标车辆的跟踪,并删除对应的卡尔曼滤波器;Tlost和Tmin分别为设置的视频帧数。
在上述步骤S4中,对目标车辆检测框和目标车辆跟踪框进行数据关联时,关联代价的设计非常重要。因为现有的数据关联算法只是强行把检测和跟踪轨迹一一匹配,没有考虑到错误匹配的情况,关联代价设计不好时,错误匹配的可能性就很大,为了更好的解决检测和跟踪的数据关联问题,本发明采用运动相似度和表观相似度相结合的方法作为总的关联代价;其中,运动相似度为目标车辆检测框和目标车辆跟踪框之间的马氏距离;所述运动相似度d(1)(i,j)为:
d(1)(i,j)=(dj-yi)TS-1(dj-yi)
式中,dj为目标车辆检测框,yi为第i个卡尔曼滤波器对应的目标车辆跟踪框,S为当前时刻卡尔曼滤波器在观测空间的协方差矩阵,上标T为转置操作符;
运动相似度只是一个非常粗糙的预测,特别是在目标运动不确定性很高的情况下,例如车辆转向和调头等情况,会导致跟踪的目标ID交换现象比较严重,因此,我们引入表观相似度,表观相似度d(2)(i,j)为:
式中,Dj为对当前视频帧进行车辆检测时,检测出的每一个目标车辆检测框dj对应的特征向量;Yi为第i个卡尔曼滤波器上一次跟踪成功的目标车辆跟踪框yi的特征向量;
结合两种度量方式,采用运动相似度和表观相似度的线性叠加的总的关联代价作为最终关联度量相似度;关联代价为:
di,j=λd(1)(i,j)+(1-λ)d(2)(i,j)
式中,λ为超参数,用于调整两种相似度的权重。
为区分不同目标,需要提取目标的特征向量计算表观相似度,通过深度特征提取网络确定目标车辆检测框dj对应的特征向量Dj;特征提取网络如表3所示,构建残差网络结构,包括2个卷积层和6个残差块用来提取目标表观128维L2正则化特征。
表3:特征提取网络结构
Name | Patch Size | Stride | Output Size |
Conv 1 | 3 | 1 | 32×128×64 |
Conv 2 | 3 | 1 | 32×128×64 |
Max Pool 3 | 3 | 2 | 32×64×32 |
Residual 4 | 3 | 1 | 32×64×32 |
Residual 5 | 3 | 1 | 32×64×32 |
Residual 6 | 3 | 2 | 64×32×16 |
Residual 7 | 3 | 1 | 64×32×16 |
Residual 8 | 3 | 2 | 128×16×8 |
Residual 9 | 3 | 1 | 128×16×8 |
Dense 10 | 128 | ||
L2 normalization | 128 |
上述步骤S5具体为:
S51、设置相似度阈值,并与关联成本代价矩阵中的关联代价进行比较;
S52、将大于相似度阈值的关联代价对应的目标车辆检测框和目标车辆跟踪框中的目标车辆作为一组跟踪结果。
需要说明的是,上述多目标车辆跟踪是跟踪过程的整体描述,在进行每一帧视频帧车辆跟踪时,会重新计算卡尔曼滤波器增益,更新其跟踪到的状态信息和协方差矩阵。
本发明的有益效果为:
(1)修改了SSD目标检测算法的基础网络,参考ResNet10设计了简单的基础分类网络Net10,将SSD网络结构特征提取部分替换为轻量化网络,可以有效减少模型参数运算内存占有量,提高了运算速度。针对车辆检测选取四种不同分辨率的特征响应图,通过在不同分辨率的特征响应图上进行目标位置的回归和分类得出目标的类别信息和候选框的位置信息,提高了目标检测框的精度;
(2)采用基于检测的跟踪方法实现多目标跟踪,采用匈牙利算法解决预测结果和跟踪结果之间的数据关联问题,关联代价的设计采用运动相似度和表观相似度结合的方法作为总的关联代价,有效地减少了ID Switch现象,提高了数据关联的准确性,并对传统的Deep SORT算法进行了改进,减少了表观特征匹配时的轨迹计算次数,有效地减少了表观特征匹配的计算量,从而提高跟踪速度;
(3)本发明基于SSD目标检测算法和Deep SORT多目标跟踪方法,实现了对车辆的多目标跟踪,能够在小显存容量GPU设备和嵌入式ARM设备上运行。
Claims (8)
1.一种基于SSD目标检测的多目标车辆跟踪方法,其特征在于,包括以下步骤:
S1、获取包含若干车辆的连续视频帧;
S2、通过SSD目标检测网络对视频帧进行车辆检测,获得所有检测到的目标车辆检测框;
S3、通过卡尔曼滤波器对目标车辆检测框中的目标车辆进行状态预测,获得对应的目标车辆跟踪框;
S4、计算所有目标车辆检测框和目标车辆跟踪框之间的运动相似度及表观相似度,并对其进行线性叠加作为关联代价,进而构建目标车辆检测框和目标车辆跟踪框之间的关联成本代价矩阵;
S5、根据匈牙利算法对关联成本代价矩阵中的关联代价进行关联匹配,进而确定跟踪结果,实现多目标车辆检测。
2.根据权利要求1所述的基于SSD目标检测的多目标车辆跟踪方法,其特征在于,所述步骤S2中的SSD目标检测网络为Net10基础分类网络;
所述SSD目标检测网络包括依次连接的第一3×3卷积层、第二3×3卷积层、第一最大池化层、第三3×3卷积层、第四3×3卷积层、第二最大池化层、第五3×3卷积层、第六3×3卷积层、第三最大池化层、第七3×3卷积层、第八3×3卷积层、第四最大池化层、第九3×3卷积层、第十3×3卷积层、平均池化层、全连接层和softmax层。
3.根据权利要求1所述的基于SSD目标检测的多目标车辆跟踪方法,其特征在于,所述步骤S2中获得目标车辆检测框的方法具体为:
A1、通过SSD目标检测网络进行车辆检测,获得目标车辆四种不同分辨率的特征响应图;
A2、对四种不同分辨率的特征响应图提取不同尺度的候选框;
A3、在四种不同分辨率的特征响应图上进行目标车辆的位置回归与分类,得到目标车辆的类别信息和检测框的位置信息。
4.根据权利要求1所述的基于SSD目标检测的多目标车辆跟踪方法,其特征在于,所述步骤S3中获得当前时刻对应的目标车辆跟踪框的方法具体为:
B1、通过SSD目标检测网络获取第一帧视频帧对应的目标车辆检测框;
B2、为获取的每个目标车辆检测框分配一个卡尔曼滤波器;
B3、根据目标车辆检测框中的目标车辆状态信息,通过对应的卡尔曼滤波器依次对后一时刻帧的目标车辆状态进行先验估计,进而获得当前时刻帧下目标车辆跟踪框。
5.根据权利要求4所述的基于SSD目标检测的多目标车辆跟踪方法,其特征在于,所述步骤B3中,在获得当前时刻帧下的目标车辆检测框的过程中:
在连续Tlost帧视频帧中,当新分配的卡尔曼滤波器均有新的目标车辆与之关联时,则保留其对应的目标车辆跟踪框,否则删除该新的目标车辆对应的目标车辆跟踪框;在连续Tmin帧视频帧中,当确定的目标车辆跟踪框不存在与之对应的目标车辆检测框时,则结束对该目标车辆检测框中的目标车辆的跟踪,并删除对应的卡尔曼滤波器;Tlost和Tmin分别为设置的视频帧数。
6.根据权利要求1所述的基于SSD目标检测的多目标车辆跟踪方法,其特征在于,所述步骤S4中,所述运动相似度为目标车辆检测框和目标车辆跟踪框之间的马氏距离;所述运动相似度d(1)(i,j)为:
d(1)(i,j)=(dj-yi)TS-1(dj-yi)
式中,dj为目标车辆检测框,yi为第i个卡尔曼滤波器对应的目标车辆跟踪框,S为当前时刻卡尔曼滤波器在观测空间的协方差矩阵,上标T为转置操作符;
所述表观相似度d(2)(i,j)为:
式中,Dj为对当前视频帧进行车辆检测时,检测出的每一个目标车辆检测框dj对应的特征向量;Yi为第i个卡尔曼滤波器上一次跟踪成功的目标车辆跟踪框yi的特征向量;
所述关联代价为:
di,j=λd(1)(i,j)+(1-λ)d(2)(i,j)
式中,λ为超参数,用于调整两种相似度的权重。
7.根据权利要求6所述的基于SSD目标检测的多目标车辆跟踪方法,其特征在于,所述步骤S4中,通过深度特征提取网络确定目标车辆检测框dj对应的特征向量Dj;所述深度特征提取网络包括依次连接的两个卷积层和六个残差块。
8.根据权利要求6所述的基于SSD目标检测的多目标车辆跟踪方法,其特征在于,所述步骤S5具体为:
S51、设置相似度阈值,并与关联成本代价矩阵中的关联代价进行比较;
S52、将大于相似度阈值的关联代价对应的目标车辆检测框和目标车辆跟踪框中的目标车辆作为一组跟踪结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010280283.5A CN111476826A (zh) | 2020-04-10 | 2020-04-10 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010280283.5A CN111476826A (zh) | 2020-04-10 | 2020-04-10 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111476826A true CN111476826A (zh) | 2020-07-31 |
Family
ID=71751725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010280283.5A Pending CN111476826A (zh) | 2020-04-10 | 2020-04-10 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111476826A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112487908A (zh) * | 2020-11-23 | 2021-03-12 | 东南大学 | 基于车载视频的前方车辆压线行为检测和动态追踪方法 |
CN112560658A (zh) * | 2020-12-10 | 2021-03-26 | 昆仑数智科技有限责任公司 | 一种预警方法、装置、电子设备及计算机可读存储介质 |
CN112669615A (zh) * | 2020-12-09 | 2021-04-16 | 上汽大众汽车有限公司 | 一种基于摄像头的停车位检测方法和系统 |
CN113012203A (zh) * | 2021-04-15 | 2021-06-22 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
CN113077496A (zh) * | 2021-04-16 | 2021-07-06 | 中国科学技术大学 | 基于轻量级YOLOv3的实时车辆检测、跟踪方法和系统及介质 |
CN113158909A (zh) * | 2021-04-25 | 2021-07-23 | 中国科学院自动化研究所 | 基于多目标跟踪的行为识别轻量化方法、系统、设备 |
CN113205108A (zh) * | 2020-11-02 | 2021-08-03 | 哈尔滨理工大学 | 一种基于YOLOv4的多目标车辆检测跟踪方法 |
CN113409359A (zh) * | 2021-06-25 | 2021-09-17 | 之江实验室 | 一种基于特征聚合的多目标跟踪方法 |
CN113674328A (zh) * | 2021-07-14 | 2021-11-19 | 南京邮电大学 | 一种多目标车辆跟踪方法 |
CN115409992A (zh) * | 2022-08-12 | 2022-11-29 | 深圳朗道智通科技有限公司 | 一种远程驾驶巡逻车系统 |
CN116189459A (zh) * | 2023-04-26 | 2023-05-30 | 西南民族大学 | 一种路口交通信号灯配时方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140169663A1 (en) * | 2012-12-19 | 2014-06-19 | Futurewei Technologies, Inc. | System and Method for Video Detection and Tracking |
US20190034734A1 (en) * | 2017-07-28 | 2019-01-31 | Qualcomm Incorporated | Object classification using machine learning and object tracking |
CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
CN109829445A (zh) * | 2019-03-01 | 2019-05-31 | 大连理工大学 | 一种视频流中的车辆检测方法 |
CN109829436A (zh) * | 2019-02-02 | 2019-05-31 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
CN109919974A (zh) * | 2019-02-21 | 2019-06-21 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
CN110288627A (zh) * | 2019-05-22 | 2019-09-27 | 江苏大学 | 一种基于深度学习和数据关联的在线多目标跟踪方法 |
CN110298867A (zh) * | 2019-06-21 | 2019-10-01 | 江西洪都航空工业集团有限责任公司 | 一种视频目标跟踪方法 |
CN110415277A (zh) * | 2019-07-24 | 2019-11-05 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
-
2020
- 2020-04-10 CN CN202010280283.5A patent/CN111476826A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140169663A1 (en) * | 2012-12-19 | 2014-06-19 | Futurewei Technologies, Inc. | System and Method for Video Detection and Tracking |
US20190034734A1 (en) * | 2017-07-28 | 2019-01-31 | Qualcomm Incorporated | Object classification using machine learning and object tracking |
CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
CN109829436A (zh) * | 2019-02-02 | 2019-05-31 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
CN109919974A (zh) * | 2019-02-21 | 2019-06-21 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
CN109829445A (zh) * | 2019-03-01 | 2019-05-31 | 大连理工大学 | 一种视频流中的车辆检测方法 |
CN110288627A (zh) * | 2019-05-22 | 2019-09-27 | 江苏大学 | 一种基于深度学习和数据关联的在线多目标跟踪方法 |
CN110298867A (zh) * | 2019-06-21 | 2019-10-01 | 江西洪都航空工业集团有限责任公司 | 一种视频目标跟踪方法 |
CN110415277A (zh) * | 2019-07-24 | 2019-11-05 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
Non-Patent Citations (5)
Title |
---|
GIOELE CIAPARRONE: "Deep learning in video multi-object tracking: A survey" * |
NICOLAI WOJKE: "SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC" * |
何丹妮: "基于深度学习的多车辆检测及跟踪算法研究" * |
陈志鸿,黄立勤: "基于卡尔曼滤波和多种信息融合的在线多目标跟踪算法" * |
魏墨非: "基于深度学习目标检测的优化研究与实现" * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205108A (zh) * | 2020-11-02 | 2021-08-03 | 哈尔滨理工大学 | 一种基于YOLOv4的多目标车辆检测跟踪方法 |
CN112487908A (zh) * | 2020-11-23 | 2021-03-12 | 东南大学 | 基于车载视频的前方车辆压线行为检测和动态追踪方法 |
CN112669615A (zh) * | 2020-12-09 | 2021-04-16 | 上汽大众汽车有限公司 | 一种基于摄像头的停车位检测方法和系统 |
CN112560658A (zh) * | 2020-12-10 | 2021-03-26 | 昆仑数智科技有限责任公司 | 一种预警方法、装置、电子设备及计算机可读存储介质 |
CN112560658B (zh) * | 2020-12-10 | 2024-01-26 | 昆仑数智科技有限责任公司 | 一种预警方法、装置、电子设备及计算机可读存储介质 |
WO2022217840A1 (zh) * | 2021-04-15 | 2022-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
CN113012203A (zh) * | 2021-04-15 | 2021-06-22 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
CN113012203B (zh) * | 2021-04-15 | 2023-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
CN113077496A (zh) * | 2021-04-16 | 2021-07-06 | 中国科学技术大学 | 基于轻量级YOLOv3的实时车辆检测、跟踪方法和系统及介质 |
CN113034548B (zh) * | 2021-04-25 | 2023-05-26 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
CN113158909A (zh) * | 2021-04-25 | 2021-07-23 | 中国科学院自动化研究所 | 基于多目标跟踪的行为识别轻量化方法、系统、设备 |
CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
CN113409359A (zh) * | 2021-06-25 | 2021-09-17 | 之江实验室 | 一种基于特征聚合的多目标跟踪方法 |
CN113674328A (zh) * | 2021-07-14 | 2021-11-19 | 南京邮电大学 | 一种多目标车辆跟踪方法 |
CN113674328B (zh) * | 2021-07-14 | 2023-08-25 | 南京邮电大学 | 一种多目标车辆跟踪方法 |
CN115409992A (zh) * | 2022-08-12 | 2022-11-29 | 深圳朗道智通科技有限公司 | 一种远程驾驶巡逻车系统 |
CN116189459A (zh) * | 2023-04-26 | 2023-05-30 | 西南民族大学 | 一种路口交通信号灯配时方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476826A (zh) | 一种基于ssd目标检测的多目标车辆跟踪方法 | |
Hassaballah et al. | Vehicle detection and tracking in adverse weather using a deep learning framework | |
CN110084292B (zh) | 基于DenseNet和多尺度特征融合的目标检测方法 | |
CN112308881B (zh) | 一种基于遥感图像的舰船多目标跟踪方法 | |
CN110991311B (zh) | 一种基于密集连接深度网络的目标检测方法 | |
CN113034548A (zh) | 一种适用于嵌入式终端的多目标跟踪方法及其系统 | |
CN106934817B (zh) | 基于多属性的多目标跟踪方法及装置 | |
CN113674328A (zh) | 一种多目标车辆跟踪方法 | |
CN111915583B (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
CN109242883B (zh) | 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法 | |
CN111767847A (zh) | 一种集成目标检测和关联的行人多目标跟踪方法 | |
CN115131760B (zh) | 一种基于改进特征匹配策略的轻量级车辆追踪方法 | |
CN111738114B (zh) | 基于无锚点精确采样遥感图像车辆目标检测方法 | |
CN113724297A (zh) | 基于事件相机的跟踪方法 | |
CN111208479B (zh) | 一种降低深度网络检测中虚警概率的方法 | |
CN111950498A (zh) | 一种基于端到端实例分割的车道线检测方法及装置 | |
CN111833353B (zh) | 一种基于图像分割的高光谱目标检测方法 | |
CN115457277A (zh) | 一种智能化路面病害识别检测方法及系统 | |
CN111768429A (zh) | 一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法 | |
CN111354023A (zh) | 一种基于摄像头的视觉多目标跟踪方法 | |
CN111210458A (zh) | 一种基于预检测置信度的运动目标检测前跟踪方法 | |
CN109215059B (zh) | 一种航拍视频中运动车辆跟踪的局部数据关联方法 | |
CN113205108A (zh) | 一种基于YOLOv4的多目标车辆检测跟踪方法 | |
CN117037085A (zh) | 基于改进YOLOv5的车辆识别及数量统计的监控方法 | |
CN112884835A (zh) | 一种基于深度学习之目标检测的视觉slam方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200731 |
|
RJ01 | Rejection of invention patent application after publication |