CN111951300A - 一种用于城市工况下的智能汽车多目标跟踪方法 - Google Patents
一种用于城市工况下的智能汽车多目标跟踪方法 Download PDFInfo
- Publication number
- CN111951300A CN111951300A CN202010657177.4A CN202010657177A CN111951300A CN 111951300 A CN111951300 A CN 111951300A CN 202010657177 A CN202010657177 A CN 202010657177A CN 111951300 A CN111951300 A CN 111951300A
- Authority
- CN
- China
- Prior art keywords
- module
- output
- convolution
- layer
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000005070 sampling Methods 0.000 claims abstract description 94
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 239000002131 composite material Substances 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims description 61
- 230000004913 activation Effects 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 18
- 101100481876 Danio rerio pbk gene Proteins 0.000 claims description 12
- 101100481878 Mus musculus Pbk gene Proteins 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于城市工况下的智能汽车多目标跟踪方法,将所拍到的车辆周围视频帧经复合特征提取网络提取特征信息后,将特征分别输入检测分支与重识别分支。将检测分支的检测结果与重识别分支结果输入至跟踪模块,完成跟踪。其中复合特征提取网(RFEN,Recombination feature extraction network)由下采样模块、基础卷积模块、层模块、上采样模块构成,其中,下采样模块和基础卷积模块构成了复合特征提取网的输入模块,层模块和上采样模块均为多个,彼此交互处理。本发明设计的复合特征提取网络模型,相较于现有的Resnet、Dla‑34、HreNet、GoogLeNet等,充分提取了目标信息,提高了跟踪算法的推理能力和抗干扰能力。既保留了检测与跟踪并行的跟踪策略的高速度优势,又大幅度提高了跟踪的精度。
Description
技术领域
本发明属于智能汽车视觉技术领域,特别设计了一种用于城市工况下的智能汽车多目标跟踪方法。
背景技术
多目标跟踪(multiple objects tracking,MOT)技术的主要任务是在给定视频中同时对多个感兴趣的目标进行定位,并且维持他们的身份、记录他们的轨迹。通过多目标跟踪技术可以让智能汽车更充分的了解其周围的环境信息从而做出更精确的控制决策。与单目标跟踪(Single Object Tracking,SOT)不同的是多目标跟踪器不仅要设计复杂的外观模型/运动模式、解决尺度变化、平面旋转和光照变化,还要解决目标数量的变化导致的身份信息生成/消失处理问题以及如何维持各自身份信息不干扰问题。
目前多目标跟踪方法主要分为两类:基于检测的跟踪(tracking basedetection,TSD),检测与跟踪并行的跟踪(tracking&detection,T&D)。基于检测的跟踪因为在检测任务与跟踪任务上各使用了一套模型,所以会导致跟踪过程中的实时性欠佳,因而无法满足智能车辆的实时跟踪的要求。检测与跟踪并行的跟踪因为仅使用一套网络模型,所以模型的实时性能满足智能车辆的跟踪需求,但是受限于传统网络模型的特征提取不充分的缘故,检测与跟踪并行的跟踪往往精度较低,这就限制了检测与跟踪并行的跟踪在智能车辆上的使用。
当前的车辆多目标跟踪常用于高速公路中的跟踪。与高速公路下的场景单一、路面信息明确不同的是,城市场景中的场景信息及其复杂,这就导致了车辆跟踪器在城市场景中的效果有所欠缺。
发明内容
从目前国内外学者主要研究内容看,智能汽车如何在行驶中保持对前方行驶车辆的跟踪是研究的热点。本发明针对城市道路工况下智能汽车多目标跟踪精度低与速度慢的问题,基于检测与跟踪并行的跟踪方法,提出了一种用于城市工况下的智能汽车多目标跟踪方法。本发明的技术方案在下面具体实施方式部分作了详细叙述。
本发明的有益效果:
(1)本发明提出的复合特征提取网络模型(RFEN,Recombination featureextraction network),相较于现有的Resnet、Dla-34、HreNet、GoogLeNet等特征提取网络,充分提取了目标信息,提高了跟踪算法的推理能力和抗干扰能力。既保留了检测与跟踪并行的跟踪策略的高速度优势,又大幅度提高了跟踪的精度。
(2)加入了重识别分支,提高了汽车的多目标跟踪精度。
(3)本发明的模型使用了模块化构建,从而可以在不同的算力工况下快速增减模型结构,保障了模型的复用性与维护性。
(4)本发明的模型继承了深度学习的端到端训练模式,使得模型的设置与训练较为轻松。
(5)本发明的模型网络在训练完成后,可在GPU型号:1080、相机像素:1920*1080等低配置条件下,即可达到较高的跟踪速度(25+fps),满足工程实用。
附图说明
图1.本发明的算法流程图
图2.本发明的基础卷积模块(Based-conv)架构图
图3.本发明的直连接选择模块(Direct-connection-choose)架构图
图4.本发明的基础结构模块(Based-block)架构图
图5.本发明的上采样模块(Upsample-block)架构图
图6.本发明的下采样模块(Downsample-block)架构图
图7.本发明的含有n个结构体的层模块架构图
图8.本发明的复合特征提取网(RFEN,Recombination feature extractionnetwork)结构图
图9.本发明的检测分支架构图
图10.本发明的重识别分支架构图
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示的本发明算法的总体运行流程。摄像头所拍到的车辆周围视频帧经复合特征提取网络提取特征信息后,将特征分别输入检测分支与重识别分支。将检测分支的检测结果与重识别分支结果输入至跟踪模块,完成跟踪。本发明的具体实施过程包括如下:
Step1:设计基础卷积层(Based-conv)
如图2所示,基础卷积层由一个卷积层(conv2d)构成。
其中,卷积层(Conv2d)的卷积核尺寸默认为3*3,填充默认为1,步长默认为1。
Step2:设计直连接选择模块(Direct-connection-choose)
如图3所示,直连接选择模块由一个选择器,一个直连接层,一个基础卷积模块、一个批量归一化层(batchnormal)构成。
其中,基础卷积模块的卷积核尺寸为3*3,填充为1,步长为2。
Step3:设计基础结构模块(Based-block)
如图4所示,基础结构模块由两个基础卷积层(Based-conv)、两个批量归一化层(Batchnormal)、两个Relu激活层和一个直连接选择模块构成。
其中,基础卷积层1(Based-conv1)的输出通道数等于输入通道数。基础卷积层2(Based-conv2)的输出通道数等于输入通道数。
Step4:设计上采样(Upsample-block)模块
如图5所示,上采样模块由可变形卷积核(DCN,Deformable Convolution)、批量归一化层(Batchnormal)、Relu激活层、反卷积核(ConvTranspose2d)、批量归一化层(Batchnormal)、Relu激活层按序组成。
其中,可变形卷积核(DCN,Deformable Convolution)的卷积核尺寸为3*3,步长为1,填充为1,输出通道数等于输入通道数。反卷积核的卷积核尺寸为4*4,步长为2,填充为2。
其中,所有的上采样模块的输出通道数均指反卷积核的输出通道数。
Step5:设计下采样(downsample-block)模块
如图6所示,下采样模块由两个基础卷积层(Based-conv)、两个批量归一化层(Batchnormal)、两个Relu激活层和一个直连接选择模块构成。
其中,基础卷积层2(Based-conv2)的输出通道数等于输入通道数。
其中,所有的下采样模块的输出通道均指基础卷积层1(Based-conv1)的输出通道。
Step6:设计层模块与结构体
如图7所示,层模块由一个下采样模块与多个结构体串行构成。其中,结构体由两个基础结构模块串行构成。
Step7:设计复合特征提取网(RFEN,Recombination feature extractionnetwork)
如图8所示,复合特征提取网(RFEN,Recombination feature extractionnetwork)由下采样模块、基础卷积模块、层模块、上采样模块构成。其中,表示将输入的多个值进行按位相加并输出。所述复合特征提取网的具体设计过程如下:
首先,构建一个输入模块,其由一个下采样模块与一个基础卷积模块串行构成。其中,下采样模块,其输出通道数为16,基础卷积模块,输出通道数为64。
之后,构建一个含有3个结构体的层模块1。其中,下采样模块的输出通道数为64。
之后,构建一个含有4个结构体的层模块2。其中,下采样模块的输出通道数为128。
之后,构建一个含有6个结构体的层模块3。其中,下采样模块的输出通道数为256。
之后,构建一个含有3个结构体的层模块4。其中,下采样模块的输出通道数为512。
之后,在层模块1后,另插入一个上采样模块1,其输出通道数为32。
之后,在层模块2后,另插入一个上采样模块2,其输出通道数为64。
之后,在层模块3后,另插入一个上采样模块3,其输出通道数为128。
之后,在层模块4后,另插入一个上采样模块4,其输出通道数为256。
之后,将上采样模块4与层模块3的输出相加并输入上采样模块5,其输出通道数为128。
之后,将上采样模块5与层模块2的输出相加并输入上采样模块6,其输出通道数为64。
之后,将上采样模块6与层模块1的输出相加并输入上采样模块7,其输出通道数为32。
之后,将上采样模块3与层模块2的输出相加并输入上采样模块8,其输出通道数为64。
之后,将上采样模块8与层模块1的输出相加并输入上采样模块9,其输出通道数为32。
之后,将上采样模块2与层模块1的输出相加并输入上采样模块10,其输出通道数为32。
最终,将上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出相加并输出。
Step8:设计检测分支
如图9所示,检测分支由中心点判断分支、尺寸判定分支并行组成。
其中中心点判断分支由一个基础卷积模块1、一个批量归一化(Batchnormal)层、一个Relu激活层、两组基础结构模块、一个基础卷积模块2串行构成。其中,基础卷积模块1的输出通道数为256。基础卷积模块2的卷积核尺寸为1*1,输出通道为1。
其中尺寸判定分支由一个基础卷积模块、一个批量归一化(Batchnormal)层、一个Relu激活层、一个基础卷积模块串行构成。其中,基础卷积模块1的输出通道数为256,基础卷积模块2的卷积核尺寸为1*1,输出通道为2。
Step9:设计重识别分支
如图10所示,重识别分支由一个基础卷积模块1、一个批量归一化(Batchnormal)层、一个Relu激活层、一个基础卷积模块2串行构成。其中,基础卷积模块1的输出通道数为256,基础卷积模块2的卷积核尺寸为1*1,输出通道为256。
Step10:复合特征提取网络的特征提取
假定在t时刻,视频输入图像帧I(I∈R3*H*W),H、W、3分别为输入矩阵的高、宽、通道数),将其输入复合特征提取网,从而获得图像的特征。
其中对于直连接选择模块,有计算公式:
其中,L表示为输入值,L∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数。L'表示该模块的输出值,L'∈RC′*H′*W′,为输出矩阵的通道数。dcc()表示为直连接选择模块的计算。bn()为批量归一化计算。conv()表示二维卷积计算。由此可计算出直连接选择模块的信号输出值。
其中,对于下采样模块,有计算公式:
D'=ds(D)=relu(bn(conv2(relu(bn(conv1(D)))))+dcc(D))
其中,D为输入值,D∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数。D'表示该模块的输出值,Y'∈RC′*H′*W′,输出通道值为C’。ds()表示为下采样模块的计算。relu()表示relu激活函数,bn()为批量归一化计算。conv()表示二维卷积计算,其中conv1()表示为第一个卷积层的卷积计算,conv2()表示为第二个卷积层的卷积计算。dcc()为直连接选择模块的计算。由此可计算出下采样模块的信号输出值。
其中,对于基础结构模块,有计算公式:
B'=bs(B)=relu(bn(conv2(relu(bn(conv1(B)))))+dcc(B))
其中,B为输入值,B∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数。B'表示该模块的输出值,B'∈RC′*H′*W′,H'=H,W'=W,输出通道值为C’。bs()表示为基础结构模块的计算。由此可计算出基础结构模块的信号输出值。
其中,对于上采样模块,有计算公式:
U'=ups(U)=relu(bn(convt(relu(bn(DCN(U))))))
其中,U为输入值,U∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数。U'表示该模块的输出值,U'∈RC′*H′*W′,H'=2*H,W'=2*W,输出通道值为C’。ups()表示为上采样模块的计算。DCN()表示变形卷积。convt()表示反卷积计算。由此可计算出上采样模块的信号输出值。
其中,对于层模块,有计算公式:
其中,La为输入值,La∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数。La'表示该模块的输出值,La'∈RC'*H'*W',输出通道值为C’。LA()表示为层模块的计算。bs()为基础结构模块的计算,表示进行了n次基础结构模块的迭代计算。由此可计算出层模块的信号输出值。
从而,对于输入模块,有计算公式:
I'=conv(ds(I))
从而上采样模块1的输出值为up1=ups(La1),上采样模块2的输出值为up2=ups(La2),上采样模块3的输出值为up3=ups(La3),上采样模块4的输出值为up4=ups(La4)。其中,
最终,由公式T=(up7+up9+up10+up1)可得复合特征提取网的输出特征。其中,T为复合特征提取网的输出特征值,up7、up9、up10、up1分别为上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出值。
Step11:分支信号的生成
将复合特征提取网的输出特征T复制成三份,得到T1=T2=T3=T,将T1、T2、T3分别输入中心点判断分支、尺寸判定分支、重识别分支得到各分支的信号。
其中,对于中心点判断分支,有计算公式:
hp=dp(T1)=conv2(bs(bs(relu(bn(conv1(T1))))))
其中,T1为输入值,hp表示该分支的输出值,dp()表示为中心点判断分支的计算。conv1()表示第一个基础卷积模块的卷积计算,relu()表示relu激活函数,bn()为批量归一化计算。bs()表示基础结构模块的计算。conv2()表示第二个基础卷积模块的卷积计算。由此可计算出中心点判断分支的信号输出值。
其中,对于尺寸判定分支,有计算公式:
box=wh(T2)=conv2(relu(bn(conv1(T2))))
其中,T2为输入值,box表示该分支的输出值,wh()表示为尺寸判定分支的计算。conv1()表示基础卷积模块1的卷积计算,relu()表示relu激活函数,bn()为批量归一化计算。conv2()表示基础卷积模块2的卷积计算。由此可计算出尺寸判定分支的信号输出值。
其中,对于重识别分支,有计算公式:
id=reid(T3)=conv2(relu(bn(conv1(T3))))
其中,T3为输入值,id表示该分支的输出值,reid()表示为重识别分支的计算。conv1()表示基础卷积模块1的卷积计算,relu()表示relu激活函数,bn()为批量归一化计算。conv2()表示基础卷积模块2的卷积计算。由此可计算出重识别分支的信号输出值。
Step12:检测信号的生成
将中心点分支输出信号hp进行sigmoid激活,得到激活值hp’,即hp'=sigmoid(hp),其中,sigmoid()表示sigmoid激活函数。通过k项最大值算法(topk),得到hp’的前k个最大值topk_value、最大值所对应的索引topk_index。将最大值所对应的索引topk_index除以hp的第4维度的值即可得到中心点位于图片中的y轴坐标Y={y1,y2…yn},n表示有n个物体。最大值所对应的索引topk_index除以hp的第4维度的值所得的余数即为中心点位于图片中的x轴坐标X={x1,x2…xn}。将y轴坐标Y={y1,y2…yn}进行维度变换,尺寸变为(1,k,1);x轴坐标X={x1,x2…xn}进行维度变换,尺寸变为(1,k,1)。
将尺寸判定分支信号box按索引topk_index进行维度的交换与聚合得到box',将其进行维度变换,尺寸变为(1,k,2)。由以下公式,可得物体边界框的左上角(xl,yl)与右下角的坐标(xr,yr)。
将边界框进行第1维度聚合,可得边界框集合bbox。
最终,将边界框集合bbox与重识别分支信号按第4维度进行堆叠,即可得检测信号dec。
Step13:目标的跟踪
读取保存在寄存单元中的在上一帧中未被关联的检测信号dec_loss。将上一帧的检测信号dec’与未被关联的检测信号dec_loss按第4维度进行堆叠,即可得到新的前序检测信号dec’。
将检测信号dec与前序检测信号dec’进行马氏距离计算,由计算公式:
可得前序检测信号与当前检测信号的物体相似度(设定阈值0.4)。其中由此可组成匹配矩阵。其中,S为协方差矩阵,可由计算公式可得:
随后使用匈牙利算法,设定匹配权值的最小阈值0.7,完成跟踪的关联。其中,当匹配权值小于0.7时,不进行关联。将未被关联的检测信号保存进寄存单元。其中,为保证运行速度,若寄存单元中的某一检测信号连续30帧未被关联,则视为目标已经消失,则释放此寄存空间。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。
Claims (9)
1.一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,将车辆周围视频帧经复合特征提取网络提取特征信息后,将特征信息分别输入检测分支模块与重识别分支模块进行处理,将检测分支模块的检测结果与重识别分支模块的结果输入至跟踪模块,完成多目标跟踪。
2.根据权利要求1所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述多层特征提取网络的设计方法包括如下:
S1:设计基础卷积层:基础卷积层包括一个卷积层conv2d;
其中,卷积层Conv2d的卷积核尺寸默认为3*3;
S2:设计直连接选择模块:直连接选择模块包括一个选择器,一个直连接层,一个基础卷积模块、一个批量归一化层;
其中,基础卷积模块的卷积核尺寸为3*3,填充为1,步长为2;
S3:设计基础结构模块:基础结构模块包括两个基础卷积层、两个批量归一化层、两个Relu激活层和一个直连接选择模块;
其中,两个基础卷积层的输出通道数均等于输入通道数;
S4:设计上采样模块:上采样模块由输入至输出依次包括可变形卷积核、批量归一化层、Relu激活层、反卷积核、批量归一化层、Relu激活层;
其中,可变形卷积核的卷积核尺寸为3*3,步长为1,填充为1,输出通道数等于输入通道数;反卷积核的卷积核尺寸为4*4,步长为2,填充为2;
其中,所有的上采样模块的输出通道数均指反卷积核的输出通道数;
S5:设计下采样模块:下采样模块包括两个基础卷积层、两个批量归一化层、两个Relu激活层和一个直连接选择模块;
其中,第二个基础卷积层的输出通道数等于输入通道数;
其中,所有的下采样模块的输出通道均为第一个基础卷积层的输出通道;
S6:设计层模块与结构体:层模块包括一个下采样模块与多个结构体,并且下采样模块与多个结构体之间为串行组合;其中,结构体由两个基础结构模块串行构成;
S7:设计复合特征提取网:复合特征提取网包括下采样模块、基础卷积模块、若干层模块、若干上采样模块。
3.根据权利要求2所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述S7中设计复合特征提取网的具体设计如下:
首先,构建输入模块,输入模块由一个下采样模块与一个基础卷积模块串行构成,其中,下采样模块,其输出通道数为16,基础卷积模块,输出通道数为64;
之后,构建一个含有3个结构体的层模块1;其中,下采样模块的输出通道数为64;
之后,构建一个含有4个结构体的层模块2;其中,下采样模块的输出通道数为128;
之后,构建一个含有6个结构体的层模块3;其中,下采样模块的输出通道数为256;
之后,构建一个含有3个结构体的层模块4;其中,下采样模块的输出通道数为512;
之后,在层模块1后,另插入一个上采样模块1,其输出通道数为32;
之后,在层模块2后,另插入一个上采样模块2,其输出通道数为64;
之后,在层模块3后,另插入一个上采样模块3,其输出通道数为128;
之后,在层模块4后,另插入一个上采样模块4,其输出通道数为256;
之后,将上采样模块4与层模块3的输出相加并输入上采样模块5,其输出通道数为128;
之后,将上采样模块5与层模块2的输出相加并输入上采样模块6,其输出通道数为64;
之后,将上采样模块6与层模块1的输出相加并输入上采样模块7,其输出通道数为32;
之后,将上采样模块3与层模块2的输出相加并输入上采样模块8,其输出通道数为64;
之后,将上采样模块8与层模块1的输出相加并输入上采样模块9,其输出通道数为32;
之后,将上采样模块2与层模块1的输出相加并输入上采样模块10,其输出通道数为32;
最终,将上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出相加并输出。
4.根据权利要求3所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述将车辆周围视频帧经复合特征提取网络提取特征信息的具体方法包括如下:
设在t时刻,视频输入图像帧为I,I∈R3*H*W,H、W、3分别为输入矩阵的高、宽、通道数,将I输入复合特征提取网,通过以下计算获得图像的特征,具体地:
对于直连接选择模块,根据计算公式1获得直连接选择模块的信号输出值:
其中,L表示为输入值,L∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数;L'表示该模块的输出值,L'∈RC'*H'*W',C’为输出矩阵的通道数,dcc()表示为直连接选择模块的计算,bn()为批量归一化计算,conv()表示二维卷积计算;
对于下采样模块,根据公式2计算出下采样模块的信号输出值:
D'=ds(D)=relu(bn(conv2(relu(bn(conv1(D)))))+dcc(D)) 公式2
其中,D为输入值,D∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数。D'表示该模块的输出值,Y'∈RC'*H'*W',输出通道值为C’,ds()表示为下采样模块的计算,elu()表示relu激活函数,bn()为批量归一化计算,conv()表示二维卷积计算,其中conv1()表示为第一个卷积层的卷积计算,conv2()表示为第二个卷积层的卷积计算,dcc()为直连接选择模块的计算;
对于基础结构模块,根据公式3计算出基础结构模块的信号输出值:
B'=bs(B)=relu(bn(conv2(relu(bn(conv1(B)))))+dcc(B)) 公式3
其中,B为输入值,B∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数。B'表示该模块的输出值,B'∈RC'*H'*W',H'=H,W'=W,输出通道值为C’,()表示为基础结构模块的计算;
对于上采样模块,根据公式4计算出上采样模块的信号输出值:
U'=ups(U)=relu(bn(convt(relu(bn(DCN(U)))))) 公式4
其中,U为输入值,U∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数,U'表示该模块的输出值,U'∈RC′*H′*W′,H'=2*H,W'=2*W,输出通道值为C’,ups()表示为上采样模块的计算,DCN()表示变形卷积,convt()表示反卷积计算;
对于层模块,根据计算公式5计算出层模块的信号输出值:
其中,La为输入值,La∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数,La'表示该模块的输出值,La'∈RC'*H'*W',输出通道值为C’,LA()表示为层模块的计算,s()为基础结构模块的计算,表示进行了n次基础结构模块的迭代计算;
对于输入模块,根据公式6计算出输入模块的信号输出值:
I'=conv(ds(I)) 公式6
最终,由公式T=(up7+up9+up10+up1)可得复合特征提取网的输出特征;
5.根据权利要求1所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述检测分支模块的设计方法包括如下:
所述检测分支模块由中心点判断分支、尺寸判定分支并行组成;
其中中心点判断分支包括基础卷积模块1、一个批量归一化层、一个Relu激活层、两组基础结构模块、基础卷积模块2串行构成;其中基础卷积模块1的输出通道数为256,基础卷积模块2的卷积核尺寸为1*1,输出通道为1;
其中,尺寸判定分支依次由基础卷积模块1、批量归一化层、Relu激活层、基础卷积模块2串行构成;其中,基础卷积模块1的输出通道数为256,基础卷积模块2的卷积核尺寸为1*1,输出通道为2。
6.根据权利要求5所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述重识别分支模块的设计方法包括如下:
重识别分支由一个基础卷积模块1、一个批量归一化层、一个Relu激活层、一个基础卷积模块2串行构成;其基础卷积模块1的输出通道数为256,基础卷积模块2的卷积核尺寸为1*1,输出通道为256。
7.根据权利要求6所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述将特征信息分别输入检测分支模块与重识别分支模块进行处理,生成分支信号的方法包括如下:
将复合特征提取网的输出特征T复制成三份,得到T1=T2=T3=T,将T1、T2、T3分别输入中心点判断分支、尺寸判定分支、重识别分支得到各分支的信号;
对于中心点判断分支,根据计算公式7计算出中心点判断分支的信号输出值:
hp=dp(T1)=conv2(bs(bs(relu(bn(conv1(T1)))))) 公式7
其中,T1为输入值,hp表示该分支的输出值,dp()表示为中心点判断分支的计算,conv1()表示第一个基础卷积模块的卷积计算,relu()表示relu激活函数,bn()为批量归一化计算,bs()表示基础结构模块的计算,conv2()表示第二个基础卷积模块的卷积计算;
对于尺寸判定分支,根据公式8计算出尺寸判定分支的信号输出值:
box=wh(T2)=conv2(relu(bn(conv1(T2)))) 公式8
其中,T2为输入值,box表示该分支的输出值,wh()表示为尺寸判定分支的计算,conv1()表示基础卷积模块1的卷积计算,relu()表示relu激活函数,bn()为批量归一化计算,conv2()表示基础卷积模块2的卷积计算;
对于重识别分支,根据公式9计算出重识别分支的信号输出值:
id=reid(T3)=conv2(relu(bn(conv1(T3)))) 公式9
8.根据权利要求7所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,还包括根据分支信号生成检测信号的方法,具体如下:
将中心点分支输出信号hp进行sigmoid激活,得到激活值hp’,即hp'=sigmoid(hp),其中,sigmoid()表示sigmoid激活函数,通过k项最大值算法(topk),得到hp’的前k个最大值topk_value、最大值所对应的索引topk_index;将最大值所对应的索引topk_index除以hp的第4维度的值即可得到中心点位于图片中的y轴坐标Y={y1,y2…yn},n表示有n个物体;最大值所对应的索引topk_index除以hp的第4维度的值所得的余数即为中心点位于图片中的x轴坐标X={x1,x2…xn};将y轴坐标Y={y1,y2…yn}进行维度变换,尺寸变为(1,k,1);x轴坐标X={x1,x2…xn}进行维度变换,尺寸变为(1,k,1);
将尺寸判定分支信号box按索引topk_index进行维度的交换与聚合得到box',将其进行维度变换,尺寸变为(1,k,2),由以下公式,可得物体边界框的左上角(xl,yl)与右下角的坐标(xr,yr):
将边界框进行第1维度聚合,可得边界框集合bbox;
最终,将边界框集合bbox与重识别分支信号按第4维度进行堆叠,即可得检测信号dec。
9.根据权利要求8所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述跟踪模块具体设计如下:
读取在上一帧中未被关联的检测信号dec_loss,将上一帧的检测信号dec’与未被关联的检测信号dec_loss按第4维度进行堆叠,得到新的前序检测信号dec’;
将检测信号dec与前序检测信号dec’进行马氏距离计算:
可得前序检测信号dec’与当前检测信号dec的物体相似度,由此组成匹配矩阵,其中,S为协方差矩阵,由计算公式可得:
随后使用匈牙利算法,设定匹配权值的阈值为0.7,完成跟踪的关联;当匹配权值小于0.7时,不进行关联。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010657177.4A CN111951300B (zh) | 2020-07-09 | 2020-07-09 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010657177.4A CN111951300B (zh) | 2020-07-09 | 2020-07-09 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111951300A true CN111951300A (zh) | 2020-11-17 |
CN111951300B CN111951300B (zh) | 2024-05-14 |
Family
ID=73340372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010657177.4A Active CN111951300B (zh) | 2020-07-09 | 2020-07-09 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111951300B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112750147A (zh) * | 2020-12-31 | 2021-05-04 | 鹏城实验室 | 一种行人多目标跟踪方法、装置、智能终端及存储介质 |
CN112907560A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵分割方法 |
CN113641875A (zh) * | 2021-07-23 | 2021-11-12 | 江苏大学 | 一种基于自查询的用于无人车的多目标跟踪器及跟踪方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993101A (zh) * | 2019-03-28 | 2019-07-09 | 华南理工大学 | 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 |
CN111260694A (zh) * | 2020-02-10 | 2020-06-09 | 北方工业大学 | 卫星遥感视频目标跟踪方法及装置 |
CN111310861A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种基于深度神经网络的车牌识别和定位方法 |
-
2020
- 2020-07-09 CN CN202010657177.4A patent/CN111951300B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993101A (zh) * | 2019-03-28 | 2019-07-09 | 华南理工大学 | 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 |
CN111260694A (zh) * | 2020-02-10 | 2020-06-09 | 北方工业大学 | 卫星遥感视频目标跟踪方法及装置 |
CN111310861A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种基于深度神经网络的车牌识别和定位方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112750147A (zh) * | 2020-12-31 | 2021-05-04 | 鹏城实验室 | 一种行人多目标跟踪方法、装置、智能终端及存储介质 |
CN112907560A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵分割方法 |
CN113641875A (zh) * | 2021-07-23 | 2021-11-12 | 江苏大学 | 一种基于自查询的用于无人车的多目标跟踪器及跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111951300B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111951300A (zh) | 一种用于城市工况下的智能汽车多目标跟踪方法 | |
CN112560656A (zh) | 一种联合注意力机制端到端训练的行人多目标跟踪方法 | |
CN113744311A (zh) | 基于全连接注意力模块的孪生神经网络运动目标跟踪方法 | |
Germain et al. | S2dnet: Learning accurate correspondences for sparse-to-dense feature matching | |
CN113468950A (zh) | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 | |
Chen et al. | A full density stereo matching system based on the combination of CNNs and slanted-planes | |
Zhao et al. | Eai-stereo: Error aware iterative network for stereo matching | |
CN108305278A (zh) | 一种orb-slam算法中图像匹配相关性改进方法 | |
Zhang et al. | Robust-FusionNet: Deep multimodal sensor fusion for 3-D object detection under severe weather conditions | |
CN114898403A (zh) | 一种基于Attention-JDE网络的行人多目标跟踪方法 | |
CN111882581B (zh) | 一种深度特征关联的多目标跟踪方法 | |
CN117058456A (zh) | 一种基于多相注意力机制的视觉目标跟踪方法 | |
CN112785626A (zh) | 一种基于多尺度特征融合的孪生网络小目标跟踪方法 | |
El Ahmar et al. | Enhanced Thermal-RGB Fusion for Robust Object Detection | |
CN113641875A (zh) | 一种基于自查询的用于无人车的多目标跟踪器及跟踪方法 | |
CN118072196A (zh) | 一种基于YOLOv5改进的远距离岸滩障碍物目标识别方法及系统 | |
CN118096819A (zh) | 一种基于时空联合的无人机图像目标跟踪方法 | |
CN112668662A (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
Gong et al. | Skipcrossnets: Adaptive skip-cross fusion for road detection | |
CN112115786A (zh) | 基于注意力U-net的单目视觉里程计方法 | |
Ogura et al. | Improving the visibility of nighttime images for pedestrian recognition using in‐vehicle camera | |
CN116486203B (zh) | 一种基于孪生网络和在线模板更新的单目标跟踪方法 | |
CN116310720A (zh) | 一种基于幅值冷却与可变分组变换器的图像目标检测和语义分割方法 | |
CN117557599B (zh) | 一种3d运动物体追踪方法及系统、存储介质 | |
CN118521929B (zh) | 基于改进rt-detr网络的无人机航拍小目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |