CN111951300B - 一种用于城市工况下的智能汽车多目标跟踪方法 - Google Patents
一种用于城市工况下的智能汽车多目标跟踪方法 Download PDFInfo
- Publication number
- CN111951300B CN111951300B CN202010657177.4A CN202010657177A CN111951300B CN 111951300 B CN111951300 B CN 111951300B CN 202010657177 A CN202010657177 A CN 202010657177A CN 111951300 B CN111951300 B CN 111951300B
- Authority
- CN
- China
- Prior art keywords
- module
- output
- convolution
- layer
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 239000002131 composite material Substances 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 64
- 230000004913 activation Effects 0.000 claims description 27
- 238000010606 normalization Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000013461 design Methods 0.000 claims description 14
- 101100481876 Danio rerio pbk gene Proteins 0.000 claims description 11
- 101100481878 Mus musculus Pbk gene Proteins 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 abstract description 5
- 238000005215 recombination Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于城市工况下的智能汽车多目标跟踪方法，将所拍到的车辆周围视频帧经复合特征提取网络提取特征信息后，将特征分别输入检测分支与重识别分支。将检测分支的检测结果与重识别分支结果输入至跟踪模块，完成跟踪。其中复合特征提取网(RFEN,Recombination feature extraction network)由下采样模块、基础卷积模块、层模块、上采样模块构成，其中，下采样模块和基础卷积模块构成了复合特征提取网的输入模块，层模块和上采样模块均为多个，彼此交互处理。本发明设计的复合特征提取网络模型，相较于现有的Resnet、Dla‑34、HreNet、GoogLeNet等，充分提取了目标信息，提高了跟踪算法的推理能力和抗干扰能力。既保留了检测与跟踪并行的跟踪策略的高速度优势，又大幅度提高了跟踪的精度。
Description
技术领域
本发明属于智能汽车视觉技术领域，特别设计了一种用于城市工况下的智能汽车多目标跟踪方法。
背景技术
多目标跟踪(multiple objects tracking,MOT)技术的主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的身份、记录他们的轨迹。通过多目标跟踪技术可以让智能汽车更充分的了解其周围的环境信息从而做出更精确的控制决策。与单目标跟踪(Single Object Tracking,SOT)不同的是多目标跟踪器不仅要设计复杂的外观模型/运动模式、解决尺度变化、平面旋转和光照变化，还要解决目标数量的变化导致的身份信息生成/消失处理问题以及如何维持各自身份信息不干扰问题。
目前多目标跟踪方法主要分为两类：基于检测的跟踪(tracking basedetection,TSD)，检测与跟踪并行的跟踪(tracking&detection,T&D)。基于检测的跟踪因为在检测任务与跟踪任务上各使用了一套模型，所以会导致跟踪过程中的实时性欠佳，因而无法满足智能车辆的实时跟踪的要求。检测与跟踪并行的跟踪因为仅使用一套网络模型，所以模型的实时性能满足智能车辆的跟踪需求，但是受限于传统网络模型的特征提取不充分的缘故，检测与跟踪并行的跟踪往往精度较低，这就限制了检测与跟踪并行的跟踪在智能车辆上的使用。
当前的车辆多目标跟踪常用于高速公路中的跟踪。与高速公路下的场景单一、路面信息明确不同的是，城市场景中的场景信息及其复杂，这就导致了车辆跟踪器在城市场景中的效果有所欠缺。
发明内容
从目前国内外学者主要研究内容看，智能汽车如何在行驶中保持对前方行驶车辆的跟踪是研究的热点。本发明针对城市道路工况下智能汽车多目标跟踪精度低与速度慢的问题，基于检测与跟踪并行的跟踪方法，提出了一种用于城市工况下的智能汽车多目标跟踪方法。本发明的技术方案在下面具体实施方式部分作了详细叙述。
本发明的有益效果：
(1)本发明提出的复合特征提取网络模型(RFEN,Recombination featureextraction network)，相较于现有的Resnet、Dla-34、HreNet、GoogLeNet等特征提取网络，充分提取了目标信息，提高了跟踪算法的推理能力和抗干扰能力。既保留了检测与跟踪并行的跟踪策略的高速度优势，又大幅度提高了跟踪的精度。
(2)加入了重识别分支，提高了汽车的多目标跟踪精度。
(3)本发明的模型使用了模块化构建，从而可以在不同的算力工况下快速增减模型结构，保障了模型的复用性与维护性。
(4)本发明的模型继承了深度学习的端到端训练模式，使得模型的设置与训练较为轻松。
(5)本发明的模型网络在训练完成后，可在GPU型号：1080、相机像素：1920*1080等低配置条件下，即可达到较高的跟踪速度(25+fps)，满足工程实用。
附图说明
图1.本发明的算法流程图
图2.本发明的基础卷积模块(Based-conv)架构图
图3.本发明的直连接选择模块(Direct-connection-choose)架构图
图4.本发明的基础结构模块(Based-block)架构图
图5.本发明的上采样模块(Upsample-block)架构图
图6.本发明的下采样模块(Downsample-block)架构图
图7.本发明的含有n个结构体的层模块架构图
图8.本发明的复合特征提取网(RFEN,Recombination feature extractionnetwork)结构图
图9.本发明的检测分支架构图
图10.本发明的重识别分支架构图
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示的本发明算法的总体运行流程。摄像头所拍到的车辆周围视频帧经复合特征提取网络提取特征信息后，将特征分别输入检测分支与重识别分支。将检测分支的检测结果与重识别分支结果输入至跟踪模块，完成跟踪。本发明的具体实施过程包括如下：
Step1:设计基础卷积层(Based-conv)
如图2所示，基础卷积层由一个卷积层(conv2d)构成。
其中，卷积层(Conv2d)的卷积核尺寸默认为3*3，填充默认为1，步长默认为1。
Step2:设计直连接选择模块(Direct-connection-choose)
如图3所示，直连接选择模块由一个选择器，一个直连接层，一个基础卷积模块、一个批量归一化层(batchnormal)构成。
其中，基础卷积模块的卷积核尺寸为3*3，填充为1，步长为2。
Step3:设计基础结构模块(Based-block)
如图4所示，基础结构模块由两个基础卷积层(Based-conv)、两个批量归一化层(Batchnormal)、两个Relu激活层和一个直连接选择模块构成。
其中，基础卷积层1(Based-conv1)的输出通道数等于输入通道数。基础卷积层2(Based-conv2)的输出通道数等于输入通道数。
Step4:设计上采样(Upsample-block)模块
如图5所示，上采样模块由可变形卷积核(DCN，Deformable Convolution)、批量归一化层(Batchnormal)、Relu激活层、反卷积核(ConvTranspose2d)、批量归一化层(Batchnormal)、Relu激活层按序组成。
其中，可变形卷积核(DCN，Deformable Convolution)的卷积核尺寸为3*3，步长为1，填充为1，输出通道数等于输入通道数。反卷积核的卷积核尺寸为4*4，步长为2，填充为2。
其中，所有的上采样模块的输出通道数均指反卷积核的输出通道数。
Step5:设计下采样(downsample-block)模块
如图6所示，下采样模块由两个基础卷积层(Based-conv)、两个批量归一化层(Batchnormal)、两个Relu激活层和一个直连接选择模块构成。
其中，基础卷积层2(Based-conv2)的输出通道数等于输入通道数。
其中，所有的下采样模块的输出通道均指基础卷积层1(Based-conv1)的输出通道。
Step6:设计层模块与结构体
如图7所示，层模块由一个下采样模块与多个结构体串行构成。其中，结构体由两个基础结构模块串行构成。
Step7:设计复合特征提取网(RFEN,Recombination feature extractionnetwork)
如图8所示，复合特征提取网(RFEN，Recombination feature extractionnetwork)由下采样模块、基础卷积模块、层模块、上采样模块构成。其中，表示将输入的多个值进行按位相加并输出。所述复合特征提取网的具体设计过程如下：
首先，构建一个输入模块，其由一个下采样模块与一个基础卷积模块串行构成。其中，下采样模块，其输出通道数为16，基础卷积模块，输出通道数为64。
之后，构建一个含有3个结构体的层模块1。其中，下采样模块的输出通道数为64。
之后，构建一个含有4个结构体的层模块2。其中，下采样模块的输出通道数为128。
之后，构建一个含有6个结构体的层模块3。其中，下采样模块的输出通道数为256。
之后，构建一个含有3个结构体的层模块4。其中，下采样模块的输出通道数为512。
之后，在层模块1后，另插入一个上采样模块1，其输出通道数为32。
之后，在层模块2后，另插入一个上采样模块2，其输出通道数为64。
之后，在层模块3后，另插入一个上采样模块3，其输出通道数为128。
之后，在层模块4后，另插入一个上采样模块4，其输出通道数为256。
之后，将上采样模块4与层模块3的输出相加并输入上采样模块5，其输出通道数为128。
之后，将上采样模块5与层模块2的输出相加并输入上采样模块6，其输出通道数为64。
之后，将上采样模块6与层模块1的输出相加并输入上采样模块7，其输出通道数为32。
之后，将上采样模块3与层模块2的输出相加并输入上采样模块8，其输出通道数为64。
之后，将上采样模块8与层模块1的输出相加并输入上采样模块9，其输出通道数为32。
之后，将上采样模块2与层模块1的输出相加并输入上采样模块10，其输出通道数为32。
最终，将上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出相加并输出。
Step8：设计检测分支
如图9所示，检测分支由中心点判断分支、尺寸判定分支并行组成。
其中中心点判断分支由一个基础卷积模块1、一个批量归一化(Batchnormal)层、一个Relu激活层、两组基础结构模块、一个基础卷积模块2串行构成。其中，基础卷积模块1的输出通道数为256。基础卷积模块2的卷积核尺寸为1*1，输出通道为1。
其中尺寸判定分支由一个基础卷积模块、一个批量归一化(Batchnormal)层、一个Relu激活层、一个基础卷积模块串行构成。其中，基础卷积模块1的输出通道数为256，基础卷积模块2的卷积核尺寸为1*1，输出通道为2。
Step9：设计重识别分支
如图10所示，重识别分支由一个基础卷积模块1、一个批量归一化(Batchnormal)层、一个Relu激活层、一个基础卷积模块2串行构成。其中，基础卷积模块1的输出通道数为256，基础卷积模块2的卷积核尺寸为1*1，输出通道为256。
Step10：复合特征提取网络的特征提取
假定在t时刻，视频输入图像帧I(I∈R3*H*W)，H、W、3分别为输入矩阵的高、宽、通道数)，将其输入复合特征提取网，从而获得图像的特征。
其中对于直连接选择模块，有计算公式：
其中，L表示为输入值，L∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数。L'表示该模块的输出值，L'∈RC′*H′*W′，为输出矩阵的通道数。dcc()表示为直连接选择模块的计算。bn()为批量归一化计算。conv()表示二维卷积计算。由此可计算出直连接选择模块的信号输出值。
其中，对于下采样模块，有计算公式：
D'＝ds(D)＝relu(bn(conv2(relu(bn(conv1(D)))))+dcc(D))
其中，D为输入值，D∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数。D'表示该模块的输出值，Y'∈RC′*H′*W′，输出通道值为C’。ds()表示为下采样模块的计算。relu()表示relu激活函数，bn()为批量归一化计算。conv()表示二维卷积计算，其中conv1()表示为第一个卷积层的卷积计算，conv2()表示为第二个卷积层的卷积计算。dcc()为直连接选择模块的计算。由此可计算出下采样模块的信号输出值。
其中，对于基础结构模块，有计算公式：
B'＝bs(B)＝relu(bn(conv2(relu(bn(conv1(B)))))+dcc(B))
其中，B为输入值，B∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数。B'表示该模块的输出值，B'∈RC′*H′*W′，H'＝H,W'＝W,输出通道值为C’。bs()表示为基础结构模块的计算。由此可计算出基础结构模块的信号输出值。
其中，对于上采样模块，有计算公式：
U'＝ups(U)＝relu(bn(convt(relu(bn(DCN(U))))))
其中，U为输入值，U∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数。U'表示该模块的输出值，U'∈RC′*H′*W′，H'＝2*H,W'＝2*W,输出通道值为C’。ups()表示为上采样模块的计算。DCN()表示变形卷积。convt()表示反卷积计算。由此可计算出上采样模块的信号输出值。
其中，对于层模块，有计算公式：
其中，La为输入值，La∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数。La'表示该模块的输出值，La'∈RC'*H'*W'，输出通道值为C’。LA()表示为层模块的计算。bs()为基础结构模块的计算，/>表示进行了n次基础结构模块的迭代计算。由此可计算出层模块的信号输出值。
从而，对于输入模块，有计算公式：
I'＝conv(ds(I))
其中，I为输入图像，表示该模块的输出值，I'∈R64*H′*W′，输出通道值为64。由此可以计算出输入模块的信号输出值。
从而，层模块1的输出为La1＝LA(I')，层模块2的输出为La2＝LA(La1)，层模块3的输出为La3＝LA(La2)，层模块4的输出为La4＝LA(La3)。其中，
从而上采样模块1的输出值为up1＝ups(La1)，上采样模块2的输出值为up2＝ups(La2)，上采样模块3的输出值为up3＝ups(La3)，上采样模块4的输出值为up4＝ups(La4)。其中，
从而，可以得到上采样模块5的输出值up5＝ups(up4+La3)，上采样模块6的输出值up6＝ups(up5+La2)，上采样模块7的输出值up7＝ups(up6+La1)。其中，
从而，可以得到上采样模块8的输出值up8＝ups(up3+La2)，上采样模块9的输出值up9＝ups(up8+La1)。其中，
从而，可以得到上采样模块10的输出值up10＝ups(up2+La1)。其中，
最终，由公式T＝(up7+up9+up10+up1)可得复合特征提取网的输出特征。其中，T为复合特征提取网的输出特征值，up7、up9、up10、up1分别为上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出值。
Step11：分支信号的生成
将复合特征提取网的输出特征T复制成三份，得到T1＝T2＝T3＝T，将T1、T2、T3分别输入中心点判断分支、尺寸判定分支、重识别分支得到各分支的信号。
其中，对于中心点判断分支，有计算公式：
hp＝dp(T1)＝conv2(bs(bs(relu(bn(conv1(T1))))))
其中，T1为输入值，hp表示该分支的输出值，/>dp()表示为中心点判断分支的计算。conv1()表示第一个基础卷积模块的卷积计算，relu()表示relu激活函数，bn()为批量归一化计算。bs()表示基础结构模块的计算。conv2()表示第二个基础卷积模块的卷积计算。由此可计算出中心点判断分支的信号输出值。
其中，对于尺寸判定分支，有计算公式：
box＝wh(T2)＝conv2(relu(bn(conv1(T2))))
其中，T2为输入值，box表示该分支的输出值，/>wh()表示为尺寸判定分支的计算。conv1()表示基础卷积模块1的卷积计算，relu()表示relu激活函数，bn()为批量归一化计算。conv2()表示基础卷积模块2的卷积计算。由此可计算出尺寸判定分支的信号输出值。
其中，对于重识别分支，有计算公式：
id＝reid(T3)＝conv2(relu(bn(conv1(T3))))
其中，T3为输入值，id表示该分支的输出值，/>reid()表示为重识别分支的计算。conv1()表示基础卷积模块1的卷积计算，relu()表示relu激活函数，bn()为批量归一化计算。conv2()表示基础卷积模块2的卷积计算。由此可计算出重识别分支的信号输出值。
Step12:检测信号的生成
将中心点分支输出信号hp进行sigmoid激活，得到激活值hp’，即hp'＝sigmoid(hp)，其中，sigmoid()表示sigmoid激活函数。通过k项最大值算法(topk)，得到hp’的前k个最大值topk_value、最大值所对应的索引topk_index。将最大值所对应的索引topk_index除以hp的第4维度的值即可得到中心点位于图片中的y轴坐标Y＝{y1,y2…yn}，n表示有n个物体。最大值所对应的索引topk_index除以hp的第4维度的值所得的余数即为中心点位于图片中的x轴坐标X＝{x1,x2…xn}。将y轴坐标Y＝{y1,y2…yn}进行维度变换，尺寸变为(1,k,1)；x轴坐标X＝{x1,x2…xn}进行维度变换，尺寸变为(1,k,1)。
将尺寸判定分支信号box按索引topk_index进行维度的交换与聚合得到box'，将其进行维度变换，尺寸变为(1,k,2)。由以下公式，可得物体边界框的左上角(xl,yl)与右下角的坐标(xr,yr)。
将边界框进行第1维度聚合，可得边界框集合bbox。
最终，将边界框集合bbox与重识别分支信号按第4维度进行堆叠，即可得检测信号dec。
Step13:目标的跟踪
读取保存在寄存单元中的在上一帧中未被关联的检测信号dec_loss。将上一帧的检测信号dec’与未被关联的检测信号dec_loss按第4维度进行堆叠，即可得到新的前序检测信号dec’。
将检测信号dec与前序检测信号dec’进行马氏距离计算，由计算公式：
可得前序检测信号与当前检测信号的物体相似度(设定阈值0.4)。其中由此可组成匹配矩阵。其中，S为协方差矩阵，可由计算公式可得：
其中，表示dec的平均值；/>表示dec'的平均值，k表示两个检测信号第4维度的最大值。
随后使用匈牙利算法，设定匹配权值的最小阈值0.7，完成跟踪的关联。其中，当匹配权值小于0.7时，不进行关联。将未被关联的检测信号保存进寄存单元。其中，为保证运行速度，若寄存单元中的某一检测信号连续30帧未被关联，则视为目标已经消失，则释放此寄存空间。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。
Claims (6)
1.一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，将车辆周围视频帧经复合特征提取网络提取特征信息后，将特征信息分别输入检测分支模块与重识别分支模块进行处理，将检测分支模块的检测结果与重识别分支模块的结果输入至跟踪模块，完成多目标跟踪；
所述复合特征提取网络的设计方法包括如下：
S1:设计基础卷积层：基础卷积层包括一个卷积层conv2d；
其中，卷积层Conv2d的卷积核尺寸默认为3*3；
S2:设计直连接选择模块：直连接选择模块包括一个选择器，一个直连接层，一个基础卷积模块、一个批量归一化层；
其中，基础卷积模块的卷积核尺寸为3*3，填充为1，步长为2；
S3:设计基础结构模块：基础结构模块包括两个基础卷积层、两个批量归一化层、两个Relu激活层和一个直连接选择模块；
其中，两个基础卷积层的输出通道数均等于输入通道数；
S4:设计上采样模块：上采样模块由输入至输出依次包括可变形卷积核、批量归一化层、Relu激活层、反卷积核、批量归一化层、Relu激活层；
其中，可变形卷积核的卷积核尺寸为3*3，步长为1，填充为1，输出通道数等于输入通道数；反卷积核的卷积核尺寸为4*4，步长为2，填充为2；
其中，所有的上采样模块的输出通道数均指反卷积核的输出通道数；
S5:设计下采样模块：下采样模块包括两个基础卷积层、两个批量归一化层、两个Relu激活层和一个直连接选择模块；
其中，第二个基础卷积层的输出通道数等于输入通道数；
其中，所有的下采样模块的输出通道均为第一个基础卷积层的输出通道；
S6:设计层模块与结构体：层模块包括一个下采样模块与多个结构体，并且下采样模块与多个结构体之间为串行组合；其中，结构体由两个基础结构模块串行构成；
S7：设计复合特征提取网：复合特征提取网包括下采样模块、基础卷积模块、若干层模块、若干上采样模块；
所述S7中设计复合特征提取网的具体设计如下：
首先，构建输入模块，输入模块由一个下采样模块与一个基础卷积模块串行构成，其中，下采样模块，其输出通道数为16，基础卷积模块，输出通道数为64；
之后，构建一个含有3个结构体的层模块1；其中，下采样模块的输出通道数为64；
之后，构建一个含有4个结构体的层模块2；其中，下采样模块的输出通道数为128；
之后，构建一个含有6个结构体的层模块3；其中，下采样模块的输出通道数为256；
之后，构建一个含有3个结构体的层模块4；其中，下采样模块的输出通道数为512；
之后，在层模块1后，另插入一个上采样模块1，其输出通道数为32；
之后，在层模块2后，另插入一个上采样模块2，其输出通道数为64；
之后，在层模块3后，另插入一个上采样模块3，其输出通道数为128；
之后，在层模块4后，另插入一个上采样模块4，其输出通道数为256；
之后，将上采样模块4与层模块3的输出相加并输入上采样模块5，其输出通道数为128；
之后，将上采样模块5与层模块2的输出相加并输入上采样模块6，其输出通道数为64；
之后，将上采样模块6与层模块1的输出相加并输入上采样模块7，其输出通道数为32；
之后，将上采样模块3与层模块2的输出相加并输入上采样模块8，其输出通道数为64；
之后，将上采样模块8与层模块1的输出相加并输入上采样模块9，其输出通道数为32；
之后，将上采样模块2与层模块1的输出相加并输入上采样模块10，其输出通道数为32；
最终，将上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出相加并输出；
所述将车辆周围视频帧经复合特征提取网络提取特征信息的具体方法包括如下：
设在t时刻，视频输入图像帧为I，I∈R3*H*W，H、W、3分别为输入矩阵的高、宽、通道数，将I输入复合特征提取网，通过以下计算获得图像的特征，具体地：
对于直连接选择模块，根据计算公式1获得直连接选择模块的信号输出值：
其中，L表示为输入值，L∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数；L′表示该模块的输出值，L′∈RC′*H′*W′，C’为输出矩阵的通道数，dcc()表示为直连接选择模块的计算，bn()为批量归一化计算，conv()表示二维卷积计算；
对于下采样模块，根据公式2计算出下采样模块的信号输出值：
D′＝ds(D)＝relu(bn(conv2(relu(bn(conv1(D)))))+dcc(D)) 公式2
其中，D为输入值，D∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数；D′表示该模块的输出值，Y′∈RC′*H′*W′，输出通道值为C’，ds()表示为下采样模块的计算，elu()表示relu激活函数，bn()为批量归一化计算，conv()表示二维卷积计算，其中conv1()表示为第一个卷积层的卷积计算，conv2()表示为第二个卷积层的卷积计算，dcc()为直连接选择模块的计算；
对于基础结构模块，根据公式3计算出基础结构模块的信号输出值：
B′＝bs(B)＝relu(bn(conv2(relu(bn(conv1(B)))))+dcc(B)) 公式3
其中，B为输入值，B∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数；B′表示该模块的输出值，B′∈RC′*H′*W′，H′＝H，W′＝W，输出通道值为C’，()表示为基础结构模块的计算；
对于上采样模块，根据公式4计算出上采样模块的信号输出值：
U′＝ups(U)＝relu(bn(convt(relu(bn(DCN(U)))))) 公式4
其中，U为输入值，U∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数，U′表示该模块的输出值，U′∈RC′*H′*W′，H′＝2*H，W′＝2*W，输出通道值为C’，ups()表示为上采样模块的计算，DCN()表示变形卷积，convt()表示反卷积计算；
对于层模块，根据计算公式5计算出层模块的信号输出值：
其中，La为输入值，La∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数，La′表示该模块的输出值，La′∈RC′*H′*W′，输出通道值为C’，LA()表示为层模块的计算，s()为基础结构模块的计算，/>表示进行了n次基础结构模块的迭代计算；
对于输入模块，根据公式6计算出输入模块的信号输出值：
I′＝connv(ds(I)) 公式6
其中，I为输入图像，表示该模块的输出值，I′∈R64*H′*W′，输出通道值为64；
层模块1的输出为La1＝LA(I′)，层模块2的输出为La2＝LA(La1)，层模块3的输出为La3＝LA(La2)，层模块4的输出为La4＝LA(La3)；其中，
上采样模块1的输出值为up1＝ups(La1)，上采样模块2的输出值为up2＝ups(La2)，上采样模块3的输出值为up3＝ups(La3)，上采样模块4的输出值为up4＝ups(La4)；其中，
得到上采样模块5的输出值up5＝ups(up4+La3)，上采样模块6的输出值up6＝ups(up5+La2)，上采样模块7的输出值up7＝ups(up6+La1)；其中，
得到上采样模块8的输出值up8＝ups(up3+La2)，上采样模块9的输出值up9＝ups(up8+La1)；其中，
得到上采样模块10的输出值up10＝ups(up2+La1)；其中，
最终，由公式T＝(up7+up9+up10+up1)可得复合特征提取网的输出特征；
其中，T为多层特征提取网的输出特征值，up7、up9、up10、up1分别为上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出值，
2.根据权利要求1所述的一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，所述检测分支模块的设计方法包括如下：
所述检测分支模块由中心点判断分支、尺寸判定分支并行组成；
其中中心点判断分支包括基础卷积模块1、一个批量归一化层、一个Relu激活层、两组基础结构模块、基础卷积模块2串行构成；其中基础卷积模块1的输出通道数为256，基础卷积模块2的卷积核尺寸为1*1，输出通道为1；
其中，尺寸判定分支依次由基础卷积模块1、批量归一化层、Relu激活层、基础卷积模块2串行构成；其中，基础卷积模块1的输出通道数为256，基础卷积模块2的卷积核尺寸为1*1，输出通道为2。
3.根据权利要求2所述的一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，所述重识别分支模块的设计方法包括如下：
重识别分支由一个基础卷积模块1、一个批量归一化层、一个Relu激活层、一个基础卷积模块2串行构成；其基础卷积模块1的输出通道数为256，基础卷积模块2的卷积核尺寸为1*1，输出通道为256。
4.根据权利要求3所述的一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，所述将特征信息分别输入检测分支模块与重识别分支模块进行处理，生成分支信号的方法包括如下：
将复合特征提取网的输出特征T复制成三份，得到T1＝T2＝T3＝T，将T1、T2、T3分别输入中心点判断分支、尺寸判定分支、重识别分支得到各分支的信号；
对于中心点判断分支，根据计算公式7计算出中心点判断分支的信号输出值：
hp＝dp(T1)＝conv2(bs(bs(relu(bn(conv1(T1))))))公式7
其中，T1为输入值，hp表示该分支的输出值，/>dp()表示为中心点判断分支的计算，conv1()表示第一个基础卷积模块的卷积计算，relu()表示relu激活函数，bn()为批量归一化计算，bs()表示基础结构模块的计算，conv2()表示第二个基础卷积模块的卷积计算；
对于尺寸判定分支，根据公式8计算出尺寸判定分支的信号输出值：
box＝wh(T2)＝conv2(relu(bn(conv1(T2))))公式8
其中，T2为输入值，box表示该分支的输出值，/>wh()表示为尺寸判定分支的计算，conv1()表示基础卷积模块1的卷积计算，relu()表示relu激活函数，bn()为批量归一化计算，conv2()表示基础卷积模块2的卷积计算；
对于重识别分支，根据公式9计算出重识别分支的信号输出值：
id＝reid(T3)＝conv2(relu(bn(conv1(T3))))公式9
其中，T3为输入值，id表示该分支的输出值，/>reid()表示为重识别分支的计算，conv1()表示基础卷积模块1的卷积计算，relu()表示relu激活函数，bn()为批量归一化计算，conv2()表示基础卷积模块2的卷积计算。
5.根据权利要求4所述的一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，还包括根据分支信号生成检测信号的方法，具体如下：
将中心点分支输出信号hp进行sigmoid激活，得到激活值hp’，即hp′＝sigmoid(hp)，其中，sigmoid()表示sigmoid激活函数，通过k项最大值算法，得到hp’的前k个最大值topk_value、最大值所对应的索引topk_index；将最大值所对应的索引topk_index除以hp的第4维度的值即可得到中心点位于图片中的y轴坐标Y＝{y1，y2…yn}，n表示有n个物体；最大值所对应的索引topk_index除以hp的第4维度的值所得的余数即为中心点位于图片中的x轴坐标X＝{x1，x2…xn}；将y轴坐标Y＝{y1，y2…yn}进行维度变换，尺寸变为(1，k，1)；x轴坐标X＝{x1，x2…xn}进行维度变换，尺寸变为(1，k，1)；
将尺寸判定分支信号box按索引topk_index进行维度的交换与聚合得到box′，将其进行维度变换，尺寸变为(1，k，2)，由以下公式，可得物体边界框的左上角(xl，yl)与右下角的坐标(xr，yr)：
将边界框进行第1维度聚合，可得边界框集合bbox；
最终，将边界框集合bbox与重识别分支信号按第4维度进行堆叠，即可得检测信号dec。
6.根据权利要求5所述的一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，所述跟踪模块具体设计如下：
读取在上一帧中未被关联的检测信号dec_loss，将上一帧的检测信号dec’与未被关联的检测信号dec_loss按第4维度进行堆叠，得到新的前序检测信号dec’；
将检测信号dec与前序检测信号dec’进行马氏距离计算：
可得前序检测信号dec’与当前检测信号dec的物体相似度，由此组成匹配矩阵，其中，S为协方差矩阵，由计算公式可得：
其中，表示dec的平均值；/>表示dec'的平均值，k表示两个检测信号第4维度的最大值；
随后使用匈牙利算法，设定匹配权值的阈值为0.7，完成跟踪的关联；当匹配权值小于0.7时，不进行关联。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010657177.4A CN111951300B (zh) | 2020-07-09 | 2020-07-09 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010657177.4A CN111951300B (zh) | 2020-07-09 | 2020-07-09 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111951300A CN111951300A (zh) | 2020-11-17 |
| CN111951300B true CN111951300B (zh) | 2024-05-14 |
Family
ID=73340372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010657177.4A Active CN111951300B (zh) | 2020-07-09 | 2020-07-09 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951300B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907560A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵分割方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993101A (zh) * | 2019-03-28 | 2019-07-09 | 华南理工大学 | 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 |
| CN111260694A (zh) * | 2020-02-10 | 2020-06-09 | 北方工业大学 | 卫星遥感视频目标跟踪方法及装置 |
| CN111310861A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种基于深度神经网络的车牌识别和定位方法 |
-
2020
- 2020-07-09 CN CN202010657177.4A patent/CN111951300B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993101A (zh) * | 2019-03-28 | 2019-07-09 | 华南理工大学 | 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 |
| CN111260694A (zh) * | 2020-02-10 | 2020-06-09 | 北方工业大学 | 卫星遥感视频目标跟踪方法及装置 |
| CN111310861A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种基于深度神经网络的车牌识别和定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111951300A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112560656A (zh) | 一种联合注意力机制端到端训练的行人多目标跟踪方法 | |
| CN112800906B (zh) | 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法 | |
| CN113807187A (zh) | 基于注意力特征融合的无人机视频多目标跟踪方法 | |
| CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
| CN109813334B (zh) | 基于双目视觉的实时高精度车辆里程计算方法 | |
| CN103996201A (zh) | 一种基于改进梯度和自适应窗口的立体匹配方法 | |
| CN108305278B (zh) | 一种orb-slam算法中图像匹配相关性改进方法 | |
| CN113468950A (zh) | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 | |
| CN113744311A (zh) | 基于全连接注意力模块的孪生神经网络运动目标跟踪方法 | |
| CN111652909A (zh) | 一种基于深度哈希特征的行人多目标追踪方法 | |
| CN111951300B (zh) | 一种用于城市工况下的智能汽车多目标跟踪方法 | |
| CN109344712B (zh) | 一种道路车辆跟踪方法 | |
| CN114973199A (zh) | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 | |
| CN110533692A (zh) | 一种面向无人机航拍视频中移动目标的自动跟踪方法 | |
| CN116912804A (zh) | 一种高效的无锚框3-d目标检测及跟踪方法及模型 | |
| CN115861944A (zh) | 一种基于激光雷达的交通目标检测系统 | |
| Cheng et al. | Dense-acssd for end-to-end traffic scenes recognition | |
| CN115482282A (zh) | 自动驾驶场景下具有多目标追踪能力的动态slam方法 | |
| Wu et al. | Research progress of obstacle detection based on monocular vision | |
| CN117557599B (zh) | 一种3d运动物体追踪方法及系统、存储介质 | |
| Zhang et al. | SkipcrossNets: Adaptive Skip-cross Fusion for Road Detection | |
| CN116486203B (zh) | 一种基于孪生网络和在线模板更新的单目标跟踪方法 | |
| Sun et al. | VKP-P3D: Real-Time Monocular Pseudo 3D Object Detection Based on Visible Key Points and Camera Geometry | |
| CN116503745B (zh) | 一种基于混合神经网络模型的红外模糊目标识别方法 | |
| Zhang et al. | A More Efficient Algorithm for Small Target Detection in Unmanned Aerial Vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |