CN113468950A - 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 - Google Patents
一种基于深度学习的无人驾驶场景下的多目标跟踪方法 Download PDFInfo
- Publication number
- CN113468950A CN113468950A CN202110517071.9A CN202110517071A CN113468950A CN 113468950 A CN113468950 A CN 113468950A CN 202110517071 A CN202110517071 A CN 202110517071A CN 113468950 A CN113468950 A CN 113468950A
- Authority
- CN
- China
- Prior art keywords
- multiplied
- point cloud
- image
- target
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 102
- 239000013598 vector Substances 0.000 claims abstract description 76
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 230000008034 disappearance Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习的无人驾驶场景下的多目标跟踪方法，该方法包括以下步骤：S1、通过三维目标检测模型PointPillars对无人驾驶场景下的车辆进行检测，得到基于图像的二维检测框和基于点云的三维检测框；S2、以VGG16网络和PointNet网络为基础，分别对基于图像的二维检测框和基于点云的三维检测框进行特征提取，得到图像特征向量和点云特征向量，然后将图像特征向量和点云特征向量进行融合得到融合特征向量；S3、通过当前帧的融合特征向量、检测框信息和前一帧的融合特征向量、轨迹信息计算得到目前跟踪到的轨迹信息。本设计不仅提升了目标跟踪的精度，而且解决了复杂场景下目标间的遮挡问题。
Description
技术领域
本发明涉及无人驾驶和人工智能领域，尤其涉及一种基于深度学习的无人驾驶场景下的多目标跟踪方法，主要适用于提升目标跟踪精度，解决复杂场景下目标间的遮挡问题。
背景技术
无人驾驶车辆在运动过程中的跟踪问题是一大难题。优秀的跟踪算法需要对前方的障碍物，尤其是行人和车辆有较好的检测和跟踪效果，准确判断其行为意图，从而进行合理的路径规划。多目标跟踪通过在视频序列中检测运动目标，并在不同帧中将这些目标一一对应，给出不同目标的运动轨迹，预测其短期运动趋势，并判断其行为意图。多目标跟踪结果可用于无人驾驶车辆进行避障策略的制定和动态路径的规划。
基于点云和图像融合的三维多目标跟踪系统，该技术采用目前主流的Tracking-by-Detection(先检测后跟踪)框架，一共可分为四个阶段：检测阶段、特征提取阶段、相似度计算阶段、数据关联与跟踪阶段。(1)检测阶段：输入源来自于单目相机拍摄的图像数据和激光雷达收集的点云数据，首先经过基于图像和点云融合的三维目标检测器AVOD提取出检测框，作为特征提取阶段的输入；(2)特征提取器阶段：利用VGG16网络对图像中检测到的二维目标检测框进行特征提取；(3)相似度计算阶段：输入来自特征提取阶段获取的目标表观特征和检测阶段获取的检测框信息到孪生网络中，通过孪生卷积神经网络来计算基于Bounding Box的相似度和基于外观特征的相似度，然后通过不同的权重分配来融合两相似度矩阵得到最终的相似度矩阵；(4)数据关联与跟踪阶段：输入相似度矩阵，利用自定义的卷积神经网络找出相邻两帧间相关联的目标，并赋予相同的身份信息，对于新出现的目标赋予新的身份信息，以完成对多目标的跟踪。该技术的缺点为：在复杂交通场景下，干扰物体与跟踪目标之间常常相互交错遮挡，这会带来目标身份不断切换的现象；图像数据的语义信息能够对目标的属性进行识别，激光点云的几何信息能够帮助改善遮挡问题，但是该技术仅在3D目标检测阶段使用到了点云数据，在后续的数据关联阶段使用的仍然是图像数据。因此，该技术没有充分的利用现有数据的特征，试图仅通过建模目标的表观特征来实现多目标的跟踪，却忽视了在特征提取阶段如何应对遮挡情况的发生。
基于单目相机的三维联合检测与跟踪，该技术同样采用的是先检测后跟踪的框架，整体分为两个网络：一个用于实现3D目标检测，一个用于实现多目标跟踪。单一输入源：RGB图像，来自单目相机。目标检测：使用Faster RCNN对RGB图像进行二维分类与检测，而后使用34层的DLA-UP网络对图像中的检测框进行进一步的特征提取，并作为一个3层的3*3卷积网络的输入，最后输出的是图像中目标的三维信息，包括中心点坐标、3D尺寸、深度以及朝向角。目标跟踪：数据关联和跟踪，基于检测框与轨迹的交并比和特征信息进行关联矩阵的计算，并将此作为匈牙利算法的输入，寻找轨迹与跟踪框之间的最优的匹配解。另外，本技术还使用了LSTM运动模型对轨迹进行预测和更新。该技术的缺点为：利用图像数据进行三维目标检测与跟踪，这本身就是一个病态问题，没有深度测量或者强先验信息的情况下，仅利用单一的视图并不能准确地估计道路环境的三维布局，例如当目标间存在严重遮挡时就不容易学习到目标的朝向角和深度信息；数据关联阶段使用的是非深度学习的方法，利用自定义的相似度计算机制进行目标间的匹配，虽然这种算法在一定程度上能够找出相邻两帧内相互匹配的目标，但是该方法发生目标误配的可能性仍较高。
发明内容
本发明的目的是克服现有技术中存在的目标跟踪精度低、忽视复杂场景下目标间遮挡的缺陷与问题，提供一种目标跟踪精度高、可有效解决复杂场景下目标间遮挡问题的基于深度学习的无人驾驶场景下的多目标跟踪方法。
为实现以上目的，本发明的技术解决方案是：一种基于深度学习的无人驾驶场景下的多目标跟踪方法，该方法包括以下步骤：
S1、通过三维目标检测模型PointPillars对无人驾驶场景下的车辆进行检测，得到基于图像的二维检测框和基于点云的三维检测框；
S2、以VGG16网络和PointNet网络为基础，分别对基于图像的二维检测框和基于点云的三维检测框进行特征提取，得到图像特征向量和点云特征向量，然后将图像特征向量和点云特征向量进行融合得到融合特征向量；
S3、通过当前帧的融合特征向量、检测框信息和前一帧的融合特征向量、轨迹信息计算得到目前跟踪到的轨迹信息。
步骤S1中，先在三维空间内对点云数据集合按照等尺寸柱均匀划分，提取柱内点云特征生成伪图像，再利用二维卷积神经网络提取伪图像的特征，然后通过检测头对目标对象进行三维边界框的生成与回归，得到基于点云的三维检测框。
步骤S1中，通过点云坐标系和图像坐标系之间的转换实现从三维到二维的投影，得到基于图像的二维检测框。
步骤S2中，对基于图像的二维检测框进行特征提取包括以下步骤：
先输入大小为224×224×3×M的图像数据集合，其中，M为当前图片中检测框的数量，再通过上采样处理后在不同卷积层分别输出分辨率为56×56×128×M、28×28×256×M、14×14×512×M、7×7×512×M的四个特征向量，然后通过横向连接的四个子网络再依次处理上述四个特征向量，最后输出大小为1×512×M的图像特征向量f2D。
步骤S2中，对基于点云的三维检测框进行特征提取包括以下步骤：
先输入大小为1×3×L的点云数据集合，然后经过点云对齐、MLP特征映射以及平均池化操作后输出大小为1×512×M的点云特征向量f3D。
步骤S2中，通过以下步骤得到融合特征向量：
将图像特征向量f2D和点云特征向量f3D一起输入到基于注意力机制的特征融合模块，通过不同的权重分配来有效的结合图像特征和点云特征，最终输出大小为1×512×M的融合特征向量FT。
步骤S3具体包括以下步骤：
S31、输入当前帧的特征向量FT、检测框信息DT和前一帧的特征向量FT-1、轨迹信息TT-1，计算相似度矩阵，求得基于检测框的置信度、目标再出现与消失的概率分数；
S32、将数据关联看成是线性规划问题，在两帧检测框的条件下，利用线性规划求解器求出最优解；
S33、通过最优解为两帧内所有的检测框赋予连续的ID号、找到相关联的检测框分配相同的ID号、找出新出现的目标赋予新的连续的ID号，以实现两帧内目标跟踪；
S34、将已经匹配上的目标和新目标连接到历史跟踪轨迹中，以实现连续帧内的多目标跟踪。
步骤S31中，所述相似度矩阵利用图卷积网络进行计算。
步骤S31中，利用卷积网络对输入的图像特征和点云特征进行预测，预测每一个检测框属于车辆的概率，即基于检测框的置信度。
步骤S31中，所述目标再出现与消失的概率分数通过预测网络求得。
与现有技术相比，本发明的有益效果为：
1、本发明一种基于深度学习的无人驾驶场景下的多目标跟踪方法中，联合图像数据的语义信息和点云数据的几何信息进行目标跟踪，利用图像数据的语义信息对目标的属性进行识别，利用激光点云的集合信息改善目标遮挡问题；同时，为了增强匹配特征的判别能力，确保提取的特征能够解释目标的完整轮廓，以VGG16网络和PointNet网络为基础，分别对基于图像的二维检测框和基于点云的三维检测框进行特征提取。因此，本发明不仅提升了目标跟踪的精度，而且解决了复杂场景下目标间的遮挡问题。
2、本发明一种基于深度学习的无人驾驶场景下的多目标跟踪方法中，利用图卷积网络实现了相邻帧目标间的相似度计算，网络通过不断的学习来输出更加准确的目标间的相似度。因此，本发明准确度高。
3、本发明一种基于深度学习的无人驾驶场景下的多目标跟踪方法中，针对点云数据的特征提取，考虑到提取的数据为目标本身，高维特征中包含的信息对于后续关联阶段来说都是有价值的，所以将原PointNet模型中的最大池化操作换成了平均池化操作，以聚合高维空间中每一点的信息；针对图像数据的特征提取，在保留VGG16主干网络的基础上，额外添加了四个横向连接的小型子网络，用于实现高低层特征的融合。因此，本发明特征提取准确度高。
4、本发明一种基于深度学习的无人驾驶场景下的多目标跟踪方法中，考虑到太阳光强烈时RGB信息表征能力不足、在阴雨天气下点云信息可能丢失的情况，引入空间注意力模块，让网络自主学习到当前时刻输入特征的相对重要性，以实现更好的目标特征表达。因此，本发明目标特征表达效果好。
附图说明
图1是本发明的结构框图。
图2是本发明中目标检测算法的流程图。
图3是本发明中图像特征提取网络示意图。
图4是本发明中点云特征提取网络示意图。
图5是本发明中多源特征融合示意图。
图6是本发明中利用图卷积网络计算相似度的示意图。
图7是本发明中预测网络的示意图。
具体实施方式
以下结合附图说明和具体实施方式对本发明作进一步详细的说明。
参见图1至图7，一种基于深度学习的无人驾驶场景下的多目标跟踪方法，该方法包括以下步骤：
S1、通过三维目标检测模型PointPillars对无人驾驶场景下的车辆进行检测，得到基于图像的二维检测框和基于点云的三维检测框；
S2、以VGG16网络和PointNet网络为基础，分别对基于图像的二维检测框和基于点云的三维检测框进行特征提取，得到图像特征向量和点云特征向量，然后将图像特征向量和点云特征向量进行融合得到融合特征向量；
S3、通过当前帧的融合特征向量、检测框信息和前一帧的融合特征向量、轨迹信息计算得到目前跟踪到的轨迹信息。
步骤S1中，先在三维空间内对点云数据集合按照等尺寸柱均匀划分，提取柱内点云特征生成伪图像，再利用二维卷积神经网络提取伪图像的特征，然后通过检测头对目标对象进行三维边界框的生成与回归，得到基于点云的三维检测框。
步骤S1中，通过点云坐标系和图像坐标系之间的转换实现从三维到二维的投影，得到基于图像的二维检测框。
步骤S2中，对基于图像的二维检测框进行特征提取包括以下步骤：
先输入大小为224×224×3×M的图像数据集合，其中，M为当前图片中检测框的数量，再通过上采样处理后在不同卷积层分别输出分辨率为56×56×128×M、28×28×256×M、14×14×512×M、7×7×512×M的四个特征向量，然后通过横向连接的四个子网络再依次处理上述四个特征向量，最后输出大小为1×512×M的图像特征向量f2D。
步骤S2中，对基于点云的三维检测框进行特征提取包括以下步骤：
先输入大小为1×3×L的点云数据集合，然后经过点云对齐、MLP特征映射以及平均池化操作后输出大小为1×512×M的点云特征向量f3D。
步骤S2中，通过以下步骤得到融合特征向量：
将图像特征向量f2D和点云特征向量f3D一起输入到基于注意力机制的特征融合模块，通过不同的权重分配来有效的结合图像特征和点云特征，最终输出大小为1×512×M的融合特征向量FT。
步骤S3具体包括以下步骤：
S31、输入当前帧的特征向量FT、检测框信息DT和前一帧的特征向量FT-1、轨迹信息TT-1，计算相似度矩阵，求得基于检测框的置信度、目标再出现与消失的概率分数；
S32、将数据关联看成是线性规划问题，在两帧检测框的条件下，利用线性规划求解器求出最优解；
S33、通过最优解为两帧内所有的检测框赋予连续的ID号、找到相关联的检测框分配相同的ID号、找出新出现的目标赋予新的连续的ID号，以实现两帧内目标跟踪；
S34、将已经匹配上的目标和新目标连接到历史跟踪轨迹中，以实现连续帧内的多目标跟踪。
步骤S31中，所述相似度矩阵利用图卷积网络进行计算。
步骤S31中，利用卷积网络对输入的图像特征和点云特征进行预测，预测每一个检测框属于车辆的概率，即基于检测框的置信度。
步骤S31中，所述目标再出现与消失的概率分数通过预测网络求得。
本发明的原理说明如下：
本设计利用机器学习和深度神经网络的方法建立端到端的跟踪系统，解决视频动态目标跟踪的问题。本设计提出的模型依旧遵循目前基于深度学习的多目标跟踪方法的主流框架：Tracking-by-Detection，框架一共可分为三个阶段：三维目标检测、多源特征提取与融合、数据关联与跟踪。
实施例：
参见图1至图7，一种基于深度学习的无人驾驶场景下的多目标跟踪方法，该方法包括以下步骤：
S1、通过三维目标检测模型PointPillars对无人驾驶场景下的车辆进行检测，得到基于图像的二维检测框和基于点云的三维检测框；
先在三维空间内对点云数据集合按照等尺寸柱均匀划分，提取柱内点云特征生成伪图像，再利用二维卷积神经网络提取伪图像的特征，然后通过检测头对目标对象进行三维边界框的生成与回归，得到基于点云的三维检测框；
通过点云坐标系和图像坐标系之间的转换实现从三维到二维的投影，得到基于图像的二维检测框；
S2、以VGG16网络和PointNet网络为基础，分别对基于图像的二维检测框和基于点云的三维检测框进行特征提取，得到图像特征向量和点云特征向量，然后将图像特征向量和点云特征向量进行融合得到融合特征向量；
对基于图像的二维检测框进行特征提取包括以下步骤：先输入大小为224×224×3×M的图像数据集合，其中，M为当前图片中检测框的数量，再通过上采样处理后在不同卷积层分别输出分辨率为56×56×128×M、28×28×256×M、14×14×512×M、7×7×512×M的四个特征向量，然后通过横向连接的四个子网络再依次处理上述四个特征向量，最后输出大小为1×512×M的图像特征向量f2D；
对基于点云的三维检测框进行特征提取包括以下步骤：先输入大小为1×3×L的点云数据集合，然后经过点云对齐、MLP特征映射以及平均池化操作后输出大小为1×512×M的点云特征向量f3D；
通过以下步骤得到融合特征向量：将图像特征向量f2D和点云特征向量f3D一起输入到基于注意力机制的特征融合模块，通过不同的权重分配来有效的结合图像特征和点云特征，最终输出大小为1×512×M的融合特征向量FT；
S3、通过当前帧的融合特征向量、检测框信息和前一帧的融合特征向量、轨迹信息计算得到目前跟踪到的轨迹信息；
S31、输入当前帧的特征向量FT、检测框信息DT和前一帧的特征向量FT-1、轨迹信息TT-1，利用图卷积网络计算相似度矩阵；利用卷积网络对输入的图像特征和点云特征进行预测，预测每一个检测框属于车辆的概率，即基于检测框的置信度；通过预测网络求得目标再出现与消失的概率分数；
S32、将数据关联看成是线性规划问题，在两帧检测框的条件下，利用线性规划求解器求出最优解；
S33、通过最优解为两帧内所有的检测框赋予连续的ID号、找到相关联的检测框分配相同的ID号、找出新出现的目标赋予新的连续的ID号，以实现两帧内目标跟踪；
S34、将已经匹配上的目标和新目标连接到历史跟踪轨迹中，以实现连续帧内的多目标跟踪。
Claims (10)
1.一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于，该方法包括以下步骤：
S1、通过三维目标检测模型PointPillars对无人驾驶场景下的车辆进行检测，得到基于图像的二维检测框和基于点云的三维检测框；
S2、以VGG16网络和PointNet网络为基础，分别对基于图像的二维检测框和基于点云的三维检测框进行特征提取，得到图像特征向量和点云特征向量，然后将图像特征向量和点云特征向量进行融合得到融合特征向量；
S3、通过当前帧的融合特征向量、检测框信息和前一帧的融合特征向量、轨迹信息计算得到目前跟踪到的轨迹信息。
2.根据权利要求1所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S1中，先在三维空间内对点云数据集合按照等尺寸柱均匀划分，提取柱内点云特征生成伪图像，再利用二维卷积神经网络提取伪图像的特征，然后通过检测头对目标对象进行三维边界框的生成与回归，得到基于点云的三维检测框。
3.根据权利要求2所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S1中，通过点云坐标系和图像坐标系之间的转换实现从三维到二维的投影，得到基于图像的二维检测框。
4.根据权利要求3所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S2中，对基于图像的二维检测框进行特征提取包括以下步骤：
先输入大小为224×224×3×M的图像数据集合，其中，M为当前图片中检测框的数量，再通过上采样处理后在不同卷积层分别输出分辨率为56×56×128×M、28×28×256×M、14×14×512×M、7×7×512×M的四个特征向量，然后通过横向连接的四个子网络再依次处理上述四个特征向量，最后输出大小为1×512×M的图像特征向量f2D。
5.根据权利要求4所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S2中，对基于点云的三维检测框进行特征提取包括以下步骤：
先输入大小为1×3×L的点云数据集合，然后经过点云对齐、MLP特征映射以及平均池化操作后输出大小为1×512×M的点云特征向量f3D。
6.根据权利要求5所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S2中，通过以下步骤得到融合特征向量：
将图像特征向量f2D和点云特征向量f3D一起输入到基于注意力机制的特征融合模块，通过不同的权重分配来有效的结合图像特征和点云特征，最终输出大小为1×512×M的融合特征向量FT。
7.根据权利要求6所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S3具体包括以下步骤：
S31、输入当前帧的特征向量FT、检测框信息DT和前一帧的特征向量FT-1、轨迹信息TT-1，计算相似度矩阵，求得基于检测框的置信度、目标再出现与消失的概率分数；
S32、将数据关联看成是线性规划问题，在两帧检测框的条件下，利用线性规划求解器求出最优解；
S33、通过最优解为两帧内所有的检测框赋予连续的ID号、找到相关联的检测框分配相同的ID号、找出新出现的目标赋予新的连续的ID号，以实现两帧内目标跟踪；
S34、将已经匹配上的目标和新目标连接到历史跟踪轨迹中，以实现连续帧内的多目标跟踪。
8.根据权利要求7所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S31中，所述相似度矩阵利用图卷积网络进行计算。
9.根据权利要求7所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S31中，利用卷积网络对输入的图像特征和点云特征进行预测，预测每一个检测框属于车辆的概率，即基于检测框的置信度。
10.根据权利要求7所述的一种基于深度学习的无人驾驶场景下的多目标跟踪方法，其特征在于：步骤S31中，所述目标再出现与消失的概率分数通过预测网络求得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110517071.9A CN113468950A (zh) | 2021-05-12 | 2021-05-12 | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110517071.9A CN113468950A (zh) | 2021-05-12 | 2021-05-12 | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113468950A true CN113468950A (zh) | 2021-10-01 |
Family
ID=77870766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110517071.9A Pending CN113468950A (zh) | 2021-05-12 | 2021-05-12 | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468950A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119671A (zh) * | 2021-12-01 | 2022-03-01 | 清华大学 | 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 |
| CN114549578A (zh) * | 2021-11-05 | 2022-05-27 | 北京小米移动软件有限公司 | 目标跟踪方法、装置及存储介质 |
| CN114758337A (zh) * | 2022-06-16 | 2022-07-15 | 山东海量信息技术研究院 | 一种语义实例重建方法、装置、设备及介质 |
| CN114972434A (zh) * | 2022-06-06 | 2022-08-30 | 电子科技大学 | 一种级联检测和匹配的端到端多目标跟踪系统 |
| CN116168062A (zh) * | 2023-04-21 | 2023-05-26 | 深圳佑驾创新科技有限公司 | 一种3d目标跟踪方法及装置 |
| CN116523970A (zh) * | 2023-07-05 | 2023-08-01 | 之江实验室 | 基于二次隐式匹配的动态三维目标跟踪方法及装置 |
| CN116755441A (zh) * | 2023-06-19 | 2023-09-15 | 国广顺能(上海)能源科技有限公司 | 移动机器人的避障方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228570A (zh) * | 2016-07-08 | 2016-12-14 | 百度在线网络技术（北京）有限公司 | 一种真值数据确定方法和装置 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| US20200086879A1 (en) * | 2018-09-14 | 2020-03-19 | Honda Motor Co., Ltd. | Scene classification prediction |
| CN111291714A (zh) * | 2020-02-27 | 2020-06-16 | 同济大学 | 一种基于单目视觉和激光雷达融合的车辆检测方法 |
| CN112200129A (zh) * | 2020-10-28 | 2021-01-08 | 中国人民解放军陆军航空兵学院陆军航空兵研究所 | 一种基于深度学习的三维目标检测方法、装置及终端设备 |
| CN112257637A (zh) * | 2020-10-30 | 2021-01-22 | 福州大学 | 一种融合点云和多视图的车载激光点云多目标识别方法 |
-
2021
- 2021-05-12 CN CN202110517071.9A patent/CN113468950A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228570A (zh) * | 2016-07-08 | 2016-12-14 | 百度在线网络技术（北京）有限公司 | 一种真值数据确定方法和装置 |
| US20200086879A1 (en) * | 2018-09-14 | 2020-03-19 | Honda Motor Co., Ltd. | Scene classification prediction |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN111291714A (zh) * | 2020-02-27 | 2020-06-16 | 同济大学 | 一种基于单目视觉和激光雷达融合的车辆检测方法 |
| CN112200129A (zh) * | 2020-10-28 | 2021-01-08 | 中国人民解放军陆军航空兵学院陆军航空兵研究所 | 一种基于深度学习的三维目标检测方法、装置及终端设备 |
| CN112257637A (zh) * | 2020-10-30 | 2021-01-22 | 福州大学 | 一种融合点云和多视图的车载激光点云多目标识别方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549578A (zh) * | 2021-11-05 | 2022-05-27 | 北京小米移动软件有限公司 | 目标跟踪方法、装置及存储介质 |
| WO2023077754A1 (zh) * | 2021-11-05 | 2023-05-11 | 北京小米移动软件有限公司 | 目标跟踪方法、装置及存储介质 |
| CN114119671B (zh) * | 2021-12-01 | 2022-09-09 | 清华大学 | 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 |
| CN114119671A (zh) * | 2021-12-01 | 2022-03-01 | 清华大学 | 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 |
| CN114972434A (zh) * | 2022-06-06 | 2022-08-30 | 电子科技大学 | 一种级联检测和匹配的端到端多目标跟踪系统 |
| CN114758337B (zh) * | 2022-06-16 | 2022-10-28 | 山东海量信息技术研究院 | 一种语义实例重建方法、装置、设备及介质 |
| CN114758337A (zh) * | 2022-06-16 | 2022-07-15 | 山东海量信息技术研究院 | 一种语义实例重建方法、装置、设备及介质 |
| WO2023241097A1 (zh) * | 2022-06-16 | 2023-12-21 | 山东海量信息技术研究院 | 一种语义实例重建方法、装置、设备及介质 |
| CN116168062A (zh) * | 2023-04-21 | 2023-05-26 | 深圳佑驾创新科技有限公司 | 一种3d目标跟踪方法及装置 |
| CN116168062B (zh) * | 2023-04-21 | 2023-09-29 | 深圳佑驾创新科技股份有限公司 | 一种3d目标跟踪方法及装置 |
| CN116755441A (zh) * | 2023-06-19 | 2023-09-15 | 国广顺能(上海)能源科技有限公司 | 移动机器人的避障方法、装置、设备及介质 |
| CN116755441B (zh) * | 2023-06-19 | 2024-03-12 | 国广顺能(上海)能源科技有限公司 | 移动机器人的避障方法、装置、设备及介质 |
| CN116523970A (zh) * | 2023-07-05 | 2023-08-01 | 之江实验室 | 基于二次隐式匹配的动态三维目标跟踪方法及装置 |
| CN116523970B (zh) * | 2023-07-05 | 2023-10-20 | 之江实验室 | 基于二次隐式匹配的动态三维目标跟踪方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113468950A (zh) | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 | |
| Shin et al. | Roarnet: A robust 3d object detection based on region approximation refinement | |
| CN109597087B (zh) | 一种基于点云数据的3d目标检测方法 | |
| Yu et al. | Vehicle detection and localization on bird's eye view elevation images using convolutional neural network | |
| US20170316569A1 (en) | Robust Anytime Tracking Combining 3D Shape, Color, and Motion with Annealed Dynamic Histograms | |
| CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
| CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
| Vaquero et al. | Dual-branch CNNs for vehicle detection and tracking on LiDAR data | |
| CN113744311A (zh) | 基于全连接注意力模块的孪生神经网络运动目标跟踪方法 | |
| Shreyas et al. | 3D object detection and tracking methods using deep learning for computer vision applications | |
| WO2024114119A1 (zh) | 一种基于双目相机引导的传感器融合方法 | |
| Wang et al. | Unsupervised learning of 3d scene flow from monocular camera | |
| CN117519168A (zh) | 一种基于视觉图像和激光雷达的机器人导航避障方法 | |
| Bieder et al. | Exploiting multi-layer grid maps for surround-view semantic segmentation of sparse lidar data | |
| Safadoust et al. | Self-supervised monocular scene decomposition and depth estimation | |
| CN112950786A (zh) | 一种基于神经网络的车辆三维重建方法 | |
| Wirges et al. | Self-supervised flow estimation using geometric regularization with applications to camera image and grid map sequences | |
| Zhao et al. | DHA: Lidar and vision data fusion-based on road object classifier | |
| Cao et al. | Mchformer: A multi-cross hybrid former of point-image for 3d object detection | |
| Cheng et al. | G-Fusion: LiDAR and Camera Feature Fusion on the Ground Voxel Space | |
| Wang et al. | Multi-3D-object tracking by fusing RGB and 3D-LiDAR data | |
| Zhou et al. | An anti-occlusion tracking system for UAV imagery based on Discriminative Scale Space Tracker and Optical Flow | |
| Golla et al. | Moving object detection with photometric monocular slam on a moving ego-platform | |
| Zuo et al. | Frustum fusionnet: Amodal 3d object detection with multi-modal feature fusion | |
| Li et al. | RF-LOAM: Robust and Fast LiDAR Odometry and Mapping in Urban Dynamic Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |
|
| RJ01 | Rejection of invention patent application after publication |