CN113963168B - 一种改进的高精度端到端车辆多目标跟踪方法 - Google Patents

一种改进的高精度端到端车辆多目标跟踪方法 Download PDF

Info

Publication number
CN113963168B
CN113963168B CN202111349929.1A CN202111349929A CN113963168B CN 113963168 B CN113963168 B CN 113963168B CN 202111349929 A CN202111349929 A CN 202111349929A CN 113963168 B CN113963168 B CN 113963168B
Authority
CN
China
Prior art keywords
target
attention
data set
frame
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111349929.1A
Other languages
English (en)
Other versions
CN113963168A (zh
Inventor
鲍泓
徐歆恺
宁晴
付一豪
王晨曦
潘卫国
徐成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Union University
Original Assignee
Beijing Union University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Union University filed Critical Beijing Union University
Priority to CN202111349929.1A priority Critical patent/CN113963168B/zh
Publication of CN113963168A publication Critical patent/CN113963168A/zh
Application granted granted Critical
Publication of CN113963168B publication Critical patent/CN113963168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种改进的高精度端到端车辆多目标跟踪方法，包括：基于改进的Faster R‑CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配。本发明改进了Quasi‑Dense跟踪方法，结合了注意力机制、自适应等思想，提升模型对于尺度变化较大的目标检测和跟踪的能力，在网络结构中使用空间注意力机制，同时在设定锚框时使用启发式方法，改进模型的跟踪效果，有效的降低了跟踪时ID切换的次数。

Description

一种改进的高精度端到端车辆多目标跟踪方法
技术领域
本发明涉及自动驾驶多目标跟踪技术领域，具体是一种改进的高精度端到端车辆多目标跟踪方法。
背景技术
多目标跟踪是计算机视觉的一个关键问题，通常用于无人驾驶领域，通过跟踪车辆附近目标的运动，实时并且准确地判断周围车辆以及行人轨迹，为无人驾驶决策模块提供数据支持，并在危险发生前及时减速避让，尽可能避免交通事故。
多目标跟踪通常基于先检测后跟踪的多目标跟踪框架，主要包括目标检测、特征提取、目标关联三个部分。随着检测技术的发展，基于检测的多目标跟踪算法发展较快，比如sort跟踪器使用简单的卡尔曼滤波逐帧处理数据关联，并使用匈牙利算法进行目标匹配。DeepSort模型在sort跟踪器的基础上改进，使用卷积神经网络完成重识别，提取目标表观特征进行最近邻匹配，在改善遮挡问题的同时，减轻了身份识别错误的现象；并在被检测目标与跟踪轨迹关联问题上使用级联匹配方法，对出现频率较为频繁的目标赋予优先匹配权，解决连续预测的概率弥散问题。
基于检测方法的三个模块(目标检测、特征提取、目标关联)是相互独立的，使得这种方法跟踪时间较长且无法进行全局优化，很多研究者对端到端跟踪方法展开了研究。端到端跟踪方法不再将检测和跟踪看成两个独立的步骤，而是将检测和跟踪联合优化，典型的工作包括Detect&Track模型、Tracktor以及Quasi-Dense等。Detect&Track模型采用基于相关性的回归跟踪器完成跟踪，完成了目标检测和跟踪工作的联合优化，Tracktor直接采用探测器进行跟踪，但它高度依赖于小的先验跨框架位移，本发明提出的基于Faster R-CNN算法的Quasi-Dense跟踪方法提出了准稠密匹配方法，只将对象与特征嵌入相关联，具有更好的精度。
发明内容
本发明提出一种改进的高精度端到端多目标车辆跟踪方法，针对无人驾驶场景下，车辆多目标跟踪中跟踪标识错配问题，改进Quasi-Dense端到端跟踪方法的网络结构，提高模型跟踪的精度。
为实现上述目的，本发明提供了如下方案：
一种改进的高精度端到端车辆多目标跟踪方法，包括：
基于改进的Faster R-CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配。
优选的，在所述改进的Faster R-CNN模型中，骨干网络采用resnet50网络结构，用于提取输入图像的卷积特征，得到特征图。
优选的，对所述resnet50网络结构中的可变卷积与仅使用键值内容特征的Transformer组合模块进行整合，并应用在所述骨干网络中conv4和conv5矩阵卷积运算中。
优选的，对所述可变卷积与仅使用键值内容特征的Transformer组合模块进行整合的过程包括：
以Quasi-Dense作为基线，在所述骨干网络中加入空间注意力机制，基于所述空间注意力机制，计算所述可变卷积和Transformer组合模块的多头注意力特征，在所述可变卷积中调整元素的采样位置，得到每个查询键值对的注意力权重。
优选的，所述多头注意力特征的表达式为：
Figure GDA0003627633880000031
其中，待查元素的索引和内容分别为q和zq，键值元素的索引和内容分别为k和xk，m索引注意力头，待查元素相关的键值区域为Ωq，第m个注意力的权重为Am(q,k,zq,xk)，待学习的权重为Wm和W′m，M表示注意力头数量，取8。
优选的，所述Transformer组合模块将所述多头注意力特征拆分为四个不同的注意力因素，基于所述四个不同的注意力因素的和，计算所述每个查询键值对的注意力权重，其表达式为：
Figure GDA0003627633880000032
其中，待查元素的索引和内容分别为q和zq，键值元素的索引和内容分别为k和xk，m为索引注意力头，第m个Transformer注意力的权重用
Figure GDA0003627633880000033
表示，注意力因素用εj表示，在注意力模块中引入了手动开关，来激活或者关闭四个不同注意力因素的某一项，用
Figure GDA0003627633880000041
来表示，
Figure GDA0003627633880000042
的取值范围为{0,1}。
优选的，将所述目标检测数据集输入到区域生成网络模块中进行相似度学习的过程为：
基于启发式方法在所述区域生成网络模块中设定锚框，得到带有锚框的目标检测数据集，对所述带有锚框的目标检测数据集进行训练，得到关键帧图像和参考帧图像，对所述关键帧图像和所述参考帧图像中的目标进行相似度学习，得到所述待匹配的候选目标数据集。
优选的，在所述区域生成网络模块中设定锚框的方法包括：
用四维向量(x,y,w,h)表示目标的位置，空间坐标中心点用(x,y)表示，(w,h)分别表示目标的宽度和高度，待匹配的候选目标数据集图像用I表示，目标的位置分布的公式为：
p(x,y,w,h∣I)＝p(x,y∣I)p(w,h∣x,y,I)；
基于所述目标的位置分布结果，对所述锚框的形状进行预测，对输入的目标数据图像做一个1×1卷积后执行sigmoid函数，得到概率值p(x,y|I)；
优选的，得到所述概率值p(x,y|I)后，对所述锚框的宽w‘和高h‘进行预测，其转换公式为：
w‘＝σ·s·edw,h‘＝σ·s·edh
其中，s表示步长，σ表示经验尺度因子，dw为特征图中每个元素的宽，edw表示对dw求以数学常数e为底的指数，dh为特征图中每个元素的高，edh为对dh求以数学常数e为底的指数。
优选的，基于双向softmax函数对所述待匹配的候选目标数据集进行匹配，其中，所述双向softmax函数的表达式为：
Figure GDA0003627633880000051
其中，当前帧中有N个目标，特征用n表示，过去的x'帧中有M‘个候选目标，特征用m‘表示，当前帧中第i'个目标与过去x'帧中第j'个目标的相似度用f(i',j')表示，ni'表示当前帧中第i'个目标的特征，nk′表示当前帧中第k′个目标的特征，m‘j'表示第j'个候选目标的特征，m‘k′表示第k′个候选目标的特征。
本发明的有益效果为：
本发明针对无人驾驶场景下，车辆多目标跟踪中跟踪标识错配问题，改进Quasi-Dense端到端跟踪方法的网络结构，提高模型跟踪的精度。本发明还结合了注意力机制、自适应等思想，提升模型对于尺度变化较大的目标检测和跟踪的能力，在网络结构中使用空间注意力机制，同时在设定锚框时使用启发式方法，改进模型的跟踪效果，有效的降低了跟踪时ID切换的次数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例改进的Faster R-CNN网络结构示意图；
图2为本发明实施例中Transformer组合模块示意图；
图3为本发明方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
针对无人驾驶场景下，车辆多目标跟踪中跟踪标识错配问题，改进Quasi-Dense端到端跟踪方法的网络结构，提高模型跟踪的精度。检测部分使用改进的Faster R-CNN算法检测车辆；跟踪部分直接使用区域生成网络生成的候选框进行训练，对关键帧和参考帧中的目标进行相似度学习，之后使用简单的最近邻匹配方法来完成不同目标的匹配。在检测部分骨干网络中加入空间注意力机制，在区域生成网络中，使用启发式方法来完成锚框的设定，网络结构如附图1所示。
本实施例硬件环境的处理器为Intel(R)Xeon(R)Silver 4110 CPU@2.10GHz，内存为64GB，显卡为GeForce RTX 2080Ti×4，Ubuntu16.04LTS操作系统。
基于改进的Faster R-CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配。方法流程图如附图3所示。
在改进的Faster R-CNN模型中，骨干网络采用resnet50网络结构，可变卷积与仅使用键值内容特征的Transformer组合模块，在骨干网络中将组合模块整合，应用在conv4和conv5阶段。
步骤1.1：以Quasi-Dense作为基线，在所述骨干网络中加入空间注意力机制，基于所述空间注意力机制，计算所述可变卷积和Transformer组合模块的多头注意力特征，在所述可变卷积中调整元素的采样位置，得到每个查询键值对的注意力权重。
在空间注意力中将Transformer、可变卷积均看作是广义注意力公式的实例化，多头注意力特征的通用表达公式：
Figure GDA0003627633880000071
其中，待查元素的索引和内容分别用q和zq表示，键值元素的索引和内容分别用k和xk表示，用m索引注意力头，待查元素相关的键值区域用Ωq表示，第m个注意力的权重用Am(q,k,zq,xk)表示，待学习的权重用Wm和Wm'表示。本实施例中使用的注意力包括8个注意力头，即M＝8。
步骤1.2：Transformer将注意力权重拆为四项：ε1包括两部分：待查询目标的内容特征、键值内容特征；ε2包括两部分：待查询目标的内容特征、待查询目标与键值的相对位置；ε3只包括一部分内容，就是键值的内容特征；ε4只包括一部分内容，就是待查询目标与键值的相对位置，Transformer基于四个不同注意力因素的和来计算每个查询键值对的注意力权重，表达式为：
Figure GDA0003627633880000081
在注意力模块中引入了手动开关，来激活或者关闭四个不同注意力因素的某一项，用m索引注意力头，第m个Transformer注意力的权重用
Figure GDA0003627633880000082
表示，注意力因素用εj表示，四个不同的注意力因素分别为ε1，ε2，ε3，ε4，在注意力模块中引入了手动开关，来激活或者关闭四个不同注意力因素的某一项，用
Figure GDA0003627633880000083
来表示，
Figure GDA0003627633880000084
的取值范围是{0,1}，激活用1表示，不使用该项注意力因素用0表示，这里仅激活ε3。
步骤1.3：在可变卷积中，增加了可学习的偏移量来调整关键元素的采样位置，可学习的偏移量是依据待查询内容来预测的，对于输入来讲注意力权重是动态的，注意力权重的表达式：
Figure GDA0003627633880000085
其中用m索引注意力头，第m个可变卷积注意力头用
Figure GDA0003627633880000086
表示，待查元素的索引和内容分别用q和zq表示，键值元素的索引用k表示，预定偏移量用pm表示，
Figure GDA0003627633880000087
根据可学习变量wm将待查询内容zq变换为可变偏移量，函数G是双线性插值核函数。
在本实施例中，可变卷积与仅使用键值内容特征ε3的Transformer组合模块如图2所示，在骨干网络中将组合模块整合，应用在conv4和conv5阶段。
基于启发式方法在所述区域生成网络模块中设定锚框，得到带有锚框的目标检测数据集，对所述带有锚框的目标检测数据集进行训练，得到关键帧图像和参考帧图像，对所述关键帧图像和所述参考帧图像中的目标进行相似度学习，得到所述待匹配的候选目标数据集。
步骤2：在区域生成网络模块使用启发式方法设定锚框。
步骤2.1、用四维向量(x,y,w,h)表示目标的位置和形状，空间坐标中心点用(x,y)表示，(w,h)分别表示目标的宽度和高度，待匹配的候选目标数据集图像用I表示，目标位置分布的公式为：
p(x,y,w,h∣I)＝p(x,y∣I)p(w,h∣x,y,I)；
基于所述目标形状和位置的分布结果，对所述锚框的形状进行预测，对输入的目标数据图像做一个1×1卷积后执行sigmoid函数，得到概率值p(x,y|I)。
得到所述概率值p(x,y|I)后，对所述锚框的宽w‘和高h‘进行预测，其转换公式为：
w‘＝σ·s·edw,h‘＝σ·s·edh
其中，s表示步长，σ表示经验尺度因子，取8，dw为特征图中每个元素的宽，edw表示对dw求以数学常数e为底的指数，dh为特征图中每个元素的高，edh为对dh求以数学常数e为底的指数。
在本实施例中，每个位置都只与一个逐步预测形状的锚框相关联，而不是预先设定形状的锚框，锚框大小更加灵活。
启发式设定锚框的方法在生成锚框时通过两部分来完成：位置预测、形状预测，增加了启发式设定锚框的区域生成网络可以获得高质量的候选框。
步骤3：对所述带有锚框的目标检测数据集进行训练，得到关键帧图像和参考帧图像，对所述关键帧图像和所述参考帧图像中的目标进行相似度学习。
步骤4：对关键帧图像和参考帧图像中的目标进行相似度学习，给定一个关键帧，随机选择一个参考帧，两帧之间的距离为k，k∈[-3,3]。
步骤5：对不同目标的匹配使用双向softmax，在匹配过程中通过双向匹配来解决误报、身份标识错配、新出现对象以及终止的轨迹的问题，在t帧有N个检测的目标，N个目标的特征用n表示，过去的x'帧中有M‘个候选目标，特征用m‘表示，当前帧中第i'个目标与过去x'帧中第j'个目标的相似度用f(i',j')表示，ni'表示当前帧中第i'个目标的特征，nk′表示当前帧中第k′个目标的特征，m‘j'表示第j'个候选目标的特征，m‘k′表示第k′个候选目标的特征，双向softmax的表达式为：
Figure GDA0003627633880000101
本发明针对无人驾驶场景下，车辆多目标跟踪中跟踪标识错配问题，改进Quasi-Dense端到端跟踪方法的网络结构，提高模型跟踪的精度。本发明还结合了注意力机制、自适应等思想，提升模型对于尺度变化较大的目标检测和跟踪的能力，在网络结构中使用空间注意力机制，同时在设定锚框时使用启发式方法，改进模型的跟踪效果，有效的降低了跟踪时ID切换的次数。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (2)

1.一种改进的高精度端到端车辆多目标跟踪方法，其特征在于，包括：
基于改进的Faster R-CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配；
在所述改进的Faster R-CNN模型中，骨干网络采用resnet50网络结构，用于提取输入图像的卷积特征，得到特征图；
对所述resnet50网络结构中的可变卷积与仅使用键值内容特征的Transformer组合模块进行整合，并应用在所述骨干网络中conv4和conv5矩阵卷积运算中；
对所述可变卷积与仅使用键值内容特征的Transformer组合模块进行整合的过程包括：
以Quasi-Dense作为基线，在所述骨干网络中加入空间注意力机制，基于所述空间注意力机制，计算所述可变卷积和Transformer组合模块的多头注意力特征，在所述可变卷积中调整元素的采样位置，得到每个查询键值对的注意力权重；
所述多头注意力特征的表达式为：
Figure FDA0003627633870000011
其中，待查元素的索引和内容分别为q和zq，键值元素的索引和内容分别为k和xk，m索引注意力头，待查元素相关的键值区域为Ωq，第m个注意力的权重为Am(q,k,zq,xk)，待学习的权重为Wm和W′m，M表示注意力头数量，取8；
所述Transformer组合模块将所述多头注意力特征拆分为四个不同的注意力因素，基于所述四个不同的注意力因素的和，计算所述每个查询键值对的注意力权重，其表达式为：
Figure FDA0003627633870000021
其中，第m个Transformer注意力的权重用
Figure FDA0003627633870000022
表示，注意力因素用εj表示，在注意力模块中引入了手动开关，来激活或者关闭四个不同注意力因素的某一项，用
Figure FDA0003627633870000023
来表示，
Figure FDA0003627633870000024
的取值范围为{0,1}；其中，所述四个不同注意力因素包括ε1：待查询目标的内容特征、键值内容特征；ε2：待查询目标的内容特征、待查询目标与键值的相对位置；ε3：键值的内容特征；ε4：待查询目标与键值的相对位置；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习的过程为：
基于启发式方法在所述区域生成网络模块中设定锚框，得到带有锚框的目标检测数据集，对所述带有锚框的目标检测数据集进行训练，得到关键帧图像和参考帧图像，对所述关键帧图像和所述参考帧图像中的目标进行相似度学习，得到所述待匹配的候选目标数据集；
在所述区域生成网络模块中设定锚框的方法包括：
用四维向量(x,y,w,h)表示目标的位置，空间坐标中心点用(x,y)表示，(w,h)分别表示目标的宽度和高度，待匹配的候选目标数据集图像用I表示，目标的位置分布的公式为：
p(x,y,w,h∣I)＝p(x,y∣I)p(w,h∣x,y,I)；
基于所述目标的位置分布结果，对所述锚框的形状进行预测，对输入的目标数据图像做一个1×1卷积后执行sigmoid函数，得到概率值p(x,y|I)；
得到所述概率值p(x,y|I)后，对所述锚框的宽w‘和高h‘进行预测，其转换公式为：
w‘＝σ·s·edw,h‘＝σ·s·edh
其中，s表示步长，σ表示经验尺度因子，dw为特征图中每个元素的宽，edw表示对dw求以数学常数e为底的指数，dh为特征图中每个元素的高，edh为对dh求以数学常数e为底的指数。
2.根据权利要求1所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，基于双向softmax函数对所述待匹配的候选目标数据集进行匹配，其中，所述双向softmax函数的表达式为：
Figure FDA0003627633870000031
其中，当前帧中有N个目标，特征用n表示，过去的x'帧中有M‘个候选目标，特征用m‘表示，当前帧中第i'个目标与过去x'帧中第j'个目标的相似度用f(i',j')表示，ni'表示当前帧中第i'个目标的特征，nk′表示当前帧中第k′个目标的特征，m‘j′表示第j′个候选目标的特征，m‘j′表示第k′个候选目标的特征。
CN202111349929.1A 2021-11-15 2021-11-15 一种改进的高精度端到端车辆多目标跟踪方法 Active CN113963168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111349929.1A CN113963168B (zh) 2021-11-15 2021-11-15 一种改进的高精度端到端车辆多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111349929.1A CN113963168B (zh) 2021-11-15 2021-11-15 一种改进的高精度端到端车辆多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113963168A CN113963168A (zh) 2022-01-21
CN113963168B true CN113963168B (zh) 2022-06-21

Family

ID=79470557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111349929.1A Active CN113963168B (zh) 2021-11-15 2021-11-15 一种改进的高精度端到端车辆多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113963168B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909461B1 (en) * 2020-05-08 2021-02-02 Google Llc Attention neural networks with locality-sensitive hashing
CN112819013A (zh) * 2021-01-29 2021-05-18 厦门大学 基于层内层间联合全局表示的图像描述方法
CN113297905A (zh) * 2021-04-19 2021-08-24 北京迈格威科技有限公司 一种目标跟踪方法、装置和电子系统
CN113326749A (zh) * 2021-05-17 2021-08-31 合肥高维数据技术有限公司 目标检测方法、装置以及存储介质、电子设备
CN113641875A (zh) * 2021-07-23 2021-11-12 江苏大学 一种基于自查询的用于无人车的多目标跟踪器及跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279576A1 (en) * 2020-03-03 2021-09-09 Google Llc Attention neural networks with talking heads attention

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909461B1 (en) * 2020-05-08 2021-02-02 Google Llc Attention neural networks with locality-sensitive hashing
CN112819013A (zh) * 2021-01-29 2021-05-18 厦门大学 基于层内层间联合全局表示的图像描述方法
CN113297905A (zh) * 2021-04-19 2021-08-24 北京迈格威科技有限公司 一种目标跟踪方法、装置和电子系统
CN113326749A (zh) * 2021-05-17 2021-08-31 合肥高维数据技术有限公司 目标检测方法、装置以及存储介质、电子设备
CN113641875A (zh) * 2021-07-23 2021-11-12 江苏大学 一种基于自查询的用于无人车的多目标跟踪器及跟踪方法

Also Published As

Publication number Publication date
CN113963168A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
Kraus et al. Uncertainty estimation in one-stage object detection
CN108447078B (zh) 基于视觉显著性的干扰感知跟踪算法
CN108573496B (zh) 基于lstm网络和深度增强学习的多目标跟踪方法
CN109165540B (zh) 一种基于先验候选框选择策略的行人搜索方法和装置
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
CN102609682B (zh) 一种针对感兴趣区域的反馈式行人检测方法
Piccoli et al. Fussi-net: Fusion of spatio-temporal skeletons for intention prediction network
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
CN104915970A (zh) 一种基于轨迹关联的多目标跟踪方法
US11880985B2 (en) Tracking multiple objects in a video stream using occlusion-aware single-object tracking
CN103886325A (zh) 一种分块的循环矩阵视频跟踪方法
CN107194950B (zh) 一种基于慢特征分析的多人跟踪方法
CN109284705A (zh) 一种交通监控视频的异常检测方法
CN112149665A (zh) 一种基于深度学习的高性能多尺度目标检测方法
CN110111370A (zh) 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法
CN113971688B (zh) 一种增强id重识别的无锚多目标跟踪方法
CN108664918B (zh) 基于背景感知相关滤波器的智能车辆前方行人跟踪方法
Li et al. Real-time monocular joint perception network for autonomous driving
Ray et al. An efficient approach for object detection and tracking of objects in a video with variable background
CN113963168B (zh) 一种改进的高精度端到端车辆多目标跟踪方法
CN110097579A (zh) 基于路面纹理上下文信息的多尺度车辆跟踪方法及装置
Thu et al. Pyramidal Part‐Based Model for Partial Occlusion Handling in Pedestrian Classification
Rashidan et al. Detection of different classes moving object in public surveillance using artificial neural network (ann)
CN115100246A (zh) 一种用于语言-视觉目标跟踪的跨模态检索方法及系统
KR20230060214A (ko) 인공지능 기반 영상 객체 추적 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant