CN111652910B - 一种基于对象空间关系的目标跟踪算法 - Google Patents
一种基于对象空间关系的目标跟踪算法 Download PDFInfo
- Publication number
- CN111652910B CN111652910B CN202010439523.1A CN202010439523A CN111652910B CN 111652910 B CN111652910 B CN 111652910B CN 202010439523 A CN202010439523 A CN 202010439523A CN 111652910 B CN111652910 B CN 111652910B
- Authority
- CN
- China
- Prior art keywords
- target
- track
- image
- frame
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于对象空间关系的目标跟踪算法,具体包括以下步骤:G1、以图像的特征和目标在图像中的位置作为输入,并利用五层卷积小网络来捕获两帧图像中目标的关联性,最终获得目标间的特征相似矩阵;G2、获取目标中心点的距离作为目标间的空间相似矩阵,将空间相似矩阵与特征相似矩阵做哈达玛积,同时计算目标的关联性,防止将表观特征相似性大但空间位置相距较远的目标进行错误关联,最终得到目标跟踪结果。本发明能够改善只利用目标表观特征的目标跟踪算法在目标表观特征相似性大而空间特征相似性小的场景下出现的跟踪效果降低的问题。
Description
技术领域
本发明涉及多目标跟踪的技术领域,特别涉及一种基于对象空间关系的目标跟踪算法。
背景技术
从本质上来说,人工智能就是在模拟人类处理问题的过程。在人类的感知系统中,对目标的感知不仅包括目标的表观特征(如颜色、纹理、形状等),还包括目标的空间位置及目标间的相对关系。根据这些表观特征和空间特征,人类很容易分辨两个目标是否是同一个物体。目前的多目标跟踪算法虽然利用卷积神经网络强大的信息捕捉能力取得了不错的跟踪效果,但从人类感知系统的角度来看,大多数多目标跟踪算法仅仅模拟了人类对目标表观特征的感知。因此,在目标表观特征相似性比较大的场景下,跟踪效果将会有所降低。
目前大部分多目标跟踪算法都基于判别式跟踪(tracking-by-detection)模式,即在检测的基础之上进行跟踪,判别式跟踪模式主要包含两个步骤:1)用目标检测算法检测出连续图像中的目标;2)用数据关联算法将检测到的目标与已存在的轨迹关联起来。在实际应用中,根据具体需求选择一阶段目标检测算法或两阶段目标检测算法,然后使用某种数据关联算法实现目标跟踪的目的。
在目标关联算法中,常用的是匈牙利算法及其变体。SORT利用Faster R-CNN作为目标检测算法,基于目标框位置和IOU的匈牙利算法作为数据关联算法,并结合卡尔曼滤波的预测状态,实现了实时多目标跟踪。然而由于SORT对物体遮挡问题几乎没有处理,导致频繁出现ID切换,降低了遮挡情况下跟踪的准确性。因此Deep Sort加入了一个小的表观特征提取模型来处理遮挡问题,并使用级联匹配来提高目标关联的精度,提升对遮挡目标的跟踪效果。
卷积神经网络在其他任务上的出色表现吸引了研究者们的目光,DAN利用VGG-16提取检测到的目标特征,摒弃传统数据关联算法,将卷积神经网络引入到数据关联任务上来。利用卷积神经网络强大的信息提取能力来捕获目标特征间的相似性,以达到目标跟踪的目的。然而,DAN使用1×1卷积沿目标表观特征向量的通道维度逐渐降维映射至一个二维矩阵,即为目标间表观特征相似矩阵。这个矩阵编码了目标间的特征相似性,却丢失了目标间的空间关系。
然而,目标间的空间关系对于目标跟踪来说不可忽视,只依据目标表观特征的相似性来决定目标间的关联性是比较片面的,当图像中两个目标的表观特征向量相似时,只利用目标表观特征的跟踪算法将产生疑惑,容易导致跟踪错误,例如当某一个目标一直在图像右下方静止不动,然而算法误认为它与图像左上方的一个目标有关联,因此如何考虑目标表观特征和空间关系在目标跟踪中的作用,以进一步提升目标跟踪的效果显得尤为重要。
发明内容
针对现有技术存在的上述问题,本发明的要解决的第一个技术问题是:为了提升目标跟踪的效果,本文提出了一种基于对象空间关系的目标跟踪算法,在目标表观特征相似矩阵上增加了目标对象的空间关系,来模拟人类对目标空间特征的感知。
本发明公开了一种基于对象空间关系的目标跟踪算法,其具体包括以下步骤:
G1、以图像的特征和目标在图像中的位置作为输入,并利用五层卷积小网络来捕获两帧图像中目标的关联性,最终获得目标间的特征相似矩阵;
G2、获取目标中心点的距离作为目标间的空间相似矩阵,将空间相似矩阵与特征相似矩阵做哈达玛积,同时计算目标的关联性,防止将表观特征相似性大但空间位置相距较远的目标进行错误关联,最终得到目标跟踪结果。
为了方便操作,所述目标间的特征相似矩阵的具体步骤如下:
S1、获取以Ft、Ft+n作为模型输入,时间间隔为n的两帧图像,然后从轻量级行人检测模型骨干网络得到第8倍下采样、第16倍下采样和第32倍下采样特征图的集合,其通道数分别为384、192、96;
S2、获取以Bt、Bt+n作为模型输入,时间间隔为n的两帧图像中所有行人目标框的集合,再经过特征降维之后三层特征图的通道数降为192、96、48;将行人目标框Bt、Bt+n转换为目标中心点坐标,在三层特征图上分别找到对应的特征点,同一目标的三个特征点按通道拼接在一起作为目标的特征向量,每个目标的特征向量维度为336;t表示自然数;
S3、获取每帧图像中能够同时跟踪到的最大目标数量NmaX,NmaX设为80,然后根据公式(1)、公式(2)获得两帧图像中的所有目标特征向量构成的特征矩阵;
S5、然后将由5个卷积核为1×1的普通卷积模块组成的小网络定义为MapNet,用来捕获目标表观特征的相似性,其中通道数分别为336、168、84、42、1,同时在整个网络中不改变输入特征图的分辨率;
S6、最后按照公式(4)模型输出,并进行编码两帧图像目标间特征的相似程度,以此获得目标间的特征相似矩阵;
其中:R表示集合,中第i行表示t时刻图像帧中第i个目标的特征与t+n时刻图像帧中所有目标的特征间的相似性,第j列表示t+n时刻图像帧中第j个目标的特征与t时刻图像帧中所有目标的特征间的相似性,上述各个步骤中涉及到的t表示自然数。
为了方便操作,所述空间相似矩阵的具体计算步骤如下:
K1、将Bt、Bt+n作为轻量级行人目标检测模型得到的目标框,Center作为每个目标的中心坐标,为t时刻图像帧中的目标与t+n时刻图像帧中的目标的空间相似性,Si,j为的简写,表示t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标的空间相似性,然后将Si,j按以下计算方式为:
其中di,j∈(0,1)为t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标间的归一化距离,即图像上欧式距离与图像对角线距离的比值,其中图像的对角线为两个目标在图像中的最大距离;
K2、得到两个目标之间的空间距离之后,使用一个简单的径向基函数e-x带入公式(6.1)中将目标间的空间距离转化为空间相似性。
为了屏蔽图像分辨率不同带来的误差,增加模型的鲁棒性,需要将目标在图像上的欧式距离做归一化处理,同时公式(6.1)也是一个归一化操作后,将目标间的空间相似性归一化到目标最大空间相似性与最小空间相似性区间,两个目标的欧式距离经过归一化之后,最小距离为0,其中中心点重叠,相似性最大:e0=1;最大距离为1,即中心点分别位于图像的对角点,相似性最小:e-1。
为了方便操作,空间相似矩阵St,t+n中的每一行代表t时刻图像帧中的某目标与t+n时刻图像帧中所有目标的空间相似性,每一列代表t+n时刻图像帧中某目标与t时刻图像帧中所有目标的空间相似性,当图像中的目标数量不足NmaX时,将用0填充;若超过NmaX,则多余的目标将无法被跟踪,得到目标间的空间相似矩阵后,与卷积网络得到的特征相似矩阵做哈达玛积,即得到目标的综合相似性矩阵。
作为优选,上述所有n的范围为1-30s。
为了进一步实现本发明在行人目标检测说明方便理解,针对行人目标检测时对象空间关系的目标跟踪算法的具体展开步骤如下:
A1、将t时刻的图像帧输入轻量级行人目标检测模型,得到目标框Bt与图像特征Ft;
A3、若当前帧为视频的第一帧,初始化历史特征集合FH与轨迹集合Tt,将当前帧的目标特征加入FH,空间特征加入SFH,为当前帧中的每个目标建立一个轨迹加入Tt,转到步骤A8;若当前帧非视频的第一帧,则将当前帧的目标特征分别与FH中的所有历史帧目标特征两两配对,由卷积关联网络计算每对图像帧的目标特征相似矩阵由该特征相似矩阵得到每对图像帧的综合预测目标关联矩阵
A4、检查历史帧目标特征集合FH中的历史帧目标特征数是否达到其能存储的最大数目H:若没有,将当前帧的目标特征加入FH;若FH中的历史帧目标特征数已达到H,则移除离当前帧时间最远的那一帧的目标特征,再将当前帧的目标特征加入FH,空间特征加入SFH;
A6、根据步骤A5中得到得轨迹关联矩阵更新当前时刻t已存在的确定轨迹Tt和待定轨迹①若当前帧中的某目标i被分配给确定轨迹更新确定轨迹更新该确定轨迹的未成功关联目标帧数u=0;若当前帧中的某目标i被分配给待定轨迹更新待定轨迹更新该待定轨迹的成功关联目标帧数c=c+1;②若当前帧中的某目标未被分配给任何已存在轨迹,则为其建立一个新的轨迹,加入待定轨迹集合设该待定轨迹的成功关联目标帧数c=1;③若某确定轨迹在当前帧中未找到与之关联的目标,则其更新该确定轨迹的未成功关联目标帧数u=u+1;若某待定轨迹在当前帧中未找到与之关联的目标,则更新该待定轨迹的成功关联目标帧数c=0,并从待定轨迹集合中删除该轨迹,删除的轨迹为待定轨迹集合中未能与当前帧中任一目标关联的轨迹;
A7、检查确定轨迹集合Tt与待定轨迹集合①若确定轨迹集合Tt中某轨迹的未成功关联目标帧数u超过阈值Δw,则认为该目标离开图像,从确定轨迹集合Tt中删除该轨迹;②若待定轨迹集合某轨迹的成功关联目标帧数c超过阈值Δd,则认为该目标是新进入图像的目标,将该轨迹加入确定轨迹集合Tt,设此确定轨迹的未成功关联目标帧数u=0,并从待定轨迹集合中删除该轨迹,删除的轨迹即为待定轨迹集合中已连续帧有目标与其关联的轨迹此时的确定轨迹,集合Tt即为t时刻的行人目标跟踪结果;
A8、令t=t+1,获取下一时刻的图像帧。
本发明得到的一种基于对象空间关系的目标跟踪算法,能够改善只利用目标表观特征的目标跟踪算法在目标表观特征相似性大而空间特征相似性小的场景下出现的跟踪效果降低的问题。
附图说明
图1为一种基于对象空间关系的目标跟踪算法的连接示意图;
图2为卷积关联网络结构示意图;
图3为空间相似矩阵示意图;
图4为基于对象空间关系的目标跟踪过程的结构示意图;
图5为本实施例与现有方法的对比参考图一;
图6为本实施例与现有方法的对比参考图二。
具体实施方式
下面对本发明作进一步详细说明。
实施例1:
参见图1,本实施例本发明公开了一种基于对象空间关系的目标跟踪算法,其具体包括以下步骤:
G1、以图像的特征和目标在图像中的位置作为输入,并利用五层卷积小网络来捕获两帧图像中目标的关联性,最终获得目标间的特征相似矩阵;
G2、获取目标特征相似矩阵得到的结果的约束作为目标间的空间相似矩阵,将空间相似矩阵与特征相似矩阵做哈达玛积,同时计算目标的关联性,防止将表观特征相似性大但空间位置相距较远的目标进行错误关联,最终得到目标跟踪结果。
为了方便操作,所述目标间的特征相似矩阵的具体步骤如下:
S1、获取以Ft、Ft+n作为模型输入,时间间隔为n的两帧图像,然后从轻量级行人检测模型骨干网络得到第8倍下采样、第16倍下采样和第32倍下采样特征图的集合,其通道数分别为384、192、96;
S2、获取以Bt、Bt+n作为模型输入,时间间隔为n的两帧图像中所有行人目标框的集合,再经过特征降维之后三层特征图的通道数降为192、96、48;将行人目标框Bt、Bt+n转换为目标中心点坐标,在三层特征图上分别找到对应的特征点,同一目标的三个特征点按通道拼接在一起作为目标的特征向量,每个目标的特征向量维度为336;t表示自然数;
S3、获取每帧图像中能够同时跟踪到的最大目标数量NmaX,NmaX设为80,然后根据公式(1)、公式(2)获得两帧图像中的所有目标特征向量构成的特征矩阵;
S5、然后将由5个卷积核为1×1的普通卷积模块组成的小网络定义为MapNet,用来捕获目标表观特征的相似性,其中通道数分别为336、168、84、42、1,同时在整个网络中不改变输入特征图的分辨率;
S6、最后按照公式(4)模型输出,并进行编码两帧图像目标间特征的相似程度,以此获得目标间的特征相似矩阵;
其中:第i行表示t时刻图像帧中第i个目标的特征与t+n时刻图像帧中所有目标的特征间的相似性,第j列表示t+n时刻图像帧中第j个目标的特征与t时刻图像帧中所有目标的特征间的相似性上述各个步骤中涉及到的t表示自然数。
为了方便操作,所述空间相似矩阵的具体计算步骤如下:
K1、将Bt、Bt+n作为轻量级行人目标检测模型得到的目标框,Center作为每个目标的中心坐标,为t时刻图像帧中的目标与t+n时刻图像帧中的目标的空间相似性,Si,j为的简写,表示t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标的空间相似性,然后将Si,j按以下计算方式为:
其中di,j∈(0,1)为t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标间的归一化距离,即图像上欧式距离与图像对角线距离的比值,其中图像的对角线为两个目标在图像中的最大距离;
K2、得到两个目标之间的空间距离之后,使用一个简单的径向基函数e-x带入公式(6.1)中将目标间的空间距离转化为空间相似性,其中径向基函数e-x的x即为di,j;且范围为di,j∈(0,1)。
为了屏蔽图像分辨率不同带来的误差,增加模型的鲁棒性,需要将目标在图像上的欧式距离做归一化处理,同时公式(6.1)也是一个归一化操作后,将目标间的空间相似性归一化到目标最大空间相似性与最小空间相似性区间,两个目标的欧式距离经过归一化之后,最小距离为0,其中中心点重叠,相似性最大:e0=1;最大距离为1,即中心点分别位于图像的对角点,相似性最小:e-1。本实施例中的其他数据均代表现有数据,故此不做具体描述。
为了方便操作,空间相似矩阵St,t+n中的每一行代表t时刻图像帧中的某目标与t+n时刻图像帧中所有目标的空间相似性,每一列代表t+n时刻图像帧中某目标与t时刻图像帧中所有目标的空间相似性,当图像中的目标数量不足NmaX时,将用0填充;若超过NmaX,则多余的目标将无法被跟踪,得到目标间的空间相似矩阵后,与卷积网络得到的特征相似矩阵做哈达玛积,即得到目标的综合相似性矩阵。
作为优选,上述所有n的范围为1-30s。
由于目标遮挡与轨迹的产生与消亡问题是每个多目标跟踪算法都必须考虑的问题。在实施例中,如果一个轨迹在连续Δw帧中都没有目标与之关联,则认为其已离开图像,从轨迹集合中删除该轨迹;如果在Δw帧之内重新找到与之关联的目标,则认为跟踪目标存在遮挡,继续对该轨迹进行更新。对于不能与轨迹集合中任何轨迹关联的目标,可能是新进入图像的目标,也可能是误检目标。因此不立即将其加入轨迹集合,而是放入一个待定轨迹集合,如果之后连续Δd帧中都能找到与之关联的目标,则认为其是新进入图像的目标,将该轨迹加入轨迹集合。
因此本实施例使用轨迹集合Tt来表示t时刻存在的确定轨迹,表示t时刻存在的待定轨迹,表示t时刻存在的第k个确定轨迹,表示t时刻存在的第k个待定轨迹。每个轨迹都是二元组(frame_id,object_id)的集合,表示第frame_id帧图像中第object_id个目标属于该轨迹,如:表明第0帧中的第1个目标、第1帧中的第3个目标、第2帧中的第2个目标、第3帧中的第2个目标均属于t时刻的第一个轨迹,即它们是同一个跟踪目标,
此外,本实施例还使用了一个历史帧目标特征集合FH来存储历史目标特征,一个历史帧目标空间位置集合SFH来存储历史帧的目标空间位置,和一个轨迹关联矩阵 来描述当前帧检测到的目标与已存在轨迹间关联的概率,函数Count(·)表示计算集合中元素个数,Dt为当前帧检测到的目标集合。令当前帧目标特征与分别于F中存储的所有历史目标特征(共h帧)两两计算综合预测目标关联矩阵 是由额外增加一列的得到的。超参数h用来控制F中能存储的最大历史帧目标特征的数目。在F中存储的所有历史帧中的目标都已与属于已存在的某确定轨迹或某待定轨迹因此当前帧中第i个目标与某历史帧中的第j个目标关联的概率,即为当前帧中目标i与历史帧中目标j所属轨迹或关联的概率,而轨迹关联矩阵中的每个元素,是从当前帧中某目标分别与h帧历史帧目标的目标关联矩阵计算得到的轨迹关联概率之和,根据轨迹关联矩阵,就能够将已存在的轨迹与当前帧中的目标关联起来,从而达到目标跟踪的目的,综上,设计的行人目标跟踪策略如下:
如图4所示,为了进一步实现本发明在行人目标检测说明方便理解,针对行人目标检测时对象空间关系的目标跟踪算法的具体展开步骤如下:
A1、将t时刻的图像帧输入轻量级行人目标检测模型,得到目标框Bt与图像特征Ft;
A3、若当前帧为视频的第一帧,初始化历史特征集合FH与轨迹集合Tt,将当前帧的目标特征加入FH,空间特征加入SFH,为当前帧中的每个目标建立一个轨迹加入Tt,转到步骤A8;若当前帧非视频的第一帧,则将当前帧的目标特征分别与FH中的所有历史帧目标特征两两配对,由卷积关联网络计算每对图像帧的目标特征相似矩阵由该特征相似矩阵得到每对图像帧的综合预测目标关联矩阵
A4、检查历史帧目标特征集合FH中的历史帧目标特征数是否达到其能存储的最大数目H:若没有,将当前帧的目标特征加入FH;若FH中的历史帧目标特征数已达到H,则移除离当前帧时间最远的那一帧的目标特征,再将当前帧的目标特征加入FH,空间特征加入SFH;
A6、根据步骤A5中得到得轨迹关联矩阵更新当前时刻t已存在的确定轨迹Tt和待定轨迹①若当前帧中的某目标i被分配给确定轨迹更新确定轨迹更新该确定轨迹的未成功关联目标帧数u=0;若当前帧中的某目标i被分配给待定轨迹更新待定轨迹更新该待定轨迹的成功关联目标帧数c=c+1;②若当前帧中的某目标未被分配给任何已存在轨迹,则为其建立一个新的轨迹,加入待定轨迹集合设该待定轨迹的成功关联目标帧数c=1;③若某确定轨迹在当前帧中未找到与之关联的目标,则其更新该确定轨迹的未成功关联目标帧数u=u+1;若某待定轨迹在当前帧中未找到与之关联的目标,则更新该待定轨迹的成功关联目标帧数c=0,并从待定轨迹集合中删除该轨迹;
A7、检查确定轨迹集合Tt与待定轨迹集合①若确定轨迹集合Tt中某轨迹的未成功关联目标帧数u超过阈值Δw,则认为该目标离开图像,从确定轨迹集合Tt中删除该轨迹;②若待定轨迹集合某轨迹的成功关联目标帧数c超过阈值Δd,则认为该目标是新进入图像的目标,将该轨迹加入确定轨迹集合Tt,设此确定轨迹的未成功关联目标帧数u=0,并从待定轨迹集合中删除该轨迹,此时的确定轨迹集合Tt即为t时刻的行人目标跟踪结果;
A8、令t=t+1,获取下一时刻的图像帧。
本实施例的实验环境为Ubuntu 16.04.6LTS(硬件系统),GeForce GTX 2080TiGPU(硬件设备),在MOT17数据集上进行训练,训练过程共迭代8万步,batch设为8,初始学习率为0.01,并在第33200步、53120步及66400步将学习率调为原来的1/10,每帧图像能同时跟踪的最大目标数Nmax设为80,历史帧目标特征集合FH与历史帧目标空间位置集合SFH中能存储的最大历史帧数h设为15,确定轨迹未成功关联目标的最大帧数Δw设为12,待定轨迹成功关联目标的最小帧数Δd设为3。
然后将本实施例的基于对象空间关系的目标跟踪结果与MOT17上的部分跟踪算法结果对比如表1所示,实验表明本文设计的基于对象空间关系的目标跟踪算法在精度和速度上达到了很好的平衡,能够在对实时性要求高的场景下使用。
下表中的设计的跟踪算法均为常规跟踪算法的英文简称,均能够书籍或百度中查询获得,故此不做具体描述。表1MOT17测试集跟踪结果对比:
如图5、6所示,同时将本实施例的算法(SBA)与只现有技术技术中只使用表观特征的目标跟踪算法(N-SBA)的训练过程进行对比发现每一幅中下面的曲线为N-SBA,上面曲线为SBA,本实施例的方法在精度和速度上达到了很好的平衡,能够在对实时性要求高的场景下使用。因此,通过实验表明,本实施例的算法能够改善只利用目标表观特征的目标跟踪算法在目标表观特征相似性大而空间特征相似性小的场景下出现的跟踪效果降低的问题,因此本发明针对目前存在的目标跟踪算法在进行目标关联的过程中只利用目标表观特征,而丢失了目标空间信息的问题,设计了基于对象空间关系的目标跟踪算法并通过实验表明,基于对象空间关系的目标跟踪算法取得了良好的跟踪效果,并在跟踪精度和跟踪速度上达到了一个很好的平衡。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于对象空间关系的目标跟踪算法,其特征在于:具体包括以下步骤:
G1、以图像的特征和目标在图像中的位置作为输入,并利用五层卷积小网络来捕获两帧图像中目标的关联性,最终获得目标间的特征相似矩阵,具体步骤如下:
S1、获取以Ft、Ft+n作为模型输入,时间间隔为n的两帧图像,然后从轻量级行人检测模型骨干网络得到第8倍下采样、第16倍下采样和第32倍下采样特征图的集合,其通道数分别为384、192、96;
S2、获取以Bt、Bt+n作为模型输入,时间间隔为n的两帧图像中所有行人目标框的集合,再经过特征降维之后三层特征图的通道数降为192、96、48;将行人目标框Bt、Bt+n转换为目标中心点坐标,在三层特征图上分别找到对应的特征点,同一目标的三个特征点按通道拼接在一起作为目标的特征向量,每个目标的特征向量维度为336;t表示自然数;
S3、获取每帧图像中能够同时跟踪到的最大目标数量NmaX,NmaX设为80,然后根据公式(1)、公式(2)获得两帧图像中的所有目标特征向量构成的特征矩阵;
S5、然后将由5个卷积核为1×1的普通卷积模块组成的小网络定义为MapNet,用来捕获目标表观特征的相似性,其中通道数分别为336、168、84、42、1,同时在整个网络中不改变输入特征图的分辨率;
S6、最后按照公式(4)模型输出,并进行编码两帧图像目标间特征的相似程度,以此获得目标间的特征相似矩阵;
其中:中第i行表示t时刻图像帧中第i个目标的特征与t+n时刻图像帧中所有目标的特征间的相似性,第j列表示t+n时刻图像帧中第j个目标的特征与t时刻图像帧中所有目标的特征间的相似性,上述各个步骤中涉及到的t表示自然数;
G2、获取目标中心点的距离作为目标间的空间相似矩阵,将空间相似矩阵与特征相似矩阵做哈达玛积,同时计算目标的关联性,防止将表观特征相似性大但空间位置相距较远的目标进行错误关联,最终得到目标跟踪结果;
所述空间相似矩阵的具体计算步骤如下:
K1、将Bt、Bt+n作为轻量级行人目标检测模型得到的目标框,Center作为每个目标的中心坐标,为t时刻图像帧中的目标与t+n时刻图像帧中的目标的空间相似性,Si,j为的简写,表示t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标的空间相似性,然后将Si,j按以下计算方式为:
其中di,j∈(0,1)为t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标间的归一化距离,即图像上欧式距离与图像对角线距离的比值,其中图像的对角线为两个目标在图像中的最大距离;
K2、得到两个目标之间的空间距离之后,使用一个简单的径向基函数e-x带入公式(6.1)中将目标间的空间距离转化为空间相似性。
2.根据权利要求1所述的一种基于对象空间关系的目标跟踪算法,其特征在于:需要将目标在图像上的欧式距离做归一化处理,同时公式(6.1)也是一个归一化操作后,将目标间的空间相似性归一化到目标最大空间相似性与最小空间相似性区间,两个目标的欧式距离经过归一化之后,最小距离为0,其中中心点重叠,相似性最大:e0=1;最大距离为1,即中心点分别位于图像的对角点,相似性最小:e-1。
3.根据权利要求2所述的一种基于对象空间关系的目标跟踪算法,其特征在于:空间相似矩阵St,t+n中的每一行代表t时刻图像帧中的某目标与t+n时刻图像帧中所有目标的空间相似性,每一列代表t+n时刻图像帧中某目标与t时刻图像帧中所有目标的空间相似性,当图像中的目标数量不足NmaX时,将用0填充;若超过NmaX,则多余的目标将无法被跟踪,得到目标间的空间相似矩阵后,与卷积网络得到的特征相似矩阵做哈达玛积,即得到目标的综合相似性矩阵。
4.根据权利要求1或2或3所述的一种基于对象空间关系的目标跟踪算法,其特征在于:上述所有n的范围为1-30s。
5.根据权利要求3所述的一种基于对象空间关系的目标跟踪算法,其特征在于:针对行人目标检测时对象空间关系的目标跟踪算法的具体展开步骤如下:
A1、将t时刻的图像帧输入轻量级行人目标检测模型,得到目标框Bt与图像特征Ft;
A3、若当前帧为视频的第一帧,初始化历史特征集合FH与轨迹集合Tt,将当前帧的目标特征加入FH,空间特征加入SFH,为当前帧中的每个目标建立一个轨迹加入Tt,转到步骤A8;若当前帧非视频的第一帧,则将当前帧的目标特征分别与FH中的所有历史帧目标特征两两配对,由卷积关联网络计算每对图像帧的目标特征相似矩阵由该特征相似矩阵得到每对图像帧的综合预测目标关联矩阵
A4、检查历史帧目标特征集合FH中的历史帧目标特征数是否达到其能存储的最大数目H:若没有,将当前帧的目标特征加入FH;若FH中的历史帧目标特征数已达到H,则移除离当前帧时间最远的那一帧的目标特征,再将当前帧的目标特征加入FH,空间特征加入SFH;
A6、根据步骤A5中得到得轨迹关联矩阵更新当前时刻t已存在的确定轨迹Tt和待定轨迹①若当前帧中的某目标i被分配给确定轨迹更新确定轨迹更新该确定轨迹的未成功关联目标帧数u=0;若当前帧中的某目标i被分配给待定轨迹更新待定轨迹更新该待定轨迹的成功关联目标帧数c=c+1;②若当前帧中的某目标未被分配给任何已存在轨迹,则为其建立一个新的轨迹,加入待定轨迹集合设该待定轨迹的成功关联目标帧数c=1;③若某确定轨迹在当前帧中未找到与之关联的目标,则其更新该确定轨迹的未成功关联目标帧数u=u+1;若某待定轨迹在当前帧中未找到与之关联的目标,则更新该待定轨迹的成功关联目标帧数c=0,并从待定轨迹集合中删除该轨迹,删除的轨迹为待定轨迹集合中未能与当前帧中任一目标关联的轨迹;
A7、检查确定轨迹集合Tt与待定轨迹集合①若确定轨迹集合Tt中某轨迹的未成功关联目标帧数u超过阈值Δw,则认为该目标离开图像,从确定轨迹集合Tt中删除该轨迹;②若待定轨迹集合某轨迹的成功关联目标帧数c超过阈值Δd,则认为该目标是新进入图像的目标,将该轨迹加入确定轨迹集合Tt,设此确定轨迹的未成功关联目标帧数u=0,并从待定轨迹集合中删除该轨迹,删除的轨迹即为待定轨迹集合中已连续帧有目标与其关联的轨迹此时的确定轨迹,集合Tt即为t时刻的行人目标跟踪结果;
A8、令t=t+1,获取下一时刻的图像帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010439523.1A CN111652910B (zh) | 2020-05-22 | 2020-05-22 | 一种基于对象空间关系的目标跟踪算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010439523.1A CN111652910B (zh) | 2020-05-22 | 2020-05-22 | 一种基于对象空间关系的目标跟踪算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111652910A CN111652910A (zh) | 2020-09-11 |
CN111652910B true CN111652910B (zh) | 2023-04-11 |
Family
ID=72342774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010439523.1A Active CN111652910B (zh) | 2020-05-22 | 2020-05-22 | 一种基于对象空间关系的目标跟踪算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111652910B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926436A (zh) * | 2021-02-22 | 2021-06-08 | 上海商汤智能科技有限公司 | 行为识别方法及装置、电子设备和存储介质 |
CN114067564B (zh) * | 2021-11-15 | 2023-08-29 | 武汉理工大学 | 一种基于yolo的交通状况综合监测方法 |
CN114882068B (zh) * | 2022-04-24 | 2023-09-01 | 电子科技大学 | 多目标跟踪方法、装置、计算机设备和存储介质 |
CN116935074B (zh) * | 2023-07-25 | 2024-03-26 | 苏州驾驶宝智能科技有限公司 | 基于深度亲和网络自适应关联的多目标跟踪方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951870A (zh) * | 2017-02-15 | 2017-07-14 | 重庆警察学院 | 主动视觉注意的监控视频显著事件智能检测预警方法 |
CN109448023A (zh) * | 2018-10-23 | 2019-03-08 | 武汉大学 | 一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201313682D0 (en) * | 2013-07-31 | 2013-12-18 | Mbda Uk Ltd | Method and apparatus for tracking an object |
CN105261037B (zh) * | 2015-10-08 | 2018-11-02 | 重庆理工大学 | 一种自适应复杂场景的运动目标检测方法 |
CN106952288B (zh) * | 2017-03-31 | 2019-09-24 | 西北工业大学 | 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法 |
CN106960446B (zh) * | 2017-04-01 | 2020-04-24 | 广东华中科技大学工业技术研究院 | 一种面向无人艇应用的水面目标检测跟踪一体化方法 |
CN107590453B (zh) * | 2017-09-04 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 增强现实场景的处理方法、装置及设备、计算机存储介质 |
US10782095B2 (en) * | 2017-11-24 | 2020-09-22 | Huntercraft Limited | Automatic target point tracing method for electro-optical sighting system |
CN108346159B (zh) * | 2018-01-28 | 2021-10-15 | 北京工业大学 | 一种基于跟踪-学习-检测的视觉目标跟踪方法 |
-
2020
- 2020-05-22 CN CN202010439523.1A patent/CN111652910B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951870A (zh) * | 2017-02-15 | 2017-07-14 | 重庆警察学院 | 主动视觉注意的监控视频显著事件智能检测预警方法 |
CN109448023A (zh) * | 2018-10-23 | 2019-03-08 | 武汉大学 | 一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法 |
Non-Patent Citations (2)
Title |
---|
Murat Semerci ; Ali Taylan Cemgil ; Bulent Sankur.Discriminative tensor decomposition with large margin.Digital Signal Processing .2019,102584. * |
王璐瑶.基于深度交叉相似网络的视觉目标跟踪算法.中国优秀硕士学位论文全文数据库.2020, I138-1933. * |
Also Published As
Publication number | Publication date |
---|---|
CN111652910A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652910B (zh) | 一种基于对象空间关系的目标跟踪算法 | |
US11393103B2 (en) | Target tracking method, device, system and non-transitory computer readable medium | |
CN111401257B (zh) | 一种基于余弦损失在非约束条件下的人脸识别方法 | |
US9965719B2 (en) | Subcategory-aware convolutional neural networks for object detection | |
CN113674328B (zh) | 一种多目标车辆跟踪方法 | |
US8885943B2 (en) | Face detection method and apparatus | |
CN110209859B (zh) | 地点识别及其模型训练的方法和装置以及电子设备 | |
CN106415594B (zh) | 用于面部验证的方法和系统 | |
CN111652903B (zh) | 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法 | |
CN110288627B (zh) | 一种基于深度学习和数据关联的在线多目标跟踪方法 | |
CN112288773A (zh) | 基于Soft-NMS的多尺度人体跟踪方法及装置 | |
CN110781790A (zh) | 基于卷积神经网络与vlad的视觉slam闭环检测方法 | |
CN112614187A (zh) | 回环检测方法、装置、终端设备和可读存储介质 | |
Zhou et al. | Detecting humans in RGB-D data with CNNs | |
Dong et al. | Adaptive cascade deep convolutional neural networks for face alignment | |
CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
Takahashi et al. | A novel weight-shared multi-stage CNN for scale robustness | |
CN110889387A (zh) | 一种基于多轨迹匹配的实时动态手势识别方法 | |
CN115482375A (zh) | 一种基于时空通联数据驱动的跨镜目标跟踪方法 | |
Lee et al. | Reinforced adaboost learning for object detection with local pattern representations | |
Keawboontan et al. | Towards Real-Time UAV Multi-Target Tracking using Joint Detection and Tracking | |
CN112464982A (zh) | 基于改进ssd算法的目标检测模型、方法及应用 | |
CN113255604A (zh) | 基于深度学习网络的行人重识别方法、装置、设备及介质 | |
Papadaki et al. | Match or no match: Keypoint filtering based on matching probability | |
CN110866500A (zh) | 人脸检测对齐系统、方法、装置、平台、移动终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |