CN114723776A - 目标跟踪方法及装置 - Google Patents
目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN114723776A CN114723776A CN202210348674.5A CN202210348674A CN114723776A CN 114723776 A CN114723776 A CN 114723776A CN 202210348674 A CN202210348674 A CN 202210348674A CN 114723776 A CN114723776 A CN 114723776A
- Authority
- CN
- China
- Prior art keywords
- cluster
- event
- event stream
- events
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000002245 particle Substances 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像识别领域,尤其涉及一种目标跟踪方法及装置。本发明的实现原理为:获取传感器采集的事件流,对事件流进行簇生成,对第一时间序列进行粒子过滤处理,得到第二时间序列,第二时间序列包括单个或多个目标的坐标数据。本发明可以将事件流生成簇,从而可以将后续步骤处理的数据的量大大降低,从而提高处理的效率,提高处理的速度,这种改进,可以降低同等情况下目标跟踪算法需要的硬件计算力,或在同样硬件计算力的情况下提高跟踪效果。
Description
技术领域
本发明涉及图像识别领域,尤其涉及一种目标跟踪方法。
背景技术
图像识别领域中存在目标跟踪速度慢的问题。图像识别领域中目标跟踪速度慢是目标跟踪中一个重要的缺点,其直接会导致目标跟踪精度的降低,甚至会导致目标跟踪的失败,即目标的丢失或目标的混淆。这种结果在多数情况下是不可恢复的。DVS是一种新型的图像传感器,其特点是仅仅对像素值变化的信号进行采集,对未值未变化的像素的信号忽略。DVS本身获取的事件流具有时间戳间隔不等的特性,对于传统的图像跟踪算法来说比较难以处理。
发明内容
本发明实施例提供一种目标跟踪方法及装置,可以将事件流生成簇,从而可以将后续步骤处理的数据的量大大降低,从而提高处理的效率,提高处理的速度。
本发明实施例提供一种目标跟踪方法,包括:
获取传感器采集的事件流,所述事件流包括按照时域增序排列的多个基于目标对象的运动状态变化的事件,所述事件为所述目标对象部分或全部的像素值发生变化;
对所述事件流进行簇生成,得到目标簇的第一时间序列,所述第一时间序列包括至少一个所述目标对象的事件中心坐标数据;
对所述第一时间序列进行粒子过滤处理,得到第二时间序列,所述第二时间序列包括至少一个所述目标对象的坐标数据。
在一实施例中,对所述事件流进行簇生成的步骤包括:
若候选事件的时、空相邻范围内已存在当前簇的任何部分,则将所述候选事件归属于当前簇,所述候选事件为所述事件流中时域上滞后于当前时刻的事件,所述当前簇为当前时刻已经存在的簇;和/或,
若候选事件的时、空相邻范围内不存在当前簇的任何部分或系统中未存在任何当前簇,则创建包括所述候选事件的新簇。
在一实施例中,在创建包括所述候选事件的新簇之后,所述方法还包括:
计算系统中所有的簇的总数;
若所述总数大于数量N,则不再增加新簇,其中所述数量N根据系统的处理能力动态调整。
在一实施例中,所述数量N为3。
在一实施例中,对所述事件流进行簇生成的步骤包括:
对预设时间间隔t1至t2间所采集的全部事件在时间和空间坐标体系内进行聚类计算,生成多个类,所述多个类为多个簇。
在一实施例中,所述聚类计算具体采用以下算法中的任意一种:
k-均值、均值漂移聚类、基于密度的聚类方法、凝聚层次聚类和图团体检测。
在一实施例中,对所述事件流进行簇生成的步骤包括:
对预设时间间隔t1至t2间所采集的全部事件在时间和空间坐标体系内进行区域生长计算,生长成多个独立的区域,所述多个独立的区域为多个簇。
在一实施例中,所述对所述事件流进行簇生成的步骤包括:
从所述事件流中确定待跟踪的候选事件中心;
当所述候选事件中心的运动状态在时间间隔阈值内为预设状态时,确定所述候选事件中心不存在新事件;
舍弃所述候选事件中心。
在一实施例中,所述对所述事件流进行簇生成的步骤包括:
从所述事件流中确定归属于第一簇事件的数量;
当所述归属于第一簇事件的数量少于和/或等于预设数量时,当前簇不可见,否则,当前簇可见。
在一实施例中,所述预设数量Q为事件流中事件间时空间隔的函数,即Q(Xn-Xm,Yn-Ym,tn-tm),其中Xn、Xm、Yn、Ym分别是第n个和第m个事件的X、Y空间坐标,tn、tm分别是第n个和第m个事件的时间戳。
在一实施例中,所述预设数量Q为事件流中事件间时空间隔的函数,即Q=a*(Xn-Xm)+b(Yn-Ym)+c*(tn-tm),其中Xn、Xm、Yn、Ym分别是第n个和第m个事件的X、Y空间坐标,tn、tm分别是第n个和第m个事件的时间戳,a、b、c分别是常数系数。
在一实施例中,所述对所述第一时间序列进行粒子过滤处理的步骤包括:
计算所述目标簇中各个粒子的权重系数为:
其中,d(i,j)为第i簇的中心与j粒子之间的空间距离;
根据所述权重系数计算出所述单个或多个目标的坐标数据。
本发明实施例还提供一种目标跟踪装置,包括事件流获取模块、簇生成模块和过滤模块;
所述事件流获取模块,用于获取传感器采集的事件流,所述事件流包括按照时域增序排列的多个基于目标对象的运动状态变化的事件,所述事件为所述目标对象部分或全部的像素值发生变化;
所述簇生成模块,用于对所述事件流进行簇生成,得到目标簇的第一时间序列,所述第一时间序列包括至少一个所述目标对象的事件中心坐标数据;
所述过滤模块,用于对所述第一时间序列进行粒子过滤处理,得到第二时间序列,所述第二时间序列包括至少一个所述目标对象的坐标数据。
由上可知,本申请实施例提供的目标跟踪方法通过获取传感器采集的事件流,对事件流进行簇生成,对第一时间序列进行粒子过滤处理,得到第二时间序列,第二时间序列包括单个或多个目标的坐标数据。本发明可以将事件流生成簇,从而可以将后续步骤处理的数据的量大大降低,从而提高处理的效率,提高处理的速度,这种改进,可以降低同等情况下目标跟踪算法需要的硬件计算力,或在同样硬件计算力的情况下提高跟踪效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的目标跟踪方法的流程示意图;
图2是本发明实施例提供的目标跟踪方法的原理示意图;
图3是本发明实施例提供的机器人安装摄像装置的一种示意图;
图4是本发明实施例提供的目标跟踪方法的第一种效果示意图;
图5是本发明实施例提供的目标跟踪方法的第二种效果示意图;
图6是本发明实施例提供的目标跟踪方法的第三种效果示意图;
图7是本发明实施例提供的目标跟踪装置的一种结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是,在本文中,采用了诸如101、102等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行102后执行101等,但这些均应在本申请的保护范围之内。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明实施例提供一种目标跟踪方法,该目标跟踪方法的执行主体可以是本发明实施例提供的目标跟踪装置,或者集成了该目标跟踪装置的服务器,其中该目标跟踪装置可以采用硬件或者软件的方式实现。
如图1所示,图1是本发明实施例提供的目标跟踪方法的流程示意图,该目标跟踪方法的具体流程可以如下:
101、获取传感器采集的事件流,事件流包括按照时域增序排列的多个基于目标对象的运动状态变化的事件,事件为目标对象部分或全部的像素值发生变化。
102、对事件流进行簇生成,得到目标簇的第一时间序列,第一时间序列包括至少一个目标对象的事件中心坐标数据。
103、对第一时间序列进行粒子过滤处理,得到第二时间序列,第二时间序列包括至少一个目标对象的坐标数据。
在本申请实施例中,上述目标跟踪方法的原理请参阅图2,通过本申请实施例提供的方法可以将其生成簇,从而可以将后续步骤处理的数据的量大大降低,从而提高处理的效率,提高处理的速度。这种改进,可以降低同等情况下目标跟踪算法需要的硬件计算力;或在同样硬件计算力的情况下提高跟踪效果。
其中,通过本申请中提供的方法后所产生的跟踪效果与传统算法的提升可参阅表1:
表1
相应的,本方法与传统方法对比对计算力的消耗情况比对可参阅表2:
表2
举例来说,在机器人导航中,需要实时、持续地对周围的障碍物目标进行非常高速、精确地跟踪。因此需要对跟踪算法的精度、速度提出很高的要求。
如图3所示,机器人在运动过程中会遇到障碍物,因此在机器人上安装的DVS摄像装置可以迅速地将目标采集,并且生成事件流。事件流被送给簇生成模块,簇生成模块对其按以下方式进行处理:
依次处理按时间顺序接收的事件,若候选事件的时、空相邻范围内已存在当前簇的任何部分,则将所述候选事件归属于该簇,所述候选事件为所述事件流中时域上滞后于当前时刻的事件,所述当前簇为当前时刻已经存在的簇;
或者,若候选事件的相邻范围内不存在当前簇的任何部分或系统中未存在任何当前簇,则创建包括所述候选事件的新簇。
计算系统中所有的簇的总数;
若所述的簇的总数大于N,则不再增加新簇。在一类实施例中,该数量为3。
在一类实施例中,对于上述的簇的数量,对给定时间间隔t1至t2间所采集的全部事件的在时间、空间坐标体系内进行聚类计算,生成m个类为m个簇。
然后从所述事件流中确定待跟踪的候选事件中心;
当所述候选事件中心的运动状态在至少一个预设的时间间隔阈值内为预设状态时,确定所述候选事件中心不存在新事件;
舍弃所述候选事件中心。
从所述事件流中确定归属于该簇的事件的数量;
当所归属于该簇事件的数量少于和/或等于指定的数量时,该簇不可见,否则该簇可见。
将上述N个类的中心坐标输入到粒子算法的模块中。该模块输出精确的目标的位置坐标。即障碍物的目标。具体的方式如下:
簇中心坐标为X(k)=[xp(k)xv(k)yp(k)yv(k)]T,k时刻目标的位置为(xp(k)yp(k)),目标的速度(xv(k)yv(k))由水平方向和垂直方向的分速度构成,用向量表示为:v(k)=xv(k)+yv(k)。
目标的水平和垂直方向分解为:
水平位置:xp(k+1)=xp(k)+xv(k)*1+0.5wxp(k)*1^2
水平速度:xv(k+1)=xv(k)+wxv(k)*1
垂直位置:yp(k+1)=yp(k)+yv(k)*1+0.5wyp(k)*1^2
垂直速度:yv(k+1)=yv(k)+wyv(k)*1
状态方程:X(k+1)=AX(k)+Tw(k)
dvs的位置与目标之间存在关系:
d(k)=((xp(k)-xs)2+(yp(k)-ys)2)^0.5+v(k)
式中,d是dvs与目标之间的距离,它受测量噪声v(k)影响。将上述方程表示为:
Z(k)=h(X(k))+v(k)
函数h表示的是dvs与目标状态之间的函数关系,在一类实施例中可以表示为:
h(X(k))=((xp(k)-xs)2+(yp(k)-ys)2)^0.5;
则目标的位置可以获得,即障碍物得到跟踪。通过给出初始的目标框,则目标的最终的目标框可以如图3所示。
在一类实施例中,每个簇的中心是由组成该簇的粒子的位置加权计算获得,即该新簇中各个粒子的权重系数
其中,d(i,j)为第i簇的中心与j粒子之间的空间距离;根据上述权重系数计算出所述单个或多个目标的坐标数据。
在一实施例中,以球类运动为例进行进一步说明。在球类运动中,如足球等高速运动的球类运动中,需要对球的速度、路径等进行判断,从而在比赛、训练中给观众或运动员提供有效的信息。因此需要非常高速、精确地对足球球体进行跟踪。因此需要对跟踪算法的精度、速度提出很高的要求。
如图4所示,在固定场所安装有DVS装置,可以迅速地将目标球类采集,并且生成事件流。
事件流被送给簇生成模块。簇生成模块对其按以下方式进行处理:
对给定时间间隔t1至t2间所采集的全部事件的在时间、空间坐标体系内进行聚类计算,生成m个类为m个簇;
在一类实施例中,采用以下算法中的一种来进行聚类分析:k-均值、均值漂移聚类、基于密度的聚类方法、凝聚层次聚类、图团体检测。
具体的为:不同与传统的方法,本方法中将原始的事件流与时间生成一系列的3维空间(状态空间)中的点,然后根据按以下方式进行先从上述点的集中随机选取kk个点作为簇中心,并计算所有点与这kk个“簇中心”的距离,对于每一个点,将其划分到与其距离最近的“簇中心”所在的簇中,对于新的簇计算各个簇的新的“簇中心”。
计算系统中所有的簇的总数;
若所述的簇的总数大于N,则不再增加新簇。在一类实施例中,该数量为3。
然后从所述事件流中确定待跟踪的候选事件中心;
当所述候选事件中心的运动状态在至少一个预设的时间间隔阈值内为预设状态时,确定所述候选事件中心不存在新事件;
舍弃所述候选事件中心。
从所述事件流中确定归属于该簇的事件的数量;
当所归属于该簇事件的数量少于和/或等于指定的数量时,该簇不可见,否则该簇可见。
将上述N个类的中心坐标输入到粒子算法的模块中。该模块输出精确的目标的位置坐标。即障碍物的目标。具体的方式如下:
簇中心坐标为X(k)=[xp(k)xv(k)yp(k)yv(k)]T,k时刻目标的位置为(xp(k)yp(k)),目标的速度(xv(k)yv(k))由水平方向和垂直方向的分速度构成,用向量表示为:v(k)=xv(k)+yv(k)。
目标的水平和垂直方向分解为:
水平位置:xp(k+1)=xp(k)+xv(k)*1+0.5wxp(k)*1^2
水平速度:xv(k+1)=xv(k)+wxv(k)*1
垂直位置:yp(k+1)=yp(k)+yv(k)*1+0.5wyp(k)*1^2
垂直速度:yv(k+1)=yv(k)+wyv(k)*1
状态方程:X(k+1)=AX(k)+Tw(k)
dvs的位置与目标之间存在关系:
d(k)=((xp(k)-xs)2+(yp(k)-ys)2)^0.5+v(k)
式中,d是dvs与目标之间的距离,它受测量噪声v(k)影响。将上述方程表示为:
Z(k)=h(X(k))+v(k)
函数h表示的是dvs与目标状态之间的函数关系,在一类实施例中可以表示为:
h(X(k))=((xp(k)-xs)2+(yp(k)-ys)2)^0.5;
则目标的位置可以获得,即障碍物得到跟踪。通过给出初始的目标框,则目标的最终的目标框可以如图5所示。
在一类实施例中,每个簇的中心是由组成该簇的粒子的位置加权计算获得,即该新簇中各个粒子的权重系数
其中,d(i,j)为第i簇的中心与j粒子之间的空间距离;
根据上述权重系数计算出所述单个或多个目标的坐标数据。
在一实施例中,以安防监控举例进行说明。在安防监控领域中,如公共场所的可疑人员的跟踪,需要对其脸等进行高速、精确地跟踪。因此需要对跟踪算法的精度、速度提出很高的要求。
在固定场所安装有DVS装置,可以迅速将人员的脸部进行采集,并且生成事件流。
事件流被送给簇生成模块。簇生成模块对其按以下方式进行处理:
对给定时间间隔t1至t2间所采集的全部事件的在时间、空间坐标体系内进行区域生长计算,生长成m个独立的区域为m个簇;
算法步骤开始:
初始化变量pixdist=0;
交互式选择一个种子点,并且初始化区域的灰度均值变量reg_mean为该种子点的灰度值。
while(pixdist<reg_maxdist)
将当前种子点的九邻域像素点加入到链表neg_list中;
分别计算neg_list中所有元素的灰度值和reg_mean差的绝对值,并且得到最小值的元素i(x,y).令pixdist=abs(neg_list(i,3)-reg_mean);
更新reg_mean=(reg_mean*reg_size+neg_list(i,3))/(reg_size+1);(注:reg_size表示分割好区域内像素点的数量)
将旧的种子点标记为已经分割好的区域像素点;
将i(x,y)当做新的种子点,并将新的种子点i(x,y)从链表neg_list中移除
end
算法步骤结束
计算系统中所有的簇的总数;
若所述的簇的总数大于N,则不再增加新簇。在一类实施例中,该数量为3。
然后从所述事件流中确定待跟踪的候选事件中心;
当所述候选事件中心的运动状态在至少一个预设的时间间隔阈值内为预设状态时,确定所述候选事件中心不存在新事件;
舍弃所述候选事件中心。
从所述事件流中确定归属于该簇的事件的数量;
当归属于该簇事件的数量少于和/或等于指定的数量时,该簇不可见,否则该簇可见。
将上述N个类的中心坐标输入到粒子算法的模块中。该模块输出精确的目标的位置坐标。即障碍物的目标。具体的方式如下:
簇中心坐标为X(k)=[xp(k)xv(k)yp(k)yv(k)]T,k时刻目标的位置为(xp(k)yp(k)),目标的速度(xv(k)yv(k))由水平方向和垂直方向的分速度构成,用向量表示为:v(k)=xv(k)+yv(k)
目标的水平和垂直方向分解为:
水平位置:xp(k+1)=xp(k)+xv(k)*1+0.5wxp(k)*1^2
水平速度:xv(k+1)=xv(k)+wxv(k)*1
垂直位置:yp(k+1)=yp(k)+yv(k)*1+0.5wyp(k)*1^2
垂直速度:yv(k+1)=yv(k)+wyv(k)*1
状态方程:X(k+1)=AX(k)+Tw(k)
dvs的位置与目标之间存在关系:
d(k)=((xp(k)-xs)2+(yp(k)-ys)2)^0.5+v(k)
式中,d是dvs与目标之间的距离,它受测量噪声v(k)影响。将上述方程表示为:
Z(k)=h(X(k))+v(k)
函数h表示的是dvs与目标状态之间的函数关系,在一类实施例中可以表示为:
h(X(k))=((xp(k)-xs)2+(yp(k)-ys)2)^0.5;
则目标的位置可以获得,即障碍物得到跟踪。通过给出初始的目标框,则目标的最终的目标框可以如图6所示。
在一类实施例中,每个簇的中心是由组成该簇的粒子的位置加权计算获得,即该新簇中各个粒子的权重系数
其中,d(i,j)为第i簇的中心与j粒子之间的空间距离;
根据上述权重系数计算出所述单个或多个目标的坐标数据。
由上可知,本实施例提供的目标跟踪方法可以获取传感器采集的事件流,对事件流进行簇生成,对第一时间序列进行粒子过滤处理,得到第二时间序列,第二时间序列包括单个或多个目标的坐标数据。本发明可以将事件流生成簇,从而可以将后续步骤处理的数据的量大大降低,从而提高处理的效率,提高处理的速度,这种改进,可以降低同等情况下目标跟踪算法需要的硬件计算力,或在同样硬件计算力的情况下提高跟踪效果。
请继续参阅图7,图7是本发明实施例提供的目标跟踪装置的一种结构示意图。该目标跟踪装置可以包括:
所述事件流获取模块301,用于获取传感器采集的事件流,所述事件流包括按照时域增序排列的多个基于目标对象的运动状态变化的事件,所述事件为所述目标对象部分或全部的像素值发生变化;
所述簇生成模块302,用于对所述事件流进行簇生成,得到目标簇的第一时间序列,所述第一时间序列包括至少一个所述目标对象的事件中心坐标数据;
所述过滤模块303,用于对所述第一时间序列进行粒子过滤处理,得到第二时间序列,所述第二时间序列包括至少一个所述目标对象的坐标数据。
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
由上可知,本发明实施例提出的目标跟踪装置,可以获取传感器采集的事件流,对事件流进行簇生成,对第一时间序列进行粒子过滤处理,得到第二时间序列,第二时间序列包括单个或多个目标的坐标数据。本发明可以将事件流生成簇,从而可以将后续步骤处理的数据的量大大降低,从而提高处理的效率,提高处理的速度,这种改进,可以降低同等情况下目标跟踪算法需要的硬件计算力,或在同样硬件计算力的情况下提高跟踪效果。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种目标跟踪方法中的步骤。例如,该计算机程序可以执行如下步骤:
获取传感器采集的事件流,所述事件流包括按照时域增序排列的多个基于目标对象的运动状态变化的事件,所述事件为所述目标对象部分或全部的像素值发生变化;
对所述事件流进行簇生成,得到目标簇的第一时间序列,所述第一时间序列包括至少一个所述目标对象的事件中心坐标数据;
对所述第一时间序列进行粒子过滤处理,得到第二时间序列,所述第二时间序列包括至少一个所述目标对象的坐标数据。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种目标跟踪方法中的步骤,因此,可以实现本申请实施例所提供的任一种目标跟踪方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种目标跟踪方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种目标跟踪方法,其特征在于,所述方法包括:
获取传感器采集的事件流,所述事件流包括按照时域增序排列的多个基于目标对象的运动状态变化的事件,所述事件为所述目标对象部分或全部的像素值发生变化;
对所述事件流进行簇生成,得到目标簇的第一时间序列,所述第一时间序列包括至少一个所述目标对象的事件中心坐标数据;
对所述第一时间序列进行粒子过滤处理,得到第二时间序列,所述第二时间序列包括至少一个所述目标对象的坐标数据。
2.根据权利要求1所述的目标跟踪方法,其特征在于,对所述事件流进行簇生成的步骤包括:
若候选事件的时、空相邻范围内已存在当前簇的任何部分,则将所述候选事件归属于当前簇,所述候选事件为所述事件流中时域上滞后于当前时刻的事件,所述当前簇为当前时刻已经存在的簇;和/或,
若候选事件的时、空相邻范围内不存在当前簇的任何部分或系统中未存在任何当前簇,则创建包括所述候选事件的新簇。
3.根据权利要求2所述的目标跟踪方法,其特征在于,在创建包括所述候选事件的新簇之后,所述方法还包括:
计算系统中所有的簇的总数;
若所述总数大于数量N,则不再增加新簇,所述数量N为大于或等于1的整数,所述数量N根据系统的处理能力动态调整。
4.根据权利要求3所述的目标跟踪方法,其特征在于,所述数量N为3。
5.根据权利要求1所述的目标跟踪方法,其特征在于,对所述事件流进行簇生成的步骤包括:
对预设时间间隔t1至t2间所采集的全部事件在时间和空间坐标体系内进行聚类计算,生成多个类,所述多个类为多个簇。
6.根据权利要求5所述的方目标跟踪方法,其特征在于,所述聚类计算具体采用以下算法中的任意一种:
k-均值、均值漂移聚类、基于密度的聚类方法、凝聚层次聚类和图团体检测。
7.根据权利要求1所述的目标跟踪方法,其特征在于,所述对所述事件流进行簇生成的步骤包括:
对预设时间间隔t1至t2间所采集的全部事件在时间和空间坐标体系内进行区域生长计算,生长成多个独立的区域,所述多个独立的区域为多个簇。
8.根据权利要求1所述的目标跟踪方法,其特征在于,所述对所述事件流进行簇生成的步骤包括:
从所述事件流中确定待跟踪的候选事件中心;
当所述候选事件中心的运动状态在时间间隔阈值内为预设状态时,确定所述候选事件中心不存在新事件;
舍弃所述候选事件中心。
9.根据权利要求1所述的目标跟踪方法,其特征在于,所述对所述事件流进行簇生成的步骤包括:
从所述事件流中确定归属于第一簇事件的数量;
当所述归属于第一簇事件的数量少于和/或等于预设数量时,当前簇不可见,否则,当前簇可见。
10.根据权利要求9所述的目标跟踪方法,其特征在于,所述预设数量Q为事件流中事件间时空间隔的函数,即Q(Xn-Xm,Yn-Ym,tn-tm),其中Xn、Xm、Yn、Ym分别是第n个和第m个事件的X、Y空间坐标,tn、tm分别是第n个和第m个事件的时间戳。
11.根据权利要求10所述的目标跟踪方法,其特征在于,所述预设数量Q为事件流中事件间时空间隔的函数,即Q=a*(Xn-Xm)+b(Yn-Ym)+c*(tn-tm),其中Xn、Xm、Yn、Ym分别是第n个和第m个事件的X、Y空间坐标,tn、tm分别是第n个和第m个事件的时间戳,a、b、c分别是常数系数。
13.一种目标跟踪装置,其特征在于,包括事件流获取模块、簇生成模块和过滤模块;
所述事件流获取模块,用于获取传感器采集的事件流,所述事件流包括按照时域增序排列的多个基于目标对象的运动状态变化的事件,所述事件为所述目标对象部分或全部的像素值发生变化;
所述簇生成模块,用于对所述事件流进行簇生成,得到目标簇的第一时间序列,所述第一时间序列包括至少一个所述目标对象的事件中心坐标数据;
所述过滤模块,用于对所述第一时间序列进行粒子过滤处理,得到第二时间序列,所述第二时间序列包括至少一个所述目标对象的坐标数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210348674.5A CN114723776B (zh) | 2022-04-01 | 2022-04-01 | 目标跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210348674.5A CN114723776B (zh) | 2022-04-01 | 2022-04-01 | 目标跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114723776A true CN114723776A (zh) | 2022-07-08 |
CN114723776B CN114723776B (zh) | 2024-04-19 |
Family
ID=82242744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210348674.5A Active CN114723776B (zh) | 2022-04-01 | 2022-04-01 | 目标跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114723776B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103686923A (zh) * | 2013-12-26 | 2014-03-26 | 华北电力大学 | 面向目标跟踪的无线传感器聚簇能量管理方法 |
CN104463912A (zh) * | 2014-12-16 | 2015-03-25 | 武汉大学 | 一种基于簇相似的多尺度目标跟踪方法 |
CN104766342A (zh) * | 2015-03-30 | 2015-07-08 | 天津师范大学 | 基于时域视觉传感器的运动目标跟踪系统及测速方法 |
CN108664935A (zh) * | 2018-05-14 | 2018-10-16 | 中山大学新华学院 | 基于cuda的深度时空信息融合的目标跟踪方法及系统 |
CN109544590A (zh) * | 2018-11-27 | 2019-03-29 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
CN109697726A (zh) * | 2019-01-09 | 2019-04-30 | 厦门大学 | 一种基于事件相机的端对端目标运动估计方法 |
WO2019109142A1 (en) * | 2017-12-06 | 2019-06-13 | University Of Technology Sydney | Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments |
WO2019129255A1 (zh) * | 2017-12-29 | 2019-07-04 | 华为技术有限公司 | 一种目标跟踪方法及装置 |
CN110148159A (zh) * | 2019-05-20 | 2019-08-20 | 厦门大学 | 一种基于事件相机的异步目标跟踪方法 |
CN111999735A (zh) * | 2020-09-11 | 2020-11-27 | 杭州瑞利海洋装备有限公司 | 一种基于径向速度和目标跟踪的动静目标分离方法 |
CN113724297A (zh) * | 2021-08-31 | 2021-11-30 | 中国科学院长春光学精密机械与物理研究所 | 基于事件相机的跟踪方法 |
-
2022
- 2022-04-01 CN CN202210348674.5A patent/CN114723776B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103686923A (zh) * | 2013-12-26 | 2014-03-26 | 华北电力大学 | 面向目标跟踪的无线传感器聚簇能量管理方法 |
CN104463912A (zh) * | 2014-12-16 | 2015-03-25 | 武汉大学 | 一种基于簇相似的多尺度目标跟踪方法 |
CN104766342A (zh) * | 2015-03-30 | 2015-07-08 | 天津师范大学 | 基于时域视觉传感器的运动目标跟踪系统及测速方法 |
WO2019109142A1 (en) * | 2017-12-06 | 2019-06-13 | University Of Technology Sydney | Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments |
WO2019129255A1 (zh) * | 2017-12-29 | 2019-07-04 | 华为技术有限公司 | 一种目标跟踪方法及装置 |
CN108664935A (zh) * | 2018-05-14 | 2018-10-16 | 中山大学新华学院 | 基于cuda的深度时空信息融合的目标跟踪方法及系统 |
CN109544590A (zh) * | 2018-11-27 | 2019-03-29 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
CN109697726A (zh) * | 2019-01-09 | 2019-04-30 | 厦门大学 | 一种基于事件相机的端对端目标运动估计方法 |
CN110148159A (zh) * | 2019-05-20 | 2019-08-20 | 厦门大学 | 一种基于事件相机的异步目标跟踪方法 |
CN111999735A (zh) * | 2020-09-11 | 2020-11-27 | 杭州瑞利海洋装备有限公司 | 一种基于径向速度和目标跟踪的动静目标分离方法 |
CN113724297A (zh) * | 2021-08-31 | 2021-11-30 | 中国科学院长春光学精密机械与物理研究所 | 基于事件相机的跟踪方法 |
Non-Patent Citations (4)
Title |
---|
HONGMIN LI 等: "Robust Event-Based Object Tracking Combining Correlation Filter and CNN Representation", 《FRONTIERS》, vol. 13, pages 1 - 11 * |
冯阳: "动态视觉传感器事件流处理方法研究", 《中国博士论文全文数据库信息科技辑》, no. 08, pages 138 - 7 * |
周小龙 等: "基于事件相机的视觉跟踪算法综述", 《小型微型计算机系统》, vol. 41, no. 11, pages 2325 - 2332 * |
赵锴: "基于事件相机的运动分割算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 02, pages 138 - 1001 * |
Also Published As
Publication number | Publication date |
---|---|
CN114723776B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Needham et al. | Tracking multiple sports players through occlusion, congestion and scale | |
Hou et al. | Detection of the mobile object with camouflage color under dynamic background based on optical flow | |
Bera et al. | Realtime anomaly detection using trajectory-level crowd behavior learning | |
Li et al. | Adaptive pyramid mean shift for global real-time visual tracking | |
JP6065427B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
Zhang et al. | Scene perception guided crowd anomaly detection | |
Ren et al. | Multi-camera video surveillance for real-time analysis and reconstruction of soccer games | |
CN110111370B (zh) | 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法 | |
US20230184921A1 (en) | Radar point cloud-based posture determination system | |
Fazekas et al. | Analysis and performance evaluation of optical flow features for dynamic texture recognition | |
CN111008991A (zh) | 一种背景感知的相关滤波目标跟踪方法 | |
Chai et al. | Real-time user interface using particle filter with integral histogram | |
CN112258403A (zh) | 一种在动态烟雾中提取疑似烟雾区域的方法 | |
CN101877134A (zh) | 一种机场监视视频目标鲁棒跟踪方法 | |
US5680514A (en) | Multiple elastic feature net and method for target deghosting and tracking | |
Chu et al. | Target tracking via particle filter and convolutional network | |
Amir Sjarif et al. | Crowd analysis and its applications | |
CN114723776A (zh) | 目标跟踪方法及装置 | |
CN114842045B (zh) | 目标跟踪方法及装置 | |
Wang | Particle filters for visual tracking | |
ELBAŞI et al. | Control charts approach for scenario recognition in video sequences | |
Chen et al. | A generalized mean shift tracking algorithm | |
CN112053384A (zh) | 基于边界框回归模型的目标跟踪方法 | |
CN111191524A (zh) | 运动人群计数方法 | |
CN108346158B (zh) | 基于主块数据关联的多目标跟踪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |