CN103714553B - 一种多目标跟踪方法和装置 - Google Patents
一种多目标跟踪方法和装置 Download PDFInfo
- Publication number
- CN103714553B CN103714553B CN201210382251.1A CN201210382251A CN103714553B CN 103714553 B CN103714553 B CN 103714553B CN 201210382251 A CN201210382251 A CN 201210382251A CN 103714553 B CN103714553 B CN 103714553B
- Authority
- CN
- China
- Prior art keywords
- target
- target trajectory
- candidate
- trajectory
- candidate target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多目标跟踪方法,在每获取到一帧图像后,分别进行如下处理:利用从图像中确定出的候选目标组成候选目标集合;针对所获取的目标轨迹集合中的每个目标轨迹,分别确定出与其相关联的候选目标,并针对每个候选目标,分别确定出与其相关联的目标轨迹;根据确定出的关联关系,针对每个目标轨迹,分别确定是否存在与之相匹配的候选目标,如果是,则将相匹配的候选目标作为该目标轨迹的跟踪结果,否则,确定该目标轨迹未匹配成功。本发明同时公开了一种多目标跟踪装置。应用本发明所述的方法和装置,能够提高跟踪结果的准确性。
Description
技术领域
本发明涉及智能视频监控领域,特别涉及一种多目标跟踪方法和装置。
背景技术
随着时代的发展,智能化需求和应用的提高,人流量统计的现实需求越来越大,目前已经广泛应用在各大商场、展馆、连锁店和景点等出入口。
作为人流量统计的关键环节,目标跟踪的作用不言而喻,人流量统计中的目标跟踪通常属于多目标跟踪。当多个目标轨迹存在时,需要分别寻找其各自相匹配的候选目标,如何正确地进行匹配是一个亟待解决的问题。
目前,针对多目标跟踪,通常采用关联跟踪方式。但是,由于关联跟踪方式没有关联管理机制,当多个目标轨迹关联一个候选目标,或一个目标轨迹关联多个候选目标时,很容易出现误关联的现象,从而降低跟踪结果的准确性。误关联是指当目标轨迹和候选目标比较多的情况下,一个目标轨迹错误地关联上属于另一个目标轨迹的候选目标。
发明内容
有鉴于此,本发明提供了一种多目标跟踪方法和装置,能够提高跟踪结果的准确性。
为达到上述目的,本发明的技术方案是这样实现的:
一种多目标跟踪方法,在每获取到一帧图像后,分别进行如下处理:
A、利用从所述图像中确定出的候选目标组成候选目标集合;
B、针对所获取的目标轨迹集合中的每个目标轨迹,分别确定出所述候选目标集合中与其相关联的候选目标,并针对所述候选目标集合中的每个候选目标,分别确定出所述目标轨迹集合中与其相关联的目标轨迹;
C、根据步骤B中确定出的关联关系,针对所述目标轨迹集合中的每个目标轨迹,分别确定是否存在与之相匹配的候选目标,如果是,则将相匹配的候选目标作为该目标轨迹的跟踪结果,否则,确定该目标轨迹未匹配成功。
一种多目标跟踪装置,包括:
获取模块,用于在每获取到一帧图像后,利用从所述图像中确定出的候选目标组成候选目标集合;
关联模块,用于针对所获取的目标轨迹集合中的每个目标轨迹,分别确定出所述候选目标集合中与其相关联的候选目标,并针对所述候选目标集合中的每个候选目标,分别确定出所述目标轨迹集合中与其相关联的目标轨迹;
匹配模块,用于根据确定出的关联关系,针对所述目标轨迹集合中的每个目标轨迹,分别确定是否存在与之相匹配的候选目标,如果是,则将相匹配的候选目标作为该目标轨迹的跟踪结果,否则,确定该目标轨迹未匹配成功。
可见,采用本发明所述方案,分别确定与每个目标轨迹相关联的候选目标以及与每个候选目标相关联的目标轨迹,并综合考虑上述两种关联关系,进行目标轨迹与候选目标之间的匹配,从而降低了误关联现象的出现概率,进而提高了跟踪结果的准确性。
附图说明
图1为本发明多目标跟踪方法实施例的流程图。
图2为原则1)~3)的实现过程示意图。
图3为原则4)的实现过程示意图。
具体实施方式
针对现有技术中存在的问题,本发明中提出一种改进后的多目标跟踪方案,即最近邻关联跟踪方案:计算目标轨迹和候选目标之间的重叠面积,重叠面积越大表示越近邻,通过最大重叠面积来确定两者之间的最近邻关联,通过关联进行目标跟踪。
为了使本发明的技术方案更加清楚、明白,以下参照附图并举实施例,对本发明所述方案作进一步地详细说明。
图1为本发明多目标跟踪方法实施例的流程图。在每获取到一帧图像后,分别按照图1所示流程进行处理。如图1所示,包括以下步骤:
步骤11:利用从图像中确定出的候选目标组成候选目标集合。
在实际应用中,在每获取到一帧图像后,可首先进行如下处理:确定图像中是否存在新增目标轨迹,如果是,则将新增目标轨迹加入到目标轨迹集合中。目标轨迹集合由一个个在不同时刻加入的目标轨迹组成,新增目标轨迹即指之前在目标轨迹集合中不存在的目标轨迹。
在将新增目标轨迹加入到目标轨迹集合中之后,还需要对新增目标轨迹进行初始化,初始化对象包括新增目标轨迹的基本信息以及轨迹关联和管理的基本参数等。
具体来说,初始化的内容包括:获取新增目标轨迹的轨迹点数目和每个轨迹点的位置信息,其中位置信息经归一化处理,每个轨迹点的位置信息可包括该轨迹点的大小和中心位置等;按现有预定方式计算新增目标轨迹的平均速度;将新增目标轨迹的速度倍数设置为1;利用最小误差直线拟合法来确定新增目标轨迹的整体方向;为新增目标轨迹设置一个唯一标识(序号)等。目标轨迹由一系列的轨迹点组成,每个轨迹点即可理解为一个按照本发明所述方式匹配成功的候选目标。
之后,可利用从图像中确定出的候选目标组成候选目标集合,并可为每个候选目标设置一个唯一的标识,如何确定出图像中的候选目标为现有技术。
另外,还可根据从图像中确定出的候选目标的大小和数目确定出重叠面积阈值,重叠面积阈值包括大面积阈值和基本阈值。其中,若候选目标偏大,即面积偏大,且数量较少,则重叠面积阈值可设置得较为宽松,使得关联相对容易;若候选目标偏小,且数量较多,则重叠面积阈值可设置得较为严格,使得关联相对困难,尽量减少发生误关联的可能性。
大面积阈值和基本阈值的具体取值均可根据实际需要而定。
步骤12:针对所获取的目标轨迹集合中的每个目标轨迹,分别确定出候选目标集合中与其相关联的候选目标,并针对候选目标集合中的每个候选目标,分别确定出目标轨迹集合中与其相关联的目标轨迹。
本步骤中,可针对目标轨迹集合中的每个目标轨迹x(为便于表述,用目标轨迹x来代表目标轨迹集合中的任一目标轨迹),分别按照步骤a)~b)进行处理。
a)将目标轨迹x最新一次匹配成功时相匹配的候选目标作为历史目标框,并基于历史目标框确定出目标轨迹x在图像中的预测目标框。
目标轨迹x最新一次匹配成功时相匹配的候选目标即指目标轨迹x的最新一个轨迹点;可将目标轨迹x的平均速度和速度倍数相乘,将计算结果作为预测位置偏移,并在目标轨迹x的历史目标框的基础上累加预测位置偏移,得到目标轨迹x的预测目标框。
b)针对候选目标集合中的每个候选目标y(为便于表述,用候选目标y来代表候选目标集合中的任一候选目标),分别计算目标轨迹x的历史目标框和预测目标框与候选目标y的重叠面积,得到两个计算结果,并确定两个计算结果中的较大值是否符合预定要求,如果是,则确定目标轨迹x与候选目标y相关联。
在分别计算目标轨迹x的历史目标框和预测目标框与候选目标y的重叠面积,得到两个计算结果之后,如果两个计算结果中的较大值符合以下条件之一,则可确定目标轨迹x与候选目标y相关联:
条件一:两个计算结果中的较大值大于步骤11中确定出的大面积阈值;
条件二:两个计算结果中的较大值大于步骤11中确定出的基本阈值,且候选目标y连接目标轨迹x时不影响目标轨迹x的整体方向一致性。
如何确定候选目标y连接目标轨迹x时是否影响目标轨迹x的整体方向一致性为现有技术。目标轨迹x的整体方向在目标轨迹x加入到目标轨迹集合中进行初始化时确定。
经过上述步骤a)~b)的处理后,即可得到与目标轨迹集合中的每个目标轨迹相关联的候选目标,以及与候选目标集合中的每个候选目标相关联的目标轨迹,并分别进行记录。具体来说,可针对目标轨迹集合中的每个目标轨迹,分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积(两个计算结果中的较大值),针对候选目标集合中的每个候选目标,分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积(两个计算结果中的较大值)。
其中,针对每个目标轨迹,可最多只记录N个与其相关联的候选目标的唯一标识以及与该目标轨迹之间的重叠面积,N为大于1的正整数。也就是说,如果与该目标轨迹相关联的候选目标数小于N,那么则记录全部与该目标轨迹相关联的候选目标的唯一标识以及与该目标轨迹之间的重叠面积;如果与该目标轨迹相关联的候选目标数大于N,则只记录重叠面积最大的N个候选目标的唯一标识以及与该目标轨迹之间的重叠面积。通常来说,在实际应用中,无需记录全部在后续即够用了。
同样,针对每个候选目标,可最多只记录M个与其相关联的目标轨迹的唯一标识以及与该候选目标之间的重叠面积,M为大于1的正整数,M的取值可等于N,也可不等于N,并记录M个重叠面积最大的目标轨迹。M和N的具体取值均可根据实际需要而定。
可以看出,候选目标和目标轨迹之间的关联是双向的,一个候选目标可能同时和多个目标轨迹相关联,一个目标轨迹也可能同时和多个候选目标相关联。
步骤13:根据步骤12中确定出的关联关系,针对目标轨迹集合中的每个目标轨迹,分别确定是否存在与之相匹配的候选目标,如果是,则将相匹配的候选目标作为该目标轨迹的跟踪结果,否则,确定该目标轨迹未匹配成功。
本步骤中,可遵循以下原则来对目标轨迹与候选目标之间进行匹配:
1)针对候选目标集合中的每个候选目标z(为便于表述,用候选目标z来代表候选目标集合中的任一候选目标),如果确定与其相关联的目标轨迹数等于1,且与与候选目标z相关联的目标轨迹相关联的候选目标数等于1,则将与候选目标z相关联的目标轨迹作为与候选目标z相匹配的目标轨迹;
2)如果确定与候选目标z相关联的目标轨迹数大于1,则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹,如果与所选出的目标轨迹相关联的候选目标数等于1,则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹;
3)如果确定与候选目标z相关联的目标轨迹数等于0,则确定候选目标z未匹配成功;
4)如果确定与候选目标z相关联的目标轨迹数大于1,则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹,如果与所选出的目标轨迹相关联的候选目标数大于1,则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序;
确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功,如果否,则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标;如果是,则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功,如果否,则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标;依次类推;
如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功,则确定所选出的目标轨迹未匹配成功。
图2为原则1)~3)的实现过程示意图。针对候选目标集合中的每个候选目标,可分别按照如图2所示方式进行处理。如图2所示,包括:
步骤201:确定与候选目标相关联的目标轨迹数是否大于0,如果是,则执行步骤203,否则,执行步骤202。
步骤202:确定候选目标未匹配成功,并结束流程。
步骤203:确定与候选目标相关联的目标轨迹数是否等于1,如果是,则执行步骤204,否则,执行步骤206。
步骤204:确定与与候选目标相关联的目标轨迹相关联的候选目标数是否等于1,如果是,则执行步骤205,否则,执行图3所示流程。
步骤205:将与候选目标相关联的目标轨迹作为与候选目标相匹配的目标轨迹,并结束流程。
步骤206:从与候选目标相关联的目标轨迹中选出与候选目标之间的重叠面积最大的目标轨迹。
步骤207:确定与选出的目标轨迹相关联的候选目标数是否等于1,如果是,则执行步骤208,否则,执行图3所示流程。
步骤208:将选出的目标轨迹作为与候选目标相匹配的目标轨迹,并结束流程。
图3为原则4)的实现过程示意图。针对图2中所述的相关联的候选目标数大于1的每个目标轨迹,可分别按照图3所示方式进行处理。如图3所示,包括:
步骤301:将与目标轨迹相关联的候选目标按照与目标轨迹之间的重叠面积由大到小的顺序进行排序。
步骤302:令i=1。
步骤303:确定排序后处于第i位的候选目标是否已与一目标轨迹匹配成功,如果否,则执行步骤304,否则,执行步骤305。
步骤304:将排序后处于第i位的候选目标作为与目标轨迹相匹配的候选目标,并结束流程。
步骤305:令i=i+1,并确定是否存在排序后处于第i位的候选目标,如果是,则重复执行步骤303,否则,执行步骤306。
步骤306:确定目标轨迹未匹配成功,并结束流程。
在实际应用中,可针对每个目标轨迹以及每个候选目标分别设置一个成功匹配标记,如果匹配成功,则将该标记设置为1,否则设置为0,用以区分哪些目标轨迹和候选目标匹配成功,哪些未匹配成功。
另外,还可将匹配成功的候选目标展示给用户。
再有,在对目标轨迹集合中的每个目标轨迹均完成处理后,即分别确定了其是否匹配成功后,可进一步对各目标轨迹的相关参数等进行更新。
具体来说,对于匹配成功的目标轨迹,可将其速度倍数还原为1,并更新其轨迹点和重新计算其平均速度,更新其轨迹点即指将最新匹配成功的候选目标作为一个轨迹点加入到目标轨迹中,记录其位置信息,包括大小和中心点位置等,并可对位置信息进行归一化处理。
对于未匹配成功的目标轨迹,将其速度倍数加1,并确定加1后的值是否超过预定上限,如果是,则将速度倍数设置为所述上限,否则,维持加1后的值不变。
由于在确定一目标轨迹的预测目标框时,就是在其历史目标框的基础上累加该目标轨迹的平均速度和速度倍数的乘积,因此,若目标轨迹匹配成功,则将其速度倍数还原为初始值1,若未匹配成功,则对其速度倍数进行累加,且累加后的速度倍数不能超过上限,设置上限主要是为了防止目标轨迹和候选目标之间由于距离过远而发生误关联。上限的具体取值可根据实际需要而定。
至此,即完成了关于本发明方法实施例的介绍。
基于上述介绍,本发明同时公开了一种多目标跟踪装置,包括:
获取模块,用于在每获取到一帧图像后,利用从图像中确定出的候选目标组成候选目标集合;
关联模块,用于针对所获取的目标轨迹集合中的每个目标轨迹,分别确定出候选目标集合中与其相关联的候选目标,并针对候选目标集合中的每个候选目标,分别确定出目标轨迹集合中与其相关联的目标轨迹;
匹配模块,用于根据确定出的关联关系,针对目标轨迹集合中的每个目标轨迹,分别确定是否存在与之相匹配的候选目标,如果是,则将相匹配的候选目标作为该目标轨迹的跟踪结果,否则,确定该目标轨迹未匹配成功。
获取模块可进一步用于,确定图像中是否存在新增目标轨迹,如果是,则将新增目标轨迹加入到目标轨迹集合中。
关联模块中可具体包括:
第一处理单元,用于针对目标轨迹集合中的每个目标轨迹x,分别进行以下处理:将目标轨迹x最新一次匹配成功时相匹配的候选目标作为历史目标框,并基于历史目标框确定出目标轨迹x在图像中的预测目标框;针对候选目标集合中的每个候选目标y,分别计算目标轨迹x的历史目标框和预测目标框与候选目标y的重叠面积,得到两个计算结果,并确定两个计算结果中的较大值是否符合预定要求,如果是,则确定目标轨迹x与候选目标y相关联;
第二处理单元,用于分别记录与目标轨迹集合中的每个目标轨迹相关联的候选目标,以及与候选目标集合中的每个候选目标相关联的目标轨迹。
获取模块还可进一步用于,在将新增目标轨迹加入到目标轨迹集合中之后,对新增目标轨迹进行初始化;初始化包括:按预定方式计算新增目标轨迹的平均速度,并将新增目标轨迹的速度倍数设置为1;
相应地,第一处理单元将目标轨迹x的平均速度和速度倍数相乘,将计算结果作为预测位置偏移,并在目标轨迹x的历史目标框的基础上累加预测位置偏移,得到目标轨迹x的预测目标框。
获取模块还可进一步用于,在对新增目标轨迹进行初始化时,确定新增目标轨迹的整体方向;并根据从图像中确定出的候选目标的大小和数目确定重叠面积阈值,重叠面积阈值包括大面积阈值和基本阈值;
如果两个计算结果中的较大值大于大面积阈值,则第一处理单元确定目标轨迹x与候选目标y相关联;或者,如果两个计算结果中的较大值大于基本阈值,且候选目标y连接目标轨迹x时不影响目标轨迹x的整体方向一致性,则第一处理单元确定目标轨迹x与候选目标y相关联。
另外,针对目标轨迹集合中的每个目标轨迹,第二处理单元分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积,针对候选目标集合中的每个候选目标,第二处理单元分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积;
针对候选目标集合中的每个候选目标z,如果匹配模块确定与其相关联的目标轨迹数等于1,且与与候选目标z相关联的目标轨迹相关联的候选目标数等于1,则将与候选目标z相关联的目标轨迹作为与候选目标z相匹配的目标轨迹;
如果匹配模块确定与候选目标z相关联的目标轨迹数大于1,则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹,如果与所选出的目标轨迹相关联的候选目标数等于1,则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹;
如果匹配模块确定与候选目标z相关联的目标轨迹数等于0,则确定候选目标z未匹配成功;
如果匹配模块确定与候选目标z相关联的目标轨迹数大于1,则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹,如果与所选出的目标轨迹相关联的候选目标数大于1,则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序;确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功,如果否,则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标;如果是,则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功,如果否,则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标;依次类推;如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功,则确定所选出的目标轨迹未匹配成功。
获取模块还可进一步用于,对于匹配成功的目标轨迹,将其速度倍数还原为1,并更新其轨迹点和重新计算其平均速度;对于未匹配成功的目标轨迹,将其速度倍数加1,并确定加1后的值是否超过预定上限,如果是,则将速度倍数设置为上限,否则,维持加1后的值不变。
上述装置实施例的具体工作流程请参照前述方法实施例中的相应说明,此处不再赘述。
总之,采用本发明所述方案,分别确定与每个目标轨迹相关联的候选目标以及与每个候选目标相关联的目标轨迹,并综合考虑上述两种关联关系,进行目标轨迹与候选目标之间的匹配,并且,在进行关联时既考虑了最近邻的目标优先原则,保证了目标轨迹跟踪的稳定性,又考虑了目标轨迹整体方向一致性原则,从而降低了误关联现象的出现概率,进而提高了跟踪结果的准确性。
另外,本发明所述方案中,同时利用历史目标框以及预测目标框进行关联和匹配,匹配失败则原地等待,从而避免了轨迹漂移现象的出现,轨迹漂移是指在某一帧或某几帧图像中未正确匹配候选目标的情况下,产生的明显偏移真实候选目标位置的跟踪现象;而且,由于预测、关联和匹配等处理在后续各帧图像中仍会继续,因此若没有长时间的匹配失败,后续还可以找回之前匹配失败的目标轨迹继续跟踪,直到目标轨迹消失。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (15)
1.一种多目标跟踪方法,其特征在于,在每获取到一帧图像后,分别进行如下处理:
A、利用从所述图像中确定出的候选目标组成候选目标集合;
B、针对所获取的目标轨迹集合中的每个目标轨迹,分别确定出所述候选目标集合中与其相关联的候选目标,并针对所述候选目标集合中的每个候选目标,分别确定出所述目标轨迹集合中与其相关联的目标轨迹;
C、根据步骤B中确定出的关联关系,针对所述目标轨迹集合中的每个目标轨迹,分别确定是否存在与之相匹配的候选目标,如果是,则将相匹配的候选目标作为该目标轨迹的跟踪结果,否则,确定该目标轨迹未匹配成功。
2.根据权利要求1所述的方法,其特征在于,所述步骤A之前,进一步包括:
确定所述图像中是否存在新增目标轨迹,如果是,则将所述新增目标轨迹加入到所述目标轨迹集合中。
3.根据权利要求2所述的方法,其特征在于,所述步骤B包括:
B1、针对所述目标轨迹集合中的每个目标轨迹x,分别进行以下处理:
将目标轨迹x最新一次匹配成功时相匹配的候选目标作为历史目标框,并基于历史目标框确定出目标轨迹x在所述图像中的预测目标框;
针对所述候选目标集合中的每个候选目标y,分别计算目标轨迹x的历史目标框和预测目标框与候选目标y的重叠面积,得到两个计算结果,并确定两个计算结果中的较大值是否符合预定要求,如果是,则确定目标轨迹x与候选目标y相关联;
B2、分别记录与所述目标轨迹集合中的每个目标轨迹相关联的候选目标,以及与所述候选目标集合中的每个候选目标相关联的目标轨迹。
4.根据权利要求3所述的方法,其特征在于,
所述将所述新增目标轨迹加入到所述目标轨迹集合中之后,进一步包括:对所述新增目标轨迹进行初始化;所述初始化包括:按预定方式计算所述新增目标轨迹的平均速度,并将所述新增目标轨迹的速度倍数设置为1;
所述步骤B1中基于历史目标框确定出目标轨迹x在所述图像中的预测目标框包括:将目标轨迹x的平均速度和速度倍数相乘,将计算结果作为预测位置偏移;在目标轨迹x的历史目标框的基础上累加所述预测位置偏移,得到目标轨迹x的预测目标框。
5.根据权利要求4所述的方法,其特征在于,
所述初始化进一步包括:确定所述新增目标轨迹的整体方向;
所述步骤B之前,进一步包括:根据从所述图像中确定出的候选目标的大小和数目确定重叠面积阈值,所述重叠面积阈值包括大面积阈值和基本阈值;
所述步骤B1中确定两个计算结果中的较大值是否符合预定要求,如果是,则确定目标轨迹x与候选目标y相关联包括:
如果两个计算结果中的较大值大于所述大面积阈值,则确定目标轨迹x与候选目标y相关联;
或者,如果两个计算结果中的较大值大于所述基本阈值,且候选目标y连接目标轨迹x时不影响目标轨迹x的整体方向一致性,则确定目标轨迹x与候选目标y相关联。
6.根据权利要求5所述的方法,其特征在于,
所述步骤B2包括:
针对所述目标轨迹集合中的每个目标轨迹,分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积;针对所述候选目标集合中的每个候选目标,分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积;
所述步骤C包括:
针对所述候选目标集合中的每个候选目标z,如果确定与其相关联的目标轨迹数等于1,且与与候选目标z相关联的目标轨迹相关联的候选目标数等于1,则将与候选目标z相关联的目标轨迹作为与候选目标z相匹配的目标轨迹;
如果确定与候选目标z相关联的目标轨迹数大于1,则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹,如果与所选出的目标轨迹相关联的候选目标数等于1,则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹;
如果确定与候选目标z相关联的目标轨迹数等于0,则确定候选目标z未匹配成功。
7.根据权利要求6所述的方法,其特征在于,所述步骤C中进一步包括:
如果确定与候选目标z相关联的目标轨迹数大于1,则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹,如果与所选出的目标轨迹相关联的候选目标数大于1,则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序;
确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功,如果否,则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标;如果是,则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功,如果否,则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标;依次类推;
如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功,则确定所选出的目标轨迹未匹配成功。
8.根据权利要求4所述的方法,其特征在于,该方法进一步包括:
对于匹配成功的目标轨迹,将其速度倍数还原为1,并更新其轨迹点和重新计算其平均速度;
对于未匹配成功的目标轨迹,将其速度倍数加1,并确定加1后的值是否超过预定上限,如果是,则将速度倍数设置为所述上限,否则,维持加1后的值不变。
9.一种多目标跟踪装置,其特征在于,包括:
获取模块,用于在每获取到一帧图像后,利用从所述图像中确定出的候选目标组成候选目标集合;
关联模块,用于针对所获取的目标轨迹集合中的每个目标轨迹,分别确定出所述候选目标集合中与其相关联的候选目标,并针对所述候选目标集合中的每个候选目标,分别确定出所述目标轨迹集合中与其相关联的目标轨迹;
匹配模块,用于根据确定出的关联关系,针对所述目标轨迹集合中的每个目标轨迹,分别确定是否存在与之相匹配的候选目标,如果是,则将相匹配的候选目标作为该目标轨迹的跟踪结果,否则,确定该目标轨迹未匹配成功。
10.根据权利要求9所述的装置,其特征在于,所述获取模块进一步用于,确定所述图像中是否存在新增目标轨迹,如果是,则将所述新增目标轨迹加入到所述目标轨迹集合中。
11.根据权利要求10所述的装置,其特征在于,所述关联模块中包括:
第一处理单元,用于针对所述目标轨迹集合中的每个目标轨迹x,分别进行以下处理:将目标轨迹x最新一次匹配成功时相匹配的候选目标作为历史目标框,并基于历史目标框确定出目标轨迹x在所述图像中的预测目标框;针对所述候选目标集合中的每个候选目标y,分别计算目标轨迹x的历史目标框和预测目标框与候选目标y的重叠面积,得到两个计算结果,并确定两个计算结果中的较大值是否符合预定要求,如果是,则确定目标轨迹x与候选目标y相关联;
第二处理单元,用于分别记录与所述目标轨迹集合中的每个目标轨迹相关联的候选目标,以及与所述候选目标集合中的每个候选目标相关联的目标轨迹。
12.根据权利要求11所述的装置,其特征在于,
所述获取模块进一步用于,在将所述新增目标轨迹加入到所述目标轨迹集合中之后,对所述新增目标轨迹进行初始化;所述初始化包括:按预定方式计算所述新增目标轨迹的平均速度,并将所述新增目标轨迹的速度倍数设置为1;
所述第一处理单元将目标轨迹x的平均速度和速度倍数相乘,将计算结果作为预测位置偏移,并在目标轨迹x的历史目标框的基础上累加所述预测位置偏移,得到目标轨迹x的预测目标框。
13.根据权利要求12所述的装置,其特征在于,
所述获取模块进一步用于,在对所述新增目标轨迹进行初始化时,确定所述新增目标轨迹的整体方向;并根据从所述图像中确定出的候选目标的大小和数目确定重叠面积阈值,所述重叠面积阈值包括大面积阈值和基本阈值;
如果两个计算结果中的较大值大于所述大面积阈值,则所述第一处理单元确定目标轨迹x与候选目标y相关联;
或者,如果两个计算结果中的较大值大于所述基本阈值,且候选目标y连接目标轨迹x时不影响目标轨迹x的整体方向一致性,则所述第一处理单元确定目标轨迹x与候选目标y相关联。
14.根据权利要求13所述的装置,其特征在于,
针对所述目标轨迹集合中的每个目标轨迹,所述第二处理单元分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积,针对所述候选目标集合中的每个候选目标,所述第二处理单元分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积;
针对所述候选目标集合中的每个候选目标z,如果所述匹配模块确定与其相关联的目标轨迹数等于1,且与与候选目标z相关联的目标轨迹相关联的候选目标数等于1,则将与候选目标z相关联的目标轨迹作为与候选目标z相匹配的目标轨迹;
如果所述匹配模块确定与候选目标z相关联的目标轨迹数大于1,则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹,如果与所选出的目标轨迹相关联的候选目标数等于1,则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹;
如果所述匹配模块确定与候选目标z相关联的目标轨迹数等于0,则确定候选目标z未匹配成功;
如果所述匹配模块确定与候选目标z相关联的目标轨迹数大于1,则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹,如果与所选出的目标轨迹相关联的候选目标数大于1,则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序;确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功,如果否,则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标;如果是,则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功,如果否,则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标;依次类推;如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功,则确定所选出的目标轨迹未匹配成功。
15.根据权利要求12所述的装置,其特征在于,
所述获取模块进一步用于,对于匹配成功的目标轨迹,将其速度倍数还原为1,并更新其轨迹点和重新计算其平均速度;对于未匹配成功的目标轨迹,将其速度倍数加1,并确定加1后的值是否超过预定上限,如果是,则将速度倍数设置为所述上限,否则,维持加1后的值不变。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210382251.1A CN103714553B (zh) | 2012-10-09 | 2012-10-09 | 一种多目标跟踪方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210382251.1A CN103714553B (zh) | 2012-10-09 | 2012-10-09 | 一种多目标跟踪方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103714553A CN103714553A (zh) | 2014-04-09 |
CN103714553B true CN103714553B (zh) | 2016-12-21 |
Family
ID=50407496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210382251.1A Active CN103714553B (zh) | 2012-10-09 | 2012-10-09 | 一种多目标跟踪方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103714553B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104778690B (zh) * | 2015-04-02 | 2017-06-06 | 中国电子科技集团公司第二十八研究所 | 一种基于摄像机网络的多目标定位方法 |
CN106340063B (zh) * | 2015-10-21 | 2019-04-12 | 北京智谷睿拓技术服务有限公司 | 共享方法及共享装置 |
CN105788271B (zh) * | 2016-05-17 | 2019-03-12 | 厦门市美亚柏科信息股份有限公司 | 通过轨迹匹配识别目标移动对象的方法和装置 |
CN107704814B (zh) * | 2017-09-26 | 2021-08-24 | 中国船舶重工集团公司第七一九研究所 | 一种基于视频的振动目标监测方法 |
CN108229459B (zh) * | 2018-01-04 | 2020-11-20 | 北京环境特性研究所 | 一种目标跟踪方法 |
CN109087335B (zh) * | 2018-07-16 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 一种人脸跟踪方法、装置和存储介质 |
CN109212545A (zh) * | 2018-09-19 | 2019-01-15 | 长沙超创电子科技有限公司 | 基于主动视觉的多信源目标跟踪测量系统及跟踪方法 |
CN110163889A (zh) * | 2018-10-15 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、目标跟踪装置、目标跟踪设备 |
CN110519324B (zh) * | 2019-06-06 | 2020-08-25 | 特斯联(北京)科技有限公司 | 一种基于网络轨迹大数据的人物追踪方法与系统 |
CN110738688B (zh) * | 2019-10-25 | 2022-05-13 | 中国人民解放军国防科技大学 | 一种红外超弱运动目标检测方法 |
CN111079525B (zh) * | 2019-11-05 | 2023-05-30 | 阿里巴巴集团控股有限公司 | 图像处理方法、设备、系统及存储介质 |
CN112184769B (zh) * | 2020-09-27 | 2023-05-02 | 上海高德威智能交通系统有限公司 | 一种跟踪异常的识别方法、装置及设备 |
CN112507949A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、路侧设备以及云控平台 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0755923A (ja) * | 1993-08-17 | 1995-03-03 | Nec Corp | 目標識別装置 |
JP2000101995A (ja) * | 1998-09-17 | 2000-04-07 | Fumito Arai | 広域追跡装置 |
JP3836814B2 (ja) * | 2003-05-20 | 2006-10-25 | 株式会社東芝 | 画像処理方法、画像処理装置、画像処理プログラム |
CN101639535A (zh) * | 2009-08-28 | 2010-02-03 | 茂名学院 | 模糊聚类粒子滤波的无线传感器网络多目标跟踪方法 |
CN101840579A (zh) * | 2010-01-28 | 2010-09-22 | 浙江大学 | 一种利用视频分割与粒子滤波实现多目标跟踪方法 |
CN102096829A (zh) * | 2011-01-06 | 2011-06-15 | 西北工业大学 | 基于迭代最优化距离分类的空间弱小目标检测方法 |
US8170278B2 (en) * | 2008-08-06 | 2012-05-01 | Sri International | System and method for detecting and tracking an object of interest in spatio-temporal space |
-
2012
- 2012-10-09 CN CN201210382251.1A patent/CN103714553B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0755923A (ja) * | 1993-08-17 | 1995-03-03 | Nec Corp | 目標識別装置 |
JP2000101995A (ja) * | 1998-09-17 | 2000-04-07 | Fumito Arai | 広域追跡装置 |
JP3836814B2 (ja) * | 2003-05-20 | 2006-10-25 | 株式会社東芝 | 画像処理方法、画像処理装置、画像処理プログラム |
US8170278B2 (en) * | 2008-08-06 | 2012-05-01 | Sri International | System and method for detecting and tracking an object of interest in spatio-temporal space |
CN101639535A (zh) * | 2009-08-28 | 2010-02-03 | 茂名学院 | 模糊聚类粒子滤波的无线传感器网络多目标跟踪方法 |
CN101840579A (zh) * | 2010-01-28 | 2010-09-22 | 浙江大学 | 一种利用视频分割与粒子滤波实现多目标跟踪方法 |
CN102096829A (zh) * | 2011-01-06 | 2011-06-15 | 西北工业大学 | 基于迭代最优化距离分类的空间弱小目标检测方法 |
Non-Patent Citations (3)
Title |
---|
Data fusion for ground moving target tracking;Jost Koller 等;《Aerospace Science and Technology》;20070223;第261-270页 * |
基于视频前景边缘和特征检测的人群密度估计方法;贾永华 等;《权威论坛》;20111101;第352-360页 * |
智能视频算法评估综述;李鹏飞 等;《计算机辅助设计与图形学学报》;20100228;第22卷(第2期);第180-184页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103714553A (zh) | 2014-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103714553B (zh) | 一种多目标跟踪方法和装置 | |
CN101018402B (zh) | 位置确定技术 | |
CN105409306B (zh) | 移动终端位置预测方法及装置 | |
CN108447076B (zh) | 基于深度增强学习的多目标跟踪方法 | |
CN107133970B (zh) | 基于运动信息的在线多目标跟踪方法及装置 | |
US9086288B2 (en) | Method and system for finding paths using GPS tracks | |
CN110998606B (zh) | 生成标记数据用于深度对象跟踪 | |
CN106934324A (zh) | 基于简化多假设算法的雷达数据关联方法 | |
Houenou et al. | A track-to-track association method for automotive perception systems | |
CN104133983B (zh) | 基于加权负一阶rd和的多目标伯努利分布式融合方法 | |
Zhou et al. | Tennis ball tracking using a two-layered data association approach | |
Cai et al. | Robust hybrid approach of vision-based tracking and radio-based identification and localization for 3D tracking of multiple construction workers | |
CN112507953A (zh) | 一种目标搜索及追踪方法和装置及设备 | |
CN106294076A (zh) | 一种服务器关联故障预测方法及其系统 | |
Yang et al. | Transloc: transparent indoor localization with uncertain human participation for instant delivery | |
CN110533013A (zh) | 一种轨迹检测方法及装置 | |
CN109581359A (zh) | 一种esm无源信息与雷达有源信息关联的方法 | |
Furey et al. | HABITS: a Bayesian filter approach to indoor tracking and location | |
Chen et al. | Modified extended Kalman filtering for tracking with insufficient and intermittent observations | |
CN111784730A (zh) | 一种对象跟踪方法、装置、电子设备及存储介质 | |
Zhang et al. | Trajectory forecasting from detection with uncertainty-aware motion encoding | |
Chen et al. | Outlier detection technique for RSS-based localization problems in wireless sensor networks | |
Wu et al. | Multi‐camera 3D ball tracking framework for sports video | |
CN108061878A (zh) | 基于移动终端的融合定位方法、存储装置及移动终端 | |
CN102193688B (zh) | 一种多点触摸跟踪识别方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |