CN107292911B - 一种基于多模型融合和数据关联的多目标跟踪方法 - Google Patents
一种基于多模型融合和数据关联的多目标跟踪方法 Download PDFInfo
- Publication number
- CN107292911B CN107292911B CN201710368658.1A CN201710368658A CN107292911B CN 107292911 B CN107292911 B CN 107292911B CN 201710368658 A CN201710368658 A CN 201710368658A CN 107292911 B CN107292911 B CN 107292911B
- Authority
- CN
- China
- Prior art keywords
- centroid
- target
- value
- centroid coordinate
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 230000003287 optical effect Effects 0.000 claims abstract description 29
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 230000008901 benefit Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于多模型融合和数据关联的多目标跟踪方法,其首先利用帧间差分法检测出运动目标轮廓和质心坐标;接着融合金字塔光流法和卡尔曼滤波预测下一时刻运动目标的质心坐标;然后将质心坐标预测值和下一时刻质心坐标检测值之间的欧式距离构成效益矩阵,利用匈牙利算法进行数据关联得到最优匹配;最后去除跟踪器中不满足要求的部分,同时为未指派的检测建立跟踪单元,从而实现多目标跟踪;本发明方法受光线变化和背景噪声干扰较小,解决了目标遮挡或目标间相互干扰导致的跟踪失效,提供多目标跟踪的准确率,具有较好的实时性和鲁棒性。
Description
技术领域
本发明属于图像处理、视频检测和人工智能交叉技术应用领域,尤其涉及一种基于多模型融合和数据关联的多目标跟踪方法。
背景技术
多目标跟踪是当前计算机视觉领域的研究热点和难点,在智能交通控制,智能视频监控等领域有着重要的应用价值。由于现实环境具有复杂性,背景噪声,目标遮挡等问题亟待解决。当前跟踪算法中主要使用的有:基于模型的跟踪、基于目标轮廓的跟踪、基于区域的跟踪和基于特征的跟踪。
(1)基于模型的目标跟踪:首先要获取跟踪目标的先验信息来对目标的结构与运动状态进行建模,虽然能够实现较好的效果,但如果不能够获取目标足够的信息,则会导致跟踪效果恶化,同时不能够满足实时性的要求。
(2)基于目标轮廓的目标跟踪:因为轮廓信息的鲁棒不变性,使用物体的轮廓来表示运动目标,并不断进行更新,具有较强的抗光照变换特性,但在背景相对复杂的情况下会出现跟踪失效的状况。
(3)基于区域跟踪的方法:建立目标模板,根据目标跟踪目标,在运动目标被遮挡的情况下将无法继续准确跟踪,目标重新出现也无法自动复原,造成跟踪算法失效。
(4)基于特征的目标跟踪:提取目标颜色、质心位置等特征进行目标的匹配和搜索,进而实现对目标跟踪。此算法在目标被遮挡的情况下可以保持良好的跟踪,但是如果目标的特征点发生变化,比如发生缩放、旋转等,则跟踪效果会受到影响。
发明内容
本发明的目的在于弥补现有目标跟踪技术的不足,提出了一种基于多模型融合和数据关联的多目标跟踪方法,本发明融合金字塔光流法和卡尔曼滤波预测下一时刻目标的位置,利用匈牙利算法进行数据关联,克服了目标遮挡和目标间相互干扰导致的跟踪失效,实现对目标遮挡的稳定跟踪。
本发明为解决上述技术问题采用以下技术方案:
一种基于多模型融合和数据关联的多目标跟踪方法,其特征在于,具体包括如下步骤:
步骤1,用户输入视频镜头S,定义S={f1,f2,...,fn},fn为第n个镜头帧,fn用大小为r*l的二维矩阵表示,其中,n为正整数,r为矩阵行数,l为矩阵列数;
步骤2,对视频镜头S进行预处理获得运动目标轮廓和质心坐标;具体步骤如下:
步骤2.1,对视频镜头S中的fk-1,fk进行灰度化处理得到灰度差值图像f′k-1,f′k,对f′k-1,f′k中的每个像素点j进行如下计算:
Dk(j)=f′k(j)-f′k-1(j)
若Dk(j)>T,则Dk(j)取值1,则判定j为前景点,
若Dk(j)≤T,则Dk(j)取值0,则判定j为背景点;
则Dk(j)取值1的构成目标轮廓Dk;
步骤2.2;将步骤2.1得到的运动目标轮廓Dk的中心点坐标作为运动目标的质心坐标(xk,yk);其中,2≤k≤n,xk,yk分别代表质心的横坐标和纵坐标,f′k-1(j)为第k-1个镜头帧f′k-1第j个像素点的色彩值,f′k(j)为第k个镜头帧f′k第j个像素点的色彩值,Dk(j)为运动目标轮廓第j个像素点的色彩值,T为大津法得到的最优阈值;
步骤3,对步骤,2,得到的运动目标轮廓Dk用金字塔光流法进行角点跟踪,预测出运动目标在下一帧的质心坐标(xlk,ylk);其中,xlk,ylk分别代表质心的横坐标和纵坐标;
步骤4,初始化卡尔曼滤波器参数,利用卡尔曼滤波器进行多目标跟踪,预测出运动目标轮廓Dk在下一帧的质心坐标(xkal,ykal),xkal,ykal分别代表质心的横坐标和纵坐标;
步骤5,利用匈牙利算法对步骤4预测的质心坐标(xkal,ykal)进行数据关联,计算最优匹配后,完成对卡尔曼滤波器参数进行修正;进而获取运动目标在各时刻的质心坐标,通过依次连接运动目标在各时刻的质心坐标获取物体的跟踪轨迹。
作为本发明一种基于多模型融合和数据关联的多目标跟踪方法的进一步优选方案,所述步骤5具体包含如下步骤:
步骤5.1,利用匈牙利算法对步骤4预测的质心坐标(xkal,ykal)进行数据关联,计算最优匹配,具体步骤如下:对步骤2获取的运动目标质心坐标的检测值和步骤4获取的质心坐标预测值进行指派:设k时刻运动目标的质心检测集合是Hk={h1,h2,...,hn},利用卡尔曼滤波器对Hk中的每个运动目标的质心hi进行预测得到下一时刻质心坐标的预测值pi,即得到质心坐标预测集合Pk={p1,p2,...,pn},k+1时刻运动目标的质心检测集合是Hk+1={h1,h2,...,hm},则将质心坐标的预测值Pk和下一时刻质心坐标的检测值Hk+1之间看做一个指派问题,将质心预测坐标和下一时刻检测坐标的欧式距离作为效益矩阵,利用匈牙利算法求得最佳匹配;其中,n为k时刻检测到运动目标总数,m为k+1时刻检测到运动目标总数;所述匈牙利算法是一种二部图匹配算法,核心就是寻找增广路径求二分图最大匹配,可以有效地处理指派问题;所述欧式距离是二维和三维空间中两点之间的实际距离;
步骤5.2,去除利用卡尔曼滤波器进行多目标跟踪中不满足要求的部分,同时为未指派的检测建立跟踪单元;
步骤5.3,完成对卡尔曼滤波器参数进行修正,进而获取运动目标在各时刻的质心坐标,通过依次连接运动目标在各时刻的质心坐标获取物体的跟踪轨迹。
作为本发明一种基于多模型融合和数据关联的多目标跟踪方法的进一步优选方案,所述步骤2具体包含如下步骤:对当前帧检测到的运动目标轮廓进行角点检测,提取特征点坐标存入向量P[0],构建图像金字塔并进行光流估计,预测出角点在下一帧的坐标存入向量P[1];通过预测出的角点坐标进行加权平均估计出运动目标的质心坐标(xlk,ylk);其中,xlk,ylk分别代表质心的横坐标和纵坐标,所述角点是图像中的特征点;所述图像金字塔是一种以多分辨率来解释图像的结构;所述光流是目标运动的运动信息。
作为本发明一种基于多模型融合和数据关联的多目标跟踪方法的进一步优选方案,所述步骤5.2具体包含如下步骤:
步骤5.21设质心坐标的预测值和质心坐标的检测值之间的间隔帧数为f,欧式距离为d,若f和d满足下列表达式,则跟踪丢失,要对此质心坐标的检测值进行重新跟踪;
f>fmax或d>dmax
其中fmax为最大消失帧数和dmax为最大距离阈值;
步骤5.22,设k时刻预测值的数量为n,k+1时刻检测值的数目为m,n<m时有检测值不会被指派到任何预测值,将此检测结果当做新的跟踪目标。
作为本发明一种基于多模型融合和数据关联的多目标跟踪方法的进一步优选方案,所述步骤5.3具体包含如下步骤:
步骤5.31,若金字塔光流法跟踪成功且当前运动目标质心坐标的预测值和下一时刻运动目标质心坐标的检测值匹配成功,则将检测的运动目标质心坐标(xk,yk)和利用金字塔光流法预测出的运动目标的质心坐标(xlk,ylk)进行加权平均作为最终观测值更新卡尔曼滤波参数;
步骤5.32,若金字塔光流法跟踪成功且当前运动目标质心坐标的预测值和下一时刻运动目标质心坐标的检测值匹配失败,则将利用卡尔曼滤波器预测的运动目标的质心坐标(xkal,ykal)作为最终观测值更新卡尔曼滤波参数;
步骤5.33,若金字塔光流法跟踪失败且当前运动目标质心坐标的预测值和下一时刻运动目标质心坐标的检测值匹配成功,则将检测的运动目标质心坐标(xk,yk)作为最终观测值更新卡尔曼滤波参数;
步骤5.34,根据完成的卡尔曼滤波参数获取运动目标在各时刻的质心坐标,通过依次连接运动目标在各时刻的质心坐标获取物体的跟踪轨迹。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1、本发明利用帧间差分法减少了光线和背景噪声的干扰,具有良好的实时性和鲁棒性,有效地检测出运动目标完整轮廓和质心位置;
2、本发明融合金字塔光流法和卡尔曼滤波预测下一时刻目标的位置,金字塔光流法处理速度快,受光线和噪声干扰非常小,卡尔曼滤波在对目标运动趋势不了解的情况下,有效地预测了目标的位置并不断进行滤波参数的更新,克服了目标遮挡和目标间相互干扰导致的跟踪失效,降低多目标跟踪是的漏检率和误报率;
3、本发明利用匈牙利算法在目标检测和数据关联之间建立了紧密的联系,使得两者相互促进,提高了多目标跟踪的准确性,有效地减少跟踪误差。
附图说明
图1是基于多模型融合和数据关联的多目标跟踪方法的实现流程图。
具体实施方式
下面对本发明附图的某些实施例作更加详细的描述。
根据附图1,本发明具体实施方式为:
1)输入一个视频序列S={f1,f2,...,f50},fi为第i个镜头帧,用大小为50*50的二维矩阵表示,用帧间差分法处理视频镜头S获得运动目标轮廓和质心坐标,具体步骤如下:
1.1)以视频镜头S中的f1,f2为例进行灰度化处理得到灰度差值图像f1',f′2,对f1',f′2中的每个像素点j,计算D2(j)=f′2(j)-f1'(j),当D2(j)满足判定方程:
D2(j)>T,判定j为前景点;
D2(j)≤T,判定j为背景点。
得到运动目标轮廓D2后将其中心点坐标作为运动目标的质心坐标存入Point类型变量detection中,对S中其余元素做同样处理。
1.2)由于运动目标有些像素点的灰度值和背景图像的灰度值接近,被误认为背景像素,导致运动目标轮廓存在空洞和孤立噪声。为了填充运动目标边缘空洞,去除孤立噪声,对运动目标轮廓D2进行形态学膨胀和腐蚀操作,最后将运动目标的轮廓点和质心坐标分别存入向量m_regions和m_centers。
2)对1)得到的运动目标轮廓D2用金字塔光流法进行角点跟踪,预测出运动目标在下一帧的质心坐标,具体步骤如下:
2.1)对当前帧中的运动目标进行角点检测:角点是图像重要的局部特征,它最小化了图像上重要的形状信息,检测几乎不受光照条件等外界环境的影响,具有旋转不变性。在运动估计中起着非常重要的作用,也满足了实时性的要求。将第一帧图像中的运动目标轮廓m_regions当做角点的初始值,为了提高角点坐标的精度,利用cornerSubPix()函数将角点位置精确到亚像素级,然后存入Point2f类型的向量points[0]中。
2.2)构建图像金字塔并进行光流计算:基本思想是构造图像序列金字塔,首先在金字塔顶层计算光流,再将上一次估计到的运动作为下一层光流计算初始值,这一过程不断进行,直至估计出原始图像的光流,具体步骤如下:
将搜索窗口大小设置为(31*2+1)*(31*2+1)=63*63,金字塔最大层数为4,迭代的终止条件是达到最大迭代次数30或者达到最大阈值0.01。通过金字塔光流法可以计算出角点在下一帧的位置,去除位置没有发生变化的特征点,将跟踪成功的角点存入类型为Point2f的向量point[1]。对跟踪成功的角点分别求和取平均值作为运动目标在下一帧的质心坐标存入Point类型变量opticalflow中。最后将向量point[0]和point[1]进行交换,将上一帧的跟踪结果当做下一帧的检测结果,不断进行金字塔光流跟踪。
3)利用卡尔曼滤波进行多目标跟踪,预测出运动目标在下一帧的质心坐标,并利用匈牙利算法进行数据关联,计算最优匹配后对滤波参数进行修正,具体步骤如下:
3.1)对卡尔曼滤波器参数进行初始化:卡尔曼滤波器是遵循最小均方误差准则的递归算法,在假设目标进行匀速运动且目标大小线性变化的前提下,以目标的位置和速度等作为状态参数,结合历史目标位置和实际观测值对状态变量进行最优估计预测下一刻目标出现的可能位置,最后修正滤波器参数。卡尔曼滤波算法运动模型如下:
信号模型:Xk=AkXx-1+BkWk
观测模型:Zk=HkXk+Vk
其中Xk表示状态向量,Zk表示观测向量,Ak表示状态转移矩阵,Bk表示输入矩阵,Hk表示观测矩阵,Wk为动态噪声,其协方差为Q,Vk为观测噪声,其协方差为R,Wk和Vk互不相关,都是均值为0的白噪声序列。
对卡尔曼滤波参数进行了如下的初始化:
(1)令状态向量Xk=[xk,yk,vx,vy]T,其中xk和yk表示当前帧检测出的运动目标质心坐标在x轴和y轴上的分量,vx和vy表示目标在x轴和y轴上速度分量。
(2)令观测向量Zk=[xk,yk]T,其中xk和yk表示当前帧检测出的运动目标质心坐标在x轴和y轴上的分量。
3.2)对1)得到的运动目标轮廓D2利用卡尔曼滤波器预测出运动目标质心在下一帧的位置坐标,存入变量prediction中。
3.3)利用匈牙利算法进行数据关联,计算最优匹配,对质心检测值和预测值进行指派。以第一帧中运动目标的质心检测集合H1={h1,h2,...,h10}为例,利用卡尔曼滤波器对H1中的每个运动目标质心hi进行预测,得到下一时刻质心坐标预测值pi,即可得到质心坐标预测集合P1={p1,p2,...,p10},第二帧中运动目标的质心检测集合是H2={h1,h2,...,h10},则质心坐标预测值P1和下一时刻检测值H2之间可以看做一个指派问题,将质心预测坐标和下一时刻检测坐标的欧式距离作为效益矩阵,利用匈牙利算法求得最佳匹配,对视频镜头S其余帧做同样处理。
3.4)去除卡尔曼跟踪器中不满足要求的部分,同时为未指派的检测建立跟踪单元,具体步骤如下:
(1)去除跟踪器中不满足要求的部分:质心坐标预测值和检测值之间的间隔帧数为f,欧式距离为d,如果f和d满足下列表达式,则认为跟踪丢失,要对此检测值进行重新跟踪。
f>5或d>80
(2)为未指派的检测在跟踪器中建立跟踪单元:k时刻预测值的数量为n,k+1时刻检测值的数目为m,n<m时有检测值不会被指派到任何预测值,则跟踪器将此检测结果当做新的跟踪目标。
3.5)卡尔曼滤波器进行参数修正,具体步骤如下:
(1)如果金字塔光流法跟踪成功并且当前运动目标质心坐标预测值和下一时刻检测值匹配成功,则将检测值detection和金字塔光流法opticalflow结果进行加权平均作为最终观测值更新卡尔曼滤波参数。
(2)如果金字塔光流法跟踪成功并且当前运动目标质心坐标预测值和下一时刻检测值匹配失败,则将卡尔曼滤波器预测的结果prediction作为最终观测值更新卡尔曼滤波参数。
(3)如果金字塔光流法跟踪失败并且当前运动目标质心坐标预测值和下一时刻检测值匹配成功,则将检测值detection作为最终观测值更新卡尔曼滤波参数。
3.6)通过3.3)~3.5)可以获得运动目标在各时刻的质心坐标,依次连接起来便构成了物体的跟踪轨迹。
Claims (1)
1.一种基于多模型融合和数据关联的多目标跟踪方法,其特征在于,具体包括如下步骤:
步骤1,用户输入视频镜头s,定义s={f1,f2,...,fn},fn为第n个镜头帧,fn用大小为r*l的二维矩阵表示,其中,n为正整数,r为矩阵行数,l为矩阵列数;
步骤2,对视频镜头s进行预处理获得运动目标轮廓和质心坐标;具体步骤如下:
步骤2.1,对视频镜头s中的fk-1,fk进行灰度化处理得到灰度图像f′k-1,fk′,对f′k-1,fk′中的每个像素点j进行如下计算:
Dk′(j)=fk′(j)-f′k-1(j)
若Dk′(j)>T,则Dk(j)取值1,则判定j为前景点,
若Dk′(j)≤T,则Dk(j)取值0,则判定j为背景点;
则Dk(j)取值1的构成目标轮廓Dk;
步骤2.2;将步骤2.1得到的运动目标轮廓Dk的中心点坐标作为运动目标的质心坐标(xk,yk);其中,2≤k≤n,xk,yk分别代表质心的横坐标和纵坐标,f′k-1(j)为第k-1个镜头帧f′k-1第j个像素点的灰度值,fk′(j)为第k个镜头帧fk′第j个像素点的灰度值,Dk′(j)为运动目标轮廓第j个像素点的灰度值,T为大津法得到的最优阈值;
步骤3,对步骤2得到的运动目标轮廓Dk用金字塔光流法进行角点跟踪,预测出运动目标在下一帧的质心坐标(xlk,ylk);其中,xlk,ylk分别代表质心的横坐标和纵坐标;
步骤4,初始化卡尔曼滤波器参数,利用卡尔曼滤波器进行多目标跟踪,预测出运动目标轮廓Dk在下一帧的质心坐标(xkal,ykal),xkal,ykal分别代表质心的横坐标和纵坐标;
步骤5,利用匈牙利算法对步骤4预测的质心坐标(xkal,ykal)进行数据关联,计算最优匹配后,完成对卡尔曼滤波器参数进行修正;进而获取运动目标在各时刻的质心坐标,通过依次连接运动目标在各时刻的质心坐标获取物体的跟踪轨迹;
所述步骤5具体包含如下步骤:
步骤5.1,利用匈牙利算法对步骤4预测的质心坐标(xkal,ykal)进行数据关联,计算最优匹配,具体步骤如下:对步骤2获取的运动目标质心坐标的检测值和步骤4获取的质心坐标预测值进行指派:设k时刻运动目标的质心检测集合是Hk={h1,h2,...,hn′},利用卡尔曼滤波器对Hk中的每个运动目标的质心hi进行预测得到下一时刻质心坐标的预测值pi,即得到质心坐标预测集合Pk={p1,p2,...,pn′},k+1时刻运动目标的质心检测集合是Hk+1={h1,h2,...,hm},则将质心坐标的预测值Pk和下一时刻质心坐标的检测值Hk+1之间看做一个指派问题,将质心预测坐标和下一时刻检测坐标的欧式距离作为效益矩阵,利用匈牙利算法求得最佳匹配;其中,n′为k时刻检测到运动目标总数,m为k+1时刻检测到运动目标总数;所述匈牙利算法是一种二分图匹配算法,核心就是寻找增广路径求二分图最大匹配,可以有效地处理指派问题;所述欧式距离是二维和三维空间中两点之间的实际距离;
步骤5.2,去除利用卡尔曼滤波器进行多目标跟踪中不满足要求的部分,同时为未指派的检测建立跟踪单元;
步骤5.3,完成对卡尔曼滤波器参数进行修正,进而获取运动目标在各时刻的质心坐标,通过依次连接运动目标在各时刻的质心坐标获取物体的跟踪轨迹;
所述步骤3具体包括如下步骤:
对当前帧检测到的运动目标轮廓进行角点检测,提取特征点坐标存入向量P[0],构建图像金字塔并进行光流估计,预测出角点在下一帧的坐标存入向量P[1];通过预测出的角点坐标进行加权平均估计出运动目标的质心坐标(xlk,ylk);其中,xlk,ylk分别代表质心的横坐标和纵坐标,所述角点是图像中的特征点;所述图像金字塔是一种以多分辨率来解释图像的结构;所述光流是目标运动的运动信息;
所述步骤5.2具体包含如下步骤:
步骤5.21设利用卡尔曼滤波器得出的质心坐标的预测值和质心坐标的检测值之间的间隔帧数为f,欧式距离为d,若f和d满足下列表达式,则跟踪丢失,要对此质心坐标的检测值进行重新跟踪;
f>fmax或d>dmax
其中fmax为最大消失帧数和dmax为最大距离阈值;
步骤5.22,设k时刻预测值的数量为n′,k+1时刻检测值的数目为m,n′<m时有检测值不会被指派到任何预测值,将此检测结果当做新的跟踪目标;
所述步骤5.3具体包含如下步骤:
步骤5.31,若金字塔光流法跟踪成功且利用卡尔曼滤波器得出当前运动目标质心坐标的预测值和下一时刻运动目标质心坐标的检测值匹配成功,则将检测的运动目标质心坐标(xk,yk)和利用金字塔光流法预测出的运动目标的质心坐标(xlk,ylk)进行加权平均作为最终观测值更新卡尔曼滤波参数;
步骤5.32,若金字塔光流法跟踪成功且利用卡尔曼滤波器得出当前运动目标质心坐标的预测值和下一时刻运动目标质心坐标的检测值匹配失败,则将利用卡尔曼滤波器预测的运动目标的质心坐标(xkal,ykal)作为最终观测值更新卡尔曼滤波参数;
步骤5.33,若金字塔光流法跟踪失败且利用卡尔曼滤波器得出当前运动目标质心坐标的预测值和下一时刻运动目标质心坐标的检测值匹配成功,则将检测的运动目标质心坐标(xk,yk)作为最终观测值更新卡尔曼滤波参数;
步骤5.34,根据完成的卡尔曼滤波参数获取运动目标在各时刻的质心坐标,通过依次连接运动目标在各时刻的质心坐标获取物体的跟踪轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710368658.1A CN107292911B (zh) | 2017-05-23 | 2017-05-23 | 一种基于多模型融合和数据关联的多目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710368658.1A CN107292911B (zh) | 2017-05-23 | 2017-05-23 | 一种基于多模型融合和数据关联的多目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107292911A CN107292911A (zh) | 2017-10-24 |
CN107292911B true CN107292911B (zh) | 2021-03-30 |
Family
ID=60094601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710368658.1A Active CN107292911B (zh) | 2017-05-23 | 2017-05-23 | 一种基于多模型融合和数据关联的多目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107292911B (zh) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107944343B (zh) * | 2017-10-30 | 2020-04-14 | 北京陌上花科技有限公司 | 视频检测方法及装置 |
CN110059521B (zh) * | 2018-01-18 | 2022-05-13 | 浙江宇视科技有限公司 | 目标跟踪方法及装置 |
CN108319906B (zh) * | 2018-01-25 | 2020-09-29 | 中南民族大学 | 基于车载红外视频的行人检测方法及系统 |
CN108446634B (zh) * | 2018-03-20 | 2020-06-09 | 北京天睿空间科技股份有限公司 | 基于视频分析和定位信息结合的航空器持续跟踪方法 |
CN108334998B (zh) * | 2018-04-16 | 2021-08-20 | 大连理工大学 | 一种多地面无人车辆的多目标协同跟踪方法 |
CN108734103B (zh) * | 2018-04-20 | 2021-08-20 | 复旦大学 | 卫星视频中运动目标的检测与跟踪方法 |
CN108596944B (zh) * | 2018-04-25 | 2021-05-07 | 普联技术有限公司 | 一种提取运动目标的方法、装置及终端设备 |
CN110533687B (zh) * | 2018-05-11 | 2023-09-12 | 上海美城智能科技有限公司 | 多目标三维轨迹跟踪方法及装置 |
CN109241952B (zh) * | 2018-10-26 | 2021-09-07 | 北京陌上花科技有限公司 | 拥挤场景下人物计数方法及装置 |
CN109635657B (zh) * | 2018-11-12 | 2023-01-06 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、设备及存储介质 |
CN109784173A (zh) * | 2018-12-14 | 2019-05-21 | 合肥阿巴赛信息科技有限公司 | 一种单摄像头的商店客人在线跟踪算法 |
CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
CN109872342A (zh) * | 2019-02-01 | 2019-06-11 | 北京清帆科技有限公司 | 一种特定场景下的目标跟踪方法 |
CN109829436B (zh) * | 2019-02-02 | 2022-05-13 | 福州大学 | 基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
CN109934849B (zh) * | 2019-03-08 | 2022-05-31 | 西北工业大学 | 基于轨迹度量学习的在线多目标跟踪方法 |
CN109919981B (zh) * | 2019-03-11 | 2022-08-02 | 南京邮电大学 | 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 |
CN109961461B (zh) * | 2019-03-18 | 2021-04-23 | 湖南工程学院 | 一种基于三维分层图模型的多运动目标跟踪方法 |
CN110006444B (zh) * | 2019-03-21 | 2020-09-22 | 南京师范大学 | 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法 |
CN110033006B (zh) * | 2019-04-04 | 2022-03-29 | 华设设计集团股份有限公司 | 基于颜色特征非线性降维的车辆检测跟踪方法 |
CN110148156B (zh) * | 2019-04-29 | 2021-05-14 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种基于局部光流的对称目标图像跟踪方法 |
CN110097578B (zh) * | 2019-05-09 | 2021-08-17 | 电子科技大学 | 塑胶颗粒跟踪方法 |
CN110415277B (zh) * | 2019-07-24 | 2022-03-08 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
CN111798487A (zh) * | 2019-08-27 | 2020-10-20 | 北京京东尚科信息技术有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN110660084A (zh) * | 2019-09-30 | 2020-01-07 | 上海淡竹体育科技有限公司 | 一种多目标跟踪的方法及装置 |
CN110796019A (zh) * | 2019-10-04 | 2020-02-14 | 上海淡竹体育科技有限公司 | 一种识别和跟踪运动中的球形物体的方法及装置 |
WO2021072696A1 (zh) * | 2019-10-17 | 2021-04-22 | 深圳市大疆创新科技有限公司 | 目标检测与跟踪方法、系统、可移动平台、相机及介质 |
CN110782483B (zh) * | 2019-10-23 | 2022-03-15 | 山东大学 | 基于分布式相机网络的多视图多目标跟踪方法及系统 |
CN110956653B (zh) * | 2019-11-29 | 2021-05-04 | 中国科学院空间应用工程与技术中心 | 相关滤波器与运动估计融合的卫星视频动态目标追踪方法 |
CN111179301B (zh) * | 2019-12-23 | 2023-06-30 | 北京中广上洋科技股份有限公司 | 一种基于计算机视频的运动趋势分析方法 |
CN111488795B (zh) * | 2020-03-09 | 2022-12-02 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
CN111462488B (zh) * | 2020-04-01 | 2021-09-10 | 北京工业大学 | 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法 |
CN111724417B (zh) * | 2020-06-15 | 2022-08-02 | 中国电子科技集团公司第二十九研究所 | 一种基于傅里叶变换考虑形状差异的多目标跟踪评估方法 |
CN111862156B (zh) * | 2020-07-17 | 2021-02-26 | 中南民族大学 | 一种基于图匹配的多目标跟踪方法和系统 |
CN112052802B (zh) * | 2020-09-09 | 2024-02-20 | 上海工程技术大学 | 一种基于机器视觉的前方车辆行为识别方法 |
CN112528730B (zh) * | 2020-10-20 | 2022-06-10 | 福州大学 | 一种匈牙利算法下基于空间约束的成本矩阵优化方法 |
CN112418213A (zh) * | 2020-11-06 | 2021-02-26 | 北京航天自动控制研究所 | 一种车辆行驶轨迹识别方法、装置及存储介质 |
CN113160280B (zh) * | 2021-04-28 | 2022-07-08 | 江苏方天电力技术有限公司 | 一种基于激光雷达的动态多目标跟踪方法 |
CN114066939B (zh) * | 2021-11-15 | 2024-06-14 | 绵阳慧视光电技术有限责任公司 | 一种基于光流和卡尔曼滤波的红外弱小目标跟踪方法 |
CN115908506B (zh) * | 2022-09-09 | 2023-06-27 | 杭州云栖智慧视通科技有限公司 | 基于卡尔曼预测的多目标跟踪方法 |
CN116385496A (zh) * | 2023-05-19 | 2023-07-04 | 北京航天时代光电科技有限公司 | 一种基于图像处理的游泳运动实时测速方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902955A (zh) * | 2012-08-30 | 2013-01-30 | 中国科学技术大学 | 一种车辆行为的智能分析方法及系统 |
CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
CN105894535A (zh) * | 2016-03-30 | 2016-08-24 | 中国科学院地理科学与资源研究所 | 一种基于贝叶斯的涡旋自动追踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010084521A1 (ja) * | 2009-01-20 | 2010-07-29 | 本田技研工業株式会社 | ウインドシールド上の雨滴を同定するための方法及び装置 |
-
2017
- 2017-05-23 CN CN201710368658.1A patent/CN107292911B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902955A (zh) * | 2012-08-30 | 2013-01-30 | 中国科学技术大学 | 一种车辆行为的智能分析方法及系统 |
CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
CN105894535A (zh) * | 2016-03-30 | 2016-08-24 | 中国科学院地理科学与资源研究所 | 一种基于贝叶斯的涡旋自动追踪方法 |
Non-Patent Citations (5)
Title |
---|
A novel Kalman filter for human motion tracking with an intertial-based dynamic inclinometer;Ligorio G , Sabatini A M;《IEEE Transactions on Biomedical Engineering》;20151231;第62卷(第8期);第2033-2043页 * |
Multi-Objective Optimization of Time-Cost-Quality Using Hungarian Algorithm;Ventepaka Yadaiah , Haragopal Vajjha;《American Journal of Operations Research》;20160620;第31-35页 * |
基于OpenCV实现金字塔光流法对表面流场的计算;凃洋 等;《中国水利水电科学研究院学报》;20160630;第14卷(第3期);第3.3节 * |
基于视觉的行人统计系统设计;张建;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160415;第4.1节,第4.3.1节,图4.2 * |
帧差法和Mean shift算法融合的高速无人机目标跟踪;王宜贤 等;《海军航空工程学院学报》;20161231;第31卷(第4期);第2.1节 * |
Also Published As
Publication number | Publication date |
---|---|
CN107292911A (zh) | 2017-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107292911B (zh) | 一种基于多模型融合和数据关联的多目标跟踪方法 | |
CN109949375B (zh) | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 | |
CN107563313B (zh) | 基于深度学习的多目标行人检测与跟踪方法 | |
JP4699564B2 (ja) | 視覚背景抽出器 | |
CN110490907B (zh) | 基于多目标特征和改进相关滤波器的运动目标跟踪方法 | |
CN106780542A (zh) | 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法 | |
CN108876820B (zh) | 一种基于均值漂移的遮挡条件下移动目标追踪方法 | |
CN109949346B (zh) | 基于方向梯度直方图粒子滤波的焊缝跟踪方法 | |
EP1949339A2 (en) | Tracking using an elastic cluster of trackers | |
WO2015043872A1 (en) | Semi-dense simultaneous localization and mapping | |
WO2018152214A1 (en) | Event-based feature tracking | |
CN109902578B (zh) | 一种红外目标检测与跟踪方法 | |
CN110717934A (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
CN116883458B (zh) | 基于Transformer并融合以观测为中心运动特征的多目标跟踪系统 | |
CN115144828B (zh) | 一种智能汽车多传感器时空融合的自动在线标定方法 | |
Naeem et al. | Real-time object detection and tracking | |
CN110660084A (zh) | 一种多目标跟踪的方法及装置 | |
CN112509014B (zh) | 金字塔遮挡检测块匹配的鲁棒插值光流计算方法 | |
Parmar | A survey of video object tracking methods | |
Sun et al. | A refined particle filter method for contour tracking | |
Cretu et al. | Deformable object segmentation and contour tracking in image sequences using unsupervised networks | |
Xu et al. | Improved compressive tracking in surveillance scenes | |
CN110322474B (zh) | 一种基于无人机平台的图像动目标实时检测方法 | |
Zhang et al. | Tracking of targets in mobile robots based on camshift algorithm | |
Zhu et al. | Surf points based moving target detection and long-term tracking in aerial videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |