一种在线目标跟踪方法及装置
技术领域
本发明涉及目标跟踪领域,特别是涉及一种在线目标跟踪方法及装置。
背景技术
在线目标跟踪是计算机视觉中的一个热点研究课题,其对于动作识别、行为分析、场景理解等高层次的视觉研究具有重要意义,并且在视频监控、智能机器人、人机交互等领域有着广泛的应用前景。
在复杂的环境中,目标与背景静物间、目标与目标间的高频率遮挡,以及存在大量虚假观测对象,仍是多目标在线跟踪的难点问题。
发明内容
本发明主要解决的技术问题是提供一种在线目标跟踪方法及装置,能够解决现有技术中难以处理高频率遮挡及存在大量虚假观测对象的问题。
为了解决上述技术问题,本发明采用的一个技术方案是:提供一种在线目标跟踪方法,包括:对当前视频帧进行目标检测,以得到观测对象;获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹;对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
其中,获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵包括:以预测目标的集合为聚类中心,获取预测目标的集合中的每个预测目标与观测对象的集合中的每个观测对象之间的第一隶属度;以观测对象的集合为聚类中心,获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间的第二隶属度;利用第一隶属度和第二隶属度获取模糊隶属度矩阵。
其中,预测目标的集合为O={o1,...,ol},观测对象的集合为Z={z1,...,zr};以预测目标的集合为聚类中心,获取预测目标的集合中的每个预测目标与观测对象的集合中的每个观测对象之间的第一隶属度包括:获取第一隶属度
其中m=2,g(oi,zk)表示预测目标oi与观测对象zk间的特征距离;
以观测对象的集合为聚类中心,获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间的第二隶属度包括:获取第二隶属度
其中m=2,g(oi,zk)为预测目标oi与观测对象zk间的特征距离;
利用第一隶属度和第二隶属度获取模糊隶属度矩阵包括:利用第一隶属度和第二隶属度,获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间的综合隶属度sik
sik=α×uik+(1-α)×u'ki (3)
其中,α为正常系数且α∈[0,1];利用综合隶属度sik获取模糊隶属度矩阵S=[sik]l×r。
其中,预测目标oi与观测对象zk间的特征距离
g(oi,zk)=1-f1(oi,zk)×f2(oi,zk)×f3(oi,zk)×f4(oi,zk)×f5(oi,zk) (4)
其中f1(·)为空间距离特征相似性度量函数,f2(·)为几何尺寸特征相似性度量函数,f3(·)为运动方向特征相似性度量函数,f4(·)为颜色特征相似性度量函数,f5(·)为梯度方向特征相似性度量函数,其定义如下:
其中,(xo,yo)为目标oi的中心坐标,(xz,yz)为观测对象zk的中心坐标,ho为目标oi的图像高度,为空间距离方差常量,hz为观测对象zk的图像高度,为几何尺寸方差常量,(x'o,y'o)为上一时刻目标oi的中心坐标,为上一时刻目标oi的速度在图像坐标轴上的投影,为运动方向方差常量,g(·)为相似度系数函数,ρ(·)表示求巴氏系数,表示上半部分子块的颜色直方图,表示下半部分子块的颜色直方图,Hg(·)表示分块梯度方向直方图特征,为梯度方向方差常量。
其中,目标图像由{xi}i=1,…,n共计n个像素点构成,目标图像可以对应预测目标oi或观测对象zk,点xi坐标为将目标图像拆分为上半部分子块T1和下半部分子块T2,上半部分子块T1为:下半部分子块T2为:其中ST为目标图像的分割线,将目标图像的灰度离散为m级;
上半部分子块的颜色直方图
其中,b(xi)为xi处像素的量化值,若xi处像素的量化值b(xi)对应于像素级u,则δ[b(xi)-u]取1,否则δ[b(xi)-u]取0;
下半部分子块T2的颜色直方图其中:
将预测目标oi拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图将观测对象zk拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图并利用各子块的颜色直方图计算预测目标oi和观测对象zk之间的颜色特征相似性度量函数:
其中g(·)为相似度系数函数,ρ(·)表示求巴氏系数。
其中,根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹包括:查找模糊隶属度矩阵S中未被标记的所有元素中的最大值spq;标记模糊隶属度矩阵S中的第p行所有元素以及第q列所有元素;判断预测目标op与观测对象zq的空间距离特征相似性度量函数f1(op,zq)是否大于阈值常量β;若f1(op,zq)>β,则判断预测目标op与观测对象zq正确关联,为有效目标轨迹;循环执行上述步骤直至模糊隶属度矩阵S中的所有行或所有列均被标记。
其中,对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹、删除无效目标包括:对未被关联的观测对象,利用未被关联的观测对象与预测目标之间的遮挡度,获取未被关联的观测对象的判别函数,根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹,对未被关联的预测目标,若未被关联的预测目标对应的目标连续λ1帧未被关联,则判断目标无效并删除无效目标,λ1为大于1的整数。
其中,未被关联的观测对象的集合为Ω={z1,...,zm},预测目标的集合为O={o1,...,ol};利用未被关联的观测对象与预测目标之间的遮挡度,获取未被关联的观测对象的判别函数包括:获取未被关联的观测对象z∈Ω与预测目标o∈O之间的遮挡度
其中r(·)表示求面积;
获取每个未被关联的观测对象z∈Ω的判别函数
其中γ为常量参数,且0<γ<1;
根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹包括:对每个未被关联的观测对象,若其判别函数为1,则为未被关联的观测对象建立临时目标轨迹,若其判别函数为0则不建立。
其中,对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测包括:使用卡尔曼滤波器对有效目标轨迹和临时目标轨迹进行滤波和预测。
其中,对当前视频帧进行目标检测包括:使用混合高斯背景模型对当前视频帧进行目标检测。
为了解决上述技术问题,本发明采用的另一个技术方案是:提供一种在线目标跟踪装置,包括:检测模块,用于对当前视频帧进行目标检测,以得到观测对象;矩阵获取模块,用于获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;关联模块,用于根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹;轨迹管理模块,用于对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;滤波预测模块,用于对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
本发明的有益效果是:构建模糊隶属度矩阵并根据其对观测对象和预测目标进行关联,解决了当存在漏检或者出现新目标等情况下预测目标数目与观测对象数目不相等时的复杂关联问题,对未被关联的观测对象和未被关联的预测目标进行轨迹管理,判断其是否为新的目标,并为新目标建立临时目标轨迹,减少了错误的目标轨迹起始,实现高鲁棒性的在线目标跟踪。
附图说明
图1是本发明在线目标跟踪方法第一实施例的流程图;
图2是本发明在线目标跟踪方法第二实施例的流程图;
图3是本发明在线目标跟踪方法第三实施例中建立临时目标轨迹的流程图;
图4是本发明在线目标跟踪装置第一实施例的结构示意图;
图5是本发明在线目标跟踪装置第二实施例的结构示意图。
具体实施方式
如图1所示,本发明在线目标跟踪方法第一实施例包括:
S1:对当前视频帧进行目标检测,以得到观测对象。
使用帧差法、光流法、背景减除法等运动目标检测算法对当前视频帧的图像进行目标检测,以从图像中找出运动的像素,辅以中值滤波和简单的形态学处理,最终得到图像中运动的目标作为观测对象。一般而言,观测对象是图像中的一个矩形或者其他形状的区域。
在本发明在线目标跟踪方法一个实施例中,采用基于混合高斯背景模型的背景减除法对当前视频帧的图像进行目标检测。
S2:获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵。
使用模糊C均值聚类(Fuzzy C-Means)算法获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵。其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的当前视频帧的预测目标状态的集合。
可以以预测目标的集合为聚类中心计算预测目标与观测对象之间的模糊隶属度以获取模糊隶属度矩阵;也可以以观测对象的集合为聚类中心计算观测对象与预测目标之间的模糊隶属度以获取模糊隶属度矩阵;也可以结合目标与观测对象之间的模糊隶属度以及观测对象与预测目标之间的模糊隶属度以获取模糊隶属度矩阵。
S3:根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹。
基于最大隶属度准则,根据模糊隶属度矩阵对观测对象和预测目标进行关联,正确关联上的一对预测目标与观测对象为有效目标轨迹。
S4:对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标。
复杂环境下,由于背景干扰、目标自身形变等多种因素的影响,可能出现虚假观测对象,例如对同一个目标检测出多个观测对象,将多个目标或者目标与背景作为观测对象等。未被关联的观测对象可能是新出现的目标,也可能是虚假观测对象,因此需要判断未被关联的观测对象是否为虚假观测对象,不是虚假观测对象的未被关联的观测对象被判定为新的目标,为其建立临时轨迹。
当目标移动出摄像机的拍摄范围、被背景或者其他目标遮挡时,可能会出现未被关联的预测目标。对未被关联的预测目标,采用预测值作为当前视频帧的目标状态,若该目标连续多帧未被关联,则判断该目标无效并删除无效目标。
S5:对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
当前视频帧的目标状态的集合中包括了当前视频帧中所有目标的状态。利用当前视频帧的目标状态的集合进行预测的结果作为下一视频帧的预测目标的集合以供下一视频帧目标跟踪使用。
在本发明在线目标跟踪方法的一个实施例中,使用卡尔曼滤波器对有效目标轨迹和临时目标轨迹进行滤波和预测。
按照上述步骤对摄像机输出的视频逐帧进行处理,以实现目标在线跟踪。
通过上述实施例的实施,构建模糊隶属度矩阵并根据其对观测对象和预测目标进行关联,解决了当存在漏检或者出现新目标等情况下预测目标数目与观测对象数目不相等时的复杂关联问题,对未被关联的观测对象和未被关联的预测目标进行轨迹管理,判断其是否为新的目标,并为新目标建立临时目标轨迹,减少了错误的目标轨迹起始,实现高鲁棒性的在线目标跟踪。
如图2所示,本发明在线目标跟踪方法第二实施例,是在本发明在线目标跟踪方法第一实施例的基础上,进一步限定步骤S2和S3包括:
S21:以预测目标的集合为聚类中心,获取预测目标的集合中的每个预测目标与观测对象的集合中的每个观测对象之间的第一隶属度。
预测目标的集合为O={o1,...,ol},观测对象的集合为Z={z1,...,zr}。以预测目标的集合为聚类中心,构建第一目标函数:
其中m=2,uik为第一隶属度,即预测目标与观测对象之间的模糊隶属度,g(oi,zk)表示预测目标oi与观测对象zk间的特征距离。
在本发明在线目标跟踪方法的一个实施例中,基于空时线索,利用包括空间距离特征、几何尺寸特征、颜色特征、梯度方向特征以及运动方向特征在内的空时多属性特征对预测目标与观测对象间的距离进行度量,定义预测目标oi与观测对象zk间的特征距离
g(oi,zk)=1-f1(oi,zk)×f2(oi,zk)×f3(oi,zk)×f4(oi,zk)×f5(oi,zk) (4)
其中f1(·)为空间距离特征相似性度量函数,f2(·)为几何尺寸特征相似性度量函数,f3(·)为运动方向特征相似性度量函数,f4(·)为颜色特征相似性度量函数,f5(·)为梯度方向特征相似性度量函数,其定义如下:
其中,f1(·)中的(xo,yo)为目标oi的中心坐标,(xz,yz)为观测对象zk的中心坐标,||·||2为二范数。f2(·)中的ho为目标oi的图像高度,为空间距离方差常量,hz为观测对象zk的图像高度,为几何尺寸方差常量。f3(·)中的(x'o,y'o)为上一时刻目标oi的中心坐标,为上一时刻目标oi的速度在图像坐标轴上的投影,为运动方向方差常量。
对于f4(·)颜色特征相似性度量函数,目标跟踪的对象是行人,一般情况下,行人的着装可以分为两个相对独立的部分,行人上半部分的颜色特征与行人下半部分的颜色特征相对独立。为此,对于行人类目标,将其拆分为上下两个部分子块,分别描述两个子块的颜色特征,利用子块目标颜色直方图来计算预测目标和观测对象间的颜色特征相似度。
目标图像由{xi}i=1,…,n共计n个像素点构成,目标图像可以对应预测目标oi或观测对象zk,点xi坐标为将目标图像拆分为上半部分子块T1和下半部分子块T2,上半部分子块T1为:下半部分子块T2为:其中,ST为目标图像的分割线。
将目标图像的灰度离散为m级,上半部分子块T1的颜色直方图其中:
式中,b(xi)为xi处像素的量化值,若xi处像素的量化值b(xi)对应于像素级u,则δ[b(xi)-u]取1,否则δ[b(xi)-u]取0。
同理,下半部分子块T2的颜色直方图其中:
为了计算预测目标oi和观测对象zk之间的颜色特征相似性,将预测目标oi拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图将观测对象zk拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图并利用各子块的颜色直方图计算预测目标oi和观测对象zk之间的颜色特征相似性度量函数:
其中g(·)为相似度系数函数,ρ(·)表示求巴氏系数。
f5(·)中的Hg(·)表示分块梯度方向直方图特征,为梯度方向方差常量。
在本发明在线目标跟踪方法的其他实施例中,可以采用其他形式来利用空时多属性特征定义预测目标oi与观测对象zk间的特征距离,例如g'(oi,zk)=exp(-f1(oi,zk)×f2(oi,zk)×f3(oi,zk)×f4(oi,zk)×f5(oi,zk))。当然,也可以使用更少或者更多特征相似性度量函数来定义预测目标oi与观测对象zk间的特征距离。
利用拉格朗日乘子法,可得第一隶属度:
S22:以观测对象的集合为聚类中心,获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间的第二隶属度。
以观测对象的集合为聚类中心,构建第二目标函数:
其中m=2,u'ki为第二隶属度,即观测对象与预测目标之间的模糊隶属度,g(oi,zk)表示预测目标oi与观测对象zk间的特征距离。
利用拉格朗日乘子法,可得第二隶属度:
S23:利用第一隶属度和第二隶属度获取模糊隶属度矩阵。
根据式(1)计算出的第一隶属度uik和式(2)计算出的第二隶属度ui'k,计算预测目标oi与观测对象zk之间的综合隶属度
sik=α×uik+(1-α)×u'ki (3)
其中,α为正常系数且α∈[0,1]。利用综合隶属度sik获取模糊隶属度矩阵S=[sik]l×r。
S24:查找模糊隶属度矩阵S中未被标记的所有元素中的最大值spq。
基于最大隶属度准则对预测目标与观测对象进行关联。
S25:标记模糊隶属度矩阵S中的第p行所有元素以及第q列所有元素。
S26:判断预测目标op与观测对象zq的空间距离特征相似性度量函数f1(op,zq)是否大于阈值常量β。
其中0<β<1,β越大,对预测目标op与观测对象zq的空间距离特征相似性要求越高。若f1(op,zq)>β,则跳转到步骤S27;否则跳转到步骤S28。
S27:预测目标op与观测对象zq正确关联,为有效目标轨迹。
接步骤S28。
S28:判断模糊隶属度矩阵S中是否不存在未被标记的行或列。
若模糊隶属度矩阵S中不存在未被标记的行或列,即模糊隶属度矩阵S中的所有行或者所有列均已被标记,则结束流程;否则跳转到步骤S24。
当出现新目标、目标由于被遮挡、离开监控范围等情况导致漏检时,预测目标的数目与观测对象的数目可能不相等。
如果只以预测目标的集合作为模糊聚类中心计算模糊隶属度,当视频帧中出现新目标时,新目标对应的观测对象将作为野值存在,其对于所有预测目标的模糊隶属度均应很小。但是在式(10)中约束条件的作用下,可能计算得出该观测对象对于几个预测目标有较大的模糊隶属度,从而与真实情况不符。另外当预测目标数为1时,在式(10)中约束条件的作用下,将会计算得出所有观测对象对于预测目标的隶属度均为1,与实际情况不符。
如果以观测对象作为模糊聚类中心,当视频帧中的目标由于遮挡等因素被漏检时,该目标对应的预测目标对于当前所有观测对象的模糊隶属度均应很小,但是在式(11)中约束条件的作用下,可能计算得出该预测目标对于存在于该预测目标附近的几个观测对象具有较大的模糊隶属度,从而与真实情况不符。另外当观测对象数为1时,在式(11)中约束条件的作用下,将会计算得出所有预测目标对于观测对象的隶属度均为1,与实际情况不符。
通过上述实施例的实施,考虑了复杂环境下预测目标与观测对象之间关联的模糊性,通过第一隶属度和第二隶属度计算综合隶属度,解决了当存在漏检或者新目标出现等预测目标数目与观测对象数目不相等时的复杂关联问题,从而有利于解决存在高频率遮挡以及大量虚假观测环境下的目标在线跟踪问题。
本发明在线目标跟踪方法第三实施例,是在本发明在线目标跟踪方法第一实施例的基础上,进一步限定步骤S4包括:
对未被关联的观测对象,利用未被关联的观测对象与预测目标之间的遮挡度,获取未被关联的观测对象的判别函数,根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹。进一步的,若临时目标轨迹连续λ2帧都被关联上,则将其转化为有效目标轨迹,否则删除该临时目标轨迹,其中λ2为大于1的整数。
对未被关联的预测目标,若未被关联的预测目标对应的目标连续λ1帧未被关联,则判断目标无效并删除无效目标,其中λ1为大于1的整数。
如图3所示,利用未被关联的观测对象与预测目标之间的遮挡度,获取未被关联的观测对象的判别函数,根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹包括:
S41:获取未被关联的观测对象与预测目标之间的遮挡度。
未被关联的观测对象的集合为Ω={z1,...,zm},预测目标的集合为O={o1,...,ol}。获取未被关联的观测对象z∈Ω与预测目标o∈O之间的遮挡度
其中r(·)表示求面积。0≤ω(z,o)≤1,当ω(z,o)>0时,观测对象z与预测目标o之间发生了遮挡。
S42:获取每个未被关联的观测对象的判别函数。
观测对象z∈Ω的判别函数
其中γ为常量参数,且0<γ<1。
对每个未被关联的观测对象,若其判别函数为1,则跳转到步骤S43;若其判别函数为0,则跳转到步骤S44。
S43:为未被关联的观测对象建立临时目标轨迹。
结束本次流程。
S44:不为未被关联的观测对象建立临时目标轨迹。
结束本次流程。
通过上述实施例的实施,对未被关联的观测对象与预测目标之间的遮挡度进行分析,并根据遮挡度获取未被关联的观测对象的判别函数决定是否为未被关联的观测对象建立临时目标轨迹,可以有效的防止将虚假观测对象作为新目标,提高目标跟踪的准确性。
下表为使用本发明在线目标跟踪方法一实施例对公开测试视频序列PETS.S2L1进行实验的结果,本实施例是本发明第一、第二与第三实施例的结合,并采用卡尔曼滤波器对有效目标轨迹和临时目标轨迹进行滤波和预测。文献[1]算法为Berclaz等人提出的一种K最短路径优化求解的多目标跟踪算法,见J Berclaz,F Fleuret,E Türetken,etal.Multiple Object Tracking Using K-Shortest Paths Optimization[J].IEEETransactions on Pattern Analysis and Machine Intelligence,Vol.33,No.9,2011:1806-1819。文献[2]算法为提出的一种基于子轨迹置信度以及判别外观模型在线学习的多目标在线跟踪算法,见S Bae,K Yoon.Robust Online Multi-object Tracking Based onTracklet Confidence and Online Discriminative Appearance Learning[C].IEEECVPR,2014:1218-1225。
表1
横坐标为对实验结果进行评估的评价指标,包括多目标跟踪精度(MOTP↑)、多目标跟踪准确性(MOTA↑)、目标标签变化次数(IDS↓)、准确跟踪的目标比例(MT↑)、丢失的目标比例(ML↓)、目标轨迹断开次数(FG↓),其中上升箭头↑表示该项数值越大则跟踪效果越好,下降箭头↓表示该项数值越小则跟踪效果越好。
MOTP的定义为:
其中,r(·)表示求区域的面积,表示t时刻第i个目标的真实状态,表示t时刻跟踪算法输出的与第i个目标相对应的估计状态,ηt表示t时刻跟踪算法输出的状态与目标真实状态相匹配的数量。
MOTA的定义为:
其中,FPt表示t时刻跟踪算法输出的错误状态的数量,FNt表示t时刻跟踪算法输出中所漏掉的真实目标的数量,IDSt表示t时刻目标标签发生变化的次数,μt表示t时刻目标的数量。
MT定义为跟踪算法输出目标状态中与目标真实状态匹配率超过80%的目标轨迹的数量。ML定义为跟踪算法输出目标状态中与目标真实状态匹配率低于20%的目标轨迹的数量。FG定义为跟踪算法输出目标轨迹所断开的次数。
测试视频序列PETS.S2L1包含多种跟踪困难因素,其中包括由于目标相互靠近所导致的目标轨迹交叉以及目标间的高频率遮挡;目标在场景中心位置处停留时,该位置处的街灯所造成的长时间完全遮挡;目标行进过程中突然停下、转身等运动状态以及目标姿态的剧烈变化。
从表1可以看出,本实施例的方法在多目标跟踪准确性(MOTA)这一性能指标上要优于对比算法,其中文献[2]算法为在线跟踪算法、文献[5]算法为离线跟踪算法。在目标标签变化(IDS)这一项指标上,本文算法略差于文献[2]算法但明显好于文献[1]算法,说明了本文提出的模糊数据关联方法的有效性。由于本实施例中采用卡尔曼滤波器,无法对非线性运动的目标状态进行准确地估计与预测,因此,在目标轨迹断开次数(FG)以及多目标跟踪精度(MOTP)这两项指标上要低于对比算法,尽管如此,本实施例方法的MOTA仍然优于对比算法,这充分说明本实施例方法在保证准确数据关联的同时,有效减少了错误的目标轨迹起始。
如图4所示,本发明在线目标跟踪装置第一实施例包括:
检测模块10,用于对当前视频帧进行目标检测,以得到观测对象.
矩阵获取模块20,用于获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合。
关联模块30,用于根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹。
轨迹管理模块40,用于对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标。
滤波预测模块50,用于对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
本实施例的在线目标跟踪装置包括的各模块用于执行图1以及图1对应的本发明在线目标跟踪方法第一实施例中的各步骤,具体内容请参阅图1以及图1对应的本发明在线目标跟踪方法第一实施例,在此不再赘述。
如图5所示,本发明在线目标跟踪装置第二实施例包括:处理器110和摄像机120。摄像机120可以为本地摄像机,处理器110通过总线连接摄像机120;摄像机120也可以为远程摄像机,处理器110通过局域网或互联网连接摄像机120。
处理器110控制在线目标跟踪装置的操作,处理器110还可以称为CPU(CentralProcessing Unit,中央处理单元)。处理器110可能是一种集成电路芯片,具有信号的处理能力。处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在线目标跟踪装置可以进一步包括存储器(图中未画出),存储器用于存储处理器110工作所必需的指令及数据,也可以存储传输器120拍摄的视频数据。
处理器110用于对从摄像机120获取的当前视频帧进行目标检测,以得到观测对象;获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹;对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。