CN109166138B - 基于高阶累积量的目标跟踪方法、装置及存储介质 - Google Patents

基于高阶累积量的目标跟踪方法、装置及存储介质 Download PDF

Info

Publication number
CN109166138B
CN109166138B CN201810645430.7A CN201810645430A CN109166138B CN 109166138 B CN109166138 B CN 109166138B CN 201810645430 A CN201810645430 A CN 201810645430A CN 109166138 B CN109166138 B CN 109166138B
Authority
CN
China
Prior art keywords
target
video frame
reconstruction error
subspace
order cumulant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810645430.7A
Other languages
English (en)
Other versions
CN109166138A (zh
Inventor
李良群
谢维信
刘宗香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201810645430.7A priority Critical patent/CN109166138B/zh
Publication of CN109166138A publication Critical patent/CN109166138A/zh
Application granted granted Critical
Publication of CN109166138B publication Critical patent/CN109166138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高阶累积量的目标跟踪方法，该方法包括：利用第一高阶累积量判断第k视频帧中的目标是否被遮挡；利用运动模型及第k视频帧中的目标状态信息预测并抽取得到多个预测粒子；分别计算每个预测粒子在第k+1视频帧中对应的预测图像块在子空间的重构误差及对应的每个预测粒子的重要性权值；利用第二高阶累积量判断第k视频帧中被遮挡的目标在第k+1视频帧中是否仍被遮挡；若是则将轨迹预测值否则将似然图像块作为第k+1视频帧中的目标图像；利用第k+1视频帧中的目标图像获取第k+1视频帧中的目标状态信息。本发明还公开了一种基于高阶累积量的目标跟踪装置。通过上述方式，本发明能够及时检测到目标被遮挡并进行处理。

Description

基于高阶累积量的目标跟踪方法、装置及存储介质
技术领域
本发明涉及目标跟踪领域，特别是涉及一种基于高阶累积量的目标跟踪方法、装置及存储介质。
背景技术
在线目标跟踪是计算机视觉中的一个热点研究课题，其对于动作识别、行为分析、场景理解等高层次的视觉研究具有重要意义，并且在视频监控、智能机器人、人机交互等领域有着广泛的应用前景。
在目标跟踪的许多挑战中，遮挡是最棘手的问题之一。遮挡使跟踪目标的部分或者整体不可见，造成目标信息丢失，并且遮挡持续的时间长短不可预知。跟踪目标被遮挡可能是由视频中其它运动物、背景中静止的物体或者目标本身引起的。在遮挡情形下，可能会出现跟踪漂移。现有技术中的很多算法可以对遮挡进行处理以提高目标跟踪的准确度，但是遮挡检测的效率比较低，往往是在目标已经被遮挡了很多帧才能判断出目标被遮挡，不利于遮挡处理。
发明内容
本发明主要解决的技术问题是提供一种基于高阶累积量的目标跟踪方法、装置、系统及存储介质，能够解决现有技术中低效率遮挡检测不利于遮挡处理的问题。
为了解决上述技术问题，本发明提供了一种基于高阶累积量的目标跟踪方法，该方法包括：利用第一高阶累积量判断第k视频帧中的目标是否被遮挡，第一高阶累积量对应于第k视频帧中的目标图像在子空间的第一重构误差；利用运动模型及第k视频帧中的目标状态信息预测并抽取得到多个预测粒子，第k视频帧中被遮挡与未被遮挡的目标的运动模型不同；分别计算每个预测粒子在第k+1视频帧中对应的预测图像块在子空间的重构误差；分别利用重构误差计算对应的每个预测粒子的重要性权值；利用第二高阶累积量判断第k视频帧中被遮挡的目标在第k+1视频帧中是否仍被遮挡，第二高阶累积量对应于似然图像块在子空间的第二重构误差，似然图像块是重要性权值最大的预测粒子对应的预测图像块；若第k视频帧和第k+1视频帧中目标均被遮挡，则将轨迹预测值作为第k+1视频帧中的目标图像，否则将似然图像块作为第k+1视频帧中的目标图像；利用第k+1视频帧中的目标图像获取第k+1视频帧中的目标状态信息。
为了解决上述技术问题，本发明提供了一种基于高阶累积量的目标跟踪装置，该装置包括至少一个处理器，单独或协同工作，处理器用于执行指令以实现前述的方法。
为了解决上述技术问题，本发明提供了一种可读存储介质，存储有指令，指令被执行时实现前述的方法。
本发明的有益效果是：通过利用第一高阶累积量判断第k视频帧中的目标是否被遮挡，对于遮挡和未被遮挡的目标使用不同的运动模型及第k视频帧中的目标状态信息预测并抽取得到多个预测粒子；分别计算每个预测粒子在第k+1视频帧中对应的预测图像块在子空间的重构误差；分别利用重构误差计算对应的每个预测粒子的重要性权值；利用第二高阶累积量判断第k视频帧中被遮挡的目标在第k+1视频帧中是否仍被遮挡，第二高阶累积量对应于似然图像块在子空间的第二重构误差，似然图像块是重要性权值最大的预测粒子对应的预测图像块；若第k视频帧和第k+1视频帧中目标均被遮挡，则将轨迹预测值作为第k+1视频帧中的目标图像，否则将似然图像块作为第k+1视频帧中的目标图像；利用第k+1视频帧中的目标图像获取第k+1视频帧中的目标状态信息。在目标未被遮挡的情况下，其重构误差是一个小方差的高斯白噪声，在目标被遮挡的情况下，其重构误差是噪声与随机信号之和。利用高阶累积量对于高斯噪声良好的抑制作用，可以快速检测到被遮挡时重构误差中的随机信号，从而能够及时并正确地判断遮挡的存在并进行遮挡处理，提高了跟踪的准确度。
附图说明
图1是本发明基于高阶累积量的目标跟踪方法第一实施例的流程示意图；
图2是本发明一具体实施例中基于重构误差的三阶累积量进行遮挡状态判断的示意图；
图3是图2中三阶累积量曲线对应的关键帧；
图4是本发明基于高阶累积量的目标跟踪方法第二实施例的流程示意图；
图5是本发明基于高阶累积量的目标跟踪装置第一实施例的结构示意图；
图6是本发明可读存储介质第一实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以下各实施例中不冲突的可以相互结合。
如图1所示，本发明基于高阶累积量的目标跟踪方法第一实施例包括：
S1：利用第一高阶累积量判断第k视频帧中的目标是否被遮挡。
第一高阶累积量对应于第k视频帧中的目标图像在子空间的第一重构误差，k为正整数。
目标跟踪问题可视为视频帧中目标状态动态估计问题。根据贝叶斯定理，给定一组观测序列Z1:k＝{Z1,Z2,…,Zk+1}，k+1时刻行人目标状态的后验概率p(Xk+1|Z1:k+1)满足：
p(Xk+1|Z1:k+1)∝p(Zk+1|Xk+1)∫p(Xk+1|Xk)p(Xk|Z1:k)dXk (15)
其中，p(Xk+1|Xk)为目标的运动模型，用于描述两个连续帧之间目标的运动变化；p(Zk+1|Xk+1)为目标的观测模型，表示观测似然函数。
可以使用主成分分析的方法建立目标的观测模型。通过对训练样本进行主成分分析得到一组子空间的基向量，然后利用子空间计算观测样本的重构误差，观测样本可以包括目标图像及预测图像块。
具体的，子空间U＝[u1,u2,...,uu]包括u个两两之间正交不相关的基向量，第k视频帧中的目标图像Zk与样本均值
Figure BDA0001703398300000049
之差可以用子空间U中的基向量线型表示为：
Figure BDA0001703398300000041
其中ek为第一重构误差，W＝(w1,w2,...,wu)T为
Figure BDA0001703398300000042
在子空间U上的投影，即
Figure BDA0001703398300000043
代入式(16)可得，第一重构误差ek为：
Figure BDA0001703398300000044
第一重构误差ek可以用序列{fk(j),j＝0,1,...Mk-1}来表示，fk(j)为第一重构误差中第j个像素点的灰度值，Mk为第一重构误差中像素点的个数。
若目标处于正常运动状态，即未被遮挡，重构误差可以认为是一个小方差的高斯白噪声。若跟踪目标被遮挡，重构误差会变为高斯白噪声和随机信号之和，呈现出非高斯特性。因此，可以利用高斯信号的高阶累积量(大于二阶)均为零的特点来实现对目标遮挡情况的检测。
对于第一重构误差ek＝{fk(j),j＝0,1,...Mk-1}，H0为正常状态，H1为遮挡状态，构造二元假设检验：
Figure BDA0001703398300000045
其中，s(j)是由跟踪目标遮挡引起的非高斯随机信号，v(j)为高斯噪声，且s(j)与v(j)相互独立。
设第一重构误差ek均值为0，根据零均值随机过程的三阶累积量等于其三阶矩，第一重构误差ek的三阶累积量定义为：
Figure BDA0001703398300000046
其中E()表示数学期望。v(j)是高斯噪声，所以C3v(g,h)≡0，则有
Figure BDA0001703398300000047
其中C3s(g,h)和C3v(g,h)分别为随机信号和高斯噪声的三阶累积量，由于|C3s(g,h)|在原点取峰值，即：|C3s(g,h)|≤|C3s(0,0)|，可知
Figure BDA0001703398300000048
因此：
Figure BDA0001703398300000051
在实际应用中，数据长度有限，高斯噪声的三阶累积量估计并不为零，因此选取大于0的T作为预设阈值与第一高阶累积量Ck进行比较。
根据式(18)，可得第一高阶累积量Ck为：
Figure BDA0001703398300000052
若第一高阶累积量Ck大于预设阈值T，则判定第k视频帧中的目标被遮挡，否则判定第k视频帧中的目标未被遮挡。
举例说明，在本发明一具体实施例中，图2为基于重构误差的三阶累积量进行遮挡状态判断的示意图，在图2中，如果重构误差的三阶累积量曲线在水平的阈值之上，则意味着目标被遮挡，否则意味着目标未被遮挡。图2中三阶累积量曲线对应的关键帧如图3所示。
结合图2和图3可以看出：在65帧时目标刚刚进入遮挡状态，对应的重构误差的三阶累积量大于阈值，判为遮挡状态；在86帧时目标重新出现，对应的重构误差的三阶累积量小于阈值，判为未遮挡的运动状态，并且在目标被遮挡的时间段内，其对应的重构误差图像的三阶累积量大于阈值。可知基于重构误差的三阶累积量的遮挡检测方法可以准确地判断目标进入与离开遮挡的时刻。
S2：利用运动模型及第k视频帧中的目标状态信息预测并抽取得到多个预测粒子。
第k视频帧中的目标状态信息Xk＝{xk,yk,sk,αk}，其中xk和yk分别为第k视频帧中的目标图像中心点位置的x坐标和y坐标，sk和αk分别为第k视频帧中的目标图像与标准大小的比例以及宽高比。
第k视频帧中被遮挡与未被遮挡的目标的运动模型不同。
可选的，若第k视频帧中目标被遮挡，则利用随机游走模型来进行预测；否则利用二阶自回归模型。
随机游走模型的状态转移概率p(Xk+1|Xk)为：
p(Xk+1|Xk)＝N(Xk+1|Xk,Ψ) (3)
其中，Xk+1为第k+1视频帧中的目标状态信息，N()为正态分布，ψ为对角化协方差矩阵，ψ的对角元素分别为
Figure BDA0001703398300000061
δx表示中心点位置x坐标的标准差，δy表示中心点位置y坐标的标准差，δs表示与标准大小的比例的标准差，δα表示与标准大小的宽高比的标准差。
二阶自回归模型假设Xk+1和Xk之间的差异与Xk和Xk-1之间的差异相近，具体为：
Xk+1-Xk＝Xk-Xk-1+Wk+1 (4)
其中，Wk+1为高斯白噪声。
抽取的N个预测粒子组成预测粒子集
Figure BDA0001703398300000062
S3：分别计算每个预测粒子在第k+1视频帧中对应的预测图像块在子空间的重构误差。
参考第一重构误差ek的计算过程，第i个预测粒子
Figure BDA0001703398300000063
在第k+1视频帧中对应的预测图像块
Figure BDA0001703398300000064
在子空间U的重构误差
Figure BDA0001703398300000065
为：
Figure BDA0001703398300000066
其中，
Figure BDA0001703398300000067
为重构误差
Figure BDA0001703398300000068
中第j个像素点的灰度值，
Figure BDA0001703398300000069
为重构误差
Figure BDA00017033983000000610
中像素点的个数。
S4：分别利用重构误差计算对应的每个预测粒子的重要性权值。
第i个预测粒子的重要性权值
Figure BDA00017033983000000611
满足
Figure BDA00017033983000000612
为第i个预测粒子
Figure BDA00017033983000000613
的观测似然函数，具体为：
Figure BDA00017033983000000614
其中，δ表示标准正态分布的标准差，||·||为二范数。
S5：利用第二高阶累积量判断第k视频帧中被遮挡的目标在第k+1视频帧中是否仍被遮挡。
第二高阶累积量Ck+1,max对应于似然图像块Zk+1,max在子空间U的第二重构误差ek+1,max，似然图像块是重要性权值最大的预测粒子对应的预测图像块。
第二重构误差ek+1,max为：
Figure BDA00017033983000000615
其中，fk+1,max(j)为第二重构误差中第j个像素点的灰度值，Mk+1,max为第二重构误差中像素点的个数。
第二重构误差ek+1,max的计算在S3中实际上已经完成，在S4完成后，找到重要性权值最大的预测粒子即可确定其对应的似然图像块Zk+1,max以及第二重构误差ek+1,max。
参考第一高阶累积量Ck的计算过程，第二高阶累积量Ck+1,max为：
Figure BDA0001703398300000071
若第二高阶累积量Ck+1,max大于预设阈值T，则判定第k+1视频帧中的目标被遮挡，否则判定第k+1视频帧中的目标未被遮挡。
为了节省计算量，可以选择仅为在第k视频帧中被遮挡的目标执行本步骤，即只在目标在第k视频帧中被遮挡的情况下，利用第二重构误差计算第二高阶累积量之后与预设阈值比较判断。
S6：若第k视频帧和第k+1视频帧中目标均被遮挡，则将轨迹预测值作为第k+1视频帧中的目标图像，否则将似然图像块作为第k+1视频帧中的目标图像。
重要性权值最大的预测粒子与目标模板(即样本均值)相似度最大，若第k视频帧或第k+1视频帧中目标未被遮挡，可以基于相似度最大的原则，直接将似然图像块作为第k+1视频帧中的目标图像。若第k视频帧和第k+1视频帧中目标均被遮挡，预测粒子与目标模板的相似度无法用来定位目标，因此将轨迹预测值，即式(4)的计算结果作为第k+1视频帧中的目标图像。
S7：利用第k+1视频帧中的目标图像获取第k+1视频帧中的目标状态信息。
根据第k+1视频帧中的目标图像的位置信息计算可以得到k+1视频帧中的目标状态信息Xk+1＝{xk+1,yk+1,sk+1,αk+1}。
通过本实施例的实施，利用第一高阶累积量判断第k视频帧中的目标是否被遮挡，对于遮挡和未被遮挡的目标使用不同的运动模型及第k视频帧中的目标状态信息预测并抽取得到多个预测粒子；分别计算每个预测粒子在第k+1视频帧中对应的预测图像块在子空间的重构误差；分别利用重构误差计算对应的每个预测粒子的重要性权值；利用第二高阶累积量判断第k视频帧中被遮挡的目标在第k+1视频帧中是否仍被遮挡，第二高阶累积量对应于似然图像块在子空间的第二重构误差，似然图像块是重要性权值最大的预测粒子对应的预测图像块；若第k视频帧和第k+1视频帧中目标均被遮挡，则将轨迹预测值作为第k+1视频帧中的目标图像，否则将似然图像块作为第k+1视频帧中的目标图像；利用第k+1视频帧中的目标图像获取第k+1视频帧中的目标状态信息。利用高阶累积量对于高斯噪声良好的抑制作用，可以快速检测到被遮挡时重构误差中的随机信号，从而能够及时并正确地判断遮挡的存在并进行遮挡处理，提高了跟踪的准确度。
如图4所示，本发明基于高阶累积量的目标跟踪方法第二实施例，是在本发明基于高阶累积量的目标跟踪方法第一实施例的基础上，S6之后进一步包括：
S8：目标在第k+1视频帧中未被遮挡的情况下，至少利用第k+1视频帧中的目标图像增量更新子空间和样本均值。
目标跟踪过程中，目标和背景的外观会不断地发生变化，相应地目标外观表示也应该随之发生变化。及时更新子空间和样本均值可以保证跟踪的有效性和准确性。
具体的，更新前的子空间U对应的训练图像集为A＝{Z1,Z2,…,Zn}，n为训练图像集A中图像的数量，训练图像集A的均值为样本均值
Figure BDA0001703398300000085
训练图像集A的中心数据矩阵为
Figure BDA0001703398300000083
中心数据矩阵
Figure BDA0001703398300000084
奇异值分解得到子空间U和特征向量Σ，新增图像集为B＝{Zn+1,Zn+2,…,Zn+m}，m为新增图像集B中图像的数量，新增图像集B包括k+1视频帧中的目标图像，m和n为大于或等于1的整数。
更新之后的全部训练样本为C＝{A,B}＝{Z1,Z2,…,Zn+m}。
更新后的子空间U'为：
Figure BDA0001703398300000081
其中
Figure BDA0001703398300000082
是对联合矩阵R进行奇异值分解得到的：
Figure BDA0001703398300000091
联合矩阵R为：
Figure BDA0001703398300000092
Figure BDA0001703398300000093
其中Orth()为执行正交化；
Figure BDA0001703398300000094
其中
Figure BDA0001703398300000095
为新增图像集B的均值；
在目标跟踪中，跟踪一个外观有变化的目标时，往往希望最新捕获的目标图像占较大的比重而先前的目标图像占较小的比重，最新的目标图像相较于先前的目标图像可以更好地用于表示目标外观。为了平衡新旧目标图像对目标外观的影响，在更新样本均值时设置遗忘因子f。此时更新后的样本均值
Figure BDA0001703398300000096
为：
Figure BDA0001703398300000097
目标被遮挡时，目标图像并不能准确的反映目标信息，此时如果用目标图像来更新目标模板，会增加目标模板的误差，因此目标在第k+1视频帧中被遮挡的情况下不会执行本步骤。
在其他实施例中，目标在第k+1视频帧中未被遮挡的情况下也可以不更新子空间和样本均值。例如，本步骤之前可以先判断是否满足更新条件，若满足才进行更新，否则不更新。更新条件可以包括目标未被遮挡的连续视频帧数量大于一阈值等。
下面为对本发明基于高阶累积量的目标跟踪方法第二实施例提出的基于高阶累积量的粒子滤波行人目标跟踪算法(HOCPT)进行实验验证的结果。
本次实验在Windows 7系统下进行，硬件设备参数为英特尔Core(TM)i7-4790，主频为3.60GHZ，4G内存。实验代码的编写与调试以及实验数据实验结果图像的采集采用Matlab R2014a环境。为了验证算法对行人目标跟踪的有效性，在测试数据集中选择了五个包含行人目标的视频(a)Walking，(b)Walking2，(c)Jogging1，(d)Jogging2，(e)Woman作为测试序列进行实验。
采用中心位置误差(Center Location Error,CLE)，重叠率(Overlap Rate,OR)，以及基于重叠机制的成功率(Success Rate,SR)三种评价机制作为定量分析的标准。第一种评价标准——中心位置误差的定义为跟踪目标的中心位置和手工标定的准确位置之间的欧式距离。第二种评价标准——重叠率的定义为目标跟踪矩形区域与目标真实矩形区域的交集与并集的比值。第三种评价标准——基于重叠机制的成功率的定义为在整个视频序列中成功跟踪到目标的帧数占整个视频序列总帧数的比值。判断是否成功跟踪到目标的标准为重叠率是否大于给定的阈值T0,阈值T0一般设置为0.5。
为了分析算法性能，将HOCPT算法与IVT算法、TLD(Tracking-Learning-Detection,跟踪-学习-检测)算法和VTD(Visual Tracking Decomposition,视觉跟踪分解)算法进行对比。
5个测试序列均包括遮挡情形。序列Walking中包含有短时间局部遮挡以及尺度变换，尺度变化使得TLD算法无法准确检测到目标，从而导致跟踪偏移，而HOCPT算法、VTD算法与IVT算法均能准确跟踪到目标。序列Walking2中由于存在局部遮挡以及相似物干扰，TLD，VTD算法均跟错目标，而HOCPT算法与IVT算法均有较好的跟踪效果。序列Jogging1，Jogging2中目标被短时间完全遮挡，VTD算法与IVT算法发生了较大的跟踪偏移，而HOCPT算法以及TLD算法均取得了较好的跟踪效果，HOCPT算法与TLD算法在目标被完全遮挡又重新出现时均能快速准确地捕获到目标，并且，由于HOCPT算法尺度自适应，使得HOCPT算法跟踪结果平均中心位置误差更小，平均重叠率更大，跟踪结果更稳定。对于测试序列Woman，目标被长时间局部遮挡以及存在复杂的背景变化，使得HOCPT算法，TLD，VTD，IVT四种算法均未能取得较好的跟踪结果。
不同算法在各测试序列上的跟踪成功率、平均中心位置误差、平均重叠率分别如表1,表2,表3所示。
Figure BDA0001703398300000111
表1
Figure BDA0001703398300000112
表2
Figure BDA0001703398300000113
表3
结合上述表格可知，HOCPT算法具有较高的成功率、较小的中心位置误差以及较高的重叠率，总体上具有较强的鲁棒性以及稳定性。
如图5所示，本发明基于高阶累积量的目标跟踪装置第一实施例包括：处理器110。图中只画出了一个处理器110，实际数量可以更多。处理器110可以单独或者协同工作。
处理器110控制基于高阶累积量的目标跟踪装置的操作，处理器110还可以称为CPU(Central Processing Unit，中央处理单元)。处理器110可能是一种集成电路芯片，具有信号序列的处理能力。处理器110还可以是通用处理器、数字信号序列处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
处理器110用于执行指令以实现本发明基于高阶累积量的目标跟踪方法第一或第二实施例所提供的方法。
如图6所示，本发明可读存储介质第一实施例包括存储器210，存储器210存储有指令，该指令被执行时实现本发明基于高阶累积量的目标跟踪方法第一或第二实施例所提供的方法。
存储器210可以包括只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、闪存(Flash Memory)、硬盘、光盘等。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于高阶累积量的目标跟踪方法，其特征在于，包括：
利用第一高阶累积量判断第k视频帧中的所述目标是否被遮挡，所述第一高阶累积量对应于所述第k视频帧中的目标图像在子空间的第一重构误差；
若所述第k视频帧中所述目标被遮挡，则利用随机游走模型及所述第k视频帧中的目标状态信息预测并抽取多个预测粒子，否则利用二阶自回归模型及所述第k视频帧中的目标状态信息预测并抽取多个所述预测粒子；
分别计算每个所述预测粒子在第k+1视频帧中对应的预测图像块在所述子空间的重构误差；
分别利用所述重构误差计算对应的每个所述预测粒子的重要性权值；
在所述目标在所述第k视频帧中被遮挡的情况下，利用第二重构误差计算第二高阶累积量；
判断所述第二高阶累积量是否大于预设阈值；
若所述第二高阶累积量大于预设阈值，则判定所述第k+1视频帧中的所述目标被遮挡，否则判定所述第k+1视频帧中的所述目标未被遮挡，所述第二高阶累积量对应于似然图像块在所述子空间的第二重构误差，所述似然图像块是所述重要性权值最大的所述预测粒子对应的预测图像块；
若所述第k视频帧和所述第k+1视频帧中所述目标均被遮挡，则将轨迹预测值作为所述第k+1视频帧中的目标图像，否则将所述似然图像块作为所述第k+1视频帧中的所述目标图像；
利用所述第k+1视频帧中的目标图像获取所述第k+1视频帧中的目标状态信息；
其中，所述第一重构误差ek为：
Figure FDA0003465118210000011
其中，Zk为所述第k视频帧中的目标图像，U为所述子空间，
Figure FDA00034651182100000214
为样本均值，fk(j)为所述第一重构误差中第j个像素点的灰度值，Mk为所述第一重构误差中像素点的个数；
所述第一高阶累积量Ck为：
Figure FDA0003465118210000021
第i个所述预测粒子
Figure FDA0003465118210000022
在第k+1视频帧中对应的预测图像块
Figure FDA0003465118210000023
在所述子空间的重构误差
Figure FDA0003465118210000024
为：
Figure FDA0003465118210000025
其中，U为所述子空间，
Figure FDA0003465118210000026
为样本均值，
Figure FDA0003465118210000027
为所述重构误差
Figure FDA0003465118210000028
中第j个像素点的灰度值，
Figure FDA0003465118210000029
为所述重构误差
Figure FDA00034651182100000210
中像素点的个数；
所述第二重构误差ek+1,max为：
Figure FDA00034651182100000211
其中，Zk+1,max为所述似然图像块，U为所述子空间，
Figure FDA00034651182100000212
为样本均值，fk+1,max(j)为所述第二重构误差中第j个像素点的灰度值，Mk+1,max为所述第二重构误差中像素点的个数；
所述第二高阶累积量为：
Figure FDA00034651182100000213
2.根据权利要求1所述的方法，其特征在于，
所述利用第一高阶累积量判断第k视频帧中的所述目标是否被遮挡包括：
判断所述第一高阶累积量是否大于预设阈值；
若所述第一高阶累积量大于预设阈值，则判定所述第k视频帧中的所述目标被遮挡，否则判定所述第k视频帧中的所述目标未被遮挡。
3.根据权利要求1所述的方法，其特征在于，
所述第k视频帧中的目标状态信息Xk＝{xk,yk,sk,αk}，其中xk和yk分别为所述第k视频帧中的目标图像中心点位置的x坐标和y坐标，sk和αk分别为所述第k视频帧中的目标图像与标准大小的比例以及宽高比；
所述随机游走模型的状态转移概率p(Xk+1|Xk)为：
p(Xk+1|Xk)＝N(Xk+1|Xk,Ψ) (3)
其中，Xk+1为所述第k+1视频帧中的目标状态信息，N()为正态分布，Ψ为对角化协方差矩阵，Ψ的对角元素分别为
Figure FDA0003465118210000031
δx表示中心点位置x坐标的标准差，δy表示中心点位置y坐标的标准差，δs表示与标准大小的比例的标准差，δα表示与标准大小的宽高比的标准差，
所述二阶自回归模型为：
Xk+1-Xk＝Xk-Xk-1+Wk+1 (4)
其中，Wk+1为高斯白噪声。
4.根据权利要求1所述的方法，其特征在于，
第i个所述预测粒子的重要性权值
Figure FDA0003465118210000032
满足
Figure FDA0003465118210000033
Figure FDA0003465118210000034
为第i个所述预测粒子
Figure FDA0003465118210000035
的观测似然函数，具体为：
Figure FDA0003465118210000036
其中，δ表示标准正态分布的标准差，||·||为二范数。
5.根据权利要求1所述的方法，其特征在于，进一步包括：
所述目标在所述第k+1视频帧中未被遮挡的情况下，至少利用所述第k+1视频帧中的目标图像增量更新所述子空间和样本均值。
6.根据权利要求5所述的方法，其特征在于，
更新前的所述子空间U对应的训练图像集为A＝{Z1,Z2,…,Zn}，n为所述训练图像集A中图像的数量，所述训练图像集A的均值为所述样本均值
Figure FDA0003465118210000037
所述训练图像集A的中心数据矩阵为
Figure FDA0003465118210000038
所述中心数据矩阵
Figure FDA0003465118210000041
奇异值分解得到所述子空间U和特征向量Σ，新增图像集为B＝{Zn+1,Zn+2,…,Zn+m}，m为所述新增图像集B中图像的数量，所述新增图像集B包括所述k+1视频帧中的目标图像，m和n为大于或等于1的整数；
更新后的所述子空间U'为：
Figure FDA0003465118210000042
其中
Figure FDA0003465118210000043
是对联合矩阵R进行奇异值分解得到的：
Figure FDA0003465118210000044
所述联合矩阵R为：
Figure FDA0003465118210000045
Figure FDA0003465118210000046
其中Orth()为执行正交化；
Figure FDA0003465118210000047
其中
Figure FDA0003465118210000048
为所述新增图像集B的均值；
更新后的所述样本均值为：
Figure FDA0003465118210000049
其中f为遗忘因子。
7.一种基于高阶累积量的目标跟踪装置，其特征在于，包括至少一个处理器，单独或协同工作，所述处理器用于执行指令以实现如权利要求1-6中任一项所述的方法。
8.一种可读存储介质，存储有指令，其特征在于，所述指令被执行时实现如权利要求1-6中任一项所述的方法。
CN201810645430.7A 2018-06-21 2018-06-21 基于高阶累积量的目标跟踪方法、装置及存储介质 Active CN109166138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810645430.7A CN109166138B (zh) 2018-06-21 2018-06-21 基于高阶累积量的目标跟踪方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810645430.7A CN109166138B (zh) 2018-06-21 2018-06-21 基于高阶累积量的目标跟踪方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109166138A CN109166138A (zh) 2019-01-08
CN109166138B true CN109166138B (zh) 2022-05-31

Family

ID=64897246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810645430.7A Active CN109166138B (zh) 2018-06-21 2018-06-21 基于高阶累积量的目标跟踪方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109166138B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895329B (zh) * 2019-07-12 2022-12-27 西安电子科技大学 一种混合分布模型杂波图目标检测方法和装置
CN111462184B (zh) * 2020-04-02 2022-09-23 桂林电子科技大学 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
US9478033B1 (en) * 2010-08-02 2016-10-25 Red Giant Software Particle-based tracking of objects within images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9478033B1 (en) * 2010-08-02 2016-10-25 Red Giant Software Particle-based tracking of objects within images
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于遮挡检测的粒子滤波行人目标跟踪算法研究;李春兰;《中国优秀硕士学位论文全文数据库信息科技辑》;20170715;正文第13-41页 *

Also Published As

Publication number Publication date
CN109166138A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
US9495600B2 (en) People detection apparatus and method and people counting apparatus and method
Varas et al. Region-based particle filter for video object segmentation
CN103632382A (zh) 一种基于压缩感知的实时多尺度目标跟踪方法
CN106875426B (zh) 基于相关粒子滤波的视觉跟踪方法及装置
CN110349188B (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
CN111178261B (zh) 一种基于视频编码技术的人脸检测加速方法
US9805285B2 (en) State estimation apparatus, state estimation method, and integrated circuit
KR20190023389A (ko) 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
CN106780567B (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
Liu et al. 3D Human motion tracking by exemplar-based conditional particle filter
CN109166138B (zh) 基于高阶累积量的目标跟踪方法、装置及存储介质
CN102063625A (zh) 一种用于多视角下多目标追踪的改进型粒子滤波方法
Mei et al. Integrated detection, tracking and recognition for ir video-based vehicle classification
Favorskaya Motion estimation for objects analysis and detection in videos
Mohd et al. Vehicles counting from video stream for automatic traffic flow analysis systems
US20210295559A1 (en) Extrinsic calibration of multi-camera system
Lu et al. Particle filter vehicle tracking based on surf feature matching
CN107767401B (zh) 基于核相关滤波的红外目标实时跟踪方法及装置
CN109448020B (zh) 目标跟踪方法及系统
WO2019241963A1 (zh) 基于高阶累积量的目标跟踪方法、装置及存储介质
Li et al. An Adaptive Motion Model and Multi-feature Cues Based on Particle Filter for Object Tracking.
Liu et al. 2D articulated pose tracking using particle filter with partitioned sampling and model constraints
Arnaud et al. Optimal importance sampling for tracking in image sequences: application to point tracking
Meng et al. An ellipse feature tracking method based on the kalman filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant