CN107481262B - 基于多任务相关粒子滤波的视觉跟踪方法、装置 - Google Patents
基于多任务相关粒子滤波的视觉跟踪方法、装置 Download PDFInfo
- Publication number
- CN107481262B CN107481262B CN201710592783.0A CN201710592783A CN107481262B CN 107481262 B CN107481262 B CN 107481262B CN 201710592783 A CN201710592783 A CN 201710592783A CN 107481262 B CN107481262 B CN 107481262B
- Authority
- CN
- China
- Prior art keywords
- particle
- particles
- filtering
- multitask
- current moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002245 particle Substances 0.000 title claims abstract description 186
- 238000001914 filtration Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000000007 visual effect Effects 0.000 title claims abstract description 36
- 230000004044 response Effects 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 11
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明涉及计算机视觉领域，提出了基于多任务相关粒子滤波的视觉跟踪方法、装置，旨在结合相关滤波和粒子滤波的优势，提高视觉跟踪方法的鲁棒性，该方法包括：S1，基于被测目标前一时刻每个粒子的目标状态生成被测目标当前时刻的粒子，对粒子在空间上进行划分，并对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征；S2，利用多任务相关滤波，对所述当前时刻的粒子进行移动并到达一个稳定的位置；S3，依据通过多任务相关滤波计算得到的所述当前时刻的粒子的响应分布的最大值，计算所述当前时刻的粒子的权重，并进一步计算当前时刻被测目标的跟踪状态的期望值。改善了追踪效果，解决了遮挡问题，提高视觉跟踪的鲁棒性。
Description
技术领域
本发明属于计算机视觉领域，具体涉及基于多任务相关粒子滤波的视觉跟踪方法、装置。
背景技术
视觉跟踪是计算机视觉中最为重要的任务之一。其应用包括视频监控、行为分析、自动驾驶等。视觉跟踪主要的挑战是当目标物体的外形随时间发生较大的变化时，如何进行鲁棒视觉跟踪。尽管这些年取得了一些有意义的进展，但发展鲁棒算法仍存在很大的困难。当下急需在存在诸如光照变化，快速动作，姿势变化，局部遮挡和背景杂乱等因素影响下的跟踪场景中设计鲁棒的算法来进行目标状态估计。
最近，相关滤波被应用到了视觉跟踪中并已经被证明可以达到高速和鲁棒的效果。由于深度卷积神经网络(CNNs)在大规模的视觉识别任务中获得成功，因此基于相关滤波的CNN跟踪方法已经得到较大的发展。大量的跟踪基准数据集证明了这些基于CNN的跟踪方法比基于手工特征的方法效果要好。
尽管已经达到了最先进的效果，但现有的基于相关滤波的CNN跟踪方法仍有一些局限性。(1)这些跟踪方法学得的相关滤波的每一层都是相互独立的，没有考虑他们之间的关系。由于卷积神经网络不同层的特征可以互相补充，基于卷积神经网络特征的相关滤波方法取得了较好的跟踪效果。但是，这些方法假设相关滤波的不同特征之间是独立的。当目标物体的外形出现显著变化时，忽略相关滤波之间的关系使得易于出现跟踪漂移问题。(2)当前的很多相关滤波跟踪方法处理尺度变化效果不好。最近Danelljan等提出的一种带有适应多尺度相关滤波的DSST跟踪方法，其使用HOG特征来建模目标物体的尺度变化。然而，这种多尺度策略不能够改善现存的基于相关滤波的CNN跟踪方法。(3)许多当前的基于相关滤波的跟踪方法采用整体模型，而没有考虑基于部分的局部模型。
另一方面，粒子滤波可以被用来解决大尺度变化和局部遮挡。当采样更多的粒子和建立一个鲁棒的物体表观模型时，基于粒子滤波的跟踪算法在复杂的环境中的表现出更高的可信度。然而，基于粒子滤波的跟踪方法的计算代价将随着粒子数目的增多而线性增加。进一步来说，基于粒子滤波的跟踪方法是基于采样粒子来确定每个目标物体的状态。如果采样粒子不能很好地覆盖物体状态，则预测的目标物体状态将不正确。为了克服这个问题，最好是引导采样粒子中心朝向目标物体。
发明内容
为了解决现有技术中的上述问题，即为了结合相关滤波和粒子滤波的优势，提高视觉跟踪方法的鲁棒性，本发明的一方面，提出了一种基于多任务相关粒子滤波的视觉跟踪方法，包括以下步骤：
步骤S1，基于被测目标前一时刻每个粒子的目标状态生成被测目标当前时刻的粒子，对粒子在空间上进行划分，并对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征；
步骤S2，利用多任务相关滤波对所述当前时刻的粒子进行移动并到达一个稳定的位置；
步骤S3，依据通过多任务相关滤波计算得到的所述当前时刻的粒子的响应分布的最大值，计算所述当前时刻的粒子的权重，并进一步计算当前时刻被测目标的跟踪状态的期望值。
优选地，步骤S3中还包括所述多任务相关滤波的相关滤波器的参数的更新步骤：
利用所述当前时刻的粒子的权重中最大权重对应的粒子对所述相关滤波器的参数进行更新。
优选地，步骤S1中生成被测目标当前时刻的粒子的过程服从状态转移概率分布
其中，中
表示t-1时刻的目标状态，st表示当前时刻的粒子状态分布。
优选地，步骤S1中对粒子在空间上进行划分，包括：
对当前时刻的每一个粒子在空间上用相同的方式划分成P个部分。
优选地，步骤S1中对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征，通过如下式子计算：
其中，{zpk}为所计算的粒子的具有判别力的特征；
表示当前时刻某一粒子所对应的所有训练样本，是该粒子第p个部分的第k种特征在二维空间上进行(m,n)的循环平移后的结果，(m,n)∈{0,1...,M-1}×{0,1,...,N-1}，M和N表示特征的高和宽；y＝[y0,0,...,ym,n,...,yM-1,N-1]T对应于循环平移的高斯函数标签；记Z＝[Z1,...,Zp,...,ZP]∈RMN×PK,Zp＝[zp1,...,zpK,...,zpK]∈RMN×K；λ和γ是正则化参数。
优选地，步骤S2包括如下步骤：
步骤S21，利用多任务相关滤波计算当前时刻每个粒子的响应分布：
其中，
为t时刻第i个粒子通过多任务相关滤波计算得到的响应分布，
是t时刻第i个粒子的观测，zpk和
分别是粒子
对应的多任务相关滤波求解后的具有判别力的特征和目标的表观模型，
和代表傅里叶变换及其反变换，
表示逐元素对应相乘运算；
步骤S22，对于所述当前时刻每个粒子，搜索各粒子响应分布最大值
获取各粒子响应分布最大值对应的位置，并将各粒子平移至对应的响应分布最大值的位置处，得到更新后的粒子状态
优选地，步骤S3中计算所述当前时刻的粒子的权重，其方法为：
其中，
为t时刻第i个粒子的权重。
优选地，步骤S3中计算当前时刻被测目标的跟踪状态的期望值，其方法为：
其中，E[st|y1:t]为t时刻被测目标的跟踪状态的期望值，y1:t为从第一时刻到时刻t的视频图像帧。
优选地，步骤S3中利用所述当前时刻的粒子的权重中最大权重对应的粒子对所述相关滤波器的参数进行更新，其方法为：
其中，zpk和
分别是具有最大权重的粒子对应的多任务相关滤波求解后的具有判别力的特征和目标的表观模型；η为学习速率参数；
表示傅里叶变换，t为时刻标号。
本发明的另一方面，提出了一种基于多任务相关粒子滤波的视觉跟踪装置，其特征在于，包括粒子生成和特征求解模块、滤波模块、跟踪模块；
所述粒子生成和特征求解模块，配置为基于被测目标前一时刻每个粒子的目标状态生成被测目标当前时刻的粒子，对粒子在空间上进行划分，并对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征；
所述滤波模块，配置为利用多任务相关滤波，对所述当前时刻的粒子进行移动并到达一个稳定的位置；
所述跟踪模块，配置为依据通过多任务相关滤波计算得到的所述当前时刻的粒子的响应分布的最大值，计算所述当前时刻的粒子的权重，并进一步计算当前时刻被测目标的跟踪状态的期望值。
优选地，所述视觉跟踪装置还包括更新模块；
所述更新模块，配置为利用所述当前时刻的粒子的权重中最大权重对应的粒子对所述相关滤波器的参数进行更新。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于多任务相关粒子滤波的视觉跟踪方法。
本发明的第四方面，提出了一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
所述程序适于由处理器加载并执行以实现：
上述基于多任务相关粒子滤波的视觉跟踪方法。
本发明的有益效果：
(1)本发明探寻不同特征之间的相互依赖关系来学习相关滤波器，从而改善追踪效果。
(2)本发明可以像传统粒子滤波一样通过粒子采样策略克服尺度变化问题，同时对粒子进行空间上的部分划分来应对遮挡问题。
附图说明
图1是本发明一实施例的基于多任务相关粒子滤波的视觉跟踪方法流程示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是通过多任务学习来改善相关滤波，同时结合相关滤波和粒子滤波的优势，设计鲁棒高效的视觉跟踪方法。通过利用多任务学习方式探寻不同特征之间的相互依赖关系来学习相关滤波器，从而改善追踪效果。同时，结合粒子滤波和基于部分的相关滤波方法，有效辅助相关滤波解决局部遮挡和尺度变化问题。
本发明通过多任务相关粒子滤波对物体表观变化建模，结合粒子滤波进行粒子采样，并在一个统一的框架对目标状态进行最优估计。本发明基于多任务相关粒子滤波的视觉跟踪方法包括三个部分：1)在当前时刻产生粒子，对粒子在空间上进行划分并在粒子上应用多任务相关滤波求解具有判别力的特征，2)对当前时刻产生的每个粒子进行多任务相关滤波使其移动并到达一个稳定的位置，3)使用多任务相关滤波响应计算所述每个粒子的权重并获得被跟踪目标在当前帧的跟踪状态，更新进行多任务相关滤波的相关滤波器的参数。
所述粒子表示目标在视频帧中可能的状态，即目标的位置和尺度等。所述目标可以是任意感兴趣的物体，包括人、车辆、动物、商品等。
如图1所示，本发明一实施例的基于多任务相关粒子滤波的视觉跟踪方法包括如下步骤：
步骤S1，基于被测目标前一时刻每个粒子的目标状态生成被测目标当前时刻的粒子，对粒子在空间上进行划分，并对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征；
步骤S2，利用多任务相关滤波，对所述当前时刻的粒子进行移动并到达一个稳定的位置；
步骤S3，依据通过多任务相关滤波计算得到的所述当前时刻的粒子的响应分布的最大值，计算所述当前时刻的粒子的权重，并进一步计算当前时刻被测目标的跟踪状态的期望值；还可以进一步包括所述多任务相关滤波的相关滤波器的参数的更新。
进一步的，步骤S3中的所述多任务相关滤波的相关滤波器的参数的更新，其方法为：利用所述当前时刻的粒子的权重中最大权重对应的粒子对所述相关滤波器的参数进行更新。
本实施例中，步骤S1可以分为两个步骤进行，具体包括：
步骤S11，基于被测目标前一时刻每个粒子的目标状态生成被测目标当前时刻的粒子，对粒子在空间上进行划分。
本实施例中，生成被测目标当前时刻的粒子的过程服从状态转移概率分布
其中，中表示t-1时刻的目标状态，St表示当前时刻的粒子状态分布。假定相邻帧存在一个仿射运动模型，因此，状态变量
由6个仿射变换参数组成(2D线性转换和2D平移)。
由一个对角高斯分布函数进行建模，该高斯函数的均值为各状态变量的均值，对角协方差矩阵中对角线上的元素取各状态变量均值的0.25倍。
对当前时刻的每一个粒子在空间上用相同的方式划分成P个部分。在一实施实例中，空间划分方式可以为将粒子划分为上下两个不重叠的部分，即P取值为2。
步骤S12，对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征。
通过式子(1)计算粒子利用多任务相关滤波求解的具有判别力的特征{zpk}，
其中，表示当前时刻某一粒子所对应的所有训练样本，
是该粒子第p个部分的第k种特征在二维空间上进行(m,n)的循环平移后的结果，(m,n)∈{0,1...,M-1}×{0,1,...,N-1}，M和N表示特征的高和宽；y＝[y0,0,...,ym,n,...,yM-1,N-1]T对应于循环平移的高斯函数标签；记Z＝[Z1,...,Zp,...,ZP]∈RMN×PK,Zp＝[zp1,...,zpK,...,zpK]∈RMN×K；λ和γ是正则化参数。在一实施实例中，总特征数K可以取为512。
本实施例中，步骤S2可以分为如下两个步骤进行：
步骤S21，利用多任务相关滤波计算当前时刻每个粒子的响应分布，如公式(2)所示：
其中，
为t时刻第i个粒子通过多任务相关滤波计算得到的响应分布，
是t时刻第i个粒子的观测，zpk和
分别是粒子
对应的多任务相关滤波求解后的具有判别力的特征和目标的表观模型，
和代表傅里叶变换及其反变换，
表示逐元素对应相乘运算。
步骤S22，对于所述当前时刻每个粒子，搜索各粒子响应分布最大值，将此最大值记为
获取各粒子响应分布最大值对应的位置，并将各粒子平移至对应的响应分布最大值的位置处，得到更新后的粒子状态(在一实施例中，采用6个状态变换参数来表示)，该粒子状态记为
本实施例中，步骤3可以分为三个步骤：
步骤S31，计算当前时刻的粒子的权重。
本实施例中，可以通过公式(3)计算当前时刻的粒子的权重。
其中，
为t时刻第i个粒子的权重。
步骤S32，计算当前时刻被测目标的跟踪状态的期望值。
本实施例中，可以通过公式(4)计算计算当前时刻被测目标的跟踪状态的期望值。
其中，E[st|y1:t]为t时刻被测目标的跟踪状态的期望值，y1:t为从第一时刻到时刻t的视频图像帧，该步骤利用此期望值作为目标状态的预测。
步骤S33，多任务相关滤波的相关滤波器的参数的更新。
本实施例中，可以通过公式(5)、(6)更新多任务相关滤波的相关滤波器的参数。
其中，zpk和
分别是具有最大权重的粒子对应的多任务相关滤波求解后的具有判别力的特征和目标的表观模型；η为学习速率参数；
表示傅里叶变换，t为时刻标号。
结合本文中所公开的实施例描述的方法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明的一种实施例的基于多任务相关粒子滤波的视觉跟踪装置，包括粒子生成和特征求解模块、滤波模块、跟踪模块，还可以进一步包括更新模块。
粒子生成和特征求解模块，配置为基于被测目标前一时刻每个粒子的目标状态生成被测目标当前时刻的粒子，对粒子在空间上进行划分，并对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征；
滤波模块，配置为利用多任务相关滤波，对所述当前时刻的粒子进行移动并到达一个稳定的位置；
跟踪模块，配置为依据通过多任务相关滤波计算得到的所述当前时刻的粒子的响应分布的最大值，计算所述当前时刻的粒子的权重，并进一步计算当前时刻被测目标的跟踪状态的期望值。
依据通过多任务相关滤波计算得到的所述当前时刻的粒子的响应分布的最大值，计算所述当前时刻的粒子的权重，并进一步计算当前时刻被测目标的跟踪状态的期望值。
更新模块，配置为利用所述当前时刻的粒子的权重中最大权重对应的粒子对所述相关滤波器的参数进行更新。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明的一种实施例的存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于多任务相关粒子滤波的视觉跟踪方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明的一种实施例的处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行以实现：上述的基于多任务相关粒子滤波的视觉跟踪方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种基于多任务相关粒子滤波的视觉跟踪方法，其特征在于，包括以下步骤：
步骤S1，基于被测目标前一时刻每个粒子的目标状态生成被测目标当前时刻的粒子，对粒子在空间上进行划分，并对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征；
步骤S2，利用多任务相关滤波，对所述当前时刻的粒子进行移动并到达一个稳定的位置；
步骤S3，依据通过多任务相关滤波计算得到的所述当前时刻的粒子的响应分布的最大值，计算所述当前时刻的粒子的权重，并进一步计算当前时刻被测目标的跟踪状态的期望值；
其中，步骤S1中对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征，通过如下式子计算：
其中，{zpk}为所计算的粒子的具有判别力的特征；Gpk＝XpkXpk T，
表示当前时刻某一粒子所对应的所有训练样本，
是该粒子第p个部分的第k种特征在二维空间上进行(m,n)的循环平移后的结果，(m,n)∈{0,1...,M-1}×{0,1,...,N-1}，M和N表示特征的高和宽；y＝[y0,0,...,ym,n,...,yM-1,N-1]T对应于循环平移的高斯函数标签；记Z＝[Z1,...,Zp,...,ZP]∈RMN×PK，zp＝[zp1,...,zpk,...,zpK]∈RMN×K；λ和γ是正则化参数。
2.根据权利要求1所述的视觉跟踪方法，其特征在于，步骤S3中还包括所述多任务相关滤波的相关滤波器的参数的更新步骤：
利用所述当前时刻的粒子的权重中最大权重对应的粒子对所述相关滤波器的参数进行更新。
3.根据权利要求1所述的视觉跟踪方法，其特征在于，步骤S1中生成被测目标当前时刻的粒子的过程服从状态转移概率分布
其中，
表示t-1时刻的目标状态，st表示当前时刻的粒子状态分布。
4.根据权利要求3所述的视觉跟踪方法，其特征在于，步骤S1中对粒子在空间上进行划分，包括：
对当前时刻的每一个粒子在空间上用相同的方式划分成P个部分。
5.根据权利要求1所述的视觉跟踪方法，其特征在于，步骤S2包括如下步骤：
步骤S21，利用多任务相关滤波计算当前时刻每个粒子的响应分布：
其中，为t时刻第i个粒子通过多任务相关滤波计算得到的响应分布，
是t时刻第i个粒子的观测，zpk和
分别是粒子对应的多任务相关滤波求解后的具有判别力的特征和目标的表观模型，F和F-1代表傅里叶变换及其反变换，⊙表示逐元素对应相乘运算；
步骤S22，对于所述当前时刻每个粒子，搜索各粒子响应分布最大值
获取各粒子响应分布最大值对应的位置，并将各粒子平移至对应的响应分布最大值的位置处，得到更新后的粒子状态
6.根据权利要求5所述的视觉跟踪方法，其特征在于，步骤S3中计算所述当前时刻的粒子的权重，其方法为：
其中，
为t时刻第i个粒子的权重。
7.根据权利要求6所述的视觉跟踪方法，其特征在于，步骤S3中计算当前时刻被测目标的跟踪状态的期望值，其方法为：
其中，E[st|y1:t]为t时刻被测目标的跟踪状态的期望值，y1:t为从第一时刻到时刻t的视频图像帧。
8.根据权利要求2所述的视觉跟踪方法，其特征在于，步骤S3中利用所述当前时刻的粒子的权重中最大权重对应的粒子对所述相关滤波器的参数进行更新，其方法为：
F(zpk)t＝(1-η)F(zpk)t-1+ηF(zpk)t
其中，zpk和
分别是具有最大权重的粒子对应的多任务相关滤波求解后的具有判别力的特征和目标的表观模型；η为学习速率参数；F表示傅里叶变换，t为时刻标号。
9.一种基于多任务相关粒子滤波的视觉跟踪装置，其特征在于，包括粒子生成和特征求解模块、滤波模块、跟踪模块；
所述粒子生成和特征求解模块，配置为基于被测目标前一时刻每个粒子的目标状态生成被测目标当前时刻的粒子，对粒子在空间上进行划分，并对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征；
所述滤波模块，配置为利用多任务相关滤波，对所述当前时刻的粒子进行移动并到达一个稳定的位置；
所述跟踪模块，配置为依据通过多任务相关滤波计算得到的所述当前时刻的粒子的响应分布的最大值，计算所述当前时刻的粒子的权重，并进一步计算当前时刻被测目标的跟踪状态的期望值；
其中，所述粒子生成和特征求解模块对当前时刻的每一个粒子利用多任务相关滤波求解具有判别力的特征，通过如下式子计算：
其中，{zpk}为所计算的粒子的具有判别力的特征；Gpk＝XpkXpk T，
表示当前时刻某一粒子所对应的所有训练样本，
是该粒子第p个部分的第k种特征在二维空间上进行(m,n)的循环平移后的结果，(m,n)∈{0,1...,M-1}×{0,1,...,N-1}，M和N表示特征的高和宽；y＝[y0,0,...,ym,n,...,yM-1,N-1]T对应于循环平移的高斯函数标签；记Z＝[Z1,...,Zp,...,ZP]∈RMN×PK，zp＝[zp1,...,zpk,...,zpK]∈RMN×K；λ和γ是正则化参数。
10.根据权利要求9所述的视觉跟踪装置，其特征在于，还包括更新模块；
所述更新模块，配置为利用所述当前时刻的粒子的权重中最大权重对应的粒子对所述相关滤波器的参数进行更新。
11.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-8任一项所述的基于多任务相关粒子滤波的视觉跟踪方法。
12.一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-8任一项所述的基于多任务相关粒子滤波的视觉跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710592783.0A CN107481262B (zh) | 2017-07-19 | 2017-07-19 | 基于多任务相关粒子滤波的视觉跟踪方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710592783.0A CN107481262B (zh) | 2017-07-19 | 2017-07-19 | 基于多任务相关粒子滤波的视觉跟踪方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107481262A CN107481262A (zh) | 2017-12-15 |
| CN107481262B true CN107481262B (zh) | 2020-02-28 |
Family
ID=60596655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710592783.0A Active CN107481262B (zh) | 2017-07-19 | 2017-07-19 | 基于多任务相关粒子滤波的视觉跟踪方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107481262B (zh) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2087469A2 (en) * | 2006-12-01 | 2009-08-12 | Thomson Licensing | Estimating a location of an object in an image |
| CN106875426B (zh) * | 2017-02-21 | 2020-01-21 | 中国科学院自动化研究所 | 基于相关粒子滤波的视觉跟踪方法及装置 |
-
2017
- 2017-07-19 CN CN201710592783.0A patent/CN107481262B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107481262A (zh) | 2017-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Learning attentions: residual attentional siamese network for high performance online visual tracking | |
| CN107369166B (zh) | 一种基于多分辨率神经网络的目标跟踪方法及系统 | |
| CN108027972B (zh) | 用于对象跟踪的系统和方法 | |
| CN106875426B (zh) | 基于相关粒子滤波的视觉跟踪方法及装置 | |
| Hu | Design and implementation of abnormal behavior detection based on deep intelligent analysis algorithms in massive video surveillance | |
| CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
| Thida et al. | A particle swarm optimisation algorithm with interactive swarms for tracking multiple targets | |
| CN109166139B (zh) | 一种结合快速背景抑制的尺度自适应目标跟踪方法 | |
| Yang et al. | Visual tracking with long-short term based correlation filter | |
| CN115375737B (zh) | 基于自适应时间与序列化时空特征的目标跟踪方法与系统 | |
| Lim et al. | Refined particle swarm intelligence method for abrupt motion tracking | |
| Elayaperumal et al. | Visual object tracking using sparse context-aware spatio-temporal correlation filter | |
| Li et al. | Robust kernelized correlation filter with scale adaption for real-time single object tracking | |
| Rout et al. | Rotation adaptive visual object tracking with motion consistency | |
| CN112991394A (zh) | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 | |
| Wang et al. | Object tracking with sparse representation and annealed particle filter | |
| CN107481262B (zh) | 基于多任务相关粒子滤波的视觉跟踪方法、装置 | |
| CN112184767A (zh) | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 | |
| CN113033356B (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| CN110598614A (zh) | 一种结合粒子滤波的相关滤波目标跟踪方法 | |
| CN110751671A (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
| CN113379798B (zh) | 一种基于交互评价模型的相关滤波跟踪方法 | |
| Schneiderman et al. | Model-based vision for car following | |
| CN116468752A (zh) | 一种面向无人机的单目标跟踪方法 | |
| CN113298851B (zh) | 一种基于多尺度多特征的目标图像跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |