CN107680119A - 一种基于时空上下文融合多特征及尺度滤波的跟踪算法 - Google Patents
一种基于时空上下文融合多特征及尺度滤波的跟踪算法 Download PDFInfo
- Publication number
- CN107680119A CN107680119A CN201710789489.9A CN201710789489A CN107680119A CN 107680119 A CN107680119 A CN 107680119A CN 201710789489 A CN201710789489 A CN 201710789489A CN 107680119 A CN107680119 A CN 107680119A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msup
- model
- template
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
一种基于时空上下文融合多特征及尺度滤波的跟踪算法，通过视频或图像序列得到第一帧图片上目标位置信息与大小信息；参数初始化；多特征提取；双步预处理操作，特征目标区域进行乘余弦窗口的操作，降低傅立叶变换带来的边缘效应；通过两次傅里叶变换得到滤波模板与尺度滤波模板；通过两次傅立叶逆变换得到时域空间下的位置滤波模板与尺度滤波模板，求出其相应最大值即为目标区域；最后通过新一帧来更新位置滤波模型、尺度滤波模型、自适应外观模型和时空上下文信息；返回至特征提取部分，循环操作的进行目标跟踪直至结束。本发明方法能提高跟踪准确率、能更好地适应跟踪过程中目标外观的变化以及尺度变化，减少跟踪过程中环境的变化而引入噪声。
Description
技术领域
本发明涉及机器视觉目标跟踪领域，尤其是一种基于时空上下文融合多特征及尺度滤波的改进跟踪算法。
背景技术
目标跟踪是计算机视觉的一个重要研究方向，在视频监控、人机交互、运动分析、和活动识别等方面有广泛的应用。现在目标跟踪面临的主要挑战有：外观变化、光照变化、姿态变化和遮挡。目前常见目标跟踪算法主要分为两种:生成方法不断去搜索和目标最相似的区域，这类方法或者基于模板匹配或是基于子空间模型。判别方法旨在将目标从背景中区分出来，就是将跟踪问题变为二分类问题。生成方法只使用了目标的信息，而判别方法既使用目标信息也使用背景的信息，找到一个将目标区分出来的分类界限。这种方法在很多基于检测跟踪框架的算法中使用，即使用目标和目标附近的环境训练出一个在线的分类器。近几年相关滤波跟踪算法在目标跟踪领域崭露头角，该算法就是基于判别式跟踪框架。
而在特征提取方面，近年来，主流的跟踪算法都使用hog(梯度直方图)特征——确切地说，fhog特征，原始hog特征有128维，fhog是PCA(主成分分析)方法降维得到的，只有31维，效果得到了各种算法和应用的检验。尽管现在在视觉跟踪方面已经取得了很大的进展，但是对于颜色信息的使用还是仅限于简单的颜色空间转换。和视觉跟踪不同的是，在目标检测方面，复杂的，巧妙设计的颜色特征显示了非常好的效果，而利用颜色信息做视觉跟踪是一件很难的事情。现在最好的视觉跟踪器只使用了图片的光照信息或使用简单的颜色表示(RGB这样的三通道)图片。2014年Martin Danelljan等人，提出了CN算法(AdaptiveColor Attributes for Real-Time Visual Tracking)，一种颜色自适应跟踪方法，这篇文章调查了在检测跟踪框架中颜色属性的贡献，结果显示了颜色属性对于视觉跟踪问题具有非常好的表现。进而提出了一个改进自适应低维颜色属性。同年Martin Danelljan团队还提出了DSST算法(Accurate Scale Estimation for Robust Visual Tracking)，一种精确尺度估计的鲁棒跟踪算法，该算法最大的优点是精确快速的尺度框架可以应用到其他任何框架当中。Kaihua Zhang团队，同样于2014年提出STC算法(Fast Tracking via Spatio-Temporal)，一种基于时空上下文的跟踪算法该算法最大的优点是代码实现简单、快速能够有效的解决部分遮挡问题。
以上算法都是基于相关滤波框架基础上进行的改进，虽然改进的算法比较与原来的算法有很大的进步，但是仍具有很多缺陷。DSST算法虽然加入的尺度估计，但是在跟踪时只采用了hog特征，对外观变化敏感度差；而CN算法引入了降维自适应颜色特征，敏感度增加了但是准确率就下降了；STC算法利用时空上下文能够有效的解决部分遮挡问题，但是跟踪是仅采用灰度特征对背景变化明显场景跟踪效果较差。
发明内容
本发明目的在于解决当前跟踪中普遍的尺度、形变、遮挡等问题，提出一种基于时空上下文融合多特征及尺度滤波的跟踪算法。
为实现上述目的，采用了以下技术方案：本发明所述跟踪方法的步骤如下：
步骤1，获取视频或图片序列，得到第一帧图像x，选取第一帧图像目标区域，将其作为模板图像，获取目标位置和目标尺寸信息；
步骤2，参数初始化，将参数初始化分为两步，第一步为采用给定初始帧目标区域方法，初始化公共参数目标位置p、目标尺寸s以及目标周围区域padding(一般取1)；第二步是采用三模型经验赋值法，初始化非公共参数，通过实验寻找三模型在跟踪时效果最佳时的参数，依次对相关核尺度模型、多特征外观模型以及位置模型三模型进行赋值；
步骤3，多特征提取，包括尺度特征hog特征提取、融合的hog特征与CN特征的提取以及时空上下文信息的获取；
步骤4，双步预处理，位置模型与尺度模型通过余弦窗操作，降低傅里叶变换带来的边缘效应，获得训练位置模型以及尺度模型的训练样本；
步骤5，双傅里叶变换，将滤波器与特征目标区域的卷积操作引入到频域转换为元素级点乘操作，降低计算复杂度，得到当前帧在频域空间的尺寸滤波模板以及位置滤波模板；
步骤6，双傅立叶逆变换，将频域空间的尺寸滤波模板以及位置滤波模板再转换到时域空间，计算出候选区的尺度模板以及位置模板的响应值，并求解出最大响应位置，即下一帧目标中心位置；
步骤7，通过下一帧的目标位置信息，采用同步四更新策略，依次更新自适应外观模型、尺度模型、位置模型以及时空上下文信息；返回至步骤3特征提取，循环迭代直至跟踪结束。
进一步的，步骤3中，所述多特征提取，具体方法如下：
步骤3-1，三模型特征提取，采用独立三模型特征提取法，依次对尺度滤波器的hog特征提取；位置模型的hog与CN融合的特征提取；外观模型的，hog与CN(color name)融合的特征提取；CN特征是人为将RGB颜色映射到11维，并通过PCA主成分分析方法降至2维；
步骤3-2，时空上下文信息获取，在多特征提取的基础上获取目标时空上下文，即到目标中心距离权重分布，离中心越近值越接近于1越远则接近于0。
进一步的，在步骤4中，通过乘上包含空间上下文权重信息且符合高斯分布的余弦窗来获取包含目标区域的空间上下文信息的位置模型的训练样本，通过乘上余弦窗口的来获取尺度模型的训练样本。
进一步的，在步骤5中，得到在频域空间的尺度滤波模板以及位置滤波模板方法如下：
步骤5-1，频域空间的尺度滤波模板，公式如下：
Hl为频域空间的尺度滤波模板，为频域下的高斯滤波器，Fl为频域下的目标特征区域，λ正则化参数；
步骤5-2，频域空间的位置滤波模板，公式如下：
ωσ为符合高斯分布的权重函数，a归一化常数，σ尺度参数；H(x)为位置滤波模板，x上一帧目标中心位置，x*为当前帧目标中心，F为傅里叶变换。
进一步的，在步骤6中，通过傅立叶逆变换将频域空间再转换到时域空间，计算的出候选区尺度模板及位置模板的响应值，并求解出最大相应位置，方法如下：
步骤6-1，时域空间的尺度滤波模板，公式如下：
y为输出的尺度滤波模板响应值，A表示频域尺度滤波模板分子GF部分,B表示频域尺度滤波模板分母FF部分，Z为候选特征目标区域；
步骤6-2，时域空间的位置滤波模板，公式如下：
h(x)位置滤波模板响应，I(x)为目标特征区域，F-1逆傅立叶变换；
步骤6-3，求取两个模板的最大响应值，即为下一帧目标中心。
进一步的，在步骤7中，所述同步四更新的具体方法如下：
步骤7-1，通过试验选定跟踪效果确定外观模型学习速率ρ，尺度模型学习速率η，位置模型的学习速率γ和更新策略；
步骤7-2，以新的目标位置，依次更新自适应外观模型、尺度模型、位置模型、时空上下文信息：
自适应外观模型：
式中，为t+1帧自适应外观模型，为t帧时CN特征外观模型，为t帧时hog特征的外观模型，ρ为学习速率；
尺度模型：
为t+1帧的时分子，η尺度模型学习速率；
Bt+1为t+1帧的时分母，通过将尺度模型进行拆成分子为A，分母为B的形式，将分子、分母同时更新来进行鲁棒性的近似，从而减少在线训练的代价；
位置模型：
Ht+1＝(1-γ)Ht+γht
步骤7-3，更新完成后，返回至步骤3多特征提取，继续执行操作循环迭代直至跟踪结束。
与现有技术相比，本发明方法具有如下优点：
1、采用互补的融合特征与给定更新策略，实现融合特征外观的自适应，减少了跟踪当中目标因外观变化，引起的漂移，获得更鲁棒的跟踪效果。
2、在提取融合特征的基础上引入先进的尺度相关滤波模型，解决跟踪当中的尺度问题，能够获得当前帧目标得更加准确的信息，降低噪声的引入，从而增加算法的准确率。
3、在提取融合特征外观自适应增加尺度滤波模型的基础又引入了时空上下文信息，较好的解决了目标在跟踪过程中的部分遮挡问题。
4、算法代码以STC算法为框架，实现简单，且跟踪时能够达到实时跟踪的效果。
附图说明
图1为本发明方法的总体流程示意图。
图2为本发明方法的多特征提取流程示意图。
图3为本发明方法的三模型一信息的更新流程示意图。
图4为DSST、STC、CN以及本算法结果示意图。
图5为DSST、STC、CN以及本算法结果示意图。
下面结合附图对本发明做进一步说明：
具体实施方式
下面结合附图对本发明做进一步说明：
如图1所示，本发明所述方法包括以下步骤：
步骤1，获取视频或图片序列，得到第一帧图像中目标位置信息和尺度信息，将其作为模板图像，为后续目标跟踪做准备。
步骤2，参数初始化，包括公共参数目标中心位置、目标尺寸以及目标周围区域和非公共参数尺度模型、自适应外观模型、以及位置模型三部分独立的经验给定，无论是公共参数还是非公共参数其值的赋予都是经验值，为了使跟踪算法具有更好地泛化能力，但是可根据实际需求进行改动，以达到更好的跟踪效果；
步骤3，多特征提取，所述流程如图2所示：
步骤3-1，采用独立三模型特征提取法，提取三模型的特征；首先获取的是尺度滤波器的hog特征，hog(方向梯度直方图)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子；其次获取hog与CN(CN特征是人为将RGB颜色映射到11维，并通过PCA(主成分分析)方法降至2维)融合的位置模型的特征；最后最后获取外观模型的hog与CN(color name)融合特征；
步骤3-2，在三模型特征提取的基础上获取目标时空上下文(即到目标中心距离权重分布，离中心越近值越接近于1越远则接近于0)符合高斯分布，更好地确定目标位置，更好解决部分遮挡问题。
步骤4，双步预处理，位置模型与尺度模型通过余弦窗操作，降低傅里叶变换带来的边缘效应，获得训练位置模型以及尺度模型的训练样本；
步骤5，双傅里叶变换，将滤波器与特征目标区域的卷积操作引入到频域转换为元素级点乘操作，降低计算复杂度，得到当前帧在频域空间的尺寸滤波模板以及位置滤波模板；
步骤5-1，频域空间的尺度滤波模板，公式如下：
Hl为频域空间的尺度滤波模板，为频域下的高斯滤波器，Fl为频域下的目标特征区域，λ正则化参数；
步骤5-2,频域空间的位置滤波模板，公式如下：
ωσ为符合高斯分布的权重函数，a归一化常数，σ尺度参数；H(x)为位置滤波模板，x上一帧目标中心位置，x*为当前帧目标中心，F为傅里叶变换；
步骤6，通过傅立叶逆变换将频域空间再转换到时域空间，计算的出候选区的尺度模板以及位置模板的响应值，并求解出最大响应位置，即下一帧目标中心位置；
步骤6-1，时域空间的尺度滤波模板，公式如下：
y为输出的尺度滤波模板响应值，A表示频域尺度滤波模板分子GF部分,B表示频域尺度滤波模板分母FF部分，Z为候选特征目标区域；
步骤6-2，时域空间的位置滤波模板，公式如下：
h(x)位置滤波模板响应，I(x)为目标特征区域，F-1逆傅立叶变换；
步骤6-3，求取两个模板的最大响应值，即为下一帧目标中心。
步骤7，通过下一帧的目标位置信息，采用同步四更新策略，更新自适应外观模型、尺度模型、位置模型以及时空上下文信息；返回至步骤3特种提取，循环迭代直至跟踪结束。
步骤7中，所述同步四更新，具体流程如图3所示：
步骤7-1，通过试验选定跟踪效果确定外观模型学习速率ρ，尺度模型学习速率η，位置模型的学习速率γ和更新策略；
步骤7-2，以新的目标位置，依次更新自适应外观模型、尺度模型、位置模型、时空上下文信息：
自适应外观模型：
为t+1帧自适应外观模型，为t帧时CN特征外观模型，为t帧时hog特征的外观模型，ρ为学习速率；
尺度模型：
为t+1帧的时分子，η尺度模型学习速率；
Bt+1为t+1帧的时分母，通过将尺度模型进行拆成分子为A，分母为B的形式，将分子、分母同时更新来进行鲁棒性的近似，从而减少在线训练的代价；
位置模型：
Ht+1＝(1-γ)Ht+γht (9)
步骤7-3，更新完成后，返回至步骤3多特征提取，继续执行操作循环迭代直至跟踪结束。
下面为本发明与其他几种当前流行算法的比较的实验结果：
图4所示，从左至右为DSST、STC、CN以及本算法在跑David3图片序列相同帧时的结果图，说明在准确率上本算法高于单纯用hog特征的DSST算法，说明在尺度相应上明显优于STC算法，在准确率上也同样明显优于颜色属性的CN算法；图5所示，从左至右为DSST、STC、CN以及本算法在跑CarScale图片序列相同帧时的结果图，说明不论在尺度还是准确率上本算法都明显优于其他几种当前流行算法；通过结果的证明了本发明的实际意义以及其创新价值。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (6)
1.一种基于时空上下文融合多特征及尺度滤波的跟踪算法，其特征在于，所述方法包括以下步骤：
步骤1，获取视频或图片序列，得到第一帧图像x，选取第一帧图像目标区域，将其作为模板图像，获取目标位置和目标尺寸信息；
步骤2，参数初始化，将参数初始化分为两步，第一步为采用给定初始帧目标区域方法，初始化公共参数目标位置p、目标尺寸s以及目标周围区域padding(一般取1)；第二步是采用三模型经验赋值法，初始化非公共参数，通过实验寻找三模型在跟踪时效果最佳时的参数，依次对相关核尺度模型、多特征外观模型以及位置模型三模型进行赋值；
步骤3，多特征提取，包括尺度特征hog特征提取、融合的hog特征与CN特征的提取以及时空上下文信息的获取；
步骤4，双步预处理，位置模型与尺度模型通过余弦窗操作，降低傅里叶变换带来的边缘效应，获得训练位置模型以及尺度模型的训练样本；
步骤5，双傅里叶变换，将滤波器与特征目标区域的卷积操作引入到频域转换为元素级点乘操作，降低计算复杂度，得到当前帧在频域空间的尺寸滤波模板以及位置滤波模板；
步骤6，双傅立叶逆变换，将频域空间的尺寸滤波模板以及位置滤波模板再转换到时域空间，计算出候选区的尺度模板以及位置模板的响应值，并求解出最大响应位置，即下一帧目标中心位置；
步骤7，通过下一帧的目标位置信息，采用同步四更新策略，依次更新自适应外观模型、尺度模型、位置模型以及时空上下文信息；返回至步骤3特征提取，循环迭代直至跟踪结束。
2.根据权利要求1所述的一种基于时空上下文融合多特征及尺度滤波的跟踪算法，其特征在于，步骤3中，所述多特征提取，具体方法如下：
步骤3-1，三模型特征提取，采用独立三模型特征提取法，依次对尺度滤波器的hog特征提取；位置模型的hog与CN融合的特征提取；外观模型的，hog与CN(color name)融合的特征提取；CN特征是人为将RGB颜色映射到11维，并通过PCA主成分分析方法降至2维；
步骤3-2，时空上下文信息获取，在多特征提取的基础上获取目标时空上下文，即到目标中心距离权重分布，离中心越近值越接近于1越远则接近于0。
3.根据权利要求1所述的一种基于时空上下文融合多特征及尺度滤波的跟踪算法，其特征在于：在步骤4中，通过乘上包含空间上下文权重信息且符合高斯分布的余弦窗来获取包含目标区域的空间上下文信息的位置模型的训练样本，通过乘上余弦窗口的来获取尺度模型的训练样本。
4.根据权利要求1所述的一种基于时空上下文融合多特征及尺度滤波的跟踪算法，其特征在于，在步骤5中，得到在频域空间的尺度滤波模板以及位置滤波模板方法如下：
步骤5-1，频域空间的尺度滤波模板，公式如下：
<mrow>
<msup>
<mi>H</mi>
<mi>l</mi>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mover>
<mi>G</mi>
<mo>&OverBar;</mo>
</mover>
<msup>
<mi>F</mi>
<mi>l</mi>
</msup>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>d</mi>
</munderover>
<mover>
<msup>
<mi>F</mi>
<mi>k</mi>
</msup>
<mo>&OverBar;</mo>
</mover>
<msup>
<mi>F</mi>
<mi>k</mi>
</msup>
<mo>+</mo>
<mi>&lambda;</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
Hl为频域空间的尺度滤波模板，为频域下的高斯滤波器，Fl为频域下的目标特征区域，λ正则化参数；
步骤5-2，频域空间的位置滤波模板，公式如下：
<mrow>
<msub>
<mi>&omega;</mi>
<mi>&sigma;</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>ae</mi>
<mfrac>
<mrow>
<mo>-</mo>
<mo>|</mo>
<mi>x</mi>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>be</mi>
<mrow>
<mo>-</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mi>x</mi>
<mo>-</mo>
<msup>
<mi>x</mi>
<mo>*</mo>
</msup>
</mrow>
<mi>&alpha;</mi>
</mfrac>
<msup>
<mo>|</mo>
<mi>&beta;</mi>
</msup>
</mrow>
</msup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<msub>
<mi>&omega;</mi>
<mi>&sigma;</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>-</mo>
<msup>
<mi>x</mi>
<mo>*</mo>
</msup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
ωσ为符合高斯分布的权重函数，a归一化常数，σ尺度参数；H(x)为位置滤波模板，x上一帧目标中心位置，x*为当前帧目标中心，F为傅里叶变换。
5.根据权利要求1所述的一种基于时空上下文融合多特征及尺度滤波的跟踪算法，其特征在于，在步骤6中，通过傅立叶逆变换将频域空间再转换到时域空间，计算的出候选区尺度模板及位置模板的响应值，并求解出最大相应位置，方法如下：
步骤6-1，时域空间的尺度滤波模板，公式如下：
<mrow>
<mi>y</mi>
<mo>=</mo>
<msup>
<mi>F</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>{</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>l</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>d</mi>
</munderover>
<mover>
<msup>
<mi>A</mi>
<mi>l</mi>
</msup>
<mo>&OverBar;</mo>
</mover>
<msup>
<mi>Z</mi>
<mi>l</mi>
</msup>
</mrow>
<mrow>
<mi>B</mi>
<mo>+</mo>
<mi>&lambda;</mi>
</mrow>
</mfrac>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
y为输出的尺度滤波模板响应值，A表示频域尺度滤波模板分子GF部分,B表示频域尺度滤波模板分母FF部分，Z为候选特征目标区域；
步骤6-2，时域空间的位置滤波模板，公式如下：
<mrow>
<mi>h</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>F</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>(</mo>
<mfrac>
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mrow>
<msup>
<mi>be</mi>
<mrow>
<mo>-</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mi>x</mi>
<mo>-</mo>
<msup>
<mi>x</mi>
<mo>*</mo>
</msup>
</mrow>
<mi>&alpha;</mi>
</mfrac>
<msup>
<mo>|</mo>
<mi>&beta;</mi>
</msup>
</mrow>
</msup>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<msub>
<mi>&omega;</mi>
<mi>&sigma;</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>-</mo>
<msup>
<mi>x</mi>
<mo>*</mo>
</msup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
h(x)位置滤波模板响应，I(x)为目标特征区域，F-1逆傅立叶变换；
步骤6-3，求取两个模板的最大响应值，即为下一帧目标中心。
6.根据权利要求1所述的一种基于时空上下文融合多特征及尺度滤波的跟踪算法，其特征在于，在步骤7中，所述同步四更新的具体方法如下：
步骤7-1，通过试验选定跟踪效果确定外观模型学习速率ρ，尺度模型学习速率η，位置模型的学习速率γ和更新策略；
步骤7-2，以新的目标位置，依次更新自适应外观模型、尺度模型、位置模型、时空上下文信息：
自适应外观模型：
<mrow>
<msubsup>
<mi>H</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msubsup>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&rho;</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>H</mi>
<mi>t</mi>
<mrow>
<mi>c</mi>
<mi>n</mi>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&rho;h</mi>
<mi>t</mi>
<mrow>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msubsup>
</mrow>
式中，为t+1帧自适应外观模型，为t帧时CN特征外观模型，为t帧时hog特征的外观模型，ρ为学习速率；
尺度模型：
<mrow>
<msubsup>
<mi>A</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&eta;</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>A</mi>
<mi>t</mi>
<mi>l</mi>
</msubsup>
<mo>+</mo>
<mi>&eta;</mi>
<mover>
<msub>
<mi>G</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<msubsup>
<mi>F</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</msubsup>
</mrow>
为t+1帧的时分子，η尺度模型学习速率；
<mrow>
<msub>
<mi>B</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&eta;</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>B</mi>
<mi>t</mi>
</msub>
<mo>+</mo>
<mi>&eta;</mi>
<mover>
<msubsup>
<mi>F</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<mo>&OverBar;</mo>
</mover>
<msubsup>
<mi>F</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
</mrow>
Bt+1为t+1帧的时分母，通过将尺度模型进行拆成分子为A，分母为B的形式，将分子、分母同时更新来进行鲁棒性的近似，从而减少在线训练的代价；
位置模型：
Ht+1＝(1-γ)Ht+γht
步骤7-3，更新完成后，返回至步骤3多特征提取，继续执行操作循环迭代直至跟踪结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710789489.9A CN107680119A (zh) | 2017-09-05 | 2017-09-05 | 一种基于时空上下文融合多特征及尺度滤波的跟踪算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710789489.9A CN107680119A (zh) | 2017-09-05 | 2017-09-05 | 一种基于时空上下文融合多特征及尺度滤波的跟踪算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107680119A true CN107680119A (zh) | 2018-02-09 |
Family
ID=61134736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710789489.9A Pending CN107680119A (zh) | 2017-09-05 | 2017-09-05 | 一种基于时空上下文融合多特征及尺度滤波的跟踪算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107680119A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549839A (zh) * | 2018-03-13 | 2018-09-18 | 华侨大学 | 自适应特征融合的多尺度相关滤波视觉跟踪方法 |
| CN108573499A (zh) * | 2018-03-16 | 2018-09-25 | 东华大学 | 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法 |
| CN108647694A (zh) * | 2018-04-24 | 2018-10-12 | 武汉大学 | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 |
| CN108664918A (zh) * | 2018-05-09 | 2018-10-16 | 吉林大学 | 基于背景感知相关滤波器的智能车辆前方行人跟踪方法 |
| CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
| CN108830219A (zh) * | 2018-06-15 | 2018-11-16 | 北京小米移动软件有限公司 | 基于人机交互的目标跟踪方法、装置及存储介质 |
| CN109034193A (zh) * | 2018-06-20 | 2018-12-18 | 上海理工大学 | 多特征融合与尺度自适应核相关滤波跟踪方法 |
| CN109343701A (zh) * | 2018-09-03 | 2019-02-15 | 电子科技大学 | 一种基于动态手势识别的智能人机交互方法 |
| CN109389624A (zh) * | 2018-10-22 | 2019-02-26 | 中国科学院福建物质结构研究所 | 基于相似度度量的模型漂移抑制方法及其装置 |
| CN109492530A (zh) * | 2018-10-10 | 2019-03-19 | 重庆大学 | 基于深度多尺度时空特征的健壮性视觉物体跟踪算法 |
| CN109584271A (zh) * | 2018-11-15 | 2019-04-05 | 西北工业大学 | 基于高置信度更新策略的高速相关滤波跟踪方法 |
| CN109711277A (zh) * | 2018-12-07 | 2019-05-03 | 中国科学院自动化研究所 | 基于时空频域混合学习的行为特征提取方法、系统、装置 |
| CN109816689A (zh) * | 2018-12-18 | 2019-05-28 | 昆明理工大学 | 一种多层卷积特征自适应融合的运动目标跟踪方法 |
| CN109887001A (zh) * | 2019-01-31 | 2019-06-14 | 中国科学院深圳先进技术研究院 | 目标跟踪方法、装置、计算机设备及存储介质 |
| CN110163090A (zh) * | 2019-04-11 | 2019-08-23 | 江苏大学 | 一种基于多特征和尺度估计的pcb板标识跟踪方法 |
| CN110348492A (zh) * | 2019-06-24 | 2019-10-18 | 昆明理工大学 | 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法 |
| CN110378932A (zh) * | 2019-07-10 | 2019-10-25 | 上海交通大学 | 一种基于空间正则矫正的相关滤波视觉跟踪算法 |
| CN110660079A (zh) * | 2019-09-11 | 2020-01-07 | 昆明理工大学 | 一种基于时空上下文的单目标跟踪方法 |
| CN110738685A (zh) * | 2019-09-09 | 2020-01-31 | 桂林理工大学 | 一种融合颜色直方图响应的时空上下文跟踪方法 |
| CN110852335A (zh) * | 2019-11-19 | 2020-02-28 | 燕山大学 | 一种基于多颜色特征融合与深度网络的目标跟踪系统 |
| CN111080675A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
| CN111340838A (zh) * | 2020-02-24 | 2020-06-26 | 长沙理工大学 | 一种基于多种特征融合的背景时空相关滤波跟踪方法 |
| CN112378397A (zh) * | 2020-11-02 | 2021-02-19 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
| CN113610891A (zh) * | 2021-07-14 | 2021-11-05 | 桂林电子科技大学 | 目标跟踪方法、装置、存储介质和计算机设备 |
| CN117576380A (zh) * | 2024-01-16 | 2024-02-20 | 成都流体动力创新中心 | 一种目标自主检测跟踪方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060204107A1 (en) * | 2005-03-04 | 2006-09-14 | Lockheed Martin Corporation | Object recognition system using dynamic length genetic training |
| CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
| US8670592B2 (en) * | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
| CN103679200A (zh) * | 2013-12-14 | 2014-03-26 | 复旦大学 | 一种用于图像匹配、识别、检索的频域形状描述方法 |
| CN104574445A (zh) * | 2015-01-23 | 2015-04-29 | 北京航空航天大学 | 一种目标跟踪方法及装置 |
| CN104881655A (zh) * | 2015-06-03 | 2015-09-02 | 东南大学 | 一种基于多特征时空关系融合的人类行为识别方法 |
| CN105117720A (zh) * | 2015-09-29 | 2015-12-02 | 江南大学 | 基于时空模型的目标尺度自适应跟踪方法 |
| CN106127776A (zh) * | 2016-06-28 | 2016-11-16 | 北京工业大学 | 基于多特征时空上下文机器人目标识别与运动决策方法 |
| CN106815859A (zh) * | 2017-01-13 | 2017-06-09 | 大连理工大学 | 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法 |
| CN107093189A (zh) * | 2017-04-18 | 2017-08-25 | 山东大学 | 基于自适应颜色特征和时空上下文的目标跟踪方法及系统 |
-
2017
- 2017-09-05 CN CN201710789489.9A patent/CN107680119A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060204107A1 (en) * | 2005-03-04 | 2006-09-14 | Lockheed Martin Corporation | Object recognition system using dynamic length genetic training |
| US8670592B2 (en) * | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
| CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
| CN103679200A (zh) * | 2013-12-14 | 2014-03-26 | 复旦大学 | 一种用于图像匹配、识别、检索的频域形状描述方法 |
| CN104574445A (zh) * | 2015-01-23 | 2015-04-29 | 北京航空航天大学 | 一种目标跟踪方法及装置 |
| CN104881655A (zh) * | 2015-06-03 | 2015-09-02 | 东南大学 | 一种基于多特征时空关系融合的人类行为识别方法 |
| CN105117720A (zh) * | 2015-09-29 | 2015-12-02 | 江南大学 | 基于时空模型的目标尺度自适应跟踪方法 |
| CN106127776A (zh) * | 2016-06-28 | 2016-11-16 | 北京工业大学 | 基于多特征时空上下文机器人目标识别与运动决策方法 |
| CN106815859A (zh) * | 2017-01-13 | 2017-06-09 | 大连理工大学 | 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法 |
| CN107093189A (zh) * | 2017-04-18 | 2017-08-25 | 山东大学 | 基于自适应颜色特征和时空上下文的目标跟踪方法及系统 |
Non-Patent Citations (6)
| Title |
|---|
| NAIYAN WANG ET AL.: ""Understanding and Diagnosing Visual Tracking Systems"", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| ZHIHUI ZHENG ET AL.: ""A fast visual tracking method via spatio-temporal context learning for unmanned rotorcrafts fixed-pointed landing"", 《2016 IEEE CHINESE GUIDANCE, NAVIGATION AND CONTROL CONFERENCE》 * |
| 李凯: ""基于多特征融合的变尺度目标跟踪方法"", 《西安邮电大学学报》 * |
| 沈秋 等: ""基于自适应特征选择的多尺度相关滤波跟踪"", 《光学学报》 * |
| 王春平 等: ""基于色度饱和度－角度梯度直方图特征的尺度自适应核相关滤波跟踪"", 《光学精密工程》 * |
| 陈晓书 等: ""融合颜色与时空上下文信息的实时目标跟踪算法"", 《小型微型计算机系统》 * |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549839B (zh) * | 2018-03-13 | 2021-09-28 | 华侨大学 | 自适应特征融合的多尺度相关滤波视觉跟踪方法 |
| CN108549839A (zh) * | 2018-03-13 | 2018-09-18 | 华侨大学 | 自适应特征融合的多尺度相关滤波视觉跟踪方法 |
| CN108573499B (zh) * | 2018-03-16 | 2021-04-02 | 东华大学 | 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法 |
| CN108573499A (zh) * | 2018-03-16 | 2018-09-25 | 东华大学 | 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法 |
| CN108647694A (zh) * | 2018-04-24 | 2018-10-12 | 武汉大学 | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 |
| CN108647694B (zh) * | 2018-04-24 | 2021-04-16 | 武汉大学 | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 |
| CN108664918A (zh) * | 2018-05-09 | 2018-10-16 | 吉林大学 | 基于背景感知相关滤波器的智能车辆前方行人跟踪方法 |
| CN108664918B (zh) * | 2018-05-09 | 2021-05-25 | 吉林大学 | 基于背景感知相关滤波器的智能车辆前方行人跟踪方法 |
| CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
| CN108830219A (zh) * | 2018-06-15 | 2018-11-16 | 北京小米移动软件有限公司 | 基于人机交互的目标跟踪方法、装置及存储介质 |
| CN109034193A (zh) * | 2018-06-20 | 2018-12-18 | 上海理工大学 | 多特征融合与尺度自适应核相关滤波跟踪方法 |
| CN109343701A (zh) * | 2018-09-03 | 2019-02-15 | 电子科技大学 | 一种基于动态手势识别的智能人机交互方法 |
| CN109492530A (zh) * | 2018-10-10 | 2019-03-19 | 重庆大学 | 基于深度多尺度时空特征的健壮性视觉物体跟踪算法 |
| CN109492530B (zh) * | 2018-10-10 | 2022-03-04 | 重庆大学 | 基于深度多尺度时空特征的健壮性视觉物体跟踪方法 |
| CN109389624B (zh) * | 2018-10-22 | 2022-04-19 | 中国科学院福建物质结构研究所 | 基于相似度度量的模型漂移抑制方法及其装置 |
| CN109389624A (zh) * | 2018-10-22 | 2019-02-26 | 中国科学院福建物质结构研究所 | 基于相似度度量的模型漂移抑制方法及其装置 |
| CN109584271A (zh) * | 2018-11-15 | 2019-04-05 | 西北工业大学 | 基于高置信度更新策略的高速相关滤波跟踪方法 |
| CN109584271B (zh) * | 2018-11-15 | 2021-10-08 | 西北工业大学 | 基于高置信度更新策略的高速相关滤波跟踪方法 |
| CN109711277A (zh) * | 2018-12-07 | 2019-05-03 | 中国科学院自动化研究所 | 基于时空频域混合学习的行为特征提取方法、系统、装置 |
| CN109711277B (zh) * | 2018-12-07 | 2020-10-27 | 中国科学院自动化研究所 | 基于时空频域混合学习的行为特征提取方法、系统、装置 |
| CN109816689A (zh) * | 2018-12-18 | 2019-05-28 | 昆明理工大学 | 一种多层卷积特征自适应融合的运动目标跟踪方法 |
| CN109887001A (zh) * | 2019-01-31 | 2019-06-14 | 中国科学院深圳先进技术研究院 | 目标跟踪方法、装置、计算机设备及存储介质 |
| CN110163090A (zh) * | 2019-04-11 | 2019-08-23 | 江苏大学 | 一种基于多特征和尺度估计的pcb板标识跟踪方法 |
| CN110348492A (zh) * | 2019-06-24 | 2019-10-18 | 昆明理工大学 | 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法 |
| CN110378932A (zh) * | 2019-07-10 | 2019-10-25 | 上海交通大学 | 一种基于空间正则矫正的相关滤波视觉跟踪算法 |
| CN110378932B (zh) * | 2019-07-10 | 2023-05-12 | 上海交通大学 | 一种基于空间正则矫正的相关滤波视觉跟踪方法 |
| CN110738685A (zh) * | 2019-09-09 | 2020-01-31 | 桂林理工大学 | 一种融合颜色直方图响应的时空上下文跟踪方法 |
| CN110660079A (zh) * | 2019-09-11 | 2020-01-07 | 昆明理工大学 | 一种基于时空上下文的单目标跟踪方法 |
| CN110852335A (zh) * | 2019-11-19 | 2020-02-28 | 燕山大学 | 一种基于多颜色特征融合与深度网络的目标跟踪系统 |
| CN110852335B (zh) * | 2019-11-19 | 2023-06-20 | 燕山大学 | 一种基于多颜色特征融合与深度网络的目标跟踪系统 |
| CN111080675A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
| CN111340838A (zh) * | 2020-02-24 | 2020-06-26 | 长沙理工大学 | 一种基于多种特征融合的背景时空相关滤波跟踪方法 |
| CN112378397A (zh) * | 2020-11-02 | 2021-02-19 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
| CN112378397B (zh) * | 2020-11-02 | 2023-10-10 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
| CN113610891A (zh) * | 2021-07-14 | 2021-11-05 | 桂林电子科技大学 | 目标跟踪方法、装置、存储介质和计算机设备 |
| CN113610891B (zh) * | 2021-07-14 | 2023-05-23 | 桂林电子科技大学 | 目标跟踪方法、装置、存储介质和计算机设备 |
| CN117576380A (zh) * | 2024-01-16 | 2024-02-20 | 成都流体动力创新中心 | 一种目标自主检测跟踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680119A (zh) | 一种基于时空上下文融合多特征及尺度滤波的跟踪算法 | |
| CN103810490B (zh) | 一种确定人脸图像的属性的方法和设备 | |
| CN105741316B (zh) | 基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法 | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| CN109961034A (zh) | 基于卷积门控循环神经单元的视频目标检测方法 | |
| CN108399380A (zh) | 一种基于三维卷积和Faster RCNN的视频动作检测方法 | |
| CN106570480B (zh) | 一种基于姿势识别的人体动作分类方法 | |
| CN104200203B (zh) | 一种基于动作字典学习的人体动作检测方法 | |
| CN112949408B (zh) | 一种过鱼通道目标鱼类实时识别方法和系统 | |
| CN109389045A (zh) | 基于混合时空卷积模型的微表情识别方法与装置 | |
| CN106529378B (zh) | 一种亚裔人脸的年龄特征模型生成方法及年龄估计方法 | |
| CN107798313A (zh) | 一种人体姿态识别方法、装置、终端和存储介质 | |
| CN106683110A (zh) | 用户终端及其目标跟踪方法及装置 | |
| CN110390673A (zh) | 一种监控场景下基于深度学习的香烟自动检测方法 | |
| CN109034012A (zh) | 基于动态图像和视频子序列的第一人称视角手势识别方法 | |
| Yang et al. | Visual tracking with long-short term based correlation filter | |
| CN106919884A (zh) | 面部表情识别方法及装置 | |
| CN104616005A (zh) | 一种领域自适应的人脸表情分析方法 | |
| CN107767358A (zh) | 一种图像中物体模糊度确定方法和装置 | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN114170570A (zh) | 一种适用于拥挤场景下的行人检测方法及系统 | |
| CN103593639A (zh) | 嘴唇检测和跟踪方法及设备 | |
| CN106375773B (zh) | 基于动态阈值的帧复制粘贴篡改检测方法 | |
| CN109389624A (zh) | 基于相似度度量的模型漂移抑制方法及其装置 | |
| CN112053384B (zh) | 基于边界框回归模型的目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180209 |