CN107492114A - 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法 - Google Patents

单目长时视觉跟踪方法的跟踪失败时的使用的重检方法 Download PDF

Info

Publication number
CN107492114A
CN107492114A CN201710439066.4A CN201710439066A CN107492114A CN 107492114 A CN107492114 A CN 107492114A CN 201710439066 A CN201710439066 A CN 201710439066A CN 107492114 A CN107492114 A CN 107492114A
Authority
CN
China
Prior art keywords
mrow
msub
frames
tracking
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710439066.4A
Other languages
English (en)
Inventor
徐云杰
余世平
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201710439066.4A priority Critical patent/CN107492114A/zh
Publication of CN107492114A publication Critical patent/CN107492114A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种单目长时视觉跟踪方法的跟踪失败时的使用的重检方法，本发明使用加权矩阵更新STC模型，利用STC模型对时空上下文建模的特性用作重检设备。完成在核相关滤波器响应无法满足检测要求时，使用STC模型进行重检，以完成遮挡情况下对位置的检测。本发明利用HSV空间辅助确定位置的做法，在保证运算速度的情况下改善了WSTC算法由于汉宁窗带来的边界效应，提升了WSTC算法的对快速运动物体的跟踪能力。

Description

单目长时视觉跟踪方法的跟踪失败时的使用的重检方法
技术领域
本发明涉及一种涉及跟踪重检方法，具体涉及一种单目长时视觉跟踪方法的跟踪失败时的使用的重检方法。
背景技术
视觉跟踪是一个重要的计算机视觉任务，由于部分遮挡、变形、运动模糊、快速运动、光照变化、背景杂乱、尺度变化等原因使得在实际应用中仍然面临许多挑战，因此仍然是计算机视觉中最活跃的研究领域之一。其中，判别式分类器是现代跟踪方法中的一个核心组成部分，在线学习一个二值分类器在每一帧中区分目标与背景。相关滤波器已成功应用到目标检测和识别中，近来作为一种判别式跟踪方法将相关滤波器应用到视觉跟踪领域，取得了很好的效果。
现有的相关滤波器长时跟踪算法中重检措施，大多使用KNN等无监督的聚类算法，选择信度最高跟踪结果，训练一个在线随机厥从(随机森林)等基于贝叶斯的模型对丢失的目标再检测，实现长时间跟踪。这类模型检测速度快，但是对训练速度慢且对特征的依赖程度高，最重要的是往往为了效果，需要使用较多的决策树，这就使得其内存占用较大。
发明内容
本发明针对现有技术中的重检算法的缺点，提出了一种长时跟踪算法中重检措施的方法，使用加权矩阵更新STC模型，利用STC模型对时空上下文建模的特性用作重检设备。完成在核相关滤波器响应无法满足检测要求时，使用STC模型进行重检，以完成遮挡情况下对位置的检测。
一种单目长时视觉跟踪方法的跟踪失败时的使用的重检方法，该方法具体包括以下步骤：
步骤一、当新的t帧来临，主跟踪器通过KCF算法及DSST算法尺度更新策略对图像进行处理，产生一个当前检测区域的相关运算的输出g(x,y),其中g(x,y)为二维变量，其中值最大的点即目标位置；
步骤二、利用峰值旁瓣比PSR重检测的方法去评判g(x,y)，其中gmax、μs1、σs1分别为相关响应g(x,y)的峰值、旁瓣均值和旁瓣标准差；
获得当前跟踪结果，利用下述公式：
其中，N为固定的常数；fpsr(xframe)为峰值旁瓣比PSR的分布函数；其中i为任意常数，xframe-i表示xframe前的第i帧图像；
若不满足如下：则认为当前的跟踪结果可靠；那么，我们将利用该帧来训练我们的混合模型，转跳步骤三；若满足上述条件，我们则认为当前的跟踪结果不可靠，那么我们需要用我们独立训练的混合模型进行重检，并将结果返回给主跟踪器，作为当前帧的最后结果，转跳步骤四；
步骤三、由于认为跟踪可靠，所以利用t帧来训练独立地混合重检模型；获取当前t帧的图像和t帧的目标所在的位置x*；以x*为中心坐标，提取初始化时,设定好尺度参数，建立STC算法中提到的上下文矩形框(Ωc(x*))t，(Ωc(x*))t表示在t帧中，围绕目标中心x*产生的局部上下文区域，获得上下文矩形框(Ωc(x*))t；按如下步骤训练独立模型：
1)训练加权矩阵建立一个M×N大小的64位浮点加权矩阵；在上下文矩形框(Ωc(x*))t中均匀获得M×N的点，应用于LK光流中基于前后向误差的错误跟踪点消除算法；根据前后向误差去除错误的点计算这些成功跟踪的点的位移，得到其中，该一维向量为M×N；成功跟踪的点，记录该点在t-1帧到t帧的位移；其余跟踪失败的值为0；计算t-1帧到t帧目标框中心点的位移遍历这M×N个点，按公式：计算，其中为与Ct中第i个向量的差；γ为一常数，这样可以获得一个M×N的加权矩阵将其与按常数η加权，最后获得t帧的0<η<1；
2)训练STC模型；获取目标所在的位置(Ωc(x*))t；根据STC算法及上一步中获得的通过兰索斯法插值缩放到与大小相同；获得搜索框xc在当前t帧的在x处的灰度信息I(x)，并对其加Hamming窗以减少图像边缘对FFT带来的影响；以paper中提出的公式：
swt与sht分别为第t帧时，主跟踪器获得的矩形框的宽和高；获得STC模型的下一帧更新；
3)获取目标的色调(HUE)特征和LBP特征，将这两个特征以常数η(0<η<1)加权；同时为了防止模型漂移，常数β(0<β<1)与上一帧的该模型加权，获得当前帧的混合直方图；
更新完上述模型后，跳过步骤四，转跳步骤一；
步骤四、由于认为当前帧跟踪不可靠，使用独立训练的模型对t帧进行重检；故根据步骤三提出的定义，提取t-1帧时的上下文矩形框(Ωc(x*))t-1；按如下步骤进行重检：
1)根据t-1帧的(Ωc(x*))t-1所在位置，并将其长宽各放大三倍获得新的搜索框(Ωc(x*))t-1′；获取之前的加权直方图计算其反向投影并在(Ωc(x*))t-1′中利用mean-shift算法，获得当前t帧大致的目标中心点xt*′，以该点为中心获得与上文提到的设定尺度大小相同的t帧的(Ωc(xt*′))t；
2)获得以LK稀疏光流训练的通过兰索斯插值缩放至与相同大小的矩阵，以及获得STC算法的上下文模型
3)根据搜索框(Ωc(xt*′))t获得当前t帧大小的在x处的灰度信息I(x)灰度能量信息，并对其加Hamming窗以减少图像边缘对FFT带来的影响；根据STC算法中提出的公式：
其中⊙为点乘；
获得当前的置信图Ct(x)，获得我们认为为目标所在位置；
4)为了兼容比较剧烈的变化，我们同时设定固定阈值T去评价
i.若低于阈值T我们可认为跟踪失败，返回失败信息，同时可以重新初始化；
否则，则将以为中心，t帧目标框的尺度更新策略为：为当前的t帧的目标尺度信息，并返回给主跟踪模块，作为最后的跟踪结果，转跳步骤一。
本发明的有益效果：
1.相比于WSTC算法，本方法利用HSV空间辅助确定位置的做法，在保证运算速度的情况下改善了WSTC算法由于汉宁窗带来的边界效应，提升了WSTC算法的对快速运动物体的跟踪能力.
2.相比于SVM或者随机森林(随机蕨从)等的重检措施，本方法训练改进的WSTC模型作为重检措施，更好的利用了目标周围的上下文信息同时内存占用更低、训练速度更快。加强了重检器的性能。
附图说明
图1是LK稀疏采样点提取示意图。
具体实施方式：
如图1所示，一种单目长时视觉跟踪方法的跟踪失败时的使用的重检方法，该方法具体包括以下步骤：
步骤一、当新的t帧来临，主跟踪器通过KCF算法及DSST算法尺度更新策略对图像进行处理，产生一个当前检测区域的相关运算的输出g(x,y),其中g(x,y)为二维变量，其中值最大的点即目标位置；
步骤二、利用峰值旁瓣比PSR重检测的方法去评判g(x,y)，其中gmax、μs1、σs1分别为相关响应g(x,y)的峰值、旁瓣均值和旁瓣标准差；
获得当前跟踪结果，利用下述公式：
其中，N为固定的常数；fpsr(xframe)为峰值旁瓣比PSR的分布函数；其中i为任意常数，xframe-i表示xframe前的第i帧图像；
若不满足如下：则认为当前的跟踪结果可靠；那么，我们将利用该帧来训练我们的混合模型，转跳步骤三；若满足上述条件，我们则认为当前的跟踪结果不可靠，那么我们需要用我们独立训练的混合模型进行重检，并将结果返回给主跟踪器，作为当前帧的最后结果，转跳步骤四；
步骤三、由于认为跟踪可靠，所以利用t帧来训练独立地混合重检模型；获取当前t帧的图像和t帧的目标所在的位置x*；以x*为中心坐标，提取初始化时,设定好尺度参数，建立STC算法中提到的上下文矩形框(Ωc(x*))t，(Ωc(x*))t表示在t帧中，围绕目标中心x*产生的局部上下文区域，获得上下文矩形框(Ωc(x*))t；按如下步骤训练独立模型：
4)训练加权矩阵建立一个M×N大小的64位浮点加权矩阵；在上下文矩形框(Ωc(x*))t中均匀获得M×N的点，应用于LK光流中基于前后向误差的错误跟踪点消除算法；根据前后向误差去除错误的点计算这些成功跟踪的点的位移，得到其中，该一维向量为M×N；成功跟踪的点，记录该点在t-1帧到t帧的位移；其余跟踪失败的值为0；计算t-1帧到t帧目标框中心点的位移遍历这M×N个点，按公式：计算，其中为与Ct中第i个向量的差；γ为一常数，这样可以获得一个M×N的加权矩阵将其与按常数η加权，最后获得t帧的0<η<1；
5)训练STC模型；获取目标所在的位置(Ωc(x*))t；根据STC算法及上一步中获得的通过兰索斯法插值缩放到与大小相同；获得搜索框xc在当前t帧的在x处的灰度信息I(x)，并对其加Hamming窗以减少图像边缘对FFT带来的影响；以paper中提出的公式：
swt与sht分别为第t帧时，主跟踪器获得的矩形框的宽和高；获得STC模型的下一帧更新；
6)获取目标的色调(HUE)特征和LBP特征，将这两个特征以常数η(0<η<1)加权；同时为了防止模型漂移，常数β(0<β<1)与上一帧的该模型加权，获得当前帧的混合直方图；
更新完上述模型后，跳过步骤四，转跳步骤一；
步骤四、由于认为当前帧跟踪不可靠，使用独立训练的模型对t帧进行重检；故根据步骤三提出的定义，提取t-1帧时的上下文矩形框(Ωc(x*))t-1；按如下步骤进行重检：
5)根据t-1帧的(Ωc(x*))t-1所在位置，并将其长宽各放大三倍获得新的搜索框(Ωc(x*))t-1′；获取之前的加权直方图计算其反向投影并在(Ωc(x*))t-1′中利用mean-shift算法，获得当前t帧大致的目标中心点xt*′，以该点为中心获得与上文提到的设定尺度大小相同的t帧的(Ωc(xt*′))t；
6)获得以LK稀疏光流训练的通过兰索斯插值缩放至与相同大小的矩阵，以及获得STC算法的上下文模型
7)根据搜索框(Ωc(xt*′))t获得当前t帧大小的在x处的灰度信息I(x)灰度能量信息，并对其加Hamming窗以减少图像边缘对FFT带来的影响；根据STC算法中提出的公式：
其中⊙为点乘；
获得当前的置信图Ct(x)，获得我们认为为目标所在位置；
8)为了兼容比较剧烈的变化，我们同时设定固定阈值T去评价
ii.若低于阈值T我们可认为跟踪失败，返回失败信息，同时可以重新初始化；
否则，则将以为中心，t帧目标框的尺度更新策略为：为当前的t帧的目标尺度信息，并返回给主跟踪模块，作为最后的跟踪结果，转跳步骤一。

Claims (1)

1.单目长时视觉跟踪方法的跟踪失败时的使用的重检方法，其特征在于，该方法具体包括以下步骤：
步骤一、当新的t帧来临，主跟踪器通过KCF算法及DSST算法尺度更新策略对图像进行处理，产生一个当前检测区域的相关运算的输出g(x,y),其中g(x,y)为二维变量，其中值最大的点即目标位置；
步骤二、利用峰值旁瓣比PSR重检测的方法去评判g(x,y)，其中gmax、μs1、σs1分别为相关响应g(x,y)的峰值、旁瓣均值和旁瓣标准差；
获得当前跟踪结果，利用下述公式：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>f</mi> <mrow> <mi>p</mi> <mi>s</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>r</mi> <mi>a</mi> <mi>m</mi> <mi>e</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>&lt;</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mi>&amp;Sigma;</mi> <mi>i</mi> <mi>N</mi> </munderover> <msub> <mi>f</mi> <mrow> <mi>p</mi> <mi>s</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>r</mi> <mi>a</mi> <mi>m</mi> <mi>e</mi> </mrow> </msub> <mo>-</mo> <mi>i</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mn>2</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>f</mi> <mrow> <mi>p</mi> <mi>s</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>r</mi> <mi>a</mi> <mi>m</mi> <mi>e</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>p</mi> <mi>s</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>r</mi> <mi>a</mi> <mi>m</mi> <mi>e</mi> </mrow> </msub> <mo>-</mo> <mn>2</mn> </mrow> <mo>)</mo> </mrow> <mo>&amp;ap;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>f</mi> <mrow> <mi>p</mi> <mi>s</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>r</mi> <mi>a</mi> <mi>m</mi> <mi>e</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>f</mi> <mrow> <mi>p</mi> <mi>s</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>r</mi> <mi>a</mi> <mi>m</mi> <mi>e</mi> </mrow> </msub> <mo>-</mo> <mn>2</mn> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mn>2</mn> <msub> <mi>f</mi> <mrow> <mi>p</mi> <mi>s</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>r</mi> <mi>a</mi> <mi>m</mi> <mi>e</mi> </mrow> </msub> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，N为固定的常数；fpsr(xframe)为峰值旁瓣比PSR的分布函数；其中i为任意常数，xframe-i表示xframe前的第i帧图像；
若不满足如下：则认为当前的跟踪结果可靠；那么，我们将利用该帧来训练我们的混合模型，转跳步骤三；若满足上述条件，我们则认为当前的跟踪结果不可靠，那么我们需要用我们独立训练的混合模型进行重检，并将结果返回给主跟踪器，作为当前帧的最后结果，转跳步骤四；
步骤三、由于认为跟踪可靠，所以利用t帧来训练独立地混合重检模型；获取当前t帧的图像和t帧的目标所在的位置x*；以x*为中心坐标，提取初始化时,设定好尺度参数，建立STC算法中提到的上下文矩形框(Ωc(x*))t，(Ωc(x*))t表示在t帧中，围绕目标中心x*产生的局部上下文区域，获得上下文矩形框(Ωc(x*))t；按如下步骤训练独立模型：
1)训练加权矩阵建立一个M×N大小的64位浮点加权矩阵；在上下文矩形框(Ωc(x*))t中均匀获得M×N的点，应用于LK光流中基于前后向误差的错误跟踪点消除算法；根据前后向误差去除错误的点计算这些成功跟踪的点的位移，得到其中，该一维向量为M×N；成功跟踪的点，记录该点在t-1帧到t帧的位移；其余跟踪失败的值为0；计算t-1帧到t帧目标框中心点的位移遍历这M×N个点，按公式：计算，其中为与Ct中第i个向量的差；γ为一常数，这样可以获得一个M×N的加权矩阵将其与按常数η加权，最后获得t帧的0<η<1；
2)训练STC模型；获取目标所在的位置(Ωc(x*))t；根据STC算法及上一步中获得的通过兰索斯法插值缩放到与大小相同；获得搜索框xc在当前t帧的在x处的灰度信息I(x)，并对其加Hamming窗以减少图像边缘对FFT带来的影响；以paper中提出的公式：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>s</mi> <mi>t</mi> <mi>c</mi> </mrow> </msubsup> <mo>=</mo> <msup> <mi>F</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>F</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>c</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> <mrow> <mi>F</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>W</mi> <mi>t</mi> <mrow> <mi>s</mi> <mi>t</mi> <mi>c</mi> </mrow> </msubsup> <msub> <mi>I</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <msub> <mi>w</mi> <mrow> <mi>&amp;sigma;</mi> <mi>t</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>x</mi> <mo>-</mo> <msup> <mi>x</mi> <mo>*</mo> </msup> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>,</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;Omega;</mi> <mi>c</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>*</mo> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>b</mi> <mo>&amp;times;</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mo>|</mo> <mfrac> <mrow> <mi>x</mi> <mo>-</mo> <mi>x</mi> <mo>*</mo> </mrow> <mi>&amp;alpha;</mi> </mfrac> <msup> <mo>|</mo> <mi>&amp;beta;</mi> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>w</mi> <mrow> <mi>&amp;sigma;</mi> <mi>t</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>Z</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>a</mi> <mo>&amp;times;</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msup> <mfrac> <mrow> <mo>|</mo> <mi>z</mi> <mo>|</mo> </mrow> <mrow> <msup> <msub> <mi>&amp;sigma;</mi> <mi>t</mi> </msub> <mn>2</mn> </msup> </mrow> </mfrac> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;sigma;</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>s</mi> <mrow> <mi>w</mi> <mi>t</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>s</mi> <mrow> <mi>h</mi> <mi>t</mi> </mrow> </msub> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
swt与sht分别为第t帧时，主跟踪器获得的矩形框的宽和高；获得STC模型的下一帧更新；
3)获取目标的色调(HUE)特征和LBP特征，将这两个特征以常数η(0<η<1)加权；同时为了防止模型漂移，常数β(0<β<1)与上一帧的该模型加权，获得当前帧的混合直方图；
更新完上述模型后，跳过步骤四，转跳步骤一；
步骤四、由于认为当前帧跟踪不可靠，使用独立训练的模型对t帧进行重检；故根据步骤三提出的定义，提取t-1帧时的上下文矩形框(Ωc(x*))t-1；按如下步骤进行重检：
1)根据t-1帧的(Ωc(x*))t-1所在位置，并将其长宽各放大三倍获得新的搜索框(Ωc(x*))t-1′；获取之前的加权直方图计算其反向投影并在(Ωc(x*))t-1′中利用mean-shift算法，获得当前t帧大致的目标中心点xt *′，以该点为中心获得与上文提到的设定尺度大小相同的t帧的(Ωc(xt *′))t；
2)获得以LK稀疏光流训练的通过兰索斯插值缩放至与相同大小的矩阵，以及获得STC算法的上下文模型
3)根据搜索框(Ωc(xt *′))t获得当前t帧大小的在x处的灰度信息I(x)灰度能量信息，并对其加Hamming窗以减少图像边缘对FFT带来的影响；根据STC算法中提出的公式：
其中⊙为点乘；
获得当前的置信图Ct(x)，获得我们认为为目标所在位置；
4)为了兼容比较剧烈的变化，我们同时设定固定阈值T去评价
i.若低于阈值T我们可认为跟踪失败，返回失败信息，同时可以重新初始化；
否则，则将以为中心，t帧目标框的尺度更新策略为：为当前的t帧的目标尺度信息，并返回给主跟踪模块，作为最后的跟踪结果，转跳步骤一。
CN201710439066.4A 2017-06-12 2017-06-12 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法 Pending CN107492114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710439066.4A CN107492114A (zh) 2017-06-12 2017-06-12 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710439066.4A CN107492114A (zh) 2017-06-12 2017-06-12 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法

Publications (1)

Publication Number Publication Date
CN107492114A true CN107492114A (zh) 2017-12-19

Family

ID=60642495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710439066.4A Pending CN107492114A (zh) 2017-06-12 2017-06-12 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法

Country Status (1)

Country Link
CN (1) CN107492114A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002791A (zh) * 2018-07-12 2018-12-14 西北农林科技大学 一种基于视频自动跟踪奶牛反刍行为的系统及方法
CN109146928A (zh) * 2017-12-29 2019-01-04 西安电子科技大学 一种梯度阈值判断模型更新的目标跟踪方法
CN109166136A (zh) * 2018-08-27 2019-01-08 中国科学院自动化研究所 移动机器人基于单目视觉传感器的目标对象跟随方法
CN109325966A (zh) * 2018-09-05 2019-02-12 华侨大学 一种通过时空上下文进行视觉跟踪的方法
CN113901920A (zh) * 2021-10-11 2022-01-07 华南理工大学 结构模态参数识别方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091952A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Long term object tracker
CN106650805A (zh) * 2016-12-13 2017-05-10 中国科学院自动化研究所 一种视觉目标跟踪方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091952A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Long term object tracker
CN106650805A (zh) * 2016-12-13 2017-05-10 中国科学院自动化研究所 一种视觉目标跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZDENEK KALAL ET AL: "Tracking-Learning-Detection", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
潘振福 等: "多尺度估计的核相关滤波器目标跟踪方法", 《激光与光电子学进展》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146928A (zh) * 2017-12-29 2019-01-04 西安电子科技大学 一种梯度阈值判断模型更新的目标跟踪方法
CN109146928B (zh) * 2017-12-29 2021-09-24 西安电子科技大学 一种梯度阈值判断模型更新的目标跟踪方法
CN109002791A (zh) * 2018-07-12 2018-12-14 西北农林科技大学 一种基于视频自动跟踪奶牛反刍行为的系统及方法
CN109002791B (zh) * 2018-07-12 2022-01-28 西北农林科技大学 一种基于视频自动跟踪奶牛反刍行为的系统及方法
CN109166136A (zh) * 2018-08-27 2019-01-08 中国科学院自动化研究所 移动机器人基于单目视觉传感器的目标对象跟随方法
CN109166136B (zh) * 2018-08-27 2022-05-03 中国科学院自动化研究所 移动机器人基于单目视觉传感器的目标对象跟随方法
CN109325966A (zh) * 2018-09-05 2019-02-12 华侨大学 一种通过时空上下文进行视觉跟踪的方法
CN109325966B (zh) * 2018-09-05 2022-06-03 华侨大学 一种通过时空上下文进行视觉跟踪的方法
CN113901920A (zh) * 2021-10-11 2022-01-07 华南理工大学 结构模态参数识别方法、装置、计算机设备及存储介质
CN113901920B (zh) * 2021-10-11 2022-10-25 华南理工大学 结构模态参数识别方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN107492114A (zh) 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN109902677B (zh) 一种基于深度学习的车辆检测方法
JP6974697B2 (ja) 教師データ生成装置、教師データ生成方法、教師データ生成プログラム、及び物体検出システム
US20210056351A1 (en) Multi-scale aware pedestrian detection method based on improved full convolutional network
CN109190537A (zh) 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN111008583B (zh) 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN111191667B (zh) 基于多尺度生成对抗网络的人群计数方法
CN107977683B (zh) 基于卷积特征提取和机器学习的联合sar目标识别方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN105760833A (zh) 一种人脸特征识别方法
CN108389220A (zh) 遥感视频图像运动目标实时智能感知方法及其装置
CN108447057A (zh) 基于显著性和深度卷积网络的sar图像变化检测方法
WO2024032010A1 (zh) 一种基于迁移学习策略的少样本目标实时检测方法
CN104657717A (zh) 一种基于分层核稀疏表示的行人检测方法
CN116110022B (zh) 基于响应知识蒸馏的轻量化交通标志检测方法及系统
WO2021217937A1 (zh) 姿态识别模型的训练方法及设备、姿态识别方法及其设备
CN109117717A (zh) 一种城市行人检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111598155A (zh) 一种基于深度学习的细粒度图像弱监督目标定位方法
CN112149665A (zh) 一种基于深度学习的高性能多尺度目标检测方法
CN111368768A (zh) 一种基于人体关键点的员工手势指引检测方法
CN112487948A (zh) 一种基于多空间融合的学习者学习过程的专注度感知方法
CN104268584A (zh) 一种基于分层过滤的人脸检测方法
CN110163130B (zh) 一种用于手势识别的特征预对齐的随机森林分类系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20201013