CN107452015A - 一种具有重检测机制的目标跟踪系统 - Google Patents

一种具有重检测机制的目标跟踪系统 Download PDF

Info

Publication number
CN107452015A
CN107452015A CN201710627683.7A CN201710627683A CN107452015A CN 107452015 A CN107452015 A CN 107452015A CN 201710627683 A CN201710627683 A CN 201710627683A CN 107452015 A CN107452015 A CN 107452015A
Authority
CN
China
Prior art keywords
target
detection
tracking
pixel
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710627683.7A
Other languages
English (en)
Other versions
CN107452015B (zh
Inventor
李中科
赵慧娟
苏晓萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Industry Technology
Original Assignee
Nanjing Institute of Industry Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Industry Technology filed Critical Nanjing Institute of Industry Technology
Priority to CN201710627683.7A priority Critical patent/CN107452015B/zh
Publication of CN107452015A publication Critical patent/CN107452015A/zh
Application granted granted Critical
Publication of CN107452015B publication Critical patent/CN107452015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种具有重检测机制的目标跟踪系统，包括跟踪质量评估模块、跟踪检测模块以及目标重检测模块；跟踪检测模块用于实时地对跟踪目标进行跟踪检测；跟踪质量评估模块用于对跟踪检测模块跟踪检测的跟踪结果作质量评估；目标重检测模块用于在跟踪质量评估模块评估为非可靠跟踪结果时重新检测原跟踪目标。本发明的具有重检测机制的目标跟踪系统可以解决相关滤波器一类跟踪器在跟踪运动目标物体时因遮挡等原因而导致的目标丢失和模型漂移问题。

Description

一种具有重检测机制的目标跟踪系统
技术领域
本发明涉及一种目标跟踪方法，尤其是一种具有重检测机制的目标跟踪方法。
背景技术
目标跟踪是计算机视觉中的一个基础问题，跟踪的目的是用来确定我们感兴趣的目标在视频序列中连续的位置，即获取运动目标的参数，如位置、尺寸、速度、加速度以及运动轨迹等，从而进行进一步的处理和分析，实现对运动目标的行为分析与理解，以完成更高级的任务。但由于实际场景复杂多变，视频中目标的遮挡、形变、快速移动、运动模糊、尺度变化及光照等因素都会影响跟踪的准确性，使其在实际应用中仍然面临许多挑战，设计一个快速的、鲁棒的跟踪算法仍然非常困难，仍然是计算机视觉中最活跃的研究领域之一。
自从2010年Blume等人首次将相关滤波(CF)引人物体跟踪领域中，其借助于快速离散傅里叶变换，通过将时域上的卷积转换为频域上的点积的处理，极大提高了目标跟踪效率，满足跟踪任务实时性的要求。近期出现了很多相位滤波跟踪器的改进型，比如核相关滤波跟踪器(Kernelized Correlation Filters,KCF，2015)、判决尺度空间跟踪(Discriminative Scale Space Tracking,DSST,2015)和模板和逐像素融合学习器(Sumof Template And Pixel-wise LEaners，简称STAPLE或者Staple，2016年由牛津大学的L.Bertinetto等人提出)，如上相关滤波跟踪器都使用了图像梯度特征。
特别是Staple，其针对CF类算法中图像梯度特征(比如HOG)局部鲁棒性较好，但对全局的形变效果不好，而颜色信息统计基于全局，提出了融合两种特征，采用融合代价函数来实现物体的跟踪。该算法和其他基于判决模型的方法一样，主要是两个模块：跟踪检测模块和模型学习模块。在跟踪检测模块中，其结合梯度滤波输出以及逐像素的目标置信图来检测新一帧中的目标物体作为跟踪结果。对模型学习模块，其通过岭回归方法，通过逐帧最小化两个代价函数来学习梯度特征参数H以及颜色特征参数B。该算法既可以较好的适应形变，同时还可以在普通家用电脑上达到每秒80帧的运行速度。但Staple算法和其他的CF类型的算法一样在跟踪有遮挡的物体时会存在目标丢失问题。跟踪的目标一旦丢失，模型就会漂移，后续的跟踪任务就无法进行。
发明内容
本发明要解决的技术问题是现有技术中类似Staple等相关滤波一类跟踪器因遮挡、姿态变化、运动模糊等而引起的跟踪目标丢失的缺陷。
为了解决上述技术问题，本发明提供了一种具有重检测机制的目标跟踪系统，包括跟踪检测模块、跟踪质量评估模块、目标重检测模块以及模型在线学习更新模块；
跟踪检测模块，用于根据模型在线学习更新模块的最近一次更新的目标模型对当前帧进行跟踪目标检测；
跟踪质量评估模块，用于对跟踪检测模块检测到的跟踪目标作跟踪质量评估，若评估为可靠跟踪，则调用模型在线学习更新模块更新目标模型；若评估为非可靠跟踪，则启动目标重检测模块进行目标重检测；
目标重检测模块，用于对当前帧进行目标重检测，若检测到了可靠目标，则启动模型在线学习更新模块更新目标模型，再进入下一帧的跟踪任务，若未检测到可靠目标，则保持原目标模型，不触发模型在线学习更新模块，并直接进入下一帧的跟踪任务。
作为本发明的进一步限定方案，跟踪检测模块在对跟踪目标进行检测时，利用模板和逐像素融合学习器对当前帧中的跟踪目标进行检测，跟踪检测的跟踪结果包括跟踪目标在当前帧中的位置以及尺寸信息。
作为本发明的进一步限定方案，跟踪质量评估模块对跟踪检测模块跟踪检测的跟踪结果作质量评估时，包括对当前帧在进行跟踪检测过程中的梯度相关滤波输出波形的峰值旁瓣比以及对当前帧和上一帧的梯度滤波输出的时间平滑性进行质量度量评估。
作为本发明的进一步限定方案，质量度量评估的评估标准为：若峰值旁瓣比大于比值门限且时间平滑性小于平滑门限，则评估为当前帧的跟踪结果可靠；若峰值旁瓣比小于比值门限或时间平滑性大于平滑门限，则评估为当前帧的跟踪结果非可靠。
作为本发明的进一步限定方案，目标重检测模块对当前帧进行目标重检测的具体步骤为，在当前帧的重检测区域内根据颜色模型参数求逐像素色度置信值，再计算得到目标置信积分图，再将目标置信积分图的局部最大值点处作为备选目标，再根据该备选目标的梯度相关滤波输出确认重检测结果。
作为本发明的进一步限定方案，重检测区域为视频当前帧中以最近一次可靠目标跟踪结果位置为中心的一个图像区域，该图像区域的大小跟随当前帧和最近一次可靠目标跟踪结果对应帧的时间跨度大小而变化，时间跨度越大，则重检测区域越大。
作为本发明的进一步限定方案，颜色模型为由上一帧模型在线学习过程得到的颜色直方图前景投票得票率，颜色直方图前景投票得票率为前景区域颜色直方图中某色度的取值相对于该色度在前景颜色直方图和背景颜色直方图取值之和中的比例，若某色度前景颜色直方图和背景颜色直方图取值之和为零，那么前景投票得票率为零。
作为本发明的进一步限定方案，逐像素色度置信值是指由上一帧模型在线学习得到的颜色直方图前景投票得票率，对重检测区域中的每个像素，按照该像素颜色落在所对应的投票得票率色度区间的投票得票率取值作为该像素的逐像素色度置信值，对整个重检测区域所有像素的逐像素色度置信值对应一张逐像素色度置信值图。
作为本发明的进一步限定方案，目标置信积分图是与重检测区域对应的逐像素色度置信值图，按照最近一次可靠跟踪结果对应的目标大小作为置信窗口，执行置信窗口内置信值积分操作得到置信值之和，重检测区域的每个像素对应一个置信窗口以及一个置信值之和，执行所有像素后便构成了目标置信积分图。
作为本发明的进一步限定方案，根据该备选目标的梯度相关滤波输出确认重检测结果，指的是对备选目标逐一根据上一帧的梯度模型计算相关滤波输出，若该相关滤波输出的峰值旁瓣比大于设定的门限值才作为有效备选目标，并计算出所有有效备选目标相关滤波输出极值中的最大值者，具有最大值者对应的有效备选目标作为重检测的可靠目标输出，若所有的备选目标的相关滤波输出的峰值旁瓣比均小于等于设定的门限值，则认为此次重检测过程未检测出目标。
本发明的有益效果在于：通过对跟踪系统的跟踪检测模块检测到的目标作跟踪质量评估，对不可靠的跟踪结果启动基于颜色的前景投票得票率模型的目标重检测功能或模块，通过计算目标置信积分图重新获取跟踪过程中已丢失或跟踪不可靠的目标，若目标重检测功能或模块未重检测到可靠目标，则在当前帧不作跟踪目标模型更新，可以解决相关滤波器一类跟踪器在跟踪运动目标物体时因遮挡等原因而导致的目标丢失和模型漂移问题。
附图说明
图1为本发明的目标跟踪系统引入到Staple改进后的跟踪系统功能框图；
图2为本发明的目标重检测模块具体实施的处理流程图；
图3为本发明的从前一帧可靠跟踪结果到当前帧得到可靠结果的实施流程图。
图4为本发明的目标跟踪系统结构示意图。
具体实施方式
为使得本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明再做进一步详细的说明。
本发明公开的具有重检测机制的目标跟踪系统，包括跟踪检测模块、跟踪质量评估模块、目标重检测模块以及模型在线学习更新模块；
跟踪检测模块，用于根据模型在线学习更新模块的最近一次更新的目标模型对当前帧进行跟踪目标检测；
跟踪质量评估模块，用于对跟踪检测模块检测到的跟踪目标作跟踪质量评估，若评估为可靠跟踪，则调用模型在线学习更新模块更新目标模型；若评估为非可靠跟踪，则启动目标重检测模块进行目标重检测；
目标重检测模块，用于对当前帧进行目标重检测，若检测到了可靠目标，则启动模型在线学习更新模块更新目标模型，再进入下一帧的跟踪任务，若未检测到可靠目标，则保持原目标模型，不触发模型在线学习更新模块，并直接进入下一帧的跟踪任务。
其中，跟踪检测模块在对跟踪目标进行检测时，利用模板和逐像素融合学习器对当前帧中的跟踪目标进行检测，跟踪检测的跟踪结果包括跟踪目标在当前帧中的位置以及尺寸信息。
跟踪质量评估模块对跟踪检测模块跟踪检测的跟踪结果作质量评估时，包括对当前帧在进行跟踪检测过程中的梯度相关滤波输出波形的峰值旁瓣比以及对当前帧和上一帧的梯度滤波输出的时间平滑性进行质量度量评估。
质量度量评估的评估标准为：若峰值旁瓣比大于比值门限且时间平滑性小于平滑门限，则评估为当前帧的跟踪结果可靠；若峰值旁瓣比小于比值门限或时间平滑性大于平滑门限，则评估为当前帧的跟踪结果非可靠。
目标重检测模块对当前帧进行目标重检测的具体步骤为，在当前帧的重检测区域内根据颜色模型参数求逐像素色度置信值，再计算得到目标置信积分图，再将目标置信积分图的局部最大值点处作为备选目标，再根据该备选目标的梯度相关滤波输出确认重检测结果。若重检测到可靠的目标，则将该目标作为当前帧的可靠的跟踪结果进行后续的特征提取和模型在线学习过程，若未重检测到可靠的目标，则保持最近一次可靠跟踪的跟踪结果，而在当前帧不进行模型在线学习过程。
重检测区域为视频当前帧中以最近一次可靠目标跟踪结果位置为中心的一个图像区域，该图像区域的大小跟随当前帧和最近一次可靠目标跟踪结果对应帧的时间跨度大小而变化，时间跨度越大，则重检测区域越大。
颜色模型为由上一帧模型在线学习过程得到的颜色直方图前景投票得票率，颜色直方图前景投票得票率为前景区域颜色直方图中某色度的取值相对于该色度在前景颜色直方图和背景颜色直方图取值之和中的比例，若某色度前景颜色直方图和背景颜色直方图取值之和为零，那么前景投票得票率为零。
逐像素色度置信值是指由上一帧模型在线学习得到的颜色直方图前景投票得票率，对重检测区域中的每个像素，按照该像素颜色落在所对应的投票得票率色度区间的投票得票率取值作为该像素的逐像素色度置信值，对整个重检测区域所有像素的逐像素色度置信值对应一张逐像素色度置信值图。
目标置信积分图是与重检测区域对应的逐像素色度置信值图，按照最近一次可靠跟踪结果对应的目标大小作为置信窗口，执行置信窗口内置信值积分操作得到置信值之和，重检测区域的每个像素对应一个置信窗口以及一个置信值之和，执行所有像素后便构成了目标置信积分图。
根据该备选目标的梯度相关滤波输出确认重检测结果，指的是对备选目标逐一根据上一帧的梯度模型计算相关滤波输出，若该相关滤波输出的峰值旁瓣比大于设定的门限值才作为有效备选目标，并计算出所有有效备选目标相关滤波输出极值中的最大值者，具有最大值者对应的有效备选目标作为重检测的可靠目标输出，若所有的备选目标的相关滤波输出的峰值旁瓣比均小于等于设定的门限值，则认为此次重检测过程未检测出目标。
在具体实施时，本发明所述的具有重检测机制的目标跟踪系统，应用于计算机视觉中的视觉跟踪、视觉检测和视频目标行为分析等领域。将本发明所述的目标重检测机制引入到Staple跟踪系统，改进后跟踪系统的功能框图如图1所示。
在介绍该改进系统的功能框图之前，有必要结合图1简要介绍Staple跟踪系统的流程。和普通的CF类跟踪算法一样，Staple跟踪算法在首帧人工标定的目标初始状态p0(包括目标位置、目标尺寸)并由首帧图像得到目标梯度模型H0和目标颜色模型B0，对输入的视频序列xt(其中t为当前帧图像时刻，t-1为上一帧图像时刻)，对跟踪检测模块结合相关滤波输出以及逐像素目标置信积分图之和求取极大值位置得到当前帧的状态作为跟踪结果。然后，根据经由图1中的虚线101的流程进入“提取特征，估计本帧模型参数”在xt中提取梯度和色度特征，学习当前帧模型参数ht和βt，并以一个学习因子以Ht-1和Bt-1为基础成比例的更新到Ht和Bt中。
经本发明改进后的系统和传统的Staple算法相比，本发明的跟踪检测模块的输出不再直接作为特征提取和当前帧参数学习的输入。而是进入跟踪质量评估模块，改进后的跟踪系统不再有虚线101的路径。跟踪质量评估模块根据梯度相关滤波输出yt的峰值旁瓣比(PSR)和当前帧和上一帧的梯度相关滤波输出(yt和yt-1)的时间平滑性度量来评估当前帧跟踪结果的可靠性。其中峰值旁瓣比(Peak to Sidelobe Ratio，PSR)为常规定义:
其中，μt和σt分别表示yt的均值和方差，max(yt)为yt的峰值。当前帧和上一帧的梯度相关滤波输出的时间平滑性度量(Temporal Smoothness，简称TS)的定义为：
其中，Δ表示yt和yt-1最大值之间的位移，表示移位操作，||·||2为二维向量拉直后的矢量二范数，表示yt和平移△后的yt-1重叠区域的二维网格点数。
当上述的峰值旁瓣比大于某个门限且当前帧和上一帧的梯度相关滤波输出的时间平滑性度量小于某特定门限时，认定为该帧的跟踪结果可靠；当上述的峰值旁瓣比小于某门限或当前帧和上一帧的梯度相关滤波输出的时间平滑性度量大于某特定门限时，认定为跟踪结果不可靠。
如果跟踪度量评估结果为可靠，根据在xt中提取梯度和色度特征，学习当前帧模型参数ht和βt，并以一个学习因子以Ht-1和Bt-1为基础成比例的更新到Ht和Bt中，并将作为第t帧的跟踪结果pt加入状态序列Pt，然后进入下一帧的目标跟踪任务。若跟踪质量评估结果为不可靠，则进入目标重检测模块。
目标重检测模块基于上一帧的颜色模型Bt-1对待重检测区域求取逐像素色度置信值，继而得到目标置信积分图，然后求取目标置信积分图的局部最大值位置，将对应的局部最大值的位置作为备选目标的位置。对每个备选目标，提取梯度特征，并计算该梯度特征对Ht-1模板的相关滤波输出的峰值旁瓣比，如果存在至少一个备选目标的峰值旁瓣比小于某门限的备选目标，则认为重检测到可靠目标，选择相关滤波输出极值最大的备选目标p～t作为重检测的结果。若不存在备选目标的峰值旁瓣比小于某门限，则认定为目标重检测模块未重检测到可靠目标。
根据重检测结果在xt中提取梯度和色度特征，学习当前帧模型参数ht和βt，并以一个学习因子以Ht-1和Bt-1为基础成比例的更新到Ht和Bt中，并将作为第t帧的跟踪结果pt加入状态序列Pt。然后进入下一帧的目标跟踪任务。若未重检测到可靠目标，则保持上一帧的跟踪结果，模型不更新。
图1中给出的仅是针对Staple的改进的跟踪系统，本发明的内容可以引入到任意的CF类型的跟踪系统中，比如引入到KCF或DSST中。但如果引入到KCF和DSST中，则需要额外增加一个颜色模型的学习模块。
如图2所示，给出了目标重检测模块具体的处理流程为：
步骤201为目标重检测模块的输入，该模块基于上一帧的颜色模型，也即颜色直方图前景投票得票率模型Bt-1，待重检测目标的区域，以及用于评估检测区域中备选目标可靠性的上一帧梯度模型Ht-1。待重检测目标的区域为以最近一次可靠跟踪的目标位置为中心的一个区域。该区域可以是固定大小，也可以随当前帧和上一次可靠跟踪帧之间的时间跨度大小而变化，比如，该时间跨度越大，搜索区域越大。
202步骤：目标重检测模块基于上一帧的颜色直方图前景投票得票率(后面简称前景投票得票率)模型Bt-1对待重检测区域得到逐像素色度置信值图，该逐像素色度置信值图的大小和待重检测区域二维大小相同。若待检测区域图像点的颜色落在前景投票得票率某个离散色度区间内，则取该离散色度区间的前景投票得票率取值作为该点的逐像素色度置信值。
203步骤：对202中得到的逐像素色度置信值图，目标重检测模块按照最近一次可靠跟踪的目标尺寸大小为窗口求目标置信积分图，也就是逐像素的将一个点为中心的窗口中所有的逐像素色度置信值相加作为该点的目标置信积分图的取值。
204步骤：求取目标置信积分图的所有局部最大值点，作为目标备选点。可选的，通过如下的方法限制目标备选点的数量：如果其中几个局部最大值点间距离过近，只保留具有最大值的点；只有局部最大值大于目标置信积分图的中值的点，才保留作为目标备选点。
205步骤：对每个备选目标提取梯度特征，并计算该梯度特征对最近一次可靠跟踪的梯度模板Ht-1相关滤波输出，得到其峰值旁瓣比。
206步骤：看是否存在至少一个备选目标的峰值旁瓣比小于某门限：如果有，则转207；否则，转208。
207步骤：目标重检测模块认为重检测到可靠目标，选择相关滤波输出极值最大的备选目标p～t作为重检测的结果。
208步骤：若不存在备选目标的峰值旁瓣比小于某门限，则认定为目标重检测模块未重检测到可靠目标。
如图3所示，给出了从颜色直方图前景投票得票率学习直到目标重检测到可靠结果的示意流程。
图中301为跟踪一可乐罐(视觉跟踪基准库(Visual Tracking Benckmark,VTB)的‘Coke’视频序列的跟踪目标)的跟踪任务的目标(另称作前景)及背景，其中前景为最近一次可靠跟踪的目标，背景是前景周边固定尺寸大小的图像区域。视频首帧时目标是人工指定的。
302是根据目标图像得到的D维前景颜色直方图的示意图。
303是根据背景图像得到的背景颜色直方图的示意图，也是D维。
304示意的是根据颜色直方图得到的颜色直方图前景投票得票率(后面简称前景投票得票率)。对每个直方图维度(请参见连接302、303、304的虚线框，示意了前景直方图、背景直方图以及前景投票得票率在一个维度上的关系)，计算前景直方图取值在前景直方图、背景直方图之和中的比例。
305为从最近一次目标被可靠跟踪后,目标被遮挡，又在当前帧重新出现时的重检测区域，也就是跟踪系统触发了目标重检测的当前帧图像重检测区域。
306为根据304的前景投票得票率和305图像得到的逐像素色度置信图，该示意图为热度图。若重检测区域图像304的每个像素的颜色落在前景投票得票率对应的色度区间内，则该逐像素色度置信图的对应像素位置取前景投票得票率对应该区间的值。
307是目标重检测模块对306按照最近一次可靠跟踪的目标尺寸大小为窗口逐像素的求得的目标置信积分，得到目标置信积分图，该图为三维曲面图，竖直的维度为目标置信积分的取值。
308示意了目标重检测模块重检测到可靠目标的情况，图中309对应菱形就是重检测的目标备选点，而310的矩形框就是经梯度模型验证的重检测可靠目标。
图3中示意的304为根据一帧可靠目标跟踪图像计算得到的前景投票得票率模型。可选的，可以根据前面所有可靠的目标跟踪结果迭代的计算该模型，常常使用一个常数比例来根据当前可靠跟踪帧的习得的模型迭代更新该模型。
图4是本发明目标跟踪系统的结构示意图
本发明的目标跟踪装置40可以对来自摄像机及视频采集卡的视频序列或者直接指定的现有视频来源41作目标跟踪任务，也即，该装置可接收41所示的视频序列。在开始跟踪以前，首帧图像需要人工标定跟踪目标和装置参数，所以该目标跟踪装置具备和人交互的接口设备42。
目标跟踪装置包括跟踪检测模块401、跟踪质量评估模块402、目标重检测模块403、模型在线学习更新模块404以及数据存储模块405。在目标跟踪任务过程中，跟踪检测模块401、跟踪质量评估模块402、目标重检测模块403以及模型在线学习更新模块404会从数据存储模块405中读取数据及更新数据到数据存储模块405。
数据存储模块405中存储的数据包括：人工标定的目标初始位置和大小，目标梯度模型参数，目标颜色模型参数，可靠跟踪的帧的时间以及目标的位置和尺寸，以及最近一次可靠跟踪帧和当前帧的时间差，当前帧以前的最近一次可靠跟踪帧的梯度模型相关滤波输出，各种门限参数。
跟踪检测模块401根据前面最近一次可靠跟踪帧算得的目标模型(由模型在线学习更新模块404算得)，跟踪到当前帧的目标。跟踪质量评估模块402会对跟踪检测模块401跟踪到的目标作跟踪质量评估：如果认定为可靠跟踪，则直接调用模型在线学习更新模块404更新目标模型；如果认定为非可靠跟踪，则启动目标重检测模块403的目标重检测功能，看能否重检测到可靠目标。目标重检测模块403如果重检测到了可靠目标，则启动模型在线学习更新模块404更新目标模型，然后进入下一帧的跟踪任务；否则保持原目标模型，不触发模型在线学习更新模块404，而直接进入下一帧的跟踪任务。
以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离所附权利要求所限定的精神和范围的情况下，可做出许多修改、变化或等效，但都将落入本发明的保护范围内。

Claims (10)

1.一种具有重检测机制的目标跟踪系统，其特征在于：包括跟踪检测模块、跟踪质量评估模块、目标重检测模块以及模型在线学习更新模块；
跟踪检测模块，用于根据模型在线学习更新模块的最近一次更新的目标模型对当前帧进行跟踪目标检测；
跟踪质量评估模块，用于对跟踪检测模块检测到的跟踪目标作跟踪质量评估，若评估为可靠跟踪，则调用模型在线学习更新模块更新目标模型；若评估为非可靠跟踪，则启动目标重检测模块进行目标重检测；
目标重检测模块，用于对当前帧进行目标重检测，若检测到了可靠目标，则启动模型在线学习更新模块更新目标模型，再进入下一帧的跟踪任务，若未检测到可靠目标，则保持原目标模型，不触发模型在线学习更新模块，并直接进入下一帧的跟踪任务。
2.根据权利要求1所述的具有重检测机制的目标跟踪系统，其特征在于：跟踪检测模块在对跟踪目标进行检测时，利用模板和逐像素融合学习器对当前帧中的跟踪目标进行检测，跟踪检测的跟踪结果包括跟踪目标在当前帧中的位置以及尺寸信息。
3.根据权利要求1所述的具有重检测机制的目标跟踪系统，其特征在于：跟踪质量评估模块对跟踪检测模块跟踪检测的跟踪结果作质量评估时，包括对当前帧在进行跟踪检测过程中的梯度相关滤波输出波形的峰值旁瓣比以及对当前帧和上一帧的梯度滤波输出的时间平滑性进行质量度量评估。
4.根据权利要求3所述的具有重检测机制的目标跟踪系统，其特征在于：质量度量评估的评估标准为：若峰值旁瓣比大于比值门限且时间平滑性小于平滑门限，则评估为当前帧的跟踪结果可靠；若峰值旁瓣比小于比值门限或时间平滑性大于平滑门限，则评估为当前帧的跟踪结果非可靠。
5.根据权利要求1所述的具有重检测机制的目标跟踪系统，其特征在于：目标重检测模块对当前帧进行目标重检测的具体步骤为，在当前帧的重检测区域内根据颜色模型参数求逐像素色度置信值，再计算得到目标置信积分图，再将目标置信积分图的局部最大值点处作为备选目标，再根据该备选目标的梯度相关滤波输出确认重检测结果。
6.根据权利要求5所述的具有重检测机制的目标跟踪系统，其特征在于：重检测区域为视频当前帧中以最近一次可靠目标跟踪结果位置为中心的一个图像区域，该图像区域的大小跟随当前帧和最近一次可靠目标跟踪结果对应帧的时间跨度大小而变化，时间跨度越大，则重检测区域越大。
7.根据权利要求5所述的具有重检测机制的目标跟踪系统，其特征在于：颜色模型为由上一帧模型在线学习过程得到的颜色直方图前景投票得票率，颜色直方图前景投票得票率为前景区域颜色直方图中某色度的取值相对于该色度在前景颜色直方图和背景颜色直方图取值之和中的比例，若某色度前景颜色直方图和背景颜色直方图取值之和为零，那么前景投票得票率为零。
8.根据权利要求5所述的具有重检测机制的目标跟踪系统，其特征在于：逐像素色度置信值是指由上一帧模型在线学习得到的颜色直方图前景投票得票率，对重检测区域中的每个像素，按照该像素颜色落在所对应的投票得票率色度区间的投票得票率取值作为该像素的逐像素色度置信值，对整个重检测区域所有像素的逐像素色度置信值对应一张逐像素色度置信值图。
9.根据权利要求5所述的具有重检测机制的目标跟踪系统，其特征在于：目标置信积分图是与重检测区域对应的逐像素色度置信值图，按照最近一次可靠跟踪结果对应的目标大小作为置信窗口，执行置信窗口内置信值积分操作得到置信值之和，重检测区域的每个像素对应一个置信窗口以及一个置信值之和，执行所有像素后便构成了目标置信积分图。
10.根据权利要求5所述的具有重检测机制的目标跟踪系统，其特征在于：根据该备选目标的梯度相关滤波输出确认重检测结果，指的是对备选目标逐一根据上一帧的梯度模型计算相关滤波输出，若该相关滤波输出的峰值旁瓣比大于设定的门限值才作为有效备选目标，并计算出所有有效备选目标相关滤波输出极值中的最大值者，具有最大值者对应的有效备选目标作为重检测的可靠目标输出，若所有的备选目标的相关滤波输出的峰值旁瓣比均小于等于设定的门限值，则认为此次重检测过程未检测出目标。
CN201710627683.7A 2017-07-28 2017-07-28 一种具有重检测机制的目标跟踪系统 Active CN107452015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710627683.7A CN107452015B (zh) 2017-07-28 2017-07-28 一种具有重检测机制的目标跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710627683.7A CN107452015B (zh) 2017-07-28 2017-07-28 一种具有重检测机制的目标跟踪系统

Publications (2)

Publication Number Publication Date
CN107452015A true CN107452015A (zh) 2017-12-08
CN107452015B CN107452015B (zh) 2020-09-25

Family

ID=60489718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710627683.7A Active CN107452015B (zh) 2017-07-28 2017-07-28 一种具有重检测机制的目标跟踪系统

Country Status (1)

Country Link
CN (1) CN107452015B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108803655A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人机飞行控制平台及目标跟踪方法
CN109002750A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 一种基于显著性检测与图像分割的相关滤波跟踪方法
CN109308713A (zh) * 2018-08-02 2019-02-05 哈尔滨工程大学 一种基于前视声纳的改进核相关滤波水下目标跟踪方法
CN109670410A (zh) * 2018-11-29 2019-04-23 昆明理工大学 一种基于多特征的融合的长时运动目标跟踪方法
CN109784290A (zh) * 2019-01-23 2019-05-21 科大讯飞股份有限公司 一种目标检测方法、装置、设备及可读存储介质
CN109949344A (zh) * 2019-03-18 2019-06-28 吉林大学 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN109978815A (zh) * 2017-12-14 2019-07-05 欧姆龙株式会社 检测系统、信息处理装置、评价方法及存储介质
CN110827319A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN111310526A (zh) * 2018-12-12 2020-06-19 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
CN112153613A (zh) * 2019-06-28 2020-12-29 苹果公司 存在发现技术
CN113327272A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于相关滤波的鲁棒性长时跟踪方法
CN117011340A (zh) * 2023-08-09 2023-11-07 北京航空航天大学 一种基于统计颜色特征的可重构相关滤波目标跟踪算法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188827A1 (en) * 2012-01-19 2013-07-25 Electronics And Telecommunications Research Institute Human tracking method and apparatus using color histogram
US20150117706A1 (en) * 2013-10-28 2015-04-30 Ming Chuan University Visual object tracking method
CN106485732A (zh) * 2016-09-09 2017-03-08 南京航空航天大学 一种视频序列的目标跟踪方法
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN106650805A (zh) * 2016-12-13 2017-05-10 中国科学院自动化研究所 一种视觉目标跟踪方法及装置
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188827A1 (en) * 2012-01-19 2013-07-25 Electronics And Telecommunications Research Institute Human tracking method and apparatus using color histogram
US20150117706A1 (en) * 2013-10-28 2015-04-30 Ming Chuan University Visual object tracking method
CN106485732A (zh) * 2016-09-09 2017-03-08 南京航空航天大学 一种视频序列的目标跟踪方法
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN106650805A (zh) * 2016-12-13 2017-05-10 中国科学院自动化研究所 一种视觉目标跟踪方法及装置
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HYEONSEOB NAM 等: ""Learning Multi-Domain Convolutional Neural Networks for Visual Tracking"", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
LUCA BERTINETTO 等: ""Complementary Learners for Real-Time Tracking"", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
李中科 等: ""具备重检测机制的融合特征视觉跟踪算法"", 《图学学报 图像与视频处理》 *
毕笃彦 等: ""基于颜色属性直方图的尺度目标跟踪算法研究"", 《电子与信息学报》 *
潘振福 等: ""使用PSR重检测改进的核相关目标跟踪方法"", 《计算机工程与应用》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002750A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 一种基于显著性检测与图像分割的相关滤波跟踪方法
CN109978815A (zh) * 2017-12-14 2019-07-05 欧姆龙株式会社 检测系统、信息处理装置、评价方法及存储介质
CN108803655A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人机飞行控制平台及目标跟踪方法
CN109308713A (zh) * 2018-08-02 2019-02-05 哈尔滨工程大学 一种基于前视声纳的改进核相关滤波水下目标跟踪方法
CN109308713B (zh) * 2018-08-02 2021-11-19 哈尔滨工程大学 一种基于前视声纳的改进核相关滤波水下目标跟踪方法
CN110827319B (zh) * 2018-08-13 2022-10-28 中国科学院长春光学精密机械与物理研究所 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN110827319A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN109670410A (zh) * 2018-11-29 2019-04-23 昆明理工大学 一种基于多特征的融合的长时运动目标跟踪方法
CN111310526A (zh) * 2018-12-12 2020-06-19 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
CN111310526B (zh) * 2018-12-12 2023-10-20 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
CN109784290B (zh) * 2019-01-23 2021-03-05 科大讯飞股份有限公司 一种目标检测方法、装置、设备及可读存储介质
CN109784290A (zh) * 2019-01-23 2019-05-21 科大讯飞股份有限公司 一种目标检测方法、装置、设备及可读存储介质
CN109949344A (zh) * 2019-03-18 2019-06-28 吉林大学 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN109949344B (zh) * 2019-03-18 2022-12-27 吉林大学 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN112153613A (zh) * 2019-06-28 2020-12-29 苹果公司 存在发现技术
CN113327272A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于相关滤波的鲁棒性长时跟踪方法
CN117011340A (zh) * 2023-08-09 2023-11-07 北京航空航天大学 一种基于统计颜色特征的可重构相关滤波目标跟踪算法

Also Published As

Publication number Publication date
CN107452015B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN107452015A (zh) 一种具有重检测机制的目标跟踪系统
WO2021043073A1 (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN103310444B (zh) 一种基于头顶摄像头的监控行人计数的方法
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN109344717B (zh) 一种多阈值动态统计的深海目标在线检测识别方法
CN108446585A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN108241844A (zh) 一种公交客流统计方法、装置及电子设备
CN109871763A (zh) 一种基于yolo的特定目标跟踪方法
CN101456501B (zh) 一种控制电梯按钮的方法及装置
CN109584204A (zh) 一种图像噪声强度估计方法、存储介质、处理及识别装置
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN101828201A (zh) 图像处理装置及方法、学习装置及方法以及程序
CN107341538A (zh) 一种基于视觉的统计数量方法
CN109145803A (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN106778650A (zh) 基于多类型信息融合的场景自适应行人检测方法和系统
CN110245544A (zh) 一种确定停车状态的方法及装置
CN113744316A (zh) 一种基于深度神经网络的多目标跟踪方法
CN109684986A (zh) 一种基于车辆检测跟踪的车辆分析方法及系统
Guo et al. Gesture recognition of traffic police based on static and dynamic descriptor fusion
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
Kim et al. Vision-based activity analysis framework considering interactive operation of construction equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant