CN108694723A - 一种复杂背景下目标稳定跟踪方法 - Google Patents

一种复杂背景下目标稳定跟踪方法 Download PDF

Info

Publication number
CN108694723A
CN108694723A CN201810449655.5A CN201810449655A CN108694723A CN 108694723 A CN108694723 A CN 108694723A CN 201810449655 A CN201810449655 A CN 201810449655A CN 108694723 A CN108694723 A CN 108694723A
Authority
CN
China
Prior art keywords
target
frame image
tracking
max
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810449655.5A
Other languages
English (en)
Inventor
李宁鸟
王文涛
韩雪云
李�权
魏璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Original Assignee
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd filed Critical XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority to CN201810449655.5A priority Critical patent/CN108694723A/zh
Publication of CN108694723A publication Critical patent/CN108694723A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种复杂背景下目标稳定跟踪方法，涉及目标跟踪领域，该方法如下：获取视频图像的当前帧图像；在当前帧图像上选取候选区域；用分类器模型获取候选目标所对应的目标位置；对候选目标进行跟踪失效判断，当候选目标为跟踪目标时，用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成视频图像中目标的稳定跟踪。通过候选样本与分类器模型之间的响应图振荡情况来设定跟踪丢失判断条件，从而能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况；同时，利用响应图中响应值的历史值来判断模型更新，减少了模型漂移的情况和模型更新的次数，在复杂场景中能够准确的从候选样本中选取出跟踪目标，实现目标的快速稳定跟踪。

Description

一种复杂背景下目标稳定跟踪方法
技术领域
本发明涉及目标跟踪领域，尤其涉及一种复杂背景下目标稳定跟踪方法。
背景技术
无论在军用或者民用领域中，目标跟踪技术都有着广泛的应用。在战场侦查、低空防御、交通监控以及国土安全等方面全自动或者半自动的实现目标跟踪任务都可以大大减少工作人员和工作时间。然而，尽管人们已经提出了许多有效的视频目标跟踪算法，但在实际应用中仍然面临很多困难，例如环境中的光照变化、目标的非线性形变、摄像机的抖动，以及背景中的噪声干扰等因素，给目标跟踪带来了极大的挑战。
同时，现有的目标跟踪方法大多数只能够实现在较短的时间内对目标进行跟踪，相对于稳定跟踪方法则鲜有研究。然而，在实际工程应用中，对目标的长久稳定跟踪则更受关注。
发明内容
本发明旨在解决上述问题，提供一种复杂背景下目标稳定跟踪方法。
本发明所述复杂背景下目标稳定跟踪方法，该方法如下：
获取视频图像的当前帧图像；在当前帧图像上选取候选区域；用分类器模型获取候选目标所对应的目标位置；对候选目标进行跟踪失效判断，当候选目标为跟踪目标时，用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成视频图像中目标的稳定跟踪。
本发明所述复杂背景下目标稳定跟踪方法，该方法如下：
根据视频图像，获取当前帧图像；
在当前帧图像上，以跟踪目标在上一帧图像中所在位置为中心，选取候选区域；
用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；
对候选目标进行跟踪失效判断；
判断候选目标为跟踪目标后，用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成视频图像中目标的稳定跟踪。
本发明所述的复杂背景下目标稳定跟踪方法，该方法重复上述方法，实现持续完成视频图像中目标的稳定跟踪。
本发明所述的复杂背景下目标稳定跟踪方法，获取当前帧图像的方式为通过检测算法自动获取或通过人工框定选取。
本发明所述的复杂背景下目标稳定跟踪方法，选取候选区域的方法如下：在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：
以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2-2.5倍；
以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；
以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。
本发明所述的复杂背景下目标稳定跟踪方法，用分类器模型求取候选区域的响应图的方法如下：
对跟踪目标进行扩展，并获取扩展后的目标区域对应的Hog特征向量；
根据扩展后的目标区域对应的Hog特征向量，建立分类器模型；
分类器模型的训练过程如下：
其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量，取值0.000001；本发明采用连续的标签进行标记样本，即根据样本中心距离目标中心的远近分别赋值0-1范围的数，且服从高斯分布。离目标越近，值越趋向于1，离目标越远，值越趋向于0。
根据分类器模型，分别求解当前帧中三个尺度的候选区域对应的响应图；
其中，为表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,表示分类器模型。
本发明所述的复杂背景下目标稳定跟踪方法，获得响应图中的最大响应值对应的目标位置方法如下：
通过分类器模型分别计算3-7个候选区域所对应响应图中的最大响应值，其中第一候选区域的最大响应值记为FmaxA，以k为尺度因子，选取的候选区域的最大响应值记为FmaxA′,以1/k为尺度因子，选取的候选区域的最大响应值记为FmaxA″，其中A为第一候选区域，A′为以k为尺度因子选取的候选区域，A″为以1/k为尺度因子选取的候选区域；
同时，引入尺度权重因子scale_weight，设定其取值范围在0.9-1之间；
判断FmaxA是否大于scale_weight与FmaxA′的乘积；
当FmaxA>scale_weight×FmaxA′时，则认定FmaxA为最大响应值Fmax’，进入下一步判断；否则认定FmaxA′为最大响应值Fmax’，进入下一步判断，同时更新候选区域的信息；
判断Fmax’是否大于scale_weight与FmaxA″的乘积；
当Fmax’>scale_weight×FmaxA″时，则认定Fmax’为最大响应值Fmax，则直接进入下一步；否则认定FmaxA′为最大响应值Fmax，同时更新候选区域的信息；
最大响应值Fmax所在的候选区域，即为当前帧目标最可能出现的位置。
本发明所述复杂背景下目标稳定跟踪方法，在跟踪准确的情况下，候选目标响应图的最大值，也就是峰值，是一个明显的波峰，接近理想的二维高斯分布。而在跟踪不好的情况中，尤其是碰到遮挡、丢失或者模糊等状况，候选目标的响应图会发生剧烈的振荡。此时，响应图将会出现多个峰值的情况，导致无法通过响应峰值来确定目标的中心位置。但是可以通过振荡程度及时的反应目标当前的状态，从而准确的判断目标是否碰到遮挡、丢失或者模糊等状况。因此利用一个能够反应响应图振荡程度的判据APCE(平均峰值相关能量)。
对候选目标进行跟踪失效判断的判断条件的设定方法如下：
根据确定的候选目标，判断该候选区域的最大响应值Fmax是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，预设响应值取值范围为0-1之间；
计算当前帧图像中候选区域的APCE值以及上一帧图像到第二帧图像中跟踪目标的平均APCE值；
其中Fmax为响应图中的最大响应值，Fmin为响应图中的最小响应值，Fw,h为响应图中对应(w，h)位置的响应值，mean为求取均值。当APCE值突然减小时，就是目标被遮挡，或者目标丢失，甚至目标模糊的情况。
判断该候选区域的APCE值是否大于预设震荡比例倍的平均APCE值；确定该跟踪目标的跟踪情况；
本发明所述的复杂背景下目标稳定跟踪方法，确定该跟踪目标的跟踪情况的方法如下：
通过获取候选区域的响应图，找到响应图中的最大响应值Fmax，判断Fmax是否大于预设响应值；预设响应值优选为0.3，当Fmax>0.3时，则直接进入下一步判断进行确定；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失；
通过候选区域响应图，找到响应图中的最小响应值Fmin，并计算该候选目标的APCE值，记为APCEcurrent；同时，上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCEaverage；该值从第二帧图像开始进行计算跟踪目标的APCEcurrent-2，第三帧图像中目标稳定跟踪后求取APCEcurrent-3后，APCEaverage等于APCEcurrent-2和APCEcurrent-3的平均值；待求取第四帧图像中跟踪目标的APCEcurrent-4后，APCEaverage等于APCEcurrent-4和第三帧图像求取的APCEaverage的平均值；以此类推，在目标稳定跟踪过程中，跟踪视频中第n帧图像中跟踪目标的APCEaverage等于第n帧跟踪目标的APCEcurrent-n和第n-1帧跟踪目标求取的APCEaverage的平均值；
判断当前帧的APCEcurrent是否大于预设震荡比例倍的APCEaverage；该预设震荡比例设定为0.4；当APCEcurrent>0.4×APCEaverage时，判断当前帧图像中的候选目标即为跟踪目标；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失。
本发明所述的复杂背景下目标稳定跟踪方法，进行跟踪结果可靠性的判定，确定是否每一帧的跟踪结果都用来更新。特别是当目标被遮挡，或者跟踪器已经跟的不好的时候，如果再去更新模型，只会使得跟踪器越来越无法识别目标，从而造成模型漂移问题。
另外，由于想要保证跟踪速度，就需要一种简单有效的模型更新策略，最好能够通过已经获得的一些资源来进行判断，而不需要进行太多复杂的计算。
因此，提出利用跟踪目标的最大响应值以及APCE值这两个判据进行模型的更新。只有当Fmax和APCE都以一定比例大于历史均值的时候，模型才进行更新。该方法一方面大大减少了模型漂移的情况，另一方面减少了模型更新的次数，达到了加速的效果。
更新分类器模型的方法如下：
用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCEaverage；
判断跟踪目标的Fmax是否大于预设响应比例的平均Fmax时，其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围为0-1，优选为0.7；在判断跟踪目标的Fmax大于预设比例的平均Fmax时，则直接进入下一步判断进行确定；否则，当前帧图像不进行模型更新；
判断跟踪目标的APCE值是否大于预设平均震荡比例的平均APCE值，所述预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围为0-1，该预设平均震荡比例优选为0.45；判断跟踪目标的APCE值大于预设平均震荡比例的平均APCE值时，对当前帧图像进行模型更新；否则，当前帧图像不进行模型更新；
按照下述公式对当前帧图像进行分类器模型更新；
其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数，取值为0.015。
本发明所述的复杂背景下目标稳定跟踪方法，通过候选样本与分类器模型之间的响应图振荡情况来设定跟踪丢失判断条件，从而能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况；同时，利用响应图中响应值的历史值来判断模型更新，减少了模型漂移的情况和模型更新的次数，在复杂场景中能够准确的从候选样本中选取出跟踪目标，实现目标的快速稳定跟踪。
附图说明
图1为本发明所述复杂背景下目标稳定跟踪方法流程示意图；
图2为实施例二的第1帧图像跟踪目标信息终端显示图；
图3为实施例二的第1帧图像跟踪目标显示图；
图4为实施例二的第2帧图像跟踪目标显示图；
图5为实施例二的跟踪目标从第2帧之后进入稳定跟踪终端显示图；
图6为实施例二的第5帧图像跟踪目标显示图；
图7为实施例二的跟踪目标进入持续稳定跟踪终端显示图；
图8为实施例二的第28帧图像跟踪目标显示图；
图9为实施例二的第96帧图像跟踪目标显示图；
图10为实施例二的第365帧图像跟踪目标显示图；
图11为实施例二的第388帧图像跟踪目标显示图。
具体实施方式
下面结合附图及实施例对本发明所述复杂背景下目标稳定跟踪方法进行详细说明。
实施例1
本发明所述的复杂背景下目标稳定跟踪方法，如图1所示，方法如下：
1、根据视频图像，获取当前帧图像；在首次跟踪时，需要包含跟踪目标信息的初始图像，以及包含初始图像的跟踪视频；该初始图像中，提供跟踪目标的左上角坐标以及宽度、高度等信息。其中初始图像中的跟踪目标信息可以通过检测算法自动提供，也可以通过人工框定的方式在初始图像中选取。
2、在当前帧图像上，以跟踪目标在上一帧图像中所在位置为中心，选取候选区域；
3、用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；
4、对候选目标进行跟踪失效判断；
5、判断候选目标为跟踪目标后，用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成视频图像中目标的稳定跟踪。
重复所述1-5，实现持续完成视频图像中目标的稳定跟踪。
本发明所述的复杂背景下目标稳定跟踪方法，在开始跟踪后，在对第n帧图像中的目标进行跟踪时(n>1)，以跟踪目标在前一帧中的中心点为中心，在当前帧中选择多个窗口作为候选区域。选取候选区域的方法如下：在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：
以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2倍或2.5倍；
以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；
以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。
本实施例中第一候选区域是以检测目标所在位置的中心点为中心，以跟踪目标在上一帧图像中宽和高的2.5倍为范围选取的1个候选区域，第二候选区域是以第一候选区域范围大小为基准，以其中心点为中心，以1.05倍的尺度因子选取的1个候选区域；第三候选区域是以第一候选区域范围大小为基准，以其中心点为中心，以1/1.05倍的尺度因子选取的1个候选区域。
考虑到目标在运动过程中，可能会发生尺度变化，可以以第一候选区域的范围大小为基础，在1＜k≤1.5的范围中再选取2个或3个尺度因子，如1.1、1.5以此确定多个候选区域，从而帮助分类器模型在更多的候选区域中精准的获取候选目标所对应的精确目标位置。
本发明所述的复杂背景下目标稳定跟踪方法，利用分类器模型求取候选区域的响应图的方法如下：
以初始图像中的目标区域的2倍或2.5倍进行扩展，并获取扩展后的目标区域对应的Hog特征向量；
根据扩展后的目标区域对应的Hog特征向量，建立分类器模型；
分类器模型的训练过程如下：
其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量，取值0.000001；目前大部分算法都是采用非正即负的方式来标记训练样本，即正样本标签为1，负样本为0。这种标记样本的方法有一个问题就是不能很好的反应每个负样本的权重，即对离目标中心远的样本和离目标中心的近的样本同等对待。本发明采用连续的标签进行标记样本，即根据样本中心距离目标中心的远近分别赋值0-1范围的数，且服从高斯分布。离目标越近，值越趋向于1，离目标越远，值越趋向于0。
在训练分类器模型之前，对初始图像中的目标区域进行一定倍数的扩展，使其扩展后的目标区域中含有部分背景信息。这不仅可以增加训练样本的数量，也可以使分类器模型学习到部分背景信息，提高分类器模型的精度。
因为Hog特征是一种多维特征，对目标的光照变化以及尺度变化具有鲁棒性，因此，通过对扩展后的目标区域进行提取Hog特征，利用该特征向量训练分类器模型。另外，将目标跟踪的问题转化为求解脊回归模型的问题，通过构建训练样本的循环矩阵，利用循环矩阵在傅里叶域中的可对角化特性，大大简化脊回归模型参数的求解过程，从而更加快速的得到目标分类器模型。
根据分类器模型，分别求解当前帧中三个尺度的候选区域对应的响应图；
其中，为表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,α表示上述所说的训练得到的分类器模型。
本发明所述的复杂背景下目标稳定跟踪方法，获得响应图中的最大响应值对应的目标位置的方法如下：本发明选取三个候选区域，第一候选区域为1倍、第二候选区域为1.05倍、第三候选区域为1/1.05倍三个尺度大小，分别记为Fmax-1.05，Fmax-1，Fmax-1/1.05；
通过分类器模型分别计算三个尺度下候选区域对应响应图中最大响应值；
引入尺度权重因子scale_weight，取值设定为0.95；
判断Fmax-1是否大于scale_weight与Fmax-1.05的乘积；当Fmax-1>scale_weight×Fmax-1.05时，则将Fmax-1认定为最大响应值Fmax’，则直接进入下一步判断进行确定；否则将Fmax-1.05认定为最大响应值Fmax’，也进入下一步判断进行确定，同时更新候选区域的信息；
判断Fmax’是否大于scale_weight与Fmax-1/1.05的乘积；当Fmax’>scale_weight×Fmax-1/1.05时，则将Fmax’认定为最大响应值Fmax，则直接进入下一步判断进行确定；否则将Fmax-1.05认定为最大响应值Fmax，同时更新候选区域的信息；
最终确定最大响应值Fmax所在的候选区域，即其所在位置为当前帧目标位置。
对候选目标进行跟踪失效判断的判断条件的设定方法如下：
根据确定的候选目标，判断该候选区域的最大响应值Fmax是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，预设响应值取值范围为0-1；
计算当前帧图像中候选区域的APCE值以及上一帧图像到第二帧图像中跟踪目标的平均APCE值；APCE值的求取公式如下：
其中Fmax为响应图中的最大响应值，Fmin为响应图中的最小响应值，Fw,h为响应图中对应(w，h)位置的响应值，mean为求取均值
当APCE值突然减小时，就是目标被遮挡，或者目标丢失，甚至目标模糊的情况。
判断该候选区域的APCE值是否大于预设震荡比例倍的平均APCE值；确定该跟踪目标的跟踪情况。
确定该跟踪目标的跟踪情况的方法如下：
通过获取候选区域的响应图，找到响应图中的最大响应值Fmax，判断Fmax是否大于预设响应值；预设响应值优选为0.3；当Fmax>0.3时，则直接进入下一步判断进行确定；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失；
通过候选区域响应图，找到响应图中的最小响应值Fmin，并计算该候选目标的APCE值，记为APCEcurrent；同时，上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCEaverage；该值从第二帧图像开始进行计算跟踪目标的APCEcurrent-2，第三帧图像中目标稳定跟踪后求取APCEcurrent-3后，APCEaverage等于APCEcurrent-2和APCEcurrent-3的平均值；待求取第四帧图像中跟踪目标的APCEcurrent-4后，APCEaverage等于APCEcurrent-4和第三帧图像求取的APCEaverage的平均值；以此类推，在目标稳定跟踪过程中，跟踪视频中第n帧图像中跟踪目标的APCEaverage等于第n帧跟踪目标的APCEcurrent-n和第n-1帧跟踪目标求取的APCEaverage的平均值；
判断当前帧的APCEcurrent是否大于0.4倍(预设震荡比例)的APCEaverage；当APCEcurrent>0.4×APCEaverage时，判断当前帧图像中的候选目标即为跟踪目标；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失。
本发明所述的复杂背景下目标稳定跟踪方法，更新分类器模型的方法如下：
用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCEaverage；
判断跟踪目标的Fmax是否大于预设响应比例倍的平均Fmax，设定该预设响应比例为0.7；当判断跟踪目标的Fmax大于预设比例的平均Fmax时，则直接进入下一步判断进行确定；否则，当前帧图像不进行模型更新；
判断跟踪目标的APCE值是否大于预设平均震荡比例倍的平均APCE值，设定该预设平均震荡比例为0.45；若判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE值时，对当前帧图像进行模型更新；否则，当前帧图像不进行模型更新；按照下述公式对当前帧图像进行模型更新；
其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数，取值为0.015。
实施2
在实施例1的基础上，本实施例中的视频采用外场采集的无人机视频，主要针对低空如建筑物、树丛及干扰物等复杂场景对无人机目标进行实时的检测和跟踪。
视频开始时，获取第1帧图像中跟踪目标信息。如图2所示，本实施例通过检测算法发送第1帧图像中目标的信息在终端上，如图3所示，同时在第1帧图像上显示跟踪目标框。该视频第1帧图像中场景比较复杂，而且跟踪目标周围有干扰物影响，给跟踪带来了很大的难度。
第2帧图像开始进入跟踪状态，用第1帧图像中跟踪目标生成的分类器模型去判断第2帧中候选样本是否为跟踪目标。首先，计算出三个尺度下的候选样本对应响应图的响应峰值分别为：Fmax-1.05＝0.4828，Fmax-1＝0.5163，Fmax-1/1.05＝0.5064；其次确定最大响应值的候选样本，由于Fmax-1>0.95×Fmax-1.05且Fmax-1>0.95×Fmax-1/1.05，确定Fmax＝0.5163且满足Fmax>0.3的判断图条件，因此可以确定目标所在位置；再次，计算响应图的APCE值，此时APCE＝16.46。从图4中看出，本发明所述方法能够在背景复杂且部分遮挡的情况下，继续跟踪目标。
从第2帧图像之后，目标进入稳定跟踪状态，持续返回跟踪成功的标志为1，否则为0，如图5所示。此时视频进入第5帧图像，首先，计算出三个尺度下的候选样本对应响应图的响应峰值分别为：Fmax-1.05＝0.4420，Fmax-1＝0.4828，Fmax-1/1.05＝0.4959；其次确定最大响应值的候选样本，由于Fmax-1>0.95×Fmax-1.05且Fmax-1>0.95×Fmax-1/1.05，确定Fmax＝0.4828且满足Fmax>0.3的判断条件，因此可以确定目标所在位置；再次，计算响应图的APCE值，此时APCE＝17.8574，最后比较Fmax和APCE与两者的历史均值，此时Fmax-average＝0.3728，APCEaverage＝12.2598，且满足APCE>0.4×APCEaverage的判断条件，说明当前帧图像跟踪目标成功。从图6可以看出，目标从图4中半遮挡的情况移动到图6中无遮挡的情况，跟踪框始终在目标上，结合图5中持续返回跟踪成功的标志，表明本发明所述方法在复杂场景中能够准确的从候选样本中选取出跟踪目标，且跟踪稳定性较强。
通过终端界面的输出可以看出，本发明所述方法能够保证稳定跟踪，如图7所示。从第2帧开始到第28帧，目标进入持续稳定跟踪状态，一直返回跟踪成功的标志1。此外，通过视频图像中目标穿越遮挡仍然能够保持稳定跟踪状态可以得到证实，如图8所示。结合图3、图4、图6、图8中目标的飞行轨迹以及图7的持续返回成功的标志，可以判断目标已经两次成功避开遮挡物的影响，持续稳定的锁定在跟踪框内。
从对本实施例的视频图像中目标的跟踪结果发现，本发明所述方法具备很强的抗干扰能力，如图9所示，目标周围有树枝、电线杆以及电线的影响，但是仍然保持稳定跟踪状态；另外，本发明所述的方法具备复杂背景下稳定跟踪的能力，如图10所示，结合图9说明跟踪框已经跟随目标从树的右端移动到树的左端。
最后，从对本实施例的视频图像中目标的跟踪结果还发现，本发明所述方法能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况，如图11所示，目标从第388帧之后开始变得模糊，所以导致丢失判断生效，目标跟踪失败。
从上述实施例可见，本发明所述方法通过候选样本与分类器模型之间的响应图振荡情况来设定跟踪丢失判断条件，同时，利用响应图中响应值的历史值来判断模型更新，大大减少了模型漂移的情况，减少了模型更新的次数，且能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况，实现目标的快速稳定跟踪。

Claims (10)

1.一种复杂背景下目标稳定跟踪方法，其特征在于，该方法如下：
获取视频图像的当前帧图像；
在当前帧图像上选取候选区域；
用分类器模型获取候选目标所对应的目标位置；
对候选目标进行跟踪失效判断，当候选目标为跟踪目标时，用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成视频图像中目标的稳定跟踪。
2.根据权利要求1所述复杂背景下目标稳定跟踪方法，其特征在于，该方法如下：
根据视频图像，获取当前帧图像；
在当前帧图像上，以跟踪目标在上一帧图像中所在位置为中心，选取候选区域；
用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；
对候选目标进行跟踪失效判断；
判断候选目标为跟踪目标后，用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成视频图像中目标的稳定跟踪。
3.根据权利要求2所述复杂背景下目标稳定跟踪方法，其特征在于，该方法重复权2，实现持续完成视频图像中目标的稳定跟踪。
4.根据权利要求2或3所述复杂背景下目标稳定跟踪方法，其特征在于，获取当前帧图像的方式为通过检测算法自动获取或通过人工框定选取。
5.根据权利要求4所述复杂背景下目标稳定跟踪方法，其特征在于，在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：
以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2-2.5倍；
以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；
以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。
6.根据权利要求5所述复杂背景下目标稳定跟踪方法，其特征在于，用分类器模型求取候选区域的响应图的方法如下：
对跟踪目标进行扩展，并获取扩展后的目标区域所对应的Hog特征向量；
根据扩展后的目标区域对应的Hog特征向量，建立分类器模型；
分类器模型的训练过程如下：
其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量；
根据分类器模型，分别求解当前帧中三个尺度的候选区域对应的响应图；
其中，为表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,表示分类器模型。
7.根据权利要求6所述复杂背景下目标稳定跟踪方法，其特征在于，获得响应图中的最大响应值对应的目标位置的方法如下：
通过分类器模型分别计算3-7个候选区域所对应响应图中的最大响应值，其中第一候选区域的最大响应值记为FmaxA，以k为尺度因子，选取的候选区域的最大响应值记为FmaxA′,以1/k为尺度因子，选取的候选区域的最大响应值记为FmaxA″，其中A为第一候选区域，A′为以k为尺度因子选取的候选区域，A″为以1/k为尺度因子选取的候选区域；
同时，引入尺度权重因子scale_weight，设定其取值范围在0.9-1之间；
判断FmaxA是否大于scale_weight与FmaxA′的乘积；
当FmaxA>scale_weight×FmaxA′时，则认定FmaxA为最大响应值Fmax’，进入下一步判断；否则认定FmaxA′为最大响应值Fmax’，进入下一步判断，同时更新候选区域的信息；
判断Fmax’是否大于scale_weight与FmaxA″的乘积；
当Fmax’>scale_weight×FmaxA″时，则认定Fmax’为最大响应值Fmax，则直接进入下一步；否则认定FmaxA′为最大响应值Fmax，同时更新候选区域的信息；
最大响应值Fmax所在的候选区域，即为当前帧目标最可能出现的位置。
8.根据权利要求7所述复杂背景下目标稳定跟踪方法，其特征在于，对候选目标进行跟踪失效判断的判断条件的设定方法如下：
根据确定的候选目标，判断该候选区域的最大响应值Fmax是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，预设响应值取值范围为0-1；
计算当前帧图像中候选区域的APCE值以及上一帧图像到第二帧图像中跟踪目标的平均APCE值；
其中：APCE值的求取公式如下：
其中Fmax为响应图中的最大响应值，Fmin为响应图中的最小响应值，Fw,h为响应图中对应(w，h)位置的响应值，mean为求取均值；
判断该候选区域的APCE值是否大于预设震荡比例的平均APCE值；确定该跟踪目标的跟踪情况。
9.根据权利要求8所述复杂背景下目标稳定跟踪方法，其特征在于，确定该跟踪目标的跟踪情况的方法如下：
通过获取候选区域的响应图，找到响应图中的最大响应值Fmax，判断Fmax是否大于预设响应值；预设响应值优选为0.3，当Fmax>0.3时，则直接进入下一步判断进行确定；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失；
通过候选区域响应图，找到响应图中的最小响应值Fmin，并计算该候选目标的APCE值，记为APCEcurrent；同时，上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCEaverage；该值从第二帧图像开始进行计算跟踪目标的APCEcurrent-2，第三帧图像中目标稳定跟踪后求取APCEcurrent-3后，APCEaverage等于APCEcurrent-2和APCEcurrent-3的平均值；待求取第四帧图像中跟踪目标的APCEcurrent-4后，APCEaverage等于APCEcurrent-4和第三帧图像求取的APCEaverage的平均值；以此类推，在目标稳定跟踪过程中，跟踪视频中第n帧图像中跟踪目标的APCEaverage等于第n帧跟踪目标的APCEcurrent-n和第n-1帧跟踪目标求取的APCEaverage的平均值；
判断当前帧的APCEcurrent是否大于预设震荡比例的APCEaverage；该预设震荡比例设定为0.4；当APCEcurrent>0.4×APCEaverage时，判断当前帧图像中的候选目标即为跟踪目标；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失。
10.根据权利要求9所述复杂背景下目标稳定跟踪方法，其特征在于，更新分类器模型的方法如下：
用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCEaverage；
判断跟踪目标的Fmax是否大于预设响应比例的平均Fmax时，其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围为0-1之间；当跟踪目标的Fmax大于预设响应比例的平均Fmax时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；
判断跟踪目标的APCE值是否大于预设平均震荡比例的平均APCE值，所述预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围为0-1之间；若跟踪目标的APCE值大于预设平均震荡比例的平均APCE值时，对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；
分类器模型更新公式如下：
其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数。
CN201810449655.5A 2018-05-11 2018-05-11 一种复杂背景下目标稳定跟踪方法 Pending CN108694723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810449655.5A CN108694723A (zh) 2018-05-11 2018-05-11 一种复杂背景下目标稳定跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810449655.5A CN108694723A (zh) 2018-05-11 2018-05-11 一种复杂背景下目标稳定跟踪方法

Publications (1)

Publication Number Publication Date
CN108694723A true CN108694723A (zh) 2018-10-23

Family

ID=63846242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810449655.5A Pending CN108694723A (zh) 2018-05-11 2018-05-11 一种复杂背景下目标稳定跟踪方法

Country Status (1)

Country Link
CN (1) CN108694723A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685826A (zh) * 2018-11-27 2019-04-26 哈尔滨工业大学（深圳） 自适应特征选择的目标追踪方法、系统及存储介质
CN110033473A (zh) * 2019-04-15 2019-07-19 西安电子科技大学 基于模板匹配和深度分类网络的运动目标跟踪方法
CN110211158A (zh) * 2019-06-04 2019-09-06 海信集团有限公司 候选区域确定方法、装置及存储介质
CN110533690A (zh) * 2019-08-08 2019-12-03 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN111161323A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN111476821A (zh) * 2020-04-03 2020-07-31 河海大学 基于在线学习的目标跟踪方法
CN114842048A (zh) * 2022-04-11 2022-08-02 北京航天晨信科技有限责任公司 目标跟踪方法、系统、可读存储介质及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140348390A1 (en) * 2013-05-21 2014-11-27 Peking University Founder Group Co., Ltd. Method and apparatus for detecting traffic monitoring video
CN106204638A (zh) * 2016-06-29 2016-12-07 西安电子科技大学 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107123130A (zh) * 2017-03-06 2017-09-01 华南理工大学 一种基于超像素和混合哈希的核相关滤波目标跟踪方法
CN107424171A (zh) * 2017-07-21 2017-12-01 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140348390A1 (en) * 2013-05-21 2014-11-27 Peking University Founder Group Co., Ltd. Method and apparatus for detecting traffic monitoring video
CN106204638A (zh) * 2016-06-29 2016-12-07 西安电子科技大学 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107123130A (zh) * 2017-03-06 2017-09-01 华南理工大学 一种基于超像素和混合哈希的核相关滤波目标跟踪方法
CN107424171A (zh) * 2017-07-21 2017-12-01 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARTIN DANELLJAN 等: "Accurate Scale Estimation for Robust Visual Tracking", 《BRITISH MACHINE VISION CONFERENCE》 *
MENGMENG WANG 等: "Large Margin Object Tracking with Circulant Feature Maps", 《ARXIV》 *
范栋轶 等: "基于 KCF 与颜色直方图融合的长时目标跟踪算法", 《2017中国自动化大会（CAC 2017）》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685826A (zh) * 2018-11-27 2019-04-26 哈尔滨工业大学（深圳） 自适应特征选择的目标追踪方法、系统及存储介质
CN110033473A (zh) * 2019-04-15 2019-07-19 西安电子科技大学 基于模板匹配和深度分类网络的运动目标跟踪方法
CN110033473B (zh) * 2019-04-15 2021-04-20 西安电子科技大学 基于模板匹配和深度分类网络的运动目标跟踪方法
CN110211158A (zh) * 2019-06-04 2019-09-06 海信集团有限公司 候选区域确定方法、装置及存储介质
CN110211158B (zh) * 2019-06-04 2023-03-28 海信集团有限公司 候选区域确定方法、装置及存储介质
CN110533690A (zh) * 2019-08-08 2019-12-03 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN110533690B (zh) * 2019-08-08 2022-02-11 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN111161323A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN111476821A (zh) * 2020-04-03 2020-07-31 河海大学 基于在线学习的目标跟踪方法
CN111476821B (zh) * 2020-04-03 2022-08-05 河海大学 基于在线学习的目标跟踪方法
CN114842048A (zh) * 2022-04-11 2022-08-02 北京航天晨信科技有限责任公司 目标跟踪方法、系统、可读存储介质及计算机设备

Similar Documents

Publication Publication Date Title
CN108694723A (zh) 一种复杂背景下目标稳定跟踪方法
CN108694724A (zh) 一种长时间目标跟踪方法
Xiao et al. Dynamic-SLAM: Semantic monocular visual localization and mapping based on deep learning in dynamic environment
CN108765452A (zh) 一种复杂背景下运动目标检测与跟踪方法
WO2021135554A1 (zh) 一种无人车全局路径规划方法和装置
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
CN106169188B (zh) 一种基于蒙特卡洛树搜索的对象跟踪方法
CN103440484B (zh) 一种适应室外大空间的火焰检测方法
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
Pirker et al. CD SLAM-continuous localization and mapping in a dynamic world
CN107146238B (zh) 基于特征块优选的运动目标跟踪方法
CN110672088B (zh) 一种仿信鸽地貌感知归巢机制的无人机自主导航方法
CN113377888B (zh) 训练目标检测模型和检测目标的方法
CN110009060A (zh) 一种基于相关滤波与目标检测的鲁棒性长期跟踪方法
CN106778484A (zh) 交通场景下的运动车辆跟踪方法
CN109712171A (zh) 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN107436434A (zh) 基于双向多普勒估计的航迹起始方法
Zeng et al. Deep reinforcement learning for next-best-view planning in agricultural applications
Jaafra et al. Context-aware autonomous driving using meta-reinforcement learning
CN102129559A (zh) 基于Primal Sketch算法的SAR图像目标检测方法
Shah et al. Detection of different types of blood cells: A comparative analysis
CN111611869B (zh) 一种基于串行深度神经网络的端到端单目视觉避障方法
Bu et al. Carla simulated data for rare road object detection
Islam et al. ARD-SLAM: Accurate and robust dynamic SLAM using dynamic object identification and improved multi-view geometrical approaches
Lu et al. Hybrid deep learning based moving object detection via motion prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181023