CN110751670A - 一种基于融合的目标跟踪方法 - Google Patents

一种基于融合的目标跟踪方法 Download PDF

Info

Publication number
CN110751670A
CN110751670A CN201810812948.5A CN201810812948A CN110751670A CN 110751670 A CN110751670 A CN 110751670A CN 201810812948 A CN201810812948 A CN 201810812948A CN 110751670 A CN110751670 A CN 110751670A
Authority
CN
China
Prior art keywords
response
target
kernel
tracking method
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810812948.5A
Other languages
English (en)
Other versions
CN110751670B (zh
Inventor
戴伟聪
金龙旭
李国宁
程博阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201810812948.5A priority Critical patent/CN110751670B/zh
Publication of CN110751670A publication Critical patent/CN110751670A/zh
Application granted granted Critical
Publication of CN110751670B publication Critical patent/CN110751670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种基于融合的目标跟踪方法，该目标跟踪方法分别训练核相关滤波器和贝叶斯分类器，并采用加权平均法集成核相关滤波的响应和贝叶斯分类器的响应，并基于贝叶斯分类器和方向梯度直方图特征融合成一种新的特征，该新的特征能够有效地增强相关滤波器的判别能力。进一步地，本发明实施例的目标跟踪方法采用Sigmoid更新模型从而能够自适应调整模型学习率，Sigmoid更新模型能够使贝叶斯分类器自适应地更新，避免模型被不良样本所污染，从而能够在多种工况下实时且准确地跟踪目标。

Description

一种基于融合的目标跟踪方法
技术领域
本发明涉及计算机图像处理的技术领域，具体涉及一种基于融合的目标 跟踪方法。
背景技术
目标跟踪是计算机视觉领域中一个基础的研究问题，目标跟踪在机器人、 视频监控、无人机等领域内广泛应用。目标跟踪主要是根据目标在视频中第 一帧的位置，估计目标在后续视频序列帧中出现的轨迹。
目前，目标跟踪的方法主要包括两大类：判别类与生成类。生成类的目 标跟踪方法主要是运用生成模型描述目标的表观特征，在后序序列中找到与 目标外观最相似的特征，从而完成目标跟踪。由于生成类的目标跟踪方法的 性能较差，已经逐步被淘汰使用了。判别类的目标跟踪方法主要是运用机器 学习在线训练一个二分类器，然后在后序序列视频帧中运用该分类器进行目 标检测，从而完成目标跟踪。由于判别类的目标跟踪方法需要大量的训练样 本以增强判别能力，因此，判别类的目标跟踪方法无法同时兼顾实时性和准确性。
近年来，核相关滤波器的引入有效地解决判决类的目标跟踪方法的实时 性问题。采用核相关滤波器的判别类目标跟踪方法使用大量循环样本训练分 类器，并将数据的运算转换到频域内进行，从而以小代价有效地提升了分类 器的性能。但是，采用核相关滤波器的判别类目标跟踪方法存在两个个问题： 核相关滤波训练岭回归分类器所使用的循环样本只是真实样本的一个弱近似， 很容易产生边界效应，从而使得岭回归分类器的判别能力受到限制；核相关 滤波器所使用的方向梯度直方图特征(HOG)和颜色属性(CN)不能充分地 表现目标的特征。进一步地，核相关滤波类目标跟踪方法由于每帧都是以一 个固定的学习率线性加权更新模型，一旦在目标跟踪过程中出现定位不准、 目标遮挡、背景扰动等情况时，模型就会被迅速污染，导致模型漂移。
因此，针对现有的采用核相关滤波器的目标跟踪方法存在的问题，需要 提供一种更能够表现目标特征且能自适应地调整模型学习率的目标跟踪方法。
发明内容
针对现有采用核相关滤波器的目标跟踪方法存在的问题，本发明实施例 提出一种基于融合的目标跟踪方法。本发明实施例所提供的目标跟踪方法， 融合了核相关滤波器和贝叶斯分类器，并基于贝叶斯分类器与方向梯度直方 图特征(HOG)提出一种更能表现目标的特征。进一步地，本发明实施例所 提供的目标跟踪方法还能够自适应地调整模型的学习率，避免模型被不良样 本所污染，使得该跟踪方法的鲁棒性更强。
该基于融合的目标跟踪方法的具体方案如下：一种基于融合的目标跟踪 方法，包括步骤S1：根据初始图像帧，获取目标初始信息；步骤S2：在贝叶 斯分类器区域提取颜色直方图，并且训练贝叶斯分类器；步骤S3：在核相关 滤波区域提取前第一阈值维数的梯度直方图特征，第二阈值维数的颜色属性 特征，并采用所述贝叶斯分类器计算所述核相关滤波区域中像素级的颜色概 率图，再从所述像素级的颜色概率图中提取前第三阈值维数的梯度直方图特 征；步骤S4：采用所述贝叶斯分类器检测目标，获得贝叶斯分类器的响应图；步骤S5：初始化尺度滤波器，提取梯度直方图特征并将所提取的梯度直方图 特征作为目标特征，采用主成份分析法压缩所述目标特征的维数；步骤S6： 在核相关区域内检测目标，获得核相关滤波的响应图，并将所述核相关滤波 的响应图的大小调整至与贝叶斯分类器的响应图的大小一致；步骤S7：融合 所述贝叶斯分类器的响应图和所述核相关滤波的响应图，获得最终响应图， 在所述最终响应图中响应最大值处为所述目标的新位置；步骤S8：在所述目 标的新位置处，调用尺度滤波器，并选取响应最大的尺度作为新的尺度，更 新目标尺寸、前景区域和背景区域；步骤S9：采用Sigmoid函数作为更新模 型，更新所述核相关滤波器、所述颜色直方图和所述尺度滤波器；步骤S10： 获得下一帧图像，重复步骤S4、S5、S6、S7、S8、S9，直至视频结束。
优选地，所述目标初始信息包括目标位置、目标长度和目标宽度。
优选地，所述第一阈值维数为28维，第二阈值维数为10维，第三阈值 维数为28维。
优选地，在步骤S7中采用加权平均的方法融合所述贝叶斯分类器的响应 图和所述核相关滤波的响应图，具体的表达式如下所示：
response＝(1-αmerge)response_cf+αmerge·response_pwp，
其中，response_cf为核相关滤波器的响应，response_pwp为贝叶斯分类器的 响应，αmerge为加权系数。
优选地，所述核相关滤波的表达式为：minw∑i(f(xi)-yi)2+λ‖w‖2， 其中，f(x)＝wTx，x为样本特征，w为核相关滤波器，y为样本的回归值，λ是正 则化系数。
优选地，所述贝叶斯分类器的具体实现过程表达式如下所示：
Figure BDA0001739616700000031
其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，cx表 示像素x属于RGB颜色直方图的第c条柱。
优选地，对所述P(x∈O|F,B,cx)进行积分，获得贝叶斯分类器的响应图。
优选地，尺度滤波器的生成过程包括步骤：
在目标位置附近提取大小为anH×anW的图像块，其中，
Figure BDA0001739616700000032
S是尺度滤波器的尺寸，a表示着尺度因子,H是前一帧目标的高度，W是前一 帧目标的宽度；
对上述每一个图像块分别训练一个核相关滤波器，构成尺度滤波器。
优选地，更新核相关滤波模型的公式如下：
Figure BDA0001739616700000033
Figure BDA0001739616700000034
Figure BDA0001739616700000035
其中，ηcf是核相关滤波器的学习率。
Figure BDA0001739616700000036
为在第t帧的
Figure BDA0001739616700000037
用于更新t-1帧 时的模型
Figure BDA0001739616700000038
是第t帧时
Figure BDA0001739616700000039
的模型，
Figure BDA00017396167000000310
为所提取特征的傅里叶变换。
优选地，更新贝叶斯分类器的颜色直方图的公式如下：
Figure BDA00017396167000000311
Figure BDA00017396167000000312
Figure BDA0001739616700000041
其中，
Figure BDA0001739616700000042
是t时刻的背景颜色直方图，ηp是贝叶斯分类器的学习率，
Figure BDA0001739616700000043
是t时刻的前景颜色直方图，fhist,,t是t时刻从目标提取的用于更新的前景颜色 直方图，Mean_cf是核相关滤波的前n帧响应峰值的均值，max_cf是当前帧的 核相关滤波的响应峰值，Mean_pwp是贝叶斯分类器响应图的前n帧响应峰值 的均值，max_pwp是当前帧的贝叶斯分类器响应图的响应峰值。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例提供一种基于融合的目标跟踪方法，该方法分别训练核相 关滤波器和贝叶斯分类器，并采用加权平均法集成核相关滤波的响应和贝叶 斯分类器的响应，并基于贝叶斯分类器和方向梯度直方图特征融合成一种新 的特征，该新的特征能够有效地增强相关滤波器的判别能力。进一步地，本 发明实施例采用Sigmoid更新模型从而能够自适应调整模型学习率，Sigmoid 更新模型能够使贝叶斯分类器自适应地更新，避免模型被不良样本所污染， 从而能够在多种工况下实时且准确地跟踪目标。
附图说明
图1为本发明实施例提供的基于融合的目标跟踪方法的流程示意图；
图2为图1所示实施例的一种简化流程示意图；
图3为本发明实施例所提出的基于融合的目标跟踪方法的跟踪性能在 OTB2013测试集上的结果示意图；
图4为本发明实施例所提出的基于融合的目标跟踪方法中的Sigmoid学习 率模型在序列Face0cc1中的示意图；
图5为本发明实施例所提出的基于融合的目标跟踪方法(Proposed，实线 所示)与DSST(虚线所示)、KCF(点划线所示)在Leming序列中的比较示 意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第 三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺 序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里 描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外， 术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如， 包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地 列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方 法、产品或设备固有的其它步骤或单元。
如图1所示，本发明实施例基于融合的目标跟踪方法包括十个步骤。具 体如下所示：
步骤S1：根据初始图像帧，获取目标初始信息。在该实施例中，目标初 始信息包括目标位置、目标长度和目标宽度。进一步地，在步骤S1中，还包 括一些初始化参数、初始化区域的常规初始化操作。
步骤S2：在贝叶斯分类器区域提取颜色直方图，并且训练贝叶斯分类器。 在该实施例中，贝叶斯分类器区域具体包括前景区域和背景区域。步骤S2的 具体过程为：从前景区域与背景区域计算初始前景与背景颜色直方图fhist，bhist。 计算颜色直方图的具体过程包括：将颜色空间的像素值[0,255]均分为若干个 颜色区间，每个小区间称为直方图的一个直方柱(bin)，统计落在每一个组(bin) 中的像素点的个数。在该实施例中，颜色直方图的直方柱宽度的优选值为8。 在其他实施例中，颜色直方图的直方柱宽度也可以为其他数值，如5，7，9， 10等。
步骤S3：在核相关滤波区域提取前第一阈值维数的梯度直方图特征，第 二阈值维数的颜色属性特征，并采用所述贝叶斯分类器计算所述核相关滤波 区域中像素级的颜色概率图，再从所述像素级的颜色概率图中提取前第三阈 值维数的梯度直方图特征。在该实施例中，第一阈值维数为28维，第二阈值 维数为10维，第三阈值维数为28维。在其他实施例中，第一阈值维数、第 二阈值维数及第三阈值维数也可以取其他数值，可根据目标的不同或跟踪精 度的要求不同而自行设定。步骤S3的具体执行过程为：初始化核相关滤波器， 根据目标中心提取样本模板x，对其进行循环移位构造大量的训练样本xi；提 取前28维梯度直方图特征(HOG特征)和前10维颜色属性特征(CN特征)， 使用贝叶斯分类器计算区域中每个像素的颜色概率图并提取前梯度直方图特 征(HOG特征)。
在该实施例中，核相关滤波器的滤波模板可以通过求解如公式1所示的 岭回归方程来获得：
minw∑i(f(xi)-yi)2+λ‖w‖2 (公式1)
其中，f(x)＝wTx，x为样本特征，w为核相关滤波器，λ是正则化系数。y为 样本的回归值，在[0,1]之间，y的大小由循环样本与原始样本的距离决定。w 表示为一系列训练样本
Figure BDA0001739616700000061
的加权和，具体的表达式如公式2所示：
Figure BDA0001739616700000062
其中，
Figure BDA0001739616700000063
是将训练样本映射到高维特征空间的函数。
定义核函数
Figure BDA0001739616700000064
其中，核函数k为高斯核函数。n×n的 核矩阵K由所有样本的点乘Kij＝k(xi,xj)组成。核函数k是酉不变核函数， 因此，核矩阵K是循环矩阵。
岭回归方程的闭合解如公式3所示：
α＝(K+λI)-1y (公式3)
由于核矩阵K是循环矩阵，对公式3做傅里叶变换，以在频域简化计算 可得公式4
Figure BDA0001739616700000065
其中，kxx是核矩阵K＝C(kxx)的第一行元素，^表示傅里叶变换。在本发明实 施例中，核采用高斯核。
步骤S4：采用所述贝叶斯分类器检测目标，获得贝叶斯分类器的响应图。 在该实施例中，通过贝叶斯法则构造一个判别式模型去跟踪目标。为了使分 类器能将物体O从图像I中分辨出，我们在位置x构造一个基于RGB颜色直 方图的贝叶斯分类器以获得x处像素的属于目标的概率。贝叶斯分类器的具 体实现过程表达式如公式5所示：
Figure BDA0001739616700000071
其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，cx表 示像素x属于RGB颜色直方图的第c条柱(bins)。
Figure BDA0001739616700000072
表示在区域A∈I中 属于RGB颜色直方图的第c条直方柱(bin)中的像素总数。
为了简化计算，本发明从RGB颜色直方图中估计颜色概率的具体表达式 如公式6所示：
Figure BDA0001739616700000073
公式6可以改写成公式7：
Figure BDA0001739616700000074
对P(x∈O|F,B,cx)使用积分图可计算获得贝叶斯分类器的响应图 response_pwp。如果视频为灰度视频序列，则将颜色直方图设置为一维。
步骤S5：初始化尺度滤波器，提取梯度直方图特征并将所提取的梯度直 方图特征作为目标特征，采用主成份分析法压缩所述目标特征的维数。在该 实施例中，在目标位置附近提取大小为anH×anW的图像块，其中，
Figure BDA0001739616700000075
S代表尺度滤波器的尺寸，a表示着尺度因子,H与W是前 一帧目标高和宽。在该实施例中，令S＝17，a＝1.02。通过对每个图像块分别 训练一个相关滤波器来构成尺度滤波器。再将所有图像块调整到同一大小， 提取梯度直方图特征(HOG特征)前28维的特征作为特征，并且通过主成 分分析法将近特征压缩至17维，最终生成尺度相关滤波器。
步骤S6：在核相关区域内检测目标，获得核相关滤波的响应图，并将所 述核相关滤波的响应图的大小调整至与贝叶斯分类器的响应图的大小一致。 该步骤的详细过程为：在核相关区域检测目标，以前一帧目标中心为初始中 心提取图像块z，循环移位获得候选样本集zi，使用滤波模板检测获得核相关 滤波响应图，并且将核相关滤波响应响应图调整到与贝叶斯分类器响应图的 大小一致。对输入图像块z，贝叶斯分类器的响应表达式如公式8所示：
Figure RE-GDA0001809528260000081
由于训练样本由基准样本x循环移位构成，候选图像块由基准图像块z 循环移位构成，利用酉不变核函数定理，可知为Kz循环矩阵的表达式如公式 9所示：
Kz＝C(kxz) (公式9)
其中，Kz表示训练样本和所有候选图像块之间的核矩阵,kxz表示x和z之间的 核相关。
结合公式8和公式9，所有候选图像块的响应如表达式10所示：
f(z)＝Kzα (公式10)
对公式10进行离散傅里叶变换，以在频域简化计算。频域的表达式如公 式11所示：
Figure BDA0001739616700000082
在该实施例中，核采用高斯核，进行傅里叶逆变换即可获得核相关滤波 响应。
步骤S7：融合所述贝叶斯分类器的响应图和所述核相关滤波的响应图， 获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置。 在该实施例中，采用加权平均的方法融合所述贝叶斯分类器的响应图和所述 核相关滤波的响应图，具体的表达式如公式12所示：
response＝(1-αmerge)response_cf+αmerge·response_pwp (公式12)
其中，response_cf为核相关滤波器的响应，response_pwp为贝叶斯分类器的 响应，αmerge为加权系数。αmerge的优选值为0.25。
步骤S8：在所述目标的新位置处，调用尺度滤波器，并选取响应最大的尺 度作为新的尺度，更新目标尺寸、前景区域和背景区域。在新的位置，提取 17个不同的尺度的图像块，并调整到同一大小，循环移位产生候选尺度图像； 再调用尺度相关滤波器对候选尺度图像进行检测；并且将17个尺度响应通过 三角多项式插值为33个尺度响应；最后选取响应最大的尺度为新的尺度；更 新目标大小，同时更新目标的前景区域与背景区域，更新尺度滤波器。
步骤S9：采用Sigmoid函数作为更新模型，更新所述核相关滤波器、所述 颜色直方图和所述尺度滤波器。本发明实施例，从神经网络的激活函数sigmoid 函数获得灵感，提出sigmoid更新模型用以更新核相关滤波器与颜色直方图。 当样本质量极差时，学习率接近于0，并且随响应增加，样本质量快速提高， 学习率开始快速提高，当响应达到平均响应值时，本发明实施例假定当样本 质量已经足够优秀，随响应增加，样本间的差别不大，学习率增加速度变小， 学习率接近某一常数。
更新核相关滤波模型的公式如公式13至公式15所示：
Figure BDA0001739616700000091
Figure BDA0001739616700000092
Figure BDA0001739616700000093
其中
Figure BDA0001739616700000094
是表示(7)式中的在第t帧时的模型，ηcf是背景感知的相关滤 波器的学习率。
Figure BDA0001739616700000096
为在第t帧的
Figure BDA0001739616700000097
用于更新t-1帧时的模型
Figure BDA0001739616700000098
是第t帧 时
Figure BDA0001739616700000099
的模型，
Figure BDA00017396167000000910
为所提取特征的傅里叶变换。
更新贝叶斯分类器的颜色直方图的公式如公式16至公式18所示：
Figure BDA00017396167000000911
Figure BDA00017396167000000912
其中，
Figure BDA00017396167000000913
是t时刻的背景颜色直方图，ηp是贝叶斯分类器的学习率，
Figure BDA00017396167000000914
是t时刻的前景颜色直方图，fhist,,t是t时刻从目标提取的用于更新的前景颜色 直方图。
Figure BDA00017396167000000915
其中，Mean_cf是核相关滤波的前n帧响应峰值的均值，max_cf是当前帧的 核相关滤波的响应峰值，Mean_pwp是贝叶斯分类器响应图的前n帧响应峰值 的均值，max_pwp是当前帧的贝叶斯分类器响应图的响应峰值。在本发明实 施例中，采用优选值n＝30，并且前n帧使用线性插值更新核相关滤波器和颜 色直方图，学习率分别使用优选值b＝0.02与c＝0.04。
步骤S10：获得下一帧图像，重复步骤S4、S5、S6、S7、S8、S9，直至 视频结束。
在该实施例中，有关核相关滤波器滤波、贝叶斯分类器分类及尺度相关 滤波器的操作步骤可以进行顺序互换或者并列执行，因为这三个步骤执行并 未有结果依赖关系。
如图2所示，为图1所示实施例的一种简化流程示意图。开始跟踪后，首 先进行初始化，再分别训练贝叶斯分类器和训练位置滤波器(即核相关滤波 器)，训练尺度滤波器，再分别检测新位置和检测新目标，再将贝叶斯分类器 的响应和核相关滤波的响应进行融合以获得目标的新位置，再检测新尺度， 再分别更新核相关滤波器、更新贝叶斯分类器、更详细尺度滤波器，再判断 是否需要继续跟踪，若需要继续跟踪，则重复上述步骤，直至视频结束。
在该实施例中，目标跟踪方法基于贝叶斯分类器和方向梯度直方图特征 融合成一种新的特征，该新的特征能够有效地增强相关滤波器的判别能力。 进一步地，本发明实施例采用Sigmoid更新模型从而能够自适应调整模型学习 率，Sigmoid更新模型能够使贝叶斯分类器自适应地更新，避免模型被不良样 本所污染，从而能够在多种工况下实时且准确地跟踪目标。
如图3所示，本发明实施例所提出的基于融合的目标跟踪方法的跟踪性 能在OTB2013测试集(图3a)及OTB2015测试集(图3b)上的结果。OTB2013 测试集及OTB2015测试集是近几年中提出的最权威的目标跟踪测试集，其评 价标准有精度(precision)和成功率(success rate)。其中,OPE意味着一次通过实 验，precision是中心误差在20个像素内的帧数与总帧数之比；Success rate 是算法给出success曲线下的面积，success曲线的评价标准是由人工标注的跟 踪框与算法的跟踪框间的交叠比。如图3所示，本发明实施例所提出的跟踪 方法(proposed曲线)在成功率和精度上都优于现有的目标跟踪方法。
如表1所示，本发明实施例所提供的基于融合的目标跟踪方法(Proposed) 与其他目标跟踪方法(DCF、Staple、SAMF、DSST、SRDCF)在OTB2013 测试集上各个属性的定量比较。用于定量比较的属性包括：快速移动、背景 斑杂、运动模糊、变形、光照变化、低分辨率、遮挡、平面外旋转、移出视 野、尺度变化和平面内旋转。从表1中的数值比较可得，本发明实施例所提 供的基于融合的目标跟踪方法(Proposed)在上述属性方面都有优异的表现。
表1各种属性下本发明实施例所提供的基于融合的目标跟踪方法(Proposed)与其他先进目标跟踪方法在OTB2013测试集上的对比表
属性 Proposed DCF Staple SAMF DSST SRDCF
快速移动 0.556 0.440 0.501 0.497 0.405 0.569
背景斑杂 0.634 0.522 0.557 0.512 0.498 0.587
运动模糊 0.551 0.469 0.526 0.493 0.423 0.601
变形 0.670 0.531 0.607 0.623 0.478 0.635
光照变化 0.638 0.481 0.561 0.523 0.504 0.576
低分辨率 0.495 0.278 0.396 0.297 0.356 0.496
遮挡 0.642 0.502 0.585 0.611 0.478 0.627
平面外旋转 0.643 0.488 0.569 0.548 0.492 0.601
移出视野 0.611 0.542 0.518 0.560 0.465 0.555
尺度变化 0.622 0.416 0.545 0.505 0.447 0.590
平面内旋转 0.631 0.487 0.576 0.509 0.520 0.569
如图4所示，本发明实施例所提供的基于融合的目标跟踪方法中的 Sigmoid学习率模型在序列Face0cc1中的表现示意图。通过图4可知，本发 明实施例所提供的Sigmoid学习率，在目标被书遮挡时，学习率的值偏低；当 书挪开而不遮挡目标时，学习率随着被遮挡范围的减少而逐渐提高。
如图5所示，本发明实施例所提出的基于融合的目标跟踪方法(Proposed， 实线所示)与DSST(虚线所示)、KCF(点划线所示)在Leming序列中的比 较示意图。通过图5可知，在目标被长期遮挡时，本发明实施例所提供的基 于融合的目标跟踪方法(图中实现所示)会自动调低学习率，使不良样本无法 污染模型，在目标重新出现后，依然可以跟踪目标。而其他算法(如DSST和 KCF)由于模型被污染，则丢失目标。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书 中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且， 描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中 以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以 将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施 例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发 明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于融合的目标跟踪方法，其特征在于，所述方法包括步骤：
步骤S1：根据初始图像帧，获取目标初始信息；
步骤S2：在贝叶斯分类器区域提取颜色直方图，并且训练贝叶斯分类器；
步骤S3：在核相关滤波区域提取前第一阈值维数的梯度直方图特征，第二阈值维数的颜色属性特征，并采用所述贝叶斯分类器计算所述核相关滤波区域中像素级的颜色概率图，再从所述像素级的颜色概率图中提取前第三阈值维数的梯度直方图特征；
步骤S4：采用所述贝叶斯分类器检测目标，获得贝叶斯分类器的响应图；
步骤S5：初始化尺度滤波器，提取梯度直方图特征并将所提取的梯度直方图特征作为目标特征，采用主成分分析法压缩所述目标特征的维数；
步骤S6：在核相关区域内检测目标，获得核相关滤波的响应图，并将所述核相关滤波的响应图的大小调整至与贝叶斯分类器的响应图的大小一致；
步骤S7：融合所述贝叶斯分类器的响应图和所述核相关滤波的响应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置；
步骤S8：在所述目标的新位置处，调用尺度滤波器，并选取响应最大的尺度作为新的尺度，更新目标尺寸、前景区域和背景区域；
步骤S9：采用Sigmoid函数作为更新模型，更新所述核相关滤波器、所述颜色直方图和所述尺度滤波器；
步骤S10：获得下一帧图像，重复步骤S4、S5、S6、S7、S8、S9，直至视频结束。
2.根据权利要求1所述的基于融合的目标跟踪方法，其特征在于，所述目标初始信息包括目标位置、目标长度和目标宽度。
3.根据权利要求1所述的融合的目标跟踪方法，其特征在于，所述第一阈值维数为28维，第二阈值维数为10维，第三阈值维数为28维。
4.根据权利要求1所述的基于融合的目标跟踪方法，其特征在于，在步骤S7中采用加权平均的方法融合所述贝叶斯分类器的响应图和所述核相关滤波的响应图，具体的表达式如下所示：
response＝(1-αmerge)response_cf+αmerge·response_pwp，
其中，response_cf为核相关滤波器的响应，response_pwp为贝叶斯分类器的响应，αmerge为加权系数。
5.根据权利要求1所述的基于融合的目标跟踪方法，其特征在于，所述核相关滤波的表达式为：
minw∑i(f(xi)-yi)2+λ||w||2，
其中，f(x)＝wTx，x为样本特征，w为核相关滤波器，y为样本的回归值，λ是正则化系数。
6.根据权利要求1所述的基于融合的目标跟踪方法，其特征在于，所述贝叶斯分类器的具体实现过程表达式如下所示：
Figure FDA0001739616690000021
其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，cx表示像素x属于RGB颜色直方图的第c条柱。
7.根据权利要求6所述的基于融合的目标跟踪方法，其特征在于，对所述P(x∈O|F，B，cx)进行积分，获得贝叶斯分类器的响应图。
8.根据权利要求1所述的基于融合的目标跟踪方法，其特征在于，尺度滤波器的生成过程包括步骤：
在目标位置附近提取大小为anH×anW的图像块，其中，
Figure FDA0001739616690000022
S是尺度滤波器的尺寸，a表示着尺度因子，H是前一帧目标的高度，W是前一帧目标的宽度；
对上述每一个图像块分别训练一个核相关滤波器，构成尺度滤波器。
9.根据权利要求1所述的基于融合的目标跟踪方法，其特征在于，更新核相关滤波模型的公式如下：
Figure FDA0001739616690000023
Figure FDA0001739616690000024
Figure FDA0001739616690000025
其中，ηcf是背景感知的相关滤波器的学习率，
Figure FDA0001739616690000026
为在第t帧的
Figure FDA0001739616690000027
用于更新t-1帧时的模型
Figure FDA0001739616690000028
Figure FDA0001739616690000029
是第t帧时
Figure FDA00017396166900000210
的模型，
Figure FDA00017396166900000211
为所提取特征的傅里叶变换。
10.根据权利要求1所述的基于融合的目标跟踪方法，其特征在于，更新贝叶斯分类器的颜色直方图的公式如下：
Figure FDA0001739616690000031
Figure FDA0001739616690000032
Figure FDA0001739616690000033
其中，
Figure FDA0001739616690000034
是t时刻的背景颜色直方图，ηp是贝叶斯分类器的学习率，
Figure FDA0001739616690000035
是t时刻的前景颜色直方图，fhist，，t是t时刻从目标提取的用于更新的前景颜色直方图，Mean_cf是核相关滤波的前n帧响应峰值的均值，max_cf是当前帧的核相关滤波的响应峰值，Mean_pwp是贝叶斯分类器响应图的前n帧响应峰值的均值，max_pwp是当前帧的贝叶斯分类器响应图的响应峰值。
CN201810812948.5A 2018-07-23 2018-07-23 一种基于融合的目标跟踪方法 Active CN110751670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810812948.5A CN110751670B (zh) 2018-07-23 2018-07-23 一种基于融合的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810812948.5A CN110751670B (zh) 2018-07-23 2018-07-23 一种基于融合的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110751670A true CN110751670A (zh) 2020-02-04
CN110751670B CN110751670B (zh) 2022-10-25

Family

ID=69275054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810812948.5A Active CN110751670B (zh) 2018-07-23 2018-07-23 一种基于融合的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110751670B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612823A (zh) * 2020-05-21 2020-09-01 云南电网有限责任公司昭通供电局 一种基于视觉的机器人自主跟踪方法
CN112378397A (zh) * 2020-11-02 2021-02-19 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN112380933A (zh) * 2020-11-02 2021-02-19 中国兵器工业计算机应用技术研究所 无人机识别目标的方法、装置及无人机

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005119582A2 (en) * 2004-06-01 2005-12-15 Siemens Medical Solutions Usa, Inc. Bayesian network frameworks for biomedical data mining
CN1710593A (zh) * 2005-06-27 2005-12-21 北京交通大学 一种基于特征关系度量的手部特征融合认证方法
US20060088207A1 (en) * 2004-10-22 2006-04-27 Henry Schneiderman Object recognizer and detector for two-dimensional images using bayesian network based classifier
WO2007015947A2 (en) * 2005-07-29 2007-02-08 Bayer Healthcare Llc Methods and kits for the prediction of therapeutic success, recurrence free and overall survival in cancer therapies
US20080256016A1 (en) * 2007-04-11 2008-10-16 Oracle International Corporation Bayes-like classifier with fuzzy likelihood
US20080310742A1 (en) * 2007-06-15 2008-12-18 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
US20090287620A1 (en) * 2008-05-16 2009-11-19 Samsung Electronics Co., Ltd. System and method for object detection and classification with multiple threshold adaptive boosting
WO2011096651A2 (ko) * 2010-02-05 2011-08-11 주식회사 에스원 얼굴 식별 방법 및 그 장치
US20140201271A1 (en) * 2013-01-13 2014-07-17 Qualcomm Incorporated User generated rating by machine classification of entity
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
WO2017088050A1 (en) * 2015-11-26 2017-06-01 Sportlogiq Inc. Systems and methods for object tracking and localization in videos with adaptive image representation
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN107341820A (zh) * 2017-07-03 2017-11-10 郑州轻工业学院 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
CN107403175A (zh) * 2017-09-21 2017-11-28 昆明理工大学 一种运动背景下的视觉跟踪方法及视觉跟踪系统
US20170343481A1 (en) * 2016-05-27 2017-11-30 Purdue Research Foundation Methods and systems for crack detection
CN107480704A (zh) * 2017-07-24 2017-12-15 南开大学 一种具有遮挡感知机制的实时视觉目标跟踪方法
CN107633226A (zh) * 2017-09-19 2018-01-26 北京师范大学珠海分校 一种人体动作跟踪识别方法及系统
CN107767405A (zh) * 2017-09-29 2018-03-06 华中科技大学 一种融合卷积神经网络的核相关滤波目标跟踪方法
CN107784663A (zh) * 2017-11-14 2018-03-09 哈尔滨工业大学深圳研究生院 基于深度信息的相关滤波跟踪方法及装置
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005119582A2 (en) * 2004-06-01 2005-12-15 Siemens Medical Solutions Usa, Inc. Bayesian network frameworks for biomedical data mining
US20060088207A1 (en) * 2004-10-22 2006-04-27 Henry Schneiderman Object recognizer and detector for two-dimensional images using bayesian network based classifier
CN1710593A (zh) * 2005-06-27 2005-12-21 北京交通大学 一种基于特征关系度量的手部特征融合认证方法
WO2007015947A2 (en) * 2005-07-29 2007-02-08 Bayer Healthcare Llc Methods and kits for the prediction of therapeutic success, recurrence free and overall survival in cancer therapies
US20080256016A1 (en) * 2007-04-11 2008-10-16 Oracle International Corporation Bayes-like classifier with fuzzy likelihood
US20080310742A1 (en) * 2007-06-15 2008-12-18 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
US20090287620A1 (en) * 2008-05-16 2009-11-19 Samsung Electronics Co., Ltd. System and method for object detection and classification with multiple threshold adaptive boosting
WO2011096651A2 (ko) * 2010-02-05 2011-08-11 주식회사 에스원 얼굴 식별 방법 및 그 장치
US20140201271A1 (en) * 2013-01-13 2014-07-17 Qualcomm Incorporated User generated rating by machine classification of entity
WO2017088050A1 (en) * 2015-11-26 2017-06-01 Sportlogiq Inc. Systems and methods for object tracking and localization in videos with adaptive image representation
US20170343481A1 (en) * 2016-05-27 2017-11-30 Purdue Research Foundation Methods and systems for crack detection
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN107341820A (zh) * 2017-07-03 2017-11-10 郑州轻工业学院 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
CN107480704A (zh) * 2017-07-24 2017-12-15 南开大学 一种具有遮挡感知机制的实时视觉目标跟踪方法
CN107633226A (zh) * 2017-09-19 2018-01-26 北京师范大学珠海分校 一种人体动作跟踪识别方法及系统
CN107403175A (zh) * 2017-09-21 2017-11-28 昆明理工大学 一种运动背景下的视觉跟踪方法及视觉跟踪系统
CN107767405A (zh) * 2017-09-29 2018-03-06 华中科技大学 一种融合卷积神经网络的核相关滤波目标跟踪方法
CN107784663A (zh) * 2017-11-14 2018-03-09 哈尔滨工业大学深圳研究生院 基于深度信息的相关滤波跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUNDOGDU, E等: "Evaluation of Feature Channels for Correlation-Filter-Based Visual Object Tracking in Infrared Spectrum", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
李宗民等: "基于相关滤波器的自适应目标跟踪", 《图学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612823A (zh) * 2020-05-21 2020-09-01 云南电网有限责任公司昭通供电局 一种基于视觉的机器人自主跟踪方法
CN112378397A (zh) * 2020-11-02 2021-02-19 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN112380933A (zh) * 2020-11-02 2021-02-19 中国兵器工业计算机应用技术研究所 无人机识别目标的方法、装置及无人机
CN112378397B (zh) * 2020-11-02 2023-10-10 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN112380933B (zh) * 2020-11-02 2023-11-07 中国兵器工业计算机应用技术研究所 无人机识别目标的方法、装置及无人机

Also Published As

Publication number Publication date
CN110751670B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN108665481B (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN108615027B (zh) 一种基于长短期记忆-加权神经网络对视频人群计数的方法
CN108062531B (zh) 一种基于级联回归卷积神经网络的视频目标检测方法
Jia et al. Visual tracking via adaptive structural local sparse appearance model
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN109741366B (zh) 一种融合多层卷积特征的相关滤波目标跟踪方法
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
US20140307917A1 (en) Robust feature fusion for multi-view object tracking
CN107590427B (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN106651774B (zh) 一种车牌超分辨率模型重建方法及装置
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
Li et al. Real-time object tracking via compressive feature selection
Huang et al. Joint blur kernel estimation and CNN for blind image restoration
CN110555870B (zh) 基于神经网络的dcf跟踪置信度评价与分类器更新方法
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
Murugan et al. Automatic moving vehicle detection and classification based on artificial neural fuzzy inference system
CN109241981B (zh) 一种基于稀疏编码的特征检测方法
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant