CN106887012A - 一种基于循环矩阵的快速自适应多尺度目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于循环矩阵的快速自适应多尺度目标跟踪方法，包括在视频的初始帧图像中，根据所给出的目标位置和目标窗口尺度信息，采用循环矩阵进行稠密采样提取目标子窗口作为训练样本，训练分类器；采用分类器检测当前帧图像中所有待测目标子窗口，获取分类器响应值最大的待测目标子窗口之目标位置和目标窗口尺度信息，更新分类器，于下一帧图像的处理。本发明在循环矩阵的基础上，使用尺度缩放机制实时改变目标窗大小，能够有效的应对目标姿态快速变化、尺度变化和严重遮挡等情况。

Description

一种基于循环矩阵的快速自适应多尺度目标跟踪方法

技术领域

本发明属于目标跟踪领域，具体是一种基于循环矩阵的快速自适应多尺度目标跟踪方法，

背景技术

随着计算机技术的不断发展，运动目标跟踪作为人工智能、模式识别、计算机科学等多学科的结晶，逐渐成为图像处理、机器视觉、计算机领域的研究热点。目标跟踪不仅提供目标运动状态和轨迹，也为行为检测、场景理解、运动分析等提供初始数据，在人机交互、车辆导航、无人机拍摄、自动监控、军事侦察等方面应用广泛。

跟踪主要是估计物体围绕一个场景运动时的轨迹，即一个跟踪系统给同一个视频中的不同帧的跟踪目标分配相一致的标签。目标跟踪主要包括四个过程：目标初始化，特征模板表示，相似性度量和运动估计。目标跟踪方法可以分为不同种类，例如根据跟踪目标信息使用情况的不同，可以将跟踪算法分为基于对比分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。其中，基于在线学习的目标跟踪算法逐渐成为近几年的主流方法。基于在线学习的目标跟踪方法主要分为基于判别模型和基于生成模型的方法。基于判别模型的跟踪方法是把目标跟踪看成分类问题，采用在线学习更新的分类器将目标与背景分离开。基于生成模型的跟踪方法首先建立目标模型，然后在后续帧图像中搜索与目标模型最相似的作为目标并更新目标模型，进行后续目标跟踪。

基于判别模型的跟踪方法首先需要提取大量的训练样本，样本分为正负样本，目标是正样本，非目标是负样本，并利用正负样本训练分类器。训练分类效果好的分类器需要大量的训练样本，但是这样就会产生很大的计算量，因此基于判别模型的跟踪方法实时性不好，仅适用于跟踪实时性要求不高的场合。Henriques等人提出了基于循环矩阵的跟踪算法，该算法跟踪速度非常快，可达到几百帧每秒，利用循环矩阵进行稠密采样提取训练样本。而一般的基于判别模型的跟踪算法采用稀疏采样提取训练样本，稀疏采样忽略样本内联结构，并且样本也存在重叠，使得训练数据冗余度高。但是稠密采样的过程会产生循环矩阵，循环矩阵可以与傅里叶分析联系起来。利用快速傅里叶变换可以快速学习分类器，提高跟踪速度。

基于循环矩阵的跟踪算法计算量小，跟踪鲁棒性高，但是当目标出现快速变化、尺度变化和遮挡时，很容易丢失目标。因为基于循环矩阵的跟踪算法固定了目标框以及搜索范围，搜索范围是目标框的两倍，当目标出现尺度变化的时候，超出固定的目标框和搜索框，就会导致目标特征的丢失，进而影响跟踪效果。

发明内容

针对现有技术中存在的不足，本发明提出了一种基于循环矩阵的快速自适应多尺度目标跟踪方法，使用尺度缩放机制实时改变目标窗大小，能够有效的应对目标姿态快速变化、尺度变化和严重遮挡等情况。

本发明采用下面的技术方案：

一种基于循环矩阵的快速自适应多尺度目标跟踪方法，包括：

在视频的初始帧图像中，根据所给出的目标位置和目标窗口尺度信息，采用循环矩阵进行稠密采样提取目标子窗口作为训练样本，训练分类器；

采用分类器检测当前帧图像中所有待测目标子窗口，获取分类器响应值最大的待测目标子窗口之目标位置和目标窗口尺度信息，更新分类器，于下一帧图像的处理。

进一步的，本方法中采用循环矩阵进行稠密采样提取目标子窗口作为训练样本，利用傅里叶变换计算目标子窗口核函数，通过最小代价函数训练正规则化最小分类器系数。

进一步的，采用分类器检测当前帧图像中所有待测目标子窗口的方法为：计算当前帧图像中待测目标子窗口与初始帧图像中目标子窗口之间的核函，利用所述核函数和分类器同时计算所有待测目标子窗口的响应值，获取响应值最大的待测目标子窗口。

进一步的，利用傅里叶变换计算目标子窗口核函数的方法为：

式中，x表示当前帧图像的子窗口，F和F^-1分别表示傅里叶变换和傅里叶逆变换，*表示复共轭，σ是尺度参数。

进一步的，所述通过最小代价函数训练正规则化最小分类器系数的方法为：

式中，λ是正规则化参数，y是训练样本标记矩阵，y_ij是y的元素，k(x,x)是核函数，训练样本像素数是m*n，F和F^-1分别表示傅里叶变换和傅里叶逆变换。

进一步的，计算当前帧图像中待测目标子窗口与初始帧图像中目标子窗口之间的核函数的方法为：

式中，x表示初始帧图像的目标子窗口，x'表示当前帧图像的待测目标子窗口，F和F^-1分别表示傅里叶变换和傅里叶逆变换，*表示复共轭，σ是尺度参数。

进一步的，利用所述核函数和分类器同时计算所有待测目标子窗口的响应值的方法为：

式中，k(x,x')是核函数，α是分类器系数，F和F^-1分别表示傅里叶变换和傅里叶逆变换。

进一步的，所述获取分类器响应值最大的待测目标子窗口之目标位置和目标窗口尺度信息方法为：

x_t'表示两帧之间的目标窗口估计尺度，x_t表示第t帧的目标窗口大小，x_t+1表示第t+1的目标窗口大小，表示前n帧的估计窗口大小的平均值，ζ＞0表示固定滤波器参数，σ是尺度参数。

进一步的，所述更新分类器的方法为：α＝(1-ξ)α+ξα'

式中，α表示前一帧的分类器α值系数，α'表示当前帧的的分类器α'值系数，ξ表示线性插值系数。

进一步的，本方法对所述目标子窗口或待测目标子窗口作加余弦窗预处理，用于消除边缘，强调中心。

进一步的，本方法首先将初始帧图像或当前帧图像转化为灰度图像，然后对所述灰度图像进行提取目标子窗口或检测待测目标子窗口的操作。

本发明的有益效果：

(1)本发明使用稠密采样选取训练样本进行分类器训练，使分类器的训练更加有效，保证跟踪的鲁棒性。

(2)本发明使用循环矩阵特性使用了循环结构进行相邻帧的相关性检测来进行目标跟踪，跟踪速度快，保证跟踪的时效性。

(3)本发明使用尺度缩放机制实时改变目标窗大小，能够有效的应对目标姿态快速变化、尺度变化和严重遮挡等情况。

附图说明

图1为本发明的流程示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明的一种典型实施例是一种基于循环矩阵的快速自适应多尺度目标跟踪方法，如图1所示，包括以下步骤：

步骤(1)：输入视频序列，获取目标位置和目标窗口尺度信息；

步骤(2)：对于视频中的初始帧图像，先转为灰度图，可以进一步的重新调整灰度图像数据到更小的范围，再利用稠密采样提取目标子窗口，预处理目标子窗口，计算核函数，通过最小代价函数训练正规则化最小分类器系数；

本发明使用稠密采样选取训练样本进行分类器训练，使分类器的训练更加有效，保证跟踪的鲁棒性。进一步的，在稠密采样的基础上，使用循环矩阵结构进行相邻帧的相关性检测来进行目标跟踪，跟踪速度快，保证跟踪的时效性。

步骤(3)：对于后面每一帧图像，先转化为灰度图像，然后预处理待测目标子窗口，结合上一帧图像信息再次计算所有待测目标子窗口的核函数，利用核函数的循环结构和分类器同时计算所有待测目标子窗口的响应值，选出响应值最大的待测目标子窗口位置；

步骤(4)：根据响应值最大的待测目标子窗口保存目标最新位置，更新尺度参数以及目标窗口，计算当前帧的核函数，更新分类器系数，以用于处理下一帧图像。

本实施例中读入第一帧图像(frame＝1)之后，再连续读入后续每一帧(frame>1)图像。

本实施例中，预处理待测目标子窗口和目标子窗口采用加余弦函数预处理，公式为：

式中，是子窗口坐标(i,j)的原像素值，x_ij是子窗口预处理之后的像素值，目标框像素点个数为m*n，主要目的是消除边缘效应和强调中心。

本实施例中，核函数的计算公式为：

式中，x表示当前帧图像的子窗口，F和F^-1分别表示傅里叶变换和傅里叶逆变换，*表示复共轭，σ是尺度参数。

步骤(2)中核函数的计算方法即采用上述公式。

步骤(3)中结合上一帧图像信息再次计算所有待测子窗口核函数得具体方式为：

式中，x表示前一帧图像的目标子窗口，x'表示当前帧图像的待检测子窗口，k(x,x')是目标与待检测目标进行卷积得到的。

其中，每个子窗口的核函数k(x_i,x_j)组成的核矩阵K，具体为：

K_ij＝k(x_i,x_j)

式中，k(x_i,x_j)表示元素坐标(i,j)的核函数。核矩阵K具有循环矩阵结构，循环矩阵结构具体为：

循环矩阵具有以下特性：

C(u)v＝F^-1(F^*(u)·F(V))

式中，v＝[v₀ v₁ … v_n-1]，u＝[u₀ u₁ … u_n-1]。

本实施例中通过最小代价函数训练分类器的α值的具体方法为：

式中，λ是正规则化参数，y是训练样本标记矩阵，y_ij是y的元素，k(x,x)是核函数，训练样本像素数是m*n。

本实施例的步骤(3)中，利用核函数的循环结构和分类器同时计算所有子窗口的响应值的具体方式为：

式中，k(x,x')是高斯核函数，α是分类器的系数，F和F^-1分别表示傅里叶变换和傅里叶逆变换，其中，响应值最大的子窗口是目标真实位置。

所述更新分类器的公式为下式：

α＝(1-ξ)α+ξα'

式中，α表示前一帧的分类器α值，α'表示当前帧的的分类器α'值，ξ表示线性插值系数。通过取ξ值，即可得到当前帧的的分类器α'值。

本实施例保存目标最新位置，更新尺度参数以及目标窗口的方式具体为：

x_t'表示两帧之间的目标窗口估计尺度，x_t表示第t帧的目标窗口大小，x_t+1表示第t+1的目标窗口大小，表示前n帧的估计窗口大小的平均值，ζ＞0表示固定滤波器参数，σ是尺度参数。

本实施例中目标窗口的尺度自适应性的变化，实现了基于尺度缩放机制实时改变目标窗大小，能够有效的应对目标姿态快速变化、尺度变化和严重遮挡等情况。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于循环矩阵的快速自适应多尺度目标跟踪方法，其特征在于：

在视频的初始帧图像中，根据所给出的目标位置和目标窗口尺度信息，采用循环矩阵进行稠密采样提取目标子窗口作为训练样本，训练分类器；

采用分类器检测当前帧图像中所有待测目标子窗口，获取分类器响应值最大的待测目标子窗口之目标位置和目标窗口尺度信息，更新分类器，于下一帧图像的处理。

2.根据权利要求1所述的方法，其特征在于：采用循环矩阵进行稠密采样提取目标子窗口作为训练样本，利用傅里叶变换计算目标子窗口核函数，通过最小代价函数训练正规则化最小分类器系数。

3.根据权利要求1所述的方法，其特征在于：采用分类器检测当前帧图像中所有待测目标子窗口的方法为：计算当前帧图像中待测目标子窗口与初始帧图像中目标子窗口之间的核函，利用所述核函数和分类器同时计算所有待测目标子窗口的响应值，获取响应值最大的待测目标子窗口。

4.根据权利要求2所述的方法，其特征在于：多数利用傅里叶变换计算目标子窗口核函数的方法为：

式中，x表示当前帧图像的子窗口，F和F^-1分别表示傅里叶变换和傅里叶逆变换，*表示复共轭，σ是尺度参数。

5.根据权利要求4所述的方法，其特征在于：所述通过最小代价函数训练正规则化最小分类器系数的方法为：

$y_{ij}=\exp (-({\left(i-i^{\′}\right)}^2+{\left(j-j^{\′}\right)}^2)/s^2),\∀i=0,...,m-1,\∀j=0,...,n-1$

式中，λ是正规则化参数，y是训练样本标记矩阵，y_ij是y的元素，k(x,x)是核函数，训练样本像素数是m*n，F和F^-1分别表示傅里叶变换和傅里叶逆变换。

6.根据权利要求3所述的方法，其特征在于：计算当前帧图像中待测目标子窗口与初始帧图像中目标子窗口之间的核函数的方法为：

$k(x,x^{\′})=\exp (-\frac{1}{{\mathrm{\σ}}^2}(\left|\right|x^{\′}|{|}^2+|\left|x\right|{|}^2-2F^{-1}\left(F\left(x^{\′}\right)*F^{*}\left(x\right)\right)\left)\right)$

式中，x表示初始帧图像的目标子窗口，x'表示当前帧图像的待测目标子窗口，F和F^-1分别表示傅里叶变换和傅里叶逆变换，*表示复共轭，σ是尺度参数。

7.根据权利要求6所述的方法，其特征在于：利用所述核函数和分类器同时计算所有待测目标子窗口的响应值的方法为：

式中，k(x,x')是核函数，α是分类器系数，F和F^-1分别表示傅里叶变换和傅里叶逆变换。

8.根据权利要求7所述的方法，其特征在于：所述获取分类器响应值最大的待测目标子窗口之目标位置和目标窗口尺度信息方法为：

$\left\{\begin{array}{c}{x^{\′}}_t=\sqrt{\frac{\widehat{y_t}}{\widehat{y_{t-1}}}}\\ \stackrel{\‾}{x_t}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x^{\′}}_{t-i}\\ x_{t+1}=(1-\mathrm{\ζ})x_t+\mathrm{\ζ}\stackrel{\‾}{x_t}\\ {\mathrm{\σ}}_{t+1}=x_t{\mathrm{\σ}}_t\end{array}\right.$

x_t'表示两帧之间的目标窗口估计尺度，x_t表示第t帧的目标窗口大小，x_t+1表示第t+1的目标窗口大小，表示前n帧的估计窗口大小的平均值，ζ＞0表示固定滤波器参数，σ是尺度参数。

9.根据权利要求1所述的方法，其特征在于：对所述目标子窗口或待测目标子窗口作加余弦窗预处理，用于消除边缘，强调中心。

10.根据权利要求1所述的方法，其特征在于：首先将初始帧图像或当前帧图像转化为灰度图像，然后对所述灰度图像进行提取目标子窗口或检测待测目标子窗口的操作。