CN109993052A - 一种复杂场景下尺度自适应的目标跟踪方法和系统 - Google Patents

Abstract

本发明公开了一种复杂场景下尺度自适应的目标跟踪方法和系统，该方法包括：对首帧图像进行目标特征检测，获取待跟踪目标特征；并对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化；在基于核相关滤波跟踪法的跟踪过程中，确定核相关滤波跟踪结果；在基于特征检测跟踪法的过程中，确定特征检测跟踪结果；对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪。本发明解决了常规核相关跟踪算法在目标面积剧烈变化时跟踪形心偏移的问题，具有实时性好、跟踪精度高、鲁棒性强的优点。

Description

一种复杂场景下尺度自适应的目标跟踪方法和系统

技术领域

本发明属于红外制导导弹的目标跟踪技术领域，尤其涉及一种复杂场景下尺度自适应的目标跟踪方法和系统。

背景技术

复杂地物场景下的目标跟踪一直都是一个重要的研究课题和研究热点，经过20多年的发展，目标跟踪技术理论已经取得较大发展，从早期的以均值漂移和粒子滤波为代表的跟踪方法，经过基于稀疏表示的跟踪方法作为过渡，目前主流的目标跟踪方法分为基于相关滤波的方法和基于深度学习的方法。

由于深度神经网络强大的特征学习能力，基于深度学习的目标跟踪方法逐渐展现出鲁棒的跟踪性能，但是这类方法计算量大，算法跟踪效率降低，不能满足实时性要求，而且对硬件资源要求高，不适合在工程产品中进行应用；另一方面，基于相关滤波的方法属于判别式跟踪方法，其中，核相关跟踪算法是典型方法之一，通过引入循环结构并给出了一种密集采样策略，使用当前帧的目标图像块来训练一个(跟踪目标与非跟踪目标)二类分类器，利用循环矩阵以及核函数对其进行求解，从而得到核相关滤波器，然后使用该分类器作用于下一帧图像，最后通过计算核相关滤波器响应的最大值来确定目标位置，从而实现目标跟踪。判别式方法因为显著区分背景和前景的信息，判别能力强，目前在目标跟踪领域占据主流地位。

但常规的核相关跟踪方法仍存在一些缺陷，如在尺度变化、光照变化、运动模糊、目标变形、目标遮挡等情况，跟踪效果不佳。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种复杂场景下尺度自适应的目标跟踪方法和系统，解决了常规核相关跟踪算法在目标面积剧烈变化时跟踪形心偏移的问题，具有实时性好、跟踪精度高、鲁棒性强的优点。

为了解决上述技术问题，本发明公开了一种复杂场景下尺度自适应的目标跟踪方法，包括：

对首帧图像进行目标特征检测，获取待跟踪目标特征；并对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化；其中，两种跟踪方法，包括：基于核相关滤波跟踪法和基于特征检测跟踪法；

在基于核相关滤波跟踪法的跟踪过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小；使用最大响应值的跟踪区域位置和大小，对初始化后的目标模板和分类器参数矩阵进行更新，确定核相关滤波跟踪结果；

在基于特征检测跟踪法的过程中，通过最稳定极值区域法检测得到候选目标，将每个候选目标分别与目标模板在频域内进行相关；从相关结果中筛选得到响应值最高的候选目标区域位置和大小，确定特征检测跟踪结果；

对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪。

优选的，对首帧图像进行目标特征检测，获取待跟踪目标特征，包括：

确定输入的视频的首帧图像；

对首帧图像进行框选，得到包含待跟踪目标的矩形区域；

采用最稳定极值区域法对矩形区域进行目标检测，得到若干候选目标；

通过最近邻法标记距离矩形区域的中心最近的候选目标，并获取标记的候选目标的形心和半径，将标记的候选目标的形心和半径对应的区域确定为待跟踪目标区域；

对待跟踪目标区域进行灰度特征或梯度方向直方图特征提取，得到待跟踪目标特征。

优选的，对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化，包括：

根据首帧检测的目标图像块，采用密集采样的方式，建立循环样本矩阵；

通过循环样本矩阵进行分类器训练，得到分类器模型；

根据分类器模型，对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化。

优选的，在基于核相关滤波跟踪法的跟踪过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小；使用最大响应值的跟踪区域位置和大小，对初始化后的目标模板和分类器参数矩阵进行更新，确定核相关滤波跟踪结果，包括：

以上一帧输出的坐标位置为中心，确定当前帧的兴趣区域中心，提取与上一帧相同半径大小的跟踪框区域的特征信息；

利用分类器模型进行目标位置检测，通过核函数进行映射，得到窗口样本的分类器响应；

对图像块进行循环移位，构造候选图像块；

利用候选图像块的循环结构，计算出分类器模型对待跟踪目标区域中的所有位置的响应，即得到所有候选图像块的分类器响应；

根据各候选图像块的分类器响应，确定最大响应值的跟踪区域位置和大小，作为当前帧的核相关滤波跟踪结果。

优选的，窗口样本的分类器响应f(z)如下：

即f(z)＝(K^z)^Tα

其中，w表示函数的参数，z表示待检测的样本，f(z)表示待检测的样本的分类器响应值，α表示分类器参数，α＝[α₀，α₂，…，α_n-1]^T，x_i表示目标样本矩阵循环矩阵的第i行，即目标样本图像进行i次循环移位得到的位移图，K^z表示循环样本矩阵，且K^z＝C(k^xz)，K^z表示训练样本x和所有候选图像块之间的核矩阵，k^xz表示x和z之间的核相关。

优选的，在基于特征检测跟踪法的过程中，通过最稳定极值区域法检测得到候选目标，将每个候选目标分别与目标模板在频域内进行相关；从相关结果中筛选得到响应值最高的候选目标区域位置和大小，确定特征检测跟踪结果，包括：

以上一帧输出的坐标位置为中心，确定当前帧的兴趣区域中心；

在预定范围内通过最稳定极值区域法对当前帧的兴趣区域中心进行目标检测，筛选出亮度稳定的候选特征区域，并标记每个候选特征区域的形心和半径；

利用核相关分类器对标记的每个候选特征区域的样本进行目标检测，得到最大响应值和最大响应值对应的坐标位置；

选择响应值最大的候选特征区域为当前帧的特征检测跟踪结果。

优选的，对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪，包括：

根据确定的核相关滤波跟踪结果和核相关滤波跟踪结果中携带的跟踪框的中心位置以及跟踪框的半径，对基于特征检测跟踪法中的跟踪误差和目标尺寸变化引起的跟踪中心偏离形心进行修正，得到融合结果，根据融合结果，对目标形心进行跟踪。

本发明还公开了一种复杂场景下尺度自适应的目标跟踪系统，包括：

初始化模块，用于对首帧图像进行目标特征检测，获取待跟踪目标特征；并对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化；其中，两种跟踪方法，包括：基于核相关滤波跟踪法和基于特征检测跟踪法；

核相关滤波跟踪模块，用于在基于核相关滤波跟踪法的跟踪过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小；使用最大响应值的跟踪区域位置和大小，对初始化后的目标模板和分类器参数矩阵进行更新，确定核相关滤波跟踪结果；

特征检测跟踪模块，用于在基于特征检测跟踪法的过程中，通过最稳定极值区域法检测得到候选目标，将每个候选目标分别与目标模板在频域内进行相关；从相关结果中筛选得到响应值最高的候选目标区域位置和大小，确定特征检测跟踪结果；

融合模块，用于对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪。

本发明具有以下优点：

(1)抗干扰能力和鲁棒性强：在光照变化、目标遮挡或者其他相似干扰源等干扰的情况下，此时目标区域特征被改变，造成基于核相关滤波的跟踪失败或跟踪中心位置发生偏移，此时目标模板已经失效，不能通过实时图像帧的目标信息对基于核相关滤波跟踪法的目标模板和分类器矩阵进行更新，也无法防止目标模板引入非目标区的特征信息。本发明在基于核相关滤波的跟踪的基础上，使用基于核相关滤波跟踪法对基于特征检测跟踪法进行了修正和校准，基于特征检测跟踪法的目标模板在首帧初始化后则不进行更新，复杂环境的干扰因素不会通过模板更新引入至目标模板，从而保证了跟踪过程目标特征一致性，有效的弥补了复杂环境中各类干扰对基于核相关滤波跟踪法的影响。在本发明中，两种跟踪方法相辅相成，既保证目标稳定跟踪，又保证跟踪位置始终在目标形心，有效提高了算法的鲁棒性。

(2)适应目标面积的剧烈变化：本发明可适应目标面积的剧烈变化，在基于核相关滤波跟踪法中，使用多个尺度的目标区域进行核相关计算，选择响应度最高的尺度作为模板尺度，对跟踪区域半径实时调整以适应目标面积变化；同时在基于特征检测跟踪法中，候选目标半径均为最稳定极值区域检测出的实际尺寸，在修正跟踪中心的同时也对跟踪框尺寸进行校准，有效提高了目标面积变化时跟踪形心跟踪的稳定性。

(3)跟踪速度快：本发明通过循环移位构建出分类器的训练样本，样本数据变为循环样本矩阵，而循环样本矩阵的问题求解可以变换到傅里叶域，避免求逆运算，大大减低算法的复杂度。另一方面，针对同一帧图像数据，两种跟踪方法可以通过两个线程或者两个核同时进行运算，对于跟踪速度的影响并不明显，该方法适用于工程中对目标的快速跟踪。

附图说明

图1是本发明实施例中一种复杂场景下尺度自适应的目标跟踪方法的步骤流程图；

图2是本发明实施例中一种基于核相关滤波的跟踪法的工作流程图；

图3是本发明实施例中一种基于特征检测的跟踪法的工作流程图；

图4是本发明实施例中一种热靶和轿车序列跟踪结果的对比示意图；

图5是本发明实施例中一种热靶和轿车形心跟踪误差曲线的对比示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明公开的实施方式作进一步详细描述。

本发明公开了一种复杂场景下尺度自适应的目标跟踪方法，对基于核相关滤波的跟踪和基于特征检测的跟踪两种跟踪方法进行融合，在基于核相关滤波跟踪中，使用变尺度跟踪策略，同时进行基于特征检测跟踪，在基于核相关滤波跟踪受干扰或跟踪中心发生偏移时，对跟踪位置进行修正，解决了基于核相关滤波跟踪法易受干扰跟踪失败或目标面积剧烈变化时出现跟踪位置偏离形心的问题，实现对目标形心持续稳定跟踪。同时也提高了在复杂场景下目标跟踪的鲁棒性，跟踪速度快，具有很强的工程实现性。

如图1～3，在本实施例中，所述复杂场景下尺度自适应的目标跟踪方法，包括：

步骤101，对首帧图像进行目标特征检测，获取待跟踪目标特征；并对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化。

在本实施例中，两种跟踪方法具体指的是：基于核相关滤波跟踪法和基于特征检测跟踪法。

优选的，可以通过如下方式获取待跟踪目标特征：确定输入的视频的首帧图像；对首帧图像进行框选，得到包含待跟踪目标的矩形区域；采用最稳定极值区域法对矩形区域进行目标检测，得到若干候选目标；通过最近邻法标记距离矩形区域的中心最近的候选目标，并获取标记的候选目标的形心和半径，将标记的候选目标的形心和半径对应的区域确定为待跟踪目标区域；对待跟踪目标区域进行灰度特征或梯度方向直方图特征提取，得到待跟踪目标特征。

优选的，可以通过如下方式对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化：根据首帧检测的目标图像块，采用密集采样的方式，建立循环样本矩阵；通过循环样本矩阵进行分类器训练，得到分类器模型；根据分类器模型，对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化。

其中，最稳定极值区域检测法类似于自适应分水岭灰度分割，实现对目标区域的分割。通过阈值T0将图像分割成二值图像，每个白色连通的分割区域为一个候选特征。其中T0遍历每个灰度级(例如8位灰度图像，T0＝[0,1,2,…,255])得到一系列二值图像I(t)，每个二值图像包含若干白色连通区域；为了获得鲁棒性高的分割区域，从中找到在T0区间内面积区域变化最少的连通区域作为稳定分割结果。根据阈值分割的性质，上述过程只能检测亮度高于周围区域的亮目标，如果要检测暗目标，只需将图像反色，然后重新执行一遍上述过程即可。

优选的，通过循环样本矩阵训练得到的分类器为一非线性的分类器，分类器响应为：

其中，α表示分类器参数矩阵，α＝[α₀，α₁，…,α_j，…,α_n-1]^T，x表示目标区域图像，x_j表示目标样本图像进行j次循环移位得到的位移图像，κ(x,x_j)表示核函数，常用的核函数有高斯核、多项式核、线性核等。设K为核矩阵且为循环矩阵，且K_ij＝κ(x_i,x_j)，其中，x_i和x_j表示目标样本图像进行i和j次循环移位得到的位移图像，其中为K的第一行。

进一步的，在此基础上，对基于核相关滤波跟踪法中的目标模板进行初始化，同时对基于核相关滤波跟踪法中的分类器参数进行初始化；以及，对基于特征检测跟踪法中的目标模板进行初始化，同时对基于特征检测跟踪法中的分类器参数进行初始化。

步骤102，在基于核相关滤波跟踪法的跟踪过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小；使用最大响应值的跟踪区域位置和大小，对初始化后的目标模板和分类器参数矩阵进行更新，确定核相关滤波跟踪结果。

在本实施例中，针对视频中的序列图像，首先进行基于核相关滤波跟踪法的变尺度跟踪，使用分类器作用于序列图像，通过计算核相关滤波器响应的最大值来确定目标位置。基于核相关滤波跟踪法的跟踪过程具体可以如下：以上一帧输出的坐标位置为中心，确定当前帧的兴趣区域中心，提取与上一帧相同半径大小的跟踪框区域的特征信息；利用分类器模型进行目标位置检测，通过核函数进行映射，得到窗口样本的分类器响应；对图像块进行循环移位，构造候选图像块；利用候选图像块的循环结构，计算出分类器模型对待跟踪目标区域中的所有位置的响应，即得到所有候选图像块的分类器响应；根据各候选图像块的分类器响应，确定最大响应值的跟踪区域位置和大小，作为当前帧的核相关滤波跟踪结果。

优选的，窗口样本的分类器响应f(z)可以表示如下：

即f(z)＝(K^z)^Tα

其中，w表示函数的参数，z表示待检测的样本，f(z)表示待检测的样本的分类器响应值，α表示分类器参数，α＝[α₀，α₂，…，α_n-1]^T，x_i表示目标样本矩阵循环矩阵的第i行，即目标样本图像进行i次循环移位得到的位移图，K^z表示循环样本矩阵，且K^z＝C(k^xz)，K^z表示训练样本x和所有候选图像块之间的核矩阵，k^xz表示x和z之间的核相关。

在实际应用过程中，可以分别以上一帧跟踪位置为中心，以上一帧跟踪区域的0.95倍、1.05倍、1.1倍、1.05倍及1.2倍区域建立兴趣区域，并提取兴趣区域内的图像特征信息；利用分类器对5个尺度的样本分别进行目标检测，通过核函数进行映射，得到5个分类器响应值；选择原始尺度和5个尺度中响应值最大的跟踪框为本帧KCF跟踪方法的结果Result_1，输出该尺度跟踪框的跟踪位置和跟踪框半径。

步骤103，在基于特征检测跟踪法的过程中，通过最稳定极值区域法检测得到候选目标，将每个候选目标分别与目标模板在频域内进行相关；从相关结果中筛选得到响应值最高的候选目标区域位置和大小，确定特征检测跟踪结果。

在本实施例中，在基于核相关滤波跟踪法的跟踪后，进行基于特征检测跟踪法的目标跟踪。具体的，可以以上一帧输出的坐标位置为中心，确定当前帧的兴趣区域中心；在预定范围内通过最稳定极值区域法对当前帧的兴趣区域中心进行目标检测，筛选出亮度稳定的候选特征区域，并标记每个候选特征区域的形心和半径；利用核相关分类器对标记的每个候选特征区域的样本进行目标检测，得到最大响应值和最大响应值对应的坐标位置；选择响应值最大的候选特征区域为当前帧的特征检测跟踪结果。

步骤104，对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪。

在本实施例中，可以根据确定的核相关滤波跟踪结果和核相关滤波跟踪结果中携带的跟踪框的中心位置以及跟踪框的半径，对基于特征检测跟踪法中的跟踪误差和目标尺寸变化引起的跟踪中心偏离形心进行修正，得到融合结果，根据融合结果，对目标形心进行跟踪。具体融合流程可以如下：

(1)在基于核相关滤波跟踪法的跟踪稳定时，对目标模板和分类器参数矩阵进行更新。

首先，判断基于核相关滤波跟踪法的跟踪响应度response1是否大于阈值T1，若response1大于T1，表示该帧基于核相关滤波跟踪法的跟踪可稳定跟踪目标，此时需要对目标模板和分类器参数矩阵进行更新，更新方法如下：

x＝(1-w)x+wx′

其中，w为学习因子，表示当前帧更新后的分类器参数矩阵，表示上一帧分类器参数矩阵；x表示当前帧更新后的目标区域特征，x′表示上一帧目标区域特征。

(2)检测形心偏移和跟踪点修正

在基于核相关滤波跟踪法的跟踪完成的基础，判定是否需要进行跟踪点偏移校正。通过比较Result_1和Result_2的跟踪位置点的坐标差，当坐标差持续几帧出现一个稳定偏差，则此时需调整基于核相关滤波跟踪法的跟踪模型，这里使用特征检测结果Result_2来对基于核相关滤波跟踪法中的目标模板和分类器参数矩阵进行重新初始化，同时输出Result_2为本帧的跟踪结果。如果不满足偏移校正的条件，则使基于核相关滤波跟踪法的跟踪结果Result_1输出为本帧的跟踪结果。

(3)基于特征检测跟踪法对基于核相关滤波跟踪法的重新初始化

在response1小于T1时，此时判定基于核相关滤波跟踪法的跟踪失败，转而判断基于特征检测跟踪法的跟踪响应度。

若基于特征检测跟踪法的跟踪响应度response2大于等于阈值T2，说明该帧基于特征检测跟踪法可稳定跟踪目标。由于此时基于核相关滤波跟踪法失效，因此使用基于特征检测跟踪法的跟踪结果Result_2重新初始化基于核相关滤波跟踪法的目标模板和分类器参数矩阵，此时对基于核相关滤波跟踪法的跟踪位置以及跟踪框半径均进行了修正。

若response2小于阈值T2，说明该帧基于特征检测跟踪法同样失效，此时两种跟踪结果均无效，说明该帧跟踪失败。

在上述实施例基础上，下面结合一个具体应用进行详细说明。

第一步，初始化两种跟踪方法的目标模板和分类器参数矩阵

该步骤针对视频中的第一帧图像进行处理，手动框选包含待跟踪目标的矩形区域，使用最稳定极值区域方法在矩形区域内进行目标检测，获得若干候选目标，通过最近邻法标记离矩形区域中心最近的候选目标，并获取该候选目标的形心和半径，此区域极为待跟踪目标区域。

提取目标区域灰度特征信息，利用循环样本矩阵建立分类器模型，对两个跟踪方法的目标模板和分类器参数分别进行初始化。在首帧图像中，两个跟踪方法的目标模板和分类器参数矩阵完全相同，基于核相关滤波跟踪法后续每帧会对目标模板和分类器参数进行更新，而特征检测跟踪方法在首次初始化后不做更新，为了保证目标特征的一致性，避免更新过程引入的模型误差。

第二步，基于核相关滤波跟踪法的变尺度跟踪

对于新一帧图像数据，待跟踪目标帧间运动量有限，因此以上一帧输出的坐标位置为中心，在其附近位置搜索检测待跟踪目标的位置。以上一帧位置为中心，提取与上一帧相同半径大小的跟踪框区域的灰度特征，计算分类器模型对该区域的响应度矩阵，获取响应度最大值对应的坐标位置和跟踪区域半径。

随后进行多尺度模型检测，分别提取上一帧跟踪半径的0.95、1.05、1.1、1.15、1.2倍跟踪区域的灰度特征，得到5个响应度峰值及对应的坐标位置。选择原始尺度和5个尺度中响应值最大的跟踪区域作为本帧的跟踪结果Result_1；

第三步，基于特征检测跟踪法的目标跟踪

在完成基于核相关滤波跟踪法的跟踪后，以上一帧输出的坐标位置为中心，在其附近的兴趣区域(例如2倍跟踪区域内)使用最稳定极值区域法对兴趣区域进行目标检测，在帧间目标尺寸变化限制条件下，筛选出亮度稳定的若干个候选目标区域，标记好每个候选目标的半径和形心位置。

利用核相关分类器对每个候选特征的矩形区域进行目标检测，每个候选特征区域均获得最大响应值及其对应的位置。响应值最大的候选目标区域作为本帧基于特征检测跟踪法的跟踪结果Result_2。

第四步，融合两种跟踪方法的结果

跟踪结果融合共有四种情况：

情况1：基于核相关滤波跟踪法的跟踪响应度response1大于阈值T1(这里T1可取0.9)且跟踪形心位置未发生偏移误差，此时基于核相关滤波跟踪法的跟踪结果有效，用该帧检测出的目标区域对目标模板和分类器参数矩阵进行更新。此时使用基于核相关滤波跟踪法的跟踪结果Result_1为该帧的输出跟踪结果，该跟踪结果包括跟踪框的中心位置坐标及跟踪框半径。

情况2：response1大于阈值T1且产生了跟踪位置偏移，同时基于特征检测跟踪法的响应度大于T2，此时基于核相关滤波跟踪法的跟踪虽然有效，但是跟踪位置已经偏离形心，基于核相关滤波跟踪法的目标模板也已经更新至偏离形心的区域，此时需要用基于特征检测跟踪法的跟踪结果对基于核相关滤波跟踪法的目标模板和分类器参数矩阵进行重新初始化，保证基于核相关滤波跟踪法的目标模板始终以目标形心为中心。

情况3：response1小于阈值T1，基于特征检测跟踪法的跟踪响应度response2大于阈值T2(这里T2可取0.9)，此时基于核相关滤波跟踪法的跟踪失效，以基于特征检测跟踪法的跟踪结果Result_2作为该帧的跟踪结果，同时基于核相关滤波跟踪法的目标模板和分类器参数矩阵需要用Result_2中的目标区域进行重新初始化。

情况4：response1小于阈值T1，response2小于阈值T2，此时两路跟踪方法均失效，此时判定跟踪失败。

仿真结果：

如图4，是对热靶标和轿车由远及近的视频序列跟踪结果图，分别对常规KCF跟踪方法和本发明方法的跟踪结果，分别对比4000帧、4500帧、5000帧和5090帧的情况，图中黑色框表示跟踪目标的情况。从图4(a)可以看出，在靶标面积剧烈变化(由小变大)时，可以看出常规的基于核相关滤波跟踪法的跟踪位置逐渐偏离靶标形心，逐渐跟踪至靶标的右上角，而本发明方法全程稳定跟踪靶标形心，且在跟踪过程中实时调整跟踪框半径和跟踪位置。从图4(b)可以看出，在逐渐接近轿车的过程中，可以看出常规的基于核相关滤波跟踪法的跟踪位置逐渐偏离轿车中心跟踪至轿车玻璃边角处，本发明方法持续跟踪轿车形心，并实时调整跟踪框尺度。

如图5，对比了常规的基于核相关滤波跟踪法和本发明方法与目标形心的误差曲线。该曲线的横坐标是图像的帧号，纵坐标是该帧图像跟踪坐标与形心坐标的欧式距离。从图5(a)和图5(b)可以看出，常规的基于核相关滤波跟踪法随着目标面积逐渐变大的过程，跟踪位置坐标与形心的距离逐渐增大，说明基于核相关滤波跟踪法的跟踪逐渐偏离形心；本发明方法跟踪位置与形心距离比较稳定，在一个较低范围内波动。从图中明显看出，本发明方法对形心跟踪的准确性和稳定性上均有很大改善。

在上述实施例的基础上，本发明还公开了一种复杂场景下尺度自适应的目标跟踪系统，包括：初始化模块，用于对首帧图像进行目标特征检测，获取待跟踪目标特征；并对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化；其中，两种跟踪方法，包括：基于核相关滤波跟踪法和基于特征检测跟踪法；核相关滤波跟踪模块，用于在基于核相关滤波跟踪法的跟踪过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小；使用最大响应值的跟踪区域位置和大小，对初始化后的目标模板和分类器参数矩阵进行更新，确定核相关滤波跟踪结果；特征检测跟踪模块，用于在基于特征检测跟踪法的过程中，通过最稳定极值区域法检测得到候选目标，将每个候选目标分别与目标模板在频域内进行相关；从相关结果中筛选得到响应值最高的候选目标区域位置和大小，确定特征检测跟踪结果；融合模块，用于对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪。

本说明中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (8)

1.一种复杂场景下尺度自适应的目标跟踪方法，其特征在于，包括：

对首帧图像进行目标特征检测，获取待跟踪目标特征；并对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化；其中，两种跟踪方法，包括：基于核相关滤波跟踪法和基于特征检测跟踪法；

在基于核相关滤波跟踪法的跟踪过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小；使用最大响应值的跟踪区域位置和大小，对初始化后的目标模板和分类器参数矩阵进行更新，确定核相关滤波跟踪结果；

在基于特征检测跟踪法的过程中，通过最稳定极值区域法检测得到候选目标，将每个候选目标分别与目标模板在频域内进行相关；从相关结果中筛选得到响应值最高的候选目标区域位置和大小，确定特征检测跟踪结果；

对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪。

2.根据权利要求1所述的复杂场景下尺度自适应的目标跟踪方法，其特征在于，对首帧图像进行目标特征检测，获取待跟踪目标特征，包括：

确定输入的视频的首帧图像；

对首帧图像进行框选，得到包含待跟踪目标的矩形区域；

采用最稳定极值区域法对矩形区域进行目标检测，得到若干候选目标；

通过最近邻法标记距离矩形区域的中心最近的候选目标，并获取标记的候选目标的形心和半径，将标记的候选目标的形心和半径对应的区域确定为待跟踪目标区域；

对待跟踪目标区域进行灰度特征或梯度方向直方图特征提取，得到待跟踪目标特征。

3.根据权利要求1所述的复杂场景下尺度自适应的目标跟踪方法，其特征在于，对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化，包括：

根据首帧检测的目标图像块，采用密集采样的方式，建立循环样本矩阵；

通过循环样本矩阵进行分类器训练，得到分类器模型；

根据分类器模型，对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化。

4.根据权利要求3所述的复杂场景下尺度自适应的目标跟踪方法，其特征在于，在基于核相关滤波跟踪法的跟踪过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小；使用最大响应值的跟踪区域位置和大小，对初始化后的目标模板和分类器参数矩阵进行更新，确定核相关滤波跟踪结果，包括：

以上一帧输出的坐标位置为中心，确定当前帧的兴趣区域中心，提取与上一帧相同半径大小的跟踪框区域的特征信息；

利用分类器模型进行目标位置检测，通过核函数进行映射，得到窗口样本的分类器响应；

对图像块进行循环移位，构造候选图像块；

利用候选图像块的循环结构，计算出分类器模型对待跟踪目标区域中的所有位置的响应，即得到所有候选图像块的分类器响应；

根据各候选图像块的分类器响应，确定最大响应值的跟踪区域位置和大小，作为当前帧的核相关滤波跟踪结果。

5.根据权利要求4所述的复杂场景下尺度自适应的目标跟踪方法，其特征在于，窗口样本的分类器响应f(z)如下：

其中，w表示函数的参数，z表示待检测的样本，f(z)表示待检测的样本的分类器响应值，α表示分类器参数，α＝[α₀，α₂，…，α_n-1]^T，x_i表示目标样本矩阵循环矩阵的第i行，即目标样本图像进行i次循环移位得到的位移图，K^z表示循环样本矩阵，且K^z＝C(k^xz)，K^z表示训练样本x和所有候选图像块之间的核矩阵，k^xz表示x和z之间的核相关。

6.根据权利要求4所述的复杂场景下尺度自适应的目标跟踪方法，其特征在于，在基于特征检测跟踪法的过程中，通过最稳定极值区域法检测得到候选目标，将每个候选目标分别与目标模板在频域内进行相关；从相关结果中筛选得到响应值最高的候选目标区域位置和大小，确定特征检测跟踪结果，包括：

以上一帧输出的坐标位置为中心，确定当前帧的兴趣区域中心；

在预定范围内通过最稳定极值区域法对当前帧的兴趣区域中心进行目标检测，筛选出亮度稳定的候选特征区域，并标记每个候选特征区域的形心和半径；

利用核相关分类器对标记的每个候选特征区域的样本进行目标检测，得到最大响应值和最大响应值对应的坐标位置；

选择响应值最大的候选特征区域为当前帧的特征检测跟踪结果。

7.根据权利要求6所述的复杂场景下尺度自适应的目标跟踪方法，其特征在于，对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪，包括：

根据确定的核相关滤波跟踪结果和核相关滤波跟踪结果中携带的跟踪框的中心位置以及跟踪框的半径，对基于特征检测跟踪法中的跟踪误差和目标尺寸变化引起的跟踪中心偏离形心进行修正，得到融合结果，根据融合结果，对目标形心进行跟踪。

8.一种复杂场景下尺度自适应的目标跟踪系统，其特征在于，包括：

初始化模块，用于对首帧图像进行目标特征检测，获取待跟踪目标特征；并对两种跟踪方法所对应的目标模板和分类器参数矩阵分别进行初始化；其中，两种跟踪方法，包括：基于核相关滤波跟踪法和基于特征检测跟踪法；

核相关滤波跟踪模块，用于在基于核相关滤波跟踪法的跟踪过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小；使用最大响应值的跟踪区域位置和大小，对初始化后的目标模板和分类器参数矩阵进行更新，确定核相关滤波跟踪结果；

特征检测跟踪模块，用于在基于特征检测跟踪法的过程中，通过最稳定极值区域法检测得到候选目标，将每个候选目标分别与目标模板在频域内进行相关；从相关结果中筛选得到响应值最高的候选目标区域位置和大小，确定特征检测跟踪结果；

融合模块，用于对核相关滤波跟踪结果和特征检测跟踪结果进行数据融合，得到融合结果，根据融合结果，对目标形心进行跟踪。