CN108986140A - 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 - Google Patents

Abstract

本发明的目标尺度自适应跟踪方法，包括如下步骤：步骤1读取第一帧图片，确定目标位置及大小，设置目标区域和背景区域；步骤2获得不同尺度的样本图像，计算目标区域O与背景区域B的颜色直方图，获得目标样本的概率；步骤3提取图像的hog特征和灰度特征，训练位置滤波器和尺度滤波器，获得对应滤波器模板；步骤4读入下一帧图片，更新目标当前位置；步骤5根据目标当前位置，更新目标尺度；步骤6判断当前帧跟踪是否正常，并进行相应的操作；步骤7根据判定结果，代入下一帧目标检测，直至跟踪任务结束。通过对目标图像和背景图像的不同响应区别目标及背景，有效的利用目标的背景信息，提高目标在遮挡、形变等场景下的准确性。

Description

基于相关滤波和颜色检测的目标尺度自适应跟踪方法

技术领域

本发明涉及图像处理、机器视觉技术领域，尤其涉及一种基于相关滤波和颜色检测的 目标尺度自适应跟踪方法。

背景技术

人类获取信息的主要途径是通过视觉实现的，随着计算机技术的研究和发展，人们开 始用计算机来模拟人类视觉的功能，来代替人眼及大脑对景物环境进行感知、解释和理解， 由此产生了计算机视觉这一门学科。计算机视觉是人工智能领域的热门学科，它融合了信 号处理、模式识别、应用数学、神经生理学等学科的领域的研究方法与成果，是一门综合 性的学科。在计算机视觉领域中，视频目标的跟踪是一个基础性的问题，它通过各种方法 来估计连续视频帧中目标的状态，获取目标的位置，轨迹等信息，以作为后续的目标分析 基础。随着计算机处理速度的提升，计算机视觉理论的发展，近年来视频目标跟踪技术已 经广泛应用于社会生活、经济、军事等各个领域。

最近，基于相关滤波器的判别式目标跟踪算法因为跟踪结果准确、跟踪速度快速，引 起了大量学者的关注。基于相关滤波器的目标跟踪方法将输入特征回归为高斯分布，同时 在线训练一个相关滤波器，通过在后续帧中寻找相关滤波器响应的峰值确定目标的位置。 相关滤波器通过运用傅立叶快速变换和对角矩阵实现循环移位训练样本，近似密集采样， 降低了计算复杂度，提高计算速率。但是相关滤波跟踪算法由于循环移位存在边界效应， 需要对采样的图片加汉宁窗处理，丢失了一些图片信息；另外，目标搜索区域仅包含小的 局部邻域以限制漂移并保持较低计算量，只有助于在小范围背景内区分目标；一般相关滤 波跟踪器对目标周边的背景信息利用非常有限，在快速运动，遮挡或背景混乱的情况下容 易漂移。目标尺度的精确估计是视觉对象跟踪中重要的研究问题，目前的方法主要是用确 定的比例搜索来估计目标大小，该搜索策略在计算上比较耗时并且对目标的识别造成一定 的干扰，当尺度受到大规模变化时，目标大小估计会遇到困难。在对目标的长期跟踪过程 中，受外界干扰和自身的计算误差，跟踪目标易丢失。

发明内容

本发明的目的在于克服上述现有技术的缺点，主要针对目标周边背景信息利用太少、 尺度不能精确估计、长时间跟踪易失败的问题，提供了一种基于相关滤波和颜色检测的目 标尺度自适应跟踪方法，具体由以下技术方案实现：

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法，包括如下步骤：

步骤1)读取第一帧图片，确定目标位置及大小，设置目标区域和背景区域；

步骤2)根据所述目标位置对尺度滤波器进行样本预处理，获得不同尺度的样本图像，计算 目标区域O与背景区域B的颜色直方图，获得目标样本的概率；

步骤3)分别提取样本hog特征和灰度特征，根据所述hog特征和灰度特征训练位置滤波器 和尺度滤波器，获得对应滤波器模板；

步骤4)读入下一帧图片，提取样本图像特征，输入位置滤波器，通过峰值响应，更新目标 当前位置；

步骤5)根据目标当前位置，重新读取目标图像，提取不同尺度下样本，输入尺度滤波器， 通过峰值响应，更新目标尺度；

步骤6)判断当前帧跟踪是否正常，若跟踪正常，则重新读取目标图像并训练位置滤波器、 尺度滤波器，更新位置、尺度滤波器和颜色概率的参数；若跟踪异常，则寻找目标，进行 尺度调整，如果跟踪失败，则进行下一帧目标跟踪；

步骤7)根据判定结果，代入下一帧目标检测，直至跟踪任务结束。

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法的进一步设计在于，所述步 骤1)包括如下步骤：

步骤1-1)通过Visual Tracker Benchmark官网下载OTB-50数据包，读取目标的坐标，获得 目标的位置；

步骤1-2)以目标当前位置和尺度作为目标区域O，以当前O区域宽、高的1.5倍大小作为 背景区域B，背景区域不包含目标区域，目标区域O与景区域B组成一个矩形搜索区域。

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法的进一步设计在于，所述 OTB-50数据包中包含了50个视频场景，每一个场景里设有标注好的真实框，所述真实框标注了第一帧图片中目标的坐标。

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法的进一步设计在于，步骤2) 包括如下步骤：

步骤2-1)位置滤波器样本：以目标图像a₀和周边的四个方向上的背景图像a₁,a₂,a₃,a₄为基 图像，由所述目标图像与基图像循环偏移得出一系列的图像e为每个图 像区域经过循环平移所得图像数量，其中，a′_0e为目标图像经过循环偏移得到的图像， a′_1e,a′_2e,a′_3e,a′_4e为目标图像周边四个方向上的背景图像经过循环偏移得到的图像，通过将基 图像的数值矩阵通过傅里叶快速变换由时域转到频域，在频域中将数值矩阵通过对角矩阵 分解，实现基图像循环偏移；

步骤2-2)尺度滤波器样本预处理，获得不同尺度的样本图像：以目标图像a₀为中心，向上、 向下采样提取33种不同尺度下的样本图像为a″_v，v＝1,2,…,33，采样策略为P、R分别为目标在前一帧的宽、高，a为尺度因子，S 为尺度滤波器的长度；

步骤2-3)使用颜色检测，获得颜色直方图，建立目标样本的基本颜色概率公式，从而计算 目标样本P(χ∈O)的概率；

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法的进一步设计在于，步骤2-2) 中a＝1.02，S＝33。

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法的进一步设计在于，所述步骤3) 包括如下步骤：

步骤3-1)训练位置滤波器，获得位置滤波器模板：利用算法提取图像a′_je,j＝0,1,2,3,4的hog 特征和灰度特征，将hog特征和灰度特征并联，进行快速傅里叶变换，作为输入特征 q为样本特征数量，将得到的特征乘以汉宁窗，去除边缘化，得到 数据矩阵为A＝{A₀,A₁,A₂,A₃,A₄}，其中，A₀表示为图像a′_0e的特征经汉宁窗计算得到的数据矩阵，A₁,A₂,A₃,A₄表示为a′_1e,a′_2e,a′_3e,a′_4e的特征经汉宁窗计算得到的数据矩阵，通过岭回 归最小化训练图像与回归目标之间的均方误差构建位置滤波器目标函数，如式(1)，获得 线性空间下位置滤波器模板w，再通过函数映射，解出非线性空间下的位置滤波器模板α；

式(1)中，向量y表示回归目标，向量w表示学习的位置滤波器模板，λ₁、λ₂表示规则化 项，最小化求解目标函数，解出w；

步骤3-2)训练尺度滤波器，获得尺度滤波器模板：分别提取33个不同尺度样本图像a″_v， v＝1,2,…,33的hog特征，对特征进行离散傅里叶变换，乘以汉宁窗，此时某张样本图像a″_v的特征表示为x＝[x₁,x₂,…,x_d]^T，d＝31，表示该列向量的长度，x_l表示样本的第l维特征， l∈{1,2,…,d}，通过岭回归最小化训练图像与回归目标之间的均方误差构建尺度滤波器目标 函数获得尺度滤波器模板，尺度滤波器目标函数如式(3)

式(3)中，h表示尺度滤波器模板，h_l表示尺度滤波器模板的第l维，H、G、X是对应函数h、g、x的快速傅里叶变换，⊙表示相关和点乘操作，λ≥0表示正则化参数， g表示回归目标；

根据式(4)通过傅里叶变换将目标函数转至频域求解，

式(4)中，H_l是尺度滤波器模板在频域的相应表示，作为目标当前的尺度，G^*表示对应 变量的傅里叶变换的复共轭，X_l是x_l的相应傅里叶变换，x_l表示样本的第l维特征，X_k是x_k的相应傅里叶变换，表示X_k的复共轭，k为自然整数。

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法的进一步设计在于，位置滤 波器目标函数解出非线性空间下的位置滤波器模板α的过程为：

设定一般形式的位置滤波器目标函数如式(2)，

式(2)中，数据矩阵相应的回归目标由y变为由y与 0矩阵结合，f_p(w,B)是凸函数，通过设置梯度下降为0最小化，解得 w为线性空间回归模型求解得到的滤波器模板；

引入高斯核函数将线性的特征空间映射到一个更高维的空间，相应的相关滤波模板 也由线性的变为非线性的，滤波器的模板变为：求解的参数就由w变为α， 求解得到非线性空间中的位置滤波器模板为α为{α₁,α₂,…,α_i}^T组成的 列向量。

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法的进一步设计在于，所述步 骤6)中将位置相关滤波器输出响应的差值率p_s作为衡量跟踪是否正常的判断基准，p_s计 算公式如式(5)，

式(5)中，max(·)、mean(·)、std(·)分别表示响应图的极大值、平均值、标准差，极大值、 平均值、标准差分别通过将位置滤波器的响应数值Y进行数学计算获得，目标跟踪是否正 常的判断条件为：p_s＞τ，如果p_s＞τ，目标跟踪正常；否则p_s≤τ，目标跟踪异常。

所述基于相关滤波和颜色检测的目标尺度自适应跟踪方法的进一步设计在于，所述步 骤7)中，

若判定目标跟踪正常，更新相关滤波器、颜色概率参数，此时的输出结果为以检测出的目 标位置z″为中心，检测出的尺度对应大小的图片；在下一帧图片中，根据更新后的位置 滤波器确定位置，根据尺度滤波器调整尺度，判定目标跟踪是否正常，重复步骤6)，重复 代入下一帧，直至跟踪任务结束；

若判定目标跟踪不正常，根据步骤6)寻找丢失目标，如果找到丢失目标，通过尺度滤 波器调整尺度，再更新相应参数，输出的结果为利用步骤6)中跟踪异常时获得的目标位置， 以及步骤5)获得的目标尺度；如果未能找到丢失目标，此时的输出结果为位置、尺度滤波 器检测出的目标位置及尺度；在下一帧图片中，先使用位置、尺度滤波器进行确定位置、调整尺度，判定目标跟踪是否正常，重复步骤6)，重复代入下一帧，直至跟踪任务结束。

本发明的优点如下：

(1)本发明的基于相关滤波和颜色检测的目标尺度自适应跟踪方法将目标周边的背景信息 添加到位置滤波器中，通过对目标图像和背景图像的不同响应区别目标及背景，有效的利 用目标的背景信息，提高目标在遮挡、形变等场景下的准确性。

(2)该方法通过单独学习一维尺度相关滤波器进行尺度估计，滤波器的响应峰值处即为目 标当前最佳尺度，与常规方法相比如线性插值，提高了尺度估计的正确性。

(3)该方法将相关滤波与颜色检测相结合，在判定当前帧跟踪失败的情况下，启动局部检 测算法，利用颜色模型和最近邻分类，逐步筛选像素点，将类似度较高的像素点输入位置 相关滤波器，峰值响应处即为丢失的跟踪目标，提高算法的适应性。

附图说明

图1是基于相关滤波和颜色检测的目标尺度自适应跟踪方法的流程示意图。

图2是利用上下文的相关滤波算法的示意图。

图3是联合检测流程图。

图4是颜色置信图。

具体实施方式

下面结合附图对本申请的技术方案进一步说明。

本实施例的相关滤波和颜色检测的目标尺度自适应跟踪方法，包括如下步骤：

步骤1)读取第一帧图片，确定目标位置及大小，设置目标区域和背景区域。

步骤1)具体包括如下步骤：

步骤1-1)通过Visual Tracker Benchmark官网下载OTB-50数据包，数据包中包含了 50个视频场景，每一个场景里有标注好的真实框，标注了第一帧图片中目标的坐标，读取 坐标，获得目标的位置。

步骤1-2)以目标当前位置和尺度作为目标区域O，以当前O区域宽、高的1.5倍大小作为背景区域B，背景区域不包含目标区域，见图4，整个矩形的搜索区域是两个区域的并集，表示为U＝O∪B。

步骤2)根据目标位置，分别对尺度滤波器进行样本预处理，获得不同尺度的样本图像， 计算B、O区域的颜色直方图，获得目标样本的概率。

步骤2)具体包括如下步骤：

步骤2-1)位置滤波器样本预处理：以目标图像a₀和周边的四个方向上的背景图像a₁,a₂,a₃,a₄为基图像，基于这些图像左右上下循环偏移得出一系列的图像 e为每个图像区域经过循环平移所得图像数量，其中，a′_0e为目标图像经过循环偏移得到的 图像，a′_1e,a′_2e,a′_3e,a′_4e为目标图像周边四个方向上的背景图像经过循环偏移得到的图像，通 过将基图像的数值矩阵通过傅里叶快速变换由时域转到频域，在频域中将数值矩阵通过对 角矩阵分解，实现基图像循环偏移；

步骤2-2)尺度滤波器样本预处理，获得不同尺度的样本图像：以目标图像a₀为中心， 向上、向下采样提取33种不同尺度下的样本图像为a″_v，v＝1,2,…,33，采样策略为P、R分别为目标在前一帧的宽、高，本实施例中a＝1.02为尺度因子，S＝33为尺度滤波器的长度；

步骤2-3)使用颜色检测，获得颜色直方图，建立目标样本的基本颜色概率公式，从而 计算目标样本P(χ∈O)的概率；

样本元素χ属于目标区域的概率公式为：其中P_b(·)表示具有 b个通道区间的图像颜色直方图，本实施例b＝3，R、G、B三个通道，P(χ∈O)表示目标样本的颜色概率。

步骤3)分别提取样本hog特征和灰度特征，训练位置和尺度滤波器，获得对应滤波器 模板；

hog特征是目前相关滤波跟踪中常用的图像提取特征，本实施例中使用hog特征和灰度 特征作为训练位置滤波器提取的图像特征，hog特征作为训练尺度滤波器提取的图像特征。

步骤3)具体包括如下步骤：

步骤3-1)训练位置滤波器，获得位置滤波器模板；

利用hog特征和灰度特征提取算法提取目标图像的特征，将hog特征和灰度特征并联， 进行快速傅里叶变换，作为输入特征q为样本特征数量，将得到的特 征乘以汉宁窗，去除边缘化，得到数据矩阵为A＝{A₀,A₁,A₂,A₃,A₄}，其中，A₀表示为 图像a′_0e的特征经汉宁窗计算得到的数据矩阵，A₁,A₂,A₃,A₄表示为a′_1e,a′_2e,a′_3e,a′_4e的特征经 汉宁窗计算得到的数据矩阵，见图2。通过岭回归最小化训练图像与回归目标之间的均方误 差，来构建位置滤波器目标函数，获得线性空间下位置滤波器模板w，再通过函数映射， 解出非线性空间下的位置滤波器模板α。

位置滤波器目标函数为

其中，向量y表示回归目标，向量w表示学习的位置滤波器模板，λ₁、λ₂表示规则化项，最小化求解目标函数，解出w。为了计算的方便，通过数据矩阵B将目标函数写成一 般形式，一般形式的位置滤波器目标函数表示如下：

其中，数据矩阵相应的回归目标由y变为由y与0矩 阵结合，f_p(w,B)是凸函数，通过设置梯度下降为0最小化，解得w为线性空间回归模型求解得到的滤波器模板；引入高斯核函数将 线性的特征空间映射到一个更高维的空间，相应的相关滤波模板也由线性的变为非线性的，滤波器的模板变为：此时求解的参数就由w变为α，求解得到非线性空间 中的位置滤波器模板为α为{α₁,α₂,…,α_i}^T组成的列向量。

步骤3-2)训练尺度滤波器，获得尺度滤波器模板；

分别提取33个不同尺度样本图像a″_v，v＝1,2,…,33的hog特征，乘以汉宁窗，此时某 张样本图像a″_v的特征表示为x＝[x₁,x₂,…,x_d]^T，d＝31，x_l表示样本的第l维特征， l∈{1,2,…,d}，通过岭回归最小化训练图像与回归目标之间的均方误差，来构建尺度滤波器目标函数，获得尺度滤波器模板。

尺度滤波器目标函数为：

用h表示尺度滤波器模板，h_l表示尺度滤波器模板的第l维，H、G、X是对应函数h、g、x的快速傅里叶变换，H^*表示复共轭，⊙表示相关和点乘操作，λ≥0控制正则项 的影响，g表示回归目标，通过傅里叶变换将目标函数转至频域求解，得到 H_l是尺度滤波器模板在频域的相应表示，与不同尺度目标图像卷积， 与训练的模板越相似，响应值越大，选择响应最大值时的图像尺度，作为目标当前的尺度；

步骤4)读入下一帧图片，提取样本图像特征，输入位置滤波器，通过峰值响应，更新 目标位置。

本实施例中，如果位置滤波器模板w与目标图像卷积的数值较高，与其周边图像卷积 的数值较低，则说明位置滤波器的响应较大，通过位置滤波器对不同图像的最大响应确定 目标位置。

以目标前一帧位置为中心，采集一个尺寸为目标2.5倍大小的样本Z′，提取样本图像 hog特征Z′＝{Z′₁，Z′₂，Z′₃，…Z′_r}，乘以汉宁窗得到Z＝{Z₁,Z₂,Z₃,…Z_r}，将Z代入其中，Y＝{Y₁,Y₂,Y₃,…,Y_r}，Y_r表 示对预测区域内样本像素点的响应，F(·)表示离散傅里叶变换，F^-1(·)表示傅里叶逆变换， F^*(·)表示复共轭，通过得到最大值，最大值对应的像素点位置为 目标新位置z″；根据颜色概率公式P(x∈O)产生相应的颜色响应置信图(图4)。

步骤5)根据目标新位置，重新读取目标图像，提取不同尺度下样本，输入尺度滤波器， 通过峰值响应，更新目标尺度。

本实施例为了计算的简便，令尺度模型H_l公式中G^*⊙X_l＝C_l，

以目标的新位置z″为中心，采集33种不同尺度下的样本图像分别提取每个样本图 像的hog特征，乘以汉宁窗，同一尺度样本图像的hog特征表示为b∈{1,2,…,33}表示样本图像的尺度数量，l∈{1,2,…,d}d＝31表示特征的维度，作为测试样 本输入特征代入y_bs＝{y_1s,y_2s,…,y_33s}表示不同尺度下的样本 图像对目标模板的响应，通过获得响应的最大值，对应的图像尺 度为目标当前的最佳尺度

步骤6)判断当前帧跟踪是否正常。跟踪正常，执行1)，更新位置、尺度滤波器和颜色概率的参数；跟踪异常，执行2)寻找目标，进行尺度调整，如果失败，则进行下一帧目 标跟踪。

将位置相关滤波器输出响应的差值率p_s作为衡量跟踪是否正常的判断基准，p_s计算公 式如下：

max(·)、mean(·)、std(·)分别表示响应图的极大值、平均值、标准差，极大值、平均值、标 准差分别通过将位置滤波器的响应数值Y进行数学计算获得。目标跟踪是否正常的判断条 件为：p_s＞τ。如果p_s＞τ，目标跟踪正常；否则p_s≤τ，目标跟踪异常。本实施例中设定 阈值τ＝5.5。

步骤6)具体为：

a)跟踪正常，重新读取目标图像并训练位置、尺度滤波器，更新相关滤波器和颜色概率的 参数；

a-1)位置滤波器的更新：主要分为两个部分，一个部分是训练参数α的更新，另一个是跟 踪目标外观模型x的更新，具体的更新策略如下：α_t＝(1-β)α_t-1+βα′_t，x_t＝(1-β)x_t-1+βx′_t， α_t和α_t-1表示当前帧与前一帧更新后获得的训练参数，α′_t为当前帧新的训练参数。x_t和x_t-1表示当前帧与前一帧更新后获得的目标外观模型，x′_t为当前帧目标的新外观模型，β为学 习权重，本实施例中，β＝0.01。

a-2)尺度滤波器更新：通过上一帧模型与当前帧模型进行加权平均来更新，具体更新公式 如下：表示样本当前帧的 图像特征，表示样本当前帧的图像特征的复共轭，γ为学习权重，本实施例中，γ＝0.04；

a-3)颜色概率更新：P^t(χ∈O)＝(1-η_hist)×P^t-1(χ∈O)+η_hist×P(χ∈O)，目标区域颜色概率 更新，根据公式对原概率公式进行更新，其中，η_hist是颜色模型更新程度的学习率，P^t(χ∈O)、 P^t-1(χ∈O)、P(χ∈O)分别表示目标在当前帧、前一帧、首帧中的目标区域颜色概率，本 实施例中，η_hist＝0.03。

b)跟踪异常，启动最近邻检测，多次筛选样本，寻找丢失目标。

b-1)目标跟踪失败，首先通过滑窗遍历整幅置信图，获得全局图像的像素点集T_c＝{t₁,…,t_j}， 并计算每个像素点在矩形框区域的平均置信度C_H：m、n为矩形框 区域的宽、高，去掉像素点集T_c中平均置信度小于阈值τ_c(τ_c＝0.5)的像素点，将剩余的 像素点集T_N＝{t|C_H(t_j)≥τ_c,t_j∈T_c}输入最近邻检测模块。

b-2)使用最近邻检测，筛选像素点集T_N，最近邻检测中目标特征的正负像素点集集分别定 义为ω_j、f_j∈R^m是m维的fhog特征向量。计算经 过颜色模型检测初步筛选的像素点集T_N＝{t₁…,t_ζ}的特征向量与正像素点集Z_D之间的最大 类比度S_Z和负像素点集F_D之间的最大类比度S_F：

NCC(·)是计算特征向量之间的类比性程度，本方法采用的归一化的互相关系数(Normalized Cross-Correlation)，计算出每个像素点t属于像素点集的类比度：

去掉像素点集T_N中类比度值小于阈值τ_ncc的像素点，本实施例中τ_ncc＝0.5，剩余像素点集表 示为T_F＝{t|S_C(t_ζ)≥τ_ncc,t_ζ∈T_N}。

b-3)将像素点集T_F＝{t₁,…,t_h}依次输入位置相关滤波器，通过位置滤波器的响应最大值选 择像素点。响应最大值为：res(t_h)＝max(F^-1(F(α)·F(k_h)))，k_h是像素点t_h的映射高斯核 函数。选择像素点集T_F满足跟踪正常且响应值最大的像素点作为联合检测的输出结果，即 目标的位置，再进行尺度检测调整。通过上述方法检测获得目标的位置后，采用自适应学 习率更新颜色概率P^t(x∈O)。

如果像素点集T_F中样本均不满足跟踪正常的判断条件，则判定当前帧跟踪失败，则对 下一帧图片进行跟踪与检测。

步骤7)根据判定结果，代入下一帧目标检测，直至跟踪任务结束。

步骤7)具体为：

(1)判定目标跟踪正常，更新相关滤波器、颜色概率参数，此时的输出结果为以检测 出的目标位置z″为中心，检测出的尺度对应大小的图片。

在下一帧图片中，根据更新后的位置滤波器确定位置，根据尺度滤波器调整尺度，判 定目标跟踪是否正常，重复步骤6)，重复代入下一帧，直至跟踪任务结束；

(2)判定目标跟踪不正常，利用步骤6寻找丢失目标，如果找到丢失目标，利用尺度滤波器调整尺度，再更新相应参数，输出的结果为根据步骤6)中的b)部分获得的目标位置，以及步骤5)获得目标尺度。如果未能找到丢失目标，此时的输出结果为位置、尺度滤 波器的检测出的目标位置及尺度。

在下一帧图片中，先使用位置、尺度滤波器进行确定位置、调整尺度，判定目标跟踪 是否正常，重复步骤6)，重复代入下一帧，直至跟踪任务结束；

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任 何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都 应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为 准。

Claims (9)

1.一种基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于包括如下步骤：

步骤1)读取第一帧图片，确定目标位置及大小，设置目标区域和背景区域；

步骤2)根据所述目标位置对尺度滤波器进行样本预处理，获得不同尺度的样本图像，计算目标区域O与背景区域B的颜色直方图，获得目标样本的概率；

步骤3)分别提取样本hog特征和灰度特征，根据所述hog特征和灰度特征训练位置滤波器和尺度滤波器，获得对应滤波器模板；

步骤4)读入下一帧图片，提取样本图像特征，输入位置滤波器，通过峰值响应，更新目标当前位置；

步骤5)根据目标当前位置，重新读取目标图像，提取不同尺度下样本，输入尺度滤波器，通过峰值响应，更新目标尺度；

步骤6)判断当前帧跟踪是否正常，若跟踪正常，则重新读取目标图像并训练位置滤波器、尺度滤波器，更新位置、尺度滤波器和颜色概率的参数；若跟踪异常，则寻找目标，进行尺度调整，如果跟踪失败，则进行下一帧目标跟踪；

步骤7)根据判定结果，代入下一帧目标检测，直至跟踪任务结束。

2.根据权利要求1所述的基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于所述步骤1)包括如下步骤：

步骤1-1)通过Visual Tracker Benchmark官网下载OTB-50数据包，读取目标的坐标，获得目标的位置；

步骤1-2)以目标当前位置和尺度作为目标区域O，以当前O区域宽、高的1.5倍大小作为背景区域B，背景区域不包含目标区域，目标区域O与背景区域B组成一个矩形搜索区域。

3.根据权利要求2所述的基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于所述OTB-50数据包中包含了50个视频场景，每一个场景里设有标注好的真实框，所述真实框标注了第一帧图片中目标的坐标。

4.根据权利要求1所述的基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于步骤2)包括如下步骤：

步骤2-1)位置滤波器样本预处理：以目标图像a₀和周边的四个方向上的背景图像a₁,a₂,a₃,a₄为基图像，由所述目标图像与基图像循环偏移得出一系列的图像e为每个图像区域经过循环平移所得图像数量，其中，a′_0e为目标图像经过循环偏移得到的图像，a′_1e,a′_2e,a′_3e,a′_4e为目标图像周边四个方向上的背景图像经过循环偏移得到的图像，通过将基图像的数值矩阵通过傅里叶快速变换由时域转到频域，在频域中将数值矩阵通过对角矩阵分解，实现基图像循环偏移；

步骤2-2)尺度滤波器样本预处理，获得不同尺度的样本图像：以目标图像a₀为中心，向上、向下采样提取33种不同尺度下的样本图像为a″_v，v＝1,2,…,33，采样策略为aⁿP×aⁿR,P、R分别为目标在前一帧的宽、高，a为尺度因子，S为尺度滤波器的长度；

步骤2-3)使用颜色检测，获得颜色直方图，建立目标样本的基本颜色概率公式，从而计算目标样本P(χ∈O)的概率。

5.根据权利要求4所述的基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于步骤2-2)中设定a＝1.02，S＝33。

6.根据权利要求4所述的基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于所述步骤3)包括如下步骤：

步骤3-1)训练位置滤波器，获得位置滤波器模板：利用算法提取图像a′_je,j＝0,1,2,3,4的hog特征和灰度特征，将hog特征和灰度特征并联，进行快速傅里叶变换，作为输入特征q为样本特征数量，将得到的特征乘以汉宁窗，去除边缘化，得到数据矩阵为A＝{A₀,A₁,A₂,A₃,A₄}，其中，A₀表示为图像a′_0e的特征经汉宁窗计算得到的数据矩阵，A₁,A₂,A₃,A₄表示为a′_1e,a′_2e,a′_3e,a′_4e的特征经汉宁窗计算得到的数据矩阵，通过岭回归最小化训练图像与回归目标之间的均方误差构建位置滤波器目标函数，如式(1)，获得线性空间下位置滤波器模板w，再通过函数映射，解出非线性空间下的位置滤波器模板α；

式(1)中，向量y表示回归目标，向量w表示学习的位置滤波器模板，λ₁、λ₂表示规则化项，最小化求解目标函数，解出w；

步骤3-2)训练尺度滤波器，获得尺度滤波器模板：分别提取33个不同尺度样本图像a″_v，v＝1,2,…,33的hog特征，对特征进行离散傅里叶变换，乘以汉宁窗，此时某张样本图像a″_v的特征表示为x＝[x₁,x₂,…,x_d]^T，d＝31，表示该列向量的长度，x_l表示样本的第l维特征，l∈{1,2,…,d}，通过岭回归最小化训练图像与回归目标之间的均方误差构建尺度滤波器目标函数获得尺度滤波器模板，尺度滤波器目标函数如式(3)

式(3)中，h表示尺度滤波器模板，h_l表示尺度滤波器模板的第l维，H、G、X是对应函数h、g、x的快速傅里叶变换，⊙表示相关和点乘操作，λ≥0表示正则化参数，g表示回归目标；

根据式(4)通过傅里叶变换将目标函数转至频域求解，

式(4)中，H_l是尺度滤波器模板在频域的相应表示，作为目标当前的尺度，G^*表示对应变量的傅里叶变换的复共轭，X_l是x_l的相应傅里叶变换，x_l表示样本的第l维特征，X_k是x_k的相应傅里叶变换，表示X_k的复共轭，k为自然整数。

7.根据权利要求6所述的基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于步骤3-1)中由位置滤波器目标函数解出非线性空间下的位置滤波器模板的过程为：

首先设定一般形式的位置滤波器目标函数如式(2)，

式(2)中，数据矩阵相应的回归目标由y变为 由y与0矩阵结合，f_p(w,B)是凸函数，通过设置梯度下降为0最小化，解得w为线性空间回归模型求解得到的滤波器模板；

再引入高斯核函数将线性的特征空间映射到一个更高维的空间，相应的相关滤波模板也由线性的变为非线性的，滤波器的模板变为：求解的参数由w变为α；最终求解得到非线性空间中的位置滤波器模板为α为{α₁,α₂,…,α_i}^T组成的列向量。

8.根据权利要求1所述的基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于所述步骤6)中将位置相关滤波器输出响应的差值率p_s作为衡量跟踪是否正常的判断基准，p_s计算公式如式(5)，

式(5)中，max(·)、mean(·)、std(·)分别表示响应图的极大值、平均值、标准差，极大值、平均值、标准差分别通过将位置滤波器的响应数值Y进行数学计算获得，目标跟踪是否正常的判断条件为：p_s＞τ，如果p_s＞τ，目标跟踪正常；否则p_s≤τ，目标跟踪异常。

9.根据权利要求1所述的基于相关滤波和颜色检测的目标尺度自适应跟踪方法，其特征在于所述步骤7)中，

若判定目标跟踪正常，更新相关滤波器、颜色概率参数，此时的输出结果为以检测出的目标位置z”为中心，检测出的尺度对应大小的图片；在下一帧图片中，根据更新后的位置滤波器确定位置，根据尺度滤波器调整尺度，判定目标跟踪是否正常，重复步骤6)，重复代入下一帧，直至跟踪任务结束；

若判定目标跟踪不正常，根据步骤6)寻找丢失目标，如果找到丢失目标，通过尺度滤波器调整尺度，再更新相应参数，输出的结果为利用步骤6)中跟踪异常时获得的目标位置，以及步骤5)获得的目标尺度；如果未能找到丢失目标，此时的输出结果为位置、尺度滤波器检测出的目标位置及尺度；在下一帧图片中，先使用位置、尺度滤波器进行确定位置、调整尺度，判定目标跟踪是否正常，重复步骤6)，重复代入下一帧，直至跟踪任务结束。