CN117036740A - 一种用于运动目标的抗遮挡性跟踪方法 - Google Patents

Abstract

本发明公开了一种用于运动目标的抗遮挡性跟踪方法及系统，属于运动目标跟踪技术领域，包括：获取待跟踪目标的图像序列，使用第一帧的图像和目标框所在的位置初始化跟踪器；将图像序列的HOG特征向量和CN特征向量进行融合，通过进行核相关滤波，计算待跟踪目标的响应最大值和APCE；根据响应最大值和APCE，判断待跟踪目标是否被遮挡，对遮挡目标，通过卡尔曼滤波算法进行跟踪；本发明设计的判别式跟踪技术，实现了被遮挡的运动目标的实时有效跟踪，并提高跟踪的鲁棒性。

Description

一种用于运动目标的抗遮挡性跟踪方法

技术领域

本发明涉及目标跟踪技术领域，具体而言，涉及一种用于运动目标的抗遮挡性跟踪方法。

背景技术

计算机视觉作为人工智能领域最热门的研究方向之一。目标跟踪是计算机视觉领域的一个重要组成部分，有着广泛的应用前景。其目标是在连续的图像中对感兴趣物体进行检测、提取、识别和跟踪，从而获得目标物体的相关参数，如位置、速度、尺度、轨迹等，并对其进一步处理和分析，实现对目标物体的行为理解，或完成更高一级的任务。由于当前智能监控领域的目标跟踪有诸多干扰因素，导致跟踪失败的主要原因有运动目标的尺度变化，干扰，快速运动等等。常见的跟踪方法有背景差分法，光速流法，边缘检测算法，但这些算法都无法进行尺度自适应与特征融合，因此，急需设计一种判别式的跟踪技术，以达到对运动目标的实时有效跟踪。

发明内容

为了解决上述问题，本发明提供了一种用于运动目标的抗遮挡性跟踪方法，包括以下步骤：

获取待跟踪目标的图像序列，使用第一帧的图像和目标框所在的位置初始化跟踪器；

将图像序列的HOG特征向量和CN特征向量进行融合，通过进行核相关滤波，计算待跟踪目标的响应最大值和APCE；

根据响应最大值和APCE，判断待跟踪目标是否被遮挡，对遮挡目标，通过卡尔曼滤波算法进行跟踪。

优选地，在对跟踪器进行初始化的过程中，将待跟踪目标及周围的矩形区域作为训练样本，通过循环矩阵构造正负样本，同时利用循环矩阵对角化的性质，将训练样本进行对角化，并对其进行约束优化，进而完成对跟踪器的初始化。

优选地，在对HOG特征向量和CN特征向量进行融合的过程中，首先将目标图像转换为灰度图像，去除颜色信息，对灰度图像进行梯度计算，获取图像的梯度幅值和梯度方向；

将图像划分为大小为8x8或16x16像素的块，对每个块内的像素梯度方向进行统计，生成梯度方向的直方图；

对邻近的几个块的直方图进行归一化，以抵消光照和阴影的影响，将所有的直方图串联起来，形成HOG特征向量；

然后，将目标图像转换为Lab颜色空间，并划分为8x8或16x16像素的块，对每个块内的像素在a和b通道上进行统计，生成颜色信息的直方图，形成最终的CN特征向量；

最后，根据支持向量机分类器，赋予不同的权重来控制不同特征的贡献程度，将HOG特征向量和CN特征向量进行加权融合。

优选地，在使用支持向量机分类器进行特征融合的过程中，支持向量机分类器如下：f(x|w,b)＝w^T+b，其中，w为权重向量，b为偏差值，x为目标跟踪图像的多种特征信息。

优选地，在进行核相关滤波的过程中，核相关滤波表示为：

其中，f_HOG(z)和f_CN(z)分别代表相关的响应图，和/>代表两个特征的目标样本和下一帧候选区域之间的高斯核相关，/>和/>代表两种特征的相关滤波器。

优选地，在获取响应最大值的过程中，响应最大值表示为：

f(z)＝η_HOGf_HOG(z)+η_CNf_CN(z)

式中：η_HOG和η_CN为融合权重。

优选地，在获取融合权重的过程中，通过响应图的最大值和平均峰值相关能量APCE，计算融合权重。

优选地，在获取APCE的过程中，APCE用于表示响应图的波动情况和置信程度，为：

其中：F_max为响应图中的最大值，F_min为响应图中的最小值，F_w,h为响应图中的值。

优选地，在对遮挡目标通过卡尔曼滤波算法进行跟踪的过程中，对于遮挡目标，通过卡尔曼滤波算法，将输入的数据运用最优估计方法，获得目标位置，其中，卡尔曼滤波算法表示为：

式中，x_k为k时刻的状态估计值，A为状态转移矩阵，x_k-1为k-1时刻的状态估计值，B为控制矩阵，u_k-1为控制增益，P_k-1为第k-1时刻的状态估计协方差，Q为过程噪声的协方差；K_k为卡尔曼增益，z_k为前一时刻的目标测量结果，H为测量矩阵，R为测量噪声矩阵，U为单位矩阵。

本发明公开了一种用于运动目标的抗遮挡性跟踪系统，包括：

数据采集模块，用于获取待跟踪目标的图像序列；

初始化模块，用于通过图像序列的第一帧的图像和目标框所在的位置初始化跟踪器；

特征融合模块，用于将图像序列的HOG特征向量和CN特征向量进行融合，通过进行核相关滤波，计算待跟踪目标的响应最大值和APCE；

遮挡判定模块，用于根据响应最大值和APCE，判断待跟踪目标是否被遮挡；

遮挡目标跟踪模块，用于根据遮挡判定结构获取的遮挡目标，通过卡尔曼滤波算法进行跟踪。

本发明公开了以下技术效果：

本发明设计的判别式跟踪技术，实现了被遮挡的运动目标的实时有效跟踪，并提高跟踪的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所述的基于特征融合和抗遮挡的目标跟踪方法流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本发明提供了一种基于特征融合以及抗遮挡能力的目标跟踪方法，包括如下步骤：

步骤1、插入图像序列；

步骤2、使用第一帧的图像和目标框所在的位置初始化跟踪器；

步骤3、将HOG特征向量和CN特征向量进行融合；

步骤4、进行核相关滤波，并计算目标响应最大值和APCE；

步骤5、通过响应最大值和APCE判断目标是否被遮挡；

步骤6、更新卡尔曼滤波；

步骤7、读取视频下一帧图形；

步骤8、结束；

在步骤2中使用第一帧的图像和目标框所在的位置初始化跟踪器的过程具体为：目标及周围的矩形区域作为训练样本，通过循环矩阵构造大量的正负样本，同时利用循环矩阵对角化的性质，将训练样本进行对角化，并对其进行约束优化获得最终的分类器。

在步骤3中将HOG特征向量和CN特征向量进行融合的过程具体为：首先提取HOG特征向量，将目标图像转换为灰度图像，去除颜色信息，对灰度图像进行梯度计算，获取图像的梯度幅值和梯度方向。将图像划分为小的块(cell)，通常大小为8x8或16x16像素。对每个块内的像素梯度方向进行统计，生成梯度方向的直方图。对邻近的几个块的直方图进行归一化，以抵消光照和阴影的影响，将所有的直方图串联起来，形成最终的HOG特征向量。然后提取CN特征向量，将目标图像转换为Lab颜色空间，其中L通道表示亮度，a和b通道表示颜色信息。将Lab图像划分为小的块(cell)，通常大小为8x8或16x16像素。对每个块内的像素在a和b通道上进行统计，生成颜色信息的直方图。将所有的直方图串联起来，形成最终的CN特征向量。最后将HOG特征向量和CN特征向量进行加权融合，通过支持向量机赋予不同的权重来控制不同特征的贡献程度。HOG特征向量的通道数为31，CN特征向量的通道数为10，融合后得到41个通道特征。通过对应像素相加的方式将41个通道特征进行相加，最终得到一个单通道的特征图。

具体地，支持向量机分类器如下：f(x|w,b)＝w^T+b，在这里，w为权重向量，b为偏差值，x为目标跟踪图像的多种特征信息。

在步骤4中，进行核相关滤波，相关滤波算法属于判别类视觉跟踪算法，该算法可对目标区域循环移位生成大量样本，从这些样本中学习得到相关滤波分类器；在下一帧图像预测区域采样并进行循环移位操作，生成大量预测样本，计算各个样本的最大响应值，并将拥有最大响应值的预测样本作为下一帧图像中目标的位置。算法中利用循环矩阵生成训练样本，并利用循环矩阵在岭回归中的特殊性质及快速傅里叶变换对算法进行加速。

通过使用一个一维向量作为基本样本，x＝(x₁,x₂,…,x_n)，利用循环矩阵的概念对样本进行采样：

在步骤5中，为了提高目标跟踪的准确程度，将目标的方向梯度直方图特征和颜色特征进行并联融合训练滤波器，从而获得最终的目标响应公式：

式中：f_HOG(z)和f_CN(z)分别代表相关的响应图，和/>代表两个特征的目标样本和下一帧候选区域之间的高斯核相关，/>和/>代表两种特征的相关滤波器。

最终的响应值由两种特征的响应值加权得到，由此可得到响应图的最大值：

f(z)＝η_HOGf_HOG(z)+η_CNf_CN(z)

式中：η_HOG和η_CN为融合权重。

基于响应图的最大值和平均峰值相关能量(APCE)计算融合权重。其中APCE定义为：

其中：F_max为响应图中的最大值，F_min为响应图中的最小值，F_w,h为响应图中的值。APCE可用于表示响应图的波动情况和置信程度。当APCE突然减小时，就是目标被遮挡，或者目标丢失的情况，当前帧的APCE相对于这段视频的APCE历史均值有很明显的减小，因此在这种情况下选择不更新模型，从而避免了模型的漂移。只有当APCE都以一定比例大于历史均值的时候，模型才进行更新，可以大大减少模型漂移的情况，同时减少了模型更新的次数，达到了加速的效果。

目标跟踪过程中，除了初始帧之外，每一次跟踪器更新前都会增加一个多峰值检测机制APCE，当外界没有干扰存在的情况下，出现的响应的峰值都是单峰，但是当出现类似遮挡等干扰时，响应就是多峰值。

本发明提到的目标遮挡处理一直是目标跟踪的难点问题。当目标被遮挡时，目标的外观模型会发生变化，而跟踪器由于无法进行判断，通常会将错误的模型进行学习，从而丢失真正的目标，最终导致目标跟踪失败。

在步骤6通过引用卡尔曼滤波算法将输入的数据运用最优估计方法最终能够获得相对准确的目标位置，可以解决目标遮挡问题，有效进行跟踪。

其中，卡尔曼滤波的状态更新方程为：

式中，x_k为k时刻的状态估计值，A为状态转移矩阵，x_k-1为k-1时刻的状态估计值，B为控制矩阵，u_k-1为控制增益，P_k-1为第k-1时刻的状态估计协方差，Q为过程噪声的协方差。

卡尔曼滤波的状态更新方程为：

式中，K_k为卡尔曼增益，z_k为前一时刻的目标测量结果，H为测量矩阵，R为测量噪声矩阵，U为单位矩阵。

本发明公开的目标跟踪方法，通过插入待跟踪的图像序列，使用第一帧的图像和目标框所在的位置初始化跟踪器；将互补特征HOG特征向量和CN特征向量进行融合；进行核相关滤波，并计算目标响应最大值和APCE；通过响应最大值和APCE判断目标是否被遮挡，当APCE小于响应最大值时时，目标被遮挡；此时更新卡尔曼滤波来预测目标下一帧的位置；若目标未被遮挡，则读取视频下一帧图形。最终有效提高了目标跟踪的鲁棒性。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种用于运动目标的抗遮挡性跟踪方法，其特征在于，包括以下步骤：

获取待跟踪目标的图像序列，使用第一帧的图像和目标框所在的位置初始化跟踪器；

将所述图像序列的HOG特征向量和CN特征向量进行融合，通过进行核相关滤波，计算所述待跟踪目标的响应最大值和APCE；

根据所述响应最大值和所述APCE，判断所述待跟踪目标是否被遮挡，对遮挡目标，通过卡尔曼滤波算法进行跟踪。

2.根据权利要求1所述一种用于运动目标的抗遮挡性跟踪方法，其特征在于：

在对跟踪器进行初始化的过程中，将所述待跟踪目标及周围的矩形区域作为训练样本，通过循环矩阵构造正负样本，同时利用循环矩阵对角化的性质，将训练样本进行对角化，并对其进行约束优化，进而完成对跟踪器的初始化。

3.根据权利要求2所述一种用于运动目标的抗遮挡性跟踪方法，其特征在于：

在对HOG特征向量和CN特征向量进行融合的过程中，首先将目标图像转换为灰度图像，去除颜色信息，对灰度图像进行梯度计算，获取图像的梯度幅值和梯度方向；

将图像划分为大小为8x8或16x16像素的块，对每个块内的像素梯度方向进行统计，生成梯度方向的直方图；

对邻近的几个块的直方图进行归一化，以抵消光照和阴影的影响，将所有的直方图串联起来，形成HOG特征向量；

然后，将目标图像转换为Lab颜色空间，并划分为8x8或16x16像素的块，对每个块内的像素在a和b通道上进行统计，生成颜色信息的直方图，形成最终的CN特征向量；

最后，根据支持向量机分类器，赋予不同的权重来控制不同特征的贡献程度，将HOG特征向量和CN特征向量进行加权融合。

4.根据权利要求3所述一种用于运动目标的抗遮挡性跟踪方法，其特征在于：

在使用支持向量机分类器进行特征融合的过程中，支持向量机分类器如下：f(x|w,b)＝w^T+b，其中，w为权重向量，b为偏差值，x为目标跟踪图像的多种特征信息。

5.根据权利要求4所述一种用于运动目标的抗遮挡性跟踪方法，其特征在于：

在进行核相关滤波的过程中，所述核相关滤波表示为：

其中，f_HOG(z)和f_CN(z)分别代表相关的响应图，和/>代表两个特征的目标样本和下一帧候选区域之间的高斯核相关，/>和/>代表两种特征的相关滤波器。

6.根据权利要求5所述一种用于运动目标的抗遮挡性跟踪方法，其特征在于：

在获取响应最大值的过程中，所述响应最大值表示为：

f(z)＝η_HOGf_HOG(z)+η_CNf_CN(z)

式中：η_HOG和η_CN为融合权重。

7.根据权利要求6所述一种用于运动目标的抗遮挡性跟踪方法，其特征在于：

在获取融合权重的过程中，通过响应图的最大值和平均峰值相关能量APCE，计算所述融合权重。

8.根据权利要求7所述一种用于运动目标的抗遮挡性跟踪方法，其特征在于：

在获取APCE的过程中，所述APCE用于表示响应图的波动情况和置信程度，为：

其中：Fmax为响应图中的最大值，F_min为响应图中的最小值，F_w,h为响应图中的值。

9.根据权利要求8所述一种用于运动目标的抗遮挡性跟踪方法，其特征在于：

在对遮挡目标通过卡尔曼滤波算法进行跟踪的过程中，对于所述遮挡目标，通过卡尔曼滤波算法，将输入的数据运用最优估计方法，获得目标位置，其中，所述卡尔曼滤波算法表示为：

式中，x_k为k时刻的状态估计值，A为状态转移矩阵，x_k-1为k-1时刻的状态估计值，B为控制矩阵，u_k-1为控制增益，P_k-1为第k-1时刻的状态估计协方差，Q为过程噪声的协方差；K_k为卡尔曼增益，z_k为前一时刻的目标测量结果，H为测量矩阵，R为测量噪声矩阵，U为单位矩阵。

10.一种用于运动目标的抗遮挡性跟踪系统，其特征在于，包括：

数据采集模块，用于获取待跟踪目标的图像序列；

初始化模块，用于通过所述图像序列的第一帧的图像和目标框所在的位置初始化跟踪器；

特征融合模块，用于将所述图像序列的HOG特征向量和CN特征向量进行融合，通过进行核相关滤波，计算所述待跟踪目标的响应最大值和APCE；

遮挡判定模块，用于根据所述响应最大值和所述APCE，判断所述待跟踪目标是否被遮挡；

遮挡目标跟踪模块，用于根据遮挡判定结构获取的遮挡目标，通过卡尔曼滤波算法进行跟踪。