CN116228817B - 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，包括：读取视频流初始帧确定目标位置坐标以及目标框尺寸；提取目标HOG特征与CN特征对检测器进行初始化；读取后续帧图像，对相邻帧抖动情况与目标状态进行评估；根据评估结果判断是否需要对目标位置进行预测以及是否需要对检测器模型进行更新；判断目标是否消失进而是否需要对检测进行脱锁重新初始化。本发明有效提升基于相关滤波单目标跟踪方法的实时性和稳定性。在目标被遮挡或者跟踪镜头出现抖动时通过对目标一段时间内的运动轨迹的记录结果进行轨迹预测，并根据抖动幅度实时更新目标重搜索范围，从而提升了跟踪器的抗遮挡与抗抖动能力，进而提升了跟踪器的鲁棒性。

Description

一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法

技术领域

本发明属于计算机视觉领域中的目标检测和跟踪技术领域，尤其涉及一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法。

背景技术

随着计算机视觉领域技术的不断突破，越来越多的功能得以实现。单目标跟踪是目前计算机视觉领域的热门研究方向，旨在实现最为简单的给定一个目标，追踪这个目标的位置的功能，在跟踪过程中，需要保证跟踪器的实时性和稳定性，以确保跟踪的性能。单目标跟踪在军事制导、视频监控、机器人视觉导航、人机交互、以及医疗诊断等许多方面有着广泛的应用前景，尤其在无人平台下的单目标跟踪，能够减少人力资源的浪费，自动进行目标运动轨迹的跟踪和预测，具有很强的实际应用潜力。因此，对在无人平台下的单目标跟踪的研究意义非凡。

单目标跟踪这部分的方法主要有两大类：生成类和判别类。生成类方法如光流法、粒子滤波、meanshift跟踪算法等，特点是针对目标建模或提取目标特征，在后续帧中进行相似特征搜索，逐步迭代实现目标定位。但这类方法缺点也很明显，一是图像的背景信息未得到很好的利用，二是搜索速度不够，无法达到实时性要求。

判别式方法是将目标和背景同时考虑，通过对比目标和背景的差异，将目标提取出来，从而得到当前帧中目标位置。将匹配问题转化为了分类问题。2010年,MOSSE首次将通信领域的相关滤波方法引入到目标跟踪中。作为鉴别式方法的一种,相关滤波无论在速度上还是准确率上,都显示出更优越的性能。由于其优越的性能，由此诞生了一大批基于相关滤波的跟踪算法。由于神经网络的快速发展，AlexNet、GoogleNet、ResNet等end-to-end方法已经越来越受重视，神经网络优势在于不再需要明确知道目标的确定特征，能够融合更多的特征，通过训练，网络自己去搜索出最合适的特征。怎样去设计和提取目标的特定特征转变为了怎样去设计网络结构使其能发现和利用更丰富的特征。但由于平台算力的限制，大多基于神经网络的单目标跟踪算法在实时性上有着较差的表现，因此，在实际使用中，基于相关滤波的单目标跟踪算法仍占据着主流地位。

在一些复杂场景中，由于目标存在着遮挡、形变、尺度变换、运动模糊、光照不均匀等问题，基于相关滤波的单目标跟踪算法由于其固有的在线特性，容易出现模型被污染，丢失目标的问题，极大地影响了算法的鲁棒性。因此需要设计算法具有一定的抗遮挡、抗抖动能力，并能够在确认丢失目标后对目标运动轨迹进行简单的预测，并能够重新找回目标。同时，由于平台算力的限制，设计的算法需要具有复杂度低，简单有效的特点，以保证算法具有实时性，从而具备落实应用的实际意义。

发明内容

本发明目的在于提供一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法,在相关滤波的基础上，在遮挡判断、抖动评估、轨迹预测、模型更新、丢失脱锁等方面对跟踪策略进行补全与改进，提升了跟踪算法的鲁棒性与实时性，以解决在一些复杂场景中，由于目标存在着遮挡、形变、尺度变换、运动模糊、光照不均匀等问题，基于相关滤波的单目标跟踪算法由于其固有的在线特性，容易出现模型被污染，丢失目标的问题，极大地影响了算法的鲁棒性以及实时性的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，包括以下步骤：

步骤1：读取视频流初始帧信息，选定目标，确定目标位置坐标以及目标框尺寸，分别提取目标方向梯度直方图(HOG)特征与颜色(CN)特征信息，采用循环矩阵法获取初始帧目标的多个样本，对检测器进行初始化；

步骤2：读取下一帧图像信息，采用Lucas-Kanade(LK)光流算法对前一帧与当前帧图像抖动程度计算，对当前帧的抖动情况进行评估，从而确定搜索范围的大小；

步骤3：采用当前检测器对下一帧图像进行处理，围绕前一帧的目标位置坐标进行搜索，搜索范围设定为步骤2中确定的值，得到最符合结果的相关滤波响应图；根据响应图主峰与第二旁瓣比以及主峰大小判断目标状态，若目标被遮挡，则转到步骤4，若目标未被遮挡，根据相关滤波响应图峰值坐标确定目标当前帧的位置，并记录当前帧目标位置对比前一帧的变化值，然后转到步骤6；

步骤4：判断目标是否已经被连续遮挡a₁帧，若是，则目标判定为消失，转到步骤8，若否，则转到步骤5；a₁取值为50～150；

步骤5：根据跟踪目标的前一帧位置变化值与历史位置变化值预测其移动轨迹，分别采用卡尔曼滤波与灰色预测算法对目标在当前帧的位置变化值进行预测，卡尔曼滤波预测结果为(x₁,y₁)，灰色预测结果为(x₂,y₂)，对两种预测结果进行评估后择优作为预测结果给出目标位置；

步骤6：根据响应图主峰与第一旁瓣比、主峰大小以及当前帧与上次更新模型的那一帧之间间隔是否满足大于帧数b₁，判断是否应该跟新检测器模型，若是，则将当前帧的目标框信息存入样本库，并对样本库整理，去掉对跟踪影响小的陈旧样本，进而对模型进行更新，若否，则转到步骤2；b₁取值为6～30；

步骤7：判断目标当前帧位置是否超过图像范围，若是，则转到步骤8，若否，则回到步骤2；

步骤8：读取下一帧图像信息，对检测器进行重新初始化，回到步骤1。

进一步的，步骤2中，采用LK光流算法提取相邻帧间的光流，评估相邻帧之间画面抖动程度，具体计算抖动公式为：

其中，R为图像边长，X_ij(t)为对应t时刻光流场中i行j列的X分量,Y_ij(t)为对应t时刻光流场中i行j列的的Y分量，共有M行N列光流参量，d为评估图像抖动参数；目标搜索区域尺度为d*5*10³+4的值保留一位小数。

进一步的，步骤3中目标遮挡的判定是基于主峰与第二旁瓣比以及主峰大小二个指标，步骤6中目标遮挡的判定是基于主峰与第一旁瓣比以及主峰大小二个指标，从而能够对目标遮挡程度进行精确的程度判断；设定阈值c₁，c₂，若主峰与第二旁瓣比小于c₁，则判定为严重遮挡，同时停止目标位置检测与模型更新，采用根据跟踪目标的前一帧位置变化值与历史位置变化值预测其移动轨迹；若主峰与第一旁瓣比小于c₁，则判定为轻微遮挡，停止模型更新，但仍可使用现有检测器模型对目标进行跟踪；若主峰与第一旁瓣比大于等于c₁，再对主峰能量集中域进行判断，若主峰能量集中域大于总响应图区域的c₂，则判断目标进行了形变、模糊或亮度变化的情况；主峰能量集中域为响应图中能量值在峰值的0.8倍以上的元素个数；c₁，c₂取值分别为1.5～2.5，0.08％～0.13％。

进一步的，步骤5中，采用卡尔曼滤波与灰色预测算法对目标在当前帧的位置变化值进行预测，而非直接对目标位置进行预测，减小了由于预测而带来的目标位置变化的不稳定性；其中，卡尔曼滤波状态转移矩阵为：

其中dt为帧更新时间，为帧率的倒数。更新矩阵为：

观察噪声方差矩阵为：

运动估计误差矩阵为：

h为初始帧目标框高度。

灰色预测算法采用一阶模型，即GM(1,1)算法，其中参与预测的数据量参数为e₁，e₁取值为1～150。

5、根据权利要求1所述的基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，其特征在于，在所述步骤5中，比较卡尔曼滤波预测与灰色预测结果，进行比对，择优选择预测结果；判断依据为：判断灰色预测结果的绝对值与卡尔曼滤波预测结果的绝对值之比是否大于阈值f₁，f₁取值为1.5～2.5。

本发明的一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，具有以下优点：

1、本发明对目标遮挡的判定是基于主峰与第一、第二旁瓣比以及主峰大小三个指标，从而能够对目标状态进行精确的程度判断。首先通过主峰与第一、第二旁瓣比这一指标评估目标被遮挡的状况，从而对目标跟踪的状态进行实时调整，然后再通过主峰能量集中域指标来评估目标的形变等状况，进而对模型更新状态进行实时调整。通过对目标当前状态进行精确的程度判断，使得跟踪器的目标定位与模型更新都更准确，更稳定，同时不消耗过多的计算资源；

2、本发明对视频流的抖动状况进行了评估，采用LK光流算法对两帧图像抖动程度计算，从而能够实时改变搜索范围的大小，从而达到了提高跟踪准确性与减少算力的动态平衡；

3、本发明采用卡尔曼滤波和灰色预测两种预测方法对目标的位置变化值进行预测，通过对位置变化值而非直接对目标位置进行预测，减小了由于预测而带来的目标位置变化的不稳定性。同时，由于卡尔曼滤波适用于对线性运动的预测，而灰色预测适用于非线性运动的拟合，综合运用这两种方法，有效提高了对目标运动轨迹预测的准确性；

4、本发明有别于传统相关滤波算法逐帧跟新模型，考虑到实时目标跟踪过程中，每秒视频流帧数可达25～50帧，调整更新策略为每隔b₁帧更新一次模型。同时，为了提高跟踪过程中的鲁棒性，减少由于目标形变等对跟踪带来的影响，设立样本库，及时存入新样本，删除过时的旧样本，提高跟踪的准确性和鲁棒性；

5、本发明为避免由于目标长期被遮挡或由于超过画面范围带来跟踪器失效的情况，设立了脱锁机制，当出现上述情况时，可以准确判断并对跟踪器进行初始化，重新跟踪新目标，从而解决了这一问题。

本发明基于相关滤波算法，对相关滤波算法运行过程中容易出现的模型被污染以及跟踪丢失的情况进行了解决，提高了算法的准确性以及鲁棒性，并降低了对设备算力的需求，为实际工程应用提供了一种足够优秀的单目标跟踪解决方案。

附图说明

图1为本发明实施方式中基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法的流程图。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法做进一步详细的描述。

图1为方案的流程图，包括以下步骤：

步骤1：读取视频流初始帧信息，选定目标，确定目标位置坐标以及目标框尺寸，分别提取目标方向梯度直方图HOG特征与颜色CN特征信息，采用循环矩阵法获取初始帧目标的多个样本，对检测器进行初始化；

具体包括以下步骤：

步骤1.1、读取视频初始帧，框选出所需跟踪的目标，获取目标初始位置(x₀,y₀)以及目标框大小(w₀,h₀)，转到步骤1.2；

步骤1.2：提取目标HOG特征与CN特征信息，转到步骤1.3；

步骤1.3：采用循环矩阵法获取初始帧目标的多个样本，对检测器进行初始化，转到步骤2。

步骤2：读取下一帧图像信息，采用Lucas-Kanade(LK)光流算法对前一帧与当前帧图像抖动程度计算，对当前帧的抖动情况进行评估，从而确定搜索范围的大小。

具体包括以下步骤：

步骤2.1：判断是否能获取下一帧图像信息；

1)能获取下一帧图像信息，获取图像，转到步骤2.2；

2)不能获取下一帧图像信息，跟踪结束。

步骤2.2：根据LM光流算法结果，计算相邻帧之间画面抖动程度d，目标搜索区域尺度为d*5*10³+4的值保留一位小数，转到步骤3；

步骤3、采用当前检测器对下一帧图像进行处理，围绕前一帧的目标位置坐标进行搜索，搜索范围设定为步骤2中确定的值，得到最符合结果的相关滤波响应图；根据响应图主峰与第二旁瓣比以及主峰大小判断目标状态，若目标被遮挡，则转到步骤4，若目标未被遮挡，根据相关滤波响应图峰值坐标确定目标当前帧的位置，并记录当前帧目标位置对比前一帧的变化值，然后转到步骤6。

具体包括以下步骤：

步骤3.1：提取目标搜索区域HOG特征与CN特征信息，目标检测器获取响应图，转到步骤3.2；

步骤3.2：根据响应图主峰与第二旁瓣比k₂判断目标是否被遮挡，设定阈值c₁取值为2，

具体判定方法如下：

1)当响应图主峰与第二旁瓣比k₂小于c₁时，表示目标被严重遮挡，转到步骤4；

2)当响应图主峰与第二旁瓣比k₂大于或等于c₁时，表示目标未发生遮挡或遮挡不严重，转到步骤6.3；

步骤4：根据保留历史数据，判断遮挡持续时间是否超过设定帧数门限a₁；

1)遮挡持续时间未超过设定帧数门限a₁，转到步骤5；

2)遮挡持续时间超过设定帧数门限a₁，转到步骤8；

步骤5：根据跟踪目标的前一帧位置变化值与历史位置变化值预测其移动轨迹，分别采用卡尔曼滤波与灰色预测算法对目标在当前帧的位置变化值进行预测，卡尔曼滤波预测结果为(x₁,y₁)，灰色预测结果为(x₂,y₂)，对两种预测结果进行评估后择优作为预测结果给出目标位置，具体包括以下步骤：

根据卡尔曼滤波和灰色预测两种预测方法对目标的位置变化值进行预测，两种预测方法如下：

步骤5.1、卡尔曼滤波预测公式如下：

x'＝F·x

x＝[x y w h vx vy vw vh]^T

P'＝FPF^T+Q

y＝x'(1:4)-Hx'

S＝HP'H^T+R

K＝P'H^TS^-1

x_new＝x'+Ky

P＝P'-KSK^T

其中F为状态转移矩阵，P为当前帧的协方差，Q为卡尔曼滤波器的运动估计误差，代表不确定度，H为更新矩阵，R为观察噪声方差矩阵，x,y,w,h,vx,vy,vw,vh分别为目标位置横坐标，目标位置纵坐标，目标框宽度，目标框高度，目标位置横坐标相较于前一帧变化值，目标位置纵坐标相较于前一帧变化值，目标框宽度相较于前一帧变化值和目标框高度相较于前一帧变化值；

步骤5.2、灰色预测采用GM(1,1)模型，预测数据为历史帧的位置变化值，参与预测的数据量参数为e₁；

预测出目标位置变化值分别为(vx₁,vy₁),(vx₂,vy₂)，其中，vx₁为卡尔曼滤波预测目标位置横坐标相较于前一帧变化值，vy₁为卡尔曼滤波预测目标位置纵坐标相较于前一帧变化值，vx₂为灰色预测目标位置横坐标相较于前一帧变化值，vy₂为灰色预测目标位置横坐标相较于前一帧变化值，转到步骤5.3；

步骤5.3：比较卡尔曼滤波预测与灰色预测结果，进行比对，判断灰色预测结果的绝对值是否大于卡尔曼滤波预测结果的绝对值的两倍，若是，转到步骤6.1；若否，转到步骤6.2；

步骤6、根据响应图主峰与第一旁瓣比、主峰大小以及当前帧与上次更新模型的那一帧之间间隔是否满足大于帧数b₁，判断是否应该跟新检测器模型，若是，则将当前帧的目标框信息存入样本库，并对样本库整理，去掉对跟踪影响小的陈旧样本，进而对模型进行更新，若否，则转到步骤2；b₁取值为6～30。

具体包括以下步骤：

步骤6.1：采用卡尔曼滤波预测结果为目标预测偏移值，目标位置更新为(x_n-1+vx₁,y_n-1+vy₁)，其中x_n-1为上一帧目标所在位置的横坐标，y_n-1为上一帧目标所在位置的纵坐标，转到步骤7；

步骤6.2：采用灰色预测结果为目标预测偏移值，目标位置更新为(x_n-1+vx₂,y_n-1+vy₂)，其中x_n-1为上一帧目标所在位置的横坐标，y_n-1为上一帧目标所在位置的纵坐标，转到步骤7；

步骤6.3：根据响应图主峰与第一旁瓣比k₁以及主峰能量集中域k₃判断跟踪器模型是否需要更新，设定阈值c₁，c₂取值分别为2，0.1％，具体判定方法如下：

1)当响应图主峰与第一旁瓣比k₂小于c₁时，说明目标被略微遮挡，不对跟踪器模型进行更新，转到步骤7；

2)当响应图主峰与第一旁瓣比k₂大于或等于c₁且主峰能量集中域k₃大于响应图面积×c₂时，说明目标未被明显遮挡但状态发生了部分变化，需要将当前帧目标样本计入样本库，对样本库进行跟新，转到步骤6.4；

3)当响应图主峰与第一旁瓣比k₂大于或等于c₁且主峰能量集中域k₃小于或等于响应图面积×c₂时，说明目标未出现明显变化，判断距上次更新是否超过设定帧数门限b₁，若是，则进行更新，转到步骤6.4，若否，则不更新，转到步骤15。

步骤6.4：将当前帧目标框定样本计入样本库，并删去最陈旧样本，转到步骤7；

步骤7：判断当前目标位置(x_n+1,y_n+1)是否超过图像边界范围，若是，转到步骤8，若否，转到步骤2；

步骤8：当前追踪目标消失，需要重新框选新的跟踪目标，并对跟踪器进行重新初始化，转到步骤1。

本发明公开了一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，可以有效提升基于相关滤波单目标跟踪方法的实时性和稳定性。在目标被遮挡或者跟踪镜头出现抖动时可以通过对目标一段时间内的运动轨迹的记录结果进行轨迹预测，并根据抖动幅度实时更新目标重搜索范围，从而有效提升了跟踪器的抗遮挡与抗抖动能力，进而提升了跟踪器的鲁棒性。本发明可以与任何一种基于相关滤波方法的目标跟踪方法相适配，有着广阔的应用前景。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (2)

1.一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，其特征在于，包括以下步骤：

步骤1：读取视频流初始帧信息，选定目标，确定目标位置坐标以及目标框尺寸，分别提取目标方向梯度直方图HOG特征与颜色CN特征信息，采用循环矩阵法获取初始帧目标的多个样本，对跟踪器进行初始化；

步骤2：读取下一帧图像信息，采用LK光流算法对前一帧与当前帧图像抖动程度计算，对当前帧的抖动情况进行评估，从而确定搜索范围的大小；

步骤3：采用当前跟踪器对下一帧图像进行处理，围绕前一帧的目标位置坐标进行搜索，搜索范围设定为步骤2中确定的值，提取目标搜索范围的HOG特征与CN特征信息，通过跟踪器获取响应图，根据响应图主峰与第二旁瓣比k₂判断目标是否被遮挡，设定阈值c₁取值为2，当响应图主峰与第二旁瓣比k₂小于c₁时，表示目标被严重遮挡，转到步骤4；当响应图主峰与第二旁瓣比k₂大于或等于c₁时，表示目标未发生遮挡或遮挡不严重，转到步骤6.3；

步骤4：判断目标是否已经被连续遮挡a₁帧，若是，则目标判定为消失，转到步骤8，若否，则转到步骤5；a₁取值为50～150；

步骤5：根据跟踪目标的前一帧位置变化值与历史位置变化值预测其移动轨迹，分别采用卡尔曼滤波与灰色预测算法对目标在当前帧的位置变化值进行预测，卡尔曼滤波预测结果为(vx₁,vy₁)，灰色预测结果为(vx₂,vy₂)，对两种预测结果进行评估后择优作为预测结果给出目标位置；

对两种预测结果进行评估后择优作为预测结果给出目标位置包括：比较卡尔曼滤波预测与灰色预测结果，进行比对，判断灰色预测结果的绝对值是否大于卡尔曼滤波预测结果的绝对值的两倍，若是，转到步骤6.1；若否，转到步骤6.2；

步骤6：根据响应图主峰与第一旁瓣比、主峰大小以及当前帧与上次更新模型的那一帧之间间隔是否满足大于帧数b₁，判断是否应该更新跟踪器模型，若是，则将当前帧的目标框信息存入样本库，并对样本库整理，去掉对跟踪影响小的陈旧样本，进而对模型进行更新，若否，则转到步骤2；b₁取值为6～30；

步骤6.1：采用卡尔曼滤波预测结果为目标预测偏移值，目标位置更新为(x_n-1+vx₁,y_n-1+vy₁)，其中x_n-1为上一帧目标所在位置的横坐标，y_n-1为上一帧目标所在位置的纵坐标，vx₁为卡尔曼滤波预测目标位置横坐标相较于前一帧变化值，vy₁为卡尔曼滤波预测目标位置纵坐标相较于前一帧变化值，转到步骤7；

步骤6.2：采用灰色预测结果为目标预测偏移值，目标位置更新为(x_n-1+vx₂,y_n-1+vy₂)，其中x_n-1为上一帧目标所在位置的横坐标，y_n-1为上一帧目标所在位置的纵坐标，vx₂为灰色预测目标位置横坐标相较于前一帧变化值，vy₂为灰色预测目标位置横坐标相较于前一帧变化值，转到步骤7；

步骤6.3：根据响应图主峰与第一旁瓣比k₁以及主峰能量集中域k₃判断跟踪器模型是否需要更新，设定阈值c₁，c₂取值分别为2，0.1％，具体判定方法如下：

1)当响应图主峰与第一旁瓣比k₂小于c₁时，说明目标被略微遮挡，不对跟踪器模型进行更新，转到步骤7；

2)当响应图主峰与第一旁瓣比k₂大于或等于c₁且主峰能量集中域k₃大于响应图面积×c₂时，说明目标未被明显遮挡但状态发生了部分变化，需要将当前帧目标样本计入样本库，对样本库进行更新，转到步骤6.4；

3)当响应图主峰与第一旁瓣比k₂大于或等于c₁且主峰能量集中域k₃小于或等于响应图面积×c₂时，说明目标未出现明显变化，判断距上次更新是否超过设定帧数门限b₁，若是，则进行更新，转到步骤6.4，若否，则不更新，转到步骤15；

步骤6.4：将当前帧目标框定样本计入样本库，并删去最陈旧样本，转到步骤7；

步骤7：判断目标当前帧位置是否超过图像范围，若是，则转到步骤8，若否，则回到步骤2步骤8：当前追踪目标消失，需要重新框选新的跟踪目标，并对跟踪器进行重新初始化，转到步骤1。

2.根据权利要求1所述的基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，其特征在于，所述步骤2中，采用LK光流算法提取相邻帧间的光流，评估相邻帧之间画面抖动程度，具体计算抖动公式为：

；

其中，R为图像边长，X_ij(t)为对应t时刻光流场中i行j列的X分量,Y_ij(t)为对应t时刻光流场中i行j列的的Y分量，共有M行N列光流参量，d为评估图像抖动参数；目标搜索区域尺度为d*5*10³+4的值，保留一位小数。