CN105469430A - 一种大场景中的小目标抗遮挡跟踪方法 - Google Patents

Abstract

一种大场景中的小目标抗遮挡跟踪方法，它涉及一种目标追踪方法。本发明为了解决现有技术对于大场景下小目标的跟踪过程中获得的目标信息较少，容易出现跟踪目标丢失的问题。本发明包括以下步骤包括以下步骤：利用互相关滤波目标检测方法检测前t₀帧图像中目标所在的位置；从第t₀+1帧图像开始，判断目标是否被遮挡，若目标被遮挡，利用卡尔曼滤波轨迹预测方法对目标的位置进行预测跟踪；若目标未被遮挡，将互相关滤波目标检测方法与卡尔曼滤波轨迹预测方法结合的跟踪方法确定目标的准确位置。本发明创造性的将互相关滤波目标检测方法与卡尔曼滤波轨迹预测方法相结合，解决了小目标被遮挡时的跟踪丢失的问题。

Description

一种大场景中的小目标抗遮挡跟踪方法

技术领域

本发明涉及目标跟踪方法，具体涉及一种大场景中的小目标抗遮挡跟踪方法，属于智能信息处理和目标跟踪技术领域。

背景技术

基于视频的运动目标跟踪是计算机视觉、图像处理、人工智能等领域广泛关注的内容之一，在智能监控、智能交通等领域有着极其重要的应用价值。基于视频的运动目标跟踪是指运用智能跟踪算法跟踪出现在视频中的目标。目标跟踪技术以人工智能技术代替人力，减轻了工作人员负担，提高了工作效率。

基于视频的目标跟踪应用场景不固定，因此在目标跟踪领域存在一些难以解决的问题。经典的目标跟踪算法如TLD、Struck等依赖于视频中所含目标信息的丰富程度，在大场景中小目标像素少分辨率低的情形下难以正常工作，如果在场景中有遮挡，这些经典算法更是无能为力，因此本发明所提出的算法主要致力于解决如下两个问题：(1)监控摄像机距离需要跟踪的目标较远时，场景较大而目标较小，能获得的目标信息较少，目标特征不明显；(2)对大场景中的小目标进行跟踪，当场景中有遮挡物时，会出现整个目标被遮挡的状况，会导致跟踪的目标丢失。

发明内容

本发明的目的是为了解决现有技术对于大场景下小目标的跟踪过程中获得的目标信息较少，目标特征不明显，出现遮挡物时，导致跟踪目标丢失的问题。

本发明的技术方案是：一种大场景中的小目标抗遮挡跟踪方法，包括以下步骤：

步骤一、利用目标检测方法检测前t₀帧图像中目标所在的位置；.

步骤二、从第t₀+1帧图像开始，判断目标是否被遮挡，若目标被遮挡，进入步骤三，若目标未被遮挡，进入步骤四；

步骤三、利用目标轨迹预测方法对目标的位置进行预测跟踪；

步骤四、将目标检测方法与目标轨迹预测方法结合的跟踪方法确定目标的准确位置。

所述步骤一具体包括：定义一个二维高斯函数g(x，y)；建立t时刻的状态变量模型X_t、t时刻到t+1时刻的一步转移矩阵F、状态变量与输出信号之间的增益矩阵E、系统噪声方差阵Q、观测噪声的方差阵R和t时刻状态变量的均方值初始值P_t。

步骤二所述判断目标是否被遮挡的方法为对目标检测方法中互相滤波结果进行上下文敏感阈值判定，使之不仅能判断目标所在位置，还能判断检测到的目标是否已经被遮挡。

所述步骤四具体包括：通过目标检测方法检测目标所在的位置，利用目标轨迹预测方法对目标轨迹进行预测，并将所述目标检测方法检测目标所在的位置作为观测值输入到目标轨迹预测过程，对目标轨迹预测方法的预测值进行校正，得到目标的准确位置。

所述目标检测方法为互相关滤波目标检测方法。

所述目标轨迹预测方法为卡尔曼滤波轨迹预测方法。

本发明与现有技术相比具有以下效果：本发明创造性的将目标检测方法与目标轨迹预测方法相结合，解决了小目标被遮挡时的跟踪丢失的问题，提高了跟踪的可靠性。本发明通过对目标检测方法中互相关滤波结果进行上下文敏感阈值判定，得到了一种判断目标是否进入遮挡区域的方法，有效的解决了目标遮挡的判定问题。

附图说明

图1，本发明的流程图；

图2，本发明目标图像空间上下文示意图。

具体实施方式

结合附图说明本发明的具体实施方式，本发明的一种大场景中的小目标抗遮挡跟踪方法，包括以下步骤：

步骤一、利用目标检测方法检测前t₀帧图像中目标所在的位置，其检测结果用来初始化目标轨迹预测方法，具体包括：

首先、目标检测方法需预定义一个二维高斯函数

其次、建立目标轨迹预测方法所需模型，包括：t时刻的状态变量 $X_t=\left[\begin{array}{c}x\\ y\\ v_x\\ v_y\end{array}\right],$ t时刻到t+1时刻的一步转移矩阵 $F=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right],$ 状态变量与输出信号之间的增益矩阵 $E=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right],$ 系统噪声的方差阵 $Q=\left[\begin{array}{cccc}0.1& 0& 0& 0\\ 0& 0.1& 0& 0\\ 0& 0& 0.1& 0\\ 0& 0& 0& 0.1\end{array}\right],$ 观测噪声的方差阵t时刻状态变量的均方值的初始值 $P_t=\left[\begin{array}{cccc}4.0& 0& 0& 0\\ 0& 4.0& 0& 0\\ 0& 0& 4.0& 0\\ 0& 0& 0& 4.0\end{array}\right];$

若开始时目标即被遮挡，则目标跟踪无意义，所以本实施方式假设目标跟踪的前期不会出现遮挡，所以在前t₀帧图像中，只采用目标检测方法对目标进行检测跟踪，本实施方式用目标在第t₀帧图像中的位置初始化目标轨迹预测方法中状态变量的x、y分量，用目标在前t₀帧中位置差的均值作为目标轨迹预测方法中状态变量的v_x、v_y分量。

所述目标检测方法的原理是互相关滤波，即g(x,y)＝h(x,y)*f(x,y),其中*表示卷积运算，f(x,y)表示输入信号，h(x,y)表示滤波器，g(x,y)表示响应输出，h(x,y)与f(x,y)越相似，这两个变量作卷积得到的响应输出g(x,y)就越大。可以采用快速傅里叶变换(FFT:FastFourierTransform)提高卷积运算的速度。

首先，在跟踪过程开始之前根据实际需要设定判断基准值t₀，判断视频帧数是否大于t₀，如果不大于t₀，则运行目标检测方法，具体包括以下步骤：

步骤1-1、在视频起始帧t＝1手动选择目标，取目标图像空间上下文f(x,y)，如图2所示，表示以目标为中心，两倍于目标大小的图像，即取互相关滤波运算的输入信号；其中g(x,y)、f(x,y)是定义在区间X:[x₁x₂]和Y:[y₁y₂]上的离散函数，如图2所示，区间X、Y代表一帧视频中目标图像空间上下文的空间范围；

步骤1-2、基于g(x,y)＝h(x,y)*f(x,y)，由卷积定理可得其中H(u,v)为滤波器h(x,y)的傅立叶变换。用快速傅里叶变换将二维高斯函数g(x,y)和目标图像空间上下文f(x,y)转换到频域进行计算，得到滤波器在频域的初始值H_t(u,v)，本实施方式将起始帧的滤波器存储为H_s(u,v)；

步骤1-3、在下一帧即第t+1帧图像中的原目标位置取目标图像空间上下文f_t+1(x,y)，因为f_t+1(x,y)是两倍于目标大小的图像，所以f_t+1(x,y)中依然包含目标区域，只是目标位置因为运动发生了偏移；

步骤1-4、对第t+1帧图像取出的f_t+1(x,y)做快速傅里叶变换并将其与第t帧图像求得的H_t(u,v)相乘，对相乘的结果求快速傅立叶变换的逆变换得到g'(x,y)，具体通过下式实现：

g'(x,y)＝IFFT[FFT(f_t+1(x,y))·H_t(u,v)]；

所述g'(x,y)表示用目标图像空间上下文与滤波器作卷积运算得到的新的高斯函数，其与预定义的高斯函数的区别是其最大值点发生了偏移。

步骤1-5、因f_t+1(x,y)中目标图像的位置发生了偏移，g'(x,y)的最大值点即二维高斯函数的中心也发生了同样的偏移，找到最大值点所在的位置就找到了目标在第t+1帧图像中的位置，取该位置目标图像空间上下文f'(x,y)，用来更新第t+1帧图像中目标对应的滤波器H_t+1(u,v)；

步骤1-6、同时利用第t帧图像中目标对应的H_t(u,v)和第t+1帧图像中目标对应的h_t+1(u,v)通过下式：

h_t+1(u,v)＝FFT(g(x,y))/FFT(f'(x,y))；

H_t+1(u,v)＝(1-ρ)H_t(u,v)+ρh_t+1(u,v)；

更新H_t+1(u,v)，所述H_t+1(u,v)用于下一帧图像中目标的检测，ρ是根据应用场景的不同而调试的参数；

步骤1-7、如果视频帧数大于t₀，则程序进入步骤二，否则转到步骤1-3；

步骤二、同时运行目标检测方法与目标轨迹预测方法，并对目标检测方法中互相关滤波结果进行上下文敏感阈值判定，以此判断目标是否被遮挡，具体包括：

步骤2-1、在第t+1帧图像中原位置取目标图像空间上下文f_t+1(x，y)；

步骤2-2、对第t+1帧图像取出的f_t+1(x，y)做快速傅里叶变换并将其与第t帧图像求得的H_t(u,v)相乘，对相乘的结果求快速傅立叶变换的逆变换得到g'(x,y)。

具体如下式所示：

g'(x,y)＝IFFT[FFT(f_t+1(x,y))·H_t(u,v)]；

步骤2-3、用所述g'(x,y)除以将相除之后的值重新赋给g'(x,y)，并将其定义为g_n'(x,y)， ${g_n}^{\′}(x,y)=\frac{g^{\′}(x,y)}{4\×\underset{y\∈Y}{\mathrm{\Σ}}\underset{x\∈X}{\mathrm{\Σ}}T(x,y)\×\underset{y\∈Y}{\mathrm{\Σ}}\underset{x\∈X}{\mathrm{\Σ}}f(x,y)},$ 其中，表示目标图像中所有像素值的和，表示目标图像空间上下文中所有像素值的和。

步骤2-4、若g′_nmax>Th时，表明目标追踪时未出现遮挡，进行步骤四，否则进行步骤三，其中Th表示目标检测方法即将检测不到目标时的临界值，Th值会根据场景的不同而变化，将本算法应用于不同场景时，人为地对所述Th值(阈值Threshold)进行调整，所述g′_nmax在正常情况下会在某个范围波动，当目标被遮挡时，g′_nmax会迅速下降，将迅速下降之后的值定义Th值；

步骤三、利用X_t+1＝FX_t得到用目标检测方法检测到的目标位置X_t+1，在新位置处画目标框；因为此时目标已经被遮挡，当前帧目标更新滤波器所对应的目标已经成为“目标+遮挡物”，所以此时的滤波器H_t+1(u，v)＝H_s(u，v)，其中H_s(u，v)为步骤1-2在视频起始帧图像上运行目标检测方法时得到的H_t(u，v)，利用所得的H_t+1(u，v)进行下一帧图像的目标检测，进行转步骤五；

步骤四、g′_nmax所在的位置即检测到的第t+1帧图像中目标所在的位置，将该位置作为观测值Z_t+1，用以校正目标轨迹预测方法中的预测值；

对目标轨迹进行预测，具体包括：

利用X′_t+1＝FX_t得到卡尔曼滤波轨迹预测方法对目标位置的预测值X′_t+1；

对卡尔曼滤波轨迹预测方法的校正，由附图1所示，具体包括：

由步骤一确定的P_t得到未经校正的状态变量的估计误差的均方值P′_t+1：

P′_t+1＝FP_tF^T+Q；

进而得到一加权矩阵K_t+1和校正后的状态变量的估计误差的均方差P_t+1，如下式所示：

K_t+1＝P′_t+1E^T(EP′_t+1E^T+R)^-1；

P_t+1＝(I-K_t+1E)P′_t+1：

E^T是状态变量与输出信号之间的增益矩阵的转置，利用K_t+1根据下式校正卡尔曼滤

波轨迹预测方法的预测值X′_t+1，得到预测所得目标的新位置X_t+1：

X_t+1＝X′_t+1+K_t+1(Z_t+1-EX′_t+1)；

在新位置X_t+1处画目标框，选取目标图像空间上下文f′(x,y)，利用下式

h_t+1(u,v)＝FFT(g(x,y))/FFT(f'(x,y))

H_t+1(u,v)＝(1-ρ)H_t(u,v)+ρh_t+1(u,v)

得到t+1帧图像中目标对应的滤波器H_t+1(u,v)，用于下一帧图像中目标的检测，进入步骤五；

步骤五、判断视频是否结束：若视频结束，则程序运行结束；否则转步骤2-1。

Claims (6)

1.一种大场景中的小目标抗遮挡跟踪方法，其特征在于：包括以下步骤：

步骤一、利用目标检测方法检测前t₀帧图像中目标所在的位置；

步骤二、从第t₀+1帧开始，判断目标是否被遮挡，若目标被遮挡，进入步骤三，若目标未被遮挡，进入步骤四；

步骤三、利用目标轨迹预测方法对目标的位置进行预测跟踪；

步骤四、将目标检测方法与目标轨迹预测方法结合的跟踪方法确定目标的准确位置。

2.根据权利要求1所述一种大场景中的小目标抗遮挡跟踪方法，其特征在于：所述步骤一具体包括：定义一个二维高斯函数g(x，y)；建立t时刻的状态变量模型X_t、t时刻到t+1时刻的一步转移矩阵F、状态变量与输出信号之间的增益矩阵E、系统噪声方差阵Q、观测噪声的方差阵R和t时刻状态变量的均方值初始值P_t。

3.根据权利要求1所述一种大场景中的小目标抗遮挡跟踪方法，其特征在于：步骤二所述判断目标是否被遮挡的方法为对目标检测方法中互相滤波结果进行上下文敏感阈值判定。

4.根据权利要求1所述一种大场景中的小目标抗遮挡跟踪方法，其特征在于：所述步骤四具体包括：通过目标检测方法检测目标所在的位置，利用目标轨迹预测方法对目标轨迹进行预测，并将所述目标检测方法检测目标所在的位置作为观测值输入到目标轨迹预测过程，对目标轨迹预测方法的预测值进行校正，得到目标的准确位置。

5.根据权利要求1所述一种大场景中的小目标抗遮挡跟踪方法，其特征在于：所述目标检测方法为互相关滤波目标检测方法。

6.根据权利要求1所述一种大场景中的小目标抗遮挡跟踪方法，其特征在于：所述目标轨迹预测方法为卡尔曼滤波轨迹预测方法。