CN106296732A - 一种复杂背景下的运动目标追踪方法 - Google Patents

Abstract

本发明公开了一种复杂背景下的运动目标追踪方法，针对传统的Meanshift等运动目标跟踪方法只通过追踪目标的颜色约束来实现对运动目标的跟踪，从而导致追踪精度较低这一问题，提出了一种复杂背景下的运动目标追踪方法。首先通过基于光流法获得Meanshift搜索窗口区域中的特征点信息；然后再根据Kalman滤波中的速度预估值剔除背景特征点信息，构建仅考虑待跟踪目标特征点的空间约束条件。最后将求得的空间约束结合传统Meanshift方法中的颜色约束，得到改进的反投影直方图，并将改进的反投影直方图作为Meanshift的概率密度图进行迭代，从而完成复杂背景下运动目标跟踪的过程。

Description

一种复杂背景下的运动目标追踪方法

技术领域

本发明涉及运动目标监控领域，具体涉及到一种复杂背景下的运动目标追踪方法。

背景技术

目前，典型的运动目标跟踪定位方法有光流法、帧差法、粒子滤波法、Kalman滤波及Meanshift法等。其中，光流法与帧差法是基于物体的运动信息进行跟踪的，它们能同时跟踪所有前景目标，但无法实现目标选择性跟踪(只能跟踪全部的前景物体而无法针对具体运动目标)，且两种方法都极易受到背景变动的干扰；粒子滤波法则需要足够的粒子数目以保证方法的鲁棒性，这极大的增加了跟踪过程中的计算量；Kalman滤波法需要结合观测值得到最优更新，需要与其他方法联合使用，因此在自适应跟踪过程中通常作为辅助方法。Meanshift方法作为一种基于密度梯度的无参数估计跟踪方法，以其计算速度快、实时性好等特点得到了广泛的研究与应用，成为当前适用性最强的运动目标追踪方法。

然而，传统的Meanshift方法是通过运动目标模型的色调特征这种单一约束条件来实现对运动目标的跟踪，当其应用于复杂背景下运动目标追踪过程中时，尤其当跟踪目标与背景的色调信息相近或者相同时，通常会由于背景区域与追踪目标区域具有过多相似的色调信息而造成跟踪目标丢失。

发明内容

本发明针对以上问题，提出了一种复杂背景下的运动目标追踪方法。首先通过基于光流法获得Meanshift搜索窗口区域中的特征点信息；然后再根据Kalman滤波中的速度预估值剔除背景特征点信息，构建仅考虑待跟踪目标特征点的空间约束条件。最后将求得的空间约束结合传统Meanshift方法中的颜色约束，得到改进的反投影直方图，并将改进的反投影直方图作为Meanshift的概率密度图进行迭代，从而完成复杂背景下运动目标跟踪的过程。

为了解决上述技术问题，本发明提出以下技术方案：一种复杂背景下的运动目标追踪方法，包括以下步骤：

步骤1：提取追踪目标的色调信息，包括：

步骤1.1：在跟踪开始时，在初始帧中需通过机器或人工的方式辅助框选运动目标初始追踪窗口W₁，并要求W₁能将运动目标完全包含在窗内且窗口大小尽量与目标在初始帧图像中的大小相等；

步骤1.2：在后续跟踪的过程中，应用前一帧(设为k-1帧)中的运动目标窗口W_k-1“覆盖”在第k帧图像中的同样位置，并在“覆盖”位置处统计窗口内的色调直方图；

步骤1.3：基于统计出的色调直方图对第k帧图像反投影，生成反投影图以寻找第k帧图像中与W_k-1色调信息相似的物体，将这些色调信息相似的物体标记为1，色调信息不相似的物体标记为0；

步骤2：追踪目标的特征点信息提取，包括：

步骤2.1：通过Kalman滤波预估第k帧目标追踪窗口的位置，并根据与W_k-1的相对位置以计算并预估追踪目标的位移、速度等参数；再根据预估参数扩展第k帧中的目标追踪窗口W_k-1，获得第k帧中被扩展目标的追踪窗口

步骤2.2：进一步提取中目标角点、边缘点等强特征点，标记为1，并将剩余的追踪目标特征点通过二值化、膨胀处理等方式以生成追踪目标特征点信息图

步骤3：复杂背景下的运动目标追踪，包括：

步骤3.1：将步骤1中的色调反投影图与步骤2中的特征点信息图做逻辑与运算，结果使两图中同标记为1的像素点标记值仍为1，其余像素点标记为0，则生成了新的反投影图；

步骤3.2：根据新的反投影图对目标追踪窗口W_k-1进行Meanshift迭代，直至目标追踪窗口W_k-1运动至完全捕捉到追踪目标的位置，此时的目标追踪窗口即为第k帧中Kalman滤波的观测窗口将预估窗口与观测窗口根据一定的权重进行融合，即可得到Kalman滤波的状态窗口，即第k帧中的目标追踪窗口W_k；

步骤3.3：将第k帧目标追踪窗口W_k应用于第k+1帧的目标追踪过程中，重复步骤1至步骤3，依此类推，直至追踪视频结束。

步骤1具体还包括以下步骤：

1)在计算目标追踪窗口内的色调直方图的过程中，为防止变化光照的干扰，只统计窗口内饱和度值大于65且亮度值处于[50 255]区间的像素点的色调值；

2)为了使色调直方图的面积和为1，需对色调直方图进行归一化处理。

步骤2具体还包括以下步骤：

1)选取追踪目标的位移、速度参数作为Kalman滤波的输出参数，而由于当前帧的目标追踪窗口W完全包含追踪目标做整体平动，故可以以追踪窗口W中心点P的位移、速度表示追踪目标的位移、速度；

2)Kalman滤波通过预估的第k帧(目标追踪窗口W_k)中心点P_k′的位移、速度参数以及观测的第k帧(目标追踪窗口)中心点P″的位移、速度参数相融合以求取最终第k帧(目标追踪窗口W_k)中心点P_k的位移、速度参数X_k＝(x_k,y_k,υ_kx,υ_ky)，其中x_k,y_k,υ_kx,υ_ky分别表示P_k横、纵坐标方向的位移及速度；

3)Kalman滤波通过第k-1帧中心点P_k-1的位移、速度参数以修正Kalman滤波内部的运动模型，再通过此修正过的运动模型以预估第k帧预估的中心点P_k′的位移、速度参数。其中，令匀速直线运动模型为Kalman滤波初始帧中的运动模型；初始帧中Kalman滤波的位移、速度参数为X₁＝(0,0,υ_x1,υ_y1)，υ_x1与υ_y1由人工选定；

4)由于第k帧中追踪目标的位置发生了变化，故第k-1帧中的目标追踪窗口W_k-1应用在第k帧中时，很可能无法完全包含整个追踪目标。故为了使目标追踪窗口W_k-1能够完全包含追踪目标，就需要根据公式(1)对其进行扩展：

$\left\{\begin{array}{c}{W}_{k-1}^{G}x=W_{k-1}x-2\left|{\mathrm{\υ}}_{kx}\right|\\ W_{k-1}^{G}y=W_{k-1}y-2\left|{\mathrm{\υ}}_{ky}\right|\\ W_{k-1}^{G}M=W_{k-1}M+2\left|{\mathrm{\υ}}_{kx}\right|\\ W_{k-1}^{G}N=W_{k-1}N+2\left|{\mathrm{\υ}}_{ky}\right|\end{array}\right.---\left(1\right)$

其中，为W_k-1的扩展窗口，分别为第k帧中扩展窗口左上角的坐标以及其宽度、高度，(W_k-1x,W_k-1y)、W_k-1M、W_k-1N分别为W_k-1左上角的坐标以及其宽度、高度；

5)求取在第k-1帧中检测窗口所得到的特征点以及在第k帧中检测窗口所得到的特征点，通过光流法对这两帧中的特征点进行匹配，以找出相匹配的特征点；

6)由于背景特征点与追踪目标特征点的速度不同，又已知Kalman滤波预估的追踪目标速度参数，故可根据公式(2)排除第k帧中窗口的背景特征点：

$\left\{\begin{array}{c}2\left|{\mathrm{\υ}}_{kx}\right|>p\[k,i,x\]-p\[k-1,i,x\]>{\mathrm{\υ}}_{kx}/2\\ 2\left|{\mathrm{\υ}}_{ky}\right|>p\[k,i,y\]-p\[k-1,i,y\]>{\mathrm{\υ}}_{ky}/2\end{array}\right.---\left(2\right)$

其中，p[k-1,i,x]与p[k-1,i,y]分别表示第k-1帧中第i个目标特征点的横、纵坐标值，p[k,i,x]与p[k,i,y]分别表示第k帧中第i个目标特征点的横、纵坐标值。公式(2)在初始帧之后才开始运行。

步骤3具体还包括以下步骤：

在对目标追踪窗口W_k-1进行Meanshift迭代以生成第k帧中Kalman滤波的观测窗口的过程中，为了防止Meanshift方法出现较大误差导致生成的观测窗口最终跟丢追踪目标，需使窗口满足公式(3)：

$\begin{array}{cc}if& \sqrt{{({\hat{W}}_{k}x-W_{k-1}x)}^2+{({\hat{W}}_{k}y-W_{k-1}y)}^2}\≥10({\mathrm{\υ}}_{kx}+{\mathrm{\υ}}_{ky})\\ & {\hat{W}}_{k}x=W_{k-1}x+{\mathrm{\υ}}_{kx},{\hat{W}}_{k}y=W_{k-1}y+{\mathrm{\υ}}_{kx}\\ else& {\hat{W}}_{k}x={\hat{W}}_{k}x,{\hat{W}}_{k}y={\hat{W}}_{k}y\end{array}---\left(3\right)$

本发明有如下有益效果：

1、提出并实现了一种跟踪目标与背景色调信息相近或相同情况下的运动目标追踪方法。

2、为了排除与追踪目标颜色信息相同的背景区域的干扰，在传统的Meanshift方法以颜色约束为主的运动目标追踪方法中添加了特征点约束，使追踪方法鲁棒性更强，能够更加稳定、精确的定位追踪目标。

3、在特征点约束中应用了Kalman滤波的预估功能以排除大部分背景特征点的干扰。

附图说明

图1是本发明的方法流程图。

图2是传统Meanshift方法的跟踪效果图。

图3是本发明复杂背景下运动目标追踪方法的跟踪效果图。

具体实施方式

下面结合附图对本发明的实施方式做进一步的说明。

如图2、图3分别为传统Meanshift方法以及本发明复杂背景下运动目标追踪方法的跟踪效果图，故以图2、图3为例对本发明的具体跟踪步骤进行说明：

步骤1：在第150帧(初始帧)中通过机器或人工的方式选取目标追踪窗口W₁₅₀以将追踪目标完全包含；

步骤2：在第151帧中的追踪目标相对于第150帧中的同一目标位置发生了变化，故目标追踪窗口W₁₅₀可能无法完全包含此时的追踪目标，此时需要采用Meanshift方法使目标追踪窗口W₁₅₀进行迭代移动直至其完全包含追踪目标。当目标追踪窗口W₁₅₀完全包含追踪目标时，其更新为W₁₅₁。

Meanshift方法计算第151帧中目标追踪窗口W₁₅₀内的色调直方图，并通过色调直方图反投影整个第151帧图像，以寻找整个第151帧图像中与目标追踪窗口区域W₁₅₀色调信息相似的物体，将这些色调信息相似的物体标记为1，色调信息不相似的物体标记为0，生成反投影图(如图2.a所示)，再根据反投影图使目标追踪窗口W₁₅₀的中心与追踪目标的质心保持一致。本发明的方法也应用了传统Meanshift方法的色调约束，并且为了排除与追踪目标颜色信息相同的背景区域的干扰，在之后的步骤中添加了特征点约束；

步骤3：在本方法中引入Kalman滤波方法以预估第151帧中目标追踪预估窗口的位置，其中，目标追踪预估窗口的位置可以通过其中心点P′₁₅₁相对于中心点P₁₅₀的位移、速度参数以代替。

Kalman滤波通过第150帧中目标追踪窗口W₁₅₀中心点P₁₅₀的位移、速度参数以修正Kalman滤波内部的运动模型，再通过此修正过的运动模型以预估第151帧中目标追踪预估窗口中心点P′₁₅₁的位移、速度参数。其中，由于第150帧是初始帧，故其Kalman滤波运动模型为匀速直线运动模型；初始帧中Kalman滤波的位移、速度参数为X₁₅₀＝(0,0,υ_x150,υ_y150)。通过第0-150帧对追踪目标的观测，令υ_x150＝0.5m/s，υ_y150＝0；

步骤4：为了求取第151帧中追踪目标的特征点信息，就需要目标追踪窗口能够完全包含追踪目标，而由步骤2中的陈述可知：在第151帧中的追踪目标相对于第150帧中的同一目标位置发生了变化，故目标追踪窗口W₁₅₀可能无法完全包含此时的追踪目标。此时就需要通过Kalman滤波预估的位移、速度参数对目标追踪窗口W₁₅₀进行扩展，使之能够完全包含第151帧中的追踪目标。

计算得预估中心点P′₁₅₁的位移、速度参数为X′₁₅₁＝(x₁₅₁,y₁₅₁,υ_151x,υ_151y)＝(0.5,0,0.5,0)，为了使目标追踪窗口W₁₅₀能够完全包含第151帧中的追踪目标，将X′₁₅₁代入公式(1)中以对目标追踪窗口W₁₅₀进行扩展：

$\left\{\begin{array}{c}{W}_{k-1}^{G}x=W_{k-1}x-2\left|{\mathrm{\υ}}_{kx}\right|\\ W_{k-1}^{G}y=W_{k-1}y-2\left|{\mathrm{\υ}}_{ky}\right|\\ W_{k-1}^{G}M=W_{k-1}M+2\left|{\mathrm{\υ}}_{kx}\right|\\ W_{k-1}^{G}N=W_{k-1}N+2\left|{\mathrm{\υ}}_{ky}\right|\end{array}\right.---\left(1\right)$

其中，为W_k-1的扩展窗口，分别为第151帧中扩展窗口左上角的坐标以及其宽度、高度；(W_k-1x,W_k-1y)、W_k-1M、W_k-1N分别为第150帧中目标追踪窗口左上角的坐标以及其宽度、高度；此时的扩展窗口已完全包含了第151帧中的追踪目标。实际上，通过公式(1)求得的扩展窗口要远大于窗口W₁₅₀和窗口W₁₅₁。

求取在第150帧中检测窗口(由于第150帧为初始帧，故)所得到的特征点以及在第151帧中检测窗口所得到的特征点，通过光流法对这两帧中的特征点进行匹配，以找出相匹配的特征点，并将这些特征点标记为1，其余像素标记为0。

由于背景特征点与追踪目标特征点的速度不同，又已知Kalman滤波预估的中心点P′₁₅₁的位移、速度参数，故可根据公式(2)排除第151帧中窗口中的背景特征点：

$\left\{\begin{array}{c}2\left|{\mathrm{\υ}}_{kx}\right|>p\[k,i,x\]-p\[k-1,i,x\]>{\mathrm{\υ}}_{kx}/2\\ 2\left|{\mathrm{\υ}}_{ky}\right|>p\[k,i,y\]-p\[k-1,i,y\]>{\mathrm{\υ}}_{ky}/2\end{array}\right.---\left(2\right)$

其中，p[k-1,i,x]与p[k-1,i,y]分别表示第150帧中第i个目标特征点的横、纵坐标值，p[k,i,x]与p[k,i,y]分别表示第151帧中第i个目标特征点的横、纵坐标值。

将排除背景特征点后剩余的追踪目标特征点通过二值化、膨胀处理等方式生成追踪目标特征点信息图；

步骤5：结合步骤2中的色调反投影图与步骤2中的特征点信息图做逻辑与运算，即令两图中同标记为1的像素点标记值不变，即仍旧标记为1，其余像素点标记为0，以此生成新的反投影图(如图3.a所示)。

根据新的反投影图对目标追踪窗口W₁₅₀进行Meanshift迭代，直至目标追踪窗口W₁₅₀运动至完全捕捉到追踪目标的位置，此时的目标追踪窗口W₁₅₀即为第151帧中Kalman滤波的观测窗口将预估窗口与观测窗口根据一定的权重进行融合，即可得到Kalman滤波的状态窗口，亦即第151帧中的目标追踪窗口W₁₅₁。

在对目标追踪窗口W₁₅₀进行Meanshift迭代以生成第151帧中Kalman滤波的观测窗口的过程中，为了防止Meanshift方法出现较大误差导致生成的观测窗口最终跟丢追踪目标，需使窗口满足公式(3)：

$\begin{array}{cc}if& \sqrt{{({\hat{W}}_{k}x-W_{k-1}x)}^2+{({\hat{W}}_{k}y-W_{k-1}y)}^2}\≥10({\mathrm{\υ}}_{kx}+{\mathrm{\υ}}_{ky})\\ & {\hat{W}}_{k}x=W_{k-1}x+{\mathrm{\υ}}_{kx},{\hat{W}}_{k}y=W_{k-1}y+{\mathrm{\υ}}_{kx}\\ else& {\hat{W}}_{k}x={\hat{W}}_{k}x,{\hat{W}}_{k}y={\hat{W}}_{k}y\end{array}---\left(3\right)$

此时公式(3)中的即为

将第151帧目标追踪窗口W₁₅₁应用于第152帧的目标追踪过程中，重复步骤1至步骤5，直至追踪视频结束。

通过上述的说明内容，本领域技术人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改都在本发明的保护范围之内。本发明的未尽事宜，属于本领域技术人员的公知常识。

Claims (4)

1.一种复杂背景下的运动目标追踪方法，其特征在于，包括以下步骤：

步骤1：提取追踪目标的色调信息，包括：

步骤1.1：在跟踪开始时，在初始帧中需要通过机器或人工的方式辅助框选运动目标初始追踪窗口W₁，并要求W₁能将运动目标完全包含在窗内且窗口大小尽量与目标在初始帧图像中的大小相等；

步骤1.2：在后续跟踪的过程中，应用前一帧(设为k-1帧)中的运动目标窗口W_k-1“覆盖”在第k帧图像中的同样位置，并在“覆盖”位置处统计窗口内的色调直方图；

步骤1.3：基于统计出的色调直方图对第k帧图像反投影，生成反投影图以寻找第k帧图像中与W_k-1色调信息相似的物体，将这些色调信息相似的物体标记为1，色调信息不相似的物体标记为0；

步骤2：追踪目标的特征点信息提取，包括：

步骤2.1：通过Kalman滤波预估第k帧目标追踪窗口的位置，并根据与W_k-1的相对位置以计算并预估追踪目标的位移、速度等参数；再根据预估参数扩展第k帧中的目标追踪窗口W_k-1，获得第k帧中被扩展目标的追踪窗口

步骤2.2：进一步提取中目标角点、边缘点等强特征点，标记为1，并将剩余的追踪目标特征点通过二值化、膨胀处理等方式以生成追踪目标特征点信息图

步骤3：复杂背景下的运动目标追踪，包括：

步骤3.1：将步骤1中的色调反投影图与步骤2中的特征点信息图做逻辑与运算，结果使两图中同标记为1的像素点标记值仍为1，其余像素点标记为0，则生成了新的反投影图；

步骤3.2：根据新的反投影图对目标追踪窗口W_k-1进行Meanshift迭代，直至目标追踪窗口W_k-1运动至完全捕捉到追踪目标的位置，此时的目标追踪窗口即为第k帧中Kalman滤波的观测窗口将预估窗口与观测窗口根据一定的权重进行融合，即可得到Kalman滤波的状态窗口，即第k帧中的目标追踪窗口W_k；

步骤3.3：将第k帧目标追踪窗口W_k应用于第k+1帧的目标追踪过程中，重复步骤1至步骤3，依此类推，直至追踪视频结束。

2.根据权利要求1所述的一种复杂背景下的运动目标追踪方法，其特征在于，步骤1具体还包括以下步骤：

1)在计算目标追踪窗口内的色调直方图的过程中，为防止变化光照的干扰，只统计窗口内饱和度值大于65且亮度值处于[50 255]区间的像素点的色调值；

2)为了使色调直方图的面积和为1，需对色调直方图进行归一化处理。

3.根据权利要求1所述的一种复杂背景下的运动目标追踪方法，其特征在于，步骤2具体还包括以下步骤：

1)选取追踪目标的位移、速度参数作为Kalman滤波的输出参数，而由于当前帧的目标追踪窗口W完全包含追踪目标做整体平动，故可以以追踪窗口W中心点P的位移、速度表示追踪目标的位移、速度；

2)Kalman滤波通过预估的第k帧(目标追踪窗口W_k)中心点P′_k的位移、速度参数以及观测的第k帧(目标追踪窗口)中心点P″的位移、速度参数相融合以求取最终第k帧(目标追踪窗口W_k)中心点P_k的位移、速度参数X_k＝(x_k,y_k,υ_kx,υ_ky)，其中x_k,y_k,υ_kx,υ_ky分别表示中心点P_k在横、纵坐标方向的位移及速度；

3)Kalman滤波通过第k-1帧中心点P_k-1的位移、速度参数以修正Kalman滤波内部的运动模型，再通过此修正过的运动模型以预估第k帧预估的中心点P′_k的位移、速度参数。其中，令匀速直线运动模型为Kalman滤波初始帧中的运动模型；初始帧中Kalman滤波的位移、速度参数为X₁＝(0,0,υ_x1,υ_y1)，υ_x1与υ_y1由人工选定；

4)由于第k帧中追踪目标的位置发生了变化，故第k-1帧中的目标追踪窗口W_k-1应用在第k帧中时，很可能无法完全包含整个追踪目标。故为了使目标追踪窗口W_k-1能够完全包含追踪目标，就需要根据公式(1)对其进行扩展：

$\left\{\begin{array}{c}{W}_{k-1}^{G}x=W_{k-1}x-2\left|{\mathrm{\υ}}_{kx}\right|\\ W_{k-1}^{G}y=W_{k-1}y-2\left|{\mathrm{\υ}}_{ky}\right|\\ W_{k-1}^{G}M=W_{k-1}M+2\left|{\mathrm{\υ}}_{kx}\right|\\ W_{k-1}^{G}N=W_{k-1}N+2\left|{\mathrm{\υ}}_{ky}\right|\end{array}\right.---\left(1\right)$

其中，为W_k-1的扩展窗口，分别为第k帧中扩展窗口左上角的坐标以及其宽度、高度，(W_k-1x,W_k-1y)、W_k-1M、W_k-1N分别为W_k-1左上角的坐标以及其宽度、高度；

5)求取在第k-1帧中检测窗口所得到的特征点以及在第k帧中检测窗口所得到的特征点，通过光流法对这两帧中的特征点进行匹配，以找出相匹配的特征点；

6)由于背景特征点与追踪目标特征点的速度不同，又已知Kalman滤波预估的追踪目标速度参数，故可根据公式(2)排除第k帧中窗口的背景特征点：

$\left\{\begin{array}{c}2\left|{\mathrm{\υ}}_{kx}\right|>p\[k,i,x\]-p\[k-1,i,x\]>{\mathrm{\υ}}_{kx}/2\\ 2\left|{\mathrm{\υ}}_{ky}\right|>p\[k,i,y\]-p\[k-1,i,y\]>{\mathrm{\υ}}_{ky}/2\end{array}\right.---\left(2\right)$

其中，p[k-1,i,x]与p[k-1,i,y]分别表示第k-1帧中第i个目标特征点的横、纵坐标值，p[k,i,x]与p[k,i,y]分别表示第k帧中第i个目标特征点的横、纵坐标值。公式(2)在初始帧之后才开始运行。

4.根据权利要求1所述的一种复杂背景下的运动目标追踪方法，其特征在于：步骤3具体还包括以下步骤：

在对目标追踪窗口W_k-1进行Meanshift迭代以生成第k帧中Kalman滤波的观测窗口的过程中，为了防止Meanshift方法出现较大误差导致生成的观测窗口最终跟丢追踪目标，需使窗口满足公式(3)：

$\begin{array}{cc}if& \sqrt{{\left({\hat{W}}_{k}x-W_{k-1}x\right)}^2+{\left({\hat{W}}_{k}y-W_{k-1}y\right)}^2}\≥10\left({\mathrm{\υ}}_{kx}+{\mathrm{\υ}}_{ky}\right)\\ & {\hat{W}}_{k}x=W_{k-1}x+{\mathrm{\υ}}_{kx},{\hat{W}}_{k}y=W_{k-1}y+{\mathrm{\υ}}_{kx}\\ else& {\hat{W}}_{k}x={\hat{W}}_{k}x,{\hat{W}}_{k}y={\hat{W}}_{k}y\end{array}---\left(3\right)$