CN102646279B - 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法 - Google Patents

Abstract

本发明提供一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法，具体实现步骤为：首先采用改进的目标遮挡判定准则，判断出当前运动目标是否处于静态遮挡情况；其次，按照运动目标大小对目标的灰度前景模板进行自适应分块，将每个子块在搜索区域内进行遍历匹配以获得各自的运动位移量；然后，通过对每个子块的位移量进行加权表决来获取目标的真实位置；最后按照每个子块的表决结果来自适应更新模板。当目标完全被遮挡后，通过卡尔曼模型来准确预测目标的运动轨迹；当目标重新复现时，采用多子块模板匹配方法依然能够重新跟踪上新目标。本发明该方法能够实现运动目标在静态背景遮挡情况下的稳定跟踪。

Description

一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法

技术领域

本发明涉及运动目标跟踪技术领域，特别涉及一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法，适用于视频图像运动目标在静态背景遮挡下的跟踪。

背景技术

运动目标跟踪技术是计算机视觉领域的核心课题之一，具有十分重要的意义和广泛的实用价值。它融合了图像处理、模式识别、人工智能、自动控制以及计算机应用等相关领域的先进技术和研究成果。运动目标跟踪的实质是一种从图像信号中实时自动识别目标，提取目标的位置信息，自动跟踪目标的技术。它的难点在于图像信号采集过程中的信息损失和复杂的应用环境，特别是目标在运动过程中经常被场景中的其它物体遮挡，遮挡导致了部分固有特征的丢失，新特征的产生，这给目标识别和定位带来很大的困难。因此，跟踪过程中的遮挡问题成为限制跟踪算法实用性的关键因素。在图像图形识别中，传统的识别方法通常无法对该类物体进行识别。近年来，基于多子块模板匹配的方法开始被应用于遮挡情况下的目标跟踪，该方法通过对所有目标子块的运动位移量表决来获得目标在遮挡时的真实位置。为解决目标模板更新问题和目标在完全遮挡及重新复现时的跟踪问题，本发明构造了一种改进的运动目标抗遮挡跟踪方法，利用更加准确的遮挡判定准则，通过使目标在遮挡时的模板进行自适应更新，运用卡尔曼模型预测目标在完全遮挡时的运动轨迹，再使用多子模板匹配方法完成目标在遮挡复现时的跟踪。

本发明中提到的一种改进的复杂背景下的运动目标抗遮挡跟踪方法，通过判断目标是否被静态背景遮挡，根据目标大小来自适应分割目标模板子块并在搜索区域内进行遍历匹配，得到各子块的运动位移量后根据匹配成功率来自适应更新目标模板，进而利用Kalman预测滤波和多子块模板匹配方法实现运动目标的抗遮挡跟踪。

本发明与其它运动目标抗遮挡跟踪方法不同在于：本发明通过改进目标遮挡判断准则，克服了现有跟踪方法中因场景颜色与运动目标颜色相近引起的遮挡漏判；利用基于加权累积的子块表决方法，有效减少了现有跟踪方法中因单峰表决值而带来的表决误差；采用改进后的模板更新和多字块模板相关匹配算法实现了目标遮挡目标复现后的可靠接力跟踪。

发明内容

本发明要解决的技术问题是：克服现有的运动目标抗静态遮挡跟踪方法的不能连续可靠跟踪的问题，提出一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法。

本发明采用的技术方案为：一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法，该方法包括如下步骤：

步骤(1)、判断目标是否被静态背景遮挡；

步骤(2)、根据目标大小来自适应分割目标模板子块，并将所有子块在搜索区域内进行遍历匹配，得到各自的运动位移量；

步骤(3)、对所有子块的位移量进行加权表决得到目标的真实位置，并根据各子块的匹配成功率来自适应更新目标模板；

步骤(4)、利用目标的匹配位置信息更新Kalman滤波模型，当目标完全被遮挡时采用预测信息作为真实值，当目标复现时采用多子块模板匹配方法进行接力跟踪。

其中，所述步骤(1)中判断目标是否被静态背景遮挡的具体步骤为：

步骤A1、计算两个目标的Bhattacharyya系数：

$d_B(H_1,H_2)=\sqrt{1-\underset{0}{\overset{L-1}{\mathrm{\Σ}}}\sqrt{H_1\left(k\right)\·H_2\left(k\right)}}---\left(1\right)$

式中，H₁和H₂分别为前后两帧中目标灰度模板规一化后直方图；L为直方图划分的颜色区间数量；

步骤A2、计算目标在第t帧与第t-1帧的像素面积之比γ_s；

步骤A3、计算目标在第t帧与第t-1帧的有效前景点数之比

步骤A4、若目标满足以下条件，则判定其被静态背景遮挡：

式中，T_B为Bhattacharyya系数的阈值，T_B∈(0，1)。

其中，所述步骤(2)中根据目标大小来自适应分割目标模板子块，并将所有子块在搜索区域内进行遍历匹配得到各自的运动位移量的具体步骤为：

步骤B1、根据目标宽高(w，h)，自适应分配模板子块边长l为：

$l=\left\{\begin{array}{cc}\frac{1}{8}\min (w,h),& \mathrm{ifw}>24\mathrm{andh}>24\\ 2,& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

步骤B2、将每个目标模板子块放到历史目标的前景灰度图中进行搜索匹配，拟定的初始搜索区域是以子块的质心位置(x_c，y_c)为中心的5w×5h邻域，水平和垂直方向的搜索次数t_x和t_y，由搜索区域和步长共同决定：

$\left\{\begin{array}{c}{t}_x=\frac{5w-l+1}{\mathrm{\Δx}}\\ t_y=\frac{5h-l+1}{\mathrm{\Δy}}\end{array}\right.---\left(4\right)$

式中，Δx和Δy为搜索步长，步长越小，精度越高；

步骤B3、采用差值平方和作为匹配指标，将子块按搜索步长滑动遍历整个搜索区域，找出最小差值平方和所在的坐标为匹配点位置为：

$\left\{\begin{array}{c}F(x,y)=\underset{u=0}{\overset{l}{\mathrm{\Σ}}}\underset{v=0}{\overset{l}{\mathrm{\Σ}}}{(I^{*}(u,v)-I_{t-1}(x+u,y+v))}^2\\ (t_1,t_2)=\underset{(i,j)}{\arg \min }\underset{i=0}{\overset{t_x}{\mathrm{\Σ}}}\underset{j=0}{\overset{t_y}{\mathrm{\Σ}}}F(m+\mathrm{\Δx}\·i,n+\mathrm{\Δy}\·j)\\ (\mathrm{dx},\mathrm{dy})=(\mathrm{\Δx}\·t_1,\mathrm{\Δx}\·t_2)\\ \end{array}\right.---\left(5\right)$

式中，(u，v)为子块内某一点坐标；I^*(u，v)为该点的前景灰度值；(m，n)表示搜索窗左上角原点的坐标；(t₁，t₂)表示最小差值平方和所在的搜索次数；(dx，dy)为子块的运动位移量。

其中，所述步骤(3)中对所有子块的位移量进行加权表决获取目标的真实位置，并根据各子块的匹配情况来自适应更新目标模板的具体步骤为：

步骤C1、在包含N个目标子块的运动位移量集{dx_i，dy_i}，i＝1，...，N中，统计每个位移量的票数，通过选出票数最高的三项位移量{d₁，d₂，d₃}，计算出该三项最高票数的总额，根据每位票数所占总额的权重β_i进行累加求和，得到一个加权后的运动位移量和目标的真实位置为：

$\stackrel{\‾}{d}=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{d}_i\·{\mathrm{\β}}_i---\left(6\right)$

$\left\{\begin{array}{c}{x}_t=x_{t-1}+\stackrel{\‾}{d_x}\\ y_t=y_{t-1}+\stackrel{\‾}{d_y}\end{array}\right.---\left(7\right)$

步骤C2、采用低通滤波器对每个历史目标子块灰度进行自适应加权更新：

$I_{t+1}=\left\{\begin{array}{cc}{\mathrm{\λp}}_{\max }{b}_t+(1-{\mathrm{\λp}}_{\max })I_t,& \mathrm{if}{p}_{\max }>T_p\\ I_t,& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

式中，I_t为子块的灰度值；b_t为子块匹配上的灰度值；p_max为最高票数所占的票数比率；λ为子块更新率。

其中，所述步骤(4)中利用目标的匹配位置信息更新Kalman滤波模型，当目标完全被遮挡时采用预测信息作为真实值，当目标复现时采用多子模板匹配方法进行接力跟踪的具体步骤为：

步骤D1、根据目标在当前帧的质心坐标(x，y)、矩形宽高(w，h)和瞬时速度(v_x，v_y)等信息，构造Kalman滤波模型为：

X(k)＝[x(k)，y(k)，w(k)，h(k)，v_x(k)，v_x(k)]    (9)

Z(k)＝[x(k)，y(k)，w(k)，h(k)]^T                 (10)

步骤D2、将目标匹配位置作为Kalman滤波模型的观测值，获得目标在下一帧的预测位置；

步骤D3、当目标在预测邻域内未检测出新目标时，认为该目标已被完全遮挡，此时完全依靠Kalman滤波预测模型对目标运动轨迹进行预测跟踪；

步骤D4、当目标离开遮挡区域被重新检测出来时，根据重现目标的感兴趣区域ROI定位规则，由新目标的运动速度v_x和v_y来确定历史目标原始模板的ROI位置和尺寸，并计算模板灰度前景F_t，进而计算F_t与新目标灰度前景F_c的Bhattacharyya系数d_B，当满足d_B＜T_B，则认为目标匹配上，用新目标的运动信息对历史目标进行更新。

本发明与现有技术相比的优点在于：

1、本发明通过改进目标遮挡判断准则，能够避免当场景颜色与运动目标颜色相近时的遮挡漏判；

2、本发明基于加权累积的子块表决方法，能够有效减少因单峰表决值而带来的表决误差，采用一种改进的模板更新机制，可以让遮挡目标根据子块表决情况进行自适应更新，实现运动的可靠接力跟踪。

附图说明

图1为本发明的一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法的流程图；

图2为本发明的一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法的目标模板子块选取示意图；

图3为本发明的一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法的遮挡目标匹配过程；

图4为本发明的一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法的目标抗遮挡跟踪效果图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明，如图1所示，本发明一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法的具体实现步骤如下：

步骤(1)、判断目标是否被静态背景遮挡：

步骤A1、计算两个目标的Bhattacharyya系数：

$d_B(H_1,H_2)=\sqrt{1-\underset{0}{\overset{L-1}{\mathrm{\Σ}}}\sqrt{H_1\left(k\right)\·H_2\left(k\right)}}---\left(1\right)$

式中，H₁和H₂分别为前后两帧中目标灰度模板规一化后直方图；L为直方图划分的颜色区间数量；

步骤A2、计算目标在第t帧与第t-1帧的像素面积之比γ_s；

步骤A3、计算目标在第t帧与第t-1帧的有效前景点数之比

步骤A4、若目标满足以下条件，则判定其被静态背景遮挡：

式中，T_B为Bhattacharyya系数的阈值，T_B∈(0，1)。

步骤(2)、根据目标大小来自适应分割目标模板子块，并将所有子块在搜索区域内进行遍历匹配得到各自的运动位移量的具体步骤为：

步骤B1、根据目标宽高(w，h)，自适应分配模板子块边长l为：

$l=\left\{\begin{array}{cc}\frac{1}{8}\min (w,h),& \mathrm{ifw}>24\mathrm{andh}>24\\ 2,& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

步骤B2、将每个目标模板子块放到历史目标的前景灰度图中进行搜索匹配，拟定的初始搜索区域是以子块的质心位置(x_c，y_c)为中心的5w×5h邻域，水平和垂直方向的搜索次数t_x和t_y，由搜索区域和步长共同决定：

$\left\{\begin{array}{c}{t}_x=\frac{5w-l+1}{\mathrm{\Δx}}\\ t_y=\frac{5h-l+1}{\mathrm{\Δy}}\end{array}\right.---\left(4\right)$

式中，Δx和Δy为搜索步长，步长越小，精度越高。

步骤B3、采用差值平方和作为匹配指标，将子块按搜索步长滑动遍历整个搜索区域，找出最小差值平方和所在的坐标为匹配点位置为：

$\left\{\begin{array}{c}F(x,y)=\underset{u=0}{\overset{l}{\mathrm{\Σ}}}\underset{v=0}{\overset{l}{\mathrm{\Σ}}}{(I^{*}(u,v)-I_{t-1}(x+u,y+v))}^2\\ (t_1,t_2)=\underset{(i,j)}{\arg \min }\underset{i=0}{\overset{t_x}{\mathrm{\Σ}}}\underset{j=0}{\overset{t_y}{\mathrm{\Σ}}}F(m+\mathrm{\Δx}\·i,n+\mathrm{\Δy}\·j)\\ (\mathrm{dx},\mathrm{dy})=(\mathrm{\Δx}\·t_1,\mathrm{\Δx}\·t_2)\\ \end{array}\right.---\left(5\right)$

式中，(u，v)为子块内某一点坐标；I^*(u，v)为该点的前景灰度值；(m，n)表示搜索窗左上角原点的坐标；(t₁，t₂)表示最小差值平方和所在的搜索次数；(dx，dy)为子块的运动位移量。如图2和3所示的示意性示例。

步骤(3)、对所有子块的位移量进行加权表决获取目标的真实位置，并根据各子块的匹配情况来自适应更新目标模板的具体步骤为：

步骤C1、在包含N个目标子块的运动位移量集{dx_i，dy_i}，i＝1，...，N中，统计每个位移量的票数，通过选出票数最高的三项位移量{d₁，d₂，d₃}，计算出该三项最高票数的总额，根据每位票数所占总额的权重β_i进行累加求和，得到一个加权后的运动位移量和目标的真实位置为：

$\stackrel{\‾}{d}=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{d}_i\·{\mathrm{\β}}_i---\left(6\right)$

$\left\{\begin{array}{c}{x}_t=x_{t-1}+\stackrel{\‾}{d_x}\\ y_t=y_{t-1}+\stackrel{\‾}{d_y}\end{array}\right.---\left(7\right)$

步骤C2、采用低通滤波器对每个历史目标子块灰度进行自适应加权更新：

$I_{t+1}=\left\{\begin{array}{cc}{\mathrm{\λp}}_{\max }{b}_t+(1-{\mathrm{\λp}}_{\max })I_t,& \mathrm{if}{p}_{\max }>T_p\\ I_t,& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

式中，I_t为子块的灰度值；b_t为子块匹配上的灰度值；p_max为最高票数所占的票数比率；λ为子块更新率，取值范围为(0.0，0.3]。

步骤(4)、利用目标的匹配位置信息更新Kalman滤波模型，当目标完全被遮挡时采用预测信息作为真实值，当目标复现时采用多子模板匹配方法进行接力跟踪的具体步骤为：

步骤D1、根据目标在当前帧的质心坐标(x，y)、矩形宽高(w，h)和瞬时速度(v_x，v_y)等信息，构造Kalman滤波模型为：

X(k)＝[x(k)，y(k)，w(k)，h(k)，v_x(k)，v_x(k)]  (9)

Z(k)＝[x(k)，y(k)，w(k)，h(k)]^T               (10)

步骤D2、将目标匹配位置作为Kalman滤波模型的观测值，获得目标在下一帧的预测位置；

步骤D3、当目标在预测邻域内未检测出新目标时，认为该目标已被完全遮挡，此时完全依靠Kalman滤波预测模型对目标运动轨迹进行预测跟踪。

步骤D4、当目标离开遮挡区域被重新检测出来时，根据重现目标的感兴趣区域ROI定位规则，由新目标的运动速度v_x和v_y来确定历史目标原始模板的ROI位置和尺寸，并计算模板灰度前景F_t，进而计算F_t与新目标灰度前景F_c的Bhattacharyya系数d_B，当满足d_B＜T_B，则认为目标匹配上，用新目标的运动信息对历史目标进行更新。其中，重现目标的感兴趣区域ROI定位规则的示例可如表1所示。

表1.重现目标的ROI定位规则

vx	vy	ROI
			→	↓	bottom-right
→	↑	top-right
			←	↓	bottom-left
←	↑	top-left

Claims (1)

1.一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法，其特征在于：该方法包括如下步骤：

步骤(1)、判断目标是否被静态背景遮挡；

所述步骤(1)中判断目标是否被静态背景遮挡的具体步骤为：

步骤A1、计算两个目标的Bhattacharyya系数：

$d_B(H_1,H_2)=\sqrt{1-\underset{0}{\overset{L-1}{\mathrm{\Σ}}}\sqrt{H_1\left(k\right)\·H_2\left(k\right)}}---\left(1\right)$

式中，H₁和H₂分别为前后两帧中目标灰度模板规一化后直方图；L为直方图划分的颜色区间数量；

步骤A2、计算目标在第t帧与第t-1帧的像素面积之比γ_s；

步骤A3、计算目标在第t帧与第t-1帧的有效前景点数之比

步骤A4、若目标满足以下条件，则判定其被静态背景遮挡：

式中，T_B为Bhattacharyya系数的阈值，T_B∈(0,1)；

当目标被部分遮挡时，采用后续的步骤(2)和步骤(3)实现目标跟踪；当目标被完全遮挡时，采用后续的步骤(4)实现目标跟踪；

步骤(2)、根据目标大小来自适应分割目标模板子块，并将所有子块在搜索区域内进行遍历匹配，得到各自的运动位移量；

所述步骤(2)中根据目标大小来自适应分割目标模板子块，并将所有子块在搜索区域内进行遍历匹配得到各自的运动位移量的具体步骤为：

步骤B1、根据目标宽高(w,h)，自适应分配模板子块边长l为：

$l=\left\{\begin{array}{cc}\frac{1}{8}\min (w,h),& \mathrm{ifw}>24\mathrm{andh}>24\\ 2,& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

步骤B2、将每个目标模板子块放到历史目标的前景灰度图中进行搜索匹配，拟定的初始搜索区域是以子块的质心位置(x_c,y_c)为中心的5w×5h邻域，水平和垂直方向的搜索次数t_x和t_y，由搜索区域和步长共同决定：

$\left\{\begin{array}{c}{t}_x=\frac{5w-l+1}{\mathrm{\Δx}}\\ t_y=\frac{5h-l+1}{\mathrm{\Δy}}\end{array}\right.---\left(4\right)$

式中，Δx和Δy为搜索步长，步长越小，精度越高；

步骤B3、采用差值平方和作为匹配指标，将子块按搜索步长滑动遍历整个搜索区域，找出最小差值平方和所在的坐标为匹配点位置为：

$\left\{\begin{array}{c}F(x,y)=\underset{u=0}{\overset{l}{\mathrm{\Σ}}}\underset{v=0}{\overset{l}{\mathrm{\Σ}}}{(I^{*}(u,v)-I_{t-1}(x+u,y+v))}^2\\ (t_1,t_2)=\underset{(i,j)}{\arg \min }\underset{i=0}{\overset{t_x}{\mathrm{\Σ}}}\underset{j=0}{\overset{t_y}{\mathrm{\Σ}}}F(m+\mathrm{\Δx}\·i,n+\mathrm{\Δy}\·j)\\ (\mathrm{dx},\mathrm{dy})=(\mathrm{\Δx}\·t_1,\mathrm{\Δx}\·t_2)\end{array}\right.---\left(5\right)$

式中，(u,v)为子块内某一点坐标；I^*(u,v)为该点的前景灰度值；(m,n)表示搜索窗左上角原点的坐标；(t₁,t₂)表示最小差值平方和所在的搜索次数；(dx,dy)为子块的运动位移量；

步骤(3)、对所有子块的位移量进行加权表决得到目标的真实位置，并根据各子块的匹配成功率来自适应更新目标模板；

所述步骤(3)中对所有子块的位移量进行加权表决获取目标的真实位置，并根据各子块的匹配情况来自适应更新目标模板的具体步骤为：

步骤C1、在包含N个目标子块的运动位移量集{dx_i,dy_i},i＝1,…,N中，统计每个位移量的票数，通过选出票数最高的三项位移量{d₁,d₂,d₃}，计算出该三项最高票数的总额，根据每位票数所占总额的权重β_i进行累加求和，得到一个加权后的运动位移量和目标的真实位置为：

$\stackrel{\‾}{d}=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{d}_i\·{\mathrm{\β}}_i---\left(6\right)$

$\left\{\begin{array}{c}{x}_t=x_{t-1}+\stackrel{\‾}{d_x}\\ y_t=y_{t-1}+\stackrel{\‾}{d_y}\end{array}\right.---\left(7\right)$

步骤C2、采用低通滤波器对每个历史目标子块灰度进行自适应加权更新：

$I_{t+1}=\left\{\begin{array}{cc}{\mathrm{\λp}}_{\max }{b}_t+(1-{\mathrm{\λp}}_{\max })I_t,& \mathrm{if}{p}_{\max }>T_p\\ I_t,& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

式中，I_t为子块的灰度值；b_t为子块匹配上的灰度值；p_max为最高票数所占的票数比率；λ为子块更新率；

步骤(4)、利用目标的匹配位置信息更新Kalman滤波模型，当目标完全被遮挡时采用预测信息作为真实值，当目标复现时采用多子块模板匹配方法进行接力跟踪；

所述步骤(4)中利用目标的匹配位置信息更新Kalman滤波模型，当目标完全被遮挡时采用预测信息作为真实值，当目标复现时采用多子模板匹配方法进行接力跟踪的具体步骤为：

步骤D1、根据目标在当前帧的质心坐标(x,y)、矩形宽高(w,h)和瞬时速度(v_x,v_y)信息，构造Kalman滤波模型为：

X(k)＝[x(k),y(k),w(k),h(k),v_x(k),v_y(k)] (9)

Z(k)＝[x(k),y(k),w(k),h(k)]^T   (10)

步骤D2、将目标匹配位置作为Kalman滤波模型的观测值，获得目标在下一帧的预测位置；

步骤D3、当目标在预测邻域内未检测出新目标时，认为该目标已被完全遮挡，此时完全依靠Kalman滤波预测模型对目标运动轨迹进行预测跟踪；

步骤D4、当目标离开遮挡区域被重新检测出来时，根据重现目标的感兴趣区域ROI定位规则，由新目标的运动速度v_x和v_y来确定历史目标原始模板的ROI位置和尺寸，并计算模板灰度前景F_t，进而计算F_t与新目标灰度前景F_c的Bhattacharyya系数d_B，当满足d_B＜T_B，则认为目标匹配上，用新目标的运动信息对历史目标进行更新。