CN102509306A - 一种基于视频的特定目标的跟踪方法 - Google Patents

Abstract

本发明方法一种基于视频的特定目标的跟踪方法，是特定目标与运动速度相结合的目标跟踪方法。在检测出特定目标后，选定要跟踪的特定目标，判断特定跟踪目标是否与其他前景目标发生粘连，根据判断出的运动状态，选用不同的跟踪策略对其进行跟踪。本发明方法与现有技术相比，在发生粘连和遮挡的情况下，仍能准确跟踪特定目标。

Description

一种基于视频的特定目标的跟踪方法

技术领域

本发明属于图像处理方法技术领域，涉及一种基于视频的特定目标的跟踪方法。

背景技术

特定目标跟踪是智能监控系统的重要组成部分，当监控视场中，出现人群，并且特定目标与其他目标发生粘连和遮挡的情况下，很难达到较好的跟踪效果。

发明内容

本发明的目的是提供一种基于视频的特定目标的跟踪方法，与现有技术相比，在发生粘连和遮挡的情况下，仍能准确跟踪特定目标。

本发明所采用的技术方案是，一种基于视频的特定目标的跟踪方法，其特征在于，具体步骤如下：

步骤1、使用单高斯背景建模的方法，实时检测当前视频图像，并获得该当前帧视频图像中的多个目标连通域；

步骤2、将步骤1得到的多个目标连通域进行贴标签处理，并分别用外接矩形框标识出各目标连通域，其中，每个外接矩形框均用其左上角坐标(x_k0，y_k0)及右下角坐标(x_k1，y_k1)表示为{(x_k0，y_k0)，(x_k1，y_k1)}，k＝1，2，...，L，L为目标连通域的数量；

步骤3、选定特定目标在当前帧的连通域为

该特定目标的外接矩形框为

根据索贝尔锐化算法提取该特定目标的边缘轮廓特征模板

其中，Ω_O为特定目标的外接矩形区域；

步骤4、标识目标的相邻帧关系并定义目标的运动状态，判断特定目标的外接矩形框在相邻帧间是否存在重合，如有重合，则判定该特定目标在当前帧中存在，转向步骤5；如无重合，则判定该特定目标消失，返回步骤3重新指定特定目标；

步骤5、判别特定目标在相邻帧的运动状态变化状态，当特定目标在前一帧中为粘连状态时，则转入步骤6；当特定目标在前一帧和当前帧中，均为单一状态时，则转入步骤7；当特定目标在前一帧为单一状态，且当前帧中变为粘连状态时，转入步骤8；

步骤6、判断特定目标在当前帧是否发生分离，当判定特定目标在当前帧发生分离时，转入步骤9，否则，转入步骤8；

步骤7、单一状态下的特定目标跟踪：

计算特定目标在相邻帧之间运动速率，特定目标的单一状态维持了T_s帧，计算该特定目标在该T_s帧中的平均速度并根据索贝尔锐化算法更新该特定目标的边缘轮廓特征模板

后，转入步骤4进行特定目标在下一帧的跟踪；

步骤8、粘连状态时的特定目标跟踪：

步骤8.1、估算特定目标在当前帧的质心

步骤8.2、估算特定目标在当前帧的质心

所在的区域，预估其外接矩形为 $\{({\hat{x}}_{j0}^t,{\hat{y}}_{j0}^t),({\hat{x}}_{j1}^t,t_{j1}^t)\},$

步骤8.3、确定校正特定目标位置的搜索区域：

将步骤8.2得到的外接矩形

的长和宽分别增加δW和δL，得到的新的矩形区域，将其作为校正特定目标位置的搜索区域；

步骤8.4、校正特定目标位置：

根据索贝尔锐化算法和特定目标的边缘轮廓特征模板

在步骤8.3得到的搜索区域内进行模板匹配，将得到的相同特征点个数最多的区域，初步判断为该特定目标的当前位置，并计算此时特定目标质心位置为

步骤8.5、校正特定目标位置的正确性判断

根据步骤8.4得到的特定目标质心位置

计算其瞬时速率，当得到的瞬时速度与步骤7得到的

之差满足一预设值时，判定步骤8.4得到的校正的特定目标位置可信；否则，判定不可信，将步骤8.1得到的的质心位置

作为特定目标的质心位置；

更新特定目标平均速度，并标识出本帧中的特定目标为粘连状态，转入步骤4进行特定目标在下一帧的跟踪；

步骤9、分离状态时的特定目标跟踪：

特定目标在前一帧中的连通域为

有k个连通域与

重合，k≥1，根据索贝尔锐化算法计算该k个连通域内的边缘细节信息，使用特定目标的边缘轮廓特征模板

在该k个连通域中进行模板匹配，将得到的相同特征点个数最多的连通域

判断为该特定目标的当前位置；

计算连通域

的面积为

当

与特定目标实际面积之差满足一预设值时，标示特定目标为单一状态，否则，标示为粘连状态；

计算特定目标的质心位置，更新特定目标平均速度，转入步骤4进行特定目标在下一帧的跟踪；

循环以上步骤，直至监控任务完成。

进一步地，步骤1的具体方法为：

步骤1.1、计算初始背景图像B₀：

视频图像大小为M×N，计算前T帧视频图像每一像素点的平均灰度值μ₀(x，y)及像素灰度的方差

建立初始背景图像B₀：

${\mathrm{\μ}}_0(x,y)=\frac{1}{T}\underset{t=0}{\overset{T-1}{\mathrm{\Σ}}}{I}_t(x,y),$ x＝1，2，...，M，y＝1，2，...，N；

${\mathrm{\σ}}_0^2(x,y)=\frac{1}{T}\underset{t=0}{\overset{T-1}{\mathrm{\Σ}}}{[I_t(x,y)-{\mathrm{\μ}}_0(x,y)]}^2,$ x＝1，2，...，M，y＝1，2，...，N；

$B_0=[{\mathrm{\μ}}_0,{\mathrm{\σ}}_0^2],$ x＝1，2，...，M，y＝1，2，...，N；

其中，I_t(x，y)表示当前帧图像中像素点(x，y)处的像素值，x＝1，2，...，M，y＝1，2，...，N，当前帧为第t帧；

步骤1.2、计算当前帧的背景图像B_t：

$B_t(x,y)=\left\{\begin{array}{ccc}(1-\mathrm{\α})\·B_{t-1}(x,y)+\mathrm{\α}\·I_t(x,y)& \mathrm{if}& f_t(x,y)=0\\ B_{t-1}(x,y)& \mathrm{if}& f_t(x,y)=1\end{array}\right.,$ x＝1，2，...，M，y＝1，2，...，N，

其中，α为背景更新系数，满足0＜α＜1；

步骤1.3、采用背景差分法获得当前帧中的多个目标连通域：

将当前帧图像I_t与背景图像B_t进行差分，并将差分图进行二值化，得到当前帧图像中的目标连通域f_t(x，y)：

$f_t(x,y)=\left\{\begin{array}{ccc}1& \mathrm{if}& |I_t(x,y)-B_t(x,y)|\&GreaterEqual;{\mathrm{Th}}_1\\ 0& \mathrm{if}& |I_t(x,y)-B_t(x,y)|<{\mathrm{Th}}_1\end{array}\right.,$ x＝1，2，...，M，y＝1，2，...，N；

其中，f_t(x，y)＝1时为前景点，f_t(x，y)＝0时为背景点；Th₁为分割阈值，Th₁取值范围为Th₁∈[30，50]。

进一步地，步骤3的具体方法为：

特定目标的边缘轮廓特征模板 $S_t(x,y)=\left\{\begin{array}{cc}1& {\mathrm{dI}}_t(x,y)\&GreaterEqual;{\mathrm{Th}}_S\\ 0& {\mathrm{dI}}_t(x,y)<{\mathrm{Th}}_S\end{array}\right.,$ (x，y)＝∈Ω_O，

其中，

dx(x，y)＝I_t(x+1，y-1)-I_t(x-1，y-1)+2I_t(x+1，y)-2I_t(x-1，y)+I_t(x+1，y+1)-I_t(x-1，y+1)，

dy(x，y)＝I_t(x-1，y+1)-I_t(x-1，y-1)+2I_t(x，y+1)-2I_t(x，y-1)+I_t(x+1，y+1)-I_t(x+1，y-1)，

${\mathrm{dI}}_t(x,y)=\sqrt{{\mathrm{dx}(x,y)}^2+\mathrm{dy}{(x,y)}^2};$

判断阈值

为Ω_O区域内的像素个数。

步骤4中，相邻帧间的目标外接矩形的重合判别公式为：

${\mathrm{Lab}}_1(x,y)=\left\{\begin{array}{cc}1& f_{t-1}(x,y)+f_t(x,y)=2\\ 0& f_{t-1}(x,y)+f_t(x,y)<2\end{array}\right.,(x,y)=\&Element;{\mathrm{\&Omega;}}_O,$

其中，Lab₁(x，y)为重合标记，1表示重合，0表示不重合；

统计Ω_O中，Lab₁(x，y)＝1的像素个数N_L1，N_L1＝0时，无重合，则判定该特定目标消失；否则，有重合，则判定该特定目标在当前帧中存在。

步骤5的具体方法为：

前一帧中前景目标有n个连通域，特定目标为第i个连通域，记为

该连通域面积大小为

当前帧中特定目标有m个连通域，特定目标为第j个连通域，极为

该连通域其面积大小为

按照下式对特定目标状态进行标识：

${\mathrm{Lab}}_2=\left\{\begin{array}{cc}0& |\frac{s_j^t}{s_i^{t-1}}-1|\&le;{\mathrm{Th}}_C\\ 1& |\frac{s_j^t}{s_i^{t-1}}-1|>{\mathrm{Th}}_C\end{array}\right.,$

其中，粘连状态标记值Lab₂＝1时则特定目标发生粘连，Lab₂＝0则表示特点目标仍处于单一状态；粘连发生的阈值Th_C，取值范围为Th_C∈(0.5，1)。

步骤6的具体方法为：

计算特定目标在当前帧的连通域

有k个连通域与其在前一帧的连通域

重合，k≥1，当该k个连通域的面积均小于

时，次特定目标从粘连状态转为分离状态。

步骤7中，该特定目标在Ts中的平均速度

${\stackrel{\&OverBar;}{v}}_x=\frac{1}{T_s}\&CenterDot;\underset{k=t-T_s-1}{\overset{t}{\mathrm{\&Sigma;}}}{v}_x^k,$ ${\stackrel{\&OverBar;}{v}}_y=\frac{1}{T_s}\&CenterDot;\underset{k=t-T_s-1}{\overset{t}{\mathrm{\&Sigma;}}}{v}_y^k;$

特定目标的瞬时速度计算公式为：

${v_x}^t=x_c^t-x_c^{t-1},$ ${v_y}^t=y_c^t-y_c^{t-1},$

其中，

分别为特定目标在前一帧和当前帧中的质心位置；

特定目标质心的计算公式为：

$x_c=\frac{1}{N_o}\&CenterDot;\underset{(x,y)\&Element;o}{\mathrm{\&Sigma;}}x,$ $y_c=\frac{1}{N_o}\&CenterDot;\underset{(x,y)\&Element;o}{\mathrm{\&Sigma;}}y,$

其中，o为目标所在的连通域，(x，y)∈o为该连通域中所有像素点的坐标，N_o为该连通域中像素点的个数。

步骤8中，

步骤8.1的具体方法为：

特定目标在前一帧的质心位置为

且瞬时速度为

则估算其在当前帧的质心位置

${\hat{x}}_c^t={v_x}^{t-1}+x_c^{t-1},$ ${\hat{y}}_c^t={v_y}^{t-1}+y_c^{t-1};$

步骤8.2的具体方法为：

定义步骤8.1得到的质心

位于外接矩形的中心，根据特定目标在前一帧中的外接矩形长宽分别为

以及视频画面中的目标外接矩形在长宽两个方向上变化的标定系数α_Lk和α_Wk，则估算特定目标在当前帧中的外接矩形的对角坐标

为：

${\hat{x}}_{j0}^t={{\hat{x}}_c}^t-0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{LK}}{L}_i^{t-1},$ ${\hat{x}}_{j1}^t={{\hat{x}}_c}^t+0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{LK}}{L}_i^{t-1};$

${\hat{y}}_{j0}^t={{\hat{y}}_c}^t-0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{WK}}{W}_i^{t-1},$ ${\hat{y}}_{j1}^t={{\hat{y}}_c}^t+0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{WK}}{W}_i^{t-1}.$

步骤8.2中，视频画面中的目标外接矩形在长宽两个方向上变化的标定系数α_Lk和α_Wk的计算方法为：

将视频图像从上到下以水平分割线均匀划分成N_s个区域，并以此从下到上依次命名为1，2，...N_S，特定目标的外接矩形在第一个区域时的长宽分别为L₀和W₀，特定目标的外接矩形在第k个区域时的长宽分别为L_k和W_k，则：

${\mathrm{\&alpha;}}_{\mathrm{Lk}}=\frac{L_k}{L_0},$ ${\mathrm{\&alpha;}}_{\mathrm{Wk}}=\frac{W_k}{W_0},$ k＝1，2，...，N_s-1。

本发明的一种基于视频的特定目标的跟踪方法，针对人群中的特定目标可能出现的各种状况，定义了单一状态、粘连状态、分离状态等不同运动变化状态，根据对特定目标在不同状态的的特点，采用目标边缘细节特征模板匹配，结合位置以及目标的大小等特征的匹配关系，实现对特定目标的正确跟踪。

具体实施方式

本发明一种基于视频的特定目标的跟踪方法，是特定目标与运动速度相结合的目标跟踪方法。在检测出特定目标后，选定要跟踪的特定目标，判断特定跟踪目标是否与其他前景目标发生粘连，根据判断出的运动状态，选用不同的跟踪策略对其进行跟踪。

本发明一种基于视频的特定目标的跟踪方法，具体步骤如下：

步骤1、使用单高斯背景建模的方法，实时检测当前视频图像，并获得该当前帧视频图像中的多个目标连通域。

步骤1的具体方法为：

步骤1.1、计算初始背景图像B₀：

视频图像大小为M×N，计算前T帧视频图像每一像素点的平均灰度值μ₀(x，y)及像素灰度的方差

建立初始背景图像B₀：

${\mathrm{\&mu;}}_0(x,y)=\frac{1}{T}\underset{t=0}{\overset{T-1}{\mathrm{\&Sigma;}}}{I}_t(x,y),$ x＝1，2，...，M，y＝1，2，...，N；

${\mathrm{\&sigma;}}_0^2(x,y)=\frac{1}{T}\underset{t=0}{\overset{T-1}{\mathrm{\&Sigma;}}}{[I_t(x,y)-{\mathrm{\&mu;}}_0(x,y)]}^2,$ x＝1，2，...，M，y＝1，2，...，N；

$B_0=[{\mathrm{\&mu;}}_0,{\mathrm{\&sigma;}}_0^2],$ x＝1，2，...，M，y＝1，2，...，N；

其中，I_t(x，y)表示当前帧图像中像素点(x，y)处的像素值，x＝1，2，...，M，y＝1，2，...，N，当前帧为第t帧；

步骤1.2、计算当前帧的背景图像B_t：

$B_t(x,y)=\left\{\begin{array}{ccc}(1-\mathrm{\&alpha;})\&CenterDot;B_{t-1}(x,y)+\mathrm{\&alpha;}\&CenterDot;I_t(x,y)& \mathrm{if}& f_t(x,y)=0\\ B_{t-1}(x,y)& \mathrm{if}& f_t(x,y)=1\end{array}\right.,$ x＝1，2，...，M，y＝1，2，...，N，

其中，α为背景更新系数，满足0＜α＜1；

步骤1.3、采用背景差分法获得当前帧中的多个目标连通域：

将当前帧图像I_t与背景图像B_t进行差分，并将差分图进行二值化，得到当前帧图像中的目标连通域f_t(x，y)：

$f_t(x,y)=\left\{\begin{array}{ccc}1& \mathrm{if}& |I_t(x,y)-B_t(x,y)|\&GreaterEqual;{\mathrm{Th}}_1\\ 0& \mathrm{if}& |I_t(x,y)-B_t(x,y)|<{\mathrm{Th}}_1\end{array}\right.,$ x＝1，2，...，M，y＝1，2，...，N；

其中，f_t(x，y)＝1时为前景点，f_t(x，y)＝0时为背景点；Th₁为分割阈值，若Th₁取值过大，会使一部分前景点判为背景点；若Th₁取值过小，会引入更多噪声，经实验测得优选范围为Th₁∈[30，50]。

步骤2、将步骤1得到的多个目标连通域进行贴标签处理，在贴标签处理过程中去除过小的非人体目标的区域，并分别用外接矩形框标识出各目标连通域，其中，每个外接矩形框均用其左上角坐标(x_k0，y_k0)及右下角坐标(x_k1，y_k1)表示为{(x_k0，y_k0)，(x_k1，y_k1)}，k＝1，2，...，L，L为目标连通域的数量。

步骤3、选定特定目标在当前帧的连通域为

该特定目标的外接矩形框为

根据索贝尔锐化算法提取该特定目标的边缘轮廓特征模板

其中，Ω_O为特定目标的外接矩形区域。

如果指定的特定目标不与其他目标粘连，这时，外接矩形的坐标

为连通域

的左上角坐标和右下角坐标。

如果指定的特定目标与其他目标粘连，即

是多个目标粘连的团块时，外接矩形的坐标

为用户框定的矩形坐标。

步骤3的具体方法为：

特定目标的边缘轮廓特征模板 $S_t(x,y)=\left\{\begin{array}{cc}1& {\mathrm{dI}}_t(x,y)\&GreaterEqual;{\mathrm{Th}}_S\\ 0& {\mathrm{dI}}_t(x,y)<{\mathrm{Th}}_S\end{array}\right.,$ (x，y)＝∈Ω_O，

其中，

dx(x，y)＝I_t(x+1，y-1)-I_t(x-1，y-1)+2I_t(x+1，y)-2I_t(x-1，y)+I_t(x+1，y+1)-I_t(x-1，y+1)，

dy(x，y)＝I_t(x-1，y+1)-I_t(x-1，y-1)+2I_t(x，y+1)-2I_t(x，y-1)+I_t(x+1，y+1)-I_t(x+1，y-1)，

${\mathrm{dI}}_t(x,y)=\sqrt{{\mathrm{dx}(x,y)}^2+\mathrm{dy}{(x,y)}^2};$

判断阈值

为Ω_O区域内的像素个数。

步骤4、标识目标的相邻帧关系并定义目标的运动状态，判断特定目标的外接矩形框在相邻帧间是否存在重合，如有重合，则判定该特定目标在当前帧中存在，转向步骤5；如无重合，则判定该特定目标消失，返回步骤3重新指定特定目标。

步骤4中，判别相邻帧间的目标外接矩形是否重合的公式为：

${\mathrm{Lab}}_1(x,y)=\left\{\begin{array}{cc}1& f_{t-1}(x,y)+f_t(x,y)=2\\ 0& f_{t-1}(x,y)+f_t(x,y)<2\end{array}\right.,(x,y)=\&Element;{\mathrm{\&Omega;}}_O,$

其中，Lab₁(x，y)为重合标记，1表示重合，0表示不重合；

统计Ω_O中，Lab₁(x，y)＝1的像素个数N_L1，N_L1＝0时，无重合，则判定该特定目标消失；否则，有重合，则判定该特定目标在当前帧中存在。

步骤5、设定特定目标为人体目标，且其运动速度在监控视场中满足同一目标在相邻两帧之间有较大的重叠区域的前提条件。判别特定目标在相邻帧的运动状态变化状态，当特定目标在前一帧中为粘连状态时，则转入步骤6；当特定目标在前一帧和当前帧中，均为单一状态时，则转入步骤7；当特定目标在前一帧为单一状态，且当前帧中变为粘连状态时，转入步骤8。

由于场景中存在多个运动目标，特定目标在运动的过程中，会发生与其他运动目标发生粘连、遮挡、交叉等情况。所以将目标所处的状态分为：单一状态、粘连状态、分离状态。

a.单一状态

是指该目标与其他目标无关联或者场景中只有一个目标的状态。如果目标在前后两帧均处于单一状态，其面积在这两帧中保持稳定。

b.粘连状态

是指该目标与其他目标发生粘连，使前一帧中的两个独立的连通域，在当前帧中因为相互粘连而合并成一个连通域的状态。如果目标在前一帧处于单一状态，在后一帧处于粘连状态，则其所在的连通域在后一帧中的面积大于前一帧中的面积。

c.分离状态

是指前一帧中，因目标间的相互粘连，合并成的一个连通域，在当前帧中，因为有目标离开此粘连区域而形成的分离连通域的状态。如果目标在当前帧中从粘连状态转为分离状态，则其外接矩形框和检测结果中的某一个前景目标的外接矩形框重合。

步骤5的具体方法为：

前一帧中前景目标有n个连通域，特定目标为第i个连通域，记为

该连通域面积大小为

当前帧中特定目标有m个连通域，特定目标为第j个连通域，极为

该连通域其面积大小为

按照下式对特定目标状态进行标识：

${\mathrm{Lab}}_2=\left\{\begin{array}{cc}0& |\frac{s_j^t}{s_i^{t-1}}-1|\&le;{\mathrm{Th}}_C\\ 1& |\frac{s_j^t}{s_i^{t-1}}-1|>{\mathrm{Th}}_C\end{array}\right.,$

其中，粘连状态标记值Lab₂＝1时则特定目标发生粘连，Lab₂＝0则表示特点目标仍处于单一状态；粘连发生的阈值Th_C，取值范围为Th_C∈(0.5，1)。

步骤6、判断特定目标在当前帧是否发生分离，当判定特定目标在当前帧发生分离时，转入步骤9，否则，转入步骤8。

步骤6的具体方法为：

计算特定目标在当前帧的连通域

有k个连通域与其在前一帧的连通域

重合，k≥1，当该k个连通域的面积均小于

时，次特定目标从粘连状态转为分离状态。

步骤7、单一状态下的特定目标跟踪：

计算特定目标在相邻帧之间运动速率，特定目标的单一状态维持了T_s帧，计算该特定目标在该T_s帧中的平均速度

并根据索贝尔锐化算法更新该特定目标的边缘轮廓特征模板后，转入步骤4进行特定目标在下一帧的跟踪。

步骤7中，该特定目标在T_s中的平均速度

${\stackrel{\&OverBar;}{v}}_x=\frac{1}{T_s}\&CenterDot;\underset{k=t-T_s-1}{\overset{t}{\mathrm{\&Sigma;}}}{v}_x^k,$ ${\stackrel{\&OverBar;}{v}}_y=\frac{1}{T_s}\&CenterDot;\underset{k=t-T_s-1}{\overset{t}{\mathrm{\&Sigma;}}}{v}_y^k;$

特定目标的瞬时速度计算公式为：

${v_x}^t=x_c^t-x_c^{t-1},$ ${v_y}^t=y_c^t-y_c^{t-1},$

其中，

分别为特定目标在前一帧和当前帧中的质心位置；

特定目标质心的计算公式为：

$x_c=\frac{1}{N_o}\&CenterDot;\underset{(x,y)\&Element;o}{\mathrm{\&Sigma;}}x,$ $y_c=\frac{1}{N_o}\&CenterDot;\underset{(x,y)\&Element;o}{\mathrm{\&Sigma;}}y,$

其中，o为目标所在的连通域，(x，y)∈o为该连通域中所有像素点的坐标，N_o为该连通域中像素点的个数。

步骤8、粘连状态时的特定目标跟踪：

步骤8.1、估算特定目标在当前帧的质心

特定目标在前一帧的质心位置为

且瞬时速度为

则估算其在当前帧的质心位置

${\hat{x}}_c^t={v_x}^{t-1}+x_c^{t-1},$ ${\hat{y}}_c^t={v_y}^{t-1}+y_c^{t-1}.$

步骤8.2、估算特定目标在当前帧的质心

所在的区域，预估其外接矩形为 $\{({\hat{x}}_{j0}^t,{\hat{y}}_{j0}^t),({\hat{x}}_{j1}^t,t_{j1}^t)\},$

定义步骤8.1得到的质心

位于外接矩形的中心，根据特定目标在前一帧中的外接矩形长宽分别为

以及视频画面中的目标外接矩形在长宽两个方向上变化的标定系数α_Lk和α_Wk，则估算特定目标在当前帧中的外接矩形的对角坐标为：

${\hat{x}}_{j0}^t={{\hat{x}}_c}^t-0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{LK}}{L}_i^{t-1},$ ${\hat{x}}_{j1}^t={{\hat{x}}_c}^t+0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{LK}}{L}_i^{t-1};$

${\hat{y}}_{j0}^t={{\hat{y}}_c}^t-0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{WK}}{W}_i^{t-1},$ ${\hat{y}}_{j1}^t={{\hat{y}}_c}^t+0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{WK}}{W}_i^{t-1}.$

其中，视频画面中的目标外接矩形在长宽两个方向上变化的标定系数α_Lk和α_Wk，该标定系数定义为同一目标大小随着质心所在位置变化而变化的标定系数，其计算方法为：

因为同一个目标目标距离镜头的远近不同，则其在图像中的大小也不同。为了满足目标跟踪的准确性及实时性的要求，将视频图像从上到下以水平分割线均匀划分成N_s个区域，并以此从下到上依次命名为1，2，...N_S，在进行监控之前，对其区域的划分进行学习。让某个已知的目标由近至远走出画面，通过计算其质心位置与面积大小变化的关系进行标定，并将其大小变化的参数，以列表形式存入。

特定目标的外接矩形在第一个区域时的长宽分别为L₀和W₀，特定目标的外接矩形在第k个区域时的长宽分别为L_k和W_k，则：

k＝1，2，...，N_s-1。

步骤8.3、确定校正特定目标位置的搜索区域：

将步骤8.2得到的外接矩形

的长和宽分别增加δW和δL，得到的新的矩形区域，将其作为校正特定目标位置的搜索区域。δW与δL的取值根据监控目标的运动速度确定。对于人体目标，优选 $\mathrm{\&delta;L}=L_i^t/2.$

步骤8.4、校正特定目标位置：

根据索贝尔锐化算法和特定目标的边缘轮廓特征模板

在步骤8.3得到的搜索区域内进行模板匹配，将得到的相同特征点个数最多的区域，初步判断为该特定目标的当前位置，并计算此时特定目标质心位置为

步骤8.5、校正特定目标位置的正确性判断

根据步骤8.4得到的特定目标质心位置

计算其瞬时速率，当得到的瞬时速度与步骤7得到的

之差满足一预设值时，判定步骤8.4得到的校正的特定目标位置可信；否则，判定不可信，将步骤8.1得到的的质心位置

作为特定目标的质心位置；

更新特定目标平均速度，并标识出本帧中的特定目标为粘连状态，转入步骤4进行特定目标在下一帧的跟踪。

步骤9、分离状态时的特定目标跟踪：

特定目标在前一帧中的连通域为

有k个连通域与

重合，k≥1，根据索贝尔锐化算法计算该k个连通域内的边缘细节信息，使用特定目标的边缘轮廓特征模板

在该k个连通域中进行模板匹配，将得到的相同特征点个数最多的连通域

判断为该特定目标的当前位置；

计算连通域

的面积为当

与特定目标实际面积之差满足一预设值时，标示特定目标为单一状态，否则，标示为粘连状态；

计算特定目标的质心位置，更新特定目标平均速度，转入步骤4进行特定目标在下一帧的跟踪；

循环以上步骤，直至监控任务完成。

Claims (9)

1.一种基于视频的特定目标的跟踪方法，其特征在于，具体步骤如下：

步骤1、使用单高斯背景建模的方法，实时检测当前视频图像，并获得该当前帧视频图像中的多个目标连通域；

步骤2、将步骤1得到的多个目标连通域进行贴标签处理，并分别用外接矩形框标识出各目标连通域，其中，每个外接矩形框均用其左上角坐标(x_k0，y_k0)及右下角坐标(x_k1，y_k1)表示为{(x_k0，y_k0)，(x_k1，y_k1)}，k＝1，2，...，L，L为目标连通域的数量；

步骤3、选定特定目标在当前帧的连通域为

该特定目标的外接矩形框为

根据索贝尔锐化算法提取该特定目标的边缘轮廓特征模板

其中，Ω_O为特定目标的外接矩形区域；

步骤4、标识目标的相邻帧关系并定义目标的运动状态，判断特定目标的外接矩形框在相邻帧间是否存在重合，如有重合，则判定该特定目标在当前帧中存在，转向步骤5；如无重合，则判定该特定目标消失，返回步骤3重新指定特定目标；

步骤5、判别特定目标在相邻帧的运动状态变化状态，当特定目标在前一帧中为粘连状态时，则转入步骤6；当特定目标在前一帧和当前帧中，均为单一状态时，则转入步骤7；当特定目标在前一帧为单一状态，且当前帧中变为粘连状态时，转入步骤8；

步骤6、判断特定目标在当前帧是否发生分离，当判定特定目标在当前帧发生分离时，转入步骤9，否则，转入步骤8；

步骤7、单一状态下的特定目标跟踪：

计算特定目标在相邻帧之间运动速率，特定目标的单一状态维持了T_s帧，计算该特定目标在该T_s帧中的平均速度

并根据索贝尔锐化算法更新该特定目标的边缘轮廓特征模板后，转入步骤4进行特定目标在下一帧的跟踪；

步骤8、粘连状态时的特定目标跟踪：

步骤8.1、估算特定目标在当前帧的质心

步骤8.2、估算特定目标在当前帧的质心

所在的区域，预估其外接矩形为

步骤8.3、确定校正特定目标位置的搜索区域：

将步骤8.2得到的外接矩形的长和宽分别增加δW和δL，得到的新的矩形区域，将其作为校正特定目标位置的搜索区域；

步骤8.4、校正特定目标位置：

根据索贝尔锐化算法和特定目标的边缘轮廓特征模板

在步骤8.3得到的搜索区域内进行模板匹配，将得到的相同特征点个数最多的区域，初步判断为该特定目标的当前位置，并计算此时特定目标质心位置为

步骤8.5、校正特定目标位置的正确性判断

根据步骤8.4得到的特定目标质心位置

计算其瞬时速率，当得到的瞬时速度与步骤7得到的之差满足一预设值时，判定步骤8.4得到的校正的特定目标位置可信；否则，判定不可信，将步骤8.1得到的的质心位置作为特定目标的质心位置；

更新特定目标平均速度，并标识出本帧中的特定目标为粘连状态，转入步骤4进行特定目标在下一帧的跟踪；

步骤9、分离状态时的特定目标跟踪：

特定目标在前一帧中的连通域为

有k个连通域与

重合，k≥1，根据索贝尔锐化算法计算该k个连通域内的边缘细节信息，使用特定目标的边缘轮廓特征模板

在该k个连通域中进行模板匹配，将得到的相同特征点个数最多的连通域

判断为该特定目标的当前位置；

计算连通域

的面积为

当

与特定目标实际面积之差满足一预设值时，标示特定目标为单一状态，否则，标示为粘连状态；

计算特定目标的质心位置，更新特定目标平均速度，转入步骤4进行特定目标在下一帧的跟踪；

循环以上步骤，直至监控任务完成。

2.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤1的具体方法为：

步骤1.1、计算初始背景图像B₀：

视频图像大小为M×N，计算前T帧视频图像每一像素点的平均灰度值μ₀(x，y)及像素灰度的方差

建立初始背景图像B₀：

${\mathrm{\&mu;}}_0(x,y)=\frac{1}{T}\underset{t=0}{\overset{T-1}{\mathrm{\&Sigma;}}}{I}_t(x,y),$ x＝1，2，...，M，y＝1，2，...，N；

${\mathrm{\&sigma;}}_0^2(x,y)=\frac{1}{T}\underset{t=0}{\overset{T-1}{\mathrm{\&Sigma;}}}{[I_t(x,y)-{\mathrm{\&mu;}}_0(x,y)]}^2,$ x＝1，2，...，M，y＝1，2，...，N；

$B_0=[{\mathrm{\&mu;}}_0,{\mathrm{\&sigma;}}_0^2],$ x＝1，2，...，M，y＝1，2，...，N；

其中，I_t(x，y)表示当前帧图像中像素点(x，y)处的像素值，x＝1，2，...，M，y＝1，2，...，N，当前帧为第t帧；

步骤1.2、计算当前帧的背景图像B_t：

$B_t(x,y)=\left\{\begin{array}{ccc}(1-\mathrm{\&alpha;})\&CenterDot;B_{t-1}(x,y)+\mathrm{\&alpha;}\&CenterDot;I_t(x,y)& \mathrm{if}& f_t(x,y)=0\\ B_{t-1}(x,y)& \mathrm{if}& f_t(x,y)=1\end{array}\right.,$ x＝1，2，...，M，y＝1，2，...，N，

其中，α为背景更新系数，满足0＜α＜1；

步骤1.3、采用背景差分法获得当前帧中的多个目标连通域：

将当前帧图像I_t与背景图像B_t进行差分，并将差分图进行二值化，得到当前帧图像中的目标连通域f_t(x，y)：

$f_t(x,y)=\left\{\begin{array}{ccc}1& \mathrm{if}& |I_t(x,y)-B_t(x,y)|\&GreaterEqual;{\mathrm{Th}}_1\\ 0& \mathrm{if}& |I_t(x,y)-B_t(x,y)|<{\mathrm{Th}}_1\end{array}\right.,$ x＝1，2，...，M，y＝1，2，...，N；

其中，f_t(x，y)＝1时为前景点，f_t(x，y)＝0时为背景点；Th₁为分割阈值，Th₁取值范围为Th₁∈[30，50]。

3.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤3的具体方法为：

特定目标的边缘轮廓特征模板 $S_t(x,y)=\left\{\begin{array}{cc}1& {\mathrm{dI}}_t(x,y)\&GreaterEqual;{\mathrm{Th}}_S\\ 0& {\mathrm{dI}}_t(x,y)<{\mathrm{Th}}_S\end{array}\right.,$ (x，y)＝∈Ω_O，

其中，

dx(x，y)＝I_t(x+1，y-1)-I_t(x-1，y-1)+2I_t(x+1，y)-2I_t(x-1，y)+I_t(x+1，y+1)-I_t(x-1，y+1)，

dy(x，y)＝I_t(x-1，y+1)-I_t(x-1，y-1)+2I_t(x，y+1)-2I_t(x，y-1)+I_t(x+1，y+1)-I_t(x+1，y-1)，

${\mathrm{dI}}_t(x,y)=\sqrt{{\mathrm{dx}(x,y)}^2+\mathrm{dy}{(x,y)}^2};$

判断阈值

为Ω_O区域内的像素个数。

4.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤4中，相邻帧间的目标外接矩形的重合判别公式为：

${\mathrm{Lab}}_1(x,y)=\left\{\begin{array}{cc}1& f_{t-1}(x,y)+f_t(x,y)=2\\ 0& f_{t-1}(x,y)+f_t(x,y)<2\end{array}\right.,(x,y)=\&Element;{\mathrm{\&Omega;}}_O,$

其中，Lab₁(x，y)为重合标记，1表示重合，0表示不重合；

统计Ω_O中，Lab₁(x，y)＝1的像素个数N_L1，N_L1＝0时，无重合，则判定该特定目标消失；否则，有重合，则判定该特定目标在当前帧中存在。

5.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤5的具体方法为：

前一帧中前景目标有n个连通域，特定目标为第i个连通域，记为

该连通域面积大小为

当前帧中特定目标有m个连通域，特定目标为第j个连通域，极为

该连通域其面积大小为

按照下式对特定目标状态进行标识：

${\mathrm{Lab}}_2=\left\{\begin{array}{cc}0& |\frac{s_j^t}{s_i^{t-1}}-1|\&le;{\mathrm{Th}}_C\\ 1& |\frac{s_j^t}{s_i^{t-1}}-1|>{\mathrm{Th}}_C\end{array}\right.,$

其中，粘连状态标记值Lab₂＝1时则特定目标发生粘连，Lab₂＝0则表示特点目标仍处于单一状态；粘连发生的阈值Th_C，取值范围为Th_C∈(0.5，1)。

6.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤6的具体方法为：

计算特定目标在当前帧的连通域有k个连通域与其在前一帧的连通域

重合，k≥1，当该k个连通域的面积均小于

时，次特定目标从粘连状态转为分离状态。

7.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤7中，该特定目标在T_s中的平均速度

${\stackrel{\&OverBar;}{v}}_x=\frac{1}{T_s}\&CenterDot;\underset{k=t-T_s-1}{\overset{t}{\mathrm{\&Sigma;}}}{v}_x^k,$ ${\stackrel{\&OverBar;}{v}}_y=\frac{1}{T_s}\&CenterDot;\underset{k=t-T_s-1}{\overset{t}{\mathrm{\&Sigma;}}}{v}_y^k;$

特定目标的瞬时速度计算公式为：

${v_x}^t=x_c^t-x_c^{t-1},$ ${v_y}^t=y_c^t-y_c^{t-1},$

其中，

分别为特定目标在前一帧和当前帧中的质心位置；

特定目标质心的计算公式为：

$x_c=\frac{1}{N_o}\&CenterDot;\underset{(x,y)\&Element;o}{\mathrm{\&Sigma;}}x,$ $y_c=\frac{1}{N_o}\&CenterDot;\underset{(x,y)\&Element;o}{\mathrm{\&Sigma;}}y,$

其中，o为目标所在的连通域，(x，y)∈o为该连通域中所有像素点的坐标，N_o为该连通域中像素点的个数。

8.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤8中，

步骤8.1的具体方法为：

特定目标在前一帧的质心位置为

且瞬时速度为

则估算其在当前帧的质心位置

${\hat{x}}_c^t={v_x}^{t-1}+x_c^{t-1},$ ${\hat{y}}_c^t={v_y}^{t-1}+y_c^{t-1};$

步骤8.2的具体方法为：

定义步骤8.1得到的质心

位于外接矩形的中心，根据特定目标在前一帧中的外接矩形长宽分别为

以及视频画面中的目标外接矩形在长宽两个方向上变化的标定系数α_Lk和α_Wk，则估算特定目标在当前帧中的外接矩形的对角坐标

为：

${\hat{x}}_{j0}^t={{\hat{x}}_c}^t-0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{LK}}{L}_i^{t-1},$ ${\hat{x}}_{j1}^t={{\hat{x}}_c}^t+0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{LK}}{L}_i^{t-1};$

${\hat{y}}_{j0}^t={{\hat{y}}_c}^t-0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{WK}}{W}_i^{t-1},$ ${\hat{y}}_{j1}^t={{\hat{y}}_c}^t+0.5\&CenterDot;{\mathrm{\&alpha;}}_{\mathrm{WK}}{W}_i^{t-1}.$

9.按照权利要求8所述的基于视频的特定目标的跟踪方法，其特征在于，步骤8.2中，视频画面中的目标外接矩形在长宽两个方向上变化的标定系数α_Lk和α_Wk的计算方法为：

将视频图像从上到下以水平分割线均匀划分成N_s个区域，并以此从下到上依次命名为1，2，...N_S，特定目标的外接矩形在第一个区域时的长宽分别为L₀和W₀，特定目标的外接矩形在第k个区域时的长宽分别为L_k和W_k，则： ${\mathrm{\&alpha;}}_{\mathrm{Lk}}=\frac{L_k}{L_0},$ ${\mathrm{\&alpha;}}_{\mathrm{Wk}}=\frac{W_k}{W_0},$ k＝1，2，...，N_s-1。