CN106204586A - 一种基于跟踪的复杂场景下的运动目标检测方法 - Google Patents

Abstract

本发明提出了一种基于跟踪的复杂场景下的运动目标检测方法，所述方法包含如下步骤：对输入的视频帧，采用混合高斯模型进行背景建模并进行模型更新，获取初始前景像素点。基于LBP纹理特征对光照的不敏感性，分别将当前前景像素和相对应的背景像素与邻域像素进行二值化比较，实现了背景模型的自适应更新，很好的适应光照的突然变化，获得运动目标。再对运动目标进行跟踪，获取目标的轨迹信息，根据轨迹信息计算目标偏离初始位置的距离和运动方向改变的次数，以便去除树叶摆动的影响。最后再通过计算变异系数去除大量孤立的小噪声或者伪目标，获取最终运动目标。本发明可有效克服如晃动的树叶、光照突变等复杂背景的影响，具有良好的实时性和适应环境变化的能力。

Description

一种基于跟踪的复杂场景下的运动目标检测方法

技术领域

本发明涉及智能视频监控技术领域，具体涉及一种基于跟踪的复杂场景下的运动目标检测方法。

背景技术

随着公共安全建设的加强以及人们安全意识的提高，智能视频监控开始受到人们的关注与青睐。这对安全防范系统、视频监控系统提出了更高的要求。

智能视频监控系统是通过对摄像机拍录的视频进行自动分析来对动态场景中的目标进行检测、跟踪、识别，并在此基础上分析和判断目标的行为。做到即完成日常的监控又能在异常情况发生时及时做出反应，解决传统监控工作量大、效率低、反应速度慢等问题。

运动目标检测是智能视频监控系统中最重要的组成部分，其检测的精确度对后续目标的跟踪、识别、行为分析等产生直接影响。目前，最常用的运动检测方法包括：光流法、帧间差分法、背景差分法等。背景差分法是通过对当前图像和背景图像差分来检测运动目标。其关键是构造一个鲁棒性的背景图像。与帧间差分法和光流法相比较，背景差分法由于建模不需要先验知识、运算速度快、目标检测精准等优点，而成为研究的焦点。现有技术在光照突变和树叶摇晃的运动目标检测过程中，背景更新不及时，导致运动目标检测结果不好。

发明内容

本发明的目的是要解决轻微摇动树叶和光照突变的技术问题，为此，本发明提出一种基于跟踪的复杂场景下的运动目标检测方法。

为了实现所述目的，本发明的技术方案为：

一种基于跟踪的复杂场景下的运动目标检测方法，该方法能够去除光照、树叶抖动及孤立的小噪声或者伪目标，具体步骤如下：

步骤1：对输入的视频帧，采用混合高斯模型进行背景建模并进行模型更新，获取初始前景像素点。

步骤2：分别将当前前景像素和相对应的背景像素与邻域像素进行二值化比较，实现了背景模型的自适应更新，获得运动目标。

步骤3：对运动目标进行跟踪，获取目标的轨迹信息，并根据轨迹信息计算目标偏离初始位置的距离和运动方向改变的次数。

步骤4：计算运动目标和其相对应的背景之间的变异系数，再次判断去除孤立的小噪声或者伪目标。

上述方法中，步骤2能够去除光照突变影响，其过程如下：

使用LBP分别提取当前前景像素和相对应的背景像素的纹理模式；

假设t时刻位置c处(x_t,c,y_t,c)的像素为g_t,c，对应的八个邻域像素为g_t,p，p＝0，…，7，将每个邻域像素与该像素进行二值化比较，得到一个八位的二进制串；统计当前前景像素的二进制串和背景像素二进制串对应位置相等的个数Num，若Num>6，且该像素点与背景像素点的差值的绝对值小于T，则判断该像素点为背景点，否则该像素点为前景点，这样不仅实现了背景模型的更新，而且还获得了运动目标，其中T是根据场景人为设定的阈值；

${\mathrm{LBP}}^t(x_{t,c},y_{t,c})={\mathrm{\Σ}}_{p=0}^{7}s(g_{t,p}-g_{t,c})2^p$

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

LBP^t(x_t,c,y_t,c)表示位置c处(x_t,c,y_t,c)与其周围像素形成的一种纹理模式

上述步骤3，根据轨迹信息计算目标偏离初始位置的距离和运动方向改变的次数的过程如下：

假设目标运动轨迹为(x₁,y₁)(x₂,y₂)...(x_t-1,y_t-1)(x_t,y_t)，则在t时刻目标位置与初始位置的距离为在1到t时刻内目标偏离初始位置最大距离为d_max＝max(d₁,d₂,…,d_t)；在t分别取2,3，…,t-1时，不等式(d_t-1-d_t)(d_t-d_t+1)＜0成立的次数为f。

其中d_max用来描述树叶摆动的幅度，f用来描述树叶摆动的频次。若d_max小于D或者f大于N，则判断该目标是因为树叶摆动引起，属于背景；否则判断该目标为运动目标，D和N为人为设定的阈值。

步骤4中，运动目标和其相对应的背景之间的变异系数的计算过程如下：

假设视频序列在时刻t的输入图像为初始背景帧为利用当前帧与背景帧的分量差值建立噪声模型泊松分布，并统计其直方图Hist[d]，对所得的直方图计算相关方差Var[d]；最后，对所得的相关方差进行排序，寻找出最大值，即为变异系数λ；当变异系数λ大于1时，则判定场景发生突变；

λ＝max(Var[d])/C d＝0,1,2...254

其中d为当前帧像素和背景帧像素之间的亮度变化，Var[]为相关方差，C为常量。

与现有的方法相比，本发明提出对输入的视频帧，采用混合高斯模型进行背景建模并进行模型更新，获取初始前景像素点。基于LBP纹理特征对光照的不敏感性，分别将当前前景像素和相对应的背景像素与邻域像素进行二值化比较，实现了背景模型的自适应更新，很好的适应光照的突然变化，获得运动目标。再对运动目标进行跟踪，获取目标的轨迹信息，根据轨迹信息计算目标偏离初始位置的距离和运动方向改变的次数，以便去除树叶抖动的影响。最后再通过计算变异系数去除大量孤立的小噪声或者伪目标，获取最终运动目标。该方法有效的解决了运动目标检测易受到复杂树叶扰动和光照变化等的影响，由于局部二值模式和目标的运行速度计算都比较简单，所以该算法同时具有很高的实时性。

附图说明

图1是本发明的用于运动目标前景检测方法的流程图。

图2(a)是原始视频帧；图2(b)是混合高斯模型提取的背景；图2(c)是混合高斯模型提取的前景；图2(d)是本发明提取的前景。

具体实施方式

为使本发明的目的、技术方案和优点更加明确清晰，以下结合具体实例，并参考附图，对本发明进一步详细说明。

本发明研制开发的一种基于跟踪的复杂场景下的运动目标检测方法，是在微机windows 7环境下，采用面向对象的设计方法和软件工程规范，用C++语言实现。

图1是本发明所述方法的具体流程图。下面以图1为例说明本发明中一些具体的实现流程。本发明的方法是一种基于跟踪的复杂场景下的运动目标检测方法，其具体步骤为：

步骤1：对输入的视频序列利用混合高斯背景建模，获取初始运动目标。

对t时刻的每个像素点用变量X_t表示，其概率密度函数可用如下K个高斯函数表示：

$p\left(X_t\right)=\underset{i=1}{\overset{K}{\&Sigma;}}{\mathrm{\&omega;}}_{i,t}.\mathrm{\&eta;}(X_t,{\mathrm{\&mu;}}_{i,t},{\mathrm{\&Psi;}}_{i,t})---\left(1\right)$

公式(1)中，ω_i,t为第i个高斯分布在t时刻的权值，且有η(X_t,μ_i,t,Ψ_i,t)是t时刻的第i个高斯分布函数，μ_i,t和Ψ_i,t分别代表均值和协方差，表达式为：

$\mathrm{\&eta;}(X_t,u_{i,t},{\mathrm{\&psi;}}_{i,t})=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{n}{2}}|{\mathrm{\&psi;}}_{i,t}{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(X_t-{\mathrm{\&mu;}}_{i,t})}^T{{\mathrm{\&psi;}}^{-1}}_{i,t}(X_t-{\mathrm{\&mu;}}_{i,t})}---\left(2\right)$

公式(2)中，i＝1,2,...,K，式中，n表示X_t的维数。模型中假设R，G，B三个通道互相独立，并具有相同的方差，则有

ψ_i,t＝σ_i ²I (3)

公式(3)中，σ_i ²表示方差，I表示单位矩阵。

对于新帧图像像素值X_t与它K个高斯分布进行匹配，如果K个高斯分布中有某个在M倍标准差范围内，即|X_t-μ_t-1|＜M*σ_i(M一般取2.5～3.5)，则X_t与该高斯分布匹配，该像素点为背景点，如果X_t与K个高斯分布都不匹配，则认为该像素点为前景点，图2(b)为混合高斯背景建模下提取的背景。对与高斯分布匹配的像素值的参数按照下面公式进行更新：

ω_k,t＝(1-α)ω_k,t-1+αM_k,t (4)

μ_t＝(1-ρ)μ_t-1+ρX_t (5)

${\mathrm{\&sigma;}}_t^2=(1-\mathrm{\&rho;}){\mathrm{\&sigma;}}_{t-1}^2+\mathrm{\&rho;}{(X_t-{\mathrm{\&mu;}}_t)}^T(X_t-{\mathrm{\&mu;}}_t)---\left(6\right)$

公式(4)～(6)中，ρ是一个更新率，它决定了分布模型更新的快慢。α是一个学习率，M_k,t的取值依匹配情况而定，对与像素当前值匹配的模型取1，其余取0。

$\mathrm{\&rho;}=\mathrm{\&lambda;}\frac{\mathrm{\&alpha;}}{w_{i,t}}$

其中，w_i,t为对应高斯分布的当前权值，λ为变异系数，可依据前景运动目标变化情况自适应更新。这样可以针对不同区域，自适应的改变更新率的大小。

对于所有高斯分布中没有一个与像素当前值相匹配，则创建一个新的高斯分布取代现有K个高斯分布中ω_t/σ_t值最小的模型。在权值更新完后，要对同一混合高斯模型中的各分布的权值按公式(7)进行归一化处理。

${\mathrm{\&omega;}}_{i,t}=\frac{{\mathrm{\&omega;}}_{i,t}}{\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&omega;}}_{j,t}},i=1,2,\mathrm{...},K---\left(7\right)$

通过参数更新以后，对K个高斯分布按ω/σ的比值降序排列，然后取满足下式的前b个分布组成背景模型：

$B=\arg min(\underset{k=1}{\overset{b}{\&Sigma;}}{\mathrm{\&omega;}}_K>T)---\left(8\right)$

其中，T为背景选取的阈值，T调整描述背景的高斯分布的个数，如果T越大，则对背景描述的高斯分布则越多，但这样会带来更多的内存开销和更大的计算量。

高斯分布个数的确定。初始化时，给场景中每个像素设置一个高斯模型；随着场景的变化，当某个像素的混合高斯模型不能与当前像素值匹配，且该像素的高斯模型个数没有达到设定的最大值，则为该像素自动增加一个高斯模型，均值为当前像素值，否则用新的高斯模型替换排在最后的高斯模型；在每次模型更新完成后，判断每个像素对应的高斯模型中的最后一个高斯成分是否满足式(9)，如果不满足则删除。

步骤2：使用局部二值模式分别提取目标的前景和对应背景的纹理模式，具体是：

假设t时刻像素c处(x_t,c,y_t,c)的像素为g_t,c对应的八个邻域像素g_t,p，p＝0，…，7，将每个邻域像素与该像素进行二值化比较，得到一个八位的二进制串。统计当前前景像素的二进制串和背景像素二进制串对应位置相等的个数Num，若Num>6,且该像素点与背景像素点的差值的绝对值小于T，则判断该像素点为背景点，否则该像素点为前景点，这样不仅实现了背景模型的更新，而且还获得了运动目标，其中T是根据场景人为设定的阈值。

${\mathrm{LBP}}^t(x_{t,c},y_{t,c})={\mathrm{\&Sigma;}}_{p=0}^{7}s(g_{t,p}-g_{t,c})2^p$

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

LBP^t(x_t,c,y_t,c)刻画了像素(x_t,c,y_t,c)与其周围像素形成的一种纹理模式。

假设目标的前景图片对应的二进制串为f₁f₂...f_p(p＝1,2,...,8)，背景图片对应的二进制串为b₁b₂...b_p(p＝1,2,...,8)。统计当前前景像素的二进制串和背景像素二进制串对应位置相等的个数Num，若Num>6，且该像素点与背景像素点的差值的绝对值小于T，则判断该像素点为背景点，否则该像素点为前景点。其中T是根据场景人为设定的阈值。

步骤3.对步骤2获得的运动目标进行跟踪，利用跟踪轨迹计算目标偏离初始位置的距离和运动方向改变的次数，具体是：

假设目标运动轨迹为(x₁,y₁)(x₂,y₂)...(x_t-1,y_t-1)(x_t,y_t)，则在t时刻目标位置与初始位置的距离为在1到t时刻内目标偏离初始位置最大距离为d_max＝max(d₁,d₂,…,d_t)；在t分别取2,3，…,t-1时，不等式(d_t-1-d_t)(d_t-d_t+1)＜0成立的次数为f。

其中d_max用来描述树叶摆动的幅度，f用来描述树叶摆动的频次。若d_max小于D或者f大于N，则判断该目标是因为树叶摆动引起，属于背景；否则判断该目标为运动目标，D和N为人为设定的阈值。

步骤4：对步骤3获得的运动目标计算变异系数，具体是：

假设视频序列在时刻t的输入图像为初始背景帧为利用当前帧与背景帧的分量差值建立噪声模型泊松分布，并统计其直方图Hist[d]，对所得的直方图计算相关方差Var[d]；最后，对所得的相关方差进行排序，寻找出最大值，即为变异系数λ；当变异系数λ大于1时，则判定场景发生突变；

λ＝max(Var[d])/C d＝0,1,2...254

其中d为当前帧像素和背景帧像素之间的亮度变化，Var[]为相关方差，C为常量。

Var[d]＝E{[X_d-E(X_d)]²}

＝E(x²)-(E(x))²

＝SQ_d/C_d-(S_d/C_d)²

${\mathrm{SQ}}_d=\underset{d}{\overset{255}{\&Sigma;}}d*d*Hist\&lsqb;d\&rsqb;,d=0,1,\mathrm{2...254}$

$S_d=\underset{d}{\overset{255}{\&Sigma;}}d*Hist\&lsqb;d\&rsqb;,d=0,1,2,\mathrm{...},254$

$P_d=\underset{d}{\overset{255}{\&Sigma;}}Hist\&lsqb;d\&rsqb;,d=0,1,\mathrm{2...254}$

d＝|I_in(i,j)-I_bg(i,j)|

$Hist\&lsqb;d\&rsqb;=\underset{i=0}{\overset{H}{\&Sigma;}}\underset{j=0}{\overset{W}{\&Sigma;}}d$

I_in＝(R_in,G_in,B_in)为输入图像像素向量，I_bg＝(R_bg,G_bg,B_bg)为背景图像像素向量。(i,j)为图像中每个像素的坐标。H和W分别为图像的高和宽。若P_d＝0，则C_d＝1，否则，C_d＝P_d。

若变异系数大于Tλ，则判断该目标为最终运动目标，否则判断该目标为其他干扰，属于背景。其中Tλ为变异系数阈值。图2(c)为混合高斯模型提取的前景，图2(d)为本发明提取的前景。从图2(c)、(d)可以看出，本发明方法能够有效去除大量的伪目标，克服树叶摆动的影响。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于跟踪的复杂场景下的运动目标检测方法，其特征在于，具体包括步骤如下：

步骤1：对输入的视频帧，采用混合高斯模型进行背景建模并进行模型更新，获取初始前景像素点；

步骤2：分别将当前前景像素和相对应的背景像素与邻域像素进行二值化比较，实现了背景模型的自适应更新，获得运动目标；

步骤3：对运动目标进行跟踪，获取目标的轨迹信息，并根据轨迹信息计算目标偏离初始位置的距离和运动方向改变的次数；

步骤4：计算运动目标和其相对应的背景之间的变异系数，再次判断去除孤立的小噪声或者伪目标。

2.根据权利要求1所述的一种基于跟踪的复杂场景下的运动目标检测方法，其特征在于，步骤2中的实现过程如下：

使用LBP分别提取当前前景像素和相对应的背景像素的纹理模式；

假设t时刻位置c处(x_t,c,y_t,c)的像素为g_t,c，对应的八个邻域像素为g_t,p，p＝0，…，7，将每个邻域像素与该像素进行二值化比较，得到一个八位的二进制串；统计当前前景像素的二进制串和背景像素二进制串对应位置相等的个数Num，若Num>6，且该像素点与背景像素点的差值的绝对值小于T，则判断该像素点为背景点，否则该像素点为前景点，这样不仅实现了背景模型的更新，而且还获得了运动目标，其中T是根据场景人为设定的阈值。

${\mathrm{LBP}}^t(x_{t,c},y_{t,c})={\mathrm{\&Sigma;}}_{p=0}^{7}s(g_{t,p}-g_{t,c})2^p$

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

LBP^t(x_t,c,y_t,c)表示位置c处(x_t,c,y_t,c)与其周围像素形成的一种纹理模式。

3.根据权利要求1所述的一种基于跟踪的复杂场景下的运动目标检测方法，其特征在于，步骤3根据轨迹信息计算目标偏离初始位置的距离和运动方向改变的次数的过程如下：

假设目标运动轨迹为(x₁,y₁)(x₂,y₂)...(x_t-1,y_t-1)(x_t,y_t)，则在t时刻目标位置与初始位置的距离为在1到t时刻内目标偏离初始位置最大距离为d_max＝max(d₁,d₂,…,d_t)；在t分别取2,3，…,t-1时，不等式(d_t-1-d_t)(d_t-d_t+1)＜0成立的次数为f。

其中d_max用来描述树叶摆动的幅度，f用来描述树叶摆动的频次。若d_max小于D或者f大于N，则判断该目标是因为树叶摆动引起，属于背景；否则判断该目标为运动目标，D和N为人为设定的阈值。

4.根据权利要求1所述的一种基于跟踪的复杂场景下的运动目标检测方法，其特征在于，步骤4中，运动目标和其相对应的背景之间的变异系数的计算过程如下：

假设视频序列在时刻t的输入图像为初始背景帧为利用当前帧与背景帧的分量差值建立噪声模型泊松分布，并统计其直方图Hist[d]，对所得的直方图计算相关方差Var[d]；最后，对所得的相关方差进行排序，寻找出最大值，即为变异系数λ；当变异系数λ大于1时，则判定场景发生突变；

λ＝max(Var[d])/C d＝0,1,2...254

其中d为当前帧像素和背景帧像素之间的亮度变化，Var[]为相关方差，C为常量。