CN101609552A - 有限复杂背景下视频目标的特征检测方法 - Google Patents

Abstract

本发明通过研究基于颜色的背景模型和基于梯度的背景模型，提供一种有限复杂背景下视频目标的特征检测方法，包括以下步骤：一、取背景场景图，对背景样本图像进行不断地训练得到混合高斯分布的基于颜色的背景模型；如果背景模型是混合高斯分布，需要计算各种组合的梯度分布函数。某个像素如果属于任何一个梯度分布，就被认为符合梯度背景模型；二、对每一幅待测图像，计算它梯度分布函数，建立基于颜色梯度背景模型；三、根据周围环境的变化，如光照、风强度等，更新高斯分布自身的参数和各高斯分布的权重，进一步更新基于颜色和基于颜色梯度的模型；与现有技术相比，本发明具有防背景扰动、适应外界光照的变化的特点。

Description

有限复杂背景下视频目标的特征检测方法

技术领域

本发明属于视频监控技术领域，涉及一种有限复杂背景下视频目标的特征检测方法。

背景技术

运动目标检测处于智能视频监控系统的最底层，是各种后续高级处理如目标跟踪、目标分类、行为理解的基础。智能视频监控系统是用一个静态的摄像机实时监控固定区域，其目的是从静态背景中分割出动态目标，并对其进行分类、跟踪等操作。对于静态摄像机，背景建模是解决实时分割动态目标的有效方法。

一个有效的背景模型应能克服以下几种在实际应用中常常存在的问题：

(1)背景模型的提取：背景图像的获取最简单的方法是在场景没有运动目标的情况下进行，但在某些应用场合无法满足这种要求。

(2)背景的扰动：背景中可以含有轻微扰动的对象，如树枝、树叶的摇动，扰动部分不应该被看作是前景运动目标。

(3)外界光线的变化：一天中不同时间段光线、天气等的变化以及室内开灯、关灯等都会对检测结果产生影响。

(4)背景的更新：由于光照或其它条件的变化会使背景图像发生变化、需要及时对背景模型进行更新，以适应这种变化。

(5)阴影的影响：通常前景目标的阴影也被检测为运动目标的一部分，这样将影响对运动日标的进一步处理和分析。

以往的方法或者不能解决以上所有问题，或者是通过构造复杂的模型来解决，计算量大，对系统的要求比较高，有时可能无法满足实时处理的要求。有限复杂背景下视频目标的特征检测方法是以Stauffe提出的混合高斯模型为蓝本，将基于颜色的背景模型和基于梯度的背景模型结合起来，给出了一个能够适应背景场景轻微扰动、克服噪声和环境光照影响的、实时更新的、鲁棒的目标检测算法。

发明内容

本发明的主要目的在于克服现有技术中的不足，通过研究基于颜色的背景模型和基于梯度的背景模型，提供一种有限复杂背景下视频目标的特征检测方法。

有限复杂背景下视频目标的特征检测方法主要是通过构建一个基于颜色和颜色梯度的背景模型，解决目前视频监控系统中由于背景图像的扰动、光照变化等的影响，而导致系统无法满足实时处理的要求。包括以下步骤：

一、取背景场景图，对背景样本图像进行不断地训练得到混合高斯分布的基于颜色的背景模型；如果背景模型是混合高斯分布，需要计算各种组合的梯度分布函数；某个像素如果属于任何一个梯度分布，就被认为符合梯度背景模型；

二、对每一幅待测图像，计算它梯度分布函数，建立基于颜色梯度背景模型；

三、根据周围环境的变化，如光照、风强度等，更新高斯分布自身的参数和各高斯分布的权重，进一步更新基于颜色和基于颜色梯度的模型；

其中：

基于颜色的背景模型是采用混合高斯分布来描述的，设用来描述每个像素点(u，V)颜色的高斯分布共K个，K的值通常取3-7个，则像素z(u，v)的概率函数可用式(1)表示，

$P\left(z_w\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,\mathrm{uv}}N\left(z_{\mathrm{uv}}\right|{\mathrm{\μ}}_{j,\mathrm{uv}},{\mathrm{\Σ}}_{j,\mathrm{uv}})---\left(1\right)$

其中ω_j，uv是第j个高斯分布的权值μ_j，uv，∑_j，uv分别为第j个高斯分布的均值和协方差矩阵；对彩色图像进行建模，且R，G，B三通道是相互独立的，μ_j，uv、∑_j，uv可写为如下形式：

${\mathrm{\μ}}_{j,\mathrm{uv}}=({\mathrm{\μ}}_{j,\mathrm{uv}}^R,{\mathrm{\μ}}_{j,\mathrm{uv}}^G,{\mathrm{\μ}}_{j,\mathrm{uv}}^B)$

${\mathrm{\Σ}}_{j,\mathrm{uv}}=\mathrm{diag}({\left({\mathrm{\σ}}_{j,\mathrm{uv}}^R\right)}^2,{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^G\right)}^2,{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^B\right)}^2)$

各高斯分布按照优先级高低排列，优先级Pj计算如下：

$p_j={\mathrm{\ω}}_{j,\mathrm{uv}}/\sqrt{{(R_{j,\mathrm{uv}}-{\mathrm{\μ}}_{j,\mathrm{uv}}^R)}^2+{(G_{j,\mathrm{uv}}-{\mathrm{\μ}}_{j,\mathrm{uv}}^G)}^2+{(B_{j,\mathrm{uv}}-{\mathrm{\μ}}_{j,\mathrm{uv}}^B)}^2}$

基于颜色梯度的背景模型对光照的变化非常敏感，而颜色梯度相对来说对光照变化不太敏感，把颜色梯度与颜色信息结合起来一起使用，建立有效而鲁棒的背景模型；用颜色灰度值g的变化表示颜色梯度；

因为 $g_{j,\mathrm{uv}}^{\left(t\right)}={\mathrm{\β}}_{1}R+{\mathrm{\β}}_{2}G+{\mathrm{\β}}_{3}B$

所以 $g_{j,\mathrm{uv}}^{\left(t\right)}~N\left({\mathrm{\μ}}_{g,j,\mathrm{uv}}{\left({\mathrm{\σ}}_{g,j,\mathrm{uv}}\right)}^2\right)$

其中 ${\mathrm{\μ}}_{g,j,\mathrm{uv}}={\mathrm{\β}}_1{\mathrm{\μ}}_{j,\mathrm{uv}}^R+{\mathrm{\β}}_2{\mathrm{\μ}}_{j,\mathrm{uv}}^G+{\mathrm{\β}}_3{\mathrm{\μ}}_{j,\mathrm{uv}}^B$

${\mathrm{\σ}}_{g,j,\mathrm{uv}}^2={\mathrm{\β}}_1^2{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^R\right)}^2+{\mathrm{\β}}_2^2{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^G\right)}^2+{\mathrm{\β}}_3^2{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^B\right)}^2$

f_j，x＝g_j，u+1，v-g_j，u，v

f_j，y＝g_j，u，v+1-g_j，u，v

可得 $f_{j,x}~N\left({\mathrm{\μ}}_{j,f_x,}{\left({\mathrm{\σ}}_{j,f_x}\right)}^2\right)$

$f_{j,y}~N\left({\mathrm{\μ}}_{j,f_y,}{\left({\mathrm{\σ}}_{j,f_y}\right)}^2\right)$

其中： ${\mathrm{\μ}}_{j,f_x}={\mathrm{\μ}}_{g,j,u+1,v}-{\mathrm{\μ}}_{g,j,u,v}$

${\mathrm{\μ}}_{j,f_y}={\mathrm{\μ}}_{g,j,u,v+1}-{\mathrm{\μ}}_{g,j,u,v}$

${\left({\mathrm{\σ}}_{j,f_x}\right)}^2={\mathrm{\σ}}_{g,j,u+1,v}^2+{\mathrm{\σ}}_{g,j,u,v}^2$

${\left({\mathrm{\σ}}_{j,f_x}\right)}^2={\mathrm{\σ}}_{g,j,u,v+1}^2+{\mathrm{\σ}}_{g,j,u,v}^2$

用式 $\mathrm{\Δ}=\sqrt{{f_{j,x}}^2+{f_{j,y}}^2}$ 表示颜色梯度；用 ${\mathrm{\Δ}}_d=\mathrm{ar}\tan \frac{f_{j,y}}{f_{j,x}}$ 表示梯度方向；得到颜色梯度的分布[Δ_m，Δ_d]

$F({\mathrm{\Δ}}_m,{\mathrm{\Δ}}_d)=\frac{{\mathrm{\Δ}}_m}{2\mathrm{\π}{\mathrm{\σ}}_{j,\mathrm{fx}}{\mathrm{\σ}}_{{\mathrm{jf}}_y}\sqrt{1-p^2}}\exp \left(\frac{a}{2(1-p^2)}\right)$

其中

$a={\left(\frac{{\mathrm{\Δ}}_m\cos {\mathrm{\Δ}}_d-{\mathrm{\μ}}_{j,f_x}}{{\mathrm{\σ}}_{j{f}_x}}\right)}^2-2\mathrm{\ρ}\left(\frac{{\mathrm{\Δ}}_m\cos {\mathrm{\Δ}}_d-{\mathrm{\μ}}_{j,f_y}}{{\mathrm{\σ}}_{j{f}_x}}\right)\left(\frac{{\mathrm{\Δ}}_m\sin {\mathrm{\Δ}}_d-{\mathrm{\μ}}_{j,f_y}}{{\mathrm{\σ}}_{j{f}_y}}\right)+{\left(\frac{{\mathrm{\Δ}}_m\sin {\mathrm{\Δ}}_d-{\mathrm{\μ}}_{j,f_y}}{{\mathrm{\σ}}_{j{f}_y}}\right)}^2$

$\mathrm{\ρ}=\frac{{\mathrm{\σ}}_{j,\mathrm{uv}}^2}{{\mathrm{\σ}}_{j,f_x}{\mathrm{\σ}}_{j,f_y}}$

所有上述分布参数都可以由基于颜色背景模型中的均值和方差计算而得；对每一幅待测图像，计算它的梯度值、梯度方向和梯度矢量的概率；如果概率大于Tg，属于背景，否则属于前景。

与现有技术相比，本发明的有益效果是：

1、防背景扰动。有限复杂背景下视频目标的特征检测方法在背景场景有微小的摆动的情况下，能通过基于颜色背景模型的实时更新以适应变化的环境；

2、适应外界光照的变化。限复杂背景下视频目标的特征检测方法能适用于光照突变的情况。

附图说明

图1是本发明背景模型学习过程原理示意图；

图2是本发明检测方法实验效果示意图；

图3是本发明具体实施例中以颜色混合高斯背景模型中权值最大的高斯分布的均值重构的背景图像示意图；

图4是本发明具体实施例中环境光照发生了突变的待检测图像示意图；

图5是本发明具体实施例中基于颜色混合高斯背景模型分割结果，受到光照变化的影响分割出亮斑和其它一些属于背景的目标后的示意图；

图6是本发明具体实施例中理想的目标检测结果的示意图。

具体实施方式

下面结合附图对本发明进行详细说明。

(1)取背景场景图，将每个像素与该像素的已有的k(k＜K)个高斯模型相比较，其中K是用来描述每个像素点(u，V)颜色的高斯分布的个数，K的值通常取3-7个。若满足|z-μ_j，uv|＜2.5σ，则调整第j个高斯参数和权值。若没有满足的，且k＜K，增加一个高斯模型；若k＝K，用新的高斯分布代替优先级最低的高斯分布。新的高斯分布取z的值为均值、赋予较大的方差和较小的权值。用这个背景样本图像不断地训练，最终得到混合高斯分布的背景模型。其中像素z(u，v)的概率函数可用公式(1)表示，各高斯分布按照优先级高低排列，优先级P_j按照公式(2)计算。

(2)对每一幅待测图像，计算它的梯度值、梯度方向和梯度矢量的概率。建立梯度分布函数，其分布参数都可以由步骤(1)基于颜色背景模型中的均值和方差计算而得。根据每个像素的梯度分布函数情况建立基于颜色梯度背景模型。其中颜色梯度值用公式 $\mathrm{\Δ}=\sqrt{{f_{j,x}}^2+{f_{j,y}}^2}$ 计算，梯度方向用公式 ${\mathrm{\Δ}}_d=\mathrm{ar}\tan \frac{f_{j,y}}{f_{j,x}}$ 计算，梯度分布函数由公式(3)计算。

(3)根据周围环境的变化，如光照、风强度等，更新高斯分布自身的参数和各高斯分布的权重，进一步更新基于颜色和基于颜色梯度的模型。

附图2-6所示为本发明具体应用实施例，图2是以颜色混合高斯背景模型中权值最大的高斯分布的均值重构的背景图像。在为背景建模提供的图像库中，没有含高亮光源的图像。在光照突变的情况下，基于颜色的混合高斯模型不能有效地工作。图3是一束强光源打在墙上，环境光照发生了突变的待检测图像。图4是基于颜色混合高斯背景模型分割结果，受到光照变化的影响分割出亮斑和其它一些属于背景的目标。图5是基于颜色梯度的背景模型的分割结果，没有受光照变化的影响，但分割结果含有一些伪前景点。图6是将基于颜色和基于颜色梯度的背景模型结合起来使用，得到了理想的目标检测结果。

Claims (1)

1、一种有限复杂背景下视频目标的特征检测方法，其特征在于，包括以下步骤：

一、取背景场景图，对背景样本图像进行不断地训练得到混合高斯分布的基于颜色的背景模型；如果背景模型是混合高斯分布，需要计算各种组合的梯度分布函数，某个像素如果属于任何一个梯度分布，就被认为符合梯度背景模型；

二、对每一幅待测图像，计算它梯度分布函数，建立基于颜色梯度背景模型；

三、根据周围环境的变化，如光照、风强度等，更新高斯分布自身的参数和各高斯分布的权重，进一步更新基于颜色和基于颜色梯度的模型；

其中：

基于颜色的背景模型是采用混合高斯分布来描述的，设用来描述每个像素点(u，V)颜色的高斯分布共K个，K的值通常取3-7个，则像素z(u，v)的概率函数可用式(1)表示，

$P\left(z_w\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,\mathrm{uv}}N\left(z_{\mathrm{uv}}\right|{\mathrm{\μ}}_{j,\mathrm{uv}},{\mathrm{\Σ}}_{j,\mathrm{uv}})---\left(1\right)$

其中ω_j，uv是第j个高斯分布的权值μ_j，uv，∑_j，uv分别为第j个高斯分布的均值和协方差矩阵。对彩色图像进行建模，且R，G，B三通道是相互独立的，μ_j，uv、∑_j，uv可写为如下形式：

${\mathrm{\μ}}_{j,\mathrm{uv}}=({\mathrm{\μ}}_{j,\mathrm{uv}}^R,{\mathrm{\μ}}_{j,\mathrm{uv}}^G,{\mathrm{\μ}}_{j,\mathrm{uv}}^B)$

${\mathrm{\Σ}}_{j,\mathrm{uv}}=\mathrm{diag}({\left({\mathrm{\σ}}_{j,\mathrm{uv}}^R\right)}^2,{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^G\right)}^2,{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^B\right)}^2)$

各高斯分布按照优先级高低排列，优先级Pj计算如下：

$p_j={\mathrm{\ω}}_{j,\mathrm{uv}}/\sqrt{{(R_{j,\mathrm{uv}}-{\mathrm{\μ}}_{j,\mathrm{uv}}^R)}^2+{(G_{j,\mathrm{uv}}-{\mathrm{\μ}}_{j,\mathrm{uv}}^G)}^2+{(B_{j,\mathrm{uv}}-{\mathrm{\μ}}_{j,\mathrm{uv}}^B)}^2}$

基于颜色梯度的背景模型对光照的变化非常敏感，而颜色梯度相对来说对光照变化不太敏感，把颜色梯度与颜色信息结合起来一起使用，建立有效而鲁棒的背景模型，用颜色灰度值g的变化表示颜色梯度；

因为 $g_{j,\mathrm{uv}}^{\left(t\right)}={\mathrm{\β}}_{1}R+{\mathrm{\β}}_{2}G+{\mathrm{\β}}_{3}B$

所以g_j,uv ^(t)～N(μ_g,j,uv(σ_g,j,uv)²)

其中 ${\mathrm{\μ}}_{g,j,\mathrm{uv}}={\mathrm{\β}}_1{\mathrm{\μ}}_{j,\mathrm{uv}}^R+{\mathrm{\β}}_2{\mathrm{\μ}}_{j,\mathrm{uv}}^G+{\mathrm{\β}}_3{\mathrm{\μ}}_{j,\mathrm{uv}}^B$

${\mathrm{\σ}}_{g,j,\mathrm{uv}}^2={\mathrm{\β}}_1^2{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^R\right)}^2+{\mathrm{\β}}_2^2{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^G\right)}^2+{\mathrm{\β}}_3^2{\left({\mathrm{\σ}}_{j,\mathrm{uv}}^B\right)}^2$

f_j，x＝g_j，u+1，v-g_j，u，v

f_j，y＝g_j，u，v+1-g_j，u，v

可得 $f_{j,x}~N\left({\mathrm{\μ}}_{j,f_x,}{\left({\mathrm{\σ}}_{j,f_x}\right)}^2\right)$

$f_{j,y}~N\left({\mathrm{\μ}}_{j,f_y,}{\left({\mathrm{\σ}}_{j,f_y}\right)}^2\right)$

其中： ${\mathrm{\μ}}_{j,f_x}={\mathrm{\μ}}_{g,j,u+1,v}-{\mathrm{\μ}}_{g,j,u,v}$

${\mathrm{\μ}}_{j,f_y}={\mathrm{\μ}}_{g,j,u,v+1}-{\mathrm{\μ}}_{g,j,u,v}$

${\left({\mathrm{\σ}}_{j,f_x}\right)}^2={\mathrm{\σ}}_{g,j,u+1,v}^2+{\mathrm{\σ}}_{g,j,u,v}^2$

${\left({\mathrm{\σ}}_{j,f_x}\right)}^2={\mathrm{\σ}}_{g,j,u,v+1}^2+{\mathrm{\σ}}_{g,j,u,v}^2$

用式 $\mathrm{\Δ}=\sqrt{{f_{j,x}}^2+{f_{j,y}}^2}$ 表示颜色梯度，用 ${\mathrm{\Δ}}_d=\mathrm{ar}\tan \frac{f_{j,y}}{f_{j,x}}$ 表示梯度方向；得到颜色梯度的分布[Δ_m，Δ_d]

$F({\mathrm{\Δ}}_m,{\mathrm{\Δ}}_d)=\frac{{\mathrm{\Δ}}_m}{2\mathrm{\π}{\mathrm{\σ}}_{j,\mathrm{fx}}{\mathrm{\σ}}_{{\mathrm{jf}}_y}\sqrt{1-p^2}}\exp \left(\frac{a}{2(1-p^2)}\right)$

其中

$a={\left(\frac{{\mathrm{\Δ}}_m\cos {\mathrm{\Δ}}_d-{\mathrm{\μ}}_{j,f_x}}{{\mathrm{\σ}}_{j{f}_x}}\right)}^2-2\mathrm{\ρ}\left(\frac{{\mathrm{\Δ}}_m\cos {\mathrm{\Δ}}_d-{\mathrm{\μ}}_{j,f_y}}{{\mathrm{\σ}}_{j{f}_x}}\right)\left(\frac{{\mathrm{\Δ}}_m\sin {\mathrm{\Δ}}_d-{\mathrm{\μ}}_{j,f_y}}{{\mathrm{\σ}}_{j{f}_y}}\right)+{\left(\frac{{\mathrm{\Δ}}_m\sin {\mathrm{\Δ}}_d-{\mathrm{\μ}}_{j,f_y}}{{\mathrm{\σ}}_{{\mathrm{jf}}_y}}\right)}^2$

$\mathrm{\ρ}=\frac{{\mathrm{\σ}}_{j,\mathrm{uv}}^2}{{\mathrm{\σ}}_{j,f_x}{\mathrm{\σ}}_{j,f_y}}$

所有上述分布参数都可以由基于颜色背景模型中的均值和方差计算而得，对每一幅待测图像，计算它的梯度值、梯度方向和梯度矢量的概率，如果概率大于Tg，属于背景，否则属于前景。

Images