CN102982519A - 一种视频图像的前景识别提取和拼接方法 - Google Patents

Abstract

本发明涉及一种视频图像的前景识别提取和拼接方法，该方法针对视频图像背景更新过程中目标与背景相互转化的动态不确定性，以及前景图像提取的准确与完整性，建立相应的模型和方法，对背景学习速率进行自适应控制，在粗提取前景图像之后，对破碎的前景进行拼接以及噪声去除，最终检测并分离出前景图像，并进行前景图像连通，构成整体前景图像，达到前景提取的正确性和有效性。属于计算机图像处理领域。

Description

一种视频图像的前景识别提取和拼接方法

技术领域

本发明涉及一种视频图像的前景识别提取和拼接方法，通过背景学习速率的自适应更新和破碎前景拼接，提高前景提取的正确性和有效性，构成视频图像的前景提取和拼接方法，属于计算机图像处理领域。

背景技术

前景提取是智能视频监控处理中信息提取的重要步骤，该步骤是后续目标识别、跟踪和行为分析完成的前提。对于固定摄像机拍摄的监控视频，通常使用背景减除法进行前景提取。但是由于视频图像背景更新过程中目标与背景相互转化的动态不确定性，影响了前景图像提取的准确性，具体体显在，一是易引入虚假目标做为前景，使前景识别不正确，影响后继的图像处理结果；二是容易造成前景提取的不完整，即本应识别为单一目标的前景被划分为多个目标。本发明提出的前景认识提取和拼接方法即用于解决以上两类问题。

发明内容

技术问题：本发明针对视频图像背景更新中目标与背景相互转化的动态不确定性，以及前景提取的不完整性，提出了一种视频图像的前景识别提取和拼接方法。

技术方案：本发明为了实现上述发明目的，采用如下技术方案：

步骤一：前景图像模型建立

设图像中的像素点(x₀,y₀)在t时刻的观察值X_t属于背景的概率为：

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})$

其中，K为模型中的高斯分布个数；为t时刻第i个高斯分布的权值；μ_i，t为t时刻第i个高斯分布的均值；∑_i，t为t时刻第i个高斯分布的协方差矩阵，其定义如下：

${\mathrm{\Σ}}_{i,t}={\mathrm{\σ}}_i^{2}I$

为第i个高斯分布的方差，I为i行i列的单位阵。

η为高斯分布的概率密度函数：

$\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{\mathrm{\π}}{2}}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{\frac{1}{2}}}*e^{-\frac{1}{2}{(X_t-{\mathrm{\μ}}_{t,t})}^T{\mathrm{\Σ}}^{-1}(X_t-{\mathrm{\μ}}_{i,t})}$

本文发明取K=5。初始化时第1个高斯分布的权值设为1，均值为当前像素点的值X_t，方差设为12.5，匹配次数设为1；除第1个高斯分布之外的其他分布的权值、均值均设为0，方差设为12.5，匹配次数设为0.

步骤二：模型更新

对K个高斯分布按照优先级从高到低排列。每个新观测值X_t与K个高斯分布按下式进行匹配计算：

|X_t-μ_i，t-1|<2.5σ_i

在匹配过程中，高斯分布的权值按下式进行更新：

ω_i，t=(1-α)ω_i，t-1+α(M_i，t)

α为学习速率，默认值为0.005；当新观察值与第i个高斯分布匹配时，M_i，t取值为1，若不匹配，则取0。对于匹配的高斯分布，其均值和方差按下式更新：

μ_i，t=(1-β)μ_i,t-1+βX_t

${\mathrm{\&sigma;}}_{i,t}^2=(1-\mathrm{\&beta;}){\mathrm{\&sigma;}}_{i,t-1}^2+\mathrm{\&beta;}{(X_t-{\mathrm{\&mu;}}_{i,t})}^T(X_t-{\mathrm{\&mu;}}_{i,t})$

β=aη(X_t|μ_i，t,σ_i，t)

没有匹配的高斯分布维持不变。对于每个高斯分布设置一个计数值用来记录每帧中每个高斯分布的匹配次数，每匹配一次该计数值加1，本文将该计数值称为高斯分布匹配次数m_i，t。

α和β是模型更新过程中两个重要的参数。β为均值和方差的学习速率。

如果X_t与任何一个高斯分布都不匹配，则优先级最低的高斯分布将被一个新的高斯分布替换。该分布的权值设为K个高斯分布的匹配次数之和的倒数，均值设为X_t，方差设为900，匹配次数设为1.

将K个高斯分布按优先级由高到低排列，取前B个高斯分布生成背景，如下式：

$X_{\mathrm{bg}}=\underset{i=1}{\overset{B}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{i,t}{\mathrm{\&mu;}}_{i,t}$

$B={\arg \min }_b(\underset{i=1}{\overset{b}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i>T)$

其中，argmin()函数为求出满足

的最小的b，并将b的值赋给B。T为背景选取阈值（0<T<1），其值为T＝0.7。

步骤三：自适应学习速率更新

对于步骤二中取得的高斯分布匹配次数m_i，t，本方法取优先级最高的高斯分布的匹配次数进行处理，称之为主匹配次数m_1，t。将当前帧及其之前的每一帧更新得到的主匹配次数累加起来，得到历次m_1,t的累计值sum_match。

同时，设定计数值num_match记录得到sum_match所需的累计次数。

主匹配次数的均值E和标准差S由下式计算：

$E=\frac{{\mathrm{sum}}_{\mathrm{match}}}{{\mathrm{num}}_{\mathrm{match}}}$

$S=\sqrt{{(m_{i,t}-E)}^2}$

根据以下不同情况对背景学习速率α进行自适应更新：

1）当标准差S＞4500时，当前帧的主匹配次数m_i，t相对历史值有较大变动，此时暂不更新α的值，清空计数值num_match和累计值sum_match，将当前帧作为累计的起始帧，将均值E更改为当前帧的主分布匹配次数m_1，t；

2）当标准差S的取值范围为4500≥S>500，且当前主匹配次数m_i，t大于均值E时，背景学习速率α更改为0.004；

3）当标准差S的取值范围为4500≥S>500，且当前主匹配次数m_i，t小于等于均值E时，背景学习速率α更改为0.02.

4）当标准差S≤500时，背景学习速率α稳定在0.005；

步骤四：前景粗提取

1）将当前视频图像和构造出的背景图像化为灰度图像，计算方法为：

Gray=0.072169B+0.715160G+0.202671R

其中R、G、B分别表示每个像素红、绿、蓝值，Gray是转换后的灰度值。

2）将转化为灰度图像的当前视频图像和背景图像进行灰度平衡处理。首先统计灰度值为j对应的像素个数n_j(j=0,1,2,…,255)，则对应灰度值为j的直方图高为n_j，记为H(j)=n_j。

计算直方图的面积，记为H’(x)，即：

$H^{\&prime;}\left(x\right)={\&Integral;}_0^x\left(\mathrm{\&zeta;}\right)\mathrm{d\&zeta;},$ 其中x=0,1,2,……,255.

根据直方图的面积计算值，对得到的当前视频图像和背景图像的灰度图，重新计算像素值为H’(x)，其中x=0,1,2,……,255。

3）将经过灰度平衡处理后的当前视频图像帧和背景图像帧中每个对应像素值相减，得到差值图像。

4）对差值图像的每个像素，统计灰度值为j对应的像素个数n_j(j=0,1,2,…,255)，再计算每个灰度级上的像素个数占该图像总像素个数的比例w_j(j=0,1,2,…,255)。设分割阈值为ψ(ψ的取值范围为ψ＝0,1,2,…,255)，将灰度级j≤ψ的所有像素视为背景像素，灰度级j＞ψ的所有像素视为前景像素。则背景像素个数占该图像总像素个数比例W₀=w₀+w₁+w₂+……+w_ψ，并计算平均灰度

$U_0=\frac{\underset{k=0}{\overset{\mathrm{\&psi;}}{\mathrm{\&Sigma;}}}k*w_k}{W_0}.$

计算前景像素个数占该图像总像素个数比例

$W_1=\underset{k=\mathrm{\&psi;}+1}{\overset{255}{\mathrm{\&Sigma;}}}{w}_k,$

并计算平均灰度：

$U_1=\frac{\underset{k=\mathrm{\&psi;}+1}{\overset{255}{\mathrm{\&Sigma;}}}k*w_k}{W_1},$

则图像的总平均灰度为:

u=W₀*U₀+w₁*U₁。

将分割阈值ψ从0到255依次遍历，求ψ值，使g取最大值：

g=W₀*(U₀-u)²+W₁*(U₁-u)²

利用上述求得的ψ进行差值图像二值化分割，将灰度级j≤ψ的所有像素视为背景像素，将像素值设置为0。而将灰度级j＞ψ的所有像素视为前景像素，将像素值设置为255，从而得到粗提取的前景图像。

步骤五：前景图像列像素拼接与噪点去除

自左向右依次扫描二值化处理后的前景图像，若一列中两个前景像素点之间距离小于15像素时，将这两个像素点之间所有像素点的灰度值更改为255，即相当于对填充两个相邻像素点之间的缝隙，完成前景拼接；若一列中两个非前景像素点之间距离小于4像素时，将这个两个像素点之间的所有像素点的灰度值更改为0，即相当于去除面积较小的前景部分，完成噪点去除。

步骤六：前景图像团块检测

再次扫描二值化处理后的前景图像，将图像中每两列之间相连的团块连接起来，构成更大的团块，并计算该前景团块的面积、周长、外接矩形和外接矩形形心等相关参数，这些大的团块即构成了前景图像。

有益效果：本发明设计的一种基于混合高斯模型的前景提取和拼接方法，可有效抑制前景提取中虚假目标的产生和存留，以及拼接破碎前景，可应用于智能视频处理中的前景提取。其特点是前景提取正确率高，易于实现。

具体实施方式

步骤一：前景图像模型建立

设图像中的像素点(x₀,y₀)在t时刻的观察值X_t属于背景的概率为：

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{i,t}*\mathrm{\&eta;}(X_t,{\mathrm{\&mu;}}_{i,t},{\mathrm{\&Sigma;}}_{i,t})$

其中，K为模型中的高斯分布个数；

为t时刻第i个高斯分布的权值；μ_i，t为t时刻第i个高斯分布的均值；∑_i，t为t时刻第i个高斯分布的协方差矩阵，其定义如下：

${\mathrm{\&Sigma;}}_{i,t}={\mathrm{\&sigma;}}_i^{2}I$

为第i个高斯分布的方差，I为i行i列的单位阵。

η为高斯分布的概率密度函数：

$\mathrm{\&eta;}(X_t,{\mathrm{\&mu;}}_{i,t},{\mathrm{\&Sigma;}}_{i,t})=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{\mathrm{\&pi;}}{2}}{\left|{\mathrm{\&Sigma;}}_{i,t}\right|}^{\frac{1}{2}}}*e^{-\frac{1}{2}{(X_t-{\mathrm{\&mu;}}_{t,t})}^T{\mathrm{\&Sigma;}}^{-1}(X_t-{\mathrm{\&mu;}}_{i,t})}$

本文发明取K=5。初始化时第1个高斯分布的权值设为1，均值为当前像素点的值X_t，方差设为12.5，匹配次数设为1；除第1个高斯分布之外的其他分布的权值、均值均设为0，方差设为12.5，匹配次数设为0.

步骤二：模型更新

对K个高斯分布按照优先级

从高到低排列。每个新观测值X_t与K个高斯分布按下式进行匹配计算：

|X_t-μ_i,t-1|<2.5σ_i

在匹配过程中，高斯分布的权值按下式进行更新：

ω_i，t=(1-α)ω_i，t-1+α(M_i,t)

α为学习速率，默认值为0.005；当新观察值与第i个高斯分布匹配时，M_i，t取值为1，若不匹配，则取0。对于匹配的高斯分布，其均值和方差按下式更新：

μ_i，t=(1-β)μ_i，t-1+βX_t

${\mathrm{\&sigma;}}_{i,t}^2=(1-\mathrm{\&beta;}){\mathrm{\&sigma;}}_{i,t-1}^2+\mathrm{\&beta;}{(X_t-{\mathrm{\&mu;}}_{i,t})}^T(X_t-{\mathrm{\&mu;}}_{i,t})$

β=aη(X_t|μ_i，t,σ_i，t)

没有匹配的高斯分布维持不变。对于每个高斯分布设置一个计数值用来记录每帧中每个高斯分布的匹配次数，每匹配一次该计数值加1，本文将该计数值称为高斯分布匹配次数m_i，t。

α和β是模型更新过程中两个重要的参数。β为均值和方差的学习速率。

如果X_t与任何一个高斯分布都不匹配，则优先级最低的高斯分布将被一个新的高斯分布替换。该分布的权值设为K个高斯分布的匹配次数之和的倒数，均值设为X_t，方差设为900，匹配次数设为1.

将K个高斯分布按优先级由高到低排列，取前B个高斯分布生成背景，如下式：

$X_{\mathrm{bg}}=\underset{i=1}{\overset{B}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{i,t}{\mathrm{\&mu;}}_{i,t}$

$B={\arg \min }_b(\underset{i=1}{\overset{b}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i>T)$

其中，argmin()函数为求出满足

的最小的b，并将b的值赋给B。T为背景选取阈值（0<T<1），其值为T＝0.7。

步骤三：自适应学习速率更新

对于步骤二中取得的高斯分布匹配次数m_i，t，本方法取优先级最高的高斯分布的匹配次数进行处理，称之为主匹配次数m_1，t。将当前帧及其之前的每一帧更新得到的主匹配次数累加起来，得到历次m_1,t的累计值sum_match。

同时，设定计数值num_match记录得到sum_match所需的累计次数。

主匹配次数的均值E和标准差S由下式计算：

$E=\frac{{\mathrm{sum}}_{\mathrm{match}}}{{\mathrm{num}}_{\mathrm{match}}}$

$S=\sqrt{{(m_{i,t}-E)}^2}$

根据以下不同情况对背景学习速率α进行自适应更新：

1）当标准差S＞4500时，当前帧的主匹配次数m_i，t相对历史值有较大变动，此时暂不更新α的值，清空计数值num_match和累计值sum_match，将当前帧作为累计的起始帧，将均值E更改为当前帧的主分布匹配次数m_1，t；

2）当标准差S的取值范围为4500≥S>500，且当前主匹配次数m_i，t大于均值E时，背景学习速率α更改为0.004；

3）当标准差S的取值范围为4500≥S>500，且当前主匹配次数m_i，t小于等于均值E时，背景学习速率α更改为0.02.

4）当标准差S≤500时，背景学习速率α稳定在0.005；

步骤四：前景粗提取

1）将当前视频图像和构造出的背景图像化为灰度图像，计算方法为：

Gray=0.072169B+0.715160G+0.202671R

其中R、G、B分别表示每个像素红、绿、蓝值，Gray是转换后的灰度值。

2）将转化为灰度图像的当前视频图像和背景图像进行灰度平衡处理。首先统计灰度值为j对应的像素个数n_j(j=0,1,2,…,255)，则对应灰度值为j的直方图高为n_j，记为H(j)=n_j。

计算直方图的面积，记为H’(x)，即：

$H^{\&prime;}\left(x\right)={\&Integral;}_0^x\left(\mathrm{\&zeta;}\right)\mathrm{d\&zeta;},$ 其中x=0,1,2,……,255.

根据直方图的面积计算值，对得到的当前视频图像和背景图像的灰度图，重新计算像素值为H’(x)，其中x=0,1,2,……,255。

3）将经过灰度平衡处理后的当前视频图像帧和背景图像帧中每个对应像素值相减，得到差值图像。

4）对差值图像的每个像素，统计灰度值为j对应的像素个数n_j(j=0,1,2,…,255)，再计算每个灰度级上的像素个数占该图像总像素个数的比例w_j(j=0,1,2,…,255)。设分割阈值为ψ(ψ的取值范围为ψ＝0,1,2,…,255)，将灰度级j≤ψ的所有像素视为背景像素，灰度级j>ψ的所有像素视为前景像素。则背景像素个数占该图像总像素个数比例W₀=w₀+w₁+w₂+……+w_ψ，并计算平均灰度

$U_0=\frac{\underset{k=0}{\overset{\mathrm{\&psi;}}{\mathrm{\&Sigma;}}}k*w_k}{W_0}.$

计算前景像素个数占该图像总像素个数比例

$W_1=\underset{k=\mathrm{\&psi;}+1}{\overset{255}{\mathrm{\&Sigma;}}}{w}_k,$

并计算平均灰度：

$U_1=\frac{\underset{k=\mathrm{\&psi;}+1}{\overset{255}{\mathrm{\&Sigma;}}}k*w_k}{W_1},$

则图像的总平均灰度为:

u=W₀*U₀+W₁*U₁。

将分割阈值ψ从0到255依次遍历，求ψ值，使g取最大值：

g=W₀*(U₀-u)²+W₁*(U₁-u)²

利用上述求得的ψ进行差值图像二值化分割，将灰度级j≤ψ的所有像素视为背景像素，将像素值设置为0。而将灰度级j＞ψ的所有像素视为前景像素，将像素值设置为255，从而得到粗提取的前景图像。

步骤五：前景图像列像素拼接与噪点去除

自左向右依次扫描二值化处理后的前景图像，若一列中两个前景像素点之间距离小于15像素时，将这两个像素点之间所有像素点的灰度值更改为255，即相当于对填充两个相邻像素点之间的缝隙，完成前景拼接；若一列中两个非前景像素点之间距离小于4像素时，将这个两个像素点之间的所有像素点的灰度值更改为0，即相当于去除面积较小的前景部分，完成噪点去除。

步骤六：前景图像团块检测

再次扫描二值化处理后的前景图像，将图像中每两列之间相连的团块连接起来，构成更大的团块，并计算该前景团块的面积、周长、外接矩形和外接矩形形心等相关参数，这些大的团块即构成了前景图像。

Claims (1)

1.一种视频图像的前景识别提取和拼接方法，其特征在于该方法包括以下步骤：

步骤一：前景图像模型建立

设图像中的像素点(x₀,y₀)在t时刻的观察值X_t属于背景的概率为：

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{i,t}*\mathrm{\&eta;}(X_t,{\mathrm{\&mu;}}_{i,t},{\mathrm{\&Sigma;}}_{i,t})$

其中，K为模型中的高斯分布个数；

为t时刻第i个高斯分布的权值；μ_i，t为t时刻第i个高斯分布的均值；∑_i，t为t时刻第i个高斯分布的协方差矩阵，其定义如下：

${\mathrm{\&Sigma;}}_{i,t}={\mathrm{\&sigma;}}_i^{2}I$

为第i个高斯分布的方差，I为i行i列的单位阵；

η为高斯分布的概率密度函数：

$\mathrm{\&eta;}(X_t,{\mathrm{\&mu;}}_{i,t},{\mathrm{\&Sigma;}}_{i,t})=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{\mathrm{\&pi;}}{2}}{\left|{\mathrm{\&Sigma;}}_{i,t}\right|}^{\frac{1}{2}}}*e^{-\frac{1}{2}{(X_t-{\mathrm{\&mu;}}_{t,t})}^T{\mathrm{\&Sigma;}}^{-1}(X_t-{\mathrm{\&mu;}}_{i,t})}$

取K=5，初始化时第1个高斯分布的权值设为1，均值为当前像素点的值X_t，方差设为12.5，匹配次数设为1；除第1个高斯分布之外的其他分布的权值、均值均设为0，方差设为12.5，匹配次数设为0；

步骤二：模型更新

对K个高斯分布按照优先级

从高到低排列，每个新观测值X_t与K个高斯分布按下式进行匹配计算：

|X_t-μ_i，t-1|<2.5σ_i

在匹配过程中，高斯分布的权值按下式进行更新：

ω_i，t=(1-α)ω_i，t-1+α(M_i，t)

α为学习速率，默认值为0.005；当新观察值与第i个高斯分布匹配时，M_i，t取值为1，若不匹配，则取0；对于匹配的高斯分布，其均值和方差按下式更新：

μ_i，t=(1-β)μ_i,t-1+βX_t

${\mathrm{\&sigma;}}_{i,t}^2=(1-\mathrm{\&beta;}){\mathrm{\&sigma;}}_{i,t-1}^2+\mathrm{\&beta;}{(X_t-{\mathrm{\&mu;}}_{i,t})}^T(X_t-{\mathrm{\&mu;}}_{i,t})$

β=αη(X_t|μ_i，t,σ_i，t)

没有匹配的高斯分布维持不变；对于每个高斯分布设置一个计数值用来记录每帧中每个高斯分布的匹配次数，每匹配一次该计数值加1，该计数值称为高斯分布匹配次数m_i，t；

α和β是模型更新过程中两个重要的参数，β为均值和方差的学习速率；

如果X_t与任何一个高斯分布都不匹配，则优先级最低的高斯分布将被一个新的高斯分布替换，该分布的权值设为K个高斯分布的匹配次数之和的倒数，均值设为X_t，方差设为900，匹配次数设为1；

将K个高斯分布按优先级由高到低排列，取前B个高斯分布生成背景，如下式：

$X_{\mathrm{bg}}=\underset{i=1}{\overset{B}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{i,t}{\mathrm{\&mu;}}_{i,t}$

$B={\arg \min }_b(\underset{i=1}{\overset{b}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i>T)$

其中，arg min()函数为求出满足

的最小的b，并将b的值赋给B，T为背景选取阈值（0<T<1），其值为T＝0.7，

步骤三：自适应学习速率更新

对于步骤二中取得的高斯分布匹配次数m_i，t，取优先级最高的高斯分布的匹配次数进行处理，称之为主匹配次数m_1，t，将当前帧及其之前的每一帧更新得到的主匹配次数累加起来，得到历次m_1,t的累计值sum_match；

同时，设定计数值num_match记录得到sum_match所需的累计次数；

主匹配次数的均值E和标准差S由下式计算：

$E=\frac{{\mathrm{sum}}_{\mathrm{match}}}{{\mathrm{num}}_{\mathrm{match}}}$

$S=\sqrt{{(m_{i,t}-E)}^2}$

根据以下不同情况对背景学习速率α进行自适应更新：

1）当标准差S＞4500时，当前帧的主匹配次数m_i，t相对历史值有较大变动，此时暂不更新α的值，清空计数值num_match和累计值sum_match，将当前帧作为累计的起始帧，将均值E更改为当前帧的主分布匹配次数m_1，t；

2）当标准差S的取值范围为4500≥S>500，且当前主匹配次数m_i，t大于均值E时，背景学习速率α更改为0.004；

3）当标准差S的取值范围为4500≥S>500，且当前主匹配次数m_i，t小于等于均值E时，背景学习速率α更改为0.02.

4）当标准差S≤500时，背景学习速率α稳定在0.005；

步骤四：前景粗提取

1）将当前视频图像和构造出的背景图像化为灰度图像，计算方法为：

Gray=0.072169B+0.715160G+0.202671R

其中R、G、B分别表示每个像素红、绿、蓝值，Gray是转换后的灰度值；

2）将转化为灰度图像的当前视频图像和背景图像进行灰度平衡处理，首先统计灰度值为j所对应的像素个数n_j，j=0,1,2,…,255，则对应灰度值为j的直方图高为n_j，记为H(j)=n_j；

计算直方图的面积，记为H’(x)，即：

$H^{\&prime;}\left(x\right)={\&Integral;}_0^x\left(\mathrm{\&zeta;}\right)\mathrm{d\&zeta;},$

其中x=0,1,2,……,255.

根据直方图的面积计算值，对得到的当前视频图像和背景图像的灰度图，重新计算像素值为H’(x),x=0,1,2,……,255；

3）将经过灰度平衡处理后的当前视频图像帧和背景图像帧中每个对应像素值相减，得到差值图像；

4）对差值图像的每个像素，统计灰度值为j对应的像素个数n_j，再计算每个灰度级上的像素个数占该图像总像素个数的比例w_j，设分割阈值为ψ，其中ψ可取值范围为0,1,2,…,255。将灰度级j＜ψ的所有像素视为背景像素，灰度级j＞ψ的所有像素视为前景像素；则背景像素个数占该图像总像素个数比例W₀=w₀+w₁+w₂+……+w_ψ，并计算平均灰度

$U_0=\frac{\underset{k=0}{\overset{\mathrm{\&psi;}}{\mathrm{\&Sigma;}}}k*w_k}{W_0}.$

计算前景像素个数占该图像总像素个数比例

$W_1=\underset{k=\mathrm{\&psi;}+1}{\overset{255}{\mathrm{\&Sigma;}}}{w}_k,$

并计算平均灰度：

$U_1=\frac{\underset{k=\mathrm{\&psi;}+1}{\overset{255}{\mathrm{\&Sigma;}}}k*w_k}{W_1},$

则图像的总平均灰度为:

u=W₀*U₀+W₁*U₁

将分割阈值ψ从0到255依次遍历，求ψ值，使g取最大值：

g=W₀*(U₀-u)²+W₁*(U₁-u)²

利用上述求得的ψ进行差值图像二值化分割，将灰度级j≤ψ的所有像素视为背景像素，将像素值设置为0。而将灰度级j＞ψ的所有像素视为前景像素，将像素值设置为255，从而得到粗提取的前景图像；

步骤五：前景图像列像素拼接与噪点去除

自左向右依次扫描二值化处理后的前景图像，若一列中两个前景像素点之间距离小于15像素时，将这两个像素点之间所有像素点的灰度值更改为255，即相当于对填充两个相邻像素点之间的缝隙，完成前景拼接；若一列中两个非前景像素点之间距离小于4像素时，将这个两个像素点之间的所有像素点的灰度值更改为0，即相当于去除面积较小的前景部分，完成噪点去除；

步骤六：前景图像团块检测

再次扫描二值化处理后的前景图像，将图像中每两列之间相连的团块连接起来，构成更大的团块，并计算该前景团块的面积、周长、外接矩形和外接矩形形心等相关参数，这些大的团块即构成了前景图像。