CN102025981B - 一种监控视频中的前景检测的方法 - Google Patents

Abstract

本发明公开了一种监控视频中的前景检测的方法，按照以下步骤实施：建立背景模型：利用视频的最近数帧图像，建立一个背景模型，以捕捉背景的快速变化；进行背景差分：在背景模型建立好以后，开始进即进行背景差分，然后利用公式抑制和消除阴影；进行后期处理：去除背景差分中存在很多误检；进行背景更新：使用选择性的方式进行背景更新；最后进行算法效率优化：在算法的初始化阶段，首先计算得到索引值的查找表，以简化背景模型的公式。本发明的有益效果是：首次使用概率核函数估计应对复杂场景进行前景检测，使用高效查找表的方法解决运算量高的问题，使本方法能适应复杂快速的背景变化，也能有效实时地检测前景。

Description

一种监控视频中的前景检测的方法

技术领域

本发明属于图像处理领域的技术，涉及一种监控视频中的前景检测的方法，具体的涉及一种基于概率核密度估计的（KDE）的背景差分算法进行前景检测的方法。

背景技术

视频中运动目标检测是数字视频处理和计算机视觉的重要研究领域之一，同时也是智能视频监控等关键应用中的核心技术。针对监控视频的前景检测的方法有很多，例如光流法、帧间差法、模板匹配法、以及背景差分法。

背景差分算法是运动目标检测的最常用的方法，因为背景差分算法的在运动检测方面表现出的较好的鲁棒性和较低算法复杂度。算法的基本思想比较简单，即用当前图像帧减去背景模型，得到的就是前景目标区域。正因为如此，关于背景差分的研究的文献相当多，而且具体算法也是千差万别。即使如此，背景差分算法的基本流程还是差不多的，其基本流程附图2所示。

a.    背景建模，所谓背景模型就是背景的描述方式，根据输入的视频序列抽象出背景数学模型；

b.    背景差分，把当前图像与背景模型进行差分，也就是与背景模型进行比较匹配；

c.    后期处理和目标检测，一阶段是对前面背景差分的结果，做进一步精确细化处理，目的是得到更加精确完整运动目标区域，例如前景空洞消除，阴影检测等；

d.    背景更新，为了使背景模型适应场景的变化，实时更新背景模型的参数来反映这些变化，提高算法的鲁棒性。

现有的背景差分算法可以大体上分为两类：预测式和统计式背景模型。预测式背景模型是把视频看成是一个基于时间的序列，通过过去的观察结果，预测出当前的视频图像的方法。统计式的背景差分模型是把过去的视频序列做概率统计，而忽略图像出现的先后顺序，通过概率的方法得到背景模型的表示方法，有典型的单高斯和混合高斯背景模型。但是现有的概率统计的方法，都不能很好的表示背景的状态。由于场景中存在一些噪声扰动，光照变化，动态背景（如树叶晃动、水面波动），背景模型不能很好的使用一个概率模型来表示，不论单高斯模型，还是混合多高斯模型，在一些复杂的场景中，例如室外复杂场景，都不能很好的建模背景模型，从而不能得到很好的背景差分效果。

在相对复杂的场景应用中，普通的基于概率统计的背景差分方法中不能很好的描述出背景模型，对于场景中的动态背景和光照变化非常敏感，而导致背景严重的前景检测错误；而传统的概率统计模型进行前景检测的方法只是集中在增加模型的数量，而带来很高运算复杂度，不能有效实时地进行检测前景。

发明内容

本发明的目的在于，针对上述问题，提出一种基于概率核密度估计的的背景差分算法进行前景检测的方法。

为实现上述目的，本发明采用的技术方案是：具体按照以下五个步骤实施，

步骤1： 建立一个背景模型：利用视频的最近数帧图像，假设各个通道间相互独立，抽象出一个背景模型；

步骤2：进行背景差分：

利用步骤1背景模型进行前景检测，将当前图像与背景图像进行差分，进一步抑制和消除阴影；

步骤3：进行后期处理：对前面的前景检测，通过概率的估算比较去除前景检测中存在大部分误检，得到更加精确地前景；

步骤4：进行背景更新：

根据适应场景的变化，使用选择性的方式，根据前面的前景检测结果，更新最新场景变化到背景模型中去；

步骤5：进行算法效率优化：

在所述算法的初始化阶段，首先计算得到一个以高斯函数的值为索引值的查找表，简化步骤1所建立的背景模型，只剩下简单的乘法和加法运算。

进一步的，本算法利用视频的最近数帧图像，建立一个背景模型，其中所述步骤1中的背景模型采用如下公式（1）估计当前帧的像素值出现的概率，此模型能捕捉背景的快速变化，

$P\left(x_t\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\δ}}_j^2}}{e}^{-\frac{1}{2}\frac{(x_{t_j}-x_{i_j})}{{\mathrm{\δ}}_j^2}}---\left(1\right)$

其中，x_t是当前帧的像素值，d为每个像素的通道数， N为核函数的个数，一般取2的整数次幂；

δ表示各个通道的标准差，利用如下公式计算，

$\mathrm{\δ}=\frac{m}{0.68\sqrt{2}}---\left(2\right)$

对每个颜色通道的N个连续的样本，相邻的两个值的差值|xi - x(i+1)|，在这些连续的(xi, x(i+1) )对中，求得中值m。

更进一步的，在背景模型建立好以后，开始进行前景检测，即进行背景差分，采用如下方法实现步骤2，

设当前的像素值为x_t，代入公式（1），得到当前像素为背景的概率，设定一个门限T，若P(x_t)>T，就判定为前景，然后使用下面公式（3）进行运算得到比例色彩空间值，进一步抑制和消除阴影，

$\begin{array}{c}r=R/(R+G+B)\\ g=G/(R+G+B)\\ s=R+G+B\end{array}---\left(3\right)$

其中，R、G、B分别为RGB色彩空间的各值，（r, g, s）为得到的比例色彩空间值，s分量是亮度信息，对（r, g, s）三个通道加以区分对待T=(t1, t2, t3)，要求 t1,t2>t3。

通过上面的方法得到的前景只是一个粗略的前景，前景检测中存在很多误检，因此按照以下的步骤去除背景差分中绝大多数的误检，

a.利用公式（1），在邻域中寻找概率的最大值，

Pn(x_t)=max{Pr(x_t|B_y)}            （4）

其中B_y表示x_t的领域像素点；

b.定义一个概率Pc，表示整个被检测出来的连续区域是从附近移动过来的概率，利用下面的公式（5）计算：

$\mathrm{Pc}\left(x_t\right)=\underset{x_c}{\mathrm{\Π}}\mathrm{Pn}\left(x_c\right)---\left(5\right)$

其中，x_c是被检测出来的连续的区域内的像素；

设定两个门限值th1和th2，当一个像素点同时满足Pn(x_t)> th1和Pc(x_t)> th2时，则表示这是一个误检，将其去除。

为了使背景模型适应场景的变化，使用选择性的方式更新方式进一步的，使用如下的公式（6）对背景进行更新，

x_(t mod N)=(1-M*α)*x_(t mod N)+N*α*x_t（6）

其中，M为是否为前景的标记，如果x_t被判定为前景，则为1，否则为0，α为背景更新速度控制参数；

为简化背景模型公式的计算，在算法的初始化阶段，首先计算得到一个查找表，以

为索引，对应的高斯函数的值为索引值。这样把公式（3）的运算就简化只剩下了简单的乘法和加法运算了，可以极大的提高算法的运行效率，有效实时地检测前景。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

本发明的有益效果是：首次使用概率核函数估计应对复杂场景，使用高效查找表的方法解决运算量高的问题，使本方法的背景模型的运算能适应复杂快速的背景变化，也能有效实时地检测前景。

附图说明

图1为本发明的算法总体流程图；

图2为本发明的算法总体流程图。

具体实施方式

以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明方法具体分为五个步骤，

步骤1：背景模型的建立：

基于概率核密度估计的背景差分算法的本质是针对每个像素建立一个概率密度估计函数。本算法利用视频的最近数帧图像，建立一个背景模型，此模型能捕捉背景的快速变化。由于本算法是基于像素的，下面的描述都是指针对某个像素。具体的方法如下：设x₁，x₂，…, x_N为视频的序列的最近的N帧的值，注意，这里各帧不一定是相邻的，可以相互之间隔固定的帧数。这里一般取N为32或者64等值。以这N个历史样本为根据，估计当前帧的像素值出现的概率，公式如下：

$P\left(x_t\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}K(x_i-x_t)---\left(1\right)$

其中x_t是当前帧的像素值，K是指某个概率估计函数，可以根据场景的概率统计特点，选择相应的K函数，这就是所谓的概率核函数。本算法的实现，是取K为高斯函数公式如下：

$P\left(x_t\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|\mathrm{\Σ}\right|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-x_i)}^T{\mathrm{\Σ}}^{-1}(x_t-x_i)}---\left(2\right)$

其中，d为每个像素的通道数，当然，此公式计算起来是非常复杂度，我们假设个通道间是相互独立的，就简化为一个对角矩阵，对角线上的元素表示各个通道的标准差，记为(δ₁,δ₂,…,δ_d)，上面的公式就可以得到很大程度的简化，得到公式如下：

$P\left(x_t\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\δ}}_j^2}}{e}^{-\frac{1}{2}\frac{(x_{t_j}-x_{i_j})}{{\mathrm{\δ}}_j^2}}---\left(3\right)$

下面介绍各通道的标准差(δ₁,δ₂,…,δ_d)如何估计，标准差反应了个通道的变化剧烈程度，上面假设了各通道的是相互独立的，我们就可以针对各通道进行运算。对每个颜色通道，N个连续的样本，相邻的两个值的差值|xi - x(i+1)|，在这些连续的(xi, x(i+1) )对中，求得中值m。此中值m与标准差有直接对应关系：

$\mathrm{\δ}=\frac{m}{0.68\sqrt{2}}$

步骤2：背景差分

在背景模型建立好以后，开始进行前景检测，即进行背景差分。设当前的像素值为x_t，代入上面的公式（2）或者（3），得到当前像素为背景的概率。得到的值P(x_t)的概率越大，说明是背景的可能性越大。设定一个门限T，若P(x_t) >T，就判定为前景。当然，这个门限值T可以根据经验事先确定。

 运动物体的投射阴影和前景有相同的特性，但是并不能算是真正意义上的前景，而且阴影的存在还会给后续处理带来问题，例如物体的大小估计、多个物体连在一起不可分割。与背景相比，运动目标的投影区域亮度变低，饱和度变低，而颜色基本保持不变。所以这里使用如下的比例颜色空间来进行运算，其与RGB颜色空间的转换关系如下公式所示：

$\begin{array}{c}r=R/(R+G+B)\\ g=G/(R+G+B)\\ s=R+G+B\end{array}---\left(4\right)$

其中，R、G、B分别为RGB色彩空间的各值，可见，得到的比例色彩空间为（r, g, s），其中，（r, g）分量是与亮度无关的，而s分量就是亮度信息，所以在背景差分阶段，对（r, g, s）三个通道加以区分对待T=(t1, t2,t3)，一般要求t1,t2>t3，这样能有效抑制一些阴影。

使用本发明的算法后，阴影抑制的效果好，得到的前景没有阴影，前景检测效果较好。

步骤3：后期处理

通过上面的方法得到的前景只是一个粗略的前景，前景检测中存在很多误检。误检来源分为两种，一种是噪声，一种是背景的轻微运动，例如树枝晃动、水面等。第一种物件由于是全局散落的，可以通过滤波或者形态学的方法滤除，后一种由于有空间的聚集特性，很难用传统的滤波方法消除。

 分析一下第二种误检的来源，就可以知道，虽然在当前像素点的概率核密度估算中不能匹配上，因为这个像素点很可能是在邻域中移动过来的，所以这里就可以在当前像素点的一个邻域中寻找最佳的匹配，还是使用前面的概率估计公式，在邻域中寻找最佳的匹配，即概率的最大值。

    Pn(x_t)=max{Pr(x_t|B_y)}（4）

其中B_y表示x_t的领域像素点。若Pn(x_t)大于某个门限th1（这个门限值可以根据经验事先确定），则确定为背景。

 通过上述方法，虽然能去掉一些误检，但是，同时会把一些真实的前景给去掉。考虑到真实的前景有这样的特点，整个被检测出来的前景一定是在从附近的某个地方移动到这里来的，而不是几个像素点。这里定义一个概率Pc，表示整个被检测出来的连续区域是从附近移动过来的概率。定义如下：

$\mathrm{Pc}\left(x_t\right)=\underset{x_c}{\mathrm{\Π}}\mathrm{Pn}\left(x_c\right)---\left(5\right)$

其中，x_c是被检测出来的连续的区域内的像素。对于一个真实的前景目标，整个被检测出来的连续区域，对于上面的公式的计算结果应该是很小的。

所以综合上面的两个方面，设定另一个门限值th2（这个门限值可以根据经验事先确定），如果一个像素点同时满足Pn(x_t) >th1和Pc>th2，则表示这是一个误检。通过这样的方法，可以去除背景差分中绝大多数的误检，提高算法的鲁棒性。

步骤4：背景更新

背景更新是为了是背景模型适应场景的变化，使用选择性的方式更新方式。根据前面的前景检测结果，使用如下的方式进行背景更新，公式如下：

x_(t mod N)=(1-M*α)*x_(t mod N)+N*α*x_t（6）

其中，M为是否为前景的标记，如果x_t被判定为前景，则为1，否则为0，α为背景更新速度控制参数，背景模型中有N个样本，我们只是更新第(t mod N)个样本，因为此样本是N个样本中最老的，这样既可以更新最新的场景变化到背景模型中，又可以保留最近的背景而不受影响。

步骤5：算法效率优化

本算法的核心运算量是在公式（3）的计算，其中包括大量的乘法和指数运算，可见，如果直接运算的话，运算的复杂度非常高，不可能达到实时性的要求。但是，分析公式的特点，如果去确定了各个

的值，公式（3）的值也就确定了。并且，由于

和

所取的值有限，如果是八位的深度的图像，那么

和

就只有256种可能的值，同样也只有有限的256个值，同理，如果是十六位的图像，那么

和

就有2的16次幂即65536种可能的值，同样也有65536个值，以此类推，

的可能值为2的图像位数次幂。这样就可以在算法的初始化阶段，首先计算得到一个查找表，以

为索引，对应的高斯函数的值为索引值。这样把公式（3）的运算就简化只剩下了简单的乘法和加法运算了，可以极大的提高算法的运行效率。

 另外，由于整个算法是基于像素的，像素之间的运算是独立的，或者并不要图像的整体信息。所以，本算法具有可并行运算的特性。由于现在处理器一般都是多核的，如果利用多线程方法实现，不仅能充分利用CPU的资源，更能成倍的加速本算法的运行效率。本算法的实现是使用多线程的方法，每个线程处理视频帧的一部分，对每个线程来说，处理的运算量大为降低，因此提高了整体速度。如果处理器是8核的，就是用8个子线程，每个线程负责处理图像的1/8的数据，以此类推，根据计算机处理器的核数来设定子线程的数量，平均分配负责处理图像的数据，这样能平均的分配处理器的运算量，进一步提高本算法的运算效率。

由于我们后面做一个判断，若P(x_t) >T就判定为前景。仔细分析公式（3），由于是使用累加的方式计算出P(x_t)的结果，所以我们可以每次进行累加后，进行判断，如果超过了门限值T，就直接结束计算，从而节省了运算量，提高了效率。

本算法在Intel Core Duo 2.40GHz的计算机上进行测试，处理720x480分辨率的视频，每帧时间在17~25毫秒，普通视频的是25帧每秒，即每帧40毫秒，此算法完全可以达到实时性的要求。

最后应说明的是：以上所述仅为本发明的实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种监控视频中的前景检测的方法，采用背景差分算法建立背景模型，其特征在于，所述背景模型的建立是基于概率核密度估计的背景差分算法，具体按照以下步骤实施，

步骤1：建立一个背景模型：利用视频的最近数帧图像，假设各个通道间相互独立，抽象出一个背景模型；

步骤2：进行背景差分：

利用步骤1背景模型进行前景检测，将当前图像与背景图像进行差分，进一步抑制和消除阴影；

步骤3：进行后期处理：对前面的前景检测，通过概率的估算比较去除前景检测中存在误检，得到前景；

步骤4：进行背景更新：

根据适应场景的变化，使用选择性的方式，根据前面的前景检测结果，更新最新场景变化到背景模型中去；

步骤5：进行算法效率优化：

在所述算法的初始化阶段，首先计算得到一个以高斯函数的值为索引值的查找表，简化步骤1所建立的背景模型，只剩下乘法和加法运算。

2.根据权利要求1所述的监控视频中的前景检测的方法，其特征在于，所述步骤1中的背景模型采用如下公式（1）估计当前帧的像素值出现的概率：

$P\left(x_t\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\δ}}_j^2}}{e}^{-\frac{1}{2}\frac{(x_{t_j}-x_{i_j})}{{\mathrm{\δ}}_j^2}}---\left(1\right)$

其中，x_t是当前帧的像素值，d为每个像素的通道数，N为核函数的个数；

δ表示各个通道的标准差，利用如下公式计算，

$\mathrm{\δ}=\frac{m}{0.68\sqrt{2}}---\left(2\right)$

对每个颜色通道的N个连续的样本，相邻的两个值的差值|xi - x(i+1)|，在这些连续的(xi, x(i+1) )对中，求得中值m。

3.根据权利要求2所述的监控视频中的前景检测的方法，其特征在于，采用如下方法实现步骤2中的背景差分，并进一步抑制和消除阴影，

设当前的像素值为x_t，代入公式（1），得到当前像素为背景的概率，设定一个门限T，若P(x_t)＞T，就判定为前景，然后使用下面公式（3）进行运算得到比例色彩空间值，进一步抑制和消除阴影，

$\begin{array}{c}r=R/(R+G+B)\\ g=G/(R+G+B)\\ s=R+G+B\end{array}---\left(3\right)$

其中，R、G、B分别为RGB色彩空间的各值，（r, g, s）为得到的比例色彩空间值，s分量是亮度信息，对（r, g, s）三个通道加以区分对待T=(t1, t2, t3)，要求 t1,t2>t3。

4.根据权利要求3所述的监控视频中的前景检测的方法，其特征在于，按照以下的步骤去除背景差分中的误检，

a.利用公式（1），在邻域中寻找概率的最大值，

Pn(x_t)=max{Pr(x_t|B_y)}            （4）

其中B_y表示x_t的领域像素点；

b.定义一个概率Pc，表示整个被检测出来的连续区域是从附近移动过来的概率，利用下面的公式（5）计算：

$\mathrm{Pc}\left(x_t\right)=\underset{x_c}{\mathrm{\Π}}\mathrm{Pn}\left(x_c\right)---\left(5\right)$

其中，x_c是被检测出来的连续的区域内的像素；

设定两个门限值th1和th2，当一个像素点同时满足Pn(x_t) > th1和Pc(x_t) > th2时，则表示这是一个误检，将其去除。

5.根据权利要求4所述的监控视频中的前景检测的方法，其特征在于，使用如下的公式（6）对背景进行更新，

x_(t mod N)=(1-M*α)*x_(t mod N)+N*α*x_t（6）

其中，M为是否为前景的标记，如果x_t被判定为前景，则为1，否则为0，α为背景更新速度控制参数。

6.根据权利要求5所述的监控视频中的前景检测的方法，其特征在于，所述的查找表是一个以为索引，对应的高斯函数的值为索引值的查找表。

Images