CN103077520B - 一种针对移动摄像机的背景减除方法 - Google Patents

Abstract

本发明公开了一种针对移动摄像机的背景减除方法，针对传统的通过构建全景背景模型来实现动态背景减除的方法而导致的运算速度慢、内存占用大与匹配误差等问题，本发明提出一种基于改进后的时空高斯模型的非全景背景模型。通过将当前视频帧图像划分为重叠区与新增区，重叠区内实现运动目标的提取，新增区用来构建并更新背景模型。本发明实时性好，运行速度快，对光照的变化和相机快速移动具有良好的适应性，能够很好的实现从动态背景中提取前景目标。

Description

一种针对移动摄像机的背景减除方法

技术领域

本发明涉及视频监控领域，尤其涉及一种针对摄像机运动情况下的运动目标的检测方法。

背景技术

智能监控是计算机视觉的一个重要应用，其广泛应用于生产管理、保安等场合，成为金融、交通、商业、国防乃至住宅区等领域安全防范监控的重要手段。背景减除是计算机视觉领域的一个重要问题，是实现智能监控系统的基础。

传统的背景减除方法都是通过建立统计学背景模型，然后找出那些与背景模型性质不同的部分来实现运动物体的提取。然而这些方法仅仅局限于静止的摄像机：摄像机不能移动（甚至是微小的机械振动也会带来较大的误差），因此其视场是有限的，对于大面积场景的监控只能通过增加摄像机的数目来实现，系统的开销与维护成本高。同时对于一些移动摄像头监控的应用情况，例如机器人的视觉，汽车的盲区监测等，则不适用。因此，对于移动摄像机的背景减除方法的研究显得尤为重要。

实现针对移动摄像机背景减除的典型方法，如Statisticalbackgroundsubtractionforamobileobserver（针对移动观察者的统计学背景减除方法），Realtimeforegroundobjectdetectionusingptzcamera（基于ptz相机的实时前景检测）等都是构建全景背景模型，通过寻找到当前视频帧图像在全景背景模型中相对应的位置，然后按摄像机静止情况下的方法，通过传统的背景减除技术来实现前景目标的提取。但是这种方法计算量大，系统运行慢，占用内存大而且背景更新慢，匹配误差会引起误判。

发明内容

本发明的目的在于针对现有技术的不足，提供一种针对移动摄像机的背景减除方法。该方法在不用构建全景背景模型的情况下，实现前景目标的实时提取、背景的自适应更新，解决由配准误差引起的误判。同时该方法计算速度快、占用内存小，适用于车载嵌入式系统实现实时监控。

本发明是通过以下技术方案来实现的：一种针对移动摄像机的背景减除方法，该方法包括如下步骤：

步骤1）用移动的视频监控摄像头采集环境图像与含有前景目标的图像；

步骤2）将步骤1中得到的第一帧环境图像作为初始背景图像，对初始背景图像中每个像素进行单高斯分布建模，得到背景模型；利用KLT（Kanade-Lucas-Tomasi）方法从背景模型得到可信度较高的背景特征点，然后在当前视频帧图像中找到这些背景特征点的对应点。利用二者之间的关系得到摄像机的变换模型H，实现摄像机运动估计；

步骤3）将步骤2中得到的背景模型与当前视频帧图像进行高斯差分滤波；再将经过高斯差分滤波后的背景模型与步骤2的摄像机的变换模型H相乘后，通过图像卷绕实现当前视频帧图像重叠区与新增区划分。

步骤4）在步骤3得到的重叠区，分别标记前景像素与背景像素，实现前景目标的提取并得到背景区域；

步骤5）将步骤3中新增区与步骤4中得到的背景区域，直接用来构建并更新背景模型；

步骤6）后处理：对经过步骤1-5处理后的视频帧图像进行阈值化、形态学处理等获得前景目标二值图像；

步骤7）输出每帧输入视频图像对应的只包含运动目标的二值图像。

本发明的有益效果是：本发明通过提出一种基于改进后的时空高斯模型的非全景背景模型，通过将当前视频输入帧划分为重叠区与新增区，实现在重叠区内提取运动目标，新增区用来构建并更新背景模型。同时本发明实时性好，运算速度快，对光照的变化和相机快速移动具有良好的适应性，能够很好的实现从动态背景中提取前景目标。

附图说明

图1为本发明的方法流程图；

图2为邻域像素概念解释图；

图3为学习率的机制（Age）示意图。

具体实施方式

如图1所示，本发明针对移动摄像机的背景减除方法包括如下步骤：

步骤1：用移动的视频监控摄像头采集环境图像和含有前景目标的图像。

步骤2：将步骤1中得到的第一帧环境图像作为初始背景图像，对初始背景图像中每个像素进行单高斯分布建模，得到背景模型；利用KLT（Kanade-Lucas-Tomasi）方法从背景模型得到可信度较高的背景特征点，然后在当前视频帧图像中找到这些背景特征点的对应点。利用二者之间的关系得到摄像机的变换模型H，实现摄像机运动估计。

背景特征点的提取是利用KLT算子。首先计算背景图像中每个像素点的σ矩阵的特征值λ₁,λ₂，如果min(λ₁λ₂)>T则该点为有效特征点。σ矩阵定义为：

$\mathrm{\σ}=\left[\begin{array}{cc}{I}_x{I}_x& I_x{I}_x\\ I_y{I}_x& I_y{I}_y\end{array}\right];$

其中，I_x为一阶x方向导数，I_y为一阶y方向导数；T为阈值。

在当前视频帧图像中找到这些背景特征点的对应点是通过基于圆形模板匹配搜索法来完成特征点匹配。

摄像机的变换模型H表示摄像机的自运动，描述了背景模型与当前视频帧图像之间的关系，公式如下：

[X₁X₂…]＝H[X₁′X₂′…]；

其中，X_i=(x_iy_i1)^T表示背景模型上第i个特征点，X_i′＝(x′_iy_i′1)^T表示在当前视频帧图像上与背景模型上第i个特征点相对应的特征点，x_i,y_i,x_i′与y_i′分别表示特征点在背景模型与当前视频帧图像中的位置。

步骤3：将步骤2中得到的背景模型与当前视频帧图像进行高斯差分滤波。再将经过高斯差分滤波后的背景模型与步骤2的摄像机的变换模型H相乘后，通过图像卷绕实现当前视频帧图像重叠区与新增区划分。

使用二维高斯差分滤波器进行锐化的公式如下：

$f(u,v,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-\frac{u^2+v^2}{{2\mathrm{\σ}}^2})-\frac{1}{{2\mathrm{\πK}}^2{\mathrm{\σ}}^2}\exp (-\frac{u^2+v^2}{{2K}^2{\mathrm{\σ}}^2});$

其中，u,v表示当前像素在图像中的位置，σ表示(u,v)点像素的标准差，K为系数。

经过高斯差分滤波器锐化后的背景模型与步骤2的摄像机的变换模型H相乘后，通过图像卷绕到经过高斯差分滤波器锐化后的当前视频帧图像，实现当前帧视频图像的区域划分。从而找出当前视频帧图像与背景模型中重叠的区域与新增加的区域。

步骤4：在步骤3得到的重叠区，分别标记前景像素与背景像素，实现前景目标的提取并得到背景区域。具体包括以下子步骤：

4.1、获得背景模型中与当前视频帧图像中某点X_c对应点的准确位置：

考虑到由配准误差引起的将静止的物体像素标记为前景目标，如图2，采用标记点邻域像素概念来避免，具体步骤如下：

由当前视频帧图像中一个点X_c与步骤2计算的变换模型H相乘得到在背景模型中与点X_c相对应的点X_b，公式如下：

X_b=H·X_c；

通过在X_b邻域N(X_b)内求得X_b的准确位置公式如下：

${\mathrm{Dx}}_c{x}_i=\frac{1}{{\mathrm{\σ}}^2\left(X_i\right)}{\left(I(X_c-\mathrm{\μ}\left(X_i\right)\right)}^2;$

${\hat{X}}_b=\arg \min {\mathrm{Dx}}_c{x}_i,X_i\∈N\left(X_b\right);$

其中，Dx_cx_i定义为像素点X_i相对于像素点X_c的偏移程度,σ(X_i)和μ(X_i)分别为背景模型点X_i的标准差与均值，I(X_i)表示当前视频帧图像的像素值。

4.2、前景目标提取：

由步骤4.1得到的Dx_cx_i，确定当前点X_c为背景点还是前景点并分别标记，公式如下：

$L\left(X_c\right)=\left\{\begin{array}{cc}\mathrm{Background}& \mathrm{if}{\mathrm{Dx}}_x{\hat{x}}_b<T_c\\ \mathrm{Foreground}& \mathrm{otherwise}\end{array}\right.;$

其中，T_c为阈值，可由具体实验确定,L(X_c)表示对于当前像素点X_c的标记。

首次出现在新增区的前景目标会被标记为背景，但是由于前景目标与摄相机运动速度不同，根据上述算法能够很快被重新检测出来。

步骤5：将步骤3中新增区与步骤4中得到的背景区域，直接用来构建并更新背景模型。

对每个背景像素进行改进后的时空单高斯分布建模，具体是采用时间和空间相关的参数来更新背景模型的标准差与均值。其空间性体现在背景模型中点应用，而不是X_b；时间性体现在学习率α的计算，随着时间的变化而不同。背景模型更新方程如下：

${\mathrm{\&mu;}}_t\left({\hat{X}}_b\right)=(1-\mathrm{\&alpha;})\&CenterDot;{\mathrm{\&mu;}}_{t-1}\left({\hat{X}}_b\right)+\mathrm{\&alpha;}\&CenterDot;I\left(X_c\right);$

${\mathrm{\&sigma;}}^2\left({\hat{X}}_b\right)=(1-\mathrm{\&alpha;})\&CenterDot;{{\mathrm{\&sigma;}}_{t-1}}^2\left({\hat{X}}_b\right)+\mathrm{\&alpha;}\&CenterDot;{(I\left(X_c\right)-{\mathrm{\&mu;}}_t\left({\hat{X}}_b\right))}^2;$

$\mathrm{\&alpha;}=\frac{1}{\mathrm{Age}\left({\hat{X}}_b\right)};$

其中，与分别表示t时刻与当前视频帧图像中点X_c对应的背景模型中点的均值与方差；α表示学习率；Age(X)是一种学习率机制，定义为α的倒数，代表当前像素的可信程度（新旧程度）。如果该像素很久没有更新，则可信系数降低；如果该像素刚刚被更新，则可信系数为最大值Age＝1（对于新增加的区域Age和α都置为1）。

对于Age的解释如图3，初始时，Age被设为1。摄像机向右移动到第二帧图像时，左边区域为重叠区，右边为新增区，重叠区的Age增加为2，新增区则置为1，以此类推。图中的数字是连续视频帧之间Age值的变化。

每处理一帧视频帧，则根据当前信息进行一次背景更新。

步骤6：后处理：图像二值化，对得到的标记为前景目标的像素置为1，背景像素置为0，然后通过膨胀、腐蚀等形态学操作来完善背景减除的图像。

步骤7：输出每帧输入视频图像对应的只包含运动目标的二值图像。

本发明通过图像匹配技术实现将当前视频帧图像的分割，然后通过基于单高斯模型改进的时空高斯分布模型实时更新背景模型，实现了在不用构建全景背景模型的情况下，针对移动摄像机的动态背景减除。同时本发明实时性好，运行速度快，对光照的变化具有良好的适应性，适合嵌入式系统应用。

Claims (4)

1.一种针对移动摄像机的背景减除方法，其特征在于，该方法包括以下步骤：

(1)用移动的视频监控摄像头采集环境图像与含有前景目标的图像；

(2)将步骤1中得到的第一帧环境图像作为初始背景图像，对初始背景图像中每个像素进行单高斯分布建模，得到背景模型；利用KLT(Kanade-Lucas-Tomasi)方法从背景模型得到可信度较高的背景特征点，然后在当前视频帧图像中找到这些背景特征点的对应点；利用二者之间的关系得到摄像机的变换模型H，实现摄像机运动估计；

(3)将步骤2中得到的背景模型与当前视频帧图像进行高斯差分滤波；再将经过高斯差分滤波后的背景模型与步骤2的摄像机的变换模型H相乘后，通过图像卷绕实现当前视频帧图像重叠区与新增区划分；

(4)在步骤3得到的重叠区，分别标记前景像素与背景像素，实现前景目标的提取并得到背景区域；具体包括以下子步骤：

(4.1)获得背景模型中与当前视频帧图像中某点X_c对应点的准确位置：

考虑到由配准误差引起的将静止的物体像素标记为前景目标，采用标记点邻域像素概念来避免，具体步骤如下：

由当前视频帧图像中一个点X_c与步骤2计算的变换模型H相乘得到在背景模型中与点X_c相对应的点X_b，公式如下：

X_b＝H·X_c；

通过在X_b邻域N(X_b)内求得X_b的准确位置公式如下：

${\mathrm{Dx}}_c{x}_i=\frac{1}{{\mathrm{\&sigma;}}^2\left(X_i\right)}{\left(I(X_c-\mathrm{\&mu;}\left(X_i\right)\right)}^2;$

${\hat{X}}_b=\arg \min {\mathrm{Dx}}_c{x}_i,X_i\&Element;N\left(X_b\right);$

其中，Dx_cx_i定义为像素点X_i相对于像素点X_c的偏移程度,σ(X_i)和μ(X_i)分别为背景模型点X_i的标准差与均值，I(X_i)表示当前视频帧图像的像素值；

(4.2)前景目标提取：

由步骤4.1得到的Dx_cx_i，确定当前点X_c为背景点还是前景点并分别标记，公式如下：

$L\left(X_c\right)=\left\{\begin{array}{cc}\mathrm{Background}& \mathrm{if}{\mathrm{Dx}}_x{\hat{x}}_b<T_c\\ \mathrm{Foreground}& \mathrm{otherwise}\end{array}\right.;$

其中，T_c为阈值，可由具体实验确定,L(X_c)表示对于当前像素点X_c的标记；

(5)将步骤3中新增区与步骤4中得到的背景区域，直接用来构建并更新背景模型；

(6)后处理：对经过步骤1-5处理后的视频帧图像进行阈值化、形态学处理等获得前景目标二值图像；

(7)输出每帧输入视频图像对应的只包含运动目标的二值图像。

2.根据权利要求1所述的针对移动摄像机的背景减除方法，其特征在于，所述步骤2中，背景特征点的提取是利用KLT算子；首先计算背景图像中每个像素点的σ矩阵的特征值λ₁λ₂，如果min(λ₁λ₂)>T则该点为有效特征点；σ矩阵定义为：

$\mathrm{\&sigma;}=\left[\begin{array}{cc}{I}_x{I}_x& I_x{I}_x\\ I_y{I}_x& I_y{I}_y\end{array}\right];$

其中I_x为一阶x方向导数，I_y为一阶y方向导数；T为阈值；

在当前视频帧图像中找到这些背景特征点的对应点是通过基于圆形模板匹配搜索法来完成特征点匹配；

摄像机的变换模型H表示摄像机的自运动，它描述了背景模型与当前视频帧图像之间的关系，公式如下：

[X₁X₂…]＝H[X₁′X₂′…]；

其中X_i＝(x_iy_i1)^T表示背景模型上第i个特征点，X_i′＝(x′_iy_i′1)^T表示在当前视频帧图像上与背景模型上第i个特征点相对应的特征点，x_i,y_i,x_i′与y_i′分别表示特征点在背景模型与当前视频帧图像中的位置。

3.根据权利要求1所述的针对移动摄像机的背景减除方法，其特征在于，所述步骤3中，对背景模型与当前视频帧图像按如下公式进行高斯差分锐化：

$f(u,v,\mathrm{\&sigma;})=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}\exp (-\frac{u^2+v^2}{{2\mathrm{\&sigma;}}^2})-\frac{1}{{2\mathrm{\&pi;K}}^2{\mathrm{\&sigma;}}^2}\exp (-\frac{u^2+v^2}{{2K}^2{\mathrm{\&sigma;}}^2});$

其中，u,v表示当前像素在图像中位置，σ表示(u,v)点像素的标准差，K为系数；

经过高斯差分滤波器锐化后的背景模型与步骤2的摄像机的变换模型H相乘后，通过图像卷绕到经过高斯差分滤波器锐化后的当前视频帧图像，实现当前帧视频图像的区域划分；从而找出当前视频帧图像与背景模型中重叠的区域与新增加的区域。

4.根据权利要求1所述的针对移动摄像机的背景减除方法，其特征在于，所述步骤5中，对每个背景像素进行改进后的时空单高斯分布建模，具体是采用时间和空间相关的参数来更新背景模型的标准差与均值；背景模型更新方程如下：

${\mathrm{\&mu;}}_t\left({\hat{X}}_b\right)=(1-\mathrm{\&alpha;})\&CenterDot;{\mathrm{\&mu;}}_{t-1}\left({\hat{X}}_b\right)+\mathrm{\&alpha;}\&CenterDot;I\left(X_c\right);$

${\mathrm{\&sigma;}}^2\left({\hat{X}}_b\right)=(1-\mathrm{\&alpha;})\&CenterDot;{{\mathrm{\&sigma;}}_{t-1}}^2\left({\hat{X}}_b\right)+\mathrm{\&alpha;}\&CenterDot;{(I\left(X_c\right)-{\mathrm{\&mu;}}_t\left({\hat{X}}_b\right))}^2;$

$\mathrm{\&alpha;}=\frac{1}{\mathrm{Age}\left({\hat{X}}_b\right)};$

其中，与分别表示t时刻与当前视频帧图像中点X_c对应的背景模型中点的均值与方差；I(X_c)表示图像中点Xc处的像素值，α表示学习率；Age(X)是一种学习率机制，定义为α的倒数，代表当前像素的可信程度；如果该像素很久没有更新，则可信系数降低；如果该像素刚刚被更新，则可信系数为最大值Age＝1，对于新增加的区域Age和α都置为1。