CN102096931B - 基于分层背景建模的运动目标实时检测方法 - Google Patents

Abstract

本发明公开了一种基于分层背景建模的运动目标实时检测方法，为每一个像素点创建一个背景字典，所有像素点的背景字典构成一个完整的背景模型，当前输入像素点在背景字典中找到匹配即为背景点，否则为前景点，最后并采用候选背景模型来更新主背景模型。具体实现步骤为：首先利用前若干帧初始图像，建立背景模型，其次利用当前输入图像与背景模型做差，检测运动目标区域，然后对运动目标区域进行形态学滤波后，输出运动目标，最后再对背景模型进行实时更新，以供下一帧目标检测用。本发明方法解决了背景差法中背景构造更新的困难，对光照变化、背景扰动不敏感，具有很好的鲁棒性和实时性。

Description

基于分层背景建模的运动目标实时检测方法

技术领域

本发明属于计算机视觉领域，涉及一种基于分层背景建模的运动目标实时检测方法。

背景技术

运动目标检测的基本任务是从序列图像中将运动目标从背景图像中提取出来，其目的是通过提取出运动信息，简化图像处理过程。在计算机视觉、智能视频监控领域，运动目标检测是一项关键技术，检测结果的好坏将对运动目标能否被正确分类、能否被准确跟踪与识别等后续处理产生重要影响。然而，由于实际场景中存在各种复杂因素，使得目标检测算法如何快速、准确地适应背景局部或全局的变化成为一个难题。

现有的运动目标检测方法有：时间差分法、光流法、背景差法等。时间差分法通过比较相邻的2帧或3帧图像的差异实现场景变化检测，它对动态环境具有较强的自适应性，但一般不能完整提取运动目标，在运动实体内部容易产生空洞现象。光流法利用运动目标随时间变化的光流特性，优点是在摄像机运动的情况下也能检测出运动目标，缺点是大多数的光流法计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置，则无法实时处理。背景差法主要是利用背景的像素特征进行背景建模，背景模型的好坏直接影响目标检测的效果。基于混合高斯(MOG)建立背景模型的方法以及在混合高斯基础上融合贝叶斯框架、颜色和梯度信息，目标场均值分析和区域信息等改进方法是近年来流行的背景建模方法。它们能适应一定的复杂环境，但是该类方法是假定像素值服从高斯分布，且需要预先设定两个重要参数，参数设置的好坏会严重影响检测效果，背景的快速变化使得模型只能建立少数准确的高斯子，不能提供鲁棒的前景检测，且存在学习时间长，计算量大，无法区分运动目标和运动阴影等缺点。

由于现有背景建模方法在背景更新、背景扰动、虚假目标判断以及阴影抑制等方面存在许多不足，使得目标检测具有不稳定性。因此，寻求一种更有效的背景建模方法是提高检测运动目标准确性的途径之一。

发明内容

本发明所要解决的技术问题是提出一种基于分层背景建模的运动目标实时检测方法，该基于分层背景建模的运动目标实时检测方法，能适应不同复杂环境下监控场所的运动目标检测，而且能有效地抑制运动阴影。

本发明的技术解决方案如下：

一种基于分层背景建模的运动目标实时检测方法，包括以下步骤：

步骤1：采集前N帧初始图像，建立基于背景字典的背景模型；

步骤2：利用当前输入图像与背景模型作差，检测运动目标区域；

步骤3：目标区域的形态学滤波，输出运动目标；

步骤4：更新背景模型，并返回步骤2进行下一次检测循环。

所述步骤1中，采集前N帧初始图像，建立背景模型方法为，设前N个序列中单个像素坐标为(x，y)的序列采样值为：

I中的每一个元素都是一个YUV向量即t＝1，…，N；设

为像素点(x，y)的背景字典，背景字典中含有L个码字；【背景字典中含有L个码字，L具体确定如下，在样本的训练阶段，拿当前像素与码字进行匹配，匹配成功，则更新码字(具体操作见后文)；匹配不成功，则码字个数加1。按如此规则处理完后，得到的码字个数用L表示]每个码字

由两部分组成：YUV向量Avg_i＝(Y_i，U_i，V_i)和特征向量Aux_i＝(f_i，r_i，p_i，q_i)，其中，i＝1，…，L，f表示该码字出现的次数；r表示码字在训练中没有再次出现的最大时间间隔；p和q分别表示该码字出现后的第一次和最后一次匹配时间，用帧序数表示；

每一个采样值

都和已有的码字进行比较，如果找到码字与其匹配，将匹配的码字进行更新；如果找不到匹配码字，则为其创建一个新的码字存入背景字典中，具体过程如下所示：(1)：初始化，将每个像素的背景字典置空，每个背景字典中码字的个数为零，即L＝0；(2)：对于训练视频帧中的每个像素的序列采样值

中每一个值

根据以下条件来找出匹配的码字

设的原内容为Avg_m＝(Y_m，U_m，V_m)和Aux_m＝(f_m，r_m，p_m，q_m)：

$\mathrm{Low}\≤I_t^{x,y}-{\mathrm{Avg}}_m\≤\mathrm{High}$

High和Low为背景建模上下边界参数，High取值为[30～40，10～20，10～20]，Low取值为[20～25，8～13，8～13]；

(3)：如果背景字典为空或者未找到匹配的码字，则令L＝L+1，并创建一个码字

且令它的数据为：

${\mathrm{Avg}}_L=I_t^{x,y}=(Y_t,U_t,V_t);$

Aux_L＝(1，t-1，t，t)；

否则，更新匹配的码字

那么把

更新为：

${\mathrm{Avg}}_m=(\frac{f_m{Y}_m+Y_t}{f_m+1},\frac{f_m{U}_m+U_t}{f_m+1},\frac{f_m{V}_m+V_t}{f_m+1});$

Aux_m＝{f_m+1，max(r_m，t-q_m)，p_m，t}；

(4)：待所有像素都匹配完成即训练结束后，对每个像素的每个码字依次计算该码字没有出现的最大时间间隔r，对于

来说，其中i＝1，…，L，

$r_i^{x,y}=\max (r_i^{x,y},p_i^{x,y}-1+N-q_i^{x,y});$

基于

得到最能代表真实背景的初始背景模型M，M是所有像素的背景字典，以其中的一个像素点(x，y)为例，其背景字典为

i为码字的索引；其中，阈值T_nev取训练帧数的一半，即N/2。

所述步骤2的具体过程为：

a：当前输入帧图像的像素与上一帧图像的像素作差，将当前输入帧图像分为变化区域与非变化区域：

$S=\left\{\begin{array}{cc}S1& |I_t^{x,y}-I_{t-1}^{x,y}|\≤\mathrm{\ϵ}\\ S2& \mathrm{otherwise}\end{array}\right.;$

其中S指当前输入帧图像，S1指非变化区域，S2指变化区域，ε指变化阀值；定义BG_t-1(x，y)表示第t帧(x，y)像素点的二值化值，其取值只有0和1两种，其中第t帧中属于前景的像素点，被二值化为0；属于背景的像素点被二值化为1；

b：非变化区域S1内像素点的BG_t(x，y)取与上一帧的BG_t-1(x，y)相同的值，即

BG_t(x，y)＝BG_t-1(x，y)if(x，y)∈S1；

变化区域内像素点根据下式从M中找出与其匹配的码字

如果找到，则BG_t(x，y)＝1；否则BG_t(x，y)＝0；

$\mathrm{Min}\≤I_t^{x,y}-{\mathrm{Avg}}_i^{x,y}\≤\mathrm{Max};$

其中i＝1，…，L，为像素点(x，y)的第i个码字的YUV向量，Max和Min为目标检测上下边界参数，取Max为[5～15，1～11，1～11]，Low为[5～11，1～7，1～7]；c：判断前景运动目标像素

利用BG(x，y)的值，得到运动目标区域

所述步骤3中目标区域的形态学滤波方法为：利用形态学”开”操作和”闭”操作对运动目标区域作形态学滤波，清除小的像素噪声。

所述步骤4中更新背景模型方法为：

在背景模型M训练完成后，创建第二层背景模型M′，如果一个新输入的采样值与已有背景字典M找不到匹配，则为该新输入的采样值创建一个新的码字到M′中，然后把M’中满足条件{码元出现的次数f＞Tadd}的码字增加到背景模型M中，把超过阈值T_del还没被匹配访问的码字【设置T_del用于精简背景字典，节省内存】从M中删除，具体步骤为：

①：从M中找出与新输入的像素

匹配的码字c_m，按如下公式更新其向量：

${\mathrm{Avg}}_m=(\frac{(1-\mathrm{\α})f_m{Y}_m+\mathrm{\α}{Y}_t}{f_m+1},\frac{(1-\mathrm{\α})f_m{U}_m+\mathrm{\α}{U}_t}{f_m+1},\frac{(1-\mathrm{\α})f_m{V}_m+\mathrm{\α}{V}_t}{f_m+1});$

Aux_m＝{f_m+1，max(r_m，t-q_m)，p_m，t}，其中α是学习率；

②：如果在M中没有匹配的码字，则在M′中进行查找，如果找到，按步骤①中的公式更新；如果找不到，则创建一个新的码字c′添加到M′；

③：根据T_M′精练M′，其中T_M′是阈值，表示码字未出现的最长时间间隔，设为训练帧数的一半，即：

M′＝M′-{c′_k|c′_k∈M′，r_k＞T_M′}；

④：将在M′中出现次数超过阈值T_add的码字移到M中，以解决运动目标长时间停止转化为背景的问题即：

M＝M+{c′_k|c′_k∈M′，f_k＞T_add}；

⑤：从M中删除超过时间T_del未被匹配的码字，即：

M＝M-{c_k|c_k∈M，r_k＞T_del}；

其中T_M′和T_del分别表示背景模型M′和M中码字未匹配的最大时间阈值，设为训练帧数的一半；T_add表示码字在背景模型M′中出现最大次数，取值为400～600。

有益效果：

本发明公开了一种基于分层背景建模的运动目标实时检测方法，为每一个像素点创建一个背景字典，所有像素点的背景字典构成一个完整的背景模型，有效地解决了背景差法中背景构造更新的困难。根据当前输入像素点在背景字典中找到匹配即为背景点，否则为前景点，并采用候选背景模型来更新主背景模型，有效克服帧间差分法提取目标不精细和混合高斯背景建模方法对场景中光照变化敏感的缺点。在不同复杂环境下的实验结果表明本发明方法能够快速、精确地对监控场景中运动目标进行检测，对光照变化、背景扰动不敏感，对运动目标转化为背景的情况可以很好的处理，具有很好的鲁棒性和实时性。

附图说明

图1是本发明的方法流程图；

图2是背景模型更新流程图；

图3是室外运动目标检测结果图；

图4是室内运动目标检测结果图；

图3中，(a)原始室外场景图，(b).利用混合背景高斯建模方法检测出的运动目标区域，明显可见其还包含了阴影区域，所以比原运动目标要大，(c).利用本发明检测出的运动目标区域，很好地抑制了阴影。

图4中，(a).原始室内场景图，(b).利用混合高斯背景建模方法检测出的运动目标区域，由于运动目标引起局部光照变化，运动目标检测出错，(c).利用本发明检测出的运动目标区域，可见能克服局部光照变化，正确检测运动目标。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明，但不作为本发明的限定：

实施例1：

本发明所提供的基于分层背景建模的运动目标实时检测方法流程如图1所示，包括以下步骤：

步骤1：采集前N帧初始图像，建立背景模型

步骤2：检测运动目标

步骤3：目标区域的形态学滤波

步骤4：更新背景模型，并重复步骤2操作。

在步骤1中采集前N＝100(N可取值的范围为100～500，此处取100)帧初始图像，每一个采样值

(1≤t≤100)都和已有的码字进行比较，如果找到码字与其匹配，将匹配的码字进行更新；如果找不到匹配码字，则为其创建一个新的码字存入背景字典中，具体过程如下所示：

(1)：初始化，将每个像素的背景字典置空，每个背景字典中码字的个数为零，即L＝0。

(2)：对于训练视频帧中的每个像素的序列采样值

中每一个值

(1≤t≤100)，根据以下条件来找出匹配的码字

$\mathrm{Low}\≤I_t^{x,y}-{\mathrm{Avg}}_m\≤\mathrm{High}---\left(1\right)$

High和Low为背景建模上下边界参数，且包含YUV三个通道，它们的取值分别为High＝(10，10，10)，Low＝(-10，-10，-10)。

(3)：如果背景字典为空或者未找到匹配的码字，则令L＝L+1，并创建一个码字

且令它的数据为：

${\mathrm{Avg}}_L=I_t^{x,y}=(Y_t,U_t,V_t)---\left(2\right)$

Aux_i＝(1，t-1，t，t)(3)

否则，更新匹配的码字c_m，设c_m的原内容为Avg_m＝(Y_m，U_m，V_m)和Aux_m＝(f_m，r_m，p_m，q_m)，那么把c_m更新为：

${\mathrm{Avg}}_m=(\frac{f_m{Y}_m+Y_t}{f_m+1},\frac{f_m{U}_m+U_t}{f_m+1},\frac{f_m{V}_m+V_t}{f_m+1})---\left(4\right)$

Aux_m＝{f_m+1，max(r_m，t-q_m)，p_m，t}(5)

(4)：训练结束后，计算该像素每个码字没有出现的最大时间间隔，对于

(i＝1，…，L)

r_i＝max(r_i，p_i-1+N-q_i)(6)

利用r来消除冗余的码字，得到最能代表真实背景的初始背景模型

i为码字的索引。其中，阈值T_nev通常取训练帧数的一半，即50，表示所有代表背景的码字至少在最近50帧中出现过。

在步骤2中检测运动目标具体操作为：

a：当前输入帧的像素与上一帧的像素做差，将图像分为变化区域与非变化区域。

$S=\left\{\begin{array}{cc}S1& |I_t^{x,y}-I_{t-1}^{x,y}|\≤\mathrm{\ϵ}\\ S2& \mathrm{otherwise}\end{array}\right.---\left(7\right)$

其中S指当前输入视频帧，S1指非变化区域，S2指变化区域，变化阀值ε＝(7，7，7)。

b：非变化区域内像素点的BG_t(x，y)取值与上一帧的BG_t-1(x，y)相同，即

BG_t(x，y)＝BG_t-1(x，y)if(x，y)∈S1(8)

变化区域内像素点根据公式(9)从M中找出与其匹配的码字c_i，如果找到，则BG_t(x，y)＝1；否则BG_t(x，y)＝0

$\mathrm{Min}\≤I_t^{x,y}-{\mathrm{Avg}}_i\≤\mathrm{Max}---\left(9\right)$

其中i＝1，…，L，Max和Min为检测上下边界，且包含YUV三个通道，它们的取值为Min＝(-25，-6，-6)，Max＝(35，6，6)。

c：判断前景运动目标像素

利用BG(x，y)的值，得到运动目标区域模板

步骤3中目标区域的形态学滤波方法为，利用形态学”开”操作和”闭”操作对运动目标区域做形态学滤波，我们选择3*3像素大小的结构元素采用于“开”操作和“闭”操作，结果如图3中的S3和图4中的S7所示。可见本发明准确地检测出了运动目标。先腐蚀后膨胀的过程称为开运算。用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。先膨胀后腐蚀的过程称为闭运算。用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。

步骤4中更新背景模型方法流程如图2所示，在背景模型M训练完成后，创建第二层背景模型M’，如果一个新输入的采样值与在已有背景字典M找不到匹配，则为其创建一个新的码字到M’中，然后把重新出现次数超过T_add的码字增加到背景模型M中，把超过时间T_del还没被匹配访问的码字从M中删除。具体步骤为：

①：从M中找出与新输入的像素

匹配的码字c_m，按如下公式更新其向量：

${\mathrm{Avg}}_m=(\frac{(1-\mathrm{\α})f_m{Y}_m+\mathrm{\α}{Y}_t}{f_m+1},\frac{(1-\mathrm{\α})f_m{U}_m+\mathrm{\α}{U}_t}{f_m+1},\frac{(1-\mathrm{\α})f_m{V}_m+\mathrm{\α}{V}_t}{f_m+1})---\left(11\right)$

Aux_m按(5)式更新，其中α是学习率取值范围为0.4到0.7，本实施例中取0.5。

②：如果在M中没有匹配的码字，则在M’中进行查找，如果找到，按公式(11)和公式(5)更新；

如果找不到，则创建一个新的码字C’添加到M’。

③：根据T_M′精练M’，即：

M’＝M’-{c′_k|c′_k∈M′，r_k＞T_M′}(12)

④：将在M’中出现次数超过T_add的码字移到M中，即：

M＝M与{c′_k|c′_k∈M′，f_k＞T_add}(13)

⑤：从M中删除超过一定时间未被匹配的码字，即：

M＝M-{c_k|c_k∈M，r_k＞T_del}(14)

其中参数的取值分别为T_M′＝100、T_del＝200和T_add＝500。

Claims (2)

1.一种基于分层背景建模的运动目标实时检测方法，其特征在于，包括以下步骤：

步骤1：采集前N帧初始图像，建立基于背景字典的背景模型；

步骤2：利用当前输入图像与背景模型作差,检测运动目标区域；

步骤3：目标区域的形态学滤波，输出运动目标；

步骤4：更新背景模型，并返回步骤2进行下一次检测循环；

所述步骤1中，采集前N帧初始图像，建立背景模型方法为，设前N个序列中单个像素坐标为(x,y)的序列采样值为：

I中的每一个元素都是一个YUV向量即 $I_t^{x,y}=(Y_t,U_t,V_t),t=1,...,N;$ 设 $C^{x,y}=\{c_1^{x,y},c_2^{x,y},...,c_L^{x,y}\}$ 为像素点(x,y)的背景字典，背景字典中含有L个码字;每个码字

由两部分组成：YUV向量Avg_i=(Y_i,U_i,V_i)和特征向量Aux_i=(f_i,r_i，p_i，q_i)，其中，i=1，...,L，f表示该码字出现的次数；r表示码字在训练中没有再次出现的最大时间间隔；p和q分别表示该码字出现后的第一次和最后一次匹配时间，用帧序数表示；

每一个采样值

都和已有的码字进行比较，如果找到码字与其匹配，将匹配的码字进行更新；如果找不到匹配码字，则为其创建一个新的码字存入背景字典中，具体过程如下所示：

(1)：初始化，将每个像素的背景字典置空，每个背景字典中码字的个数为零，即L＝0；

(2)：对于训练视频帧中的每个像素的序列采样值

中每一个值

根据以下条件来找出匹配的码字

设

的原内容为Avg_m=(Y_m,U_m,V_m)和Aux_m=(f_m,r_m，p_m，q_m):

$\mathrm{Low}\≤I_t^{x,y}-{\mathrm{Avg}}_m\≤\mathrm{High}$

High和Low为背景建模上下边界参数，High取值为（10,10,10），Low取值为（-10,-10,-10）；

(3)：如果背景字典为空或者未找到匹配的码字，则令L=L+1，并创建一个码字

且令它的数据为:

${\mathrm{Avg}}_L=I_t^{x,y}=(Y_t,U_t,V_t);$

Aux_L=(1,t-1,t,t)；

否则，更新匹配的码字

那么把

更新为:

${\mathrm{Avg}}_m=(\frac{f_m{Y}_m+Y_t}{f_m+1},\frac{f_m{U}_m+U_t}{f_m+1},\frac{f_m{V}_m+V_t}{f_m+1});$

Aux_m={f_m+1,max(r_m,t-q_m),p_m,t}；

(4)：待所有像素都匹配完成即训练结束后，对每个像素的每个码字依次计算该码字没有出现的最大时间间隔r，对于

来说，其中i=1，...,L， $r_i^{x,y}=\max (r_i^{x,y},p_i^{x,y}-1+N-q_i^{x,y});$

基于

得到最能代表真实背景的初始背景模型M，M是所有像素的背景字典，以其中的一个像素点（x,y）为例，其背景字典为

i为码字的索引；其中，阈值T_nev取训练帧数的一半，即N／2；

所述步骤2的具体过程为：

a：当前输入帧图像的像素与上一帧图像的像素作差,将当前输入帧图像分为变化区域与非变化区域：

$S=\left\{\begin{array}{cc}S1& |I_t^{x,y}-I_{t-1}^{x,y}|\≤\mathrm{\ϵ}\\ S2& \mathrm{otherwise}\end{array}\right.;$

其中S指当前输入帧图像,S1指非变化区域,S2指变化区域,ε指变化阀值；

定义BG_t-1(x,y)表示第t帧（x,y）像素点的二值化值，其取值只有0和1两种，其中第t帧中属于前景的像素点，被二值化为0；属于背景的像素点被二值化为1；

b：非变化区域S1内像素点的BG_t(x,y)取与上一帧的BG_t-1(x,y)相同的值，即

BG_t(x,y)=BG_t-1(x,y) if(x,y)∈S1；

变化区域内像素点根据下式从M中找出与其匹配的码字

如果找到,则BG_t(x,y)=1;否则BG_t(x,y)=0；

$\mathrm{Min}\≤I_t^{x,y}-{\mathrm{Avg}}_i^{x,y}\≤\mathrm{Max};$

其中i=1,…,L,

为像素点(x,y)的第i个码字的YUV向量，Max和Min为目标检测上下边界参数，取Max为(35,6,6)，Min为(-25,-6,-6)；

c：判断前景运动目标像素

利用BG(x,y)的值,得到运动目标区域

所述步骤4中更新背景模型方法为：

在背景模型M训练完成后,创建第二层背景模型M′,如果一个新输入的采样值与已有背景字典M找不到匹配，则为该新输入的采样值创建一个新的码字到M′中，然后把M’中满足条件“码元出现的次数f>Tadd”的码字增加到背景模型M中,把超过阈值T_del还没被匹配访问的码字从M中删除，具体步骤为：

①：从M中找出与新输入的像素

匹配的码字c_m，按如下公式更新其向量：

${\mathrm{Avg}}_m=(\frac{(1-\mathrm{\α})f_m{Y}_m}{f_m+1},\frac{(1-\mathrm{\α})f_m{U}_m+\mathrm{\α}{U}_t}{f_m+1},\frac{(1-\mathrm{\α})f_m{V}_m+\mathrm{\α}{V}_t}{f_m+1});$

Aux_m={f_m+1,max(r_m,t-q_m),p_m,t},其中α是学习率；

②：如果在M中没有匹配的码字，则在M′中进行查找，如果找到，按步骤①中的公式更新；如果找不到，则创建一个新的码字c′添加到M′；

③：根据T_M′精练M′，其中T_M′是阈值，表示码字未出现的最长时间间隔，设为训练帧数的一半，即：

M′=M′-{c′_k|c′_k∈M′,r_k>T_M′}；

④：将在M′中出现次数超过阈值T_add的码字移到M中，以解决运动目标长时间停止转化为背景的问题即：

M＝M+{c′_k|c′_k∈M′,f_k>T_add}；

⑤：从M中删除超过时间T_del未被匹配的码字，即：

M=M-{c_k|c_k∈M,r_k>T_del}；

其中T_M′和T_del分别表示背景模型M′和M中码字未匹配的最大时间阈值，设为训练帧数的一半；T_add表示码字在背景模型M′中出现最大次数，取值为400～600。

2.根据权利要求1所述的基于分层背景建模的运动目标实时检测方法，其特征在于：所述步骤3中目标区域的形态学滤波方法为：利用形态学”开”操作和”闭”操作对运动目标区域作形态学滤波,清除小的像素噪声。

Images