CN103729862A - 基于码本背景模型的自适应阈值运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于码本背景模型的自适应阈值运动目标检测方法，属于智能视频监控技术领域。该方法包括以下步骤：1）将输入的视频图像序列分为训练集和检测结果集，对输入的训练集通过自适应阈值方法创建初始码本背景模型；2）对创建的初始码本背景模型通过时间滤波方式进行提纯和优化；3）将提纯的码本背景模型应用于前景检测，将作为训练样本的前n帧图像作为训练集创建的码本背景模型与后续输入的视频图像序列相减；4）对得到的差分图像进行二值化，并将该二值图像作为最终的检测结果图像。本方法能够自适应地调整阈值，相比以往的检测方法可以获得更好的检测结果，具有很高的准确性。

Description

基于码本背景模型的自适应阈值运动目标检测方法

技术领域

本发明属于智能视频监控技术领域，涉及一种基于码本背景模型的自适应阈值运动目标检测方法。

背景技术

近年来，随着智能视频监控技术在计算机视觉领域的广泛应用和快速发展，运动目标检测作为智能视频监控及进行智能视频分析的基础也取得了丰硕的成果，各种各样的运动目标检测算法相继被提出并不断改进，而且目前有越来越多的基于运动目标检测的智能监控系统投入了使用。但是，运动目标检测研究中仍有很多问题没有得到很好地解决，其原因在于，无论是在室外还是室内都有很多引起背景变化的情况产生：在室外等不能控制光照和大自然气候的环境下，运动目标容易受光照方向、光照强度以及风向和风速的影响而明显地产生非线性变化，使得准确地检测目标变得非常困难；在室内环境下，运动目标的检测结果容易受灯光以及目标本身的变化的干扰。

在消除背景变化对运动目标检测的影响方面，背景减除法因其计算简便、得到目标准确，对静止和非静止的目标都适用等优点正引起人们的高度关注。背景减除法利用当前图像和背景图像的差分图像来检测目标。但是，要获得完整的背景图像非常困难，因此很多背景建模算法应运而生，其中码本(Codebook）背景建模算法由于简单易实现且较为准确地刻画了背景像素点的分布逐渐成为最受关注的背景建模算法之一。

码本背景建模算法由Kim等提出，该方法通过对背景的每个像素点的值进行采样，然后应用量化和采样技术生成码本(Codebook)。其中，每个码本由多个码字(Codeword)构成，多个码字形成一个圆柱体模型。码本中码字的个数并不相同，其码字个数受到背景变化的大小的影响。在创建码字过程中，需要进行条件匹配，若能匹配成功，则更新码字，若不能匹配成功则需要为该像素点创建一个新的码字。最后将创建好的码本背景模型与输入图像相减，并将所得的差分图像二值化，从而得到最终的检测结果图。

由于码本背景建模算法是根据不同的视频手动地设置不同的匹配条件的阈值，而不同的视频阈值的大小会有很大的差异，这种通过手工的方式设置阈值不仅增加了算法实现者的人为因素对检测结果的影响，还使得检测结果具有不稳定性。因此，考虑到算法检测结果的稳定性和准确度，自适应阈值的引入成为一种可取的方向。

发明内容

有鉴于此，本发明的目的在于提供一种基于码本背景模型的自适应阈值运动目标检测方法，该方法通过考虑同一个像素点在不同帧间的像素值变化，利用最大马氏距离阈值法计算最大的变化值，并由该值确定阈值，从而解决检测结果具有随机性的问题。

为达到上述目的，本发明提供如下技术方案：

一种基于码本背景模型的自适应阈值运动目标检测方法，包括以下步骤：步骤一：将输入的视频图像序列分为训练集和检测结果集，对输入的训练集通过自适应阈值方法创建初始码本背景模型；步骤二：对创建的初始码本背景模型通过时间滤波方式进行提纯和优化；步骤三：将提纯的码本背景模型应用于前景检测，将作为训练样本的前n帧图像作为训练集创建的码本背景模型与后续输入的视频图像序列相减；步骤四：对得到的差分图像进行二值化，并将该二值图像作为最终的检测结果图像。本方法的流程图如图1和图2所示。

创建初始码本过程又称为码本背景建模算法的训练过程。视频图像序列中同一特定位置的像素点在时间轴上的观测值可以构成一个序列。码本算法为每个像素点建立一个码本模型，该模型是一个圆柱体模型，它近似地表示背景像素在RGB颜色空间的分布。每个码本模型中包含多个码字，每个码字由一个二元组组成。不同码本中的码字个数并不相同，其码字个数受到背景变化的大小的影响。

初始码本模型中可能包含了运动目标和噪声，采用时间滤波方式对初始码本模型进行提纯，消除一些可能代表运动目标和噪声的码字。

利用步骤二得到的提纯的码本背景模型，对测试集中的图像序列中的前景进行检测。即将当前输入的图像与对应背景像素中的码本模型进行匹配并将匹配的结果图像进行二值化。该二值化图像作为最终的检测结果图。

进一步，本方法的具体流程为：

1、创建初始码本背景模型

将输入的视频图像序列的前n帧图像作为训练样本，并利用训练样本创建初始码本，设χ是一帧图像每个像素点包含n个RGB颜色空间向量的训练序列采样值，即χ＝{x₁，x₂...，x_n}是训练过程中每个像素点的采样值。其中x_i＝(R_i，G_i，B_i)，i=1,2,…,n，Ri、Gi、Bi分别代表该像素第i个样本的RGB颜色空间的红、绿、蓝颜色分量值。设c＝{c₁，c₂...c_L}是包含L个码字的码本，第i个码字c_i定义为一个二元组结构

和

其中是属于该类码字RGB颜色空间红、绿、蓝颜色分量均值；

是属于该类码字的最大最小亮度值；f_i是属于该类像素的像素个数或匹配成功的次数；λ_i是定义在训练阶段的没有被匹配的最大时间间隔；p_i、q_i为第一次和最后一次匹配成功的时间。最终建立的码本模型如图4所示。如图3所示，该过程包括以下几个详细步骤：

步骤1将每个像素的码本置空，L=0。

步骤2对于训练视频的每个像素点的序列值χ＝{x₁，x₂...，x_n}，

t＝1，...，n：

1）如果码本为空，L=0，则创建一个码字L=L+1,

I代表亮度值。

2）若码本不为空，则通过下面的判别式（1）和（2）将输入像素x_t与对应码本进行匹配：

δ＝colordist(x_t，υ_i)≤ε₁    (2)

其中，R、G、B分别代表该像素的RGB颜色空间的红，绿，蓝颜色分量值；I^low、I^hi变量的计算公式如下：

其中α，β是先验参数，用于限定最低和最高亮度范围：α的取值在0.4到0.7之间，其值越小就说明所取得亮度范围较大；β的值是为了限制最大边界值，它的取值范围在1.1到1.5之间。

用于限制最大边界值（最高亮度）的先验参数δ的计算公式如下：

$\mathrm{\&delta;}=\sqrt{{\left|\right|x_t\left|\right|}^2-\frac{{<x_t,{\mathrm{\&upsi;}}_i>}^2}{{\left|\right|{\mathrm{\&upsi;}}_i\left|\right|}^2}}---\left(4\right)$

||xt||²＝R²+G²+B²    (5)

${\left|\right|{\mathrm{\&upsi;}}_i\left|\right|}^2={\stackrel{\&OverBar;}{R}}_i^2+{\stackrel{\&OverBar;}{G}}_i^2+{\stackrel{\&OverBar;}{B}}_i^2---\left(6\right)$

${<x_t,{\mathrm{\&upsi;}}_i>}^2=R{\stackrel{\&OverBar;}{R}}_i+G{\stackrel{\&OverBar;}{G}}_i+B{\stackrel{\&OverBar;}{B}}_i---\left(\left(7\right)\right)$

其中，δ的值在求取的过程中，可能会发生||V_i||的值为0的情况而导致式(4)无意义。本发明在实施的过程中考虑到了这一问题，当||υ_i||²＝0时，如图4所示，若平均像素值为0即在原点，该值说明该像素是前景像素则采用式(8)计算δ的值，否则按照式(4)计算：

$\mathrm{\&delta;}=\sqrt{{\left|\right|x_t\left|\right|}^2}---\left(8\right)$

ε₁是判定当前训练像素是否是背景的重要关键值。该值会随着应用场景的变化而变化。如图4所示，已创建码字构成的码本模型中像素最大值与平均值的距离是判定输入像素时是否在该决策面内部的依据，ε₁的计算公式如下所示：

ε₁＝υ_max-υ_m    (9)

其中，υ_max是已创建码字中的像素最大值，υ_m为所有已创建码字中像素的平均值。

3）若这两个条件的最终匹配结果都为真，则认为输入像素与码字匹配，并按下面的两个公式更新码字c_m(m为码字的索引)：

${\mathrm{\&upsi;}}_m=((f_m{\stackrel{\&OverBar;}{R}}_m+R_t)/(f_m+1),(f_m{\stackrel{\&OverBar;}{G}}_m+G_t)/(f_m+1),(f_m{\stackrel{\&OverBar;}{B}}_m+B_t)/(f_m+1))---\left(10\right)$

${\mathrm{\&upsi;}}_m=<\min \{I_t,I_m^{\min }\},\max \{I_t,I_m^{\max }\},f_m+1,\max \{{\mathrm{\&lambda;}}_m,t-q_m\},p_m,t>---\left(11\right)$

其中，f_m是属于与第m个码字匹配成功的次数，是属于该码字RGB颜色空间红、绿、蓝颜色分量均值，R_t、G_t、B_t分别代表输入像素x_t的RGB颜色空间红、绿、蓝颜色分量值，I_t代表输入像素x_t的亮度值，

分别代表该码字的最大和最小亮度值，λ_m代表该码字最长未被访问时间，t代表输入像素的帧数，p_m、q_m为该码字第一次和最后一次匹配成功的时间。若没有找到匹配的码字，那么L=L+1，创建一个新的码字。如果不是最后一帧，返回第二步，否则进行下一步。

步骤3初始码本模型建立完毕。

2、提纯码本

在上述过程中创建的初始码本中可能包含了运动目标和噪声，采用时间滤波方式对初始码本进行优化，消除一些可能代表运动目标和噪声的码字。具体步骤如下：

步骤1计算每个像素每个码字没有再次出现的最大时间间隔，即对c_i，i=1,…,L：

λ_i＝max{λ_i，(n-q_i+p_i-1)}    (12)

其中，n是RGB颜色空间向量的单个像素的序列采样数量即训练样本个数，λ_i是定义码本中第i个码字在训练阶段的没有被匹配的最大时间间隔，p_i、q_i为第一次和最后一次匹配成功的时间。

步骤2利用λ消除冗余码字，得到最能代表真实背景的精炼的初始码本M(k是码字的索引)

M＝{c_k|c_k∈c，λ_k≤T_M}    (13)

其中，T_M取训练帧数的一半，即n/2，是精简码本的一个全局阈值，表示所有代表背景的码字必须至少在n/2帧中出现，n代表训练样本的个数。

3、前景检测

背景相减法是将当前帧与背景模型相减，码本背景模型根据像素采样值与其码本是否匹配来判断。设输入像素为x_t及其对应的提纯码本M。其检测步骤如下：

步骤1计算输入像素x_t的亮度I，定义布尔变量matched=0，并给阈值ε₂赋值。

步骤2根据式(1)、(14)两个条件从其码本M中找出与x_t匹配的码字c_m，如果找到则matched=1：

colordist(x_t，υ_m)≤ε₂    (14)

其中，ε₂在步骤1中进行初始化，是一个全局阈值。

步骤3判断前景运动目标像素

$\mathrm{BGS}\left(x_t\right)=\left\{\begin{array}{cc}\mathrm{foreground}& \mathrm{matched}=1\\ \mathrm{background}& \mathrm{matched}=0\end{array}\right.---\left(15\right)$

其中，BGS(x_t)是判断输入像素x_t是前景还是背景的一个值，matched是一个布尔变量，记录步骤2中的匹配结果，foreground、background是分别代表前景和背景的常量值。

步骤4将图像二值化，即将判断为foreground输入像素的值设置为255，判断为background输入像素的值设为0，得到的二值图像作为最终的输出检测结果图像。

本发明的有益效果在于：本发明针对以往码本背景建模算法需根据不同的视频手动设置不同的匹配条件的阈值，而不同的视频阈值的大小会有很大的差异，从而不仅增加了人为因素对检测结果的影响，还使得检测结果具有不稳定性的缺点，提出了一种基于码本背景模型的自适应阈值运动目标检测方法，该方法能够自适应地调整阈值，能够获得很好的检测结果，具有很高的准确性。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述方法的流程示意图；

图2为算法流程图；

图3为创建初始码本的流程图；

图4为自适应阈值圆柱体码本模型图；

图5为实施例结果对比图。

具体实施方式

本发明的一个具体实施例如下：

采用http://www.changedetection.net上的视频资源作为实验数据库，选取了其中的WavingTrees、highway视频图像序列，并增加了一个自行拍摄的视频。

WavingTrees的图像分辨率为160像素×120像素，该图像序列包括了空旷的天空、背景纹理复杂的固定大树和晃动的树枝，共287张；highway序列图像的图像分辨率为320像素×240像像素，该图像序列中是在高速路上采集到的一段视频，该视频包括背景纹理较为复杂的大片树林，以及快速行驶通过的车辆，共1700张；自行拍摄的视频图像序列的图像分辨率为320像素×240像素，该视频背景较为简单，但是运动物体的运动情况变化较大以及光照影响较大，共818张。

实验采用的训练集和测试集的视频图像序列的帧数如表1所示。采用本发明方法对以上数据集进行测试。

具体测试结果如图5所示，从图5可以看出本发明提供的方法相对其他两种方法取得了更好的检测结果并对背景变化所带来的影响有较好的抑制。其中Video表示的测试图像来自于哪个视频图像序列，Original表示原始图像，GroundTruth表示手动分割得到的标准对比图像，GMM表示采用高斯混合模型方法得到的测试结果，Codebook表示的是码本模型方法得到的测试结果，Proposed表示的是采用自适应阈值码本背景模型方法即本发明方法所得到的测试结果。第二行代表在视频图像序列WavingTrees的第247帧的检测结果，从检测的结果图中可以看出本发明方法相对于其他两种方法获得更完整的背景和前景，只有少数误检的情况。第三行和四行测试图像分别来自于HighWay视频图像序列的第490和1376帧，在该视频图像中引起背景变化的因素较多且是一个长时间序列视频。在第490帧时，本发明方法检测结果最好。在第1376帧时本发明方法和高斯混合模型检测结果相当，比码本背景模型检测结果好。自行拍摄的视频图像序列，其背景较为简单，随着行人的走动、进入和动作的变化使得光照和阴影随着变化，故从最后一行可以看出三种算法取得的检测结果都较好，但本方法取得了更好的检测结果。

表1视频图像序列训练与测试帧

视频图像序列	训练帧	测试帧
			WavingTrees	1～200	247
HighWay	1～469	490
			HighWay	1～469	1376
SelfCapture	1～50	640

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种基于码本背景模型的自适应阈值运动目标检测方法，其特征在于：包括以下步骤：

步骤一：将输入的视频图像序列分为训练集和检测结果集，对输入的训练集通过自适应阈值方法创建初始码本背景模型；

步骤二：对创建的初始码本背景模型通过时间滤波方式进行提纯和优化；

步骤三：将提纯的码本背景模型应用于前景检测，将作为训练样本的前n帧图像作为训练集创建的码本背景模型与后续输入的视频图像序列相减；

步骤四：对得到的差分图像进行二值化，并将该二值图像作为最终的检测结果图像。

2.根据权利要求1所述的基于码本背景模型的自适应阈值运动目标检测方法，其特征在于：

步骤一具体包括以下步骤：

11）将每个像素的码本置空，即L=0，L为码本中码字的个数；

12）对于训练视频的每个像素点的序列值χ＝{x₁，x₂...，x_n}，

t＝1，...，n：

12a）如果码本为空，L=0，则创建一个码字L=L+1,

I代表亮度值；

12b）若码本不为空，则通过下面的判别式和将输入像素x_t与对应码本进行匹配：

δ＝colordist(x_t，υ_i)≤ε₁

其中，R、G、B分别代表该像素的RGB颜色空间的红，绿，蓝颜色分量值；I^low、I^hi变量的计算公式如下：

其中α，β是先验参数，用于限定最低和最高亮度范围；

用于限制最大边界值的先验参数δ的计算公式如下：

$\mathrm{\&delta;}=\sqrt{{\left|\right|x_t\left|\right|}^2-\frac{{<x_t,{\mathrm{\&upsi;}}_i>}^2}{{\left|\right|{\mathrm{\&upsi;}}_i\left|\right|}^2}}$

||x_t||²＝R²+G²+B²

${\left|\right|{\mathrm{\&upsi;}}_i\left|\right|}^2={\stackrel{\&OverBar;}{R}}_i^2+{\stackrel{\&OverBar;}{G}}_i^2+{\stackrel{\&OverBar;}{B}}_i^2$

${<x_t,{\mathrm{\&upsi;}}_i>}^2=R{\stackrel{\&OverBar;}{R}}_i+G{\stackrel{\&OverBar;}{G}}_i+B{\stackrel{\&OverBar;}{B}}_i$

其中，当||υ_i||²＝0时，采用计算δ的值，否则按照

计算；

阀值ε₁是判定当前训练像素是否是背景的重要关键值，ε₁的计算公式如下所示：

ε₁＝υ_max-υ_m，其中υ_max是已创建码字中的像素最大值，υ_m为所有已创建码字中像素的平均值；

12c）若这两个条件的最终匹配结果都为真，则认为输入像素与码字匹配，并按下面的两个公式更新码字c_m，其中m为码字的索引：

${\mathrm{\&upsi;}}_m=((f_m{\stackrel{\&OverBar;}{R}}_m+R_t)/(f_m+1),(f_m{\stackrel{\&OverBar;}{G}}_m+G_t)/(f_m+1),(f_m{\stackrel{\&OverBar;}{B}}_m+B_t)/(f_m+1))$

${\mathrm{\&upsi;}}_m=<\min \{I_t,I_m^{\min }\},\max \{I_t,I_m^{\max }\},f_m+1,\max \{{\mathrm{\&lambda;}}_m,t-q_m\},p_m,t>$

其中，f_m是属于与第m个码字匹配成功的次数，

是属于该码字RGB颜色空间红、绿、蓝颜色分量均值，R_t、G_t、B_t分别代表输入像素x_t的RGB颜色空间红、绿、蓝颜色分量值，I_t代表输入像素x_t的亮度值，

分别代表该码字的最大和最小亮度值，λ_m为该码字最长未被访问时间，t代表输入像素的帧数，p_m、q_m为该码字第一次和最后一次匹配成功的时间；

若没有找到匹配的码字，那么L=L+1，创建一个新的码字；如果不是最后一帧，返回第二步，否则进行下一步；

13）初始码本背景模型建立完毕。

3.根据权利要求2所述的基于码本背景模型的自适应阈值运动目标检测方法，其特征在于：

步骤二具体包括以下步骤：

21）计算每个像素每个码字没有再次出现的最大时间间隔，即对c_i，i=1,…,L；

λ_i＝max{λ_i，(n-q_i+p_i-1)}

其中，n是RGB颜色空间向量的单个像素的序列采样数量即训练样本个数，λ_i是定义码本中第i个码字在训练阶段的没有被匹配的最大时间间隔，p_i、q_i为第一次和最后一次匹配成功的时间；

22）利用λ消除冗余码字，得到最能代表真实背景的精炼的初始码本M

M＝{c_k|c_k∈c，λ_k≤T_M}

其中，k是码字的索引，T_M取训练帧数的一半，即n/2，表示所有代表背景的码字必须至少在n/2帧中出现，n代表训练样本的个数。

4.根据权利要求3所述的基于码本背景模型的自适应阈值运动目标检测方法，其特征在于：所述步骤三和步骤四具体包括：

1）计算输入像素x_t的亮度I，定义布尔变量matched=0，并给阈值ε₂赋值；

2）根据和colordist(x_t，υ_m)≤ε₂两个条件从其码本M中找出与x_t匹配的码字c_m，如果找到则matched=1；其中，ε₂在步骤1）中进行初始化，是一个全局阈值；

3）判断前景运动目标像素

$\mathrm{BGS}\left(x_t\right)=\left\{\begin{array}{cc}\mathrm{foreground}& \mathrm{matched}=1\\ \mathrm{background}& \mathrm{matched}=0\end{array}\right.$

其中，BGS(x_t)是判断输入像素x_t是前景还是背景的一个值，matched是一个布尔变量，记录步骤2）中的匹配结果，foreground、background分别代表前景和背景的常量值；

4）将图像二值化，即将判断为foreground输入像素的值设置为255，判断为background输入像素的值设为0，得到的二值图像作为最终的输出检测结果图像。

Images