CN104134218A - 一种基于分层匹配五元组Codebook的运动目标检测方法 - Google Patents

Abstract

本发明公开一种基于分层匹配五元组Codebook的运动目标检测方法。它包括：为每一个点建立一个码本并在码本中建立若干码字；读入新的一帧图像后，每一点的像素与它的对应码本中的码字进行分层匹配计算，如果码本中存在匹配的码字，则该点为背景，否则，为前景；码字模型里引入平均亮度，并依据平均亮度对低亮度和高亮度区域分别采取不同的匹配计算方式。本发明同时提高了Codebook运动目标检测方法的准确度和速度，并解决了Codebook运动目标检测方法的低亮度区域误检问题。

Description

一种基于分层匹配五元组Codebook的运动目标检测方法

技术领域

本发明涉及一种智能视频监控技术，尤其涉及一种运动目标检测方法。

背景技术

现在公共安全越来越受关注，视频监控作为一种维护公共安全的有效工具得到了广泛的应用。智能视频监控技术由于可以变被动监控为主动识别，将人从大量冗余信息中解脱出来而成为当今的一大研究热点。运动目标检测是实现智能视频监控的第一步。

运动目标检测大体有三种方法：帧间差分法、光流法、背景差分法。帧间差分法简单易于实现，但是对缓慢运动的物体不敏感，并且易出现变形；光流法计算复杂，不适合运动目标的实时检测；背景差分法由于其适中的计算复杂度和较高的检测准确度是实际中运用最多的运动目标检测算法。典型背景差分法有：核密度估计法、混合高斯背景建模和Codebook等。核密度估计法计算复杂度太大，混合高斯模型有前景光圈问题。Codebook内存利用率高、运算速度快、具有较强的鲁棒性，是目前最为先进的运动目标检测方法之一。但是该方法仍然存在以下缺陷：

1.运动目标检测在视频序列的低亮度区域存在误检问题。

2.对于运动目标检测的准确度和速度仍然有同时进一步提升的空间。

发明内容

为解决Codebook低亮度区域误检问题，并从准确度和速度两方面提高运动目标检测性能，本发明提供一种基于分层匹配的五元组Codebook运动目标检测方法。它具有准确度更高、速度更快等优点，并解决了Codebook方法的低亮度区域误检问题。

为实现上述目的，本发明采用如下技术方案：

一种基于分层匹配五元组Codebook的运动目标检测方法，包括如下步骤：

(1)为视频图像序列的每一个像素建立一个码本；

(2)用一段视频序列训练码本，即对每一像素与它的对应码本中的码字依次进行匹配计算，如果码本中存在匹配的码字，则用当前像素更新该匹配的码字；如果像素与码本中所有的码字均不匹配，则建立一个新的码字；

(3)用训练好的码本进行前景检测，即每一像素与它的对应码本中的码字依次进行匹配计算，如果码本中存在匹配的码字，则判断该点为背景点；如果像素与码本中的所有码字均不匹配，则判断该点为前景点；

其特征在于：步骤(1)中建立的码本C中包含L个码字C＝{c_i|1≤i≤L}，第i个码字c_i由RGB向量v_i＝(R_i,G_i,B_i)和五元组aux_i＝<I_i,f_i,λ_i,p_i,q_i>两部分组成，其中五元组中各元素的含义为：I_i，平均亮度；f_i，码字被访问的频数；λ_i，最大不重复访问时间间隔；p_i，码字第一次被访问时间；q_i，码字最后一次被访问时间；

并且，在步骤(2)和(3)中进行像素与码字的匹配计算时，匹配条件包括颜色扭曲度匹配和亮度匹配，匹配范围由参数颜色扭曲度匹配阈值ε_c和亮度匹配上下界I_hi和I_low确定，对于高亮度和低亮度区域分别采取不同的匹配计算方式，即ε_c、I_hi和I_low的计算公式如下：

${\mathrm{\&epsiv;}}_c=\left\{\begin{array}{ccc}\mathrm{\&chi;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\mathrm{\&epsiv;}}_{c0}=\mathrm{\&chi;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.$

$I_{\mathrm{hi}}=\left\{\begin{array}{ccc}\mathrm{\&beta;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i=(1+\mathrm{\&theta;})\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\stackrel{\&OverBar;}{I}}_i+{\mathrm{\&epsiv;}}_{b0}={\stackrel{\&OverBar;}{I}}_i+\mathrm{\&theta;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.$

$I_{\mathrm{low}}=\left\{\begin{array}{ccc}\mathrm{\&alpha;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i=(1-\mathrm{\&theta;})\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\stackrel{\&OverBar;}{I}}_i-{\mathrm{\&epsiv;}}_{b0}={\stackrel{\&OverBar;}{I}}_i-\mathrm{\&theta;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.$

其中，ε是用于判断当前像素的亮度是否是低亮度的阈值；是第i个码字中五元组中的平均亮度；χ是用于计算颜色扭曲度匹配阈值的一个变量，取值在0到1之间；ε_c0是在低亮度区域颜色扭曲度匹配阈值所取的定值；θ是用于计算亮度匹配上下界的一个变量，取值在0到1之间；β是在高亮度区域亮度匹配上界与平均亮度的比值，其值等于1+θ；ε_b0是在低亮度区域亮度匹配范围的一半，ε_c0和ε_b0共同保证在低亮度区域匹配范围不会太小，防止低亮度区域误检的出现；α是在高亮度区域亮度匹配下界与平均亮度的比值，其值等于1-θ。以上三个公式可以合并成如下公式：

$\left\{\begin{array}{c}{I}_{\mathrm{low}}={\stackrel{\&OverBar;}{I}}_i-\mathrm{\&theta;\&Lambda;}\\ I_{\mathrm{hi}}={\stackrel{\&OverBar;}{I}}_i+\mathrm{\&theta;\&Lambda;}\\ {\mathrm{\&epsiv;}}_c=\mathrm{\&chi;\&Lambda;}\end{array}\right.$

其中， $\mathrm{\&Lambda;}={\stackrel{\&OverBar;}{I}}_i\&CenterDot;U({\stackrel{\&OverBar;}{I}}_i-\mathrm{\&epsiv;})+\mathrm{\&epsiv;}\&CenterDot;U(-{\stackrel{\&OverBar;}{I}}_i+\mathrm{\&epsiv;}),$ 式中的U(x)是单位阶跃函数。

本发明具有如下有益效果：

1.Codebook运动目标检测方法是目前最先进的运动目标检测方法之一，但是，当前对于该方法的改进方法只能从检测的准确度或速度一方面提高方法的性能。本发明的有益效果在于同时提高了Codebook方法的准确度和速度。

2.Codebook运动目标检测方法进行当前像素与码字的匹配计算时，在低亮度区域，匹配范围特别小，导致当前像素稍有偏差就会匹配失败，存在低亮度区域误检问题。本发明的有益效果在于，由于对高低亮度区域分别设置了不同的匹配范围计算方法，解决了原始方法的低亮度区域误检问题。

附图说明

图1是本发明基于分层匹配五元组Codebook的运动目标检测方法流程图；

图2是对自拍视频利用多种运动目标检测方法得到的效果对比图，其中a是视频中的原图，b是手动分割出的运动目标，c是利用混合高斯背景建模方法得到的运动目标检测效果图，d是利用Codebook方法得到的运动目标检测效果图，e是利用本发明得到的运动目标检测效果图。

图3是对视频Waving Tree利用多种运动目标检测方法得到的效果对比图，其中a是视频中的原图，b是手动分割出的运动目标，c是利用混合高斯背景建模方法得到的运动目标检测效果图，d是利用Codebook方法得到的运动目标检测效果图，e是利用本发明得到的运动目标检测效果图。

图4是Codebook、本发明以及混合高斯背景建模三种运动目标检测方法的ROC曲线。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明的一种基于分层匹配五元组的Codebook运动目标检测方法具体实现过程如下(以下过程针对视频序列的某一像素，要完成整幅图片的检测，要对每一像素执行以下步骤)：

1.初始化：为每个点建立一个码本C，码本中包含若干码字C＝{c_i|1≤i≤L}，L为码本中码字的个数。第i个码字c_i由两部分组成：RGB向量和五元组五元组中各元素的含义如下：平均亮度；f_i，码字被访问的频数；λ_i，最大不重复访问时间间隔；p_i，码字第一次被访问时间；q_i，码字最后一次被访问时间。

2.背景模型的训练

若用视频的前N帧来训练背景模型，则对于某一像素，用于训练的像素值序列为(序列中的每个元素都是一个包含R、G、B三个量的向量，t表示该像素取自第t帧)，现在以该像素为例说明码本的训练过程。

(1)建立码本。

为该像素建立码本C_L，初始化码本为空集，即码字个数L＝0。

(2)训练码字。

t从0到N循环执行以下步骤：

①读入像素值：计算亮度 $I=\sqrt{R_t^2+G_t^2+B_t^2}.$

②像素值与码字进行匹配计算：

在C_L＝{c_i|1≤i≤L}中寻找与匹配的码字，匹配条件为：

●颜色扭曲度：

其中，是第i个码字中的颜色向量，ε_c是颜色扭曲度匹配阈值，p是当前像素的颜色向量在上的投影，计算公式如下：

●亮度：

$\mathrm{brightness}(I,{\stackrel{\&OverBar;}{I}}_i)=\mathrm{TRUE}---\left(3\right)$

$\mathrm{brightness}(I,{\stackrel{\&OverBar;}{I}}_i)=\left\{\begin{array}{ccc}\mathrm{true},& \mathrm{if}& I_{\mathrm{low}}\&le;I\&le;I_{\mathrm{hi}}\\ \mathrm{false},& \mathrm{otherwise}& \end{array}\right.---\left(4\right)$

其中，是第i个码字中五元组中的平均亮度，I_hi和I_low是亮度匹配范围的上下界ε_c、I_hi和I_low的计算公式如下：

${\mathrm{\&epsiv;}}_c=\left\{\begin{array}{ccc}\mathrm{\&chi;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\mathrm{\&epsiv;}}_{c0}=\mathrm{\&chi;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.---\left(5\right)$

$I_{\mathrm{hi}}=\left\{\begin{array}{ccc}\mathrm{\&beta;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i=(1+\mathrm{\&theta;})\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\stackrel{\&OverBar;}{I}}_i+{\mathrm{\&epsiv;}}_{b0}={\stackrel{\&OverBar;}{I}}_i+\mathrm{\&theta;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.---\left(6\right)$

$I_{\mathrm{low}}=\left\{\begin{array}{ccc}\mathrm{\&alpha;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i=(1-\mathrm{\&theta;})\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\stackrel{\&OverBar;}{I}}_i-{\mathrm{\&epsiv;}}_{b0}={\stackrel{\&OverBar;}{I}}_i-\mathrm{\&theta;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.---\left(7\right)$

其中，ε是用于判断当前像素的亮度是否是低亮度的阈值；是第i个码字中五元组中的平均亮度；χ是用于计算颜色扭曲度匹配阈值的一个变量，取值在0到1之间；ε_c0是在低亮度区域颜色扭曲度匹配阈值所取的定值；θ是用于计算亮度匹配上下界的一个变量，取值在0到1之间；β是在高亮度区域亮度匹配上界与平均亮度的比值，其值等于1+θ；ε_b0是在低亮度区域亮度匹配范围的一半，ε_c0和ε_b0共同保证在低亮度区域匹配范围不会太小，防止低亮度区域误检的出现；α是在高亮度区域亮度匹配下界与平均亮度的比值，其值等于1-θ。以上三个公式可以合并成如下公式：

$\left\{\begin{array}{c}{I}_{\mathrm{low}}={\stackrel{\&OverBar;}{I}}_i-\mathrm{\&theta;\&Lambda;}\\ I_{\mathrm{hi}}={\stackrel{\&OverBar;}{I}}_i+\mathrm{\&theta;\&Lambda;}\\ {\mathrm{\&epsiv;}}_c=\mathrm{\&chi;\&Lambda;}\end{array}\right.---\left(8\right)$

其中， $\mathrm{\&Lambda;}={\stackrel{\&OverBar;}{I}}_i\&CenterDot;U({\stackrel{\&OverBar;}{I}}_i-\mathrm{\&epsiv;})+\mathrm{\&epsiv;}\&CenterDot;U(-{\stackrel{\&OverBar;}{I}}_i+\mathrm{\&epsiv;}),$ 式中的U(x)是单位阶跃函数。

③如果L＝0或没有与匹配的码字，令L＝L+1，建立一个新的码字

●颜色向量：

●五元组：aux_L＝＜I,1,t-1,t,t＞

④如果与c_i(v_i,aux_i)匹配，更新码字

●更新颜色向量：

●更新五元组： ${\mathrm{aux}}_i=<\frac{f_i\&CenterDot;{\stackrel{\&OverBar;}{I}}_i+I}{f_i+1},f_i+1,\max \{{\mathrm{\&lambda;}}_i,t-q_i\},p_i,t>$

(3)调整λ_i：对于每个码字c_i，使λ_i＝max{λ_i,(N-q_i+p_i-1)}。

(4)删除非背景码字

该过程基于背景出现的概率大于50％的假设。具体操作可以用如下公式表示：

M＝{c_m|c_m∈C_L∧λ_m≤T_M}  (9)

通常T_M＝N/2，M为描述背景的码字集合，即删减非背景码字以后的码本，c_m是C_L中的码字，λ_m是c_m中五元组中的最大不访问间隔。

3.前景检测

采用与训练码本相同的方法进行新像素与码字的匹配，若匹配，更新码字，并且判断为背景；若与码本中所有码字均不匹配，判断为前景。

实验中使用的PC机处理器为Intel(R)Core(TM)i3，安装内存3.0GB，使用64位Windows7操作系统。编程环境是Microsoft Visual Studio 2010，并配置OpenCV。结合图2、图3，本发明的运动目标检测效果好于Codebook方法，Codebook方法的效果好于混合高斯背景建模方法。结合图2，对于画面中汽车的底部和轮胎以及画面的下边界等低亮度区域，Codebook方法有明显的误检，本发明减轻了低亮度区域误检。

Claims (1)

1.一种基于分层匹配五元组Codebook的运动目标检测方法，包括如下步骤：

(1)为视频图像序列的每一个像素建立一个码本；

(2)用一段视频序列训练码本，即对每一像素与它的对应码本中的码字依次进行匹配计算，如果码本中存在匹配的码字，则用当前像素更新该匹配的码字；如果像素与码本中所有的码字均不匹配，则建立一个新的码字；

(3)用训练好的码本进行前景检测，即每一像素与它的对应码本中的码字依次进行匹配计算，如果码本中存在匹配的码字，则判断该点为背景点；如果像素与码本中的所有码字均不匹配，则判断该点为前景点；

其特征在于：步骤(1)中建立的码本C中包含L个码字C＝{c_i|1≤i≤L}，第i个码字c_i由RGB向量v_i＝(R_i,G_i,B_i)和五元组aux_i＝<I_i,f_i,λ_i,p_i,q_i>两部分组成，其中五元组中各元素的含义为：I_i，平均亮度；f_i，码字被访问的频数；λ_i，最大不重复访问时间间隔；p_i，码字第一次被访问时间；q_i，码字最后一次被访问时间；

并且，在步骤(2)和(3)中进行像素与码字的匹配计算时，匹配条件包括颜色扭曲度匹配和亮度匹配，匹配范围由参数颜色扭曲度匹配阈值ε_c和亮度匹配上下界I_hi和I_low确定，对于高亮度和低亮度区域分别采取不同的匹配计算方式，即ε_c、I_hi和I_low的计算公式如下：

${\mathrm{\&epsiv;}}_c=\left\{\begin{array}{ccc}\mathrm{\&chi;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\mathrm{\&epsiv;}}_{c0}=\mathrm{\&chi;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.$

$I_{\mathrm{hi}}=\left\{\begin{array}{ccc}\mathrm{\&beta;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i=(1+\mathrm{\&theta;})\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\stackrel{\&OverBar;}{I}}_i+{\mathrm{\&epsiv;}}_{b0}={\stackrel{\&OverBar;}{I}}_i+\mathrm{\&theta;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.$

$I_{\mathrm{low}}=\left\{\begin{array}{ccc}\mathrm{\&alpha;}\&CenterDot;{\stackrel{\&OverBar;}{I}}_i=(1-\mathrm{\&theta;})\&CenterDot;{\stackrel{\&OverBar;}{I}}_i& \mathrm{if}& {\stackrel{\&OverBar;}{I}}_i>\mathrm{\&epsiv;}\\ {\stackrel{\&OverBar;}{I}}_i-{\mathrm{\&epsiv;}}_{b0}={\stackrel{\&OverBar;}{I}}_i-\mathrm{\&theta;}\&CenterDot;\mathrm{\&epsiv;}& \mathrm{otherwise}& \end{array}\right.$

其中，ε是用于判断当前像素的亮度是否是低亮度的阈值；是第i个码字中五元组中的平均亮度；χ是用于计算颜色扭曲度匹配阈值的一个变量，取值在0到1之间；ε_c0是在低亮度区域颜色扭曲度匹配阈值所取的定值；θ是用于计算亮度匹配上下界的一个变量，取值在0到1之间；β是在高亮度区域亮度匹配上界与平均亮度的比值，其值等于1+θ；ε_b0是在低亮度区域亮度匹配范围的一半，ε_c0和ε_b0共同保证在低亮度区域匹配范围不会太小，防止低亮度区域误检的出现；α是在高亮度区域亮度匹配下界与平均亮度的比值，其值等于1-θ。以上三个公式可以合并成如下公式：

$\left\{\begin{array}{c}{I}_{\mathrm{low}}={\stackrel{\&OverBar;}{I}}_i-\mathrm{\&theta;\&Lambda;}\\ I_{\mathrm{hi}}={\stackrel{\&OverBar;}{I}}_i+\mathrm{\&theta;\&Lambda;}\\ {\mathrm{\&epsiv;}}_c=\mathrm{\&chi;\&Lambda;}\end{array}\right.$

其中， $\mathrm{\&Lambda;}={\stackrel{\&OverBar;}{I}}_i\&CenterDot;U({\stackrel{\&OverBar;}{I}}_i-\mathrm{\&epsiv;})+\mathrm{\&epsiv;}\&CenterDot;U(-{\stackrel{\&OverBar;}{I}}_i+\mathrm{\&epsiv;}),$ 式中的U(x)是单位阶跃函数。