CN101964113A - 光照突变场景下的运动目标检测方法 - Google Patents

Abstract

一种视频图像处理技术领域的光照突变场景下的运动目标检测方法，通过对视频序列中的每帧经Gabor滤波后的图像进行相位特征提取并构成高斯混合背景模型，然后对该模型进行更新并采用该模型对特征图像进行目标检测，得到更新后的高斯混合背景模型和检测图像，通过将检测图像进行距离变换和分割处理后得到检测结果。本发明在光照突变这一复杂环境下的目标检测结果准确而可靠。

Description

光照突变场景下的运动目标检测方法

技术领域

本发明涉及的是一种视频图像处理技术领域的方法，具体是一种光照突变场景下的运动目标检测方法。

背景技术

运动目标检测方法的研究和应用是计算机视觉、智能视频分析领域的一个活跃的分支，在视频监控、安全检查、自动控制等系统中具有重要的地位。准确而可靠的运动目标检测结果将为后续的目标识别、目标跟踪以及行为分析等处理环节提供了坚实而有效的保障。

目前的运动目标检测方法在通常的环境下已取得比较稳定且可靠的结果，但这些方法在复杂场景下的性能不能令人满意。光照突变场景下的运动目标检测作为若干复杂场景下目标检测的难点之一，受到广泛的研究和关注，发明一种适用于光照突变场景下的运动目标检测方法具有重要的意义。

现有的运动目标检测方法主要分为：光流法，帧间差分法和背景差分法。

光流法是通过计算像素点的运动矢量来分离运动目标的，这种方法运动量大，复杂度高，目前主要在移动摄像头的情况下使用。帧间差分法是根据相邻帧间的像素强度的变化来检测得到运动目标，这种方法虽然简单，但这种方法只能提取轮廓，对噪声也很敏感，因此实用性也不强。

背景差分法是目前最常用的运动目标检测方法，其基本思想是通过对视频帧的学习建立高斯混合背景模型，将新输入的视频图像与高斯混合背景模型进行比较，当差值大于某个阈值的时候，判断该像素为前景，否则属于背景，从而完成运动目标的检测。背景差分法中代表性的方法有：C.Stauffer and W.E.L.Grimson等人1999年在Proc.Conf.Computer Vision andPattern Recognition(计算机视觉与模式识别国际会议)发表的“Adaptive backgroundmixture models of real-time tracking”(用于实时跟踪的自适应背景混合模型)一文中提出的高斯混合背景模型法，该方法认为像素点的分布为高斯分布，每个像素点的值可由多个自适应的高斯混合背景模型加权组合得到，从而建立了高斯混合背景模型实现运动目标的检测；A.Elgammal，R.Duraiswami，D.Harwood and L.S.Davis等人在2002年在Proc.IEEE(电子与电气工程师协会会刊)发表的“Background and foreground modeling using non-parametric kernel density estimation for visual surveillance”(用于视频监控的基于非参数核密度估计的背景前景建模)一文中提出用核密度的方法进行背景建模，该方法对像素点的分布不做任何假设，通过在时域方法对像素点的统计得到核函数的参数估计，依据这些参数和核函数建立起了高斯混合背景模型，进行目标检测；M.

and M.等人在2006年IEEE Trans.Pattern.Mall.Mach.Intell.(国际电子与电气工程师协会《模式识别与机器智能》期刊)发表的“A texture-based method for modeling the backgroundand detecting moving objects”(基于纹理的背景建模和运动物体检测方法)一文中提出基于纹理建模的思想，该方法对每个像素点计算某一纹理值，然后计算以该点为中心一定半径范围内的纹理直方图，以纹理直方图作为像素点的特征，通过为每个像素点建立混合纹理直方图来进行背景建模实现目标检测。

上述背景的差分方法不适应于背景突变的环境下目标检测，由于在短时间内背景的像素值几乎全部发生了剧烈变化，这些方法将大量的背景点误检为前景点。因此，需要寻求一种能够在背景突变这一复杂环境下的运动目标检测方法。

发明内容

本发明针对现有技术存在的上述不足，提供一种光照突变场景下的运动目标检测方法，在光照突变这一复杂环境下的目标检测结果准确而可靠。

本发明是通过以下技术方案实现的，本发明通过对视频序列中的每帧经Gabor滤波后的图像进行相位特征提取并构成高斯混合背景模型，然后对该模型进行更新并采用该模型对特征图像进行目标检测，得到更新后的高斯混合背景模型和检测图像，通过将检测图像进行距离变换和分割处理后得到检测结果。

所述的Gabor滤波是指：对每帧图像用Gabor滤波器进行滤波，使每个像素点拥有一个特征集；然后进行相位特征提取并将相位特征值进行累加，构成相位特征。

所述的特征集通过以下方式获得：将图像划分为N×N不重叠的图像块，每个图像块与Gabor滤波器进行卷积运算，分别得到N×N大小的Gabor幅度响应矩阵和相位响应矩阵，然后构造不同频率和方向的μ_max×v_max个Gabor滤波器，并将上述每个图像块均与这μ_max×v_max个滤波器组进行卷积运算，得到图像中的每个像素点都拥有μ_max×v_max个Gabor幅度响应值和相位响应值，其中：N表示图像块的大小，μ_max表示Gabor滤波器组的不同方向的个数，v_max表示Gabor滤波器的不同频率的个数。

所述的相位特征提取是指：

1)每帧经Gabor滤波后的图像的系数为：

G_μ，v(z)＝A_μ，v(z)·exp(iθ_μ，v(z))                  (1)

其中：G_μ，v(z)表示像素点z与频率为v方向为μ时的Gabor滤波器进行卷积的结果，A_μ，v(z)表示该卷积结果的幅度值，θ_μ，v(z)表示该卷积结果的相位值，且θ_μ，v(z)∈[0，2π)；

2)提取所有G_μ，v(z)系数中最大的L个A_μ，v(z)所对应的θ_μ，v(z)并累加起来，形成用于背景建模和目标检测的相位特征：

$p_t\left(z\right)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\θ}}_i\left(z\right)---\left(2\right)$

其中：p_t(z)表示抽取得到的像素点z当前的相位特征，L表示需要提取的Gabor相位值的数量，θ_i(z)表示Gabor卷积所得的系数组中第i大的幅度响应值所对应的相位值。

所述的高斯混合背景模型通过以下方式获得：用视频序列的第一帧图像建立基于相位特征的高斯混合背景模型以完成初始化工作，图像中观察到像素点z当前的相位特征为p_t(z)的概率由K高斯混合背景模型加权得到，其中：

$\mathrm{Density}\left(p_t\left(z\right)\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\mathrm{\η}(p_t\left(z\right),{\mathrm{\μ}}_i,{\mathrm{\σ}}_i)---\left(3\right)$

其中：μ_i，σ_i，分别表示第i个高斯分布η的均值和方差，K表示高斯模型的数量，ω_i表示第i个高斯分布的权重，且

$\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_i=1---\left(4\right)$

所述的初始化是指：将相位特征p_t(z)作为其高斯混合分布的均值，且给每个高斯分布一个初始化均方差和权值。

所述的目标检测是指：

a)从视频序列的第二帧图像开始，将图像中每个像素点的相位特征值依次与其高斯混合背景模型进行比较，当满足以下条件时则执行步骤b)，否则执行步骤c)：(在此各参数值均默认为针对素点z的)

其中：p_t为p_t(z)的简写，是当前像素点z特征值，μ_k和σ_k分别表示第k个高斯分布的均值与方差，L表示需要提取的Gabor相位值的数量，ε表示奇异区范围。

b)设符合条件的高斯背景模型为η(μ_i，σ_i)，学习因子为α(0＜α＜1)，则对该模型参数根据不同的条件进行如下更新：

a.如果(μ_i＜ε)且(L*2π-p_t＜ε)

$\left\{\begin{array}{c}{\mathrm{\μ}}_i={\mathrm{\μ}}_i+\mathrm{\α}(p_t-{\mathrm{\μ}}_i-L*2\mathrm{\π})\\ {\mathrm{\σ}}_i^2=(1-\mathrm{\α}){\mathrm{\σ}}_i^2+\mathrm{\α}{(p_t-{\mathrm{\μ}}_i-L*2\mathrm{\π})}^2\end{array}\right.---\left(6\right)$

b.如果(p_t＜ε)且(L*2π-μ_i＜ε)

$\left\{\begin{array}{c}{\mathrm{\μ}}_i={\mathrm{\μ}}_i+\mathrm{\α}(p_t-{\mathrm{\μ}}_i+L*2\mathrm{\π})\\ {\mathrm{\σ}}_i^2=(1-\mathrm{\α}){\mathrm{\σ}}_i^2+\mathrm{\α}{(p_t-{\mathrm{\μ}}_i+L*2\mathrm{\π})}^2\end{array}\right.---\left(7\right)$

c.其他

$\left\{\begin{array}{c}{\mathrm{\μ}}_i={\mathrm{\μ}}_i+\mathrm{\α}(p_t-{\mathrm{\μ}}_i)\\ {\mathrm{\σ}}_i^2=(1-\mathrm{\α}){\mathrm{\σ}}_i^2+\mathrm{\α}{(p_t-{\mathrm{\μ}}_i)}^2\end{array}\right.---\left(8\right)$

且对μ_i更新完后，需要检查其是否超出范围，若μ_i＜0或μ_i≥L*2π，则需要进行如下操作：

高斯混合背景模型的权值更新按如下公式进行：

ω_k＝(1-α)ω_k+αM_k                         (10)

其中：ω_k表示第k个高斯背景模型的权重，M_k对于符合条件的高斯背景模型时为1，其他情况为0。

c)在没有高斯混合背景模型符合判定条件时，对权值最小的高斯背景模型进行处理，将其分布的均值设为当前像素特征值p_t，均方值设为初始值σ_init，将其权值设为很小的设定值ω_init，并对权值作归一化处理。

d)根据各高斯混合背景模型ω/σ的比值大小，将高斯混合背景模型按降序排列，取前B个分布作为背景分布，得到：

ω₁+…+ω_B＞T_B    T_B∈[0，1]              (11)

其中：T_B为设定的阈值表示场景中背景的最小概率。如果像素点对应的特征值与B个高斯分布中任何一个满足公式(5)的判定条件，则对应的像素点z被分类为背景点，否则将z分类为前景点。

所述的距离变换：用欧几里得距离为度量对基于相位特征的高斯混合背景模型的检测图像结果进行距离变换，得到距离图像。

所述的分割处理是指：采用阈值判断方式对距离变换后得到的距离图像进行分割，运用数学形态学方法得到检测结果。

与现有技术相比，本发明提供一种光照突变环境下的运动目标检测方法，使得在光照突变这一复杂环境下的运动目标检测结果准确而可靠，为光照突变环境下运动目标的检测这一难题提供了有效的解决方案。

附图说明

图1为本发明的流程图。

图2为实施例效果示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，各部分具体实施细节如下：

(1).特征集构造：将图像划分为4×4不重叠的块，每个图像块进行Gabor滤波器组卷积运算，分别得到4×4大小的Gabor幅度响应矩阵和相位响应矩阵，且4×4卷积结果表示原图像块中对应位置像素点的Gabor幅度响应和相位响应。共构造6个不同方向，4个不同频率的Gabor滤波器组，得到图像中的每个像素点都拥有6×4＝24个不同的Gabor系数。

(2).相位特征提取：图像块经Gabor滤波器卷积后，每个像素点拥有24个Gabor系数，Gabor系数的幅度值越大，则表明其对信息的表达越充分，对应的相位值也就越能表示像素所含的信息。提取24个Gabor系数中5个最大的Gabor幅度值所对应的相位值相加(依据公式(2))，得到用于背景建模和目标检测的相位特征p_t(z)。

(3).高斯混合背景模型建立及初始化：高斯混合背景模型建立及初始化是针对视频序列的第一帧而言的，若输入的视频帧不为序列的第一帧，则跳过此环节，进入步骤(4)；否则执行完该步骤后直接步骤(5).

建立基于相位特征的高斯混合背景模型(依据公式(3))，将像素点的相位特征值赋给其每个高斯混合背景模型中的均值，初始方差选择为σ_init＝2，高斯混合背景模型的数量设置为K＝3，每个高斯混合背景模型的权重均设为ω＝0.333，这样完成了高斯混合背景模型的建立和初始化工作。

(4).高斯混合背景模型更新与目标检测：高斯混合背景模型的更新与目标检测从视频序列的第二帧开始，若为序列第一帧，则不进行本步骤操作，转而进入步骤(3)；否则执行完该步骤后进入步骤(5).

高斯混合背景模型的更新是将图像中每个像素点的相位特征值依次与其高斯混合背景模型进行比较，依据公式(5)判断是否有符合条件的高斯背景模型存在，若存在，则依据公式(6)～(10)完成对模型参数的更新；若不存在这样的高斯背景模型，则对权值最小的高斯背景模型进行处理，将其分布的均值设为当前像素特征值p_t，均方值设为初始值σ_init，将其权值设为很小的设定值ω_init，并对权值作归一化处理。

在目标检测阶段，依据公式(11)取得属于背景的高斯分布，若当前像素特征值与高斯背景模型中的任意一个满足公式(5)判定条件，则该像素点被分类为背景点；否则分类为前景点。

将学习因子设为α＝0.005，方差初始值ω_init＝2，权值ω_init＝0.05，目标检测阈值T_B＝0.7。

(5).距离变换：对基于相位特征的高斯混合背景模型的初步检测结果用欧几里得距离为度量进行距离变换。在进行距离变换前可对图像进行中值滤波处理，以滤除一些噪声点。

(6).距离图分割：采用合适的阈值对距离图进行二值化操作，阈值取为1.2。

(7).后处理：运用形态学膨胀操作将孤立的小区域连接起来；接着进行区域填充，将内部封闭空洞补充完整；面积小于一定阈值的区域被认为是伪目标，将其去除，在此面积阈值参数取为150；最后对所得结果进行腐蚀操作，还原检测目标的基本结构。膨胀和腐蚀的操作算子取为半径为1的圆。

实施效果

依据上述步骤，对由Microsoft公司提供的公开的光照突变测试序列进行实验。序列场景为首先屋子内关着灯且没有人，然后一个人开门进来并打开灯后入座，序列中定义开灯的瞬间为光照突变，本方法测试光照突变后很短的几帧内运动目标的检测结果。

如图2所示，图(a)为序列输入帧，也就是光照突变前的图像；图(b)和图(c)分别光照突变后的第4帧的测试图像及其检测结果；图(d)和图(e)分别光照突变后的第8帧的测试图像及其检测结果；图(f)和图(g)分别光照突变后的第13帧的测试图像及其检测结果。从图中可以看出本发明方法在光照突变环境下对运动目标的检测结果准确而可靠，体现了本发明的有效性和价值性。

为了体现本发明的进步性，本方法与传统的高斯混合背景模型法(C.Stauffer等提出，简称GMM)和核密度估计方法(A.Elgammal等提出，简称KDE)进行了量化比较。本发明采用查准率和查全率(Precision and Recall)作为衡量指标对三种方法的检测结果进行评价。其中

查准率(Precision)定义为：

查全率(Recall)定义为：

这两个指标越高表明方法越有效。

通过对上述三种方法在该测试序列对应的10帧结果进行测试，并将评价结果取平均最终得到的量化比较结果如下：

	GMM	KDE	本文方法
				Precision	12.29％	14.31％	68.28％
Recall	74.91％	57.61％	98.73％

量化评价结果对比说明本方法在查准率和查全率两个方面均优于上述传统两种方法，进一步体现了本方法的价值。

Claims (9)

1.一种光照突变场景下的运动目标检测方法，其特征在于，通过对视频序列中的每帧经Gabor滤波后的图像进行相位特征提取并构成高斯混合背景模型，然后对该模型进行更新并采用该模型对特征图像进行目标检测，得到更新后的高斯混合背景模型和检测图像，通过将检测图像进行距离变换和分割处理后得到检测结果。

2.根据权利要求1所述的光照突变场景下的运动目标检测方法，其特征是，所述的Gabor滤波是指：对每帧图像用Gabor滤波器组进行滤波，使每个像素点拥有一个特征集；然后进行相位特征提取并将相位特征值进行累加，构成相位特征。

3.根据权利要求1或2所述的光照突变场景下的运动目标检测方法，其特征是，所述的特征集通过以下方式获得：将图像划分为4×4不重叠的图像块，每个图像块与Gabor滤波器进行卷积运算，分别得到4×4大小的Gabor幅度响应矩阵和相位响应矩阵，然后构造6不同频率和4方向的6×4＝24个Gabor滤波器组，并将上述每个图像块均与这24个滤波器组进行卷积运算，得到图像中的每个像素点都拥有24个Gabor幅度响应值和相位响应值。

4.根据权利要求1所述的光照突变场景下的运动目标检测方法，其特征是，所述的相位特征提取是指：

1)每帧图像经Gabor滤波后的系数为：

G_μ，v(z)＝A_μ，v(z)·exp(iθ_μ，v(z))                 (1)

其中：G_μ，v(z)表示像素点z与频率为v方向为μ时的Gabor滤波器进行卷积的结果，A_μ，v(z)表示该卷积结果的幅度值，θ_μ，v(z)表示该卷积结果的相位值，且θ_μ，v(z)∈[0，2π)；

2)提取所有G_μ，v(z)系数中最大的L个A_μ，v(z)所对应的θ_μ，v(z)并累加起来，形成用于背景建模和目标检测的相位特征：

$p_t\left(z\right)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\θ}}_i\left(z\right)---\left(2\right)$

其中：p_t(z)表示抽取得到的像素点z当前的相位特征，L表示需要提取的Gabor相位值的数量，θ_i(z)表示Gabor卷积所得的系数组中第i大的幅度响应值所对应的相位值。

5.根据权利要求1所述的光照突变场景下的运动目标检测方法，其特征是，所述的高斯混合背景模型通过以下方式获得：用视频序列的第一帧图像建立基于相位特征的高斯混合背景模型并完成初始化工作，图像中观察到像素点z当前的相位特征为p_t(z)的概率由K高斯混合背景模型加权得到，其中：

$\mathrm{Density}\left(p_t\left(z\right)\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\mathrm{\η}(p_t\left(z\right),{\mathrm{\μ}}_i,{\mathrm{\σ}}_i)---\left(3\right)$

其中：μ_i，σ_i分别表示第i个高斯分布η的均值和方差，K表示高斯分布的数量，ω_i表示第i个高斯分布的权重，且

$\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_i=1---\left(4\right).$

6.根据权利要求1所述的光照突变场景下的运动目标检测方法，其特征是，所述的初始化是指：将相位特征p_t(z)作为其高斯混合分布的均值，且给每个高斯分布一个初始化均方差和权值。

7.根据权利要求1所述的光照突变场景下的运动目标检测方法，其特征是，所述的目标检测是指：

a)从视频序列的第二帧图像开始，将图像中每个像素点的相位特征值依次与其高斯混合背景模型进行比较，当满足以下条件时则执行步骤b)，否则执行步骤c)：(在此各参数值均默认为针对素点z的)

其中：p_t为p_t(z)的简写，为当前像素点z特征值，μ_k和σ_k分别表示第k个高斯分布的均值与方差，L表示需要提取的Gabor相位值的数量，ε表示奇异区范围；

b)设符合条件的高斯背景模型为η(μ_i，σ_i)，学习因子为α(0＜α＜1)，则对该模型参数根据不同的条件进行如下更新：

a.如果(μ_i＜ε)且(L*2π-p_t＜ε)

$\left\{\begin{array}{c}{\mathrm{\μ}}_i={\mathrm{\μ}}_i+\mathrm{\α}(p_t-{\mathrm{\μ}}_i-L*2\mathrm{\π})\\ {\mathrm{\σ}}_i^2=(1-\mathrm{\α}){\mathrm{\σ}}_i^2+\mathrm{\α}{(p_t-{\mathrm{\μ}}_i-L*2\mathrm{\π})}^2\end{array}\right.---\left(6\right)$

b.如果(p_t＜ε)且(L*2π-μ_i＜ε)

$\left\{\begin{array}{c}{\mathrm{\μ}}_i={\mathrm{\μ}}_i+\mathrm{\α}(p_t-{\mathrm{\μ}}_i+L*2\mathrm{\π})\\ {\mathrm{\σ}}_i^2=(1-\mathrm{\α}){\mathrm{\σ}}_i^2+\mathrm{\α}{(p_t-{\mathrm{\μ}}_i+L*2\mathrm{\π})}^2\end{array}\right.---\left(7\right)$

c.其他

$\left\{\begin{array}{c}{\mathrm{\μ}}_i={\mathrm{\μ}}_i+\mathrm{\α}(p_t-{\mathrm{\μ}}_i)\\ {\mathrm{\σ}}_i^2=(1-\mathrm{\α}){\mathrm{\σ}}_i^2+\mathrm{\α}{(p_t-{\mathrm{\μ}}_i)}^2\end{array}\right.---\left(8\right)$

且对μ_i更新完后，需要检查其是否超出范围，若μ_i＜0或μ_i≥L*2π，则需要进行如下操作：

高斯混合背景模型的权值更新按如下公式进行：

ω_k＝(1-α)ω_k+αM_k                (10)

其中：ω_k表示第k个高斯背景模型的权重，M_k对于符合条件的高斯背景模型时为1，其他情况为0；

c)在没有高斯混合背景模型符合判定条件时，对权值最小的高斯背景模型进行处理，将其分布的均值设为当前像素特征值p_t，均方值设为初始值σ_init，将其权值设为很小的设定值ω_init，并对权值作归一化处理；

d)根据各高斯混合背景模型ω/σ的比值大小，将高斯混合背景模型按降序排列，取前B个分布作为背景分布，得到

ω₁+…+ω_B＞T_B    T_B∈[0，1]        (11)

其中：T_B为设定的阈值表示场景中背景的最小概率，如果像素点对应的特征值与B个高斯分布中任何一个满足公式(5)的判定条件，则对应的像素点z被分类为背景点，否则将z分类为前景点。

8.根据权利要求1所述的光照突变场景下的运动目标检测方法，其特征是，所述的距离变换：用欧几里得距离为度量对基于相位特征的高斯混合背景模型的初步检测结果进行距离变换，得到距离图像。

9.根据权利要求1所述的光照突变场景下的运动目标检测方法，其特征是，所述的分割处理是指：采用阈值判断方式对距离变换后得到的距离图像进行分割，运用数学形态学方法得到检测结果。

Images