CN102903124B

CN102903124B - 一种运动目标检测方法

Info

Publication number: CN102903124B
Application number: CN201210338285.0A
Authority: CN
Inventors: 龚声蓉; 张居涛; 刘纯平; 季怡; 王朝晖; 潘林林
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2012-09-13
Filing date: 2012-09-13
Publication date: 2015-08-19
Anticipated expiration: 2032-09-13
Also published as: CN102903124A

Abstract

本发明公开了一种运动目标检测方法，包括背景建模和前景检测，采用混合高斯模型进行背景建模并进行模型更新，获得B个高斯分布，对于待检测的帧图像中的一个像素点，如果在上述排序后的B个高斯分布中，至少有一个高斯分布与当前像素值匹配，则该像素点为一个背景像素，否则判定其为前景像素。本发明能有效地过滤前景噪声，得到十分干净的背景，既保留高效的去噪效果又增强了前景目标检测的准确性和完整性。

Description

一种运动目标检测方法

技术领域

本发明涉及视频或图像序列的处理，具体涉及对视频或图像序列中的运动目标进行检测的方法。

背景技术

随着经济发展和人民生活水平的提高，财产安全和人身安全等要求也不断增强。随着社会安全意识的不断提高，在校园、小区、道路、人口流动密集区域等场所越来越多地使用了视频监控系统。目前，大部分的监控系统都采用较为原始的人工值守的方式，这有两点坏处：1.由于人的素质差异、生理需求和其他因素干扰，很难保证人工值守时候不会漏掉某些关键信息，从而导致安全问题；2.大部分情况下只需要关注运动的目标信息或者异常行为信息，而人工值守无法做到“智能感应”，只能全天值守，浪费人力。因此，如果可以智能感知运动目标或异常行为，并实时报警或者给出提示，将会极大地解放人工劳动并且能保证稳定的安全系数。因而，需要对运动目标进行检测。

运动目标检测是计算机视觉中的一个基础概念，它是指通过一定的方法，利用已有的视频或者图像序列，得到一个背景模型，使用该背景模型与当前帧进行某些操作如差分即可得到运动区域或者运动目标，从而将运动变化区域从视频或图像序列中的背景图像中分割提取出来。

运动目标检测技术大约在上世纪60年代开始起步，80年代在军事领域出现了成型的系统，如美国国防高级研究项目署视觉重大监控项目VSAM和多模式、大范围的视觉检测项目HID（Human Identification at a Distance）；美国马里兰州大学和IBM公司联合研制的实时视频监控系统W4；由欧盟赞助研究的PRISMATICA系统，用于改善公共交通网络以及其它公共场所的安全性术等。随着技术的发展，目前，运动目标检测除在军事领域取有重要运用外，在更多的场合获取更加广泛的运用：如交通应用上，智能视频监控系统不仅能监测交通流量，检测高速公路上的交通事故，还能利用已有的监控数据分析出交通网络的瓶颈和流量预测，对城市交通规划和改造给出建议数据；在以异常情况为主的视频监控系统中，能对场景中可疑的人和事件进行异常行为分析并自动报警，从而阻止犯罪和灾难性事件的发生，以保障人民群众的生命和财产安全，因此在商场、生活社区、银行等无人值守的公共场所有着极大的需求；在国防领域，包括监控国境线、测量冲突地区的难民流量、监视军事基地以及无人侦查等活动均需要背景建模技术作为基础性支持。除此之外，运动目标检测和背景建模技术在安全检测、图像压缩、卫星测控等方面也都发挥着重要的作用，具有十分广泛的应用前景。

运动目标检测的方法如附图1所示。预处理阶段是利用相关滤波算法如低通滤波减少图像序列中的噪声，消除背景模型中的毛刺现象；背景建模是利用像素分布、前后帧差别等特性对图像序列进行建模从而得到背景模型；背景差分是利用当前的背景模型对当前帧进行差分操作，从而得到运动目标的位置所在；最后，把提取出来的运动区域依次进行分类和转化，并通过区域标记提取出运动目标。

目前，运动目标检测主要有三种方法：帧差法、光流法、背景差分法，以及众多基于这三种方法进行改进的算法。其中帧差法只适合在静态背景下使用，光流法计算方法相当复杂，在没有特殊硬件支持下很难满足实时性的要求。背景差分法的基本思想是利用像素等特征通过一定的算法得到场景的背景图像或者模型，然后将当前帧图像与该背景模型进行差分操作，若差值大于某一阈值，则判定对应的像素为前景，否则判定为背景。背景差分法具备实时性好和描述精确的优点，通用性非常好，计算代价低，目前其难点主要集中在如何在复杂场景中表现的更加鲁棒。

混合高斯运动目标检测方法是背景差分法中的一种，是目前运动目标检测中最常用的技术，具备概念清晰，效果好，速度快等优点，是当前计算机视觉领域的研究热点之一。Stauffer等人分析了高噪声的复杂背景像素分布特性，发现其满足多个聚类中心，利用该多态特性，提出了基于混合高斯模型（Gaussian Mixture Model，GMM）的背景差分方法，通过采用多个高斯分布来描述像素过程。针对Stauffer算法高斯模型K固定带来冗余计算，Zivkovic提出了一种自适应的GMM模型，高斯模型个数K随着场景的复杂度和稳定度在不断变化，该措施有效减少了程序运行时间，并且分割效果也有所改善。Lee提出了一种提高混合高斯模型收敛速率而没有降低模型稳定性的有效机制，采用online近似EM算法来代替Stauffer算法中的EM算法，不仅仅减少了计算时间，同时充分利用了相连帧之间的相关性，增强了建模效果。Singh等提出将在线K-means近似算法和EM算法相结合更新高斯模型参数的方法，在前景和背景对比度比较低的场景中取得了良好的分割效果。

然而，运动目标检测的实际场景一般比较复杂，构建背景模型一般需要考虑以下几种情况：l)背景中某一区域有反复的变化；2)场景中有运动的物体；3)运动的物体转为静止从而融入背景；4)背景中的物体转为运动；5)由于光照的变化导致背景的变化。由于场景背景的动态变化，如天气、光照、影子和混乱干扰等的影响，使得背景建模成为一项相当困难的工作。

因为噪声和复杂场景导致像素过程（Pixels Process）并不严格地满足高斯分布，采用传统的混合高斯模型建模时，会出现较为明显的背景前景错判问题。

有学者提出，充分利用空间相关性，可能会大大改进模型的鲁棒性。Fang等在论文中采用block-wise GMM，它以当前像素中心的3*3像素矩阵来代替原来的像素，该方法同时假定了9个像素之间相互独立，并且像素的RGB值之间也是相互独立。这种方法在处理复杂场景时，取得了一定的效果，但是由于其基本假设过于粗糙，特征提取方式较为复杂，存在计算量过大，实时性较差等问题。

发明内容

本发明的发明目的是提供一种运动目标检测方法，解决传统背景建模中的存在的噪声多和鲁棒性差等问题，提高运动目标检测的精度和速度，使其达到智能化的要求。

为达到上述发明目的，本发明采用的技术方案是：一种运动目标检测方法，包括背景建模和前景检测，所述背景建模包括：

(1)模型建立过程：获取待检测场景的视频，根据视频内容获得t帧图像，t为大于等于1的整数；

图像中的每一个像素点的颜色值都被看作是一个统计随机过程：

其中I(x,y,i)表示像素点(x,y)在第i帧图像中即i时刻的颜色值，对每个像素点建立一个由K个融合二型模糊的单高斯模型混合而成的二型模糊混合高斯模型，其中，K是大于等于2的整数：

其中，ω_j,t为t时刻第j个高斯分量的权重，是t时刻第j个高斯分量的概率密度函数，其中的X_t表示t时刻被观测像素值、μ_j,t表示第j个高斯模型t时刻的均值不确定区间、Σ_j,t是第j个高斯模型t时刻的协方差，P(X_t)表示t时刻被观测像素值X出现的概率；

(2)模型更新过程：如果当前帧图像中的当前处理像素值在所建二型模糊混合高斯模型中的一个高斯分布均值不确定性在2.5倍方差范围之内，则匹配该高斯分布，对各个高斯分布的权重值做如下调整：

其中α为学习率，取值在(0,1)之间；对于与当前像素匹配的高斯分布，，否则；

对于与当前像素值匹配的高斯分布，将其参数做如下调整：

其中ρ为学习率，其值为；t表示当前处理帧图像的时刻，k表示与当前像素值匹配的第k个高斯分布；

如果当前像素值与K个高斯分布都不匹配，则用一个新的高斯分布取代权重值最小的那个分布，新的分布的均值即为当前的像素值，同时为它任意分配一个较大的初始协方差和一个较小的初始权重值；

(3)对于图像中每一个像素点，根据权重与方差的比值ω/σ的大小将K个高斯分布按从大到小的顺序进行排列，前B个高斯分布作为对背景的描述，候选背景模型的选择为：

，式中，T是背景模型占所有高斯分布的最小比例阈值，b是第b个高斯模型；

所述前景检测为：对于待检测的帧图像中的一个像素点，如果在上述排序后的B个高斯分布中，至少有一个高斯分布与当前像素值匹配，则该像素点为一个背景像素，否则判定其为前景像素。

进一步的技术方案，采用融合二型模糊的混合高斯背景建模，在处理参数的不确定性上用高斯函数均值二型模糊来描述，模型的概率密度函数不是一个固定的值，而是一个具备描述不确定性的参数：

其中代表均值不确定的区间，其中i=R,G,B，分别表示在RGB颜色空间中当前帧图像中当前像素的R、G、B颜色分量；、、分别表示在RGB颜色空间中当前帧图像中R、G、B颜色分量的均值区间；分别表示在RGB颜色空间中当前帧图像中R、G、B颜色分量的方差；

对于二型模糊混合高斯模型中的均值的变化区间采用因子k_m控制其变化，其统一均值的区间表示：

在具有不确定均值模型中，上界隶属度函数为：

下界隶属度函数为：

，

其中，

均值不确定性的描述采用对数似然区间的长度来衡量：

。

或者，所述混合高斯模型基于块级特征实现，使用8×8的块为处理单位，离散余弦变换得到对应于该块的F(0,0)，F(0,1)，F(1,0)，F(1,1)这4个系数后，使用这个四个系数替换该块左上角对应的4个位置的像素值，然后分别往右边移动2个像素作为一个块的开始，往下边，移动2个像素作为一个块的开始，依次进行，直至将整个图像的像素值替换为离散余弦变换得到的系数，形成伪图，将这幅伪图视为包含像素值的图像，使用混合高斯模型建模来提取运动目标。

优选的技术方案是，进行前景检测时，基于融合二型模糊的混合高斯背景方法获得的背景模型判断得到的前景区域为R_t，基于块级特征方法获得的背景模型判断得到的前景区域为R_b，如果某一像素点属于R_t，则其为前景点，如果某一像素点不属于R_b，则其为背景点，如果某一像素点，ω_t、ω_b分别表示R_t、R_b中该像素对应的模型的权重，f_t(x)、f_b(x)分别表示R_t、R_b中该像素点的值；如果m_t×m_b＞T_b ，像素点x为前景点，否则为背景点，其中，T_b是经验值，取值范围是0.8～1。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1、本发明对混合高斯模型及其改进算法进行了较为全面的分析，并针对因噪声和复杂场景导致像素过程（Pixels Process）并不严格地满足高斯分布，采用传统的混合高斯模型建模时，会出现较为明显的背景前景错判问题，提出了在混合高斯模型中引入二型模糊理论（Type-2 Fuzzy Sets，T2FSs）的方法。该方法使用主隶属度函数描述像素观测值在高斯模型中的不确定性，使用次隶属度来评估主隶属度的不确定性，有效地描述了复杂场景下的像素分布规律，实验表明该方法能有效地过滤前景噪声，得到十分干净的背景。

2、基于二型模糊理论方法会导致前景目标在对比度条件下出现漏洞，本发明引入了离散余弦变换（DCT），取每个块的最重要的4个DCT系数构成一幅伪图像，该伪图像包含丰富的块级特征，实验表明对其建模有十分明显的阴影抑制和漏洞去除效果。采用简单高效的概率方式将两种建模方法相结合，既保留高效的去噪效果又增强了前景目标检测的准确性和完整性。

附图说明

图1是运动目标检测基本过程框图；

图2是本发明混合高斯背景建模技术步骤示意图；

图3是本发明方法和采用单一方法的对比图；

图4是本方法与其他方法的对比图；

图5是本发明实施例中背景像素的分布示意图；

图6是本发明实施例中动态场景的背景像素分布；

图7是均值不确定的高斯主隶属度函数；

图8实施例2中需要修补的存在漏洞；

图9离散余弦变换系数图谱；

图10是DCT系数替换像素示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例1：一种运动目标检测方法，包括背景建模和前景检测，所述背景建模参见图2，包括：

其中I(x,y,i)表示像素点(x,y)在第i帧图像中即i时刻的颜色值，对每个像素点建立一个由K个融合二型模糊的单高斯模型混合而成的二型模糊混合高斯模型：

其中，ω_j,t为t时刻第j个高斯分量的权重，是t时刻第j个高斯分量的概率密度函数，P(X_t)表示t时刻被观测像素值X出现的概率；

对于与当前像素值匹配的高斯分布，将其参数做如下调整：

其中ρ为学习率，其值为；

实施例2：融合二型模糊的混合高斯背景建模。本实例针对普通混合高斯模型自身的像素分布统计缺陷而导致的动态场景噪声较多的问题，采用了融合二型模糊的技术手段对动态场景的像素进行了更为精确的描述和建模，极大地消除了前景噪声。

（1）首先通过试验分析了混合高斯模型的弱点：视频序列某个背景像素序列不是严格的满足混合高斯分布的，如图5所示。

图5中奇数列表现了实验数据集场景，偶数列表现了该场景的某个像素的分布规律，很显然，没有一个像素是严格满足高斯分布的，特别是(d)，(h)，(j)，(p)等动态性非常显著的场合，其近似满足如下图6的形式，该像素过程所覆盖的区域可以使用两条高斯曲线来描述，其中左边的线向右平移到右边线的位置所覆盖的区域容纳了绝大部分的像素，并且非常好地描述了像素区域的分布特点，因此它比单纯的一个高斯模型更加符合实际的像素过程分布。

（2）（1）中分析了混合高斯背景模型的像素分布规律，本实施例采用融合二型模糊的混合高斯背景建模。它最显著的特征首先表现在模型的概率密度函数具备不确定性：

通过不确定的均值将高斯曲线扩展为一个区间形式，如图7所示。

比较图6和图7，可以发现两者具备较强的相似度，因此可以用图7反应的模型来描述背景像素的动态分布特性。

实施例3：基于块级特征的混合高斯背景建模。针对传统块级特征提取速度慢、提取的前景不够平滑等缺陷以及实施例1中前景漏洞问题，利用了一种新颖的基于离散余弦变换的特征提取方法，构建了一副伪图像，针对该伪图用高斯背景建模，得到了非常完整的前景检测效果同时对噪声有一定的抑制作用。

（1）图8是实施例2中融合二型模糊的混合高斯背景建模方法的结果，发现其存在缺陷，如图8所示，其结果存在较大的漏洞：

因此需要对存在的漏洞进行修补，通过试验发现，利用块级特征可以保证前景目标的完整性。通常的方法在利用块级特征的时候存在平滑度不够和实时性差等缺陷，本实施例采用了一种新的方法。

（2）块级特征的提取方法

采用了这样一种方法来提取块级特征，图像中常用的底层空间特征有颜色直方图、边缘直方图等，综合边缘信息和亮度信息，离散余弦变换(DCT)是十分鲁棒并且紧凑的描述子。基于DCT变换的特性，提出了一个新颖的像素级和块级相结合的方法来平衡速度和性能。

图9是8×8分块的DCT变换结果，具备丰富的视觉信息。左上角最亮的格子为F(0,0)，代表该块的平均亮度信息，代表了水平边缘特征，代表了垂直边缘特征，反映了一些纹理特征信息。

DCT变换的优点是保留块中的低频分量，过滤高频噪声，通过几个低频分量即可描述整个块的空间信息。通过上文分析，DCT有四个非常重要的系数F(0,0)，F(0,1)，F(1,0)，F(1,1)，通常这四个系数不仅能较为完整的描述整个图像块的信息，同时也能发挥低通滤波器作用，去除了图像的部分噪声。

每个像素P_i都对应一个系数向量F_i(F_i(0,0)，F_i(0,1)，F_i(1,0)，F_i(1,1))，但前文分析过，采用这种形式会导致很高的时间复杂度，不利于实时的运动目标检测，因此本实施例提出了一种新颖的特征提取方法和处理方法，总体思想是基于块的特征，使用像素的处理方式，既利用空间信息，又保留了混合高斯模型的实时性, 在尽可能充分利用块的像素信息的情况下，加速运算（以下简称为BGMM）。

参见图10，使用如图中左上角四个系数构成的信息来替换对应的四个像素。

使用8×8的块为处理单位， DCT变换得到阴影部分4个系数后，使用这个四个系数(F_i(0,0)，F_i(0,1)，F_i(1,0)，F_i(1,1)替换对应的4个位置的像素。然后分别往右边，移动2个像素作为一个块的开始；往下边，移动2个像素作为一个块的开始，即相邻块之间有6个像素的重叠区域。

对整幅图像提取特征后，原来的图像被充满特征信息的‘伪图’所代替，伪图的每个像素实际代表一个特征值。将这幅伪图视为包含像素值的图像，使用混合高斯模型建模来提取运动目标。

本算法的时间复杂度大大降低，达到了实时性的要求，且能保证前景目标的平滑。实验部分分析和验证了其性能和效果。

实施例4：将实施例2和实施例3的方法通过简单的概率方法相融合，利用两者的优势，从而得到更加完整且背景噪声较小的鲁棒的运动目标检测结果。

实施例2基于二型模糊的混合高斯模型能很好的过滤噪声干扰，但是有可能导致前景对象不完整，出现漏洞；实施例3基于块级混合高斯能很好地保证运动对象完整性，但是可能导致过提取；因此本实施例通过一定的方法将两种建模方法结合起来，见图3

合并不同分类器的结果的关键是确定每个分类器在不同情况下的可靠性。我们使用了一个简单的方法来合并分类结果, 考虑由基于二型模糊的混合高斯模型提取的前景区域R_t，是由BGMM产生的前景区域R_b的区域子集，对于每个像素，要判断其属不属于背景。从R_t的角度来说，属于背景的概率，从R_b的角度来说，属于背景的概率，如果m_t×m_b＞T_b，像素x将被判定为前景，否则为背景。其中，T_b是经验值，本实例中T_b为0.9。图4是本方法与其它方法的对比图。

Claims

1.一种运动目标检测方法，包括背景建模和前景检测，所述背景建模包括：

对于与当前像素值匹配的高斯分布，将其参数做如下调整：

所述前景检测为：对于待检测的帧图像中的一个像素点，如果在上述排序后的B个高斯分布中，至少有一个高斯分布与当前像素值匹配，则该像素点为一个背景像素，否则判定其为前景像素；

其特征在于：所述混合高斯模型基于块级特征实现，使用8×8的块为处理单位，离散余弦变换得到对应于该块的F(0,0)，F(0,1)，F(1,0)，F(1,1)这4个系数后，使用这个四个系数替换该块左上角对应的4个位置的像素值，然后分别往右边移动2个像素作为一个块的开始，往下边，移动2个像素作为一个块的开始，依次进行，直至将整个图像的像素值替换为离散余弦变换得到的系数，形成伪图，将这幅伪图视为包含像素值的图像，使用混合高斯模型建模来提取运动目标。

2.根据权利要求1所述的运动目标检测方法，其特征在于：采用融合二型模糊的混合高斯背景建模，在处理参数的不确定性上用高斯函数均值二型模糊来描述，模型的概率密度函数不是一个固定的值，而是一个具备描述不确定性的参数：

在具有不确定均值模型中，上界隶属度函数为：

下界隶属度函数为：

，

其中，

均值不确定性的描述采用对数似然区间的长度来衡量：

。

3.根据权利要求2所述的运动目标检测方法，其特征在于：进行前景检测时，基于融合二型模糊的混合高斯背景建模方法获得的背景模型判断得到的前景区域为R_t，基于块级特征方法获得的背景模型判断得到的前景区域为R_b，如果某一像素点属于R_t，则其为前景点，如果某一像素点不属于R_b，则其为背景点，如果某一像素点，ω_t、ω_b分别表示R_t、R_b中该像素对应的模型的权重，f_t(x)、f_b(x)分别表示R_t、R_b中该像素点的值；如果m_t×m_b＞T_b ，像素点x为前景点，否则为背景点，其中，T_b是经验值，取值范围是0.8～1。