CN103034997A - 一种适用于监控视频前/背景分离的前景检测方法 - Google Patents

Abstract

本发明属于视频的分析与处理技术领域，公开了一种适用于监控视频前/背景分离的前景检测方法，该方法首先根据被检样本各像素点与背景模型之间的色度坐标差异的大小及亮度增益的大小，初步筛选出代表前景的像素；然后对初步筛选出的代表前景的像素，根据亮度增益进行区域划分，将亮度增益值相近的相邻像素划为一个区域，根据区域内各像素亮度增益值的平均值的大小，排除代表阴影的区域，最后，将其它区域的像素统一判断为代表前景的像素。本发明分两步骤先后对被检样本的像素进行分类，通过双重引入色度坐标和灰阶值进行像素对比，以避免前景误识别，再通过分区判断来滤除阴影，有效解决分离出来的前景边界失真的问题。

Description

一种适用于监控视频前/背景分离的前景检测方法

技术领域

本发明属于视频分析与处理技术领域，主要涉及对监控视频的分析，具体的说是一种从监控视频的单帖画面中检测前景物件的方法。

背景技术

随着数码摄像技术的不断发展，视频监控作为一种安全防范手段被普遍且广泛的应用于日常及专业刑侦等领域。视频监控为安全防范等方面带来不可替代的保障的同时，现有视频监控系统过于简单，不便于查看视频查看等不足亦渐渐体现出来。

采用现在常见的监控系统，当需要查看监控视频时，必须人工完整查看整个视频，而现实中，一般单位所布置的摄像监控区域里，大部分时间里是无人经过的，至于突发事件的发生与每天24小时的全天候录像相比，更是极其短暂。查看监控视频时，其实大部分时间都是在观看静态背影画面，虽然现有监控系统都提供有快进查看的功能。但仍然会消耗查看人员的大量时间，而且快进是一种跳侦播放方式，快进查看视频，还存在错过重要画面的可能。对监控视频进行处理，从全天候监控视频中分离人物等移动对象以供查看，成为用户较为普遍一种需求。

在监控视频处理方面，基于高斯混合模型的视频前、背景分离技术已日趋成熟，该技术假设视频画面中各像素的像素值符合高斯分布，通过组合多个高斯分布的方式建立视频的高斯混合模型，并在此基础上，取最能表达背景的一个或几个分布，建立视频的背景模型。然后将视频画面与背景模型做对比，以确定其中的前景像素，最后将其从背景中分离出来。但是，目前比较成熟的背景分离方法对监控视频中因监控场景的光线变化引起的变动像素、及前景物件的阴影所对应的像素不具有识别能力，容易造成前景物件的误判，或者前景边界失真等问题。

近年，领域内有提出一些从改进高斯建模方法的角度来解决上述问题的思路，虽然有一定的效果，但对光影影响的处理上仍有不足，对前、背景分离的正确率及分离出来的前景画面的效果都有着较大影响。对其进行改进，以提高动态对象识别的准确率，是很必要的。

发明内容

本发明的目的是针对上述技术现状，提供一种适于用于监控视频前/背景分离的前景检测方法，以较为有效的解决因光影影响而导致的前景误判和前景边界失真等问题。

为实现上述目的，本发明所采用的技术方案是：一种适用于监控视频前/背景分离的前景检测方法，该方法以已经获得监控视频的背景模型为前题，具体包括：

基于像素的分类步骤：针对被检样本，根据其各像素点与背景模型之间的色度坐标差异的大小及亮度增益的大小，初步筛选出代表前景的像素；

基于区域的分类步骤：对初步筛选出的代表前景的像素，根据亮度增益进行区域划分，将亮度增益值相近的的相邻像素划为一个区域，根据区域内各像素亮度增益值的平均值的大小，排除代表阴影的区域，将其它区域的像素统一判断为代表前景的像素。

上述检测方法，可具体分步描述为：

(1)针对被检样本，逐一像素分别计算各像素点的色度坐标r_o、g_o、b_o与该像素点在背景模型中的色度坐标r_b、g_b、b_b的差值d_r=|r_o-r_b|、d_g=|g_o-g_b|、d_b=|b_o-b_b|，以及亮度I的增益值gain=(I_o-I_b)/I_b，排除满足式（1）所述条件的像素，记录不满足式（1）所述条件的像素作为初步的前景像素；

d_r＜y_r，d_g＜y_g，d_b＜y_b，|gain|＜y_gain     （1）

式中，y_r、y_g、y_b、y_gain为阙值；

(2)对步骤(1)记录的像素点根据各像素的亮度增益值gain进行分区，将gain值相近的相邻像素点分为一个区域，计算各区域内各像素点色度坐标的r分量和g分量的平均值

和

和背景模型中对应该区域的色度坐标的r分量和g分量的平均值和

以及gain值的平均值，排除满足式（2）所述条件的像素点，将不满足式（2）所述条件的像素点，则记录该像素，并判定当前影格包含前景物件；

$\stackrel{\&OverBar;}{r_o}~\stackrel{\&OverBar;}{r_b},$ $\stackrel{\&OverBar;}{g_o}~\stackrel{\&OverBar;}{g_b},$ $\stackrel{\&OverBar;}{\mathrm{gain}}<T_{\mathrm{gain}}---\left(2\right)$

式中，T_gain是一个阙值。该值的取值可以根据实验确定，也可以根据不同监控场景的特点现场调整。

上述前景检测方法中，所述被检样本可以是监控视频中一帧完整的影格，也可以是一帧影格中经过前期背景分离而保留下来的一个或几个连续区域。由此可知，本发明所述的前景检测方法既单独适用于监控视频的前/背景分离，也可以应用于常见前/背景分离方法中，用于续期光影滤除。

本发明所述的前景检测方法，分两步骤分别基于像素和区域先后对被检样本的像素进行分类，通过双重引入色度坐标和灰阶值（亮度）进行像素对比，以避免将因光线变化而引起像素值变动的像素误识别为前景，再通过分区判断来滤除可能被误认为前景的阴影，有效解决分离出来的前景边界失真的问题。成功改进了现有前/背景分离技术，且效果显着。

附图说明

图1为采用本发明所述前景检测方法的截图过程流程框图；

图2为一般高斯混合模型的各高斯分布图形化示意图；

图3为采用本发明所述检测方法的视频截图实验效果图，其中，第一张画面为一帧包含前景物件的未处理影格，第二张画面为经过基于像素的分类法处理后，仍包含部分阴影的前景物件像素的影格效果，第三张画面为经过基于区域的分类法处理后，仅包含前景件像素的影格效果。

具体实施方式

下面以将本发明所述前景检测方法应用于监控视频截图为例，对本发明所述方法做进一步说明，其中详细描述了背景建模、前背景分离、光影滤除、视频截取等具体过程。

本例中前/背景分离过程基于一种自动适应前景目标的提取算法，这个算法改进了早期的高斯混合背景模型（GMM），采用一种两阶段的前景/背景分类方法来消除因为阴影及突然的光照变化而造成的错误分离。传统的背景分离技术通常都无法对应与场景中的灯光变化。两阶段的前景/背景分类程序可以在前景以依据每个像素取得的色彩及亮度资讯做调整，接着开始让前景的其他像素分区与相对应的背景区块作比较，判断它们是否为前景区块。下面分步骤描述本例所述方法的具体过程。

第0，视频拆解。

利用微软的DirevtShow结合对应各个视频格式编码的组件（ex：wmv、asf、mp4…），

将视频进行解码，拆解成每秒一张，甚至最多到三十张的影格，提供后续的分析使用。拆解的影格的数量与监控视频文件格式有关。

第1，背景模型建立/更新。

第1.1，建立高斯混合模型（Gaussian Mixture Model，缩写为GMM）。

第1.1.1GMM利用，可以建立随着时间的改变的背景像素强度变化模型。

第1.1.2，一个像素点在t时间点，像素值为X的概率可以以下列的方程式表示：

从第一帧影格开始读取一组连续影格，统计该组影格的各像素值的分布特点，并据此计算获得上式中各参数，初始化高斯混合模型。由以上式子，我们可以取得高斯混合模型的多个分布图，如图2所示。

第1.1.3，利用GMM取得各像素强度变化模型后，便可进行背景建模，这个过程会在步骤第1.2里作详细说明。

第1.2，建立背景模型。

第1.2.1，计算权重除以方差的比值(ω/σ²)来作为高斯分配的重要性，以用来决定哪些高斯分布最能代表背景。

第1.2.2，根据这个比值(ω/σ²)从大到小重新排列一个像素点的K个高斯分布的顺序，并取前B个分布用来代表背景分布。

其中B的取值由下式计算获得：

$B=\arg \underset{b}{\min }(\underset{k=1}{\overset{b}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i>T)$

将前B个分布的均值的平均值作为对应像素点的背景像素值。

第1.3，前景物件检测。

判断像素值是否有落在该像素点对应的代表背景的高斯分布的平均的2.5个标准差内，有在2.5个标准差内的话，则判定其属于背景的一部份，没有在的话，则可能是前景。初步将该像素记录为前景像素。

第1.4，背景模型更新。

在检测前景物件过程中，藉由新视频进入，更新高斯混合模型的参数并持续维护，以适应后续传来的视讯资料并继续进行移动物件侦测。具体为，当某一像素被判断为背景时，根据下述公式更新相应参数：

第1.5，将前/背景分离开来后，为了排除因光影变化而被误判为前景的像素，还需要针对前景分类出来的像素做进一步筛选判断，这个动作会在步骤第2里作详细说明。

第2，光影滤除。

在该步骤中，系统将依序对每桢影格进行二阶段算法从影格中找出动态对象。

第2.1，利用基于像素的分类法(pixel-wise classification)，针对每桢影格，逐一像素进行筛选。

第2.1.1，分别计算当前像素及背景模型中对应像素的色度坐标。

每一像素的R/G/B色度分别用R、G、B表示，对应的色度（chromaticity）坐标计算公式为：

$r=\frac{R}{R+G+B},$ $g=\frac{G}{R+G+B},$ $b=\frac{B}{R+G+B},$

令当前像素的色度坐标为r_o,g_o,b_o，背景模型中对应像素的色度坐标为r_b,g_b,b_b，这三对座标值，彼此会很接近，用公式表示为r_b～r_o，g_b～g_o，b_b～b_o。

第2.1.2，计算三个颜色在光线改变时与背景模型强度间关系。

将当前像素的R/G/B色度坐标分别与背景模型中对应像素的R/G/B色度座标相减得到三个差值；d_r＝|r_o-r_b|，d_g＝|g_o-g_b|，d_b＝|b_o-b_b|。

第2.2.3，加入gain值判断：gain被定义成因光线影响而改变的像素灰阶值与相对应的背景像素值的比值，用公式表示为

其中，I_o跟I_b分别为观察到的视频与背景视频的灰阶值。

第2.2.4，分析d_r、d_g、d_b、gain的值可知，其值如果很大，则代表这个像素点的当前像素值与在背景模型中的像素值差很多，也就是表示有前景物件移入。据此，我们将判断属于背景的规则定义如下：

d_r＜y_r，d_g＜y_g，d_b＜y_b，|gain|＜y_gain，其中，y_r、y_g、y_b、y_gain为阙值。

第2.2.5，根据上述规则逐一对步骤第1.3中初步记录的前景物件像素进行判断，则可以将其中大部分代表光影变化的像素，与前景像素分离开来，进而获得进一步的相对更准确的前景资料。至此，构成前景物件的各像素已经基本确定下来。

第2.3，由于基于单个像素进行的判断仍具有一定局限性，还会有少量代表阴影的像素被判断为前景物件。为此，作为改进，所以我们还可以利用基于区域的分类法(region-based classification)进行阴影滤除，将亮度变化较小而代表阴影的部分进一步滤除。得到更接近真实的前景数据（前景物件的全部像素值）。

第2.3.1，针对像素分类法求出的初步前景资料中的像素计算增益值gain。增益值gain等于各该影格之一像素的灰阶值与背景影像数据对应像素的灰阶值的差值，与该背景影像数据对应像素的灰阶值的比值；

第2.3.2，将具有接近的增益值gain的像素合并成成同一个区域，再求得此区域中全部像素的R，G色度的色度坐标平均值和gain平均值，再根据平均值进一步的判断，该区域是否代表阴影，其判断规则如下：

$\stackrel{\&OverBar;}{r_o}~\stackrel{\&OverBar;}{r_b},$ $\stackrel{\&OverBar;}{g_o}~\stackrel{\&OverBar;}{g_b},$ $\stackrel{\&OverBar;}{\mathrm{gain}}<T_{\mathrm{gain}},$ 其中，T_gain是一个阙值。

第2.3.3，将增益值接近且邻近的像素合并成一区域后，当该区域的平均增益值小于一预设门坎值T_gain，代表光学强度与背景相较变化不大而属于阴影，则进一步删除而得到更接近真实的前景数据。

第2.4，测试视频实验

该实验中，为更直观的显示判断结果，系统将判断为背景的像素直接删除，并将删除前景像素后的影格展现给用户。经由本步骤第2的二阶段处理过程后，一帧视频影格所被筛选保留下的像素中，只会留下移动对象的部分，如人，脚踏车，机车，汽车或其他对象;纯粹静态光影变化的物件，如路灯或车灯闪烁，都不算是动态对象，所以也不会被留下。测试视频实验结果见图3。

上述步骤第0-第2.4以实例的型给出了本发明所述截图方法中的背景分离、及光影筛选的具体过程。基于上述手段可以相对准确地判断并提取一帧影格中前景物件的像素。在此基础上，便可以实施截图等后续过程。

Claims (2)

1.一种适用于监控视频前/背景分离的前景检测方法，其特征在于，包括，

基于像素的分类步骤：针对被检样本，根据其各像素点与背景模型之间的色度坐标差异的大小及亮度增益的大小，初步筛选出代表前景的像素；

基于区域的分类步骤：对初步筛选出的代表前景的像素，根据亮度增益进行区域划分，将亮度增益值相近的的相邻像素划为一个区域，根据区域内各像素亮度增益值的平均值的大小，排除代表阴影的区域，将其它区域的像素统一判断为代表前景的像素。

2.根据权利要求1所述的前景检测方法，其特征在于，具体步骤如下：

(1)针对被检样本，逐一像素分别计算各像素点的色度坐标r_o、g_o、b_o与该像素点在背景模型中的色度坐标r_b、g_b、b_b的差值d_r=|r_o-r_b|、d_g=|g_o-g_b|、d_b=|b_o-b_b|，以及亮度I的增益值gain=(I_o-I_b)/I_b，排除满足式（1）所述条件的像素，记录不满足式（1）所述条件的像素作为初步的前景像素；

d_r＜y_r，d_g＜y_g，d_b＜y_b，|gain|＜ygain     （1）

式中，y_r、y_g、y_b、y_gain为阙值；

(2)对步骤(1)记录的像素点根据各像素的亮度增益值gain进行分区，将gain值相近的相邻像素点分为一个区域，计算各区域内各像素点色度坐标的r分量和g分量的平均值

和

和背景模型中对应该区域的色度坐标的r分量和g分量的平均值

和以及gain值的平均值，排除满足式（2）所述条件的像素点，将不满足式（2）所述条件的像素点，则记录该像素，并判定当前影格包含前景物件；

$\stackrel{\&OverBar;}{r_o}~\stackrel{\&OverBar;}{r_b},$ $\stackrel{\&OverBar;}{g_o}~\stackrel{\&OverBar;}{g_b},$ $\stackrel{\&OverBar;}{\mathrm{gain}}<T_{\mathrm{gain}}---\left(2\right)$

式中，T_gain是一个阙值。

Images