CN1529506A - 基于运动检测的视频对象分割方法 - Google Patents

Abstract

一种基于运动检测的视频对象分割方法，属于视频监控和底层视频处理技术领域。方法步骤如下：(1)读取初始视频帧，初始化背景模型；(2)读取当前视频帧，抽取视频特征值，用当前特征值去匹配旧的背景模型，分析统计特征，根据模型建立参数，更新背景模型；(3)在当前背景模型中统计发生概率最大的背景分布，进一步腐蚀和消除阴影，作为当前背景提取出来。本发明能实时地分割出可靠的背景和前景，而且对背景变化的自适应更新有很好的效果，能在极短的时间内就提取出新的正确的背景，由于视频监控的实时性和稳定性要求，本发明同时在一定程度上改善了分割速度和防止错误扩展。

Description

基于运动检测的视频对象分割方法

技术领域

本发明涉及一种视频对象分割方法，具体是一种基于运动检测的视频对象分割方法。属于视频监控和底层视频处理技术领域。

背景技术

视频信号在多媒体信息中是最重要的一种，传统的监控系统已经不能满足对复杂的变化环境的监控。监控系统要能对视频信号进行分析，并理解其内容，才能进一步达到理解特定场所的可疑行为进行实时告警和对有关视频内容进行标示和传输的功能。这类高层次的视频内容理解，首要实现的就是基于运动检测对视频对象的分割，也就是将视频中的运动前景对象和背景分割开。

迄今为止，基于运动检测的视频分割技术按照人工参与的程度，通常分为自动分割和半自动分割技术，要求减少人工干预，必须采用自动分割技术。当前存在的自动分割技术主要可分为3类：基于光流法的分割、运动跟踪法和基于变化区域检测的时空法。其中光流法是一种病态算法，需要用附加的假设模型，分割对噪声极为敏感，而且精度受限于遮挡问题和孔径问题，因此它们的性能受限于光流估算的精度，得不到准确的边界。要进行准确的视频分割，需要联合对象的颜色、亮度、边缘等空间聚类特征进行视频分割。其迭代算法可以得到较好的分割结果，但也存在两个问题：一是计算量大、二是收敛速度依赖于场景、噪声和运动。运动跟踪法的基础是视频序列的图像帧的特征匹配或光流估算以及描述其实时运动进程的动态模型，但是由于采用特征的选取使得需要处理的数据量大大减少了，影响了视频分割的精度。

经文献检索发现，Bouthemy P，Francois E在文章《图像序列的运动分割和量化动态场景分析》(“Motion segmentation and qualitative dynamic sceneanalysis from an image sequence”Int′l Journal of Computer Vision(《计算机视觉》)，1993，10(2)：157～182)中提出了基于变化区域检测的时空法，不需要光流场的估算和任何特征点的对应，但依赖于时空图像亮度梯度，分割精度易受观测噪声影响。

发明内容

本发明针对现有技术的上述不足和缺陷，特别是时空法的特点，提供一种基于运动检测的视频对象分割方法，使其分割精度大大提高。本发明根据一种改进的背景差算法，即利用新收到的视频帧和预先建立的背景模型相互匹配，来分割出运动前景，对变化的背景，根据新的视频帧的典型特征值，自适应地分别建立高斯分布，每种分布对应不同特征值的一种背景，管理员可以修改对不同环境下模型的初始参数。由于视频监控的实时性和稳定性要求，本发明同时在一定程度上改善了分割速度和防止错误扩展。

本发明是通过以下的技术方案实现的，本发明方法步骤如下：

(1)、读取初始视频帧，初始化背景模型。

(2)、读取当前视频帧，抽取视频特征值，用当前特征值去匹配旧的背景模型；分析统计特征，根据模型建立参数，更新背景模型。

(3)、在当前背景模型中统计发生概率最大的背景分布，进一步腐蚀和消除阴影，作为当前背景提取出来。

本发明是用当前和以前得到的大量视频帧，和预先设定的模型参数来建立可靠的背景模型，即先用初始帧来初始化背景模型，建立初始背景高斯分布，再拿新的视频帧对已经有的背景分布进行概率匹配。在匹配时，如果匹配则更新匹配分布，如果不匹配则建立新的分布淘汰概率最小的旧分布。模型的更新不仅仅统计视频特征值是否出现以及出现次数，并且考虑出现的时间相关性，根据算法作综合评定，考虑统计特征，从而建立可靠的背景模型。提高了系统的智能化，而且在计算上达到实时的要求，而且没有误差累计，可以保证长时间运行的正确性可靠。

以下对本发明方法作进一步的说明，具体内容如下：

1、所述的读取初始视频帧，初始化背景模型，具体如下：

背景模型特征值采用像素的亮度色度值RGB，其中I_ij＝(R_ij，G_ij，B_ij)表示第j帧、第i个像素上的RGB值，分布模型描述为：

背景分布的概率密度函数p(x)的估计值

满足：

①式中，在RGB空间上，每个像素假定有N个高斯分布，x为某一帧某像素点上的输入特征向量

x＝(R，G，B)^T，

ω_i为该像素点的第i个高斯分布的权重，其中μ_i为第i个高斯分布的均值，μ_i＝(μ_iR，μ_iG，μ_iB)^T；σ_i为第i个高斯分布的均方差，σ_i＝(σ_iR，σ_iG，σ_iB)^T。

初始化模型，就是用第一帧的输入特征向量的值作为模型中各个高斯分布的均值，用预先设定的值作为均方差，且假设第一个分布的权值为1，其余为0。

2、所述的读取当前视频帧，抽取视频特征值，用当前特征值去匹配旧的背景模型，分析统计特征，根据模型建立的参数，更新背景模型，具体如下：

通过视频采集卡读取当前视频帧，用新的视频采样值实时地调整匹配的单一高斯分布的权重和参数，来更新模型逼近变化后的真实背景分布。其匹配准则为：

|x-μ_i|＜τσ_i，

而且同时

最小时，才是匹配的。

匹配分布的参数更新遵循下式：

μ_i(t)＝(1-α)μ_i(t-1)+ax(t)                                ③

${\mathrm{\σ}}_i\left(t\right)={((1-\mathrm{\β}){\mathrm{\σ}}_i^2(t-1)+\mathrm{\β}{(x\left(t\right)-{\mathrm{\μ}}_i\left(t\right))}^2)}^{1/2}---\left(4\right)$

因子α的大小表征了时间远近不同的采样值对背景物体状态的影响大小，β的大小则主要表征了摄像机自身参数变化的快慢。

分布权重更新遵循：

当新采样与第i个分布匹配时，S(t)＝1；不匹配时S(t)＝0。因子γ的大小反映了背景模型对背景物体变化的敏感程度。

当新的值不匹配时，在分布数N一定的情况下，只能舍弃权重最小的高斯分布，用新的分布来代替，并且初始化权重为 同时对其他权重做归一化处理：

(i≠min)。

3、所述的在当前背景模型中统计发生概率最大的背景分布，进一步腐蚀和消除阴影，作为当前背景提取出来，具体如下：

选取当前每个像素的背景模型中权重最大的高斯分布的均值作为真实背景，写入空白图像矩阵，同时用下式去除阴影：

再用腐蚀模板，腐蚀该图像，将处理后的图像保存。

本发明主要针对视频监控，能快速地发现背景中有关物体的变化，如背景中是否有物体被移出或是否有可疑物体或人物被移入背景等；同时在这种监控环境下，能实时地更新背景以追踪对象，或检测背景变化；特别重要的，在这种环境中能自动适应以下的特定背景变化：(1)光照条件的变化：如太阳位置移动或云的遮挡造成日光的变化、室内灯具的开关、以及运动前景的阴影遮挡等；(2)背景物体状态的规则变化：如室内闪烁的屏幕等；(3)摄像头自身条件的变化：如外力造成的镜头轻微晃动和设备老化的电噪声影响；(4)前景物体状态的转化：如背景物体的移入移出等。这种适应有一定的实时性和健壮性，既能快速适应变化，又能迅速克服先前错误检测结果的影响。

本发明具有实质性特点和显著进步，基于本发明开发的系统的背景提取良好，在实时视频流传输的过程中能实时地分割出可靠的背景和前景，基本没有错误，只有很小的可忽略的噪声，而且在长期运行中不会扩展噪声的影响，相反能一直在一个很小的范围内，而且对背景变化的自适应更新有很好的效果，能在极短的时间内就提取出新的正确的背景，不会漏过检测粒度以上较小的背景变化，也不会错误的将一定运动幅度的前景融入到背景中。根据本发明分割得到的视频背景画面清晰，便于对视频内容的进一步处理操作的执行。

具体实施方式

以下结合实施例对本发明方法作进一步的理解，

●背景初始化模块：初始化模型中的分布个数，利用当前的初始输入帧的RGB值作为各个分布的均值，系统默认最大方差为各分布的方差，设第一个分布的权重1，其余分布的权重0，完成初始化模型。

●数据输入模块：对收到的视频帧格式进行转换，比如对YUV12到RGB的转换(采用MSDN推荐内插法，参见http：//msdn.microsoft.com/library/)。用格式转换模块将视频帧转化为后续模块处理要求的格式。

●背景更新模块：抽选收到的帧数据(根据不同的处理器速度而定，暂定为4取1)，根据以下的更新算法处理，建立并维护模型。

通过视频采集卡读取当前视频帧，用新的视频采样值实时地调整匹配的单一高斯分布的权重和参数，来更新模型逼近变化后的真实背景分布。其匹配准则为：

|x-μ_i|＜τσ_i时，

而且同时

最小时，才是匹配的。

匹配的分布的参数更新遵循下式：

μ_i(t)＝(1-α)μ_i(t-1)+ax(t)                                     ③

${\mathrm{\σ}}_i\left(t\right)={((1-\mathrm{\β}){\mathrm{\σ}}_i^2(t-1)+\mathrm{\β}{(x\left(t\right)-{\mathrm{\μ}}_i\left(t\right))}^2)}^{1/2}---\left(4\right)$

分布权重更新遵循：

当新采样与第i个分布匹配时，S(t)＝1；不匹配时S(t)＝0。因子γ的大小反映了背景模型对背景物体变化的敏感程度。

当新的值不匹配时，在分布数N一定的情况下，只能舍弃权重最小的高斯分布，用新的分布来代替，并且初始化权重为

同时对其他权重做归一化处理：

(i≠min)。

●背景预处理模块：用当前视频数据同背景模型各个分布相比较，不满足|x-μ_i|＜τσ_i匹配的点就作为前景提取出来，然后利用图像形态学原理，利用腐蚀方式消除前景中的孤立点，得到预处理的前景。

●阴影消除模块：在更新模型时对色度值分布相同而亮度值不同的点的集合定义为阴影，即区域 去除阴影后得到更精确的背景。

以下为对一段视频利用本发明处理的效果，在PIV1.8G，256M内存的PC上进行测试。测试帧是一段在监控场所取样的49秒，共1497帧，分辨率160×120的视频序列。检测序列的前景是运动的人物(有交叉行进)，序列的背景中有闪烁的屏幕和在远端小幅摆动的人员。在前景移动时存在阴影遮挡背景的现象，同时场景灯光有变化，摄像头有很小位移。

经过基于本文方法的原型系统的处理之后，能够完整提取出轮廓分明的运动前景对象——运动的人物，对象边缘只有很少的毛刺，不影响后续处理。其他干扰因素：包括阴影和摄像头的晃动对分割的影响不超过1秒，本方法能迅速去除干扰，保持长期稳定的处理效果。

Claims (4)

1、一种基于运动检测的视频对象分割方法，其特征在于，方法步骤如下：

(1)读取初始视频帧，初始化背景模型；

(2)读取当前视频帧，抽取视频特征值，用当前特征值去匹配旧的背景模型，分析统计特征，根据模型建立参数，更新背景模型；

(3)在当前背景模型中统计发生概率最大的背景分布，进一步腐蚀和消除阴影，作为当前背景提取出来。

2、根据权利要求1所述的基于运动检测的视频对象分割方法，其特征是，所述的读取初始视频帧，初始化背景模型，具体如下：

背景模型特征值采用像素的亮度色度值RGB，其中I_ij＝(R_ij，G_ij，B_ij)表示第j帧、第i个像素上的RGB值，分布模型描述为：

背景分布的概率密度函数，p(x)的估计值

满足：

①式中，在RGB空间上，每个像素假定有N个高斯分布，x为某一帧某像素点上的输入特征向量

x＝(R，G，B)^T，

为该像素点的第i个高斯分布的权重，其中μ_i为第i个高斯分布的均值，μ_i＝(μ_iR，μ_iG，μ_iB)^T，σ_i为第i个高斯分布的均方差，σ_i＝(σ_iR，σ_iG，σ_iB)^T；

初始化模型，就是用第一帧的输入特征向量的值作为模型中各个高斯分布的均值，用预先设定的值作为均方差，且假设第一个分布的权值为1，其余为0。

3、根据权利要求1所述的基于运动检测的视频对象分割方法，其特征是，所述的读取当前视频帧，抽取视频特征值，用当前特征值去匹配旧的背景模型，分析统计特征，根据模型建立参数，更新背景模型，具体如下：

通过视频采集卡读取当前视频帧，用新的视频采样值实时地调整匹配的单一高斯分布的权重和参数，来更新模型逼近变化后的真实背景分布，其匹配准则为：

|x-μ_i|＜τσ_i，

而且同时

最小时，才是匹配的，

匹配分布的参数更新遵循下式：

μ_i(t)＝(1-α)μ_i(t-1)+αx(t)    ③

${\mathrm{\σ}}_i\left(t\right)={((1-\mathrm{\β}){\mathrm{\σ}}_i^2(t-1)+\mathrm{\β}{(x\left(t\right)-{\mathrm{\μ}}_i\left(t\right))}^2)}^{1/2}---\left(4\right)$

因子α的大小表征了时间远近的采样值对背景物体状态的影响大小，β的大小则主要表征了摄像机自身参数变化的快慢；

分布权重更新遵循：

当新采样与第i个分布匹配时，S(t)＝1，否则S(t)＝0，因子γ的大小反映了背景模型对背景物体变化的敏感程度；

当新的值不匹配时，在分布数N一定的情况下，舍弃权重最小的高斯分布，用新的分布来代替，并且初始化权重为 同时对其他权重做归一化处理：

i≠min。

4、根据权利要求1所述的基于运动检测的视频对象分割方法，其特征是，所述的在当前背景模型中统计发生概率最大的背景分布，进一步腐蚀和消除阴影，作为当前背景提取出来，具体如下：

选取当前每个像素的背景模型中权重最大的高斯分布的均值作为真实背景，写入空白图像矩阵，同时用下式去除阴影：

再用腐蚀模板，腐蚀该图像，将处理后的图像保存。