CN105513053A - 一种用于视频分析中背景建模方法 - Google Patents

Abstract

本发明公开了一种用于视频分析中背景建模方法，先根据PBAS算法，对一幅图像上所有像素点进行分类，分类的阈值采用亮度和纹理的融合阈值，根据融合阈值将像素分成前景点和背景点，待像素被分类完成后，当有新图像进入模型后，对于亮度信息有变化的像素点进行混合高斯建模，然后再更新每个像素点对应的阈值。本发明将两个检测算法的优点融合，并融合纹理和色彩亮度来作为阈值进行比较，能够在存在多种外部扰动，如光照变化、摄像机轻微抖动、动态的背景元素等情况下，准确的提取背景并抑制阴影对真实运动目标的影响。能够在一定程度上抑制阴影影响，增强抗干扰能力，加快图像处理的速度。同时能够有效提高运动目标分割精度。

Description

一种用于视频分析中背景建模方法

技术领域

本方法属于视频分析领域，具体涉及一种用于视频分析中背景建模方法。

背景技术

随着科学技术的发展以及人们对安全防范意识的不断增强,具有智能分析功能的新一代视频监控系统,获得越来越多的关注，这种具有智能分析功能的视频监控系统开始在安全监控领域发挥非常积极的作用，已经开始渗入到我们的日常生活当中。智能视频监控是指在不需要人为干预的情况下，利用计算机视觉分析方法对视频序列进行自动分析，实现运动目标检测、分类、识别、跟踪等，并在此基础上通过预先设定的规则对目标的行为进行分析，从而为采取进一步措施提供参考(比如在对象进入设防区时自动报警)。

运动目标的精确提取是智能视频监控系统重要的研究内容之一，也是当前运动视觉研究中尚未根本解决的难点问题。运动检测的目的是通过对监控视频图像序列的分析，确定监控场景中有无运动目标，进而把运动区域(也称前景区域)从检测图像中提取出来。对运动区域准确有效地分割是进行运动目标跟踪、分类和识别等后续处理的基本前提。目前已有的运动检测方法有很多,其中研究比较成熟同时应用也比较广泛的运动检测方法是背景减除法。

背景减除法首先为背景图像建立背景模型，然后通过比较检测图像和背景模型的差异，来判断场景中是否存在运动目标。背景模型能否正确有效地反映实时背景，会直接影响运动检测的准确性。但由于在复杂的场景中，通常会存在各种外界因素的干扰(如光照变化、摄像机轻微抖动、动态的背景元素等等)，这些都使得要设计一个理想的背景模型提出挑战性的要求；再者，运动阴影和运动目标紧密相连，且在光照比较强的情况下，运动阴影和运动目标一样都与背景有明显差别，因此常常被作为运动目标的一部分被提取出来，这会严重影响运动目标分割的精度。

发明内容

发明目的：针对现有技术存在的问题，本发明提供了一种有有效提高运动目标分割精度，并能够精确快速的提取背景并抑制阴影对真实目标的影响的用于视频分析中背景建模方法。

发明内容：本发明提供了一种用于视频分析中背景建模方法，先根据PBAS算法，对一幅图像上所有像素点进行分类，分类的阈值采用亮度和纹理的融合阈值，根据融合阈值将像素分成前景点和背景点，待像素被分类完成后，当有新图像进入模型后，对于亮度信息有变化的像素点进行混合高斯建模，然后再更新每个像素点对应的阈值。

进一步，包括以下步骤：

步骤1：采集一帧图像中的所用像素点，并获取图像数据和纹理数据。

步骤2：利用步骤1中获得的图像数据以及纹理数据结合PBAS算法对背景模型的初始状态进行赋值并计算亮度和纹理的融合阈值；

步骤3：根据当前像素点的像素值与步骤2中获得的融合阈值相比较，如果像素值大于融合阈值，则该像素点为背景点；

步骤4：当步骤3检测出新的背景点，PBAS背景模型更新；

步骤5：当新图像进入模型后，对亮度信息有变化的像素点进行混合高斯建模；

步骤6：更新每个像素点对应的阈值T和计算更新率R。

进一步，包括以下步骤：所述步骤2包括以下步骤：

步骤201：随机选择一个像素点的邻域的像素点的像素值作为这个像素点的模型样值；

步骤202：根据公式计算计算亮度和纹理的融合阈值dist,其中，计算公式如下：

$norm=\underset{j}{\Σ}\max \left(\right|sobel\_x_j\[randIndex\]-sobel\_x_j|,|sobel\_y_j\[randIndex\]-sobel\_y_j\left|\right);$

$dis=\underset{j}{\Σ}\left|{\mathrm{lumi}}_j\[randIndex\]-{\mathrm{lumi}}_j\right|;$

dist＝alpha*(norm/N)+beta*dis；

其中，j∈(1,2,3)，表示有RGB三个通道的标号；sobel_x_j[randIndex]和sobel_y_j[randIndex]分别表示第j个通道样本集中随机选择的第randIndex个样本的水平和竖直的sobel梯度，randIndex为样本的标号，randIndex的取值范围为样本的总数。sobel_x_j和sobel_y_j分别表示第j个通道的水平和竖直的sobel梯度；lumi_j表示第j个通道的亮度；lumi_j[randIndex]表示第j个通道样本集中随机选择的第randIndex个样本的亮度；alpha和beta为纹理和亮度的融合系数，一般alpha为7，beta为1；N为前一帧中统计需要更新的像素点对应的norm之和。

工作原理：本发明通过结合混合高斯模型和PBAS算法的优点进行背景提取。

有益效果：与现有技术相比，本发明提出了该方法本发明将两个检测算法的优点融合，并融合纹理和色彩亮度来作为阈值进行比较，能够在存在多种外部扰动，如光照变化、摄像机轻微抖动、动态的背景元素等情况下，准确的提取背景并抑制阴影对真实的运动目标的影响。能够在一定程度上抑制了阴影影响，增强抗干扰能力，加快图像处理的速度。同时能够有效提高运动目标分割精度。

附图说明

图1是本发明提供的方法的流程图。

图2是基于GMM方法进行背景建模结果图；

图3是基于PBAS方法进行背景建模结果图；

图4是基于本发明提供的方法进行背景建模结果图。

具体实施方式

下面结合附图，对本发明进行详细说明。

本发明提供一种用于视频分析中背景建模方法，包括以下步骤：

步骤1：采集一帧图像中的所用像素点，并获取图像数据和纹理数据。

步骤2：利用步骤1中获得的图像数据以及纹理数据结合PBAS算法对背景模型的初始状态进行赋值并亮度和纹理的融合阈值。具体包括以下步骤：

步骤201：随机选择一个像素点的邻域的像素点的像素值作为这个像素点的模型样值。即M₀(x)＝{v₀(y|y∈NG(x))}，t＝0初始时刻，其中，v₀表示y点处的像素值，y是随机选择的像素点的邻域的一个像素点，NG(x)为邻居点集合，M₀(x)的含义是当前像素点的模型相关信息，其中包含亮度数据和纹理数据。初始化需要两种数据，第一个是图像的数据即为亮度数据，对3通道的GMM模型的亮度的数据样本集进行初始化，图像的数据就是图像中RGB3通道的数据，通道的GMM模型的亮度样本集获取是通过对邻域点的亮度进行随机采样N次获得；第二个是纹理的数据，对3通道的GMM模型的纹理样本集进行初始化，，通过对邻域的纹理进行N次随机采样获取。纹理数据采用三通道的x方向sobel和y方向的sobel数据，共6组sobel纹理特征，通过计算sobel梯度来得到，用来表述当前点像素和邻域像素变化的相位和幅度。

步骤202：计算亮度和纹理的融合阈值；

亮度数据和纹理数据的融合在判断背景是否需要更新时，即判断当前像素点是否是前景点时，需要一个阈值来进行判断，这个阈值就是通过对亮度和纹理计算得到的，其方法如下：

$norm=\underset{j}{\Σ}\max \left(\right|sobel\_x_j\[randIndex\]-sobel\_x_j|,|sobel\_y_j\[randIndex\]-sobel\_y_j\left|\right);$

$dis=\underset{j}{\Σ}\left|{\mathrm{lumi}}_j\[randIndex\]-{\mathrm{lumi}}_j\right|;$

dist＝alpha*(norm/N)+beta*dis；

其中，j∈(1,2,3)，表示有RGB三个通道的标号；sobel_x_j[randIndex]和sobel_y_j[randIndex]分别表示第j个通道样本集中随机选择的第randIndex个样本的水平和竖直的sobel梯度，randIndex为样本的标号，randIndex的取值范围为样本的总数。sobel_x_j和sobel_y_j分别表示第j个通道的水平和竖直的sobel梯度；lumi_j表示第j个通道的亮度；lumi_j[randIndex]表示第j个通道样本集中随机选择的第randIndex个样本的亮度；alpha和beta为纹理和亮度的融合系数，一般alpha为7，beta为1；N为前一帧中统计需要更新的像素点对应的norm之和，dist即为融合阈值。

步骤3：根据当前像素点的像素值与步骤2中获得的融合阈值相比较，如果像素值大于融合阈值，则该像素点为背景点；

步骤4：当步骤3检测出新的背景点，PBAS背景模型更新。随机选择步骤2中获得的样本集中需要被替换的样本，随机选择像素邻域的样本集合更新，PBAS的更新率是自适应的，并且更新邻域样本集合是用邻域的新像素值进行更新，在更新时需要同步更新对应的纹理信息。

步骤5：当新图像进入模型后，对亮度信息有变化的像素点进行混合高斯建模；

GMM背景模型初始化，为图像中的每个像素点构建K个高斯分布，一般K选择3-5，而后用这K个分布的加权和来描述图像。将图像序列中的任意一点像素(x,y)的灰度看作独立的统计过程，假设其服从高斯分布，记为N(u,σ)。图像序列(I₁,I₂,…,I_t,I_N)在t时刻(t∈{1,2,…,N})的图像I_t的概率密度函数p(X_t)表示为：

$p\left(X_t\right)=\underset{i=1}{\overset{K}{\Σ}}{w}_{i,t}\mathrm{\η}(X_t,u_{i,t}{\mathrm{\σ}}_{i,t}),t=1,2,...N;$

式中：w_i,t是t时刻第i个高斯分布的权值，且η(X_t,u_i,tσ_i,t)表示t时刻第i个高斯分布的概率密度函数，以此对t时刻红外图像I_t的每个像素点建立GMM；u_i,t和σ_i,t分别表示t时刻第i个高斯分布的均值和标准差。

当读取新图像序列的像素值之后，将当前像素x_t与K个高斯分布进行匹配，匹配判据是：

|x_t-u_i,t-1|＜2.5σ_i,t-1(i＝1,…,K,t＝1,…,N)。

如果像素x_t与某个高斯分布的均值u_i,t-1满足上式，则认为像素x_t与该分布匹配，否则不匹配。对于匹配的分布，按公式w_i,t＝(1-α)w_i,t-1+αM_i,t进行参数更新，其中α是更新速率，α取值微0.005；权值按照公式 $\left\{\begin{array}{c}{u}_{i,t}=\left(1-\mathrm{\α}\right)u_{i,t-1}+{\mathrm{\αX}}_t\\ {\mathrm{\σ}}_{i,t}^2=\left(1-\mathrm{\α}\right){\mathrm{\σ}}_{i,t-1}^2+\mathrm{\α}{\left(X_t-u_{i,t}\right)}^T\left(X_t-u_{i,t}\right)\end{array}\right.$ 进行更新；其中对于匹配的分布M_i,t＝1，而不匹配的分布M_i,t＝0，重新初始化。判断像素点的模型数目是不是超过5，超过5就把分布概率最小的去掉，小于5直接把初始化的模型放进模型集合。

当新的一帧图像来到时，根据背景更新公式利用新图像的像素将模型参数进行更新，把像素点的K个高斯分布按照权值由大到小排列，将优先级高的b个分布权值求和，即最大的b个分布权值求和，其中b优选为5，当其值大于阈值T时，其中，T为0.9，由这b个分布构成背景模型，也即：

${\mathrm{BG}}_t=\arg {\min }_b\left(\underset{i^{\′}=1}{\overset{b}{\Σ}}{w}_{k,t}>T\right);$

通过上述混合高斯建模法获得背景图像，然后利用背景减除法提取出运动前景区域D_t:

D_t(x,y)＝I_t(x,y)-BG(x,y)

步骤6：更新每个像素点对应的阈值T和计算更新率R。每个像素都对应一个阈值T和R，当前像素判断结束，都要对这两个值进行更新，以便下一帧图像使用，其中，阈值T越大更新速度越快。

实施例1：在vs2010+opencv2.4.3运行环境下对多个实际拍摄的红外序列图像，进行了实验，图像均是在光照变化和摄像机轻微抖动的条件下拍摄,存在人物和树木阴影。选取一组视频，共700帧，包含一个从视频左端走向右端的运动目标，位于视频中间稍下位置，对序列图像应用基于GMM，基于PBAS和基于本文方法分别进行背景建模结果如图所示2～4所示。

GMM抗干扰能力弱，在噪声或目标区域对比度低的情况下导致了提取目标区域时出现断裂和空洞的现象，算法速度偏慢。PBAS算法的建模结果虽然比较优秀，对缓慢的光照变化和摄像头轻微抖动具有较强的鲁棒性，每帧的处理速度也较快，但是还存在少许的阴影干扰，目标区域也存在少许的目标断裂和空洞情况。本文提出方法抗干扰能力显著增强，目标区域的断裂和空洞现象也有明显改进，很大程度上抑制了阴影对真实的运动目标的影响，而且处理速度上也有了较大提升。

Claims (3)

1.一种用于视频分析中背景建模方法，其特征在于：先根据PBAS算法，对一幅图像上所有像素点进行分类，分类的阈值采用亮度和纹理的融合阈值，根据融合阈值将像素分成前景点和背景点，待像素被分类完成后，当有新图像进入模型后，对于亮度信息有变化的像素点进行混合高斯建模，然后再更新每个像素点对应的阈值。

2.根据权利要求1所述的用于视频分析中背景建模方法，其特征在于：包括以下步骤：

步骤1：采集一帧图像中的所用像素点，并获取图像数据和纹理数据。

步骤2：利用步骤1中获得的图像数据以及纹理数据结合PBAS算法对背景模型的初始状态进行赋值并计算亮度和纹理的融合阈值；

步骤3：根据当前像素点的像素值与步骤2中获得的融合阈值相比较，如果像素值大于融合阈值，则该像素点为背景点；

步骤4：当步骤3检测出新的背景点，PBAS背景模型更新；

步骤5：当新图像进入模型后，对亮度信息有变化的像素点进行混合高斯建模；

步骤6：更新每个像素点对应的阈值T和计算更新率R。

3.根据权利要求2所述的用于视频分析中背景建模方法，其特征在于：包括以下步骤：所述步骤2包括以下步骤：

步骤201：随机选择一个像素点的邻域的像素点的像素值作为这个像素点的模型样值；

步骤202：根据公式计算计算亮度和纹理的融合阈值dist,其中，计算公式如下：

$norm=\underset{j}{\Σ}max\left(\right|sobel\_x_j\[randIndex\]-sobel\_x_j|,|sobel\_y_j\[randIndex\]-sobel\_y_j\left|\right);$

$dis=\underset{j}{\Σ}|{\mathrm{lumi}}_j\[randIndex\]-{\mathrm{lumi}}_j|;$

dist＝alpha*(norm/N)+beta*dis；

其中，j∈(1,2,3)，表示有RGB三个通道的标号；sobel_x_j[randIndex]和sobel_y_j[randIndex]分别表示第j个通道样本集中随机选择的第randIndex个样本的水平和竖直的sobel梯度，randIndex为样本的标号，randIndex的取值范围为样本的总数。sobel_x_j和sobel_y_j分别表示第j个通道的水平和竖直的sobel梯度；lumi_j表示第j个通道的亮度；lumi_j[randIndex]表示第j个通道样本集中随机选择的第randIndex个样本的亮度；alpha和beta为纹理和亮度的融合系数，一般alpha为7，beta为1；N为前一帧中统计需要更新的像素点对应的norm之和。