CN105354791B - 一种改进的自适应混合高斯前景检测方法 - Google Patents

Abstract

本发明提供一种改进的自适应混合高斯前景检测方法，它首先利用混合高斯模型进行学习，形成初始化混合高斯背景模型；然后，对新输入的视频序列，以每隔N帧进行采样，利用加权时域均值滤波获取一幅图像帧，将其作为混合高斯建模的输入，进行背景模型更新；利用泊松分布自动判断当前帧是否存在背景突变，若不存在，保持正常的采样间隔和学习速率，否则，缩小间隔帧数和加快学习速率，更新背景模型，提取当前的背景帧；最后，利用当前帧与当前背景帧进行差分，通过最大熵方法获取自适应阈值，对获取的阈值进行加权平均，进行前景检测。该方法有效地克服了视频场景中树叶抖动、水波纹等运动干扰，通过周期性的采样减少了帧的运算量，提高了实时性。

Description

一种改进的自适应混合高斯前景检测方法

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种改进的自适应混合高斯前景检测方法。

背景技术

随着公共安全建设的加强以及人们安全意识的提高，智能视频监控开始受到人们的关注与青睐。这对安全防范系统、视频监控系统提出了更高的要求。

智能视频监控系统是通过对摄像机拍录的视频进行自动分析来对动态场景中的目标进行检测、跟踪、识别，并在此基础上分析和判断目标的行为。做到即完成日常的监控又能在异常情况发生时及时做出反应，解决传统监控工作量大、效率低、反应速度慢等问题。

运动目标检测作为智能视频监控系统中的关键步骤，其检测的精确度对后续的目标跟踪与识别、行为分析等产生直接影响。目前，应用比较广泛的运动目标检测方法是帧差法和背景差分法。背景差分法是通过对当前图像和背景图像做差来获取前景目标。在理想或者干扰较小的情况下，常用算法都可以获取很好的检测效果。但在实际应用场景中，存在轻微的树叶晃动、水波纹等情况。会影响前景目标的检测。因此，如何获取精确的背景模型，直接影响前景目标的准确定位。

目前，较为常用的背景差分方法为混合高斯背景差分法。该方法是通过对图像中每个像素建立多个高斯模型来模拟现实的复杂背景，能有效的消除水波纹、相机微抖等带来的影响，但该方法存在计算量大、对大而运动缓慢的物体检测出现错误等问题。此外，国外学者提出的可自适应的确定每个像素建模所需要的高斯个数，该方法相比传统的混合高斯背景建模，运行速度有所提高，但是不能很好的消除水波纹的影响。因此，本发明提出一种改进的自适应混合高斯前景检测方法。

发明内容

本发明提供一种改进的自适应混合高斯前景检测方法，通过对图像中每个像素建立多个高斯模型来模拟现实的复杂背景，并提高运算速度。

为解决上述技术问题，本发明的技术方案如下：

一种改进的自适应混合高斯前景检测方法，包括以下步骤：

S1：取视频序列前75帧，利用混合高斯初始化背景模型，对输入的视频序列以采样间隔为N的方式进行采样，取当前帧与前N-1帧图像序列进行加权ω_i时域均值滤波获取一幅新的图像帧F；

S2：判断采样得到的视频序列中的场景是否发生突变，若没有发生突变，保持正常的采样间隔N＝5和学习率α＝0.02；否则更新采样间隔帧数N＝3和学习率α＝λ*0.02，重新进行视频序列周期采样；

S3：将滤波后的图像帧F作为当前帧，学习率为α＝λ*0.02，采用自适应混合高斯方法更新背景模型；

S4：将当前背景帧与当前帧及其后N-1帧图像序列进行最大熵求取自适应阈值，然后通过在线加权平均获取一个新的阈值Th，进行实时的前景检测。

进一步地，步骤S1中取当前帧与前N-1帧图像序列进行时域均值滤波获取一幅新的图像帧F的过程如下：

F＝∑_iω_if_i i＝1,2,...N

其中，f_i为第i帧图像，ω_i为权值，且∑_iω_i＝1。

进一步地，步骤S2中判断输入的视频序列中的视频序列场景是否发生突变的过程如下：

利用时刻t时输入的视频序列的当前帧及其背景帧的分量差值建立噪声模型泊松分布，并统计该噪声模型泊松分布的直方图，计算得到的直方图的相关方差；对所得的相关方差进行排序，找出最大值即变异系数，当变异系数大于1时，就判定时刻t时输入视频序列的场景发生突变。

进一步地，步骤S3中对采样得到的视频序列采用自适应混合高斯模型进行背景模型更新的过程如下：

S31：对采样得到的视频序列中时刻t的视频序列的第j个像素点用变量X_j,t表示，第j个像素点X_j,t的概率密度函数可用如下K个高斯分布函数表示：

其中，ω_i，t为第i个高斯分布函数在t时刻的权值，是t时刻的第i个高斯分布函数，μ_i,t和Ψ_i,t分别代表t时刻的第i个高斯分布的均值和协方差，η(X_j,t,μ_i,t,ψ_i,t)的表达式为：

其中，i＝1,2,3，···K，n表示X_j,t的维数，自适应混合高斯模型中假设R，G，B三个通道互相独立，并具有相同的方差，则Ψ_i,t＝σ_i ²I，其中σ_i ²表示X_j,t的方差，I表示单位矩阵；

S32：将每个像素点与其K个高斯分布函数进行匹配，若K个高斯分布函数中有一个高斯分布函数与该像素点的匹配程度满足|X_j,t-μ_i,t|＜M*σ_i，则该像素点与该高斯分布函数匹配，该像素点为背景点，若每一像素点与其K个高斯分布都不匹配，则认为该像素点为前景点；

S33：对与K个高斯分布函数中有一个匹配的像素点按照下面公式进行更新：

ω_k,t＝(1-α)ω_k,t-1+αM_k,t

μ_t＝(1-ρ)μ_t-1+ρX_t

其中，ρ是更新率，α是学习率，λ为变异系数，M_k,t的取值依匹配情况而定，对与像素当前值匹配的模型取1，其余取0，

S34：当像素点像素值与所有高斯分布没有一个能匹配上时，则创建一个新的高斯分布函数取代现有K个高斯分布中ω_i,t/σ_i,t值最小的模型，在权值ω_k,t更新完后，对同一混合高斯模型中的各高斯分布函数的权值按下式进行归一化处理：

对K个高斯分布按ω_i,t/σ_i,t的比值降序排列，然后取满足下式的前b个分布组成时刻t时的视频序列的背景模型：

其中，T为背景选取的阈值，T调整描述背景的高斯分布的个数，如果T越大，则对背景描述的高斯分布函数则越多。

进一步地，步骤S4中取当前背景帧与当前帧及后N-1帧图像序列进行最大熵求取自适应阈值，然后通过在线加权平均获取一个新的阈值Th的过程如下：

S41：取当前背景帧与当前帧及后N-1帧进行自适应差分，通过最大熵方法求取每帧差分图像对应的自适应阈值T_i：

P_B＝1-P_A

H_i＝-P_AlnP_A-P_BlnP_B

T_i＝arg max(H_i)

其中，p_j为与T_i对应的差分图像中灰度值为j的概率，P_A为与T_i对应差分图像中灰度值为0～k的像素点构成的区域A的概率分布，P_B为与T_i对应差分图像中不属于区域A的概率分布，H_i为与T_i对应差分图像的熵；

S42：取当前帧及后N-1帧对应的阈值进行加权递减均值滤波获取一个新的阈值：

Th＝∑_iω_iT_i i＝1,2,...,N

其中，ω_i为权值，且∑_iω_i＝1。

与现有技术相比，本发明技术方案的有益效果是：

本发明对新输入的视频序列，以每隔N帧进行采样，并判断当前帧是否存在由光照突变、摄像机抖动等干扰造成的背景突变，若存在突变，更新间隔帧数和学习速率，并取当前帧与前N-1帧图像序列进行时域均值滤波获取一幅新的图像帧F，然后，利用滤波后的图像帧F作为混合高斯建模的输入，进行背景模型更新，最后，利用当前帧与背景帧差分，通过最大熵方法自动获取当前帧与前N+1帧的阈值进行平均，然后利用自适应二值化方法获取前景目标。该方法有效的解决了视频场景中存在树叶抖动、水波纹等周期性高频运动干扰的影响，同时利用周期性的采样减少了帧的运算量，提高算法的实时性。

附图说明

图1为本发明的流程图，其中nFrame为当前帧数，N为间隔帧数，N1为变化不大时的采样周期(N1＝5)，N2为变化较大时的采样周期(N2＝3)，α为GMM的学习速率，λ为变异系数；

图2为本发明算法与自适应混合高斯、多模态两种算法的对比实验结果对比表。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，本发明的方法是一种改进的自适应混合高斯前景检测方法，其具体步骤为：

步骤1：初始背景模型，对输入的视频序列以间隔帧数为N的方式进行采样；取当前帧与前N-1帧图像序列进行时域均值滤波获取一幅新的图像帧F。

F＝∑_iω_if_i i＝1,2,...N

其中，f_i为第i帧图像，ω_i为权值，且∑_iω_i＝1。

步骤2：判断视频中的场景是否发生突变，若场景发生突变，更新采样采样帧数N和学习率，并重新进行周期采样。

判断场景突变的步骤如下：

假设视频序列在时刻t的输入图像为初始背景帧为利用当前帧与背景帧的分量差值建立噪声模型泊松分布，并统计其直方图Hist[d]，对所得的直方图计算相关方差Var[d]；最后，对所得的相关方差进行排序，寻找出最大值，即为变异系数λ。当变异系数λ大于1时，则判定场景发生突变。

λ＝max(Var[d])/C d＝0,1,2...254

其中d为当前帧像素和背景帧像素之间的亮度变化，Var[]为相关方差，C为常量。

Var[d]＝E{[X_d-E(X_d)]²}

＝E(x²)-(E(x))²

＝SQ_d/C_d-(S_d/C_d)²

d＝|I_in(i,j)-I_bg(i,j)|

I_in＝(R_in,G_in,B_in)为输入图像像素向量，I_bg＝(R_bg,G_bg,B_bg)为背景图像像素向量。(i,j)为图像中每个像素的坐标。H和W分别为图像的高和宽。若P_d＝0，则C_d＝1，否则，C_d＝P_d。

步骤3：若采样得到的视频序列中的场景没有发生突变，则将滤波后的图像帧F作为当前帧用自适应混合高斯模型的方法进行前景目标的检测。

对t时刻的每个像素点用变量X_t表示，其概率密度函数可用如下K个高斯函数表示：

公式(1)中，ω_t为第i个高斯分布在t时刻的权值，且有η(X_t,μ_i,t,Ψ_i,t)是t时刻的第i个高斯分布函数，μ_i,t和Ψ_i,t分别代表均值和协方差，表达式为：

公式(2)中，i＝1,2,...,K，式中，n表示X_t的维数。模型中假设R，G，B三个通道互相独立，并具有相同的方差，则有

ψ_i,t＝σ_i ²I (3)公式(3)中，σ_i ²表示方差，I表示单位矩阵。

对于新帧图像像素值X_t与它K个高斯分布进行匹配，如果K个高斯分布中有某个在M倍标准差范围内，即|X_t-μ_t-1|＜M*σ_i(M一般取2.5-3.5)，则X_t与该高斯分布匹配，该像素点为背景点，如果X_t与K个高斯分布都不匹配，则认为该像素点为前景点。对与高斯分布匹配的像素值的参数按照下面公式进行更新：

ω_k,t＝(1-α)ω_k,t-1+αM_k,t (4)

μ_t＝(1-ρ)μ_t-1+ρX_t (5)

公式(4)-(6)中，ρ是一个更新率，它决定了分布模型更新的快慢。α是一个学习率，M_k,t的取值依匹配情况而定，对与像素当前值匹配的模型取1，其余取0。

其中，w_i,t为对应高斯分布的当前权值，λ为变异系数，可依据前景运动目标变化情况自适应更新。这样可以针对不同区域，自适应的改变更新率的大小。

对于所有高斯分布中没有一个与像素当前值相匹配，则创建一个新的高斯分布取代现有K个高斯分布中ω_t/σ_t值最小的模型。在权值更新完后，要对同一混合高斯模型中的各分布的权值按公式(7)进行归一化处理：

通过参数更新以后，对K个高斯分布按ω/σ的比值降序排列，然后取满足下式的前b个分布组成背景模型：

其中，T为背景选取的阈值，T调整描述背景的高斯分布的个数，如果T越大，则对背景描述的高斯分布则越多，但这样会带来更多的内存开销和更大的计算量。

高斯分布个数的确定。初始化时，给场景中每个像素设置一个高斯模型；随着场景的变化，当某个像素的混合高斯模型不能与当前像素值匹配，且该像素的高斯模型个数没有达到设定的最大值，则为该像素自动增加一个高斯模型，均值为当前像素值，否则用新的高斯模型替换排在最后的高斯模型；在每次模型更新完成后，判断每个像素对应的高斯模型中的最后一个高斯成分是否满足式(9)，如果不满足则删除。

且

通过上述背景建模获取当前背景帧与当前帧及后N+1帧图像序列进行加权递减均值滤波获取一个新的阈值，首选取当前背景帧与当前帧及后N-1帧进行自适应差分，通过最大熵方法求取每帧差分图像对应的自适应阈值T_i：

P_B＝1-P_A (10)

H_i＝-P_AlnP_A-P_BlnP_B

T_i＝arg max(H_i)

其中，p_j为与T_i对应的差分图像中灰度值为j的概率，P_A为与T_i对应差分图像中灰度值为0～k的像素点构成的区域A的概率分布，P_B为与T_i对应差分图像中不属于区域A的概率分布，H_i为与T_i对应差分图像的熵；

其次，取当前帧及后N-1帧对应的阈值进行加权递减均值滤波获取一个新的阈值，如式(11)：

Th＝∑_iω_iT_i i＝1,2,...,N (11)

其中，ω_i为权值，且∑_iω_i＝1。

利用本发明的方法，选取不同的场景下的视频对比实验，将本发明提出的算法和自适应混合高斯、多模态两种算法对比分析，并给出经过后续处理后的最终结果，如图2所示：

其中(A)组原始视频序列是一个有水波纹的户外场景，(B)组是一个有水波纹和类似树叶摆动下光线适中的户外场景。

在不同场景下对比前景检测的结果(白色为前景目标，黑色为背景部分)，相比本文使用算法，自适应混合高斯对水波纹比较敏感，多模态算法对水波纹效果较好，但是运行速度较慢，而本文提出的一种改进的自适应混合高斯前景检测方法对水波纹、树叶摆动效果都较好，并且算法具有很好的实时性和鲁棒性。

分别用这三种算法对352*288的视频进行处理，统计各个算法的运行时间，如表1所示：

表1三种算法处理用时对比表

算法	自适应混合高斯	多模态	本发明算法
				时间/ms	16	47	12

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种改进的自适应混合高斯前景检测方法，其特征在于，包括以下步骤：

S1：取视频序列前75帧，利用混合高斯初始化背景模型，对输入的视频序列以采样间隔为N的方式进行采样，取当前帧与前N-1帧图像序列进行加权ω_i时域均值滤波获取一幅新的图像帧F；

S2：判断采样得到的视频序列中的场景是否发生突变，若没有发生突变，保持正常的采样间隔N＝5和学习率α＝0.02；否则更新采样间隔帧数N＝3，变异系数为λ，学习率α＝λ*0.02，重新进行视频序列周期采样；

S3：将滤波后的图像帧F作为当前帧，学习率为α＝λ*0.02，采用自适应混合高斯方法更新其背景模型；

S4：将当前背景帧与当前帧及其后N-1帧图像序列进行最大熵求取自适应阈值，然后通过在线加权平均获取一个新的阈值Th，进行实时的前景检测。

2.根据权利要求1所述的改进的自适应混合高斯前景检测方法，其特征在于，步骤S1中取当前帧与前N-1帧图像序列进行时域均值滤波获取一幅新的图像帧F的过程如下：

F＝∑_iω_if_i i＝1,2,...N

其中，f_i为第i帧图像,ω_i为权值，且∑_iω_i＝1。

3.根据权利要求1所述的一种改进的自适应混合高斯前景检测方法，其特征在于，步骤S2中判断输入的视频序列中的视频序列场景是否发生突变的过程如下：

利用时刻t时输入的视频序列的当前帧及其背景帧的分量差值建立噪声模型泊松分布，并统计该噪声模型泊松分布的直方图，计算得到的直方图的相关方差；对所得的相关方差进行排序，找出最大值即变异系数，当变异系数大于1时，就判定时刻t时输入视频序列的场景发生突变。

4.根据权利要求1所述的一种改进的自适应混合高斯前景检测方法，其特征在于，步骤S3中对采样得到的视频序列采用自适应混合高斯模型进行背景模型更新的过程如下：

S31：对采样得到的视频序列中时刻t的视频序列的第j个像素点用变量X_j,t表示，第j个像素点X_j,t的概率密度函数可用如下K个高斯分布函数表示：

其中，ω_i,t为第i个高斯分布函数在t时刻的权值，η(X_j,t,μ_i,t,ψ_i,t)是

t时刻的第i个高斯分布函数，μ_i,t和ψ_i,t分别代表t时刻的第i个高斯分布的均值和协方差，η(X_j,t,μ_i,t,ψ_i,t)的表达式为:

其中，i＝1,2,3…K，n表示X_j,t的维数，自适应混合高斯模型中假设R，G，B三个通道互相独立，并具有相同的方差，则其中表示X_j,t的方差，I表示单位矩阵；

S32：设M为倍数系数，将每个像素点与其K个高斯分布函数进行匹配，若K个高斯分布函数中有一个高斯分布函数与该像素点的匹配程度满足|X_j,t-μ_i,t|＜M*σ_i，则该像素点与该高斯分布函数匹配，该像素点为背景点，若每一像素点与其K个高斯分布都不匹配，则认为该像素点为前景点；

S33：对与K个高斯分布函数中有一个匹配的像素点按照下面公式进行更新：

ω_k,t＝(1-α)ω_k,t-1+αM_k,t

μ_t＝(1-ρ)μ_t-1+ρX_t

其中，ρ是更新率，α是学习率，μ_t为t时刻高斯分布的均值，X_t为新帧图像像素值，为t时刻的方差，λ为变异系数，M_k,t的取值依匹配情况而定，对与像素当前值匹配的模型取1，其余取0，

S34：当像素点像素值与所有高斯分布没有一个能匹配上时，则创建一个新的高斯分布函数取代现有K个高斯分布中ω_i,t/σ_i,t值最小的模型，在权值ω_i,t更新完后，对同一混合高斯模型中的各高斯分布函数的权值按下式进行归一化处理：

对K个高斯分布按ω_i,t/σ_i,t的比值降序排列，然后取满足下式的前b个分布组成时刻t时的视频序列的背景模型：

其中，ω_K为第K个高斯分布的的权值，T为背景选取的阈值，T调整描述背景的高斯分布的个数，如果T越大，则对背景描述的高斯分布函数则越多。

5.根据权利要求1所述的一种改进的自适应混合高斯前景检测方法，其特征在于，步骤S4中取当前背景帧与当前帧及后N-1帧图像序列进行最大熵求取自适应阈值，然后通过在线加权平均获取一个新的阈值Th的过程如下：

S41：取当前背景帧与当前帧及后N-1帧进行自适应差分，通过最大熵方法求取每帧差分图像对应的自适应阈值T_i：

P_B＝1-P_A

H_i＝-P_Aln P_A-P_Bln P_B

T_i＝arg max(H_i)

其中，p_j为与T_i对应的差分图像中灰度值为j的概率，P_A为与T_i对应差分图像中灰度值为0～k的像素点构成的区域A的概率分布，P_B为与T_i对应差分图像中不属于区域A的概率分布，H_i为与T_i对应差分图像的熵；

S42：取当前帧及后N-1帧对应的阈值进行加权递减均值滤波获取一个新的阈值：

Th＝∑_iω_iT_i i＝1,2,...,N

其中，ω_i为权值，且∑_iω_i＝1。