CN108280842B - 一种克服光照突变的前景分割方法 - Google Patents

Abstract

本发明公开了一种克服光照突变的前景分割方法，包括有以下步骤：采用混合高斯背景建模的模型对处理后的视频帧灰度图进行初始化；结合光强突变量对视频帧进行混合高斯背景建模处理，并得到更新的背景模型；然后通过联通域标记、特征提取以及行为判断的结果提取出前景目标。本发明方法在采用传统混合高斯背景建模方法的前提下，在模型中引入光照突变量对图像进行处理，对背景模型实时更新，解决了目标分割对光照和环境突变敏感的问题，也解决了传统混合高斯模型中对长时间静止目标被更新为背景并消失的问题，进一步提高了前景分割的准确率。本发明作为一种克服光照突变的前景分割方法可广泛应用于图像处理领域。

Description

一种克服光照突变的前景分割方法

技术领域

本发明涉及图像处理领域，尤其是一种克服光照突变的前景分割方法。

背景技术

图像和视频是人们通过视觉获得信息的重要载体。特别是随着网络和通信技术技术的迅速发展和普及，我们正在进入信息时代，以图像处理为基础的视频处理，在信息获取和分析中扮演着越来越重要的角色。但是图片和视频信息又是最难捕捉、处理和显示的。为了让计算机能够像人类一样通过视觉获得复杂多变的图像信息，将人类从视觉劳动中解放出来，计算机视觉应运而生。计算机视觉就是想让计算机复现人的视觉功能，使由传感器和成像设备获得的静态图像或视频序列能够被计算机理解和解释。

在很多应用领域中，人们只对前景目标感兴趣，因此对视频帧或者图像中前景的分割就显得格外重要。前景分割这项研究，方法日新月异，目的是在不需要人为干扰的前提下，采用数字图像处理技术和计算机视觉技术，自动对场景中的行为和目标进行识别和判断，从视频序列的场景中分割出运动目标区域，有效和准确的把前景目标从图像与视频中分割出来是后续对视频进行分析、理解的基础，因此对图像分割的研究是计算机视觉研究中的重要环节，具有深远的意义。

前景分割的方法有很多种，常用的算法有：(1)、帧间差分法，将固定间隔的视频帧进行比较，适合动态变化的环境，但是由于会产生大面积的空洞，提取目标的完整性较差；(2)、背景差分法，通过当前视频帧和背景帧进行差分运算实现对运动目标检测，该方法可以较好完整的提取目标，但是缺陷在于受光照和背景的变化影响较大；(3)、光流法，计算复杂，很难满足运动检测的实时性。

目前，前景分割技术正广泛应用于视频监控、遥感技术、医学诊断和治疗、水下传感、交通监管系统等，越来越多受到其他领域的高度重视，对运动目标分割进行研究，无论在理论还是实际应用中都具有极其重要的研究意义。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种克服光照突变以及传统混合高斯模型中对长时间静止目标被更新为背景并消失问题的前景分割方法。

本发明所采用的技术方案是：一种克服光照突变的前景分割方法，包括有以下步骤：

S1、将采集到的视频的视频帧转换为灰度图，再经过中值滤波对灰度图进行降噪处理；

S2、采用混合高斯背景建模的模型对处理后的视频帧进行初始化；

S3、用当前帧与前一帧图像做帧间差分处理，计算光强突变量，判断是否有光照突变现象，若有则执行步骤S4，若无则执行步骤S5；

S4、根据光强突变量对视频帧进行混合高斯背景建模处理，并得到更新的背景模型；

S5、用当前帧和背景模型进行差分运算，得到的差分图像进行联通域标记；

S6、计算每个联通域的外接矩形参数和中心坐标参数；

S7、判定连续若干帧，目标中心坐标移动的距离，若移动距离小于运动阈值则判定目标静止，并停止对该区域进行背景更新，若移动距离大于运动阈值则判定目标运动，继续对背景模型进行更新；

S8、根据背景模型提取出前景目标。

进一步，所述步骤S3具体为：

计算当前帧与前一帧图像做帧间所有对应像素点位置的灰度值差值，并计算所有像素点位置的灰度值差值的平均值作为光强突变量，判断光强突变量是否大于设定阈值，若是则有光照突变现象，执行步骤S4；若无则执行步骤S5。

进一步，所述光强突变量Aver为：

视频帧的图像表示为f_k(x,y)(0≤x≤M-1，0≤y≤N-1)，M为图像的宽度，N为图像的高度，f_k(x,y)表示第k帧图像中像素点(x,y)的灰度值。

进一步，所述步骤S4具体包括有以下子步骤：

S401、对输入视频第一帧的每个像素点进行混合高斯建模：建立多个高斯分布函数，并初始化每个高斯分布函数中的均值、方差和权重；

S402、对于视频帧的像素点位置，根据其历史数据判断新像素点是否与背景模型匹配；

S403、当采集到新的视频时，对新的视频帧中的所有像素点与构造的混合高斯模型逐个按下式比较条件进行判断：

其中X_t为像素点的灰度值，μ_i,t-1为上一时刻混合高斯模型中第i个高斯分布函数的均值，Aver为光强突变量，σ_i,t-1为上一时刻混合高斯模型中第i个高斯分布函数的标准差，TH为噪声阈值；

若对应一个像素点有一个高斯分布函数满足所述比较条件，则该像素点与背景模型匹配，执行步骤S404对背景模型进行更新，否则执行步骤S405；

S404、更新与新的视频帧中的像素点匹配的高斯分布函数的权重，然后进行归一化处理，进而更新高斯分布函数的均值μ_t和方差

当|Aver|≥TH时：

μ_t＝(1-β)μ_t-1+β(X_t-Aver)+Aver

当|Aver|<TH时，按下式进行更新：

μ_t＝(1-β)μ_t-1+βX_t

其中，β为学习因子；

S405、对于不匹配的像素点，按如下步骤更新背景参数：

若当前高斯分布函数的个数小于步骤S401建立的高斯分布函数个数时，增加一个新的高斯分布函数：均值为对应像素点的像素值，方差小于第一方差阈值，权重大于第一权重阈值；

若当前高斯分布函数的个数等于步骤S401建立的高斯分布函数个数时，用新的高斯分布函数代替优先级最小的高斯分布，以X_t作为均值，方差大于第二方差阈值，权重小于第二权重阈值；所述高斯分布函数按照优先级值为权重与方差的比值；

S406、取前B个高斯分布作为背景分布，得到背景模型，B如下式所示：

其中，阈值T表示代表背景模型的高斯分布函数的权值的和

在整体中所占的最小比例，b为实现所述最小比例的高斯分布函数的数量。

进一步，所述步骤S5中对差分图像进行联通域标记的具体步骤为：

S501、逐行扫描差分图像，把每一行中连续的白色像素组成一个序列称为一个团，并记下它的起点、终点以及它所在的行号；

S502、除了第一行外的所有行里的团，如果它与前一行中的所有团都没有重合区域，则给它一个新的标号；如果它仅与上一行中一个团有重合区域，则将上一行的那个团的标号赋给它；如果它与上一行的两个以上的团有重合区域，则给当前团赋一个相连团的最小标号，并将上一行的几个有重合区域的团的标记写入等价对；

S503、将等价对转换为等价序列，从1开始给每个等价序列一个标号；

S504、遍历团的标号，根据等价序列给予团新的标号；

S505、将每个团的标号填入差分图像中。

进一步，所述步骤S6具体包括有以下子步骤：

S601、计算联通域的面积和联通域的最上、最下、最左、最右的点坐标；

S602、通过最左边坐标的横坐标确定矩形的左边线；通过最右边坐标的横坐标确定矩形的右边线；通过最上边坐标的纵坐标确定矩形的上边线；通过最下边坐标的纵坐标确定矩形的下边线；

S603、根据左边线、右边线、上边线和下边线得到联通域的外接矩形，进而计算外接矩形的中心坐标。

本发明的有益效果是：本发明方法在采用传统混合高斯背景建模方法的前提下，在模型中引入光照突变量对图像进行处理，对背景模型实时更新，解决了目标分割对光照和环境突变敏感的问题，也解决了传统混合高斯模型中对长时间静止目标被更新为背景并消失的问题，进一步提高了前景分割的准确率。

附图说明

图1为本发明方法的步骤流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

参照图1，一种克服光照突变的前景分割方法，包括有以下步骤：

S1、将采集到的视频的视频帧转换为灰度图，再经过中值滤波对灰度图进行降噪处理；

S2、采用混合高斯背景建模的模型对处理后的视频帧进行初始化；

S3、用当前帧与前一帧图像做帧间差分处理，计算光强突变量，判断是否有光照突变现象，若有则执行步骤S4，若无则执行步骤S5；

S4、根据光强突变量对视频帧进行混合高斯背景建模处理，并得到更新的背景模型；

S5、用当前帧和背景模型进行差分运算，得到的差分图像进行联通域标记；

S6、计算每个联通域的外接矩形参数和中心坐标参数；

S7、判定连续若干帧，目标中心坐标移动的距离，若移动距离小于运动阈值则判定目标静止，并停止对该区域进行背景更新，若移动距离大于运动阈值则判定目标运动，继续对背景模型进行更新；

S8、根据背景模型提取出前景目标。

进一步作为优选的实施方式，所述步骤S2中采用传统的混合高斯背景建模的模型：

S201、对输入视频第一帧的每个像素点建立K(3≤K≤5)个高斯分布，初始化第1个高斯分布函数的均值μ_1,t为对应点的像素值，方差σ_1,t赋予一个相对较大的初值，权重系数ω_1,t设为1。剩下的K-1个高斯分布函数的均值μ_i,t、方差σ_i,t和权重ω_i,t都初始化为0，i表示对应第i个高斯分布函数；

S202、对于某一像素点(x₀,y₀)，它的历史记录{X₁,X₂,...,X_t}＝{I(x₀,y₀,i)|1≤i≤t}，则当前可能观察到的像素值变化为：

其中，η(X_t,μ_i,t,∑_i,t)为第i个高斯分布函数的概率密度，均值为μ_i,t，协方差矩阵为∑_i,t，

ω_i,t为高斯分布函数对应的权重，每个高斯分布的均值为μ_i,t，方差为σ_i,t，协方差矩阵近似为

I为单位矩阵；

S203、当采集到新的视频图像时，对图像中的所有像素点与对应像素点构造的高斯模型逐个按下式比较：

|X_t-μ_i,t-1|≤2.5σ_i,t-1

其中，X_t是每个像素点的灰度值，μ_i,t-1是t-1时刻混合高斯模型中第i个高斯分布的均值，σ_i,t-1为第i个高斯分布的标准差；若满足上式，则该像素点为背景像素并执行步骤S204，若不满足，则执行步骤S205；

S204、对匹配的分布进行参数更新：

ω_i,t+1＝(1-α)·ω_i,t+α

μ_t＝(1-β)μ_t-1+βX_t

其中，α为学习速率，是一个0到1之间的常数，α值越大参数更新的越快。β为调整当前分布的学习因子，β＝αη(X_t,μ_i,t,∑_i,t)，当前值匹配分布的程度越好，β越大，参数调整的越快，有时采用固定的值以减少计算量。

对于其他K-1个不匹配的分布，只改变权重，权重按如下规则更新：

ω_i,t+1＝(1-α)·ω_i,t；

S205、若都不匹配，且当前分布的个数小于K时，增加一个新的高斯分布，均值为对应像素点的像素值，设置一个较小的方差和一个较大权重；若都不匹配，且当前分布的个数等于K时，用新的高斯分布代替优先级最小的高斯分布，以X_t作为均值，初始化一个较大方差和较小权重；

S206、将K个高斯分布按照优先级ρ_i,t＝ω_i,t/σ² _i,t排序，比值越大，表示具有较大权重和较小的方差，因此是排序越靠前的高斯分布，越适合描述背景；

S207、取前B个高斯分布作为背景分布，得到背景模型，B如下式所示：

其中，阈值T表示代表背景的分布的权值的和在整体中所占的最小比例，b是能达到这一比例的最佳的高斯分布函数的数量，即前b个最可能的分布，T的经验值可以取0.6。

进一步作为优选的实施方式，所述步骤S3具体为：

计算当前帧与前一帧图像做帧间所有对应像素点位置的灰度值差值，并计算所有像素点位置的灰度值差值的平均值作为光强突变量，判断光强突变量是否大于设定阈值，若是则有光照突变现象，执行步骤S4；若无则执行步骤S5。

进一步作为优选的实施方式，所述光强突变量Aver为：

视频帧的图像表示为f_k(x,y)(0≤x≤M-1，0≤y≤N-1)，M为图像的宽度，N为图像的高度，f_k(x,y)表示第k帧图像中像素点(x,y)的灰度值。

光强未发生突变时，当f_k(x,y)和f_k-1(x,y)是背景像素时，因可能受到噪声的干扰，造成像素值变化，但Aver的值比较小，且由于目标区域在场景中所占的区域与整个场景相比较小；而光强发生突变时，相邻两帧对应像素的灰度值变化很大，因此可按下式判断光强是否发生突变：

其中，TH为阈值，可根据噪声实际情况通过实验数据来设置。当光强变化不大时，按照正常的背景建模和运动目标检测方法获取场景的背景和检测运动目标；当光强变化较大时，需要重新对背景模型进行初始化，对背景变化做出模型更新，提高运动目标检测的准确性。

进一步作为优选的实施方式，所述步骤S4具体包括有以下子步骤：

S401、对输入视频第一帧的每个像素点进行混合高斯建模：建立K(3≤K≤5)个高斯分布函数，并初始化每个高斯分布函数中的均值、方差和权重：初始化第1个高斯分布函数的均值μ_1,t为对应点的像素值，方差σ_1,t赋予一个相对较大的初值，权重系数ω_1,t设为1。剩下的K-1个高斯分布函数的均值μ_i,t、方差σ_i,t和权重ω_i,t都初始化为0，i表示对应第i个高斯分布函数；

S402、对于视频帧的像素点位置(x₀,y₀)，根据其历史数据{X₁,X₂,...,X_t}＝{I(x₀,y₀,i)|1≤i≤t}判断新像素点是否与背景模型匹配；

S403、当采集到新的视频时，对新的视频帧中的所有像素点与构造的混合高斯模型逐个按下式比较条件进行判断：

其中X_t为像素点的灰度值，μ_i,t-1为上一时刻混合高斯模型中第i个高斯分布函数的均值，Aver为光强突变量，σ_i,t-1为上一时刻混合高斯模型中第i个高斯分布函数的标准差，TH为噪声阈值；

若对应一个像素点有一个高斯分布函数满足所述比较条件，则该像素点与背景模型匹配，执行步骤S404对背景模型进行更新，否则执行步骤S405；

S404、更新与新的视频帧中的像素点匹配的高斯分布函数的权重，更新方法如下式：

ω_i,t＝(1-α)ω_i,t-1+α

其中，α为学习速率，是一个0到1之间的常数。然后对权重进行归一化处理：

进而更新高斯分布函数的均值μ_t和方差

当|Aver|≥TH时：

μ_t＝(1-β)μ_t-1+β(X_t-Aver)+Aver

当|Aver|<TH时，按下式进行更新：

μ_t＝(1-β)μ_t-1+βX_t

其中，β为学习因子，β＝αη(X_t,μ_i,t,∑_i,t)，用于调整当前的高斯分布函数的参数；β越大，参数调整得越快，有时采用固定的值以减少计算量。

S405、对于不匹配的像素点，按如下步骤更新背景参数：

若当前高斯分布函数的个数小于步骤S401建立的高斯分布函数个数时，增加一个新的高斯分布函数：其均值为对应像素点的像素值；方差小于第一方差阈值，采用一个较小的值；权重大于第一权重阈值，采用一个较大的值；

若当前高斯分布函数的个数等于步骤S401建立的高斯分布函数个数时，用新的高斯分布函数代替优先级最小的高斯分布：以X_t作为均值；方差大于第二方差阈值，采用一个较大的值；权重小于第二权重阈值采用一个较小的值；

所述高斯分布函数按照优先级值为权重与方差的比值，即将K个高斯分布按照优先级ρ_i,t＝ω_i,t/σ² _i,t排序，比值越大，表示具有较大权重和较小的方差，因此是排序越靠前的高斯分布，越适合描述背景。

S406、取前B个高斯分布作为背景分布，得到背景模型，B如下式所示：

其中，阈值T表示代表背景模型的高斯分布函数的权值的和

在整体中所占的最小比例，b为实现所述最小比例的高斯分布函数的数量，T的经验值可以根据具体情况设置，通常取T＝0.6。

进一步作为优选的实施方式，所述步骤S5中对差分图像进行联通域标记的具体步骤为：

S501、逐行扫描差分图像，把每一行中连续的白色像素组成一个序列称为一个团，并记下它的起点、终点以及它所在的行号；

S502、除了第一行外的所有行里的团，如果它与前一行中的所有团都没有重合区域，则给它一个新的标号；如果它仅与上一行中一个团有重合区域，则将上一行的那个团的标号赋给它；如果它与上一行的两个以上的团有重合区域，则给当前团赋一个相连团的最小标号，并将上一行的几个有重合区域的团的标记写入等价对，说明几个有重合区域的团属于一类；

S503、将等价对转换为等价序列，从1开始给每个等价序列一个标号；

S504、遍历团的标号，根据等价序列给予团新的标号；

S505、将每个团的标号填入差分图像中。

进一步作为优选的实施方式，所述步骤S6具体包括有以下子步骤：

S601、计算联通域的面积和联通域的最上、最下、最左、最右的点坐标；

S602、通过最左边坐标的横坐标确定矩形的左边线；通过最右边坐标的横坐标确定矩形的右边线；通过最上边坐标的纵坐标确定矩形的上边线；通过最下边坐标的纵坐标确定矩形的下边线；

S603、根据左边线、右边线、上边线和下边线得到联通域的外接矩形，进而计算外接矩形的中心坐标。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (5)

1.一种克服光照突变的前景分割方法，其特征在于，包括有以下步骤：

S1、将采集到的视频的视频帧转换为灰度图，再经过中值滤波对灰度图进行降噪处理；

S2、采用混合高斯背景建模的模型对处理后的视频帧进行初始化；

S3、用当前帧与前一帧图像做帧间差分处理，计算光强突变量，判断是否有光照突变现象，若有则执行步骤S4，若无则执行步骤S5；

S4、根据光强突变量对视频帧进行混合高斯背景建模处理，并得到更新的背景模型；

S5、用当前帧和背景模型进行差分运算，得到的差分图像进行联通域标记；

S6、计算每个联通域的外接矩形参数和中心坐标参数；

S7、判定连续若干帧，目标中心坐标移动的距离，若移动距离小于运动阈值则判定目标静止，并停止对背景模型进行更新，若移动距离大于运动阈值则判定目标运动，继续对背景模型进行更新；

S8、根据背景模型提取出前景目标；

所述步骤S4具体包括有以下子步骤：

S401、对输入视频第一帧的每个像素点进行混合高斯建模：建立多个高斯分布函数，并初始化每个高斯分布函数中的均值、方差和权重；

S402、对于视频帧的像素点位置，根据其历史数据判断新像素点是否与背景模型匹配；

S403、当采集到新的视频时，对新的视频帧中的所有像素点与构造的混合高斯模型逐个按下式比较条件进行判断：

其中X_t为像素点的灰度值，μ_i,t-1为上一时刻混合高斯模型中第i个高斯分布函数的均值，Aver为光强突变量，σ_i,t-1为上一时刻混合高斯模型中第i个高斯分布函数的标准差，TH为噪声阈值；

若对应一个像素点有一个高斯分布函数满足所述比较条件，则该像素点与背景模型匹配，执行步骤S404对背景模型进行更新，否则执行步骤S405；

S404、更新与新的视频帧中的像素点匹配的高斯分布函数的权重，然后进行归一化处理，进而更新高斯分布函数的均值μ_t和方差

当|Aver|≥TH时：

μ_t＝(1-β)μ_t-1+β(X_t-Aver)+Aver

当|Aver|<TH时，按下式进行更新：

μ_t＝(1-β)μ_t-1+βX_t

其中，β为学习因子；

S405、对于不匹配的像素点，按如下步骤更新背景参数：

若当前高斯分布函数的个数小于步骤S401建立的高斯分布函数个数时，增加一个新的高斯分布函数：均值为对应像素点的像素值，方差小于第一方差阈值，权重大于第一权重阈值；

若当前高斯分布函数的个数等于步骤S401建立的高斯分布函数个数时，用新的高斯分布函数代替优先级最小的高斯分布，以X_t作为均值，方差大于第二方差阈值，权重小于第二权重阈值；所述高斯分布函数的优先级值为权重与方差的比值；

S406、取前B个高斯分布作为背景分布，得到背景模型，B如下式所示：

其中，阈值T表示代表背景模型的高斯分布函数的权值的和

在整体中所占的最小比例，b为实现所述最小比例的高斯分布函数的数量。

2.根据权利要求1所述的一种克服光照突变的前景分割方法，其特征在于：所述步骤S3具体为：

计算当前帧与前一帧图像做帧间所有对应像素点位置的灰度值差值，并计算所有像素点位置的灰度值差值的平均值作为光强突变量，判断光强突变量是否大于设定阈值，若是则有光照突变现象，执行步骤S4；若无则执行步骤S5。

3.根据权利要求2所述的一种克服光照突变的前景分割方法，其特征在于：所述光强突变量Aver为：

视频帧的图像表示为f_k(x,y，0≤x≤M-1，0≤y≤N-1)，M为图像的宽度，N为图像的高度，f_k(x,y)表示第k帧图像中像素点(x,y)的灰度值。

4.根据权利要求1所述的一种克服光照突变的前景分割方法，其特征在于：所述步骤S5中对差分图像进行联通域标记的具体步骤为：

S501、逐行扫描差分图像，把每一行中连续的白色像素组成一个序列称为一个团，并记下它的起点、终点以及它所在的行号；

S502、除了第一行外的所有行里的团，如果它与前一行中的所有团都没有重合区域，则给它一个新的标号；如果它仅与上一行中一个团有重合区域，则将上一行的那个团的标号赋给它；如果它与上一行的两个以上的团有重合区域，则给当前团赋一个相连团的最小标号，并将上一行的几个有重合区域的团的标记写入等价对；

S503、将等价对转换为等价序列，从1开始给每个等价序列一个标号；

S504、遍历团的标号，根据等价序列给予团新的标号；

S505、将每个团的标号填入差分图像中。

5.根据权利要求1所述的一种克服光照突变的前景分割方法，其特征在于：所述步骤S6具体包括有以下子步骤：

S601、计算联通域的面积和联通域的最上、最下、最左、最右的点坐标；

S602、通过最左边坐标的横坐标确定矩形的左边线；通过最右边坐标的横坐标确定矩形的右边线；通过最上边坐标的纵坐标确定矩形的上边线；通过最下边坐标的纵坐标确定矩形的下边线；

S603、根据左边线、右边线、上边线和下边线得到联通域的外接矩形，进而计算外接矩形的中心坐标。

Images