CN112802054B - 一种融合图像分割的混合高斯模型前景检测方法 - Google Patents

Abstract

本发明涉及一种从序列图像或视频流中将运动物体从背景中分离出来的前景检测方法和系统，具体是涉及一种融合图像分割的混合高斯模型前景检测方法。首先，接受一个待检测视频作为数据输入；将此待检测视频作为一个视频图像帧序列，针对视频图像帧序列上的每个视频图像帧进行超像素分割，每个视频图像帧的构成元素由原来的像素转变为超像素；对超像素构成的视频图像帧序列进行混合高斯模型处理，使得前景图像和背景图像进行分离；最后对前景图像进行形态学后处理，输出需要的前景图像序列。

Description

一种融合图像分割的混合高斯模型前景检测方法

技术邻域

本发明涉及一种从序列图像或视频流中将运动物体从背景中分离出来的前景检测方法，具体是涉及一种融合图像分割的混合高斯模型前景检测方法。

背景技术

前景检测一直是国内外视觉监控邻域研究的难点和热点之一，其目的是从序列图像中将变化区域从背景图像中提取出来，前景对象的有效检测对于对象跟踪、目标分类、行为理解等后期处理至关重要。

虽然前景检测算法自上个世纪六七十年代始便不断推陈出新，但是目前为止，仍然没有一个算法具备普适性，大多数的前景检测算法都是为了解决某一特定场景而专门提出，但是实际的场景情况是复杂多变且不可预测的。因此，截至目前，前景检测仍是一个热门研究课题；前景检测目前主要有光照变化、背景异动、运动停滞、“鬼影”、空洞、阴影以及背景建模计算量偏大等难点。

目前在前景检测中直接使用混合高斯模型等进行背景建模的过程中，因为计算目标众多而使整体的数据计算量偏大，但是如果减少计算目标，混合高斯模型的准确率就会因为计算目标的减少而随之降低；此外，前景对象在静止或运动幅度小的情况下，有可能被当做背景目标而无法被正确检测出来，而且在处理图像的过程中，“鬼影”现象也是影响前景对象检测准确度的主要因素之一。所以，降低数据计算量，提高检测过程中各阶段的检测准确率，对于目前阶段的前景检测工作是十分有必要的。

发明内容

针对现有技术存在的上述问题，本发明要解决的技术问题是：降低图像信息冗余度，使背景建模的数据计算量降低，同时加速“鬼影”现象的消逝，提高了前景目标在静止或者运动幅度较小的情况下被正确检测出的概率。

为解决上述技术问题，本发明采用如下技术方案：一种融合图像分割的混合高斯模型前景检测方法，包括如下步骤：

S100：选取任一视频分割成M个视频图像帧，其中前h个视频图像帧只包含背景目标；

S200：将M个视频图像帧进行超像素分割处理，得到M′个超像素视频图像帧，其中前h′个超像素视频图像帧只包含背景目标；

S300：将M′个超像素视频图像帧作为混合高斯模型的输入，混合高斯模型的输出为前景图像序列；

S400：将前景图像序列进行形态学后处理，得到最终的前景图像检测结果。

作为优选，所述S200中得到超像素视频图像帧的具体步骤为：

S210：预设超像素分割模型SLIC的参数为K；

S220：从M中选取一个视频图像帧，用SLIC模型对该视频图像帧进行初始化，得到K个初始聚类中心，每个聚类中心对应一个超像素区域，每个超像素区域为S*S大小的正方形；聚类中心的表达式如下：

C_ε＝(l_ε,a_ε,b_ε,x_ε,y_ε)^T

其中，C_ε表示第ε个初始聚类中心，l_ε,a_ε,b_ε分别表示第ε个初始聚类中心的颜色属性，x_ε,y_ε表示第ε个初始聚类中心的空间坐标，ε＝1,2,…,K,K表示初始聚类中心的数量；

设所述视频图像帧包含N个像素点，第i个像素点所属初始聚类中心对应的超像素区域记为初始区域，该初始区域标签为t_i,j,第i个像素点与所属初始聚类中心之间的距离记为初始距离，该初始距离标签记为d_i,j，其中，j＝1,2,…,K；i＝1,2,…,N；

S230:针对步骤S220得到的K个初始聚类中心，计算每个初始聚类中心m*m邻域内的每个像素点的梯度值，然后将该邻域内梯度值最小的像素点作为新的初始聚类中心，即得到K′个新初始聚类中心，此时，该视频图像帧上的每个像素点i获得初始区域标签t_i,j＝-1，每个像素点获得初始距离标签d_i,j＝∞；

S240：计算所述N个像素点与新初始聚类中心之间的距离，并更新像素点所属的聚类中心及对应的标签t_i,j，具体步骤如下：

S241：以新初始聚类中心为中心点建立2S*2S邻域，在该邻域内进行搜索，则任一像素点i会被P个新初始聚类中心对应的邻域搜索到；

S242：计算像素点i与P个新初始聚类中心之间的颜色差距d_c，d_c表达式如下：

其中，i表示第i个像素点，i＝1,2,…,N；j表示搜索到第i个像素点的邻域对应的新初始聚类中心的下标，j＝1,2,…,P；l_i,a_i,b_i表示第i个像素点的颜色属性，l_j,a_j,b_j表示第j个新初始聚类中心的颜色属性，；

计算像素点i与其所属的P个新初始聚类中心之间的空间差距d_s，d_s表达式如下：

所述x_i，y_i表示第i个像素点的空间坐标，x_j，y_j表示第j个新初始聚类中心的空间坐标；

S243：计算第i个像素点与P个新初始聚类中心的距离，其中，距离的具体表达式如下：

其中，D_i,j表示第i个像素点与第p个新初始聚类中心的距离，L_c表示最大颜色差距，L_s最大空间差距，m表示常数，S表示邻近的聚类中心之间的距离，具体表达式如下：

L_c＝m

其中，N表示视频图像帧中所包含的像素点数量，K′表示新初始聚类中心的数量，m表示常数；

采用变形后的距离公式进行计算，表达式如下:

S244：若第i个像素点与第p个新初始聚类中心的距离D_i,j小于第i个像素点的初始距离d_i,j，则令d_i,j＝D_i,j，令t_i,j＝j,；若第i个像素点与第p个新初始聚类中心的距离D_i,j大于或等于第i个像素点的初始距离d_i,j，则第i个像素点所属的聚类中心保持不变；

S245：让i遍历其取值范围，重复S244，使所选视频图像帧上的所有像素点都会属于K′个新聚类中心中的一个；

S246：经过S245更新后的每一个新聚类中心都会有多个像素点属于此新聚类中心，通过求此新聚类中心对应的多个像素点的均值，可以得到每个新聚类中心对应的最终聚类中心C_j′,j＝1,2,…K；

S247：设置最大收敛次数，利用L2范数计算前一次更新的聚类中心与本次确定的聚类中心之间的残差E，如果残差E收敛，则此图像帧的超像素分割完成，每个新聚类中心对应的所有像素点构成了一个超像素区域，K′个新聚类中心共得到K′个超像素区域，如果残差E未收敛，则重复步骤S210-S246，直至残差E收敛，残差E具体表达式如下：

其中，C_j表示第j个更新前的新聚类中心，C_j′表示第j个更新后的最终聚类中心，j＝1,2,…,K′；

S250：重复步骤S210-S247，对M个视频图像帧进行超像素分割处理，最后得到M′个超像素视频图像帧。

该技术特征的作用是：SLIC是基于k-means改进的算法，其与k-means最大的不同便是SLIC无需在整个图像中搜索像素，只需要在以聚类中心为中心的有限区域内进行计算。

作为优选，所述S300中混合高斯模型的输出为前景图像序列，具体步骤为：

S310：定义超像素视频帧上的一个超像素区域为一个超像素点，一个超像素视频图像帧有K′个超像素点；

S320：混合高斯模型利用前h′个超像素视频图像帧进行背景目标学习；

S330：用超像素视频图像帧中的K′个超像素点对混合高斯模型进行初始化，得到背景模型，具体步骤如下：

S331：设一个超像素点作为混合高斯模型的输入，输出为Q个高斯分布，将K′个超像素点作为混合高斯模型的输入，输出为K′*Q个高斯分布，该K′*Q个高斯分布构成了初始化的混合高斯模型，该初始化后的混合高斯模型即为背景模型；

S340：针对K′中的任一超像素点，判断该超像素点与相对应的Q个高斯分布是否匹配，满足匹配的条件如下式所示，

|X_t-μ_i,t|<D*σ_i,t

其中X_t表示t时刻的超像素点值，μ_i,t和σ_i,t分别表示t时刻的第i个高斯分布的均值和方差；

对于任一超像素点和该超像素点相对应的Q个高斯分布：

设Q个高斯分布中，与此超像素点匹配的高斯分布个数为q，与此超像素点不匹配的高斯分布个数为q′，其中q与q′的数量总和为Q个；

1)如果存在至少一个高斯分布与此超像素点匹配，则对于与该超像素点匹配的q个高斯分布中，每个高斯分布通过如下表达式参数更新，具体如下：

ω_i,t＝(1-α)ω_i,t-1+α

ρ＝α·η(X_t,μ_i,t,ε_i,t)

μ_i,t＝(1-ρ)μ_i,t-1+ρX_t

其中，t表示t时刻，指当前图像在整个图像序列中顺序，ω_i,t表示t时刻第i个高斯分布的权值，μ_i,t表示t时刻第i个高斯分布的均值，ε_i,t表示t时刻第i个高斯分布的协方差矩阵，表示t时刻第i个高斯分布的方差，η(X_t,μ_i,t,ε_i,t)表示t时刻第i个高斯分布的概率密度函数，α为学习率；

对于不匹配的q′个高斯分布中，每个高斯分布通过如下表达式进行参数更新，具体如下：

ω_i,t＝(1-α)ω_i,t-1+α；

2)如果不存在任何高斯分布与此超像素点匹配，则不更新任何高斯分布的参数，同时新建一个高斯分布替代此时Q个高斯分布中ω/σ值最小的高斯分布；新建高斯分布的均值μ取该超像素点的像素值，新建高斯分布的方差σ²和新建高斯分布的权值ω分别取Q个高斯分布中的最大值和最小值；

S350：重复步骤S340，更新所有超像素点对应的高斯分布参数，更新后的高斯分布数量为K′*Q个；

S360：对步骤S350中所述的K′*Q个高斯分布的权值进行归一化处理，计算公式如下：

其中，Q表示一个超像素点对应的高斯分布个数，j＝1,2,…,Q；

S370：设定背景选择阈值T，将K′*Q个高斯分布按照ω/σ值降序排列，选取前B个高斯分布作为最终背景模型，B的表达式如下：

其中，b取值1到K′*Q，m取值1到b，ω_m表示第m个高斯分布的权值；

S380：对所有超像素点与最终背景模型中的B个高斯分布进行匹配，匹配条件如下：

|X_t-μ_i,t|<D*σ_i,t

其中X_t表示t时刻的超像素点值，μ_i,t和σ_i,t分别表示t时刻的第i个高斯分布的均值和t时刻的第i个高斯分布的方差；

若存在与超像素点匹配的高斯分布，则被划分为背景，若不存在与超像素点匹配的高斯分布，则被划分为前景；

S390：提取步骤S380中被划为前景的超像素点形成前景图像序列。

该技术特征的作用是：该技术特征使得像素级图像转变为超像素级图像，减小了图像信息冗余度，有助于加快后续步骤的计算速度，同时可以加速前景检测过程可能出现的“鬼影”现象的消除和降低了运动幅度较小的前景目标被错误划分为的几率。

相对于现有技术，本发明至少具有如下优点：

1.本发明将超像素分割融合其中，不仅大大减少了混合高斯模型等背景建模过程中的计算量，同时超像素分割的在空间上的特性也使得混合高斯模型的准确率不会因为计算目标的减少而降低。

2.本发明在传统混合高斯模型的基础上采用自适应背景更新的策略，在背景模型稳定前后采用不同的学习率更新方式，能够加快“鬼影”现象的消除,提高前景检测准确度。

3.本发明引入了消融机制来控制变静止运动目标被划分为背景的几率，提高了前景目标在静止或运动幅度小的情况下被正确检测出的概率。

附图说明

图1为本发明涉及到的算法中k-means算法和SLIC算法搜索区域对比。

图2为混合高斯模型流程图。

图3为前景检测结果。

具体实施方式

下面对本发明作进一步详细说明。

本发明描述了一种融合图像分割的混合高斯模型前景检测方法。该发明是基于混合高斯模型进行研究的，具体来书，就是通过将视频图像帧进行超像素分割，将普通像素点转变成超像素点，之后将这些超像素点通过混合高斯模型处理，得到前景图像帧序列，之后再都对前景图像序列进行形态学后处理，从而得到我们所需要的前景目标。本发明使用的混合高斯模型的处理过程中还引入了自适应背景的更新和背景消融机制，这样会使前后景的判断分离更加准确。

本发明中，首先，接受一个待检测视频作为数据输入；将此待检测视频作为一个视频图像帧序列，针对视频图像帧序列上的每个视频图像帧进行超像素分割，每个视频图像帧的构成元素由原来的像素转变为超像素；对超像素构成的视频图像帧序列进行混合高斯模型处理，使得前景图像和背景图像进行分离；最后对前景图像进行形态学后处理，输出需要的前景图像序列。

一种融合图像分割的混合高斯模型前景检测方法，其特征在于：包括如下步骤：

S100：选取任一视频分割成M个视频图像帧，其中前h个视频图像帧只包含背景目标；

S200：将M个视频图像帧进行超像素分割处理，得到M′个超像素视频图像帧，其中前h′个超像素视频图像帧只包含背景目标；

S300：将M′个超像素视频图像帧作为混合高斯模型的输入，混合高斯模型的输出为前景图像序列；

S400：将前景图像序列进行形态学后处理，此处使用的形态学后处理属于现有方法，不再赘述，得到最终的前景图像检测结果。

具体实施时，得到超像素视频图像帧的具体步骤如下：

S210：预设超像素分割模型SLIC的参数为K；超像素分割模型SLIC为现有算法，同时，K为经验值，其具体取值是根据视频中的前景图像来进行确定，如果前景图像在整个视频图像帧中占比面积比较大，则K值可以取小一点，如果目标占比面积比较小，则K值需要取大一点，一般设定K＝100。SLIC一般情况下只需要一个参数K，即表示超像素个数，SLIC算法是在CIELAB颜色空间下处理彩色图像，其颜色信息用(l,a,b)表示，空间信息则用(x,y)表示。上文已经提到，SLIC是基于k-means改进的算法，其与k-means最大的不同便是SLIC无需在整个图像中搜索像素，只需要在以聚类中心为中心的有限区域内进行计算。

S220：从M中选取一个视频图像帧，用SLIC模型对该视频图像帧进行初始化，得到K个初始聚类中心，每个聚类中心对应一个超像素区域，每个超像素区域为S*S大小的正方形；初始化的目的就是从该视频图像帧包含的所有像素点中随机选择K个像素点作为K个初始聚类中心，聚类中心是超像素区域的中心点，初始化后相应的就会得到K个超像素区域，可将超像素区域近似的看作是一个S*S大小的正方形，因为每个聚类中心对应一个超像素区域，显然得到的超像素区域的大小应该为与邻近的聚类中心之间的距离为S，聚类中心的表达式如下：

C_ε＝(l_ε,a_ε,b_ε,x_ε,y_ε)^T

其中，C_ε表示第ε个初始聚类中心，l_ε,a_ε,b_ε分别表示第ε个初始聚类中心的颜色属性，x_ε,y_ε表示第ε个初始聚类中心的空间坐标，ε＝1,2,…,K,K表示初始聚类中心的数量；

设所述视频图像帧包含N个像素点，第i个像素点所属初始聚类中心对应的超像素区域记为初始区域，该初始区域标签为t_i,j,第i个像素点与所属初始聚类中心之间的距离记为初始距离，该初始距离标签记为d_i,j，其中，j＝1,2,…,K；i＝1,2,…,N；一般情况下，SLIC算法是在CIELAB颜色空间下处理彩色图像，在CIELAB颜色空间中，每个像素点都会用(l,a,b,x,y)五个值唯一表示。

S230:针对步骤S220得到的K个初始聚类中心，计算每个初始聚类中心m*m邻域内的每个像素点的梯度值，m一般取值为3；然后将该邻域内梯度值最小的像素点作为新的初始聚类中心，即得到K′个新初始聚类中心，此时，该视频图像帧上的每个像素点i获得初始区域标签t_i,j＝-1，每个像素点获得初始距离标签d_i,j＝∞；任意一图像都会包含或多或少的噪声，即一些异常的像素点，图像噪声是指存在于图像数据中不必要的或多余的干扰信息。为了防止这些异常的像素点被当作初始聚类中心而收敛出错误的超像素，SLIC算法会进行去噪处理，即通过将每个初始聚类中心更改为其邻域内梯度值最小的像素点来避免出现收敛错误的情况；

S240：计算所述N个像素点与新初始聚类中心之间的距离，并更新像素点所属的聚类中心及对应的标签t_i,j，具体步骤如下：

S241：以新初始聚类中心为中心点建立2S*2S邻域，在该邻域内进行搜索，则任一像素点i会被P个新初始聚类中心对应的邻域搜索到；由于一个超像素的尺寸大小仅为S*S，所以在其2S*2S邻域内搜索时会导致一个像素点被多个聚类中心搜索到，因此还需要引入距离测量来判别该像素点应该被划分至哪一个聚类中心；

S242：计算像素点i与P个新初始聚类中心之间的颜色差距d_c，d_c表达式如下：

其中，i表示第i个像素点，i＝1,2,…,N；j表示搜索到第i个像素点的邻域对应的新初始聚类中心的下标，j＝1,2,…,P；l_i,a_i,b_i表示第i个像素点的颜色属性，l_j,a_j,b_j表示第j个新初始聚类中心的颜色属性，；

计算像素点i与其所属的P个新初始聚类中心之间的空间差距d_s，d_s表达式如下：

所述x_i，y_i表示第i个像素点的空间坐标，x_j，y_j表示第j个新初始聚类中心的空间坐标；

S243：计算第i个像素点与P个新初始聚类中心的距离，其中，距离的具体表达式如下：

其中，D_i,j表示第i个像素点与第p个新初始聚类中心的距离，L_c表示最大颜色差距，L_s最大空间差距，m表示常数，S表示邻近的聚类中心之间的距离，具体表达式如下：

L_c＝m

其中，N表示视频图像帧中所包含的像素点数量，K′表示新初始聚类中心的数量，m表示常数；最大颜色差距L_c的计算比较困难，所以一般用常数m来代替；

采用变形后的距离公式进行计算，表达式如下:

采用简化后的公式进行计算，不仅可以简化计算，还允许算法动态调整颜色距离和空间距离之间的占比关系，当算法更关心空间差距时，得出的超像素区域将更加致密，而当算法更加关心颜色差距时，生成的超像素的边缘贴合度更好。

S244：若第i个像素点与第p个新初始聚类中心的距离D_i,j小于第i个像素点的初始距离d_i,j，则令d_i,j＝D_i,j，令t_i,j＝j,；若第i个像素点与第p个新初始聚类中心的距离D_i,j大于或等于第i个像素点的初始距离d_i,j，则第i个像素点所属的聚类中心保持不变；

S245：让i遍历其取值范围，重复S244，使所选视频图像帧上的所有像素点都会属于K′个新聚类中心中的一个；

S246：经过S245更新后的每一个新聚类中心都会有多个像素点属于此新聚类中心，通过求此新聚类中心对应的多个像素点的均值，每个像素点由五个参数表示，此处的多个像素点的均值指的是多个像素点每个参数的算术平均值，可以得到每个新聚类中心对应的最终聚类中心C_j′,j＝1,2,…K；

S247：设置最大收敛次数，利用L2范数计算前一次更新的聚类中心与本次确定的聚类中心之间的残差E，如果残差E收敛，则此图像帧的超像素分割完成，每个新聚类中心对应的所有像素点构成了一个超像素区域，K′个新聚类中心共得到K′个超像素区域，如果残差E未收敛，则重复步骤S210-S246，直至残差E收敛，残差E具体表达式如下：

其中，C_j表示第j个更新前的新聚类中心，C_j′表示第j个更新后的最终聚类中心，j＝1,2,…,K′；

此处所述的L2范数是一个数学术语，表示求各元素的平方和然后再开平方，即残差E的表达式所展示的形式；

S250：重复步骤S210-S247，对M个视频图像帧进行超像素分割处理，最后得到M′个超像素视频图像帧。

具体实施时，混合高斯模型的输出为前景图像序列的具体步骤为：

S310：定义超像素视频帧上的一个超像素区域为一个超像素点，一个超像素视频图像帧有K′个超像素点；

S320：混合高斯模型利用前h′个超像素视频图像帧进行背景目标学习；

S330：用超像素视频图像帧中的K′个超像素点对混合高斯模型进行初始化，得到背景模型，具体步骤如下：

S331：设一个超像素点作为混合高斯模型的输入，输出为Q个高斯分布，将K′个超像素点作为混合高斯模型的输入，输出为K′*Q个高斯分布，该K′*Q个高斯分布构成了初始化的混合高斯模型，该初始化后的混合高斯模型即为背景模型；每个超像素点输入混合高斯模型后会得到Q个高斯分布，Q值一般取3或4或5，所以K′个超像素点对应K′*Q个高斯分布；

S340：针对K′中的任一超像素点，判断该超像素点与相对应的Q个高斯分布是否匹配，满足匹配的条件如下式所示，

|X_t-μ_i,t|<D*σ_i,t

其中X_t表示t时刻的超像素点值，μ_i,t和σ_i,t分别表示t时刻的第i个高斯分布的均值和方差；

对于任一超像素点和该超像素点相对应的Q个高斯分布：

设Q个高斯分布中，与此超像素点匹配的高斯分布个数为q，与此超像素点不匹配的高斯分布个数为q′，其中q与q′的数量总和为Q个；

1)如果存在至少一个高斯分布与此超像素点匹配，则对于与该超像素点匹配的q个高斯分布中，每个高斯分布通过如下表达式参数更新，具体如下：

ω_i,t＝(1-α)ω_i,t-1+α

ρ＝α·η(X_t,μ_i,t,ε_i,t)

μ_i,t＝(1-ρ)μ_i,t-1+ρX_t

其中，t表示t时刻，指当前图像在整个图像序列中顺序，ω_i,t表示t时刻第i个高斯分布的权值，μ_i,t表示t时刻第i个高斯分布的均值，ε_i,t表示t时刻第i个高斯分布的协方差矩阵，表示t时刻第i个高斯分布的方差，η(X_t,μ_i,t,ε_i,t)表示t时刻第i个高斯分布的概率密度函数，α为学习率；

对于不匹配的q′个高斯分布中，每个高斯分布通过如下表达式进行参数更新，具体如下：

ω_i,t＝(1-α)ω_i,t-1+α；

2)如果不存在任何高斯分布与此超像素点匹配，则不更新任何高斯分布的参数，同时新建一个高斯分布替代此时Q个高斯分布中ω/σ值最小的高斯分布；新建高斯分布的均值μ取该超像素点的像素值，新建高斯分布的方差σ²和新建高斯分布的权值ω分别取Q个高斯分布中的最大值和最小值；

当一个运动目标进入场景之后突然变得缓慢或静止，随着时间的推移，相关高斯分布的权值ω逐渐增大，方差σ²逐渐减小，使得该运动目标的容易被判定为背景，本文加入消融机制以减缓此类运动目标的高斯分布的权值ω的增长，从而降低该运动目标被判断为背景的可能。

S350：重复步骤S340，更新所有超像素点对应的高斯分布参数，更新后的高斯分布数量为K′*Q个；

S360：对步骤S350中所述的K′*Q个高斯分布的权值进行归一化处理，计算公式如下：

其中，Q表示一个超像素点对应的高斯分布个数，j＝1,2,…,Q；

S370：设定背景选择阈值T，将K′*Q个高斯分布按照ω/σ值降序排列，选取前B个高斯分布作为最终背景模型，B的表达式如下：

其中，b取值1到K′*Q，m取值1到b，ω_m表示第m个高斯分布的权值；

S380：对所有超像素点与最终背景模型中的B个高斯分布进行匹配，匹配条件如下：

|X_t-μ_t--|<D*σ_i,t

若存在与超像素点匹配的高斯分布，则被划分为背景，若不存在与超像素点匹配的高斯分布，则被划分为前景；

S390：提取步骤S380中被划为前景的超像素点形成前景图像序列。

实验验证

为了评估算法的实验效果，将在Python3.0平台上，对本发明模型进行实验。前景检测领域有众多公开数据集，本发明使用微软的Test Images for Wallflower Paper数据库中的MovedObject数据集对混合高斯模型进行实验及分析，数据集中共有1475帧图像，每帧图像为160×120像素，运动目标在第637帧进入场景，在第891帧图像离开场景并在1389帧重新返回场景中，之后在1502帧图像处离开场景。

为了加速“鬼影”现象的消除，需要在一定帧数前后采用不同的学习率，本发明采用自适应背景更新和学习率更新的策略，学习率取值如下所示：

其中t表示当前帧数，T表示用以建立混合高斯模型帧数阈值。

以下实验结果是将本发明方法与传统混合高斯模型方法进行对比的结果。

在MovedObject数据集中，运动目标在第637帧进入场景，在第891帧图像离开场景，此段时间内，场景中的运动目标在大部分帧中处于运动幅度较小的状态，因此在此区间内取样，可以用以验证运动前景突然静止或运动幅度变小之后前景被误判为背景的情况。其中，O代表数据集原图像帧，A代表传统混合高斯模型方法，B代表本发明方法。

如图3所示，在第705帧，运动目标已经处于运动幅度较小的状态，直到第850帧，运动目标的位置及姿态基本与第705帧保持一致。在传统混合高斯模型方法的实验结果中，可以明显看到，随着时间的增长，在运动目标运动幅度较小的情况下，运动目标的前景图像轮廓逐渐减小，甚至在第850帧处前景目标基本融入背景。其主要原因是在传统混合高斯模型中，当进入场景的运动目标突然静止或运动幅度较小时，随着时间的推移，运动目标的高斯分布的权值ω递增，而协方差σ递减，导致其高斯分布较快的进入前B个高斯分布，从而被划分为背景模型，导致此情况下无法正确检测出前景目标。

在本发明方法的实验结果中，在从第705帧到第850帧的过程中，本发明方法均能准确检测出前景目标。其主要原因是本发明方法在传统高斯混合模型的基础上结合了消融机制，通过统计当前像素被划分为前景的频率来控制对应高斯分布的权值ω和协方差σ变化，有效的抑制了前景目标高斯分布被划分到背景模型中的速度，从而能够在运动目标突然静止或运动幅度较小的情况下仍正确检测出前景目标。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本邻域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种融合图像分割的混合高斯前景检测模型，其特征在于：包括如下步骤：

S100：选取任一视频分割成M个视频图像帧，其中前h个视频图像帧只包含背景目标；

S200：将M个视频图像帧进行超像素分割处理，得到M′个超像素视频图像帧，其中前h′个超像素视频图像帧只包含背景目标；

得到超像素视频图像帧的具体步骤如下：

S210：预设超像素分割模型SLIC的参数为K；

S220：从M中选取一个视频图像帧，用SLIC模型对该视频图像帧进行初始化，得到K个初始聚类中心，每个聚类中心对应一个超像素区域，每个超像素区域为S*S大小的正方形，聚类中心的表达式如下：

C_ε＝(l_ε,a_ε,b_ε,x_ε,y_ε)^T

其中，C_ε表示第ε个初始聚类中心，l_ε,a_ε,b_ε分别表示第ε个初始聚类中心的颜色属性，x_ε,y_ε表示第ε个初始聚类中心的空间坐标，ε＝1,2,…,K,K表示初始聚类中心的数量；

设所述视频图像帧包含N个像素点，第i个像素点所属初始聚类中心对应的超像素区域记为初始区域，该初始区域标签为t_i,j,第i个像素点与所属初始聚类中心之间的距离记为初始距离，该初始距离标签记为d_i,j，其中，j＝1,2,…,K；i＝1,2,…,N；

S230:针对步骤S220得到的K个初始聚类中心，计算每个初始聚类中心m*m邻域内的每个像素点的梯度值，然后将该邻域内梯度值最小的像素点作为新的初始聚类中心，即得到K′个新初始聚类中心，此时，该视频图像帧上的每个像素点i获得初始区域标签t_i,j＝-1，每个像素点获得初始距离标签d_i,j＝∞；

S240：计算所述N个像素点与新初始聚类中心之间的距离，并更新像素点所属的聚类中心及对应的标签t_i,j，具体步骤如下：

S241：以新初始聚类中心为中心点建立2S*2S邻域，在该邻域内进行搜索，则任一像素点i会被P个新初始聚类中心对应的邻域搜索到；

S242：计算像素点i与P个新初始聚类中心之间的颜色差距d_c，d_c表达式如下：

其中，i表示第i个像素点，i＝1,2,…,N；j表示搜索到第i个像素点的邻域对应的新初始聚类中心的下标，j＝1,2,…,P；l_i，a_i，b_i表示第i个像素点的颜色属性，l_j，a_j，b_j表示第j个新初始聚类中心的颜色属性；

计算像素点i与其所属的P个新初始聚类中心之间的空间差距d_s，d_s表达式如下：

所述x_i，y_i表示第i个像素点的空间坐标，x_j，y_j表示第j个新初始聚类中心的空间坐标；

S243：计算第i个像素点与P个新初始聚类中心的距离，其中，距离的具体表达式如下：

其中，D_i,j表示第i个像素点与第p个新初始聚类中心的距离，L_c表示最大颜色差距，L_s最大空间差距，m表示常数，S表示邻近的聚类中心之间的距离，具体表达式如下：

L_c＝m

其中，N表示视频图像帧中所包含的像素点数量，K^′表示新初始聚类中心的数量，m表示常数；

采用变形后的距离公式进行计算，表达式如下:

S244：若第i个像素点与第p个新初始聚类中心的距离D_i,j小于第i个像素点的初始距离d_i,j，则令d_i,j＝D_i,j，令t_i,j＝j；若第i个像素点与第p个新初始聚类中心的距离D_i,j大于或等于第i个像素点的初始距离d_i,j，则第i个像素点所属的聚类中心保持不变；

S245：让i遍历其取值范围，重复S244，使所选视频图像帧上的所有像素点都会属于K^′个新聚类中心中的一个；

S246：经过S245更新后的每一个新聚类中心都会有多个像素点属于此新聚类中心，通过求此新聚类中心对应的多个像素点的均值，可以得到每个新聚类中心对应的最终聚类中心C_j′,j＝1,2,…K；

S247：设置最大收敛次数，利用L2范数计算前一次更新的聚类中心与本次确定的聚类中心之间的残差E，如果残差E收敛，则此图像帧的超像素分割完成，每个新聚类中心对应的所有像素点构成了一个超像素区域，K′个新聚类中心共得到K′个超像素区域，如果残差E未收敛，则重复步骤S210-S246，直至残差E收敛，残差E具体表达式如下：

其中，C_j表示第j个更新前的新聚类中心，C_j′表示第j个更新后的最终聚类中心，j＝1,2,…,K′；

S250：重复步骤S210-S247，对M个视频图像帧进行超像素分割处理，最后得到M′个超像素视频图像帧；

S300：将M′个超像素视频图像帧作为混合高斯模型的输入，混合高斯模型的输出为前景图像序列，具体步骤为：

S310：定义超像素视频帧上的一个超像素区域为一个超像素点，一个超像素视频图像帧有K′个超像素点；

S320：混合高斯模型利用前h′个超像素视频图像帧进行背景目标学习；

S330：用超像素视频图像帧中的K′个超像素点对混合高斯模型进行初始化，得到背景模型，具体步骤如下：

S331：设一个超像素点作为混合高斯模型的输入，输出为Q个高斯分布，将K′个超像素点作为混合高斯模型的输入，输出为K′*Q个高斯分布，该K′*Q个高斯分布构成了初始化的混合高斯模型，该初始化后的混合高斯模型即为背景模型；

S340：针对K′中的任一超像素点，判断该超像素点与相对应的Q个高斯分布是否匹配，满足匹配的条件如下式所示，

|X_t-μ_i,t|＜D*σ_i,t

其中X_t表示t时刻的超像素点值，μ_i,t和σ_i,t分别表示t时刻的第i个高斯分布的均值和方差；

对于任一超像素点和该超像素点相对应的Q个高斯分布：

设Q个高斯分布中，与此超像素点匹配的高斯分布个数为q，与此超像素点不匹配的高斯分布个数为q′，其中q与q′的数量总和为Q个；

1)如果存在至少一个高斯分布与此超像素点匹配，则对于与该超像素点匹配的q个高斯分布中，每个高斯分布通过如下表达式参数更新，具体如下：

ω_i,t＝(1-α)ω_i,t-1+α

ρ＝α·η(X_t,μ_i,t,ε_i,t)

μ_i,t＝(1-ρ)μ_i,t-1+ρX_t

其中，t表示t时刻，指当前图像在整个图像序列中顺序，ω_i,t表示t时刻第i个高斯分布的权值，μ_i,t表示t时刻第i个高斯分布的均值，ε_i,t表示t时刻第i个高斯分布的协方差矩阵，表示t时刻第i个高斯分布的方差，η(X_t,μ_i,t,ε_i,t)表示t时刻第i个高斯分布的概率密度函数，α为学习率；

对于不匹配的q′个高斯分布中，每个高斯分布通过如下表达式进行参数更新，具体如下：

ω_i,t＝(1-α)ω_i,t-1+α；

2)如果不存在任何高斯分布与此超像素点匹配，则不更新任何高斯分布的参数，同时新建一个高斯分布替代此时Q个高斯分布中ω/σ值最小的高斯分布；新建高斯分布的均值μ取该超像素点的像素值，新建高斯分布的方差σ²和新建高斯分布的权值ω分别取Q个高斯分布中的最大值和最小值；

S350：重复步骤S340，更新所有超像素点对应的高斯分布参数，更新后的高斯分布数量为K′*Q个；

S360：对步骤S350中所述的K′*Q个高斯分布的权值进行归一化处理，计算公式如下：

其中，Q表示一个超像素点对应的高斯分布个数，j＝1,2,…,Q；

S370：设定背景选择阈值T，将K′*Q个高斯分布按照ω/σ值降序排列，选取前B个高斯分布作为最终背景模型，B的表达式如下：

其中，b取值1到K′*Q，m取值1到b，ω_m表示第m个高斯分布的权值；

S380：对所有超像素点与最终背景模型中的B个高斯分布进行匹配，匹配条件如下：

|X_t-μ_t-1|＜D*σ_i,t

若存在与超像素点匹配的高斯分布，则被划分为背景，若不存在与超像素点匹配的高斯分布，则被划分为前景；

S390：提取步骤S380中被划为前景的超像素点形成前景图像序列；

S400：将前景图像序列进行形态学后处理，得到最终的前景图像检测结果。