CN103700097A - 一种背景分割方法及系统 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种背景分割方法及系统，所述方法包括：为每个像素建立一个高斯混合模型GMMs；更新所述GMMs模型的充分统计量；基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型；根据所述新的GMMs模型确定当前像素为背景或前景。本发明使用Stepwise-EM在线方法替代背景分割中传统的K-means参数更新方法，既维持了简单的迭代参数更新过程，又使得参数的估计（特别是方差）更加准确，使背景分割效果更好。

Description

一种背景分割方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种背景分割方法及系统。

背景技术

背景分割是视频处理的基本技术，背景分割在实时建立背景的同时，能分割出前景中的运动目标。现有的视频背景分割方法，主要是基于高斯混合模型(GMMs)的背景分割方法，该方法在时间流上为每个像素建立一个高斯混合模型，并实时修改每个像素的GMMs模型参数，从而能够很好的适用缓慢变化的背景。但是为了避免传统最大期望（Expectation-maximization，EM）算法（batch-EM）计算上的问题，现有技术通过K均值（K-means）更新每个像素的GMMs模型参数。但K-means无法有效的拟合GMMs模型中协方差参数，影响背景分割的准确率。

发明内容

本发明实施例在于提供一种背景分割方法及系统，以解决现有K-means无法有效拟合GMMs模型中协方差参数，影响背景分割准确率的问题。

本发明实施例的第一方面，提供一种背景分割方法，所述方法包括：

为每个像素建立一个高斯混合模型GMMs；

更新所述GMMs模型的充分统计量；

基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型；

根据所述新的GMMs模型确定当前像素为背景或前景。

本发明实施例的第二方面，提供一种背景分割系统，所述系统包括：

模型建立单元，用于为每个像素建立一个高斯混合模型GMMs；

更新单元，用于更新所述GMMs模型的充分统计量；

计算单元，用于基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型；

确定单元，用于根据所述新的GMMs模型确定当前像素为背景或前景。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型，并根据所述新的GMMs模型确定当前像素为背景或前景。本发明实施例采用更加有效的充分统计量实时更新GMMs模型参数，可获得更好的背景分割效果，有效解决了现有基于K-means的GMMs模型参数更新所导致的GMMs模型中协方差不能够很好的拟合，影响背景分割准确率的问题，具有较强的易用性和实用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的背景分割方法的实现流程图；

图2是本发明第二实施例提供的背景分割系统的组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了第一施例提供的背景分割方法的实现流程，该方法过程详述如下：

在步骤S101中，为每个像素建立一个高斯混合模型GMMs。

具体的是，为每个像素在时间轴上建立一个高斯混合模型GMMs。

在步骤S102中，更新所述GMMs模型的充分统计量。

较佳的，更新GMMs模型充分统计量的公式为：

$S_{w,i}^k=(1-{\mathrm{\γ}}_k)S_{w,i}^{k-1}+{\mathrm{\γ}}_k{r}_{w,i}^{k-1}$

$S_{\mathrm{\γ},i}^k\left[0\right]=(1-{\mathrm{\γ}}_k)S_{\mathrm{\λ},i}^{k-1}\left[0\right]+{\mathrm{\γ}}_k{r}_{w,i}^{k-1}{y}_j$

$S_{\mathrm{\λ},i}^k\left[1\right]=(1-{\mathrm{\γ}}_k)S_{\mathrm{\λ},i}^{k-1}\left[1\right]+{\mathrm{\γ}}_k{r}_{w,i}^{k-1}{y}_j{y}_j^T$

其中，γ_k为迭代的系数，0<γ_k<0.5；

表示像素j属于第i个GMMs模型的概率，

表示GMMs模型中权重w_i相关的充分统计量，表示与高斯模型（即GMMs模型中的单个模型）相关的充分统计量向量，λ表示高斯模型中的参数，k为当前的迭代次数，yj为位置j处的像素值（包括R、G、B），

为y_j的转置。

在步骤S103中，基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型。

较佳的，基于更新后的充分统计量计算GMMs模型参数的公式为：

${\mathrm{\&theta;}}_k=\left(\begin{array}{c}{w}_i^k\\ {\mathrm{\&mu;}}_i^k\\ {\mathrm{\&Sigma;}}_i^k\end{array}\right)=\left(\begin{array}{c}{S}_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[0\right]/S_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[1\right]/S_{w,i}^k-\left(S_{\mathrm{\&lambda;},i}^k\right[0\left]S_{\mathrm{\&lambda;},i}^k{\left[0\right]}^T\right)/(S_{w,i}^k*S_{w,i}^k)\end{array}\right)$

其中，k表示当前的迭代次数，

表示第i个高斯模型的权重，

表示第i个高斯模型的均值参数（高斯分布有两个参数，即均值μ和协方差矩阵Σ，可记作N（μ，Σ）），

表示第i个GMMs模型的协方差矩阵。

在步骤S104中，根据所述新的GMMs模型确定当前像素为背景或前景。

具体的可以是，将所述新的GMMs模型中的高斯模型按照w_i/|Σ_i|^1/2进行从大到小排序，其中|Σ_i|为第i个GMMs模型中协方差矩阵的行列式，w_i为第i个GMMs模型的权值且

m为GMMs模型的个数；

根据所述排序，选择前B个GMMs模型作为背景模型，并判断当前像素是否属于所述前B个GMMs模型，若是，则所述当前像素为背景，否则所述当前像素为前景，所述B为大于零的整数。

优选的，所述

其中，B表示选取的背景模型个数，T表示GMMs模型中背景数据所占的最小比例，w_i为第i个GMMs模型的权值，m为GMMs模型的个数。

在本实施例中，为每个像素i建立一个高斯混合模型，如用次高斯混合模型来拟合最近一段时间内的像素值。设

为像素j的高斯模型，其中y_j表示像素j的像素值，m为GMMs模型的个数，w_i为第i个模型的权值且

是参数为λ_i=[μ_i,Σ_i]的高斯分布，则GMMs模型的充分统计量为s(x_j,y_j)=[s_w,i(x_j,y_j),s_λ,i(x_j,y_j)],其中x_j为观察到的变量y_j对应的隐变量，s_w,i(x_j,y_j)=δ(i,x_j)为第i个权重w_i对应的充分统计量，s_λ,i(x_j,y_j)=δ(i,x_j)s(y_j)为高斯混合概率密度函数对应的充分统计量，δ(i,x_j)=1当且仅当x_j=i，即观察到的变量属于第i个隐变量。

GMMs模型可以分解为通用指数形式如下：

其中，充分统计量为h(y_j)为剩余部分。

设r_w,i=E(δ(i,x_j))=p(x_j=i|w_i,λ)为像素j属于第i个GMMs模型的概率，它可由当前已有的GMMs模型参数计算得到，即

$r_{w,i}=\frac{w_i{g}_{{\mathrm{\&lambda;}}_i}\left(y_j\right|{\mathrm{\&mu;}}_i,{\mathrm{\&Sigma;}}_i)}{\underset{i}{\mathrm{\&Sigma;}}{w}_i{g}_{{\mathrm{\&lambda;}}_i}\left(y_j\right|{\mathrm{\&mu;}}_i,{\mathrm{\&Sigma;}}_i)}$

那么高斯混合模型的充分统计量s(x_j,y_j)的期望为

通过迭代更新，得到StepWise-EM方法的E-Step:

$S_{w,i}^k=(1-{\mathrm{\&gamma;}}_k)S_{w,i}^{k-1}+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}$

$S_{\mathrm{\&gamma;},i}^k\left[0\right]=(1-{\mathrm{\&gamma;}}_k)S_{\mathrm{\&lambda;},i}^{k-1}\left[0\right]+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}{y}_j$

$S_{\mathrm{\&lambda;},i}^k\left[1\right]=(1-{\mathrm{\&gamma;}}_k)S_{\mathrm{\&lambda;},i}^{k-1}\left[1\right]+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}{y}_j{y}_j^T$

其中γ_k为迭代的系数，在实际的应用中γ_k一般设为（0,0.5）之间一个固定的常数，这样可以近似的表示为用最近的常数帧来估计当前的GMMs模型参数。

M-Step更新模型参数

${\mathrm{\&theta;}}_k=\left(\begin{array}{c}{w}_i^k\\ {\mathrm{\&mu;}}_i^k\\ {\mathrm{\&Sigma;}}_i^k\end{array}\right)=\left(\begin{array}{c}{S}_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[0\right]/S_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[1\right]/S_{w,i}^k-\left(S_{\mathrm{\&lambda;},i}^k\right[0\left]S_{\mathrm{\&lambda;},i}^k{\left[0\right]}^T\right)/(S_{w,i}^k*S_{w,i}^k)\end{array}\right)$

在实际应用中，为了使计算更为方便，假设像素值的各维度（如，RGB）是相互独立的，协方差矩阵为对角矩阵。

本实施例使用Stepwise-EM在线方法替代背景分割中传统的K-means参数更新方法，既维持了简单的迭代参数更新过程，又使得参数的估计（特别是方差）更加准确，使背景分割效果更好。

实施例二：

图2示出了本发明第二实施例提供的背景分割系统的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该背景分割系统可应用于各种终端设备，例如口袋计算机（Pocket PersonalComputer，PPC）、掌上电脑、计算机、笔记本电脑、个人数字助理（PersonalDigital Assistant，PDA）等，可以是运行于这些终端内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到这些终端中或者运行于这些终端的应用系统中。

该背景分割系统包括模型建立单元21、更新单元22、计算单元23以及确定单元24。其中，各单元具体功能如下：

模型建立单元21，用于为每个像素建立一个高斯混合模型GMMs；

更新单元22，用于更新所述GMMs模型的充分统计量；

计算单元23，用于基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型；

确定单元24，用于根据所述新的GMMs模型确定当前像素为背景或前景。

进一步的，所述确定单元24包括：

排序模块241，用于将所述新的GMMs模型中的高斯模型按照w_i/|Σ_i|^1/2进行从大到小排序，其中|Σ_i|为第i个GMMs模型中协方差矩阵的行列式，w_i为第i个GMMs模型的权值且m为GMMs模型的个数；

确定模块242，用于根据所述排序，选择前B个GMMs模型作为背景模型，并判断当前像素是否属于所述前B个GMMs模型，若是，则所述当前像素为背景，否则所述当前像素为前景，所述B为大于零的整数。

优选的是，所述

其中，B表示选取的背景模型个数，T表示GMMs模型中背景数据所占的最小比例，w_i为第i个GMMs模型的权值，m为GMMs模型的个数。

进一步的，所述更新单元22更新GMMs模型充分统计量的公式为：

$S_{w,i}^k=(1-{\mathrm{\&gamma;}}_k)S_{w,i}^{k-1}+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}$

$S_{\mathrm{\&gamma;},i}^k\left[0\right]=(1-{\mathrm{\&gamma;}}_k)S_{\mathrm{\&lambda;},i}^{k-1}\left[0\right]+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}{y}_j$

$S_{\mathrm{\&lambda;},i}^k\left[1\right]=(1-{\mathrm{\&gamma;}}_k)S_{\mathrm{\&lambda;},i}^{k-1}\left[1\right]+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}{y}_j{y}_j^T$

其中，γ_k为迭代的系数，0<γ_k<0.5；

表示像素j属于第i个GMMs模型的概率，

表示GMMs模型中权重w_i相关的充分统计量，

表示与高斯模型相关的充分统计量向量，λ表示高斯模型中的参数，k为当前的迭代次数，y_j为位置j处的像素值，

为y_j的转置。

进一步的，所述计算单元23基于更新后的充分统计量计算GMMs模型参数的公式为：

${\mathrm{\&theta;}}_k=\left(\begin{array}{c}{w}_i^k\\ {\mathrm{\&mu;}}_i^k\\ {\mathrm{\&Sigma;}}_i^k\end{array}\right)=\left(\begin{array}{c}{S}_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[0\right]/S_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[1\right]/S_{w,i}^k-\left(S_{\mathrm{\&lambda;},i}^k\right[0\left]S_{\mathrm{\&lambda;},i}^k{\left[0\right]}^T\right)/(S_{w,i}^k*S_{w,i}^k)\end{array}\right)$

其中，k表示当前的迭代次数，

表示第i个高斯模型的权重，

表示第i个高斯模型的均值参数，

表示第i个GMMs模型的协方差矩阵。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元或模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元或模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例的对应过程，在此不再赘述。

综上所述，本发明实施例基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型，并根据所述新的GMMs模型确定当前像素为背景或前景。本发明实施例采用更加有效的充分统计量实时更新GMMs模型参数，可获得更好的背景分割效果，有效解决了现有基于K-means的GMMs模型参数更新所导致的GMMs模型中协方差不能够很好的拟合，影响背景分割准确率的问题。本发明实施例既维持了简单的迭代参数更新过程，又使得参数的估计（特别是方差）更加准确，使背景分割效果更好，具有较强的易用性和实用性。

本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种背景分割方法，其特征在于，所述方法包括：

为每个像素建立一个高斯混合模型GMMs；

更新所述GMMs模型的充分统计量；

基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型；

根据所述新的GMMs模型确定当前像素为背景或前景。

2.如权利要求1所述的方法，其特征在于，所述根据所述新的GMMs模型确定当前像素为背景或前景包括：

将所述新的GMMs模型中的高斯模型按照w_i/|Σ|_i ^1/2进行从大到小排序，其中|Σ_i|为第i个GMMs模型中协方差矩阵的行列式，w_i为第i个GMMs模型的权值；

根据所述排序，选择前B个GMMs模型作为背景模型，并判断当前像素是否属于所述前B个GMMs模型，若是，则所述当前像素为背景，否则所述当前像素为前景，所述B为大于零的整数。

3.如权利要求1所述的方法，其特征在于，所述

其中，B表示选取的背景模型个数，T表示GMMs模型中背景数据所占的最小比例，w_i为第i个GMMs模型的权值，m为GMMs模型的个数。

4.如权利要求1所述的方法，其特征在于，更新GMMs模型充分统计量的公式为：

$S_{w,i}^k=(1-{\mathrm{\&gamma;}}_k)S_{w,i}^{k-1}+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}$

$S_{\mathrm{\&gamma;},i}^k\left[0\right]=(1-{\mathrm{\&gamma;}}_k)S_{\mathrm{\&lambda;},i}^{k-1}\left[0\right]+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}{y}_j$

$S_{\mathrm{\&lambda;},i}^k\left[1\right]=(1-{\mathrm{\&gamma;}}_k)S_{\mathrm{\&lambda;},i}^{k-1}\left[1\right]+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}{y}_j{y}_j^T$

其中，γ_k为迭代的系数，0<γ_k<0.5；

表示像素j属于第i个GMMs模型的概率，

表示GMMs模型中权重w_i相关的充分统计量，

表示与高斯模型相关的充分统计量向量，λ表示高斯模型中的参数，k为当前的迭代次数，y_j为位置j处的像素值，

为y_j的转置。

5.如权利要求1至4任一项所述的方法，其特征在于，基于更新后的充分统计量计算GMMs模型参数的公式为：

${\mathrm{\&theta;}}_k=\left(\begin{array}{c}{w}_i^k\\ {\mathrm{\&mu;}}_i^k\\ {\mathrm{\&Sigma;}}_i^k\end{array}\right)=\left(\begin{array}{c}{S}_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[0\right]/S_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[1\right]/S_{w,i}^k-\left(S_{\mathrm{\&lambda;},i}^k\right[0\left]S_{\mathrm{\&lambda;},i}^k{\left[0\right]}^T\right)/(S_{w,i}^k*S_{w,i}^k)\end{array}\right)$

其中，k表示当前的迭代次数，

表示第i个高斯模型的权重，表示第i个高斯模型的均值参数，

表示第i个GMMs模型的协方差矩阵。

6.一种背景分割系统，其特征在于，所述系统包括：

模型建立单元，用于为每个像素建立一个高斯混合模型GMMs；

更新单元，用于更新所述GMMs模型的充分统计量；

计算单元，用于基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型；

确定单元，用于根据所述新的GMMs模型确定当前像素为背景或前景。

7.如权利要求6所述的系统，其特征在于，所述确定单元包括：

排序模块，用于将所述新的GMMs模型中的高斯模型按照w_i/|Σ_i|^1/2进行从大到小排序，其中|Σ_i|为第i个GMMs模型中协方差矩阵的行列式，w_i为第i个GMMs模型的权值；

确定模块，用于根据所述排序，选择前B个GMMs模型作为背景模型，并判断当前像素是否属于所述前B个GMMs模型，若是，则所述当前像素为背景，否则所述当前像素为前景，所述B为大于零的整数。

8.如权利要求6所述的系统，其特征在于，所述

其中，B表示选取的背景模型个数，T表示GMMs模型中背景数据所占的最小比例，w_i为第i个GMMs模型的权值，m为GMMs模型的个数。

9.如权利要求6所述的系统，其特征在于，所述更新单元更新GMMs模型充分统计量的公式为：

$S_{w,i}^k=(1-{\mathrm{\&gamma;}}_k)S_{w,i}^{k-1}+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}$

$S_{\mathrm{\&gamma;},i}^k\left[0\right]=(1-{\mathrm{\&gamma;}}_k)S_{\mathrm{\&lambda;},i}^{k-1}\left[0\right]+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}{y}_j$

$S_{\mathrm{\&lambda;},i}^k\left[1\right]=(1-{\mathrm{\&gamma;}}_k)S_{\mathrm{\&lambda;},i}^{k-1}\left[1\right]+{\mathrm{\&gamma;}}_k{r}_{w,i}^{k-1}{y}_j{y}_j^T$

其中，γ_k为迭代的系数，0<γ_k<0.5；

表示像素j属于第i个GMMs模型的概率，

表示GMMs模型中权重w_i相关的充分统计量，

表示与高斯模型相关的充分统计量向量，λ表示高斯模型中的参数，k为当前的迭代次数，y_j为位置j处的像素值，

为y_j的转置。

10.如权利要求1至4任一项所述的系统，其特征在于，所述计算单元基于更新后的充分统计量计算GMMs模型参数的公式为：

${\mathrm{\&theta;}}_k=\left(\begin{array}{c}{w}_i^k\\ {\mathrm{\&mu;}}_i^k\\ {\mathrm{\&Sigma;}}_i^k\end{array}\right)=\left(\begin{array}{c}{S}_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[0\right]/S_{w,i}^k\\ S_{\mathrm{\&lambda;},i}^k\left[1\right]/S_{w,i}^k-\left(S_{\mathrm{\&lambda;},i}^k\right[0\left]S_{\mathrm{\&lambda;},i}^k{\left[0\right]}^T\right)/(S_{w,i}^k*S_{w,i}^k)\end{array}\right)$

其中，k表示当前的迭代次数，

表示第i个高斯模型的权重，表示第i个高斯模型的均值参数，

表示第i个GMMs模型的协方差矩阵。

Images