CN102903110B - 对具有深度图像信息的图像的分割方法 - Google Patents

Abstract

本发明公开了一种分割精度高、在前背景非常相似的情况下仍然达到较好分割效果的对具有深度图像信息的图像的分割方法，①经Kinect获取具有深度图像信息的图像；②对前背景的颜色信息和深度图像信息进行概率建模；③用EM算法对模型进行参数估计；④采用图割算法来对图像进行上述第一次图像分割以后的分割，能量函数为，<maths num="0001">

Description

对具有深度图像信息的图像的分割方法

技术领域

本发明涉及图像分析技术领域，具体讲是一种对具有深度图像信息的图像的分割方法。

背景技术

在图像分析的技术中，图像分割是非常重要的底层处理技术，它是许多高层应用的基础，简单地以车牌识别举例说明，其中图像中的车辆牌照可被视为前景(有用的信息)，而车辆牌照之外的部分则被视为背景，图像分割就是要将前景和背景进行区分，或者说图像分割就是将图像分成若干个特定的、具有独特性质的区域并提取出感兴趣的目标的技术和过程，如：车辆牌照识别、医学影像分析、人脸识别、人流量检测、目标跟踪和识别、AdobePhotoshop中魔棒的功能等等。图像分割作为机器视觉领域的内容，一直是一个研究难点，主要是没有通用的分割方法对所有问题有效，这也是它颇具挑战性的原因之一。

随着2010年6月推出Kinect以来，具有深度图像信息的图像的获取变得更加容易，基于深度图像信息的分割将渐渐显现出重要性，Kinect配套的API也使用了一些初步的具有深度图像信息的图像进行分割，但是较为简单，主要原因是室内环境比较简单，通过阈值分割，在用平面匹配剪除地面的干扰，就能很好的分割出室内的人物，而对于复杂或者前背景距离较近的情况则Kinect配套的API不太适用。

发明内容

本发明所要解决的技术问题是，提供一种分割精度高、在前背景非常相似的情况下仍然达到较好分割效果的对具有深度图像信息的图像的分割方法。

本发明的技术方案是，提供一种对具有深度图像信息的图像的分割方法，包括以下步骤：

①经Kinect获取具有深度图像信息的图像，该图像的数据结构为RGBD，其中RGB为颜色空间的三个通道，D为Kinect捕获的与像素对应的深度图像信息，然后在所述图像上拖出一个圈或框进行第一次图像分割，该圈或框完全落入要分割的目标内，或者该圈或框至少与要分割的目标相交；

②对前背景的颜色信息和深度图像信息进行概率建模，前景为图像中拖出的圈或框选中的部分，背景则为未被图像中拖出的圈或框选中的部分，深度图像信息数据为o＝{o₁,...,o_i,...,o_N}，o_i＝(c_i,d_i)为深度图像信息的图像分割信息，N为图像像素的个数，c_i为颜色空间中的三个分量组成的向量；对颜色信息的建模采用高斯混合模型，分别对前景和背景的颜色总体分布进行建模；

③用EM算法对模型进行参数估计：

用高斯混合模型来估计前景和背景颜色信息的似然函数，对高斯混合模型中的各K个高斯元的参数(π,μ,∑)进行估计，采用EM算法，通过迭代的方法进行模型参数的估计，

EM算法的第t次迭代的模型参数表示为：

θ^t＝{π^t(k),μ^t(k),∑^t(k)},k＝1,...,K

在E-step中对每一类别计算图像数据的后验概率：

$p\left(w_k\right|c_i,{\mathrm{\&theta;}}^t)=\frac{p\left(c_i\right|w_k,{\mathrm{\&theta;}}^t)p\left(w_k\right|{\mathrm{\&theta;}}^t)}{p\left(c_i\right|{\mathrm{\&theta;}}^t)}=\frac{p\left(c_i\right|w_k,{\mathrm{\&theta;}}^t){\mathrm{\&pi;}}^k\left(k\right)}{\underset{j=1}{\overset{K}{\&Sigma;}}p\left(c_i\right|w_j,{\mathrm{\&theta;}}^t){\mathrm{\&pi;}}^t\left(j\right)},k=1,\mathrm{...},K$

式中w_k表示图像颜色数据c_i所属的类别，即属于混合高斯模型中的哪个高斯元，在M-step中，分别计算：

${\mathrm{\&mu;}}^{t+1}\left(k\right)=\frac{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)c_i}{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)},$

${\&Sigma;}^{t+1}\left(k\right)=\frac{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)(c_i-{\mathrm{\&mu;}}^{t+1}(k\left)\right){(c_i-{\mathrm{\&mu;}}^{t+1}(k\left)\right)}^T}{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)},$

${\mathrm{\&pi;}}^{t+1}\left(k\right)=\frac{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)}{N^{t+1}\left(k\right)},$

式中N^t+1(k)表示第t+1次迭代时，属于第k类的图像颜色数据的数目；

所述深度图像信息的建模中，前景采用单高斯建模，背景则采用均匀分布概率建模，深度图像信息的前景和背景模型的概率分布是：

$p\left(o_i\right|{\mathrm{\&theta;}}_f)=\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\&Sigma;}_j)n(d_i;{\mathrm{\&mu;}}_d,{\&Sigma;}_d),$ θ_f表示前景概率模型参数，

N_b为背景像素的个数，θ_b背景概率模型参数；

④采用图割算法来对图像进行上述第一次图像分割以后的分割，能量函数为， $E\left(A\right)=\mathrm{\&lambda;}\underset{p\&Element;P}{\&Sigma;}{R}_p\left(A_p\right)+\underset{\{p,q\}\&Element;C}{\&Sigma;}{B}_{\{p,q\}}\mathrm{\&delta;}(A_p,A_q),$

其中，A＝(A₁,...,A_p,...,A_N)，A为图像所有像素的向量，C为邻域系统，{p,q}∈C表示p和q相邻，

R_p(A_p)＝-lnp(o_p|θ_f|b)，θ_f|b表示前景的概率模型参数或背景的概率模型参数，

$B_{\{p,q\}}\&ap;\exp (-\frac{{(o_p-o_q)}^2}{2{\mathrm{\&sigma;}}^2})\frac{1}{dist(p,q)},$ dist(p,q)表示p和q之间的欧式距离，

分子表示所有相邻像素欧式距离的平均值，

根据上述能量函数，用最大流算法求出最小割以得到最终分割目标。

用EM算法对模型进行参数估计时，先用K-means方法对像素进行分类，再用这个结果作为高斯混合模型的初始化条件，最后用概率公式 $p\left(o_i\right|{\mathrm{\&theta;}}_f)=\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\&Sigma;}_j)n(d_i;{\mathrm{\&mu;}}_d,{\&Sigma;}_d)$ 和 $p\left(o_i\right|{\mathrm{\&theta;}}_b)=N_b^{-1}\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\&Sigma;}_j)$ 用EM算法得出前背景的概率模型，其中参数K取值为等于或大于5个。

用图像金字塔技术来加快最大流算法，即在底层进行概率建模，高层进行最大流算法，再把分割的结果映射到底层。

图割算法分为建图和执行最大流算法两个过程，建图过程用到步骤②和③建立起来的前背景概率模型，其中，网络图分为两种边，

一种表示像素信息与概率模型的相似度，计算公式为，

R_p(A_p)＝-lnp(o_p|θ_f|b)，

另一种表示像素信息间的差异程度，计算公式为，

$B_{\{p,q\}}\&ap;\exp (-\frac{{(I_p-I_q)}^2}{2{\mathrm{\&sigma;}}^2})\frac{1}{dist(p,q)}.$

所述圈为圆圈。

所述框为矩形框。

本发明的工作原理是，本发明是在图割(Grabcut)基础上的迭代式的交互式图像分割，并采用考虑了深度图像信息的能量函数用于图像分割，由于图割的计算复杂性，而计算的复杂性主要在基于图割的能量最小化算法上，图像图像金字塔技术可以把图像处理应用于不同的分辨率上，在金字塔高层上运用基于图的能量最小化算法，再把最小化能量的边缘投射到底层的金字塔上，最后再对这个边缘进行一些修正就能得到完美的目标，如果边缘离目标较远，也可以运用交互来对边缘进行人工修正，人的上层干预能达到对图像的精确分割，图割是一个迭代过程，在金字塔基础上也可以做到迭代，底层目标在一次迭代分割好后，修改模型参数使之更符合分割结果，在新的模型参数基础上继续运用上述过程，直到图像边缘不再变化。

采用上述方法后，本发明与现有技术相比，具有以下显著优点及有益效果：由于采用考虑了深度图像信息的能量函数以达到对具有深度图像信息的图像的分割，使得本发明具有分割精度高、在前背景非常相似的情况下仍然达到较好分割效果的优点，此外，通过引入金字塔分层机制来减少GrabCut的执行时间，用分层的方法来加快本来就非常慢的最大流算法，在底层进行概率建模，高层进行最大流算法，再把分割的结果映射到底层，实验证明此方法能大大加快图像的分割，即本发明分割速度快、效率高。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本发明提供一种对具有深度图像信息的图像的分割方法，包括以下步骤：

①经Kinect获取具有深度图像信息的图像，该图像的数据结构为RGBD，其中RGB为颜色空间的三个通道，D为Kinect捕获的与像素对应的深度图像信息，然后在所述图像上拖出一个圈或框进行第一次图像分割，该圈或框完全落入要分割的目标内，或者该圈或框至少与要分割的目标相交；

②对前背景的颜色信息和深度图像信息进行概率建模，前景为图像中拖出的圈或框选中的部分，背景则为未被图像中拖出的圈或框选中的部分，深度图像信息数据为o＝{o₁,...,o_i,...,o_N}，o_i＝(c_i,d_i)为深度图像信息的图像分割信息，N为图像像素的个数，c_i为颜色空间中的三个分量组成的向量；对颜色信息的建模采用高斯混合模型，分别对前景和背景的颜色总体分布进行建模；

③用EM算法对模型进行参数估计：

用高斯混合模型来估计前景和背景颜色信息的似然函数，对高斯混合模型中的各K个高斯元的参数(π,μ,∑)进行估计，采用EM算法，通过迭代的方法进行模型参数的估计，

EM算法的第t次迭代的模型参数表示为：

θ^t＝{π^t(k),μ^t(k),∑^t(k)},k＝1,...,K

在E-step中对每一类别计算图像数据的后验概率：

$p\left(w_k\right|c_i,{\mathrm{\&theta;}}^t)=\frac{p\left(c_i\right|w_k,{\mathrm{\&theta;}}^t)p\left(w_k\right|{\mathrm{\&theta;}}^t)}{p\left(c_i\right|{\mathrm{\&theta;}}^t)}=\frac{p\left(c_i\right|w_k,{\mathrm{\&theta;}}^t){\mathrm{\&pi;}}^t\left(k\right)}{\underset{j=1}{\overset{K}{\&Sigma;}}p\left(c_i\right|w_j,{\mathrm{\&theta;}}^t){\mathrm{\&pi;}}^t\left(j\right)},k=1,\mathrm{...},K$

式中w_k表示图像颜色数据c_i所属的类别，即属于混合高斯模型中的哪个高斯元，在M-step中，分别计算：

${\mathrm{\&mu;}}^{t+1}\left(k\right)=\frac{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)c_i}{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)},$

${\&Sigma;}^{t+1}\left(k\right)=\frac{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)(c_i-{\mathrm{\&mu;}}^{t+1}(k\left)\right){(c_i-{\mathrm{\&mu;}}^{t+1}(k\left)\right)}^T}{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)},$

${\mathrm{\&pi;}}^{t+1}\left(k\right)=\frac{{\&Sigma;}_{i}p\left(w_i\right|c_i,{\mathrm{\&theta;}}^t)}{N^{t+1}\left(k\right)},$

式中N^t+1(k)表示第t+1次迭代时，属于第k类的图像颜色数据的数目；

所述深度图像信息的建模中，前景采用单高斯建模，背景则采用均匀分布概率建模，深度图像信息的前景和背景模型的概率分布是：

$p\left(o_i\right|{\mathrm{\&theta;}}_f)=\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_j;{\mathrm{\&mu;}}_j,{\&Sigma;}_j)n(d_i;{\mathrm{\&mu;}}_d,{\&Sigma;}_d),$ θ_f表示前景概率模型参数，

N_b为背景像素的个数，θ_b背景概率模型参数；

④采用图割算法来对图像进行上述第一次图像分割以后的分割，能量函数为， $E\left(A\right)=\mathrm{\&lambda;}\underset{p\&Element;P}{\&Sigma;}{R}_p\left(A_p\right)+\underset{\{p,q\}\&Element;C}{\&Sigma;}{B}_{\{p,q\}}\mathrm{\&delta;}(A_p,A_q),$

其中，A＝(A₁,...,A_p,...,A_N)，A为图像所有像素的向量，C为邻域系统，{p,q}∈C表示p和q相邻，

R_p(A_p)＝-lnp(o_p|θ_f|b)，θ_f|b表示前景的概率模型参数或背景的概率模型参数，

$B_{\{p,q\}}\&ap;\exp (-\frac{{(o_p-o_q)}^2}{2{\mathrm{\&sigma;}}^2})\frac{1}{dist(p,q)},$ dist(p,q)表示p和q之间的欧式距离，

分子表示所有相邻像素欧式距离的平均值，

根据上述能量函数，用最大流算法求出最小割以得到最终分割目标。

用EM算法对模型进行参数估计时，先用K-means方法对像素进行分类，再用这个结果作为高斯混合模型的初始化条件，最后用概率公式 $p\left(o_i\right|{\mathrm{\&theta;}}_f)=\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\&Sigma;}_j)n(d_i;{\mathrm{\&mu;}}_d,{\&Sigma;}_d)$ 和 $p\left(o_i\right|{\mathrm{\&theta;}}_b)=N_b^{-1}\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\&Sigma;}_j)$ 用EM算法得出前背景的概率模型，其中参数K取值为等于或大于5个。

用图像金字塔技术来加快最大流算法，即在底层进行概率建模，高层进行最大流算法，再把分割的结果映射到底层。

图割算法分为建图和执行最大流算法两个过程，建图过程用到步骤②和③建立起来的前背景概率模型，其中，网络图分为两种边，

一种表示像素信息与概率模型的相似度，计算公式为，

R_p(A_p)＝-lnp(o_p|θ_f|b)，

另一种表示像素信息间的差异程度，计算公式为，

$B_{\{p,q\}}\&ap;\exp (-\frac{{(I_p-I_q)}^2}{2{\mathrm{\&sigma;}}^2})\frac{1}{dist(p,q)}.$

所述圈为圆圈。

所述框为矩形框。

①与②的具体过程为：用户用鼠标拖一个矩形框包含目标区域，然后用混合高斯模型对目标区域和非目标区域进行概率建模，用的建模方法一般采用EM，但是由于EM方法的速度比较慢，所以先用K-means方法对像素进行分类，再用这个结果作为高斯混合模型的初始化条件，最后用概率公式:

$p\left(o_i\right|{\mathrm{\&theta;}}_f)=\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\&Sigma;}_j)n(d_i;{\mathrm{\&mu;}}_d,{\&Sigma;}_d),$ θ_f表示前景概率模型参数

N_b为背景像素的个数，θ_b背景概率模型参数

用EM算法得出前背景的概率模型。其中参数K一般取值为大于或等于5个。

作为本发明的另一个重点，采用图割算法来对图像进行分割。图割算法分为建图和执行最大流算法两个过程，建图过程用到步骤①与②建立起来的前背景概率模型，其中，网络图分为两种边，一种表示像素与概率模型的相似度，另一种表示像素间的差异程度，公式分别是R_p(A_p)＝-lnp(o_p|θ_f|b)和 $B_{\{p,q\}}\&ap;\exp (-\frac{{(I_p-I_q)}^2}{2{\mathrm{\&sigma;}}^2})\frac{1}{dist(p,q)}.$

为加快上述过程，用图像金字塔技术来加快本来就非常慢的最大流算法，在底层进行概率建模，高层进行最大流算法，在把分割的结果映射到底层，实验证明此方法能大大加快图像的分割。

具体实施过程中，运用最大流/最小割算法对网络图进行切割，得到网络图的最小割,即目标函数的最小值。设G＝(V,E)为一个带有非负边权的有向图，其中V为顶点集，对应图像的像素点集P，E为边集。V包含两个特殊的顶点(称为终端)，通常一个称为源S，一个称为汇T，因此，V＝PU{S,T}。E分两类边,t-link(terminallinks)和n-link(neighborhoodlinks),每个像素p都有两个t-link{p,S},{p,T}，每个邻域像素对{p,q}∈N都由n-link相连,因此图G的一个割C是边集E的一个子集，由它所导出的子图G(C)＝(V,|E-C)。将图G的两个终端分离(即两个终端之间没有道路连接)，而对于C的任一子集,其诱导图均不能将两个终端分离.。割C的容量(记作|C|)定义为组成割C的所有边的权值之和.最小割就是图G所有割中容量最小的割.最小割可根据提出的网络流理论,通过求网络图的最大流而得到,而这个最小割正是要求解的能量函数的全局最优值。

图割解决问题的步骤:1.首先把要解决的问题转化为一个关于图像某种性质的标号问题,再建立一个关于此标号的能量函数(能量函数反映了图像信息)。2.基于此能量函数构造一个网络图(图像的像素点对应于网络图的节点)。3.求得上述网络图的最大流/最小割,最小割对应于能量函数的最小值。解上述问题的一个关键步骤是寻找恰当的能量函数,能量函数一般有两项组成:

E(A)＝E_data(A)+E_smooth(A)，A＝(A₁,...,A_p,...,A_N)，A图像所有像素的向量

在图像分割中，能量函数可表示为

$p\left(o_i\right|{\mathrm{\&theta;}}_f)=\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\&Sigma;}_j)n(d_i;{\mathrm{\&mu;}}_d,{\&Sigma;}_d),$ θ_f表示前景概率模型参数

N_b为背景像素的个数，θ_b背景概率模型参数

在已有的许多能量函数中，光滑项的选择是一个关键。不同的能量函数在对应网络图中的边所赋权值的方法是不同的，但能量函数是解决标号问题的。

分层模型在本发明中的作用是加速图像分割过程，采用图像金字塔技术。图像金字塔是以多分辨率来解释图像的一种结构。1987年，在一种全新而有效的信号处理与分析方法，即多分辨率理论中，小波首次作为分析基础出现了。多分辨率理论将多种学科的技术有效地统一在一起，如信号处理的子带编码、数字语音识别的积分镜像过滤以及金字塔图像处理。正如其名字所表达的，多分辨率理论与多种分辨率下的信号(或图像)表示和分析有关。其优势很明显，某种分辨率下无法发现的特性在另一种分辨率下将很容易被发现。

图像的分等级表示使得图像能够获得不同的分辨率，而降低图像的分辨率能有效减少图像数组的大小。金字塔是图像处理中一种常用的分等级表示的结构。一幅n×n的图像的金字塔表示，可以包括原始图像以及L个低分辨率图像，n为2的幂，低分辨率的图像分别为(n/2)×(n/2)，(n/4)×(n/4)，…,1×1。在金字塔结构表示的图像中，第L层图像中的像素是通过融合第L-1层图像中的若干像素来获得的，而原始图像表示为第0层。为了算法简单，这里金字塔结构仅仅通过低层2×2邻域内像素求平均来获取，实际中还有其它如区域加权之类的构建方法。

Claims (4)

1.一种对具有深度图像信息的图像的分割方法，其特征在于，包括以下步骤：

①经Kinect获取具有深度图像信息的图像，该图像的数据结构为RGBD，其中RGB为颜色空间的三个通道，D为Kinect捕获的与像素对应的深度图像信息，然后在所述图像上拖出一个圈或框进行第一次图像分割，该圈或框完全落入要分割的目标内，或者该圈或框至少与要分割的目标相交；

②对前背景的颜色信息和深度图像信息进行概率建模，前景为图像中拖出的圈或框选中的部分，背景则为未被图像中拖出的圈或框选中的部分，深度图像信息数据为o＝{o₁,...,o_i,...,o_N}，o_i＝(c_i,d_i)为深度图像信息的图像分割信息，N为图像像素的个数，c_i为颜色空间中的三个分量组成的向量；d_i表示Kinect捕获的与像素对应的深度图像信息；对颜色信息的建模采用高斯混合模型，分别对前景和背景的颜色总体分布进行建模；

③用EM算法对模型进行参数估计：

用高斯混合模型来估计前景和背景颜色信息的似然函数，对高斯混合模型中的各K个高斯元的参数(π,μ,Σ)进行估计，采用EM算法，通过迭代的方法进行模型参数的估计，

EM算法的第t次迭代的模型参数表示为：

θ^t＝{π^t(k),μ^t(k),Σ^t(k)},k＝1,...,K

在E-step中对每一类别计算图像数据的后验概率：

$p\left(w_k\right|c_i,{\mathrm{\&theta;}}^t)=\frac{p\left(c_i\right|w_k,{\mathrm{\&theta;}}^t)p\left(w_k\right|{\mathrm{\&theta;}}^t)}{p\left(c_i\right|{\mathrm{\&theta;}}^t)}=\frac{p\left(c_i\right|w_k,{\mathrm{\&theta;}}^t){\mathrm{\&pi;}}^t\left(k\right)}{\underset{j=1}{\overset{K}{\&Sigma;}}p\left(c_i\right|w_j,{\mathrm{\&theta;}}^t){\mathrm{\&pi;}}^t\left(j\right)},k=1,...,K$

式中w_k表示图像颜色数据c_i所属的类别，即属于混合高斯模型中的哪个高斯元，在M-step中，分别计算：

${\mathrm{\&mu;}}^{t+1}\left(k\right)=\frac{{\&Sigma;}_{i}p\left(w_k\right|c_i,{\mathrm{\&theta;}}^t)c_i}{{\&Sigma;}_{i}p\left(w_k\right|c_i,{\mathrm{\&theta;}}^t)},$

${\&Sigma;}^{t+1}\left(k\right)=\frac{{\&Sigma;}_{i}p\left(w_k\right|c_i,{\mathrm{\&theta;}}^t)(c_i-{\mathrm{\&mu;}}^{t+1}(k\left)\right){(c_i-{\mathrm{\&mu;}}^{t+1}(k\left)\right)}^T}{{\mathrm{\&Sigma;}}_{i}p\left(w_k\right|c_i,{\mathrm{\&theta;}}^t)},$

${\mathrm{\&pi;}}^{t+1}\left(k\right)=\frac{{\mathrm{\&Sigma;}}_{i}p\left(w_k\right|c_i,{\mathrm{\&theta;}}^t)}{N^{t+1}\left(k\right)},$

式中N^t+1(k)表示第t+1次迭代时，属于第k类的图像颜色数据的数目；i＝1,…,N，N为图像像素的个数，即Σ_i在i为自然数时进行求和；

所述深度图像信息的建模中，前景采用单高斯建模，背景则采用均匀分布概率建模，深度图像信息的前景和背景模型的概率分布是：

$p\left(o_i\right|{\mathrm{\&theta;}}_f)=\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\mathrm{\&Sigma;}}_j)n(d_i;{\mathrm{\&mu;}}_d,{\mathrm{\&Sigma;}}_d),$ θ_f表示前景概率模型参数，

N_b为背景像素的个数，θ_b为背景概率模型参数，

用EM算法对模型进行参数估计时，先用K-means方法对像素进行分类，再用这个结果作为高斯混合模型的初始化条件，最后用概率公式 $p\left(o_i\right|{\mathrm{\&theta;}}_f)=\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\mathrm{\&Sigma;}}_j)n(d_i;{\mathrm{\&mu;}}_d,{\mathrm{\&Sigma;}}_d)$ 和 $p\left(o_i\right|{\mathrm{\&theta;}}_b)=N_b^{-1}\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{j}n(c_i;{\mathrm{\&mu;}}_j,{\mathrm{\&Sigma;}}_j)$ 用EM算法得出前背景的概率模型，其中参数K取值为等于或大于5个；

④采用图割算法来对图像进行上述第一次图像分割以后的分割，能量函数为， $E\left(A\right)=\mathrm{\&lambda;}\underset{p\&Element;P}{\&Sigma;}{R}_p\left(A_p\right)+\underset{\{p,q\}\&Element;C}{\&Sigma;}{B}_{\{p,q\}}\mathrm{\&delta;}(A_p,A_q),$

其中，A＝(A₁,...,A_p,...,A_N)，A为图像所有像素的向量，C为邻域系统，{p,q}∈C表示p和q相邻，P为图像的所有像素，p∈P是指p是P中的像素,

R_p(A_p)＝-lnp(o_p|θ_f|b)，θ_f|b表示前景的概率模型参数或背景的概率模型参数，

dist(p,q)表示p和q之间的欧式距离，

分子表示所有相邻像素欧式距离的平均值，

根据上述能量函数，用最大流算法求出最小割以得到最终分割目标；

用图像金字塔技术来加快最大流算法，即在底层进行概率建模，高层进行最大流算法，再把分割的结果映射到底层；

在金字塔高层上运用基于图的能量最小化算法，再把最小化能量的边缘投射到底层的金字塔上，如果边缘离目标较远，可以运用交互来对边缘进行人工修正，底层目标在一次迭代分割好后，可以通过修改模型参数使之更符合分割结果，在新的模型参数基础上继续运用上述过程，直到图像边缘不再变化。

2.根据权利要求1所述的对具有深度图像信息的图像的分割方法，其特征在于，图割算法分为建图和执行最大流算法两个过程，建图过程用到步骤②和③建立起来的前背景概率模型，其中，网络图分为两种边，

一种表示像素信息与概率模型的相似度，计算公式为，

R_p(A_p)＝-lnp(o_p|θ_fb)，

另一种表示像素信息间的差异程度，计算公式为，

$B_{\{p,q\}}\&ap;\exp (-\frac{{(o_p-o_q)}^2}{2{\mathrm{\&sigma;}}^2})\frac{1}{dist(p,q)}.$

3.根据权利要求1所述的对具有深度图像信息的图像的分割方法，其特征在于，所述圈为圆圈。

4.根据权利要求1所述的对具有深度图像信息的图像的分割方法，其特征在于，所述框为矩形框。