CN105957078A - 一种基于图割的多视点视频分割方法 - Google Patents

Abstract

本发明涉及基于图割和视域相关性的多视点视频图像分割方法，属于图像处理领域；本发明为克服现有方法稳健性差，执行速率慢和分割效果不理想等缺点，提供了一种多视点视频图像分割方法，主要包括两大部分：改进的Grabcut算法对任意选取的单个视点图像进行分割，设置的光滑项使从背景中提取目标更加容易，保护目标边缘的措施使分割得到的目标边缘较平滑；在已获得的视点图像目标的基础上，采用视差匹配并结合形态学处理的方法提取其它视点图像目标；算法在超像素域中且采用匹配跟踪立体目标的分割方式，改进了Slic超像素生成算法，重新定义了能量函数，在保证分割结果具有较高准确性的前提下，有效提高了分割效率，具有很好的应用前景。

Description

一种基于图割的多视点视频分割方法

技术领域

本发明属于图像处理领域，涉及一种多视点图像的分割技术，尤其涉及一种基于图割和视域相关性的多视点视频图像分割方法。

背景技术

随着多媒体技术的不断发展和人们生活水平的提高，普通视频已经不能满足人们的视觉需求。与普通视频不同，多视点视频是使用多个摄像机从不同位置拍摄同一场景得到的图像序列，可以提供真实三维世界景物的深度信息，具有更强的立体感和真实感，因而深受人们的欢迎。对象基视频技术由于具有良好语义感知和交互操作等优点在立体图像和视频处理中受到广泛关注。因此，对象基立体图像和视频技术具有广泛的应用前景，也是视频技术未来的发展趋势之一。

在对象基图像和视频处理技术中，准确高效的对象分割非常关键。能否对多视点图像进行精确的分割，准确的提取出人们感兴趣的目标区域成为后续对象基处理成败的关键。多视点视频图像分割也是当前图像处理领域的研究热点，虽然国内外有很多学者从事图像与视频目标分割算法的研究，并且相关的图像与视频目标分割算法也很多，但目前面向多视点视频图像的分割方法通常是单一的采用现有的图像与视频目标分割方法，如基于JSEG的方法、基于C-V活动轮廓模型的方法等。而将现有分割方法与视域相关性相结合的分割方案较少，且算法的稳健性、执行速率和分割效果都有待进一步提高。例如，一种结合视差和边缘信息进行立体视频对象分割的方法：首先利用改进的分水岭算法对视差图进行分割，以获得初始的视频对象区域，然后对视频对象区域进行边缘检测，通过提取其轮廓获得视频对象。所述方法中基于深度和颜色信息的联合分割具有较大的时间消耗，且分割质量很大程度上取决于获取的视差图的准确性。再如一种利用三维图像的灰度和形状信息进行分割的算法，该算法需要提前获得物体的形状信息，具有一定的局限性。另有研究者通过在深度分割获得的轮廓上选取初始特征点，并引入运动几何空间(MGS)的概念实现分割，但当选择的初始点偏离目标对象的轮廓时，分割结果将受到严重的影响。

发明内容

本发明的目的之一是克服现有多视点图像分割算法在稳健性、执行速率和分割效果等方面的不足，提供一种基于图割的多视点视频图像分割方法。所述多视点视频图像分割方法不仅具有较高的稳健性和分割速率，而且能够获得较准确分割结果。

为实现上述目的，本发明提供一种基于图割的多视点视频分割方法，主要包括如下步骤：

基于改进Grabcut算法分割由任意视点图像输入获得的输入图像，得到图像分割结果；

基于视差匹配分割其他视点图像，得到视点图像目标。

进一步的，所述基于改进Grabcut算法分割输入图像的具体步骤如下：

输入任意视点图像，得到输入图像；

利用改进的Slic算法在所述输入图像中生成超像素，得到超像素图像；

利用改进的Grabcut算法对所述超像素图像进行分割，得到所述视点图像的分割结果。

更进一步的，所述利用改进的Slic算法在所述输入图像中生成超像素的具体步骤如下：

聚类中心的确定：

设所述输入图像I₁中像素点X_i(i＝1,…,WH)的空间坐标为(x_i,y_i)，在LAB空间的颜色值为(l_i,a_i,b_i)，期望生成的超像素点个数为num，其中，WH为输入图像I₁中像素点的总数；

计算步长将所述输入图像I₁分成大小为S×S的所述超像素点，令N^*表示生成所述超像素点的个数，聚类V_j(j＝1,…,N^*)表示第j个所述超像素点包含的像素点，n_j(j＝1,…,N^*)表示第j个所述超像素点包含的像素点个数；

计算所述输入图像I₁中每个像素点的梯度值d_t(X_i)，对于每个所述超像素点的中心像素，将其八邻域像素点中梯度值最小的像素点作为初始聚类中心，令C_j表示每个所述聚类V_j的聚类中心，其坐标为在LAB空间的颜色值为

聚类中心的移动：

令A_i表示以像素点X_i为中心2S×2S范围内所包含的聚类中心的集合，即

计算所述像素点X_i与其2S×2S范围内的聚类中心C_j的差异惩罚值d^*(X_i,C_j∈A_i)：

$\begin{array}{c}{d}^{*}(X_i,C_j)=\sqrt{d_c{(X_i,C_j)}^2+{\left(\frac{d_s(X_i,C_j)}{S}\right)}^2{m}^2+{{\mathrm{\λd}}_t}^{*}{(X_i,C_j)}^2},\\ d_c(X_i,C_j)=\sqrt{{(l_i-l_j^{*})}^2+{(a_i-a_j^{*})}^2+{(b_i-b_j^{*})}^2},\\ d_s(X_i,C_j)=\sqrt{{(x_i-x_j^{*})}^2+{(y_i-y_j^{*})}^2},\\ {d_t}^{*}(X_i,C_j)=\frac{1}{2}\left(d_t\right(X_i)+d_t(X_q\left)\right),\end{array}$

其中，d_c、d_s和d_t ^*分别为所述像素点X_i与聚类中心C_j的颜色差异惩罚项、距离惩罚项和梯度惩罚项，S为步长，m可视作颜色和距离的权重因子，通过调节m来改变d_c和d_s的权重，λ为梯度惩罚项的权重系数，d_t(X_i)和d_t(X_q)分别为所述像素点X_i、X_q的梯度值，其中X_q是离X_i与C_j连线最接近且处于X_i与C_j之间的X_i八邻域方向像素点；

将所述输入图像I₁中各像素点归类到所述差异惩罚值最小的聚类中心所在的类中，同时更新每个聚类所包含的像素点数n_j，此时每个聚类可表示为：

$V_j=\{X_i:|x_i-x_j^{*}|<S,|y_i-y_j^{*}|<S,C_j=\underset{C_t\&Element;A_i}{\arg \min }{d}^{*}(X_i,C_t)\}.$

依据所述每个聚类中所包含的像素点，重新计算聚类中心的坐标和颜色值：

$(x_j^{*},y_j^{*})=\frac{{\&Sigma;}_{X_i\&Element;V_j}(x_i,y_i)}{n_j},(l_j^{*},a_j^{*},b_j^{*})=\frac{{\&Sigma;}_{X_i\&Element;V_j}(l_i,a_i,b_i)}{n_j};$

重复以上所述聚类中心的移动的步骤，直至满足如下条件：

其中，n表示当前迭代次数，M为相邻两次迭代过程中所述聚类发生变化的像素点个数，δ₁、δ₂为设定的阈值。

连通性的增强：

将包含像素点个数小于的所述超像素点合并到其相邻的超像素点中，最终得到含有N个超像素点的超像素图像B。

进一步的，所述利用改进的Grabcut算法对所述超像素图像进行分割的具体步骤如下：

超像素点的初始化：

将所述超像素图像B中的所述超像素点Z_i视作处理单元，将其所包含像素点的颜色均值z_i作为所述超像素点Z_i的颜色值，通过人工交互框选出包含完整目标的矩形区域，将超像素点Z_i(i＝1,…,N)初始化为两类，矩形框内的超像素点作为可能的前景超像素集合，用T_U表示，同时标记α_i＝1，框外的超像素点作为背景超像素集合，用T_B表示，标记α_i＝0；

利用k-mean算法分别对所述T_U、T_B中的所述超像素聚类为K类，根据聚类结果分别计算前景和背景高斯混合模型中各高斯分量的均值μ_k和协方差Σ_k。

迭代最小化：

计算所述超像素点Z_i属于第k(1,…,K)个所述高斯分量的概率g_k(z_i|μ_k,Σ_k)，将其归类到具有最大概率值所在的高斯分量中，

所述概率g_k(z_i|μ_k,Σ_k)的定义如下：

$g_k\left(z_i\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)=\frac{1}{\sqrt{\left|{\mathrm{\&Sigma;}}_k\right|}}\exp \{-\frac{1}{2}{(z_i-{\mathrm{\&mu;}}_k)}^T{\mathrm{\&Sigma;}}_k^{-1}(z_i-{\mathrm{\&mu;}}_k)\};$

依据各所述高斯分量中的超像素点计算所述前景和背景高斯混合模型的参数θ(μ_k,Σ_k,π_k)，将每个超像素点的颜色值z_i代入所述前景和背景高斯混合模型中，依据下式计算所述超像素点属于前景、背景的惩罚值D_i(z_i|α_i＝1,K,θ)、D_i(z_i|α_i＝0,K,θ)，并分别将其作为边{Z_i,T}和边{Z_i,S}的权值，

对给定所述超像素点Z_i，计算其与八邻域像素点Z_j所构成的n-link边的权值：

$\begin{array}{cc}{V}_{Z_i{Z}_j}(z_i,z_j|{\mathrm{\&alpha;}}_i,{\mathrm{\&alpha;}}_j)=\mathrm{\&gamma;}\&CenterDot;\mathrm{\&eta;}\&CenterDot;\frac{S}{dist(Z_i,Z_j)}\&CenterDot;\exp (-\frac{\mathrm{\&beta;}\&CenterDot;\left|\right|z_i-z_j|{|}^2}{1-|h_i-h_j|\&CenterDot;|t_i-t_j|})& \mathrm{\&eta;}=\left\{\begin{array}{c}1,{\mathrm{\&alpha;}}_i\&NotEqual;{\mathrm{\&alpha;}}_j\\ 0,{\mathrm{\&alpha;}}_i={\mathrm{\&alpha;}}_j\end{array}\right.\end{array},$

式中，dist(·)表示为两超像素点的中心距离，γ为参数变量，||·||表示超像素点间的颜色差异，β由图像的对比度决定，V是n-link边的权值，对应能量函数的光滑项，h_i为所述超像素点Z_i所包含的像素点对颜色均值z_i的标准差，t_i表示超像素点Z_i所包含像素点的梯度均值经归一化处理的结果；

更进一步的，较大的图像对比度对应较小的β值。

更进一步的，为了充分利用超像素内部区域的纹理特征，光滑项中引入了像素块的梯度和标准差信息。

更进一步的，本算法将超像素梯度信息和标准差信息有机的结合，能够有效地衡量区域间像素的同质性。

更进一步的，当前背景颜色差异不明显时，仅利用像素的颜色信息很难将其区分，容易造成误分割，而本算法提出的光滑项融合了超像素的颜色、梯度和方差信息，能够有效地识别像素间的差异，在一定程度上可以降低错误率，提高分割质量。

构建S-T网络图和相应的能量函数：

$E(z_i,{\mathrm{\&alpha;}}_i,K,\mathrm{\&theta;})=E_r(z_i,{\mathrm{\&alpha;}}_i,K,\mathrm{\&theta;})+E_b(z_i,{\mathrm{\&alpha;}}_i)={\&Sigma;}_{i=1}^N{D}_i\left(z_i\right|{\mathrm{\&alpha;}}_i,K,\mathrm{\&theta;})+V_C(z_i,z_j|{\mathrm{\&alpha;}}_i,{\mathrm{\&alpha;}}_j),$

其中，区域项E_r对应网络图t-link边的权值，而光滑项E_b对应网络图n-link边的权值，C为网络图的一条切割线，容量用|C|表示；

更进一步的，区域项E_r对应网络图t-link边的权值，是对各个像素点分配标记进行的惩罚，反应了图像的区域信息。

更进一步的，光滑项E_b对应网络图n-link边的权值，可看作是对相邻像素分配不同标记进行的惩罚，体现了分割的边界属性。

基于最小割准则对所述图像B进行分割，并更新前景和背景高斯混合模型中的超像素点和超像素点标记α_i；

重复以上所述迭代最小化的步骤，直至满足如下条件：

n≥δ，

其中，δ为设定的最大迭代次数，n为当前迭代次数；

输出所述视点图像分割结果。

进一步的，所述基于视差匹配分割其他视点图像的具体步骤如下：

利用开闭运算对所述视点图像分割结果进行形态学处理，得到形态学处理后视点图像；

利用边界追踪算法对所述形态学处理后视点图像进行提取，得到目标轮廓；

利用局部匹配算法将所述目标轮廓匹配到其他视点图像中，得到目标图像；

利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接，得到连续的轮廓；

对所述连续的轮廓内部区域进行填充，通过二值掩膜获得视点图像目标。

更进一步的，所述利用边界追踪算法对所述形态学处理后视点图像进行提取的具体步骤如下：

二值掩膜图像的获取：

将处理后的前景目标像素点添加标记1，背景像素点添加标记0，得到前景目标的二值掩膜图像。

目标轮廓的提取：

设起始点b₀为所述二值掩膜图像左上角标记为1的像素点，c₀为与b₀相邻的左侧像素点，从c₀开始顺时针方向搜索b₀的八邻域像素点，b₁表示遇到的第一个标记为1的邻域像素点，c₁为序列中b₁之前的像素点，并令b＝b₁，c＝c₁；

从c开始按顺时针方向搜索b的八邻域像素点，依次为n₁,n₂,…,n₈，直到标记为1的第一个邻域像素点n_k，并令b＝n_k，c＝n_k-1；

重复上一步骤，直到b＝b₀且找到的下一个边界点为b₁，得到初步的目标轮廓。

目标轮廓的获取：

将所述初步的目标轮廓细化为除首尾两个边界像素点外，其他边界点的八邻域中有且只有两个边界像素点，得到目标轮廓。

更进一步的，所述细化是为了减少所需匹配的轮廓点数量，进一步提高算法效率。

进一步的，所述利用局部匹配算法将所述目标轮廓匹配到其他视点图像中的具体步骤如下：

采用Census变换和MAD相结合的方式定义窗匹配代价函数C(x,y,d)：

C(x,y,d)＝α·C_T(x,y,d)+(1-α)·C_C(x,y,d)，

其中，C_T(·)和C_C(·)分别为基于纹理和基于颜色的窗匹配代价，α为二者的权重系数；

更进一步的，定义窗匹配代价函数是为了提高匹配的准确性。

更进一步的，基于Census变换能够准确识别图像中颜色相近部分，而窗内像素的MAD能够有效区分不同的低纹理区域。

通过所述Census变换将窗内各像素与中心像素点进行比较，输出结果为一个0/1比特串，设匹配窗W的大小为(2M+1)×(2N+1)，窗内中心像素点X_p的坐标为(x_p,y_p)，对应像素值为I(x_p,y_p)，G(X_q,X_P)代表窗内除中心像素点外各像素点X_q∈N(X_P)与中心像素点的颜色差异，其均值用M(X_p)表示，视差d的取值范围为D＝[d_min,d_max]，比较G(X_q,X_P)与M(X_P)，若结果大于0，则相应位置添加标记1，否则添加标记0，对于视点1图像I₁中以X_p为中心的匹配窗，其Census变换可表示为：

${\mathrm{CT}}_1\left(X_p\right)=\underset{X_q\&Element;N\left(X_p\right)}{\&CircleTimes;}\mathrm{\&xi;}(G(X_q,X_p),M\left(X_p\right)),$

通过Hamming距离计算所述视点1图像I₁与视点2图像I₂中两匹配窗经过Census变换后输出的比特串之间的差异程度H(X_p,d)，并利用指数形式对其归一化处理，得到区域纹理的匹配代价C_T(x_p,y_p,d)：

$C_T(x_p,y_p,d)=1-\exp (-(\frac{H(X_p,d)}{{\mathrm{\&gamma;}}_{Census}}\left)\right),$

H(X_p,d)＝Ham min g(CT_n1(X_p),CT_n2(X_p-d))，

当以所述视点1图像I₁为参考图像，所述视点2图像I₂为目标图像时，基于区域颜色的匹配代价可描述为：

$C_C(x_p,y_p,d)=1-\exp (-\frac{C_{MAD}(x_p,y_p,d)}{{\mathrm{\&gamma;}}_{MAD}}),$

$C_{MAD}(x_p,y_p,d)=\frac{1}{(2M+1)(2N+1)}\underset{i=-N}{\overset{N}{\&Sigma;}}\underset{j=-M}{\overset{M}{\&Sigma;}}\left(\underset{t=r,g,b}{\mathrm{\&Sigma;}}\right|I_1^t(x_p+j,y_p+i)-I_2^t(x_p+j-d,y_p+i)\left|\right),$

其中，γ_Census和γ_MAD分别为Hamming距离和MAD的归一化常数；

更进一步的，所述利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接的具体步骤如下：

步骤a)，将所述目标图像间断的边界进行膨胀处理，得到膨胀后的图像；

更进一步的，进行膨胀处理是为了确保轮廓具有连续性。

步骤b)，依次遍历所述膨胀后的图像中每个3×3区域，区域中各点标记名称p₁，p₂，…，p₉，其中p₁位于区域中心，若p₁为前景点，即p₁标记为1，且同时满足以下(1)、(2)、(3)三个条件，则将p₁标记为可删除点，

(1)设N(p₁)表示像素点p₁的八邻域像素点是前景点的个数，且满足2≤N(p₁)≤6，

(2)设A(P₁)表示按p₂，p₃，…，p₉的排列顺序时，出现01模式的个数，且A(P₁)＝1，

(3)像素点p₆、p₈中至少有一个为背景点或像素点p₂、p₄都为背景点，即：p₂×p₆×p₈＝0且p₄×p₆×p₈＝0；

步骤c)，若所述步骤b)中存在可删除点，则令该点为背景点，即将该点标记为0；

步骤d)，重新遍历图像中的每个3×3区域，若p₁为前景点且同时满足以上(1)、(2)和如下(4)三个条件，则将p₁标记为可删除点，

(4)像素点p₂、p₄中至少有一个为背景点或像素点p₆、p₈都为背景点，即：p₂×p₄×p₆＝0且p₂×p₄×p₈＝0；

步骤e)，若所述步骤d)中存在可删除点，则令该点为背景点；

步骤f)，迭代所述步骤b)～步骤e)直到没有可删除点为止；

步骤g)，输出细化结果。

本发明的有益效果在于：

(1)本发明提供了一种基于图割和视域相关性的多视点视频图像分割方法，不仅具有较高的稳健性和分割速率，而且能够获得较准确分割结果；

(2)本发明通过在原有差异惩罚函数中添加梯度项并合理利用图像边缘的梯度信息加大将边界两侧的像素点归为同一超像素做法的惩罚力度，从而有效地保留了前景的边缘信息；

(3)本发明光滑项中引入了像素块的梯度和标准差信息，充分利用了超像素内部区域的纹理特征，能够有效地衡量区域间像素的同质性。前背景颜色差异不明显时，仅利用像素的颜色信息很难将其区分，容易造成误分割，而本算法提出的光滑项融合了超像素的颜色、梯度和方差信息，能够有效地识别像素间的差异，在一定程度上可以降低错误率，提高分割质量。

附图说明

图1为本算法的总体流程图；

图2为改进Grabcut算法与原算法分割结果对比；

图3为基于视差匹配的多视点图像分割结果。

具体实施方式

下文将结合具体附图详细描述本发明具体实施例。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。

本发明提供一种基于图割的多视点视频分割方法，主要包括基于改进Grabcut算法的图像分割和基于视差匹配的图像分割两大部分，总体流程如图1所示。所述基于改进Grabcut算法的图像分割步骤如下：

步骤S100，输入视点1图像，得到输入图像I₁；

步骤S200，利用改进的简单线性迭代聚类(Simple Linear Iterative Clustering，Slic)算法在所述输入图像中生成超像素，得到超像素图像；

在步骤S200中，包括具体步骤S210聚类中心的确定、步骤S220聚类中心的移动和步骤S230连通性的增强。

所述步骤S210聚类中心的确定包括如下具体步骤：

步骤S211，设所述输入图像I₁中像素点X_i(i＝1,…,WH)的空间坐标为(x_i,y_i)，在LAB空间的颜色值为(l_i,a_i,b_i)，期望生成的超像素点个数为num，其中，WH为输入图像I₁中像素点的总数；

步骤S212，计算步长将所述输入图像I₁分成大小约为S×S的超像素点，令N^*表示生成的超像素点的个数，聚类V_j(j＝1,…,N^*)表示第j个超像素点包含的像素点，n_j(j＝1,…,N^*)表示第j个超像素点包含的像素点个数；

步骤S213，计算所述输入图像I₁中每个像素点的梯度值d_t(X_i)，对于每个所述超像素点的中心像素，将其八邻域像素点中梯度值最小的像素点作为初始聚类中心，令C_j表示每个所述聚类V_j的聚类中心，其坐标为在LAB空间的颜色值为

所述步骤S220聚类中心的移动包括如下具体步骤：

步骤S221，令A_i表示以像素点X_i为中心2S×2S范围内所包含的聚类中心的集合，即

计算所述像素点X_i与其2S×2S范围内的聚类中心C_j的差异惩罚值d^*(X_i,C_j∈A_i)：

$\begin{array}{c}{d}^{*}(X_i,C_j)=\sqrt{d_c{(X_i,C_j)}^2+{\left(\frac{d_s(X_i,C_j)}{S}\right)}^2{m}^2+{{\mathrm{\&lambda;d}}_t}^{*}{(X_i,C_j)}^2},\\ d_c(X_i,C_j)=\sqrt{{(l_i-l_j^{*})}^2+{(a_i-a_j^{*})}^2+{(b_i-b_j^{*})}^2},\\ d_s(X_i,C_j)=\sqrt{{(x_i-x_j^{*})}^2+{(y_i-y_j^{*})}^2},\\ {d_t}^{*}(X_i,C_j)=\frac{1}{2}\left(d_t\right(X_i)+d_t(X_q\left)\right),\end{array}$

其中，d_c、d_s和d_t ^*分别为所述像素点X_i与聚类中心C_j的颜色差异惩罚项、距离惩罚项和梯度惩罚项，m可视作颜色和距离的权重因子，通过调节m来改变d_c和d_s的权重，λ为梯度惩罚项的权重系数，d_t(X_i)和d_t(X_q)分别为所述像素点X_i、X_q的梯度值，其中X_q是离X_i与C_j连线最接近且处于X_i与C_j之间的X_i八邻域方向像素点；

在本步骤中，通过在原有差异惩罚函数中添加梯度项并合理利用图像边缘的梯度信息加大将边界两侧的像素点归为同一超像素做法的惩罚力度，从而有效地保留了前景的边缘信息。

步骤S222，将所述输入图像I₁中各像素点归类到所述差异惩罚值最小的聚类中心所在的类中，同时更新每个聚类所包含的像素点数n_j，此时每个聚类可表示为：

$V_j=\{X_i:|x_i-x_j^{*}|<S,|y_i-y_j^{*}|<S,C_j=\underset{C_t\&Element;A_i}{\arg \min }{d}^{*}(X_i,C_t)\}.$

步骤S223，依据所述每个聚类中所包含的像素点，重新计算聚类中心的坐标和颜色值：

$(x_j^{*},y_j^{*})=\frac{{\&Sigma;}_{X_i\&Element;V_j}(x_i,y_i)}{n_j},(l_j^{*},a_j^{*},b_j^{*})=\frac{{\&Sigma;}_{X_i\&Element;V_j}(l_i,a_i,b_i)}{n_j};$

步骤S224，重复进行所述步骤S221-步骤S223，直至满足如下条件：

其中，n表示当前迭代次数，M为相邻两次迭代过程中所述聚类发生变化的像素点个数，δ₁、δ₂为设定的阈值。

所述步骤S230连通性的增强包括如下具体步骤：

将包含像素点个数小于的所述超像素点合并到其相邻的超像素点中，最终得到含有N个超像素点的超像素图像B。

步骤S300，利用改进的Grabcut算法对所述超像素图像进行分割，得到所述视点图像的分割结果。

在本步骤中，包括具体步骤S310超像素点的初始化和步骤S320迭代最小化。

所述步骤S310超像素点的初始化包括如下具体步骤：

步骤S311，将所述超像素图像B中的所述超像素点Z_i视作处理单元，将其所包含像素点的颜色均值z_i作为所述超像素点Z_i的颜色值，通过人工交互框选出包含完整目标的矩形区域，将超像素点Z_i(i＝1,…,N)初始化为两类，矩形框内的超像素点作为可能的前景超像素集合，用T_U表示，同时标记α_i＝1，框外的超像素点作为背景超像素集合，用T_B表示，标记α_i＝0；

步骤S312，利用k-mean算法分别对所述T_U、T_B中的所述超像素聚类为K类，根据聚类结果分别计算前景和背景高斯混合模型中各高斯分量的均值μ_k和协方差Σ_k。

所述步骤S320迭代最小化包括如下具体步骤：

步骤S321，计算所述超像素点Z_i属于第k(1,…,K)个所述高斯分量的概率g_k(z_i|μ_k,Σ_k)，将其归类到具有最大概率值所在的高斯分量中，

所述概率g_k(z_i|μ_k,Σ_k)的定义如下：

$g_k\left(z_i\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)=\frac{1}{\sqrt{\left|{\mathrm{\&Sigma;}}_k\right|}}\exp \{-\frac{1}{2}{(z_i-{\mathrm{\&mu;}}_k)}^T{\mathrm{\&Sigma;}}_k^{-1}(z_i-{\mathrm{\&mu;}}_k)\};$

步骤S322，依据各所述高斯分量中的超像素点计算所述前景和背景高斯混合模型的参数θ(μ_k,Σ_k,π_k)，将每个超像素点的颜色值z_i代入所述前景和背景高斯混合模型中，依据下式计算所述超像素点属于前景、背景的惩罚值D_i(z_i|α_i＝1,K,θ)、D_i(z_i|α_i＝0,K,θ)，并分别将其作为边{Z_i,T}和边{Z_i,S}的权值，

步骤S323，对给定所述超像素点Z_i，计算其与八邻域像素点Z_j所构成的n-link边的权值：

$\begin{array}{cc}{V}_{Z_i{Z}_j}(z_i,z_j|{\mathrm{\&alpha;}}_i,{\mathrm{\&alpha;}}_j)=\mathrm{\&gamma;}\&CenterDot;\mathrm{\&eta;}\&CenterDot;\frac{S}{dist(Z_i,Z_j)}\&CenterDot;\exp (-\frac{\mathrm{\&beta;}\&CenterDot;\left|\right|z_i-z_j|{|}^2}{1-|h_i-h_j|\&CenterDot;|t_i-t_j|})& \mathrm{\&eta;}=\left\{\begin{array}{c}1,{\mathrm{\&alpha;}}_i\&NotEqual;{\mathrm{\&alpha;}}_j\\ 0,{\mathrm{\&alpha;}}_i={\mathrm{\&alpha;}}_j\end{array}\right.\end{array},$

式中，dist(·)表示为两超像素点的中心距离，γ为参数变量，||·||表示超像素点间的颜色差异，β由图像的对比度决定，V是n-link边的权值，对应能量函数的光滑项，h_i为所述超像素点Z_i所包含的像素点对颜色均值z_i的标准差，t_i表示超像素点Z_i所包含像素点的梯度均值经归一化处理的结果。

在本步骤中，较大的图像对比度对应较小的β值；为了充分利用超像素内部区域的纹理特征，光滑项中引入了像素块的梯度和标准差信息；本算法将超像素梯度信息和标准差信息有机的结合，能够有效地衡量区域间像素的同质性；当前背景颜色差异不明显时，仅利用像素的颜色信息很难将其区分，容易造成误分割，而本算法提出的光滑项融合了超像素的颜色、梯度和方差信息，能够有效地识别像素间的差异，在一定程度上可以降低错误率，提高分割质量。

步骤S324，构建S-T网络图和相应的能量函数：

$E(z_i,{\mathrm{\&alpha;}}_i,K,\mathrm{\&theta;})=E_r(z_i,{\mathrm{\&alpha;}}_i,K,\mathrm{\&theta;})+E_b(z_i,{\mathrm{\&alpha;}}_i)={\&Sigma;}_{i=1}^N{D}_i\left(z_i\right|{\mathrm{\&alpha;}}_i,K,\mathrm{\&theta;})+V_C(z_i,z_j|{\mathrm{\&alpha;}}_i,{\mathrm{\&alpha;}}_j),$

其中，区域项E_r对应网络图t-link边的权值，而光滑项E_b对应网络图n-link边的权值，C为网络图的一条切割线，容量用|C|表示。

在本步骤中，区域项E_r对应网络图t-link边的权值，是对各个像素点分配标记进行的惩罚，反应了图像的区域信息。

在本步骤中，光滑项E_b对应网络图n-link边的权值，可看作是对相邻像素分配不同标记进行的惩罚，体现了分割的边界属性。

步骤S325，基于最小割准则对所述图像B进行分割，并更新前景和背景高斯混合模型中的超像素点和超像素点标记α_i。

步骤S326，重复进行以上所述步骤S321-步骤S325，直至满足如下条件：

n≥δ，

其中，δ为设定的最大迭代次数，n为当前迭代次数；

步骤S327，输出所述视点图像分割结果。

所述基于视差匹配的图像分割步骤如下：

步骤S400，利用开闭运算对所述视点图像分割结果进行形态学处理，得到形态学处理后视点图像；

步骤S500，利用边界追踪算法提取所述形态学处理后视点图像的目标轮廓；

在本步骤中，包括具体步骤S510二值掩膜图像的获取、步骤S520目标轮廓的提取和步骤S530目标轮廓的获取。

所述步骤S510二值掩膜图像的获取包括如下具体步骤：

将处理后的前景目标像素点添加标记1，背景像素点添加标记0，得到前景目标的二值掩膜图像。

所述步骤S520目标轮廓的提取包括如下具体步骤：

步骤S521，设起始点b₀为所述二值掩膜图像左上角标记为1的像素点，c₀为与b₀相邻的左侧像素点，从c₀开始顺时针方向搜索b₀的八邻域像素点，b₁表示遇到的第一个标记为1的邻域像素点，c₁为序列中b₁之前的像素点，并令b＝b₁，c＝c₁；

步骤S522，从c开始按顺时针方向搜索b的八邻域像素点，依次为n₁,n₂,…,n₈，直到标记为1的第一个邻域像素点n_k，并令b＝n_k，c＝n_k-1；

步骤S523，重复步骤S522，直到b＝b₀且找到的下一个边界点为b₁，得到初步的目标轮廓；

所述步骤S530目标轮廓的获取包括如下具体步骤：

将所述初步的目标轮廓细化为除首尾两个边界像素点外，其他边界点的八邻域中有且只有两个边界像素点，得到目标轮廓。

在本步骤中，所述细化是为了减少所需匹配的轮廓点数量，进一步提高算法效率。

步骤S600，利用局部匹配算法将所述目标轮廓匹配到其他视点图像中，得到目标图像；

在本步骤中，包括具体步骤S610、步骤S620和步骤S630。

所述步骤S610包括如下具体步骤：

采用Census变换和平均绝对差算法(Mean Absolute Difference，MAD)相结合的方式定义窗匹配代价函数C(x,y,d)：

C(x,y,d)＝α·C_T(x,y,d)+(1-α)·C_C(x,y,d)，

其中，C_T(·)和C_C(·)分别为基于纹理和基于颜色的窗匹配代价，α为二者的权重系数。

在本步骤中，定义窗匹配代价函数是为了提高匹配的准确性；基于Census变换能够准确识别图像中颜色相近部分，而窗内像素的MAD能够有效区分不同的低纹理区域。

所述步骤S620包括如下具体步骤：

通过所述Census变换将窗内各像素与中心像素点进行比较，输出结果为一个0/1比特串，设匹配窗W的大小为(2M+1)×(2N+1)，窗内中心像素点X_p的坐标为(x_p,y_p)，对应像素值为I(x_p,y_p)，G(X_q,X_P)代表窗内除中心像素点外各像素点X_q∈N(X_P)与中心像素点的颜色差异，其均值用M(X_p)表示，视差d的取值范围为D＝[d_min,d_max]，比较G(X_q,X_P)与M(X_P)，若结果大于0，则相应位置添加标记1，否则添加标记0，对于视点1图像I₁中以X_p为中心的匹配窗，其Census变换可表示为：

${\mathrm{CT}}_1\left(X_p\right)=\underset{X_q\&Element;N\left(X_p\right)}{\&CircleTimes;}\mathrm{\&xi;}(G(X_q,X_p),M\left(X_p\right)),$

所述步骤S630包括如下具体步骤：

通过Hamming距离计算所述视点1图像I₁与视点2图像I₂中两匹配窗经过Census变换后输出的比特串之间的差异程度H(X_p,d)，并利用指数形式对其归一化处理，得到区域纹理的匹配代价C_T(x_p,y_p,d)：

$C_T(x_p,y_p,d)=1-\exp (-(\frac{H(X_p,d)}{{\mathrm{\&gamma;}}_{Census}}\left)\right),$

H(X_p,d)＝Ham min g(CT_n1(X_p),CT_n2(X_p-d))；

在本步骤中，当以所述视点1图像I₁为参考图像，所述视点2图像I₂为目标图像时，基于区域颜色的匹配代价可描述为：

$C_C(x_p,y_p,d)=1-\exp (-\frac{C_{MAD}(x_p,y_p,d)}{{\mathrm{\&gamma;}}_{MAD}}),$

$C_{MAD}(x_p,y_p,d)=\frac{1}{(2M+1)(2N+1)}\underset{i=-N}{\overset{N}{\&Sigma;}}\underset{j=-M}{\overset{M}{\&Sigma;}}\left(\underset{t=r,g,b}{\mathrm{\&Sigma;}}\right|I_1^t(x_p+j,y_p+i)-I_2^t(x_p+j-d,y_p+i)\left|\right),$

其中，γ_Census和γ_MAD分别为Hamming距离和MAD的归一化常数。

步骤S700，利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接，得到连续的轮廓；

在本步骤中，包括具体步骤S710、步骤S720、步骤S730、步骤S740、步骤S750、步骤S760和步骤S770。

所述步骤S710包括如下具体步骤：

将所述目标图像间断的边界进行膨胀处理，得到膨胀后的图像。

所述步骤S720包括如下具体步骤：

依次遍历所述膨胀后的图像中每个3×3区域，区域中各点标记名称p₁，p₂，…，p₉，其中p₁位于区域中心，若p₁为前景点，即p₁标记为1，且同时满足以下(a)、(b)、(c)三个条件，则将p₁标记为可删除点，

(a)设N(p₁)表示像素点p₁的八邻域像素点是前景点的个数，且满足2≤N(p₁)≤6，

(b)设A(P₁)表示按p₂，p₃，…，p₉的排列顺序时，出现01模式的个数，且A(P₁)＝1，

(c)像素点p₆、p₈中至少有一个为背景点或像素点p₂、p₄都为背景点，即：p₂×p₆×p₈＝0且p₄×p₆×p₈＝0；

所述步骤S730包括如下具体步骤：

若步骤S720中存在可删除点，则令该点为背景点，即将该点标记为0。

所述步骤S740包括如下具体步骤：

重新遍历图像中的每个3×3区域，若p₁为前景点且同时满足以上(a)、(b)和如下(d)三个条件，则将p₁标记为可删除点，

(d)像素点p₂、p₄中至少有一个为背景点或像素点p₆、p₈都为背景点，即：p₂×p₄×p₆＝0且p₂×p₄×p₈＝0。

所述步骤S750包括如下具体步骤：

若步骤S740中存在可删除点，则令该点为背景点。

所述步骤S760包括如下具体步骤：

迭代步骤S720～步骤S750直到没有可删除点为止。

所述步骤S770包括如下具体步骤：

输出细化结果。

步骤S800，对所述连续的轮廓内部区域进行填充，通过二值掩膜获得视点图像目标。

采用本发明提供的方法对多视点图像进行分割的结果如下：

图2为改进Grabcut算法与原算法分割结果对比。由图2中(b)、(c)的对比可以看出，改进的Grabcut算法对目标整体的提取效果较原算法有了明显的改善。通过融合了像素颜色、梯度等特征的光滑项更容易将目标从背景像素中提取出来，同时在生成所述超像素点的预处理过程中添加了保护目标边缘的措施，使得最终分割得到的目标边缘较为平滑，有效避免了以往基于超像素点分割造成目标边缘粗糙现象的出现。

对于多视点视频图像的分割，可充分利用图像间的视域相关性，在已获得的视点图像目标的基础上，采用视差匹配并结合形态学处理的方法提取其它视点图像目标。本实验以视点2中图像为例验证算法的可行性。实验中设定权重系数α＝0.4，归一化常数γ_Census、γ_MAD分别为10和20。实验结果如图3(c)所示，本发明提供的方法，不但可以简化多视点图像的分割步骤，而且能够准确的提取出图像目标，获得较好的立体图像分割结果。

为了进一步检验算法的性能，在相同实验环境下对grabcut算法和改进算法的耗时进行了测试。设定生成的超像素个数num为1000，测试结果如表1所示。

表1

由表1中的对比可以看出，改进算法的分割效率高于原算法。基于超像素域的高斯混合模型迭代极大的降低了所需处理的数据量，从而有效的节约了时间资源。

本文虽然已经给出了本发明的一些实施例，但是本领域的技术人员应当理解，在不脱离本发明精神的情况下，可以对本文的实施例进行改变。上述实施例只是示例性的，不应以本文的实施例作为本发明权利范围的限定。

Claims (8)

1.一种基于图割的多视点视频分割方法，其特征在于，所述方法主要包括如下步骤：

基于改进Grabcut算法分割由任意视点图像输入获得的输入图像，得到图像分割结果；

基于视差匹配分割其他视点图像，得到视点图像目标。

2.根据权利要求1所述的一种基于图割的多视点视频分割方法，其特征在于，所述基于改进Grabcut算法分割输入图像的具体步骤如下：

输入任意视点图像，得到输入图像；

利用改进的Slic算法在所述输入图像中生成超像素，得到超像素图像；

利用改进的Grabcut算法对所述超像素图像进行分割，得到所述视点图像的分割结果。

3.根据权利要求2所述的一种基于图割的多视点视频分割方法，其特征在于，所述利用改进的Slic算法在所述输入图像中生成超像素的具体步骤如下：

聚类中心的确定：

设所述输入图像I₁中像素点X_i(i＝1,…,WH)的空间坐标为(x_i,y_i)，在LAB空间的颜色值为(l_i,a_i,b_i)，期望生成的超像素点个数为num，其中，WH为输入图像I₁中像素点的总数；

计算步长将所述输入图像I₁分成大小为S×S的所述超像素点，令N^*表示生成所述超像素点的个数，聚类V_j(j＝1,…,N^*)表示第j个所述超像素点包含的像素点，n_j(j＝1,…,N^*)表示第j个所述超像素点包含的像素点个数；

计算所述输入图像I₁中每个像素点的梯度值d_t(X_i)，对于每个所述超像素点的中心像素，将其八邻域像素点中梯度值最小的像素点作为初始聚类中心，令C_j表示每个所述聚类V_j的聚类中心，其坐标为在LAB空间的颜色值为

聚类中心的移动：

令A_i表示以像素点X_i为中心2S×2S范围内所包含的聚类中心的集合，即

计算所述像素点X_i与其2S×2S范围内的聚类中心C_j的差异惩罚值d^*(X_i,C_j∈A_i)：

其中，d_c、d_s和分别为所述像素点X_i与聚类中心C_j的颜色差异惩罚项、距离惩罚项和梯度惩罚项，m为颜色和距离的权重因子，λ为梯度惩罚项的权重系数，d_t(X_i)和d_t(X_q)分别为所述像素点X_i、X_q的梯度值，其中X_q是离X_i与C_j连线最接近且处于X_i与C_j之间的X_i 八邻域方向像素点；

将所述输入图像I₁中各像素点归类到所述差异惩罚值最小的聚类中心所在的类中，同时更新每个聚类所包含的像素点数n_j，此时每个聚类可表示为：

依据所述每个聚类中所包含的像素点，重新计算聚类中心的坐标和颜色值：

重复以上所述聚类中心的移动的步骤，直至满足如下条件：

或n>δ₂，

其中，n表示当前迭代次数，M为相邻两次迭代过程中所述聚类发生变化的像素点个数，δ₁、δ₂为设定的阈值；

连通性的增强：

将包含像素点个数小于的所述超像素点合并到其相邻的超像素点中，最终得到含有N个超像素点的超像素图像B。

4.根据权利要求3所述的一种基于图割的多视点视频分割方法，其特征在于，所述利用改进的Grabcut算法对所述超像素图像进行分割的具体步骤如下：

超像素点的初始化：

将所述超像素图像B中的所述超像素点Z_i所包含像素点的颜色均值z_i作为所述超像素点Z_i的颜色值，通过人工交互框选出包含完整目标的矩形区域，将超像素点Z_i(i＝1,…,N)初始化为两类，矩形框内的超像素点作为可能的前景超像素集合，用T_U表示，同时标记α_i＝1，框外的超像素点作为背景超像素集合，用T_B表示，标记α_i＝0；

利用k-mean算法分别对所述T_U、T_B中的所述超像素聚类为K类，根据聚类结果分别计算前景和背景高斯混合模型中各高斯分量的均值μ_k和协方差Σ_k；

迭代最小化：

计算所述超像素点Z_i属于第k(1,…,K)个所述高斯分量的概率g_k(z_i|μ_k,Σ_k)，将其归类到具有最大概率值所在的高斯分量中，

所述概率g_k(z_i|μ_k,Σ_k)的定义如下：

依据各所述高斯分量中的超像素点计算所述前景和背景高斯混合模型的参数θ(μ_k,Σ_k,π_k)，将每个超像素点的颜色值z_i代入所述前景和背景高斯混合模型中，依据下式计 算所述超像素点属于前景、背景的惩罚值D_i(z_i|α_i＝1,K,θ)、D_i(z_i|α_i＝0,K,θ)，并分别将其作为边{Z_i,T}和边{Z_i,S}的权值，

对给定所述超像素点Z_i，计算其与八邻域像素点Z_j所构成的n-link边的权值：

其中，dist(·)表示为两超像素点的中心距离，γ为参数变量，||·||表示超像素点间的颜色差异，V是n-link边的权值，h_i为所述超像素点Z_i所包含的像素点对颜色均值z_i的标准差，t_i为超像素点Z_i所包含像素点的梯度均值经归一化处理的结果；

构建S-T网络图和相应的能量函数：

其中，区域项E_r对应网络图t-link边的权值，而光滑项E_b对应网络图n-link边的权值，C为网络图的一条切割线，容量为|C|；

基于最小割准则对所述图像B进行分割，并更新前景和背景高斯混合模型中的超像素点和超像素点标记α_i；

重复以上所述迭代最小化的步骤，直至满足如下条件：

n≥δ，

其中，δ为设定的最大迭代次数，n为当前迭代次数；

输出所述视点图像分割结果。

5.根据权利要求4所述的一种基于图割的多视点视频分割方法，其特征在于，所述基于视差匹配分割其他视点图像的具体步骤如下：

利用开闭运算对所述视点图像分割结果进行形态学处理，得到形态学处理后视点图像；

利用边界追踪算法对所述形态学处理后视点图像进行提取，得到目标轮廓；

利用局部匹配算法将所述目标轮廓匹配到其他视点图像中，得到目标图像；

利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接，得到连续的轮廓；

对所述连续的轮廓内部区域进行填充，通过二值掩膜获得视点图像目标。

6.根据权利要求5所述的一种基于图割的多视点视频分割方法，其特征在于，所述利用边界追踪算法对所述形态学处理后视点图像进行提取的具体步骤如下：

二值掩膜图像的获取：

将处理后的前景目标像素点添加标记1，背景像素点添加标记0，得到前景目标的二值掩膜图像；

目标轮廓的提取：

设起始点b₀为所述二值掩膜图像左上角标记为1的像素点，c₀为与b₀相邻的左侧像素点；

从c₀开始顺时针方向搜索b₀的八邻域像素点，b₁表示遇到的第一个标记为1的邻域像素 点，c₁为序列中b₁之前的像素点，并令b＝b₁，c＝c₁；

从c开始按顺时针方向搜索b的八邻域像素点，依次为n₁,n₂,…,n₈，直到标记为1的第一个邻域像素点n_k，并令b＝n_k，c＝n_k-1；

重复上一步骤，直到b＝b₀且找到的下一个边界点为b₁，得到初步的目标轮廓；

目标轮廓的获取：

将所述初步的目标轮廓细化为除首尾两个边界像素点外，其他边界点的八邻域中有且只有两个边界像素点，得到目标轮廓。

7.根据权利要求6所述的一种基于图割的多视点视频分割方法，其特征在于，所述利用局部匹配算法将所述目标轮廓匹配到其他视点图像中的具体步骤如下：

采用Census变换和MAD相结合的方式定义窗匹配代价函数C(x,y,d)：

C(x,y,d)＝α·C_T(x,y,d)+(1-α)·C_C(x,y,d)，

其中，C_T(·)和C_C(·)分别为基于纹理和基于颜色的窗匹配代价，α为二者的权重系数；

通过Census变换将窗内各像素与中心像素点进行比较，输出结果为一个0/1比特串，设匹配窗W的大小为(2M+1)×(2N+1)，窗内中心像素点X_p的坐标为(x_p,y_p)，对应像素值为I(x_p,y_p)，G(X_q,X_P)代表窗内除中心点外各像素X_q∈N(X_P)与中心点的颜色差异，其均值用M(X_p)表示，视差d的取值范围为D＝[d_min,d_max]，比较G(X_q,X_P)与M(X_P)，若结果大于0，则相应位置添加标记1，否则添加标记0，对于视点1图像I₁中以X_p为中心的匹配窗，其Census变换可表示为：

通过Hamming距离计算所述视点1图像I₁与视点2图像I₂中两匹配窗经过Census变换后输出的比特串之间的差异程度H(X_p,d)，并利用指数形式对其归一化处理，得到区域纹理的匹配代价C_T(x_p,y_p,d)：

H(X_p,d)＝Ham min g(CT_n1(X_p),CT_n2(X_p-d))，

当以所述视点1图像I₁为参考图像，所述视点2图像I₂为目标图像时，基于区域颜色的匹配代价可描述为：

其中，γ_Census和γ_MAD分别为Hamming距离和MAD的归一化常数。

8.根据权利要求7所述的一种基于图割的多视点视频分割方法，其特征在于，

所述利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接的具体步骤如下：

步骤a)，将所述目标图像间断的边界进行膨胀处理，得到膨胀后的图像；

步骤b)，依次遍历所述膨胀后的图像中每个3×3区域，区域中各点标记名称p₁，p₂，…，p₉，其中p₁位于区域中心，若p₁为前景点，即p₁标记为1，且同时满足以下(1)、(2)、(3)三个条件，则将p₁标记为可删除点，

(1)设N(p₁)表示像素点p₁的八邻域像素点是前景点的个数，且满足2≤N(p₁)≤6，

(2)设A(P₁)表示按p₂，p₃，…，p₉的排列顺序时，出现01模式的个数，且A(P₁)＝1，

(3)像素点p₆、p₈中至少有一个为背景点或像素点p₂、p₄都为背景点，即：p₂×p₆×p₈＝0且p₄×p₆×p₈＝0；

步骤c)，若所述步骤b)中存在可删除点，则令该点为背景点，即将该点标记为0；

步骤d)，重新遍历图像中的每个3×3区域，若p₁为前景点且同时满足以上(1)、(2)和如下(4)三个条件，则将p₁标记为可删除点，

(4)像素点p₂、p₄中至少有一个为背景点或像素点p₆、p₈都为背景点，即：p₂×p₄×p₆＝0且p₂×p₄×p₈＝0；

步骤e)，若所述步骤d)中存在可删除点，则令该点为背景点；

步骤f)，迭代所述步骤b)～步骤e)直到没有可删除点为止；

步骤g)，输出细化结果。