CN102982544B - 多前景目标图像交互式分割方法 - Google Patents

Abstract

本发明涉及计算机视觉、图像处理及模式识别等技术领域，具体涉及一种多前景目标图像交互式分割方法。该图像交互式分割方法，包括步骤：S1.构建图像像素相似度矩阵；S2.获取图像像素标签信息；S3.结合所述图像像素相似度矩阵以及图像像素标签信息，构建谱聚类分割模型并求解得到初步分割结果；S4.构建空间平滑约束；S5.结合所述初步分割结果以及空间平滑约束，构建马尔科夫随机场模型并求解得到最终分割结果。本发明融合了GrabCut方法和线性约束谱聚类方法的优点，同时又避免了各自的缺点，只需要标注极少量的像素点，就能分割任意颜色分布的拥有多个前景目标的图像。

Description

多前景目标图像交互式分割方法

技术领域

本发明涉及计算机视觉、图像处理及模式识别等技术领域，具体涉及一种多前景目标图像交互式分割方法。

背景技术

图像分割是将图像按其特征划分成一些互不重叠的区域，从而将图像中用户感兴趣的部分分离出来。图像分割是图像处理、计算机视觉领域的一项关键的技术，是目标检测、目标跟踪、目标分析等多种应用的基础。

图像分割技术有很多种，其中大部分技术都以自底向上的方式进行，它们通过检测边界或者依据色彩、纹理等特征对像素聚类，从而达到分割的目的。谱聚类方法由于能在任意形状样本空间上聚类并能得到近似的全局最优解，是目前应用最广的一类像素聚类算法。谱聚类建立在谱图理论基础上，其原理是将图像中每个像素当作图的顶点，再计算像素点间的相似度，并将其作为图的顶点间边的权重，从而将图像分割问题转化为图的划分问题。但是由于图像底层特征和物体模型之间的巨大语义鸿沟，利用这些技术很难得到用户希望的分割结果。

交互式图像分割通过利用事先标注在图像中的一些前景点和背景点，可以有效地减小分割的不确定性，故被广泛应用于图像编辑领域。早期的交互式图像分割算法主要基于轮廓标注，要求大致勾画出目标的边界，再进行进一步的处理，非常耗时。近些年出现的基于区域标注的交互式分割方法，只需要在待分割图像中标注出部分像素点的类别。目前最流行的交互式图像分割算法GrabCut就属于这一类方法，它通过标注一个包含前景的矩形框来区分前景和背景：矩形框以外的像素为背景，而矩形框以内的像素有较大的概率为前景。GrabCut方法的主要缺点是：只能分割拥有单一前景目标的图像，要求前景和背景像素的颜色分布满足混合高斯模型，并要求二者的颜色分布有较大差异，其对前、背景对比度不强的边界区域分割效果较差。另一种流行的方法是线性约束谱聚类方法，该方法将标注信息编码为齐次线性等式约束加入到经典的谱聚类图像分割框架中，从而得到交互式图像分割结果。该方法不依赖于前、背景颜色分布的混合高斯建模，因此几乎能应用于所有场景的图像，但其缺点是：计算较为费时，无法实时应用；不能将像素的空间平滑信息编码成相应的约束；对于标注信息利用效率低，需要大量标注像素点才能得到较为准确的分割结果。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种只需要标注极少量的像素点，就能分割任意颜色分布的拥有多个前景目标图像的交互式分割方法。

（二）技术方案

本发明技术方案如下：

一种多前景目标图像交互式分割方法，包括步骤：

S1.构建图像像素相似度矩阵；

S2.获取图像像素标签信息；

S3.结合所述图像像素相似度矩阵以及图像像素标签信息，构建谱聚类分割模型并求解得到初步分割结果；

S4.构建空间平滑约束；

S5.结合所述初步分割结果以及空间平滑约束，构建马尔科夫随机场模型并求解得到最终分割结果。

优选的，所述步骤S1包括步骤：

S101.分别计算待分割图像中任意两个像素点的相似度，记第i个像素点和第j个像素点的相似度为W_ij，其构成的图像像素相似度矩阵记为W；

S102.求取所述图像像素相似度矩阵W的拉普拉斯矩阵，记为L_sym；

S103.求取所述L_sym的各个特征值λ_i和其对应的特征向量u_i，其中0=λ₁≤λ₂≤…≤λ_N。

优选的，所述步骤S102具体为：

计算D=diag(d₁,d₂,......,d_N)，L=D-W；

图像像素相似度矩阵W的拉普拉斯矩阵

优选的，所述步骤S1为离线分析。

优选的，所述步骤S2包括步骤：

S201.在待分割图像上标注出c类像素点作为标注点，其中每一类像素点属于同一个前景或背景，c为待分割图像中前景及背景的个数；

S202.将所述标注点的序号信息及类别信息存入二维数组，作为图像像素标签信息。

优选的，所述步骤S3包括步骤：

S301.根据所述二维数组，构建约束

其中C^p表示所有标注点的集合，表示标注出的第j类像素点的集合,是在C^p中的补集；

vol(C)=∑_i∈C∑_j∈VW_ij，V为待分割图像所有像素点的集合；

S302.求解初步分割结果X^*:

定义其中K=31，α∈（-∞，λ₂）；

对所述X作如下处理：

对第j列（j=1,2,......,N），计算

对所有i＝1,2,......,N，计算其构成矩阵X^*，即初步分割结果。

优选的，所述步骤S4包括步骤：

S401.构建第一惩罚项其中表示矩阵X^*中第i列所有元素；

S402.构建第二惩罚项其中η=2；

S403.构建第三惩罚项 $\mathrm{\δ}(k,{\mathrm{\π}}_i)=\left\{\begin{array}{cc}1& ,k={\mathrm{\π}}_i\\ 0& ,k\≠{\mathrm{\π}}_i\end{array}\right.;$ 其中π_i∈{1,2，…,c}为待求解的变量，表示为第i个像素赋予的类别数，k为像素i的类别信息。

优选的，所述步骤S5包括步骤：

S501.构建最终的分割目标函数：

$\underset{\mathrm{\π}}{\min }\underset{k=1}{\overset{c}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\δ}(k,{\mathrm{\π}}_i)d_k\left(i\right)+\mathrm{\γ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j\∈N\left(i\right)}{\overset{N}{\mathrm{\Σ}}}(1-\mathrm{\δ}({\mathrm{\π}}_j,{\mathrm{\π}}_i))d(i,j)+\mathrm{\μ}\underset{k=1}{\overset{c}{\mathrm{\Σ}}}\underset{V_i\∈C_k^p}{\mathrm{\Σ}}\mathrm{\δ}(k,{\mathrm{\π}}_i)$

其中π_i∈{1,2，…,c}，N(i)表示第i个像素点附近4邻域内的像素点的集合， $\mathrm{\γ}=\frac{10}{N^2\sqrt{N}},$ μ＝10000；

S502.求解π_i，得到最终分割结果。

优选的，所述步骤S502中通过快速原-对偶方法求解π_i的值。

（三）有益效果

本发明通过对图像标签信息进行编码并作为约束加入谱聚类框架中，使该方法摆脱了待分割图像颜色分布为混合高斯模型的限制；通过构建一个马尔科夫随机场模型，将像素的空间平滑信息编码成相应的约束，使图像分割效果更加精准。本发明融合了GrabCut方法和线性约束谱聚类方法的优点，同时又避免了各自的缺点，只需要标注极少量的像素点，就能分割任意颜色分布的拥有多个前景目标的图像。

附图说明

图1是本发明的一种多前景目标图像交互式分割方法的流程图。

具体实施方式

下面结合附图和实施例，对发明的具体实施方式做进一步描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。

流程图如图1所示的一种多前景目标图像交互式分割方法，包括步骤：

S1.构建图像像素相似度矩阵；构建图像像素相似度矩阵的方法为本实施例中所述方法或现有已知的任何方法。

S2.获取图像像素标签信息；通过交互可以得到图像上某些点所属的类别信息，这些信息对精确的分割非常有用；但是在交互中被标注出来的像素点非常少，很难有效地利用这些信息来进行分割；已有常用的方法是仅对被标注的点进行处理，使得分割结果和标注结果一致；为了得到更理想的分割结果，我们将图像标签信息统一地转化为分割模型的一个约束条件，改善分割效果。

S3.结合图像像素相似度矩阵以及图像像素标签信息，构建谱聚类分割模型并求解得到初步分割结果；通过将图像像素标签信息转化为约束加入谱聚类分割模型中，从而有效地利用了图像自身的像素颜色纹理等信息以及交互所得的图像像素标签信息，从而得到了较为理想的初步分割结果。

S4.该初步分割结果可能会在图像的色彩平滑区域产生误分割，为得到更好的分割结果，因此需要构建空间平滑约束。

S5.结合初步分割结果以及空间平滑约束，构建马尔科夫随机场模型并求解得到最终分割结果；通过对初步分割结果进行进一步编码，并加入空间平滑约束，以及强化标注像素点类别一致性约束，使得到的分割结果更为精准。

应用本发明的多前景目标图像交互式分割方法，在给定一幅图像后，经过简单的交互（即在待分割图像中分别标注出各个前景及背景的一些的像素点），即可将图像依据其所包含内容分割为几个所需的区域。

其中，步骤S1包括步骤：

S101.计算待分割图像中任意两个像素点的相似度，记第i个像素和第j个像素的相似度为W_ij，其构成的图像像素相似度矩阵记为W；

S102.求取图像像素相似度矩阵W的拉普拉斯矩阵，记为L_sym；

S103.求取L_sym的各个特征值λ_i和其对应的特征向量u_i，其中0=λ₁≤λ₂≤…≤λ_N。

其中，步骤S102具体为：

计算D=diag(_d1,d₂,......,d_N)，L=D-W；

图像像素相似度矩阵W的拉普拉斯矩阵

上述步骤S1可以为离线分析，将费时的特征分解过程放在离线部分，从而使得交互式分割过程可以实时进行。

其中，步骤S2包括步骤：

S201.待分割图像上标注出c类像素点作为标注点，其中每一类像素点属于同一个前景或背景，c待分割图像中前景及背景的个数；

S202.将标注点的序号信息及类别信息存入二维数组，作为图像像素标签信息。

其中，步骤S3包括步骤：

S301.通过交互得到的所有标注点的集合记为C^p，其中标注出的第j类像素点的集合记为 在C^p中的补集记为

由于标准的谱聚类图像分割算法的解的形式为所以为了使图像像素标签信息编码结果S和谱聚类图像分割算法的解X的物理意义一致，我们可以构造S的形式如下此时S满足S^TS＝I；为了更充分地利用标注信息，可以在S中加入不同类别间点的信息根据二维数组，构建约束

其中，vol(C)=∑_i∈C∑_j∈VW_ij，V待分割图像所有像素点的集合；

为保证S和X的一致，引入以下约束，diag(X^TS))≥kdiag(I)，提高S和X的相关性，其中1>k>0为一个阈值。

S302.求解初步分割结果X^*:

标准的谱聚类图像分割算法的模型为加入上述步骤S301中的约束S_ij后，模型为

$\underset{X}{\min }\mathrm{tr}\left(X^T{L}_{\mathrm{sym}}X\right)$

s.t.X^TX＝I,diag(X^TS)≥diag(I)；

由于约束条件X^TX=I非凸，使得该问题难以求解，所以将其放松为diag(X^TX)=diag(I)，同时引入正交的约束以排除的奇异解，其中1为一个N行全1的列向量；因此我们得下述优化式子：

$\underset{X}{\min }\mathrm{tr}\left(X^T{L}_{\mathrm{sym}}X\right)$

s.t.diag(X^TX)=diag(I),

diag(X^TS)≥diag(I)

可以证明上述模型的最优解为其中参数α∈（-∞，λ₂），B是一个使得diag(_X ^TX)=diag(I)成立的对角阵，符号表示求矩阵的伪逆矩阵。

求解精确的伪逆较为费时，因此通过求解X的近似解如下：其中K＝31，α∈（-∞，λ₂），例如取α=-λ_k，

对X作如下处理：

对第j列（j=1,2,.....,N），计算

对所有i＝1,2,......,N，计算其构成矩阵X^*，此时X^*可以看作概率化的初步分割结果；该模型有着较快的运算速度，能在普通PC机上实现实时的交互式图像分割。

如果直接对X^*进行聚类，容易在图像的色彩平滑区域产生误分割；为了得到更好的分割结果，加入步骤S4中的空间平滑约束。

其中，步骤S4包括步骤：

S401.构建第一惩罚项其中表示矩阵X^*中第i列所有元素；；表示将第i个像素归入第k类的惩罚；

S402.构建第二惩罚项其中η=2；表示将相邻像素i和像素j分为不同类的惩罚；

S403.构建第三惩罚项 $\mathrm{\δ}(k,{\mathrm{\π}}_i)=\left\{\begin{array}{cc}1& ,k={\mathrm{\π}}_i\\ 0& ,k\≠{\mathrm{\π}}_i\end{array}\right.;$ 表示像素i的分类结果和标注信息不同的惩罚；为其中π_i∈{1,2，…,c}为待求解的变量，表示为第i个像素赋予的类别数，k为像素i的类别信息。

其中，步骤S5包括步骤：

S501.加入以上约束后，构建最终的分割目标函数：

$\underset{\mathrm{\π}}{\min }\underset{k=1}{\overset{c}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\δ}(k,{\mathrm{\π}}_i)d_k\left(i\right)+\mathrm{\γ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j\∈N\left(i\right)}{\overset{N}{\mathrm{\Σ}}}(1-\mathrm{\δ}({\mathrm{\π}}_j,{\mathrm{\π}}_i))d(i,j)+\mathrm{\μ}\underset{k=1}{\overset{c}{\mathrm{\Σ}}}\underset{V_i\∈C_k^p}{\mathrm{\Σ}}\mathrm{\δ}(k,{\mathrm{\π}}_i)$

其中π_i∈{1,2，…,c}，N(i)表示第i个像素点附近4邻域内的像素点的集合，μ＝10000；

S502.所述步骤S501中构建的最终分割目标函数是一个马尔科夫随机场中的优化问题，用Primal-Dual方法即快速原-对偶方法或其他已知的方法可以求解，得到π_i的值即为图像的第i个像素所属的类别数，从而得到多前景目标图像的最终分割结果；如果对于分割结果不满意，通过修改标注的像素点即图像像素标签信息即可进一步改进分割结果，直到得到满意的分割效果。

本发明属于基于区域标注的交互式图像分割方法，其融合了GrabCut方法和线性约束谱聚类方法的优点，同时又避免了各自的缺点。通过使用相关函数对标注信息即图像标签信息进行编码，并将其作为约束加入谱聚类框架中，从而使该方法不依赖于目标的颜色分布符合混合高斯模型。在求解约束谱聚类问题时，通过将费时的特征分解过程放在离线部分，从而使得交互式分割过程可以实时进行。通过求解约束谱聚类问题得到的是概率化的初步分割结果，利用该概率化的初步分割结果可以将图像分割问题建模为一个马尔科夫随机场问题，该模型可以将像素的空间平滑信息编码成分割模型的约束。综上所述，相比于传统的图像分割方法，本发明主要具有以下优点：一是只需要标注极少量的像素点，二是能分割任意颜色分布的前景和背景，三是能处理拥有多个前景目标的图像，四是用户能方便快捷地通过修改标注来改进分割结果。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范畴。

Claims (5)

1.一种多前景目标图像交互式分割方法，其特征在于，包括步骤：

S1.构建图像像素相似度矩阵；

S2.获取图像像素标签信息；

S3.结合所述图像像素相似度矩阵以及图像像素标签信息，构建谱聚类分割模型并求解得到初步分割结果；

S4.构建空间平滑约束；

S5.结合所述初步分割结果以及空间平滑约束，构建马尔科夫随机场模型并求解得到最终分割结果；

其中，所述步骤S1包括步骤：

S101.分别计算待分割图像中任意两个像素点的相似度，记第i个像素点和第j个像素点的相似度为W_ij，其构成的图像像素相似度矩阵记为W；

S102.求取所述图像像素相似度矩阵W的拉普拉斯矩阵，记为L_sym；

S103.求取所述L_sym的各个特征值λ_i和其对应的特征向量u_i，其中0＝λ₁≤λ₂≤…≤λ_N；

所述步骤S102具体为：

计算D＝diag(d₁,d₂,......,d_N)，L＝D-W；

图像像素相似度矩阵W的拉普拉斯矩阵

所述步骤S2包括步骤：

S201.在待分割图像上标注出c类像素点作为标注点，其中每一类像素点属于同一个前景或背景，c为待分割图像中前景及背景的个数；

S202.将所述标注点的序号信息及类别信息存入二维数组，作为图像像素标签信息；

所述步骤S3包括步骤：

S301.根据所述二维数组，构建约束

其中C^p表示所有标注点的集合，表示标注出的第h类像素点的集合，是在C^p中的补集；

vol(C)＝∑_i∈C∑_j∈VW_ij，V为待分割图像所有像素点的集合；

为保证标注的先验信息S和分割结果X的一致，引入以下约束，diag((X^TS))≥κdiag(I)，提高S和X的相关性，其中1>κ>0为一个阈值；

S302.求解初步分割结果X^*:

定义其中K＝31，α∈(-∞，λ₂)；

标准的谱聚类图像分割算法的模型为加入上述步骤S301中的约束diag((X^TS))≥κdiag(I)后，并将约束条件X^TX＝I放松为diag(X^TX)＝diag(I)，同时引入正交的约束以排除的奇异解，其中，0是一个N行全0的列向量，1为一个N行全1的列向量，获得如下约束谱聚类分割模型：

diag(X^TS)≥diag(I)

对所述X作如下处理：

对第j列j＝1,2,·····,N，计算

对所有i＝1,2,......,N，计算其构成矩阵X^*，即初步分割结果。

2.根据权利要求1所述的多前景目标图像交互式分割方法，其特征在于，所述步骤S1为离线分析。

3.根据权利要求1所述的多前景目标图像交互式分割方法，其特征在于，所述步骤S4包括步骤：

S401.构建第一惩罚项其中表示矩阵X^*第i列所有元素；

S402.构建第二惩罚项其中η＝2；

S403.构建第三惩罚项其中π_i∈{1,2，…,c}为待求解的变量，表示为第i个像素赋予的类别数，k为像素i的类别信息。

4.根据权利要求3所述的多前景目标图像交互式分割方法，其特征在于，所述步骤S5包括步骤：

S501.构建最终的分割目标函数：

其中π_i∈{1,2，…,c}，N(i)表示第i个像素点附近4邻域内的像素点的集合，

S502.求解π_i，得到最终分割结果。

5.根据权利要求4所述的多前景目标图像交互式分割方法，其特征在于，所述步骤S502中通过快速原-对偶方法求解π_i的值。