CN106340024A - 一种图像分割方法、应用和计算设备 - Google Patents

Abstract

本发明公开了一种图像分割方法，包括：载入待分割的图像；采集图像中每一个像素的特征向量；接收用户对于感兴趣区域和非感兴趣区域的选定；根据感兴趣区域中的各像素的特征向量将感兴趣区域中的像素聚为第一数量的感兴趣类，并确定每个感兴趣类的类信息；根据非感兴趣区域中的各像素的特征向量将非感兴趣区域中的像素聚为第二数量的非感兴趣类，并确定每个非感兴趣类的类信息；计算图像中每一个像素为感兴趣像素的概率；计算图像中每一对相邻像素的颜色相似度；根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度确定图像中每个像素的标签值。本发明还公开了能够实施上述方法的图像分割应用，和包括上述应用的计算设备。

Description

一种图像分割方法、应用和计算设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像分割方法、应用和计算设备。

背景技术

基于图像的社交正在成为一种新兴且热门的社交方式，例如，微博、微信朋友圈、instagram等应用上每天都有大量的图像上传。简单地对图像添加滤镜等传统的图像编辑方式已无法满足人们对于社交和娱乐的需求，图像分割成为了一项重要的图像编辑方法。图像分割，俗称抠图，是一种选择并分割出图像中的感兴趣区域(Region of Interest，ROI)的过程。通过图像分割，我们可以对ROI进行二次处理或者加工。例如，可以保持分割出来的ROI部分不变，将图像的其他部分变成灰度图像，以突出主要物体。我们也可以把图像中的人像抠出来，给其换一张背景图，等等。

传统的图像分割算法有两大主要问题：1)交互方式不自然；2)分割精度不高。例如，GrabCut需要用户用一个矩形框来框住ROI，而且初次的分割结果通常不够好。

发明内容

为此，本发明提供一种图像分割方法、应用和计算设备，以力图解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种图像分割方法，在计算设备中执行，该方法包括：载入待分割的图像；采集图像中每一个像素的特征向量；接收用户对于感兴趣区域和非感兴趣区域的选定；根据感兴趣区域中的各像素的特征向量将所述感兴趣区域中的像素聚为第一数量的感兴趣类，并确定每个感兴趣类的类信息；根据非感兴趣区域中的各像素的特征向量将所述非感兴趣区域中的像素聚为第二数量的非感兴趣类，并确定每个非感兴趣类的类信息；对于图像中的每一个像素，根据该像素的特征向量、感兴趣类的类信息以及非感兴趣类的类信息确定该像素为感兴趣像素的概率；计算图像中每一对相邻像素的颜色相似度；根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度确定图像中每个像素的标签值。

可选地，在根据本发明的图像分割方法中，在所述载入待分割的图像的步骤之前，还包括：判断图像的尺寸是否大于等于阈值，若是，则将图像的尺寸进行缩小。

可选地，在根据本发明的图像分割方法中，像素的特征向量包括以下信息：像素的行号、列号、RGB值和纹理信息。

可选地，在根据本发明的图像分割方法中，将所述感兴趣区域中的像素聚为第一数量的感兴趣类以及将所述非感兴趣区域中的像素聚为第二数量的非感兴趣类的步骤采用kmeans聚类算法。

可选地，在根据本发明的图像分割方法中，所述第一数量和所述第二数量的取值均为1-20之间的整数。

可选地，在根据本发明的图像分割方法中，所述类信息包括：类中心、协方差矩阵、该类中所包括的像素量占图像中总像素量的比例。

可选地，在根据本发明的图像分割方法中，像素为感兴趣像素的概率按照以下步骤确定：根据像素的特征向量和感兴趣类的类信息确定该像素属于感兴趣区域的概率prob_roi(q)，其中，q表示图像中的某一个像素；根据像素的特征向量和非感兴趣类的类信息确定该像素属于非感兴趣区域的概率prob_non-roi(q)；根据像素属于感兴趣区域的概率prob_roi(q)和属于非感兴趣区域的概率prob_non-roi(q)确定该像素为感兴趣像素的概率prob(q)。

可选地，在根据本发明的图像分割方法中，像素属于感兴趣区域的概率prob_roi(q)按照以下公式计算：

${\mathrm{prob}}_{roi}\left(q\right)=\underset{i=1}{\overset{k_1}{\Σ}}\left(s_1\left(i\right)*\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_1\right(i))}}\exp \left(-\frac{1}{2}{\left(q-o_1\left(i\right)\right)}^T{C}_1{\left(i\right)}^{-1}\left(q-o_1\left(i\right)\right)\right)\right)\right)$

其中，k₁为所述第一数量，s₁(i)为第i个感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，n为特征向量的维数，o₁(i)为第i个感兴趣类的类中心，C₁(i)为第i个感兴趣类的协方差矩阵，det()表示求行列式；

像素属于非感兴趣区域的概率prob_non-roi(q)按照以下公式计算：

${\mathrm{prob}}_{non-roi}\left(q\right)=\underset{i=1}{\overset{k_2}{\Σ}}\left(s_2\left(i\right)*\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_2\right(i))}}\exp \left(-\frac{1}{2}{\left(q-o_2\left(i\right)\right)}^T{C}_2{\left(i\right)}^{-1}\left(q-o_2\left(i\right)\right)\right)\right)\right)$

其中，k2为所述第二数量，s₂(i)为第i个非感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，n为特征向量的维数，o₂(i)为第i个非感兴趣类的类中心，C₂(i)为第i个非感兴趣类的协方差矩阵，det()表示求行列式；

像素为感兴趣像素的概率prob(q)按照以下公式计算：

$prob\left(q\right)=\frac{{\mathrm{prob}}_{roi}\left(q\right)}{{\mathrm{prob}}_{roi}\left(q\right)+{\mathrm{prob}}_{non-roi}\left(q\right)}$

可选地，在根据本发明的图像分割方法中，相邻像素的颜色相似度按照以下公式计算：

$sim(p,q)=\exp (-\frac{\left|\right|color\left(p\right)-color\left(q\right)|{|}_2^2}{{\mathrm{\σ}}^2})$

其中，sim(p,q)表示像素p和像素q的颜色相似度，color(p)为像素p的颜色向量，color(q)为像素q的颜色向量，‖‖₂表示求二范数，δ²为图像中所有像素的颜色向量的方差。

可选地，在根据本发明的图像分割方法中，所述标签值的取值为0或1，当像素的标签值为0时，该像素为非感兴趣像素，当像素的标签值为1时，该像素为感兴趣像素。

可选地，在根据本发明的图像分割方法中，图像中每个像素的标签值按照以下步骤确定：

根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度求解以下优化问题：

$E\left(label\right)=\underset{q\∈Pixels}{\Σ}{\left(label\right(q)-prob(q\left)\right)}^2+\mathrm{\λ}\underset{p,q\∈Neighbors}{\Σ}sim(p,q)*T\left(label\right(p)\≠label(q\left)\right)$

其中，E(label)为能量函数，Pixels为图像中所有像素的集合，label(q)为像素q的标签值，prob(q)表示像素q为感兴趣像素的概率，Neighbors为图像中相邻像素对的集合，sim(p,q)表示像素p和像素q的颜色相似度，T()为判断函数，当判断条件为真时函数值为1，当判断条件为假时函数值为0，λ为影响因子，λ≥0；

最小化E(label)的值，得出图像中每个像素的标签值。

可选地，在根据本发明的图像分割方法中，在确定了图像中每个像素的标签值之后，还包括步骤：采用alpha matting算法优化分割边缘。

可选地，在根据本发明的图像分割方法中，在优化分割边缘之后，还包括：记录当前的分割状态。

根据本发明的一个方面，提供一种图像分割应用，驻留于计算设备中，该应用包括：载入模块，适于载入待分割的图像；信息采集模块，适于采集图像中每一个像素的特征向量；交互模块，适于接收用户对于感兴趣区域和非感兴趣区域的选定；聚类模块，适于根据感兴趣区域中的各像素的特征向量将所述感兴趣区域中的像素聚为第一数量的感兴趣类，并确定每个感兴趣类的类信息；以及根据非感兴趣区域中的各像素的特征向量将所述非感兴趣区域中的像素聚为第二数量的非感兴趣类，并确定每个非感兴趣类的类信息；分割模块，适于对图像中的每一个像素，根据该像素的特征向量、感兴趣类的类信息以及非感兴趣类的类信息确定该像素为感兴趣像素的概率；计算图像中每一对相邻像素的颜色相似度；以及根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度确定图像中每个像素的标签值。

可选地，在根据本发明的图像分割应用中，所述载入模块还适于：判断图像的尺寸是否大于等于阈值，若是，则将图像的尺寸进行缩小。

可选地，在根据本发明的图像分割应用中，像素的特征向量包括以下信息：像素的行号、列号、RGB值和纹理信息。

可选地，在根据本发明的图像分割应用中，所述聚类模块适于采用kmeans聚类算法将所述感兴趣区域中的像素聚为第一数量的感兴趣类以及将所述非感兴趣区域中的像素聚为第二数量的非感兴趣类。

可选地，在根据本发明的图像分割应用中，所述第一数量和所述第二数量的取值均为1-20之间的整数。

可选地，在根据本发明的图像分割应用中，所述类信息包括：类中心、协方差矩阵、该类中所包括的像素量占图像中总像素量的比例。

可选地，在根据本发明的图像分割应用中，所述分割模块适于按照以下步骤确定像素为感兴趣像素的概率：根据像素的特征向量和感兴趣类的类信息确定该像素属于感兴趣区域的概率prob_roi(q)，其中，q表示图像中的某一个像素；根据像素的特征向量和非感兴趣类的类信息确定该像素属于非感兴趣区域的概率prob_non-roi(q)；根据像素属于感兴趣区域的概率prob_roi(q)和属于非感兴趣区域的概率prob_non-roi(q)确定该像素为感兴趣像素的概率prob(q)。

可选地，在根据本发明的图像分割应用中，所述分割模块进一步适于：

按照以下公式计算像素属于感兴趣区域的概率prob_roi(q)：

${\mathrm{prob}}_{roi}\left(q\right)=\underset{i=1}{\overset{k_1}{\Σ}}\left(s_1\left(i\right)*\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_1\right(i))}}\exp \left(-\frac{1}{2}{\left(q-o_1\left(i\right)\right)}^T{C}_1{\left(i\right)}^{-1}\left(q-o_1\left(i\right)\right)\right)\right)\right)$

其中，k₁为所述第一数量，s₁(i)为第i个感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，n为特征向量的维数，o₁(i)为第i个感兴趣类的类中心，C₁(i)为第i个感兴趣类的协方差矩阵，det()表示求行列式；

按照以下公式计算像素属于非感兴趣区域的概率prob_non-roi(q)：

${\mathrm{prob}}_{non-roi}\left(q\right)=\underset{i=1}{\overset{k_2}{\Σ}}\left(s_2\left(i\right)*\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_2\right(i))}}\exp \left(-\frac{1}{2}{\left(q-o_2\left(i\right)\right)}^T{C}_2{\left(i\right)}^{-1}\left(q-o_2\left(i\right)\right)\right)\right)\right)$

其中，k2为所述第二数量，s₂(i)为第i个非感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，n为特征向量的维数，o₂(i)为第i个非感兴趣类的类中心，C₂(i)为第i个非感兴趣类的协方差矩阵，det()表示求行列式；

按照以下公式计算像素为感兴趣像素的概率prob(q)：

$prob\left(q\right)=\frac{{\mathrm{prob}}_{roi}\left(q\right)}{{\mathrm{prob}}_{roi}\left(q\right)+{\mathrm{prob}}_{non-roi}\left(q\right)}$

可选地，在根据本发明的图像分割应用中，所述分割模块适于按照以下公式计算相邻像素的颜色相似度：

$sim(p,q)=\exp (-\frac{\left|\right|color\left(p\right)-color\left(q\right)|{|}_2^2}{{\mathrm{\σ}}^2})$

其中，sim(p,q)表示像素p和像素q的颜色相似度，color(p)为像素p的颜色向量，color(q)为像素q的颜色向量，‖‖₂表示求二范数，δ²为图像中所有像素的颜色向量的方差。

可选地，在根据本发明的图像分割应用中，所述标签值的取值为0或1，当像素的标签值为0时，该像素为非感兴趣像素，当像素的标签值为1时，该像素为感兴趣像素。

可选地，在根据本发明的图像分割应用中，所述分割模块适于按照以下步骤确定图像中每个像素的标签值：

根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度求解以下优化问题：

$E\left(label\right)=\underset{q\∈Pixels}{\Σ}{\left(label\right(q)-prob(q\left)\right)}^2+\mathrm{\λ}\underset{p,q\∈Neighbors}{\Σ}sim(p,q)*T\left(label\right(p)\≠label(q\left)\right)$

其中，E(label)为能量函数，Pixels为图像中所有像素的集合，label(q)为像素q的标签值，prob(q)表示像素q为感兴趣像素的概率，Neighbors为图像中相邻像素对的集合，sim(p,q)表示像素p和像素q的颜色相似度，T()为判断函数，当判断条件为真时函数值为1，当判断条件为假时函数值为0，λ为影响因子，λ≥0；

最小化E(label)的值，得出图像中每个像素的标签值。

可选地，在根据本发明的图像分割应用中，还包括：优化模块，适于采用alphamatting算法优化分割边缘。

可选地，在根据本发明的图像分割应用中，还包括：记录模块，适于记录当前的分割状态。

根据本发明的一个方面，提供一种计算设备，包括如上所述的图像分割应用。

根据本发明的技术方案，将图像展示在图形界面上，用户通过用鼠标或手指在图像上滑动划线的方式来选定感兴趣区域(ROI)以及非感兴趣区域(non-ROI)。根据各像素的特征向量，采用kmeans聚类算法将用户选定的ROI的像素聚成第一数量的感兴趣类，将non-ROI的像素聚成第二数量的非感兴趣类。对于图像中的每一个像素，计算该像素属于ROI的概率prob_roi(q)和该像素属于non-ROI的概率prob_non-roi(q)，并根据prob_roi(q)和prob_non-roi(q)计算该像素为感兴趣像素的概率prob(q)。计算图像中每一对相邻像素的颜色相似度sim(p,q)，根据prob(q)和sim(p,q)来确定图像中每一个像素的标签值，标签值为1表示像素为感兴趣像素，标签值为0表示像素为非感兴趣像素。随后，采用alpha matting算法对分割边缘进行平滑处理，并记录当前的分割状态。

本发明的图像分割方案是交互式的，用户可以通过在图像上滑动鼠标或手指的方式方便地指定ROI及non-ROI。在每次图像分割完成之后，记录当前的分割状态，并允许用户进一步修改、撤销、重做，操作简单，交互性强，有良好的用户体验。本发明在实现图像分割时仅需计算kmeans聚类情况、prob(q)和sim(p,q)，在保证了分割精度的同时，算法复杂度低，耗时少，可以实现实时分割，无需用户等待。此外，采用alpha matting算法对分割边缘进行平滑处理，使分割出来的ROI更加自然，准确度更高。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的计算设备100的结构图；

图2示出了根据本发明一个实施例的图像分割应用200的结构图；

图3A示出了根据本发明的用户选定的感兴趣区域的示意图，图3B示出了根据本发明的用户选定的非感兴趣区域的示意图；

图4示出了根据本发明的相邻像素的示意图；以及

图5示出了根据本发明一个实施例的图像分割方法500的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的计算设备100的结构图。计算设备100可以是手机、平板电脑、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、应用专用设备、或包括上面任何功能的混合设备。计算设备也可以是桌面计算机、笔记本电脑、服务器、工作站等设备。

如图1所示，计算设备100中驻留有图像分割应用200，使得计算设备100能够实现图像分割的功能。图像分割应用200可以作为搜索引擎的一个插件驻留于计算设备100的浏览器中，或作为一个独立的软件安装于计算设备100中，本发明对图像分割应用200在计算设备100中的存在形式不做限制。

图2示出了根据本发明一个实施例的图像分割应用200的结构图。如图2所示，图像分割应用200包括载入模块210、信息采集模块220、交互模块230、聚类模块240和分割模块250。

载入模块210适于载入待分割的图像，即，将待分割的图像置于图形界面上展示给用户。根据一种实施例，在载入图像之前，载入模块210还适于判断图像的尺寸是否大于等于阈值，若是，则先将图像的尺寸缩小，再载入图像，以节约后续图像分割过程的计算时间。上述阈值可以是针对图像所包含的总像素量的阈值，或横向像素量的阈值，或纵向像素量的阈值，等等，本发明对阈值所限制的对象以及阈值的取值并无限制。此外，本发明对图像尺寸的缩小比例亦无限制，对于尺寸超过阈值的图像，用户可以自行设置缩小比例以使该图像的尺寸缩小至阈值以下。例如，用户可以设置总像素量的阈值为100*100，这样，128*96的图像被视为尺寸超过了阈值。可以将其横向尺寸和纵向尺寸均缩小至原尺寸的1/2，缩小后的图像尺寸为64*48。又例如，可以设置纵向像素量的阈值为100，这样，128*96的图像的尺寸未超过阈值。

信息采集模块220适于采集图像中每一个像素的特征向量。特征向量用于标记像素的特征信息。像素的特征向量中包括但不限于以下信息：像素的位置信息(行号、列号)，颜色信息(RGB值)和纹理信息。其中，纹理信息可以是图像经过2D Gabor Wavelet变换所得到的滤波结果。对于一个包含n个像素信息的特征向量，其维数为n。例如，若像素的特征向量＝[行号，列号，R值，G值，B值]，则特征向量的维数为5。

交互模块230适于接收用户对于感兴趣区域(Region of Interest，ROI)和非感兴趣区域(non-ROI)的选定。用户可以通过用鼠标或手指在图像上滑动划线的方式来分别选定感兴趣区域以及非感兴趣区域。根据一种实施例，在选定的过程中，有两种模式可以切换：选择前景和选择背景。在选择前景的模式下，用户选定感兴趣区域；在选择背景的模式下，用户选定非感兴趣区域。图3A示出了根据本发明的用户选定的感兴趣区域的示意图，图中的白色不规则线条即为用户的滑动轨迹，相应地，该滑动轨迹覆盖的图像部分即为用户选定的感兴趣区域。图3B示出了根据本发明的用户选定的非感兴趣区域的示意图，图中的白色不规则线条即为用户的滑动轨迹，相应地，该滑动轨迹覆盖的图像部分即为用户选定的非感兴趣区域。结合图3A和图3B可知，用户感兴趣的区域为位于图像中心的花朵，用户欲将花朵从图像中分割出来。

应当指出，“交互模块230适于接收用户对于感兴趣区域和非感兴趣区域的选定”是一种概括的说法。在实际应用中，用户可以既选定感兴趣区域又选定非感兴趣区域，也可以仅选定感兴趣区域，或仅选定非感兴趣区域。当用户仅选定了感兴趣区域时，交互模块230将未被用户选定的图像中的其他区域均视为非感兴趣区域；当用户仅选定了非感兴趣区域时，交互模块230将未被用户选定的图像中的其他区域均视为感兴趣区域。

应当指出，本发明对信息采集模块220和交互模块230在执行上的先后顺序不做限制。在图像分割过程中，可以先由信息采集模块220采集各像素的特征向量，再由交互模块230来获取用户对ROI和non-ROI的选定；也可以先由交互模块230获取用户对ROI和non-ROI的选定，再由信息采集模块220采集各像素的特征向量；也可以信息采集模块220和交互模块230同时执行。

聚类模块240根据感兴趣区域中的各像素的特征向量将感兴趣区域中的像素聚为第一数量的感兴趣类，并确定每个感兴趣类的类信息；以及根据非感兴趣区域中的各像素的特征向量将非感兴趣区域中的像素聚为第二数量的非感兴趣类，并确定每个非感兴趣类的类信息。聚类算法有多种，例如k-means聚类算法、层次聚类算法、SOM神经网络聚类算法、FCM模糊聚类算法等，本领域技术人员可以根据实际情况选用，本发明对实现感兴趣区域像素聚类和非感兴趣区域像素聚类的聚类算法不做限制。根据一种实施例，聚类模块240采用kmeans聚类算法来将感兴趣区域的像素聚为k₁(即第一数量)个感兴趣类，并确定每个感兴趣类的类信息；将非感兴趣区域的像素聚为k₂(即第一数量)个非感兴趣类，并确定每个非感兴趣类的类信息。其中，类信息包括类中心、协方差矩阵、以及该类中所包括的像素量占图像中总像素量的比例。另外，根据经验，为了得到较好的聚类效果，k₁、k₂的取值为1-20之间(含1、20)的整数。

聚类模块240完成聚类后，由分割模块250来实现对图像的分割。分割模块250对图像的分割过程主要包括以下三个步骤：1、计算图像中每一个像素为感兴趣像素的概率prob(q)；2、计算图像中每一对相邻像素的相似度sim(p，q)；3、确定图像中每一个像素的标签值。以下分别对这三个步骤进行详细阐述。

1、计算图像中每一个像素为感兴趣像素的概率prob(q)

对于图像中的每一个像素，分割模块250根据该像素的特征向量、感兴趣类的类信息以及非感兴趣类的类信息确定该像素为感兴趣像素的概率。像素q为感兴趣像素的概率prob(q)的详细计算过程如下：

1)根据像素q的特征向量q和感兴趣类的类信息确定该像素属于感兴趣区域的概率prob_roi(q)。根据一种实施例，采用以下公式计算prob_roi(q)：

${\mathrm{prob}}_{roi}\left(q\right)=\underset{i=1}{\overset{k_1}{\Σ}}\left(s_1\right(i)*g_{1i}(q\left)\right)---\left(1\right)$

其中，k₁为第一数量(即感兴趣类的数量)，s₁(i)为第i个感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，g_1i(q)为对应于第i个感兴趣类的n维高斯分布的概率密度函数，有：

$g_{1i}\left(q\right)=\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_1\right(i))}}\exp \right(-\frac{1}{2}{(q-o_1(i\left)\right)}^T{C}_1{\left(i\right)}^{-1}(q-o_1(i)\left)\right))---\left(2\right)$

其中，n为特征向量的维数，o₁(i)为第i个感兴趣类的类中心，C₁(i)为第i个感兴趣类的协方差矩阵，det()表示求行列式。

2)根据像素q的特征向量q和非感兴趣类的类信息确定该像素属于非感兴趣区域的概率prob_non-roi(q)。根据一种实施例，采用以下公式计算prob_non-roi(q)：

${\mathrm{prob}}_{non-roi}\left(q\right)=\underset{i=1}{\overset{k_2}{\Σ}}\left(s_2\right(i)*g_{2i}(q\left)\right)---\left(3\right)$

其中，k2为第二数量(即非感兴趣类的数量)，s₂(i)为第i个非感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，g_2i(q)为对应于第i个非感兴趣类的n维高斯分布的概率密度函数，有：

$g_{2i}\left(q\right)=\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_2\right(i))}}\exp \right(-\frac{1}{2}{(q-o_2(i\left)\right)}^T{C}_2{\left(i\right)}^{-1}(q-o_2(i)\left)\right))---\left(4\right)$

其中，n为特征向量的维数，o₂(i)为第i个非感兴趣类的类中心，C₂(i)为第i个非感兴趣类的协方差矩阵，det()表示求行列式。

3)根据像素q属于感兴趣区域的概率prob_roi(q)和属于非感兴趣区域的概率prob_non-roi(q)确定该像素为感兴趣像素的概率prob(q)。根据一种实施例，采用以下公式计算prob(q)：

$prob\left(q\right)=\frac{{\mathrm{prob}}_{roi}\left(q\right)}{{\mathrm{prob}}_{roi}\left(q\right)+{\mathrm{prob}}_{non-roi}\left(q\right)}---\left(5\right)$

2、计算图像中每一对相邻像素的相似度sim(p，q)

相邻像素，即在图像中位置相邻的像素。根据一种实施例，一个像素的相邻像素为在上、下、左、右、左上、左下、右上、右下八个方向上距离该像素最近的像素。如图4所示，像素1-4，6-9八个像素均为像素5的相邻像素。当然，在另外的实施例中，也可以对相邻像素设置其他的定义，例如，将一个像素的相邻像素定义为仅在上、下、左、右四个方向上距离该像素最近的像素，这时，参考图4，像素5的相邻像素为像素2、4、6、8。

根据一种实施例，采用以下公式计算sim(p，q)：

$sim(p,q)=\exp (-\frac{\left|\right|color\left(p\right)-color\left(q\right)|{|}_2^2}{{\mathrm{\σ}}^2})---\left(6\right)$

其中，sim(p,q)表示像素p和像素q的颜色相似度，color(p)为像素p的颜色向量，color(q)为像素q的颜色向量，颜色向量通常为3维，例如，color(p)＝[R值，G值，B值]，‖‖₂表示求二范数，δ²为图像中所有像素的颜色向量的方差。

3、确定图像中每一个像素的标签值

标签值用于标记像素是感兴趣像素还是非感兴趣像素。根据一种实施例，标签值的取值为0或1，像素的标签为0表示该像素为非感兴趣像素，像素的标签为1表示该像素为感兴趣像素。将标签为1的像素与标签为0的像素分离开来，即实现了图像的分割。

根据一种实施例，求解图像中每个像素的标签值相当于采用graphcut算法最小化以下优化问题：

$E\left(label\right)=\underset{q\∈Pixels}{\Σ}{\left(label\right(q)-prob(q\left)\right)}^2+\mathrm{\λ}\underset{p,q\∈Neighbors}{\Σ}sim(p,q)*T\left(label\right(p)\≠label(q\left)\right)---\left(7\right)$

其中，E(label)为能量函数，Pixels为图像中所有像素的集合，label(q)为像素q的标签值，prob(q)表示像素q为感兴趣像素的概率，Neighbors为图像中相邻像素对的集合，sim(p,q)表示像素p和像素q的颜色相似度，T()为判断函数，当判断条件为真时函数值为1，当判断条件为假时函数值为0，λ为影响因子，λ≥0。

在式(7)中，E(label)由两个和项组成。最小化第一项意为“像素q为感兴趣像素的概率prob(q)越大，则该像素p最终被分割为感兴趣像素(即label(q)＝1)的可能性越大”；最小化第二项意为“两个像素p，q的相似度越高，则像素p，q被分为相同类别(即label(p)＝label(q))的可能性越大”。综合考虑第一项和第二项，最小化E(label)的值，即得出图像中每个像素的标签值。

应当指出，除了式(7)所示的graphcut算法之外，也可以采用其他的算法来确定图像中各像素的标签值，只要其满足上述的“像素q为感兴趣像素的概率prob(q)越大，则该像素p最终被分割为感兴趣像素(即label(q)＝1)的可能性越大”和“两个像素p，q的相似度越高，则像素p，q被分为相同类别(即label(p)＝label(q))的可能性越大”两个条件即可。从数学角度来看，以上问题相当于在一个以像素为顶点的马尔科夫随机场中，对某个能量函数的离散优化问题。求解该问题有成熟的算法，例如maxflow/mincut，total-variationminimization，等等。

在分割模块250确定了图像中每一个像素的标签值后，即可以视为已完成图像的分割。但是，这时候的分割边缘往往不够平滑。因此，根据一种实施例，图像分割应用200还包括优化模块260(图2中未示出)，适于在分割模块250确定了各像素的标签值后，采用alpha matting算法优化分割边缘，即对分割边缘进行平滑处理，使得分割出来的感兴趣区域更加自然，准确度更高。

根据一种实施例，在优化模块260完成了对分割边缘的平滑处理后，由记录模块270(图2中未示出)来记录当前的分割状态。完成当前分割状态的记录之后，本次图像分割过程结束。用户可以在本次图像分割结果的基础上，继续(通过用鼠标或手指在图像上添加新的划线的方式)选定感兴趣区域以及非感兴趣区域，以得到更精确的分割结果；也可以撤销、重做。用户可以不断对图像分割结果进行修正、撤销和重做，直到得到令其满意的图像分割结果为止。

图5示出了根据本发明一个实施例的图像分割方法500的流程图。如图5所示，该方法始于步骤S510。

在步骤S510中，载入待分割的图像。根据一种实施例，在载入图像之前，判断图像的尺寸是否大于等于阈值，若是，则先将图像的尺寸进行缩小再载入图像，以节约后续图像分割过程的计算时间。

随后，在步骤S520中，采集图像中每一个像素的特征向量。根据一种实施例，像素的特征向量包括但不限于以下信息：像素的行号、列号、RGB值和纹理信息。对于一个包含n个像素信息的特征向量，其维数为n。例如，若像素的特征向量＝[行号，列号，R值，G值，B值]，则特征向量的维数为5。

随后，在步骤S530中，接收用户对于感兴趣区域和非感兴趣区域的选定。根据一种实施例，用户可以通过用鼠标或手指在图像上滑动的方式来分别选定感兴趣区域以及非感兴趣区域。

应当指出，图5中示出的步骤S520和步骤S530的执行顺序仅是示例性的，在其他的实施例中，也可以先执行步骤S530再执行步骤S520，或者同时执行步骤S520和S530。

随后，在步骤S540中，将感兴趣区域中的像素聚为第一数量的感兴趣类，并确定每个感兴趣类的类信息；将非感兴趣区域中的像素聚为第二数量的非感兴趣类，并确定每个非感兴趣类的类信息。根据一种实施例，采用kmeans聚类算法来将感兴趣区域的像素聚为第一数量个感兴趣类，并确定每个感兴趣类的类信息；将非感兴趣区域的像素聚为第二数量个非感兴趣类，并确定每个非感兴趣类的类信息。其中，类信息包括类中心、协方差矩阵、以及该类中所包括的像素量占图像中总像素量的比例。第一数量和第二数量的取值均为1-20之间的整数。

随后，在步骤S550中，对于图像中的每一个像素，确定该像素为感兴趣像素的概率。根据一种实施例，像素q为感兴趣像素的概率prob(q)的计算方法可以采用前述公式(1)-(5)，此处不再赘述。

随后，在步骤S560中，计算图像中每一对相邻像素的颜色相似度。根据一种实施例，颜色相似度的计算方法可以采用前述公式(6)，此处不再赘述。

随后，在步骤S570中，确定图像中每个像素的标签值。根据一种实施例，标签值的确定方法可以参考前述公式(7)，此处不再赘述。

A6：A1所述的图像分割方法，其中，所述类信息包括：类中心、协方差矩阵、该类中所包括的像素量占图像中总像素量的比例。

A7：A6所述的图像分割方法，其中，像素为感兴趣像素的概率按照以下步骤确定：根据像素的特征向量和感兴趣类的类信息确定该像素属于感兴趣区域的概率prob_roi(q)，其中，q表示图像中的某一个像素；根据像素的特征向量和非感兴趣类的类信息确定该像素属于非感兴趣区域的概率prob_non-roi(q)；根据像素属于感兴趣区域的概率prob_roi(q)和属于非感兴趣区域的概率prob_non-roi(q)确定该像素为感兴趣像素的概率prob(q)。

A8：A7所述的图像分割方法，其中，像素属于感兴趣区域的概率prob_roi(q)按照以下公式计算：

${\mathrm{prob}}_{roi}\left(q\right)=\underset{i=1}{\overset{k_1}{\Σ}}\left(s_1\left(i\right)*\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_1\right(i))}}\exp \left(-\frac{1}{2}{\left(q-o_1\left(i\right)\right)}^T{C}_1{\left(i\right)}^{-1}\left(q-o_1\left(i\right)\right)\right)\right)\right)$

其中，k₁为所述第一数量，s₁(i)为第i个感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，n为特征向量的维数，o₁(i)为第i个感兴趣类的类中心，C₁(i)为第i个感兴趣类的协方差矩阵，det()表示求行列式；

像素属于非感兴趣区域的概率prob_non-roi(q)按照以下公式计算：

${\mathrm{prob}}_{non-roi}\left(q\right)=\underset{i=1}{\overset{k_2}{\Σ}}\left(s_2\left(i\right)*\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_2\right(i))}}\exp \left(-\frac{1}{2}{\left(q-o_2\left(i\right)\right)}^T{C}_2{\left(i\right)}^{-1}\left(q-o_2\left(i\right)\right)\right)\right)\right)$

其中，k2为所述第二数量，s₂(i)为第i个非感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，n为特征向量的维数，o₂(i)为第i个非感兴趣类的类中心，C₂(i)为第i个非感兴趣类的协方差矩阵，det()表示求行列式；

像素为感兴趣像素的概率prob(q)按照以下公式计算：

$prob\left(q\right)=\frac{{\mathrm{prob}}_{roi}\left(q\right)}{{\mathrm{prob}}_{roi}\left(q\right)+{\mathrm{prob}}_{non-roi}\left(q\right)}$

A9：A1所述的图像分割方法，其中，相邻像素的颜色相似度按照以下公式计算：

$sim(p,q)=\exp (-\frac{\left|\right|color\left(p\right)-color\left(q\right)|{|}_2^2}{{\mathrm{\σ}}^2})$

其中，sim(p,q)表示像素p和像素q的颜色相似度，color(p)为像素p的颜色向量，color(q)为像素q的颜色向量，‖‖₂表示求二范数，δ²为图像中所有像素的颜色向量的方差。

A10：A1所述的图像分割方法，其中，所述标签值的取值为0或1，当像素的标签值为0时，该像素为非感兴趣像素，当像素的标签值为1时，该像素为感兴趣像素。

A11：A10所述的图像分割方法，其中，图像中每个像素的标签值按照以下步骤确定：

根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度求解以下优化问题：

$E\left(label\right)=\underset{q\∈Pixels}{\Σ}{\left(label\right(q)-prob(q\left)\right)}^2+\mathrm{\λ}\underset{p,q\∈Neighbors}{\Σ}sim(p,q)*T\left(label\right(p)\≠label(q\left)\right)$

其中，E(label)为能量函数，Pixels为图像中所有像素的集合，label(q)为像素q的标签值，prob(q)表示像素q为感兴趣像素的概率，Neighbors为图像中相邻像素对的集合，sim(p,q)表示像素p和像素q的颜色相似度，T()为判断函数，当判断条件为真时函数值为1，当判断条件为假时函数值为0，λ为影响因子，λ≥0；

最小化E(label)的值，得出图像中每个像素的标签值。

A12：A1所述的图像分割方法，其中，在确定了图像中每个像素的标签值之后，还包括步骤：采用alpha matting算法优化分割边缘。

A13：A12所述的图像分割方法，其中，在优化分割边缘之后，还包括：记录当前的分割状态。

B18：B14所述的图像分割应用，其中，所述第一数量和所述第二数量的取值均为1-20之间的整数。

B19：B14所述的图像分割应用，其中，所述类信息包括：类中心、协方差矩阵、该类中所包括的像素量占图像中总像素量的比例。

B20：B19所述的图像分割应用，其中，所述分割模块适于按照以下步骤确定像素为感兴趣像素的概率：

根据像素的特征向量和感兴趣类的类信息确定该像素属于感兴趣区域的概率prob_roi(q)，其中，q表示图像中的某一个像素；

根据像素的特征向量和非感兴趣类的类信息确定该像素属于非感兴趣区域的概率prob_non-roi(q)；

根据像素属于感兴趣区域的概率prob_roi(q)和属于非感兴趣区域的概率prob_non-roi(q)确定该像素为感兴趣像素的概率prob(q)。

B21：B20所述的图像分割应用，其中，所述分割模块进一步适于：

按照以下公式计算像素属于感兴趣区域的概率prob_roi(q)：

${\mathrm{prob}}_{roi}\left(q\right)=\underset{i=1}{\overset{k_1}{\Σ}}\left(s_1\left(i\right)*\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_1\right(i))}}\exp \left(-\frac{1}{2}{\left(q-o_1\left(i\right)\right)}^T{C}_1{\left(i\right)}^{-1}\left(q-o_1\left(i\right)\right)\right)\right)\right)$

其中，k₁为所述第一数量，s₁(i)为第i个感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，n为特征向量的维数，o₁(i)为第i个感兴趣类的类中心，C₁(i)为第i个感兴趣类的协方差矩阵，det()表示求行列式；

按照以下公式计算像素属于非感兴趣区域的概率prob_non-roi(q)：

${\mathrm{prob}}_{non-roi}\left(q\right)=\underset{i=1}{\overset{k_2}{\Σ}}\left(s_2\left(i\right)*\left(\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n\det \left(C_2\right(i))}}\exp \left(-\frac{1}{2}{\left(q-o_2\left(i\right)\right)}^T{C}_2{\left(i\right)}^{-1}\left(q-o_2\left(i\right)\right)\right)\right)\right)$

其中，k2为所述第二数量，s₂(i)为第i个非感兴趣类中所包括的像素量占图像中总像素量的比例，q为像素q的特征向量，n为特征向量的维数，o₂(i)为第i个非感兴趣类的类中心，C₂(i)为第i个非感兴趣类的协方差矩阵，det()表示求行列式；

按照以下公式计算像素为感兴趣像素的概率prob(q)：

$prob\left(q\right)=\frac{{\mathrm{prob}}_{roi}\left(q\right)}{{\mathrm{prob}}_{roi}\left(q\right)+{\mathrm{prob}}_{non-roi}\left(q\right)}$

B22：B14所述的图像分割应用，其中，所述分割模块适于按照以下公式计算相邻像素的颜色相似度：

$sim(p,q)=\exp (-\frac{\left|\right|color\left(p\right)-color\left(q\right)|{|}_2^2}{{\mathrm{\σ}}^2})$

其中，sim(p,q)表示像素p和像素q的颜色相似度，color(p)为像素p的颜色向量，color(q)为像素q的颜色向量，‖‖₂表示求二范数，δ²为图像中所有像素的颜色向量的方差。

B23：B14所述的图像分割应用，其中，所述标签值的取值为0或1，当像素的标签值为0时，该像素为非感兴趣像素，当像素的标签值为1时，该像素为感兴趣像素。

B24：B23所述的图像分割应用，其中，所述分割模块适于按照以下步骤确定图像中每个像素的标签值：

根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度求解以下优化问题：

$E\left(label\right)=\underset{q\∈Pixels}{\Σ}{\left(label\right(q)-prob(q\left)\right)}^2+\mathrm{\λ}\underset{p,q\∈Neighbors}{\Σ}sim(p,q)*T\left(label\right(p)\≠label(q\left)\right)$

其中，E(label)为能量函数，Pixels为图像中所有像素的集合，label(q)为像素q的标签值，prob(q)表示像素q为感兴趣像素的概率，Neighbors为图像中相邻像素对的集合，sim(p,q)表示像素p和像素q的颜色相似度，T()为判断函数，当判断条件为真时函数值为1，当判断条件为假时函数值为0，λ为影响因子，λ≥0；

最小化E(label)的值，得出图像中每个像素的标签值。

B25：B14所述的图像分割应用，其中，还包括：优化模块，适于采用alpha matting算法优化分割边缘。

B26：B14或B25所述的图像分割应用，其中，还包括：记录模块，适于记录当前的分割状态。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种图像分割方法，在计算设备中执行，该方法包括：

载入待分割的图像；

采集图像中每一个像素的特征向量；

接收用户对于感兴趣区域和非感兴趣区域的选定；

根据感兴趣区域中的各像素的特征向量将所述感兴趣区域中的像素聚为第一数量的感兴趣类，并确定每个感兴趣类的类信息；

根据非感兴趣区域中的各像素的特征向量将所述非感兴趣区域中的像素聚为第二数量的非感兴趣类，并确定每个非感兴趣类的类信息；

对于图像中的每一个像素，根据该像素的特征向量、感兴趣类的类信息以及非感兴趣类的类信息确定该像素为感兴趣像素的概率；

计算图像中每一对相邻像素的颜色相似度；

根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度确定图像中每个像素的标签值。

2.如权利要求1所述的图像分割方法，其中，在所述载入待分割的图像的步骤之前，还包括：判断图像的尺寸是否大于等于阈值，若是，则将图像的尺寸进行缩小。

3.如权利要求1所述的图像分割方法，其中，像素的特征向量包括以下信息：像素的行号、列号、RGB值和纹理信息。

4.如权利要求1所述的图像分割方法，其中，将所述感兴趣区域中的像素聚为第一数量的感兴趣类以及将所述非感兴趣区域中的像素聚为第二数量的非感兴趣类的步骤采用kmeans聚类算法。

5.如权利要求1所述的图像分割方法，其中，所述第一数量和所述第二数量的取值均为1-20之间的整数。

6.一种图像分割应用，驻留于计算设备中，该应用包括：

载入模块，适于载入待分割的图像；

信息采集模块，适于采集图像中每一个像素的特征向量；

交互模块，适于接收用户对于感兴趣区域和非感兴趣区域的选定；

聚类模块，适于根据感兴趣区域中的各像素的特征向量将所述感兴趣区域中的像素聚为第一数量的感兴趣类，并确定每个感兴趣类的类信息；以及根据非感兴趣区域中的各像素的特征向量将所述非感兴趣区域中的像素聚为第二数量的非感兴趣类，并确定每个非感兴趣类的类信息；

分割模块，适于对图像中的每一个像素，根据该像素的特征向量、感兴趣类的类信息以及非感兴趣类的类信息确定该像素为感兴趣像素的概率；计算图像中每一对相邻像素的颜色相似度；以及根据图像中每个像素为感兴趣像素的概率和每一对相邻像素的颜色相似度确定图像中每个像素的标签值。

7.如权利要求6所述的图像分割应用，其中，所述载入模块还适于：判断图像的尺寸是否大于等于阈值，若是，则将图像的尺寸进行缩小。

8.如权利要求6所述的图像分割应用，其中，像素的特征向量包括以下信息：像素的行号、列号、RGB值和纹理信息。

9.如权利要求6所述的图像分割应用，其中，所述聚类模块适于采用kmeans聚类算法将所述感兴趣区域中的像素聚为第一数量的感兴趣类以及将所述非感兴趣区域中的像素聚为第二数量的非感兴趣类。

10.一种计算设备，包括如权利要求6-9中任一项所述的图像分割应用。