CN103020971A - 从图像中自动分割目标对象的方法 - Google Patents

Abstract

本发明涉及从图像中自动分割目标对象的方法和系统，方法包括：步骤1，提取含有目标对象的图像，以提取的图像作为后续处理的对象，并对提取出的图像进行归一化；步骤2，对于训练集中标定目标对象的图像，根据各图像中标记的目标对象像素点得出位置先验模型，并提取特征，进行目标对象和非目标对象SVM分类器的学习；步骤3，依据位置先验模型和SVM分类器从待分割的图像中选择目标对象种子和背景种子；步骤4，从目标对象种子区域和背景种子区域中提取特征，并进行SVM分类器的在线学习；步骤5，依据对应于待分割图像的目标对象和非目标对象SVM分类器和位置先验模型进行目标对象分割。本发明能够提高目标对象分割准确性。

Description

从图像中自动分割目标对象的方法

技术领域

本发明涉及目标对象分割领域，尤其涉及从图像中自动分割目标对象的方法。

背景技术

图像处理技术是一个跨学科的领域。随着计算机科学技术的不断发展，图像处理和分析逐渐形成了自己的科学体系，新的处理方法层出不穷，尽管其发展历史不长，但却引起各方面人士的广泛关注。首先，视觉是人类最重要的感知手段，图像又是视觉的基础，因此，数字图像成为心理学、生理学、计算机科学等诸多领域内的学者们研究视觉感知的有效工具。其次，图像处理在军事、遥感、气象等大型应用中有不断增长的需求。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。尽管人们在图像分割方面做了许多研究工作。但由于尚无通用分割理论，因此现已提出的分割算法大都是针对具体问题的，并没有一种适合于所有图像的通用的分割方法。SVM(Support Vector Machine，支持向量机)是Cortes和Vapnik首先提出的。SVM通过某种事先选择的非线性映射将输入向量映射到一个高维特征空间中，并在此高维特征空间中构造最大边缘间隔的分类超平面，它在解决小样本、非线性及高维模式识别中表现出特有的优势。

发明内容

为解决上述问题，本发明提供了从图像中自动分割目标对象的方法，能够提高目标对象分割准确性。

本发明公开了一种从图像中自动分割目标对象的方法，包括：

步骤1，提取含有目标对象的图像，以提取的图像作为后续处理的对象，并对提取出的图像进行归一化；

步骤2，根据各个图像中标记的目标对象像素点计算位置先验概率，组成位置先验模型，所述位置先验模型包含各个像素位于目标对象区域中的位置先验概率，并对于训练集中已标记目标对象点的图像提取特征，进行通用的目标对象和非目标对象SVM分类器的学习；

步骤3，依据所述位置先验模型和SVM分类器从待分割的图像的图像中选择目标对象种子和背景种子；

步骤4，从所述目标对象种子区域和背景种子区域中提取特征，并进行SVM分类器的在线学习；

步骤5，依据所述对应于待分割的图像的目标对象和非目标对象SVM分类器和所述位置先验模型对所述待分割的图像进行目标对象分割。

所述步骤1中归一化包括对图像进行旋转、平移、缩放操作。

所述步骤2包括：

步骤31，统计训练集中的图片的数量；

步骤32，对于每个像素，根据图像中标记的目标对象像素点统计所述像素位于目标对象区域中的次数，将所述像素位于目标对象区域中的次数除以所述图片的数量，所得商为所述像素的位于目标对象区域中的概率；

步骤33，各个像素的位于目标对象区域中的概率组成位置先验模型。

所述步骤2还包括：

步骤41，针对训练集中的图片，根据图像检测的结果，在图像中分割出目标对象的边缘；

步骤42，沿着该边缘向外扩展多个像素的距离，得到一个环状区域；

步骤43，从图像的特征点位置，向外均匀画多条射线；

步骤44,，针对所述射线和所述环状区域的交集中的每个像素点，根据标记的目标对象像素点统计作为目标对象像素出现的频次，求出每个像素点的作为目标对象像素出现的概率，作为所述位置先验模型。

所述步骤3包括：

步骤51，对待分割图像的图像进行区域划分；

步骤52，以区域内各个像素的位置先验概率的平均值为所述区域的位置先验概率；

步骤53，SVM分类器根据区域的特征的平均值判断所述区域是否为目标对象区域；

步骤54，根据判断结果和区域的位置先验概率从区域中选择作为目标对象种子的区域和作为背景种子的区域。

所述步骤54包括：

步骤61，通过贝叶斯方法将所述SVM分类器的判断和目标对象位置先验概率结合，得到所述区域的贝叶斯后验概率；

步骤62，依据所述区域的贝叶斯后验概率从区域中选择作为目标对象种子的区域和作为背景种子的区域。

所述步骤5包括：

步骤71，通过贝叶斯方法将对应于SVM分类器输出概率和位置先验模型中目标对象发生的位置先验概率融合，生成待分割图像的贝叶斯概率；

步骤72，以所述贝叶斯概率作为Graph Cuts分割法的输入，应用Graph Cuts分割法完成目标对象分割。

本发明的有益效果在于，提供了一种通用的图像分割方法，该分割方法分割非常准确。根据目标对象和非目标对象SVM分类器选择目标对象种子和背景种子，再通过目标对象种子和背景种子完成对应于待分割的图像的目标对象和非目标对象SVM分类器的学习，应用待分割的图像的目标对象和非目标对象SVM分类器进行目标对象分割，能够提高目标对象分割准确性；基于SVM和Graph Cuts的自动目标对象分割方法，利用可靠种子区域，学习鲁棒的SVM分类器，用以类别评分，充分利用目标对象和非目标对象的判别信息，而且比统计模型更容易融入较多的特征信息，受维数的限制更少；SVM输出每类的概率和位置先验概率一起将作为Graph Cuts的边的权重输入，使得Graph Cuts产生的结果更精确。

附图说明

图1为本发明的从图像中自动分割目标对象的方法流程图；

具体实施方式

下面结合附图，对本发明做进一步的详细描述。

如图1所示，本发明的从图像中自动分割目标对象的方法包括如下步骤。

步骤S100，通过图像检测和特征定位算法从训练集中的图像和待分割的图像中提取含有目标对象的图像，以提取的图像作为后续处理的对象，并对提取出的图像进行归一化。

提取和归一化过程被称为预处理过程。

带目标对象的原始图像一般不能直接使用，因其在原始图像中图像未必归正，难以利用目标对象出现的先验信息。为了提高目标对象种子的选择准确度，在目标对象分割前首先要将目标对象区域从原始图像中提取出来。

图像检测和特征定位算法为现有技术，在一个具体实施例中采用名为AdaBoost的图像检测和特征定位算法。然后对裁剪出来的图像区域做预处理。一种典型的预处理方法是归一化处理。

由于在目标对象分割时，通常是将待分割的目标对象图像与一个作为比较对象的标准目标对象图像做比较，归一化的目的就是使做比较的图像大小基本相同，特征点对齐，从而可以利用周围像素点相对于出现目标对象的先验概率。

以处理对象为准正面图像为例。归一化包括对图像进行如下操作中的一种或多种操作，所述操作包括旋转、平移、缩放。图像图像做归一化处理前、后的实例图像。在一实施例中归一化处理后的图像图像的行数为h，列数为w。

步骤S200，对于训练集中图像的图像部分，根据各个图像中标记的目标对象像素点计算位置先验概率，位置先验概率组成位置先验概率模型，所述位置先验模型包含各个像素位于目标对象区域中的位置先验概率，并对于训练集中已标记目标对象点的图像提取特征，进行通用的目标对象和非目标对象SVM分类器的学习。

根据各个图像中标记的目标对象像素点得出位置先验模型的实施例一如下所述。

为统计训练集中的图片的数量；对于图像的每个像素，根据图像中标记的目标对象像素点统计所述像素位于目标对象区域中的次数；对于每个像素，将所述像素位于目标对象区域中的次数除以所述图片的数量，所得商为所述像素的位于目标对象区域中的概率；各个像素的位于目标对象区域中的概率组成位置先验模型。

例如，训练集中的图片总数是nTotal，统计归一化图像中，每个像素位置出现目标对象的频次为nFreq，则该像素点出现目标对象的先验概率为p=nFreq/nTotal。通过上述方法，本领域的普通技术人员可以实现对目标对象出现的位置先验概率进行统计，得到h×w的概率矩阵，该概率矩阵作为位置先验模型。

根据各个图像中标记的目标对象像素点得出位置先验模型的实施例二如下所述。

针对训练集中的图片，根据图像检测的结果，在图像中分割出目标对象的边缘。沿着该边缘向外扩展多个像素的距离，得到一个环状区域；从图像的某个特征点位置的中心点，向外均匀画多条射线。针对所述射线和所述环状区域的交集中的每个像素点，根据标记的目标对象像素点统计作为目标对象像素出现的频次，求出每个像素点的作为目标对象像素出现的概率，作为位置先验模型。

肤色分割的具体过程为，首先根据图像检测的结果，在图像检测框内做k-means聚类，将样本最多的类视为区域；然后利用该区域作为模型的训练样本，训练统计模型；最后根据该统计模型的均值、方差限定值域范围。

具体地，从中心点周围均匀画12条射线，相邻射线夹角30度，每条射线和环状区域交点有5个，那么将得到一个60维的概率数组，作为目标对象的位置先验模型。

目标对象和非目标对象SVM分类器用以区分目标对象和非目标对象像素点，

可以采用多种特征，此处以RGB颜色特征为例，针对训练集中图像的图像中已经标定好的目标对象区域和非目标对象区域完成目标对象和非目标对象SVM分类器的学习。实施例中采用现有技术中LibSVM的工具包，并采用了RBF核函数，进行目标对象和非目标对象SVM分类器的学习。通过上述方法，本领域的普通技术人员可以实现对目标对象/非目标对象两类问题的SVM分类器学习。

SVM针对线性可分的情况进行分析，对于线性不可分的情况，通过非线性映射到高维空间中，进行线性分析，寻找最优分类面。假设给定了学习样本(x_i,y_i)，x_i∈Rⁿ，y_j∈{-1，1}为类别标号，i=1，...，l，SVM将求解下列优化问题：

$\underset{w,b,\mathrm{\ξ}}{\min }\frac{1}{2}{w}^{T}w+C\underset{i}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i,$

其中，

y_i(w^Tφ(x_i)+b)≥1-ξ_i,ξ_i≥0

w是分类超平面的法向量，ξ_i是错误率，b是阈值权，φ(x_i)是从低维空间到高维空间的映射函数。

其中，学习样本向量x_i通过函数φ映射到高维空间中。SVM在此高维空间中寻找有最大边界间隔的线性分类超平面。C>0是对误差项的惩罚参数。

K(x_i，x_j)=φ(x_i)^Tφ(x_j)称作核函数，比较基本的核函数有线性核，多项式核，径向基核函数（radial basis fuction，RBF），sigmoid核函数。本例中采用RBF核函数：

K(x_i，x_j)=exp(-γ||x_i-x_j||²)，γ>0

γ为可调参数，和训练误差相关。

最终得到的SVM分类函数是：

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_{i}K(x\·x_i)+b^{*})$

其中，0≤α_i≤C，常数C为训练过程中边界间隔最大化和训练误差最小化之间的平衡因子，对应于α_i的训练样本x_i为支持向量（support vector，SV）。

在本系统中，输入的样本x_i即为特征向量，比如颜色RGB三维组成的特征向量。分类函数具体参数的训练方法可以直接使用http://www.csie.ntu.edu.tw/～cjlin/libsvm提供的软件包。

步骤S300，依据所述位置先验模型和所述目标对象和非目标对象SVM分类器的输出从待分割的图像和目标对象部分的图像中选择目标对象种子和背景种子。

实施例一

步骤S310，对待分割图像的图像进行区域划分。

对待分割的图像进行区域分割，从分割的区域中选择目标对象种子区域和背景种子区域。

本例中首先采用名为Mean Shift的方法对步骤S100得到的预处理的图像进行过分割，图像中的每个像素点都会有一个区域的标号。后端的处理将把一个区域当做一个整体进行种子选择和目标对象分割。

步骤S320，以区域内各个像素的位置先验概率的平均值为所述区域的位置先验概率。

步骤S330，由所述目标对象和非目标对象SVM分类器根据所述区域的特征的平均值判断所述区域是否为目标对象区域。

步骤S340，根据所述目标对象和非目标对象SVM分类器的判断结果和区域的位置先验概率从区域中选择作为目标对象种子的区域和作为背景种子的区域。

通过贝叶斯方法将所述目标对象和非目标对象SVM分类器的判断和目标对象位置先验概率结合，得到所述区域的贝叶斯后验概率；依据所述区域的贝叶斯后验概率从区域中选择作为目标对象种子的区域和作为背景种子的区域。

具体的，针对每个区域，建立结合目标对象位置先验模型和目标对象和非目标对象SVM分类器输出概率的贝叶斯模型。

对每一区域，表示为R；通过贝叶斯方法计算目标对象像素点的后验概率。

$P\left(S\right|f\left(R\right))=\frac{P\left(f\left(R\right)\right|S)P\left(S\right)}{P\left(f\left(R\right)\right)}$

f(R)表示区域R的特征，P(f(R)|S)表示特征为f(R)的区域属于目标对象的条件概率，此处即采用步骤S200训练得到的SVM分类器，若区域R被SVM判别为目标对象区域，那么该概率设为1，否则设为0；P(S)为位置先验概率，也就是区域R内每个像素点位置出现目标对象的概率的平均值。P(f(R))则表示目标对象特征出现的先验概率，此处设概率对所有区域均一样，故对结果无影响。

其中，每个区域的位置先验概率用该区域内每个点的位置先验概率的平均值来表示；该区域的RGB颜色值也是区域内每个点的平均RGB值，因此SVM是以每个区域的RGB平均值作为输入，依据其判别函数，判别该区域是否目标对象类别。区域的特征向量，可以采用区域内所有像素特征的统计值，本例中采用平均值。采用贝叶斯方法将SVM输出概率和目标对象位置先验概率结合，得到贝叶斯后验概率。

根据所有区域的贝叶斯后验概率进行排序，概率高的作为目标对象种子区域，概率低的作为背景种子区域。具体选择过程为将区域依据贝叶斯后验概率由高到低进行排序；对区域序列，从第一个区域，向后依次选择区域，至所选区域的像素总数超过n，同样的方法，从序列的最后一个区域，向前依次选择区域，至所选区域的像素总数超过m，n和m分别为预设数值。或者，选择贝叶斯后验概率大于第一预设阀值的区域为目标对象种子区域；选择贝叶斯后验概率小于第二预设阀值的区域为背景种子区域。

实施例二

对待分割的图像的像素中选择目标对象种子和背景种子。

步骤S310’，由所述目标对象和非目标对象SVM分类器根据各个像素的的特征的值判断所述像素是否在目标对象区域。

步骤S320’，根据各个像素的目标对象和非目标对象SVM分类器的判断结果和位置先验概率从待分割图像的图像的像素中选择作为目标对象种子的像素和作为背景种子的像素。

通过贝叶斯方法将像素的所述目标对象和非目标对象SVM分类器的判断和目标对象位置先验概率结合，得到像素的贝叶斯后验概率；依据像素的贝叶斯后验概率从像素中选择作为目标对象种子的像素和作为背景种子的像素。

步骤S400，从所述目标对象种子区域和背景种子区域中提取特征，依据所述特征完成对应于待分割的图像的目标对象和非目标对象SVM分类器的在线学习。

此处的目标对象特征，以RGB颜色特征为例，在实际中，可以根据具体应用，融合其它特征，比如梯度、纹理等，特征维数将随之增多。由于选择到的背景种子点往往远多于目标对象种子点数，SVM分类器的两类样本数目失调，本例中采用随机选取的方法，从背景种子点中选取和目标对象点相同数目的像素，用以训练对应于待分割图像的目标对象和非目标对象SVM分类器，学习方法同步骤S200，不同的是，训练样本采用当前已经选择的目标对象种子和背景种子。

步骤S500，依据所述对应于待分割的图像的目标对象和非目标对象SVM分类器和所述位置先验模型对所述待分割的图像进行目标对象分割。

将对应于待分割的图像的目标对象和非目标对象SVM分类器输出概率和位置先验模型中目标对象发生的位置先验概率融合，作为Graph Cuts分割法的输入，应用Graph Cuts分割法完成目标对象分割。

实施例一中，采用mean shift方法将待分割图像的图像进行区域划分，Graph Cuts分割法是针对划分的区域级进行。

利用对应于待分割的图像的目标对象和非目标对象SVM分类器，对当前待分割图像中除目标对象种子的区域和背景种子的区域以外的区域打分，即得到每个区域被分类为目标对象的概率。

实施例中将采用贝叶斯方法将对应于待分割图像的目标对象和非目标对象SVM分类器的输出概率和目标对象发生的位置先验概率融合，亮度越大的地方，属于目标对象的概率越大。

采用的特征为区域内所有像素点的颜色平均值。在具体应用中可以但不限于只采用颜色信息，比如可以加入纹理等信息，采用不同的特征，区域的特征表示也会有所不同。此处以颜色特征说明能量函数的设置。下面的公式为对Graph Cuts分割法的具体说明。

E(A)=λ·R(A)+B(A)，

其中，

$B\left(A\right)=\underset{\{R_p,R_q\}\∈\mathrm{Neighbors}}{\mathrm{\Σ}}B(R_p,R_q)\·\mathrm{\δ}(A_p,A_q),$

$\mathrm{\δ}(A_p,A_q)=\left\{\begin{array}{c}1,\mathrm{if}{A}_p\≠A_q\\ 0,\mathrm{otherwise}\end{array}\right.,$

$B(R_p,R_q)\∝\exp (-\frac{{\left|\right|f\left(R_p\right)-f\left(R_q\right)\left|\right|}^2}{{2\mathrm{\σ}}^2})\·\frac{1}{\mathrm{Dist}(R_p,R_q)},$

其中A表示所有区域的标号组成的矢量，A_k表示第k个区域R_k的标号（目标对象或者背景），f(R_k)表示区域R_k的特征矢量，P(f(R_k)|A_k)表示区域R_k被SVM分类为A_k（目标对象或者背景）的概率，而P(A_k)则为区域中R_k所有像素的位置先验概率平均值。

本发明提出基于SVM和Graph Cuts的自动目标对象分割方法，利用SVM分类能力，对目标对象种子和背景种子建立判别式模型，而后将输出概率和目标对象位置先验概率结合，输入到Graph Cuts进行准确地目标对象分割。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

Claims (7)

1.一种从图像中自动分割目标对象的方法，其特征在于，包括：

步骤1，提取含有目标对象的图像，以提取的图像作为后续处理的对象，并对提取出的图像进行归一化；

步骤2，根据各个图像中标记的目标对象像素点计算位置先验概率，组成位置先验模型，所述位置先验模型包含各个像素位于目标对象区域中的位置先验概率，并对于训练集中已标记目标对象点的图像提取特征，进行SVM分类器的学习；

步骤3，依据所述位置先验模型和所述SVM分类器从待分割的图像的图像中选择目标对象种子和背景种子；

步骤4，从所述目标对象种子区域和背景种子区域中提取特征，并进行SVM分类器的在线学习；

步骤5，依据所述对应于待分割的图像的目标对象和非目标对象SVM分类器和所述位置先验模型对所述待分割的图像进行目标对象分割。

2.如权利要求1所述的从图像中自动分割目标对象的方法，其特征在于，

所述步骤1中归一化包括对图像进行旋转、平移操作。

3.如权利要求1所述的从图像中自动分割目标对象的方法，其特征在于，

所述步骤2包括：

步骤31，统计训练集中的图片的数量；

步骤32，对于每个像素，根据图像中标记的目标对象像素点统计所述像素位于目标对象区域中的次数，

将所述像素位于目标对象区域中的次数除以所述图片的数量，所得商为所述像素的位于目标对象区域中的概率；

步骤33，各个像素的位于目标对象区域中的概率组成位置先验模型。

4.如权利要求1所述的从图像中自动分割目标对象的方法，其特征在于，

所述步骤2还包括：

步骤41，针对训练集中的图片，根据图像检测的结果，在图像中分割出目标对象的边缘；

步骤42，沿着该边缘向外扩展多个像素的距离，得到一个环状区域；

步骤43，从图像的特征点位置，向外均匀画多条射线；

步骤44，，针对所述射线和所述环状区域的交集中的每个像素点，根据标记的目标对象像素点统计作为目标对象像素出现的频次，求出每个像素点的作为目标对象像素出现的概率，各个像素点的概率组成所述位置先验模型。

5.如权利要求1所述的从图像中自动分割目标对象的方法，其特征在于，

所述步骤3包括：

步骤51，对待分割图像的图像进行区域划分；

步骤52，以区域内各个像素的位置先验概率的平均值为所述区域的位置先验概率；

步骤53，SVM分类器根据区域的特征的平均值判断所述区域是否为目标对象区域；

步骤54，根据判断结果和区域的位置先验概率从区域中选择作为目标对象种子的区域和作为背景种子的区域。

6.如权利要求5所述的从图像中自动分割目标对象的方法，其特征在于，

所述步骤54包括：

步骤61，通过贝叶斯方法将所述SVM分类器的判断和目标对象位置先验概率结合，得到所述区域的贝叶斯后验概率；

步骤62，依据所述区域的贝叶斯后验概率从区域中选择作为目标对象种子的区域和作为背景种子的区域。

7.如权利要求1所述的从图像中自动分割目标对象的方法，其特征在于，

所述步骤5包括：

步骤71，通过贝叶斯方法将对应于SVM分类器输出概率和位置先验模型中目标对象发生的位置先验概率融合，生成待分割图像的贝叶斯概率；

步骤72，以所述贝叶斯概率作为Graph Cuts分割法的输入，应用Graph Cuts分割法完成目标对象分割。

Images