CN101425182B - 一种图像对象分割方法 - Google Patents

Abstract

一种图像对象分割方法，属于图像数据处理方法，解决现有分割方法只考虑颜色信息、过分割现象较严重或者光照不均时难于分割成一个整体区域的问题；本发明包括：(1)建立双尺度空间步骤；(2)粗分割步骤；(3)区域合并步骤；(4)对象分割步骤。本发明有效解决了图像分割中当同质区域光照不均出现空间颜色变化时，难于分割成整体区域的问题；通过最小化代价函数的方法自动停止区域合并，提高了算法的鲁棒性；分割结果符合人类视觉感知特性，可以用于基于图像对象的检索和分析，大大提高了分割技术的可用性。

Description

一种图像对象分割方法

技术领域

本发明属于图像数据处理方法，具体涉及一种符合人类视觉感知的图像对象分割方法。

背景技术

图像分割是将图像划分成若干具有特征一致性且互不重叠的图像区域的过程。理想的图像分割能抽取出和真实世界对应的“图像对象”，从而使更高层的图像理解成为可能。目前较新且效果较好的图像分割方法主要有以均值漂移(MeanShift)为代表的基于像素的特征空间聚类，(参见文献：Comanicu D，Meer P.Mean shift：A robust approach toward feature space analysis.IEEE Trans on Patten Analysis and Machine Intelligence，2002，24(5)：603-619)和以联合系统工程组(Joint System Engineering Group)为代表的基于区域同质性的分裂-合并方法，(参见文献：Deng Y N，Manjunath B S.Unsupervised segmentation of color-texture regions in images and video.IEEE Trans on Pattern Analysis and Machine Intelligence，2001，23(8)：800-810)。均值漂移通过估计模式空间密度函数的梯度来实现特征空间的颜色聚类，但它只考虑了颜色信息，过分割现象比较严重；联合系统工程组通过色彩量化将图像的色彩限制到一定数目，然后在反映图像区域分布信息的J图上综合颜色和纹理信息进行区域划分，可以取得较好的结果，但是当同质区域由于光照不均出现空间颜色变化时，该算法很难把它们分割成一个整体区域。同时，目前大多数的分割方法都只考虑了底层图像特征的一致性，所以分割得到的结果通常也只是一些底层特征一致的图像区域，并不能直接分割出图像对象。

发明内容：

本发明提出一种图像对象分割方法，解决现有分割方法只考虑颜色信息、过分割现象较严重或者光照不均时难于分割成一个整体区域的问题；其分割结果用于基于图像对象的检索和分析，提高分割技术的可用性。

本发明的一种图像对象分割方法，步骤为：

(1)建立双尺度空间步骤：在非线性尺度空间中，利用总变分流模型得到的迭代方程：

$\left\{\begin{array}{c}{I}^0=I\\ I^k=I^{k-1}+\mathrm{\Δt}\frac{I_{\mathrm{xx}}{I}_y^2-2I_{\mathrm{xy}}{I}_x{I}_y+I_{\mathrm{yy}}{I}_x^2}{{(I_x^2+I_y^2)}^{3/2}}\end{array}\right.$

将一幅图像生成不同尺度的图像序列

式中I^k表示图像序列中尺度为k的图像，I为原图，I_x，I_y为I的一阶偏导，I_xx，I_xy，I_yy为I的二阶偏导，Δt取0.25，抽取原尺度图像I⁰和最大尺度图像I^N作为双尺度空间，其中N为5～10，根据所需要分割对象的尺寸选择；

(2)粗分割步骤：在最大尺度图像I^N上，采用基于八叉树结构的颜色量化方法对图像中各像素进行颜色量化，经过颜色量化后，将I^N的颜色空间从红、绿、蓝RGB颜色空间转到色调、亮度、饱和度HVC颜色空间，在HVC颜色空间中对图像I^N采用C均值聚类方法进行颜色聚类，完成粗分割；

(3)区域合并步骤：将粗分割后的HVC颜色空间图像I^N各区域映射到RGB颜色空间原尺度图像I⁰上，在原尺度图像I⁰上计算粗分割各区域的纹理、颜色信息，并根据它们对粗分割区域进行区域合并；

(4)对象分割步骤：由具体对象的各个组成部分构造对象模型，根据对象模型建立对象区域结构图G_M＝(V_M，E_M)，其中节点集

中元素

分别表示组成对象的各个区域节点，边缘集中元素

分别表示相邻区域的拓扑空间关系和它们面积比的约束值；然后根据对象的显著特征在原尺度图像I⁰上选取区域合并后的一个区域作为对象的种子区域，如果找不到对象的显著特征，则人工选取对象的任意组成部分在区域合并后的对应区域作为对象的种子区域；从种子区域在对象区域结构图中所对应的节点出发，遍历对象区域结构图G_M，根据相邻区域间的拓扑空间关系和面积比的约束值，把对象的其他区域与种子区域合并，完成对象分割。

所述的图像对象分割方法，其特征在于：

所述粗分割步骤中，定义A＝(H₁，V₁，C₁)，B＝(H₂，V₂，C₂)为HVC颜色空间的两种颜色，它们之间的距离D_NBS为：

$D_{\mathrm{NBS}}(A,B)=1.2\×\sqrt{2C_1{C}_2[1-\cos \left(\frac{2\mathrm{\π}}{100}\mathrm{\ΔH}\right)]+\mathrm{\Δ}{C}^2+{\left(4\mathrm{\ΔV}\right)}^2},$

其中，ΔH＝|H₁-H₂|，ΔC＝|C₁-C₂|，ΔV＝|V₁-V₂|；当D_NBS＜6.0时，则认为它们是视觉相似的；采用C均值聚类方法进行颜色聚类的过程为：

(2.1)初始化：颜色量化后I^N的颜色数为L，对每一种颜色C_j构造一个空集合S_j，并且将该颜色作为聚类中心，L≤255，j＝1，2，……L；

(2.2)在HVC颜色空间中，对于图像的每一个像素点，找到一个集合S_j，使得其对应的像素值I_i(H_i，V_i，C_i)到该集合聚类中心C_j的颜色距离

并将I_i添加到集合S_j中，集合S_j中像素点的数目

N(S_j)加1，i＝1，2，……N_T，N_T为图像总的像素数；

(2.3)对每一个集合S_j，修改聚类中心：

(2.4)对每一个集合S_j，如果存在集合S_j′，使得两集合聚类中心的颜色距离

那么合并集合S_j及S_j′，并生成一个新集合S′_j，其聚类中心为

颜色对应的集合数L减1；

(2.5)重复执行过程(2.2)，(2.3)，(2.4)，直到所有的颜色集合都收敛，形成M个区域。

所述的图像对象分割方法，其特征在于：

所述区域合并步骤过程为：

(3.1)建立粗分割后M个区域的邻接关系表，该邻接关系表为M×M的二维矩阵，两个区域邻接，则对应元素置为1，否则置为0；

(3.2)利用Gabor滤波器对原尺度图像I⁰进行Gabor变换得到3个尺度各8个方向共24个纹理特征子带，将粗分割后的图像I^N各区域映射到24个纹理特征子带上，利用24个纹理特征子带的纹理特征计算各个区域的均值μ_k ^z和方差δ_k ^z，构成一个48维的特征向量，作为各区域的纹理特征信息T_z＝{μ₁ ^z，δ₁ ^z，μ₂ ^z，δ₂ ^z，Kμ₂₄ ^z，δ₂₄ ^z}，k＝1～24，z＝1～M；

(3.3)计算每个区域和其邻域的所有区域的纹理距离

和颜色距离

$D_{\mathrm{ab}}^T=\frac{\left|r_a\right|\left|r_b\right|}{\left|r_a\right|\left|r_b\right|}\left|\right|T_a-T_b\left|\right|,$ $D_{\mathrm{ab}}^C=\frac{\left|r_a\right|\left|r_b\right|}{\left|r_a\right|\left|r_b\right|}\left|\right|C_a-C_b\left|\right|,$

分别归一化后，计算区域距离

其中|r_a|，|r_b|分别为区域a和区域b的面积；C_a，C_b分别为区域a和区域b的颜色均值；ω₁，ω₂为权值；Δ_ab表示区域的邻接关系，两个区域相邻，则Δ_ab置为1，否则取+∞；

根据区域距离得到M个区域的距离关系表，该距离关系表为M×M的二维矩阵；

(3.4)合并距离关系表中区域距离最小的两个区域，然后更新区域邻接关系表，根据过程(3.3)计算合并后区域与其邻域的所有区域的的区域距离，更新距离关系表；每进行一次区域合并，计算一次代价函数F并保存，直到最小的区域距离大于0.2，选取对应最小代价函数值的那次合并作为最终合并结果；其中代价函数F定义为：

$F=J_1+\mathrm{\β}{J}_2=\frac{\underset{a\≠b}{\mathrm{\Σ}}{c}_{a,b}}{C}+\mathrm{\β}\frac{\underset{r=1}{\overset{k_l}{\mathrm{\Σ}}}\underset{s=1}{\overset{N_r}{\mathrm{\Σ}}}\left|\right|I_s^r-I_{\mathrm{mean}}^r\left|\right|}{\underset{i=1}{\overset{N_T}{\mathrm{\Σ}}}\left|\right|I_i-I_{\mathrm{mean}}\left|\right|},$

其中，c_a，b是区域a和区域b的公共边长度，

就是图像中区域合并到只剩下k_l个区域时分割线的总长度，C是粗分割后M个区域分割线的总长度；N_r为第r个区域的像素数，r＝1，…k_l；N_T为图像总的像素数；

为第r个区域的第s个像素的颜色值；I_mean为图像中颜色平均值，

为第r个区域的颜色平均值；

用来度量合并后区域的同质性程度，J₂越小则区域的同质性越高；0＜β≤1为相应的惩罚因子。

代价函数的意义在于：从语义对象提取的角度，希望用最少的分割线勾画图像中各个对象的轮廓，但这是以降低区域同质性为代价的。当然希望J1和J2都越小越好，但是随着区域的合并，J₁单调递减而J₂单调递增，两者此消彼长不可能同时达到最小。最小化代价函数的目的就是使对象的完整性J₁和区域的同质性J₂之间达到最佳的平衡。

所述的图像对象分割方法，其特征在于：

所述对象分割步骤中，

(4.1)所述对象区域结构图G_M＝(V_M，E_M)中，节点集

中各个区域节点

相应为对象的各个组成部分；

(4.2)边缘集

中元素

分别表示相邻区域的拓扑空间关系和它们面积比的约束值；所述相邻区域的拓扑空间关系包括：上、下、左、右、包含、相交；相邻区域面积比的约束值由如下方法确定：针对具体对象，选取多幅包含该对象的图像，手工分割出该对象的各个组成部分在图像中的区域，然后分别计算各个相邻区域的面积比值，根据其中的最小值和最大值确定相邻区域面积比约束值的范围；

(4.3)所述对象的显著特征是指待分割对象的某个组成部分在不同尺度和光照条件下不变的且能用Hough平行线检测、Hough圆检测、矩形度度量或者不变矩度量描述的几何特征。

本发明通过模拟人类视觉感知特性，在双尺度空间进行图像分割，有效地解决了图像分割中当同质区域由于光照不均出现空间颜色变化时，很难把它们分割成一个整体区域的难题；在区域合并过程中，为了避免过合并现象，通过最小化代价函数的方法来自动停止区域合并，提高了算法的鲁棒性；以空间拓扑结构构造对象模型作为对象的先验知识，完成图像对象分割，其分割结果可以用于基于图像对象的检索和分析，大大提高了分割技术的可用性。

附图说明

图1是本发明的流程图；

图2(a)是汽车对象模型图；

图2(b)是人像对象模型图；

图3(a)是包括汽车对象原图；

图3(b)是尺度6的图像；

图3(c)是粗分割结果；

图3(d)是区域合并结果；

图3(e)是车轮检测结果；

图3(f)是汽车对象的种子区域；

图3(g)是汽车提取结果

图4(a)是包括人像对象的原图；

图4(b)是区域合并结果；

图4(c)是人脸检测结果；

图4(d)是人像提取结果；

图5(a)是包括动物对象的原图；

图5(b)是动物对象分割结果。

具体实施方式

实施例1：汽车对象分割。

1、建立双尺度空间

在非线性尺度空间中，利用总变分流(TVF)模型得到的迭代方程：

$\left\{\begin{array}{c}{I}^0=I\\ I^k=I^{k-1}+\mathrm{\Δt}\frac{I_{\mathrm{xx}}{I}_y^2-2I_{\mathrm{xy}}{I}_x{I}_y+I_{\mathrm{yy}}{I}_x^2}{{(I_x^2+I_y^2)}^{3/2}}\end{array}\right.$

由迭代方程将图3(a)生成7个尺度的图像序列

从中抽取I⁰(图3(a))和I⁶(图3(b))作为双尺度空间。

2、粗分割：颜色量化和基于视觉一致性的颜色聚类

采用基于八叉树结构的颜色量化方法对图3(b)进行颜色量化，颜色量化后图像的颜色数L＝200，然后把颜色空间从RGB颜色空间转到HVC颜色空间，将这200种颜色作为初始聚类中心，采用C均值聚类方法根据NBS颜色度量将具有视觉相似颜色的像素点聚类到一起，而将具有显著不同颜色的像素点归并到不同的类。粗分割后，还剩下36个区域。

3、区域合并

(3.1)建立粗分割后的36个区域的邻接关系表。

(3.2)利用Gabor滤波器对图3(a)进行Gabor变换得到3个尺度各8个方向共24个纹理特征子带，图像I⁶(图3(b))粗分割后成为图3(c)，将其各区域映射到24个纹理特征子带上，利用24个纹理特征子带的纹理特征计算各个区域的均值μ_k ^z和方差δ_k ^z，构成一个48维的特征向量，作为各区域的纹理特征信息T_z＝{μ₁ ^z，δ₁ ^z，μ₂ ^z，δ₂ ^z，Kμ₂₄ ^z，δ₂₄ ^z}，k＝1～24，z＝1～36；

(3.3)计算每个区域和其邻域的所有区域的纹理距离

和颜色距离

分别归一化后，计算区域距离

其中ω₁取0.4，ω₂取0.6。根据区域距离得到36个区域的距离关系表；

(3.4)合并区域距离最小的两个区域，然后更新区域邻接关系表和区域距离关系表，每进行一次区域合并，就计算一次代价函数F并保存直到最小的区域距离大于0.2，最后选取使得代价函数最小的那次合并作为最终的合并结果如图3(d)，合并后还有5块区域。

4、对象分割：

(4.1)图2(a)所示为一个汽车模型。汽车模型包含车身、车窗、车轮3个部分。根据这个汽车模型可以建立汽车区域结构图G_M＝(V_M，E_M)，其中：

节点集V_M＝{车身，车窗，车轮}，

边缘集

(4.2)通过Hough圆检测检测到汽车的车轮(图3(e))，选取其所在的区域的作为汽车对象的种子区域(图3(f))。

(4.3)从种子区域在汽车区域结构图中所对应的节点出发，遍历汽车区域结构图G_M，那么在车轮上方且满足面积比的区域为车身，而被车身包含的区域为车窗，最后合并这3个区域完成汽车对象的分割(图3(g))。

实施例2：人像对象分割，

其建立双尺度空间，粗分割，区域合并步骤与实施例1相同，区域合并后还有15块区域。图4(a)是包括人像对象的原图；图4(b)是区域合并结果；

图2(b)所示为一个人像模型。人像模型包含脸、头发、身体、腿4个部分。根据人像对象模型建立人像区域结构图G_M＝(V_M，E_M)，其中：

节点集V_M＝{脸，头发，身体，腿}

边缘集 $E_M=\{e_1^M,e_2^M,e_3^M\}$

通过人脸检测算法(opencv-intel开源计算机视觉库，提供了人脸检测实现函数)检测到人脸，图4(c)是人脸检测结果；选取其所在区域作为对象的种子区域，那么人脸上方和下方且满足面积比的区域分别为头发和身体，而身体下方的区域为腿，最后合并这4个区域完成人像分割(图4(d))。

实施例3为一个动物图像分割，图5(a)是包括动物对象的原图，由于该对象的构成比较简单，对象的各个组成部分具有相似的色彩、纹理特征，所以只需要执行前3个步骤：建立双尺度空间，粗分割，区域合并就可以得到对象的完整区域(图5(b))。

Claims (4)

1.一种图像对象分割方法，步骤为：

(1)建立双尺度空间步骤：在非线性尺度空间中，利用总变分流模型得到的迭代方程：

$\left\{\begin{array}{c}{I}^0=I\\ I^k=I^{k-1}+\mathrm{\Δt}\frac{I_{\mathrm{xx}}{I}_y^2-2I_{\mathrm{xy}}{I}_x{I}_y+I_{\mathrm{yy}}{I}_x^2}{{(I_x^2+I_y^2)}^{3/2}}\end{array}\right.$

将一幅图像生成不同尺度的图像序列

式中I^k表示图像序列中尺度为k的图像，I为原图，I_x，I_y为I的一阶偏导，I_xx，I_xy，I_yy为I的二阶偏导，Δt取0.25，抽取原尺度图像I⁰和最大尺度图像I^N作为双尺度空间，其中N为5～10，根据所需要分割对象的尺寸选择；

(2)粗分割步骤：在最大尺度图像I^N上，采用基于八叉树结构的颜色量化方法对图像中各像素进行颜色量化，经过颜色量化后，将I^N的颜色空间从红、绿、蓝RGB颜色空间转到色调、亮度、饱和度HVC颜色空间，在HVC颜色空间中对图像I^N采用C均值聚类方法进行颜色聚类，完成粗分割；

(3)区域合并步骤：将粗分割后的HVC颜色空间图像I^N各区域映射到RGB颜色空间原尺度图像I⁰上，在原尺度图像I⁰上计算粗分割各区域的纹理、颜色信息，并根据它们对粗分割区域进行区域合并；

(4)对象分割步骤：由具体对象的各个组成部分构造对象模型，根据对象模型建立对象区域结构图G_M＝(V_M，E_M)，其中节点集

中元素

分别表示组成对象的各个区域节点，边缘集

中元素

分别表示相邻区域的拓扑空间关系和它们面积比的约束值；然后根据对象的显著特征在原尺度图像I⁰上选取区域合并后的一个区域作为对象的种子区域，如果找不到对象的显著特征，则人工选取对象的任意组成部分在区域合并后的对应区域作为对象的种子区域；从种子区域在对象区域结构图中所对应的节点出发，遍历对象区域结构图G_M，根据相邻区域间的拓扑空间关系和面积比的约束值，把对象的其他区域与种子区域合并，完成对象分割。

2.如权利要求1所述的图像对象分割方法，其特征在于：

所述粗分割步骤中，定义A＝(H₁，V₁，C₁)，B＝(H₂，V₂，C₂)为HVC颜色空间的两种颜色，它们之间的距离D_NBS为：

$D_{\mathrm{NBS}}(A,B)=1.2\×\sqrt{2C_1{C}_2[1-\cos \left(\frac{2\mathrm{\π}}{100}\mathrm{\ΔH}\right)]+\mathrm{\Δ}{C}^2+{\left(4\mathrm{\ΔV}\right)}^2},$

其中，ΔH＝|H₁-H₂|，ΔC＝|C₁-C₂|，ΔV＝|V₁-V₂|；当D_NBS＜6.0时，则认为它们是视觉相似的；采用C均值聚类方法进行颜色聚类的过程为：

(2.1)初始化：颜色量化后I^N的颜色数为L，对每一种颜色C_j构造一个空集合S_j，并且将该颜色作为聚类中心，L≤255，j＝1，2，……L；

(2.2)在HVC颜色空间中，对于图像的每一个像素点，找到一个集合S_j，使得其对应的像素值I_i(H_i，V_i，C_i)到该集合聚类中心C_j的颜色距离

并将I_i添加到集合S_j中，集合S_j中像素点的数目N(S_j)加1，i＝1，2，……N_T，N_T为图像总的像素数；

(2.3)对每一个集合S_j，修改聚类中心：

(2.4)对每一个集合S_j，如果存在集合S_j′，使得两集合聚类中心的颜色距离

那么合并集合S_j及S_j′，并生成一个新集合S′_j，其聚类中心为

颜色对应的集合数L减1；

(2.5)重复执行过程(2.2)，(2.3)，(2.4)，直到所有的颜色集合都收敛，形成M个区域。

3.如权利要求1所述的图像对象分割方法，其特征在于：

所述区域合并步骤过程为：

(3.1)建立粗分割后M个区域的邻接关系表，该邻接关系表为M×M的二维矩阵，两个区域邻接，则对应元素置为1，否则置为0；

(3.2)利用Gabor滤波器对原尺度图像I⁰进行Gabor变换得到3个尺度各8个方向共24个纹理特征子带，将粗分割后的图像I^N各区域映射到24个纹理特征子带上，利用24个纹理特征子带的纹理特征计算各个区域的均值μ_k ^z和方差δ_k ^z，构成一个48维的特征向量，作为各区域的纹理特征信息T_z＝{μ₁ ^z，δ₁ ^z，μ₂ ^z，δ₂ ^z，Kμ₂₄ ^z，δ₂₄ ^z}，k＝1～24，z＝1～M；

(3.3)计算每个区域和其邻域的所有区域的纹理距离

和颜色距离

$D_{\mathrm{ab}}^T=\frac{\left|r_a\right|\left|r_b\right|}{\left|r_a\right|\left|r_b\right|}\left|\right|T_a-T_b\left|\right|,$ $D_{\mathrm{ab}}^C=\frac{\left|r_a\right|\left|r_b\right|}{\left|r_a\right|\left|r_b\right|}\left|\right|C_a-C_b\left|\right|,$

分别归一化后，计算区域距离

其中|r_a|，|r_b|分别为区域a和区域b的面积；C_a，C_b分别为区域a和区域b的颜色均值；ω₁，ω₂为权值；Δ_ab表示区域的邻接关系，两个区域相邻，则Δ_ab置为1，否则取+∞；

根据区域距离

得到M个区域的距离关系表，该距离关系表为M×M的二维矩阵；

(3.4)合并距离关系表中区域距离最小的两个区域，然后更新区域邻接关系表，根据过程(3.3)计算合并后区域与其邻域的所有区域的的区域距离，更新距离关系表；每进行一次区域合并，计算一次代价函数F并保存，直到最小的区域距离大于0.2，选取对应最小代价函数值的那次合并作为最终合并结果；其中代价函数F定义为：

$F=J_1+\mathrm{\β}{J}_2=\frac{\underset{a\≠b}{\mathrm{\Σ}}{c}_{a,b}}{C}+\mathrm{\β}\frac{\underset{r=1}{\overset{k_l}{\mathrm{\Σ}}}\underset{s=1}{\overset{N_r}{\mathrm{\Σ}}}\left|\right|I_s^r-I_{\mathrm{mean}}^r\left|\right|}{\underset{i=1}{\overset{N_T}{\mathrm{\Σ}}}\left|\right|I_i-I_{\mathrm{mean}}\left|\right|},$

其中，c_a，b是区域a和区域b的公共边长度，就是图像中区域合并到只剩下k_l个区域时分割线的总长度，C是粗分割后M个区域分割线的总长度；N_r为第r个区域的像素数，r＝1，…k_l；N_T为图像总的像素数；

为第r个区域的第s个像素的颜色值；I_mean为图像中颜色平均值，为第r个区域的颜色平均值；

用来度量合并后区域的同质性程度，J₂越小则区域的同质性越高；0＜β≤1为相应的惩罚因子。

4.如权利要求1所述的图像对象分割方法，其特征在于：

所述对象分割步骤中，

(4.1)所述对象区域结构图G_M＝(V_M，E_M)中，节点集

中各个区域节点

相应为对象的各个组成部分；

(4.2)边缘集

中元素

分别表示相邻区域的拓扑空间关系和它们面积比的约束值；所述相邻区域的拓扑空间关系包括：上、下、左、右、包含、相交；相邻区域面积比的约束值由如下方法确定：针对具体对象，选取多幅包含该对象的图像，手工分割出该对象的各个组成部分在图像中的区域，然后分别计算各个相邻区域的面积比值，根据其中的最小值和最大值确定相邻区域面积比约束值的范围；

(4.3)所述对象的显著特征是指待分割对象的某个组成部分在不同尺度和光照条件下不变的且能用Hough平行线检测、Hough圆检测、矩形度度量或者不变矩度量描述的几何特征。

Images