CN103530882A - 一种改进的基于图和色彩纹理特征的图像分割方法 - Google Patents

Abstract

本发明公开了一种改进的基于图和色彩纹理特征的图像分割方法，涉及图像处理和计算机视觉技术领域，本发明步骤包括：1）提取30张样本图片的纹理特征和色彩特征，将得到的纹理特征和色彩特征组成一个矩阵，并对矩阵求协方差作为30幅样本图片的色彩信息和纹理信息的统一系数；2）构造待分割图片的带权无向图；3）提取待分割图片的纹理特征和色彩特征，并构造待分割图片的纹理色彩特征描述符；4）利用步骤1）获得的统一系数和步骤3）获得的待分割图片的纹理色彩特征描述符计算待分割图片的带权无向图中边的权值；5）对步骤2）构造的带权无向图中的节点进行合并归类。本发明的分割准确性高，误分割、过分割现象少。

Description

一种改进的基于图和色彩纹理特征的图像分割方法

技术领域

本发明属于图像处理和计算机视觉技术领域，更具体地说，涉及一种改进的基于图和色彩纹理特征的图像分割方法。

背景技术

图像分割是计算机视觉和模式识别中极其重要的分析方法。图像分割的目的是将图像划分为若干个不同的、互不重叠的具有独特性质的区域，将人们感兴趣的目标提取出来，对每个像素都加上唯一的类标签。图像分割是图像分析的重要组成部分，目前已经广泛应用在医学影像、人脸识别、指纹识别、交通控制系统和机器视觉等方面。

色彩信息和纹理信息与人眼感知具有很强的关联性，单纯基于纹理或基于色彩的分割方法不能精确的描述图像的内容。因此图像分割技术的研究趋势是色彩信息与纹理信息的融合。经典的分割算法分为基于区域和基于边缘检测两大类。前者的基本思想是根据图像数据的特征将图像空间划分为互不重叠的区域，从而达到分割目的，常用的有阈值分割法、区域标记法、区域生长法和分裂合并法。基于区域的分割方法存在一些不足之处，如易受噪声因素的影响，易产生过分割、区域碎片导致边缘不光滑，除上述缺点外，计算复杂度和实时性也是可以提升和改进的方向。边界是图像最基本的特征之一，是灰度或结构等信息的突变处，包含用于分割的基本信息。基于边缘检测的分割算法的基本思想是检测图像中的边缘点再按一定策略链接成轮廓，从而构成分割区域，常用的算法有正交梯度算子、Roberts梯度算子、方向梯度算子、二阶导数算子等。由于图像数据是二、三维的，而实际物体是N维的，因此这类算法存在较大的缺点是从高维到低维的投影会造成信息的丢失，光照和噪声等因素对检测的结果影响很大。

基于图论的分割方法是基于区域分割方法中研究的热点方向。经典的有最小生成树方法、N-Cut方法、GraphCut方法、动态区域合并方法和Graph-Based方法等，这些方法都将图像的像素点作为节点构造无向赋权图，然后按照某一准则对图的顶点进行划分，完成对图像的分割。J.Shi等人于2000年在《IEEE Transactions on Pattern Analysis and Machine Intelligence》上发表的《Normalized cuts and image segmentation》中提出的N-Cut算法属于NP-hard问题，图的节点越多，问题的求解越费时，因此对较大图像进行分割的速度异常缓慢。C.Rother等人于2004年在《ACM Transactions on Graphics》中发表的《interactive foreground extractionusing iterated graph cuts》中提出的GraphCut方法通过构建图和求能量最小化，优化分割效果。P.F.Felzenszwalb等人于2004年在《International Journal of Computer Vision》上发表的《Efficient graph-based image segmentation》中提出的graph-based方法，对领域构建图，利用最小生成树和合并准则完成聚类，执行效率高，运行时间几乎和图像的像素点数成线性关系，并且可以忽视高可变区域的细节特征，保留低可变区域的细节特征。但以上方法皆对噪声敏感，存在一定过分割现象，特别是对纹理复杂的图片分割效果不佳。

发明内容

1.发明要解决的技术问题

本发明的目的在于克服传统基于图（graph-based）的分割方法使用单一色彩特征进行图像分割造成严重误分割和过分割的不足，提供了一种改进的基于图和色彩纹理特征的图像分割方法，本发明通过多个样本获取纹理特征和色彩特征的统一系数，将图片的纹理特征和色彩特征有效融合，使用本发明的图像分割方法分割的准确性高，误分割现象大大减少。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种改进的基于图和色彩纹理特征的图像分割方法，步骤如下：

1）选取30张样本图片，提取该30张样本图片的纹理特征和色彩特征，将得到的纹理特征和色彩特征组成一个矩阵Feature，并对矩阵Feature求协方差，将该协方差作为30幅样本图片的色彩信息和纹理信息的统一系数∑；

2）构造待分割图片的带权无向图G=(V,E)；

3）提取待分割图片的纹理特征和色彩特征，并构造待分割图片的纹理色彩特征描述符；

4）利用步骤1）获得的统一系数Σ和步骤3）获得的待分割图片的纹理色彩特征描述符计算待分割图片的带权无向图中边的权值；

5）对步骤2）构造的带权无向图中的节点进行合并归类，得到符合人眼感知的分割图片。

本发明的一种改进的基于图和色彩纹理特征的图像分割方法，步骤1）中获得样本图片纹理特征和色彩特征之间的统一系数Σ的具体方法如下：

a）样本选取：

选取30幅尺寸相同的图片作为样本图片，该30幅尺寸相同的样本图片的长和宽折合为像素分别为w和h；

b）样本图片纹理特征提取：

将步骤a）中选取的30幅样本图片分别转换成灰度图，并对得到的灰度图进行haar小波变换，分解得到30幅样本图片在水平方向、垂直方向和对角方向的纹理特征集

和其中，i=1,2,…30，n=1,2,…(w*h)；则第i幅图片第n个像素的纹理特征为

c）样本图片色彩特征提取：

将步骤a）中选取的30幅样本图片从RGB色彩空间转换到Lab色彩空间，并在转换得到的Lab色彩空间中提取三个色彩通道L通道、a通道、b通道的值作为样本图片的色彩特征，则第i幅图片第n个像素的色彩特征为 $[\mathrm{color}{L}_n^i,\mathrm{color}{a}_n^i,\mathrm{color}{b}_n^i],i=\mathrm{1,2},\·\·\·30,n=\mathrm{1,2},\·\·\·(w*h);$

d）求解样本图片的统一系数Σ：

利用步骤b）提取的30幅样本图片各像素点的纹理特征和步骤c）提取的30幅样本图片各像素点的色彩特征，建立一个6*(w*h*30)的矩阵，

$\mathrm{Feature}=\left[\begin{array}{ccccccc}W{h}_1^1& \·\·\·& W{h}_2^1& \·\·\·& {\mathrm{Wh}}_n^i& \·\·\·& W{h}_{w*h}^{30}\\ W{v}_1^1& \·\·\·& W{v}_2^1& \·\·\·& W{v}_n^i& \·\·\·& W{v}_{w*h}^{30}\\ W{d}_1^1& \·\·\·& W{d}_2^1& \·\·\·& W{d}_n^i& \·\·\·& W{d}_{w*h}^{30}\\ \mathrm{color}{L}_1^1& \·\·\·& \mathrm{color}{L}_2^1& \·\·\·& \mathrm{color}{L}_n^i& \·\·\·& \mathrm{color}{L}_{w*h}^{30}\\ {\mathrm{colora}}_1^1& \·\·\·& \mathrm{color}{a}_2^1& \·\·\·& \mathrm{color}{a}_n^i& \·\·\·& {\mathrm{colora}}_{w*h}^{30}\\ \mathrm{color}{b}_1^1& \·\·\·& \mathrm{color}{b}_2^1& \·\·\·& \mathrm{color}{b}_n^i& \·\·\·& \mathrm{color}{b}_{w*h}^{30}\end{array}\right]$

对该色彩纹理特征矩阵Feature求协方差，将求得的协方差作为30幅样本图片的色彩信息和纹理信息的统一系数∑。

本发明的一种改进的基于图和色彩纹理特征的图像分割方法，步骤2）中构造带权无向图G=(V,E)的具体方法如下：

将待分割图片中的每个像素点作为无向图节点，V是无向图节点的集合，v_i、v_j表示无向图中任意两个节点，v_i、v_j∈V；E是无向图中所有节点构成边的集合，E(v_i,v_j)表示连接无向图节点v_i和v_j的边。

本发明的一种改进的基于图和色彩纹理特征的图像分割方法，步骤3）中获得待分割图片纹理色彩特征描述符的具体方法如下：

①将待分割图片转换成灰度图，对该灰度图进行haar小波变换，分解得到待分割图片在水平方向、垂直方向和对角方向的纹理特征集{Wh_n},{Wv_n},{Wd_n}；

②将待分割图片从RGB色彩空间转换到Lab色彩空间，提取Lab色彩空间三个色彩通道的值作为待分割图片的色彩特征{colorL_n},{colora_n},{colorb_n}；

③得到待分割图片第n个像素的纹理色彩特征描述符：

v_n=[Wh_n,Wv_n,Wd_n,colorL_n,colora_n,colorb_n]，n=1,2,…(w*h)。

本发明的一种改进的基于图和色彩纹理特征的图像分割方法，步骤4）中计算带权无向图中边的权值的具体方法如下：

将步骤1）中获得的统一系数∑和步骤3）中获得的待分割图片的纹理色彩特征描述符v_n带入马氏距离公式得到带权无向图中边的权值w(v_i,v_j)，该权值用于度量无向图中两节点之间的纹理色彩特征差异度，权值越大，差异越大，权值越小，差异越小。

本发明的一种改进的基于图和色彩纹理特征的图像分割方法，步骤5）中类合并的具体方法如下：

①将无向图中的边按步骤4）计算得到的权值大小进行非降排序，并将无向图中每一个节点划分为一个独立类，对应为{C₁,C₂,…,C_w*h}，每一类对应的合并优先级为{r₁,r₂,…,r_w*h}，初始时r₁=r₂=…=r_w*h=0，类合并顺序根据排序由前到后进行；

②执行合并准则1：

设定合并的初始阈值mInt(C₁)=k，C_i和C_j表示两个不同的类，比较C_i中所有节点v_i∈C_i和C_j中所有节点v_j∈C_j组成的边的权值w(v_i,v_j)，最小的权值作为C_i和C_j的类间距离Diff(C_i,C_j)，

$\mathrm{Diff}(C_i,C_j)=\underset{v_i\∈C_{i,}{v}_j\∈C_j}{\min }w(v_i,v_j)$

若Diff(C_i,C_j)≤mInt(C_x)，则比较两节点所在类C_i，C_j的合并优先级r_i，r_j的大小，若

r_i>r_j，则类C_j并入C_i，且重新计合并后的类为C_i，合并后的类C_i的优先级为r_i+1，也重新记为r_i；反之，则类C_i并入C_j，重新计合并后的类为C_j，合并后的类C_j的优先级为r_j+1，重新记为r_j，合并后的类用数学表达式表述为：

$C_x=\left\{\begin{array}{c}{C}_i,r_i>r_j\\ c_j,r_i\≤r_j\end{array}\right.,$

mInt(C_x)表示合并阈值，初始时mInt(C_x)=mInt(C₁)=k，执行合并操作后，自适应调整合并阈值mInt(C_x)，mInt(C_x)与合并成C_x的两子类C_i和C_j的最大类内距离Int(C_i)和Int(C_j)及C_i和C_j包含的节点数size(C_i)和size(C_j)有关，其中：

$T\left(C_i\right)=\frac{k}{\left|\mathrm{size}\left(C_i\right)\right|}$

$T\left(C_j\right)=\frac{k}{\left|\mathrm{size}\left(C_j\right)\right|}$

$\mathrm{Int}\left(C_i\right)=\underset{v_i,v_j\∈C_i}{\max }w(v_i,v_j)$

$\mathrm{Int}\left(C_j\right)=\underset{v_i,v_j\∈C_j}{\max }w(v_i,v_j)$

mInt(C_x)=min(Int(C_i)+T(C_i),Int(C_j)+T(C_j))；

若Diff(C_i,C_j)>mInt(C_x)，则C_i,C_j为独立的类；按照权值由小到大重复对类执行合并准则1，得到分割结果将每一类划分为独立的区域，完成初始分割；

③执行合并准则2：

完成初始分割后，针对节点数很少的类执行合并准则2，设定初始合并阈值为k₂，若某一类包含的节点数小于k₂，则将该类合并到在空间上相邻且类间距离最小的类中。

本发明的一种改进的基于图和色彩纹理特征的图像分割方法，步骤5）中执行合并准则1时初始阈值k的取值范围为400～500；执行合并准则2时初始合并阈值k₂为150～200。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

（1）本发明的一种改进的基于图和色彩纹理特征的图像分割方法，其利用haar小波变换分解得到样本图片和待分割图片在水平方向、垂直方向和对角方向的纹理特征，该纹理特征能很好的体现样本图片和待分割图片的纹理信息，良好的纹理信息是分割效果的保证；

（2）本发明的一种改进的基于图和色彩纹理特征的图像分割方法，其利用马氏距离公式实现纹理信息和色彩信息的有效融合，避免了传统采用单一色彩信息分割图片时，对纹理信息丰富的图片容易产生过分割、误分割的现象的问题，分割效果好；

（3）本发明的一种改进的基于图和色彩纹理特征的图像分割方法，通过合并准则1实现待分割图片的初始分割，通过合并准则2对执行合并准则1后出现的节点数较少的类进行进一步合并，以避免在分割得到的图片中出现较多的过分割，分割的效果更符合人眼感知。

附图说明

图1为本发明的一种改进的基于图和色彩纹理特征的图像分割方法中用到的编号为134008的待分割图片示意图；

图2中的（a）为本发明中步骤1）提取的色彩特征分布的统计直方图；图2中的（b）为本发明中步骤1）提取的纹理特征分布的统计直方图；

图3为本发明中步骤2）构造的带权无向图的示意图；

图4为本发明的一种改进的基于图和色彩纹理特征的图像分割方法流程图；

图5为本发明中步骤1）获得统一系数的流程图；

图6中的（a）、（b）、（c）分别为本发明中利用haar小波变换获得的编号为134008的待分割图片在水平方向、垂直方向和对角方向的纹理图像；

图7中的（a）为编号134008的待分割图片使用本发明的分割方法与使用传统基于graph方法的分割结果对比图；图7中的（b）为编号253027的待分割图片使用本发明的分割方法与使用传统基于graph方法的分割结果对比图；

图8中的（a）为编号145086的待分割图片使用本发明的分割方法与使用CTM方法、Meanshift方法和N-Cut方法的分割结果对比图；图8中的（b）为编号124084的待分割图片使用本发明的分割方法与使用CTM方法、Meanshift方法和N-Cut方法的分割结果对比图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

结合附图，本实施例的一种改进的基于图和色彩纹理特征的图像分割方法，具体流程图如图4所示，步骤如下：

1）选取30张样本图片，提取该30张样本图片的纹理特征和色彩特征，将得到的纹理特征和色彩特征组成一个矩阵Feature，并对矩阵Feature求协方差，将该协方差作为30幅样本图片的色彩信息和纹理信息的统一系数∑。

由于图片的纹理信息和Lab色彩信息的统计分布不同，如图2所示，其中，图2中的（a）是30幅样本图片中所有像素点根据Lab值不同做出的统计直方图，图2中的（b）是30幅样本图片的水平、垂直、对角方向纹理图像灰度值的统计直方图，图2真实反映了后续计算所需的色彩信息和纹理信息的数值情况。因此在对提取的纹理信息和色彩信息进行代数计算时，需要找到两者之间的协方差矩阵，简称为统一系数，避免纹理信息和色彩信息中的一种占整体信息的权重较大，忽略另一信息的影响，使另一信息对结果不起作用或作用甚微的情况。

2）构造待分割图片的带权无向图G=(V,E)。

3）提取待分割图片的纹理特征和色彩特征，并构造待分割图片的纹理色彩特征描述符。

4）利用步骤1）获得的统一系数Σ和步骤3）获得的待分割图片的纹理色彩特征描述符计算待分割图片的带权无向图中边的权值。

5）对步骤2）构造的带权无向图中的节点进行合并归类，得到符合人眼感知的分割图片。

其中，步骤1）中获得样本图片纹理特征和色彩特征之间的统一系数Σ的具体方法（具体流程如图5所示）如下：

a）样本选取：

在berkeley大学标准分割图片库中选取30幅尺寸相同的图片作为样本图片，该30幅尺寸相同的样本图片的长和宽折合为像素分别为w和h。

b）样本图片纹理特征提取：

将步骤a）中选取的30幅样本图片分别转换成灰度图，并对得到的灰度图进行haar小波变换，分解得到30幅样本图片在水平方向、垂直方向和对角方向的纹理特征集

和

其中，i=1,2,…30，n=1,2,…(w*h)；则第i幅图片第n个像素的纹理特征为

c）样本图片色彩特征提取：

将步骤a）中选取的30幅样本图片从RGB色彩空间转换到Lab色彩空间，并在转换得到的Lab色彩空间中提取三个色彩通道L通道、a通道、b通道的值作为样本图片的色彩特征，则第i幅图片第n个像素的色彩特征为 $[\mathrm{color}{L}_n^i,\mathrm{color}{a}_n^i,\mathrm{color}{b}_n^i],i=\mathrm{1,2},\·\·\·30,n=\mathrm{1,2},\·\·\·(w*h);$

d）求解样本图片的统一系数Σ：

利用步骤b）提取的30幅样本图片各像素点的纹理特征和步骤c）提取的30幅样本图片各像素点的色彩特征，建立一个6*(w*h*30)的矩阵，

$\mathrm{Feature}=\left[\begin{array}{ccccccc}W{h}_1^1& \·\·\·& W{h}_2^1& \·\·\·& {\mathrm{Wh}}_n^i& \·\·\·& W{h}_{w*h}^{30}\\ W{v}_1^1& \·\·\·& W{v}_2^1& \·\·\·& W{v}_n^i& \·\·\·& W{v}_{w*h}^{30}\\ W{d}_1^1& \·\·\·& W{d}_2^1& \·\·\·& W{d}_n^i& \·\·\·& W{d}_{w*h}^{30}\\ \mathrm{color}{L}_1^1& \·\·\·& \mathrm{color}{L}_2^1& \·\·\·& \mathrm{color}{L}_n^i& \·\·\·& \mathrm{color}{L}_{w*h}^{30}\\ {\mathrm{colora}}_1^1& \·\·\·& \mathrm{color}{a}_2^1& \·\·\·& \mathrm{color}{a}_n^i& \·\·\·& {\mathrm{colora}}_{w*h}^{30}\\ \mathrm{color}{b}_1^1& \·\·\·& \mathrm{color}{b}_2^1& \·\·\·& \mathrm{color}{b}_n^i& \·\·\·& \mathrm{color}{b}_{w*h}^{30}\end{array}\right]$

对该色彩纹理特征矩阵Feature求协方差，将求得的协方差作为30幅样本图片的色彩信息和纹理信息的统一系数∑。Σ是6*6的协方差矩阵，第i行j列的元素记为Σ_ij。把特征矩阵Feature转置为(w*h*30)*6的矩阵，

$\mathrm{Featur}{e}^T=\left[\begin{array}{cccccc}{\mathrm{Wh}}_1^1& {\mathrm{Wv}}_1^1& {\mathrm{Wd}}_1^1& {\mathrm{colorL}}_1^1& {\mathrm{colora}}_1^1& {\mathrm{colorb}}_1^1\\ {\mathrm{Wh}}_2^1& {\mathrm{Wv}}_2^1& {\mathrm{Wd}}_2^1& {\mathrm{coloL}}_2^1& {\mathrm{colorL}}_2^1& {\mathrm{colorb}}_2^1\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ {\mathrm{Wh}}_n^i& {\mathrm{Wv}}_n^i& {\mathrm{Wd}}_n^i& {\mathrm{colorL}}_n^i& {\mathrm{colora}}_n^i& {\mathrm{colorb}}_n^i\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ {\mathrm{Wh}}_{w*h}^{30}& {\mathrm{Wv}}_{w*h}^{30}& {\mathrm{Wd}}_{w*h}^{30}& {\mathrm{colorL}}_{w*h}^{30}& {\mathrm{colora}}_{w*h}^{30}& {\mathrm{colorb}}_{w*h}^{30}\end{array}\right]$

把转置后矩阵的每一列作为一个列向量，共分成6个列向量X_k,k=1,2,…,6，求出每一列的均值，第k列的均值为

并组成30*w*h行的均值列向量

${\mathrm{\Σ}}_{\mathrm{ij}}=\frac{{(X_i-U_i)}^T(X_i-U_i)}{6-1}.$

此处值得说明的是，本实施例中涉及的haar小波变换是在图像分割领域经常使用一种的标准算法，将图片从RGB色彩空间转换到Lab色彩空间以及将图片转换成灰度图的方法也是图像处理中较基础的方法，此处均不再赘述，本实施例利用haar小波变换分解得到样本图片和待分割图片在水平方向、垂直方向和对角方向的纹理特征，该纹理特征能很好的体现样本图片和待分割图片的纹理信息，良好的纹理信息是分割效果的保证。

步骤2）中构造带权无向图G=(V,E)的具体方法如下：

将待分割图片中的每个像素点作为无向图节点，本实施例中待分割图片为berkeley大学标准分割图片库中编号为134008的标准图片（如图1所示）。V是无向图节点的集合，v_i、v_j表示无向图中任意两个节点，v_i、v_j∈V；E是无向图中所有节点构成边的集合，E(v_i,v_j)表示连接无向图节点v_i和v_j的边。

步骤3）中获得待分割图片纹理色彩特征描述符的具体方法如下：

①将待分割图片转换成灰度图，对该灰度图进行haar小波变换，分解得到待分割图片在水平方向、垂直方向和对角方向的纹理特征集{Wh_n},{Wv_n},{Wd_n}。因此待分割图片各像素点v_n(n=1,2…w*h)的纹理特征为[Wh_n,Wv_n,Wd_n]，利用haar小波变换获得的编号为134008的待分割图片在水平方向、垂直方向和对角方向的纹理图像如图6中的（a）、（b）、（c）所示。

②将待分割图片从RGB色彩空间转换到Lab色彩空间，提取Lab色彩空间三个色彩通道的值作为待分割图片的色彩特征{colorL_n},{colora_n},{colorb_n}。待分割图片各像素点v_n(n=1,2…w*h)的色彩特征为[colorL_n,colora_n,colorb_n]。

③得到待分割图片第n个像素的纹理色彩特征描述符：

v_n=[Wh_n,Wv_n,Wd_n,colorL_n,colora_n,colorb_n]，n=1,2,…(w*h)。

步骤4）中计算带权无向图中边的权值的具体方法如下：

将步骤1）中获得的统一系数∑和步骤3）中获得的待分割图片的纹理色彩特征描述符v_n带入马氏距离公式得到带权无向图中边的权值w(v_i,v_j)，

$w(v_i,v_j)=\sqrt{{(v_i-v_j)}^{\′}\·\left({\mathrm{\Σ}}^{-1}\right)\·(v_i-v_j)},i=\mathrm{1,2},\·\·\·(w*h);j=\mathrm{1,2},\·\·\·(w*h).$

该权值用于度量无向图中两节点之间的纹理色彩特征差异度，权值越大，差异越大，权值越小，差异越小。结合图3所示步骤2）构造的带权无向图的示意图，按从左至右的顺序来看，若相邻两个点都与其8邻域的邻点建立边，会出现较多重叠的边，为降低计算的复杂度，减少不必要的冗余，只计算以某一节点为中心的8邻域中4节点之间的距离，作为边的权值。本实施例中利用马氏距离公式实现纹理信息和色彩信息的有效融合，避免了传统采用单一色彩信息分割图片时，对纹理信息丰富的图片容易产生过分割、误分割的现象的问题，分割效果好。

步骤5）中类合并的具体方法如下：

①将无向图中的边按步骤4）计算得到的权值大小进行非降排序，并将无向图中每一个节点划分为一个独立类，对应为{C₁,C₂,…,C_w*h}，每一类对应的合并优先级为{r₁,r₂,…,r_w*h}，初始时r₁=r₂=…=r_w*h=0，由于边的权值大小表征组成边的两个节点之间的差异度，类合并顺序根据排序由前到后进行，减少了冗余计算。

②执行合并准则1：

设定合并的初始阈值mInt(C₁)=k，本实施例中k值为400，C_i和C_j表示两个不同的类，比较C_i中所有节点v_i∈C_i和C_j中所有节点v_j∈C_j组成的边的权值w(v_i,v_j)，最小的权值作为C_i和C_j的类间距离Diff(C_i,C_j)，

$\mathrm{Diff}(C_i,C_j)=\underset{v_i\∈C_{i,}{v}_j\∈C_j}{\min }w(v_i,v_j)$

若Diff(C_i,C_j)≤mInt(C_x)，则比较两节点所在类C_i，C_j的合并优先级r_i，r_j的大小，若r_i>r_j，则类C_j并入C_i，且重新计合并后的类为C_i，合并后的类C_i的优先级为r_i+1，也重新记为r_i；反之，则类C_i并入C_j，重新计合并后的类为C_j，合并后的类C_j的优先级为r_j+1，重新记为r_j，合并后的类用数学表达式表述为：

$C_x=\left\{\begin{array}{c}{C}_i,r_i>r_j\\ c_j,r_i\≤r_j\end{array}\right.,$

mInt(C_x)表示合并阈值，初始时mInt(C_x)=mInt(C₁)=k，执行合并操作后，自适应调整合并阈值mInt(C_x)，mInt(C_x)与合并成C_x的两子类C_i和C_j的最大类内距离Int(C_i)和Int(C_j)及C_i和C_j包含的节点数size(C_i)和size(C_j)有关，其中：

$T\left(C_i\right)=\frac{k}{\left|\mathrm{size}\left(C_i\right)\right|}$

$T\left(C_j\right)=\frac{k}{\left|\mathrm{size}\left(C_j\right)\right|}$

$\mathrm{Int}\left(C_i\right)=\underset{v_i,v_j\∈C_i}{\max }w(v_i,v_j)$

$\mathrm{Int}\left(C_j\right)=\underset{v_i,v_j\∈C_j}{\max }w(v_i,v_j)$

mInt(C_x)=min(Int(C_i)+T(C_i),Int(C_j)+T(C_j))；

若Diff(C_i,C_j)>mInt(C_x)，则C_i,C_j为独立的类；按照权值由小到大重复对类执行合并准则1，得到分割结果将每一类划分为独立的区域，完成初始分割。

③执行合并准则2：

完成初始分割后，会存在节点数很少的类作为独立区域，这样的区域面积很小，在分割结果图中显示出大量的过分割。针对节点数很少的类执行合并准则2，设定初始合并阈值为k₂，该合并阈值可根据不同的图片调整，本实施例中k₂的值为150。若某一类包含的节点数小于k₂，则将该类合并到在空间上相邻且类间距离最小的类中。执行完合并准则2后分割的效果更符合人眼感知。

从两个方面对本实施例的实验结果进行分析：1）本实施例的分割方法与传统graph-based分割方法的性能评价与比较；2）本实施例的分割方法与经典分割方法NCut、Meanshift、CTM的性能评价与比较。

分割测试图片来自berkeley大学网站提供的标准分割图片库。对一幅共有n个像素的图像进行分割，参考分割图像和实际分割图像分别用S、S_test表示，其中，S共有K个分割区域{s₁,s₂,…,s_K}，S_test共有K个分割区域性能评价标准是公认度和引用次数较高的PRI/VoI/GCE。

1）概率边缘指数(Probabilistic Rand Index，PRI)是检验实际分割结果与参考结果之间的属性共生的一致性的参量。对于任一像元对x_i、x_j，若在参考图像S中像元标记l_i、l_j相同，则在实际分割图像S_test中，像元标记l_i′、l_j′也应该相同，PRI值范围在[0，1]，越大越好。定义公式如下：

$\mathrm{PR}(S_{\mathrm{test}},\{S_K\left\}\right)=1-[({\mathrm{\Σ}}_u{n}_{u\·}^2+{\mathrm{\Σ}}_v{n}_{\·v}^2)/2-{\mathrm{\Σ}}_{u,v}{n}_{\mathrm{uv}}^2]/[n(n-1)/2]$

其中n_uv表示在S中标记为u且在S_test中标记为v的像元数目；n_u·表示在S中标记为u的像元数目，即n_u·=∑_vn_uv；n_·v表示在S_test中标记为v的像元数目，即n_·v=∑_un_uv。

2）全局一致性误差(Global Consistency Error，GCE)是定义在局部细分误差基础上的。局部细分误差定义如下：

$E(S_k,S_{k^{\&prime;}}^{\mathrm{test}},p_i)=<R(S_k,p_i)\backslash R(S_{k^{\&prime;}}^{\mathrm{test}},p_i)>/<R(S_k,p_i)>$

其中p_i表示原始图像中的某个像元，<R>表示集合R中元素的个数，符号“\”表示差集。由上式可知局部细分误差不是对称的，所以全局一致性误差定义如下：

$\mathrm{GCE}(S,S_{\mathrm{test}})=\frac{1}{n}\min \{{\mathrm{\&Sigma;}}_{i}E(S,S_{\mathrm{test}},p_i),{\mathrm{\&Sigma;}}_{i}E(S_{\mathrm{test}},S,p_i)\}$

GCE越小，说明全局一致性误差越小。

3）变化信息(Variation of Information，VoI)是利用参考分割图像的熵，实际分割图像的熵，参考分割图像和实际分割图像的联合熵3个分量计算得出的。具体公式如下：

VoI(S,S_test)=H(S)+H(S_test)-2I(S,S_test)

S的熵为

$H\left(S\right)=-{\mathrm{\&Sigma;}}_{k=1}^{K}P\left(k\right)\log P\left(k\right)$

同理可得S_test的熵为

$H\left(S_{\mathrm{test}}\right)=-{\mathrm{\&Sigma;}}_{k^{\&prime;}=1}^{K}P\left(k^{\&prime;}\right)\log P\left(k^{\&prime;}\right)$

对于任一像元，在S中属于第k个聚类S_k并且在S_test中属于第k′个聚类

的联合概率为

P(k,k′)=n_kk′/n

其中n_kk′表示S_k和

两聚类间交集的像元数。则S和S_test的联合熵为：

$I(S,S_{\mathrm{test}})={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{k^{\&prime;}=1}^{K^{\&prime;}}P(k,k^{\&prime;})\log [P(k,k^{\&prime;})/P\left(k\right)/P\left(k^{\&prime;}\right)]$

VoI值越小，说明实际分割图像相对参考分割图像信息变化越少，实际分割图像越接近与参考分割图像。

利用PRI，GCE，VoI三个评价指标将本实施例与传统graph-based算法进行比较，由表1可以看出本实施例分割的PRI值更大，GCE、VoI值更小（PRI越大越好，GCE/VoI越小越好），说明本实施例比起传统graph-based分割图像效果更好，性能有所提升。本实施例中编号134008的待分割图片使用本实施例的分割方法与使用传统基于graph方法的分割结果对比图如图7中的（a）所示，编号253027的待分割图片使用本实施例的分割方法与使用传统基于graph方法的分割结果对比图如图7中（b）所示。

表1本实施例与传统graph-based方法的定量评价

利用PRI，GCE，VoI三个指标，将本实施例与Meanshift，N-Cut，CTM算法进行比较，由表2可以看出本实施例的PRI值最大，GCE，VoI值最小，说明本实施例分割图像效果好。编号145086的待分割图片使用本实施例的分割方法与使用CTM方法、Meanshift方法和N-Cut方法的分割结果对比图如图8中的（a）所示；编号124084的待分割图片使用本实施例的分割方法与使用CTM方法、Meanshift方法和N-Cut方法的分割结果对比图如图8中的（b）所示。

表2图像分割结果的定量评价

本实施例克服了传统基于graph方法只采用色彩特征，忽略纹理特征影响，对纹理信息丰富的图片会造成严重误分割和过分割的问题。通过30幅样本图片得到纹理特征和色彩特征的统一系数，将纹理和色彩信息有效融合，实验表明，本实施例的分割方法分割准确性高，误分割现象大大减少。

实施例2

本实施例的一种改进的基于图和色彩纹理特征的图像分割方法，基本步骤以及分割效果同实施例1，不同之处在于：步骤5）中执行合并准则1时初始阈值k的取值范围为450；执行合并准则2时初始合并阈值k₂为175。

实施例3

本实施例的一种改进的基于图和色彩纹理特征的图像分割方法，基本步骤以及分割效果同实施例1，不同之处在于：步骤5）中执行合并准则1时初始阈值k的取值范围为500；执行合并准则2时初始合并阈值k₂为200。

上述实施例的一种改进的基于图和色彩纹理特征的图像分割方法，分割的准确性高，误分割、过分割现象大大减少。可为基于内容的视频检索、图像检索、视频编解码、运动估计等后期应用提供稳定的分割结果，抽象出有用的对象信息。

Claims (7)

1.一种改进的基于图和色彩纹理特征的图像分割方法，步骤如下：

1）选取30张样本图片，提取该30张样本图片的纹理特征和色彩特征，将得到的纹理特征和色彩特征组成一个矩阵Feature，并对矩阵Feature求协方差，将该协方差作为30幅样本图片的色彩信息和纹理信息的统一系数∑；

2）构造待分割图片的带权无向图G=(V,E)；

3）提取待分割图片的纹理特征和色彩特征，并构造待分割图片的纹理色彩特征描述符；

4）利用步骤1）获得的统一系数Σ和步骤3）获得的待分割图片的纹理色彩特征描述符计算待分割图片的带权无向图中边的权值；

5）对步骤2）构造的带权无向图中的节点进行合并归类，得到符合人眼感知的分割图片。

2.根据权利要求1所述的一种改进的基于图和色彩纹理特征的图像分割方法，其特征在于：步骤1）中获得样本图片纹理特征和色彩特征之间的统一系数Σ的具体方法如下：

a）样本选取：

选取30幅尺寸相同的图片作为样本图片，该30幅尺寸相同的样本图片的长和宽折合为像素分别为w和h；

b）样本图片纹理特征提取：

将步骤a）中选取的30幅样本图片分别转换成灰度图，并对得到的灰度图进行haar小波变换，分解得到30幅样本图片在水平方向、垂直方向和对角方向的纹理特征集

和

其中，i=1,2,…30，n=1,2,…(w*h)；则第i幅图片第n个像素的纹理特征为

c）样本图片色彩特征提取：

将步骤a）中选取的30幅样本图片从RGB色彩空间转换到Lab色彩空间，并在转换得到的Lab色彩空间中提取三个色彩通道L通道、a通道、b通道的值作为样本图片的色彩特征，则第i幅图片第n个像素的色彩特征为 $[\mathrm{color}{L}_n^i,\mathrm{color}{a}_n^i,\mathrm{color}{b}_n^i],i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;30,n=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;(w*h);$

d）求解样本图片的统一系数Σ：

利用步骤b）提取的30幅样本图片各像素点的纹理特征和步骤c）提取的30幅样本图片各像素点的色彩特征，建立一个6*(w*h*30)的矩阵，

$\mathrm{Feature}=\left[\begin{array}{ccccccc}W{h}_1^1& \&CenterDot;\&CenterDot;\&CenterDot;& W{h}_2^1& \&CenterDot;\&CenterDot;\&CenterDot;& {\mathrm{Wh}}_n^i& \&CenterDot;\&CenterDot;\&CenterDot;& W{h}_{w*h}^{30}\\ W{v}_1^1& \&CenterDot;\&CenterDot;\&CenterDot;& W{v}_2^1& \&CenterDot;\&CenterDot;\&CenterDot;& W{v}_n^i& \&CenterDot;\&CenterDot;\&CenterDot;& W{v}_{w*h}^{30}\\ W{d}_1^1& \&CenterDot;\&CenterDot;\&CenterDot;& W{d}_2^1& \&CenterDot;\&CenterDot;\&CenterDot;& W{d}_n^i& \&CenterDot;\&CenterDot;\&CenterDot;& W{d}_{w*h}^{30}\\ \mathrm{color}{L}_1^1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{color}{L}_2^1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{color}{L}_n^i& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{color}{L}_{w*h}^{30}\\ {\mathrm{colora}}_1^1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{color}{a}_2^1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{color}{a}_n^i& \&CenterDot;\&CenterDot;\&CenterDot;& {\mathrm{colora}}_{w*h}^{30}\\ \mathrm{color}{b}_1^1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{color}{b}_2^1& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{color}{b}_n^i& \&CenterDot;\&CenterDot;\&CenterDot;& \mathrm{color}{b}_{w*h}^{30}\end{array}\right]$

对该色彩纹理特征矩阵Feature求协方差，将求得的协方差作为30幅样本图片的色彩信息和纹理信息的统一系数∑。

3.根据权利要求2所述的一种改进的基于图和色彩纹理特征的图像分割方法，其特征在于：步骤2）中构造带权无向图G=(V,E)的具体方法如下：

将待分割图片中的每个像素点作为无向图节点，V是无向图节点的集合，v_i、v_j表示无向图中任意两个节点，v_i、v_j∈V；E是无向图中所有节点构成边的集合，E(v_i,v_j)表示连接无向图节点v_i和v_j的边。

4.根据权利要求3所述的一种改进的基于图和色彩纹理特征的图像分割方法，其特征在于：步骤3）中获得待分割图片纹理色彩特征描述符的具体方法如下：

①将待分割图片转换成灰度图，对该灰度图进行haar小波变换，分解得到待分割图片在水平方向、垂直方向和对角方向的纹理特征集{Wh_n},{Wv_n},{Wd_n}；

②将待分割图片从RGB色彩空间转换到Lab色彩空间，提取Lab色彩空间三个色彩通道的值作为待分割图片的色彩特征{colorL_n},{colora_n},{colorb_n}；

③得到待分割图片第n个像素的纹理色彩特征描述符：

v_n=[Wh_n,Wv_n,Wd_n,colorL_n,colora_n,colorb_n]，n=1,2,…(w*h)。

5.根据权利要求3或4所述的一种改进的基于图和色彩纹理特征的图像分割方法，其特征在于：步骤4）中计算带权无向图中边的权值的具体方法如下：

将步骤1）中获得的统一系数∑和步骤3）中获得的待分割图片的纹理色彩特征描述符v_n带入马氏距离公式得到带权无向图中边的权值w(v_i,v_j)，该权值用于度量无向图中两节点之间的纹理色彩特征差异度，权值越大，差异越大，权值越小，差异越小。

6.根据权利要求5所述的一种改进的基于图和色彩纹理特征的图像分割方法，其特征在于：步骤5）中类合并的具体方法如下：

①将无向图中的边按步骤4）计算得到的权值大小进行非降排序，并将无向图中每一个节点划分为一个独立类，对应为{C₁,C₂,…,C_w*h}，每一类对应的合并优先级为{r₁,r₂,…,r_w*h}，初始时r₁=r₂=…=r_w*h=0，类合并顺序根据排序由前到后进行；

②执行合并准则1：

设定合并的初始阈值mInt(C₁)=k，C_i和C_j表示两个不同的类，比较C_i中所有节点v_i∈C_i和C_j中所有节点v_j∈C_j组成的边的权值w(v_i,v_j)，最小的权值作为C_i和C_j的类间距离Diff(C_i,C_j)，

$\mathrm{Diff}(C_i,C_j)=\underset{v_i\&Element;C_{i,}{v}_j\&Element;C_j}{\min }w(v_i,v_j)$

若Diff(C_i,C_j)≤mInt(C_x)，则比较两节点所在类C_i，C_j的合并优先级r_i，r_j的大小，若r_i>r_j，则类C_j并入C_i，且重新计合并后的类为C_i，合并后的类C_i的优先级为r_i+1，也重新记为r_i；反之，则类C_i并入C_j，重新计合并后的类为C_j，合并后的类C_j的优先级为r_j+1，重新记为r_j，合并后的类用数学表达式表述为：

$C_x=\left\{\begin{array}{c}{C}_i,r_i>r_j\\ c_j,r_i\&le;r_j\end{array}\right.,$

mInt(C_x)表示合并阈值，初始时mInt(C_x)=mInt(C₁)=k，执行合并操作后，自适应调整合并阈值mInt(C_x)，mInt(C_x)与合并成C_x的两子类C_i和C_j的最大类内距离Int(C_i)和Int(C_j)及C_i和C_j包含的节点数size(C_i)和size(C_j)有关，其中：

$T\left(C_i\right)=\frac{k}{\left|\mathrm{size}\left(C_i\right)\right|}$

$T\left(C_j\right)=\frac{k}{\left|\mathrm{size}\left(C_j\right)\right|}$

$\mathrm{Int}\left(C_i\right)=\underset{v_i,v_j\&Element;C_i}{\max }w(v_i,v_j)$

$\mathrm{Int}\left(C_j\right)=\underset{v_i,v_j\&Element;C_j}{\max }w(v_i,v_j)$

mInt(C_x)=min(Int(C_i)+T(C_i),Int(C_j)+T(C_j))；

若Diff(C_i,C_j)>mInt(C_x)，则C_i,C_j为独立的类；按照权值由小到大重复对类执行合并准则1，得到分割结果将每一类划分为独立的区域，完成初始分割；

③执行合并准则2：

完成初始分割后，针对节点数很少的类执行合并准则2，设定初始合并阈值为k₂，若某一类包含的节点数小于k₂，则将该类合并到在空间上相邻且类间距离最小的类中。

7.根据权利要求6所述的一种改进的基于图和色彩纹理特征的图像分割方法，其特征在于：步骤5）中执行合并准则1时初始阈值k的取值范围为400～500；执行合并准则2时初始合并阈值k₂为150～200。

Images