CN103903257A - 基于几何块间隔共生特征和语义信息的图像分割方法 - Google Patents

Abstract

本发明涉及一种基于几何块间隔共生特征和语义信息的图像分割方法。该方法使用初始素描模型得到素描图，以组成素描线的线段为单位构建几何块，然后将几何块映射至原图相应位置并提取基于该几何块的间隔共生矩阵；以每个几何块间隔共生矩阵作为对应线段的特征，利用该特征将素描线分成斑纹语义类别和一般边界类别；对于过分割方法得到的图像超像素，分别利用素描线分类的语义信息指导超像素合并。对于由斑纹语义类别素描线指导合并的超像素，统计这些超像素的颜色均值并根据每个超像素与其邻域超像素在颜色上的共生统计关系进行进一步合并，得到最终的分割结果。

Description

基于几何块间隔共生特征和语义信息的图像分割方法

技术领域

本发明属于图像处理技术领域，涉及一种基于几何块间隔共生特征和语义信息的图像分割方法，可用于图像的处理和识别检测，特别是包含有斑马、老虎等斑纹目标的图像。

背景技术

图像分割是将图像划分成多个具有相似特征区域的技术与过程，是从图像处理到图像理解的关键步骤，是进行目标识别、数据压缩、传递等进一步处理的最基本且关键的技术，所以高质量的分割方法对自然图像处理非常重要。在包含斑马和老虎等目标的图像中，斑马和老虎身上的斑纹具有两种不同的颜色交替重复出现的特点，这一特点使得要把斑马作为一个整体区域分割出来变得比较困难。

现有方法对这类图像的分割，一般是从纹理分割的角度，通过提取图像不同方向和尺度的Gabor纹理特征，结合原图像的颜色信息，组成图像的纹理-颜色特征，根据纹理-颜色特征，利用现有的数学模型建模计算特征间的相似性，通过邻域间的相似性度量进行分割。

但是现有方法在对图像提取纹理特征时需要基于一定的邻域窗口和方向，而自然动物的纹理其大小、方向是随机变化的。因此固定的邻域大小和方向明显是不合适的，如何确定邻域大小和方向是一个需要解决的问题。

发明内容

本发明的从另一种思路出发，解决包含老虎、斑马等目标的自然图像的分割问题。本发明从视觉计算理论出发，提出一种基于几何块间隔共生特征和语义信息的图像分割方法。对于使用初始素描模型得到素描图，素描线刻画了在什么位置和方向上图像出现了奇异，在我们要处理的图像中，主要表示了图像中的斑纹的变化和传统意义的边界变化。利用素描线段的蕴含的语义信息指导超像素合并，达到对图像分割的目的。

为实现上述目的，本发明的技术方案是，提出一种基于几何块间隔共生特征和语义信息的图像分割方法，包括下列步骤，

（1）使用初始素描模型得到自然图像的初始素描图，该初始素描图包括线段集合{S_i,i＝1,2,…,n}，n为线段总数；

（2）在初始素描图中，以线段为单位构建几何块；

（3）将线段几何块映射至原图对应位置，计算线段基于几何块的间隔共生特征，得到线段的特征集合{F₁,F₂,…,F_n}；

（4）根据步骤（3）得到的线段特征集合{F₁,F₂,…,F_n}，利用kmeans方法对特征进行聚类，设定聚类类别数为两类，根据特征聚类的结果，将线段分为一般边界线段和斑纹线段两类，并根据线段分类的结果将素描线分为一般边界素描线和斑纹素描线；

（5）利用过分割方法对原图进行超像素分割，得到超像素集合；根据得到的两类素描线语义信息分别指导超像素合并，得到新的超像素集合；

（6）对于得到的新超像素集合，统计由斑纹素描线指导合并的超像素的颜色均值，并根据直方图统计特性计算这些超像素与其相邻超像素在颜色上的共生统计关系，合并具有共生关系的超像素。

上述步骤（2）包括下列步骤：

2a）构建几何块过程：对于素描图中的任意一条线段S_l，由len_l个点组成，以该素描线段为对称轴，沿线段方向为长，垂直于线段方向为宽，取长为len_l宽为2m+1的矩形区域作为该线段的几何块；

2b）m的值的确定方法：对于素描图中任意一条线段S_l，将线段上的点与图中其他线段的最小距离d_l称为线段的最小距离，若线段的最小距离小于阈值T₁，则m＝d_l，否则m＝T₁；

2c）阈值T₁的确定方法：计算图中每条线段的最小距离，对最小距离进行直方图统计，将直方图的最高峰值点对应的距离作为阈值T₁的值。

上述步骤（3）包括下列步骤：

3a）对于素描图中任意一条线段S_l，其基于线段的共生矩阵记为H_l，H_l是一个G×G维的矩阵，其中，G代表图像中像素值的量化级数，H_l(i,j)代表像素灰度分别为i和j的一对像素出现的次数；

3b）对于素描图中的任意一条线段S_l，将几何块映射至原图的每个通道，在每个通道t下统计几何块内所有沿垂直于线段方向间隔为hs的点的共生关系，得到线段在该通道的共生矩阵H_l ^t，其中hs＝1,2,…,m-1，t＝1,2,3；

3c）对于按照上述得到的线段S_l在通道t下的共生矩阵H_l ^t，按照如下公式进行归一化：

${H_l}^t=\frac{{H_l}^t}{{\mathrm{\Σ}}_{i=1}^G{\mathrm{\Σ}}_{j=1}^G{H_l}^t(i,j)}$

其中：H_l ^t表示线段S_l在t通道下的灰度共生矩阵；

3d）将得到的共生矩阵H_l ^t按照如下的关系将映射为一维向量，作为该线段在t通道的共生特征F_l ^t：

${F_l}^t((i-1)\×G+j)=H_l^t(i,j),i,j=\mathrm{1,2},\·\·\·,G,$

其中一维向量F_l ^t表示线段S_l在t通道的共生特征；

3e）将每条线段三个通道的共生特征按如下方式组合F_l＝[a·F_l ¹b·F_l ²c·F_l ³]，其中a、b、c是组合时三个通道对应的系数；对于素描图中的每条线段按照上述步骤计算，得到线段的共生特征集合{F₁,F₂,…,F_n}。

上述步骤（4）包括下列步骤：

4a）通过聚类，得到两类特征的集合{F₁₁,F₁₂,…,F_1k}和{F₂₁,F₂₂,…,F_2s}，其中，F_1i，F_2i分别代表了分类后每一类的第i个特征；这两类特征的集合对应的聚类中心分别记为center₁，center₂；

4b）按如下公式分别计算每一类特征和其对应聚类中心的平均距离：

${\mathrm{dist}}_c=\frac{\mathrm{\Σ}{\left|\right|F_{\mathrm{cl}}-\mathrm{cente}{r}_c\left|\right|}_2}{{\mathrm{num}}_c},c=\mathrm{1,2}$

其中，c代表聚类后的类别，dist_c代表第c类的特征的平均距离，num_c代表属于第c类的特征的总数；

4c）label代表对应共生线段的类标，若dist₁＜dist₂，则label＝1，否则，label＝2；

4d）对于特征集合{F₁,F₂,…,F_n}中的所有特征，label_l代表特征F_l聚类后的类标，若label_l＝label，则将特征F_l对应的线段S_l加入斑纹线段集合；

4e）将首尾相连的若干条线段级联组成的单元称为素描线，如果组成线段的素描线都属于把斑纹线段集合，则该素描线加入斑纹素描集合，否则将该素描线加入一般边界素描集合。

上述步骤（5）包括如下步骤：

5a）将原图RGB颜色空间转为Lab颜色空间，利用过分割方法对图像进行过分割，将图像分成x个超像素，得到超像素集合{sp₁,sp₂,…,sp_x}；

5b）对于超像素集合中的任意一个超像素sp_l，在原图Lab颜色空间的三个通道上分别计算组成超像素的所有像素值的均值avg，并按如下方式级联，作为该超像素的颜色特征：[avg₁,avg₂,avg₃]，其中1、2、3分别代表三个通道；

5c）对于每一个与斑纹素描线相邻的超像素，如果该超像素与其相邻超像素之间颜色特征的欧式距离小于经验阈值T₂，并且这两个超像素相邻的边界上没有斑纹素描线段，则合并这两个超像素；

5d）对于不与斑纹素描线相邻的超像素，如果该超像素与相邻超像素之间的颜色特征的欧式距离小于经验阈值T₂，且这两个超像素相邻的边界上没有一般边界素描线，则合并这两个超像素；

5d）重复合并，直到没有满足合并条件的超像素，最终得到新的超像素集合{sp₁,sp₂,…,sp_y}。

上述步骤（6）包括如下步骤：

6a）以超像素为单位，对于所有由斑纹素描线指导合并得到的超像素，统计超像素值的直方图，计算该直方图中的波峰数，对于波峰数为2的图像，找到两个波峰之间的最低点，以该点为阈值将超像素分为两类；

6b）对于每一类超像素，计算属于该类的每一个超像素和与其相邻的超像素的共生关系，得到该类和其他类的共生关系统计；

6c）如果存在两类的共生关系具有高统计值，则合并所有位于斑纹素描线间的超像素。

本发明与现有技术相比，具有如下优点：

1、本发明不同于传统方法在图像上利用固定的邻域进行纹理特征提取，利用超像素之间的颜色相似性以及共生关系进行合并，更好的体现了图像数据的特性。

2、本发明利用超像素作为初始分割，并通过合并超像素区域得到最后的分割结果，具有较好的分割边界，和区域一致性。

附图说明

图1是本发明的流程图；

图2是本发明中的仿真实验使用的原图；

图3是对图2使用素描模型得到的素描图；

图4是对图3中所有线段最近距离的统计结果；

图5是通过一条线段得到的几何区域；

图6是基于集合区域计算间隔共生矩阵的示意图；

图7是图3中部分线段的共生矩阵展示；

图8是本发明线段分类结果；

图9是本发明的图像过分割结果；

图10是本发明共生线段与超像素划分的位置关系展示；

图11是本明基于线段语义信息及超像素颜色相似性合并超像素的结果；

图12是本发明超像素合并后超像素在L通道上的灰度统计直方图；

图13是本发明的相邻超像素的共生关系统计直方图；

图14是本发明得到的区域划分结果；

图15是本发明得到的目标分割结果。

具体实施方式

下面结合附图对本发明做进一步描述。

参照图1，本发明的具体实施步骤如下：

步骤1，获取自然图像的初始素描图。

输入如图2所示的一幅自然图像，使用Primalsketch模型获得图像中表示变化的线段，组成该自然图像的初始素描图，该初始素描图包含单像素宽的线段集合{S_i,i＝1,2,...,n}，如图3所示，n表示线段的总数，取值为1709。

步骤2，在初始素描图中，以线段为单位构建几何块，按照如下步骤进行：

2a）构建几何块过程：对于素描图中的任意一条线段S_l，由len_l个点组成，以该素描线段为对称轴，沿线段方向为长，垂直于线段方向为宽，取长为len_l宽为2m+1的矩形区域作为该线段的几何块；

2b）m的值的确定方法：对于素描图中任意一条线段S_l，将线段上的点与图中其他线段的最小距离d_l称为线段的最小距离，若线段的最小距离小于阈值T₁，则m＝d_l，否则m＝T₁；

2c）阈值T₁的确定方法：计算图中每条线段的最小距离，对最小距离进行直方图统计，将直方图的最高峰值点对应的距离作为阈值T₁的值。

在本实施方案中，线段的总数为1709，线段最小距离的统计如图4所示，根据直方图得到的阈值T₁＝4，图5是通过图中一条线段得到的几何块示意图，其中图（a）标示了线段在原初始素描图中的位置，（b）给出了几何块示意图。

步骤3，将线段几何块映射至原图相应位置，计算基于几何块的间隔共生特征，得到线段的特征集合{F₁,F₂,…,F_n}，按如下步骤进行：

3a）对于素描图中任意一条线段S_l，其基于线段的共生矩阵记为H_l，H_l是一个G×G维的矩阵，其中，G代表图像中像素值的量化级数，H_l(i,j)代表像素灰度分别为i和j的一对像素出现的次数；

3b）对于素描图中的任意一条线段S_l，将几何块映射至原图的每个通道，在每个通道t下统计几何块内所有沿垂直于线段方向间隔为hs的点的共生关系，得到线段在该通道的共生矩阵H_l ^t，其中hs＝1,2,…,m-1，t＝1,2,3；

3c）对于按照上述得到的线段S_l在通道t下的共生矩阵H_l ^t，按照如下公式进行归一化：

${H_l}^t=\frac{{H_l}^t}{{\mathrm{\Σ}}_{i=1}^G{\mathrm{\Σ}}_{j=1}^G{H_l}^t(i,j)}$

其中：H_l ^t表示线段S_l在t通道下的灰度共生矩阵；

3d）将得到的共生矩阵H_l ^t按照如下的关系将映射为一维向量，作为该线段在t通道的共生特征F_l ^t：

${F_l}^t((i-1)\×G+j)=H_l^t(i,j),i,j=\mathrm{1,2},\·\·\·,G,$

其中一维向量F_l ^t表示线段S_l在t通道的共生特征；

3e）将每条线段三个通道的共生特征按如下方式组合F_l＝[a·F_l ¹b·F_l ²c·F_l ³]，其中a、b、c是组合时三个通道对应的系数；对于素描图中的每条线段按照上述步骤计算，得到线段的共生特征集合{F₁,F₂,…,F_n}。

图6是本实施方案中一条线段计算间隔共生矩阵的示意图，图7是具有代表性的线段得到的共生矩阵的展示。

步骤4，根据步骤3得到的特征，利用kmeans方法对特征进行聚类，设定聚类类别数为两类，对应的聚类结果如图8所示，根据特征聚类的结果，将线段分为一般边界线段和斑纹线段两类；

4a）通过聚类，得到两类特征的集合{F₁₁,F₁₂,…,F_1k}和{F₂₁,F₂₂,…,F_2s}，其中，F_1i，F_2i分别代表了分类后每一类的第i个特征；这两类特征的集合对应的聚类中心分别记为center₁，center₂；

4b）按如下公式分别计算每一类特征和其对应聚类中心的平均距离：

${\mathrm{dist}}_c=\frac{\mathrm{\Σ}{\left|\right|F_{\mathrm{cl}}-\mathrm{cente}{r}_c\left|\right|}_2}{{\mathrm{num}}_c},c=\mathrm{1,2}$

其中，c代表聚类后的类别，dist_c代表第c类的特征的平均距离，num_c代表属于第c类的特征的总数；

4c）label代表对应共生线段的类标，若dist₁＜dist₂，则label＝1，否则，label＝2；

4d）对于特征集合{F₁,F₂,…,F_n}中的所有特征，label_l代表特征F_l聚类后的类标，若label_l＝label，则将特征F_l对应的线段S_l加入斑纹线段集合；

4e）将首尾相连的若干条线段级联组成的单元称为素描线，如果组成线段的素描线都属于把斑纹线段集合，则该素描线加入斑纹素描集合，否则将该素描线加入一般边界素描集合。

步骤5，利用过分割方法对原图进行超像素分割，得到超像素集合；根据得

到的两类素描线语义信息分别指导超像素合并，得到新的超像素集合；按如

下步骤进行：

5a）将原图RGB颜色空间转为Lab颜色空间，利用过分割方法对图像进行过分割，将图像分成x个超像素，得到超像素集合{sp₁,sp₂,…,sp_x}；在本实施方案中，x＝8142，超像素分割的结果如图9所示；

5b）对于超像素集合中的任意一个超像素sp_l，在原图Lab颜色空间的三个通道上分别计算组成超像素的所有像素值的均值avg，并按如下方式级联，作为该超像素的颜色特征：[avg₁,avg₂,avg₃]，其中1、2、3分别代表三个通道；

5c）对于每一个与斑纹素描线相邻的超像素，如果该超像素与其相邻超像素之间颜色特征的欧式距离小于经验阈值T₂，并且这两个超像素相邻的边界上没有斑纹素描线段，则合并这两个超像素；图10给出了共生素描线段与超像素之间的位置关系，本实施方案中T₂＝15；

5d）对于不与斑纹素描线相邻的超像素，如果该超像素与相邻超像素之间的颜色特征的欧式距离小于经验阈值T₂，且这两个超像素相邻的边界上没有一般边界素描线，则合并这两个超像素；

5d）重复合并，直到没有满足合并条件的超像素，最终得到新的超像素集合{sp₁,sp₂,…,sp_y}，图11是合并后新的超像素分割图示。

步骤6，对于得到的新超像素集合，统计由斑纹素描线指导合并的超像素的颜色均值，并根据直方图统计特性计算这些超像素与其相邻超像素在颜色上的共生统计关系，合并具有共生关系的超像素。

6a）以超像素为单位，对于所有由斑纹素描线指导合并得到的超像素，统计超像素值的直方图，计算该直方图中的波峰数，本实施方案中得到的直方图如图12所示，找到直方图中所有的k个波峰，本实施方案中k=2，我们找到两个波峰，分别位于28和50处，找到两个波峰之间的最低点，为37，以该点为阈值将超像素分为两类，[0,37]为第一类，[38，100]为第二类；

6b）对于每一类超像素，计算属于该类的每一个超像素和与其相邻的超像素的共生关系，得到该类和其他类的共生关系统计，本实施方案得到的共生关系统计矩阵如图12所示；

6c）如果存在两类的共生关系具有高统计值，则合并所有位于斑纹素描线间的超像素，根据图13，我们可以看到第一类和第二类之间的高峰，也就是说这两类超像素在图中是相邻交替出现的，因此将所有与斑纹素描线相邻的超像素合并，最终得到的区域如图14所示，最终分割的结果如图15所示，图中黑色部分表示目标，灰色部分表示背景，背景部分的黑色线条表示背景的划分结果。

Claims (6)

1.基于几何块间隔共生特征和语义信息的图像分割方法，其特征在于：包括下列步骤，

（1）使用初始素描模型得到自然图像的初始素描图，该初始素描图包括线段集合{S_i,i＝1,2,...,n}，n为线段总数；

（2）在初始素描图中，以线段为单位构建几何块；

（3）将线段几何块映射至原图对应位置，计算线段基于几何块的间隔共生特征，得到线段的特征集合{F₁,F₂,…,F_n}；

（4）根据步骤（3）得到的线段特征集合{F₁,F₂,…,F_n}，利用kmeans方法对特征进行聚类，设定聚类类别数为两类，根据特征聚类的结果，将线段分为一般边界线段和斑纹线段两类，并根据线段分类的结果将素描线分为一般边界素描线和斑纹素描线；

（5）利用过分割方法对原图进行超像素分割，得到超像素集合；根据得到的两类素描线语义信息分别指导超像素合并，得到新的超像素集合；

（6）对于得到的新超像素集合，统计由斑纹素描线指导合并的超像素的颜色均值，并根据直方图统计特性计算这些超像素与其相邻超像素在颜色上的共生统计关系，合并具有共生关系的超像素。

2.根据权利要求1所述的图像分割方法，其特征在于：所述步骤（2）包括下列步骤：

2a）构建几何块过程：对于素描图中的任意一条线段S_l，由len_l个点组成，以该素描线段为对称轴，沿线段方向为长，垂直于线段方向为宽，取长为len_l宽为2m+1的矩形区域作为该线段的几何块；

2b）m的值的确定方法：对于素描图中任意一条线段S_l，将线段上的点与图中其他线段的最小距离d_l称为线段的最小距离，若线段的最小距离小于阈值T₁，则m＝d_l，否则m＝T₁；

2c）阈值T₁的确定方法：计算图中每条线段的最小距离，对最小距离进行直方图统计，将直方图的最高峰值点对应的距离作为阈值T₁的值。

3.根据权利要求1所述的图像分割方法，其特征在于：所述步骤（3）包括下列步骤：

3a）对于素描图中任意一条线段S_l，其基于线段的共生矩阵记为H_l，H_l是一个G×G维的矩阵，其中，G代表图像中像素值的量化级数，H_l(i,j)代表像素灰度分别为i和j的一对像素出现的次数；

3b）对于素描图中的任意一条线段S_l，将几何块映射至原图的每个通道，在每个通道t下统计几何块内所有沿垂直于线段方向间隔为hs的点的共生关系，得到线段在该通道的共生矩阵H_l ^t，其中hs＝1,2,…,m-1，t＝1,2,3；

3c）对于按照上述得到的线段S_l在通道t下的共生矩阵H_l ^t，按照如下公式进行归一化：

${H_l}^t=\frac{{H_l}^t}{{\mathrm{\Σ}}_{i=1}^G{\mathrm{\Σ}}_{j=1}^G{H_l}^t(i,j)}$

其中：H_l ^t表示线段S_l在t通道下的灰度共生矩阵；

3d）将得到的共生矩阵H_l ^t按照如下的关系将映射为一维向量，作为该线段在t通道的共生特征F_l ^t：

${F_l}^t((i-1)\×G+j)=H_l^t(i,j),i,j=\mathrm{1,2},\·\·\·,G,$

其中一维向量F_l ^t表示线段S_l在t通道的共生特征；

3e）将每条线段三个通道的共生特征按如下方式组合F_l＝[a·F_l ¹b·F_l ²c·F_l ³]，其中a、b、c是组合时三个通道对应的系数；对于素描图中的每条线段按照上述步骤计算，得到线段的共生特征集合{F₁,F₂,…,F_n}。

4.根据权利要求1所述的图像分割方法，其特征在于：所述步骤（4）包括下列步骤：

4a）通过聚类，得到两类特征的集合{F₁₁,F₁₂,…,F_1k}和{F₂₁,F₂₂,…,F_2s}，其中，F_1i，F_2i分别代表了分类后每一类的第i个特征；这两类特征的集合对应的聚类中心分别记为center₁，center₂；

4b）按如下公式分别计算每一类特征和其对应聚类中心的平均距离：

${\mathrm{dist}}_c=\frac{\mathrm{\Σ}{\left|\right|F_{\mathrm{cl}}-\mathrm{cente}{r}_c\left|\right|}_2}{{\mathrm{num}}_c},c=\mathrm{1,2}$

其中，c代表聚类后的类别，dist_c代表第c类的特征的平均距离，num_c代表属于第c类的特征的总数；

4c）label代表对应共生线段的类标，若dist₁＜dist₂，则label＝1，否则，label＝2；

4d）对于特征集合{F₁,F₂,…,F_n}中的所有特征，label_l代表特征F_l聚类后的类标，若label_l＝label，则将特征F_l对应的线段S_l加入斑纹线段集合；

4e）将首尾相连的若干条线段级联组成的单元称为素描线，如果组成线段的素描线都属于把斑纹线段集合，则该素描线加入斑纹素描集合，否则将该素描线加入一般边界素描集合。

5.根据权利要求1所述的图像分割方法，其特征在于：所述步骤（5）包括如下步骤：

5a）将原图RGB颜色空间转为Lab颜色空间，利用过分割方法对图像进行过分割，将图像分成x个超像素，得到超像素集合{sp₁,sp₂,…,sp_x}；

5b）对于超像素集合中的任意一个超像素sp_l，在原图Lab颜色空间的三个通道上分别计算组成超像素的所有像素值的均值avg，并按如下方式级联，作为该超像素的颜色特征：[avg₁,avg₂,avg₃]，其中1、2、3分别代表三个通道；

5c）对于每一个与斑纹素描线相邻的超像素，如果该超像素与其相邻超像素之间颜色特征的欧式距离小于经验阈值T₂，并且这两个超像素相邻的边界上没有斑纹素描线段，则合并这两个超像素；

5d）对于不与斑纹素描线相邻的超像素，如果该超像素与相邻超像素之间的颜色特征的欧式距离小于经验阈值T₂，且这两个超像素相邻的边界上没有一般边界素描线，则合并这两个超像素；

5d）重复合并，直到没有满足合并条件的超像素，最终得到新的超像素集合{sp₁,sp₂,…,sp_y}。

6.根据权利要求1所述的图像分割方法，其特征在于：所述步骤（6）包括如下步骤：

6a）以超像素为单位，对于所有由斑纹素描线指导合并得到的超像素，统计超像素值的直方图，计算该直方图中的波峰数，对于波峰数为2的图像，找到两个波峰之间的最低点，以该点为阈值将超像素分为两类；

6b）对于每一类超像素，计算属于该类的每一个超像素和与其相邻的超像素的共生关系，得到该类和其他类的共生关系统计；

6c）如果存在两类的共生关系具有高统计值，则合并所有位于斑纹素描线间的超像素。

Images