CN109840914B - 一种基于用户交互式的纹理分割方法 - Google Patents

Abstract

本发明公开了一种基于用户交互式的纹理分割方法，包括以下步骤：S1、输入纹理图像，用户通过用户交互式操作进行交互式操作获得纹理图像中的一些种子区域，将纹理图像中的每个像素点看成一个样本，用户对纹理图像中的部分像素点进行标注作标注样本，未标注的像素点作为未标注样本。S2、利用局部频谱直方图对数据集中的每张纹理图像提取特征，具体的表现是图像中的每个像素点都对应一个特征向量；局部频谱直方图提取特征图像；S3、采用稀疏表达技术来构建弱监督下的纹理分割模型，通过迭代求解；S4、根据S3的分割结果，将相邻的区域合并。本发明只需要少量的人工交互，大大节省了时间成本和人力成本。

Description

一种基于用户交互式的纹理分割方法

技术领域

本发明涉及纹理分割领域，特别涉及了一种基于用户交互式的纹理分割方法。

背景技术

在计算机视觉领域，纹理图像的分割与分析任务非常重要，是众多图像分析与视觉应用的基础。然而现实的背景显示这存在非常大的挑战，由于自然纹理图像类型庞杂、形态各异且结构繁杂，同时也因为对人类视觉系统感知纹理的机理认识不足，纹理图像分割一直是图像处理领域的一大难题。纹理区域一般被认为是像素密度的统计空域分布，并且能够被描述评级为细、中、粗糙等。纹理是图像分割的一条重要线索，能够清晰地获得图像的纹理分割，极大地帮助了解多场景下的不同应用，例如海洋岛屿测绘、森林火灾防御、红外遥感图像识别，医学组织图像识别与分割等实用领域。

现有的纹理图像分割技术有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法、基于能量泛函的分割方法、基于图论的分割方法等。一般分割过程是分为两个阶段，在第一个阶段，从原图中通过特征提取方法得到向量值的特征图像。这些特征图像旨在捕捉纹理的局部统计特性和分布模式。很多经典的特征是基于线性滤波器，比如，Gabor滤波器，小波框架，窗口化傅里叶变换，然后通过一个逐点的非线性操作得到的。其余的比较常用的特征有基于局部频谱直方图、形态学滤波器、局部统计描述符、局部二值模式等。在第二个阶段，就是基于特征图像进行分割，常见的选择包括分类和聚类算法(聚类算法常见的有K-means)。

纹理分割任务中，每一张纹理图片是一个分割样本，但是如果把一张图片中的每个像素点看作一个样本，基于用户交互式的纹理分割就是类比于图像分类任务里的半监督场景，即只有一小部分有标签的样本，还有一大部分无标签的样本，基于用户交互式的纹理分割和半监督方法一样遵循着有标签和无标签的样本服从同一分布采样的先验，采用标签传播的方法来给无标签的样本赋予标签，更严格一点，是类似于增量学习的方式，不断提高无标签样本的置信度，将其加入到损失函数中，即采用有标签的数据训练分类器，来给无标签数据伪标签，然后不断将无标签样本和标签数据混合在一起迭代循环分类器，使得分类器的性能越来越好，最终对无标签样本的分类效果越来越好。在现有的纹理图像分割技术中，纯人工分割纹理图像的时间人力成本都非常高；没有任何人工交互的无监督纹理图像分割技术又不太成熟，所得的纹理分割结果又不尽人意。

发明内容

针对在图像中寻找纹理特征区别纹理区域的问题，本发明的目的在于克服现有的纹理分割技术的不足的问题提供一种基于用户交互式的纹理分割方法，提出了一种基于纹理区域识别与分割的新框架，所述方法只需要认为对纹理图像中的部分像素点进行预先标记就可以训练得到具有良好分类能力的分类器，从而为剩下的无标签的像素点标签，相比较于纯人工分割纹理图像，能够在保证好的分割结果的同时有效地节省时间成本；相比于无监督纹理图像分割技术，能得到分割精度更高的结果。

本发明提出的一种基于用户交互式的纹理分割方法，其主要步骤包括：

S1、输入纹理图像，用户进行交互式操作获得输入的纹理图像中的种子区域，将输入纹理图像中的每个像素点作为一个样本，对输入纹理图像中0.1％的像素点进行标注，剩下的像素点作为未标注样本；

S2、利用局部频谱直方图对纹理分割数据库Prague(该数据库中包含有80张512*512的纹理图像)中的每张纹理图像进行提取特征，使图像中的每个像素点都对应一个特征向量；

S3、采用稀疏表达技术来构建用户交互式的纹理分割模型，通过迭代求解，把每一幅图像分割成若干个连通区域；

S4、根据S3初步分割结果，基于空间关系的区域合并技术对纹理分割结果进行改善，将独立成块的、非单个像素的区域进行迭代更新标签，从而使得分割结果更满足纹理图像所应该具有的连通性。

进一步地，步骤S1中的用户交互式操作是指对于在输入纹理图像中的位置(i,j)，用户为该位置标注出一个标签数值k,k＝1:M,M为类标签数目即为输入纹理图像中总的种子区域数目。输入纹理图像中的0.1％像素点(样本)被分配标签，剩下的所有像素点(样本)作为未标注样本。

进一步地，在步骤S2提取特征之前先将将纹理图像从RGB空间转换到L*a*b空间，这是图像处理领域一种常见的颜色空间转换技术(颜色模型L*a*b基于人对颜色的感觉，Lab色彩模型是由亮度(L)和有关色彩的a,b三个要素组成。L表示亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围)。

进一步地，步骤S2的提取过程为：对于一幅图像中的一个局部窗口区域W

(局部窗口区域是一个大小确定的正方形)，用一组确定好参数的滤波器{F^{α},α＝1,2,...K}，K指滤波器的个数，与该局部窗口区域进行卷积，得到一组与滤波器组对应的特征图像组，对其中任意一个特征图像W^{α}，其对应的直方图标记为

然后将所选的滤波器组所得的局部频谱直方图(Local Spectral Histograms)定义为：

若局部窗口区域W的大小为s×s，|W|表示W的基数，则为s²。把该局部窗口区域对应的局部频谱直方图H_W作为该局部窗口区域中心点像素的特征向量；所述局部频谱直方图通过滤波器响应来捕捉局部空间模式，同时通过局部频谱直方图(Local SpectralHistograms)统计数据来获取全局的信息；所述参数包括滤波器的类型，滤波器的尺寸，滤波器的带宽，滤波器的方向。

进一步地，步骤S3的用户交互式的纹理分割模型的损失函数如下：

其中Y表示所有像素点对应的特征向量构建的样本矩阵D，其中，D是所有样本训练出来的字典，C为Y在字典D下的稀疏编码矩阵，C中的每一列C_t是样本矩阵Y中的样本Y_i所对应的稀疏编码即稀疏向量，(t＝1:N*N)。L₁为带标签样本的标签矩阵，标签是one-hot(一位有效编码)形式，W为线性分类器，C₁为有标签样本对应的稀疏编码，α代表有标签样本的分类误差在损失函数(1)中所占的比重，α恒定不变。类似地，L₂为待求解的无标签样本的标签矩阵，C₂为无标签样本对应的稀疏编码，β代表有标签样本的分类误差在损失函数(1)中所占的比重，β会随着迭代过程不断增大，T为每个样本对应的稀疏编码的稀疏度。

纹理分割模型求解得到分割结果其过程是：通过计算出每个像素点属于每一类的概率，组成概率分布向量，像素点对应的哪一类的概率值最大，则该像素点的类标签就是该类的数值k,k＝1:M，由于通过用户交互为一部分像素点分配了类标签(总共有M类)，然后通过对剩余的像素点进行求解，图像中的每个像素都被分配了一个类标签，从而得到了一张和原图大小一样的类标签图，就实现了对纹理图像的分割，其具体流程如下：

1)随机选取样本矩阵Y中的列向量作为字典的原子(D中的一列)来初始化字典D，根据D和Y利用OMP(orthogonal matching pursuit)算法求得稀疏编码矩阵C；

2)利用L₁和C₁通过违逆求解线性方程组求得W；

3)利用W乘以C₂得到L₂；

4)通过违逆求解线性方程组

更新W；

5)利用D-KSVD(Discrimination K-th singular value decomposition)算法求解由有标签样本构成的线性方程；

6)利用D-KSVD算法求解由无标签样本构成的线性方程；

7)利用W*C₂求得无标签样本得无标签样本的标签矩阵L₂的解；

8)基于方程Y＝DC利用K-SVD(K-th singular value decomposition)算法更新字典D；

9)重复流程4)-8)，直到式(1)下降趋于稳定或是达到预设循环次数。

进一步地，所述的S4步骤中的基于空间关系的区域合并技术是指对于S3步骤所得的初步分割结果，每一幅图像的分割结果中会有很多区域，每一个分割区域的面积和其具有最长公共边界的相邻区域的面积的比值被设定为一个指标值，当一个分割区域的指标值低于预先设定的阈值时，将与其具有最长公共边界的相邻区域合并，这样可以将独立成块的、非单个像素的区域进行迭代更新标签，从而使得分割结果更满足纹理图像所应该具有的连通性。

本发明与现有技术相比，具有如下优点和有益效果：

1、纹理图像数据一般较少，所以不适合于用纯有监督的方法去分割训练集和测试集去训练分割模型，但是纯人工分割纹理时间人力成本由太高。因此本发明只需要人工的少量干预来或许少量的标签信息，纹理分割数据库Prague里的每个样本都用来当作测试样本，不需要切分训练集。在只有少量用户信息干预的情况下，本发明比现有的无监督纹理图像分割技术的分割精度都要高，相当于牺牲了少量人力来获取更高的精度，更高的分割精度正是工业流程所需求的。另一方面，相比较于纯人工分割纹理，本发明只需要少量的人工交互，大大节省了时间成本和人力成本。特别是有些纹理之间相似性太高，这更给人工分割纹理带来很大的不便。

2、基于纹理区域内部纹理元的重复性和规律性，本发明采用稀疏表达技术来对整个分割过程建模，因为纹理元的特性非常符合稀疏表达技术里字典中的原子的概念，稀疏表达技术更能捕捉到不同纹理区域之间的区别和联系。

3、在提取纹理的特征时，本发明采用局部频谱直方图来提取特征图像，局部频谱直方图通过滤波器响应来捕捉局部空间模式，同时通过局部频谱直方图统计数据来获取全局的信息。

附图说明

图1是本发明方法的流程图。

图2是本实例用户交互式操作结果的纹理图像。

图3a是本实例输入的纹理图像。

图3b是本实例针对输入的图3a通过分割算法输出的图像。

图4a是是本实例输入的纹理图像。

图4b是本实例针对输入的图4a通过分割算法输出的图像。

图5是本实施例后处理前的图像。

图6是本实施例后处理后的图像。

图7是本实施例输入的图像。

图8是本实施例GroundTruth(真实标签图像)。

图9为本实施例的分割结果。

图10a～图10d为其他方法的分割结果；

图10e是本发明所得的分割结果。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本实例提供了一种基于用户交互式的纹理分割方法，所述方法的方案流程图，如图1所示，包括以下步骤：

S1、输入纹理图像，通过用户交互式操作，在输入纹理图像中的位置(i,j)，用户为该位置标注出一个标签数值k,k＝1:M,M为类标签数目即输入纹理图像中总的种子区域数目，获得纹理图像中的一些种子区域，将输入纹理图像中的每个像素点看成一个样本，用户通过人工干预为输入纹理图像中的0.1％像素点(样本)分配标签，剩下的所有像素点(样本)作为未标注样本，图2下为生成的用户交互下的纹理图像，其中，图中线条状标记代表用户交互式操作的标记，代表已知标签的样本。

S2、利用局部频谱直方图方法对纹理分割数据库Prague中的每张纹理图像提取特征，部分纹理图像如图3a和图4a所示，具体的表现就是图像中的每个像素点都对应一个特征向量。

具体的提取过程为：对于一幅图像中的一个局部窗口区域W(局部窗口区域是一个大小确定的正方形)，用一组确定好参数(参数包括滤波器的类型，滤波器的尺寸，滤波器的带宽，滤波器的方向等参数)的滤波器{F^{α},α＝1,2,...K}与该局部窗口区域进行卷积，K指滤波器的个数，得到一组与滤波器组对应的特征图像组。本实施例中所采用的滤波器的类型是Gabor滤波器和Laplacian ofGaussian滤波器。再对其中任意一个特征图像W^{α}，其对应的直方图标记为

然后将所选的滤波器组所得的局部频谱直方图定义为：

若局部窗口区域W的大小为s×s，|W|表示W的基数，则为s²。把该局部窗口区域对应的局部频谱直方图H_W作为该局部窗口区域中心点像素的特征向量。所述局部频谱直方图通过滤波器响应来捕捉局部空间模式，同时通过局部频谱直方图统计数据来获取全局的信息。

S3、输入的纹理图像有512*512(262144)个像素点，就可以得到512*512(262144)个特征向量样本，因为由户交互式操作所得的部分少量样本(M*25)的标签，所以所有的样本分为少量有标签，其余的样本无标签。基于稀疏表达技术下的弱监督纹理分割模型的损失函数如下：

其中Y表示所有像素点对应的特征向量构建的样本矩阵，D是所有样本训练出来的字典，C为Y在字典D下的稀疏编码矩阵，C中的每一列C_t是样本矩阵Y中的样本Y_i所对应的稀疏编码即稀疏向量，(t＝1:N*N)。L₁为带标签样本的标签矩阵，标签是one-hot(一位有效编码)形式，W为线性分类器，C₁为有标签样本对应的稀疏编码，α代表有标签样本的分类误差在损失函数(1)中所占的比重，α恒定不变。类似地，L₂为待求解的无标签样本的标签矩阵，C₂为无标签样本对应的稀疏编码，β代表有标签样本的分类误差在损失函数(1)中所占的比重，β会随着迭代过程不断增大，T为每个样本对应的稀疏编码的稀疏度。

整个模型求解得到分割结果其过程：在L₂中的一列是一个概率分布向量，选取其中概率值最大的索引作为当前像素点的类标签，若L₂中的一列为[0.2，0.6，0.1]^T,这列对应的像素点的类标签为2，若第二类的概率值最大，L₂中的一列为[0.2,0.1,0.6]^T时，这列对应的像素点的类标签为3，因为第三类的概率值最大。通过用户交互得知所有像素可以分为M类，计算出每个像素点属于每一类的概率，组成概率分布向量，然后看像素点属于哪一类的概率值最大，则该像素点的类标签就是该类的数值k,k＝1:M)由于通过用户交互为一部分像素点分配了类标签，然后通过对剩余的像素点进行求解，图像中的每个像素都被分配了一个类标签，得到了一张和原图大小一样的类标签图，就实现了对纹理图像的分割，其具体步骤如下：

1)随机选取样本矩阵Y中的列向量作为字典的原子(D中的一列)来初始化字典D，根据字典D和样利用OMP算法求得稀疏编码矩阵C；

2)利用L₁和C₁通过违逆求解线性方程组求得W；

3)利用W乘以C₂得到L₂；

4)通过违逆求解线性方程组

更新W；

5)利用D-KSVD算法求解由有标签样本构成的线性方程；

6)利用D-KSVD算法求解由无标签样本构成的线性方程；

7)利用W*C₂求得无标签样本得无标签样本的标签矩阵L₂的解；

8)基于方程Y＝DC利用K-SVD算法更新字典D；

9)重复流程4)-8)，直到式(1)下降趋于稳定或是达到预设循环次数。

S4、根据S3所得的初步分割结果；利用基于空间关系的区域合并技术(是指每一幅纹理图像的分割结果中会有很多区域，每一个分割区域的面积和其具有最长公共边界的相邻区域的面积的比值被设定为一个指标值，当一个分割区域的指标值低于预先设定的阈值时，可以与其具有最长公共边界的相邻区域合并)对纹理分割结果进行改善，将独立成块的、非单个像素的区域进行迭代更新标签，从而使得分割结果更满足纹理图像所应该具有的连通性。最终的分割结果如图3b和图4b，对步骤S3中的结果进行后处理化的前后结果对比如图5和图6所示。

采用Prague纹理分割数据集作为实例例子。Prague由80张纹理图像组成，这些纹理图像是由来自10个不同类别的114种不同纹理组合而成。Prague有彩色纹理和灰度纹理两个版本，每张纹理图像都有其对应的真实标签图像，纹理图像的尺寸为512*512，每张纹理图像中不同纹理区域的数目为3-12个。采用彩色纹理图像作为的实验数据，在提取特征之前，将输入的纹理图像从RGB空间转换到L*a*b空间，在利用局部频谱直方图提取纹理图像的特征时，选取了11个滤波器，滤波器1-3为Laplacian of Gaussian滤波器，其滤波器尺寸和高斯噪声的方差分别为5，0.8；7，1.2；9，1.8；滤波器4-11为Gabor滤波器，其频率和方向分别为3.5，π/2；3.5，0；3.5，π/4；3.5，-π/4；2.5，π/2；2.5，0；2.5，π/4；2.5，-π/4；每个局部区域的直方图的bin(区间)设置为11，以每个像素点为中心，59*59的区域作为每个像素点的特征提取区域。用稀疏表达技术迭代求解D，C,W，L₂时，设置字典的原子数目为纹理图像中不同纹理区域的数目乘以20，每个样本对应的稀疏编码的稀疏度设置为14，α设置为1.5，β初始设置为1，随着迭代次数的增加，每次增加0.01，在迭代求解各变量的时候，迭代次数设置为10。后处理时的区域合并的阈值设置为40，当指标值低于40就执行区域合并操作，图9为本实施例的分割结果。

将本发明的分割结果与其他纹理分割方法所得的分割结果比较，图10a是J.Yuan的“Factorization-based texture segmentation”的分割结果；图10b是C.Panagiotakis的“Texture Segmentation Based on Voting of Blocks,Bayesian Flooding andRegion Merging”的分割结果；图10c是N.Mevenkamp的“Variational multi-phasesegmentation using high-dimensional local features”的分割结果；图10d是M.Kiechle的“Model-Based Learning of Local Image Features for UnsupervisedTexture Segmentation”的结果。图10e是本发明所得的分割结果。从分割结果对比来看，本发明的分割结果明显优于其他方法的分割结果，本发明的分割结果在区域连通性和便于处理方面都更加接近于真实标签图像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围。

Claims (3)

1.一种基于用户交互式的纹理分割方法，其特征在于，所述方法包括以下步骤：

S1、输入纹理图像，用户进行交互式操作获得输入的纹理图像中的种子区域，将输入纹理图像中的每个像素点作为一个样本，对输入纹理图像中设定比例的像素点进行标注，剩下的像素点作为未标注样本；用户交互式操作是指对于在输入的纹理图像中的位置(i,j)，用户为该位置标注出一个标签数值k,k＝1:M,M为类标签数目即输入纹理图像中总的种子区域数目；

S2、利用局部频谱直方图对纹理分割数据库Prague中的每张纹理图像进行提取特征，使图像中的每个像素点都对应一个特征向量；对于一幅图像中的一个局部窗口区域W，用一组确定好参数的滤波器{F^{α},α＝1,2,...K}，的滤波器{F^{α},α＝1,2,...K}，K指滤波器的个数，与该局部窗口区域进行卷积，得到一组与滤波器组对应的特征图像组，对其中任意一个特征图像W^{α}，其对应的直方图标记为

然后将所选的滤波器组所得的局部频谱直方图定义为：

若局部窗口区域W的大小为s×s，|W|表示W的基数，则为s²；把该局部窗口区域对应的局部频谱直方图H_W作为该局部窗口区域中心点像素的特征向量，所述局部频谱直方图通过滤波器响应来捕捉局部空间模式，同时通过局部频谱直方图统计数据来获取全局的信息；所述参数包括滤波器的类型，滤波器的尺寸，滤波器的带宽，滤波器的方向；

S3、采用稀疏表达技术来构建用户交互式的纹理分割模型，通过迭代求解，把每一幅图像分割成若干个连通区域；用户交互式的纹理分割模型的损失函数如下：

在上式(1)中Y表示所有像素点对应的特征向量构建的样本矩阵D，其中，D是所有样本训练出来的字典，C为Y在字典D下的稀疏编码矩阵，C中的每一列C_t是样本矩阵Y中的样本Y_i所对应的稀疏编码即稀疏向量，t＝1:N*N，L₁为带标签样本的标签矩阵，标签是一位有效编码形式，W为线性分类器，C₁为有标签样本对应的稀疏编码，α代表有标签样本的分类误差在纹理分割模型的损失函数(1)中所占的比重，α恒定不变；类似地，L₂为待求解的无标签样本的标签矩阵，C₂为无标签样本对应的稀疏编码，β代表有标签样本的分类误差在纹理分割模型的损失函数(1)中所占的比重，β会随着迭代过程不断增大,T为每个样本对应的稀疏编码的稀疏度；

纹理分割模型求解得到分割结果其过程是：通过计算出每个像素点属于每一类的概率，组成概率分布向量，像素点对应的哪一类的概率值最大，则该像素点的类标签就是该类的数值k，由于通过用户交互为一部分像素点分配了类标签，通过对剩余的像素点进行求解，图像中的每个像素都被分配了一个类标签，从而得到一张和原图大小一样的类标签图，就实现对纹理图像的分割，其具体步骤如下：

1)随机选取样本矩阵Y中的列向量作为字典的原子即D中的一列，来初始化字典D，根据D和Y利用OMP算法求得稀疏编码矩阵C；

2)利用L₁和C₁通过违逆求解线性方程组求得W；

3)利用W乘以C₂得到L₂；

4)通过违逆求解线性方程组

更新W；

5)利用D-KSVD算法求解由有标签样本构成的线性方程；

6)利用D-KSVD算法求解由无标签样本构成的线性方程；

7)利用W*C₂求得无标签样本得无标签样本的标签矩阵L₂的解；

8)基于方程Y＝DC利用K-SVD算法更新字典D；

9)重复流程4)-8)，直到式(1)下降趋于稳定或是达到预设循环次数；

S4、根据S3的初步分割结果，基于空间关系的区域合并技术对纹理分割结果进行改善，将独立成块的、非单个像素的区域进行迭代更新标签，从而使得分割结果更满足纹理图像所应该具有的连通性。

2.根据权利要求1所述的一种基于用户交互式的纹理分割方法，其特征在于：步骤S1所述设定比例为0.1％。

3.根据权利要求1所述的一种基于用户交互式的纹理分割方法，其特征在于，步骤S4的空间关系的区域合并技术为：将每一个分割区域的面积和其具有最长公共边界的相邻区域的面积的比值设定为一个指标值，当一个分割区域的指标值低于预先设定的阈值时，就将该分割区域与其具有最长公共边界的相邻区域合并。

Images