CN110111348A - 一种基于双层模型的宫廷服饰龙纹自动分割方法 - Google Patents

Abstract

本发明涉及一种基于双层模型的宫廷服饰龙纹自动分割方法，包括：收集宫廷服饰图像，使用图像标注工具将宫廷服饰图像中的龙纹目标标注出来形成数据集，并将数据集划分为训练集和验证集两个部分；使用训练集训练目标检测器；根据训练好的目标检测器输出的龙纹边界框信息初始化算法参数，分别初始化背景和前景的高斯混合模型；根据初始化结果迭代最小化能量函数，即首先对每个像素分配高斯混合模型分量，然后根据给定的图像数据学习高斯混合模型参数，最后通过最小化能量函数估计分割，重复上述步骤直到能量函数收敛。本发明实施例可实现宫廷服饰图像龙纹的自动分割，可获得完整的有语义的分割结果。

Description

一种基于双层模型的宫廷服饰龙纹自动分割方法

技术领域

本发明涉及计算机图像处理技术领域，特别是涉及一种基于双层模型的宫廷服饰龙纹自动分割方法。

背景技术

用户对获得有意义的图案有迫切的需求，使用图像分割技术可以提取出图像中的目标。图像分割是计算机图像处理中最为基础和重要的领域之一，它是由图像处理到图像分析的关键步骤，是各种学者研究的热点之一。

图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，这些区域是具有一定含义的，同一区域内的像素具有某种相似的性质，比如颜色相似。

现有技术中公开了一种基于GrabCut算法的图像交互分割方法，该方法操作简单，用户只需要在想要的目标周围画一个矩形框便可以提取出该目标，分割精度较高，但当要提取的目标物类别确定时且待处理的图像数量庞大，需要一种图像自动分割方法在保证精度的同时实现目标物的自动提取。

发明内容

本发明的目的在于，克服现有技术的上述缺点，提供一种基于双层模型的宫廷服饰龙纹自动分割方法。在自动分割出宫廷服饰龙纹时，可保证分割效果。

本发明提供的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：包括以下步骤：

步骤1、收集若干宫廷服饰图像，使用图像标注工具对宫廷服饰图像中的龙纹目标进行标注得到对应的标注文件，从而获得由宫廷服饰图像和对应标注文件构成的数据集；将数据集划分划为训练集和验证集两个部分；

步骤2、使用训练集训练目标检测器，使用目标检测器对验证集中的宫廷服饰图像进行目标检测，对应的输出每个宫廷服饰图像的龙纹目标的边界框信息；

步骤3、针对每个龙纹目标进行如下处理：

3.1、将龙纹目标边界框外的区域，记为T_B，其他区域，记为T_U，T_B中的每个像素的标签α_n设置为0，T_U中的每个像素的标签α_n设置为1，下标n表示像素的编号；对于两个集合A₀＝{z_n:α_n＝0}和A₁＝{z_n:α_n＝1}，z_n表示第n个像素的像素值，分别用k-means聚类方法初始化背景和前景的高斯混合模型，获得高斯混合模型参数θ(A₀)和θ(A₁)的初值，

θ(A₀)＝{π(A₀,k),μ(A₀,k),Σ(A₀,k),k＝1...K}，

θ(A₁)＝{π(A₁,k),μ(A₁,k),Σ(A₁,k),k＝1...K}，

其中π(A₀,k)表示背景高斯分量k的权重，μ(A₀,k)表示背景高斯分量k的均值，Σ(A₀,k)表示背景高斯分量k的协方差矩阵，π(A₁,k)表示前景高斯分量k的权重，μ(A₁,k)表示前景高斯分量k的均值，Σ(A₁,k)表示前景高斯分量k的协方差，K是高斯分量的数量；

3.2、对T_U内的每个像素分配高斯分量k_n，下标n表示像素的编号，k_n的初始值为k-means聚类结果的类别号，使用以下公式对高斯分量k_n进行更新：

其中，θ_n表示第n个像素所属高斯分量的参数，z_n表示第n个像素的像素值，π(α_n,k_n)表示第n个像素所属高斯分量的权重，Σ(α_n,k_n)表示第n个像素所属高斯分量的协方差矩阵，det表示对矩阵取行列式，μ(α_n,k_n)表示第n个像素所属高斯分量的均值；

3.3、根据高斯混合模型的初始化结果迭代最小化Gibbs能量函数，直到所有像素的标签不再改变；

所述最小化Gibbs能量函数为

其中，

N为像素的数量；[α_n≠α_m]为指示函数，当α_n≠α_m成立时，[α_n≠α_m]＝1，否则[α_n≠α_m]＝0；

C是图像中相邻像素对的集合，γ和β为常数；

3.4、迭代结束后，根据所有像素的标签得到分割结果。

本发明通过基于目标检测器获得宫廷服饰中龙纹目标的边界框，将自动获得边界框替代GrabCut中需要人工交互获得边界框的步骤，从而实现宫廷服饰龙纹的自动分割，且分割效果较好。本发明解决了当待分割图像数量较多时，使用交互分割算法虽然能取得较好的分割结果但费时费力的问题，本发明使用目标检测器生成交互分割算法中所需要的目标框，从而实现图像的自动分割任务并且保证较高的分割精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为发明实施例提供的宫廷服饰龙纹自动分割方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提基于双层模型的宫廷服饰龙纹自动分割方法流程图。该方法的原理为：通过基于深度卷积神经网络的目标检测器获得宫廷服饰中龙纹目标的边界框，将自动获得边界框替代GrabCut中需要人工交互获得边界框的步骤，从而实现宫廷服饰龙纹的自动分割。

具体的，本实施例提基于双层模型的宫廷服饰龙纹自动分割方法包括以下步骤：

S110、收集若干宫廷服饰图像，使用图像标注工具人工目视识别宫廷服饰图像中的龙纹目标进行手工标注得到对应的标注文件，从而获得由宫廷服饰图像和对应标注文件构成的数据集；将数据集划分划为训练集和验证集两个部分。本实施例中，按照7：3的比例随机将所述数据集划分为训练集和验证集两个部分。

S120、使用训练集训练目标检测器，使用目标检测器对验证集中的宫廷服饰图像进行目标检测，对应的输出每个宫廷服饰图像的龙纹目标的边界框信息。本步骤中，通过最小化损失函数训练目标检测器，损失函数收敛后停止训练，然后再使用目标检测器对验证集中的宫廷服饰图像进行目标检测。

具体的，本实施例中使用的是基于深度卷积神经网络的目标检测器，参见论文：(Dai J,Li Y,He K,et al.R-fcn:Object detection via region-based fullyconvolutional networks[A]//Advances in Neural Information Processing Systems[C].Cambridge:MIT Press,2016:379-387.)

S130、针对每个龙纹目标，将龙纹目标边界框外的区域，记为T_B，其他区域，记为T_U，T_B中的每个像素的标签α_n设置为0，T_U中的每个像素的标签α_n设置为1，下标n表示像素的编号；对于两个集合A₀＝{z_n:α_n＝0}和A₁＝{z_n:α_n＝1}，z_n表示第n个像素的像素值，分别用k-means聚类方法初始化背景和前景的高斯混合模型，获得高斯混合模型参数θ(A₀)和θ(A₁)的初值，

θ(A₀)＝{π(A₀,k),μ(A₀,k),Σ(A₀,k),k＝1...K}，

θ(A₁)＝{π(A₁,k),μ(A₁,k),Σ(A₁,k),k＝1...K}，

其中π(A₀,k)表示背景高斯分量k的权重，μ(A₀,k)表示背景高斯分量k的均值，Σ(A₀,k)表示背景高斯分量k的协方差矩阵，π(A₁,k)表示前景高斯分量k的权重，μ(A₁,k)表示前景高斯分量k的均值，Σ(A₁,k)表示前景高斯分量k的协方差，K是高斯分量的数量。

对T_U内的每个像素分配高斯分量k_n，下标n表示像素的编号，k_n的初始值为k-means聚类结果的类别号，使用以下公式对高斯分量k_n进行更新：

其中，θ_n表示第n个像素所属高斯分量的参数，z_n表示第n个像素的像素值，π(α_n,k_n)表示第n个像素所属高斯分量的权重，Σ(α_n,k_n)表示第n个像素所属高斯分量的协方差矩阵，det表示对矩阵取行列式，μ(α_n,k_n)表示第n个像素所属高斯分量的均值。

S130、根据高斯混合模型的初始化结果迭代最小化Gibbs能量函数，直到所有像素的标签不再改变；迭代结束后，根据所有像素的标签得到分割结果。

其中，最小化Gibbs能量函数为

其中，

N为像素的数量；[α_n≠α_m]为指示函数，当α_n≠α_m成立时，[α_n≠α_m]＝1，否则[α_n≠α_m]＝0；

C是图像中相邻像素对的集合，γ和β为常数。γ的取值范围为[30,70]，β的取值范围为[0.01,5]。本实施例中，γ取值为50(请补充)，β取值为3(请补充)。本实施例中，使用min cut算法对Gibbs能量函数的最小化求解。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (7)

1.一种基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：包括以下步骤：

步骤1、收集若干宫廷服饰图像，使用图像标注工具对宫廷服饰图像中的龙纹目标进行标注得到对应的标注文件，从而获得由宫廷服饰图像和对应标注文件构成的数据集；将数据集划分划为训练集和验证集两个部分；

步骤2、使用训练集训练目标检测器，使用目标检测器对验证集中的宫廷服饰图像进行目标检测，对应的输出每个宫廷服饰图像的龙纹目标的边界框信息；

步骤3、针对每个龙纹目标进行如下处理：

3.1、将龙纹目标边界框外的区域，记为T_B，其他区域，记为T_U，T_B中的每个像素的标签α_n设置为0，T_U中的每个像素的标签α_n设置为1，下标n表示像素的编号；对于两个集合A₀＝{z_n:α_n＝0}和A₁＝{z_n:α_n＝1}，z_n表示第n个像素的像素值，分别用k-means聚类方法初始化背景和前景的高斯混合模型，获得高斯混合模型参数θ(A₀)和θ(A₁)的初值，

θ(A₀)＝{π(A₀,k),μ(A₀,k),Σ(A₀,k),k＝1…K}，

θ(A₁)＝{π(A₁,k),μ(A₁,k),Σ(A₁,k),k＝1…K}，

其中π(A₀,k)表示背景高斯分量k的权重，μ(A₀,k)表示背景高斯分量k的均值，Σ(A₀,k)表示背景高斯分量k的协方差矩阵，π(A₁,k)表示前景高斯分量k的权重，μ(A₁,k)表示前景高斯分量k的均值，Σ(A₁,k)表示前景高斯分量k的协方差，K是高斯分量的数量；

3.2、对T_U内的每个像素分配高斯分量k_n，下标n表示像素的编号，k_n的初始值为k-means聚类结果的类别号，使用以下公式对高斯分量k_n进行更新：

其中，θ_n表示第n个像素所属高斯分量的参数，z_n表示第n个像素的像素值，π(α_n,k_n)表示第n个像素所属高斯分量的权重，Σ(α_n,k_n)表示第n个像素所属高斯分量的协方差矩阵，det表示对矩阵取行列式，μ(α_n,k_n)表示第n个像素所属高斯分量的均值；

3.3、根据高斯混合模型的初始化结果迭代最小化Gibbs能量函数，直到所有像素的标签不再改变；

所述最小化Gibbs能量函数为

其中，

N为像素的数量；[α_n≠α_m]为指示函数，当α_n≠α_m成立时，[α_n≠α_m]＝1，否则[α_n≠α_m]＝0；

C是图像中相邻像素对的集合，γ和β为常数；

3.4、迭代结束后，根据所有像素的标签得到分割结果。

2.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：所述步骤1中，使用图像标注工具人工目视识别宫廷服饰图像中的龙纹目标进行手工标注得到对应的标注文件。

3.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：所述步骤1中，按照7：3的比例随机将所述数据集划分为训练集和验证集两个部分。

4.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：所述步骤2中，通过最小化损失函数训练目标检测器，损失函数收敛后停止训练，然后再使用目标检测器对验证集中的宫廷服饰图像进行目标检测。

5.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：步骤3.3中，使用min cut算法对Gibbs能量函数的最小化求解。

6.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：步骤3.3中，γ的取值范围为[30,70]。

7.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：步骤3.3中，β的取值范围为[0.01,5]。