CN110111348A - 一种基于双层模型的宫廷服饰龙纹自动分割方法 - Google Patents

一种基于双层模型的宫廷服饰龙纹自动分割方法 Download PDF

Info

Publication number
CN110111348A
CN110111348A CN201910281592.1A CN201910281592A CN110111348A CN 110111348 A CN110111348 A CN 110111348A CN 201910281592 A CN201910281592 A CN 201910281592A CN 110111348 A CN110111348 A CN 110111348A
Authority
CN
China
Prior art keywords
dragon
palace
pixel
gaussian
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910281592.1A
Other languages
English (en)
Inventor
赵海英
陈洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910281592.1A priority Critical patent/CN110111348A/zh
Publication of CN110111348A publication Critical patent/CN110111348A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于双层模型的宫廷服饰龙纹自动分割方法，包括：收集宫廷服饰图像，使用图像标注工具将宫廷服饰图像中的龙纹目标标注出来形成数据集，并将数据集划分为训练集和验证集两个部分；使用训练集训练目标检测器；根据训练好的目标检测器输出的龙纹边界框信息初始化算法参数，分别初始化背景和前景的高斯混合模型；根据初始化结果迭代最小化能量函数，即首先对每个像素分配高斯混合模型分量，然后根据给定的图像数据学习高斯混合模型参数，最后通过最小化能量函数估计分割，重复上述步骤直到能量函数收敛。本发明实施例可实现宫廷服饰图像龙纹的自动分割，可获得完整的有语义的分割结果。

Description

一种基于双层模型的宫廷服饰龙纹自动分割方法
技术领域
本发明涉及计算机图像处理技术领域，特别是涉及一种基于双层模型的宫廷服饰龙纹自动分割方法。
背景技术
用户对获得有意义的图案有迫切的需求，使用图像分割技术可以提取出图像中的目标。图像分割是计算机图像处理中最为基础和重要的领域之一，它是由图像处理到图像分析的关键步骤，是各种学者研究的热点之一。
图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，这些区域是具有一定含义的，同一区域内的像素具有某种相似的性质，比如颜色相似。
现有技术中公开了一种基于GrabCut算法的图像交互分割方法，该方法操作简单，用户只需要在想要的目标周围画一个矩形框便可以提取出该目标，分割精度较高，但当要提取的目标物类别确定时且待处理的图像数量庞大，需要一种图像自动分割方法在保证精度的同时实现目标物的自动提取。
发明内容
本发明的目的在于，克服现有技术的上述缺点，提供一种基于双层模型的宫廷服饰龙纹自动分割方法。在自动分割出宫廷服饰龙纹时，可保证分割效果。
本发明提供的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：包括以下步骤：
步骤1、收集若干宫廷服饰图像，使用图像标注工具对宫廷服饰图像中的龙纹目标进行标注得到对应的标注文件，从而获得由宫廷服饰图像和对应标注文件构成的数据集；将数据集划分划为训练集和验证集两个部分；
步骤2、使用训练集训练目标检测器，使用目标检测器对验证集中的宫廷服饰图像进行目标检测，对应的输出每个宫廷服饰图像的龙纹目标的边界框信息；
步骤3、针对每个龙纹目标进行如下处理：
3.1、将龙纹目标边界框外的区域，记为TB，其他区域，记为TU，TB中的每个像素的标签αn设置为0，TU中的每个像素的标签αn设置为1，下标n表示像素的编号；对于两个集合A0＝{zn:αn＝0}和A1＝{zn:αn＝1}，zn表示第n个像素的像素值，分别用k-means聚类方法初始化背景和前景的高斯混合模型，获得高斯混合模型参数θ(A0)和θ(A1)的初值，
θ(A0)＝{π(A0,k),μ(A0,k),Σ(A0,k),k＝1...K}，
θ(A1)＝{π(A1,k),μ(A1,k),Σ(A1,k),k＝1...K}，
其中π(A0,k)表示背景高斯分量k的权重，μ(A0,k)表示背景高斯分量k的均值，Σ(A0,k)表示背景高斯分量k的协方差矩阵，π(A1,k)表示前景高斯分量k的权重，μ(A1,k)表示前景高斯分量k的均值，Σ(A1,k)表示前景高斯分量k的协方差，K是高斯分量的数量；
3.2、对TU内的每个像素分配高斯分量kn，下标n表示像素的编号，kn的初始值为k-means聚类结果的类别号，使用以下公式对高斯分量kn进行更新：
其中，θn表示第n个像素所属高斯分量的参数，zn表示第n个像素的像素值，π(αn,kn)表示第n个像素所属高斯分量的权重，Σ(αn,kn)表示第n个像素所属高斯分量的协方差矩阵，det表示对矩阵取行列式，μ(αn,kn)表示第n个像素所属高斯分量的均值；
3.3、根据高斯混合模型的初始化结果迭代最小化Gibbs能量函数，直到所有像素的标签不再改变；
所述最小化Gibbs能量函数为
其中，
N为像素的数量；[αn≠αm]为指示函数，当αn≠αm成立时，[αn≠αm]＝1，否则[αn≠αm]＝0；
C是图像中相邻像素对的集合，γ和β为常数；
3.4、迭代结束后，根据所有像素的标签得到分割结果。
本发明通过基于目标检测器获得宫廷服饰中龙纹目标的边界框，将自动获得边界框替代GrabCut中需要人工交互获得边界框的步骤，从而实现宫廷服饰龙纹的自动分割，且分割效果较好。本发明解决了当待分割图像数量较多时，使用交互分割算法虽然能取得较好的分割结果但费时费力的问题，本发明使用目标检测器生成交互分割算法中所需要的目标框，从而实现图像的自动分割任务并且保证较高的分割精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为发明实施例提供的宫廷服饰龙纹自动分割方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例提基于双层模型的宫廷服饰龙纹自动分割方法流程图。该方法的原理为：通过基于深度卷积神经网络的目标检测器获得宫廷服饰中龙纹目标的边界框，将自动获得边界框替代GrabCut中需要人工交互获得边界框的步骤，从而实现宫廷服饰龙纹的自动分割。
具体的，本实施例提基于双层模型的宫廷服饰龙纹自动分割方法包括以下步骤：
S110、收集若干宫廷服饰图像，使用图像标注工具人工目视识别宫廷服饰图像中的龙纹目标进行手工标注得到对应的标注文件，从而获得由宫廷服饰图像和对应标注文件构成的数据集；将数据集划分划为训练集和验证集两个部分。本实施例中，按照7：3的比例随机将所述数据集划分为训练集和验证集两个部分。
S120、使用训练集训练目标检测器，使用目标检测器对验证集中的宫廷服饰图像进行目标检测，对应的输出每个宫廷服饰图像的龙纹目标的边界框信息。本步骤中，通过最小化损失函数训练目标检测器，损失函数收敛后停止训练，然后再使用目标检测器对验证集中的宫廷服饰图像进行目标检测。
具体的，本实施例中使用的是基于深度卷积神经网络的目标检测器，参见论文：(Dai J,Li Y,He K,et al.R-fcn:Object detection via region-based fullyconvolutional networks[A]//Advances in Neural Information Processing Systems[C].Cambridge:MIT Press,2016:379-387.)
S130、针对每个龙纹目标，将龙纹目标边界框外的区域，记为TB，其他区域，记为TU，TB中的每个像素的标签αn设置为0，TU中的每个像素的标签αn设置为1，下标n表示像素的编号；对于两个集合A0＝{zn:αn＝0}和A1＝{zn:αn＝1}，zn表示第n个像素的像素值，分别用k-means聚类方法初始化背景和前景的高斯混合模型，获得高斯混合模型参数θ(A0)和θ(A1)的初值，
θ(A0)＝{π(A0,k),μ(A0,k),Σ(A0,k),k＝1...K}，
θ(A1)＝{π(A1,k),μ(A1,k),Σ(A1,k),k＝1...K}，
其中π(A0,k)表示背景高斯分量k的权重，μ(A0,k)表示背景高斯分量k的均值，Σ(A0,k)表示背景高斯分量k的协方差矩阵，π(A1,k)表示前景高斯分量k的权重，μ(A1,k)表示前景高斯分量k的均值，Σ(A1,k)表示前景高斯分量k的协方差，K是高斯分量的数量。
对TU内的每个像素分配高斯分量kn，下标n表示像素的编号，kn的初始值为k-means聚类结果的类别号，使用以下公式对高斯分量kn进行更新：
其中，θn表示第n个像素所属高斯分量的参数，zn表示第n个像素的像素值，π(αn,kn)表示第n个像素所属高斯分量的权重，Σ(αn,kn)表示第n个像素所属高斯分量的协方差矩阵，det表示对矩阵取行列式，μ(αn,kn)表示第n个像素所属高斯分量的均值。
S130、根据高斯混合模型的初始化结果迭代最小化Gibbs能量函数，直到所有像素的标签不再改变；迭代结束后，根据所有像素的标签得到分割结果。
其中，最小化Gibbs能量函数为
其中，
N为像素的数量；[αn≠αm]为指示函数，当αn≠αm成立时，[αn≠αm]＝1，否则[αn≠αm]＝0；
C是图像中相邻像素对的集合，γ和β为常数。γ的取值范围为[30,70]，β的取值范围为[0.01,5]。本实施例中，γ取值为50(请补充)，β取值为3(请补充)。本实施例中，使用min cut算法对Gibbs能量函数的最小化求解。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (7)

1.一种基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：包括以下步骤：
步骤1、收集若干宫廷服饰图像，使用图像标注工具对宫廷服饰图像中的龙纹目标进行标注得到对应的标注文件，从而获得由宫廷服饰图像和对应标注文件构成的数据集；将数据集划分划为训练集和验证集两个部分；
步骤2、使用训练集训练目标检测器，使用目标检测器对验证集中的宫廷服饰图像进行目标检测，对应的输出每个宫廷服饰图像的龙纹目标的边界框信息；
步骤3、针对每个龙纹目标进行如下处理：
3.1、将龙纹目标边界框外的区域，记为TB，其他区域，记为TU，TB中的每个像素的标签αn设置为0，TU中的每个像素的标签αn设置为1，下标n表示像素的编号；对于两个集合A0＝{zn:αn＝0}和A1＝{zn:αn＝1}，zn表示第n个像素的像素值，分别用k-means聚类方法初始化背景和前景的高斯混合模型，获得高斯混合模型参数θ(A0)和θ(A1)的初值，
θ(A0)＝{π(A0,k),μ(A0,k),Σ(A0,k),k＝1…K}，
θ(A1)＝{π(A1,k),μ(A1,k),Σ(A1,k),k＝1…K}，
其中π(A0,k)表示背景高斯分量k的权重，μ(A0,k)表示背景高斯分量k的均值，Σ(A0,k)表示背景高斯分量k的协方差矩阵，π(A1,k)表示前景高斯分量k的权重，μ(A1,k)表示前景高斯分量k的均值，Σ(A1,k)表示前景高斯分量k的协方差，K是高斯分量的数量；
3.2、对TU内的每个像素分配高斯分量kn，下标n表示像素的编号，kn的初始值为k-means聚类结果的类别号，使用以下公式对高斯分量kn进行更新：
其中，θn表示第n个像素所属高斯分量的参数，zn表示第n个像素的像素值，π(αn,kn)表示第n个像素所属高斯分量的权重，Σ(αn,kn)表示第n个像素所属高斯分量的协方差矩阵，det表示对矩阵取行列式，μ(αn,kn)表示第n个像素所属高斯分量的均值；
3.3、根据高斯混合模型的初始化结果迭代最小化Gibbs能量函数，直到所有像素的标签不再改变；
所述最小化Gibbs能量函数为
其中，
N为像素的数量；[αn≠αm]为指示函数，当αn≠αm成立时，[αn≠αm]＝1，否则[αn≠αm]＝0；
C是图像中相邻像素对的集合，γ和β为常数；
3.4、迭代结束后，根据所有像素的标签得到分割结果。
2.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：所述步骤1中，使用图像标注工具人工目视识别宫廷服饰图像中的龙纹目标进行手工标注得到对应的标注文件。
3.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：所述步骤1中，按照7：3的比例随机将所述数据集划分为训练集和验证集两个部分。
4.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：所述步骤2中，通过最小化损失函数训练目标检测器，损失函数收敛后停止训练，然后再使用目标检测器对验证集中的宫廷服饰图像进行目标检测。
5.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：步骤3.3中，使用min cut算法对Gibbs能量函数的最小化求解。
6.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：步骤3.3中，γ的取值范围为[30,70]。
7.根据权利要求1所述的基于双层模型的宫廷服饰龙纹自动分割方法，其特征在于：步骤3.3中，β的取值范围为[0.01,5]。
CN201910281592.1A 2019-04-09 2019-04-09 一种基于双层模型的宫廷服饰龙纹自动分割方法 Pending CN110111348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910281592.1A CN110111348A (zh) 2019-04-09 2019-04-09 一种基于双层模型的宫廷服饰龙纹自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910281592.1A CN110111348A (zh) 2019-04-09 2019-04-09 一种基于双层模型的宫廷服饰龙纹自动分割方法

Publications (1)

Publication Number Publication Date
CN110111348A true CN110111348A (zh) 2019-08-09

Family

ID=67484019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910281592.1A Pending CN110111348A (zh) 2019-04-09 2019-04-09 一种基于双层模型的宫廷服饰龙纹自动分割方法

Country Status (1)

Country Link
CN (1) CN110111348A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555855A (zh) * 2019-09-06 2019-12-10 聚好看科技股份有限公司 一种基于GrabCut算法的图像分割方法及显示设备
CN111539993A (zh) * 2020-04-13 2020-08-14 中国人民解放军军事科学院国防科技创新研究院 基于分割的空间目标视觉跟踪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295556A (zh) * 2016-08-09 2017-01-04 中国科学院遥感与数字地球研究所 一种基于小型无人机航拍图像的道路检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295556A (zh) * 2016-08-09 2017-01-04 中国科学院遥感与数字地球研究所 一种基于小型无人机航拍图像的道路检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵海英: "基于双层模型的宫廷服饰龙纹自动分割算法研究", 《图学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555855A (zh) * 2019-09-06 2019-12-10 聚好看科技股份有限公司 一种基于GrabCut算法的图像分割方法及显示设备
CN111539993A (zh) * 2020-04-13 2020-08-14 中国人民解放军军事科学院国防科技创新研究院 基于分割的空间目标视觉跟踪方法

Similar Documents

Publication Publication Date Title
Charles et al. Automatic and efficient human pose estimation for sign language videos
CN104537676B (zh) 一种基于在线学习的渐进式图像分割方法
CN104268593B (zh) 一种小样本情况下多稀疏表示的人脸识别方法
Meng et al. Image cosegmentation by incorporating color reward strategy and active contour model
CN102651128B (zh) 一种基于采样的图像集分割方法
CN109409384A (zh) 基于细粒度图像的图像识别方法、装置、介质及设备
CN110717896A (zh) 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN104899877A (zh) 基于超像素和快速三分图的图像前景提取方法
CN105260738A (zh) 基于主动学习的高分辨率遥感影像变化检测方法及系统
CN102810158A (zh) 一种基于多尺度语义模型的高分辨率遥感目标提取方法
Luo et al. Global salient information maximization for saliency detection
CN111046886A (zh) 号码牌自动识别方法、装置、设备及计算机可读存储介质
CN104881639B (zh) 一种基于层次tdp模型的人脸检测、分割和表情识别方法
CN109087330A (zh) 一种基于由粗到精图像分割的运动目标检测方法
CN103886619A (zh) 一种融合多尺度超像素的目标跟踪方法
CN111062928A (zh) 一种医学ct图像中病变的识别方法
Huang et al. RepSnapping: Efficient image cutout for repeated scene elements
CN103400155A (zh) 基于图半监督学习的色情视频检测方法
CN110111348A (zh) 一种基于双层模型的宫廷服饰龙纹自动分割方法
CN112926379A (zh) 一种构建人脸识别模型的方法及装置
CN107657276B (zh) 一种基于寻找语义类簇的弱监督语义分割方法
Parag et al. Efficient classifier training to minimize false merges in electron microscopy segmentation
CN104680189A (zh) 基于改进词袋模型的不良图像检测方法
CN106066887A (zh) 一种广告序列图像快速检索和分析方法
Zhu et al. Multiple human identification and cosegmentation: A human-oriented CRF approach with poselets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190809

WD01 Invention patent application deemed withdrawn after publication