CN108805163A - 衣服图像自动标注方法 - Google Patents
衣服图像自动标注方法 Download PDFInfo
- Publication number
- CN108805163A CN108805163A CN201810392122.8A CN201810392122A CN108805163A CN 108805163 A CN108805163 A CN 108805163A CN 201810392122 A CN201810392122 A CN 201810392122A CN 108805163 A CN108805163 A CN 108805163A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- training
- label
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种衣服图像自动标注方法，步骤1，提取图像的显著区域；步骤2，提取图像的SIFT特征，利用K‑均值聚类得到视觉词汇，并根据训练图像的SIFT特征是否位于显著区域进行不同的加权运算得到视觉词汇的词袋表示；步骤3，利用支持向量机训练分类模型实现图像分类和标注。本发明与现有技术相比，具有以下优点和效果：本发明很大程度的解放大量人力成本，直接定位衣服颜色，提高数据标注准确性，减少因为主观因素引起的错误标注。
Description
技术领域
本发明涉及一种衣服图像自动标注方法。
背景技术
目前主要是依靠大量人工进行衣服标注，这种标注过程存在以下问题：
1、由于衣服图像底层视觉特征和高层语义概念之间普遍存在理解偏差，人工标注衣服图像已经难以满足用户需求；
2、整个标注过程非常复杂，数据量特别多的时候，需要人工劳动力会特别大不仅费时费力，还存在很大的主观性；
3、在衣服数据标注过程中，由于标注人员的精力有限或者标注人员的主观性等因素，导致无法保证标注数据的百分百准确性，即无法判断标注的质量，需要人工监督。
因此，大量数据的标注过程是一个非常耗时且难以保证准确率的任务。
发明内容
本发明的目的在于提供一种衣服图像自动标注方法，提高数据标注准确性。
本发明提供一种衣服图像自动标注方法，步骤1，提取图像的显著区域；步骤2，提取图像的SIFT特征，利用K-均值聚类得到视觉词汇，并根据训练图像的SIFT特征是否位于显著区域进行不同的加权运算得到视觉词汇的词袋表示；步骤3，利用支持向量机训练分类模型实现图像分类和标注。
进一步的，所述步骤1中，对源图像用显著对象检测方法对图像进行清晰度判断，当图像中存在子区域之间的清晰度差异时，则用非清晰区域抑制方法提取图像的显著区域；当图像中不存在清晰度差异时，则用多特征融合的显著检测模型计算图像的显著图，然后根据显著图提取图像的显著区域。
进一步的，所述步骤2中，对于自然场景图像分类代表集中的每幅图像采用网格采样方法进行网格采样，得到每幅图像的网格采样点；对每幅图像的每一个网格采样点SP采用SIFT特征提取方法提取SIFT特征；使用K-均值聚类算法对自然场景图像分类代表集上的所有网格采样点的SIFT特征进行聚类，每个聚类中心的取值对应一个视觉词汇，保存这K个聚类中心的取值和其对应的视觉词汇编号即构成通用视觉词汇表，K为自然数。
进一步的，所述步骤3中包括初始样本选择及分类器模型训练和基于最优标号和次优标号的主动学习样本选择。
进一步的，初始样本选择及分类器模型训练：从未标注样本集中随机选择一部分图像进行人工标注，以这一部分带有类别标号信息的样本作为训练样本，训练支持向量机分类器的分类模型。
进一步的，基于最优标号和次优标号的主动学习样本选择：根据支持向量机分类器的分类模型，利用基于最优标号和次优标号的主动学习准则选择分类不确定性最高的一部分样本，由用户对这一部分样本进行人工标注。
进一步的，所述步骤3包括以下步骤：①初始样本选择及分类器模型训练：从未标注样本集中随机选择一部分图像进行人工标注，以这一部分带有类别标号信息的样本作为训练样本，训练支持向量机分类器的分类模型；②基于最优标号和次优标号的主动学习样本选择：根据支持向量机分类器的分类模型，利用基于最优标号和次优标号的主动学习准则选择分类不确定性最高的一部分样本，由用户对这一部分样本进行人工标注；③带约束条件的自训练半监督学习：对图像集中剩余的未标注样本，根据当前的分类器模型计算其最优标号的概率，并计算其余训练样本集中所有由用户人工标注的样本之间的距离，通过带约束条件的自训练半监督学习选择一部分样本，将这一部分样本的最优标号作为其类别标号；④训练样本集及分类器模型更新：将步骤②和步骤③中选出的样本，连同已经获得的类别标号，加入到当前训练样本集，对训练样本集进行更新，用更新后的训练样本集重新训练支持向量机分类器模型；⑤分类过程迭代：利用步骤④中所得支持向量机的分类模型，对测试图像集中的图像的类别标号进行预测，对输出分类结果进行迭代，直到测试图像集上的分类准确率满足分类精度要求。
进一步的，所述步骤②中，基于最优标号和次优标号的主动学习样本选择进一步包括以下子步骤：根据当前支持向量机分类器的分类模型，对未标注样本集的每个样本的类别进行预测，得到其属于各个可能的类别的概率；计算样本的最优标号的概率与次优标号的概率，利用基于最优标号和次优标号的主动学习准则选择两者差值最小的一部分样本，由用户对这一部分样本进行人工标注。
进一步的，所述步骤③中，带约束条件的自训练半监督学习进一步包括以下子步骤：对图像集中剩余的未标注样本，根据当前的分类器模型计算其最优标号的概率，并计算其与训练样本集中所有由用户人工标注的样本之间的距离；通过阈值约束和空间位置关系约束这两个约束，选择一部分满足条件的样本；将上述样本按照其各自对应的最优标号的概率从小到大进行排列，选择一部分最靠前的样本，根据当前的分类器模型进行自动标注。
本发明与现有技术相比，具有以下优点和效果：本发明很大程度的解放大量人力成本，直接定位衣服颜色，提高数据标注准确性，减少因为主观因素引起的错误标注。
具体实施方式
为了提高图像自动标注的准确率，本发明提出了一种衣服图像自动标注方法。
首先提取图像的显著区域，对源图像用显著对象检测方法对图像进行清晰度判断，当图像中存在子区域之间的清晰度差异时，则用非清晰区域抑制方法提取图像的显著区域；当图像中不存在清晰度差异时，则用多特征融合的显著检测模型计算图像的显著图，然后根据显著图提取图像的显著区域。
然后提取图像的SIFT特征，利用K-均值聚类得到视觉词汇，并根据训练图像的SIFT特征是否位于显著区域进行不同的加权运算得到视觉词汇的词袋表示，对于自然场景图像分类代表集中的每幅图像采用网格采样方法进行网格采样，得到每幅图像的网格采样点SP，方法是：对输入图像Ig按M×M像素大小的网格进行采样，其中M为2的整数次幂；对每幅图像的每一个网格采样点SP，采用SIFT特征提取方法提取SIFT特征：在采样点SP周围P×P像素大小的区域上计算梯度方向直方图得到SIFT特征，该SIFT特征是一个128维向量，P为自然数，取值范围为8-20；使用K均值聚类算法对自然场景图像分类代表集上的所有网格采样点的SIFT特征进行聚类，每个聚类中心的取值对应一个视觉词汇，保存这K个聚类中心的取值和其对应的视觉词汇编号即构成通用视觉词汇表，K为自然数。
最后利用支持向量机训练分类模型实现图像分类和标注。初始样本选择及分类器模型训练：从未标注样本集中随机选择一部分图像进行人工标注，以这一部分带有类别标号信息的样本作为训练样本，训练支持向量机分类器的分类模型；基于最优标号和次优标号的主动学习样本选择：根据支持向量机分类器的分类模型，利用基于最优标号和次优标号的主动学习准则选择分类不确定性最高的一部分样本，由用户对这一部分样本进行人工标注。
所述步骤3包括以下步骤：①初始样本选择及分类器模型训练：从未标注样本集中随机选择一部分图像进行人工标注，以这一部分带有类别标号信息的样本作为训练样本，训练支持向量机分类器的分类模型；②基于最优标号和次优标号的主动学习样本选择：根据支持向量机分类器的分类模型，利用基于最优标号和次优标号的主动学习准则选择分类不确定性最高的一部分样本，由用户对这一部分样本进行人工标注；③带约束条件的自训练半监督学习：对图像集中剩余的未标注样本，根据当前的分类器模型计算其最优标号的概率，并计算其余训练样本集中所有由用户人工标注的样本之间的距离，通过带约束条件的自训练半监督学习选择一部分样本，将这一部分样本的最优标号作为其类别标号；④训练样本集及分类器模型更新：将步骤②和步骤③中选出的样本，连同已经获得的类别标号，加入到当前训练样本集，对训练样本集进行更新，用更新后的训练样本集重新训练支持向量机分类器模型；⑤分类过程迭代：利用步骤④中所得支持向量机的分类模型，对测试图像集中的图像的类别标号进行预测，对输出分类结果进行迭代，直到测试图像集上的分类准确率满足分类精度要求。
步骤②中，基于最优标号和次优标号的主动学习样本选择进一步包括以下子步骤：根据当前支持向量机分类器的分类模型，对未标注样本集的每个样本的类别进行预测，得到其属于各个可能的类别的概率；计算样本的最优标号的概率与次优标号的概率，利用基于最优标号和次优标号的主动学习准则选择两者差值最小的一部分样本，由用户对这一部分样本进行人工标注。
步骤③中，带约束条件的自训练半监督学习进一步包括以下子步骤：对图像集中剩余的未标注样本，根据当前的分类器模型计算其最优标号的概率，并计算其与训练样本集中所有由用户人工标注的样本之间的距离；通过阈值约束和空间位置关系约束这两个约束，选择一部分满足条件的样本；将上述样本按照其各自对应的最优标号的概率从小到大进行排列，选择一部分最靠前的样本，根据当前的分类器模型进行自动标注。
在一个包含1255幅Corel图像的数据库进行实验，所提方法标注的准确率与整体考虑整幅图像特征相比有很大提高，表明提出的算法优于传统方法。
图像显著区域提取就是寻找图像中可能引起人眼视觉关注的区域，图像的显著区域往往能描述整幅图像的含义。合理利用图像的显著区域的特征能够提高标注的准确率。
为了更好的实现衣服图像检索技术，衣服图像自动语义标注越来越占据着举足轻重的作用。衣服图像自动标注技术中，采用训练好的分类器模型为底层视觉特征和高层语义概念建立联系，待标注服装图像则可根据建立好的联系模型实现服装图像的自动标注。主要包括颜色特征和纹理特征两方面的视觉特征的提取和算法描述，将提取的视觉特征归并融合为一个综合特征向量作为实验数据。然后通过研究支持向量机的原理和技术，并且在大量实验的基础上，提出了一种基于多核SVM衣服图像自动标注方法，并结合交叉验证法调优参数，实现了一个基于SVM的衣服图像分类和标注系统，此系统明显提高了服装图像自动标注的准确率。
Claims (9)
1.衣服图像自动标注方法，其特征在于：步骤1，提取图像的显著区域；步骤2，提取图像的SIFT特征，利用K-均值聚类得到视觉词汇，并根据训练图像的SIFT特征是否位于显著区域进行不同的加权运算得到视觉词汇的词袋表示；步骤3，利用支持向量机训练分类模型实现图像分类和标注。
2.如权利要求1所述的衣服图像自动标注方法，其特征在于：所述步骤1中，对源图像用显著对象检测方法对图像进行清晰度判断，当图像中存在子区域之间的清晰度差异时，则用非清晰区域抑制方法提取图像的显著区域；当图像中不存在清晰度差异时，则用多特征融合的显著检测模型计算图像的显著图，然后根据显著图提取图像的显著区域。
3.如权利要求1所述的衣服图像自动标注方法，其特征在于：所述步骤2中，对于自然场景图像分类代表集中的每幅图像采用网格采样方法进行网格采样，得到每幅图像的网格采样点；对每幅图像的每一个网格采样点SP采用SIFT特征提取方法提取SIFT特征；使用K-均值聚类算法对自然场景图像分类代表集上的所有网格采样点的SIFT特征进行聚类，每个聚类中心的取值对应一个视觉词汇，保存这K个聚类中心的取值和其对应的视觉词汇编号即构成通用视觉词汇表，K为自然数。
4.如权利要求1所述的衣服图像自动标注方法，其特征在于：所述步骤3中包括初始样本选择及分类器模型训练和基于最优标号和次优标号的主动学习样本选择。
5.如权利要求4所述的衣服图像自动标注方法，其特征在于：初始样本选择及分类器模型训练：从未标注样本集中随机选择一部分图像进行人工标注，以这一部分带有类别标号信息的样本作为训练样本，训练支持向量机分类器的分类模型。
6.如权利要求4所述的衣服图像自动标注方法，其特征在于：基于最优标号和次优标号的主动学习样本选择：根据支持向量机分类器的分类模型，利用基于最优标号和次优标号的主动学习准则选择分类不确定性最高的一部分样本，由用户对这一部分样本进行人工标注。
7.如权利要求4所述的衣服图像自动标注方法，其特征在于：所述步骤3包括以下步骤：①初始样本选择及分类器模型训练：从未标注样本集中随机选择一部分图像进行人工标注，以这一部分带有类别标号信息的样本作为训练样本，训练支持向量机分类器的分类模型；②基于最优标号和次优标号的主动学习样本选择：根据支持向量机分类器的分类模型，利用基于最优标号和次优标号的主动学习准则选择分类不确定性最高的一部分样本，由用户对这一部分样本进行人工标注；③带约束条件的自训练半监督学习：对图像集中剩余的未标注样本，根据当前的分类器模型计算其最优标号的概率，并计算其余训练样本集中所有由用户人工标注的样本之间的距离，通过带约束条件的自训练半监督学习选择一部分样本，将这一部分样本的最优标号作为其类别标号；④训练样本集及分类器模型更新：将步骤②和步骤③中选出的样本，连同已经获得的类别标号，加入到当前训练样本集，对训练样本集进行更新，用更新后的训练样本集重新训练支持向量机分类器模型；⑤分类过程迭代：利用步骤④中所得支持向量机的分类模型，对测试图像集中的图像的类别标号进行预测，对输出分类结果进行迭代，直到测试图像集上的分类准确率满足分类精度要求。
8.如权利要求7所述的衣服图像自动标注方法，其特征在于：所述步骤②中，基于最优标号和次优标号的主动学习样本选择进一步包括以下子步骤：根据当前支持向量机分类器的分类模型，对未标注样本集的每个样本的类别进行预测，得到其属于各个可能的类别的概率；计算样本的最优标号的概率与次优标号的概率，利用基于最优标号和次优标号的主动学习准则选择两者差值最小的一部分样本，由用户对这一部分样本进行人工标注。
9.如权利要求7所述的衣服图像自动标注方法，其特征在于：所述步骤③中，带约束条件的自训练半监督学习进一步包括以下子步骤：对图像集中剩余的未标注样本，根据当前的分类器模型计算其最优标号的概率，并计算其与训练样本集中所有由用户人工标注的样本之间的距离；通过阈值约束和空间位置关系约束这两个约束，选择一部分满足条件的样本；将上述样本按照其各自对应的最优标号的概率从小到大进行排列，选择一部分最靠前的样本，根据当前的分类器模型进行自动标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810392122.8A CN108805163A (zh) | 2018-04-27 | 2018-04-27 | 衣服图像自动标注方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810392122.8A CN108805163A (zh) | 2018-04-27 | 2018-04-27 | 衣服图像自动标注方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108805163A true CN108805163A (zh) | 2018-11-13 |
Family
ID=64093451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810392122.8A Withdrawn CN108805163A (zh) | 2018-04-27 | 2018-04-27 | 衣服图像自动标注方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805163A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334633A (zh) * | 2019-06-27 | 2019-10-15 | 北京御航智能科技有限公司 | 识别巡检数据并更新识别模型的方法、装置及存储介质 |
| CN110880021A (zh) * | 2019-11-06 | 2020-03-13 | 创新奇智(北京)科技有限公司 | 模型辅助式数据标注系统及标注方法 |
-
2018
- 2018-04-27 CN CN201810392122.8A patent/CN108805163A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334633A (zh) * | 2019-06-27 | 2019-10-15 | 北京御航智能科技有限公司 | 识别巡检数据并更新识别模型的方法、装置及存储介质 |
| CN110880021A (zh) * | 2019-11-06 | 2020-03-13 | 创新奇智(北京)科技有限公司 | 模型辅助式数据标注系统及标注方法 |
| CN110880021B (zh) * | 2019-11-06 | 2021-03-16 | 创新奇智(北京)科技有限公司 | 模型辅助式数据标注系统及标注方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107067025B (zh) | 一种基于主动学习的文本数据自动标注方法 | |
| CN106650806B (zh) | 一种用于行人检测的协同式深度网络模型方法 | |
| CN106096661B (zh) | 基于相对属性随机森林的零样本图像分类方法 | |
| CN104156734B (zh) | 一种基于随机蕨分类器的全自主在线学习方法 | |
| CN111540006B (zh) | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 | |
| CN108171184A (zh) | 基于Siamese网络的用于行人重识别的方法 | |
| CN109344905A (zh) | 一种基于集成学习的输电设备自动故障识别方法 | |
| CN107122375A (zh) | 基于图像特征的图像主体的识别方法 | |
| CN109978918A (zh) | 一种轨迹追踪方法、装置和存储介质 | |
| CN109919243A (zh) | 一种基于cnn的废钢铁种类自动识别方法及装置 | |
| CN110472494A (zh) | 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质 | |
| CN105574063A (zh) | 基于视觉显著性的图像检索方法 | |
| CN107506793A (zh) | 基于弱标注图像的服装识别方法及系统 | |
| CN102034107B (zh) | 基于鲁棒视觉注意特征与稀疏表示的不良图像判别方法 | |
| CN103886030B (zh) | 基于代价敏感决策树的信息物理融合系统数据分类方法 | |
| CN109934255A (zh) | 一种适用于饮料瓶回收机投递物分类识别的模型融合方法 | |
| CN104268552B (zh) | 一种基于部件多边形的精细类别分类方法 | |
| CN104331716A (zh) | 面向大规模训练数据的svm主动学习分类算法 | |
| CN104680193B (zh) | 基于快速相似性网络融合算法的在线目标分类方法与系统 | |
| CN105938565A (zh) | 基于多层分类器和互联网图像辅助训练的彩色图像情感分类方法 | |
| CN109766935A (zh) | 一种基于超图p-Laplacian图卷积神经网络的半监督分类方法 | |
| CN108898225A (zh) | 基于人机协同学习的数据标注方法 | |
| CN109086825A (zh) | 一种基于模型自适应选择的多分类模型融合方法 | |
| CN101398846A (zh) | 基于局部颜色空间特征的图像语义概念检测的方法 | |
| CN107977670A (zh) | 决策树和贝叶斯算法的突发事件分类分级方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181113 |