CN112581528B - 一种基于主动学习的衣物关键点辅助标注及预测优化方法 - Google Patents

一种基于主动学习的衣物关键点辅助标注及预测优化方法 Download PDF

Info

Publication number
CN112581528B
CN112581528B CN202011556709.1A CN202011556709A CN112581528B CN 112581528 B CN112581528 B CN 112581528B CN 202011556709 A CN202011556709 A CN 202011556709A CN 112581528 B CN112581528 B CN 112581528B
Authority
CN
China
Prior art keywords
clothes
key point
key points
confidence
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011556709.1A
Other languages
English (en)
Other versions
CN112581528A (zh
Inventor
温才镇
施煜锴
杨志景
凌永权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011556709.1A priority Critical patent/CN112581528B/zh
Publication of CN112581528A publication Critical patent/CN112581528A/zh
Application granted granted Critical
Publication of CN112581528B publication Critical patent/CN112581528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种基于主动学习的衣物关键点辅助标注及预测优化方法，包括：根据衣物图像数据构建初始带标签数据集和无标签数据测试集；构建衣物关键点预测网络并利用初始带标签数据集进行训练，得到训练后的衣物关键点预测网络；将无标签数据测试集作为训练后的衣物关键点预测网络的输入，使用主动学习策略判断关键点是否需要人工标签；根据判断结果对图像关键点进行标注。本发明提供的衣物关键点辅助标注及预测优化方法，将主动学习策略应用到衣物关键点预测网络中，实现了对衣物图像上的关键点的标注，解决了现有方法无法直接应用于图像相关的深度学习任务的问题，大大降低了衣物关键点标注所需要的人力工作量，实现高效的衣物数据库建立。

Description

一种基于主动学习的衣物关键点辅助标注及预测优化方法
技术领域
本发明涉及深度学习的数据标注技术领域，更具体的，涉及一种基于主动学习的衣物关键点辅助标注及预测优化方法。
背景技术
随着社会生活水平的提高和电子商务平台的快速发展，消费者们选购衣物方式的多样化趋势增强，面对消费者选购衣物的多样化需求以及良好购衣体验的需要。目前各类电商开发了各类的衣物选购辅助工具，例如淘宝的拍立淘，小红书的试衣间等应用。这些应用的本质大部分是基于深度学习的神经网络对衣物图片进行定位与分割，然后进行完成衣物检索，实时换衣等衣物分析任务。这些功能需要神经网络基于大型衣物图片数据库进行训练，而大型衣物图片数据库的建立不仅依赖于衣物图片的收集，还需要人工进行衣物图片中具体的关键点标注，从而帮助神经网络学习到衣物的位置等关键信息，使神经网络经过训练后达到良好的性能。
衣物关键点预测是目前神经网络应用在衣物分析任务上的基础问题。其关键作用在于定位衣物的功能性关键点的准确坐标。从而为更细化的衣物任务例如衣物检索，在线换衣等提供衣物的位置信息。但是传统的衣物关键点的标注是一个成本高昂，并且需要大量人工参与的过程。因此，利用主动学习的方法，降低衣物关键点的标注成本，对于大型衣物数据集的建立从而实现更好的衣物检索，实时换衣等应用，是一项十分具有使用意义的问题。
主动学习的基本方法如下：首先使用少量带标签样本对神经网络进行训练得到预训练模型；然后将无标签的样本输入预训练模型，得到预测结果后通过策略函数计算样本的标注置信度，根据样本的标注置信度决定该样本是否进行标注。
主动学习技术由于能够在降低数据成本的情况下能够辅助神经网络实现高效训练并且保证神经网络的性能等优点，近年来不少学者都投入其中进行研究。然而，针对不同的任务特点，选择不同的主动学习策略降低数据标注成本却一直是主动学习领域研究的难点和热点。公开号为CN111400617A的中国发明专利于2020年9月8日公开了基于主动学习的社交机器人检测数据集扩展方法及系统，以熵值计算函数作为主动学习的主要策略，对从微博中爬取的数据进行选择性标注，从而降低数据集标注的成本。然而其重点侧重于将主动学习利用在文本信息标签的优化中，在面对图像相关的深度学习任务时无法直接应用。
发明内容
本发明为克服现有的衣物关键点辅助标注方法存在无法直接应用于图像相关的深度学习任务的技术缺陷，提供一种基于主动学习的衣物关键点辅助标注及预测优化方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于主动学习的衣物关键点辅助标注及预测优化方法，包括以下步骤：
S1：根据衣物图像数据构建初始带标签数据集和无标签数据测试集；
S2：构建衣物关键点预测网络并利用初始带标签数据集进行训练，得到训练后的衣物关键点预测网络；
S3：将无标签数据测试集作为训练后的衣物关键点预测网络的输入，使用主动学习策略判断关键点是否需要人工标签；
S4：根据判断结果对图像关键点进行标注，完成衣物关键点辅助标注。
上述方案中，将主动学习策略应用到衣物关键点预测网络中，对衣物图像上的关键点进行标注，解决了现有的标注方法无法直接应用于图像相关的深度学习任务的问题，大大降低了衣物关键点标注所需要的人力工作量，实现高效的衣物数据库建立。
其中，所述方法还包括以下步骤：
S5：将步骤S4得到的已标注图像和初始带标签数据集一起作为输入，对衣物关键点预测网络进行持续训练，构建最终的衣物关键点预测网络，得到衣物图片数据集。
上述方案中，每一次循环都会使数据集得到标签的衣物图片数量增加，为了能够得到预测性能更加优秀的衣物关键点预测网络，将添加的带标签衣物图片和初始带标签数据一起训练衣物关键点预测网络。然后重复步骤3-5，直至衣物关键点预测网络性能达到稳定的水平。此时衣物图片数据集也构建完成，该步骤非常适用于大型衣物数据集的构建。
其中，所述步骤S1具体为：
假设衣物关键点数据集中图片数量为N张，衣物关键点的数量为K，衣物图片表示为I，则衣物图像数据集表示为其中，每张衣物图片的关键点表示为根据最终需要构建衣物图片数据集数量的a％进行所有的关键点标注，作为初始带标签数据集；剩下的图片数据集均不进行任何标注，作为无标签数据测试集；其中，xk表示衣物图片中第k个关键点的横坐标，yk表示衣物图片中第k个关键点的纵坐标。
其中，在所述步骤S2中，衣物关键点预测方法即是针对每一个关键点对其置信度图进行预测，即将衣物关键点预测问题转化为对关键点置信度图的预测问题，则通过式(1)(2)对构建的衣物关键点预测网络进行训练，具体为：
其中，Sk∈[0,1]w×h表示第k个标签关键点的置信度图；表示第k个关键点置信度图；f*(In；θ')∈[0,1]w×h×K表示关键点预测函数；θ'表示衣物关键点预测网络的参数。
其中，所述关键点置信度图通过在标签点的位置上经过一个2D的高斯滤波器生成。
其中，在所述步骤S3中，将每张衣物图片中的关键点是否需要手动标签表示为向量其中vi∈{0,1}，其值由两个主动学习策略进行确定：
a)若衣物关键点预测网络所预测的置信度图，即出现了多个较高置信度的位置，采用置信度判断策略计算vi的值，当满足置信度判断策略条件时，则将vi设置为1；否则将vi设置为0；
b)若的熵值较大，即不确定度较大，采用熵值判断策略计算vi的值，当满足熵值判断策略条件时，则将vi设置为1；否则将vi设置为0。
其中，所述置信度判断策略具体表达为：
其中，j1表示置信度图中置信度最大的值；j2表示置信度图中置信度第二大的值，ε表示满足该条件的阈值。
其中，所述熵值判断策略具体表达为：
其中，Ei表示置信度图的熵，μ表示满足熵的阈值。
其中，在所述步骤S3中，判断关键点是否需要人工标签的过程即是判断vi是否等于1；在所述步骤S4中，对vi＝1的关键点进行人工手动标注；对vi＝0的关键点进行伪标签标记，从而完成一张无标签衣物图片所有关键点的标注。
其中，在所述步骤S4中，伪标签标记过程具体为：
对vi＝0的关键点使用衣物关键点预测网络的置信度图选取置信度最高的最表作为关键点的位置，然后将该位置作为关键点的伪标签标注信息。
上述方案中，考虑到了衣物关键点预测任务所需要的衣物关键点数据标注的高人力成本问题。虽然目前使用神经网络进行衣物的关键点预测的技术已经比较成熟，但是需要建立在大量数据标注的基础上。本发明利用神经网络结合主动学习的方法，首先使用少量样本对衣物关键点预测模型进行训练得到预训练模型，然后在此基础上使用主动学习的方法对无标注样本进行标注置信度的计算，用于选出需要手动标注的关键点。从而能够减少衣物关键点标注的人力成本，以便于大型衣物图片数据库的建立。
在上述方案中，针对主动学习的选择策略在衣物关键点标注上的应用做了针对性的场景优化。在过往的一些研究中，主动学习的主要应用方向主要在于自然语言处理，文本分析，图像分类等任务，缺乏在图像回归任务上的相关应用。针对衣物关键点标注，本方案不仅利用了主动学习挑选需要人工标注的关键点，并且挑选关键点的同时能够利用伪标签替换的方式把无需手动标签的关键点进行自动标注。因此，在两个方面的综合作用下，能够大大降低衣物关键点标注所需要的人力工作量，从而实现高效的衣物图片数据库建立。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的一种基于主动学习的衣物关键点辅助标注及预测优化方法，将主动学习策略应用到衣物关键点预测网络中，从而实现了对衣物图像上的关键点的标注，解决了现有的标注方法无法直接应用于图像相关的深度学习任务的问题，大大降低了衣物关键点标注所需要的人力工作量，实现高效的衣物数据库建立。
附图说明
图1为本发明所述方法流程示意图；
图2为一实施例中预测的关键点置信度图出现多个高置信度位置示意图；
图3为一实施例中预测的关键点置信度图不确定度较大时的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于主动学习的衣物关键点辅助标注及预测优化方法，包括以下步骤：
S1：根据衣物图像数据构建初始带标签数据集和无标签数据测试集；
S2：构建衣物关键点预测网络并利用初始带标签数据集进行训练，得到训练后的衣物关键点预测网络；
S3：将无标签数据测试集作为训练后的衣物关键点预测网络的输入，使用主动学习策略判断关键点是否需要人工标签；
S4：根据判断结果对图像关键点进行标注，完成衣物关键点辅助标注。
在具体实施过程中，将主动学习策略应用到衣物关键点预测网络中，对衣物图像上的关键点进行标注，解决了现有的标注方法无法直接应用于图像相关的深度学习任务的问题，大大降低了衣物关键点标注所需要的人力工作量，实现高效的衣物数据库建立。
更具体的，所述方法还包括以下步骤：
S5：将步骤S4得到的已标注图像和初始带标签数据集一起作为输入，对衣物关键点预测网络进行持续训练，构建最终的衣物关键点预测网络，得到衣物图片数据集。
在具体实施过程中，每一次循环都会使数据集得到标签的衣物图片数量增加，为了能够得到预测性能更加优秀的衣物关键点预测网络，将添加的带标签衣物图片和初始带标签数据一起训练衣物关键点预测网络。然后重复步骤3-5，直至衣物关键点预测网络性能达到稳定的水平。此时衣物图片数据集也构建完成，该步骤非常适用于大型衣物数据集的构建。
更具体的，所述步骤S1具体为：
假设衣物关键点数据集中图片数量为N张，衣物关键点的数量为K，衣物图片表示为I，则衣物图像数据集表示为其中，每张衣物图片的关键点表示为根据最终需要构建衣物图片数据集数量的a％进行所有的关键点标注，作为初始带标签数据集；剩下的图片数据集均不进行任何标注，作为无标签数据测试集；其中，xk表示衣物图片中第k个关键点的横坐标，yk表示衣物图片中第k个关键点的纵坐标。
在具体实施过程中，a的取值为10，则本方法执行一次后，标注的图片样本数量为衣物图片总量的5％。
更具体的，在所述步骤S2中，衣物关键点预测方法即是针对每一个关键点对其置信度图进行预测，即将衣物关键点预测问题转化为对关键点置信度图的预测问题，则通过式(1)(2)对构建的衣物关键点预测网络进行训练，具体为：
其中，Sk∈[0,1]w×h表示第k个标签关键点的置信度图；表示第k个关键点置信度图；f*(In；θ')∈[0,1]w×h×K表示关键点预测函数；θ'表示衣物关键点预测网络的参数。
更具体的，所述关键点置信度图通过在标签点的位置上经过一个2D的高斯滤波器生成。
更具体的，在所述步骤S3中，将每张衣物图片中的关键点是否需要手动标签表示为向量其中vi∈{0,1}，其值由两个主动学习策略进行确定：
a)如图2所示，图2(a)(b)中的三张图片分别是衣物图片、已标注的关键点置信度图、网络所预测的关键点置信度图。标签为衣物关键点检测器生成的某个预测关键点的置信度图，图2(a)中衣物关键点检测器只预测出1个具有较高置信度的关键点位置，而图2(b)中衣物关键点检测器则出现了具有较高置信度的关键点位置；若衣物关键点预测网络所预测的置信度图，即出现了多个较高置信度的位置，采用置信度判断策略计算vi的值，当满足置信度判断策略条件时，则将vi设置为1；否则将vi设置为0；
b)若的熵值较大，即不确定度较大，如图3所示的情况，采用熵值判断策略计算vi的值，当满足熵值判断策略条件时，则将vi设置为1；否则将vi设置为0。
更具体的，所述置信度判断策略具体表达为：
其中，j1表示置信度图中置信度最大的值；j2表示置信度图中置信度第二大的值，ε表示满足该条件的阈值。
其中，所述熵值判断策略具体表达为：
其中，Ei表示置信度图的熵，μ表示满足熵的阈值。
更具体的，在所述步骤S3中，判断关键点是否需要人工标签的过程即是判断vi是否等于1；在所述步骤S4中，对vi＝1的关键点进行人工手动标注；对vi＝0的关键点进行伪标签标记，从而完成一张无标签衣物图片所有关键点的标注。
更具体的，在所述步骤S4中，伪标签标记过程具体为：
对vi＝0的关键点使用衣物关键点预测网络的置信度图选取置信度最高的最表作为关键点的位置，然后将该位置作为关键点的伪标签标注信息。
在具体实施过程中，相比目前已有的主动学习在自然语言处理，文本分析，图像分类等任务上的研究与应用，本方案的亮点在于提出了主动学习在图像回归任务(衣物关键点预测)上的应用，并且针对该任务做了主动学习的场景优化。首先利用少量的带标签衣物图片训练衣物关键点预测网络，并以此为基础结合主动学习的策略实现对衣物关键点是否需要人工标注的判定。减少了衣物图片关键点标注的人力成本，能够有效提高衣物图片数据集的构建。
在具体实施过程中，相比目前已有的衣物关键点预测网络，本方案利用主动学习的方法对衣物关键点预测网络进行了优化。衣物关键点预测网络在针对无标签的衣物图片样本时，能够利用预训练所获得的衣物关键点预测能力对一部分关键点实现准确预测，这一部分关键点能够直接作为标签。而另一部分利用主动学习的策略对其进行判定然后人工标注，两部分关键点结合构成完整的衣物图片标签。然后用于继续训练衣物关键点预测网络，这样衣物关键点预测网络的性能将会在构建衣物图片数据库的同时持续提升。
实施例2
更具体的，本发明提出了一种基于主动学习的衣物关键点辅助标注及预测优化方法，利用少量带标签衣物图片样本对衣物关键点预测网络进行预训练。并在后续利用主动学习的策略对无标签的衣物图片样本实现辅助的标签以及衣物关键点预测网络的持续优化。下面再详细叙述衣物关键点辅助标注及预测优化方法，并代入具体的衣物数据集及衣物关键点预测网络参数以方便理解：
假设衣物数据集及衣物关键点预测网络的参数如下：
初始化的衣物数据集包含10000张衣物图片，均为未经标注的无衣物关键点标签图片，每张衣物图片需要标注的的衣物关键点数量为20个。衣物关键点预测网络使用MingChen的论文“Improving Fashion Landmark Detection by Dual Attention FeatureEnhancement”中的DAFE网络。
1、初始化数据集阶段：从10000张衣物图片中随机选取10％的图片，即1000张衣物图片进行所有关键点的标注，将标注后的1000张衣物图片作为初始训练集。
2、预训练网络阶段：将步骤1中的1000张带标签衣物图片作为训练集放入DAFE网络中进行训练，
每张图片在放入网络前均被上采样或下采样至224x224的大小，并且将标签的关键点做归一化处理，训练迭代次数为20个epoch，学习完毕后将模型参数保存。
主动学习验证阶段：选取衣物图片数量10％未标签的衣物图片使用DAFE网络进行关键点预测，然后针对DAFE网络输出的关键点置信度图，输出的置信度图数量与需要预测的关键点数量一致为20张。为了保证预测的一致性与准确性，置信度图的大小同样为224x224，每个值得范围为[0,1]，然后使用前文技术方案中的主动学习策略对每张置信度图进行遍历检查，确定哪些关键点需要人工标注，哪些关键点可以使用网络直接进行预测。这一步所得到的结果为标注向量vi∈{0,1}。
4、关键点标注与网络优化阶段：根据步骤3中所获取的标注向量，对衣物图片进行所有的关键点完成标注，此时带标签的衣物图片数据集会得到扩增。这时使用带标签的衣物图片数据集对衣物关键点预测网络再次进行训练。然后重复步骤3-4，直至所有未标签衣物图片的关键点全部完成标注。
在具体实施过程中，考虑到了衣物关键点预测任务所需要的衣物关键点数据标注的高人力成本问题。虽然目前使用神经网络进行衣物的关键点预测的技术已经比较成熟，但是需要建立在大量数据标注的基础上。本发明利用神经网络结合主动学习的方法，首先使用少量样本对衣物关键点预测模型进行训练得到预训练模型，然后在此基础上使用主动学习的方法对无标注样本进行标注置信度的计算，用于选出需要手动标注的关键点。从而能够减少衣物关键点标注的人力成本，以便于大型衣物图片数据库的建立。
在具体实施过程中，针对主动学习的选择策略在衣物关键点标注上的应用做了针对性的场景优化。在过往的一些研究中，主动学习的主要应用方向主要在于自然语言处理，文本分析，图像分类等任务，缺乏在图像回归任务上的相关应用。针对衣物关键点标注，本方案不仅利用了主动学习挑选需要人工标注的关键点，并且挑选关键点的同时能够利用伪标签替换的方式把无需手动标签的关键点进行自动标注。因此，在两个方面的综合作用下，能够大大降低衣物关键点标注所需要的人力工作量，从而实现高效的衣物图片数据库建立。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于主动学习的衣物关键点辅助标注及预测优化方法，其特征在于，包括以下步骤：
S1：根据衣物图像数据构建初始带标签数据集和无标签数据测试集；具体为：
假设衣物关键点数据集中图片数量为N张，衣物关键点的数量为K，衣物图片表示为I，则衣物图像数据集表示为其中，每张衣物图片的关键点表示为/>根据最终需要构建衣物图片数据集数量的a％进行所有的关键点标注，作为初始带标签数据集；剩下的图片数据集均不进行任何标注，作为无标签数据测试集；其中，xk表示衣物图片中第k个关键点的横坐标，yk表示衣物图片中第k个关键点的纵坐标；
S2：构建衣物关键点预测网络并利用初始带标签数据集进行训练，得到训练后的衣物关键点预测网络；在所述步骤S2中，衣物关键点预测方法即是针对每一个关键点对其置信度图进行预测，即将衣物关键点预测问题转化为对关键点置信度图的预测问题，则通过式(1)(2)对构建的衣物关键点预测网络进行训练，具体为：
其中，Sk∈[0,1]w×h表示第k个标签关键点的置信度图；表示第k个关键点置信度图；f*(In；θ')∈[0,1]w×h×K表示关键点预测函数；θ'表示衣物关键点预测网络的参数；
S3：将无标签数据测试集作为训练后的衣物关键点预测网络的输入，使用主动学习策略判断关键点是否需要人工标签；在所述步骤S3中，将每张衣物图片中的关键点是否需要手动标签表示为向量其中vi∈{0,1}，其值由两个主动学习策略进行确定：
a)若衣物关键点预测网络所预测的置信度图，即出现了多个较高置信度的位置，采用置信度判断策略计算vi的值，当满足置信度判断策略条件时，则将vi设置为1；否则将vi设置为0；
若的熵值较大，即不确定度较大，采用熵值判断策略计算vi的值，当满足熵值判断策略条件时，则将vi设置为1；否则将vi设置为0；
S4：根据判断结果对图像关键点进行标注，完成衣物关键点辅助标注；
S5：将步骤S4得到的已标注图像和初始带标签数据集一起作为输入，对衣物关键点预测网络进行持续训练，构建最终的衣物关键点预测网络，得到衣物图片数据集。
2.根据权利要求1所述的一种基于主动学习的衣物关键点辅助标注及预测优化方法，其特征在于，所述关键点置信度图通过在标签点的位置上经过一个2D的高斯滤波器生成。
3.根据权利要求1所述的一种基于主动学习的衣物关键点辅助标注及预测优化方法，其特征在于，所述置信度判断策略具体表达为：
其中，j1表示置信度图中置信度最大的值；j2表示置信度图中置信度第二大的值，ε表示满足该条件的阈值。
4.根据权利要求1所述的一种基于主动学习的衣物关键点辅助标注及预测优化方法，其特征在于，所述熵值判断策略具体表达为：
其中，Ei表示置信度图的熵，μ表示满足熵的阈值。
5.根据权利要求3或4所述的一种基于主动学习的衣物关键点辅助标注及预测优化方法，其特征在于，在所述步骤S3中，判断关键点是否需要人工标签的过程即是判断vi是否等于1；在所述步骤S4中，对vi＝1的关键点进行人工手动标注；对vi＝0的关键点进行伪标签标记，从而完成一张无标签衣物图片所有关键点的标注。
6.根据权利要求5所述的一种基于主动学习的衣物关键点辅助标注及预测优化方法，其特征在于，在所述步骤S4中，伪标签标记过程具体为：
对vi＝0的关键点使用衣物关键点预测网络的置信度图选取置信度最高的最表作为关键点的位置，然后将该位置作为关键点的伪标签标注信息。
CN202011556709.1A 2020-12-24 2020-12-24 一种基于主动学习的衣物关键点辅助标注及预测优化方法 Active CN112581528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011556709.1A CN112581528B (zh) 2020-12-24 2020-12-24 一种基于主动学习的衣物关键点辅助标注及预测优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011556709.1A CN112581528B (zh) 2020-12-24 2020-12-24 一种基于主动学习的衣物关键点辅助标注及预测优化方法

Publications (2)

Publication Number Publication Date
CN112581528A CN112581528A (zh) 2021-03-30
CN112581528B true CN112581528B (zh) 2023-09-22

Family

ID=75139746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011556709.1A Active CN112581528B (zh) 2020-12-24 2020-12-24 一种基于主动学习的衣物关键点辅助标注及预测优化方法

Country Status (1)

Country Link
CN (1) CN112581528B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918780A (zh) * 2017-09-01 2018-04-17 中山大学 一种基于关键点检测的衣服种类和属性分类方法
WO2020052169A1 (zh) * 2018-09-12 2020-03-19 深圳云天励飞技术有限公司 一种服饰属性识别检测方法及装置
CN112115995A (zh) * 2020-09-11 2020-12-22 北京邮电大学 一种基于半监督学习的图像多标签分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918780A (zh) * 2017-09-01 2018-04-17 中山大学 一种基于关键点检测的衣服种类和属性分类方法
WO2020052169A1 (zh) * 2018-09-12 2020-03-19 深圳云天励飞技术有限公司 一种服饰属性识别检测方法及装置
CN112115995A (zh) * 2020-09-11 2020-12-22 北京邮电大学 一种基于半监督学习的图像多标签分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于边缘检测的卷积核数量确定方法;文元美;余霆嵩;凌永权;;计算机应用研究(第11期);全文 *
基于迁移学习与多标签平滑策略的图像自动标注;汪鹏;张奥帆;王利琴;董永峰;;计算机应用(第11期);全文 *

Also Published As

Publication number Publication date
CN112581528A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
Gao et al. A mutually supervised graph attention network for few-shot segmentation: The perspective of fully utilizing limited samples
CN109325952B (zh) 基于深度学习的时尚服装图像分割方法
Yu et al. Fully convolutional networks for surface defect inspection in industrial environment
CN110059690A (zh) 基于深度卷积神经网络的户型图语义自动分析方法及系统
CN110795527B (zh) 候选实体排序方法、训练方法及相关装置
CN112651406B (zh) 一种深度感知和多模态自动融合的rgb-d显著性目标检测方法
CN112101437A (zh) 基于图像检测的细粒度分类模型处理方法、及其相关设备
Chen et al. AE-Net: Fine-grained sketch-based image retrieval via attention-enhanced network
CN113806630A (zh) 基于注意力的多视角特征融合跨域推荐方法及装置
Yue et al. Clothing fashion style recognition with design issue graph
Yazici et al. Color naming for multi-color fashion items
CN106682151B (zh) 一种教育资源个性化推荐方法及系统
CN117829243A (zh) 模型训练方法、目标检测方法、装置、电子设备及介质
CN112581528B (zh) 一种基于主动学习的衣物关键点辅助标注及预测优化方法
CN109559345B (zh) 一种服装关键点定位系统及其训练、定位方法
CN116630749A (zh) 工业设备故障检测方法、装置、设备以及存储介质
Qi et al. TCNet: A novel triple-cooperative network for video object detection
Sun et al. Automatic building age prediction from street view images
Zhang et al. Cross-cascading regression for simultaneous head pose estimation and facial landmark detection
CN113516118A (zh) 一种图像与文本联合嵌入的多模态文化资源加工方法
Xu et al. Recursive multi-relational graph convolutional network for automatic photo selection
Shajini et al. A multi-staged feature-attentive network for fashion clothing classification and attribute prediction
Wu et al. Enhancing person retrieval with joint person detection, attribute learning, and identification
Mei et al. Person re-identification using group constraint
CN114937289B (zh) 一种基于异构伪标签学习的跨域行人检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant