CN113191443B - 基于特征增强的服装分类和属性识别方法 - Google Patents

基于特征增强的服装分类和属性识别方法 Download PDF

Info

Publication number
CN113191443B
CN113191443B CN202110530400.3A CN202110530400A CN113191443B CN 113191443 B CN113191443 B CN 113191443B CN 202110530400 A CN202110530400 A CN 202110530400A CN 113191443 B CN113191443 B CN 113191443B
Authority
CN
China
Prior art keywords
features
feature
attribute
key point
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110530400.3A
Other languages
English (en)
Other versions
CN113191443A (zh
Inventor
袁春
张宇为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110530400.3A priority Critical patent/CN113191443B/zh
Publication of CN113191443A publication Critical patent/CN113191443A/zh
Application granted granted Critical
Publication of CN113191443B publication Critical patent/CN113191443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征增强的服装分类和属性识别方法，该方法包括：获取服装对应的原始图像；对原始图像进行两路处理得到服装的属性特征；将属性特征输入至判别器，以通过判别器预测得到服装的类别预测结果信息和属性预测结果信息。本发明通过两路网络结构分别对服装的形状特征和纹理特征进行增强，以摆脱对服装关键点检测产生的过度的依赖性，以及提高服装分类和属性识别的准确率。

Description

基于特征增强的服装分类和属性识别方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于特征增强的服装分类和属性识别方法。
背景技术
服装的属性和类别在我们日常使用电商平台时起着重要的作用，同时电商平台也会重点关注服装的类别标签和属性标签。这些标签一般可以直接通过商家展示的文字获得，但是随着市场规模的扩大，人工获取标签的方法效率越来越低。人工标注会产生巨大的成本，同时因为不同的人对服装的理解具有歧义，因此也会导致大家标注的标准不统一，进而影响用户的消费体验。所以，使用人工智能来对服装的类别和属性进行标注则成为了大家关注的焦点，一方面，人工智能可以更加高效地为服装商品打上相应的标签。另一方面，由于人工智能方法可以设定特定的规则，因此能够保证标注标准的统一，缓解之前所描述的歧义性。除此之外，对服装类别和属性的人工标注需要专业人士的参与，这其中培训的环节也会带来较大的困难，而人工智能算法则因为有着很好的移植性，可以更加快速地切入到新的场景。
利用人工智能来进行服装分类和属性识别还能为电商中的服装服饰业带来更多新的应用和玩法，例如智能服装搭配，因为服装的属性在我们日常搭配的时候是重点需要参考的因素，因此人工智能技术可以通过获得的服装类别和属性进一步地给出合理的搭配方法，自动地为用户推荐套装或者相关服饰，这种应用可以很好地促进服装服饰业的发展。此外，一些虚拟换装的方法也可以使用类似的方式，通过对服装类别和属性的约束和矫正来生成更加准确的服装样本。因此服装分类和属性识别不仅仅是一种应用广泛的技术，同时还能为更多的应用提供底层的技术支持。但随之而来的，则是对服装分类和属性识别技术性能的较高要求，因为无论是服装类别和属性的直接应用，还是在服装的类别和属性的指导下的应用，都非常依赖服装的类别和属性预测的准确性。
服装属性有着非常复杂的语义信息，这些语义信息对人们来说也是较难理解的。早期的一些经典方法会使用各种滤波的方式来对图像的特征进行提取和筛选，例如用颜色直方图来提取色彩特征，或者利用方向梯度直方图，或者尺度不变特征变换的方式来获取边缘信息或者更高层级的语义特征。但是这些方法对语义信息的理解十分有限，表征能力也有着很大的局限性，因此对于服装属性这样复杂的场景，往往不能提取到相应的具有足够判别力的特征。近年来，深度学习的方法得到了快速的发展，因为深度学习算法的复杂程度和它所具有的极强的拟合能力和表征能力，在计算机视觉等方向上取得了巨大的成功。然而，深度学习的方法在训练的过程中，往往需要规模巨大的数据作为支撑，否则很容易出现对图像的噪声进行理解，导致过拟合等现象。因此这一方向的发展也需要有着大规模标注的数据集。当大规模优质数据集纷纷涌现时，深度学习在服装分类和属性识别方向得到了快速的发展。这一任务也逐渐地被定义的更加明确。服装类别是唯一的，因为一种服装只会属于一个类别，因此服装分类可以视为一种单标签的多分类问题。而一种服装可以具有多种属性，例如长袖、翻领、有兜、红色、有格子等等，因此服装的属性识别则可以视为一种多标签的问题。
在人们应用传统的方法的时候，研究者们会结合人体姿态估计的方法，来对服装分类和属性识别任务进行促进，人体姿态一般会作为辅助任务或者上游任务的输入来进行。但随着服装相关任务的发展，服装本身也逐渐发展出了关键点识别的方向。而直接使用服装关键点识别的方法，则可以更加有效地为服装相关的任务提供积极作用。早期的一些服装关键点检测的方法是使用深度模型对关键点的坐标直接进行回归预测，将神经元输出的值直接作为对关键点坐标的预测。在这个阶段，服装分类和属性识别一般会直接利用上游得到的关键点坐标来对局部进行关注，进而来强化相关的任务。但回归的方式一般会存在较大的困难，因此后续的一些研究工作会使用残差预测、动态路由、坐标变换等一系列非常复杂的方法来缓解遇到的相关的问题。
随后，基于热力图的方法成为了主流，也逐渐成为了服装关键点检测的主要手段。因为热力图本身具有保留空间特性、保证预测范围等优点，因此很好地缓解了回归预测方式所面对的难题。然而，虽然目前在学术界和工业界，服装分类和属性识别算法的研究和应用都已经取得了巨大的成功，但是前人的工作仍然遗留了一些问题。这主要是服装分类和属性识别任务对服装关键点检测任务产生了一定的依赖，属性识别方向的发展在近年来要靠服装关键点检测的进步来推动。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一，即相关技术中的服装分类和属性识别方法对服装关键点检测产生了过度的依赖性，从而难以提高服装分类和属性识别的准确率的问题。
为此，本发明的第一个目的在于提出一种基于特征增强的服装分类和属性识别方法。
本发明的第二个目的在于提出一种电子设备。
为达到上述目的，本发明第一方面提出了一种基于特征增强的服装分类和属性识别方法，包括以下步骤：S1，获取服装对应的原始图像；S2，对所述原始图像进行两路处理得到所述服装的属性特征；S3，将所述属性特征输入至判别器，以通过所述判别器预测得到所述服装的类别预测结果信息和属性预测结果信息。
可选地，所述属性特征包括形状特征和纹理特征。
可选地，所述步骤S2具体包括：S2.1，对所述原始图像进行第一支路处理以提取得到所述形状特征；S2.2，对所述原始图像进行第二支路处理以提取得到所述纹理特征。
可选地，所述步骤S3具体包括：将所述形状特征和所述纹理特征进行连接以得到全局特征，并将所述全局特征输入至所述判别器，以通过所述判别器预测得到所述服装的类别预测结果信息和属性预测结果信息。
可选地，所述方法还包括步骤：S4，提取关键点特征，并在所述关键点特征附近引入注意力机制，以聚焦所述服装的关键点特征的附近特征。
可选地，所述步骤S4具体包括：S4.1，根据所述原始图像提取得到所述关键点特征，并根据所述关键点特征得到可见性向量，以及对所述关键点特征进行上采样得到关键点特征热力图；S4.2，采用所述可见性向量对所述关键点特征热力图进行加权得到权值图像；S4.3，采用所述权值图像对所述原始图像进行加权操作，以在所述关键点特征附近引入注意力机制。
可选地，所述步骤S2.2具体包括：S2.2.1，载入ImageNet预训练模型；S2.2.2，通过所述ImageNet预训练模型对所述原始图像进行特征提取得到所述纹理特征。
可选地，所述步骤S2.2.2具体包括：载入所述ImageNet预训练模型的权值，并对所述权值进行冻结得到纹理特征提取器，以通过所述纹理特征提取器对所述原始图像进行特征提取得到所述纹理特征。
可选地，所述方法还包括步骤：采用所述原始图像上不同区块之间的马氏距离对所述属性特征的相似程度进行度量，所述步骤具体包括：在第一支路上，优先擦除马氏距离较小的特征，以强化所述形状特征；在第二支路上，优先擦除马氏距离较大的特征，以强化所述纹理特征。
为达到上述目的，本发明第二方面提出了一种电子设备，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述所述的基于特征增强的服装分类和属性识别方法。
本发明至少具有以下优点：
本发明通过两路网络结构分别对服装的形状特征和纹理特征进行增强，以摆脱对服装关键点检测产生的过度的依赖性，以及解决关键点检测只能增强形状特征，无法对纹理特征进行增强的问题，并且使得该方法具有更加优越的识别性能和可移植性，能够有效提高预测结果的细腻程度，以及可有效提高服装分类和属性识别的准确率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明一实施例提供的基于特征增强的服装分类和属性识别方法的流程图；
图2为本发明一实施例提供的双路网络结构示意图；
图3为本发明一实施例提供的关键点特征提取流程图；
图4为本发明一实施例提供的纹理特征提取流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本实施例的基于特征增强的服装分类和属性识别方法。
参考图1所示，本实施例提供的一种基于特征增强的服装分类和属性识别方法包括以下步骤：
步骤S1，获取服装对应的原始图像。
步骤S2，对原始图像进行两路处理得到服装的属性特征。
其中，服装的属性特征包括形状特征和纹理特征。
具体地，服装的属性特征是一种非常底层的表征，它与服装的图像特征之间也有着非常紧密的联系。因此，可从服装的属性特征出发，与图像特征之间建立联系。本实施例中，可将服装的属性特征进一步分成两个大类：其中一类是主要由形状特征决定的属性，例如对称性和长度等等，另一类则是主要由纹理特征决定的属性，例如图案和花纹等等。这些属性特征可以是图像特征的最直接的反馈，从而可以通过模型在这些属性特征上的表现得到相应的结论。
在本发明的一个实施例中，所述步骤S2具体包括：S2.1，对原始图像进行第一支路处理以提取得到形状特征；S2.2，对原始图像进行第二支路处理以提取得到纹理特征。
具体地，在获取形状特征提取方案和纹理特征提取方案之后，通过对比实验验证得到两种提取方案不宜同时应用在同一个主干网络中。因此，本实施例采用双路网络结构分别针对性地对形状特征和纹理特征的提取和学习过程进行增强。如图2所示，可通过双路网络结构分别提取得到服装的形状特征和纹理特征。
步骤S3，将属性特征输入至判别器，以通过判别器预测得到服装的类别预测结果信息和属性预测结果信息。
其中，步骤S3具体包括：将形状特征和纹理特征进行连接以得到全局特征，并将全局特征输入至判别器，以通过判别器预测得到服装的类别预测结果信息和属性预测结果信息。
如图2所示，在得到形状特征和纹理特征之后，可将两种特征连接起来，作为提取到的全局特征，并将提取到的全局特征输入至判别器内，判别器可为若干个卷积层和全连接层，然后用两个全连接层的输出信息作为服装属性和类别的预测结果信息。
在本发明的一个实施例中，该方法还包括步骤S4，提取关键点特征，并在关键点特征附近引入注意力机制，以聚焦服装的关键点特征的附近特征。
其中，步骤S4具体包括：
S4.1，根据原始图像提取得到关键点特征，并根据关键点特征得到可见性向量，以及对关键点特征进行上采样得到关键点特征热力图。
其中，当关键点特征用热力图进行表示时，由于热力图的尺寸可以任意调整，从而可引入注意力机制，以聚焦服装的关键点特征的附近特征。需要说明的是，本实施例中的上采样方式还可替换为其它采样方式如降采样方式。
S4.2，采用可见性向量对关键点特征热力图进行加权得到权值图像。
S4.3，采用权值图像对原始图像进行加权操作，以在关键点特征附近引入注意力机制。
具体地，关键点特征可辅助聚焦于图像的形状特征，因此可设计如图3所示的关键点特征提取流程，并将其作为一个分支加入到主干网络中，从而为主干网络添加形状偏置的特性。在测试中，可发现这种方式具有比较强的形状针对性，同时在不影响纹理相关属性判别结果的前提下，针对性地提升了形状相关属性的识别效果。
优选地，在得到K个关键点的可见性信息vk和热力图Sk之后，我们会使用预测的可见性向量对提取到的关键点热力图进行加权，从而得到一个权值图像AL：
Figure BDA0003067471220000061
进一步地，利用权值图像对原始图像进行加权操作，以此来引入在关键点特征附近的注意力机制。
本实施例中，可将获取关键点特征作为增强形状特征的手段，在该方法中，对关键点特征的利用方式是与关键点检测进行联合学习，同时引入了注意力机制。在实验过程中，由于得到与关键点联合学习的过程可同时起到在关键点附近引入注意力机制的作用，因此直接与关键点进行联合学习可实现类似的效果。
需要说明的是，本实施例中的关键点特征的提取方案是一种最简单的设计方案，例如将网络加深、拓宽或增添降采样和升采样模块，虽然在表现形式上会有不同，但原理上上述方案不会有太大的变化。
为了提高服装分类和属性识别的准确性，进一步地对纹理特征进行了增强。
所述步骤S2.2具体包括：
S2.2.1，载入ImageNet预训练模型。
S2.2.2，通过ImageNet预训练模型对原始图像进行特征提取得到纹理特征。
其中，步骤S2.2.2具体包括：载入ImageNet预训练模型的权值，并对权值进行冻结得到纹理特征提取器，以通过纹理特征提取器对原始图像进行特征提取得到纹理特征。
具体地，ImageNet预训练模型侧重于通过图像的纹理特征来进行判别。这是因为实验结果显示载入ImageNet预训练的权值后，ImageNet预训练模型在形状相关属性上的预测结果与载入前相比几乎不会产生很大的变化，但对纹理相关的属性却有着显著的促进作用，同时也会对纹理特征的相关属性有着较高的置信度。因此，可设计如图4所示的纹理特征提取方法，即载入ImageNet预训练模型的权值，再进一步对权值进行冻结，从而得到一个能够理解丰富语义信息的、稳定的纹理特征提取器。其中，纹理特征提取器可为VGG16特征提取模块。需要说明的是，本方案采用的VGG16特征提取模块作为双路网络结构的特征提取器，在关键点检测方法改变或者网络结构改变时，其均可以适用于对应的方案或网络结构。
在本发明的一个实施例中，所述方法还包括步骤：采用原始图像上不同区块之间的马氏距离对属性特征的相似程度进行度量，所述步骤具体包括：在第一支路上，优先擦除马氏距离较小的特征，以强化形状特征；在第二支路上，优先擦除马氏距离较大的特征，以强化纹理特征。
具体地，在该双路网络结构框架下，可引入一种属性特征擦除的方案。通过对形状特征的判断，可得知形状特征一般具有全局性，而且一般会发生在具有边缘特征的位置，而边缘也同时意味着属性特征在这附近会有着较大的变化，因此可以理解为在提取形状特征的位置，特征之间的差异相对较大。而纹理特征则不然，纹理特征更容易出现在样例的内部，因此会与其周围的特征差距较小。因此，可以通过这样的方法来对属性特征进行进一步的筛选和强化。
优选地，可选择使用在原始图像上不同区块之间的马氏距离来对属性特征的相似程度进行度量。在形状分支即第一支路上，可优先擦除掉马氏距离较小的特征，这部分特征较为相似，按照先验知识，可以将其理解为纹理特征。而在纹理分支上，则可相应地擦除掉马氏距离较大的特征，这样能够让纹理特征得到更好的关注，从而便于对其进行更深层次的解析。
本实施例的属性特征擦除方案仅在训练的过程中按照马氏距离对区块进行排序，然后对相应的区块进行擦除，而在测试中则会将擦除的步骤忽略。由于在训练过程中一直在保留各个支路需要关注的特征，因此在测试的过程中相应的特征也能得到我们需要的强调作用。同时整个过程没有对网络结构发生改变，在实际测试的过程中也不会添加任何额外的约束和影响计算复杂度的因素。
进一步地，本发明还提出了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，计算机程序被处理器执行时，实现上述的基于特征增强的服装分类和属性识别方法。
本实施例的基于特征增强的服装分类和属性识别方法采用两路网络结构分别对服装的形状特征和纹理特征进行增强，即一路通过结合关键点特征来进行约束，从而保证高效地提取到形状特征，另一路则是利用ImageNet预训练的权值，将权值载入并进行冻结，从而得到语义信息更加丰富的纹理特征，并通过对该两种属性特征进行增强，可摆脱对服装关键点检测产生的过度的依赖性，并且使得该方法具有更加优越的识别性能和可移植性，能够有效提高预测结果的细腻程度，以及可有效提高服装分类和属性识别的准确率。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于特征增强的服装分类和属性识别方法，其特征在于，包括以下步骤：
S1，获取服装对应的原始图像；
S2，对所述原始图像进行两路处理得到所述服装的属性特征；
S3，将所述属性特征输入至判别器，以通过所述判别器预测得到所述服装的类别预测结果信息和属性预测结果信息；
所述属性特征包括形状特征和纹理特征；
所述步骤S2具体包括：
S2.1，对所述原始图像进行第一支路处理以提取得到所述形状特征；
S2.2，对所述原始图像进行第二支路处理以提取得到所述纹理特征；
所述步骤S2.2具体包括：
S2.2.1，载入ImageNet预训练模型；
S2.2.2，通过所述ImageNet预训练模型对所述原始图像进行特征提取得到所述纹理特征；
所述步骤S2.2.2具体包括：
载入所述ImageNet预训练模型的权值，并对所述权值进行冻结得到纹理特征提取器，以通过所述纹理特征提取器对所述原始图像进行特征提取得到所述纹理特征；
所述方法还包括步骤：采用所述原始图像上不同区块之间的马氏距离对所述属性特征的相似程度进行度量，所述步骤具体包括：仅在训练的过程中，
在第一支路上，优先擦除马氏距离较小的特征，以强化所述形状特征；
在第二支路上，优先擦除马氏距离较大的特征，以强化所述纹理特征。
2.如权利要求1所述的基于特征增强的服装分类和属性识别方法，其特征在于，所述步骤S3具体包括：
将所述形状特征和所述纹理特征进行连接以得到全局特征，并将所述全局特征输入至所述判别器，以通过所述判别器预测得到所述服装的类别预测结果信息和属性预测结果信息。
3.如权利要求2所述的基于特征增强的服装分类和属性识别方法，其特征在于，所述方法还包括步骤：
S4，提取关键点特征，并在所述关键点特征附近引入注意力机制，以聚焦所述服装的关键点特征的附近特征。
4.如权利要求3所述的基于特征增强的服装分类和属性识别方法，其特征在于，所述步骤S4具体包括：
S4.1，根据所述原始图像提取得到所述关键点特征，并根据所述关键点特征得到可见性向量，以及对所述关键点特征进行上采样得到关键点特征热力图；
S4.2，采用所述可见性向量对所述关键点特征热力图进行加权得到权值图像；
S4.3，采用所述权值图像对所述原始图像进行加权操作，以在所述关键点特征附近引入注意力机制。
5.一种电子设备，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-4中任一项所述的基于特征增强的服装分类和属性识别方法。
CN202110530400.3A 2021-05-14 2021-05-14 基于特征增强的服装分类和属性识别方法 Active CN113191443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110530400.3A CN113191443B (zh) 2021-05-14 2021-05-14 基于特征增强的服装分类和属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110530400.3A CN113191443B (zh) 2021-05-14 2021-05-14 基于特征增强的服装分类和属性识别方法

Publications (2)

Publication Number Publication Date
CN113191443A CN113191443A (zh) 2021-07-30
CN113191443B true CN113191443B (zh) 2023-06-13

Family

ID=76982065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110530400.3A Active CN113191443B (zh) 2021-05-14 2021-05-14 基于特征增强的服装分类和属性识别方法

Country Status (1)

Country Link
CN (1) CN113191443B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033007A (zh) * 2019-04-19 2019-07-19 福州大学 基于深度姿态预估和多特征融合的行人衣着属性识别方法
CN111639719A (zh) * 2020-06-08 2020-09-08 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111914755A (zh) * 2020-08-03 2020-11-10 河南大学 一种八方向求梯度指纹识别模型

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711661B2 (en) * 2012-01-20 2014-04-29 Carnegie Mellon University Bi-directional pattern dependent noise prediction
US10949914B2 (en) * 2017-07-12 2021-03-16 Accenture Global Solutions Limited Immersive and artificial intelligence based retail

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033007A (zh) * 2019-04-19 2019-07-19 福州大学 基于深度姿态预估和多特征融合的行人衣着属性识别方法
CN111639719A (zh) * 2020-06-08 2020-09-08 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111914755A (zh) * 2020-08-03 2020-11-10 河南大学 一种八方向求梯度指纹识别模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Person reidentification based on view information and batch feature erasing;Jie Cao et.al;《Journal of Electronic Imaging》;第1-15页 *
Texture and Shape biased Two-Stream Networks for Clothing Classification and Attribute Recognition;Yuwei Zhang et.al;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;第13537-13542页 *

Also Published As

Publication number Publication date
CN113191443A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN110110715A (zh) 文本检测模型训练方法、文本区域、内容确定方法和装置
CN105144239A (zh) 图像处理装置、程序及图像处理方法
CN111339935B (zh) 一种基于可解释cnn图像分类模型的光学遥感图片分类方法
CN113361636B (zh) 一种图像分类方法、系统、介质及电子设备
CN115049876A (zh) 基于判别性原子嵌入半监督网络的图像分类方法及系统
CN116958957A (zh) 多模态特征提取网络的训练方法及三维特征表示方法
Padala et al. Effect of input noise dimension in GANs
Chen et al. A review of image and video colorization: From analogies to deep learning
Song et al. Depth-aware saliency detection using discriminative saliency fusion
Zhao et al. Learning best views of 3D shapes from sketch contour
Li et al. Performance comparison of saliency detection
Zhang et al. Identification of stored grain pests by modified residual network
CN113191443B (zh) 基于特征增强的服装分类和属性识别方法
Martin et al. A learning approach for adaptive image segmentation
CN115984400A (zh) 基于手绘草图的图像自动生成方法及系统
Bylaiah Leaf recognition and matching with Matlab
Kikuchi et al. Transferring pose and augmenting background for deep human-image parsing and its applications
Mo et al. Emotion recognition with facial landmark heatmaps
Zhang et al. Deep photographic style transfer guided by semantic correspondence
CN109657623B (zh) 一种人脸图像相似度计算方法、装置、计算机装置及计算机可读存储介质
CN108334884B (zh) 一种基于机器学习的手写文档检索方法
Zhang et al. Image Multi-Feature Fusion for Clothing style classification
Cheng et al. Bing: Binarized normed gradients for objectness estimation at 300 frames per second
CN117593755B (zh) 一种基于骨架模型预训练的金文图像识别方法和系统
Anitha et al. Recipe Recommendation Using Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant