CN111582400A - 一种基于深度学习的服装图像分类模型建立方法 - Google Patents

一种基于深度学习的服装图像分类模型建立方法 Download PDF

Info

Publication number
CN111582400A
CN111582400A CN202010411374.8A CN202010411374A CN111582400A CN 111582400 A CN111582400 A CN 111582400A CN 202010411374 A CN202010411374 A CN 202010411374A CN 111582400 A CN111582400 A CN 111582400A
Authority
CN
China
Prior art keywords
clothing
style
classification model
image classification
garment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010411374.8A
Other languages
English (en)
Inventor
张艺凡
刘国华
王国栋
盛守祥
唐豪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202010411374.8A priority Critical patent/CN111582400A/zh
Publication of CN111582400A publication Critical patent/CN111582400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度学习的服装图像分类模型建立方法，采用VGG‑16网络，建立了服装图像分类模型模型，运用该模型对大量未标注服装图像进行属性标注并批量生成已标注服装数据集，改变了大量未标注服装图像数据无法被有效利用的状况。并将生成的服装数据集应用于个性化服装检索系统，为已标注的服装图像的应用提供了思路，展示了服装图像分类模型在服装类电商的应用价值，进一步为服装类电子商务的发展提供有力支持。

Description

一种基于深度学习的服装图像分类模型建立方法
技术领域
本发明涉及一种基于深度学习的服装图像分类模型建立方法，采用深度学习技术，建立基于VGG-16模型的服装图像分类模型，属于深度学习计算机视觉领域。
背景技术
随着电子商务和服装行业的发展，线上购物已经成为人们选购服装的主流方式，网购时用户主要通过服装商品图像来选购心仪产品，因此服装商品图像的识别和分类问题引起了广泛关注。常用的服装图像分类方法可以分为传统方法和深度学习方法，传统的图像识别分类方法即借助数字图像处理、模式识别的方法，基于底层的视觉特征进行服装的标签属性分类。传统服装图像分类方法大多数都是利用SIFT和HOG实现特征提取，之后将特征作为各类分类器的输入实现分类。
近年来，随着服装品类迅速扩张，服装图像数据呈爆炸式增长，传统的图像处理方式已经不适用于大数据的发展趋势，除此之外，传统的特征提取方法在服装标签属性识别本身的表达上具有多义性和不确定性，因此难以满足实际服装图像属性识别的需求。
深度学习近年来在学术界工业界掀起了热潮，目前已经有许多通过机器视觉实现服装商品自动分类的方法，研究者把深度学习和服装图像处理结合起来，并诞生了一系列优秀的算法。如今，服装商品图像数据量巨大，市场对服装图像精确分类也有着非常大的需求。因此结合深度学习技术来实现对服装图像的准确分类具有重大研究意义。
发明内容
本发明要解决的技术问题是当前各电商平台累积海量未进行属性标注的服装图片数据无法被有效利用。
为了解决上述技术问题，本发明的技术方案是提供了一种基于深度学习的服装图像分类模型建立方法，基于深度学习技术构建服装图像分类模型和使用已标注服装数据集的方案。其特征在于，采用了深度学习技术，建立了服装图像分类模型，并将服装数据集进行了应用，整体流程包括以下步骤：
步骤一：基于深度学习框架建立服装图像分类模型；
步骤二：通过标注好的数据集对服装图像分类模型进行训练；
步骤三：用单张图像对服装图像分类模型的预测进行测试；
步骤四：对大量未标注服装图像数据集进行标注；
步骤五：设计并搭建个性化服装检索系统；
步骤六：将标记好的服装数据集应用于服装检索系统。
其中，服装检索系统包括输入搜索模块、风格分类模块和精细分类模块。
其中，风格分类分为六类风格，分别为：简约风格、优雅风格、复古风格、民族风格、可爱风格、职场风格。
本技术方案结合深度学习技术，提取了图像更精确的特征，将服装图像进行了细致的分类。对服装图像精细的分类包括服装种类分类和服装风格分类两个方面，最终实现对服装数据集的多标签识别与标注。
本发明采用VGG-16深度学习模型构建服装图像分类网络，之后通过训练好的模型对原始服装图像进行属性标注生成服装数据集。并将数据集应用于服装推荐系统。为各类电商平台已累积的大量未标注图像的有效利用提供了思路。
附图说明
图1是标注好的数据集对服装图像分类模型进行训练的具体训练示例。
图2是用单张图像对服装图像分类模型的预测进行测试的测试示例。
图3是利用模型实现对图像的批量预测和标注。
图4是个性化服装检索系统模块分类示意图。
图5是个性化服装检索系统首页界面
图6是个性化服装检索系统输入搜索功能界面
图7是个性化服装检索系统风格分类界面
图8是个性化服装检索系统精细分类界面
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明基于VGG-16网络结构和FashionNet网络结构建立服装图像分类模型。该模型根据输入的用于训练的数据集对服装的种类和风格进行分类，模型的构建算法如下表所示：
算法1构建服装种类识别与分类模型
Figure BDA0002493380300000031
算法1展示了种类识别分支的建立过程：首先定义输入内容为服装图像images、服装种类总数量numCategories和最终激活层类型softmax。之后将图像由RGB格式转换为灰度(grayscale)格式。这样做是因为同一种类的服装可以是不同颜色的，而颜色信息在种类识别任务中属于不关键信息(例如T恤，无论是哪种颜色的T恤其种类都是T恤)。因此，在识别过程中选择丢弃服装的颜色信息而集中关注图片的真实结构组成，以确保网络在训练和学习的过程中不会将特定颜色与服装种类联合关联。
如算法1所示，第一段卷积有32个滤波器，卷积核为3×3，采用ReLU作为激活函数，并在池化过程后采取Dropout以减少过度拟合。之后连续两组(CONV＝>RELU)*2＝>POOL模块(包含了第二至五段卷积)，此过程通过重复卷积和池化逐步减小空间大小、增加网络深度。最后，将上述模型连接到最后一个激活层即FC层(FC层具有与服装种类个数numCategories相同数量的神经元即输出个数)实现最终的服装种类分类。
此模型可对任意服装图片进行识别，训练结果表明，在训练数据集最多的情况下识别准确率最高可在99％以上。
训练结果如图1所示。共有两组：分别为对47264在服装数据集的训练结果和对141408张服装图像数据集的训练结果。
之后，将单张图像输入进网络并利用matplotlib对预测结果进行可视化。服装种类分类模型的预测结果如图2所示，其中分别展示了“coat(大衣)”、“jeggings(牛仔紧身裤)”、“kaftan(宽大长袖女袍)”、“Anorak(带帽防寒短上衣)”的准确预测结果。
本发明运用该服装图像分类模型对大量未标注服装图像进行批量标注，生成已标注的服装数据集。
采用服装风格数据集对模型进行训练，之后对服装图像的风格进行批量标注过程：首先，遍历所有的服装图片，将其输入服装风格识别模型。之后得到每张图片属于各类别的概率，取最大概率的风格类别作为预测结果。最后，将所有服装图像的风格预测结果写入数据库以实现对服装图像的批量标注。批量预测风格时每条数据都有5类属性，包括id、图像名称、真实风格、预测风格和分别属于六大风格类别的概率。批量预测概率数值及标注结果如图3所示。其中A-F代表A:简约风格；B:优雅风格；C:复古风格；D:民族风格；E:可爱风格；F职场风格。
本发明将用服装图像分类模型标注好的服装图像数据集应用于个性化服装检索系统，该系统分为三大模块，模块分类方式设计如图4所示。系统首页如图5所示。
(1)输入搜索模块。该模块要实现的功能是用户输入描述服装的关键字，页面展示与关键字相关的服装图像。其中关键字分为三类：服装类别(上衣，短裤等)，服装特点(印花，针织等)和服装颜色。系统会根据用户输入的关键字弹出含有关键字属性的服装类别以供选择，用户点击选择确定的一种类别后界面展示指定类别服装图像。界面展示如图6所示。
(2)风格分类模块。通过对当下时代主流服装风格的总结，该模块将所有服装图像风格分为六类风格，分别为：A:简约风格；B:优雅风格；C:复古风格；D:民族风格；E:可爱风格；F职场风格。界面展示如图7所示。
(3)精细分类模块。该模块实现由大类开始逐层细致检索的功能。定义服装第一层总体类别为三类；上装，下装和全身；第二层为款式分类，如上装可分为背心，T恤等。第三层分类添加了一些服装属性标签，这些标签包括风格(如运动)和一些服装特点(如印花，针织)。界面展示如图8所示。

Claims (3)

1.一种基于深度学习的服装图像分类模型建立方法，其特征在于，采用了深度学习技术，建立了服装图像分类模型，并将服装数据集进行了应用，整体流程包括以下步骤：
步骤一：基于深度学习框架建立服装图像分类模型；
步骤二：通过标注好的数据集对服装图像分类模型进行训练；
步骤三：用单张图像对服装图像分类模型的预测进行测试；
步骤四：对大量未标注服装图像数据集进行标注；
步骤五：设计并搭建个性化服装检索系统；
步骤六：将标记好的服装数据集应用于服装检索系统。
2.根据权利要求1所述的一种基于深度学习的服装图像分类模型建立方法，其特征在于，所述的服装检索系统包括输入搜索模块、风格分类模块和精细分类模块。
3.根据权利要求2所述的一种基于深度学习的服装图像分类模型建立方法，其特征在于，所述的风格分类分为六类风格，分别为：简约风格、优雅风格、复古风格、民族风格、可爱风格、职场风格。
CN202010411374.8A 2020-05-15 2020-05-15 一种基于深度学习的服装图像分类模型建立方法 Pending CN111582400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010411374.8A CN111582400A (zh) 2020-05-15 2020-05-15 一种基于深度学习的服装图像分类模型建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010411374.8A CN111582400A (zh) 2020-05-15 2020-05-15 一种基于深度学习的服装图像分类模型建立方法

Publications (1)

Publication Number Publication Date
CN111582400A true CN111582400A (zh) 2020-08-25

Family

ID=72121019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010411374.8A Pending CN111582400A (zh) 2020-05-15 2020-05-15 一种基于深度学习的服装图像分类模型建立方法

Country Status (1)

Country Link
CN (1) CN111582400A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699261A (zh) * 2020-12-28 2021-04-23 大连工业大学 一种服装图像自动生成系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918780A (zh) * 2017-09-01 2018-04-17 中山大学 一种基于关键点检测的衣服种类和属性分类方法
CN108038752A (zh) * 2017-12-06 2018-05-15 温州天勤网络科技有限公司 一种可在线体验跨平台移动应用开发系统
CN108229503A (zh) * 2018-01-04 2018-06-29 浙江大学 一种针对服装照片的特征提取方法
CN109670066A (zh) * 2018-12-11 2019-04-23 江西师范大学 一种基于双路径深层语义网络的手绘式服装商品图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918780A (zh) * 2017-09-01 2018-04-17 中山大学 一种基于关键点检测的衣服种类和属性分类方法
CN108038752A (zh) * 2017-12-06 2018-05-15 温州天勤网络科技有限公司 一种可在线体验跨平台移动应用开发系统
CN108229503A (zh) * 2018-01-04 2018-06-29 浙江大学 一种针对服装照片的特征提取方法
CN109670066A (zh) * 2018-12-11 2019-04-23 江西师范大学 一种基于双路径深层语义网络的手绘式服装商品图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张艺凡: "基于深度学习的服装风格识别问题的研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699261A (zh) * 2020-12-28 2021-04-23 大连工业大学 一种服装图像自动生成系统及方法
CN112699261B (zh) * 2020-12-28 2024-08-16 大连工业大学 一种服装图像自动生成系统及方法

Similar Documents

Publication Publication Date Title
Li et al. Facial expression recognition with convolutional neural networks via a new face cropping and rotation strategy
Simo-Serra et al. Fashion style in 128 floats: Joint ranking and classification using weak data for feature extraction
US11328172B2 (en) Method for fine-grained sketch-based scene image retrieval
Di et al. Style finder: Fine-grained clothing style detection and retrieval
Sun et al. Facial expression recognition based on a hybrid model combining deep and shallow features
Qiu et al. Hierarchical context features embedding for object detection
CN108109055B (zh) 一种基于图像渲染的跨场景服装检索方法
Su et al. Mangagan: Unpaired photo-to-manga translation based on the methodology of manga drawing
Wang et al. Batch coherence-driven network for part-aware person re-identification
CN108229503A (zh) 一种针对服装照片的特征提取方法
Mohammadi et al. Smart fashion: a review of AI applications in the Fashion & Apparel Industry
CN110413825B (zh) 面向时尚电商的街拍推荐系统
CN107862322A (zh) 结合图片和文本进行图片属性分类的方法、装置及系统
Islam et al. A CNN based approach for garments texture design classification
Mahmood et al. A Comparative study of a new hand recognition model based on line of features and other techniques
Chen et al. Deep net architectures for visual-based clothing image recognition on large database
Mohseni et al. Recognizing induced emotions with only one feature: A novel color histogram-based system
Ihsan et al. Superpixels features extractor network (SP-FEN) for clothing parsing enhancement
Liu et al. FRSFN: A semantic fusion network for practical fashion retrieval
Xue et al. NLWSNet: a weakly supervised network for visual sentiment analysis in mislabeled web images
Tena et al. Content-based image retrieval for fabric images: A survey
Kim et al. Character detection in animated movies using multi-style adaptation and visual attention
Liu et al. Toward fashion intelligence in the big data era: State-of-the-art and future prospects
Xu et al. On learning semantic representations for large-scale abstract sketches
Xu et al. Analysis of clothing image classification models: a comparison study between traditional machine learning and deep learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825