CN112036495A - 一种基于网络爬虫和迁移学习的服装图像分类方法 - Google Patents

一种基于网络爬虫和迁移学习的服装图像分类方法 Download PDF

Info

Publication number
CN112036495A
CN112036495A CN202010908382.3A CN202010908382A CN112036495A CN 112036495 A CN112036495 A CN 112036495A CN 202010908382 A CN202010908382 A CN 202010908382A CN 112036495 A CN112036495 A CN 112036495A
Authority
CN
China
Prior art keywords
layer
model
classification
data set
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010908382.3A
Other languages
English (en)
Inventor
张静亚
夏铁恩
潘启勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202010908382.3A priority Critical patent/CN112036495A/zh
Publication of CN112036495A publication Critical patent/CN112036495A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于网络爬虫和迁移学习的服装图像分类方法,包括:基于网络爬虫技术的图像数据集采集;对采集的图像数据集进行数据清洗得到自建数据集;由预训练模型导出自建数据集的特征,得到的特征再输出到分类层模型对分类层模型参数进行训练;拼接预训练模型及训练完的分类模型用以预测服装图像的分类。本发明模型训练时间短,分类准确度高。

Description

一种基于网络爬虫和迁移学习的服装图像分类方法
技术领域
本发明涉及一种服装分类方法,特别是涉及一种基于网络爬虫和迁移学习的服装图像分类方法,属于计算机图像分类技术领域。
背景技术
图像样本对迁移学习较为重要,以服装图像为例,常见的数据集有Fashion-MNIST,DeepFashion等,前者图像尺寸较小不满足电商平台多样性服装的输入要求,后者的训练集总数为80万张图片重复率较高,图像质量欠佳,如直接使用,易导致模型的过拟合现象。传统的迁移学习预训练模型采用了在大规模数据集ImageNet上预训练的Inception-v3模型和Xception模型。通常来说,系统要识别的图像与ImageNet集图像有较大差异,现有的方法是微调预训练模型的高级语义卷积层,但是该方法要较长训练时间,不适宜算力不足的情况。
发明内容
针对上述现有技术缺陷,本发明的任务在于提供一种基于网络爬虫和迁移学习的服装图像分类方法,减少分类模型训练时间,提高分类准确度。
本发明技术方案如下:一种基于网络爬虫和迁移学习的服装图像分类方法,包括:基于网络爬虫技术的图像数据集采集;对采集的图像数据集进行数据清洗得到自建数据集;由预训练模型导出自建数据集的特征,得到的特征再输出到分类层模型对分类层模型参数进行训练;拼接预训练模型及训练完的分类模型用以预测服装图像的分类。
进一步地,所述分类层模型包括依次连接的压缩激励模块层、全局平均池化层、失活层和激活层,所述压缩激励模块层包括依次连接的次级全局平均池化层、次级第一全连接层、RELU激活层、次级第二全连接层、次级Sigmoid激活层和相乘层,所述次级全局平均池化和所述次级第一全连接层对所述自建数据集的特征进行压缩,使用RELU激活函数拟合通道间相关性,再通过次级第二全连接层和次级Sigmoid激活层生成归一化的权重特征图,用归一化的权重特征图与预训练模型输出的特征图逐个元素相乘,得到经过权重筛选的特征图谱。
进一步地,所述次级第一全连接层的节点数为128,所述次级第二全连接层的节点数为2048。
进一步地,所述预训练模型为Inception预训练模型或者Xception模型。
进一步地,所述基于网络爬虫技术的图像数据集采集包括步骤:(1)选取搜素图片所需要的URL;(2)需将UTF-8格式的中文或者英文编码为ASCII码格式后加入到URL中,再向服务器发送请求,获取对应的数据文件;(3)解析数据文件,获取所要的图片文件;(4)多次请求获得所需要数量的图像。
进一步地,所述数据清洗包括步骤:首先对图像数据集中的图像文件进行MD5值校验,如果文件MD5值相同,则对其中一个重复的图像文件进行删除;然后设定字节和尺寸大小阈值,删除阈值以下的图像文件。
本发明与现有技术相比的优点在于:
通过网络爬虫技术和迁移学习结合,按所需关键字收集图像数据并进行清洗,较其他公开数据集更能满足现实应用场景的多样性和复杂性。
对分类层结构进行改进,加入了基于压缩和激励的SE-block模型。通过单独训练分类层,再拼接预训练模型最后得到效率和效果较传统方法更优的迁移分类模型。在没有微调预训练模型卷积层情况下,在322张图片的验证集上最高得到97.205%准确率。实验表明,即使在算力较小的笔记本电脑上,通过自适应学习率优化方法Adadelta单独训练加入SE-block模型的分类层在相对较短的时间也能够取得较好图像分类效果。
附图说明
图1为基于网络爬虫和迁移学习的服装图像分类方法网络结构示意图。
图2为压缩激励模块层结构示意图。
图3为采用Inception预训练模型时本发明方法与普通分类层的准确率对比图。
图4为采用Inception预训练模型时本发明方法与普通分类层的损失函数对比图。
图5为采用Xception模型时本发明方法与普通分类层的准确率对比图。
图6为采用Xception模型时本发明方法与普通分类层的损失函数对比图。
具体实施方式
下面结合实施例对本发明作进一步说明,但不作为对本发明的限定。
为了更好地理解本发明,请结合图1所示,基于网络爬虫和迁移学习的服装图像分类方法包括:基于网络爬虫技术的图像数据集采集;对采集的图像数据集进行数据清洗得到自建数据集;由预训练模型导出自建数据集的特征,得到的特征再输出到分类层模型对分类层模型参数进行训练;拼接预训练模型及训练完的分类模型用以预测服装图像的分类。
基于网络爬虫技术的图像集采集具体包括:(1)选取搜素图片所需要的URL。(2)需将UTF-8格式的中文或者英文编码为ASCII码格式后加入到URL中,再向服务器发送请求,获取对应的数据文件;(3)解析数据文件,获取所要的图片文件;(4)多次请求获得所需要数量的图像。
数据清洗过程主要是对图片进行MD5(Message-Digest Algorithm 5)值和文件字节大小双重标准清洗。若文件MD5值相同,则对其中一个重复的图像文件进行删除。对于低质量图片的处理,通过设定字节和尺寸大小阈值,来删除阈值以下低质量图片。最后将少量不符合分类类别要求的图像手动剔除。
预训练模型采用Inception预训练模型或者Xception模型。Inception预训练模型包含47层深度神经网络层,主要由不同核尺寸的卷积层、最大池化层、平均池化层构成。在Inception模块上,将部分3×3的卷积核替换为不对称的1×3和3×1的卷积核,7×7的卷积核替换为不对称的1×7和7×1的卷积核,相比对称的卷积减少了计算开销。Xception模型包含36个卷积层、4个最大值池化层、35个非线性激活函数以及1个全局平均值池化层,其中卷积层包含34个深度可分离卷积层,这些网络层构成14个具有残差机制的模块。Inception模型和Xception模型首先在公共数据集ImageNet上进行预训练,该预训练集包含超过100万张的图片,目标分类数为1000个。本发明将该预训练好的模型参数迁移到自建的服装分类网络中。预训练好的Inception模型和Xception用以导出本设计自建数据集的特征。
本实施例的分类层模型包括压缩激励模块(SE-block)层、全局平均池化层、失活(Dropout)层和Sigmoid激活层。其中,SE-block模块又包括次级全局平均池化(GlobalAverage Pooling)层、节点数较小的次级第一全连接层(FC)、RELU激活层、节点数为2048的次级第二全连接层(FC)和次级Sigmoid激活层,还有相乘层(相乘运算)。现有技术的分类层模型是由获取全局感知的全局平均池化层、节点数为1024的全连接层、失活(Dropout)层和softmax函数层构成,并随机初始化其中的全连接层参数。但若分类层直接采用全连接层对信息整合后分类,其鲁棒性和准确度不及微调预训练模型的卷积层。为提高分类层效果,本发明加入了类似注意力机制的SE-block模块的分类层,以此替换简单的多节点全连接层。
分类层中使用SE-block模块,用以整合预训练模型提取的特征。SE-block模块的结构如图2所示,该模块在获取特征图整体的空间相关性的基础上,考虑了通道之间的相关性,并以此加入了压缩和激励操作。具体流程如下:
(1)使用次级全局平均池化(Global Average Pooling)和节点数128的次级第一全连接层(FC)对特征图进行压缩,使用RELU激活函数来拟合通道间复杂的相关性,最后通过节点数为2048的次级第二全连接层和Sigmoid函数生成归一化的权重特征图。
(2)用归一化的权重特征图与预训练模型输出特征图逐个元素相乘,得到经过权重筛选的特征图谱。
经过SE-block的权重筛选,样本的有效特征能被激励,并弱化影响分类的干扰信息,从而提高模型分类的鲁棒性和准确度。其后加入全局平均池化层(Global AveragePooling)和减少过拟合风险的Dropout层,以及分类函数(Sigmoid)对类别进行预测。
(3)分类层训练采用自适应调整学习速率的Adadelta优化器,从而能快速得到分类层参数。训练时,由预训练模型提取出来的自建数据集的特征输出到分类层模型进行训练,然后保存训练的参数。这种单独训练分类层这种方法可以避免框架的一些重复计算。
拼接模型时,用框架的Sequential在里面加入预训练模型,再载入训练完成的分类层模型,这样就形成完整的模型。模型的性能评价指标主要包括验证集和训练集的损失函数下降值和验证集的分类准确度。损失函数采用交叉熵损失(Categorical Cross-Entropy Loss),定义如下:
Figure BDA0002662352730000041
验证集的分类准确度指标定义如下:
Figure BDA0002662352730000042
两指标中,n为数据集样本数量,a为模型实际输出量,y为期望输出值。g(x)为模型预测的结果。
以服装分类为例,构建的图像数据集共分为9类,分别为长裤、毛衣、背心、连衣裙、短T恤、羽绒服、衬衫、短裤、短裙。爬取时自动创建相应类别文件夹并存放相应的图片。最后获取了3187张图片,并填充为方形尺寸,缩放到500×500大小。其中2865张为训练集,322张为验证集。训练集和验证集按照9:1进行划分。验证集在服装色彩、款式方面分布均匀,能够检验模型分类的有效性。相比传统深度学习网络,本系统训练集的图片较少,属于小型数据集。系统采用笔记本电脑,CPU为i5-7200U,内存为8GB,未使用GPU显卡。在Windows10系统下,后端框架使用Tensorflow 1.12.0。小型图像集分类过程采用基于Tensorflow的Keras深度学习框架。
本发明方法对比普通分类层模型的实验结果如图3至图6所示(点虚线为普通分类层、短划线虚线为本发明方法)。
(1)预训练模型采用Inception-V3时,本设计改进模型和普通分类层模型分别在46次和47次因过拟合而停止。预训练模型采用Xception时,普通分类层因结构简单,提前过拟合,被过早停止。本发明方法训练的Inception-v3和Xception模型在验证集上损失函数值分别下降到0.148,0.120。
(2)本发明改进模型的损失函数下降更平稳,整体上更低。通过本发明改进模型验证集准确度分别可达到95.652%和97.205%。较使用普通分类层迁移学习提高了0.621%和0.311%。因数据集经过清洗,数据基本已被模型拟合提升较困难,故验证集最高准确率提高较少,但验证集平均准确率有较大提升且过拟合风险减少,即加入SE-block模块较普通分类具有更好的鲁棒性。
在使用Keras深度学习框架和相同数据集的情况下,本发明方法相比其他迁移学习方法,在冻结预训练模型的层数、迭代训练集一次所需的时间、总的模型训练时间,以及测试集准确率方面的实验统计数据如表1所示。
表1相关方法实验结果对比
Figure BDA0002662352730000051
传统的微调模型卷积层迁移学习,按照冻结大部分卷积层,使用SGD优化器微调其余层和分类层,最后较好地得到分类效果。因学习率较低,导致微调卷积层时间过长,不适宜算力不足的情况。直接使用全连接层的传统分类层,其训练时间非常短,但模型鲁棒性和分类效果一般。本发明在不使用数据提升情况下对分类层结构和训练分别进行了方法改进。改进后的模型在验证集上准确率较使用传统分类层有一定提升,在训练时间上较传统微调卷积层有大幅减少。采用改进的单独训练分类层与预训练模型进行拼接的模型在效率和效果上的平衡较其他方法更优。

Claims (6)

1.一种基于网络爬虫和迁移学习的服装图像分类方法,其特征在于,包括步骤:基于网络爬虫技术的图像数据集采集;对采集的图像数据集进行数据清洗得到自建数据集;由预训练模型导出自建数据集的特征,得到的特征再输出到分类层模型对分类层模型参数进行训练;拼接预训练模型及训练完的分类模型用以预测服装图像的分类。
2.根据权利要求1所述的基于网络爬虫和迁移学习的服装图像分类方法,其特征在于,所述分类层模型包括依次连接的压缩激励模块层、全局平均池化层、失活层和激活层,所述压缩激励模块层包括依次连接的次级全局平均池化层、次级第一全连接层、RELU激活层、次级第二全连接层、次级Sigmoid激活层和相乘层,所述次级全局平均池化和所述次级第一全连接层对所述自建数据集的特征进行压缩,使用RELU激活函数拟合通道间相关性,再通过次级第二全连接层和次级Sigmoid激活层生成归一化的权重特征图,用归一化的权重特征图与预训练模型输出的特征图逐个元素相乘,得到经过权重筛选的特征图谱。
3.根据权利要求2所述的基于网络爬虫和迁移学习的服装图像分类方法,其特征在于,所述次级第一全连接层的节点数为128,所述次级第二全连接层的节点数为2048。
4.根据权利要求1所述的基于网络爬虫和迁移学习的服装图像分类方法,其特征在于,所述预训练模型为Inception预训练模型或者Xception模型。
5.根据权利要求1所述的基于网络爬虫和迁移学习的服装图像分类方法,其特征在于,所述基于网络爬虫技术的图像数据集采集包括步骤:(1)选取搜素图片所需要的URL;(2)需将UTF-8格式的中文或者英文编码为ASCII码格式后加入到URL中,再向服务器发送请求,获取对应的数据文件;(3)解析数据文件,获取所要的图片文件;(4)多次请求获得所需要数量的图像。
6.根据权利要求1所述的基于网络爬虫和迁移学习的服装图像分类方法,其特征在于,所述数据清洗包括步骤:首先对图像数据集中的图像文件进行MD5值校验,如果文件MD5值相同,则对其中一个重复的图像文件进行删除;然后设定字节和尺寸大小阈值,删除阈值以下的图像文件。
CN202010908382.3A 2020-09-02 2020-09-02 一种基于网络爬虫和迁移学习的服装图像分类方法 Pending CN112036495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010908382.3A CN112036495A (zh) 2020-09-02 2020-09-02 一种基于网络爬虫和迁移学习的服装图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010908382.3A CN112036495A (zh) 2020-09-02 2020-09-02 一种基于网络爬虫和迁移学习的服装图像分类方法

Publications (1)

Publication Number Publication Date
CN112036495A true CN112036495A (zh) 2020-12-04

Family

ID=73591077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010908382.3A Pending CN112036495A (zh) 2020-09-02 2020-09-02 一种基于网络爬虫和迁移学习的服装图像分类方法

Country Status (1)

Country Link
CN (1) CN112036495A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541544A (zh) * 2020-12-09 2021-03-23 福州大学 一种基于深度学习的垃圾分类方法
CN116070696A (zh) * 2023-01-10 2023-05-05 中国兵器装备集团自动化研究所有限公司 一种跨域数据深度迁移方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830294A (zh) * 2018-05-09 2018-11-16 四川斐讯信息技术有限公司 一种图像数据的增广方法
CN109508650A (zh) * 2018-10-23 2019-03-22 浙江农林大学 一种基于迁移学习的树种识别方法
CN111223553A (zh) * 2020-01-03 2020-06-02 大连理工大学 一种两阶段深度迁移学习中医舌诊模型
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830294A (zh) * 2018-05-09 2018-11-16 四川斐讯信息技术有限公司 一种图像数据的增广方法
CN109508650A (zh) * 2018-10-23 2019-03-22 浙江农林大学 一种基于迁移学习的树种识别方法
CN111223553A (zh) * 2020-01-03 2020-06-02 大连理工大学 一种两阶段深度迁移学习中医舌诊模型
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIE HANG ET AL.: "Classification of Plant Leaf Diseases Based on Improved Convolutional Neural Network", 《SENSORS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541544A (zh) * 2020-12-09 2021-03-23 福州大学 一种基于深度学习的垃圾分类方法
CN112541544B (zh) * 2020-12-09 2022-05-13 福州大学 一种基于深度学习的垃圾分类方法
CN116070696A (zh) * 2023-01-10 2023-05-05 中国兵器装备集团自动化研究所有限公司 一种跨域数据深度迁移方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN112567355B (zh) 用于知识库补全的端到端的结构感知卷积网络
Li et al. A deeper look at facial expression dataset bias
CN110110624B (zh) 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
WO2017113232A1 (zh) 一种基于深度学习的产品分类方法及装置
WO2021104125A1 (zh) 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
CN103617290B (zh) 中文机器阅读系统
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
CN111898703B (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN111737551A (zh) 一种基于异构图注意力神经网络的暗网线索检测方法
CN111460818A (zh) 一种基于增强胶囊网络的网页文本分类方法及存储介质
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN111159485A (zh) 尾实体链接方法、装置、服务器及存储介质
CN109063719A (zh) 一种联合结构相似性和类信息的图像分类方法
CN109740679A (zh) 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
CN112036495A (zh) 一种基于网络爬虫和迁移学习的服装图像分类方法
CN113239825B (zh) 一种复杂场景下高精度烟草甲虫检测方法
Shen et al. Hierarchical Attention Based Spatial-Temporal Graph-to-Sequence Learning for Grounded Video Description.
CN108319672A (zh) 基于云计算的移动终端不良信息过滤方法及系统
CN115222998B (zh) 一种图像分类方法
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN111523483A (zh) 中餐菜品图像识别方法及装置
Chen et al. Military image scene recognition based on CNN and semantic information
US20240193790A1 (en) Data processing method and apparatus, electronic device, storage medium, and program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201204