CN111199248A - 一种基于深度学习目标检测算法的服装属性检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习目标检测算法的服装属性识别检测方法，通过对原始服装图像进行标注和分类，获取服装的属性，如：袖子、领子等，然后对服装图片进行翻转、平移等预处理，再予以基于深度学习的目标检测算法对服装属性进行识别检测。所述对服装图片进行预处理是指对图片服装属性的位置进行标注并对其进行分类，然后使用传统图像算法对图片进行翻转和平移等预处理达到数据增广的效果。所述基于深度学习的目标检测算法的服装属性识别检测方法是首先使用深度卷积神经网络对服装属性特征进行充分提取，然后使用目标检测算法特征金字塔对多层特征进行融合，最后使用全卷积神经网络对服装属性进行识别和检测。本发明能够达到90％的识别准确率和82％的检测精度，鲁棒性和泛化能力强，可适用于计算机视觉领域中的服装属性识别和检测。

Description

一种基于深度学习目标检测算法的服装属性检测方法

技术领域：

本发明涉及服装属性检测识别技术领域，尤其涉及一种基于深度神经网络的目标检测算法在服装图片中检测和识别出服装属性和类别的方法。

背景技术：

随着大数据和人工智能时代的来临，商家通过计算机视觉技术分析消费者着装风格，将有助于商家捕捉各客户群体的消费趋势,制定出有针对性的产品组合、营销计划和商业决策。同时随着计算机识别技术的普及,提取人体特征并结合服装款式特征,将会提高身份认证的精确度。服装款式和属性是由服装的外部轮廓和内部细节变化构成的,反映了服装结构的形态特征,包含颜色和纹理特征。因此寻找一种有效的方法描述服装及服装属性的形态特征和快速精确的分类是服装属性识别领域的研究重点。深度学习是机器学习中一种基于对数据进行表征学习的方法,深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,模仿人脑的机制来解释数据,例如图像,声音和文本等。随着深度学习技术的日渐成熟，基于深度神经卷积网络模型的特征提取技术和模式识别技术较传统的统计机器学习方法得到了巨大的提升,使得目前的服装款式特征描述以及分类方法的准确性和实时性得到了进一步提高。

国内外研究者们已经提出了诸多实现服装识别的算法。Bourdev等人研究出一个系统来描述人们的外貌形象,他们使用了种属性,例如男性、恤、长发等特性。另外,对于衣服的分割也是研究热点。Hu等人提出使用基于受限德劳内三角的前景和背景估计,这种方法不需要任何预定义的服装模型。Vittayakorn等人提出一个自动属性检测器,该检测器可以从网上收集服装图像及其描述信息。Kovashka等人开发出一个搜索引擎,该引擎允许用户上传图像和描述并反馈相关图像。等人引入了一个全自动的系统,这个系统能够产生可命名属性列表的衣服。Lorenzo等人则做了一组实验,实验的目的是评价和描述子在衣服属性方面的能力。Chen等人提出了深度学习模型,该方法的优势在于联合训练服装的类别和属性从而提高服装属性预测精度。

发明内容：

本发明的目的是克服现有方法的不足，提出一种基于深度神经网络目标检测模型的服装属性检测识别方法,特别是涉及一种经图像标注处理后进行目标检测得到服属性位置且基于深度卷积神经网络的服装的属性识别方法。本发明主要解决以下问题一、如何把大量的强监督的图像标注方式所需要耗费的大量人力物力进行减少；二、如何提高服装属性的识别精度。

为了解决上述问题,本发明提出了一种基于深度网络增强服装属性识别精度的方法,所述方法包括获取服装图像数据以及标签数据作为初始数据集,并对数据集进行少量标注后按照9：1的比例划分为训练集与测试集。将初始训练集服装数据和标签数据运用传统图像算法进行翻转、平移和加入噪声等操作。然后将处理后的图片数据分批输入进已经通过ImageNet数据集训练收敛后的深度卷积神经网络进行特征提取，利用步骤二输出的每一层的特征信息,并结合1x1卷积层对每一层和上一层的特征信息进行融合从而形成类似金字塔结构的特征金字塔网络。最后通过在步骤三的特征金字塔网络得到的多层融合的特征信息上使用全卷积神经网络和Softmax多分类激活函数对特征信息进行分类和回归，然后使用非极大值抑制素算法对输出的预测框进行筛选，最后得出最佳的检测框和衣服属性类别。

所述深度卷积神经网络,具体为：

对特征进行提取的深度神经网络模型选用的是深度残差网络，模型共有101层卷积层，每层由3x3卷积核组成，卷积操作前均对图像数据做一的操作,卷积层均接层进行非线性映射，网络增加了恒等映射模块，通过把当前输出直接传输给下一层网络(全部是1:1传输，不增加额外的参数)，使其跳过了本层运算，这个直接连接命名为“跳跃连接”，同时在后向传播过程中，也将下一层网络的梯度直接传递给上一层网络，这样就解决了深层网络的梯度消失问题。通过上述过程使网络层数可以达到101层的深度，从而使网络模型能更好的提取数据特征。

所述特征金字塔网络具体为：

由于图像中存在不同尺寸的目标，而不同的目标具有不同的特征，利用浅层的特征就可以将简单的目标的区分开来；利用深层的特征可以将复杂的目标区分开来，所以首先在输入的图像上进行深度卷积，然后对浅层上面的特征进行降维操作(即添加一层1x1的卷积层)，对中层上面的特征就行上采样操作，使得它们具有相应的尺寸，然后对处理后的浅层和处理后的深层执行加法操作(对应元素相加)，将获得的结果输入到上层中去。其操作是为了获得一个强语义信息，可以提高检测性能。使用更深的层来构造特征金字塔，这样做是为了使用更加鲁棒的信息；将处理过的低层特征和处理过的高层特征进行累加，这样做是因为低层特征可以提供更加准确的位置信息，而多次的降采样和上采样操作使得深层网络的定位信息存在误差，因此将其结合其起来就构建了更深的特征金字塔，融合了多层特征信息，并在不同的特征进行输出。

所述全卷积网络具体为：

全卷积网络将传统卷积网络中的全连接层转化成一个个的卷积层。在传统的卷积神经网络结构中，先用卷积层提取特征，然后分别使用全连接层进行特征输出。全卷积网络将这些全连接层替换为为卷积层，卷积核的大小为3x3，通道数为3，宽和高为255x255。使得所有的层都是卷积层，故称为全卷积网络。可以发现，经过多次卷积和池化以后，得到的图像越来越小,分辨率越来越低，为了从这个分辨率低的粗略图像恢复到原图的分辨率，全卷积网络使用了上采样。经过卷积和池化以后，图像的分辨率依次缩小了N倍。对于最后一层的输出图像，就需要进行N倍的上采样来得到输出和原图得大小一样。上采样是通过反卷积实现的。由于对指对最后一层的输出反卷积到原图尺寸得到的结果还是不够精确。所以将倒数后两层的输出也依次反卷积，使得检测和识别结果更加精细。

本发明的有益效果：

本发明通过对服装图像数据集进行预处理,通过使用深度卷积神经网络对处理后的图片数据进行特征提取，然后对提取到的特征进行融合，最后通过使用全卷积神经网络对服装图片属性进行识别和检测。避免了大量人工标注工作,这使得本方法更加经济、高效基于深度神经网络的服装属性识别检测网络利用局部最优解改善整张图像的属性识别精度,从而进一步提高服装属性的识别和检

附图说明：

图1是发明的整体结构示意图。

图2算法模型整体结构示意图。

图3是深度卷积神经网络结构示意图。

图4特征金字塔网络模型结构示意图。

图5全卷积网络模型结构示意图。

图6模型线上部署示意图。

具体实施方式：

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1是本发明实施的具体整体结构示意图，如图1所示，该方法包括：D1，获取服装图片以及标签的原始数据集，然后对原始数据集进行少量的人工标注，并制作成标准数据集,其中每张图片大小为512x512，通道数为3，标注信息为矩形框的四点坐标和类别编号，并将这些信息保存在XML格式文件中。D2，将标准数据集按9：1的比例划分为训练数据集和测试数据集，并将图片路径和标注信息各自保存为TXT格式文本文档。D3，将划分好的训练数据集使用随机翻转、平移和加入椒盐噪声的传统图像处理算法进行处理。D4，将处理后的图片数据输入服装属性检测模型进行训练并保存收敛后的模型权重信息。D5，加载收敛后的模型权重信息，并对测试集数据进行预测。D6，将模型部署到服务器上，并通过WEB或微信小程序进行可视化应用。图2是本发明算法模型整体示意图。如图2所示，该模型整体由三个模块构成，其中网络结构A表示特征提取网络，使用深度残差网络ResNet来完成对图像特征的初步提取；B表示特征金字塔网络，将图A产生的特征图进行重新组合，完成对图像特征的精细化提取，以便能更好地表达图像信息；C表示全卷积子网络，用于分类和定位。

A部分如图3所示，具体如下：

选用的是ResNet深度残差网络对图片数据特征进行提取，并在原来的基础上将网络加深到101层，其具体实现为在卷积前馈网络中增加一个快捷连接，并拟合一个残差映射，此时H(x)＝F(x)+x快捷连接将网络本身的映射结果添加到叠加层的输出中，这样不会为网络添加额外的参数，同时也不影响计算的复杂度。

B部分如图4所示，具体如下：

在A部分深度残差网络ResNet中有五次特征提取过程产生的特征图大小不发生变化，将其分别命名为C1、C2、C3、C4、C5。对C5进行卷积核为3×3，步长为1的卷积运算后得到特征金字塔网络的第一层网络结构P5。自顶向下的过程采用上采样进行。横向连接将上采样的结果和自底向上生成的特征图进行相加操作，即对C4进行卷积核为1×1，步长为1的卷积运算后加上P5的上采样结果，然后进行卷积核为3×3，步长为1的卷积运算得到特征金字塔网络的第二层网络结构P4。以此类推，产生P3、P2、P1。特征金字塔网络的结构能够从单张图像中有效地构建多尺度的特征图，使金字塔的每一层均可被用于不同尺寸的目标检测。

C部分如图5所示，具体如下：

首先将当前滑动窗口的中心在原图的映射为锚点，以此锚点为中心，可在特征金字塔网络的五个不同层级分别生成候选区域。模型在生成锚点时加入{20,213,223}三种不同的尺度和{1∶2，1∶1，2∶1}三种不同的长宽比，即可产生九种锚点，其面积大小在P1、P2、P3、P4、P5上分别为{512²,256²,128²,64²,32²}。分类子网络可为每个锚点预测服装属性目标出现的概率以及服装属性目标属于类别中某一类的概率，其结果针对目标物体不同而不同。通过将特征金字塔模型五层网络结构中的某一层与全卷积网络相连接，每次的卷积过程之后使用ReLu作为激活函数，最终使用Softmax函数来预测服装属性目标的分类情况。模型线上部署如图6所示，具体如下：

首先在后端服务器上搭建深度学习算法运行环境，然后将训练后的服装属性检测模型导入；在前端服务器上搭建WEB或者微信小程序运行环境，并建立可视化应用端口，使用Nginx作为反向代理服务器来处理高并发请求，并使用基于内存的redis数据库作为中间消息队列使前端和后端服务器进行实时通信，最后使用FastCGI进程管理器搭建分布式数据存储系统，对上传后端服务器检测后的图片数据进行快速存储。

Claims (3)

1.一种基于深度学习目标检测算法的服装属性识别检测方法，通过使用处理后的服装图片数据集对深度学习目标检测算法进行训练得到拟合后的模型用于对电商平台批量发布服装及其细节属性等单一重复工作过程的替代和解决方法。

2.其特征主要包括：对服装图片进行标记和备注，对标注后的服装图片进行预处理，使用深度卷积神经网络对图片进行特征提取，使用特征金字塔进行特征融合，最后使用全卷积神经网络对图片属性进行识别和检测。

所述的对服装图片进行标记和备注是指对服装图片中的服装属性位置进行人工标注并生成带有位置坐标和属性名称的xml文件；

所述的对标注后的服装图片进行预处理是指通过传统的图像算法对图片进行0到180度的旋转、对称翻转、平移、加入椒盐噪声和提高或减弱图片亮度来达到数据增广效果进而提高模型收敛速度；

所述的使用深度卷积神经网络对图片进行特征提取是指将预处理后的服装图片输入到深度卷积神经网络中进行前向卷积运算和池化操作然后进行反向传播调优减小模型误差；

所述使用特征金字塔进行特征融合是指通过提取深度卷积网络的不同层的特征进行特征融合，分别在不同的特征层进行预测来提升识别和检测的精度；

所述使用全卷积神经网络对图片属性进行识别和检测是指通过使用没有池化操作的纯卷积神经网络来减少特征提取中的损失从而提升识别和检测精度。

3.根据权利要求1所述的通过使用处理后的服装图片数据集对深度学习目标检测算法进行训练得到拟合后的模型，其训练步骤包括：

(1)对服装图片进行预处理并使其没32张为一个批次输入到模型中。

(2)导入ImageNet数据集的预训练权重文件并在其基础上继续训练。

(3)通过随机梯度下降算法对模型损失值进行优化并使模型快速收敛。

(4)保存训练后的模型权重和训练日志文件，并通过对其测试来调整模型学习率等超参数。

Images