CN113920315A - 一种基于卷积神经网络的服装属性识别方法 - Google Patents

一种基于卷积神经网络的服装属性识别方法 Download PDF

Info

Publication number
CN113920315A
CN113920315A CN202111197537.8A CN202111197537A CN113920315A CN 113920315 A CN113920315 A CN 113920315A CN 202111197537 A CN202111197537 A CN 202111197537A CN 113920315 A CN113920315 A CN 113920315A
Authority
CN
China
Prior art keywords
neural network
similarity
candidate
probability
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111197537.8A
Other languages
English (en)
Other versions
CN113920315B (zh
Inventor
潘如如
向军
高卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202111197537.8A priority Critical patent/CN113920315B/zh
Publication of CN113920315A publication Critical patent/CN113920315A/zh
Application granted granted Critical
Publication of CN113920315B publication Critical patent/CN113920315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明涉及服装图像识别领域,涉及一种基于卷积神经网络的服装属性识别方法。服装属性识别方法步骤如下:第一步,候选区的提取;第二步,对数据集中的矩形区域和标注区域内的图像进行预处理;第三步,候选区的特征提取和分类;第四步,对预选框定位精度进行衡量;第五步,校正识别区域。本发明通过对服装图像的局部特征识别其属性,提高了识别效率和精确度。

Description

一种基于卷积神经网络的服装属性识别方法
技术领域
本发明涉及服装图像识别领域,涉及一种基于卷积神经网络的服装属性识别方法。
背景技术
随着电子商务的流行和图像据的累计,如何从庞大的图像数据中快速挖掘出有用的信息成为一个迫切的需求并迅速成为一个研究热点。服装类目作为电商行业中的第一大类目,其需求更是迫切。针对服装图像分类任务,传统的方法是借助数字图像处理以及模式识别,通过对图像局部分割和特征提取等基于底层视觉特征或者手工设计的视觉特征来实现对服装图像的识别,这些基于底层特征的方法过于依赖特征提取,具有一定的局限性。
随着近期深度学习在图像分类识别任务上的突破,越来越多的深入学习的方法被用来解决服装图像分类和识别,这些方法虽能大大提高识别效率,但都是从图片整体上去识别其分类或属性,而很多服装的一些属性从局部就能辨别,因此通过图像局部识别的方法可以大大提高识别效率。
发明内容
本发明的目的是为了从庞大的图像数据中快速挖掘出有用的信息,从服装图像的局部特征区域来识别衣服的一些特征,提高服装图像识别的效率和精确度。
本发明的技术方案如下:
一种基于目标检测算法框架的服装属性识别方法,步骤如下:
第一步,候选区的提取;
优选地,本发明采用选择性搜索算法(Search Selective,后文简称SS算法)提取候选区区域。步骤如下:
首先使用基于图的分割方法将图像分割成许多小区域,然后通过各个区域间的颜色、纹理、尺寸、吻合度之间地相似性进行区域合并,得到每个可能存在的目标的矩形框,如附图2所示。
相比于原始SS算法,本发明使用不同通道的颜色矩来表示图像颜色特征,通过调整基于图的分割算法中的尺度和阈值来控制预选框的提取效果。
另外,根据所选的服装款式类型,结合服装各个属性的分类,尽量用一个最小的区域去框选目标特征区域,得到各个特征区域的标注实例,以此作为训练和测试模型的主要数据集。
第二步,对数据集中的矩形区域和标注区域内的图像进行预处理;
优选地,所述图像预处理,步骤如下:
由于后续的模型需要输入图像的尺寸一致,因此需要对SS算法得到的矩形框和标注的数据进行尺寸的归一化处理。本发明采用双线性插值对图像进行放缩处理,放缩系数由矩形框中比较长的一边进行决定,段边上的空白用全0进行填充,放缩实例如附图7所示。
第三步,候选区的特征提取和分类;
优选地,在进行特征提取的时候,本发明选取卷积神经网络对选区进行特征提取,并且在网络架构中使用Inception结构。其示意图如附图3所示,其中(a)中所示的结构主要作用是对空间特征进行聚合,(b)中所示结构除了聚合作用外,还可以降低特征图尺寸。
优选地,在进行预测图像分类时,本发明选取L-Softmax分类器。
在卷积神经网络中,最大熵损失是最常用的监督分量。尽管该组件很简单且很受欢迎,但它并没有明确鼓励对特性的判别式学习。本研究应用广义大边界最大损失(L-Softmax),明确地鼓励了类间的可分性和类内特征之间的紧密性。
在进行候选区的特征提取和分类的步骤如下:
将经SS算法得到的候选区域经过尺寸归一化处理后,在稀疏神经网络CNN中进行前向传播,将最后池化层后的2048维特征向量提取出来,接下来用训练好的分类器预测其属于每个类别的可能性及分数,对于每个类别,图片中的预选框都会有一个分数。
第四步,对预选框定位精度进行衡量;
图片经过SS算法后会产生很多可能存在检测物体的矩形框,需要对这些预选框进行筛选并且评价边界框的定位精度。
优选地,本发明采用非极大值抑制来对提取的区域进行筛选评价。
利用非极大值抑制筛选选区的步骤如下:
首先假设有6个预选框,根据经过分类器后的分类概率排序,从小到大分别属于某一类的概率排序为A、B、C、D、E、F;
1)从最大概率的选区F开始,分别判断A~E与F的重叠度IOU是否大于某一个预先设定的阈值;
2)假设B、D和F的IOU大于设定的阈值,那么排除B和D,标记概率最大的矩形框F并保留下来;
3)从余下来的选区A、C、E中,选择概率最大的区域E,然后计算E与A、C的IOU,如果重叠度大于设定的阈值就排除,并且标记E是保留下来的第二个区域;
4)重复上述过程,直到筛选出所有保留下来的候选区。
第五步,校正识别区域;
算法标注的边界框不可能和标注的数据百分百的吻合,为了找到一个更接近真实边框的回归边框,优选地,本发明采用边界回归的方法,其步骤如下:
提取通过稀疏神经网络的池化层特征值,进行平移变换和尺度防缩。最终模型的输出是对目标边框的预测值。
本发明的有益效果:
本发明通过对服装图像的局部特征识别其属性,提高了识别效率和精确度。
附图说明
图1是本发明方法技术路线示意图;
图2是SS算法候选框示意图;
图3是深度神经网络示意图;
图4是区域重叠度IOU示意图;
图5是标注数据框示意图;
图6是在本发明实验条件下的候选框数量示意图;
图7是双线性插值图像缩放方法示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
步骤一,标注数据;
对于服装不同的属性尽量用一个较小的区域框选目标特征区域并对其进行标注,如附图5所示,并以此作为标注数据,所有分类的标注数据都应达到1000以上。
步骤二,候选区的选择;
使用SS算法提取候选区域,此算法的步骤如下:
1)使用基于图的图像分割算法分割得到原始分割区域集合,用R={r1,r2,...rn}表示;
2)计算相邻区域之间的相似度包括颜色相似度、纹理相似度、尺寸相似度以及吻合度,并存储在集合S中;
3)合并集合R中相似度最高的两个相邻区域rp和rq形成新的区域rt,并在集合S中删除rp和rq相邻区域之间的相似度;
4)计算rt和相邻区域之间的相似度,并将相似度的值存入集合S中,将rt储存在集合R中;
5)迭代重复步骤3、4,直到集合S为空;
6)按照尺寸大小筛选出可能的候选框。
其中,步骤2)中在计算相似度时考虑了四个相似度,分别为颜色、纹理、尺寸和吻合度。在此用区域内颜色在不同颜色空间中的颜色矩来表征颜色特征。为了将场景和光照条件考虑在内,使用的颜色分量包括:(1)RGB空间的R、G、B;(2)加权灰度值I;(3)Lab颜色空间L、a、b;(4)HSV颜色空间H、S和V。颜色矩包含三个分量,分别为一阶矩(均值),二阶中心距(方差)和三阶中心距(斜度)。
计算公式如下
Figure BDA0003303717270000051
Figure BDA0003303717270000052
Figure BDA0003303717270000053
其中,一阶矩均值用μ表示,二阶中心矩方差用σ表示,三阶中心距用s表示,n表示区域中所包含像素点的个数,h表示所在通道的值。每个区域都可以得到一个n=10×3=30维的向量
Figure BDA0003303717270000054
相邻区域cp,cq之间的颜色相似度通过下面的计算公式得到:
Figure BDA0003303717270000061
在经过步骤3)区域合并成新区域rt之后,新区域的颜色特征向量用下式表示
Figure BDA0003303717270000062
图像的纹理特征用LBP来表征,区域之间的相似度以及区域合并后区域的特征向量如下公式所示:
Figure BDA0003303717270000063
Figure BDA0003303717270000064
为了使小区域优先合并,在计算尺寸相似度时给小区域加更多的权重,这样可以保证在图像的每个位置都是多尺度的在合并,尺寸相似度的计算方法如下:
Figure BDA0003303717270000065
区域之间的吻合度用下式表示,
Figure BDA0003303717270000066
区域rp和rq之间的总相似度为:
s(rp,rq)=scolor+stexture+ssize+sfill
相比于原始SS算法,本发明使用不同通道的颜色矩来表示图像颜色特征。另外通过调整基于图的分割算法中的尺度scale和阈值threshold来控制预选框的提取效果。本发明选用的阈值为50,聚类尺度参数为18。
实验发现,分割阈值越小,提取的预选框越多,反之越小;提取区域数量随分割尺度先增大后减小。实验结果如附图6所示。相较于原SS算法而言,提取效果差别不大,但是特征向量维度比较低,使得效率有所提升。
步骤三,对采集所得的矩形框和标注区域进行预处理
本发明中,所选模型的输入尺寸为224*224*3,而SS算法和标注的矩形框大小不尽相同,用双线性插值方法对矩形框进行一定程度的防缩,放缩系数τ由矩形框中比较长的一边决定,如附图7所示。在经过放缩系数为τ的等比放缩后,在短边方向上两边会留有长度为a的空白。本发明中用全0填充短边方向上的空白。
步骤四,候选区地特征提取和分类
本发明训练的硬件环境为一台惠普塔式工作站Z840TOWER,其中CPU为E5-2623v4@2.60GHz,内存32G,显卡为NVIDIA TITAN XP两块。训练的模型基于深度学习框架Tensorflow,为了使深度网络模型有一个较好的初始值,将此模型放到ImageNet数据集上进行预训练。然后在自己训练集上迁移训练这个深度模型,只需要将最后的输出1000类标注数据换成19类。
本发明将尺寸归一化的经SS算法提取候选框在稀疏神经网络CNN中进行传播,将最后池化层的2048维特征向量提取出来,然后用训练好的L-Softmax预测其属于每个分类可能性及分数,对于每个类别,图片中的预选区域都会对其有一个分数。
步骤五,对预选区域定位精度进行衡量
对经过步骤四的预选框进行非极大值抑制,对预选框进行一个筛选,保留下来有用的预选框,然后用区域重叠度IOU保留与标注框大于0.6的区域。
步骤六,边界回归校正识别区域
边界回归包含两个变换,平移变换和尺度放缩。其中平移参数用dx(P)和dy(P)表示,放缩参数用dw(P)和dh(P)表示边界回归的目标函数用下式表示,
Figure BDA0003303717270000081
其中,d*(P)是得到的预测值,*表示x,y,w,h,ω*表示要学习的参数,FP表示对应矩形框的特征值。边界回归的目的是尽量缩小预测值和真实值(tx,ty,tw,th)的差距,使用的损失函数为和目标函数为:
Figure BDA0003303717270000082
Figure BDA0003303717270000083
其中N表示训练集中样本的数量,argmin表示使Loss最小的ω*。训练使用随机梯度下降算法对模型进行学习。
步骤七,分类结果和参数优化
本发明中,通过计算SS算法提取的预选框与真实标注框的区域重叠度来评估算法性能。完全包含物体的区域就是所谓的正样本,与物体区域没有任何交集的区域就是负样本,使用区域重叠阈值来挑选预选框与正负样本的重叠阈值,本发明采用的两个重叠阈值为T1=0.3,T2=0.6,使用mAP来评估模型在测试集上的识别准确度。本发明验证的数据中大部分类别的识别准确率超过80%。

Claims (6)

1.一种基于卷积神经网络的服装属性识别方法,其特征在于,步骤如下:
步骤1:候选区的选取,以选择性搜索算法提取候选区域,通过各个提取区域间的颜色、纹理、尺寸和吻合度之间的相似性对区域进行合并;
1)使用基于图的图像分割算法分割得到原始分割区域集合,用R={r1,r2,...rn}表示;
2)计算相邻区域之间的相似度包括颜色相似度、纹理相似度、尺寸相似度以及吻合度,并存储在集合S中;
3)合并集合R中相似度最高的两个相邻区域rp和rq形成新的区域rt,并在集合S中删除rp和rq相邻区域之间的相似度;
4)计算rt和相邻区域之间的相似度,并将相似度的值存入集合S中,将rt储存在集合R中;
5)迭代重复步骤3、4,直到集合S为空;
6)按照尺寸大小筛选出可能的候选框;
步骤2:对提取的矩形区域进行预处理;
具体处理为:模型图像的输入尺寸为224*224*3,用双线性插值方法对矩形框进行防缩,放缩系数τ由矩形框中比较长的一边决定;在经过放缩系数为τ的等比放缩后,在短边方向上两边会留有长度为a的空白;本发明中用全0填充短边方向上的空白;
步骤3:候选区的特征提取和分类;
本发明将尺寸归一化的经选择性搜索算法提取候选框在稀疏神经网络CNN中进行传播,将最后池化层的2048维特征向量提取出来,然后用训练好的L-Softmax预测其属于每个分类可能性及分数,对于每个类别,图片中的预选区域都会对其有一个分数;
步骤4:采用非极大值抑制来对提取的区域进行筛选评价;
步骤5:采用边界回归的方法校正识别区域,提取通过稀疏神经网络的池化层特征值,进行平移变换和尺度防缩;最终模型的输出是对目标边框的预测值。
2.如权利要求1所述的一种基于卷积神经网络的服装属性识别方法,其特征在于,所述的步骤1中,使用的颜色分量包括:(1)RGB空间的R、G、B;(2)加权灰度值I;(3)Lab颜色空间L、a、b;(4)HSV颜色空间H、S和V。
3.如权利要求1或2所述的一种基于卷积神经网络的服装属性识别方法,其特征在于,所述的选择性搜索算法中阈值设置为50,聚类尺度参数为18。
4.如权利要求1或2所述的一种基于卷积神经网络的服装属性识别方法,其特征在于,所述的步骤5中,边界回归包含两个变换、平移变换和尺度放缩。
5.如权利要求1或2所述的一种基于卷积神经网络的服装属性识别方法,其特征在于,所述的所述非极大值抑制,步骤如下:
首先设6个预选框,根据经过分类器后的分类概率排序,从小到大分别属于某一类的概率排序为A、B、C、D、E、F;
1)从最大概率的选区F开始,分别判断A~E与F的重叠度IOU是否大于某一个预先设定的阈值;
2)假设B、D和F的IOU大于设定的阈值,那么排除B和D,标记概率最大的矩形框F并保留下来;
3)从余下来的选区A、C、E中,选择概率最大的区域E,然后计算E与A、C的IOU,如果重叠度大于设定的阈值就排除,并且标记E是保留下来的第二个区域;
4)重复上述过程,直到筛选出所有保留下来的候选区。
6.如权利要求3所述的一种基于卷积神经网络的服装属性识别方法,其特征在于,所述的所述非极大值抑制,步骤如下:
首先设6个预选框,根据经过分类器后的分类概率排序,从小到大分别属于某一类的概率排序为A、B、C、D、E、F;
1)从最大概率的选区F开始,分别判断A~E与F的重叠度IOU是否大于某一个预先设定的阈值;
2)假设B、D和F的IOU大于设定的阈值,那么排除B和D,标记概率最大的矩形框F并保留下来;
3)从余下来的选区A、C、E中,选择概率最大的区域E,然后计算E与A、C的IOU,如果重叠度大于设定的阈值就排除,并且标记E是保留下来的第二个区域;
4)重复上述过程,直到筛选出所有保留下来的候选区。
CN202111197537.8A 2021-10-14 2021-10-14 一种基于卷积神经网络的服装属性识别方法 Active CN113920315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111197537.8A CN113920315B (zh) 2021-10-14 2021-10-14 一种基于卷积神经网络的服装属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111197537.8A CN113920315B (zh) 2021-10-14 2021-10-14 一种基于卷积神经网络的服装属性识别方法

Publications (2)

Publication Number Publication Date
CN113920315A true CN113920315A (zh) 2022-01-11
CN113920315B CN113920315B (zh) 2024-04-30

Family

ID=79240350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111197537.8A Active CN113920315B (zh) 2021-10-14 2021-10-14 一种基于卷积神经网络的服装属性识别方法

Country Status (1)

Country Link
CN (1) CN113920315B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN109104876A (zh) * 2017-04-20 2018-12-28 上海寒武纪信息科技有限公司 一种运算装置及相关产品
CN110633727A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
AU2020102036A4 (en) * 2020-08-28 2020-10-08 Chen, Tianjun Mr A Method of Clothing Attribute Recognition with Graph Relation Network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104876A (zh) * 2017-04-20 2018-12-28 上海寒武纪信息科技有限公司 一种运算装置及相关产品
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN110633727A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
AU2020102036A4 (en) * 2020-08-28 2020-10-08 Chen, Tianjun Mr A Method of Clothing Attribute Recognition with Graph Relation Network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
温明;韩慧;王磊;卓晴;王文渊;: "基于组件词表的物体识别", 计算机工程, no. 07, 5 April 2008 (2008-04-05) *
郜雨桐;宁慧;王巍;赵梓成;孙煜彤;: "基于卷积神经网络的车辆型号识别研究", 应用科技, no. 06, 21 September 2018 (2018-09-21) *

Also Published As

Publication number Publication date
CN113920315B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN107229904B (zh) 一种基于深度学习的目标检测与识别方法
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN111178208B (zh) 基于深度学习的行人检测方法、装置及介质
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN107679250A (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN106156777B (zh) 文本图片检测方法及装置
CN107169417B (zh) 基于多核增强和显著性融合的rgbd图像协同显著性检测方法
CN103049763A (zh) 一种基于上下文约束的目标识别方法
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN111401380A (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN111815582B (zh) 改进背景先验和前景先验的二维码区域检测方法
CN110738672A (zh) 一种基于分层高阶条件随机场的图像分割方法
CN114782979A (zh) 一种行人重识别模型的训练方法、装置、存储介质及终端
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111091129A (zh) 一种基于多重颜色特征流形排序的图像显著区域提取方法
CN109523015B (zh) 一种神经网络中图像处理方法
CN113887649A (zh) 一种基于深层特征和浅层特征融合的目标检测方法
Usha et al. Content based image retrieval using combined features of color and texture features with SVM classification
CN110472639B (zh) 一种基于显著性先验信息的目标提取方法
CN111738069A (zh) 人脸检测方法、装置、电子设备及存储介质
CN114782761B (zh) 基于深度学习的智能仓储物料识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant