CN110895702B - 一种服饰属性识别检测方法及装置 - Google Patents

一种服饰属性识别检测方法及装置 Download PDF

Info

Publication number
CN110895702B
CN110895702B CN201811059627.9A CN201811059627A CN110895702B CN 110895702 B CN110895702 B CN 110895702B CN 201811059627 A CN201811059627 A CN 201811059627A CN 110895702 B CN110895702 B CN 110895702B
Authority
CN
China
Prior art keywords
clothing
picture
model
network
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811059627.9A
Other languages
English (en)
Other versions
CN110895702A (zh
Inventor
董尔希
黄轩
王孝宇
付凌志
虞勇波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201811059627.9A priority Critical patent/CN110895702B/zh
Priority to PCT/CN2018/124841 priority patent/WO2020052169A1/zh
Publication of CN110895702A publication Critical patent/CN110895702A/zh
Application granted granted Critical
Publication of CN110895702B publication Critical patent/CN110895702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]

Abstract

本申请提供了一种服饰属性识别检测方法及装置。所述方法包括:获取待检测图片,所述待检测图片为服饰图片;使用关键点模型对所述待检测图片进行标注,生成标注有关键点的待检测图片,其中,所述关键点模型是使用数据集对多层网络结构训练获得,所述多层网络结构包括主网络和辅网络,所述数据集为抓取大量服饰图片数据后经过数据预处理获得的数据的集合;根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别,获得所述待检测图片的服饰属性信息,其中,所述服饰属性模型是基于迁移学习的思想对预训练模型进行训练得到的。

Description

一种服饰属性识别检测方法及装置
技术领域
本申请涉及计算机领域,尤其涉及一种服饰属性识别检测方法及装置。
背景技术
目前随着电子商务的快速发展和网络购物的蓬勃发展,服饰属性分析已经成为了计算机视觉领域的一个热门话题,受益于大规模的服饰属性数据集的出现,深度学习模型在服饰属性分析领域取得了令人印象深刻的效果。
目前的服饰属性标签识别技术往往考虑整张图片的信息,因为背景信息的复杂性,会对最终的服饰属性的识别造成信息干扰,限制了最终服饰识别的精度。
发明内容
本申请提供了一种服饰属性识别检测方法及装置,能够准确地在服饰图片上标注并识别出服饰的属性特征。
第一方面,提供了一种服饰属性识别检测方法,包括如下步骤:
获取待检测图片,所述待检测图片为服饰图片;
使用关键点模型对所述待检测图片进行标注,生成标注有关键点的待检测图片,所述关键点模型是使用数据集对多层网络结构训练获得,所述多层网络结构包括主网络和辅网络,所述数据集为抓取大量服饰图片数据后经过数据预处理获得的数据的集合;
根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别,获得所述待检测图片的服饰属性信息,所述服饰属性模型是基于迁移学习的思想对预训练模型进行训练得到的。
可选地,所述主网络用于识别所述待检测图片中服饰的关键点位置并对识别出的关键点位置进行标注,其中,所述主网络包含一个或多个子网络;所述辅网络用于对所述主网络识别的结果进行进一步的修正,其中,所述辅网络包含一个或多个子网络。
可选地,所述基于迁移学习的思想对预训练模型进行训练包括:通使用数据集基于迁移学习的思想对所述预训练模型进行训练,获得所述服饰属性模型;或者,使用多个采样集基于迁移学习的思想对所述预训练模型进行训练,得到多个初级模型,其中,所述采样集是通过对所述数据集进行随机采样获得的数据的集合;将多个初级模型进行模型融合,从而得到所述服饰属性模型。
可选地,所述将对个初级模型进行模型融合包括:将多个初级模型训练后的参数采用加权平均融合的方法进行融合,从而得到所述服饰属性模型;或者,去除多个初级模型的全连接层后,将多个初级模型在全连接层之前所提取到的特征信息输入一个新的单层分类网络,从而得到所述服饰属性模型。
可选地,获得所述待检测图片的服饰属性信息后,所述方法还包括:根据所述服饰属性信息进行服饰搭配推荐,所述服饰搭配推荐包括:相同或相似属性服装的服装搭配推荐、发型推荐、妆容推荐、情侣服装推荐中的一种或者多种;或者,根据所述服饰属性信息进行价格推荐,所述价格推荐包括:推荐相同或相似属性的服饰在电商平台中的价格,并按价格或销量顺序排序显示;或者,根据所述服饰属性信息设置服饰的电子标签,所述电子标签用于在服装物流中的拣货、打包、复核过程中实现自动分拣。
第二方面,提供了一种服饰属性识别检测装置,包括:服饰图片获取单元、关键点标注单元以及服饰属性获取单元,
所述服饰图片获取单元用于获取待检测图片,所述待检测图片为服饰图片;
所述关键点标注单元用于使用关键点模型对所述待检测图片进行标注,生成标注有关键点的待检测图片,所述关键点模型是使用数据集对多层网络结构训练获得,所述多层网络结构包括主网络和辅网络,所述数据集为抓取大量服饰图片数据后经过数据预处理获得的数据的集合;
所述服饰属性获取单元用于根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别,获得所述待检测图片的服饰属性信息,所述服饰属性模型是基于迁移学习的思想对预训练模型进行训练得到的。
可选地,所述主网络用于识别所述待检测图片中服饰的关键点位置并对识别出的关键点位置进行标注,其中,所述主网络包含一个或多个子网络;所述辅网络用于对所述主网络识别的结果进行进一步的修正,其中,所述辅网络包含一个或多个子网络。
可选地,所述服饰属性获取单元还用于:使用数据集基于迁移学习的思想对所述预训练模型进行训练,获得所述服饰属性模型;或者,使用多个采样集基于迁移学习的思想对所述预训练模型进行训练,得到多个初级模型,其中,所述采样集是通过对所述数据集进行随机采样获得的数据的集合;将所述多个初级模型进行模型融合,从而得到所述服饰属性模型。
可选地,所述服饰属性获取单元还用于:将多个初级模型训练后的参数采用加权平均融合的方法进行融合,从而得到所述服饰属性模型;或者,去除多个初级模型的全连接层后,将多个初级模型在全连接层之前所提取到的特征信息输入一个新的单层分类网络,从而得到所述服饰属性模型。
可选地,所述装置还包括推荐单元,所述推荐单元具体用于:在获得所述待检测图片的服饰属性信息后,根据所述服饰属性信息进行服饰搭配推荐,所述服饰搭配推荐包括:相同或相似属性服装的服装搭配推荐、发型推荐、妆容推荐、情侣服装推荐中的一种或者多种;或者,在获得所述待检测图片的服饰属性信息后,根据所述服饰属性信息进行价格推荐,所述价格推荐包括:推荐相同或相似属性的服饰在电商平台中的价格,并按价格或销量顺序排序显示;或者,在获得所述待检测图片的服饰属性信息后,根据所述服饰属性信息设置服饰的电子标签,所述电子标签用于在服装物流中的拣货、打包、复核过程中实现自动分拣。
本发明实施例提供的服饰属性识别检测方法及装置,通过获取待检测图片,使用关键点模型对所述待检测图片进行标注,从而生成标注有关键点的待检测图片,根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别,获得所述待检测图片的服饰属性信息。上述方案,通过使用关键点模型标注服饰关键点信息,以对目标服饰进行框定,从而有效地剔除了所述待检测图片中背景信息的干扰;并通过使用基于迁移学习思想的服饰属性模型进行服饰属性识别,从而节省了模型训练所需的时间,并提高了服饰属性识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种服饰属性识别检测方法的流程示意图;
图2是本申请提供的一种服饰属性识别检测方法的预设关键点在服饰图片上的具体位置示意图;
图3是本申请提供的一种服饰属性识别检测方法识别上衣服装属性的流程示意图;
图4是本申请提供的一种服饰属性识别检测方法中神经网络的结构示意图;
图5是本申请提供的一种服饰属性识别检测装置的结构示意图;
图6是本申请提供的一种服饰属性识别检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
需要说明的是,在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
本实施例的服饰属性识别检测方法及装置可以用于电子商务、生活方式分享领域,可以用于电商平台相似衣物推荐、电商平台商品图片检索、电商平台根据图像内容对商品自动归类,生活方式分享平台推荐服饰搭配等等,此处不作具体限定。
如图1所示,本申请提供了一种服饰属性识别检测方法的流程示意图。如图1所示,本申请的服饰属性识别检测方法具体包括以下步骤:
S101:获取待检测图片。
在本申请实施例中,待检测图片可以是服饰图片。其中,所述服饰图片提供方可以是电商平台、搜索引擎、社交分享平台、即时通讯软件等,也可以是终端摄像头、网络视频、电视节目等,也可以是存储介质中的图片,如手机、移动硬盘等等,应理解,以上仅仅作为举例说明,此处不作具体限定。
在本申请实施例中,服饰图片可以是包含背景的服饰图片、包含人物的服饰图片、仅有部分服饰的图片、包含多个人物的服饰图片、包含多种衣物类型的服饰图片等,应理解,以上仅仅作为举例说明,此处不作具体限定。
举例来讲,所述获取待检测图片可以是从电商平台的某件连衣裙商品的商品详情页面获取待检测图片,也可以是从社交平台中用户分享的穿衣推荐图片中获取待检测图片。应理解,上述举例仅仅是用于举例说明,不构成具体限定。
S102:使用关键点模型对待检测图片进行标注,生成标注有关键点的待检测图片。
在本申请实施例中,关键点模型是使用数据集通过对多层网络结构训练获得,所述多层网络结构可以包括主网络和辅网络,所述主网络用于识别所述待检测图片中服饰的关键点位置并对识别出的关键点位置进行标注,其中,所述主网络包含一个或多个子网络;所述辅网络用于对所述主网络识别的结果进行进一步的修正,其中,所述辅网络包含一个或多个子网络。也就是说,主网络的作用是识别出全部的或者一些易于识别的服饰关键点位置,辅网络的作用是对主网络的识别结果进行修正,例如:主网络对身体部位的那些遮挡,看不见,或者有复杂背景的关键点识别存在误差,辅网络则专门修正这些有误差的关键点位置。
可选地,关键点模型可以是使用残差网络(ResNet)、特征金字塔网络(FeaturePyramid Networks,FPN)和卷积姿态网络(Convolutional Pose Machine,CPM)三层网络叠加形成的网络。
可选地,主网络可以使用ResNet来识别一些易于识别的关键点位置,由于当神经网络深度增加时,模型训练难度增大,甚至出现识别能力退化,也就是说,网络深度增加时,输出的错误率反而增高。这是因为在网络训练的时候,随着网络深度的增加,深层网络的梯度无法有效的传递到浅层网络,导致出现梯度弥散(vanishing),而ResNet网络通过增加跳跃式传递(skip connection)将自身的浅层网络与深层网络连接,从而使得梯度能够很好的从深层传递到浅层,解决了神经网络梯度容易丢失的问题。
可选地,辅网络可以使用CPM,其中,CPM由多个全卷积网络(Fully ConvolutionalNetworks,FCN)构成,所述FCN用来预测待检测图片中每个服饰部位的响应图,也就是说,CPM网络首先在每个尺度下使用FCN计算各个服饰部位的响应图,对于每个服饰部位,累加所有尺度的响应图,得到总响应图,在每个服饰部件的总响应图上,找出响应最大的点为该服饰部位的关键点。其中,响应图是在每个尺度识别出的关键点处放置一个高斯响应形成的。在一个实施例中,CPM网络可以使用各个关键点的响应图来约束识别出的关键点之间的距离,同时,神经网络传递过程中每一层都会持续提取特征形成特征图(feature map),特征图包括待检测图片的颜色特征、纹理特征、形状特征等等,其中,响应图和特征图作为数据一起在网络中传递,因此CPM可以在主网络的基础上,结合图像特征和距离特征对识别出的关键点进行距离约束,进一步保证网络的精度。
可选地,辅网络还可以使用FPN,在进行图像检测时,神经网络结构对应的跨度(stride)一般会大于图像中的小物体,造成的结果就是小物体的检测性能急剧下降,而FPN通过简单的网络连接改变,在基本不增加原有模型计算量的情况下,大幅度提升了小物体检测的精确性,也就是说,FPN网络对于识别服饰图像中的耳环、纽扣等小饰物有更高的精确性。其中,Resnet作为主网络,采用自底向上的线路,FPN作为辅网络,采用自顶向下的线路,将两个神经网络的每一层横向连接起来,通过这样的连接,每一层预测所用的特征图都融合了不同分辨率、不同语义强度的特征,因此,使用与图像分辨率相同的特征图进行图像识别,保证了每一层都有合适的分辨率以及强语义特征,从而提升了小分辨率图片的识别精度。同时,由于此方法只是在主网络的基础上加上了额外的跨层连接,在实际应用中几乎不增加额外的时间和计算量。
在本申请实施例中,所述数据集为抓取大量服饰图片数据后经过数据预处理获得的数据的集合。其中,所述大量服饰图片数据可以是使用网络爬虫(Web Crawler)从网络中爬取的大量服饰图片数据。其中,网络爬虫可以是通用网络爬虫(Gener-al Purpose WebCrawler)、聚焦网络爬虫(Focused Web Crawler)、增量式网络爬虫(Incremental WebCrawler)、深层网络爬虫(Deep Web Crawler)等等,此处不作具体限定。
在本申请实施例中,所述数据预处理可以是调整所述大量服饰图片数据为统一规格,也可以是对所述统一规格的服饰图片数据进行数据清洗处理以及数据增强处理。其中,对所述统一规格的服饰图片数据进行数据清洗处理可以是:使用差异值哈希算法(Dhash)去除所述统一规格的服饰图片数据中的重复数据,其中,重复数据可以是:完全相同的服饰图片数据、相同服饰不同背景的服饰图片数据以及模糊不清的服饰图片数据等等,此处不作具体限定。对所述统一规格的服饰图片数据进行数据增强处理可以是对所述统一规格的服饰图片数据进行水平翻转、随机旋转以及加噪声处理,此处不作具体限定。可以理解的是,数据增强处理的目的是进一步提高所述大量服饰图片数据作为训练模型的泛化能力。
在本申请实施例中,关键点模型用于标注出待检测图片中服饰区域的关键点。其中,对关键点模型进行训练时所用的训练集可以包含作为输入向量的第一向量集及作为输出向量的第二向量集,所述第一向量集包括待检测的服饰图片,所述第二向量集包括标有关键点的图片,且输入向量和输出向量存在对应关系,即,每张待检测的服饰图片对应一张标有关键点的图片。其中,标有关键点的图片中的关键点可以是预先在图片中各类服饰上设定好的定位关键点,也就是说,图片中每一种服饰都预先设定好了相应的若干个关键点。例如,图2是本申请提供的标有关键点的图片的示意图。如图2所示,对于图片中的上衣,定义五个关键点,包括左肩膀A1、右肩膀A3、领口A2以及上衣左右下摆外侧两点A4和A5;对于图片中的连身裙,可以定义七个关键点,包括左肩膀B1、右肩膀B3、领口一点B2、腰部左侧一点B4、腰部右侧一点B5、裙摆左外侧一点B6以及裙摆右外侧一点B7,可以理解的是,图2中显示的关键点的具体位置仅仅是用于举例,不应构成具体限定。
S103:根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别,获得所述待检测图片的服饰属性信息,其中,所述服饰属性模型是基于迁移学习的思想对预训练模型进行训练得到的。
在本申请实施例中,基于迁移学习的思想对预训练模型(Inception Model)进行训练可以是使用数据集基于迁移学习的思想对所述预训练模型进行训练,获得所述服饰属性模型;或者,使用多个采样集基于迁移学习的思想对所述预训练模型进行训练,得到多个初级模型,所述采样集是通过对所述数据集进行随机采样获得的数据的集合;将多个初级模型进行模型融合,从而得到所述服饰属性模型。可以理解的是,迁移学习可以将已习得的强大技能迁移到相关的问题上,从而使得模型训练的速度显著提高。
在本申请实施例中,所述预训练模型可以是之前在大数据集上已训练过的预训练模型,因此,使用预训练模型可以直接使用预训练模型相应的结构和权重,并通过迁移学习迁移到所述初级模型上,从而节省模型训练的时间以及所需的训练样本集大小,使得模型训练的速度显著提高。
可选地,预训练模型可以是在Imagnet数据集上预训练过的Nasnetlarge模型或者Resnet50模型,基于迁移学习的思想对预训练模型进行训练。使用在Imagenet数据集上预训练过的模型是因为在ImageNet上训练的网络模型,已经被证明对于训练集以外的图像拥有很好的特征表示能力以及泛化能力,更加适合用于迁移学习。其中,预训练模型使用Nasnetlarge模型的原因是因为Nasnetlarge模型是使用神经结构搜索(NeuralArchitecture Search,NAS)框架构建的,目标是运用数据驱动和智能方法来构建网络架构,使得设计的网络能够被很好的迁移到大数据集;使用Resent50模型的原因是Resent50模型拥有在加深网络的同时,准确率不会下降的优点,也非常适用于迁移学习。
在本申请实施例中,将多个初级模型进行模型融合可以是将多个初级模型训练后的参数采用加权平均融合的方法进行融合,从而得到所述服饰属性模型。例如,使用bagging方法对不同的初级模型进行模型融合。所述bagging方法指的是对包含m个样本的原始训练集,采用有放回的随机抽样,也就是说,下次采样时该样本仍有可能被采集到,最终得到T个训练集,其中,每个训练集包含m个样本。由于是随机采样,这样每次的采样集是和原始训练集不同的,和其他采样集也是不同的,使用多个采样集分别对多个初级模型进行训练,最后将不同模型的训练结果采用回归(averaging)方法进行融合,其中,回归方法采用的是加权平均融合,将分类性能较弱的初级模型提升为强分类模型,从而获得最终的服饰属性模型。可以理解的是,采用bagging方法先产生多个初级模型,再将模型进行融合,可以加强模型分类的效果,使得最后的服饰属性模型识别能力更精确。
在本申请实施例中,将多个初级模型进行融合的方法还可以是去除多个初级模型的全连接层后,将多个初级模型在全连接层之前所提取到的特征信息输入一个新的单层分类网络,从而得到所述服饰属性模型。应理解,保留训练好的初级模型中所有卷积层的参数,去除最后一层全连接层,在最后这一层全连接层之前的网络层称为瓶颈层。而将新的图像通过训练好的初级模型直到瓶颈层的过程可以看成是对图像进行特征提取的过程,瓶颈层输出再通过一个单层的全连接层神经网络可以很好的区分类别,并且瓶颈层输出的节点向量可以使图像特征更加精简且表达能力更强。也就是说,直接利用这个训练好的初级模型对图像进行特征提取,然后再将提取得到特征向量作为输入来训练一个新的单层全连接网络来处理分类问题,此时输入的特征向量更加精简、易于识别,使得最终的分类效果也更加精确。
在本申请实施例中,将多个初级模型进行模型融合之前,还可以对模型进行模型调优操作,其中,模型调优可以是使用网格搜索(Grid-Search)方法或者坐标下降(Coordinate Descent)方法来对模型进行进一步优化,Grid-Search方法可以实现自动调参,也就是说,输入参数后可以自动输出最优化的权重和参数。但是这个方法只适用于小数据集,大数据集使用Grid-Search便很难得出结果。因此,大数据集可以使用快速调优方法,例如坐标下降方法,将当前对模型影响最大的参数调优至最优后,再将下一个影响最大的参数调优,重复上述步骤直到所有的参数调整完毕。
在本申请实施例中,对服饰属性模型进行训练时使用的训练集可以包含两种向量集,一种是标有关键点的图片,作为输入向量,一种是服饰属性类别的信息,作为输出向量,且输入向量和输出向量存在对应关系,其中,所述服饰属性可以是服饰类别的信息、服饰属性的信息或两者都包括。其中,服饰类别包括但不限于上衣、外套、连身裙、半身裙、裤子、连身裤等等,此处不作具体限定。服饰属性可以分为颈部设计、领口设计、袖长、衣长、裙型、裤型等等若干大类,每个大类可以具体划分为若干子属性,例如,领口设计可以分为圆领、立领、V领、西装领、一字领等等,裤型可以分为哈伦裤、喇叭裤、小脚裤等等服装属性,以下表1示出识别的服饰属性的示例,应理解,表1所示内容仅仅是作为举例,不作具体限定。
表1服饰属性及服饰子属性列表
Figure BDA0001796720060000091
Figure BDA0001796720060000101
在本申请实施例中,服饰属性模型对关键点进行识别时,识别的是包含关键点的特定区域(即关键点区域),例如,对包含一个关键点的矩形区域、包含多个关键点的圆形区域等等进行识别,应理解,上述举例仅仅用于举例说明,不构成具体限定。
下面以图3为例,对本申请实施例的服饰属性识别检测方法的技术方案加以说明。图3是本申请的服饰属性识别检测方法识别上衣服装属性的流程示意图。在获取待检测的服饰图片后,首先根据预先建立的关键点模型对服饰图片进行关键点标注,如图3所示,上衣的关键点有5个,分别是C1,C2,C3,C4和C5。得到标注有关键点的服饰图片后,根据预先建立的服饰属性模型获取关键点区域的服装属性信息,得出五个关键点区域相应的服装属性,分别是短袖,衬衫领,短袖,圆摆,圆摆。可以理解的是,关键点区域可以是如图所示的分别包含五个关键点的五个矩形区域,也可以是包含C1和C2的矩形区域,或是包含C1和C3的矩形区域,或是包含C4和C5的矩形区域,此处不作具体限定。
在本申请实施例中,服饰属性模型可以表示为y=f(x),图4为本申请实施例提供的一种服饰属性识别检测方法中神经网络的结构图,其中,x为标注有关键点的待检测图片信息,y为属性识别结果,f为已知标注有关键点的待检测图片信息和已知属性识别结果之间的映射关系,其中,映射关系f可以使用大量的已知标注有关键点的待检测图片信息和已知属性识别结果的对应关系进行训练得到。应理解,图4所示的神经网络仅仅是用于举例,不应构成具体限定。
在本申请实施例中,神经网络可以是BP神经网络(Back Propagation)、Hopfield网络、自适应共振理论网络(Adaptive Resonance Theory,ART)、Kohonen网络、长短期记忆网络(Long Short-Term Memory,LSTM)、残差网络(Residential Networking,ResNet)、循环神经网络(Recurrent Neural Networks,RNN)等等,此处不作具体限定。
在本申请实施例中,获得所述待检测图片的服饰属性信息后,可以根据所述服饰属性信息进行服饰搭配推荐,所述服饰搭配推荐包括:相同或相似属性服装的服装搭配推荐、发型推荐、妆容推荐、情侣服装推荐中的一种或者多种;例如:识别出的服饰属性为女式白色短袖T恤后,推荐蓝色牛仔短裤、棕色百褶裙、马尾辫的扎法、清新妆容的化妆方法、男士情侣款白色T恤等等,此处不作具体限定;还可以根据所述服饰属性信息进行服饰价格推荐,所述价格推荐包括:推荐相同或相似属性的服饰在电商平台中的价格,并按价格或销量顺序排序显示,例如:识别出的服饰属性为女式白色短袖T恤后,推荐电商平台中最低价格的女式白色短袖T恤的商品信息以及商品链接、推荐电商平台中最低价格的女式粉色短袖T恤的商品信息以及商品链接、推荐电商平台中最低价格的女式牛仔短裤的商品信息以及商品链接,此处不作具体限定;还可以根据所述服饰属性信息设置服饰的电子标签,所述电子标签用于在服装物流中的拣货、打包、复核过程中实现自动分拣,例如,识别出的服饰属性为女式白色短袖T恤后,将服饰电子标签设置为女式白色短袖T恤,便于后期物流过程中根据电子标签进行自动分拣,省去人工拆包拣货、分类的不便。
下面将分别举例上述服饰属性检测方法在各种应用场合的具体应用。
(1)以电商平台为例。在电商平台如淘宝、京东上的商家在出售商品时,通常需要上传服装图片并配备相应的介绍文字,用于推销自己的产品,电商品台可以根据服装的图像内容识别出服饰属性信息,判断商品属于哪类标签,从而对商品进行自动归类,减少人工消耗。
(2)以生活方式分享平台为例。在生活方式分享平台如小红书、蘑菇街上的用户上传自己喜欢的服饰衣物后,生活方式分享平台可以根据用户上传的图片识别出服饰属性后,推荐用户相似的衣物或是服装、配饰搭配推荐,从而提高用户体验。
上述方法中,通过获取待检测图片,使用关键点模型对所述待检测图片进行标注,生成标注有关键点的待检测图片,从而根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别。上述方案,通过使用关键点模型标注服饰关键点信息,以对目标服饰进行框定,从而有效地剔除了所述待检测图片中背景信息的干扰;并通过使用基于迁移学习思想的服饰属性模型进行服饰属性识别,从而节省了模型训练所需的时间,并提高了服饰属性识别的准确率。
图5是本申请提供的一种服饰属性识别检测装置的结构示意图。如图5所示,本申请的服饰属性识别检测装置包括:服饰图片获取单元510、关键点标注单元520、服饰属性获取单元530以及推荐单元540。
所述服饰图片获取单元510用于获取待检测图片,其中,待检测图片可以是服饰图片。其中,所述服饰图片提供方可以是电商平台、搜索引擎、社交分享平台、即时通讯软件等,也可以是终端摄像头、网络视频、电视节目等,也可以是存储介质中的图片,如手机、移动硬盘等等,应理解,以上仅仅作为举例说明,此处不作具体限定。服饰图片可以是包含背景的服饰图片、包含人物的服饰图片、仅有部分服饰的图片、包含多个人物的服饰图片、包含多种衣物类型的服饰图片等,应理解,以上仅仅作为举例说明,此处不作具体限定。举例来讲,所述获取待检测图片可以是从电商平台的某件连衣裙商品的商品详情页面获取待检测图片,也可以是从社交平台中用户分享的穿衣推荐图片中获取待检测图片。应理解,上述举例仅仅是用于举例说明,不构成具体限定。
所述关键点标注单元520用于在本申请实施例中,关键点模型是使用数据集通过对多层网络结构训练获得,所述多层网络结构可以包括主网络和辅网络,所述主网络用于识别所述待检测图片中服饰的关键点位置并对识别出的关键点位置进行标注,其中,所述主网络包含一个或多个子网络;所述辅网络用于对所述主网络识别的结果进行进一步的修正,其中,所述辅网络包含一个或多个子网络。也就是说,主网络的作用是识别出全部的或者一些易于识别的服饰关键点位置,辅网络的作用是对主网络的识别结果进行修正,例如:主网络对身体部位的那些遮挡,看不见,或者有复杂背景的关键点识别存在误差,辅网络则专门修正这些有误差的关键点位置。
可选地,关键点标注单元520中的关键点模型关键点模型可以是使用ResNet、FPN和CPM三层网络叠加形成的网络。
可选地,主网络可以使用ResNet来识别一些易于识别的关键点位置,由于当神经网络深度增加时,模型训练难度增大,甚至出现识别能力退化,也就是说,网络深度增加时,输出的错误率反而增高。这是因为在网络训练的时候,随着网络深度的增加,深层网络的梯度无法有效的传递到浅层网络,导致出现梯度弥散,而ResNet网络通过增加跳跃式传递将自身的浅层网络与深层网络连接,从而使得梯度能够很好的从深层传递到浅层,解决了神经网络梯度容易丢失的问题。
可选地,辅网络可以使用CPM,其中,CPM由多个FCN构成,所述FCN用来预测待检测图片中每个服饰部位的响应图,也就是说,CPM网络首先在每个尺度下使用FCN计算各个服饰部位的响应图,对于每个服饰部位,累加所有尺度的响应图,得到总响应图,在每个服饰部件的总响应图上,找出响应最大的点为该服饰部位的关键点。其中,响应图是在每个尺度识别出的关键点处放置一个高斯响应形成的。在一个实施例中,CPM网络可以使用各个关键点的响应图来约束识别出的关键点之间的距离,同时,神经网络传递过程中每一层都会持续提取特征形成特征图,特征图包括待检测图片的颜色特征、纹理特征、形状特征等等,其中,响应图和特征图作为数据一起在网络中传递,因此CPM可以在主网络的基础上,结合图像特征和距离特征对识别出的关键点进行距离约束,进一步保证网络的精度。
可选地,辅网络还可以使用FPN,在进行图像检测时,神经网络结构对应的跨度一般会大于图像中的小物体,造成的结果就是小物体的检测性能急剧下降,而FPN通过简单的改变网络连接,在基本不增加原有模型计算量的情况下,大幅度提升了小物体检测的精确性,也就是说,FPN网络对于识别服饰图像中的耳环、纽扣等小饰物有更高的精确性。其中,Resnet作为主网络,采用自底向上的线路,FPN作为辅网络,采用自顶向下的线路,将两个神经网络的每一层横向连接起来,通过这样的连接,每一层预测所用的特征图都融合了不同分辨率、不同语义强度的特征,因此,使用与图像分辨率相同的特征图进行图像识别,保证了每一层都有合适的分辨率以及强语意特征,从而提升了小分辨率图片的识别精度。同时,由于此方法只是在主网络的基础上加上了额外的跨层连接,在实际应用中几乎不增加额外的时间和计算量。
在本申请实施例中,所述数据集为抓取大量服饰图片数据后经过数据预处理获得的数据的集合。其中,所述大量服饰图片数据可以是使用网络爬虫从网络中爬取的大量服饰图片数据。其中,网络爬虫可以是通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫等等,此处不作具体限定。
在本申请实施例中,所述数据预处理可以是调整所述大量服饰图片数据为统一规格,也可以是对所述统一规格的服饰图片数据进行数据清洗处理以及数据增强处理。其中,对所述统一规格的服饰图片数据进行数据清洗处理可以是:使用差异值哈希算法去除所述统一规格的服饰图片数据中的重复数据,其中,重复数据可以是:完全相同的服饰图片数据、相同服饰不同背景的服饰图片数据以及模糊不清的服饰图片数据等等,此处不作具体限定。对所述统一规格的服饰图片数据进行数据增强处理可以是对所述统一规格的服饰图片数据进行水平翻转、随机旋转以及加噪声处理,此处不作具体限定。可以理解的是,数据增强处理的目的是进一步提高所述大量服饰图片数据作为训练模型的泛化能力。
在本申请实施例中,服饰属性模型对关键点进行识别时,识别的是包含关键点的特定区域(即关键点区域),例如,对包含一个关键点的矩形区域、包含多个关键点的圆形区域等等进行识别,应理解,上述举例仅仅用于举例说明,不构成具体限定。
在本申请实施例中,关键点标注单元520中的关键点模型用于标注出待检测图片中服饰区域的关键点。其中,对关键点模型进行训练时所用的训练集可以包含作为输入向量的第一向量集及作为输出向量的第二向量集,所述第一向量集包括待检测的服饰图片,所述第二向量集包括标有关键点的图片,且输入向量和输出向量存在对应关系,即,每张待检测的服饰图片对应一张标有关键点的图片。其中,标有关键点的图片中的关键点可以是预先在图片中各类服饰上设定好的定位关键点,也就是说,图片中每一种服饰都预先设定好了相应的若干个关键点。
所述服饰属性获取单元530用于根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别,获得所述待检测图片的服饰属性信息,所述服饰属性模型是基于迁移学习的思想对预训练模型进行训练得到的。
在本申请实施例中,服饰属性获取单元530在本申请实施例中,基于迁移学习的思想对预训练模型进行训练可以是使用数据集基于迁移学习的思想对所述预训练模型进行训练,获得所述服饰属性模型;或者,使用多个采样集基于迁移学习的思想对所述预训练模型进行训练,得到多个初级模型,所述采样集是通过对所述数据集进行随机采样获得的数据的集合;将多个初级模型进行模型融合,从而得到所述服饰属性模型。可以理解的是,迁移学习可以将已习得的强大技能迁移到相关的问题上,从而使得模型训练的速度显著提高。
在本申请实施例中,所述预训练模型可以是之前在大数据集上已训练过的预训练模型,因此,使用预训练模型可以直接使用预训练模型相应的结构和权重,并通过迁移学习迁移到所述初级模型上,从而节省模型训练的时间以及所需的训练样本集大小,使得模型训练的速度显著提高。
可选地,预训练模型可以是在Imagnet数据集上预训练过的Nasnetlarge模型或者Resnet50模型,基于迁移学习的思想对预训练模型进行训练。使用在Imagenet数据集上预训练过的模型是因为在ImageNet上训练的网络模型,已经被证明对于训练集以外的图像拥有很好的特征表示能力以及泛化能力,更加适合用于迁移学习。其中,预训练模型使用Nasnetlarge模型的原因是因为Nasnetlarge模型是使用NAS框架构建的,目标是运用数据驱动和智能方法来构建网络架构,使得设计的网络能够被很好的迁移到大数据集;使用Resent50模型的原因是Resent50模型拥有在加深网络的同时,准确率不会下降的优点,也非常适用于迁移学习。
在本申请实施例中,将多个初级模型进行模型融合可以是将多个初级模型训练后的参数采用加权平均融合的方法进行融合,从而得到所述服饰属性模型。例如,使用bagging方法对不同的初级模型进行模型融合。所述bagging方法指的是对包含m个样本的原始训练集,采用有放回的随机抽样,也就是说,下次采样时该样本仍有可能被采集到,最终得到T个训练集,其中,每个训练集包含m个样本。由于是随机采样,这样每次的采样集是和原始训练集不同的,和其他采样集也是不同的,使用多个采样集分别对多个初级模型进行训练,最后将不同模型的训练结果采用回归方法进行融合,其中,回归方法采用的是加权平均融合,将分类性能较弱的初级模型提升为强分类模型,从而获得最终的服饰属性模型。可以理解的是,采用bagging方法先产生多个初级模型,再将模型进行融合,可以加强模型分类的效果,使得最后的服饰属性模型识别能力更精确。
在本申请实施例中,将多个初级模型进行融合的方法还可以是去除多个初级模型的全连接层后,将多个初级模型在全连接层之前所提取到的特征信息输入一个新的单层分类网络,从而得到所述服饰属性模型。应理解,保留训练好的初级模型中所有卷积层的参数,去除最后一层全连接层,在最后这一层全连接层之前的网络层称为瓶颈层,而将新的图像通过训练好的初级模型直到瓶颈层的过程可以看成是对图像进行特征提取的过程,瓶颈层输出再通过一个单层的全连接层神经网络可以很好的区分类别,并且瓶颈层输出的节点向量可以使图像特征更加精简且表达能力更强。也就是说,直接利用这个训练好的初级模型对图像进行特征提取,然后再将提取得到特征向量作为输入来训练一个新的单层全连接网络来处理分类问题,此时输入的特征向量更加精简易于识别,使得最终的分类效果也更加精确。
在本申请实施例中,将多个初级模型进行模型融合之前,还可以对模型进行模型调优操作,其中,模型调优可以是使用Grid-Search方法或者坐标下降方法来对模型进行进一步优化,Grid-Search方法可以实现自动调参,也就是说,输入参数后可以自动输出最优化的权重和参数。但是这个方法只适用于小数据集,大数据集使用Grid-Search便很难得出结果。因此,大数据集可以使用快速调优方法,例如坐标下降方法,将当前对模型影响最大的参数调优至最优后,再将下一个影响最大的参数调优,重复上述步骤直到所有的参数调整完毕。
在本申请实施例中,服饰属性获取单元530训练服饰属性模型时,使用的的训练集可以包含两种向量集,一种是标有关键点的图片,作为输入向量,一种是服饰属性类别的信息,作为输出向量,且输入向量和输出向量存在对应关系,其中,所述服饰属性可以是服饰类别的信息、服饰属性的信息或两者都包括。其中,服饰类别包括但不限于上衣、外套、连身裙、半身裙、裤子、连身裤等等,此处不作具体限定。服饰属性可以分为颈部设计、领口设计、袖长、衣长、裙型、裤型等等若干大类,每个大类可以具体划分为若干属性,例如,领口设计可以分为圆领、立领、V领、西装领、一字领等等,裤型可以分为哈伦裤、喇叭裤、小脚裤等等服装属性,此处不作具体限定。
在本申请实施例中,服饰属性模型可以表示为y=f(x),其中,x为标注有关键点的待检测图片信息,y为属性识别结果,f为已知标注有关键点的待检测图片信息和已知属性识别结果之间的映射关系,其中,映射关系f可以使用大量的已知标注有关键点的待检测图片信息和已知属性识别结果的对应关系进行训练得到。
在本申请实施例中,服饰属性获取单元530获得所述待检测图片的服饰属性信息后,推荐单元540可以根据所述服饰属性信息进行服饰搭配推荐,所述服饰搭配推荐包括:相同或相似属性服装的服装搭配推荐、发型推荐、妆容推荐、情侣服装推荐中的一种或者多种;例如:识别出的服饰属性为女式白色短袖T恤后,推荐蓝色牛仔短裤、棕色百褶裙、马尾辫的扎法、清新妆容的化妆方法、男士情侣款白色T恤等等,此处不作具体限定;还可以根据所述服饰属性信息进行服饰价格推荐,所述价格推荐包括:推荐相同或相似属性的服饰在电商平台中的价格,并按价格或销量顺序排序显示,例如:识别出的服饰属性为女式白色短袖T恤后,推荐电商平台中最低价格的女式白色短袖T恤的商品信息以及商品链接、推荐电商平台中最低价格的女式粉色短袖T恤的商品信息以及商品链接、推荐电商平台中最低价格的女式牛仔短裤的商品信息以及商品链接,此处不作具体限定;还可以根据所述服饰属性信息设置服饰的电子标签,所述电子标签用于在服装物流中的拣货、打包、复核过程中实现自动分拣,例如,识别出的服饰属性为女式白色短袖T恤后,将服饰电子标签设置为女式白色短袖T恤,便于后期物流过程中根据电子标签进行自动分拣,省去人工拆包拣货、分类的不便。
在本申请实施例中,神经网络可以是BP神经网络、Hopfield网络、ART网络、Kohonen网络、LSTM网络、ResNet、RNN等等,此处不作具体限定。
本发明实施例提供的服饰属性识别检测装置,通过服饰图片获取单元获取待检测图片,关键点标注单元使用关键点模型对所述待检测图片进行标注,从而生成标注有关键点的待检测图片,服饰属性获取单元根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别。上述方案,通过使用关键点模型标注服饰关键点信息,以对目标服饰进行框定,从而有效地剔除了所述待检测图片中背景信息的干扰;并通过使用基于迁移学习思想的服饰属性模型进行服饰属性识别,从而节省了模型训练所需的时间,并提高了服饰属性识别的准确率。
参见图6,图6是本发明提供的一种服饰属性识别检测装置的结构示意图。如图所示的本实施例中的服饰属性识别检测装置可以包括:一个或者多个处理器611、存储器612和通信接口613。其中,处理器611、存储器612和通信接口613之间可以通过总线614连接。
处理器611包括一个或者多个通用处理器,其中,通用处理器可以是能够处理电子指令的任何类型的设备,包括中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)、微处理器、微控制器、主处理器、控制器以及专用集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(DigitalSignal Processor,DSP)、可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器611用于执行存储器612存储的程序指令。
存储器612可以包括易失性存储器,例如随机存取存储器(Random AccessMmemory,RAM);存储器也可以包括非易失性存储器,例如只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-StateDrive,SSD),存储器还可以包括上述种类的存储器的组合。存储器612可以采用集中式存储,也可以采用分布式存储,此处不作具体限定。可以理解的是,存储器612用于存储计算机程序,例如:计算机程序指令等。在本发明实施例中,存储器612可以向处理器611提供指令和数据。
通信接口613可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口),用于与其他计算机设备或用户进行通信。当通信接口613为有线接口时,通信接口613可以采用网络通讯协议(Transmission Control Protocol/InternetProtocol,TCP/IP)之上的协议族,例如,远程函数调用(Remote Function Call,RFC)协议、简单对象访问协议(Simple Object Access Protocol,SOAP)协议、简单网络管理协议(Simple Network Management Protocol,SNMP)、公共对象请求代理体系结构协议(CommonObject Request Broker Architecture,CORBA)以及分布式协议等等。当通信接口613为无线接口时,可以根据全球移动通信系统(Global System for Mobile Communication,GSM)或者码分多址(Code Division Multiple Access,CDMA)标准利用蜂窝通信,因此包括用于数据传输的无线调制解调器、电子处理设备、一个或多个数字存储器设备以及双天线。
在本发明实施例中,处理器611、存储器612、通信接口613和总线614可执行本发明实施例提供的服饰属性识别检测方法的第一实施例和第二实施例中所描述的实现方式,也可执行本发明实施例所描述的服饰属性识别检测方法的实现方式,在此不再赘述。
本发明实施例提供的服饰属性识别检测装置,通过获取待检测图片,使用关键点模型对所述待检测图片进行标注,从而生成标注有关键点的待检测图片,根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别。上述方案,通过使用关键点模型标注服饰关键点信息,以对目标服饰进行框定,从而有效地剔除了所述待检测图片中背景信息的干扰;并通过使用基于迁移学习思想的服饰属性模型进行服饰属性识别,从而节省了模型训练所需的时间,并提高了服饰属性识别的准确率。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法及装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种服饰属性识别检测方法,其特征在于,包括:
获取待检测图片,所述待检测图片为服饰图片;
使用关键点模型对所述待检测图片进行标注,生成标注有关键点的待检测图片,其中,所述关键点模型是使用数据集对多层网络结构训练获得,所述多层网络结构包括主网络和辅网络,所述数据集为抓取大量服饰图片数据后经过数据预处理获得的数据的集合,所述主网络用于识别所述待检测图片中服饰的关键点位置并对识别出的关键点位置进行标注,所述主网络包含一个或多个子网络,所述辅网络用于对所述主网络识别的结果进行进一步的修正,所述辅网络包含一个或多个子网络,所述辅网络包括根据图像特征和距离特征对识别出的关键点位置进行距离约束的网络,以及专注于小物体图片对识别出的关键点位进行修正的网络;
根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别,获得所述待检测图片的服饰属性信息,其中,所述服饰属性模型是基于迁移学习的思想对预训练模型进行训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述基于迁移学习的思想对预训练模型进行训练包括:
使用数据集基于迁移学习的思想对所述预训练模型进行训练,获得所述服饰属性模型;或者,
使用多个采样集基于迁移学习的思想对所述预训练模型进行训练,得到多个初级模型,其中,所述采样集是通过对所述数据集进行随机采样获得的数据的集合;
将多个初级模型进行模型融合,获得所述服饰属性模型。
3.根据权利要求2所述的方法,其特征在于,所述将多个初级模型进行模型融合包括:
将多个初级模型训练后的参数采用加权平均融合的方法进行融合,从而得到所述服饰属性模型;或者,
去除多个初级模型的全连接层后,将多个初级模型在全连接层之前所提取到的特征信息输入一个新的单层分类网络,从而得到所述服饰属性模型。
4.根据权利要求1所述的方法,其特征在于,获得所述待检测图片的服饰属性信息后,所述方法还包括:
根据所述服饰属性信息进行服饰搭配推荐,所述服饰搭配推荐包括:相同或相似属性服装的服装搭配推荐、发型推荐、妆容推荐、情侣服装推荐中的一种或者多种;或者,
根据所述服饰属性信息进行价格推荐,所述价格推荐包括:推荐相同或相似属性的服饰在电商平台中的价格,并按价格或销量顺序排序显示;或者,
根据所述服饰属性信息设置服饰的电子标签,所述电子标签用于在服装物流中的拣货、打包、复核过程中实现自动分拣。
5.一种服饰属性识别检测的装置,其特征在于,包括:服饰图片获取单元、关键点标注单元以及服饰属性获取单元,
所述服饰图片获取单元用于获取待检测图片,所述待检测图片为服饰图片;
所述关键点标注单元用于使用关键点模型对所述待检测图片进行标注,生成标注有关键点的待检测图片,所述关键点模型是使用数据集对多层网络结构训练获得,所述多层网络结构包括主网络和辅网络,所述数据集为抓取大量服饰图片数据后经过数据预处理获得的数据的集合,所述主网络用于识别所述待检测图片中服饰的关键点位置并对识别出的关键点位置进行标注,所述主网络包含一个或多个子网络,所述辅网络用于对所述主网络识别的结果进行进一步的修正,所述辅网络包含一个或多个子网络,所述辅网络包括根据图像特征和距离特征对识别出的关键点位置进行距离约束的网络,以及专注于小物体图片对识别出的关键点位进行修正的网络;
所述服饰属性获取单元用于根据所述标注有关键点的待检测图片,使用服饰属性模型进行关键点区域的服饰属性识别,获得所述待检测图片的服饰属性信息,所述服饰属性模型是基于迁移学习的思想对预训练模型进行训练得到的。
6.根据权利要求5所述的装置,其特征在于,
所述服饰属性获取单元还用于使用数据集基于迁移学习的思想对所述预训练模型进行训练,获得所述服饰属性模型;或者,
所述服饰属性获取单元还用于使用多个采样集基于迁移学习的思想对所述预训练模型进行训练,得到多个初级模型,其中,所述采样集是通过对所述数据集进行随机采样获得的数据的集合;
所述服饰属性获取单元还用于将所述多个初级模型进行模型融合,从而得到所述服饰属性模型。
7.根据权利要求6所述的装置,其特征在于,所述服饰属性获取单元还用于将多个初级模型训练后的参数采用加权平均融合的方法进行融合,从而得到所述服饰属性模型;或者,
所述服饰属性获取单元还用于去除多个初级模型的全连接层后,将多个初级模型在全连接层之前所提取到的特征信息输入一个新的单层分类网络,从而得到所述服饰属性模型。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括推荐单元,所述推荐单元具体用于:
在获得所述待检测图片的服饰属性信息后,根据所述服饰属性信息进行服饰搭配推荐,所述服饰搭配推荐包括:相同或相似属性服装的服装搭配推荐、发型推荐、妆容推荐、情侣服装推荐中的一种或者多种;或者,
在获得所述待检测图片的服饰属性信息后,根据所述服饰属性信息进行价格推荐,所述价格推荐包括:推荐相同或相似属性的服饰在电商平台中的价格,并按价格或销量顺序排序显示;或者,
在获得所述待检测图片的服饰属性信息后,根据所述服饰属性信息设置服饰的电子标签,所述电子标签用于在服装物流中的拣货、打包、复核过程中实现自动分拣。
CN201811059627.9A 2018-09-12 2018-09-12 一种服饰属性识别检测方法及装置 Active CN110895702B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811059627.9A CN110895702B (zh) 2018-09-12 2018-09-12 一种服饰属性识别检测方法及装置
PCT/CN2018/124841 WO2020052169A1 (zh) 2018-09-12 2018-12-28 一种服饰属性识别检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811059627.9A CN110895702B (zh) 2018-09-12 2018-09-12 一种服饰属性识别检测方法及装置

Publications (2)

Publication Number Publication Date
CN110895702A CN110895702A (zh) 2020-03-20
CN110895702B true CN110895702B (zh) 2021-01-12

Family

ID=69777388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811059627.9A Active CN110895702B (zh) 2018-09-12 2018-09-12 一种服饰属性识别检测方法及装置

Country Status (2)

Country Link
CN (1) CN110895702B (zh)
WO (1) WO2020052169A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610831B (zh) * 2021-08-19 2022-03-11 江西应用技术职业学院 基于计算机图像技术和迁移学习的木材缺陷检测方法
CN111461017B (zh) * 2020-04-01 2024-01-19 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN111444974A (zh) * 2020-04-02 2020-07-24 成都三零凯天通信实业有限公司 一种基于零样本识别的服装分类方法
CN112102947B (zh) * 2020-04-13 2024-02-13 国家体育总局体育科学研究所 用于身体姿态评估的装置和方法
CN113538573B (zh) * 2020-04-20 2023-07-25 中移(成都)信息通信科技有限公司 服饰关键点定位方法、装置、电子设备及计算机存储介质
CN111598164B (zh) * 2020-05-15 2023-06-23 北京百度网讯科技有限公司 识别目标对象的属性的方法、装置、电子设备和存储介质
CN111783799A (zh) * 2020-06-30 2020-10-16 创新奇智(西安)科技有限公司 一种配置信息获得方法、装置、电子设备及存储介质
CN112163926B (zh) * 2020-09-24 2024-04-09 深圳莱尔托特科技有限公司 服饰胸部尺码匹配方法、装置、设备及存储介质
CN112581528B (zh) * 2020-12-24 2023-09-22 广东工业大学 一种基于主动学习的衣物关键点辅助标注及预测优化方法
CN112819510A (zh) * 2021-01-21 2021-05-18 江阴逐日信息科技有限公司 基于服饰多属性识别的时尚趋势预测方法、系统以及设备
CN112906814A (zh) * 2021-03-10 2021-06-04 江苏禹空间科技有限公司 基于nas网络的目标检测方法及系统
CN113762108A (zh) * 2021-08-23 2021-12-07 浙江大华技术股份有限公司 一种目标识别方法及装置
CN113744225A (zh) * 2021-08-27 2021-12-03 浙大宁波理工学院 一种农业害虫智能检测方法
CN114428877B (zh) * 2022-01-27 2023-09-15 西南石油大学 一种智能服饰匹配方法和系统
CN114863405A (zh) * 2022-04-06 2022-08-05 北京爱奇艺科技有限公司 一种服饰识别方法、装置、终端及存储介质
CN114694012B (zh) * 2022-04-07 2023-10-20 哈尔滨理工大学 一种基于卷积神经网络的服装识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN105447529A (zh) * 2015-12-30 2016-03-30 商汤集团有限公司 一种服饰检测及其属性值识别的方法和系统
CN105469087A (zh) * 2015-07-13 2016-04-06 百度在线网络技术(北京)有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN106156297A (zh) * 2016-06-29 2016-11-23 北京小米移动软件有限公司 服饰推荐方法及装置
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224775B (zh) * 2015-11-12 2020-06-05 中国科学院重庆绿色智能技术研究院 基于图片处理来对衣服进行搭配的方法和装置
CN107918780B (zh) * 2017-09-01 2021-09-03 中山大学 一种基于关键点检测的衣服种类和属性分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN105469087A (zh) * 2015-07-13 2016-04-06 百度在线网络技术(北京)有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN105447529A (zh) * 2015-12-30 2016-03-30 商汤集团有限公司 一种服饰检测及其属性值识别的方法和系统
CN106156297A (zh) * 2016-06-29 2016-11-23 北京小米移动软件有限公司 服饰推荐方法及装置
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置

Also Published As

Publication number Publication date
WO2020052169A1 (zh) 2020-03-19
CN110895702A (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN110895702B (zh) 一种服饰属性识别检测方法及装置
US10489955B2 (en) Processing user selectable product images and facilitating visualization-assisted virtual dressing
US10964078B2 (en) System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision
CN109670591B (zh) 一种神经网络的训练方法及图像匹配方法、装置
CN106126579B (zh) 物体识别方法和装置、数据处理装置和终端设备
US10346893B1 (en) Virtual dressing room
Inoue et al. Multi-label fashion image classification with minimal human supervision
WO2017008435A1 (zh) 识别图片的方法、图片的标注方法、装置和存储介质
KR102045017B1 (ko) 이미지/텍스트 기반 디자인 생성 장치 및 방법
WO2020051959A1 (zh) 基于图片的服装尺寸测量方法及装置
US20130084000A1 (en) Complementary item recommendations using image feature data
WO2015135324A1 (zh) 图片排序方法及终端
KR102318952B1 (ko) 인공지능을 활용한 의류 추천 및 구매 방법, 장치 및 시스템
KR102211400B1 (ko) 이미지/텍스트 기반 디자인 생성 장치 및 방법
CN109117760A (zh) 图像处理方法、装置、电子设备和计算机可读介质
Zhao et al. Clothing cosegmentation for shopping images with cluttered background
US11475500B2 (en) Device and method for item recommendation based on visual elements
Chen et al. When fashion meets big data: Discriminative mining of best selling clothing features
Huang et al. Clothing landmark detection using deep networks with prior of key point associations
JP2019117437A (ja) 物品特定装置、物品特定方法、及びプログラム
KR20200132681A (ko) 상품 정보 등록 방법 및 서버
US11455492B2 (en) Vertex interpolation in one-shot learning for object classification
Han et al. Progressive limb-aware virtual try-on
Xiang et al. FashionSegNet: a model for high-precision semantic segmentation of clothing images
CN116710910A (zh) 以通过学习生成的条件为基础的设计生成方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant