CN105260747B - 基于衣物共现信息与多任务学习的衣物识别方法 - Google Patents

Abstract

本发明公开了一种基于衣物共现信息与多任务学习的衣物识别方法，包括步骤：(a)、人体姿势及人体部位的识别，在使用识别模型识别出各个部位后，将得到的部位区域重新融合得到新的“头部”，“上半身”，“下半身”与“全身”四个区域；(b)、特征提取及筛选，根据不同衣物所在的不同部位提取特征，在下一步骤通过加入衣物共现约束项的多任务学习训练得到的模型重新筛选特征，也即使用训练得到的权重向量作为反馈信息重新筛选特征；(c)、使用加入衣物共现约束的多任务学习同时训练多个衣物类别分类器，提高衣物类别分类器性能。本发明通过利用衣物共现信息更好地识别图片中的衣物类别，为同款衣物检索、衣物解析、推荐系统的应用提供基础。

Description

基于衣物共现信息与多任务学习的衣物识别方法

技术领域

本发明属于图像识别与理解、模式识别、机器学习的技术领域，具体涉及一种根据衣物识别需求改良的衣物识别方法。

背景技术

目前，无论是在国内还是国外在线购买衣服已经变得非常流行，图像的内容识别问题是当今计算机机器学习领域的热门话题。因此，有关图像中的衣物款式、类别分析及衣物检索的一些应用就十分有发展前景。例如，通过识别图片中的衣物类别，我们就可以使用图片搜索同款衣物的搜索引擎代替传统的关键字搜索引擎；通过识别用户购买过的衣物的图片中的衣物款式的类别，然后给用户推荐同款的衣物，可以在微博等应用上根据用户喜欢的图片为用户推荐图片中所含衣物的购买链接；通过识别图片中人物所穿的衣服类别，判别图片中人物的职业，或者是人物所处场合等等。这些热门的应用都是基于性能良好的衣物类别分类器的，所以如果能提高衣物类别分类器的分类准确度就可以提高相关应用的性能。

近年来，在这一领域，已经有一些代表性的工作。例如Kota Yamaguchi等人与SiLiu等人分别在2012年和2014年提出的服装解析模型、Kota Yamaguchi等人在2013年提出的服装解析、同款检索系统以及Si Liu等人提出的衣服推荐系统和在线同款衣物检索系统。这些相关研究都是基于衣物类别分类器的，衣物种类分类器的性能对他们的后续工作都起到十分重要的作用。Kota Hara等人提出的衣物检测及定位以及Brian Lao等人提出的基于卷积神经网络的衣服检测模型也都是基于衣服种类分类器的。而且，在训练衣物种类分类器时，Kota Yamaguchi等人使用的是逻辑回归、Si Liu、Kota Hara等人使用的是支持向量机、Brian Lao等人则使用卷积神经网络，这几种方法都没有考虑到衣物种类之间的关系，也不可以确定从图片中得到的特征中哪些特征是对分类器的训练起决定性作用的。例如，一张图片中，如果图片中的人穿了短裤，那么这个人就不可能穿长裤；如果一个人穿了背心，那么他穿短裤的概率就很大，因为图片拍摄的季节可能是夏天。利用衣物属性间的共现关系可以在一定程度上提高衣物种类分类器的性能进而促进之后相关应用的性能。Huizhong Chen等人提出的基于条件随机场衣物语意属性模型，该模型首先使用支持向量机训练得到衣物属性分类器再通过条件随机场获取衣物属性之间的共现关系调整前者的结果，以提高性能。但是该文献只考虑了上半身衣服的识别，而且不能分析特征对分类器训练的贡献程度，具有一定的局限性。多任务学习利用相关正则项同时训练多个任务的模型，可以通过训练得到一组共享部分参数的模型组，从而捕捉到各个任务之间的关系。另外，目前的有关衣物的应用研究中尚未有人使用多任务学习来训练多个衣物类别的分类器。因此，如果对多任务学习加以改进并将其运用于训练衣物类别分类器，可以在一定程度上提高衣物分类器的性能。

由于不同衣物之间存在着一定的共现关系，使用多任务学习训练衣物类别分类器可以在一定程度上提高性能。多任务学习是近几年较为热门的一种有监督学习模型。在实际应用中，我们常常需要处理与多任务相关的分类、回归问题。在过往的处理中，这些任务(如各个类别的分类器的训练)都是独立进行的，这忽略了任务与任务之间的关系。例如，多个衣服类别的识别，如，帽子、裤子等，这些类别之间往往有一定的关系，如果一个人穿了外套，那么他穿毛衣的概率也会加大，因为图片中的季节很可能是冬天。单一任务学习主要有两个缺点：(1)多个任务之间具有差异性，简单地把它们合并当做单一任务一次性学习并不高效与合适。例如在多类别分类器的训练中，通常会将多任务转换为一对多问题，也就是其中一个类视为正类，剩下的所有类都视为负类，这样会存在正负样本严重不平衡等问题。(2)一些分类任务之间存在着较强的关系，如果单独地学习每个任务的分类器就不能很好地挖掘相关任务之间的潜在关系。某些分类任务存在着相关性也意味着从一个任务中学习到的信息是可以转移到另外一个相关的任务的，通过提取相关任务之间的共性可以提高分类器的泛化能力。

上述论述内容目的在于向读者介绍可能与下面将被描述和/或主张的本发明的各个方面相关的技术的各个方面，相信该论述内容有助于为读者提供背景信息，以有利于更好地理解本发明的各个方面，因此，应了解是以这个角度来阅读这些论述，而不是承认现有技术。

发明内容

本发明的目的在于避免现有技术中的不足而提供一种基于衣物共现信息与多任务学习的衣物识别方法，其研究如何结合衣服类别之间的关系提高衣服类别识别的准确度，提出基于人体部位识别以及加入衣服共现约束项的多任务学习的衣服类别分类器训练模型，并以此提高衣物分类器的性能。

本发明的目的通过以下技术方案实现：

提供一种基于衣物共现信息与多任务学习的衣物识别方法，包括以下步骤：

(a)、人体姿势及人体部位的识别，在使用识别模型识别出各个部位后，将得到的部位区域重新融合得到新的“头部”，“上半身”，“下半身”与“全身”四个区域；

(b)、特征提取及筛选，根据不同衣物所在的不同部位在上一步骤中得到的相应部位中提取特征，在下一步骤通过加入衣物共现约束项的多任务学习训练得到的模型重新筛选特征，也即使用训练得到的权重向量作为反馈信息重新筛选特征；

(c)、使用加入衣物共现约束的多任务学习同时训练多个衣物类别分类器，也即在传统的多任务学习目标函数中加入衣物共现约束项以提高衣物类别分类器性能。

其中，所述步骤(b)中，主要对划分身体部位之后的各个图片区域提取颜色、形状和纹理三种类型的特征，一共558维：

(b-1)、颜色特征主要包括6维的色矩、32维的RGB特征直方图和64维的HSV特征直方图；

(b-2)、形状特征主要是300维的基于词袋模型的sift和300维的同样基于词袋模型的HOG特征，在得到300维的sift和HOG特征后使用主成分分析，保留前100维特征；

(b-3)、纹理特征主要是256维的LBP特征。

其中，所述步骤(b)利用步骤(c)得到的模型根据设定的阈值筛选贡献程度足够大的特征，以此实现对特征向量的降维。

其中，所述步骤(c)在传统的多任务学习的最优化式子中加入了衣物共现约束项，如下式所示：

其中，t为任务数(衣物类别数)，N为对应任务的样本数，P(task_i，task_j)是数据集中根据图片的标签统计得到的先验概率，W_i是第i个任务训练得到的模型，W_iX_k＞0，说明标签为正，也即图片X_k的预测结果为存在i这个类别，那么电就是预测得到的同时存在i和j的图片数除以图片总数，ρ₁、ρ₂分别是迹范式与衣物共现约束项的参数，也可以通过交叉验证确以。

其中，根据加入衣物共现约束项的目标函数确定加速梯度算法，如下：

初始化

当时迭代：

①令

②当时，

令

③令并更新(6)、(7)、(8)式：

其中，k为当前迭代数，

F(W)＝min_W Loss(W)+ρ₁||W||_*+ρ₂E_p(W)，

W^*＝argmin_W F(W)，

重点在于下式加入了共现约束项：

为损失函数的梯度。

本发明对数据库中的所有图片进行人体姿势的识别以及人体部位的识别与定位，在获取到人体的部位信息之后，在图片中相应的人体部位提取图片的特征，不同的衣服类别对应的特征是在不同的身体部位中提取的，最后，每一个衣物类别可以视为一个训练任务，通过加入衣物类别共现约束的多任务学习训练得到最后的衣物类别分类器。本发明实现了如何结合衣服类别之间的关系提高衣服类别识别的准确度，提出基于人体部位识别以及加入衣服共现约束项的多任务学习的衣服类别分类器训练模型，并以此提高衣物分类器的性能。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明的整体技术架构图。

图2为人体部位识别示意图。

图3为“T-shirt”的模型(权重向量)示意图。

图4为加入衣物共现约束项后的加速梯度算法。

图5为参数求取、分类器训练及测试示意图。

图6为加入衣物共现约束项多任务学习算法示意图；

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

本发明的核心在于主要研究如何结合衣服类别之间的关系提高衣服类别识别的准确度，提出基于人体部位识别以及加入衣服共现约束项的多任务学习的衣服类别分类器训练模型，并以此提高衣物分类器的性能。首先对数据库中的所有图片进行人体姿势的识别以及人体部位的识别与定位。在获取到人体的部位信息之后，在图片中相应的人体部位提取图片的特征，不同的衣服类别对应的特征是在不同的身体部位中提取的。最后，每一个衣物类别可以视为一个训练任务，通过加入衣物类别共现约束的多任务学习训练得到最后的衣物类别分类器。

在机器学习中，分类和回归问题的目标一般为使处罚的经验损失最小化。多任务学习一般通过在最优化式子中加入正则项来挖掘任务之间的关联性，对任务之间关联性的不同假设对应不同的正则项。Jun Liu等人提出的基于l_2，1范式最小化的多任务特征学习通过利用l_2，1范式正则化来促进分类器之间共享相似的信息的稀疏模式，也即通过利用正则项获取任务之间的关联性。同样的，可以根据不同需求使用如迹范数(trace-norm)等正则项来获取任务之间的关系。综上所述，衣物类别的分类问题就可以表达为使所有预测标签与实际标签之间差别之和加上正则项的最小化问题，其目标函数的一般形式可以表达如下：

这里的‖‖_L根据不同情况可以取不同的范式，例如当L为‘2,1’时，‖‖_2,1为l_2,1范式；当L为*时‖‖_*为迹范式。另外，t是任务的数量，在本文中，也即衣物类别的数量。X和Y是t维的元胞数组。X的每个元胞是一个n_i乘以d的数组，n_i是第i个任务的训练样本数而d是每个样本的特征向量的维数。Y的每一个元胞是一个n_i乘以一的数组，对应第i个任务的n_i个样本的标签。W是一个t乘以d的模型参数，可以通过W的值来考察对于每个任务，哪些特征是对该分类器的训练起到决定性作用的。ρ₁是该正则项的参数，该参数可以通过k折交叉检验来确定。

本发明的主要贡献在于提出以下基于(1)式的加入衣物类别共现项的多任务学习模型，这里将其简称其为CA-MTL。通过加入共现约束项使得训练得到的分类器符合训练集中各个衣物类别的共现分布情况。

其中，P(task_i,task_j)是数据集中根据图片的标签统计得到的先验概率，例如task_i是训练t-shirt分类器的任务，task_j是训练裙子的任务，那么P(task_i,task_j)就是图片集中同时出现t-shirt和裙子的数目除以总图片数N。W_i是第i个任务(例如t-shirt)训练得到的模型，W_iX_k＞0，说明标签为正，也即图片X_k的预测结果为存在i这个类别，那么也就是预测得到的同时存在i和j的图片数除以图片总数。加上后面这一项的意图在于使训练得到的模型保留训练集中不同衣物之间的共同出现的概率也即共现关系。ρ₂是共现约束项的参数，也可以通过交叉验证确认。

要实现上述衣物分类器的训练，本发明主要由识别人体部位、在对应的身体部位提取相应特征与使用加入衣物共现约束项的多任务学习训练衣物分类器三个步骤组成。

结合图1至图6所示，这三个步骤的具体功能和实施步骤详述如下。

a、人体姿势识别及人体部位识别

输入：待识别图像I。

输出：图像I中人体各个部位P_k，其中k∈[1，2，3，4]。

1)本发明采用由Yi Yang等人提出基于混合部分的人体姿势识别模型对数据集中的图片进行人体姿势的识别及人体部位的定位。该模型将定位到的人体划分为二十七个部分，如图2a所示，其中，头和脖子占两个部分，躯干占六个部位，左、右手各占四个部位，左右脚各占五个部分。

2)在得到如图2中的结果后，将各个部分融合得到新的头部P₁(图2b)，上半身P₂(图2c)，下半身P₃(图2d)以及全身P₄(图2e)部分，例如通过融合左右脚的部分得到新的下半身部分。在得到新的融合部位之后，就可以根据不同的衣服类别在人体的一般分布情况在不同的新融合部位提取相应的特征。例如，外套一般出现在上半身的部位，那么之后外套的分类器就使用在该区域提取的特征来训练。

b、特征提取及筛选

输入：图像集I中人体各个部位P_i集。

输出：每个部位P_k对应的特征向量V_k集。

在得到新的融合部位之后，就可以根据不同的衣服类别在人体的一般分布情况在不同的新融合部位提取相应的特征。例如，外套一般出现在上半身的部位，那么之后外套的分类器就使用在该区域提取的特征来训练。主要对划分身体部位之后的各个图片区域提取颜色、形状和纹理三种类型的特征，一共558维。

①颜色特征主要包括6维的色矩、32维的RGB特征直方图和64维的HSV特征直方图。

②形状特征主要是300维的基于词袋模型的SIFT和300维的同样基于词袋模型的HOG特征，在得到300维的SIFT和HOG特征后使用主成分分析(PCA)，保留前100维特征。

③纹理特征主要是256维的LBP特征。

最后，可以根据步骤c的加入衣物共现项的多任务学习得到的模型来评估每一个特征维度的贡献性并以此筛选。通过分析训练得到的特征系数也即训练得到的模型参数，可以分析哪些特征对于分类器的训练起到决定性作用。多任务学习训练得到的模型参数W是一个t乘以d维的矩阵，每一列Wi是当前这个任务对应的d维特征向量的权重，固根据Wi中每一特征对应的权重的绝对值大小来判断哪些特征对第i个分类器的训练是起到决定性作用的。例如，图3任务“T-shirt”的训练得到的模型，也即权重向量的示意图，为了清晰的分析各个特征的重要性，只保留绝对值大于阈值(0.05)的特征权重。其中有sift特征(13/100)、hog特征(14/100)、rgb直方图特征(14/64)、hsv直方图特征(2/32)、颜色矩(2/6)、而lbp特征(35/256)。通过观察可以发现，在所有特征中颜色矩对该任务分类器的训练起到较大的作用，因为6维特征中有两维的系数是大于阈值的(33％)。另外，对于像sift和hog等特征，只有约10％的特征是起重要作用的，那么在未来工作中就可以通过只保留相应的重要特征以提高训练效率。

c、加入衣物共现约束项的多任务学习

输入：t个任务的图像集X的特征矩阵(由V_k集组合而成)以及对应的label集Y。

输出：t个任务的分类器W_t。

为了简洁的表达，现用P(i，j)代替P(task_i，task_j)，Loss(W)表示经验损失令 那么(2)式可以表达为：

1)使用未平衡的数据样本集X计算每两个任务之间的共现先验概率P(task_i，task_j)。

2)根据每个任务的正样本数平衡正负训练样本，得到新的图像集X_balanced与对应的label集Y_balanced，为了简单表示以下仍用X，Y代替X_balanced与Y_balanced。

3)求解(3)式：

要求解(3)式，就涉及对求偏微分的问题。然而，由于E_p(W)是不出现W的二值函数所以有：

当采用trace norm时，(3)式转化为：

min_W Loss(W)+ρ₁||W||_*+ρ₂E_p(W) (5)

现令：

F(W)＝min_W Loss(W)+ρ₁||W||_*+ρ₂E_p(W)，

由于等于零，故在使用Shuiwang Ji等人提出的加速梯度算法(如图4所示)求解上式时，步骤是一样的，也即：

初始化

当时迭代：

①令

②当时，

令

③令并更新(6)、(7)、(8)式：

k为当前迭代数，上述算法中，定义如下，重点在于下式加入了共现约束项：

其中，为损失函数的梯度。

另外，本发明使用五折交叉验证求取参数ρ₁与ρ₂，以及对分类器进行训练以及性能测试。

上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。

总之，本发明虽然例举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (4)

1.一种基于衣物共现信息与多任务学习的衣物识别方法，其特征在于，包括以下步骤：

(a)、人体姿势及人体部位的识别，在使用识别模型识别出各个部位后，将得到的部位区域重新融合得到新的“头部”，“上半身”，“下半身”与“全身”四个区域；

(b)、特征提取及筛选，根据不同衣物所在的不同部位在上一步骤中得到的相应部位中提取特征，在下一步骤通过加入衣物共现约束项的多任务学习训练得到的模型重新筛选特征，也即使用训练得到的权重向量作为反馈信息重新筛选特征；

(c)、使用加入衣物共现约束的多任务学习同时训练多个衣物类别分类器，也即在传统的多任务学习目标函数中加入衣物共现约束项以提高衣物类别分类器性能；

所述步骤(c)在传统的多任务学习的最优化式子中加入了衣物共现约束项，如下式所示：

其中：t为仟务数即衣物类别数，N为对应任务的样本数，P(task_i，task_j)是数据集中根据图片的标签统计得到的先验概率，W_i是第i个任务训练得到的模型，W_iX_k＞0，说明标签为正，图片X_k的预测结果为存在i这个类别，那么

就是预测得到的同时存在i和j的图片数除以图片总数，ρ₁、ρ₂分别是迹范式与衣物共现约束项的参数，通过交叉验证确认。

2.根据权利要求1所述的基于衣物共现信息与多任务学习的衣物识别方法，其特征在于，所述步骤(b)中，对划分身体部位之后的各个图片区域提取颜色、形状和纹理三种类型的特征，一共558维：

(b-1)、颜色特征包括6维的色矩、32维的RGB特征直方图和64维的HSV特征直方图；

(b-2)、形状特征是300维的基于词袋模型的sift和300维的同样基于词袋模型的HOG特征，在得到300维的sift和HOG特征后使用主成分分析，保留前100维特征；

(b-3)、纹理特征是256维的LBP特征。

3.根据权利要求2所述的基于衣物共现信息与多任务学习的衣物识别方法，其特征在于，所述步骤(b)利用步骤(c)得到的模型根据设定的阈值筛选贡献程度足够大的特征，以此实现对特征向量的降维。

4.根据权利要求1所述的基于衣物共现信息与多任务学习的衣物识别方法，其特征在于，根据加入衣物共现约束项的目标函数确定加速梯度算法，如下：

初始化L₀，γ，α₁

当时迭代：

①令

②当时，

令

③令并更新(6)、(7)、(8)式：

其中，k为当前迭代数，

F(W)＝min_WLoss(W)+ρ₁||W||_*+ρ₂E_p(W)，

W^*＝arg min_WF(W)，

重点在于下式加入了共现约束项：

为损失函数的梯度。