CN112200260B - 一种基于丢弃损失函数的人物属性识别方法 - Google Patents

一种基于丢弃损失函数的人物属性识别方法 Download PDF

Info

Publication number
CN112200260B
CN112200260B CN202011116242.9A CN202011116242A CN112200260B CN 112200260 B CN112200260 B CN 112200260B CN 202011116242 A CN202011116242 A CN 202011116242A CN 112200260 B CN112200260 B CN 112200260B
Authority
CN
China
Prior art keywords
sample
attribute
discarding
training
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011116242.9A
Other languages
English (en)
Other versions
CN112200260A (zh
Inventor
严严
许友泽
王菡子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202011116242.9A priority Critical patent/CN112200260B/zh
Publication of CN112200260A publication Critical patent/CN112200260A/zh
Application granted granted Critical
Publication of CN112200260B publication Critical patent/CN112200260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于丢弃损失函数的人物属性识别方法，涉及基于内容的图像识别。首先设计基于ResNet‑50的深度卷积神经网络，然后设计丢弃损失函数中包含的离群样本丢弃策略，计算梯度值，选择性丢弃梯度值大于一定阈值的样本权重，再设计丢弃损失函数中包含的样本加权丢弃策略，选择性丢弃其梯度值最小的一部分样本，通过对样本加权的方式来平衡其正负类别的样本的分布，最后将训练样本集中的图像放进基于ResNet‑50的深度卷积神经网络计算得到总体损失，并利用反向传播算法进行端到端的训练，利用训练好的模型进行多属性识别，神经网络输出的特征即为识别结果。性能卓越，可有效识别图片中的多个属性，在平衡精度标准上有明显优势。

Description

一种基于丢弃损失函数的人物属性识别方法
技术领域
本发明涉及基于内容的图像识别领域，具体是涉及可通用的基于人工智能的智能监控等领域属性识别模型的一种基于丢弃损失函数的人物属性识别方法。
背景技术
在过去几年中，人物属性识别引起了越来越多计算机视觉和模式识别领域专家的关注，主要应用公共安全、心理学、医学、数字娱乐和司机监控等。人物属性识别的目标在于，对于给定的人物图片，能预测出其所包含的属性，包括微笑、性别、吸引力、上衣颜色等。人物属性识别有广泛而实际的应用，包括人脸验证、图片检索、行人重识别等领域。虽然属性识别的任务只是图像级别的分类任务，目前还存在很多的挑战，主要是因为图像通常受到光照、姿势、年龄、性别、身份等因素的干扰。中国专利CN111738213A公开一种人物属性识别方法，包括：按照遮挡区域对待识别人物图像进行分类，得到所述待识别人物图像的图像类型；若所述待识别人物图像是遮挡图像，则将所述待识别人物图像和所述图像类型输入多尺度生成对抗网络，所述多尺度生成对抗网络根据所述图像类型生成所述待识别人物图像的去遮挡图像；将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别。
随着深度神经网络的飞速发展，目前主流的属性识别方法都使用卷积神经网络来预测多个属性，这些方法通常将发现属性之间的潜在关系的问题公式化为设计适当的深度神经网络的问题。这些深度卷积神经网络的拓扑结构以共享层(提取低层详细特征)和属性特定层(提取高层语义特征)的形式捕获属性的潜在结构。然而这些方法忽略了多属性数据集中天然存在的两个不平衡问题：1)不平衡的离群样本数量问题；2)不平衡的类别样本分布问题。不平衡的离群样本问题会对优化目标损失函数产生负面影响，这会迫使模型着重于学习离群样本的分布。使得训练好的模型对于正确标记的样本具有较差的判别能力。而类别不平衡数据会导致学习过程中的偏好问题，对于非常不平衡的属性，模型倾向于将所有的样本预测成多数类，这就导致训练好的模型在多数类别上表现良好，但在少数类别上表现较差，因此，类别数据分布不平衡给学习准确的深度模型带来了另一个巨大挑战，本发明受到以上两个问题启发，提出了一种基于深度不平衡学习的人物多属性识别方法。
发明内容
本发明的目的在于提供可通用的基于人工智能的智能监控等领域属性识别模型的一种基于丢弃损失函数的人物属性识别方法。
本发明包括以下步骤：
A.准备样本集，并划分为训练样本集与验证样本集；
B.设计基于ResNet-50的深度卷积神经网络，对于训练集中的每幅输入图像，通过设计的神经网络得到固定维度的特征；
C.设计丢弃损失函数中包含的离群样本丢弃策略，在通过设计的深度卷积神经网络得到每个属性的特征之后，根据属性的特征计算其对应的梯度值，选择性地丢弃梯度值大于一定阈值的样本权重，这种方式能够适应性地处理不平衡的离群样本问题；
D.设计丢弃损失函数中包含的样本加权丢弃策略，基于离群样本丢弃策略中未被丢弃的样本集与其对应的梯度值，选择性地丢弃其梯度值最小的一部分样本，并在此基础上，通过对样本加权的方式来平衡其正负类别样本的分布；
E.将训练样本集中的所有图像放进设计的基于ResNet-50的深度卷积神经网络里使用设计的丢弃损失函数计算得到总体损失，并利用反向传播算法进行端到端的训练，得到训练好的模型；
F.利用训练好的模型进行多属性识别，神经网络输出的特征即为识别结果。
在步骤A中，所述准备样本集，并划分为训练样本集与验证样本集的具体步骤可为：
A1.获取样本对应的属性识别标注，获取样本集中的划分标准；
A2.将获得的样本集及其对应的属性识别标注整合一起，并按照样本集中的划分标准将其划分为训练样本集与验证样本集：训练样本集表示为
Figure BDA0002730269690000021
i＝1,…,N,N为训练样本数，而验证样本集表示为
Figure BDA0002730269690000022
j＝1,…,M，M为数据集中的属性个数，其中attr_q为属性的总类别数，N,M,attr_q为自然数，
Figure BDA0002730269690000023
表示训练样本对应的固定大小的图像；
Figure BDA0002730269690000024
表示训练样本
Figure BDA0002730269690000025
具有的属性类别：
Figure BDA0002730269690000026
在步骤B中，所述设计基于ResNet-50的深度卷积神经网络，对于训练集中的每幅输入图像，通过设计的神经网络得到固定维度的特征的具体步骤可为：
B1.设计基于ResNet-50的深度卷积神经网络，使用ResNet-50(K.He,Z.Wang,Y.Fu,R.Feng,Y.-G.Jiang,and X.Xue,“Adaptively weighted multi-task deep networkfor person attribute classification,”in Proceedings of the 25th ACMinternational conference on Multimedia.ACM,2017,pp.1636–1644.)网络中的卷积部分用来提取输入的图片的特征，去除ResNet-50中最后的全连接分类层后，新增一层大小为2048*attr_q的全连接分类层，其中attr_q为训练样本集中的属性个数；
B2.对所有的原始图像的归一化大小为一定的尺寸，对于CelebA数据集(Z.Liu,P.Luo,X.Wang,X.Tang,“Deep learning face attributes in the wild”,inProceedings of the IEEE International Conference on Computer Vision,2015,pp.3730-3738.)，归一化大小为178*216，对于Market-1501行人数据集(Y.Lin,L.Zheng,Z.Zheng,Y.Wu,Z.Hu,C.Yan,and Y.Yang,“Improving person re-identification byattribute and identity learning,”Pattern Recognition,2019.)归一化大小为288*144；
B3.对于训练集中的每幅预处理的输入图像，将其输入到设计的神经网络中，得到attr_q维的特征向量，每个特征值分别对应着每个属性的特征。
在步骤C中，所述设计丢弃损失函数中包含的离群样本丢弃策略，在通过设计的深度卷积神经网络得到每个属性的特征之后，根据属性的特征计算其对应的梯度值，选择性地丢弃梯度值大于一定阈值的样本权重的具体步骤可为：
C1.选定离群样本候选集，在训练过程中，每个属性都具有一个离群样本候选集；给定一个批次训练样本集T，其中第i个样本Ιi，如果其梯度大于一定阈值，则将其加入离群样本候选集，对第j个属性的离群样本候选集而言，其定义如下：
Figure BDA0002730269690000031
其中，
Figure BDA0002730269690000032
代表的第i个样本的第j个属性的模型输出，
Figure BDA0002730269690000033
代表第i个样本的第j个属性的梯度，来自算法GHM-C(B.Li,Y.Liu,and X.Wang,“Gradient harmonized single-stage detector,”in Proceedings of the AAAI Conference on ArtificialIntelligence,vol.33,2019,pp.8577–8584.)所定义的梯度概念，α代表离群样本候选集的阈值，对于离群样本候选集
Figure BDA0002730269690000034
而言，按照概率的形式进行丢弃其权重；
C2.计算每个属性对应的丢弃率，在得到每个属性的离群样本候选集
Figure BDA0002730269690000035
之后，需要考虑每个属性的离群样本候选集的丢弃比率，使用损失的相对大小来设计丢弃率，考虑传统的sigmoid cross-entropy损失函数，得到当前批次的各个属性的损失，对于第j个属性的批次损失大小如下：
Figure BDA0002730269690000036
其中，n表示当前批次的数目，
Figure BDA0002730269690000041
代表第i个样本的第j个属性的模型预测值，
Figure BDA0002730269690000042
代表第i个样本的第j个属性的正确标签，得到属性的批次损失大小
Figure BDA0002730269690000043
后，需要对所有属性的批次损失进行归一化，采用min-max normalization正则函数，得到当前批次的各个属性的丢弃概率，第j个属性的丢弃率计算公式如下：
Figure BDA0002730269690000044
C3.根据每个属性的丢弃率，对属性对应的离群样本候选集按前面计算的丢弃比例进行按比例丢弃，得到丢弃样本集
Figure BDA0002730269690000045
此时对于第j个属性，其现有的批次训练样本集为
Figure BDA0002730269690000046
现有的批次训练样本集为
Figure BDA0002730269690000047
此时的丢弃损失函数计算公式如下：
Figure BDA0002730269690000048
其中，
Figure BDA0002730269690000049
代表第j个属性的现有训练样本集，
Figure BDA00027302696900000410
为现有训练样本集中第i个样本的第j个属性的预测值,
Figure BDA00027302696900000411
为其对应的正确标签；
在步骤D中，所述设计丢弃损失函数中包含的样本加权丢弃策略，基于离群样本丢弃策略中未被丢弃的样本集与其对应的梯度值，选择性地丢弃其梯度值最小的一部分样本，并在此基础上，通过对样本加权的方式来平衡其正负类别样本的分布的具体步骤可为：
D1.样本加权丢弃策略首先对极端简单多数类样本集合进行定义，给定一个已经丢弃完离群样本后的批次训练样本集
Figure BDA00027302696900000412
代表的是第j个属性的多数类训练样本集，
Figure BDA00027302696900000413
代表的是第j个属性的少数类样本集，对于第j个属性而言，其具有的极端简单多数类样本集定义为：
Figure BDA00027302696900000414
其中，k代表极端简单样本的梯度阈值，Ii表示训练样本集
Figure BDA00027302696900000415
中的第i个样本，
Figure BDA00027302696900000416
为Ii所对应的第j个属性的梯度值，将所有极端简单多数类样本集
Figure BDA00027302696900000417
的权重进行丢弃，即其损失不会计入总体的损失内；此时丢弃后的批次训练样本集为
Figure BDA00027302696900000418
代表的是第j个属性的未被丢弃的多数类样本集，
Figure BDA00027302696900000419
D2.再根据未被丢弃的类别样本个数对未被丢弃的样本进行加权，此时权重大小定义为：
Figure BDA0002730269690000051
其中，
Figure BDA0002730269690000052
代表的是现存批次训练样本集
Figure BDA0002730269690000053
中未被丢弃的第i个样本；将权重带入sigmoid cross-entropy损失函数中，可得新的损失函数为：
Figure BDA0002730269690000054
其中，
Figure BDA0002730269690000055
为批次训练样本集
Figure BDA0002730269690000056
中未被丢弃的第i个样本的第j个属性的模型输出，
Figure BDA0002730269690000057
代表的是sigmoid cross-entropy损失函数计算公式；
最终得到丢弃损失函数可定义为：
Figure BDA0002730269690000058
本发明首先设计基于ResNet-50的深度卷积神经网络。然后设计丢弃损失函数中包含的离群样本丢弃策略。在得到每个属性的特征之后，计算其对应的梯度值，选择性地丢弃梯度值大于一定阈值的样本权重。其次再设计丢弃损失函数中包含的样本加权丢弃策略，基于离群样本丢弃策略中未被丢弃的样本集与其对应的梯度值，选择性地丢弃其梯度值最小的一部分样本，并在此基础上，通过对样本加权的方式来平衡其正负类别的样本的分布。最后将训练样本集中的所有图像放进专门设计的基于ResNet-50的深度卷积神经网络里使用设计的丢弃损失函数计算得到总体损失，并利用反向传播算法进行端到端的训练，得到训练好的模型。利用训练好的模型进行多属性识别，神经网络输出的特征即为识别结果。通过实验分析可知，本发明性能卓越，可以有效地识别图片中的多个属性，在两个代表性的人物多属性分类任务(包括面部和行人属性分类)上的实验结果表明，与几种最新方法相比，本发明在平衡精度标准上均具有明显的优势。
具体实施方式
以下实施例将对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。
本发明实施例包括以下步骤：
1.准备样本集，并按照划分规则将其划分为训练样本集与验证样本集。
A1.获取样本对应的属性识别标注，获取样本集中的划分标准。
A2.将获得的样本集及其对应的属性识别标注整合一起，并按照样本集中的划分标准将其划分为训练样本集与验证样本集：训练样本集表示为
Figure BDA0002730269690000061
i＝1,…,N,N为训练样本数，而验证样本集表示为
Figure BDA0002730269690000062
j＝1,…,M，M为数据集中的属性个数，其中attr_q为属性的总类别数，N,M,attr_q为自然数，
Figure BDA0002730269690000063
表示训练样本对应的固定大小的图像。
Figure BDA0002730269690000064
表示训练样本
Figure BDA0002730269690000065
具有的属性类别：
Figure BDA0002730269690000066
2.设计基于ResNet-50的深度卷积神经网络，对于训练集中的每幅输入图像，通过设计的神经网络得到固定维度的特征。
B1.设计基于ResNet-50的深度卷积神经网络，使用ResNet-50(K.He,Z.Wang,Y.Fu,R.Feng,Y.-G.Jiang,and X.Xue,“Adaptively weighted multi-task deep networkfor person attribute classification,”in Proceedings of the 25th ACMinternational conference on Multimedia.ACM,2017,pp.1636–1644.)网络中的卷积部分用来提取输入的图片的特征，去除ResNet-50中最后的全连接分类层后，新增一层大小为2048*attr_q的全连接分类层，其中attr_q为训练样本集中的属性个数。
B2.对所有的原始图像的归一化大小为一定的尺寸，对于CelebA数据集(Z.Liu,P.Luo,X.Wang,X.Tang,“Deep learning face attributes in the wild”,inProceedings of the IEEE International Conference on Computer Vision,2015,pp.3730-3738.)，归一化大小为178*216，对于Market-1501行人数据集(Y.Lin,L.Zheng,Z.Zheng,Y.Wu,Z.Hu,C.Yan,and Y.Yang,“Improving person re-identification byattribute and identity learning,”Pattern Recognition,2019.)归一化大小为288*144。
B3.对于训练集中的每幅预处理的输入图像，将其输入到设计的神经网络中，得到attr_q维的特征向量，每个特征值分别对应着每个属性的特征。
3.设计丢弃损失函数中包含的离群样本丢弃策略。在通过设计的深度卷积神经网络得到每个属性的特征之后，根据属性的特征计算其对应的梯度值，选择性地丢弃梯度值大于一定阈值的样本权重，这种方式能够适应性地处理了不平衡的离群样本问题。
C1.选定离群样本候选集，在训练过程中，每个属性都具有一个离群样本候选集。给定一个批次训练样本集T，其中第i个样本Ιi，如果其梯度大于一定阈值，则将其加入离群样本候选集，对第j个属性的离群样本候选集而言，其定义如下：
Figure BDA0002730269690000067
其中,
Figure BDA0002730269690000068
代表的第i个样本的第j个属性的模型输出，
Figure BDA0002730269690000069
代表第i个样本的第j个属性的梯度，来自算法GHM-C(B.Li,Y.Liu,and X.Wang,“Gradient harmonized single-stage detector,”in Proceedings of the AAAI Conference on ArtificialIntelligence,vol.33,2019,pp.8577–8584.)所定义的梯度概念，α代表离群样本候选集的阈值，对于离群样本候选集
Figure BDA0002730269690000071
而言，按照概率的形式进行丢弃其权重。
C2.计算每个属性对应的丢弃率，在得到每个属性的离群样本候选集
Figure BDA0002730269690000072
之后，需要考虑每个属性的离群样本候选集的丢弃比率，使用损失的相对大小来设计丢弃率，考虑传统的sigmoid cross-entropy损失函数，得到当前批次的各个属性的损失，对于第j个属性的批次损失大小如下：
Figure BDA0002730269690000073
其中,n表示当前批次的数目，
Figure BDA0002730269690000074
代表第i个样本的第j个属性的模型预测值，
Figure BDA0002730269690000075
代表第i个样本的第j个属性的正确标签，得到属性的批次损失大小
Figure BDA0002730269690000076
后，需要对所有属性的批次损失进行归一化，采用min-max normalization正则函数，得到当前批次的各个属性的丢弃概率，第j个属性的丢弃率计算公式如下：
Figure BDA0002730269690000077
C3.根据每个属性的丢弃率，对属性对应的离群样本候选集按前面计算的丢弃比例进行按比例丢弃，得到丢弃样本集
Figure BDA0002730269690000078
此时对于第j个属性，其现有的批次训练样本集为
Figure BDA0002730269690000079
现有的批次训练样本集为
Figure BDA00027302696900000710
此时的丢弃损失函数计算公式如下：
Figure BDA00027302696900000711
其中，
Figure BDA00027302696900000712
代表第j个属性的现有训练样本集，
Figure BDA00027302696900000713
为现有训练样本集中第i个样本的第j个属性的预测值,
Figure BDA00027302696900000714
为其对应的正确标签。
4.设计丢弃损失函数中包含的样本加权丢弃策略，基于离群样本丢弃策略中未被丢弃的样本集与其对应的梯度值，选择性地丢弃其梯度值最小的一部分样本，并在此基础上，通过对样本加权的方式来平衡其正负类别的样本的分布。
D1.样本加权丢弃策略首先对极端简单多数类样本集合进行定义，给定一个已经丢弃完离群样本后的批次训练样本集
Figure BDA0002730269690000081
代表的是第j个属性的多数类训练样本集，
Figure BDA0002730269690000082
代表的是第j个属性的少数类样本集，对于第j个属性而言，其具有的极端简单多数类样本集定义为：
Figure BDA0002730269690000083
其中，k代表极端简单样本的梯度阈值，Ii表示训练样本集
Figure BDA0002730269690000084
中的第i个样本，
Figure BDA0002730269690000085
为Ii所对应的第j个属性的梯度值，将所有极端简单多数类样本集
Figure BDA0002730269690000086
的权重进行丢弃，即其损失不会计入总体的损失内。此时丢弃后的批次训练样本集为
Figure BDA0002730269690000087
代表的是第j个属性的未被丢弃的多数类样本集，
Figure BDA0002730269690000088
D2.再根据未被丢弃的类别样本个数对未被丢弃的样本进行加权，此时权重大小定义为：
Figure BDA0002730269690000089
其中
Figure BDA00027302696900000810
代表的是现存批次训练样本集
Figure BDA00027302696900000811
中未被丢弃的第i个样本。将权重带入sigmoid cross-entropy损失函数中，可得新的损失函数为：
Figure BDA00027302696900000812
其中
Figure BDA00027302696900000813
为批次训练样本集
Figure BDA00027302696900000814
中未被丢弃的第i个样本的第j个属性的模型输出，
Figure BDA00027302696900000815
代表的是sigmoid cross-entropy损失函数计算公式。
最终得到丢弃损失函数可定义为：
Figure BDA00027302696900000816
表1为本发明在CelebA数据集上，本发明提出的方法与其他人脸属性识别方法结果对比；表2为本发明在Market-1501行人属性数据集上，本发明提出的方法与其他人脸属性识别方法结果对比，对比的标准为平衡准确率(％)。其中平衡准确率(％)代表的是所有属性分别在正、负样本上的准确率平均值。
在多属性人脸识别中，本发明与Down-sampling、Over-sampling、Cost-sensitive、MOON、LMLE、CRL-I、GHM-C和CLMLE方法在CelebA人脸属性识别数据集上的平衡准确率(％)比较如表1所示，与Down-sampling、Over-sampling、Cost-sensitive和MOON方法在Market-1501行人属性数据集上的平衡准确率(％)比较如表2所示。
表1
Figure BDA0002730269690000091
表2
Figure BDA0002730269690000101
在表1和2中：
Down-sampling与Over-sampling对应的方法为C.Drummond等提出的方法(C.Drummond,R.C.Holte et al.,“C4.5,class imbalance,and cost sensitivity:whyunder-sampling beats over-sampling,”in Workshop on learning from imbalanceddatasets II,vol.11,2003,pp.1–8.)
Cost-sensitive对应的方法为H.He等提出的方法(H.He and E.A.Garcia,“Learning from imbalanced data,”IEEE Transactions on knowledge and dataengineering,vol.21,no.9,pp.1263–1284,2009.)
MOON对应的方法为E.M.Rudd等提出的方法(E.M.Rudd,M.Gunther,andT.E.Boult,“Moon:A mixed objective optimization network for the recognition offacial attributes,”in European Conference on Computer Vision.Springer,2016,pp.19–35)
LMLE对应的方法为C.Huang等提出的方法(C.Huang,Y.Li,C.Change Loy,andX.Tang,“Learning deep representation for imbalanced classification,”inProceedings of the IEEE conference on computer vision and patternrecognition,2016,pp.5375–5384.)
CRL-I对应的方法为Q.Dong等提出的方法(Q.Dong,S.Gong,and X.Zhu,“Imbalanced deep learning by minority class incremental rectification,”IEEEtransactions on pattern analysis and machine intelligence,vol.41,no.6,pp.1367–1381,2018.)
GHM-C对应的方法为B.Li等提出的方法(B.Li,Y.Liu,and X.Wang,“Gradientharmonized single-stage detector,”in Proceedings of the AAAI Conference onArtificial Intelligence,vol.33,2019,pp.8577–8584.)
CLMLE对应的方法为C.Huang等提出的方法(C.Huang,Y.Li,C.L.Chen,andX.Tang,“Deep imbalanced learning for face recognition and attributeprediction,”IEEE transactions on pattern analysis and machine intelligence,2019.)
从表1与2可以看出，本发明的模型在两个数据集下的平均平衡准确率(％)上取得了优秀结果。因此，本发明的模型简单且性能良好，保证了其实用性。

Claims (3)

1.一种基于丢弃损失函数的人物属性识别方法，其特征在于，包括以下步骤：
A.准备样本集，并划分为训练样本集与验证样本集，具体步骤为：
A1.获取样本对应的属性识别标注，获取样本集中的划分标准；
A2.将获得的样本集及其对应的属性识别标注整合一起，并按照样本集中的划分标准将其划分为训练样本集与验证样本集：训练样本集表示为
Figure FDA0003630388560000011
N为训练样本数，而验证样本集表示为
Figure FDA0003630388560000012
M为数据集中的属性个数，其中attr_q为属性的总类别数，N,M,attr_q为自然数，
Figure FDA0003630388560000013
表示训练样本对应的固定大小的图像；
Figure FDA0003630388560000014
表示训练样本
Figure FDA0003630388560000015
具有的属性类别：
Figure FDA0003630388560000016
B.设计基于ResNet-50的深度卷积神经网络，对于训练集中的每幅输入图像，通过设计的神经网络得到固定维度的特征；
C.设计丢弃损失函数中包含的离群样本丢弃策略，在通过设计的深度卷积神经网络得到每个属性的特征之后，根据属性的特征计算其对应的梯度值，选择性地丢弃梯度值大于一定阈值的样本权重，这种方式能够适应性地处理不平衡的离群样本问题；
D.设计丢弃损失函数中包含的样本加权丢弃策略，基于离群样本丢弃策略中未被丢弃的样本集与其对应的梯度值，选择性地丢弃其梯度值最小的一部分样本，并在此基础上，通过对样本加权的方式来平衡其正负类别样本的分布；
所述设计丢弃损失函数中包含的样本加权丢弃策略，基于离群样本丢弃策略中未被丢弃的样本集与其对应的梯度值，选择性地丢弃其梯度值最小的一部分样本，并在此基础上，通过对样本加权的方式来平衡其正负类别样本的分布的具体步骤为：
D1.样本加权丢弃策略首先对极端简单多数类样本集合进行定义，给定一个已经丢弃完离群样本后的批次训练样本集
Figure FDA0003630388560000017
Figure FDA0003630388560000018
代表的是第j个属性的多数类训练样本集，
Figure FDA0003630388560000019
代表的是第j个属性的少数类样本集，对于第j个属性而言，其具有的极端简单多数类样本集定义为：
Figure FDA00036303885600000110
其中，k代表极端简单样本的梯度阈值，Ii表示训练样本集
Figure FDA00036303885600000111
中的第i个样本，
Figure FDA00036303885600000112
为Ii所对应的第j个属性的梯度值，将所有极端简单多数类样本集
Figure FDA0003630388560000021
的权重进行丢弃，即其损失不会计入总体的损失内；此时丢弃后的批次训练样本集为
Figure FDA0003630388560000022
Figure FDA0003630388560000023
代表的是第j个属性的未被丢弃的多数类样本集，
Figure FDA0003630388560000024
D2.再根据未被丢弃的类别样本个数对未被丢弃的样本进行加权，此时权重大小定义为：
Figure FDA0003630388560000025
其中，
Figure FDA0003630388560000026
代表的是现存批次训练样本集
Figure FDA0003630388560000027
中未被丢弃的第i个样本；将权重带入sigmoid cross-entropy损失函数中，得新的损失函数为：
Figure FDA0003630388560000028
其中，
Figure FDA0003630388560000029
为现存批次训练样本集
Figure FDA00036303885600000210
中未被丢弃的第i个样本的第j个属性的模型输出，
Figure FDA00036303885600000211
代表的是sigmoid cross-entropy损失函数计算公式；
最终得到丢弃损失函数定义为：
Figure FDA00036303885600000212
E.将训练样本集中的所有图像放进设计的基于ResNet-50的深度卷积神经网络里使用设计的丢弃损失函数计算得到总体损失，并利用反向传播算法进行端到端的训练，得到训练好的模型；
F.利用训练好的模型进行多属性识别，神经网络输出的特征即为识别结果。
2.如权利要求1所述一种基于丢弃损失函数的人物属性识别方法，其特征在于，在步骤B中，所述设计基于ResNet-50的深度卷积神经网络，对于训练集中的每幅输入图像，通过设计的神经网络得到固定维度的特征的具体步骤为：
B1.设计基于ResNet-50的深度卷积神经网络，使用ResNet-50网络中的卷积部分用来提取输入的图片的特征，去除ResNet-50中最后的全连接分类层后，新增一层大小为2048*attr_q的全连接分类层；
B2.对所有的原始图像的归一化大小为一定的尺寸，对于CelebA数据集，归一化大小为178*216，对于Market-1501行人数据集归一化大小为288*144；
B3.对于训练集中的每幅预处理的输入图像，将其输入到设计的神经网络中，得到attr_q维的特征向量，每个特征值分别对应着每个属性的特征。
3.如权利要求2所述一种基于丢弃损失函数的人物属性识别方法，其特征在于，在步骤C中，所述设计丢弃损失函数中包含的离群样本丢弃策略，在通过设计的深度卷积神经网络得到每个属性的特征之后，根据属性的特征计算其对应的梯度值，选择性地丢弃梯度值大于一定阈值的样本权重的具体步骤为：
C1.选定离群样本候选集，在训练过程中，每个属性都具有一个离群样本候选集；给定一个批次训练样本集T，其中第i个样本Ιi，如果其梯度大于一定阈值，则将其加入离群样本候选集，对第j个属性的离群样本候选集而言，其定义如下：
Figure FDA0003630388560000031
其中，
Figure FDA0003630388560000032
代表的第i个样本的第j个属性的模型输出，
Figure FDA0003630388560000033
代表第i个样本的第j个属性的梯度，来自算法GHM-C所定义的梯度概念，α代表离群样本候选集的阈值，对于离群样本候选集
Figure FDA0003630388560000034
而言，按照概率的形式进行丢弃其权重；
C2.计算每个属性对应的丢弃率，在得到每个属性的离群样本候选集
Figure FDA0003630388560000035
之后，需要考虑每个属性的离群样本候选集的丢弃比率，使用损失的相对大小来设计丢弃率，考虑传统的sigmoid cross-entropy损失函数，得到当前批次的各个属性的损失，对于第j个属性的批次损失大小如下：
Figure FDA0003630388560000036
其中，n表示当前批次的数目，
Figure FDA0003630388560000037
代表第i个样本的第j个属性的模型预测值，
Figure FDA0003630388560000038
代表第i个样本的第j个属性的正确标签，得到属性的批次损失大小
Figure FDA0003630388560000039
后，需要对所有属性的批次损失进行归一化，采用min-max normalization正则函数，得到当前批次的各个属性的丢弃概率，第j个属性的丢弃率计算公式如下：
Figure FDA00036303885600000310
C3.根据每个属性的丢弃率，对属性对应的离群样本候选集按前面计算的丢弃比例进行按比例丢弃，得到丢弃样本集
Figure FDA00036303885600000311
此时对于第j个属性，其现有的批次训练样本集为
Figure FDA00036303885600000312
现有的批次训练样本集为
Figure FDA00036303885600000313
此时的丢弃损失函数计算公式如下：
Figure FDA00036303885600000314
其中，
Figure FDA0003630388560000041
代表第j个属性的现有的批次训练样本集，
Figure FDA0003630388560000042
为现有训练样本集中第i个样本的第j个属性的预测值,
Figure FDA0003630388560000043
为其对应的正确标签。
CN202011116242.9A 2020-10-19 2020-10-19 一种基于丢弃损失函数的人物属性识别方法 Active CN112200260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011116242.9A CN112200260B (zh) 2020-10-19 2020-10-19 一种基于丢弃损失函数的人物属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011116242.9A CN112200260B (zh) 2020-10-19 2020-10-19 一种基于丢弃损失函数的人物属性识别方法

Publications (2)

Publication Number Publication Date
CN112200260A CN112200260A (zh) 2021-01-08
CN112200260B true CN112200260B (zh) 2022-06-14

Family

ID=74010231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011116242.9A Active CN112200260B (zh) 2020-10-19 2020-10-19 一种基于丢弃损失函数的人物属性识别方法

Country Status (1)

Country Link
CN (1) CN112200260B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381074B (zh) * 2021-01-15 2021-05-25 北京每日优鲜电子商务有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN117831106A (zh) * 2023-12-29 2024-04-05 广电运通集团股份有限公司 人脸识别模型训练方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN109325443A (zh) * 2018-09-19 2019-02-12 南京航空航天大学 一种基于多实例多标签深度迁移学习的人脸属性识别方法
CN110443189A (zh) * 2019-07-31 2019-11-12 厦门大学 基于多任务多标签学习卷积神经网络的人脸属性识别方法
CN111368874A (zh) * 2020-01-23 2020-07-03 天津大学 一种基于单分类技术的图像类别增量学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN109325443A (zh) * 2018-09-19 2019-02-12 南京航空航天大学 一种基于多实例多标签深度迁移学习的人脸属性识别方法
CN110443189A (zh) * 2019-07-31 2019-11-12 厦门大学 基于多任务多标签学习卷积神经网络的人脸属性识别方法
CN111368874A (zh) * 2020-01-23 2020-07-03 天津大学 一种基于单分类技术的图像类别增量学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MTCNN with Weighted Loss Penalty and Adaptive Threshold Learning for Facial Attribute Prediction;Xingting He et al.;《 2019 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)》;20190815;全文 *
Multi-label learning based deep transfer neural network for facial attribute classification;Zhuang Ni et al.;《Pattern Recognition》;20180321;第80卷(第1期);全文 *
Person Re-identification Based on Feature Fusion and Triplet Loss Function;Jun Xiang et al.;《2018 24th International Conference on Pattern Recognition (ICPR)》;20181129;全文 *

Also Published As

Publication number Publication date
CN112200260A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
Gomez et al. Exploring hate speech detection in multimodal publications
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
Bendre et al. Learning from few samples: A survey
Wen et al. Debiased visual question answering from feature and sample perspectives
CN109063565B (zh) 一种低分辨率人脸识别方法及装置
CN109815492A (zh) 一种基于识别模型的意图识别方法、识别设备及介质
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN112200260B (zh) 一种基于丢弃损失函数的人物属性识别方法
Lin et al. Effective feature space reduction with imbalanced data for semantic concept detection
CN112580362A (zh) 一种基于文本语义监督的视觉行为识别方法、系统及计算机可读介质
CN110765285A (zh) 基于视觉特征的多媒体信息内容管控方法及系统
CN110990498A (zh) 一种基于fcm算法的数据融合方法
Du et al. Energy-based domain generalization for face anti-spoofing
Cheng et al. A global and local context integration DCNN for adult image classification
CN110909542A (zh) 智能语义串并分析方法及系统
Wang et al. Positive unlabeled fake news detection via multi-modal masked transformer network
Yu et al. Fair face recognition using data balancing, enhancement and fusion
CN113609360B (zh) 一种基于场景化多源数据融合分析的方法和系统
CN110245234A (zh) 一种基于本体和语义相似度的多源数据样本关联方法
Sarker et al. Transformer-based person re-identification: a comprehensive review
Li et al. Relationship existence recognition-based social group detection in urban public spaces
Deng et al. Behavior recognition based on category subspace in crowded videos
CN113920573B (zh) 基于对抗学习的人脸变化解耦的亲属关系验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant