CN113569732B - 基于并行共享多任务网络的人脸属性识别方法及系统 - Google Patents
基于并行共享多任务网络的人脸属性识别方法及系统 Download PDFInfo
- Publication number
- CN113569732B CN113569732B CN202110853369.7A CN202110853369A CN113569732B CN 113569732 B CN113569732 B CN 113569732B CN 202110853369 A CN202110853369 A CN 202110853369A CN 113569732 B CN113569732 B CN 113569732B
- Authority
- CN
- China
- Prior art keywords
- network
- sub
- task
- attribute
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 18
- 210000004209 hair Anatomy 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000000887 face Anatomy 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 241000283707 Capra Species 0.000 claims description 3
- 241000353135 Psenopsis anomala Species 0.000 claims description 3
- 239000006071 cream Substances 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 239000012634 fragment Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于并行共享多任务网络的人脸属性识别方法及系统，该方法包括以下步骤：将人脸属性数据集中包含的人脸属性分为部分属性组和整体属性组；构建并行共享多任务网络，其由一个共享子网络以及两个特定任务子网络，即一个部分属性子网络和一个整体属性子网络组成；在每个特定任务子网络中采用注意力机制，以利用共享子网络和特定任务子网络的局部和全局特征之间的相关性；设定损失函数并采用自适应惩罚策略来缓解类别不平衡问题，提高人脸属性识别率；通过人脸属性数据集对并行共享多任务网络进行训练；将待识别的人脸图像输入训练好的并行共享多任务网络模型，实现人脸属性识别。该方法及系统有利于提高人脸属性识别的准确性。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于并行共享多任务网络的人脸属性识别方法及系统。
背景技术
人脸属性识别是指利用计算机来分析和判断某一图像中所包含的人脸的各项属性信息，例如年龄、性别、表情、脸型等。人脸属性识别包含人脸所拥有的丰富且稳定的特征信息，是计算机视觉和模式识别中的热门研究课题。随着人工智能的价值和影响不断扩大，其人脸图像极易被摄像机、摄像头等仪器捕捉，进而人脸属性识别也被广泛应用于图像生成、人机交互、视频监控、推荐系统等领域。
具体人脸属性识别的任务是，给定一张人脸图像，将图像中人物的年龄、表情、眼镜、帽子等属性信息判别出来。现有的人脸属性识别技术主要包括两类：基于单任务学习的属性识别方法和基于多任务学习的属性识别方法。基于单任务学习的属性识别方法即每一个属性对应一个任务，并且每个任务对应一个独立的训练模型。而基于多任务学习的属性识别方法是将每一个属性(组)对应一个任务，并且在网络的浅层进行所有任务之间的特征共享，在网络的深层分支独立学习各任务的差异性特征。相比较于基于单任务学习的人脸属性识别方法，基于多任务学习的人脸属性识别方法的各个任务之间的模型空间是共享的，更注重任务之间的相关性，模型在训练过程中多个任务可以相互促进从而提升识别性能。
例如，Walk and Learn和Splitface是属于基于单任务学习的属性识别方法，设计网络架构以对整张人脸图像进行特征提取再进行属性识别。Walk and Learn是一种基于Siamese网络的方法，其利用位置和天气的数据作为弱标记来构建丰富的面部属性表示以帮助识别。Splitface是一种基于深度卷积神经网络的方法，以若干个人脸片段和全脸作为输入，采用数据驱动的方式来确定哪些属性位于哪些人脸片段中，每个属性可由多个片段特征决定，最后融合多个片段的预测结果。这种基于单任务学习的识别方法的各属性之间的模型空间是相互独立的，其计算复杂度高且忽略了属性之间的相关性。
另一方面，MCNN-AUX和GMT-ACL是属于基于多任务学习的人脸属性识别方法，采用传统的多任务学习框架的分支结构，即在卷积神经网络的浅层共享所有任务参数并用于共享信息学习，随后网络分叉为若干个分支，每个分支对应某一个属性或者某一个属性组的特异性学习。在这种分支结构中分支之前是共享所有参数，分支后每个分支的参数相互独立。但这种传统的多任务学习框架存在一定的弊端，如到了网络末端浅层的共享信息以及丰富的位置信息没有得以充分的利用，以及分支节点的选择难以对每个属性都是最优的。
现有技术存在的主要问题：
1)现有的技术大多以串行分支结构的多任务学习框架为主，但深度多任务学习网络中任务之间的低层共享信息没有得以充分的利用。现有的分支结构的多任务学习网络通常在低层共享所有属性的特征，而在高层采用多个分支来分别对应预测某个属性(组)的特异性特征。在这个过程中，只有来自每个分支末端的高层抽象特征才用于最终的属性预测，这意味着低层共享信息在到达网络的高层时可能会消失，最终导致包含有价值的空间信息的低层共享特征和详细的面部特征可能不能被充分地探索以提高整体性能。
2)现有技术由于是根据整个人脸图像来学习的，因此在预测属性时存在许多来自其他无关面部区域的干扰信息。例如，当在识别胡子属性时，模型只需要关注人脸面部嘴巴附近的区域即可，其余的面部区域以及背景信息则是无关区域甚至会干扰模型的识别。而注意力机制可以有效地解决这个问题，可以通过模型训练有效地突出感兴趣的区域。但对于属性识别而言，还没有一个注意力机制可以同时考虑到来自不同的网络层次的全局与局部特征，以及来自共享层和特定任务层之间的关系。
3)现有的人脸属性数据集存在类别不平衡问题。目前公开的人脸属性数据集都存在不平衡标签的问题，如不同类别的样本数量相差较大或是相同类别的正负样本数量相差较大。例如最常用的CelebA数据集中“秃头的”属性的正样本非常少而负样本数量非常多，这样的不平衡会导致模型出现过拟合，从而降低了模型的泛化能力。而对于多标签数据集，重新平衡多个标签的数据是非常难的，因为平衡了其中某个属性又会影响到另一个属性的平衡。
发明内容
本发明的目的在于提供一种基于并行共享多任务网络的人脸属性识别方法及系统，该方法及系统有利于提高人脸属性识别的准确性。
为实现上述目的，本发明采用的技术方案是：一种基于并行共享多任务网络的人脸属性识别方法，包括以下步骤：
将人脸属性数据集中包含的人脸属性分为部分属性组和整体属性组；
构建并行共享多任务网络，所述并行共享多任务网络由一个共享子网络以及两个特定任务子网络，即一个部分属性子网络和一个整体属性子网络组成，所述共享子网络用于共享特征学习，所述部分属性子网络、整体属性子网络分别用于部分属性特征、整体属性特征学习，所述共享子网络与每个特定任务子网络进行信息流交互；在每个特定任务子网络中采用注意力机制，且注意力机制中的每个多特征软对齐模块将来自共享子网络和特定任务子网络的中间层以及特定任务子网络末端的线性分类层的特征图作为输入，并输出兼容性得分矩阵以推断注意力值；设定损失函数并采用自适应惩罚策略来缓解类别不平衡问题，提高人脸属性识别率；
通过人脸属性数据集对构建的并行共享多任务网络进行训练，得到训练好的并行共享多任务网络模型；
将待识别的人脸图像输入训练好的并行共享多任务网络模型，实现人脸属性识别。
进一步地，将人脸属性数据集中包含的40个人脸属性分为部分属性组和整体属性组两类，所述部分属性组中包括的人脸属性为：胡渣，灰发，柳叶眉，高颧骨，眼袋，张嘴，秃头的，上唇的胡子，刘海，细长眼睛，大嘴唇，下巴的胡子，大鼻子，尖鼻子，黑发，发际线向后，金发，连鬓胡子，棕发，戴耳环，浓眉，戴帽子，双下巴，涂口红，眼镜，戴项链，山羊胡子，戴领带；所述整体属性组中包括的人脸属性为：有魅力，白皮肤，睡眼惺忪，玫瑰色脸颊，丰满的，微笑的，浓妆，直发，男性，卷发，瓜子脸，年轻的。
进一步地，所述共享子网络由基于VGG-16的多个卷积层组成，用于提取输入图像的共享特征；每个特定任务子网络包含一组特定任务注意力模块，第1块特定任务注意力模块特征Ft1从对应共享子网络卷积块的第1层Sb1和第2层Sb2相乘的特征层中获得额外的特征信息；得到的特征与下一个共享子网络卷积块的第1层Sb1相连后与下一个共享子网络卷积块的第2层特征Sb2相乘输入到第2块特定任务注意力模块Ft2；再与下一个共享子网络卷积块的第1层Sb1相连后与下一个共享子网络卷积块的第3层特征Sb3相乘输入到第3块特定任务注意力模块Ft3；第4块、第5块特定任务注意力模块的处理方法同第3块特定任务注意力模块；具体公式如下：
其中
表示元素对应相乘，[·，·]表示特征串行相连接，pt(·)表示卷积-批标准化-激活函数-池化的一系列操作提取特征。
进一步地，在每个特定任务子网络中构建一个包含多个多特征软对齐模块的注意力机制，对于每个多特征软对齐模块，从共享子网络和每个特定任务子网络的中间层提取局部特征向量，从特定任务子网络末端的线性分类层提取全局特征向量，基于兼容性的概念，通过局部特征向量和全局特征向量之间的兼容性得分来计算每个多特征软对齐模块的注意力值，然后加权以组合局部和全局特征来对输入图像进行分类。
进一步地，每个特定任务子网的注意力机制包含2个多特征软对齐模块，分别连接在第4块和第5块特定任务注意力模块后面；对于第t个任务，第4、5块特定任务注意力模块提取的特征记为Htb＝pt(Ft(b-1))，b∈{4，5}，将特征矩阵Htb展开为n个特征向量
从共享子网络的第4、5块卷积块后面提取特征Lb展开为n个特征向量
随即从每个特定任务子网络末端的全连接层提取全局特征g；分别计算Htb与g、Lb与g的兼容性得分/>
每个分向量计算公式如下：
通过组合第t个特定任务子网络和共享子网络的兼容性得分，总兼容性得分如下：
其中τ是用于加权不同子网的兼容性得分的超参数；在计算第t个特定任务子网络的总兼容性得分后，使用softmax函数对其进行归一化：
从第t个特定任务子网络的第b个块的多特征软对齐模块获得的新特征向量如下：
将2块多特征软对齐模块得到的特征结合起来得到Gt＝[ηGt4，(1-η)Gt5]，η是一个超参数，最终得到的特征Gt输入到全连接层用于生成相应属性的预测结果。
进一步地，人脸属性识别的损失函数的计算方法为：
给定具有N张人脸图像以及每张对应的M个属性标签的训练集，对于每一个训练样本
计算预测损失，采用均方误差损失函数如下：
其中yij表示图像的真实标签，
表示模型的预测值。
进一步地，所述自适应惩罚策略通过减少简单样本的权重，使模型训练更关注难分样本，并且通过自适应平衡正负样本权重比例以解决类别不平衡问题；即通过设置一个自适应参数qj用以平衡数据集的正负样本权重，自适应损失惩罚项表示如下：
其中qj表示训练数据中每批次数据的第j个属性的正样本个数占总样本个数的比值；γ是可调节的参数；
所述并行共享多任务网络的总体损失表示如下：
其中LAF表示自适应损失惩罚项，β表示可调节参数。
本发明还提供了一种基于并行共享多任务网络的人脸属性识别系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
相较于现有技术，本发明具有以下有益效果：提出了一种通过并行共享多任务网络进行特征提取，同时加入注意力机制重点突出感兴趣区域以促进属性识别的人脸属性识别方法及系统，该方法通过对两种类型的属性组采用并行共享的多任务网络结构，解决了传统串行共享网络中低层共享信息利用不充分以及人工难以选择最佳分支节点的问题，在获得更详细共享特征表示的同时又为每个单独的任务最大限度地保留了特定特征；此外，通过引入注意力机制以有效地突出模型预测所需的感兴趣区域，同时抑制了其他不相关区域的潜在模糊信息。该方法还通过引入自适应损失惩罚策略来对模型进行训练，从而挖掘难分样本，解决了人脸属性数据集中样本不平衡问题，进一步提高了模型的识别性能。
附图说明
图1是本发明实施例的并行共享多任务网络的总体架构图。
图2是本发明实施例中本方法在CelebA数据集上与其他人脸属性识别方法的结果对比。
图3是本发明实施例中本方法在LFWA数据集上与其他人脸属性识别方法的结果对比。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提供的基于并行共享多任务网络的人脸属性识别方法，是一种属于基于多任务学习的属性识别方法，通过多个任务的共同学习，挖掘任务间的相关信息，使得在网络的训练过程中各任务之间得以相互促进，从而得到优于单任务学习的性能。通过构建基于注意力机制的并行共享多任务网络，每个任务特定子网都从共享子网的每个卷积块中获取特征，充分利用每一层的共享信息。自动确定共享子网的不同块对于不同任务的重要性，这种灵活性使得能够为特定任务的共享特征学习更强大的特征表示，同时仍然允许为每个单独任务最大限度地保留特定的特征。其中，注意力机制评估了不同网络层次以及不同共享层和特定任务层的兼容性，对共享层和特定任务层的属性特征进行加权，从而有效地突出模型感兴趣的区域，抑制其他无关信息。本发明还设计了一种自适应损失惩罚策略，可以挖掘难样本，缓解类别不平衡问题。
本实施例提供了一种基于并行共享多任务网络的人脸属性识别方法，包括以下步骤：
为了充分利用不同属性的特性，将人脸属性数据集中包含的人脸属性分为部分属性组和整体属性组。
构建并行共享多任务网络，所述并行共享多任务网络由一个共享子网络以及两个特定任务子网络，即一个部分属性子网络和一个整体属性子网络组成，所述共享子网络用于共享特征学习，所述部分属性子网络、整体属性子网络分别用于部分属性特征、整体属性特征学习，所述共享子网络与每个特定任务子网络进行信息流交互；在每个特定任务子网络中采用注意力机制，且注意力机制中的每个多特征软对齐模块将来自共享子网络和特定任务子网络的中间层以及特定任务子网络末端的线性分类层的特征图作为输入，并输出兼容性得分矩阵以推断注意力值；设定损失函数并采用自适应惩罚策略来缓解类别不平衡问题，提高人脸属性识别率。
通过人脸属性数据集对构建的并行共享多任务网络进行训练，得到训练好的并行共享多任务网络模型。
将待识别的人脸图像输入训练好的并行共享多任务网络模型，实现人脸属性识别。
1、对人脸属性分组
在本实施例中，将人脸属性数据集中包含的40个人脸属性分为部分属性组和整体属性组两类。
所述部分属性组中包括的人脸属性为：胡渣，灰发，柳叶眉，高颧骨，眼袋，张嘴，秃头的，胡子(上唇)，刘海，细长眼睛，大嘴唇，胡子(下巴)，大鼻子，尖鼻子，黑发，发际线向后，金发，连鬓胡子，棕发，戴耳环，浓眉，戴帽子，双下巴，涂口红，眼镜，戴项链，山羊胡子，戴领带。
所述整体属性组中包括的人脸属性为：有魅力，白皮肤，睡眼惺忪，玫瑰色脸颊，丰满的，微笑的，浓妆，直发，男性，卷发，瓜子脸，年轻的。
2、构建并行共享多任务网络
所述并行共享多任务网络的总体框架如图1所示，包括用于全部属性在浅层共享的共享子网络，部分属性组使用部分属性组子网络，整体属性组则对应整体属性组子网络。为了充分利用共享特征，共享子网络用于共享特征学习，两个特定任务子网络用于两个属性组学习特定任务特征。在并行共享多任务网络中，共享子网络可以与每个特定任务子网络交互，以促进共享层和特定任务层之间的信息流。
如图1所示，所述共享子网络由基于VGG-16的多个卷积层组成，用于提取输入图像的共享特征；每个特定任务子网络包含一组特定任务注意力模块，第1块特定任务注意力模块特征Ft1从对应共享子网络卷积块的第1层Sb1和第2层Sb2相乘的特征层中获得额外的特征信息；得到的特征与下一个共享子网络卷积块的第1层Sb1相连后与下一个共享子网络卷积块的第2层特征Sb2相乘输入到第2块特定任务注意力模块Ft2；再与下一个共享子网络卷积块的第1层Sb1相连后与下一个共享子网络卷积块的第3层特征Sb3相乘输入到第3块特定任务注意力模块Ft3；第4块、第5块特定任务注意力模块的处理方法同第3块特定任务注意力模块；具体公式如下：
其中
表示元素对应相乘，[·，·］表示特征串行相连接，pt(·)表示卷积-批标准化-激活函数-池化的一系列操作提取特征。
3、设计注意力机制
为了提取鉴别性特征，在每个特定任务子网络中构建一个包含多个多特征软对齐模块的注意力机制，对于每个多特征软对齐模块，从共享子网络和每个特定任务子网络的中间层提取局部特征向量，从特定任务子网络末端的线性分类层提取全局特征向量，基于兼容性的概念(D.Bahdanau,K.Cho,and Y.Bengio,“Neural machine translation byjointly learning to align and translate”)，通过局部特征向量和全局特征向量之间的兼容性得分来计算每个多特征软对齐模块的注意力值，然后加权以组合局部和全局特征来对输入图像进行分类。
在本实施例中，每个特定任务子网的注意力机制包含2个多特征软对齐模块，分别连接在第4块和第5块特定任务注意力模块后面；对于第t个任务，第4、5块特定任务注意力模块提取的特征记为Htb＝pt(Ft(b-1))，b∈{4，5}，将特征矩阵Htb展开为n个特征向量
从共享子网络的第4、5块卷积块后面提取特征Lb展开为n个特征向量
随即从每个特定任务子网络末端的全连接层提取全局特征g；分别计算Htb与g、Lb与g的兼容性得分/>
每个分向量计算公式如下：
通过组合第t个特定任务子网络和共享子网络的兼容性得分，总兼容性得分如下：
其中τ是用于加权不同子网的兼容性得分的超参数(这里设置为0.1)；在计算第t个特定任务子网络的总兼容性得分后，使用softmax函数对其进行归一化：
从第t个特定任务子网络的第b个块的多特征软对齐模块获得的新特征向量如下：
将2块多特征软对齐模块得到的特征结合起来得到Gt＝[ηGt4，(1-η)Gt5]，η是一个超参数(这里设置为0.1)，最终得到的特征Gt输入到全连接层用于生成相应属性的预测结果。
4、计算人脸属性识别的损失函数
给定具有N张人脸图像以及每张对应的M个属性标签的训练集，对于每一个训练样本
计算预测损失，采用均方误差(MSE)损失函数如下：
其中yij表示图像的真实标签，
表示模型的预测值。
5、设计自适应损失惩罚策略
为了解决样本的不平衡问题，本实施例设计了一种自适应损失惩罚策略。由于只使用MSE损失监督模型训练时仍然有大量简单样本会使得模型泛化能力低，以及出现类别不平衡问题，而导致降低了模型预测的准确率。
所述自适应惩罚策略通过减少简单样本的权重，使模型训练更关注难分样本，并且通过自适应平衡正负样本权重比例以解决类别不平衡问题；即通过设置一个自适应参数qj用以平衡数据集的正负样本权重，自适应损失惩罚项表示如下：
其中qj表示训练数据中每批次数据的第j个属性的正样本个数占总样本个数的比值；γ是可调节的参数，这里设置为2；
所述并行共享多任务网络的总体损失表示如下：
其中LAF表示自适应损失惩罚项，β表示可调节参数，这里设置为0.25。
本实施例还提供了一种基于并行共享多任务网络的人脸属性识别系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
图2和图3分别示出了在CelebA数据集和LFWA数据集上本发明提出的方法与其他人脸属性识别方法的对比结果。从对比结果可以看出，本发明方法的识别正确率明显高于现有的人脸属性识别方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (4)
1.一种基于并行共享多任务网络的人脸属性识别方法，其特征在于，包括以下步骤：
将人脸属性数据集中包含的人脸属性分为部分属性组和整体属性组；
构建并行共享多任务网络，所述并行共享多任务网络由一个共享子网络以及两个特定任务子网络，即一个部分属性子网络和一个整体属性子网络组成，所述共享子网络用于共享特征学习，所述部分属性子网络、整体属性子网络分别用于部分属性特征、整体属性特征学习，所述共享子网络与每个特定任务子网络进行信息流交互；在每个特定任务子网络中采用注意力机制，且注意力机制中的每个多特征软对齐模块将来自共享子网络和特定任务子网络的中间层以及特定任务子网络末端的线性分类层的特征图作为输入，并输出兼容性得分矩阵以推断注意力值；设定损失函数并采用自适应惩罚策略来缓解类别不平衡问题，提高人脸属性识别率；
通过人脸属性数据集对构建的并行共享多任务网络进行训练，得到训练好的并行共享多任务网络模型；
将待识别的人脸图像输入训练好的并行共享多任务网络模型，实现人脸属性识别；
所述共享子网络由基于VGG-16的多个卷积层组成，用于提取输入图像的共享特征；每个特定任务子网络包含一组特定任务注意力模块，第1块特定任务注意力模块特征Ft1从对应共享子网络卷积块的第1层Sb1和第2层Sb2相乘的特征层中获得额外的特征信息；得到的特征与下一个共享子网络卷积块的第1层Sb1相连后与下一个共享子网络卷积块的第2层特征Sb2相乘输入到第2块特定任务注意力模块Ft2；再与下一个共享子网络卷积块的第1层Sb1相连后与下一个共享子网络卷积块的第3层特征Sb3相乘输入到第3块特定任务注意力模块Ft3；第4块、第5块特定任务注意力模块的处理方法同第3块特定任务注意力模块一样；具体公式如下：
其中，Ftb表示第b块特定任务注意力模块，其中b为一序数，表示第b块；
表示元素对应相乘，[·，·]表示特征串行相连接，pt(·)表示卷积-批标准化-激活函数-池化的一系列操作提取特征；
在每个特定任务子网络中构建一个包含多个多特征软对齐模块的注意力机制，对于每个多特征软对齐模块，从共享子网络和每个特定任务子网络的中间层提取局部特征向量，从特定任务子网络末端的线性分类层提取全局特征向量，基于兼容性的概念，通过局部特征向量和全局特征向量之间的兼容性得分来计算每个多特征软对齐模块的注意力值，然后加权以组合局部和全局特征来对输入图像进行分类；
每个特定任务子网的注意力机制包含2个多特征软对齐模块，分别连接在第4块和第5块特定任务注意力模块后面；对于第t个任务，第4、5块特定任务注意力模块提取的特征记为Htb＝pt(Ft(b-1)),b∈{4，5}，将特征矩阵Htb展开为n个特征向量
从共享子网络的第4、5块卷积块后面提取特征Lb展开为n个特征向量/>
随即从每个特定任务子网络末端的全连接层提取全局特征g；分别计算Htb与g、Lb与g的兼容性得分/>
每个分向量计算公式如下：/>
其中，ci tb表示兼容性得分
中的第i个分向量；hi tb表示特征矩阵Htb展开后的第i个特征向量；ri b表示兼容性得分/>
中的第i个分向量；li b表示特征Lb展开后的第i个特征向量；u、w分别为设定的权值向量；
通过组合第t个特定任务子网络和共享子网络的兼容性得分，总兼容性得分如下：
其中，
表示通过组合第t个特定任务子网络和共享子网络的兼容性得分得到的总兼容性得分；τ是用于加权不同子网的兼容性得分的超参数；在计算第t个特定任务子网络的总兼容性得分后，使用softmax函数对其进行归一化：
其中，
表示使用softmax函数对总兼容性得分/>
进行归一化得到的注意力值；exp()表示以自然常数e为底的指数函数；
从第t个特定任务子网络的第b个块的多特征软对齐模块获得的新特征向量如下：
其中，Gtb表示从第t个特定任务子网络的第b块的多特征软对齐模块获得的新特征向量；
将2块多特征软对齐模块得到的特征结合起来得到Gt＝[ηGt4，(1-η)Gt5]，η是一个超参数，最终得到的特征Gt输入到全连接层用于生成相应属性的预测结果。
2.根据权利要求1所述的基于并行共享多任务网络的人脸属性识别方法，其特征在于，将人脸属性数据集中包含的40个人脸属性分为部分属性组和整体属性组两类，所述部分属性组中包括的人脸属性为：胡渣，灰发，柳叶眉，高颧骨，眼袋，张嘴，秃头的，上唇的胡子，刘海，细长眼睛，大嘴唇，下巴的胡子，大鼻子，尖鼻子，黑发，发际线向后，金发，连鬓胡子，棕发，戴耳环，浓眉，戴帽子，双下巴，涂口红，眼镜，戴项链，山羊胡子，戴领带；所述整体属性组中包括的人脸属性为：有魅力，白皮肤，睡眼惺忪，玫瑰色脸颊，丰满的，微笑的，浓妆，直发，男性，卷发，瓜子脸，年轻的。
3.根据权利要求1所述的基于并行共享多任务网络的人脸属性识别方法，其特征在于，人脸属性识别的损失函数的计算方法为：
给定具有N张人脸图像以及每张对应的M个属性标签的训练集，对于每一个训练样本
计算预测损失，采用均方误差损失函数如下：
其中yij表示图像的真实标签，
表示模型的预测值；
所述自适应惩罚策略通过减少简单样本的权重，使模型训练更关注难分样本，并且通过自适应平衡正负样本权重比例以解决类别不平衡问题；即通过设置一个自适应参数qj用以平衡数据集的正负样本权重，自适应损失惩罚项表示如下：
其中qj表示训练数据中每批次数据的第j个属性的正样本个数占总样本个数的比值；γ是可调节的参数；
所述并行共享多任务网络的总体损失表示如下：
其中LAF表示自适应损失惩罚项，β表示可调节参数。
4.一种基于并行共享多任务网络的人脸属性识别系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-3任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110853369.7A CN113569732B (zh) | 2021-07-27 | 2021-07-27 | 基于并行共享多任务网络的人脸属性识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110853369.7A CN113569732B (zh) | 2021-07-27 | 2021-07-27 | 基于并行共享多任务网络的人脸属性识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113569732A CN113569732A (zh) | 2021-10-29 |
| CN113569732B true CN113569732B (zh) | 2023-06-06 |
Family
ID=78168129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110853369.7A Active CN113569732B (zh) | 2021-07-27 | 2021-07-27 | 基于并行共享多任务网络的人脸属性识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569732B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511918B (zh) * | 2022-04-20 | 2022-07-05 | 中国传媒大学 | 一种基于多任务学习的人脸状态判断方法和系统 |
| CN115049108A (zh) * | 2022-05-20 | 2022-09-13 | 支付宝(杭州)信息技术有限公司 | 多任务模型训练方法、多任务预测方法、相关装置及介质 |
| CN117457101B (zh) * | 2023-12-22 | 2024-03-26 | 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) | 一种烘烤烟叶含水量预测方法、介质及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015180042A1 (en) * | 2014-05-27 | 2015-12-03 | Beijing Kuangshi Technology Co., Ltd. | Learning deep face representation |
| CN110580461A (zh) * | 2019-08-29 | 2019-12-17 | 桂林电子科技大学 | 一种结合多级卷积特征金字塔的人脸表情识别算法 |
| CN111339818A (zh) * | 2019-12-18 | 2020-06-26 | 中国人民解放军第四军医大学 | 一种人脸多属性识别系统 |
| CN111967389A (zh) * | 2020-08-18 | 2020-11-20 | 厦门理工学院 | 基于深度双路径学习网络的人脸属性识别方法及系统 |
-
2021
- 2021-07-27 CN CN202110853369.7A patent/CN113569732B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015180042A1 (en) * | 2014-05-27 | 2015-12-03 | Beijing Kuangshi Technology Co., Ltd. | Learning deep face representation |
| CN110580461A (zh) * | 2019-08-29 | 2019-12-17 | 桂林电子科技大学 | 一种结合多级卷积特征金字塔的人脸表情识别算法 |
| CN111339818A (zh) * | 2019-12-18 | 2020-06-26 | 中国人民解放军第四军医大学 | 一种人脸多属性识别系统 |
| CN111967389A (zh) * | 2020-08-18 | 2020-11-20 | 厦门理工学院 | 基于深度双路径学习网络的人脸属性识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于深度多任务学习的人脸属性识别算法研究》;赖心瑜;《中国优秀硕士学位论文全文数据库-信息科技辑》;正文第1-47页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113569732A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113569732B (zh) | 基于并行共享多任务网络的人脸属性识别方法及系统 | |
| CN107563279B (zh) | 针对人体属性分类的自适应权重调整的模型训练方法 | |
| CN107766850B (zh) | 基于结合人脸属性信息的人脸识别方法 | |
| CN110443189B (zh) | 基于多任务多标签学习卷积神经网络的人脸属性识别方法 | |
| CN110532996A (zh) | 视频分类的方法、信息处理的方法以及服务器 | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| CN104463191A (zh) | 一种基于注意机制的机器人视觉处理方法 | |
| CN109299701A (zh) | 基于gan扩充多人种特征协同选择的人脸年龄估计方法 | |
| Zhuang et al. | Multi-task learning of cascaded cnn for facial attribute classification | |
| CN113297955B (zh) | 一种基于多模态分层级信息融合的手语词识别方法 | |
| CN110647938B (zh) | 图像处理方法及相关装置 | |
| CN109886154A (zh) | 基于Inception V3的多数据集联合训练的行人外观属性识别方法 | |
| CN108073851A (zh) | 一种抓取手势识别的方法、装置及电子设备 | |
| CN108280443A (zh) | 一种基于深特征提取异步融合网络的动作识别方法 | |
| Tallec et al. | Multi-order networks for action unit detection | |
| Qin et al. | Swinface: a multi-task transformer for face recognition, expression recognition, age estimation and attribute estimation | |
| CN111191527B (zh) | 属性识别方法、装置、电子设备及可读存储介质 | |
| Peng et al. | Dual contrastive learning network for graph clustering | |
| Zheng et al. | BLAN: Bi-directional ladder attentive network for facial attribute prediction | |
| CN111507263A (zh) | 一种基于多源数据的人脸多属性识别方法 | |
| CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
| CN111967389B (zh) | 基于深度双路径学习网络的人脸属性识别方法及系统 | |
| Wang et al. | Joint multi-feature fusion and attribute relationships for facial attribute prediction | |
| Zeng et al. | Controllable face aging | |
| He et al. | Mtcnn with weighted loss penalty and adaptive threshold learning for facial attribute prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |