CN111339813B - 人脸属性识别方法、装置、电子设备和存储介质 - Google Patents

人脸属性识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111339813B
CN111339813B CN201910961060.2A CN201910961060A CN111339813B CN 111339813 B CN111339813 B CN 111339813B CN 201910961060 A CN201910961060 A CN 201910961060A CN 111339813 B CN111339813 B CN 111339813B
Authority
CN
China
Prior art keywords
attribute
image
feature
face
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910961060.2A
Other languages
English (en)
Other versions
CN111339813A (zh
Inventor
陈郑豪
徐静
朱烽
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201910961060.2A priority Critical patent/CN111339813B/zh
Publication of CN111339813A publication Critical patent/CN111339813A/zh
Priority to JP2022516157A priority patent/JP2022547595A/ja
Priority to KR1020227008373A priority patent/KR20220044828A/ko
Priority to PCT/CN2020/099788 priority patent/WO2021063056A1/zh
Priority to TW109133422A priority patent/TWI753588B/zh
Application granted granted Critical
Publication of CN111339813B publication Critical patent/CN111339813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请提供了一种人脸属性识别的方法，包括：获取n个特征图像，其中，n个特征图像是对人脸图像进行一次或者多次特征提取后得到的，n为正整数；获取n个特征图像中的每一个特征图像对应的属性特征，其中，属性特征为特征图像中用于表征目标人脸属性的特征；根据属性特征，确定人脸图像中目标人脸属性的属性识别结果，从而提高人脸属性识别的准确性以及识别效率。

Description

人脸属性识别方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机视觉领域，尤其涉及人脸属性识别方法、装置、电子设备和存储介质。
背景技术
近年来，突发事件的防控与处置难度不断加大，机场、海关或者边防等重要关卡或者街道、商场等公共场所均安装有监控摄像头，通过人脸识别技术将摄像头采集的人脸图像进行属性分析，可有效地协助安防工作人员应对突发事件。例如，通过人脸的表情属性识别判断一个人是否具有攻击性，或者通过将采集的目标对象的人脸图像与人脸图像库进行对比分析，从而获得目标对象的身份信息，方便安防工作人员能够通过这些分析结果及时进行安防布控和危机处理。
目前，多任务卷积神经网络(multi-task convolution neural net,MTCNN)常用于解决人脸属性的识别问题，这种方法基于多分支网络共享特征，可简单有效地对人脸的各个独立属性进行识别。但是在实际应用过程中，并非所有属性的识别均需要相同的特征，例如，一些类似佩戴耳环、眼镜等属性的识别需要较浅层特征，而一些类似表情、性别等属性的识别则需要深层次特征，因此利用MTCNN进行人脸属性识别时，可能会出现由于特征不明显而造成识别结果不精确的问题。
发明内容
本申请实施例公开了一种人脸属性识别方法、装置、电子设备和存储介质，能够对人脸图像的各个属性进行高效准确的识别。
第一方面，本申请提供了一种人脸属性识别的方法，包括：
获取n个特征图像，其中，所述n个特征图像是对人脸图像进行一次或者多次特征提取后得到的，n为正整数；
获取所述n个特征图像中的每一个特征图像对应的属性特征，其中，所述属性特征为所述特征图像中用于表征目标人脸属性的特征；
根据所述属性特征，确定所述人脸图像的目标人脸属性的属性识别结果。
上述人脸属性识别方法，通过获取特征图像以及特征图像对应的属性特征，从而确定人脸图像中的目标人脸属性的属性识别结果。由于在不同的特征图像中获取的属性特征均可以在不同程度上反映人脸属性，所以利用不同特征图像对应的属性特征来预测人脸属性，可以提高人脸属性识别的准确性以及识别效率。
在一种可能的实施例中，所述获取所述n个特征图像中的每一个特征图像对应的属性特征，包括：将所述n个特征图像中的每一个特征图像分别输入对应的注意力模型，获得所述每一个特征图像对应的注意力矩阵；根据所述注意力矩阵提取所述n个特征图像中的每一个特征图像对应的属性特征。
上述方法中，通过将特征图像输入到多个注意力模型中，可以获得该特征图像对应的多个注意力矩阵，其中一个注意力矩阵可以用于提取该特征图像中的一个人脸属性特征，并且一个人脸属性特征可用于表征一个人脸属性。因此，通过注意力模型以及得到的注意力矩阵可以提高单个人脸属性的识别效果，从而提高人脸图像中的所有人脸属性的识别准确率。
在一种可能的实施例中，根据所述注意力矩阵提取所述n个特征图像中的每一个特征图像对应的属性特征包括：将所述n个特征图像中的每一个特征图像与对应的注意力矩阵进行乘法运算，获得所述n个特征图像中的每一个特征图像对应的属性特征。
上述方法中，利用注意力机制将特征图像与对应的注意力矩阵进行乘法运算，可以得到特征图像对应的属性特征，这些属性特征可以将识别区域从整张图像定位到感兴趣的区域，从而滤除影响该属性识别结果的其他噪声等因素，提高属性识别的精度以及识别效率。
在一种可能的实施例中，所述根据所述属性特征，确定所述人脸图像的目标人脸属性的属性识别结果包括：分别根据每一个所述属性特征，预测得到对应的识别结果；对所述识别结果进行加权平均计算，确定所述人脸图像中目标人脸属性的属性识别结果。
上述方法中，对同一个属性识别是通过将不同特征图像中对应的该属性的属性特征进行加权平均计算，因此提高了属性识别结果的精确度。
在一种可能的实施例中，所述分别根据每一个所述属性特征，预测得到对应的识别结果包括：将所述属性特征中的每一个所述属性特征进行属性预测处理，预测得到所述属性特征对应的所述识别结果。
上述方法中，对每一个属性特征分别进行属性的预测处理，可以得到每一个属性特征中对应的属性的识别结果，根据这些结果可以进一步得到不同属性特征对同一个属性的识别结果的影响因子，也就是说，可以进一步判断人脸图像中需要深层次属性特征进行属性识别的属性以及浅层次特征即可识别的属性。
在一种可能的实施例中，所述预设的属性预测处理包括全局平均池化处理。
上述方法中，通过将每一个提取到的人脸属性特征进行全局平均池化，可以直接得到对应的识别结果，避免识别过程中出现过拟合现象，同时还提高识别效率，节省模型的运算时间和预算量。
在一种可能的实施例中，在所述获取n个特征图像之前，所述方法还包括：获取所述人脸图像；通过特征图像提取模型对所述人脸图像进行特征提取，以获得所述n个特征图像。
上述方法中，通过对获取得到的人脸图像进行特征图像的提取，可以初步过滤人脸图像中的噪音，方便后续得到属性特征，提高人脸图像的属性识别准确性。
在一种可能的实施例中，所述特征图像提取模型是通过人脸图像样本以及特征图像样本训练得到的，所述方法还包括：使用所述特征图像样本以及对应的注意力矩阵样本对神经网络进行训练，获得所述注意力模型。
上述方法中，通过利用大量的已知特征图像样本以及已知注意力矩阵样本，训练得到注意力模型，可以提高注意力矩阵的精确度，同时还通过采集大量的人脸图像样本以及特征图像样本，训练得到特征图像提取模型，提高特征提取的多尺度性，从而使得人脸属性的识别准确率大大提高。
在一种可能的实施例中，所述n个特征图像还包括所述人脸图像。
上述方法中，注意力模型实际就是一种特征图像提取的过程，因此可以直接将人脸图像输入注意力模型中进行计算，省去了特征图像提取模型对人脸图像的特征提取，提高了人脸属性识别的效率。
第二方面，本申请提供了一种人脸属性识别的装置，包括：
特征图像提取单元，用于获取n个特征图像，其中，所述n个特征图像是对人脸图像进行一次或者多次特征提取后得到的，n为正整数；
属性特征提取单元，用于获取所述n个特征图像中每一个特征图像对应的属性特征，其中，所述属性特征为所述特征图像中用于表征目标人脸属性的特征；
人脸属性识别单元，用于根据所述属性特征，确定所述人脸图像的目标人脸属性的属性识别结果。
在一种可能的实施中，所述属性特征提取单元具体用于：将所述n个特征图像中的每一个特征图像分别输入对应的注意力模型，获得所述每一个特征图像对应的注意力矩阵；根据所述注意力矩阵提取所述n个特征图像中的每一个特征图像对应的属性特征。
在一种可能的实施例中，所述属性特征提取单元还用于：将所述n个特征图像中的每一个特征图像与对应的注意力矩阵进行乘法运算，获得所述n个特征图像中的每一个特征图像对应的属性特征。
在一种可能的实施例中，所述人脸属性识别单元具体用于：分别根据每一个所述属性特征，预测得到对应的识别结果；对所述识别结果进行加权平均计算，确定所述人脸图像的属性识别结果。
在一种可能的实施例中，所述人脸属性识别单元还用于：将所述属性特征中的每一个所述属性特征进行属性预测处理，预测得到所述属性特征对应的所述识别结果。
在一种可能的实施例中，所述属性预测处理包括全局平均池化处理。
在一种可能的实施例中，在所述获取n个特征图像之前，所述装置还用于：获取所述人脸图像；通过特征图像提取模型对所述人脸图像进行特征提取，以获得所述n个特征图像。
在一种可能的实施例中，所述装置还包括：特征图像提取模型训练单元，用于训练所述特征图像提取模型，所述特征图像提取模型是通过人脸图像样本以及特征图像样本训练得到的；注意力模型训练单元，用于使用所述特征图像样本以及对应的注意力矩阵样本对神经网络进行训练，获得所述注意力模型。
在一种可能的实施例中，所述n个特征图像还包括所述人脸图像。
第三方面，本申请提供了一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被硬件执行以实现第一方面任一项所述的方法。
第四方面，本申请提供了一种计算机程序产品，当所述计算机程序产品被计算机读取并执行时，如第一方面任一项所述的方法将被执行。
第五方面，本申请提供了一种计算机集群，包括：至少一个计算节点，每个计算节点包括处理器和存储器，所述处理器执行所述存储器中的代码执行如第一方面任一项所述的方法。
第六方面，本申请提供给了一种计算机非瞬态存储介质，包括指令，当所述指令在计算机节点集群中的至少一个计算节点上运行时，使得所述计算节点集群执行如第一方面任一项所述的方法。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种基于MTCNN对人脸属性进行识别的过程示意图。
图2是本申请提供的一种人脸属性识别神经网络的结构示意图。
图3是本申请提供的一种人脸属性识别方法的流程示意图
图4是本申请提供的一种具体实施例的流程示意图。
图5是本申请提供的一种人脸属性识别装置的结构示意图。
图6是本申请提供的一种计算节点的结构示意图。
图7是本申请提供的一种云服务集群的结构示意图。
图8是本申请提供的另一种人脸属性识别装置的结构示意图。
图9是本申请提供的另一种人脸属性识别装置的结构示意图。
具体实施方式
本申请的实施例部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
为了便于理解本申请实施例，这里先说明本申请实施例主要涉及的应用场景：安防监控的场景。
安防监控通常指的是应用光纤、同轴电缆或微波在其闭合的环路内传输视频信号，并从摄像到图像显示和记录构成的独立完整的系统。它能实时、形象、真实地反映被监控对象，不但可以延长观察距离，还可以在恶劣环境下代替人工进行长时间监视，让人们可以通过监控看到人眼无法看到的细微特征，配合人脸识别设备还可以对监控区域的相关人员进行识别、警报和记录，是维护社会安全的重要手段之一。
在安防监控的场景中，通常通过人脸识别技术将摄像头采集的目标人脸图像进行多个属性识别，综合多个属性识别的结果，确定目标人脸是否具有攻击性、目标人脸对应的身份信息等等。比如，先识别目标人脸图像是否佩戴帽子、是否背包、是否佩戴面罩等等多个属性，根据多个属性识别的结果，结合一定的分析策略，确定目标人脸是否具有攻击性；或者，先识别目标人脸图像的眼睛、鼻子、嘴巴、痣、疤痕等等多个属性，根据多个属性识别的结果，结合一定的分析策略，识别目标人脸对应的身份信息。应理解，上述举例仅用于说明，本申请不作具体限定。
其中，属性识别通常通过MTCNN实现，下面对MTCNN进行简要说明。
图1示出了一种基于MTCNN对人脸属性进行识别的过程。由图1可知，MTCNN包括输入层110、共享特征学习层120、全连接层130。其中，输入层110用于对输入的人脸图像进行图像预处理，共享特征学习层120用于提取人脸图像的属性特征，全连接层130用于将共享对共享特征学习层120输出的人脸属性特征进行分类。需要说明的，共享语义特征学习层120中包括一个或多个卷积层以及全连接层，用于对人脸属性特征进行过滤以及优化。
具体实现中，对于一张输入图像(比如人脸图像)，MTCNN首先通过输入层110对输入图像进行简单图像处理，例如，图像二值化；然后通过共享特征学习层120对输入图像进行特征提取，其中，共享特征学习层120中包括不同的卷积层和一个或者多个全连接层，在多层卷积层后增加一个全连接层，滤除不相关的属性特征，然后将滤除后的属性特征再经过多层卷积层的特征提取，从而得到共享特征，例如，将上述滤除后的属性特征再次经过10层卷积层的卷积操作，将第10层卷积层提取的特征作为共享特征；最后将该共享特征输入全连接层130，从而利用这个共享特征进行不同的属性识别任务。
可以理解，上述人脸属性识别过程中，MTCNN需要根据最后一层卷积层提取的共享特征，来解决不同属性的识别问题。这样训练出的神经网络，由于每种属性识别都是根据同一个共享特征来进行的，因此，其对图片每个区域的特征其实是等价处理的，而并不会对某个“区域”过多关注，这样就会使得一些细微特征，无法被神经网络精确识别，换句话说，并非所有的人脸属性进行识别时所需要的特征，都是经过多层卷积提取后得到的最后一层特征。举例来讲，将目标对象的人脸图像进行3次卷积操作可以得到3层特征，在判断目标对象是否佩戴眼镜的情况下，卷积神经网络可能只需要浅层次特征(如2层特征)，即可得到该属性的特征，从而识别出目标对象是否佩戴眼镜；在判断目标对象的种族的情况下，卷积神经网络可能需要深层次特征(如4层特征)，才能识别出目标对象的种族。此时，利用3层特征判断目标对象是否佩戴眼镜时，可能由于特征的过度提取造成表征该属性的特征信息丢失，从而影响属性识别结果的精确度，而且降低属性识别的效率；而利用3层特征判断目标对象的种族时，可能由于3层特征无法完全表征种族这个属性，从而降低该属性识别结果的精确度。
因此，为解决上述安防监控领域人脸属性识别的过程中，基于共享特征进行属性识别时，容易造成的特征丢失或者特征不明显等问题，本申请提供了一种人脸属性识别的方法，该方法通过将不同卷积层提取的特征输入不同的人脸属性识别模型中，从而提高人脸属性识别的精确度以及识别效率。
如图2所示，本申请提供的人脸属性识别神经网络具体包括：输入层210、卷积层220、注意力学习层230、全局平均池化层(Global Average Pooling，GAP)层240以及识别层250。下面对本申请提供的人脸属性识别神经网络中的各个层进行详细说明，其中，
输入层210：
将目标对象的人脸图像Ii输入至输入层，输出和输入相等，即，不对输入的人脸图像进行任何处理。为了陈述简便，此处假设经输入层输出的图像与输入图像相等，但是，在实际应用中，可以在输入层中设置归一化处理模块或者其他图像预处理模块，此处不作具体限定。
卷积层220：
将输入层输出的图像作为卷积层的输入，经过一个或者多个卷积层的卷积计算生成n个特征图像，所述n个特征图像分别是不同层次的特征图像，可以表征人脸在不同层次的属性特征。为了方便陈述，本申请提出“区块”的概念，将卷积神经网络的卷积层分成多个区块，每一个区块可以包括一个或多个卷积核，每一个区块输出一个特征图像，换句话说，区块B1,B2,…,Bn分别可输出特征图像I1,I2,…,In，其中，n是正整数。
特征图像I1,I2,…,In可以是这样得到的：以区块Bi输出的特征图像Ii为例，将区块Bi-1输出的特征图像Ii-1作为区块Bi的输入，经过u个卷积核Kl(l＝1,2,…,u)的卷积操作生成u个特征图像bl(l＝1,2,…,u)，其中，1≤i≤n，i、l、u均是正整数。将特征图像bu作为区块Bi输出的特征图像Ii，其中，特征图像bu是卷积得到的最后一个特征图像，也就是说，特征图像Ii是将特征图像Ii-1经过u次卷积操作提取到的特征图像。
需要说明的是，特征图像I1是将原始人脸图像输入至区块B1中得到的。另外，上述卷积层的各个参数中，卷积核Kl(包括元素、尺寸、步长等等)、偏置值el可以是人为根据需要提取的特征或者输入图像的大小等等进行设置。以卷积核Kl为例，当需要提取的特征是人脸属性的特征时，卷积核Kl的元素可以采用LBP算子的元素，又例如，当输入的特征图像Ii比较大时，卷积核Kl的大小也可以比较大，反之，当输入的特征图像Ii比较小时，卷积核Kl的大小也可以比较小，又例如，当输入的特征图像Ii比较大时，卷积核Kl的步长也可以比较大，反之，当输入的特征图像Ii比较小时，卷积核Kl的步长也可以比较小。
注意力学习层230：
将区块B1,B2,…,Bn输出的n个特征图像I1,I2,…,In中的每一个特征图像作为注意力学习层的输入，经过注意力学习层的学习后得到n×m个人脸属性特征，其中，每一个特征图像对应有m个人脸属性特征，m是正整数，m表示需要提取的人脸属性的个数。
以特征图像Ii提取的m个人脸属性特征为例：将特征图像Ii输入注意力学习层中，经过m个注意力模型的注意力学习生成m个注意力矩阵Vij(j＝1,2,…,m)，其中，一个注意力矩阵对应一个人脸属性，即一个注意力矩阵用于提取对应人脸属性的属性特征，并且，j是正整数。将特征图像Ii与注意力矩阵Vij进行点乘运算，提取到特征图像Ii对应的第j个属性的人脸属性特征Aij。每个注意力特征的获取过程具体如下：
Vij＝Attention(Ii)
Aij＝Vij⊙Ii
其中，Attention是一个注意力模型，Attention()可以为特征图像Ii与注意力矩阵Vij之间的映射关系，其中Attention()可以通过大量的已知特征图像I以及已知属性的注意力矩阵进行训练得到。为了陈述简便，上面只陈述了特征图像Ii的第j个属性的人脸属性特征Aij的提取，实际应用中，特征图像Ii中的人脸属性特征Ai1,Ai2,…,Aim的提取方式与特征图像Ii的第j个属性的人脸属性特征Aij的提取方式类似，此处不再展开赘述。另外，特征图像I1,I2,…,In中的第j个属性的人脸属性特征A1j,A2j,…,Anj的提取方式均与特征图像Ii中第j个属性的人脸属性特征Aij的提取方式类似，此处不再展开赘述。
全局平均池化层240：
将注意力学习层输出的n×m个人脸属性特征A11，A12，…，A1m，A21，A22，…，A2m，..，An1，An2，…，Anm作为全局平均池化层的输入，经过池化窗口进行池化之后，得到n×m个识别结果Pij，其中，每个识别结果Pij的获取过程具体如下：
Pij＝GAP(Aij)
这里，Pij表示特征图像Ii的第j个属性的预测结果，GAP表示全局平均池化。
识别层250：
将全局平均池化层输出的n×m个识别结果Pij按照属性分类为第一个属性的识别结果P11，P21，…，Pn1，第二个属性的识别结果P12，P22，…，Pn2，...，第m个属性的识别结果P1m，P2m，…，Pnm，对每一个属性的识别结果进行加权平均计算，从而得到人脸图像中该属性的识别结果。
以第j个人脸属性的识别结果为例：将特征图像I1,I2,…,In的第j个属性的识别结果P1j，P2j，…，Pnj进行加权平均计算，获得人脸图像的第j个人脸属性的识别结果Pj，其中，第j个属性的识别结果Pj的获取过程具体如下：
Pj＝∑wijPij
这里，wij是权重数值，wij可以通过大量的已知属性的预测结果以及对应的属性识别结果进行训练得到。为了陈述简便，上面只陈述了人脸图像的第j个属性的识别结果Pj的获取过程，实际应用中，人脸图像的其他属性的识别结果与人脸图像的第j个属性的识别结果Pj的获取过程类似，此处不再进行赘述。
举例说明，将目标对象的人脸图像输入至上述人脸属性识别神经网络中，经过输入层210、卷积层220、注意力学习层230、全局平均池化层240以及分类层250的计算，可以得到目标对象的性别属性结果，例如，目标对象的性别是男性的概率为0.8，性别是女性的概率为0.2，则识别层250输出目标对象是男性的结果。
可以理解的，上述人脸属性识别神经网络仅仅作为一种举例，在实际应用中，还可以是上述神经网络的其他形变形式，例如，可以包括更多的卷积层、更多的池化层，也可以用全连接层代替全局平均池化层，另外，也可以对人脸图像在输入层进行二值化、标准化等更多的预处理，本申请不作具体限定。
需要说明的，上述人脸属性识别网络是一种卷积神经网络，其中，卷积神经网络可以包括残差神经网络(residual network,ResNet)、VGG网络(VGG network,VGGNet)等等，此处不作具体限定。人脸图像的各个属性的识别可以在同一个卷积神经网络中进行，也可以在不同卷积神经网络中进行，此处不作具体限定。另外，人脸图像的各个特征图像可以用同一个卷积核进行提取，也可以用不同的卷积核进行提取，此处不作具体限定。
基于图2所示的人脸属性识别神经网络，本申请提供的一种人脸属性识别方法，如图3所示，图3是本申请提供的一种人脸属性识别方法的流程示意图。本实施方式的人脸属性识别方法，包括如下步骤：
S101、获取n个特征图像，其中，所述n个特征图像是对人脸图像进行一次或者多次特征提取后得到的，n为正整数。
在本申请实施例中，在获取n个特征图像之前，首先获取人脸图像，然后通过特征图像提取模型对人脸图像进行特征图像的提取，以获得上述n个特征图像。应理解，在对采集得到的人脸图像进行特征图像提取之前，还可以对人脸图像进行图像预处理，例如，图像的二值化处理或者图像的标准化处理等等，然后再对预处理后的人脸图像进行特征提取，使得获得的特征图像可以包含更多可以用于识别人脸属性的属性特征。
在本申请实施例中，特征图像提取模型是通过人脸图像样本以及特征图像样本训练得到的。具体实现中，特征图像提取模型可以由卷积神经网络训练得到，也可以由尺度不变特征变化(scale-invariant feature transform，SIFT)算法训练得到，此处不作具体限定。在使用卷积神经网络训练得到特征图像提取模型的情况下，特征图像提取模型中可以包括一个卷积层，也可以包括多个卷积层，此处不作具体限定。
在一个可能的实施中，特征图像可以是人脸图像，也可以是通过将人脸图像输入一个或者多个卷积层后得到的，此处不作具体限定。另外，上述n个特征图像的提取可以分别使用同一个卷积核，也可以分别使用不同的卷积核，此处不作具体限定。
S102、将n个特征图像中的每一个特征图像分别输入对应的注意力模型，获得每一个特征图像对应的注意力矩阵。
在本申请实施例中，使用上述特征图像样本以及对应的注意力矩阵样本对神经网络进行训练，获得注意力模型。例如，将目标人脸图像经过3个卷积层后得到的特征图像作为特征图像样本，将提取人脸图像中目标对象眼睛大小的权值矩阵作为注意力矩阵样本，利用上述特征图像样本和注意力矩阵样本可训练得到用于提取人脸图像中目标对象眼睛大小的注意力模型。换句话说，注意力模型反映了注意力矩阵与特征图像之间的映射关系，注意力模型可以表示为：
y＝Attention(x)
其中，x是特征图像，y是注意力矩阵，Attention()是注意力矩阵与输入的特征图像之间的映射关系。Attention()可以是通过大量的样本集训练得到，其中，每一个样本集包括特征图像样本以及对应的注意力矩阵样本，一个样本集用于训练一个注意力模型。
在本申请实施例中，注意力模型可以是通过卷积神经网络训练得到的，其中，卷积神经网络可以是简单结构的网络，比如只有二个卷积层的小网络，从而可以高效准确地提取出人脸图像中目标对象眼睛大小的属性特征，卷积神经网络也可以是具有10个卷积层的复杂网络，用于提取人脸图像中目标对象的年龄等细微属性的属性特征，此处不作具体限定，并且，所述注意力模型训练的具体过程这里不再进行赘述。另外，卷积神经网络具体可以是残差神经网络(Residual Network,ResNet)，还可以是VGG网络(VGG Network,VGGNet)等等，此处不作具体限定。
在本申请实施例中，在识别人脸图像中的m个属性的情况下，需要训练得到m个注意力模型，其中，一个注意力模型用于提取一个属性的属性特征。具体的，将n个特征图像中的每一个特征图像输入m个注意力模型，获得每一个特征图像对应的m个注意力矩阵，以及n个特征图像对应的n×m个注意力矩阵。其中，一个注意力矩阵用于提取对应的特征图像的一个人脸属性特征，m为正整数。
在本申请实施例中，上述属性可以包括很多种，以人脸为例，人脸的属性包括局部属性和全局属性，其中，局部属性具体包括发型、眉毛疏密、眼睛大小、眼珠颜色、鼻梁高低、是否佩戴眼镜、是否佩戴饰品等；全局属性具体包括性别、年龄、民族、表情等。
S103、根据注意力矩阵，提取n个特征图像中的每一个特征图像对应的属性特征，其中，属性特征为特征图像中用于表征目标人脸属性的特征。
在本申请实施例中，将n个特征图像中的每一个特征图像与对应的注意力矩阵进行乘法运算，获得n个特征图像中的每一个特征图像对应的属性特征。其中，属性特征为特征图像中用于表征目标人脸属性的特征，例如，当识别的人脸属性为是否佩戴眼镜时，属性特征是与眼睛区域有关的特征。
可以理解的，在人脸图像中有m个属性需要识别的情况下，根据n个特征图像对应的n×m个注意力矩阵，将特征图像与对应的注意力矩阵进行乘法运算，可以获取得到的n个特征图像的属性特征有n×m个，具体包括：第1个特征图像的m个属性特征A11，A12，…，A1m，第2个特征图像的m个属性特征A21，A22，…，A2m，..，第n个特征图像的m个属性特征An1，An2，…，Anm，其中，Anm为第n个特征图像中用于表征第m个人脸属性的特征。
S104、根据属性特征，确定人脸图像中目标人脸属性的属性识别结果。
在本申请实施中，根据属性特征，确定所述人脸图像中目标人脸属性的属性识别结果包括：分别根据每一个属性特征，预测得到对应的识别结果；对识别结果进行加权平均计算，确定人脸图像中目标人脸属性的属性识别结果。
在一个可能的实施例中，属性预测处理包括全局平均池化处理。具体的，对属性特征A11进行全局平均池化，获得第1个特征图像的第1个属性的属性识别结果P11，对属性特征A21进行全局平均池化，获得第2个特征图像的第1个属性的属性识别结果P21，…，对属性特征Anm进行全局平均池化，获得第n个特征图像的第m个属性的属性识别结果Pnm；对属性识别结果P11，P21，…，Pn1进行加权平均计算，获得人脸图像的第1个属性的属性识别结果，对属性识别结果P12，P22，…，Pn2进行加权平均计算，获得人脸图像的第2个属性的属性识别结果，…，对属性识别结果P1m，P2m，…，Pnm进行加权平均计算，获得人脸图像的第m个属性的属性识别结果。
上述人脸属性识别的方法能够根据获取得到的人脸图像，经过特征图像提取模型得到多个不同层次的特征图像，然后将这些不同层次的特征图像输入注意力模型，以获取对应的注意力矩阵，通过将特征图像以及注意力矩阵相乘，得到多个属性特征，从而更高效、准确的识别人脸图像中各个属性。
下面以识别属性为是否佩戴眼镜、性别以及表情为例，对图3所示的人脸属性识别方法进行举例说明，如图4所示，图4是本申请提供的对目标对象是否佩戴眼镜、性别以及表情进行识别的流程示意图。本实施方式的具体步骤可以如下：
1、获取目标对象的人脸图像。
2、经过一次卷积计算，得到第一特征图像。
3、提取第一特征图像中目标对象是否佩戴眼镜的特征、目标对象的性别特征以及目标对象的表情特征。具体的，首先将第一特征图像分别输入第一注意力模型、第二注意力模型以及第三注意力模型中，得到第一注意力矩阵、第二注意力矩阵以及第三注意力矩阵。其中，第一注意力矩阵用于提取目标对象是否佩戴眼镜的特征，第二注意力模型用于提取目标对象的性别特征，第三注意力模型用于提取目标对象的表情特征；然后将第一特征图像分别与第一注意力矩阵、第二注意力矩阵和第三注意力矩阵相乘，从而提取到第一特征图像中目标对象是否佩戴眼镜的特征、目标对象的性别特征以及目标对象的表情特征。
4、将第一特征图像再进行三次卷积计算，得到第二特征图像。
5、提取第二特征图像中目标对象是否佩戴眼镜的特征、目标对象的性别特征以及目标对象的表情特征，具体步骤见步骤3。
6、将第二特征图像进行五次卷积计算，得到第三特征图像。
7、提取第三特征图像中目标对象是否佩戴眼镜的特征、目标对象的性别特征以及目标对象的表情特征，具体步骤见步骤3。
8、将步骤3、步骤5和步骤7中提取的9个特征进行全局平均池化操作，分别得到对应的识别结果。
9、将第一特征图像、第二特征图像以及第三特征图像中目标对象是否佩戴眼镜的识别结果进行加权平均计算，得到目标对象佩戴眼镜或者未佩戴眼镜。
举例说明，假设第一特征图像中目标对象佩戴眼镜的概率为0.4，未佩戴眼镜的概率为0.6；第二特征图像中目标对象佩戴眼镜的识别结果为0.25，未佩戴眼镜的概率为0.75；第三特征图像中目标对象佩戴眼镜的识别结果为0.2，未佩戴眼镜的概率为0.8；且第一特征图像在识别目标对象是否佩戴眼镜中的权重为0.2，第二特征图像在识别目标对象是否佩戴眼镜中的权重为0.4，第二特征图像在识别目标对象是否佩戴眼镜中的权重为0.4，经过计算，可得知目标对象佩戴眼镜的概率为0.4×0.2+0.25×0.4+0.2×0.4＝0.26，目标未佩戴眼镜的概率为0.6×0.2+0.75×0.4+0.8×0.4＝1.34。因此，人脸属性识别装置输出目标对象未佩戴眼镜。
10、将第一特征图像、第二特征图像以及第三特征图像中目标对象的性别的识别结果进行加权平均计算，得到目标对象为男性或者女性。具体步骤见步骤9。
11、将第一特征图像、第二特征图像以及第三特征图像中目标对象的表情的识别结果进行加权平均计算，得到目标对象是开心或是悲伤或是恼怒等等。具体步骤见步骤9。
结合上文图1-图4所示的相关实施例，下面阐述本申请实施例涉及的相关装置。
参见图5，图5是本申请提供的一种人脸属性识别装置的结构示意图。本申请实施的人脸属性识别装置包括特征图像提取单元510，注意力特征学习单元520、人脸属性识别单元530。其中，
特征图像提取单元510，用于获取n个特征图像，其中，所述n个特征图像是对人脸图像进行一次或者多次特征提取后得到的，n为正整数。
属性特征提取单元520，用于获取n个特征图像中每一个特征图像对应的属性特征，其中，属性特征为特征图像中用于表征目标人脸属性的特征。
人脸属性识别单元530，用于根据属性特征，确定人脸图像中目标人脸属性的属性识别结果。
在本申请实施例中，属性特征提取单元520具体用于：将n个特征图像中的每一个特征图像分别输入对应的注意力模型，获得每一个特征图像对应的注意力矩阵；根据注意力矩阵提取所述n个特征图像中的每一个特征图像对应的属性特征。
在本申请实施例中，属性特征提取单元520还用于：将n个特征图像中的每一个特征图像与对应的注意力矩阵进行乘法运算，获得n个特征图像中的每一个特征图像对应的属性特征。
在本申请实施例中，人脸属性识别单元530具体用于：分别根据每一个属性特征，预测得到对应的识别结果；对识别结果进行加权平均计算，确定人脸图像中目标人脸属性的属性识别结果。
在本申请实施例中，人脸属性识别单元530还用于：将属性特征中的每一个属性特征进行属性预测处理，预测得到属性特征对应的所述识别结果。
在一个可能的实施例中，属性预测处理包括全局平均池化处理。
在本申请实施例中，在所述获取n个特征图像之前，人脸属性识别装置500还用于：获取人脸图像；通过特征图像提取模型对所述人脸图像进行特征提取，以获得n个特征图像。
在一个可能的实施中，特征图像可以是人脸图像，也可以是通过将人脸图像输入一个或者多个卷积层后得到的，此处不作具体限定。另外，n个特征图像的提取可以分别使用同一个卷积核，也可以使用不同的卷积核，此处不作具体限定。
在本申请实施例中，人脸属性识别装置500还包括：特征图像提取模型训练单元540以及注意力模型训练单元550。其中，
特征图像提取模型训练单元540，用于训练特征图像提取模型，特征图像提取模型是通过人脸图像样本以及特征图像样本训练得到的。具体实现中，特征图像提取模型可以由卷积神经网络训练得到，也可以由尺度不变特征变化(scale-invariant featuretransform，SIFT)算法训练得到，此处不作具体限定。在使用卷积神经网络训练得到特征图像提取模型的情况下，特征图像提取模型中可以包括一个卷积层，也可以包括多个卷积层，此处不作具体限定。
注意力模型训练单元550，用于使用上述特征图像样本以及对应的注意力矩阵样本对神经网络进行训练，获得注意力模型。例如，将目标人脸图像经过3个卷积层后得到的特征图像作为特征图像样本，将提取人脸图像中目标对象眼睛大小的权值矩阵作为注意力矩阵样本，利用上述特征图像样本和注意力矩阵样本可训练得到用于提取人脸图像中目标对象眼睛大小的注意力模型。换句话说，注意力模型反映了注意力矩阵与特征图像之间的映射关系，注意力模型可以表示为：
y＝Attention(x)
其中，x是特征图像，y是注意力矩阵，Attention()是注意力矩阵与输入的特征图像之间的映射关系。Attention()可以是通过大量的样本集训练得到，其中，每一个样本集包括特征图像样本以及对应的注意力矩阵样本，一个样本集用于训练一个注意力模型。
在本申请实施例中，注意力模型可以是通过卷积神经网络训练得到的，其中，卷积神经网络可以是简单结构的网络，比如只有二个卷积层的小网络，从而可以高效准确地提取出人脸图像中目标对象眼睛大小的属性特征，卷积神经网络也可以是具有10个卷积层的复杂网络，用于提取人脸图像中目标对象的年龄等细微属性的属性特征，此处不作具体限定，并且，所述注意力模型训练的具体过程这里不再进行赘述。另外，卷积神经网络具体可以是残差神经网络(Residual Network,ResNet)，还可以是VGG网络(VGG Network,VGGNet)等等，此处不作具体限定。
可以理解，目标对象的性别或是表情等属性的识别属于全局属性识别，因此在判断目标对象全局属性(如，性别或是表情)时可以先判断多个局部属性(如，发型、是否佩戴耳环或者眼睛大小等)。也就是说，上述人脸属性识别装置可以先对目标对象的局部属性特征进行识别，根据局部属性的识别结果综合评价人脸的全局属性。
需要说明的，上述人脸识别装置还可以用于安防领域，帮助安防工作人员快速准确地筛选具有攻击性的人物，例如，在机场登机口，使用上述人脸识别装置可以识别出乘机人员的人脸属性特征，判断乘机人员是否具有攻击性。在乘机人员具有攻击性的情况下，将乘机人员的人脸图像与已有的人脸图像库进行对比，从而确定乘机人员的身份信息。
上述人脸属性识别装置通过特征图像提取单元对获取得到的人脸图像进行特征提取得到多个不同层次的特征图像，然后在注意力特征学习单元中，将这些不同层次的特征图像输入注意力模型，获取对应的注意力矩阵，通过将特征图像以及注意力矩阵相乘，得到多个属性特征，最后在人脸属性识别单元中，将多个属性特征进行加权平均计算，从而更高效、准确的识别人脸图像中各个属性。
本申请的人脸识别装置可以在单个计算节点中实现，也可以在云计算基础设施上实现，此处不作具体限定。下面将分别介绍如何在单个计算节点和云计算基础设施上人脸识别装置。
如图6所示，计算节点600可以包括处理器610、存储器620以及通信网络630。其中，处理器用于运行特征图像提取单元611、属性特征提取单元612人脸属性识别单元613、特征图像提取模型训练单元614以及注意力模型训练单元615等等。存储器620用于存储人脸图像、特征图像、属性特征、注意力矩阵等等。计算节点600还提供了两种对外的接口界面，分别是面向装置的维护人员的管理界面640以及面向用户的用户界面650。其中，接口界面的形态可以是多样的，例如web界面、命令行工具、REST接口等。
在本申请具体的实施例中，管理界面640用于供维护人员可以通过输入大量的人脸图像样本以及对应的特征图像样本，以用于训练特征图像提取模型；还可以通过输入大量特征图像样本以及对应的注意力矩阵样本，以用于对注意力模型进行训练；用户界面650用于供用户输入需要被属性识别的目标对象的人脸图像，以及通过用户界面650向用户输出人脸属性的识别结果。
应当理解，计算节点600仅为本申请实施例提供的一个例子，并且，计算节点600可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。
如图7所示，云计算基础设施可以是云服务集群700。所述云服务集群700是由节点，以及节点之间的通信网络构成。上述节点可以是计算节点，也可以是运行在计算节点上的虚拟机。节点按功能可分为两类：计算节点710、存储节点720以及通信接口730。计算节点710用于运行特征图像提取单元711、属性特征提取单元712、人脸属性识别单元713、特征图像提取模型训练单元714以及注意力模型训练单元714。存储节点720用于存储人脸图像、特征图像以及属性特征等等。云服务集群700还提供了两种对外的接口界面，分别是面向问答引擎的维护人员的管理界面740以及面向用户的用户界面750。其中，接口界面的形态可以是多样的，例如web界面、命令行工具、REST接口等。
在本申请具体的实施例中，管理界面740用于供维护人员可以通过输入大量的人脸图像样本以及对应的特征图像样本，以用于训练特征图像提取模型；还可以通过输入大量特征图像样本以及对应的注意力矩阵样本，以用于对注意力模型进行训练；用户界面750用于供用户输入需要被属性识别的目标对象的人脸图像，以及通过用户界面750向用户输出人脸属性的识别结果。
应当理解，云服务集群700仅为本申请实施例提供的一个例子，并且，云服务集群700可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。
参见图8，本申请提供了另一实施方式的人脸属性识别装置的结构示意图，本实施方式的人脸属性识别装置可以在如图6所示的计算机节点中实现，至少包括：处理器810、通信接口820以及存储器830，其中，处理器810、通信接口820和存储器830通过总线840进行耦合。其中，
处理器810包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括中央处理器(central processing unit，CPU)、微处理器、微控制器、主处理器、控制器以及专用集成电路(application specific integratedcircuit，ASIC)等等。处理器810读取存储器830中存储的程序代码，与通信接口820配合执行本申请上述实施例中由人脸属性识别装置500执行的方法的部分或者全部步骤。
通信接口820可以为有线接口(例如以太网接口)，用于与其他计算节点或装置进行通信。
存储器830可以包括易失性存储器，例如随机存取存储器(random accessmemory，RAM)；存储器也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)存储器还可以包括上述种类的存储器的组合。存储器813可以存储有程序代码以及程序数据。其中，程序代码包括特征图像提取单元的代码、属性特征提取单元的代码、人脸属性识别单元的代码、特征图像提取模型训练单元的代码以及注意力模型训练单元的代码。程序数据包括：大量人脸图像、特征图像以及对应的注意力矩阵，以用于对特征图像提取模型以及注意模型进行训练；程序数据还包括大量用于计算属性识别结果的权重值等等。
其中，所述处理器810通过调用存储器830中的程序代码，用于执行以下步骤：
处理器810用于获取n个特征图像，其中，n个特征图像是对人脸图像进行一次或者多次特征提取后得到的，n为正整数；
处理器810用于获取n个特征图像中的每一个特征图像对应的属性特征，其中，属性特征为特征图像中用于表征目标人脸属性的特征；
处理器810用于根据属性特征，确定人脸图像的目标人脸属性的属性识别结果。
处理器810还用于使用人脸图像样本以及特征图像样本训练得到特征图像提取模型；以及使用上述特征图像样本以及对应的注意力矩阵样本对神经网络进行训练，获得所述注意力模型。
参见图9，图9是本申请中提供的又一实施方式的人脸属性识别装置的结构示意图。本实施方式的人脸属性识别装置可以在如图7所示的云服务集群中实现，包括至少一个计算节点910以及至少一个存储节点920。其中，
计算节点910包括一个或多个处理器911、通信接口912和存储器913，处理器911、通信接口912和存储器913之间可以通过总线914连接。
处理器911包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括中央处理器(central processing unit，CPU)、微处理器、微控制器、主处理器、控制器以及专用集成电路(application specific integratedcircuit，ASIC)等等。它能够是仅用于计算节点910的专用处理器或者能够与其它计算节点910共享。处理器911读取存储器913中存储的程序代码，与通信接口912配合执行本申请上述实施例中由人脸识别装置500执行的方法的部分或者全部步骤。
通信接口912可以为有线接口(例如以太网接口)，用于与其他计算节点或用户进行通信。当通信接口912为有线接口时，通信接口912可以采用TCP/IP之上的协议族，例如，RAAS协议、远程函数调用(remote function call，RFC)协议、简单对象访问协议(simpleobject access protocol，SOAP)协议、简单网络管理协议(simple network managementprotocol，SNMP)协议、公共对象请求代理体系结构(common object request brokerarchitecture，CORBA)协议以及分布式协议等等。
存储器913可以包括易失性存储器，例如随机存取存储器(random accessmemory，RAM)；存储器也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)存储器还可以包括上述种类的存储器的组合。
存储节点920包括一个或多个处理器921、通信接口922和存储器923。其中，处理器921、通信接口922和存储器923之间可以通过总线924连接。
处理器921包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括CPU、微处理器、微控制器、主处理器、控制器以及ASIC等等。它能够是仅用于存储节点920的专用处理器或者能够与其它存储节点920共享。处理器921执行各种类型的数字存储指令，例如存储在存储器923中的软件或者固件程序，它能使存储节点920提供较宽的多种服务。例如，处理器921能够执行程序或者处理数据，以执行本文讨论的方法的至少一部分。
通信接口922可以为有线接口(例如以太网接口)，用于与其他计算设备或用户进行通信。
存储节点920包括一个或多个存储控制器921、存储阵列922。其中，存储控制器921和存储阵列922之间可以通过总线923连接。
存储控制器921包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括CPU、微处理器、微控制器、主处理器、控制器以及ASIC等等。它能够是仅用于单个存储节点920的专用处理器或者能够与计算节点900或者其它存储节点920共享。可以理解，在本实施例中，每个存储节点包括一个存储控制器，在其他的实施例中，也可以多个存储节点共享一个存储控制器，此处不作具体限定。
存储器阵列922可以包括多个存储器。存储器可以是非易失性存储器，例如ROM、快闪存储器、HDD或SSD存储器还可以包括上述种类的存储器的组合。例如，存储阵列可以是由多个HDD或者多个SDD组成，或者，存储阵列可以是由HDD以及SDD组成。其中，多个存储器在存储控制器921的协助下按不同的方式组合起来形成存储器组，从而提供比单个存储器更高的存储性能和提供数据备份技术。可选地，存储器阵列922可以包括一个或者多个数据中心。多个数据中心可以设置在同一个地点，或者，分别在不同的地点，此处不作具体限定。存储器阵列922可以存储有程序代码以及程序数据。其中，程序代码包括特征图像提取单元的代码、注意力特征学习单元的代码、人脸属性识别单元的代码以及注意力模型训练单元的代码。程序数据包括：大量人脸图像、特征图像以及对应的注意力矩阵，以用于对特征图像提取模型以及注意模型进行训练。；程序数据还包括大量用于计算属性识别结果的权重值等等。
其中，计算节点910通过调用存储节点920中的程序代码，用于执行以下步骤：
计算节点910用于获取n个特征图像，其中，n个特征图像是对人脸图像进行一次或者多次特征提取后得到的，n为正整数；
计算节点910用于获取n个特征图像中的每一个特征图像对应的属性特征，其中，属性特征为特征图像中用于表征目标人脸属性的特征；
计算节点910用于根据属性特征，确定人脸图像的目标人脸属性的属性识别结果。
计算节点910还用于使用人脸图像样本以及特征图像样本训练得到特征图像提取模型；以及使用上述特征图像样本以及对应的注意力矩阵样本对神经网络进行训练，获得所述注意力模型。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，SSD)等。在所述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，也可以通过其它的方式实现。例如以上所描述的装置实施例仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可结合或者可以集成到另一个系统，或一些特征可以忽略或不执行。另一点，所显示或讨论的相互之间的间接耦合或者直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例的方案的目的。
另外，在本申请各实施例中的各功能单元可集成在一个处理单元中，也可以是各单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质例如可包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或光盘等各种可存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种人脸属性识别的方法，其特征在于，包括：
获取n个特征图像，其中，所述n个特征图像是对人脸图像进行多次特征提取后得到的，n为正整数，不同的特征图像对应的特征提取次数不同；
将所述n个特征图像中的每一个特征图像输入m个注意力模型，获得所述每一个特征图像对应的m个注意力矩阵，提取所述每一个特征图像的m个局部属性特征，所述局部属性特征为所述特征图像中用于表征目标人脸属性的特征，一个注意力矩阵用于提取对应的特征图像的一个人脸属性特征，m为正整数；
根据所述每一个特征图像的m个局部属性特征，预测得到每一个特征图像对应的m个识别结果，获得n×m个识别结果，其中，一个识别结果对应一个特征图像和一个局部属性特征，一个局部属性特征对应n个识别结果；
对所述m个局部属性特征中的每一个局部属性特征对应的n个识别结果进行加权平均计算，确定所述人脸图像的每一个局部属性的识别结果，获得m个局部属性的识别结果；
根据所述m个局部属性的识别结果，确定所述人脸图像中目标人脸属性的全局属性识别结果。
2.根据权利要求1所述的方法，其特征在于，提取所述每一个特征图像的m个局部属性特征，包括：
将所述每一个特征图像与对应的m个注意力矩阵进行乘法运算，获得所述每一个特征图像的m个局部属性特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述每一个特征图像的m个局部属性特征，预测得到每一个特征图像对应的m个识别结果，获得n×m个识别结果，包括：
对所述每一个特征图像的m个局部属性特征中的每一个局部属性特征进行属性预测处理，预测得到所述每一个特征图像对应的m个识别结果，获得所述n×m个识别结果。
4.根据权利要求3所述的方法，其特征在于，所述属性预测处理包括全局平均池化处理。
5.根据权利要求4所述的方法，其特征在于，在所述获取n个特征图像之前，所述方法还包括：
获取所述人脸图像；
通过特征图像提取模型对所述人脸图像进行特征提取，以获得所述n个特征图像。
6.根据权利要求5所述的方法，其特征在于，所述特征图像提取模型是通过人脸图像样本以及特征图像样本训练得到的，所述方法还包括：
使用所述特征图像样本以及对应的注意力矩阵样本对神经网络进行训练，获得所述注意力模型。
7.根据权利要求1至6任一权利要求所述的方法，其特征在于，所述n个特征图像还包括所述人脸图像。
8.一种人脸属性识别的装置，其特征在于，包括：
特征图像提取单元，用于获取n个特征图像，其中，所述n个特征图像是对人脸图像进行一次或者多次特征提取后得到的，n为正整数，不同的特征图像对应的特征提取次数不同；
属性特征提取单元，用于将所述n个特征图像中的每一个特征图像输入m个注意力模型，获得所述每一个特征图像对应的m个注意力矩阵，提取所述每一个特征图像的m个局部属性特征，所述局部属性特征为所述特征图像中用于表征目标人脸属性的特征，一个注意力矩阵用于提取对应的特征图像的一个人脸属性特征，m为正整数；
人脸属性识别单元，用于根据所述每一个特征图像的m个局部属性特征，预测得到每一个特征图像对应的m个识别结果，获得n×m个识别结果，其中，一个识别结果对应一个特征图像和一个局部属性特征，一个局部属性特征对应n个识别结果；
人脸属性识别单元，用于对所述m个局部属性特征中的每一个局部属性特征对应的n个识别结果进行加权平均计算，确定所述人脸图像的每一个局部属性的识别结果，获得m个局部属性的识别结果；
人脸属性识别单元，用于根据所述m个局部属性的识别结果，确定所述人脸图像中目标人脸属性的全局属性识别结果。
9.根据权利要求8所述的装置，其特征在于，所述属性特征提取单元还用于：
将所述每一个特征图像与对应的m个注意力矩阵进行乘法运算，获得所述每一个特征图像的m个局部属性特征。
10.根据权利要求9所述的装置，其特征在于，所述人脸属性识别单元还用于：
对所述每一个特征图像的m个局部属性特征中的每一个所述局部属性特征进行属性预测处理，预测得到所述每一个特征图像对应的m个识别结果，获得所述n×m个识别结果。
11.根据权利要求10所述的装置，其特征在于，所述属性预测处理包括全局平均池化处理。
12.根据权利要求11所述的装置，其特征在于，在所述获取n个特征图像之前，所述装置还用于：
获取所述人脸图像；
通过特征图像提取模型对所述人脸图像进行特征提取，以获得所述n个特征图像。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
特征图像提取模型训练单元，用于训练所述特征图像提取模型，所述特征图像提取模型是通过人脸图像样本以及特征图像样本训练得到的；
注意力模型训练单元，用于使用所述特征图像样本以及对应的注意力矩阵样本对神经网络进行训练，获得所述注意力模型。
14.根据权利要求8至13任一权利要求所述的装置，其特征在于，所述n个特征图像还包括所述人脸图像。
15.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被硬件执行以实现权利要求1至7任一权利要求所述的方法。
16.一种电子设备，其特征在于，包括处理器和存储器，所述处理器执行所述存储器中的代码实现如权利要求1至7中任一权利要求所述的方法。
CN201910961060.2A 2019-09-30 2019-09-30 人脸属性识别方法、装置、电子设备和存储介质 Active CN111339813B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910961060.2A CN111339813B (zh) 2019-09-30 2019-09-30 人脸属性识别方法、装置、电子设备和存储介质
JP2022516157A JP2022547595A (ja) 2019-09-30 2020-07-01 顔属性認識方法、装置、電子機器及び記憶媒体
KR1020227008373A KR20220044828A (ko) 2019-09-30 2020-07-01 얼굴 속성 인식 방법, 장치, 전자 기기 및 저장 매체
PCT/CN2020/099788 WO2021063056A1 (zh) 2019-09-30 2020-07-01 人脸属性识别方法、装置、电子设备和存储介质
TW109133422A TWI753588B (zh) 2019-09-30 2020-09-25 人臉屬性識別方法、電子設備和電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910961060.2A CN111339813B (zh) 2019-09-30 2019-09-30 人脸属性识别方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111339813A CN111339813A (zh) 2020-06-26
CN111339813B true CN111339813B (zh) 2022-09-27

Family

ID=71181957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910961060.2A Active CN111339813B (zh) 2019-09-30 2019-09-30 人脸属性识别方法、装置、电子设备和存储介质

Country Status (5)

Country Link
JP (1) JP2022547595A (zh)
KR (1) KR20220044828A (zh)
CN (1) CN111339813B (zh)
TW (1) TWI753588B (zh)
WO (1) WO2021063056A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339813B (zh) * 2019-09-30 2022-09-27 深圳市商汤科技有限公司 人脸属性识别方法、装置、电子设备和存储介质
CN111723762B (zh) * 2020-06-28 2023-05-12 湖南国科微电子股份有限公司 人脸属性识别方法、装置、电子设备及存储介质
CN111753847B (zh) * 2020-06-28 2023-04-18 浙江大华技术股份有限公司 图像预处理方法及装置、存储介质、电子装置
CN112163462A (zh) * 2020-09-08 2021-01-01 北京数美时代科技有限公司 基于人脸的未成年人识别方法、装置、计算机设备
CN112257503A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种性别年龄识别方法、装置及存储介质
CN112164102A (zh) * 2020-09-24 2021-01-01 北京三快在线科技有限公司 一种图像处理方法及装置
CN114170662A (zh) * 2021-12-07 2022-03-11 上海瑾盛通信科技有限公司 人脸识别方法及装置、存储介质、电子设备
CN118379174B (zh) * 2024-06-25 2024-09-06 杭州昊恒科技有限公司 基于人群聚类分析的突发事件预防和应急处置方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN109543606A (zh) * 2018-11-22 2019-03-29 中山大学 一种加入注意力机制的人脸识别方法
CN110287836A (zh) * 2019-06-14 2019-09-27 北京迈格威科技有限公司 图像分类方法、装置、计算机设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747551B2 (en) * 2007-02-21 2010-06-29 Neurovista Corporation Reduction of classification error rates and monitoring system using an artificial class
WO2016026063A1 (en) * 2014-08-21 2016-02-25 Xiaoou Tang A method and a system for facial landmark detection based on multi-task
KR102424986B1 (ko) * 2014-11-04 2022-07-26 삼성전자주식회사 전자 장치 및 전자 장치에서 얼굴 정보를 분석하는 방법
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
US20180121713A1 (en) * 2016-10-28 2018-05-03 Qualcomm Incorporated Systems and methods for verifying a face
CN106909882A (zh) * 2017-01-16 2017-06-30 广东工业大学 一种应用于保安机器人的人脸识别系统及方法
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
CN107247947B (zh) * 2017-07-07 2021-02-09 智慧眼科技股份有限公司 人脸属性识别方法及装置
CN109800737B (zh) * 2019-02-02 2021-06-25 深圳市商汤科技有限公司 面部识别方法及装置、电子设备和存储介质
CN110210474B (zh) * 2019-04-30 2021-06-01 北京市商汤科技开发有限公司 目标检测方法及装置、设备及存储介质
CN111339813B (zh) * 2019-09-30 2022-09-27 深圳市商汤科技有限公司 人脸属性识别方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN109543606A (zh) * 2018-11-22 2019-03-29 中山大学 一种加入注意力机制的人脸识别方法
CN110287836A (zh) * 2019-06-14 2019-09-27 北京迈格威科技有限公司 图像分类方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2021063056A1 (zh) 2021-04-08
TWI753588B (zh) 2022-01-21
TW202115622A (zh) 2021-04-16
KR20220044828A (ko) 2022-04-11
CN111339813A (zh) 2020-06-26
JP2022547595A (ja) 2022-11-14

Similar Documents

Publication Publication Date Title
CN111339813B (zh) 人脸属性识别方法、装置、电子设备和存储介质
TWI731297B (zh) 一種風險預測方法、存儲介質和伺服器
US10319130B2 (en) Anonymization of facial images
JP7454105B2 (ja) 顔画像品質評価方法及び装置、コンピュータ機器並びにコンピュータプログラム
US20210012777A1 (en) Context acquiring method and device based on voice interaction
US20220277596A1 (en) Face anti-spoofing recognition method and apparatus, device, and storage medium
CN105917305B (zh) 基于图像情感内容的过滤和快门拍摄
CN111738160A (zh) 视频微表情识别方法、装置、计算机设备及存储介质
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
US20200311962A1 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
Kallipolitis et al. Affective analysis of patients in homecare video-assisted telemedicine using computational intelligence
CN113283368B (zh) 一种模型训练方法、人脸属性分析方法、装置及介质
CN112766366A (zh) 对抗生成网络的训练方法及其图像处理方法、装置
Verma et al. Estimation of sex through morphometric landmark indices in facial images with strength of evidence in logistic regression analysis
Kumar et al. A Mobile App for Age and Gender Identification Using Deep Learning Technique
US20230334868A1 (en) Surgical phase recognition with sufficient statistical model
Roopak et al. Comparison of deep learning classification models for facial image age estimation in digital forensic investigations
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN111259698A (zh) 用于获取图像的方法及装置
Tiwari et al. Personality prediction from Five-Factor Facial Traits using Deep learning
CN112580538B (zh) 客服人员调度方法、装置、设备及存储介质
CN109409325B (zh) 一种识别方法和电子设备
Chen Image background reconstruction by Gaussian mixture based model reinforced with temporal-spatial confidence
Mubangizi et al. Coupling spatiotemporal disease modeling with diagnosis
CN114449701B (zh) 基于病历信息的灯光类型调控方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022223

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant