CN111144369A - 一种人脸属性识别方法和装置 - Google Patents

一种人脸属性识别方法和装置 Download PDF

Info

Publication number
CN111144369A
CN111144369A CN201911415283.5A CN201911415283A CN111144369A CN 111144369 A CN111144369 A CN 111144369A CN 201911415283 A CN201911415283 A CN 201911415283A CN 111144369 A CN111144369 A CN 111144369A
Authority
CN
China
Prior art keywords
key point
feature
face
features
face key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911415283.5A
Other languages
English (en)
Inventor
郭晓锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911415283.5A priority Critical patent/CN111144369A/zh
Publication of CN111144369A publication Critical patent/CN111144369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人脸属性识别方法和装置，方法包括：对待识别的目标图像进行人脸关键点检测，得到目标图像中的人脸关键点信息，作为第一人脸关键点信息；对第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对目标图像进行特征提取，得到第一原始图像特征；对第一人脸关键点特征和第一原始图像特征进行特征融合，得到目标特征；基于目标特征和预先训练的分类模型，确定目标图像中的人脸属性类别。基于上述处理，能够提高人脸属性识别的精度。

Description

一种人脸属性识别方法和装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种人脸属性识别方法和装置。
背景技术
随着AI(Artificial Intelligence，人工智能)技术的快速发展，可以对图像中的人脸属性进行识别，以确定图像中的人脸属性类别，人脸属性类别可以包括图像中人脸的五官的属性类别，例如，可以确定图像中人物的发型是中分还是偏分、确定人物的脸型是圆形还是方形等。
相关技术中，通常可以采用机器学习算法对人脸属性进行识别。一种方式中，可以利用卷积神经网络模型，提取图像中人脸的特征，并根据提取到的人脸特征和分类模型，得到图像属于预设各属性类别的概率，进而，可以根据得到的各概率，确定图像中的人脸属性类别。
然而，相关技术中，受限于卷积神经网络模型的精度，提取到的特征可能无法准确地体现图像中人脸的局部的特征，例如，人物胡须的形状、人物眉毛的形状等局部的特征，进而，导致人脸属性识别的精度较低。
发明内容
本发明实施例的目的在于提供一种人脸属性识别方法和装置，以提高人脸属性识别的精度。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种人脸属性识别方法，所述方法包括：
对待识别的目标图像进行人脸关键点检测，得到所述目标图像中的人脸关键点信息，作为第一人脸关键点信息；
对所述第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对所述目标图像进行特征提取，得到第一原始图像特征；
对所述第一人脸关键点特征和所述第一原始图像特征进行特征融合，得到目标特征；
基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别。
可选的，所述对所述第一人脸关键点特征和所述第一原始图像特征进行特征融合，得到目标特征，包括：
将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量相加，得到目标特征；或者，
将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量级联，得到目标特征。
可选的，所述基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别，包括：
将所述目标特征输入至预先训练的分类模型，得到预设各属性类别对应的概率；
将概率大于预设概率阈值的属性类别，作为所述目标图像的人脸属性类别。
可选的，在所述基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别之前，所述方法还包括：
对样本图像进行人脸关键点检测，得到所述样本图像中的人脸关键点信息，作为第二人脸关键点信息；
对所述第二人脸关键点信息进行特征提取，得到第二人脸关键点特征，并对所述样本图像进行特征提取，得到第二原始图像特征；
将对所述第二人脸关键点特征和所述第二原始图像特征进行特征融合的结果，输入至预设结构的分类模型；
基于所述分类模型的输出结果与所述样本图像属于预设各属性类别的概率的损失函数，对所述分类模型的模型参数进行调整，直至所述分类模型达到预设收敛条件。
在本发明实施的第二方面，还提供了一种人脸属性识别装置，所述装置包括：
关键点检测模块，用于对待识别的目标图像进行人脸关键点检测，得到所述目标图像中的人脸关键点信息，作为第一人脸关键点信息；
特征提取模块，用于对所述第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对所述目标图像进行特征提取，得到第一原始图像特征；
特征融合模块，用于对所述第一人脸关键点特征和所述第一原始图像特征进行特征融合，得到目标特征；
确定模块，用于基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别。
可选的，所述特征融合模块，具体用于将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量相加，得到目标特征；或者，
将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量级联，得到目标特征。
可选的，所述确定模块，具体用于将所述目标特征输入至预先训练的分类模型，得到预设各属性类别对应的概率；
将概率大于预设概率阈值的属性类别，作为所述目标图像的人脸属性类别。
可选的，所述装置还包括：
训练模块，用于对样本图像进行人脸关键点检测，得到所述样本图像中的人脸关键点信息，作为第二人脸关键点信息；
对所述第二人脸关键点信息进行特征提取，得到第二人脸关键点特征，并对所述样本图像进行特征提取，得到第二原始图像特征；
将对所述第二人脸关键点特征和所述第二原始图像特征进行特征融合的结果，输入至预设结构的分类模型；
基于所述分类模型的输出结果与所述样本图像属于预设各属性类别的概率的损失函数，对所述分类模型的模型参数进行调整，直至所述分类模型达到预设收敛条件。
在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的人脸属性识别方法。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的人脸属性识别方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的人脸属性识别方法。
本发明实施例提供的一种人脸属性识别方法，对待识别的目标图像进行人脸关键点检测，得到目标图像中的人脸关键点信息，作为第一人脸关键点信息；对第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对目标图像进行特征提取，得到第一原始图像特征；对第一人脸关键点特征和第一原始图像特征进行特征融合，得到目标特征；基于目标特征和预先训练的分类模型，确定目标图像中的人脸属性类别。
基于上述处理，目标特征结合了目标图像的第一原始图像特征和第一人脸关键点特征，而第一人脸关键点特征能够有效体现目标图像中人脸的局部的特征，因此，基于目标特征进行人脸属性识别，能够提高人脸属性识别的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中提供的一种人脸属性识别方法的流程图；
图2为本发明实施例中提供的一种人脸关键点示意图；
图3为本发明实施例中提供的一种人脸属性识别方法的流程图；
图4为本发明实施例中提供的一种分类模型训练方法的流程图；
图5为本发明实施例中提供的一种人脸属性识别装置的结构图；
图6为本发明实施例中提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
相关技术中，受限于卷积神经网络模型的精度，提取到的特征无法准确地体现图像中人脸的局部的特征，例如，人物胡须的形状、人物眉毛的形状等局部的特征，进而，导致人脸属性识别的精度较低。
为了解决上述问题，本发明实施例提供了一种人脸属性识别方法，参见图1，该方法可以包括以下步骤：
S101：对待识别的目标图像进行人脸关键点检测，得到目标图像中的人脸关键点信息，作为第一人脸关键点信息。
S102：对第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对目标图像进行特征提取，得到第一原始图像特征。
S103：对第一人脸关键点特征和第一原始图像特征进行特征融合，得到目标特征。
S104：基于目标特征和预先训练的分类模型，确定目标图像中的人脸属性类别。
基于本发明实施例提供的人脸属性识别方法，由于目标特征结合了目标图像的第一原始图像特征和第一人脸关键点特征，而第一人脸关键点特征能够有效体现目标图像中人脸的局部的特征，因此，基于目标特征进行人脸属性识别，能够提高人脸属性识别的精度。
在步骤S101中，基于人脸关键点检测得到的第一人脸关键点信息，能够体现目标图像中人脸面部的关键区域位置，例如，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓的位置等。
参见图2，图2为本发明实施例提供的一种人脸关键点示意图。图中68个点可以表示目标图像中的各人脸关键点。
一种实现方式中，可以基于主动形状模型(ASM，Active Shape Model)、主动外观模型(AAM，Active Appearnce Model)进行人脸关键点检测，或者，也可以基于级联形状回归(CPR，Cascaded Pose Regression)进行人脸关键点检测，或者，也可以基于深度学习的方法进行人脸关键点检测。
例如，可以基于Dlib检测算法库或者OpenCV(Open Source Computer VisionLibrary，开源计算机视觉库)，并结合人脸关键点检测模型，对目标图像进行人脸关键点检测，得到关键点检测结果图像，该关键点检测结果图像中记录有各人脸关键点的坐标。
如果用Img表示目标图像，则目标图像中的人脸关键点可以用LMImg表示，LMImg＝((xp1,yp1),(xp2,yp2),…(xpn,ypn))，n为人脸关键点的个数，(xpn,ypn))表示第n个人脸关键点的坐标。
在步骤S102中，可以基于卷积神经网络(CNN，Convolutional Neural Networks)，对目标图像的关键点检测结果图像进行特征提取，得到对应的人脸关键点特征(即第一人脸关键点特征)，第一人脸关键点特征能够体现目标图像中人脸的各部分的位置信息。例如，可以采用ResNet(Residual Network，残差网络)对关键点检测结果图像进行特征提取。
例如，可以用FeatLM表示第一人脸关键点特征，FeatLM＝F(LMImg)，F()表示特征提取。
另外，也可以对目标图像进行特征提取，得到对应的图像特征(即第一原始图像特征)。第一原始图像特征能够体现目标图像的颜色、纹理或者语义信息。
一种实现方式中，可以基于尺度不变特征转换(SIFT，Scale-invariant featuretransform)算法提取目标图像的图像特征，或者，也可以基于方向梯度直方图(HOG，Histogram of oriented gradient)获取目标图像的原始图像特征。
另外，还可以基于卷积神经网络对目标图像进行特征提取，得到目标图像的原始图像特征。例如，可以采用ResNet对目标图像进行特征提取。
例如，第一原始图像特征可以用FeatImg表示，FeatImg＝F(Img)，F()表示特征提取。
可选的，步骤S103可以包括以下步骤：将用于表示第一人脸关键点特征的特征向量，和用于表示第一原始图像特征的特征向量相加，得到目标特征；或者，将用于表示第一人脸关键点特征的特征向量，和用于表示第一原始图像特征的特征向量级联，得到目标特征。
例如，目标特征可以用Featfusion表示，Featfusion＝[FeatImg,FeatLM]，[]表示特征融合。
为了能够提高人脸属性识别的精度，可以对第一人脸关键点特征和第一原始图像特征进行特征融合，进而，结合人脸关键点特征和目标图像的原始图像特征，能够准确地识别出目标图像中人脸的局部的特征。
一种实现方式中，提取到的第一人脸关键点特征可以用特征向量(可以称为第一人脸关键点特征向量)表示，第一原始图像特征可以用特征向量(可以称为第一原始图像特征向量)表示。
进而，可以将第一人脸关键点特征向量和第一原始图像特征向量相加，得到用于表示目标特征的目标特征向量。
或者，也可以将第一人脸关键点特征向量和第一原始图像特征向量进行级联，得到用于表示目标特征的目标特征向量。
基于上述两种方式，得到的目标特征向量能够体现目标图像中的人脸关键点的信息，而人脸关键点的信息能够有效体现目标图像中人脸的局部的特征，因此，基于目标特征进行人脸属性识别，能够提高人脸属性识别的精度
可选的，参见图3，S104可以包括以下步骤：
S1041：将目标特征输入至预先训练的分类模型，得到预设各属性类别对应的概率。
其中，预设各属性类别可以由技术人员根据业务需求和训练分类模型的样本图像确定，例如，预设各属性类别可以包括：黑色头发、柳叶眉毛、方形脸、高鼻梁、八字胡须等。
在本发明实施例中，在得到目标特征后，可以将目标特征输入预先训练的分类模型，相应的，分类模型可以输出预设各属性类别对应的置信度，即，目标图像中的人脸具有预设各属性类别的概率。
S1042：将概率大于预设概率阈值的属性类别，作为目标图像的人脸属性类别。
其中，预设概率阈值可以由技术人员根据经验进行设置，例如，预设概率阈值可以为0.8，或者，也可以为0.9，但并不限于此。
人脸属性类别可以包括图像中人脸的五官的属性类别，例如，图像中人物头发的形状、人物眉毛的形状、人物嘴巴的形状等。
在本发明实施例中，在得到预设各属性类别对应的概率后，可以将对应的概率大于预设概率阈值的属性类别，确定为目标图像中的人脸属性类别。
例如，预设概率阈值为0.6，预设各属性类别包括：黑色头发、柳叶眉毛、方形脸、高鼻梁、八字胡须，预设各属性类别对应的概率分别为0.2、0.5、0.3、0.8、0.7，进而，可以确定目标图像中的人脸属性类别包括：高鼻梁和八字胡须。
基于上述处理，通过预先训练的分类模型，能够提高分类的准确性，以进一步提高人脸属性识别的精度。
可选的，参见图4，分类模型的训练过程可以包括以下步骤：
S401：对样本图像进行人脸关键点检测，得到样本图像中的人脸关键点信息，作为第二人脸关键点信息。
S402：对第二人脸关键点信息进行特征提取，得到第二人脸关键点特征，并对样本图像进行特征提取，得到第二原始图像特征。
S403：将对第二人脸关键点特征和第二原始图像特征进行特征融合的结果，输入至预设结构的分类模型。
S404：基于分类模型的输出结果与样本图像属于预设各属性类别的概率的损失函数，对分类模型的模型参数进行调整，直至分类模型达到预设收敛条件。
例如，预设各属性类别包括：黑色头发、柳叶眉毛、方形脸、高鼻梁、八字胡须，如果样本图像中人脸不具有黑色头发、具有柳叶眉毛、具有方形脸、不具有高鼻梁、具有八字胡须，则该样本图像属于预设各属性类别的概率可以用(0,1,1,0,1)表示。
一种实现方式中，可以利用人脸关键点检测模型，对样本图像进行人脸关键点检测，得到对应的人脸关键点信息。
利用第一特征提取模型，提取人脸关键点检测模型输出的人脸关键点信息的特征(可以称为关键点特征)。利用第二特征提取模型提取样本图像的原始图像特征。
在根据人脸关键点检测模型、第一特征提取模型和第二特征提取模型，得到样本图像的人脸关键点特征(即第二人脸关键点特征)，以及样本图像的原始图像特征(即第二原始图像特征)后，可以对第二人脸关键点特征和第二原始图像特征进行特征融合。
进而，可以将特征融合的结果输入至分类模型，然后，可以基于分类模型的输出结果与样本图像属于预设各属性类别的概率的损失函数，对人脸关键点检测模型、第一特征提取模型、第二特征提取模型和分类模型的模型参数进行调整。
分类模型的输出结果与样本图像属于预设各属性类别的概率的损失函数可以用公式(1)表示。
Figure BDA0002351035240000091
y表示样本图像属于预设各属性类别的概率，ypred表示分类模型的输出结果，m表示样本图像的个数，Loss(y,ypred)表示分类模型的输出结果与样本图像属于预设各属性类别的概率的损失函数。
基于该损失函数，可以采用随机梯度下降算法，对分类模型的模型参数进行调整，直至达到预设收敛条件，例如，损失函数的值小于预设阈值，或者，训练的次数达到预设次数，进而，得到训练好的分类模型。
基于上述处理，可以采用端到端的方式，对包含人脸关键点检测模型、第一特征提取模型、第二特征提取模型和分类模型的模型进行训练，能够提高模型部署的效率，进而，能够提高人脸属性识别的效率。
另外，也可以基于样本图像，分别对人脸关键点检测模型、第一特征提取模型、第二特征提取模型和分类模型进行训练。
相应的，可以基于训练好的人脸关键点检测模型、第一特征提取模型、第二特征提取模型和分类模型，对目标图像进行处理，得到分类模型输出的预设各属性类别对应的概率，并确定对应的概率大于预设概率阈值的属性类别，作为目标图像中的人脸属性类别。
基于相同的发明构思，参见图5，本发明实施例还提供了一种人脸属性识别装置，所述装置包括：
关键点检测模块501，用于对待识别的目标图像进行人脸关键点检测，得到所述目标图像中的人脸关键点信息，作为第一人脸关键点信息；
特征提取模块502，用于对所述第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对所述目标图像进行特征提取，得到第一原始图像特征；
特征融合模块503，用于对所述第一人脸关键点特征和所述第一原始图像特征进行特征融合，得到目标特征；
确定模块504，用于基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别。
可选的，所述特征融合模块503，具体用于将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量相加，得到目标特征；或者，
将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量级联，得到目标特征。
可选的，所述确定模块504，具体用于将所述目标特征输入至预先训练的分类模型，得到预设各属性类别对应的概率；
将概率大于预设概率阈值的属性类别，作为所述目标图像的人脸属性类别。
可选的，所述装置还包括：
训练模块，用于对样本图像进行人脸关键点检测，得到所述样本图像中的人脸关键点信息，作为第二人脸关键点信息；
对所述第二人脸关键点信息进行特征提取，得到第二人脸关键点特征，并对所述样本图像进行特征提取，得到第二原始图像特征；
将对所述第二人脸关键点特征和所述第二原始图像特征进行特征融合的结果，输入至预设结构的分类模型；
基于所述分类模型的输出结果与所述样本图像属于预设各属性类别的概率的损失函数，对所述分类模型的模型参数进行调整，直至所述分类模型达到预设收敛条件。
基于本发明实施例提供的人脸属性识别装置，由于目标特征结合了目标图像的第一原始图像特征和第一人脸关键点特征，而第一人脸关键点特征能够有效体现目标图像中人脸的局部的特征，因此，基于目标特征进行人脸属性识别，能够提高人脸属性识别的精度。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
对待识别的显示有人脸的目标图像进行人脸关键点检测，得到所述目标图像中的人脸关键点信息，作为第一人脸关键点信息；
对待识别的目标图像进行人脸关键点检测，得到所述目标图像中的人脸关键点信息，作为第一人脸关键点信息；
对所述第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对所述目标图像进行特征提取，得到第一原始图像特征；
对所述第一人脸关键点特征和所述第一原始图像特征进行特征融合，得到目标特征；
基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的人脸属性识别方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的人脸属性识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种人脸属性识别方法，其特征在于，所述方法包括：
对待识别的目标图像进行人脸关键点检测，得到所述目标图像中的人脸关键点信息，作为第一人脸关键点信息；
对所述第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对所述目标图像进行特征提取，得到第一原始图像特征；
对所述第一人脸关键点特征和所述第一原始图像特征进行特征融合，得到目标特征；
基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一人脸关键点特征和所述第一原始图像特征进行特征融合，得到目标特征，包括：
将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量相加，得到目标特征；或者，
将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量级联，得到目标特征。
3.根据权利要求1所述的方法，其特征在于，所述基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别，包括：
将所述目标特征输入至预先训练的分类模型，得到预设各属性类别对应的概率；
将概率大于预设概率阈值的属性类别，作为所述目标图像的人脸属性类别。
4.根据权利要求1所述的方法，其特征在于，在所述基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别之前，所述方法还包括：
对样本图像进行人脸关键点检测，得到所述样本图像中的人脸关键点信息，作为第二人脸关键点信息；
对所述第二人脸关键点信息进行特征提取，得到第二人脸关键点特征，并对所述样本图像进行特征提取，得到第二原始图像特征；
将对所述第二人脸关键点特征和所述第二原始图像特征进行特征融合的结果，输入至预设结构的分类模型；
基于所述分类模型的输出结果与所述样本图像属于预设各属性类别的概率的损失函数，对所述分类模型的模型参数进行调整，直至所述分类模型达到预设收敛条件。
5.一种人脸属性识别装置，其特征在于，所述装置包括：
关键点检测模块，用于对待识别的目标图像进行人脸关键点检测，得到所述目标图像中的人脸关键点信息，作为第一人脸关键点信息；
特征提取模块，用于对所述第一人脸关键点信息进行特征提取，得到第一人脸关键点特征，并对所述目标图像进行特征提取，得到第一原始图像特征；
特征融合模块，用于对所述第一人脸关键点特征和所述第一原始图像特征进行特征融合，得到目标特征；
确定模块，用于基于所述目标特征和预先训练的分类模型，确定所述目标图像中的人脸属性类别。
6.根据权利要求5所述的装置，其特征在于，所述特征融合模块，具体用于将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量相加，得到目标特征；或者，
将用于表示所述第一人脸关键点特征的特征向量，和用于表示所述第一原始图像特征的特征向量级联，得到目标特征。
7.根据权利要求5所述的装置，其特征在于，所述确定模块，具体用于将所述目标特征输入至预先训练的分类模型，得到预设各属性类别对应的概率；
将概率大于预设概率阈值的属性类别，作为所述目标图像的人脸属性类别。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
训练模块，用于对样本图像进行人脸关键点检测，得到所述样本图像中的人脸关键点信息，作为第二人脸关键点信息；
对所述第二人脸关键点信息进行特征提取，得到第二人脸关键点特征，并对所述样本图像进行特征提取，得到第二原始图像特征；
将对所述第二人脸关键点特征和所述第二原始图像特征进行特征融合的结果，输入至预设结构的分类模型；
基于所述分类模型的输出结果与所述样本图像属于预设各属性类别的概率的损失函数，对所述分类模型的模型参数进行调整，直至所述分类模型达到预设收敛条件。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201911415283.5A 2019-12-31 2019-12-31 一种人脸属性识别方法和装置 Pending CN111144369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911415283.5A CN111144369A (zh) 2019-12-31 2019-12-31 一种人脸属性识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911415283.5A CN111144369A (zh) 2019-12-31 2019-12-31 一种人脸属性识别方法和装置

Publications (1)

Publication Number Publication Date
CN111144369A true CN111144369A (zh) 2020-05-12

Family

ID=70522704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911415283.5A Pending CN111144369A (zh) 2019-12-31 2019-12-31 一种人脸属性识别方法和装置

Country Status (1)

Country Link
CN (1) CN111144369A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627087A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种人脸图像的展示方法、装置、计算机设备及存储介质
CN111667553A (zh) * 2020-06-08 2020-09-15 北京有竹居网络技术有限公司 头像像素化的面部颜色填充方法、装置及电子设备
CN114519401A (zh) * 2022-02-22 2022-05-20 平安科技（深圳）有限公司 一种图像分类方法及装置、电子设备、存储介质
WO2022205259A1 (zh) * 2021-04-01 2022-10-06 京东方科技集团股份有限公司 人脸属性检测方法及装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102636730A (zh) * 2012-02-22 2012-08-15 上海海事大学 复合海缆温升应变监测告警及故障分析方法
CN107381020A (zh) * 2017-07-13 2017-11-24 柳州福能机器人开发有限公司 搬运零件的机械爪
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN110399809A (zh) * 2019-07-08 2019-11-01 北京亮亮视野科技有限公司 多特征融合的人脸关键点检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102636730A (zh) * 2012-02-22 2012-08-15 上海海事大学 复合海缆温升应变监测告警及故障分析方法
CN107381020A (zh) * 2017-07-13 2017-11-24 柳州福能机器人开发有限公司 搬运零件的机械爪
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN110399809A (zh) * 2019-07-08 2019-11-01 北京亮亮视野科技有限公司 多特征融合的人脸关键点检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627087A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种人脸图像的展示方法、装置、计算机设备及存储介质
CN111667553A (zh) * 2020-06-08 2020-09-15 北京有竹居网络技术有限公司 头像像素化的面部颜色填充方法、装置及电子设备
WO2022205259A1 (zh) * 2021-04-01 2022-10-06 京东方科技集团股份有限公司 人脸属性检测方法及装置、存储介质及电子设备
CN114519401A (zh) * 2022-02-22 2022-05-20 平安科技（深圳）有限公司 一种图像分类方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN111144369A (zh) 一种人脸属性识别方法和装置
CN109815924B (zh) 表情识别方法、装置及系统
WO2019120115A1 (zh) 人脸识别的方法、装置及计算机装置
US20210012777A1 (en) Context acquiring method and device based on voice interaction
CN110633577B (zh) 文本脱敏方法以及装置
US11341770B2 (en) Facial image identification system, identifier generation device, identification device, image identification system, and identification system
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN112464809A (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN111476268A (zh) 翻拍识别模型训练、图像识别方法、装置、设备及介质
US11126827B2 (en) Method and system for image identification
WO2020164278A1 (zh) 一种图像处理方法、装置、电子设备和可读存储介质
US20190147218A1 (en) User specific classifiers for biometric liveness detection
WO2019232850A1 (zh) 手写汉字图像识别方法、装置、计算机设备及存储介质
WO2020093303A1 (zh) 基于人脸识别的处理方法、装置、设备及可读存储介质
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN112434556A (zh) 宠物鼻纹识别方法、装置、计算机设备及存储介质
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN111291773A (zh) 特征识别的方法及装置
CN110807309A (zh) 一种pdf文档的内容类型识别方法、装置及电子设备
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN114639150A (zh) 情绪识别方法、装置、计算机设备和存储介质
CN109145704A (zh) 一种基于人脸属性的人脸画像识别方法
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN113327212B (zh) 人脸驱动、模型的训练方法、装置、电子设备及存储介质
CN114612989A (zh) 人脸识别数据集的生成方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination