CN113643348A - 一种人脸属性分析方法及装置 - Google Patents

一种人脸属性分析方法及装置 Download PDF

Info

Publication number
CN113643348A
CN113643348A CN202010329192.6A CN202010329192A CN113643348A CN 113643348 A CN113643348 A CN 113643348A CN 202010329192 A CN202010329192 A CN 202010329192A CN 113643348 A CN113643348 A CN 113643348A
Authority
CN
China
Prior art keywords
face
preset
dimensional
dimensional face
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010329192.6A
Other languages
English (en)
Other versions
CN113643348B (zh
Inventor
程海敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010329192.6A priority Critical patent/CN113643348B/zh
Publication of CN113643348A publication Critical patent/CN113643348A/zh
Application granted granted Critical
Publication of CN113643348B publication Critical patent/CN113643348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种人脸属性分析方法及装置，该方法包括：获取目标人脸的基础二维人脸图像和基础三维人脸点云；将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像；叠加基础二维人脸图像和渲染二维人脸图像，得到目标输入数据；将目标输入数据输入预设分析模型，得到目标人脸的多种预设人脸属性的目标属性值，预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值。应用本申请实施例提供的技术方案，提高了人脸属性分析的准确率。

Description

一种人脸属性分析方法及装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种人脸属性分析方法及装置。
背景技术
近年来，人脸属性分析在多媒体、社交网络、计算机视觉等领域有着非常广泛的应用。人脸属性分析可以理解为：分析人脸图像，给出对该人脸图像的属性值，比如“是否戴了眼镜”、“是否戴了帽子”、“是否微笑”等。但是，目前的人脸属性分析都是基于二维人脸图像，而二维人脸图像受人脸姿态、表情、光照等因素的不利影响，这导致人脸属性分析的准确率较低。
发明内容
本申请实施例的目的在于提供一种人脸属性分析方法及装置，以提高人脸属性分析的准确率。具体技术方案如下：
第一方面，本申请实施例提供了一种人脸属性分析方法，所述方法包括：
获取目标人脸的基础二维人脸图像和基础三维人脸点云；
将所述基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像；
叠加所述基础二维人脸图像和所述渲染二维人脸图像，得到目标输入数据；
将所述目标输入数据输入预设分析模型，得到所述目标人脸的多种预设人脸属性的目标属性值，所述预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，所述预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一所述样本人脸的多种预设人脸属性的样本属性值。
可选的，所述将所述基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像的步骤，包括：
利用标准迭代最近点算法，将所述基础三维人脸点云对齐到统一模板，得到标准三维人脸点云；
利用深度缓冲算法，将所述标准三维人脸点云渲染到二维图像，得到渲染二维人脸图像。
可选的，所述利用深度缓冲算法，将所述标准三维人脸点云渲染到二维图像，得到渲染二维人脸图像的步骤，包括：
对所述标准三维人脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标；
将所述每一顶点的归一化坐标转换为每一顶点的像素值；
利用深度缓冲算法，基于所述每一顶点的像素值，将所述标准人脸点云渲染到二维图像，得到渲染二维人脸图像。
可选的，所述方法还包括：
获取多个初始人脸的初始二维人脸图像以及每一所述初始人脸的初始身份信息；
获取预设结构的初始神经网络，所述初始神经网络包括多个卷积层和所述多个卷积层之后连接的多个第一全连接层；
利用多个所述初始二维人脸图像和每一所述初始二维人脸图像对应的初始身份信息，训练所述初始神经网络包括的所述多个卷积层和所述多个第一全连接层；
当所述多个卷积层和所述多个第一全连接层收敛后，结束训练，获取所述预设神经网络，所述预设神经网络包括所述多个卷积层和所述多个卷积层之后分别连接的多组第二全连接层，所述多组第二全连接层的组数与所述多种预设人脸属性的数量相同。
可选的，所述方法还包括：
获取预设训练集，所述预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一所述样本人脸的多种预设人脸属性的样本属性值；
获取所述预设神经网络；
利用多个所述样本二维人脸图像和多个所述样本三维人脸点云，以及每一所述样本人脸的所述多种预设人脸属性的样本属性值，训练所述预设神经网络包括的所述多组第二全连接层；
当所述预设神经网络包括的所述多组第二全连接层收敛后，结束训练，得到所述预设分析模型。
可选的，所述当所述预设神经网络包括的所述多组第二全连接层收敛后，结束训练，得到所述预设分析模型的步骤，包括：
当所述预设神经网络包括的所述多组第二全连接层收敛后，使用预设学习率，利用多个所述样本二维人脸图像和多个所述样本三维人脸点云，以及每一所述样本人脸的所述多种预设人脸属性的样本属性值，训练所述预设神经网络包括的所述多个卷积层和所述多组第二全连接层，所述预设学习率小于预设阈值；
当所述预设神经网络包括的所述多个卷积层和所述多组第二全连接层收敛后，结束训练，得到所述预设分析模型。
可选的，所述预设训练集包括多个分数据列表，所述分数据列表与所述预设人脸属性的属性值一一对应，每一所述分数据列表包括具有该分数据列表对应的预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云；每一所述分数据列表的输入批量数目相同；或者
所述预设训练集包括一个总数据列表，所述总数据列表包括每一预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云的数目相同。
第二方面，本申请实施例提供了一种人脸属性分析装置，所述装置包括：
第一获取单元，用于获取目标人脸的基础二维人脸图像和基础三维人脸点云；
渲染单元，用于将所述基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像；
叠加单元，用于叠加所述基础二维人脸图像和所述渲染二维人脸图像，得到目标输入数据；
预测单元，用于将所述目标输入数据输入预设分析模型，得到所述目标人脸的多种预设人脸属性的目标属性值，所述预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，所述预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一所述样本人脸的多种预设人脸属性的样本属性值。
可选的，所述渲染单元，包括：
对齐子单元，用于利用标准迭代最近点算法，将所述基础三维人脸点云对齐到统一模板，得到标准三维人脸点云；
渲染子单元，用于利用深度缓冲算法，将所述标准三维人脸点云渲染到二维图像，得到渲染二维人脸图像。
可选的，所述渲染子单元，具体用于：
对所述标准三维人脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标；
将所述每一顶点的归一化坐标转换为每一顶点的像素值；
利用深度缓冲算法，基于所述每一顶点的像素值，将所述标准人脸点云渲染到二维图像，得到渲染二维人脸图像。
可选的，所述装置还包括：
第二获取单元，用于获取多个初始人脸的初始二维人脸图像以及每一所述初始人脸的初始身份信息；获取预设结构的初始神经网络，所述初始神经网络包括多个卷积层和所述多个卷积层之后连接的多个第一全连接层；
第一训练单元，用于利用多个所述初始二维人脸图像和每一所述初始二维人脸图像对应的初始身份信息，训练所述初始神经网络包括的所述多个卷积层和所述多个第一全连接层；
第三获取单元，用于当所述多个卷积层和所述多个第一全连接层收敛后，结束训练，获取所述预设神经网络，所述预设神经网络包括所述多个卷积层和所述多个卷积层之后分别连接的多组第二全连接层，所述多组第二全连接层的组数与所述多种预设人脸属性的数量相同。
可选的，所述装置还包括：
第四获取单元，用于获取预设训练集，所述预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一所述样本人脸的多种预设人脸属性的样本属性值；获取所述预设神经网络；
第二训练单元，用于利用多个所述样本二维人脸图像和多个所述样本三维人脸点云，以及每一所述样本人脸的所述多种预设人脸属性的样本属性值，训练所述预设神经网络包括的所述多组第二全连接层；
确定单元，用于当所述预设神经网络包括的所述多组第二全连接层收敛后，结束训练，得到所述预设分析模型。
可选的，所述确定单元，具体用于：
当所述预设神经网络包括的所述多组第二全连接层收敛后，使用预设学习率，利用多个所述样本二维人脸图像和多个所述样本三维人脸点云，以及每一所述样本人脸的所述多种预设人脸属性的样本属性值，训练所述预设神经网络包括的所述多个卷积层和所述多组第二全连接层，所述预设学习率小于预设阈值；
当所述预设神经网络包括的所述多个卷积层和所述多组第二全连接层收敛后，结束训练，得到所述预设分析模型。
可选的，所述预设训练集包括多个分数据列表，所述分数据列表与所述预设人脸属性的属性值一一对应，每一所述分数据列表包括具有该分数据列表对应的预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云；每一所述分数据列表的输入批量数目相同；或者
所述预设训练集包括一个总数据列表，所述总数据列表包括每一预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云的数目相同。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器；所述存储器，用于存放计算机程序；所述处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一方法步骤。
第五方面，本申请实施例提供了一种人脸属性分析系统，所述人脸属性分析系统包括二维传感器、三维传感器和处理器；
所述二维传感器，用于采集目标人脸的基础二维人脸图像；
所述三维传感器，用于采集所述目标人脸的基础三维人脸点云；
所述处理器，用于基于所述基础二维人脸图像和所述基础三维人脸点云，执行上述第一方面提供的任一方法步骤。
本申请实施例提供的人脸属性分析方法及装置中，将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像。渲染二维人脸图像为二维图像，该渲染二维人脸图像中包含了基础三维人脸点的三维信息。利用渲染二维人脸图像和基础二维人脸图像，进行人脸属性分析，得到目标人脸的多种预设人脸属性的目标属性值。本申请实施例进行人脸属性分析时，不仅利用了基础二维人脸图像的二维信息，还利用了三维人脸点云的三维信息，而三维人脸点云受人脸姿态、表情、光照等因素的影响较低，这有效提高了人脸属性分析的准确率。
另外，本申请实施例中，利用多种预设人脸属性一起训练预设神经网络，可将多种人脸属性的数据同时使用，大大增加了训练数据量，提高了训练得到的预设分析模型的准确性。利用该训练得到的预设分析模型进行人脸属性分析，进一步提高了人脸属性分析的准确率。
当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的人脸属性分析方法的第一种流程示意图；
图2为本申请实施例提供的预收神经网络的一种示意图；
图3为本申请实施例提供的人脸属性分析方法的第二种流程示意图；
图4为本申请实施例提供的人脸属性分析方法的第三种流程示意图；
图5a为本申请实施例提供的归一化人脸点云的一种示意图；
图5b为本申请实施例提供的归一化人脸点云转换为RGB人脸点云的一种示意图；
图6为本申请实施例提供的转换得到目标渲染人脸图像的一种示意图；
图7为本申请实施例提供的预设分析模型的训练方法的一种流程示意图；
图8为本申请实施例提供的预设神经网络的初始化方法的一种流程示意图；
图9为本申请实施例提供的初始神经网络的一种示意图；
图10为本申请实施例提供的人脸属性分析装置的第一种结构示意图；
图11为本申请实施例提供的人脸属性分析装置的第二种结构示意图；
图12为本申请实施例提供的预设神经网络的初始化装置的一种结构示意图；
图13为本申请实施例提供的预设分析模型的训练装置的一种结构示意图；
图14为本申请实施例提供的电子设备的一种结构示意图；
图15为本申请实施例提供的人脸属性分析系统的第一种结构示意图；
图16为本申请实施例提供的人脸属性分析系统的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人脸属性包括性别、年龄、表情、是否戴了眼镜、是否戴了帽子等。
目前，人脸属性分析的过程为：获取二维人脸图像，对二维人脸图像进行人脸属性分析，得到预设人脸属性的属性值。但是，二维人脸图像受人脸姿态、表情、光照等因素的不利影响，这导致人脸属性分析的准确率较低。
为解决上述问题，本申请实施例提供了一种人脸属性分析方法。该方法可以应用于移动终端、笔记本电脑、服务器等电子设备。该人脸属性分析方法包括：获取目标人脸的基础二维人脸图像和基础三维人脸点云；利用深度缓冲算法，将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像；叠加基础二维人脸图像和渲染二维人脸图像，得到目标输入数据；将目标输入数据输入预设分析模型，得到目标人脸的多种预设人脸属性的目标属性值，预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值。
本申请实施例提供的人脸属性分析方法中，将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像。渲染二维人脸图像为二维图像，该渲染二维人脸图像中包含了基础三维人脸点的三维信息。利用渲染二维人脸图像和基础二维人脸图像，进行人脸属性分析，得到目标人脸的多种预设人脸属性的目标属性值。本申请实施例进行人脸属性分析时，不仅利用了二维人脸图像的二维信息，还利用了三维人脸点云的三维信息，而三维人脸点云受人脸姿态、表情、光照等因素的影响较低，这有效提高了人脸属性分析的准确率。
另外，本申请实施例中，利用多种预设人脸属性一起训练预设神经网络，可将多种人脸属性的数据同时使用，大大增加了训练数据量，提高了训练得到的预设分析模型的准确性。利用该训练得到的预设分析模型进行人脸属性分析，进一步提高了人脸属性分析的准确率。
下面通过具体实施例，对本申请实施例提供的一种人脸属性分析方法进行详细说明。
参考图1，图1为本申请实施例提供的人脸属性分析方法的第一种流程示意图。为便于描述，下面以电子设备为执行主体进行说明，并不起限定作用。该人脸属性分析方法包括如下步骤。
步骤101，获取目标人脸的基础二维人脸图像和基础三维人脸点云。
本申请实施例中，上述目标人脸为需要进行人脸属性分析的人脸。基础二维人脸图像可以是通过二维摄像机采集得到的二维人脸图像，基础三维人脸点云可以是通过各种扫描设备对人脸进行扫描得到的三维人脸点云。三维人脸点云可以为红绿蓝深度(RedGreen Blue Depth，RGBD)人脸点云。又或者，基础三维点云也可以是通过双目或多目相机采集到的。又或者基础三维人脸点云可以是通过TOF(time of flight，飞行时间)深度相机采集到的。
一个实施例中，需要进行人脸属性分析的人脸的二维人脸图像和三维人脸点云可以预先存储在数据库中。进行人脸属性分析时，服务器直接从数据库中获取人脸的二维人脸图像和三维人脸点云，该人脸即为目标人脸，获取的二维人脸图像即为基础二维人脸图像，获取的三维人脸点云即为基础三维人脸点云。
另一个实施例中，进行人脸属性分析时，服务器可以实时获取二维摄像机采集的目标人脸的基础二维人脸图像，以及扫描设备扫描得到的基础三维人脸点云。
步骤102，将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像。
本申请实施例中，为便于利用三维信息进行人脸属性分析，服务器将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像。这样，就将三维信息以二维图像的形式展示了出来。
本申请实施例中可以采用深度缓冲算法(Z-buffering)将三维人脸点云渲染到二维图像，还可以采用其他算法将三维人脸点云渲染到二维图像，对此不作具体限定。
步骤103，叠加基础二维人脸图像和渲染二维人脸图像，得到目标输入数据。
本申请实施例中，为了同时利用二维信息和三维信息，服务器叠加二维人脸图像和渲染二维人脸图像，得到的数据作为预设分析模型的目标输入数据。预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值。
一个实施例中，预设分析模型对输入数据的大小有要求。这种情况下，服务器将基础二维人脸图像和渲染二维人脸图像分别缩放至预设大小，叠加缩放后的基础二维人脸图像和缩放后的渲染二维人脸图像，得到目标输入数据。其中，预设大小即为预设分析模型要求的输入数据的大小。
例如，预设分析模型要求的预设大小为224*224。基础二维人脸图像和渲染二维人脸图像均为RGB图像。则服务器将基础二维人脸图像缩放至224*224，得到3*224*224的数据，将渲染二维人脸图像缩放至224*224，得到3*224*224的数据；叠加缩放后的基础二维人脸图像和缩放后的渲染二维人脸图像，得到目标输入数据为6*224*224。
步骤104，将目标输入数据输入预设分析模型，得到目标人脸的多种预设人脸属性的目标属性值，预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值。
本申请实施例中，预设神经网络可以为可以在视觉几何组(Visual GeometryGroup Network，VGG)网络的基础上进行修改得到。
例如，VGG网络为VGG-19网络。保留VGG-19网络的16个卷积层，在每个卷积层后加上批量定额操作和线性整流操作。在16个卷积层的末端添加多组全连接层，全连接层的组数与需要分析的预设人脸属性的数量相同，且一一对应。此时，预设人脸属性包括是否微笑、性别、年龄，需要分析的预设人脸属性的数量为3，全连接层的组数为3。其中，每组全连接层可以包括3层全连接层，分别为512个神经元的全连接层、256个神经元的全连接层以及n个神经元的全连接层，n表示不同预设人脸属性的输出维度。例如，是否微笑和性别的输出维度为2，即是否微笑和性别对应的n为2；年龄的输出维度为100，即年龄对应的n为100。此时，预设神经网络如图2所示。
本申请实施例中，从VGG-19网络的最后一个卷积层接出全连接层，每个预设人脸属性拥有自己的全连接层，这使得不同预设人脸属性更加具有辨别力的特征。
基于预设神经网络对预设分析模型的训练下面会进行详细描述，此次不进行展开说明。
服务器将目标输入数据输入预设分析模型，得到目标人脸的每种预设人脸属性的目标属性值。
本申请实施例提供的人脸属性分析方法中，将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像。渲染二维人脸图像为二维图像，该渲染二维人脸图像中包含了基础三维人脸点的三维信息。利用渲染二维人脸图像和基础二维人脸图像，进行人脸属性分析，得到目标人脸的多种预设人脸属性的目标属性值。本申请实施例进行人脸属性分析时，不仅利用了基础二维人脸图像的二维信息，还利用了三维人脸点云的三维信息，而三维人脸点云受人脸姿态、表情、光照等因素的影响较低，这有效提高了人脸属性分析的准确率。
另外，本申请实施例中，利用多种预设人脸属性一起训练预设神经网络，可将多种人脸属性的数据同时使用，大大增加了训练数据量，提高了训练得到的预设分析模型的准确性。利用该训练得到的预设分析模型进行人脸属性分析，进一步提高了人脸属性分析的准确率。
一个实施例中，基于图1所示的人脸属性分析方法，本申请实施例还提供了一种人脸属性分析方法。如图3所示，该人脸属性分析方法中步骤102可以细化为步骤1021和1022，具体如下。
步骤1021，利用标准迭代最近点算法，将基础三维人脸点云对齐到统一模板，得到标准三维人脸点云。
本申请实施中，三维人脸点云是无序状态，不同人的三维人脸点云中的顶点个数和语义信息均不相同。例如，用户A的三维人脸点云中的顶点个数为3万个，用户B的三维人脸点云中的顶点个数为2万个。这使得从不同三维人脸点云中提取到的三维特征语义不同且数目不统一。
为统一从不同三维人脸点云中提取到的三维特征语义和数目，便于后续处理，服务器可采用标准迭代最近点(Normal Iterative Closest Point，NICP)算法，将基础三维人脸点云对齐到统一模板，得到标准三维人脸点云。
例如，用户A的三维人脸点云中的顶点个数为3万个，用户B的三维人脸点云中的顶点个数为2万个。统一模板中包括1万个顶点，则服务器将用户A的三维人脸点云对齐到统一模板，得到的标准三维人脸点云包括1万个顶点，将用户B的三维人脸点云对齐到统一模板，得到的标准三维人脸点云包括1万个顶点。
步骤1022，利用深度缓冲算法，将标准三维人脸点云渲染到二维图像，得到渲染三维人脸图像。
一个实施例中，本申请实施例还提供了一种人脸属性分析方法。如图4所示，该人脸属性分析方法中步骤1022可以细化为步骤1022a、1022b和1022c，具体如下。
步骤1022a，对标准三维人脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标。
本申请实施例中，标准三维人脸点云中每一顶点都具有独一无二的三维坐标，可以称之为标准化坐标码(Normalized Coordinate Code，NCC)，服务器在获取到标准人脸点云，对标准三维人脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标。
一个可选的实施例中，服务器可以利用如下公式(1)，对标准三维人脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标。
Figure BDA0002464331390000121
公式(1)中，d表示坐标轴，d＝x，y，z；
Figure BDA0002464331390000122
表示d轴上标准人脸点云，NCCd表示d轴上归一化坐标。服务器利用上述公式(1)，将每一顶点的坐标归一化至0～1之间。如图5a所示，图5a为对标准三维人脸点云进行归一化处理后得到的归一化人脸点云，归一化人脸点云所有点的三维坐标均在0～1之间。
另一个可选的实施例中，服务器还可以利用如下公式(2)，对标准人三维脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标。
Figure BDA0002464331390000123
公式(2)中，d表示坐标轴，d＝x，y，z；
Figure BDA0002464331390000124
表示d轴上标准三维人脸点云，NCCd表示d轴上归一化坐标，δ表示预设参数值。
本申请实施例中，还可以采用其他方式对三维坐标进行归一化处理，此次不作具体限定。
步骤1022b，将每一顶点的归一化坐标转换为每一顶点的像素值。
本申请实施例中，归一化坐标包括3个维度，这与RGB三通道类似。服务器可将将每一顶点的归一化坐标转换为每一顶点的像素值。
如图5b所示，图5b为对图5a所示的归一化人脸点云进行转换得到的RGB人脸点云。例如，x坐标对应RGB三通道中R通道，y坐标对应RGB三通道中G通道，z坐标对应RGB三通道中B通道。若一顶点的归一化坐标为{x:0.24,y:0.45,z:0.80}，则服务器可将该顶点的归一化坐标转换为像素值{R:0.24,G:0.45,B:0.80}。
步骤1022c，利用深度缓冲算法，基于每一顶点的像素值，将标准三维人脸点云渲染到二维图像，得到渲染二维人脸图像。
本申请实施例中，服务器利用深度缓冲算法，将标准三维人脸点云渲染到二维图像，赋予该二维图像中每一顶点上述转换得到的该顶点的像素值，得到渲染二维人脸图像。该渲染二维人脸图像可以称之为投影标准化坐标码(Projected Normalized CoordinateCode，PNCC)特征。如图6所示，利用上述步骤1022a-1022c将基础三维人脸点云转换为二维的人脸图像，即渲染二维人脸图像。
一个实施例中，服务器利用深度缓冲算法，对每一顶点的像素值进行双线性差值，获得二维图像上每个像素的像素值，进而得到渲染二维人脸图像。本申请实施例，解决了RGB人脸点云的顶点和三维人脸点云的顶点是一一对应的，但与二维的渲染图像上的像素点并不对应的问题。
在本申请的一个实施例中，服务器在获取到目标人脸的基础三维人脸点云后，可以直接对基础三维人脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标；将每一顶点的归一化坐标转换为每一顶点的像素值；利用深度缓冲算法，基于每一顶点的像素值，将三维人脸点云渲染到二维图像，得到渲染二维人脸图像。
在本申请的一个实施例中，基于人脸属性分析方法，本申请实施例还提供了一种预设分析模型训练方法。参考图7所示，图7为本申请实施例提供的预设分析模型训练方法的一种流程示意图。该预设分析模型训练方法包括如下步骤。
步骤701，获取预设训练集，预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值。
一个实施例中，预设训练集可以包括多个分数据列表，分数据列表与预设人脸属性的属性值一一对应。每一分数据列表包括具有该分数据列表对应的预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云；每一分数据列表的输入批量数目相同。这样可以有效避免各个预设人脸属性内数据输入不平衡问题。
例如，预设人脸属性包括性别和是否微笑。性别的属性值包括男性和女性，是否微笑的属性值包括微笑和没有微笑。此时，预设训练集可以包括4个分数据列表，一个分数据列表包括多个男性人脸的样本二维人脸图像和样本三维人脸点云，一个分数据列表包括多个女性人脸的样本二维人脸图像和样本三维人脸点云，一个分数据列表包括多个微笑人脸的样本二维人脸图像和样本三维人脸点云，一个分数据列表包括多个没有微笑人脸的样本二维人脸图像和样本三维人脸点云。这4个分数据列表的输入批量数目相同，例如都是100。
另一个实施例中，预设训练集包括一个总数据列表，总数据列表包括每一预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云的数目相同。当每次训练预设分析模型，对总数据列表内的数据进行洗牌(shuffle)，这样可以有效避免各个预设人脸属性内数据输入不平衡问题。
步骤702，获取预设神经网络。
本申请实施例中，预设神经网络的结构参考步骤104部分的描述，如图2所示，此次不作赘述。
步骤703，利用多个样本二维人脸图像和多个样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值，训练预设神经网络。
本申请实施例中，预设神经网络的输出为多种预设人脸属性的属性值。服务器利用深度缓冲算法，将样本三维人脸点云渲染到二维图像，得到样本渲染人脸图像，该样本渲染人脸图像为二维人脸图像。服务器叠加样本二维人脸图像和样本渲染人脸图像，得到样本输入数据，将样本输入数据输入预设神经网络，对预设神经网络进行训练。
步骤704，当预设神经网络收敛后，结束训练，得到预设分析模型。
本申请实施例中，服务器将样本输入数据输入预设神经网络，得到多种预设人脸属性的预测属性值。服务器基于多种预设人脸属性的样本属性值和预测属性值，确定每种预设人脸属性的预测损失值。服务器计算多种预设人脸属性的预测损失值的和值。若预测损失值的和值小于预设损失阈值，则服务器可确定预设神经网络收敛，结束训练，得到预设分析模型。若预测损失值的和值大于等于预设损失阈值，则服务器可确定预设神经网络未收敛，调整预设神经网络的参数，并返回执行步骤703，继续训练预设神经网络。
一个实施例中，对于属于分类问题的预设人脸属性，如上述否微笑和性别，可采用softmax损失函数，计算损失值。对于属于回归问题的预设人脸属性，如上述年龄，可采用欧式距离作为监督信号，计算损失值。本申请实施例中还可以采用其他损失函数计算损失值，对此不作具体限定。
本申请实施例采用多任务学习的神经网络，即单个神经网络同时预测多种人脸属性的预测属性值。相比于单个神经网络预测单个人脸属性，本申请实施例提供的技术方式，大大降低了计算及内存开销，降低了资源浪费。
另外，某些人脸属性之间会有着一定的相关关系，例如，有胡子的人脸大多是男性的人脸。因此，采用本申请实施例提供的技术方案，更为有利于快速的实现神经网络的收敛。
再次，多种人脸属性的任务一起训练神经网络，可将多种人脸属性的数据同时使用，大大增加了训练数据量，提高了训练得到的预设分析模型的准确性。另外，多种人脸属性的任务同时训练神经网络，有利于防止单个人脸属性的任务陷入过拟合的状态。
此外，本申请实施例中，不同人脸属性的任务之间可以隐性地提供注意力机制，神经网络更为关注某一区域，进而获得更为准确地预设分析模型。
一个实施例中，为了加快预设分析模型的训练速率，在执行步骤702获取预设神经网络之前，先对预设神经网络进行初始化。具体的，如图8所示，预设神经网络的初始化方法流程可以包括如下步骤。
步骤801，获取多个初始人脸的初始二维人脸图像以及每一初始人脸的初始身份信息。
本申请实施例中，服务器可以获取多个初始人脸的初始二维人脸图像以及每一初始人脸的初始身份信息，作为训练集。
为了训练得到更为准确地人脸识别模型，服务器获取的初始人脸的初始二维人脸图像的数量越多越好。为了降低计算量，避免占用的过多计算资源，服务器获取的初始人脸的初始二维人脸图像的数量不宜过多。具体获取的初始人脸的初始二维人脸图像的数量可以根据实际需求进行设定。
步骤802，获取预设结构的初始神经网络，初始神经网络包括多个卷积层和多个卷积层之后连接的多个第一全连接层。
本申请实施例中，第一全连接层仅仅是为了便于区分，并不具有特定的含义。初始神经网络可以为VGG网络，如VGG-19网络。初始神经网络用于训练得到人脸识别模型。此时初始神经网络的结构可参考图9所示。
步骤803，利用多个初始二维人脸图像和每一初始二维人脸图像对应的初始身份信息，训练初始神经网络包括的多个卷积层和多个第一全连接层。
本申请实施例中，初始神经网络的输出为人脸的预测身份信息。服务器将多个初始二维人脸图像分别输入初始神经网络，得到每一始二维人脸图像对应的预测身份信息。服务器基于每一始二维人脸图像对应的预测身份信息和初始身份信息，确定人脸识别的损失值。若人脸识别的损失值小于预设损失阈值，则服务器确定初始神经网络收敛。若人脸识别的损失值大于等于预设损失阈值，则服务器确定初始神经网络未收敛，调整初始神经网络包括的多个卷积层和多个第一全连接层的参数，重新执行步骤803，进行训练初始神经网络。
步骤804，当初始神经网络包括的多个卷积层和多个第一全连接层收敛后，结束训练，获取预设神经网络，预设神经网络包括多个卷积层和多个卷积层之后分别连接的多组第二全连接层，多组第二全连接层的组数与多种预设人脸属性的数量相同。
本申请实施例中，第二全连接层仅仅是为了便于区分，并不具有特定的含义。当初始神经网络包括的多个卷积层和多个第一全连接层收敛后，服务器组合初始神经网络包括的多个卷积层以及每种预设人脸属分别对应的一组第二全连接层，即在多个卷积层的末端连接多组第二全连接层，得到预设神经网络。如图2所示。此时完成了对预设神经网络的初始化。
本申请发明人经实验证明，采用上述方式初始化预设神经网络，有助于预设神经网络的收敛。
基于上述图8所示的预设神经网络的初始化方法，上述步骤703可以为，利用多个样本二维人脸图像和多个样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值，训练预设神经网络包括的多组第二全连接层。
本申请实施例中，服务器将样本三维人脸点云渲染到二维图像，得到样本渲染人脸图像。服务器叠加样本二维人脸图像和样本渲染人脸图像，得到样本输入数据，将样本输入数据输入预设神经网络，得到样本人脸的多种预设人脸属性的预测属性值。服务器基于样本人脸的多种预设人脸属性的预测属性值和样本属性值，确定每种预设人脸属性的预测损失值。服务器计算多种预设人脸属性的预测损失值的和值。若预测损失值的和值小于预设损失阈值，则服务器可确定预设神经网络收敛，结束训练，得到预设分析模型。若预测损失值的和值大于等于预设损失阈值，则服务器可确定预设神经网络未收敛，调整预设神经网络包括的多组第二全连接层的参数，并返回执行步骤703，继续训练预设神经网络。
在本申请的一个实施例中，当预设神经网络包括的多组第二全连接层收敛后，服务器可以使用预设学习率，利用多个样本二维人脸图像和多个样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值，训练预设神经网络包括的多个卷积层和多组第二全连接层，预设学习率小于预设阈值；当预设神经网络包括的多个卷积层和多组第二全连接层收敛后，结束训练，得到预设分析模型。
本申请实施提供的技术方案中，当预设神经网络包括的多组第二全连接层收敛后，服务器利用较小的学习率，对预设神经网络的整体进行微调，可使对预设神经网络进行训练得到的预设分析模型，更为准确地预测人脸属性的属性值。
与上述人脸属性分析方法实施例对应，本申请实施例还提供了一种人脸属性分析装置。参考图10，图10为本申请实施例提供的人脸属性分析装置的第一种结构示意图。该装置包括：第一获取单元1001、渲染单元1002、叠加单元1003和预测单元1004。
第一获取单元1001，用于获取目标人脸的基础二维人脸图像和基础三维人脸点云；
渲染单元1002，用于将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像；
叠加单元1003，用于叠加基础二维人脸图像和渲染二维人脸图像，得到目标输入数据；
预测单元1004，用于将目标输入数据输入预设分析模型，得到目标人脸的多种预设人脸属性的目标属性值，预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值。
本申请实施例提供的人脸属性分析装置中，将基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像。渲染二维人脸图像为二维图像，该渲染二维人脸图像中包含了基础三维人脸点的三维信息。利用渲染二维人脸图像和基础二维人脸图像，进行人脸属性分析，得到目标人脸的多种预设人脸属性的目标属性值。本申请实施例进行人脸属性分析时，不仅利用了基础二维人脸图像的二维信息，还利用了三维人脸点云的三维信息，而三维人脸点云受人脸姿态、表情、光照等因素的影响较低，这有效提高了人脸属性分析的准确率。
另外，本申请实施例中，利用多种预设人脸属性一起训练预设神经网络，可将多种人脸属性的数据同时使用，大大增加了训练数据量，提高了训练得到的预设分析模型的准确性。利用该训练得到的预设分析模型进行人脸属性分析，进一步提高了人脸属性分析的准确率。
一个可选的实施例中，如图11所示，渲染单元1002，可以包括：
对齐子单元10021，用于利用标准迭代最近点算法，将基础三维人脸点云对齐到统一模板，得到标准三维人脸点云；
渲染子单元10022，用于利用深度缓冲算法，将标准三维人脸点云渲染到二维图像，得到渲染二维人脸图像。
一个可选的实施例中，渲染子单元10022，具体可以用于：
对标准三维人脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标；
将每一顶点的归一化坐标转换为每一顶点的像素值；
利用深度缓冲算法，基于每一顶点的像素值，将标准三维人脸点云渲染到二维图像，得到渲染三维人脸图像。
一个可选的实施例中，为了加快预设分析模型的训练速率，本申请实施例还提供了一种预设神经网络的初始化装置，如图12所示，该装置可以包括：
第二获取单元1201，用于获取多个初始人脸的初始二维人脸图像以及每一初始人脸的初始身份信息；获取预设结构的初始神经网络，初始神经网络包括多个卷积层和多个卷积层之后连接的多个第一全连接层；
第一训练单元1202，用于利用多个初始二维人脸图像和每一初始二维人脸图像对应的初始身份信息，训练初始神经网络包括的多个卷积层和多个第一全连接层；
第三获取单元1203，用于当多个卷积层和多个第一全连接层收敛后，结束训练，获取预设神经网络，预设神经网络包括多个卷积层和多个卷积层之后分别连接的多组第二全连接层，多组第二全连接层的组数与多种预设人脸属性的数量相同。
一个可选的实施例中，基于上述预设神经网络的初始化装置，本申请实施例还提供了一种预设分析模型的训练装置，如图13所示，该装置可以包括：
第四获取单元1301，用于获取预设训练集，预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值；获取预设神经网络；
第二训练单元1302，用于利用多个样本二维人脸图像和多个样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值，训练预设神经网络包括的多组第二全连接层；
确定单元1303，用于当预设神经网络包括的多组第二全连接层收敛后，结束训练，得到预设分析模型。
一个可选的实施例中，确定单元1303，具体可以用于：
当预设神经网络包括的多组第二全连接层收敛后，使用预设学习率，利用多个样本二维人脸图像和多个样本三维人脸点云，以及每一样本人脸的多种预设人脸属性的样本属性值，训练预设神经网络包括的多个卷积层和多组第二全连接层，预设学习率小于预设阈值；
当预设神经网络包括的多个卷积层和多组第二全连接层收敛后，结束训练，得到预设分析模型。
一个可选的实施例中，预设训练集包括多个分数据列表，分数据列表与预设人脸属性的属性值一一对应，每一分数据列表包括具有该分数据列表对应的预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云；每一分数据列表的输入批量数目相同；或者
预设训练集包括一个总数据列表，总数据列表包括每一预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云的数目相同。
与上述人脸属性分析方法实施例对应，本申请实施例还提供了一种电子设备，如图14所示，包括处理器1401和存储器1402。存储器1402，用于存放计算机程序；处理器1401，用于执行存储器1402上所存放的程序时，实现上述人脸属性分析方法的任一步骤。
上述存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
与上述人脸属性分析方法对应，在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述人脸属性分析方法的任一步骤。
与上述人脸属性分析方法对应，在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述人脸属性分析方法的任一步骤。
与上述人脸属性分析方法对应，参考图15，图15为本申请实施例提供的人脸属性分析系统的第一种结构示意图。该人脸属性分析系统包括二维传感器1501、三维传感器1502和处理器1503。其中，二维传感器1501，用于采集目标人脸的基础二维人脸图像；三维传感器1502，用于采集目标人脸的基础三维人脸点云。处理器1503，用于基于二维传感器1501采集的基础二维人脸图像和三维传感器1502采集的基础三维人脸点云，执行上述人脸属性分析方法的任一步骤。
例如，二维传感器可以是一个相机，三维传感器可以是雷达、TOF深度相机，又例如，二维传感器和三维传感器是位于同一个多目相机中的传感器。
在本申请的一个实施例中，如图16所示，上述人脸属性分析系统还可以包括显示器1504。该显示器1504，用于显示处理器1503得到的目标人脸的多种预设人脸属性的目标属性值。
本申请实施例中，通过显示器显示处理器1503的人脸属性分析结果，便于用户及时获知人脸属性分析结果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于人脸属性分析装置、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于人脸属性分析方法实施例，所以描述的比较简单，相关之处参见人脸属性分析方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种人脸属性分析方法，其特征在于，所述方法包括：
获取目标人脸的基础二维人脸图像和基础三维人脸点云；
将所述基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像；
叠加所述基础二维人脸图像和所述渲染二维人脸图像，得到目标输入数据；
将所述目标输入数据输入预设分析模型，得到所述目标人脸的多种预设人脸属性的目标属性值，所述预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，所述预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一所述样本人脸的多种预设人脸属性的样本属性值。
2.根据权利要求1所述的方法，其特征在于，所述将所述基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像的步骤，包括：
利用标准迭代最近点算法，将所述基础三维人脸点云对齐到统一模板，得到标准三维人脸点云；
利用深度缓冲算法，将所述标准三维人脸点云渲染到二维图像，得到渲染二维人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述利用深度缓冲算法，将所述标准三维人脸点云渲染到二维图像，得到渲染二维人脸图像的步骤，包括：
对所述标准三维人脸点云中每一顶点的三维坐标进行归一化处理，得到每一顶点的归一化坐标；
将所述每一顶点的归一化坐标转换为每一顶点的像素值；
利用深度缓冲算法，基于所述每一顶点的像素值，将所述标准人脸点云渲染到二维图像，得到渲染二维人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多个初始人脸的初始二维人脸图像以及每一所述初始人脸的初始身份信息；
获取预设结构的初始神经网络，所述初始神经网络包括多个卷积层和所述多个卷积层之后连接的多个第一全连接层；
利用多个所述初始二维人脸图像和每一所述初始二维人脸图像对应的初始身份信息，训练所述初始神经网络包括的所述多个卷积层和所述多个第一全连接层；
当所述多个卷积层和所述多个第一全连接层收敛后，结束训练，获取所述预设神经网络，所述预设神经网络包括所述多个卷积层和所述多个卷积层之后分别连接的多组第二全连接层，所述多组第二全连接层的组数与所述多种预设人脸属性的数量相同。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取预设训练集，所述预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一所述样本人脸的多种预设人脸属性的样本属性值；
获取所述预设神经网络；
利用多个所述样本二维人脸图像和多个所述样本三维人脸点云，以及每一所述样本人脸的所述多种预设人脸属性的样本属性值，训练所述预设神经网络包括的所述多组第二全连接层；
当所述预设神经网络包括的所述多组第二全连接层收敛后，结束训练，得到所述预设分析模型。
6.根据权利要求5所述的方法，其特征在于，所述当所述预设神经网络包括的所述多组第二全连接层收敛后，结束训练，得到所述预设分析模型的步骤，包括：
当所述预设神经网络包括的所述多组第二全连接层收敛后，使用预设学习率，利用多个所述样本二维人脸图像和多个所述样本三维人脸点云，以及每一所述样本人脸的所述多种预设人脸属性的样本属性值，训练所述预设神经网络包括的所述多个卷积层和所述多组第二全连接层，所述预设学习率小于预设阈值；
当所述预设神经网络包括的所述多个卷积层和所述多组第二全连接层收敛后，结束训练，得到所述预设分析模型。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述预设训练集包括多个分数据列表，所述分数据列表与所述预设人脸属性的属性值一一对应，每一所述分数据列表包括具有该分数据列表对应的预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云；每一所述分数据列表的输入批量数目相同；或者
所述预设训练集包括一个总数据列表，所述总数据列表包括每一预设人脸属性的属性值的样本二维人脸图像和样本三维人脸点云的数目相同。
8.一种人脸属性分析装置，其特征在于，所述装置包括：
第一获取单元，用于获取目标人脸的基础二维人脸图像和基础三维人脸点云；
渲染单元，用于将所述基础三维人脸点云渲染到二维图像，得到渲染二维人脸图像；
叠加单元，用于叠加所述基础二维人脸图像和所述渲染二维人脸图像，得到目标输入数据；
预测单元，用于将所述目标输入数据输入预设分析模型，得到所述目标人脸的多种预设人脸属性的目标属性值，所述预设分析模型为利用预设训练集对预设神经网络进行训练得到的模型，所述预设训练集包括多个样本人脸的样本二维人脸图像和样本三维人脸点云，以及每一所述样本人脸的多种预设人脸属性的样本属性值。
9.根据权利要求8所述的装置，其特征在于，所述渲染单元，包括：
对齐子单元，用于利用标准迭代最近点算法，将所述基础三维人脸点云对齐到统一模板，得到标准三维人脸点云；
渲染子单元，用于利用深度缓冲算法，将所述标准三维人脸点云渲染到二维图像，得到渲染二维人脸图像。
10.一种人脸属性分析系统，其特征在于，所述人脸属性分析系统包括二维传感器、三维传感器和处理器；
所述二维传感器，用于采集目标人脸的基础二维人脸图像；
所述三维传感器，用于采集所述目标人脸的基础三维人脸点云；
所述处理器，用于基于所述基础二维人脸图像和所述基础三维人脸点云，执行权利要求1-7任一项所述的方法步骤。
CN202010329192.6A 2020-04-23 2020-04-23 一种人脸属性分析方法及装置 Active CN113643348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329192.6A CN113643348B (zh) 2020-04-23 2020-04-23 一种人脸属性分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329192.6A CN113643348B (zh) 2020-04-23 2020-04-23 一种人脸属性分析方法及装置

Publications (2)

Publication Number Publication Date
CN113643348A true CN113643348A (zh) 2021-11-12
CN113643348B CN113643348B (zh) 2024-02-06

Family

ID=78414826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329192.6A Active CN113643348B (zh) 2020-04-23 2020-04-23 一种人脸属性分析方法及装置

Country Status (1)

Country Link
CN (1) CN113643348B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071814A1 (en) * 2012-09-10 2014-03-13 Sap Ag System and method for predictive network congestion control
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN106909873A (zh) * 2016-06-21 2017-06-30 湖南拓视觉信息技术有限公司 人脸识别的方法和装置
CN107944435A (zh) * 2017-12-27 2018-04-20 广州图语信息科技有限公司 一种三维人脸识别方法、装置及处理终端
CN108363995A (zh) * 2018-03-19 2018-08-03 百度在线网络技术（北京）有限公司 用于生成数据的方法和装置
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN108520204A (zh) * 2018-03-16 2018-09-11 西北大学 一种人脸识别方法
CN109190514A (zh) * 2018-08-14 2019-01-11 电子科技大学 基于双向长短期记忆网络的人脸属性识别方法及系统
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071814A1 (en) * 2012-09-10 2014-03-13 Sap Ag System and method for predictive network congestion control
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN106909873A (zh) * 2016-06-21 2017-06-30 湖南拓视觉信息技术有限公司 人脸识别的方法和装置
CN107944435A (zh) * 2017-12-27 2018-04-20 广州图语信息科技有限公司 一种三维人脸识别方法、装置及处理终端
CN108520204A (zh) * 2018-03-16 2018-09-11 西北大学 一种人脸识别方法
CN108363995A (zh) * 2018-03-19 2018-08-03 百度在线网络技术（北京）有限公司 用于生成数据的方法和装置
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN109190514A (zh) * 2018-08-14 2019-01-11 电子科技大学 基于双向长短期记忆网络的人脸属性识别方法及系统
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FENG LIU 等: "Disentangling Features in 3d Face Shapes for Joint Face Reconstruction and Recognition", 《CVPR》 *
XIANGYU ZHU 等: "Face Alignment Across Large Poses: A 3D Solution", ARXIV:1511.07212V1 [CS.CV], pages 1 - 11 *
YUANCHENG LEE 等: "Accurate and robust face recognition from RGB-D image with a deep learning approach", BMVC *
杨丹婷: "基于轮廓线和曲率信息融合的三维人脸识别方法研究", 中国优秀硕士学位论文全文数据库 *

Also Published As

Publication number Publication date
CN113643348B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US11551333B2 (en) Image reconstruction method and device
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
WO2018107979A1 (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
WO2016023264A1 (zh) 指纹识别方法及其指纹识别装置
EP4002161A1 (en) Image retrieval method and apparatus, storage medium, and device
US20230237771A1 (en) Self-supervised learning method and apparatus for image features, device, and storage medium
Yang et al. Facial expression recognition based on dual-feature fusion and improved random forest classifier
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN111091075A (zh) 人脸识别方法、装置、电子设备及存储介质
CN112949622A (zh) 融合文本与图像的双模态性格分类方法及装置
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
Cai et al. A novel saliency detection algorithm based on adversarial learning model
US20230326173A1 (en) Image processing method and apparatus, and computer-readable storage medium
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN113254491A (zh) 一种信息推荐的方法、装置、计算机设备及存储介质
Ramya et al. 3D facial expression recognition using multi-channel deep learning framework
CN110569775A (zh) 一种识别人体姿势的方法、系统、存储介质及电子设备
CN112580572A (zh) 多任务识别模型的训练方法及使用方法、设备及存储介质
Zhang et al. Facial component-landmark detection with weakly-supervised lr-cnn
CN112699784A (zh) 一种人脸朝向估计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant