CN109522775B - 人脸属性检测方法、装置及电子设备 - Google Patents

人脸属性检测方法、装置及电子设备 Download PDF

Info

Publication number
CN109522775B
CN109522775B CN201710845691.9A CN201710845691A CN109522775B CN 109522775 B CN109522775 B CN 109522775B CN 201710845691 A CN201710845691 A CN 201710845691A CN 109522775 B CN109522775 B CN 109522775B
Authority
CN
China
Prior art keywords
face
region
deep learning
image
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710845691.9A
Other languages
English (en)
Other versions
CN109522775A (zh
Inventor
曾明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710845691.9A priority Critical patent/CN109522775B/zh
Publication of CN109522775A publication Critical patent/CN109522775A/zh
Application granted granted Critical
Publication of CN109522775B publication Critical patent/CN109522775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了人脸属性检测方法、装置及电子设备，其中，该人脸属性检测方法包括：获取待检测图像中的人脸区域；根据待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数；将所确定的输入参数输入至预先训练的深度学习模型进行人脸属性检测，获得待检测图像中人脸区域的人脸属性，其中，预先训练的深度学习模型是：根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对预设深度学习模型进行训练得到的。通过本发明实施例提供的人脸属性检测方法、装置及电子设备，训练得到的深度学习模型的精准度更高，进而能够提高人脸属性检测的精确度。

Description

人脸属性检测方法、装置及电子设备
技术领域
本发明涉及人脸识别技术领域，特别是涉及人脸属性检测方法、装置及电子设备。
背景技术
身份认证是智能安防领域最具威力的手段之一，而无论是基于人脸识别的智能方法还是利用人眼进行人脸识别的人为方法，均是从采集到的图像序列中检测到人脸并进行比对识别。而基于采集的所有图像进行身份认证，使得计算量或工作量成倍地增加，进而导致无法实时地进行身份认证或快速地进行身份认证取证。同时，人脸图像的质量、人脸姿态等因素直接影响身份认证的效果。因此为了保证人脸识别的准确性或人为身份认证和后期取证的有效性，非常有必要对采集的图像进行筛选，而对图像的筛选则依赖于图像的属性值。
已知的用于人脸属性检测的模型训练方法中，将多个人脸图像以及多个人脸图像对应的主观标定人脸图像属性值作为训练样本，训练得到用于检测人脸属性的深度学习模型。
但是，已知的方法中，主观标定有些类型的人脸属性值误差太大，例如，主观标定人脸姿态属性值等，如此使得采用主观标定人脸图像属性值作为训练样本训练得到的深度学习模型，在进行人脸属性检测时检测精确度低，进而使得人脸属性检测的精确度低。
发明内容
本发明实施例的目的在于提供一种人脸属性检测方法、装置及电子设备，以提高人脸属性检测的精确度。具体技术方案如下：
第一方面，本发明实施例提供了一种人脸属性检测方法，包括：
获取待检测图像中的人脸区域；
根据所述待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数；
将所确定的输入参数输入至所述预先训练的深度学习模型进行人脸属性检测，获得所述待检测图像中人脸区域的人脸属性，其中，所述预先训练的深度学习模型是：根据样本图像中人脸区域的关键点，确定预设深度学习模型的输入参数并对所述预设深度学习模型进行训练得到的。
可选的，人脸属性包括：人脸姿态和/或五官状态；
所述预先训练的深度学习模型包括：预先训练的、用于检测人脸姿态的第一深度学习子模型和/或预先训练的、用于检测五官状态的第二深度学习子模型。
可选的，在人脸属性包括所述人脸姿态、所述预先训练的深度学习模型包括所述第一深度学习子模型的情况下，所述第一深度学习子模型的训练过程包括：
获取样本图像中的人脸区域；
提取样本图像中人脸区域的关键点；
针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值；
将样本图像中的每一人脸区域以及每一人脸区域的人脸姿态的属性值作为第一预设深度学习模型的输入参数，对所述第一预设深度学习模型进行训练，得到所述第一深度学习子模型。
可选的，所述人脸姿态包括：人脸偏转角、人脸俯仰角；
所述针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值，包括：
按照以下表达式计算样本图像中每一人脸区域的人脸偏转角和人脸俯仰角：
yaw＝D_r-D_l；
pitch＝(D_p*yaw*TH)/D_e；
其中，yaw表示人脸偏转角，pitch表示人脸俯仰角，D_r表示根据人脸区域的关键点确定的右眼子区域的中心点与根据该人脸区域的关键点确定的人脸中线之间的距离，D_l表示根据人脸区域的关键点确定的左眼子区域的中心点与所述人脸中线之间的距离，D_p表示所述人脸区域的最右上侧的关键点到所述左眼子区域的中心点与所述右眼子区域的中心点连线的垂直距离，D_e表示所述左眼子区域的中心点与所述右眼子区域的中心点之间的距离，TH表示预设阈值。
可选的，所述根据所述待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数，包括：
直接将所述待检测图像中的人脸区域确定为预先训练的深度学习模型的输入参数。
可选的，在人脸属性包括所述五官状态、所述预先训练的深度学习模型包括所述第二深度学习子模型的情况下，所述第二深度学习子模型的训练过程包括：
获取样本图像中的人脸区域；
提取样本图像中人脸区域的关键点；
针对样本图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
获得样本图像中每一人脸区域的五官状态的标定属性值，其中，一个人脸区域的五官状态的标定属性值是根据该人脸区域的五官子区域标定的；
将样本图像中每一人脸区域的五官子区域和每一人脸区域的五官状态的标定属性值作为第二预设深度学习模型的输入参数，对所述第二预设深度学习模型进行训练，得到所述第二深度学习子模型。
可选的，所述根据所述待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数，包括：
提取所述待检测图像中人脸区域的关键点；
针对所述待检测图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
将所确定的五官子区域确定为预先训练的深度学习模型的输入参数。
可选的，在所述获得所述待检测图像中人脸区域的人脸属性之后，所述方法还包括：
获取所述待检测图像中人脸区域的扩展人脸属性；
其中，所述扩展人脸属性包括以下信息中的至少一种：
根据基于预设特征的直方图统计值计算的清晰度、灰阶数、对比度、亮度值、欠过曝比例值、瞳距、颜色。
可选的，所述获取所述待检测图像中人脸区域的扩展人脸属性，包括：
针对所述待检测图像中的每一人脸区域，根据该人脸区域的关键点，提取该人脸区域的感兴趣区域；
基于所述待检测图像中每一人脸区域的感兴趣区域获取每一人脸区域的扩展人脸属性。
可选的，在所述获得所述待检测图像中人脸区域的人脸属性之后，所述方法还包括：
根据所获得的人脸属性，对所述待检测图像进行图像评荐。
第二方面，本发明实施例提供了一种人脸属性检测装置，包括：
第一获取模块，用于获取待检测图像中的人脸区域；
确定模块，用于根据所述待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数；
检测模块，用于将所确定的输入参数输入至所述预先训练的深度学习模型进行人脸属性检测，获得所述待检测图像中人脸区域的人脸属性，其中，所述预先训练的深度学习模型是：根据样本图像中人脸区域的关键点，确定预设深度学习模型的输入参数并对所述预设深度学习模型进行训练得到的。
可选的，人脸属性包括：人脸姿态和/或五官状态；
所述预先训练的深度学习模型包括：预先训练的、用于检测人脸姿态的第一深度学习子模型和/或预先训练的、用于检测五官状态的第二深度学习子模型。
可选的，在人脸属性包括所述人脸姿态、所述预先训练的深度学习模型包括所述第一深度学习子模型的情况下，所述装置包括：
第一获取子模块，用于获取样本图像中的人脸区域；
第一提取子模块，用于提取样本图像中人脸区域的关键点；
计算子模块，用于针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值；
第一训练子模块，用于将样本图像中的每一人脸区域以及每一人脸区域的人脸姿态的属性值作为第一预设深度学习模型的输入参数，对所述第一预设深度学习模型进行训练，得到所述第一深度学习子模型。
可选的，所述人脸姿态包括：人脸偏转角、人脸俯仰角；
所述计算子模块具体用于，按照以下表达式计算样本图像中每一人脸区域的人脸偏转角和人脸俯仰角：
yaw＝D_r-D_l；
pitch＝(D_p*yaw*TH)/D_e；
其中，yaw表示人脸偏转角，pitch表示人脸俯仰角，D_r表示根据人脸区域的关键点确定的右眼子区域的中心点与根据该人脸区域的关键点确定的人脸中线之间的距离，D_l表示根据人脸区域的关键点确定的左眼子区域的中心点与所述人脸中线之间的距离，D_p表示所述人脸区域的最右上侧的关键点到所述左眼子区域的中心点与所述右眼子区域的中心点连线的垂直距离，D_e表示所述左眼子区域的中心点与所述右眼子区域的中心点之间的距离，TH表示预设阈值。
可选的，所述确定模块具体用于，直接将所述待检测图像中的人脸区域确定为预先训练的深度学习模型的输入参数。
可选的，在人脸属性包括所述五官状态、所述预先训练的深度学习模型包括所述第二深度学习子模型的情况下，所述装置包括：
第二获取子模块，用于获取样本图像中的人脸区域；
第二提取子模块，用于提取样本图像中人脸区域的关键点；
确定子模块，用于针对样本图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
获得子模块，用于获得样本图像中每一人脸区域的五官状态的标定属性值，其中，一个人脸区域的五官状态的标定属性值是根据该人脸区域的五官子区域标定的；
第二训练子模块，用于将样本图像中每一人脸区域的五官子区域和每一人脸区域的五官状态的标定属性值作为第二预设深度学习模型的输入参数，对所述第二预设深度学习模型进行训练，得到所述第二深度学习子模型。
可选的，所述确定模块，包括：
第三提取子模块，用于提取所述待检测图像中人脸区域的关键点；
第二确定子模块，用于针对所述待检测图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
第三确定子模块，用于将所确定的五官子区域确定为预先训练的深度学习模型的输入参数。
可选的，所述装置还包括：
第二获取模块，用于获取所述待检测图像中人脸区域的扩展人脸属性；
其中，所述扩展人脸属性包括以下信息中的至少一种：
根据基于预设特征的直方图统计值计算的清晰度、灰阶数、对比度、亮度值、欠过曝比例值、瞳距、颜色。
可选的，所述第二获取模块包括：
提取感兴趣区域子模块，用于针对所述待检测图像中的每一人脸区域，根据该人脸区域的关键点，提取该人脸区域的感兴趣区域；
第三获取子模块，用于基于所述待检测图像中每一人脸区域的感兴趣区域获取每一人脸区域的扩展人脸属性。
可选的，所述装置还包括：
评荐模块，用于根据所获得的人脸属性，对所述待检测图像进行图像评荐。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现第一方面所述的方法步骤。
本发明实施例提供的人脸属性检测方法、装置及电子设备，可以利用根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数，并对预设深度学习模型进行训练得到的深度学习模型，进行人脸属性的检测。相比较于已知方法中，利用直接根据样本图像以及主观标定的人脸图像属性值作为训练样本，训练得到的深度学习模型，进行人脸属性的检测，本发明实施例提供的人脸属性检测方法、装置及电子设备中，通过样本图像中人脸区域的关键点确定用于训练深度学习模型的输入参数，训练得到的深度学习模型的精准度更高，能够更加准确地检测人脸属性，进而提高人脸属性检测的精确度。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸属性检测方法的流程图；
图2为本发明实施例提供的训练方法的流程图；
图3为本发明实施例中人脸区域的示意图；
图4为本发明实施例中人脸区域关键点的分布示意图；
图5为本发明实施例中第一深度学习子模型的训练过程示意图；
图6为本发明实施例中人脸偏转角和人脸俯仰角的示意图；
图7(a)为本发明实施例中人脸偏转角计算参数示意图；
图7(b)为本发明实施例中人脸俯仰角计算参数示意图；
图8为本发明实施例中第二深度学习子模型的训练过程流程图；
图9(a)为本发明实施例中左眼子区域示意图；
图9(b)为本发明实施例中右眼子区域示意图；
图9(c)为本发明实施例中嘴巴子区域示意图；
图10为本发明实施例提供的检测人脸姿态过程的流程图；
图11为本发明实施例提供的检测五官状态过程的流程图；
图12为本发明实施例中利用人脸属性进行图像评荐的过程示意图；
图13为本发明实施例提供的人脸属性检测装置的结构示意图；
图14为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种人脸属性检测方法，图1为本发明实施例提供的人脸属性检测方法的流程图，参照图1，对本发明实施例提供的人脸属性检测方法进行详细说明，包括：
步骤101，获取待检测图像中的人脸区域。
本发明实施例提供的人脸属性检测方法可以应用于电子设备，其中，该电子设备可以包括台式计算机、便携式计算机、智能移动终端等。
在本发明实施中，电子设备获取待检测图像中的人脸区域。
步骤102，根据待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数。
本发明实施例中，是通过深度学习模型检测人脸属性，其中一个重要的过程是确定深度学习模型的输入参数。具体地，根据待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数，可以直接将待检测图像中的人脸区域确定为预先训练的深度学习模型的输入参数；也可以对该待检测图像中的人脸区域进行处理，将处理后的结果确定为该预先训练的深度学习模型的输入参数。
步骤103，将所确定的输入参数输入至该预先训练的深度学习模型进行人脸属性检测，获得该待检测图像中人脸区域的人脸属性，其中，该预先训练的深度学习模型是：根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的。
确定出预先训练的深度学习模型的输入参数后，将该输入参数输入至该预先训练的深度学习模型，则可获得该待检测图像中人脸区域的人脸属性。具体地，人脸属性可以包括：人脸姿态、五官状态等；对应的，预先训练的深度学习模型包括：预先训练的、用于检测人脸姿态的第一深度学习子模型、预先训练的、用于检测五官状态的第二深度学习子模型等。
本发明实施例提供的人脸属性检测方法中，输入至预先训练的用于检测人脸属性的深度学习模型的输入参数，是根据待检测图像中的人脸区域确定的，并且该预先训练的用于检测人脸属性的深度学习模型是根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的，如此使得通过该深度学习模型得到的人脸属性更加准确。
为了更加清楚地说明人脸属性检测方法的过程，首先对训练用于检测人脸属性的深度学习模型的训练过程进行详细说明。
图2为本发明实施例提供的训练方法的流程图，参照图2，对本发明实施例提供的训练方法进行详细说明，该方法包括：
步骤201，获取样本图像中的人脸区域。
本发明实施例提供的用于人脸属性检测的模型训练可以应用于电子设备，其中，该电子设备可以包括台式计算机、便携式计算机、智能移动终端等。
样本图像中除了人脸区域还可以包括其他部分，例如，景色、物品等，而在本发明实施例中，训练该深度学习模型是用于检测人脸属性，为了可以更加精准地定位人脸，在本发明实施例中，电子设备获取样本图像中的人脸区域。
为了提高训练的准确性，电子设备可以获取一定数量的样本图像的人脸区域，如100张、500张、1000张等。获取到的样本图像的人脸区域如图3中检测框301所示。
步骤202，提取样本图像中人脸区域的关键点。
其中，上述关键点可以理解为用于描述人脸区域的像素点，例如，关键点可以是以下类型中的至少一种：
用于表征眼睛、鼻子、嘴巴等五官所在区域的像素点；用于表征人脸轮廓的像素点等等。
电子设备提取样本图像中人脸区域的关键点，其中，该关键点可以是人脸区域的特征点等，具体地可以通过Hessian(黑塞)矩阵提取样本图像中人脸区域的关键点。提取图3所示样本图像的人脸区域的关键点的分布如图4所示，提取到人脸区域中标号为1至53的关键点。需要说明的是，本发明实施例不对提取样本图像中人脸区域的关键点的方式进行限制，任一可以实现提取样本图像中人脸区域的关键点的方式都在本发明的保护范围内。
步骤203，根据所提取的关键点确定预设深度学习模型的输入参数。
训练深度学习模型的过程中，训练样本的精准与否直接决定训练得到的深度学习模型的性能。所以本发明实施例在进行训练的过程中，根据所提取的关键点确定预设深度学习模型的输入参数，即根据所提取的关键点确定训练深度学习模型的训练样本。
步骤204，将所确定的输入参数输入至该预设深度学习模型，通过检测样本图像中人脸区域的人脸属性，对该预设深度学习模型进行训练，获得用于检测人脸属性的深度学习模型。
将根据所提取的关键点确定的预设深度学习模型的输入参数，输入至该预设深度学习模型，检测样本图像中人脸区域的人脸属性，并对得到的人脸属性与参考属性值进行比较，不断地对预设深度学习模型进行调节，如此反复操作，使得最后得到的人脸属性与参考属性值相同，完成一次训练。经过对一定数量的样本图像的人脸区域进行上述处理，不断地进行上述训练过程，最终得到用于检测人脸属性的深度学习模型。其中，一定数量的样本图像如100张、500张、1000张等。
本发明实施例提供的训练方法，通过提取样本图像中人脸区域的关键点，并根据所提取的关键点确定训练深度学习模型的输入参数，将所确定的输入参数输入至该预设深度学习模型，通过检测样本图像中人脸区域的人脸属性，对该预设深度学习模型进行训练，训练得到用于检测人脸属性的深度学习模型。根据所提取的样本图像中人脸区域的关键点确定训练深度学习模型的输入参数，能够更好地选择训练样本，如此能够更好地训练深度学习模型，使得训练得到的深度学习模型的精准度更高，且能够更加准确地检测人脸属性。
人脸属性包括多种类型，例如，人脸姿态属性、五官区域属性等等。本发明实施例提供的用于人脸属性检测的模型训练方法，可以用于检测多种类型的人脸属性。具体地可以用于检测人脸姿态、检测五官状态等。对应地，深度学习模型包括：用于检测人脸姿态的第一深度学习子模型和/或用于检测五官状态的第二深度学习子模型。
下面结合具体实施例，对本发明实施例所提供的深度学习模型的训练方法进行详细说明。
该具体实施例中，深度学习模型包括用于检测人脸姿态的第一深度学习子模型。
图5为本发明实施例中第一深度学习子模型的训练过程示意图，参照图5对用于检测人脸姿态的第一深度学习子模型的训练过程进行详细说明，包括：
步骤501，获取样本图像中的人脸区域。
步骤502，提取样本图像中人脸区域的关键点。
步骤503，针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值。
本发明实施例中人脸姿态可以包括：人脸偏转角、人脸俯仰角，如图6所示，该人脸偏转角是沿y轴旋转的角度，该人脸俯仰角是沿x轴旋转的角度。
针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值，包括：采用该人脸区域的关键点计算该人脸区域的人脸偏转角和人脸俯仰角。
具体地，可以按照以下表达式计算样本图像中每一人脸区域的人脸偏转角和人脸俯仰角：
yaw＝D_r-D_l；
pitch＝(D_p*yaw*TH)/D_e；
其中，yaw表示人脸偏转角，pitch表示人脸俯仰角，D_r表示根据人脸区域的关键点确定的右眼子区域的中心点与根据该人脸区域的关键点确定的人脸中线之间的距离，如图7(a)中横线701所示，D_l表示根据人脸区域的关键点确定的左眼子区域的中心点与人脸中线之间的距离，如图7(a)中横线702所示，其中，根据该人脸区域的关键点确定的人脸中线，如图7(a)中竖线703所示，D_p表示人脸区域的最右上侧的关键点到左眼子区域的中心点与右眼子区域的中心点连线的垂直距离，如图7(b)中竖线704所示，D_e表示左眼子区域的中心点与右眼子区域的中心点之间的距离，如图7(b)中横线705所示，TH表示预设阈值。
步骤504，将样本图像中的每一人脸区域以及每一人脸区域的人脸姿态的属性值作为第一预设深度学习模型的输入参数，对第一预设深度学习模型进行训练，得到第一深度学习子模型。
每一个样本图像中的人脸区域对应地计算出该人脸区域的人脸姿态的属性值，如此能够获得可以量化的人脸姿态的角度标定值。分别将每一人脸区域、以及该人脸区域对应的人脸姿态属性值输入第一预设深度学习模型，训练得到第一深度学习子模型。
本具体实施例中，步骤501-502与上述实施例中的步骤201-步骤202相同，在此不做赘述。
该实施例中，通过人脸区域的关键点计算人脸姿态的属性值，如此能够获得可以量化的人脸姿态的角度标定值。而本实施例中，是将人脸区域、以及人脸区域对应的人脸姿态属性值作为训练第一深度学习模型的训练样本。通过人脸区域的关键点计算人脸姿态的属性值，能够计算得到更加精准地训练样本，进而训练得到精度更高的用于检测人脸姿态的深度学习模型，能够准确地获取人脸姿态的属性值。
下面结合另一具体实施例，对本发明实施例所提供的深度学习模型的训练方法进行详细说明。
该具体实施例中，深度学习模型包括用于检测五官状态的第二深度学习子模型。
图8为本发明实施例中第二深度学习子模型的训练过程流程图，参照图8对用于检测五官状态的第二深度学习子模型的训练过程进行详细说明，包括：
步骤801，获取样本图像中的人脸区域。
步骤802，提取样本图像中人脸区域的关键点。
步骤803，针对样本图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域。
五官子区域可以包括眼睛子区域、嘴巴子区域等。眼睛子区域可以包括左眼子区域、右眼子区域，本申请仅仅以上述为例进行说明，五官子区域还可以包括鼻子子区域、耳朵子区域等等，本申请并不对此进行限定。具体地，可以提取样本图像中人脸区域的预设数量个关键点和人脸检测框，根据不同关键点分布位置的不同，确定左眼子区域、右眼子区域、嘴巴子区域等。例如，提取人脸区域的如图4所示的标号为1至53的关键点，基于关键点[19-24、49、10、0-4]确定左眼子区域，确定出的左眼子区域如图9(a)所示；基于关键点[25-30、51、10、5-9]确定右眼子区域，确定出的右眼子区域如图9(b)所示；基于关键点[31-48]确定嘴巴子区域，确定出的嘴巴子区域如图9(c)所示。
步骤804，获得样本图像中每一人脸区域的五官状态的标定属性值，其中，一个人脸区域的五官状态的标定属性值是根据该人脸区域的五官子区域标定的。
根据该人脸区域的关键点确定该人脸区域中的五官子区域后，例如，左眼子区域、右眼子区域和嘴巴子区域，对应地获得根据五官子区域标定的五官状态的标定属性值，例如，眼睛睁或闭、嘴巴张或合的情况。
步骤805，将样本图像中每一人脸区域的五官子区域和每一人脸区域的五官状态的标定属性值作为第二预设深度学习模型的输入参数，通过检测样本图像中人脸区域的五官状态，对该第二预设深度学习模型进行训练，获得用于检测五官状态的第二深度学习子模型。
每一人脸区域的五官子区域、对应地确定出一个五官状态的标定属性值，将五官子区域和该五官子区域对应的五官状态的标定属性值作为训练样本，输入至第二预设深度学习模型，训练得到用于检测五官状态的第二深度学习子模型。具体地，当五官子区域包括左眼子区域或右眼子区域，将左眼子区域或右眼子区域，以及根据左眼子区域或右眼子区域标定的眼睛睁或闭的情况作为训练样本，训练用于检测眼睛睁或闭的情况的深度学习模型；当五官子区域包括嘴巴子区域时，将嘴巴区域、以及根据该嘴巴区域标定的嘴巴张或合的情况作为训练样本，训练用于检测嘴巴张或合的情况的深度学习模型。
本具体实施例中，步骤801-802与上述实施例中的步骤201-步骤202相同，在此不做赘述。
该实施例中，通过样本图像中人脸区域的关键点确定五官子区域，获得根据五官子区域标定的五官状态的标定属性值，将五官子区域、以及该五官子区域对应的五官状态的标定属性值作为训练样本，可以更加高效、自动化地、精准地获取训练样本，如此使得训练得到的用于检测五官状态的深度学习模型精度更高，能够更加准确地检测人脸属性中的五官状态。
本发明实施例一种可选的实施例中，人脸属性可以包括人脸姿态，预先训练的深度学习模型包括第一深度学习子模型，这种情况下，预先训练用于检测人脸姿态的第一深度学习子模型的训练过程包括：
第一步，获取样本图像中的人脸区域。
第二步，提取样本图像中人脸区域的关键点。
第三步，针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值。
第四步，将样本图像中的每一人脸区域以及每一人脸区域的人脸姿态的属性值作为第一预设深度学习模型的输入参数，对第一预设深度学习模型进行训练，得到第一深度学习子模型。
用于检测人脸姿态的第一深度学习子模型的训练过程在上述图5所示的实施例中已经进行了详细地介绍，此处不再赘述。
第一深度学习子模型训练完成后，即可根据该第一深度学习子模型检测待检索图像的人脸区域的人脸姿态。
图10为本发明实施例提供的检测人脸姿态过程的流程图，参照图10对本发明实施例提供的检测人脸姿态的过程进行详细描述，包括：
步骤1001，获取待检测图像中的人脸区域。
步骤1002，直接将待检测图像中的人脸区域确定为预先训练的第一深度学习子模型的输入参数。
具体地可以理解为，将待检索图像中的人脸区域输入该预先训练的第一深度学习模型，以得到该待检索图像中的人脸区域的人脸姿态的属性值。
步骤1003，将所确定的输入参数输入至该预先训练的第一深度学习子模型进行人脸姿态检测，获得该待检测图像中人脸区域的人脸姿态，其中，该预先训练的第一深度学习子模型是：根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的。
该实施例中，步骤1001与上述实施例中步骤101的过程类似，步骤1003与上述实施例中步骤103的过程类似，此处不再赘述。
该实施例中，用于检测人脸姿态的第一深度学习子模型是根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的，训练得到的该第一深度学习子模型能够更加精准地获取人脸姿态的属性值，将待检测图像中的人脸区域直接输入该预先训练的第一深度学习子模型中，能够提高得到的人脸姿态的属性值的准确性。
可选的，人脸姿态可以包括：人脸偏转角、人脸俯仰角；
针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值，包括：
按照以下表达式计算样本图像中每一人脸区域的人脸偏转角和人脸俯仰角：
yaw＝D_r-D_l；
pitch＝(D_p*yaw*TH)/D_e；
其中，yaw表示人脸偏转角，pitch表示人脸俯仰角，D_r表示根据人脸区域的关键点确定的右眼子区域的中心点与根据该人脸区域的关键点确定的人脸中线之间的距离，D_l表示根据人脸区域的关键点确定的左眼子区域的中心点与人脸中线之间的距离，D_p表示人脸区域的最右上侧的关键点到左眼子区域的中心点与右眼子区域的中心点连线的垂直距离，D_e表示左眼子区域的中心点与右眼子区域的中心点之间的距离，TH表示预设阈值。
本发明实施例另一种可选的实施例中，人脸属性包括五官状态，预先训练的深度学习模型包括第二深度学习子模型，这种情况下，用于检测五官状态的第二深度学习子模型的训练过程包括：
第一步，获取样本图像中的人脸区域。
第二步，提取样本图像中人脸区域的关键点。
第三步，针对样本图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域。
第四步，获得样本图像中每一人脸区域的五官状态的标定属性值，其中，一个人脸区域的五官状态的标定属性值是根据该人脸区域的五官子区域标定的。
第五步，将样本图像中每一人脸区域的五官子区域和每一人脸区域的五官状态的标定属性值作为第二预设深度学习模型的输入参数，对第二预设深度学习模型进行训练，得到第二深度学习子模型。
用于检测五官状态的第二深度学习子模型的训练过程在上述图8所示的实施例中已经进行了详细地介绍，此处不再赘述。
第二深度学习子模型训练完成后，即可根据该第二深度学习子模型检测待检索图像的人脸区域的五官状态。
图11为本发明实施例提供的检测五官状态过程的流程图，参照图11对本发明实施例提供的检测五官状态的过程进行详细描述，包括：
步骤1101，获取待检测图像中的人脸区域。
步骤1102，提取待检测图像中人脸区域的关键点。
具体地提取待检测图像中人脸区域的关键点的方式可参照上述实施例中步骤102的过程。
步骤1103，针对待检测图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域。
具体地，五官子区域可以包括：左眼子区域、右眼子区域、嘴巴子区域等。具体地，根据该人脸区域的关键点确定该人脸区域中的五官子区域的过程可以参照上述实施例中步骤803的过程。
步骤1104，将所确定的五官子区域确定为预先训练的第二深度学习模型的输入参数。
简单可以理解为，将所确定的五官子区域输入预先训练的第二深度学习模型，以得到五官子区域对应的五官状态。具体地，当根据人脸区域的关键点确定的五官子区域为左眼子区域，则将该左眼子区域输入至预先训练的第二深度学习模型，以得到左眼子区域对应的左眼的睁或闭的情况；当根据人脸区域的关键点确定的五官子区域为右眼子区域，则将该右眼子区域输入至预先训练的第二深度学习模型，以得到右眼子区域对应的左眼的睁或闭的情况；当根据人脸区域的关键点确定的五官子区域为嘴巴子区域，则将该嘴巴子区域输入至预先训练的第二深度学习模型，以得到嘴巴子区域对应的嘴巴的张或合的情况。实际应用过程中，用于检测左眼子区域和右眼子区域的眼睛的睁或闭的情况可以使用独立的模型，也可以使用同一个模型。
步骤1105，将所确定的输入参数输入至该预先训练的第二深度学习子模型进行五官状态检测，获得该待检测图像中人脸区域的五官状态，其中，该预先训练的第二深度学习子模型是：根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的。
该实施例中，步骤1101与上述实施例中步骤101的过程类似，步骤1105与上述实施例中步骤103的过程类似，此处不再赘述。
该实施例中，用于检测人五官状态的深度学习模型是根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的，训练得到的该第二深度学习子模型能够更加精准地获取五官状态的属性值，同时根据人脸区域的关键点确定五官子区域，将五官子区域输入至该预先训练的第二深度学习子模型，能够提高得到的人脸姿态的属性值的准确性。
本发明实施例提供的人脸属性检测方法还可以包括：获取待检测图像中人脸区域的扩展人脸属性；其中，该扩展人脸属性包括以下信息中的至少一种：
根据基于预设特征的直方图统计值计算的清晰度、灰阶数、对比度、亮度值、欠过曝比例值、瞳距、颜色。
具体地，可以基于sobel算子获取人脸区域的直方图统计值，并按照统计值由大到小的顺序提取直方图统计值靠前的预设数量个sobel特征值，例如，上述预设数量的取值可以为3，这三个sobel特征值分别记为：val1、val2和val3，基于val1、val2和val3这三个特征值与阈值T1、T2、T3之间的大小关系、以及这三个特征值两两之间的差值与阈值T1’、T2’、T3’之间的大小关系，计算待检测图像中人脸区域的清晰度。
在待检索图像的人脸区域中，频率在阈值T以上的BIN(直条)数即为灰阶数。通过计算待检索图像中人脸区域的灰度直方图中各个BIN和灰度直方图均值的方差值，计算待检索图像中人脸区域的对比度。通过计算待检索图像中人脸区域的基于Y通道的平均值，计算待检索图像中人脸区域的亮度值。通过统计Y通道值低于阈值T_min的像素点比率值和Y通道值高于阈值T_max的像素点比率值，确定待检索图像中人脸区域的欠过曝比例值。通过左眼子区域的中心点与右眼子区域的中心点之间的距离确定瞳距。
因为待检索图像中人脸区域的感兴趣区域能够精准地定位人脸，例如，感兴趣的五官区域，为了使得获取人脸属性的过程具有抗干扰性，在本发明实施例一种可选的实施方式中，可以针对待检测图像中的每一人脸区域，根据该人脸区域的关键点，提取该人脸区域的感兴趣区域，基于该待检测图像中每一人脸区域的感兴趣区域获取每一人脸区域的扩展人脸属性，其中，扩展人脸属性可以包括上述的待检索图像中人脸区域的清晰度、灰阶数、对比度、亮度值、欠过曝比例值、瞳距、颜色等。另外，因为眼睛区域的清晰度对外界因素最敏感，在本发明实施例一种可选的实施方式中，可以将根据眼睛区域计算的清晰度确定为人脸区域的清晰度。
通过本发明实施例提供的人脸属性检测方法，可以针对不同属性的不同特点，选择合适的属性检测方法，例如，利用深度学习模型获取人脸姿态的属性值、五官状态，基于预设特征的直方图统计值计算清晰度等，如此能够实现高效地、精准地获取人脸属性值。
本发明实施例获取到人脸属性之后，还可以将该人脸属性用于多种应用场景，例如，特征匹配、图像筛选等。本发明实施例一种可选的实施例中，根据所获得的人脸属性，对待检测图像进行图像评荐。具体地，根据所获得的人脸属性，选取出满足要求的图像。根据不同的要求，推荐不同人脸属性的图像。例如，当评荐用于人脸识别和安防领域中身份认证的图像时，选择人脸姿态、清晰度等满足要求的图像。
图12为本发明实施例中利用人脸属性进行图像评荐的过程示意图，参照图12对本发明实施例中利用人脸属性进行图像评荐的过程进行详细说明。
该实施例中，以评荐用于人脸识别和安防领域中身份认证的图像，对利用人脸属性进行图像评荐的过程进行举例说明。
获取当前图像的人脸属性，根据当前图像的人脸属性与预设最佳图像的人脸属性之间的关系，进行图像评荐。因为人脸姿态，例如，人脸偏转角和人脸俯仰角是人脸识别和安防领域中身份认证领域首当其冲考虑的因素，所以本发明实施例一种可选的实施方式中，计算预设最佳图像人脸偏转角的绝对值、与当前图像人脸偏转角的绝对值的差值，若该差值大于第一角度阈值时，则更新当前图像为最佳图像。计算预设最佳图像人脸俯仰角的绝对值、与当前图像人脸俯仰角的绝对值的差值，若该差值大于第二角度阈值时，则更新当前图像为最佳图像。例如，计算预设最佳图像的人脸偏转角的绝对值、与当前图像的人脸偏转角的绝对值的差值是否大于角度阈值6，计算预设最佳图像的人脸俯仰角的绝对值、与当前图像的人脸俯仰角的绝对值的差值是否大于角度阈值10等。因为清晰度越高的图像越有利于人脸识别或者安防取证等，所以在本发明实施例另一种可选的实施方式中，在计算人脸姿态的基础上，还可以计算当前图像的清晰度与预设最佳图像的清晰度的差值是否大于清晰度阈值，若该差值大于清晰度阈值时，则更新当前图像为最佳图像。在本发明实施例另一种可选的实施方式中，在计算人脸姿态、清晰度的基础上，还可以考虑眼睛睁或闭、嘴巴张或合的情况，在眼睛为睁、嘴巴为张的情况下，更新当前图像为最佳图像。另外，还可以综合考虑灰阶数、对比度、亮度值、欠过曝比例值、瞳距等属性，例如，根据待检索图像中人脸区域的灰阶数、对比度、亮度值、欠过曝比例值、瞳距计算综合评价分数，综合评价分数score＝a1*灰阶数+a2*对比度-a3*(亮度-128)-a4*欠曝比例值-a5*欠过曝比例值+a6*瞳距，其中，a1、a2、a3、a4、a5、a6表示权重，符号“*”表示相乘。在当前图像的该综合评价分数大于预设最佳图像的该综合评价分数时，更新当前图像为最佳图像。另外，因为彩色图像相比较于黑白图像可以提供更多的人脸信息，所以本发明实施例一种可选的实施例中，在考虑上述属性的基础上，还可以判断当前图像是否为彩色图像，如果为彩色图像，则更新当前图像为最佳图像。
可以看出，本发明实施例中利用人脸属性进行图像评荐，根据图像的人脸姿态、清晰度、五官状态等属性对图像进行评荐，使得对图像的评荐更加符合实际应用要求。
本发明实施例还提供了一种人脸属性检测装置，图13为本发明实施例提供的人脸属性检测装置的结构示意图，参照图13，对该装置进行详细说明，该装置包括：
第一获取模块1301，用于获取待检测图像中的人脸区域。
确定模块1302，用于根据该待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数。
检测模块1303，用于将所确定的输入参数输入至该预先训练的深度学习模型进行人脸属性检测，获得该待检测图像中人脸区域的人脸属性，其中，该预先训练的深度学习模型是：根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的。
本发明实施例提供的人脸属性检测装置中，输入至预先训练的用于检测人脸属性的深度学习模型的输入参数是根据待检测图像中的人脸区域确定的，并且该预先训练的用于检测人脸属性的深度学习模型是根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的，如此使得得到的人脸属性更加准确。
可选的，人脸属性包括：人脸姿态和/或五官状态；
该预先训练的深度学习模型包括：预先训练的、用于检测人脸姿态的第一深度学习子模型和/或预先训练的、用于检测五官状态的第二深度学习子模型。
可选的，在人脸属性包括该人脸姿态、该预先训练的深度学习模型包括该第一深度学习子模型的情况下，该装置包括：
第一获取子模块，用于获取样本图像中的人脸区域；
第一提取子模块，用于提取样本图像中人脸区域的关键点；
计算子模块，用于针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值；
第一训练子模块，用于将样本图像中的每一人脸区域以及每一人脸区域的人脸姿态的属性值作为第一预设深度学习模型的输入参数，对该第一预设深度学习模型进行训练，得到该第一深度学习子模型。
可选的，该人脸姿态包括：人脸偏转角、人脸俯仰角；
该计算子模块具体用于，按照以下表达式计算样本图像中每一人脸区域的人脸偏转角和人脸俯仰角：
yaw＝D_r-D_l；
pitch＝(D_p*yaw*TH)/D_e；
其中，yaw表示人脸偏转角，pitch表示人脸俯仰角，D_r表示根据人脸区域的关键点确定的右眼子区域的中心点与根据该人脸区域的关键点确定的人脸中线之间的距离，D_l表示根据人脸区域的关键点确定的左眼子区域的中心点与该人脸中线之间的距离，D_p表示该人脸区域的最右上侧的关键点到该左眼子区域的中心点与该右眼子区域的中心点连线的垂直距离，D_e表示该左眼子区域的中心点与该右眼子区域的中心点之间的距离，TH表示预设阈值。
可选的，该确定模块1302具体用于，直接将该待检测图像中的人脸区域确定为预先训练的深度学习模型的输入参数。
可选的，在人脸属性包括该五官状态、该预先训练的深度学习模型包括该第二深度学习子模型的情况下，该装置包括：
第二获取子模块，用于获取样本图像中的人脸区域；
第二提取子模块，用于提取样本图像中人脸区域的关键点；
确定子模块，用于针对样本图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
获得子模块，用于获得样本图像中每一人脸区域的五官状态的标定属性值，其中，一个人脸区域的五官状态的标定属性值是根据该人脸区域的五官子区域标定的；
第二训练子模块，用于将样本图像中每一人脸区域的五官子区域和每一人脸区域的五官状态的标定属性值作为第二预设深度学习模型的输入参数，对该第二预设深度学习模型进行训练，得到该第二深度学习子模型。
可选的，该确定模块1302，包括：
第三提取子模块，用于提取该待检测图像中人脸区域的关键点；
第二确定子模块，用于针对该待检测图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
第三确定子模块，用于将所确定的五官子区域确定为预先训练的深度学习模型的输入参数。
可选的，该装置还包括：
第二获取模块，用于获取该待检测图像中人脸区域的扩展人脸属性；
其中，该扩展人脸属性包括以下信息中的至少一种：
根据基于预设特征的直方图统计值计算的清晰度、灰阶数、对比度、亮度值、欠过曝比例值、瞳距、颜色。
可选的，该第二获取模块包括：
提取感兴趣区域子模块，用于针对该待检测图像中的每一人脸区域，根据该人脸区域的关键点，提取该人脸区域的感兴趣区域；
第三获取子模块，用于基于该待检测图像中每一人脸区域的感兴趣区域获取每一人脸区域的扩展人脸属性。
可选的，该装置还包括：
评荐模块，用于根据所获得的人脸属性，对该待检测图像进行图像评荐。
需要说明的是，本发明实施例的人脸属性检测装置是应用上述人脸属性检测方法的装置，则上述用于人脸属性检测方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例还提供了一种电子设备，如图14所示，包括处理器1401、通信接口1402、存储器1403和通信总线1404，其中，处理器1401，通信接口1402，存储器1403通过通信总线1404完成相互间的通信，
存储器1403，用于存放计算机程序；
处理器1401，用于执行存储器1403上所存放的程序时，实现如下步骤：
获取待检测图像中的人脸区域；
根据该待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数；
将所确定的输入参数输入至该预先训练的深度学习模型进行人脸属性检测，获得该待检测图像中人脸区域的人脸属性，其中，该预先训练的深度学习模型是：根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的电子设备中，输入至预先训练的用于检测人脸属性的深度学习模型的输入参数是根据待检测图像中的人脸区域确定的，并且该预先训练的用于检测人脸属性的深度学习模型是根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的，如此使得得到的人脸属性更加准确。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时实现如下方法步骤：
获取样本图像中的人脸区域；
提取样本图像中人脸区域的关键点；
根据所提取的关键点确定预设深度学习模型的输入参数；
将所确定的输入参数输入至预设深度学习模型，通过检测样本图像中人脸区域的人脸属性，对预设深度学习模型进行训练，获得用于检测人脸属性的深度学习模型。
本发明实施例提供的计算机可读存储介质，通过提取样本图像中人脸区域的关键点，并根据所提取的关键点确定训练深度学习模型的输入参数，训练用于检测人脸属性的深度学习模型。根据所提取的样本图像中人脸区域的关键点确定训练深度学习模型的输入参数，能够更好地选择训练样本，如此能够更好地训练深度学习模型，使得训练得到的深度学习模型的精准度更高，且能够更加准确地检测人脸属性。
本发明实施例还提供了另一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时实现如下方法步骤：
获取待检测图像中的人脸区域；
根据该待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数；
将所确定的输入参数输入至该预先训练的深度学习模型进行人脸属性检测，获得该待检测图像中人脸区域的人脸属性，其中，该预先训练的深度学习模型是：根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的。
本发明实施例提供的计算机可读存储介质中，输入至预先训练的用于检测人脸属性的深度学习模型的输入参数是根据待检测图像中的人脸区域确定的，并且该预先训练的用于检测人脸属性的深度学习模型是根据样本图像中人脸区域的关键点确定预设深度学习模型的输入参数并对该预设深度学习模型进行训练得到的，如此使得得到的人脸属性更加准确。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (15)

1.一种人脸属性检测方法，其特征在于，包括：
获取待检测图像中的人脸区域；
提取所述待检测图像中人脸区域的关键点；
针对所述待检测图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
将所确定的五官子区域确定为预先训练的深度学习模型的输入参数；
将所确定的输入参数输入至所述预先训练的深度学习模型进行人脸属性检测，获得所述待检测图像中人脸区域的人脸属性，其中，所述预先训练的深度学习模型是：根据样本图像中人脸区域的关键点，确定预设深度学习模型的输入参数并对所述预设深度学习模型进行训练得到的，人脸属性包括：人脸姿态和五官状态；所述预先训练的深度学习模型包括：预先训练的、用于检测人脸姿态的第一深度学习子模型和预先训练的、用于检测五官状态的第二深度学习子模型；
其中，所述第二深度学习子模型的训练过程包括：
获取样本图像中的人脸区域；
提取样本图像中人脸区域的关键点；
针对样本图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
获得样本图像中每一人脸区域的五官状态的标定属性值，其中，一个人脸区域的五官状态的标定属性值是根据该人脸区域的五官子区域标定的；
将样本图像中每一人脸区域的五官子区域和每一人脸区域的五官状态的标定属性值作为第二预设深度学习模型的输入参数，对所述第二预设深度学习模型进行训练，得到所述第二深度学习子模型。
2.根据权利要求1所述的方法，其特征在于，在人脸属性包括所述人脸姿态、所述预先训练的深度学习模型包括所述第一深度学习子模型的情况下，所述第一深度学习子模型的训练过程包括：
获取样本图像中的人脸区域；
提取样本图像中人脸区域的关键点；
针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值；
将样本图像中的每一人脸区域以及每一人脸区域的人脸姿态的属性值作为第一预设深度学习模型的输入参数，对所述第一预设深度学习模型进行训练，得到所述第一深度学习子模型。
3.根据权利要求2所述的方法，其特征在于，所述人脸姿态包括：人脸偏转角、人脸俯仰角；
所述针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值，包括：
按照以下表达式计算样本图像中每一人脸区域的人脸偏转角和人脸俯仰角：
yaw＝D_r-D_l；
pitch＝(D_p*yaw*TH)/D_e；
其中，yaw表示人脸偏转角，pitch表示人脸俯仰角，D_r表示根据人脸区域的关键点确定的右眼子区域的中心点与根据该人脸区域的关键点确定的人脸中线之间的距离，D_l表示根据人脸区域的关键点确定的左眼子区域的中心点与所述人脸中线之间的距离，D_p表示所述人脸区域的最右上侧的关键点到所述左眼子区域的中心点与所述右眼子区域的中心点连线的垂直距离，D_e表示所述左眼子区域的中心点与所述右眼子区域的中心点之间的距离，TH表示预设阈值。
4.根据权利要求3所述的方法，其特征在于，根据所述待检测图像中的人脸区域确定预先训练的深度学习模型的输入参数，包括：
直接将所述待检测图像中的人脸区域确定为预先训练的深度学习模型的输入参数。
5.根据权利要求1～4中任一项所述的方法，其特征在于，在所述获得所述待检测图像中人脸区域的人脸属性之后，所述方法还包括：
获取所述待检测图像中人脸区域的扩展人脸属性；
其中，所述扩展人脸属性包括以下信息中的至少一种：
根据基于预设特征的直方图统计值计算的清晰度、灰阶数、对比度、亮度值、欠过曝比例值、瞳距、颜色。
6.根据权利要求5所述的方法，其特征在于，所述获取所述待检测图像中人脸区域的扩展人脸属性，包括：
针对所述待检测图像中的每一人脸区域，根据该人脸区域的关键点，提取该人脸区域的感兴趣区域；
基于所述待检测图像中每一人脸区域的感兴趣区域获取每一人脸区域的扩展人脸属性。
7.根据权利要求1～4任一项所述的方法，其特征在于，在所述获得所述待检测图像中人脸区域的人脸属性之后，所述方法还包括：
根据所获得的人脸属性，对所述待检测图像进行图像评荐。
8.一种人脸属性检测装置，其特征在于，包括：
第一获取模块，用于获取待检测图像中的人脸区域；
确定模块，所述确定模块，包括：第三提取子模块，用于提取所述待检测图像中人脸区域的关键点；第二确定子模块，用于针对所述待检测图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；第三确定子模块，用于将所确定的五官子区域确定为预先训练的深度学习模型的输入参数；
检测模块，用于将所确定的输入参数输入至所述预先训练的深度学习模型进行人脸属性检测，获得所述待检测图像中人脸区域的人脸属性，其中，所述预先训练的深度学习模型是：根据样本图像中人脸区域的关键点，确定预设深度学习模型的输入参数并对所述预设深度学习模型进行训练得到的；人脸属性包括：人脸姿态和五官状态；所述预先训练的深度学习模型包括：预先训练的、用于检测人脸姿态的第一深度学习子模型和预先训练的、用于检测五官状态的第二深度学习子模型；
所述装置还包括：
第二获取子模块，用于获取样本图像中的人脸区域；
第二提取子模块，用于提取样本图像中人脸区域的关键点；
确定子模块，用于针对样本图像中的每一人脸区域，根据该人脸区域的关键点确定该人脸区域中的五官子区域；
获得子模块，用于获得样本图像中每一人脸区域的五官状态的标定属性值，其中，一个人脸区域的五官状态的标定属性值是根据该人脸区域的五官子区域标定的；
第二训练子模块，用于将样本图像中每一人脸区域的五官子区域和每一人脸区域的五官状态的标定属性值作为第二预设深度学习模型的输入参数，对所述第二预设深度学习模型进行训练，得到所述第二深度学习子模型。
9.根据权利要求8所述的装置，其特征在于，在人脸属性包括所述人脸姿态、所述预先训练的深度学习模型包括所述第一深度学习子模型的情况下，所述装置包括：
第一获取子模块，用于获取样本图像中的人脸区域；
第一提取子模块，用于提取样本图像中人脸区域的关键点；
计算子模块，用于针对样本图像中的每一人脸区域，采用该人脸区域的关键点计算该人脸区域的人脸姿态的属性值；
第一训练子模块，用于将样本图像中的每一人脸区域以及每一人脸区域的人脸姿态的属性值作为第一预设深度学习模型的输入参数，对所述第一预设深度学习模型进行训练，得到所述第一深度学习子模型。
10.根据权利要求9所述的装置，其特征在于，所述人脸姿态包括：人脸偏转角、人脸俯仰角；
所述计算子模块具体用于，按照以下表达式计算样本图像中每一人脸区域的人脸偏转角和人脸俯仰角：
yaw＝D_r-D_l；
pitch＝(D_p*yaw*TH)/D_e；
其中，yaw表示人脸偏转角，pitch表示人脸俯仰角，D_r表示根据人脸区域的关键点确定的右眼子区域的中心点与根据该人脸区域的关键点确定的人脸中线之间的距离，D_l表示根据人脸区域的关键点确定的左眼子区域的中心点与所述人脸中线之间的距离，D_p表示所述人脸区域的最右上侧的关键点到所述左眼子区域的中心点与所述右眼子区域的中心点连线的垂直距离，D_e表示所述左眼子区域的中心点与所述右眼子区域的中心点之间的距离，TH表示预设阈值。
11.根据权利要求10所述的装置，其特征在于，所述确定模块具体用于，直接将所述待检测图像中的人脸区域确定为预先训练的深度学习模型的输入参数。
12.根据权利要求8～11中任一项所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取所述待检测图像中人脸区域的扩展人脸属性；
其中，所述扩展人脸属性包括以下信息中的至少一种：
根据基于预设特征的直方图统计值计算的清晰度、灰阶数、对比度、亮度值、欠过曝比例值、瞳距、颜色。
13.根据权利要求12所述的装置，其特征在于，所述第二获取模块包括：
提取感兴趣区域子模块，用于针对所述待检测图像中的每一人脸区域，根据该人脸区域的关键点，提取该人脸区域的感兴趣区域；
第三获取子模块，用于基于所述待检测图像中每一人脸区域的感兴趣区域获取每一人脸区域的扩展人脸属性。
14.根据权利要求8～11任一项所述的装置，其特征在于，所述装置还包括：
评荐模块，用于根据所获得的人脸属性，对所述待检测图像进行图像评荐。
15.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
CN201710845691.9A 2017-09-19 2017-09-19 人脸属性检测方法、装置及电子设备 Active CN109522775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710845691.9A CN109522775B (zh) 2017-09-19 2017-09-19 人脸属性检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710845691.9A CN109522775B (zh) 2017-09-19 2017-09-19 人脸属性检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109522775A CN109522775A (zh) 2019-03-26
CN109522775B true CN109522775B (zh) 2021-07-20

Family

ID=65768233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710845691.9A Active CN109522775B (zh) 2017-09-19 2017-09-19 人脸属性检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN109522775B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135263A (zh) * 2019-04-16 2019-08-16 深圳壹账通智能科技有限公司 人像属性模型构建方法、装置、计算机设备和存储介质
CN111862296B (zh) * 2019-04-24 2023-09-29 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN110197230B (zh) * 2019-06-03 2022-03-29 北京字节跳动网络技术有限公司 用于训练模型的方法和装置
CN112149836B (zh) * 2019-06-28 2024-05-24 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备
CN110751120A (zh) * 2019-10-28 2020-02-04 杭州宇泛智能科技有限公司 一种检测方法、装置及电子设备
CN111507944B (zh) * 2020-03-31 2023-07-04 北京百度网讯科技有限公司 皮肤光滑度的确定方法、装置和电子设备
CN112084953B (zh) * 2020-09-10 2024-05-10 济南博观智能科技有限公司 一种人脸属性识别的方法、系统、设备及可读存储介质
CN112804504B (zh) * 2020-12-31 2022-10-04 成都极米科技股份有限公司 画质调整方法、装置、投影仪及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996032A (zh) * 2014-05-27 2014-08-20 厦门瑞为信息技术有限公司 一种基于颅像重合理论的人脸角度判定方法
CN105404877A (zh) * 2015-12-08 2016-03-16 商汤集团有限公司 基于深度学习和多任务学习的人脸属性预测方法及装置
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN105844227A (zh) * 2016-03-21 2016-08-10 湖南君士德赛科技发展有限公司 面向校车安全的司机身份认证方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996032A (zh) * 2014-05-27 2014-08-20 厦门瑞为信息技术有限公司 一种基于颅像重合理论的人脸角度判定方法
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN105404877A (zh) * 2015-12-08 2016-03-16 商汤集团有限公司 基于深度学习和多任务学习的人脸属性预测方法及装置
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置
CN105844227A (zh) * 2016-03-21 2016-08-10 湖南君士德赛科技发展有限公司 面向校车安全的司机身份认证方法

Also Published As

Publication number Publication date
CN109522775A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN109522775B (zh) 人脸属性检测方法、装置及电子设备
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN109389135B (zh) 一种图像筛选方法及装置
CN112950581B (zh) 质量评估方法、装置和电子设备
US7970212B2 (en) Method for automatic detection and classification of objects and patterns in low resolution environments
WO2016084072A1 (en) Anti-spoofing system and methods useful in conjunction therewith
CN110956615B (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN111368758A (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
WO2020244071A1 (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
TWI525555B (zh) 影像處理裝置及處理方法
CN109559362B (zh) 一种图像主体脸部替换方法及装置
CN109543629B (zh) 一种眨眼识别方法、装置、设备及可读存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN109934129B (zh) 一种人脸特征点定位方法、装置、计算机设备及存储介质
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN110781976A (zh) 训练图像的扩充方法、训练方法及相关装置
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN110569826A (zh) 一种人脸识别方法、装置、设备及介质
CN108257117B (zh) 图像曝光度的评测方法及装置
CN106910207B (zh) 用于识别图像局部区域的方法、装置及终端设备
US20220358752A1 (en) Apparatus and method for developing space analysis model based on data augmentation
CN107315985A (zh) 一种虹膜识别方法及终端
CN107798282B (zh) 一种活体人脸的检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant