CN111611917A - 模型训练方法、特征点检测方法、装置、设备及存储介质 - Google Patents

模型训练方法、特征点检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111611917A
CN111611917A CN202010430046.2A CN202010430046A CN111611917A CN 111611917 A CN111611917 A CN 111611917A CN 202010430046 A CN202010430046 A CN 202010430046A CN 111611917 A CN111611917 A CN 111611917A
Authority
CN
China
Prior art keywords
face
image sample
face image
point detection
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010430046.2A
Other languages
English (en)
Inventor
赵芳
李骊
董晶
金博
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Add Subtract Information Technology Shenzhen Co ltd
Beijing HJIMI Technology Co Ltd
Original Assignee
Add Subtract Information Technology Shenzhen Co ltd
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Add Subtract Information Technology Shenzhen Co ltd, Beijing HJIMI Technology Co Ltd filed Critical Add Subtract Information Technology Shenzhen Co ltd
Priority to CN202010430046.2A priority Critical patent/CN111611917A/zh
Publication of CN111611917A publication Critical patent/CN111611917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种人脸特征点检测模型训练方法、人脸特征点检测方法、装置、设备及存储介质，在训练人脸特征点检测模型时，将至少一个人脸图像样本输入人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对人脸特征点检测模型的参数进行更新。提高人脸特征点检测模型对稀有的大姿态人脸的特征点的检测精度。

Description

模型训练方法、特征点检测方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，更具体地说，涉及一种人脸特征点检测模型训练方法、人脸特征点检测方法、装置、设备及存储介质。
背景技术
人脸特征点检测是虚拟化妆技术、换脸、人脸识别、表情识别和人脸编辑等多种应用的重要组成部分，在生活中的许多场景中都有应用。人脸特征点检测的目的是在一张人脸图像中自动定位出面部关键特征点，如眉毛、眼睛、鼻尖、嘴角点、及人脸轮廓点等，用来表征人脸的关键特征。
现阶段，普遍使用的人脸特征点检测方法是基于神经网络模型的人脸特征点检测方法。但神经网络模型的检测精度很大程度上依赖于人脸训练数据，而由于人脸姿态的多样性，用于训练神经网络模型的数据集中可能包含大量的正面人脸，而大姿态人脸(比如，倾斜角度大的人脸)的数据量欠缺，这种不平衡会使模型无法准确地表示稀有数据(即大姿态人脸)的特征，导致神经网络模型在大姿态角度的人脸中检测到的特征点可能会出现较大偏差。
因此，如何提高神经网络模型在稀有人脸姿态下的检测精度成为亟待解决的技术问题。
发明内容
本申请的目的是提供一种人脸特征点检测模型训练方法、人脸特征点检测方法、装置、设备及存储介质，包括如下技术方案：
一种人脸特征点检测模型训练方法，包括：
将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；
获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；
以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
上述方法，优选的，获取每一个人脸图像样本对应的第一权重，包括：
对于每一个人脸图像样本，利用该人脸图像样本的人脸几何变形信息以及预置的该人脸图像样本在各个人脸类别下对应的第二权重，获取该人脸图像样本对应的第一权重。
上述方法，优选的，每一个人脸图像样本的人脸几何变形信息包括K个维度的人脸几何变形信息；所述对于每一个人脸图像样本，利用该人脸图像样本的人脸几何变形信息以及预置的该人脸图像样本在各个人脸类别下对应的第二权重，获取该人脸图像样本对应的第一权重，包括：
对于每一个人脸图像样本，利用如下公式获取该人脸图像样本对应的第一权重：
Figure BDA0002500192810000021
其中，γm表示第m个人脸图像样本对应的第一权重；C表示人脸类别数；
Figure BDA0002500192810000022
表示第m个人脸图像样本在第c类人脸类别下对应的第二权重；
Figure BDA0002500192810000023
表示第m个人脸图像样本对应的人脸在第k个维度的几何变形信息的归一化值，所述归一化值反比于所述第m个人脸图像样本对应的人脸在第k个维度的几何变形信息。
上述方法，优选的，所述至少一个人脸图像样本包括如下两种人脸图像样本中的至少一种：
通过图像采集装置采集的第一类人脸图像；
通过对第一类人脸图像进行进行变形得到的第二类人脸图像。
上述方法，优选的，所述将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值，包括：
对于每一个人脸图像样本，通过所述人脸特征点检测模型对该人脸图像样本进行特征提取，得到初始特征图；
通过所述人脸特征点检测模型对所述初始特征图进行至少两种尺寸的特征提取，得到至少两种尺寸的中间特征图；
通过所述人脸特征点检测模型将所述至少两种尺寸的中间特征图进行融合，得到目标特征向量；
通过所述人脸特征点检测模型利用所述目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值。
上述方法，优选的，所述对于每一个人脸图像样本，通过所述人脸特征点检测模型对该人脸图像样本进行特征提取，得到初始特征图，包括：
对于每一个人脸图像样本，通所述人脸特征点检测模型中的初始特征提取模块对该人脸图像样本进行特征提取，得到初始特征图；
所述人脸几何变形信息通过如下方式获得：
通过预先训练好的人脸几何变形信息提取模型，从所述初始特征提取模块的中间层输出的该人脸图像样本的特征图中提取该人脸图像样本的人脸几何变形信息。
上述方法，优选的，所述将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值，包括：
对于每一个人脸图像样本，通过所述人脸特征点检测模型的初始特征提取模块，对该人脸图像样本进行特征提取，得到初始特征图；
通过所述人脸特征点检测模型的中间特征提取模块，对所述初始特征图进行至少两种尺寸的特征提取，得到至少两种尺寸的中间特征图；
通过所述人脸特征点检测模型的融合获取模块，将所述至少两种尺寸的中间特征图进行融合，得到目标特征向量；
通过所述人脸特征点检测模型的人脸特征点检测模块，利用所述目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值；
所述获取每一个人脸图像样本对应的第一权重，包括：
通过预先训练好的人脸几何变形信息提取模型，从所述初始特征提取模块的中间层输出的该人脸图像样本的特征图中提取该人脸图像样本的人脸几何变形信息；
通过第一获取模块，利用该人脸图像样本的人脸几何变形信息获取该人脸图像样本对应的第一权重；
参数更新过程具体包括：通过更新模块以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
一种人脸特征点检测方法，包括：
获取待检测人脸图像；
将所述待检测人脸图像输入人脸特征点检测模型，得到所述待检测人脸图像的人脸特征点检测结果；其中，所述人脸特征点检测模型通过如上任意一项所述的人脸特征点检测模型训练方法训练得到。
一种人脸特征点检测模型训练装置，包括：
第一识别模块，用于将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；
第一获取模块，用于获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；
更新模块，用于以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
一种人脸特征点检测装置，包括：
第三获取模块，用于获取待检测人脸图像；
第二识别模块，用于将所述待检测人脸图像输入人脸特征点检测模型，得到所述待检测人脸图像的人脸特征点检测结果；其中，所述人脸特征点检测模型通过如前任意一项所述的人脸特征点检测模型训练方法训练得到。
一种设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如前任一项所述的人脸特征点检测模型训练方法的各个步骤；或者，实现如前所述的人脸特征点检测方法的各个步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如前任一项所述的人脸特征点检测模型训练方法的各个步骤；或者，实现如前所述的人脸特征点检测方法的各个步骤。
通过以上方案可知，本申请提供的一种人脸特征点检测模型训练方法、人脸特征点检测方法、装置、设备及存储介质，在训练人脸特征点检测模型时，将至少一个人脸图像样本输入人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对人脸特征点检测模型的参数进行更新。
本申请公开的模型训练方法，由于每个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关，因而，人脸图像样本的几何变形信息越大，而人脸图像样本对应的第一权重越大，表征该人脸图像样本在对人脸特征点检测模型的参数进行更新时的重要程度越高，从而提高了具有稀有的大姿态人脸的图像样本对模型训练的贡献，使得人脸特征点检测模型可以更多的关注具有稀有的大姿态人脸的图像样本，对具有稀有大姿态人脸的图像样本进行更好的学习，从而提高人脸特征点检测模型对稀有的大姿态人脸的特征点的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的人脸特征点检测模型训练方法的一种实现流程图；
图2为本申请实施例提供的三个方向的人脸角度示例图；
图3为本申请实施例提供的对人脸特征点检测模型的参数进行更新的一种实现流程图；
图4a为本申请实施例提供的将至少一个人脸图像样本输入人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值的一种实现流程图；
图4b为本申请实施例提供的对人脸特征点检测模型进行训练的的一种系统架构示意图；
图5为本申请实施例提供的人脸特征点检测模型的一种具体结构示例图；
图6为本申请实施例提供的基于本申请实施例提供的人脸特征点检测模型训练方法对具有图5所示网络结构的人脸特征点检测模型进行训练得到的人脸特征点检测模型对一些人脸图像进行特征点检测的检测结果示例图；
图7为本申请实施例提供的人脸特征点检测模型训练装置的一种结构示意图；
图8为本申请实施例提供的人脸特征点检测装置的一种结构示意图；
图9为本申请实施例提供的电子设备的硬件结构框图。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的发明人研究发现，目前用于训练人脸特征点检测模型的训练数据集中通常出现分布不均衡的情况，比如，大部分是正面人脸的图像样本或小姿态人脸(比如旋转角度小于30°的人脸)的图像样本，而缺少具有大姿态人脸(比如旋转角度大于30°的人脸，或者，具有夸张表情的人脸)的图像样本，导致训练得到的人脸特征点检测模型在处理大具有大姿态人脸的图像时，会出现较大偏差。在理想条件下，以均衡的方式采集各姿态的人脸图像样本是可行的，但是人工标注成本高、耗时长，由其当需要大规模数据来训练模型时，这种方式变得不切实际。
基于上述技术问题，本申请公开的方案基本思想是，在更新网络参数时，加入人脸几何变形信息的约束，从而在训练阶段关注稀少的人脸大姿态样本，对相对应的识别误差进行更多的惩罚，以此来提高人脸特征点检测模型对稀有的大姿态人脸的特征点的检测精度。
基于上述基本思想，本申请实施例提供的人脸特征点检测模型训练方法的一种实现流程图如图1所示，可以包括：
步骤S11：将至少一个(为便于叙述，记为M个，M为大于0的整数)人脸图像样本输入人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值。
本申请实施例中，每次输入人脸特征点检测模型的人脸图像样本可以仅有一个人脸图像样本，也可以包括两个或更多个人脸图像样本。每次输入人脸特征点检测模型的人脸图像样本的数量相同。
人脸特征点检测模型对每一个人脸图像样本分别进行人脸特征点识别，得到每一个人脸图像样本对应的人脸特征点检测结果，即每一个人脸图像样本的人脸特征点预测值。人脸特征点预测值通常是用人脸特征点在人脸图像样本中的坐标表征。
步骤S12：获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关。
对于每一个人脸图像样本，可以通过预先训练好的人脸几何变形信息预测模型从该人脸图像样本中提取人脸几何变形信息。
人脸几何变形信息表征人脸的变形程度。人脸几何变形信息值越大，表征人脸的变形程度越大。
本申请中，人脸几何变形信息可以包括人脸角度，人脸角度是相对于标准人脸图像中的人脸而言，人脸整体的旋转角度；其中，标准人脸图像是在被拍摄人正对图像采集装置的镜头时(此时被拍摄人的人脸与镜头所在平面是平行或近似平行的)拍摄的人脸图像。或者，
人脸几何变形信息可以包括人脸表情的夸张程度，人脸表情的夸张程度可以是相对于标准人脸图像中的人脸而言，人脸各个部分的综合变化程度；其中，标准人脸图像是在被拍摄人无面部表情时拍摄的人脸图像。或者，
人脸几何变形信息既包括人脸角度，又包括人脸表情的夸张程度。
人脸几何变形信息可以包括多个维度的几何变形信息。其中，
多个维度可以是指多个方向，比如，人脸几何变形信息为人脸角度时，人脸角度可以包括K个方向的旋转角度。比如，三个方向的旋转角度。如图2所示，为本申请实施例提供的三个方向的人脸角度示例图，包括：俯仰角(pitch)、偏航角(yaw)和滚转角(roll)，其中，俯仰角是人脸绕X轴旋转的角度，偏航角是人脸绕Y轴旋转的角度，滚转角人脸绕Z轴旋转的角度。其中，X轴是平行人脸所在平面且平行于两眼连线的轴，Y轴是平行人脸所在平面且垂直于于两眼连线的轴，Z轴是垂直于X轴和Y轴的轴。
多个维度可以是指多种表情(比如，惊讶表情、高兴表情、害怕表情等)，比如，人脸几何变形信息为人脸表情的夸张程度时，人脸表情的夸张程度可以包括惊讶表情的夸张程度，高兴表情的夸张程度，害怕表情的夸张程度等。
步骤S13：以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对人脸特征点检测模型的参数进行更新。
具体可以利用各个人脸图像样本对应的第一权重，以及各个人脸图像样本对应的人脸特征点预测值与人脸特征点标签的差异，对人脸特征点检测模型的参数进行更新，使得更新参数后的人脸特征点检测模型对每一个人脸图像样本进行处理得到的人脸特征点预测值可以更接近于该人脸图像样本对应的人脸特征点标签。
本申请实施例公开的人脸特征点检测模型训练方法，在将至少一个人脸图像样本输入人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值后，不是直接利用各个人脸图像样本的人脸特征点预测值以及人脸特征点标签对人脸特征点检测模型的参数进行更新，而是先获取每一个人脸图像样本对应的第一权重，然后以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。由于每个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关，因而，人脸图像样本的几何变形信息越大，而人脸图像样本对应的第一权重越大，表征该人脸图像样本在对人脸特征点检测模型的参数进行更新时的重要程度越高，从而提高了具有稀有的大姿态人脸的图像样本对模型训练的贡献，使得人脸特征点检测模型可以更多的关注具有稀有的大姿态人脸的图像样本，对具有稀有大姿态人脸的图像样本进行更好的学习，从而提高人脸特征点检测模型对稀有的大姿态人脸的特征点的检测精度。
在一可选的实施例中，上述以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对人脸特征点检测模型的参数进行更新的一种实现流程图如图3所示，可以包括：
步骤S31：利用各个人脸图像样本对应的第一权重，将各个人脸图像样本对应的人脸特征点预测值与人脸特征点标签的差异加权求和。为便于叙述，将加权求和结果记为L，则可以通过公式(1)计算得到加权求和结果：
Figure BDA0002500192810000091
其中，γm为第m个人脸图像样本对应的第一权重，m＝1，2，……，M；
Figure BDA0002500192810000092
为第m个人脸图像样本的人脸特征点预测值中的第n个特征点的预测值与该第n个特征点对应的人脸特征点标签的差异，n＝1，2，……，N；N为第m个人脸图像样本对应的人脸特征点检测结果中特征点的数量。
本申请实施例中，对于M个人脸图像样本中的第m个人脸图像样本，获取该第m个人脸图像样本的人脸特征点预测值与人脸特征点标签的差异，以及第m个人脸图像样本对应的第一权重。
其中，第m个人脸图像样本对应的第一权重γm与第m个人脸图像样本对应的人脸几何变形信息正相关，即第m个人脸图像样本对应的人脸几何变形信息值越大，第m个人脸图像样本对应的第一权重γm越大。
在人脸几何变形信息包括K个维度的几何变形信息的情况下，第m个人脸图像样本对应的第一权重γm与第m个人脸图像样本对应的在每一个方向下人脸几何变形信息均正相关，即第m个人脸图像样本对应的第k(k＝1，2，……，K)个维度的人脸几何变形信息值越大，第m个人脸图像样本对应的第一权重γm越大。
步骤S32：以加权求和结果最小化为目标，对人脸特征点检测模型的参数进行更新。
可选的，可以直接以L最小化为目标，对人脸特征点检测模型的参数进行更新。或者，可以以L对M取均值的均值结果(即L/M)最小化为目标，对人脸特征点检测模型的参数进行更新。
本申请实施例中，根据人脸图像样本中人脸的几何变形信息对人脸图像样本的人脸特征点预测值与人脸特征点标签的差异进行约束，其中，人脸图像样本中人脸的几何变形信息越大，对人脸图像样本的人脸特征点预测值与人脸特征点标签的差异进行更大的惩罚，基于惩罚后的差异对模型参数进行更新，提高了具有稀有的大姿态人脸的图像样本对模型训练的贡献，使得人脸特征点检测模型可以更多的关注具有稀有的大姿态人脸的图像样本，对具有稀有大姿态人脸的图像样本进行更好的学习，从而提高人脸特征点检测模型对稀有的大姿态人脸的特征点的检测精度。
在一可选的实施例中，在获取每一个人脸图像样本对应的第一权重时，可以通过如下方式获取：
对于每一个人脸图像样本，利用该人脸图像样本的人脸几何变形信息以及预置的该人脸图像样本在各个人脸类别下对应的第二权重，获取该人脸图像样本对应的第一权重。
本申请实施例中，将人脸进行分类，人脸类别可以包括但不限于以下几种：侧脸、正脸、抬头、低头等。本申请中，还预先为每一个人脸图像样本配置该人脸图像样本在每一个类别下对应的第二权重。也就是说，对于第m个人脸图像样本，预先为该第m个人脸图像样本配置该第m个人脸图像样本在各个人脸类别下对应的第二权重，为便于叙述，将第m个人脸图像样本在第c类人脸类别下对应的第二权重记为
Figure BDA0002500192810000101
其中，c＝1，2，3，……，C；C表示人脸类别数。
可选的，在每一个人脸图像样本的人脸几何变形信息包括K个维度的人脸几何变形信息的情况下，对于每一个人脸图像样本，利用该人脸图像样本的人脸几何变形信息以及预置的该人脸图像样本在各个人脸类别下对应的第二权重，获取该人脸图像样本对应的第一权重，可以包括：
对于每一个人脸图像样本，利用如下公式获取该人脸图像样本对应的第一权重：
Figure BDA0002500192810000111
其中，γm表示第m个人脸图像样本对应的第一权重；C表示人脸类别数；
Figure BDA0002500192810000112
表示第m个人脸图像样本在第c类人脸类别下对应的第二权重；
Figure BDA0002500192810000113
表示第m个人脸图像样本对应的人脸在第k个维度的几何变形信息的归一化值，归一化值
Figure BDA0002500192810000114
反比于第m个人脸图像样本对应的人脸在第k个维度的几何变形信息。k＝1，2，3，……，K。
在人脸几何变形信息为人脸角度时，
Figure BDA0002500192810000115
可以为：
Figure BDA0002500192810000116
则公式(2)变为：
Figure BDA0002500192810000117
在人脸几何变形信息为人脸表情的夸张程度时，
Figure BDA0002500192810000118
的取值可以为[0,1]范围内的任意一个值，其中，
Figure BDA0002500192810000119
的取值越大，表征第m个人脸图像样本对应的人脸在第k个表情下的人脸表情夸张程度越小。
当人脸几何变形信息为两种时，不同种类的几何变形信息可能有不同维度的分类，基于此，公式(2)可以变形为：
Figure BDA00025001928100001110
其中，γm表示第m个人脸图像样本对应的第一权重；C表示人脸类别数；
Figure BDA00025001928100001111
表示第m个人脸图像样本在第c类人脸类别下对应的第二权重；
Figure BDA00025001928100001112
表示第m个人脸图像样本对应的人脸在第k个方向的人脸角度的归一化值，归一化值
Figure BDA00025001928100001113
反比于第m个人脸图像样本对应的人脸在第k个方向的人脸角度。k＝1，2，3，……，K。可选的，
Figure BDA00025001928100001114
Figure BDA00025001928100001115
表示第m个人脸图像样本对应的人脸在第k'个表情下的人脸表情的夸张程度的归一化值，归一化值
Figure BDA00025001928100001116
反比于第m个人脸图像样本对应的人脸在第k'个表情下的人脸表情的夸张程度。k'＝1，2，3，……，K'；K'为人脸表情的种类数。可选的，
Figure BDA0002500192810000121
的取值可以为[0,1]范围内的任意一个值，其中，
Figure BDA0002500192810000122
的取值越大，表征第m个人脸图像样本对应的人脸在第k'个表情下的人脸表情夸张程度越小。
可选的，第m个人脸图像样本在第c类人脸类别下对应的第二权重可以与属于第c类人脸类别的人脸图像样本的数量成反比例关系，即属于第c类人脸类别的人脸图像样本的数量越小，第m个人脸图像样本在第c类人脸类别下对应的第二权重则越大，属于第c类人脸类别的人脸图像样本的数量越大，第m个人脸图像样本在第c类人脸类别下对应的第二权重则越小。
在一可选的实施例中，为了进一步提高人脸特征点检测模型对稀有的大姿态人脸的特征点的检测精度，本申请对用于训练人脸特征点检测模型的训练数据集进行了扩充，通常，训练数据集中均是图像采集装置采集的图像，或者，是对图像采集装置采集的图像进行预处理(比如，进行裁剪，使得各个样本的尺寸相同)得到的图像。本申请中，不管是图像采集装置采集的图像，还是对图像采集装置采集的图像进行预处理后的图像，统称为图像采集装置采集的图像，为便于叙述，记为第一类人脸图像。本申请实施例中的训练数据集中，除了包含第一类人脸图像外，还对第一类人脸图像进行变形，将变形后的图像(为便于叙述，记为第二类人脸图像)补充到训练数据集中，以扩大训练数据集中的样本数量。基于此，上述至少一个人脸图像样本可以包括如下两种人脸图像样本中的至少一种：
通过图像采集装置采集的第一类人脸图像；以及，
通过对第一类人脸图像进行进行变形得到的第二类人脸图像。可选的，
对第一类人脸图像进行变形可以包括但不限于以下至少一种变形方式：
对第一类人脸图像在第一类人脸图像所在平面上进行旋转变换，比如，对第一类人脸图像进行旋转的角度范围可以是[-30°,+30°]范围内的任意一个角度。
对第一类人脸图像进行非线性变换。这可以模拟人脸表情的变化。
通常用于训练人脸特征点检测模型的训练数据集中的样本为灰度人脸图像，即人脸图像为灰度图。为了降低人脸特征点检测模型的计算量，本申请实施例中，用于训练人脸特征点检测模型的训练数据集中的人脸图像样本为标准化的人脸图像样本，具体可以通过如下方式进行人脸图像样本的标准化：
计算原始训练数据集中的所有灰度人脸图像的平均值；
将每一个灰度人脸图像减去上述所有灰度人脸图像的平均值，得到每一个灰度人脸图像对应的差值人脸图像；
将每一个差值人脸图像分别除以最大灰度值(即255)与最小灰度值(即0)的差值，即将每一个差值人脸图像分别除以255，得到每一个灰度人脸图像对应的标准化人脸图像。显然，标准化人脸图像中，各个像素的值在[0,1]范围内。
基于此，上述至少一个人脸图像样本均为标准化人脸图像，该标准化人脸图像中的各个像素的值在[0,1]范围内。
在一可选的实施例中，上述将至少一个人脸图像样本输入人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值的一种实现流程图如图4a所示，可以包括：
步骤S41：对于每一个人脸图像样本，通过人脸特征点检测模型对该人脸图像样本进行特征提取，得到初始特征图。
以第m个人脸图像样本为例，通过人脸特征点检测模型对该第m个人脸图像样本进行特征提取，得到该第m个人脸图像样本的初始特征图。
步骤S42：通过人脸特征点检测模型对初始特征图进行至少两种尺寸的特征提取，得到至少两种尺寸的中间特征图。
对于第m个人脸图像样本，通过人脸特征点检测模型对该第m个人脸图像样本的初始特征图进行至少两种尺寸的特征提取，得到该第m个人脸图像样本的至少两种尺寸的中间特征图。
步骤S43：通过人脸特征点检测模型将上述至少两种尺寸的中间特征图进行融合，得到目标特征向量。
对于第m个人脸图像样本，通过人脸特征点检测模型将第m个人脸图像样本的至少两种尺寸的中间特征图进行融合，得到第m个人脸图像样本的目标特征向量。可选的，可以将两种尺寸的中间特征图均拉伸为一维向量，然后将至少两个一维向量进行拼接，得到新的一维向量，该新的一维向量即为第m个人脸图像样本的目标特征向量。
步骤S44：通过人脸特征点检测模型利用目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值。
对于第m个人脸图像样本，通过人脸特征点检测模型利用第m个人脸图像样本的目标特征向量进行回归，得到该第m个人脸图像样本的人脸特征点预测值。具体回归过程可以应用已有的回归方案，由于其不是本案的关注重点，这里不再详述。
本申请实施例中，引入了多尺度特征提取，相比于单一尺度特征，能够增强人脸特征点检测模型捕捉人脸结果的能力。
在一可选的实施例中，本申请实施例提供的对人脸特征点检测模型进行训练的的一种系统架构示意图如图4b所示，可以包括：
初始特征提取模块41，中间特征提取模块42，融合模块43，人脸特征点预测模块44，几何变形信息提取模型45、第一获取模块46和更新模块47；其中，初始特征提取模块41，中间特征提取模块42，融合模块43和人脸特征点预测模块44为人脸特征点检测模型的组成部分。
初始特征提取模块41用于对于每一个人脸图像样本，对该人脸图像样本进行特征提取，得到该人脸图像样本的初始特征图。
对于第m个人脸图像样本，初始特征提取模块41用于对该第m个人脸图像样本进行特征提取，得到该第m个人脸图像样本的初始特征图。
中间特征提取模块42用于对于每一个人脸图像样本，对该人脸图像样本的初始特征图进行至少两种尺寸的特征提取，得到该人脸图像样本的至少两种尺寸的中间特征图。
对于第m个人脸图像样本，中间特征提取模块42用于对该第m个人脸图像样本的初始特征图进行至少两种尺寸的特征提取，得到该第m个人脸图像样本的至少两种尺寸的中间特征图。
融合模块43用于对于每一个人脸图像样本，将该人脸图像样本的至少两种尺寸的中间特征图进行融合，得到该人脸图像样本的目标特征向量。
对于第m个人脸图像样本，融合模块43用于将该第m个人脸图像样本的至少两种尺寸的中间特征图进行融合，得到该第m个人脸图像样本的目标特征向量。
人脸特征点预测模块44用于对于每一个人脸图像样本，利用该人脸图像样本的目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值。
对于第m个人脸图像样本，人脸特征点预测模块44用于利用该第m个人脸图像样本的目标特征向量进行人脸特征点检测，得到该第m个人脸图像样本的人脸特征点预测值。
几何变形信息提取模型45用于从初始特征提取模块41的中间层输出的该人脸图像样本的特征图中提取该人脸图像样本的人脸几何变形信息。
第一获取模块46用于利用该人脸图像样本的人脸几何变形信息获取该人脸图像样本对应的第一权重。该人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关。
更新模块47用于利用各个人脸图像样本对应的第一权重，将各个人脸图像样本的人脸特征点预测值与人脸特征点标签的差异加权求和；以加权求和结果最小化为目标，对人脸特征点检测模型的参数进行更新。
基于上述系统架构示意图，上述人脸几何变形信息可以通过如下方式获得：
对于每一个人脸图像样本，通过预先训练好的人脸几何变形信息提取模型45，从初始特征提取模块41的中间层输出的该人脸图像样本的特征图中提取该人脸图像样本的人脸几何变形信息。
本申请实施例中，对预先训练好的人脸几何变形信息提取模型进行了修改，删除了初始的几个特征提取层，用人脸特征点检测模型的特征提取模块41的中间层输出的特征图代替所删除的特征提取出的输出特征，与直接将人脸图像样本输入训练好的人脸几何变形信息提取模型进行人脸几何变形信息提取相比，节省了人脸几何变形信息中所删除的特征提取层进行特征提取所占用的计算资源。
此外，为了进一步降低人脸特征点检测模型的计算量，提升人脸特征点检测模型的的处理速度，本申请实施例中，人脸特征点检测模型可以为全卷积神经网络。比如，人脸特征点检测模型可以为轻量级的Mobilenet-v2结构的网络，或者，人脸特征点检测模型可以为TCNN(Tweaked Convolutional Neural Networks，调整的卷积神经网络)、DCNN(DeepConvolutional Network Cascade，深度卷积神经网络级联)等网络结构。下面以Mobilenet-v2结构，以及人脸几何变形信息为人脸角度为例，对本申请实施例提供的人脸特征点检测模型的一种具体网络结构进行示例性说明。
请参阅图5，图5为本申请实施例提供的人脸特征点检测模型的一种具体结构示例图，该示例中：
卷积层1、卷积层2、Bottleneck模块1、Bottleneck模块2、Bottleneck模块3和Bottleneck模块4构成初始特征提取模块，用于对于每一个人脸图像样本，对该人脸图像样本进行特征提取，得到该人脸图像样本的初始特征图。
卷积层3、卷积层4和卷积层5这三个卷积层构成中间特征提取模块，用于对于每一个人脸图像样本，对该人脸图像样本的初始特征图进行三种尺寸的特征提取，得到该人脸图像样本的三种尺寸的中间特征图。其中，卷积层3中卷积核的大小为3×3，步长为2，输出通道数为32；卷积层4中卷积核的大小为7×7，步长为1，输出通道数为128；卷积层5中卷积核的大小为1×1，步长为1，输出通道数为128。卷积层3、卷积层4和卷积层5这三个卷积层输出的特征图的尺寸是不同的。
全连接层1构成第一目标特征提取模块，用于用于对于每一个人脸图像样本，将该人脸图像样本的三种尺寸的中间特征图进行融合，得到该人脸图像样本的目标特征向量。
输出层1构成人脸特征点预测模块，用于对于每一个人脸图像样本，利用该人脸图像样本的目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值。
卷积层6、卷积层7、卷积层8、卷积层9这四个卷积层，以及全连接层2和输出层2构成人脸几何变形信息预测模型，用于对于每一个人脸图像样本，对初始特征提取模块的中间层(本示例中为第二阶Bottleneck模块，即Bottleneck模块2)输出的该人脸图像样本的特征图进行特征提取，得到该人脸图像样本的目标特征图，利用该目标特征图进行人脸几何变形信息检测，得到该人脸图像样本的人脸几何变形信息。其中，卷积层6中卷积核大小为3×3；卷积层76中卷积核大小为3×3；卷积层86中卷积核大小为3×3；卷积层96中卷积核大小为7×7。
损失函数用于实现第一获取模块46和更新模块47的功能。
如图6所示，为基于本申请实施例提供的人脸特征点检测模型训练方法对具有图5所示网络结构的人脸特征点检测模型进行训练得到的人脸特征点检测模型对一些人脸图像进行特征点检测的检测结果示例图。可以看出，基于本申请实施例提供的人脸特征点检测模型训练方法训练得到的人脸特征点检测模型，可以准确检测中各种姿态的人脸的关键特征点。
在训练得到人脸特征点检测模型后，就可以利用训练好的人脸特征点检测对人脸图像进行人脸特征点检测了。基于此，本申请实施例还提供一种人脸特征点检测方法，包括如下步骤：
获取待检测人脸图像；
将待检测人脸图像输入人脸特征点检测模型，得到待检测人脸图像的人脸特征点检测结果；其中，人脸特征点检测模型通过如上所述的人脸特征点检测模型训练方法训练得到。
由于通过上述人脸特征点检测模型训练方法提高了人脸特征点检测模型对稀有的大姿态人脸的特征点的检测精度，因此，本申请实施例提供的人脸特征点检测方法对稀有的大姿态人脸的特征点的检测精度也提高了。
与方法实施例相对应，本申请实施例还提供一种人脸特征点检测模型训练装置，如图7所示，为本申请实施例提供的人脸特征点检测模型训练装置的一种结构示意图，可以包括：
第一识别模块71，第一获取模块72和更新模块73；其中，
第一识别模块71用于将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；
第一获取模块72用于获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；
更新模块73用于以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
本申请实施例提供的人脸特征点检测模型训练装置，在将至少一个人脸图像样本输入人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值后，不是直接利用各个人脸图像样本的人脸特征点预测值以及人脸特征点标签对人脸特征点检测模型的参数进行更新，而是先获取每一个人脸图像样本对应的第一权重，然后以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。由于每个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关，因而，人脸图像样本的几何变形信息越大，而人脸图像样本对应的第一权重越大，表征该人脸图像样本在对人脸特征点检测模型的参数进行更新时的重要程度越高，从而提高了具有稀有的大姿态人脸的图像样本对模型训练的贡献，使得人脸特征点检测模型可以更多的关注具有稀有的大姿态人脸的图像样本，对具有稀有大姿态人脸的图像样本进行更好的学习，从而提高人脸特征点检测模型对稀有的大姿态人脸的特征点的检测精度。
在一可选的实施例中，更新模块73可以包括：
第二获取模块，用于利用各个人脸图像样本对应的第一权重，将各个人脸图像样本对应的人脸特征点预测值与人脸特征点标签的差异加权求和。
参数更新模块，用于以加权求和结果最小化为目标，对人脸特征点检测模型的参数进行更新。
在一可选的实施例中，第一获取模块72在获取每一个人脸图像样本对应的第一权重时，具体可以用于：
对于每一个人脸图像样本，利用该人脸图像样本的人脸几何变形信息以及预置的该人脸图像样本在各个人脸类别下对应的第二权重，获取该人脸图像样本对应的第一权重。
在一可选的实施例中，每一个人脸图像样本的人脸几何变形信息包括K个维度的人脸几何变形信息；第一获取模块72在对于每一个人脸图像样本，利用该人脸图像样本的人脸几何变形信息以及预置的该人脸图像样本在各个人脸类别下对应的第二权重，获取该人脸图像样本对应的第一权重时，具体用于：
对于每一个人脸图像样本，利用如下公式获取该人脸图像样本对应的第一权重：
Figure BDA0002500192810000191
其中，γm表示第m个人脸图像样本对应的第一权重；C表示人脸类别数；
Figure BDA0002500192810000192
表示第m个人脸图像样本在第c类人脸类别下对应的第二权重；
Figure BDA0002500192810000193
表示第m个人脸图像样本对应的人脸在第k个维度的几何变形信息的归一化值，所述归一化值反比于所述第m个人脸图像样本对应的人脸在第k个维度的几何变形信息。
在一可选的实施例中，所述至少一个人脸图像样本包括如下两种人脸图像样本中的至少一种：
通过图像采集装置采集的第一类人脸图像；
通过对第一类人脸图像进行进行变形得到的第二类人脸图像。
在一可选的实施例中，第一识别模块71可以包括：
第一特征提取模块，用于对于每一个人脸图像样本，通过所述人脸特征点检测模型对该人脸图像样本进行特征提取，得到初始特征图；
第二特征提取模块，通过所述人脸特征点检测模型对所述初始特征图进行至少两种尺寸的特征提取，得到至少两种尺寸的中间特征图；
第三特征提取模块，通过所述人脸特征点检测模型将所述至少两种尺寸的中间特征图进行融合，得到目标特征向量；
检测模块，用于通过所述人脸特征点检测模型利用所述目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值。
在一可选的实施例中，第一特征提取模块具体用于对于每一个人脸图像样本，通所述人脸特征点检测模型中的初始特征提取模块对该人脸图像样本进行特征提取，得到初始特征图；
第一获取模块72还可以用于，通过预先训练好的人脸几何变形信息预测模型，从所述初始特征提取模块的中间层输出的该人脸图像样本的特征图中提取该人脸图像样本的人脸几何变形信息。
在一而可选的实施例中，第一识别模块71可以包括：
第一特征提取模块，用于对于每一个人脸图像样本，通过所述人脸特征点检测模型的初始特征提取模块，对该人脸图像样本进行特征提取，得到初始特征图；
第二特征提取模块，通过所述人脸特征点检测模型的中间特征提取模块，对所述初始特征图进行至少两种尺寸的特征提取，得到至少两种尺寸的中间特征图；
第三特征提取模块，通过所述人脸特征点检测模型的融合获取模块，将所述至少两种尺寸的中间特征图进行融合，得到目标特征向量；
检测模块，用于通过所述人脸特征点检测模型的人脸特征点检测模块，利用所述目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值。
第一获取模块72具体用于：
获取预先训练好的人脸几何变形信息提取模型从所述初始特征提取模块的中间层输出的该人脸图像样本的特征图中提取该人脸图像样本的人脸几何变形信息；利用该人脸图像样本的人脸几何变形信息获取该人脸图像样本对应的第一权重。
与方法实施例相对应，本申请实施例还提供一种人脸特征点检测装置，该人脸特征点检测装置的一种结构示意图如图8所示，可以包括：
第三获取模块81，用于获取待检测人脸图像；
第二识别模块82，用于将所述待检测人脸图像输入人脸特征点检测模型，得到所述待检测人脸图像的人脸特征点检测结果；其中，所述人脸特征点检测模型通过如前任意一项所述的人脸特征点检测模型训练方法训练得到。
本申请实施例提供的人脸特征点检测模型训练装置和人脸特征点检测装置均可应用于电子设备，如PC终端、智能手机、机器人、智能家居(家电)、遥控器、云平台、服务器及服务器集群等。可选的，图9示出了电子设备的硬件结构框图，参照图9，电子设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；
获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；
以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
或者，所述程序用于：
获取待检测人脸图像；
将所述待检测人脸图像输入人脸特征点检测模型，得到所述待检测人脸图像的人脸特征点检测结果；其中，所述人脸特征点检测模型通过如上任意一项所述的人脸特征点检测模型训练方法训练得到。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；
获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；
以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
或者，所述程序用于：
获取待检测人脸图像；
将所述待检测人脸图像输入人脸特征点检测模型，得到所述待检测人脸图像的人脸特征点检测结果；其中，所述人脸特征点检测模型通过如上任意一项所述的人脸特征点检测模型训练方法训练得到。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统(若存在)、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解，本申请实施例中，从权、各个实施例、特征可以互相组合结合，都能实现解决前述技术问题。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种人脸特征点检测模型训练方法，其特征在于，包括：
将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；
获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；
以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
2.根据权利要求1所述的方法，其特征在于，获取每一个人脸图像样本对应的第一权重，包括：
对于每一个人脸图像样本，利用该人脸图像样本的人脸几何变形信息以及预置的该人脸图像样本在各个人脸类别下对应的第二权重，获取该人脸图像样本对应的第一权重。
3.根据权利要求2所述的方法，其特征在于，每一个人脸图像样本的人脸几何变形信息包括K个维度的人脸几何变形信息；所述对于每一个人脸图像样本，利用该人脸图像样本的人脸几何变形信息以及预置的该人脸图像样本在各个人脸类别下对应的第二权重，获取该人脸图像样本对应的第一权重，包括：
对于每一个人脸图像样本，利用如下公式获取该人脸图像样本对应的第一权重：
Figure FDA0002500192800000011
其中，γm表示第m个人脸图像样本对应的第一权重；C表示人脸类别数；
Figure FDA0002500192800000012
表示第m个人脸图像样本在第c类人脸类别下对应的第二权重；
Figure FDA0002500192800000013
表示第m个人脸图像样本对应的人脸在第k个维度的几何变形信息的归一化值，所述归一化值反比于所述第m个人脸图像样本对应的人脸在第k个维度的几何变形信息。
4.根据权利要求1所述的方法，其特征在于，所述至少一个人脸图像样本包括如下两种人脸图像样本中的至少一种：
通过图像采集装置采集的第一类人脸图像；
通过对第一类人脸图像进行进行变形得到的第二类人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值，包括：
对于每一个人脸图像样本，通过所述人脸特征点检测模型对该人脸图像样本进行特征提取，得到初始特征图；
通过所述人脸特征点检测模型对所述初始特征图进行至少两种尺寸的特征提取，得到至少两种尺寸的中间特征图；
通过所述人脸特征点检测模型将所述至少两种尺寸的中间特征图进行融合，得到目标特征向量；
通过所述人脸特征点检测模型利用所述目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值。
6.根据权利要求5所述的方法，其特征在于，所述对于每一个人脸图像样本，通过所述人脸特征点检测模型对该人脸图像样本进行特征提取，得到初始特征图，包括：
对于每一个人脸图像样本，通所述人脸特征点检测模型中的初始特征提取模块对该人脸图像样本进行特征提取，得到初始特征图；
所述人脸几何变形信息通过如下方式获得：
通过预先训练好的人脸几何变形信息提取模型，从所述初始特征提取模块的中间层输出的该人脸图像样本的特征图中提取该人脸图像样本的人脸几何变形信息。
7.根据权利要求1所述的方法，其特征在于，所述将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值，包括：
对于每一个人脸图像样本，通过所述人脸特征点检测模型的初始特征提取模块，对该人脸图像样本进行特征提取，得到初始特征图；
通过所述人脸特征点检测模型的中间特征提取模块，对所述初始特征图进行至少两种尺寸的特征提取，得到至少两种尺寸的中间特征图；
通过所述人脸特征点检测模型的融合获取模块，将所述至少两种尺寸的中间特征图进行融合，得到目标特征向量；
通过所述人脸特征点检测模型的人脸特征点检测模块，利用所述目标特征向量进行回归，得到该人脸图像样本的人脸特征点预测值；
所述获取每一个人脸图像样本对应的第一权重，包括：
通过预先训练好的人脸几何变形信息提取模型，从所述初始特征提取模块的中间层输出的该人脸图像样本的特征图中提取该人脸图像样本的人脸几何变形信息；
通过第一获取模块，利用该人脸图像样本的人脸几何变形信息获取该人脸图像样本对应的第一权重；
参数更新过程具体包括：通过更新模块以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
8.一种人脸特征点检测方法，其特征在于，包括：
获取待检测人脸图像；
将所述待检测人脸图像输入人脸特征点检测模型，得到所述待检测人脸图像的人脸特征点检测结果；其中，所述人脸特征点检测模型通过如权利要求1-6任意一项所述的人脸特征点检测模型训练方法训练得到。
9.一种人脸特征点检测模型训练装置，其特征在于，包括：
第一识别模块，用于将至少一个人脸图像样本输入所述人脸特征点检测模型，得到每一个人脸图像样本的人脸特征点预测值；
第一获取模块，用于获取每一个人脸图像样本对应的第一权重；每一个人脸图像样本对应的第一权重与该人脸图像样本的人脸几何变形信息正相关；
更新模块，用于以每一个人脸图像样本的人脸特征点预测值趋近于该人脸图像样本对应的人脸特征点标签为目标，利用各个人脸图像样本对应的第一权重、人脸特征点预测值以及人脸特征点标签，对所述人脸特征点检测模型的参数进行更新。
10.一种人脸特征点检测装置，其特征在于，包括：
第三获取模块，用于获取待检测人脸图像；
第二识别模块，用于将所述待检测人脸图像输入人脸特征点检测模型，得到所述待检测人脸图像的人脸特征点检测结果；其中，所述人脸特征点检测模型通过如权利要求1-6任意一项所述的人脸特征点检测模型训练方法训练得到。
CN202010430046.2A 2020-05-20 2020-05-20 模型训练方法、特征点检测方法、装置、设备及存储介质 Pending CN111611917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430046.2A CN111611917A (zh) 2020-05-20 2020-05-20 模型训练方法、特征点检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430046.2A CN111611917A (zh) 2020-05-20 2020-05-20 模型训练方法、特征点检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111611917A true CN111611917A (zh) 2020-09-01

Family

ID=72198362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430046.2A Pending CN111611917A (zh) 2020-05-20 2020-05-20 模型训练方法、特征点检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111611917A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200236A (zh) * 2020-09-30 2021-01-08 网易（杭州）网络有限公司 人脸参数识别模型的训练方法、人脸参数的识别方法
CN115187822A (zh) * 2022-07-28 2022-10-14 广州方硅信息技术有限公司 人脸图像数据集分析方法、直播人脸图像处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951840A (zh) * 2017-03-09 2017-07-14 北京工业大学 一种人脸特征点检测方法
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
CN110163087A (zh) * 2019-04-09 2019-08-23 江西高创保安服务技术有限公司 一种人脸姿态识别方法及系统
CN111008589A (zh) * 2019-12-02 2020-04-14 杭州网易云音乐科技有限公司 人脸关键点检测方法、介质、装置和计算设备
CN111160269A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种人脸关键点检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951840A (zh) * 2017-03-09 2017-07-14 北京工业大学 一种人脸特征点检测方法
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
CN110163087A (zh) * 2019-04-09 2019-08-23 江西高创保安服务技术有限公司 一种人脸姿态识别方法及系统
CN111008589A (zh) * 2019-12-02 2020-04-14 杭州网易云音乐科技有限公司 人脸关键点检测方法、介质、装置和计算设备
CN111160269A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种人脸关键点检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOJIE GUO 等: "PFLD: A Practical Facial Landmark Detector", pages 1 - 11 *
郑伟成;李学伟;刘宏哲;代松银;: "基于深度学习的疲劳驾驶检测算法", vol. 46, no. 07, pages 21 - 29 *
郭宝龙 等: "《电子信息类课改教材——数字图像处理系统工程导论》", 西安电子科技大学出版社, pages: 195 - 199 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200236A (zh) * 2020-09-30 2021-01-08 网易（杭州）网络有限公司 人脸参数识别模型的训练方法、人脸参数的识别方法
CN112200236B (zh) * 2020-09-30 2023-08-11 网易（杭州）网络有限公司 人脸参数识别模型的训练方法、人脸参数的识别方法
CN115187822A (zh) * 2022-07-28 2022-10-14 广州方硅信息技术有限公司 人脸图像数据集分析方法、直播人脸图像处理方法及装置

Similar Documents

Publication Publication Date Title
CN110533097B (zh) 一种图像清晰度识别方法、装置、电子设备及存储介质
CN111666919B (zh) 一种对象识别方法、装置、计算机设备和存储介质
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN110648289B (zh) 图像的加噪处理方法及装置
CN109919085B (zh) 基于轻量型卷积神经网络的人人交互行为识别方法
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN110321892B (zh) 一种图片筛选方法、装置及电子设备
CN111028216A (zh) 图像评分方法、装置、存储介质及电子设备
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN111783997B (zh) 一种数据处理方法、装置及设备
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
CN111611917A (zh) 模型训练方法、特征点检测方法、装置、设备及存储介质
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
CN111310837A (zh) 车辆改装识别方法、装置、系统、介质和设备
CN111401193A (zh) 获取表情识别模型的方法及装置、表情识别方法及装置
CN111340213A (zh) 神经网络的训练方法、电子设备、存储介质
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN112101109B (zh) 人脸关键点检测模型训练方法、装置、电子设备和介质
CN113705307A (zh) 图像处理方法、装置、设备及存储介质
CN111626212A (zh) 图片中对象的识别方法和装置、存储介质及电子装置
CN115880111A (zh) 基于图像的虚拟仿真实训课堂教学管理方法及系统
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN113255402B (zh) 动作识别方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901