CN109558837B - 人脸关键点检测方法、装置及存储介质 - Google Patents
人脸关键点检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109558837B CN109558837B CN201811437216.9A CN201811437216A CN109558837B CN 109558837 B CN109558837 B CN 109558837B CN 201811437216 A CN201811437216 A CN 201811437216A CN 109558837 B CN109558837 B CN 109558837B
- Authority
- CN
- China
- Prior art keywords
- image
- coordinates
- face
- average
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开是关于一种人脸关键点检测方法、装置及存储介质，属于图像处理领域。方法包括：获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标；获取与平均人脸图像的尺寸相同的目标图像；生成第一图像，第一图像中各个像素点的像素值为目标图像和平均人脸图像中对应像素点的像素值之差；基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差；根据平均人脸关键点的坐标和坐标差，确定目标人脸关键点的坐标。由于第一图像的数据量小于目标图像，能够降低检测模型的计算量，进而降低了对检测装置的处理能力要求，能够适用于多种类型的检测装置中，适用范围大。
Description
技术领域
本公开涉及图像处理领域，尤其涉及一种人脸关键点检测方法、装置及存储介质。
背景技术
随着图像处理技术的快速发展，人脸识别已成为一种最普遍的图像处理方式，目前已广泛应用于人脸滤镜、姿态估计、视频监控以及身份识别等多种领域。而人脸关键点的检测是人脸识别中非常重要的一个环节，会对后续的环节产生重要的影响，因此检测出准确的人脸关键点至关重要。
相关技术中，通常会根据多个样本人脸图像以及该多个样本人脸图像中检测出的人脸关键点的坐标，进行模型训练，得到具有人脸关键点检测能力的神经网络模型。后续过程中，当要检测目标图像中的人脸关键点时，将目标图像输入到神经网络模型中，基于该神经网络模型，对该目标图像进行人脸关键点检测，从而确定目标图像中的人脸关键点的坐标。
上述相关技术中，基于该神经网络模型对该目标图像进行人脸关键点检测时，计算量较大，对检测装置的处理能力要求较高，适用范围小。
发明内容
本公开提供了一种人脸关键点检测方法、装置及存储介质，可以克服相关技术中存在的问题。
根据本公开实施例的第一方面，提供一种人脸关键点检测方法，所述方法包括：
获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
获取与所述平均人脸图像的尺寸相同的目标图像；
生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标。
在一种可能实现的方式中，所述获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标，包括：
获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像；
生成所述平均人脸图像，所述平均人脸图像中各个像素点的像素值为所述多个人脸图像中对应像素点的像素值的平均值；
根据所述多个人脸图像中人脸关键点的坐标求取平均值，将求取的平均值确定为所述平均人脸关键点的坐标。
在另一种可能实现的方式中，其特征在于，所述获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像，包括：
获取包含相同数量的人脸关键点的多个人脸图像；
对所述多个人脸图像进行归一化处理，使所述多个人脸图像的尺寸相同。
在另一种可能实现的方式中，所述根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标，包括：
计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标。
在另一种可能实现的方式中，获取与所述平均人脸图像的尺寸相同的目标图像，包括：
获取待检测的人脸图像；
将所述人脸图像的尺寸调整至与所述平均人脸图像相同，得到调整后的目标图像。
在另一种可能实现的方式中，所述根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标，包括：
计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标，所述坐标包括横坐标和纵坐标；
获取所述人脸图像与所述目标图像之间的横向调整比例和纵向调整比例；
根据所述横向调整比例对所述横坐标进行调整，并根据所述纵向调整比例对所述纵坐标进行调整，得到所述目标人脸关键点在所述人脸图像中的坐标。
在另一种可能实现的方式中，获取多个第一样本图像对应的第二样本图像，所述第二样本图像中各个像素点的像素值为所述第一样本图像和所述平均人脸图像中对应像素点的像素值之差，所述多个第一样本图像与所述平均人脸图像的尺寸相同；
分别获取所述多个第一样本图像中的人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差，得到多个坐标差；
根据所述多个第二样本图像和所述多个坐标差进行模型训练，得到所述检测模型。
在另一种可能实现的方式中，所述根据所述多个第二样本图像和所述多个坐标差进行模型训练，得到所述检测模型，包括：
对于所述多个第二样本图像中的任一第二样本图像，基于所述检测模型和所述第二样本图像获取输出值，计算所述输出值与所述第二样本图像对应的坐标差之间的相似度，根据所述相似度对所述检测模型进行修正；
对于所述多个第二样本图像中剩余的第二样本图像，继续执行上述修正步骤，直至所述检测模型收敛。
根据本公开实施例的第二方面，提供一种人脸关键点检测装置，所述装置包括：
获取单元，被配置为获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
获取单元，还被配置为获取与所述平均人脸图像的尺寸相同的目标图像；
生成单元，被配置为生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
坐标差获取单元，被配置为基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
确定单元，被配置为根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标。
在一种可能实现的方式中，所述获取单元，包括：
获取子单元，被配置为获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像；
生成子单元，被配置为生成所述平均人脸图像，所述平均人脸图像中各个像素点的像素值为所述多个人脸图像中对应像素点的像素值的平均值；
确定子单元，被配置为根据所述多个人脸图像中人脸关键点的坐标求取平均值，将求取的平均值确定为所述平均人脸关键点的坐标。
在另一种可能实现的方式中，所述获取子单元，还被配置为获取包含相同数量的人脸关键点的多个人脸图像；对所述多个人脸图像进行归一化处理，使所述多个人脸图像的尺寸相同。
在另一种可能实现的方式中，所述确定单元，包括：
计算子单元，被配置为计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标。
在另一种可能实现的方式中，所述获取单元，包括：
获取子单元，被配置为获取待检测的人脸图像；
调整子单元，被配置为将所述人脸图像的尺寸调整至与所述平均人脸图像相同，得到调整后的目标图像。
在另一种可能实现的方式中，所述确定单元，包括：
计算子单元，被配置为计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标，所述坐标包括横坐标和纵坐标；
获取子单元，被配置为获取所述人脸图像与所述目标图像之间的横向调整比例和纵向调整比例；
调整子单元，被配置为根据所述横向调整比例对所述横坐标进行调整，并根据所述纵向调整比例对所述纵坐标进行调整，得到所述目标人脸关键点在所述人脸图像中的坐标。
在另一种可能实现的方式中，所述装置还包括：
所述获取单元，还被配置为获取多个第一样本图像对应的第二样本图像，所述第二样本图像中各个像素点的像素值为所述第一样本图像和所述平均人脸图像中对应像素点的像素值之差，所述多个第一样本图像与所述平均人脸图像的尺寸相同；
所述坐标差获取单元，还被配置为分别获取所述多个第一样本图像中的人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差，得到多个坐标差；
训练单元，被配置为根据所述多个第二样本图像和所述多个坐标差进行模型训练，得到所述检测模型。
在一种可能实现的方式中，所述训练单元，包括：
修正子单元，被配置为对于所述多个第二样本图像中的任一第二样本图像，基于所述检测模型和所述第二样本图像获取输出值，计算所述输出值与所述第二样本图像对应的坐标差之间的相似度，根据所述相似度对所述检测模型进行修正；对于所述多个第二样本图像中剩余的第二样本图像，继续执行上述修正步骤，直至所述检测模型收敛。
根据本公开实施例的第三方面，提供一种人脸关键点检测装置，所述装置包括：
处理器；
用于存储处理器可执行命令的存储器；
其中，所述处理器被配置为：
获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
获取与所述平均人脸图像的尺寸相同的目标图像；
生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标。
根据本公开实施例提供的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由检测装置的处理器执行时，使得检测装置能够执行一种人脸关键点检测方法，所述方法包括：
获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
获取与所述平均人脸图像的尺寸相同的目标图像；
生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由检测装置的处理器执行时，使得检测装置能够执行一种人脸关键点检测方法，所述方法包括：
获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
获取与所述平均人脸图像的尺寸相同的目标图像；
生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标，并获取与平均人脸图像的尺寸相同的目标图像，根据目标图像和平均人脸图像中对应像素点的像素值之差生成第一图像，基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，根据平均人脸关键点的坐标和获取的坐标差，可以确定目标人脸关键点的坐标。由于第一图像的数据量小于目标图像，因此基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，再确定目标人脸关键点的坐标，能够降低检测模型的计算量，进而降低了对检测装置的处理能力要求，能够适用于多种类型的检测装置中，适用范围大。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种人脸关键点检测方法的流程图。
图2是根据一示例性实施例示出的一种人脸关键点检测方法的流程图。
图3是根据一示例性实施例示出的一种人脸关键点检测装置的框图。
图4是根据一示例性实施例示出的一种用于人脸关键点检测的终端的框图。
图5是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种人脸关键点检测方法的流程图，如图1所示，该人脸关键点检测方法用于检测装置中，包括以下步骤：
在步骤101中，获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标。
在步骤102中，获取与平均人脸图像的尺寸相同的目标图像。
在步骤103中，生成第一图像，第一图像中各个像素点的像素值为目标图像和平均人脸图像中对应像素点的像素值之差。
在步骤104中，基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差。
在步骤105中，根据平均人脸关键点的坐标和坐标差，确定目标人脸关键点的坐标。
本公开实施例提供的方法，通过获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标，并获取与平均人脸图像的尺寸相同的目标图像，根据目标图像和平均人脸图像中对应像素点的像素值之差生成第一图像，基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，根据平均人脸关键点的坐标和获取的坐标差，可以确定目标人脸关键点的坐标。由于第一图像的数据量小于目标图像，因此基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，再确定目标人脸关键点的坐标，能够降低检测模型的计算量，进而降低了对检测装置的处理能力要求，能够适用于多种类型的检测装置中，适用范围大。
在一种可能实现的方式中，获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标，包括：
获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像；
生成平均人脸图像，平均人脸图像中各个像素点的像素值为多个人脸图像中对应像素点的像素值的平均值；
根据多个人脸图像中人脸关键点的坐标求取平均值，将求取的平均值确定为平均人脸关键点的坐标。
在另一种可能实现的方式中，获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像，包括：
获取包含相同数量的人脸关键点的多个人脸图像；
对多个人脸图像进行归一化处理，使多个人脸图像的尺寸相同。
在另一种可能实现的方式中，根据平均人脸关键点的坐标和坐标差，确定目标人脸关键点的坐标，包括：
计算平均人脸关键点的坐标和坐标差的和，得到目标人脸关键点在目标图像中的坐标。
在另一种可能实现的方式中，获取与平均人脸图像的尺寸相同的目标图像，包括：
获取待检测的人脸图像；
将人脸图像的尺寸调整至与平均人脸图像相同，得到调整后的目标图像。
在另一种可能实现的方式中，根据平均人脸关键点的坐标和坐标差，确定目标人脸关键点的坐标，包括：
计算平均人脸关键点的坐标和坐标差的和，得到目标人脸关键点在目标图像中的坐标，坐标包括横坐标和纵坐标；
获取人脸图像与目标图像之间的横向调整比例和纵向调整比例；
根据横向调整比例对横坐标进行调整，并根据纵向调整比例对纵坐标进行调整，得到目标人脸关键点在人脸图像中的坐标。
在另一种可能实现的方式中，方法还包括：
获取多个第一样本图像对应的第二样本图像，第二样本图像中各个像素点的像素值为第一样本图像和平均人脸图像中对应像素点的像素值之差，多个第一样本图像与平均人脸图像的尺寸相同；
分别获取多个第一样本图像中的人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，得到多个坐标差；
根据多个第二样本图像和多个坐标差进行模型训练，得到检测模型。
在另一种可能实现的方式中，根据多个第二样本图像和多个坐标差进行模型训练，得到检测模型，包括：
对于多个第二样本图像中的任一第二样本图像，基于检测模型和第二样本图像获取输出值，计算输出值与第二样本图像对应的坐标差之间的相似度，根据相似度对检测模型进行修正；
对于多个第二样本图像中剩余的第二样本图像，继续执行上述修正步骤，直至检测模型收敛。
图2是根据一示例性实施例示出的一种人脸关键点检测方法的流程图，如图2所示，该人脸关键点检测方法用于检测装置中，检测装置可以为手机、计算机、服务器、摄像头、监控设备等具有图像处理功能的装置，该方法包括以下步骤：
在步骤201中，获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标。
其中，平均人脸图像根据多个人脸图像得到，可以描述一般人脸的特征，平均人脸图像中各个像素点的像素值为所述多个人脸图像中对应像素点的像素值的平均值。而平均人脸图像中包括平均人脸关键点，平均人脸关键点的坐标根据多个人脸图像中人脸关键点的坐标确定，可以描述一般人脸中人脸关键点的位置。
在一种可能实现方式中，获取包含相同数量的人脸关键点的多个人脸图像，每个人脸图像包括多个像素点，且处于不同人脸图像的相同位置的像素点相互对应，对该多个人脸图像中对应的像素点的像素值计算平均值，即可得到与多个位置分别对应的多个平均值，将该多个平均值作为平均人脸图像中多个像素点的像素值，从而得到平均人脸图像。
获取每个人脸图像中人脸关键点的坐标，根据多个人脸图像中人脸关键点的坐标求取平均值，将求取的平均值确定为平均人脸关键点的坐标。由于每个人脸图像中包括一个或多个人脸关键点，因此在求取平均值时，对每个人脸图像中对应的人脸关键点的坐标求取平均值，得到一个或多个平均值，作为平均人脸关键点在平均人脸图像中的坐标。
其中，任两个人脸图像中对应的人脸关键点是指在各自人脸图像的多个人脸关键点中的顺序相同的人脸关键点。通过对每个人脸图像中对应的人脸关键点的坐标求取平均值，能够保证每个人脸图像中的人脸关键点相互对应，从而保证获取的平均人脸关键点坐标的准确性。
例如，每个人脸图像中包括按照固定顺序排列的30个人脸关键点，则多个人脸图像中，排列顺序为1的人脸关键点相互对应，排列顺序为2的人脸关键点相互对应，以此类推。
在另一种可能实现的方式中，每个人脸图像由人脸五官、人脸表情、人脸朝向等多种因素确定，如人脸图像的人脸五官根据人脸长相确定，人脸表情可以包括笑脸、惆怅、哭泣等多种表情，人脸朝向可以包括正向、侧向等多种方向。在获取平均人脸图像和平均人脸关键点的坐标时，获取的多个人脸图像的各个因素不完全相同。
例如，多个人脸图像中可以包括多种人脸五官的人脸图像、多种人脸表情的人脸图像或者多种人脸朝向的人脸图像。通过获取多样化的人脸图像，能够保证人脸图像的宽泛性，从而保证平均人脸图像的通用性。
在另一种可能实现的方式中，获取包含相同数量的人脸关键点的多个人脸图像后，对该多个人脸图像进行归一化处理，使该多个人脸图像的尺寸相同，能够根据该多个人脸图像生成尺寸相同的平均人脸图像。其中，该尺寸可以根据正常拍摄的情况下一般人脸的尺寸确定，可以为100*100、200*200等多种尺寸。
在步骤202中，获取待检测的人脸图像，将人脸图像的尺寸调整至与平均人脸图像相同，得到调整后的目标图像。
本公开实施例中，在进行人脸关键点的检测时，获取与平均人脸图像的尺寸相同的目标图像，以便根据平均人脸图像和目标图像进行差值计算，利用平均人脸图像来减小目标图像的数据量。
其中，该目标图像可以由检测装置拍摄得到，或者从检测装置拍摄到的视频图像中提取得到，或者由检测装置从互联网中下载得到，或者由其他设备发送给检测装置。或者，在检测装置进行视频直播的过程中，可以获取视频流中的每张图像，将每张图片分别作为待检测的目标图像，以便对视频流中的每张图像进行人脸关键点的检测。
另外，考虑到待检测的人脸图像的尺寸可能与平均人脸图像的尺寸不同，此时会导致待检测的人脸图像的像素点与平均人脸图像的像素点不能准确对应，因此当获取到待检测的人脸图像后，先将人脸图像的尺寸调整至与平均人脸图像相同，得到调整后的目标图像，使该目标图像中的像素点与平均人脸图像中的像素点能够准确对应，能够进行差值计算。
在步骤203中，生成第一图像，第一图像中各个像素点的像素值为目标图像和平均人脸图像中对应像素点的像素值之差。
目标图像的尺寸与平均人脸图像的尺寸相同，目标图像中的各个像素点与平均人脸图像中的各个像素点相互对应，计算目标图像中的各个像素点的像素值与平均人脸图像中的对应像素点的像素值之差，将计算得到的多个像素值之差分别作为第一图像中各个像素点的像素值，从而生成第一图像，第一图像即为目标图像与平均人脸图像的差值图像，第一图像的数据量小于目标图像的数据量。
在步骤204中，基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差。
获取检测模型，该检测模型用于检测目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差。将第一图像输入至检测模型中，基于该检测模型，获取目标人脸图像中的目标人脸关键点的坐标与平均人脸关键的坐标之间的坐标差。
该检测模型可以由检测装置训练得到，并由该检测装置存储，或者，该检测模型可以由其他设备训练后发送给检测装置，并由该检测装置存储。
在一种可能实现的方式中，在训练检测模型时，先构建初始化的检测模型，获取多个第一样本图像，多个第一样本图像与平均人脸图像的尺寸相同。对于每个第一样本图像，通过计算第一样本图像和平均人脸图像中对应像素点的像素值之差，将计算得到的多个像素值之差作为第二样本图像中各个像素点的像素值，从而生成第二样本图像，第二样本图像即为第一样本图像与平均人脸图像的差值图像。
之后，分别获取多个第一样本图像中的人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，得到多个坐标差，根据该多个第二样本图像和与多个第二样本图像分别对应的多个坐标差进行模型训练，得到检测模型。
另外，为了提高检测模型的准确性，对于多个第二样本图像中的任一第二样本图像，基于检测模型和第二样本图像获取检测模型的输出值，该输出值即为第二样本图像的预测坐标差，计算输出值与第二样本图像对应的坐标差之间的相似度，根据相似度对检测模型进行修正。对于多个第二样本图像中剩余的第二样本图像，可以继续执行修正步骤，直至检测模型收敛，从而能够通过反向传播的方式对检测模型进行修正，修正后可以认为检测模型的准确性达到要求，可以基于该检测模型进行人脸关键点的准确检测。其中，该相似度可以为输出值与第二样本图像对应的坐标差之间的欧式距离或余弦相似度等。
在训练过程中，将多个第二样本图像作为检测模型的输入，将第二样本图像对应的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差作为检测模型的输出，对检测模型进行训练，使检测模型学习目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差的检测方式，具备检测该坐标差的能力。
在一种可能实现的方式中，在训练检测模型时可以采用预设训练算法，该预设训练算法可以为卷积神经网络算法、决策树算法、人工神经网络算法等。相应地，训练出的检测模型可以为卷积神经网络模型、决策树模型或人工神经网络模型等。
在步骤205中，根据平均人脸关键点的坐标和坐标差，确定目标人脸关键点的坐标。
获取目标图像中的目标人脸关键点的坐标与平均人脸图像中平均人脸关键点的坐标之间的坐标差，计算平均人脸关键点的坐标和该坐标差的和，即可得到目标人脸关键点在目标图像中的坐标，该坐标包括目标人脸关键点在目标图像中的横坐标和纵坐标。
若在上述步骤202中对人脸图像的尺寸进行调整后得到目标图像，当确定目标人脸关键点在目标图像中的坐标后，需要根据目标图像的尺寸和人脸图像的尺寸之间的比例，确定目标人脸关键点在人脸图像中的坐标。
为此，获取人脸图像与目标图像之间的横向调整比例和纵向调整比例，该横向调整比例为人脸图像的横向尺寸与目标图像的横向尺寸之间的比例，该纵向调整比例为人脸图像的纵向尺寸与目标图像的纵向尺寸之间的比例。
根据横向调整比例对目标人脸关键点在目标图像中的横坐标进行调整，将该横坐标与横向调整比例相乘，得到目标人脸关键点在人脸图像中的横坐标，根据纵向调整比例对目标人脸关键点在目标图像中的纵坐标进行调整，将该纵坐标与纵向调整比例相乘，得到目标人脸关键点在人脸图像中的纵坐标，从而确定目标人脸关键点在人脸图像中的坐标，实现了对人脸图像的人脸关键点检测。
例如，当人脸图像的尺寸为500*500，目标图像的尺寸为100*100时，目标人脸关键点在目标图像中的坐标为(50，40)时，人脸图像与目标图像之间的横向调整比例和纵向调整比例均为5，那么根据横向调整比例对横坐标进行调整，根据纵向调整比例对纵坐标进行调整，得到的目标人脸关键点在人脸图像中的坐标为(250，200)。
通过上述步骤201-205实现人脸关键点的检测之后，即可基于人脸图像中的人脸关键点进行多种操作，如，在身份识别场景下，可以拍摄当前用户的人脸图像，对人脸图像进行人脸关键点检测，得到人脸图像中的人脸关键点，作为人脸特征，将该人脸特征与预先存储的人脸特征进行匹配，从而识别当前用户的身份。在视频监控场景下，获取拍摄到的视频流中的每张图像，对每张图像中的人脸区域进行人脸关键点检测，得到人脸图像中的人脸关键点，作为人脸特征，基于获取到的人脸特征进行身份识别、人物跟踪等操作。
本公开实施例提供的方法，通过获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标，并获取与平均人脸图像的尺寸相同的目标图像，根据目标图像和平均人脸图像中对应像素点的像素值之差生成第一图像，基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，根据平均人脸关键点的坐标和获取的坐标差，可以确定目标人脸关键点的坐标。由于第一图像的数据量小于目标图像，因此基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，再确定目标人脸关键点的坐标，能够降低检测模型的计算量，进而降低了对检测装置的处理能力要求，能够适用于多种类型的检测装置中，适用范围大。
另外，通过对每个人脸图像中对应的人脸关键点的坐标求取平均值，能够保证每个人脸图像中的人脸关键点相互对应，从而保证获取的平均人脸关键点坐标的准确性。
另外，通过获取多样化的人脸图像，能够保证人脸图像的宽泛性，从而保证平均人脸图像的通用性。
图3是根据一示例性实施例示出的一种人脸关键点检测装置的框图。参见图3，该装置包括获取单元301、生成单元302、坐标差获取单元303以及确定单元304。
获取单元301，被配置为获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标；
获取单元301，还被配置为获取与平均人脸图像的尺寸相同的目标图像；
生成单元302，被配置为生成第一图像，第一图像中各个像素点的像素值为目标图像和平均人脸图像中对应像素点的像素值之差；
坐标差获取单元303，被配置为基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差；
确定单元304，被配置为根据平均人脸关键点的坐标和坐标差，确定目标人脸关键点的坐标。
本公开实施例提供的装置，通过获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标，并获取与平均人脸图像的尺寸相同的目标图像，根据目标图像和平均人脸图像中对应像素点的像素值之差生成第一图像，基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，根据平均人脸关键点的坐标和获取的坐标差，可以确定目标人脸关键点的坐标。由于第一图像的数据量小于目标图像，因此基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，再确定目标人脸关键点的坐标，能够降低检测模型的计算量，进而降低了对检测装置的处理能力要求，能够适用于多种类型的检测装置中，适用范围大。
在一种可能实现的方式中，获取单元301，包括：
获取子单元，被配置为获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像；
生成子单元，被配置为生成平均人脸图像，平均人脸图像中各个像素点的像素值为多个人脸图像中对应像素点的像素值的平均值；
确定子单元，被配置为根据多个人脸图像中人脸关键点的坐标求取平均值，将求取的平均值确定为平均人脸关键点的坐标。
在另一种可能实现的方式中，获取子单元，还被配置为获取包含相同数量的人脸关键点的多个人脸图像；对多个人脸图像进行归一化处理，使多个人脸图像的尺寸相同。
在另一种可能实现的方式中，确定单元304，包括：
计算子单元，被配置为计算平均人脸关键点的坐标和坐标差的和，得到目标人脸关键点在目标图像中的坐标。
在另一种可能实现的方式中，获取单元301，包括：
获取子单元，被配置为获取待检测的人脸图像；
调整子单元，被配置为将人脸图像的尺寸调整至与平均人脸图像相同，得到调整后的目标图像。
在另一种可能实现的方式中，确定单元304，包括：
计算子单元，被配置为计算平均人脸关键点的坐标和坐标差的和，得到目标人脸关键点在目标图像中的坐标，坐标包括横坐标和纵坐标；
获取子单元，被配置为获取人脸图像与目标图像之间的横向调整比例和纵向调整比例；
调整子单元，被配置为根据横向调整比例对横坐标进行调整，并根据纵向调整比例对纵坐标进行调整，得到目标人脸关键点在人脸图像中的坐标。
在另一种可能实现的方式中，装置还包括：
获取单元301，还被配置为获取多个第一样本图像对应的第二样本图像，第二样本图像中各个像素点的像素值为第一样本图像和平均人脸图像中对应像素点的像素值之差，多个第一样本图像与平均人脸图像的尺寸相同；
坐标差获取单元303，还被配置为分别获取多个第一样本图像中的人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差，得到多个坐标差；
训练单元，被配置为根据多个第二样本图像和多个坐标差进行模型训练，得到检测模型。
在另一种可能实现的方式中，训练单元，包括：
修正子单元，被配置为对于多个第二样本图像中的任一第二样本图像，基于检测模型和第二样本图像获取输出值，计算输出值与第二样本图像对应的坐标差之间的相似度，根据相似度对检测模型进行修正；对于多个第二样本图像中剩余的第二样本图像，继续执行上述修正步骤，直至检测模型收敛。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种用于人脸关键点检测的终端的框图。该终端400用于执行上述人脸关键点检测方法中检测装置所执行的步骤，可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端400包括有：处理器401和存储器402。
处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所具有以实现本申请中方法实施例提供的人脸关键点检测方法。
在一些实施例中，终端400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地，外围设备包括：射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
外围设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及13G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置终端400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在终端400的不同表面或呈折叠设计；在再一些实施例中，显示屏405可以是柔性显示屏，设置在终端400的弯曲表面上或折叠面上。甚至，显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407还可以包括耳机插孔。
定位组件408用于定位终端400的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源409用于为终端400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测终端400的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3D动作。处理器401根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时，可以检测用户对终端400的握持信号，由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时，由处理器401根据用户对触摸显示屏405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹，由处理器401根据指纹传感器414采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器401授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置终端400的正面、背面或侧面。当终端400上设置有物理按键或厂商Logo时，指纹传感器414可以与物理按键或厂商标志集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器415采集的环境光强度，控制触摸显示屏405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏405的显示亮度；当环境光强度较低时，调低触摸显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件406的拍摄参数。
接近传感器416，也称距离传感器，通常设置在终端400的前面板。接近传感器416用于采集用户与终端400的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时，由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态；当接近传感器416检测到用户与终端400的正面之间的距离逐渐变大时，由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图4中示出的结构并不构成对终端400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图5是根据一示例性实施例示出的一种服务器的结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器500可以用于执行上述人脸关键点检测方法中检测装置所执行的步骤。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当存储介质中的指令由检测装置的处理器执行时，使得检测装置能够执行一种人脸关键点检测方法，方法包括：
获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标；
获取与平均人脸图像的尺寸相同的目标图像；
生成第一图像，第一图像中各个像素点的像素值为目标图像和平均人脸图像中对应像素点的像素值之差；
基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差；
根据平均人脸关键点的坐标和坐标差，确定目标人脸关键点的坐标。
在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由检测装置的处理器执行时，使得检测装置能够执行一种人脸关键点检测方法，方法包括：
获取平均人脸图像和平均人脸图像中平均人脸关键点的坐标；
获取与平均人脸图像的尺寸相同的目标图像；
生成第一图像，第一图像中各个像素点的像素值为目标图像和平均人脸图像中对应像素点的像素值之差；
基于检测模型和第一图像，获取目标图像中的目标人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差；
根据平均人脸关键点的坐标和坐标差，确定目标人脸关键点的坐标。
本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种人脸关键点检测方法，其特征在于，所述方法包括：
获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
获取与所述平均人脸图像的尺寸相同的目标图像；
生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标；
所述根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标，包括：
若所述目标图像为未调整尺寸的图像，计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标；
若所述目标图像为对人脸图像的尺寸进行调整后得到的图像，计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标，所述坐标包括横坐标和纵坐标；获取所述人脸图像与所述目标图像之间的横向调整比例和纵向调整比例；根据所述横向调整比例对所述横坐标进行调整，并根据所述纵向调整比例对所述纵坐标进行调整，得到所述目标人脸关键点在所述人脸图像中的坐标。
2.根据权利要求1所述的方法，其特征在于，所述获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标，包括：
获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像；
生成所述平均人脸图像，所述平均人脸图像中各个像素点的像素值为所述多个人脸图像中对应像素点的像素值的平均值；
根据所述多个人脸图像中人脸关键点的坐标求取平均值，将求取的平均值确定为所述平均人脸关键点的坐标。
3.根据权利要求2所述的方法，其特征在于，所述获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像，包括：
获取包含相同数量的人脸关键点的多个人脸图像；
对所述多个人脸图像进行归一化处理，使所述多个人脸图像的尺寸相同。
4.根据权利要求1所述的方法，其特征在于，所述获取与所述平均人脸图像的尺寸相同的目标图像，包括：
获取待检测的人脸图像；
将所述人脸图像的尺寸调整至与所述平均人脸图像相同，得到调整后的目标图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多个第一样本图像对应的第二样本图像，所述第二样本图像中各个像素点的像素值为所述第一样本图像和所述平均人脸图像中对应像素点的像素值之差，所述多个第一样本图像与所述平均人脸图像的尺寸相同；
分别获取所述多个第一样本图像中的人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差，得到多个坐标差；
根据获取的多个第二样本图像和所述多个坐标差进行模型训练，得到所述检测模型。
6.根据权利要求5所述的方法，其特征在于，所述根据获取的多个第二样本图像和所述多个坐标差进行模型训练，得到所述检测模型，包括：
对于所述多个第二样本图像中的任一第二样本图像，基于所述检测模型和所述第二样本图像获取输出值，计算所述输出值与所述第二样本图像对应的坐标差之间的相似度，根据所述相似度对所述检测模型进行修正；
对于所述多个第二样本图像中剩余的第二样本图像，继续执行上述修正步骤，直至所述检测模型收敛。
7.一种人脸关键点检测装置，其特征在于，所述装置包括：
获取单元，被配置为获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
所述获取单元，还被配置为获取与所述平均人脸图像的尺寸相同的目标图像；
生成单元，被配置为生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
坐标差获取单元，被配置为基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
确定单元，被配置为根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标；
所述确定单元，包括：
计算子单元，被配置为若所述目标图像为未调整尺寸的图像，计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标；
所述计算子单元，还被配置为若所述目标图像为对人脸图像的尺寸进行调整后得到的图像，计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标，所述坐标包括横坐标和纵坐标；
获取子单元，被配置为获取所述人脸图像与所述目标图像之间的横向调整比例和纵向调整比例；
调整子单元，被配置为根据所述横向调整比例对所述横坐标进行调整，并根据所述纵向调整比例对所述纵坐标进行调整，得到所述目标人脸关键点在所述人脸图像中的坐标。
8.根据权利要求7所述的装置，其特征在于，所述获取单元，包括：
获取子单元，被配置为获取包含相同数量的人脸关键点且尺寸相同的多个人脸图像；
生成子单元，被配置为生成所述平均人脸图像，所述平均人脸图像中各个像素点的像素值为所述多个人脸图像中对应像素点的像素值的平均值；
确定子单元，被配置为根据所述多个人脸图像中人脸关键点的坐标求取平均值，将求取的平均值确定为所述平均人脸关键点的坐标。
9.根据权利要求8所述的装置，其特征在于，所述获取单元中所包括的所述获取子单元，还被配置为获取包含相同数量的人脸关键点的多个人脸图像；对所述多个人脸图像进行归一化处理，使所述多个人脸图像的尺寸相同。
10.根据权利要求7所述的装置，其特征在于，所述获取单元，包括：
获取子单元，被配置为获取待检测的人脸图像；
调整子单元，被配置为将所述人脸图像的尺寸调整至与所述平均人脸图像相同，得到调整后的目标图像。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
所述获取单元，还被配置为获取多个第一样本图像对应的第二样本图像，所述第二样本图像中各个像素点的像素值为所述第一样本图像和所述平均人脸图像中对应像素点的像素值之差，所述多个第一样本图像与所述平均人脸图像的尺寸相同；
所述坐标差获取单元，还被配置为分别获取所述多个第一样本图像中的人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差，得到多个坐标差；
训练单元，被配置为根据获取的多个第二样本图像和所述多个坐标差进行模型训练，得到所述检测模型。
12.根据权利要求11所述的装置，其特征在于，所述训练单元，包括：
修正子单元，被配置为对于所述多个第二样本图像中的任一第二样本图像，基于所述检测模型和所述第二样本图像获取输出值，计算所述输出值与所述第二样本图像对应的坐标差之间的相似度，根据所述相似度对所述检测模型进行修正；对于所述多个第二样本图像中剩余的第二样本图像，继续执行上述修正步骤，直至所述检测模型收敛。
13.一种人脸关键点检测装置，其特征在于，所述装置包括：
处理器；
用于存储所述处理器可执行命令的存储器；
其中，所述处理器被配置为：
获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
获取与所述平均人脸图像的尺寸相同的目标图像；
生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标；
所述处理器被配置为：若所述目标图像为未调整尺寸的图像，计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标；
所述处理器还被配置为：若所述目标图像为对人脸图像的尺寸进行调整后得到的图像，计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标，所述坐标包括横坐标和纵坐标；获取所述人脸图像与所述目标图像之间的横向调整比例和纵向调整比例；根据所述横向调整比例对所述横坐标进行调整，并根据所述纵向调整比例对所述纵坐标进行调整，得到所述目标人脸关键点在所述人脸图像中的坐标。
14.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由检测装置的处理器执行时，使得所述检测装置能够执行一种人脸关键点检测方法，所述方法包括：
获取平均人脸图像和所述平均人脸图像中平均人脸关键点的坐标；
获取与所述平均人脸图像的尺寸相同的目标图像；
生成第一图像，所述第一图像中各个像素点的像素值为所述目标图像和所述平均人脸图像中对应像素点的像素值之差；
基于检测模型和所述第一图像，获取所述目标图像中的目标人脸关键点的坐标与所述平均人脸关键点的坐标之间的坐标差；
根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标；
所述根据所述平均人脸关键点的坐标和所述坐标差，确定所述目标人脸关键点的坐标，包括：
若所述目标图像为未调整尺寸的图像，计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标；
若所述目标图像为对人脸图像的尺寸进行调整后得到的图像，计算所述平均人脸关键点的坐标和所述坐标差的和，得到所述目标人脸关键点在所述目标图像中的坐标，所述坐标包括横坐标和纵坐标；获取所述人脸图像与所述目标图像之间的横向调整比例和纵向调整比例；根据所述横向调整比例对所述横坐标进行调整，并根据所述纵向调整比例对所述纵坐标进行调整，得到所述目标人脸关键点在所述人脸图像中的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811437216.9A CN109558837B (zh) | 2018-11-28 | 2018-11-28 | 人脸关键点检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811437216.9A CN109558837B (zh) | 2018-11-28 | 2018-11-28 | 人脸关键点检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109558837A CN109558837A (zh) | 2019-04-02 |
| CN109558837B true CN109558837B (zh) | 2024-03-22 |
Family
ID=65867933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811437216.9A Active CN109558837B (zh) | 2018-11-28 | 2018-11-28 | 人脸关键点检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109558837B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189252B (zh) * | 2019-06-10 | 2023-08-18 | 北京字节跳动网络技术有限公司 | 生成平均脸图像的方法和装置 |
| CN110263695B (zh) * | 2019-06-14 | 2021-07-16 | 北京达佳互联信息技术有限公司 | 人脸部位的位置获取方法、装置、电子设备及存储介质 |
| CN110738110A (zh) * | 2019-09-11 | 2020-01-31 | 北京迈格威科技有限公司 | 基于锚点的人脸关键点检测方法、装置、系统和存储介质 |
| CN110928457B (zh) * | 2019-11-13 | 2020-06-26 | 南京甄视智能科技有限公司 | 基于红外相机的平面触摸方法 |
| CN111597883B (zh) * | 2020-04-03 | 2023-05-30 | 云知声智能科技股份有限公司 | 一种图像重采样方法及装置 |
| CN111667403B (zh) * | 2020-07-02 | 2023-04-18 | 北京爱笔科技有限公司 | 一种有遮挡的人脸图像的生成方法及装置 |
| CN113723214B (zh) * | 2021-08-06 | 2023-10-13 | 武汉光庭信息技术股份有限公司 | 一种人脸关键点标注方法、系统、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679118A (zh) * | 2012-09-07 | 2014-03-26 | 汉王科技股份有限公司 | 一种人脸活体检测方法及系统 |
| CN104598936A (zh) * | 2015-02-28 | 2015-05-06 | 北京畅景立达软件技术有限公司 | 人脸图像面部关键点的定位方法 |
| CN105631436A (zh) * | 2016-01-27 | 2016-06-01 | 桂林电子科技大学 | 基于随机森林的级联位置回归用于人脸对齐的方法 |
| CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
| WO2017054652A1 (zh) * | 2015-09-29 | 2017-04-06 | 阿里巴巴集团控股有限公司 | 一种对图像进行关键点定位的方法和装置 |
| CN106845377A (zh) * | 2017-01-10 | 2017-06-13 | 北京小米移动软件有限公司 | 人脸关键点定位方法及装置 |
| CN106980840A (zh) * | 2017-03-31 | 2017-07-25 | 北京小米移动软件有限公司 | 脸型匹配方法、装置及存储介质 |
| CN107944367A (zh) * | 2017-11-16 | 2018-04-20 | 北京小米移动软件有限公司 | 人脸关键点检测方法及装置 |
| CN108090450A (zh) * | 2017-12-20 | 2018-05-29 | 深圳和而泰数据资源与云技术有限公司 | 人脸识别方法和装置 |
| CN108229496A (zh) * | 2017-07-11 | 2018-06-29 | 北京市商汤科技开发有限公司 | 服饰关键点的检测方法和装置、电子设备、存储介质和程序 |
| CN108399373A (zh) * | 2018-02-06 | 2018-08-14 | 北京达佳互联信息技术有限公司 | 人脸关键点的模型训练及其检测方法和装置 |
| CN108596090A (zh) * | 2018-04-24 | 2018-09-28 | 北京达佳互联信息技术有限公司 | 人脸图像关键点检测方法、装置、计算机设备及存储介质 |
| CN108898043A (zh) * | 2018-02-09 | 2018-11-27 | 迈格威科技有限公司 | 图像处理方法、图像处理装置以及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10096132B2 (en) * | 2016-01-27 | 2018-10-09 | Samsung Electronics Co., Ltd. | Method and apparatus for positioning feature point |
| WO2018035696A1 (zh) * | 2016-08-22 | 2018-03-01 | 华为技术有限公司 | 一种图像处理方法以及装置 |
-
2018
- 2018-11-28 CN CN201811437216.9A patent/CN109558837B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679118A (zh) * | 2012-09-07 | 2014-03-26 | 汉王科技股份有限公司 | 一种人脸活体检测方法及系统 |
| CN104598936A (zh) * | 2015-02-28 | 2015-05-06 | 北京畅景立达软件技术有限公司 | 人脸图像面部关键点的定位方法 |
| WO2017054652A1 (zh) * | 2015-09-29 | 2017-04-06 | 阿里巴巴集团控股有限公司 | 一种对图像进行关键点定位的方法和装置 |
| CN105631436A (zh) * | 2016-01-27 | 2016-06-01 | 桂林电子科技大学 | 基于随机森林的级联位置回归用于人脸对齐的方法 |
| CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
| CN106845377A (zh) * | 2017-01-10 | 2017-06-13 | 北京小米移动软件有限公司 | 人脸关键点定位方法及装置 |
| CN106980840A (zh) * | 2017-03-31 | 2017-07-25 | 北京小米移动软件有限公司 | 脸型匹配方法、装置及存储介质 |
| CN108229496A (zh) * | 2017-07-11 | 2018-06-29 | 北京市商汤科技开发有限公司 | 服饰关键点的检测方法和装置、电子设备、存储介质和程序 |
| CN107944367A (zh) * | 2017-11-16 | 2018-04-20 | 北京小米移动软件有限公司 | 人脸关键点检测方法及装置 |
| CN108090450A (zh) * | 2017-12-20 | 2018-05-29 | 深圳和而泰数据资源与云技术有限公司 | 人脸识别方法和装置 |
| CN108399373A (zh) * | 2018-02-06 | 2018-08-14 | 北京达佳互联信息技术有限公司 | 人脸关键点的模型训练及其检测方法和装置 |
| CN108898043A (zh) * | 2018-02-09 | 2018-11-27 | 迈格威科技有限公司 | 图像处理方法、图像处理装置以及存储介质 |
| CN108596090A (zh) * | 2018-04-24 | 2018-09-28 | 北京达佳互联信息技术有限公司 | 人脸图像关键点检测方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109558837A (zh) | 2019-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11205282B2 (en) | Relocalization method and apparatus in camera pose tracking process and storage medium | |
| CN110992493B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109558837B (zh) | 人脸关键点检测方法、装置及存储介质 | |
| CN111127509B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
| CN111753784B (zh) | 视频的特效处理方法、装置、终端及存储介质 | |
| CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
| CN109166150B (zh) | 获取位姿的方法、装置存储介质 | |
| CN109522863B (zh) | 耳部关键点检测方法、装置及存储介质 | |
| CN110134744B (zh) | 对地磁信息进行更新的方法、装置和系统 | |
| CN109285178A (zh) | 图像分割方法、装置及存储介质 | |
| CN113763228B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108288032A (zh) | 动作特征获取方法、装置及存储介质 | |
| CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN113160031B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111753606A (zh) | 一种智能模型的升级方法及装置 | |
| CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
| CN111488895B (zh) | 对抗数据生成方法、装置、设备及存储介质 | |
| CN111723615B (zh) | 对检测物图像进行检测物匹配判定的方法和装置 | |
| CN110660031B (zh) | 图像锐化方法及装置、存储介质 | |
| CN111757146B (zh) | 视频拼接的方法、系统及存储介质 | |
| CN111382771B (zh) | 数据分类方法、装置、设备及存储介质 | |
| CN110443841B (zh) | 地面深度的测量方法、装置及系统 | |
| CN111402873A (zh) | 语音信号处理方法、装置、设备及存储介质 | |
| CN112135256A (zh) | 移动轨迹的确定方法、装置、设备及可读存储介质 | |
| CN113065457B (zh) | 人脸检测点处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |