CN112528978A - 人脸关键点的检测方法、装置、电子设备及存储介质 - Google Patents

人脸关键点的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112528978A
CN112528978A CN202110181600.2A CN202110181600A CN112528978A CN 112528978 A CN112528978 A CN 112528978A CN 202110181600 A CN202110181600 A CN 202110181600A CN 112528978 A CN112528978 A CN 112528978A
Authority
CN
China
Prior art keywords
face
image
key point
sample
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110181600.2A
Other languages
English (en)
Other versions
CN112528978B (zh
Inventor
康洋
付灿苗
孙冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110181600.2A priority Critical patent/CN112528978B/zh
Publication of CN112528978A publication Critical patent/CN112528978A/zh
Application granted granted Critical
Publication of CN112528978B publication Critical patent/CN112528978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域，特别涉及人工智能技术领域，公开了一种人脸关键点的检测方法、装置、电子设备及存储介质，该方法为：获得初始人脸特征图，再基于初始人脸特征图确定第一偏移矩阵，并基于第一偏移矩阵对初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图；对目标人脸特征图进行人脸关键点检测，并将获得各个第一人脸关键点坐标分别映射为相应的第二人脸关键点坐标，并将待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。使用第一偏移矩阵进行人脸方向矫正，获得目标人脸特征图，再对目标人脸特征图进行后续的人脸关键点定位，提高了人脸关键点的检测准确率。

Description

人脸关键点的检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及人工智能技术领域，公开了一种人脸关键点的检测方法、装置、电子设备及存储介质。
背景技术
随着科学技术的发展，人脸识别技术在图像处理领域的应用也越来越普及，例如，用户使用终端设备拍摄短视频，通过人脸识别技术定位画面中的人脸，并对识别出人脸图像执行添加贴纸或者美颜的操作。
由于在水平面内可以360°旋转终端设备，那么在使用终端设备上的摄像装置拍摄时，会拍摄到包含不同人脸方向的多张图像但相关技术中所使用的人脸关键点检测模型对人脸方向为非正前方的图像的关键点定位效果较差。
发明内容
本申请实施例提供一种人脸关键点的检测方法、装置、电子设备及存储介质，用以提高人脸关键点检测准确率。
本申请实施例提供了一种人脸关键点的检测方法，包括：
对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图；
基于所述初始人脸特征图, 确定所述待测人脸图像相较于预设标准脸图像的第一偏移矩阵，并基于所述第一偏移矩阵，对所述初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图；其中，所述标准脸图像是对包含不同人脸方向的样本人脸图像集合进行平均化处理后得到的参考图像；
对所述目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合；
基于所述第一偏移矩阵，将所述第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，并将所述待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。
本申请实施例提供了一种人脸关键点的检测装置，包括：
特征提取单元，用于对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图；
人脸方向矫正单元，用于基于所述初始人脸特征图, 确定所述待测人脸图像相较于预设标准脸图像的第一偏移矩阵，并基于所述第一偏移矩阵，对所述初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图；其中，所述标准脸图像是对包含不同人脸方向的样本人脸图像集合进行平均化处理后得到的参考图像；
人脸关键点检测单元，用于对所述目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合；
基于所述第一偏移矩阵，将所述第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，并将所述待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。
可选的，所述人脸关键点检测单元用于：
基于所述待测人脸图像的尺寸和所述初始人脸特征图尺寸之间的比例关系，将所述第一偏移矩阵转换为第二偏移矩阵；
基于第二偏移逆矩阵分别对所述各个第一人脸关键点坐标进行坐标逆变换，获得所述各个第一人脸关键点坐标各自对应的第二人脸关键点坐标；其中，所述第二偏移逆矩阵时通过对所述第二偏移矩阵求逆获得的。
可选的，所述人脸方向矫正模型是通过以下方式训练得到的：
获取所述样本人脸图像集合；
采用循环迭代的方式读取所述样本人脸图像集合中的各个样本人脸图像，直到满足预设的迭代停止条件为止，其中，每读取一个样本人脸图像，针对所述一个样本人脸图像执行以下操作：
将所述一个样本人脸图像输入所述人脸方向矫正模型中，获得样本偏移矩阵；
基于所述样本偏移矩阵和所述一个样本人脸图像对应的参考偏移矩阵，调整所述人脸方向矫正模型的参数；
将最后一轮输出的人脸方向矫正模型，作为训练完毕的人脸方向矫正模型输出。
可选的，所述一个样本人脸图像对应的参考偏移矩阵，是通过将所述一个样本人脸图像和所述标准脸图像进行最小二乘法运算得到的。
可选的，所述人脸关键点检测模型是通过以下方式训练得到的：
获取样本人脸特征图集合，所述样本人脸特征图集合是基于所述样本人脸图像和已训练的人脸方向矫正模型获得的；
采用循环迭代的方式读取所述样本人脸特征图集合中的各个样本人脸特征图，直到满足预设的迭代停止条件为止，其中，每读取一个样本人脸特征图，执行以下操作：
将所述一个样本人脸特征图输入所述人脸关键点检测模型中，获得样本人脸关键点坐标集合；
基于所述一个样本人脸特征图对应的样本偏移矩阵，将所述样本人脸关键点坐标集合中的各个样本人脸关键点坐标进行坐标逆变换，分别映射为相应的预测人脸关键点坐标；
基于预测人脸关键点坐标集合和用于生成所述一个样本人脸特征图的样本人脸图像所对应的参考人脸关键点坐标集合，调整所述人脸关键点检测模型的参数；
将最后一轮输出的人脸关键点检测模型，作为训练完毕的人脸关键点检测模型输出。
本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种人脸关键点的检测方法的步骤。
本申请实施例提供一种计算机可读存储介质，其包括程序代码，当所述程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行上述任意一种人脸关键点的检测方法的步骤。
本申请有益效果如下：
本申请实施例提供了一种人脸关键点的检测方法、装置、电子设备及存储介质。在本申请实施例中，对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图；再基于初始人脸特征图，确定待测人脸图像相较于预设标准脸图像的第一偏移矩阵，并基于第一偏移矩阵对初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图，标准脸图像是对包含不同人脸方向的样本人脸图像集合进行平均化处理后得到的参考图像；对目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合，再基于第一偏移矩阵将第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，并将待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。无论待测人脸图像中的人脸是否被遮挡、人脸方向是否发生偏移，先确定出第一偏移矩阵，并使用第一偏移矩阵对提取出的初始人脸特征图进行人脸方向矫正，获得目标人脸特征图，再对目标人脸特征图进行后续的人脸关键点定位，这样可以大大提高人脸关键点的检测准确率，通过第一偏移矩阵还能降低遮挡、偏移等因素对定位人脸方向带来的影响，从而提高了人脸关键点的预测精度。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中包含不同人脸方向的多张图像的示意图；
图2a为本申请实施例中的一种应用场景的一个可选的示意图；
图2b为本申请实施例中应用操作界面示意图；
图3为本申请实施例中人脸关键点检测系统的结构示意图；
图4a为本申请实施例中训练人脸方向矫正模型的流程示意图；
图4b为本申请实施例中两个样本人脸图像的关键点标注示意图；
图4c为本申请实施例中标准脸图像示意图；
图4d为本申请实施例中样本人脸图像相较于标准脸图像之间的偏移示意图；
图5为本申请实施例中训练人脸关键点检测模型的流程示意图；
图6a为本申请实施例中人脸关键点检测的流程示意图；
图6b为本申请实施例中初始人脸特征图与目标人脸特征图之间的映射关系示意图；
图6c为本申请实施例中目标人脸特征图的示意图；
图6d为本申请实施例中对待测人脸图像执行人脸关键点检测的流程示意图；
图7为本申请实施例中人脸关键点的检测装置的组成结构示意图；
图8为应用本申请实施例的一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例涉及人工智能（Artificial Intelligence，AI）领域，是基于机器学习（Machine Learning，ML）和计算机视觉技术设计的。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
人工智能是一门综合学科，涉及的领域广泛，既有硬件层面的技术，也有软件层面的技术。人工智能的基础技术一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作交互系统、机电一体化等技术；人工智能的软件技术一般包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习等几大方向。随着人工智能的发展与进步，人工智能在多个领域中进行研究和应用，如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着未来技术的进一步发展，人工智能将在更多的领域中得到应用，发挥出越来越重要的价值。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，那么深度学习则是机器学习的核心，是实现机器学习的一种技术。机器学习通常包括深度学习、强化学习、迁移学习、归纳学习等技术，深度学习则包括卷积神经网络（Convolutional NeuralNetworks,，CNN）、深度置信网络、递归神经网络、自动编码器、生成对抗网络等技术。
计算机视觉是一门集计算机科学、信号处理、物理学、应用数学、统计学、神经生理学等多学科于一身的综合性学科，也是科学领域中一个富有挑战性的重要研究方向。该学科使用各种成像系统代替视觉器官作为输入手段，由计算机代替大脑完成处理和解释，使得计算机可以具备像人类一样通过视觉的方式观察、理解世界的能力。
在本申请实施例中，可以使用循环神经网络（Recurrent Neural Network, RNN）执行计算机视觉处理，也可以使用基于注意力机制的Transformer网络执行计算机视觉处理。
RNN广泛应用于计算机视觉、自然语言处理等方向，这种网络的本质是在处理单元之间既有内部的反馈连接，又有前馈连接，因此，相比于前馈神经网络来说，RNN在计算过程中具有更强的动态行为和计算能力。
Transformer网络是一种基于注意力机制的序列处理网络，摒弃了递归结构，完全依赖于注意力机制，挖掘输入和输出之间的关系，由“全局关注”转变为“局部关注”，使得前馈神经网络在解码时可以更多地关注注意力权重高的特征，这样做既可以灵活地捕捉全局和局部的关系，还可以实现快速并行计算，减少网络训练时间，改善RNN训练慢的缺点。
下面对本申请实施例的设计思想进行简要介绍：
随着科学技术的发展，人脸识别技术在图像处理领域的应用也越来越普及。例如，用户使用终端设备拍摄短视频，通过人脸识别技术定位画面中的人脸，并对识别出的人脸图像执行添加贴纸或者美颜的操作，进一步优化视频画面；又例如，用户使用终端设备拍摄照片，通过人脸识别技术定位照片中的人脸，并将识别出的人脸图像作为自拍表情通过社交平台分享给他人，增加了社交平台的使用趣味性。
由于在水平面内可以360°旋转终端设备，那么在使用终端设备上的摄像装置拍摄时，会拍摄到如图1所示的包含不同人脸方向的多张图像。在相关技术中要么使用单一的人脸检测模型定位图像上的人脸关键点，要么引入人脸关键点角度模型，辅助人脸检测模型定位图像上的人脸关键点，但人脸检测模型针对人脸方向发生偏移的图像定位效果较差，进而影响特效、贴纸的效果；而人脸关键点角度模型针对存在人脸遮挡或者越界遮挡的图像矫正效果较差，进而影响人脸关键点的定位。有鉴于此，本申请实施例提出了一种新的人脸关键点的检测方法、装置、电子设备及存储介质。
该方法包括：对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图；再基于初始人脸特征图，确定待测人脸图像相较于预设标准脸图像的第一偏移矩阵，并基于第一偏移矩阵对初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图，标准脸图像是对包含不同人脸方向的样本人脸图像集合进行平均化处理后得到的参考图像；对目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合，再基于第一偏移矩阵将第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，并将待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。无论待测人脸图像中的人脸是否被遮挡、人脸方向是否发生偏移，先确定出第一偏移矩阵，并使用第一偏移矩阵对提取出的初始人脸特征图进行人脸方向矫正，获得目标人脸特征图，再对目标人脸特征图进行后续的人脸关键点定位，这样可以大大提高人脸关键点的检测准确率，通过第一偏移矩阵还能降低遮挡、偏移等因素对定位人脸方向带来的影响，从而提高了人脸关键点的预测精度。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
参阅图2a示出的应用场景示意图。该应用场景图中包括两个终端设备210和一个服务器230。
用户可通过终端设备210登录应用操作界面220，在本申请实施例中，终端设备210是用户使用的电子设备，该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居等计算机设备。
应用操作界面220的界面示意图如图2b所示，在该界面上包括拍摄按钮、取景框、功能栏、图库快捷入口和翻转摄像头方向按钮。在拍摄时，用户可以通过触摸取景框界面调整焦距、目标定焦对象和画面亮度，点击翻转摄像头方向按钮调整当前用于拍摄的主摄像头，还可以通过功能栏中的相应功能实现拍摄模式切换、添加/删除滤镜、添加/删除贴纸等功能。若位于图像拍摄模式下，用户单击拍摄按钮得到对应的一张图像，用户长按拍摄按钮得到连续的多张图像，实现连拍功能；若位于视频拍摄模式下，用户可以通过以下两种方式触发视频拍摄和暂停视频拍摄，一种是单击拍摄按钮触发视频拍摄，再次单击拍摄按钮时暂停视频拍摄；另一种是长按拍摄按钮超过设定时间触发视频拍摄，抬起手指时暂停视频拍摄。通过点击图库快捷入口，跳转到图库界面中查看拍摄到的图像、视频，还可以进一步编辑图像、视频。
各终端设备210通过通信网络与服务器230进行通信。在一种可选的实施方式中，通信网络是有线网络或者无线网络，因此，终端设备210可通过有线网络或者无线网络，直接或间接地与服务器230建立通信连接，本申请在此不做限制。服务器230可以是独立的物理服务器230，也可以是多个物理服务器230构成的服务器230集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器230，本申请在此不做限制。
其中，本申请实施例中的人脸关键点检测系统是部署在服务器230上的，服务器230接收终端设备210发送的人脸图像或者包含人脸图像的视频，对人脸图像或者包含人脸图像的视频，依次进行人脸方向矫正和人脸关键点检测，并将检测结果返回给终端设备210，以使终端设备210在人脸关键点上添加特效或者贴纸。
参阅图3示出的人脸关键点检测系统的结构示意图，该系统由人脸方向矫正模型和人脸关键点检测模型两部分组成。其中，人脸方向矫正模型用于获得待测人脸图像的初始人脸特征图以及偏移矩阵，并使用偏移矩阵对初始人脸特征图进行人脸方向矫正；人脸关键点检测模型用于根据矫正后的人脸特征图确定人脸关键点，并将检测到的人脸关键点映射到待测人脸图像上。
在本申请实施例中提出的人脸关键点的检测方法可分为两部分，一部分是训练阶段，另一部分是应用阶段。为了便于理解，先对人脸关键点检测系统的训练过程进行介绍。
在训练系统时，先使用样本人脸图像集合对人脸方向矫正模型进行训练，再使用已训练的人脸方向矫正模型辅助训练人脸关键点检测模型，最终得到训练完毕的人脸关键点检测系统。
参阅图4a示出的流程示意图，对人脸方向矫正模型的训练过程进行介绍。
在本申请实施例中，将样本人脸图像集合作为训练集，将各个样本人脸图像所对应的参考偏移矩阵作为参考集，是基于训练集和参考集共同训练人脸方向矫正模型的。
样本人脸图像的生成过程分为尺寸归一化和人工标注关键点两个步骤。尺寸归一化指的是将初始样本人脸图像裁剪为正方形形状的图像，具体操作是，获取初始样本人脸图像的尺寸信息，若长的取值大于宽的取值，则将宽的取值扩展到与长的取值相等时为止；若长的取值小于宽的取值，则将长的取值扩展到与宽的取值相等时为止；若长的取值等于宽度取值，则无需调整尺寸。对归一化处理后的各个初始样本人脸图像人工标注参考人脸关键点，生成对应的样本人脸图像，进而得到包含了处于不同人脸方向的样本人脸图像集合。而人工标志的过程是，在每个初始样本人脸图像的设定部位上人工标注参考人脸关键点（如，将两个嘴角标注为参考人脸关键点），标注后的两个样本人脸图像如图4b所示，也就是说，每个样本人脸图像所包含的参考人脸关键点的数量、部位是相同的。若初始样本人脸图像上存在人像遮挡的情况（如，用手捂住嘴巴），也会凭借人为经验在被遮挡区域标注上参考人脸关键点。
在本申请实施例中，一个样本人脸图像对应的参考偏移矩阵，是通过将该样本人脸图像和标准脸图像进行最小二乘法运算得到的。因此，在获得各个参考偏移矩阵之前，需要先生成标准脸图像。
根据上述描述可知，每个样本人脸图像所包含的参考人脸关键点数量、部位相同，因此，将样本人脸图像集合中归属于同一部位的参考人脸关键点所对应的坐标划分到一个集合中，分别对每个坐标集合进行平均化处理，得到对应的平均人脸关键点坐标，并基于各个平均人脸关键点坐标，勾勒出一张如图4c所示的人脸方向位于正前方的参考图像。其中，可以使用样本人脸图像集合中的所有样本人脸图像生成标准脸图像，也可以使用样本人脸图像集合中的部分样本人脸图像生成标准脸图像。
例如，左眼角坐标集合为[（10，20），（0，20），（14，17）]，经过平均化处理得到的平均左眼角关键点坐标为（8，19）。示例中的数字仅为示意性表述，并非是精准数据，后续举例均采用相同方式，将不再赘删除该内容。
最小二乘法的公式如公式（1）所示，其中，
Figure DEST_PATH_IMAGE001
表示该样本人脸图 像的参考人脸关键点坐标矩阵，N表示该样本人脸图像上的参考人脸关键点总数，
Figure 407864DEST_PATH_IMAGE002
表示第1个参考人脸关键点的横坐标和纵坐标，
Figure DEST_PATH_IMAGE003
表示第N个参考人脸关键点的 横坐标和纵坐标，参考人脸关键点坐标矩阵中的第三列表示齐次坐标，用于确定每个参考 人脸关键点的横坐标平移距离，和纵坐标平移距离；
Figure 344246DEST_PATH_IMAGE004
表示标准脸图 像上的平均人脸关键点坐标矩阵，N表示标准脸图像上的平均人脸关键点总数，
Figure DEST_PATH_IMAGE005
表示第1个平均人脸关键点的横坐标和纵坐标，
Figure DEST_PATH_IMAGE007
表示第N个 平均人脸关键点的横坐标和纵坐标，平均人脸关键点坐标矩阵中的第三列表示齐次坐标；
Figure 15661DEST_PATH_IMAGE008
表示参考偏移矩阵，
Figure DEST_PATH_IMAGE009
表示参考人脸关键点与对应的平均人脸关键点之 间的夹角，该夹角如图4d所示，
Figure 424252DEST_PATH_IMAGE010
表示参考人脸关键点的横坐标平移信息，
Figure 113990DEST_PATH_IMAGE012
表示参考人脸 关键点的纵坐标平移信息。
Figure DEST_PATH_IMAGE013
公式（1）；
例如，参考人脸关键点坐标矩阵为
Figure 943975DEST_PATH_IMAGE014
，平均人脸关键点坐标矩阵为
Figure DEST_PATH_IMAGE015
，可通过最小二乘法计算出最优偏移矩阵达到最小值，对应的参考偏移矩阵应 为
Figure 430583DEST_PATH_IMAGE016
。
S401：获取样本人脸图像集合。
S402：从样本人脸图像集合中读取一个样本人脸图像X。
为了便于描述，后续的样本人脸图像X均指的是一个样本人脸图像，后续不再赘述。
S403：将样本人脸图像X输入人脸方向矫正模型中，获得样本偏移矩阵。
在人脸方向矫正模型中包括输入层、输出层、特征提取层和全连接层，通过输入层读取样本人脸图像X，再将样本人脸图像X输入特征提取层中进行初始人脸特征提取，获得初始样本人脸特征图；之后将初始样本人脸特征图输入全连接层中，确定样本人脸图像X相较于标准脸图像的样本偏移矩阵，由输出层输出该样本偏移矩阵。
S404：基于样本偏移矩阵和样本人脸图像X对应的参考偏移矩阵，调整人脸方向矫正模型的参数。
在计算损失值之前，需要先获取与样本偏移矩阵尺寸相同的偏移矩阵。在进行特征提取后，人脸特征图的尺寸会小于原本输入的样本人脸图像X的尺寸，可以利用两者尺寸之间的比例关系，将参考偏移矩阵转换为与样本偏移矩阵尺寸相同的偏移矩阵；接着，再计算样本偏移矩阵和对应尺寸的偏移矩阵之间的损失值，并使用损失值回调人脸方向矫正模型的参数。
例如，样本人脸图像X的尺寸为64×64，人脸特征图的尺寸为32×32，在64x64的分 辨率变换到相同分辨率的参考偏移矩阵为
Figure DEST_PATH_IMAGE017
，则人脸特征图尺寸下 的偏移矩阵为
Figure 642865DEST_PATH_IMAGE018
。
S405：判断是否满足预设的迭代停止条件，若是，执行步骤406；否则，返回步骤402。
本申请实施例中的迭代停止条件可为以下任意一种：
损失值收敛至预设期望值、达到设定迭代轮次，所有样本人脸图像被读取完毕。
S406：将最后一轮输出的人脸方向矫正模型，作为训练完毕的人脸方向矫正模型输出。
接下来，参阅图5示出的流程示意图，对人脸关键点检测模型的训练过程进行介绍。
S501：获取样本人脸特征图集合，该样本人脸特征图集合是基于样本人脸图像和已训练的人脸方向矫正模型获得的。
S502：从样本人脸特征图集合中读取一个样本人脸特征图Y。
为了便于描述，后续的样本人脸特征图Y均指的是一个样本人脸特征图，后续不再赘述。
S503：将样本人脸特征图Y输入人脸关键点检测模型中，获得样本人脸关键点坐标集合。
人脸关键点检测模型也包括输入层、输出层、特征提取层和全连接层四部分，通过输入层读取样本人脸特征图Y，将样本人脸特征图Y输入到特征提取层进行二次特征提取，可以获取到更加抽象的深层图像特征，形成深层人脸特征图，再将深层人脸特征图输入到全连接层中确定样本人脸关键点坐标集合，通过输出层输出该样本人脸关键点坐标集合。
S504：基于样本人脸特征图Y对应的样本偏移矩阵，将样本人脸关键点坐标集合中的各个样本人脸关键点坐标进行坐标逆变换，分别映射为相应的预测人脸关键点坐标。
由于样本人脸特征图Y中的人脸方向是矫正后的人脸方向，那么基于样本人脸特征图Y生成的样本人脸关键点坐标集合，也是针对矫正后的人脸方向获得的，与样本人脸图像X中的人脸方向不符，因此，需要通过坐标逆变换，将样本人脸关键点坐标映射为相应的预测人脸关键点坐标。
在执行坐标逆变换之前，需要先获取与样本人脸图像X尺寸相同的参考偏移矩阵。在执行坐标逆变换时，先对参考偏移矩阵求逆，得到其对应的逆矩阵，再使用逆矩阵与样本人脸关键点坐标集合进行矩阵运算，得到相应的各个预测人脸关键点坐标。
例如，参考偏移矩阵的逆矩阵为
Figure DEST_PATH_IMAGE019
，样本人脸关键点坐标矩阵 为
Figure 328055DEST_PATH_IMAGE020
则对应的预测人脸关键点坐标矩阵应为
Figure DEST_PATH_IMAGE021
。
S505：基于预测人脸关键点坐标集合和用于生成样本人脸特征图Y的样本人脸图像所对应的参考人脸关键点坐标集合，调整人脸关键点检测模型的参数。
计算各个预测人脸关键点坐标与对应的参考人脸关键点坐标之间的损失值，得到总损失值，并使用总损失值回调人脸关键点检测模型的参数。
S506：判断是否满足预设的迭代停止条件，若是，执行步骤507；否则，返回步骤502。
同样地，本申请实施例中的迭代停止条件可为以下任意一种：
损失值收敛至预设期望值、达到设定迭代轮次，所有样本人脸图像被读取完毕。
S507：将最后一轮输出的人脸关键点检测模型，作为训练完毕的人脸关键点检测模型输出。
在介绍完人脸关键点检测系统的训练阶段之后，参阅图6a示出的流程示意图，对人脸关键点检测系统的应用阶段进行介绍。
S601：对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图。
可选的，将待测人脸图像输入已训练的人脸方向矫正模型的特征提取层中进行初始人脸特征提取，得到初始人脸特征图。
S602：基于初始人脸特征图，确定待测人脸图像相较于预设标准脸图像的第一偏移矩阵，并基于第一偏移矩阵对初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图；其中，标准脸图像是对包含不同人脸方向的样本人脸图像集合进行平均化处理后得到的参考图像。
可选的，将初始人脸特征图输入已训练的人脸方向矫正模型的全连接层中，确定第一偏移矩阵。
在本申请实施例中，参阅图6b示出的初始人脸特征图与目标人脸特征图之间的映射关系示意图，对初始人脸特征图进行人脸方向矫正操作进行详细介绍。
首先，生成与初始人脸特征图具有相同尺寸的空白人脸特征图，空白人脸特征图为包含了多个第一像素点的空白图像。
其次，依次遍历空白人脸特征图中的各个第一像素点，直至所有第一像素点均被遍历完毕为止，生成目标人脸特征图，其中，每遍历一个第一像素点，执行以下操作：
基于第一偏移逆矩阵和一个第一像素点的坐标，确定对应的第二像素点的坐标；其中，第一偏移逆矩阵是通过对第一偏移矩阵求逆获得的；
将初始人脸特征图中与第二像素点的坐标相对应的像素点，映射到第一像素点上。
例如，初始人脸特征图的尺寸为32×32，则先生成一个尺寸也为32×32的空白人脸特征图，此时的空白人脸特征图上只有多个第一像素点，没有任何的图像。若遍历的第一个第一像素点的坐标为（0，0），则将（0，0）与逆矩阵进行矩阵运算，得到对应的第二像素点的坐标为（1，0），表明初始人脸特征图上坐标为（1，0）的像素点与空白人脸特征图上坐标为（0，0）的像素点存在关联关系，可以将初始人脸特征图上坐标为（1，0）的像素点映射到空白人脸特征图上坐标为（0，0）的像素点上；在遍历完所有第一像素点之后，可以生成如图6c所示的目标人脸特征图。由于人脸方向矫正模型中的特征提取层只能提取出图像中的浅层特征，所形成的初始人脸特征图比较模糊，因此，矫正后的目标人脸特征图也看起来比较模糊。
S603：对目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合。
可选的，将目标人脸特征图输入已训练的人脸关键点检测模型中进行人脸关键点检测，获得第一人脸关键点坐标集合。
S604：基于第一偏移矩阵，将第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，并将待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。
由于目标人脸特征图中的人脸方向与待测人脸图像中的人脸方向不同，那么基于目标人脸特征图确定的第一人脸关键点坐标集合，每个第一人脸关键点坐标所针对的人脸方向与待测人脸图像中的人脸方向也不同，因此，需要对每个第一人脸关键点坐标进行坐标逆变换，获得各自对应的第二人脸关键点坐标，每个第二人脸关键点坐标所针对的人脸方向与待测人脸图像中的人脸方向一致，可以将待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。
在执行坐标逆变换之前，需要先获取与待测人脸图像尺寸相同的参考偏移矩阵。在执行坐标逆变换时，先对参考偏移矩阵求逆，得到其对应的逆矩阵，再使用逆矩阵与第一人脸关键点坐标集合进行矩阵运算，得到相应的各个第二人脸关键点坐标。
具体过程如下：先基于待测人脸图像的尺寸和初始人脸特征图尺寸之间的比例关系，将第一偏移矩阵转换为第二偏移矩阵；
再基于第二偏移逆矩阵分别对各个第一人脸关键点坐标进行坐标逆变换，获得各个第一人脸关键点坐标各自对应的第二人脸关键点坐标；其中，第二偏移逆矩阵时通过对第二偏移矩阵求逆获得的。
例如，获取如图6d所示的人脸歪向左边的待测人脸图像，将该待测人脸图像输入人脸关键点检测系统中，通过人脸方向矫正模型的特征提取层，获取到待测人脸图像的初始人脸特征图，初始人脸特征图中的人脸仍然歪向左边；
再基于初始人脸特征图确定第一偏移矩阵，并基于第一偏移矩阵对初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图，此时目标人脸特征图中的人脸正视前方，与初始人脸特征图中的人脸方向截然不同，而确定第一偏移矩阵和进行人脸方向矫正的步骤与步骤602记载的方式相同，在此不再赘述；
将目标人脸特征图输入人脸关键点检测进行人脸关键点检测，获得第一人脸关键点坐标集合；
由于目标人脸特征图中的人脸方向与待测人脸图像中的人脸方向不同，那么基于目标人脸特征图确定的第一人脸关键点坐标集合，每个第一人脸关键点坐标所针对的人脸方向与待测人脸图像中的人脸方向也不同，因此，需要对每个第一人脸关键点坐标进行坐标逆变换，获得各自对应的第二人脸关键点坐标，每个第二人脸关键点坐标所针对的人脸方向与待测人脸图像中的人脸方向一致，可以将待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点，最终生成如图6d所示的包含了各个目标人脸关键点的图像。执行坐标逆变换的步骤与步骤604记载的方式相同，在此不再赘述。
与上述方法实施例基于同一发明构思，本申请实施例还提供了一种人脸关键点的检测装置，参阅图7示出的结构示意图，人脸关键点的检测装置700可以包括：
特征提取单元701，用于对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图；
人脸方向矫正单元702，用于基于所述初始人脸特征图, 确定所述待测人脸图像相较于预设标准脸图像的第一偏移矩阵，并基于所述第一偏移矩阵，对所述初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图；其中，所述标准脸图像是对包含不同人脸方向的样本人脸图像集合进行平均化处理后得到的参考图像；
人脸关键点检测单元703，用于对所述目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合；
基于所述第一偏移矩阵，将所述第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，并将所述待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。
可选的，所述特征提取单元701用于：
将所述待测人脸图像输入已训练的人脸方向矫正模型的特征提取层中进行初始人脸特征提取，获得所述初始人脸特征图。
可选的，所述人脸方向矫正单元702用于：
将所述初始人脸特征图输入已训练的人脸方向矫正模型的全连接层中，确定所述待测人脸图像相较于所述标准脸图像的第一偏移矩阵。
可选的，所述人脸方向矫正单元702用于：
生成与所述初始人脸特征图具有相同尺寸的空白人脸特征图；所述空白人脸特征图为包含了多个第一像素点的空白图像；
依次遍历所述空白人脸特征图中的各个第一像素点，直至所有第一像素点均被遍历完毕为止，生成所述目标人脸特征图，其中，每遍历一个第一像素点，执行以下操作：
基于第一偏移逆矩阵和所述一个第一像素点的坐标，确定对应的第二像素点的坐标；其中，所述第一偏移逆矩阵是通过对所述第一偏移矩阵求逆获得的；
将所述初始人脸特征图中与所述第二像素点的坐标相对应的像素点，映射到所述第一像素点上。
可选的，所述人脸关键点检测单元703用于：
将所述目标人脸特征图输入已训练的人脸关键点检测模型中进行人脸关键点检测，获得所述第一人脸关键点坐标集合。
可选的，所述人脸关键点检测单元703用于：
基于所述待测人脸图像的尺寸和所述初始人脸特征图尺寸之间的比例关系，将所述第一偏移矩阵转换为第二偏移矩阵；
基于第二偏移逆矩阵分别对所述各个第一人脸关键点坐标进行坐标逆变换，获得所述各个第一人脸关键点坐标各自对应的第二人脸关键点坐标；其中，所述第二偏移逆矩阵时通过对所述第二偏移矩阵求逆获得的。
可选的，所述人脸方向矫正模型是通过以下方式训练得到的：
获取所述样本人脸图像集合；
采用循环迭代的方式读取所述样本人脸图像集合中的各个样本人脸图像，直到满足预设的迭代停止条件为止，其中，每读取一个样本人脸图像，针对所述一个样本人脸图像执行以下操作：
将所述一个样本人脸图像输入所述人脸方向矫正模型中，获得样本偏移矩阵；
基于所述样本偏移矩阵和所述一个样本人脸图像对应的参考偏移矩阵，调整所述人脸方向矫正模型的参数；
将最后一轮输出的人脸方向矫正模型，作为训练完毕的人脸方向矫正模型输出。
可选的，所述一个样本人脸图像对应的参考偏移矩阵，是通过将所述一个样本人脸图像和所述标准脸图像进行最小二乘法运算得到的。
可选的，所述人脸关键点检测模型是通过以下方式训练得到的：
获取样本人脸特征图集合，所述样本人脸特征图集合是基于所述样本人脸图像和已训练的人脸方向矫正模型获得的；
采用循环迭代的方式读取所述样本人脸特征图集合中的各个样本人脸特征图，直到满足预设的迭代停止条件为止，其中，每读取一个样本人脸特征图，执行以下操作：
将所述一个样本人脸特征图输入所述人脸关键点检测模型中，获得样本人脸关键点坐标集合；
基于所述一个样本人脸特征图对应的样本偏移矩阵，将所述样本人脸关键点坐标集合中的各个样本人脸关键点坐标进行坐标逆变换，分别映射为相应的预测人脸关键点坐标；
基于预测人脸关键点坐标集合和用于生成所述一个样本人脸特征图的样本人脸图像所对应的参考人脸关键点坐标集合，调整所述人脸关键点检测模型的参数；
将最后一轮输出的人脸关键点检测模型，作为训练完毕的人脸关键点检测模型输出。
为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本申请时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的人脸关键点的检测方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于对待测人脸图像的人脸关键点进行识别。在一种实施例中，该电子设备可以是服务器，如图2a所示的服务器230，也可以是其他电子设备，如图2a所示的终端设备210。在该实施例中，电子设备的结构可以如图8所示，包括存储器801，通讯模块803以及一个或多个处理器802。
存储器801，用于存储处理器802执行的计算机程序。存储器801可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器801可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器801也可以是非易失性存储器（non-volatilememory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）；或者存储器1001是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器801可以是上述存储器的组合。
处理器802，可以包括一个或多个中央处理单元（central processing unit，CPU）或者为数字处理单元等等。处理器802，用于调用存储器801中存储的计算机程序时实现上述人脸关键点的检测方法。
通讯模块803用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器801、通讯模块803和处理器802之间的具体连接介质。本公开实施例在图8中以存储器801和处理器802之间通过总线804连接，总线804在图8中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线804可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器801中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的人脸关键点的检测方法。处理器802用于执行上述的人脸关键点的检测方法。
本申请的实施例还提供了一种计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请任一实施例所记载的人脸关键点的检测方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在一些可能的实施方式中，本申请提供的人脸关键点的检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的人脸关键点的检测方法中的步骤，例如，计算机设备可以执行如图6a中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种人脸关键点的检测方法，其特征在于，包括：
对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图；
基于所述初始人脸特征图, 确定所述待测人脸图像相较于预设标准脸图像的第一偏移矩阵，并基于所述第一偏移矩阵，对所述初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图；其中，所述标准脸图像是对包含不同人脸方向的样本人脸图像集合进行平均化处理后得到的参考图像；
对所述目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合；
基于所述第一偏移矩阵，将所述第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，并将所述待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。
2.如权利要求1所述的方法，其特征在于，所述对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图，包括：
将所述待测人脸图像输入已训练的人脸方向矫正模型的特征提取层中进行初始人脸特征提取，获得所述初始人脸特征图。
3.如权利要求1所述的方法，其特征在于，基于所述初始人脸特征图，确定所述待测人脸图像相较于预设标准脸图像的第一偏移矩阵，包括：
将所述初始人脸特征图输入已训练的人脸方向矫正模型的全连接层中，确定所述待测人脸图像相较于所述标准脸图像的第一偏移矩阵。
4.如权利要求1-3任一项所述的方法，其特征在于，基于所述第一偏移矩阵，对所述初始人脸特征图进行人脸方向矫正操作，获得相应的目标人脸特征图，包括：
生成与所述初始人脸特征图具有相同尺寸的空白人脸特征图；所述空白人脸特征图为包含了多个第一像素点的空白图像；
依次遍历所述空白人脸特征图中的各个第一像素点，直至所有第一像素点均被遍历完毕为止，生成所述目标人脸特征图，其中，每遍历一个第一像素点，执行以下操作：
基于第一偏移逆矩阵和所述一个第一像素点的坐标，确定对应的第二像素点的坐标；其中，所述第一偏移逆矩阵是通过对所述第一偏移矩阵求逆获得的；
将所述初始人脸特征图中与所述第二像素点的坐标相对应的像素点，映射到所述第一像素点上。
5.如权利要求1-3任一项所述的方法，其特征在于，所述对所述目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合，包括：
将所述目标人脸特征图输入已训练的人脸关键点检测模型中进行人脸关键点检测，获得所述第一人脸关键点坐标集合。
6.如权利要求1-3任一项所述的方法，其特征在于，所述基于所述第一偏移矩阵，将所述第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，包括：
基于所述待测人脸图像的尺寸和所述初始人脸特征图尺寸之间的比例关系，将所述第一偏移矩阵转换为第二偏移矩阵；
基于第二偏移逆矩阵分别对所述各个第一人脸关键点坐标进行坐标逆变换，获得所述各个第一人脸关键点坐标各自对应的第二人脸关键点坐标；其中，所述第二偏移逆矩阵时通过对所述第二偏移矩阵求逆获得的。
7.如权利要求2或3所述的方法，其特征在于，所述人脸方向矫正模型是通过以下方式训练得到的：
获取所述样本人脸图像集合；
采用循环迭代的方式读取所述样本人脸图像集合中的各个样本人脸图像，直到满足预设的迭代停止条件为止，其中，每读取一个样本人脸图像，针对所述一个样本人脸图像执行以下操作：
将所述一个样本人脸图像输入所述人脸方向矫正模型中，获得样本偏移矩阵；
基于所述样本偏移矩阵和所述一个样本人脸图像对应的参考偏移矩阵，调整所述人脸方向矫正模型的参数；
将最后一轮输出的人脸方向矫正模型，作为训练完毕的人脸方向矫正模型输出。
8.如权利要求7所述的方法，其特征在于，所述一个样本人脸图像对应的参考偏移矩阵，是通过将所述一个样本人脸图像和所述标准脸图像进行最小二乘法运算得到的。
9.如权利要求5所述的方法，其特征在于，所述人脸关键点检测模型是通过以下方式训练得到的：
获取样本人脸特征图集合，所述样本人脸特征图集合是基于所述样本人脸图像和已训练的人脸方向矫正模型获得的；
采用循环迭代的方式读取所述样本人脸特征图集合中的各个样本人脸特征图，直到满足预设的迭代停止条件为止，其中，每读取一个样本人脸特征图，执行以下操作：
将所述一个样本人脸特征图输入所述人脸关键点检测模型中，获得样本人脸关键点坐标集合；
基于所述一个样本人脸特征图对应的样本偏移矩阵，将所述样本人脸关键点坐标集合中的各个样本人脸关键点坐标进行坐标逆变换，分别映射为相应的预测人脸关键点坐标；
基于预测人脸关键点坐标集合和用于生成所述一个样本人脸特征图的样本人脸图像所对应的参考人脸关键点坐标集合，调整所述人脸关键点检测模型的参数；
将最后一轮输出的人脸关键点检测模型，作为训练完毕的人脸关键点检测模型输出。
10.一种人脸关键点的检测装置，其特征在于，包括：
特征提取单元，用于对待测人脸图像进行初始人脸特征提取，获得对应的初始人脸特征图；
人脸方向矫正单元，用于基于所述初始人脸特征图, 确定所述待测人脸图像相较于预设标准脸图像的第一偏移矩阵，并基于所述第一偏移矩阵，对所述初始人脸特征图进行人脸方向矫正，获得相应的目标人脸特征图；其中，所述标准脸图像是对包含不同人脸方向的样本人脸图像集合进行平均化处理后得到的参考图像；
人脸关键点检测单元，用于对所述目标人脸特征图进行人脸关键点检测，获得第一人脸关键点坐标集合；
基于所述第一偏移矩阵，将所述第一人脸关键点坐标集合中的各个第一人脸关键点坐标进行坐标逆变换，分别映射为相应的第二人脸关键点坐标，并将所述待测人脸图像中与获得的各个第二人脸关键点坐标相对应的像素点，作为目标人脸关键点。
11.如权利要求10所述的装置，其特征在于，所述特征提取单元用于：
将所述待测人脸图像输入已训练的人脸方向矫正模型的特征提取层中进行初始人脸特征提取，获得所述初始人脸特征图。
12.如权利要求10所述的装置，其特征在于，所述人脸方向矫正单元用于：
将所述初始人脸特征图输入已训练的人脸方向矫正模型的全连接层中，确定所述待测人脸图像相较于所述标准脸图像的第一偏移矩阵。
13.如权利要求10-12任一项所述的装置，其特征在于，所述人脸方向矫正单元用于：
生成与所述初始人脸特征图具有相同尺寸的空白人脸特征图；所述空白人脸特征图为包含了多个第一像素点的空白图像；
依次遍历所述空白人脸特征图中的各个第一像素点，直至所有第一像素点均被遍历完毕为止，生成所述目标人脸特征图，其中，每遍历一个第一像素点，执行以下操作：
基于第一偏移逆矩阵和所述一个第一像素点的坐标，确定对应的第二像素点的坐标；其中，所述第一偏移逆矩阵是通过对所述第一偏移矩阵求逆获得的；
将所述初始人脸特征图中与所述第二像素点的坐标相对应的像素点，映射到所述第一像素点上。
14.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1~9中任一所述方法的步骤。
15.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行权利要求1~9中任一所述方法的步骤。
CN202110181600.2A 2021-02-10 2021-02-10 人脸关键点的检测方法、装置、电子设备及存储介质 Active CN112528978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110181600.2A CN112528978B (zh) 2021-02-10 2021-02-10 人脸关键点的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110181600.2A CN112528978B (zh) 2021-02-10 2021-02-10 人脸关键点的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112528978A true CN112528978A (zh) 2021-03-19
CN112528978B CN112528978B (zh) 2021-05-14

Family

ID=74975659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110181600.2A Active CN112528978B (zh) 2021-02-10 2021-02-10 人脸关键点的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112528978B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298098A (zh) * 2021-05-20 2021-08-24 Oppo广东移动通信有限公司 基础矩阵估计方法及相关产品
CN113822177A (zh) * 2021-09-06 2021-12-21 苏州中科先进技术研究院有限公司 一种宠物脸关键点检测方法、装置、存储介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542255A (zh) * 2011-12-06 2012-07-04 Tcl集团股份有限公司 一种人脸图像校正的方法、装置及系统
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置
US20160210500A1 (en) * 2015-01-15 2016-07-21 Samsung Electronics Co., Ltd. Method and apparatus for adjusting face pose
CN107016319A (zh) * 2016-01-27 2017-08-04 北京三星通信技术研究有限公司 一种关键点定位方法和装置
CN107463865A (zh) * 2016-06-02 2017-12-12 北京陌上花科技有限公司 人脸检测模型训练方法、人脸检测方法及装置
CN107679519A (zh) * 2017-10-27 2018-02-09 北京光年无限科技有限公司 一种基于虚拟人的多模态交互处理方法及系统
CN110399809A (zh) * 2019-07-08 2019-11-01 北京亮亮视野科技有限公司 多特征融合的人脸关键点检测方法及装置
CN112232175A (zh) * 2020-10-13 2021-01-15 南京领行科技股份有限公司 一种操作对象状态识别方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN102542255A (zh) * 2011-12-06 2012-07-04 Tcl集团股份有限公司 一种人脸图像校正的方法、装置及系统
US20160210500A1 (en) * 2015-01-15 2016-07-21 Samsung Electronics Co., Ltd. Method and apparatus for adjusting face pose
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置
CN107016319A (zh) * 2016-01-27 2017-08-04 北京三星通信技术研究有限公司 一种关键点定位方法和装置
CN107463865A (zh) * 2016-06-02 2017-12-12 北京陌上花科技有限公司 人脸检测模型训练方法、人脸检测方法及装置
CN107679519A (zh) * 2017-10-27 2018-02-09 北京光年无限科技有限公司 一种基于虚拟人的多模态交互处理方法及系统
CN110399809A (zh) * 2019-07-08 2019-11-01 北京亮亮视野科技有限公司 多特征融合的人脸关键点检测方法及装置
CN112232175A (zh) * 2020-10-13 2021-01-15 南京领行科技股份有限公司 一种操作对象状态识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298098A (zh) * 2021-05-20 2021-08-24 Oppo广东移动通信有限公司 基础矩阵估计方法及相关产品
CN113822177A (zh) * 2021-09-06 2021-12-21 苏州中科先进技术研究院有限公司 一种宠物脸关键点检测方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN112528978B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
CN107704838B (zh) 目标对象的属性识别方法及装置
CN109740534B (zh) 图像处理方法、装置及处理设备
Kang et al. Depth-adaptive deep neural network for semantic segmentation
CN111476709B (zh) 人脸图像处理方法、装置及电子设备
CN111414946B (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
CN112528978B (zh) 人脸关键点的检测方法、装置、电子设备及存储介质
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
CN112767294B (zh) 深度图像的增强方法、装置、电子设备以及存储介质
CN115512005A (zh) 一种数据处理方法及其装置
Gao et al. A hierarchical recurrent approach to predict scene graphs from a visual‐attention‐oriented perspective
JP2022020588A (ja) アクティブインタラクションの方法、装置、電子デバイス及び可読記憶媒体
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
WO2022179603A1 (zh) 一种增强现实方法及其相关设备
CN113822097B (zh) 单视角人体姿态识别方法、装置、电子设备和存储介质
WO2021217919A1 (zh) 人脸动作单元识别方法、装置、电子设备及存储介质
Chen et al. Content-aware cubemap projection for panoramic image via deep Q-learning
CN112801138B (zh) 基于人体拓扑结构对齐的多人姿态估计方法
Chen et al. Spatial-temporal channel-wise attention network for action recognition
CN113569094A (zh) 视频推荐方法、装置、电子设备及存储介质
CN111079704A (zh) 一种基于量子计算的人脸识别方法及装置
WO2024104365A1 (zh) 一种设备测温方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041327

Country of ref document: HK