CN109657583A - 脸部关键点检测方法、装置、计算机设备和存储介质 - Google Patents

脸部关键点检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109657583A
CN109657583A CN201811503905.5A CN201811503905A CN109657583A CN 109657583 A CN109657583 A CN 109657583A CN 201811503905 A CN201811503905 A CN 201811503905A CN 109657583 A CN109657583 A CN 109657583A
Authority
CN
China
Prior art keywords
key point
face
detected
topography
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811503905.5A
Other languages
English (en)
Other versions
CN109657583B (zh
Inventor
曹煊
曹玮剑
葛彦昊
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811503905.5A priority Critical patent/CN109657583B/zh
Publication of CN109657583A publication Critical patent/CN109657583A/zh
Priority to KR1020217011194A priority patent/KR102592270B1/ko
Priority to PCT/CN2019/121237 priority patent/WO2020119458A1/zh
Priority to JP2021516563A priority patent/JP7512262B2/ja
Priority to EP19897431.3A priority patent/EP3839807A4/en
Priority to US17/184,368 priority patent/US11915514B2/en
Application granted granted Critical
Publication of CN109657583B publication Critical patent/CN109657583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种脸部关键点检测方法、装置、计算机设备和存储介质，获取待检测脸部图像，待检测脸部图像为待检测帧的脸部图像；根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；基于各局部图像，分别确定各局部图像对应的关键点的候选点；对各关键点的候选点进行联合约束，确定各脸部关键点。由于对整体的待检测脸部图像中分别包括各关键点的局部图像，分别确定该局部图像中对应的关键点的候选点。可以降低计算量，提高关键点候选点的确定效率。从而，可以使得各脸部关键点的检测效率得到提升。

Description

脸部关键点检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种脸部关键点检测方法、装置、计算机设备和存储介质。
背景技术
脸部关键点检测技术对脸部识别、脸部配准、脸部美妆等应用都具有至关重要的作用。传统的脸部关键点检测方式基于脸部全局特征进行脸部关键点检测。如，人脸关键点检测(Landmark Detection)，是指对人脸图像中关键点的位置坐标进行定位。在进行人脸关键点检测时，如图1所示，以整张人脸图片作为输入，经过神经网络或数学模型同时输出所有人脸关键点的位置坐标。
传统的关键点检测方法，以整幅脸部图像作为检测对象，进行关键点的检测，因此，存在检测效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高检测效率的脸部关键点检测方法、装置、计算机设备和存储介质。
一种脸部关键点检测方法，所述方法包括：
获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
基于各局部图像，分别确定各局部图像对应的关键点的候选点；
对各关键点的候选点进行联合约束，确定各脸部关键点。
一种脸部关键点检测装置，所述装置包括：
整体图像获取模块，用于获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
局部图像确定模块，用于根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
局部候选点确定模块，用于基于各局部图像，分别确定各局部图像对应的关键点的候选点；
整体关键点确定模块，用于对各关键点的候选点进行联合约束，确定各脸部关键点。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
基于各局部图像，分别确定各局部图像对应的关键点的候选点；
对各关键点的候选点进行联合约束，确定各脸部关键点。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
基于各局部图像，分别确定各局部图像对应的关键点的候选点；
对各关键点的候选点进行联合约束，确定各脸部关键点。
上述一种脸部关键点检测方法、装置、计算机设备和存储介质，获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；基于各局部图像，分别确定各局部图像对应的关键点的候选点；对各关键点的候选点进行联合约束，确定各脸部关键点。由于对整体的待检测脸部图像中分别包括各关键点的局部图像，分别确定该局部图像中对应的关键点的候选点。可以降低计算量，提高关键点候选点的确定效率。从而，可以使得各脸部关键点的检测效率得到提升。当该脸部关键点检测方法应用于上妆类应用时，由于检测效率得到提升，可以降低关键点检测的耗时，减少运行时的卡顿现象，提供更流畅的上妆效果。
附图说明
图1为传统方式中脸部关键点检测方法的原理图；
图2为一个实施例中脸部关键点检测方法的应用环境图；
图3为一个实施例中脸部关键点检测方法的流程示意图；
图4为一具体实施例中的脸部关键点检测方法的神经网络结构示意图；
图5为一具体实施例中的脸部关键点检测方法的另一神经网络结构示意图；
图6为一具体实施例中的脸部关键点检测方法的原理图；
图7为一具体实施例中的脸部关键点检测方法的流程示意图；
图8为一通过现有技术方式得到上妆错乱示例图；
图9为通过一实施例的脸部关键点检测方法上妆准确的示例图；
图10为一个实施例中脸部关键点检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图2为一个实施例中脸部关键点检测方法的应用环境图。该脸部关键点检测方法可应用于计算机设备中。该计算机设备可以是终端或者服务器。终端可以是台式设备或者移动终端。服务器可以是独立的物理服务器、物理服务器集群或者虚拟服务器。其中，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统及计算机程序，该计算机程序被处理器执行时，可使得处理器实现脸部关键点检测方法的步骤。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行脸部关键点检测方法的步骤。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，在一个实施例中，提供了一种脸部关键点检测方法。该方法可以运行于图2中的计算机设备。该脸部关键点检测方法，包括以下步骤：
S302，获取待检测脸部图像，待检测脸部图像为待检测帧的脸部图像。
待检测脸部图像可以是一张独立的脸部图像，也可以是在动态场景中连续多帧脸部图像中的一帧图像。待检测脸部图像可以为包括脸部信息的图像。脸部可以是指人类的脸部，即人脸。脸部也可以是指动物的脸部，如可以是猫、狗、狮子、老虎、北极熊等动物的脸部。
可以理解地，本方法应用于动态场景，动态场景为包括不少于两帧图像的场景，检测脸部关键点时，需要针对场景中不少于两帧的脸部图像进行检测。如，可以是对每一帧的脸部图像进行人脸关键点的检测。
S304，根据待检测脸部图像，确定待检测脸部图像中分别包括各关键点的局部图像。
脸部类型确定时，如当脸部为人脸时，预先对脸部的各个关键点进行定义。在其中一实施例中，预先对脸部的每一个关键点进行定义，即一张局部图像对应一个关键点。如可以为第1关键点、第2关键点、...第N关键点，其中，N为脸部关键点的总数。更具体如，N可以为86，其中，眼睛22个关键点、眉毛16个关键点、鼻子11个关键点、嘴巴18个关键点、轮廓19个关键点。可以进一步按照器官对每一个关键点进行分类，如，第1关键点至第22关键点为眼睛的各关键点；第23关键点至第38关键点为眉毛的关键点。该局部图像的大小可以是小于待检测脸部图像的十分之一、二十分之一等，总之，该局部图像远小于待检测脸部图像。
可以理解地，在其它实施例中，还可以根据预设规则，预先对脸部的多个关键点进行定义，即一张局部图像对应多个关键点。如，按照器官对脸部关键点进行分类定义，关键点的类型可以包括眼睛关键点、眉毛关键点、鼻子关键点、嘴巴关键点、轮廓关键点。该局部图像的大小可以是小于待检测脸部图像的二分之一、五分之一等，总之，该局部图像小于待检测脸部图像。
可以基于关键点定义的方式，提取局部图像。如，针对每一个关键点，对待检测脸部图像进行提取，提取该关键点对应的局部图像。该关键点对应的局部图像，是包括该关键点在内的局部图像。又如，根据预设规则，针对多个同一类型的关键点，对待检测脸部图像进行提取，提取包括该类型关键点对应的局部图像。该类型关键点对应的局部图像，是包括该类型所有关键点在内的局部图像。
需要说明的是，一张局部图像对应一个关键点的实施方式，相较于一张局部图像对应多个关键点的实施方式，能够提取更小的局部图像，因此，其能够提升更高的检测效率。
S306，基于各局部图像，分别确定各局部图像对应的关键点的候选点。
对每一张局部图像，可以根据该局部图像的纹理特征，确定该局部图像对应的关键点的候选点。也即，每一张局部图像独立地进行关键点检测，确定该局部图像对应的关键点的候选点。候选点是指可能是该局部图像对应的关键点的点。
在一些实施例中，可以采用训练好的神经网络模型，确定局部图像对应的关键点的候选点。如可以对各关键点采用对应的神经网络模型进行映射，得到该关键点的候选点。各关键点对应的神经网络可以是预先训练好的基于局部图像的神经网络模型。以一张局部图像对应一个关键点为例，神经网络模型的个数等于预先定义的脸部关键点的个数，每一个关键点对应一个基于局部图像的神经网络模型。该基于局部图像的神经网络模型的输入为局部图像，输出可以为该局部图像的热量图。热量图(Heat Map)，是指由点分布概率表征能量高低的图像，图像中一个像素值的大小表征该像素是关键点的概率的高低。热量图可以表达局部图像中各像素点作为关键点的概率。概率值满足预设条件的像素点即为候选点，预设条件可以为概率值大于预设概率值，预设概率值如可以为0。如此，通过神经网络确定该局部图像对应的关键点的候选点的方式，可以进一步提高脸部关键点检测的准确性。
S308，对各关键点的候选点进行联合约束，确定各脸部关键点。
由于各关键点的候选点分别与各局部图像对应。因此，在确定待检测脸部图像整体的脸部关键点时，需要对各局部图像对应的关键点的候选点进行联合约束，以确定该局部图像对应的关键点。各局部图像对应的关键点的集合即为待检测脸部图像整体的脸部关键点。联合约束的条件是脸部类型确定时，如当脸部为人脸时，各局部图像对应的关键点联合起来应满足的基于面部特征的条件。可以包括眼睛的关键点在嘴巴的关键点的上方，鼻子的关键点在眼睛的关键点和鼻子的关键点之间等。
在一些实施例中，可以采用训练好的神经网络模型，对各关键点的候选点进行联合约束，确定各脸部关键点。该神经网络模型的输入可以为局部图像的热量图，输出可以为待检测脸部图像的各脸部关键点。如此，通过神经网络模型确定脸部关键点，可以进一步提升脸部关键点的检测效率。
需要说明的是，当每一张局部图像对应多个关键点时，在进行联合约束时，需要进行旋转操作，因此不能采用线性模型进行联合约束。当每一张局部图像对应一个关键点时，在进行联合约束时，可以无需进行旋转操作，因此可以采用线性模型进行联合约束。
还需说明的是，在本实施例中，并不是简单的将各个局部图像中，作为关键点概率最高的像素点作为脸部关键点，而是需要进行联合约束。例如，当某个关键点存在遮挡、暗光等干扰因素，相应像素点的作为关键点的概率值较低，但在联合约束时，将排查上述干扰因素，将其作为脸部关键点输出。
基于本实施例的脸部关键点检测方法，获取待检测脸部图像；根据待检测脸部图像，确定待检测脸部图像中分别包括各关键点的局部图像；基于各局部图像，分别确定各局部图像对应的关键点的候选点；对各关键点的候选点进行联合约束，确定各脸部关键点。由于对整体的待检测脸部图像中分别包括各关键点的局部图像，分别确定该局部图像中对应的关键点的候选点。可以降低计算量，提高关键点候选点的确定效率。从而，可以使得各脸部关键点的检测效率得到提升。同时由于局部图像更能体现局部的细节特征，因此，基于本实施例的脸部关键点检测方法还可以提高关键点检测的准确性。当该脸部关键点检测方法应用于上妆类应用时，由于检测效率得到提升，可以降低关键点检测的耗时，减少运行时的卡顿现象，提供更流畅的上妆效果。
动态场景如可以是微视、短视频、天天P图等应用中的动态场景。在这些动态场景中，对人脸进行化妆时，例如，画眼影、描口红、瘦脸等，首先都需要对人脸五官进行精确定位，也即人脸关键点检测。当检测到每个器官的关键点以后，可以采用CG(ComputerGraphics，计算机动画)渲染技术对人脸图像进行上妆。由于基于本实施例的脸部关键点检测方法，具有检测准确性高的有益效果，因此，可以避免因人脸上妆时存在侧脸、遮挡、暗光等特殊情况，引起的关键点检测不准确、上妆错乱的问题。从而，提高上妆的稳定性。
还需说明的是，动态场景对实时性要求高，也即对检测效率要求更高，基于本实施例的脸部关键点检测方法，能够更好的适用于动态场景。在保证动态场景流畅性的同时，适用于执行终端为智能终端的应用环境。
在其中一实施例中，对各关键点的候选点进行联合约束，确定各脸部关键点，包括：基于线性模型对各关键点的候选点进行联合约束，确定各脸部关键点。
可以理解地，基于本实施例的脸部关键点检测方法中，当每一张局部图像对应一个关键点。在进行联合约束时，可以无需进行旋转操作，因此，可以基于线性模型对各关键点的候选点进行联合约束，从而确定待检测脸部图中的各脸部关键点。尤其是，在侧脸姿态下，传统非线性模型往往存在求解偏差的情况，而基于线性模型的联合约束，可以获得更准确的脸部关键点。由于基于线性模型对各关键点的候选点进行联合约束时，只需要进行单次求解，相较于非线性模型需要多次求解需的计算量更少，且能够保证收敛到全局最优。
由于线性模型相较于非线性模型具有能够保证收敛到全局最优、计算量更少的效果。因此，基于本实施例的脸部关键点检测方法，可以使得确定各脸部关键点的效率得到进一步提升的同时，提高脸部关键点检测的准确性。当该脸部关键点检测方法应用于上妆类应用时，由于检测效率及准确性得到提升，可以进一步降低关键点检测的耗时，减少运行时的卡顿现象，提供更流畅的上妆效果。同时，由于线性模型可以保证求解得到全局最优解，能能够避免在侧脸姿态下存在求解偏差的情况，提高在侧脸姿态下上妆的准确性。
进一步地，线性模型为动态线性点分布模型。动态线性点分布模型为动态的基于线性约束条件的点分布模型。
点分布模型(PDM，Point Distribution Model)是指，某一类别对象中关键点分布的统计模型，能反映出该类别对象的形状特征。在本实施例中，点分布模型为脸部关键点分布的统计模型。动态的线性点分布模型，可以实时动态更新约束参数，使得检测结果更为准确定。因此，基于本实施例的脸部关键点检测方法可以保证收敛到全局最优、计算量更少、约束参数可以实时动态更新。从而，基于本实施例的脸部关键点检测方法，可以使得确定各脸部关键点的效率得到进一步提升的同时，进一步提高脸部关键点检测的准确性。
在其中一具体实施例中，动态线性点分布模型的输入为各局部图像的热量图，输出为各脸部关键点。该动态线性点分布模型中联合约束求解过程的优化目标函数可以为：
其中，Hk [x,y]为第k个关键点位于[x,y]坐标的概率，λ为正则约束强度，可以根据经验设定为0.1～5.0之间的值，B为PDM参数。MPDM是由点分布模型基向量构成的矩阵，MPDM为复合构造矩阵，Λ为PCA(Principle Component Analysis，主成分分解，是指去除训练数据中关键点数据中的冗余成分，得到主要成分向量)主成分向量对应的特征值构成的向量，s.t.表示约束条件。
进一步地，在本实施例中，约束条件为：其中，[x,y]表示各脸部关键点的三维空间坐标，s表示缩放因子，可以为一个浮点数；Φ表示PCA基向量构成的矩阵；B表示PDM参数；T表示平移因子。上述公式中的乘法为矩阵相乘，由于矩阵乘法具有结合律，因此上述约束条件可以进一步改写为：[X，Y]＝MPDM*B。其中，MPDM可以为复合构造矩阵，如，MPDM的第1列为MPDM的第2列为向量[1,0,1,0,……,1,0]；MPDM的第3列为向量[0,1,0,1,……,0,1]；MPDM的第4列到最后一列为PCA基向量。求解参数B时，B＝(MPDM)-1*[X，Y]，其中(MPDM)-1表示MPDM的伪逆矩阵。
相对于传统的约束条件，其中，R表示旋转因子，可以表示为：
其中，φ,θ,ψ分别表示绕三维空间坐标中X、Y、Z轴旋转的角度。由于传统约束条件中存在非线性因子R，要求解该公式中的参数B，需要使用复杂的算法求解，如梯度下降方法，其耗时严重，且无法保证为全局最优解。
基于本实施方式的动态线性点分布模型中，在进行联合约束时，无需进行旋转操作，约束条件中不存在非线性因子，因此，脸部关键点检测的效率高。
可以理解地，在其它实施例中，线性模型也可以为线性点分布模型即可，如此，可以达到使得确定各脸部关键点的效率得到进一步提升的同时，提高脸部关键点检测准确性的有益效果。
在其中一实施例中，基于各局部图像，分别确定各局部图像对应的关键点的候选点，包括：当待检测帧为非预设帧时，获取待检测帧的前序帧中分别包括各关键点的局部图像；基于前序帧及待检测帧中对应的局部图像，分别确定待检测脸部图像中各局部图像对应的关键点的候选点。
预设帧可以为预先设置的帧，该预设帧可以为非关键帧、首帧。其中，关键帧可以是指包括关键信息的视频帧，也可以是每隔预设数量帧或时间取到的一视频帧等。非预设帧即为关键帧、非首帧。首帧可以是指在动态场景中、用于检测脸部关键点的第一帧，非首帧即为在动态场景中、用于检测脸部关键点的第一帧之后帧。前序帧为在待检测帧之前、与待检测帧连续的至少一帧。如，前序帧可以为待检测帧的前一帧。在本实施例中，当待检测帧为预设帧时，结合待检测帧及其前序帧对应的局部图像，确定该待检测脸部图像即该待检测帧的局部图像对应的关键点的候选点。前序帧及待检测帧中对应的局部图像，同一关键点对应的前序帧中的局部图像及待检测帧中的局部图像。可以理解地，待检测帧的局部图像的数量大于1。该待检测帧的局部图像的数量可以与该待检测帧中脸部关键点的数量相同。
前序帧的局部图像的确定方式，可以是采用预检测的方式预测关键点位置，根据该预测的关键点位置，进行局部图像提取，得到前序帧的局部图像；还可以是基于前序帧的脸部关键点的检测结果，进行局部图像提取，得到前序关键帧的局部图像。
基于本实施例的脸部关键点检测方法，在待检测帧为预设帧时，结合待检测帧及其前序帧确定该待检测帧的局部图像对应的关键点的候选点，如此，可以确保在前序帧和待检测帧中关键点具有一致性。从而，可以提高动态场景中关键点的稳定性。当该脸部关键点检测方法应用于上妆类应用时，能够提高在连续帧视频上人脸关键点检测的稳定性，改善了妆容抖动的问题。
在其中一实施例中，对各关键点的候选点进行联合约束，确定各脸部关键点之后，还包括：基于各脸部关键点进行局部图像提取，确定后一帧脸部图像的前序帧中分别包括各关键点的局部图像。
基于待检测帧的脸部关键点，进行局部图像提取，可以确定该待检测帧的后一帧脸部图像的前序帧(即当前的待检测帧)分别包括各关键点的局部图像。如，若当前待检测帧为第N帧，N为自然数，则根据第N帧的各脸部关键点，分别提取局部图像，到第N+1帧的脸部图像的前一帧中分别包括各关键点的局部图像。采用同样的方式可以获得前m帧中分别包括各关键点的局部图像。m为小于N的自然数。
如此，提供一种相对于通过预检测方式，更为准确的确定前序帧中分别包括各关键点的局部图像的方式，从而，可以进一步提高关键点检测的准确性。
在其中一实施例中，基于各局部图像，分别确定各局部图像对应的关键点的候选点，包括：当待检测帧为预设帧时，基于待检测帧的各局部图像，分别确定待检测脸部图像中各局部图像对应的关键点的候选点。
也即，当待检测帧为预先设置的帧时，可以根据该待检测帧的各局部图像，分别确定待检测脸部图像中各局部图像对应的关键点的候选点。该预设帧可以为非关键帧或首帧。如此，可以在待检测帧为预设帧时，如当该待检测帧为首帧时没有前序帧，基于该待检测帧的各局部图像，分别确定该待检测脸部图像中各局部图像对应的关键点的候选点。
在其中一具体实施例，如图4、图5所示，采用训练好的神经网络模型，确定局部图像对应的关键点的候选点，并通过热量图的形式表示局部图像中各像素点作为关键点的概率，从而确定关键点的候选点。每一个神经网络模型输入为一个16x16的局部图像，输出为8x8的热量图，中间包括两层卷积层和一层全连接层，卷积层的卷积核大小均为5x5，卷积层中不作填充和池化，卷积层均采用ReLU(The Rectified Linear Unit，修正线性单元)作为激活函数。热量图中像素值的大小表征该像素是关键点的概率的高低，像素值越大表明该点是关键点的概率越高。该神经网络在训练时，参数采用方差为0.01、均值为0的高斯分布进行初始化，训练方法采用SGD(Stochastic Gradient Descent，随机梯度下降)算法求解神经网络的参数，在每次迭代训练中反传误差为预测的热量图与标注的热量图之间的欧式距离。每个关键点的候选点的确定，采用相同的神经网络结构，但互相独立训练，因此，各脸部关键点对应的神经网络的参数各不相同。需要说明的是，训练采用的训练数据可以是公开的300W数据集和优图实验室标注的数据集。
在该具体实施例，如图4、6所示，当待检测帧为预设帧时，基于待检测帧的各局部图像，分别确定待检测脸部图像中各局部图像对应的关键点的候选点。如图5、6所示，当待检测帧为非预设帧时，获取待检测帧的前序帧中分别包括各关键点的局部图像；基于前一帧及待检测帧中对应的局部图像，分别确定待检测脸部图像中各局部图像对应的关键点的候选点。其中图6中上方的面部图像为预设帧的面部图像，下方的面部图像为非预设帧的面部图像。也即，当待检测帧为预设帧时，待检测脸部图像中每一个关键点的候选点的确定，是基于该待检测帧的一张局部图像确定的。当待检测帧为非预设帧时，待检测脸部图像中每一个关键点的候选点的确定，是联合该待检测帧的一张局部图像及前一帧的一张局部图像，总共两张局部图像确定的。
在其中一实施例中，待检测脸部图像为人脸图像，脸部关键点为人脸关键点。
人脸关键点(Facial Landmarks)，是指人脸图像中具有五官语义的点的集合，例如眼角、眼皮中点、鼻尖、嘴角、轮廓等点的集合。
基于本实施例的脸部关键点检测方法，能够提高人脸关键点的确定效率，及准确性。
在其中一实施例中，基于各局部图像，分别确定各局部图像对应的关键点的候选点的方式包括：对每一局部图像，确定局部图像的热量图；所述热量图包括对应的局部图像中各像素点作为关键点的概率；根据所述热量图，确定局部图像对应的关键点的候选点。
可以通过热量图的形式来表示局部图像中，各像素点作为关键点的概率。该候选点可以为作为关键点的概率大于预设概率值的像素点。该预设概率值可以为0、0.1等概率值。也即，可以根据该热量图确定局部图像对应的关键点的候选点。如果某个关键点存在遮挡、暗光等干扰因素，相应热量图中的热量值较低，但在联合约束时，将排查上述干扰因素。
由于热量图包含了关键点分布的概率信息，如果某个关键点存在遮挡、暗光等干扰因素，相应热量图中的热量值较低，因此，可以提高在侧脸、遮挡、暗光等特殊情况下关键点的检测准确性。当该脸部关键点检测方法应用于上妆类应用时，由于该方法可以提高在侧脸、遮挡、暗光等特殊情况下关键点的检测准确性，从而能够提高在侧脸、遮挡、暗光等特殊情况下上妆的准确性，改善妆容错位的问题。
在其中一实施例中，获取待检测脸部图像，包括：获取初始脸部图像；对初始脸部图像进行预处理，得到待检测脸部图像。
初始脸部图像可以为通过摄像头采集得到的、未经过加工处理的脸部图像。预处理可以包括旋正或/及缩放等操作，使得双眼瞳孔关键点处于同一水平线上，或/及，双眼瞳孔关键点的水平距离为预设值。旋正是指将脸部图像旋转至双眼瞳孔关键点处于同一水平线上。缩放是指将脸部图像进行放大或缩小的处理。预处理也可以包括获取初始脸部图像的纹理特征图像，或/及，对初始脸部图像进行脸部区域定位等操作。如此，可以进一步提升脸部关键点检测的效率。
在其中一实施例中，预处理包括：对初始脸部图像进行旋正，使得双眼瞳孔关键点处于水平线上；或/及，对初始脸部图像进行缩放，使得双眼瞳孔关键点的水平距离为预设值。该预设值为预先确定的双眼通孔关键点的水平距离值。如，可以为160像素。如此，可以进一步提升脸部关键点检测的效率。
在其中一实施例中，根据待检测脸部图像，确定待检测脸部图像中分别包括各关键点的局部图像，包括：对待检测脸部图像进行脸部关键点的初始化；基于初始化结果确定待检测脸部图像中分别包括各关键点的局部图像。
在本实施例中，对待检测脸部图像进行脸部关键点初始化的方式可以包括：当待检测脸部图像不存在前序帧脸部图像时，如可以是动态场景中的首帧，也可以独立的一张脸部图像，此时，根据平均脸部模型的关键点坐标，确定初始化关键点的初始化结果。该初始化结果可以为平均脸部模型的关键点坐标。平均脸部模型的关键点坐标可以是对大量脸部模型进行分析之后，得到的各脸部关键点的平均位置坐标。当待检测脸部图像存在前序帧脸部图像时，可以根据前序帧的脸部图像的关键点坐标，确定初始化关键点的初始化结果。该初始化结果可以为前一帧脸部图像的关键点坐标。
可以理解地，在其它实施例中，也可以通过其它方式对待检测脸部图像进行脸部关键点初始化，如，通过预检测的方式对待检测脸部图像进行脸部关键点初始化。
基于初始化结果确定待检测脸部图像中分别包括各关键点的局部图像，可以是将初始化结果作为对应的关键点的局部图像的中心位置，按预设大小进行图像提取，得到包含该关键点的局部图像。
如此，提供一种效率高的确定待检测脸部图像中分别包括各关键点的局部图像的实施方式，从而，进一步提高脸部关键点的检测效率。
如图7所示，在一个具体实施例中，脸部关键点检测方法，方法应用于动态场景，包括：
获取初始脸部图像；对初始脸部图像进行旋正及缩放，使得双眼瞳孔关键点处于同一水平线上且双眼瞳孔关键点的水平距离为预设值，得到待检测脸部图像；待检测脸部图像为待检测帧的脸部图像；待检测脸部图像为人脸图像；
对待检测脸部图像进行脸部关键点的初始化；基于初始化结果确定待检测脸部图像中分别包括各关键点的局部图像，所述待检测脸部图像为待检测帧的脸部图像；
当待检测帧为非预设帧时，获取待检测帧的前序帧中分别包括各关键点的局部图像；基于前序帧及待检测帧中对应的局部图像，分别确定待检测脸部图像中各局部图像对应的热量图；
当待检测帧为预设帧时，基于待检测帧的各局部图像，分别确定待检测脸部图像中各局部图像对应的热量图；
基于动态线性点分布模型对各热量图进行联合约束，确定各脸部关键点，脸部关键点为人脸关键点；
基于各脸部关键点进行局部图像提取，确定后一帧脸部图像的前序帧中分别包括各关键点的局部图像。
基于本实施例的脸部关键点检测方法，能够提高脸部关键点的检测效率、准确性及稳定性。
为了更清楚地说明上述脸部关键点检测方法的有益效果，请参阅图8和图9。图8为当人脸的一侧脸部存在暗光情况时，采用现有技术的方式检测到该侧脸的眉毛区域、眼睛区域的关键点均有错乱，因此，在为对象进行“戴眼镜”的“上妆操作”时，眼镜佩戴的位置明显错乱。图9为采用本申请的实施方式检测到该存在暗光情况的侧脸的眉毛区域、眼睛区域的关键点准确，因此，在为对象进行“戴眼镜”的“上妆操作”时，眼镜佩戴的位置准确。
应该理解的是，虽然图3、7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种脸部关键点检测装置，包括：
整体图像获取模块802，用于获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
局部图像确定模块804，用于根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
局部候选点确定模块806，用于基于各局部图像，分别确定各局部图像对应的关键点的候选点；
整体关键点确定模块808，用于对各关键点的候选点进行联合约束，确定各脸部关键点。
该脸部关键点检测装置，获取待检测脸部图像；根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；基于各局部图像，分别确定各局部图像对应的关键点的候选点；对各关键点的候选点进行联合约束，确定各脸部关键点。由于对整体的待检测脸部图像中分别包括各关键点的局部图像，分别确定该局部图像中对应的关键点的候选点。可以降低计算量，提高关键点候选点的确定效率。从而，可以使得各脸部关键点的检测效率得到提升。
在其中一实施例中，整体关键点确定模块，用于基于线性模型对各关键点的候选点进行联合约束，确定各脸部关键点。
在其中一实施例中，所述线性模型为动态线性点分布模型。
在其中一实施例中，局部候选点确定模块，用于当所述待检测帧为非预设帧时，获取所述待检测帧的前序帧中分别包括各关键点的局部图像；基于所述前序帧及所述待检测帧中对应的局部图像，分别确定所述待检测脸部图像中各局部图像对应的关键点的候选点。
在其中一实施例中，还包括前序局部图像确定模块，用于在整体关键点确定模块对各关键点的候选点进行联合约束，确定各脸部关键点之后，基于各所述脸部关键点进行局部图像提取，确定后一帧脸部图像的前序帧中分别包括各关键点的局部图像。
在其中一实施例中，局部候选点确定模块，用于当所述待检测帧为预设帧时，基于所述待检测帧的各局部图像，分别确定所述待检测脸部图像中各局部图像对应的关键点的候选点。
在其中一实施例中，所述待检测脸部图像为人脸图像，所述脸部关键点为人脸关键点。
在其中一实施例中，局部候选点确定模块，用于对每一局部图像，基于局部图像，确定局部图像中各像素点作为关键点的概率；根据局部图像中各像素点作为关键点的概率，确定局部图像对应关键点的候选点。
在其中一实施例中，整体图像获取模块，用于获取初始脸部图像；并对所述初始脸部图像进行预处理，得到所述待检测脸部图像。
在其中一实施例中，整体图像获取模块，还用于对所述初始脸部图像进行旋正，使得双眼瞳孔关键点处于同一水平线上；或/及，对所述初始脸部图像进行缩放，使得双眼瞳孔关键点的水平距离为预设值。
在其中一实施例中，局部候选点确定模块，用于对所述待检测脸部图像进行脸部关键点的初始化；基于初始化结果确定所述待检测脸部图像中分别包括各关键点的局部图像。
在一个实施例中，提供了一种计算机设备，该计算机设备可以为服务器，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种脸部关键点检测方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种脸部关键点检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施方式中，提供了一种计算机设备，该计算机设备可以是服务器或终端。该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述脸部关键点检测方法的步骤。
在其中一实施例中，该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
基于各局部图像，分别确定各局部图像对应的关键点的候选点；
对各关键点的候选点进行联合约束，确定各脸部关键点。
在其中一实施例中，所述对各关键点的候选点进行联合约束，确定各脸部关键点，包括：
基于线性模型对各关键点的候选点进行联合约束，确定各脸部关键点。
在其中一实施例中，所述线性模型为动态线性点分布模型。
在其中一实施例中，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点，包括：
当所述待检测帧为非预设帧时，获取所述待检测帧的前序帧中分别包括各关键点的局部图像；
基于所述前序帧及所述待检测帧中对应的局部图像，分别确定所述待检测脸部图像中各局部图像对应的关键点的候选点。
在其中一实施例中，所述对各关键点的候选点进行联合约束，确定各脸部关键点之后，还包括：
基于各所述脸部关键点进行局部图像提取，确定后一帧脸部图像的前序帧中分别包括各关键点的局部图像。
在其中一实施例中，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点，包括：
当所述待检测帧为预设帧时，基于所述待检测帧的各局部图像，分别确定所述待检测脸部图像中各局部图像对应的关键点的候选点。
在其中一实施例中，所述待检测脸部图像为人脸图像，所述脸部关键点为人脸关键点。
在其中一实施例中，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点的方式包括：
对每一局部图像，基于局部图像，确定局部图像中各像素点作为关键点的概率；
根据局部图像中各像素点作为关键点的概率，确定局部图像对应关键点的候选点。
在其中一实施例中，所述获取待检测脸部图像，包括：
获取初始脸部图像；
对所述初始脸部图像进行预处理，得到所述待检测脸部图像。
在其中一实施例中，所述预处理包括：
对所述初始脸部图像进行旋正，使得双眼瞳孔关键点处于同一水平线上；
或/及，
对所述初始脸部图像进行缩放，使得双眼瞳孔关键点的水平距离为预设值。
在其中一实施例中，所述根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像，包括：
对所述待检测脸部图像进行脸部关键点的初始化；
基于初始化结果确定所述待检测脸部图像中分别包括各关键点的局部图像。
在其中一实施方式中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述脸部关键点检测方法的步骤。
在其中一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
基于各局部图像，分别确定各局部图像对应的关键点的候选点；
对各关键点的候选点进行联合约束，确定各脸部关键点。
在其中一实施例中，所述对各关键点的候选点进行联合约束，确定各脸部关键点，包括：
基于线性模型对各关键点的候选点进行联合约束，确定各脸部关键点。
在其中一实施例中，所述线性模型为动态线性点分布模型。
在其中一实施例中，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点，包括：
当所述待检测帧为非预设帧时，获取所述待检测帧的前序帧中分别包括各关键点的局部图像；
基于所述前序帧及所述待检测帧中对应的局部图像，分别确定所述待检测脸部图像中各局部图像对应的关键点的候选点。
在其中一实施例中，所述对各关键点的候选点进行联合约束，确定各脸部关键点之后，还包括：
基于各所述脸部关键点进行局部图像提取，确定后一帧脸部图像的前序帧中分别包括各关键点的局部图像。
在其中一实施例中，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点，包括：
当所述待检测帧为预设帧时，基于所述待检测帧的各局部图像，分别确定所述待检测脸部图像中各局部图像对应的关键点的候选点。
在其中一实施例中，所述待检测脸部图像为人脸图像，所述脸部关键点为人脸关键点。
在其中一实施例中，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点的方式包括：
对每一局部图像，基于局部图像，确定局部图像中各像素点作为关键点的概率；
根据局部图像中各像素点作为关键点的概率，确定局部图像对应关键点的候选点。
在其中一实施例中，所述获取待检测脸部图像，包括：
获取初始脸部图像；
对所述初始脸部图像进行预处理，得到所述待检测脸部图像。
在其中一实施例中，所述预处理包括：
对所述初始脸部图像进行旋正，使得双眼瞳孔关键点处于同一水平线上；
或/及，
对所述初始脸部图像进行缩放，使得双眼瞳孔关键点的水平距离为预设值。
在其中一实施例中，所述根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像，包括：
对所述待检测脸部图像进行脸部关键点的初始化；
基于初始化结果确定所述待检测脸部图像中分别包括各关键点的局部图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种脸部关键点检测方法，所述方法包括：
获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
基于各局部图像，分别确定各局部图像对应的关键点的候选点；
对各关键点的候选点进行联合约束，确定各脸部关键点。
2.根据权利要求1所述的方法，其特征在于，所述对各关键点的候选点进行联合约束，确定各脸部关键点，包括：
基于线性模型对各关键点的候选点进行联合约束，确定各脸部关键点。
3.根据权利要求1所述的方法，其特征在于，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点，包括：
当所述待检测帧为非预设帧时，获取所述待检测帧的前序帧中分别包括各关键点的局部图像；
基于所述前序帧及所述待检测帧中对应的局部图像，分别确定所述待检测脸部图像中各局部图像对应的关键点的候选点。
4.根据权利要求1所述的方法，其特征在于，所述对各关键点的候选点进行联合约束，确定各脸部关键点之后，还包括：
基于各所述脸部关键点进行局部图像提取，确定后一帧脸部图像的前序帧中分别包括各关键点的局部图像。
5.根据权利要求1所述的方法，其特征在于，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点，包括：
当所述待检测帧为预设帧时，基于所述待检测帧的各局部图像，分别确定所述待检测脸部图像中各局部图像对应的关键点的候选点。
6.根据权利要求1所述的方法，其特征在于，所述待检测脸部图像为人脸图像，所述脸部关键点为人脸关键点。
7.根据权利要求1所述的方法，其特征在于，所述基于各局部图像，分别确定各局部图像对应的关键点的候选点的方式包括：
对每一局部图像，确定局部图像的热量图；所述热量图包括对应的局部图像中各像素点作为关键点的概率；
根据所述热量图，确定局部图像对应的关键点的候选点。
8.根据权利要求1所述的方法，其特征在于，所述获取待检测脸部图像，包括：
获取初始脸部图像；
对所述初始脸部图像进行预处理，得到所述待检测脸部图像。
9.根据权利要求8所述的方法，其特征在于，所述预处理包括：
对所述初始脸部图像进行旋正，使得双眼瞳孔关键点处于同一水平线上；
或/及，
对所述初始脸部图像进行缩放，使得双眼瞳孔关键点的水平距离为预设值。
10.根据权利要求9所述的方法，其特征在于，所述根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像，包括：
对所述待检测脸部图像进行脸部关键点的初始化；
基于初始化结果确定所述待检测脸部图像中分别包括各关键点的局部图像。
11.一种脸部关键点检测装置，所述装置包括：
整体图像获取模块，用于获取待检测脸部图像，所述待检测脸部图像为待检测帧的脸部图像；
局部图像确定模块，用于根据所述待检测脸部图像，确定所述待检测脸部图像中分别包括各关键点的局部图像；
局部候选点确定模块，用于基于各局部图像，分别确定各局部图像对应的关键点的候选点；
整体关键点确定模块，用于对各关键点的候选点进行联合约束，确定各脸部关键点。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-10任意一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述的方法的步骤。
CN201811503905.5A 2018-12-10 2018-12-10 脸部关键点检测方法、装置、计算机设备和存储介质 Active CN109657583B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811503905.5A CN109657583B (zh) 2018-12-10 2018-12-10 脸部关键点检测方法、装置、计算机设备和存储介质
KR1020217011194A KR102592270B1 (ko) 2018-12-10 2019-11-27 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체
PCT/CN2019/121237 WO2020119458A1 (zh) 2018-12-10 2019-11-27 脸部关键点检测方法、装置、计算机设备和存储介质
JP2021516563A JP7512262B2 (ja) 2018-12-10 2019-11-27 顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム
EP19897431.3A EP3839807A4 (en) 2018-12-10 2019-11-27 METHOD AND DEVICE FOR FACE MARKING DETECTION, COMPUTER DEVICE AND STORAGE MEDIUM
US17/184,368 US11915514B2 (en) 2018-12-10 2021-02-24 Method and apparatus for detecting facial key points, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811503905.5A CN109657583B (zh) 2018-12-10 2018-12-10 脸部关键点检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109657583A true CN109657583A (zh) 2019-04-19
CN109657583B CN109657583B (zh) 2021-10-22

Family

ID=66113105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811503905.5A Active CN109657583B (zh) 2018-12-10 2018-12-10 脸部关键点检测方法、装置、计算机设备和存储介质

Country Status (6)

Country Link
US (1) US11915514B2 (zh)
EP (1) EP3839807A4 (zh)
JP (1) JP7512262B2 (zh)
KR (1) KR102592270B1 (zh)
CN (1) CN109657583B (zh)
WO (1) WO2020119458A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826534A (zh) * 2019-11-30 2020-02-21 杭州趣维科技有限公司 一种基于局部主成分分析的人脸关键点检测方法及系统
WO2020119458A1 (zh) * 2018-12-10 2020-06-18 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
CN111598051A (zh) * 2020-06-16 2020-08-28 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
WO2020238374A1 (zh) * 2019-05-31 2020-12-03 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
CN112257582A (zh) * 2020-10-21 2021-01-22 北京字跳网络技术有限公司 脚部姿态确定方法、装置、设备和计算机可读介质
CN112967235A (zh) * 2021-02-19 2021-06-15 联影智能医疗科技(北京)有限公司 图像检测方法、装置、计算机设备和存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7102554B2 (ja) * 2019-09-30 2022-07-19 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 画像処理方法、装置及び電子機器
CN113761994B (zh) * 2020-08-07 2024-05-21 北京沃东天骏信息技术有限公司 处理图像的方法、装置、设备和计算机可读介质
US11574500B2 (en) 2020-09-08 2023-02-07 Samsung Electronics Co., Ltd. Real-time facial landmark detection
CN113344890B (zh) * 2021-06-18 2024-04-12 北京百度网讯科技有限公司 医学图像识别方法、识别模型训练方法及装置
CN113449657B (zh) * 2021-07-05 2022-08-30 中山大学 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质
KR102529209B1 (ko) 2021-09-16 2023-05-09 주식회사 이엔터 얼굴 인식을 통한 특수효과 연출 시스템 및 그 방법
CN114463534A (zh) * 2021-12-28 2022-05-10 佳都科技集团股份有限公司 一种目标关键点检测方法、装置、设备及存储介质
CN115802160B (zh) * 2023-02-03 2023-04-11 北京润谊医疗管理顾问有限公司 一种眼底图像的智能拍摄方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195996A1 (en) * 2006-02-22 2007-08-23 Fujifilm Corporation Characteristic point detection method, apparatus, and program
CN102194131A (zh) * 2011-06-01 2011-09-21 华南理工大学 基于五官几何比例特征的快速人脸识别方法
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
CN106295567A (zh) * 2016-08-10 2017-01-04 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN106991388A (zh) * 2017-03-27 2017-07-28 中国科学院自动化研究所 关键点定位方法
CN108280388A (zh) * 2017-01-06 2018-07-13 富士通株式会社 训练面部检测模型的方法和装置以及面部检测方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007096A1 (fr) * 2000-07-17 2002-01-24 Mitsubishi Denki Kabushiki Kaisha Dispositif de recherche d'un point caracteristique sur un visage
JP2012014557A (ja) * 2010-07-02 2012-01-19 Fujitsu Ltd 特徴点判定装置、特徴点判定方法および特徴点判定プログラム
US9152847B2 (en) * 2012-11-27 2015-10-06 Adobe Systems Incorporated Facial landmark localization by exemplar-based graph matching
US8948517B2 (en) * 2013-03-01 2015-02-03 Adobe Systems Incorporated Landmark localization via visual search
JP6202938B2 (ja) * 2013-08-22 2017-09-27 キヤノン株式会社 画像認識装置および画像認識方法
WO2016026135A1 (en) * 2014-08-22 2016-02-25 Microsoft Technology Licensing, Llc Face alignment with shape regression
CN106295476B (zh) * 2015-05-29 2019-05-17 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
WO2017100929A1 (en) * 2015-12-15 2017-06-22 Applied Recognition Inc. Systems and methods for authentication using digital signature with biometrics
CN106845377A (zh) * 2017-01-10 2017-06-13 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN107945219B (zh) * 2017-11-23 2019-12-03 翔创科技（北京）有限公司 脸部图像对齐方法、计算机程序、存储介质及电子设备
US11068741B2 (en) * 2017-12-28 2021-07-20 Qualcomm Incorporated Multi-resolution feature description for object recognition
WO2020024112A1 (zh) * 2018-07-31 2020-02-06 深圳市大疆创新科技有限公司 一种拍摄处理方法、设备及存储介质
CN109492531B (zh) * 2018-10-10 2021-04-23 达闼机器人有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195996A1 (en) * 2006-02-22 2007-08-23 Fujifilm Corporation Characteristic point detection method, apparatus, and program
CN102194131A (zh) * 2011-06-01 2011-09-21 华南理工大学 基于五官几何比例特征的快速人脸识别方法
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
CN106295567A (zh) * 2016-08-10 2017-01-04 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN108280388A (zh) * 2017-01-06 2018-07-13 富士通株式会社 训练面部检测模型的方法和装置以及面部检测方法和装置
CN106991388A (zh) * 2017-03-27 2017-07-28 中国科学院自动化研究所 关键点定位方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119458A1 (zh) * 2018-12-10 2020-06-18 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
US11915514B2 (en) 2018-12-10 2024-02-27 Tencent Technology (Shenzhen) Company Limited Method and apparatus for detecting facial key points, computer device, and storage medium
WO2020238374A1 (zh) * 2019-05-31 2020-12-03 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
CN110826534A (zh) * 2019-11-30 2020-02-21 杭州趣维科技有限公司 一种基于局部主成分分析的人脸关键点检测方法及系统
CN110826534B (zh) * 2019-11-30 2022-04-05 杭州小影创新科技股份有限公司 一种基于局部主成分分析的人脸关键点检测方法及系统
CN111598051A (zh) * 2020-06-16 2020-08-28 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
CN111598051B (zh) * 2020-06-16 2023-11-14 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
CN112257582A (zh) * 2020-10-21 2021-01-22 北京字跳网络技术有限公司 脚部姿态确定方法、装置、设备和计算机可读介质
CN112967235A (zh) * 2021-02-19 2021-06-15 联影智能医疗科技(北京)有限公司 图像检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP3839807A1 (en) 2021-06-23
CN109657583B (zh) 2021-10-22
US11915514B2 (en) 2024-02-27
KR102592270B1 (ko) 2023-10-19
WO2020119458A1 (zh) 2020-06-18
US20210182537A1 (en) 2021-06-17
KR20210060554A (ko) 2021-05-26
JP7512262B2 (ja) 2024-07-08
JP2022502751A (ja) 2022-01-11
EP3839807A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
CN109657583A (zh) 脸部关键点检测方法、装置、计算机设备和存储介质
CN111723860B (zh) 一种目标检测方法及装置
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
Lin et al. Face parsing with roi tanh-warping
Xu et al. Joint head pose estimation and face alignment framework using global and local CNN features
CN106022221B (zh) 一种图像处理方法及处理系统
Guo et al. Image retargeting using mesh parametrization
CN108550176A (zh) 图像处理方法、设备及存储介质
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN109063742A (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
US20030146901A1 (en) Eye tracking using image data
CN109598234A (zh) 关键点检测方法和装置
CN112800903A (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
US9158963B2 (en) Fitting contours to features
US9202138B2 (en) Adjusting a contour by a shape model
CN109934196A (zh) 人脸姿态参数评估方法、装置、电子设备及可读存储介质
CN109299658A (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN113706564A (zh) 基于多种监督方式的睑板腺分割网络的训练方法及装置
CN109712128A (zh) 特征点检测方法、装置、计算机设备和存储介质
CN114648724B (zh) 一种基于生成对抗网络的轻量化高效目标分割与计数方法
CN110163864A (zh) 图像分割方法、装置、计算机设备和存储介质
US20240144623A1 (en) Modifying poses of two-dimensional humans in two-dimensional images by reposing three-dimensional human models representing the two-dimensional humans
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN113076918B (zh) 基于视频的人脸表情克隆方法
CN108876713B (zh) 二维模板图像的映射方法、装置、终端设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant