CN106295476A - 人脸关键点定位方法和装置 - Google Patents

人脸关键点定位方法和装置 Download PDF

Info

Publication number
CN106295476A
CN106295476A CN201510289727.0A CN201510289727A CN106295476A CN 106295476 A CN106295476 A CN 106295476A CN 201510289727 A CN201510289727 A CN 201510289727A CN 106295476 A CN106295476 A CN 106295476A
Authority
CN
China
Prior art keywords
face
key point
location
algorithm
positioning result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510289727.0A
Other languages
English (en)
Other versions
CN106295476B (zh
Inventor
汪铖杰
李季檩
黄飞跃
吴永坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510289727.0A priority Critical patent/CN106295476B/zh
Priority to PCT/CN2016/079602 priority patent/WO2016192477A1/zh
Publication of CN106295476A publication Critical patent/CN106295476A/zh
Priority to US15/438,371 priority patent/US10068128B2/en
Application granted granted Critical
Publication of CN106295476B publication Critical patent/CN106295476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种人脸关键点定位方法和装置，属于图像处理技术领域。所述方法包括：获取包含目标人脸的人脸图像，确定所述人脸图像中的所述目标人脸的人脸框；根据人脸框以及第一定位算法确定目标人脸中的n个关键点的位置；n≥3；从候选人脸中筛选出对应关键点的位置与目标人脸中的n个关键点的位置匹配的相似人脸；根据第二定位算法确定筛选出的相似人脸中的m个关键点的位置，m为正整数；解决了现有技术中终端获得的各个关键点的位置会存在较大偏差的问题；达到了可以提高定位得到的各个关键点的位置的准确率的效果。

Description

人脸关键点定位方法和装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种人脸关键点定位方法和装置。
背景技术
人脸关键点定位是人脸图像研究中的重要技术。该技术直接影响人脸识别、人脸属性识别(性别识别、姿态识别和年龄识别)和人脸美化等多种与人脸识别相关的图像处理技术。
现有的人脸关键点定位方法通常包括：通过人脸检测器确定人脸的人脸框，根据ESR(Explicit Shape Regressor，显示形状回归)定位算法以及人脸框对人脸进行定位，获得人脸中的各个关键点。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：该定位方法对人脸框的定位准确度依赖较大，也即当人脸框存在定位偏差时，终端获得的各个关键点的位置也会存在较大的偏差。
发明内容
为了解决现有技术中存在的问题，本发明实施例提供了一种人脸关键点定位方法和装置。所述技术方案如下：
第一方面，提供了一种人脸关键点定位方法，该方法包括：
获取包含目标人脸的人脸图像；
确定所述人脸图像中的所述目标人脸的人脸框；
根据所述人脸框以及第一定位算法确定所述目标人脸中的n个关键点的位置；n≥3；所述第一定位算法是在所述人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；
从候选人脸中筛选出对应关键点的位置与所述目标人脸中的n个关键点的位置匹配的相似人脸；
根据第二定位算法确定筛选出的所述相似人脸中的m个关键点的位置，m为正整数；所述第二定位算法是在所述人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在所述人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过所述第一偏差范围的定位算法；所述第一偏差范围包括所述第二偏差范围；
根据对所述相似人脸的定位结果确定对所述目标人脸的定位结果。
第二方面，提供了一种人脸关键点定位装置，该装置包括：
获取模块，用于获取包含目标人脸的人脸图像；
第一确定模块，用于确定所述获取模块获取到的所述人脸图像中的所述目标人脸的人脸框；
第二确定模块，用于根据所述第一确定模块确定的所述人脸框以及第一定位算法确定所述目标人脸中的n个关键点的位置；n≥3；所述第一定位算法是在所述人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；
人脸筛选模块，用于从候选人脸中筛选出对应关键点的位置与所述目标人脸中的n个关键点的位置匹配的相似人脸；
第三确定模块，用于根据第二定位算法确定筛选出的所述相似人脸中的m个关键点的位置，m为正整数；所述第二定位算法是在所述人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在所述人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过所述第一偏差范围的定位算法；所述第一偏差范围包括所述第二偏差范围；
定位结果确定模块，用于根据所述第三确定模块确定的对所述相似人脸的定位结果确定对所述目标人脸的定位结果。
本发明实施例提供的技术方案的有益效果是：
通过使用第一定位算法确定目标人脸中的n个关键点的位置，从候选人脸中筛选出对应关键点的位置与目标人脸中的n个关键点的位置匹配的相似人脸，然后通过第二定位算法确定筛选出的相似人脸中的m个关键点的位置，根据对相似人脸的定位结果确定对目标人脸的定位结果。其中，第一定位算法是在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；第二定位算法是在人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过第一偏差范围的定位算法；第一偏差范围包括第二偏差范围；解决了现有技术中终端获得的各个关键点的位置会存在较大偏差的问题；达到了可以提高定位得到的各个关键点的位置的准确率的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的终端的结构示意图；
图2是本发明一个实施例提供的人脸关键点定位方法的方法流程图；
图3A是本发明另一实施例提供的人脸关键点定位方法的方法流程图；
图3B是本发明另一实施例提供的通过第一定位算法定位得到的n个关键点的位置的示意图；
图3C是本发明另一实施例提供的人脸关键点定位方法中所涉及的第一偏差范围的示意图；
图3D是本发明另一实施例提供的筛选相似人脸时的示意图；
图4是本发明一个实施例提供的人脸关键点定位装置的结构方框图；
图5是本发明另一实施例提供的人脸关键点定位装置的结构方框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参考图1，其示出了本发明一个实施例提供的终端的结构示意图。该终端可以包括总线110、连接到总线110上的网络接口单元120、存储器130、输入单元140、处理器150和显示单元160。存储器130中存储有至少一种计算机应用程序，处理器150可以根据存储器130中存储的计算机应用程序执行相应操作。
处理器150用于从存储器130中获取包含目标人脸的人脸图像，或者通过网络接口单元120从其他终端中获取该包含目标人脸的人脸图像。
处理器150还用于确定人脸图像中的目标人脸的人脸框；根据人脸框以及第一定位算法确定目标人脸中的n个关键点的位置；n≥3；第一定位算法是在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；从候选人脸中筛选出对应关键点的位置与目标人脸中的n个关键点的位置匹配的相似人脸；据第二定位算法确定筛选出的相似人脸中的m个关键点的位置，m为正整数；第二定位算法是在人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过第一偏差范围的定位算法；第一偏差范围包括第二偏差范围；根据对相似人脸的定位结果确定对目标人脸的定位结果。
综上所述，本实施例提供的终端，通过使用第一定位算法确定目标人脸中的n个关键点的位置，从候选人脸中筛选出对应关键点的位置与目标人脸中的n个关键点的位置匹配的相似人脸，然后通过第二定位算法确定筛选出的相似人脸中的m个关键点的位置，根据对相似人脸的定位结果确定对目标人脸的定位结果。其中，第一定位算法是在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；第二定位算法是在人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过第一偏差范围的定位算法；第一偏差范围包括第二偏差范围；解决了现有技术中终端获得的各个关键点的位置会存在较大偏差的问题；达到了可以提高定位得到的各个关键点的位置的准确率的效果。
请参考图2，其示出了本发明一个实施例提供的人脸关键点定位方法的方法流程图。该人脸关键点定位方法包括：
步骤201，获取包含目标人脸的人脸图像。
步骤202，确定人脸图像中的目标人脸的人脸框。
步骤203，根据该人脸框以及第一定位算法确定该目标人脸中的n个关键点的位置。
n≥3；该第一定位算法是在该人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法。
步骤204，从候选人脸中筛选出对应关键点的位置与该目标人脸中的n个关键点的位置匹配的相似人脸。
步骤205，根据第二定位算法确定筛选出的该相似人脸中的m个关键点的位置。
m为正整数。该第二定位算法是在该人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在该人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过该第一偏差范围的定位算法；该第一偏差范围包括该第二偏差范围。
步骤206，根据对该相似人脸的定位结果确定对该目标人脸的定位结果。
本实施例中的各个关键点可以为人脸中的两个瞳孔、鼻尖、嘴角两侧、眉毛、眉心、双颊、下巴或者下颚，本实施例对此并不做限定。
综上所述，本实施例提供的人脸关键点定位方法，通过使用第一定位算法确定目标人脸中的n个关键点的位置，从候选人脸中筛选出对应关键点的位置与目标人脸中的n个关键点的位置匹配的相似人脸，然后通过第二定位算法确定筛选出的相似人脸中的m个关键点的位置，根据对相似人脸的定位结果确定对目标人脸的定位结果。其中，第一定位算法是在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；第二定位算法是在人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过第一偏差范围的定位算法；第一偏差范围包括第二偏差范围；解决了现有技术中终端获得的各个关键点的位置会存在较大偏差的问题；达到了可以提高定位得到的各个关键点的位置的准确率的效果。
请参考图3A，其示出了本发明另一实施例提供的人脸关键点定位方法的方法流程图。该人脸关键点定位方法包括：
步骤301，获取包含目标人脸的人脸图像。
当终端需要定位人脸图像中的目标人脸的各个关键点时，终端可以获取包含该目标人脸的人脸图像。
步骤302，确定人脸图像中的目标人脸的人脸框。
可选地，终端可以通过人脸检测器来确定目标人脸的人脸框。可选地，终端可以得到目标人脸的人脸框的坐标。
步骤303，根据该人脸框以及第一定位算法确定该目标人脸中的n个关键点的位置。
终端可以通过第一定位算法的定位模型匹配人脸框中的目标人脸中的n个关键点的位置。其中，n个关键点为定位模型中预先训练的各个关键点，且n≥3。
可选地，n个关键点可以包括人脸中的两个瞳孔、鼻尖以及两侧嘴角。并且，由于瞳孔和嘴角的定位准确度较高且定位的复杂度相对较小，所以为了提高终端的定位准确度以及降低终端的定位复杂度，n个关键点可以优先选择人脸中的两个瞳孔以及两侧嘴角。比如，当n为3时，3个关键点可以为两个瞳孔以及两侧嘴角中的一个嘴角。
可选地，为了提高第一定位算法定位得到的n个关键点的位置的准确性，该第一定位算法可以是在该人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法。
具体的，由于CNN(Convolutional Neural Network，卷积神经网络)算法在人脸框存在定位偏差时，仍然具有稳定的输出(也即CNN的定位结果的准确度在第一偏差范围内)，所以本实施例中的第一定位算法可以为CNN算法。类似的，第一定位算法还可以为ASM(Active Shape Model，主动形状模型)算法、AAM(Active Appearance Model，主动表观模型)算法或者SDM(SupervisedDescent Method)算法，本实施例对此并不做限定。
以第一定位算法为CNN算法，n为5为例，终端可以通过预先训练得到的CNN算法中的5点定位模型定位目标人脸中的对应的5个关键点的位置，结合图3B，终端可以定位得到图3B中A、B、C、D和E所示的5个关键点的位置。
可选地，第一偏差范围是指定位位置与实际位置之间的距离小于预设阈值的范围。比如，结合图3C，第一偏差范围可以为图中所示的眼周的范围31。
需要说明的是，第一定位算法的定位模型可以为预先训练的模型。该定位模型的训练步骤可以包括：终端获取多个训练人脸以及每个训练人脸中手工标定的各个关键点(如人脸中的两个瞳孔、鼻尖和两侧嘴角)的坐标，根据训练人脸以及每个关键点的坐标确定n个关键点的定位模型。
步骤304，从候选人脸中筛选出对应关键点的位置与该目标人脸中的n个关键点的位置匹配的相似人脸。
可选地，终端可以从各个人脸模型中选择出J个候选人脸，然后再从J个候选人脸中筛选出对应关键点的位置与该目标人脸中的n个关键点的位置匹配的相似人脸。
可选地，本步骤可以包括：
第一，对于每个候选人脸，将该目标人脸中的n个关键点中的i个关键点的位置与该候选人脸中的对应关键点的位置对齐；其中，每个候选人脸中标注有该n个关键点中的每个关键点的位置；i<n。
以候选人脸有2j个且i为2为例，终端可以将目标人脸中的2个关键点的位置与每个候选人脸中的对应关键点的位置重合。可选地，当目标人脸中的2个关键点的位置不能与候选人脸中的对应关键点的位置直接重合时，终端还可以先对候选人脸做平移、缩放或者旋转等操作使得其重合。
可选地，终端可以将目标人脸中的两个瞳孔的位置与候选人脸中的两个瞳孔的位置重合。
第二，计算该n个关键点中的剩余关键点与该候选人脸中的对应关键点的位置之间的距离。
在经过上述对齐之后，终端可以计算目标人脸中的n个关键点中剩余的关键点与候选人脸中的对应关键点之间的距离。
可选地，当剩余关键点有至少两个时，终端可以计算至少两个剩余关键点中的每个关键点与候选人脸中的对应关键点之间的距离，或者，计算至少两个剩余关键点中的一个剩余关键点与候选人脸中的对应关键点之间的距离。
比如，以终端计算其中一个剩余的关键点与候选人脸中的对应关键点之间的距离为例，请参考图3D，终端将目标人脸中的瞳孔与候选人脸中的瞳孔重合之后，终端可以计算目标人脸中的右侧嘴角的位置与候选人脸中的右侧嘴角D’的位置之间的距离d。
第三，选择各个候选人脸中符合第一条件的相似人脸；该第一条件包括该距离小于第一阈值，或者，按照距离由大到小的顺序排名之后排名在后N位，或者，按照距离由小到大的顺序排名之后排名在前N位。
之后，终端可以选择2j个候选人脸中符合第一条件的相似人脸。
具体的，由于终端计算得到的距离越小，说明对应的候选人脸与目标人脸的相似度越高，所以，终端可以选择2j个候选人脸中计算得到的距离小于第一阈值的候选人脸。
类似的，终端还可以按照计算得到的距离由大到小的顺序进行排名，选择排名在后N位的候选人脸。或者，终端按照计算得到的距离由小到大的顺序进行排名，选择排名在前N位的候选人脸。其中，N为正整数。
在终端选择得到候选人脸之后，终端可以将选择得到的人脸确定为目标人脸的相似人脸。
需要补充说明的是，本实施例中的候选人脸为终端预先训练得到的人脸。该候选人脸的训练步骤可以包括：终端根据各个训练人脸中手工标注的各个关键点的坐标初始化各个训练人脸的脸型；通过第一定位算法的定位模型确定训练人脸中的n个关键点的位置；然后将定位得到的n个关键点中的至少两个关键点的位置与训练人脸中手工标注的对应关键点的位置对齐，选择其中符合第一条件的人脸，将选择得到的人脸作为候选人脸。其中，终端将关键点进行对齐以及选择人脸时的实现方式与本步骤中的选择相似人脸的步骤类似，本实施例在此不再赘述。
步骤305，根据第二定位算法确定筛选出的该相似人脸中的m个关键点的位置。
此后，终端可以通过第二定位算法对筛选得到的相似人脸进行m个关键点的定位，得到对相似人脸的m个关键点的定位结果。m为正整数。可选地，终端可以通过第二定位算法的定位模型匹配相似人脸中的m个关键点的位置。
可选地，该第二定位算法是在该人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在该人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过该第一偏差范围的定位算法；该第一偏差范围包括该第二偏差范围。
具体的，由于ESR算法能够利用局部特征点实现关键点的精细定位，且该算法对关键点相对位置的隐式约束实现在光照变化、面部局部遮挡等难度较大的场景下仍然能精细定位；且该算法对人脸检测器确定的人脸框的准确度以及目标人脸所处的姿态的依赖性较大，也即当人脸框的位置出现偏差时或者目标人脸所处的姿态与预先训练的候选人脸的姿态相差较大时，终端通过ESR算法定位得到的各个关键点的位置也会有较大误差，所以本实施例中的第二定位算法可以为ESR算法。类似的，第二定位算法还可以为ESR算法、CNN算法或者SDM算法。
可选地，由于ESR算法能够灵活的改变所需定位的关键点的个数，所以本实施例在综合考虑定位精度以及灵活性之后，通常选择ESR算法作为第二定位算法。
需要补充说明的一点是，本实施例只是以第一偏差范围包括第二偏差范围为例，可选地，若第一定位算法的定位复杂度随着所需定位的关键点的个数的增多而增大，则综合定位精度以及定位复杂度两者来考虑，第二偏差范围还可以大于第一偏差范围，也即舍弃一定的定位精度来降低算法的定位复杂度以及灵活性。
需要补充说明的另一点是，第二定位算法的定位模型可以为预先训练的模型。该模型的训练步骤可以包括：终端获取训练人脸以及训练人脸中手工标注的各个关键点(通常为后续所需定位的关键点的个数m)的坐标，根据训练人脸以及训练人脸中的各个关键点的坐标训练得到第二定位算法的定位模型。
步骤306，根据预设评估算法以及该目标人脸对该定位结果分别进行评分。
该评分与该定位结果和该目标人脸之间的误差呈负相关关系。
可选地，终端可以通过预设评估算法中的评分模型对相似人脸的定位结果进行评分。其中，预设评估算法可以为ListNet(序列网络)。
需要补充说明的是，预设评估算法中的评分模型可以为终端预先训练得到的模型。该评分模型的训练步骤可以包括：终端通过第二定位算法的定位模型确定训练人脸中的m个关键点的位置；计算确定得到的m个关键点的位置以及该训练人脸中手工标注的m个关键点的位置的偏差；根据计算得到的偏差对确定的m个关键点的位置进行评分；根据评分结果以及对应的m个关键点的定位结果得到评分模型。其中，偏差越大，评分越低。可选地，当第二定位算法为具有随机性的算法(该定位算法对同一人脸做多次定位时，每次定位得到的m个关键点的位置有所偏差)时，对于每个训练人脸，终端还可以通过该第二定位算法的定位模型多次确定该训练人脸的m个关键点的位置，然后根据每次的定位结果以及该训练人脸中手工标注的m个关键点的位置，计算平均平方误差根；对平均平方误差根做归一化处理(计算得到的平均平方误差除以瞳距，做截断处理，也即0-10范围内的值保持不变，大于10的值记为10)；之后根据归一化结果进行评分(归一化结果越大，评分越低)。
步骤307，选择该定位结果中符合第二条件的定位结果。
由于对定位结果的评分越高，说明该定位结果的定位准确度越高，所以终端可以选择定位结果中符合第二条件的定位结果。其中，该第二条件包括评分低于第二阈值，或者，按照评分由大到小的顺序排名后排名在前M位，或者，按照评分由小到大的顺序排名后排名在后M位。
而如果定位结果中不存在符合第二条件的定位结果时，终端可以选择其它定位结果，本实施例对此并不做限定。
步骤308，根据对该相似人脸的定位结果确定对该目标人脸的定位结果。
可选地，本步骤可以包括如下两种可能的实现方式：
第一种，当该定位结果有一个，则将对该相似人脸的定位结果确定为对该目标人脸的定位结果。
第二种，若该定位结果有至少两个，则根据该至少两个定位结果中的各个关键点的位置，计算每个关键点的至少两个位置的中心位置；将计算得到的中心位置确定为该关键点的目标位置；将该各个关键点的目标位置所构成的定位结果确定为对该目标人脸的定位结果。
具体的，如果定位结果有至少两个，则终端可以确定各个关键点在至少两个定位结果中的位置，然后将确定的至少两个位置的中心位置作为该关键点的目标位置；此后，将各个目标位置过构成的定位结果确定为目标人脸的定位结果。
其中，当定位结果有两个时，终端可以将每个关键点在两个定位结果中的两个位置的中心点作为目标位置；而当定位结果有至少三个时，终端可以将每个关键点在至少两个定位结果中的至少两个位置的重心位置作为目标位置，本实施例对此并不做限定。
此外，本实施例只是以通过上述确定方法确定定位结果为例，可选地，在步骤307中，终端还可以直接选择评分最高的定位结果作为对目标人脸的定位结果，本实施例对此并不做限定。
需要补充说明的是，本实施例中在训练过程中使用的训练人脸可以为相同的训练人脸样本，也可以为不同的训练人脸样本，本实施例对此并不做限定。
综上所述，本实施例提供的人脸关键点定位方法，通过使用第一定位算法确定目标人脸中的n个关键点的位置，从候选人脸中筛选出对应关键点的位置与目标人脸中的n个关键点的位置匹配的相似人脸，然后通过第二定位算法确定筛选出的相似人脸中的m个关键点的位置，根据对相似人脸的定位结果确定对目标人脸的定位结果。其中，第一定位算法是在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；第二定位算法是在人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过第一偏差范围的定位算法；第一偏差范围包括第二偏差范围；解决了现有技术中终端获得的各个关键点的位置会存在较大偏差的问题；达到了可以提高定位得到的各个关键点的位置的准确率的效果。
本实施例通过使用第一定位算法进行初步定位，然后使用第二定位算法进行再次定位，使得在初步定位保证一定定位准确度的前提下，第二定位算法定位得到的各个关键点的位置也具备一定的准确度。
第一定位算法虽然在人脸框定位出现偏差时仍然具备一定的定位精度，但是其定位复杂度通常情况下回随着所需定位的关键点的个数的增多而变大；而第二定位算法虽然在人脸框定位准确时具有较好的定位精度，且在人脸框定位出现偏差时，定位误差较大；但是其所能定位的关键点的个数能够随意调整；所以本实施例通结合过使用第一定位算法和第二定位算法来进行定位，即保证了一定的定位精度，也保证了该定位方法能够灵活调整需要定位的关键点的个数，提高了上述人脸关键点定位方法的灵活性。
此外，当第一定位算法或者第二定位算法为具有随机性的算法时，终端在训练定位算法的定位模型时，终端可以对选择少量的训练人脸，然后通过对同一个训练人脸进行多次定位的方式进行训练，减少了训练过程中对训练样本的数量的要求，降低了人工标注训练人脸中的各个关键点的复杂度，节约了训练人员的人力成本。
本实施例通过对相似人脸的定位结果进行评分，进而选择定位结果中符合第二条件的定位结果，根据选择得到的定位结果确定对目标人脸的定位结果，进一步提高了对目标人脸中的各个关键点的定位精度。
请参考图4，其示出了本发明一个实施例提供的人脸关键点定位装置的结构方框图。该人脸关键点定位装置可以包括：获取模块410、第一确定模块420、第二确定模块430、人脸筛选模块440、第三确定模块450和定位结果确定模块460。
获取模块410，用于获取包含目标人脸的人脸图像；
第一确定模块420，用于确定该获取模块410获取到的人脸图像中的目标人脸的人脸框；
第二确定模块430，用于根据该第一确定模块420确定的该人脸框以及第一定位算法确定该目标人脸中的n个关键点的位置；n≥3；该第一定位算法是在该人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；
人脸筛选模块440，用于从候选人脸中筛选出对应关键点的位置与该目标人脸中的n个关键点的位置匹配的相似人脸；
第三确定模块450，用于根据第二定位算法确定筛选出的该相似人脸中的m个关键点的位置，m为正整数；该第二定位算法是在该人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在该人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过该第一偏差范围的定位算法；该第一偏差范围包括该第二偏差范围；
定位结果确定模块460，用于根据该第三确定模块450确定的对该相似人脸的定位结果确定对该目标人脸的定位结果。
综上所述，本实施例提供的人脸关键点定位装置，通过使用第一定位算法确定目标人脸中的n个关键点的位置，从候选人脸中筛选出对应关键点的位置与目标人脸中的n个关键点的位置匹配的相似人脸，然后通过第二定位算法确定筛选出的相似人脸中的m个关键点的位置，根据对相似人脸的定位结果确定对目标人脸的定位结果。其中，第一定位算法是在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；第二定位算法是在人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过第一偏差范围的定位算法；第一偏差范围包括第二偏差范围；解决了现有技术中终端获得的各个关键点的位置会存在较大偏差的问题；达到了可以提高定位得到的各个关键点的位置的准确率的效果。
请参考图5，其示出了本发明一个实施例提供的人脸关键点定位装置的结构方框图。该人脸关键点定位装置可以包括：获取模块510、第一确定模块520、第二确定模块530、人脸筛选模块540、第三确定模块550和定位结果确定模块560。
获取模块510，用于获取包含目标人脸的人脸图像；
第一确定模块520，用于确定获取模块510获取到的人脸图像中的目标人脸的人脸框；
第二确定模块530，用于根据该第一确定模块520确定的该人脸框以及第一定位算法确定该目标人脸中的n个关键点的位置；n≥3；该第一定位算法是在该人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；
人脸筛选模块540，用于从候选人脸中筛选出对应关键点的位置与该目标人脸中的n个关键点的位置匹配的相似人脸；
第三确定模块550，用于根据第二定位算法确定筛选出的该相似人脸中的m个关键点的位置，m为正整数；该第二定位算法是在该人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在该人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过该第一偏差范围的定位算法；该第一偏差范围包括该第二偏差范围；
定位结果确定模块560，用于根据该第三确定模块550确定的对该相似人脸的定位结果确定对该目标人脸的定位结果。
可选地，该人脸筛选模块540，包括：
位置对齐单元541，用于对于每个候选人脸，将该目标人脸中的n个关键点中的i个关键点的位置与该候选人脸中的对应关键点的位置对齐；其中，每个候选人脸中标注有该n个关键点中的每个关键点的位置；i<n；
距离计算单元542，用于计算该n个关键点中的剩余关键点与该候选人脸中的对应关键点的位置之间的距离；
人脸选择单元543，用于选择各个候选人脸中符合第一条件的相似人脸；该第一条件包括该距离小于第一阈值，或者，按照距离由大到小的顺序排名之后排名在后N位，或者，按照距离由小到大的顺序排名之后排名在前N位。
可选地，该定位结果确定模块560，包括：
第一确定单元561，用于在该定位结果有一个时，将对该相似人脸的定位结果确定为对该目标人脸的定位结果；
第二确定单元562，用于在该定位结果有至少两个时，根据该至少两个定位结果中的各个关键点的位置，计算每个关键点的至少两个位置的中心位置；将计算得到的中心位置确定为该关键点的目标位置；将该各个关键点的目标位置所构成的定位结果确定为对该目标人脸的定位结果。
可选地，该装置还包括：
评分模块570，用于根据预设评估算法以及该目标人脸对该定位结果分别进行评分；该评分与该定位结果和该目标人脸之间的误差呈负相关关系；
定位结果选择模块580，用于选择该定位结果中符合第二条件的定位结果，该第二条件包括评分低于第二阈值，或者，按照评分由大到小的顺序排名后排名在前M位，或者，按照评分由小到大的顺序排名后排名在后M位。
可选地，第一定位算法为CNN算法、ASM算法、AAM算法或者SDM算法；
第二定位算法为ESR算法、CNN算法或者SDM算法。
综上所述，本实施例提供的人脸关键点定位装置，通过使用第一定位算法确定目标人脸中的n个关键点的位置，从候选人脸中筛选出对应关键点的位置与目标人脸中的n个关键点的位置匹配的相似人脸，然后通过第二定位算法确定筛选出的相似人脸中的m个关键点的位置，根据对相似人脸的定位结果确定对目标人脸的定位结果。其中，第一定位算法是在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；第二定位算法是在人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过第一偏差范围的定位算法；第一偏差范围包括第二偏差范围；解决了现有技术中终端获得的各个关键点的位置会存在较大偏差的问题；达到了可以提高定位得到的各个关键点的位置的准确率的效果。
本实施例通过使用第一定位算法进行初步定位，然后使用第二定位算法进行再次定位，使得在初步定位保证一定定位准确度的前提下，第二定位算法定位得到的各个关键点的位置也具备一定的准确度。
第一定位算法虽然在人脸框定位出现偏差时仍然具备一定的定位精度，但是其定位复杂度通常情况下回随着所需定位的关键点的个数的增多而变大；而第二定位算法虽然在人脸框定位准确时具有较好的定位精度，且在人脸框定位出现偏差时，定位误差较大；但是其所能定位的关键点的个数能够随意调整；所以本实施例通结合过使用第一定位算法和第二定位算法来进行定位，即保证了一定的定位精度，也保证了该定位方法能够灵活调整需要定位的关键点的个数，提高了上述人脸关键点定位方法的灵活性。
此外，当第一定位算法或者第二定位算法为具有随机性的算法时，终端在训练定位算法的定位模型时，终端可以对选择少量的训练人脸，然后通过对同一个训练人脸进行多次定位的方式进行训练，减少了训练过程中对训练样本的数量的要求，降低了人工标注训练人脸中的各个关键点的复杂度，节约了训练人员的人力成本。
本实施例通过对相似人脸的定位结果进行评分，进而选择定位结果中符合第二条件的定位结果，根据选择得到的定位结果确定对目标人脸的定位结果，进一步提高了对目标人脸中的各个关键点的定位精度。
需要说明的是：上述实施例提供的人脸关键点定位装置在进行人脸关键点定位时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸关键点定位装置与人脸关键点定位方法的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸关键点定位方法，其特征在于，所述方法包括：
获取包含目标人脸的人脸图像；
确定所述人脸图像中的所述目标人脸的人脸框；
根据所述人脸框以及第一定位算法确定所述目标人脸中的n个关键点的位置；n≥3；所述第一定位算法是在所述人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；
从候选人脸中筛选出对应关键点的位置与所述目标人脸中的n个关键点的位置匹配的相似人脸；
根据第二定位算法确定筛选出的所述相似人脸中的m个关键点的位置，m为正整数；所述第二定位算法是在所述人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在所述人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过所述第一偏差范围的定位算法；所述第一偏差范围包括所述第二偏差范围；
根据对所述相似人脸的定位结果确定对所述目标人脸的定位结果。
2.根据权利要求1所述的方法，其特征在于，所述从候选人脸中筛选出对应关键点的位置与所述目标人脸中的n个关键点的位置匹配的相似人脸，包括：
对于每个候选人脸，将所述目标人脸中的n个关键点中的i个关键点的位置与所述候选人脸中的对应关键点的位置对齐；其中，每个候选人脸中标注有所述n个关键点中的每个关键点的位置；i<n；
计算所述n个关键点中的剩余关键点与所述候选人脸中的对应关键点的位置之间的距离；
选择各个候选人脸中符合第一条件的相似人脸；所述第一条件包括所述距离小于第一阈值，或者，按照距离由大到小的顺序排名之后排名在后N位，或者，按照距离由小到大的顺序排名之后排名在前N位。
3.根据权利要求1所述的方法，其特征在于，所述根据对所述相似人脸的定位结果确定对所述目标人脸的定位结果，包括：
若所述定位结果有一个，则将对所述相似人脸的定位结果确定为对所述目标人脸的定位结果；
若所述定位结果有至少两个，则根据所述至少两个定位结果中的各个关键点的位置，计算每个关键点的至少两个位置的中心位置；将计算得到的中心位置确定为所述关键点的目标位置；将所述各个关键点的目标位置所构成的定位结果确定为对所述目标人脸的定位结果。
4.根据权利要求1至3任一所述的方法，其特征在于，所述根据对所述相似人脸的定位结果确定对所述目标人脸的定位结果之前，所述方法还包括：
根据预设评估算法以及所述目标人脸对所述定位结果进行评分；所述评分与所述定位结果和所述目标人脸之间的误差呈负相关关系；
选择所述定位结果中符合第二条件的定位结果，所述第二条件包括评分低于第二阈值，或者，按照评分由大到小的顺序排名后排名在前M位，或者，按照评分由小到大的顺序排名后排名在后M位。
5.根据权利要求1至3任一所述的方法，其特征在于，
所述第一定位算法为卷积神经网络CNN算法、主动形状模型ASM算法、主动表观模型AAM算法或者SDM算法；
所述第二定位算法为显示形状回归ESR算法、CNN算法或者SDM算法。
6.一种人脸关键点定位装置，其特征在于，所述装置包括：
获取模块，用于获取包含目标人脸的人脸图像；
第一确定模块，用于确定所述获取模块获取到的所述人脸图像中的所述目标人脸的人脸框；
第二确定模块，用于根据所述第一确定模块确定的所述人脸框以及第一定位算法确定所述目标人脸中的n个关键点的位置；n≥3；所述第一定位算法是在所述人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差在第一偏差范围内的定位算法；
人脸筛选模块，用于从候选人脸中筛选出对应关键点的位置与所述目标人脸中的n个关键点的位置匹配的相似人脸；
第三确定模块，用于根据第二定位算法确定筛选出的所述相似人脸中的m个关键点的位置，m为正整数；所述第二定位算法是在所述人脸框定位准确时，得到的各个关键点的定位位置与实际位置的偏差在第二偏差范围内，而在所述人脸框存在定位偏差时，得到的各个关键点的定位位置与实际位置的偏差超过所述第一偏差范围的定位算法；所述第一偏差范围包括所述第二偏差范围；
定位结果确定模块，用于根据所述第三确定模块确定的对所述相似人脸的定位结果确定对所述目标人脸的定位结果。
7.根据权利要求6所述的装置，其特征在于，所述人脸筛选模块，包括：
位置对齐单元，用于对于每个候选人脸，将所述目标人脸中的n个关键点中的i个关键点的位置与所述候选人脸中的对应关键点的位置对齐；其中，每个候选人脸中标注有所述n个关键点中的每个关键点的位置；i<n；
距离计算单元，用于计算所述n个关键点中的剩余关键点与所述候选人脸中的对应关键点的位置之间的距离；
人脸选择单元，用于选择各个候选人脸中符合第一条件的相似人脸；所述第一条件包括所述距离小于第一阈值，或者，按照距离由大到小的顺序排名之后排名在后N位，或者，按照距离由小到大的顺序排名之后排名在前N位。
8.根据权利要求6所述的装置，其特征在于，所述定位结果确定模块，包括：
第一确定单元，用于在所述定位结果有一个时，将对所述相似人脸的定位结果确定为对所述目标人脸的定位结果；
第二确定单元，用于在所述定位结果有至少两个时，根据所述至少两个定位结果中的各个关键点的位置，计算每个关键点的至少两个位置的中心位置；将计算得到的中心位置确定为所述关键点的目标位置；将所述各个关键点的目标位置所构成的定位结果确定为对所述目标人脸的定位结果。
9.根据权利要求6至8任一所述的装置，其特征在于，所述装置还包括：
评分模块，用于根据预设评估算法以及所述目标人脸对所述定位结果分别进行评分；所述评分与所述定位结果和所述目标人脸之间的误差呈负相关关系；
定位结果选择模块，用于选择所述定位结果中符合第二条件的定位结果，所述第二条件包括评分低于第二阈值，或者，按照评分由大到小的顺序排名后排名在前M位，或者，按照评分由小到大的顺序排名后排名在后M位。
10.根据权利要求6至8任一所述的装置，其特征在于，
所述第一定位算法为卷积神经网络CNN算法、主动形状模型ASM算法、主动表观模型AAM算法或者SDM算法；
所述第二定位算法为显示形状回归ESR算法、CNN算法或者SDM算法。
CN201510289727.0A 2015-05-29 2015-05-29 人脸关键点定位方法和装置 Active CN106295476B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510289727.0A CN106295476B (zh) 2015-05-29 2015-05-29 人脸关键点定位方法和装置
PCT/CN2016/079602 WO2016192477A1 (zh) 2015-05-29 2016-04-18 人脸关键点定位方法和终端
US15/438,371 US10068128B2 (en) 2015-05-29 2017-02-21 Face key point positioning method and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510289727.0A CN106295476B (zh) 2015-05-29 2015-05-29 人脸关键点定位方法和装置

Publications (2)

Publication Number Publication Date
CN106295476A true CN106295476A (zh) 2017-01-04
CN106295476B CN106295476B (zh) 2019-05-17

Family

ID=57440168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510289727.0A Active CN106295476B (zh) 2015-05-29 2015-05-29 人脸关键点定位方法和装置

Country Status (3)

Country Link
US (1) US10068128B2 (zh)
CN (1) CN106295476B (zh)
WO (1) WO2016192477A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874868A (zh) * 2017-02-14 2017-06-20 北京飞搜科技有限公司 一种基于三级卷积神经网络的人脸检测方法及系统
CN106980845A (zh) * 2017-04-24 2017-07-25 西安电子科技大学 基于结构化建模的人脸关键点定位方法
CN107766851A (zh) * 2017-12-06 2018-03-06 北京搜狐新媒体信息技术有限公司 一种人脸关键点定位方法及定位装置
CN108597074A (zh) * 2018-04-12 2018-09-28 广东汇泰龙科技有限公司 一种基于人脸配准算法和人脸锁的开门方法及系统
CN109558864A (zh) * 2019-01-16 2019-04-02 苏州科达科技股份有限公司 人脸关键点检测方法、装置及存储介质
CN110287955A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标区域确定模型训练方法、装置和计算机可读存储介质
CN110659596A (zh) * 2019-09-11 2020-01-07 高新兴科技集团股份有限公司 案管场景下人脸关键点定位方法、计算机存储介质及设备
CN110826421A (zh) * 2019-10-18 2020-02-21 易视腾科技股份有限公司 过滤困难姿态人脸的方法及装置
CN112565806A (zh) * 2020-12-02 2021-03-26 广州繁星互娱信息科技有限公司 虚拟礼物赠送方法、装置、计算机设备及介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874826A (zh) * 2015-12-11 2017-06-20 腾讯科技（深圳）有限公司 人脸关键点跟踪方法和装置
JP6727543B2 (ja) * 2016-04-01 2020-07-22 富士ゼロックス株式会社 画像パターン認識装置及びプログラム
CN107818253B (zh) * 2017-10-18 2020-07-17 Oppo广东移动通信有限公司 人脸模板数据录入控制方法及相关产品
CN108229532B (zh) * 2017-10-30 2021-02-12 北京市商汤科技开发有限公司 图像识别方法、装置和电子设备
CN107784678B (zh) * 2017-11-08 2021-11-12 北京奇虎科技有限公司 卡通人脸图像的生成方法、装置和终端
CN109359575B (zh) * 2018-09-30 2022-05-10 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
CN109858402B (zh) * 2019-01-16 2021-08-31 腾讯科技（深圳）有限公司 一种图像检测方法、装置、终端以及存储介质
CN111563397B (zh) * 2019-02-13 2023-04-18 阿里巴巴集团控股有限公司 检测方法、装置、智能设备及计算机存储介质
CN111797656B (zh) * 2019-04-09 2023-08-22 Oppo广东移动通信有限公司 人脸关键点检测方法、装置、存储介质及电子设备
CN110009059B (zh) * 2019-04-16 2022-03-29 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110188769B (zh) * 2019-05-14 2023-09-05 广州虎牙信息科技有限公司 关键点标注的审核方法、装置、设备及存储介质
CN110533775B (zh) * 2019-09-18 2023-04-18 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
CN111985323B (zh) * 2020-07-14 2021-10-22 珠海市卓轩科技有限公司 基于深度卷积神经网络的人脸识别方法及系统
CN112826446A (zh) * 2020-12-30 2021-05-25 上海联影医疗科技股份有限公司 一种医学扫描语音增强方法、装置、系统及存储介质
CN112949492A (zh) * 2021-03-03 2021-06-11 南京视察者智能科技有限公司 一种人脸检测和关键点检测的模型串联训练方法、装置及终端设备
US11922291B2 (en) * 2021-09-28 2024-03-05 Robert Bosch Gmbh Image processing via isotonic convolutional neural networks
CN115984461A (zh) * 2022-12-12 2023-04-18 广州紫为云科技有限公司 一种基于rgbd相机的人脸三维关键点检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN104361358A (zh) * 2014-11-21 2015-02-18 江苏刻维科技信息有限公司 一种自动化人脸五官与面部轮廓辨识方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0607143D0 (en) * 2006-04-08 2006-05-17 Univ Manchester Method of locating features of an object
JP5202037B2 (ja) * 2008-02-29 2013-06-05 キヤノン株式会社 特徴点位置決定方法及び装置
CN101877055A (zh) * 2009-12-07 2010-11-03 北京中星微电子有限公司 一种关键特征点定位的方法和装置
CN102262724B (zh) * 2010-05-31 2013-01-09 汉王科技股份有限公司 目标图像特征点定位方法和目标图像特征点定位系统
CN103824087A (zh) * 2012-11-16 2014-05-28 广州三星通信技术研究有限公司 人脸特征点的检测定位方法以及系统
CN104598936B (zh) * 2015-02-28 2018-07-27 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN104361358A (zh) * 2014-11-21 2015-02-18 江苏刻维科技信息有限公司 一种自动化人脸五官与面部轮廓辨识方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874868A (zh) * 2017-02-14 2017-06-20 北京飞搜科技有限公司 一种基于三级卷积神经网络的人脸检测方法及系统
CN106874868B (zh) * 2017-02-14 2020-09-18 北京飞搜科技有限公司 一种基于三级卷积神经网络的人脸检测方法及系统
CN106980845A (zh) * 2017-04-24 2017-07-25 西安电子科技大学 基于结构化建模的人脸关键点定位方法
CN107766851A (zh) * 2017-12-06 2018-03-06 北京搜狐新媒体信息技术有限公司 一种人脸关键点定位方法及定位装置
CN108597074A (zh) * 2018-04-12 2018-09-28 广东汇泰龙科技有限公司 一种基于人脸配准算法和人脸锁的开门方法及系统
CN109558864A (zh) * 2019-01-16 2019-04-02 苏州科达科技股份有限公司 人脸关键点检测方法、装置及存储介质
CN110287955A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标区域确定模型训练方法、装置和计算机可读存储介质
CN110659596A (zh) * 2019-09-11 2020-01-07 高新兴科技集团股份有限公司 案管场景下人脸关键点定位方法、计算机存储介质及设备
CN110826421A (zh) * 2019-10-18 2020-02-21 易视腾科技股份有限公司 过滤困难姿态人脸的方法及装置
CN110826421B (zh) * 2019-10-18 2023-09-05 易视腾科技股份有限公司 过滤困难姿态人脸的方法及装置
CN112565806A (zh) * 2020-12-02 2021-03-26 广州繁星互娱信息科技有限公司 虚拟礼物赠送方法、装置、计算机设备及介质
CN112565806B (zh) * 2020-12-02 2023-08-29 广州繁星互娱信息科技有限公司 虚拟礼物赠送方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
US10068128B2 (en) 2018-09-04
US20170161551A1 (en) 2017-06-08
WO2016192477A1 (zh) 2016-12-08
CN106295476B (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN106295476A (zh) 人脸关键点定位方法和装置
CN108701216B (zh) 一种人脸脸型识别方法、装置和智能终端
CN104143079B (zh) 人脸属性识别的方法和系统
CN106875422B (zh) 人脸跟踪方法和装置
CN108388876A (zh) 一种图像识别方法、装置以及相关设备
CN104239858B (zh) 一种人脸特征验证的方法和装置
CN108256433A (zh) 一种运动姿态评估方法及系统
CN110443189A (zh) 基于多任务多标签学习卷积神经网络的人脸属性识别方法
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
CN109343700B (zh) 眼动控制校准数据获取方法和装置
CN102013011B (zh) 基于正脸补偿算子的多姿态人脸识别方法
CN103761508A (zh) 一种融合人脸和手势的生物识别方法和系统
CN109815826A (zh) 人脸属性模型的生成方法及装置
CN109214298B (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
CN111931585A (zh) 一种课堂专注度的检测方法及装置
WO2020042541A1 (zh) 眼球追踪交互方法和装置
CN108717663A (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
CN110956071B (zh) 眼部关键点的标注及其检测模型的训练方法和装置
CN109584153A (zh) 修饰眼部的方法、装置和系统
CN109858410A (zh) 基于表情分析的服务评价方法、装置、设备及存储介质
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
CN109993021A (zh) 人脸正脸检测方法、装置及电子设备
CN108596256A (zh) 一种基于rgb-d物体识别分类器构造方法
CN105096304B (zh) 一种图像特征的估计方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230625

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.