CN111709288A - 人脸关键点检测方法、装置以及电子设备 - Google Patents

人脸关键点检测方法、装置以及电子设备 Download PDF

Info

Publication number
CN111709288A
CN111709288A CN202010415188.1A CN202010415188A CN111709288A CN 111709288 A CN111709288 A CN 111709288A CN 202010415188 A CN202010415188 A CN 202010415188A CN 111709288 A CN111709288 A CN 111709288A
Authority
CN
China
Prior art keywords
key point
face
information
detected
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010415188.1A
Other languages
English (en)
Other versions
CN111709288B (zh
Inventor
郭汉奇
洪智滨
康洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010415188.1A priority Critical patent/CN111709288B/zh
Priority to JP2022539761A priority patent/JP7270114B2/ja
Priority to KR1020227026080A priority patent/KR20220113830A/ko
Priority to PCT/CN2020/116994 priority patent/WO2021227333A1/zh
Priority to US17/925,380 priority patent/US20230196825A1/en
Publication of CN111709288A publication Critical patent/CN111709288A/zh
Application granted granted Critical
Publication of CN111709288B publication Critical patent/CN111709288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了人脸关键点检测方法、装置以及电子设备，涉及计算机视觉技术领域。具体实现方案为：获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息；获取模板人脸图像的模板关键点信息；结合检测关键点信息以及模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系；根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息，其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点。由此，无需通过额外的人工标注，即可准确识别出待检测人脸图像中未遮挡区域的目标关键点信息，节约了成本，且耗时短。

Description

人脸关键点检测方法、装置以及电子设备
技术领域
本申请涉及图像处理技术领域，具体涉及计算机视觉技术领域，尤其涉及人脸关键点检测方法、装置以及电子设备。
背景技术
随着深度学习技术的发展和计算机运算能力的飞速提升，人工智能、计算机视觉和图像处理等领域发展迅猛，其中，人脸识别技术作为计算机视觉领域的经典课题，具有很大的可研究性和应用价值。人脸识别技术可以检测出人脸图像中各人脸关键点，比如眼睛、嘴巴分别对应的关键点，进而根据检测出的各人脸关键点进行人脸识别。目前的人脸关键点检测技术通常通过建立深度神经网络模型，通过深度神经网络学习模型学习人脸关键点分布统计特征来实现对任意人脸图像的关键点检测功能，但是在人脸一部分被遮挡时，人脸关键点分布统计特征会被干扰甚至破坏，导致无法准确检测人脸关键点。
相关技术中，通常通过监督学习类方法检测包含被遮挡人脸的图像中的人脸关键点，该方式通过在训练集中增加被遮挡关键点是否被遮挡的额外标注，使检测算法能够识别各关键点是否被遮挡，进而有效的识别出被遮挡关键点，但是这种方式需要进行额外的人工标注，成本高，且耗时长，准确性差。
发明内容
提供了一种人脸关键点检测方法、装置、电子设备以及存储介质。
根据第一方面，提供了一种人脸关键点检测方法，包括：获取待检测人脸图像，并提取所述待检测人脸图像的检测关键点信息；获取模板人脸图像的模板关键点信息；结合所述检测关键点信息以及所述模板关键点信息，确定所述待检测人脸图像与所述模板人脸图像之间的人脸关键点映射关系；根据所述人脸关键点映射关系和所述模板关键点信息对所述检测关键点信息进行筛选以生成所述待检测人脸图像的目标关键点信息，其中，所述目标关键点信息中的目标人脸关键点，为所述待检测人脸图像中未遮挡区域的人脸关键点。
根据第二方面，提供了一种人脸关键点检测装置，包括：第一获取模块，用于获取待检测人脸图像；提取模块，用于提取所述待检测人脸图像的检测关键点信息；第二获取模块，用于获取模板人脸图像的模板关键点信息；确定模块，用于结合所述检测关键点信息以及所述模板关键点信息，确定所述待检测人脸图像与所述模板人脸图像之间的人脸关键点映射关系；处理模块，用于根据所述人脸关键点映射关系和所述模板关键点信息对所述检测关键点信息进行筛选以生成所述待检测人脸图像的目标关键点信息，其中，所述目标关键点信息中的目标人脸关键点，为所述待检测人脸图像中未遮挡区域的人脸关键点。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的人脸关键点检测方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的人脸关键点检测方法。
根据本申请的技术，无需进行额外的人工标注，即可准确识别出待检测人脸图像中未遮挡区域的目标关键点信息，节约了成本，且耗时短。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是待检测人脸图像的检测关键点信息的示意图；
图3是模板人脸图像的模板关键点信息的示意图；
图4是根据本申请第二实施例的示意图；
图5是根据本申请第三实施例的示意图；
图6是待检测人脸图像中各人脸关键点的评估位置信息的示意图；
图7是根据本申请第四实施例的示意图；
图8是根据本申请第五实施例的示意图；
图9是用来实现本申请实施例的人脸关键点检测的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请针对相关技术中，通过监督学习类方法检测包含被遮挡人脸的图像中的人脸关键点的方式，需要对训练数据进行额外的人工标注，成本高，且耗时长，准确性差的问题，提出一种人脸关键点检测方法。
本申请提供的人脸关键点检测方法，首先获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息，并获取模板人脸图像的模板关键点信息，再结合待检测人脸图像的检测关键点信息和模板人脸图像的模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系，进而根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息，其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点。由此，无需进行额外的人工标注，即可准确识别出待检测人脸图像中未遮挡区域的目标关键点信息，节约了成本，且耗时短。
下面参考附图描述本申请实施例的人脸关键点检测方法、装置以及电子设备。
图1是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例提供的人脸关键点检测方法的执行主体为人脸关键点检测装置，人脸关键点检测装置可以被配置在电子设备中，以实现对待检测人脸图像中未遮挡区域的目标关键点信息的检测。其中，电子设备可以是任意能够进行数据处理的终端设备或服务器等，本申请对此不作限制。
如图1所示，人脸关键点检测方法，可以包括以下步骤：
步骤101，获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息。
其中，待检测人脸图像，可以是任意包含人脸，且人脸的一部分区域被遮挡的图像。比如，待检测人脸图像可以是包含人脸，且人脸的一只眼睛被遮挡，或者是人脸的半个嘴巴被遮挡的图像。
需要说明的是，本申请实施例的人脸关键点检测方法，对于人脸未被遮挡的待检测人脸图像也可适用，即，待检测人脸图像也可以是整个人脸均未被遮挡的图像，此时，通过本申请实施例的方式，生成的待检测人脸图像的目标关键点信息中的目标人脸关键点，为待检测人脸图像中整个人脸区域的所有人脸关键点，且这些人脸关键点的检测位置信息都是准确的。
人脸关键点，可以包括人脸上的任意位置的特征点，比如眼睛、嘴巴、鼻子、轮廓、眼角、眼角轮廓上的特征点等。
检测关键点信息，可以包括待检测人脸图像中多个人脸关键点的检测位置信息。
示例性实施例中，可以通过多种方式，提取待检测人脸图像的检测关键点信息。
例如，可以预先训练关键点检测模型，从而将待检测人脸图像输入预先训练的关键点检测模型，即可提取出待检测人脸图像的检测关键点信息。其中，关键点检测模型，可以是任意深度神经网络模型，例如卷积神经网络模型、递归神经网络模型等，或者，也可以是其它类型的数据处理模型，本申请对此不作限制。
或者，也可以通过相关技术中的其它任意人脸关键点检测方法，提取待检测人脸图像的检测关键点信息，本申请对提取待检测人脸图像的检测关键点信息的方式不作限制。
步骤102，获取模板人脸图像的模板关键点信息。
其中，模板人脸图像，可以是任意包含人脸，且人脸各区域均未被遮挡的图像，且模板人脸图像中的人脸可以是任意一个人的人脸。需要说明的是，模板人脸图像中人脸的姿态，与待检测人脸图像中人脸的姿态可以是相同的，也可以是不同的，本申请对此不作限制。比如，待检测人脸图像中人脸是微笑的且向左侧稍微偏转，而模板人脸图像中人脸可以是无表情的正脸。
模板关键点信息，可以包括模板人脸图像中多个人脸关键点的模板位置信息。
在示例性实施例中，可以通过多种方式，提取模板人脸图像的模板关键点信息。
例如，可以预先训练关键点检测模型，从而将模板人脸图像输入预先训练的关键点检测模型，即可提取出模板人脸图像的检测关键点信息。其中，关键点检测模型，可以是任意深度神经网络模型，例如卷积神经网络模型、递归神经网络模型等，或者，也可以是其它类型的数据处理模型，本申请对此不作限制。
或者，也可以通过相关技术中的其它任意人脸关键点检测方法，提取模板人脸图像的模板关键点信息，本申请对提取模板人脸图像的模板关键点信息的方式不作限制。
需要说明的是，本申请实施例中，获取待检测人脸图像的检测关键点信息的方式，与获取模板人脸图像的模板关键点信息的方式可以相同，也可以不同，本申请对此不作限制。
值得注意的是，在本申请实施例中，提取的待检测人脸图像的检测关键点信息，与获取的模板人脸图像的模板关键点信息，是一一对应的。其中，检测关键点信息与模板关键点信息一一对应，指的是检测关键点信息中的人脸关键点与模板关键点信息中的人脸关键点的个数相同，且检测关键点信息中的各人脸关键点与模板关键点信息中的各人脸关键点分别与人脸的相同部位对应。
在本申请实施例中，相同部位的人脸关键点，可以以相同的标识进行唯一标记，比如，人的左眼的左侧眼角的标识为1，人的左眼的右侧眼角的标识为2，人的右眼的左侧眼角的标识为3，等等。需要说明的是，检测关键点信息中的人脸关键点与模板关键点信息中的人脸关键点的个数可以根据需要设置，本申请中以68个为例。
比如，如图2和图3所示，图2为待检测人脸图像的检测关键点信息的示意图，图3为模板人脸图像的模板关键点信息的示意图，如图2和图3所示，模板关键点信息中包括68个人脸关键点，检测关键点信息中也包括68个人脸关键点，其中，人的左眼的左侧眼角对应人脸关键点1，人的左眼的右侧眼角对应人脸关键点2，人的右眼的左侧眼角对应人脸关键点3，等等。
在示例性实施例中，以利用预先训练的关键点检测模型进行关键点信息提取为例，可以预先训练能够检测特定位置关键点及特定数量关键点的关键点检测模型，从而通过利用预先训练的关键点检测模型，能够得到一一对应的待检测人脸图像的检测关键点信息及模板人脸图像的模板关键点信息。
可以理解的是，由于模板人脸图像为未遮挡人脸图像，因此模板人脸图像的模板关键点信息中包括人脸的全部关键点的模板位置信息。而由于待检测人脸图像是包含一部分区域被遮挡的人脸的图像，因此，待检测人脸图像的检测关键点信息中，包括遮挡区域的人脸关键点的检测位置信息和未遮挡区域的人脸关键点的检测位置信息，只是遮挡区域的人脸关键点构成的形状可能是严重畸形的。
举例来说，继续参照图2和图3，由于模板人脸图像为未遮挡人脸图像，因此模板人脸图像的模板关键点信息中包括的人脸关键点为人脸全部人脸关键点即68个人脸关键点，而待检测人脸图像中，由于人的右眼被遮挡，因此，通过步骤101虽然能够提取待检测人脸图像的检测关键点信息，但是提取出的遮挡区域的人脸关键点构成的形状完全畸形，这些遮挡区域的人脸关键点的检测位置信息是完全错误的。
步骤103，结合检测关键点信息以及模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系。
其中，人脸关键点映射关系，为待检测人脸图像中未遮挡区域的人脸关键点的检测位置信息与模板人脸图像中对应相同人脸部位的人脸关键点的模板位置信息之间的映射关系。
步骤104，根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息。
其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点。
可以理解的是，本申请实施例中，由于人脸关键点映射关系，为待检测人脸图像中未遮挡区域的人脸关键点的检测位置信息与模板人脸图像中对应相同人脸部位的人脸关键点的模板位置信息之间的映射关系，而未遮挡区域的人脸关键点的检测位置信息是基本正确的，即人脸关键点映射关系，为同一部位的人脸关键点的模板位置信息与基本正确的检测位置信息之间的映射关系，从而在确定人脸关键点映射关系后，可以根据人脸关键点映射关系，及模板人脸图像的模板关键点信息中各人脸关键点的模板位置信息，预测待检测人脸图像中与模板人脸图像中相同部位的人脸关键点的实际位置。
具体的，通过根据人脸关键点映射关系，及模板人脸图像的模板关键点信息中各人脸关键点的模板位置信息，对待检测人脸图像中与模板人脸图像中相同部位的人脸关键点的实际位置进行预测，可以确定待检测人脸图像中与模板人脸图像中的部位相同的人脸关键点的评估位置信息。而由于未遮挡区域的人脸关键点的检测位置信息是基本正确的，因此未遮挡区域的人脸关键点的检测位置信息，与确定的对应部位的人脸关键点的评估位置信息是一致的，那么，本申请实施例中，针对待检测人脸图像中的每个人脸关键点，可以通过将确定的该人脸关键点的评估位置信息，与该人脸关键点的检测位置信息进行比较，以确定该人脸关键点的评估位置信息与检测位置信息是否一致，若待检测人脸图像中的某人脸关键点的检测位置信息与评估位置信息一致，则可以将该人脸关键点确定为未遮挡区域的人脸关键点，即目标人脸关键点。由此，即可从待检测人脸图像的检测关键点信息中筛选出未遮挡区域的目标人脸关键点，进而根据检测关键点信息中的未遮挡区域的人脸关键点对应的检测位置信息，即可生成待检测人脸图像的目标关键点信息。
本申请提供的人脸关键点检测方法，在获取待检测人脸图像的检测关键点信息和模板人脸图像的模板关键点信息后，结合检测关键点信息和模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系，进而根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像中的目标人脸关键点信息，其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点，由于人脸关键点映射关系，为同一部位的人脸关键点的模板位置信息与基本正确的检测位置信息之间的映射关系，从而利用人脸关键点映射关系，可以准确确定待检测人脸图像中的人脸关键点的评估位置信息，进而准确筛选生成目标关键点信息，且由于利用人脸关键点映射关系，即可确定待检测人脸图像中的未遮挡区域的人脸关键点，进而根据未遮挡区域的人脸关键点的检测位置信息生成待检测人脸图像的目标关键点信息，从而除训练关键点检测模型等时需要进行的必要数据标注之外，不必进行额外的人工标注，因此节约了人工标注所耗费的成本及时间。
本申请实施例的人脸关键点检测方法，首先获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息，并获取模板人脸图像的模板关键点信息，再结合待检测人脸图像的检测关键点信息和模板人脸图像的模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系，进而根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息，其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点。由此，无需进行额外的人工标注，即可准确识别出待检测人脸图像中未遮挡区域的目标关键点信息，节约了成本，且耗时短。
通过上述分析可知，本申请中，在获取待检测人脸图像的检测关键点信息及模板人脸图像的模板关键点信息后，可以结合检测关键点信息和模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系，进而根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像中未遮挡区域的人脸关键点信息，下面结合图4，对本申请实施例中生成待检测人脸图像与模板人脸图像之间的人脸关键点映射关系的过程进行详细说明。
图4是根据本申请第二实施例的示意图。如图4所示，本申请提供的人脸关键点检测方法，可以包括以下步骤：
步骤201，获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息。
步骤202，获取模板人脸图像的模板关键点信息。
其中，上述步骤201-202的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤203，根据模板关键点信息以及检测关键点信息，构建人脸关键点映射关系的概率密度函数。
其中，概率密度函数可以由待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息以及未遮挡区域的人脸关键点映射关系分布信息确定。
可以理解的是，本申请实施例中，待检测人脸图像为包括遮挡区域和未遮挡区域的人脸图像时，可以根据模板关键点信息以及检测关键点信息，构建遮挡区域的人脸关键点的检测位置信息与模板关键点信息中的相同部位的人脸关键点的模板位置信息之间的人脸关键点映射关系，即遮挡区域的人脸关键点映射关系，以及未遮挡区域的人脸关键点的检测位置信息与模板关键点信息中的相同部位的人脸关键点的模板位置信息之间的人脸关键点映射关系，即未遮挡区域的人脸关键点映射关系，并根据遮挡区域的人脸关键点映射关系的分布信息，以及未遮挡区域的人脸关键点映射关系的分布信息，构建概率密度函数。
在示例性实施例中，待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息，可以为均匀分布信息，待检测人脸图像中未遮挡区域的人脸关键点映射关系分布信息，可以为混合高斯分布信息。
在示例性实施例中，概率密度函数的计算公式可以为公式(1)。
Figure BDA0002494723860000081
其中，x表示待检测人脸图像的检测关键点信息，ω表示待检测人脸图像中遮挡区域所占的比重，
Figure BDA0002494723860000082
表示均匀分布信息，p(x|k)表示高斯分布信息。
步骤204，根据概率密度函数，构建人脸关键点映射关系的目标函数以及期望函数。
步骤205，对期望函数进行极大似然估计，根据估计结果重新确定概率密度函数以及目标函数，并重新确定期望函数进行极大似然估计，直至目标函数满足预设收敛条件。
步骤206，根据满足预设收敛条件时的概率密度函数，确定人脸关键点映射关系。
其中，收敛条件，可以根据需要设置。
可以理解的是，本申请实施例中求解人脸关键点映射关系就是求解上述概率密度函数的过程。
具体实现时，可以先根据概率密度函数，构建人脸关键点映射关系的目标函数，并根据概率密度函数和目标函数，构建期望函数。然后，即可对期望函数进行极大似然估计，以确定目标函数中的参数值，根据确定的参数值，再重新确定概率密度函数以及目标函数，并重新确定期望函数，再继续对重新确定的期望函数进行极大似然估计，直至目标函数满足预设收敛条件，从而根据目标函数满足预设收敛函数时的概率密度函数，即可确定人脸关键点映射关系。
在示例性实施例中，进行极大似然估计时，可以利用极大化似然函数实现，也可以利用极小化负对数似然函数实现，本申请对此不作限制。
在示例性实施例中，模板关键点信息中的人脸关键点的模板位置信息，与检测位置信息中的人脸关键点的评估位置信息之间的对应关系，可以通过放射变换表示，那么，本申请中的人脸关键点映射关系的目标函数可以为公式(2)的形式。
Figure BDA0002494723860000091
其中，f(yk)＝sRyk+t。
其中，R，t，s为放射变换参数，R表示旋转矩阵，t表示位移矩阵，s表示缩放矩阵，σ2表示高斯分布方差，Pold表示用上次迭代参数计算的混合高斯模型后验概率，N表示人脸关键点的个数，NP表示混合高斯分布和，xk表示检测关键点信息中的第k个人脸关键点的检测位置信息，yk表示与检测关键点信息中的第k个人脸关键点相同部位的模板关键点的模板位置信息，f(yk)表示检测关键点信息中的第k个人脸关键点的评估位置信息。
在示例性实施例中，期望函数可以为下述公式(3)的形式。
Figure BDA0002494723860000092
在示例性实施例中，概率密度分布函数、目标函数、期望函数分别为上述公式(1)、(2)、(3)的形式时，步骤205的具体可以通过以下方式实现。
首先，进行初始化，另B＝I，t＝0，0<ω<1。其中，B＝sR，其中，I为单位矩阵。
然后，在B＝I，t＝0，0<ω<1时，对公式(3)所示的期望函数进行极大似然估计，求解B，t和σ2。
具体的，
Figure BDA0002494723860000101
Figure BDA0002494723860000102
Figure BDA0002494723860000103
t＝μx-Bμy (7)
Figure BDA0002494723860000104
然后，再根据计算出的B，t和σ2，重新确定概率密度函数及目标函数，并重新确定期望函数，并对重新确定的期望函数进行极大似然估计，再次求解B，t和σ2，再重新确定概率密度函数及目标函数，并重新确定期望函数，并对重新确定的期望函数进行极大似然估计，重复上述过程，直至目标函数满足预设收敛条件。
进而，根据目标函数满足预设收敛条件时的放射变换参数R，t，s，即可得到人脸关键点映射关系。
可以理解的是，本申请通过根据模板关键点信息以及检测关键点信息，构建人脸关键点映射关系的概率密度函数，其中，概率密度函数由待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息以及未遮挡区域的人脸关键点映射关系分布信息确定，再根据概率密度函数，构建人脸关键点映射关系的目标函数以及期望函数，进而对期望函数进行极大似然估计的方式，确定人脸关键点映射关系，由于极大似然估计确定的是最大概率的人脸关键点映射关系出现时的放射变换参数，且本申请根据目标函数收敛时的概率密度函数确定人脸关键点映射关系，因此，本申请通过上述方式确定的人脸关键点映射关系是准确可靠的。且通过设置待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息和未遮挡区域的人脸关键点映射关系分布信息分别对应不同类型的分布信息，根据由遮挡区域的人脸关键点映射关系分布信息和未遮挡区域的人脸关键点映射关系分布信息分别对应不同类型的分布信息确定的概率密度函数，确定人脸关键点映射关系，进一步提高了确定的人脸关键点映射关系的准确性和可靠性。
步骤207，根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息。
其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点。
其中，上述步骤207的具体实现过程及原理，可以参照上述实施例的相关描述，此处不再赘述。
可以理解的是，由于本申请中确定的人脸关键点映射关系准确可靠，从而提高了根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成的待检测人脸图像的目标关键点信息的准确性和可靠性。
本申请提供的人脸关键点检测方法，首先获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息，然后获取模板人脸图像的模板关键点信息，再根据模板关键点信息以及检测关键点信息，构建人脸关键点映射关系的概率密度函数，根据概率密度函数，构建人脸关键点映射关系的目标函数以及期望函数，再对期望函数进行极大似然估计，根据估计结果重新确定概率密度函数以及目标函数，并重新确定期望函数进行极大似然估计，直至目标函数满足预设收敛条件，再根据满足预设收敛条件时的概率密度函数，确定人脸关键点映射关系，进而根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息。由此，无需进行额外的人工标注，即可准确识别出待检测人脸图像中未遮挡区域的目标关键点信息，节约了成本，且耗时短。
通过上述分析可知，本申请实施例中，在确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系后，可以根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像中未遮挡区域的人脸关键点信息，下面结合图5，对本申请实施例中根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像中未遮挡区域的人脸关键点信息的过程进行详细说明。
图5是根据本申请第三实施例的示意图。如图5所示，本申请提供的人脸关键点检测方法，可以包括以下步骤：
步骤301，获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息。
步骤302，获取模板人脸图像的模板关键点信息。
步骤303，结合检测关键点信息以及模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系。
其中，上述步骤301-303的具体实现过程及原理，可以参照上述实施例的描述，此处不再赘述。
步骤304，针对检测关键点信息中的每个人脸关键点，根据人脸关键点映射关系、模板关键点信息中人脸关键点的模板位置信息、以及检测关键点信息中人脸关键点的检测位置信息，确定人脸关键点是否为目标人脸关键点。
具体的，由于人脸关键点映射关系，为同一部位的人脸关键点的模板位置信息与基本正确的检测位置信息之间的映射关系，因此，根据人脸关键点映射关系和模板关键点信息中人脸关键点的模板位置信息，可以预测待检测人脸图像中与模板人脸图像中相同部位的人脸关键点的实际位置。
具体的，通过根据人脸关键点映射关系，及模板人脸图像的模板关键点信息中各人脸关键点的模板位置信息，对待检测人脸图像中与模板人脸图像中相同部位的人脸关键点的实际位置进行预测，可以确定待检测人脸图像中与模板人脸图像中的人脸部位相同的人脸关键点的评估位置信息。又由于模板人脸图像的模板关键点信息与待检测人脸图像的检测关键点信息是一一对应的，因此，检测关键点信息中的各人脸关键点的检测位置信息与各人脸关键点的评估位置信息分别对应相同人脸部位的人脸关键点，进而针对检测关键点信息中的每个人脸关键点，可以根据人脸关键点的评估位置信息及检测位置信息，确定该人脸关键点是否为目标关键点。
即，步骤304可以包括：
针对检测关键点信息中的每个人脸关键点，根据人脸关键点的模板位置信息，以及人脸关键点映射关系，确定人脸关键点的评估位置信息；根据评估位置信息以及人脸关键点的检测位置信息，确定人脸关键点是否为目标人脸关键点。
可以理解的是，由于针对检测关键点信息中的每个人脸关键点，均可以根据人脸关键点的模板位置信息，以及人脸关键点映射关系，确定人脸关键点的评估位置信息，因此，本申请实施例中，既可以确定待检测人脸图像中未遮挡区域的人脸关键点的评估位置信息，也可以确定待检测人脸区域中遮挡区域的人脸关键点的评估位置信息。
具体实现时，由于目标人脸关键点为待检测人脸图像中未遮挡区域的人脸关键点，而检测关键点信息中的未遮挡区域的人脸关键点的检测位置信息基本是正确的，因此，未遮挡区域的人脸关键点的检测位置信息与相同部位的人脸关键点的评估位置信息是一致的。那么，本申请实施例中，为了从待检测人脸图像的检测关键点信息中筛选生成目标关键点信息，在确定每个人脸关键点的评估位置信息后，针对检测关键点信息中的每个人脸关键点，可以确定该人脸关键点的评估位置信息与该人脸关键点的检测位置信息是否一致，若该人脸关键点的检测位置信息与评估位置信息一致，则认为该人脸关键点为目标人脸关键点，若不一致，则认为该人脸关键点为非目标人脸关键点。
由此，通过针对检测关键点信息中的每个人脸关键点，根据人脸关键点的模板位置信息以及人脸关键点映射关系，确定人脸关键点的评估位置信息，既可以确定待检测人脸图像中未遮挡区域的人脸关键点的评估位置信息，还能确定遮挡区域的人脸关键点的评估位置信息，且针对待检测人脸图像中的每个人脸关键点，通过根据人脸关键点的评估位置信息和检测位置信息，确定人脸关键点是否为目标人脸关键点，可以准确筛选出待检测人脸图像中未遮挡区域的目标人脸关键点。
具体实现时，可以预先设置距离阈值，针对检测关键点信息中的每一个人脸关键点，可以根据人脸关键点的检测位置信息与评估位置信息之间的距离是否小于等于预设距离阈值，判断该人脸关键点的检测位置信息与评估位置信息是否一致，若某个人脸关键点的检测位置信息与评估位置信息之间的距离小于或等于预设距离阈值，则认为该人脸关键点的检测位置信息与评估位置信息一致，进而确定该人脸关键点为目标人脸关键点，若某个人脸关键点的检测位置信息与评估位置信息之间的距离大于预设距离阈值，则认为该人脸关键点的检测位置信息与评估位置信息不一致，进而确定该人脸关键点为非目标人脸关键点。
即，根据评估位置信息以及人脸关键点的检测位置信息，确定人脸关键点是否为目标人脸关键点，可以包括：
确定评估位置信息以及人脸关键点的检测位置信息之间的距离；在距离小于等于预设距离阈值时，确定人脸关键点为目标人脸关键点；在距离大于预设距离阈值时，确定人脸关键点为非目标人脸关键点。
其中，评估位置信息以及检测位置信息之间的距离，可以采用欧式距离、余弦距离等任意的能够表征两点之间距离的距离类型。
预设距离阈值，可以根据需要设置，由于预设距离阈值越小，从检测位置信息中筛选生成的待检测人脸图像的目标关键点信息越准确，因此，在实际应用中，可以根据对生成的目标关键点信息的准确性要求，灵活设置预设距离阈值。
举例来说，继续参照图2和图3，图2为待检测人脸图像的检测关键点信息的示意图，图3为模板人脸图像的模板关键点信息的示意图，在本申请实施例中，针对检测关键点信息中的每个人脸关键点，可以根据人脸关键点的模板位置信息，以及人脸关键点映射关系，确定人脸关键点的评估位置信息。假设图6为待检测人脸图像中各人脸关键点的评估位置信息的示意图，则针对检测关键点信息中的每个人脸关键点，可以确定评估位置信息与检测位置信息之间的距离，并将距离与预设距离阈值进行比较。以人的左眼的左侧眼角的人脸关键点1为例，可以将图6所示的人脸关键点1的评估位置信息与图2所示的人脸关键点1的检测位置信息之间的距离与预设距离阈值进行比较，得到人脸关键点1的评估位置信息与检测位置信息之间的距离小于预设距离阈值的结果，从而确定待检测人脸图像中的检测关键点信息中人脸关键点1为目标关键点。以人眼的右眼的左侧眼角的人脸关键点3为例，可以将图6所示的人脸关键点3的评估位置信息与图2所示的人脸关键点3的检测位置信息之间的距离与预设距离阈值进行比较，得到人脸关键点3的评估位置信息与检测位置信息之间的距离大于预设距离阈值的结果，从而确定待检测人脸图像中的检测关键点信息中人脸关键点3为非目标关键点。由此，即可确定检测关键点信息中的每个人脸关键点是否为目标关键点。
通过设置预设距离阈值，并针对检测关键点信息中的每个人脸关键点，根据人脸关键点的评估位置信息与检测位置信息之间的距离与预设距离阈值之间的关系，判断人脸关键点是否为目标人脸关键点，可以实现准确判断待检测人脸图像的检测关键点信息中的人脸关键点是否为目标人脸关键点。
步骤305，根据检测关键点信息中目标人脸关键点的检测位置信息，生成待检测人脸图像的目标关键点信息。
具体的，确定检测关键点信息中的各人脸关键点是否为目标人脸关键点后，即可从检测关键点信息中，筛选出目标人脸关键点的检测位置信息，并根据目标人脸关键点的检测位置信息，生成待检测人脸图像的目标关键点信息。
通过针对检测关键点信息中的每个人脸关键点，根据人脸关键点映射关系、模板关键点信息中人脸关键点的模板位置信息、以及检测关键点信息中人脸关键点的检测位置信息，确定人脸关键点是否为目标人脸关键点，进而根据检测关键点信息中目标人脸关键点的检测位置信息，生成待检测人脸图像的目标关键点信息，实现了准确确定待检测人脸图像中的未遮挡区域的人脸关键点及其位置和个数等信息，且整个过程无需进行额外的人工标注，节约了成本，且耗时短。
可以理解的是，在生成待检测人脸图像的目标关键点信息后，即可利用目标关键点信息，实现对待检测人脸图像的人脸识别等功能。即，在步骤305之后，还可以包括：
步骤306，根据待检测人脸图像的目标关键点信息对待检测人脸图像进行人脸识别，获取识别结果。
需要说明的是，本申请实施例中确定的待检测人脸图像的目标关键点信息，除了可以应用于人脸识别，还可以应用于多种场景。
比如，可以根据本申请实施例生成的待检测人脸图像的目标关键点信息，实现对待检测人脸图像中的特定目标关键点的特效或编辑处理，比如可以根据待检测人脸图像的目标关键点信息，确定眼睛对应的各目标关键点的位置，进而在眼睛部位施加眼镜特效，或将眼睛进行放大处理，或者，可以根据待检测人脸图像的目标关键点信息，确定眉毛对应的各目标关键点的位置，进而对眉毛进行加粗处理，等等。
可以理解的是，通过根据待检测人脸图像的目标关键点信息对待检测人脸图像进行人脸识别，并获取识别结果，可以实现利用确定的待检测人脸图像的目标关键点信息实现人脸识别功能，由于通过本申请的人脸关键点检测方法，生成的目标关键点信息准确可靠，因此，利用该方法生成的目标关键点信息进行人脸识别时，识别结果也更准确可靠。
本申请提供的人脸关键点检测方法，首先获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息，然后获取模板人脸图像的模板关键点信息，再结合检测关键点信息以及模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系，再针对检测关键点信息中的每个人脸关键点，根据人脸关键点映射关系、模板关键点信息中人脸关键点的模板位置信息、以及检测关键点信息中人脸关键点的检测位置信息，确定人脸关键点是否为目标人脸关键点，再根据检测关键点信息中目标人脸关键点的检测位置信息，生成待检测人脸图像的目标关键点信息，进而根据待检测人脸图像的目标关键点信息对待检测人脸图像进行人脸识别，获取识别结果。由此，无需进行额外的人工标注，即可准确识别出待检测人脸图像中未遮挡区域的目标关键点信息，进而根据未遮挡区域的人脸关键点信息实现待检测人脸图像的人脸识别，节约了成本，且耗时短。
为了实现图1至图6所述实施例，本申请实施例还提出一种人脸关键点检测装置。
图7是根据本申请第四实施例的示意图。如图7所示，该人脸关键点检测装置10包括：第一获取模块11、提取模块12、第二获取模块13、确定模块14、处理模块15。
具体的，本申请提供的人脸关键点检测装置，可以执行本申请上述实施例提供的人脸关键点检测方法，该人脸关键点检测装置，可以被配置在电子设备中，以实现对待检测人脸图像中未遮挡区域的目标关键点信息的检测。其中，电子设备可以是任意能够进行数据处理的终端设备或服务器等，本申请对此不作限制。
其中，第一获取模块11，用于获取待检测人脸图像；
提取模块12，用于提取待检测人脸图像的检测关键点信息；
第二获取模块13，用于获取模板人脸图像的模板关键点信息；
确定模块14，用于结合检测关键点信息以及模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系；
处理模块15，用于根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息，其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点。
需要说明的是，上述实施例中对人脸关键点检测方法的说明，也适用于本申请实施例中的人脸关键点检测装置10，此处不再赘述。
本申请实施例的人脸关键点检测装置，首先获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息，并获取模板人脸图像的模板关键点信息，再结合待检测人脸图像的检测关键点信息和模板人脸图像的模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系，进而根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息，其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点。由此，无需进行额外的人工标注，即可准确识别出待检测人脸图像中未遮挡区域的目标关键点信息，节约了成本，且耗时短。
图8是根据本申请第五实施例的示意图。
如图8所示，在图7所示的基础上，本申请提供的人脸关键点检测装置10中的确定模块14，具体可以包括：
第一构建单元141，用于根据模板关键点信息以及检测关键点信息，构建人脸关键点映射关系的概率密度函数，其中，概率密度函数由待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息以及未遮挡区域的人脸关键点映射关系分布信息确定；
第二构建单元142，用于根据概率密度函数，构建人脸关键点映射关系的目标函数以及期望函数；
处理单元143，用于对期望函数进行极大似然估计，根据估计结果重新确定概率密度函数以及目标函数，并重新确定期望函数进行极大似然估计，直至目标函数满足预设收敛条件；
第一确定单元144，用于根据满足预设收敛条件时的概率密度函数，确定人脸关键点映射关系。
在示例性实施例中，待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息，为均匀分布信息；待检测人脸图像中未遮挡区域的人脸关键点映射关系分布信息，为混合高斯分布信息。
在示例性实施例中，概率密度函数的计算公式为，
Figure BDA0002494723860000171
其中，x表示待检测人脸图像的检测关键点信息，ω表示待检测人脸图像中遮挡区域所占的比重，
Figure BDA0002494723860000172
表示均匀分布信息，p(x|n)表示高斯分布信息。
在示例性实施例中，如图8所示，处理模块15，具体可以包括：
第二确定单元151，用于针对检测关键点信息中的每个人脸关键点，根据人脸关键点映射关系、模板关键点信息中人脸关键点的模板位置信息、以及检测关键点信息中人脸关键点的检测位置信息，确定人脸关键点是否为目标人脸关键点；
生成单元152，用于根据检测关键点信息中目标人脸关键点的检测位置信息，生成待检测人脸图像的目标关键点信息。
在示例性实施例中，上述第二确定单元151，可以包括：
第一确定子单元，用于针对检测关键点信息中的每个人脸关键点，根据人脸关键点的模板位置信息，以及人脸关键点映射关系，确定人脸关键点的评估位置信息；
第二确定子单元，用于根据评估位置信息以及人脸关键点的检测位置信息，确定人脸关键点是否为目标人脸关键点。
在示例性实施例中，上述第二确定子单元，具体用于：
确定评估位置信息以及人脸关键点的检测位置信息之间的距离；
在距离小于等于预设距离阈值时，确定人脸关键点为目标人脸关键点；
在距离大于预设距离阈值时，确定人脸关键点为非目标人脸关键点。
在示例性实施例中，如图8所示，在图7所示的基础上，本申请提供的人脸关键点检测装置10还可以包括识别模块16，用于根据待检测人脸图像的目标关键点信息对待检测人脸图像进行人脸识别，获取识别结果。
需要说明的是，上述实施例中对人脸关键点检测方法的说明，也适用于本申请实施例中的人脸关键点检测装置10，此处不再赘述。
本申请实施例的人脸关键点检测装置，首先获取待检测人脸图像，并提取待检测人脸图像的检测关键点信息，并获取模板人脸图像的模板关键点信息，再结合待检测人脸图像的检测关键点信息和模板人脸图像的模板关键点信息，确定待检测人脸图像与模板人脸图像之间的人脸关键点映射关系，进而根据人脸关键点映射关系和模板关键点信息对检测关键点信息进行筛选以生成待检测人脸图像的目标关键点信息，其中，目标关键点信息中的目标人脸关键点，为待检测人脸图像中未遮挡区域的人脸关键点。由此，无需进行额外的人工标注，即可准确识别出待检测人脸图像中未遮挡区域的目标关键点信息，节约了成本，且耗时短。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的人脸关键点检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人脸关键点检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人脸关键点检测方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人脸关键点检测方法对应的程序指令/模块(例如，附图7所示的第一获取模块11、提取模块12、第二获取模块13、确定模块14、处理模块15，附图8所示的识别模块16)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸关键点检测方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸关键点检测的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至人脸关键点检测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人脸关键点检测的方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与人脸关键点检测的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种人脸关键点检测方法，其特征在于，包括：
获取待检测人脸图像，并提取所述待检测人脸图像的检测关键点信息；
获取模板人脸图像的模板关键点信息；
结合所述检测关键点信息以及所述模板关键点信息，确定所述待检测人脸图像与所述模板人脸图像之间的人脸关键点映射关系；
根据所述人脸关键点映射关系和所述模板关键点信息对所述检测关键点信息进行筛选以生成所述待检测人脸图像的目标关键点信息，其中，所述目标关键点信息中的目标人脸关键点，为所述待检测人脸图像中未遮挡区域的人脸关键点。
2.根据权利要求1所述的方法，其特征在于，所述结合所述检测关键点信息以及所述模板关键点信息，确定所述待检测人脸图像与所述模板人脸图像之间的人脸关键点映射关系，包括：
根据所述模板关键点信息以及所述检测关键点信息，构建人脸关键点映射关系的概率密度函数，其中，所述概率密度函数由待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息以及未遮挡区域的人脸关键点映射关系分布信息确定；
根据概率密度函数，构建人脸关键点映射关系的目标函数以及期望函数；
对期望函数进行极大似然估计，根据估计结果重新确定所述概率密度函数以及所述目标函数，并重新确定所述期望函数进行极大似然估计，直至所述目标函数满足预设收敛条件；
根据满足预设收敛条件时的概率密度函数，确定人脸关键点映射关系。
3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸关键点映射关系和所述模板关键点信息对所述检测关键点信息进行筛选以生成所述待检测人脸图像的目标关键点信息，包括：
针对所述检测关键点信息中的每个人脸关键点，根据所述人脸关键点映射关系、所述模板关键点信息中所述人脸关键点的模板位置信息、以及所述检测关键点信息中所述人脸关键点的检测位置信息，确定所述人脸关键点是否为目标人脸关键点；
根据所述检测关键点信息中所述目标人脸关键点的检测位置信息，生成所述待检测人脸图像的目标关键点信息。
4.根据权利要求3所述的方法，其特征在于，所述针对所述检测关键点信息中的每个人脸关键点，根据所述人脸关键点映射关系、所述模板关键点信息中所述人脸关键点的模板位置信息、以及所述检测关键点信息中所述人脸关键点的检测位置信息，确定所述人脸关键点是否为目标人脸关键点，包括：
针对所述检测关键点信息中的每个人脸关键点，根据所述人脸关键点的模板位置信息，以及所述人脸关键点映射关系，确定所述人脸关键点的评估位置信息；
根据所述评估位置信息以及所述人脸关键点的检测位置信息，确定所述人脸关键点是否为目标人脸关键点。
5.根据权利要求4所述的方法，其特征在于，所述根据所述评估位置信息以及所述人脸关键点的检测位置信息，确定所述人脸关键点是否为目标人脸关键点，包括：
确定所述评估位置信息以及所述人脸关键点的检测位置信息之间的距离；
在所述距离小于等于预设距离阈值时，确定所述人脸关键点为目标人脸关键点；
在所述距离大于预设距离阈值时，确定所述人脸关键点为非目标人脸关键点。
6.根据权利要求1所述的方法，其特征在于，所述根据所述人脸关键点映射关系和所述模板关键点信息对所述检测关键点信息进行筛选以生成所述待检测人脸图像的目标关键点信息之后，还包括：
根据所述待检测人脸图像的目标关键点信息对所述待检测人脸图像进行人脸识别，获取识别结果。
7.根据权利要求2所述的方法，其特征在于，所述待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息，为均匀分布信息；
所述待检测人脸图像中未遮挡区域的人脸关键点映射关系分布信息，为混合高斯分布信息。
8.根据权利要求7所述的方法，其特征在于，所述概率密度函数的计算公式为，
Figure FDA0002494723850000031
其中，x表示待检测人脸图像的检测关键点信息，ω表示待检测人脸图像中遮挡区域所占的比重，
Figure FDA0002494723850000032
表示均匀分布信息，p(x|k)表示高斯分布信息。
9.一种人脸关键点检测装置，其特征在于，包括：
第一获取模块，用于获取待检测人脸图像；
提取模块，用于提取所述待检测人脸图像的检测关键点信息；
第二获取模块，用于获取模板人脸图像的模板关键点信息；
确定模块，用于结合所述检测关键点信息以及所述模板关键点信息，确定所述待检测人脸图像与所述模板人脸图像之间的人脸关键点映射关系；
处理模块，用于根据所述人脸关键点映射关系和所述模板关键点信息对所述检测关键点信息进行筛选以生成所述待检测人脸图像的目标关键点信息，其中，所述目标关键点信息中的目标人脸关键点，为所述待检测人脸图像中未遮挡区域的人脸关键点。
10.根据权利要求9所述的装置，其特征在于，所述确定模块，包括：
第一构建单元，用于根据所述模板关键点信息以及所述检测关键点信息，构建人脸关键点映射关系的概率密度函数，其中，所述概率密度函数由待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息以及未遮挡区域的人脸关键点映射关系分布信息确定；
第二构建单元，用于根据概率密度函数，构建人脸关键点映射关系的目标函数以及期望函数；
处理单元，用于对期望函数进行极大似然估计，根据估计结果重新确定所述概率密度函数以及所述目标函数，并重新确定所述期望函数进行极大似然估计，直至所述目标函数满足预设收敛条件；
第一确定单元，用于根据满足预设收敛条件时的概率密度函数，确定人脸关键点映射关系。
11.根据权利要求9所述的装置，其特征在于，所述处理模块，包括：
第二确定单元，用于针对所述检测关键点信息中的每个人脸关键点，根据所述人脸关键点映射关系、所述模板关键点信息中所述人脸关键点的模板位置信息、以及所述检测关键点信息中所述人脸关键点的检测位置信息，确定所述人脸关键点是否为目标人脸关键点；
生成单元，用于根据所述检测关键点信息中所述目标人脸关键点的检测位置信息，生成所述待检测人脸图像的目标关键点信息。
12.根据权利要求11所述的装置，其特征在于，所述第二确定单元，包括：
第一确定子单元，用于针对所述检测关键点信息中的每个人脸关键点，根据所述人脸关键点的模板位置信息，以及所述人脸关键点映射关系，确定所述人脸关键点的评估位置信息；
第二确定子单元，用于根据所述评估位置信息以及所述人脸关键点的检测位置信息，确定所述人脸关键点是否为目标人脸关键点。
13.根据权利要求12所述的装置，其特征在于，所述第二确定子单元，具体用于：
确定所述评估位置信息以及所述人脸关键点的检测位置信息之间的距离；
在所述距离小于等于预设距离阈值时，确定所述人脸关键点为目标人脸关键点；
在所述距离大于预设距离阈值时，确定所述人脸关键点为非目标人脸关键点。
14.根据权利要求9所述的装置，其特征在于，还包括：
识别模块，用于根据所述待检测人脸图像的目标关键点信息对所述待检测人脸图像进行人脸识别，获取识别结果。
15.根据权利要求10所述的装置，其特征在于，所述待检测人脸图像中遮挡区域的人脸关键点映射关系分布信息，为均匀分布信息；
所述待检测人脸图像中未遮挡区域的人脸关键点映射关系分布信息，为混合高斯分布信息。
16.根据权利要求15所述的装置，其特征在于，所述概率密度函数的计算公式为，
Figure FDA0002494723850000051
其中，x表示待检测人脸图像的检测关键点信息，ω表示待检测人脸图像中遮挡区域所占的比重，
Figure FDA0002494723850000052
表示均匀分布信息，p(x|k)表示高斯分布信息。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－8中任一项所述的方法。
CN202010415188.1A 2020-05-15 2020-05-15 人脸关键点检测方法、装置以及电子设备 Active CN111709288B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010415188.1A CN111709288B (zh) 2020-05-15 2020-05-15 人脸关键点检测方法、装置以及电子设备
JP2022539761A JP7270114B2 (ja) 2020-05-15 2020-09-23 顔キーポイントの検出方法、装置及び電子機器
KR1020227026080A KR20220113830A (ko) 2020-05-15 2020-09-23 안면 키포인트 검출 방법, 장치 및 전자 기기
PCT/CN2020/116994 WO2021227333A1 (zh) 2020-05-15 2020-09-23 人脸关键点检测方法、装置以及电子设备
US17/925,380 US20230196825A1 (en) 2020-05-15 2020-09-23 Face key point detection method and apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010415188.1A CN111709288B (zh) 2020-05-15 2020-05-15 人脸关键点检测方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN111709288A true CN111709288A (zh) 2020-09-25
CN111709288B CN111709288B (zh) 2022-03-01

Family

ID=72537161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010415188.1A Active CN111709288B (zh) 2020-05-15 2020-05-15 人脸关键点检测方法、装置以及电子设备

Country Status (5)

Country Link
US (1) US20230196825A1 (zh)
JP (1) JP7270114B2 (zh)
KR (1) KR20220113830A (zh)
CN (1) CN111709288B (zh)
WO (1) WO2021227333A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380981A (zh) * 2020-11-12 2021-02-19 平安科技（深圳）有限公司 人脸关键点的检测方法、装置、存储介质及电子设备
CN112883777A (zh) * 2021-01-04 2021-06-01 北京地平线信息技术有限公司 人脸关键点模板的生成及人脸矫正方法、装置、设备、介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237547B (zh) * 2023-11-15 2024-03-01 腾讯科技（深圳）有限公司 图像重建方法、重建模型的处理方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120321134A1 (en) * 2011-06-15 2012-12-20 Samsung Electornics Co., Ltd Face tracking method and device
CN107590482A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN107622240A (zh) * 2017-09-21 2018-01-23 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107909065A (zh) * 2017-12-29 2018-04-13 百度在线网络技术（北京）有限公司 用于检测人脸遮挡的方法及装置
CN108121972A (zh) * 2017-12-25 2018-06-05 北京航空航天大学 一种局部遮挡条件下的目标识别方法
WO2018103416A1 (zh) * 2016-12-06 2018-06-14 广州视源电子科技股份有限公司 用于人脸图像的检测方法和装置
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN110147744A (zh) * 2019-05-09 2019-08-20 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端
CN110163080A (zh) * 2019-04-02 2019-08-23 腾讯科技（深圳）有限公司 人脸关键点检测方法及装置、存储介质和电子设备
CN110175558A (zh) * 2019-05-24 2019-08-27 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5594015B2 (ja) 2010-09-21 2014-09-24 富士通株式会社 画像処理プログラムおよび画像処理装置
JP5648452B2 (ja) 2010-12-03 2015-01-07 富士通株式会社 画像処理プログラムおよび画像処理装置
WO2015146101A1 (ja) 2014-03-28 2015-10-01 日本電気株式会社 顔照合装置、方法、及び、記録媒体
CN104992148A (zh) * 2015-06-18 2015-10-21 江南大学 基于随机森林的atm终端部分遮挡人脸关键点检测方法
US10565433B2 (en) * 2017-03-30 2020-02-18 George Mason University Age invariant face recognition using convolutional neural networks and set distances
CN107016370B (zh) * 2017-04-10 2019-10-11 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法
WO2019003973A1 (ja) 2017-06-26 2019-01-03 日本電気株式会社 顔認証装置、顔認証方法およびプログラム記録媒体
CN109584276B (zh) * 2018-12-04 2020-09-25 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120321134A1 (en) * 2011-06-15 2012-12-20 Samsung Electornics Co., Ltd Face tracking method and device
WO2018103416A1 (zh) * 2016-12-06 2018-06-14 广州视源电子科技股份有限公司 用于人脸图像的检测方法和装置
CN107622240A (zh) * 2017-09-21 2018-01-23 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107590482A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108121972A (zh) * 2017-12-25 2018-06-05 北京航空航天大学 一种局部遮挡条件下的目标识别方法
CN107909065A (zh) * 2017-12-29 2018-04-13 百度在线网络技术（北京）有限公司 用于检测人脸遮挡的方法及装置
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN110163080A (zh) * 2019-04-02 2019-08-23 腾讯科技（深圳）有限公司 人脸关键点检测方法及装置、存储介质和电子设备
CN110147744A (zh) * 2019-05-09 2019-08-20 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端
CN110175558A (zh) * 2019-05-24 2019-08-27 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380981A (zh) * 2020-11-12 2021-02-19 平安科技（深圳）有限公司 人脸关键点的检测方法、装置、存储介质及电子设备
CN112883777A (zh) * 2021-01-04 2021-06-01 北京地平线信息技术有限公司 人脸关键点模板的生成及人脸矫正方法、装置、设备、介质
CN112883777B (zh) * 2021-01-04 2024-03-29 北京地平线信息技术有限公司 人脸关键点模板的生成及人脸矫正方法、装置、设备、介质

Also Published As

Publication number Publication date
JP2023508704A (ja) 2023-03-03
KR20220113830A (ko) 2022-08-16
US20230196825A1 (en) 2023-06-22
JP7270114B2 (ja) 2023-05-09
WO2021227333A1 (zh) 2021-11-18
CN111709288B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111914628B (zh) 人脸识别模型的训练方法和装置
CN111709288B (zh) 人脸关键点检测方法、装置以及电子设备
CN111523596A (zh) 目标识别模型训练方法、装置、设备以及存储介质
CN110659600B (zh) 物体检测方法、装置及设备
CN111709328A (zh) 车辆跟踪方法、装置及电子设备
CN110795569B (zh) 知识图谱的向量表示生成方法、装置及设备
CN111931591A (zh) 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质
CN111626119A (zh) 目标识别模型训练方法、装置、设备以及存储介质
CN111553428A (zh) 用于训练判别模型的方法、装置、设备及可读存储介质
CN111815595A (zh) 图像语义分割方法、装置、设备和可读存储介质
CN111626263B (zh) 一种视频感兴趣区域检测方法、装置、设备及介质
CN112241716A (zh) 训练样本的生成方法和装置
CN111914630A (zh) 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN111645695A (zh) 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111265879A (zh) 虚拟形象生成方法、装置、设备及存储介质
CN111275827A (zh) 基于边缘的增强现实三维跟踪注册方法、装置和电子设备
CN112561053B (zh) 图像处理方法、预训练模型的训练方法、装置和电子设备
CN111832611B (zh) 动物识别模型的训练方法、装置、设备及存储介质
CN111966852B (zh) 基于人脸的虚拟整容的方法和装置
CN111783644B (zh) 检测方法、装置、设备和计算机存储介质
CN111708477B (zh) 按键识别方法、装置、设备以及存储介质
CN111768485B (zh) 三维图像的关键点标注方法、装置、电子设备及存储介质
CN111563541B (zh) 图像检测模型的训练方法和装置
CN111783600B (zh) 一种人脸识别模型训练方法、装置、设备及介质
CN112270303A (zh) 图像识别方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant