CN112597944A - 关键点检测方法及装置、电子设备和存储介质 - Google Patents

关键点检测方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112597944A
CN112597944A CN202011596380.1A CN202011596380A CN112597944A CN 112597944 A CN112597944 A CN 112597944A CN 202011596380 A CN202011596380 A CN 202011596380A CN 112597944 A CN112597944 A CN 112597944A
Authority
CN
China
Prior art keywords
face
key point
point information
organ
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011596380.1A
Other languages
English (en)
Inventor
李思颖
陈祖凯
王权
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011596380.1A priority Critical patent/CN112597944A/zh
Publication of CN112597944A publication Critical patent/CN112597944A/zh
Priority to PCT/CN2021/108612 priority patent/WO2022142298A1/zh
Priority to TW110127853A priority patent/TW202226049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种关键点检测方法及装置、电子设备和存储介质。所述方法包括：获取人脸图像；利用目标神经网络包括的至少两个神经网络分支，对人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。

Description

关键点检测方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机视觉领域，尤其涉及一种关键点检测方法及装置、电子设备和存储介质。
背景技术
人脸关键点检测是诸多人脸相关应用的基础，可以为人脸识别等技术提供位置矫正，也为增强现实、美妆特效等场景提供人脸的语义信息。因此如何检测人脸关键点，成为目前一个亟待解决的问题。
相关方法中，会在获取人脸的整脸关键点以后，再基于人脸的整脸关键点，通过单独的模型来获取具有更高精度的人脸器官关键点，从而提升关键点检测的精度。然而，这种分别进行关键点获取的过程不仅繁琐，也容易使得得到的关键点精度较低。
发明内容
本公开提出了一种关键点检测方案。
根据本公开的一方面，提供了一种关键点检测方法，包括：
获取人脸图像；利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。
在一种可能的实现方式中，所述至少两个神经网络分支包括用于检测人脸的第一网络分支，以及，用于检测人脸器官的至少一个第二网络分支；所述利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行检测，得到人脸关键点信息集合，包括：通过所述第一网络分支对所述人脸进行检测，得到第一检测结果，所述第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，所述第二检测结果包括人脸器官的关键点信息。
在一种可能的实现方式中，所述基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，包括：利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；其中，在所述第二网络分支中的检测过程包括：从所述人脸图像中提取出与所述人脸器官的检测框信息匹配的人脸器官区域；提取所述人脸器官区域的特征信息；基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。
在一种可能的实现方式中，所述第一检测结果还包括所述人脸图像的特征信息；所述基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，包括：利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；其中，在所述第二网络分支中的检测过程包括：从所述人脸图像的特征信息中提取出与所述人脸器官的检测框信息匹配的人脸器官区域的初始特征信息；对所述初始特征信息进行深层特征提取，得到所述人脸器官区域的特征信息；基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。
在一种可能的实现方式中，所述第一检测结果还包括所述人脸图像的特征信息；所述基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息，包括：将所述人脸器官区域的特征信息与所述人脸图像的特征信息和/或所述人脸的关键点信息进行至少一次融合处理，得到融合特征信息；根据所述融合特征信息，得到所述人脸器官的关键点信息。
在一种可能的实现方式中，在所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果之前，还包括：对所述至少一个人脸器官的检测框信息进行增强处理，其中，所述增强处理包括：伸缩变换处理和/或平移变换处理。
在一种可能的实现方式中，所述方法还包括：获取所述人脸器官的关键点信息中符合预设精度的人脸器官的关键点；根据所述符合预设精度的人脸器官的关键点，对所述人脸的关键点信息中与所述人脸器官对应位置的人脸的关键点进行替换，得到更新的人脸的关键点信息。
在一种可能的实现方式中，所述目标神经网络还包括至少一个第三网络分支，所述至少一个第三网络分支用于根据所述人脸的关键点信息进行人脸状态的检测。
在一种可能的实现方式中，所述方法还包括：根据所述人脸关键点信息集合，对所述人脸图像所在的人脸图像帧序列中的人脸进行追踪。
在一种可能的实现方式中，所述人脸的关键点信息中人脸的关键点的数量包括68至128个；和/或，所述人脸器官的关键点信息中嘴部的关键点的数量包括40至80个；和/或，所述人脸器官的关键点信息中左眼的关键点的数量包括16至32个；和/或，所述人脸器官的关键点信息中右眼的关键点的数量包括16至32个；和/或，所述人脸器官的关键点信息中左眉毛的关键点的数量包括10至20个；和/或，所述人脸器官的关键点信息中右眉毛的关键点的数量包括10至20个。
在一种可能的实现方式中，所述人脸图像包括关键点标注，所述方法还包括：根据所述关键点标注以及所述人脸关键点信息集合，确定所述目标神经网络的误差损失；根据所述误差损失，对所述目标神经网络中的至少两个神经网络分支的参数进行共同更新。
根据本公开的一方面，提供了一种关键点检测装置，包括：
图像获取模块，用于获取人脸图像；关键点检测模块，用于利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。
在一种可能的实现方式中，所述至少两个神经网络分支包括用于检测人脸的第一网络分支，以及，用于检测人脸器官的至少一个第二网络分支；所述关键点检测模块用于：通过所述第一网络分支对所述人脸进行检测，得到第一检测结果，所述第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，所述第二检测结果包括人脸器官的关键点信息。
在一种可能的实现方式中，所述关键点检测模块进一步用于：利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；其中，在所述第二网络分支中的检测过程包括：从所述人脸图像中提取出与所述人脸器官的检测框信息匹配的人脸器官区域；提取所述人脸器官区域的特征信息；基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。
在一种可能的实现方式中，所述第一检测结果还包括所述人脸图像的特征信息；所述关键点检测模块进一步用于：利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；其中，在所述第二网络分支中的检测过程包括：从所述人脸图像的特征信息中提取出与所述人脸器官的检测框信息匹配的人脸器官区域的初始特征信息；对所述初始特征信息进行深层特征提取，得到所述人脸器官区域的特征信息；基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。
在一种可能的实现方式中，所述第一检测结果还包括所述人脸图像的特征信息；所述关键点检测模块进一步用于：将所述人脸器官区域的特征信息与所述人脸图像的特征信息和/或所述人脸的关键点信息进行至少一次融合处理，得到融合特征信息；根据所述融合特征信息，得到所述人脸器官的关键点信息。
在一种可能的实现方式中，所述关键点检测模块还用于：对所述至少一个人脸器官的检测框信息进行增强处理，其中，所述增强处理包括：伸缩变换处理和/或平移变换处理。
在一种可能的实现方式中，所述装置还用于：获取所述人脸器官的关键点信息中符合预设精度的人脸器官的关键点；根据所述符合预设精度的人脸器官的关键点，对所述人脸的关键点信息中与所述人脸器官对应位置的人脸的关键点进行替换，得到更新的人脸的关键点信息。
在一种可能的实现方式中，所述目标神经网络还包括至少一个第三网络分支，所述至少一个第三网络分支用于根据所述人脸的关键点信息进行人脸状态的检测。
在一种可能的实现方式中，所述装置还用于：根据所述人脸关键点信息集合，对所述人脸图像所在的人脸图像帧序列中的人脸进行追踪。
在一种可能的实现方式中，所述人脸的关键点信息中人脸的关键点的数量包括68至128个；和/或，所述人脸器官的关键点信息中嘴部的关键点的数量包括40至80个；和/或，所述人脸器官的关键点信息中左眼的关键点的数量包括16至32个；和/或，所述人脸器官的关键点信息中右眼的关键点的数量包括16至32个；和/或，所述人脸器官的关键点信息中左眉毛的关键点的数量包括10至20个；和/或，所述人脸器官的关键点信息中右眉毛的关键点的数量包括10至20个。
在一种可能的实现方式中，所述人脸图像包括关键点标注，所述装置还用于：根据所述关键点标注以及所述人脸关键点信息集合，确定所述目标神经网络的误差损失；根据所述误差损失，对所述目标神经网络中的至少两个神经网络分支的参数进行共同更新。
根据本公开的一方面，提供了一种电子设备，包括：
处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行上述关键点检测方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述关键点检测方法。
在本公开实施例中，通过获取人脸图像，并利用目标神经网络包括的至少两个神经网络分支，对人脸图像中人脸以及至少一个人脸器官进行处理，来得到包括人脸的关键点信息以及人脸器官的关键点信息的人脸关键点信息集合。通过上述过程，可以通过目标神经网络对人脸图像进行端到端的处理，从而同时得到具有较高精度的人脸的关键点信息以及人脸器官的关键点信息，提升了关键点检测的便捷性与精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开一实施例的关键点检测方法的流程图。
图2示出根据本公开一实施例的关键点检测方法的流程图。
图3示出根据本公开一应用示例的关键点检测方法示意图。
图4示出根据本公开一应用示例的关键点检测方法示意图。
图5示出根据本公开一实施例的关键点检测方法的流程图。
图6示出根据本公开一实施例的关键点检测装置的框图。
图7示出根据本公开一应用示例的关键点检测方法示意图。
图8示出根据本公开实施例的一种电子设备的框图。
图9示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一实施例的关键点检测方法的流程图，该方法可以应用于关键点检测装置，关键点检测装置可以为终端设备、服务器或者其他处理设备等。其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一个示例中，该关键点检测方法可以应用于云端服务器或本地服务器，云端服务器可以为公有云服务器，也可以为私有云服务器，根据实际情况灵活选择即可。
在一些可能的实现方式中，该关键点检测方法也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图1所示，在一种可能的实现方式中，所述关键点检测方法可以包括：
步骤S11，获取人脸图像。
步骤S12，利用目标神经网络包括的至少两个神经网络分支，对人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。
人脸图像可以是包含有人脸的图像帧，实现形式可以根据实际情况灵活决定，在本公开实施例中不做限制。人脸图像中包含的人脸数量在本公开实施例中也不做限制，可以包含某个对象的人脸，也可以同时包含多个对象的人脸，在人脸图像包含多个人脸的情况下，通过本公开实施例中提出的关键点检测方法，可以分别得到多个对象的人脸分别对应的人脸的关键点信息和/或人脸器官的关键点信息等。后续各公开实施例均以人脸图像包括单个对象的人脸为例进行说明，人脸图像中包含多个对象的人脸情况，可以参考后续各公开实施例进行灵活扩展，不再一一列举赘述。
人脸图像的获取方式在本公开实施例中也不做限定，，比如可以对存储有人脸图像的数据库进行读取来得到人脸图像，或是在某些场景下对人脸图像进行采集来得到人脸图像，亦或是从包含有人脸的视频中进行片段截取或采样等方式来得到人脸图像等，具体如何获取可以根据实际情况灵活决定。
在一种可能的实现方式中，人脸图像可以是从人脸图像帧序列中获取的图像，人脸图像帧序列可以是包含多帧人脸图像的帧序列，其实现方式在本公开实施例中不做限制。从人脸图像帧序列中获取人脸图像的方式在本公开实施例中也不做限定，可以是从人脸图像帧序列中随机进行采样来获取人脸图像，也可以是根据预设要求从人脸图像帧序列中选定人脸图像。
步骤S11中获取的人脸图像的数量在本公开实施例中不做限定，可以根据实际情况灵活选择。后续各公开实施例均以获取单个人脸图像为例进行说明，获取多个人脸图像后的方式，可以参考后续各公开实施例进行灵活扩展，在本公开实施例中不再赘述。
目标神经网络可以是对人脸图像进行处理的神经网络，其实现形式可以根据实际情况灵活决定。如上述公开实施例所述，在一种可能的实现方式中，目标神经网络可以包括至少两个神经网络分支。其中，目标神经网络包含的神经网络分支的数量、各神经网络分支的实现形式以及连接关系等，均可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。
通过上述公开实施例还可以看出，利用目标神经网络包括的至少两个神经网络分支，可以对人脸图像中人脸以及至少一个人脸器官进行处理，来得到人脸关键点信息集合。其中，人脸关键点信息集合可以是人脸图像中包含的人脸关键点的相关信息，包含哪些信息内容可以根据实际情况灵活决定。在一种可能的实现方式中，人脸关键点信息集合可以包括人脸的关键点信息以及人脸器官的关键点信息。
其中，人脸的关键点信息可以包括：对人脸中各部位或器官进行定位，从而确定人脸整体情况的关键点，比如人脸中眼睛、嘴巴、鼻子或是眉毛等器官上的关键点，以及人脸面颊、额头或下巴等部位上的关键点等。
人脸的关键点信息的数量以及具体包含人脸中的哪些关键点，这些情况均可以根据实际情况进行灵活设定，在本公开实施例中不做限制。在一种可能的实现方式中，人脸的关键点的数量可以在68至128个这一区间内，设定的具体数量可以根据实际情况灵活选择。在一个示例中，可以设定人脸的关键点的数量为106个，记为Face 106，在这种情况下，目标神经网络中的神经网络分支可以对输入的人脸图像进行人脸的关键点信息检测，从而输出106个人脸的关键点信息。
人脸器官的关键点信息可以包括：人脸中各部位或器官中所包含的，可以用于确定人脸局部部位或器官情况的关键点，比如人脸中眼睛、嘴巴、鼻子或是眉毛等器官中所包含的关键点等。相比于上述公开实施例中提到的人脸的关键点信息来说，人脸器官的关键点信息可能与人脸的关键点信息描述同一人脸上的部位或器官，但是由于人脸的关键点信息用于确定人脸的整体情况，而人脸器官的关键点信息用于确定该部位或器官的局部情况，因此人脸器官的关键点信息相对于描述同一部位或器官的人脸的关键点信息来说，关键点的数量可能更多，在相应部位或器官上的分布也可能更加密集。
在一种可能的实现方式中，人脸器官的关键点的数量以及具体包含人脸中哪些器官或部位的关键点，这些情况均可以根据实际情况进行灵活设定，在本公开实施例中不做限制。在一种可能的实现方式中，嘴部的关键点的数量可以在40至80个这一区间内，左眼的关键点数量可以在16至32个这一区间内，右眼的关键点数量也可以在16至32个这一区间内，左眉毛的关键点的数量可以在10至20个这一区间内，右眉毛的关键点数量也可以在10至20个这一区间内，上述各器官的关键点设定的具体数量可以根据实际情况灵活选择。在一个示例中，可以设定人脸中嘴部的人脸器官的关键点信息数量为64个，记为mouth 64，左眼和右眼的人脸器官的关键点信息数量各为24个，均记为eye 24，左眉毛和右眉毛的人脸器官的关键点信息数量各为13个，均记为eyebrow 13。
在本公开实施例中，通过获取人脸图像，并利用目标神经网络包括的至少两个神经网络分支，对人脸图像中人脸以及至少一个人脸器官进行处理，来得到包括人脸的关键点信息以及人脸器官的关键点信息的人脸关键点信息集合。通过上述过程，可以通过目标神经网络对人脸图像进行端到端的处理，从而同时得到具有较高精度的人脸的关键点信息以及人脸器官的关键点信息，提升了关键点检测的便捷性与精度。
如上述各公开实施例所述，目标神经网络中包含的神经网络分支可以根据实际情况灵活决定，在一种可能的实现方式中，至少两个神经网络分支可以包括用于检测人脸的第一网络分支，以及，用于检测人脸器官的至少一个第二网络分支。
图2示出根据本公开一实施例的关键点检测方法的流程图，如图所示，在一种可能的实现方式中，步骤S12可以包括：
步骤S121，通过第一网络分支对人脸进行检测，得到第一检测结果，第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；
步骤S122，基于第一检测结果以及至少一个第二网络分支，对至少一个人脸器官进行检测，得到第二检测结果，第二检测结果包括人脸器官的关键点信息。
其中，第一网络分支可以是对人脸图像中的人脸进行检测，从而得到人脸的关键点信息的网络结构，其实现形式可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。
第一检测结果可以是第一网络分支对人脸图像中的人脸进行检测，所得到的检测结果。在一种可能的实现方式中，第一检测结果可以包括人脸的关键点信息以及至少一个人脸器官的检测框信息。在一些可能的实现方式中，第一检测结果还可以包括其他的信息，比如还可以包括对人脸图像中的人脸进行特征提取所得到的人脸图像的特征信息，该人脸图像的特征信息可以反映人脸图像中人脸的整体特征，人脸图像的特征的具体实现形式可以详见下述各公开实施例，在此先不做展开。
第二网络分支可以是对人脸图像中人脸的各器官进行检测，从而得到人脸器官的关键点信息的网络结构，其实现形式同样可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。
第二检测结果可以是第二网络分支基于第一检测结果，对人脸图像中人脸的至少一个人脸器官进行检测，所得到的检测结果。在一种可能的实现方式中，第二检测结果可以包括人脸器官的关键点信息。由于第一检测结果是基于人脸图像中的人脸进行检测所得到的反映人脸整体情况的检测结果，基于第一检测结果，来确定第二检测结果中的人脸器官的关键点信息，可以使人脸器官的关键点信息与第一检测结果中人脸的关键点信息更为统一，从而使得人脸关键点信息集合更加精确。第二网络分支如何确定人脸器官的关键点信息，其检测的过程可以详见下述各公开实施例，在此先不做展开。
通过步骤S121和步骤S122所述的过程，可以利用目标神经网络同时得到人脸的关键点信息和人脸器官的关键点信息，一方面可以实现端到端的人脸关键点识别，通过目标神经网络提升了关键点识别的速度和效率，也可以提升后续利用关键点进行跟踪等处理的效率；另一方面由于人脸器官的关键点信息可以基于第一检测结果来确定，因此可以利用反映人脸整体情况的第一检测结果对人脸器官的关键点信息进行定位，从而使得得到的人脸关键点信息集合在人脸整体和局部器官中的位置较为统一，且均具有较高的精度，有效提升了识别出的关键点的准确度。
在一种可能的实现方式中，步骤S121可以包括：
根据第一网络分支的输出，得到人脸的关键点信息以及至少一个人脸器官的检测框信息。
在一些实施例中，步骤S121还可以包括：根据第一网络分支中至少一个网络层输出的中间特征，得到人脸图像的特征信息。
其中，由于第一网络分支可以是对人脸图像进行人脸的关键点信息检测的网络结构，因此，在将人脸图像作为输入的情况下，在一种可能的实现方式中，可以根据第一网络分支的输出，来得到人脸的关键点信息。
至少一个人脸器官的检测框信息，可以是表示人脸图像中各器官位置的检测框，具体表达人脸图像中哪些器官的位置，可以根据实际情况灵活设定，在本公开实施例中不做限制。检测框的形状以及实现形式均可以根据实际情况灵活决定，不同器官的检测框的形状与实现形式可以相同，也可以不同。在一种可能的实现方式中，各器官的检测框可以均为矩形框，并可以通过矩形框中顶点的坐标来体现各检测框的位置。在一种可能的实现方式中，目标神经网络的第一网络分支在输出人脸的关键点的同时，也可以同时输出至少一个人脸器官的检测框信息。
人脸图像的特征信息可以是第一网络分支根据人脸图像中的人脸的整体所确定的，反映人脸整体情况的特征信息，该人脸图像的特征信息具体如何获取，以及包含哪些特征数据，其实现方式均可以根据实际情况灵活决定，不局限于下述各公开实施例。
如上述各公开实施例所述，第一网络分支可以的实现形式可以根据实际情况灵活决定。在一种可能的实现方式中，第一网络分支可以通过多个连接的网络层所构成，这些网络层的具体实现形式以及组合形式可以根据实际情况灵活决定，不局限于下述各公开实施例。
在一种可能的实现方式中，第一网络分支可以包括依次连接的浅层特征提取网络结构block 0和深层特征提取网络结构block main，block 0和block main中可以分别包含多个如卷积层、池化层或是分类层等形式的网络层，通过block 0，第一网络分支可以对人脸图像的特征信息进行初步提取，得到的初步提取特征可以输入至block main中进行人脸图像的特征信息的进一步提取，并基于进一步提取的特征进行回归，从而得到第一网络分支的输出，来实现人脸的关键点信息的检测，因此，在一个示例中，block 0提取的初步提取特征可以作为人脸图像的特征信息；在一个示例中，block main提取的深层特征可以作为人脸图像的特征信息；在一个示例中，block 0提取的初步提取特征以及block main进一步提取的深层特征均可以作为人脸图像的特征信息，具体选择哪些特征作为人脸图像的特征信息，可以根据实际情况灵活决定，在本公开实施例中不做限制。
需要注意的是，在本公开实施例中，步骤S1311、步骤S1312与步骤S1313的实现顺序在本公开实施例中不做限定，可以根据实际情况灵活决定。在一种可能的实现方式中，可以同时得到人脸的关键点信息、至少一个器官的检测框以及人脸的整体特征，也可以按照某种顺序分别得到人脸的关键点信息、至少一个器官的检测框以及人脸的整体特征等。
步骤S122的实现形式可以根据实际情况灵活决定。在一种可能的实现方式中，步骤S122可以包括：利用至少一个第二网络分支中的任一第二网络分支，对第二网络分支对应的人脸器官进行检测，得到第二网络分支对应的人脸器官的第二检测结果。
通过上述公开实施例可以看出，在一种可能的实现方式中，人脸中不同器官所包含的人脸器官的关键点信息，可以通过目标神经网络包括的多个第二网络分支分别来进行检测，比如嘴部包含的人脸器官的关键点信息可以通过嘴部的第二网络分支进行检测，眼睛包含的人脸器官的关键点信息可以通过眼睛的第二网络分支进行检测等。因此在一种可能的实现方式中，目标神经网络包含的第二网络分支的数量以及第二网络分支用于检测的器官，其实现形式均可以根据人脸器官的关键点信息的实际情况灵活决定，在目标神经网络包括多个第二网络分支的情况下，各第二网络分支相互独立，即各第二网络分支执行检测的顺序以及过程等均分别进行，不受其他第二网络分支的检测过程或数据的干扰。在一些可能的实现方式中，各第二网络分支的结构可以相同，也可以不同，在本公开实施例中不做限制。在一些可能的实现方式中，各第二网络分支中的检测过程可以相同，也可以不同，在本公开实施例中同样不做限制。
通过利用至少一个第二网络分支中的任一第二网络分支，对第二网络分支对应的人脸器官进行检测，得到第二网络分支对应的人脸器官的第二检测结果。通过上述过程，可以利用多个第二网络分支，对人脸图像中人脸的多个器官分别独立地进行人脸器官检测，提高关键点检测的效率和灵活性。
在一种可能的实现方式中，在第二网络分支中的检测过程可以包括：
从人脸图像中提取出与人脸器官的检测框信息匹配的人脸器官区域；
提取人脸器官区域的特征信息；
基于人脸器官区域的特征信息以及第一检测结果，确定人脸器官的关键点信息。
人脸器官区域可以是人脸图像中包括人脸器官的区域，如上述各公开实施例所述，人脸器官的检测框信息，可以是表示人脸图像中各器官位置的检测框，在一种可能的实现方式中，基于人脸器官的检测框信息，可以确定人脸器官在人脸图像中的位置，因此，可以根据人脸器官的检测框信息，从人脸图像中提取出匹配的人脸器官区域。
提取人脸器官区域的方式在本公开实施例中不做限制，在一种可能的实现方式中，可以根据人脸器官的检测框信息所确定的位置，对人脸图像进行剪切，来得到人脸器官区域。举例来说，在一个示例中，可以利用嘴部器官的检测框，在进行嘴部关键点检测的第二网络分支中，对人脸图像进行剪切，得到嘴部的人脸器官区域。其余器官如眼睛或是眉毛等的剪切形式可以参考上述公开实施例，在此不再赘述。剪切的方式可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。
在得到人脸器官区域以后，第二网络分支可以进一步提取人脸器官区域的特征信息。其中，人脸器官区域的特征信息可以是反映人脸器官局部情况的特征信息，其提取方式可以根据实际情况灵活决定，不局限于下述各公开实施例。在一种可能的实现方式中，可以通过第二网络分支中具有特征提取功能的网络层，对人脸器官区域进行浅层特征提取和/或深层特征提取，并将提取得到的人脸器官区域的浅层特征和/或深层特征作为人脸器官区域的特征信息等。
在得到人脸器官区域的特征信息以后，可以对人脸器官区域的特征信息进行处理，来得到人脸器官的关键点信息。对人脸器官区域的特征信息进行处理的方式在本公开实施例中不做限定，在一种可能的实现方式中，可以通过第二网络分支中具有关键点计算或识别功能的网络层，对人脸器官区域的特征信息进行回归计算，得到人脸器官的关键点信息。在一种可能的实现方式中，也可以通过第二网络分支中具有关键点计算或识别功能的网络层，对人脸器官区域的特征信息，结合第一检测结果中包含的部分或全部信息来进行回归计算，从而确定人脸器官的关键点信息。具体如何根据人脸器官区域的特征信息以及第一检测结果来确定人脸器官的关键点信息，其实现形式可以详见下述各公开实施例，在此先不做展开。
通过从人脸图像中提取出与人脸器官的检测框信息匹配的人脸器官区域，并提取人脸器官区域的特征信息，从而基于人脸器官区域的特征信息以及第一检测结果，确定人脸器官的关键点信息，通过上述过程，可以基于提取的人脸器官区域来进行人脸器官的关键点信息的检测，有效提升人脸器官的关键点的检测精度，从而提升关键点检测方法的整体检测精度；而且提取的人脸区域与第一检测结果包括的人脸器官的检测框信息匹配，因此得到的人脸器官的关键点信息与第一网络分支输出的人脸的关键点信息具有关联性，进一步提升了目标神经网络对人脸关键点检测的整体准确性；同时人脸器官的关键点信息基于人脸器官区域的特征信息以及第一检测结果所确定，由于第一检测结果是对人脸图像中的人脸进行检测所得到的结果，因此基于第一检测结果可以对人脸图像中各器官的位置进行相应的定位参考，使得确定的人脸器官的关键点信息可以具有更高的精度，且与人脸的关键点信息的位置可以更加统一，因此更加提升关键点的检测精度。
如上述各公开实施例所述，第一检测结果可以包括人脸图像的特征信息，因此，在一种可能的实现方式中，在第二网络分支中的检测过程也可以包括：
从人脸图像的特征信息中提取出与人脸器官的检测框信息匹配的人脸器官区域的初始特征信息；
对初始特征信息进行深层特征提取，得到人脸器官区域的特征信息；
基于人脸器官区域的特征信息以及第一检测结果，确定人脸器官的关键点信息。
人脸器官区域的初始特征信息，可以是从人脸图像的特征信息中与人脸器官的区域相关的特征信息，如上述各公开实施例所述，人脸器官的检测框信息，可以是表示人脸图像中各器官位置的检测框，在一种可能的实现方式中，基于人脸器官的检测框信息，可以确定人脸器官区域的特征在人脸图像的特征信息中的位置，因此，可以根据人脸器官的检测框信息，从人脸图像的特征信息中提取出匹配的人脸器官区域的初始特征信息。
提取人脸器官区域的初始特征信息的方式在本公开实施例中不做限制，在一种可能的实现方式中，在人脸图像的特征信息包括人脸图像的特征图的情况下，可以根据人脸器官的检测框信息所确定的位置，对人脸图像的特征图进行剪切，来得到人脸器官区域的初始特征。举例来说，在一个示例中，可以利用左眼器官的检测框，在进行左眼关键点检测的第二网络分支中，对人脸图像的特征图进行剪切，得到左眼的人脸器官区域的初始特征信息。其余器官如嘴巴或是眉毛等的剪切形式可以参考上述公开实施例，在此不再赘述。剪切的方式可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。
在得到人脸器官区域的初始特征信息以后，第二网络分支可以进一步对初始特征信息进行深层特征提取，得到人脸器官区域的特征信息。其中，人脸器官区域的特征信息的实现形式可以详见上述各公开实施例，在此不再赘述，对初始特征信息进行深层特征提取的方式在本公开实施例中也不做限制，在一些可能的实现方式中，可以通过第二网络分支中具有特征提取功能的网络层，对人脸器官区域的初始特征信息进行进一步地深层特征提取，并将提取得到的人脸器官区域的深层特征作为人脸器官区域的特征信息等。
在得到人脸器官区域的特征信息以后，可以基于人脸器官区域的特征信息以及第一检测结果，确定人脸器官的关键点信息，这一过程的具体实现方式可以参考上述公开实施例，在此不再赘述。
通过从人脸图像的特征信息中提取出与人脸器官的检测框信息匹配的人脸器官区域的初始特征信息，并对初始特征信息进行深层特征提取得到人脸器官区域的特征信息，从而基于人脸器官区域的特征信息以及第一检测结果，确定人脸器官的关键点信息，通过上述过程，可以使得第二网络分支和第一网络分支共享部分的特征提取的网络层结构，一方面可以减少特征提取的耗时，提高关键点检测的效率，另一方面还可以利用到人脸图像的特征信息中反映的人脸全脸的信息，提高确定的人脸器官的关键点信息的稳定性。
如上述公开实施例所述，提取人脸器官区域的方式可以根据实际情况灵活决定。在一种可能的实现方式中，从人脸图像中提取出与人脸器官的检测框信息匹配的人脸器官区域可以包括：
根据检测框信息，确定人脸器官在人脸图像中的位置坐标；
通过第二网络分支的感兴趣区域校准层，在位置坐标的精度下，提取与人脸器官的检测框信息匹配的人脸器官区域。
如上述各公开实施例所述，人脸器官的检测框信息，可以是表示人脸图像中各器官位置的检测框，因此，基于检测框信息，可以确定人脸器官在人脸图像中的位置坐标。
在确定人脸器官在人脸图像中的位置坐标以后，可以通过第二网络分支的感兴趣区域校准层，在位置坐标的精度下，提取人脸器官区域。
其中，位置坐标的精度可以是位置坐标的数值精度，在一个示例中，检测框信息中检测框的顶点坐标可以为浮点数，则基于检测框信息所确定的位置坐标的精度可以与检测框的顶点坐标的浮点位数一致；在一个示例中，检测框的顶点坐标可以为整数，则位置坐标的精度可以为整数。
感兴趣区域校准层(Region Of Interest Align，ROI Align)可以是具有图像剪切功能的网络层，其实现形式在本公开实施例中不做限制。通过上述公开实施例可以看出，在一种可能的实现方式中，感兴趣区域校准层在对人脸图像进行剪切的过程中，剪切的精度可以与人脸器官在人脸图像中的位置坐标的精度一致，因此，在一种可能的实现方式中，在位置坐标的精度为浮点数的情况下，感兴趣区域校准层可以是能在浮点精度下进行图像剪切的网络层，因此，任意具有该功能的网络层均可以作为感兴趣区域校准层的实现形式。
通过根据检测框信息，确定人脸器官在人脸图像中的位置坐标；并通过第二网络分支的感兴趣区域校准层，在位置坐标的精度下，提取与人脸器官的检测框信息匹配的人脸器官区域，通过上述过程，可以有效提升提取的人脸器官区域的精度，继而提升基于该人脸器官区域所确定的人脸器官的关键点信息的精度，从而提升关键点检测的精度。
在一些可能的实现方式中，从人脸图像的特征信息中提取人脸器官区域的初始特征信息的方式，可以参考上述从人脸图像中提取人脸器官区域的方式来实现，在此不再赘述。
在一种可能的实现方式中，基于人脸器官区域的特征信息以及第一检测结果，确定人脸器官的关键点信息，可以包括：
将人脸器官区域的特征信息与人脸图像的特征信息和/或人脸的关键点信息进行至少一次融合处理，得到融合特征信息；
根据融合特征信息，得到人脸器官的关键点信息。
如上述各公开实施例所述，人脸器官区域的特征信息，可以是第二网络分支中，对人脸器官区域和/或人脸器官区域的特征信息进行提取所得到的特征信息，其实现形式可以参考上述各公开实施例，在此不再赘述。
由于人脸器官区域是从人脸图像中提取的区域，提取的精度可能会影响人脸器官区域的特征信息的精度，从而进一步影响确定的人脸器官的关键点信息的精度。因此，在一种可能的实现方式中，为了提高确定的人脸器官的关键点信息的精度，可以将第一网络分支中所得到的第一检测结果中的人脸图像的特征信息和/或人脸的关键点信息，与人脸器官区域的特征信息进行融合，来得到融合特征信息，由于人脸图像的特征信息和/或人脸的关键点信息是基于完整的人脸图像所得到的，可以体现出人脸的整体，因此根据融合特征信息来进一步回归得到的人脸器官的关键点信息，可以与得到的人脸的关键点信息具有较为统一的位置信息，因此具有较高的精度。
具体地，在进行特征融合的过程中，是与哪些对象进行融合，在本公开实施例中不做限制。
图3示出根据本公开一应用示例的示意图，如图所示，在一个示例中，经过各第二分支的特征提取模块(如嘴部特征提取模块、左眼特征提取模块以及右眉毛特征提取模块等)进行特征提取后，可以得到各人脸器官区域的特征信息，这些人脸器官区域的特征信息可以与图中第一分支输出的106人脸整体关键点(即人脸的关键点信息)分别进行一次融合，融合的形式可以为连接或其他形式等，来得到融合特征信息(图中未标明)，融合特征信息可以进一步通过计算得到各第二分支输出的人脸器官的关键点(如64个嘴部人脸器官关键点、24个左眼人脸器官关键点以及13个右眉毛人脸器官关键点等)。
图4示出根据本公开一应用示例的示意图，如图所述，在一个示例中，经过各第二分支的特征提取模块(如嘴部特征提取模块、左眼特征提取模块以及右眉毛特征提取模块等)进行特征提取后，可以得到各人脸器官区域的特征信息，这些人脸器官区域的特征信息可以与图中第一分支的浅层特征提取模块所提取的人脸图像的特征信息分别进行一次融合，融合的形式可以为相加或其他形式等，来得到融合特征信息(图中未标明)，融合特征信息可以进一步通过计算得到各第二分支输出的人脸器官的关键点(如64个嘴部人脸器官关键点、24个左眼人脸器官关键点以及13个右眉毛人脸器官关键点等)。
在一些可能的实现方式中，图3中的106人脸整体关键点(即人脸的关键点信息)与图4中的人脸图像的特征信息可以均与各人脸器官区域的特征信息进行融合。
在一些可能的实现方式中，人脸器官区域的特征信息还可以与人脸的关键点信息以及人脸图像的特征信息均进行融合。
上述各公开实施例还提出，人脸图像的特征信息可以包含第一网络分支中某个网络层或某些网络层所提取的特征等，因此，在将人脸器官区域的特征信息与人脸图像的特征信息进行融合的过程中，可以是与第一网络分支中任意网络层提取的特征进行融合，具体选择哪些网络层提取的特征，是深层特征还是浅层特征等，均可以根据实际情况灵活决定，在本公开实施例中不做限制。在获取融合特征信息的过程中，具体进行几次融合，可以根据融合的对象灵活决定，因此在本公开实施例中同样不做限制。
融合的方式也可以随着融合的对象不同而灵活发生变化，详见下述各公开实施例，在此先不做展开。
在得到融合特征信息以后，可以在第二网络分支中处理对应的融合特征信息，从而得到输出的人脸器官的关键点信息，其中，第二网络分支对融合特征信息的处理方式在本公开实施例中不做限制，可以根据实际情况灵活选择。在一种可能的实现方式中，可以通过回归层或是分类层等网络层对融合特征信息进行处理，来得到输出的人脸器官的关键点信息；在一种可能的实现方式中，也可以通过多个网络层所组成的网络结构对融合特征信息进行处理，来得到输出的人脸器官的关键点信息等。
通过将人脸器官区域的特征信息与人脸图像的特征信息和/或人脸的关键点信息进行至少一次融合处理，得到融合特征信息；并根据融合特征信息，得到人脸器官的关键点信息。通过上述过程，可以将第一网络分支所得到的反映人脸整体情况的人脸图像的特征信息和/或人脸的关键点信息，应用到人脸器官的关键点的检测过程中，从而使得得到的人脸器官的关键点信息与人脸的关键点信息结果相统一，具有更高的精度。
如上述公开实施例所述，融合的方式在本公开实施例中不做限制。在一种可能的实现方式中，融合处理可以包括以下操作中的至少一种：连接、相加、加权融合以及注意力特征融合。
其中，连接可以是将融合的对象直接进行拼接来实现融合；相加则可以是将融合的对象在对应像素上进行相加，来得到融合后的特征；加权融合可以是对融合的对象赋予一定的预设权重，从而根据预设权重进行相加来实现融合；注意力特征融合可以是根据注意力机制，对融合的对象通过连接以及跳跃连接等操作来实现融合。
通过上述过程，可以将人脸器官区域的特征信息与人脸图像的特征信息和/或人脸的关键点信息，实现多种形式的融合，从而进一步增加融合特征信息的全面性和准确性，继而提升基于融合特征信息所得到的人脸器官的关键点信息的准确度。
在一种可能的实现方式中，本公开实施例中提出的关键点检测方法还可以包括：
获取人脸器官的关键点信息中符合预设精度的人脸器官的关键点；
根据符合预设精度的人脸器官的关键点，对人脸的关键点信息中与人脸器官对应位置的人脸的关键点进行替换，得到更新的人脸的关键点信息。
其中，预设精度的精度情况可以根据实际情况灵活设定，在本公开实施例中不做限制，可以是人为设置的某个精度，也可以是人脸的关键点信息的精度等。
由于人脸器官的关键点信息可以基于人脸图像中的人脸器官区域所确定，在一些可能的实现方式中，人脸器官的关键点可能具有较高的精度。又由于确定的人脸的关键点信息以及人脸器官的关键点信息中，可能包含位置相同的同一关键点，因此，在一些可能的实现方式中，在人脸的关键点存在位置对应的人脸器官的关键点，且人脸器官的关键点符合预设精度的情况下，可以将人脸器官的关键点作为对应位置的人脸的关键点，从而实现对人脸的关键点信息的替换，得到更新的人脸的关键点信息。
通过获取人脸器官的关键点信息中符合预设精度的人脸器官的关键点，并根据符合预设精度的人脸器官的关键点，对人脸的关键点信息中与人脸器官对应位置的人脸的关键点进行替换，得到更新的人脸的关键点信息，可以进一步提升关键点检测的精度，得到符合精度需求的关键点。
在一种可能的实现方式中，本公开实施例中提出的关键点检测方法，还可以包括：
对人脸器官的关键点信息在人脸器官区域中的位置进行转换，得到人脸器官的关键点信息在人脸图像中的位置。
在一种可能的实现方式中，由于人脸器官的关键点信息可以是基于人脸器官区域进行提取所得到的，因此，得到的人脸器官的关键点的位置可能是在人脸器官区域中的位置，而人脸的关键点由于是基于对人脸图像进行处理所得到的，因此人脸的关键点的位置可能是在人脸图像中的位置。
因此，在一种可能的实现方式中，可以对人脸器官的关键点信息在人脸器官区域中的位置进行转换，来得到人脸器官的关键点信息在人脸图像的位置。转换的方式在本公开实施例中不做限制，在一种可能的实现方式中，可以根据人脸图像与人脸器官区域的顶点或是中心点坐标等，来确定人脸图像与人脸器官区域之间的位置变换关系，并基于该位置变换关系，对人脸器官的关键点在人脸器官区域中的位置进行位置变换，从而得到人脸器官的关键点在人脸图像中的位置。
通过对人脸器官的关键点信息在人脸器官区域中的位置进行转换，得到人脸器官的关键点信息在人脸图像中的位置，可以将人脸的关键点信息和人脸器官的关键点信息的位置进行统一，便于后续对人脸中各关键点的分析和操作处理。
在一些可能的实现方式中，也可以将人脸的关键点信息在人脸图像中的位置转换到人脸器官区域中，或是将某人脸器官的关键点信息在对应的人脸器官区域中的位置，转换到其他人脸器官区域中等，也可以将人脸的关键点信息以及各人脸器官的关键点信息均转换至某一预设的图像坐标系下等，具体如何转换可以根据实际情况灵活选择，不局限于上述各公开实施例。
在一种可能的实现方式中，目标神经网络还可以包括至少一个第三网络分支，至少一个第三网络分支可以用于根据人脸的关键点信息进行人脸状态的检测。
其中，第三网络分支用于获取人脸图像在某种或某些状态下的检测结果，其中的状态可以是人脸图像中反映人脸情况的状态，具体包含哪些状态可以根据实际情况灵活设定。在一些可能的实现方式中，状态可以是人脸本身的状态，比如人脸中的眼睛是睁眼还是闭眼，人脸对应的对象是哪一对象等；在一些可能的实现方式中，状态也可以是人脸在图像中的情况状态，比如人脸在图像中是否被遮挡等。
第三网络分支可以检测的状态数量在本公开实施例中也不做限制，在一种可能的实现方式中，一个第三网络分支可以输出人脸图像在一个状态下的检测结果，在一种可能的实现方式中，一个第三网络分支也可以输出人脸图像在多个状态下的检测结果。
目标神经网络包含的第三网络分支的数量在本公开实施例中也不做限制，在一种可能的实现方式中，目标神经可以包含多个第三网络分支，通过多个第三网络分支，可以分别对人脸图像实现多种状态的检测；在一种可能的实现方式中，目标神经也可以仅包含一个第三网络分支，通过该第三网络分支，可以对人脸图像实现某个状态的检测，也可以对人脸图像实现多个状态的检测等。
目标神经网络中第三网络分支的位置在本公开实施例中也不做限制，可以根据实际情况灵活设定，不局限于下述各公开实施例。在一种可能的实现方式中，第三网络分支可以与第一网络分支的输出相连接，在一种可能的实现方式中，第三网络分支也可以与第一网络分支的特征提取层相连接，在一些可能的实现方式中，第三网络分支也可以与某个或某些第二网络分支相连接等。
通过包括至少一个第三网络分支的目标神经网络，一方面，可以进一步对人脸图像进行状态检测，从而对得到的人脸关键点信息集合的精度等进行辅助判断；另一方面，还可以进一步实现端到端的关键点检测，同时便于引入新的检测模型，实现端到端的人脸状态检测等。
在一种可能的实现方式中，本公开实施例中提出的方法还可以包括：
步骤S13，根据人脸关键点信息集合，对人脸图像所在的人脸图像帧序列中的人脸进行追踪。其中，如何利用检测到的关键点对人脸图像进行追踪，其实现方式可以根据实际情况灵活决定，不局限于下述各公开实施例，在一种可能的实现方式中，步骤S13可以包括：
根据人脸的关键点信息和/或人脸器官的关键点信息，确定至少一个目标关键点；
将人脸图像在人脸图像帧序列中的下一帧图像作为目标人脸图像，根据至少一个目标关键点，对目标人脸图像进行校正，得到校正后的目标人脸图像；
将校正后的目标人脸图像输入目标神经网络，根据目标神经网络的输出，对人脸图像与目标人脸图像中的相同对象进行跟踪。
人脸图像帧序列中的对象可以是人脸图像中包含的人脸所对应的对象，如上述各公开实施例所述，人脸图像中可能包含多个人脸，因此本公开实施例中提出的关键点检测方法，可以对单个对象进行跟踪，也可以对多个对象进行跟踪。
目标关键点可以是跟踪过程中，用于判断对象位置的关键点，具体选择哪些点作为目标关键点，在本公开实施例中不做限定，不局限于下述各公开实施例。在一种可能的实现方式中，可以将人脸的关键点信息作为目标关键点，在一种可能的实现方式中，也可以将人脸器官的关键点信息作为目标关键点，在一种可能的实现方式中，也可以将人脸的关键点信息和人脸器官的关键点信息作为目标关键点，在一种可能的实现方式中，还可以根据跟踪实际需求，将人脸器官的关键点信息中的部分关键点替换至人脸的关键点信息中，得到目标关键点。
在确定至少一个目标关键点以后，可以将人脸图像帧序列中，人脸图像的下一帧图像作为目标人脸图像，并基于目标关键点，对目标人脸图像进行校正，来得到校正后的目标人脸图像。
其中，校正的方式可以根据实际情况灵活选择，详见下述各公开实施例，在此先不做展开。由于目标人脸图像是人脸图像在人脸图像帧序列中的下一帧图像，因此目标人脸图像中的人脸相对于人脸图像中的人脸来说，可能发生移动(平移或是旋转等)，如果目标人脸图像相对于人脸图像的移动较大，直接将目标人脸图像输入至目标神经网络进行处理，可能无法检测到目标人脸图像中的人脸的关键点信息或是人脸器官的关键点信息等。因此，在一种可能的实现方式中，可以利用人脸图像对应的至少一个目标关键点，对目标人脸图像进行校正，使得校正后的目标人脸图像可以在目标神经网络中具有较为准确的关键点检测结果，从而使得跟踪可以持续进行，提升跟踪的持续性和准确性。
在得到校正后的目标人脸图像以后，校正后的目标人脸图像可以作为新的人脸图像，输入至目标神经网络，通过上述各公开实施例中提出的关键点检测方法进行处理，来得到相应的人脸的关键点信息和/或人脸器官的关键点信息，继而确定该新的人脸图像的目标关键点，通过比较人脸图像与新的人脸图像(即校正后的目标人脸图像)中相对应的目标关键点的变化情况，可以确定对象的位置变化过程，实现对对象的跟踪。在一些可能的实现方式中，还可以在人脸图像帧序列中，继续获取新的人脸图像的下一帧图像作为新的目标人脸图像，并重复上述各公开实施例中的过程，来对人脸图像帧序列中的对象进行连续跟踪。
通过根据人脸的关键点信息和/或人脸器官的关键点信息，确定目标关键点，并根据目标关键点对目标人脸图像进行校正，从而基于校正后的目标人脸图像在目标神经网络中的输出，对人脸图像与目标人脸图像中的相同对象进行跟踪，通过上述过程，可以在人脸图像所在的人脸图像帧序列中，基于当前帧的关键点检测结果，对下一帧图像进行预先校正，从而提升人脸图像帧序列中各帧图像进行关键点检测的可行性和准确度，继而提升跟踪的持续性和准确性。
如上述各公开实施例所述，校正的过程可以根据实际情况灵活决定，在一种可能的实现方式中，根据至少一个目标关键点，对目标人脸图像进行校正，得到校正后的目标人脸图像，可以包括：
根据至少一个目标关键点，结合预设模板，得到仿射变换矩阵；
通过仿射变换矩阵，对目标人脸图像向预设模板的方向进行校正，得到校正后的目标人脸图像。
其中，预设模板可以是预先设定的平均人脸姿态(meanpose)，该预设模板中人脸的具体姿态可以根据实际情况灵活设定，在本公开实施例中不做限制。由于目标关键点可以反映人脸图像中人脸的姿态，因此根据至少一个目标关键点和预设模板进行计算，可以确定人脸图像中人脸相对于预设模板中人脸的移动情况，该移动情况可以通过仿射变换矩阵的形式进行表示。具体如何计算得到仿射变换矩阵，可以根据预设目标和目标关键点的实际情况所确定，在本公开实施例中不做限制。
得到仿射变换矩阵以后，由于目标人脸图像是人脸图像的下一帧图像，因此目标人脸图像中的人脸相对于人脸图像中的人脸进行进一步移动，而通过反映人脸图像中人脸移动情况的仿射变换矩阵，对目标人脸图像进行仿射变换，可以将目标人脸图像中的人脸移动至与预设目标中的人脸姿态更为接近的情况，即得到的校正后的目标人脸图像中的人脸更接近于预设模板中的人脸方向。通过仿射变换矩阵对目标人脸图像进行校正的过程可以参考仿射变换的过程，在本公开实施例中不做限定。
通过上述校正过程，将校正后的目标人脸图像输入至目标神经网络，一方面更容易得到关键点检测结果，在人脸图像帧序列中的人脸图像具有较大角度偏移的情况下，也可以通过校正提升关键点检测的成功率，另一方面也可以提升得到的关键点检测结果的精度，继而提升跟踪的精度。
在一种可能的实现方式中，本公开实施例中的人脸图像还可以为包含关键点标注的人脸图像。如上述各公开实施例所述，本公开实施例中提出的关键点检测方法，可以基于目标神经网络进行实现，因此，在一种可能的实现方式中，还可以将基于包含关键点标注的人脸图像，对目标神经网络进行训练，在这种情况下，本公开实施例中提出的方法可以用于对目标神经网络进行训练。
在人脸图像包括关键点标注的情况下，为了实现训练，该关键点标注可以包含人脸的关键点信息标注和/或人脸器官的关键点信息标注，其中，人脸的关键点信息标注可以是对人脸图像中人脸的关键点信息的实际位置所进行的标注，人脸器官的关键点信息标注可以是对人脸图像中人脸器官的关键点信息的实际位置所进行的标注，标注的方式在本公开实施例中不做限制，在一个示例中，可以通过人工手动对人脸图像中的人脸的关键点信息以及人脸器官的关键点信息进行标注；在一个示例中，也可以是通过机器来对人脸图像中的人脸的关键点信息以及人脸器官的关键点信息进行自动化标注等。
在一些可能的实现方式中，在目标神经网络还包括至少一个第三网络分支的情况下，人脸图像还可以包含第三网络分支所对应的人脸状态的标注，举例来说，目标神经网络还包含用于检测人脸中眼睛开闭状态的第三网络分支的情况下，可以根据人脸图像中眼睛的真实开闭情况，对人脸图像进行眼睛开闭状态的标注。
图5示出根据本公开一实施例的关键点检测方法的流程图，如图所述，在一种可能的实现方式中，在人脸图像包括关键点标注的情况下，本公开实施例中提出的关键点检测方法可以包括：
步骤S11，获取人脸图像。
步骤S12，利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。
步骤S14，根据关键点标注以及人脸关键点信息集合，确定目标神经网络的误差损失。
步骤S15，根据误差损失，对目标神经网络中的至少两个神经网络分支的参数进行共同更新。
其中，步骤S11～步骤S12的实现形式可以参考上述各公开实施例，在此不再赘述。
在一种可能的实现方式中，在人脸图像可以包括关键点标注的情况下，步骤S12的实现形式可以参考上述各公开实施例，其中，在步骤S12通过步骤S121和步骤S122实现的情况下，在一种可能的实现方式中，在步骤S122之前，步骤S12还可以包括：
对至少一个人脸器官的检测框进行增强处理，其中，增强处理包括：伸缩变换处理和/或平移变换处理。
其中，检测框信息可以是第一网络分支输出的人脸器官的检测框信息，在此不再赘述。在一种可能的实现方式中，为了增强训练过程中数据的丰富度，可以对检测框信息进行增强处理，比如上述公开实施例中提到的伸缩变换处理和/或平移变换处理等。
伸缩变换处理可以是对得到的检测框信息中的检测框进行扩展或压缩，在一种可能的实现方式中，可以是在预设伸缩范围下，对检测框进行随机的伸缩变换，预设伸缩范围的数值可以根据实际情况灵活设定，不局限于下述各公开实施例。在一个示例中，预设伸缩范围可以是检测框大小的0.9倍～1.1倍之间。
平移变换处理可以是对得到的检测框信息中的检测框进行整体位置的移动，在一种可能的实现方式中，可以是在预设平移范围下，对检测框进行随机的平移，预设平移范围同样可以根据实际情况灵活设定，在一个示例中，预设平移范围可以是检测框在平移方向上长度的±0.05倍之间，其中，±中的“+”和“-”分别代表平移方向以及平移方向的反方向。
在得到增强处理的检测框信息后，可以通过步骤S122，利用包含增强后的检测框信息的第一检测结果，以及至少一个第二网络分支，对至少一个人脸器官进行检测得到第二检测结果，检测的具体方式可以参考上述各公开实施例，在此不再赘述。
通过对至少一个人脸器官的检测框信息进行增强处理，可以增加用于训练目标神经网络的训练数据的丰富度，从而使得训练后的目标神经网络在不同的输入数据下均得到较好的关键点检测效果，提升目标神经网络的处理精度和鲁棒性，从而提升关键点检测的准确性。
在得到上述人脸关键点信息集合以后，可以通过步骤S14，根据人脸图像中标注的人脸的关键点信息和人脸器官的关键点信息的实际位置，来确定预测的关键点与标注的关键点之间的误差，从而确定目标神经网络的误差损失。并通过步骤S15，利用误差损失对第一网络分支以及第二网络分支中的参数进行共同更新。
步骤S14中，确定误差损失的具体过程可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。在确定误差损失以后，可以根据误差损失对目标神经网络中的各参数进行反向更新，通过上述各公开实施例可以看出，本公开实施例中的目标神经网络可以包括第一网络分支以及至少一个第二网络分支，因此，在一种可能的实现方式中，在对目标神经网络的参数进行更新的过程中，第一网络分支和第二网络分支的参数更新可以同时进行，即第一网络分支和第二网络分支中的参数可以依据两个网络的输出进行共同优化，从而使得训练后得到的目标神经网络，可以在人脸的关键点信息的检测和人脸器官的关键点信息的检测过程中，达到全局最优的效果。
在一些可能的实现方式中，在目标神经网络还包含至少一个第三网络分支的情况下，至少一个第三网络分支可以与第一网络分支和第二网络分支共同进行训练，即第三网络分支的参数可以与第一网络分支以及第二网络分支共同更新；在一些可能的实现方式中，第三网络分支也可以单独进行训练，即在更新第三网络分支的参数的过程中，可以固定第一网络分支以及第二网络分支的参数。
通过根据人脸图像，确定目标神经网络的误差损失，并根据误差损失，对第一网络分支和至少一个第二网络分支中的参数进行共同更新，通过上述过程，可以对第一网络分支和至少一个第二网络分支进行共同训练，从而使得训练后的目标神经网络所得到的人脸的关键点信息检测结果和人脸器官的关键点信息检测结果具有一致性，并且都具有较高的检测精度。
如上述公开实施例所述，步骤S14的实现方式可以根据实际情况灵活决定。在一种可能的实现方式中，步骤S14可以包括以下过程中的至少一种：
根据人脸的关键点信息与人脸的关键点信息标注之间的第一误差，确定目标神经网络的误差损失；
根据人脸器官的关键点信息与人脸器官的关键点信息标注之间的第二误差，确定目标神经网络的误差损失；
根据人脸的关键点信息标注和/或人脸器官的关键点信息标注，确定人脸图像中至少一个人脸器官的检测框位置标注，根据至少一个人脸器官的检测框信息与至少一个人脸器官的检测框位置标注之间的第三误差，确定目标神经网络的误差损失。
如上述各公开实施例所述，人脸图像可以包括人脸的关键点信息标注，该标注可以表明训练图像中人脸的关键点信息的实际位置，因此，在一种可能的实现方式中，可以根据人脸的关键点信息标注，与目标神经网络预测的人脸的关键点信息二者之间所形成的第一误差，来确定目标神经网络的误差损失。具体误差损失的计算方式可以根据实际情况灵活设定，在本公开实施例中不做限制。
同理，还可以根据人脸器官的关键点信息标注，与目标神经网络预测的人脸器官的关键点信息二者之间所形成的第二误差，来确定目标神经网络的误差损失，其计算方式同样可以根据实际情况灵活选择。
在一种可能的实现方式中，如上述各公开实施例所述，目标神经网络中的第一网络分支还可以确定至少一个人脸器官的检测框信息，而根据人脸的关键点信息标注和人脸器官的关键点信息标注，也可以对人脸中的各器官进行定位，从而计算出训练图像中各器官的检测框位置，作为人脸图像中的检测框位置标注，因此，在一种可能的实现方式中，还可以根据目标神经网络预测的各器官的检测框信息，与相应的器官的检测框位置标注之间所形成的第三误差，来确定目标神经网络的误差损失，检测框位置标注的计算方式，以及根据第三误差确定目标神经网络的误差损失的计算方式，均可以根据实际情况灵活选择，在本公开实施例中不做限制。
在一种可能的实现方式中，上述各确定目标神经网络的误差损失的方式可以相互结合，具体选择哪种或哪几种方式来共同确定目标神经网络的误差损失，也可以根据实际情况灵活选择，在本公开实施例中不做限制。
在一些可能的实现方式中，在人脸图像还包含人脸状态标注的情况下，也可以根据目标神经网络对人脸图像的状态检测结果，与人脸状态标注之间的误差，来确定目标神经网络的误差损失。
通过上述各种过程来确定目标神经网络的误差损失，可以使得目标神经网络的训练过程更加灵活和丰富，从而使得训练得到的目标神经网络具有更好的关键点检测效果，且得到的人脸的关键点信息和人脸器官的关键点信息具有更高的一致性。
图6示出根据本公开一实施例的关键点检测装置的框图。如图所示，所述关键点检测装置20可以包括：
图像获取模块21，用于获取人脸图像。
关键点检测模块22，用于利用目标神经网络包括的至少两个神经网络分支，对人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。
在一种可能的实现方式中，至少两个神经网络分支包括用于检测人脸的第一网络分支，以及，用于检测人脸器官的至少一个第二网络分支；关键点检测模块用于：通过第一网络分支对人脸进行检测，得到第一检测结果，第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；基于第一检测结果以及至少一个第二网络分支，对至少一个人脸器官进行检测，得到第二检测结果，第二检测结果包括人脸器官的关键点信息。
在一种可能的实现方式中，关键点检测模块进一步用于：利用至少一个第二网络分支中的任一所述第二网络分支，对第二网络分支对应的人脸器官进行检测，得到第二网络分支对应的人脸器官的第二检测结果；其中，在第二网络分支中的检测过程包括：从人脸图像中提取出与人脸器官的检测框信息匹配的人脸器官区域；提取人脸器官区域的特征信息；基于人脸器官区域的特征信息以及第一检测结果，确定人脸器官的关键点信息。
在一种可能的实现方式中，第一检测结果还包括人脸图像的特征信息；关键点检测模块进一步用于：利用至少一个第二网络分支中的任一第二网络分支，对第二网络分支对应的人脸器官进行检测，得到第二网络分支对应的人脸器官的第二检测结果；其中，在第二网络分支中的检测过程包括：从人脸图像的特征信息中提取出与人脸器官的检测框信息匹配的人脸器官区域的初始特征信息；对初始特征信息进行深层特征提取，得到人脸器官区域的特征信息；基于人脸器官区域的特征信息以及第一检测结果，确定人脸器官的关键点信息。
在一种可能的实现方式中，第一检测结果还包括人脸图像的特征信息；关键点检测模块进一步用于：将人脸器官区域的特征信息与人脸图像的特征信息和/或人脸的关键点信息进行至少一次融合处理，得到融合特征信息；根据融合特征信息，得到人脸器官的关键点信息。
在一种可能的实现方式中，关键点检测模块还用于：对至少一个人脸器官的检测框信息进行增强处理，其中，增强处理包括：伸缩变换处理和/或平移变换处理。
在一种可能的实现方式中，装置还用于：获取人脸器官的关键点信息中符合预设精度的人脸器官的关键点；根据符合预设精度的人脸器官的关键点，对人脸的关键点信息中与人脸器官对应位置的人脸的关键点进行替换，得到更新的人脸的关键点信息。
在一种可能的实现方式中，目标神经网络还包括至少一个第三网络分支，至少一个第三网络分支用于根据人脸的关键点信息进行人脸状态的检测。
在一种可能的实现方式中，装置还用于：根据人脸关键点信息集合，对人脸图像所在的人脸图像帧序列中的人脸进行追踪。
在一种可能的实现方式中，人脸的关键点信息中人脸的关键点的数量包括68至128个；和/或，人脸器官的关键点信息中嘴部的关键点的数量包括40至80个；和/或，人脸器官的关键点信息中左眼的关键点的数量包括16至32个；和/或，人脸器官的关键点信息中右眼的关键点的数量包括16至32个；和/或，人脸器官的关键点信息中左眉毛的关键点的数量包括10至20个；和/或，人脸器官的关键点信息中右眉毛的关键点的数量包括10至20个。
在一种可能的实现方式中，人脸图像包括关键点标注，装置还用于：根据关键点标注以及人脸关键点信息集合，确定目标神经网络的误差损失；根据误差损失，对目标神经网络中的至少两个神经网络分支的参数进行共同更新。
应用场景示例
本公开应用示例提出了一种关键点检测方法，可以对人脸图像进行关键点检测。
图3和图7示出根据本公开一应用示例的关键点检测方法示意图，其中图3为关键点检测的应用过程示意图，图7为关键点检测的训练过程示意图，如图3所示，在本公开应用示例中，关键点检测方法可以包括如下过程：
如图所示，在本公开应用示例中，获取的人脸图像输入目标神经网络以后，分别通过目标神经网络中的第一网络分支和五个第二网络分支进行处理。
其中，如图所示，第一网络分支包括依次连接的浅层特征提取模块和主模块，浅层特征提取模块如上述各公开实施例所述的浅层特征提取网络结构block 0，对人脸图像的特征信息进行初步提取，主模块如上述各公开实施例所述的深层特征提取网络结构blockmain，对人脸图像的特征信息进行进一步提取与回归。从图中可以看出，第一网络分支对人脸图像进行处理以后，可以分别输出106个人脸的关键点信息(即图中的106人脸整体关键点)，以及人脸图像中各人脸器官的检测框信息。
进一步地，如图所示，五个第二网络分支相互独立，分别对人脸中的嘴部、左眼、右眼、左眉毛以及右眉毛进行关键点检测。其中，嘴部的第二网络分支包括依次连接的感兴趣区域校准层(ROI Align)以及嘴部特征提取模块，感兴趣区域校准层的实现形式可以参考上述各公开实施例，在此不再赘述。从图中可以看出，感兴趣区域校准层可以根据第一网络分支输出的嘴部的检测框信息，对人脸图像进行剪切，从而得到与预设图像大小相符合的嘴部的人脸器官区域。嘴部特征提取模块可以包括一个或多个用于特征提取的网络层，可以对嘴部的人脸器官区域进行特征提取，得到嘴部的人脸器官区域的特征信息，从图中可以看出，在一个示例中，嘴部的人脸器官区域的特征信息可以与第一网络分支中输出的106个人脸的关键点信息进行融合，得到融合特征信息，融合特征信息通过嘴部的第二网络分支进行回归，可以输出嘴部的人脸器官的关键点信息。如图所示，在本公开应用示例中，嘴部的第二网络分支根据输入嘴部的检测框信息从人脸图像中提取嘴部的人脸器官区域，并将人脸器官区域的特征信息与人脸的关键点信息进行融合，得到融合特征信息，基于融合特征信息可以输出64个嘴部的人脸器官的关键点信息。在一个示例中，这64个嘴部的人脸器官的关键点信息可以与106个人脸的关键点信息，通过上述各公开实施例中提到的位置转换的方式，统一到同一个位置坐标系下。
左眼和右眼的第二网络分支的实现形式可以参考上述嘴部的第二网络分支，在此不再赘述。如图所示，左眼的第二网络分支可以输出24个左眼的人脸器官的关键点信息，右眼的第二网络分支可以输出24个右眼的人脸器官的关键点信息。
左眉毛的第二网络分支的实现形式与上述嘴部的第二网络分支类似，从图中可以看出，在本公开应用示例中，左眉毛的第二网络分支可以利用感兴趣区域校准层，基于左眉毛的检测框信息，从第一网络分支中block 0输出的人脸图像的特征信息中，提取左眉毛的人脸器官区域的初始特征信息，并基于该初始特征信息进行深层特征提取，得到人脸器官区域的特征信息，其余过程均与嘴部的第二网络分支相同。右眉毛的第二网络分支的实现形式可以参考左眉毛，在此不再赘述。从图中可以看出，在本公开应用示例中，左眉毛的第二网络分支可以输出13个左眉毛的人脸器官的关键点信息，右眉毛的第二网络分支可以输出13个右眉毛的人脸器官的关键点信息。
从图中可以看出，在本公开应用示例中，为了对齐人脸器官的关键点信息精度，第二网络分支除了可以输出64个嘴部人脸器官的关键点信息、24个左眼人脸器官的关键点信息、24个右眼人脸器官的关键点信息、13个左眉毛人脸器官的关键点信息以及13个右眉毛人脸器官的关键点信息以外，还可以输出一些与人脸的关键点信息位置对应的人脸器官的关键点信息，这些与人脸的关键点信息位置对应的人脸器官的关键点信息可以替换进第一网络分支输出的106个人脸的关键点信息中，得到最终的106个人脸的关键点信息。
除此以外，本公开应用示例中的目标神经网络也可以包含至少一个第三网络分支，来对人脸图像中人脸的状态进行检测，具体过程详见上述各公开实施例，在此不再赘述。
通过上述过程，可以利用单个目标神经网络来同时得到人脸的关键点信息以及各人脸器官的关键点信息的检测结果，且利用感兴趣区域校准层ROI Align对人脸器官区域进行提取，既节约了整个流程中的处理时间，降低了关键点检测的总耗时，同时也提升了得到的人脸器官区域的精度，继而提升检测得到的人脸器官的关键点信息的精度；同时，在各第二网络分支中，可以将人脸器官区域的特征信息，与第一网络分支输出的人脸的关键点信息进行融合得到融合特征信息，从而根据融合特征信息得到输出的人脸器官的关键点信息，通过上述过程，可以使得人脸器官的关键点信息与人脸的关键点信息更加统一，从而提升关键点检测的精度。
进一步地，由于本公开应用示例提出的关键点检测方法可以通过目标神经网络，因此，本公开应用示例提出的方法还可以用于对目标神经网络的训练过程。如图7所示，对目标神经网络进行训练的过程与上述应用过程的流程基本一致，区别在于，训练过程中，人脸图像包含各关键点的真值标注，且第一网络分支输出的检测框信息经过增强处理后，再输入至各第二网络分支，增强处理的方式可以参考上述各公开实施例，在此不再赘述。在一个示例中，在训练过程中，为了确定左眉毛和右眉毛的位置，可以根据训练图像中各关键点的真值标注，对左眉毛和右眉毛的检测框位置进行计算，来得到左眉毛和右眉毛的真值检测框(即图中的检测框(真值))，输入至相应的第二网络分支中。在一些可能的实现方式中，在目标神经网络还包含第三网络分支的情况下，训练图像中还可以包含第三网络分支所检测的人脸状态的真值标注。
在训练过程中，第一网络分支和各第二网络分支可以同时进行训练，并共同进行参数优化，从而达到全局最优。通过上述训练过程，可以对整个目标神经网络实现端到端的全局优化，从而提高目标神经网络的关键点检测精度。
本公开应用示例中提出的关键点检测方法，除了可以应用于人脸图像的关键点检测以外，也可以扩展应用于其他图像的处理，比如人体图像、骨骼图像等。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性计算机可读存储介质或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。
在实际应用中，上述存储器可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
电子设备可以被提供为终端、服务器或其它形态的设备。
基于前述实施例相同的技术构思，本公开实施例还提供了一种计算机程序，该计算机程序被处理器执行时实现上述方法。
图8是根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图8，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关人员信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图9是根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图9，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态人员信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种关键点检测方法，其特征在于，包括：
获取人脸图像；
利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。
2.根据权利要求1所述的方法，其特征在于，所述至少两个神经网络分支包括用于检测人脸的第一网络分支，以及，用于检测人脸器官的至少一个第二网络分支；
所述利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行检测，得到人脸关键点信息集合，包括：
通过所述第一网络分支对所述人脸进行检测，得到第一检测结果，所述第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；
基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，所述第二检测结果包括人脸器官的关键点信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，包括：
利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；
其中，在所述第二网络分支中的检测过程包括：
从所述人脸图像中提取出与所述人脸器官的检测框信息匹配的人脸器官区域；
提取所述人脸器官区域的特征信息；
基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。
4.根据权利要求2或3所述的方法，其特征在于，所述第一检测结果还包括所述人脸图像的特征信息；
所述基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，包括：
利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；
其中，在所述第二网络分支中的检测过程包括：
从所述人脸图像的特征信息中提取出与所述人脸器官的检测框信息匹配的人脸器官区域的初始特征信息；
对所述初始特征信息进行深层特征提取，得到所述人脸器官区域的特征信息；
基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。
5.根据权利要求3或4所述的方法，其特征在于，所述第一检测结果还包括所述人脸图像的特征信息；
所述基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息，包括：
将所述人脸器官区域的特征信息与所述人脸图像的特征信息和/或所述人脸的关键点信息进行至少一次融合处理，得到融合特征信息；
根据所述融合特征信息，得到所述人脸器官的关键点信息。
6.根据权利要求2至5中任意一项所述的方法，其特征在于，在所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果之前，还包括：
对所述至少一个人脸器官的检测框信息进行增强处理，其中，所述增强处理包括：伸缩变换处理和/或平移变换处理。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述方法还包括：
获取所述人脸器官的关键点信息中符合预设精度的人脸器官的关键点；
根据所述符合预设精度的人脸器官的关键点，对所述人脸的关键点信息中与所述人脸器官对应位置的人脸的关键点进行替换，得到更新的人脸的关键点信息。
8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述目标神经网络还包括至少一个第三网络分支，所述至少一个第三网络分支用于根据所述人脸的关键点信息进行人脸状态的检测。
9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述方法还包括：
根据所述人脸关键点信息集合，对所述人脸图像所在的人脸图像帧序列中的人脸进行追踪。
10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述人脸的关键点信息中人脸的关键点的数量包括68至128个；和/或，
所述人脸器官的关键点信息中嘴部的关键点的数量包括40至80个；和/或，
所述人脸器官的关键点信息中左眼的关键点的数量包括16至32个；和/或，
所述人脸器官的关键点信息中右眼的关键点的数量包括16至32个；和/或，
所述人脸器官的关键点信息中左眉毛的关键点的数量包括10至20个；和/或，
所述人脸器官的关键点信息中右眉毛的关键点的数量包括10至20个。
11.根据权利要求1至10中任意一项所述的方法，其特征在于，所述人脸图像包括关键点标注，所述方法还包括：
根据所述关键点标注以及所述人脸关键点信息集合，确定所述目标神经网络的误差损失；
根据所述误差损失，对所述目标神经网络中的至少两个神经网络分支的参数进行共同更新。
12.一种关键点检测装置，其特征在于，包括：
图像获取模块，用于获取人脸图像；
关键点检测模块，用于利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至11中任意一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至11中任意一项所述的方法。
CN202011596380.1A 2020-12-29 2020-12-29 关键点检测方法及装置、电子设备和存储介质 Pending CN112597944A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011596380.1A CN112597944A (zh) 2020-12-29 2020-12-29 关键点检测方法及装置、电子设备和存储介质
PCT/CN2021/108612 WO2022142298A1 (zh) 2020-12-29 2021-07-27 关键点检测方法及装置、电子设备和存储介质
TW110127853A TW202226049A (zh) 2020-12-29 2021-07-29 關鍵點檢測方法、電子設備和儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011596380.1A CN112597944A (zh) 2020-12-29 2020-12-29 关键点检测方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112597944A true CN112597944A (zh) 2021-04-02

Family

ID=75204108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011596380.1A Pending CN112597944A (zh) 2020-12-29 2020-12-29 关键点检测方法及装置、电子设备和存储介质

Country Status (3)

Country Link
CN (1) CN112597944A (zh)
TW (1) TW202226049A (zh)
WO (1) WO2022142298A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142298A1 (zh) * 2020-12-29 2022-07-07 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN116499445A (zh) * 2023-06-30 2023-07-28 成都市晶蓉微电子有限公司 一种mems陀螺数字输出单片集成系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789040B (zh) * 2024-02-28 2024-05-10 华南农业大学 一种扰动状态下的茶芽叶姿态检测方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN107832741A (zh) * 2017-11-28 2018-03-23 北京小米移动软件有限公司 人脸特征点定位的方法、装置及计算机可读存储介质
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN107977618A (zh) * 2017-11-28 2018-05-01 上海交通大学 一种基于双层级联神经网络的人脸对齐方法
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN108229293A (zh) * 2017-08-09 2018-06-29 北京市商汤科技开发有限公司 人脸图像处理方法、装置和电子设备
CN108304765A (zh) * 2017-12-11 2018-07-20 中国科学院自动化研究所 用于人脸关键点定位与语义分割的多任务检测装置
CN108319937A (zh) * 2018-03-28 2018-07-24 北京市商汤科技开发有限公司 人脸检测方法及装置
CN108509894A (zh) * 2018-03-28 2018-09-07 北京市商汤科技开发有限公司 人脸检测方法及装置
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109886107A (zh) * 2019-01-15 2019-06-14 北京奇艺世纪科技有限公司 眼部图像处理方法、设备、图像处理设备、介质
CN109948441A (zh) * 2019-02-14 2019-06-28 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN109960974A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 人脸关键点检测方法、装置、电子设备及存储介质
WO2020001082A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于迁移学习的人脸属性分析方法
WO2020134858A1 (zh) * 2018-12-29 2020-07-02 北京市商汤科技开发有限公司 人脸属性识别方法及装置、电子设备和存储介质
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
WO2020155873A1 (zh) * 2019-02-02 2020-08-06 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
WO2020244032A1 (zh) * 2019-06-03 2020-12-10 罗普特科技集团股份有限公司 用于检测人脸图像的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635752B (zh) * 2018-12-12 2021-04-27 腾讯科技（深圳）有限公司 人脸关键点的定位方法、人脸图像处理方法和相关装置
CN112597944A (zh) * 2020-12-29 2021-04-02 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229293A (zh) * 2017-08-09 2018-06-29 北京市商汤科技开发有限公司 人脸图像处理方法、装置和电子设备
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN107832741A (zh) * 2017-11-28 2018-03-23 北京小米移动软件有限公司 人脸特征点定位的方法、装置及计算机可读存储介质
CN107977618A (zh) * 2017-11-28 2018-05-01 上海交通大学 一种基于双层级联神经网络的人脸对齐方法
CN108304765A (zh) * 2017-12-11 2018-07-20 中国科学院自动化研究所 用于人脸关键点定位与语义分割的多任务检测装置
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN109960974A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN108509894A (zh) * 2018-03-28 2018-09-07 北京市商汤科技开发有限公司 人脸检测方法及装置
CN108319937A (zh) * 2018-03-28 2018-07-24 北京市商汤科技开发有限公司 人脸检测方法及装置
WO2020001082A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于迁移学习的人脸属性分析方法
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
WO2020134858A1 (zh) * 2018-12-29 2020-07-02 北京市商汤科技开发有限公司 人脸属性识别方法及装置、电子设备和存储介质
CN109886107A (zh) * 2019-01-15 2019-06-14 北京奇艺世纪科技有限公司 眼部图像处理方法、设备、图像处理设备、介质
WO2020155873A1 (zh) * 2019-02-02 2020-08-06 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN109948441A (zh) * 2019-02-14 2019-06-28 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
WO2020244032A1 (zh) * 2019-06-03 2020-12-10 罗普特科技集团股份有限公司 用于检测人脸图像的方法和装置
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAVINA COLACO等: "Facial expression recognition using deep neural network and decision fusion", 2020 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE IN INFORMATION AND COMMUNICATION (ICAIIC), no. 2020 *
染血白衣: "人脸特征点检测（Facial landmark detection）", pages 1 - 18, Retrieved from the Internet <URL:https://blog.csdn.net/YeziTong/article/details/86177846> *
王茹;贺兴时;杨新社;: "针对二分支神经网络匹配的人脸检测算法研究", 计算机科学与探索, vol. 14, no. 10 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142298A1 (zh) * 2020-12-29 2022-07-07 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN116499445A (zh) * 2023-06-30 2023-07-28 成都市晶蓉微电子有限公司 一种mems陀螺数字输出单片集成系统
CN116499445B (zh) * 2023-06-30 2023-09-12 成都市晶蓉微电子有限公司 一种mems陀螺数字输出单片集成系统

Also Published As

Publication number Publication date
TW202226049A (zh) 2022-07-01
WO2022142298A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
TWI777162B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
CN110674719B (zh) 目标对象匹配方法及装置、电子设备和存储介质
US10930010B2 (en) Method and apparatus for detecting living body, system, electronic device, and storage medium
WO2020199730A1 (zh) 文本识别方法及装置、电子设备和存储介质
CN111612009B (zh) 文本识别方法、装置、设备和存储介质
EP3584745A1 (en) Live body detection method and apparatus, system, electronic device, and storage medium
CN111553864B (zh) 图像修复方法及装置、电子设备和存储介质
CN112597944A (zh) 关键点检测方法及装置、电子设备和存储介质
CN111241887B (zh) 目标对象关键点识别方法及装置、电子设备和存储介质
CN109840917B (zh) 图像处理方法及装置、网络训练方法及装置
CN111243011A (zh) 关键点检测方法及装置、电子设备和存储介质
CN111462238B (zh) 姿态估计优化方法、装置及存储介质
TWI718631B (zh) 人臉圖像的處理方法及裝置、電子設備和儲存介質
CN112991553B (zh) 信息展示方法及装置、电子设备和存储介质
CN111242303A (zh) 网络训练方法及装置、图像处理方法及装置
CN113326768A (zh) 训练方法、图像特征提取方法、图像识别方法及装置
CN109344703B (zh) 对象检测方法及装置、电子设备和存储介质
CN112184787A (zh) 图像配准方法及装置、电子设备和存储介质
CN111091610A (zh) 图像处理方法及装置、电子设备和存储介质
CN112613447A (zh) 关键点检测方法及装置、电子设备和存储介质
CN113722541A (zh) 视频指纹的生成方法及装置、电子设备和存储介质
CN114266305A (zh) 对象识别方法及装置、电子设备和存储介质
CN112949568A (zh) 人脸和人体匹配的方法及装置、电子设备和存储介质
CN113538310A (zh) 图像处理方法及装置、电子设备和存储介质
CN112633203A (zh) 关键点检测方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041546

Country of ref document: HK