CN106295567B - 一种关键点的定位方法及终端 - Google Patents

一种关键点的定位方法及终端 Download PDF

Info

Publication number
CN106295567B
CN106295567B CN201610654125.5A CN201610654125A CN106295567B CN 106295567 B CN106295567 B CN 106295567B CN 201610654125 A CN201610654125 A CN 201610654125A CN 106295567 B CN106295567 B CN 106295567B
Authority
CN
China
Prior art keywords
model
key point
branch
image
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610654125.5A
Other languages
English (en)
Other versions
CN106295567A (zh
Inventor
汪铖杰
李季檩
赵艳丹
倪辉
王亚彪
赵凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610654125.5A priority Critical patent/CN106295567B/zh
Publication of CN106295567A publication Critical patent/CN106295567A/zh
Priority to PCT/CN2017/096229 priority patent/WO2018028546A1/zh
Priority to US16/222,941 priority patent/US10990803B2/en
Application granted granted Critical
Publication of CN106295567B publication Critical patent/CN106295567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种关键点的定位方法及终端。上述方法包括：采集目标图像时，按照预设配置在目标图像上生成用于人脸识别定位的目标检测区域；将目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度；当第一置信度大于等于预设阈值时，获取目标检测区域中的第一人脸关键点的位置对应的第二目标图像；将第二目标图像输入预设的第一模型集合，计算出第二置信度，并根据第二置信度判定第一人脸关键点的位置的准确度；当第二置信度大于等于预设准确度时，确定第一人脸关键点的位置为目标图像的最终人脸关键点的位置。

Description

一种关键点的定位方法及终端
技术领域
本发明涉及计算机视觉领域中的图像识别定位技术，尤其涉及一种关键点的定位方法及终端。
背景技术
用户采集目标对象时会进行各种识别，比如以人脸识别为例，计算机人脸识别将根据人脸来辨别未知人物身份的能力赋予了计算机系统，使得计算机系统基于已知的人脸样本库，利用计算机分析和模式识别技术从静态或者动态的场景中，识别或验证一个或多个人脸，该技术已经被广泛的应用于公共安全，身份识别等场合。人脸识别系统包括有人脸检测、人脸关键点定位、识别和跟踪等步骤，而人脸关键点检测以及跟踪是人脸识别中非常重要的一环，也是人脸验证，人脸识别，以及各种3D人脸建模，人脸的美化、疲劳和分神的判断等应用的基础，因此，人脸关键点的检测及跟踪精度至关重要。
现有技术中，提出了一种使用多个人脸参数模型的人脸关键点定位方法，具体的，根据人脸的姿态，或者其他一些特征对人脸进行分类，并针对每一个人脸的类别进行学习以通过建模得到一个单独的人脸参数模型，也就是说，对于多个类别就需要设计多个人脸参数模型，最后通过判断人脸类别，选择一个相应的人脸参数模型来确定人脸关键点的坐标。
然而，当检测到非人脸区域或人脸关键点定位结果较差时，终端无法自动规避这类错误，这时终端需要引入额外的判定方式进行这类错误的判定，而且在具体处理时，势必占用更多的内存存储空间，导致进行人脸关键点的过程复杂且低效。
发明内容
为解决上述技术问题，本发明实施例期望提供一种关键点的定位方法及终端，能够在使用较小的内存占用量的前提下，判定人脸关键点的跟踪的准确度，提高人脸关键点的跟踪的处理速度。
本发明的技术方案是这样实现的：
本发明实施例提供了一种关键点的定位方法，包括：
采集目标图像时，按照预设配置在所述目标图像上生成用于人脸识别定位的目标检测区域；
将所述目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度；
当所述第一置信度大于等于预设阈值时，获取所述目标检测区域中的所述第一人脸关键点的位置对应的第二目标图像；
将所述第二目标图像输入所述预设的第一模型集合，计算出第二置信度，并根据所述第二置信度判定所述第一人脸关键点的位置的准确度；
当所述第二置信度大于等于预设准确度时，确定所述第一人脸关键点的位置为所述目标图像的最终人脸关键点的位置。
本发明实施例提供了一种终端，包括：
生成单元，用于采集单元采集目标图像时，按照预设配置在所述目标图像上生成用于人脸识别定位的目标检测区域；
输出单元，用于将所述目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度；
获取单元，用于当所述第一置信度大于等于预设阈值时，获取所述目标检测区域中的所述第一人脸关键点的位置对应的第二目标图像；
所述输出单元，还用于将所述第二目标图像输入所述预设的第一模型集合，计算出第二置信度，
判断单元，用于根据所述第二置信度判定所述第一人脸关键点的位置的准确度；
确定单元，用于当所述第二置信度大于等于预设准确度时，确定所述第一人脸关键点的位置为所述目标图像的最终人脸关键点的位置。
本发明实施例提供了一种关键点的定位方法及终端，通过采集目标图像时，按照预设配置在目标图像上生成用于人脸识别定位的目标检测区域；将目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度；当第一置信度大于等于预设阈值时，获取目标检测区域中的第一人脸关键点的位置对应的第二目标图像；将第二目标图像输入预设的第一模型集合，计算出第二置信度，并根据第二置信度判定第一人脸关键点的位置的准确度；当第二置信度大于等于预设准确度时，确定第一人脸关键点的位置为目标图像的最终人脸关键点的位置。采用上述技术实现方案，由于终端在采用预设的第一模型集合进行人脸关键点定位的时候可以同时确定该人脸关键点定位的准确度，在减少了后续重新再进行准确度评判的时间和占用的空间的情况下可以判定人脸关键点的跟踪的准确度，从而提高人脸关键点的跟踪的处理速度。
附图说明
图1为本发明实施例中进行信息交互的各种硬件实体的示意图；
图2为本发明实施例提供的一种关键点的定位方法的框架示意图；
图3为本发明实施例提供的人脸关键点的示意图；
图4为本发明实施例提供的标注目标检测区域的示意图；
图5a为本发明实施例提供的正常人脸图像的第一目标图像在目标检测区域的示意图；
图5b为本发明实施例提供的非人脸图像的第一目标图像在目标检测区域的示意图；
图5c为本发明实施例提供的非正常人脸图像的第一目标图像在目标检测区域的示意图；
图6为本发明实施例提供的正常人脸图像的第一人脸关键点的位置效果图；
图7为本发明实施例提供的非正常人脸图像的第一人脸关键点的位置效果图；
图8为本发明实施例提供的正常人脸图像的第二目标图像在目标检测区域的示意图；
图9为本发明实施例提供的一种模型的训练过程示意图一；
图10为本发明实施例提供的一种模型的训练过程示意图二；
图11为本发明实施例提供的预设的第一模型集合的结构示意图；
图12为本发明实施例提供的一种终端的结构示意图一；
图13为本发明实施例提供的一种终端的结构示意图二；
图14为本发明实施例提供的一种终端的结构示意图三；
图15为本发明实施例提供的一种终端的结构示意图四。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
终端：指移动电子设备，也被称为行动装置(英语：Mobile device)、流动装置、手持装置(handheld device)、可穿戴设备等，是一种基于嵌入式芯片的计算设备，通常有一个小的显示萤幕，触控输入，或是小型的键盘。
机器学习：依托概率论，统计学，神经传播等理论，使计算机能够模拟人类的学习行为，以获取新的知识或者技能，重新组织已有知识结构使之不断改善自身的性能。
模型训练：将人工选择的样本输入给机器学习系统，通过不断调整模型参数，使最终模型对样本识别的准确率达到最优。
如图1所示，为本发明实施例中进行信息交互的系统架构中的各种硬件实体的示意图，图1中包括：一个或多个服务器11～1n、终端设备21-25及网络31，网络31中包括路由器，网关等等网络实体，图1中并未体现。终端设备21-25通过有线网络或者无线网络与服务器11～1n进行业务产品信息交互，以便从终端21-25获取通过用户行为产生相关数据并传输至服务器11～1n。终端设备的类型如图1所示，包括手机(终端23)、平板电脑或PDA(终端25)、台式机(终端22)、PC机(终端24)、一体机(终端21)等类型。其中，终端设备中安装有各种用户所需的应用功能模块，比如具备娱乐功能的应用(如视频应用，音频播放应用，游戏应用，阅读软件)，又如具备服务功能的应用(如地图导航应用、团购应用、拍摄应用等)，再者比如设置应用等系统功能。
基于上述图1所示的系统，以用户所需的应用为拍摄应用为例，在进行人脸识别时，终端设备21-25通过网络31从服务器11～1n中按照需求下载相机应用和/或拍摄应用更新数据包和/或与采集功能应用相关的数据信息或业务信息，采用本发明实施例，在终端设备上开启拍摄应用，进行目标对象的采集工作，采集目标图像时，按照预设配置在目标图像上生成用于人脸识别定位的目标检测区域；将目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度；当第一置信度大于等于预设阈值时，获取目标检测区域中的第一人脸关键点的位置对应的第二目标图像；将第二目标图像输入预设的第一模型集合，计算出第二置信度，并根据第二置信度判定第一人脸关键点的位置的准确度；当第二置信度大于等于预设准确度时，确定第一人脸关键点的位置为目标图像的最终人脸关键点的位置。采用上述技术实现方案，由于终端在采用预设的第一模型集合进行人脸关键点定位的时候可以同时确定该人脸关键点定位的准确度，在减少了后续重新再进行准确度评判的时间和占用的空间的情况下可以判定人脸关键点的跟踪的准确度，从而提高人脸关键点的跟踪的处理速度。
上述图1的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图1所述的系统结构，基于该系统架构，提出本发明各个实施例。
实施例一
本发明实施例提供了一种关键点的定位方法，如图2所示，该方法可以包括：
S101、采集目标图像时，按照预设配置在目标图像上生成用于人脸识别定位的目标检测区域。
本发明实施例中，关键点的定位方法指的是人脸关键点的定位方法，人脸关键点的定位是指通过算法精确找出人脸关键点的位置。其中，人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。
可选的，如图3所示的人脸图像的初始关键点位置的示意图，本发明实施例中的关键点可以有49个关键点。
需要说明的是，本发明实施例中提供的关键点的定位方法的应用场景为：进行人脸识别定位、人脸图像处理、人脸追踪或人脸3D建模等情形中。
可选的，本发明实施例中的目标检测区域为进行目标对象检测而设定的监测区域，例如，人脸检测框等，该人脸检测框可以为矩形、圆形或椭圆等形状，本发明实施例可以根据实际应用设计目标检测区域，并不限制该目标监测区域的形式或形状。
进一步地，本发明实施例中的预设配置是指目标检测框的大小，该预设配置可以随着每次人脸关键点的定位的准确度进行调整，以达到最佳的尺寸用于人脸关键点的定位。其中，预设配置可以自动按照一定规则进行调整，也可以用户进行手动设置的变动，实际的预设配置的调整大小本发明实施例不作限制。
可选的，本发明实施例中的终端可以为手机、平板及电脑等支持人脸识别定位技术的电子设备，且具有采集信息的功能。
具体的，终端支持人脸识别定位技术，在进行人脸关键点的定位时，首先要采集到待识别的目标对象(目标图像)，该终端可以按照预设配置在目标图像上生成用于人脸识别定位的目标检测区域并进行标注，使得标注过后的目标检测区域显示在人脸图像上，以进行人脸关键点的定位。
进一步地，目标图像的目标检测区域的位置可以初始默认位置为目标图像的中心位置，例如，将人脸检测框(目标检测区域)归一化为长度为1时，标注中心在(0，0)的标准人脸检测框。通过后面进行预设的第一模型集合的确定而得到的人脸关键点的位置来决定。
可选的，本发明实施例中的采集目标对象时，终端可以采用终端上设置的摄像头进行目标对象的图像信息采集。
具体的，为了便于用户使用，在有前置摄像头的情况下，终端可以启动前置摄像头进行当前的目标对象的信息采集工作；在没有前置摄像头的情况下，终端可以启动后置摄像头，采集当前的目标对象的图像信息。
需要说明的是，本发明实施例中采集的目标对象的信息可能是人脸图像，也可能是其他的风景或动物的图像，因此，在采集目标对象之后，终端可以通过预设的第一模型集合的置信度分支最后检测图像的类别，当该终端采集的目标对象为人脸图像时，预设第一模型集合就可以输出人脸关键点的定位了。
可以理解的是，在本发明实施例中，由于用户的生物特征信息是一个特征相同或者相似的用户的可能性很小。因此，采用用户生物特征信息中的人脸特征是不易被盗用或冒用的，因此，采用人脸识别的方式进行各种应用的保密性非常好。
示例性的，如图4所示，假设手机A采用人脸进行了加密，当使用该手机A时，按键启动后，手机A的前置摄像头采集使用者的图像信息，当该手机A按照预设配置在人脸图像上生成用于人脸识别定位的目标检测区域B并标注为矩形框。
S102、将目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度。
终端按照预设配置在目标图像上生成用于人脸识别定位的目标检测区域之后，由于目标检测区域标注了一个区域的人脸图像，因此，将该目标检测区域标注的人脸检测区域中的人脸图像称为第一目标图像。本发明实施例进行人脸识别(人脸关键点的定位)的时候，该终端将第一目标图像输入用于进行人脸识别的预设的第一模型集合，这样的话，该预设的第一模型集合就可以输出第一人脸关键点的位置等信息了。
需要说明的是，本发明实施例中的预设的第一模型集合用于表征人脸图像与第一人脸关键点的位置、置信度的关系模型的集合，因此，终端在将第一目标图像输入预设的第一模型集合之后，该终端通过该预设的第一模型集合还输出(计算出)了表征第一目标图像是否为人脸的准确度的数值，即第一置信度。
可以理解的是，本发明实施例中，目标图像可能为人脸图像或非人脸图像，或大小不正常的人脸图像等多种情况，在这样的情况下，终端对目标图像中的第一目标图像的选取是否正好选取到了人脸图像，以及是否选取的人脸图像的五官大小刚好全部选取到了是通过预设的第一模型集合可以判断的，该终端将第一目标图像输入预设的第一模型集合输出的第一置信度就可以判断出目标检测区域选取的第一目标图像为大小刚好的人脸图像的准确度是多少。
需要说明的是，本发明实施例中的目标检测区域的默认位置可以为图像的中心(也可以是其他设置方式，本发明实施例不作限制)，这时，当终端采集到的目标图像不是人脸图像或者采集到的人脸图像的位置比较偏的情况时，终端得到的第一目标图像对应的第一置信度的数值就比较小，反之，当第一目标图像的选取的人脸图像越全面和完整，那么第一目标图像对应的第一置信度的数值就比较高了。
进一步地，当目标检测区域的位置可以为终端的显示屏幕的中心为其中心时，本发明实施例中目标图像的正常人脸图像的大小可以为终端的显示屏幕的大小，这样的话，终端采集到的目标图像为非人脸图像或者采集到的人脸图像在显示屏幕上占据的位置比较偏上、偏下、偏左或偏右时，都可能导致目标检测区域对应的第一目标图像扣取的人脸无关或人脸部位的不完整或扣取不到，从而导致终端通过预设的第一模型集合得到的第一置信度的数据较低。
可选的，本发明实施例中的第一置信度的值为0-1之间的数值。1表征准确度最高，0表征准确度最低。
示例性的，如图5所示，图5a中为终端采集到的比较正常的人脸图像(目标图像)，图5b中为终端采集到的非人脸图像(目标图像)，而图5c中为终端采集到的尺寸较小的人脸图像(目标图像)，终端的目标检测区域为矩形框1，第一目标图像为矩形框1框起来的图像，由图5可知，终端在图5a中扣取的第一目标图像为人脸图像且人脸部位较为完整，而图5b的第一目标图像扣取的没有人脸部位，图5c扣取的第一目标图像的人脸部位不完整，因此，终端将第一目标图像输入到预设的第一模型集合，输出的第一置信度的结果可以为：图5a型的图像输出的第一置信度可以为：0.99，图5b型的图像输出的第一置信度可以为：0，图5c型的图像输出的第一置信度可以为：0.45。而终端将第一目标图像输入到预设的第一模型集合，输出的第一人脸关键点的位置(定位的结果)，其中，图5a对应的第一人脸关键点的位置，具体的为人脸部位定位的人脸五官(眼睛、鼻子、嘴巴、眉毛等)的坐标点的输出，体现在人脸部位上的效果可以为图6所示，而图5b由于第一目标图像为非人脸图像，因此，终端定位不出人脸五官关键点的坐标，也就是说通过预设的第一模型集合的输出可以为无结果或者第一特征的结果表征没有关键点定位的坐标的结果，而图5c经过预设的第一模型集合的输出结果可能为部分五官关键点的定位的坐标点的输出，体现在人脸部位上的效果可以为图7所示。
需要说明的是，本发明实施例中的预设的第一模型集合是通过训练数据训练出来的，详细的训练过程将在后续的实施例中进行说明。
具体的，本发明实施例中的预设的第一模型集合可以由多任务型的CNN网络框架训练而得到，多任务是指人脸关键点定位任务和置信度任务。
需要说明的是，预设的第一模型集合包括：公共分支、关键点定位分支和置信度分支，该关键点定位分支和置信度分支分别与公共分支级联，该公共分支的输入为第一模型集合的输入分支，关键点定位分支和置信度分支为第一模型集合的两个输出分支，该公共分支为预设的第一模型集合建立过程中的图像特征的数据模型。
具体的，终端将第一目标图像输入公共分支的模型，提取出第一图像特征，及将第一图像特征输入关键点定位分支的模型，计算出第一人脸关键点的位置，以及将第一图像特征输入置信度分支的模型，计算出第一置信度。
S103、当第一置信度大于等于预设阈值时，获取目标检测区域中的第一人脸关键点的位置对应的第二目标图像。
终端在获取或得到第一目标图像的第一置信度之后，由于该第一置信度可以表征第一目标图像或者说是目标图像的具体类型，例如是正常的人脸图像还是非人脸图像等，因此，当终端通过第一置信度判断出基本上为正常人脸图像的概率很小的情况时，基本上可以认为能定位出人脸关键点的可能性很小，于是，终端可以就直接停止或结束此次的人脸关键点的定位，以节约计算成本和工作量，并提高了工作效率。而当第一置信度的数值较大时，可以认为人脸关键点的定位是可以定位出人脸部位的，因此，终端可以对得到的第一人脸关键点的位置描述出的人脸五官的图形，即第二目标图像。
需要说明的是，本发明实施例中的根据第一置信度的数值进行确定是否能获取第一人脸关键点的位置对应的第二目标图像可以由预设阈值与第一置信度的对比结果来决定，当第一置信度的数值大于等于上述预设阈值时，终端就可以获取目标检测区域中的第一人脸关键点的位置对应的第二目标图像。
可选的，本发明实施例中的预设阈值可以为0.5。预设阈值的设定可以是经过试验或数据训练得到的合理的数值，也可以为用户自行设置的合理的一个数值，本发明实施例不限制该预设阈值的取值及取值方式。
进一步地，终端输出第一人脸关键点的位置和第一置信度之后，当第一置信度小于预设阈值时，该终端确定该第一人脸关键点的位置定位失败，结束此次人脸关键点的定位。
示例性的，假设预设阈值为0.5，终端将第一目标图像输入到预设的第一模型集合，输出的第一置信度的结果可以为：图5a型的图像输出的第一置信度可以为：0.99，图5b型的图像输出的第一置信度可以为：0，图5c型的图像输出的第一置信度可以为：0.45，由于0.99大于0.5，因此，如图8所示，终端可以获取到图5a的目标检测区域中的第一人脸关键点的位置对应的第二目标图像。而0小于0.5，0.45小于0.5，因此，终端确定对图5b和图5c的第一人脸关键点的位置定位失败，结束此次人脸关键点的定位。
可以理解的是，由于在进行关键点定位的过程中，终端可以根据第一置信度对目标图像进行初次筛选，能够筛选掉一些非人脸图像或人脸图像，这样，终端就只对筛选后剩下的目标图像进行进一步的人脸关键点定位了，从而减少了人脸关键点定位的工作量和占用的空间，进而提高了人脸关键点定位的准确度。
S104、将第二目标图像输入预设的第一模型集合，计算出第二置信度，并根据该第二置信度判定第一人脸关键点的位置的准确度。
终端在获取到第二目标图像的情况下，该终端可以对第一人脸关键点的位置的准确度进行判断，于是，该终端可以将该第二目标图像输入预设的第一模型集合，输出第二置信度，以根据该第二置信度的数值的大小来判定第一人脸关键点的位置的准确度。
具体的，终端将第二目标图像输入公共分支的模型，提取出第二图像特征，以及将第二图像特征输入置信度分支的模型，计算出第二置信度。
可以理解的是，第二置信度的数值越大，表征第一人脸关键点的位置定位的越准确。
可选的，本发明实施例中的第二置信度的值为0-1之间的数值。1表征准确度最高，0表征准确度最低。
S105、当第二置信度大于等于预设准确度时，确定第一人脸关键点的位置为目标图像的最终人脸关键点的位置。
终端输出第二置信度之后，由于该第二置信度可以表征第二目标图像或者说是对目标图像的进行第一人脸关键点定位的准确度的，当终端根据第二置信度的数据判断出第一人脸关键点的位置较为准确时，该终端将该第一人脸关键点的位置确定为目标图像的最终人脸关键点的位置。
需要说明的是，本发明实施例中的根据第二置信度的数值进行确定是否能将第一人脸关键点的位置作为最终的关键点定位结果是，可以由预设准确度与第二置信度的对比结果来决定，当第二置信度的数值大于等于上述预设准确度时，终端就可以将确定第一人脸关键点的位置为目标图像的最终人脸关键点的位置。
可选的，本发明实施例中的预设准确度可以为0.9。预设准确度的设定可以为用户根据自己所需的准确度自行设置的合理的一个数值，也可以为终端根据所应用的不同场景或需求自动调整的一个数值，本发明实施例不限制该预设准确度的取值及取值方式。
进一步地，终端输出第二置信度之后，当第二置信度小于预设准确度时，表征终端确定该第一人脸关键点的位置定位失败或误差较大，因此，终端需要重新对目标图像进行调整或者进行目标图像的重新采集和关键点定位，并提示用户重新拍照的信息，可以通过显示屏幕显示给用户知晓。
具体的，终端可以通过调整目标检测区域的大小(目标检测区域的边长)来重新进行人脸关键点的定位，该终端还可以通过显示请重新拍照等信息给用户，以重新进行目标图像的采集，从而对该重新采集的目标图像进行人脸关键点的重新定位。
可以理解的是，由于终端可以通过第二置信度重新对目标图像进行调整或者进行目标图像的重新采集和关键点定位，因此，采用本发明实施例的关键点定位方法最终得到的人脸关键点的位置的准确度可以很高。
需要说明的是，由于本发明实施例的人脸关键点的定位的方法是应用在人脸识别技术的各类应用中的，因此，在终端对目标图像的人脸关键点的位置确定的情况下，就可以进行相应的应用了，例如，采用图像处理软件，识别出人脸五官的位置后，为目标图像的人脸五官进行装扮，生成个性化图像，以满足用户的需求。
在本发明实施例中，由于预设的第一模型集合中融合了对置信度的计算，因此，终端在采用预设的第一模型集合进行人脸关键点定位的时候可以通过计算出的置信度来确定该人脸关键点定位的准确度，在减少了后续重新再进行准确度评判的时间和占用的空间的情况下，实现了判定人脸关键点的跟踪的准确度，从而提高了人脸关键点的跟踪的处理速度。
实施例二
本发明实施例提供了一种关键点的定位方法，基于实施例一的关键点的定位方法，在进行实际的人脸关键点的定位之前，首先终端需要进行预设的第一模型集合的设置过程，即预设的第一模型集合的训练过程，该预设的第一模型集合包括：公共分支、关键点定位分支和置信度分支，该关键点定位分支和置信度分支分别与公共分支级联，该公共分支的输入为第一模型集合的输入分支，关键点定位分支和置信度分支为第一模型集合的两个输出分支，该公共分支为预设的第一模型集合建立过程中的图像特征的数据模型，因此，基于实施例一的技术方案的基础上，终端进行预设的第一模型集合的训练过程如图9所示，包括：
S201、获取人脸关键点定位的第一训练数据，该第一训练数据包括人脸图像与预标定关键点坐标的对应关系。
S202、根据第一训练数据，进行公共分支和关键点定位分支的模型参数的训练，训练出公共分支的模型和关键点定位分支的模型。
S203、获取置信度的第二训练数据，该第二训练数据为目标图像的分类集合。
S204、根据第二训练数据，进行置信度分支的模型参数的训练，训练出置信度分支的模型。
S205、将训练好的关键点定位分支、置信度分支分别与公共分支进行级联，成为预设的第一模型的集合。
需要说明的是，本发明实施例中，对于关键点定位分支、置信度分支分别与公共分支的模型，首先要先建立各自模型的连接，然后通过数据训练过程找到各自连接关系处的模型参数。
可选的，本发明实施例可以选择CNN网络进行预设的第一模型集合的搭建，因此，上述参数可以为关键点定位分支、置信度分支分别与公共分支的模型各自连接处的权重值。
具体的，终端对于关键点定位分支和公共分支的模型训练是一起进行的，该终端获取人脸图像与预标定关键点坐标的对应关系，其中与标定关键点坐标为人工对人脸图像进行关键点标定出的坐标，在本发明实施例中终端通过采集多个样本(多个人脸图像与预标定关键点坐标)进行关键点定位分支和置信度分支的模型训练。并且，终端还通过采集人脸图像的分类集合的第二训练数据进行置信度分支的模型参数的训练，最终将训练好的关键点定位分支、置信度分支分别与公共分支进行级联，成为预设的第一模型的集合，该终端采集到的目标图像的分类集合可以包括目标图像和其对应的人脸图像的标签，其中，人脸图像的标签可以为人脸类别的标签，例如，正常大小的人脸图像的人脸标签为1，非人脸图像或过大过小的人脸图像为0，具体的人脸标签的设置本发明实施例不作限制。
需要说明的是，终端在进行公共分支和关键点定位分支的模型训练时，该终端建立的置信度分支的模型参数是保持不变的，而终端在进行置信度分支的模型的训练时，上述公共分支和关键点定位分支的模型参数是保持不变的。
需要说明的是，本发明实施例中的模型训练的过程都可以是通过机器学习来实现的输入与输出的简单映射关系。
基于上面实施例中的描述，本发明实施例一置信度分支模型的模型训练为例，对一种基于引入机器学习技术的置信度分支的模型。在形成置信度分支的模型的初期，仍然需要人工挑选尽可能多维度的特征供机器学习模型训练，根据特征对训练结果的区分度决定选用哪些特征擦描述，这里基本不存在人工干预选择参数的问题，机器学习可以自己学习出合适的参数来；由于特征含义相比没有意义的参数看来更为直观，结合特征的分布，解释起来也比较容易理解；首先基于机器学习模型的人脸图像，人脸关键点定位涉及到置信度相关的综合考虑，提高了上述人脸关键点定位的准确性。另外由于模型自身具有进化学习的功能。即使输入值发生更新或删减，通过简单的重新进行模型训练(有时候需要对特征进行微调)，即可以识别新的输入的确定并进行置信度分支的模型的调整，使置信度结果保持准确性。
机器学习技术在置信度中的应用可以自由的分享和传播，因为机器学习置信度全面且可以自我进化，不针对特定某种图像，因此，甚至对同一终端的不同图像一样可以公开基于机器学习模型的置信度做法。基于前述的实施例，本发明实施例提供一种训练置信度分支的模型的方法，如图10所示，该方法包括：
S301、按照预设的配置比例获取正样本和负样本，该正样本和负样本为已采集的目标图像和对应的人脸图像的标签。
这里，在实际操作的过程中，目标图像的标签为人脸图像和非人脸图像为会存在一定的比例，这个比例即为配置比例，在形成置信度分支的模型时，终端对训练数据的配置(已采集到的目标图像和对应的人脸图像的标签)也需要按照该配置比例进行设置。
S302、提取正样本的特征和负样本的特征。
需要说明的是，本发明实施例中的服务器对正样本和负样本的体征提取和第一实体的第一特征的构造原理相同。
可以理解的是，本发明实施例中的正样本和负样本涉及的允许范围越完整，后续的置信度是越准确的。
S303、将正样本或负样本的特征输入至设置的第一置信度分支模型，得到第一训练结果。
S304、持续检测第一置信度分支模型，直至第一训练结果满足预设条件。
S305、将第一训练结果满足预设条件的第一置信度分支模型确定为最终的置信度分支的模型。
本发明实施例中，不管采用何种训练模型，在开始训练之时，该训练模型的输入包括上述不同维度的特征，经过多次试验如果该特征不对训练结果产生有利影响或者分错的时候，就降低该特征的权重，如果该特征对训练结果产生有利影响时候，就提高该特征的权重，如果一个参数的权重降低为0，那么在训练模型中该特征将不起任何作用了。经过本发明实施例的最终试验，上述不同的维度的特征最终对训练结果能够产生积极影响的是长期特征(即第一特征，人脸特征)。下面假设不同维度的特征只包括第一特征(即已经将其他的不符的特征都剔除掉了)，那么上述的置信度分支的模型的形成过程大致包括：将正样本或负样本的第一特征输入第一置信度分支模型，从第一置信度分支模型获得第一训练结果；其中进行构造的第一置信度分支模型以第一特征，且每一个特征具有对应的权值(预设优先权)；持续监测第一训练结果直至满足预设条件时，则将第一模型作为最终的置信度分支的模型。
可选的，本发明实施例中的预设条件可以为置信度的准确率达到预设阈值，该预设阈值可以为90％，具体的预设阈值的确定可设置，本发明实施例不作限制，但是，预设阈值设置的越高，达到该预设阈值或预设条件的置信度分支的模型就越精确。
从以上流程可以看出，1)本发明实施例引入了各种不同种类目标图像的与人脸图像的标签来对训练模型进行训练，根据训练结果确定最终核实的置信度，如此提升了置信度的准确性。2)本发明实施例采用的置信度分支的模型的一个显著特点是模型可以自我进化，根据置信度评价行为的变换自动进行特征权值的调整，避免基于规则的人工频繁介入调整参数。
具体的，终端通过预设的第一模型集合输出关键点定位分支的模型和置信度分支的模型之前(模型训练中)，该终端还可以将关键点定位分支的模型和置信度分支的模型分别根据预设策略进行误差修正(即模型的训练)，确定出修正后的关键点定位分支的模型和置信度分支的模型，以进行人脸关键点定位和置信度的确定。
示例性的，在进行关键点定位分支的模型的修正时可以采用欧式损失函数(EuclideanLoss)来实现；在进行置信度分支的模型的修正时可以采用损失函数(Softmaxloss)实现。
示例性的，如图11所示为预设的第一模型集合的构造结构，采用该预设的第一模型集合进行实施例一的关键点的定位方法时，如图11所示，终端采集将采集到的目标图像1中的目标检测区域对应的图像输入到预设的第一模型集合中后，最终输出了对于目标图像1进行人脸关键点后的位置，定位效果为图11最右侧的图像的关键点定位结果，且这次人脸关键点定位的准确度(第二置信度)为0.999。
可以理解的是，在本发明实施例中，相比于现有技术的准确度的独立处理，由于终端在采用预设的第一模型集合进行人脸关键点定位的时候可以同时确定该人脸关键点定位的准确度，在减少了后续重新再进行准确度评判的时间和占用的空间的情况下可以判定人脸关键点的跟踪的准确度，从而提高人脸关键点的跟踪的处理速度。
实施例三
如图12所示，本发明实施例提供了一种终端1，该终端1可以包括：
生成单元10，用于采集单元11采集目标图像时，按照预设配置在所述目标图像上生成用于人脸识别定位的目标检测区域。
输出单元12，用于将所述目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度。
获取单元13，用于当所述第一置信度大于等于预设阈值时，获取所述目标检测区域中的所述第一人脸关键点的位置对应的第二目标图像。
所述输出单元12，还用于将所述第二目标图像输入所述预设的第一模型集合，计算出第二置信度。
判断单元14，用于根据所述第二置信度判定所述第一人脸关键点的位置的准确度。
确定单元15，用于当所述第二置信度大于等于预设准确度时，确定所述第一人脸关键点的位置为所述目标图像的最终人脸关键点的位置。
可选的，所述预设的第一模型集合包括：公共分支、关键点定位分支和置信度分支，所述关键点定位分支和置信度分支分别与所述公共分支级联，所述公共分支的输入为所述第一模型集合的输入分支，所述关键点定位分支和所述置信度分支为所述第一模型集合的两个输出分支，所述公共分支为所述预设的第一模型集合建立过程中的图像特征的数据模型。
可选的，基于图12，如图13所示，所述终端1还包括：连接单元16。
所述获取单元13，还用于获取人脸关键点定位的第一训练数据，所述第一训练数据包括人脸图像与预标定关键点坐标的对应关系。
所述输出单元12，还用于根据所述第一训练数据，进行所述公共分支和所述关键点定位分支的模型参数的训练，训练出所述公共分支的模型和所述关键点定位分支的模型。
所述获取单元13，还用于获取置信度的第二训练数据，所述第二训练数据为目标图像的分类集合。
所述输出单元12，还用于根据所述第二训练数据，进行所述置信度分支的模型参数的训练，训练出所述置信度分支的模型。
所述连接单元16，用于将训练好的所述关键点定位分支的模型、所述置信度分支的模型分别与所述公共分支的模型进行级联，成为所述预设的第一模型的集合。
可选的，所述输出单元12，具体用于将所述第一目标图像输入所述公共分支的模型，提取出第一图像特征；将所述第一图像特征输入所述关键点定位分支的模型，计算出所述第一人脸关键点的位置；将所述第一图像特征输入所述置信度分支的模型，计算出所述第一置信度。
可选的，所述输出单元12，具体用于将所述第二目标图像输入所述公共分支的模型，提取出第二图像特征；将所述第二图像特征输入所述置信度分支的模型，计算出所述第二置信度。
可选的，基于图13，如图14所示，所述终端1还包括：修正单元17。
所述修正单元17，用于所述训练出所述关键点定位分支的模型和所述置信度分支的模型之前，将所述关键点定位分支的模型和所述置信度分支的模型分别根据预设策略进行误差修正，确定出修正后的所述关键点定位分支的模型和所述置信度分支的模型，以进行人脸关键点定位和置信度的确定。
可选的，所述确定单元15，还用于所述计算出第一人脸关键点的位置和第一置信度之后，当所述第一置信度小于预设阈值时，确定所述第一人脸关键点的位置定位失败，结束此次人脸关键点的定位。
如图15所示，在实际应用中，上述生成单元10、获取单元13、确定单元15、判断单元14、连接单元16、修正单元17、输出单元12可由位于终端1上的处理器18实现，具体为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等实现，采集单元11由摄像头19实现，该终端1还可以包括存储介质110，该存储介质110可以通过系统总线111与处理器18连接，其中，存储介质110用于存储可执行程序代码，该程序代码包括计算机操作指令，存储介质110可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器。
需要说明的是，图1中的终端与终端1为相同的终端。
可以理解的是，在本发明实施例中，由于预设的第一模型集合进行人脸关键点定位的时候可以同时确定该人脸关键点定位的置信度，减少了重新再进行准确度评判的时间，可以判定人脸关键点的跟踪的准确度和处理速度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (13)

1.一种关键点的定位方法，其特征在于，包括：
采集目标图像时，按照预设配置在所述目标图像上生成用于人脸识别定位的目标检测区域；
将所述目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度；
当所述第一置信度大于等于预设阈值时，获取所述目标检测区域中的所述第一人脸关键点的位置对应的第二目标图像；
将所述第二目标图像输入所述预设的第一模型集合，计算出第二置信度，并根据所述第二置信度判定所述第一人脸关键点的位置的准确度；
当所述第二置信度大于等于预设准确度时，确定所述第一人脸关键点的位置为所述目标图像的最终人脸关键点的位置；
其中，所述预设的第一模型集合包括：公共分支、关键点定位分支和置信度分支，所述关键点定位分支和置信度分支分别与所述公共分支级联，所述公共分支的输入为所述第一模型集合的输入分支，所述关键点定位分支和所述置信度分支为所述第一模型集合的两个输出分支，所述公共分支为所述预设的第一模型集合建立过程中的图像特征的数据模型；
所述预设的第一模型集合用于表征人脸图像与第一人脸关键点的位置、置信度的关系模型的集合。
2.根据权利要求1所述的方法，其特征在于，所述预设的第一模型集合的建立方法，包括：
获取人脸关键点定位的第一训练数据，所述第一训练数据包括人脸图像与预标定关键点坐标的对应关系；
根据所述第一训练数据，进行所述公共分支和所述关键点定位分支的模型参数的训练，训练出所述公共分支的模型和所述关键点定位分支的模型；
获取置信度的第二训练数据，所述第二训练数据为目标图像的分类集合；
根据所述第二训练数据，进行所述置信度分支的模型参数的训练，训练出所述置信度分支的模型；
将训练好的所述关键点定位分支的模型、所述置信度分支的模型分别与所述公共分支的模型进行级联，成为所述预设的第一模型的集合。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度，包括：
将所述第一目标图像输入所述公共分支的模型，提取出第一图像特征；
将所述第一图像特征输入所述关键点定位分支的模型，计算出所述第一人脸关键点的位置；
将所述第一图像特征输入所述置信度分支的模型，计算出所述第一置信度。
4.根据权利要求2所述的方法，其特征在于，所述将所述第二目标图像输入所述预设的第一模型集合，计算出第二置信度，包括：
将所述第二目标图像输入所述公共分支的模型，提取出第二图像特征；
将所述第二图像特征输入所述置信度分支的模型，计算出所述第二置信度。
5.根据权利要求2所述的方法，其特征在于，所述训练出所述关键点定位分支的模型和所述置信度分支的模型之前，所述方法还包括：
将所述关键点定位分支的模型和所述置信度分支的模型分别根据预设策略进行误差修正，确定出修正后的所述关键点定位分支的模型和所述置信度分支的模型，以进行人脸关键点定位和置信度的确定。
6.根据权利要求1所述的方法，其特征在于，所述计算出第一人脸关键点的位置和第一置信度之后，所述方法还包括：
当所述第一置信度小于预设阈值时，确定所述第一人脸关键点的位置定位失败，结束此次人脸关键点的定位。
7.一种终端，其特征在于，包括：
生成单元，用于采集单元采集目标图像时，按照预设配置在所述目标图像上生成用于人脸识别定位的目标检测区域；
输出单元，用于将所述目标检测区域对应的第一目标图像输入预设的第一模型集合，计算出第一人脸关键点的位置和第一置信度；
获取单元，用于当所述第一置信度大于等于预设阈值时，获取所述目标检测区域中的所述第一人脸关键点的位置对应的第二目标图像；
所述输出单元，还用于将所述第二目标图像输入所述预设的第一模型集合，计算出第二置信度，
判断单元，用于根据所述第二置信度判定所述第一人脸关键点的位置的准确度；
确定单元，用于当所述第二置信度大于等于预设准确度时，确定所述第一人脸关键点的位置为所述目标图像的最终人脸关键点的位置；
其中，所述预设的第一模型集合包括：公共分支、关键点定位分支和置信度分支，所述关键点定位分支和置信度分支分别与所述公共分支级联，所述公共分支的输入为所述第一模型集合的输入分支，所述关键点定位分支和所述置信度分支为所述第一模型集合的两个输出分支，所述公共分支为所述预设的第一模型集合建立过程中的图像特征的数据模型；
所述预设的第一模型集合用于表征人脸图像与第一人脸关键点的位置、置信度的关系模型的集合。
8.根据权利要求7所述的终端，其特征在于，所述终端还包括：连接单元；
所述获取单元，还用于获取人脸关键点定位的第一训练数据，所述第一训练数据包括人脸图像与预标定关键点坐标的对应关系；
所述输出单元，还用于根据所述第一训练数据，进行所述公共分支和所述关键点定位分支的模型参数的训练，训练出所述公共分支的模型和所述关键点定位分支的模型；
所述获取单元，还用于获取置信度的第二训练数据，所述第二训练数据为目标图像的分类集合；
所述输出单元，还用于根据所述第二训练数据，进行所述置信度分支的模型参数的训练，训练出所述置信度分支的模型；
所述连接单元，用于将训练好的所述关键点定位分支的模型、所述置信度分支的模型分别与所述公共分支的模型进行级联，成为所述预设的第一模型的集合。
9.根据权利要求8所述的终端，其特征在于，
所述输出单元，具体用于将所述第一目标图像输入所述公共分支的模型，提取出第一图像特征；将所述第一图像特征输入所述关键点定位分支的模型，计算出所述第一人脸关键点的位置；将所述第一图像特征输入所述置信度分支的模型，计算出所述第一置信度。
10.根据权利要求8所述的终端，其特征在于，
所述输出单元，具体用于将所述第二目标图像输入所述公共分支的模型，提取出第二图像特征；将所述第二图像特征输入所述置信度分支的模型，计算出所述第二置信度。
11.根据权利要求8所述的终端，其特征在于，所述终端还包括：修正单元；
所述修正单元，用于所述训练出所述关键点定位分支的模型和所述置信度分支的模型之前，将所述关键点定位分支的模型和所述置信度分支的模型分别根据预设策略进行误差修正，确定出修正后的所述关键点定位分支的模型和所述置信度分支的模型，以进行人脸关键点定位和置信度的确定。
12.根据权利要求7所述的终端，其特征在于，
所述确定单元，还用于所述计算出第一人脸关键点的位置和第一置信度之后，当所述第一置信度小于预设阈值时，确定所述第一人脸关键点的位置定位失败，结束此次人脸关键点的定位。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，所述可执行指令可以被处理器执行，以实现权利要求1-6任一项所述的关键点的定位方法。
CN201610654125.5A 2016-08-10 2016-08-10 一种关键点的定位方法及终端 Active CN106295567B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610654125.5A CN106295567B (zh) 2016-08-10 2016-08-10 一种关键点的定位方法及终端
PCT/CN2017/096229 WO2018028546A1 (zh) 2016-08-10 2017-08-07 一种关键点的定位方法及终端、计算机存储介质
US16/222,941 US10990803B2 (en) 2016-08-10 2018-12-17 Key point positioning method, terminal, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610654125.5A CN106295567B (zh) 2016-08-10 2016-08-10 一种关键点的定位方法及终端

Publications (2)

Publication Number Publication Date
CN106295567A CN106295567A (zh) 2017-01-04
CN106295567B true CN106295567B (zh) 2019-04-12

Family

ID=57668281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610654125.5A Active CN106295567B (zh) 2016-08-10 2016-08-10 一种关键点的定位方法及终端

Country Status (3)

Country Link
US (1) US10990803B2 (zh)
CN (1) CN106295567B (zh)
WO (1) WO2018028546A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295567B (zh) 2016-08-10 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN106778585B (zh) * 2016-12-08 2019-04-16 腾讯科技（上海）有限公司 一种人脸关键点跟踪方法和装置
CN106919918B (zh) * 2017-02-27 2022-11-29 腾讯科技（上海）有限公司 一种人脸跟踪方法和装置
CN106991388B (zh) * 2017-03-27 2020-04-21 中国科学院自动化研究所 关键点定位方法
CN107808147B (zh) * 2017-11-17 2020-11-27 厦门美图之家科技有限公司 一种基于实时人脸点跟踪的人脸置信度判别方法
CN108229308A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 目标对象识别方法、装置、存储介质和电子设备
CN108121952B (zh) * 2017-12-12 2022-03-08 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN108109107B (zh) * 2017-12-18 2021-08-20 北京奇虎科技有限公司 视频数据处理方法及装置、计算设备
CN107977644B (zh) * 2017-12-18 2021-07-23 北京奇虎科技有限公司 基于图像采集设备的图像数据处理方法及装置、计算设备
CN108876934B (zh) * 2017-12-20 2022-01-28 北京旷视科技有限公司 关键点标注方法、装置和系统及存储介质
CN107995428B (zh) * 2017-12-21 2020-02-07 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质和移动终端
CN108737733B (zh) * 2018-06-08 2020-08-04 Oppo广东移动通信有限公司 信息提示方法和装置、电子设备、计算机可读存储介质
CN108960081B (zh) * 2018-06-15 2021-07-30 熵基科技股份有限公司 一种手掌图像识别方法、装置及计算机可读存储介质
JP7122625B2 (ja) * 2018-07-02 2022-08-22 パナソニックＩｐマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
CN108961315B (zh) 2018-08-01 2020-02-18 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN109299658B (zh) * 2018-08-21 2022-07-08 腾讯科技（深圳）有限公司 脸部检测方法、脸部图像渲染方法、装置及存储介质
US10970576B2 (en) * 2018-08-27 2021-04-06 Daon Holdings Limited Methods and systems for capturing image data
CN109472205B (zh) * 2018-10-09 2021-07-30 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
CN109684909B (zh) * 2018-10-11 2023-06-09 武汉工程大学 一种无人机目标要害点实时定位方法、系统及存储介质
CN109376684B (zh) * 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
CN111797791A (zh) * 2018-12-25 2020-10-20 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN109753910B (zh) * 2018-12-27 2020-02-21 北京字节跳动网络技术有限公司 关键点提取方法、模型的训练方法、装置、介质及设备
CN110046600B (zh) * 2019-04-24 2021-02-26 北京京东尚科信息技术有限公司 用于人体检测的方法和装置
CN111950571A (zh) * 2019-05-14 2020-11-17 北京京东尚科信息技术有限公司 一种对目标对象的特定位置进行图像处理的方法及装置
CN110335250A (zh) * 2019-05-31 2019-10-15 上海联影智能医疗科技有限公司 网络训练方法、装置、检测方法、计算机设备和存储介质
CN110348412B (zh) * 2019-07-16 2022-03-04 广州图普网络科技有限公司 一种关键点定位方法、装置、电子设备及存储介质
CN112288804B (zh) * 2019-07-25 2024-07-02 杭州海康威视数字技术股份有限公司 一种目标定位的方法及装置
CN110634160B (zh) * 2019-08-12 2022-11-18 西北大学 二维图形中目标三维关键点提取模型构建及姿态识别方法
CN110544272B (zh) * 2019-09-06 2023-08-04 腾讯科技（深圳）有限公司 脸部跟踪方法、装置、计算机设备及存储介质
CN112560555A (zh) * 2019-09-25 2021-03-26 北京中关村科金技术有限公司 扩充关键点的方法、装置以及存储介质
CN110782404B (zh) * 2019-10-11 2022-06-10 北京达佳互联信息技术有限公司 一种图像处理方法、装置及存储介质
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN110909618B (zh) * 2019-10-29 2023-04-21 泰康保险集团股份有限公司 一种宠物身份的识别方法及装置
CN110968718B (zh) * 2019-11-19 2023-07-14 北京百度网讯科技有限公司 目标检测模型负样本挖掘方法、装置及电子设备
CN110929687B (zh) * 2019-12-10 2023-04-18 山东大学 一种基于关键点检测的多人行为识别系统及工作方法
CN111831630B (zh) * 2019-12-30 2023-12-05 北京骑胜科技有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN111860477A (zh) * 2020-01-22 2020-10-30 北京嘀嘀无限科技发展有限公司 车辆信息的验证方法和系统、终端和计算机可读存储介质
CN111476096A (zh) * 2020-03-06 2020-07-31 深圳壹账通智能科技有限公司 一种人脸图像关键点方法、装置、计算机设备及存储介质
CN111368792B (zh) * 2020-03-18 2024-05-14 北京奇艺世纪科技有限公司 特征点标注模型训练方法、装置、电子设备及存储介质
CN111510376B (zh) * 2020-04-27 2022-09-20 百度在线网络技术（北京）有限公司 图像处理方法、装置及电子设备
CN111583280B (zh) * 2020-05-13 2022-03-15 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN113743157B (zh) * 2020-05-28 2024-07-19 北京沃东天骏信息技术有限公司 关键点检测模型训练方法和装置、关键点检测方法和装置
CN111818449B (zh) * 2020-06-15 2022-04-15 华南师范大学 一种基于改进的人工神经网络的可见光室内定位方法
CN113487489A (zh) * 2020-07-14 2021-10-08 青岛海信电子产业控股股份有限公司 一种脸部修容显示及关键点检测模型训练方法及终端
CN111985331B (zh) * 2020-07-20 2024-05-10 中电天奥有限公司 预防商业秘密被窃照的检测方法及装置
CN111814749A (zh) * 2020-08-12 2020-10-23 Oppo广东移动通信有限公司 人体特征点的筛选方法、装置、电子设备以及存储介质
CN112287802A (zh) * 2020-10-26 2021-01-29 汇纳科技股份有限公司 人脸图像检测方法、系统、存储介质及设备
CN112464895B (zh) * 2020-12-14 2023-09-01 深圳市优必选科技股份有限公司 姿态识别模型训练方法、装置、姿态识别方法和终端设备
CN112597895B (zh) * 2020-12-22 2024-04-26 阿波罗智联(北京)科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN112633240A (zh) * 2020-12-31 2021-04-09 中国工商银行股份有限公司 人脸识别方法及装置
CN113065458B (zh) * 2021-03-29 2024-05-28 芯算一体(深圳)科技有限公司 基于手势识别的投票方法与系统、电子设备
CN113537234B (zh) * 2021-06-10 2024-07-02 浙江大华技术股份有限公司 数量统计方法、装置、电子装置和计算机设备
CN113705461B (zh) * 2021-08-30 2024-06-28 平安银行股份有限公司 人脸清晰度检测方法、装置、设备及存储介质
CN117292305B (zh) * 2023-11-24 2024-02-20 中国科学院水生生物研究所 鱼类受精卵胎动次数确定方法、系统、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
WO2010035918A1 (en) * 2008-09-25 2010-04-01 Mxr Comminications Method and apparatus for security using three-dimensional (3d) face recognition
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN103295015A (zh) * 2013-06-25 2013-09-11 中国人民解放军国防科学技术大学 部分遮挡目标的局部特征点提取方法
CN105320921A (zh) * 2014-07-31 2016-02-10 腾讯科技（深圳）有限公司 双眼定位方法及双眼定位装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
CN105426870B (zh) * 2015-12-15 2019-09-24 北京文安智能技术股份有限公司 一种人脸关键点定位方法及装置
CN106295567B (zh) * 2016-08-10 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
WO2010035918A1 (en) * 2008-09-25 2010-04-01 Mxr Comminications Method and apparatus for security using three-dimensional (3d) face recognition
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN103295015A (zh) * 2013-06-25 2013-09-11 中国人民解放军国防科学技术大学 部分遮挡目标的局部特征点提取方法
CN105320921A (zh) * 2014-07-31 2016-02-10 腾讯科技（深圳）有限公司 双眼定位方法及双眼定位装置

Also Published As

Publication number Publication date
WO2018028546A1 (zh) 2018-02-15
CN106295567A (zh) 2017-01-04
US20190138791A1 (en) 2019-05-09
US10990803B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
CN106295567B (zh) 一种关键点的定位方法及终端
CN105512627B (zh) 一种关键点的定位方法及终端
CN109697416B (zh) 一种视频数据处理方法和相关装置
JP6732317B2 (ja) 顔活動検出方法および装置、ならびに電子デバイス
CN108009521B (zh) 人脸图像匹配方法、装置、终端及存储介质
CN108717663B (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
CN110458154A (zh) 人脸识别方法、装置和计算机可读存储介质
CN109684047A (zh) 事件处理方法、装置、设备和计算机存储介质
CN110472494A (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN112733802B (zh) 图像的遮挡检测方法、装置、电子设备及存储介质
CN106469302A (zh) 一种基于人工神经网络的人脸肤质检测方法
CN109325456A (zh) 目标识别方法、装置、目标识别设备及存储介质
CN104091176A (zh) 人像比对在视频中的应用技术
CN105809178A (zh) 一种基于人脸属性的人群分析方法及装置
CN104143086A (zh) 人像比对在移动终端操作系统上的应用技术
CN110751675B (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN109583348A (zh) 一种人脸识别方法、装置、设备及系统
CN104036236A (zh) 一种基于多参数指数加权的人脸性别识别方法
CN105022999A (zh) 一种人码伴随实时采集系统
CN116092199B (zh) 一种员工工作状态识别方法及识别系统
CN108961267A (zh) 图片处理方法、图片处理装置及终端设备
CN112149551A (zh) 一种基于嵌入式设备和深度学习的安全帽识别方法
WO2023124869A1 (zh) 用于活体检测的方法、装置、设备及存储介质
CN110175519A (zh) 一种变电站的分合标识仪表识别方法、装置与存储介质
CN109919166A (zh) 获取属性的分类信息的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant