CN105512627B - 一种关键点的定位方法及终端 - Google Patents
一种关键点的定位方法及终端 Download PDFInfo
- Publication number
- CN105512627B CN105512627B CN201510880899.5A CN201510880899A CN105512627B CN 105512627 B CN105512627 B CN 105512627B CN 201510880899 A CN201510880899 A CN 201510880899A CN 105512627 B CN105512627 B CN 105512627B
- Authority
- CN
- China
- Prior art keywords
- face
- facial image
- key point
- frame
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种关键点的定位方法及终端，该方法包括：采集目标对象时，检测出该目标对象为人脸图像，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1；当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i‑1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别；根据第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状；根据目标检测区域和第一初始形状，计算第i帧人脸图像的初始人脸关键点的位置。
Description
技术领域
本发明涉及计算机视觉领域中的识别定位技术，尤其涉及一种关键点的定位方法及终端。
背景技术
用户采集目标对象时会进行各种识别，比如以人脸识别为例，计算机人脸识别将根据人脸来辨别未知人物身份的能力赋予了计算机系统，使得计算机系统基于已知的人脸样本库，利用计算机分析和模式识别技术从静态或者动态的场景中，识别或验证一个或多个人脸，该技术已经被广泛的应用于公共安全，身份识别等场合。人脸识别系统包括有人脸检测、人脸关键点定位、识别和跟踪等步骤，而人脸关键点检测以及跟踪是人脸识别中非常重要的一环，也是人脸验证，人脸识别，以及各种3D人脸建模，人脸的美化、疲劳和分神的判断等应用的基础，因此，人脸关键点的检测及跟踪精度至关重要。
传统的人脸关键点定位方法基于人脸参数形状模型，通过根据人脸关键点附近的表观特征，学习出单个人脸参数形状模型，再使用时迭代地优化人脸参数形状模型中的人脸关键点的位置，最后得到人脸关键点的坐标。现有技术中，为了提高人脸关键点跟踪的精度，提出了一种使用多个人脸参数形状模型的人脸关键点定位方法，具体的，根据人脸的姿态，或者其他一些特征对人脸进行分类，并针对每一个人脸的类别进行学习以通过建模得到一个单独的人脸参数形状模型，也就是说，对于多个类别就需要设计多个人脸参数形状模型，最后通过判断人脸类别，选择一个相应的人脸参数形状模型来确定人脸关键点的坐标。
然而，采用现有的人脸关键点定位方法时，虽然将复杂的问题(各种姿态，表情，光照，遮挡等)分解成若干简单的问题来处理，显著提高了人脸关键点跟踪的精度，但是需要根据不同的人脸类别，建立相应的多个人脸参数形状模型才可以实现最终的人脸关键点定位。由于多个人脸参数形状模型，势必占用更多的内存存储空间，而且在具体处理时，对于不同人脸类别需要对应多个人脸参数形状模型进行处理也会耗费更多的资源，从而给终端硬件设备的处理带来处理难度。
发明内容
为解决上述技术问题，本发明实施例期望提供一种关键点的定位方法及终端，至少能解决现有技术的问题，能够在使用较小的内存占用量的前提下，提高人脸关键点跟踪的精度，且无需耗费很多的资源，以降低终端硬件设备的处理难度。
本发明的技术方案是这样实现的：
本发明实施例提供了一种关键点的定位方法，所述方法包括：
采集目标对象时，检测出所述目标对象为人脸图像，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1；
当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别；
根据所述第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状；
根据所述目标检测区域和所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
在上述方案中，所述按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，包括：
根据第i-1帧人脸图像的人脸关键点的位置，得到能包含所述第i-1帧人脸图像的人脸关键点的至少一个人脸检测区域；
比较所述至少一个人脸检测区域中各个人脸检测区域，选择能包含所述第i-1帧人脸图像的人脸关键点的最小人脸检测区域作为所述目标检测区域。
在上述方案中，所述第i-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息；
所述第一初始形状与所述第i帧人脸图像的人脸类别相对应。
在上述方案中，所述根据所述人脸检测框和所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置之后，所述方法还包括：
将所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置。
在上述方案中，当i＝1时，所述按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注之后，所述将所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置之前，所述方法还包括：
从所述预设的多个候选初始形状中确定第二初始形状，所述第二初始形状为默认的；
根据所述目标检测区域和所述第二初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
在上述方案中，所述将所述第i帧人脸图像的初始关键点位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点位置，还包括：
对所述第i帧人脸图像的初始关键点位置提取第一特征；
将所述第一特征进行线性回归，得到第一偏移量；
将所述第i帧人脸图像的初始人脸关键点的位置位移所述第一偏移量，得到所述第i帧人脸图像的人脸关键点的位置。
在上述方案中，所述对所述第i帧人脸图像的初始关键点位置提取第一特征，包括:
所述对所述第i帧人脸图像的初始关键点位置提取SIFT特征、HOG特征或者SURF特征。
在上述方案中，确定所述预设的多个候选初始形状，包括：
设置不同人脸类别的人脸图像训练集；
根据所述目标检测区域的大小和位置，将每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状；
将所述所有人脸图像的初始形状的平均值作为候选初始形状；
将不同的人脸类别对应的不同的候选初始形状，确定为所述预设的多个候选初始形状。
本发明实施例还提供了一种终端，所述终端包括：
检测单元，用于采集目标对象时，检测出所述目标对象为人脸图像；
生成单元，用于按照预设配置在检测单元检测到的第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1；
标注单元，用于将所述生成单元生成的所述目标检测区域进行标注；
估计单元，用于当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别；
确定单元，用于根据所述估计单元估计的所述第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状；
计算单元，用于根据所述标注单元标注的所述目标检测区域和所述确定单元确定的所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
在上述终端中，所述生成单元，具体用于根据第i-1帧人脸图像的人脸关键点的位置，得到能包含所述第i-1帧人脸图像的人脸关键点的至少一个人脸检测区域；以及比较所述至少一个人脸检测区域中各个人脸检测区域，选择能包含所述第i-1帧人脸图像的人脸关键点的最小人脸检测区域作为所述目标检测区域。
在上述终端中，所述第i-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息；
所述确定单元确定的所述第一初始形状与所述估计单元估计的所述第i帧人脸图像的人脸类别相对应。
在上述终端中，所述终端还包括：迭代回归单元；
迭代回归单元，用于所述计算单元根据所述人脸检测框和所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置之后，将所述计算单元计算出的所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置。
在上述终端中，当i＝1时，所述标注单元将所述目标检测区域进行标注之后，所述计算单元将所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置之前，所述方法还包括：
所述确定单元，还用于从所述预设的多个候选初始形状中确定第二初始形状，所述第二初始形状为默认的；
所述计算单元，还用于根据所述标注单元标注的所述目标检测区域和所述确定单元确定的所述第二初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
在上述终端中，所述终端还包括：提取单元；
所述提取单元，用于对所述计算单元计算出的所述第i帧人脸图像的初始关键点位置提取第一特征；
所述迭代回归单元，具体用于将所述提取单元提取的所述第一特征进行线性回归，得到第一偏移量；以及将所述计算单元计算出的所述第i帧人脸图像的初始人脸关键点的位置位移所述提取单元提取的所述第一偏移量，得到所述第i帧人脸图像的人脸关键点的位置。
在上述终端中，所述提取单元对所述第i帧人脸图像的初始关键点位置提取SIFT特征、HOG特征或者SURF特征。
在上述终端中，所述终端还包括：设置单元、归一化单元；
所述设置单元，用于设置不同人脸类别的人脸图像训练集；
所述归一化单元，用于根据所述标注单元标注的所述目标检测区域的大小和位置，将所述设置单元设置的每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状；
所述确定单元，还用于将所述归一化单元得到的所述所有人脸图像的初始形状的平均值作为候选初始形状；将不同的人脸类别对应的不同的候选初始形状，确定为所述预设的多个候选初始形状。
本发明实施例提供了一种关键点的定位方法及终端，通过采集目标对象时，检测出该目标对象为人脸图像，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1；当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别；根据第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状；根据目标检测区域和第一初始形状，计算第i帧人脸图像的初始人脸关键点的位置。
采用上述技术实现方案，由于前一帧和当前帧相隔的时间较短，故前一帧人脸图像的人脸类别应与当前帧人脸图像的人脸类别一致(即前一帧与当前帧的相似度匹配策略)。于是，可以通过前一帧人脸图像的人脸类别确定当前帧的人脸类别，且本发明实施例中预设设置有与不同的人脸类别相对应的预设的多个候选初始形状。这样，就可以对当前帧人脸图像确定出一个与其人脸类别对应的第一初始形状。这样计算出的当前帧人脸图像的初始人脸关键点的位置可以基于单个人脸参数形状模型，并根据人脸的姿态，或者其他一些特征的人脸类别来确定的，避免了采用多个人脸参数形状模型处理时会出现的问题，因此，能够在使用较小的内存占用量的前提下，提高人脸关键点跟踪的精度，且无需耗费很多的资源，以降低终端硬件设备的处理难度。
附图说明
图1为本发明实施例中进行信息交互的各种硬件实体的示意图；
图2为本发明实施例提供的一种关键点的定位方法的流程图一；
图3为本发明实施例中的标注目标检测区域的示意图；
图4为本发明实施例提供的一种关键点的定位方法的流程图二；
图5为本发明实施例提供的一种关键点的定位方法的流程图三；
图6为本发明实施例提供的一种关键点的定位方法的流程图四；
图7为本发明实施例提供的一种关键点的定位方法的流程图五；
图8为本发明实施例提供的一种关键点的定位方法的流程图六；
图9为本发明实施例中的至少一个人脸检测区域的示意图；
图10为本发明实施例提供的一种关键点的定位方法的流程图七；
图11为本发明实施例中第i-1帧人脸图像；
图12为本发明实施例中第i帧人脸图像；
图13为本发明实施例中第i-1帧人脸图像进行人脸检测框(人脸检测区域)的示意图；
图14为本发明实施例中第i帧人脸图像进行人脸检测框(目标检测区域)的示意图；
图15为本发明实施例中第i帧人脸图像的人脸关键点定位的示意图；
图16为本发明实施例提供的一种关键点的定位方法的流程图八；
图17为本发明实施例提供的一种关键点的定位方法的流程图九；
图18为本发明实施例提供的一种终端的结构示意图一；
图19为本发明实施例提供的一种终端的结构示意图二；
图20为本发明实施例提供的一种终端的结构示意图三；
图21为本发明实施例提供的一种终端的结构示意图四；
图22为本发明实施例提供的一种终端的结构示意图五。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明实施例中进行信息交互的各种硬件实体的示意图，图1中包括：一个或多个服务器11～1n、终端设备21-25及网络31，网络31中包括路由器，网关等等网络实体，图中并未体现。终端设备21-25通过有线网络或者无线网络与服务器进行信息交互，以便从终端21-25采集到相关的数据信息传输至服务器。终端设备的类型如图1所示，包括手机(终端23)、平板电脑或PDA(终端25)、台式机(终端22)、PC机(终端24)、一体机(终端21)等类型。其中，终端设备中安装有各种用户所需的应用，比如具备娱乐功能的应用(如视频应用，音频播放应用，游戏应用，阅读软件)，又如具备服务功能的应用(如地图导航应用、团购应用、拍摄应用等)。
基于上述图1所示的系统，以用户所需的应用为拍摄应用为例，在进行人脸识别时，终端设备21-25通过网络31从服务器11～1n中按照需求下载相机应用和/或拍摄应用更新数据包和/或与采集功能应用相关的数据信息或业务信息，采用本发明实施例，在终端设备上开启拍摄应用，进行目标对象的采集工作，检测出该目标对象为人脸图像，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1；当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别；根据第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状；根据目标检测区域和第一初始形状，计算第i帧人脸图像的初始人脸关键点的位置。采用上述技术实现方案，由于前一帧和当前帧相隔的时间较短，故前一帧人脸图像的人脸类别应与当前帧人脸图像的人脸类别一致(即前一帧与当前帧的相似度匹配策略)。于是，可以通过前一帧人脸图像的人脸类别确定当前帧的人脸类别，且本发明实施例中预设设置有与不同的人脸类别相对应的预设的多个候选初始形状。这样，就可以对当前帧人脸图像确定出一个与其人脸类别对应的第一初始形状。这样计算出的当前帧人脸图像的初始人脸关键点的位置可以基于单个人脸参数形状模型，并根据人脸的姿态，或者其他一些特征的人脸类别来确定的，避免了采用多个人脸参数形状模型处理时会出现的问题，因此，能够在使用较小的内存占用量的前提下，提高人脸关键点跟踪的精度，且无需耗费很多的资源，以降低终端硬件设备的处理难度。
上述图1的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图1所述的系统结构，基于该系统架构，提出本发明各个实施例。
实施例一
本发明实施例提供一种关键点的定位方法，如图2所示，该方法可以包括：
S101、采集目标对象时，检测出该目标对象为人脸图像，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1。
本发明实施例中，关键点的定位方法指的是人脸关键点的定位方法，人脸关键点的定位是指通过算法精确找出人脸关键点的位置。其中，人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。
可选的，如图3所示的人脸图像的初始关键点位置的示意图，本发明实施例中的关键点可以有49个关键点。
需要说明的是，本发明实施例中提供的关键点的定位方法的应用场景为：进行人脸识别定位、人脸追踪或人脸3D建模等情形中。
可选的，目标检测区域为进行目标对象检测而设定的监测区域，例如，人脸检测框等，该人脸检测框可以为矩形、圆形或椭圆等形状，本发明实施例可以根据实际应用设计目标检测区域，并不限制该目标监测区域的形式或形状。
可选的，本发明实施例中的终端可以为手机、平板及电脑等支持人脸识别定位技术的电子设备，且具有采集信息的功能。
具体的，终端支持人脸识别定位技术，在进行人脸关键点的定位时，首先要采集到待识别的目标对象，当终端检测检测出该目标对象为人脸图像后，该终端可以按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，使得标注过后的目标检测区域显示在人脸图像上，以进行人脸关键点的定位，i≥1。
进一步地，第1帧的人脸图像的目标检测区域的位置可以初始默认为中心位置，例如，将人脸检测框(目标检测区域)归一化为长度为1时，标注中心在(0，0)的标准人脸检测框。第2帧之后的人脸图像的目标检测区域的位置可以由其处理前一帧人脸图像而得到的人脸关键点的位置来决定。
可选的，本发明实施例中的采集目标对象时，终端可以采用终端上设置的摄像头进行目标对象的信息采集。
具体的，为了便于用户使用，在有前置摄像头的情况下，终端可以启动前置摄像头进行当前的目标对象的信息采集工作；在没有前置摄像头的情况下，终端可以启动后置摄像头，采集当前的目标对象的信息。
需要说明的是，本发明实施例中采集的目标对象的信息可能是人脸图像，也可能是其他的风景或动物的图像，因此，在采集目标对象之后，终端需要将采集到的目标对象进行检测，当该终端检测出目标对象为人脸图像时，就可以开始进行人脸关键点的定位了。
可以理解的是，在本发明实施例中，由于用户的生物特征信息是一个特征相同或者相似的用户的可能性很小。因此，采用用户生物特征信息中的人脸特征是不易被盗用或冒用的，因此，保密性非常好。
示例性的，如图3所示，假设手机A采用人脸进行了加密，当使用该手机A时，按键启动后，手机A的前置摄像头采集使用者的信息，当该手机A检测到使用者的信息为人脸图像时，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域B并标注为矩形框。
S102、当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别。
终端将第i帧人脸图像上的目标检测区域进行标注之后，就只在该目标检测区域进行人脸关键点的定位，每一帧图像的相隔时间非常短，几乎人眼不可见，因此，当i＞1时，该终端可以根据前一帧与当前帧的相似度匹配策略，根据第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别。
需要说明的是，在本发明实施例中，第i-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息，该第i-1帧人脸图像的人脸关键点信息是与第i帧人脸图像的人脸类别相对应的，因此，根据前一帧与当前帧的相似度匹配策略，终端就可以估计出第i帧人脸图像的人脸类别。
需要说明的是，本发明实施例中，可以根据人脸图像中人脸的姿态，各种表情，光照或遮挡等对进行人脸类别的分类。具体的，把人脸关键点特征近似的人脸图像归为一类，这个是可以人为进行预先分类的。例如，对于人脸的姿态来说，可以分为三个类别，其中，脸部轮廓的位置在(-30～30)为正脸类别，(＜-30)为左脸类别，(＞30)为右脸类别。
需要说明的是，具体的人脸类别的划分可以根据实际情况而设计，本发明实施例并不作限制。
S103、根据第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状。
终端确定第i帧人脸图像的人脸类别之后，由于该终端中预先设置了多个不同人脸类型分别对应的多个候选初始形状，这样，就可以从该预设的多个候选初始形状中确定出与该第i帧人脸图像的人脸类别对应的第一初始形状，即第一初始形状与第i帧人脸图像的人脸类别相对应。
需要说明的是，如果将人脸关键点的位置根据目标检测区域(例如，人脸检测框)的位置和大小进行归一化，例如将人脸检测框归一化为长度为1，中心在(0，0)的标准人脸检测框，将人脸关键点的位置坐标也做转换到相应的坐标系中，那么我们得到的不是一个人脸关键点的具体位置，而是一个人脸关键点与人脸检测框的相对关系，我们称之为一个形状(人脸形状)。反之，如果给定一个形状和一个人脸检测框，我们可以计算出具体的人脸关键点的位置了。
进一步地，本发明实施例中确定预设的多个候选初始形状，包括：设置不同人脸类别的人脸图像训练集；根据目标检测区域的大小和位置，将每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状；将所有人脸图像的初始形状的平均值作为候选初始形状；将不同的人脸类别对应的不同的候选初始形状，确定为预设的多个候选初始形状。
示例性的，假设预先设置了左脸的候选初始形状为1，正脸的候选初始形状为2，右脸的候选初始形状为3，则当手机A确定第i帧人脸图像的人脸类别为左脸时，该手机A确定候选初始形状1为第一初始形状。于是，手机A在第i帧人脸图像的目标检测区域B中的显示的就是第一初始形状。
S104、根据目标检测区域和第一初始形状，计算第i帧人脸图像的初始人脸关键点的位置。
终端确定第一初始形状和目标检测区域之后，由于获知了一个人脸关键点与目标检测区域的相对关系(第一初始形状)，因此，该终端就可以根据该目标检测区域，计算出第i帧人脸图像的初始人脸关键点的位置了。
进一步地，如图4所示，本发明实施例提供的一种关键点的定位方法中，在S104之后，该方法还包括：S105。具体如下：
S105、将第i帧人脸图像的初始关键点的位置进行迭代回归，得到第i帧人脸图像的人脸关键点的位置。
终端计算第i帧人脸图像的初始人脸关键点的位置之后，该终端已经得到了初始人脸关键点的位置了，为了使得人脸关键点更加精确，该终端就将第i帧人脸图像的初始关键点的位置进行迭代回归，得到第i帧人脸图像的人脸关键点的位置。
需要说明的是，如图5所示，S105具体包括：S1051-S1053。具体如下：
S1051、对第i帧人脸图像的初始关键点位置提取第一特征。
需要说明的是，在本发明实施例中第一特征是用于描述人脸特征的参数，也称为特征描述子；基于不同的需求和侧重，本发明实施例可以相应选取，为了提稳定性可以组合使用，具体如下：终端对第i帧人脸图像的初始关键点位置提取尺度不变特征变换(SIFT，Scale-invariant feature transform)特征、方向梯度直方图(HOG，Histogram ofOriented Gradient)特征或者加速稳健特征(SURF，Speeded Up Robust Features)中的至少一项。
S1052、将第一特征进行线性回归，得到第一偏移量。
S1053、将第i帧人脸图像的初始人脸关键点的位置位移第一偏移量，得到第i帧人脸图像的人脸关键点的位置。
下面将以人脸特征值为HOG特征值(也称为HOG数据特征)进行举例，在本发明实施例中，使用到的HOG特征原理：HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域(称为cells)，每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向，这些直方图的组合可表示出(所检测目标对象)描述子。为改善准确率，局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化，然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。
与其他描述子相比，HOG得到的描述子保持了几何和光学转化不变性(除非物体方向改变)。因此，HOG描述子尤其适合人脸的检测。
具体的，HOG特征提取方法就是将一个image进行了下面的过程：
1、灰度化(将图像看做一个x，y，z(灰度)的三维图像)；
2、划分成小cells(2*2)；
3、计算每个cell中每个pixel的gradient(即orientation)；
4、统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor。
需要说明的是，在本发明实施例中，可以通过梯度下降法计算权重偏差量。总之，对给定的人脸关键点位置，在这些人脸关键点位置上计算一些信息罗列成为一个向量，即为提第一特征，然后将第一特征进行回归，即对向量的每一个数值进行组合，最后得到人脸关键点距离真解的第一偏移量。其中，提第一特征的方法有很多，包括：随机森林，sift等，用这些提取出的第一特征可以表达出人脸在当前关键点位置的特点。
实施例二
本发明实施例提供一种关键点的定位方法，如图6所示，该方法可以包括：
S201、采集目标对象时，检测出该目标对象为人脸图像，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1。
本发明实施例中，关键点的定位方法指的是人脸关键点的定位方法，人脸关键点的定位是指通过算法精确找出人脸关键点的位置。其中，人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。
可选的，如图3所示的人脸图像的初始关键点位置的示意图，本发明实施例中的关键点可以有49个关键点。
需要说明的是，本发明实施例中提供的关键点的定位方法的应用场景为：进行人脸识别定位、人脸追踪或人脸3D建模等情形中。
可选的，目标检测区域为进行目标对象检测而设定的监测区域，例如，人脸检测框等，该人脸检测框可以为矩形、圆形或椭圆等形状，本发明实施例可以根据实际应用设计目标检测区域，并不限制该目标监测区域的形式或形状。
可选的，本发明实施例中的终端可以为手机、平板及电脑等支持人脸识别定位技术的电子设备，且具有采集信息的功能。
具体的，终端支持人脸识别定位技术，在进行人脸关键点的定位时，首先要采集到待识别的目标对象，当终端检测检测出该目标对象为人脸图像后，该终端可以按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，使得标注过后的目标检测区域显示在人脸图像上，以进行人脸关键点的定位，i≥1。
进一步地，第1帧的人脸图像的目标检测区域的位置可以初始默认为中心位置，例如，将人脸检测框(目标检测区域)归一化为长度为1时，标注中心在(0，0)的标准人脸检测框。第2帧之后的人脸图像的目标检测区域的位置可以由其处理前一帧人脸图像而得到的人脸关键点的位置来决定。
可选的，本发明实施例中的采集目标对象时，终端可以采用终端上设置的摄像头进行目标对象的信息采集。
具体的，为了便于用户使用，在有前置摄像头的情况下，终端可以启动前置摄像头进行当前的目标对象的信息采集工作；在没有前置摄像头的情况下，终端可以启动后置摄像头，采集当前的目标对象的信息。
需要说明的是，本发明实施例中采集的目标对象的信息可能是人脸图像，也可能是其他的风景或动物的图像，因此，在采集目标对象之后，终端需要将采集到的目标对象进行检测，当该终端检测出目标对象为人脸图像时，就可以开始进行人脸关键点的定位了。
可以理解的是，在本发明实施例中，由于用户的生物特征信息是一个特征相同或者相似的用户的可能性很小。因此，采用用户生物特征信息中的人脸特征是不易被盗用或冒用的，因此，保密性非常好。
示例性的，如图3所示，假设手机A采用人脸进行了加密，当使用该手机A时，按键启动后，手机A的前置摄像头采集使用者的信息，当该手机A检测到使用者的信息为人脸图像时，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域B并标注为矩形框。
S202、当i＝1时，从预设的多个候选初始形状中确定第二初始形状，该第二初始形状为默认的。
终端将第i帧人脸图像上的目标检测区域进行标注之后，当i＝1时，表征此时的目标对象为第1帧人脸图像，由于第1帧人脸图像没有前一帧的人脸图像的处理结果，因此，在i＝1时，终端默认一个预设好的初始形状，即终端可以从多个候选的初始形状中确定一个第二初始形状最为第1帧人脸图像对应的人脸形状。
进一步地，本发明实施例中确定预设的多个候选初始形状，包括：设置不同人脸类别的人脸图像训练集；根据目标检测区域的大小和位置，将每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状；将所有人脸图像的初始形状的平均值作为候选初始形状；将不同的人脸类别对应的不同的候选初始形状，确定为预设的多个候选初始形状。
需要说明的是，本发明实施例中的确定预设的多个候选初始形状的具体实施方式可以利用现有的技术来实现，在此不再进行详细地描述。
需要说明的是，如果将人脸关键点的位置根据目标检测区域(例如，人脸检测框)的位置和大小进行归一化，例如将人脸检测框归一化为长度为1，中心在(0，0)的标准人脸检测框，将人脸关键点的位置坐标也做转换到相应的坐标系中，那么我们得到的不是一个人脸关键点的具体位置，而是一个人脸关键点与人脸检测框的相对关系，我们称之为一个形状(人脸形状)。反之，如果给定一个形状和一个人脸检测框，我们可以计算出具体的人脸关键点的位置了。
S203、根据目标检测区域和第二初始形状，计算第i帧人脸图像的初始人脸关键点的位置。
终端确定第二初始形状和目标检测区域之后，由于获知了一个人脸关键点与目标检测区域的相对关系(第二初始形状)，因此，该终端就可以根据该目标检测区域，计算出第1帧人脸图像的初始人脸关键点的位置了。
S204、将第i帧人脸图像的初始关键点的位置进行迭代回归，得到第i帧人脸图像的人脸关键点的位置。
终端计算第i帧人脸图像的初始人脸关键点的位置之后，该终端已经得到了初始人脸关键点的位置了，为了使得人脸关键点更加精确，该终端就将第i帧人脸图像的初始关键点的位置进行迭代回归，得到第i帧人脸图像的人脸关键点的位置。
需要说明的是，如图7所示，S204具体包括：S2041-S2043。具体如下：
S2041、对第i帧人脸图像的初始关键点位置提取第一特征。
需要说明的是，在本发明实施例中第一特征是用于描述人脸特征的参数，也称为特征描述子；基于不同的需求和侧重，本发明实施例可以相应选取，为了提稳定性可以组合使用，具体如下：终端对第i帧人脸图像的初始关键点位置提取SIFT特征、HOG特征或者SURF中的至少一项。
S2042、将第一特征进行线性回归，得到第一偏移量。
S2043、将第i帧人脸图像的初始人脸关键点的位置位移第一偏移量，得到第i帧人脸图像的人脸关键点的位置。
下面将以人脸特征值为HOG特征值(也称为HOG数据特征)进行举例，在本发明实施例中，使用到的HOG特征原理：HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域(称为cells)，每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向，这些直方图的组合可表示出(所检测目标对象)描述子。为改善准确率，局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化，然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。
与其他描述子相比，HOG得到的描述子保持了几何和光学转化不变性(除非物体方向改变)。因此，HOG描述子尤其适合人脸的检测。
具体的，HOG特征提取方法就是将一个image进行了下面的过程：
1、灰度化(将图像看做一个x，y，z(灰度)的三维图像)；
2、划分成小cells(2*2)；
3、计算每个cell中每个pixel的gradient(即orientation)；
4、统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor。
需要说明的是，在本发明实施例中，可以通过梯度下降法计算权重偏差量。总之，对给定的人脸关键点位置，在这些人脸关键点位置上计算一些信息罗列成为一个向量，即为提第一特征，然后将第一特征进行回归，即对向量的每一个数值进行组合，最后得到人脸关键点距离真解的第一偏移量。其中，提第一特征的方法有很多，包括：随机森林，sift等，用这些提取出的第一特征可以表达出人脸在当前关键点位置的特点。
实施例三
本发明实施例提供一种关键点的定位方法，如图8所示，该方法可以包括：
S301、当i＞1时，采集目标对象时，检测出该目标对象为人脸图像，根据第i-1帧人脸图像的人脸关键点的位置，得到能包含第i-1帧人脸图像的人脸关键点的至少一个人脸检测区域。
本发明实施例中，关键点的定位方法指的是人脸关键点的定位方法，人脸关键点的定位是指通过算法精确找出人脸关键点的位置。其中，人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。
可选的，如图3所示的人脸图像的初始关键点位置的示意图，本发明实施例中的关键点可以有49个关键点。
需要说明的是，本发明实施例中提供的关键点的定位方法的应用场景为：进行人脸识别定位、人脸追踪或人脸3D建模等情形中。
可选的，目标检测区域为进行目标对象检测而设定的监测区域，例如，人脸检测框等，该人脸检测框可以为矩形、圆形或椭圆等形状，本发明实施例可以根据实际应用设计目标检测区域，并不限制该目标监测区域的形式或形状。
可选的，本发明实施例中的终端可以为手机、平板及电脑等支持人脸识别定位技术的电子设备，且具有采集信息的功能。
具体的，终端支持人脸识别定位技术，在进行人脸关键点的定位时，首先要采集到待识别的目标对象，当终端检测检测出该目标对象为人脸图像后，在i大于1的时候，终端可以根据第i-1帧人脸图像的人脸关键点的位置，得到能包含该第i-1帧人脸图像的人脸关键点的至少一个人脸检测区域。
可选的，第i-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息。
可选的，本发明实施例中的采集目标对象时，终端可以采用终端上设置的摄像头进行目标对象的信息采集。
具体的，为了便于用户使用，在有前置摄像头的情况下，终端可以启动前置摄像头进行当前的目标对象的信息采集工作；在没有前置摄像头的情况下，终端可以启动后置摄像头，采集当前的目标对象的信息。
需要说明的是，本发明实施例中采集的目标对象的信息可能是人脸图像，也可能是其他的风景或动物的图像，因此，在采集目标对象之后，终端需要将采集到的目标对象进行检测，当该终端检测出目标对象为人脸图像时，就可以开始进行人脸关键点的定位了。
可以理解的是，在本发明实施例中，由于用户的生物特征信息是一个特征相同或者相似的用户的可能性很小。因此，采用用户生物特征信息中的人脸特征是不易被盗用或冒用的，因此，保密性非常好。
进一步地，当i＝1时，将预设的标准人脸检测区域作为本发明实施例中的目标检测区域。
S302、比较至少一个人脸检测区域中各个人脸检测区域，选择能包含第i-1帧人脸图像的人脸关键点的最小人脸检测区域作为第i帧人脸图像的目标检测区域。
终端得到能包含第i-1帧人脸图像的人脸关键点的至少一个人脸检测区域之后，该终端将至少一个人脸检测区域中的每个人脸检测区域都进行比较，选择能包含第i-1帧人脸图像的人脸关键点的最小人脸检测区域作为目标检测区域，这样就可以在最小的目标监测区域内完成人脸关键点的定位。
S303、将目标检测区域进行标注。
终端确定目标检测区域之后，该终端就可以在第i帧人脸图像上标注出该目标检测区域，以用于进行人脸关键点的定位。
示例性的，如图9所示的至少一个人脸检测区域的示意图可知，假设终端为手机，第i-1帧人脸图像有两个人脸检测区域时，由于人脸检测区域1小于人脸检测区域2，因此，手机可以确定包含人脸关键点的最小的人脸检测区域1作为第i帧人脸图像的目标检测区域的。
S304、根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别。
终端将第i帧人脸图像上的目标检测区域进行标注后，就只在该目标检测区域进行人脸关键点的定位，每一帧图像的相隔时间非常短，几乎人眼不可见，因此，当i＞1时，该终端可以根据前一帧与当前帧的相似度匹配策略，根据第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别。
需要说明的是，在本发明实施例中，第i-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息，该第i-1帧人脸图像的人脸关键点信息是与第i帧人脸图像的人脸类别相对应的，因此，根据前一帧与当前帧的相似度匹配策略，终端就可以估计出第i帧人脸图像的人脸类别。
需要说明的是，本发明实施例中，可以根据人脸图像中人脸的姿态，各种表情，光照或遮挡等对进行人脸类别的分类。具体的，把人脸关键点特征近似的人脸图像归为一类，这个是可以人为进行预先分类的。例如，对于人脸的姿态来说，可以分为三个类别，其中，脸部轮廓的位置在(-30～30)为正脸类别，(＜-30)为左脸类别，(＞30)为右脸类别。
需要说明的是，具体的人脸类别的划分可以根据实际情况而设计，本发明实施例并不作限制。
S305、根据第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状。
终端确定第i帧人脸图像的人脸类别之后，由于该终端中预先设置了多个不同人脸类型分别对应的多个候选初始形状，这样，就可以从该预设的多个候选初始形状中确定出与该第i帧人脸图像的人脸类别对应的第一初始形状，即第一初始形状与第i帧人脸图像的人脸类别相对应。
需要说明的是，如果将人脸关键点的位置根据目标检测区域(例如，人脸检测框)的位置和大小进行归一化，例如将人脸检测框归一化为长度为1，中心在(0，0)的标准人脸检测框，将人脸关键点的位置坐标也做转换到相应的坐标系中，那么我们得到的不是一个人脸关键点的具体位置，而是一个人脸关键点与人脸检测框的相对关系，我们称之为一个形状(人脸形状)。反之，如果给定一个形状和一个人脸检测框，我们可以计算出具体的人脸关键点的位置了。
进一步地，本发明实施例中确定预设的多个候选初始形状，包括：设置不同人脸类别的人脸图像训练集；根据目标检测区域的大小和位置，将每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状；将所有人脸图像的初始形状的平均值作为候选初始形状；将不同的人脸类别对应的不同的候选初始形状，确定为预设的多个候选初始形状。
需要说明的是，本发明实施例中的确定预设的多个候选初始形状的具体实施方式可以利用现有的技术来实现，在此不再进行详细地描述。
示例性的，假设预设设置了左脸的候选初始形状为1，正脸的候选初始形状为2，右脸的候选初始形状为3，则当手机A确定第i帧人脸图像的人脸类别为左脸时，该手机A确定候选初始形状1为第一初始形状。于是，手机A在第i帧人脸图像的目标检测区域B中的显示的就是第一初始形状。
S306、根据目标检测区域和第一初始形状，计算第i帧人脸图像的初始人脸关键点的位置。
终端确定第一初始形状和目标检测区域之后，由于获知了一个人脸关键点与目标检测区域的相对关系(第一初始形状)，因此，该终端就可以根据该目标检测区域，计算出第i帧人脸图像的初始人脸关键点的位置了。
S307、将第i帧人脸图像的初始关键点的位置进行迭代回归，得到第i帧人脸图像的人脸关键点的位置。
终端计算第i帧人脸图像的初始人脸关键点的位置之后，该终端已经得到了初始人脸关键点的位置了，为了使得人脸关键点更加精确，该终端就将第i帧人脸图像的初始关键点的位置进行迭代回归，得到第i帧人脸图像的人脸关键点的位置。
需要说明的是，如图10所示，S307具体包括：S3071-S3073。具体如下：
S3071、对第i帧人脸图像的初始关键点位置提取第一特征。
需要说明的是，在本发明实施例中第一特征是用于描述人脸特征的参数，也称为特征描述子；基于不同的需求和侧重，本发明实施例可以相应选取，为了提稳定性可以组合使用，具体如下：终端对第i帧人脸图像的初始关键点位置提取SIFT特征、HOG特征或者SURF中的至少一项。
S3072、将第一特征进行线性回归，得到第一偏移量。
S3073、将第i帧人脸图像的初始人脸关键点的位置位移第一偏移量，得到该第i帧人脸图像的人脸关键点的位置。
下面将以人脸特征值为HOG特征值(也称为HOG数据特征)进行举例，在本发明实施例中，使用到的HOG特征原理：HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域(称为cells)，每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向，这些直方图的组合可表示出(所检测的目标对象)描述子。为改善准确率，局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化，然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。
与其他描述子相比，HOG得到的描述子保持了几何和光学转化不变性(除非物体方向改变)。因此，HOG描述子尤其适合人脸的检测。
具体的，HOG特征提取方法就是将一个image进行了下面的过程：
1、灰度化(将图像看做一个x，y，z(灰度)的三维图像)；
2、划分成小cells(2*2)；
3、计算每个cell中每个pixel的gradient(即orientation)；
4、统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor。
需要说明的是，在本发明实施例中，可以通过梯度下降法计算权重偏差量。总之，对给定的人脸关键点位置，在这些人脸关键点位置上计算一些信息罗列成为一个向量，即为提第一特征，然后将第一特征进行回归，即对向量的每一个数值进行组合，最后得到人脸关键点距离真解的第一偏移量。其中，提第一特征的方法有很多，包括：随机森林，sift等，用这些提取出的第一特征可以表达出人脸在当前关键点位置的特点。
示例性的，图11为第i-1帧人脸图像，图12为第i帧人脸图像，图13第i-1帧人脸图像进行人脸检测框(人脸检测区域)的示意图、图14为第i帧人脸图像的人脸检测框(目标检测区域)的示意图，图15为第i帧人脸图像进行人脸关键点定位的示意图，具体的，如图13采用上述终端实施关键点的定位时，根据第i-1帧的关键点的跟踪结果，生成的一个人脸检测框；如图14将根据第i-1帧的关键点的跟踪结果生成的人脸检测框，使用在第i帧人脸图像中并标注出来，其中，终端选定的第一初始形状为点状组成的形状；如图15经过多次迭代回归后，将第i帧人脸图像的人脸关键点从第一初始形状，逐渐得到最终的形状。
实施例四
本发明实施例提供一种关键点的定位方法，如图16所示，该方法可以包括：
S401、当i＝1时，采集目标对象时，检测出目标对象为人脸图像，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注。
本发明实施例中，关键点的定位方法指的是人脸关键点的定位方法，人脸关键点的定位是指通过算法精确找出人脸关键点的位置。其中，人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。
可选的，如图3所示的人脸图像的初始关键点位置的示意图，本发明实施例中的关键点可以有49个关键点。
需要说明的是，本发明实施例中提供的关键点的定位方法的应用场景为：进行人脸识别定位、人脸追踪或人脸3D建模等情形中。
可选的，目标检测区域为进行目标对象检测而设定的监测区域，例如，人脸检测框等，该人脸检测框可以为矩形、圆形或椭圆等形状，本发明实施例可以根据实际应用设计目标检测区域，并不限制该目标监测区域的形式或形状。
可选的，本发明实施例中的终端可以为手机、平板及电脑等支持人脸识别定位技术的电子设备，且具有采集信息的功能。
具体的，终端支持人脸识别定位技术，在进行人脸关键点的定位时，首先要采集到待识别的目标对象，当终端检测检测出该目标对象为人脸图像后，当i＝1时，将预设的标准人脸检测区域作为本发明实施例中的目标检测区域。。
可选的，本发明实施例中的采集目标对象时，终端可以采用终端上设置的摄像头进行目标对象的信息采集。
具体的，为了便于用户使用，在有前置摄像头的情况下，终端可以启动前置摄像头进行当前的目标对象的信息采集工作；在没有前置摄像头的情况下，终端可以启动后置摄像头，采集当前的目标对象的信息。
需要说明的是，本发明实施例中采集的目标对象的信息可能是人脸图像，也可能是其他的风景或动物的图像，因此，在采集目标对象之后，终端需要将采集到的目标对象进行检测，当该终端检测出目标对象为人脸图像时，就可以开始进行人脸关键点的定位了。
可以理解的是，在本发明实施例中，由于用户的生物特征信息是一个特征相同或者相似的用户的可能性很小。因此，采用用户生物特征信息中的人脸特征是不易被盗用或冒用的，因此，保密性非常好。
S402、从预设的多个候选初始形状中确定第二初始形状，该第二初始形状为默认的。
终端将第i帧人脸图像上的目标检测区域进行标注之后，当i＝1时，表征此时的目标对象为第1帧人脸图像，由于第1帧人脸图像没有前一帧的人脸图像的处理结果，因此，在i＝1时，终端默认一个预设好的初始形状，即终端可以从多个候选的初始形状中确定一个第二初始形状最为第1帧人脸图像对应的人脸形状。
进一步地，本发明实施例中确定预设的多个候选初始形状，包括：设置不同人脸类别的人脸图像训练集；根据目标检测区域的大小和位置，将每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状；将所有人脸图像的初始形状的平均值作为候选初始形状；将不同的人脸类别对应的不同的候选初始形状，确定为预设的多个候选初始形状。
需要说明的是，本发明实施例中的确定预设的多个候选初始形状的具体实施方式可以利用现有的技术来实现，在此不再进行详细地描述。
需要说明的是，如果将人脸关键点的位置根据目标检测区域(例如，人脸检测框)的位置和大小进行归一化，例如将人脸检测框归一化为长度为1，中心在(0，0)的标准人脸检测框，将人脸关键点的位置坐标也做转换到相应的坐标系中，那么我们得到的不是一个人脸关键点的具体位置，而是一个人脸关键点与人脸检测框的相对关系，我们称之为一个形状(人脸形状)。反之，如果给定一个形状和一个人脸检测框，我们可以计算出具体的人脸关键点的位置了。
S403、根据目标检测区域和第二初始形状，计算第i帧人脸图像的初始人脸关键点的位置。
终端确定第二初始形状和目标检测区域之后，由于获知了一个人脸关键点与目标检测区域的相对关系(第二初始形状)，因此，该终端就可以根据该目标检测区域，计算出第1帧人脸图像的初始人脸关键点的位置了。
S404、将第i帧人脸图像的初始关键点的位置进行迭代回归，得到第i帧人脸图像的人脸关键点的位置。
终端计算第i帧人脸图像的初始人脸关键点的位置之后，该终端已经得到了初始人脸关键点的位置了，为了使得人脸关键点更加精确，该终端就将第i帧人脸图像的初始关键点的位置进行迭代回归，得到第i帧人脸图像的人脸关键点的位置。
需要说明的是，如图17所示，S404具体包括：S4041-S4043。具体如下：
S4041、对第i帧人脸图像的初始关键点位置提取第一特征。
需要说明的是，在本发明实施例中第一特征是用于描述人脸特征的参数，也称为特征描述子；基于不同的需求和侧重，本发明实施例可以相应选取，为了提稳定性可以组合使用，具体如下：终端对第i帧人脸图像的初始关键点位置提取SIFT特征、HOG特征或者SURF中的至少一项。
S4042、将第一特征进行线性回归，得到第一偏移量。
S4043、将第i帧人脸图像的初始人脸关键点的位置位移第一偏移量，得到该第i帧人脸图像的人脸关键点的位置。
下面将以人脸特征值为HOG特征值(也称为HOG数据特征)进行举例，在本发明实施例中，使用到的HOG特征原理：HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域(称为cells)，每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向，这些直方图的组合可表示出(所检测的目标对象)描述子。为改善准确率，局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化，然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。
与其他描述子相比，HOG得到的描述子保持了几何和光学转化不变性(除非物体方向改变)。因此，HOG描述子尤其适合人脸的检测。
具体的，HOG特征提取方法就是将一个image进行了下面的过程：
1、灰度化(将图像看做一个x，y，z(灰度)的三维图像)；
2、划分成小cells(2*2)；
3、计算每个cell中每个pixel的gradient(即orientation)；
4、统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor。
需要说明的是，在本发明实施例中，可以通过梯度下降法计算权重偏差量。总之，对给定的人脸关键点位置，在这些人脸关键点位置上计算一些信息罗列成为一个向量，即为提第一特征，然后将第一特征进行回归，即对向量的每一个数值进行组合，最后得到人脸关键点距离真解的第一偏移量。其中，提第一特征的方法有很多，包括：随机森林，sift等，用这些提取出的第一特征可以表达出人脸在当前关键点位置的特点。
实施例五
如图18所示，本发明是实施例提供一种终端4，该终端4可以包括：
检测单元40，用于所述采集单元410采集目标对象时，检测出所述目标对象为人脸图像。
生成单元41，用于按照预设配置在检测单元40检测到的第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1。
标注单元42，用于将所述生成单元41生成的所述目标检测区域进行标注。
估计单元43，用于当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别。
确定单元44，用于根据所述估计单元43估计的所述第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状。
计算单元45，用于根据所述标注单元42标注的所述目标检测区域和所述确定单元44确定的所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
可选的，所述生成单元41，具体用于根据第i-1帧人脸图像的人脸关键点的位置，得到能包含所述第i-1帧人脸图像的人脸关键点的至少一个人脸检测区域；以及比较所述至少一个人脸检测区域中各个人脸检测区域，选择能包含所述第i-1帧人脸图像的人脸关键点的最小人脸检测区域作为所述目标检测区域。
可选的，所述第i-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息。
所述确定单元44确定的所述第一初始形状与所述估计单元估计的所述第i帧人脸图像的人脸类别相对应。
可选的，如图19所示，所述终端4还包括：迭代回归单元46。
迭代回归单元46，用于所述计算单元45根据所述人脸检测框和所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置之后，将所述计算单元45计算出的所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置。
可选的，当i＝1时，所述标注单元42将所述目标检测区域进行标注之后，所述计算单元45将所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置之前，所述确定单元44，还用于从所述预设的多个候选初始形状中确定第二初始形状，所述第二初始形状为默认的。
所述计算单元45，还用于根据所述标注单元42标注的所述目标检测区域和所述确定单元44确定的所述第二初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
可选的，如图20所示，所述终端4还包括：提取单元47。
所述提取单元47，用于对所述计算单元45计算出的所述第i帧人脸图像的初始关键点位置提取第一特征。
所述迭代回归单元46，具体用于将所述提取单元47提取的所述第一特征进行线性回归，得到第一偏移量；以及将所述计算单元45计算出的所述第i帧人脸图像的初始人脸关键点的位置位移所述提取单元47提取的所述第一偏移量，得到所述第i帧人脸图像的人脸关键点的位置。
可选的，所述提取单元47对所述第i帧人脸图像的初始关键点位置提取SIFT特征、HOG特征或者SURF特征。
可选的，如图21所示，所述终端4还包括：设置单元48、归一化单元49。
所述设置单元48，用于设置不同人脸类别的人脸图像训练集。
所述归一化单元49，用于根据所述标注单元42标注的所述目标检测区域的大小和位置，将所述设置单元48设置的每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状。
所述确定单元44，还用于将所述归一化单元49得到的所述所有人脸图像的初始形状的平均值作为候选初始形状；将不同的人脸类别对应的不同的候选初始形状，确定为所述预设的多个候选初始形状。
在实际应用中，如图22所示，上述检测单元40、生成单元41、标注单元42、估计单元43、确定单元44、计算单元45、提取单元47、设置单元48、采集单元410以及归一化单元49可由位于终端4上的处理器411实现，具体为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等实现，迭代回归单元46由回归器413实现，终端4中还可以包括存储器412，具体的，第i帧人脸图像及其软件代码、第i帧人脸图像的初始关键点的位置及其软件代码、第i帧人脸图像的人脸关键点的位置、第一特征及其软件代码、第一初始形状及其软件代码、第二初始形状及其软件代码、目标检测区域及其软件代码，以及第一偏移量及其软件代码可以保存在存储器412中，该存储器412、回归器413可以通过系统总线414与处理器411连接，其中，存储器412用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (16)
1.一种关键点的定位方法，其特征在于，所述方法包括：
采集目标对象时，检测出所述目标对象为人脸图像，按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1；
当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别；
根据所述第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状；
根据所述目标检测区域和所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
2.根据权利要求1所述的方法，其特征在于，所述按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，包括：
根据第i-1帧人脸图像的人脸关键点的位置，得到能包含所述第i-1帧人脸图像的人脸关键点的至少一个人脸检测区域；
比较所述至少一个人脸检测区域中各个人脸检测区域，选择能包含所述第i-1帧人脸图像的人脸关键点的最小人脸检测区域作为所述目标检测区域。
3.根据权利要求1或2所述的方法，其特征在于，所述第i-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息；
所述第一初始形状与所述第i帧人脸图像的人脸类别相对应。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标检测区域和所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置之后，所述方法还包括：
将所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置。
5.根据所述权利要求4所述的方法，其特征在于，当i＝1时，所述按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注之后，所述将所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置之前，所述方法还包括：
从所述预设的多个候选初始形状中确定第二初始形状，所述第二初始形状为默认的；
根据所述目标检测区域和所述第二初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
6.根据所述权利要求4所述的方法，其特征在于，所述将所述第i帧人脸图像的初始关键点位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点位置，还包括：
对所述第i帧人脸图像的初始关键点位置提取第一特征；
将所述第一特征进行线性回归，得到第一偏移量；
将所述第i帧人脸图像的初始人脸关键点的位置位移所述第一偏移量，得到所述第i帧人脸图像的人脸关键点的位置。
7.根据所述权利要求6所述的方法，其特征在于，所述对所述第i帧人脸图像的初始关键点位置提取第一特征，包括：
所述对所述第i帧人脸图像的初始关键点位置提取尺度不变特征变换SIFT特征、方向梯度直方图HOG特征或者加速稳健特征SURF。
8.根据所述权利要求1或2所述的方法，其特征在于，确定所述预设的多个候选初始形状，包括：
设置不同人脸类别的人脸图像训练集；
根据所述目标检测区域的大小和位置，将每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状；
将所述所有人脸图像的初始形状的平均值作为候选初始形状；
将不同的人脸类别对应的不同的候选初始形状，确定为所述预设的多个候选初始形状。
9.一种终端，其特征在于，所述终端包括：
检测单元，用于采集目标对象时，检测出所述目标对象为人脸图像；
生成单元，用于按照预设配置在检测单元检测到的第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注，i≥1；
标注单元，用于将所述生成单元生成的所述目标检测区域进行标注；
估计单元，用于当i＞1时，根据前一帧与当前帧的相似度匹配策略，由第i-1帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别；
确定单元，用于根据所述估计单元估计的所述第i帧人脸图像的人脸类别，从预设的多个候选初始形状中确定第一初始形状；
计算单元，用于根据所述标注单元标注的所述目标检测区域和所述确定单元确定的所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
10.根据权利要求9所述的终端，其特征在于，
所述生成单元，具体用于根据第i-1帧人脸图像的人脸关键点的位置，得到能包含所述第i-1帧人脸图像的人脸关键点的至少一个人脸检测区域；以及比较所述至少一个人脸检测区域中各个人脸检测区域，选择能包含所述第i-1帧人脸图像的人脸关键点的最小人脸检测区域作为所述目标检测区域。
11.根据权利要求9或10所述的终端，其特征在于，所述第i-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息；
所述确定单元确定的所述第一初始形状与所述估计单元估计的所述第i帧人脸图像的人脸类别相对应。
12.根据权利要求9或10所述的终端，其特征在于，所述终端还包括：迭代回归单元；
迭代回归单元，用于所述计算单元根据所述目标检测区域和所述第一初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置之后，将所述计算单元计算出的所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置。
13.根据所述权利要求12所述的终端，其特征在于，
所述确定单元，还用于当i＝1时，所述标注单元将所述目标检测区域进行标注之后，所述计算单元将所述第i帧人脸图像的初始关键点的位置进行迭代回归，得到所述第i帧人脸图像的人脸关键点的位置之前，从所述预设的多个候选初始形状中确定第二初始形状，所述第二初始形状为默认的；
所述计算单元，还用于根据所述标注单元标注的所述目标检测区域和所述确定单元确定的所述第二初始形状，计算所述第i帧人脸图像的初始人脸关键点的位置。
14.根据所述权利要求12所述的终端，其特征在于，所述终端还包括：提取单元；
所述提取单元，用于对所述计算单元计算出的所述第i帧人脸图像的初始关键点位置提取第一特征；
所述迭代回归单元，具体用于将所述提取单元提取的所述第一特征进行线性回归，得到第一偏移量；以及将所述计算单元计算出的所述第i帧人脸图像的初始人脸关键点的位置位移所述提取单元提取的所述第一偏移量，得到所述第i帧人脸图像的人脸关键点的位置。
15.根据所述权利要求14所述的终端，其特征在于，
所述提取单元对所述第i帧人脸图像的初始关键点位置提取尺度不变特征变换SIFT特征、方向梯度直方图HOG特征或者加速稳健特征SURF。
16.根据所述权利要求9或10所述的终端，其特征在于，所述终端还包括：设置单元、归一化单元；
所述设置单元，用于设置不同人脸类别的人脸图像训练集；
所述归一化单元，用于根据所述标注单元标注的所述目标检测区域的大小和位置，将所述设置单元设置的每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化，得到所有人脸图像的初始形状；
所述确定单元，还用于将所述归一化单元得到的所述所有人脸图像的初始形状的平均值作为候选初始形状；将不同的人脸类别对应的不同的候选初始形状，确定为所述预设的多个候选初始形状。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510880899.5A CN105512627B (zh) | 2015-12-03 | 2015-12-03 | 一种关键点的定位方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510880899.5A CN105512627B (zh) | 2015-12-03 | 2015-12-03 | 一种关键点的定位方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105512627A CN105512627A (zh) | 2016-04-20 |
| CN105512627B true CN105512627B (zh) | 2019-04-12 |
Family
ID=55720594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510880899.5A Active CN105512627B (zh) | 2015-12-03 | 2015-12-03 | 一种关键点的定位方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105512627B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228293A (zh) * | 2016-07-18 | 2016-12-14 | 重庆中科云丛科技有限公司 | 教学评估方法及系统 |
| CN106650624A (zh) * | 2016-11-15 | 2017-05-10 | 东软集团股份有限公司 | 人脸追踪方法及装置 |
| CN106778531A (zh) * | 2016-11-25 | 2017-05-31 | 北京小米移动软件有限公司 | 人脸定位方法及装置 |
| CN106709886B (zh) * | 2017-01-04 | 2019-09-27 | 竹间智能科技（上海）有限公司 | 自动修图方法及装置 |
| CN106845377A (zh) * | 2017-01-10 | 2017-06-13 | 北京小米移动软件有限公司 | 人脸关键点定位方法及装置 |
| TWI728037B (zh) * | 2017-01-19 | 2021-05-21 | 香港商斑馬智行網絡（香港）有限公司 | 對圖像進行關鍵點定位的方法和裝置 |
| CN106875422B (zh) | 2017-02-06 | 2022-02-25 | 腾讯科技（上海）有限公司 | 人脸跟踪方法和装置 |
| CN106960203B (zh) * | 2017-04-28 | 2021-04-20 | 北京搜狐新媒体信息技术有限公司 | 一种面部特征点跟踪方法及系统 |
| CN108875480A (zh) * | 2017-08-15 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸特征信息的追踪方法、装置及系统 |
| CN107679447A (zh) * | 2017-08-17 | 2018-02-09 | 平安科技（深圳）有限公司 | 面部特征点检测方法、装置及存储介质 |
| CN107886072A (zh) * | 2017-11-10 | 2018-04-06 | 深圳市唯特视科技有限公司 | 一种对非结构化人脸扫描的鲁棒配准和几何估计方法 |
| CN107944381B (zh) * | 2017-11-20 | 2020-06-16 | 深圳云天励飞技术有限公司 | 人脸跟踪方法、装置、终端及存储介质 |
| CN107977644B (zh) * | 2017-12-18 | 2021-07-23 | 北京奇虎科技有限公司 | 基于图像采集设备的图像数据处理方法及装置、计算设备 |
| CN108268840B (zh) * | 2018-01-10 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种人脸跟踪方法及装置 |
| CN108256479B (zh) * | 2018-01-17 | 2023-08-01 | 百度在线网络技术（北京）有限公司 | 人脸跟踪方法和装置 |
| CN109034069B (zh) * | 2018-07-27 | 2021-04-09 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109492531B (zh) * | 2018-10-10 | 2021-04-23 | 达闼机器人有限公司 | 人脸图像关键点提取方法、装置、存储介质及电子设备 |
| CN111126101B (zh) * | 2018-10-30 | 2023-06-06 | 北京猎户星空科技有限公司 | 关键点位置的确定方法、装置、电子设备和存储介质 |
| CN109684920B (zh) * | 2018-11-19 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 物体关键点的定位方法、图像处理方法、装置及存储介质 |
| CN109522871B (zh) * | 2018-12-04 | 2022-07-12 | 北京大生在线科技有限公司 | 一种基于随机森林的人脸轮廓定位方法及系统 |
| CN109857878B (zh) * | 2018-12-27 | 2021-08-20 | 深兰科技（上海）有限公司 | 物品标注方法及装置、电子设备及存储介质 |
| CN113228626B (zh) * | 2018-12-29 | 2023-04-07 | 浙江大华技术股份有限公司 | 视频监控系统和方法 |
| CN110210306B (zh) * | 2019-04-30 | 2021-09-14 | 青岛小鸟看看科技有限公司 | 一种人脸跟踪方法和相机 |
| CN112633305A (zh) * | 2019-09-24 | 2021-04-09 | 深圳云天励飞技术有限公司 | 关键点标注方法及相关设备 |
| CN112784244B (zh) * | 2019-11-11 | 2024-08-02 | 北京君正集成电路股份有限公司 | 一种利用目标验证提高目标检测整体效率的方法 |
| CN112784650B (zh) * | 2019-11-11 | 2024-08-02 | 北京君正集成电路股份有限公司 | 一种提升目标检测效率的方法 |
| CN111182207B (zh) * | 2019-12-31 | 2021-08-24 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
| CN111310591A (zh) * | 2020-01-20 | 2020-06-19 | 复旦大学 | 多类型样本数据制作装置及方法 |
| CN111753644A (zh) * | 2020-05-09 | 2020-10-09 | 清华大学 | 在三维人脸扫描上检测关键点的方法及装置 |
| CN112183309B (zh) * | 2020-09-25 | 2024-05-28 | 咪咕文化科技有限公司 | 人脸关键点处理方法、系统、终端及存储介质 |
| CN112598807A (zh) * | 2020-12-22 | 2021-04-02 | 深圳数联天下智能科技有限公司 | 人脸关键点检测模型的训练方法、装置、计算机设备及存储介质 |
| CN113326777B (zh) * | 2021-05-31 | 2024-10-15 | 沈阳康慧类脑智能协同创新中心有限公司 | 基于单目摄像机的眼部识别追踪的方法和装置 |
| CN114677625B (zh) * | 2022-03-18 | 2023-09-08 | 北京百度网讯科技有限公司 | 目标检测方法、装置、设备、存储介质和程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377367A (zh) * | 2012-04-28 | 2013-10-30 | 中兴通讯股份有限公司 | 面部图像的获取方法及装置 |
| CN103942822A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法 |
| CN104036240A (zh) * | 2014-05-29 | 2014-09-10 | 小米科技有限责任公司 | 人脸特征点的定位方法和装置 |
| CN104182718A (zh) * | 2013-05-21 | 2014-12-03 | 腾讯科技（深圳）有限公司 | 一种人脸特征点定位方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9558396B2 (en) * | 2013-10-22 | 2017-01-31 | Samsung Electronics Co., Ltd. | Apparatuses and methods for face tracking based on calculated occlusion probabilities |
-
2015
- 2015-12-03 CN CN201510880899.5A patent/CN105512627B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377367A (zh) * | 2012-04-28 | 2013-10-30 | 中兴通讯股份有限公司 | 面部图像的获取方法及装置 |
| CN104182718A (zh) * | 2013-05-21 | 2014-12-03 | 腾讯科技（深圳）有限公司 | 一种人脸特征点定位方法及装置 |
| CN103942822A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法 |
| CN104036240A (zh) * | 2014-05-29 | 2014-09-10 | 小米科技有限责任公司 | 人脸特征点的定位方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105512627A (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105512627B (zh) | 一种关键点的定位方法及终端 | |
| CN105518744B (zh) | 行人再识别方法及设备 | |
| WO2018028546A1 (zh) | 一种关键点的定位方法及终端、计算机存储介质 | |
| CN105740780B (zh) | 人脸活体检测的方法和装置 | |
| JP6719497B2 (ja) | 画像生成方法、画像生成装置及び画像生成システム | |
| JP2022542204A (ja) | 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム | |
| CN105303152B (zh) | 一种人体再识别方法 | |
| CN105989608B (zh) | 一种面向智能机器人的视觉捕捉方法及装置 | |
| CN107895160A (zh) | 人脸检测与识别装置及方法 | |
| JP7292492B2 (ja) | オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム | |
| CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
| CN108304757A (zh) | 身份识别方法及装置 | |
| Qiang et al. | SqueezeNet and fusion network-based accurate fast fully convolutional network for hand detection and gesture recognition | |
| JP2013533563A (ja) | 映像内のオブジェクトの意味解析 | |
| US20220207266A1 (en) | Methods, devices, electronic apparatuses and storage media of image processing | |
| CN104766062A (zh) | 基于轻量级智能终端的人脸识别系统及注册、识别方法 | |
| CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
| CN105912991A (zh) | 基于3d点云与关键骨骼节点的行为识别 | |
| CN107545252A (zh) | 基于多姿态人脸模型的视频中人脸识别方法及装置 | |
| Wang et al. | Quantifying legibility of indoor spaces using Deep Convolutional Neural Networks: Case studies in train stations | |
| CN103020589A (zh) | 一种单训练样本人脸识别方法 | |
| CN103020655A (zh) | 一种基于单训练样本人脸识别的远程身份认证方法 | |
| Zhang et al. | Facial component-landmark detection with weakly-supervised lr-cnn | |
| CN110532838A (zh) | 对象检测装置和方法及存储介质 | |
| CN114581990A (zh) | 一种跑步智能测试方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |