CN108268840B - 一种人脸跟踪方法及装置 - Google Patents

一种人脸跟踪方法及装置 Download PDF

Info

Publication number
CN108268840B
CN108268840B CN201810021959.1A CN201810021959A CN108268840B CN 108268840 B CN108268840 B CN 108268840B CN 201810021959 A CN201810021959 A CN 201810021959A CN 108268840 B CN108268840 B CN 108268840B
Authority
CN
China
Prior art keywords
shape
increment
group
initial
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810021959.1A
Other languages
English (en)
Other versions
CN108268840A (zh
Inventor
王斌
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201810021959.1A priority Critical patent/CN108268840B/zh
Publication of CN108268840A publication Critical patent/CN108268840A/zh
Application granted granted Critical
Publication of CN108268840B publication Critical patent/CN108268840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请提供一种人脸跟踪方法及装置，用以降低关键点跟踪对初始形状的依赖性以及提高关键点跟踪对复杂环境的鲁棒性。所述人脸跟踪方法包括：根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状；对所述初始形状进行降噪处理；将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状。

Description

一种人脸跟踪方法及装置
技术领域
本申请涉及人脸识别领域，尤其涉及一种人脸跟踪方法及装置。
背景技术
随着计算机和图像处理等技术的高速发展，人脸识别技术也得到了长足的进步；人脸识别不仅可以用在图像处理上，而且，也可以应用在身份鉴别等领域，因此，近些年来，人脸识别也一直是研究的一个热点。
人脸关键点的检测是人脸识别的基础，为了能够准确地识别出视频流中的人脸，需要对视频流中的每一个人脸进行人脸关键点跟踪。所谓人脸关键点，指的是能够反映人脸特征的信息，比如眼睛、眉毛、鼻子、嘴巴、以及脸部外轮廓等。
但关键点跟踪算法依赖初始形状，受光照、遮挡、姿态表情影响严重，因而如何降低关键点跟踪对初始形状的依赖性以及提高关键点跟踪对复杂环境的鲁棒性是亟待解决的技术问题。
发明内容
本申请提供一种人脸跟踪方法及装置，用以降低关键点跟踪对初始形状的依赖性以及提高关键点跟踪对复杂环境的鲁棒性。
本申请实施例提供一种人脸跟踪方法，所述方法包括：
根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状；
对所述初始形状进行降噪处理；
将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状。
优选的，所述对所述初始形状进行降噪处理，具体包括：
对训练集中多个训练人脸图像的真实形状进行归一化；
将归一化后的所述训练人脸图像对应的样本形状进行PCA降维，得到n个主形状；
根据n个所述主形状对所述初始形状进行形状重构，获得降噪后的所述初始形状。
优选的，所述对训练集中多个训练人脸图像的真实形状进行归一化，具体包括：
将训练集中的任一所述训练人脸图像对应的所述真实形状作为预设基准形状，将所有剩下的所述训练人脸图像对应的所述真实形状对齐到该所述预设基准形状；
计算对齐到所述预设基准形状后的所有所述训练人脸图像对应的所述真实形状的平均形状，并将其作为基准形状；
将所有所述训练人脸图像对应的所述真实形状对齐到该所述基准形状；
至少重复一次计算对齐到所述基准形状后的所有所述真实形状的平均形状，并每一次相应将所有所述真实形状对齐到重新确定的平均形状，直到终止条件。
优选的，所述将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状，具体包括：
将降噪后的所述初始形状根据关键点的关联性划分为多个组；
在每一迭代回归预测阶段，分别计算每一组的形状增量；
将每一组的所述形状增量进行融合，得到当前阶段的最终形状增量；
根据当前阶段的所述最终形状增量，更新当前阶段的形状并作为下一阶段的起始形状。
优选的，所述计算每一组的形状增量，具体包括：
通过下式计算每一组的形状增量，
Figure BDA0001543827210000031
其中groupi表示第i个分组的形状约束，Wgroupi为在gourpi上提取到的特征，I为人脸图像，Sgroupi为当前阶段的人脸形状，ΔSgroupi为groupi得到的形状增量。
优选的，所述将每一组的所述形状增量进行融合，得到当前阶段的最终形状增量，具体包括：
计算所有所述分组的所述形状增量的平均值，并将该所述平均值作为当前阶段的最终形状增量；或者，通过对各个所述分组的所述形状增量与形状残差的相似性进行加权，得到当前阶段的最终形状增量，其中，所述形状残差为该所述分组的当前形状与该所述分组的真实形状的差。
本申请实施例还提供一种人脸跟踪装置，所述装置包括：
初始形状确定模块，用于根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状；
降噪模块，用于对所述初始形状进行降噪处理；
预测形状确定模块，用于将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状。
优选的，所述降噪模块，具体包括：
归一化模块，用于对训练集中多个训练人脸图像的真实形状进行归一化；
降维模块，用于将归一化后的所述训练人脸图像对应的样本形状进行PCA降维，得到n个主形状；
重构模块，用于根据n个所述主形状对所述初始形状进行形状重构，获得降噪后的所述初始形状。
优选的，所述归一化模块具体用于：
将训练集中的任一所述训练人脸图像对应的所述真实形状作为预设基准形状，将所有剩下的所述训练人脸图像对应的所述真实形状对齐到该所述预设基准形状；
计算对齐到所述预设基准形状后的所有所述训练人脸图像对应的所述真实形状的平均形状，并将其作为基准形状；
将所有所述训练人脸图像对应的所述真实形状对齐到该所述基准形状；
至少重复一次计算对齐到所述基准形状后的所有所述真实形状的平均形状，并每一次相应将所有所述真实形状对齐到重新确定的平均形状，直到终止条件。
优选的，所述预测形状确定模块，具体包括：
划分模块，用于将降噪后的所述初始形状根据关键点的关联性划分为多个组；
计算模块，用于在每一迭代回归预测阶段，分别计算每一组的形状增量；
融合模块，用于将每一组的所述形状增量进行融合，得到当前阶段的最终形状增量；
更新模块，用于根据当前阶段的所述最终形状增量，更新当前阶段的形状并作为下一阶段的起始形状。
优选的，所述计算模块具体用于：
通过下式计算每一组的形状增量，
Figure BDA0001543827210000041
其中groupi表示第i个分组的形状约束，Wgroupi为在gourpi上提取到的特征，I为人脸图像，Sgroupi为当前阶段的人脸形状，ΔSgroupi为groupi得到的形状增量。
优选的，所述融合模块具体用于：
计算所有所述分组的所述形状增量的平均值，并将该所述平均值作为当前阶段的最终形状增量；或者，通过对各个所述分组的所述形状增量与形状残差的相似性进行加权，得到当前阶段的最终形状增量，其中，所述形状残差为该所述分组的当前形状与该所述分组的真实形状的差。
本申请实施例的有益效果如下：本申请实施例提供的人脸跟踪方法，包括：根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状，对初始形状进行降噪处理，将降噪后初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状，其中，由于对初始形状进行降噪处理，进而可以抑制人脸跟踪算法中形状的误差累积，提高预测精度，降低关键点跟踪对初始形状的依赖性；而对降噪后初始形状在融合形状约束下进行级联回归预测，可以在环境复杂度较小的情况下松弛约束，在环境复杂较大的情况下增强约束，能给自适应地调整形状约束的强度，适应环境变化，提高关键点跟踪对复杂环境的鲁棒性，以及实现对复杂表情的较好预测效果。
附图说明
图1为本申请实施例提供的人脸跟踪方法的流程示意图；
图2为本申请实施例提供的对初始形状降噪方法的流程示意图；
图3为本申请实施例提供的对训练集中的人脸图像进行归一化方法的流程示意图；
图4为本申请实施例提供的一种具体的对初始形状降噪方法的流程示意图；
图5为本申请实施例提供的对降噪后的初始形状进行级联回归预测方法的流程示意图；
图6为本申请实施例提供的一种具体的对降噪后的初始形状进行级联回归预测方法的流程示意图；
图7为本申请实施例提供的对降噪后的初始形状进行分组的示意图；
图8为本申请实施例提供的人脸跟踪装置的结构示意图。
具体实施方式
下面结合说明书附图对本申请实施例的实现过程进行详细说明。需要注意的是，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
参加图1，本申请实施例提供一种人脸跟踪方法，方法包括：
步骤S100，根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状。具体的，可以通过连续预测法根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状通过上一帧的预测形状能够估计出人脸的大概位置，从而不需要再做人脸检测，进而可以直接进行当前帧的形状预测。
步骤S200，对初始形状进行降噪处理。
步骤S300，将降噪后初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状。
在具体实施时，对于步骤200，对初始形状进行降噪处理，结合图2、图3、图4所示，具体包括：
步骤S210，对训练集中多个训练人脸图像的真实形状进行归一化。具体的，真实形状可以是通过手工标定进行获得，即，手工标定每一训练人脸图像的真实形状，获得每一训练人脸图像对应的真实形状。
步骤S220，将归一化后的训练人脸图像对应的样本形状进行PCA降维，得到n个主形状。n个主形状可以为{S0，S1……Sn}，进而对于任意待重构形状可以通过如下式子重构
Figure BDA0001543827210000061
其中
Figure BDA0001543827210000062
为平均形状，a0、a1、an等为重构系数。
PCA(principal componentanalysis)降维，即主成成分分析，就是降低特征的维数，n个主形状，可以是特征分解后，以特征根从大到小排列，前n个特征根对应的形状即为n个主形状，前3个的话就是最大的3个。选前n个是因为前n个的能量最大，样本在n个维度上的离散程度更高，更容易区分。
步骤S230，根据n个主形状对初始形状进行形状重构，获得降噪后的初始形状。
而对于步骤S210，对训练集中多个训练人脸图像的真实形状进行归一化，具体包括：
步骤S211，将训练集中的任一训练人脸图像对应的真实形状作为预设基准形状，将所有剩下的训练人脸图像对应的真实形状对齐到该预设基准形状，例如，可以选择训练集中的第一个训练人脸图像对应的真实形状作为预设基准形状。
步骤S212，计算对齐到预设基准形状后的所有训练人脸图像对应的真实形状的平均形状，并将其作为基准形状，即，可以通过计算坐标的平均值，获得平均形状。
步骤S213，将所有训练人脸图像对应的真实形状对齐到该基准形状。
步骤S214，至少重复一次计算对齐到基准形状后的所有真实形状的平均形状，并每一次相应将所有真实形状对齐到重新确定的平均形状，直到终止条件。即，重复步骤S213和步骤S214，直到终止条件。具体的终止条件，可以为迭代次数或者预设的最小误差值。
在具体实施时，对于步骤S300，将降噪后初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状，参见图5和图6所示，具体包括：
步骤S310，将降噪后的初始形状根据关键点的关联性划分为多个组。关联性指属于同一个局部区域的关键点具有一定的关联，如眼角的关键点和瞳孔点等其他眼睛上的点是具有关联的。具体的，参见图7所示，可以将降噪后的初始形状分为表示左眉的group 1、表示右眉的group 2、表示左眼的group 3、表示右眼的group 4、表示鼻子的group 5、表示嘴巴的group 6、以及表示整个头部的group7七个分组，其中，group1到group6两两都是没有交集，只有group7与其他6个结合有交集，这里的交集是指包含相同的关键点，其中，group7包含所有的关键点。需要说明的是，在具体实施时，在将降噪后的初始形状根据关键点的关联性划分为多个组之前，应该还包括对级联回归预测的训练阶段以及特征提取，而训练阶段的步骤，参见图6所示，可以包括训练数据、数据预处理及增强。
步骤S320，在每一迭代回归预测阶段，分别计算每一组的形状增量。具体的，可以通过下式计算每一组的形状增量，
Figure BDA0001543827210000081
其中groupi表示第i个分组的形状约束，Wgroupi为在gourpi上提取到的特征，I为人脸图像，Sgroupi为当前阶段的人脸形状，ΔSgroupi为groupi得到的形状增量。
步骤S330，将每一组的形状增量进行融合，得到当前阶段的最终形状增量。
步骤S340，根据当前阶段的最终形状增量，更新当前阶段的形状并作为下一阶段的起始形状。
本申请实施例中，通过融合形状约束下进行级联回归预测，可以避免由于全局约束在模型训练和预测阶段都对各个关键点的相对位置存在强约束，而在未遮挡的复杂表情情况下反而得不到理想效果的问题。
优选的，对于步骤S330，将每一组的形状增量进行融合，得到当前阶段的最终形状增量，具体包括：
计算所有分组的形状增量的平均值，并将该平均值作为当前阶段的最终形状增量；或者，通过对各个分组的形状增量与形状残差的相似性进行加权，得到当前阶段的最终形状增量，其中，形状残差为该分组的当前形状与该分组的真实形状的差。
具体的，通过对各个分组的形状增量与形状残差的相似性进行加权，得到当前阶段的最终形状增量，可以通过包括以下步骤：
计算group i的关键点更新后的形状St1：St1＝St1+ΔSgroupi；
计算和group i有交集的group7的形状增量，并且得到计算更新后的形状St2，其中，group1到group6两两都是没有交集，只有group7与其他6个结合有交集。交集是指包含相同的关键点，group7包含所有的关键点，St2只取和group i中相交的关键点；
对St1和St2两个形状向量按元素进行归一化到[0,1]，得到权重值。
重复上述步骤直至group1至group6都与gourp7计算出权重，最后按关键点对所有权重进行归一化。
基于同一发明构思，本申请实施例还提供一种人脸跟踪装置，如图8所示，装置包括：
初始形状确定模块100，用于根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状；
降噪模块200，用于对初始形状进行降噪处理；
预测形状确定模块300，用于将降噪后初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状。
优选的，降噪模块200，具体包括：
归一化模块，用于对训练集中多个训练人脸图像的真实形状进行归一化；
降维模块，用于将归一化后的训练人脸图像对应的样本形状进行PCA降维，得到n个主形状；
重构模块，用于根据n个主形状对初始形状进行形状重构，获得降噪后的初始形状。
优选的，归一化模块具体用于：
将训练集中的任一训练人脸图像对应的真实形状作为预设基准形状，将所有剩下的训练人脸图像对应的真实形状对齐到该预设基准形状；
计算对齐到预设基准形状后的所有训练人脸图像对应的真实形状的平均形状，并将其作为基准形状；
将所有训练人脸图像对应的真实形状对齐到该基准形状；
至少重复一次计算对齐到基准形状后的所有真实形状的平均形状，并每一次相应将所有真实形状对齐到重新确定的平均形状，直到终止条件。
优选的，预测形状确定模块300，具体包括：
划分模块，用于将降噪后的初始形状根据关键点的关联性划分为多个组；
计算模块，用于在每一迭代回归预测阶段，分别计算每一组的形状增量；
融合模块，用于将每一组的形状增量进行融合，得到当前阶段的最终形状增量；
更新模块，用于根据当前阶段的最终形状增量，更新当前阶段的形状并作为下一阶段的起始形状。
优选的，计算模块具体用于：
通过下式计算每一组的形状增量，
Figure BDA0001543827210000101
其中groupi表示第i个分组的形状约束，Wgroupi为在gourpi上提取到的特征，I为人脸图像，Sgroupi为当前阶段的人脸形状，ΔSgroupi为groupi得到的形状增量。
优选的，融合模块具体用于：
计算所有分组的形状增量的平均值，并将该平均值作为当前阶段的最终形状增量；或者，通过对各个分组的形状增量与形状残差的相似性进行加权，得到当前阶段的最终形状增量，其中，形状残差为该分组的当前形状与该分组的真实形状的差。
本申请实施例提供的人脸跟踪方法，包括：根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状，对初始形状进行降噪处理，将降噪后初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状，其中，由于对初始形状进行降噪处理，进而可以抑制人脸跟踪算法中形状的误差累积，提高预测精度，降低关键点跟踪对初始形状的依赖性；而对降噪后初始形状在融合形状约束下进行级联回归预测，可以在环境复杂度较小的情况下松弛约束，在环境复杂较大的情况下增强约束，能给自适应地调整形状约束的强度，适应环境变化，提高关键点跟踪对复杂环境的鲁棒性，以及实现对复杂表情的较好预测效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸跟踪方法，其特征在于，所述方法包括：
根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状；
对所述初始形状进行降噪处理；
将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状；
其中，所述对所述初始形状进行降噪处理，具体包括：
对训练集中多个训练人脸图像的真实形状进行归一化；
将归一化后的所述训练人脸图像对应的样本形状进行PCA降维，得到n个主形状；
根据n个所述主形状对所述初始形状进行形状重构，获得降噪后的所述初始形状。
2.如权利要求1所述的人脸跟踪方法，其特征在于，所述对训练集中多个训练人脸图像的真实形状进行归一化，具体包括：
将训练集中的任一所述训练人脸图像对应的所述真实形状作为预设基准形状，将所有剩下的所述训练人脸图像对应的所述真实形状对齐到该所述预设基准形状；
计算对齐到所述预设基准形状后的所有所述训练人脸图像对应的所述真实形状的平均形状，并将其作为基准形状；
将所有所述训练人脸图像对应的所述真实形状对齐到该所述基准形状；
至少重复一次计算对齐到所述基准形状后的所有所述真实形状的平均形状，并每一次相应将所有所述真实形状对齐到重新确定的平均形状，直到终止条件。
3.如权利要求1所述的人脸跟踪方法，其特征在于，所述将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状，具体包括：
将降噪后的所述初始形状根据关键点的关联性划分为多个组；
在每一迭代回归预测阶段，分别计算每一组的形状增量；
将每一组的所述形状增量进行融合，得到当前阶段的最终形状增量；
根据当前阶段的所述最终形状增量，更新当前阶段的形状并作为下一阶段的起始形状。
4.如权利要求3所述的人脸跟踪方法，其特征在于，所述计算每一组的形状增量，具体包括：
通过下式计算每一组的形状增量，
Figure FDA0002679965980000021
其中groupi表示第i个分组的形状约束，Wgroupi为在gourpi上提取到的特征，I为人脸图像，Sgroupi为当前阶段的人脸形状，ΔSgroupi为groupi得到的形状增量。
5.如权利要求4所述的人脸跟踪方法，其特征在于，所述将每一组的所述形状增量进行融合，得到当前阶段的最终形状增量，具体包括：
计算所有所述分组的所述形状增量的平均值，并将该所述平均值作为当前阶段的最终形状增量；或者，通过对各个所述分组的所述形状增量与形状残差的相似性进行加权，得到当前阶段的最终形状增量，其中，所述形状残差为该所述分组的当前形状与该所述分组的真实形状的差。
6.一种人脸跟踪装置，其特征在于，所述装置包括：
初始形状确定模块，用于根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状；
降噪模块，用于对所述初始形状进行降噪处理；
预测形状确定模块，用于将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状；
其中，所述降噪模块，具体包括：
归一化模块，用于对训练集中多个训练人脸图像的真实形状进行归一化；
降维模块，用于将归一化后的所述训练人脸图像对应的样本形状进行PCA降维，得到n个主形状；
重构模块，用于根据n个所述主形状对所述初始形状进行形状重构，获得降噪后的所述初始形状。
7.如权利要求6所述的人脸跟踪装置，其特征在于，所述归一化模块具体用于：
将训练集中的任一所述训练人脸图像对应的所述真实形状作为预设基准形状，将所有剩下的所述训练人脸图像对应的所述真实形状对齐到该所述预设基准形状；
计算对齐到所述预设基准形状后的所有所述训练人脸图像对应的所述真实形状的平均形状，并将其作为基准形状；
将所有所述训练人脸图像对应的所述真实形状对齐到该所述基准形状；
至少重复一次计算对齐到所述基准形状后的所有所述真实形状的平均形状，并每一次相应将所有所述真实形状对齐到重新确定的平均形状，直到终止条件。
8.如权利要求6所述的人脸跟踪装置，其特征在于，所述预测形状确定模块，具体包括：
划分模块，用于将降噪后的所述初始形状根据关键点的关联性划分为多个组；
计算模块，用于在每一迭代回归预测阶段，分别计算每一组的形状增量；
融合模块，用于将每一组的所述形状增量进行融合，得到当前阶段的最终形状增量；
更新模块，用于根据当前阶段的所述最终形状增量，更新当前阶段的形状并作为下一阶段的起始形状。
9.如权利要求8所述的人脸跟踪装置，其特征在于，所述计算模块具体用于：
通过下式计算每一组的形状增量，
Figure FDA0002679965980000041
其中groupi表示第i个分组的形状约束，Wgroupi为在gourpi上提取到的特征，I为人脸图像，Sgroupi为当前阶段的人脸形状，ΔSgroupi为groupi得到的形状增量。
10.如权利要求9所述的人脸跟踪装置，其特征在于，所述融合模块具体用于：
计算所有所述分组的所述形状增量的平均值，并将该所述平均值作为当前阶段的最终形状增量；或者，通过对各个所述分组的所述形状增量与形状残差的相似性进行加权，得到当前阶段的最终形状增量，其中，所述形状残差为该所述分组的当前形状与该所述分组的真实形状的差。
CN201810021959.1A 2018-01-10 2018-01-10 一种人脸跟踪方法及装置 Active CN108268840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810021959.1A CN108268840B (zh) 2018-01-10 2018-01-10 一种人脸跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810021959.1A CN108268840B (zh) 2018-01-10 2018-01-10 一种人脸跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN108268840A CN108268840A (zh) 2018-07-10
CN108268840B true CN108268840B (zh) 2020-12-08

Family

ID=62773378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810021959.1A Active CN108268840B (zh) 2018-01-10 2018-01-10 一种人脸跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN108268840B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置
CN110659570A (zh) * 2019-08-21 2020-01-07 北京地平线信息技术有限公司 目标对象姿态跟踪方法、神经网络的训练方法及装置
CN110543845B (zh) * 2019-08-29 2022-08-12 四川大学 一种三维人脸的人脸级联回归模型训练方法及重建方法
CN112215088B (zh) * 2020-09-21 2022-05-03 电子科技大学 一种视频中舱门残缺形状的跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN102663427A (zh) * 2012-03-29 2012-09-12 浙江大学 基于先验形状稀疏凸组合的同步目标分割和识别方法
CN106127104A (zh) * 2016-06-06 2016-11-16 安徽科力信息产业有限责任公司 一种Android平台下基于人脸关键点的预测系统及其方法
CN106909888A (zh) * 2017-01-22 2017-06-30 南京开为网络科技有限公司 应用于移动设备端的人脸关键点跟踪系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036229A (zh) * 2013-03-10 2014-09-10 江南大学 基于回归的主动外观模型初始化方法
CN103226584B (zh) * 2013-04-10 2016-08-10 湘潭大学 形状描述符的构建方法及基于该描述符的图像检索方法
US9361510B2 (en) * 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
CN103942822B (zh) * 2014-04-11 2017-02-01 浙江大学 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法
CN104077775A (zh) * 2014-06-28 2014-10-01 中国科学院光电技术研究所 一种结合骨架特征点和形状上下文的形状匹配方法及装置
EP3183689A4 (en) * 2014-08-22 2017-08-23 Microsoft Technology Licensing, LLC Face alignment with shape regression
GB2544971B (en) * 2015-11-27 2017-12-27 Holition Ltd Locating and tracking fingernails in images
CN105512627B (zh) * 2015-12-03 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN102663427A (zh) * 2012-03-29 2012-09-12 浙江大学 基于先验形状稀疏凸组合的同步目标分割和识别方法
CN106127104A (zh) * 2016-06-06 2016-11-16 安徽科力信息产业有限责任公司 一种Android平台下基于人脸关键点的预测系统及其方法
CN106909888A (zh) * 2017-01-22 2017-06-30 南京开为网络科技有限公司 应用于移动设备端的人脸关键点跟踪系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Face Alignment by Explicit Shape Regression;Xudong Cao 等;《International Journal of Computer Vison》;20131213;第107卷(第2期);第177-190页 *
融合面部特征的驾驶员疲劳检测关键技术研究;焦英豪;《中国优秀硕士学位论文全文数据库工程科技辑II辑》;20170315;第C035-205页正文第31页第2段、第32页第3段、第34页2-4段 *

Also Published As

Publication number Publication date
CN108268840A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
CN109522818B (zh) 一种表情识别的方法、装置、终端设备及存储介质
Osokin Real-time 2d multi-person pose estimation on cpu: Lightweight openpose
US11443772B2 (en) Method for triggering events in a video
Liu et al. Connecting image denoising and high-level vision tasks via deep learning
CN108268840B (zh) 一种人脸跟踪方法及装置
CN108182384B (zh) 一种人脸特征点定位方法及装置
CN108090470B (zh) 一种人脸对齐方法及装置
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN109359214A (zh) 基于神经网络的视频描述生成方法、存储介质及终端设备
CN112288011A (zh) 一种基于自注意力深度神经网络的图像匹配方法
WO2018010101A1 (en) Method, apparatus and system for 3d face tracking
CN113095333B (zh) 无监督特征点检测方法及装置
CN110648289A (zh) 图像的加噪处理方法及装置
CN110705584A (zh) 情绪识别方法、装置、计算机装置及存储介质
CN111401339A (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
CN113111804B (zh) 一种人脸检测的方法、装置、电子设备及存储介质
Hu et al. Face restoration via plug-and-play 3D facial priors
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
Kim et al. Robust facial landmark extraction scheme using multiple convolutional neural networks
CN116229531A (zh) 一种协作渐进生成对抗网络的人脸正面图像合成方法
CN109886091B (zh) 基于带权重局部旋度模式的三维人脸表情识别方法
CN113221660B (zh) 一种基于特征融合的跨年龄人脸识别方法
CN109858355B (zh) 图像处理方法及相关产品
CN112200109A (zh) 面部属性识别方法、电子设备以及计算机可读存储介质
Hao et al. Iris segmentation using feature channel optimization for noisy environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant