CN106909888A - 应用于移动设备端的人脸关键点跟踪系统及方法 - Google Patents

应用于移动设备端的人脸关键点跟踪系统及方法 Download PDF

Info

Publication number
CN106909888A
CN106909888A CN201710048579.2A CN201710048579A CN106909888A CN 106909888 A CN106909888 A CN 106909888A CN 201710048579 A CN201710048579 A CN 201710048579A CN 106909888 A CN106909888 A CN 106909888A
Authority
CN
China
Prior art keywords
key point
frame
initial
shape
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710048579.2A
Other languages
English (en)
Other versions
CN106909888B (zh
Inventor
罗楠
杨通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Open Network Technology Co Ltd
Original Assignee
Nanjing Open Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Open Network Technology Co Ltd filed Critical Nanjing Open Network Technology Co Ltd
Priority to CN201710048579.2A priority Critical patent/CN106909888B/zh
Publication of CN106909888A publication Critical patent/CN106909888A/zh
Application granted granted Critical
Publication of CN106909888B publication Critical patent/CN106909888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • G06K9/00248Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00268Feature extraction; Face representation
    • G06K9/00281Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本发明提供一种应用于移动设备端的人脸关键点跟踪系统及方法,该系统包括初始人脸框检测模块、人脸关键点回归模型学习模块、人脸关键点回归计算模块、工作模式判定模块和人脸关键点后处理模块。人脸关键点回归计算模块:包含检测模式与跟踪模式,检测模式根据初始人脸框作为输入回归计算人脸关键点模型;跟踪模式根据上一帧人脸关键点模型作为输入回归计算当前帧关键点模型;该系统及方法为具有检测模式和跟踪模式的人脸关键点定位技术,只需在第一帧进行人脸初始框检测,在后续的定位过程中采用跟踪模式,采用上一帧的关键点定位作为当前帧的输入,这样,在跟踪过程不用再次调用人脸检测模块,节省计算时间,提高系统效率。

Description

应用于移动设备端的人脸关键点跟踪系统及方法
技术领域
[0001] 本发明涉及一种应用于移动设备端的人脸关键点跟踪系统及方法。
背景技术
[0002] 人脸跟踪是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程,是 进行动态人脸信息处理的第一个环节,在人机智能交互有着重要的应用价值。
[0003] 在传统的人脸关键点定位系统中,对于视频中的每一帧图像都要经过人脸检测和 人脸对准这两个步骤,才能获得连续的人脸关键点定位,其中人脸检测步骤即为获取到初 始人脸框,人脸对准则为关键点的计算。这种方式下,效率较低,耗时长,易在交互过程中出 现卡顿现象。
[0004] 在多人脸模式的人脸跟踪中,存在着人脸的增减的情况,因此在跟踪的过程中如 果需要同时进行人脸检测,在传统的方法中对每一帧图像都会进行人脸检测,存在着效率 低,耗时长的问题。
[0005] 上述问题是在人脸关键点跟踪过程中应当予以考虑并解决的问题。
发明内容
[0006] 本发明的目的是提供一种应用于移动设备端的人脸关键点跟踪系统及方法,只需 在第一帧进行人脸初始框检测,在后续的定位过程中采用跟踪模式,采用上一帧的关键点 定位作为当前帧的输入,节省计算时间,提高系统效率,解决现有技术中存在的上述问题。
[0007] 本发明的技术解决方案是:
[0008] 一种应用于移动设备端的人脸关键点跟踪系统,包括:
[0009] 初始人脸框检测模块:读入当前帧图像,获取当前帧图像中人脸的位置,获得初始 人脸框;
[0010]人脸关键点回归模型学习模块:收集各角度的人脸训练图像,通过标定技术对所 收集的人脸图像进行68个关键点的标记,选择基于随机森林的LBF算法来进行回归模型的 学习;
[0011] 人脸关键点回归计算模块:包含检测模式与跟踪模式,检测模式根据初始人脸框 作为输入人脸关键点回归计算模型;跟踪模式根据上一帧人脸形状作为输入当前帧关键点 回归计算模型;
[0012] 工作模式判定模块:在第一帧采用检测模式,进行人脸初始框检测;在后续的定位 过程中采用跟踪模式,采用上一帧的关键点定位作为当前帧的输入,通过统计方法计算当 前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪 成功的状态;
[0013]人脸关键点后处理模块:通过滤波算法对人脸关键点位置进行滤波,消除关键点 的抖动;通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算,实现人脸姿态估 算。
[0014] 进一步地,初始人脸框检测模块,具体为:
[0015] SI 1、利用人脸图像提取其中的模式特征,包括色彩特征、直方图特征或Haar特征;
[0016] S12、利用Adaboost算法组成级联分类器利用提取的模式特征来获取人脸位置的 粗略估计;
[0017] S13、此时获取的人脸粗略估计通常存在一定的漂移误差,利用人眼位置来进行矫 正,采用opencv的人眼级联检测器来检测人眼,获取每一个人眼的中心位置;
[0018] S14、通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度,再通过人 眼坐标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量;
[0019] S15、通过上述计算得到的矫正参数,包括旋转角度、缩放因子、平移向量,对粗略 估计的人脸框进行矫正,得到初始人脸框。
[0020] 进一步地,人脸关键点回归模型学习模块,具体为:
[0021] 每个训练样本包含一个训练图像、一个初始人脸形状和一个真实人脸形状,再通 过数据增强的方法在原始训练样本的基础上获得更多的训练样本;利用基于随机森林的 LBF算法对上述标定的训练样本计算得到特征映射函数,进而计算得到局部LBF特征;将局 部LBF特征组合起来得到一个全局的LBF特征,利用全局回归算法对全局LBF特征进行学习 获得一个全局线性回归模型。
[0022] 进一步地,人脸关键点回归计算模块中检测模式具体为:
[0023] S311、载入初始人脸框坐标,计算归一化的人脸框坐标与初始人脸框坐标的仿射 变换矩阵;
[0024] S312、将平均人脸形状,用S表示,按照上述放射变换矩阵投影到初始人脸框的坐 标系中,得到初始人脸框的平均人脸形状,用S'表示;
[0025] S:313、将上述S'放入级联随机森林回归器中进行逐级回归计算,每一级回归的输 出作为下一级回归的输入;
[0026] S314、在每一级的回归器中,针对每一个关键点提取LBF特征算子,并且按照该特 征算子来推算出关键点应当回归的偏移量△ Si,其中i表示第i个特征点。
[0027] 进一步地,人脸关键点回归计算模块中跟踪模式具体为:
[0028] S3M、将平均人脸形状,用S表示,与上一帧人脸形状进行归一化计算,再分别计算 两个形状的均方差,按照均方差的比列求得两个形状的比例因子;
[0029] S322、利用放射变换关系计算上述两个归一化后的人脸形状的旋转变换因子,按 照比例因子与旋转因子将平均人脸形状变换到当前人脸的坐标系当中,用V表示;
[0030] S323、将上述S/放入级联随机森林回归器中进行逐级回归计算,每一级回归的输 出作为下一级回归的输入;
[0031] S324、在每一级的回归器中,针对每一个关键点提取LBF特征算子,并且按照该特 征算子来推算出关键点应当回归的偏移量△ Si,其中i表示第i个特征点。
[0032] 进一步地,工作模式判定模块具体为:
[0033] S41、记录上一帧的人脸形状坐标,计算与当前人脸形状每一个关键点的坐标的差 值;
[0034] S42、计算所有关键点差值的均值及均方差;
[0035] S43、当差值均值和均方差小于预设阈值时,判定当前跟踪成功;当上述统计值大 于预设阈值时,则判断当前跟踪失败。
[0036]进一步地,人脸关键点后处理模块:通过滤波算法对人脸关键点位置进行滤波,具 体为:
[0037] S51、利用一个n倍于人脸形状大小的内存空间存储跟踪成功的最近n帧的形状坐 标,100,设置起始标志位;
[0038] S52、利用存储的有效n帧人脸形状坐标信息和卡尔曼滤波器对当前得到的坐标进 行滤波处理;
[0039] S53、将滤波后的形状坐标作为当前帧的真实坐标输出。
[0040]进一步地,还包括人脸重叠率计算模块,人脸重叠率计算模块:只应用在多人脸跟 踪的情况下,设置检测间隙,通过每隔一段检测间隙后进行一次检测,将检测中获取的初始 人脸框与跟踪人脸形状进行重叠率计算,当重叠率大于预设阈值时,则判定当前初始人脸 与跟踪人脸为同一人脸,不进行后续操作;若重叠率小于预设阈值时,判定当前初始人脸为 新加入人脸,调用检测模式进行人脸关键点回归计算模块。
[0041] —种使用上述应用于移动设备端的人脸关键点跟踪系统的方法,包括以下步骤: 在读入当前帧图像以后,通过判断是否需要进行人脸检测,判断依据为当前是否达到规定 的跟踪人脸数以及是否满足检测间隙的要求,通过每隔一段检测间隙后进行一次检测,进 行人脸检测,则调用人脸检测模块获取得到初始人脸,并对获取的人脸进行重叠率计算,判 断出是否有新增人脸,若有新增人脸则对其使用检测模式的关键点回归计算;若当前帧不 需要检测人脸以及人脸检测后仍需判断是否存在成功跟踪的人脸,若存在前帧中成功跟踪 的人脸,则对该人脸进行跟踪模式的关键点回归计算;否则,返回重新读入下一帧图像。 [0042]进一步地,将检测中获取的初始人脸框与跟踪人脸关键点模型进行重叠率计算, 当重萱率大于预设阈值时,则判定当目U初始人脸与跟踪人脸为同一人脸,不进行后续添加 新增人脸以及不进行检测模式的关键点回归计算的操作;;若重叠率小于预设阈值时,判定 当前初始人脸为新加入人脸,调用检测模式进行人脸关键点回归计算模块。
[0043]本发明的有益效果是:该种应用于移动设备端的人脸关键点跟踪系统及方法,为 具有检测模式和跟踪t吴式的人脸关键点定位技术,只需在第一巾贞进行人脸初始框检测,在 后续的定位过程中采用跟踪模式,采用上一帧的关键点定位作为当前帧的输入,这样,在跟 踪过程不用再次调用人脸检测模块,节省计算时间,提高系统效率。
附图说明
[0044]图1是本发明实施例应用于移动设备端的人脸关键点跟踪系统的说明框图。
[0045]图2是本发明实施例应用于移动设备端的人脸关键点跟踪方法的流程示意图。
[0046] 图3是实施例中对所收集的人脸图像进行68个关键点的标记示意图。
[0047] 图4是实施例中人眼矫正的流程示意图。
[0048] 图5是实施例中关键点计算实例的示意图。
[0049] 图6是实施例系统在不同机型的性能测试结果示意图。
具体实施方式
[0050] 下面结合附图详细说明本发明的优选实施例。
[0051] 实施例
[0052] —种应用于移动设备端的人脸关键点跟踪系统,如图1和图5,包括初始人脸框检 测模块、人脸关键点回归模型学习模块、人脸关键点回归计算模块、工作模式判定模块和人 脸关键点后处理模块。其中人脸关键点回归模型学习模块属于离线模块,可事先离线学习 出回归模型;另外其他的模块均为在线模块,即为在系统工作流程上必须使用的模块。
[0053] 初始人脸框检测模块:获取得到一个或者多个人脸的位置。具体为:
[0054]利用人脸图像提取其中的模式特征,包括色彩特征、直方图特征、Haar特征等;利 用Adaboost算法组成级联分类器利用上述特征来获取人脸位置的粗略估计;此时获取的人 脸粗略估计通常存在一定的漂移误差,因此实施例利用人眼位置来进行矫正,如图4,实施 例同样采用opencv的人眼级联检测器来检测人眼,获取每一个人眼的中心位置;通过人眼 的连线与水平位置的夹角来确定人脸框旋转的矫正角度,再通过人眼坐标和人脸框的坐标 关系来确定人脸框缩放的尺度因子与平移向量;通过上述计算得到的矫正参数(旋转角度、 缩放因子、平移向量)对粗略估计的人脸框进行矫正,得到初始人脸框。
[0055]人脸关键点回归模型学习模块:收集各个角度的人脸训练图像,通过标定技术对 所收集的人脸图像进行68个关键点的标记,如图3所示。每个训练样本包含一个训练图像, 一个初始人脸形状,一个真实人脸形状。再通过数据增强的方法在原始训练样本的基础上 获得更多的训练样本。选择基于随机森林的LBF算法来进行回归模型的学习,学习过程主要 包括:利用随机森林对上述标定的训练样本计算得到特征映射函数,进而计算得到局部LBF 特征;将局部LBF特征组合起来得到一个全局的LBF特征,利用全局回回归算法对全局LBF特 征进行学习获得一个全局线性回归模型。本发明采用多级级联回归的方法,每一级回归模 型都可由上述提取局部LBF特征以及全局回归算法计算得到。
[0056] 人脸关键点回归计算模块:包含检测模式与跟踪模式。
[0057]检测模式:根据初始人脸框作为输入回归计算人脸关键点模型。具体流程如下:载 入初始人脸框坐标,计算归一化的人脸框坐标(顶点坐标取值范围为[0,1])与初始人脸框 坐标的仿射变换矩阵;将平均人脸形状meanshape,用S表示,按照上述放射变换矩阵投影到 初始人脸框的坐标系中,得到初始人脸框的平均人脸形状,用S'表示;将上述S/放入级联随 机森林回归器中进行逐级回归计算,每一级回归的输出作为下一级回归的输入;在每一级 的回归器中,针对每一个关键点提取LBF特征算子,并且按照该特征算子来推算出关键点应 当回归的偏移量A Si,其中i表示第i个特征点。
[0058]跟踪模式:根据上一帧人脸形状作为输入回归计算当前帧形状模版。由于两帧之 间的位移较小,则能提_计算性能。具体流程如下:将平均人脸形状(meanshape),用S表示, 与上一帧人脸形状进行零-均值归一化计算,再分别计算两个形状的均方差,按照均方差的 比列求得两个形状的比例因子。利用放射变换关系计算上述两个归一化人脸形状的旋转变 换因子,按照比例因子与旋转因子将平均人脸形状变换到当前人脸的坐标系当中,用S'表 示;将上述S°放入级联随机森林回归器中进行逐级回归计算,每一级回归的输出作为下一 级回归的输入;在每一级的回归器中,针对每一个关键点提取LBF特征算子,并且按照该特 征算子来推算出关键点应当回归的偏移量A Si,其中i表示第i个特征点。
[0059] 工作模式判定模块:在传统的人脸关键点定位系统中,对于视频中的每一帧图像 都要经过人脸检测和人脸对准这两个步骤,才能获得连续的人脸关键点定位,其中人脸检 测步骤即为获取到初始人脸框,人脸对准则为关键点的计算。本发明提出一种具有检测模 式和跟踪模式的人脸关键点定位技术,只需在第一帧进行人脸初始框检测,在后续的定位 过程中采用跟踪模式,采用上一帧的关键点定位作为当前帧的输入,这样做的好处为在跟 踪过程不用再次调用人脸检测模块,节省计算时间,提高系统效率。
[0060]实施例通过统计方法计算当前帧人脸形状与上一帧人脸形状的关系来判断当前 帧形状是否处于跟踪成功的状态,具体的工作流程如下:
[0061] 1) •记录上一帧的人脸形状坐标,计算与当前形状每一个关键点的坐标的差值;
[0062] 2) •计算所有关键点差值的均值及均方差;
[0063] 3) •当差值均值和均方差小于预设阈值时,判定当前跟踪成功;当上述统计值大于 预设阈值时,则判断当前跟踪失败。
[00M]实施例系统还包括人脸重叠率计算模块即多人脸模式:该模块只应用在多人脸跟 踪的情况下,若只有一张人脸的跟踪模式则不需要调用该模块。在多人脸模式的人脸跟踪 中,存在着人脸的增减的情况,因此在跟踪的过程中如果需要同时进行人脸检测,在传统的 方法中对每一帧图像都会进行人脸检测。本发明中设置一个检测间隙,g卩为不用每一帧都 进行人脸检测,而是通过每隔一段检测间隙后进行一次检测,将检测中获取的初始人脸框 与跟踪人脸形状进行重叠率计算。当重叠率大于预设阈值时,则判定当前初始人脸与跟踪 人脸为同一人脸,不进行后续操作;若重叠率小于预设阈值时,判定当前初始人脸为新加入 人脸,调用检测模式进行人脸关键点回归计算。本发明中的检测间隙可设置为i-200帧,由 于检测间隙的设置,能够大大提高本系统的工作效率。
[0065]人脸关键点后处理模块:包括滤波模块和人脸姿态估算模块:
[0066]滤波模块:通过卡尔曼滤波器等滤波算法对人脸关键点位置进行滤波,以消除关 键点的抖动。具体流程如下:利用一个n倍于人脸形状大小的内存空间存储跟踪成功的最近 n帧人脸形状坐标,(KnSlOO),设置起始标志位;利用存储的有效n帧人脸形状坐标信息 和卡尔曼滤波器对当前得到的形状坐标进行滤波处理;将滤波后的人脸形状坐标作为当前 帧的真实坐标输出。
[0067]姿态估算模块:通过预先设置的参数对人脸xyz轴三个方向的旋转角进行估算。 [0068]对实施例系统在多款常见的手机上进行了性能测试,每次测试分别记录了10分钟 的单人脸/无人脸跟踪过程中的CPU和内存的占用情况以及平均单帧处理时间,展示在图6 表1-4中。从表中数据可以看出,本发明所提供的方法在CPU占用、内存占用以及单帧处理时 间这三个方面都有较好的表现。其中具体来说,本发明方法在CPU占用率上与现有的行业内 技术相比降低5〇%左右;此外,内存占用率以及单帧处理时间这两项指标与现有方法比较 出入不大,均处于行业内领先水平,能够实现移动端实时的人脸关键点检测与跟踪,满足二 次开发的性能需求。
[0069] —种使用上述应用于移动设备端的人脸关键点跟踪系统的方法,图2,包括以下步 骤:在读入当前帧图像以后,通过判断是否需要进行人脸检测,判断依据为当前是否达到规 定的跟踪人脸数以及是否满足检测间隙的要求,通过每隔一段检测间隙后进行一次检测, 进行人脸检测,则调用人脸检测模块获取得到初始人脸,并对获取的人脸进行重叠率计算, 判断出是否有新增人脸,若有新增人脸则对其使用检测模式的关键点回归计算;若当前帧 不需要检测人脸以及人脸检测后仍需判断是否存在成功跟踪的人脸,若存在前帧中成功跟 踪的人脸,则对该人脸进行跟踪模式的关键点回归计算;否则,返回重新读入下一帧图像。
[0070] 如图2,重叠率计算后并行两个进程,即判断出是否有新增人脸与判断是否存在成 功跟踪的人脸。
[0071] 图2中,将检测中获取的初始人脸框与跟踪人脸关键点模型进行重叠率计算,当重 叠率大于预设阈值时,则判定当前初始人脸与跟踪人脸为同一人脸,不进行后续添加新增 人脸以及不进行检测模式的关键点回归计算的操作,结束该进程;若重叠率小于预设阈值 时,判定当前初始人脸为新加入人脸,调用检测模式进行人脸关键点回归计算模块。

Claims (10)

1.一种应用于移动设备端的人脸关键点跟踪系统,其特征在于,包括: 初始人脸框检测模块:读入当前帧图像,获取当前帧图像中人脸的位置,获得初始人脸 框; 人脸关键点回归模型学习模块:收集各角度的人脸训练图像,通过标定技术对所收集 的人脸图像进行68个关键点的标记,选择基于随机森林的LBF算法来进行回归模型的学习; 人脸关键点回归计算模块:包含检测模式与跟踪模式,检测模式根据初始人脸框作为 输入人脸关键点回归计算模型;跟踪模式根据上一帧人脸形状作为输入当前帧关键点回归 计算模型; 工作模式判定模块:在第一帧采用检测模式,进行人脸初始框检测;在后续的定位过程 中采用跟踪模式,采用上一帧的关键点定位作为当前帧的输入,通过统计方法计算当前帧 关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功 的状态; 人脸关键点后处理模块:通过滤波算法对人脸关键点位置进行滤波,消除关键点的抖 动;通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算,实现人脸姿态估算。
2.如权利要求1所述的应用于移动设备端的人脸关键点跟踪系统,其特征在于:初始人 脸框检测模块,具体为: SI 1、利用人脸图像提取其中的模式特征,包括色彩特征、直方图特征或Haar特征; 512、 利用Adaboost算法组成级联分类器利用提取的模式特征来获取人脸位置的粗略 估计; 513、 此时获取的人脸粗略估计通常存在一定的漂移误差,利用人眼位置来进行矫正, 采用opencv的人眼级联检测器来检测人眼,获取每一个人眼的中心位置; 514、 通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度,再通过人眼坐 标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量; 515、 通过上述计算得到的矫正参数,包括旋转角度、缩放因子、平移向量,对粗略估计 的人脸框进行矫正,得到初始人脸框。
3.如权利要求1所述的应用于移动设备端的人脸关键点跟踪系统,其特征在于:人脸关 键点回归模型学习模块,具体为: 每个训练样本包含一个训练图像、一个初始形状和一个真实形状,再通过数据增强的 方法在原始训练样本的基础上获得更多的训练样本;利用基于随机森林的LBF算法对上述 标定的训练样本计算得到特征映射函数,进而计算得到局部LBF特征;将局部LBF特征组合 起来得到一个全局的LBF特征,利用全局回归算法对全局LBF特征进行学习获得一个全局线 性回归模型。
4.如权利要求1_3任一项所述的应用于移动设备端的人脸关键点跟踪系统,其特征在 于,人脸关键点回归计算模块中检测模式具体为: S:311、载入初始人脸框坐标,计算归一化的人脸框坐标与初始人脸框坐标的仿射变换 矩阵; S:312、将平均人脸形状,用S表示,按照上述放射变换矩阵投影到初始人脸框的坐标系 中,得到初始人脸框的平均人脸形状,用S'表示; S:313、将上述S'放入级联随机森林回归器中进行逐级回归计算,每一级回归的输出作 为下一级回归的输入; S314、在每一级的回归器中,针对每一个关键点提取LBF特征算子,并且按照该特征算 子来推算出关键点应当回归的偏移量A Si,其中i表示第i个特征点。
5.如权利要求1-3任一项所述的应用于移动设备端的人脸关键点跟踪系统,其特征在 于,人脸关键点回归计算模块中跟踪模式具体为: 5321、 将平均人脸形状,用S表示,与上一帧人脸形状进行归一化计算,再分别计算两个 形状的均方差,按照均方差的比列求得两个形状的比例因子; 5322、 利用放射变换关系计算上述两个归一化后的人脸形状旋转变换因子,按照比例 因子与旋转因子将平均人脸形状变换到当前人脸的坐标系当中,用S'表示; S:323、将上述S'放入级联随机森林回归器中进行逐级回归计算,每一级回归的输出作 为下一级回归的输入; S324、在每一级的回归器中,针对每一个关键点提取LBF特征算子,并且按照该特征算 子来推算出关键点应当回归的偏移量A Si,其中i表示第i个特征点。
6. 如权利要求1-3任一项所述的应用于移动设备端的人脸关键点跟踪系统,其特征在 于,工作模式判定模块具体为: 541、 记录上一帧的人脸形状坐标,计算与当前人脸形状每一个关键点的坐标的差值; 542、 计算所有关键点差值的均值及均方差; 543、 当差值均值和均方差小于预设阈值时,判定当前跟踪成功;当上述统计值大于预 设阈值时,则判断当前跟踪失败。
7. 如权利要求1-3任一项所述的应用于移动设备端的人脸关键点跟踪系统,其特征在 于:人脸关键点后处理模块:通过滤波算法对人脸关键点位置进行滤波,具体为: 551、 利用一个n倍于人脸形状大小的内存空间存储跟踪成功的最近n帧人脸形状坐标, 100,设置起始标志位; 552、 利用存储的有效n帧人脸形状坐标信息和卡尔曼滤波器对当前得到的人脸形状坐 标进行滤波处理; 553、 将滤波后的人脸形状坐标作为当前帧的真实坐标输出。
8. 如权利要求1_3任~项所述的应用于移动设备端的人脸关键点跟踪系统,其特征在 于:还包括人脸重叠率计算模块,人脸重叠率计算模块:只应用在多人脸跟踪的情况下,设 置检测间隙,通过每隔一段检测间隙后进行一次检测,将检测中获取的初始人脸框与跟踪 人脸形状进行重叠率计算,当重叠率大于预设阈值时,则判定当前初始人脸与跟踪人脸为 同一人脸,不进行后续操作;若重叠率小于预设阈值时,判定当前初始人脸为新加入人脸, 调用检测模式进行人脸关键点回归计算模块。
9. 一种如权利要求1-8任一项所述应用于移动设备端的人脸关键点跟踪系统的方法, 其特征在于,包括以下步骤:在读入当前帧图像以后,通过判断是否需要进行人脸检测,判 断依据为当前是否达到规定的跟踪人脸数以及是否满足检测间隙的要求,通过每隔一段检 测间隙后进行一次检测,进行人脸检测,则调用人脸检测模块获取得到初始人脸,并对获取 的人脸进行重叠率计算,判断出是否有新增人脸,若有新增人脸则对其使用检测模式的关 键点回归计算;若当前帧不需要检测人脸以及人脸检测后仍需判断是否存在成功跟踪的人 脸,若存在前帧中成功跟踪的人脸,则对该人脸进行跟踪模式的关键点回归计算;否则,返 回重新读入下一巾贞图像。
10.如权利要求9所述的应用于移动设备端的人脸关键点跟踪方法,其特征在于:将检 测中获取的初始人脸框与跟踪人脸关键点模型进行重叠率计算,当重叠率大于预设阈值 时,则判定当前初始人脸与跟踪人脸为同一人脸,不进行后续添加新增人脸以及不进行检 测模式的关键点回归计算的操作;若重叠率小于预设阈值时,判定当前初始人脸为新加A 人脸,调用检测模式进行人脸关键点回归计算模块。
CN201710048579.2A 2017-01-22 2017-01-22 应用于移动设备端的人脸关键点跟踪系统及方法 Active CN106909888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710048579.2A CN106909888B (zh) 2017-01-22 2017-01-22 应用于移动设备端的人脸关键点跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710048579.2A CN106909888B (zh) 2017-01-22 2017-01-22 应用于移动设备端的人脸关键点跟踪系统及方法

Publications (2)

Publication Number Publication Date
CN106909888A true CN106909888A (zh) 2017-06-30
CN106909888B CN106909888B (zh) 2021-02-05

Family

ID=59206847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710048579.2A Active CN106909888B (zh) 2017-01-22 2017-01-22 应用于移动设备端的人脸关键点跟踪系统及方法

Country Status (1)

Country Link
CN (1) CN106909888B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886072A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种对非结构化人脸扫描的鲁棒配准和几何估计方法
CN108268840A (zh) * 2018-01-10 2018-07-10 浙江大华技术股份有限公司 一种人脸跟踪方法及装置
CN108830900A (zh) * 2018-06-15 2018-11-16 北京字节跳动网络技术有限公司 关键点的抖动处理方法和装置
CN108960206A (zh) * 2018-08-07 2018-12-07 北京字节跳动网络技术有限公司 视频帧处理方法和装置
CN109492531A (zh) * 2018-10-10 2019-03-19 深圳前海达闼云端智能科技有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109711332A (zh) * 2018-12-26 2019-05-03 浙江捷尚视觉科技股份有限公司 一种基于回归算法的人脸跟踪方法及应用
CN110163087A (zh) * 2019-04-09 2019-08-23 江西高创保安服务技术有限公司 一种人脸姿态识别方法及系统
CN110175558A (zh) * 2019-05-24 2019-08-27 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN110427806A (zh) * 2019-06-20 2019-11-08 北京奇艺世纪科技有限公司 视频识别方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法
CN106096560A (zh) * 2016-06-15 2016-11-09 广州尚云在线科技有限公司 一种人脸对齐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法
CN106096560A (zh) * 2016-06-15 2016-11-09 广州尚云在线科技有限公司 一种人脸对齐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高素文: "《基于OpenCV的实时人脸识别系统研究与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑,2016年第05期,I138-1204页》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886072A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种对非结构化人脸扫描的鲁棒配准和几何估计方法
CN108268840A (zh) * 2018-01-10 2018-07-10 浙江大华技术股份有限公司 一种人脸跟踪方法及装置
CN108268840B (zh) * 2018-01-10 2020-12-08 浙江大华技术股份有限公司 一种人脸跟踪方法及装置
CN108830900A (zh) * 2018-06-15 2018-11-16 北京字节跳动网络技术有限公司 关键点的抖动处理方法和装置
CN108960206A (zh) * 2018-08-07 2018-12-07 北京字节跳动网络技术有限公司 视频帧处理方法和装置
CN109492531A (zh) * 2018-10-10 2019-03-19 深圳前海达闼云端智能科技有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109711332A (zh) * 2018-12-26 2019-05-03 浙江捷尚视觉科技股份有限公司 一种基于回归算法的人脸跟踪方法及应用
CN109711332B (zh) * 2018-12-26 2021-03-26 浙江捷尚视觉科技股份有限公司 一种基于回归算法的人脸跟踪方法及应用
CN110163087A (zh) * 2019-04-09 2019-08-23 江西高创保安服务技术有限公司 一种人脸姿态识别方法及系统
CN110175558A (zh) * 2019-05-24 2019-08-27 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN110427806A (zh) * 2019-06-20 2019-11-08 北京奇艺世纪科技有限公司 视频识别方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN106909888B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN106909888A (zh) 应用于移动设备端的人脸关键点跟踪系统及方法
US6792135B1 (en) System and method for face detection through geometric distribution of a non-intensity image property
CN107564034A (zh) 一种监控视频中多目标的行人检测与跟踪方法
CN105940430B (zh) 人员计数方法及其装置
US20110019920A1 (en) Method, apparatus, and program for detecting object
CN106204223B (zh) 图像处理方法及系统
Krinidis et al. A robust and real-time multi-space occupancy extraction system exploiting privacy-preserving sensors
US9064172B2 (en) System and method for object detection
US8090151B2 (en) Face feature point detection apparatus and method of the same
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
CN108710837A (zh) 吸烟行为识别方法、装置、计算机设备和存储介质
CN101320477A (zh) 一种人体跟踪方法及其设备
CN110991261A (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN108564579B (zh) 一种基于时空相关的混凝土裂缝检测方法及检测装置
Wang et al. Face tracking using motion-guided dynamic template matching
CN110909636B (zh) 一种基于非均匀分布的人脸识别方法
CN106780538A (zh) 一种解决图像跟踪过程中误匹配的方法
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
Fang et al. 1-D barcode localization in complex background
CN109255802A (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN110399835A (zh) 一种人员停留时间的分析方法、装置及系统
KR100590841B1 (ko) 기준차량정보의 추가를 수반하는 영상기반의 교통량 분석시스템 및 그 방법
Yaling et al. Lip contour extraction based on manifold
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
KR20210092914A (ko) 인공지능 기반의 탈모 자가 진단 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant