CN106909888B - 应用于移动设备端的人脸关键点跟踪系统及方法 - Google Patents
应用于移动设备端的人脸关键点跟踪系统及方法 Download PDFInfo
- Publication number
- CN106909888B CN106909888B CN201710048579.2A CN201710048579A CN106909888B CN 106909888 B CN106909888 B CN 106909888B CN 201710048579 A CN201710048579 A CN 201710048579A CN 106909888 B CN106909888 B CN 106909888B
- Authority
- CN
- China
- Prior art keywords
- face
- key point
- frame
- detection
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 238000004364 calculation method Methods 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 15
- 238000007637 random forest analysis Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 210000000887 face Anatomy 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种应用于移动设备端的人脸关键点跟踪系统及方法，该系统包括初始人脸框检测模块、人脸关键点回归模型学习模块、人脸关键点回归计算模块、工作模式判定模块和人脸关键点后处理模块。人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入回归计算人脸关键点模型；跟踪模式根据上一帧人脸关键点模型作为输入回归计算当前帧关键点模型；该系统及方法为具有检测模式和跟踪模式的人脸关键点定位技术，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，这样，在跟踪过程不用再次调用人脸检测模块，节省计算时间，提高系统效率。
Description
技术领域
本发明涉及一种应用于移动设备端的人脸关键点跟踪系统及方法。
背景技术
人脸跟踪是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程，是进行动态人脸信息处理的第一个环节，在人机智能交互有着重要的应用价值。
在传统的人脸关键点定位系统中，对于视频中的每一帧图像都要经过人脸检测和人脸对准这两个步骤，才能获得连续的人脸关键点定位，其中人脸检测步骤即为获取到初始人脸框，人脸对准则为关键点的计算。这种方式下，效率较低，耗时长，易在交互过程中出现卡顿现象。
在多人脸模式的人脸跟踪中，存在着人脸的增减的情况，因此在跟踪的过程中如果需要同时进行人脸检测，在传统的方法中对每一帧图像都会进行人脸检测，存在着效率低，耗时长的问题。
上述问题是在人脸关键点跟踪过程中应当予以考虑并解决的问题。
发明内容
本发明的目的是提供一种应用于移动设备端的人脸关键点跟踪系统及方法，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，节省计算时间，提高系统效率，解决现有技术中存在的上述问题。
本发明的技术解决方案是：
一种应用于移动设备端的人脸关键点跟踪系统，包括：
初始人脸框检测模块：读入当前帧图像，获取当前帧图像中人脸的位置，获得初始人脸框；
人脸关键点回归模型学习模块：收集各角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，选择基于随机森林的LBF算法来进行回归模型的学习；
人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入人脸关键点回归计算模型；跟踪模式根据上一帧人脸形状作为输入当前帧关键点回归计算模型；
工作模式判定模块：在第一帧采用检测模式，进行人脸初始框检测；在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态；
人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算。
进一步地，初始人脸框检测模块，具体为：
S11、利用人脸图像提取其中的模式特征，包括色彩特征、直方图特征或Haar特征；
S12、利用Adaboost算法组成级联分类器利用提取的模式特征来获取人脸位置的粗略估计；
S13、此时获取的人脸位置的粗略估计通常存在一定的漂移误差，利用人眼位置来进行矫正，采用opencv的人眼级联检测器来检测人眼，获取每一个人眼的中心位置；
S14、通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度，再通过人眼坐标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量；
S15、通过上述计算得到的矫正参数，包括旋转角度、缩放因子、平移向量，对粗略估计的人脸框进行矫正，得到初始人脸框。
进一步地，人脸关键点回归模型学习模块，具体为：
每个训练样本包含一个训练图像、一个初始人脸形状和一个真实人脸形状，再通过数据增强的方法在原始训练样本的基础上获得更多的训练样本；利用基于随机森林的LBF算法对上述标定的训练样本计算得到特征映射函数，进而计算得到局部LBF特征；将局部LBF特征组合起来得到一个全局LBF特征，利用全局回归算法对全局LBF特征进行学习获得一个全局线性回归模型。
进一步地，人脸关键点回归计算模块中检测模式具体为：
S311、载入初始人脸框坐标，计算归一化的人脸框坐标与初始人脸框坐标的仿射变换矩阵；
S312、将平均人脸形状，用S表示，按照上述仿射变换矩阵投影到初始人脸框的坐标系中，得到初始人脸框的平均人脸形状，用S′表示；
S313、将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；
S314、在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点。
进一步地，人脸关键点回归计算模块中跟踪模式具体为：
S321、将平均人脸形状，用S表示，与上一帧人脸形状进行归一化计算，再分别计算两个形状的均方差，按照均方差的比例求得两个形状的比例因子；
S322、利用仿射变换关系计算上述两个归一化后的旋转因子，按照比例因子与人脸形状旋转变换因子将平均人脸形状变换到当前人脸的坐标系当中，用S′表示；
S323、将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；
S324、在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点。
进一步地，工作模式判定模块具体为：
S41、记录上一帧的人脸形状坐标，计算与当前人脸形状每一个关键点的坐标的差值；
S42、计算所有关键点差值的均值及均方差；
S43、当差值均值和均方差小于预设阈值时，判定当前跟踪成功；当上述统计值大于预设阈值时，则判断当前跟踪失败。
进一步地，人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，具体为：
S51、利用一个n倍于人脸形状大小的内存空间存储跟踪成功的最近n帧的形状坐标，1≤n≤100，设置起始标志位；
S52、利用存储的有效n帧人脸形状坐标信息和卡尔曼滤波器对当前得到的坐标进行滤波处理；
S53、将滤波后的形状坐标作为当前帧的真实坐标输出。
进一步地，还包括人脸重叠率计算模块，人脸重叠率计算模块：只应用在多人脸跟踪的情况下，设置检测间隙，通过每隔一段检测间隙后进行一次检测，将检测中获取的初始人脸框与跟踪人脸形状进行重叠率计算，当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续操作；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式进行人脸关键点回归计算模块。
一种使用上述应用于移动设备端的人脸关键点跟踪系统实现的方法，包括以下步骤：在读入当前帧图像以后，判断是否需要进行人脸检测，判断依据为当前是否达到规定的跟踪人脸数以及是否达到检测间隙，每隔一段检测间隙后进行一次判断是否需要进行人脸检测，若进行人脸检测，则调用人脸检测模块获取得到初始人脸，并对获取的人脸进行重叠率计算，判断出是否有新增人脸，若有新增人脸则对其使用检测模式的关键点回归计算；若当前帧不需要检测人脸或人脸检测后仍需判断是否存在成功跟踪的人脸，若存在前帧中成功跟踪的人脸，则对该人脸进行跟踪模式的关键点回归计算；否则，返回重新读入下一帧图像。
进一步地，将检测中获取的初始人脸框与跟踪人脸关键点模型进行重叠率计算，当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续添加新增人脸以及不进行检测模式的关键点回归计算的操作；；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式进行人脸关键点回归计算模块。
本发明的有益效果是：该种应用于移动设备端的人脸关键点跟踪系统及方法，为具有检测模式和跟踪模式的人脸关键点定位技术，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，这样，在跟踪过程不用再次调用人脸检测模块，节省计算时间，提高系统效率。
附图说明
图1是本发明实施例应用于移动设备端的人脸关键点跟踪系统的说明框图。
图2是本发明实施例应用于移动设备端的人脸关键点跟踪方法的流程示意图。
图3是实施例中对所收集的人脸图像进行68个关键点的标记示意图。
图4是实施例中人眼矫正的流程示意图。
图5是实施例中关键点计算实例的示意图。
图6是实施例系统在不同机型的性能测试结果示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
一种应用于移动设备端的人脸关键点跟踪系统，如图1和图5，包括初始人脸框检测模块、人脸关键点回归模型学习模块、人脸关键点回归计算模块、工作模式判定模块和人脸关键点后处理模块。其中人脸关键点回归模型学习模块属于离线模块，可事先离线学习出回归模型；另外其他的模块均为在线模块，即为在系统工作流程上必须使用的模块。
初始人脸框检测模块：获取得到一个或者多个人脸的位置。具体为：
利用人脸图像提取其中的模式特征，包括色彩特征、直方图特征、Haar特征等；利用Adaboost算法组成级联分类器利用上述特征来获取人脸位置的粗略估计；此时获取的人脸位置的粗略估计通常存在一定的漂移误差，因此实施例利用人眼位置来进行矫正，如图4，实施例同样采用opencv的人眼级联检测器来检测人眼，获取每一个人眼的中心位置；通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度，再通过人眼坐标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量；通过上述计算得到的矫正参数(旋转角度、缩放因子、平移向量)对粗略估计的人脸框进行矫正，得到初始人脸框。
人脸关键点回归模型学习模块：收集各个角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，如图3所示。每个训练样本包含一个训练图像，一个初始人脸形状，一个真实人脸形状。再通过数据增强的方法在原始训练样本的基础上获得更多的训练样本。选择基于随机森林的LBF算法来进行回归模型的学习，学习过程主要包括：利用随机森林对上述标定的训练样本计算得到特征映射函数，进而计算得到局部LBF特征；将局部LBF特征组合起来得到一个全局LBF特征，利用全局回回归算法对全局LBF特征进行学习获得一个全局线性回归模型。本发明采用多级级联回归的方法，每一级回归模型都可由上述提取局部LBF特征以及全局回归算法计算得到。
人脸关键点回归计算模块：包含检测模式与跟踪模式。
检测模式：根据初始人脸框作为输入回归计算人脸关键点模型。具体流程如下：载入初始人脸框坐标，计算归一化的人脸框坐标(顶点坐标取值范围为[0,1])与初始人脸框坐标的仿射变换矩阵；将平均人脸形状meanshape，用S表示，按照上述仿射变换矩阵投影到初始人脸框的坐标系中，得到初始人脸框的平均人脸形状，用S′表示；将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点。
跟踪模式：根据上一帧人脸形状作为输入回归计算当前帧形状模版。由于两帧之间的位移较小，则能提高计算性能。具体流程如下：将平均人脸形状(meanshape)，用S表示，与上一帧人脸形状进行零-均值归一化计算，再分别计算两个形状的均方差，按照均方差的比例求得两个形状的比例因子。利用仿射变换关系计算上述两个归一化人脸形状的旋转变换因子，按照比例因子与人脸形状旋转变换因子将平均人脸形状变换到当前人脸的坐标系当中，用S′表示；将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点。
工作模式判定模块：在传统的人脸关键点定位系统中，对于视频中的每一帧图像都要经过人脸检测和人脸对准这两个步骤，才能获得连续的人脸关键点定位，其中人脸检测步骤即为获取到初始人脸框，人脸对准则为关键点的计算。本发明提出一种具有检测模式和跟踪模式的人脸关键点定位技术，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，这样做的好处为在跟踪过程不用再次调用人脸检测模块，节省计算时间，提高系统效率。
实施例通过统计方法计算当前帧人脸形状与上一帧人脸形状的关系来判断当前帧形状是否处于跟踪成功的状态，具体的工作流程如下：
1).记录上一帧的人脸形状坐标，计算与当前形状每一个关键点的坐标的差值；
2).计算所有关键点差值的均值及均方差；
3).当差值均值和均方差小于预设阈值时，判定当前跟踪成功；当上述统计值大于预设阈值时，则判断当前跟踪失败。
实施例系统还包括人脸重叠率计算模块即多人脸模式：该模块只应用在多人脸跟踪的情况下，若只有一张人脸的跟踪模式则不需要调用该模块。在多人脸模式的人脸跟踪中，存在着人脸的增减的情况，因此在跟踪的过程中如果需要同时进行人脸检测，在传统的方法中对每一帧图像都会进行人脸检测。本发明中设置一个检测间隙，即为不用每一帧都进行人脸检测，而是通过每隔一段检测间隙后进行一次检测，将检测中获取的初始人脸框与跟踪人脸形状进行重叠率计算。当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续操作；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式进行人脸关键点回归计算。本发明中的检测间隙可设置为1-200帧，由于检测间隙的设置，能够大大提高本系统的工作效率。
人脸关键点后处理模块：包括滤波模块和人脸姿态估算模块：
滤波模块：通过卡尔曼滤波器等滤波算法对人脸关键点位置进行滤波，以消除关键点的抖动。具体流程如下：利用一个n倍于人脸形状大小的内存空间存储跟踪成功的最近n帧人脸形状坐标，(1≤n≤100)，设置起始标志位；利用存储的有效n帧人脸形状坐标信息和卡尔曼滤波器对当前得到的形状坐标进行滤波处理；将滤波后的人脸形状坐标作为当前帧的真实坐标输出。
姿态估算模块：通过预先设置的参数对人脸xyz轴三个方向的旋转角进行估算。
对实施例系统在多款常见的手机上进行了性能测试，每次测试分别记录了10分钟的单人脸/无人脸跟踪过程中的CPU和内存的占用情况以及平均单帧处理时间，展示在图6表1-4中。从表中数据可以看出，本发明所提供的方法在CPU占用、内存占用以及单帧处理时间这三个方面都有较好的表现。其中具体来说，本发明方法在CPU占用率上与现有的行业内技术相比降低50％左右；此外，内存占用率以及单帧处理时间这两项指标与现有方法比较出入不大，均处于行业内领先水平，能够实现移动端实时的人脸关键点检测与跟踪，满足二次开发的性能需求。
一种使用上述应用于移动设备端的人脸关键点跟踪系统实现的方法，图2，包括以下步骤：在读入当前帧图像以后，判断是否需要进行人脸检测，判断依据为当前是否达到规定的跟踪人脸数以及是否满足检测间隙的要求，通过每隔一段检测间隙后进行一次检测，进行人脸检测，则调用人脸检测模块获取得到初始人脸，并对获取的人脸进行重叠率计算，判断出是否有新增人脸，若有新增人脸则对其使用检测模式的关键点回归计算；若当前帧不需要检测人脸或人脸检测后仍需判断是否存在成功跟踪的人脸，若存在前帧中成功跟踪的人脸，则对该人脸进行跟踪模式的关键点回归计算；否则，返回重新读入下一帧图像。
如图2，重叠率计算后并行两个进程，即判断出是否有新增人脸与判断是否存在成功跟踪的人脸。
图2中，将检测中获取的初始人脸框与跟踪人脸关键点模型进行重叠率计算，当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续添加新增人脸以及不进行检测模式的关键点回归计算的操作，结束该进程；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式进行人脸关键点回归计算模块。
Claims (6)
1.一种应用于移动设备端的人脸关键点跟踪系统，其特征在于，包括：
初始人脸框检测模块：读入当前帧图像，获取当前帧图像中人脸的位置，获得初始人脸框；
人脸关键点回归模型学习模块：收集各角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，选择基于随机森林的LBF算法来进行回归模型的学习；
人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式是由初始人脸框作为人脸关键点回归计算模型的输入；跟踪模式是由上一帧人脸形状作为当前帧人脸关键点回归计算模型的输入；
人脸关键点回归计算模块中跟踪模式具体为：
S321、将平均人脸形状，用S表示，与上一帧人脸形状进行归一化计算，再分别计算两个形状的均方差，按照均方差的比例求得两个形状的比例因子；
S322、利用仿射变换关系计算上述两个归一化后的人脸形状的旋转因子，按照比例因子与旋转因子将平均人脸形状变换到当前人脸的坐标系当中，用S′表示；
S323、将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；
S324、在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点；
工作模式判定模块：在第一帧采用检测模式，进行人脸初始框检测；在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态；
工作模式判定模块具体为：
S41、记录上一帧的人脸形状坐标，计算与当前人脸形状每一个关键点的坐标的差值；
S42、计算所有关键点差值的均值及均方差；
S43、当差值均值和均方差小于预设阈值时，判定当前跟踪成功；当差值均值和均方差大于预设阈值时，则判断当前跟踪失败；
人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算；
人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，具体为：
S51、利用一个n倍于人脸形状大小的内存空间存储跟踪成功的最近n帧人脸形状坐标，1≤n≤100，设置起始标志位；
S52、利用存储的有效n帧人脸形状坐标信息和卡尔曼滤波器对当前得到的人脸形状坐标进行滤波处理；
S53、将滤波后的人脸形状坐标作为当前帧的真实坐标输出；
还包括人脸重叠率计算模块，人脸重叠率计算模块：只应用在多人脸跟踪的情况下，设置检测间隙，通过每隔一段检测间隙后进行一次检测，将检测中获取的初始人脸框与跟踪人脸形状进行重叠率计算，当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续操作；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式的人脸关键点回归计算模块。
2.如权利要求1所述的应用于移动设备端的人脸关键点跟踪系统，其特征在于：初始人脸框检测模块，具体为：
S11、利用人脸图像提取其中的模式特征，包括色彩特征、直方图特征或Haar特征；
S12、利用Adaboost算法组成级联分类器利用提取的模式特征来获取人脸位置的粗略估计；
S13、此时获取的人脸位置的粗略估计存在一定的漂移误差，利用人眼位置来进行矫正，采用opencv的人眼级联检测器来检测人眼，获取每一个人眼的中心位置；
S14、通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度，再通过人眼坐标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量；
S15、通过上述计算得到的矫正参数，包括旋转角度、缩放因子、平移向量，对粗略估计的人脸框进行矫正，得到初始人脸框。
3.如权利要求1所述的应用于移动设备端的人脸关键点跟踪系统，其特征在于：人脸关键点回归模型学习模块，具体为：
每个训练样本包含一个训练图像、一个初始形状和一个真实形状，再通过数据增强的方法在原始训练样本的基础上获得更多的训练样本；利用基于随机森林的LBF算法对上述标定的训练样本计算得到特征映射函数，进而计算得到局部LBF特征；将局部LBF特征组合起来得到一个全局LBF特征，利用全局回归算法对全局LBF特征进行学习获得一个全局线性回归模型。
4.如权利要求1-3任一项所述的应用于移动设备端的人脸关键点跟踪系统，其特征在于，人脸关键点回归计算模块中检测模式具体为：
S311、载入初始人脸框坐标，计算归一化的人脸框坐标与初始人脸框坐标的仿射变换矩阵；
S312、将平均人脸形状，用S表示，按照上述仿射变换矩阵投影到初始人脸框的坐标系中，得到初始人脸框的平均人脸形状，用S′表示；
S313、将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；
S314、在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点。
5.一种如权利要求1-4任一项所述应用于移动设备端的人脸关键点跟踪系统实现的方法，其特征在于，包括以下步骤：在读入当前帧图像以后，判断是否需要进行人脸检测，判断依据为当前是否达到规定的跟踪人脸数以及是否达到检测间隙，每隔一段检测间隙后进行一次是否需要进行人脸检测的判断，若进行人脸检测，则调用人脸检测模块获取得到初始人脸，并对获取的人脸进行重叠率计算，判断出是否有新增人脸，若有新增人脸则对其使用检测模式的关键点回归计算；若当前帧不需要检测人脸，仍需判断是否存在成功跟踪的人脸，在存在当前帧中成功跟踪的人脸时，则对该人脸进行跟踪模式的关键点回归计算；否则，返回重新读入下一帧图像。
6.如权利要求5所述的应用于移动设备端的人脸关键点跟踪系统实现的方法，其特征在于：将检测中获取的初始人脸框与跟踪人脸关键点模型进行重叠率计算，当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续添加新增人脸以及不进行检测模式的关键点回归计算的操作；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式的人脸关键点回归计算模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710048579.2A CN106909888B (zh) | 2017-01-22 | 2017-01-22 | 应用于移动设备端的人脸关键点跟踪系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710048579.2A CN106909888B (zh) | 2017-01-22 | 2017-01-22 | 应用于移动设备端的人脸关键点跟踪系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106909888A CN106909888A (zh) | 2017-06-30 |
| CN106909888B true CN106909888B (zh) | 2021-02-05 |
Family
ID=59206847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710048579.2A Expired - Fee Related CN106909888B (zh) | 2017-01-22 | 2017-01-22 | 应用于移动设备端的人脸关键点跟踪系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106909888B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886072A (zh) * | 2017-11-10 | 2018-04-06 | 深圳市唯特视科技有限公司 | 一种对非结构化人脸扫描的鲁棒配准和几何估计方法 |
| CN108268840B (zh) * | 2018-01-10 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种人脸跟踪方法及装置 |
| CN108830900B (zh) * | 2018-06-15 | 2021-03-12 | 北京字节跳动网络技术有限公司 | 关键点的抖动处理方法和装置 |
| CN108960206B (zh) * | 2018-08-07 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 视频帧处理方法和装置 |
| CN109492531B (zh) * | 2018-10-10 | 2021-04-23 | 达闼机器人有限公司 | 人脸图像关键点提取方法、装置、存储介质及电子设备 |
| CN109711332B (zh) * | 2018-12-26 | 2021-03-26 | 浙江捷尚视觉科技股份有限公司 | 一种基于回归算法的人脸跟踪方法及应用 |
| CN110163087B (zh) * | 2019-04-09 | 2022-03-25 | 江西高创保安服务技术有限公司 | 一种人脸姿态识别方法及系统 |
| CN110175558B (zh) * | 2019-05-24 | 2021-02-05 | 北京达佳互联信息技术有限公司 | 一种人脸关键点的检测方法、装置、计算设备及存储介质 |
| CN110427806A (zh) * | 2019-06-20 | 2019-11-08 | 北京奇艺世纪科技有限公司 | 视频识别方法、装置及计算机可读存储介质 |
| CN110852254B (zh) * | 2019-11-08 | 2022-11-15 | 杭州网易云音乐科技有限公司 | 人脸关键点跟踪方法、介质、装置和计算设备 |
| CN110866484B (zh) * | 2019-11-11 | 2022-09-09 | 珠海全志科技股份有限公司 | 驾驶员人脸检测方法、计算机装置及计算机可读存储介质 |
| CN111079659A (zh) * | 2019-12-19 | 2020-04-28 | 武汉水象电子科技有限公司 | 人脸特征点定位方法 |
| CN111325157A (zh) * | 2020-02-24 | 2020-06-23 | 高新兴科技集团股份有限公司 | 人脸抓拍方法、计算机存储介质及电子设备 |
| CN111583280B (zh) * | 2020-05-13 | 2022-03-15 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN112668385A (zh) * | 2020-08-17 | 2021-04-16 | 紫光云技术有限公司 | 一种人脸标记的方法 |
| CN112417985A (zh) * | 2020-10-30 | 2021-02-26 | 杭州魔点科技有限公司 | 一种人脸特征点追踪方法、系统、电子设备和存储介质 |
| CN112668575B (zh) * | 2020-12-28 | 2024-05-21 | 中国平安人寿保险股份有限公司 | 关键信息提取方法、装置、电子设备及存储介质 |
| CN113128436B (zh) * | 2021-04-27 | 2022-04-01 | 北京百度网讯科技有限公司 | 关键点的检测方法和装置 |
| CN113223084B (zh) * | 2021-05-27 | 2024-03-01 | 北京奇艺世纪科技有限公司 | 一种位置确定方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377367A (zh) * | 2012-04-28 | 2013-10-30 | 中兴通讯股份有限公司 | 面部图像的获取方法及装置 |
| CN105160312A (zh) * | 2015-08-27 | 2015-12-16 | 南京信息工程大学 | 基于人脸相似度匹配的明星脸装扮推荐方法 |
| CN106096560A (zh) * | 2016-06-15 | 2016-11-09 | 广州尚云在线科技有限公司 | 一种人脸对齐方法 |
-
2017
- 2017-01-22 CN CN201710048579.2A patent/CN106909888B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377367A (zh) * | 2012-04-28 | 2013-10-30 | 中兴通讯股份有限公司 | 面部图像的获取方法及装置 |
| CN105160312A (zh) * | 2015-08-27 | 2015-12-16 | 南京信息工程大学 | 基于人脸相似度匹配的明星脸装扮推荐方法 |
| CN106096560A (zh) * | 2016-06-15 | 2016-11-09 | 广州尚云在线科技有限公司 | 一种人脸对齐方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于OpenCV的实时人脸识别系统研究与实现》;高素文;《中国优秀硕士学位论文全文数据库 信息科技辑，2016年第05期，I138-1204页》;20160515;第10,16,20,24,31-32,34,37-38,45-50页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106909888A (zh) | 2017-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106909888B (zh) | 应用于移动设备端的人脸关键点跟踪系统及方法 | |
| US11164323B2 (en) | Method for obtaining image tracking points and device and storage medium thereof | |
| WO2019237516A1 (zh) | 目标跟踪方法、装置、计算机设备及存储介质 | |
| CN107564034A (zh) | 一种监控视频中多目标的行人检测与跟踪方法 | |
| CN110580723B (zh) | 一种利用深度学习和计算机视觉进行精准定位的方法 | |
| CN111310645B (zh) | 货物堆积量的溢仓预警方法、装置、设备及存储介质 | |
| CN108304820B (zh) | 一种人脸检测方法、装置及终端设备 | |
| CN109118473B (zh) | 基于神经网络的角点检测方法、存储介质与图像处理系统 | |
| CN107292318B (zh) | 基于中心暗通道先验信息的图像显著性物体检测方法 | |
| CN107480585B (zh) | 基于dpm算法的目标检测方法 | |
| CN109919002B (zh) | 黄色禁停线识别方法、装置、计算机设备及存储介质 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
| CN110827432B (zh) | 一种基于人脸识别的课堂考勤方法及系统 | |
| CN112381061B (zh) | 一种面部表情识别方法及系统 | |
| CN111739020B (zh) | 周期纹理背景缺陷标签自动标注方法、装置、设备及介质 | |
| CN111178252A (zh) | 多特征融合的身份识别方法 | |
| CN111275040A (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
| CN108805902A (zh) | 一种自适应尺度的时空上下文目标跟踪方法 | |
| CN104598914A (zh) | 一种肤色检测的方法及装置 | |
| CN115564030A (zh) | 目标检测模型的压缩方法、检测方法、装置及相关设备 | |
| CN112836682B (zh) | 视频中对象的识别方法、装置、计算机设备和存储介质 | |
| CN110598647B (zh) | 一种基于图像识别的头部姿态识别方法 | |
| CN113435367A (zh) | 社交距离评估方法、装置及存储介质 | |
| CN113221812A (zh) | 人脸关键点检测模型的训练方法和人脸关键点检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210205 |