CN108492315A - 一种动态人脸跟踪方法 - Google Patents

一种动态人脸跟踪方法 Download PDF

Info

Publication number
CN108492315A
CN108492315A CN201810133775.4A CN201810133775A CN108492315A CN 108492315 A CN108492315 A CN 108492315A CN 201810133775 A CN201810133775 A CN 201810133775A CN 108492315 A CN108492315 A CN 108492315A
Authority
CN
China
Prior art keywords
point
target
tracking
human face
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810133775.4A
Other languages
English (en)
Inventor
刘双
阮伟
吴成伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUNAN NOVASKY ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
HUNAN NOVASKY ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUNAN NOVASKY ELECTRONIC TECHNOLOGY Co Ltd filed Critical HUNAN NOVASKY ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201810133775.4A priority Critical patent/CN108492315A/zh
Publication of CN108492315A publication Critical patent/CN108492315A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种动态人脸跟踪方法，步骤包括：S1.使用基于特征的跟踪算法对目标进行跟踪，当跟踪丢失目标时，转入执行步骤S2；S2.预测跟踪丢失后人脸区域位置并建立特征点模板，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，对目标进行跟踪，并根据特征点的丢失状态进行特征点模板的更新；S3.当恢复到基于特征的跟踪算法能够跟踪到目标位置时，返回执行步骤S1。本发明能够适用于发生偏转和存在遮挡等复杂情况下进行人脸跟踪，具有实现方法简单、跟踪效率及精度高，能够兼顾稳定性和实时性，且环境适应性以及抗干扰能力强等优点。

Description

一种动态人脸跟踪方法
技术领域
本发明涉及目标跟踪技术领域，尤其涉及一种动态人脸跟踪方法。
背景技术
目前人脸跟踪算法通常是结合模型学习实现对人脸进行跟踪，或通过单一特征对目标人脸进行跟踪，如颜色特征、纹理特征、角点特征等，其中基于模型学习的跟踪随着人脸的运动不断更新人脸模型，实现了较高准确度，但是该类算法计算复杂度较高，对运算系统硬件性能要求较高，如其中建立人脸复杂模型需要提供强大的硬件计算资源，一种解决方式是通过GPU加速卡进行处理，而相应的成本往往很高，很难适用于大规模应用，基于纹理特征实现人脸跟踪也存在该类问题。
而基于颜色、角点特征进行人脸跟踪的方式鲁棒性较差，易受到外界环境或者本身特性的影响，如人脸在与相机镜头成不同角度时会呈现不同画面，若相对于初始建立的跟踪模型呈现很大变化，则容易丢失跟踪，而当相机焦距发生变化时，画面整体发生变化，由于算法依赖于静止时建立背景模型对人脸目标进行分割，也会丢失跟踪目标，无法满足需要相机设备焦距变化时的跟踪场合。如基于颜色特征的Camshift算法，通过将运动目标的色调直方图反向投影到候选区域，根据运动目标色调直方图反向投影的概率密度将跟踪框移动到概率最大的区域，算法跟踪效率高、实时性好，Camshift算法是在空间下对颜色信息进行概率计算，相对于空间下的跟踪，空间的信息和光照没有直接联系，因此基于算法的跟踪对光线变化影响具有一定的鲁棒性，但是颜色核是Camshift算法对目标进行跟踪的唯一依据，在遇到与跟踪目标颜色相近的干扰时，跟踪框会发生偏移现象，甚至丢失跟踪目标。
如上述，目前实现人脸跟踪方法主要存在以下问题：
1、非基于人脸模型类算法当人脸与相机镜头发生偏转、相机设备焦距变化时容易丢失跟踪，无法满足偏转、相机焦距变化以及发生遮挡等复杂情况下；
2、建立人脸模型并进行跟踪运算复杂度较高，运用到大范围的安防监控时对实际系统运算能力要求苛刻、成本高。
3、人脸跟踪实时性与准确性难以得到平衡。
中国专利申请201210296738.8公开一种人脸跟踪方法，通过先确定人脸区域和人脸外区域，根据人脸区域和人脸外区域获得人脸特征模型，在下一帧图像中，根据人脸区域、人脸外区域和人脸特征模型确定人脸区域位置和人脸外区域位置，从而确定人脸位置。该方法就不能够适用于人脸发生偏转或遮挡等情形中，当人脸偏转到一定程度时会造成跟踪的丢失。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种能够适用于发生偏转和存在遮挡等复杂情况下进行人脸跟踪，实现方法简单、跟踪效率及精度高，能够兼顾稳定性和实时性，环境适应性以及抗干扰能力强的动态人脸跟踪方法。
为解决上述技术问题，本发明提出的技术方案为：
一种动态人脸跟踪方法，其特征在于，步骤包括：
S1.基于特征的跟踪：使用基于特征的跟踪算法对目标进行跟踪，当跟踪丢失目标时，转入执行步骤S2；
S2.光流跟踪：预测跟踪丢失后人脸区域位置并建立特征点模板，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，初始化后使用所述光流跟踪算法对目标进行跟踪，并根据所述特征点的丢失状态进行所述特征点模板的更新；
S3.跟踪切换：当恢复到所述基于特征的跟踪算法能够跟踪到目标位置时，返回执行步骤S1以切换回使用基于特征的跟踪算法。
作为本发明的进一步改进：所述步骤S1中基于特征的跟踪算法具体使用基于色调和梯度幅值的组合特征的Camshift算法。
作为本发明的进一步改进：所述使用基于色调和梯度幅值的组合特征的Camshift算法的具体步骤为：
S11.将图像中目标区域的梯度幅值变换为与色调值相同区间；
S12.由图像中目标区域的色调和变换后的所述梯度幅值构成混合矩阵Matmix；
S13.计算所述混合矩阵Matmix的统计直方图，并根据所述统计直方图将图像进行反向投影，得到反向投影图；
S14.根据所述反向投影图跟踪到目标的位置。
作为本发明的进一步改进，所述步骤S13的具体步骤为：从图像坐标原点开始平移，每次平移时以平移点坐标点作为左上角顶点创建一个大小与目标相同的矩形区域，并计算所述矩形区域中所述混合矩阵Matmix的统计直方图的巴氏距离，将计算得到的巴氏距离值作为所述矩形区域对应的反向投影图中像素点的像素值，直至完成图像矩阵中所有元素的反向投影，得到所述反向投影图。
作为本发明的进一步改进，所述步骤S2中具体基于SURF(Speeded Up RobustFeatures)特征点建立SURF特征点模板，将预测到的人脸区域位置的像素点与当前SURF特征点模板进行匹配后，由匹配成功的SURF特征点初始化光流跟踪算法，初始化后基于SURF特征点使用所述光流跟踪算法对目标进行跟踪。
作为本发明的进一步改进，所述步骤S2中具体基于SURF特征点使用LK光流跟踪算法对目标进行跟踪，具体步骤为：
S211.建立光流约束方程：
以及对于二维平面图像内的点I(x，y)，建立方程组：
其中，q1，q2，...，qn是Ix(x，y)人脸ROI区域的SURF特征点，Ix、Iy分别为第t帧图像里特征点q(x，y)在x、y方向上的偏导数，It是第t帧图像与第t-1帧图像关于时间的偏导数，Vx、Vy分别为像素点在整个图像中运动的速度在x方向、y方向上的分量；
S212.令v＝(x，y)，使用最小二乘法求得近似解：
其中wi为点qi所占的权值。
作为本发明的进一步改进，所述步骤S2中预测跟踪丢失后人脸区域位置的具体步骤为：使用二次多项式作为轨迹目标函数f(t)的最佳逼近：
当预测第k+N时刻中目标的位置时，使用k,k+1,...,k+N时刻的目标位置数据点计算均方误差最小时的曲线拟合参数αk+N、βk+N、γk+N并实时更新，使得目标位置的预测轨迹和实际轨迹最佳逼近，其中：
式中M为行列式的值，bnm为行列式|M|余因子，n,m＝1,2,3，且|M|≠0。
作为本发明的进一步改进，所述步骤S2中将预测到的人脸区域位置的像素点与当前特征点模板进行匹配的具体步骤为：将目标图像区域划分为L、R两个特征点区域，当其中一个目标特征点区域发生丢失时，以目标特征点区域中右上角坐标点(xRmax,Min(yRmin,yLmin))为起点，在轴负方向的长|xRmax-xLmin|以及向轴正方向宽|Max(yRmax,yLmax)-Min(yRmin,yLmin的区域内寻找满足初始化时人脸区域中SURF特征点的特征向量的像素点，得到与当前特征点模板匹配的SURF特征点，其中xLmax、xLmin、yLmax、yLmin分别为L、R特征点区域中横坐标、纵坐标的最大、最小值，MIN为取最小值函数，Max为取最大值函数。
作为本发明的进一步改进，所述步骤S2中进行所述特征点模板的更新时，具体判断L、R两个特征点区域中发生丢失的特征点数与初始化模板中SURF特征点总数之间的大小关系，当满足(NLM+NRM)/NT大于预设第一阈值时，启动对特征点模板进行更新，其中NLM、NRM分别为L、R特征点区域发生丢失的SURF特征点数，NT为初始化模板中SURF特征点总数。
作为本发明的进一步改进，所述步骤S3中具体当人脸区域特征点总数NN与所述初始化模板中SURF特征点总数NT之间的比值NN/NT大于预设第二阈值时，返回执行步骤S1以切换回使用基于特征的跟踪算法。
与现有技术相比，本发明的优点在于：
1)本发明动态人脸跟踪方法，能够结合使用基于特征的跟踪算法、光流跟踪算法，使得在人脸发生偏转、遮挡等复杂情况时仍然能够进行稳定的人脸跟踪，极大提高了人脸发生偏转、遮挡时跟踪持续性，且以特征点跟踪情况为依据实现人脸特征数据更新，能够兼顾稳定性和实时性，从而在跟踪鲁棒性和时效性之间取得了动态平衡，同时恢复到基于特征的跟踪算法能够跟踪到目标位置时，能够适时的切换回相对轻量的基于特征的跟踪算法，保证实时稳定性的同时，降低整个跟踪过程的复杂度及资源开销。
2)本发明动态人脸跟踪方法，进一步基于特征的跟踪算法具体使用基于色调和梯度幅值的组合特征的Camshift算法，通过在传统的Camshift算法基础上，使用色调和梯度幅值构成的组合特征作为特征值进行跟踪，跟踪效率高、实时性好，同时由于引入被跟踪目标的梯度幅值信息，能够有效提高前景和背景颜色相近情况下算法的跟踪鲁棒性。
3)本发明动态人脸跟踪方法，进一步结合SURF特征点初始化光流跟踪算法，能够充分利用SURF特征点的特性，在基于特征的跟踪算法丢失目标时，结合SURF特征点的特性实现实时、稳定的人脸跟踪。
4)本发明动态人脸跟踪方法，考虑到实际中由于人脸目标被遮挡造成的特征点跟踪的丢失问题，通过采用对SURF特征点模板更新机制，根据丢失的特征点数与初始化阶段时特征点总数之间的大小关系确定是否进行特征点模板更新，可以保持稳定持续的光流跟踪，使得跟踪不会发生中断。
附图说明
图1是本实施例动态人脸跟踪方法的实现流程示意图。
图2是本实施例划分特征点区域的原理示意图。
图3是本发明具体实施例中SURF特征点更新的实现流程示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1所示，本实施例动态人脸跟踪方法步骤包括：
S1.基于特征的跟踪：使用基于特征的跟踪算法对目标进行跟踪，当跟踪丢失目标时，转入执行步骤S2；
S2.光流跟踪：预测跟踪丢失后人脸区域位置并建立特征点模板，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，初始化后使用光流跟踪算法对目标进行跟踪，并根据特征点的丢失状态进行特征点模板的更新；
S3.跟踪切换：当恢复到基于特征的跟踪算法能够跟踪到目标位置时，返回执行步骤S1以切换回使用基于特征的跟踪算法。
本实施例先使用基于特征的跟踪算法对目标进行跟踪，当基于特征的跟踪算法跟踪丢失目标时启动光流跟踪，执行光流跟踪时，通过将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，根据特征点的丢失状态进行特征点模板的更新，能够结合基于特征的跟踪算法、光流跟踪算法的优势实现稳定、精确的人脸跟踪，在人脸发生偏转、遮挡以及人脸目标与相机镜头发生变化等复杂情况时仍然能够进行稳定的人脸跟踪，极大提高了人脸发生偏转、遮挡时跟踪持续性，且以特征点跟踪情况为依据实现人脸特征数据更新，能够兼顾稳定性和实时性，从而在跟踪鲁棒性和时效性之间取得了动态平衡，同时恢复到基于特征的跟踪算法能够跟踪到目标位置时，能够适时的切换回相对轻量的基于特征的跟踪算法，从而保证实时稳定性的同时，降低整个跟踪过程的复杂度及资源开销。
本实施例中，步骤S1中基于特征的跟踪算法具体使用基于色调和梯度幅值的组合特征的Camshift算法，即在传统的Camshift算法基础上，使用色调和梯度幅值构成的组合特征作为特征值形成改进的Camshift算法对目标进行跟踪，跟踪效率高、实时性好，同时由于引入被跟踪目标的梯度幅值信息，能够有效提高前景和背景颜色相近情况下算法的跟踪鲁棒性。
本实施例中，使用基于色调和梯度幅值的组合特征的Camshift算法的具体步骤为：
S11.将图像中目标区域的梯度幅值变换为与色调值相同区间；
S12.由图像中目标区域的色调和变换后的梯度幅值构成混合矩阵Matmix；
S13.计算混合矩阵Matmix的统计直方图，并根据统计直方图将图像进行反向投影，得到反向投影图；
S14.根据反向投影图跟踪到目标的位置。
通过上述步骤即可基于Camshift算法结合色调和梯度幅值的组合特征实现人脸检测，跟踪效率高、实时性好且跟踪鲁棒性好。
本实施例中，步骤S13的具体步骤为：从图像坐标原点开始平移，每次平移时以平移点坐标点作为左上角顶点创建一个大小与目标相同的矩形区域，并计算矩形区域中混合矩阵的统计直方图的巴氏距离，将计算得到的巴氏距离值作为矩形区域对应的反向投影图中像素点的像素值，直至完成图像矩阵中所有元素的反向投影，得到反向投影图。
在具体应用实施例中，上述使用基于色调和梯度幅值的组合特征的Camshift算法具体步骤为：
a.将梯度幅值按照式转换到与色调值相同区间[0,255]。
b.计算图像帧和目标区域的色调和梯度幅值的混合矩阵Matmix，具体可利用图像容器类构造梯度幅值和色调的混合二维矩阵Matmix：
其中n、m分别是图像矩阵的行数和列数，hn，m、gn，m分别代表像素点处的色调值和梯度幅值。
c.从图像坐标原点(0，0)开始向右平移，遇到行末换行，以平移点坐标点作为左上角顶点创建一个大小与目标相同的矩形区域；
d.计算步骤(c)中矩形区域和相应区域的混合矩阵直方图的巴氏距离，将巴氏距离值作为步骤(c)中矩形区域左上角坐标对应的反向投影图中像素点的像素值；
e.按照步骤(c)中的顺序，重复步骤(d)直到图像矩阵最后一个元素(n,m)。
本实施例中，步骤S2中具体建立SUR特征点模板，将预测到的人脸区域位置的像素点与当前SURF特征点模板进行匹配后，由匹配成功的SURF特征点初始化光流跟踪算法，初始化后基于SURF特征点使用光流跟踪算法对目标进行跟踪。
图像存在以下特性：1)在离图像不同距离对目标进行观察时，观察到的图像呈现的效果是不一样的，距离图像近时，看到的目标清晰，反之则模糊；2)距离图像近时图像中的物体比较大，并且目标的一些细节比较容易观察到，反之图像较小只能看到大致的轮廓，SURF特征点是一种描述目标特性的属性，是利用上述图像特性进行尺度变换，且为了加快算法速度，SURF算法使用Hessian矩阵近似值图像。本实施例通过结合SURF特征点初始化光流跟踪算法，能够在基于特征的跟踪算法丢失目标时，结合SURF特征点的特性实现实时、稳定的人脸跟踪。
本实施例中，步骤S2中具体基于SURF特征点使用LK(Lucas-Kanade)光流跟踪算法，以形成改进的LK光流跟踪算法。LK光流跟踪算法是一种光流估计的差分方法，通过假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程，跟踪精度高且实时稳定性好，结合SURF特征点初始化LK光流跟踪算法，能够充分利用SURF特征点的特性，在人脸偏转、遮挡等复杂公开时实现稳定持续的跟踪。
本实施例基于SURF特征点使用LK光流跟踪算法对目标进行跟踪的具体步骤为：
S211.建立光流约束方程：
以及对于二维平面图像内的点I(x，y)，建立方程组：
其中，q1，q2，...，qn是Ix(x，y)人脸ROI区域的SURF特征点，Ix、Iy分别为第t帧图像里特征点q(x，y)在x、y方向上的偏导数，It是第t帧图像与第t-1帧图像关于时间的偏导数，Vx、Vy分别为像素点在整个图像中运动的速度在x方向、y方向上的分量。
S212.令v＝(x，y)，使用最小二乘法求得近似解：
其中wi为点qi所占的权值。
在求解qi方式向量时，使用矩阵的逆H-1，根据矩阵可逆的条件可知，矩阵H必须是非奇异的。
上述SURF特征点是尺度函数在点邻域根据领域像素计算得到的极值，由极值组成的矩阵是非奇异的，满足参与光流计算的条件，从而能够基于SURF特征点初始化实现LK光流跟踪。
本实施例中，步骤S2中预测跟踪丢失后人脸区域位置的具体步骤为：
使用二次多项式作为轨迹目标函数f(t)的最佳逼近：
由二次或者低次函数可以精确的近似描述较短时间内目标的轨迹。
由于最小均方误差为：
则预测第k+N时刻中目标的位置时，使用k,k+1,...,k+N时刻的目标位置数据点按照上述式(6)计算均方误差最小时的曲线拟合参数αk+N、βk+N、γk+N并实时更新，使得目标位置的预测轨迹和实际轨迹最佳逼近，其中：
式中，M为行列式的值，bnm为行列式|M|余因子，n,m＝1,2,3，且|M|≠0。
通过上述方法可以预测得到跟踪丢失后人脸区域的质心位置，预测实现简单且预测精度高，预测得到的质心与实际质心位置平均误差百分比可控制在0.15％以内，能够满足对目标轨迹预测的要求。
预测得到跟踪丢失后人脸区域的质心位置后，将预测到的人脸区域像素点与初始化阶段特征描述向量进行匹配，使用匹配成功的SURF特征点初始化上述LK光流跟踪。
本实施例中，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配的具体步骤为：执行LK光流跟踪时，根据人脸对称性将目标图像区域划分为L、R两个特征点区域，如图2所示，当其中一个目标特征点区域发生丢失时，以目标特征点区域中右上角坐标点(xRmax,Min(yRmin,yLmin))为起点，在轴负方向的长|xRmax-xLmin|以及向轴正方向宽|Max(yRmax,yLmax)-Min(yRmin,yLmin)|的区域内寻找满足初始化时人脸区域中SURF特征点的特征向量的像素点，得到与当前特征点模板匹配的SURF特征点，其中各参数xLmax、xLmin、yLmax、yLmin分别为L、R特征点区域中横坐标、纵坐标的最大、最小值，MIN为取最小值函数，Max为取最大值函数。
设区域L中匹配特征向量检测到的特征点集合为：
区域R中匹配特征向量检测到的特征点集合为：
整个人脸区域轴方向上相距最远的两个SURF特征点距离小于|xRmax-xLmin|，y方向上相距最远两个特征点距离小于|Max(yRmax,yLmax)-Min(yRmax,yLmax)|，则长|xRmax-xLmin|、宽|Max(yRmax,yLmax)-Min(yRmax,yLmax)|区域内包含了所有特征点，本实施例通过将该区域设置为特征点查找区域，可以减少模板匹配时的运算量，提高匹配效率。
考虑到实际中由于人脸目标被遮挡造成的特征点跟踪的丢失，本实施例对SURF特征点模板采取更新机制，对特征点模板采取更新机制，从而可以保持光流跟踪，使得跟踪不会发生中断。本实施例中，步骤S2中进行特征点模板的更新时，具体判断L、R两个特征点区域中发生丢失的特征点数与初始化模板中SURF特征点总数之间的大小关系，当满足(NLM+NRM)/NT大于预设第一阈值(本实施例具体取0.3)时，启动对特征点模板进行更新，其中NLM、NRM分别为L、R特征点区域发生丢失的SURF特征点数，NT为初始化模板中SURF特征点总数。通过上述根据特征点跟踪情况对人脸特征数据进行更新，能够极大提高人脸发生偏转时跟踪持续性。
在具体实施例中，假设左脸区域被物体遮挡导致该区域特征点首先丢失，以区域R右上角坐标点(xRmax,Min(yRmin,yLmin))为起点，向轴负方向查找长|xRmax-xLmin|以及向轴正方向查询宽|Max(yRmax,yLmax)-Min(yRmin,yLmin)|区域，寻找满足初始化时人脸区域中SURF特征点的特征向量的像素点；当NLM和NRM总和与初始化阶段的SURF特征点总数的比值满足(NLM+NRM)/NT>0.3时，对SURF特征点模板进行更新；人右脸区域特征点丢失时，模板更新过程与上述同理。
本实施例中，步骤S3中具体当人脸区域特征点总数NN与初始化模板中SURF特征点总数NT之间的比值NN/NT大于预设第二阈值(本实施例具体取0.7)时，返回执行步骤S1以切换回使用基于特征的跟踪算法。为尽可能多的包含人脸区域特征，当前人脸区域特征点总数与初始化模板中特征点总数比值NN/NT≥0.7时，判定具备初始化改进跟踪的条件。
本发明在具体实施例中SURF特征点模板更行如图3所示，首先建立SURF特征点模板，使用上述改进的LK光流跟踪算法对目标进行跟踪，执行跟踪时若NLM和NRM总和与初始化阶段检测到所有SURF特征点总数的比值：(NLM+NRM)/NT>0.3，进行SURF特征点模板更新，如果当前人脸区域特征点总数与初始化模板中特征点总数比值NN/NT≥0.7时，返回执行上述改进Camshift算法对目标进行跟踪，否则保持执行当前LK光流跟踪。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种动态人脸跟踪方法，其特征在于，步骤包括：
S1.基于特征的跟踪：使用基于特征的跟踪算法对目标进行跟踪，当跟踪丢失目标时，转入执行步骤S2；
S2.光流跟踪：预测跟踪丢失后人脸区域位置并建立特征点模板，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，初始化后使用所述光流跟踪算法对目标进行跟踪，并根据所述特征点的丢失状态进行所述特征点模板的更新；
S3.跟踪切换：当恢复到所述基于特征的跟踪算法能够跟踪到目标位置时，返回执行步骤S1以切换回使用基于特征的跟踪算法。
2.根据权利要求1所述的动态人脸跟踪方法，其特征在于：所述步骤S1中基于特征的跟踪算法具体使用基于色调和梯度幅值的组合特征的Camshift算法。
3.根据权利要求2所述的动态人脸跟踪方法，其特征在于，所述使用基于色调和梯度幅值的组合特征的Camshift算法的具体步骤为：
S11.将图像中目标区域的梯度幅值变换为与色调值相同区间；
S12.由图像中目标区域的色调和变换后的所述梯度幅值构成混合矩阵Matmix；
S13.计算所述混合矩阵Matmix的统计直方图，并根据所述统计直方图将图像进行反向投影，得到反向投影图；
S14.根据所述反向投影图跟踪到目标的位置。
4.根据权利要求3所述的动态人脸跟踪方法，其特征在于，所述步骤S13的具体步骤为：从图像坐标原点开始平移，每次平移时以平移点坐标点作为左上角顶点创建一个大小与目标相同的矩形区域，并计算所述矩形区域中所述混合矩阵Matmix的统计直方图的巴氏距离，将计算得到的巴氏距离值作为所述矩形区域对应的反向投影图中像素点的像素值，直至完成图像矩阵中所有元素的反向投影，得到所述反向投影图。
5.根据权利要求1～4中任意一项所述的动态人脸跟踪方法，其特征在于：所述步骤S2中具体基于SURF特征点建立SURF特征点模板，将预测到的人脸区域位置的像素点与当前SURF特征点模板进行匹配后，由匹配成功的SURF特征点初始化光流跟踪算法，初始化后基于SURF特征点使用所述光流跟踪算法对目标进行跟踪。
6.根据权利要求5所述的动态人脸跟踪方法，其特征在于，所述步骤S2中具体基于SURF特征点使用LK光流跟踪算法对目标进行跟踪，具体步骤为：
S211.建立光流约束方程：
…
以及对于二维平面图像内的点I(x，y)，建立方程组：
其中，q1，q2，...，qn是Ix(x，y)人脸ROI区域的SURF特征点，Ix、Iy分别为第t帧图像里特征点q(x，y)在x、y方向上的偏导数，It是第t帧图像与第t-1帧图像关于时间的偏导数，Vx、Vy分别为像素点在整个图像中运动的速度在x方向、y方向上的分量；
S212.令v＝(x，y)，使用最小二乘法求得近似解：
其中wi为点qi所占的权值。
7.根据权利要求1～4中任意一项所述的动态人脸跟踪方法，其特征在于：所述步骤S2中预测跟踪丢失后人脸区域位置的具体步骤为：
使用二次多项式作为轨迹目标函数f(t)的最佳逼近：
当预测第k+N时刻中目标的位置时，使用k,k+1,...,k+N时刻的目标位置数据点计算均方误差最小时的曲线拟合参数αk+N、βk+N、γk+N并实时更新，使得目标位置的预测轨迹和实际轨迹最佳逼近，其中：
式中，M为行列式的值，bnm为行列式|M|余因子，n,m＝1,2,3，且|M|≠0。
8.根据权利要求1～4中任意一项所述的动态人脸跟踪方法，其特征在于，所述步骤S2中将预测到的人脸区域位置的像素点与当前特征点模板进行匹配的具体步骤为：将目标图像区域划分为L、R两个特征点区域，当其中一个目标特征点区域发生丢失时，以目标特征点区域中右上角坐标点(xRmax,Min(yRmin,yLmin))为起点，在轴负方向的长|xRmax-xLmin|以及向轴正方向宽|Max(yRmax,yLmax)-Min(yRmin,yLmin的区域内寻找满足初始化时人脸区域中SURF特征点的特征向量的像素点，得到与当前特征点模板匹配的SURF特征点，其中xLmax、xLmin、yLmax、yLmin分别为L、R特征点区域中横坐标、纵坐标的最大、最小值，MIN为取最小值函数，Max为取最大值函数。
9.根据权利要求8所述的动态人脸跟踪方法，其特征在于，所述步骤S2中进行所述特征点模板的更新时，具体判断L、R两个特征点区域中发生丢失的特征点数与初始化模板中SURF特征点总数之间的大小关系，当满足(NLM+NRM)/NT大于预设第一阈值时，启动对特征点模板进行更新，其中NLM、NRM分别为L、R特征点区域发生丢失的SURF特征点数，NT为初始化模板中SURF特征点总数。
10.根据权利要求9所述的动态人脸跟踪方法，其特征在于，所述步骤S3中具体当人脸区域特征点总数NN与所述初始化模板中SURF特征点总数NT之间的比值NN/NT大于预设第二阈值时，返回执行步骤S1以切换回使用基于特征的跟踪算法。
CN201810133775.4A 2018-02-09 2018-02-09 一种动态人脸跟踪方法 Pending CN108492315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810133775.4A CN108492315A (zh) 2018-02-09 2018-02-09 一种动态人脸跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810133775.4A CN108492315A (zh) 2018-02-09 2018-02-09 一种动态人脸跟踪方法

Publications (1)

Publication Number Publication Date
CN108492315A true CN108492315A (zh) 2018-09-04

Family

ID=63340031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810133775.4A Pending CN108492315A (zh) 2018-02-09 2018-02-09 一种动态人脸跟踪方法

Country Status (1)

Country Link
CN (1) CN108492315A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949341A (zh) * 2019-03-08 2019-06-28 广东省智能制造研究所 一种基于人体骨架结构化特征的行人目标跟踪方法
CN110099254A (zh) * 2019-05-21 2019-08-06 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110097586A (zh) * 2019-04-30 2019-08-06 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN110263695A (zh) * 2019-06-14 2019-09-20 北京达佳互联信息技术有限公司 人脸部位的位置获取方法、装置、电子设备及存储介质
WO2022194157A1 (zh) * 2021-03-15 2022-09-22 北京字跳网络技术有限公司 一种目标跟踪方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077539A (zh) * 2013-01-23 2013-05-01 上海交通大学 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN104318211A (zh) * 2014-10-17 2015-01-28 中国传媒大学 一种抗遮挡人脸跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077539A (zh) * 2013-01-23 2013-05-01 上海交通大学 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN104318211A (zh) * 2014-10-17 2015-01-28 中国传媒大学 一种抗遮挡人脸跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘双: "复杂环境下人脸跟踪算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949341A (zh) * 2019-03-08 2019-06-28 广东省智能制造研究所 一种基于人体骨架结构化特征的行人目标跟踪方法
CN109949341B (zh) * 2019-03-08 2020-12-22 广东省智能制造研究所 一种基于人体骨架结构化特征的行人目标跟踪方法
CN110097586A (zh) * 2019-04-30 2019-08-06 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN110099254A (zh) * 2019-05-21 2019-08-06 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110099254B (zh) * 2019-05-21 2023-08-25 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110263695A (zh) * 2019-06-14 2019-09-20 北京达佳互联信息技术有限公司 人脸部位的位置获取方法、装置、电子设备及存储介质
CN110263695B (zh) * 2019-06-14 2021-07-16 北京达佳互联信息技术有限公司 人脸部位的位置获取方法、装置、电子设备及存储介质
WO2022194157A1 (zh) * 2021-03-15 2022-09-22 北京字跳网络技术有限公司 一种目标跟踪方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108492315A (zh) 一种动态人脸跟踪方法
CN109387204B (zh) 面向室内动态环境的移动机器人同步定位与构图方法
US9129399B2 (en) Optical flow with nearest neighbor field fusion
JP6065427B2 (ja) オブジェクト追跡方法及びオブジェクト追跡装置
CN103514441B (zh) 基于移动平台的人脸特征点定位跟踪方法
CN101763636B (zh) 视频序列中的三维人脸位置和姿态跟踪的方法
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
KR20150013709A (ko) 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
KR20120014925A (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
CN104899563A (zh) 一种二维人脸关键特征点定位方法及系统
CN105893984B (zh) 一种基于面部特征的脸谱的人脸投影方法
Grest et al. Single view motion tracking by depth and silhouette information
Yao et al. Robust RGB-D visual odometry based on edges and points
CN103841296A (zh) 一种具有大范围旋转及平移运动估计的实时电子稳像方法
Chen et al. A stereo visual-inertial SLAM approach for indoor mobile robots in unknown environments without occlusions
Zhang et al. 3D head tracking under partial occlusion
CN109658441A (zh) 基于深度信息的前景检测方法及装置
Pham et al. Robust real-time performance-driven 3D face tracking
CN108491752A (zh) 一种基于手部分割卷积网络的手部姿态估计方法
CN117218210A (zh) 一种基于仿生眼的双目主动视觉半稠密深度估计方法
CN110009683B (zh) 基于MaskRCNN的实时平面上物体检测方法
Kölsch An appearance-based prior for hand tracking
Lefevre et al. Structure and appearance features for robust 3d facial actions tracking
KR100951793B1 (ko) 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180904