CN105913028B - 一种基于face++平台的人脸跟踪方法及其装置 - Google Patents

一种基于face++平台的人脸跟踪方法及其装置 Download PDF

Info

Publication number
CN105913028B
CN105913028B CN201610230250.3A CN201610230250A CN105913028B CN 105913028 B CN105913028 B CN 105913028B CN 201610230250 A CN201610230250 A CN 201610230250A CN 105913028 B CN105913028 B CN 105913028B
Authority
CN
China
Prior art keywords
matching
template
frame
face
frame picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610230250.3A
Other languages
English (en)
Other versions
CN105913028A (zh
Inventor
唐小煜
谢晓明
许晓平
黄伟武
曾显华
冯利斌
李榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201610230250.3A priority Critical patent/CN105913028B/zh
Publication of CN105913028A publication Critical patent/CN105913028A/zh
Application granted granted Critical
Publication of CN105913028B publication Critical patent/CN105913028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种基于face++平台的人脸跟踪方法，包括如下步骤，步骤1：通过face++平台获得第K帧图片作为模板帧图片，圈定匹配模板，并确定匹配坐标；步骤2：获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点；步骤3：以匹配目标点为中心，在待测帧图片中圈定一匹配区域；步骤4：将匹配模板与匹配区域内的图像进行匹配，以在匹配区域内查找到目标人脸；步骤5：以第K+1帧图片作为模板帧图片，返回步骤1。相比于现有技术，本发明通过face++平台检测目标人脸，提高了目标获取的准确度；将待测帧图片划分成匹配区域进行匹配，减少了程序处理量。本发明还提供了一种基于face++平台的人脸跟踪装置。

Description

一种基于face++平台的人脸跟踪方法及其装置
技术领域
本发明涉及多人脸跟踪领域，尤其涉及一种基于face++平台的人脸跟踪方法及其装置。
背景技术
随着计算机和图像处理技术的发展，计算机视觉已经渗入生活中的诸多领域。而人脸跟踪技术作为计算机视觉的关键技术，因在安全监控、医学、视频会议、档案管理等方面有巨大的应用前景和市场，也受到了越来越多学者的关注。
目前，人脸跟踪技术领域中，常用CAMSHIFT算法进行跟踪，其基本思想是：以视频序列图像中颜色概率直方图作为特征值，对视频图像中的所有帧做mean shift算法以查找出运动目标，然后将上一帧得到的结果作为下一帧的初始值，如此迭代进行跟踪。但是，CAMSHIFT跟踪算法是以原始肤色作为图像基准模型进行查找跟踪的，而原始肤色模型包含了一些非肤色的部分，这会使查找目标的过程中出现误差，导致跟踪不够精确；并且对于人脸快速移动或出现类肤色的干扰如人手干扰的情况时，CAMSHIFT跟踪算法也不能进行很好的区分处理。此外，查找匹配的运动目标时，需要把图像中的每一个子区域都计算一遍，并计算选择出最合适的匹配区域，这种遍历式查找的方法需要的程序处理量高，耗时长。
发明内容
本发明在于克服现有技术的缺点与不足，提供一种跟踪准确度高、程序处理量少、跟踪效果佳的基于face++平台的人脸跟踪方法。
本发明是通过以下技术方案实现的：一种基于face++平台的人脸跟踪方法，包括如下步骤：
步骤1：通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于该模板帧图片的坐标作为匹配坐标；其中，K为大于或等于1的整数。
步骤2：获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹配目标点位于该待检测图片中的坐标与匹配坐标一致；
步骤3：以匹配目标点为中心，在待测帧图片中圈定一匹配区域；
步骤4：将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人脸；
步骤5：以第K+1帧图片作为模板帧图片，返回步骤1。
相比于现有技术，本发明通过face++平台检测和识别目标人脸，提高了目标获取的准确度；将待测帧图片划分成匹配区域再进行匹配，大大减少了程序处理量；通过队列保持视频帧的方式，减少了跟踪延时问题，提高了跟踪的精确度。
进一步地，在步骤3中，所述匹配区域的面积是匹配模板的面积的倍数；通过梯度下降算法以匹配目标点坐标作为起点，以负梯度方向为方向，在待测帧图片中获得一极小值，该起点与极小值连线的区域在所述匹配区域内。
进一步地，在步骤4中，设定匹配阈值；计算匹配区域中各部分区域与目标人脸模板的匹配度值，并获得一最大匹配度值；将最大匹配度值与预设的匹配阈值进行比较，若最大匹配度值小于预设的匹配阈值，则判断找到了目标人脸。其中，将目标人脸模板在对应的感兴趣区域上移动，且每移动一个像素均计算目标人脸模板与重叠区域的匹配度值，通过比较获得最大匹配度值。
进一步地，若最大匹配度值大于预设的匹配阈值，判断人脸被遮挡，则采用卡尔曼滤波算法，以第K帧图片预测第K+1帧图片中待跟踪目标人脸的位置，以预测的第K+1帧作为模板帧，将获得的第K+1帧图片与模板帧进行匹配；若最大匹配度值仍大于预设的匹配阈值，则用预测的第K+1帧图片预测下一帧图片中待跟踪目标人脸的位置，直到最大匹配度值小于预设的匹配阈值才停止迭代。
进一步地，在步骤2中，将显示跟踪的时间点延迟，同时将实时获得的待测帧图片依序保存形成一个队列；在匹配时再依序获得各个待测帧图片，确保取模板帧与待测帧为相邻图片帧。
进一步地，在步骤1中，通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标；在步骤1和步骤2中增加步骤1A，其中步骤1A为：获得需要跟踪的目标人脸的个数N，预设n为第n个待跟踪的目标人脸，从第一个待跟踪的目标人脸进行匹配跟踪；其中N>1且N≥n(n，N为整数)；在步骤4和步骤5中增加步骤4A，其中步骤4A为：判断n与N的大小，若n＝N，则进行步骤5，否则对第n+1个待跟踪的目标人脸进行匹配跟踪，返回到步骤2。
本发明还提供一种基于face++平台的人脸跟踪装置，包括：
——匹配模板获取模块，用于通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于该模板帧图片的坐标作为匹配坐标；其中，K≥1的整数；
——匹配目标点获取模块，用于获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹配目标点位于该待检测图片中的坐标与匹配坐标一致；
——匹配区域获取模块，用于以匹配目标点为中心，在待测帧图片中圈定一匹配区域；
——匹配查找模块，用于将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人脸；
——模板帧转换模块，用于将第K+1帧图片作为模板帧图片。
相比于现有技术，本发明通过匹配模板获取模块检测和识别目标人脸，提高了目标获取的准确度；通过匹配区域获取模块将待测帧图片划分成匹配区域再进行匹配，大大减少了程序处理量，提高了跟踪的精确度和效率。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1是本发明实施例1基于face++的人脸跟踪方法的原理图；
图2是本发明实施例1基于face++的人脸跟踪方法的流程图；
图3是本发明实施例1基于face++平台在线检测的各姿态人脸效果图；
图4是本发明实施例1采用传统连续图片帧视频流采集分析的跟踪效果图；
图5是本发明实施例1采用队列依序保存待匹配帧图像后的跟踪效果图；
图6是本发明实施例1采用传统的CAMSHIIF跟踪算法进行单人脸检测的效果图；
图7是图6所示的跟踪轨迹图；
图8是本发明实施例1提出的跟踪算法进行单人脸检测的效果图；
图9是图8所示的跟踪轨迹图；
图10是本发明实施例1的基于face++的人脸跟踪装置的模块图；
图11是本发明实施例2基于face++的人脸跟踪方法的流程图；
图12是本发明实施例2基于face++平台在线检测的多人脸效果图；
图13是本发明实施例2对多目标人脸交叉时的跟踪轨迹图；
图14是本发明实施例2的基于face++的人脸跟踪装置的模块图。
具体实施方式
实施例1
face++是新一代云端视觉服务平台，提供一整套世界领先的人脸检测、人脸识别、面部分析的视觉技术服务。相比于传统基于opencv实现的人脸检测，face++平台为人脸检测与追踪技术提供快速、高准确率的人像检测功能，不仅支持图片与实时视频流的检测，还支持多种人脸姿态的检测，且能应对复杂的光照情况，可检测出不小于16*16像素的人脸。
本发明基于现有的face++平台识别连续图片帧中的人脸，并通过跟踪算法对该连续图片帧的单个目标人脸进行匹配跟踪。由于连续图片帧中的相邻两帧图像时间间隔较短，一般为几十毫秒，各目标运动速度较低，运动状态变化较小，所以本发明以连续图片帧中的第K帧作为模板帧图片，以其下一帧图片即第K+1帧为待测帧图片进行匹配，可快速准确的跟踪目标人脸。
请同时参阅图1和图2，图1是本发明实施例1基于face++的人脸跟踪方法的原理图；图2是本发明实施例1基于face++的人脸跟踪方法的流程图。该基于face++平台的人脸跟踪方法，包括如下步骤：
步骤1：通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于该模板帧图片的坐标作为匹配坐标；其中，K为大于或等于1的整数。
请参阅图3，其本发明实施例1基于face++平台在线检测的各姿态人脸效果图，图中方框圈定的部分即为匹配模板。对于各姿态的人脸，face++平台仍然能准确无误地获得目标人脸，具有很好的鲁棒性。
步骤2：获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹配目标点位于该待检测图片中的坐标与匹配坐标一致。
步骤3：以匹配目标点为中心，在待测帧图片中圈定一匹配区域。
由于连续图片帧中的相邻两帧图像时间间隔较短，一般为几十毫秒，各目标运动速度较低，运动状态变化较小，所以，在连续图片帧中以第K帧图片的匹配模板的匹配坐标作为中心，在第K+1帧圈定的匹配区域内即包含了待跟踪的目标人脸。
所述匹配区域是以第K帧中的匹配目标点为中心确定的，且其面积是匹配模板的面积的倍数。同时，通过梯度下降算法以匹配目标点坐标作为起点，以负梯度方向为方向，在待测帧图片中获得一极小值，该起点与极小值连线的区域在所述匹配区域内。
请参阅图4，其是本发明实施例1采用传统连续图片帧视频流采集分析的跟踪效果图，其中黑色线即为跟踪的轨迹线。本发明中匹配区域的确定与后面提到的匹配都需要花费一定的时间，如果按传统连续图片帧视频流提取的方式是无法在第K+1帧中进行匹配的，也就是说获取的匹配模板为第K帧，匹配跟踪时的待测帧已经为第K+n(n>1，且n为整数)帧；比如，有可能用第一帧图片提取的匹配模板与第六帧图片进行匹配。由于取模板帧与待测帧相差较远带来的误差将逐步积累，匹配精度将逐渐降低，最后甚至导致跟丢。
请参阅图5，其是本发明实施例1采用队列依序保存待待测帧图片后的跟踪效果图，黑色线即为跟踪的轨迹线。为确保匹配的精确度，本发明将视频帧显示跟踪的时间点延迟，将实时获得的待测帧图片依序保存形成一个队列；在匹配跟踪时再依序获得各个待测帧帧图片，确保取模板帧与待测帧为相邻图片帧，即实现第K帧图片与第K+1帧图片的实时匹配。本发明采用队列依序保存待匹配帧图像的方法缓解了时延问题，避免了误差积累导致跟丢的问题，进而大大提高了匹配的精确度。
步骤4：将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人脸；
本发明中，设定了一匹配阈值；计算目标人脸模板与匹配区域中各部分的匹配度值，并获得一最大匹配度值；将最大匹配度值与预设的匹配阈值进行比较，若最大匹配度值小于预设的匹配阈值，则判断找到了目标人脸。
本发明系统采用Java CV实现，而Java CV提供了6中模板匹配的方法，包括方差匹配法、相关匹配法、相关系数匹配法、归一化平方差匹配法、归一化相关匹配法和归一化相关系数匹配法。本实施例中，选用相关系数匹配法获得匹配度值，用正负分别表示最优和最差匹配，在一定实验条件下，经过大量数据的测试，获得匹配阈值为0.8。该匹配阈值可根据检测环境调整。
本发明中，将匹配模板在匹配区域内移动，且每移动一个像素(纵或横方向上)均计算目标人脸模板与重叠区域的匹配度值，若以W为感兴趣区域的宽度值，w为模板的宽度值；H为感兴趣区域的高度值，h为模板的高度值，则横向需比较W-w+1次，纵向比较H-h+1次，进而得到一个(W-w+1)×(H-h+1)维的结果矩阵，再在结果矩阵中提取最大的匹配度值。
若匹配区域内的最大匹配度值大于预设的匹配阈值，判断人脸被遮挡，则采用卡尔曼滤波算法，以第K帧图片预测第K+1帧图片中待跟踪目标人脸的位置，以预测的第K+1帧作为模板帧，将获得的第K+1帧图片与模板帧进行匹配，若最大匹配度值仍大于预设的匹配阈值，则用预测的第K+1帧图片预测下一帧图片中待跟踪目标人脸的位置，直到最大匹配度值小于预设的匹配阈值才停止迭代。
卡尔曼滤波是在最小均方误差准则下的线性系统最优估计方法。它的基本思想是使得估计误差的方差最小，并且估计是无偏的。利用卡尔曼滤波进行状态估计可以分为三步：初始化、预测和更新。
初始化阶段，在目标跟踪中，由于相邻两帧图像时间间隔较短，一般为几十毫秒，各目标运动状态变化较小，所以可以假设目标在两帧时间间隔内做匀速运动。由于每帧图像处理时间较为稳定，因此假定采样间隔T为相邻两帧图像时间间隔。设目标的运动参数为第K帧所在的位置和速度，定义目标运动状态向量Xk＝(xk,yk,vxk,vyk)T，观测状态向量Zk＝(xk,yk)。xk,yk表示第K帧图片中待跟踪的目标人脸的匹配坐标，vxk,vyk分别表示待跟踪的目标人脸的运动的速度。程序选择第K帧获取的模板作为输入并保存，同时对窗口的位置坐标初始状态向量Xk中的xk,yk进行初始化，且取vx0,vy0分量分别取零。
预测和更新阶段，在第K帧时，由第K-1帧的待跟踪的目标人脸的匹配坐标的最优估计Xk-1︱k-1得到Xk的最优预测估计Xk-1︱k，并以获得的第K帧图片的匹配目标点作为观测值Zk,用Zk来修正最优预测估计Xk-1︱k，即得到了Xk的最优估计Xk︱k，将Xk︱k的待跟踪的人脸目标位置(xk,yk)作为下一帧匹配坐标进行预测下一帧的最优估计，直到获得的最大匹配度值小于预定的阈值。这样，在每帧的处理中，用卡尔曼滤波对各个目标进行运动估计，来提高多目标的跟踪的效果。
具体的，本发明中的最优估计的计算是通过以下公式计算的：
卡尔曼滤波模型假设k时刻的真实状态是从(K-1)时刻的状态演化而来，符合下式：
Xk＝FkXk-1+Bkuk+wk
其中，Fk是作用在Xk-1上的状态变换模型，满足
Figure BDA0000964329950000061
Bk是作用在控制器向量uk上的输入－控制模型。
wk是过程噪声，并假定其符合均值为零，协方差矩阵为Qk的多元正态分布，满足
Wk～N(0，Qk)，
Figure BDA0000964329950000062
时刻k，对真实状态Xk的一个观测值Zk满足下式：
Zk＝HkXk+vk
其中，Hk是观测模型，它把真实状态空间映射成观测空间，vk是观测噪声，其均值为零，协方差矩阵为Rk服从正态分布。
Vk～N(0，Rk)，
Figure BDA0000964329950000063
初始状态以及每一时刻的噪声{X0,w1,...,wk,v1...vk}都认为是互相独立的。
步骤5：以第K+1帧图片作为模板帧图片，返回步骤1。
下面通过实验证明本发明提出的跟踪算法较与传统的CAMSHIIF跟踪算法的优越性。
请同时参阅图6至图9，图6是本发明实施例1采用传统的CAMSHIIF跟踪算法进行单人脸检测的效果图；图7是图6所示的跟踪轨迹图；图8是本发明实施例1提出的跟踪算法进行单人脸检测的效果图；图9是图8所示的跟踪轨迹图。
在有门、窗帘等具有多个干扰物的复杂环境下，单个人来回走动2回。由图6所示的检测结果和图7所示的黑色跟踪轨迹线可知，传统的CAMSHIIF跟踪算法尽管不断更新模板，不断地重新锁定目标，并不断地补充轨迹，其最终确定的轨迹仍然明显不符合真实情况，并且目标很容易丢失。由图8所示的检测结果和图9所示的黑色跟踪轨迹线可知，本申请的算法具有很强大的鲁棒性，并无跟丢现象，轨迹符合真实情况。
相比于现有技术，本发明通过face++平台检测和识别目标人脸，提高了目标获取的准确度；将待测帧图片划分成匹配区域再进行匹配，大大减少了程序处理量；通过队列保持视频帧的方式，减少了跟踪延时问题，提高了跟踪的精确度；此外，通过卡尔曼滤波对各个目标进行运动估计，大大提高了多目标跟踪的效果。
请参阅图10，其是本发明实施例1的基于face++的人脸跟踪装置的模块图。
本实施例中还提供一种基于face++平台的人脸跟踪装置，包括：
——匹配模板获取模块，用于通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于该模板帧图片的坐标作为匹配坐标；其中，K为大于或等于1的整数；
——匹配目标点获取模块，用于获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹配目标点位于该待检测图片中的坐标与匹配坐标一致；
——匹配区域获取模块，用于以匹配目标点为中心，在待测帧图片中圈定一匹配区域；
——匹配查找模块，用于将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人脸；
——模板帧转换模块，用于将第K+1帧图片作为模板帧图片。
本发明基于现有的face++平台识别连续图片帧中的人脸，并通过跟踪算法对该连续图片帧的单个目标人脸进行匹配跟踪。由于连续图片帧中的相邻两帧图像时间间隔较短，一般为几十毫秒，各目标运动速度较低，运动状态变化较小，所以本发明以连续图片帧中的第K帧作为模板帧图片，以其下一帧图片即第K+1帧为待测帧图片进行匹配，可快速准确的跟踪目标人脸。
所述匹配区域获取模块进一步还用于通过以匹配模板的面积的倍数确定所述匹配区域的面积。所述匹配区域获取模块进一步还用于通过梯度下降算法以匹配目标点坐标作为起点，以负梯度方向为方向，在待测帧图片中获得一极小值，使起点与极小值连线的区域在所述匹配区域内来确定所述匹配区域。
本发明中匹配区域的确定与后面提到的匹配都需要花费一定的时间，如果按传统连续图片帧视频流提取的方式是无法在第K+1帧中进行匹配的，也就是说获取的匹配模板为第K帧，匹配跟踪时的待测帧已经为第K+n(n>1，且n为整数)帧；比如，有可能用第一帧图片提取的匹配模板与第六帧图片进行匹配。由于取模板帧与待测帧相差较远带来的误差将逐步积累，匹配精度将逐渐降低，最后甚至导致跟丢。
为确保匹配的精确度，本发明还包括待测帧图片保存模块，用于将视频帧显示跟踪的时间点延迟，将实时获得的待测帧图片依序保存形成一个队列；在匹配跟踪时再依序获得各个待测帧帧图片，确保取模板帧与待测帧为相邻图片帧，即实现第K帧图片与第K+1帧图片的实时匹配。本发明采用队列依序保存待匹配帧图像的方法缓解了时延问题，避免了误差积累导致跟丢的问题，进而大大提高了匹配的精确度。
所述匹配查找模块包括匹配阈值设定子模块、最大匹配度值获取子模块、目标人脸判断子模块和卡尔曼滤波子模块；所述匹配阈值设定子模块用于设定匹配度值；所述最大匹配度值获取子模块用于计算匹配区域中各部分区域与目标人脸模板的匹配度值，并获得一最大匹配度值；所述目标人脸判断子模块用于将最大匹配度值与预设的匹配阈值进行比较，若最大匹配度值小于预设的匹配阈值，则判断找到了目标人脸，否则判断人脸被遮挡。当判断人脸被遮挡时，以第K帧图片预测第K+1帧图片中待跟踪目标人脸的位置，以预测的第K+1帧作为模板帧，将获得的第K+1帧图片与模板帧进行匹配；若最大匹配度值仍大于预设的匹配阈值，则用预测的第K+1帧图片预测下一帧图片中待跟踪目标人脸的位置，直到最大匹配度值小于预设的匹配阈值才停止迭代。
所述最大匹配度值获取子模块进一步还用于将目标人脸模板在对应的感兴趣区域上移动，且每移动一个像素均计算目标人脸模板与重叠区域的匹配度值，通过比较获得最大匹配度值。具体的，所述最大匹配度值获取子模块将匹配模板在匹配区域内移动，且每移动一个像素(纵或横方向上)均计算目标人脸模板与重叠区域的匹配度值，若以W为感兴趣区域的宽度值，w为模板的宽度值；H为感兴趣区域的高度值，h为模板的高度值，则横向需比较W-w+1次，纵向比较H-h+1次，进而得到一个(W-w+1)×(H-h+1)维的结果矩阵，再在结果矩阵中提取最大的匹配度值。
相比于现有技术，本发明通过匹配模板获取模块检测和识别目标人脸，提高了目标获取的准确度；通过匹配区域获取模块将待测帧图片划分成匹配区域再进行匹配，大大减少了程序处理量，提高了跟踪的精确度和效率。
实施例2
本实施例2的基于face++平台的人脸跟踪方法与实施例1的方法基本相同，其区别仅在于本实施例是针对多个人脸目标进行的匹配跟踪。请参阅图11，其是本发明实施例2基于face++的人脸跟踪方法的流程图。具体的跟踪方法步骤如下：
步骤1：通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标；其中，K为大于或等于1的整数。
步骤1A：获得需要跟踪的目标人脸的个数N，预设n为第n个待跟踪的目标人脸，从第一个待跟踪的目标人脸进行匹配跟踪；其中N>1且N≥n(n，N为整数)。
步骤2：获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹配目标点位于该待检测图片中的坐标与匹配坐标一致；
步骤3：以匹配目标点为中心，在待测帧图片中圈定一匹配区域；
步骤4：将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人脸；
步骤4A：判断n与N的大小，若n＝N，则进行步骤5，否则对第n+1个待跟踪的目标人脸进行匹配跟踪，返回到步骤2；
步骤5：以第K+1帧图片作为模板帧图片，返回步骤1。
请参阅图12，其是本发明实施例2基于face++平台在线检测的多人脸效果图，图中方框圈定的部分即为匹配模板。对于多个目标人脸，face++平台仍然能准确无误地获得目标人脸，具有很好的鲁棒性。
请参阅图10，其是本发明实施例2对多目标人脸交叉时的跟踪轨迹图，图中黑色线即为跟踪估计线。对于多个待跟踪的目标人脸，在各人脸相互交叉等情况下，本发明提供的基于face++平台的人脸跟踪方法仍然可以很好的匹配，其生成的轨迹线也符合实际情况。
相比于现有技术，本发明通过face++平台检测和识别多个目标人脸，提高了目标获取的准确度；将待测帧图片依次划分成多个匹配区域再进行匹配，大大减少了程序处理量，使得在各人脸相互交叉等情况下仍然能快速准确的跟踪到多个目标人脸。
请参阅图14，其是本发明实施例2的基于face++的人脸跟踪装置的模块图。
本实施例2提供一种基于face++平台的人脸跟踪装置，其与实施例1的结构基本相同，其区别仅在于，所述匹配模板获取模块通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标。且还包括待跟踪的目标人脸数量获取模块和多目标人脸匹配完成判断模块，所述匹配模板获取模块通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标；所述待跟踪的目标人脸数量获取模块用于获得需要跟踪的目标人脸的个数N，预设n为第n个待跟踪的目标人脸，从第一个待跟踪的目标人脸进行匹配跟踪；其中N>1且N≥n(n，N为整数)；所述多目标人脸匹配完成判断模块用于判断n与N的大小，若n＝N，则进行步骤5，否则对第n+1个待跟踪的目标人脸进行匹配跟踪，返回到步骤2。
相比于现有技术，本发明通过匹配模板获取模块检测和识别多个目标人脸，提高了目标获取的准确度；通过匹配区域获取模块将待测帧图片依次划分成多个匹配区域再进行匹配，大大减少了程序处理量；通过待跟踪的目标人脸数量获取模块和多目标人脸匹配完成判断模块，实现依序对各个人脸进行匹配跟踪，使得在各人脸相互交叉等情况下仍然能快速准确的跟踪到多个目标人脸。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (2)

1.一种基于face++平台的人脸跟踪方法，其特征在于：包括如下步骤：
步骤1：通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于该模板帧图片的坐标作为匹配坐标；其中，K为大于或等于1的整数；
步骤2：获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹配目标点位于该待测帧图片中的坐标与匹配坐标一致；
步骤3：以匹配目标点为中心，在待测帧图片中圈定一匹配区域；
步骤4：将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人脸；
步骤5：以第K+1帧图片作为模板帧图片，返回步骤1；
在步骤4中，设定匹配阈值；计算匹配区域中各部分区域与目标人脸模板的匹配度值，并获得一最大匹配度值；将最大匹配度值与预设的匹配阈值进行比较，若最大匹配度值小于预设的匹配阈值，则判断找到了目标人脸；其中，将目标人脸模板在对应的感兴趣区域上移动，且每移动一个像素均计算目标人脸模板与重叠区域的匹配度值，通过比较获得最大匹配度值；
若最大匹配度值大于预设的匹配阈值，判断人脸被遮挡，则采用卡尔曼滤波算法，以第K帧图片预测第K+1帧图片中待跟踪目标人脸的位置，以预测的第K+1帧作为模板帧，将获得的第K+1帧图片与模板帧进行匹配；若最大匹配度值仍大于预设的匹配阈值，则用预测的第K+1帧图片预测下一帧图片中待跟踪目标人脸的位置，直到最大匹配度值小于预设的匹配阈值才停止迭代；
在步骤3中，所述匹配区域的面积是匹配模板的面积的倍数；通过梯度下降算法以匹配目标点坐标作为起点，以负梯度方向为方向，在待测帧图片中获得一极小值，该起点与极小值连线的区域在所述匹配区域内；在步骤2中，将显示跟踪的时间点延迟，同时将实时获得的待测帧图片依序保存形成一个队列；在匹配时再依序获得各个待测帧图片，确保取模板帧与待测帧为相邻图片帧；
在步骤1中，通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标；在步骤1和步骤2中增加步骤1A，其中步骤1A为：获得需要跟踪的目标人脸的个数N，预设n为第n个待跟踪的目标人脸，从第一个待跟踪的目标人脸进行匹配跟踪；其中N>1且N≥n，n，N为整数；在步骤4和步骤5中增加步骤4A，其中步骤4A为：判断n与N的大小，若n＝N，则进行步骤5，否则对第n+1个待跟踪的目标人脸进行匹配跟踪，返回到步骤2。
2.一种执行如权利要求1所述的基于face++平台的人脸跟踪方法的基于face++平台的人脸跟踪装置，其特征在于：包括
匹配模板获取模块，用于通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于该模板帧图片的坐标作为匹配坐标；其中，K为大于或等于1的整数；
匹配目标点获取模块，用于获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹配目标点位于该待测帧图片中的坐标与匹配坐标一致；
匹配区域获取模块，用于以匹配目标点为中心，在待测帧图片中圈定一匹配区域；
匹配查找模块，用于将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人脸；
模板帧转换模块，用于将第K+1帧图片作为模板帧图片；
所述匹配查找模块进一步用于设定匹配阈值；计算匹配区域中各部分区域与目标人脸模板的匹配度值，并获得一最大匹配度值；将最大匹配度值与预设的匹配阈值进行比较，若最大匹配度值小于预设的匹配阈值，则判断找到了目标人脸；其中，将目标人脸模板在对应的感兴趣区域上移动，且每移动一个像素均计算目标人脸模板与重叠区域的匹配度值，通过比较获得最大匹配度值；
所述匹配查找模块进一步用于在最大匹配度值大于预设的匹配阈值时，判断人脸被遮挡，则采用卡尔曼滤波算法，以第K帧图片预测第K+1帧图片中待跟踪目标人脸的位置，以预测的第K+1帧作为模板帧，将获得的第K+1帧图片与模板帧进行匹配；若最大匹配度值仍大于预设的匹配阈值，则用预测的第K+1帧图片预测下一帧图片中待跟踪目标人脸的位置，直到最大匹配度值小于预设的匹配阈值才停止迭代；
所述匹配区域获取模块进一步还用于通过匹配模板的面积的倍数确定所述匹配区域的面积；所述匹配区域获取模块进一步还用于通过梯度下降算法以匹配目标点坐标作为起点，以负梯度方向为方向，在待测帧图片中获得一极小值，使起点与极小值连线的区域在所述匹配区域内来确定所述匹配区域；
还包括待测帧图片保存模块，用于将显示跟踪的时间点延迟，同时将实时获得的待测帧图片依序保存形成一个队列；在匹配时再依序获得各个待测帧图片，确保取模板帧与待测帧为相邻图片帧；
还包括待跟踪的目标人脸数量获取模块和多目标人脸匹配完成判断模块，所述匹配模板获取模块通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标；所述待跟踪的目标人脸数量获取模块用于获得需要跟踪的目标人脸的个数N，预设n为第n个待跟踪的目标人脸，从第一个待跟踪的目标人脸进行匹配跟踪；其中N>1且N≥n，n，N为整数；所述多目标人脸匹配完成判断模块用于判断n与N的大小，若n＝N，则进行步骤5，否则对第n+1个待跟踪的目标人脸进行匹配跟踪，返回到步骤2。
CN201610230250.3A 2016-04-13 2016-04-13 一种基于face++平台的人脸跟踪方法及其装置 Active CN105913028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610230250.3A CN105913028B (zh) 2016-04-13 2016-04-13 一种基于face++平台的人脸跟踪方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610230250.3A CN105913028B (zh) 2016-04-13 2016-04-13 一种基于face++平台的人脸跟踪方法及其装置

Publications (2)

Publication Number Publication Date
CN105913028A CN105913028A (zh) 2016-08-31
CN105913028B true CN105913028B (zh) 2020-12-25

Family

ID=56746228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610230250.3A Active CN105913028B (zh) 2016-04-13 2016-04-13 一种基于face++平台的人脸跟踪方法及其装置

Country Status (1)

Country Link
CN (1) CN105913028B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650586B (zh) * 2016-09-30 2019-09-24 厦门大图智能科技有限公司 一种人脸跟踪方法及系统
CN107742303B (zh) * 2017-09-29 2021-05-25 南京阿凡达机器人科技有限公司 一种基于机器人的目标图像显示处理方法及系统
CN108090428B (zh) * 2017-12-08 2021-05-25 成都合盛智联科技有限公司 一种人脸识别方法及其系统
CN108629283B (zh) * 2018-04-02 2022-04-08 北京小米移动软件有限公司 人脸跟踪方法、装置、设备及存储介质
CN109064489A (zh) * 2018-07-17 2018-12-21 北京新唐思创教育科技有限公司 用于人脸追踪的方法、装置、设备和介质
CN109448219A (zh) * 2018-10-25 2019-03-08 深圳怡化电脑股份有限公司 图像匹配方法、装置、票据鉴别仪及计算机可读存储介质
CN110210285A (zh) * 2019-04-16 2019-09-06 浙江大华技术股份有限公司 人脸跟踪方法、人脸跟踪装置以及计算机存储介质
CN110099254B (zh) * 2019-05-21 2023-08-25 浙江师范大学 一种驾驶员人脸跟踪装置及方法
TWI727337B (zh) * 2019-06-06 2021-05-11 大陸商鴻富錦精密工業（武漢）有限公司 電子裝置及人臉識別方法
CN110263695B (zh) * 2019-06-14 2021-07-16 北京达佳互联信息技术有限公司 人脸部位的位置获取方法、装置、电子设备及存储介质
CN112528761B (zh) * 2020-11-24 2023-04-07 上海墨说科教设备有限公司 图像中特定目标提取方法、系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819952A (zh) * 2012-06-29 2012-12-12 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
KR20130075802A (ko) * 2011-12-28 2013-07-08 대전대학교 산학협력단 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
CN104834916A (zh) * 2015-05-14 2015-08-12 上海太阳能科技有限公司 一种多人脸检测跟踪方法
CN105374050A (zh) * 2015-10-12 2016-03-02 浙江宇视科技有限公司 运动目标跟踪恢复方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100589114C (zh) * 2007-12-29 2010-02-10 北京中星微电子有限公司 图像中最大人脸的跟踪装置和方法
CN102054159B (zh) * 2009-10-28 2014-05-28 腾讯科技（深圳）有限公司 一种人脸跟踪的方法和装置
CN102682281A (zh) * 2011-03-04 2012-09-19 微软公司 视频中聚集的面部跟踪
CN104866805B (zh) * 2014-02-20 2020-09-11 腾讯科技（深圳）有限公司 人脸实时跟踪的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130075802A (ko) * 2011-12-28 2013-07-08 대전대학교 산학협력단 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
CN102819952A (zh) * 2012-06-29 2012-12-12 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
CN104834916A (zh) * 2015-05-14 2015-08-12 上海太阳能科技有限公司 一种多人脸检测跟踪方法
CN105374050A (zh) * 2015-10-12 2016-03-02 浙江宇视科技有限公司 运动目标跟踪恢复方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Intelligent Feature-guided Multi-Object Using Kalman Filter》;Pathan SS et al;《IEEE》;20090505;第1-6页 *
《一种基于局部极值搜索的快速运动估计算法》;夏校朋等;《光电工程》;20130923;第40卷(第9期);全文 *

Also Published As

Publication number Publication date
CN105913028A (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
CN105913028B (zh) 一种基于face++平台的人脸跟踪方法及其装置
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN107481270B (zh) 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
US8331650B2 (en) Methods, systems and apparatus for defect detection
KR100519781B1 (ko) 객체 추적 방법 및 그 장치
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
KR101926563B1 (ko) 카메라 추적을 위한 방법 및 장치
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
US20180053307A1 (en) Image Target Tracking Method and System Thereof
CN113723190A (zh) 一种面向同步移动目标的多目标跟踪方法
Li et al. Vision-aided inertial navigation for resource-constrained systems
US20190066311A1 (en) Object tracking
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
Chen et al. Real-time object tracking via CamShift-based robust framework
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
Platinsky et al. Monocular visual odometry: Sparse joint optimisation or dense alternation?
CN107368802B (zh) 基于kcf和人脑记忆机制的运动目标跟踪方法
CN107578424B (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
EP3376468A1 (en) Object detection device and object detection method
CN113379789B (zh) 一种复杂环境下运动目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant