CN106934381B - 一种人脸识别跟踪方法 - Google Patents

Abstract

本发明提供了一种人脸识别跟踪方法，提供图像采集装置获取连续的若干帧图像，包括：步骤S1，获取一帧图像作为当前帧图像，并判断是否存在所述当前帧图像的上一帧图像：若否，则转向步骤S2；若是，则将所述上一帧图像中获取的第二特征数据作为输入数据，随后转向步骤S3；步骤S2，通过JDA检测器筛选所述当前帧图像中的人脸信息，并得到第一特征数据作为输入数据，随后转向步骤S3；步骤S3，根据所述输入数据，通过SDM算法筛选所述当前帧图像中的所述人脸信息，并得到所述第二特征数据；步骤S4，计算得到所述当前帧图像的所述第二特征数据与所述上一帧图像的所述第二特征数据之间的误差，并通过所述误差判断得到用于表示人脸是否丢失的判断结果，随后返回所述步骤S1。

Description

一种人脸识别跟踪方法

技术领域

本发明涉及图像处理人脸识别技术领域，具体是涉及一种人脸识别跟踪方法。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。

随着移动式电子设备以及其他电子设备的广泛使用，各界对在移动电子设备实现人脸识别、疲劳监控等机器视觉应用有着越来越迫切的需求。但是已有的面部识别及跟踪技术非常复杂，导致内存开销较大，降低处理速度，只能在非移动式电子设备上，在移动设备上则无法得到充分的硬件支持，受设计体积等限制。而需要一种复杂度较低且精度较高的一种人脸识别跟踪方法确定图像中人脸信息的关键点。

发明内容

针对现有技术中存在的上述问题，现旨在提供一种人脸识别跟踪方法，通过JDA检测器检测人脸，减小定位和初步过滤的运算成本，将JDA检测器检测的结果通过SDM算法处理，保证人脸检测的精确。

具体技术方案如下：

一种人脸识别跟踪方法，提供图像采集装置获取连续的若干帧图像，包括：

步骤S1，获取一帧图像作为当前帧图像，并判断是否存在所述当前帧图像的上一帧图像：

若否，则转向步骤S2；

若是，则将所述上一帧图像中获取的第二特征数据作为输入数据，随后转向步骤S3；

步骤S2，通过JDA检测器筛选所述当前帧图像中的人脸信息，并得到第一特征数据作为输入数据，随后转向步骤S3；

步骤S3，根据所述输入数据，通过SDM算法筛选所述当前帧图像中的所述人脸信息，并得到所述第二特征数据；

步骤S4，计算得到所述当前帧图像的所述第二特征数据与所述上一帧图像的所述第二特征数据之间的误差，并通过所述误差判断得到用于表示人脸是否丢失的判断结果，随后返回所述步骤S1。

进一步地，所述的人脸信息包括特征点坐标和人脸朝向。

进一步地，获取所述人脸信息的步骤包括：

步骤A1，获取所述当前帧图像中的所有特征点的所述特征点坐标；

步骤A2，利用所述特征点坐标确定所述当前帧图像中的人脸的中心位置；

步骤A3，利用所述人脸的中心位置与对应的所述特征点坐标的关系获得所述人脸朝向，以获取所述人脸信息。

进一步地，预设一误差阈值；

则所述步骤S4中，将所述误差与所述误差阈值进行比较，并在所述误差大于所述误差阈值时判断所述人脸已经丢失。

进一步地，预设一误差阈值、一累加阈值以及一基准阈值；

则所述步骤S4中，根据所述误差判断所述人脸是否丢失的步骤具体包括：

步骤S41，判断所述误差是否小于所述误差阈值，并在所述误差小于所述误差阈值时将所述基准阈值加1；

步骤S42，判断所述基准阈值是否大于所述累加阈值，并在所述基准阈值大于所述累加阈值时判断所述人脸已经丢失。

进一步地，所述步骤S41中，若所述误差大于所述误差阈值时，则将所述基准阈值清零。

进一步地，所述步骤S2中，在得到所述第一特征数据后，还包括对所述第一特征数据进行处理的步骤：

步骤S21，比较所述第一特征数据中的每一特征值以得到最小值；

步骤S22，将所述最小值分别与每一所述特征值进行比较后得到相应的差值，以得到经过处理的所述第一特征数据。

进一步地，所述步骤S3中，在得到所述第二特征数据后，还包括对所述第二特征数据进行处理的步骤：

步骤S31，比较所述第二特征数据中的每一特征值以得到最小值；

步骤S32，将所述最小值分别与每一所述特征值进行比较后得到相应的差值，以得到经过处理的所述第二特征数据。

进一步地，在进行人脸识别跟踪前，预先训练形成所述JDA检测器的模型；

训练形成所述JDA检测器的模型的步骤具体包括：

步骤B1，采集得到多个训练样本图像，每个所述训练样本图像中包括对应的第一理想特征数据；

步骤B2，通过所述JDA检测器筛选所述训练样本图像以得到第一采样特征数据；

步骤B3，将所述第一采样特征数据与所述第一理想特征数据进行比对，以根据比对结果修正所述JDA检测器的模型。

进一步地，任一的左侧脸对应的所述JDA检测器的模型由右侧脸对应的所述JDA检测器的模型对称获得；或者

任一的右侧脸对应的所述JDA检测器的模型由左侧脸对应的所述JDA检测器的模型对称获得。

上述技术方案的积极效果是：

上述的人脸识别跟踪方法，通过步骤S2JDA检测器定位人脸的位置以及对应的关键点，将得到的第一人脸特征数据直接作为结果输入端SDM算法中，节约了SDM算法中的定位等步骤，通过SDM算法检测得到该图像最终的人脸信息(关键点信息)，保证了精确性的同时提高了处理效率。

附图说明

图1为本发明的一种人脸识别跟踪方法总流程图；

图2为本发明的获取所述人脸信息的步骤流程图；

图3为本发明的训练形成所述JDA检测器的模型的步骤流程图；

图4为本发明的误差判断人脸是否丢失的步骤流程图；

图5为本发明的对第一特征数据进行处理的步骤流程图；

图6为本发明的对第二特征数据进行处理的步骤流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图1至附图6对本发明提供的技术方案作具体阐述，但以下内容不作为本发明的限定。

一种人脸识别跟踪方法，提供图像采集装置获取连续的若干帧图像，包括：

在进行人脸识别跟踪前，预先训练形成所述JDA检测器的模型；训练形成所述JDA检测器的模型的步骤具体包括：步骤B1，采集得到多个训练样本图像，每个所述训练样本图像中包括对应的第一理想特征数据；步骤B2，通过所述JDA检测器筛选所述训练样本图像以得到第一采样特征数据；步骤B3，将所述第一采样特征数据与所述第一理想特征数据进行比对，以根据比对结果修正所述JDA检测器的模型。训练形成所述JDA检测器的模型的步骤，该步骤通过所述图像采集装置采集已知样本形成采样图像，已知样本对应有第一理想特征数据，通过JDA人脸识别跟踪方法检测器筛选采样图像并得到第一采样特征数据，通过比对第一理想数据与第一采样特征修正所述JDA人脸识别跟踪方法检测器的模型。包括如下三个子步骤，

训练JDA模型，使得本方法能够更快的检测出视频中的人脸位置，并且初始化被检测出来的人脸的特征点位置。准备训练数据并提取特征来训练JDA模型。

训练分类回归树，JDA模型训练分为T个阶段，每一阶段包含K棵分类回归树。对每棵树的非叶节点用一个概率p来决定使用分类节点还是回归节点，不同阶段的p乘线性关系即：p(t)＝1-0.1t,t＝1,…,T。构建分类节点,首先计算样本特征，形成两个一维特征向量，并计算特征范围，在特征范围内取N个阈值，计算每个阈值对应的误差：

error＝-fabs(wlp-wln)-fabs(wrp-wrn)

wlp为分到左边的正样本比例，wrp为分到右边的正样本比例，wln和wrn分别为分到左边、右边的负样本比例，可以获得一个弱分类器(特征+阈值)，这样进入当前节点的样本被分成两部分，特征值小于阈值部分和特征值大于阈值部分，把这两部分分别传递到当前节点的左子树根节点和右子树根节点，递归的分下去，直到不可分或者到达叶节点。

构建回归节点，利用具备真实形状的正样本来计算使偏移量方差最小的阈值作为弱分类器阈值。计算偏移量，选择一个标记点进行回归，标记点下标是决策树序号和特征点数量取余；计算该点人工标记坐标与估计坐标的差值(△x，△y)；选择阈值，计算小于阈值的正样本△x方差l_vx和△y方差l_vy，以及大于阈值的正样本△x方差r_vx，△y方差r_vy，则偏移量方差：

var＝lcount*(l_vx+l_vy)+rcount*(r_vx+r_vy)

lcount和rcount为对应二分样本数量；选择使var最小的最佳阈值。有了特征和分类阈值，可以把正负样本分为两部分，传递到左右子树继续分下去。构建叶子节点，当树的深度到达指定值时或者进入结点的样本数量小于指定值时就需要将结点构造为叶结点，叶结点的内容包含特征点偏移量和置信度增量。每个进入该叶节点的样本都要用估计形状加上偏移量。叶结点偏移量在全局回归时决定。置信度计算公式如下：

yi＝1对应的正样本，yi＝-1对应的负样本，wi＝exp(-yifi)表示各个样本对应的权重，fi是该样本对应的置信度。

置信度排序，并根据召回率计算阈值下标；过滤正、负样本，小于阈值的全部从样本中去除；通过之前的处理，负样本一般去除了很多，为了维持正负样本比例，需要扩充负样本，用已训练的决策树去检测负样本库，检测为正的负样本加入负样本集，直到达到指定比率；最后更新样本的权值，根据置信度计算权值后还要进行均衡，使得正负样本的权值和都为1。利用全局回归来计算当前级别的所有决策树的每一个叶节点的偏移量，然后分级按照之前的步骤进行训练，直到训练完JDA模型。

上述训练模型的步骤可以通过一处理器实现，通过在处理器中不断输入训练样本从而训练上述的JDA模型，训练完成后，将反映该JDA模型的数据保存或者输出，该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。

步骤S1，获取一帧图像，若被选取的该帧图像为初始的图像或上一帧图像的判断结果为丢失，则进入步骤S2；若否，则将上一帧图像中得到的第二特征数据作为输入数据带入步骤S3；判断图像是否为初始帧或者是否人脸跟踪丢失需要重检测，如果是则利用训练好的JDA模型来检测人脸并初始化关键点，并利用质心位置来判断人脸的朝向，在下文中提到。否则直接在上一帧图片的SDM算法筛选基础上利用质心位置来进行人脸朝向的判断。

上述图像获取和判断的步骤同样可以通过处理器实现，首先处理器预置有训练完成的JDA模型的数据，这样就可以通过该模型判断质心位置和人脸图像对应的数据，将该数据进行存储或输出该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。

步骤S2，通过JDA人脸识别跟踪方法检测器筛选所述图像中的人脸信息，并得到第一特征数据作为输入数据带入步骤S3；利用训练好的JDA模型来检测人脸并初始化关键点，将图像缩放到指定的几个尺度，对每一个尺度，用训练时的样本尺寸大小作为滑动窗口大小，去检测当前尺度图像上的每一个图块是否为人脸，并将人脸框的坐标映射会原始图像坐标，极大值抑制，一张人脸通常会通过很多框检测出来，需要筛选置信度最大的框。获取所述人脸信息的步骤包括：步骤A1，获取所述当前帧图像中的所有特征点的所述特征点坐标；步骤A2，利用所述特征点坐标确定所述当前帧图像中的人脸的中心位置；步骤A3，利用所述人脸的中心位置与对应的所述特征点坐标的关系获得所述人脸朝向，以获取所述人脸信息。包括如下步骤，1.计算样本标记点的最小外接矩形；2.计算外接矩形的最大边长与指定人脸边长的比例；3.根据比例来缩放人脸形状，并中心化人脸；4.统计所有通过缩放和中心化后的人脸样本的均值形状；5.计算输入人脸形状与均值形状之间的尺度变换，将输入人脸形状缩放到与均值形状同一尺度；6.计算质心坐标(cx,cy)；7.统计质心坐标的区间，以x坐标范围为例，用2个数(xl<xr)将质心坐标区间分为3块，当x<xl时判定朝向为左，xl<x<xr当时判定朝向为居中，当xr<x时判定朝向为右。

上述的步骤可以通过一处理器实现，而处理器配置有步骤S2中获取的质心位置和人脸图像对应的数据，并通过处理器内置的筛选算法进行筛选，将筛选得到的第一特征数据通过存储器进行存储或输出，将该数据进行存储或输出该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。

步骤S3，根据输入数据通过SDM算法筛选所述图像中的人脸信息，并得到第二特征数据，并进入步骤S4；在进行人脸识别跟踪前，预先训练形成所述JDA检测器的模型；根据上一步骤中得到的人脸朝向选择要使用的人脸特征点检测模型，所述训练步骤中，任一的左侧脸对应的所述JDA人脸识别跟踪方法的模型由右侧脸对应的所述JDA人脸识别跟踪方法的模型对称获得；或任一的右侧脸对应的所述JDA人脸识别跟踪方法的模型由左侧脸对应的所述JDA人脸识别跟踪方法的模型对称获得。这里根据上一帧得到的标注结果利用改进的SDM算法进行关键点的跟踪调整。显然，左右两侧人脸具有高度的对称性，因此我们只需要训练出左侧的模型，在使用时，朝向右前方的图像可利用左侧模型镜像翻转后的结果进行求解。SDM算法中采用NPD特征表示以关键点为中心的图像块。

上述的步骤可以通过一处理器实现，而处理器配置有输入数据，并通过处理器内置的SDM算法进行筛选，将筛选得到的第一特征数据通过存储器进行存储或输出，将该数据进行存储或输出该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。

步骤S4，计算该帧图像与上一帧图像的第二特征数据的误差，并通过该误差判断人脸是否丢失，得到丢失或未丢失的判断结果并进入步骤S1。

所述步骤S4可以通过以下两种方式实施，

方式一：所述步骤S4中配置有一误差阈值，若该帧图像与上一帧图像的第二特征数据的误差大于误差阈值时，则判断结果为未丢失。

方式二，步骤S4配置有一累加阈值及基准阈值，S41若该帧图像与上一帧图像的第二特征数据的误差小于误差阈值时，则基准阈值增加，S42当基准阈值大于累加阈值时，则判断结果为丢失；当基准阈值小于累加阈值时，则判断结果为未丢失。所述步骤S4中，若该帧图像与上一帧图像的第二特征数据的误差大于误差阈值时，所述基准阈值清零。判断人脸是否跟踪丢失，首先提取图像的NPD特征向量，采用逻辑回归算法，得到一个判断值，若判断值大于0.5(误差阈值)，判断人脸没有跟丢，累加阈值置为0，若值小于0.5(误差阈值)，则判断人脸可能跟踪丢失，累加阈值的值加1，接着进行下一帧图像的处理。当累加阈值的值大于基准阈值时，确定人脸跟踪丢失，触发重检测，回到步骤S4，累加阈值的值重新置为0。

上述的步骤可以通过一处理器实现，而处理器配置有步骤S3中获取的第二特征数据，并通过处理器内置的预设算法进行判断，将判断得到的结果通过存储器进行存储或输出，将该数据进行存储或输出该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。

步骤S2中，所述数据处理步骤包括S21比较第一特征数据中的每一特征值得到最小值，S22并得到最小值与每一其他特征值的差值得到处理后的第一特征数据，第一特征数据包括最小值以及最小值与每一特征值的差值。还包括数据处理步骤用于处理第二特征数据，步骤S3中，S31比较第二特征数据中的每一特征值得到最小值，S32并得到最小值与每一其他特征值的差值得到处理后的第二特征数据,第二特征数据包括了最小值与每一其他特征值的差值。为进一步减小人脸特征点检测模型的体积，本发明将训练好的模型做以下数据压缩处理。计算参数矩阵中数据的最大值、最小值以及它们之间的差值，将差值等分为256份，用相应的8bit二进制代码表示，根据每个数据与最小值的差，将数据映射为这256个二进制代码。在模型存储时，只用存储数据的最大值、最小值以及用8bit二进制代码表示的偏差矩阵即可，大大简化数据量。

上述方法可以直接通过硬件实现，例如通过处理芯片进行运算，将结果保存到存储器或输出到显示页面，以便后续设备和元件调用，也可以配置于智能终端从而起到人脸识别的效果。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (5)

1.一种人脸识别跟踪方法，提供图像采集装置获取连续的若干帧图像，其特征在于，包括：

在进行人脸识别跟踪前，预先训练形成JDA检测器的模型：采集得到多个训练样本图像，每个所述训练样本图像中包括对应的第一理想特征数据；通过所述JDA检测器筛选所述训练样本图像以得到第一采样特征数据；通过比对所述第一采样特征数据与所述第一理想特征数据以修正所述JDA检测器的模型；其具体包括如下子步骤：

子步骤1，训练JDA检测器的模型：准备训练数据并提取特征来训练JDA检测器的模型；

子步骤2，训练分类回归树：JDA检测器的模型训练分为T个阶段，每一阶段包含K棵分类回归树，对每棵树的非叶节点用一个概率p来决定使用分类节点还是回归节点；

构建分类节点：首先计算样本特征，形成两个一维特征向量，并计算特征范围，在特征范围内取N个阈值，计算每个阈值对应的误差；获得一个弱分类器；进入当前节点的样本被分成两部分，即样本特征值小于阈值部分和样本特征值大于阈值部分，把这两部分分别传递到当前节点的左子树根节点和右子树根节点，递归的分下去，直到不可分或者到达叶节点；

构建回归节点：利用具备真实形状的正样本来计算使偏移量方差最小的阈值作为弱分类器阈值；构建叶子节点，当树的深度到达指定深度阈值时或者进入结点的样本数量小于指定样本数量阈值时将结点构造为叶子节点，叶子节点的内容包含特征点偏移量和置信度增量；

子步骤3：置信度排序，并根据召回率计算置信度阈值；过滤正负样本，小于置信度阈值的全部从样本中去除；为了维持正负样本比例，需要扩充负样本，则用已训练的决策树去检测负样本库，检测为正的负样本加入负样本集，直到达到指定比率；最后更新样本的权值，根据置信度计算权值后还要进行均衡，使得正负样本的权值和都为1；利用全局回归来计算当前级别的所有决策树的每一个叶子节点的偏移量，然后分级按照之前的步骤进行训练，直到训练完JDA检测器的模型；

步骤S1，获取一帧图像作为当前帧图像，若被选取的该帧图像为初始图像或上一帧图像的判断结果为丢失，则转向步骤S2；否则将所述上一帧图像中获取的第二特征数据作为输入数据，随后转向步骤S3；

步骤S2，通过JDA检测器筛选所述当前帧图像中的人脸信息，训练好的JDA检测器的模型来检测人脸并初始化关键点，利用质心位置来判断人脸的朝向，并得到第一特征数据作为输入数据，随后转向步骤S3；所述的人脸信息包括特征点坐标和人脸朝向；

步骤S3，根据所述输入数据，通过SDM算法筛选所述当前帧图像中的所述人脸信息，直接在上一帧图片的SDM算法筛选基础上，利用质心位置来进行人脸朝向的判断，并得到所述第二特征数据；

步骤S4，预设一误差阈值、一累加阈值以及一基准阈值；提取图像的NPD特征向量，采用逻辑回归算法，计算得到所述当前帧图像的所述第二特征数据与所述上一帧图像的所述第二特征数据之间的判断值，并通过所述判断值判断得到用于表示人脸是否丢失的判断结果，随后返回所述步骤S1；

根据所述判断值判断所述人脸是否丢失的步骤具体包括：

步骤S41，判断所述判断值是否小于所述误差阈值，并在所述判断值小于所述误差阈值时将所述基准阈值加1；若所述判断值大于所述误差阈值时，则将所述基准阈值清零，并判断所述人脸未丢失；

步骤S42，判断所述基准阈值是否大于所述累加阈值，并在所述基准阈值大于所述累加阈值时判断所述人脸已经丢失。

2.根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，获取所述人脸信息的步骤包括：

步骤A1，获取所述当前帧图像中的所有特征点的所述特征点坐标；

步骤A2，利用所述特征点坐标确定所述当前帧图像中的人脸的质心位置；

步骤A3，利用所述人脸的质心位置与对应的所述特征点坐标的关系获得所述人脸朝向，以获取所述人脸信息。

3.根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，所述步骤S2中，在得到所述第一特征数据后，还包括对所述第一特征数据进行处理的步骤：

步骤S21，比较所述第一特征数据中的每一特征值以得到最小值；

步骤S22，将所述最小值分别与每一所述特征值进行比较后得到相应的差值，以得到经过处理的所述第一特征数据。

4.根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，所述步骤S3中，在得到所述第二特征数据后，还包括对所述第二特征数据进行处理的步骤：

步骤S31，比较所述第二特征数据中的每一特征值以得到最小值；

步骤S32，将所述最小值分别与每一所述特征值进行比较后得到相应的差值，以得到经过处理的所述第二特征数据。

5.根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，任一的左侧脸对应的所述JDA检测器的模型由右侧脸对应的所述JDA检测器的模型对称获得；或者

任一的右侧脸对应的所述JDA检测器的模型由左侧脸对应的所述JDA检测器的模型对称获得。

Images