CN106295549A - 多角度人脸数据采集方法和装置 - Google Patents

Abstract

本发明公开了一种多角度人脸数据采集方法，所述多角度人脸数据采集方法包括以下步骤：通过识别人脸进入采集区，提示用户保持平视；识别平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1，保存当前姿态下的人脸数据；识别除平视姿态下的人脸图像，确定特征比例值L2，比较特征比例值L2与特征比例值L1的关系，根据L2与L1的关系判断人脸姿态，保存人脸姿态角度处于预设区间的人脸数据；判断所存储的各角度下的人脸数据是否覆盖全部预设角度区间，若是，则结束本次操作。本发明还公开了一种多角度人脸数据采集装置。本发明简化多角度人脸数据采集的流程，提高多角度人脸数据采集的完整性和精确性。

Description

多角度人脸数据采集方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种多角度人脸数据采集方法和装置。

背景技术

人脸识别技术是通过分析脸部器官的位移形状和位置关系来进行身份鉴别的，是一种重要的生物识别技术。现有的人脸识别技术主要依靠脸部特征的提取，而脸部特征的提取与人脸处于不同姿态下的状态有很大的关系，姿态的变化可引起的脸部图像缩放比例的不同，导致同一个人不同姿态下的脸部图像发生变化。人脸姿态的复杂变化能提供非常丰富的人脸三维信息，这使得人脸姿态的确定在人脸应用中成为一个关键环节和重要研究内容之一。目前的人脸姿态估计方法主要有几何模型法、非线性回归法和特征空间描述法等几大类。但是，几何模型法使用几何结构来描述人脸，建立模型与人脸的对应关系，这类方法的缺点是精确度不高；非线性回归法通过机器学习，建立一个从三维到二维的非线性映射函数来估计人脸姿态，这种方法受人脸定位误差和图像质量变化的影响很大；特征空间描述法假定在某些特征空间上，人脸姿态与某些特定的特征信息有对应关系，并可以通过训练来找到该对应关系，该算法的准确度与训练样本，以及用于描述人脸的特征空间有关，得到的实验结果不稳定。

发明内容

本发明的主要目的在于提供一种多角度人脸数据采集方法和装置，旨在简化多角度人脸数据采集的流程，提高多角度人脸数据采集的完整性和精确性。

为实现上述目的，本发明提供的一种多角度人脸数据采集方法包括以下步骤：

识别人脸进入采集区，提示用户保持平视；

根据平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1，保存当前姿态下的人脸数据；

识别除平视姿态下的人脸图像，确定特征比例值L2，比较特征比例值L2与特征比例值L1的关系，若L2不等于L1，则计算出该姿态下的人脸角度，检测计算出的人脸角度是否在预设角度区间，若是，则保存人脸处于预设角度区间内的各姿态下的人脸数据；

判断所存储的各角度下人脸数据是否覆盖全部预设角度区间，若是，则结束本次操作。

优选地，所述识别人脸进入采集区的步骤包括：

划定人脸采集区；

根据所划定的人脸采集区，检测人脸是否完全进入采集区；

若识别到人脸完全进入采集区，提示人脸保持静止。

优选地，所述识别平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1步骤包括：

将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人脸特征点确定特征三角形；

计算特征三角形的左眼中心与右眼中心的距离与鼻尖到左眼中心和右眼中心的中点的距离的特征比例值L1；

优选地，将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人脸特征点确定特征三角形的步骤包括：

通过ViBe快速背景提取技术，将视场中运动的人脸前景区域和静止的背景区域分割出来；

获取人脸前景区域，采用类Haar人脸检测算法算出人脸区域；

获取人脸区域，继续采用类Haar特征检测算法精确定位人脸区域中左眼、右眼和鼻子所在区域；计算左眼、右眼和鼻子区域中心，得到左眼中心、右眼中心和鼻子中心作为人脸特征点。

优选地，所述若L2不等于L1，则计算出该姿态下的人脸角度的步骤包括：

判断特征比例值L2与特征比例值L1的关系，若特征比例值L2大于特征比例值L1，则该角度为滚转角；若特征比例值L2小于特征比例值L1，则该角度为俯仰角；

根据公式β1＝arccos((L1/L2))计算出所述滚转角的大小；根据公式β2＝arccos((L2/L1))计算出所述俯仰角大小。

此外，为实现上述目的，本发明还提供一种多角度人脸数据采集装置，所述多角度人脸数据采集装置包括：

识别模块，用于识别人脸进入采集区，提示用户保持平视；

提取模块，用于根据人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值，保存当前姿态下的人脸数据；

比较模块，用于识别除平视姿态下的人脸图像，确定特征比例值L2，比较特征比例值L2与特征比例值L1的关系，若L2不等于L1，则计算出该姿态下的人脸角度，检测计算出的人脸角度是否在预设角度区间，若是，则保存人脸处于预设角度区间内的各姿态下的人脸数据；

判断模块，用于判断所存储的各角度下人脸数据是否覆盖全部预设角度区间，若是，则结束本次操作。

优选地，所述采集模块包括：

采集单元，用于划定人脸采集区；

检测单元，用于根据所划定的人脸采集区，检测人脸是否完全进入采集区；

提示单元，若识别到人脸完全进入采集区，提示人脸保持静止。

优选地，所述提取模块包括：

分析单元：用于将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人脸特征点确定特征三角形；

第一计算单元：用于计算特征三角形的左眼中心与右眼中心的距离与鼻尖到左眼中心和右眼中心的中点的距离的特征比例值L1，

优选地，所述分析单元用于通过ViBe快速背景提取技术，将视场中运动的人脸前景区域和静止的背景区域分割出来；获取人脸前景区域，采用类Haar人脸检测算法算出人脸区域；获取人脸区域，继续采用类Haar特征检测算法精确定位人脸区域中左眼、右眼和鼻子所在区域；计算左眼、右眼和鼻子区域中心，得到左眼中心、右眼中心和鼻子中心作为人脸特征点。

优选地，所述比较模块包括：

判断单元：用于判断特征比例值L2与特征比例值L1的关系，若特征比例值L2大于特征比例值L1，则该角度为滚转角；若特征比例值L2小于特征比例值L1，则该角度为俯仰角；

第二计算单元，根据公式β＝arccos((L1/L2))计算出所述滚转角的大小；根据公式β＝arccos((L2/L1))计算出所述俯仰角大小。

本发明实施例通过识别人脸进入采集区，提示用户保持平视；识别平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1，保存当前姿态下的人脸数据；识别除平视姿态下的人脸图像，确定特征比例值L2，比较特征比例值L2与特征比例值L1的关系，若L2不等于L1，则计算出该姿态下的人脸角度，检测计算出的人脸角度是否在预设角度区间，若是，则保存人脸处于预设角度区间内的各姿态下的人脸数据；判断所存储的各角度下人脸数据是否覆盖全部预设角度区间，若是，则结束本次操作。根据用户头部的不同动作，采用特征比例值法识别出用户处于不同角度下的人脸姿态，简化多角度人脸数据采集的流程，提高多角度人脸数据采集的完整性和精确性。

附图说明

图1为本发明多角度人脸数据采集方法第一实施例的流程示意图；

图2为本发明多角度人脸数据采集方法第二实施例的流程示意图；

图3为本发明多角度人脸数据采集方法第三实施例的流程示意图；

图4为本发明多角度人脸数据采集方法第四实施例的流程示意图；

图5为本发明多角度人脸数据采集装置第一实施例的功能模块示意图；

图6为本发明多角度人脸数据采集装置第二实施例中识别模块的细化功能模块示意图；

图7为本发明多角度人脸数据采集装置第三实施例中提取模块的细化功能模块示意图；

图8为本发明多角度人脸数据采集装置第四实施例中比较模块的细化功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种多角度人脸数据采集方法，参照图1，在一实施例中，该多角度人脸数据智能实时采集方法包括：

步骤S10，识别人脸进入采集区，提示用户保持平视；

步骤S20，识别平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1，保存当前姿态下的人脸数据；

步骤S30，识别除平视姿态下的人脸图像，确定特征比例值L2，比较特征比例值L2与特征比例值L1的关系，若L2不等于L1，则计算出该姿态下的人脸角度，检测计算出的人脸角度是否在预设角度区间，若是，则保存人脸处于预设角度区间内的各姿态下的人脸数据；

步骤S40，判断所存储的各角度下人脸数据是否覆盖全部预设角度区间，若是，则结束本次操作。

本发明实施例提供的多角度人脸数据采集方法主要可应用在人脸识别数据录入、人脸检测样本采集、人脸数据全方位采集等领域，具备广阔的应用前景和推广价值。具体地，在一实施例中，可以通过相机采集用户的人脸图像，相机通过千兆网将采集到的图像传送给终端。需要说明的是，本实施例中的终端可以是微机、手机等移动设备。

终端识别到人脸图像进入采集区，提示用户保持平视，开启检测模式。需要说明的是，在进行人脸姿态检测时，终端发出提示指令，提示用户保持平视状态，并且这里所述的提示指令可以通过语音提示也可以通过弹窗消息提示；若检测到用户不是处于平视状态，终端还可以发出警报等，提示用户矫正姿态，直到用户调整为平视状态为止。

终端获取用户保持平视状态下的人脸特征点，可以理解的是，所确定的特征点能围设成一个特征图形，根据所确定的特征点确定特征比例值L1，根据相应的算法得出特征比例值L1的大小，保存此特征比例值L1的数值，方便后续的比较。以平视状态下的特征比例值L1作为基准，判断用户人脸的姿态。例如，当用户进行摇头或者点头动作时，获取用户在摇头动作下的人脸特征点，并计算出该状态下的特征比例值L2，比较特征比例值L2与平视状态下的特征比例值L1的关系，若得到L2等于L1，则表示该状态也为平视状态，则无需再对数据进行重复保存；若得到L2不等于L1，则表示该状态下人脸发生了一定角度的偏转，进一步地采用算法计算出该偏转的角度，并判断该角度是否处在系统预设的角度区间内，若是，则将该角度下的人脸姿态数据保存下来。可以理解的是，此处所述的保存人脸数据可以是人脸图像、人脸姿态信息、脸部特征信息等。可以理解的是，当用户采集完平视状态下的人脸数据信息后，系统可发出采集完成的提示，并进一步提示用户进行其他角度的采集，如提示用户进行摇头或者点头动作等。

本实施例中，终端的软件系统预先设置了多个离散的角度区间，所预先设置的角度区间对应了各个人脸姿态的角度，当用户进行头部动作时，检测各个动作的人脸的角度，并检测预设的多个离散角度是否都有相应的人脸的角度落入，当各个角度区间都有人脸数据落入后，提示用户摇头数据采集完毕。

进一步地，参照图2，基于本发明多角度人脸数据采集方法第一实施例，在本发明多角度人脸数据采集方法第二实施例中，上述步骤S10包括：

步骤S11，划定人脸采集区；

在软件图像显示区的中部划定一个人脸采集区，该区域形状为矩形，大小可根据采集实际需求划定，以人脸横纵向尺寸的1.6倍大小为宜；并引导用户进入人脸采集区；可以理解的是，此处所说的引导用户进入人脸采集区中的引导可以采用语音提示或者文字弹窗提示的方式进行。

步骤S12，根据所划定的人脸采集区，检测人脸是否完全进入采集区；

终端检测人脸是否完全进去采集区，若人脸为完全进入采集区，发出控制指令，提示用户矫正脸部姿态，使脸部完全进入采集区。

步骤S13，获取检测结果，提示人脸保持静止。

当获取到用户的脸部已经完全进入采集区后，终端提示用户保持静止。这里所述的提示用户可以理解为采用语音提示或者是弹窗消息提示。

进一步地，参照图3，基于本发明多角度人脸数据采集方法第二实施例，在本发明多角度人脸数据采集方法第三实施例中，上述步骤S20包括：

步骤S21，将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人脸特征点确定特征三角形；

本实施例中将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人脸特征点确定特征三角形还包括以下步骤：

通过ViBe快速背景提取技术，将视场中运动的人脸前景区域和静止的背景区域分割出来；

ViBe由三大模块组成：背景建模、像素分类和模型更新。

背景建模：

若以I_t(x,y)表示时刻t像素(x,y)的强度值，则该像素的背景模型可用从时间域或者空间域随机选取的n个样本的集合来表示，{I₀(x,y),I₁(x,y),…,I_n-1(x,y)}。

像素分类：

若以I(x,y)表示当前待分类像素(x,y)的强度值，S_R(I(x,y))表示以(x,y)为圆心以R为半径的球体，如果该球体与背景样本模型{I⁰(x,y),I¹(x,y),…,I^n-1(x,y)}交集的数量大于事先设定阈值T_ViBe，则判定该像素(x,y)为背景；否则，判定其为前景。背景判定准则可以表达为

在使用过程中，R和T_ViBe推荐取值分别为20和3。

模型更新：

若像素(x,y)被判定为背景，则需要利用其强度值I(x,y)对背景样本模型进行更新，具体为：

从背景样本模型{I⁰(x,y),I¹(x,y),…,I^n-1(x,y)}中随机选取一个样本I^r(x,y)(r为[0,(n-1)]之间的一个整数型随机数)，将其从背景样本模型中剔出，并将空出的位置用I(x,y)补齐；

若以N_R'(x,y)表示以(x,y)为中心以R'为半径的方形区域，为了保证空间连贯性，类似地，在N_R'(x,y)中随机选取一个像素(x+r_x,y+r_y)(r_x,r_y为区间[-R',R']之间的整数型随机数)；

获取人脸前景区域，采用类Haar人脸检测算法算出人脸区域；

Haar函数系由荷兰数学家Haar提出，该函数系是一组用矩形波表示的完备正交函数系，Haar函数系定义：

$\left\{\begin{array}{c}\begin{array}{cc}h(0,t)=1,& 0\&le;t<1\end{array}\\ h(1,t)=\left\{\begin{array}{cc}1,& 0\&le;t<1/2\\ -1,& 1/2\&le;t<1\end{array}\right.\\ \begin{array}{cc}h(2^k+j,t)=2^{k/2}h(1,2^{k}t-j),& k=1,2,\mathrm{...};j=0,1,\mathrm{...},2^k-1\end{array}\end{array}\right.$

Haar函数系的前两个函数为全局函数，而其它函数均为局部函数，这种全局/局部结构对于图像边缘检测、轮廓提取以及图像编码等方面非常有利。

一维Haar变换形式为：

z(x)＝H·v(x)

其中，z(x)为一维矢量v(x)的Haar变换，H为Haar变换矩阵。

将一维Haar变换推广到二维，则有如下变换形式：

$F(u,v)=\frac{1}{N}H\&CenterDot;f(x,y)\&CenterDot;H^T$

其中f(x,y)为图像像素，H为Haar变换矩阵。

采用类Haar函数可以从人脸前景区域中精确的算出人脸的轮廓区域，对人脸进行精确定位。

获取人脸区域，继续采用类Haar特征检测算法精确定位人脸区域中左眼、右眼和鼻子所在区域；计算左眼、右眼和鼻子区域中心，得到左眼中心、右眼中心和鼻子中心作为人脸特征点。

很多人脸相关应用都要求提供多角度人脸图像数据，为此，传统人脸采集方法多依赖于人工干预，无法实现自动化和智能化。人脸角度解算是实现自动多角度人脸采集的关键环节，本实施例基于人脸平面的对称性，利用人脸图像中的三个特征点：左眼中心、右眼中心和鼻尖即可实现人脸姿态的高精度解算。

需要说明的是，本实施例中算法检测模型依次为左眼、右眼和鼻子，其中左/右眼模型包含了裸眼和戴眼镜的眼睛，依次检测左眼、右眼和鼻子所在区域；根据检测到的左眼、右眼和鼻子所在区域，进一步采用类Haar特征检测算法精确计算出左眼、右眼和鼻子区域中心，将左眼中心、右眼中心和鼻子中心定为人脸特征点。需要说明的，此处的人脸特征点还可以为人脸的其他部位，比如嘴巴的嘴角和脸颊颧骨的最高点等，可以根据需要进行相应的设定。

人脸特征三角形的确立：

把人脸近似地看作是对称的，定义人脸特征三角形ΔABC的三个顶点A、B、C分别为左眼中心点、右眼中心点和鼻尖点，根据人脸的对称性，不难得知：当人脸在平视状态下，ΔABC为等腰三角形；当左右摇头或者上下点头时，特征三角形形状随之发生变化。本实施例就是基于该特征三角形的形变来反演人脸角度值。

步骤S22，计算特征三角形的左眼中心与右眼中心的距离与鼻尖到左眼中心和右眼中心的中点的距离的特征比例值L1；

基于上述特征三角形的人脸角度确立，计算特征三角形的左眼中心与右眼中心的距离与鼻尖到左眼中心和右眼中心的中点的距离的特征比例值L1：

为了论述方便定义人脸摇头角度为滚转角，点头角度为俯仰角，扭头角度为偏航角，其中偏航角度可近似等效为一个面内旋转，不涉及三维效应，无法带来额外信息量，故不予考虑，仅考虑滚转角和俯仰角。

定义ΔABC顶点C到AB边的距离为L，则距离d_l可根据点到直线间的距离公式计算为：

$\left\{\begin{array}{c}{d}_l=\frac{|{\mathrm{Ax}}_C+{\mathrm{By}}_C+C|}{\sqrt{A^2+B^2}}\\ A=\frac{y_A-y_B}{x_A-x_B}\\ B=-1\\ C=\frac{x_A{y}_B-x_B{y}_A}{x_A-x_B}\end{array}\right.$

其中：(x_A,y_A)、(x_B,y_B)、(x_C,y_C)分别表示ΔABC顶点A、B、C的图像坐标。A到B的距离d₀可计算为：

$d_0=\sqrt{(x_A-x_B)*(x_A-x_B)+(y_A-y_B)*(y_A-y_B)}$

基于特征三角形的人脸姿态确定具体算法如下：

首先记录人脸平视状态下，根据获取到的人脸特征点计算特征三角形的特征比例值L1，即特征三角形边AB长度(两眼中心距离)和鼻尖到两眼中心连线的距离的比例，即

可以理解的是，特征比例值L2的计算方法和公式与特征比例值L1的计算方式相同。对于待确定角度的人脸，重复特征点取点操作，确立特征三角形，计算特征比例值L2，即两眼球中点的距离和鼻尖到两眼中心连线的距离即

进一步地，参照图4，基于本发明多角度人脸数据采集方法第三实施例，在本发明多角度人脸数据采集方法第四实施例中，上述步骤S30还包括：

步骤S31，判断特征比例值L2与特征比例值L1的关系，若特征比例值L2大于特征比例值L1，则该角度为滚转角；若特征比例值L2小于特征比例值L1，则该角度为俯仰角；

步骤S32，根据公式β1＝arccos((L1/L2))计算出所述滚转角的大小；根据公式β2＝arccos((L2/L1))计算出所述俯仰角大小。

采集完用户平视姿态下的人脸数据后，终端继续提示用户进行头部动作，需要说明的是，此处主要以摇头和点头作为主要的头部动作，获取头部动作时的人脸图像。

基于特征三角形的人脸姿态确定具体算法如下：

首先记录人脸平视状态下，获取特征点，确定特征三角形，计算特征三角形的特征比例值L1，即特征三角形边AB长度(两眼中心距离)和鼻尖到两眼中心连线的距离的比例，即

对于待确定角度的人脸，重复特征点取点操作，确立特征三角形，计算特征比例值L2，即两眼球中点的距离和鼻尖到两眼中心连线的距离即

根据上述计算出的特征比例值L2与特征比例值L1，判断比例关系是否成立。如果：

成立，即特征比例值L2等于特征比例值L1，则为平视状态下的人脸姿态，俯仰角和滚转角均为零。

成立，表明特征比例值L2大于特征预设值L1，则说明人脸发生了滚转(摇头)，可根据投影的知识求得转角为：

$\mathrm{\&beta;}1=arccos(L1/L2)=arccos\left(\right(d_0^0/d_l^0)/(d_0^1/d_l^1\left)\right)$

当A、B、C坐标值相比平视状态下变大，β1取值为正，否则，为负。

若成立，表明特征比例值L2小于特征比例值L1，则说明人脸发生了俯仰(点头)，可根据投影的知识求得转角为：

$\mathrm{\&beta;}2=arccos(L2/L1)=arccos\left(\right(d_0^1/d_l^1)/(d_0^0/d_l^0\left)\right)$

当A、B、C坐标值相比平视状态下变大，β2取值为正，否则，为负。

本发明还提供一种多角度人脸数据采集装置，参照图5，在一实施例中，本发明提供的多角度人脸数据采集装置包括：

识别模块10，用于识别人脸进入采集区，提示用户保持平视；

提取模块20，用于识别平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1，保存当前姿态下的人脸数据；

比较模块30，用于识别除平视姿态下的的人脸图像，确定特征比例值L2，比较特征比例值L2与特征比例值L1的关系，若L2不等于L1，则计算出该姿态下的人脸角度，检测计算出的人脸角度是否在预设角度区间，若是，则保存人脸处于预设角度区间内的各姿态下的人脸数据；

判断模块40，用于判断所存储的各角度下人脸数据是否覆盖全部预设角度区间，若是，则结束本次操作。

本发明实施例提供的多角度人脸数据采集方法主要可应用在人脸识别数据录入、人脸检测样本采集、人脸数据全方位采集等领域，具备广阔的应用前景和推广价值。具体地，在一实施例中，可以通过相机采集用户的人脸图像，相机通过千兆网将采集到的图像传送给终端。需要说明的是，本实施例中的终端可以是微机、手机等移动设备。

终端获取到人脸图像进入采集区，提示用户保持平视，开启检测模式。需要说明的是，在进行人脸姿态检测时，终端发出提示指令，提示用户保持平视状态，并且这里所述的提示指令可以通过语音提示也可以通过弹窗消息提示；若检测到用户不是处于平视状态，终端还可以发出警报等，提示用户矫正姿态，直到用户调整为平视状态为止。

终端获取用户保持平视状态下的人脸特征点，可以理解的是，所确定的特征点能围设成一个特征图形，根据所确定的特征点确定特征比例值L1，根据相应的算法得出特征比例值L1的大小，保存此特征比例值L1的数值，方便后续的比较。以平视状态下的特征比例值L1作为基准，判断用户人脸的姿态。例如，当用户进行摇头或者点头动作时，获取用户在摇头动作下的人脸特征点，并计算出该状态下的特征比例值L2，比较特征比例值L2与平视状态下的特征比例值L1的关系，若得到L2等于L1，则表示该状态也为平视状态，则无需再对数据进行重复保存；若得到L2不等于L1，则表示该状态下人脸发生了一定角度的偏转，进一步地采用算法计算出该偏转的角度，并判断该角度是否处在系统预设的角度区间内，若是，则将该角度下的人脸姿态数据保存下来。可以理解的是，此处所述的保存人脸数据可以是人脸图像、人脸姿态信息、脸部特征信息等。可以理解的是，当用户采集完平视状态下的人脸数据信息后，系统可发出采集完成的提示，并进一步提示用户进行其他角度的采集，如提示用户进行摇头或者点头动作等。

本实施例中，终端的软件系统预先设置了多个离散的角度区间，所预先设置的角度区间对应了各个人脸姿态的角度，当用户进行头部动作时，检测各个动作的人脸的角度，并检测预设的多个离散角度是否都有相应的人脸的角度落入，当各个角度区间都有人脸数据落入后，提示用户摇头数据采集完毕。

进一步地，参照图6，基于本发明多角度人脸数据采集装置第一实施例，在本发明多角度人脸数据采集装置第二实施例中，上述识别模块10包括：

采集单元11，用于划定人脸采集区；

在软件图像显示区的中部划定一个人脸采集区，该区域形状为矩形，大小可根据采集实际需求划定，以人脸横纵向尺寸的1.6倍大小为宜；并引导用户进入人脸采集区；可以理解的是，此处所说的引导用户进入人脸采集区中的引导可以采用语音提示或者文字弹窗提示的方式进行。

检测单元12，用于根据所划定的人脸采集区，检测人脸是否完全进入采集区；

终端检测人脸是否完全进去采集区，若人脸为完全进入采集区，发出控制指令，提示用户矫正脸部姿态，使脸部完全进入采集区。

提示单元13，若识别人脸完全进入采集区，提示人脸保持静止。

当获取到用户的脸部已经完全进入采集区后，终端提示用户保持静止。这里所述的提示用户可以理解为采用语音提示或者是弹窗消息提示。

进一步地，参照图7，基于本发明多角度人脸数据采集装置第二实施例，在本发明多角度人脸数据采集装置第三实施例中，上述提取模块20包括：

分析单元21：用于将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人脸特征点确定特征三角形；

具体地，分析单元21用于通过ViBe快速背景提取技术，将视场中运动的人脸前景区域和静止的背景区域分割出来；

ViBe由三大模块组成：背景建模、像素分类和模型更新。

背景建模：

若以I_t(x,y)表示时刻t像素(x,y)的强度值，则该像素的背景模型可用从时间域或者空间域随机选取的n个样本的集合来表示，{I₀(x,y),I₁(x,y),…,I_n-1(x,y)}。

像素分类：

若以I(x,y)表示当前待分类像素(x,y)的强度值，S_R(I(x,y))表示以(x,y)为圆心以R为半径的球体，如果该球体与背景样本模型{I⁰(x,y),I¹(x,y),…,I^n-1(x,y)}交集的数量大于事先设定阈值T_ViBe，则判定该像素(x,y)为背景；否则，判定其为前景。背景判定准则可以表达为

在使用过程中，R和T_ViBe推荐取值分别为20和3。

模型更新：

若像素(x,y)被判定为背景，则需要利用其强度值I(x,y)对背景样本模型进行更新，具体为：

从背景样本模型{I⁰(x,y),I¹(x,y),…,I^n-1(x,y)}中随机选取一个样本I^r(x,y)(r为[0,(n-1)]之间的一个整数型随机数)，将其从背景样本模型中剔出，并将空出的位置用I(x,y)补齐；

若以N_R'(x,y)表示以(x,y)为中心以R'为半径的方形区域，为了保证空间连贯性，类似地，在N_R'(x,y)中随机选取一个像素(x+r_x,y+r_y)(r_x,r_y为区间[-R',R']之间的整数型随机数)；

本实施例中的分析单元21获取人脸前景区域，采用类Haar人脸检测算法算出人脸区域；

Haar函数系由荷兰数学家Haar提出，该函数系是一组用矩形波表示的完备正交函数系，Haar函数系定义：

$\left\{\begin{array}{c}\begin{array}{cc}h(0,t)=1,& 0\&le;t<1\end{array}\\ h(1,t)=\left\{\begin{array}{cc}1,& 0\&le;t<1/2\\ -1,& 1/2\&le;t<1\end{array}\right.\\ \begin{array}{cc}h(2^k+j,t)=2^{k/2}h(1,2^{k}t-j),& k=1,2,\mathrm{...};j=0,1,\mathrm{...},2^k-1\end{array}\end{array}\right.$

Haar函数系的前两个函数为全局函数，而其它函数均为局部函数，这种全局/局部结构对于图像边缘检测、轮廓提取以及图像编码等方面非常有利。

一维Haar变换形式为：

z(x)＝H·v(x)

其中，z(x)为一维矢量v(x)的Haar变换，H为Haar变换矩阵。

将一维Haar变换推广到二维，则有如下变换形式：

$F(u,v)=\frac{1}{N}H\&CenterDot;f(x,y)\&CenterDot;H^T$

其中f(x,y)为图像像素，H为Haar变换矩阵。

采用类Haar函数可以从人脸前景区域中精确的算出人脸的轮廓区域，对人脸进行精确定位。

本实施例中的分析单元21还用于获取人脸区域，继续采用类Haar特征检测算法精确定位人脸区域中左眼、右眼和鼻子所在区域；并计算左眼、右眼和鼻子区域中心，得到左眼中心、右眼中心和鼻子中心作为人脸特征点。

很多人脸相关应用都要求提供多角度人脸图像数据，为此，传统人脸采集方法多依赖于人工干预，无法实现自动化和智能化。人脸角度解算是实现自动多角度人脸采集的关键环节，本实施例基于人脸平面的对称性，利用人脸图像中的三个特征点：左眼中心、右眼中心和鼻尖即可实现人脸姿态的高精度解算。

需要说明的是，本实施例中算法检测模型依次为左眼、右眼和鼻子，其中左/右眼模型包含了裸眼和戴眼镜的眼睛，依次检测左眼、右眼和鼻子所在区域；根据检测到的左眼、右眼和鼻子所在区域，进一步采用类Haar特征检测算法精确计算出左眼、右眼和鼻子区域中心，将左眼中心、右眼中心和鼻子中心定为人脸特征点。需要说明的，此处的人脸特征点还可以为人脸的其他部位，比如嘴巴的嘴角和脸颊颧骨的最高点等，可以根据需要进行相应的设定。

人脸特征三角形的确立：

把人脸近似地看作是对称的，定义人脸特征三角形ΔABC的三个顶点A、B、C分别为左眼中心点、右眼中心点和鼻尖点，根据人脸的对称性，不难得知：当人脸在平视状态下，ΔABC为等腰三角形；当左右摇头或者上下点头时，特征三角形形状随之发生变化。本实施例就是基于该特征三角形的形变来反演人脸角度值。

第一计算单元22：用于计算特征三角形的左眼中心与右眼中心的距离与鼻尖到左眼中心和右眼中心的中点的距离的特征比例值L1；

基于上述特征三角形的人脸角度确立，计算特征三角形的左眼中心与右眼中心的距离与鼻尖到左眼中心和右眼中心的中点的距离的特征比例值L1：

为了论述方便定义人脸摇头角度为滚转角，点头角度为俯仰角，扭头角度为偏航角，其中偏航角度可近似等效为一个面内旋转，不涉及三维效应，无法带来额外信息量，故不予考虑，仅考虑滚转角和俯仰角。

定义ΔABC顶点C到AB边的距离为L，则距离d_l可根据点到直线间的距离公式计算为：

$\left\{\begin{array}{c}{d}_l=\frac{|{\mathrm{Ax}}_C+{\mathrm{By}}_C+C|}{\sqrt{A^2+B^2}}\\ A=\frac{y_A-y_B}{x_A-x_B}\\ B=-1\\ C=\frac{x_A{y}_B-x_B{y}_A}{x_A-x_B}\end{array}\right.$

其中：(x_A,y_A)、(x_B,y_B)、(x_C,y_C)分别表示ΔABC顶点A、B、C的图像坐标。A到B的距离d₀可计算为：

$d_0=\sqrt{(x_A-x_B)*(x_A-x_B)+(y_A-y_B)*(y_A-y_B)}$

基于特征三角形的人脸姿态确定具体算法如下：

首先记录人脸平视状态下，根据获取到的人脸特征点计算特征三角形的特征比例值L1，即特征三角形边AB长度(两眼中心距离)和鼻尖到两眼中心连线的距离的比例，即

可以理解的是，特征比例值L2的计算方法和公式与特征比例值L1的计算方式相同。对于待确定角度的人脸，重复特征点取点操作，确立特征三角形，计算特征比例值L2，即两眼球中点的距离和鼻尖到两眼中心连线的距离即

进一步地，参照图8，基于本发明多角度人脸数据采集步骤第三实施例，在本发明多角度人脸数据采集步骤第四实施例中，上述比较模块30还包括：

判断单元31，判断特征比例值L2与特征比例值L1的关系，若特征比例值L2大于特征比例值L1，则该角度为滚转角；若特征比例值L2小于特征比例值L1，则该角度为俯仰角；

第二计算单元32，根据公式β1＝arccos((L1/L2))计算出所述滚转角的大小；根据公式β2＝arccos((L2/L1))计算出所述俯仰角大小。

采集完用户平视姿态下的人脸姿态数据后，终端继续提示用户进行头部动作，需要说明的是，此处主要以摇头和点头作为主要的头部动作，获取头部动作时的人脸图像。

基于特征三角形的人脸姿态确定具体算法如下：

首先记录人脸平视状态下，获取特征点，确定特征三角形，计算特征三角形的特征比例值L1，即特征三角形边AB长度(两眼中心距离)和鼻尖到两眼中心连线的距离的比例，即

对于待确定角度的人脸，重复特征点取点操作，确立特征三角形，计算特征比例值L2，即两眼球中点的距离和鼻尖到两眼中心连线的距离即

根据上述计算出的特征比例值L2与特征比例值L1，判断比例关系是否成立。如果：

成立，即特征比例值L2等于特征比例值L1，则为平视状态下的人脸姿态，俯仰角和滚转角均为零。

成立，表明特征比例值L2大于特征预设值L1，则说明人脸发生了滚转(摇头)，可根据投影的知识求得转角为：

$\mathrm{\&beta;}1=arccos(L1/L2)=arccos\left(\right(d_0^0/d_l^0)/(d_0^1/d_l^1\left)\right)$

当A、B、C坐标值相比平视状态下变大，β1取值为正，否则，为负。

若成立，表明特征比例值L2小于特征比例值L1，则说明人脸发生了俯仰(点头)，可根据投影的知识求得转角为：

$\mathrm{\&beta;}2=arccos(L2/L1)=arccos\left(\right(d_0^1/d_l^1)/(d_0^0/d_l^0\left)\right)$

当A、B、C坐标值相比平视状态下变大，β2取值为正，否则，为负。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多角度人脸数据采集方法，其特征在于，所述多角度人脸数据采集方法包括以下步骤：

识别人脸进入采集区，提示用户保持平视；

识别平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1，保存当前姿态下的人脸数据；

识别除平视姿态下的人脸图像，确定特征比例值L2，比较特征比例值L2与特征比例值L1的关系，若L2不等于L1，则计算出该姿态下的人脸角度，检测计算出的人脸角度是否在预设角度区间，若是，则保存人脸处于预设角度区间内的各姿态下的人脸数据；

判断所存储的各角度下人脸数据是否覆盖全部预设角度区间，若是，则结束本次操作。

2.如权利要求1所述的多角度人脸数据采集方法，其特征在于，所述识别人脸进入采集区的步骤包括：

划定人脸采集区；

根据所划定的人脸采集区，检测人脸是否完全进入采集区；

若识别到人脸完全进入采集区，提示人脸保持静止。

3.如权利要求1所述的多角度人脸数据采集方法，其特征在于，所述识别平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1的步骤包括：

将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人脸特征点确定特征三角形；

计算特征三角形的左眼中心与右眼中心的距离与鼻尖到左眼中心和右眼中心的中点的距离的特征比例值L1。

4.如权利要求3所述的多角度人脸数据采集方法，其特征在于，所述将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人 脸特征点确定特征三角形的步骤包括：

通过ViBe快速背景提取技术，将视场中运动的人脸前景区域和静止的背景区域分割出来；

获取人脸前景区域，采用类Haar人脸检测算法算出人脸区域；

继续采用类Haar特征检测算法精确定位人脸区域中左眼、右眼和鼻子所在区域，计算左眼、右眼和鼻子区域中心，得到左眼中心、右眼中心和鼻子中心作为人脸特征点。

5.如权利要求1所述的多角度人脸数据采集方法，其特征在于，所述若L2不等于L1，则计算出该姿态下的人脸角度的步骤包括：

判断特征比例值L2与特征比例值L1的关系，若特征比例值L2大于特征比例值L1，则该角度为滚转角；若特征比例值L2小于特征比例值L1，则该角度为俯仰角；

根据公式β1＝arccos((L1/L2))计算出所述滚转角的大小；根据公式β2＝arccos((L2/L1))计算出所述俯仰角大小。

6.一种多角度人脸数据采集装置，其特征在于，所述多角度人脸数据采集装置包括：

识别模块，用于识别人脸进入采集区，提示用户保持平视；

提取模块，用于识别平视下的人脸图像，提取人脸特征点，根据人脸特征点确定特征比例值L1，保存当前姿态下的人脸数据；

比较模块，用于识别除平视姿态下的人脸图像，确定特征比例值L2，比较特征比例值L2与特征比例值L1的关系，若L2不等于L1，则计算出该姿态下的人脸角度，检测计算出的人脸角度是否在预设角度区间，若是，则保存人脸处于预设角度区间内的各姿态下的人脸数据；

判断模块，用于判断所存储的各角度下人脸数据是否覆盖全部预设角度区间，若是，则结束本次操作。

7.如权利要求6所述的多角度人脸数据采集装置，其特征在于，所述识别模块包括：

采集单元，用于划定人脸采集区；

检测单元，用于根据所划定的人脸采集区，检测人脸是否完全进入采集区；

提示单元，若识别到人脸完全进入采集区，提示人脸保持静止。

8.如权利要求6所述的多角度人脸数据采集装置，其特征在于，所述提取模块包括：

分析单元：用于将采集到的人脸图像中的左眼中心、右眼中心和鼻尖作为人脸特征点，根据人脸特征点确定特征三角形；

第一计算单元：用于计算特征三角形的左眼中心与右眼中心的距离与鼻尖到左眼中心和右眼中心的中点的距离的特征比例值L1。

9.如权利要求8所述的多角度人脸数据采集装置，其特征在于，所述分析单元用于通过ViBe快速背景提取技术，将视场中运动的人脸前景区域和静止的背景区域分割出来；获取人脸前景区域，采用类Haar人脸检测算法算出人脸区域；获取人脸区域，继续采用类Haar特征检测算法精确定位人脸区域中左眼、右眼和鼻子所在区域；计算左眼、右眼和鼻子区域中心，得到左眼中心、右眼中心和鼻子中心作为人脸特征点。

10.如权利要求6所述的多角度人脸数据采集装置，其特征在于，所述比较模块包括：

判断单元，判断特征比例值L2与特征比例值L1的关系，若特征比例值L2大于特征比例值L1，则该角度为滚转角；若特征比例值L2小于特征比例值L1，则该角度为俯仰角；

第二计算单元，根据公式β1＝arccos((L1/L2))计算出所述滚转角的大小；根据公式β2＝arccos((L2/L1))计算出所述俯仰角大小。