CN110990604A - 图像底库生成方法、人脸识别方法和智能门禁系统 - Google Patents

Abstract

本发明公开一种图像底库生成方法、人脸识别方法和智能门禁系统。该图像底库生成方法包括：获取第一二维人脸图像；利用三维人脸模型对第一二维人脸图像进行拟合，以生成目标三维人脸模型；对目标三维人脸模型进行表情调整，以获得多种不同表情的三维人脸表情模型；利用多种不同表情的三维人脸表情模型分别生成多种不同表情的第二二维人脸图像；将多种不同表情的第二二维人脸图像存入所述图像底库。通过上述方式，本发明能够实现在不需要收集大量带夸张表情的人脸数据的情况下，解决现有技术中智能门禁系统对带夸张表情的人脸识别率低的问题。

Description

图像底库生成方法、人脸识别方法和智能门禁系统

技术领域

本发明涉及人脸识别，特别是涉及用于人脸识别的图像底库生成方法和智能门禁系统。

背景技术

近年来，使用人脸识别技术的智能门禁系统发展迅速。虽然现在人脸识别技术的精度有了巨大的提高，但是带表情的人脸识别仍然是人脸识别难以克服的难题，这严重影响了门禁的准确性和通行效率。

现在流行的方法是使用深度学习来解决该问题，但是深度学习需要大量的数据作为支持，而人脸表情比较夸张的人脸数据收集起来非常困难。

发明内容

本发明提供一种用于人脸识别的图像底库生成方法、智能门禁的人脸识别方法和智能门禁系统，以在不需要收集大量带夸张表情的人脸数据的情况下，解决现有技术中智能门禁系统对带夸张表情的人脸识别率低的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种用于人脸识别的图像底库生成方法，包括：获取第一二维人脸图像；利用三维人脸模型对第一二维人脸图像进行拟合，以生成目标三维人脸模型；对目标三维人脸模型进行表情调整，以获得多种不同表情的三维人脸表情模型；利用多种不同表情的三维人脸表情模型分别生成多种不同表情的第二二维人脸图像；将多种不同表情的第二二维人脸图像存入图像底库。

为解决上述技术问题，本发明采用的另一个技术方案是一种智能门禁的人脸识别方法，包括：获取第三二维人脸图像；对第三二维人脸图像的表情属性进行识别；根据第三二维人脸图像的表情属性从上述图像底库中查询对应表情的第二二维人脸图像；将第三二维人脸图像与查询到的第二二维人脸图像进行对比。

为解决上述技术问题，本发明采用的又一个技术方案是一种智能门禁系统，智能门禁包括：摄像头、处理器和存储器，其中，存储器存储上述图像底库，摄像头用于获取第三二维人脸图像，处理器用于将第三二维人脸图像与第二二维人脸图像进行对比。

区别于现有技术，本发明提供一种用于人脸识别的图像底库生成方法、智能门禁的人脸识别方法和智能门禁系统，通过三维人脸模型对二维人脸图像进行拟合，并对生成的目标三维人脸模型进行表情调整，从而获取不同表情的二维人脸图像，不需要收集大量带夸张表情的人脸数据。

附图说明

为更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是用于人脸识别的图像底库生成方法的一个实施例的流程图；

图2是图1所示的流程中所使用的第一二维人脸图像上的第一二维关键点的示意图；

图3是图1所示的流程中所使用的三维人脸模型处于正视状态的三维关键点位置的示意图；

图4是图1所示的流程中所使用的三维人脸模型处于转动状态的三维关键点位置的示意图；

图5是图1所示的流程进行三维人脸模型拟合所在空间的笛卡尔坐标系和三维人脸模型近似的圆柱体的示意图；

图6-图9是所示的流程中所使用的第一二维人脸图像进行深度估计的示意图；

图10是智能门禁的人脸识别方法；

图11是智能门禁系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关定义

3DMM模型

三维可形变模型(3DMM模型)是一种先验3D人脸模型，其公式如下：

其中，S是3D(三维)人脸，

是均值人脸形状，A_i,主形状是人脸形状主成分部分，A_j,表情是人脸表情主成分部分，α_i,主形状和α_j,表情是对应加权系数，其中，

、A_i,主形状、A_j,表情是已知的，n和m分别是选取的人脸形状主成分部分和人脸表情主成分部分的个数。

从公式1可以看出，三维可形变模型将人脸模型表示为均值人脸形状与一组人脸形状主成分和人脸表情主成分进行加权求和的线性组合，其中，平均人脸形状、人脸形状主成分以及人脸表情主成分是已知的，因此，只要知道合适的系数α_i,主形状和α_j,表情，就能够近似表示出任何一张人脸。

弱透视投影

弱透视投影与正交投影原则类似，但在投影过程中除了考虑正交投影外，还需要考虑缩放、旋转以及平移操作中的至少一种。

在下文中，以3DMM模型结合弱透视投影为例对本申请的具体实施例进行描述，但本申请还可以采用其他三维人脸模型实现。

参考图1，图1是用于人脸识别的图像底库生成方法的第一实施例的流程图。本发明用于人脸识别的图像底库生成方法包括以下步骤：

步骤S11：获取第一二维人脸图像。

在具体实施方式中，可以通过智能门禁系统的摄像头对需要进出门禁系统的用户进行拍照，以获取对象的较正的第一二维人脸图形，即，人脸照片。该人脸照片优选的是没有表情的人脸照片，也可以是带轻微表情的人脸照片，诸如微笑的人脸照片。

在一些实施例中，可以通过对用户提交的标准冲洗照片进行扫描获得第一二维人脸图像。

在一些实施例中，在获得用户的授权后，可以通过从公共数据库读取照片来获得第一二维人脸图像。本发明不限制照片的格式。

步骤S12：利用三维人脸模型对第一二维人脸图像进行拟合，以生成目标三维人脸模型。其包括如下两个子步骤S121和S122：

步骤S121：提取第一二维人脸图像的第一二维关键点。

具体得，参考图2，利用关键点提取算法提取在该第一二维人脸图像上的第一二维关键点Y_2d。关键点包括表征诸如眼睛、鼻子、耳朵、眉毛等的人脸主要特征的关键点和描绘该第一二维人脸图像中的人脸可见轮廓的关键点。在一些实施例中，关键点的个数可以是68，或者81，或者更多。

步骤S122：在三维人脸模型的多个三维关键点与多个第一二维关键点之间建立坐标映射关系。具体如下：

将三维人脸模型S使用弱透视投影方法投影到第一二维人脸图像所在的平面，投影公式如下：

s_2d＝fPR(S+t_3d) 公式2

其中，s_2d为三维人脸模型上的点投影到第一二维人脸图像所在的平面后的点的坐标，f为弱透视投影中使用的缩放系数，P为正交投影矩阵

R为旋转矩阵，t_3d为平移向量。

S为三维人脸模型，并入上文所描述的具体表征为：

为了利用三维人脸模型对第一二维人脸图像进行拟合，需要找出合适的系数f、R、t_3d和α_i,主形状、α_j,表情，使得第二二维关键点s_2d与第一二维关键点Y_2d之间的位置尽可能接近。

也就是说，找出一个目标三维人脸模型，该目标三维人脸模型在经过适当的平移、旋转、缩放之后，被正交投影到第一二维人脸图像的平面，使得该投影与第一二维人脸图像最为近似。

在一个实施例中，该问题可以转化为求使对应关键点之间的欧几里得距离E最小的最优化解，其中，

n是关键点的个数。

在其他实施例中，还可以求使得对应关键点之间的其他距离最小的最优化解。关于此类问题的求解方法，此处将不再赘述。

最终，我们可以求解出相应的α_i,主形状、α_j,表情，得到目标三维人脸模型：

步骤S13：对目标三维人脸模型进行表情调整，以获得多种不同表情的三维人脸表情模型。

在具体实施方式中，取一张带夸张表情的二维人脸照片，例如带吃惊表情的模板人脸照片，对该照片执行上文中的S11和S12，获得该二维人脸照片对应的三维人脸模型：

利用所得到的一组系数α_{j，吃惊模板表情}替换在第二步骤S12中求解出的一组系数α_j,表情，得到带吃惊表情的三维人脸表情模型

在其他实施例中，遵循上述方法，利用带诸如大笑、悲伤、愤怒、厌恶、恐惧、惊喜、悲愤等表情的模板人脸照片，可以得到带对应表情的三维人脸表情模型

在其他实施例中，可以预设多组模板表情系数α_{j,模板表情}，例如8组模板表情系数α_{j,模板表情}，用于替换在第二步骤S12中求解出的一组系数α_j,表情，分别得到带多种不同表情的三维人脸表情模型S_表情。

在其他实施例中，通过调整α_{j,模板表情}，还可以调整所得到的带多种不同表情的三维人脸表情模型的表情变化程度。

在一些实施例中，可以对第一二维人脸图像进行深度估计。参考图6-图9，将第一二维人脸图像分为3部分进行深度估计。如图6所示，第一部分为位于人脸外轮廓上的边缘锚点。如图7所示，第二部分为包含脖子、耳朵的外围锚点，可以通过在固定鼻尖左右平面位置不变的情况下放大人脸，然后计算鼻尖到放大前的原始鼻尖位置的偏移量的方法来估计这些外围锚点的深度。如图8所示，第三部分为背景锚点，其深度可以设置为与人脸外轮廓上的锚点的深度相同。在深度估计之后，可以通过三角剖分算法获得如图9所示的最终3D网格人脸。

在一些实施例中，可以根据S_表情中的主形状系数，对所得的带多种不同表情的三维人脸表情模型S_表情进行纹理映射贴图，例如使用泊松图像编辑方法，填充对应纹理细节信息。

步骤S14：利用所获得的多种不同表情的三维人脸表情模型分别生成多种不同表情的第二二维人脸图像。

在具体实施方式中，分别对多种不同表情的三维人脸表情模型中的每一个生成一张或者多张第二二维人脸图像。例如，可以通过对多种不同表情的三维人脸表情模型中的每一个进行不同角度下的弱透视投影，得到一张或者多张第二二维人脸图像。

步骤S15：将多种不同表情的第二二维人脸图像存入图像底库。

在具体实施方式中,将在步骤S14中得到的第二二维人脸图像存入图像底库。该图像底库例如可以是数据库，其可以存储在本地存储介质或者存储在例如云存储的在线存储介质中。

在一些实施例中，将多种不同表情的第二二维人脸图像存入图像底库还包括将多种不同表情的第二二维人脸图像的人脸特征值存入图像底库中。

在一些实施例中，将多种不同表情的第二二维人脸图像存入图像底库还包括根据表情对第二二维人脸图像进行分类或者贴标签，即将多种不同表情的第二二维人脸图像分别与不同的表情属性进行关联存储，例如大笑、悲伤、愤怒、厌恶、恐惧、惊喜、悲愤等属性。

参考上文，为了进一步提高三维人脸模型的拟合效果，本申请进一步对步骤S12中的步骤S122进行优化。

在具体实施方式中，求满足s_2d、Y_2d的位置尽可能接近的条件的f、R、t_3d和α_i,主形状、α_j,表情的最优解的过程是一个反复迭代的过程。

例如，在第一次迭代中，为f、R、t_3d赋予一组初值，计算相应的α_i,主形状、α_j,表情，然后利用计算出的α_i,主形状、α_j,表情，求解f、R、t_3d。

在第二步迭代中，利用第一步迭代中计算出的f、R、t_3d计算α_i,主形状、α_j,表情，然后利用新计算出的α_i,主形状、α_j,表情求解f、R、t_3d。

继续该过程，直到f、R、t_3d、α_i,主形状、α_j,表情收敛到最优解。

参考图3和图4，图3示出了三维人脸模型处于正视状态时的三维关键点的位置，图4示出三维人脸模型姿态变化(转动)后的三维关键点的位置。

在上述迭代过程中，随着旋转矩阵R的值的变化，三维人脸模型发生旋转，三维人脸模型上的轮廓关键点未必可见。例如参考图3和图4，图3的模型的左脸颊上的关键点在图4中不再全部可见。

因此，在本申请的一具体实现方式中，在迭代过程中，需要在每一步中判断其是否可见，如果轮廓关键点不可见，则需要调整轮廓关键点的位置或舍弃不可见的轮廓关键点。判断轮廓关键点是否可见的过程通过迭代的方法进行，严重降低了整体计算效率。

参考图5，图5示出了对应于在其中拟合三维人脸模型的空间的笛卡尔坐标系。其中，横坐标x和纵坐标y组成的平面平行于弱透视投影的投影平面，竖坐标z(未示出)与x和y坐标两者垂直。如图5所示，将三维人脸模型近似为一个圆柱体。优选地，在步骤S122中的迭代开始之前，也就是三维人脸模型没有发生任何旋转之前，纵坐标y与该圆柱体的中心轴线或者母线平行。在三维人脸模型上定义平行于该圆柱体的底面的平行线PL。定义三维人脸模型绕横坐标x的旋转为俯仰，绕纵坐标y的旋转为横摆，绕竖坐标z的旋转为滚动。

如果三维人脸模型只发生滚动，即在平行于投影平面的平面内旋转(称为平面内旋转)，则模型上的轮廓关键点就一直可见。

如果模型只发生俯仰和摇摆，即只发生平面外旋转时，当轮廓关键点变得不可见时，该轮廓关键点将沿着其所在的平行线PL移动成可见边界点，而此时，可见边界点对应于该平行线上具有最大或者最小横坐标x的点中与原轮廓关键点位于三维模型上同一侧的点。

利用上述原理，在具体的实施过程中，在步骤S122的每一个迭代过程中，进行不可见关键点的调整。首先判断随着三维人脸模型的姿态变化，三维人脸模型的轮廓关键点是否可见。如果一个或者多个三维人脸模型的轮廓关键点不再可见，则在该不可见的轮廓关键点所在的平行线PL上查找具有最大和最小横坐标值的点，即，查找具有极值横坐标的点。然后，将不可见的轮廓关键点调整成具有极值横坐标值的点中与不可见的三维关键点在三维人脸模型同一侧的点s_2d，调整，即调整三维人脸模型中轮廓关键点的索引。

在一些实施例中，如果一个或者多个三维人脸模型的轮廓关键点不再可见，则在消除三维人脸模型的平面内旋转的情况下，对三维人脸模型重新投影，之后在该不可见的轮廓关键点所在的平行线PL上查找具有极值横坐标值的点。然后，将不可见的轮廓关键点调整成具有极值横坐标值的点中与不可见的三维关键点在三维人脸模型同一侧的点，即调整三维人脸模型中轮廓关键点的索引。

在一些实施例中，在步骤S122的每一个迭代过程中，对经过调整的点s_2d，调整和未经过调整的点s_2d分别先后求解。

例如，在步骤S122的每一个迭代过程中，先求解使经过调整的点s_2d，调整与对应的第一二维关键点之间的距离最小化的f、R、t_3d和α_i,主形状、α_j,表情的一次最优解。然后，以该一次最优解为基础，求解使没有调整的点s_2d与对应的第一二维关键点之间的距离最小化的f、R、t_3d和α_i,主形状、α_j,表情的二次最优解。然后以该二次最优解为基础进入下一个迭代过程。该过程减少了计算过程中由不可见关键点的调整带来的误差。

具体参阅图10，图10是本发明一种智能门禁的人脸识别方法的流程示意图。本实施例一种智能门禁的人脸识别方法包括如下步骤：

步骤S21：获取第三二维人脸图像。

具体地，当对象在智能门禁的摄像头前经过时，摄像头自动识别出人脸并且拍摄包含对象人脸的一张或者多张照片。

步骤S22：对第三二维人脸图像的表情属性进行识别。

利用表情识别算法，智能门禁系统对获得的第三二维人脸图像进行表情识别。

步骤S23：根据识别到的第三二维人脸图像的表情属性，在表情底库中查询对应表情的第二二维人脸图像。

例如，如果步骤S22中所识别到的表情是高兴，则智能门禁系统在第二二维人脸图像中查到属于高兴类别或者贴有高兴标签的人脸图像，并将这些人脸图像作为候选对比选项。

步骤S24：将第三二维人脸图像与查询到的第二二维人脸图像进行对比。

智能门禁系统将第三二维人脸图像与步骤S23中的候选对比选项进行一一对比，查找有无匹配的对象。该对比过程包括计算该第三二维人脸图像与候选对比选项的特征距离，当特征距离小于设定的阈值时，系统判定匹配成功，反之，则匹配不成功。如果没有对象匹配成功，则智能门禁系统判定对象没有进入当前门禁系统的权限。

在一具体实施方式中，考虑到智能门禁系统本身的运算能力和存储能力，可以选择由智能门禁系统拍摄第一二维人脸图像，并上传至云端服务器，并由云端服务器进行三维人脸模型的拟合、表情调整以及生成第二二维人脸图像，并将第二二维人脸图像发送回智能门禁系统，并由智能门禁系统执行第三二维人脸图像和第二二维人脸图像的对比。

具体参阅图11，图11是本发明的一种智能门禁系统的示意图。

在具体实施方式中，智能门禁系统包括摄像头、处理器和存储器。存储器用于存储图像底库。摄像头用于拍摄对象的照片，即，用于拍摄在上文中提到的第一二维人脸图像和第三二维人脸图像。处理器用于比对第三二维人脸图像和第二二维人脸图像。在一些实施例中，处理器用于执行上文中提及的步骤S12至S15。在一些实施例中，处理器用于执行步骤S22至S24。

在另一具体实施方式中，步骤S12至S15由设置于本地的服务器执行，而步骤S12至S15由设置于云端的服务器执行。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种用于人脸识别的图像底库生成方法，其特征在于，所述方法包括：

获取第一二维人脸图像；

利用三维人脸模型对所述第一二维人脸图像进行拟合，以生成目标三维人脸模型；

对所述目标三维人脸模型进行表情调整，以获得多种不同表情的三维人脸表情模型；

利用所述多种不同表情的三维人脸表情模型分别生成多种不同表情的第二二维人脸图像；

将所述多种不同表情的第二二维人脸图像存入所述图像底库。

2.根据权利要求1所述的方法，其特征在于，所述利用三维人脸模型对所述第一二维人脸图像进行拟合的步骤包括：

检测所述第一二维人脸图像中的多个第一二维关键点的坐标；

在所述三维人脸模型的多个三维关键点与所述多个第一二维关键点之间建立坐标映射关系。

3.根据权利要求2所述的方法，其特征在于，所述在所述三维人脸模型的多个三维关键点与所述多个第一二维关键点之间建立坐标映射关系的步骤包括：

将所述多个三维关键点弱透视投影至二维平面，以获得多个第二二维关键点；

在所述多个第二二维关键点和所述多个第一二维关键点之间建立坐标映射关系。

4.根据权利要求3所述的方法，其特征在于，所述三维人脸模型表示为均值人脸形状与多个形状主成分和多个表情主成分的加权求和；

所述在所述多个第二二维关键点和所述多个第一二维关键点之间建立坐标映射关系的步骤包括：

求取将所述多个三维关键点弱透视投影至二维平面的投影参数、与形状主成分对应的形状加权系数和与表情主成分对应的表情加权系数的最优解，以使得所述多个第二二维关键点和所述多个第一二维关键点之间的距离最小化。

5.根据权利要求4所述的方法，其特征在于，所述将所述多个三维关键点弱透视投影至二维平面，以获得多个第二二维关键点的步骤包括：

判断随着所述三维人脸模型的姿态变化，所述三维关键点是否可见；

若所述三维关键点可见，则所述三维关键点不移动；

若所述三维关键点不可见，则将所述三维关键点沿预设的平行线移动成所述三维人脸模型的对应可视化边缘点；

将所述三维关键点弱透视投影至所述二维平面。

6.根据权利要求5所述的方法，其特征在于，所述平行线为在所述三维人脸模型表面上且平行于由所述三维人脸模型近似成的圆柱体的底面的线。

7.根据权利要求6所述的方法，其特征在于，所述将所述三维关键点沿预设的平行线移动到所述三维人脸模型的对应可视化边缘点的步骤包括：

根据所述三维人脸模型的当前姿态变化，计算仅考虑所述三维人脸模型的平面外旋转时的平面外旋转三维人脸模型；

在所述平面外旋转三维人脸模型的所述预设平行线上查找具有最大和最小横坐标值的点；

将所述对应可视化边缘点设置为所述最大和最小横坐标值的点中与所述不可见的三维关键点在所述三维人脸模型的同一侧的点。

8.根据权利要求5所述的方法，其特征在于，所述求取将所述多个三维关键点弱透视投影至二维平面的投影参数、与形状主成分对应的形状加权系数和与表情主成分对应的表情加权系数的最优解的步骤包括：

对将所述多个三维关键点弱透视投影至二维平面的投影参数、与形状主成分对应的形状加权系数和与表情主成分对应的表情加权系数进行一次求解，以获得使得所述不可见的三维关键点所对应的第二二维关键点和所述多个第一二维关键点之间的距离最小化的最优解。

9.根据权利要求4所述的方法，其特征在于，所述对所述目标三维人脸模型进行表情调整的步骤包括：

对所述三维人脸模型中的表情加权系数进行调整。

10.根据权利要求4所述的方法，其特征在于，所述对所述目标三维人脸模型进行表情调整的步骤包括：

利用预设的模板表情加权系数替换所述目标三维人脸模型中的表情加权系数。

11.一种智能门禁的人脸识别方法，其特征在于，所述方法包括：

获取第三二维人脸图像；

对所述第三二维人脸图像的表情属性进行识别；

根据所述第三二维人脸图像的表情属性从如权利要求1-10任意一项所述的方法生成的图像底库中查询对应表情的所述第二二维人脸图像；

将所述第三二维人脸图像与查询到的所述第二二维人脸图像进行对比。

12.一种智能门禁系统，其特征在于，所述智能门禁包括：摄像头、处理器和存储器，其中，

所述存储器存储根据权利要求1-10中的任一项所述的方法生成的图像底库，

所述摄像头用于获取第三二维人脸图像，

所述处理器用于将所述第三二维人脸图像与所述第二二维人脸图像进行对比。

Images