CN105046219A - 一种人脸识别系统 - Google Patents

Abstract

本发明公开了一种人脸识别系统，包括硬件设备、软件引擎和数据库，硬件设备包括计算机、交换机、视频输入设备；软件引擎包括人脸捕捉引擎、干扰还原引擎、人脸建模引擎、人脸比对引擎；数据库存储照片库、特征值模板库；计算机通过交换机连接视频输入设备，照片库存储原始比对照片；人脸捕捉引擎通过视频输入设备采集并获取视频或图像信息中含有人脸生物特征的2D人像；干扰还原引擎对捕捉到的2D人像进行修正还原，并将不符合建模标准的人像去除；人脸建模引擎对采集到的符合建模条件的2D人像生成3D特征值，存在特征值模板库；人脸比对引擎对获取的2D人像生成的3D特征值，与照片库中照片生成的3D特征值进行比对，得出结果。

Description

一种人脸识别系统

技术领域

本发明涉及一种计算机辅助生物特征识别系统，更具体的说是一种人脸识别系统。

背景技术

人脸识别的方法有很多种，但大体可以分成基于色块分析比对法和基于人脸模板分析比对法。

基于色块分析比对法对环境和背景的要求高、对光线的敏感度的要求高，因而受到的干扰因素很多，造成了识别率低。

基于2D人脸模型比对分析法也面临二个比较难解决的问题：

首先是人脸位置角度，因为动态采集，不同与照片中的人脸是静态的，现实中的人的姿态是随意的，可能发生左右、上下、甚至旋转方向上的角度偏离；

其次，环境光线对人脸分析的干扰，逆光、阴阳脸等；

本专利的人脸识别系统是基于后者的3D人脸模板分析比对法，对上述二个方面的问题做出了很好地解决。

发明内容

根据人脸识别这一技术领域，人脸由额头、眉毛、眼睛、鼻子、嘴巴、双颊六个区域组合而成，这六个区域间的相对位置、区域器官的大小和特征构成了每个人脸中所蕴涵的身份特征信息。提取每个人脸中所蕴涵的身份特征信息，从而可识别出每个人的身份。

人脸主要的特征值获取，限定在人的眉毛以下，至下颚间，根据人类解剖学的成就，得知人脸在特定三角区内，某些器官的大小、位置、比例，具有唯一性和不变性；而另一些器官的比例，虽有变化，却能够保持相对的稳定性。根据这个原理，只要找到人脸特征区域中，器官的大小、相关器官的位置、比例就能抽取人脸的特征值。

本专利采用的人脸识别技术采用的面部区域特征分析算法，它融合了计算机图像处理技术与生物统计学原理于一体，利用计算机图像处理技术从视频图像中提取人像特征点，利用生物统计学的原理进行分析建立3D数学模型,即人脸特征值模板。利用照片库中已生成的人脸特征值与采集到的人脸生成的特征值比对，给出一个相似度，通过这个值即可确定是否为同一人。

具体而言，本发明是一种人脸识别系统，包括硬件设备、软件引擎和数据库，所述硬件设备包括计算机、交换机、视频输入设备；所述软件引擎包括人脸捕捉引擎、干扰还原引擎、人脸建模引擎、人脸比对引擎；所述数据库存储照片库、特征值模板库；所述人脸捕捉引擎、干扰还原引擎、人脸建模引擎、人脸比对引擎、照片库、特征值模板库，均安装于计算机，所述计算机通过交换机连接视频输入设备：

所述照片库存储原始比对照片；

所述人脸捕捉引擎：通过视频输入设备采集并获取视频或图像信息中含有人脸生物特征的2D人像；

所述干扰还原引擎：对捕捉到的2D人像进行修正还原，并将不符合建模标准的人像去除；

所述人脸建模引擎：对采集到的符合建模条件的2D人像进行3D展开和3D建模，生成3D特征值，存储在特征值模板库；

所述人脸比对引擎：对获取的2D人像生成的3D特征值，与照片库中照片生成的3D特征值进行比对，得出比对结果。

所述人脸捕捉引擎包括筛选模块、拼桢合成图像模块、背景处理模块、轨迹跟踪模块。

所述干扰还原引擎包括光干扰还原模块、人种识别模块、年龄还原模块、表情还原模块、姿态还原模块、遮挡还原模块。

所述人脸建模引擎对采集到的2D人像，通过面像五官轮廓的固定属性，包括：大小、比例、相对位置、距离，按3D面像器官模板进行展开，对应几何关系形成识别参数与数据，计算出相互间的关联几何矢量，即生成3D特征值，如图10。

3D建模可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性。

所述人脸比对引擎是由三种特征值比对模块组装而成，包括：①：双眼间12像素-24像素点比对模块，按相应比例关系，意味着至少可获得脸部400个可比对像素点；②：双眼间24像素-40像素点比对模块，按相应比例关系，意味着至少可获得脸部1500个可比对像素点；③：双眼间40像素-60像素点比对模块，按相应比例关系，意味着至少可获得脸部4000个可比对像素点。

三种比对模块的区别在于对选取面部的比对点的位置、比对点的权重、比对点的数量、比对区域的分配比、浮点运算的位数的不同。

系统可根据所采集到的图像质量，自动计算双眼间像素点的数量，根据双眼间像素点的数量，自动选取三种的比对模块中相对应的一种。

通过把三种比对模块组装一起，成为“三合一”的特征值比对引擎，有效解决了因图像清晰度不够高导致不能比对的问题。

比对模块采用了深度学习的神经元网络算法做特征值比对，所以比以往任何一种算法的识别率更高和识别速度更快。

所述筛选模块包括如下步骤：

步骤一、所述视频输入设备中的图像与人脸基本模板的符合度检查，即人脸基本模板过滤法，二个眼睛与一个鼻子构成的三角区是人脸的最基本特征，符合条件的进入步骤二；

步骤二、所述视频输入设备中人脸角度与标准人像比较，角度差范围在左右±25°/上下±15°/旋转±10°的符合条件进入步骤三；

步骤三、双眼可见，双眼间像素点检查，根据视频输入设备总的像素值及双眼间区域面积占整个摄像画面的比例，计算出双眼间区域的像素点值，需要双眼间像素点值大于12，符合以上条件的做人脸采集。

所述轨迹跟踪模块对视频流分桢，从采集到第一帧可比对的人脸帧开始，在随后的2秒中内，系统会自动进行桢之间互相校验，从50桢(2*25)内挑出最清晰的两幅人像桢作为比对桢，拼桢，合成，在比对模块中作为比对源；同时对采集到的人像进行标识，基于运动与模型相结合的算法，在前端进行比对跟踪，如果确认是同一人，将不做第二次人脸采集。这样，大大节省了后台CPU、传输带宽、存储的硬件资源。

所述人脸比对引擎还包括人脸表面积算法引擎。

附图说明

图1为标识了部分人脸结构示意图。

图2、图3是背景处理模块功能示意图。

图4是光干扰还原模块功能示意图。

图5是不同人种模板示意图。

图6是表情还原示意图。

图7、图8是姿态还原示意图。

图9是遮挡还原示意图。

图10是人脸建模示意图。

图11是双胞胎识别示意图。

图12是人像照同步全景照的人机界面示意图。

图示说明：

1-眼袋

2-泪沟、苹果肌下垂

3-法令纹

4-木偶纹

5-轮廓线

具体实施方式

下面结合说明书附图来说明具体实施方式：

一、特征点综述

如在发明内容部分所述，生物特征点为比对的核心，人脸在特定三角区内(整容除外)，某些器官的大小、位置、比例，具有唯一性和不变性；而另一些器官的比例，虽有变化，却能够保持相对的稳定性。根据这些器官的大小、比例、位置的变化程度，本专利将其分为三大类：

A)唯一性不变关系：

双眼间距；

双眼瞳孔与人脸鼻梁尖部的位置比例关系

鼻梁弧度

鼻梁弧长与鼻子的宽度比例关系

颧骨的几何结构；

眉心到上唇间距；

双眼角的间距；

B)随年龄有规律变化的特征，根据这些特征的推演可以得出人脸这些部分变化的趋势，以还原:

双眼角下垂；

眼袋；

双唇角下垂；

法令纹变化；(法令纹是位在鼻翼边延伸而下的两道纹路，是典型的皮肤组织老化、造成肌肤表面凹陷的现象；而经常化妆、大笑以及不注意保养都会使女性朋友产生法令纹。)

C)极易变化的部分

从耳垂与下颚间部的点,俗称轮廓线。

综上所述，在各种典型部位并非只有一个特征点，而是一组特征点组成的函数曲线，最终形成脸部特征点集合；图1标识了上述部分人脸结构。

二、各模块详述

人脸识别软件系统包括人脸捕捉引擎、干扰还原引擎、人脸建模引擎、人脸比对引擎、照片库、特征值模板库。

1、人脸捕捉引擎

人脸捕捉引擎首先导入视频或图片并进行筛选，筛选模块具体包括如下三个步骤：步骤一、摄像机中的图像与人脸基本模板(二个眼睛与一个鼻子构成的三角区)的符合度检查，即人脸基本模板过滤法，符合条件的进入步骤二；步骤二、视频中人脸角度与人像比较，角度差范围在左右±25°/上下±15°/旋转±10°的符合条件进入步骤三；步骤三、双眼可见，双眼间像素点检查，根据摄像机总的像素值及双眼间区域面积占整个摄像画面的比例，计算出双眼间区域的像素点值，双眼像素点值必须大于12。符合以上条件的做人脸采集。

上述筛选可通过级联分类器筛选法：被检测的图像依次通过每一个分类器，可以通过的，即可判定为合格目标，进入下一个分类器。同时，为了考虑效率问题，可以将最严格的分类器放在整个级联分类器的最顶端，那样可以减少匹配次数。

拼桢合成图像模块包括分帧及拼帧，在筛选模块判断出是人脸的视频流的前两秒的视频流分解成桢，25帧/秒*2秒，共50桢，进行桢比较，具体而言就是将获得的每桢图像做可用像素点比较，挑选出可用像素点最多的桢用来作拼桢的桢，即在这两秒中获得两桢最清晰的图像桢作比对图像桢。

拼帧技术，就是将上述两桢最清晰的图像桢进行拼桢，以防止传输中丢桢，两桢一备一用。

在实际操作中，分桢、桢比较、拼桢与筛选模块会多次交互。

背景处理模块是指将复杂的背景与人脸区别开来的过程，因此它首先要能够判断出人脸的边界，才能区分背景。如图2、图3。

轨迹跟踪模块：系统从采集到第一桢可比对的人脸桢开始，在随后的2秒中内(2秒*25桢/秒)，系统会自动进行桢之间互相校验，从50桢内挑出最清晰的两幅人像桢作为比对相片，在后续模块中作为比对源。并通过采集到的人像进行标记，基于运动与模型相结合的算法，在采集端进行比对跟踪，如果确认是同一人，将不做第二次人脸采集。这样大大节省了后台CPU、传输带宽、存储的硬件资源。

2、干扰还原引擎

第二大引擎是干扰还原引擎，对捕捉到的人脸照片进行修正还原，具体来说，人脸干扰还原引擎包括：

2.1光干扰还原：光干扰主要是二种：阴阳脸和逆光。

阴阳脸通过人脸对称的原理进行修正。

逆光通过对背景和人像的亮度对比进行修正(光强)。如图4，其中X轴代表黑灰白度，Y代表比重。

2.2人种识别

人种分为黄种人/白种人/黑种人/褐色人

通过四大人种的脸部基本轮廓特征和肤色进行识别，如图5.

2.3年龄还原

年龄还原指对“一、特征点综述”中B类特征点，产生一组在某一范围内的变化值，作为附加特征值；年龄推算，决定正负修正值B的大小(A±B％)。实际照片和库中的照片年龄相差越大，这个B值适当放大。

在之后模块的比对过程中，这些附加特征值与该处的原特征参数一样，具有同样的权重权，譬如若该点的原特征值与被比对照片的值有差异，但在这组附加特征值中，却有符合的值，同样会提高比对的符合性。

2.4表情还原

表情还原指在一定范围内，可以将变形不大的表情，还原到正常表情，如图6。具体算法按生理解剖原理，模拟每个表皮变动的点回归原位置，采用修正值修正法。

2.5姿态还原

本专利可对左右±25°/上下±15°/旋转±10°，双眼可见范围内照片进行姿态还原正位，达到双眼为水平坐标，对称，调整到正位。如图7、图8。

2.6遮挡还原

对眼镜/刘海/围巾/高领/帽檐等遮挡物进行缺损对称修正，或平均值补偿。如图9.譬如：左面部分被遮住，通过右脸和左脸对称的原理，进行修正。又如：下巴被高领挡住了，根据人种下巴平均值，作为这部分的特征值。

3.人脸建模引擎

人脸建模引擎，对采集到的符合建模条件的2D人像脸部的本质特征，五官轮廓的大小、位置、距离等固定属性，按3D面像器官模板进行展开，对应几何关系形成识别参数与数据，计算出相互间的关联几何矢量(特征值)，即生成3D特征值。如图10。

3D建模可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性。

4.人脸比对引擎

以往的人脸比对技术常用的有Gabor小波、Adaboost学习算法及支持向量机等算法。

本专利采用了对人脸特征点的比对，首先通过双眼间像素点的数量选定“三合一”比对引擎中相对应的一种比对模块，通过深度学习的神经元网络算法进行比对。深度学习是由在计算机上模拟人类神经回路的“神经元网络”的一种结构信息算法。它能够通过多层次组合低层特征形成更抽象的高层特征，从而实现自动的学习特征，而不需要人参与特征的选取。深度学习神经元网络算法正是通过模拟人脑多层次的分析方式来提高分析的准确性和分析速度。

从“一、特征点综述”可以看出，各部分的比例变化，有的变化小，有的变化大，因此算法在确定特征点的权重分配时，其实也是不同的。

点越少，A类点占的比重越大。对于A类特征点，因为他们在人的一生中，基本保持特定的比例关系，并具有唯一性，所以在求得人脸基本特征时，占据较大的权重，这类点在总共约4000个点上，占有56％的比例，而权重分配在60％以上；对于B类特征点，虽然随着人的一生，会有变化，但这种变化是可以预测的，因此，在比对时，可以进行冗余推演，这类点约占总点数的32％，权重分配在30％左右，而最后一类点，比如人脸轮廓线，随着年龄和环境的变化，会发生经常的变化，约占总点数的12％，因为变化较大，权重分配最小只有10％。依据以上原则，我们得出了人脸的基本特征点组群，并得到一部分特征值，但有时候这些偏差还是不能精准的反应人脸的唯一性。

因此本专利还采取了补充算法即人脸表面积算法，其理由是，通过研究，若将这4000个点周围的表面积作一个计算发现，每一个人的表面积的重合度概率要远远小于特征值重复的概率，因此我们将上述的特征点相互连接起来，使每个相邻的3个点组成正三角形(顶点在上，非“等边三角形”)，在取这些点位时，已经考虑了其几何正三角形的位置因素，以保证能够取得这些正三角形，当然这些三角形其实也是有权重分配的，原则与特征点一致，采用高斯定理，通过计算A\B\C三组正三角形所得到的面积，来形成一个冗余值，追加到特征值得参数端中。经过人脸表面积算法，人脸识别的准确度进一步提升，在实际运行中，已经可以分辨双胞胎，如图11。

人脸比对引擎将视频流中截取的人像帧建模生成的3D特征值与照片库中像片生成的3D特征值进行比对，得出对比结果。在实际测试中，比对相似度值大于0.6，即基本可确定为同一人。

三、有益效果

本专利在现有技术的基础上，结合了多项新的模型、算法，大大提高了人脸识别的实时性(识别速度快)和识别准确度(识别率高)。具备实战价值。

在编写数据库时，把人像照和全景照做同步连接，同步录入数据库。点击捕捉到的目标人的人像照时，即可调出相应的全景照、摄像机的编号、时间标识，利于查询。如图12所示。

公安部实测数据：

1.单机动态测试：

动态数据库：5万标准照；

测试环境：室内日常光照条件；

测试人状态：随意；

测试结果如下：识别速度<0.2秒/人，人脸捕捉成功率>98％，比对成功率>92％，因此综合识别率>90％。

2.单机静态测试：

静态数据库：1000万标准照；

一对多静态比对(1:N)，识别率>98％，识别速度<2秒/人；

一对一静态比对(1:1)，识别率接近100％，识别速度<0.2秒/人。

Claims (8)

1.一种人脸识别系统，包括硬件设备、软件引擎和数据库，所述硬件设备包括计算机、交换机、视频输入设备；所述软件引擎包括人脸捕捉引擎、干扰还原引擎、人脸建模引擎、人脸比对引擎；所述数据库存储照片库、特征值模板库；所述人脸捕捉引擎、干扰还原引擎、人脸建模引擎、人脸比对引擎、照片库、特征值模板库，均安装于计算机，所述计算机通过交换机连接视频输入设备，其特征在于：

所述照片库存储原始比对照片；

所述人脸捕捉引擎：通过视频输入设备采集并获取视频或图像信息中含有人脸生物特征的2D人像；

所述干扰还原引擎：对捕捉到的2D人像进行修正还原，并将不符合建模标准的人像去除；

所述人脸建模引擎：对采集到的符合建模条件的2D人像进行3D展开和3D建模，生成3D特征值，存储在特征值模板库；

所述人脸比对引擎：对获取的2D人像生成的3D特征值，与照片库中照片生成的3D特征值进行比对，得出比对结果。

2.根据权利要求1所述的人脸识别系统，其特征在于：所述人脸捕捉引擎包括筛选模块、拼桢合成图像模块、背景处理模块、轨迹跟踪模块。

3.根据权利要求1所述的人脸识别系统，其特征在于：所述干扰还原引擎包括光干扰还原模块、人种识别模块、年龄还原模块、表情还原模块、姿态还原模块、遮挡还原模块。

4.根据权利要求1所述的人脸识别系统，其特征在于：所述人脸建模引擎对采集到的2D人像，通过面像五官轮廓的固定属性，包括：大小、比例、相对位置、距离，按3D面像器官模板进行展开，对应几何关系形成识别参数与数据，计算出相互间的关联几何矢量，即生成3D特征值。

5.根据权利要求1所述的人脸识别系统，其特征在于：所述人脸比对引擎包含三种特征值比对模块，包括：①：双眼间12像素-24像素比对模块即400点比对模块；②：双眼间24像素-40像素比对模块即1500点比对模块；③：双眼间40像素-60像素比对模块即4000点比对模块；系统自动计算人脸双眼间像素点的数量，根据人脸双眼间像素点的数量，自动选取上述三种比对模块中的相对应的一种，把三种比对模块组装一起，合成“三合一”比对引擎。

6.根据权利要求2所述的人脸识别系统，其特征在于：所述筛选模块包括如下步骤：

步骤一、所述视频输入设备中的图像与人脸基本模板的符合度检查，即人脸基本模板过滤法，二个眼睛与一个鼻子构成的三角区是人脸的最基本特征，符合条件的进入步骤二；

步骤二、所述视频输入设备中人脸角度与标准人像比较，角度差范围在左右±25°/上下±15°/旋转±10°的符合条件进入步骤三；

步骤三、双眼可见，双眼间像素点检查，根据视频输入设备总的像素值及双眼间区域面积占整个摄像画面的比例，计算出双眼间区域的像素点值，需要双眼间像素点值大于12，符合以上条件的做人脸采集。

7.根据权利要求2所述的人脸识别系统，其特征在于：所述轨迹跟踪模块对视频流分桢，从采集到第一帧符合人脸采集标准的人脸帧开始，在随后的2秒中内，系统自动进行桢之间互相校验，从50桢内挑出最清晰的两幅人像桢作为比对桢，拼桢，合成，在比对模块中作为比对源；同时对采集到的人像进行标识，基于与运动模型相结合的算法，在前端进行比对跟踪，如果确认是同一人，将不做第二次人脸采集。

8.根据权利要求1所述的人脸识别系统，其特征在于：所述人脸比对引擎还包括人脸表面积算法引擎。