CN106557749A - 一种基于三维形变人脸模型用于安防的人脸识别方法 - Google Patents

Abstract

本发明中提出的一种基于三维形变人脸模型用于安防的人脸识别方法，其主要内容包括：原始图像数据集、辅助3D人脸数据集和常用的训练图像词典、新词典含有常用的训练集和3D数据集、主体消除机制、进行人脸识别，其过程为，先将在逃人员等的人脸信息图像输入，形成原始图像数据集，通过合成辅助3D人脸获得数据集，解释原始图像作为训练数据集，形成常用的训练图像词典；合并原始和3D数据集作为扩展的词典，则新词典含有常用的训练集和3D数据集；接着进行主体消除机制，最后进行人脸识别。本发明中光照、表情、遮挡和姿势变化对识别的影响较小；消除信息冗余，提高识别效率；它无需识别对象主动配合即可自动进行比对识别，节省了时间、人力物力等。

Description

一种基于三维形变人脸模型用于安防的人脸识别方法

技术领域

本发明涉及人脸识别领域，尤其是涉及了一种基于三维形变人脸模型用于安防的人脸识别方法。

背景技术

人脸是人类最重要的生物特征之一，反映了很多重要的生物信息，如身份、性别、种族、年龄、表情等。人脸生物识别技术作为全球最前沿的生物识别技术及图像处理技术，在当今社会公共安全防范、逃犯追捕、网络安全、金融安全商场安全等诸多领域将发挥着独有的不可替代的作用，是人类社会科学技术发展与进步的里程碑，将广泛应用于安防、公安、航空、港口、海关、银行、大型企事业单位、大型会议活动、高端会所、重要的街道、码头、超市等场所的安全防范，将为当前复杂国内外安全形势下的安全保卫、安全防范带来革命性的变革。而传统的建筑围墙和防盗栅栏等防护设施既破坏建筑的整体形象，也不能完全有效的阻止犯罪分子的乘虚而入。特别是学校、地铁、网吧、车站、重点企事业单位这些重点场所的安全防范越来越受到人们的关注，而传统的方法由于光照、表情、遮挡和姿势变化等会对识别造成影响，同时存在冗余信息，识别效率较低。针对这种情况，我们提出以智能视频分析技术代替人工查看的解决方案，以智能化的方式完成重点场所监控和管理,结合现有人防手段和物防设施，着眼于加强技术防范，旨在有效提升企事业单位安全保卫工作能力和水平的一套技防措施。

本发明提出了一种基于三维形变人脸模型用于安防的人脸识别方法，先将在逃人员或重点布控人员等的人脸信息的图像输入，形成原始图像数据集，通过合成辅助3D人脸获得数据集，解释原始图像作为协同表示模型的分类(CRC)的训练数据集，形成常用的训练图像词典；再合并原始和3D数据集作为扩展的词典，则新词典含有常用的训练集和3D数据集；接着进行主体消除机制，最后测试样品通过新词典解码进行人脸识别。本发明中光照、表情、遮挡和姿势变化的存在对识别的影响较小；消除信息冗余，提高识别效率；它无需识别对象主动配合，当其通过视频监控的地点时系统将自动进行比对识别，解决了传统视频监控系统耗费大量人力和时间资源的问题。它无需识别对象主动配合，当其通过视频监控的地点时系统将自动进行比对识别，一旦发现陌生人或可疑人员，系统自动报警，有效的解决了传统视频监控系统耗费大量人力和时间资源问题，为安防系统事前预警、事后调查分析提供了有效的手段。

发明内容

针对光照、表情、遮挡和姿势变化的存在对识别有影响的问题，本发明的目的在于提供一种基于三维形变人脸模型用于安防的人脸识别方法，先将在逃人员或重点布控人员等的人脸信息的图像输入，形成原始图像数据集，通过合成辅助3D人脸获得数据集，解释原始图像作为协同表示模型的分类(CRC)的训练数据集，形成常用的训练图像词典；再合并原始和3D数据集作为扩展的词典，则新词典含有常用的训练集和3D数据集；接着进行主体消除机制，最后测试样品通过新词典解码进行人脸识别。

为解决上述问题，本发明提供一种基于三维形变人脸模型用于安防的人脸识别方法，其主要内容包括：

(一)原始图像数据集；

(二)辅助3D人脸数据集和常用的训练图像词典；

(三)新词典含有常用的训练集和3D数据集；

(四)主体消除机制；

(五)进行人脸识别。

其中，所述的原始图像数据集，指的是原始的人脸图像数据集，包括在逃人员或重点布控人员等的人脸信息的图像输入。

其中，所述的辅助3D人脸数据集和常用的训练图像词典，包括辅助3D人脸数据集和常用的训练图像词典。

进一步地，所述的辅助3D人脸数据集，通过合成辅助3D人脸获得数据集，给定一个K×M训练样本{x_1,1,…,x_K,M}，其中K是类的数量，M是每个类的训练样本数，测试样品可以近似由所有这些训练样本的线性组合：

其中，α_k.m是对应的K个类的M个训练样本的系数向量的入口，P是样本的维数；入口α_k.m指示相应的训练样本代表测试样本的潜力；

方程(1)可改写为：

y≈x_α (2)

其中是包含所有训练样本和训练样本的词典矩阵，α＝[α_1,1,…,α_K,M]^T是需要估计的系数向量；一旦得到的系数向量，可以测量第k类的倾向表示测试样本：

其中，c_k是重建的测试样品，使用的是第k类的训练样本；测试样品的重建误差为k类是通过：

E(y)_k＝‖y-c_k‖₂ (4)

以及测试样本Y的标签确定使用：

如上所述，分类问题的关键是获得的系数向量重构的测试样本。

进一步地，所述的常用的训练图像词典，解释原始图像作为协同表示模型的分类(CRC)的训练数据集；基于稀疏表示的分类(SRC)的目的是最小化的目标函数得到的稀疏系数向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范数约束优化问题是一个比较难的问题，难以解决；

min‖α‖₁ (7)

s.t.y＝X_α

这种优化问题可以解决在多项式时间标准线性规划方法；

CRC通过求解范数最小化问题发现的系数向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的优化是一个典型的最小二乘问题，α通过以下方程获得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一个小的正常数，I是单位矩阵的正规化的解决方案；在一定条件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有竞争力的人脸分类精度，并具有较低的计算复杂度。

其中，所述的新词典含有常用的训练集和3D数据集，合并原始和3D数据集作为扩展的词典；3DMM方法可以通过拟合生成的三维人脸模型的图像重建二维人脸图像的三维形状和纹理；初始化3DMM拟合过程，自动级联的基于回归的面部的地标检测方法，然后通过调整相机模型的参数，重建的三维形状和纹理呈现不同的姿势的二维人脸图像；

使用一个透视相机，通过投影重建的三维形状和纹理到一个二维图像平面渲染二维虚拟人脸；更具体地说，通过相机投影，一个顶点的三维形状的投影到一个二维坐标S＝[x^2d,y^2d]^T；该投影可以分解成两部分：一个刚性的三维变换T_r:透视投影T_p:

T_r:v′＝Rv+τ (10)

是旋转矩阵，是一个空间转化，f表示焦距，[o_x,o_y]^T是在图像平面上的相机的光轴；因此，通过设置不同的相机参数，不同姿势的图像可以重建三维形状和纹理渲染。

其中，所述的主体消除机制，在扩展词典的人脸分类提出了一个迭代消除计划，删去了无用的样本；在重建误差方面，每个类代表一个测试样本的测量；从扩展的词典上消除所有的训练样本的类的最大重建误差；扩展词典的系数向量和剩余类的贡献被更新；一直重复相同的过程直到词典中的类的数量下降到一个预定义的级别；

这种消除策略加强了有更多的信息和代表重建测试样本的类；使用公式(4)估算一个特定的类和一个测试样本之间的重建误差，这是测试样品和类的所有训练样本的线性组合之间的距离测量，形成新的词典。

其中，所述的进行人脸识别，测试样品通过新词典解码进行人脸识别，测试精度高，效率高；分类器进行人脸识别，分类器的原理为：设线性可分样本集和为(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是类别标号，则

w·x+b＝0 (12)

是SVM分类器的分类面方程；在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量，纹理优化后的三维人脸图像首先进行视觉直方图特征提取，特征提取之后输入到SVM分类器之中，获得最终的分类结果。

进一步地，所述的分类模块，纹理优化后的三维人脸图像首先进行Gabor滤波，获取该深度图像的Gabor滤波器响应向量集合；对该集合的每个响应向量，将其向东方(西方)视觉词典库进行映射，其对应的向量数目eastnum(westnum)进行+1处理；下列公式：

member ship(I)＝eastnum/westnum (15)

为最终的模糊隶属度函数。

进一步地，所述的视觉词典，分别对不同的人脸图像进行视觉词汇计算，对计算得出的所有视觉词汇，对于其中距离比较近的视觉词汇区域，我们将其视为人脸深度视觉词汇的临界区域，其代表的是人的属性；对于相距比较远的区域，我们将其视为代表了人脸的特性信息，以此为基础分别构建人脸词典库。

附图说明

图1是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的系统流程图。

图2是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的应用领域。

图3是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的系统网络应用图。

图4是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的系统功能。

图5是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的新词典含有常用的训练集和3D数据集。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的系统流程图。主要包括原始图像数据集，辅助3D人脸数据集和常用的训练图像词典，新词典含有常用的训练集和3D数据集，主体消除机制和进行人脸识别。

其中，原始图像数据集，指的是原始的人脸图像数据集，包括在逃人员或重点布控人员等的人脸信息的图像输入。

其中，辅助3D人脸数据集和常用的训练图像词典，包括辅助3D人脸数据集和常用的训练图像词典。

辅助3D人脸数据集，通过合成辅助3D人脸获得数据集，给定一个K×M训练样本{x_1,1,…,x_K,M}，其中K是类的数量，M是每个类的训练样本数，测试样品可以近似由所有这些训练样本的线性组合：

其中，α_k.m是对应的K个类的M个训练样本的系数向量的入口，P是样本的维数；入口α_k.m指示相应的训练样本代表测试样本的潜力；

方程(1)可改写为：

y≈x_α (2)

其中是包含所有训练样本和训练样本的词典矩阵，α＝[α_1,1,…,α_K,M]^T是需要估计的系数向量；一旦得到的系数向量，可以测量第k类的倾向表示测试样本：

其中，c_k是重建的测试样品，使用的是第k类的训练样本；测试样品的重建误差为k类是通过：

E(y)_k＝‖y-c_k‖₂ (4)

以及测试样本Y的标签确定使用：

如上所述，分类问题的关键是获得的系数向量重构的测试样本。

常用的训练图像词典，解释原始图像作为协同表示模型的分类(CRC)的训练数据集；基于稀疏表示的分类(SRC)的目的是最小化的目标函数得到的稀疏系数向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范数约束优化问题是一个比较难的问题，难以解决；

min‖α‖₁ (7)

s.t.y＝X_α

这种优化问题可以解决在多项式时间标准线性规划方法；

CRC通过求解范数最小化问题发现的系数向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的优化是一个典型的最小二乘问题，α通过以下方程获得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一个小的正常数，I是单位矩阵的正规化的解决方案；在一定条件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有竞争力的人脸分类精度，并具有较低的计算复杂度。

其中，主体消除机制，在扩展词典的人脸分类提出了一个迭代消除计划，删去了无用的样本；在重建误差方面，每个类代表一个测试样本的测量；从扩展的词典上消除所有的训练样本的类的最大重建误差；扩展词典的系数向量和剩余类的贡献被更新；一直重复相同的过程直到词典中的类的数量下降到一个预定义的级别；

这种消除策略加强了有更多的信息和代表重建测试样本的类；使用公式(4)估算一个特定的类和一个测试样本之间的重建误差，这是测试样品和类的所有训练样本的线性组合之间的距离测量，形成新的词典。

其中，进行人脸识别，测试样品通过新词典解码进行人脸识别，测试精度高，效率高；分类器进行人脸识别，分类器的原理为：设线性可分样本集和为(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是类别标号，则

w·x+b＝0 (12)

是SVM分类器的分类面方程；在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量，纹理优化后的三维人脸图像首先进行视觉直方图特征提取，特征提取之后输入到SVM分类器之中，获得最终的分类结果。

进一步地，分类模块，纹理优化后的三维人脸图像首先进行Gabor滤波，获取该深度图像的Gabor滤波器响应向量集合；对该集合的每个响应向量，将其向东方(西方)视觉词典库进行映射，其对应的向量数目eastnum(westnum)进行+1处理；下列公式：

member ship(I)＝eastnum/westnum (15)

为最终的模糊隶属度函数。

进一步地，视觉词典，分别对不同的人脸图像进行视觉词汇计算，对计算得出的所有视觉词汇，对于其中距离比较近的视觉词汇区域，我们将其视为人脸深度视觉词汇的临界区域，其代表的是人的属性；对于相距比较远的区域，我们将其视为代表了人脸的特性信息，以此为基础分别构建人脸词典库。

图2是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的应用领域。本发明可广泛应用于银行、大型企事业单位、大型会议活动、高端会所、重要的街道、码头、超市、停车场等场所的安全防范。同时，本发明还可以结合报警系统，在识别到进出人员中有可疑人员时可触发报警器等。

图3是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的系统网络应用图。监控平台包括了站前广场、购票大厅、候车大厅等设置的监控网点，结合系统应用服务器和后台数据库服务器，应用人像库里在逃人员或重点布控人员信息，比对来往人员的人脸信息，并对人员身份进行识别确认。后台系统业务数据库服务器用于存储火车站等场所的人脸识别比对系统的人脸库及业务数据。当系统发现全国在逃人员或重点布控人员进入监控场所时，系统自动发出报警信息，提示相关管理人员或安保人员。

图4是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的系统功能。包括人员的身份识别、人员管理和查询统计，以及全国在逃人员、重点布控人员的管理和预警，还能实现与其他系统的结合使用。

图5是本发明一种基于三维形变人脸模型用于安防的人脸识别方法的新词典含有常用的训练集和3D数据集。新词典含有常用的训练集和3D数据集，合并了原始和3D数据集作为扩展的词典；3DMM方法可以通过拟合生成的三维人脸模型的图像重建二维人脸图像的三维形状和纹理；初始化3DMM拟合过程，自动级联的基于回归的面部的地标检测方法，然后通过调整相机模型的参数，重建的三维形状和纹理呈现不同的姿势的二维人脸图像；

使用一个透视相机，通过投影重建的三维形状和纹理到一个二维图像平面渲染二维虚拟人脸；更具体地说，通过相机投影，一个顶点的三维形状的投影到一个二维坐标S＝[x^2d,y^2d]^T；该投影可以分解成两部分：一个刚性的三维变换T_r:透视投影T_p:

T_r:v′＝Rv+τ (10)

是旋转矩阵，是一个空间转化，f表示焦距，[o_x,o_y]^T是在图像平面上的相机的光轴；因此，通过设置不同的相机参数，不同姿势的图像可以重建三维形状和纹理渲染。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于三维形变人脸模型用于安防的人脸识别方法，其特征在于，主要包括原始图像数据集(一)；辅助3D人脸数据集和常用的训练图像词典(二)；新词典含有常用的训练集和3D数据集(三)；主体消除机制(四)；进行人脸识别(五)。

2.基于权利要求书1所述的原始图像数据集(一)，其特征在于，原始的人脸图像数据集，包括在逃人员或重点布控人员等的人脸信息的图像输入。

3.基于权利要求书1所述的辅助3D人脸数据集和常用的训练图像词典(二)，其特征在于，包括辅助3D人脸数据集和常用的训练图像词典。

4.基于权利要求书3所述的辅助3D人脸数据集，其特征在于，通过合成辅助3D人脸获得数据集，给定一个K×M训练样本{x_1,1,…,x_K,M}，其中K是类的数量，M是每个类的训练样本数，测试样品可以近似由所有这些训练样本的线性组合：

$y\≈\underset{k=1}{\overset{K}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}{\mathrm{\α}}_{k.m}{x}_{k,m}---\left(1\right)$

其中，α_k.m是对应的K个类的M个训练样本的系数向量的入口，P是样本的维数；入口α_k.m指示相应的训练样本代表测试样本的潜力；

方程(1)可改写为：

y≈x_α (2)

其中是包含所有训练样本和训练样本的词典矩阵，α＝[α_1,1,…,α_K,M]^T是需要估计的系数向量；一旦得到的系数向量，可以测量第k类的倾向表示测试样本：

$c_k\≈\underset{m=1}{\overset{M}{\Σ}}{\mathrm{\α}}_{k.m}{x}_{k,m}---\left(3\right)$

其中，c_k是重建的测试样品，使用的是第k类的训练样本；测试样品的重建误差为k类是通过：

E(y)_k＝‖y-c_k‖₂ (4)

以及测试样本Y的标签确定使用：

$Lable\left(y\right)=\arg \underset{k}{min}\left\{E{\left(y\right)}_k\right\}---\left(5\right)$

如上所述，分类问题的关键是获得的系数向量重构的测试样本。

5.基于权利要求书3所述的常用的训练图像词典，其特征在于，解释原始图像作为协同表示模型的分类(CRC)的训练数据集；基于稀疏表示的分类(SRC)的目的是最小化的目标函数得到的稀疏系数向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范数约束优化问题是一个比较难的问题，难以解决；

min‖α‖₁ (7)

s.t.y＝X_α

这种优化问题可以解决在多项式时间标准线性规划方法；

CRC通过求解范数最小化问题发现的系数向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的优化是一个典型的最小二乘问题，α通过以下方程获得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一个小的正常数，I是单位矩阵的正规化的解决方案；在一定条件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有竞争力的人脸分类精度，并具有较低的计算复杂度。

6.基于权利要求书1所述的新词典含有常用的训练集和3D数据集(三)，其特征在于，合并原始和3D数据集作为扩展的词典；3DMM方法可以通过拟合生成的三维人脸模型的图像重建二维人脸图像的三维形状和纹理；初始化3DMM拟合过程，自动级联的基于回归的面部的地标检测方法，然后通过调整相机模型的参数，重建的三维形状和纹理呈现不同的姿势的二维人脸图像；

使用一个透视相机，通过投影重建的三维形状和纹理到一个二维图像平面渲染二维虚拟人脸；更具体地说，通过相机投影，一个顶点的三维形状的投影到一个二维坐标S＝[x^2d,y^2d]^T；该投影可以分解成两部分：一个刚性的三维变换透视投影

T_r:v′＝Rv+τ (10)

$T_p:s=\left[\begin{array}{c}{o}_x+f\frac{v_x^{\′}}{v_z^{\′}}\\ o_y+f\frac{v_y^{\′}}{v_z^{\′}}\end{array}\right]---\left(11\right)$

是旋转矩阵，是一个空间转化，f表示焦距，[o_x,o_y]^T是在图像平面上的相机的光轴；因此，通过设置不同的相机参数，不同姿势的图像可以重建三维形状和纹理渲染。

7.基于权利要求书1所述的主体消除机制(四)，其特征在于，在扩展词典的人脸分类提出了一个迭代消除计划，删去了无用的样本；在重建误差方面，每个类代表一个测试样本的测量；从扩展的词典上消除所有的训练样本的类的最大重建误差；扩展词典的系数向量和剩余类的贡献被更新；一直重复相同的过程直到词典中的类的数量下降到一个预定义的级别；

这种消除策略加强了有更多的信息和代表重建测试样本的类；使用公式(4)估算一个特定的类和一个测试样本之间的重建误差，这是测试样品和类的所有训练样本的线性组合之间的距离测量，形成新的词典。

8.基于权利要求书1所述的进行人脸识别(五)，其特征在于，测试样品通过新词典解码进行人脸识别，测试精度高，效率高；分类器进行人脸识别，分类器的原理为：设线性可分样本集和为(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是类别标号，则

w·x+b＝0 (12)

是SVM分类器的分类面方程；在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量，纹理优化后的三维人脸图像首先进行视觉直方图特征提取，特征提取之后输入到SVM分类器之中，获得最终的分类结果。

9.基于权利要求书8所述的分类模块，其特征在于，纹理优化后的三维人脸图像首先进行Gabor滤波，获取该深度图像的Gabor滤波器响应向量集合；对该集合的每个响应向量，将其向东方(西方)视觉词典库进行映射，其对应的向量数目eastnum(westnum)进行+1处理；下列公式：

member ship(I)＝eastnum/westnum (15)

为最终的模糊隶属度函数。

10.基于权利要求书9所述的视觉词典，其特征在于，分别对不同的人脸图像进行视觉词汇计算，对计算得出的所有视觉词汇，对于其中距离比较近的视觉词汇区域，我们将其视为人脸深度视觉词汇的临界区域，其代表的是人的属性；对于相距比较远的区域，我们将其视为代表了人脸的特性信息，以此为基础分别构建人脸词典库。