CN106529486A - 一种基于三维形变人脸模型的种族识别方法 - Google Patents

Abstract

本发明中提出的一种基于三维形变人脸模型的种族识别方法，其主要内容包括：原始图像数据集、辅助3D人脸数据集和常用的训练图像词典、新词典含有常用的训练集和3D数据集、主体消除机制、进行种族分类，其过程为，先将各个人种或各个民族的图像输入，形成原始图像数据集，通过合成辅助3D人脸获得数据集，解释原始图像作为协同表示模型的分类(CRC)的训练数据集，形成常用的训练图像词典；再合并原始和3D数据集作为扩展的词典，则新词典含有常用的训练集和3D数据集；接着进行主体消除机制，最后测试样品通过新词典解码进行分类。本发明中光照、表情、遮挡和姿势变化的存在对识别的影响较小；消除信息冗余，提高识别效率。

Description

一种基于三维形变人脸模型的种族识别方法

技术领域

本发明涉及人脸识别领域，尤其是涉及了一种基于三维形变人脸模型的种族识别方法。

背景技术

人脸是人类最重要的生物特征之一，反映了很多重要的生物信息，如身份、性别、种族、年龄、表情等。其中种族识别可以广泛应用于各种公共场所的监控系统或信息采集系统，方便收集顾客的身份和相关信息，从而根据顾客种族信息进行统计和提供进一步的服务；也可应用于电子产品的用户鉴别，使电子产品能自动地识别用户的种族，根据识别结果给用户提供相应的用户界面和服务，使得各类电子产品更加人性化。但是传统的识别中，光照、表情、遮挡和姿势变化的存在会对识别造成影响，而且有冗余消息，识别效率不高。

本发明提出了一种基于三维形变人脸模型的种族识别方法，先将各个人种或各个民族的图像输入，形成原始图像数据集，通过合成辅助3D人脸获得数据集，解释原始图像作为协同表示模型的分类(CRC)的训练数据集，形成常用的训练图像词典；再合并原始和3D数据集作为扩展的词典，则新词典含有常用的训练集和3D数据集；接着进行主体消除机制，最后测试样品通过新词典解码进行分类。本发明中光照、表情、遮挡和姿势变化的存在对识别的影响较小；消除信息冗余，提高识别效率。

发明内容

针对光照、表情、遮挡和姿势变化的存在对识别有影响的问题，本发明的目的在于提供一种基于三维形变人脸模型的种族识别方法，先将各个人种或各个民族的图像输入，形成原始图像数据集，通过合成辅助3D人脸获得数据集，解释原始图像作为协同表示模型的分类(CRC)的训练数据集，形成常用的训练图像词典；再合并原始和3D数据集作为扩展的词典，则新词典含有常用的训练集和3D数据集；接着进行主体消除机制，最后测试样品通过新词典解码进行分类。

为解决上述问题，本发明提供一种基于三维形变人脸模型的种族识别方法，其主要内容包括：

(一)原始图像数据集；

(二)辅助3D人脸数据集和常用的训练图像词典；

(三)新词典含有常用的训练集和3D数据集；

(四)主体消除机制；

(五)进行种族分类。

其中，所述的原始图像数据集，指的是原始各类人种的图像数据集，包括亚洲、非洲、欧洲以及藏族等少数民族的人种的图像输入，每个人种的数据集含10万张图像。

其中，所述的辅助3D人脸数据集和常用的训练图像词典，包括辅助3D人脸数据集和常用的训练图像词典。

进一步地，所述的辅助3D人脸数据集，通过合成辅助3D人脸获得数据集，给定一个K×M训练样本{x_1,1,…,x_K,M}，其中K是类的数量，M是每个类的训练样本数，测试样品可以近似由所有这些训练样本的线性组合：

其中，α_k.m是对应的K个类的M个训练样本的系数向量的入口，P是样本的维数；入口α_k.m指示相应的训练样本代表测试样本的潜力；

方程(1)可改写为：

y≈x_α (2)

其中是包含所有训练样本和训练样本的词典矩阵，α＝[α_1,1,…,α_K,M]^T是需要估计的系数向量；一旦得到的系数向量，可以测量第k类的倾向表示测试样本：

其中，c_k是重建的测试样品，使用的是第k类的训练样本；测试样品的重建误差为k类是通过：

E(y)_k＝‖y-c_k‖₂ (4)

以及测试样本Y的标签确定使用：

如上所述，分类问题的关键是获得的系数向量重构的测试样本。

进一步地，所述的常用的训练图像词典，解释原始图像作为协同表示模型的分类(CRC)的训练数据集；基于稀疏表示的分类(SRC)的目的是最小化的目标函数得到的稀疏系数向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范数约束优化问题是一个比较难的问题，难以解决；

min‖α‖₁ (7)

s.t.y＝X_α

这种优化问题可以解决在多项式时间标准线性规划方法；

CRC通过求解范数最小化问题发现的系数向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的优化是一个典型的最小二乘问题，α通过以下方程获得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一个小的正常数，I是单位矩阵的正规化的解决方案；在一定条件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有竞争力的人脸分类精度，并具有较低的计算复杂度。

其中，所述的新词典含有常用的训练集和3D数据集，合并原始和3D数据集作为扩展的词典；3DMM方法可以通过拟合生成的三维人脸模型的图像重建二维人脸图像的三维形状和纹理；初始化3DMM拟合过程，自动级联的基于回归的面部的地标检测方法，然后通过调整相机模型的参数，重建的三维形状和纹理呈现不同的姿势的二维人脸图像；

使用一个透视相机，通过投影重建的三维形状和纹理到一个二维图像平面渲染二维虚拟人脸；更具体地说，通过相机投影，一个顶点的三维形状的投影到一个二维坐标S＝[x^2d,y^2d]^T；该投影可以分解成两部分：一个刚性的三维变换透视投影

T_r:v′＝Rv+τ (10)

是旋转矩阵，是一个空间转化，f表示焦距，[o_x,o_y]^T是在图像平面上的相机的光轴；因此，通过设置不同的相机参数，不同姿势的图像可以重建三维形状和纹理渲染。

其中，所述的主体消除机制，在扩展词典的人脸分类提出了一个迭代消除计划，删去了无用的样本；在重建误差方面，每个类代表一个测试样本的测量；从扩展的词典上消除所有的训练样本的类的最大重建误差；扩展词典的系数向量和剩余类的贡献被更新；一直重复相同的过程直到词典中的类的数量下降到一个预定义的级别；

这种消除策略加强了有更多的信息和代表重建测试样本的类；使用公式(4)估算一个特定的类和一个测试样本之间的重建误差，这是测试样品和类的所有训练样本的线性组合之间的距离测量，形成新的词典。

其中，所述的进行种族分类，测试样品通过新词典解码进行分类，测试精度高，效率高；分类器进行人脸识别，分类器的原理为：设线性可分样本集和为(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是类别标号，则

w·x+b＝0 (12)

是SVM分类器的分类面方程；在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量，纹理优化后的三维人脸图像首先进行视觉直方图特征提取，特征提取之后输入到SVM性别分类器之中，获得最终的性别分类结果。

进一步地，所述的分类模块，不同于性别分类的二分类设计，我们将种族分类视为一个模糊分类问题，纹理优化后的三维人脸图像首先进行Gabor滤波，获取该深度图像的Gabor滤波器响应向量集合；对该集合的每个响应向量，将其向东方(西方)视觉词典库进行映射，如果与东方(西方)词典库中的某个词汇距离小于阈值，则该响应向量属于东方(西方)人脸，其对应的向量数目eastnum(westnum)进行+1处理；下列公式：

member ship(I)＝eastnum/westnum (15)

为最终的模糊隶属度函数。

进一步地，所述的视觉词典，分别对不同种族的人脸图像进行视觉词汇计算，对计算得出的所有视觉词汇，对于其中距离比较近的视觉词汇区域，我们将其视为种族深度视觉词汇的临界区域，其代表的是人的属性；对于相距比较远的区域，我们将其视为代表了种族的特性信息(东方或者西方深度人脸图像)，以此为基础分别构建不同种族词典库。

附图说明

图1是本发明一种基于三维形变人脸模型的种族识别方法的系统流程图。

图2是本发明一种基于三维形变人脸模型的种族识别方法的各类人种的图像数据集。

图3是本发明一种基于三维形变人脸模型的种族识别方法的新词典含有常用的训练集和3D数据集。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于三维形变人脸模型的种族识别方法的系统流程图。主要包括原始图像数据集，辅助3D人脸数据集和常用的训练图像词典，新词典含有常用的训练集和3D数据集，主体消除机制和进行种族分类。

其中，辅助3D人脸数据集和常用的训练图像词典，包括辅助3D人脸数据集和常用的训练图像词典。

辅助3D人脸数据集，通过合成辅助3D人脸获得数据集，给定一个K×M训练样本{x_1,1,…,x_K,M}，其中K是类的数量，M是每个类的训练样本数，测试样品可以近似由所有这些训练样本的线性组合：

其中，α_k.m是对应的K个类的M个训练样本的系数向量的入口，P是样本的维数；入口α_k.m指示相应的训练样本代表测试样本的潜力；

方程(1)可改写为：

y≈x_α (2)

其中是包含所有训练样本和训练样本的词典矩阵，α＝[α_1,1,…,α_K,M]^T是需要估计的系数向量；一旦得到的系数向量，可以测量第k类的倾向表示测试样本：

其中，c_k是重建的测试样品，使用的是第k类的训练样本；测试样品的重建误差为k类是通过：

E(y)_k＝‖y-c_k‖₂ (4)

以及测试样本Y的标签确定使用：

如上所述，分类问题的关键是获得的系数向量重构的测试样本。

常用的训练图像词典，解释原始图像作为协同表示模型的分类(CRC)的训练数据集；基于稀疏表示的分类(SRC)的目的是最小化的目标函数得到的稀疏系数向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范数约束优化问题是一个比较难的问题，难以解决；

min‖α‖₁ (7)

s.t.y＝X_α

这种优化问题可以解决在多项式时间标准线性规划方法；

CRC通过求解范数最小化问题发现的系数向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的优化是一个典型的最小二乘问题，α通过以下方程获得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一个小的正常数，I是单位矩阵的正规化的解决方案；在一定条件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有竞争力的人脸分类精度，并具有较低的计算复杂度。

其中，主体消除机制，在扩展词典的人脸分类提出了一个迭代消除计划，删去了无用的样本；在重建误差方面，每个类代表一个测试样本的测量；从扩展的词典上消除所有的训练样本的类的最大重建误差；扩展词典的系数向量和剩余类的贡献被更新；一直重复相同的过程直到词典中的类的数量下降到一个预定义的级别；

这种消除策略加强了有更多的信息和代表重建测试样本的类；使用公式(4)估算一个特定的类和一个测试样本之间的重建误差，这是测试样品和类的所有训练样本的线性组合之间的距离测量，形成新的词典。

其中，进行种族分类，测试样品通过新词典解码进行分类，测试精度高，效率高；分类器进行人脸识别，分类器的原理为：设线性可分样本集和为(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是类别标号，则

w·x+b＝0 (12)

是SVM分类器的分类面方程；在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量，纹理优化后的三维人脸图像首先进行视觉直方图特征提取，特征提取之后输入到SVM性别分类器之中，获得最终的性别分类结果。

进一步地，分类模块，不同于性别分类的二分类设计，我们将种族分类视为一个模糊分类问题，纹理优化后的三维人脸图像首先进行Gabor滤波，获取该深度图像的Gabor滤波器响应向量集合；对该集合的每个响应向量，将其向东方(西方)视觉词典库进行映射，如果与东方(西方)词典库中的某个词汇距离小于阈值，则该响应向量属于东方(西方)人脸，其对应的向量数目eastnum(westnum)进行+1处理；下列公式：

member ship(I)＝eastnum/westnum (15)

为最终的模糊隶属度函数。

进一步地，视觉词典，分别对不同种族的人脸图像进行视觉词汇计算，对计算得出的所有视觉词汇，对于其中距离比较近的视觉词汇区域，我们将其视为种族深度视觉词汇的临界区域，其代表的是人的属性；对于相距比较远的区域，我们将其视为代表了种族的特性信息(东方或者西方深度人脸图像)，以此为基础分别构建不同种族词典库。

图2是本发明一种基于三维形变人脸模型的种族识别方法的各类人种的图像数据集。包括了亚洲、非洲、欧洲以及藏族等少数民族的人种的图像输入，每个人种的数据集含10万张图像。

图3是本发明一种基于三维形变人脸模型的种族识别方法的新词典含有常用的训练集和3D数据集。新词典含有常用的训练集和3D数据集，合并了原始和3D数据集作为扩展的词典；3DMM方法可以通过拟合生成的三维人脸模型的图像重建二维人脸图像的三维形状和纹理；初始化3DMM拟合过程，自动级联的基于回归的面部的地标检测方法，然后通过调整相机模型的参数，重建的三维形状和纹理呈现不同的姿势的二维人脸图像；

使用一个透视相机，通过投影重建的三维形状和纹理到一个二维图像平面渲染二维虚拟人脸；更具体地说，通过相机投影，一个顶点的三维形状的投影到一个二维坐标S＝[x^2d,y^2d]^T；该投影可以分解成两部分：一个刚性的三维变换透视投影

T_r:v′＝Rv+τ (10)

是旋转矩阵，是一个空间转化，f表示焦距，[o_x,o_y]^T是在图像平面上的相机的光轴；因此，通过设置不同的相机参数，不同姿势的图像可以重建三维形状和纹理渲染。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于三维形变人脸模型的种族识别方法，其特征在于，主要包括原始图像数据集(一)；辅助3D人脸数据集和常用的训练图像词典(二)；新词典含有常用的训练集和3D数据集(三)；主体消除机制(四)；进行种族分类(五)。

2.基于权利要求书1所述的原始图像数据集(一)，其特征在于，原始各类人种的图像数据集，包括亚洲、非洲、欧洲以及藏族等少数民族的人种的图像输入，每个人种的数据集含10万张图像。

3.基于权利要求书1所述的辅助3D人脸数据集和常用的训练图像词典(二)，其特征在于，包括辅助3D人脸数据集和常用的训练图像词典。

4.基于权利要求书3所述的辅助3D人脸数据集，其特征在于，通过合成辅助3D人脸获得数据集，给定一个K×M训练样本{x_1,1,…,x_K,M}，其中K是类的数量，M是每个类的训练样本数，测试样品可以近似由所有这些训练样本的线性组合：

其中，α_k.m是对应的K个类的M个训练样本的系数向量的入口，P是样本的维数；入口α_k.m指示相应的训练样本代表测试样本的潜力；

方程(1)可改写为：

y≈x_α (2)

其中是包含所有训练样本和训练样本的词典矩阵，α＝[α_1,1,…,α_K,M]^T是需要估计的系数向量；一旦得到的系数向量，可以测量第k类的倾向表示测试样本：

$c_k\≈\underset{m=1}{\overset{M}{\Σ}}{\mathrm{\α}}_{k.m}{x}_{k,m}---\left(3\right)$

其中，c_k是重建的测试样品，使用的是第k类的训练样本；测试样品的重建误差为k类是通过：

E(y)_k＝‖y-c_k‖₂ (4)

以及测试样本Y的标签确定使用：

$Lable\left(y\right)=\arg \underset{k}{min}\left\{E{\left(y\right)}_k\right\}---\left(5\right)$

如上所述，分类问题的关键是获得的系数向量重构的测试样本。

5.基于权利要求书3所述的常用的训练图像词典，其特征在于，解释原始图像作为协同表示模型的分类(CRC)的训练数据集；基于稀疏表示的分类(SRC)的目的是最小化的目标函数得到的稀疏系数向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范数约束优化问题是一个比较难的问题，难以解决；

min‖α‖₁ (7)

s.t.y＝X_α

这种优化问题可以解决在多项式时间标准线性规划方法；

CRC通过求解范数最小化问题发现的系数向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的优化是一个典型的最小二乘问题，α通过以下方程获得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一个小的正常数，I是单位矩阵的正规化的解决方案；在一定条件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有竞争力的人脸分类精度，并具有较低的计算复杂度。

6.基于权利要求书1所述的新词典含有常用的训练集和3D数据集(三)，其特征在于，合并原始和3D数据集作为扩展的词典；3DMM方法可以通过拟合生成的三维人脸模型的图像重建二维人脸图像的三维形状和纹理；初始化3DMM拟合过程，自动级联的基于回归的面部的地标检测方法，然后通过调整相机模型的参数，重建的三维形状和纹理呈现不同的姿势的二维人脸图像；

使用一个透视相机，通过投影重建的三维形状和纹理到一个二维图像平面渲染二维虚拟人脸；更具体地说，通过相机投影，一个顶点的三维形状的投影到一个二维坐标S＝[x^2d,y^2d]^T；该投影可以分解成两部分：一个刚性的三维变换透视投影

T_r:v′＝Rv+τ (10)

$T_p:s=\left[\begin{array}{c}{o}_x+f\frac{v_x^{\′}}{v_z^{\′}}\\ o_y+f\frac{v_y^{\′}}{v_z^{\′}}\end{array}\right]---\left(11\right)$

是旋转矩阵，是一个空间转化，f表示焦距，[o_x,o_y]^T是在图像平面上的相机的光轴；因此，通过设置不同的相机参数，不同姿势的图像可以重建三维形状和纹理渲染。

7.基于权利要求书1所述的主体消除机制(四)，其特征在于，在扩展词典的人脸分类提出了一个迭代消除计划，删去了无用的样本；在重建误差方面，每个类代表一个测试样本的测量；从扩展的词典上消除所有的训练样本的类的最大重建误差；扩展词典的系数向量和剩余类的贡献被更新；一直重复相同的过程直到词典中的类的数量下降到一个预定义的级别；

这种消除策略加强了有更多的信息和代表重建测试样本的类；使用公式(4)估算一个特定的类和一个测试样本之间的重建误差，这是测试样品和类的所有训练样本的线性组合之间的距离测量，形成新的词典。

8.基于权利要求书1所述的进行种族分类(五)，其特征在于，测试样品通过新词典解码进行分类，测试精度高，效率高；分类器进行人脸识别，分类器的原理为：设线性可分样本集和为(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是类别标号，则

w·x+b＝0 (12)

是SVM分类器的分类面方程；在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量，纹理优化后的三维人脸图像首先进行视觉直方图特征提取，特征提取之后输入到SVM性别分类器之中，获得最终的性别分类结果。

9.基于权利要求书8所述的分类模块，其特征在于，不同于性别分类的二分类设计，我们将种族分类视为一个模糊分类问题，纹理优化后的三维人脸图像首先进行Gabor滤波，获取该深度图像的Gabor滤波器响应向量集合；对该集合的每个响应向量，将其向东方(西方)视觉词典库进行映射，如果与东方(西方)词典库中的某个词汇距离小于阈值，则该响应向量属于东方(西方)人脸，其对应的向量数目eastnum(westnum)进行+1处理；下列公式：

member ship(I)＝eastnum/westnum (15)

为最终的模糊隶属度函数。

10.基于权利要求书9所述的视觉词典，其特征在于，分别对不同种族的人脸图像进行视觉词汇计算，对计算得出的所有视觉词汇，对于其中距离比较近的视觉词汇区域，我们将其视为种族深度视觉词汇的临界区域，其代表的是人的属性；对于相距比较远的区域，我们将其视为代表了种族的特性信息(东方或者西方深度人脸图像)，以此为基础分别构建不同种族词典库。