CN104700076A

CN104700076A - 人脸图像虚拟样本生成方法

Info

Publication number: CN104700076A
Application number: CN201510076674.4A
Authority: CN
Inventors: 于力; 张海博; 邹见效; 徐红兵
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2015-02-13
Filing date: 2015-02-13
Publication date: 2015-06-10
Anticipated expiration: 2035-02-13
Also published as: CN104700076B

Abstract

本发明公开了一种人脸图像虚拟样本生成方法，对源姿态人脸图像训练样本和目标姿态人脸图像训练样本进行控制点标定，然后将源姿态控制点训练样本集合和目标姿态控制点训练样本集合作为RBF神经网络的输入和输出，训练得到RBF神经网络拟合模型；根据源姿态人脸图像生成源坐标矩阵，将源坐标矩阵输入RBF神经网络拟合模型得到坐标变换矩阵，根据源坐标矩阵和坐标变换矩阵进行纹理特征映射，再对纹理特征缺失点进行插值得到目标姿态人脸图像虚拟样本，最后对其进行归一化操作后保存。本发明采用RBF神经网络拟合模型，使生成的人脸图像虚拟样本更加接近真实样本，进而提高人脸识别率。

Description

人脸图像虚拟样本生成方法

技术领域

本发明属于人脸识别技术领域，更为具体地讲，涉及一种人脸图像虚拟样本生成方法。

背景技术

人脸识别技术是计算机视觉、人工智能领域的研究热点问题之一。人脸作为一种生物特征在用于身份识别领域的优势在于：(1)待识别者的配合度需求比较低，在很多场合下很少甚至不需要待识别目标主动配合，因此识别过程较为隐蔽；(2)相比于虹膜、指纹等生物特征，人脸的特征采集不需要专用的设备，使得识别成本低且更为方便；(3)目前人脸数据库相对丰富，除专业的数据库之外，公共安全等部门也已经采集了人脸数据，应用范围更加广泛。

基于以上原因，自上世纪60年代开始，人脸识别技术就成为大批研究者的重点研究方向，并取得了诸多成果，部分成果催生了一批相关产品。然而，目前的人脸识别存在着以下几个难点：1、基于小样本的人脸识别问题：由于人脸训练数据的采集需要待识别人员的配合，在人员配合度较低的情况下，往往只有少量单视角或者单样本的人脸数据；2、多姿态人脸识别问题：经典的人脸识别方法如PCA特征脸、Fisherface等方法对于姿态变化比较敏感，在人脸姿态发生变化时，识别率迅速下降。针对以上问题，许多学者提出了一些解决方法，例如三维模型方法、直接提取人脸特征匹配识别方法、基于姿态校正的识别方法、基于虚拟样本的识别方法等。

基于虚拟样本的识别方法是通过小样本或者单样本生成多张虚拟人脸样本。人脸在发生姿态变化时，人脸上所有的点将随着人脸的转动改变空间位置，而体现在二维的平面图像上，就是人脸像素点的横纵坐标发生变换，而像素点的纹理信息将保持不变。基于以上的事实，为了从某一姿态的人脸生成另一姿态的人脸，可以找到两种姿态像素点坐标之间的某种变换关系，将这种对应的变换关系泛化到所有的人脸上，从而把某一姿态的人脸通过坐标变换，再进行纹理映射，生成虚拟的姿态变化人脸。虚拟人脸样本可以拟合多姿态的人脸，从而丰富训练样本，提高多姿态人脸识别率。这种方法同时解决了单视角小样本和多姿态变化的问题，且虚拟样本的生成是在人脸识别系统初始化阶段，不影响识别速度，保证人脸识别系统的实时性。

利用小样本或单样本进行虚拟样本生成，主要的难点在于由于基础素材较少且人脸是非刚性不规则的物体，通过变换的方法来模拟人脸姿态变化，生成的样本存在一定的畸变。为了解决这个问题，目前国内外提出了一些方法，总结起来有三类：一是建立三维模型旋转映射的方法，这种方法也需要正交视角的图片建立三维模型，且方法比较复杂，运算时间长，但相对来说效果最好，不仅可以模拟姿态变化，还能模拟光照和表情的变化；二是几何变换，即压缩半边人脸同时拉伸另外一边人脸，从而接近姿态变化下的人脸。这种方法算法简单，易于执行，但是畸变较大；三是函数映射的方法，一般分为正弦变化和多项式变化，通过函数计算姿态变化前后的人脸图像像素位置，从而生成姿态人脸。这种方法运算复杂度相对较低，同时效果较好。

其中多项式变换在这类方法中表现最好的之一，目前的方法是朱长仁于2001年提出的二元二次多项式拟合方法，已经取得了一定的效果，但生成的姿态人脸与真实姿态人脸仍存在一定误差。并且人脸图像空间是一个超高维度的空间，对于这种超高维度空间的变形将是一种非线性的变形，而多项式拟合需要更高的次数才能逐步逼近这一变换，然而由于目前多项式拟合方法随着次数的增加，算法需要的标定控制点个数呈级数增长，而多项式拟合对于误差又没有抑制能力，因此随着控制点个数的增长，拟合误差也大幅增长，使得实际情况中，高次多项式拟合的拟合能力并不随着拟合次数的增加而提高。所以高次多项式拟合姿态变化生成虚拟人脸的方法具有一定的局限性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种人脸图像虚拟样本生成方法，基于RBF(Radial basis function kernel，径向基函数)神经网络非线性拟合模型来生成人脸图像虚拟样本，得到的虚拟样本更加接近真实样本，进而提高人脸识别率。

为实现上述发明目的，本发明人脸图像虚拟样本生成方法包括以下步骤：

S1：预先选取A组源姿态人脸图像训练样本和目标姿态人脸图像训练样本，其中A≥1，按相同的位置顺序分别对每组训练样本进行控制点标定，控制点数量记为n；将A组源姿态人脸图像训练样本和的对应序号的控制点坐标平均，得到源姿态控制点训练样本集合X＝{x₁,x₂,…,x_p,…,x_n}，同样方法得到目标姿态控制点训练样本集合Y＝{y₁,y₂,…,y_p,…,y_n}，其中x_p表示第p个源姿态控制点坐标，y_p表示第p个源姿态控制点对应的目标姿态控制点坐标，p的取值范围为p＝1,2,…,n；

S2：将步骤S1得到的源姿态控制点训练样本集合X和目标姿态控制点训练样本集合Y作为RBF神经网络的输入和输出，训练得到RBF神经网络拟合模型，具体步骤包括：

S2.1：令隐含层神经元节点个数h＝1；

S2.2：将步骤S1得到的源姿态控制点训练样本集合X作为训练样本，学习得到对应的RBF神经网络拟合模型；

S2.3：将步骤S1得到的源姿态控制点训练样本集合X中的n个源姿态控制点x_p作为输入，经过学习得到的RBF神经网络拟合模型得到n个输出坐标y′_p；

S2.4：求得n个输出坐标y′_p与目标姿态控制点训练样本集合Y的对应目标姿态控制点坐标y_p的均方误差MSE，如果均方误差MSE小于预设阈值，训练结束，得到RBF神经网络拟合模型，否则进入步骤S2.5；

S2.5：如果h＝n，训练结束，得到RBF神经网络拟合模型，否则令h＝h+1，返回步骤S2.2；

S3：对于需要生成目标姿态人脸虚拟样本的源姿态人脸图像，记源姿态人脸图像的尺寸k×l，将姿态人脸图像的像素点坐标列向量化得到大小为(k×l)×2的源坐标矩阵，源坐标矩阵每一行为一个像素点坐标；将源坐标矩阵输入至步骤S2得到的RBF神经网络拟合模型得到大小为(k×l)×2的坐标变换矩阵，坐标变换矩阵的第j行表示源坐标矩阵中第j行对应的源姿态人脸图像像素点变换到目标姿态人脸图像当中后的坐标；

S4：根据步骤S3得到的源坐标矩阵和坐标变换矩阵，将源姿态人脸图像的纹理映射到坐标变换矩阵指向的目标姿态人脸图像的坐标，如果目标姿态人脸图像像素点的坐标超出图像尺寸限制，将该像素点删除，从而获得目标姿态人脸图像虚拟初始样本；

S5：对目标姿态人脸图像虚拟初始样本中的纹理特征缺失点进行插值，获得完整的目标姿态人脸图像虚拟样本；

S6：对步骤S5得到的目标姿态人脸图像虚拟样本进行归一化操作并保存。

本发明人脸图像虚拟样本生成方法，对源姿态人脸图像训练样本和目标姿态人脸图像训练样本进行控制点标定，然后将源姿态控制点训练样本集合和目标姿态控制点训练样本集合作为RBF神经网络的输入和输出，训练得到RBF神经网络拟合模型；根据源姿态人脸图像生成源坐标矩阵，将源坐标矩阵输入RBF神经网络拟合模型得到坐标变换矩阵，根据源坐标矩阵和坐标变换矩阵进行纹理特征映射，再对纹理特征缺失点进行插值得到目标姿态人脸图像虚拟样本，最后对其进行归一化操作后保存。

本发明采用RBF神经网络拟合模型，可以降低拟合输出误差，获得了更好的拟合效果，使生成的人脸图像虚拟样本更加接近真实样本，从而解决小样本甚至单样本人脸识别以及多姿态人脸识别问题，进而提高人脸识别率。并且应用本发明进行人脸识别时，算法增加的运算量主要集中在算法初始化(RBF神经网络拟合模型训练)阶段，不影响后续人脸识别的判别时间，保证人脸识别系统的实时性。

附图说明

图1是本发明人脸图像虚拟样本生成方法的流程图；

图2是控制点标定的示意图；

图3是RBF神经网络拟合模型示意图；

图4是RBF神经网络拟合模型的训练流程图；

图5是目标姿态人脸虚拟初始样本；

图6是完整的目标姿态人脸图像虚拟样本；

图7是本发明与两种对比方法的人脸识别率对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明人脸图像虚拟样本生成方法的流程图。如图1所示，本发明人脸图像虚拟样本生成方法包括以下步骤：

S101：标定人脸控制点：

预先选取A组源姿态人脸图像训练样本和目标姿态人脸图像训练样本，其中A≥1，按相同的位置顺序分别对每组训练样本进行控制点标定，控制点数量记为n；将A组源姿态人脸图像训练样本的对应序号的控制点坐标平均，得到源姿态控制点训练样本集合X＝{x₁,x₂,…,x_p,…,x_n}，同样方法得到目标姿态控制点训练样本集合Y＝{y₁,y₂,…,y_p,…,y_n}，其中x_p表示第p个源姿态控制点坐标，y_p表示第p个源姿态控制点对应的目标姿态控制点坐标，p的取值范围为p＝1,2,…,n。

本步骤得到的n个控制点的坐标将作为RBF神经网络的训练集。因为RBF神经网络泛化能力与初始控制点的选取有较大的关系，因此本步骤应该尽量选择人脸特征明显的关键点作为控制点，最大程度地表现人脸部特征在姿态变换下的变化。控制点的标定可以采用人工和自动两种方式，人工方式即对每组源姿态人脸图像训练样本和目标姿态人脸图像中的人脸特征点手工标定形成控制点集合；自动方式是通过人脸检测、特征点定位算法如Gabor小波、ASM或AAM等方法自动标定人脸特征点。本实施例采用主动表现模型(AAM)来定位人脸特征点，该方法建立了Shape模型、Texture模型和Appearance模型，并迭代搜索匹配定位人脸特征点。图2是控制点标定的示意图。如图2所示是一组源姿态人脸图像训练样本和目标姿态人脸图像训练样本，用黑点标示出了该组图像标定的控制点。源姿态人脸图像训练样本中的控制点和目标姿态人脸图像训练样本的控制点是一一对应的。相同的位置顺序是指每组源姿态人脸图像训练样本和目标姿态人脸图像训练样本中控制点的位置顺序是一致的，例如控制点依次为内眼角、外眼角、眉心、鼻尖……。再通过平均来得到控制点坐标，可以降低控制点标定时产生的误差。

S102：训练得到RBF神经网络拟合模型：

图3是RBF神经网络拟合模型示意图。如图3所示，RBF神经网络拟合模型是含有三层结构的前向网络。第一层为输入层，输入层神经元节点数与输入样本的维数一致。本发明中样本是像素点坐标，为二维向量，因此输入层由二个节点构成。第二层为隐含层，隐含层神经元节点个数视所解决的具体问题而定，训练过程中将不断增加隐含层的神经元节点个数，以逐步逼近输出误差的预设值，直至满足输出误差阈值。隐含层中神经元的激励函数是径向基函数，本实施例中使用径向基函数中的高斯函数作为该神经网络的激励函数，即：

R (x_{p} - c_{i}) = \exp (- \frac{1}{{2 σ}_{i}^{2}} {| | x_{p} - c_{i} | |}^{2}) .

式中，R为径向基函数，exp()表示以自然常数e为底的指数函数，||||²为欧式范数，c_i为径向基函数的中心，σ_i为径向基函数的方差，i表示隐含层神经元的序号，取值范围为i＝1,2,…,h，h表示隐含层神经元节点个数。

第三层为输出层，表达对输入模式的响应。本发明的输出也是坐标，因此输出层的神经元节点个数也是二个。

图4是RBF神经网络拟合模型的训练流程图。如图4所示，RBF神经网络拟合模型的训练包括以下步骤：

S401：令隐含层神经元节点个数h＝1。

S402：学习得到RBF神经网络拟合模型：

将步骤S101得到的源姿态控制点训练样本集合X＝{x₁,x₂,…,x_p,…,x_n}作为训练样本，学习得到对应的RBF神经网络拟合模型。

RBF神经网络拟合模型的学习过程本质上是求解RBF神经网络的三个参数：径向基函数的方差、中心以及从隐含层到输出层的权值，本实施例采用自组织选取中心的RBF神经网络学习方法。这种学习方法包含两个阶段：第一阶段为自组织学习阶段，该阶段求取神经网络径向基函数的方差和中心，为无导师学习过程；第二阶段为有导师学习阶段，该阶段求解从隐含层到输出的权值。具体步骤包括：

(一)求取径向基函数中心c_i：

采用基于K-means聚类算法来求取基函数中心，包括以下步骤：

1)初始化：从源姿态控制点训练样本集合X＝{x₁,x₂,…,x_p,…,x_n}的n个源姿态控制点坐标中随机选取h个控制点作为聚类中心c_i，i＝1,2,…,h。

2)聚类：将n个源姿态控制点坐标x_p按最近邻规则分组，即根据x_p与聚类中心c_i之间的欧氏距离将x_p分到h个聚类样本集合θ_i中。

3)重新调整聚类中心：计算各个聚类样本集合θ_i中的控制点坐标平均值作为新的聚类中心c_i′，如果聚类中心c_i与新的聚类中心c_i′之间的距离小于阈值，则认为聚类中心不再发生变化，则所得到的c_i′即为RBF神经网络的径向基函数中心，否则令c_i＝c_i′，返回上一步，进行下一轮的中心求解。

(二)求解基函数方差：

由于本实施例RBF神经网络以高斯函数作为径向基函数，所以基函数方差为：

σ_{i} = \frac{c_{\max}}{\sqrt{2 h}}

其中，c_max是所得到的基函数中心两两之间的距离最大值。

(三)计算从隐含层到输出的权值：

从隐含层每个神经元节点到输出层中两个神经元节点的连接权值w_i1＝w_i2＝w_i，采用下面的计算公式得到：

w_{i} = \exp (\frac{h}{{c^{2}}_{\max}} {| | x_{p} - c_{i} | |}^{2})

S403：得到响应输出：

将步骤S101得到的n个源姿态控制点x_p作为输入，经过学习得到的RBF神经网络拟合模型得到n个输出坐标y′_p。

S404：求取均方误差：

求得n个输出坐标y′_p与目标姿态控制点训练样本集合Y＝{y₁,y₂,…,y_p,…,y_n}的对应目标姿态控制点坐标y_p的均方误差MSE，计算公式为：

MSE = \sqrt{\frac{Σ_{p = 1}^{n} {| | y_{p}^{'} - y_{p} | |}^{2}}{n}}

其中，||||²表示欧式范数。

S405：判断是否均方误差MSE小于预设阈值，如果是，训练结束，得到RBF神经网络拟合模型，否则进入步骤S406。

S406：判断是否h＝n，如果是，训练结束，得到RBF神经网络拟合模型，否则进入步骤S407。

S407：令h＝h+1，返回步骤S402。

S103：建立坐标变换矩阵：

对于需要生成目标姿态人脸虚拟样本的源姿态人脸图像，记源姿态人脸图像的尺寸k×l，将姿态人脸图像的像素点坐标列向量化得到大小为(k×l)×2的源坐标矩阵，源坐标矩阵每一行为一个像素点坐标；将源坐标矩阵输入至步骤S102得到的RBF神经网络拟合模型得到大小为(k×l)×2的坐标变换矩阵，坐标变换矩阵的第j行表示源坐标矩阵中第j行对应的源姿态人脸图像像素点变换到目标姿态人脸图像当中后的坐标。

S104：纹理特征映射：

根据步骤S103得到的源坐标矩阵和坐标变换矩阵，将源姿态人脸图像的纹理映射到坐标变换矩阵指向的目标姿态人脸图像的坐标，即复制源坐标矩阵中每一行对应像素点的像素值到变换矩阵中对应行指向的目标姿态人脸图像像素点，如果目标姿态人脸图像像素点的坐标超出图像尺寸限制，将该像素点删除，从而获得目标姿态人脸图像虚拟初始样本。

图5是目标姿态人脸虚拟初始样本。如图5所示，生成的目标姿态人脸虚拟初始样本图像中有一些点显示为黑色，这些点的纹理特征为零。这是由于本发明采用的坐标变换是非线性的，源姿态人脸图像与目标姿态人脸图像的坐标并非一一对应关系，步骤S104得到的目标姿态人脸图像虚拟样本中的某些像素点存在纹理信息缺失的情况，因此需要对缺失点进行插值。

S105：对纹理特征缺失点进行插值：

对步骤S104得到的目标姿态人脸图像虚拟初始样本中的纹理特征缺失点进行插值，获得完整的目标姿态人脸图像虚拟样本。本实施例中采用最近邻插值的方法，即由目标姿态人脸图像虚拟初始样本中距离缺失点位置最近的非纹理缺失像素点的像素值决定缺失点的像素值，如果只有一个最近像素点，则直接复制到缺失点即可，如果有多个最近像素点，则将多个最近像素点的像素值进行平均作为缺失点的像素值。图6是完整的目标姿态人脸图像虚拟样本。如图6所示，经过插值填补了缺失点，得到完整的目标姿态人脸图像虚拟样本。

S106：图像归一化保存：

对步骤S105得到的目标姿态人脸图像虚拟样本进行归一化操作，具体包括：首先通过直方图归一化方法对图像亮度进行归一化，然后通过双眼位置进行人脸位置归一化，最后将目标姿态人脸图像虚拟样本调整为标准尺寸。把归一化之后的目标姿态人脸图像虚拟样本保存。

为了更好地说明本发明的实施过程和有益效果，采用一个具体实例进行了实验验证。本实施例FERET人脸数据库，该数据库包含每人7张人脸图像，有姿态、表情和光照的变化。从FERET人脸数据库中再取5个人的正面和4种姿态(±25°和±15°)进行RBF神经网络的训练。将正面作为源姿态，其他4种姿态作为目标姿态。分别标定这5个人源姿态人脸图像和每个目标姿态人脸图像的控制点，形成25个控制点集。这些控制点集按姿态分为5组，分别为正面、±25°和±15°，求每组控制点的坐标平均值，作为该姿态的控制点坐标。用正面姿态的控制点训练样本集合分别和其他4个姿态±25°和±15°的控制点训练样本集合来训练对应的RBF神经网络拟合模型，共计得到4个RBF神经网络拟合模型。

为了测试本发明方法对于多姿态人脸的识别情况，随机选取了其中50个人的正面样本，以及有姿态变化的±25°和±15°的人脸图像样本。将这50个人的正面样本作为源姿态人脸图像，输入4个RBF神经网络拟合模型，分别得到此人±25°和±15°的人脸图像虚拟样本，进行归一化操作后保存。

将原有的正面人脸样本和生成的姿态样本每人5张人脸图片，共50人250幅人脸一起作为人脸识别的训练集。人脸图片的维数很高，所以为了降低人脸描述的维数，这里采用了Fisherface的方法，对这250幅人脸图片进行PCA(Principal Components Analysis，主成分分析)降维并根据LDA(LinearDiscriminant Analysis,线性判别式分析)的理论寻找投影维数，将降维后的训练数据作为分类器的输入，训练KNN(k-NearestNeighbor，K最近邻)分类器。将这50个人真实的±25°和±15°的人脸图像样本作为测试样本，提取同样的特征通过训练好的KNN分类器进行分类，获得分类器的预测分类结果。将预测分类结果与正确类别比较获得实验的人脸识别率。

将基于单样本的人脸识别和基于二元二次函数生成虚拟样本的人脸识别的方法作为对比方法，也进行了测试，得到人脸识别率。

图7是本发明与两种对比方法的人脸识别率对比图。如图7所示，将本发明生成的人脸图像虚拟样本和正面人脸单样本共同作为训练集，相比正面人脸单样本作为训练接的人脸识别方法，在对-25°到+25°之间的各个姿态的平均识别率提高了53.8％，整体识别率大幅提升，说明本发明对增加人脸分类类内散度效果显著，对提高多姿态人脸识别率有很大帮助。在同二元二次多项式生成的虚拟样本和正面人脸单样本共同作为训练集的人脸识别方法进行比较时，本发明的方法在对-25°至25°的各个姿态的识别率达到70％、90％、86％、74％，平均识别率提高了8.8％。说明本发明提出的方法在对姿态的变化上有更好的拟合效果，是进一步提高多姿态人脸识别率的有效手段。

可以看出，本发明基于RBF神经网络拟合生成虚拟样本的人脸识别方法在很好地解决了小样本甚至单样本人脸识别以及多姿态人脸识别问题，取得了较好的人脸识别率。这是因为RBF神经网络在拟合上的强大能力，降低了拟合输出误差，获得了更好的拟合效果，使生成的人脸图像虚拟样本更加接近真实样本。并且应用本发明进行人脸识别时，算法增加的运算量主要集中在算法初始化(RBF神经网络拟合模型训练)阶段，不影响后续人脸识别的判别时间，保证人脸识别系统的实时性。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种人脸图像虚拟样本生成方法，其特征在于，包括以下步骤：

S2.1：令隐含层神经元节点个数h＝1；

2.根据权利要求1所述的人脸图像虚拟样本生成方法，其特征在于，所述步骤S5中纹理特征缺失点的插值采用最近邻插值的方法，具体方法为：由目标姿态人脸图像虚拟初始样本中距离缺失点位置最近的非纹理缺失像素点的像素值决定缺失点的像素值，如果只有一个最近像素点，则直接复制到缺失点，如果有多个最近像素点，则将多个最近像素点的像素值进行平均作为缺失点的像素值。

3.根据权利要求1所述的人脸虚拟样本生成方法，其特征在于，所述步骤S6中的归一化操作的具体方法为：首先通过直方图归一化方法对图像亮度进行归一化，然后通过双眼位置进行人脸位置归一化，最后将目标姿态人脸图像虚拟样本调整为标准尺寸。