CN105095857A - 基于关键点扰动技术的人脸数据增强方法 - Google Patents

Abstract

本发明公开一种基于关键点扰动技术的人脸数据增强方法，该方法利用首先采用基于人脸关键点技术的人脸对齐方法，然后对关键点位置进行扰动，再分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片。本发明基于人脸关键点技术的人脸对齐方法，以线性变换、仿射变换、分块仿射变换进行人脸对齐，并对关键点位置进行扰动，使一张人脸图片能够生成多张人脸图片。本发明是一种能够解决人脸识别训练过程中数据不足的方法，通过一张人脸图片生成多张图片，从而增加训练量，提高人脸识别的准确率。

Description

基于关键点扰动技术的人脸数据增强方法

技术领域

本发明涉及的是一种人脸识别技术领域的人脸对齐方法，具体涉及的是一种基于关键点扰动技术的人脸数据增强方法。

背景技术

人脸识别技术是计算机视觉的重要分支，一直以来都具有极高的学术研究价值和广泛的市场应用前景。一个完整的人脸识别系统包含以下四种技术：人脸检测、人脸对齐、人脸特征提取、人脸比对。而人脸特征提取是人脸识别系统中非常关键的步骤。常用的人脸特征提取技术包括：单层人工特征、二层Encoding特征和利用深度学习方法学习出的层次化特征。其中利用深度学习得到的高层特征因为能够表达人的眼睛颜色、嘴巴形状、性别等更高级的语义信息，具有更强的描述能力。利用这种特征进行比对识别能够大大提高人脸识别的识别率。因此，基于深度学习的理论已经成为2013以来最炙手可热的人脸识别理论。2014年，Facebook在CVPR发表的论文表明其在LFW数据集上的识别率达到了97.25％。

虽然深度学习有着广阔的应用前景，但进一步提升深度学习方法的人脸识别率却存在一些难题，主要是深度学习模型的训练需要海量数据的支持，而大规模数据采集的难度较大，同时需要耗费大量的人力和物力。对一般的科研机构而言，采集如此多的数据非常困难。

经检索，申请号为CN201310628537.8的中国发明专利，该发明公开了一种人脸对齐方法，包括：步骤1)、在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人脸图像样本，其中所述参考集包括已标定面部特征点的多个人脸图像样本；步骤2)、从所述K个近邻人脸图像样本的面部特征点中得到所述输入人脸图像的面部特征点；步骤3)、对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分，每块单独计算仿射变换，对齐到指定的脸。但是该专利技术仍旧没有解决上述训练样本量不足的问题。

发明内容

本发明为解决上述内容中提到的训练样本量不足的问题，提供一种基于关键点扰动技术的人脸数据增强方法，增大训练数据量，提高人脸识别的准确率。

为实现上述目的，本发明采用的技术方案是：本发明首先采用基于人脸关键点技术的人脸对齐方法，然后对关键点位置进行扰动，再分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片。

本发明所述方法包括以下步骤：

第一步、对图像I(x，y)检测关键点{P(x，y)}_n，并找出其中三个重要关键点位置P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)；

优选地，第一步具体包括：

1.1)将彩色原图像转化成为灰度图像I(x，y)；

1.2)对灰度图像I(x，y)使用基于ViolaandJones框架的人脸检测算法，找出人脸区域图像

1.3)使用基于SDM的关键点检测技术，计算图像中人脸关键点位置{P(x，y)}_n，并找出其中分别代表双眼中心位置，嘴巴中心位置的三个关键点位置P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)。

第二步、对图像的关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)进行扰动，得到新的关键点位置

优选地，第二步具体包括：

2.1)根据三个关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)的相对位置，确定关键点的扰动范围{h，v}，其中h代表水平方向的扰动范围，v代表垂直方向的扰动范围；

2.2)在扰动范围{h，v}内生成三组随机数{Pr(x，y)}₃，基于此对关键点进行扰动，得到扰动后的关键点

2.3)重复m次扰动，得到m组新的关键点

第三步、根据扰动后关键点位置对图像I(x，y)根据传统变换定义分别进行线性变换、仿射变换、分块放射变换，得到对齐后的图像；

优选地，第三步具体包括：

3.1)根据扰动后的关键点和原关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)的变换对应关系，计算相应变换矩阵；

首先设第i组关键点位置其中i＝1，2，3…m，为变换前图像上的点，原关键点P₁(x₁，y₁)、P₂(x₂，x₂)、P₃(x₃，y₃)为变换后图像上的点，联立方程组，计算变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right].$

$\left\{\begin{array}{c}\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]\left[\begin{array}{c}{x}_1^i\\ y_1^i\end{array}\right]+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]\\ \left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]\left[\begin{array}{c}{x}_2^i\\ y_2^i\end{array}\right]+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]\\ \left[\begin{array}{c}{x}_3\\ y_3\end{array}\right]=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]\left[\begin{array}{c}{x}_3^i\\ y_3^i\end{array}\right]+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]\end{array}\right.$

求解上述方程组，得到：

$a_i=\frac{-(x_2{y}_1^i-x_3{y}_1^i-x_1{y}_2^i+x_3{y}_2^i+x_1{y}_3^i-x_2{y}_3^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$b_i=\frac{x_2{x}_1^i-x_3{x}_1^i-x_1{x}_2^i+x_3{x}_2^i+x_1{x}_3^i-x_2{x}_3^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$c_i=\frac{-(y_2{y}_1^i-y_3{y}_1^i-y_1{y}_2^i+y_3{y}_2^i+y_1{y}_3^i-y_2{y}_3^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$d_i=\frac{y_2{x}_1^i-y_3{x}_1^i-y_1{x}_2^i+y_3{x}_2^i+y_1{x}_3^i-y_2{x}_3^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$e_i=\frac{x_3{x}_1^i{y}_2^i-x_3{x}_2^i{y}_1^i-x_2{x}_1^i{y}_3^i+x_2{x}_3^i{y}_1^i+x_1{x}_2^i{y}_3^i-x_1{x}_3^i{y}_2^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$f_i=\frac{y_3{x}_1^i{y}_2^i-y_3{x}_2^i{y}_1^i-y_2{x}_1^i{y}_3^i+y_2{x}_3^i{y}_1^i+y_1{x}_2^i{y}_3^i-y_1{x}_3^i{y}_2^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

得到关于第i组关键点位置的变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]$

3.2)根据得到的变换矩阵和线性变换的性质，对图像I(x，y)进行线性变换，得到m张变换后的图像{I_l(x，y)}_m；

使用第i组(i＝1，2，3…m)关键点位置得到的变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right],$ 计算线性变换后的图像

$I_l^i(x,y)=\left[\begin{array}{cc}{a}_i& -b_i\\ {\mathrm{pb}}_i& {\mathrm{pa}}_i\end{array}\right]\tilde{I}(x,y)+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]$

其中p为奇偶校验参数，可以被设置为1或者-1。

3.3)根据得到的变换矩阵和仿射变换的性质，对图像I(x，y)进行仿射变换，得到m张变换后的图像{I_a(x，y)}_m；

使用第i组(i＝1，2，3…m)关键点位置得到的变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right],$ 计算线性变换后的图像

$I_a^i(x,y)=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]\tilde{I}(x,y)+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]$

3.4)根据得到的变换矩阵和分块仿射变换的性质，对图像I(x，y)进行分块仿射变换，得到m张变换后的图像{I_pl(x，y)}_m；

首先按照人脸关键点位置{P(x，y)}_n将图像I(x，y)分成N块，然后分别对每一块图像区域R^j(x，y)(j＝1，2，3…N)，使用第i组(i＝1，2，3…m)关键点位置 得到的变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right],$ 计算仿射变换后的图像区域

$R_i^j(x,y)=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]R^j(x,y)+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]$

最后将得到的图像区域(j＝1，2，3…N)组合成完整的分块仿射图像{I_pl(x，y)}_i。

本发明的原理是，采用基于人脸关键点技术的人脸对齐方法，对关键点位置进行扰动，然后分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片。本发明利用了基于ViolaandJones框架的人脸检测算法和基于SDM的关键点检测技术，并根据扰动后关键点位置分别采用线性变换、仿射变换和分块仿射变换。通过这种方式能够生成多张符合实际应用场景要求的训练样本，大大增加训练数据量，提高人脸识别的准确率。

由于线性变换、仿射变换、分块仿射变换都是基于纯粹的2D人脸图像，不需要通过复杂的运算就能够对人脸图像进行多姿态变换，相当于建立了一个多姿态的人脸数据库，明显丰富了训练样本包含的信息，所以在一定程度上提高了人脸识别的准确率。

与现有技术相比，本发明具有以下有益效果：

本发明基于ViolaandJones框架的人脸检测算法和基于SDM的关键点检测技术，对人脸关键点位置进行扰动，然后分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片，是一种能够获得符合实际应用场景的人脸图像样本的有效方法，通过扩大训练数据量，有效地提高了人脸识别的准确率。在比较人脸识别技术性能的过程中，通过本发明增加训练数据量的人脸识别算法，比如使用HG特征的人脸识别算法、使用Fisher特征的人脸识别算法、基于深度学习的人脸识别算法等，其人脸识别的准确率与没有使用本发明增加训练数据量，即用较少数据量进行训练相比，有显著的提高，证明了本发明的有效性。

附图说明

图1是本发明一实施例的方法流程图。

图2是关键点扰动后生成的图片。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，为本发明一实施例的方法总体流程图：

第一步、对图像I(x，y)检测关键点{P(x，y)}_n，并找出其中三个重要关键点位置P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)，具体步骤包括：

1.1)将彩色原图像转化成为灰度图像I(x，y)；

1.2)对灰度图像I(x，y)使用基于ViolaandJones框架的人脸检测算法，找出人脸区域图像

1.3)使用基于SDM的关键点检测技术，计算图像中人脸关键点位置{P(x，y)}_n，并找出其中分别代表双眼中心位置，嘴巴中心位置的三个关键点位置P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)，该实施例中n＝31。

第二步、对图像的关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)进行扰动，得到新的关键点位置具体步骤包括：

2.1)根据三个关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)的相对位置，确定关键点的扰动范围{h，v}，其中h代表水平方向的扰动范围，v代表垂直方向的扰动范围,该实施例中h＝5，v＝5；

2.2)在扰动范围{h，v}内生成三组随机数{Pr(x，y)}₃，基于此对关键点进行扰动，得到扰动后的关键点 ${\tilde{P}}_k(x_k,y_k)=P_k(x_k,y_k)+{\mathrm{Pr}}_k(x_k,y_k),k=1,2,3;$

2.3)重复m次扰动，得到m组新的关键点该实施例中m＝2。

第三步、根据扰动后关键点位置对图像I(x，y)进行线性变换、仿射变换、分块放射变换，得到对齐后的图像，具体步骤包括：

3.1)根据扰动后的关键点和原关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)的变换对应关系，计算相应变换矩阵；

首先设第i组关键点位置其中i＝1，2，3…m，为变换前图像上的点，原关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)为变换后图像上的点，联立方程组，计算变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right].$

$\left\{\begin{array}{c}\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]\left[\begin{array}{c}{x}_1^i\\ y_1^i\end{array}\right]+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]\\ \left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]\left[\begin{array}{c}{x}_2^i\\ y_2^i\end{array}\right]+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]\\ \left[\begin{array}{c}{x}_3\\ y_3\end{array}\right]=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]\left[\begin{array}{c}{x}_3^i\\ y_3^i\end{array}\right]+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]\end{array}\right.$

求解上述方程组，得到：

$a_i=\frac{-(x_2{y}_1^i-x_3{y}_1^i-x_1{y}_2^i+x_3{y}_2^i+x_1{y}_3^i-x_2{y}_3^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$b_i=\frac{x_2{x}_1^i-x_3{x}_1^i-x_1{x}_2^i+x_3{x}_2^i+x_1{x}_3^i-x_2{x}_3^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$c_i=\frac{-(y_2{y}_1^i-y_3{y}_1^i-y_1{y}_2^i+y_3{y}_2^i+y_1{y}_3^i-y_2{y}_3^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$d_i=\frac{y_2{x}_1^i-y_3{x}_1^i-y_1{x}_2^i+y_3{x}_2^i+y_1{x}_3^i-y_2{x}_3^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$e_i=\frac{x_3{x}_1^i{y}_2^i-x_3{x}_2^i{y}_1^i-x_2{x}_1^i{y}_3^i+x_2{x}_3^i{y}_1^i+x_1{x}_2^i{y}_3^i-x_1{x}_3^i{y}_2^i}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

$f_i=\frac{y_3{x}_1^i{y}_2^i-y_3{x}_2^i{y}_1^i-y_2{x}_1^i{y}_3^i+y_2{x}_3^i{y}_1^i+y_1{x}_2^i{y}_3^i-y_1{x}_3^i{y}_2^i)}{x_1^i{y}_2^i-x_2^i{y}_1^i-x_1^i{y}_3^i+x_3^i{y}_1^i+x_2^i{y}_3^i-x_3^i{y}_2^i}$

得到关于第i组关键点位置的变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]$

3.2)根据得到的变换矩阵和线性变换的性质，对图像I(x，y)进行线性变换，得到m张变换后的图像{I_l(x，y)}_m

使用第i组(i＝1，2，3…m)关键点位置得到的变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right],$ 计算线性变换后的图像

$I_l^i(x,y)=\left[\begin{array}{cc}{a}_i& -b_i\\ {\mathrm{pb}}_i& {\mathrm{pa}}_i\end{array}\right]\tilde{I}(x,y)+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]$

其中p为奇偶校验参数，可以被设置为1或者-1，该实施例中p＝1。

3.3)根据得到的变换矩阵和仿射变换的性质，对图像I(x，y)进行仿射变换，得到m张变换后的图像{I_a(x，y)}_m

使用第i组(i＝1，2，3…m)关键点位置得到的变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right],$ 计算线性变换后的图像

$I_a^i(x,y)=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]\tilde{I}(x,y)+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]$

3.4)根据得到的变换矩阵和分块仿射变换的性质，对图像I(x，y)进行分块仿射变换，得到m张变换后的图像{I_pl(x，y)}_m

首先按照人脸关键点位置{P(x，y)}_n将图像I(x，y)分成N块，然后分别对每一块图像区域R^j(x，y)(j＝1，2，3…N)，使用第i组(i＝1，2，3…m)关键点位置 得到的变换矩阵 $\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]$ 和 $\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right],$ 计算仿射变换后的图像区域

$R_i^j(x,y)=\left[\begin{array}{cc}{a}_i& b_i\\ c_i& d_i\end{array}\right]R^j(x,y)+\left[\begin{array}{c}{e}_i\\ f_i\end{array}\right]$

最后将得到的图像区域(j＝1，2，3…N)组合成完整的分块仿射图像{I_pl(x，y)}_i。

实施效果

依据上述步骤，对5种常见特征编码人脸识别方法(HG、Fisher、VLAD、LLC、VQ)和2种以DCNN为基础的人脸识别方法(ImageNet、DeepFace)进行识别准确率评估。在该实施例中，用CASIA-WebFace数据库作为原训练数据，有标注的LFW数据库作为测试数据。图2是一组关键点扰动后生成的样例图片。

表1是五种常见特征编码人脸识别方法在使用原训练数据和使用经过本发明提出的方法扩大的训练数据的人脸识别准确率。可以看出，在使用经过本发明提出的方法扩大的训练数据后，五种常见特征编码人脸识别方法的人脸识别准确率都有提高。

表2是2种以DCNN为基础的人脸识别方法，在使用原训练数据和使用经过本发明提出的方法扩大的训练数据的人脸识别准确率。可以看出，在使用经过本发明提出的方法扩大的训练数据后，2种以DCNN为基础的人脸识别方法的人脸识别准确率都有明显的提升，由此可见，增大训练数据量对提升以深度学习为基础的方法有明显的帮助。

表1

表2

特征编码	是否使用扩大的训练数据	准确率
			ImageNet	否	93.17
DeepFace	否	95.23
			ImageNet	是	94.82
DeepFace	是	96.10

实验表明，将之与直接使用人脸数据库作为训练数据相比，本实施例采用的方法能够获得符合实际应用场景的人脸图像样本，并通过扩大训练数据量，有效地提高了人脸识别的准确率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种基于关键点扰动技术的人脸数据增强方法，其特征在于，包括以下步骤：

第一步、对图像I(x，y)检测关键点{P(x，y)}_n，并找出其中分别代表双眼中心位置、嘴巴中心位置的三个重要关键点位置P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)；

第二步、对图像I(x，y)的关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)进行m次扰动，得到新的关键点位置

第三步、根据扰动后关键点位置对图像I(x，y)依次进行线性变换、仿射变换、分块放射变换，得到对齐后的图像。

2.根据权利要求1所述的基于关键点扰动技术的人脸数据增强方法，其特征是，所述的第一步包括以下步骤：

1.1)将彩色原图像转化成为灰度图像I(x，y)；

1.2)对灰度图像I(x，y)使用基于ViolaandJones框架的人脸检测算法，找出人脸区域图像

1.3)使用基于SDM的关键点检测技术，计算图像中人脸关键点位置P_n(x，y)，并找出其中分别代表双眼中心位置，嘴巴中心位置的三个重要关键点位置P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)。

3.根据权利要求1所述的基于关键点扰动技术的人脸数据增强方法，其特征是，所述的第二步包括以下步骤：

2.1)根据三个关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)的相对位置，确定关键点的扰动范围{h，v}，其中h代表水平方向的扰动范围，v代表垂直方向的扰动范围；

2.2)在扰动范围{h，v}内生成三组随机数{Pr(x，y)}₃，基于此对关键点进行扰动，得到扰动后的关键点k＝1，2，3；

2.3)重复m次扰动，得到m组新的关键点

4.根据权利要求1-3之一所述的基于关键点扰动技术的人脸数据增强方法，其特征是，所述的第三步包括以下步骤：

3.1)根据扰动后的关键点和原关键点P₁(x₁，y₁)、P₂(x₂，y₂)、P₃(x₃，y₃)的变换对应关系，计算相应变换矩阵；

3.2)根据得到的变换矩阵和线性变换的性质，对图像I(x，y)进行线性变换，得到m张变换后的图像{I₁(x，y)}_m；

3.3)根据得到的变换矩阵和仿射变换的性质，对图像I(x，y)进行仿射变换，得到m张变换后的图像{I_a(x，y)}_m；

3.4)根据得到的变换矩阵和分块仿射变换的性质，对图像I(x，y)进行分块仿射变换，得到m张变换后的图像{I_pl(x，y)}_m。