CN106557743A - 一种基于fecnn的人脸特征提取系统及方法 - Google Patents

Abstract

本发明涉及一种基于FECNN的人脸特征提取系统及方法，其系统包括人脸预处理模块对人脸图片进行人脸检测，并对检测到的人脸图像进行裁剪、定位和对齐；FECNN模块搭建进行特征提取的FECNN框架，并进行训练直至FECNN框架收敛，得到FECNN参数模型；特征提取模块将人脸关键点与人脸图像送入FECNN参数模型中提取人脸特征；特征比对模块使用余弦距离对人脸特征进行计算，当距离大于设定阈值t时，判断为同一个人，当距离小于设定阈值t时，判断为不同的人。相对现有技术，本发明使用较少的参数，使网络模型快速收敛，并提取出鲁棒的人脸特征。

Description

一种基于FECNN的人脸特征提取系统及方法

技术领域

本发明涉及人脸识别技术领域，特别涉及一种基于FECNN的人脸特征提取系统及方法。

背景技术

人脸识别目前是机器学习、模式识别和计算机视觉领域最热门的一个研究课题，在实际工程中有着越来越广泛的应用。经过几十年的研究，目前已取得丰硕成果。最近几年来，CNN多次被用到图像处理问题上来，已经证明了其在目标的特征提取方面比传统的方法，更加实用，且有更高的准确率。特别是，CNN在人脸识别方面取得了突破性的进展，表现出了不可限量的前景；但是现有技术中，浅层的CNN网络提取的特征无法充分地表征人脸，而深层的CNN网络又面临迭代次数过多，收敛时间过长。

发明内容

本发明的目的是提供一种基于FECNN的人脸特征提取系统，所要解决的技术问题是：浅层的CNN网络提取的特征无法充分地表征人脸，而深层的CNN网络又面临迭代次数过多，收敛时间过长。

本发明解决上述技术问题的技术方案如下：一种基于FECNN的人脸特征提取系统，包括人脸预处理模块、FECNN模块、特征提取模块和特征比对模块；

所述人脸预处理模块，用于对人脸图片进行人脸检测，并对检测到的人脸图像进行裁剪，在人脸图像上定位出人脸关键点，再将人脸关键点与人脸图像进行对齐；

所述FECNN模块，用于搭建进行特征提取的FECNN框架，使用训练库样本人脸对FECNN框架进行训练直至FECNN框架收敛，得到FECNN参数模型；

所述特征提取模块，用于提取FECNN提取网络参数模型，将人脸关键点与人脸图像送入FECNN参数模型中进行特征提取，输出人脸特征；

所述特征比对模块，用于使用余弦距离对人脸特征进行计算，当计算得出距离大于设定阈值t时，判断为同一个人，当计算得出距离小于设定阈值t时，判断为不同的人。

本发明的有益效果是：FECNN框架能够使用较少的参数，使网络模型快速收敛，同时能有效利用CNN对输入数据的位移、形变的不变性，能提取出更加鲁棒的人脸深度特征；能提升人脸特征提取速度和精准性。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述人脸预处理模块通过Viola-Jones检测器对人脸进行检测，然后使用ASM算法对人脸关键点进行定位和对齐。

采用上述进一步方案的有益效果是:Viola-Jones检测器能提升人脸检测效率和精度，ASM算法能加快人脸定位和对齐，提升效率。

进一步，所述FECNN框架包括多个卷积层、多个池化层、多个Inception层、全连接特征提取层和softmax分类层，多个卷积层、多个池化层和多个Inception层交错依次连接，再与所述全连接特征提取层和softmax分类层依次连接；所述卷积层用于对输入人脸关键点与人脸图像进行卷积运算，生成特征图；所述池化层用于对卷积层生成的特征图进行下采样，减小特征图尺寸；所述Inception层包含多个分支的卷积和池化层，用于对输入的特征图进行多分支特征提取，使用了小卷积核进行卷积运算，进一步减小特征图尺寸，进行合并计算，输出二维特征图；所述全连接特征提取层用于将输入的二维特征图压缩成固定维数的特征向量，所述softmax分类层是对二维特征图的特征向量进行分类运算，输出其属于特定类别的概率，当属于特定类别的概率超过设定值，则可判断FECNN模块已收敛。

采用上述进一步方案的有益效果是:多个卷积层、多个池化层、多个Inception层、全连接特征提取层和softmax分类层能实现使用较少的参数，使网络模型快速收敛，并提取出鲁棒的人脸特征。

进一步，多个所述卷积层分别为第一卷积层、第二卷积层、第三卷积层和第四卷积层，多个池化层分别为第一池化层、第二池化层、第三池化层和第四池化层，多个Inception层分别为第一Inception层、第二Inception层、第三Inception层和第四Inception层，所述第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第一Inception层、第二Inception层、第三池化层、第三Inception层、第四Inception层和第四池化层依次连接。

采用上述进一步方案的有益效果是:卷积层、池化层和Inception层能实现使用较少的参数，使网络模型快速收敛，并提取出鲁棒的人脸特征。

进一步，每一个所述卷积层内均设置有由多层感知器构建的NIN结构，所述卷积层计算公式如下：

n是多层感知器的层数，i,j是特征图像素索引，c是特征图通道索引，y_i,j,c是对应通道的特征图卷积输出，f(x)为激活函数，w是特征图权值矩阵，b_c为偏置。

采用上述进一步方案的有益效果是:NIN结构增加了卷积层对高度非线性特征的提取能力，并且实现简单；可以加深网络，增强网络的非线性表达能力。

进一步，每一个所述Inception层均包括计算层、合并层、四个1×1的卷积层、三个3×3的卷积层、3×3的池化层和底层，所述底层通过3×3的池化层和一个1×1的卷积层依次连接与合并层连接，所述底层还通过另一1×1的卷积层和两个3×3的卷积层依次连接与合并层连接，所述底层还通过第三个1×1的卷积层和第三个3×3的卷积层依次连接与合并层连接；所述合并层与所述计算层连接；所述底层还通过第四个1×1的卷积层与计算层连接。

采用上述进一步方案的有益效果是:Inception层将现有的结构进行了改进，将其中一个5×5的卷积层分解成2个3×3的卷积层；不仅能减少参数数量，还能增加网络的非线性表达能力。所以为了进一步减少参数数量，增加网络的宽度，节约计算资源。

进一步，所述FECNN模块还包括BN算法单元，所述BN算法单元与所述FECNN框架连接，对所述FECNN框架中的每一层输入数据进行归一化；所述BN算法单元对输入m维数据x＝{x⁽¹⁾,x⁽²⁾,…x^(m)}进行归一化具体为：

分子为第i维数据真实值减去第i维数据均值，分母为第i维数据的标准差；

γ⁽ⁱ⁾和β⁽ⁱ⁾为学习参数；y⁽ⁱ⁾为归一化输出参数。

采用上述进一步方案的有益效果是：BN算法单元对网络每一层输入数据进行归一化，提升了FECNN模块的训练速度，加快了收敛速度。

本发明解决上述技术问题的另一技术方案如下：一种基于FECNN的人脸特征提取方法，包括以下步骤：

步骤S1.人脸预处理模块对人脸图片进行人脸检测，并对检测到的人脸图像进行裁剪，在人脸图像上定位出人脸关键点，再将人脸关键点与人脸图像进行对齐；FECNN模块搭建进行特征提取的FECNN框架，使用训练库样本人脸对FECNN框架进行训练直至FECNN框架收敛，得到FECNN参数模型；

步骤S2.特征提取模块提取FECNN提取网络参数模型，将人脸关键点与人脸图像送入FECNN参数模型中进行特征提取，输出人脸特征；

步骤S3.特征比对模块使用余弦距离对人脸特征进行计算，当计算得出距离大于设定阈值t时，判断为同一个人，当计算得出距离小于设定阈值t时，判断为不同的人。

本发明的有益效果是：FECNN框架能够使用较少的参数，使网络模型快速收敛，同时能有效利用CNN对输入数据的位移、形变的不变性，能提取出更加鲁棒的人脸深度特征。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤S1中的人脸预处理模块1通过Vi o l a-Jones检测器对人脸进行检测，然后使用ASM算法对人脸进行定位和对齐。

采用上述进一步方案的有益效果是:Vi o l a-Jones检测器能提升人脸检测效率和精度，ASM算法能加快人脸定位和对齐，提升效率。

附图说明

图1为本发明一种基于FECNN的人脸特征提取系统的模块框图；

图2为FECNN框架的结构示意图；

图3为inception层的结构示意图；

图4为本发明一种基于FECNN的人脸特征提取方法的流程图。

附图中，各标号所代表的部件列表如下：

1、人脸预处理模块，2、FECNN模块，3、特征提取模块，4、特征比对模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例1：

如图1至图3所示，一种基于FECNN的人脸特征提取系统，包括人脸预处理模块1、FECNN(FECNN为Fast and Effective Convolutional Neural Networks,为高效卷积神经网络)模块2、特征提取模块3和特征比对模块4；

所述人脸预处理模块1，用于对人脸图片进行人脸检测，并对检测到的人脸图像进行裁剪，在人脸图像上定位出人脸关键点，再将人脸关键点与人脸图像进行对齐；

所述FECNN模块2，用于搭建进行特征提取的FECNN框架，使用训练库样本人脸对FECNN框架进行训练直至FECNN框架收敛，得到FECNN参数模型；

所述特征提取模块3，用于提取FECNN提取网络参数模型，将人脸关键点与人脸图像送入FECNN参数模型中进行特征提取，输出人脸特征；

所述特征比对模块4，用于使用余弦距离对人脸特征进行计算，当计算得出距离大于设定阈值t时，判断为同一个人，当计算得出距离小于设定阈值t时，判断为不同的人；

FECNN框架能够使用较少的参数，使网络模型快速收敛，同时能有效利用CNN(CNN为Convolutional Neural Networks,为卷积神经网络)对输入数据的位移、形变的不变性，能提取出更加鲁棒的人脸深度特征；能提升人脸特征提取速度和精准性。

上述实施例中，所述人脸预处理模块1通过Viola-Jones检测器对人脸进行检测，然后使用ASM(ASM为Active Shape Model，为主动形状模型)算法对人脸进行定位和对齐；Viola-Jones检测器能提升人脸检测效率和精度，ASM算法能加快人脸定位和对齐，提升效率。

上述实施例中，所述FECNN框架包括多个卷积层(Convolution)、多个池化层(pooling)、多个Inception层、全连接特征提取层(FC)和softmax分类层，多个卷积层(Convolution)、多个池化层(pooling)和多个Inception层交错依次连接，再与所述全连接特征提取层(FC)和softmax分类层依次连接；所述卷积层用于对输入人脸关键点与人脸图像进行卷积运算，生成特征图；所述池化层用于对卷积层生成的特征图进行下采样，减小特征图尺寸；所述Inception层包含多个分支的卷积和池化层，用于对输入的特征图进行多分支特征提取，使用了小卷积核进行卷积运算，进一步减小特征图尺寸，进行合并计算，输出二维特征图；所述全连接特征提取层用于将输入的二维特征图压缩成固定维数的特征向量，所述softmax分类层是对二维特征图的特征向量进行分类运算，输出其属于特定类别的概率，当属于特定类别的概率超过设定值，则可判断FECNN模块2已收敛。

多个所述卷积层分别为第一卷积层、第二卷积层、第三卷积层和第四卷积层，多个池化层分别为第一池化层、第二池化层、第三池化层和第四池化层，多个Inception层分别为第一Inception层、第二Inception层、第三Inception层和第四Inception层，所述第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第一Inception层、第二Inception层、第三池化层、第三Inception层、第四Inception层和第四池化层依次连接；

卷积层、池化层和Inception层能实现使用较少的参数，使网络模型快速收敛，并提取出鲁棒的人脸特征。

上述实施例中，每一个所述卷积层内均设置有由多层感知器构建的NIN结构，所述卷积层计算公式如下：

n是多层感知器的层数，i,j是特征图像素索引，c是特征图通道索引，y_i,j，c是对应通道的特征图卷积输出，f(x)为激活函数，w是特征图权值矩阵，b_c为偏置；NIN(NIN为Network In Nework)结构增加了卷积层对高度非线性特征的提取能力，并且实现简单；可以加深网络，增强网络的非线性表达能力。

上述实施例中，每一个所述Inception层均包括计算层、合并层、四个1×1的卷积层(1×1的卷积层表示卷积核的大小为1x1)、三个3×3的卷积层(3×3的卷积层表示卷积核的大小为3x3)、3×3的池化层和底层，所述底层通过3×3的池化层和一个1×1的卷积层依次连接与合并层连接，所述底层还通过另一1×1的卷积层和两个3×3的卷积层依次连接与合并层连接，所述底层还通过第三个1×1的卷积层和第三个3×3的卷积层依次连接与合并层连接；所述合并层与所述计算层连接；所述底层还通过第四个1×1的卷积层与计算层连接；Inception层将现有的结构进行了改进，将其中一个5×5的卷积层分解成2个3×3的卷积层；不仅能减少参数数量，还能增加网络的非线性表达能力。所以为了进一步减少参数数量，增加网络的宽度，节约计算资源。

上述实施例中，所述FECNN模块2还包括BN(BN为批次归一化)算法单元，所述BN算法单元与所述FECNN框架连接，对所述FECNN框架中的每一层输入数据进行归一化；所述BN算法单元对输入m维数据x＝{x⁽¹⁾,x⁽²⁾,…x^(m)}进行归一化具体为：

分子为第i维数据真实值减去第i维数据均值，分母为第i维数据的标准差；

γ⁽ⁱ⁾和β⁽ⁱ⁾为学习参数；y⁽ⁱ⁾为归一化输出参数；

BN算法单元对网络每一层输入数据进行归一化，提升了FECNN模块的训练速度，加快了收敛速度。

实施例2：

如图4所示，一种基于FECNN的人脸特征提取方法，包括以下步骤：

步骤S1.人脸预处理模块1对人脸图片进行人脸检测，并对检测到的人脸图像进行裁剪，在人脸图像上定位出人脸关键点，再将人脸关键点与人脸图像进行对齐；FECNN模块2搭建进行特征提取的FECNN框架，使用训练库样本人脸对FECNN框架进行训练直至FECNN框架收敛，得到FECNN参数模型；

步骤S2.特征提取模块3提取FECNN提取网络参数模型，将人脸关键点与人脸图像送入FECNN参数模型中进行特征提取，输出人脸特征；

步骤S3.特征比对模块4使用余弦距离对人脸特征进行计算，当计算得出距离大于设定阈值t时，判断为同一个人，当计算得出距离小于设定阈值t时，判断为不同的人；

FECNN框架能够使用较少的参数，使网络模型快速收敛，同时能有效利用CNN对输入数据的位移、形变的不变性，能提取出更加鲁棒的人脸深度特征；能提升人脸特征提取速度和精准性。

上述实施例中，步骤S1中的人脸预处理模块1通过Viola-Jones检测器对人脸进行检测，然后使用ASM算法对人脸进行定位和对齐；Viola-Jones检测器能提升人脸检测效率和精度，ASM算法能加快人脸定位和对齐，提升效率。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于FECNN的人脸特征提取系统，其特征在于：包括人脸预处理模块(1)、FECNN模块(2)、特征提取模块(3)和特征比对模块(4)；

所述人脸预处理模块(1)，用于对人脸图片进行人脸检测，并对检测到的人脸图像进行裁剪，在人脸图像上定位出人脸关键点，再将人脸关键点与人脸图像进行对齐；

所述FECNN模块(2)，用于搭建进行特征提取的FECNN框架，使用训练库样本人脸对FECNN框架进行训练直至FECNN框架收敛，得到FECNN参数模型；

所述特征提取模块(3)，用于提取FECNN提取网络参数模型，将人脸关键点与人脸图像送入FECNN参数模型中进行特征提取，输出人脸特征；

所述特征比对模块(4)，用于使用余弦距离对人脸特征进行计算，当计算得出距离大于设定阈值t时，判断为同一个人，当计算得出距离小于设定阈值t时，判断为不同的人。

2.根据权利要求1所述一种基于FECNN的人脸特征提取系统，其特征在于：所述人脸预处理模块(1)通过Viola-Jones检测器对人脸进行检测，然后使用ASM算法对人脸进行定位和对齐。

3.根据权利要求1所述一种基于FECNN的人脸特征提取系统，其特征在于：所述FECNN框架包括多个卷积层、多个池化层、多个Inception层、全连接特征提取层和softmax分类层，多个卷积层、多个池化层和多个Inception层交错依次连接，再与所述全连接特征提取层和softmax分类层依次连接；所述卷积层用于对输入人脸关键点与人脸图像进行卷积运算，生成特征图；所述池化层用于对卷积层生成的特征图进行下采样，减小特征图尺寸；所述Inception层包含多个分支的卷积和池化层，用于对输入的特征图进行多分支特征提取，使用了小卷积核进行卷积运算，进一步减小特征图尺寸，进行合并计算，输出二维特征图；所述全连接特征提取层用于将输入的二维特征图压缩成固定维数的特征向量，所述softmax分类层是对二维特征图的特征向量进行分类运算，输出其属于特定类别的概率，当属于特定类别的概率超过设定值，则可判断FECNN模块(2)已收敛。

4.根据权利要求3所述一种基于FECNN的人脸特征提取系统，其特征在于：多个所述卷积层分别为第一卷积层、第二卷积层、第三卷积层和第四卷积层，多个池化层分别为第一池化层、第二池化层、第三池化层和第四池化层，多个Inception层分别为第一Inception层、第二Inception层、第三Inception层和第四Inception层，所述第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第一Inception层、第二Inception层、第三池化层、第三Inception层、第四Inception层和第四池化层依次连接。

5.根据权利要求4所述一种基于FECNN的人脸特征提取系统，其特征在于：每一个所述卷积层内均设置有由多层感知器构建的NIN结构，所述卷积层计算公式如下：

$\begin{array}{c}{y}_{i,j,c_I}^l=f({w_{c_I}^1}^T{x}_{i,j}+b_{c_I})\\ .\\ .\\ .\\ y_{i,j,c_n}^n=f({w_{c_n}^n}^T{y}_{i,j,c_{n-I}}^{n-1}+b_{c_n})\end{array}$

n是多层感知器的层数，i,j是特征图像素索引，c是特征图通道索引，y_i,j,c是对应通道的特征图卷积输出，f(x)为激活函数，w是特征图权值矩阵，b_c为偏置。

6.根据权利要求4所述一种基于FECNN的人脸特征提取系统，其特征在于：每一个所述Inception层均包括计算层、合并层、四个1×1的卷积层、三个3×3的卷积层、3×3的池化层和底层，所述底层通过3×3的池化层和一个1×1的卷积层依次连接与合并层连接，所述底层还通过另一1×1的卷积层和两个3×3的卷积层依次连接与合并层连接，所述底层还通过第三个1×1的卷积层和第三个3×3的卷积层依次连接与合并层连接；所述合并层与所述计算层连接；所述底层还通过第四个1×1的卷积层与计算层连接。

7.根据权利要求1至6任一项所述一种基于FECNN的人脸特征提取系统，其特征在于：所述FECNN模块(2)还包括BN算法单元，所述BN算法单元与所述FECNN框架连接，对所述FECNN框架中的每一层输入数据进行归一化；所述BN算法单元对输入m维数据x＝{x⁽¹⁾,x⁽²⁾,…x^(m)}进行归一化具体为：

${\hat{x}}^{\left(i\right)}=\frac{x^{\left(i\right)}-M\left(x^{\left(i\right)}\right)}{Std\left(x^{\left(i\right)}\right)};$

分子为第i维数据真实值减去第i维数据均值，分母为第i维数据的标准差；

$y^{\left(i\right)}={\mathrm{\γ}}^{\left(i\right)}{\hat{x}}^{\left(i\right)}+{\mathrm{\β}}^{\left(i\right)};$

γ⁽ⁱ⁾和β⁽ⁱ⁾为学习参数；y⁽ⁱ⁾为归一化输出参数。

8.一种基于FECNN的人脸特征提取方法，其特征在于，包括以下步骤：

步骤S1.人脸预处理模块(1)对人脸图片进行人脸检测，并对检测到的人脸图像进行裁剪，在人脸图像上定位出人脸关键点，再将人脸关键点与人脸图像进行对齐；FECNN模块(2)搭建进行特征提取的FECNN框架，使用训练库样本人脸对FECNN框架进行训练直至FECNN框架收敛，得到FECNN参数模型；

步骤S2.特征提取模块(3)提取FECNN提取网络参数模型，将人脸关键点与人脸图像送入FECNN参数模型中进行特征提取，输出人脸特征；

步骤S3.特征比对模块(4)使用余弦距离对人脸特征进行计算，当计算得出距离大于设定阈值t时，判断为同一个人，当计算得出距离小于设定阈值t时，判断为不同的人。

9.根据权利要求8所述一种基于FECNN的人脸特征提取方法，其特征在于，步骤S1中的人脸预处理模块(1)通过Viola-Jones检测器对人脸进行检测，然后使用ASM算法对人脸进行定位和对齐。