CN108062543A - 一种面部识别方法及装置 - Google Patents

Abstract

本发明提供一种面部识别方法及装置，所述方法包括：S1，使用第一卷积神经网络对目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；S2，使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；S3，对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。本发明准确提取目标图像特征，并以像素为单位分割出人脸和五官的具体位置，提高了面部识别的精确度。

Description

一种面部识别方法及装置

技术领域

本发明属于图像识别领域，更具体地，涉及一种面部识别方法及装置。

背景技术

人脸检测是在图像中定位人脸的过程。早期人脸检测方法主要包括模板匹配、子空间方法和变形模板匹配等。近期人脸检测的研究主要集中在基于数学驱动的学习方法，如统计模型方法、神经网络学习方法、统计知识理论和支持向量机方法、基于马尔科夫随机域的方法等。

目前，实际应用中的人脸检测方法多为基于Haar特征的Adaboost算法。Adaboost算法是一种将较弱分类器组合在一起，得到强分类器的方法。使用该算法进行人脸检测的目的是从图片中找出所有包含人脸的子窗口，将人脸的子窗口与非人脸的子窗口分开。从而在图像中准确标定出人脸的位置和大小。人脸检测在实际中主要用于人脸识别的预处理。

接着，进一步对检测出的人脸进行人脸对齐。人脸对齐是指根据输入的人脸图像，自动定位面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。通过人脸对齐，机器能够对人脸的每个部位进行定位与跟踪，并提取相应的部位特征。然后利用部位特征分析评估人的精神状态，例如司机的异常驾驶状态的识别，所述异常驾驶状态包括正常、疲劳和情绪不稳定等，从而及早发现司机的异常驾驶状态，避免交通事故的发生。

但是，现有技术在光线明暗变换不稳定的情况下，面部识别会受到严重干扰，从而影响面部识别的准确性。

发明内容

为克服上述由于光线因素面部识别准确性不高的问题或者至少部分地解决上述问题，本发明提供了一种面部识别方法及装置。

根据本发明的第一方面，提供一种面部识别方法，包括：

S1，使用第一卷积神经网络对包含待识别面部信息的目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；

S2，使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；

S3，对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。

具体地，所述第一卷积神经网络中下采样层的个数和所述第二卷积神经网络中上采样层的个数相同；

所述上采样层中上采样窗口的大小和所述下采样层中下采样窗口的大小相同；

所述上采样层中上采样窗口的移动步长和所述下采样层中下采样窗口的移动步长相同。

具体地，所述步骤S1具体包括：

对于每个所述下采样层，保留各所述下采样窗口中的最大特征值，去除各所述下采样窗口中的其他特征值；

记录各所述最大特征值在各所述下采样窗口中的位置。

具体地，所述步骤S2具体包括：

对于每个所述上采样层，获取该上采样层对应的下采样层；其中，所述上采样层与所述下采样层一一对应；

根据该上采样层对应的下采样层中各所述最大特征值在各所述下采样窗口中的位置，将各所述下采样窗口中各所述最大特征值写入相应的所述上采样窗口的所述位置中；

在所述上采样窗口中的其他位置写入0。

具体地，所述步骤S3中在所述第二卷积神经网络中的softmax层对该像素进行分类具体包括：

对于所述目标图像中的每个像素，获取该像素属于各预设类别的概率；

将最大的所述概率对应的预设类别作为该像素的类别。

具体地，所述步骤S1之前还包括：

将预先获取的各样本输入第一卷积神经网络，经过第一卷积神经网络和第二卷积神经网络的计算，输出各所述训练样本中各像素属于各预设类别的概率；

使用交叉熵损失函数量化各所述训练样本中各像素属于各预设类别的概率和各像素的正确类别之间的差距；

根据所述差距，使用梯度下降法对所述第一卷积神经网络和所述第二卷积神经网络中的权值进行更新。

具体地，所述步骤S3还包括：

根据所述目标图像中各像素所属类别的优先级，对所述目标图像中各像素所属区域的边界进行平滑处理；

其中，所述像素所属的类别包括牙、嘴唇、鼻子、眼睛、眉毛、脸和背景中的一种或多种；

牙的优先级大于嘴唇的优先级，鼻子、眼睛、眉毛和嘴唇的优先级相同，嘴唇的优先级大于脸的优先级，脸的优先级大于背景的优先级。

根据本发明的第二方面，提供一种面部识别装置，包括：

第一提取单元，用于使用第一卷积神经网络对包含待识别面部信息的目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；

第二提取单元，用于使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；

分类单元，用于对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。

根据本发明的第三方面，提供一种面部识别设备，包括：

至少一个处理器、至少一个存储器和总线；其中，

所述处理器和存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如前所述的方法。

根据本发明的第四方面，提供一种非暂态计算机可读存储介质，用于存储如前所述方法的计算机程序。

本发明提供一种面部识别方法及装置，该方法通过使用包括下采样层的第一卷积神经网络提取所述目标图像中的特征，获取第一特征图集合，然后使用包括上采样层的第二卷积神经网络继续从所述第一特征图集合中提取特征，获取第二特征图集合，所述第二特征图集合中的各特征图尺寸与所述目标图像的尺寸相同，从而精确提取出所述目标图像中的特征，然后根据所述第二特征集合中同一位置像素的特征值对所述目标图像中的各像素进行分类，从而以像素为单位分割出人脸和五官的具体位置，提高了面部识别的精确度，为面部监测提供技术基础。

附图说明

图1为本发明实施例提供的面部识别方法整体流程示意图；

图2为本发明实施例提供的面部识别方法中的编解码网络结构示意图；

图3为本发明实施例提供的面部识别方法中下采样过程示意图；

图4为本发明实施例提供的面部识别方法中上采样过程示意图；

图5为本发明实施例提供的面部识别装置整体结构示意图；

图6为本发明实施例提供的面部识别设备整体结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

在本发明的一个实施例中提供一种面部识别方法，图1为本发明实施例提供的面部识别方法整体流程示意图，该方法包括：S1，使用第一卷积神经网络对包含待识别面部信息的目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；S2，使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；S3，对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。

具体地，S1，所述第一卷积神经网络包括多个卷积层和下采样层。将所述目标图像输入所述第一卷积神经网络，将每一层的输出结果作为下一层的输入，从而实现对所述目标图像进行特征提取。由于所述第一卷积神经网络有多个卷积核，所述第一卷积神经网络最后输出多张第一特征图，所述第一特征图的集合构成第一特征图集合。所述第一卷积神经网络中各卷积层的层数、各卷积层中卷积核的大小和卷积核的移动步长都不受限制，各下采样层的层数、下采样窗口的大小和移动步长也均不受限制。所述第一卷积神经网络中的每个卷积层后可以接一个下采样层，或从所述第一卷积神经网络的卷积层中选择多个卷积层，在选择的多个卷积层后分别接一个下采样层。所述第一卷积神经网络中的卷积层和下采样层构成编码网络。

例如，将512*512的目标图像输入所述第一卷积神经网络，所述第一卷积神经网络有9个卷积层。对于每个卷积层，卷积核的大小均为3*3，使用均值为0，方差为1的正态分布对所述第一卷积神经网络中卷积核的权值进行初始化。所述卷积核的移动步长为1。卷积运算的激活函数为Leaky-Relu函数，Leaky-Relu函数的公式为：

其中，α为小于或等于0的常数，x为每次卷积运算的值。

对于每个所述下采样层，下采样窗口的大小为2*2，所述下采样窗口的移动步长为1。所述第一卷积神经网络输出1024个16*16的第一特征图集合。所述第一卷积神经网络的结构为：

卷积层1—下采样层1—卷积层2—下采样层2—卷积层3a—卷积层3b—下采样层3—卷积层4a—卷积层4b—下采样层4—卷积层5a—卷积层5b—下采样层5。

S2中，所述第二卷积神经网络包括多个卷积层和上采样层。将所述第一特征图集合输入所述第二卷积神经网络，将每一层的输出结果作为下一层的输入，从而实现对所述第一特征图集合进行特征提取，所述第二卷积神经网络输出多张第二特征图，所述第二特征图的集合构成第二特征图集合。所述第二卷积神经网络中各卷积层的层数、各卷积层中卷积核的大小和卷积核的移动步长都不受限制。所述目标图像经过所述第一卷积神经网络中的下采样层的处理，使得输出的第一特征图比所述目标图像的尺寸。所述第一特征图经过所述第二卷积神经网络中的上采样层，使得输出的第二特征图与所述目标图像的尺寸相同。所述第二卷积神经网络中的每个卷积层后可以接一个上采样层，或从所述第二卷积神经网络的卷积层中选择多个卷积层，在选择的多个卷积层后分别接一个上采样层。所述第二卷积神经网络为3D卷积神经网络，所述第二卷积神经网络中的卷积层和上采样层构成解码网络。

例如，所述第二卷积网络接收所述第一卷积网络输出的1024个16*16的第一特征图集合。所述第二卷积神经网络有9个卷积层。对于每个卷积层，卷积核都为三维结构，大小均为3*3*2，所述卷积核延长和宽方向的移动步长为1，延深度方向的移动步长为2，从而逐渐减少每个卷积层生成的第三特征图的数量。使用均值为0，方差为1的正态分布对所述第二卷积神经网络中卷积核的权值进行初始化，卷积运算的激活函数为Leaky-Relu函数。

对于每个所述上采样层，上采样窗口的大小为2*2，所述下采样窗口的移动步长为1。在所述第二卷积神经网络中的softmax层之前输出64张512*512的第二特征图的集合。所述第二卷积神经网络的结构为：

卷积层6—上采样层6—卷积层7—上采样层7—卷积层8—上采样层8—卷积层9—上采样层9—卷积层10—上采样层10—softmax层。

S3中，由于所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同，则所述目标图像中的各像素与各所述第二特征图中的各像素一一对应。假设所述第二特征图集合中有n张所述第二特征图，则对于所述目标图中的每个像素，获取各所述第二特征图中与该像素位置相同的n个像素，将所述n个像素构成的特征向量输入所述第二卷积神经网络中的softmax层，在所述softmax层根据所述特征向量对该像素进行分类，输出人脸和五官的位置。图2为由所述第一网络和所述第二网络组成的编解码网络结构示意图。

例如，所述第二特征图集合中有64张512*512的第二特征图，则对于所述目标图像中的每个像素，都有一个64维的特征向量，在softmax层根据所述64维的特征向量对该像素进行分类。

使用传统的卷积神经网络对目标图像中的各像素进行分类时，将各像素周围的一个图像块作为输入，存储开销大，计算效率低，而且相邻的像素块基本上是重复的，针对每个像素块逐个计算卷积，有很大程度的重复。另外，像素块大小的限制了感知区域的大小，通常像素块的大小比整幅图像小很多，只能提取一些局部特征，从而导致分类的性能受到限制。而本发明利用编码与解码，能够考虑大范围内像素之间的关联与区别，并最终将各像素的特征抽象为多维特征以对各像素进行分类，能有效避免上述问题。

本实施例通过使用包括下采样层的第一卷积神经网络提取所述目标图像中的特征，获取第一特征图集合，然后使用包括上采样层的第二卷积神经网络继续从所述第一特征图集合中提取特征，获取第二特征图集合，所述第二特征图集合中的各特征图尺寸与所述目标图像的尺寸相同，从而精确提取出所述目标图像中的特征，然后根据所述第二特征集合中同一位置像素的特征值对所述目标图像中的各像素进行分类，从而以像素为单位分割出人脸和五官的具体位置，提高了面部识别的精确度，为面部监测提供技术基础。

在上述实施例的基础上，本实施例中所述第一卷积神经网络中下采样层的个数和所述第二卷积神经网络中上采样层的个数相同；所述上采样层中上采样窗口的大小和所述下采样层中下采样窗口的大小相同；所述上采样层中上采样窗口的移动步长和所述下采样层中下采样窗口的移动步长相同。

具体地，所述下采样层和所述上采样层的个数相同、采样窗口的大小和移动步长相同，一方面，使得所述下采样层对各层输出的特征图的大小缩小后，所述上采样层以相同方式对各层输出的特征图的大小放大，从而保证所述第二卷积神经网络最终输出的所述第二特征图的尺寸和所述目标图像的尺寸相同；另一方面，所述上采样为所述下采样的逆过程，从而使得在对各层输出的特征图的大小放大的同时，使提取的各所述第二特征图更加精确。

在上述实施例的基础上，本实施例中所述步骤S1具体包括：对于每个所述下采样层，保留各所述下采样窗口中的最大特征值，去除各所述下采样窗口中的其他特征值；记录各所述最大特征值在所述下采样窗口中的位置。

具体地，使用所述下采样层进行最大值采样，即对于每个所述下采样层，保留各所述下采样窗口中的最大特征值，去除各所述下采样窗口中的其他特征值，也就是只保留各所述下采样窗口中特征值最大的像素，将各所述下采样窗口中的其他像素去除。并记录各所述最大特征值在各所述下采样窗口中的位置，如图3所示。

在上述实施例的基础上，本实施例中所述步骤S2具体包括：对于每个所述上采样层，获取该上采样层对应的下采样层；其中，所述上采样层与所述下采样层一一对应；根据该上采样层对应的下采样层中各所述最大特征值在各所述下采样窗口中的位置，将各所述下采样窗口中各所述最大特征值写入相应的所述上采样窗口的所述位置中；在所述上采样窗口中的其他位置写入0。

具体地，所述上采样层与所述下采样层一一对应，例如，所述上采样层6与所述下采样层5对应，所述上采样层7与所述下采样层4对应，所述上采样层8层与所述下采样层3对应，所述上采样层9层与所述下采样层2对应，所述上采样层10层与所述下采样层1对应。对于每个所述上采样层，根据该上采样层对应的下采样层进行上采样。由于输入该上采样层和输入该上采样层对应的下采样层中的特征图尺寸相同，上采样窗口和下采样窗口的大小和移动步长也相同，因此该上采样层中的上采样窗口和该上采样层对应的下采样层中的下采样窗口一一对应，根据该上采样层对应的下采样层中各所述最大特征值在所述下采样窗口中的位置，在各所述上采样窗口的所述位置中写入各所述上采样窗口对应的各所述下采样窗口中的最大特征值，在所述上采样窗口中的其他位置写入0，如图4所示。

在上述各实施例的基础上，本实施例中所述步骤S3中在所述第二卷积神经网络中的softmax层对该像素进行分类具体包括：对于所述目标图像中的每个像素，获取该像素属于各预设类别的概率；将最大的所述概率对应的预设类别作为该像素的类别。

具体地，所述预设类别包括牙、嘴唇、鼻子、眼睛、眉毛、脸和背景中的一种或多种。

在上述各实施例的基础上，本实施例中所述步骤S1之前还包括：将预先获取的各样本输入第一卷积神经网络，经过第一卷积神经网络和第二卷积神经网络的计算，输出各所述训练样本中各像素属于各预设类别的概率；使用交叉熵损失函数量化各所述训练样本中各像素属于各预设类别的概率和各像素的正确类别之间的差距；根据所述差距，使用梯度下降法对所述第一卷积神经网络和所述第二卷积神经网络中的权值进行更新。

具体地，在所述步骤S1之前还包括对所述第一卷积神经网络和所述第二卷积神经网络进行训练。首先构建样本库。样本库的构建需要收集各种面部样本，如司机工作时的面部照片。对每个样本进行标注，标注时记录下每个区域的像素坐标集合，如眉毛、眼睛、鼻子、嘴唇、牙齿和脸六个区域中每个区域的像素坐标集合。一个像素只对应一个类别，由于脸部区域会与其他五个区域重合，因此，脸部区域的像素在标注时只取那些不重合的像素。此六种类别之外的像素属于为背景类别。

在训练过程中，将各样本输入所述第一卷积神经网络，在经过正向计算后，所述第二卷积神经网络会输出每个像素点所属的每个预设类别概率值，同时获取标准的每个像素的正确类别。在刚开始训练时，两者会有较大差距，使用交叉熵损失函数量化该差距。在使用所述交叉熵损失函数对所述第一卷积神经网络和所述第二卷积神经网络进行权值更新时，根据所述差距使用随机梯度下降法，取若干样本为一个批量，并以固定的学习率对所述第一卷积神经网络和所述第二卷积神经网络中的权值进行更新。当损失变化趋于稳定后，则停止训练，输出所述第一卷积神经网络和所述第二卷积神经网络。

本实施例通过使用大量样本作为训练数据集对所述第一卷积神经网络和所述第二卷积神经网络进行训练，提供不同的面部样本进行分类，从而使得训练后的所述第一卷积神经网络和所述第二卷积神经网络能更准确对人脸和五官进行定位。

在上述各实施例的基础上，本实施例中所述步骤S3还包括：根据所述目标图像中各像素所属类别的优先级，对所述目标图像中各像素所属区域的边界进行平滑处理；其中，所述像素所属的类别包括牙、嘴唇、鼻子、眼睛、眉毛、脸和背景中的一种或多种；牙的优先级大于嘴唇的优先级，鼻子、眼睛、眉毛和嘴唇的优先级相同，嘴唇的优先级大于脸的优先级，脸的优先级大于背景的优先级。

具体地，虽然所述第二卷积神经网络能以像素为单位输出所述目标图像中人脸以及五官的位置，但是现实中五官的边界平滑，而计算得到的五官在边界处可能比较崎岖，因此需要对这些位置进行边界平滑等优化处理操作。根据所述目标图像中各像素所属类别的优先级，对所述目标图像中各像素所属区域的边界进行平滑处理。优先级低的区域不能更改高优先级区域的边界，各类别的优先级为牙>嘴唇＝鼻子＝眼睛＝眉毛>脸>背景。这样在进行边界平滑时，各区域之间有交集的部分不会互相干扰，从而避免影响分割结果。平滑处理过程可以为一个单层卷积神经网络，采用3*3，每个值均为1的卷积核做或逻辑操作运算。最后分别得到人脸和五官的特征点集合。由于人脸上部有头发，会影响分割结果，因此取人脸下部三分之二部分作为人脸的最终分割结果。本实施例按各类别的优先级对面部各区域的边界进行平滑处理，避免各区域互相干扰，从而逐一收敛出各区域的边界。

在本发明的另一个实施例中提供一种面部识别装置，图5为本发明实施例提供的面部识别装置整体结构示意图，该装置包括第一提取单元1、第二提取单元2和分类单元3，其中：

所述第一提取单元1用于使用第一卷积神经网络对包含待识别面部信息的目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；所述第二提取单元2用于使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；所述分类单元3用于对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。

具体地，所述第一卷积神经网络包括多个卷积层和下采样层。所述第一提取单元1将所述目标图像输入所述第一卷积神经网络，将每一层的输出结果作为下一层的输入，从而实现对所述目标图像进行特征提取。由于所述第一卷积神经网络有多个卷积核，所述第一卷积神经网络最后输出多张第一特征图，所述第一特征图的集合构成第一特征图集合。所述第一卷积神经网络中各卷积层的层数、各卷积层中卷积核的大小和卷积核的移动步长都不受限制，各下采样层的层数、下采样窗口的大小和移动步长也均不受限制。所述第一卷积神经网络中的每个卷积层后可以接一个下采样层，或从所述第一卷积神经网络的卷积层中选择多个卷积层，在选择的多个卷积层后分别接一个下采样层。所述第一卷积神经网络中的卷积层和下采样层构成编码网络。

所述第二卷积神经网络包括多个卷积层和上采样层。所述第二提取单元2将所述第一特征图集合输入所述第二卷积神经网络，将每一层的输出结果作为下一层的输入，从而实现对所述第一特征图集合进行特征提取，所述第二卷积神经网络输出多张第二特征图，所述第二特征图的集合构成第二特征图集合。所述第二卷积神经网络中各卷积层的层数、各卷积层中卷积核的大小和卷积核的移动步长都不受限制。所述目标图像经过所述第一卷积神经网络中的下采样层的处理，使得输出的第一特征图比所述目标图像的尺寸。所述第一特征图经过所述第二卷积神经网络中的上采样层，使得输出的第二特征图与所述目标图像的尺寸相同。所述第二卷积神经网络中的每个卷积层后可以接一个上采样层，或从所述第二卷积神经网络的卷积层中选择多个卷积层，在选择的多个卷积层后分别接一个上采样层。所述第二卷积神经网络为3D卷积神经网络，所述第二卷积神经网络中的卷积层和上采样层构成解码网络。

由于所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同，则所述目标图像中的各像素与各所述第二特征图中的各像素一一对应。假设所述第二特征图集合中有n张所述第二特征图，则对于所述目标图中的每个像素，所述分类单元3获取各所述第二特征图中与该像素位置相同的n个像素，将所述n个像素构成的特征向量输入所述第二卷积神经网络中的softmax层，在所述softmax层根据所述特征向量对该像素进行分类，输出人脸和五官的位置。图2为由所述第一网络和所述第二网络组成的编解码网络结构示意图。

本实施例通过使用包括下采样层的第一卷积神经网络提取所述目标图像中的特征，获取第一特征图集合，然后使用包括上采样层的第二卷积神经网络继续从所述第一特征图集合中提取特征，获取第二特征图集合，所述第二特征图集合中的各特征图尺寸与所述目标图像的尺寸相同，从而精确提取出所述目标图像中的特征，然后根据所述第二特征集合中同一位置像素的特征值对所述目标图像中的各像素进行分类，从而以像素为单位分割出人脸和五官的具体位置，提高了面部识别的精确度，为面部监测提供技术基础

在上述实施例的基础上，本实施例中所述第一卷积神经网络中下采样层的个数和所述第二卷积神经网络中上采样层的个数相同；所述上采样层中上采样窗口的大小和所述下采样层中下采样窗口的大小相同；所述上采样层中上采样窗口的移动步长和所述下采样层中下采样窗口的移动步长相同。

在上述实施例的基础上，本实施例中所述第一提取单元具体用于：对于每个所述下采样层，保留各所述下采样窗口中的最大特征值，去除各所述下采样窗口中的其他特征值；记录各所述最大特征值在所述下采样窗口中的位置。

在上述实施例的基础上，本实施例中所述第二提取单元具体用于：对于每个所述上采样层，获取该上采样层对应的下采样层；其中，所述上采样层与所述下采样层一一对应；根据该上采样层对应的下采样层中各所述最大特征值在各所述下采样窗口中的位置，将各所述下采样窗口中各所述最大特征值写入相应的所述上采样窗口的所述位置中；在所述上采样窗口中的其他位置写入0。

在上述实施例的基础上，本实施例中所述分类单元具体用于：对于所述目标图像中的每个像素，获取该像素属于各预设类别的概率；将最大的所述概率对应的预设类别作为该像素的类别。

在上述各实施例的基础上，本实施例中还包括训练单元，用于将预先获取的各样本输入第一卷积神经网络，经过第一卷积神经网络和第二卷积神经网络的计算，输出各所述训练样本中各像素属于各预设类别的概率；使用交叉熵损失函数量化各所述训练样本中各像素属于各预设类别的概率和各像素的正确类别之间的差距；根据所述差距，使用梯度下降法对所述第一卷积神经网络和所述第二卷积神经网络中的权值进行更新。

在上述各实施例的基础上，本实施例中所述分类单元还用于：根据所述目标图像中各像素所属类别的优先级，对所述目标图像中各像素所属区域的边界进行平滑处理；其中，所述像素所属的类别包括牙、嘴唇、鼻子、眼睛、眉毛、脸和背景中的一种或多种；牙的优先级大于嘴唇的优先级，鼻子、眼睛、眉毛和嘴唇的优先级相同，嘴唇的优先级大于脸的优先级，脸的优先级大于背景的优先级。

本实施例提供一种面部识别设备，图6为本发明实施例提供的面部识别设备整体结构示意图，该设备包括：至少一个处理器61、至少一个存储器62和总线63；其中，

所述处理器61和存储器62通过所述总线63完成相互间的通信；

所述存储器62存储有可被所述处理器61执行的程序指令，所述处理器调用所述程序指令能够执行上述各方法实施例所提供的方法，例如包括：S1，使用第一卷积神经网络对目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；S2，使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；S3，对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1，使用第一卷积神经网络对目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；S2，使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；S3，对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的面部识别设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面部识别方法，其特征在于，包括：

S1，使用第一卷积神经网络对包含待识别面部信息的目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；

S2，使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；

S3，对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。

2.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络中下采样层的个数和所述第二卷积神经网络中上采样层的个数相同；

所述上采样层中上采样窗口的大小和所述下采样层中下采样窗口的大小相同；

所述上采样层中上采样窗口的移动步长和所述下采样层中下采样窗口的移动步长相同。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1具体包括：

对于每个所述下采样层，保留各所述下采样窗口中的最大特征值，去除各所述下采样窗口中的其他特征值；

记录各所述最大特征值在各所述下采样窗口中的位置。

4.根据权利要求3所述的方法，其特征在于，所述步骤S2具体包括：

对于每个所述上采样层，获取该上采样层对应的下采样层；其中，所述上采样层与所述下采样层一一对应；

根据该上采样层对应的下采样层中各所述最大特征值在各所述下采样窗口中的位置，将各所述下采样窗口中各所述最大特征值写入相应的所述上采样窗口的所述位置中；

在所述上采样窗口中的其他位置写入0。

5.根据权利要求1-4任一所述的方法，其特征在于，所述步骤S3中在所述第二卷积神经网络中的softmax层对该像素进行分类具体包括：

对于所述目标图像中的每个像素，获取该像素属于各预设类别的概率；

将最大的所述概率对应的预设类别作为该像素的类别。

6.根据权利要求1-4任一所述的方法，其特征在于，所述步骤S1之前还包括：

将预先获取的各样本输入第一卷积神经网络，经过第一卷积神经网络和第二卷积神经网络的计算，输出各所述训练样本中各像素属于各预设类别的概率；

使用交叉熵损失函数量化各所述训练样本中各像素属于各预设类别的概率和各像素的正确类别之间的差距；

根据所述差距，使用梯度下降法对所述第一卷积神经网络和所述第二卷积神经网络中的权值进行更新。

7.根据权利要求1-4任一所述的方法，其特征在于，所述步骤S3还包括：

根据所述目标图像中各像素所属类别的优先级，对所述目标图像中各像素所属区域的边界进行平滑处理；

其中，所述像素所属的类别包括牙、嘴唇、鼻子、眼睛、眉毛、脸和背景中的一种或多种；

牙的优先级大于嘴唇的优先级，鼻子、眼睛、眉毛和嘴唇的优先级相同，嘴唇的优先级大于脸的优先级，脸的优先级大于背景的优先级。

8.一种面部识别装置，其特征在于，包括：

第一提取单元，用于使用第一卷积神经网络对包含待识别面部信息的目标图像进行特征提取，获取第一特征图集合；其中，所述第一卷积神经网络包括下采样层；

第二提取单元，用于使用第二卷积神经网络对所述第一特征图集合进行特征提取，获取第二特征图集合；其中，所述第二卷积神经网络包括上采样层，所述第二特征图集合中各第二特征图的尺寸与所述目标图像的尺寸相同；

分类单元，用于对于所述目标图像中的每个像素，根据各所述第二特征图中与该像素位置相同的像素共同构成的特征向量，在所述第二卷积神经网络中的softmax层对该像素进行分类。

9.一种面部识别设备，其特征在于，包括：

至少一个处理器、至少一个存储器和总线；其中，

所述处理器和存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。