CN107871105B - 一种人脸认证方法和装置 - Google Patents

一种人脸认证方法和装置 Download PDF

Info

Publication number
CN107871105B
CN107871105B CN201610852125.6A CN201610852125A CN107871105B CN 107871105 B CN107871105 B CN 107871105B CN 201610852125 A CN201610852125 A CN 201610852125A CN 107871105 B CN107871105 B CN 107871105B
Authority
CN
China
Prior art keywords
data
layer
face
image data
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610852125.6A
Other languages
English (en)
Other versions
CN107871105A (zh
Inventor
王洋
张伟琳
陆小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Eyecool Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eyecool Technology Co Ltd filed Critical Beijing Eyecool Technology Co Ltd
Priority to CN201610852125.6A priority Critical patent/CN107871105B/zh
Publication of CN107871105A publication Critical patent/CN107871105A/zh
Application granted granted Critical
Publication of CN107871105B publication Critical patent/CN107871105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人脸认证方法和装置，其中所述方法包括：分别采用第一卷积神经网络以及第二卷积神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征，其中，所述第一卷积神经网络与所述第二卷积神经网络以不同的损失函数训练得到；将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征；基于所述组合人脸特征对所述目标人脸数据进行认证处理。本发明实施例可以提高人脸认证的准确率。

Description

一种人脸认证方法和装置
技术领域
本发明涉及生物数据处理的技术领域，特别是涉及一种人脸认证方法和一种人脸认证装置。
背景技术
由于人脸认证具有自然性和不被预测个体察觉的特点，人脸认证在金融、信息安全等领域的广泛运用。
按照特征表达方式和基于数据量规模的不同，人脸认证方法大体上可以分为基于浅层学习的方法和基于深度学习的方法两类。
(1)基于浅层学习的方法
基于浅层学习方法的人脸认证在一定规模的数据集上具有较好的效果。该方法包括基于几何的方法、基于子空间的方法、基于传统机器学习的方法等。
基于几何的方法是通过主观的选取人脸的关键点，将人脸关键点的位置关系和对应的纹理特征等信息转换成图模型，以关键点作为图的点，关键点之间的关系作为图的边，最后，通过图匹配的方法完成人脸识别或人脸认证任务。但这种方法中几何特征点的选择人为主观依赖较强，特征组合方式有限，识别率较低。
基于子空间的方法是将经过算子编码后的人脸特征通过映射函数投影到低纬度的子空间中，这种投影方法既可以降低特征的维度，又可以一定程度上增强特征的判别性。但这种方法对多种变化共存的复杂人脸识别问题效果较差，单一算子无法对复杂的变化人脸图像有效的表达。
基于传统机器学习的方法是一种由传统统计学习理论派生出的分类或回归方法。该类方法的主要作用是用于处理人脸识别的分类问题，而特征工程还是依赖于人为主观的设计编码算子。与子空间方法相类似，基于传统机器学习的方法的特征工程也较为依赖算子的人工设计，因此，没有有效的人脸编码算子，传统机器学习方法也无法达到较好的分类效果。
因此，上述基于浅层学习的方法特征结构单一，无法得到对人脸变化鲁棒的特征，对人脸的表征效果也不理想。
(2)基于深度学习的方法
深度学习是一种基于无监督特征学习和特征层次结构的学习方法。良好的特征表达，对最终算法的准确性起到了至关重要的作用，深度学习方法具有优异的特征学习能力，学习得到的特征对数据有更本质刻画，从而有利于可视化或分类。深度卷积网络可以自动的提取人脸图像的特征，在人脸识别上有较好的表现。但是深度卷积网络提取的特征单一，导致识别准确度较低。
发明内容
鉴于上述问题，为了解决上述人脸提取的特征单一、识别准确率低的问题，本发明实施例提出了一种人脸认证方法和相应的一种人脸认证装置。
为了解决上述问题，本发明实施例公开了一种人脸认证方法，包括：
分别采用第一卷积神经网络以及第二卷积神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征，其中，所述第一卷积神经网络与所述第二卷积神经网络以不同的损失函数训练得到；
将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征；
基于所述组合人脸特征对所述目标人脸数据进行认证处理。
本发明实施例还公开了一种人脸认证装置，包括：
特征提取模块，用于分别采用第一卷积神经网络以及第二卷积神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征，其中，所述第一卷积神经网络与所述第二卷积神经网络以不同的损失函数训练得到；
特征组合模块，用于将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征；
认证模块，用于基于所述组合人脸特征对所述目标人脸数据进行认证处理。
本发明实施例包括以下优点：
本发明实施例通过两个不同的卷积神经网络分别对同一幅人脸图像进行特征提取，得到第一人脸特征以及第二人脸特征，然后将第一人脸特征以及第二人脸特征融合成一个组合人脸特征，丰富了提取的人脸特征，最后根据组合人脸特征完成人脸的认证，从而提高了人脸认证准确率。
附图说明
图1是本发明的一种人脸认证方法实施例一的步骤流程图；
图2是本发明的一种人脸认证方法实施例二的步骤流程图；
图3是本发明实施例的第一卷积神经网络的示意图；
图4是本发明实施例的一种Inception的结构示例图；
图5是本发明实施例的第二卷积神经网络的示意图；
图6是本发明实施例的ROC曲线示意图；
图7是本发明的一种人脸认证装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种人脸认证方法实施例一的步骤流程图，具体可以包括如下步骤：
步骤101，分别采用第一卷积神经网络以及第二卷积神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征，其中，所述第一卷积神经网络与所述第二卷积神经网络以不同的损失函数训练得到；
步骤102，将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征；
步骤103，基于所述组合人脸特征对所述目标人脸数据进行认证处理。
本发明实施例通过两个不同的卷积神经网络分别对同一幅人脸图像进行特征提取，得到第一人脸特征以及第二人脸特征，然后将第一人脸特征以及第二人脸特征融合成一个组合人脸特征，丰富了提取的人脸特征，最后根据组合人脸特征完成人脸的认证，从而提高了人脸认证准确率。
参照图2，示出了本发明的一种人脸认证方法实施例二的步骤流程图，本发明实施例可以应用在人脸识别系统中，如门禁系统、监控系统、支付系统等等，以对用户进行人脸认证。
本发明实施例具体可以包括如下步骤：
步骤201，对目标图像数据进行人脸检测，确定人脸数据；
在具体实现中，人脸识别系统可以通过摄像头等方式采集目标图像数据，当获得目标图像数据以后，进一步对该目标图像数据进行人脸检测，以确定人脸数据。
在一种实施方式中，针对包含复杂背景的、尺寸大小不一的目标图像数据，可以使用AdaBoost(自适应提升方法)级联算法等方式进行人脸检测，以找到人脸数据所在的区域。
当然，本发明实施例并不限于上述人脸检测的方法，本领域技术人员还可以采用其他方式进行人脸检测，例如，采用基于CNN(Convolutional Neural Network，卷积神经网络)的人脸检测算法进行人脸检测，本发明实施例对此不作限定。
步骤202，在所述人脸数据中进行人脸特征点定位，确定眼睛数据；
当确定人脸数据以后，可以采用3D-pose(3D姿势)、SDM(Supervised DescentMethod)等人脸定位方法定位人脸特征点，并根据人脸特征点找到眼睛数据，即眼睛中心的位置。
步骤203，将所述眼睛数据进行对齐；
为了使得人脸处于归一化后的图像的中心位置，在步骤203中，可以将眼睛数据进行对齐，从而达到人脸对齐的目的。
例如，假设目标人脸数据的大小为100×100，若想要使得人脸的中心位置位于归一化后目标人脸数据的中心，可以使得左眼位置距离左边缘0.25倍图像宽度，右眼位置距离右边缘0.25倍图像宽度，左右眼位置距离上边缘三分之一倍高度。基于此，可以设置左眼距离左边缘30像素，距离上边缘30像素，右眼距离右边缘30像素，距离上边缘30像素，即将定位后的眼睛坐标对齐到(30,30)和(30,70)的位置(当然，这样的设置需要根据实际的情况进行调整)，从而使得人脸处于归一化后的图像的中心位置。
步骤204，对除所述眼睛数据之外的人脸数据，根据眼睛数据的位置关系进行相似变换以及归一化处理，得到目标人脸数据；
将眼睛数据对齐以后，还可以将人脸数据中除眼睛部分的其他部分根据眼睛的位置关系进行相似变换，得到归一化后的目标人脸数据。
在具体实现中，在得到归一化的目标人脸数据以后，在进行步骤205以前，还可以将归一化的目标人脸数据进行灰度化处理，得到灰度化的目标人脸数据作为卷积神经网络的输入。
在本发明实施例中，可以按照实际需求设置归一化后的目标人脸数据的大小，例如，归一化后的目标人脸数据的大小可以为100×100，也可以为104×104等。
步骤205，采用第一卷积神经网络对目标人脸数据进行特征提取，得到对应的第一人脸特征；
在实际中，卷积神经网络的训练过程实际上就是以损失函数为最终目的，调节网络中的参数。在特征提取过程中，网络的参数不断在改变。当一幅人脸图像进入卷积神经网络时，经过运算即可得到图像的特征向量。
参考图3示出了本发明实施例的第一卷积神经网络的示意图。
在本发明实施例中，第一卷积神经网络可以以第一损失函数为目标进行训练。在一种实施方式中，从图3可知，第一损失函数可以为交叉熵损失(softmaxwithloss)函数，交叉熵损失函数用于预测概率分布情况。
作为一种示例，交叉熵损失函数可以采用如下公式计算：
Figure BDA0001121019540000051
上式中的概率估计
Figure BDA0001121019540000052
通过多元回归获得，即：
Figure BDA0001121019540000061
其中，θ为多元回归的参数，x(i)是最后输出的特征向量，e为自然对数，是一个常数、T为转置矩阵、j为参量。
在本发明实施例的一种优选实施例中，步骤205可以包括如下子步骤：
子步骤S11，将所述目标人脸数据输入第一卷积神经网络；
其中，第一卷积神经网络分布有一个或多个卷积层，每一个或多个卷积层之间交替着采样层，第一个卷积层的数据输入为目标人脸数据，输出的数据作为下一层输入的数据；并且卷积层具有第一深度范围或第二深度范围，所述第二深度范围的层数大于所述第一深度范围的层数。
具体而言，第一卷积神经网络分布有输入层、一个或多个卷积层、一个或多个采样层、输出层。
第一卷积神经网络的每一层一般由多个map组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核(即权重)，卷积核往往代表一个特征，比如某个卷积核代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能是一段弧。
输入层：输入层没有输入值，有一个输出向量，这个向量的大小就是目标人脸数据的大小，如一个100×100的矩阵。
卷积层：卷积层的输入要么来源于输入层，要么来源于采样层，卷积层的每一个map都有一个大小相同的卷积核。
采样层(subsampling，Pooling)：采样层是对上一层map的一个采样处理，采样方式是对上一层map的相邻小区域进行聚合统计。
子步骤S12，当当前层为第一深度范围的卷积层时，采用指定的第一卷积核与第一步长对输入的数据进行卷积操作；
在本发明实施例中，若卷积层为为浅层(即第一深度范围)，可以直接采用卷积核进行卷积，减少计算量。
在第一深度范围卷积完成之后，可以通过BN(Batch Normalization)算子和/或ReLU(Rectified Linear Units)函数等方式对输入的数据进行规范化操作和/或激活操作。
第一深度卷积网络中的运算主要包括卷积、激活和下采样等。假设第(l+1)层输入的数据为
Figure BDA0001121019540000071
连接l层和第(l+1)层的权重和第(l+1)层的偏置分别为Wl+1和bl+1，则第(l+1)层的卷积结果zl+1如下所示：
Figure BDA0001121019540000072
其中，当l＝0，即输入层时，
Figure BDA0001121019540000073
为归一化后的目标人脸数据的灰度图像。若l非0时，即非输入层时，
Figure BDA0001121019540000074
为上一层的卷积输出结果。
对上述卷积结果进行ReLU激活函数激活，则可以得到该层的输出xl+1，公式如下：
Figure BDA0001121019540000075
为了使卷积获得特征更加的抽象以及稀疏，对该层激活后的卷积结果Max-Pooling下采样，Max-Pooling算子定义如下：
Figure BDA0001121019540000076
其中，yi表示对神经元xi进行s×s大小不重叠局部区域下采样得到的结果；
Figure BDA0001121019540000077
中的下标表示像素点的位置。
子步骤S13，当当前层为第二深度范围的卷积层时，，采用分层线性模型Inception对输入的数据进行卷积操作；
在本发明实施例中，第二深度范围的层数大于第一深度范围的层数，也就是说，第二深度范围的卷积层需要执行的卷积操作的次数大于第一深度范围的卷积层需要执行的卷积操作的次数。
若卷积层为深层(即第二深度范围)，可以采用Inception进行卷积，一方面，可以在计算量不变的情况下增加卷积神经网络的宽度和深度，从而增进卷积神经网络的性能；另一方面，使用不同大小的卷积核(如1×1、3×3、5×5)可以提取多尺度的人脸特征。
在本发明的一个实施例中，分层线性模型Inception包括第一层、第二层、第三层、第四层，则在本发明实施例中，子步骤S13进一步可以包括如下子步骤：
子步骤S131，在第一层中，采用指定的第二卷积核与第二步长对输入的数据进行卷积操作，获得第一特征图像数据；
在第一层中，可以通过BN算子、ReLU函数等方式对第一特征图像数据进行规范化操作和激活操作。
子步骤S132，在第二层中，对输入的数据进行最大化下采样操作，获得第二特征图像数据；
子步骤S133，采用指定的第三卷积核与第三步长对所述第二特征图像数据进行卷积操作，获得第三特征图像数据；
在第二层中，可以通过BN算子、ReLU函数等方式对第三特征图像数据进行规范化操作和激活操作。
子步骤S134，在第三层中，采用指定的第四卷积核与第四步长对输入的数据进行卷积操作，获得第四特征图像数据；
在第三层中，可以通过BN算子、ReLU函数等方式对第四特征图像数据进行规范化操作和激活操作。
子步骤S135，采用指定的第五卷积核与第五步长对所述第四特征图像数据进行卷积操作，获得第五特征图像数据；
在具体实现中，可以通过BN算子、ReLU函数等方式对第五特征图像数据进行规范化操作和激活操作。
子步骤S136，在第四层中，采用指定的第六卷积核与第六步长对输入的数据进行卷积操作，获得第六特征图像数据；
在第四层中，可以通过BN算子、ReLU函数等方式对第六特征图像数据进行规范化操作和激活操作。
子步骤S137，采用指定的第七卷积核与第七步长对所述第六特征图像数据进行卷积操作，获得第七特征图像数据；
在具体实现中，可以通过BN算子、ReLU函数等方式对第七特征图像数据进行规范化操作和激活操作。
子步骤S138，连接所述第一特征图像数据、所述第三特征图像数据、所述第五特征图像数据和所述得第七特征图像数据，获得第八特征图像数据。
在本发明实施例中，可以通过ReLU函数等方式对第八特征图像数据激活操作。
需要说明的是，第一卷积核、第二卷积核、第三卷积核、第四卷积核、第五卷积核、第六卷积核、第七卷积核的大小可以相同，也可以不同；第一步长、第二步长、第三步长、第四步长、第五步长、第六步长、第七步长的大小可以相同，也可以不同，本发明实施例对比不加以限制。
为使本领域技术人员更好地理解本发明实施例，以下通过具体的示例来说明本发明实施例中的Inception。
如图4所示，对于输入的数据：
在第一层中，可以采用1×1的卷积核，以步长为1进行卷积操作，然后进行BN规范化和ReLU激活。
在第二层中，对输入的数据进行最大化(Max)下采样，并可以采用1×1的卷积核，以步长为1进行卷积操作，再进行BN规范化和ReLU激活。
在第三层中，可以采用1×1的卷积核，以步长为1进行卷积操作，然后进行BN规范化和ReLU激活。
再采用使用5×5的卷积核，以步长为1进行卷积操作，然后进行BN规范化和ReLU激活。
在第四层中，可以采用1×1的卷积核，以步长为1进行卷积操作，然后进行BN规范化和ReLU激活。
再采用使用3×3的卷积核，以步长为1进行卷积操作，然后进行BN规范化和ReLU激活。
将第一层至第四层输出的图像数据连接在一起，再进行ReLu激活，得到Inception的输出。
子步骤S14，当当前层为采样层时，进行最大化下采样；
子步骤S15，将所述第一卷积神经网络输出的多个图像数据进行排序，获得特征向量，作为所述目标人脸数据的第一人脸特征。
为使本领域技术人员更好地理解本发明实施例，以下通过具体的示例来说明本发明实施例中的第一卷积神经网络。
Figure BDA0001121019540000091
Figure BDA0001121019540000101
表1
在本示例中，表1与图3相对应，图3中省略了采样层的描述。
如表1所示，第一卷积神经网络的卷积层与采样层共17层，其中，第1、3、4、6、7、9、10、11、12、13、15、16层为卷积层，第1、3、4为浅层、第6、7、9、10、11、12、13、15、16层为深层；第2、5、8、14、17层为采样层。
卷积层1：
假设输入一帧归一化后100×100的灰度目标人脸数据，首先采用5×5的卷积核，以步长为2对其进行卷积，得到64幅50×50的特征图像，然后对这64幅50×50的特征图像先进行BN规范化，再进行ReLU激活。
采样层1：
对卷积层1输出的64幅50×50的特征图像进行步长为2的3×3最大化下采样，得到64幅14×14的特征图像。
卷积层2：
对采样层1输出的64幅14×14的特征图像采用1×1的卷积核，以步长为1进行卷积操作，得到64幅14×14的特征图像，然后对这些14×14的特征图像先进行BN规范化，再进行ReLU激活。
卷积层3
对卷积层2输出的64幅14×14的特征图像采用3×3的卷积核，以步长为1进行卷积操作，得到92幅14×14的特征图像，然后对这些14×14的特征图像先进行BN规范化。
采样层2
对卷积层3输出的92幅14×14的特征图像进行步长为1的3×3最大化下采样，得到92幅14×14的特征图像。
卷积层4
对采样层2输出的92幅14×14的特征图像，应用如图4所示的Inception进行如下操作，得到256幅14×14的特征图像：
步骤1，对采样层2输出的92幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到64幅14×14的特征图像，然后对这些14×14的特征图像进行BN规范化，再进行ReLU激活。
步骤2，对采样层2输出的92幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到96幅14×14的特征图像，然后对这96幅14×14的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到128幅14×14的特征图像，然后对这些14×14的特征图像进行BN规范化，再进行ReLU激活。
步骤3，对采样层2输出的92幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到16幅14×14的特征图像，然后对这16幅14×14的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到32幅14×14的特征图像，然后对这32幅14×14的特征图像进行BN规范化，再进行ReLU激活。
步骤4，对采样层2输出的92幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到32幅14×14的特征图像，然后对这32幅14×14的特征图像进行BN规范化，再进行ReLU激活。
接着对这32幅14×14特征图像采用最大化下采样操作，得到32幅14×14的特征图像。
步骤5，将步骤1-步骤4输出的特征图像连接在一起，得到256幅14×14的特征图像，对连接后的256幅14×14的特征图像进行ReLu激活，得到卷积层4的输出。
卷积层5
对卷积层4输出的256幅14×14的特征图像，应用如图4所示的Inception进行如下操作，得到480幅14×14的特征图像：
步骤1，对卷积层4输出的256幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到128幅14×14的特征图像，然后对这些14×14的特征图像进行BN规范化，再进行ReLU激活。
步骤2，对卷积层4输出的256幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到128幅14×14的特征图像，然后对这128幅14×14的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到192幅14×14的特征图像，然后对这192幅14×14的特征图像进行BN规范化，再进行ReLU激活。
步骤3，对卷积层4输出的256幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到32幅14×14的特征图像，然后对这32幅14×14的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到96幅14×14的特征图像，然后对这96幅14×14的特征图像进行BN规范化，再进行ReLU激活。
步骤4，对卷积层4输出的256幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到64幅14×14的特征图像，然后对这64幅14×14的特征图像进行BN规范化，再进行ReLU激活。
接着对这64幅14×14的特征图像采用最大化下采样操作，得到64幅14×14的特征图像。
步骤5，将步骤1-步骤4的输出特征图像连接在一起，得到480幅为14×14的特征图像，对连接后的480幅14×14的特征图像进行ReLu激活，得到卷积层5的输出。
采样层3
对卷积层5输出的480幅14×14的特征图像以步长为2进行大小为3×3的最大化下采样，得到480幅7×7的特征图像。
卷积层6
对采样层3输出的480幅7×7的特征图像，应用如图4所示的Inception进行如下操作，得到512幅7×7的特征图像：
步骤1，对采样层3输出的480幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到192幅7×7的特征图像，然后对这192幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤2，对采样层3输出的480幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到96幅7×7的特征图像，然后对这96幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到208幅7×7的特征图像，然后对这208幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤3，对采样层3输出的480幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到16幅7×7的特征图像，然后对这16幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到48幅7×7的特征图像，然后对这48幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤4，对采样层3输出的480幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到64幅7×7的特征图像，然后对这64幅7×7的特征图像进行BN规范化，再进行ReLU激活。
接着对这64幅7×7的特征图像采用最大化下采样操作，得到64幅7×7的特征图像。
步骤5，将步骤1-步骤4的输出特征图像连接在一起，得到512幅7×7的特征图像，对连接后的512幅7×7的特征图像进行ReLu激活操作，得到卷积层6的输出。
卷积层7
对卷积层6输出的512幅7×7的特征图像，应用如图4所示的Inception进行如下操作，得到512幅7×7的特征图像。
步骤1，对卷积层6输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到160幅7×7的特征图像，然后对这160幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤2，对卷积层6输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到112幅7×7的特征图像，然后对这112幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到224幅7×7的特征图像，然后对这224幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
步骤3，对卷积层6输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到24幅7×7的特征图像，然后对这24幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到64幅7×7的特征图像，然后对这64幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤4，对卷积层6输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到64幅7×7的特征图像，然后对这64幅7×7的特征图像进行BN规范化，再进行ReLU激活。
接着对这64幅7×7的特征图像采用最大化下采样操作，得到64幅7×7的特征图像。
步骤5，将步骤1-步骤4的输出的特征图像连接在一起，得到512幅7×7的特征图像，对连接后的512幅7×7的特征图像进行ReLu激活操作，得到卷积层7的输出。
卷积层8
对卷积层7输出的512幅7×7的特征图像，应用如图4所示的Inception进行如下操作，得到512幅7×7的特征图像：
步骤1，对卷积层7输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到128幅7×7的特征图像，然后对这128幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤2，对卷积层7输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到128幅7×7的特征图像，然后对这128幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到256幅7×7的特征图像，然后对这256幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤3，对卷积层7输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到24幅7×7的特征图像，然后对这些7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到64幅7×7的特征图像，然后对这64幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤4，对卷积层7输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到64幅7×7的特征图像，然后对这64幅7×7的特征图像进行BN规范化，再进行ReLU激活。
接着对这64幅7×7的特征图像采用最大化下采样操作，得到64幅7×7的特征图像。
步骤5，将步骤1-步骤4的输出的特征图像连接在一起，得到512幅7×7的特征图像，对连接后的512幅7×7的特征图像进行ReLu激活操作，得到卷积层8的输出。
卷积层9
对卷积层8输出的512幅7×7的特征图像，应用如图4所示的Inception进行如下操作，得到528幅7×7的特征图像：
步骤1，对卷积层8输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到112幅7×7的特征图像，然后对这112幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
步骤2，对卷积层8输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到144幅7×7的特征图像，然后对这144幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到288幅7×7的特征图像，然后对这288幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤3，对卷积层8输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到24幅7×7的特征图像，然后对这些7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到64幅7×7的特征图像，然后对这64幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
步骤4，对卷积层8输出的512幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到64幅7×7的特征图像，然后对这64幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着对这64幅7×7的特征图像采用最大化下采样操作，得到64幅7×7的特征图像。
步骤5，将步骤1-步骤4的输出的特征图像连接在一起，得到528幅7×7的特征图像，接着对连接后的528幅7×7的特征图像进行ReLu激活操作，得到卷积层9的输出。
卷积层10
对卷积层9输出的528幅7×7的特征图像，应用如图4所示的Inception进行如下操作，得到832幅7×7的特征图像。
步骤1，对卷积层9输出的528幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到256幅7×7的特征图像，然后对这256幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
步骤2，对卷积层9输出的528幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到160幅7×7的特征图像，然后对这160幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到320幅7×7的特征图像，然后对这320幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤3，对卷积层9输出的528幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到32幅7×7的特征图像，然后对这32幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到128幅7×7的特征图像，然后对这128幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤4，对卷积层9输出的528幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到128幅7×7的特征图像，然后对这128幅7×7的特征图像进行BN规范化，再进行ReLU激活。
接着对这128幅7×7的特征图像采用最大化下采样操作，得到128幅7×7的特征图像。
步骤5，将步骤1-步骤4的输出的特征图像连接在一起，得到832幅7×7的特征图像，接着对连接后的832幅7×7的特征图像进行ReLu激活操作，得到卷积层10的输出。
采样层4
对卷积层10输出的832幅7×7的特征图像以步长为1进行大小为3×3的最大化下采样，得到832幅7×7的特征图像。
卷积层11
对采样层4输出的832幅7×7的特征图像，应用如图4所示的Inception进行如下操作，得到832幅7×7的特征图像：
步骤1，对采样层4输出的832幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到256幅7×7的特征图像，然后对这256幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
步骤2，对采样层4输出的832幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到160幅7×7的特征图像，然后对这160幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到320幅7×7的特征图像，然后对这320幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤3，对采样层4输出的832幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到32幅7×7的特征图像，然后对这32幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到128幅7×7的特征图像，然后对这128幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
步骤4，对采样层4输出的832幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到128幅7×7的特征图像，然后对这128幅7×7的特征图像进行BN规范化，再进行ReLU激活。
接着对这128幅7×7的特征图像采用最大化下采样操作，得到128幅7×7的特征图像。
步骤5，将步骤1-步骤4的输出的特征图像连接在一起，得到832幅7×7的特征图像，接着对连接后的832幅7×7的特征图像进行ReLu激活操作，得到卷积层11的输出。
卷积层12
对卷积层11输出的832幅7×7的特征图像进行如下步骤，得到1024幅7×7的特征图像。
步骤1，对卷积层11输出的832幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到384幅7×7的特征图像，然后对这384幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤2，对卷积层11输出的832幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到192幅7×7的特征图像，然后对这192幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到384幅7×7的特征图像，然后对这384幅7×7的特征图像进行BN规范化，再进行ReLU激活。
步骤3，对卷积层11输出的832幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到48幅7×7的特征图像，然后对这48幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到128幅7×7的特征图像，然后对这128幅7×7的特征图像先进行BN规范化，再进行ReLU激活。
步骤4，对卷积层11输出的832幅7×7的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到128幅7×7的特征图像，然后对这128幅7×7的特征图像进行BN规范化，再进行ReLU激活。
接着对这128幅7×7的特征图像采用最大化下采样操作，得到128幅7×7的特征图像。
步骤5，将步骤1-步骤4的输出的特征图像连接在一起，得到1024幅7×7的特征图像，对连接后的1024幅7×7的特征图像进行ReLu激活操作，得到卷积层12的输出。
采样层5
对卷积层12输出的1024幅7×7的特征图像以步长为7进行大小为7×7的最大化下采样，得到1024幅1×1的特征图像。
最后，将这1024幅1×1的特征图像顺序排列，拉成一个维度为1024维的特征向量，该向量即为一帧100×100的目标人脸数据通过第一卷积网络运算的到的第一人脸特征。
在具体实现中，为了训练更深层次的神经网络，提高训练精度，可以从第一卷积神经网络中学习残差网络，残差网络的主要特色是跨层连接。在本发明实施例中，可以采用卷积操作学习所述第一卷积神经网络的残差，该卷积操作对应的卷积核大小为1×1或3×3等。即，在第一卷积神经网络中，捷径路径shortcut具有卷积层，从而保证进行残差连接的两个图像的大小一致。
步骤206，采用第二卷积神经网络对目标人脸数据进行特征提取，得到对应的第二人脸特征；
参考图5示出了本发明实施例的第二卷积神经网络的示意图。
在本发明实施例中，第二卷积神经网络可以以第二损失函数为目标进行训练。在一种实施方式中，如图5所示，第二损失函数可以为交叉熵损失(softmaxwithloss)函数与欧几里得损失函数的加权和，交叉熵损失函数用于预测概率分布情况，欧几里得损失函数(EuclideanLoss)用于表征同一个人的两幅人脸图像特征的相似度。
作为一种示例，交叉熵损失函数可以采用如下公式计算：
Figure BDA0001121019540000201
欧几里得损失函数可以采用如下公式计算：
Euclid(xi,xj)＝||xi-xj||2
其中，xi,xj为同一个人的两幅人脸图像特征。
则第二损失函数可以表示为：
Figure BDA0001121019540000202
即第二损失函数是交叉熵损失函数与欧几里得损失函数的加权和，作为本发明实施例的一种示例，权重λ的大小可以为λ＝0.005。
相比于第一损失函数使用的识别信号有监督训练网络，第二损失函数同时使用了识别信号和认证信号有监督训练网络。
在本发明实施例的一种优选实施例中，步骤206可以包括如下子步骤：
子步骤S21，将所述目标人脸数据输入第二卷积神经网络；
其中，第二卷积神经网络分布有一个或多个卷积层，每一个或多个卷积层之间交替着采样层，第一个卷积层的数据输入为目标人脸数据，输出的数据作为下一层输入的数据；并且卷积层具有第一深度范围或第二深度范围，所述第二深度范围的层数大于所述第一深度范围的层数。
子步骤S22，当当前层为第一深度范围的卷积层时，采用指定的第一卷积核与第一步长对输入的数据进行卷积操作；
子步骤S23，当当前层为第二深度范围的卷积层时，采用分层线性模型Inception对输入的数据进行卷积操作；
子步骤S24，当当前层为采样层时，进行最大化下采样；
子步骤S25，将所述第二卷积神经网络输出的多个图像数据进行排序，获得特征向量，作为所述目标人脸数据的第二人脸特征。
在本发明实施例中，可以采用对目标人脸数据进行填充的方式学习所述第二卷积神经网络的残差。即，在第二卷积神经网络中，捷径路径shortcut没有卷积层，其是直接将跨层的两层进行连接的，但需要对输入数据外加一圈padding(补零)。
需要说明的是，在本发明实施例中，第一卷积神经网络与第二卷积神经网络的结构大致相似，其区别在于损失函数的不同以及残差的计算不同，关于采用第二卷积神经网络对目标人脸数据进行特征提取，得到对应的第二人脸特征的过程的相似之处可以参考上述关于第一卷积神经网络的特征提取过程，此处不再赘述了。
在本发明实施例中，输入到第一卷积神经网络以及第二神经网络的数据为整幅目标人脸数据，对应的是整幅人脸图像，更能满足实时性的需求。
进一步的，本发明实施例通过网络可以自动的学习和提取人脸特征，避免了人工特征设计时主观性的不足。
步骤207，将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征；
在具体实现中，在得到第一人脸特征以及第二人脸特征以后，可以将该第一人脸特征以及第二人脸特征进行合并，得到新的特征向量，即组合人脸特征，该组合人脸特征表示一个人的人脸特征向量。
例如，第一人脸特征以及第二人脸特征分别表示如下：
Figure BDA0001121019540000221
则将两者融合后得到的一列组合人脸特征的为：
Figure BDA0001121019540000222
在具体实现中，为了消除特征内部与特征之间的相关性冗余，使得融合后的组合人脸特征对人脸有更好的表达，在本发明实施例的一种优选实施例中，还可以对组合人脸特征进行降维处理。
在具体实现中，可以采用主成分分析(Principal Component Analysis，简称PCA)算法进行特征的组合以及特征矩阵的降维，其中，主成分分析又称主分量分析，是将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法，主成分分析方法是在图像处理中对图像进行降维方法，通过特征的组合最大化新特征的方差，并且消除特征之间的相关性。
在一种实施方式中，本发明实施例结合主成分分析方法的过程如下：
第一步，按照本发明实施例步骤205以及步骤206的方法提取训练样本中每个人脸数据的不同的人脸特征，其中，训练样本中包括多个人脸数据；
第二步，将上述训练样本中每个人脸数据合并成组合人脸数据以后，将训练样本中的所有人脸数据的组合人脸数据组织成一个特征矩阵，其中，特征矩阵中每一列表示一个人脸的特征向量；
第三步，将特征矩阵标准化，即求特征矩阵每一行的平均值，然后对于特征矩阵中所有的样本，都减去对应的均值并除以标准差；
第四步，计算标准化后的特征矩阵的特征值和对应的特征向量；
第五步，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成降维矩阵；或者，选取特征值之和为前95％的特征值对应的特征向量构造降维矩阵；
第六步，将样本点投影到降维矩阵中，在具体实现中，将目标人脸数据对应的组合人脸特征与降维矩阵相乘即可获得消除冗余后的降维的组合人脸特征。
假设样例数为m，组合特征数为n，减去均值后的样本矩阵为DataAdjust(m*n)，协方差矩阵是n*n，选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据FinalData为
FinalData(m*k)＝DataAdjust(m*n)×EigenVectors(n*m)
这样，就将原始样例的n维组合人脸特征变成了k维，这k维就是原始的组合人脸特征在k维上的投影。
在本发明实施例中，使用主成分分析方法一方面为了将第一人脸特征以及第二人脸特征通过不同组合融合成新的特征，另一方面可以通过该方法消除特征内部与特征之间的相关性，使得融合后的特征对人脸有更好的表达。
步骤208，基于所述组合人脸特征对所述目标人脸数据进行认证处理。
在本发明实施例的一种优选实施例中，步骤208可以包括如下子步骤：
子步骤S41，提取参考人脸数据的参考人脸特征；
参考人脸数据，可以为需要进行认证的用户的人脸数据，该参考人脸数据是指定的，也可以是非指定的，本发明实施例对此不加以限制。
例如，在支付系统中，指定提取账户所属用户的参考人脸数据进行人脸认证。
又例如，在监控系统中，没有指定用户的参考人脸数据，而是广泛地采用诸如不法分子的参考人脸数据进行人脸认证。
参考人脸数据的参考人脸特征与目标人脸特征的生成方式相同，可以预先存储在数据库中，待人脸认证时直接提取即可。
子步骤S42，计算所述参考人脸特征与所述组合人脸特征之间的相似度；
在具体实现中，可以采用联合贝叶斯分类器分类的方法计算参考人脸特征与组合人脸特征之间的相似度，联合贝叶斯分类器是一种将多分类问题转化成样本对二分类问题的分类器，通过计算两个样本属于同一类条件下的二者差值的概率与两个样本属于不同类条件下的二者差值的概率的比值的对数的方法，来对样本对分类，该分类器可以一定程度上缩小类内的距离，增大类间的距离。
在联合贝叶斯分类器中，输入为两幅人脸图像(参考人脸图像以及组合人脸图像)x1,x2对应的人脸特征f1,f2，输出为两幅人脸图像的相似度r。
作为一种示例，上述相似度的计算公式如下：
Figure BDA0001121019540000241
其中，
F＝Sε -1；
G＝-(2Sμ+Sε)-1SμSε -1；
A＝(Sμ+Sε)-1-(F+G)；
Sμ，Sε为同一个人和不同人人脸特征向量的协方差矩阵，可以通过EM算法(机器学习算法之一)，通过训练样本学习得到。
需要说明的是，上述相似度学习算法仅仅是本发明实施例的一种示例，本领域技术人员还可以采用其他算法计算相似度，例如，余弦相似度算法，本发明实施例对此不作限制。
子步骤S43，判断所述相似度是否大于或等于预设的相似度阈值；若是，则确定所述目标人脸数据与所述参考人脸数据属于同一个人；若否，则确定所述目标人脸数据与所述参考人脸数据不属于同一个人。
计算相似度以后，可以将相似度与预设的相似度阈值T比较：
如果相似度≥T，则说明参考人脸数据与目标人脸数据较为相似，较大可能来自于同一个人，人脸认证成功。
如果相似度＜T，则说明参考人脸数据与目标人脸数据相距较远，较大可能来自于不同人，人脸认证失败。
本发明实施例提出的目标人脸特征，采用融合特征和联合贝叶斯分类器结合的方式使得人脸识别具有较高的准确率，采用LFW数据库(lfw image database)中的图像数据进行测试，准确率可达99.71％，相应的ROC曲线(receiver operating characteristiccurve，受试者工作特征曲线)如图6所示。
本发明实施例通过两个卷积神经网络分别对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征，然后将第一人脸特征以及第二人脸特征融合成一个组合人脸特征，丰富了提取的人脸特征，最后根据组合人脸特征完成人脸的认证，提高了人脸认证准确率。
实验表明，本发明实施例不但能够解决人脸识别中姿态、表情、光照等变化导致识别率下降的问题，还可以使得同一个人的人脸图像样本之间的距离充分的小。进一步的，由于在提取特征时，只是对整幅人脸图像提取特征，不需要进行multi-patch，所以算法在运算时间上相比较其他算法也较少。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图7，示出了本发明的一种人脸认证装置实施例的结构框图，具体可以包括如下模块：
特征提取模块701，用于分别采用第一卷积神经网络以及第二卷积神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征，其中，所述第一卷积神经网络与所述第二卷积神经网络以不同的损失函数训练得到；
特征组合模块702，用于将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征；
认证模块703，用于基于所述组合人脸特征对所述目标人脸数据进行认证处理。
在本发明的一个实施例中，所述装置还包括：
人脸检测模块，用于对目标图像数据进行人脸检测，确定人脸数据；
特征点定位模块，用于在所述人脸数据中进行人脸特征点定位，确定眼睛数据；
眼睛对齐模块，用于将所述眼睛数据进行对齐；
目标人脸数据获取模块，用于对除所述眼睛数据之外的人脸数据，根据眼睛数据的位置关系进行相似变换以及归一化处理，得到目标人脸数据。
在本发明的一个实施例中，所述特征提取模块701包括：
数据输入单元，用于分别将所述目标人脸数据输入第一卷积神经网络以及第二卷积神经网络，其中，所述第一卷积神经网络以及第二卷积神经网络均分布有一个或多个卷积层，每一个或多个卷积层之间交替着采样层，第一个卷积层的数据输入为目标人脸数据，输出的数据作为下一层输入的数据；所述卷积层具有第一深度范围或第二深度范围，所述第二深度范围的层数大于所述第一深度范围的层数；
第一卷积操作单元，用于在所述第一卷积神经网络和/或所述第二卷积神经网络中，当当前层为第一深度范围的卷积层时，采用指定的第一卷积核与第一步长对输入的数据进行卷积操作；
第二卷积操作单元，用于当当前层为第二深度范围的卷积层时，采用分层线性模型Inception对输入的数据进行卷积操作；
下采样单元，用于当当前层为采样层时，进行最大化下采样；
特征向量获取单元，用于将所述第一卷积神经网络输出的多个图像数据进行排序，获得特征向量，作为所述目标人脸数据的第一人脸特征，以及，将所述第二卷积神经网络输出的多个图像数据进行排序，获得特征向量，作为所述目标人脸数据的第二人脸特征。
在本发明的一个实施例中，所述第一特征提取子模块还包括：
卷积辅助单元，用于对所述卷积层输出的数据进行规范化操作和/或激活操作。
在本发明的一个实施例中，所述分层线性模型Inception包括第一层、第二层、第三层、第四层；
所述第二卷积操作单元包括：
第一卷积子单元，用于在第一层中，采用指定的第二卷积核与第二步长对输入的数据进行卷积操作，获得第一特征图像数据；
第二卷积子单元，用于在第二层中，对输入的数据进行最大化下采样操作，获得第二特征图像数据；
第三卷积子单元，用于采用指定的第三卷积核与第三步长对所述第二特征图像数据进行卷积操作，获得第三特征图像数据；
第四卷积子单元，用于在第三层中，采用指定的第四卷积核与第四步长对输入的数据进行卷积操作，获得第四特征图像数据；
第五卷积子单元，用于采用指定的第五卷积核与第五步长对所述第四特征图像数据进行卷积操作，获得第五特征图像数据；
第六卷积子单元，用于在第四层中，采用指定的第六卷积核与第六步长对输入的数据进行卷积操作，获得第六特征图像数据；
第七卷积子单元，用于采用指定的第七卷积核与第七步长对所述第六特征图像数据进行卷积操作，获得第七特征图像数据；
图像连接子单元，用于连接所述第一特征图像数据、所述第三特征图像数据、所述第五特征图像数据和所述得第七特征图像数据，获得第八特征图像数据。
在本发明的一个实施例中，所述第二卷积操作单元还用于：
在第一层中，对所述第一特征图像数据进行规范化操作和激活操作；
在第二层中，对所述第三特征图像数据进行规范化操作和激活操作；
在第三层中，对所述第四特征图像数据进行规范化操作和激活操作；以及，对所述第五特征图像数据进行规范化操作和激活操作；
在第四层中，对所述第六特征图像数据进行规范化操作和激活操作；以及，对所述第七特征图像数据进行规范化操作和激活操作；
对所述第八特征图像数据激活操作。
在本发明的一个实施例中，还包括：
第一残差计算模块，用于在所述第一卷积神经网络中，采用卷积操作学习所述第一卷积神经网络的残差；
第二残差计算模块，用于在所述第二卷积神经网络中，采用对所述目标人脸数据进行填充的方式学习所述第二卷积神经网络的残差。
在本发明的一个实施例中，还包括：
降维模块，用于对所述组合人脸特征进行降维处理。
在本发明的一个实施例中，所述认证模块703包括：
参考人脸特征提取子模块，用于提取参考人脸数据的参考人脸特征；
相似度计算子模块，用于计算所述参考人脸特征与所述组合人脸特征之间的相似度；
判断子模块，用于判断所述相似度是否大于或等于预设的相似度阈值；若是，则确定所述目标人脸数据与所述参考人脸数据属于同一个人；若否，则确定所述目标人脸数据与所述参考人脸数据不属于同一个人。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种人脸认证方法和一种人脸认证装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种人脸认证方法，其特征在于，包括：
分别采用第一卷积神经网络以及第二卷积神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征，其中，所述第一卷积神经网络与所述第二卷积神经网络以不同的损失函数训练得到；
将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征；
基于所述组合人脸特征对所述目标人脸数据进行认证处理；
其中，所述分别采用第一卷积神经网络以及第二卷积神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征的步骤包括：
分别将所述目标人脸数据输入第一卷积神经网络以及第二卷积神经网络，其中，所述第一卷积神经网络以及第二卷积神经网络均分布有一个或多个卷积层，每一个或多个卷积层之间交替着采样层，第一个卷积层的数据输入为目标人脸数据，输出的数据作为下一层输入的数据；所述卷积层具有第一深度范围或第二深度范围，所述第二深度范围的层数大于所述第一深度范围的层数；
在所述第一卷积神经网络和/或所述第二卷积神经网络中，当当前层为第一深度范围的卷积层时，采用指定的第一卷积核与第一步长对输入的数据进行卷积操作；当当前层为第二深度范围的卷积层时，采用分层线性模型Inception对输入的数据进行卷积操作；当当前层为采样层时，进行最大化下采样；
将所述第一卷积神经网络输出的多个图像数据进行排序，获得特征向量，作为所述目标人脸数据的第一人脸特征，以及，将所述第二卷积神经网络输出的多个图像数据进行排序，获得特征向量，作为所述目标人脸数据的第二人脸特征；
其中，所述分层线性模型Inception包括第一层、第二层、第三层、第四层；
所述采用分层线性模型Inception对输入的数据进行卷积操作的步骤包括：
在第一层中，采用指定的第二卷积核与第二步长对输入的数据进行卷积操作，获得第一特征图像数据；
在第二层中，对输入的数据进行最大化下采样操作，获得第二特征图像数据；
采用指定的第三卷积核与第三步长对所述第二特征图像数据进行卷积操作，获得第三特征图像数据；
在第三层中，采用指定的第四卷积核与第四步长对输入的数据进行卷积操作，获得第四特征图像数据；
采用指定的第五卷积核与第五步长对所述第四特征图像数据进行卷积操作，获得第五特征图像数据；
在第四层中，采用指定的第六卷积核与第六步长对输入的数据进行卷积操作，获得第六特征图像数据；
采用指定的第七卷积核与第七步长对所述第六特征图像数据进行卷积操作，获得第七特征图像数据；
连接所述第一特征图像数据、所述第三特征图像数据、所述第五特征图像数据和所述得第七特征图像数据，获得第八特征图像数据。
2.根据权利要求1所述的方法，其特征在于，在所述分别采用第一深度神经网络以及第二深度神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征的步骤之前，还包括：
对目标图像数据进行人脸检测，确定人脸数据；
在所述人脸数据中进行人脸特征点定位，确定眼睛数据；
将所述眼睛数据进行对齐；
对除所述眼睛数据之外的人脸数据，根据眼睛数据的位置关系进行相似变换以及归一化处理，得到目标人脸数据。
3.根据权利要求1所述的方法，其特征在于，在所述当当前层为第一深度范围的卷积层时，采用指定的第一卷积核与第一步长对输入的数据进行卷积操作的步骤之后，还包括：
对所述卷积层输出的数据进行规范化操作和/或激活操作。
4.根据权利要求3所述的方法，其特征在于，所述采用分层线性模型Inception对输入的数据进行卷积操作的步骤还包括：
在第一层中，对所述第一特征图像数据进行规范化操作和激活操作；
在第二层中，对所述第三特征图像数据进行规范化操作和激活操作；
在第三层中，对所述第四特征图像数据进行规范化操作和激活操作；以及，对所述第五特征图像数据进行规范化操作和激活操作；
在第四层中，对所述第六特征图像数据进行规范化操作和激活操作；以及，对所述第七特征图像数据进行规范化操作和激活操作；
对所述第八特征图像数据激活操作。
5.根据权利要求1所述的方法，其特征在于，还包括：
在所述第一卷积神经网络中，采用卷积操作学习所述第一卷积神经网络的残差；
在所述第二卷积神经网络中，采用对所述目标人脸数据进行填充的方式学习所述第二卷积神经网络的残差。
6.根据权利要求1所述的方法，其特征在于，在所述将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征的步骤之后，还包括：
对所述组合人脸特征进行降维处理。
7.根据权利要求1或2或6所述的方法，其特征在于，所述基于所述组合人脸特征对所述目标人脸数据进行认证处理的步骤包括：
提取参考人脸数据的参考人脸特征；
计算所述参考人脸特征与所述组合人脸特征之间的相似度；
判断所述相似度是否大于或等于预设的相似度阈值；
若是，则确定所述目标人脸数据与所述参考人脸数据属于同一个人；
若否，则确定所述目标人脸数据与所述参考人脸数据不属于同一个人。
8.一种人脸认证装置，其特征在于，包括：
特征提取模块，用于分别采用第一卷积神经网络以及第二卷积神经网络对同一目标人脸数据进行特征提取，得到对应的第一人脸特征以及第二人脸特征，其中，所述第一卷积神经网络与所述第二卷积神经网络以不同的损失函数训练得到；
特征组合模块，用于将所述第一人脸特征以及所述第二人脸特征合并成组合人脸特征；
认证模块，用于基于所述组合人脸特征对所述目标人脸数据进行认证处理；其中，所述特征提取模块包括：
数据输入单元，用于分别将所述目标人脸数据输入第一卷积神经网络以及第二卷积神经网络，其中，所述第一卷积神经网络以及第二卷积神经网络均分布有一个或多个卷积层，每一个或多个卷积层之间交替着采样层，第一个卷积层的数据输入为目标人脸数据，输出的数据作为下一层输入的数据；所述卷积层具有第一深度范围或第二深度范围，所述第二深度范围的层数大于所述第一深度范围的层数；
第一卷积操作单元，用于在所述第一卷积神经网络和/或所述第二卷积神经网络中，当当前层为第一深度范围的卷积层时，采用指定的第一卷积核与第一步长对输入的数据进行卷积操作；
第二卷积操作单元，用于当当前层为第二深度范围的卷积层时，采用分层线性模型Inception对输入的数据进行卷积操作；
下采样单元，用于当当前层为采样层时，进行最大化下采样；
特征向量获取单元，用于将所述第一卷积神经网络输出的多个图像数据进行排序，获得特征向量，作为所述目标人脸数据的第一人脸特征，以及，将所述第二卷积神经网络输出的多个图像数据进行排序，获得特征向量，作为所述目标人脸数据的第二人脸特征；
其中，所述分层线性模型Inception包括第一层、第二层、第三层、第四层；
所述第二卷积操作单元包括：
第一卷积子单元，用于在第一层中，采用指定的第二卷积核与第二步长对输入的数据进行卷积操作，获得第一特征图像数据；
第二卷积子单元，用于在第二层中，对输入的数据进行最大化下采样操作，获得第二特征图像数据；
第三卷积子单元，用于采用指定的第三卷积核与第三步长对所述第二特征图像数据进行卷积操作，获得第三特征图像数据；
第四卷积子单元，用于在第三层中，采用指定的第四卷积核与第四步长对输入的数据进行卷积操作，获得第四特征图像数据；
第五卷积子单元，用于采用指定的第五卷积核与第五步长对所述第四特征图像数据进行卷积操作，获得第五特征图像数据；
第六卷积子单元，用于在第四层中，采用指定的第六卷积核与第六步长对输入的数据进行卷积操作，获得第六特征图像数据；
第七卷积子单元，用于采用指定的第七卷积核与第七步长对所述第六特征图像数据进行卷积操作，获得第七特征图像数据；
图像连接子单元，用于连接所述第一特征图像数据、所述第三特征图像数据、所述第五特征图像数据和所述得第七特征图像数据，获得第八特征图像数据。
CN201610852125.6A 2016-09-26 2016-09-26 一种人脸认证方法和装置 Active CN107871105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610852125.6A CN107871105B (zh) 2016-09-26 2016-09-26 一种人脸认证方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610852125.6A CN107871105B (zh) 2016-09-26 2016-09-26 一种人脸认证方法和装置

Publications (2)

Publication Number Publication Date
CN107871105A CN107871105A (zh) 2018-04-03
CN107871105B true CN107871105B (zh) 2021-10-19

Family

ID=61751849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610852125.6A Active CN107871105B (zh) 2016-09-26 2016-09-26 一种人脸认证方法和装置

Country Status (1)

Country Link
CN (1) CN107871105B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446666A (zh) * 2018-04-04 2018-08-24 平安科技（深圳）有限公司 双通道神经网络模型训练及人脸比对方法、终端及介质
CN108647583B (zh) * 2018-04-19 2022-02-22 浙江大承机器人科技有限公司 一种基于多目标学习的人脸识别算法训练方法
CN110163215B (zh) * 2018-06-08 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN108898086B (zh) 2018-06-20 2023-05-26 腾讯科技（深圳）有限公司 视频图像处理方法及装置、计算机可读介质和电子设备
CN109086782A (zh) * 2018-08-21 2018-12-25 广东工业大学 特征描述子生成方法、装置、设备及计算机可读存储介质
CN109446922B (zh) * 2018-10-10 2021-01-08 中山大学 一种实时鲁棒的人脸检测方法
CN110046551B (zh) * 2019-03-18 2021-04-20 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
CN111860077A (zh) * 2019-04-30 2020-10-30 北京眼神智能科技有限公司 人脸检测方法、装置、计算机可读存储介质及设备
CN110337016B (zh) * 2019-06-13 2020-08-14 山东大学 基于多模态图卷积网络的短视频个性化推荐方法、系统、可读存储介质以及计算机设备
CN112446247B (zh) * 2019-08-30 2022-11-15 北京大学 一种基于多特征融合的低光照人脸检测方法及低光照人脸检测网络
CN110728179A (zh) * 2019-09-04 2020-01-24 天津大学 一种采用多路卷积神经网络的猪脸识别方法
CN112967216B (zh) * 2021-03-08 2023-06-09 平安科技（深圳）有限公司 人脸图像关键点的检测方法、装置、设备以及存储介质
CN113449656B (zh) * 2021-07-01 2022-08-02 淮阴工学院 一种基于改进的卷积神经网络的驾驶员状态识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统
CN105426860A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 人脸识别的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632136B (zh) * 2013-11-11 2017-03-29 北京天诚盛业科技有限公司 人眼定位方法和装置
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN105631403B (zh) * 2015-12-17 2019-02-12 小米科技有限责任公司 人脸识别方法及装置
CN105404883B (zh) * 2015-12-30 2018-08-14 四川川大智胜软件股份有限公司 一种异质三维人脸识别方法
CN105912611B (zh) * 2016-04-05 2019-04-26 中国科学技术大学 一种基于cnn的快速图像检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426860A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 人脸识别的方法和装置
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度学习：多层神经网络的复兴与变革;山世光 等;《科技导报》;20160728;第34卷(第14期);第60-70页 *

Also Published As

Publication number Publication date
CN107871105A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107871105B (zh) 一种人脸认证方法和装置
CN107871100B (zh) 人脸模型的训练方法和装置、人脸认证方法和装置
CN107633513B (zh) 基于深度学习的3d图像质量的度量方法
CN105138972B (zh) 人脸认证方法和装置
Lee et al. Face alignment using cascade gaussian process regression trees
CN109977757B (zh) 一种基于混合深度回归网络的多模态的头部姿态估计方法
CN107871103B (zh) 一种人脸认证方法和装置
US20180157892A1 (en) Eye detection method and apparatus
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN108389189B (zh) 基于字典学习的立体图像质量评价方法
US20120063689A1 (en) Object recognition in an image
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
Shakya et al. Human behavior prediction using facial expression analysis
CN107784284A (zh) 人脸识别方法及系统
Mohamed et al. Automated face recogntion system: Multi-input databases
Yu et al. An efficient hybrid eye detection method
Satange et al. Composite feature extraction based on Gabor and Zernike moments for face recognition
CN113591607A (zh) 一种车站智能疫情防控系统及方法
Hussein et al. Human Recognition based on Multi-instance Ear Scheme
Kathirvalavakumar et al. Features reduction using wavelet and discriminative common vector and recognizing faces using RBF
Ge et al. Multi-view based face chin contour extraction
Mostafa et al. Adaptive biometric verification system using quality-based co-training
Kim et al. Design of face recognition system realized with the aid of pca-based rbfnn
Elmannai et al. Nonlinear separation source and parameterized feature fusion for satelite image patch exemplars
Ashraf et al. Eigenfaces Technique, an Improved Face Recognition Approach Using Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 071800 Beijing Tianjin talent home (Xincheng community), West District, Xiongxian Economic Development Zone, Baoding City, Hebei Province

Patentee after: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Address before: 100085 20 / F, building 4, yard 1, shangdishi street, Haidian District, Beijing 2013

Patentee before: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Face Authentication Method and Device

Effective date of registration: 20230510

Granted publication date: 20211019

Pledgee: Bank of China Limited Hebei xiong'an branch

Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Registration number: Y2023980040255

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20211019

Pledgee: Bank of China Limited Hebei xiong'an branch

Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Registration number: Y2023980040255

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A facial authentication method and device

Granted publication date: 20211019

Pledgee: Bank of China Limited Hebei xiong'an branch

Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Registration number: Y2024110000186