CN107247949B - 基于深度学习的人脸识别方法、装置和电子设备 - Google Patents
基于深度学习的人脸识别方法、装置和电子设备 Download PDFInfo
- Publication number
- CN107247949B CN107247949B CN201710651972.0A CN201710651972A CN107247949B CN 107247949 B CN107247949 B CN 107247949B CN 201710651972 A CN201710651972 A CN 201710651972A CN 107247949 B CN107247949 B CN 107247949B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional
- convolution
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 69
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000011176 pooling Methods 0.000 claims abstract description 40
- 230000005284 excitation Effects 0.000 claims abstract description 28
- 238000010606 normalization Methods 0.000 claims abstract description 17
- 238000011478 gradient descent method Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 7
- 108010001267 Protein Subunits Proteins 0.000 claims 2
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的人脸识别方法、装置和电子设备，该方法包括：构建卷积神经网络模型，卷积神经网络模型包括依序连接的第一卷积单元、第一池化层、多个卷积组合、第二池化层和全连接层，其中，第一卷积单元包括第一卷积层、批归一化层和激励函数层，激励函数层同时采用ReLU函数和NReLU函数作为激励函数，相邻的卷积组合之间采用残差网络的短路层进行连接；训练卷积神经网络模型，将训练数据输入卷积神经网络模型，并采用随机梯度下降法进行训练，训练后的卷积神经网络模型去除掉最后的全连接层后只做前向传播即可作为人脸识别时需要的人脸特征数据。本发明使用ReLU+NReLU作为激励函数，能降低运算量，保证精度、减小模型大小和提升运行速度。
Description
技术领域
本发明涉及人脸识别领域，特别地，涉及一种基于深度学习的人脸识别方法、装置和电子设备。
背景技术
由于人脸的方便性，人脸识别技术在监控、安防、金融、社保等领域成为热点。借助于近年来深度学习的特征学习，人脸识别技术得到了很大的进展。现在很多因素例如不同的光照，姿态，表情已经相对鲁棒。
近些年人脸检测方法按照是否采用深度学习方法分为两类，未采用深度学习方法的算法效果比较好的有joint cascade face detection and align(JDA)和NormalizedPixel Difference(NPD)。JDA方法将人脸检测和人脸关键点检测结合起来，利用一种比较简单的像素差特征和随机森林方法实现算法框架。由于特征比较简单，该算法对光照的鲁棒性比较差，在逆光、光照不均匀的情况下人脸检测的效果较差。NPD方法和JDA方法整体框架类似，不同点主要在于NPD对像素差特征进行了归一化处理，对逆光情况有较好的改善。该算法在权威人脸检测数据集FDDB(Face Detection Data Set and Benchmark)上检测效果比JDA略差，速度上慢于JDA方法。
以上两种检测算法是传统方法(未采用深度学习)中效果最好的几种之一，比深度学习方法的人脸检测算法在误检个数相同的情况下召回率要低5到10个点。下面介绍几种效果比较好的深度学习人脸算法。Face Detection with the Faster R-CNN将vgg网络(16层)和Faster R-CNN框架应用到人脸检测，这些方法虽然取得了很好的效果，但是由于模型文件太大，速度太慢，基本很难在实际产品中使用。人脸识别的算法放在前端比对还存在很多问题，例如模型太大，一个vgg16网络需要500M的模型空间。由于模型参数太大因而在前端做人脸特征提取时速度太慢，很难将深度学习技术的移植到硬件设备有限的前端上应用。
发明内容
本发明提供了一种基于深度学习的人脸识别方法、装置和电子设备，适合在前端做人脸特征提取，以解决现有模型太大且速度慢的技术问题。
本发明采用的技术方案如下：
本发明的一方面提供了一种基于深度学习的人脸识别方法，包括：
构建卷积神经网络模型，卷积神经网络模型包括依序连接的第一卷积单元、第一池化层、多个卷积组合、第二池化层和全连接层，其中，第一卷积单元包括第一卷积层、批归一化层和激励函数层，激励函数层同时采用ReLU函数和NReLU函数作为激励函数，相邻的卷积组合之间采用残差网络的短路层进行连接；
训练卷积神经网络模型，将训练数据输入卷积神经网络模型，并采用随机梯度下降法进行训练，训练后的卷积神经网络模型去除掉最后的全连接层后只做前向传播即可作为人脸识别时需要的人脸特征数据。
进一步地，每个卷积组合包括第一子单元和第二子单元，其中，第一子单元包括卷积核为1x1的第二卷积层、和连接于第二卷积层后的批归一化层；第二子单元包括依序连接的第三卷积层和第四卷积层，第三卷积层的卷积核为3x1，第四卷积层的卷积核为1x3；第一子单元的输出和第二子单元的输出连接起来作为当前的卷积组合的输出。
进一步地，定义每个卷积组合的输入的通道数为ci，第一子单元中的第二卷积层输出的通道数为ci*0.75，步长为1；第二子单元中，第三卷积层输出的通道数均为ci*0.25，步长为1；第四卷积层输出的通道数为ci*0.25，步长为1。
进一步地，当前的卷积组合的输入作为短路层的输入，当前的卷积组合的输出与短路层的输出连接至加运算层做加运算后输出作为下一个卷积组合或者第二池化层的输入。
进一步地，在其中一个加运算层之后连接有第一损失函数层，第一损失函数层的输出作为分支输出；在全连接层之后连接有第二损失函数层，第二损失函数层的输出作为整个卷积神经网络模型的主路输出。
优选地，第一卷积层的卷积核为5x5，步长为2。
进一步地，训练卷积神经网络模型的步骤包括：把训练数据按照人数P分成P个文件夹，每个文件夹中为同一个人的人脸图像，通过人脸检测和关键点定位技术把每张人脸图像归一化分割成n个子图像；将所有子图像的数据输入卷积神经网络模型。
根据本发明的另一方面，还提供了一种基于深度学习的人脸识别装置，包括：
构建模块，用于构建卷积神经网络模型，卷积神经网络模型包括依序连接的第一卷积单元、第一池化层、多个卷积组合、第二池化层和全连接层，其中，第一卷积单元包括第一卷积层、批归一化层和激励函数层，激励函数层同时采用ReLU函数和NReLU函数作为激励函数，相邻的卷积组合之间采用残差网络的短路层进行连接；
训练模块，用于将训练数据输入卷积神经网络模型，并采用随机梯度下降法进行训练卷积神经网络模型，训练后的卷积神经网络模型去除掉最后的全连接层后只做前向传播即可作为人脸识别时需要的人脸特征数据。
进一步地，每个卷积组合包括第一子单元和第二子单元，其中，第一子单元包括卷积核为1x1的第二卷积层、和连接于第二卷积层后的批归一化层；第二子单元包括依序连接的第三卷积层和第四卷积层，第三卷积层的卷积核为3x1，第四卷积层的卷积核为1x3；第一子单元的输出和第二子单元的输出连接起来作为当前的卷积组合的输出。
本发明还提供了包含上述的基于深度学习的人脸识别装置的电子设备。
本发明通过在第一卷积单元中的第一卷积层后同时使用ReLU+NReLU作为激励函数，能够降低第一卷积层的运算量，可以在减少上一层卷积参数的情况下提升算法性能，在网络中训练学习到冗余的滤波器提取输入的正负相位信息，在保证精度的基础上，达到减小模型大小和提升运行速度的目的。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的基于深度学习的人脸识别方法的流程图；
图2是本发明优选实施例的构建的卷积神经网络模型的结构示意图；
图3是本发明优选实施例的卷积组合的结构示意图；
图4是本发明优选实施例的基于深度学习的人脸识别装置的框架图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明的优选实施例提供了一种基于深度学习的人脸识别方法，可在牺牲很小的识别率的情况下把算法移植到硬件设备有限的前端例如手机，嵌入式设备等。参照图1，该方法包括以下步骤：
步骤S100，构建卷积神经网络模型，卷积神经网络模型包括依序连接的第一卷积单元、第一池化层、多个卷积组合、第二池化层和全连接层，其中，第一卷积单元包括第一卷积层、批归一化层和激励函数层，激励函数层同时采用ReLU函数和NReLU函数作为激励函数，相邻的卷积组合之间采用残差网络的短路层(ShortCut)进行连接；
步骤S200，训练卷积神经网络模型，将训练数据输入卷积神经网络模型，并采用随机梯度下降法进行训练，训练后的卷积神经网络模型去除掉最后的全连接层后只做前向传播即可作为人脸识别时需要的人脸特征数据。
本发明所构建的卷积神经网络模型，在人脸检测和关键点定位的基础上，尤其适合在前端做人脸特征提取。参照图2，该卷积神经网络模型依次包括：第一卷积单元、第一池化层、多个卷积组合、第二池化层和全连接层。
本发明中，整个卷积神经网络模型的输入数据为3通道的彩色图像，输入图像大小需要归一化到SxS。根据不同应用情景可以选择不同的值，S的建议值包括但不限于：160、128、96。
其中，第一卷积单元包括一个用于对输入数据进行卷积处理的第一卷积层。第一卷积层后依序接批归一化层、激励函数层。本实施例中，第一卷积神经网络组合中的第一卷积层的卷积核为5x5，步长为2，输出长度为32。卷积核使用5x5，比使用7x7的卷积核在这一步要节省一半的乘法运算，而且在精度上几乎没有什么区别。在第一卷积层后面使用批归一化层(Batch Norm)进行归一化处理。第一卷积层的输出设为32，这比一般的神经网络的设置要小一半，这么做的原因是因为我们后面采用了ReLU+NReLU的设计。这样又把这一层卷积的运算量降低一半。
激励函数层同时采用ReLU(Rectifier Linear Unit，校正线性单元)函数和NReLU(Negative ReLU，负数校正线性单元)函数作为激励函数，其中，具体公式如下：ReLU(x)＝max(x,0)，NReLU(x)＝max(-x,0)，本发明的激励函数层所采用的激励函数为A(x)＝(ReLU(x),NReLU(x))。实验证明，这种采用ReLU+NReLU的设计可以在减少上一层卷积参数的情况下提升算法性能。这样可以在网络中训练学习到冗余的滤波器提取输入的正负相位信息。
第一池化层，用于对经第一卷积神经网路组合处理后的数据进行池化处理，第一池化层连接于第一卷积单元之后。本实施例中，第一池化层为最大池化层(Max Pooling)，最大池化层的步长为2。
多个卷积组合，依序连接于第一池化层之后。相邻的卷积组合之间采用残差网络(ResNet)的短路层(ShortCut)进行连接。卷积组合的数量可根据实际需求和硬件情况等自行选择。本实施例中，使用10个卷积组合即可满足需求。
参照图3，具体地，每个卷积组合包括第一子单元和第二子单元。此处，定义每个卷积组合的输入的通道数为ci。
其中，第一子单元包括卷积核为1x1(卷积核的宽和高都为1)的第二卷积层，输出的通道数为ci*0.75，步长为1。优选地，第二卷积层后接批归一化层Batch Norm进行归一化处理。
第二子单元包括依序连接的第三卷积层和第四卷积层。第三卷积层的卷积核为3x1(卷积核的宽为3，高为1)，输出的通道数均为ci*0.25，步长为1。第四卷积层的卷积核为1x3(卷积核的宽为1，高为3)，输出的通道数均为ci*0.25，步长为1。
第一子单元的输出和第二子单元的输出连接起来作为当前的卷积组合的输出。
结合图2，当前的卷积组合的输入作为短路层(ShortCut)的输入，当前的卷积组合的输出与短路层(ShortCut)的输出连接至加运算层(SUM)，加运算层(SUM)用于将卷积组合的输出与短路层的输出作加运算后输出作为下一层(下一个卷积组合或者第二池化层)的输入。本优选实施例中，短路层为一个卷积核为1x1的卷积层。经过第一池化层池化处理后的数据作为首个卷积组合的输入，同时作为短路层的输入经过短路层中1x1的卷积核映射后与首个卷积组合的输出作加运算后作为第二个卷积组合的输入。后面的多个卷积组合以此方式类推。最末的卷积组合中，该卷积组合本身的输出与短路层的输出作加运算后输出作为第二池化层的输入。
本优选实施例中，第一子单元的设计把75％的卷积运算降低了89％，第二子单元的设计把25％的卷积运算降低了33％，大大地降低了整个模型的大小和运算次数。
第二池化层连接于最后一个卷积组合之后。本优选实施例中，第二池化层为全局平均池化层(Global Average Pooling)，连接于最后一个卷积组合后的加运算层之后。
第二池化层之后连接全连接层(Full Connect)。全连接层接在全局平均池化层后面，输出通道数为64。由于上面第二池化层采用的是全局平均池化，所以全连接层的参数不多。本优选实施例中，输出的通道数是通过实验得到的经验值，64可以保证特征值不稀疏的情况下保证识别率的最佳值。
在其中一个加运算层之后连接有第一损失函数层(Loss_1)，第一损失函数层的输出作为分支输出。
在全连接层之后连接有第二损失函数层(Loss_2)，第二损失函数层的输出作为整个卷积神经网络模型的主路输出。
本发明构建的卷积神经网络模型可以采用1个或者多个损失函数层。作为优选实施例，在图2中演示的是2个损失函数层。采用多个损失函数层的原因是如果卷积组合的数目比较多会出现梯度回传太小的现象，而在网络模型中间加上一个或多个损失函数层会有效得避免这种现象的发生。第一损失函数层(Loss_1)可与第二损失函数层(Loss_2)采用相同的损失函数，也可以采用不同的损失函数。具体采用什么损失函数层可以根据自己的需求使用。以softmax loss为例，第一损失函数层(Loss_1)的上面也需要加上对应的池化层和全连接层。对应地，本优选实施例中，训练后的卷积神经网络模型去除掉最后一个全连接层、第一损失函数层(Loss_1)以及第二损失函数层(Loss_2)后只做前向传播即可作为人脸识别时需要的人脸特征数据。
进一步地，训练卷积神经网络模型的步骤包括：把训练数据按照人数P分成P个文件夹，每个文件夹中为同一个人的人脸图像，通过人脸检测和关键点定位技术把每张人脸图像归一化分割成n个子图像；将所有子图像的数据输入卷积神经网络模型。
具体的训练过程如下：
数据准备。把训练数据按照人数P分成P个文件夹，每个文件夹里都是同一个人的人脸图像。通过人脸检测和关键点定位技术把每张图像归一化分割成n个子图像。每个子图像都是固定w*h大小的图像。在本发明中采用n＝6，w＝160，h＝160。n个子图像分别包括了左眼、右眼、左嘴角、右嘴角、鼻子、额头为中心抠出的子图像。
训练数据的输入。一般的深度学习输入是灰度图像的单通道数据或者彩色图像的三通道数据，本发明的训练数据的输入采用上一节所有子图像的数据，也就是说通道数等于n*3。这样可以从输入层开始加入更加多的信息但是后面的网络参数共享，从而增大了网络学习的能力，同时有效得防止了网络的过拟合。更重要的是比起每个子图像单独训练一个网络要节省了空间和时间。在本发明的试验中，我们采用了5万人的数据作为训练集合，平均每个人的照片数是52张。
训练的输出Loss采用“Random Wrong Label Softmax”，基本的softmax公式如下：
Where yi'＝∑xi*wij+bj
Softmax的目标是通过训练最小化-log(yi)，Random Wrong Label的意思是指把yi代表的第i类以一定比例r得随机性的指定错误。这样相当于在Softmax层加入了噪声，属于正则化的一种，可以有效得降低训练过拟合的出现。虽然在训练过程中看到的精度在验证集(validation set上有所降低，但是在实际的测试集合上有明显精度的提高。我们的经验显示r取5％比较合适。
本发明的训练过程采用SDG(随机梯度下降法)进行训练。在本发明的试验中，Batchsize设为32，采用8张titanX的显卡并行计算。学习率(Learning rate)初始值设为0.1。把训练数据训练了5遍之后Learning rate设为0.01，依次类推直到Learning rate等于0.0001并收敛。动量参数(momentum)设为0.9。权值衰减(weight decay)设为0.0001。
如下文表1中，该表列出了目前主流的深度学习模型(例如Vgg16、googleNet、ResNet18、ResNet50)、以及本发明构建的卷积神经网络模型(输入图像大小分别为224、128、96时)的提取特征速度以及对应的模型大小。可以很明显地看出采用本发明所构建的卷积神经网络模型的提取特征速度较目前主流模型快、且模型大小较目前主流模型更小，在速度和大小上具有巨大的优势，因而适合于在手机或者其它嵌入式设备上使用。
| 深度学习模型 | 提取特征速度 | 模型大小 |
| Vgg16 | 3.10s | 528M |
| googleNet | 1.36s | 52M |
| ResNet18 | 0.85s | 44.7M |
| ResNet50 | 2.47s | 97.7M |
| 本发明(S＝224) | 0.265s | 21M |
| 本发明(S＝128) | 0.040s | 4.8M |
| 本发明(S＝96) | 0.019s | 3.3M |
表1
参照图4，本发明的基于深度学习的人脸识别装置，包括：
构建模块100，用于构建卷积神经网络模型，卷积神经网络模型包括依序连接的第一卷积单元、第一池化层、多个卷积组合、第二池化层和全连接层，其中，第一卷积单元包括第一卷积层、批归一化层和激励函数层，激励函数层同时采用ReLU函数和NReLU函数作为激励函数，相邻的卷积组合之间采用残差网络的短路层进行连接；
训练模块200，用于将训练数据输入卷积神经网络模型，并采用随机梯度下降法进行训练卷积神经网络模型，训练后的卷积神经网络模型去除掉最后的全连接层后只做前向传播即可作为人脸识别时需要的人脸特征数据。
本发明的构建模块100所构建的卷积神经网络模型，与上文描述中方法步骤中构建的卷积神经网络模型对应一致，此处不再赘述。
本发明还提供了包含上述的基于深度学习的人脸识别装置的电子设备。该电子设备可以是具有摄像头的智能手机，也可以是其它嵌入式设备。
采用本发明的基于深度学习的人脸识别方法，既可以保证精度，又可以保证速度以及模型大小。整个模型的输入图像的大小不需要固定到200+以上的大小也可以得到高精度的识别算法，例如小于100(S＝96)的输入图像。本发明的每一个卷积组合里只采用0.75*1x1+0.25*(1x3,3x1)的方式进行组合，大大降低了网络参数的个数以及网络运算量。本发明加入了多个损失函数层(Loss_1、Loss_2)，有效的提高了网络的稳定性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的人脸识别方法，其特征在于，包括：
构建卷积神经网络模型，所述卷积神经网络模型包括依序连接的第一卷积单元、第一池化层、多个卷积组合、第二池化层和全连接层，其中，所述第一卷积单元包括第一卷积层、批归一化层和激励函数层，所述激励函数层同时采用ReLU函数和NReLU函数作为激励函数，相邻的所述卷积组合之间采用残差网络的短路层进行连接；
训练所述卷积神经网络模型，将训练数据输入所述卷积神经网络模型，并采用随机梯度下降法进行训练，训练后的所述卷积神经网络模型去除掉最后的所述全连接层后只做前向传播即可作为人脸识别时需要的人脸特征数据；
每个所述卷积组合包括第一子单元和第二子单元，其中，
所述第一子单元包括卷积核为1x1的第二卷积层、和连接于所述第二卷积层后的批归一化层；
所述第二子单元包括依序连接的第三卷积层和第四卷积层，所述第三卷积层的卷积核为3x1，所述第四卷积层的卷积核为1x3；
所述第一子单元的输出和所述第二子单元的输出连接起来作为当前的所述卷积组合的输出；
定义每个所述卷积组合的输入的通道数为ci，
所述第一子单元中的所述第二卷积层输出的通道数为ci*0.75，步长为1；
所述第二子单元中，所述第三卷积层输出的通道数均为ci*0.25，步长为1；所述第四卷积层输出的通道数为ci*0.25，步长为1。
2.根据权利要求1所述的基于深度学习的人脸识别方法，其特征在于，当前的所述卷积组合的输入作为所述短路层的输入，当前的所述卷积组合的输出与所述短路层的输出连接至加运算层做加运算后输出作为下一个卷积组合或者第二池化层的输入。
3.根据权利要求2所述的基于深度学习的人脸识别方法，其特征在于，在其中一个所述加运算层之后连接有第一损失函数层，所述第一损失函数层的输出作为分支输出；在所述全连接层之后连接有第二损失函数层，所述第二损失函数层的输出作为整个卷积神经网络模型的主路输出。
4.根据权利要求1所述的基于深度学习的人脸识别方法，其特征在于，所述第一卷积层的卷积核为5x5，步长为2。
5.根据权利要求1所述的基于深度学习的人脸识别方法，其特征在于，训练所述卷积神经网络模型的步骤包括：
把训练数据按照人数P分成P个文件夹，每个文件夹中为同一个人的人脸图像，通过人脸检测和关键点定位技术把每张人脸图像归一化分割成n个子图像；
将所有子图像的数据输入所述卷积神经网络模型。
6.一种基于深度学习的人脸识别装置，其特征在于，包括：
构建模块，用于构建卷积神经网络模型，所述卷积神经网络模型包括依序连接的第一卷积单元、第一池化层、多个卷积组合、第二池化层和全连接层，其中，所述第一卷积单元包括第一卷积层、批归一化层和激励函数层，所述激励函数层同时采用ReLU函数和NReLU函数作为激励函数，相邻的所述卷积组合之间采用残差网络的短路层进行连接；
训练模块，用于将训练数据输入所述卷积神经网络模型，并采用随机梯度下降法进行训练所述卷积神经网络模型，训练后的所述卷积神经网络模型去除掉最后的所述全连接层后只做前向传播即可作为人脸识别时需要的人脸特征数据；
每个所述卷积组合包括第一子单元和第二子单元，其中，
所述第一子单元包括卷积核为1x1的第二卷积层、和连接于所述第二卷积层后的批归一化层；
所述第二子单元包括依序连接的第三卷积层和第四卷积层，所述第三卷积层的卷积核为3x1，所述第四卷积层的卷积核为1x3；
所述第一子单元的输出和所述第二子单元的输出连接起来作为当前的所述卷积组合的输出；
定义每个所述卷积组合的输入的通道数为ci，
所述第一子单元中的所述第二卷积层输出的通道数为ci*0.75，步长为1；
所述第二子单元中，所述第三卷积层输出的通道数均为ci*0.25，步长为1；所述第四卷积层输出的通道数为ci*0.25，步长为1。
7.一种包含如权利要求6所述的基于深度学习的人脸识别装置的电子设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710651972.0A CN107247949B (zh) | 2017-08-02 | 2017-08-02 | 基于深度学习的人脸识别方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710651972.0A CN107247949B (zh) | 2017-08-02 | 2017-08-02 | 基于深度学习的人脸识别方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107247949A CN107247949A (zh) | 2017-10-13 |
| CN107247949B true CN107247949B (zh) | 2020-06-19 |
Family
ID=60013437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710651972.0A Active CN107247949B (zh) | 2017-08-02 | 2017-08-02 | 基于深度学习的人脸识别方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107247949B (zh) |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019092041A1 (en) * | 2017-11-08 | 2019-05-16 | AVAST Software s.r.o. | Malware classification of executable files by convolutional networks |
| CN109840584B (zh) * | 2017-11-24 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 基于卷积神经网络模型的图像数据分类方法及设备 |
| CN107844784A (zh) * | 2017-12-08 | 2018-03-27 | 广东美的智能机器人有限公司 | 人脸识别方法、装置、计算机设备和可读存储介质 |
| CN108010031B (zh) * | 2017-12-15 | 2020-12-04 | 厦门美图之家科技有限公司 | 一种人像分割方法及移动终端 |
| CN108197561B (zh) * | 2017-12-29 | 2020-11-03 | 智慧眼科技股份有限公司 | 人脸识别模型优化控制方法、装置、设备及存储介质 |
| CN108460329B (zh) * | 2018-01-15 | 2022-02-11 | 任俊芬 | 一种基于深度学习检测的人脸手势配合验证方法 |
| CN108109385B (zh) * | 2018-01-18 | 2022-06-14 | 南京杰迈视讯科技有限公司 | 一种输电线防外破的车辆识别与危险行为判别系统与方法 |
| CN108073917A (zh) * | 2018-01-24 | 2018-05-25 | 燕山大学 | 一种基于卷积神经网络的人脸识别方法 |
| CN108334946B (zh) * | 2018-02-13 | 2022-03-29 | 北京旷视科技有限公司 | 深度神经网络模型的处理方法、装置和设备 |
| CN108229672B (zh) * | 2018-02-13 | 2022-03-29 | 北京旷视科技有限公司 | 一种深度神经网络模型的处理方法、装置和设备 |
| DE102018203092A1 (de) * | 2018-03-01 | 2019-09-05 | Robert Bosch Gmbh | Verfahren, Vorrichtung und Computerprogramm zum Anlernen eines maschinellen Lernsystems |
| CN108509862B (zh) * | 2018-03-09 | 2022-03-25 | 华南理工大学 | 抗角度与遮挡干扰的快速人脸识别方法 |
| CN108520204A (zh) * | 2018-03-16 | 2018-09-11 | 西北大学 | 一种人脸识别方法 |
| CN110321759B (zh) | 2018-03-29 | 2020-07-07 | 北京字节跳动网络技术有限公司 | 一种视频特征提取方法及装置 |
| CN110263909B (zh) | 2018-03-30 | 2022-10-28 | 腾讯科技（深圳）有限公司 | 图像识别方法及装置 |
| CN108596143B (zh) * | 2018-05-03 | 2021-07-27 | 复旦大学 | 基于残差量化卷积神经网络的人脸识别方法及装置 |
| CN108875574B (zh) * | 2018-05-11 | 2021-06-25 | 北京旷视科技有限公司 | 行人检测误报结果的检测方法、装置、系统和存储介质 |
| CN108664950A (zh) * | 2018-05-22 | 2018-10-16 | 天津大学 | 一种基于深度学习的电能质量扰动识别与分类方法 |
| CN108875787B (zh) * | 2018-05-23 | 2020-07-14 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
| CN109117939A (zh) * | 2018-06-11 | 2019-01-01 | 西北大学 | 神经网络及在移动感知设备上部署神经网络的方法 |
| CN108416343B (zh) * | 2018-06-14 | 2020-12-22 | 北京远鉴信息技术有限公司 | 一种人脸图像识别方法及装置 |
| CN108960308A (zh) * | 2018-06-25 | 2018-12-07 | 中国科学院自动化研究所 | 交通标志识别方法、装置、车载终端及车辆 |
| CN109034371B (zh) * | 2018-06-27 | 2021-06-25 | 北京文安智能技术股份有限公司 | 一种深度学习模型推理期加速方法、装置及系统 |
| CN109190752B (zh) * | 2018-07-27 | 2021-07-23 | 国家新闻出版广电总局广播科学研究院 | 基于深度学习的全局特征和局部特征的图像语义分割方法 |
| CN109118495B (zh) * | 2018-08-01 | 2020-06-23 | 东软医疗系统股份有限公司 | 一种视网膜血管分割方法和装置 |
| CN109299722A (zh) * | 2018-08-16 | 2019-02-01 | 北京旷视科技有限公司 | 用于神经网络的特征图处理方法、装置和系统及存储介质 |
| CN109345506A (zh) * | 2018-08-23 | 2019-02-15 | 中国科学院合肥物质科学研究院 | 一种基于卷积神经网络的热点与marfe自动检测方法 |
| CN109271878B (zh) * | 2018-08-24 | 2020-04-21 | 北京地平线机器人技术研发有限公司 | 图像识别方法、图像识别装置和电子设备 |
| CN109284700B (zh) * | 2018-09-05 | 2021-03-16 | 武汉斗鱼网络科技有限公司 | 图像中多个人脸检测的方法、存储介质、设备及系统 |
| CN109146879B (zh) * | 2018-09-30 | 2021-05-18 | 杭州依图医疗技术有限公司 | 一种检测骨龄的方法及装置 |
| CN109255786B (zh) * | 2018-09-30 | 2021-11-09 | 杭州依图医疗技术有限公司 | 一种检测骨龄的方法及装置 |
| CN109448307A (zh) * | 2018-11-12 | 2019-03-08 | 哈工大机器人（岳阳）军民融合研究院 | 一种火源目标的识别方法和装置 |
| CN109598212B (zh) * | 2018-11-20 | 2020-11-24 | 北京知道创宇信息技术股份有限公司 | 一种人脸检测方法及装置 |
| CN110782398B (zh) * | 2018-12-13 | 2020-12-18 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、生成式对抗网络系统和电子设备 |
| CN109635763B (zh) * | 2018-12-19 | 2020-06-09 | 燕山大学 | 一种人群密度估计方法 |
| US10496899B1 (en) * | 2019-01-25 | 2019-12-03 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same |
| CN110991210A (zh) * | 2019-01-30 | 2020-04-10 | 复钧智能科技(苏州)有限公司 | 一种基于深度学习的嵌入式人脸识别方法及装置 |
| CN109859218B (zh) * | 2019-02-25 | 2020-12-04 | 北京邮电大学 | 病理图关键区域确定方法、装置、电子设备及存储介质 |
| CN110222558A (zh) * | 2019-04-22 | 2019-09-10 | 桂林电子科技大学 | 基于深度学习的手部关键点检测方法 |
| CN109924981A (zh) * | 2019-04-23 | 2019-06-25 | 成都理工大学 | 一种高弓足检测系统及方法 |
| CN110046602A (zh) * | 2019-04-24 | 2019-07-23 | 李守斌 | 基于分类的深度学习人脸检测方法 |
| CN110348285B (zh) * | 2019-05-23 | 2021-07-20 | 北京邮电大学 | 基于语义增强网络的社会关系识别方法及装置 |
| CN110298822A (zh) * | 2019-05-31 | 2019-10-01 | 东南大学 | 一种基于图像分割配准和残差网络的转子绕线检测方法 |
| CN110462633B (zh) * | 2019-06-27 | 2023-05-26 | 深圳市汇顶科技股份有限公司 | 一种人脸识别的方法、装置和电子设备 |
| CN110543815B (zh) * | 2019-07-22 | 2024-03-08 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质 |
| CN110516575A (zh) * | 2019-08-19 | 2019-11-29 | 上海交通大学 | 基于残差域富模型的gan生成图片检测方法及系统 |
| CN110569763B (zh) * | 2019-08-27 | 2022-05-24 | 高新兴科技集团股份有限公司 | 一种用于细粒度人脸识别的眼镜去除方法 |
| CN110567887A (zh) * | 2019-09-12 | 2019-12-13 | 中国计量大学 | 一种基于光谱成像和深度学习技术的干茧茧层丝胶溶失率的无损检测方法 |
| CN110929603B (zh) * | 2019-11-09 | 2023-07-14 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
| CN113051961A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市光鉴科技有限公司 | 深度图人脸检测模型训练方法、系统、设备及存储介质 |
| CN113051960A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市光鉴科技有限公司 | 深度图人脸检测方法、系统、设备及存储介质 |
| CN111652049A (zh) * | 2020-04-17 | 2020-09-11 | 北京三快在线科技有限公司 | 人脸图像处理模型训练方法、装置、电子设备及存储介质 |
| CN111680795A (zh) * | 2020-06-11 | 2020-09-18 | 广州工程技术职业学院 | 一种卷积神经网络训练方法、图像识别方法和装置 |
| CN111860366A (zh) * | 2020-07-24 | 2020-10-30 | 兰州理工大学白银新材料研究院 | 一种远程控制的智能人脸识别防疫门禁系统 |
| CN112257503A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种性别年龄识别方法、装置及存储介质 |
| CN112131997A (zh) * | 2020-09-17 | 2020-12-25 | 南京智凝人工智能研究院有限公司 | 一种基于深度学习的人脸识别系统和方法 |
| CN112163493A (zh) * | 2020-09-21 | 2021-01-01 | 中国科学院信息工程研究所 | 一种视频虚假人脸检测方法及电子装置 |
| CN112364828B (zh) * | 2020-11-30 | 2022-01-04 | 天津金城银行股份有限公司 | 人脸识别方法及金融系统 |
| CN113274206A (zh) * | 2021-05-19 | 2021-08-20 | 哈尔滨理工大学 | 一种基于眼动和深度学习的电动轮椅实现方法 |
| CN117420209B (zh) * | 2023-12-18 | 2024-05-07 | 中国机械总院集团沈阳铸造研究所有限公司 | 基于深度学习的全聚焦相控阵超声快速高分辨率成像方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014105865A1 (en) * | 2012-12-24 | 2014-07-03 | Google Inc. | System and method for parallelizing convolutional neural networks |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517122A (zh) * | 2014-12-12 | 2015-04-15 | 浙江大学 | 一种基于优化卷积架构的图像目标识别方法 |
| CN104778448B (zh) * | 2015-03-24 | 2017-12-15 | 孙建德 | 一种基于结构自适应卷积神经网络的人脸识别方法 |
| CN105868785A (zh) * | 2016-03-30 | 2016-08-17 | 乐视控股（北京）有限公司 | 基于卷积神经网络的图片鉴别方法及系统 |
| CN106910185B (zh) * | 2017-01-13 | 2019-01-01 | 陕西师范大学 | 一种基于cnn深度学习的dbcc分类模型构建方法 |
| CN106951867B (zh) * | 2017-03-22 | 2019-08-23 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、系统及设备 |
-
2017
- 2017-08-02 CN CN201710651972.0A patent/CN107247949B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014105865A1 (en) * | 2012-12-24 | 2014-07-03 | Google Inc. | System and method for parallelizing convolutional neural networks |
Non-Patent Citations (1)
| Title |
|---|
| Improvement of Learning for CNN with ReLU Activation by Sparse Regularization;Hidenori Ide等;《2017 international joint Conference on Neural Networks》;20170703;第2684-2691页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107247949A (zh) | 2017-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107247949B (zh) | 基于深度学习的人脸识别方法、装置和电子设备 | |
| CN111898547B (zh) | 人脸识别模型的训练方法、装置、设备及存储介质 | |
| CN109829448B (zh) | 人脸识别方法、装置及存储介质 | |
| CN110188795A (zh) | 图像分类方法、数据处理方法和装置 | |
| CN108875904A (zh) | 图像处理方法、图像处理装置和计算机可读存储介质 | |
| CN108197532A (zh) | 人脸识别的方法、装置及计算机装置 | |
| CN107239736A (zh) | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 | |
| CN109740679B (zh) | 一种基于卷积神经网络和朴素贝叶斯的目标识别方法 | |
| CN107330904A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107516096A (zh) | 一种字符识别方法及装置 | |
| CN107832794B (zh) | 一种卷积神经网络生成方法、车系识别方法及计算设备 | |
| CN109145766A (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN110135460B (zh) | 基于vlad卷积模块的图像信息强化方法 | |
| CN111612024B (zh) | 特征提取方法、装置、电子设备及计算机可读存储介质 | |
| CN110222607A (zh) | 人脸关键点检测的方法、装置及系统 | |
| CN113628201A (zh) | 基于深度学习的病理切片分析方法、电子设备及可读存储介质 | |
| CN110245621A (zh) | 人脸识别装置及图像处理方法、特征提取模型、存储介质 | |
| Guo et al. | Multifeature extracting CNN with concatenation for image denoising | |
| CN109241869A (zh) | 答题卡分数识别方法、装置及终端设备 | |
| CN116431816B (zh) | 一种文献分类方法、装置、设备和计算机可读存储介质 | |
| CN111414823B (zh) | 人体特征点的检测方法、装置、电子设备以及存储介质 | |
| CN110490876B (zh) | 一种基于轻量级神经网络的图像分割方法 | |
| CN109583406B (zh) | 基于特征关注机制的人脸表情识别方法 | |
| CN111967406A (zh) | 人体关键点检测模型生成方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100097 Beijing Haidian District Kunming Hunan Road 51 C block two floor 207. Applicant after: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. Address before: 100193 4, 403, block A, 14 building, 10 East North Road, Haidian District, Beijing. Applicant before: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 410205 14 Changsha Zhongdian Software Park Phase I, 39 Jianshan Road, Changsha High-tech Development Zone, Yuelu District, Changsha City, Hunan Province Applicant after: Wisdom Eye Technology Co.,Ltd. Address before: 100097 2nd Floor 207, Block C, 51 Hunan Road, Kunming, Haidian District, Beijing Applicant before: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Face recognition method, device and electronic equipment based on deep learning Effective date of registration: 20221205 Granted publication date: 20200619 Pledgee: Agricultural Bank of China Limited Hunan Xiangjiang New Area Branch Pledgor: Wisdom Eye Technology Co.,Ltd. Registration number: Y2022430000107 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231220 Granted publication date: 20200619 Pledgee: Agricultural Bank of China Limited Hunan Xiangjiang New Area Branch Pledgor: Wisdom Eye Technology Co.,Ltd. Registration number: Y2022430000107 |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Address before: 410205 building 14, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, Changsha high tech Development Zone, Yuelu District, Changsha City, Hunan Province Patentee before: Wisdom Eye Technology Co.,Ltd. |