CN109214286B - 基于深度神经网络多层特征融合的人脸识别方法 - Google Patents
基于深度神经网络多层特征融合的人脸识别方法 Download PDFInfo
- Publication number
- CN109214286B CN109214286B CN201810863541.5A CN201810863541A CN109214286B CN 109214286 B CN109214286 B CN 109214286B CN 201810863541 A CN201810863541 A CN 201810863541A CN 109214286 B CN109214286 B CN 109214286B
- Authority
- CN
- China
- Prior art keywords
- layer
- face image
- feature fusion
- class
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明公开了一种基于深度神经网络多层特征融合的人脸识别方法,利用一个输出维度为D2的全连接层Fc2替代DeepID网络结构中的softmax层,Fc2层后面连接多层特征融合损失层,将改进的网络结构称为多层特征融合网络,所述多层特征融合损失层是在计算训练样本之间类内距离与类间距离损失的基础上将Fc1层和Fc2层的输出特征也作为损失函数的输入。获得人脸图像A和人脸图像B的人脸特征分别为F1和F2,计算两个特征向量之间的余弦相似度S,设置人脸相似度阈值为T,如果S≥T,则认为人脸图像A和人脸图像B为同一个人,如果S<T,则认为人脸图像A和人脸图像B为不同人。
Description
技术领域
本发明属于深度神经网络提取脸部特征的深度学习领域,涉及到神经网络、模式识别等技术,尤其涉及到一种基于深度神经网络多层特征融合的人脸识别。
背景技术
人脸识别技术是跨图像处理、模式识别等多学科的技术,通过利用计算机对人脸图像进行处理和分析,获取有效特征信息,进行身份识别。相比其它生物识别技术,人脸识别具有采集的非接触性、非强制性、操作简单、结果直观、隐蔽性好等特点,更为人们所接受。人脸是一个包含着丰富信息的模式的集合,是人类互相辩证和识别的主要标志之一,也是图像和视频中视觉感兴趣的对象之一。与指纹、虹膜、语音等其他人体生物特征相比,人脸识别更加直接,无需干扰人们的正常行为就能较好的达到识别效果。
人脸涉及各种不同的活动,它包含了人类大多数的感觉器官:眼睛、耳朵、嘴巴和鼻子,这些器官赋予了人的视觉、听觉、味觉和嗅觉能力。除了这些生物特征之外,它还提供了关于人的健康、情绪状态、身份、年龄、性别等的一些信息。脸部的机器分析(及自动面部分析)在许多新兴的计算机视觉应用中也起到关键性的作用,包括生物识别系统、人机界面、智能环境、视觉监控和基于内容的多媒体数据库图像检索。由于其许多潜在应用,自动面部分析,例如包括面部检测、人脸识别、性别分类、年龄估计和面部表情识别已成为计算机视觉研究中最活跃的课题之一。
虽然人脸识别具有很多的优势,但是在人脸识别时,由于姿态、光照、表情、年龄、遮挡等原因,程序会将同一个人的多张图片识别为不同的人,这大大提升了人脸识别的难度。
发明内容
本发明克服了现有技术的不足之处,提出了一种基于深度神经网络多层特征融合的人脸识别,意在利用改进的DeepID网络结构,结合类内距离和类间距离,获得人脸识别的网络模型,提高人脸识别的准确率。
本发明为达上述发明目的,采用如下技术方案:
步骤1:数据准备:获得公开的CASIA-webface人脸数据库与MS-Celeb-1M人脸数据库作为训练数据集。
步骤2:网络结构:在深度卷积神经网络DeepID网络结构的基础上进行改进,利用一个输出维度为D2的全连接层Fc2替代DeepID网络结构中的softmax层,Fc2层后面连接多层特征融合损失层,将改进的网络结构称为多层特征融合网络,所述DeepID网络结构包含四个卷积层(每个卷积层后带有一个最大池化层)、一个全连接层Fc1一个softmax层,所述多层特征融合损失层是在计算训练样本之间类内距离与类间距离损失的基础上将Fc1层和Fc2层的输出特征也作为损失函数的输入。
进一步地,所述损失函数的公式为:
其中,λ1、λ2、λ3、λ4分别表示Fc1层的类内距离损失权重、Fc2层的类内距离损失权重、Fc1层的类间距离损失权重、Fc2层的类间距离损失权重,n表示训练数据集中第i类样本的数量,N表示训练数据集中样本的种类数,uik表示训练数据集中第i类第k个样本在Fc1层的输出特征,vik表示表示训练数据集中第i类第k个样本在Fc2层的输出特征,表示训练数据集中第i类样本在Fc1层输出的类均值特征,表示训练数据集中第i类样本在Fc2层输出的类均值特征表示训练数据集中第j类样本在Fc1层输出的类均值特征,表示训练数据集中第j类样本在Fc2层输出的类均值特征;
步骤3:网络训练:将步骤1中的训练数据集输入到多层特征融合网络中进行训练获得人脸识别模型。
步骤4:网络测试:将人脸图像A和人脸图像B输入到特征融合网络中,并利用人脸识别模型进行特征提取,获得人脸图像A和人脸图像B的人脸特征分别为F1和F2,计算两个特征向量之间的余弦相似度S,设置人脸相似度阈值为T,如果S≥T,则认为人脸图像A和人脸图像B为同一个人,如果S<T,则认为人脸图像A和人脸图像B为不同人。
附图说明
图1是深度神经网络多层特征融合的人脸识别流程图。
具体实施方式
本实施例中,如图1所示,深度神经网络多层特征融合的人脸识别流程图,具体实现主要包括如下步骤:
步骤1:数据准备:获得公开的CASIA-webface人脸数据库与MS-Celeb-1M人脸数据库作为训练数据集,其中,CASIA-Webface人脸数据库包括10,575个人的494,414张人脸图像,平均每个人有46.8张训练数据。MS-Celeb-1M人脸数据库包括100,000个名人的大约100,000,000张不同的人脸图像,平均每个名人有100张训练数据。
步骤2:网络结构:在深度卷积神经网络DeepID网络结构的基础上进行改进,利用一个输出维度为D2的全连接层Fc2替代DeepID网络结构中的softmax层,Fc2层后面连接多层特征融合损失层,将改进的网络结构称为多层特征融合网络,所述DeepID网络结构四个卷积层(每个卷积层后带有一个最大池化层)、一个全连接层Fc1一个softmax层,,所述多层特征融合损失层是在计算训练样本之间类内距离与类间距离损失的基础上将Fc1层和Fc2层的输出特征也作为损失函数的输入。
进一步地,所述损失函数的公式为:
设置λ1=λ2=λ3=λ4=0.5,训练数据集中样本的种类数N=10575是CASIA-Webface人脸数据库中人的数量,n=128为每类样本参与训练的数量。
步骤3:网络训练:将CASIA-Webface人脸数据库的照片和MS-Celeb-1M人脸数据库的照片分别转换为64*64分辨率大小的照片,训练时,每次输入网络的训练数据为128张图片,进行人脸识别模型的训练。
步骤4:网络测试:将人脸图像A和人脸图像B输入到特征融合网络中,并利用人脸识别模型进行特征提取,获得人脸图像A和人脸图像B的人脸特征分别为F1和F2,计算两个特征向量之间的余弦相似度S,设置人脸相似度阈值T=0.8,如果S≥0.8,则认为人脸图像A和人脸图像B为同一个人,如果S<0.8,则认为人脸图像A和人脸图像B为不同人。
Claims (1)
1.一种基于深度神经网络多层特征融合的人脸识别方法,其特征在于包括如下步骤:
步骤1:数据准备:获得公开的CASIA-Webface人脸数据库与MS-Celeb-1M人脸数据库作为训练数据集;
步骤2:网络结构:在深度卷积神经网络DeepID网络结构的基础上进行改进,利用一个输出维度为D2的全连接层Fc2替代DeepID网络结构中的softmax层,Fc2层后面连接多层特征融合损失层,将改进的网络结构称为多层特征融合网络,所述DeepID网络结构包含四个卷积层、一个全连接层Fc1一个softmax层,所述多层特征融合损失层是在计算训练样本之间类内距离与类间距离损失的基础上将Fc1层和Fc2层的输出特征也作为损失函数的输入;
步骤3:网络训练:将步骤1中的训练数据集输入到多层特征融合网络中进行训练获得人脸识别模型;
步骤4:网络测试:将人脸图像A和人脸图像B输入到特征融合网络中,并利用人脸识别模型进行特征提取,获得人脸图像A和人脸图像B的人脸特征分别为F1和F2,计算两个特征向量之间的余弦相似度S,设置人脸相似度阈值为T,如果S≥T,则认为人脸图像A和人脸图像B为同一个人,如果S<T,则认为人脸图像A和人脸图像B为不同人;
所述步骤2中损失函数的公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810863541.5A CN109214286B (zh) | 2018-08-01 | 2018-08-01 | 基于深度神经网络多层特征融合的人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810863541.5A CN109214286B (zh) | 2018-08-01 | 2018-08-01 | 基于深度神经网络多层特征融合的人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109214286A CN109214286A (zh) | 2019-01-15 |
CN109214286B true CN109214286B (zh) | 2021-05-04 |
Family
ID=64987832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810863541.5A Active CN109214286B (zh) | 2018-08-01 | 2018-08-01 | 基于深度神经网络多层特征融合的人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109214286B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110580445B (zh) * | 2019-07-12 | 2023-02-07 | 西北工业大学 | 一种基于GIoU和加权NMS改进的人脸关键点检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133034A1 (en) * | 2017-01-20 | 2018-07-26 | Intel Corporation | Dynamic emotion recognition in unconstrained scenarios |
CN106845549B (zh) * | 2017-01-22 | 2020-08-21 | 珠海习悦信息技术有限公司 | 一种基于多任务学习的场景与目标识别的方法及装置 |
CN108009481A (zh) * | 2017-11-22 | 2018-05-08 | 浙江大华技术股份有限公司 | 一种cnn模型的训练方法及装置、人脸识别方法及装置 |
CN107832735A (zh) * | 2017-11-24 | 2018-03-23 | 百度在线网络技术(北京)有限公司 | 用于识别人脸的方法和装置 |
CN107766850B (zh) * | 2017-11-30 | 2020-12-29 | 电子科技大学 | 基于结合人脸属性信息的人脸识别方法 |
CN108256450A (zh) * | 2018-01-04 | 2018-07-06 | 天津大学 | 一种基于深度学习的人脸识别和人脸验证的监督学习方法 |
-
2018
- 2018-08-01 CN CN201810863541.5A patent/CN109214286B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109214286A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Convolution neural network for automatic facial expression recognition | |
Panetta et al. | A comprehensive database for benchmarking imaging systems | |
Gosavi et al. | Facial expression recognition using principal component analysis | |
Khan et al. | Facial expression recognition on real world face images using intelligent techniques: A survey | |
CN105956570B (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
Khatri et al. | Facial expression recognition: A survey | |
Liong et al. | Face recognition using deep PCA | |
Hazourli et al. | Multi-facial patches aggregation network for facial expression recognition and facial regions contributions to emotion display | |
Goyal et al. | Real-life facial expression recognition systems: a review | |
CN112101096A (zh) | 一种基于语音和微表情的多模态融合的自杀情绪感知方法 | |
Khowaja et al. | Facial expression recognition using two-tier classification and its application to smart home automation system | |
Abinaya et al. | A novel biometric approach for facial image recognition using deep learning techniques | |
Kumar et al. | Facial expression recognition: A review | |
Hazourli et al. | Deep multi-facial patches aggregation network for facial expression recognition | |
CN109214286B (zh) | 基于深度神经网络多层特征融合的人脸识别方法 | |
Aslam et al. | Gender classification based on isolated facial features and foggy faces using jointly trained deep convolutional neural network | |
Nahar et al. | Twins and Similar Faces Recognition Using Geometric and Photometric Features with Transfer Learning | |
CN112257559A (zh) | 一种基于生物个体步态信息的身份识别方法 | |
Lamba et al. | Information retrieval from facial expression using voting to assert exigency | |
Bhat et al. | Gender prediction from images using deep learning techniques | |
Vasani et al. | Human emotional state recognition using facial expression detection | |
Awachar et al. | Development of NN classifier for recognition of human moods | |
Mittal et al. | Face Recognition using PCA & neural network | |
CN110879966A (zh) | 一种基于人脸识别与图像处理的学生听课理解度评估方法 | |
Salah et al. | Recognize Facial Emotion Using Landmark Technique in Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |