CN109214286A - 基于深度神经网络多层特征融合的人脸识别方法 - Google Patents

基于深度神经网络多层特征融合的人脸识别方法 Download PDF

Info

Publication number
CN109214286A
CN109214286A CN201810863541.5A CN201810863541A CN109214286A CN 109214286 A CN109214286 A CN 109214286A CN 201810863541 A CN201810863541 A CN 201810863541A CN 109214286 A CN109214286 A CN 109214286A
Authority
CN
China
Prior art keywords
layer
facial image
class
feature
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810863541.5A
Other languages
English (en)
Other versions
CN109214286B (zh
Inventor
章东平
毕崇圆
陶禹诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201810863541.5A priority Critical patent/CN109214286B/zh
Publication of CN109214286A publication Critical patent/CN109214286A/zh
Application granted granted Critical
Publication of CN109214286B publication Critical patent/CN109214286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种基于深度神经网络多层特征融合的人脸识别方法，利用一个输出维度为D2的全连接层Fc2替代DeepID网络结构中的softmax层，Fc2层后面连接多层特征融合损失层，将改进的网络结构称为多层特征融合网络，所述多层特征融合损失层是在计算训练样本之间类内距离与类间距离损失的基础上将Fc1层和Fc2层的输出特征也作为损失函数的输入。获得人脸图像A和人脸图像B的人脸特征分别为F1和F2，计算两个特征向量之间的余弦相似度S，设置人脸相似度阈值为T，如果S≥T，则认为人脸图像A和人脸图像B为同一个人，如果S＜T，则认为人脸图像A和人脸图像B为不同人。

Description

基于深度神经网络多层特征融合的人脸识别方法
技术领域
本发明属于深度神经网络提取脸部特征的深度学习领域，涉及到神经网络、模式识别等技术，尤其涉及到一种基于深度神经网络多层特征融合的人脸识别。
背景技术
人脸识别技术是跨图像处理、模式识别等多学科的技术，通过利用计算机对人脸图像进行处理和分析，获取有效特征信息，进行身份识别。相比其它生物识别技术，人脸识别具有采集的非接触性、非强制性、操作简单、结果直观、隐蔽性好等特点，更为人们所接受。人脸是一个包含着丰富信息的模式的集合，是人类互相辩证和识别的主要标志之一，也是图像和视频中视觉感兴趣的对象之一。与指纹、虹膜、语音等其他人体生物特征相比，人脸识别更加直接，无需干扰人们的正常行为就能较好的达到识别效果。
人脸涉及各种不同的活动，它包含了人类大多数的感觉器官：眼睛、耳朵、嘴巴和鼻子，这些器官赋予了人的视觉、听觉、味觉和嗅觉能力。除了这些生物特征之外，它还提供了关于人的健康、情绪状态、身份、年龄、性别等的一些信息。脸部的机器分析(及自动面部分析)在许多新兴的计算机视觉应用中也起到关键性的作用，包括生物识别系统、人机界面、智能环境、视觉监控和基于内容的多媒体数据库图像检索。由于其许多潜在应用，自动面部分析，例如包括面部检测、人脸识别、性别分类、年龄估计和面部表情识别已成为计算机视觉研究中最活跃的课题之一。
虽然人脸识别具有很多的优势，但是在人脸识别时，由于姿态、光照、表情、年龄、遮挡等原因，程序会将同一个人的多张图片识别为不同的人，这大大提升了人脸识别的难度。
发明内容
本发明克服了现有技术的不足之处，提出了一种基于深度神经网络多层特征融合的人脸识别，意在利用改进的DeepID网络结构，结合类内距离和类间距离，获得人脸识别的网络模型，提高人脸识别的准确率。
本发明为达上述发明目的，采用如下技术方案：
步骤1：数据准备：获得公开的CASIA-webface人脸数据库与MS-Celeb-1M人脸数据库作为训练数据集。
步骤2：网络结构：在深度卷积神经网络DeepID网络结构的基础上进行改进，利用一个输出维度为D2的全连接层Fc2替代DeepID网络结构中的softmax层，Fc2层后面连接多层特征融合损失层，将改进的网络结构称为多层特征融合网络，所述DeepID网络结构包含四个卷积层(每个卷积层后带有一个最大池化层)、一个全连接层Fc1一个softmax层，所述多层特征融合损失层是在计算训练样本之间类内距离与类间距离损失的基础上将Fc1层和Fc2层的输出特征也作为损失函数的输入。
进一步地，所述损失函数的公式为：
其中，λ1、λ2、λ3、λ4分别表示Fc1层的类内距离损失权重、Fc2层的类内距离损失权重、Fc1层的类间距离损失权重、Fc2层的类间距离损失权重，n表示训练数据集中第i类样本的数量，N表示训练数据集中样本的种类数，uik表示训练数据集中第i类第k个样本在Fc1层的输出特征，vik表示表示训练数据集中第i类第k个样本在Fc2层的输出特征，表示训练数据集中第i类样本在Fc1层输出的类均值特征，表示训练数据集中第i类样本在Fc2层输出的类均值特征表示训练数据集中第j类样本在Fc1层输出的类均值特征,表示训练数据集中第j类样本在Fc2层输出的类均值特征；
步骤3：网络训练：将步骤1中的训练数据集输入到多层特征融合网络中进行训练获得人脸识别模型。
步骤4：网络测试：将人脸图像A和人脸图像B输入到特征融合网络中，并利用人脸识别模型进行特征提取，获得人脸图像A和人脸图像B的人脸特征分别为F1和F2，计算两个特征向量之间的余弦相似度S，设置人脸相似度阈值为T，如果S≥T，则认为人脸图像A和人脸图像B为同一个人，如果S＜T，则认为人脸图像A和人脸图像B为不同人。
附图说明
图1是深度神经网络多层特征融合的人脸识别流程图。
具体实施方式
本实施例中，如图1所示，深度神经网络多层特征融合的人脸识别流程图，具体实现主要包括如下步骤：
步骤1：数据准备：获得公开的CASIA-webface人脸数据库与MS-Celeb-1M人脸数据库作为训练数据集，其中，CASIA-Webface人脸数据库包括10,575个人的494,414张人脸图像，平均每个人有46.8张训练数据。MS-Celeb-1M人脸数据库包括100,000个名人的大约100,000,000张不同的人脸图像，平均每个名人有100张训练数据。
步骤2：网络结构：在深度卷积神经网络DeepID网络结构的基础上进行改进，利用一个输出维度为D2的全连接层Fc2替代DeepID网络结构中的softmax层，Fc2层后面连接多层特征融合损失层，将改进的网络结构称为多层特征融合网络，所述DeepID网络结构四个卷积层(每个卷积层后带有一个最大池化层)、一个全连接层Fc1一个softmax层，，所述多层特征融合损失层是在计算训练样本之间类内距离与类间距离损失的基础上将Fc1层和Fc2层的输出特征也作为损失函数的输入。
进一步地，所述损失函数的公式为：
设置λ1＝λ2＝λ3＝λ4＝0.5，训练数据集中样本的种类数N＝10575是CASIA-Webface人脸数据库中人的数量，n＝128为每类样本参与训练的数量。
步骤3：网络训练：将CASIA-Webface人脸数据库的照片和MS-Celeb-1M人脸数据库的照片分别转换为64*64分辨率大小的照片，训练时，每次输入网络的训练数据为128张图片，进行人脸识别模型的训练。
步骤4：网络测试：将人脸图像A和人脸图像B输入到特征融合网络中，并利用人脸识别模型进行特征提取，获得人脸图像A和人脸图像B的人脸特征分别为F1和F2，计算两个特征向量之间的余弦相似度S，设置人脸相似度阈值T＝0.8，如果S≥0.8，则认为人脸图像A和人脸图像B为同一个人，如果S＜0.8，则认为人脸图像A和人脸图像B为不同人。

Claims (2)

1.一种基于深度神经网络多层特征融合的人脸识别方法，其特征在于包括如下步骤：
步骤1：数据准备：获得公开的CASIA-Webface人脸数据库与MS-Celeb-1M人脸数据库作为训练数据集；
步骤2：网络结构：在深度卷积神经网络DeepID网络结构的基础上进行改进，利用一个输出维度为D2的全连接层Fc2替代DeepID网络结构中的softmax层，Fc2层后面连接多层特征融合损失层，将改进的网络结构称为多层特征融合网络，所述DeepID网络结构包含四个卷积层、一个全连接层Fc1一个softmax层，所述多层特征融合损失层是在计算训练样本之间类内距离与类间距离损失的基础上将Fc1层和Fc2层的输出特征也作为损失函数的输入；
步骤3：网络训练：将步骤1中的训练数据集输入到多层特征融合网络中进行训练获得人脸识别模型；
步骤4：网络测试：将人脸图像A和人脸图像B输入到特征融合网络中，并利用人脸识别模型进行特征提取，获得人脸图像A和人脸图像B的人脸特征分别为F1和F2，计算两个特征向量之间的余弦相似度S，设置人脸相似度阈值为T，如果S≥T，则认为人脸图像A和人脸图像B为同一个人，如果S＜T，则认为人脸图像A和人脸图像B为不同人。
2.如权利要求1所述的基于深度神经网络多层特征融合的人脸识别方法，其特征在于：所述步骤2中损失函数的公式为：
其中，λ1、λ2、λ3、λ4分别表示Fc1层的类内距离损失权重、Fc2层的类内距离损失权重、Fc1层的类间距离损失权重、Fc2层的类间距离损失权重，n表示训练数据集中第i类样本的数量，N表示训练数据集中样本的种类数，uik表示训练数据集中第i类第k个样本在Fc1层的输出特征，vik表示表示训练数据集中第i类第k个样本在Fc2层的输出特征，表示训练数据集中第i类样本在Fc1层输出的类均值特征，表示训练数据集中第i类样本在Fc2层输出的类均值特征,表示训练数据集中第j类样本在Fc1层输出的类均值特征,表示训练数据集中第j类样本在Fc2层输出的类均值特征。
CN201810863541.5A 2018-08-01 2018-08-01 基于深度神经网络多层特征融合的人脸识别方法 Active CN109214286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810863541.5A CN109214286B (zh) 2018-08-01 2018-08-01 基于深度神经网络多层特征融合的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810863541.5A CN109214286B (zh) 2018-08-01 2018-08-01 基于深度神经网络多层特征融合的人脸识别方法

Publications (2)

Publication Number Publication Date
CN109214286A true CN109214286A (zh) 2019-01-15
CN109214286B CN109214286B (zh) 2021-05-04

Family

ID=64987832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810863541.5A Active CN109214286B (zh) 2018-08-01 2018-08-01 基于深度神经网络多层特征融合的人脸识别方法

Country Status (1)

Country Link
CN (1) CN109214286B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580445A (zh) * 2019-07-12 2019-12-17 西北工业大学 一种基于GIoU和加权NMS改进的人脸关键点检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN107766850A (zh) * 2017-11-30 2018-03-06 电子科技大学 基于结合人脸属性信息的人脸识别方法
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
CN108009481A (zh) * 2017-11-22 2018-05-08 浙江大华技术股份有限公司 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN108256450A (zh) * 2018-01-04 2018-07-06 天津大学 一种基于深度学习的人脸识别和人脸验证的监督学习方法
WO2018133034A1 (en) * 2017-01-20 2018-07-26 Intel Corporation Dynamic emotion recognition in unconstrained scenarios

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018133034A1 (en) * 2017-01-20 2018-07-26 Intel Corporation Dynamic emotion recognition in unconstrained scenarios
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN108009481A (zh) * 2017-11-22 2018-05-08 浙江大华技术股份有限公司 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
CN107766850A (zh) * 2017-11-30 2018-03-06 电子科技大学 基于结合人脸属性信息的人脸识别方法
CN108256450A (zh) * 2018-01-04 2018-07-06 天津大学 一种基于深度学习的人脸识别和人脸验证的监督学习方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580445A (zh) * 2019-07-12 2019-12-17 西北工业大学 一种基于GIoU和加权NMS改进的人脸关键点检测方法
CN110580445B (zh) * 2019-07-12 2023-02-07 西北工业大学 一种基于GIoU和加权NMS改进的人脸关键点检测方法

Also Published As

Publication number Publication date
CN109214286B (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
Chen et al. Convolution neural network for automatic facial expression recognition
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN110532900A (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN110464366A (zh) 一种情绪识别方法、系统及存储介质
CN109635727A (zh) 一种人脸表情识别方法及装置
KR20160101973A (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
CN106815566A (zh) 一种基于多任务卷积神经网络的人脸检索方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN106599800A (zh) 一种基于深度学习的人脸微表情识别方法
CN110197729A (zh) 基于深度学习的静息态fMRI数据分类方法和装置
CN111523462A (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
Yan et al. Age estimation based on convolutional neural network
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
Puthea et al. A review paper on attendance marking system based on face recognition
CN112487989B (zh) 一种基于胶囊-长短时记忆神经网络的视频表情识别方法
CN104063721B (zh) 一种基于语义特征自动学习与筛选的人类行为识别方法
Hazourli et al. Multi-facial patches aggregation network for facial expression recognition and facial regions contributions to emotion display
CN113869276B (zh) 基于微表情的谎言识别方法及系统
CN113205002B (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN110889335B (zh) 基于多通道时空融合网络人体骨架双人交互行为识别方法
Chauhan et al. Analysis of Intelligent movie recommender system from facial expression
Sheeba et al. Hybrid features-enabled dragon deep belief neural network for activity recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant