CN107679450A - 基于深度学习的遮挡条件下人脸识别方法 - Google Patents

基于深度学习的遮挡条件下人脸识别方法 Download PDF

Info

Publication number
CN107679450A
CN107679450A CN201710742734.0A CN201710742734A CN107679450A CN 107679450 A CN107679450 A CN 107679450A CN 201710742734 A CN201710742734 A CN 201710742734A CN 107679450 A CN107679450 A CN 107679450A
Authority
CN
China
Prior art keywords
face
deep learning
face recognition
layer
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710742734.0A
Other languages
English (en)
Inventor
姚鸣
姚一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Wisdom Technology Co Ltd
Original Assignee
Zhuhai Wisdom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Wisdom Technology Co Ltd filed Critical Zhuhai Wisdom Technology Co Ltd
Priority to CN201710742734.0A priority Critical patent/CN107679450A/zh
Publication of CN107679450A publication Critical patent/CN107679450A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于深度学习的遮挡条件下人脸识别方法。在现实环境中，实时采集到的人脸图像信息会受到人体毛发、口罩、帽子、墨镜等常佩戴物体的遮挡等等多种因素的干扰，使人脸识别技术的复杂度大大提高，实现难度很大。本发明包括如下步骤：（1）对给定的带有局部遮挡的人脸图像进行人脸检测与特征点检测；（2）根据检测到的人脸上特征点的位置进行五官局部图截取；（3）基于ubuntu16.04操作系统，在GPU1080下，搭建CAFFE深度学习框架，得到人脸识别模型。本发明用于基于深度学习的遮挡条件下人脸识别方法。

Description

基于深度学习的遮挡条件下人脸识别方法
技术领域：
本发明涉及人脸识别领域，特别是涉及一种基于深度学习的遮挡条件下人脸识别方法。
背景技术：
人脸识别技术是结合模式识别技术与计算机视觉技术的智能识别技术，具有广泛的应用，比如，在信息安全领域为防止身份证盗用情况，可以利用基于人脸识别的人证比对技术；在在学校、公司以及住宅小区等的安全监控，甚至考勤制度都可以通过自动的人脸识别技术来完成；在寻找遗失儿童和老人、追查逃犯等任务中也可以利用人脸识别技术来提高破案效率等等。而在现实环境中，实时采集到的人脸图像信息会受到人体毛发、口罩、帽子、墨镜等常佩戴物体的遮挡等等多种因素的干扰，使人脸识别技术的复杂度大大提高，实现难度很大。
发明内容：
本发明的目的是为了克服上述现有技术的不足，提供一种可有效克服遮挡对人脸识别准确率的影响，实现快速准确识别遮挡条件下的人脸的基于深度学习的遮挡条件下人脸识别方法。
上述的目的通过以下的技术方案实现：
一种基于深度学习的遮挡条件下人脸识别方法，该方法包括如下步骤：（1）对给定的带有局部遮挡的人脸图像进行人脸检测与特征点检测；（2）根据检测到的人脸上特征点的位置进行五官局部图截取；（3）基于ubuntu16.04操作系统，在GPU1080下，搭建CAFFE深度学习框架，得到人脸识别模型。
所述的基于深度学习的遮挡条件下人脸识别方法，所述的对给定的带有局部遮挡的人脸图像进行人脸检测与特征点检测的具体过程为：
（1）对给定的带有局部遮挡的人脸图像数据经过三层卷积层，得到的特征图分别输入第一组人脸分类层、边框回归层和面部特征点定位层，得到包含人脸的候选框和边框回归向量；
（2）将候选框作为输入继续做卷积操作，再经过三层卷积，得到的特征图输入到全连接层中再分别输入第二组人脸分类层、边框回归层和面部特征点定位层，进一步提高边框的精确度；
（3）将第二次得到的候选框作为输入继续做卷积操作，经过四层卷积和一层全连接，将得到的特征图分别输入第一组人脸分类层、边框回归层和面部特征点定位层，最终得到人脸边框位置和面部特征点位置。
所述的基于深度学习的遮挡条件下人脸识别方法，所述的根据检测到的人脸上特征点的位置进行五官局部图截取的具体过程为：根据检测到的人脸上特征点的位置，将原图截成分别包含眼睛、鼻子、嘴巴的三部分局部图，用于后面的训练。
所述的基于深度学习的遮挡条件下人脸识别方法，所述的基于ubuntu16.04操作系统，在GPU1080下，搭建CAFFE深度学习框架，得到人脸识别模型的具体过程为：基于ubuntu 16.04操作系统，GPU1080下，搭建CAFFE 深度学习框架，将包含眼睛的局部人脸图输入到特征提取网络，得到眼睛的特征向量，将包含鼻子和嘴巴的人脸图也分别输入到各自的特征提取网络，经过三个特征提取网络得到的三个特征向量经过组合，输入到softmax分类层进行分类，从而得到人脸识别模型。
有益效果：
1.本发明首先利用深度学习算法进行人脸检测和面部特征点定位，根据得到的面部特征点位置对人脸图片进行截取，分别得到包含眼睛、鼻子和眼睛的局部人脸图，对局部人脸图进行特征提取，再组合分类得到人脸识别模型，该方法可有效克服遮挡对人脸识别准确率的影响，实现快速准确识别遮挡条件下的人脸，进一步提高了人脸识别技术在真实环境中应用的有效性。
本发明由输入层接受输入数据，得到图像数据及其相应的标签值，然后经过多层卷积层进行特征提取，同时利用低层特征和高层特征进行人脸分类、边框回归及特征点定位，分别利用第三层卷积提取的特征、六层卷积后的全连接层得到的特征以及最后的全连接层得到的特征，高层特征对低层特征得到的结果进行修正，最终得到准确结果。
本发明将截取得到的三组局部图分别输入到三个输入层中，经过特征提取分别得到三个特征图，将三个特征图进行组合，同时输入到分类层中，实现准确人脸识别，其中特征提取网络由5层卷积层和两层全连接层组成。
附图说明：
附图1是本发明的结构示意图。
附图2是本发明的人脸检测与特征点检测网络结构图。
附图3是本发明的人脸识别网络结构图。
具体实施方式：
实施例1：
一种基于深度学习的遮挡条件下人脸识别方法，该方法包括如下步骤：（1）对给定的带有局部遮挡的人脸图像进行人脸检测与特征点检测；（2）根据检测到的人脸上特征点的位置进行五官局部图截取；（3）基于ubuntu16.04操作系统，在GPU1080下，搭建CAFFE深度学习框架，得到人脸识别模型。
实施例2：
根据实施例1所述的基于深度学习的遮挡条件下人脸识别方法，所述的对给定的带有局部遮挡的人脸图像进行人脸检测与特征点检测的具体过程为：
（1）对给定的带有局部遮挡的人脸图像数据经过三层卷积层，得到的特征图分别输入第一组人脸分类层、边框回归层和面部特征点定位层，得到包含人脸的候选框和边框回归向量；
（2）将候选框作为输入继续做卷积操作，再经过三层卷积，得到的特征图输入到全连接层中再分别输入第二组人脸分类层、边框回归层和面部特征点定位层，进一步提高边框的精确度；
（3）将第二次得到的候选框作为输入继续做卷积操作，经过四层卷积和一层全连接，将得到的特征图分别输入第一组人脸分类层、边框回归层和面部特征点定位层，最终得到人脸边框位置和面部特征点位置。
实施例3：
根据实施例1所述的基于深度学习的遮挡条件下人脸识别方法，所述的根据检测到的人脸上特征点的位置进行五官局部图截取的具体过程为：根据检测到的人脸上特征点的位置，将原图截成分别包含眼睛、鼻子、嘴巴的三部分局部图，用于后面的训练。
实施例4：
根据实施例1所述的基于深度学习的遮挡条件下人脸识别方法，所述的基于ubuntu16.04操作系统，在GPU1080下，搭建CAFFE深度学习框架，得到人脸识别模型的具体过程为：基于ubuntu 16.04操作系统，GPU1080下，搭建CAFFE 深度学习框架，将包含眼睛的局部人脸图输入到特征提取网络，得到眼睛的特征向量，将包含鼻子和嘴巴的人脸图也分别输入到各自的特征提取网络，经过三个特征提取网络得到的三个特征向量经过组合，输入到softmax分类层进行分类，从而得到人脸识别模型。

Claims (4)

1.一种基于深度学习的遮挡条件下人脸识别方法，其特征是：该方法包括如下步骤：（1）对给定的带有局部遮挡的人脸图像进行人脸检测与特征点检测；（2）根据检测到的人脸上特征点的位置进行五官局部图截取；（3）基于ubuntu16.04操作系统，在GPU1080下，搭建CAFFE深度学习框架，得到人脸识别模型。
2.根据权利要求1所述的基于深度学习的遮挡条件下人脸识别方法，其特征是：所述的对给定的带有局部遮挡的人脸图像进行人脸检测与特征点检测的具体过程为：
（1）对给定的带有局部遮挡的人脸图像数据经过三层卷积层，得到的特征图分别输入第一组人脸分类层、边框回归层和面部特征点定位层，得到包含人脸的候选框和边框回归向量；
（2）将候选框作为输入继续做卷积操作，再经过三层卷积，得到的特征图输入到全连接层中再分别输入第二组人脸分类层、边框回归层和面部特征点定位层，进一步提高边框的精确度；
（3）将第二次得到的候选框作为输入继续做卷积操作，经过四层卷积和一层全连接，将得到的特征图分别输入第一组人脸分类层、边框回归层和面部特征点定位层，最终得到人脸边框位置和面部特征点位置。
3.根据权利要求1所述的基于深度学习的遮挡条件下人脸识别方法，其特征是：所述的根据检测到的人脸上特征点的位置进行五官局部图截取的具体过程为：根据检测到的人脸上特征点的位置，将原图截成分别包含眼睛、鼻子、嘴巴的三部分局部图，用于后面的训练。
4.根据权利要求1所述的基于深度学习的遮挡条件下人脸识别方法，其特征是：所述的基于ubuntu16.04操作系统，在GPU1080下，搭建CAFFE深度学习框架，得到人脸识别模型的具体过程为：基于ubuntu 16.04操作系统，GPU1080下，搭建CAFFE 深度学习框架，将包含眼睛的局部人脸图输入到特征提取网络，得到眼睛的特征向量，将包含鼻子和嘴巴的人脸图也分别输入到各自的特征提取网络，经过三个特征提取网络得到的三个特征向量经过组合，输入到softmax分类层进行分类，从而得到人脸识别模型。
CN201710742734.0A 2017-08-25 2017-08-25 基于深度学习的遮挡条件下人脸识别方法 Pending CN107679450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710742734.0A CN107679450A (zh) 2017-08-25 2017-08-25 基于深度学习的遮挡条件下人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710742734.0A CN107679450A (zh) 2017-08-25 2017-08-25 基于深度学习的遮挡条件下人脸识别方法

Publications (1)

Publication Number Publication Date
CN107679450A true CN107679450A (zh) 2018-02-09

Family

ID=61134279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710742734.0A Pending CN107679450A (zh) 2017-08-25 2017-08-25 基于深度学习的遮挡条件下人脸识别方法

Country Status (1)

Country Link
CN (1) CN107679450A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363047A (zh) * 2018-03-26 2019-10-22 普天信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111582090A (zh) * 2020-04-27 2020-08-25 杭州宇泛智能科技有限公司 人脸识别方法、装置及电子设备
CN111723612A (zh) * 2019-03-20 2020-09-29 北京市商汤科技开发有限公司 人脸识别和人脸识别网络的训练方法和装置、存储介质
CN111815790A (zh) * 2020-07-10 2020-10-23 成都智元汇信息技术股份有限公司 一种基于人脸识别的地铁乘车检票方法
WO2021017286A1 (zh) * 2019-08-01 2021-02-04 平安科技（深圳）有限公司 人脸识别方法、装置、电子设备及计算机非易失性可读存储介质
CN112418190A (zh) * 2021-01-21 2021-02-26 成都点泽智能科技有限公司 移动端医学防护遮蔽人脸识别方法、装置、系统及服务器
CN113432720A (zh) * 2021-06-25 2021-09-24 深圳市迈斯泰克电子有限公司 基于人体识别的温度检测方法、装置以及温度检测仪器
WO2022073453A1 (zh) * 2020-10-10 2022-04-14 武汉大学 一种面向身份识别的人脸质量感知方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977286A (zh) * 2004-06-28 2007-06-06 佳能株式会社 对象识别方法及其设备
CN104346602A (zh) * 2013-08-07 2015-02-11 上海贯城信息科技有限公司 一种基于特征向量的人脸识别方法及装置
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN106548165A (zh) * 2016-11-28 2017-03-29 中通服公众信息产业股份有限公司 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN106599797A (zh) * 2016-11-24 2017-04-26 北京航空航天大学 一种基于局部并行神经网络的红外人脸识别方法
CN106650699A (zh) * 2016-12-30 2017-05-10 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置
CN106874868A (zh) * 2017-02-14 2017-06-20 北京飞搜科技有限公司 一种基于三级卷积神经网络的人脸检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977286A (zh) * 2004-06-28 2007-06-06 佳能株式会社 对象识别方法及其设备
CN104346602A (zh) * 2013-08-07 2015-02-11 上海贯城信息科技有限公司 一种基于特征向量的人脸识别方法及装置
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN106599797A (zh) * 2016-11-24 2017-04-26 北京航空航天大学 一种基于局部并行神经网络的红外人脸识别方法
CN106548165A (zh) * 2016-11-28 2017-03-29 中通服公众信息产业股份有限公司 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN106650699A (zh) * 2016-12-30 2017-05-10 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置
CN106874868A (zh) * 2017-02-14 2017-06-20 北京飞搜科技有限公司 一种基于三级卷积神经网络的人脸检测方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363047A (zh) * 2018-03-26 2019-10-22 普天信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN110363047B (zh) * 2018-03-26 2021-10-26 普天信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111723612A (zh) * 2019-03-20 2020-09-29 北京市商汤科技开发有限公司 人脸识别和人脸识别网络的训练方法和装置、存储介质
WO2021017286A1 (zh) * 2019-08-01 2021-02-04 平安科技（深圳）有限公司 人脸识别方法、装置、电子设备及计算机非易失性可读存储介质
CN111582090A (zh) * 2020-04-27 2020-08-25 杭州宇泛智能科技有限公司 人脸识别方法、装置及电子设备
CN111815790A (zh) * 2020-07-10 2020-10-23 成都智元汇信息技术股份有限公司 一种基于人脸识别的地铁乘车检票方法
WO2022073453A1 (zh) * 2020-10-10 2022-04-14 武汉大学 一种面向身份识别的人脸质量感知方法及系统
CN112418190A (zh) * 2021-01-21 2021-02-26 成都点泽智能科技有限公司 移动端医学防护遮蔽人脸识别方法、装置、系统及服务器
CN113432720A (zh) * 2021-06-25 2021-09-24 深圳市迈斯泰克电子有限公司 基于人体识别的温度检测方法、装置以及温度检测仪器

Similar Documents

Publication Publication Date Title
CN107679450A (zh) 基于深度学习的遮挡条件下人脸识别方法
CN109829436B (zh) 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN105095829B (zh) 一种人脸识别方法及系统
CN102332095B (zh) 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN106548159A (zh) 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN101739742B (zh) 联网式多通道门禁考勤系统
CN103679118A (zh) 一种人脸活体检测方法及系统
CN105930834B (zh) 基于球哈希二值编码的人脸识别方法及装置
CN111460962A (zh) 一种口罩人脸识别方法及系统
CN103473564B (zh) 一种基于敏感区域的正面人脸检测方法
CN109657595A (zh) 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
CN106355138A (zh) 基于深度学习和关键点特征提取的人脸识别方法
CN105095870A (zh) 基于迁移学习的行人重识别方法
CN109214263A (zh) 一种基于特征复用的人脸识别方法
CN106778796A (zh) 基于混合式协同训练的人体动作识别方法及系统
CN109145717A (zh) 一种在线学习的人脸识别方法
CN105488468A (zh) 一种目标区域的定位方法和装置
CN101458763A (zh) 基于图像加权平均的自动人脸识别方法
CN105373777A (zh) 一种用于人脸识别的方法及装置
CN107292907A (zh) 一种对跟随目标进行定位的方法以及跟随设备
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与系统
CN103390151B (zh) 人脸检测方法及装置
CN107844742A (zh) 人脸图像眼镜去除方法、装置及存储介质
CN109460974A (zh) 一种基于姿态识别的考勤系统
CN108960103A (zh) 一种人脸和唇语相融合的身份认证方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180209