CN107273864A - 一种基于深度学习的人脸检测方法 - Google Patents

一种基于深度学习的人脸检测方法 Download PDF

Info

Publication number
CN107273864A
CN107273864A CN201710482502.6A CN201710482502A CN107273864A CN 107273864 A CN107273864 A CN 107273864A CN 201710482502 A CN201710482502 A CN 201710482502A CN 107273864 A CN107273864 A CN 107273864A
Authority
CN
China
Prior art keywords
face
facial image
network
network structure
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710482502.6A
Other languages
English (en)
Other versions
CN107273864B (zh
Inventor
宋永端
刘永
杨琳
赖俊峰
李攀飞
张子涛
张云福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Gelairui Intelligent Control Technology Co ltd
Original Assignee
Star Institute of Intelligent Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Star Institute of Intelligent Systems filed Critical Star Institute of Intelligent Systems
Priority to CN201710482502.6A priority Critical patent/CN107273864B/zh
Publication of CN107273864A publication Critical patent/CN107273864A/zh
Application granted granted Critical
Publication of CN107273864B publication Critical patent/CN107273864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的人脸检测方法,包括步骤:步骤一、对采集的人脸图像进行人脸对齐;步骤二、对经步骤一处理过的人脸图像,通过深度卷积神经网络进行人脸特征的提取;步骤三、将步骤二中输出的特征向量进行归一化处理,然后再与系统中原本存储的特征向量进行余弦相似度计算,最后进行阈值比较,得出人脸检测结果。本发明基于深度学习的人脸检测方法,其具有人脸图像特征提取速度快、准确度高、鲁棒性良好、网络结构简单等优点。

Description

一种基于深度学习的人脸检测方法
技术领域
本发明涉及人脸识别技术领域,特别涉及一种适用于多个任务的人脸特征识别方法。
背景技术
人脸识别方法的一般流程如下:系统输入一般是一张或者一系列含有未确定身份的人脸图像,以及人脸数据库中的若干已知身份的人脸图象,而其输出则是一系列相似度得分,表明待识别的人脸的身份。人脸识别方法主要包括特征提取,特征匹配,相似度计算这三个部分。不同计算得到的相似度需要与预想设定的门槛阈值进行比较,当相似度等于或者高于该阈值时,判定人脸身份。因此,人脸识别算法中的特征提取算法的好坏直接影响到后面的特征匹配和相似度计算的准确性,对识别效果准确性有着至关重要的作用。目前,国内外对于人脸特征提取算法的应用主要集中于以下三点:
1)特征脸方法:寻找人脸图像分布的基本元素,也就是人脸图像样本集协方差的特征向量,以这个向量近似表示人脸图像。此向量就是这个人脸的特征向量或者叫做特征脸。
2)弹性图匹配方法:将人脸特征的某些点作为基准点,以此构成了弹性图,每个基准点储存了一系列代表性的特征矢量,以此作为人脸的提取特征。
3)神经网络方法:人工神经网络是一种非线性的动力学系统,具有很好的自组织,自适应性。大部分优秀的特征提取器都是使用卷积神经网络。有多层的卷积层和全连接层构成,人脸图像输入之后,经过卷积层提取多个特征图,然后由全连接层输出特征向量,以此构成人脸的提取特征。
其中,特征脸方法具有简单,快速,实用性的优点,但由于它在实际应用的时候过于依赖于训练样本集和测试样本集的图像灰度相关性,并且需要测试样本跟训练样本比较接近,所以有很大的局限性,不能在实际中广泛应用。弹性图匹配方法具有良好的识别精度,适用性也不错,但是缺点也很明显:时间复杂度高,识别速度慢,实现起来比较复杂。
发明内容
有鉴于此,针对现有人脸特征提取方法存在不足,本发明的目的是提供一种具有提取速度快、准确度高、良好的鲁棒性、网络结构简单等优点的基于深度学习的人脸检测方法。
本发明基于深度学习的人脸检测方法,包括以下步骤:
步骤一、对采集的人脸图像进行人脸对对齐;
步骤二、对经步骤一处理过的人脸图像,通过深度卷积神经网络进行人脸特征的提取;
进行人脸图像特征提取的网络结构:包含了6个卷积层和2个全连接层,每个卷积层有2个3*3的卷积核,并且将残差网络结构引入卷积神网络,形成命名为稀疏残差网络的网络结构,稀疏残差网络的网络结构的表示形式如下:
yn l=y0 l+y1 l+y2 l+...+yn-1 l+fn(yn-1 l)
其中y0 l作为上一残差模块的输出,即第l-1残差模块的输出,同时作为第l模块的输入,y1 l,y2 l,y3 l…fn(yn-1 l)作为第l模块中的卷积层输出特征图,yn l作为第l模块的最终输出;
步骤三、将步骤二中输出的特征向量进行归一化处理,然后再与系统中原本存储的特征向量进行余弦相似度计算,最后进行阈值比较,得出人脸检测结果。
本发明的有益效果:
本发明基于深度学习的人脸检测方法,其具有人脸图像特征提取速度快、准确度高、鲁棒性良好、网络结构简单等优点。
附图说明
图1为人脸对齐矫正示意图;
图2为卷积神经网络特征提取器的网络结构;
图3为SRN残差模块结构;
图4为SRN残差模块结构展开图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
本实施例基于深度学习的人脸检测方法,包括以下三个步骤:
步骤一、对采集的人脸图像进行人脸对对齐;人脸对齐是人脸识别的前端处理,通过对人脸图像进行缩放,旋转,切割等操作,使所有人脸图像依照某种标准规范化。通过人脸对齐纠正人脸在采集过程中出现的大差异姿态,夸张表情等不利于识别的因素。在本具体实施例中,采用现有的CFAN人脸对齐算法进行人脸对齐,该方法是一种由粗到精的自编码器网络,求解复杂的非线性映射过程。如图1,CFAN由4个栈式自编码器网络(SAN)构成,每个自编码器网络都有四层网络,其中三个隐层使用sigomid函数激活,第四层是线性激活。每个SAN的分辨率都是逐渐变大的,定位越来越准确。第一个全局SAN定位了68个形状特征点,后面三个局部SAN的输入是由68个特征点在高分辨率图片周围提取的形状索引(SIFT特征)构成的,最终得到人脸在准确位置。
步骤二、对经步骤一处理过的人脸图像,通过深度卷积神经网络进行人脸特征的提取;
进行人脸图像特征提取的网络结构如图2所示:其包含了6个卷积层(conv)和2个全连接层(fc),每个卷积层有2个3*3的卷积核;该网络结构通过修改现有的深度卷积神经网络AlexNet,将原有的5*5的卷积核拆分为2个3*3的卷积核,从而增加了深度,但同时计算量并未增加;此外本层的网络减少了每层的卷积核的数目,以及全连接层的节点数目,网络结构更简单。本实施例中还将残差网络结构(ResNet)引入卷积神网络,形成命名为稀疏残差网络的网络结构(Sparse-Residual Networks,SRN),其残差模块与原始残差模块有明显区别,拥有更多了输入链接,特征提取准确性更高,鲁棒性良好,稀疏残差网络的网络结构的表示形式如下:
yn l=y0 l+y1 l+y2 l+...+yn-1 l+fn(yn-1 l)
其中y0 l作为上一残差模块的输出,即第l-1残差模块的输出,同时作为第l模块的输入,y1 l,y2 l,y3 l…fn(yn-1 l)作为第l模块中的卷积层输出特征图,yn l作为第l模块的最终输出;
本实施例中,稀疏残差网络残差模块结构如图3所示,图3的最终展开形式如下:
y4=y0+y1+y2+y3+f4(y3)
=y0+f1(y0)+f2(f1(y0))+f3(f2(f1(y0)))+f4(f3(f2(f1(y0))))
图3的最终展开形式等价于图4,这样的三个残差模块构成了特征提取网络主体,之后进行降维处理。第一个全连接层fc1含有4124个节点,第二个全连接层含有2062个节点。所以最终一副人脸图像输入到网络中之后,输出的是一个2062维的特征向量。
步骤三、将步骤二中输出的特征向量进行归一化处理,然后再与系统中原本存储的特征向量进行余弦相似度计算,最后进行阈值比较,得出人脸检测结果。
本实施例基于深度学习的人脸检测方法,其采用稀疏残差网络提取人脸特征,具有提取速度快、准确度高、鲁棒性好、网络结构简单等优点。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于深度学习的人脸检测方法,其特征在于:包括以下步骤:
步骤一、对采集的人脸图像进行人脸对齐;
步骤二、对经步骤一处理过的人脸图像,通过深度卷积神经网络进行人脸特征的提取;
进行人脸图像特征提取的网络结构:包含了6个卷积层和2个全连接层,每个卷积层有2个3*3的卷积核,并且将残差网络结构引入卷积神网络,形成命名为稀疏残差网络的网络结构,稀疏残差网络的网络结构的表示形式如下:
yn l=y0 l+y1 l+y2 l+...+yn-1 l+fn(yn-1 l)
其中y0 l作为上一残差模块的输出,即第l-1残差模块的输出,同时作为第l模块的输入,y1 l,y2 l,y3 l…fn(yn-1 l)作为第l模块中的卷积层输出特征图,yn l作为第l模块的最终输出;
步骤三、将步骤二中输出的特征向量进行归一化处理,然后再与系统中原本存储的特征向量进行余弦相似度计算,最后进行阈值比较,得出人脸检测结果。
CN201710482502.6A 2017-06-22 2017-06-22 一种基于深度学习的人脸检测方法 Active CN107273864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710482502.6A CN107273864B (zh) 2017-06-22 2017-06-22 一种基于深度学习的人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710482502.6A CN107273864B (zh) 2017-06-22 2017-06-22 一种基于深度学习的人脸检测方法

Publications (2)

Publication Number Publication Date
CN107273864A true CN107273864A (zh) 2017-10-20
CN107273864B CN107273864B (zh) 2020-05-22

Family

ID=60068185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710482502.6A Active CN107273864B (zh) 2017-06-22 2017-06-22 一种基于深度学习的人脸检测方法

Country Status (1)

Country Link
CN (1) CN107273864B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108499A (zh) * 2018-02-07 2018-06-01 腾讯科技(深圳)有限公司 人脸检索方法、装置、存储介质及设备
CN108108723A (zh) * 2018-01-19 2018-06-01 深圳市恩钛控股有限公司 一种基于深度学习的人脸特征提取方法
CN108256426A (zh) * 2017-12-15 2018-07-06 安徽四创电子股份有限公司 一种基于卷积神经网络的人脸表情识别方法
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法
CN108846820A (zh) * 2018-07-10 2018-11-20 深圳市唯特视科技有限公司 一种基于尺度递归网络的深度图像去模糊方法
CN108898105A (zh) * 2018-06-29 2018-11-27 成都大学 一种基于深度特征和稀疏压缩分类的人脸识别方法
CN108985232A (zh) * 2018-07-18 2018-12-11 平安科技(深圳)有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109214273A (zh) * 2018-07-18 2019-01-15 平安科技(深圳)有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109508690A (zh) * 2018-11-29 2019-03-22 浙江工业大学 一种基于人脸识别的非主动配合考勤系统
CN111599001A (zh) * 2020-05-14 2020-08-28 星际(重庆)智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法
CN111612722A (zh) * 2020-05-26 2020-09-01 星际(重庆)智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN111666434A (zh) * 2020-05-26 2020-09-15 武汉大学 基于深度全局特征的街景图片检索方法
CN115171335A (zh) * 2022-06-17 2022-10-11 南京邮电大学 一种融合图像和语音的独居老人室内安全保护方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667246A (zh) * 2009-09-25 2010-03-10 西安电子科技大学 基于核稀疏表示的人脸识别方法
US20130156300A1 (en) * 2011-12-20 2013-06-20 Fatih Porikli Multi-Class Classification Method
CN104866810A (zh) * 2015-04-10 2015-08-26 北京工业大学 一种深度卷积神经网络的人脸识别方法
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN106874898A (zh) * 2017-04-08 2017-06-20 复旦大学 基于深度卷积神经网络模型的大规模人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667246A (zh) * 2009-09-25 2010-03-10 西安电子科技大学 基于核稀疏表示的人脸识别方法
US20130156300A1 (en) * 2011-12-20 2013-06-20 Fatih Porikli Multi-Class Classification Method
CN104866810A (zh) * 2015-04-10 2015-08-26 北京工业大学 一种深度卷积神经网络的人脸识别方法
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN106874898A (zh) * 2017-04-08 2017-06-20 复旦大学 基于深度卷积神经网络模型的大规模人脸识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ANDREAS VEIT ET AL.: "Residual Networks Behave Like Ensembles of Relatively Shallow Networks", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
KAIMING HE ET AL.: "Identity Mappings in Deep Residual Networks", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
MASOUD ABDI ET AL: "Multi-Residual Networks:Improving the Speed and Accuracy of Residual Networks", 《ARXIV:COMPUTER VISION AND PATTERN RECOGNITION》 *
SASHA TARG ET AL: "Resnet in resnet:generallzing residual architectures", 《ARXIV:WORKSSHOP TRACK》 *
SERGEY ZAGORUYKO ET AL.: "Wide Residual Networks", 《COMPUTER VISION AND PATTERN RECODNITION》 *
吕国豪 等: "基于卷积神经网络的正则化方法", 《计算机研究与发展》 *
赵亚龙: "基于卷积神经网络的三维人脸识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256426A (zh) * 2017-12-15 2018-07-06 安徽四创电子股份有限公司 一种基于卷积神经网络的人脸表情识别方法
CN108304788B (zh) * 2018-01-18 2022-06-14 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法
CN108108723A (zh) * 2018-01-19 2018-06-01 深圳市恩钛控股有限公司 一种基于深度学习的人脸特征提取方法
CN108108499A (zh) * 2018-02-07 2018-06-01 腾讯科技(深圳)有限公司 人脸检索方法、装置、存储介质及设备
CN108108499B (zh) * 2018-02-07 2023-05-26 腾讯科技(深圳)有限公司 人脸检索方法、装置、存储介质及设备
CN108898105A (zh) * 2018-06-29 2018-11-27 成都大学 一种基于深度特征和稀疏压缩分类的人脸识别方法
CN108846820A (zh) * 2018-07-10 2018-11-20 深圳市唯特视科技有限公司 一种基于尺度递归网络的深度图像去模糊方法
CN108985232A (zh) * 2018-07-18 2018-12-11 平安科技(深圳)有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109214273A (zh) * 2018-07-18 2019-01-15 平安科技(深圳)有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109508690A (zh) * 2018-11-29 2019-03-22 浙江工业大学 一种基于人脸识别的非主动配合考勤系统
CN109508690B (zh) * 2018-11-29 2021-08-17 浙江工业大学 一种基于人脸识别的非主动配合考勤系统
CN111599001B (zh) * 2020-05-14 2023-03-14 星际(重庆)智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法
CN111599001A (zh) * 2020-05-14 2020-08-28 星际(重庆)智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法
CN111666434A (zh) * 2020-05-26 2020-09-15 武汉大学 基于深度全局特征的街景图片检索方法
CN111666434B (zh) * 2020-05-26 2021-11-02 武汉大学 基于深度全局特征的街景图片检索方法
CN111612722A (zh) * 2020-05-26 2020-09-01 星际(重庆)智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN111612722B (zh) * 2020-05-26 2023-04-18 星际(重庆)智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN115171335A (zh) * 2022-06-17 2022-10-11 南京邮电大学 一种融合图像和语音的独居老人室内安全保护方法及装置

Also Published As

Publication number Publication date
CN107273864B (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN107273864A (zh) 一种基于深度学习的人脸检测方法
Liu et al. Finger vein recognition based on deep learning
Wu et al. A leaf recognition algorithm for plant classification using probabilistic neural network
CN108764041B (zh) 用于下部遮挡人脸图像的人脸识别方法
CN106503669A (zh) 一种基于多任务深度学习网络的训练、识别方法及系统
CN104765768A (zh) 海量人脸库的快速准确检索方法
CN110427832A (zh) 一种基于神经网络的小数据集手指静脉识别方法
CN108345837A (zh) 一种基于人体区域对齐化特征表达学习的行人再识别方法
CN105760835A (zh) 一种基于深度学习的步态分割与步态识别一体化方法
CN106384087A (zh) 一种基于多层网络人体特征的身份识别方法
CN110659589A (zh) 基于姿态和注意力机制的行人再识别方法、系统、装置
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
CN106850955A (zh) 一种基于步态识别的手机身份验证方法
CN108875907A (zh) 一种基于深度学习的指纹识别方法和装置
CN106991380A (zh) 一种基于掌静脉图像的预处理方法
CN109902623B (zh) 一种基于感知压缩的步态识别方法
WO2023284070A1 (zh) 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法
CN112989889B (zh) 一种基于姿态指导的步态识别方法
CN105426872A (zh) 一种基于相关高斯过程回归的面部年龄估计方法
CN109389156A (zh) 一种图像定位模型的训练方法、装置及图像定位方法
CN109284700A (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
Messer et al. Choosing an Optimal Neural Network Size to aid a Search Through a Large Image Database.
Chen et al. A finger vein recognition algorithm based on deep learning
CN108921106A (zh) 一种基于capsule的人脸识别方法
CN111898533A (zh) 一种基于时空特征融合的步态分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Song Yongduan

Inventor after: Liu Xiulan

Inventor after: Liu Yong

Inventor after: Yang Lin

Inventor after: Lai Junfeng

Inventor after: Li Panfei

Inventor after: Zhang Zitao

Inventor after: Zhang Yunfu

Inventor before: Song Yongduan

Inventor before: Liu Yong

Inventor before: Yang Lin

Inventor before: Lai Junfeng

Inventor before: Li Panfei

Inventor before: Zhang Zitao

Inventor before: Zhang Yunfu

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210611

Address after: Room 731 and 732, 7th floor, 557 Renmin Road, Dongge sub district office, Pingdu City, Qingdao City, Shandong Province 266701

Patentee after: QINGDAO GELAIRUI INTELLIGENT CONTROL TECHNOLOGY Co.,Ltd.

Address before: 400030 No. 1 Huiquan Road, Shapingba District, Chongqing, 13, attachment 4.

Patentee before: STAR INSTITUTE OF INTELLIGENT SYSTEMS

TR01 Transfer of patent right