CN107609464B - 一种实时人脸快速检测方法 - Google Patents

一种实时人脸快速检测方法 Download PDF

Info

Publication number
CN107609464B
CN107609464B CN201710605661.0A CN201710605661A CN107609464B CN 107609464 B CN107609464 B CN 107609464B CN 201710605661 A CN201710605661 A CN 201710605661A CN 107609464 B CN107609464 B CN 107609464B
Authority
CN
China
Prior art keywords
face
layer
image
classifier
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710605661.0A
Other languages
English (en)
Other versions
CN107609464A (zh
Inventor
李晓飞
刘佳雯
韩光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING NANYOU INSTITUTE OF INFORMATION TEACHNOVATION Co.,Ltd.
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710605661.0A priority Critical patent/CN107609464B/zh
Publication of CN107609464A publication Critical patent/CN107609464A/zh
Application granted granted Critical
Publication of CN107609464B publication Critical patent/CN107609464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种实时高精度人脸快速检测方法，属于图像处理目标检测技术领域。基于Boosting算法和卷积神经网络相结合，利用了卷积神经网络能够在滤除环境噪声的同时很好的提取人脸特征的能力，使得可以快速清除图像中的噪声区域保留图像中有用信息部分，大大加快了人脸检测算法的速度，同时融合Boosing算法和设计的特征算法构建的高精度的分类器，对卷积神经网络得到的特征图进行处理，可以快速且准确的获取图像中人脸的具体位置。本发明提供了一种新型，鲁棒，高精度的人脸快速检测方法，在人脸检测领域提供了一种全新的思路，具有非常高的实用价值和发展前景。

Description

一种实时人脸快速检测方法
技术领域
本发明涉及图像目标检测技术领域，特别是一种实时高精度人脸快速检测方法。
背景技术
随着电子商务等应用的发展，人脸检测作为许多生物验证技术的重要前提，一直以来都受到了大量的关注。人脸是一个包含着丰富信息的模式的集合，是人类互相辩证和识别的主要标志之一，今天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视频检测等方面有着重要的应用价值。
近年来，由于反恐、国土安全、和社会安全的需要，世界上各个国家都对安防领域加大了投入，目前全球有许多研究组在从事人脸检测与跟踪的研究，比较著名的有MIT(麻省理工学院)的Al实验室及媒体实验室、cMU(美国卡内基一梅隆大学)l0l的人机接口研究室等。通常这些研究受到军方、警方及大公司的高度重视和资助，美国军方每年还专门组织人脸识别比赛以促进这一领域的发展。
人脸检测虽然从20世纪90年代已经开始研究，但由于受到视频和图像捕获备的制约，一些环境因素的干扰，以及被检测主体的各种变化等的影响，人脸测的准确度和速度都没能同时达到很高的水平。一些主要的问题和难点直到今依然没有得到非常有效和全面的解决。
人脸检测的困难主要表现在以下几个方面四:(1)背景中可能存在和人脸相近的模式:人脸常存在于一个复杂的背景之中，能在背景中存在着与人脸近似的模式；(2)人脸模式的不确定:人脸是一个非刚性，是一个包含五官、毛发等的极不则的复杂待测目标，不同的人脸在形状、大小、颜色、质地等方面有很大的变性，某些局部的特征还具有随机性，而且人的面部还存在着不同的表情。脸部其它附属物如:胡须、眼镜等都会造成人脸模式的不确定性；(3)图像获取过程的不确定性带来的影响:光照强度、光源的数目和方向、拍角度、不同的成像方式、图像的分辨率，都可以引起图像质量的变化。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种实时高精度人脸快速检测方法，本发明基于Boosting算法和卷积神经网络相结合，利用了卷积神经网络能够在滤除环境噪声的同时很好的提取人脸特征的能力，使得可以快速清除图像中的噪声区域保留图像中有用信息部分，大大加快了人脸检测算法的速度；对单张人脸表情图像进行非常准确的识别。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种实时高精度人脸快速检测方法，包括以下步骤：
步骤A、设计基于人脸分类的卷积神经网络模型BFCNN；
步骤B、采用交占比IOU，从公开的人脸数据库中的图像Iraw中，获取正负样本作为人脸训练集Itrain；
步骤C、对步骤A中设计的BFCNN，利用步骤B中得到的人脸训练集Itrain来进行分类训练，训练完成后，得到训练好的BFCNN网络的中间特征层LO，从LO中选取能够滤除环境噪声并能提取人脸特征的卷积输出层，卷积输出层输出特征图Lfeature；
步骤D、设计符合检测人脸的中心对称向量特征算子CSVCO，CSVCO能够利用特征图Lfeature中的空间拓扑关系来反映图像中人脸的特征描述；
步骤E、设计多个图像输入维度在预设像素区域间的、由小卷积核重叠构成的全卷积神经网络分类器MMKSFCN；
步骤F、利用步骤D和步骤E中设计的中心对称向量特征算子CSVCO和多个全卷积神经网络分类器MMKSFCN，依赖于步骤B、步骤C中分别获得的人脸训练集Itrain和Lfeature的空间对应关系，获取到用来训练Boosting算法的训练集Iboosting，利用CSVCO和MMKSFCN来构建多个弱分类器CLASSIFIERweakly；
步骤G、使用Boosting算法来融合步骤F中构建的多个弱分类器CLASSIFIERweakly，构建强分类器CLASSIFIERpowerful，利用CLASSIFIERpowerful实现人脸检测。
作为本发明所述的一种实时高精度人脸快速检测方法进一步优化方案，小卷积核的大小为1或者3。
作为本发明所述的一种实时高精度人脸快速检测方法进一步优化方案，所述步骤A中设计基于人脸分类的卷积神经网络模型BFCNN的详细架构如下:
步骤A.1、设计的BFCNN总共包含分别接受图像的R、G、B分量的图像三通道输入；BFCNN总共包含12层；
步骤A.2、前6层为连续的卷积层，每一层得到输出通道数分别为16、24、32、48、64、20，第六层采用了稠密连接，第六层允许前五个卷积层的跨层连接；在卷积的过程中，限制了每一层输出的维度都是输入图像的尺度；前6层是用来提取三通道输入的人脸特征同时滤除噪声；
步骤A.3、第7到第10层是降维层，能够使前6层中提取到的特征保留，并且去除冗余信息，最后两层分别为128个隐藏单元的全连接层和softmax输出层。
作为本发明所述的一种实时高精度人脸快速检测方法进一步优化方案，所述步骤B具体如下：在公开的人脸数据库中的图像Iraw上取随机224*224大小的图像切片作为源样本Sample，源样本Sample与标注的人脸标注框boundingbox相交部分的面积占二者合集的比例为交占比IOU，以IOU来判断正负样本，当IOU大于0.65时候，标注为正样本，当IOU小于0.35时为负样本，正负样本作为人脸训练集Itrain。
作为本发明所述的一种实时高精度人脸快速检测方法进一步优化方案，所述CSVCO是以中心对称的两个相同的几何图形作为基本模型，其中一个几何图形中所有位置的系数全部为+1，另外一个全部为-1，计算CSVCO与特征图Lfeature重叠部分的累乘和SumCSVCO，SumCSVCO能够反映特征图Lfeature中的空间拓扑关系。
作为本发明所述的一种实时高精度人脸快速检测方法进一步优化方案，步骤E中的预设像素区域为12像素至20像素。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明提出了一种基于卷积神经网络和Boosting算法融合的端到端人脸检测方案，首先利用卷积神经网络能够在网络前几层便可以很好的滤除大量环境噪声和能够很好的提取出人脸特征的能力，产生多张特征图，之后在这些特征图上利用Boosting算法进行分类级联，最终得到输出结果；本发明基于Boosting算法和卷积神经网络相结合，利用了卷积神经网络能够在滤除环境噪声的同时很好的提取人脸特征的能力，使得可以快速清除图像中的噪声区域保留图像中有用信息部分，大大加快了人脸检测算法的速度；
(2)在Boosting算法的弱分类器构建过程中，加入了新设计的特征算子和发明的小卷积核和低维度的全卷积神经网络分类器，使得boosting算法的精度进一步提高；
(3)本发明对单张人脸表情图像进行非常准确的识别，提供了一种新型，鲁棒，高精度的人脸快速检测方法，在人脸检测领域提供了一种全新的思路，具有非常高的实用价值和发展前景。
附图说明
图1是一种实时高精度人脸快速检测方法的整体流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
人脸可以不同的视角出现在图像中，为了实现检测方法的鲁棒性，我们需要考虑在不的方向角度、尺度等情况下所表现出来的不同表象。基于此，本发明提供了一种实时高精度人脸快速检测算法。
图1为本发明方法的整体流程图，一种实时高精度人脸快速检测算法，包括神经网络训练与设计，特征描述算子的设计，算法和弱分类器融合三大步骤。
详细流程如下：
步骤A、设计基于人脸分类的卷积神经网络模型BFCNN；
步骤B、采用交占比(IOU)，从公开的人脸数据库中的图像Iraw中，获取正负样本作为人脸训练集Itrain；
步骤C、对步骤A中设计的BFCNN，利用步骤B中得到的人脸训练集Itrain来进行分类训练，训练完成后，得到训练好的BFCNN网络的中间特征层LO，从Lo中选取能够滤除环境噪声并能提取人脸特征的卷积输出层，卷积输出层输出特征图Lfeature；
步骤D、设计符合检测人脸的中心对称向量特征算子CSVCO，CSVCO能够利用特征图Lfeature中的空间拓扑关系来反映图像中人脸的特征描述；
步骤E、设计多个图像输入维度在12像素至20像素之间的、由小卷积核重叠构成的全卷积神经网络分类器MMKSFCN；
步骤F、利用步骤D和步骤E中设计的中心对称向量特征算子CSVCO和多个全卷积神经网络分类器MMKSFCN，依赖于步骤B中获得的人脸训练集Itrain和Lfeature的空间对应关系，获取到用来训练Boosting算法的训练集Iboosting，利用CSVCO和MMKSFCN来构建多个弱分类器CLASSIFIERweakly；
步骤G、使用Boosting算法来融合步骤F中构建的多个弱分类器CLASSIFIERweakly，构建强分类器CLASSIFIERpowerful，利用CLASSIFIERpowerful实现人脸检测。
小卷积核的大小为1或者3。
所述步骤A中设计基于人脸分类的卷积神经网络模型BFCNN的详细架构如下:
步骤A.1、设计的BFCNN总共包含分别接受图像的R、G、B分量的图像三通道输入；BFCNN总共包含12层；
步骤A.2、前6层为连续的卷积层，每一层得到输出通道数分别为16、24、32、48、64、20，第六层采用了稠密连接，第六层允许前五个卷积层的跨层连接；在卷积的过程中，限制了每一层输出的维度都是输入图像的尺度；前6层是用来提取三通道输入的人脸特征同时滤除噪声；
步骤A.3、第7到第10层是降维层，能够使前6层中提取到的特征保留，并且去除冗余信息，最后两层分别为128个隐藏单元的全连接层和softmax输出层。
在公开的人脸数据库中的图像Iraw上取随机224*224大小的图像切片作为源样本Sample，源样本Sample与标注的人脸标注框boundingbox相交部分的面积占二者合集的比例为交占比IOU，以IOU来判断正负样本，当IOU大于0.65时候，标注为正样本，当IOU小于0.35时为负样本，正负样本组成人脸训练集Itrain。
所述CSVCO是以中心对称的两个相同的几何图形作为基本模型，其中一个几何图形中所有位置的系数全部为+1，另外一个全部为-1，计算CSVCO与特征图Lfeature重叠部分的累乘和SumCSVCO，SumCSVCO能够反映特征图Lfeature中的空间拓扑关系。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替代，都应当视为属于本发明的保护范围。

Claims (5)

1.一种实时人脸快速检测方法，其特征在于，包括以下步骤：
步骤A、设计基于人脸分类的卷积神经网络模型BFCNN；
步骤B、采用交占比IOU，从公开的人脸数据库中的图像Iraw中，获取正负样本作为人脸训练集Itrain；
步骤C、对步骤A中设计的BFCNN，利用步骤B中得到的人脸训练集Itrain来进行分类训练，训练完成后，得到训练好的BFCNN网络的中间特征层LO，从LO中选取能够滤除环境噪声并能提取人脸特征的卷积输出层，卷积输出层输出特征图Lfeature；
步骤D、设计符合检测人脸的中心对称向量特征算子CSVCO，CSVCO能够利用特征图Lfeature中的空间拓扑关系来反映图像中人脸的特征描述；所述CSVCO是以中心对称的两个相同的几何图形作为基本模型，其中一个几何图形中所有位置的系数全部为+1，另外一个全部为-1，计算CSVCO与特征图Lfeature重叠部分的累乘和SumCSVCO，SumCSVCO能够反映特征图Lfeature中的空间拓扑关系；
步骤E、设计多个图像输入维度在预设像素区域间的、由小卷积核重叠构成的全卷积神经网络分类器MMKSFCN；
步骤F、利用步骤D和步骤E中设计的中心对称向量特征算子CSVCO和多个全卷积神经网络分类器MMKSFCN，依赖于步骤B、步骤C中分别获得的人脸训练集Itrain和Lfeature的空间对应关系，获取到用来训练Boosting算法的训练集Iboosting，利用CSVCO和MMKSFCN来构建多个弱分类器CLASSIFIERweakly；
步骤G、使用Boosting算法来融合步骤F中构建的多个弱分类器CLASSIFIERweakly，构建强分类器CLASSIFIERpowerful，利用CLASSIFIERpowerful实现人脸检测。
2.根据权利要求1所述的一种实时人脸快速检测方法，其特征在于，小卷积核的大小为1或者3。
3.根据权利要求1所述的一种实时人脸快速检测方法，其特征在于，所述步骤A中设计基于人脸分类的卷积神经网络模型BFCNN的详细架构如下:
步骤A.1、设计的BFCNN总共包含分别接受图像的R、G、B分量的图像三通道输入；BFCNN总共包含12层；
步骤A.2、前6层为连续的卷积层，每一层得到输出通道数分别为16、24、32、48、64、20，第六层采用了稠密连接，第六层允许前五个卷积层的跨层连接；在卷积的过程中，限制了每一层输出的维度都是输入图像的尺度；前6层是用来提取三通道输入的人脸特征同时滤除噪声；
步骤A.3、第7到第10层是降维层，能够使前6层中提取到的特征保留，并且去除冗余信息，最后两层分别为128个隐藏单元的全连接层和softmax输出层。
4.根据权利要求1所述的一种实时人脸快速检测方法，其特征在于，所述步骤B具体如下：在公开的人脸数据库中的图像Iraw上取随机224*224大小的图像切片作为源样本Sample，源样本Sample与标注的人脸标注框boundingbox相交部分的面积占二者合集的比例为交占比IOU，以IOU来判断正负样本，当IOU大于0.65时候，标注为正样本，当IOU小于0.35时为负样本，正负样本作为人脸训练集Itrain。
5.根据权利要求1所述的一种实时人脸快速检测方法，其特征在于，步骤E中的预设像素区域为12像素至20像素。
CN201710605661.0A 2017-07-24 2017-07-24 一种实时人脸快速检测方法 Active CN107609464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710605661.0A CN107609464B (zh) 2017-07-24 2017-07-24 一种实时人脸快速检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710605661.0A CN107609464B (zh) 2017-07-24 2017-07-24 一种实时人脸快速检测方法

Publications (2)

Publication Number Publication Date
CN107609464A CN107609464A (zh) 2018-01-19
CN107609464B true CN107609464B (zh) 2019-10-29

Family

ID=61060015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710605661.0A Active CN107609464B (zh) 2017-07-24 2017-07-24 一种实时人脸快速检测方法

Country Status (1)

Country Link
CN (1) CN107609464B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034264B (zh) * 2018-08-15 2021-11-19 云南大学 交通事故严重性预测csp-cnn模型及其建模方法
CN109948573B (zh) * 2019-03-27 2021-08-17 厦门大学 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法
CN110236530A (zh) * 2019-06-20 2019-09-17 武汉中旗生物医疗电子有限公司 一种心电信号qrs波群定位方法、装置及计算机存储介质
CN110415323B (zh) * 2019-07-30 2023-05-26 成都数字天空科技有限公司 一种融合变形系数获得方法、装置及存储介质
CN114694386B (zh) * 2020-12-31 2023-07-07 博泰车联网科技(上海)股份有限公司 信息推送方法、装置、电子装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831413A (zh) * 2012-09-11 2012-12-19 上海中原电子技术工程有限公司 基于多分类器融合的人脸识别方法及系统
WO2017015390A1 (en) * 2015-07-20 2017-01-26 University Of Maryland, College Park Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
CN106874883A (zh) * 2017-02-27 2017-06-20 中国石油大学(华东) 一种基于深度学习的实时人脸检测方法及系统
CN106951825A (zh) * 2017-02-13 2017-07-14 北京飞搜科技有限公司 一种人脸图像质量评估系统以及实现方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
US10489703B2 (en) * 2015-05-20 2019-11-26 Nec Corporation Memory efficiency for convolutional neural networks operating on graphics processing units
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831413A (zh) * 2012-09-11 2012-12-19 上海中原电子技术工程有限公司 基于多分类器融合的人脸识别方法及系统
WO2017015390A1 (en) * 2015-07-20 2017-01-26 University Of Maryland, College Park Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
CN106951825A (zh) * 2017-02-13 2017-07-14 北京飞搜科技有限公司 一种人脸图像质量评估系统以及实现方法
CN106874883A (zh) * 2017-02-27 2017-06-20 中国石油大学(华东) 一种基于深度学习的实时人脸检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A multi-scale cascade fully convolutional network face detector;Zhenheng Yang 等;《2016 23rd International Conference on Pattern Recognition（ICPR）》;20161208;第633-638页 *
Joint Training of Cascaded CNN for Face Detection;Hongwei Qin 等;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161212;第3456-3465页 *
基于多分类器融合的XLPE电缆局部放电模式识别研究;徐颖敏 等;《电气自动化》;20111231;第33卷(第3期);第74-76、80页 *

Also Published As

Publication number Publication date
CN107609464A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107609464B (zh) 一种实时人脸快速检测方法
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
CN105512638B (zh) 一种基于融合特征的人脸检测与对齐方法
US11263435B2 (en) Method for recognizing face from monitoring video data
CN109598242B (zh) 一种活体检测方法
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN108921100A (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
CN103116749A (zh) 一种基于自建图像库的近红外人脸识别方法
CN103413145B (zh) 基于深度图像的关节点定位方法
CN105005765A (zh) 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN106570564B (zh) 基于深度网络的多尺度行人检测方法
CN104392246B (zh) 一种基于类间类内面部变化字典的单样本人脸识别方法
CN104951773A (zh) 一种实时人脸识别监视系统
CN105046219A (zh) 一种人脸识别系统
CN111814661A (zh) 基于残差-循环神经网络的人体行为识别方法
CN103136516A (zh) 可见光与近红外信息融合的人脸识别方法及系统
CN110008909A (zh) 一种基于ai的实名制业务实时稽核系统
Yue et al. Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models
Thakur et al. Copy-move forgery detection using residuals and convolutional neural network framework: a novel approach
CN101976352A (zh) 基于小样本学习和稀疏表示的多光照人脸识别方法
CN109544523A (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180119

Assignee: Nanjing Nanyou Information Industry Technology Research Institute Co. Ltd.

Assignor: Nanjing Post & Telecommunication Univ.

Contract record no.: X2019980001257

Denomination of invention: Real-time human face rapid detection method

Granted publication date: 20191029

License type: Common License

Record date: 20191224

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20210517

Address after: Room 507, 6-3 Xingzhi Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 210000

Patentee after: NANJING NANYOU INSTITUTE OF INFORMATION TEACHNOVATION Co.,Ltd.

Address before: 210000 new model road, Nanjing, Nanjing, Jiangsu

Patentee before: NANJING University OF POSTS AND TELECOMMUNICATIONS

TR01 Transfer of patent right
EC01 Cancellation of recordation of patent licensing contract

Assignee: NANJING NANYOU INSTITUTE OF INFORMATION TECHNOVATION Co.,Ltd.

Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS

Contract record no.: X2019980001257

Date of cancellation: 20220304

EC01 Cancellation of recordation of patent licensing contract