CN107909053A - 一种基于等级学习级联卷积神经网络的人脸检测方法 - Google Patents
一种基于等级学习级联卷积神经网络的人脸检测方法 Download PDFInfo
- Publication number
- CN107909053A CN107909053A CN201711237085.5A CN201711237085A CN107909053A CN 107909053 A CN107909053 A CN 107909053A CN 201711237085 A CN201711237085 A CN 201711237085A CN 107909053 A CN107909053 A CN 107909053A
- Authority
- CN
- China
- Prior art keywords
- face
- detection
- image
- detected
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于等级学习级联卷积神经网络的人脸检测方法，涉及计算机识别技术领域；使用全卷积神经网络作为人脸检测的基网络,对训练样本进行检测难度的分类，训练得到等级划分模型，建立修正卷积神经网络的架构，对基网络无法检测的训练样本进行训练，得到修正检测模型，利用上述等级划分模型及修正检测模型进行图像中人脸检测：先将图像输入到等级划分模型，判断该图像中人脸的检测难度，若该图像中人脸是难检测人脸，将其输入到修正卷积神经网络进行检测。
Description
技术领域
本发明公开一种人脸检测方法，涉及计算机识别技术领域，具体地说是一种基于等级学习级联卷积神经网络的人脸检测方法。
背景技术
随着科技的发展、人们生活水平的提高，人脸检测在金融、电子商务、安防等领域的应用越来越广，其市场规模达到将近千亿级别。虽然现有的人脸检测方法已能够达到一定的检测精度，但仍有许多缺陷，比如现有的人脸检测方法在光照、遮挡等复杂环境场景下，不能比较准确地进行人脸识别，因此不能令人满意，另外，现有方法并未考虑到检测难度的差异性，对于较难检测的人脸和较容易检测人脸使用同一个模型检测，导致对复杂场景下的人脸难以正确检测，从而降低了检测的效率。
本发明提供一种基于等级学习级联卷积神经网络的人脸检测方法，针对人脸的检测精度进行划分，然后使用复杂的修正网络对难检测人脸进行精准检测，使用简单的基网络对易检测人脸进行检测，在提高难检测人脸检测精度的同时，提高了检测效率。
发明内容
本发明提供一种基于等级学习级联卷积神经网络的人脸检测方法，针对人脸的检测精度进行划分，然后使用复杂的修正网络对难检测人脸进行精准检测，使用简单的基网络对易检测人脸进行检测，在提高难检测人脸检测精度的同时，提高了检测效率。
本发明提出的具体方案是：
一种基于等级学习级联卷积神经网络的人脸检测方法：
使用全卷积神经网络作为人脸检测的基网络,将人脸图像作为训练样本输入到基网络，获得训练样本的检测结果，与groundtruth进行比较，检测正确的检测难度标记为1，检测错误的检测难度标记为0，
对训练样本进行检测难度的分类，训练得到等级划分模型，
建立修正卷积神经网络的架构，对基网络无法检测的训练样本进行训练，设置图像中每个人脸的权重，进行迭代优化，不断更新权重，得到修正检测模型，
利用上述等级划分模型及修正检测模型进行图像中人脸检测：先将图像输入到等级划分模型，判断该图像中人脸的检测难度，若输出为0，说明该图像中人脸是易检测人脸，则将其输入到基网络进行检测，若等级划分模型输出为 1，说明该图像中人脸是难检测人脸，将其输入到修正卷积神经网络进行检测。
所述的方法将Alexnet中的全连接层改为1×1的卷积层，作为基网络的主要结构。
所述的方法将Resnet作为修正卷积神经网络的主要架构。
所述的方法对基网络无法检测的训练样本进行训练时，设置图像中每个人脸的权重的初始化权重公式为：
在上式中，变量x表示图像中的一个人脸，变量q表示检测正确的人脸的个数，变量p表示检测错误的人脸的个数，ΩC表示检测正确错误的人脸，ΩB表示检测正确的人脸集合。
所述的方法进行迭代优化，不断更新权重的权重更新公式：
在上式中，变量un-1表示上一次迭代是样本x的权重，acc表示被上次迭代中目标检测的正确率，Ωerr表示上次迭代中被错误检测的人脸集合，Ωacc表示上次迭代中被正确检测的人脸集合。
本发明的有益之处是：
本发明提供一种基于等级学习级联卷积神经网络的人脸检测方法，利用本发明中等级划分模型及修正检测模型进行图像中人脸检测：先将图像输入到等级划分模型，判断该图像中人脸的检测难度，若输出为0，说明该图像中人脸是易检测人脸，则将其输入到基网络进行检测，若等级划分模型输出为1，说明该图像中人脸是难检测人脸，将其输入到修正卷积神经网络进行检测。针对人脸的检测精度进行划分，然后使用复杂的修正网络对难检测人脸进行精准检测，使用简单的基网络对易检测人脸进行检测，在提高难检测人脸检测精度的同时，提高了检测效率。
附图说明
图1本发明人脸检测流程示意图，
图2本发明方法流程示意图。
具体实施方式
本发明提供一种基于等级学习级联卷积神经网络的人脸检测方法：
使用全卷积神经网络作为人脸检测的基网络,将人脸图像作为训练样本输入到基网络，获得训练样本的检测结果，与groundtruth进行比较，检测正确的检测难度标记为1，检测错误的检测难度标记为0，
对训练样本进行检测难度的分类，训练得到等级划分模型，
建立修正卷积神经网络的架构，对基网络无法检测的训练样本进行训练，设置图像中每个人脸的权重，进行迭代优化，不断更新权重，得到修正检测模型，
利用上述等级划分模型及修正检测模型进行图像中人脸检测：先将图像输入到等级划分模型，判断该图像中人脸的检测难度，若输出为0，说明该图像中人脸是易检测人脸，则将其输入到基网络进行检测，若等级划分模型输出为 1，说明该图像中人脸是难检测人脸，将其输入到修正卷积神经网络进行检测。
结合附图对本发明做一步说明。
利用本发明方法，使用Alexnet的结构作为基网络的主要结构，Alexnet 中的全连接层改为1×1的卷积层，将训练样本输入到基检测网络，获得训练样本的检测结果，将训练样本的检测结果与groundtruth进行比较，检测正确的检测难度标记为1，检测错误的检测难度标记为0，再使用Alexnet作为等级划分模型，对训练样本进行检测难度的分类，将训练样本及其获得的检测难度标记输入到Alexnet，训练得到等级划分模型，根据等级划分模型的分类结果即可得到样本的检测难度；
建立修正卷积神经网络的架构，修正卷积神经网络主要用于对受光照、遮挡等因素影响的难以正确检测的人脸进行检测，使用结构较为复杂的Resnet 作为修正卷积神经网络的主要架构，为了进一步提高对难检测样本的检测准确性，在训练时，设置图像中每个人脸的权重，初始化权重公式：
在上式中，变量x表示图像中的一个人脸，变量q表示检测正确的人脸的个数，变量p表示检测错误的人脸的个数，ΩC表示检测正确错误的人脸，ΩB表示检测正确的人脸集合，由上式可以看出，在训练过程中，检测错误的人脸的权重要大于检测正确的人脸的权重，
每次迭代优化中，不断更新权重，权重更新公式：
在上式中，变量un-1表示上一次迭代是样本x的权重，acc表示被上次迭代中目标检测的正确率，Ωerr表示上次迭代中被错误检测的人脸集合，Ωacc表示上次迭代中被正确检测的人脸集合，由于训练精度一般是大于50％的，所以被分错的样本的权重要大于分对样本的权重；
对于一幅待检测人脸图像，首先输入到等级划分模型，判断该人脸的检测难度，如果输出为0，说明该人脸是易检测人脸，则将其输入到基检测网络进行检测，如果等级划分模型输出为1，说明该人脸是难检测人脸，将其输入到修正网络进行检测。
利用本发明方法能够解决复杂场景下人脸的准确检测问题，即使人脸模糊也能较为正确的检测出来，配合极少量的摄像头，可以形成新的人脸检测方案，可用于金融身份验证、智能安防、电子商务等领域。检测精度和模型效率的提高则可提高产品竞争力，可以带来良好的经济效益和社会效益。
Claims (5)
1.一种基于等级学习级联卷积神经网络的人脸检测方法，其特征是
使用全卷积神经网络作为人脸检测的基网络,将人脸图像作为训练样本输入到基网络，获得训练样本的检测结果，与groundtruth进行比较，检测正确的检测难度标记为1，检测错误的检测难度标记为0，
对训练样本进行检测难度的分类，训练得到等级划分模型，
建立修正卷积神经网络的架构，对基网络无法检测的训练样本进行训练，设置图像中每个人脸的权重，进行迭代优化，不断更新权重，得到修正检测模型，
利用上述等级划分模型及修正检测模型进行图像中人脸检测：先将图像输入到等级划分模型，判断该图像中人脸的检测难度，若输出为0，说明该图像中人脸是易检测人脸，则将其输入到基网络进行检测，若等级划分模型输出为1，说明该图像中人脸是难检测人脸，将其输入到修正卷积神经网络进行检测。
2.根据权利要求1所述的方法，其特征是将Alexnet中的全连接层改为1×1的卷积层，作为基网络的主要结构。
3.根据权利要求1或2所述的方法，其特征是将Resnet作为修正卷积神经网络的主要架构。
4.根据权利要求3所述的方法，其特征是对基网络无法检测的训练样本进行训练时，设置图像中每个人脸的权重的初始化权重公式为：
在上式中，变量x表示图像中的一个人脸，变量q表示检测正确的人脸的个数，变量p表示检测错误的人脸的个数，ΩC表示检测正确错误的人脸，ΩB表示检测正确的人脸集合。
5.根据权利要求4所述的方法，其特征是进行迭代优化，不断更新权重的权重更新公式：
在上式中，变量un-1表示上一次迭代是样本χ的权重，acc表示被上次迭代中目标检测的正确率，Ωerr表示上次迭代中被错误检测的人脸集合，Ωacc表示上次迭代中被正确检测的人脸集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711237085.5A CN107909053B (zh) | 2017-11-30 | 2017-11-30 | 一种基于等级学习级联卷积神经网络的人脸检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711237085.5A CN107909053B (zh) | 2017-11-30 | 2017-11-30 | 一种基于等级学习级联卷积神经网络的人脸检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107909053A true CN107909053A (zh) | 2018-04-13 |
| CN107909053B CN107909053B (zh) | 2020-06-26 |
Family
ID=61849568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711237085.5A Active CN107909053B (zh) | 2017-11-30 | 2017-11-30 | 一种基于等级学习级联卷积神经网络的人脸检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107909053B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681714A (zh) * | 2018-05-18 | 2018-10-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于个性化学习的手指静脉识别系统及方法 |
| CN109064217A (zh) * | 2018-07-16 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 基于用户等级的核身策略确定方法、装置及电子设备 |
| CN109117786A (zh) * | 2018-08-09 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 基于神经网络模型的数据处理方法、装置及可读存储介质 |
| CN109614929A (zh) * | 2018-12-11 | 2019-04-12 | 济南浪潮高新科技投资发展有限公司 | 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统 |
| WO2020134010A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京字节跳动网络技术有限公司 | 对图像关键点提取模型的训练及图像关键点提取 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020602A (zh) * | 2012-10-12 | 2013-04-03 | 北京建筑工程学院 | 基于神经网络的人脸识别方法 |
| EP2869239A2 (en) * | 2013-11-04 | 2015-05-06 | Facebook, Inc. | Systems and methods for facial representation |
| CN105912990A (zh) * | 2016-04-05 | 2016-08-31 | 深圳先进技术研究院 | 人脸检测的方法及装置 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
-
2017
- 2017-11-30 CN CN201711237085.5A patent/CN107909053B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020602A (zh) * | 2012-10-12 | 2013-04-03 | 北京建筑工程学院 | 基于神经网络的人脸识别方法 |
| EP2869239A2 (en) * | 2013-11-04 | 2015-05-06 | Facebook, Inc. | Systems and methods for facial representation |
| CN105912990A (zh) * | 2016-04-05 | 2016-08-31 | 深圳先进技术研究院 | 人脸检测的方法及装置 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681714A (zh) * | 2018-05-18 | 2018-10-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于个性化学习的手指静脉识别系统及方法 |
| CN109064217A (zh) * | 2018-07-16 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 基于用户等级的核身策略确定方法、装置及电子设备 |
| CN109064217B (zh) * | 2018-07-16 | 2021-11-05 | 创新先进技术有限公司 | 基于用户等级的核身策略确定方法、装置及电子设备 |
| CN109117786A (zh) * | 2018-08-09 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 基于神经网络模型的数据处理方法、装置及可读存储介质 |
| CN109117786B (zh) * | 2018-08-09 | 2021-11-30 | 百度在线网络技术（北京）有限公司 | 基于神经网络模型的数据处理方法、装置及可读存储介质 |
| CN109614929A (zh) * | 2018-12-11 | 2019-04-12 | 济南浪潮高新科技投资发展有限公司 | 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统 |
| WO2020134010A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京字节跳动网络技术有限公司 | 对图像关键点提取模型的训练及图像关键点提取 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107909053B (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909053A (zh) | 一种基于等级学习级联卷积神经网络的人脸检测方法 | |
| CN107358223A (zh) | 一种基于yolo的人脸检测与人脸对齐方法 | |
| CN104392223B (zh) | 二维视频图像中的人体姿态识别方法 | |
| CN109583324A (zh) | 一种基于单点多盒检测器的指针仪表读数自动识别方法 | |
| CN110148162A (zh) | 一种基于复合算子的异源图像匹配方法 | |
| CN106991368A (zh) | 一种基于深度卷积神经网络的指静脉验证身份识别方法 | |
| CN109583357A (zh) | 一种改进lbp和轻量卷积神经网络级联的人脸识别方法 | |
| CN103324938A (zh) | 训练姿态分类器及物体分类器、物体检测的方法及装置 | |
| CN108537264A (zh) | 基于深度学习的异源图像匹配方法 | |
| CN106548169A (zh) | 基于深度神经网络的模糊文字增强方法及装置 | |
| CN112801094B (zh) | 一种指针式仪表图像倾斜校正方法 | |
| CN103984929B (zh) | 扭曲指纹的校正方法及系统 | |
| CN110188694B (zh) | 一种基于压力特征的穿鞋足迹序列识别方法 | |
| CN104038792B (zh) | 用于iptv监管的视频内容分析方法及设备 | |
| CN109345513A (zh) | 一种具有烟包姿态计算的卷烟包装缺陷检测方法 | |
| CN109508661A (zh) | 一种基于物体检测和姿态估计的举手者检测方法 | |
| CN107516322A (zh) | 一种基于对数极空间的图像物体大小和旋转估计计算方法 | |
| CN107679469A (zh) | 一种基于深度学习的非极大值抑制方法 | |
| CN104657709A (zh) | 人脸图像识别方法、装置及服务器 | |
| CN107798308A (zh) | 一种基于短视频训练法的人脸识别方法 | |
| CN108564569B (zh) | 一种基于多核分类学习的混凝土裂缝检测方法及装置 | |
| CN107633527B (zh) | 基于全卷积神经网络的目标追踪方法及装置 | |
| CN108491719A (zh) | 一种改进朴素贝叶斯算法的安卓恶意程序检测方法 | |
| CN107918135A (zh) | 水分胁迫状态监测方法、装置及电子设备 | |
| CN105893945B (zh) | 一种遥感图像目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200529 Address after: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road Applicant after: INSPUR GROUP Co.,Ltd. Address before: 250100, Ji'nan province high tech Zone, Sun Village Branch Road, No. 2877, building, floor, building, on the first floor Applicant before: JINAN INSPUR HI-TECH INVESTMENT AND DEVELOPMENT Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |