CN108416304B - 一种利用上下文信息的三分类人脸检测方法 - Google Patents

一种利用上下文信息的三分类人脸检测方法 Download PDF

Info

Publication number
CN108416304B
CN108416304B CN201810199976.4A CN201810199976A CN108416304B CN 108416304 B CN108416304 B CN 108416304B CN 201810199976 A CN201810199976 A CN 201810199976A CN 108416304 B CN108416304 B CN 108416304B
Authority
CN
China
Prior art keywords
face
network
model
training
face detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810199976.4A
Other languages
English (en)
Other versions
CN108416304A (zh
Inventor
姜丰
张�杰
山世光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seetatech Beijing Technology Co ltd
Original Assignee
Seetatech Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seetatech Beijing Technology Co ltd filed Critical Seetatech Beijing Technology Co ltd
Priority to CN201810199976.4A priority Critical patent/CN108416304B/zh
Publication of CN108416304A publication Critical patent/CN108416304A/zh
Application granted granted Critical
Publication of CN108416304B publication Critical patent/CN108416304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种利用上下文信息的三分类人脸检测方法，包括以下步骤：步骤1、数据准备：a、对图像集合中的每一张人脸进行人工标注，获得人脸框；b、将标注完成的人脸框按照大小进行分类，并对小人脸区域进行放大，其余标注为正常脸；c、将步骤b获得的带有标注的人脸图像集合分为训练集和校验集；步骤2、模型设计：设计端到端的神经网络模型，包括基础卷积网络、区域建议网络和精调网络；步骤3、模型训练：经训练集输入步骤2设计的神经网络模型，利用批次随机梯度下降方法进行模型训练；利用校验集验证模型训练效果；最终得到人脸检测模型。本发明极大提高了人脸检测的精度和人脸的召回率。

Description

一种利用上下文信息的三分类人脸检测方法
技术领域
本发明涉及人脸检测方法，尤其涉及一种利用上下文信息的三分类人脸检测方法。
背景技术
人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸(存在)则返回人脸的位置、大小和姿态。人脸的处理和分析包括人脸识别、人脸跟踪、姿势估计和表情识别等，其中人脸检测是所有人脸信息处理中关键的第一步。目前的人脸检测方法大多基于深度神经网络框架。主要方法有：
1)基于级联卷积神经网络的人脸检测。相关专利：CN107688786A。主要技术手段：首先进行图像预处理，对测试图像进行尺度变换，输入第一层级网络。其次在后续阶段，对人脸框进行筛选与进一步回归，对人脸进行过滤。问题和缺点：该类方法需要设定最小人脸参数，且对检测结果有较强影响；其次，第一阶段的网络深度一般，导致人脸召回不高，导致精度下降。
2)基于卷积神经网络的人脸检测方法及装置。相关专利：CN107633229A。主要技术手段：采用双肤色分割法提取前景信息，再从中筛选出候选区域，进行训练。问题和缺点：采用肤色分割法从待检图片提取前景区域精度欠佳，对不同肤色人种鲁棒性较弱，直接导致选取训练所用的基于候选区的样本不准确；其次，针对图中尺度较小的人脸，检测能力较差。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种利用上下文信息的三分类人脸检测方法。
为了解决以上技术问题，本发明采用的技术方案是：一种利用上下文信息的三分类人脸检测方法，包括以下步骤：
步骤1、数据准备：
a、对RGB图像集合中的每一张人脸进行人工标注，获得人脸框；
b、将标注完成的人脸框按照大小进行分类，将大小在20*20像素以内的人脸框标注为小人脸，并对小人脸区域进行放大，其余标注为正常脸；
c、将步骤b获得的带有标注的人脸图像集合分为训练集和校验集；
步骤2、模型设计：
设计端到端的神经网络模型，包括基础卷积网络、区域建议网络和精调网络；
基础卷积网络将输入的训练集数据送入一系列卷积层进行卷积运算，得到特征图，并送入区域建议网络；
区域建议网络以基础卷积网络得到的特征图上每个点为锚心，以锚的大小提取前景区域；
精调网络结合基础卷积网络得到的特征图和区域建议网络得到的前景区域，对分类任务重新定义，判断前景区域是否为小人脸、正常脸或背景，同时对边框位置进行回归，调整边框的位置信息，得到最终人脸的位置信息；
步骤3、模型训练：
经训练集输入步骤2设计的神经网络模型，利用批次随机梯度下降方法进行模型训练；利用校验集验证模型训练效果；最终得到人脸检测模型。
进一步地，所述步骤1中，标注人脸框的位置、尺寸与真实数据之间误差不得超过10％，在人脸被部分遮挡的情况下也应标注出准确位置；对于正脸，上边界为额头边缘，下边界为下巴，左右边界为耳根；对于侧脸，上边界为额头边缘，下边界为下巴，左右边界一个为耳根，另一个为面颊边缘或者鼻尖靠外一方。
进一步地，所述区域建议网络锚的大小基于训练集，采用k-means聚类算法获得，设置距离公式为：
d(box,anchor)＝k(1-IOU(box,anchor))，
其中IOU为人脸框与设定的锚的交并比，k为权重的设置，此处设置k为1。
进一步地，所述区域建议网络还包括边框回归模块，对得到的前景区域进行边框回归任务，根据特征和映射函数，对前景区域的位置信息进行调整，使其更准确的包含前景物体。
进一步地，所述区域建议网络还包括上下文信息模块，对得到的前景区域的进行中心不变，面积扩大原来的两倍操作，使其包含上下文信息。
进一步地，所述步骤3中，利用校验集验证模型训练效果，具体做法：当模型在校验集上获得较好的人脸检测精度并且该精度不能随着训练过程再提升时，停止训练，获得最好的训练效果。
进一步地，所述三分类人脸检测方法还包括步骤4：将待检测图像输入步骤3获得的训练好的人脸检测模型中，获得人脸位置。
本发明的有益效果为：
1.由于小脸(20x20像素以内)与正常脸包含特征模式不同，本发明的方法增加小脸类别，设计三分类任务，防止小脸与正常脸在预测时属于同一类别而互相影响。技术效果：增加第三个类别大大提高了人脸分类的精度。特别的，随着人脸尺寸的下降，精度指数递减，矛盾在与不同大小的人脸包含的信息模式不一样，增加新的类别将有效解决该冲突。
2.利用上下文信息提高小脸检测的召回率：1)对训练样本的标注进行外扩，保证上下文信息的利用；2)设计上下文信息模块，使建议网络生成的候选区包含上下文信息。技术效果：检测模型通过对上下文信息的学习提高了检测小人脸的精度。
3.使用聚类算法计算锚的大小：针对训练集，对锚的大小进行聚类，从而获得更好的训练样本，提高测试过程中对人脸的召回率。
本发明将对上下文信息的学习与三分类任务配合使用，极大地提高了人脸检测的精度，通过聚类算法对锚的设定，提高了训练数据的使用效率，对人脸的召回率有很大的提升，解决了现有技术中人脸检测精度不足且对小人脸不鲁棒的问题。
附图说明
图1为本发明的方法流程示意图。
图2为在RGB图像上人工标注人脸框的示意图。
图3为根据锚的大小提取前景区域的示意图。
图4为上下文区域模块工作示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供利用上下文信息的三分类人脸检测方法，包括：
1.数据准备阶段
1.1对RGB图像集合中的每一张人脸进行人工标注：用矩形框标注出人脸所在位图片中所有可肉眼识别的人脸(人脸大小大于20*20像素)，包括黑人、白人、黄种人等，非真人人脸(如漫画、雕塑等)不需要标注。标注矩形框的位置、尺寸与真实数据之间误差不得超过10％，在部分遮挡情况下(遮挡小于50％)也应标注出准确位置。对于正脸，上边界为额头边缘，下边界为下巴，左右边界为耳根(不包括耳朵)；对于侧脸，上下边界不变，左右边界一个为耳根(不包括耳朵)，另一个为面颊边缘或者鼻尖(哪个更靠外就是哪个)，如图2所示。
1.2将标注完成的人脸框按照大小进行分类。大小在20*20像素以内的人脸框标注为小人脸，并对标注区域进行放大，中心不变，面积为原来的二倍，其余标注为正常脸。
2.模型设计阶段，如图1所示，设计端到端的模型如下：
2.1模型分为由三部分组成，基础卷积网络，区域建议网络，精调网络；
2.2训练数据输入模型，经过基础卷积网络，得到特征图，送入区域建议网络；
2.3区域建议网络基于所设锚的大小得到一系列前景区域，这些区域中有较大概率包含人脸。以2.2得到的特征图上每个点为锚心，以锚的大小提取前景区域，如图3；
2.4锚的大小基于训练集，采用k-means聚类算法获得，设置距离公式为：
d(box,anchor)＝k(1-IOU(box,anchor))
其中IOU为人脸框与设定的锚的交并比，k为权重的设置，此处我们设置k为1；
2.5对2.4得到一系列前景区域FG_i(x1_i,y1_i,x2_i,y2_i)，i＝0,1,2..n，进行边框回归任务，其中(x1_i,y1_i,)和(x2_i,y2_i)分别表示前景区域图像中FG_i左上角和右下角的点的坐标；根据特征和映射函数F，使得F(x1,y1,x2,y2)逼近人脸真实坐标，即对前景区域的位置信息进行调整，使其更准确的包含前景物体；
2.6设计上下文信息模块，对2.5中得到的前景区域FG_i的位置进行中心不变，面积扩大原来的两倍，使其包含上下文信息，即人脸周边信息，帮助提高人脸召回率。如图4所示，大框为包含上下文信息的前景区域；
2.7将2.2得到的特征图与2.6得到的前景区域送进精调网络，并对分类任务重新定义，判断前景区域是否为小人脸、正常脸或背景，同时对边框位置进行回归，调整边框的位置信息，得到最终人脸的位置信息。
3.模型训练阶段
3.1将步骤1.2获得的带有标注的人脸图像集合D分为训练集T和校验集V；
3.2将训练集T输入到步骤2设计的端到端的模型中利用批次随机梯度下降方法进行模型训练。利用校验集V验证模型训练效果，即当模型在校验集V上获得较好的人脸检测精度并且该精度不能随着训练过程再提升时，停止训练；
3.3最终训练完成获得模型。
4.模型测试阶段
4.1输入图像为I；
4.2将图像I输入3.3得到的人脸检测器即获得人脸位置。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (7)

1.一种利用上下文信息的三分类人脸检测方法，其特征在于：包括以下步骤：
步骤1、数据准备：
a、对RGB图像集合中的每一张人脸进行人工标注，获得人脸框；
b、将标注完成的人脸框按照大小进行分类，将大小在20*20像素以内的人脸框标注为小人脸，并对小人脸区域进行放大，其余标注为正常脸；
c、将步骤b获得的带有标注的人脸图像集合分为训练集和校验集；
步骤2、模型设计：
设计端到端的神经网络模型，包括基础卷积网络、区域建议网络和精调网络；
所述基础卷积网络将输入的训练集数据送入一系列卷积层进行卷积运算，得到特征图，并送入区域建议网络；
所述区域建议网络以基础卷积网络得到的特征图上每个点为锚心，以锚的大小提取前景区域；
所述精调网络结合基础卷积网络得到的特征图和区域建议网络得到的前景区域，对分类任务重新定义，判断前景区域是否为小人脸、正常脸或背景，同时对边框位置进行回归，调整边框的位置信息，得到最终人脸的位置信息；
步骤3、模型训练：
经训练集输入步骤2设计的神经网络模型，利用批次随机梯度下降方法进行模型训练；利用校验集验证模型训练效果；最终得到人脸检测模型。
2.根据权利要求1所述的三分类人脸检测方法，其特征在于：所述步骤1中，标注人脸框的位置、尺寸与真实数据之间误差不得超过10％，在人脸被部分遮挡的情况下也应标注出准确位置；对于正脸，上边界为额头边缘，下边界为下巴，左右边界为耳根；对于侧脸，上边界为额头边缘，下边界为下巴，左右边界一个为耳根，另一个为面颊边缘或者鼻尖靠外一方。
3.根据权利要求1所述的三分类人脸检测方法，其特征在于：所述区域建议网络锚的大小基于训练集，采用k-means聚类算法获得，设置距离公式为：
d(box,anchor)＝k(1-IOU(box,anchor))，
其中IOU为人脸框与设定的锚的交并比，k为权重的设置，此处设置k为1。
4.根据权利要求3所述的三分类人脸检测方法，其特征在于：所述区域建议网络还包括边框回归模块，对得到的前景区域进行边框回归任务，根据特征和映射函数，对前景区域的位置信息进行调整，使其更准确的包含前景物体。
5.根据权利要求4所述的三分类人脸检测方法，其特征在于：所述区域建议网络还包括上下文信息模块，对得到的前景区域的进行中心不变，面积扩大原来的两倍操作，使其包含上下文信息。
6.根据权利要求1所述的三分类人脸检测方法，其特征在于：所述步骤3中，利用校验集验证模型训练效果，具体做法：当模型在校验集上获得较好的人脸检测精度并且该精度不能随着训练过程再提升时，停止训练，获得最好的训练效果。
7.根据权利要求1所述的三分类人脸检测方法，其特征在于：所述三分类人脸检测方法还包括步骤4：将待检测图像输入步骤3获得的训练好的人脸检测模型中，获得人脸位置。
CN201810199976.4A 2018-03-12 2018-03-12 一种利用上下文信息的三分类人脸检测方法 Active CN108416304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810199976.4A CN108416304B (zh) 2018-03-12 2018-03-12 一种利用上下文信息的三分类人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810199976.4A CN108416304B (zh) 2018-03-12 2018-03-12 一种利用上下文信息的三分类人脸检测方法

Publications (2)

Publication Number Publication Date
CN108416304A CN108416304A (zh) 2018-08-17
CN108416304B true CN108416304B (zh) 2022-02-25

Family

ID=63130984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810199976.4A Active CN108416304B (zh) 2018-03-12 2018-03-12 一种利用上下文信息的三分类人脸检测方法

Country Status (1)

Country Link
CN (1) CN108416304B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657551B (zh) * 2018-11-15 2023-11-14 天津大学 一种基于上下文信息增强的人脸检测方法
CN110147755B (zh) * 2019-05-16 2023-03-24 珠海华园信息技术有限公司 基于上下文级联cnn的人头检测方法
CN111967289A (zh) * 2019-05-20 2020-11-20 高新兴科技集团股份有限公司 一种非配合式人脸活体检测方法及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107451607A (zh) * 2017-07-13 2017-12-08 山东中磁视讯股份有限公司 一种基于深度学习的典型人物的身份识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107451607A (zh) * 2017-07-13 2017-12-08 山东中磁视讯股份有限公司 一种基于深度学习的典型人物的身份识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Finding Tiny Face";Peiyun Hu etc.;《arXiv:1612.04402v2[cs.CV]》;20170415;论文第2节 *

Also Published As

Publication number Publication date
CN108416304A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN112115818B (zh) 口罩佩戴识别方法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN108985159A (zh) 人眼模型训练方法、人眼识别方法、装置、设备及介质
CN108985155A (zh) 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN101984453B (zh) 一种人眼识别系统及方法
CN108416304B (zh) 一种利用上下文信息的三分类人脸检测方法
CN110136101A (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
CN106778687A (zh) 基于局部评估和全局优化的注视点检测方法
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
WO2019228040A1 (zh) 一种面部图像评分方法及摄像机
CN111368682B (zh) 一种基于faster RCNN台标检测与识别的方法及系统
CN106372624A (zh) 人脸识别方法及系统
CN101853397A (zh) 一种基于人类视觉特性的仿生人脸检测方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN108256481A (zh) 一种利用身体上下文的行人头部检测方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN106371614A (zh) 手势识别的优化方法和装置
CN114638800A (zh) 一种基于改进Faster-RCNN的头影标记点定位方法
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN106778491A (zh) 人脸3d特征信息的获取方法及设备
JP4749884B2 (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
CN111797795A (zh) 一种基于YOLOv3与SSR的行人检测算法
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质
CN111539911A (zh) 一种口呼吸面容识别方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant