CN107292274A - 一种适用于视频中快速人脸检测的方法及系统 - Google Patents

一种适用于视频中快速人脸检测的方法及系统 Download PDF

Info

Publication number
CN107292274A
CN107292274A CN201710508283.4A CN201710508283A CN107292274A CN 107292274 A CN107292274 A CN 107292274A CN 201710508283 A CN201710508283 A CN 201710508283A CN 107292274 A CN107292274 A CN 107292274A
Authority
CN
China
Prior art keywords
decision tree
candidate frame
detection
picture
rpd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710508283.4A
Other languages
English (en)
Inventor
郭秋杉
董远
白洪亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Faceall Co
Original Assignee
Beijing Faceall Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Faceall Co filed Critical Beijing Faceall Co
Priority to CN201710508283.4A priority Critical patent/CN107292274A/zh
Publication of CN107292274A publication Critical patent/CN107292274A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于视频中快速人脸检测的方法及装置，包括：对图片进行等步长扫描，对扫描框内的图片提取出全部的正则化像素差值的RPD特征；将全部的所述RPD特征通过决策树进行分类，并得到的候选框；去掉大面积重复的候选框，得到人脸检测的结果。本发明中的方法通过正则化像素差值特征，仅仅进行内存查表操作，无需大量计算，即可实现较高的检测率，同时检测速度较快；而且，采用的Soft NMS技术对遮挡问题有很好的鲁棒性，正则化像素差值特征对光线，表情，姿势，低分辨率，模糊都有很好的适应性。

Description

一种适用于视频中快速人脸检测的方法及系统
技术领域
本发明涉及人脸识别领域，特别涉及一种适用于视频中快速人脸检测的方法及系统。
背景技术
现如今的人脸检测技术主要有两类，第一类是基于卷积神经网络来实现的人脸检测，其检测率虽然较高，但是计算量大，速度难以达到实时检测。
第二类是基于Haar特征或其他指定特征的决策树模型，其提取特征的维度较高，速度较慢，有很多无用冗余的特征。对光线，表情，姿势变化敏感，对遮挡，模糊没有鲁棒性。
发明内容
本发明要解决的技术问题是，提供一种通过像素值特征，仅仅进行内存查表操作，无需大量计算，即可实现较高的检测率，同时检测速度较快的适用于视频中快速人脸检测的方法。
解决上述技术问题，本发明提供了一种适用于视频中快速人脸检测的方法，包括：
对图片进行等步长扫描，对扫描框内的图片提取出正则化像素差值特征RPD；
将全部的所述RPD通过决策树进行分类，并得到的候选框；
去掉大面积重复的候选框，得到人脸检测的结果。
进一步的，如前述的适用于视频中快速人脸检测的方法，所述正则化像素差值特征为：
其中，其中，x，y代表扫描框内两个特征点l1、l2的像素强度。
更进一步的，如前述的适用于视频中快速人脸检测的方法，所述将全部的所述RPD通过决策树进行分类，并得到的候选框，具体为：
将该棵决策树得到的分数与之前决策树得到的分数相加得到级连分数
采用soft cascade对得到级连分数S(i)用Tf函数进行判断是否得到结果，如下式所述；
若不存在下一棵决策树，则判断为人脸候选框，若还存在下一棵决策树，则继续计算级连分数S(i)；其中θ(i)为决策树i对应设置的阈值，用于筛选出低于所述阈值的候选框。
更进一步的，如前述的适用于视频中快速人脸检测的方法，所述决策树得到的分数中的分数具体为：
每棵决策树i，每个叶子节点有一个训练样本的加权平均值，所有叶子节点的加权平均值的平均值为决策树i的得分s(i)
更进一步的，如前述的适用于视频中快速人脸检测的方法，所述每棵决策树的层数为2层至8层。
更进一步的，如前述的适用于视频中快速人脸检测的方法，在所述去掉大面积重复的候选框之前还包括：对所有得到的候选框进行soft NMS来提取候选框的筛选。
本发明还提供一种适用于视频中快速人脸检测的装置，包括：
图片扫描单元：用于对图片进行等步长扫描，对扫描框内的图片提取出正则化像素差值的RPD特征；
特征分类单元：用于将全部的所述RPD特征通过决策树进行分类，并得到候选框；
人脸获取单元：用于去掉重复的候选框，得到人脸检测的结果。
本发明的有益效果：
本发明通过正则化像素差值特征，仅仅进行内存查表操作，无需大量计算，即可实现较高的检测率，同时检测速度较快；而且，采用的Soft NMS技术对遮挡问题有很好的鲁棒性，正则化像素差值特征对光线，表情，姿势，低分辨率，模糊都有很好的适应性。
附图说明
图1是本发明一种适用于视频中快速人脸检测的方法的步骤示意图；
图2是本发明一种适用于视频中快速人脸检测的方法的流程示意图；
图3是本发明实施例1中通过决策树筛选的流程示意图；
图4是本发明一种适用于视频中快速人脸检测的系统的模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
如图1及图2所示，本发明提供的一种适用于视频中快速人脸检测的方法，包括：
S1、对图片进行等步长扫描，对扫描框内的图片提取出正则化像素差值特征RPD；所述正则化像素差值特征为：
其中，其中，x，y代表扫描框内两个特征点l1、l2的像素强度。RPD特征由于是归一化的，所以对光照变化有一定的鲁棒性。由于RPD特征是在固定大小的扫描框内提取的，所以对模糊和低分辨率都有很好的鲁棒性。
S2、将全部的所述RPD通过决策树进行分类，并得到的候选框；所述每棵决策树的层数为2层至8层；每棵决策树i，每个叶子节点有一个训练样本的加权平均值，所有叶子节点的加权平均值的平均值为决策树i的得分s(i)；将该棵决策树得到的分数与之前决策树得到的分数相加得到级连分数每棵树都会尽可能把负样本筛出，然后将正样本保留下来。
采用soft cascade对得到级连分数S(i)用Tf函数进行判断是否得到结果，如下式所述；
其中θ(i)为决策树i对应设置的阈值，用于筛选出低于所述阈值的候选框。这样的级联方式照比直接对单颗树的得分设定阈值，来判断是否继续通过下一棵决策树更具有鲁棒性，会更少的产生假负例，使得检测率得到提高。同时，会得到较多重叠的候选框。这对于表情变化，姿势变化都有很好的鲁棒性。
S3、针对上述得到的所有的候选框进行soft NMS来提取候选框的筛选，去掉大面积重复的候选框，得到人脸检测的结果。
实施例1，首先会对图片进行等步长扫描，一般取横向步长为0.1倍图片长度，纵向步长取0.1倍图片宽度。扫描方框大小从20*20每次放大1.2倍，最大到600*600。然后将方框内的图片压缩到20*20的大小。提取出全部的正则化像素差值特征。正则化像素差值特征为
提取出全部特征后，一共有20*20＝400个特征。由于RPD特征是可以形成一个内存表的，索引为两个特征点l1、l2的像素值。这样只需要进行一次读内存即可提取特征。
决策树中的每个节点内，都存有一对像素点的位置，然后通过这两个像素点的像素值提取出一个RPD特征值RPD(I(l1),I(l2))，其中，I(l1),I(l2)为图片中l1、l2位置的像素强度，以该特征值在[θ1,θ2]区间内作为该节点的分类条件。其中θ1，θ2是两个学习出来的最优化的值。
对于决策树T(i)，最深有8层，在每个叶子节点有一个权值W(j)，就是该棵决策树得到的分数s(i)，每棵决策树T(i)可以有多个叶子节点，每个节点都有自己的分数，其中，分数s(i)就是训练决策树过程中，叶子节点中样本的平均加权值。当前得到的分数与之前得到的分数之和如图3所示，为一棵决策树，f1是通过节点内的特征点对提取出的特征值，θ11，θ12是节点1中两个学习出的阈值，同理θ21，θ22；θ31，θ32；θ41，θ42分别是节点2、3、4中学习出的阈值。
采用soft cascade对得到分数用Tf函数进行判断是是否能得到结果。
若还有下一棵决策树，则综合下一棵决策树得到级连分数S，判断S与θ大小，若S<θ则判断所述候选框为背景候选框，并结束；若S>θ则判断下一棵决策树，若没有，则判断为人脸候选框，并结束。
之后对所有得到的候选框进行soft NMS来提取候选框的筛选，去掉重复的候选框，优选的，通过下述代码执行即可完成筛选。
D为修正后的候选框，S为修正后的得分。
每棵决策树都设置一个阈值θ，筛出低于该阈值θ的候选框，最后可以得到人脸框D。
如图4所示，提供一种适用于视频中快速人脸检测的装置，包括：
图片扫描单元1：用于对图片进行等步长扫描，对扫描框内的图片提取出正则化像素差值的RPD特征；
特征分类单元2：用于将全部的所述RPD特征通过决策树进行分类，并得到候选框；
人脸获取单元3：用于去掉重复的候选框，得到人脸检测的结果。
所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。与该发明方法或等同的技术原理都属保护范围之内。

Claims (7)

1.一种适用于视频中快速人脸检测的方法，其特征在于，包括：
对图片进行等步长扫描，对扫描框内的图片提取出正则化像素差值的RPD特征；
将全部的所述RPD特征通过决策树进行分类，并得到候选框；
去掉重复的候选框，得到人脸检测的结果。
2.根据权利要求1所述的适用于视频中快速人脸检测的方法，其特征在于，所述正则化像素差值特征为：
<mrow> <mi>R</mi> <mi>P</mi> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>x</mi> <mo>-</mo> <mi>y</mi> </mrow> <mroot> <mrow> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> </mrow> <mn>2</mn> </mroot> </mfrac> </mrow>
其中，x，y代表扫描框内两个特征点l1、l2的像素强度。
3.根据权利要求1所述的适用于视频中快速人脸检测的方法，其特征在于，所述将全部的所述RPD特征通过决策树进行分类，并得到的候选框，具体为：
将该棵决策树得到的分数与之前决策树得到的分数相加得到级连分数
采用soft cascade对得到级连分数S(i)用Tf函数进行判断是否得到结果，如下式所述；
若不存在下一棵决策树，则判断为人脸候选框，若还存在下一棵决策树，则继续计算级连分数S(i)；其中θ(i)为决策树i对应设置的阈值，用于筛选出低于所述阈值的候选框。
4.根据权利要求3所述的适用于视频中快速人脸检测的方法，其特征在于，所述决策树得到的分数中的分数具体为：
每棵决策树i，每个叶子节点有一个训练样本的加权平均值，所有叶子节点的加权平均值的平均值为决策树i的得分s(i)。
5.根据权利要求3所述的适用于视频中快速人脸检测的方法，其特征在于，所述每棵决策树的层数为2层至8层。
6.根据权利要求1所述的适用于视频中快速人脸检测的方法，其特征在于，在所述去掉大面积重复的候选框之前还包括：对所有得到的候选框进行soft NMS来提取候选框的筛选。
7.一种运用权利要求1～6任一项所述方法的适用于视频中快速人脸检测的装置，其特征在于，包括：
图片扫描单元：用于对图片进行等步长扫描，对扫描框内的图片提取出全部的正则化像素差值的RPD特征；
特征分类单元：用于将全部的所述RPD特征通过决策树进行分类，并得到候选框；
人脸获取单元：用于去掉重复的候选框，得到人脸检测的结果。
CN201710508283.4A 2017-06-28 2017-06-28 一种适用于视频中快速人脸检测的方法及系统 Pending CN107292274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710508283.4A CN107292274A (zh) 2017-06-28 2017-06-28 一种适用于视频中快速人脸检测的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710508283.4A CN107292274A (zh) 2017-06-28 2017-06-28 一种适用于视频中快速人脸检测的方法及系统

Publications (1)

Publication Number Publication Date
CN107292274A true CN107292274A (zh) 2017-10-24

Family

ID=60099713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710508283.4A Pending CN107292274A (zh) 2017-06-28 2017-06-28 一种适用于视频中快速人脸检测的方法及系统

Country Status (1)

Country Link
CN (1) CN107292274A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241914A (zh) * 2018-09-11 2019-01-18 广州广电银通金融电子科技有限公司 一种针对复杂场景下的小目标行人检测方法
CN110288629A (zh) * 2019-06-24 2019-09-27 湖北亿咖通科技有限公司 基于移动物体检测的目标检测自动标注方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339665A (zh) * 2016-08-11 2017-01-18 电子科技大学 一种人脸的快速检测方法
CN106407908A (zh) * 2016-08-31 2017-02-15 广州市百果园网络科技有限公司 一种训练模型生成方法、人脸检测方法及装置
CN106529398A (zh) * 2016-09-23 2017-03-22 深圳云天励飞技术有限公司 基于级联结构的快速精准人脸检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339665A (zh) * 2016-08-11 2017-01-18 电子科技大学 一种人脸的快速检测方法
CN106407908A (zh) * 2016-08-31 2017-02-15 广州市百果园网络科技有限公司 一种训练模型生成方法、人脸检测方法及装置
CN106529398A (zh) * 2016-09-23 2017-03-22 深圳云天励飞技术有限公司 基于级联结构的快速精准人脸检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DARIJAN MARČETIĆ ET AL.: "Two-stage Cascade Model for Unconstrained Face Detection", 《2016 FIRST INTERNATIONAL WORKSHOP ON SENSING, PROCESSING AND LEARNING FOR INTELLIGENT MACHINES (SPLINE)》 *
SHENGCAI LIAO ET AL.: "A Fast and Accurate Unconstrained Face Detector", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241914A (zh) * 2018-09-11 2019-01-18 广州广电银通金融电子科技有限公司 一种针对复杂场景下的小目标行人检测方法
CN110288629A (zh) * 2019-06-24 2019-09-27 湖北亿咖通科技有限公司 基于移动物体检测的目标检测自动标注方法及装置

Similar Documents

Publication Publication Date Title
CN110135269B (zh) 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN107749067A (zh) 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN104881662B (zh) 一种单幅图像行人检测方法
CN106529398B (zh) 基于级联结构的快速精准人脸检测方法
CN107480607B (zh) 一种智能录播系统中站立人脸检测定位的方法
WO2020007307A1 (zh) 全景图像的天空滤镜方法及便携式终端
CN106780485A (zh) 基于超像素分割和特征学习的sar图像变化检测方法
CN103778636B (zh) 一种用于无参考图像质量评价的特征构建方法
CN104077577A (zh) 一种基于卷积神经网络的商标检测方法
CN107358258A (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN101930549B (zh) 基于第二代曲线波变换的静态人体检测方法
CN106682635A (zh) 一种基于随机森林特征选择的烟雾检测方法
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
CN111178182A (zh) 一种丢垃圾行为的实时检测方法
CN107330390A (zh) 一种基于图像分析和深度学习的人数统计方法
CN108108731A (zh) 基于合成数据的文本检测方法及装置
CN109918971A (zh) 监控视频中人数检测方法及装置
CN106886763A (zh) 实时检测人脸的系统及其方法
CN107871132A (zh) 一种空间特征自适应寻优的高光谱图像分类方法
Aljarrah Effect of image degradation on performance of convolutional neural networks
CN105512631B (zh) 基于MoSIFT和CSD特征的暴恐视频检测方法
CN107516082A (zh) 基于自步学习的sar图像变化区域检测方法
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
CN104657714B (zh) 光照对称性与全局光照强度融合的无参考人脸光照评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024

RJ01 Rejection of invention patent application after publication