CN105809123B - 人脸检测方法及装置 - Google Patents
人脸检测方法及装置 Download PDFInfo
- Publication number
- CN105809123B CN105809123B CN201610124690.0A CN201610124690A CN105809123B CN 105809123 B CN105809123 B CN 105809123B CN 201610124690 A CN201610124690 A CN 201610124690A CN 105809123 B CN105809123 B CN 105809123B
- Authority
- CN
- China
- Prior art keywords
- face
- classifier
- window
- weak classifier
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000007637 random forest analysis Methods 0.000 claims abstract description 21
- 238000012706 support-vector machine Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 description 9
- 238000003066 decision tree Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000036544 posture Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明公开了一种人脸检测方法及装置，基于人脸检测与人脸对齐相结合的方法进行人脸检测，该方法包括：对待识别图像进行逐行逐列扫描，判断每个输入窗口是否是人脸窗口；对所有的人脸窗口进行合并，得到原始的待识别图像上最终的人脸区域；其中，判断每个输入窗口是否是人脸窗口基于Adaboost框架的级联分类器，采用像素差作为提取特征，采用随机森林分类器同时作为人脸检测的弱分类器和人脸对齐的迭代算法，采用支持向量机SVM分类器进行二次判断，最终通过的窗口即为人脸窗口。通过上述方案，本发明提供了一种准确度和速度都能满足要求的人脸检测方法及装置。
Description
技术领域
本发明涉及人脸检测领域，特别地，涉及一种人脸检测方法及装置。
背景技术
人脸检测(face detection)技术作为人脸识别中的第一个环节，在很多人脸相关的产品中已经应用，人脸检测的准确性影响人脸识别的性能。由于人脸检测效果受到遮挡，光照，姿态，表情等的影响，要想做到对人脸的全面检测，尚且存在一定的难度。
目前，大部分的人脸检测技术通过模式识别的方法来实现，即通过分类来完成。主要包括提取相关特征和分类器两部分，目前的使用的特征包括Haar-like特征，LBP(LocalBinary Pattern，局部二值模式)直方图特征，HOG(Histograms of OrientationGradient，梯度方向直方图)特征；使用的分类器包括AdaBoost级联分类器，SVM(SupportVector Machine，支持向量机)分类器和RM(random forest,随机森林分类器)。
在2001年，Paul Viola和Michael J.Jones在其论文中提出一个基于AdaBoost的人脸检测系统。作为第一个实时人脸检测系统，该算法主要有三个贡献：(1)利用简单的Haar-like矩形特征作为特征，并通过积分图像法实现快速运算；(2)采用了基于AdaBoost的分类器设计；(3)采用了Cascade技术提高检测速度。大部分学术和工业级的实时项目都是基于该算法。然而，该算法仍存在一些问题：(1)Haar-like特征是一种相对简单的特征，其稳定性较低；(2)弱分类器采用简单的决策树，容易过拟合。因此，该算法对于解决正面的人脸效果好，对于人脸的遮挡，姿态，表情等特殊且复杂的情况，处理效果不理想。
另一种常用的人脸检测算法是基于DPM(deformable part model,可变性部件模板)。Zhu et al使用一组混合的DPM来获取人脸在不同姿态和表情下的参数。该模型可以同时得到人脸的位置和关键点的信息。该方法在户外人脸集上都取得了比Viola-Jones更好的效果，但是由于该模型过于复杂，判断时计算复杂，很难满足实时性的要求。
因此，现有的人脸检测算法中，Haar-like特征具有简单快速的优点，在人脸检测领域取得较好的效果，但是其稳定性较低；弱分类器采用简单的决策树，无法满足较复杂场景的判断，造成单纯的Adaboost级联分类器的总体分类性能不高；DPM算法运算复杂度较高，无法满足工业上实时性的要求。
发明内容
本发明提供了一种人脸检测方法及装置，以解决现有的人脸检测算法无法同时满足复杂场景的分类检测的准确性及实时性的处理要求的技术问题。
本发明采用的技术方案如下：
根据本发明的一个方面，提供一种人脸检测方法，基于人脸检测与人脸对齐相结合的方法进行人脸检测，本发明方法包括：
对待识别图像进行逐行逐列扫描，判断每个输入窗口是否是人脸窗口；
对所有的人脸窗口进行合并，得到原始的待识别图像上最终的人脸区域；
其中，判断每个输入窗口是否是人脸窗口基于Adaboost框架的级联分类器，采用像素差作为提取特征，采用随机森林分类器同时作为人脸检测的弱分类器和人脸对齐的迭代算法，每一个层级结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算，采用支持向量机SVM分类器进行二次判断，最终通过的窗口即为人脸窗口。
进一步地，像素差的计算方法为：随机挑选两个关键点，并在两个关键点周围各随机选择一个位置，计算两个位置之间的像素差。
进一步地，级联分类器采用Cascade结构把强分类器串联合成级联分类器，分类公式如下：
其中，每一个Ci(x)是一个弱分类器，每一个图像窗口x，都需要顺序通过弱分类器才能被认为是人脸窗口，如果到第n个弱分类器时，fn＜θn(其中，θn是阈值)，则该窗口被认为不是人脸窗口。
进一步地，人脸对齐采用如下公式进行回归迭代：
St＝St-1+Rt(x,St-1),t＝1,…,T
其中，St为人脸形状信息；Rt(x,St-1)是一个回归函数，其在上一层的形状信息St-1基础上增加一个偏移量。
进一步地，人脸检测与人脸对齐采用统一的级联框架，其中，弱分类器的数目N大于人脸对齐的层数T，将N个弱分类器分散到每个层中，每个层有个弱分类器，每一个层级结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算。
根据本发明的另一方面，还提供一种人脸检测装置，基于人脸检测与人脸对齐相结合的方法进行人脸检测，本发明装置包括：
窗口检测单元，用于对待识别图像进行逐行逐列扫描，判断每个输入窗口是否是人脸窗口；
图像合并单元，用于对所有的人脸窗口进行合并，得到原始的待识别图像上最终的人脸区域；
其中，窗口检测单元基于Adaboost框架的级联分类器，采用像素差作为提取特征，采用随机森林分类器同时作为人脸检测的弱分类器和人脸对齐的迭代算法，每一个层级结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算，采用支持向量机SVM分类器进行二次判断，最终通过的窗口即为人脸窗口。
进一步地，窗口检测单元包括：
特征提取模块，用于随机挑选两个关键点，并在两个关键点周围各随机选择一个位置，计算两个位置之间的像素差作为提取特征。
进一步地，级联分类器采用Cascade结构把强分类器串联合成级联分类器，分类公式如下：
其中，每一个Ci(x)是一个弱分类器，每一个图像窗口x，都需要顺序通过弱分类器才能被认为是人脸窗口，如果到第n个弱分类器时，fn＜θn(其中，θn是阈值)，则该窗口被认为不是人脸窗口。
进一步地，人脸对齐采用如下公式进行回归迭代：
St＝St-1+Rt(x,St-1),t＝1,…,T
其中，St为人脸形状信息；Rt(x,St-1)是一个回归函数，其在上一层的形状信息St-1基础上增加一个偏移量。
进一步地，人脸检测与人脸对齐采用统一的级联框架，其中，弱分类器的数目N大于人脸对齐的层数T，将N个弱分类器分散到每个层中，每个层有个弱分类器，每个层结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算。
本发明具有以下有益效果：
本发明人脸检测方法及装置，通过采用像素差作为特征，且利用Adaboost框架，采用随机森林分类器作为人脸检测的弱分类器，且随机森林分类器同时输出人脸对齐的迭代结果，Adaboost输出的结果再利用SVM分类器进行二次判断，既弥补了Adaboost级联分类器的不足，以满足如遮挡、姿态、表情等复杂场景的人脸判断需求，又满足了实时检测的需求；其中，采用像素差作为特征，大大提高了运算的效率，且随机森林分类器比决策树具有更好的分类效果，随机森林分类器既作为人脸检测的分类器，同时又作为人脸对齐的迭代过程使用，达到了检测和对齐同时完成的目的，同时，每一个层级会对人脸位置进行更新，下一个层次会使用更可靠的人脸位置信息进行特征计算，其可靠性更高。人脸检测和人脸对齐利用同一个级联框架进行训练，并且共用特征，减小了训练模型的大小，同时提高了训练和测试的速度。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例人脸检测方法的流程示意图；
图2是本发明优选实施例人脸检测方法中判断输入窗口是否是人脸窗口的流程示意图；
图3是本发明优选实施例人脸检测装置的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明的优选实施例提供了一种人脸检测方法，基于人脸检测与人脸对齐相结合的方法进行人脸检测，使得人脸检测的准确度和速度都能满足工业应用需求。参照图1，本发明方法包括：
步骤S100，对待识别图像进行逐行逐列扫描，判断每个输入窗口是否是人脸窗口；
步骤S200，对所有的人脸窗口进行合并，得到原始的待识别图像上最终的人脸区域；
其中，判断每个输入窗口是否是人脸窗口基于Adaboost框架的级联分类器，采用像素差作为提取特征，采用随机森林分类器同时作为人脸检测的弱分类器和人脸对齐的迭代算法，每一个层级结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算，采用支持向量机SVM分类器进行二次判断，最终通过的窗口即为人脸窗口。
本实施例人脸检测方法遵循Viola-Jones“Adaboost级联结构+简单特征”的原则，使用简单的像素差(pixel differences)作为特征，利用AdaBoost框架，弱分类器用随机森林分类器RM替代，同时RM输出人脸对齐(face alignment)的迭代结果；最终Adaboost输出的结果，然后再利用LBP重新训练SVM分类器，作为最终的模型。本实施例使用简单的像素差作为特征，大大提高了运算的效率，在VGA(640*480大小)图像上，本实施例方法的运行速度为28.6ms。在AdaBoost框架下，使用RM作为弱分类器，比简单的决策树具有更好的分类效果；且RM既作为人脸检测的分类器，同时又作为人脸对齐的迭代过程使用，达到了检测和对齐同时完成的目的，同时，每一个层级(stage)会对人脸位置进行更新，下一个stage会使用更可靠的人脸位置信息进行特征计算，可靠性更高。本实施例中，RM不仅输出分类的结果，同时输出人脸关键点的迭代增长量，通过级联的方式，不断更新人脸的关键点位置，同时，利用关键点位置进行特征选择，使得分类性能提高，且利用LBP训练SVM分类器作为二次分类，弥补了Adaboost级联分类器的不足，更大限度地提升了检测性能。
图2给出了本发明优选实施例人脸检测方法中判断输入窗口是否是人脸窗口的流程示意图，参照图2，本实施例方法同时完成人脸检测和人脸对齐两个任务，使用简单的像素差特征，基于AdaBoost框架，采用随机森林分类器作为弱分类器，经AdaBoost训练构成强分类器，采用Cascade结构把强分类器串联合成级联分类器，且随机森林分类器不仅输出分类的结果，同时输出人脸关键点的迭代增长量。通过级联的方式，不断更新人脸的关键点位置，同时利用新的关键点位置进行特征选择，使得分类性能提高，最后训练SVM分类器作为二次分类，更大限度提升检测性能。
下面从特征提取、特征选择和最终分类器训练三个方面对本实施例进行详细描述：
1、基于像素差的特征提取
像素差特征简单来说，就是图像上两个点的像素值之差。
由于本实施例方法结合了检测和人脸关键点定位，因此，此处的像素差的计算方法是，随机挑选两个关键点，并在两个关键点周围各随机选择一个位置，计算两个位置之间的像素差。该特征计算简单，同时，由于本算法中使用的是关键点周围的特征，在关键点定位准确的情况下，对于不同的人脸图像来说，提取的是相对固定位置的像素差，从而使得该特征能够具有对姿态和表情的鲁棒性。优选地，本实施例在算法中使用的是多尺度特征，举例来说，对同一个人脸图像，先将其进行缩放到1/2和1/4两个不同的尺度，计算特征时先随机选择一个尺度(1、1/2或者1/4)，这样，所计算的特征又满足了尺度不变性的要求，使得特征的分类性能更强。
2、基于Adaboost的特征选择
Adaboost是一种迭代算法，针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器，即强分类器。
本实施例AdaBoost特征选择算法的学习流程如表1所示
表1基于AdaBoost的特征选择算法学习流程
其中，Bootstrap抽样：从初始训练样本集中按照有放回的方式的按样本权重大小随机抽取一定量的样本。
弱分类器训练：对前一阶段抽取到的每一个样本，随机选择两个关键点，在该关键点周围分别随机挑选一个点，计算两点的像素差特征，将该特征送入到RM训练，得到弱分类器Wj。统计该弱分类器的分类错误率。挑选错误率最低的弱分类器加入到当前强分类器中，计算其权重系数。权重系数的计算如下所示：
αj＝log((1-δj)/δj) (1)
其中δj为弱分类器Wj的分类错误率。
样本的权重按照如下公式更新：
其中，l是样本i的标签，对于正样本，l＝1，对于负样本，l＝-1；Dt,i表示样本i在包含t个弱分类器的强分类器的得分。
3、最终分类器训练
3.1、级联分类
在级联分类器中，分类得到可以用以下公式表示：
其中，每一个Ci(x)是一个弱分类器，每一个图像窗口x，都需要顺序通过弱分类器才能被认为是人脸窗口，如果到第n个弱分类器时，fn＜θn(其中，θn是阈值)，则该窗口被认为不是人脸窗口。
3.2、级联对齐
假设一个人脸形状St是一个2L维的向量，L是点的个数。在级联回归过程中，该向量通过以下公式进行回归迭代：
St＝St-1+Rt(x,St-1),t＝1,…,T (4)
其中，St为人脸形状信息；Rt(x,St-1)是一个回归函数，其在上一层的形状信息St-1基础上增加一个偏移量。
通过最小化所有训练样本的正确的形状信息值和当前层的估计值St之间的差值之和来学习，如下式所示：
3.3、检测和对齐的统一框架
在级联的对齐框架中的一个创新点就是每一个Rt是基于上一层的形状信息St-1。在训练过程中，每一层的特征信息是基于上一层更新后的形状St-1来提取的，即训练弱分类器公式(3)中的弱分类器Ci(x)时，也基于形状信息来提取特征，因此特征可以称作基于形状的特征。
由于弱分类器的数目N远大于人脸对齐中的层数T，为了使用同样的框架，将N个弱分类器分散到每个层中。每个层有个弱分类器，因此，公式(3)又可以变成如下形式：
结合公式(4)和(6)，可以将人脸检测和对齐的训练过程统一在一个框架下，如下所示：
表2对于一个窗口x，级联的人脸检测和对齐算法的预测流程
其中Rt(x,S)是一个决策树，其每一个叶子存储了对应的一个形状增长量。Rt(x,St-1)可以写成如下形式：
从表2可以看出，检测和对齐的特征都是基于形状的特征，为了更有效地训练和测试，我们对人脸检测和人脸对齐使用相同的特征，对表格2进行修改，得到最终的流程如表3所示：
表3对于一个窗口x，级联的人脸检测和对齐算法的预测流程
从表2和表3对比可以看出，二者的区别在于，表3每次学习到一个弱分类器，同时输出了人脸分类得分和形状信息ΔS，检测和对齐的弱分类器共用，从而提高了训练和测试的速度。
从表3可以看出，作为弱分类器，同时输出了得分和形状信息的增长量。使用类似hough tree(霍夫树)的方式来训练这可混合的分类和回归树。在每一个节点的训练中，随机决定来最小化分类二值熵或者关键点增长的方差。用ρ来表示每次随机选择分类的概率，那么可以看出，ρ在一开始的前几个stage必须概率较大来保证充分的检测性能，在后几个stage较小，来保证回归到的人脸形状信息足够准确。在实际使用中，使用ρ(t)＝1-0.1t,t＝1,…,T。
根据本发明的另一方面，还提供一种人脸检测装置，基于人脸检测与人脸对齐相结合的方法进行人脸检测，参照图3，本实施例装置包括：
窗口检测单元100，用于对待识别图像进行逐行逐列扫描，判断每个输入窗口是否是人脸窗口；
图像合并单元200，用于对所有的人脸窗口进行合并，得到原始的待识别图像上最终的人脸区域；
其中，窗口检测单元基于Adaboost框架的级联分类器，采用像素差作为提取特征，采用随机森林分类器同时作为人脸检测的弱分类器和人脸对齐的迭代算法，每一个层级结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算，采用支持向量机SVM分类器进行二次判断，最终通过的窗口即为人脸窗口。
本实施例中，窗口检测单元100包括：
特征提取模块，用于随机挑选两个关键点，并在两个关键点周围各随机选择一个位置，计算两个位置之间的像素差作为提取特征。
优选地，级联分类器采用Cascade结构把强分类器串联合成级联分类器，分类公式如下：
其中，每一个Ci(x)是一个弱分类器，每一个图像窗口x，都需要顺序通过弱分类器才能被认为是人脸窗口，如果到第n个弱分类器时，fn＜θn(其中，θn是阈值)，则该窗口被认为不是人脸窗口。
优选地，人脸对齐采用如下公式进行回归迭代：
St＝St-1+Rt(x,St-1),t＝1,…,T
其中，St为人脸形状信息；Rt(x,St-1)是一个回归函数，其在上一层的形状信息St-1基础上增加一个偏移量。
优选地，人脸检测与人脸对齐采用统一的级联框架，其中，弱分类器的数目N大于人脸对齐的层数T，将N个弱分类器分散到每个层中，每个层有个弱分类器，每一个层级结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算。
本实施例装置基于上述方法实施例，具体实施过程可参照上述方法实施例，在此不再赘述。
从以上描述可以得知，本实施例通过采用像素差作为特征，且利用Adaboost框架，采用随机森林分类器作为人脸检测的弱分类器，且随机森林分类器同时输出人脸对齐的迭代结果，Adaboost输出的结果再利用SVM分类器进行二次判断，既弥补了Adaboost级联分类器的不足，以满足如遮挡、姿态、表情等复杂场景的人脸判断需求，又满足了实时检测的需求；其中，采用像素差作为特征，大大提高了运算的效率，且随机森林分类器比决策树具有更好的分类效果，随机森林分类器既作为人脸检测的分类器，同时又作为人脸对齐的迭代过程使用，达到了检测和对齐同时完成的目的，同时，每一个层级会对人脸位置进行更新，下一个层次会使用更可靠的人脸位置信息进行特征计算，其可靠性更高，人脸检测和人脸对齐利用同一个级联框架进行训练，并且共用特征，减小了训练模型的大小，同时提高了训练和测试的速度。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种人脸检测方法，其特征在于，基于人脸检测与人脸对齐相结合的方法进行人脸检测，所述方法包括：
对待识别图像进行逐行逐列扫描，判断每个输入窗口是否是人脸窗口；
对所有的人脸窗口进行合并，得到原始的待识别图像上最终的人脸区域；
其中，所述判断每个输入窗口是否是人脸窗口包括：基于Adaboost框架的级联分类器，采用像素差作为提取特征，采用随机森林分类器同时作为人脸检测的弱分类器和人脸对齐的迭代算法，每一个层级结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算，利用LBP训练支持向量机SVM分类器作为二次分类，并采用支持向量机SVM分类器进行二次判断，最终通过的窗口即为人脸窗口；
所述像素差的计算方法为：随机挑选两个关键点，并在两个关键点周围各随机选择一个位置，计算两个位置之间的像素差；
基于Adaboost的特征选择算法包括以下步骤：
初始化正样本权重为1/(2M)，负样本权重为1/(2C)，M，C分别为训练集的正负样本数目；
对于每一个弱分类器，归一化样本权重，Bootstrap选取A个正样本和A个负样本，对特征池中每一个矩形区域，训练一个基于该区域的像素差特征的弱分类器，计算其分类错误率，挑选出错误率最小的弱分类器Wt，计算其在强分类器中的权重系数，更新样本权重；
输出所有弱分类器对应的矩形区域和特征类型；
其中，Bootstrap抽样：从初始训练样本集中按照有放回的方式的按样本权重大小随机抽取一定量的样本；
弱分类器训练：对前一阶段抽取到的每一个样本，随机选择两个关键点，在该关键点周围分别随机挑选一个点，计算两点的像素差特征，将该特征送入到随机森林分类器RM训练，得到弱分类器Wj，统计该弱分类器的分类错误率，挑选错误率最低的弱分类器加入到当前强分类器中，计算其权重系数，权重系数的计算如下所示：
αj＝log((1-δj)/δj)，其中δj为弱分类器Wj的分类错误率；样本的权重按照如下公式更新：
其中，l是样本i的标签，对于正样本，l＝1，对于负样本，l＝-1；Dt,i表示样本i在包含t个弱分类器的强分类器的得分。
2.根据权利要求1所述的人脸检测方法，其特征在于，
所述级联分类器采用Cascade结构把强分类器串联合成级联分类器，分类公式如下：
其中，每一个Ci(x)是一个弱分类器，每一个图像窗口x，都需要顺序通过弱分类器才能被认为是人脸窗口，如果到第N个弱分类器时，fN＜θN，其中，θN是阈值，则该窗口被认为不是人脸窗口。
3.根据权利要求2所述的人脸检测方法，其特征在于，
所述人脸对齐采用如下公式进行回归迭代：
St＝St-1+Rt(x,St-1),t＝1,...,T
其中，St为人脸形状信息；T为人脸对齐的层数；Rt(x,St-1)是一个回归函数，其在上一层的形状信息St-1基础上增加一个偏移量。
4.根据权利要求3所述的人脸检测方法，其特征在于，
所述人脸检测与所述人脸对齐采用统一的级联框架，其中，弱分类器的数目N大于人脸对齐的层数T，将N个弱分类器分散到每个层中，每个层有个弱分类器；每个层结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算。
5.一种人脸检测装置，其特征在于，基于人脸检测与人脸对齐相结合的方法进行人脸检测，所述装置包括：
窗口检测单元，用于对待识别图像进行逐行逐列扫描，判断每个输入窗口是否是人脸窗口；
图像合并单元，用于对所有的人脸窗口进行合并，得到原始的待识别图像上最终的人脸区域；
其中，所述窗口检测单元基于Adaboost框架的级联分类器，采用像素差作为提取特征，采用随机森林分类器同时作为人脸检测的弱分类器和人脸对齐的迭代算法，每一个层级结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算，利用LBP训练支持向量机SVM分类器作为二次分类，并采用支持向量机SVM分类器进行二次判断，最终通过的窗口即为人脸窗口；
所述窗口检测单元包括：
特征提取模块，用于随机挑选两个关键点，并在两个关键点周围各随机选择一个位置，计算两个位置之间的像素差作为提取特征；
基于Adaboost的特征选择算法包括以下步骤：
初始化正样本权重为1/(2M)，负样本权重为1/(2C)，M，C分别为训练集的正负样本数目；
对于每一个分类器，归一化样本权重，Bootstrap选取A个正样本和A个负样本，对特征池中每一个矩形区域，训练一个基于该区域的像素差特征的弱分类器，计算其分类错误率，挑选出错误率最小的弱分类器Wt，计算其在强分类器中的权重系数，更新样本权重；
输出所有弱分类器对应的矩形区域和特征类型；
其中，Bootstrap抽样：从初始训练样本集中按照有放回的方式的按样本权重大小随机抽取一定量的样本；
弱分类器训练：对前一阶段抽取到的每一个样本，随机选择两个关键点，在该关键点周围分别随机挑选一个点，计算两点的像素差特征，将该特征送入到随机森林分类器RM训练，得到弱分类器Wj，统计该弱分类器的分类错误率，挑选错误率最低的弱分类器加入到当前强分类器中，计算其权重系数，权重系数的计算如下所示：
αj＝log((1-δj)/δj)，其中δj为弱分类器Wj的分类错误率；样本的权重按照如下公式更新：
其中，l是样本i的标签，对于正样本，l＝1，对于负样本，l＝-1；Dt,i表示样本i在包含t个弱分类器的强分类器的得分。
6.根据权利要求5所述的人脸检测装置，其特征在于，
所述级联分类器采用Cascade结构把强分类器串联合成级联分类器，分类公式如下：
其中，每一个Ci(x)是一个弱分类器，每一个图像窗口x，都需要顺序通过弱分类器才能被认为是人脸窗口，如果到第N个弱分类器时，fN＜θN，其中，θN是阈值，则该窗口被认为不是人脸窗口。
7.根据权利要求6所述的人脸检测装置，其特征在于，
所述人脸对齐采用如下公式进行回归迭代：
St＝St-1+Rt(x,St-1),t＝1,...,T
其中，St为人脸形状信息；T为人脸对齐的层数；Rt(x,St-1)是一个回归函数，其在上一层的形状信息St-1基础上增加一个偏移量。
8.根据权利要求7所述的人脸检测装置，其特征在于，
所述人脸检测与所述人脸对齐采用统一的级联框架，其中，弱分类器的数目N大于人脸对齐的层数T，将N个弱分类器分散到每个层中，每个层有个弱分类器；每个层结束后，更新关键点位置，下一个层级根据新的关键点位置进行特征计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610124690.0A CN105809123B (zh) | 2016-03-04 | 2016-03-04 | 人脸检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610124690.0A CN105809123B (zh) | 2016-03-04 | 2016-03-04 | 人脸检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105809123A CN105809123A (zh) | 2016-07-27 |
| CN105809123B true CN105809123B (zh) | 2019-11-12 |
Family
ID=56466736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610124690.0A Active CN105809123B (zh) | 2016-03-04 | 2016-03-04 | 人脸检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105809123B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407908A (zh) * | 2016-08-31 | 2017-02-15 | 广州市百果园网络科技有限公司 | 一种训练模型生成方法、人脸检测方法及装置 |
| CN106326876A (zh) * | 2016-08-31 | 2017-01-11 | 广州市百果园网络科技有限公司 | 一种训练模型生成方法、人脸对齐处理方法及装置 |
| CN106372616B (zh) * | 2016-09-18 | 2019-08-30 | Oppo广东移动通信有限公司 | 人脸识别方法、装置及终端设备 |
| CN108073847B (zh) * | 2016-11-07 | 2021-09-07 | 斑马智行网络(香港)有限公司 | 对条码进行定位的方法、设备和装置 |
| CN106845520B (zh) * | 2016-12-23 | 2018-05-18 | 深圳云天励飞技术有限公司 | 一种图像处理方法及终端 |
| CN106874835B (zh) * | 2016-12-28 | 2018-04-03 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
| CN108229520B (zh) * | 2017-02-21 | 2020-11-10 | 北京市商汤科技开发有限公司 | 从图片中检测物体的方法和装置 |
| CN106980825B (zh) * | 2017-03-15 | 2020-11-13 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于归一化像素差特征的人脸姿势分类方法 |
| CN108875492B (zh) * | 2017-10-11 | 2020-12-22 | 北京旷视科技有限公司 | 人脸检测及关键点定位方法、装置、系统和存储介质 |
| CN107992853B (zh) * | 2017-12-22 | 2021-04-16 | 深圳市友信长丰科技有限公司 | 人眼检测方法、装置、计算机设备及存储介质 |
| CN108062545B (zh) * | 2018-01-30 | 2020-08-28 | 北京搜狐新媒体信息技术有限公司 | 一种人脸对齐的方法及装置 |
| CN108416940A (zh) * | 2018-03-07 | 2018-08-17 | 深圳万发创新进出口贸易有限公司 | 一种储物柜管理装置 |
| CN108509895B (zh) * | 2018-03-28 | 2022-09-27 | 百度在线网络技术（北京）有限公司 | 用于检测人脸图像的方法和装置 |
| CN109993228A (zh) * | 2019-04-02 | 2019-07-09 | 南通科技职业学院 | 基于机器视觉的植保无人机水稻纹枯病识别方法 |
| CN111368277A (zh) * | 2019-11-21 | 2020-07-03 | 北汽福田汽车股份有限公司 | 车辆启动方法、装置、存储介质及车辆 |
| CN111476195A (zh) * | 2020-04-20 | 2020-07-31 | 安徽中科首脑智能医疗研究院有限公司 | 人脸检测方法、装置、机器人及计算机可读存储介质 |
| CN112200080A (zh) * | 2020-10-10 | 2021-01-08 | 平安国际智慧城市科技股份有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
| CN113160955A (zh) * | 2021-04-15 | 2021-07-23 | 青岛大学附属医院 | 超声仪器人脸识别智能系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129572A (zh) * | 2011-02-25 | 2011-07-20 | 杭州海康威视软件有限公司 | 采用级联分类器的人脸检测方法及其装置 |
| CN102254183A (zh) * | 2011-07-18 | 2011-11-23 | 北京汉邦高科数字技术有限公司 | 一种基于AdaBoost算法的人脸检测方法 |
| CN103593654A (zh) * | 2013-11-13 | 2014-02-19 | 智慧城市系统服务（中国）有限公司 | 一种人脸定位的方法与装置 |
| CN103824089A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
-
2016
- 2016-03-04 CN CN201610124690.0A patent/CN105809123B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129572A (zh) * | 2011-02-25 | 2011-07-20 | 杭州海康威视软件有限公司 | 采用级联分类器的人脸检测方法及其装置 |
| CN102254183A (zh) * | 2011-07-18 | 2011-11-23 | 北京汉邦高科数字技术有限公司 | 一种基于AdaBoost算法的人脸检测方法 |
| CN103593654A (zh) * | 2013-11-13 | 2014-02-19 | 智慧城市系统服务（中国）有限公司 | 一种人脸定位的方法与装置 |
| CN103824089A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| JointCascadeFaceDetectionandAlignment;Chen,Dong等;《Proceedingsof13thECCV》;20141231;第8694卷;第109-122页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105809123A (zh) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105809123B (zh) | 人脸检测方法及装置 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN107871100B (zh) | 人脸模型的训练方法和装置、人脸认证方法和装置 | |
| CN106096538B (zh) | 基于定序神经网络模型的人脸识别方法及装置 | |
| CN104463128B (zh) | 用于人脸识别的眼镜检测方法及系统 | |
| Vukadinovic et al. | Fully automatic facial feature point detection using Gabor feature based boosted classifiers | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| CN110070090B (zh) | 一种基于手写文字识别的物流标签信息检测方法及系统 | |
| CN110008909B (zh) | 一种基于ai的实名制业务实时稽核系统 | |
| CN106570480B (zh) | 一种基于姿势识别的人体动作分类方法 | |
| Tivive et al. | A gender recognition system using shunting inhibitory convolutional neural networks | |
| CN109583379A (zh) | 一种基于随机擦除行人对齐网络的行人重识别方法 | |
| CN103136504A (zh) | 人脸识别方法及装置 | |
| CN105825233B (zh) | 一种基于在线学习随机蕨分类器的行人检测方法 | |
| Anila et al. | Simple and fast face detection system based on edges | |
| CN104021384B (zh) | 一种人脸识别方法及装置 | |
| CN110349167A (zh) | 一种图像实例分割方法及装置 | |
| Burghardt et al. | Automated visual recognition of individual African penguins | |
| CN104598898B (zh) | 一种基于多任务拓扑学习的航拍图像快速识别系统及其快速识别方法 | |
| Sun et al. | Improved facial expression recognition method based on ROI deep convolutional neutral network | |
| Behnke et al. | Neural abstraction pyramid: A hierarchical image understanding architecture | |
| CN109977837A (zh) | 基于人体姿态不变特征的行人再识别方法 | |
| Heydarzadeh et al. | An efficient face detection method using adaboost and facial parts | |
| Curran et al. | The use of neural networks in real-time face detection | |
| CN110795995A (zh) | 数据处理方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100097 Beijing Haidian District Kunming Hunan Road 51 C block two floor 207. Applicant after: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. Address before: 100094 Haidian District, Beijing, 10 northwestern East Road, No. 14 East Building, 14 floor, A 4 block, 403-405 building. Applicant before: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 410205 14 Changsha Zhongdian Software Park Phase I, 39 Jianshan Road, Changsha High-tech Development Zone, Yuelu District, Changsha City, Hunan Province Applicant after: Wisdom Eye Technology Co.,Ltd. Address before: 100097 2nd Floor 207, Block C, 51 Hunan Road, Kunming, Haidian District, Beijing Applicant before: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Face detection method and device Effective date of registration: 20221205 Granted publication date: 20191112 Pledgee: Agricultural Bank of China Limited Hunan Xiangjiang New Area Branch Pledgor: Wisdom Eye Technology Co.,Ltd. Registration number: Y2022430000107 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231220 Granted publication date: 20191112 Pledgee: Agricultural Bank of China Limited Hunan Xiangjiang New Area Branch Pledgor: Wisdom Eye Technology Co.,Ltd. Registration number: Y2022430000107 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Address before: 410205 building 14, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, Changsha high tech Development Zone, Yuelu District, Changsha City, Hunan Province Patentee before: Wisdom Eye Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |