CN108171146A - 一种基于霍夫森林集成学习的人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于霍夫森林集成学习的人脸检测方法，所提出的基于霍夫决策森林的方法可以自适应学习目标图像的局部图像块特征并在每次分裂时随机选择特征，霍夫森林中每棵树的叶节点集都可以视为一个判别码本，每个叶节点都可以对局部图像块属于人脸或背景做一个概率假设，并对图像块的中心位置进行概率投票；然后进行监督训练和快速匹配，获取局部图像块特征与它们在霍夫投票空间内的映射关系；本发明提出的方法对存在几何失真、噪声和部分遮挡的图像具有较好的鲁棒性，在CMU+MIT数据库上的实验结果证明了该方法的有效性；解决了集成学习框架下使用霍夫森林检测人脸图像位置的问题。

Description

一种基于霍夫森林集成学习的人脸检测方法

技术领域：

本发明涉及一种机器视觉应用中的人脸检测技术，特别是涉及一种基于霍夫森林集成学习的人脸检测方法。

背景技术：

随着机器视觉的发展，人脸检测受到极大的关注。人类面孔是基于视觉的人机互动系统中的主要信息来源。因此，任何集成基于机器视觉的智能系统都需要快速可靠的人脸检测，并检测人脸在图像中存在的位置。人脸检测也是人脸识别系统的必要步骤，其性能极大地影响系统识别率。

人脸检测问题可以描述为：给定任意图像，确定图像中是否存在人脸，如果存在，则返回图像中每个脸部的位置。人脸检测器返回包含脸部的矩形边框的图像位置，该检测框作为上述应用的起点。由于人脸是具有高度变异性的非刚性结构，姿态、照明、表情、遮挡、老化、图像采集质量和杂乱的背景等因素对人脸检测的影响较大，从而使人脸检测成为模式识别和机器视觉中具有挑战性的课题之一。

发明内容：

本发明所要解决的技术问题是：克服现有技术的不足，提供一种解决了集成学习框架下使用霍夫森林检测人脸图像位置问题的一种基于霍夫森林集成学习的人脸检测方法。

本发明的技术方案是：一种基于霍夫森林集成学习的人脸检测方法，其步骤是：A、构造霍夫森林；

B、对构建的霍夫森林进行学习训练，其训练步骤如下：

(1)随机抽取由正样本和负样本构成的局部图像块来构建霍夫森林树；

(2)对输入的两类样本进行二值测试，将两类样本尽可能的分开，并使得类标签与偏移向量的不确定性最小化，实现决策树的构建；

C、输入检测图像并提取局部图像块，对到达每个树非叶节点的局部图像块特征a_j进行二值测试；

D、对所有到达叶节点的图像块特征在霍夫空间进行概率投票，得到2D霍夫图像；

E、计算霍夫图像H并返回局部最大值位置信息，并用检测框对人脸区域进行标注。

所述霍夫森林的构造包括以下步骤：

(1)霍夫森林由随机树组成，其中每棵树由非叶节点和叶节点组成。训练期间，在每个分裂节点算法尝试分裂给定的训练数据其中z_i∈R^D是D维特征向量，v_i∈{1，...，C}是对应的类标签，N是训练样本的数量；

(2)通过预定义分裂函数的参数，该递归算法继续分裂数据直到达到树的最大深度、节点中数据的子集是纯的或样本的数量低于阈值。如满足上述其中一个条件就创建叶节点，并估计类概率P(v|z)；

(3)在含人脸的正样本和含背景的负样本中随机提取局部图像块，每个图像块用三个特征描述，正样本存储指向人脸中心的偏移向量；

(4)将所有局部图像块输入训练后的霍夫森林进行遍历测试，通过每棵树时，每个图像块将相应的被二分类，将正样本与负样本分开，并根据其偏移向量将相似的正样本聚集在一起。当图像块到达第一个叶节点时便停下来，得到叶节点中存储的类别信息；

(5)每个叶节点对图像块是否属于脸部或背景的一部分进行概率假设，并在霍夫变换空间中对图像块中心位置进行概率投票，整合所有不同图像块对目标中心的投票，检测输出最大得分的位置，即置信度最高的地方就是所要检测的目标脸部中心。

所述霍夫森林树的构建步骤为：(a)通过单个码本B表示人脸的不同视图，B₁，...，B_b分别对应于图像中的不同脸部姿态；

(b)从一组含人脸的正样本图像和一组背景图像中随机抽取一组图像块来创建霍夫森林T中每棵树的节点，用特征集合来表示训练图像块集，其中a_j是提取的局部图像元素特征，l_j是图像块的类标签，o_j是偏移向量，表示从局部图像块中心到样本中心的偏移距离；

(c)从负样本(背景图像)抽取的图像块被分配类标签l_j＝0，偏移向量o_j＝0；从正样本(含检测框标注的人脸图像)中抽取的图像块被分配类标签l_j＝1。然后，基于这样的一组图像块，从根开始递归地构建霍夫森林树。

所述决策树的构建步骤为：(a)通过度量两个不确定性来衡量分离的质量：

用类标签不确定度μ₁来测量类标签l_j的不纯度：

μ₁(A)＝|A|·ε({l_j}) (1)

用偏移不确定度μ₂来测量偏移向量o_j的不纯度：

其中是图像块集，|A|是A中的图像块数量，O_m是该集合的平均偏移量；ε是香农熵，用于最大化分类信息熵，则类标签熵为：

ε({l_j})＝-∑_l∈{0,1}P(l_j|A)logP(l_j|A) (3)

其中P(l_j|A)是集合A中类标签为l_j的图像块所占的比例；

(b)当节点内图像块数量低于阈值或达到树的最大深度时停止分裂，该节点被定义为叶节点，每个叶节点L存储到达该节点图像块的类别信息；

(c)霍夫森林中的叶节点形成一个具有指定信息的可辨别码本，该信息表征人脸中心的可能位置，这些信息用于对图像不同位置存在人脸的概率进行霍夫投票。

步骤C的具体过程为：(a)图像块的特征a_j＝(Γ_j ¹，Γ_j ²，...，Γ_j ^c)，其中c是所提取的特征数量；测试相同路径的一对像素值与阈值进行比较，二值测试T_(a,p,q,r)(a)定义为：

其中，Γɑ为特征子分量，p,q为图像块中的两个位置，r为阈值；

(b)通过二值测试来评估所有到达非叶节点的图像块集，满足最小化目标Ω的二值测试定义为：

Ω_k＝min(μ_γ({P_j|T^k(a_j)＝0})+μ_γ({P_j|T^k(a_j)＝1})) (5)

其中μ_r＝μ₁或μ_r＝μ₂取决于随机选择。通过选择减少类标签不确定度μ₁的非叶节点与减少偏移不确定度μ₂的非叶节点，确保树构建过程中到达叶节点的图像块集的不确定性达到最小；

(c)若节点的深度达到最大值(D_max＝15)或图像块数量达到最小值(N_min＝20)，则创建该节点为叶节点，并存储叶投票信息(F_L,O_L)。否则，创建非叶节点。

步骤D的具体过程为：(a)定义测试图像中以位置y为中心的图像块为P^test(y)＝(a(y),l(y),o(y)),其中，a(y)是从图像块提取的特征，l(y)＝1是未知的类标签，o(y)是从检测框中心到y的未知偏移向量；

(b)图像不同位置x处的特征a(y)出现的条件概率定义为：

(c)对于霍夫森林的每棵树T，特征a(y)的概率估计为：

对于整个森林，求来自不同树的概率均值为：

(d)整合来自不同图像块的投票结果，得到2D霍夫图像H(x):

步骤E的具体过程为：(a)对尺度进行归一化，在训练和测试期间，检测框的大小固定为w×h。测试图像通过一组比例因子σ₁，σ₂，...，σ_z来调整大小；

(b)在每个比例下独立地计算霍夫图像H¹，H²，...，H^z；

(c)将图像以三维向量堆叠并进行高斯滤波，将得到的函数最大值定位在3D矢量中，得到的人脸中心向量形式为

(d)最后，在原始图像中以为中心，尺寸为边界画检测框标出人脸区域，完成人脸检测。

本发明的有益效果是：

1、本发明解决了集成学习框架下使用霍夫森林检测人脸图像位置的问题，对存在几何失真、噪声和部分遮挡的图像具有较好的鲁棒性，在CMU+MIT数据库上的实验结果证明了该方法的有效性。

2、本发明提出的基于霍夫决策森林的方法可以自适应学习目标图像的局部图像块特征并在每次分裂时随机选择特征，霍夫森林中每棵树的叶节点集都可以视为一个判别码本，每个叶节点都可以对局部图像块属于人脸或背景做一个概率假设，并对图像块的中心位置进行概率投票；然后进行监督训练和快速匹配，获取局部图像块特征与它们在霍夫投票空间内的映射关系。

3、本发明使用CMU+MIT数据库进行仿真实验，使用一组200张面积为24×24像素的人脸图像集(正样本)进行训练，从互联网下载不同图像进行随机抽样，对非面部区域进行裁剪得到2000张图像构成非人脸训练集(负样本。

附图说明：

图1为本发明的样本训练流程图。

图2为本发明的检测流程图。

图3为CMU+MIT数据库人脸检测结果示意图。

图4为本发明与其他方法的人脸检测率对比图。

具体实施方式：

实施例：参见图1、图2、图3和图4。

一种基于霍夫森林集成学习的人脸检测方法，所述方法包括下列操作步骤：(一)构造霍夫森林，包括以下步骤：(1)霍夫森林由随机树组成，其中每棵树由非叶节点和叶节点组成。训练期间，在每个分裂节点算法尝试分裂给定的训练数据其中z_i∈R^D是D维特征向量，v_i∈{1，...，C}是对应的类标签，N是训练样本的数量。

(2)通过预定义分裂函数的参数，该递归算法继续分裂数据直到达到树的最大深度、节点中数据的子集是纯的或样本的数量低于阈值。如满足上述其中一个条件就创建叶节点，并估计类概率P(v|z)。

(3)在含人脸的正样本和含背景的负样本中随机提取局部图像块，每个图像块用三个特征描述，正样本存储指向人脸中心的偏移向量。

(4)将所有局部图像块输入训练后的霍夫森林进行遍历测试，通过每棵树时，每个图像块将相应的被二分类，将正样本与负样本分开，并根据其偏移向量将相似的正样本聚集在一起。当图像块到达第一个叶节点时便停下来，得到叶节点中存储的类别信息。

(5)每个叶节点对图像块是否属于脸部或背景的一部分进行概率假设，并在霍夫变换空间中对图像块中心位置进行概率投票，整合所有不同图像块对目标中心的投票，检测输出最大得分的位置，即置信度最高的地方就是所要检测的目标脸部中心。

(二)使用霍夫森林进行人脸图像检测的步骤：本发明的霍夫森林训练流程图和人脸检测流程图如图1和图2所示，具体步骤如下：(1)基于随机抽取的局部图像块来构建霍夫森林树：(a)通过单个码本B表示人脸的不同视图，B₁，...，B_b分别对应于图像中的不同脸部姿态。

(b)从一组含人脸的正样本图像和一组背景图像中随机抽取一组图像块来创建霍夫森林T中每棵树的节点，用特征集合来表示训练图像块集，其中a_j是提取的局部图像元素特征，l_j是图像块的类标签，o_j是偏移向量，表示从局部图像块中心到样本中心的偏移距离。

(c)从负样本(背景图像)抽取的图像块被分配类标签l_j＝0，偏移向量o_j＝0；从正样本(含检测框标注的人脸图像)中抽取的图像块被分配类标签l_j＝1。然后，基于这样的一组图像块，从根开始递归地构建霍夫森林树。

(2)对输入的两类样本进行二值测试，将两类样本尽可能的分开，并使得类标签与偏移向量的不确定性最小化。

(a)通过度量两个不确定性来衡量分离的质量：

用类标签不确定度μ₁来测量类标签l_j的不纯度：

μ₁(A)＝|A|·ε({l_j}) (1)

用偏移不确定度μ₂来测量偏移向量o_j的不纯度：

其中是图像块集，|A|是A中的图像块数量，O_m是该集合的平均偏移量。ε是香农熵，用于最大化分类信息熵，则类标签熵为：

ε({l_j})＝-∑_l∈{0,1}P(l_j|A)logP(l_j|A) (3)

其中P(l_j|A)是集合A中类标签为l_j的图像块所占的比例。

(b)当节点内图像块数量低于阈值或达到树的最大深度时停止分裂，该节点被定义为叶节点，每个叶节点L存储到达该节点图像块的类别信息。

(c)霍夫森林中的叶节点形成一个具有指定信息的可辨别码本，该信息表征人脸中心的可能位置，这些信息用于对图像不同位置存在人脸的概率进行霍夫投票。

(3)对到达每个树非叶节点的局部图像块特征a_j进行二值测试。

(a)图像块的特征a_j＝(Γ_j ¹，Γ_j ²，...，Γ_j ^c)，其中c是所提取的特征数量。测试相同路径的一对像素值与阈值进行比较，二值测试T_(a,p,q,r)(a)定义为：

其中，Γ^ɑ为特征子分量，p,q为图像块中的两个位置，r为阈值。

(b)通过二值测试来评估所有到达非叶节点的图像块集，满足最小化目标Ω的二值测试定义为：

Ω_k＝min(μ_γ({P_j|T^k(a_j)＝0})+μ_γ({P_j|T^k(a_j)＝1})) (5)

其中μ_r＝μ₁或μ_r＝μ₂取决于随机选择。通过选择减少类标签不确定度μ₁的非叶节点与减少偏移不确定度μ₂的非叶节点，确保树构建过程中到达叶节点的图像块集的不确定性达到最小。

(c)若节点的深度达到最大值(D_max＝15)或图像块数量达到最小值(N_min＝20)，则创建该节点为叶节点，并存储叶投票信息(F_L,O_L)。否则，创建非叶节点。

(4)对所有到达叶节点的图像块特征在霍夫空间进行概率投票，得到2D霍夫图像。步骤如下：

(a)定义测试图像中以位置y为中心的图像块为P^test(y)＝(a(y),l(y),o(y)),其中，a(y)是从图像块提取的特征，l(y)＝1是未知的类标签，o(y)是从检测框中心到y的未知偏移向量。

(b)图像不同位置x处的特征a(y)出现的条件概率定义为：

(c)对于霍夫森林的每棵树T，特征a(y)的概率估计为：

对于整个森林，求来自不同树的概率均值为：

(d)整合来自不同图像块的投票结果，得到2D霍夫图像H(x):

(5)计算霍夫图像H并返回局部最大值位置信息，并用检测框对人脸区域进行标注。具体步骤为：

(a)对尺度进行归一化，在训练和测试期间，检测框的大小固定为w×h。测试图像通过一组比例因子σ₁，σ₂，...，σ_z来调整大小。

(b)在每个比例下独立地计算霍夫图像H¹，H²，...，H^z。

(c)将图像以三维向量堆叠并进行高斯滤波，将得到的函数最大值定位在3D矢量中，得到的人脸中心向量形式为

(d)最后，在原始图像中以为中心，尺寸为边界画检测框标出人脸区域，完成人脸检测。

本发明使用CMU+MIT数据库进行仿真实验，使用一组200张面积为24×24像素的人脸图像集(正样本)进行训练，从互联网下载不同图像进行随机抽样，对非面部区域进行裁剪得到2000张图像构成非人脸训练集(负样本)，从两个数据集中随机抽取图像块，图像块大小为16×16像素。每个节点进行10000个随机二值测试，每棵树训练20000个正样本和20000个负样本。CMU+MIT数据库人脸检测结果如图3所示。

通过与其他人脸检测方法的对比分析，本发明提出的霍夫森林集成学习人脸检测方法表现最佳，如图4中Hough Forest 5曲线所示，在60个负样本条件下实现95.2％的检测率，在150个负样本条件下达到97.8％最高检测率。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种基于霍夫森林集成学习的人脸检测方法，其步骤是：A、构造霍夫森林；

B、对构建的霍夫森林进行学习训练，其训练步骤如下：

(1)随机抽取由正样本和负样本构成的局部图像块来构建霍夫森林树；

(2)对输入的两类样本进行二值测试，将两类样本尽可能的分开，并使得类标签与偏移向量的不确定性最小化，实现决策树的构建；

C、输入检测图像并提取局部图像块，对到达每个树非叶节点的局部图像块特征a_j进行二值测试；

D、对所有到达叶节点的图像块特征在霍夫空间进行概率投票，得到2D霍夫图像；

E、计算霍夫图像H并返回局部最大值位置信息，并用检测框对人脸区域进行标注。

2.根据权利要求1所述的一种基于霍夫森林集成学习的人脸检测方法，其特征是：所述霍夫森林的构造包括以下步骤：

(1)霍夫森林由随机树组成，其中每棵树由非叶节点和叶节点组成。训练期间，在每个分裂节点算法尝试分裂给定的训练数据其中z_i∈R^D是D维特征向量，v_i∈{1，...，C}是对应的类标签，N是训练样本的数量；

(2)通过预定义分裂函数的参数，该递归算法继续分裂数据直到达到树的最大深度、节点中数据的子集是纯的或样本的数量低于阈值。如满足上述其中一个条件就创建叶节点，并估计类概率P(v|z)；

(3)在含人脸的正样本和含背景的负样本中随机提取局部图像块，每个图像块用三个特征描述，正样本存储指向人脸中心的偏移向量；

(4)将所有局部图像块输入训练后的霍夫森林进行遍历测试，通过每棵树时，每个图像块将相应的被二分类，将正样本与负样本分开，并根据其偏移向量将相似的正样本聚集在一起。当图像块到达第一个叶节点时便停下来，得到叶节点中存储的类别信息；

(5)每个叶节点对图像块是否属于脸部或背景的一部分进行概率假设，并在霍夫变换空间中对图像块中心位置进行概率投票，整合所有不同图像块对目标中心的投票，检测输出最大得分的位置，即置信度最高的地方就是所要检测的目标脸部中心。

3.根据权利要求1所述的一种基于霍夫森林集成学习的人脸检测方法，其特征是：所述霍夫森林树的构建步骤为：(a)通过单个码本B表示人脸的不同视图，B₁，...，B_b分别对应于图像中的不同脸部姿态；

(b)从一组含人脸的正样本图像和一组背景图像中随机抽取一组图像块来创建霍夫森林T中每棵树的节点，用特征集合来表示训练图像块集，其中a_j是提取的局部图像元素特征，l_j是图像块的类标签，o_j是偏移向量，表示从局部图像块中心到样本中心的偏移距离；

(c)从负样本(背景图像)抽取的图像块被分配类标签l_j＝0，偏移向量o_j＝0；从正样本(含检测框标注的人脸图像)中抽取的图像块被分配类标签l_j＝1。然后，基于这样的一组图像块，从根开始递归地构建霍夫森林树。

4.根据权利要求1所述的一种基于霍夫森林集成学习的人脸检测方法，其特征是：所述决策树的构建步骤为：(a)通过度量两个不确定性来衡量分离的质量：

用类标签不确定度μ₁来测量类标签l_j的不纯度：

μ₁(A)＝|A|·ε({l_j}) (1)

用偏移不确定度μ₂来测量偏移向量o_j的不纯度：

其中是图像块集，|A|是A中的图像块数量，O_m是该集合的平均偏移量；ε是香农熵，用于最大化分类信息熵，则类标签熵为：

ε({l_j})＝-∑_l∈{0,1}P(l_j|A)logP(l_j|A) (3)

其中P(l_j|A)是集合A中类标签为l_j的图像块所占的比例；

(b)当节点内图像块数量低于阈值或达到树的最大深度时停止分裂，该节点被定义为叶节点，每个叶节点L存储到达该节点图像块的类别信息；

(c)霍夫森林中的叶节点形成一个具有指定信息的可辨别码本，该信息表征人脸中心的可能位置，这些信息用于对图像不同位置存在人脸的概率进行霍夫投票。

5.根据权利要求1所述的一种基于霍夫森林集成学习的人脸检测方法，其特征是：步骤C的具体过程为：(a)图像块的特征a_j＝(Γ_j ¹，Γ_j ²，...，Γ_j ^c)，其中c是所提取的特征数量；测试相同路径的一对像素值与阈值进行比较，二值测试T_(a,p,q,r)(a)定义为：

其中，Γ^ɑ为特征子分量，p,q为图像块中的两个位置，r为阈值；

(b)通过二值测试来评估所有到达非叶节点的图像块集，满足最小化目标Ω的二值测试定义为：

Ω_k＝min(μ_γ({P_j|T^k(a_j)＝0})+μ_γ({P_j|T^k(a_j)＝1})) (5)

其中μ_r＝μ₁或μ_r＝μ₂取决于随机选择。通过选择减少类标签不确定度μ₁的非叶节点与减少偏移不确定度μ₂的非叶节点，确保树构建过程中到达叶节点的图像块集的不确定性达到最小；

(c)若节点的深度达到最大值(D_max＝15)或图像块数量达到最小值(N_min＝20)，则创建该节点为叶节点，并存储叶投票信息(F_L,O_L)。否则，创建非叶节点。

6.根据权利要求1所述的一种基于霍夫森林集成学习的人脸检测方法，其特征是：步骤D的具体过程为：(a)定义测试图像中以位置y为中心的图像块为P^test(y)＝(a(y),l(y),o(y)),其中，a(y)是从图像块提取的特征，l(y)＝1是未知的类标签，o(y)是从检测框中心到y的未知偏移向量；

(b)图像不同位置x处的特征a(y)出现的条件概率定义为：

(c)对于霍夫森林的每棵树T，特征a(y)的概率估计为：

对于整个森林，求来自不同树的概率均值为：

(d)整合来自不同图像块的投票结果，得到2D霍夫图像H(x):

7.根据权利要求1所述的一种基于霍夫森林集成学习的人脸检测方法，其特征是：步骤E的具体过程为：(a)对尺度进行归一化，在训练和测试期间，检测框的大小固定为w×h。测试图像通过一组比例因子σ₁，σ₂，...，σ_z来调整大小；

(b)在每个比例下独立地计算霍夫图像H¹，H²，...，H^z；

(c)将图像以三维向量堆叠并进行高斯滤波，将得到的函数最大值定位在3D矢量中，得到的人脸中心向量形式为

(d)最后，在原始图像中以为中心，尺寸为边界画检测框标出人脸区域，完成人脸检测。