CN102332094A - 半监督在线学习人脸检测方法 - Google Patents

Abstract

本发明公开一种半监督在线学习人脸检测方法，主要解决现有技术中离线人脸检测需要采集大量样本和不能在检测过程中进行调整、提高检测率的问题。其方法步骤为：(1)获取待检测图像；(2)建立在线人脸分类器；(3)在线人脸检测；(4)判定最差检测结果是否类似人脸；(5)更新在线人脸分类器；(6)筛选分类器结果；(7)输出检测结果。本发明采用在线人脸分类器进行人脸检测，不需要采集样本和离线训练，节省了大量资源和时间，可以简单、快速的进行人脸检测；并且通过线学习方法对人脸分类器进行更新，使本发明可以在人脸检测过程中不断调整检测器参数，逐步提高人脸检测的正确率。

Description

半监督在线学习人脸检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种模式识别领域中的半监督在线学习人脸检测方法。本发明首先手工标记出一幅具有多张人脸的图像中无遮挡的一张人脸作为学习正样本，然后通过在线学习方法来定位图像中其它具有相同姿态人脸的位置和所占的区域，可应用于人机交互，人脸识别与跟踪等。

背景技术

人脸检测是判断指定图像中所有人脸(如果存在)的位置和大小的过程，最初作为自动人脸识别系统的定位环节被提出来，近年来由于其在安全访问控制、视觉监测、基于内容的检索和新一代人机界面等领域的应用价值，已经成为人脸信息处理中的一项关键技术。

中国船舶重工业集团公司第七○九研究所提出的专利申请“复杂背景下彩色图像人脸的快速检测方法”(专利申请号200910063147.4，公开号CN101630363A)，公开了一种复杂背景下高分辨率彩色图像人脸的快速检测方法。该方法首先根据采集的大量肤色样本数据建立由RGB和YCbCr两种色彩空间约束组成的人脸肤色混合模型来确定肤色像素，并采用整体肤色像素比率快速跳过非人脸区域，以提高人脸候选区域的定位效率；然后使用改进的基于正向特征选择的人脸快速检测算法实现人脸候选区域的人脸初步判定；最后利用基于空间约束和几何约束的虚警抑制方法进一步降低误检率，从而完成人脸检测。该方法虽然能在很低虚警率情况下以很高的检测率实现图像中多个正面人脸的快速定位，但是仍然存在的不足是：该方法建立的人脸肤色混合模型需要大量的肤色样本，而获得这些样本需要拍摄大量的图像，再通过人工或机器标记的方法从图像中选择出合适的样本，这样会消耗较长时间和大量的资源。

上海交通大学提出的专利申请“特征简化的人脸检测方法”(专利申请号200910050445.X，公开号CN101546375A)公开了一种人脸检测方法。该方法实施步骤是：第一步，简化类Haar特征，首先对正、负样本用积分图计算每一个类Haar特征的灰度值，然后得到正、负样本灰度值累计直方图的峰值，由正、负样本累积直方图峰值的相对位置，来判断该特征对人脸和非人脸的区分能力，并决定是剔除还是保留该特征；第二步，对简化的类Haar特征进行训练，选出满足条件的最优弱分类器；第三步，利用训练得到的最优弱分类器，对人脸图片进行检测。该方法虽然在保证人脸检测的精度的同时，较好解决了AdaBoost法耗时的问题，但是仍然存在的不足是：该方法采用的AdaBoost法是一种离线分类器建立方法，不能在检测过程中根据检测结果进行更新以提高检测正确率，缺乏灵活性和适应性。

发明内容

本发明针对上述现有技术的不足，提出一种一幅有多张人脸的图像中半监督在线学习人脸检测方法，可以通过学习一幅有多张人脸图像中的一幅具有代表性姿态的人脸定位出该图像中的其他人脸，这样既不需要采集大量样本建立离线分类器，又能够通过在线学习不断提高人脸分类器检测的正确率。

实现本发明的具体思路是：采用半监督方式从一幅具有多张人脸的图像中手工标记出一张人脸作为正样本，对正样本进行特征提取，建立在线人脸分类器。由于缺乏样本，在线人脸分类器建立初期检测错误率较高，本发明采用一种负反馈的在线学习方式来逐步提高该分类器检测的正确率。在检测过程中，首先用建立的在线人脸分类器进行人脸检测，再将检测结果中相似度低于设定阈值的结果作为负样本对在线人脸分类器进行训练和更新，然后重新进行人脸检测，重复以上过程，不断提高在线分类器的正确率，直到其所有检测结果都与正样本相似度大于设定阈值。最后通过计算在线人脸分类器检测结果两两之间的相似度排除掉可能存在的非人脸图像，获得人脸检测结果。

为了实现上述目的，本发明方法包括如下步骤：

(1)获取待检测图像

1a)输入一幅具有多张人脸的图像；

1b)根据图像的色彩空间采用相应转换算法，将具有多张人脸的图转换为灰度图像；

1c)将转换后的灰度图像作为待检测图像。

(2)建立在线人脸分类器

2a)检测人员在待检测图像中手工标记出与需要检测的姿态相同的一张人脸作为正样本；

2b)对正样本提取矩形特征，采用on-line boosting方法建立在线人脸分类器。

(3)在线人脸检测

3a)将待检测图像连续缩小；

3b)穷举缩小后的图像中与正样本同样大小的子窗口；

3c)找出通过在线人脸分类器检测的子窗口，获得在线人脸检测结果。

(4)判定最差检测结果是否类似人脸

4a)采用相关法计算步骤3c)中在线人脸检测结果与正样本的相似度；

4b)从步骤3c)的在线人脸检测结果中找出与正样本相似度最低的结果，获得最差检测结果；

4c)如果最差检测结果与正样本相似度在设定阈值以下，则认为该检测结果为非人脸，将其作为负样本，执行步骤(5)；否则，判定在线分类器已经检测出待检测图像中所有与正样本姿态相同的人脸，获得分类器最终检测结果，执行步骤(6)。

(5)更新在线人脸分类器

5a)对步骤4c)中的负样本提取矩形特征；

5b)用提取的特征对在线人脸分类器的每个弱分类器进行训练，将每个选择器中正确率最低的弱分类器由随机生成的新弱分类器替代，并将每个选择器中正确率最高的弱分类器级联构成强分类器，获得更新后的在线人脸分类器，执行步骤(3)。

(6)筛选分类器结果

6a)采用相关法计算分类器最终检测结果两两之间的相似度；

6b)统计与每个检测结果相似度在设定阈值以下的检测结果的数量，如果数量大于检测结果总数量的一半，则将该结果删除；否则，将该结果保留；

6c)收集所有保留的检测结果，获得最终检测结果。

(7)输出检测结果。

本发明与现有技术相比有以下优点：

第一，本发明采用在线人脸分类器进行人脸检测，克服了现有技术中使用离线方法需要采集大量样本和较长训练时间的缺点，使本发明可以不需要样本库，简单、快速的进行人脸检测。

第二，本发明通过线学习方法对人脸分类器进行更新，克服了现有技术中人脸检测器不能在检测过程中进行调整的缺点，使本发明可以在人脸检测过程中不断调整检测器参数，逐步提高人脸检测的正确率。

附图说明

图1为本发明方法的流程图；

图2为本发明的仿真效果图。

具体实施措施

下面结合附图对发明做进一步描述。

结合附图1对本发明方法的具体步骤描述如下：

步骤1，获取待检测图像

输入一幅具有多张人脸的图像，根据图像的色彩空间采用相应转换算法，将该图转换为灰度图像；将转换后的灰度图像作为待检测图像。

步骤2，建立在线人脸分类器

检测人员在待检测图像中手工标记出与需要检测的姿态相同的一张人脸作为正样本。

将矩形作为人脸检测的特征向量对正样本进行特征提取，采用on-line boosting方法建立在线人脸分类器，所建立的分类器包含多个级联的选择器，每个选择器包含多个并联的弱分类器，将每个选择器中正确率最高的弱分类器级联组成强分类器进行分类检测。由于样本缺乏，在线人脸分类器建立的前期检测结果的错误率会比较高，随着样本的增加，在线人脸分类器能够不断更新，其检测正确率也会逐步提高。本发明实例中，建立的在线人脸分类器包含300个选择器，每个选择器包含100个弱分类器。

步骤3，在线人脸检测

将待检测图像连续缩小，穷举缩小后的图像中与正样本同样大小的子窗口，利用在线人脸分类器对将这些窗口进行人脸检测。

找出通过在线人脸分类器检测的子窗口，这些子窗口为在线人脸检测的结果。在线人脸分类器建立初期检测结果中存在较多非人脸图像，随着分类器不断更新，检测结果中非人脸图像会逐步减少。

步骤4，判定最差检测结果是否类似人脸

通过下式计算在线人脸检测结果与正样本之间的相似程度：

$C(x,y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left\{\right[I_{\mathrm{xy}}(i,j)-\stackrel{\‾}{I_{\mathrm{xy}}}]\·[T(i,j)-\stackrel{\‾}{T}\left]\right\}}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{[I_{\mathrm{xy}}(i,j)-\stackrel{\‾}{I_{\mathrm{xy}}}]}^2\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{[T(i,j)-\stackrel{\‾}{T}]}^2}}$

其中，C(x，y)表示目标图像和匹配的模板图像的相似度，x和y表示目标图像子图位置的横坐标和纵坐标，m和n表示目标图像子图的长度和宽度，i和j表示目标图像的坐标范围，I表示目标图像，Ixy表示目标图像在位置(x，y)的子图，

表示目标图像子图的平均灰度，T表示模板图像，

表示模板图像的平均灰度。

从在线人脸检测结果中找出与正样本相似度最低的结果，获得最差检测结果。

如果最差检测结果与正样本相似度在设定阈值以下，则认为该检测结果为非人脸，将其作为负样本，执行步骤5；否则，判定在线分类器已经检测出待检测图像中所有与正样本姿态相同的人脸，获得分类器最终检测结果，执行步骤6。其中，判断最差检测结果与正样本相似度的阈值范围为0.7～0.9。

步骤5，更新在线人脸分类器

将矩形作为人脸检测的特征向量对获取的负样本进行特征提取，用提取的特征对在线人脸分类器的每个弱分类器进行训练，将每个选择器中正确率最低的弱分类器由随机生成的新弱分类器替代，并将每个选择器中正确率最高的弱分类器级联构成强分类器，获得更新后的在线人脸分类器，执行步骤3。这是一个负反馈的学习过程，可以不断提高在线人脸分类器检测正确率。

步骤6，筛选分类器结果

通过下式计算分类器最终检测结果两两之间的相似度：

$C(x,y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left\{\right[I_{\mathrm{xy}}(i,j)-\stackrel{\‾}{I_{\mathrm{xy}}}]\·[T(i,j)-\stackrel{\‾}{T}\left]\right\}}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{[I_{\mathrm{xy}}(i,j)-\stackrel{\‾}{I_{\mathrm{xy}}}]}^2\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{[T(i,j)-\stackrel{\‾}{T}]}^2}}$

其中，C(x，y)表示目标图像和匹配的模板图像的相似度，x和y表示目标图像子图位置的横坐标和纵坐标，m和n表示目标图像子图的长度和宽度，i和j表示目标图像的坐标范围，I表示目标图像，Ixy表示目标图像在位置(x，y)的子图，表示目标图像子图的平均灰度，T表示模板图像，

表示模板图像的平均灰度。

统计与每个检测结果相似度在设定阈值以下的检测结果的数量，如果数量大于检测结果总数量的一半，则将该结果删除；否则，将该结果保留。其中，判断检测结果相似度的阈值范围为0.6～0.9。

收集所有保留的检测结果，获得最终检测结果。

步骤7，输出检测结果。

下面结合附图2对本发明的效果做进一步描述。

附图2实现的仿真环境为：MATLAB 7.11.0，Intel(R)Core(TM)2CPU T81002.10GHz，Window XP Home Edition。

本发明的具体仿真内容如图2所示，将一幅具有6张人脸的图像作为测试图像，图像大小为452×348。图2(a)中方框标记出了作为正样本的一张正面人脸，图2(b)为采用本发明方法的人脸检测结果，图中方框标记出了检测结果。由仿真结果可见，采用本发明提出的方法可以检测出测试图像中与正样本姿态相同的所有其他人脸，说明本发明提出的方法是一种比较有效的人脸检测方法。

Claims (7)

1.一种半监督在线学习人脸检测方法，包括以下步骤：

(1)获取待检测图像

1a)输入一幅具有多张人脸的图像；

1b)根据图像的色彩空间采用相应转换算法，将具有多张人脸的图转换为灰度图像；

1c)将转换后的灰度图像作为待检测图像；

(2)建立在线人脸分类器

2a)检测人员在待检测图像中手工标记出与需要检测的姿态相同的一张人脸作为正样本；

2b)对正样本提取矩形特征，采用on-line boosting方法建立在线人脸分类器；

(3)在线人脸检测

3a)将待检测图像连续缩小；

3b)穷举缩小后的图像中与正样本同样大小的子窗口；

3c)找出通过在线人脸分类器检测的子窗口，获得在线人脸检测结果；

(4)判定最差检测结果是否类似人脸

4a)采用相关法计算步骤3c)中在线人脸检测结果与正样本的相似度；

4b)从步骤3c)的在线人脸检测结果中找出与正样本相似度最低的结果，获得最差检测结果；

4c)如果最差检测结果与正样本相似度在设定阈值以下，则认为该检测结果为非人脸，将其作为负样本，执行步骤(5)；否则，判定在线分类器已经检测出待检测图像中所有与正样本姿态相同的人脸，获得分类器最终检测结果，执行步骤(6)；

(5)更新在线人脸分类器

5a)对步骤4c)中的负样本提取矩形特征；

5b)用提取的特征对在线人脸分类器的每个弱分类器进行训练，将每个选择器中正确率最低的弱分类器由随机生成的新弱分类器替代，并将每个选择器中正确率最高的弱分类器级联构成强分类器，获得更新后的在线人脸分类器，执行步骤(3)；

(6)筛选分类器结果

6a)采用相关法计算分类器最终检测结果两两之间的相似度；

6b)统计与每个检测结果相似度在设定阈值以下的检测结果的数量，如果数量大于检测结果总数量的一半，则将该结果删除；否则，将该结果保留；

6c)收集所有保留的检测结果，获得最终检测结果；

(7)输出检测结果。

2.根据权利要求1所述的半监督在线学习人脸检测方法，其特征在于，步骤2a)所述的姿态是指正面人脸在水平或垂直方向无偏转或偏转一定角度所呈现的人脸形态。

3.根据权利要求1所述的半监督在线学习人脸检测方法，其特征在于，步骤2b)和步骤5a)所述的矩形特征是指将矩形作为人脸检测的特征向量。

4.根据权利要求1所述的半监督在线学习人脸检测方法，其特征在于，步骤2b)所述的on-line boosting方法是一种在线分类器的建立方法，所建立的分类器包含多个级联的选择器，每个选择器包含多个并联的弱分类器，将每个选择器中正确率最高的弱分类器级联组成强分类器进行分类检测。

5.根据权利要求1所述的半监督在线学习人脸检测方法，其特征在于，步骤4a)和步骤6a)所述的相关法是指通过下式计算两幅图像之间相似程度的方法：

$C(x,y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left\{\right[I_{\mathrm{xy}}(i,j)-\stackrel{\‾}{I_{\mathrm{xy}}}]\·[T(i,j)-\stackrel{\‾}{T}\left]\right\}}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{[I_{\mathrm{xy}}(i,j)-\stackrel{\‾}{I_{\mathrm{xy}}}]}^2\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{[T(i,j)-\stackrel{\‾}{T}]}^2}}$

其中，C(x，y)表示目标图像和匹配的模板图像的相似度，x和y表示目标图像子图位置的横坐标和纵坐标，m和n表示目标图像子图的长度和宽度，i和j表示目标图像的坐标范围，I表示目标图像，I_xy表示目标图像在位置(x，y)的子图，

表示目标图像子图的平均灰度，T表示模板图像，

表示模板图像的平均灰度。

6.根据权利要求1所述的半监督在线学习人脸检测方法，其特征在于，步骤4c)所述的阈值范围是0.7～0.9。

7.根据权利要求1所述的半监督在线学习人脸检测方法，其特征在于，步骤6b)所述的阈值范围是0.6～0.9。

Images