CN105046282B - 一种基于手形块特征和AdaBoost分类器的手部检测方法 - Google Patents

Abstract

本发明属于基于机器学习方法的目标检测领域，具体涉及一种基于手形块特征和AdaBoost分类器的手部检测方法。本发明包括：(1)模型训练；(2)手部检测本发明提出一种新的手部检测特征，叫作手形块特征。该特征是一种矩形块特征，模拟手部的形状而设计的，可体现手部形状的特点。该特征形状简单，不同尺度的块、块的不同参数会形成很高的特征维数，所以采用AdaBoost算法作为分类器，从中选择有效特征，构成级联分类器，从检测率与检测速度两方面提高手部检测效果。

Description

一种基于手形块特征和AdaBoost分类器的手部检测方法

技术领域

本发明属于基于机器学习方法的目标检测领域，具体涉及一种基于手形块特征和AdaBoost分类器的手部检测方法。

背景技术

手部检测是手势识别、手语识别及人体检测技术中的关键环节，同时在人机交互、手势识别、游戏控制等领域有着广阔的前景。因为人手是非刚性物体，形状变化多端，人手检测是一个具有挑战性的课题。经典的特征的往往检测效果不佳，而且检测速度也不尽人意，必须靠肤色检测来限制检测区域，从而提高检测效率。

Haar特征结合AdaBoost分类器，是人脸检测的一个经典方法，效果好且速度快。受Haar 特征的启发，本发明提出一个手形块特征，根据手部形状特点，设计了一种块特征，同样与 AdaBoost算法相结合，实现手部检测快速检测。

发明内容

本发明的目的在于提供一种基于手形块特征和AdaBoost分类器的手部检测方法。

本发明的目的是这样实现的：

(1)模型训练：

(1.1)手形块特征提取

(1.1.1)计算积分图像：

一幅图像i(x,y)的积分图像ii(x,y)作为初始值为原图像左上方所有像素值的和：

在积分图像上，一个矩形区域的灰度值和是积分图像右下角灰度值减左上角灰度值；

(1.1.2)根据积分图像计算手形块特征：

手形块特征为矩形特征，首先分为上下两部分；上半部分又分成5个区域，用1-5号区域来表示，下半部分只有一个区域，用6号区域表示，每个区域为矩形块；1、3、5三个区域对应手指，2、4区域对应指缝，6区域对应手背，从每个区域中提取4个特征：

F₁＝|G₁-G₂|+|G₃-G₂|、F₂＝|G₃-G₄|+|G₅-G₄|、F₃＝|G₁-G₃|+|G₃-G₅|、F₄＝|G₁-G₆|+|G₃-G₆|+|G₅-G₆|

其中，G₁-G₆分别为手形块特征1-6号区域的灰度和，在积分图像中，每个区域的灰度值之和为积分图像右下角灰度值减左上角灰度值；

F₁与F₂表示手指与指缝的灰度差，F₃与F₄表示手部皮肤部分的灰度值一致性；

手部块特征的训练图像尺度参数选择24*24；在训练图像中，手部块特征内部的6个区域有五种参数：上半部高度；1、3、5区域宽度；2、4区域的宽度；下半部高度；手形区域在窗口中的起始点坐标；在模型训练时，计算所有参数的手形区域，通过AdaBoost算法确定最有效的手形块参数；

(1.2)模型训练：

按步骤(1.1)准备好正例、反例和补充反例样本，正例即只包含手部且手指方向朝上的图像，反例和补充反例都是不包含手部的图像，正例反例大小均为24*24像素；

计算出的特征向量用X表示，样本的标记用Y表示，设共有n个样本，(X₁,Y₁),……,(X_n,Y_n)，其中Y_i＝1,0分别表示正例样本和反例样本；X_i＝{x₁,x₂,……,x_p}，每个样本包括p维特征，每个特征对应手形区域的一种参数组合，特征号与手形块参数的对应关系保存于特征映射表中；分类器训练按下述步骤进行：

(1.2.1)根据初始化样本权值w；

n为样本数，m为正例数；

(1.2.2)归一化权值w；

t为分类器层数，初始值为0；

(1.2.3)通过阈值分类器对所有样本分类；即X_ij>T_j，分类结果H(X_ij)＝1；否则H(X_ij)＝0， T_j为阈值；选择误差最小特征分类方法，加入该层强分类方法中；

(1.2.4)计算当前层错误率；错误率为错误样本数除样本总数n；

样本层分类结果为：

H_j(x)为分类方法判断结果，α_j为组分类方法的置信度或权值；

当前层错误样本数为ε_t，错误率为错误样本数除样本总数n：

其中

每个分类方法具有一个置信度或权值α_t

(1.2.5)更新样本权值；

每次选出一个分类方法后，更新样本的权值w，

当样本分类错误时，其权值不变；当样本分类正确时，权值乘以一个小于1的数。

(1.2.6)如果当前层错误率小于该层目标错误率且所选特征数小于每层最大特征数，转步骤(1.2.2)；否则，执行下一步；

(1.2.7)计算总错误率：总错误率为所有层错误率乘积，当总错误率大于目标错误率时，把所有判断正确的反例淘汰掉，从补充反例集合中补充同样数量的反例，t＝t+1，转步骤 (1.2.1)；否则，训练结束；训练出的模型参数包括每层选择出的特征号j、阈值T_j和该特征的权值α_j；作为分类模型保存在模型文件中，特征号与块特征的对应关系保存于特征映射表中；

(2)手部检测：

检测前载入分类模型和特征映射表；检测采用常规的滑动窗口扫描方式，对整个图像进行扫描；

(2.1)计算积分图像；

(2.2)采用AdaBoost算法进行检测；

对每个检测窗口按下述步骤进行检测，令分类器层数t为0；

(2.3)对t层分类器，按特征号j计算手形块特征x_j，根据阈值T_j判断H_j(x)；判断其分类结果C_t；

(2.4)如果C_t为0，该窗口判为反例，即非人手，退出；如果C_t为1，t＝t+1，判断t是否超过模型最大层数，超过则退出，该窗口判为正例，即是人手；执行步骤(2.1)进入下一层。

本发明的有益效果在于：

本发明提出一种新的手部检测特征，叫作手形块特征。该特征是一种矩形块特征，模拟手部的形状而设计的，可体现手部形状的特点。该特征形状简单，不同尺度的块、块的不同参数会形成很高的特征维数，所以采用AdaBoost算法作为分类器，从中选择有效特征，构成级联分类器，从检测率与检测速度两方面提高手部检测效果。

附图说明

图1为手形块特征图；

图2为手形块特征与手部的关系图。

具体实施方式

下面结合附图对本发明做进一步描述：

本发明采用机器学习的方法实现手部检测。该方法的大步骤分成两步，即：(1)模型训练或者模型学习；(2)手部检测。

1.1模型训练

模型训练包括包括特征提取和模型训练两步。

1.1.1手形块特征提取

步骤1：计算积分图像

计算积分图像是为了加快块特征提取的速度，一幅图像i(x,y)的积分图像ii(x,y)为处的值为原图像左上方所有像素值的和，见式(1)。

积分图像的计算是为了加速矩形区域中灰度值的求和运算，在积分图像上，一个矩形区域的灰度值和是积分图像右下角灰度值减左上角灰度值。

步骤2：根据积分图像计算手形块特征。

手形块特征为矩形特征，首先分为上下两部分；上半部分又分成5块，用1-5号块来表示，下半部分只有一块，用6号块表示，所以手部特征块由六块组成。块特征示意图如图1所示。

其中1、3、5三个区域块的大小可缩放调整，但保证这三个块的大小要一致；区域块中2、 4两个块的大小也可以缩放调整，调整时也要保证这两个块大小一致；该块为矩形块，但是上下半块的高度不一定相等。

该特征是针对手部特点设置的，1、3、5三个区域对应手指，2、4对应指缝，6对应手背。本发明没有设置四或五个手指是因为手部形状多变且有自遮挡，现有设置方式是为使该特征适应性更广。

从该块中可提取4个特征：

F₁＝|G₁-G₂|+|G₃-G₂|

F₂＝|G₃-G₄|+|G₅-G₄|

F₃＝|G₁-G₃|+|G₃-G₅|

F₄＝|G₁-G₆|+|G₃-G₆|+|G₅-G₆| (2)

其中，G₁-G₆分别为手形块特征1-6号块的灰度和，在积分图像中，每块的灰度值之和为积分图像右下角灰度值减左上角灰度值。

F₁与F₂表示手指与指缝的灰度差，F3与F4表示手部皮肤部分的灰度值一致性。块特征与手部图像的关系见图2。

手部块特征的训练图像(即检测窗口)尺度参数可以选择24*24(与人脸图像相同)。在训练图像中，手部块特征内部的6个块有五种参数：(1)上半部高度；(2)1、3、5区域宽度；(3)2、4区域的宽度；(4)下半部高度；(5)手形块在窗口中的起始点坐标。在模型训练时，所有参数的手形块都会计算出来，通过AdaBoost算法确定最有效的手形块参数。

1.1.2模型训练

按上节方法准备好正例、反例和补充反例样本，正例即只包含手部且手指方向朝上的图像，反例和补充反例都是不包含手部的图像，正例反例大小均为24*24像素。

按式(2)计算出的特征向量用X表示，样本的标记用Y表示。假设共有n个样本，(X₁,Y₁),……,(X_n,Y_n)，其中Y_i＝1,0分别表示正例样本和反例样本。X_i＝{x₁,x₂,……,x_p}，每个样本包括p维特征，每特征对应手形块的一种参数组合，特征号与手形块参数的对应关系保存于特征映射表中。分类器训练按下述步骤进行。

(1)根据初始化样本权值w，方法见式(3)；

n为样本数，m为正例数。

(2)按式(4)归一化权值w；

t为分类器层数，初始值为0；

(3)通过阈值分类器对所有样本分类。即X_ij>T_j，分类结果H(X_ij)＝1；否则H(X_ij)＝0，T_j为阈值。选择误差最小特征分类方法，加入该层强分类方法中。

(4)计算当前层错误率,错误率为错误样本数除样本总数n；

样本层分类结果根据式(5)计算

H_j(x)为分类方法判断结果，α_j为组分类方法的置信度或权值，计算方法见式(7)。

当前层错误样本数ε_t的计算见式(6)，错误率为错误样本数除样本总数n。层分类方法判断方法为式(5)。

其中

每个分类方法具有一个置信度或权值α_t，其计算公式如下所示。

(5)更新样本权值；

每次选出一个分类方法后，样本的权值w都需要更新，更新公式为式(8)。

当样本分类错误时，其权值不变；当样本分类正确时，权值乘一个小于1的数，使权值变小。

(6)如果当前层错误率小于该层目标错误率且所选特征数小于每层最大特征数，转步骤 (2)；否则，执行下一步。

(7)计算总错误率。总错误率为所有层错误率乘积，每层错误率见式(5)。当总错误率大于目标错误率时，把所有判断正确的反例淘汰掉，从补充反例集合中补充同样数量的反例， t＝t+1，转步骤(1)；否则，训练结束。

训练出的模型参数包括每层选择出的特征号j、阈值T_j和该特征的权值α_j。作为分类模型保存在模型文件中，特征号与块特征的对应关系保存于特征映射表中。

1.2手部检测

检测前需要载入分类模型和特征映射表。检测采用常规的滑动窗口扫描方式，对整个图像进行扫描。

步骤1：计算积分图像；

步骤2：采用AdaBoost算法进行检测；

对每个检测窗口按下述步骤进行检测,令分类器层数t为0。

(1)对t层分类器，按特征号j计算手形块特征x_j，根据阈值T_j判断H_j(x)；根据式(5)判断其分类结果C_t；

(2)如果C_t为0，该窗口判为反例，即非人手，退出；

如果C_t为1，t＝t+1，判断t是否超过模型最大层数，超过则退出，该窗口判为正例，即是人手；转步骤(1)进入下一层；

对于一个检测窗口，只有所有层判断为1时，才被判断为正例；而一旦有一层被判为0，则退出检测算法。由于图像中大部分是非人手图像，所以该算法速度很快。

从第一层开始，一旦某一层分类器判断结果非手部，则该窗口即被淘汰，由于图像中非手部图像居多，且大部分窗口可以通过低层少数特征淘汰，所以算法检测速度很快。

Claims (1)

1.一种基于手形块特征和AdaBoost分类器的手部检测方法，其特征在于，包括如下步骤：

(1)模型训练：

(1.1)手形块特征提取

(1.1.1)计算积分图像：

一幅图像i(x,y)的积分图像ii(x,y)作为初始值为原图像左上方所有像素值的和：

在积分图像上，一个矩形区域的灰度值和是积分图像右下角灰度值减左上角灰度值；

(1.1.2)根据积分图像计算手形块特征：

手形块特征为矩形特征，首先分为上下两部分；上半部分又分成5个区域，用1-5号来表示，下半部分只有一个区域，用6号表示，每个区域为矩形块；1、3、5三个区域对应手指，2、4区域对应指缝，6区域对应手背，从每个区域中提取4个特征：

F₁＝|G₁-G₂|+|G₃-G₂|、F₂＝|G₃-G₄|+|G₅-G₄|、F₃＝|G₁-G₃|+|G₃-G₅|、F₄＝|G₁-G₆|+|G₃-G₆|+|G₅-G₆|

其中，G₁～G₆分别为手形块特征1-6号区域的灰度和，在积分图像中，每个区域的灰度值之和为积分图像右下角灰度值减左上角灰度值；

F₁与F₂表示手指与指缝的灰度差，F₃与F₄表示手部皮肤部分的灰度值一致性；

手部块特征的训练图像尺度参数选择24*24；在训练图像中，手部块特征内部的6个区域有五种参数：上半部高度；1、3、5区域宽度；2、4区域的宽度；下半部高度；手形区域在窗口中的起始点坐标；在模型训练时，计算所有参数的手形区域，通过AdaBoost算法确定最有效的手形块参数；

(1.2)模型训练：

按步骤(1.1)准备好正例、反例和补充反例样本，正例即只包含手部且手指方向朝上的图像，反例和补充反例都是不包含手部的图像，正例反例大小均为24*24像素；

计算出的特征向量用X表示，样本的标记用Y表示，设共有n个样本，(X₁,Y₁),……,(X_n,Y_n)，其中Y_i＝1,0分别表示正例样本和反例样本；X_i＝{x₁,x₂,……,x_p}，每个样本包括p维特征，每个特征对应手形区域的一种参数组合，特征号与手形块参数的对应关系保存于特征映射表中；分类器训练按下述步骤进行：

(1.2.1)根据初始化样本权值w；

n为样本数，m为正例数；

(1.2.2)归一化权值w；

t为分类器层数，初始值为0，j表示标记Y的序号；

(1.2.3)通过阈值分类器对所有样本分类；即X_ij>T_j，其中X_ij表示样本集合，其中标号i表示特征向量标号，j表示样本的标记标号，分类结果H(X_ij)＝1；否则H(X_ij)＝0，T_j为阈值；选择误差最小特征分类方法，加入该层强分类方法中；

(1.2.4)计算当前层错误率；错误率为错误样本数除样本总数n；

样本层分类结果为：

H_j(x)为分类方法判断结果，α_j为组分类方法的置信度或权值，J表示标记Y的总个数，j表示当前标记序号；

当前层错误样本数为ε_t，错误率为错误样本数除样本总数n：

其中，w_i 表示样本权值数组中的每一个元素

每个分类方法具有一个置信度或权值α_t

(1.2.5)更新样本权值；

每次选出一个分类方法后，更新样本的权值w，

当样本分类错误时，其权值不变；当样本分类正确时，权值乘以一个小于1的数；

(1.2.6)如果当前层错误率小于该层目标错误率且所选特征数小于每层最大特征数，转步骤(1.2.2)；否则，执行下一步；

(1.2.7)计算总错误率：总错误率为所有层错误率乘积，当总错误率大于目标错误率时，把所有判断正确的反例淘汰掉，从补充反例集合中补充同样数量的反例，t＝t+1，转步骤(1.2.1)；否则，训练结束；训练出的模型参数包括每层选择出的特征号j、阈值T_j和该特征的权值α_j；作为分类模型保存在模型文件中，特征号与块特征的对应关系保存于特征映射表中；

(2)手部检测：

检测前载入分类模型和特征映射表；检测采用常规的滑动窗口扫描方式，对整个图像进行扫描；

(2.1)计算积分图像；

(2.2)采用AdaBoost算法进行检测；

对每个检测窗口按下述步骤进行检测，令分类器层数t为0；

(2.3)对t层分类器，按特征号j计算手形块特征x_j，根据阈值T_j判断H_j(x)；判断其分类结果C_t；

(2.4)如果C_t为0，该窗口判为反例，即非人手，退出；如果C_t为1，t＝t+1，判断t是否超过模型最大层数，超过则退出，该窗口判为正例，即是人手；执行步骤(2.1)进入下一层。