CN104731324A - 一种基于hog+svm框架的手势内平面旋转检测模型生成方法 - Google Patents

Abstract

本发明公开了一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法，利用Web摄像头不间断的抓取镜前的图像帧，然后通过基于HOG+SVM的检测框架判断帧内是否包含规定手势以及定位其在帧内的位置。本发明方法包括：收集特定几个方向范围的规定手势数据集，提取各个方向数据集的HOG特征并利用SVM方法训练SVM模型，生成平面空间内其他各个方向范围的SVM模型，根据实际情况调节SVM模型参数并投入到基于HOG+SVM框架的多模型检测应用程序。本发明提供了一种既定旋转方向SVM模型的转化方法，并通过理论的支持和实际的实验结果表明本发明能够在保证检测精度的基础上完成检测规定手势平面内旋转的任务。

Description

一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法

技术领域

本发明涉及一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法，属于图像处理以及模式识别技术领域。

背景技术

随着计算机普及和迅速的发展，人们的生活已离不开对计算机的使用。众所周知，以往的人和计算机交互方式是通过特定的输入输出设备，如有键盘、鼠标、手写笔、扫描仪等。然而，近几年随着多媒体技术的发展、计算机性能的不断提升，个人计算机(PC)已经具备基本的语音处理、图形图像处理等多种通信媒体的功能。为提高计算机的易用性和人机交互的自然性，新型输入技术已日趋成为一个备受关注的研究热点领域。人工智能的飞跃发展和新式输入输出设备如雨后春笋般的不断涌现，使得计算机变得越来越智能化，人机交互也变得更加的自然。人机交互技术的研究历经以计算机为中心的传统交互，现在已逐步转移到以人为中心的多种通道、多种媒体的新型交互技术上来。体势识别、人脸识别、表情识别、头部跟踪、眼球跟踪以及手势识别等都是为符合人的习惯而出现的新型人机交互技术。生活中，我们常用手势来表达某种特定的意图，例如表示OK，为路人指示方向，表示数字等等。这些现象均说明了手势操作的频繁性和直观自然性，同时也使得人们希望将手势可以用来与自己的计算机进行交互中。例如，用户可以定义适当的手势来对设备进行控制等。

手势识别作为多模式人机接口技术重要部分，涉及了多个学科的研究领域，例如计算机视觉、人工智能、模式识别等。基于视觉的手势检测是手势识别方法重要的组成模块。传统的基于视觉的手势检测的方法存在如下缺点：要求背景和人手区域在颜色空间上具有很好的区分性，光照环境等环境因素不能对图像帧的造成太大干扰；手臂区域，头部区域和人手因光滑而形成的阴影等影响因素也要考虑在列。

为了实现行人检测，Dalal等人首次提出了HOG+SVM的检测框架。方向梯度直方图(Histogram of Oriented Gradient，简称HOG)是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。支持向量机(Support Vector Machine，简称SVM)是一种可用作特征空间分类的机器学习方法。随着研究的深入，很多研究学者对HOG特征提出了许多优秀的改进方法，然而所有的方法均是针对于HOG特征的提取速度如何进行提升，以及提升后如何确保精度，例如，Wang等人提出将积分图的概念和三线性插值的方法应用到HOG特征的提取方法中。经过研究发现，既定的手势也是可以通过基于HOG+SVM框架进行检测定位的。但目前对于平面内手势旋转的SVM模型转换的问题并没有相关研究，仅仅对既定手势的模型训练需要大量的数据采集工作。

发明内容

本发明的目的是为了解决基于HOG+SVM检测框架的平面内多旋转方向的手势检测问题，首先是通过对HOG特征进行改进；其次是利用特定几个方向范围的规定手势SVM模型转换成其他各个方向范围的既定手势SVM模型；最后，利用提出的基于HOG特征的多SVM模型检测程序进行对摄像头前的既定手势进行检测定位。

本发明提供的基于HOG+SVM框架的手势内平面旋转检测模型生成方法，具体包括以下几个步骤：

步骤1：采集特定方向范围的手势数据集；

手势数据集包含两个部分：(1)含既定手势的正样本数据集；(2)不含既定手势的负样本数据集。将平面内任意90度范围内分为2～3个子范围，然后按照划分的范围采集手势数据集。

步骤2：提取特定方向各子范围内样本数据集的HOG特征，并利用SVM方法训练对应的SVM模型；

利用改进的HOG特征方法对正负样本数据集进行特征提取，生成正负样本HOG特征文件；利用线性SVM对HOG特征文件训练，生成对应该对应样本数据集的SVM模型；

步骤3：生成平面空间内其他各个方向范围的SVM模型；

利用SVM模型转换算法对步骤2中生成90度内各子方向范围的SVM进行处理，进而生成其他三个90度方向范围的SVM模型；

步骤4：调节SVM模型参数，并用于多模型检测程序；

根据实际情况对线性SVM模型常数项的值进行调节设定，将生成SVM模型集用到基于HOG特征的多SVM模型检测应用程序中。

相对于现有技术，本发明的优点和积极效果在于：

(1)解决了基于HOG+SVM检测框架的平面内手势旋转的SVM模型转换问题；

(2)有效减少了基于HOG特征的SVM模型训练过程，很大幅度上降低了手势数据集采集所带来的大量工作；

(3)通过理论和实验均可证明，本发明中所提出的SVM模型生成方法的可行性，并不会降低SVM模型的检测精度；

(4)通过实际运行情况可表明，本发明提出的方法能够应用于复杂背景下手势检测；在光照条件干扰下也具有一定鲁棒性和健壮性。

附图说明

图1为本发明基于HOG+SVM框架的手势内平面旋转检测模型生成方法的流程示意图；

图2为本发明方法中HOG特征提取的流程图；

图3为本发明方法中基于HOG特征的SVM训练流程；

图4为本发明方法中基于HOG特征的线性SVM转换方法；

图5为本发明中基于HOG特征的多SVM模型检测框架；

图6为本发明中采集FIVE手势的数据集示例图；

图7为本发明中FIVE手势数据集上SVM模型转换结果的DET图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明研究了一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法，本方法利用Web摄像头不间断的抓取镜前的图像帧，然后通过基于HOG+SVM的检测框架判断帧内是否包含规定手势以及定位其在帧内的位置。本发明有效地解决了基于HOG+SVM检测框架的平面内手势旋转的SVM模型转换问题，大大降低了规定手势数据采集为开发人员所带来的浩瀚工作量。

本发明中提出的方法总体而言主要包括四个部分：(1)收集特定几个方向范围的规定手势数据集，(2)提取各个方向图像集的HOG特征并利用SVM方法训练SVM模型，(3)生成平面空间内其他各个方向范围的SVM模型，(4)根据实际情况调节SVM模型参数并投入到基于HOG+SVM框架的多模型检测应用程序。其中，对HOG特征进行了一定的改进，所使用的SVM模型内核类型为线性SVM内核。

本发明通过研究HOG特征在空间上分布的特性和线性SVM方法正负支持向量的叠加方式，提出了一种既定旋转方向SVM模型的转化方法。

本发明提出的基于HOG+SVM检测框架的平面内多旋转方向的手势检测方法的具体实现步骤如图1，包括以下几个步骤：

步骤1：采集特定几个方向范围的规定手势数据集；

手势数据集包含两个部分：

(1)正样本数据集，指含既定手势的数据；

(2)负样本数据集，指不含既定手势的数据。

将平面内任意90度范围内可分为2～3个子范围，然后按照划分的范围进行采集手势数据集。

部分FIVE手势样例如图6所示。对于采集正负样本数据集的要求如下：

(1)负样本数据集需要样本具有多样性，即指图像中具有丰富的场景或纹理；

(2)正样本数据集需要人手多样性，即人手具有大小长短颜色之分，需要尽可能采集多种情况；

(3)正样本数据集需要场景的多样性，具体区分之为：光线条件，背景纹理，拍摄角度等。

步骤2：提取特定方向各子范围内样本数据集的HOG特征，并利用SVM方法训练对应的SVM模型；

利用改进的HOG特征方法对既定手势的正负样例数据集进行特征提取，即生成正负样例HOG特征文件。然后，利用线性SVM对该HOG特征文件训练，生成对应该对应样本数据集的SVM模型。本发明使用LibSVM库提供的线性SVM为工具集。具体的SVM模型训练过程见图3所示。

其中，提取HOG的子步骤，如图2所示，具体是：

步骤2.1：预处理，即设定HOG相关参数，加载HOG梯度投值空间对应的字典等；

其中，HOG特征主要的相关参数包括：

a、SVM模型检测窗口的大小(Window Size)；

b、梯度投值空间分区数(Bins)；

c、窗口中块的大小(Block Size)；

d、块中细胞单元的大小(Cell Size)。

步骤2.2：计算梯度，即利用[-1 0 1]和[-1 0 1]^T算子对样本图像进行卷积处理，将结果分别作为dx和dy，计算图像的梯度，包含幅值和方向。

步骤2.3：将步骤2.2中所得梯度根据方向进行投票，生成基于块(Block)的梯度方向直方图。具体可分为两个子步骤：

a、对每个块(Block)的各个细胞单元(Cell)通过其内的像素按照梯度方向投值，从而建立一个梯度方向直方图；

b、需要在块(Block)区域内的细胞单元(Cell)中心间做双线性插值操作。

步骤2.4：对基于块(Block)的梯度方向直方图进行对比度L2-norm归一化；

步骤2.5：将各个块(Block)上的梯度方向直方图进行排序形成HOG特征；

需要注意的是，本发明改进的HOG特征提取中步骤2.3中将梯度投值空间划分为偶数，本发明实施例中取8。

SVM模型训练的模型如图3所示，样例分为训练集和测试集，对样例进行HOG特征提取，进行线性SVM训练，生成模型提供给线性SVM测试，对测试样例进行测试。

步骤3：生成平面空间内其他各个方向范围的SVM模型。

利用SVM模型转换方法对步骤2中生成90度内各子方向范围的SVM模型进行处理，进而生成其他三个90度方向内子范围的SVM模型。

其中，SVM模型转换方法的子步骤如下，如图4所示：

步骤3.1：预处理，利用样本图像的长宽，梯度空间投值区间数(Bin)和HOG块(Block)的大小来求取四个参数：

a、样本图像的水平方向上HOG块(Block)的个数；

b、样本图像的垂直方向上HOG块(Block)的个数；

c、块(Block)上梯度方向直方图的长度；

d、样本图像上HOG特征的元素个数；

步骤3.2：根据输入SVM模型所检测的方向和期望输出的检测方向，利用块(Block)在图像中的对应空间关系，调整SVM模型中支持向量的元素所代表块(Block)的顺序；输入SVM模型是已获得的SVM模型，本发明实施例开始输入的是在步骤2得到的SVM模型；

步骤3.3：根据输入SVM模型所检测的方向和输出方向的相应块(Block)的细胞单元(Cell)的对应空间关系，调整SVM模型中支持向量的元素所代表细胞单元(Cell)的顺序；

步骤3.4：根据输入SVM模型所检测的方向和输出方向在梯度投值空间区间的对应关系，调整SVM模型中支持向量的各个元素的顺序。

利用该SVM模型转换方法可以生成特定方向范围旋转90度倍数的对应方向范围的SVM模型。为平面空间内360度范围内的各个SVM模型生成索引号。

步骤4：调节SVM模型参数，并用于多模型检测程序；

根据实际情况对线性SVM模型的常数项b的值进行调节设定。将生成SVM模型集用到基于HOG特征的多SVM模型检测应用程序中。

其中，基于HOG特征的多SVM模型检测程序子步骤如下，如图5所示：

步骤4.1：预处理，即设定HOG相关参数，加载HOG梯度投值空间对应的字典等；

其中，HOG特征主要的相关参数包括：

a、SVM模型检测窗口的大小(Window Size)；

b、梯度投值空间分区数(Bins)；

c、窗口中块的大小(Block Size)；

d、块中细胞单元的大小(Cell Size)。

步骤4.2：对输入图像进行尺度缩放，在各尺度空间相应的RGB图像上提取HOG特征；

步骤4.3：遍历步骤4.2不同尺度空间下各个滑动窗口相应的HOG特征，利用线性SVM模型，将HOG特征与得到的各个方向范围上的SVM模型进行匹配；并在匹配成功时保留该滑动窗口的各项信息，包括尺度空间、SVM模型索引号、以及窗口的左上角坐标点；

步骤4.4：重复步骤4.2和步骤4.3，直到所有规定的尺度空间全部遍历完成；

步骤4.5：根据SVM模型的匹配结果，利用窗口规定合并的规则对窗口进行分类统计；并对满足条件的窗口组合进行线性合并生成一个窗口，标识所合并生成的窗口的检测方向范围内的SVM模型索引号。

其中，两个窗口合并的规则如下：

a、两个窗口检测使用的SVM模型索引号相同；

b、两个窗口的起始点在横坐标和纵坐标上的距离均不超过规定的阈值A；

c、两个窗口所在尺度之比不能超过规定阈值B。

阈值A和B可由用户根据需要设定。同时满足上述三个条件才将两个窗口放在一个集合中。

图7为图6示例的FIVE手势在[0,180]方向范围区间分成6个子区间进行转化的性能结果。其中，该6个子区间分别为：

(1)[-3,33]   (2)[27,63]    (3)[57,93]

(4)[87,123]  (5)[117,153]  (6)[147,183]

本发明示例中，将FIVE手势在[0,90]方向范围的数据图像采集分为三个子区间范围，即[-3,33]，[27,63]，[57,93]。在每个子范围内，各采集了5000张含有既定手势的图像作为正样本数据集。在该示例中，采集了10000张图像作为共同的负样本数据集。利用本发明提出的SVM模型转换方法，通过将上述三个方向子区间上对应的线性SVM模型作为输入，得到方向子区间[87,123]，[117,153]，[147,183]上相应的线性SVM模型。然后，利用采集的100000张相应方向子区间的测试数据集对每组关联的SVM模型进行测试。图7所示为测试结果的DET(Detection Error Tradeoff)图。其中，Model1，Model2，Model3，Model4，Model5，Model6分别为方向子区间[-3,33]，[27,63]，[57,93]，[87,123]，[117,153]和[147,183]上的SVM模型。性能参数Miss Rate和FFPW(False Positives Per Window)分别为丢失率和误检率。公式如下：

$\mathrm{MissRate}=\frac{\mathrm{FalseNeg}}{\mathrm{TruePos}+\mathrm{FalseNeg}}$

$\mathrm{FFPW}=\frac{\mathrm{FalsePos}}{\mathrm{TruePos}+\mathrm{FalsePos}}$

其中，FalseNeg表示未能检测到正样本集中的样本个数；TruePos表示正确检测到正样本集中的样本个数；FalsePos表示将负样本误判为正样本的个数。

从图7，不难观察到Model1和Model4，Model2和Model5，Model3和Model6，这三组方向子区间的SVM模型具有高度一致的ROC(Receiver Operating Characteristic)曲线。同时说明了本发明提出方法的可行性和优异性。

Claims (6)

1.一种基于方向梯度直方图HOG+支持向量机SVM框架的手势内平面旋转检测模型生成方法，其特征在于，包括以下步骤：

步骤1：采集特定方向范围的手势数据集；

手势数据集包含两个部分：含既定手势的正样本数据集和不含既定手势的负样本数据集；将平面内任意90度范围内分为2～3个子范围，然后按照分的范围采集手势数据集；

步骤2：提取特定方向各子范围内样本数据集的HOG特征，并利用SVM方法训练对应的SVM模型；

步骤3：生成平面空间内其他各个方向范围的SVM模型；

利用SVM模型转换方法对步骤2生成的90度内子范围的SVM进行处理，生成平面空间内其他三个90度方向范围的SVM模型；

步骤4：根据实际情况对线性SVM模型常数项的值进行调节设定，将生成SVM模型集用到基于HOG特征的多SVM模型检测应用程序中。

2.根据权利要求1所述的一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法，其特征在于，所述的步骤1中，对于采集正负样本数据集的要求如下：

(1)负样本数据集需要样本具有多样性，样本具有多样性是指图像中具有丰富的场景或纹理；

(2)正样本数据集需要人手多样性，人手多样性是指人手具有大小长短颜色之分，需要尽可能采集多种情况；

(3)正样本数据集需要场景多样性，场景多样性包括光线条件、背景纹理和拍摄角度。

3.根据权利要求1所述的一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法，其特征在于，所述的步骤2中，利用改进的HOG特征方法对正负样本数据集进行特征提取，具体是：

步骤2.1：预处理，包括设定HOG相关参数、加载HOG梯度投值空间对应的字典；

步骤2.2：计算梯度，具体是：利用[-1 0 1]和[-1 0 1]^T算子对样本图像进行卷积处理，将结果分别作为dx和dy，计算图像的梯度，梯度包含幅值和方向；

步骤2.3：将所得梯度根据方向进行投票，生成基于块的梯度方向直方图；

对每个块的各个细胞单元通过其内的像素按照梯度方向投值，从而建立一个梯度方向直方图；在块区域内的细胞单元中心间做双线性插值操作；其中，将梯度投值空间划分为偶数；

步骤2.4：对基于块的梯度方向直方图进行对比度L2-norm归一化；

步骤2.5：将各个块上的梯度方向直方图进行排序形成HOG特征。

4.根据权利要求1所述的一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法，其特征在于，所述的步骤3中，利用SVM模型转换方法进行处理的步骤如下：

步骤3.1：预处理，具体是：利用样本图像的长宽、梯度空间投值区间数和HOG块的大小，来获取样本图像的水平方向上HOG块的个数、垂直方向上HOG块的个数、块上梯度方向直方图的长度、以及样本图像上HOG特征的元素个数；

步骤3.2：根据输入SVM模型所检测的方向和期望输出的检测方向，利用块在图像中的对应空间关系，调整SVM模型中支持向量的元素所代表块的顺序；

步骤3.3：根据输入SVM模型所检测的方向和输出方向的相应块的细胞单元的对应空间关系，调整SVM模型中支持向量的元素所代表细胞单元的顺序；

步骤3.4：根据输入SVM模型所检测的方向和输出方向在梯度投值空间区间的对应关系，调整SVM模型中支持向量的各个元素的顺序。

5.根据权利要求1所述的一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法，其特征在于，步骤4中所述的基于HOG特征的多SVM模型检测应用程序，实现步骤为：

步骤4.1：预处理，包括：设定HOG相关参数，加载HOG梯度投值空间对应的字典；

步骤4.2：对输入图像进行尺度缩放，在各尺度空间相应的RGB图像上提取HOG特征；

步骤4.3：遍历步骤4.2不同尺度空间下各个滑动窗口相应的HOG特征，利用线性SVM模型，将HOG特征与得到的各个方向范围上的SVM模型进行匹配；并在匹配成功时保留该滑动窗口的各项信息，包括尺度空间、SVM模型索引号以及窗口的左上角坐标点；

步骤4.4：重复步骤4.2和步骤4.3，直到所有尺度空间全部遍历完成；

步骤4.5：根据SVM模型的匹配结果，对窗口进行分类统计，对满足条件的窗口组合进行线性合并生成一个窗口，标识生成窗口的检测方向范围内的SVM模型索引号。

6.根据权利要求5所述的一种基于HOG+SVM框架的手势内平面旋转检测模型生成方法，其特征在于，所述的步骤4.5中，两个窗口合并的规则是：

a、两个窗口检测使用的SVM模型索引号相同；

b、两个窗口的起始点在横坐标和纵坐标上的距离均不超过规定的阈值A；

c、两个窗口所在尺度之比不能超过规定阈值B；

其中，阈值A和B由用户根据需要设定。