CN105760828A - 一种基于视觉的静态手势识别方法 - Google Patents

Abstract

本发明涉及一种基于视觉的静态手势识别方法，包括训练阶段和测试阶段：训练阶段中对训练图像进行预处理，然后提取训练图像的LBP特征和CSS角点特征，融合提取到的特征，对基于压缩感知理论设计的分类器进行训练。测试阶段，对拍摄到的手势图像进行预处理，再提取出测试图像的LBP特征和CSS角点特征，融合这两种特征，利用已经训练好的分类器进行分类识别。本发明通过融合两种特征，并且采用压缩感知理论设计分类器，能够弥补单特征的不足，提高手势的识别率。

Description

一种基于视觉的静态手势识别方法

技术领域

本发明涉及一种基于视觉的静态手势识别方法，属于人机交互技术领域。

背景技术

随着计算机技术的迅速发展，人机交互技术已经成为了各国研究者研究的热点。传统的人机交互方式主要是基于键盘、鼠标等设备，这种方式非常不方便，越来越不能满足人们的需求。由于手势具有生动、形象、直观等特点，使得它在人机交互领域有着至关重要的作用。手势识别一般分为基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的手势识别一般是在人的手上佩戴一些传感设备，对人手运动的速度，加速度等物理量进行信号分析，从而获得手势的信息。这种方式比较有利于获得手势的运动信息，识别率比较高，实时性也比较好，但是，由于需要穿戴传感设备，使得这种交互方式变得不方便也不自由，而且这些传感设备也比较昂贵。相比较而言，基于视觉的手势识别不需要价格昂贵的传感设备，只是利用摄像头拍摄到手势的图像数据，然后对图像数据进行处理分析。这种方式自然，方便，不需要佩戴专用设备，为人机交互提供了一种直观的交流方式，但是它的识别率还比较低，实时性也不好，比较容易受到光照，背景等的干扰。因此对于这种方式还有待于研究者的进一步研究。

目前，基于视觉的手势识别的过程一般是：采集手势图像，对图像进行预处理，特征提取，识别分类。其中，对识别结果影响比较大的是特征提取和分类器的设计。比较常用的特征有SIFT(Scale-InvariantFeatureTransform,尺度不变特征转换)、HOG(HistogramofGradient,梯度方向直方图)，LBP(LocalBinaryPattern，局部二值模式)，角点特征等。但是单一的特征往往不能很好地描述图像，从而分类的结果也不尽如人意。

2013年3月，张汗灵、李红英、周敏在湖南大学学报(自然科学版)上发表的文章《融合多特征和压缩感知的手势识别》，该文章提出了一种融合手势的Zernike矩和HOG特征，利用CS(CompressiveSensing,压缩感知)算法进行分类的手势识别方法，但是，这两种特征都不能很好地描述出手势的局部纹理特征，并且在融合这两种特征的时候赋予了它们相同的权值，从而没有体现出哪种特征对识别的结果影响较大。

2014年6月，杨磊发表了硕士学位论文《融合多特征和压缩感知的手势识别》，在该论文中首先利用基于YCbCr颜色空间的阈值自适应方法和Hu矩手型比较算法进行分割得到手势区域，然后提取手势的SURF(Speed-UpRobustFeatures,加速鲁棒特征)和Hu矩特征，融合这两种特征利用CS算法进行分类。但是，Hu矩只用到低阶矩，不能很好地描述图像的细节。

中国专利文献CN104299004A公开了一种基于多特征融合和指尖检测的手势识别方法。包括训练过程和识别过程：训练过程中，针对复杂的手势，选择合理的手势特征，并利用多特征融合的特征提取算法，对手势进行支持向量机训练，形成训练模型。识别过程中，针对输入的视频图像序列，首先进行手势检测，再进行多特征提取和融合并输入到支持向量机中得到识别结果；同时，对手势进行基于缺陷的指尖检测，通过缺陷筛选器，定位到手指各指尖的位置，然后，将两次识别和检测结果进行综合，得到最终的手势识别结果。但是，该专利中存在以下缺陷：其融合的多特征包括Hu矩特征，缺陷特征和六个比例特征本质上都属于一种特征就是手势的形状特征，提取形状特征对预处理时手势的分割要求比较高；该专利中利用支持向量机进行训练和识别，支持向量机的计算复杂度比较高。

发明内容

针对现有技术的不足，本发明提供了一种基于视觉的静态手势识别方法；

本发明融合了两种常见的特征—LBP和CSS角点特征，并且采用CS算法设计分类器。LBP是一种图像局部纹理特征的描述符，CSS是从图像的全局角度检测图像的局部角点特征，通过融合这两种特征，可以弥补它们各自的缺陷，提高分类效果，通过在JochenTriesh手势数据库上进行的实验，证明该种手势识别方法能够提高手势的识别率、准确率。

术语解释

CSS，CurvatureScaleSpace的缩写，是指曲率尺度空间；

本发明的技术方案为：

一种基于视觉的静态手势识别方法，具体步骤包括：

A、训练阶段

(1)采集训练手势图像样本；

(2)对步骤(1)采集到的训练手势图像进行预处理；

(3)提取步骤(2)预处理后的训练手势灰度图像的LBP特征；

(4)提取步骤(2)预处理后的训练手势轮廓图像的CSS角点特征；

(5)融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；

B、测试阶段

(6)采集测试手势图像样本；

(7)对步骤(6)采集到的测试手势图像进行预处理；

(8)提取步骤(7)预处理后的测试手势灰度图像的LBP特征；

(9)提取步骤(7)预处理后的测试手势轮廓图像的CSS角点特征；

(10)融合步骤(8)得到的测试手势图像的LBP特征及步骤(9)得到的测试手势图像的CSS角点特征，利用步骤(5)训练好的分类器进行分类。

根据本发明优选的，步骤(2)、步骤(7)所述预处理，具体包括：

a、将彩色图像变换为灰度图像；

b、利用基于阈值的二值化方法对步骤a得到的灰度图像进行处理，得到手势的二值图像；

c、对步骤b得到的手势的二值图像进行形态学处理，得到手势区域平滑的二值图像；

d、采用边缘检测算法得到手势的轮廓边缘。

根据本发明优选的，步骤(3)、步骤(8)所述提取手势图像的LBP特征向量，具体包括：

e、设定所述手势图像中的一个像素点为中心像素点，则以中心像素点为圆心、半径为R的P个邻域像素点上的LBP值LBP_P-R的求取公式如式(Ⅰ)所示：

${\mathrm{LBP}}_{P-R}=\underset{i=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_i-g_c)\×2^i---\left(I\right)$

式(Ⅰ)中， $s\left(x\right)=\left\{\begin{array}{cc}0,& x<0\\ 1,& x\&GreaterEqual;0\end{array}\right.,$ g_c表示中心像素点的灰度值，g_i表示中心像素点的第i个邻域像素点的灰度值；s(g_i-g_c)表示第i个邻域像素点的LBP编码，即若g_i≥g_c则该第i个邻域像素点的LBP编码为1，若g_i<g_c则该第i个邻域像素点的LBP编码为0；R为1个或2个像素，P为8个或16个像素；

步骤e中，比较常用的有LBP_4-1、LBP_8-1、LBP_8-2、LBP_16-2，随着P和R越来越大，LBP值会急剧增大，导致效率低下。该计算过程就是以中心像素点的灰度值为阈值，将周围相邻的P个像素点的灰度值与其进行比较，若某个像素点的灰度值大于或等于中心像素点的灰度值，则将该像素点的位置标为1，否则标为0。于是，周围相邻的P个像素点产生Pbit的无符号的二进制数，这个二进制数作为LBP编码，将其转化为十进制数，即得到以中心像素点为圆心、半径为R的P个邻域像素点上的LBP值LBP_P-R。按照上述方法每个像素点都可以得到一个LBP编码和LBP值，由LBP值组成了一幅LBP图像。

f、判断步骤e获取的LBP编码是否为均匀的LBP编码，将步骤e获取的LBP编码首尾相连，如果至多有两次0和1之间的转换，则该LBP编码为均匀LBP编码，将均匀LBP编码图像的统计直方图作为手势图像的LBP特征。

根据本发明优选的，R为1个像素，P为8个像素。

根据本发明优选的，步骤(4)、步骤(9)所述提取手势图像的CSS角点特征，具体包括：

g、找到步骤(2)、步骤(7)预处理后的手势图像的轮廓上的T形交叉点，标记为T形角点，设定手势图像的轮廓函数为Г(μ)＝(x(μ),y(μ))，将轮廓上的点用弧长参数μ表达，关于弧长参数μ的详细解释参见http://www.docin.com/p-406152932.html；x(μ)是轮廓上点的横坐标，y(μ)是轮廓上点的纵坐标；将Г(μ)在不同尺度的高斯函数g(μ，σ)下滤波得到不同尺度下的轮廓函数Г_σ(μ)＝(X(μ,σ),Y(μ,σ))，X(μ,σ)＝x(μ)*g(μ，σ)，Y(μ,σ)＝y(μ)*g(μ，σ)，σ是尺度参数，*为卷积运算符；利用(II)式计算在一个较低的尺度σ下的轮廓函数Г_σ(μ)的曲率κ(μ，σ)，所述较低的尺度σ的取值范围为3.0-4.0，如式(Ⅱ)所示：

$\mathrm{\&kappa;}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{X_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})Y_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})-X_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})Y_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})}{{(X_{\mathrm{\&mu;}}{\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)}^2+Y_{\mathrm{\&mu;}}{\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)}^2)}^{\frac{3}{2}}}---\left(II\right)$

式(Ⅱ)中， $X_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{\&part;}{\&part;\mathrm{\&mu;}}X(\mathrm{\&mu;},\mathrm{\&sigma;})=x\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$Y_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{\&part;}{\&part;\mathrm{\&mu;}}Y(\mathrm{\&mu;},\mathrm{\&sigma;})=y\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$X_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{{\&part;}^2}{\&part;{\mathrm{\&mu;}}^2}X(\mathrm{\&mu;},\mathrm{\&sigma;})=x\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$Y_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{{\&part;}^2}{\&part;{\mathrm{\&mu;}}^2}Y(\mathrm{\&mu;},\mathrm{\&sigma;})=y\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

h、将步骤g得到的局部曲率极大点作为候选角点，利用式(III)确定候选角点的局部自适应阈值T(μ1)，式(III)中，μ1是候选角点在曲线上的位置，表示候选角点的邻域区域内的平均曲率，L1和L2是邻域区域的大小，i表示邻域区域内的点，κ(i)表示邻域区域内的点的曲率，C为一个系数，C的取值范围为1<C<2，将局部自适应阈值与候选角点的曲率进行比较，如果该候选角点的曲率小于其局部自适应阈值，则将该候选角点剔除；

$T\left(\mathrm{\&mu;}1\right)=C\&times;\stackrel{\&OverBar;}{\mathrm{\&kappa;}}=C\&times;\frac{1}{L1+L2+1}\underset{i=\mathrm{\&mu;}-L2}{\overset{\mathrm{\&mu;}+L1}{\mathrm{\&Sigma;}}}\mathrm{\&kappa;}\left(i\right)---\left(III\right)$

i、利用自适应支持区域(regionofsupport，ROS)检测候选角点的角度，如果候选角点的角度取值范围为170°-190°，则将其剔除。

根据本发明优选的，步骤g中，σ＝3.5；步骤h中，C＝1.3。

根据本发明优选的，融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；具体步骤包括：

j、利用步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，构建稀疏基矩阵Ψ^LBP和Ψ^CSS：

Ψ^LBP＝[Ψ^LBP ₁,Ψ^LBP ₂,……,Ψ^LBP _J](Ⅳ)

Ψ^CSS＝[Ψ^CSS ₁,Ψ^CSS ₂,……,Ψ^CSS _J](Ⅴ)

其中，

Ψ^LBP _i＝[Ψ^LBP _i1,Ψ^LBP _i2,…Ψ^LBP _ij,…,Ψ^LBP _in](Ⅵ)

Ψ^CSS _i＝[Ψ^CSS _i1,Ψ^CSS _i2,…Ψ^CSS _ij,…,Ψ^CSS _in](Ⅶ)

Ψ^LBP _ij为第i种手势的第j幅训练手势图像的LBP特征列向量，Ψ^CSS _ij为第i种手势的第j幅训练手势图像的CSS角点特征列向量，设定一共有J种手势，每种手势有n幅训练图像；

k、采用高斯随机矩阵作为测量矩阵Φ，分别对步骤j中得到的Ψ^LBP和Ψ^CSS进行随机测量，得到测度矩阵A^LBP和A^CSS：

A^LBP＝ΦΨ^LBP(Ⅷ)

A^CSS＝ΦΨ^CSS(Ⅸ)

假设x^LBP为一幅测试手势图像的LBP特征向量，x^CSS是该幅测试手势图像的CSS角点特征向量，用测量矩阵Φ分别对其随机测量，得到观测集y^LBP和y^CSS：

y^LBP＝Φx^LBP(Ⅹ)

y^CSS＝Φx^CSS(Ⅺ)

l、将y^LBP表示为A^LBP的线性组合，将y^CSS表示为A^CSS的线性组合：

y^LBP＝A^LBPθ^LBP+e(Ⅻ)

y^CSS＝A^CSSθ^CSS+e(XIII)

其中，θ^LBP和θ^CSS是系数矩阵，θ为稀疏的，即：如果θ中有K个系数是非零的，K小于θ中数据的个数；则θ称为K稀疏的；e为噪声常数，‖e‖₂<ε，ε小于10^-5，引入噪声常数e是考虑到处理过程中会产生噪声的影响。

m、利用l1范数最优化的方法从式(XII)、式(XIII)中分别解出θ^LBP和θ^CSS，l1范数最优化为，若y＝Aθ+e，则：

$\widetilde{\mathrm{\&theta;}}=\arg min\left|\right|\mathrm{\&theta;}|{|}_1,s.t.||y-A\mathrm{\&theta;}|{|}_2\&le;\mathrm{\&epsiv;}---\left(XIV\right)$

n、利用与第i种手势相对应的系数θ^LBP _i和θ^CSS _i重建观测集y^LBP _i和y^CSS _i：

y^LBP _i＝Ψ^LBP _iθ^LBP _i(XV)

y^CSS _i＝Ψ^CSS _iθ^CSS _i(XVI)

其中，i＝1,2,……J.

n、利用不同的权值ω_LBP和ω_CSS融合LBP特征及CSS角点特征，用式(XVII)的分类策略进行分类，即源测试图像的观测集和重建观测集之间的误差i^*最小的类别就是该测试图像所属的类，ω_LBP为LBP特征在分类决策中的权重，ω_CSS为CSS角点特征在分类决策中的权重，ω_LBP+ω_CSS＝1；当ω_LBP＝1时，表示仅使用LBP特征进行分类，当ω_CSS＝1时，表示仅使用CSS特征进行分类：

$i^{*}=\underset{i}{\arg \min }\left({\mathrm{\&omega;}}_{LBP}\right||y^{LBP}-y_i^{LBP}|{|}_2^2+{\mathrm{\&omega;}}_{CSS}\left|\right|y^{CSS}-y_i^{CSS}\left|{|}_2^2\right)---\left(XVII\right).$

根据本发明优选的，ω_LBP＝0.63，ω_CSS＝0.37。

本发明的有益效果为：

LBP特征是一种局部特征，具有平移不变性，旋转不变性，能较好地抵抗光照并且计算简单的特点，但是它不具有尺度不变性。CSS角点特征是一种全局特征，它具有平移不变性，旋转不变性和尺度不变性，并且对噪声和遮挡都有一定的抵抗性，但是它容易误检或漏检角点。本发明通过融合这两种局部特征和全局特征，并且采用CS作为分类器在一定程度上弥补了它们的缺陷，通过在JochenTriesh手势数据库上的实验证明本方法比单独用一种特征的识别率都要高，若仅使用LBP特征识别率为87.5％，若仅使用CSS角点特征识别率为72.5％，融合两种特征之后的识别率为96.25％，并且比其他一些常见的手势识别方法的识别率也要好。

附图说明

图1为本发明所述方法流程示意图；

图2(a)为本发明所述手势图像源图像示意图；

图2(b)为本发明所述二值图像示意图；

图2(c)为本发明所述手势的轮廓边缘示意图；

图3(a)为本发明所述手势图像源图像示意图；

图3(b)为本发明所述手势图像LBP值图像示意图；

图3(c)为本发明所述手势图像均匀LBP统计直方图示意图；

图4为本发明所述提取手势图像的CSS角点特征的图像示意图；

图5为利用CS算法设计分类器进行分类的流程图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例

本实施例是在JochenTriesh手势数据库上进行的，该数据库共720幅图像，包含10种手势，对24个不同的人分别在3种不同的背景下拍摄，包括单一亮背景，单一暗背景和复杂背景。在本实施例中只利用单一亮背景和单一暗背景下的共480幅图像，将每幅图像裁剪到80×80像素大小。

一种基于视觉的静态手势识别方法，具体步骤包括：

A、训练阶段

(1)采集训练手势图像样本；

(2)对步骤(1)采集到的训练手势图像进行预处理；

(3)提取步骤(2)预处理后的训练手势灰度图像的LBP特征；

(4)提取步骤(2)预处理后的训练手势轮廓图像的CSS角点特征；

(5)融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；

B、测试阶段

(6)采集测试手势图像样本；

(7)对步骤(6)采集到的测试手势图像进行预处理；

(8)提取步骤(7)预处理后的测试手势灰度图像的LBP特征；

(9)提取步骤(7)预处理后的测试手势轮廓图像的CSS角点特征；

(10)融合步骤(8)得到的测试手势图像的LBP特征及步骤(9)得到的测试手势图像的CSS角点特征，利用步骤(5)训练好的分类器进行分类。

步骤(1)具体包括：取每种手势的前20个人的手势图像作为训练手势图像，共400幅训练手势图像；步骤(6)取每种手势的后4个人的手势图像作为测试手势图像，共80幅测试手势图像。

步骤(2)、步骤(7)所述预处理，具体包括：

a、将彩色图像变换为灰度图像；

b、利用基于阈值的二值化方法对步骤a得到的灰度图像进行处理，得到手势的二值图像；

c、对步骤b得到的手势的二值图像进行形态学处理，得到手势区域平滑的二值图像；

d、采用边缘检测算法得到手势的轮廓边缘。

步骤(3)、步骤(8)所述提取手势图像的LBP特征向量，具体包括：

e、设定所述手势图像中的一个像素点为中心像素点，则以中心像素点为圆心、半径为R的P个邻域像素点上的LBP值LBP_P-R的求取公式如式(Ⅰ)所示：

${\mathrm{LBP}}_{P-R}=\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_i-g_c)\&times;2^i---\left(I\right)$

式(Ⅰ)中， $s\left(x\right)=\left\{\begin{array}{cc}0,& x<0\\ 1,& x\&GreaterEqual;0\end{array}\right.,$ g_c表示中心像素点的灰度值，g_i表示中心像素点的第i个邻域像素点的灰度值；s(g_i-g_c)表示第i个邻域像素点的LBP编码，即若g_i≥g_c则该第i个邻域像素点的LBP编码为1，若g_i<g_c则该第i个邻域像素点的LBP编码为0；R为1个像素，P为8个像素；

f、判断步骤e获取的LBP编码是否为均匀的LBP编码，将步骤e获取的LBP编码首尾相连，如果至多有两次0和1之间的转换，则该LBP编码为均匀LBP编码，将均匀LBP编码图像的统计直方图作为手势图像的LBP特征。图3(a)为选取的一幅手势源图像示意图，图3(b)为该手势源图像的半径为1的8邻域点上的LBP图像示意图，图3(c)为其均匀LBP统计直方图示意图。

步骤(4)、步骤(9)所述提取手势图像的CSS角点特征，具体包括：

g、找到步骤(2)、步骤(7)预处理后的手势图像的轮廓上的T形交叉点，标记为T形角点，设定手势图像的轮廓函数为Г(μ)＝(x(μ),y(μ))，将轮廓上的点用弧长参数μ表达，x(μ)是轮廓上点的横坐标，y(μ)是轮廓上点的纵坐标；将Г(μ)在不同尺度的高斯函数g(μ，σ)下滤波得到不同尺度下的轮廓函数Г_σ(μ)＝(X(μ,σ),Y(μ,σ))，X(μ,σ)＝x(μ)*g(μ，σ)，Y(μ,σ)＝y(μ)*g(μ，σ)，σ是尺度参数，*为卷积运算符；利用(II)式计算在一个较低的尺度σ下的轮廓函数Г_σ(μ)的曲率κ(μ，σ)，所述较低的尺度σ的取值为3.5，如式(Ⅱ)所示：

$\mathrm{\&kappa;}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{X_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})Y_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})-X_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})Y_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})}{{(X_{\mathrm{\&mu;}}{\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)}^2+Y_{\mathrm{\&mu;}}{\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)}^2)}^{\frac{3}{2}}}---\left(II\right)$

式(Ⅱ)中， $X_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{\&part;}{\&part;\mathrm{\&mu;}}X(\mathrm{\&mu;},\mathrm{\&sigma;})=x\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$Y_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{\&part;}{\&part;\mathrm{\&mu;}}Y(\mathrm{\&mu;},\mathrm{\&sigma;})=y\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$X_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{{\&part;}^2}{\&part;{\mathrm{\&mu;}}^2}X(\mathrm{\&mu;},\mathrm{\&sigma;})=x\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$Y_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{{\&part;}^2}{\&part;{\mathrm{\&mu;}}^2}Y(\mathrm{\&mu;},\mathrm{\&sigma;})=y\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

h、将步骤g得到的局部曲率极大点作为候选角点，利用式(III)确定候选角点的局部自适应阈值T(μ1)，式(III)中，μ1是候选角点在曲线上的位置，表示候选角点的邻域区域内的平均曲率，L1和L2是邻域区域的大小，i表示邻域区域内的点，κ(i)表示邻域区域内的点的曲率，C为一个系数，C的取值范围为1<C<2，将局部自适应阈值与候选角点的曲率进行比较，如果该候选角点的曲率小于其局部自适应阈值，则将该候选角点剔除；

$T\left(\mathrm{\&mu;}1\right)=C\&times;\stackrel{\&OverBar;}{\mathrm{\&kappa;}}=C\&times;\frac{1}{L1+L2+1}\underset{i=\mathrm{\&mu;}-L2}{\overset{\mathrm{\&mu;}+L1}{\mathrm{\&Sigma;}}}\mathrm{\&kappa;}\left(i\right)---\left(III\right)$

i、利用自适应支持区域(regionofsupport，ROS)检测候选角点的角度，如果候选角点的角度取值范围为170°-190°，则将其剔除。

图4为选取的一幅利用该方法检测的提取手势图像的CSS角点特征的图像示意图。

根据本实施例优选的，融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；图5为利用CS算法设计分类器进行分类的流程图，具体步骤包括：

j、利用步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，构建稀疏基矩阵Ψ^LBP和Ψ^CSS：

Ψ^LBP＝[Ψ^LBP ₁,Ψ^LBP ₂,……,Ψ^LBP _J](Ⅳ)

Ψ^CSS＝[Ψ^CSS ₁,Ψ^CSS ₂,……,Ψ^CSS _J](Ⅴ)

其中，

Ψ^LBP _i＝[Ψ^LBP _i1,Ψ^LBP _i2,…Ψ^LBP _ij,…,Ψ^LBP _in](Ⅵ)

Ψ^CSS _i＝[Ψ^CSS _i1,Ψ^CSS _i2,…Ψ^CSS _ij,…,Ψ^CSS _in](Ⅶ)

Ψ^LBP _ij为第i种手势的第j幅训练手势图像的LBP特征列向量，Ψ^CSS _ij为第i种手势的第j幅训练手势图像的CSS角点特征列向量，设定一共有J种手势，每种手势有n幅训练图像；

k、采用高斯随机矩阵作为测量矩阵Φ，分别对步骤j中得到的Ψ^LBP和Ψ^CSS进行随机测量，得到测度矩阵A^LBP和A^CSS：

A^LBP＝ΦΨ^LBP(Ⅷ)

A^CSS＝ΦΨ^CSS(Ⅸ)

假设x^LBP为一幅测试手势图像的LBP特征向量，x^CSS是该幅测试手势图像的CSS角点特征向量，用测量矩阵Φ分别对其随机测量，得到观测集y^LBP和y^CSS：

y^LBP＝Φx^LBP(Ⅹ)

y^CSS＝Φx^CSS(Ⅺ)

l、将y^LBP表示为A^LBP的线性组合，将y^CSS表示为A^CSS的线性组合：

y^LBP＝A^LBPθ^LBP+e(Ⅻ)

y^CSS＝A^CSSθ^CSS+e(XIII)

其中，θ^LBP和θ^CSS是系数矩阵，θ为稀疏的，即：如果θ中有K个系数是非零的，K小于θ中数据的个数；则θ称为K稀疏的；e为噪声常数，‖e‖₂<ε，ε＝10^-6，引入噪声常数e是考虑到处理过程中会产生噪声的影响。

m、利用l1范数最优化的方法从式(XII)、式(XIII)中分别解出θ^LBP和θ^CSS，l1范数最优化为，若y＝Aθ+e，则：

$\widetilde{\mathrm{\&theta;}}=\arg \min \left|\right|\mathrm{\&theta;}|{|}_1,s.t.||y-A\mathrm{\&theta;}|{|}_2\&le;\mathrm{\&epsiv;}---\left(XIV\right)$

n、利用与第i种手势相对应的系数θ^LBP _i和θ^CSS _i重建观测集y^LBP _i和y^CSS _i：

y^LBP _i＝Ψ^LBP _iθ^LBP _i(XV)

y^CSS _i＝Ψ^CSS _iθ^CSS _i(XVI)

其中，i＝1,2,……J.

n、利用不同的权值ω_LBP和ω_CSS融合LBP特征及CSS角点特征，用式(XVII)的分类策略进行分类，即源测试图像的观测集和重建观测集之间的误差i^*最小的类别就是该测试图像所属的类，ω_LBP为LBP特征在分类决策中的权重，ω_CSS为CSS角点特征在分类决策中的权重，ω_LBP＝0.63，ω_CSS＝0.37：

$i^{*}=\underset{i}{\arg \min }\left({\mathrm{\&omega;}}_{LBP}\right||y^{LBP}-y_i^{LBP}|{|}_2^2+{\mathrm{\&omega;}}_{CSS}\left|\right|y^{CSS}-y_i^{CSS}\left|{|}_2^2\right)---\left(XVII\right).$

Claims (8)

1.一种基于视觉的静态手势识别方法，其特征在于，具体步骤包括：

A、训练阶段

(1)采集训练手势图像样本；

(2)对步骤(1)采集到的训练手势图像进行预处理；

(3)提取步骤(2)预处理后的训练手势灰度图像的LBP特征；

(4)提取步骤(2)预处理后的训练手势轮廓图像的CSS角点特征；

(5)融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；

B、测试阶段

(6)采集测试手势图像样本；

(7)对步骤(6)采集到的测试手势图像进行预处理；

(8)提取步骤(7)预处理后的测试手势灰度图像的LBP特征；

(9)提取步骤(7)预处理后的测试手势轮廓图像的CSS角点特征；

(10)融合步骤(8)得到的测试手势图像的LBP特征及步骤(9)得到的测试手势图像的CSS角点特征，利用步骤(5)训练好的分类器进行分类。

2.根据权利要求1所述的一种基于视觉的静态手势识别方法，其特征在于，步骤(2)、步骤(7)所述预处理，具体包括：

a、将彩色图像变换为灰度图像；

b、利用基于阈值的二值化方法对步骤a得到的灰度图像进行处理，得到手势的二值图像；

c、对步骤b得到的手势的二值图像进行形态学处理，得到手势区域平滑的二值图像；

d、采用边缘检测算法得到手势的轮廓边缘。

3.根据权利要求1所述的一种基于视觉的静态手势识别方法，其特征在于，步骤(3)、步骤(8)所述提取手势图像的LBP特征向量，具体包括：

e、设定所述手势图像中的一个像素点为中心像素点，则以中心像素点为圆心、半径为R的P个邻域像素点上的LBP值LBP_P-R的求取公式如式(Ⅰ)所示：

${\mathrm{LBP}}_{P-R}=\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_i-g_c)\&times;2^i---\left(I\right)$

式(Ⅰ)中， $s\left(x\right)=\left\{\begin{array}{cc}0,& x<0\\ 1,& x\&GreaterEqual;0\end{array}\right.,$ g_c表示中心像素点的灰度值，g_i表示中心像素点的第i个邻域像素点的灰度值；s(g_i-g_c)表示第i个邻域像素点的LBP编码，即若g_i≥g_c则该第i个邻域像素点的LBP编码为1，若g_i<g_c则该第i个邻域像素点的LBP编码为0；R为1个或2个像素，P为8个或16个像素；

f、判断步骤e获取的LBP编码是否为均匀的LBP编码，将步骤e获取的LBP编码首尾相连，如果至多有两次0和1之间的转换，则该LBP编码为均匀LBP编码，将均匀LBP编码图像的统计直方图作为手势图像的LBP特征。

4.根据权利要求3所述的一种基于视觉的静态手势识别方法，其特征在于，R为1个像素，P为8个像素。

5.根据权利要求1所述的一种基于视觉的静态手势识别方法，其特征在于，步骤(4)、步骤(9)所述提取手势图像的CSS角点特征，具体包括：

g、找到步骤(2)、步骤(7)预处理后的手势图像的轮廓上的T形交叉点，标记为T形角点，设定手势图像的轮廓函数为Г(μ)＝(x(μ),y(μ))，将轮廓上的点用弧长参数μ表达，x(μ)是轮廓上点的横坐标，y(μ)是轮廓上点的纵坐标；将Г(μ)在不同尺度的高斯函数g(μ，σ)下滤波得到不同尺度下的轮廓函数Г_σ(μ)＝(X(μ,σ),Y(μ,σ))，X(μ,σ)＝x(μ)*g(μ，σ)，Y(μ,σ)＝y(μ)*g(μ，σ)，σ是尺度参数，*为卷积运算符；计算在一个较低的尺度σ下的轮廓函数Г_σ(μ)的曲率κ(μ，σ)，所述较低的尺度σ的取值范围为3.0-4.0，如式(Ⅱ)所示：

$\mathrm{\&kappa;}\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)=\frac{X_{\mathrm{\&mu;}}\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)Y_{\mathrm{\&mu;}\mathrm{\&mu;}}\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)-X_{\mathrm{\&mu;}\mathrm{\&mu;}}\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)Y_{\mathrm{\&mu;}}\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)}{{\left(X_{\mathrm{\&mu;}}{\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)}^2+Y_{\mathrm{\&mu;}}{\left(\mathrm{\&mu;},\mathrm{\&sigma;}\right)}^2\right)}^{\frac{3}{2}}}---\left(II\right)$

式(Ⅱ)中， $X_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{\&part;}{\&part;\mathrm{\&mu;}}X(\mathrm{\&mu;},\mathrm{\&sigma;})=x\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$Y_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{\&part;}{\&part;\mathrm{\&mu;}}Y(\mathrm{\&mu;},\mathrm{\&sigma;})=y\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$X_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{{\&part;}^2}{\&part;{\mathrm{\&mu;}}^2}X(\mathrm{\&mu;},\mathrm{\&sigma;})=x\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

$Y_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;})=\frac{{\&part;}^2}{\&part;{\mathrm{\&mu;}}^2}Y(\mathrm{\&mu;},\mathrm{\&sigma;})=y\left(\mathrm{\&mu;}\right)*g_{\mathrm{\&mu;}\mathrm{\&mu;}}(\mathrm{\&mu;},\mathrm{\&sigma;});$

h、将步骤g得到的局部曲率极大点作为候选角点，利用式(III)确定候选角点的局部自适应阈值T(μ1)，式(III)中，μ1是候选角点在曲线上的位置，表示候选角点的邻域区域内的平均曲率，L1和L2是邻域区域的大小，i表示邻域区域内的点，κ(i)表示邻域区域内的点的曲率，C为一个系数，C的取值范围为1<C<2，将局部自适应阈值与候选角点的曲率进行比较，如果该候选角点的曲率小于其局部自适应阈值，则将该候选角点剔除；

$T\left(\mathrm{\&mu;}1\right)=C\&times;\stackrel{\&OverBar;}{\mathrm{\&kappa;}}=C\&times;\frac{1}{L1+L2+1}\underset{i=\mathrm{\&mu;}-L2}{\overset{\mathrm{\&mu;}+L1}{\&Sigma;}}\mathrm{\&kappa;}\left(i\right)---\left(III\right)$

i、利用自适应支持区域检测候选角点的角度，如果候选角点的角度取值范围为170°-190°，则将其剔除。

6.根据权利要求5所述的一种基于视觉的静态手势识别方法，其特征在于，步骤g中，σ＝3.5；步骤h中，C＝1.3。

7.根据权利要求1所述的一种基于视觉的静态手势识别方法，其特征在于，融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；具体步骤包括：

j、利用步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，构建稀疏基矩阵Ψ^LBP和Ψ^CSS：

Ψ^LBP＝[Ψ^LBP ₁,Ψ^LBP ₂,……,Ψ^LBP _J](Ⅳ)

Ψ^CSS＝[Ψ^CSS ₁,Ψ^CSS ₂,……,Ψ^CSS _J](Ⅴ)

其中，

Ψ^LBP _i＝[Ψ^LBP _i1,Ψ^LBP _i2,…Ψ^LBP _ij,…,Ψ^LBP _in](Ⅵ)

Ψ^CSS _i＝[Ψ^CSS _i1,Ψ^CSS _i2,…Ψ^CSS _ij,…,Ψ^CSS _in](Ⅶ)

Ψ^LBP _ij为第i种手势的第j幅训练手势图像的LBP特征列向量，Ψ^CSS _ij为第i种手势的第j幅训练手势图像的CSS角点特征列向量，设定一共有J种手势，每种手势有n幅训练图像；

k、采用高斯随机矩阵作为测量矩阵Φ，分别对步骤j中得到的Ψ^LBP和Ψ^CSS进行随机测量，得到测度矩阵A^LBP和A^CSS：

A^LBP＝ΦΨ^LBP(Ⅷ)

A^CSS＝ΦΨ^CSS(Ⅸ)

假设x^LBP为一幅测试手势图像的LBP特征向量，x^CSS是该幅测试手势图像的CSS角点特征向量，用测量矩阵Φ分别对其随机测量，得到观测集y^LBP和y^CSS：

y^LBP＝Φx^LBP(Ⅹ)

y^CSS＝Φx^CSS(Ⅺ)

l、将y^LBP表示为A^LBP的线性组合，将y^CSS表示为A^CSS的线性组合：

y^LBP＝A^LBPθ^LBP+e(Ⅻ)

y^CSS＝A^CSSθ^CSS+e(XIII)

其中，θ^LBP和θ^CSS是系数矩阵，θ为稀疏的，即：如果θ中有K个系数是非零的，K小于θ中数据的个数；则θ称为K稀疏的；e为噪声常数，‖e‖₂<ε，ε小于10^-5；

m、利用l1范数最优化的方法从式(XII)、式(XIII)中分别解出θ^LBP和θ^CSS，l1范数最优化为，若y＝Aθ+e，则：

$\widetilde{\mathrm{\&theta;}}=\arg min\left|\right|\mathrm{\&theta;}|{|}_1,s.t.||y-A\mathrm{\&theta;}|{|}_2\&le;\mathrm{\&epsiv;}---\left(XIV\right)$

n、利用与第i种手势相对应的系数θ^LBP _i和θ^CSS _i重建观测集y^LBP _i和y^CSS _i：

y^LBP _i＝Ψ^LBP _iθ^LBP _i(XV)

y^CSS _i＝Ψ^CSS _iθ^CSS _i(XVI)

其中，i＝1,2,……J.

n、利用不同的权值ω_LBP和ω_CSS融合LBP特征及CSS角点特征，用式(XVII)的分类策略进行分类，即源测试图像的观测集和重建观测集之间的误差i^*最小的类别就是该测试图像所属的类，ω_LBP为LBP特征在分类决策中的权重，ω_CSS为CSS角点特征在分类决策中的权重，ω_LBP+ω_CSS＝1；

$i^{*}=\underset{i}{\arg \min }\left({\mathrm{\&omega;}}_{LBP}\left|\right|y^{LBP}-y_i^{LBP}|{|}_2^2+{\mathrm{\&omega;}}_{CSS}||y^{CSS}-y_i^{CSS}|{|}_2^2\right)---\left(XVII\right).$

8.根据权利要求7所述的一种基于视觉的静态手势识别方法，其特征在于，ω_LBP＝0.63，ω_CSS＝0.37。