CN101359367B - 一种基于四边形骨架结构的静态手势特征描述方法 - Google Patents

Abstract

本发明公开的一种基于四边形骨架结构的静态手势特征描述方法，首先通过肤色区域检测获得静态手势区域的二值模板；然后，根据该二值模板构建外接矩形，并将该外接矩形等分为四个子矩形；并分别在四个子矩形中寻找落在其内部的二值模板像素点集的质心，连接四个质心构造一个能够反映不同手势的四边形骨架；之后，提取该四边形骨架的六个周长比，四个角周比和四个矩形度作为描述特征量，对该描述特征量进行归一化处理，形成14维的特征向量，用于表示不同的静态手势。本发明方法不仅能够给出区分常用手势的特征，而且能给出区分复杂静态手势的特征，并能满足实时处理的要求，提高复杂手势的识别正确率。

Description

一种基于四边形骨架结构的静态手势特征描述方法

技术领域

本发明属于图像生物特征识别技术领域，涉及一种静态手势的特征描述方法，具体涉及一种基于四边形骨架结构的静态手势特征描述方法。

背景技术

手势识别，属于肢体语言识别范畴的相关技术，是一种生物特征识别技术；可以用于人机交互、哑语翻译等领域。根据手势的运动状态可以将手势定义为静态手势和动态手势。

静态手势的特征描述，是手势识别技术中的关键环节，现有的静态手势的特征描述，多采用不变矩、傅里叶描述符、交点统计等方法，但这些方法对于复杂手势的识别正确率较低、耗时长，不能满足对特征手势实时提取的要求。

发明内容

本发明的目的在于提供一种基于四边形骨架结构的静态手势特征描述方法，提高复杂手势识别的正确率，节省时间，并能实时进行手势特征的提取。

本发明所采用的技术方案是，一种基于四边形骨架结构的静态手势特征描述方法，通过肤色检测获得静态手势的二值模板，对该二值模板构造四边形骨架结构，然后，提取四边形骨架结构的14个具有缩放不变性的特征量，并对该特征量进行归一化处理，用以对不同的手势进行描述，该方法按以下步骤进行：

步骤1：提取拍摄的静态手势视频帧画面中的手势区域

采用现有的肤色检测方法，将RGB色系下拍摄得到的视频帧画面中的手势区域根据以下公式转换到YIQ色系，生成该手势区域的二值模板：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.275& -0.321\\ 0.212& -0.515& 0.311\end{array}\right]\left[\begin{array}{c}r\\ g\\ b\end{array}\right]$

$r=\frac{R}{255},$ $g=\frac{G}{255},$ $b=\frac{B}{255}.$

式中，R、G、B分别为图像的红色、绿色、蓝色通道的三基色值，r、g、b分别表示RGB色系下归一化后的三基色值，Y、I、Q分别表示转换到YIQ色系后图像的亮度、色调和饱和度；

步骤2：根据手势二值模板构建手势四边形骨架结构

根据步骤1得到的静态手势的二值模板，构建静态手势的四边形骨架结构，具体构建步骤如下：

1)找出静态手势二值模板的四个边界像素点，根据该四个边界像素点构建一个外接矩形，锁定手势区域，

2)将步骤1)构建的外接矩形均分为四个子矩形，

3)按以下公式分别求取步骤2)得到的四个子矩形区域内包含的静态手势部分的质心，质心的计算公式为：

$x_m=\frac{1}{N_S}\·\underset{(x,y\∈S)}{\mathrm{\Σ}}x,$ $y_m=\frac{1}{N_S}\·\underset{(x,y\∈S)}{\mathrm{\Σ}}y;$

式中，S表示连通域，即子矩形中的部分手势所构成的区域，N_s表示连通域内像素的个数，(x_m，y_m)为质心的坐标，

以确定的四个质心为顶点，依次连接构成一个四边形，该四边形即为静态手势的骨架结构；

步骤3：提取静态手势四边形骨架结构的特征量

1)分别求取步骤2构建的四边形骨架结构的边周比、角周比、矩形度，作为特征量，

按以下步骤求取边周比：

根据两点间距离公式

分别计算出步骤2得到的四边形的四条边和两条对角线的长度，按逆时针，分别求取各线段的长度分别与四边形的周长Cs的比值，生成以下六个边周比值，作为特征量：

f₁＝AB/Cs；

f₂＝BC/Cs；

f₃＝CD/Cs；

f₄＝DA/Cs；

f₅＝AC/Cs；

f₆＝BD/Cs；

式中，AB、BC、CD、DA分别为按逆时针四边形各边的长度，AC、BD分别是四边形两对角线的长度，

按以下步骤求取角周比：

根据余弦定理逆时针分别计算出四边形四个顶角的值，各顶角的值与四边形内角和的比，生成以下四个角周比值，作为特征量：

f₇＝∠A/360；

f₈＝∠B/360；

f₉＝∠C/360；

f₁₀＝∠D/360；

式中，∠A、∠B、∠C、∠D分别表示四边形四个顶角的值，

按以下步骤求取矩形度：

分别计算各子矩形内手势部分连通域面积A_Si与各子矩形面积A_Ri的比值，形成以下四个矩形度值，作为特征量：

f₁₁＝A_S1/A_R1；

f₁₂＝A_S2/A_R2；

f₁₃＝A_S3/A_R3；

f₁₄＝A_S4/A_R4；

式中，A_S1、A_S2、A_S3、A_S4分别表示各子矩形内手势部分的连通域面积，A_R1、A_R2、A_R3、A_R4分别表示各子矩形的面积，

2)对上面得到的f₁、f₂、f₃、f₄、f₅、f₆、f₇、f₈、f₉、f₁₀、f₁₁、f₁₂、f₁₃、f₁₄这14个特征量进行归一化处理，即计算各特征量的特征量和

然后，将各特征量用f′_i＝f_i/sum代替，所获得的归一化后的14个特征构成一个14维的特征向量，用以表示不同的静态手势。

本发明静态手势特征描述方法，采用四边形骨架结构替代复杂的手势，实现了手势特征提取的简单化，达到了对手势特征实时的提取，适用于不同人手的不同手势的识别，无论是对手指根数和手指朝向不同的轮廓差异较大的手势，还是对手型相同但朝向不同的轮廓差异细微的手势，均可获得良好的识别结果。

附图说明

图1是采用肤色检测方法生成的静态手势的二值手势模板图；图2是采用本发明方法构建的静态手势四边形骨架结构图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明方法，首先利用现有肤色检测方法提取手势区域生成的二值手势模板，然后，根据该二值手势模板构建四边形骨架结构，并依据构建的四边形骨架结构生成静态手势特征，该方法按以下步骤进行：

步骤1：提取拍摄的静态手势视频帧画面中的手势区域

采用现有的肤色检测方法，将人手显示的具体静态手势，在RGB色系下拍摄，将得到的视频帧画面中的手势区域，根据以下公式转换到YIQ色系，并将其提取出来，生成如图1所示的该手势区域的二值模板：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.275& -0.321\\ 0.212& -0.515& 0.311\end{array}\right]\left[\begin{array}{c}r\\ g\\ b\end{array}\right]$

$r=\frac{R}{255},g=\frac{G}{255},b=\frac{B}{255}.$

其中，R、G、B分别为图像的红色、绿色、蓝色通道的三基色值，r、g、b分别表示RGB色系下归一化后的三基色值，Y、  I、Q分别表示转换到YIQ色系后图像的亮度、色调和饱和度。

本发明方法采用YIQ色系下进行肤色检测，是因为人手肤色分布在一定的颜色区域内，静态手势对环境光照条件差异具有适应性，且在YIQ色系下，人手肤色在I∈[0.04561，0.1961]的范围内具有良好的聚类特性。

步骤2：根据手势二值模板构建手势四边形骨架结构

根据步骤1得到的静态手势的二值模板，构建静态手势的四边形骨架结构，具体构建步骤如下：

1)寻找静态手势二值模板的外接矩形

对静态手势二值模板进行上、下、左、右四个方向的搜索，找出该模板的四个边界像素点，并根据边界像素点构建一个如图2所示的外接矩形，锁定手势区域。

2)划分子矩形

确定1)中构建的外接矩形的各边中点，将相对两条边的中点连线，该中点连线将外接矩形划分为四个子矩形，按逆时针依次记为1、2、3、4，如图2所示。

3)构造静态手势的骨架结构

分别求取四个子矩形区域内包含的静态手势部分的质心，质心的计算公式为：

$x_m=\frac{1}{N_S}\·\underset{(x,y\∈S)}{\mathrm{\Σ}}x,y_m=\frac{1}{N_S}\·\underset{(x,y\∈S)}{\mathrm{\Σ}}y;$

式中，S表示连通域，即子矩形中的部分手势所构成的区域，N_s表示连通域内像素的个数，(x_m，y_m)为质心的坐标。

如果某个子矩形内不存在静态手势二值模板的像素点，则用1)中所得外接矩形的中心点替代该子矩形的质心，记为A、B、C、D。

以确定的四个质心为顶点，依次连接构成四边形ABCD，该四边形即为静态手势的骨架结构，如图2所示。

3.提取静态手势四边形骨架结构的特征

手势输入时，由于人手离拍摄镜头远近的不同，手势在图像中的大小随之发生相应变化，同时，相同的手势形状但不同的手指朝向，在手势的定义中意味着不同的含义，所以，提取的静态手势的特征必须保证同一手势特征量的缩放不变性，特征量必须能够将其明确地区分，故采用0到1之间的比例数作为静态手势四边形骨架结构的特征量；

1)边周比

根据两点间距离公式

分别计算出步骤2得到的四边形ABCD的四条边AB、BC、CD和DA以及对角线AC、BD的长度。

按逆时针，将上述各线段的长度分别与四边形ABCD的周长Cs求比，生成以下六个特征：

f₁＝AB/Cs；

f₂＝BC/Cs；

f₃＝CD/Cs；

f₄＝DA/Cs；

f₅＝AC/Cs；

f₆＝BD/Cs；

选取周长Cs作为分母，保证了特征为0到1之间的小数；

2)角周比

根据余弦定理逆时针分别计算出顶角∠A、∠B、∠C、∠D的值，各顶角的值与四边形内角和的比生成以下4个特征：

f₇＝∠A/360；

f₈＝∠B/360；

f₉＝∠C/360；

f₁₀＝∠D/360；

四边形内角和恒为360度，因此，保证了该特征为0到1之间的小数，并且具备统一的分母；

3)矩形度

矩形度是描述连通域与矩形相似程度的量，分别计算各子矩形1、2、3、4内手势部分连通域面积A_Si与各子矩形面积A_Ri的比值，该比值为以下四个特征：

f₁₁＝A_S1/A_R1；

f₁₂＝A_S2/A_R2；

f₁₃＝A_S3/A_R3；

f₁₄＝A_S4/A_R4；

子矩形面积为手势外接矩形等分而成，故A_R1＝A_R2＝A_R3＝A_R4，使得矩形度公式的分母相同，且特征量在0到1之间，

4)对1)、2)和3)得到的14个特征量进行归一化处理，即计算各特征量的特征量和 $\mathrm{sum}=\underset{i=1}{\overset{14}{\mathrm{\Σ}}}{f}_i$ ，然后，将各特征量用 $f_i^{\′}=f_i/\mathrm{sum}$ 替，所获得的归一化后的14个特征构成一个14维的特征向量，用以表示不同的手势。

本发明方法，根据不同手势的形状不同，将其二值模板的分布特性通过四边形骨架连接方式进行连接，之后，统计该四边形骨架的形状特征，获得对不同手势特征的描述，手势的骨架结构是一种抽象、简化形状的方法，在小计算量的前提下，能够有效地区分相似静态手势特征。

Claims (1)

1.一种基于四边形骨架结构的静态手势特征描述方法，通过肤色检测获得静态手势的二值模板，对该二值模板构造四边形骨架结构，然后，提取四边形骨架结构的14个具有缩放不变性的特征量，并对该特征量进行归一化处理，用以对不同的手势进行描述，其特征在于，该方法按以下步骤进行：

步骤1：提取拍摄的静态手势视频帧画面中的手势区域

采用现有的肤色检测方法，将RGB色系下拍摄得到的视频帧画面中的手势区域根据以下公式转换到YIQ色系，生成该手势区域的二值模板：

式中，R、G、B分别为图像的红色、绿色、蓝色通道的三基色值，r、g、b分别表示RGB色系下归一化后的三基色值，Y、I、Q分别表示转换到YIQ色系后图像的亮度、色调和饱和度；

步骤2：根据手势二值模板构建手势四边形骨架结构

根据步骤1得到的静态手势的二值模板，构建静态手势的四边形骨架结构，具体构建步骤如下：

1)找出静态手势二值模板的四个边界像素点，根据该四个边界像素点构建一个外接矩形，锁定手势区域，

2)将步骤1)构建的外接矩形均分为四个子矩形，

3)按以下公式分别求取步骤2)得到的四个子矩形区域内包含的静态手势部分的质心，质心的计算公式为：

式中，S表示连通域，即子矩形中的部分手势所构成的区域，N_S表示连通域内像素的个数，(x_m，y_m)为质心的坐标，

以确定的四个质心为顶点，依次连接构成一个四边形，该四边形即为静态手势的骨架结构；

步骤3：提取静态手势四边形骨架结构的特征量

1)分别求取步骤2构建的四边形骨架结构的边周比、角周比、矩形度，作为特征量，按以下步骤求取边周比：

根据两点间距离公式

分别计算出步骤2得到的四边形的四条边和两条对角线的长度，按逆时针，分别求取各线段的长度分别与四边形的周长Cs的比值，生成以下六个边周比值，作为特征量：

f₁＝AB/Cs；

f₂＝BC/Cs；

f₃＝CD/Cs；

f₄＝DA/Cs；

f₅＝AC/Cs；

f₆＝BD/Cs；

式中，AB、BC、CD、DA分别为按逆时针四边形各边的长度，AC、BD分别是四边形两对角线的长度，

按以下步骤求取角周比：

根据余弦定理逆时针分别计算出四边形四个顶角的值，各顶角的值与四边形内角和的比，生成以下四个角周比值，作为特征量：

f₇＝∠A/360；

f₈＝∠B/360；

f₉＝∠C/360；

f₁₀＝∠D/360；

式中，∠A、∠B、∠C、∠D分别表示四边形四个顶角的值，

按以下步骤求取矩形度：

分别计算各子矩形内手势部分连通域面积A_Si与各子矩形面积A_Ri的比值，形成以下四个矩形度值，作为特征量：

f₁₁＝A_S1/A_R1；

f₁₂＝A_S2/A_R2；

f₁₃＝A_S3/A_R3；

f₁₄＝A_S4/A_R4；

式中，A_S1、A_S2、A_S3、A_S4分别表示各子矩形内手势部分的连通域面积，A_R1、A_R2、A_R3、A_R4分别表示各子矩形的面积，

2)对上面得到的f₁、f₂、f₃、f₄、f₅、f₆、f₇、f₈、f₉、f₁₀、f₁₁、f₁₂、f₁₃、f₁₄这14个特征量进行归一化处理，即计算各特征量的特征量和

然后，将各特征量用f′_i＝f_i/sum代替，所获得的归一化后的14个特征构成一个14维的特征向量，用以表示不同的静态手势。

Images