CN113627217A

CN113627217A - 基于斜率差分布的全自动手势识别方法

Info

Publication number: CN113627217A
Application number: CN202010381069.9A
Authority: CN
Inventors: 王振洲
Original assignee: Shandong University of Technology
Current assignee: Shandong University of Technology
Priority date: 2020-05-08
Filing date: 2020-05-08
Publication date: 2021-11-09

Abstract

本发明公开了一种基于斜率差分布的全自动手势识别方法，通过斜率差分布阈值选取方法对手势图像进行分割并且提取出手势的轮廓，通过迭代形态学腐蚀计算手势的质心，通过计算手势质心到手势轮廓上所有点的距离得到一维距离分布，通过离散傅立叶变换在频域对一维距离分布进行滤波，再计算滤波后的一维距离分布的斜率差分布，通过令斜率差分布的导数等于零求解出斜率差分布的谷值位置与峰值位置，将谷值特征点与峰值特征点映射到手势轮廓上得到二维斜率差特征点，利用归一化后的二维斜率差特征点对每类手势进行建模，通过计算在线识别手势的归一化二维斜率差特征点与每类手势模型的归一化二维斜率差特征点的最小距离和，识别出手势的类别。

Description

基于斜率差分布的全自动手势识别方法

技术领域

本发明涉及对图像中的手势进行自动识别的技术，特别是涉及通过图像采集设备得到手势图像，通过斜率差分布阈值选取方法对手势图像进行自动分割并且提取出手势的轮廓，计算手势质心到手势轮廓上所有点的距离得到一维距离分布，通过离散傅立叶变换在频域对一维距离分布进行滤波，再计算滤波后的一维距离分布的斜率差分布，通过令斜率差分布的导数等于零求解出斜率差分布的谷值位置与峰值位置，通过特征点校准从谷值位置与峰值位置中选取一维谷值特征点与一维峰值特征点，将这些一维特征点映射到二维手势轮廓上得到二维斜率差特征点，利用归一化后的二维斜率差特征点对每类手势进行建模，通过计算在线识别手势的归一化二维斜率差特征点与每类手势模型的归一化二维斜率差特征点的最小距离和，计算出被识别手势的类别。

背景技术

本发明涉及一种对图像中的手势进行自动识别的技术。手势是人类交流与表达的重要组成部分。手势自动识别技术是人工智能交互的关键技术之一。举例来说，在驾驶汽车时，驾驶员可以通过手势对驾驶选项上进行精确选择，而无须将视线从道路上移到触摸屏显示器上进行触摸选择，从而保证了驾驶安全。

传统的手势识别技术很多，如基于神经网络的手势识别方法，基于支持向量机的手势识别方法，基于随机森林的手势识别方法，基于隐马尔可夫模型的手势识别方法等。然而这些传统的方法的识别精度不高，严重限制了手势识别的应用与发展。本发明基于斜率差分布特征点进行手势识别，斜率差分布是近几年申请人提出的一种全新的一维分布特征点计算方法，它被成功地应用到阈值选取与聚类领域，与传统方法相比取得了颠覆性的精度超越，请参见文献Z.Z. Wang, “A new approach for segmentation andquantification of cells or nanoparticles,” IEEE T Ind. Inform., 12(3): 962-971, (2016)。Z.Z. Wang, “Determining the clustering centers by slopedifference distribution,”IEEE Access, 5, 10995-11002,(2017)。本发明将斜率差分布的应用扩展到对二维手势轮廓的特征点求解，通过在一维距离分布上求解一维斜率差特征点再映射到二维手势轮廓上的方法，成功地获得一系列二维斜率差特征点，大量实验表明基于斜率差分布的手势识别方法具有超越传统手势识别方法的精度。

发明内容

本发明的目的是针对现有的手势识别方法精度偏低，无法满足一些高精度手势识别应用的要求，提供一种基于斜率差分布的手势识别方法，通过斜率差特征点对不同手势进行建模，并且利用每类手势模型中斜率差特征点与被识别手势的斜率差特征点最小距离和进行手势类别计算。

为了实现上述发明的目的，本发明采用下述技术方案实现：

本发明通过图像采集设备得到手势图像，通过斜率差分布阈值选取方法对手势图像进行自动分割并且提取出手势的轮廓，计算手势质心到手势轮廓上所有点的距离得到一维距离分布，通过离散傅立叶变换在频域对一维距离分布进行滤波，再计算滤波后的一维距离分布的斜率差分布，本发明通过计算一维距离分布的斜率差分布以及斜率差特征点，并且利用一维距离分布点与手势轮廓点的一一对应关系，将一维斜率差特征点映射到手势轮廓上得到二维斜率差特征点，利用归一化后的二维斜率差特征点对每类手势进行建模，通过计算在线识别手势的归一化二维斜率差特征点与每类手势模型的归一化二维斜率差特征点的最小距离和，计算出被识别手势的类别。

本发明与现有技术相比，有如下优点：

本发明的基于斜率差分布的全自动手势识别方法，能够鲁棒地计算出手势轮廓的斜率差特征点，通过匹配归一化的斜率差特征点进行手势识别，不仅识别准确率明显高于现有手势识别技术，效率也有所提高。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面根据工作流程图，对本发明进行详细说明。

附图1是本发明的工作流程图，首先输入的是手势图像，手势图像可以是黑白图像，彩色图像或深度图像，通过斜率差图像分割方法对手势图像进行分割得到二进制手势图像，通过边界提取得到手势的二维轮廓，通过迭代形态学腐蚀的方法计算出二进制手势的中心部分，并且根据手势中心部分的像素均值求出手势质心，通过计算手势质心到手势二维轮廓上每个像素的距离得到一维距离分布，计算一维距离分布的斜率差分布，并且将斜率差分布的谷值位置与峰值位置作为候选特征点，选取最符合条件的特征点组成一维斜率差特征点，通过维度变换将一维斜率差特征点映射到手势二维轮廓上得到二维斜率差特征点，将二维斜率差特征点归一化得到尺度不变二维斜率差特征点，最后通过模式匹配识别出手势类别。

手势斜率差图像分割方法如下：

如果手势图像是彩色图像，需要首先将图像的RGB空间变换到YUV空间，然后再通过斜率差阈值选取方法依次分割U图像与V图像,从U图像分割出背景约束，从V图像分割出手势，通过U图像中的背景约束改进V图像中分割的手势得到最终的二进制手势。

如果手势图像是黑白图像或深度图像，直接通过斜率差阈值选取方法对其进行分割，得到最终的二进制手势。

对于任意一副单通道图像（U图像或V图像或黑白图像或深度图像），斜率差阈值选取方法的计算过程如下：

通过下列公式计算图像直方图分布P(i)：

(1)

(2)

其中，F _i表示像素i在图像中发生次数，图像中发生次数最大的像素为j，其发生次数为F _j。

通过下式将直方图分布P(i)转换到频域：

(3)

通过下式去掉频域中的高频部分：

　 (4)

其中，W _c表示低通滤波器的截止频率。

通过下式将去掉高频部分的直方图分布变换回时域：

(5)

P´(i)是滤波后的直方图分布。

对于滤波后的直方图分布P´(i)上的每个点(i, P´(i)),分别在其两侧选取N个最临近点，通过下式分别拟合一条左侧直线与右侧直线：

(6)

其中， a是拟合直线的斜率。[a,b]^T是拟合直线的系数，由下列公式计算：

　 (7)

or

(8)

(9)

其中，[(i- N _f, P´(i- N _f)),( i- N _f +1, P´(i- N _f +1)),…,( i-2, P´(i-2)),( i-1, P´(i-1))]是点(i, P´(i))左侧N _f个最临近点, [(i+1, P´(i+1)),(i+2, P´(i+2)),…,(i+N _f -1, P´(i+N _f -1)),( i+N _f, P´(i+N _f))]是点(i, P´(i))右侧N _f个最临近点。

左侧拟合直线的斜率由a _l表示，右侧拟合直线的斜率由a _r表示，那么点(i, P´(i))的斜率差s(i)由下式计算：

(10)

上式计算的斜率差s(i)是离散形式的，其连续形式被称为斜率差分布。对斜率差分布求导数并且让其等于0：

(11)

求解上式，得到斜率差分布的N _p个波峰P _i ,i=1,2,…,N _p与斜率差分布的N _v个波谷V _i ,i= 1,2,…,N _v, 单通道图像的分割阈值从波谷对应的像素位置中选取，选取准则需要通过实际图像校准后确定。

手势图像分割之后得到二进制手势，二进制手势的质心计算方法如下：

步骤1：计算出二进制手势O _b的面积,用S _o表示。

步骤2：通过下列方程对二进制手势O _b进行迭代形态学腐蚀：

(12)

(13)

其中

是半径为3的球形结构元素，计算出被腐蚀的二进制手势O _e的面积,用S _e表示。

步骤3：重复步骤2直到被腐蚀的二进制手势的面积S _e小于原始二进制手势面积S _o的Q分之一：

(14)

原始二进制手势O _b的中心通过计算被腐蚀的二进制手势O _e的质心得到：

(15)

其中 (x _i , y _i), i=1,2,…,M表示被腐蚀二进制手势第i个像素的图像坐标，M表示被腐蚀二进制手势包含像素总数。

二进制手势O _b的最外围像素被提取出来作为手势轮廓C _j ^2D, i=1,2,…,L，轮廓上的点表示为P(x _j , y _j), j=1,2,…,L,其中L表示手势轮廓上点的总数，那么一维距离分布D _j ^1D, i=1,2,…,L由下式计算得到：

(16)

通过如下方法对一维距离分布D _j ^1D, i=1,2,…,L进行滤波：

步骤1：通过下式将一维距离分布D _j ^1D, i=1,2,…,L转换到频率域：

(17)

步骤2：通过下列去除F(k)高频分量：

(18)

其中W是基于离散傅立叶变换低通滤波器的截止频率。

步骤3：通过下式得到滤波后的一维距离分布D _j ^1D’, i=1,2,…,L：

(19)

滤波后的一维距离分布D _j ^1D’, i=1,2,…,L的斜率差分布由下列方法求得：

步骤1：在滤波后的一维距离分布上的某点(j, D _j ^1D’)的左边选取N个点(j, D _j ^1D’), x= j,j-1,…,j-N+1拟合一条直线：

(20)

其中a _l是拟合直线的斜率，通过下列公式求得：

(21)

(22)

(23)

步骤2：在滤波后的一维距离分布上的某点(j, D _j ^1D’)的右边选取N个点(j, D _j ^1D’), x= j,j+1,…,j+N-1拟合一条直线：

(24)

其中a _r是拟合直线的斜率，通过下列公式求得：

(25)

(26)

(27)

步骤3：滤波后的一维距离分布上的某点(j, D _j ^1D’)的斜率差由下式计算：

(28)

滤波后的一维距离分布上的一系列点的斜率差形成斜率差分布，由S(x),x=N+1,2,…, L-N表示，令斜率差分布的导数为零：

(29)

上式的解就是斜率差分布中的谷值位置V _i, i=1,2,…,N _V与峰值位置P _i, i=1,2,…, N _P以及谷值量级M _i ^V, i=1,2,…,N _V与峰值量级M _i ^P, i=1,2,…,N _P。

这些谷值位置V _i, i=1,2,…,N _V与峰值位置P _i, i=1,2,…,N _P组成斜率差分布的一维特征点F _i ^1D, i=1,2,…,N _F，其中N _F =N _V+N _P，斜率差分布的二维特征点F _i ^2D=(x _i ^2D , y _i ^2D), i=1,2,…,N _F由下式计算：

(30)

将斜率差分布的二维特征点F _i ^2D=(x _i ^2D , y _i ^2D), i=1,2,…,N _F由下列公式归一化：

(31)

(32)

通过归一化后的二维斜率差特征点组成的手势模型来描述每一类手势，生成的手势模型要具有代表性与一般性，也就是说手势模型中的二维斜率差特征点是此类手势形状都具有的特征点，生成的手势模型由F _i ^M=(x _i ^M , y _i ^M), i=1,2,…,N _M表示，其中N _M小于或等于N _F。

通过下式计算第S类手势模型中的斜率差特征点与在线检测到的二进制手势的斜率差特征点的最小距离和d ^S _min：

(33)

其中F _i ^M(

)表示将手势模型中的斜率差特征点顺时针旋转

度。

对每一类手势，通过线下人工选择具有代表性与共性的斜率差特征点，生成一个手势模型。

如果某一类手势的个体形状差异性很大，那么就需要为这类手势生成多个由斜率差特征点组成手势模型。

在线手势识别的时候，通过公式(33)计算在线检测到的二进制手势的斜率差特征点与所有手势模型的特征点最小距离和d ^S _min , S=1,2,…,N _S, 其中N _S表示生成的所有手势模型的总和，被检测二进制手势的类别

由下式计算得到：

(34)。

Claims

1.一种适用于在图像中进行手势自动识别的方法，其特征是通过图像采集设备得到手势图像，通过斜率差分布阈值选取方法对手势图像进行自动分割并且提取出手势的轮廓，通过迭代形态学腐蚀计算出手势的质心，通过计算手势质心到手势轮廓上所有点的距离得到一维距离分布，通过离散傅立叶变换在频域对一维距离分布进行滤波，再计算滤波后的一维距离分布的斜率差分布，通过令斜率差分布的导数等于零求解出斜率差分布的谷值位置与峰值位置，通过特征点校准从谷值位置与峰值位置中选取一维谷值特征点与一维峰值特征点，将这些一维特征点映射到二维手势轮廓上得到二维斜率差特征点，利用归一化后的二维斜率差特征点对每类手势进行建模，通过计算在线识别手势的归一化二维斜率差特征点与每类手势模型的归一化二维斜率差特征点的最小距离和，计算出被识别手势的类别。

2.按照权利要求1所述的方法，其特征在于二进制物体中心的计算方法，是通过形态学腐蚀的方法对二进制物体进行迭代腐蚀直至被腐蚀物体的面积小于某个提前设定或提前计算的面积阈值，然后通过最终的被腐蚀物体的像素均值计算出物体中心。

3.按照权利要求1所述的方法，其特征在于通过图像采集设备得到手势图像可以是单通道灰度图像或深度图像，也可以是多通道彩色图像。

4.按照权利要求1所述的方法，其特征在于通过斜率差分布阈值选取方法对手势图像进行自动分割是在单通道图像中实现的，如果是灰度图像或深度图像，直接校准斜率差阈值选取方法进行手势分割，如果是彩色图像需要首先变换到YUV空间，然后在U通道图像与V通道图像中分别进行图像分割，最后合并U通道与V通道的分割结果得到分割出的手势。

5.按照权利要求1所述的方法，其特征在于一维距离分布是通过计算手势质心到手势轮廓上每个点的距离，最后所有的距离依次排列形成一维距离分布，一维距离分布上的点与手势轮廓上的点是一一对应的。

6.按照权利要求1所述的方法，其特征在于斜率差的计算方法是通过对一维距离分布上任意点的左侧N个临近点拟合一条直线得到左斜率，再通过对一维距离分布上任意点的右侧N个临近点拟合一条直线得到右斜率，右斜率减掉左斜率得到该点的斜率差，最后所有点的斜率差排列在一起形成斜率差分布。

7.按照权利要求1所述的方法，其特征在于手势的识别方法是通过计算被识别手势图像的归一化二维斜率差特征点与每类手势模型的归一化二维斜率差特征点的最小距离和，计算出被识别手势图像的类别。