CN110046585A - 一种基于环境光的手势识别方法 - Google Patents

Abstract

本发明提供一种基于环境光的手势识别方法，对采集到的电信号进行滤波处理，去掉电信号中高频噪，然后再进行标准化，去除不同环境光和手运动的位置高低带来的影响；基于滤波后的电信号，将其映射成一个像素矩阵,用来区分平滑手势与数字手势；对于平滑手势，利用时间规则来对平滑手势进行识别获取结果；对于数字手势，利用自适应上下阈值的方式来对数字手势和环境噪声进行检测，得到手势的发生点和结束点；利用基于动态时间规划(DTW)算法的KNN分类器对波形进行匹配分类，得出手势的识别结果。

Description

一种基于环境光的手势识别方法

技术领域

本发明涉及手势识别分析处理领域，尤其涉及基于可见光电信号分析处理的手势识别方法。

背景技术

近年来，随着传感器技术的不断改进与发展，物联网技术正在使人们迎来万物互联的时代。在这个时代人们的生活达到前所未有的便利，自然而然的人机交互方式则变得非常的重要。手势识别技术目前已经有了很多的应用，想象一下，在一个智能家居中，手一挥就可以让家用设备明白我们的意图，在办公室，滑动手掌就可以浏览网页、演示文稿。事实上，手势识别技术使得过去科幻电影中用手势隔空操控屏幕的画面正逐渐变为现实。目前手势识别有很多的方法，如wifi-based、sound-based Wearable-based等。Wifi-based需要专用的无线设备发射端以及接收端，虽然这种技术目前研究比较多利用wifi CSI来进行手势识别以及定位等工作，但是无线设备现在并没有完完全全的普及而且在某些保密场所是不允许无线设别的存在，所以这种方式带有局限性。Sound-based使用的是高频音频，他对婴儿和宠物的生长健康存在隐患并且对噪声敏感。Wearable-based可穿戴设备需要佩戴额外的传感器且这些传感器也要消耗能量，非常的不方便。

发明内容

针对以上缺陷，本发明提出了使用可见光这种无处不在的信号来进行手势识别的方法。

本发明的技术方案为：一种基于环境光的手势识别方法，包括以下步骤：

S1：对采集到的电信号进行滤波处理，去掉电信号中高频噪，然后再进行标准化，去除不同环境光和手运动的位置高低带来的影响；

S2：基于滤波后的电信号，将其映射成一个像素矩阵,用来区分平滑手势与数字手势；

S3：对于平滑手势，利用时间规则来对平滑手势进行识别获取结果；

S4：对于数字手势，利用自适应上下阈值的方式来对数字手势和环境噪声进行检测，得到手势的发生点和结束点；利用基于动态时间规划(DTW)算法的KNN分类器对波形进行匹配分类，得出手势的识别结果。

进一步地，一种基于环境光的手势识别方法，所述滑动手势是简单手势只有一个方向，在图像上呈现的亮点全部集中在几乎一条线上只有一次变化；所述数字手势由简单手势组成有多个方向，在图像上呈现的亮点则是混乱且存在2次以上或更多的变化。

进一步地，一种基于环境光的手势识别方法，所述S4中自适应上下阈值的方式来将数字手势从环境噪声进行检测出来，具体公式为：

MA(j)＝M(|xj(i)-M(xj)|)j＝{1,2,3,4.....12} (1)

其中Xj指的是第j个传感器的时间序列,xj(i)指的是第j个传感器的第i个值，M指的是中位数，MA(j)指的是每个传感器的波动范围；

上阈值＝M(xj)+MA(j) (2)

下阈值＝M(xj)-MA(j) (3)。

可见光能做到与环境进行无缝融合，使用简单的光电传感器就可以接受信号的变化，利用机器学习方法，从而识别不同的手势。其基本原理是当手以不同的方向不同的方式运动的时候，会遮挡不同的光线从而会在平台上投下独特的阴影模式。不同的手势遮挡的光线不同，投下的阴影模式也是不同的。通过捕获并学习这种模式，从而识别不同的手势。本发明首先识别是滑动手势还是数字手势，之所以要如此做是因为简单手势只有一个方向，没有必要使用复杂的分类器来识别，所以这里将滑动手势和数字分开用不同的方法来识别能达到较好的效果。

附图说明

图1为本发明一种基于环境光手势识别方法的系统框架图；

图2数据预处理包括离群点移除、低通滤波处理以及标准化操作。

具体实施方式

下面结合附图来进一步描述本发明的技术方案。使用12个普通商用的VBPW21R光电传感器，以及Arduino DUE,搭建电路并且利用USB串口采集数据，将光信号转变到0-1023。

一种基于环境光的手势识别方法，如图1所示，包括以下步骤：

S1：对采集到的电信号进行滤波处理，去掉电信号中高频噪，然后再进行标准化，去除不同环境光和手运动的位置高低带来的影响；

首先使用Hampel identifier去除异常值，因为由于脉冲刺激或者光线急速变化会有大于1000的数据值出现，这些值对平均值会造成很大的影响，但是对中位数的影响很小，所以使用Hampel identifier这个方法来进行异常值去除。然后使用3阶巴特沃斯低通滤波器去除高频噪声，最后使用Z_score标准化方法去除差异。数据预处理后的效果如图2所示。

S2：基于滤波后的电信号，将其映射成一个像素矩阵,用来区分平滑手势与数字手势；

所述滑动手势是简单手势只有一个方向，在图像上呈现的亮点全部集中在几乎一条线上只有一次变化；所述数字手势由简单手势组成有多个方向，在图像上呈现的亮点则是混乱且存在2次以上或更多的变化。

将数据图像画出来，由于滑动手势只有一个方向也就是每个传感器只有一个波谷点，在图像上的直观显示是每个传感器的亮度只有依次变化。但是数字手势的方向复杂，所以有多个波谷点，利用这种特征将滑动手势和数字手势进行区分。

S3：对于平滑手势，利用时间规则来对平滑手势进行识别获取结果；

对于平滑手势那么直接根据时间规则也就是手经过传感器的先后时间关系就可以识别出是哪一种平滑手势。

S4：对于数字手势，利用自适应上下阈值的方式来对数字手势和环境噪声进行检测，得到手势的发生点和结束点；利用基于动态时间规划(DTW)算法的KNN分类器对波形进行匹配分类，得出手势的识别结果。

自适应上下阈值的方式来将数字手势从环境噪声进行检测出来，具体公式为：

MA(j)＝M(|xj(i)-M(xj)|)j＝{1,2,3,4.....12} (1)

其中Xj指的是第j个传感器的时间序列,xj(i)指的是第j个传感器的第i个值，M指的是中位数，MA(j)指的是每个传感器的波动范围；

上阈值＝M(xj)+MA(j) (2)

下阈值＝M(xj)-MA(j) (3)。

在一般情况下下无手势发生的时候波形平稳在上下阈值中间，但是当有手势发生波形迅速下降到下阈值以下直到手势结束后又回到上下阈值中去。在进行手势切分的时候可能会遇到环境发生变化，所以这个时候就需要自动计算上下阈值。如果光照强度突然变亮那么波形会达到上阈值的上方。如果环境变暗波形会在下阈值的下方。所以根据这个我们可以在环境发生变化的时候仍然能够检测出手势的发生和结束点。

对于数字手势，采用动态时间规整算法Dynamic Time Warping(DTW)量化不同波形之间的距离(DTW能够有效计算两个不同长度波形对齐后的最短距离)。使用一个基于DTW的k近邻分类器，分类器从训练集中选取k个与待测序列距离最短的序列，并将k个序列中出现最频繁的类标签作为输出结果。

本发明为基于可见光所提出来的身份识别的新型技术，利用手遮挡光线会在平台上投下投下独特的阴影模式，从而利用机器学习来捕获这种模式。与现有的方法进行比较，这种基于可见光的方式利用的就是环境中的光线与环境进行无缝融合，并且是光领域的进一步研究。目前实验控制在环境基本均匀允许慢速的变换情况下，使用我们的方法将平滑手势和数字手势分开去识别，对于平滑手势我们能达到100％识别准确率，对于数字手势识别率可达82.3％。

Claims (3)

1.一种基于环境光的手势识别方法，其特征在于：包括以下步骤：

S1：对采集到的电信号进行滤波处理，去掉电信号中高频噪，然后再进行标准化，去除不同环境光和手运动的位置高低带来的影响；

S2：基于滤波后的电信号，将其映射成一个像素矩阵,用来区分平滑手势与数字手势；

S3：对于平滑手势，利用时间规则来对平滑手势进行识别获取结果；

S4：对于数字手势，利用自适应上下阈值的方式来对数字手势和环境噪声进行检测，得到手势的发生点和结束点；利用基于动态时间规划(DTW)算法的KNN分类器对波形进行匹配分类，得出手势的识别结果。

2.根据权利要求1所述的一种基于环境光的手势识别方法，其特征在于：所述滑动手势是简单手势只有一个方向，在图像上呈现的亮点全部集中在几乎一条线上只有一次变化；所述数字手势由简单手势组成有多个方向，在图像上呈现的亮点则是混乱且存在2次以上或更多的变化。

3.根据权利要求1所述的一种基于环境光的手势识别方法，其特征在于：所述S4中自适应上下阈值的方式来将数字手势从环境噪声进行检测出来，具体公式为：

MA(j)＝M(|xj(i)-M(xj)|)j＝{1,2,3,4.....12} (1)

其中Xj指的是第j个传感器的时间序列,xj(i)指的是第j个传感器的第i个值，M指的是中位数，MA(j)指的是每个传感器的波动范围；

上阈值＝M(xj)+MA(j) (2)

下阈值＝M(xj)-MA(j) (3)。