CN109241876A - 一种基于k近邻算法的手势识别系统及方法 - Google Patents

Abstract

本发明公开了一种基于K近邻算法的手势识别系统及方法，包括：主控制器模块(1)，以及与所述主控制器模块(1)连接的电容传感器芯片(2)、显示模块(4)、按键(5)、和电源(6)，以及与所述电容传感器芯片(2)连接的金属传感器(3)。本发明学习给定各个手势的训练数据集并计算均值，对于新的输入实例，计算其与各手势数据集均值的欧氏距离，若该输入实例与某一手势数据集均值的欧式距离最小，即可判决该输入实例为该手势。本发明的优点在于：使用的传感器片数少，手势自由度大，左右手均可测试，具有稳定性、快速性、准确性。

Description

一种基于K近邻算法的手势识别系统及方法

技术领域

本发明属于手势识别技术领域，具体涉及一种基于K近邻算法的手势识别系统及方法。

背景技术

随着智能电子设备的增多，人机交互技术的发展，手势交互技术逐渐成为人们研究的热点。手势交互是利用计算机图形学等技术识别人的肢体语言，并转化为命令来操作设备，手势交互是继鼠标、键盘和触屏之后新的人机交互方式。且随着虚拟现实增强现实(Virtual Reality Augmented Reality，VRAR)的空前火热，手势交互技术在未来几年将有快速的发展。

手势交互技术中，手势识别是关键技术。现有技术提出的基于深度信息的手势识别方法中，需要获取视野内目标的深度信息。目前，获取深度信息主要有三种方法，分别是双目(Multi-camera)视觉法、飞行时间法(Time of Fly，TOF)和结构光(Structure Light)法。其中，双目视觉法使用两个镜头的立体视觉来进行场景深度的测量，相机发射主动光波照射三维场景，光波经过三维场景反射后回到深度相机，获得深度信息的精度随着到目标的距离增加而快速地降低，且精度还取决于目标的表面状态，在物体纹理较少的情况下识别精度较低。飞行时间法是利用光波的发射与反射的时间差(相位差)获取三维场景的深度信息，存在分辨率较低、边缘不准确等问题。结构光法的基本原理是，将一幅或多幅编码图案投影到目标场景中，通过计算摄像机设备接收到的编码结构光信息的形变或者位移相对变化，反推出照射物体的空间坐标。虽然结构光法是一种有效的测量方法，但由于需要对投影进行编解码，不仅整体方案复杂，并且算法的复杂度高、运算量大，深度信息生成速度较慢，无法真正实现实时获取。同时，采用这些方法的深度相机由于复杂的光学和电子器件，往往很难小型化，并且价格昂贵，难以被普通消费者接受。

中国发明专利公开号CN105893925A提供一种基于肤色的人手检测方法。将获取到的待检测图像从RGB颜色空间转换到HSV颜色空间以获取HSV图像，并将所述待检测图像从RGB颜色空间转换到r-g颜色空间以获取r-g图像；将所述HSV图像转化为第一二值图像，将所述r-g图像转化为第二二值图像；对所述第一二值图像和所述第二二值图像进行按位与运算从而获得综合二值图像；对所述综合二值图像进行滤波以获取优化后的二值图像；分析所述优化后的二值图像中最大的连通区域，将所述最大的连通区域作为皮肤区域；使用预先训练的K近邻分类器判断所述最大的连通区域是否为手形，从而实现人手的识别。

上述专利的检测速度快，有效解决了手势识别中人手的误检测。然而，上述专利将K近邻分类器用于人手形状的识别，目前仍然没有将K近邻算法用于手势识别的技术方案。

发明内容

为了解决上述问题，本发明基于机器学习的思想，先做训练，训练好后再进行手势识别判断。

根据本发明的一个方面，提供了一种基于K近邻算法的手势识别系统，包括：

主控制器模块(1)，以及与所述主控制器模块(1)连接的电容传感器芯片(2)、显示模块(4)、按键(5)、和电源(6)，以及与所述电容传感器芯片(2)连接的金属传感器(3)。

优选的，所述主控制器模块(1)采用STM32f405单片机。

优选的，所述传感器芯片(2)采用FDC2214传感器芯片。

优选的，所述电容传感器(3)采用三块铜箔传感器。

优选的，所述显示模块(4)采用LCD液晶屏；按键(5)用于输入调整参数；电源(6)用于给整个系统供电。

根据本发明的另一个方面，一种使用上述系统的基于K近邻算法的手势识别方法，包括：

训练步骤，对任意人员进行手势训练；

判决步骤，对不同手势进行判决。

优选的，所述手势训练包括：

电容传感器芯片(2)利用金属传感器(3)采集到手势数据，并发送给主控制器模块(1)；

主控制器模块(1)对所述手势数据进行IIR滤波后做均值处理，将得到的值保存在一个寄存器中作为手势判决的基准值；

把该手势数据更新到相应寄存器值，作为每个手势的特征值。

优选的，所述判决步骤采用K近邻算法和抽样判决法对当前测试手势进行判决。

优选的，所述判决步骤包括：

对于新的输入实例，计算其与各手势数据集均值的欧氏距离，若该输入实例与某一手势的数据集均值的欧式距离最小，则手势即为当前判决的手势。

优选的，在显示模块(4)上显示所述判决结果。

本发明的优点在于：该系统使用的传感器片数少，手势自由度大，左右手均可测试，具有稳定性、快速性、准确性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明的一种基于K近邻算法的手势识别系统结构图。

图2为本发明的FDC2214传感器芯片电路原理图。

图3为本发明的金属传感器采用三块铜箔传感器的形状及布局示意图。

图4为本发明的一个优选的FDC2214传感器芯片电路设计图。

图5为本发明的STM32程序设计流程图。

图6为利用“K近邻”算法判决新的输入实例X的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要强调的是：本发明的手势识别系统是基于机器学习的思想，先做训练，训练好后再进行识别判断，因此，系统不仅仅可以识别下面的实施例中所列的手势，也可以识别其他的手势类型。

具体的，如图1所示，本发明提供了一种基于K近邻算法的手势识别系统，包括：主控制器模块(1)，以及与所述主控制器模块(1)连接的电容传感器芯片(2)、显示模块(4)、按键(5)、和电源(6)，以及与所述电容传感器芯片(2)连接的金属传感器(3)。其中，所述主控制器模块(1)可以采用STM32f405单片机或者其他型号单片机；所述传感器芯片(2)可以采用FDC2214传感器芯片或者其他型号的传感器芯片；所述金属传感器(3)可以采用三块铜箔传感器或者其他金属材质的传感器；所述显示模块(4)可以采用LCD液晶屏或者其他显示装置；按键(5)用于输入调整参数；电源(6)用于给整个系统供电。

本发明采用一片FDC2214电容传感器芯片及三块铜箔作为传感器，用STM32F4单片机作为控制核心进行手势识别，主要根据传感器电容值变化的不同来判决不同的手势。该系统具有训练和判决两种工作模式：在训练模式下能对任意人员进行猜拳游戏和划拳游戏的手势训练；经过训练，在判决模式下实验装置能对被训练人员进行猜拳和划拳游戏不同手势的判决。系统软件采用IIR滤波和均值滤波算法对传感器采集到的各手势数据进行处理，然后采用k近邻算法和抽样判决法对当前测试手势进行判决，并在LCD液晶屏上显示判决结果。该系统使用的传感器片数少，手势自由度大，左右手均可测试，具有稳定性、快速性、准确性。

实施例1

本实施例介绍本发明的基于K近邻算法的嵌入式智能手势识别系统的硬件设备情况。

基于TI公司传感芯片FDC2214设计制作一个手势识别装置，实现对猜拳和划拳的判决。装置具有训练和判决两种工作模式。在判决模式下实验装置能对指定人员进行猜拳和划拳的判决。这里猜拳判决是指手势“石头”、“剪刀”和“布”的准确判决，划拳判决是指手势“1”、“2”、“3”、“4”和“5”的准确判决。在训练模式下能对任意人员进行猜拳游戏和划拳游戏的手势训练，经过有限次训练后，能进行正确的猜拳判决和划拳判决。

FDC2214是基于LC谐振电路原理的一个电容检测传感器。其基本原理如图2所示，在芯片每个检测通道的输入端连接一个电感和电容，组成LC电路，被测电容传感端(图2中灰色标识部分即为被测电容)与LC电路相连接，将产生一个振荡频率，根据该频率值可计算出被测电容值。

利用FDC2214的工作原理可实现手势接近和识别的功能，当人手接近该导体传感平面时，传感端的电容发生了变化，这就会导致LC电路振荡频率的变化，从而反映出手势接近，以及手势的判定。

本发明采用铜箔胶带作为传感器材料。铜箔胶带易于剪裁并且导电性良好，剪裁成合适的形状后能大大增加传感器灵敏度，实验现象较为明显，所以本发明选用铜箔作为传感器材料。

基于FDC2214实现手势接近和判决的实验中存在如下的特征：传感平面的面积越大、手势与传感平面的距离越小，感应的频率变化越大，系统会越灵敏，但同时也可能引入越多的噪声。所以在设计该传感平面的形状时，要根据实际情况综合考虑。本发明的传感器形状如图3所示。实验表明该方案测得的各电容值对于划拳游戏的手势区分比较明显，可以用于手势识别。

本发明的主控制器模块采用STM32f405单片机。STM32系列单片机性能高、成本低、功耗低。增强型STM32F405，时钟频率达到168MHz，具有512K可编程Flash存储器，具有高速度、高精度的计算能力。为了能高精度、高速度地控制系统，本系统选择STM32单片机作为主控芯片。

实施例2

本实施例介绍本发明的基于K近邻算法的嵌入式智能手势识别系统的工作方法及软件算法流程情况。

(1)FDC2214的电容测量方法

FDC2214芯片每个检测通道的输入端连接了一个电感和电容组成LC谐振电路，被测电容传感端与LC电路相连接，将产生一个振荡频率，根据该频率值可计算出被测电容值。由公知常识的基本物理公式

可知，电容大小与两平板之间的距离和平板间的面积有关，当摆出不同手势“石头、剪刀、布、1、2、3、4、5”时，由于传感器与各手势之间的面积不同，导致传感器检测到的电容不同，理论上可判决出不同手势。

(2)猜拳与划拳手势训练方法

当STM32单片机工作在训练模式时，测试者须先对各个手势都进行两次为时3s的训练，单片机在3s内对FDC2214的三个通道采集数据，重复操作两次，将各通道两次采集得到的所有数据进行IIR滤波后做均值处理，将得到的值保存在一个寄存器中作为手势判决的基准值。再把该数据更新到相应寄存器值，即可作为每个手势的特征值。

(3)猜拳与划拳手势判决方法

在做猜拳游戏判决时，由于三种手势变化比较明显，故依据电容值较为容易判决，但做划拳游戏判决时，“1、2、3、4”四种手势之间面积相差不大，按照常规的线性方法判决划拳游戏手势的结果极不稳定。因此我们引入了机器学习中的“k近邻”算法来对各种手势对应的各通道电容值进行“学习”处理，增加其区分度以方便判决，具体方法如下：

之前STM32单片机工作在训练模式时已经利用FDC2214采集到了“石头、剪刀、布、1、2、3、4、5”这八个手势的特征值，当STM32单片机工作在判决模式时，单片机在每0.4s对FDC2214发送来的电容数据进行抽样判决，任意从中选取三个值取平均来避免外界干扰的影响，并对它用“k近邻”算法(利用向量算法求欧氏距离并与之前的特征值做比较)处理后，找到离某一个特征值最小的距离，该特征值对应的手势即为当前判决的手势。

实施例3

本实施例介绍本发明的基于K近邻算法的嵌入式智能手势识别系统的电路与程序设计情况。

如图4所示，为本发明的FDC2214电容传感器电路设计。在芯片每个检测通道的输入端连接一个电感和电容，组成LC电路，被测电容传感端与LC电路相连接，将产生一个振荡频率，根据该频率值可计算出被测电容值。

如图5所示，为本发明的STM32程序设计流程图。在具体判决某个手势时，本发明采用了K近邻算法。算法具体内容为：给定各个手势的训练数据集并计算均值，对于新的输入实例，计算其与各手势数据集均值的欧氏距离，若该输入实例与某一手势数据集均值的欧式距离最小，即可判决该输入实例为这个手势。图6为利用“K近邻”算法判决新的输入实例X的示意图。各手势对应的通道电容值不同，被判决点X距离手势5数据集均值的欧氏距离最近，所以判决结果为手势3。

实施例4

本实施例介绍本发明的基于K近邻算法的嵌入式智能手势识别系统的测试方案与测试结果。

1测试环境

设计分析软件环境：Windows 10操作系统，MATLAB仿真软件，Keil，Alitum Design等。

仪器设备硬件平台：直流电源GWINSTEK EM886184，示波器GWINSTEK GDS2102A，台式万用表等。

配套加工安装条件：热熔胶、电钻等。

2要求(1)

指定一名人员进行猜拳游戏的手势判决，结果见表1所示。

表1指定人员猜拳结果

手势	判决1	判决2	判决3	判决4	平均判决时间
						石头	石头	石头	石头	石头	0.45s
剪刀	剪刀	剪刀	剪刀	剪刀	0.49s
						布	布	布	布	布	0.43s

3要求(2)

指定一名人员进行划拳游戏的手势判决，结果见表2所示。

表2指定队员划拳结果

4要求(3)

随机选择一名人员进行猜拳游戏的手势训练，训练结束后进行猜拳判决，结果见表3所示。总的训练时间为50秒。

表3随机人员猜拳结果

手势	判决1	判决2	判决3	判决4	平均判决时间
						石头	石头	石头	石头	石头	0.45s
剪刀	剪刀	剪刀	剪刀	剪刀	0.44s
						布	布	布	布	布	0.46s

5要求(4)

随机选择一名人员进行划拳游戏的手势训练，训练结束后进行划拳判决，结果见表4所示。总的训练时间为1分43秒。

表4随机人员划拳结果

手势	判决1	判决2	判决3	判决4	平均判决时间
						1	1	1	1	1	0.48s
2	2	2	2	2	0.47s
						3	3	3	3	3	0.42s
4	4	4	4	4	0.39s
						5	5	5	5	5	0.41s

6实验结果分析

实验结果显示，该系统能够准确判决猜拳和划拳游戏中的“石头，剪刀、布、1、2、3、4、5”八种手势，系统稳定性、准确性都较高，很少出现错误，且每种手势的判决时间均不大于1s。当系统进行训练后，能够根据不同测试人员不同手势形状的特征值对手势进行准确判决。综上，该系统很好的满足了要求。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于K近邻算法的手势识别系统，其特征在于，包括：

主控制器模块(1)，以及与所述主控制器模块(1)连接的电容传感器芯片(2)、显示模块(4)、按键(5)、和电源(6)，以及与所述电容传感器芯片(2)连接的金属传感器(3)。

2.根据权利要求1所述的系统，其特征在于，

所述主控制器模块(1)采用STM32f405单片机。

3.根据权利要求1所述的系统，其特征在于，

所述电容传感器芯片(2)采用FDC2214传感器芯片。

4.根据权利要求1所述的系统，其特征在于，

所述金属传感器(3)采用三块铜箔传感器。

5.根据权利要求1所述的系统，其特征在于，

所述显示模块(4)采用LCD液晶屏；按键(5)用于输入调整参数；电源(6)用于给整个系统供电。

6.一种使用权利要求1-5任意一项系统的基于K近邻算法的手势识别方法，其特征在于，包括：

训练步骤，对任意人员进行手势训练；

判决步骤，对不同手势进行判决。

7.根据权利要求6所述的方法，其特征在于，

所述手势训练包括：

电容传感器芯片(2)利用金属传感器(3)采集到手势数据，并发送给主控制器模块(1)；

主控制器模块(1)对所述手势数据进行IIR滤波后做均值处理，将得到的值保存在一个寄存器中作为手势判决的基准值；

把该手势数据更新到相应寄存器值，作为每个手势的特征值。

8.根据权利要求7所述的方法，其特征在于，

所述判决步骤采用K近邻算法和抽样判决法对当前测试手势进行判决。

9.根据权利要求8所述的方法，其特征在于，

所述判决步骤包括：

对于新的输入实例，计算其与各手势数据集均值的欧氏距离，若该输入实例与某一手势的数据集均值的欧式距离最小，则手势即为当前判决的手势。

10.根据权利要求6所述的方法，其特征在于，

在显示模块(4)上显示所述判决结果。