CN105205436A - 一种基于前臂生物电多传感器的手势识别系统 - Google Patents

Abstract

本发明公开了一种基于前臂生物电多传感器的手势识别系统，其本地服务器保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至云端服务器，本地服务器根据所述手势数据建立本地手势模型，云端服务器接收一个或多个本地服务器的上传的手势数据，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型，因而本发明的手势识别系统在本地和云端都分别拥有数据集模块、分类器模型模块以及手势识别模块，可以保证用户在不联网的情况下依然能够进行手势识别，适用于网络环境实时变化的移动场景，同时，采用云端手势模型更新本地服务器中的本地手势模型，使得本发明的手势识别系统手势识别更加精确。

Description

一种基于前臂生物电多传感器的手势识别系统

技术领域

本发明涉及手势识别，特别涉及一种基于前臂生物电多传感器的手势识别系统。

背景技术

手势是人们日常生活中最广泛使用的一种交流方式，近年来，随着计算机技术的迅速发展，手势识别技术的研究取得了较大的进展，研究手势识别的主要目的是把手势这种既自然又直观的交流方式引入人机接口中。

目前已有的手势识别装置，主要有两种识别手段：第一种采用计算机视觉手段，基本原理为：通过摄像头等光学传感器，连续捕获帧图像数据，然后通过图像识别技术，识别用户的手势；第二种采用单一生物电手段，基本原理为：通过放置在用户手臂皮肤表面的若干生物电电极，记录不同手势运动所伴随的神经肌电信号组合，从而识别出不同的手势，然而，以上两种方式都存在不同程度的缺陷，计算机视觉手段把用户限制在一个相对固定的空间，不能到处移动，便携性差，且存在遮挡现象，而单一生物电手段，虽然对于手指精细动作识别有着独特优势，但对于大尺度的空间运动信息（如运动方向和速度）的识别较差。

如中国专利文献CN103632143A公开了一种结合云计算基于影像的物件识别系统，该系统将影像获取模块捕获的影像数据经前级处理模块进行特征化处理，把分割模块切割出的采集物影像数据在本地端知识库模块中进行相似度比对计算，并将比较后筛选出的采集物影像数据上传至云端知识库模块，由表示及描述模块提前特征值后识别及解析采集物影像数据，然而，该识别系统需要采用图像拍摄装置捕获目标手势的影像数据（二维图像数据），在移动场景下，产品的便携性和低功耗尤为重要，图像拍摄装置的设置，如摄像头等，会大大降低产品的便携性能；并且，二维图像的数据量比较大，会占用更多的网络带宽资源，消耗更多的电池电量；同时，该识别系统只在云端拥有识别及解析模块，在移动场景下，用户未必能随时能以良好的信号连接到互联网，无法联网则会造成整个识别系统不能使用，这无疑不适用于网络环境实时变化的移动场景，会严重影响用户的识别工作。

中国专利文献CN103581428A公开了一种终端及其控制方法，其终端包括：被构造为包在手腕的至少一个区域上并且可拆卸地形成的主体；布置在主体的一个表面中并且被构造为感测穿过手腕的肌腱与手腕中的至少一个的运动的感测单元；以及控制器，其被构造为生成用于控制外部装置以执行之前匹配到感测到的肌腱与手腕中的至少一个的运动的功能的控制信号，该装置虽然可以通过使用手腕感测到的不同特征来生成控制信号，然而该装置针对单个用户的手势信号进行采集与检测，进而发出与之对应的控制信号，不同用户的手势数据无法重用，容易出现识别误操作，识别的准确率难以提升，用户体验差，且该装置为一个功能独立的终端，因而功耗大，体积大，便携性能差。

发明内容

本发明所要解决的技术问题在于克服现有技术中不同用户的手势数据无法重用，识别准确率很难提升，用户体验差的技术问题，从而提供一种可以对不同用户的手势数据进行重复利用，对手势信息进行准确识别的手势识别系统。

本发明的另一个目的在于提供一种可以在用户联网及未联网的状态下均能对手势进行准确识别，且兼具便携性及高识别精度的手势识别系统。

为解决上述技术问题，本发明采用的技术方案是：

一种基于前臂生物电多传感器的手势识别系统，包括信号采集终端、本地服务器及云端服务器，其中，

所述信号采集终端采集目标手势的数据，并发送给本地服务器进行处理，包括：

采集模块：在目标手势物上设置若干感测单元，用于采集目标手势物的生物电信号及空间运动信号；

预处理模块：对所述采集模块采集的所述生物电信号及空间运动信号进行去噪预处理，将处理后的数据传递给所述本地服务器；

所述本地服务器接收上述数据，并进行手势识别，包括：

分割模块：接收所述预处理模块的预处理后的数据，进而识别出每个手势的起点和终点，获得独立的手势信号段；

特征提取模块：对每个所述手势信号段进行特征提取，将不同所述感测单元中提取的特征数据进行融合，组成多维特征向量；

本地数据集模块：保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至所述云端服务器；

本地分类器模型模块：根据所述本地数据集的手势数据建立本地手势模型；

本地手势识别模块：本地服务器接收感测单元检测的信号后，进行模式识别获得感测单元检测到的目标手势；

所述云端服务器接收来自本地服务器的数据，并进行云端手势识别，包括：

云端数据集模块：接收一个或多个所述本地数据集模块的上传的手势数据，形成海量大数据集合；

云端分类器模型模块：使用云端数据集模块中的海量大数据集合，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型；

云端手势识别模块：感测单元检测的信号发送至云端服务器，云端服务器通过模式识别获得感测单元检测到的目标手势。

所述云端手势模型或所述本地手势模型建立时，包括“有监督训练模式”，用用户提供的标签和本地数据集中的数据，对分类器模型进行训练。

所述云端手势模型或所述本地手势模型建立时，包括“无监督训练模式”，采用聚类的方式，将用户手势数据划分到已经提供标签的手势子集中。

所述信号采集终端为佩戴于人体腕部的腕带，所述腕带包括内外两个平行设置的第一环形件及第二环形件，所述第一环形件全部联通，用作参考和地电极，所述第二环形件安装有所述感测单元，并设置有供电单元。

所述感测单元包括若干离散分布的用于获取前臂皮肤不同位置的所述生物电信号的生物电电极，以及若干用于检测手部的所述空间运动信号的加速度传感器。

所述生物电信号包括肌电信号及皮肤阻抗信号，所述空间运动信号包括手部运动加速度信号和空中旋转信号。

所述预处理模块包括带通滤波单元和/或带阻滤波单元。

在所述预处理模块中，预处理后的数据通过蓝牙无线通信单元传递给本地服务器，所述蓝牙无线通信单元设置于所述第二环形件上。

所述本地服务器为本地的PC机或手机。

所述分割模块对所述预处理后的数据采用基线检测、平滑滤波、过零点检测以及计算波形曲线下面积的手段得到手势原始信号，进而对所述手势原始信号进行归一化处理，将所述手势原始信号的绝对幅值转化为0-1之间的相对幅值，在连续时间序列形态的信号中，所述相对幅值与设定好的能量阈值进行比较，识别出每个手势的起点和终点，然后将数据分割为一个个独立的手势，所述能量阈值随云端服务器手势数据的增加进行动态调整。

在所述本地数据集模块中，将手势数据上传至所述云端数据集模块后，所述本地数据集模块的手势数据集删除。

在所述云端分类器模型模块中，将云端手势模型进行适当的裁剪后，再去更新所述本地识别模式的本地手势模型。

本发明的上述技术方案相比现有技术具有以下优点：

（1）本发明的基于前臂生物电多传感器的手势识别系统，所述本地服务器保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至云端服务器，本地服务器根据所述手势数据建立本地手势模型，所述云端服务器接收一个或多个本地服务器的上传的手势数据，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型，本地服务器接收感测单元检测的信号后，进行模式识别获得感测单元检测到的目标手势，和/或感测单元检测的信号发送至云端服务器，云端服务器通过模式识别获得感测单元检测到的目标手势，因而本发明的手势识别系统具有“本地识别模式”及“云端识别模式”两种识别模式，即在本地和云端都分别拥有数据集模块、分类器模型模块以及手势识别模块，在移动场景下，用户未必能随时以良好的信号连接到互联网，而采用本发明的手势识别系统，可以保证用户在不联网的情况下依然能够进行手势识别，适用于网络环境实时变化的移动场景，同时，采用云端手势模型更新本地服务器中的手势模型，使得本发明的手势识别系统更加的精确。

（2）本发明的基于前臂生物电多传感器的手势识别系统，所述云端手势模型或所述本地手势模型建立时，包括“有监督训练模式”，用用户提供的标签和本地数据集中的数据，对分类器模型进行训练；所述云端手势模型或所述本地手势模型建立时，包括“无监督训练模式”，采用聚类的方式，将用户手势数据划分到已经提供标签的手势子集中，因此，本发明的手势识别系统获得的分类器模型更加的准确，从而进一步提高了本系统的识别精确度。

（3）本发明的基于前臂生物电多传感器的手势识别系统，所述信号采集终端为佩戴于人体腕部的腕带，所述腕带包括内外两个平行设置的第一环形件及第二环形件，所述第一环形件全部联通，用作参考和地电极，所述第二环形件安装有所述感测单元，并设置有供电单元，采用腕带的设计使得本发明的信号采集终端便携性更好，结构简单，方便用户使用，所述感测单元包括若干离散分布的用于获取前臂皮肤不同位置的所述生物电信号的生物电电极，以及若干用于检测手部的所述空间运动信号的加速度传感器，不同传感器在手势信息描述上有着不同的优势，生物电传感器主要反映的是手姿和手腕旋转信息，善于识别手指精细动作，加速计传感器对运动尺度比较大的手势具有比较好的区分能力，而本发明的手势识别系统有效的结合了生物电电极及加速度传感器,可以使得本发明的手势识别系统的识别动作数量和识别精度得到提高，减少识别误差，且所述生物电信号及所述空间运动信号为一维的时间序列信号，与影像数据相比，其数据量小，占用的网络宽带少，耗电量小，因而便于提高产品的便携性，应用更加方便。

（4）本发明的基于前臂生物电多传感器的手势识别系统，在所述预处理模块中，预处理后的数据通过蓝牙无线通信单元传递给本地服务器，所述蓝牙无线通信单元设置于所述第二环形件上，因此数据传输更加方便，且在所述本地数据集模块中，将手势数据上传至所述云端数据集模块后，所述本地数据集模块的手势数据集删除，从而更好的节省了本地存储空间，有利于提高产品性能。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明的手势识别系统示意图；

图2是本发明的信号采集终端示意图；

图3是本发明的手势识别系统框图。

具体实施方式

下面结合附图所示的实施例对本发明作进一步说明：

在下面的描述中，使用诸如“模块”、“部件”或“单元”的后缀来表示元件仅为了方便本发明的描述，并且后缀本身不具有任何特殊的意义。

如图1所示，本实施例的一种基于前臂生物电多传感器的手势识别系统，包括信号采集终端A、本地服务器及云端服务器C，其中，所述信号采集终端A采集目标手势的数据，并发送给本地服务器进行处理，包括：采集模块101：在目标手势物上设置若干感测单元，用于采集目标手势物的生物电信号及空间运动信号；预处理模块102：对所述采集模块101采集的所述生物电信号及空间运动信号进行去噪预处理，将处理后的数据传递给所述本地服务器；

所述本地服务器接收上述数据，并进行手势识别，包括：分割模块104：接收所述预处理模块102的预处理后的数据，进而识别出每个手势的起点和终点，获得独立的手势信号段；特征提取模块105：对每个所述手势信号段进行特征提取，将不同所述感测单元中提取的特征数据进行融合，组成多维特征向量；本地数据集模块106：保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至所述云端服务器C；本地分类器模型模块107：根据所述本地数据集的手势数据建立本地手势模型；本地手势识别模块108：本地服务器接收感测单元检测的信号后，进行模式识别获得感测单元检测到的目标手势；

所述云端服务器C接收来自本地服务器的数据，并进行云端手势识别，包括：云端数据集模块109：接收一个或多个所述本地数据集模块的上传的手势数据，形成海量大数据集合；云端分类器模型模块110：使用云端数据集模块中的海量大数据集合，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型；云端手势识别模块111：感测单元检测的信号发送至所述云端服务器C，所述云端服务器C通过模式识别获得感测单元检测到的目标手势。

在本实施例中，所述本地服务器包括本地的PC机B1或手机B2。

如图2所示，在本实施中，所述信号采集终端是一个佩戴在前臂上的柔软材质的腕带1，所述腕带1内部的零部件采用双环设计，即整体上形成两个平行的环形，包括内外两个平行设置的第一环形件2及第二环形件，所述第一环形件2全部联通，用作参考和地电极，所述第二环形件安装有所述感测单元，并设置有供电单元，所述感测单元包括若干离散分布的用于获取前臂皮肤不同位置的所述生物电信号的生物电电极，以及若干用于检测手部的所述空间运动信号的加速度传感器。

在本实施例中，所述第二环形件包括：六个（或者其它合适的数目）离散的生物电电极，具体为第一生物电电极3、第二生物电电极4、第三生物电电极5、第四生物电电极6、第五生物电电极8及第六生物电电极9，所述生物电电极用于获取前臂皮肤不同位置的生物电信号，包括肌电、皮肤阻抗等；同时，所述第二环形件还包括：第一加速计传感器10及第二加速度传感器11，可检测手的大尺度的空间运动信息，辅助用于手势识别；不同传感器在手势信息描述上有着不同的优势，生物电传感器主要反映的是手姿和手腕旋转信息，善于识别手指精细动作，加速计传感器对运动尺度比较大的手势具有比较好的区分能力，而本发明的手势识别系统有效的结合了生物电电极及加速度传感器，可以使得本发明的手势识别系统的识别动作数量和识别精度得到提高，减少识别误差，且所述生物电信号及所述空间运动信号为一维的时间序列信号，与影像数据相比，其数据量小，占用的网络宽带少，耗电量小，因而便于提高产品的便携性，应用更加方便；在本实施例中，所述供电单元为电池7，用于给整个装置供电；所述蓝牙无线通信单元12用于和手机B2、用户的PC机B1等外部设备进行通信，上传所述生物电电极和所述加速计传感器所获得的手势数据，所述蓝牙无线通信单元12设置于所述第二环形件上，因此数据传输更加方便。

如图3所示，本实施例的手势识别系统手势识别过程如下：

首先，通过采集模块101，获取用户手势的原始数据，具体是，通过设于腕带上的若干生物电电极及加速度传感器，采集目标手势物的生物电信号及运动信号，在本实施例中，所述生物电信号为人体肌电信号及皮肤阻抗信号，所述运动信号为手部运动加速度信号和空中旋转信号。

然后，通过预处理模块102对所述生物电信号及运动信号进行去噪预处理，具体为通过带通滤波单元及带阻滤波单元等去除原始信号中的环境噪声，再将处理后的数据通过蓝牙无线通信单元12传递给本地服务器，即用户的PC机B1或手机B2上。

所述本地服务器对数据的处理包括：

从预处理后的数据中，识别出每个手势的起点和终点，获得独立的手势信号段，即图2中的分割模块104，所述分割模块104对所述预处理后的数据采用基线检测、平滑滤波、过零点检测以及计算波形曲线下面积的手段得到手势原始信号，进而对所述手势原始信号进行归一化处理，将所述手势原始信号的绝对幅值转化为0-1之间的相对幅值，在连续时间序列形态的信号中，所述相对幅值与设定好的能量阈值进行比较，识别出每个手势的起点和终点，然后将数据分割为一个个独立的手势，且所述能量阈值随云端服务器手势数据的增加进行动态调整；继而通过特征提取模块105对每个手势信号段用一组能表征其固有特性的数据（特征）来描述每一个有效动作，如信号幅值的绝对值均值；然后把不同所述感测单元提取的若干组特征，如腕部的若干生物电电极检测的肌电信号及皮肤阻抗信号，及所述加速度传感器的检测到的运动信号，包括运动幅度及角度信息等不同组的有效手势数据，进行融合，从而组成多维特征向量。

然后，本地服务器的本地数据集模块106保存所述多维特征向量，并在设备联网时将其上传至云端服务器的云端数据集模块109，上传完成后，为节省用户的本地存储空间，本地数据集模块106的数据可以删除；本地服务器的本地分类器模型模块107基于所述本地数据集106的手势数据训练建立本地手势模型，其包括：在“有监督训练模式”下，可以用用户提供的标签和本地数据集中的数据，对分类器模型进行训练，在“无监督训练模式”下，采用聚类的方式，将用户手势数据，划分到已经提供标签的手势子集中，采用两种训练模式使得本申请获得的分类器模型更加的准确，从而进一步提高了本系统的识别精确度；然后，本地手势识别模块108通过SVM等分类器，对用户的手势进行实时识别。

本发明的手势识别系统中，当用户的设备无法联网或者网络信号不佳时，使用上述的“本地识别模式”，即，使用本地PC或智能手机上训练的分类器模型，同时，本发明的手势识别系统还具有“云端识别模式”，当用户位于良好的网络环境下，可使用“云端识别模式”，其在云端服务器上建立有云端数据集模块109、云端分类器模型模块110以及云端手势识别模块111。

所述云端服务器的所述云端数据集模块109，收集所有用户的PC机B1和手机B2上的所述本地数据集模块106所上传的手势数据，形成一个手势数据的海量大数据集合，所述云端分类器模型模块110使用云端海量的大数据集合，对云端的分类器模型进行训练，该训练也分为“有监督训练模式”和“无监督训练模式”，其过程与上述相同，在此不加赘述，从而建立云端手势模型，随着用户上传数据的增加，该模型将不断迭代的得到训练，从而越来越能反映不同用户手势中通用的特征，因而消除个体噪音的影响，并且，每一次迭代训练完成后，可以用云端手势模型去更新每个用户的PC机B1或手机B2上的本地手势模型，从而提高每一个用户手势本地识别的正确率，当然，考虑到本地存储容量的限制，将会对云端的分类器模型进行适当的裁剪，再更新到用户本地，同时可以将所述感测单元检测的信号通过互联网发送至云端服务器，最后通过云端手势识别模块111，使用云端分类器模型，对用户实时上传的手势数据，进行手势识别，并将识别结果，实时返回给用户。

作为其他可以替换的实施方式，本地识别模式和云端识别模式中，可以选择现有技术中模式识别方式进行模型的建立和识别，如模糊识别方式、神经网络模式识别方式等智能识别方法。

本发明的手势识别系统具有“本地识别模式”及“云端识别模式”两种识别模式，即在本地和云端都分别拥有数据集模块、分类器模型模块以及手势识别模块，在移动场景下，用户未必能随时以良好的信号连接到互联网，而采用本发明的手势识别系统，可以保证用户在不联网的情况下依然能够进行手势识别，适用于网络环境实时变化的移动场景，同时，采用云端手势模型更新本地服务器中的本地手势模型，使得本发明的手势识别方法更加的精确。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (12)

1.一种基于前臂生物电多传感器的手势识别系统，其特征在于，包括信号采集终端、本地服务器及云端服务器，其中，

所述信号采集终端采集目标手势的数据，并发送给本地服务器进行处理，包括：

采集模块：在目标手势物上设置若干感测单元，用于采集目标手势物的生物电信号及空间运动信号；

预处理模块：对所述采集模块采集的所述生物电信号及空间运动信号进行去噪预处理，将处理后的数据传递给所述本地服务器；

所述本地服务器接收上述数据，并进行手势识别，包括：

分割模块：接收所述预处理模块的预处理后的数据，进而识别出每个手势的起点和终点，获得独立的手势信号段；

特征提取模块：对每个所述手势信号段进行特征提取，将不同所述感测单元中提取的特征数据进行融合，组成多维特征向量；

本地数据集模块：保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至所述云端服务器；

本地分类器模型模块：根据所述本地数据集的手势数据建立本地手势模型；

本地手势识别模块：本地服务器接收感测单元检测的信号后，进行模式识别获得感测单元检测到的目标手势；

所述云端服务器接收来自本地服务器的数据，并进行云端手势识别，包括：

云端数据集模块：接收一个或多个所述本地数据集模块的上传的手势数据，形成海量大数据集合；

云端分类器模型模块：使用云端数据集模块中的海量大数据集合，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型；

云端手势识别模块：感测单元检测的信号发送至云端服务器，云端服务器通过模式识别获得感测单元检测到的目标手势。

2.根据权利要求1所述的基于前臂生物电多传感器的手势识别系统，其特征在于，所述云端手势模型或所述本地手势模型建立时，包括“有监督训练模式”，用用户提供的标签和本地数据集中的数据，对分类器模型进行训练。

3.根据权利要求1或2所述的基于前臂生物电多传感器的手势识别系统，其特征在于，所述云端手势模型或所述本地手势模型建立时，包括“无监督训练模式”，采用聚类的方式，将用户手势数据划分到已经提供标签的手势子集中。

4.根据权利要求1-3中任一项所述的基于前臂生物电多传感器的手势识别系统，其特征在于，所述信号采集终端为佩戴于人体腕部的腕带，所述腕带包括内外两个平行设置的第一环形件及第二环形件，所述第一环形件全部联通，用作参考和地电极，所述第二环形件安装有所述感测单元，并设置有供电单元。

5.根据权利要求4所述的基于前臂生物电多传感器的手势识别系统，其特征在于，所述感测单元包括若干离散分布的用于获取前臂皮肤不同位置的所述生物电信号的生物电电极，以及若干用于检测手部的所述空间运动信号的加速度传感器。

6.根据权利要求5所述的基于前臂生物电多传感器的手势识别系统，其特征在于，所述生物电信号包括肌电信号及皮肤阻抗信号，所述空间运动信号包括手部运动加速度信号和空中旋转信号。

7.根据权利要求6所述的基于前臂生物电多传感器的手势识别系统，，其特征在于，所述预处理模块包括带通滤波单元和/或带阻滤波单元。

8.根据权利要求7所述的基于前臂生物电多传感器的手势识别系统，，其特征在于，在所述预处理模块中，预处理后的数据通过蓝牙无线通信单元传递给本地服务器，所述蓝牙无线通信单元设置于所述第二环形件上。

9.根据权利要求8所述的基于前臂生物电多传感器的手势识别系统，其特征在于，所述本地服务器为本地的PC机或手机。

10.根据权利要求1-9中任一项所述的基于前臂生物电多传感器的手势识别系统，其特征在于，所述分割模块对所述预处理后的数据采用基线检测、平滑滤波、过零点检测以及计算波形曲线下面积的手段得到手势原始信号，进而对所述手势原始信号进行归一化处理，将所述手势原始信号的绝对幅值转化为0-1之间的相对幅值，在连续时间序列形态的信号中，所述相对幅值与设定好的能量阈值进行比较，识别出每个手势的起点和终点，然后将数据分割为一个个独立的手势，所述能量阈值随云端服务器手势数据的增加进行动态调整。

11.根据权利要求10所述的基于前臂生物电多传感器的手势识别系统，其特征在于，在所述本地数据集模块中，将手势数据上传至所述云端数据集模块后，所述本地数据集模块的手势数据集删除。

12.根据权利要求11所述的基于前臂生物电多传感器的手势识别系统，其特征在于，在所述云端分类器模型模块中，将云端手势模型进行适当的裁剪后，再去更新所述本地识别模式的本地手势模型。