CN105224066A - 一种基于云端处理的手势识别方法 - Google Patents

Abstract

本发明公开了一种基于云端处理的手势识别方法，其本地服务器保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至云端服务器，本地服务器根据所述手势数据建立本地手势模型，云端服务器接收一个或多个本地服务器的上传的手势数据，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型，因而本发明的手势识别方法在本地和云端都分别拥有数据集模块、分类器模型模块以及手势识别模块，可以保证用户在不联网的情况下依然能够进行手势识别，适用于网络环境实时变化的移动场景，同时，采用云端手势模型更新本地服务器中的本地手势模型，使得本发明的手势识别方法更加的精确。

Description

一种基于云端处理的手势识别方法

技术领域

本发明涉及手势识别，特别涉及一种基于云端处理的手势识别方法。

背景技术

手势是人们日常生活中最广泛使用的一种交流方式，近年来，随着计算机技术的迅速发展，手势识别技术的研究取得了较大的进展，研究手势识别的主要目的是把手势这种既自然又直观的交流方式引入人机接口中。

目前的手势识别方法基本采用以下流程：传感器收集用户手势数据，通过蓝牙等短距离通信方式，传送到单个PC机上进行特征提取和模式分类，如中国专利文献CN103543826A公开一种基于加速度传感器的手势识别方法。该方法首先采集三轴加速度传感器信号，设计平滑去噪滤波器对信号进行预处理并自动实现手势信号边界的检测；结合非手势过滤策略，在模版匹配之前将非手势数据过滤；采用动态规划以及DTW算法，对待识别的手势数据与存储的模板数据进行匹配计算，从而找到与待识别手势最近的模板手势；通过斜率限定曲线路径、限定路径区域以及设定失真门限值等策略，减轻模板匹配计算量，降低识别的开销；利用模板自适应策略，自动更新样本模板库，提高手势识别的精度，该方法能在不明显增加终端能耗的前提下，以较高的识别效率和精度，带来更好的用户体验度，促进人机更加自由地交互。然而，这种方法单纯根据加速度信息进行手势识别，容易造成误差，手势识别的精度不高。

现有技术中，如中国专利文献CN101976330A公开了一种手势识别方法与系统，其以设定的频率同时采集目标手势物的加速度和三维坐标，分别得到对应于同一手势的加速度和三维坐标；分别得到对应于同一手势的加速度数据组和速度数据组对所述手势数据进行特征提取；将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合，根据同步融合的特征进行手势识别；中国专利文献CN103632143A公开了一种结合云计算基于影像的物件识别系统，该系统将影像获取模块捕获的影像数据经前级处理模块进行特征化处理，把分割模块切割出的采集物影像数据在本地端知识库模块中进行相似度比对计算，并将比较后筛选出的采集物影像数据上传至云端知识库模块，由表示及描述模块提前特征值后识别及解析采集物影像数据；然而，在移动场景下，产品的便携性和低功耗尤为重要，以上两种方法中，均需要采用图像拍摄装置捕获目标手势的影像数据（二维图像数据），图像拍摄装置的设置，如摄像头等，会大大降低产品的便携性能；并且，二维图像的数据量比较大，会占用更多的网络带宽资源，消耗更多的电池电量；同时，中国专利文献CN103632143A公开的识别系统只在云端拥有识别及解析模块，在移动场景下，用户未必能随时能以良好的信号连接到互联网，无法联网则会造成整个手势识别系统不能使用，这无疑不适用于网络环境实时变化的移动场景，会严重影响用户的手势识别工作。

发明内容

本发明所要解决的技术问题在于现有技术中不同用户的手势数据无法重用，识别准确率很难提升，用户体验差的技术问题，从而提供一种可以对不同用户的手势数据进行重复利用，对手势信息进行准确识别的识别方法。

本发明的另一个目的在于提供一种可以在用户联网及未联网的状态下均能对手势进行准确识别的方法。

为解决上述技术问题，本发明采用的技术方案是：

一种基于云端处理的手势识别方法，包括如下步骤：

通过设于目标手势物上的若干感测单元，采集目标手势物的生物信号及运动信号；

对所述生物信号及运动信号进行去噪预处理，将处理后的数据传递给本地服务器；

从预处理后的数据中，识别出每个手势的起点和终点，获得独立的手势信号段；

对每个手势信号段进行特征提取，将不同所述感测单元中提取的所述特征数据进行融合，组成多维特征向量；

所述本地服务器保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至云端服务器；

本地服务器根据所述手势数据建立本地手势模型；

所述云端服务器接收一个或多个本地服务器的上传的手势数据，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型；

本地服务器接收感测单元检测的信号后，进行模式识别获得感测单元检测到的目标手势；和/或感测单元检测的信号发送至云端服务器，云端服务器通过模式识别获得感测单元检测到的目标手势。

所述云端手势模型或所述本地手势模型建立时，包括“有监督训练模式”，用户提供的标签和本地数据集中的数据，对分类器模型进行训练。

所述云端手势模型或所述本地手势模型建立时，包括在“无监督训练模式”，采用聚类的方式，将用户手势数据划分到已经提供标签的手势子集中。

所述感测单元为设置于腕部和手指上的生物电传感器及运动传感器，所述生物信号包括肌电信号及皮肤阻抗信号，所述运动信号包括手部运动加速度信号和空中旋转信号，所述生物信号及所述运动信号为一维的时间序列信号。

所述去噪预处理过程包括带通滤波及带阻滤波。

处理后的数据通过无线通信单元传递给本地服务器，所述无线通信单元为蓝牙无线通信，所述本地服务器为本地的PC机或手机。

采用基线检测、平滑滤波、过零点检测以及计算波形曲线下面积的手段得到手势原始信号，进而对所述手势原始信号进行归一化处理，将所述手势原始信号的绝对幅值转化为0-1之间的相对幅值，在连续时间序列形态的信号中，所述相对幅值与设定好的能量阈值进行比较，识别出每个手势的起点和终点，然后将数据分割为一个个独立的手势信号段，所述能量阈值随云端服务器手势数据的增加进行动态调整。所述数据保存与传递步骤中，将所述手势数据上传至所述云端服务器后，本地数据集删除。

所述云端识别模式的所述分类器模型进行适当的裁剪后，再去更新所述本地识别模式的分类器模型。

本发明的上述技术方案相比现有技术具有以下优点：

（1）本发明的手势识别方法，所述本地服务器保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至云端服务器，本地服务器根据所述手势数据建立本地手势模型，所述云端服务器接收一个或多个本地服务器的上传的手势数据，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型，本地服务器接收感测单元检测的信号后，进行模式识别获得感测单元检测到的目标手势，和/或感测单元检测的信号发送至云端服务器，云端服务器通过模式识别获得感测单元检测到的目标手势，因而本发明的手势识别方法具有“本地识别模式”及“云端识别模式”两种识别模式，即在本地和云端都分别拥有数据集模块、分类器模型模块以及手势识别模块，在移动场景下，用户未必能随时以良好的信号连接到互联网，而采用本发明的手势识别方法，可以保证用户在不联网的情况下依然能够进行手势识别，适用于网络环境实时变化的移动场景，同时，采用云端手势模型更新本地服务器中的手势模型，使得本发明的手势识别方法更加的精确。

（2）本发明的手势识别方法，所述本地识别模式服务器及云端识别模式服务器进行模式识别获得感测单元检测到的目标手势过程，均分为“有监督训练模式”及“无监督训练模式，在“有监督训练模式”下，用用户提供的标签和本地数据集中的数据，对分类器模型进行训练；在“无监督训练模式”下，采用聚类的方式，将用户手势数据划分到已经提供标签的手势子集中，因而本方法获得的分类器模型更加的准确，从而进一步提高了本方法的识别精确度。

（3）本发明的手势识别方法，所述感测单元为设置于腕部和手指上的生物电传感器及运动传感器，所述生物信号包括肌电信号及皮肤阻抗信号，所述运动信号包括手部运动加速度信号和空中旋转信号，采样手势对应的生物电及运动等多类别信息，有利于提高识别的精确度，减少识别误差，且所述生物信号及所述运动信号为一维的时间序列信号，与影像数据相比，其数据量小，占用的网络宽带少，耗电量小，因而便于提高产品的便携性，应用更加方便。

（4）本发明的手势识别方法，处理后的数据通过无线通信单元传递给本地服务器，所述无线通信单元为蓝牙无线通信，数据传输更加方便，且所述数据保存与传递步骤中，将所述手势数据上传至所述云端服务器后，可以将本地数据集删除，从而更好的节省了本地存储空间，有利于提高产品性能。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明的手势识别装置示意图；

图2是本发明的手势识别方法框图。

具体实施方式

下面结合附图所示的实施例对本发明作进一步说明：

如图1所示，本发明的手势识别方法其对应的系统装置由三大部分组成：手势信号检测装置1，本地服务器以及云端服务器4，在本实施例中，所述本地服务器包括用户的PC机2或智能手机3。

如图2所示，本发明的基于云端处理的手势识别方法，包括如下步骤：

首先，通过手势信号检测装置1的手势原始数据采集模块101，获取用户手势的原始数据，具体是，通过设于目标手势物上的若干感测单元，采集目标手势物的生物信号及运动信号；在本实施例中，所述若干感测单元为设置于佩戴在用户腕部的腕带上，用于检测人体肌电信号及皮肤阻抗信号的生物电传感器，和/或设置于用户的手指上，用于检测用户的手部运动加速度信号和空中旋转信号的运动传感器，然而所述感测单元的种类及设置位置不局限于此，只要能够反映出针对不同手势时所对应的不同的数据信息即可。

然后，通过信号预处理模块102对所述生物信号及运动信号进行去噪预处理，具体为通过带通滤波及带阻滤波等手段，去除原始信号中的环境噪声，再将处理后的数据通过蓝牙无线通信模块103传递给本地服务器，即用户的PC机2或智能手机3上。

所述本地服务器对数据的处理包括：

从预处理后的数据中，识别出每个手势的起点和终点，获得独立的手势信号段，即图2中的活动段检测与分割模块104，其通过基线检测、平滑滤波、过零点检测以及计算波形曲线下面积的手段得到手势原始信号，进而对所述手势原始信号进行归一化处理，将所述手势原始信号的绝对幅值转化为0-1之间的相对幅值，在连续时间序列形态的信号中，所述相对幅值与设定好的能量阈值进行比较，识别出每个手势的起点和终点，然后将数据分割为一个个独立的手势信号段，且所述能量阈值随云端服务器手势数据的增加进行动态调整；继而通过特征提取模块105对每个手势信号段用一组能表征其固有特性的数据（特征）来描述每一个有效动作，如信号幅值的绝对值均值；然后把不同所述感测单元提取的若干组特征，如腕部的若干生物电电极检测的肌电信号及皮肤阻抗信号，和/或手指的加速度传感器的检测到的运动信号，包括运动幅度及角度信息等不同组的有效手势数据，进行融合，从而组成多维特征向量；

然后，本地服务器的本地数据集模块106保存所述多维特征向量，并在设备联网时将其上传至云端服务器的云端数据集模块109上传完成后，为节省用户的本地存储空间，本地数据集模块106的数据可以删除；本地服务器的本地分类器模型模块107基于所述本地数据集106的手势数据训练建立本地手势模型，其包括：在“有监督训练模式”下，可以用用户提供的标签和本地数据集中的数据，对分类器模型进行训练，在“无监督训练模式”下，采用聚类的方式，将用户手势数据，划分到已经提供标签的手势子集中，采用两种训练模式使得本申请获得的分类器模型更加的准确，从而进一步提高了本方法的识别精确度；然后，本地手势识别模块108通过SVM等分类器，对用户的手势进行实时识别。

本发明的手势识别方法中，当用户的设备无法联网或者网络信号不佳时，使用上述的“本地识别模式”，即，使用本地PC机或智能手机上训练的分类器模型，同时，本发明的手势识别方法还具有“云端识别模式”，当用户位于良好的网络环境下，可使用“云端识别模式”，其在云端服务器4上建立有云端数据集模块109、云端分类器模型模块110以及云端手势识别模块111。

所述云端服务器4的所述云端数据集模块109，收集所有用户的PC机2和智能手机3上的所述本地数据集模块106所上传的手势数据，形成一个手势数据的海量大数据集合，所述云端分类器模型模块110使用云端海量的大数据集合，对云端的分类器模型进行训练，该训练也分为“有监督训练模式”和“无监督训练模式”，在有监督训练模式下，上传到云端的数据还应该包括用户所指定的手势数据所对应的标签，其具体过程与上述相同，在此不加赘述，从而建立云端手势模型，随着用户上传数据的增加，该模型将不断迭代的得到训练，因而越来越能反映不同用户手势中通用的特征，消除个体噪音的影响，并且，每一次迭代训练完成后，可以用云端手势模型去更新每个用户的PC机2或智能手机3上的本地手势模型，从而提高每一个用户手势本地识别的正确率，当然，考虑到本地存储容量的限制，将会对云端的分类器模型进行适当的裁剪，再更新到用户本地，同时可以将所述感测单元检测的信号通过互联网发送至云端服务器4，最后通过云端手势识别模块111，使用云端分类器模型，对用户实时上传的手势数据，进行手势识别，并将识别结果，实时返回给用户。

作为其他可以替换的实施方式，本地识别模式和云端识别模式中，可以选择现有技术中模式识别方式进行模型的建立和识别，如模糊识别方式、神经网络模式识别方式等智能识别方法。

本发明的手势识别方法具有“本地识别模式”及“云端识别模式”两种识别模式，即在本地和云端都分别拥有数据集模块、分类器模型模块以及手势识别模块，在移动场景下，用户未必能随时以良好的信号连接到互联网，而采用本发明的手势识别方法，可以保证用户在不联网的情况下依然能够进行手势识别，适用于网络环境实时变化的移动场景，同时，采用云端手势模型更新本地服务器中的本地手势模型，使得本发明的手势识别方法更加的精确，同时本方法的所述感测单元采集一维的时间序列信号使得本发明的数据量较小，占用宽带资源少，产品耗电量小，便携性更强。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种基于云端处理的手势识别方法，其特征在于，包括如下步骤：

通过设于目标手势物上的若干感测单元，采集目标手势物的生物信号及运动信号；

对所述生物信号及运动信号进行去噪预处理，将处理后的数据传递给本地服务器；

从预处理后的数据中，识别出每个手势的起点和终点，获得独立的手势信号段；

对每个手势信号段进行特征提取，将不同所述感测单元中提取的所述特征数据进行融合，组成多维特征向量；

所述本地服务器保存已经完成特征提取与融合的手势数据，并在设备联网时将其上传至云端服务器；

本地服务器根据所述手势数据建立本地手势模型；

所述云端服务器接收一个或多个本地服务器的上传的手势数据，建立云端手势模型，并利用该云端手势模型更新每个本地服务器中的手势模型；

本地服务器接收感测单元检测的信号后，进行模式识别获得感测单元检测到的目标手势；和/或感测单元检测的信号发送至云端服务器，云端服务器通过模式识别获得感测单元检测到的目标手势。

2.根据权利要求1所述的基于云端处理的手势识别方法，其特征在于，所述云端手势模型或所述本地手势模型建立时，包括“有监督训练模式”，用户提供的标签和本地数据集中的数据，对分类器模型进行训练。

3.根据权利要求1或2所述的基于云端处理的手势识别方法，其特征在于，所述云端手势模型或所述本地手势模型建立时，包括“无监督训练模式”，采用聚类的方式，将用户手势数据划分到已经提供标签的手势子集中。

4.根据权利要求1-3中任一项所述的基于云端处理的手势识别方法，其特征在于，所述感测单元为设置于腕部和手指上的生物电传感器及运动传感器，所述生物信号包括肌电信号及皮肤阻抗信号，所述运动信号包括手部运动加速度信号和空中旋转信号，所述生物信号及所述运动信号为一维的时间序列信号。

5.根据权利要求4所述的基于云端处理的手势识别方法，其特征在于，所述去噪预处理过程包括带通滤波及带阻滤波。

6.根据权利要求5所述的基于云端处理的手势识别方法，其特征在于，处理后的数据通过无线通信单元传递给本地服务器，所述无线通信单元为蓝牙无线通信，所述本地服务器为本地的PC机或手机。

7.根据权利要求1-6中任一项所述的基于云端处理的手势识别方法，其特征在于，采用基线检测、平滑滤波、过零点检测以及计算波形曲线下面积的手段得到手势原始信号，进而对所述手势原始信号进行归一化处理，将所述手势原始信号的绝对幅值转化为0-1之间的相对幅值，在连续时间序列形态的信号中，所述相对幅值与设定好的能量阈值进行比较，识别出每个手势的起点和终点，然后将数据分割为一个个独立的手势信号段，所述能量阈值随云端服务器手势数据的增加进行动态调整。

8.根据权利要求7所述的基于云端处理的手势识别方法，其特征在于，所述数据保存与传递步骤中，将所述手势数据上传至所述云端服务器后，本地数据集删除。

9.根据权利要求8所述的基于云端处理的手势识别方法，其特征在于，所述云端识别模式的所述分类器模型进行适当的裁剪后，再去更新所述本地识别模式的分类器模型。