CN109542220B - 一种带有校准和学习功能的手语手套、系统及实现方法 - Google Patents

Abstract

本发明一种带有校准和学习功能的手语手套、系统及方法，所述手套包括：手套本体；若干根弯曲传感器，每根弯曲传感器分别设置于所述手套本体的各手指上，以获取手指的弯曲程度的数据；加速度计与陀螺仪，设置于所述手套本体的手腕处，用于获取手腕的旋转角度数据及旋转速度；至少两个蓝牙模块，用于实现手套之间，以及手套与上位机或移动设备端之间的通信；微处理单元，用于根据所述蓝牙模块接收到的信号进行手势姿态数据采集，并将采集的手势数据通过所述蓝牙模块传送至另一手语手套或上位机，以便进行手势预测或手势学习，通过本发明，可解决现有技术由于打手语习惯不同或手指大小长度不一样造成的识别率下降的问题，同时也可解决传统手语手套词汇量小的问题。

Description

一种带有校准和学习功能的手语手套、系统及实现方法

技术领域

本发明涉及人工智能及手语识别技术领域，特别是涉及一种带有校准和学习功能的手语手套、系统及实现方法。

背景技术

目前对于聋哑人与正常人之间的交流，需要正常人能够读懂聋哑人的哑语才能够进行。对于读不懂聋哑人的哑语或手势的正常人，如何理解聋哑人通过手势表达的含义，成为一个两者间的沟通的难题。

解决这个问题以提高聋哑人的生活质量，就需要一个具有语音翻译功能的手语手套。在手语手套的设计中，通常使用弯曲传感器和加速度计陀螺仪来实现对手势的识别。然而，这种基于标准手势语音库的手势识别并不能很好地满足每个人的需求，原因是每个人的手型、手指长度并不一致，从而导致他们做出的手势可能不能和标准的手势相匹配，最后出现误差。

在《模式识别与人工智能》期刊中有一篇《基于深度信息和SURF-BoW的中国手语识别算法》的论文提到，基于计算机视觉和图形处理算法的手势识别技术，其通常利用单个或多个摄像机采集手势图形信息，利用肢体轮廓等获得手势特征实现识别。微软推出的Kinect便是利用这种技术和电视机相结合实现手势控制的娱乐方式。虽然它能够实现手语手势的高准确率识别，但是基于摄像头等识别一般适固定地点，且不满足便携的要求，采集设备比较笨重而且昂贵。

公告号为CN105353866A的中国发明专利申请公开了一种用于采集手语识别用数据的手套，该手套因其传感器数量多从而可以精确地识别每一个手势。然而，其手套上传感器太多，使得佩戴起来比较笨重，而且其本质只是单纯采集手套手势数据的功能，并没有相应的算法处理去解决手语识别及其应用的问题。

目前，大多数的手语手套专利都是以标准手势为基础进行设计，此类手套具有大量的语音库以满足用户的需求。然而，其局限性在于不能适应不同的人群，以及无法让不会手语的聋哑人使用。另外在手势的多样化方面存在着不足，用户不能使用自己习惯的非标准手势。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种带有校准和学习功能的手语手套、系统及实现方法，解决了现有技术由于打手语习惯不同或手指大小长度不一样造成的识别率下降的问题，同时也解决了传统手语手套词汇量小的问题。

为达上述及其它目的，本发明提出一种带有校准和学习功能的手语手套，包括：

手套本体；

若干根弯曲传感器，每根弯曲传感器分别设置于所述手套本体的各手指上，以获取手指的弯曲程度的数据；

加速度计与陀螺仪，设置于所述手套本体的手腕处，用于获取手腕的旋转角度数据及旋转速度；

至少两个蓝牙模块，用于实现手套之间，以及手套与上位机或移动设备端之间的通信；

微处理单元，用于根据所述蓝牙模块接收到的信号进行手势姿态数据采集，并将采集的手势数据通过所述蓝牙模块传送至另一手语手套或上位机，以便进行手势预测或手势学习。

优选地，每个弯曲传感器与一电阻串联分压，并通过模数转换模块连接至所述微处理单元，所述手语手套还包括电源模块，所述电源模块经过稳压模块与滤波电容，输出电源给所述微处理单元及其他需要供电的模块。

优选地，所述稳压模块、模数转换模块、两个蓝牙模块、分压模块以及加速度与陀螺仪模块、微处理单元集成于一电路板上，并固定于所述手套本体的手腕上。

为达到上述目的，本发明还提供一种带有校准和学习功能的手语系统，包括：

两个手语手套，分别为左右手手语手套，用于根据预定的通信协议分别利用设置于手套手指的弯曲传感器及设置于手套手腕的加速度计与陀螺仪采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习，并将手势预测的结果发送至移动设备端；

上位机，用于根据移动设备端的信号对获得的手势姿态数据进行手势预测或手势学习，将预测结果返回至相应的手语手套或根据手势学习结果更新手语数据库；

移动设备端，用于于手势学习时提供学习的手势文本并启动手语手套的手势学习过程，用于手势预测时，接收手语手套的手势预测结果，将手势预测结果予以输出。

优选地，所述预定的通信协议过程如下：

利用所述手语手套中的第一手套产生启动信号并通过蓝牙模块发送至第二手套以启动所述第二手套的数据采集；所述第一手套为所述手语手套的左手手套或右手手套；所述第二手套为所述手语手套的中与所述第一手套配对使用的另一手套；

所述第二手套于收到启动信号后，进行所述第二手套的手势数据采集，并将采集的数据发送至所述第一手套；

当所述第一手套接收到所述第二手套的手势数据采集时，进行所述第一手套的手势数据采集，并将所述第一手套和第二手套的手势姿态数据一并发送至上位机以进行手势预测或手势学习。

优选地，当接收到移动设备端的手势学习开始信号并获得一新手语词汇时，所述上位机将持续获得的手势姿态数据进行存储，并于接收到手势学习结束信号时，将该期间采集到的手势姿态数据作为该新手语词汇的手势数据，添加至手语数据库。

优选地，当未接收到移动设备端的手势学习开始信号时，则所述上位机默认进行手势预测，将获得的手势姿态数据基于KNN分类器进行手势预测，将预测结果返回至相应的手语手套。

优选地，所述基于KNN分类器的手势预测过程如下：计算当前手势数据与手语数据库中各个手势数据的差距，将计算结果距离最短的结果输出至与其通信的手语手套。

优选地，于所述手势预测过程中，每隔若干时间预测一次手势，当连续若干次预测结果都一样时，确定其为最终预测结果输出至与其通信的手语手套。

为达到上述目的，本发明还提供一种带有校准和学习功能的手语系统的实现方法，包括如下步骤：

步骤S1，利用左右手手语手套根据预定的通信协议采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习；

步骤S2，利用上位机根据移动设备端的信号对获得的手势姿态数据进行手势预测或手势学习，将预测结果返回至手语手套或根据手势学习结果更新手语数据库；

步骤S3，所述手语手套端将获得的手势预测结果发送至移动设备端予以输出。

与现有技术相比，本发明一种带有校准和学习功能的手语手套、系统及实现方法通过利用左右手手语手套根据预定的通信协议采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习，利用上位机根据移动设备端的信号对获得的手势姿态数据进行手势预测或手势学习，将预测结果返回至手语手套或根据手势学习结果更新手语数据库，最后由手语手套端将获得的手势预测结果发送至移动设备端予以输出，解决了现有技术由于打手语习惯不同或手指大小长度不一样造成的识别率下降的问题，同时也解决了传统手语手套词汇量小的问题。

附图说明

图1为本发明一种带有校准和学习功能的手语手套的结构示意图；

图2为本发明具体实施例之一种带有校准和学习功能的手语手套的电路结构图；

图3为本发明一种带有校准和学习功能的手语系统的系统架构图；

图4为本发明一种带有校准和学习功能的手语系统的实现方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种带有校准和学习功能的手语手套的结构示意图。如图1所示，本发明一种带有校准和学习功能的手语手套，包括：

手套本体1；

若干根弯曲传感器2，每根弯曲传感器2分别设置于手套本体1的各手指上，具体地，每一根弯曲传感器粘合手套手指上，弯曲传感器2用来获取手指的弯曲程度的数据，手指的不同弯曲程度对应弯曲传感器不同的阻值，从而实现获取和判断手指弯曲度；

加速度计与陀螺仪3，设置于手套本体1的手腕处，用来获取手腕的旋转角度数据及旋转速度，以判断手势方位及速度；

至少两个蓝牙模块4，用于实现手套之间，以及手套与上位机或移动设备端之间的通信。在本发明具体实施例中，某一手套的两个蓝牙模块与另一手套及上位机通信，另一手套的两个蓝牙模块则与前一手套及移动设备端通信，例如左手手套的蓝牙与移动设备端通信，左手手套的蓝牙与右手手套的蓝牙通信，右手手套的蓝牙与上位机通信，所述蓝牙模块采用贴片式的蓝牙模块，本发明不以此为限。

微处理单元(MCU)5，用于根据蓝牙模块4接收到的信号进行手势姿态数据采集，并将采集的手势数据通过蓝牙模块传送至另一手套或上位机，以便进行手势预测或手势学习，这里的手势姿态数据包括弯曲传感器2采集的各手指弯曲程度的数据以及加速度计与陀螺仪3采集的手腕的旋转角度数据及旋转速度。在本发明具体实施例中，当某一手套(例如左手)的微处理单元通过蓝牙模块接收到另一手套(例如右手)的微处理单元通过蓝牙模块发送的启动信号时，则通过左手手套的弯曲传感器2和加速度计与陀螺仪3进行采集左手手势姿态数据，并将其通过蓝牙模块传送至右手手套，当右手手套通过蓝牙模块接收到左手手势姿态数据后，则通过右手手套的弯曲传感器2和加速度计与陀螺仪3进行采集右手手势姿态数据，并于采集完毕后，右手手套的微处里单元则将左右手势姿态数据打包以预定格式发送给上位机，以进行下一步的手势预测或手势学习。

图2为本发明具体实施例之一种带有校准和学习功能的手语手套的电路结构图。在本发明具体实施例中，该手语手套包括5根弯曲传感器、加速度计与陀螺仪、电源模块、稳压模块、模数转换模块(ADC)、MCU以及两个蓝牙模块1/2，其中每个弯曲传感器与一个电阻(分别为R1-R5)串联分压，并通过模数转换模块连接至MCU，所述电阻采用贴片电阻，电源模块经过稳压模块稳压后给其他模块供电，在本发明具体实施例中，电源模块采用7.4V小电池供电，经过稳压模块与滤波电容(未示出)，输出5V给MCU及其他各需要5v供电的模块，加速度计与陀螺仪通过II2C接口连接至MCU，蓝牙模块1/2也分别连接MCU，在本发明具体实施例中，分压模块、稳压模块、模数转换模块、两个蓝牙模块以及加速度与陀螺仪模块、MCU集成于一电路板上，并固定于手套本体的手腕上。

图3为本发明一种带有校准和学习功能的手语系统的系统架构图。如图3所示，本发明一种带有校准和学习功能的手语系统，包括：

两个手语手套10，分别为左右手手语手套，用于根据预定的通信协议分别利用设置于手套手指的弯曲传感器及设置于手套手腕的加速度计与陀螺仪采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习，并将手势预测的结果发送至移动设备端。在本发明具体实施例中，预定的通信协议过程如下：

利用所述手语手套中的第一手套产生启动信号并通过蓝牙模块发送至第二手套以启动所述第二手套的数据采集；所述第一手套为所述手语手套的左手手套或右手手套；所述第二手套为所述手语手套的中与所述第一手套配对使用的另一手套；在本发明具体实施例中，可通过于手语手套上设置一启动的按钮来实现，例如，以右手手套启动为例，当按下右手手套上启动的按钮时，右手手套的微处里单元通过蓝牙模块发送启动信号(例如通过发送特定字符，如字符“a”)至左手手套的微处里单元；

所述第二手套于收到启动信号后，进行所述第二手套的手势数据采集，并将采集的数据发送至所述第一手套，在本发明具体实施例中，当左手手套的微处里单元接收到字符“a”的启动信号时，则通过弯曲传感器及加速度计与陀螺仪采集左手的手势姿态数据，并将其发送给右手手套的微处里单元，这里，左手手套只进行一次手势姿态数据的采集与发送；

当所述第一手套接收到所述第二手套的手势数据采集时，进行所述第一手套的手势数据采集，并将所述第一手套和第二手套的手势姿态数据一并发送至上位机以进行手势预测或手势学习。在本发明具体实施例中，当右手手套的微处里单元接收到左手完整的手势姿态数据后，通过弯曲传感器及加速度计与陀螺仪采集进行右手手势姿态数据的采集，采集完毕后，右手手套的微处里单元则将左右手的手势姿态数据打包以预设格式发送给上位机，以进行手势预测或手势学习。

上位机20，用于根据移动设备端30的信号对获得的手势姿态数据进行手势预测或手势学习，将预测结果返回至手语手套或根据手势学习结果更新手语数据库。在本发明具体实施例中，当接收到移动设备端的手势学习开始信号并获得一新手语词汇时，将持续获得的手势姿态数据进行存储，并于接收到手势学习结束信号时，将该期间采集到的手势姿态数据作为该新手语词汇的手势数据，添加至手语数据库，也就是说，上位机20中存储有一手语数据库，所述手语数据库中对应有若干手语词汇(或手语文本)及其对应的手势数据，当然手语数据库中对于每条手语词汇还可对应一手势序号，这样于后续预测时可利用该手势序号代替每条记录，在此不予赘述；当未接收到移动设备端的手势学习开始信号时，则上位机20默认进行手势预测，将获得的手势姿态数据基于KNN分类器进行手势预测，即计算当前手势数据与手语数据库中各个手势数据的差距，将计算结果距离最短的结果，例如对应的手语文本输出至与其通信的手套。较佳地，为提高预测的准确性，上位机可每隔若干时间(例如100ms)预测一次手势数据，当连续若干次(例如5次)的预测结果都一样时，则将该结果作为预测的最终结果(这里的最终结果可为手语文本或手势序号，本发明不以此为限)，并将最终结果由与上位机通信的手套发送至与移动设备端通信的手套，并由与移动设备端通信的手套传送至移动设备端，在本发明具体实施例中，则将最终结果由右手手套发送至左手手套，并通过左手手套发送至移动设备端。

移动设备端30，用于于手势学习时提供学习的手势文本并启动手语手套的手势学习过程，用于手势预测时，接收手语手套的手势预测结果，将手势预测结果予以输出，实现手语翻译的目的。在本发明具体实施例中，当欲对一手语词汇进行手势学习时，首先需做出该手语的手势，并要在移动设备端(例如手机)输入该手势文本，输入完成后，利用移动设备端30启动左右手手套进行手势数据的采集，例如在手机APP端点击“手势学习”按钮，左右手手套于接收到手势学习信号时，通过左右手数据的通信协议将手势数据发送给上位机，而当手机按下“结束学习”按钮，上位机则将在这期间采集到的手势数据以预设格式存储在txt文件，作为该手语手势的样本更新手语数据库，由此学习得到了一个新的手语词汇；而在手势预测阶段，当确定了预测的最终结果时，右手手套将结果发送给左手手套，并由左手手套发送给移动设备端(例如手机)，移动设备端可将获得的手语文本(若获得的是手势序号，则先将其转换为手语文本)于文本框中输出或将其转换成语音数据输出，实现手语翻译并语音播放的目的。

图4为本发明一种带有校准和学习功能的手语系统的实现方法的步骤流程图。如图4所示，本发明一种带有校准和学习功能的手语系统的实现方法，包括如下步骤：

步骤S1，利用左右手手语手套根据预定的通信协议采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习。在本发明具体实施例中，左右手手语手套分别通过设置于手套手指的弯曲传感器及设置于手套手腕的加速度计与陀螺仪采集左右手的手势姿态数据，具体地，步骤S1进一步包括：

步骤S100，利用所述手语手套中的第一手套产生启动信号并通过蓝牙模块发送至第二手套以启动所述第二手套的数据采集；所述第一手套为所述手语手套的左手手套或右手手套；所述第二手套为所述手语手套的中与所述第一手套配对使用的另一手套；在本发明具体实施例中，可通过于手语手套上设置一启动的按钮来实现，例如，以右手手套启动为例，当按下右手手套上启动的按钮时，右手手套的微处里单元通过蓝牙模块发送启动信号(例如通过发送特定字符，如字符“a”)至左手手套的微处里单元；

步骤S101，所述第二手套于收到启动信号后，进行所述第二手套的手势数据采集，并将采集的数据发送至所述第一手套，在本发明具体实施例中，当左手手套的微处里单元接收到字符“a”的启动信号时，则通过弯曲传感器及加速度计与陀螺仪采集左手的手势姿态数据，并将其发送给右手手套的微处里单元，这里，左手手套只进行一次手势姿态数据的采集与发送；

步骤S102，当所述第一手套接收到所述第二手套的手势数据采集时，进行所述第一手套的手势数据采集，并将所述第一手套和第二手套的手势姿态数据一并发送至上位机以进行手势预测或手势学习。在本发明具体实施例中，当右手手套的微处里单元接收到左手完整的手势姿态数据后，通过弯曲传感器及加速度计与陀螺仪采集进行右手手势姿态数据的采集，采集完毕后，右手手套的微处里单元则将左右手的手势姿态数据打包以预设格式发送给上位机，以进行手势预测或手势学习。

步骤S2，利用上位机根据移动设备端的信号对获得的手势姿态数据进行手势预测或手势学习，将预测结果返回至手语手套或根据手势学习结果更新手语数据库。在本发明具体实施例中，当接收到移动设备端的手势学习开始信号并获得一新手语词汇时，上位机将持续获得的手势姿态数据进行存储，并于接收到手势学习结束信号时，将该期间采集到的手势姿态数据作为该新手语词汇的手势数据，添加至手语数据库，也就是说，上位机中存储有一手语数据库，所述手语数据库中对应有若干手语词汇(或手语文本)及其对应的手势数据，当然手语数据库中对于每条手语词汇还可对应一手势序号，这样于后续预测时可利用该手势序号代替每条记录，在此不予赘述；当未接收到移动设备端的手势学习开始信号时，则上位机默认进行手势预测，将获得的手势姿态数据基于KNN分类器进行手势预测，即计算当前手势数据与手语数据库中各个手势数据的差距，将计算结果距离最短的结果，例如对应的手语文本输出至与其通信的手套。较佳地，为提高预测的准确性，上位机可每隔若干时间(例如100ms)预测一次手势数据，当连续若干次(例如5次)的预测结果都一样时，则将该结果作为预测的最终结果(这里的最终结果可为手语文本或手势序号，本发明不以此为限)，并将最终结果由与上位机通信的手套发送至与移动设备端通信的手套。

步骤S3，手语手套端将获得的手势预测结果发送至移动设备端予以输出。也就是说，当确定了预测的最终结果时，右手手套则将预测结果发送给左手手套，并由左手手套发送给移动设备端(例如手机)，移动设备端可将获得的手语文本(若获得的是手势序号，则先将其转换为手语文本)于文本框中输出或将其转换成语音数据输出，实现手语翻译并语音播放的目的。

以下将通过一具体实施例来说明本发明之手语手套的实现过程，在本实施例中，上位机为电脑端，移动设备端为手机，其具体实现：

于本实施例中，左右手手语手套采集手势弯曲数据：利用弯曲传感器和68K贴片电阻串联分压，使用单片机(微处理单元)的ADC模块功能引脚测量手指弯曲传感器的AD值。

左右手手语手套采集手势方位与运动状态：单片机(微处理单元)通过II2C读取MPU6050的三轴加速度值和三轴陀螺仪值。

左右手手语手套根据预定的通信协议分别利用设置于手套手指的弯曲传感器及设置于手套手腕的加速度计与陀螺仪采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习。该左右手数据的通信协议：按下右手手套启动的按钮，右手单片机通过蓝牙模块发送特定字符“a”作为启动信号给左手单片机，左手单片机一旦接收字符“a”，则进行采集左手手势姿态数据，并且发送给右手单片机，左手只进行一次手势姿态数据的采集与发送；当右手接收到左手完整的手势姿态数据，可进行右手手势姿态数据的采集，采集完毕后，右手单片机将左右手势姿态数据打包以一定格式发送给上位机(即电脑端)，以进行下一步骤的电脑端手势预测和手势学习功能。

电脑端的手势学习，即建立训练样本的学习过程：当想要输入一个新的手语词汇时，利用手语手套做出该手语的手势，同时要在手机输入该手势文本。输入完成后在手机APP端点击“手势学习”按钮，这时手语手套的单片机通过左右手数据的通信协议将手势数据发送给上位机，当按下手机APP端的“结束学习”按钮，上位机将在这期间采集到的手势数据以一定格式存储在txt文件，作为该手语手势的样本，由此学习得到了一个新的手语词，更新手语数据库，具体地，手机APP端按下学习按钮，双手维持手语动作10秒，再按下结束学习按钮，输入手语词汇，即成功输入手语序号和手语词汇到手机端，同时也将该手势传感器数据存储在电脑手语数据库中。

电脑端的手势预测过程：使用Knn分类器进行手势预测，具体地，按下右手的启动按钮，若没有手机端的手势学习启动信号，则默认是手势预测的模式，这时手语手套的单片机通过左右手数据的通信协议将手势数据发送给上位机，将收到的数据放进knn的分类器进行预测，找到训练样本中最为相近的手势，并将结果输出给右手单片机，具体地计算当前手势数据与手语标准库数据的差距，将计算结果距离最短的手势序号输出到单片机，每隔100ms预测一次手势，当连续5次预测结果都一样时，则确定为最终预测输出给右手单片机，在本实施例中，手语数据库中对于每条手语词汇记录可对应一手势序号，输出的预测结果则可为手势序号。

手机APP语音播放：右手单片机将滤波后的结果发送给左手单片机，左手单片机进而将结果发送到手机，手机将接收到的对应的手势序号，转换为手语文本，同时显示在文本框中和发出语音，即根据手势序号匹配手语词汇库序号，将序号对应的文本进行输出及播放，实现手语翻译及语音播放的功能。

综上所述，本发明一种带有校准和学习功能的手语手套、系统及实现方法通过利用左右手手语手套根据预定的通信协议采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习，利用上位机根据移动设备端的信号对获得的手势姿态数据进行手势预测或手势学习，将预测结果返回至手语手套或根据手势学习结果更新手语数据库，最后由手语手套端将获得的手势预测结果发送至移动设备端予以输出，解决了现有技术由于打手语习惯不同或手指大小长度不一样造成的识别率下降的问题，同时也解决了传统手语手套词汇量小的问题。

与现有技术相比，本发明具有如下有益效果：

1、实现采集手势姿态数据，并利用分类算法进行分类预测的功能；

2、实现通过手语手套做出手语手势，而通过手机端APP进手语翻译成文本及语音发音的功能；

3、实现用户将需要学习的手势及含义输入到分类器中，扩展手语词汇量的功能。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (8)

1.一种带有校准和学习功能的手语手套，包括：

手套本体；

若干根弯曲传感器，每根弯曲传感器分别设置于所述手套本体的各手指上，以获取手指的弯曲程度的数据；每个弯曲传感器与一电阻串联分压，并通过模数转换模块连接至微处理单元；

加速度计与陀螺仪，设置于所述手套本体的手腕处，用于获取手腕的旋转角度数据及旋转速度；

至少两个蓝牙模块，用于实现手套之间，以及手套与上位机或移动设备端之间的通信；

微处理单元，用于根据所述蓝牙模块接收到的信号进行手势姿态数据采集，并将采集的手势数据通过所述蓝牙模块传送至另一手语手套或上位机，以便进行手势预测或手势学习；所述手势预测为将获得的手势数据基于KNN分类器进行手势预测；所述手势学习为将获得的与新手语词汇对应的手势数据存储、添加至手语数据库。

2.如权利要求1所述的一种带有校准和学习功能的手语手套，其特征在于：所述手语手套还包括电源模块，所述电源模块经过稳压模块与滤波电容，输出电源给所述微处理单元及其他需要供电的模块。

3.如权利要求2所述的一种带有校准和学习功能的手语手套，其特征在于：所述稳压模块、模数转换模块、两个蓝牙模块、分压模块以及加速度与陀螺仪模块、微处理单元集成于一电路板上，并固定于所述手套本体的手腕上。

4.一种带有校准和学习功能的手语系统，包括：

两个手语手套，分别为左右手手语手套，用于根据预定的通信协议分别利用设置于手套手指的弯曲传感器及设置于手套手腕的加速度计与陀螺仪采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习，并将手势预测的结果发送至移动设备端；

上位机，用于根据移动设备端的信号对获得的手势姿态数据进行手势预测或手势学习，将预测结果返回至相应的手语手套或根据手势学习结果更新手语数据库；当接收到移动设备端的手势学习开始信号并获得一新手语词汇时，所述上位机将持续获得的手势姿态数据进行存储，并于接收到手势学习结束信号时，将该期间采集到的手势姿态数据作为该新手语词汇的手势数据，添加至手语数据库；当未接收到移动设备端的手势学习开始信号时，则所述上位机默认进行手势预测，将获得的手势姿态数据基于KNN分类器进行手势预测，将预测结果返回至相应的手语手套；

移动设备端，用于手势学习时提供学习的手势文本并启动手语手套的手势学习过程，用于手势预测时，接收手语手套的手势预测结果，将手势预测结果予以输出。

5.如权利要求4所述的一种带有校准和学习功能的手语系统，其特征在于，所述预定的通信协议过程如下：

利用所述手语手套中的第一手套产生启动信号并通过蓝牙模块发送至第二手套以启动所述第二手套的数据采集；所述第一手套为所述手语手套的左手手套或右手手套；所述第二手套为所述手语手套的中与所述第一手套配对使用的另一手套；

所述第二手套于收到启动信号后，进行所述第二手套的手势数据采集，并将采集的数据发送至所述第一手套；

当所述第一手套接收到所述第二手套的手势数据采集时，进行所述第一手套的手势数据采集，并将所述第一手套和第二手套的手势姿态数据一并发送至上位机以进行手势预测或手势学习。

6.如权利要求4所述的一种带有校准和学习功能的手语系统，其特征在于，所述基于KNN分类器的手势预测过程如下：计算当前手势数据与手语数据库中各个手势数据的差距，将计算结果距离最短的结果输出至与其通信的手语手套。

7.如权利要求4所述的一种带有校准和学习功能的手语系统，其特征在于：于所述手势预测过程中，每隔若干时间预测一次手势，当连续若干次预测结果都一样时，确定其为最终预测结果输出至与其通信的手语手套。

8.一种带有校准和学习功能的手语系统的实现方法，包括如下步骤：

步骤S1，利用左右手手语手套根据预定的通信协议采集左右手的手势姿态数据，并将采集的手势姿态数据发送至上位机以进行手势预测或手势学习；

步骤S2，利用上位机根据移动设备端的信号对获得的手势姿态数据进行手势预测或手势学习，将预测结果返回至手语手套或根据手势学习结果更新手语数据库；所述手势预测为将获得的手势数据基于KNN分类器进行手势预测；所述手势学习为将获得的与新手语词汇对应的手势数据存储、添加至手语数据库；

步骤S3，所述手语手套端将获得的手势预测结果发送至移动设备端予以输出。

Images