CN105630161A - 基于Android系统的手势控制指环及其使用方法 - Google Patents

Abstract

本发明提供了一种基于Android系统的手势控制指环及其使用方法，本发明涉及Android系统的智能指环，所设计的智能指环由现有的三轴加速度传感器、微控制器、蓝牙模块和电源组成，和手机连接之后，通过预定义的手势进行各种模式的处理，通过定义元手势和复杂手势，达到储存少量手势即可达到多种控制的效果，通过改变手机功能接口映射关系，可改变当前对手机控制的效果，通过软件设置的手势学习，实现用户个性的控制手势；无障碍识别，用户友好，在室内可实现远程操作，不受方向和位置限制，只要在蓝牙通讯范围内，即可实现操控。

Description

基于Android系统的手势控制指环及其使用方法

技术领域

本发明涉及一种智能指环，尤其是一种基于Android系统的智能指环，还涉及一种基于Android系统的智能指环的使用方法。

背景技术

近年来，随着电子技术的不断发展，许多传感器越来越集成化，功耗不断降低，性能不断提高，最主要的是体积也在不断下降，这也使得智能可穿戴设备不断被追捧。在传统的智能设备平台中，成熟的人机交互方式(这里主要指手机)主要是以机械键盘、触摸屏和语音输入为主，而手势作为肢体语言是日常生活中不可或缺的一部分，如果将手势和智能穿戴设备结合起来，成为在一些场景下的输入方案，将会极大的提高人们控制手机的效率。

例如，在使用手机时却忘了手机置于何处；或者在双手忙碌时却想接听电话；或者忽然进入到黑暗环境里想迅速看清周围的环境；也或者在遇到危险时想一键报警或录音等等。对于手机本身，想要在上述场景中实现目的是需要繁琐操作的，如针对第一种场景，需要找到另外一台手机拨打电话或者凭着自己的记忆去找，非常耗费时间，如果用语音呼唤，则又无法再吵杂的环境中实现；或者针对第三种场景，遇到危险时可能根本没有拿出手机的机会，此时借助手势操作，直接调用手机的相关功能，如闪光灯或者电话联系人，则可以在第一时间解决问题。而对于现有市售的可穿戴产品来说，功能大部分集中于记步、睡眠监测、消息提醒、身份识别等方面，以给用户提供信息为主，几乎甚至完全忽略了上述场景下手机使用的不便。

于是，设计出一款符合人们日常操作经验，能增强对安卓智能手机(以下简称手机)的控制体验，并且能解决类似场景中不便情况的控制指环就成为我们的研究方向。

发明内容

为了克服现有技术的不足，本发明设计了一种基于Android系统的智能手势控制指环，以下简称指环，旨在解决日常手机操作中，单纯依靠触摸、语音和按键等传统操作方式控制手机的局限性，填补了利用指环采集加速度信息通过数据处理，最终控制手机的空缺，同时增强了手机控制的体验，在许多场景下可以便捷、迅速地调用手机功能，达到更自由的人机交互的目的。

本发明解决其技术问题所采用的技术方案是：

本发明所设计的基于Android系统的智能手势控制指环包含一个三轴加速度传感器、一个微控制器、一个蓝牙模块和一个电源，其中三轴加速度传感器通过SPI接口与微控制器通讯，微处理器通过蓝牙模块与Android智能手机通讯，微控制器、三轴加速度传感器和蓝牙模块均由一块电压为3.7伏的电源供电。

本发明还提供涉及基于Android系统的智能手势控制指环的使用方法，步骤如下：

步骤1：预定义

1.1预定义手势分为元手势和组合手势，元手势是使指环按照一个方向进行运动，保证其内置三轴加速度传感器的三个轴至多有两个轴产生加速度数据，这样手势即为最小不可分识别单元，多个元手势的组合定义为复杂手势；

1.2预定义手势工作模式，分别有手势学习模式、手势强化模式、手势匹配模式：

手势学习模式指手势的学习模式，即将当前的加速度数据经过采样、特征提取后形成特征向量，称为模板；

手势强化模式指指环根据用户的手势动作不断训练模板，即通过对前一次存储手势的加速度数据和当前手势采集到的加速度数据进行平均，并将平均值作为对应的新手势替换掉原来的模板；

模板匹配模式即默认的正常工作模式，指环对采集到当前的加速度数据，先特征提取，再通过识别当前特征向量，匹配到存储的模板，解算出模板对应的控制命令，实现手机端的相关操作；

步骤2：指环上电后，判断指环是否与手机匹配成功，若不成功，则进入低功耗的待机模式等待匹配成功；若成功，则指环进入步骤3进行手势工作模式的多分支选择；

步骤3：若选择手势学习模式，则进入步骤4，若选择手势强化模式，则进入步骤5，若选择手势匹配模式，则进入步骤6，进入每种手势工作模式前对加速度数据进行跳点去除、均值滤波、特征提取的预处理操作；

步骤4：若选择手势学习模式，微控制器将接收到的加速度数据进行步骤3中的预处理后，存储命令及特征向量，结束后返回步骤3的手势工作模式选择状态；

步骤5：若选择手势强化模式，微控制器将当前手势加速度数据进行步骤3中的预处理，再和上一次手势的加速度数据平均，并将平均结果作为新的特征向量替换掉上一次的特征向量，结束后返回步骤3的手势工作模式选择状态；

步骤6：若选择手势匹配模式，微控制器将加速度数据进行步骤3所述的预处理后，从存储模板的第一个特征向量开始匹配，通过动态时间规整算法DTW(DynamicTimeWarping)进行求距：

(1)当距离判定未达到阈值时，则顺序向后面的特征向量匹配；

(2)若距离判定达到或超过阈值，则视为成功匹配该特征向量，其后将特征向量对应的命令通过蓝牙模块发送至手机，发送成功后返回步骤3的手势工作模式选择状态继续选择；

若匹配失败，重新等待新的手势进行匹配操作，或用户自行选择进入步骤4，重新进行手势模板学习。

本发明的有益效果是：通过定义元手势，再通过元手势的相互组合形成复杂手势，继而达到储存少量手势即可达到多种控制的效果；手势对应手机功能可变，即通过改变手机功能接口映射关系，即可改变当前对手机控制的效果；通过软件设置的手势学习，用户可以自定义元手势，从而实现用户个性的控制手势；无障碍识别，用户友好，在室内可实现远程操作，不受方向和位置限制，只要在蓝牙通讯范围内，即可实现操控。

附图说明

图1是本发明的指环系统运行整体框图。

图2是本发明的软件流程整体框图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明所设计的基于Android系统的智能手势控制指环包含一个三轴加速度传感器、一个微控制器、一个蓝牙模块和一个电源，其中三轴加速度传感器通过SPI接口与微控制器通讯，微处理器通过蓝牙模块与Android智能手机通讯，微控制器、三轴加速度传感器和蓝牙模块均由一块电压为3.7伏的电源供电。

本次设计的硬件组成有：ADXL345加速度传感器模块，以STM32为核心的微控制器，电源模块，蓝牙模块以及智能安卓手机终端。在硬件上电后，首先进行指环和手机的蓝牙配对连接，在控制模块判断连接成功后，启动对加速度传感器数据的读取与判断，否则指环进入低功耗省电模式，等待连接唤醒，在连接成功后，开始记录加速度数据，进入正常的工作状态。

使用方法的具体步骤如下：

步骤1：预定义

1.1预定义手势，分为元手势和组合手势，元手势是使指环按照一个方向进行运动，保证其内置加速度传感器的三个轴至多有两个轴产生加速度数据，这样手势即为最小不可分识别单元；多个元手势组合定义为复杂手势，不超过4种元手势的元手势组合为合适取值范围。

1.2预定义手势工作模式，分别是手势学习模式、手势强化模式、手势匹配模式：

手势学习模式指手势的学习模式，即将当前的加速度数据经过采样、特征提取后形成特征向量，称为模板；

手势强化模式指指环根据用户的手势动作不断训练模板，即通过对前一次存储手势的加速度数据和当前手势采集到的加速度数据进行平均，并将平均值作为对应的新手势替换掉原来的模板；

模板匹配模式即默认的正常工作模式，指环对采集到当前的加速度数据，先特征提取，再通过识别当前特征向量，匹配到存储的模板，解算出模板对应的控制命令，实现手机端的相关操作；

步骤2：指环上电后，判断指环是否与手机匹配成功，若不成功，则进入低功耗的待机模式等待匹配成功；若成功，则指环进入步骤3进行手势工作模式的多分支选择；

步骤3：若选择手势学习模式，则进入步骤4，若选择手势强化模式，则进入步骤5，若选择手势匹配模式，则进入步骤6，进入每种手势工作模式前对加速度数据进行跳点去除、均值滤波、特征提取的预处理操作；

所述的特征提取，首先是加速度数据的截取，规定起始和结束都是用一个时长不少于0.5秒的平稳手势实现，即当该手势出现并保持0.5秒以上，视为手势操作开始或结束，此时，加速度传感器的Z轴垂直向上，正负偏差不超过0.2g，g为重力加速度，X、Y轴为零，正负偏差不超过0.2g，，判断阈值区间条件为：

$\left\{\begin{array}{c}0.8<\frac{1}{N}\underset{k=i}{\overset{N}{\&Sigma;}}{Z}_i<1.2\\ -0.2<\frac{1}{N}\underset{k=i}{\overset{N}{\&Sigma;}}{X}_i<0.2\\ -0.2<\frac{1}{N}\underset{k=i}{\overset{N}{\&Sigma;}}{Y}_i<0.2\end{array}\right.$

其中，N为在0.5s内加速度传感器采集到的点数，X_i、Y_i、Z_i为加速度传感器在第i个时刻X、Y、Z三个轴采集到的加速度数据，k的取值是i，i+1，i+2，…，N，当同时满足以上条件后，开始手势操作，此时截取出开始到结束的两个平稳手势之间的加速度数据，再压缩这两个平稳手势之间采集到的加速度数据，具体选择公式为：

$a_{t_k}=a_{t_1}+(t_k-t_1)\&times;\frac{a_{t_2}-a_{t_1}}{t_2-t_1}$

其中，t_k为当前计算的第k时刻，为tk时刻对应的X轴、Y轴或者Z轴的加速度数据，t₁、t₂分别为相邻的两个时刻，分别为t₁、t₂点处的X轴、Y轴或者Z轴加速度数据，去掉t₁、t₂中间的数据，只保留t₁、t₂点的位置与数据值信息,即t_k点的数据可以用来表示，从而实现特征的提取。

步骤4：若选择手势学习模式，微控制器将接收到的加速度数据进行步骤3中的预处理后，存储命令及特征向量，结束后返回步骤3的手势工作模式选择状态；

步骤5：若选择手势强化模式，微控制器会将当前手势加速度数据进行步骤3中的预处理，再和上一次手势的加速度数据平均，并将平均值作为新的特征向量替换掉上一次的特征向量，结束后返回步骤3的手势工作模式选择状态；

步骤6：若选择手势匹配模式，微控制器会将加速度数据进行步骤3所述的预处理后，从存储空间中的第一个特征向量开始匹配，通过动态时间规整算法DTW(DynamicTimeWarping)进行求距，阈值选T/2≤t≤2T，其中T是模板手势所用时间，t是当前手势所用时间，则：

当距离判定未达到阈值，，则顺序向后面的特征向量匹配；

若距离判定达到或超过阈值，则视为成功匹配该特征向量，其后将特征向量对应的命令通过蓝牙发送至手机，发送成功后返回步骤3的手势工作模式选择状态。

步骤3的模式选择，默认是手势识别控制手机的匹配模式，在采集到数据后会进入到数据预处理，包括跳点去除、均值滤波、特征提取，从而解算出相应的手机控制命令。针对于不同模式，在特征提取之后的方向也不同，在学习模式下，会将提取到的特征作为模板进行存储；而在强化模式下，会不断地加权并更新当前的模板，使最终的识别率大大提升。

Claims (2)

1.一种基于Android系统的手势控制指环，包括一个三轴加速度传感器、一个微控制器、一个蓝牙模块和一个电源，其特征在于：

三轴加速度传感器通过SPI接口与微控制器通讯，微处理器通过蓝牙模块与Android智能手机通讯，微控制器、三轴加速度传感器和蓝牙模块均由一块电压为3.7伏的电源供电。

2.一种利用权利要求1所述基于Android系统的手势控制指环的使用方法，其特征在于包括下述步骤：

步骤1：预定义

1.1预定义手势分为元手势和组合手势，元手势是使指环按照一个方向进行运动，保证其内置三轴加速度传感器的三个轴至多有两个轴产生加速度数据，这样手势即为最小不可分识别单元，多个元手势的组合定义为复杂手势；

1.2预定义手势工作模式，分别有手势学习模式、手势强化模式、手势匹配模式：

手势学习模式指手势的学习模式，即将当前的加速度数据经过采样、特征提取后形成特征向量，称为模板；

手势强化模式指指环根据用户的手势动作不断训练模板，即通过对前一次存储手势的加速度数据和当前手势采集到的加速度数据进行平均，并将平均值作为对应的新手势替换掉原来的模板；

模板匹配模式即默认的正常工作模式，指环对采集到当前的加速度数据，先特征提取，再通过识别当前特征向量，匹配到存储的模板，解算出模板对应的控制命令，实现手机端的相关操作；

步骤2：指环上电后，判断指环是否与手机匹配成功，若不成功，则进入低功耗的待机模式等待匹配成功；若成功，则指环进入步骤3进行手势工作模式的多分支选择；

步骤3：若选择手势学习模式，则进入步骤4，若选择手势强化模式，则进入步骤5，若选择手势匹配模式，则进入步骤6，进入每种手势工作模式前对加速度数据进行跳点去除、均值滤波、特征提取的预处理操作；

步骤4：若选择手势学习模式，微控制器将接收到的加速度数据进行步骤3中的预处理后，存储命令及特征向量，结束后返回步骤3的手势工作模式选择状态；

步骤5：若选择手势强化模式，微控制器将当前手势加速度数据进行步骤3中的预处理，再和上一次手势的加速度数据平均，并将平均结果作为新的特征向量替换掉上一次的特征向量，结束后返回步骤3的手势工作模式选择状态；

步骤6：若选择手势匹配模式，微控制器将加速度数据进行步骤3所述的预处理后，从存储模板的第一个特征向量开始匹配，通过动态时间规整算法DTW(DynamicTimeWarping)进行求距：

(1)当距离判定未达到阈值时，则顺序向后面的特征向量匹配；

(2)若距离判定达到或超过阈值，则视为成功匹配该特征向量，其后将特征向量对应的命令通过蓝牙模块发送至手机，发送成功后返回步骤3的手势工作模式选择状态继续选择；

若匹配失败，重新等待新的手势进行匹配操作，或用户自行选择进入步骤4，重新进行手势模板学习。