CN107870681A - 实时识别动作的方法以及相应的手环与计算设备 - Google Patents

Abstract

公开了一种实时识别动作的方法，其包括：进行运动数据采集；收集运动样本，并将其分为训练所需样本以及测试所需样本两部分；利用训练所需样本进行样本的样本标记、特征提取、特征学习与模型训练，得到动作识别模型；利用测试所需样本对动作识别模型进行测试。也公开了利用本方法来实时识别动作的手环与计算设备。

Description

实时识别动作的方法以及相应的手环与计算设备

技术领域

本发明涉及可穿戴设备技术领域，更具体地说，涉及一种实时识别动作的方法以及相应的手环与计算设备。

背景技术

手环是一款风靡的穿戴式设备，通过佩戴手环，用户可以记录运动的实时数据。在如今家长对儿童的健康情况愈加关心的情况下，手环已经逐步出现在儿童穿戴设备中。但是，目前的手环使用较简单，往往用户在使用一段时间后就失去兴趣，不易起到督促运动的作用，也无法起到帮助儿童强身健体，同时，目前市面上的手环产品很难准确实时地识别出人体动作，如跳跃、下蹲、游泳、打篮球、打羽毛球等动作。

针对以上问题，将手环和一些电子产品结合起来，以兴趣为向导，来激励儿童运动。利用模式识别算法，对一些指定动作(跳跃、下蹲、向左跳、向右跳等)进行识别分类，将分类结果提供给后续软件(例如诸如手机、平板等计算设备上的软件)，以用于高级应用(如互动娱乐方面、体育教育方面)。

发明内容

为解决上述问题，本发明提供一种实时识别动作的方法以及采用该方法的手环。

该方法利用信号处理和模式识别算法，对一些指定动作(跳跃、下蹲、向左跳、向右跳等)进行识别分类。

根据本发明的第一个主要方面，提供一种实时识别动作的方法，包括：

进行运动数据采集；收集运动样本，并将其随机分为训练所需样本以及测试所需样本两部分；利用所述训练所需样本进行样本的样本标记、特征提 取、特征学习与模型训练，得到动作识别模型；以及利用所述测试所需样本对所述动作识别模型进行测试。

根据本发明的第二个主要方面，提供用于实现实时识别动作的手环，包括：

数据测量装置，用于测量运动的相关数据；以及无线通信模块，用于将所测量的所述运动的相关数据发送给与所述手环配合使用的计算设备。

根据本发明的第三个主要方面，提供一种用于实现实时识别动作的计算设备，包括：

数据接收装置，用于从与所述计算设备配合使用的手环接收通过所述计算设备的数据测量装置获得的运动的相关数据；以及数据重建与同步模块，用于对通过数据接收装置获取的数据进行必要的重建与同步。

根据本发明的技术方案，可以通过简便的方法实现对动作的实时且相对准确可靠的识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅描述本发明的一部分实施例。这些附图对于本发明来说并不是限制性的，而是起示例性的作用。

图1为示出根据本发明的一个实施方式的手环的示意图；

图2为示出图1中手环的功能模块的功能框图；

图3为示出根据本发明的实施方式的手环与计算设备的示意图；

图4为示出根据本发明的实时动作识别方法的基本步骤的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施形式，都属于本发明保护的范围。

图1为示出根据本发明的一个实施方式的手环的示意图。如图1中所示，该手环整体为环状，环中位置内嵌仪表盘，仪表盘外表面包覆彩色EVA材质涂层，仪表盘两侧设置链带，通过链带构成环状结构，链带为与所述涂层相同颜色和材质的EVA链带，并与所述涂层整体成型，两侧链带连接处通过针扣缩放来调节手环佩戴时的松紧程度。

图2为示出图1中的手环的功能模块的功能框图。如图2中所示，该手环包括：数据测量装置，其包括加速度计与陀螺仪器，分别用于检测运动的三轴加速度和三轴角速度；蓝牙模块，用于通过蓝牙将数据测量装置发送给与手环配合使用的计算设备，如手机、平板电脑、电脑，等等。

图3为示出根据本发明的实施方式的手环与计算设备的示意图。如图3中所示，手环包括的功能模块及其功能与图2中所示出的相应部分相同，而计算设备(例如手机、平板电脑、电脑等等)之中包括数据接收装置以及数据重建与同步模块。其中，数据接收装置用于通过蓝牙从手环接收数据测量装置所测得的数据，而数据重建与同步模块用于对通过数据接收装置获取的数据进行以下将进一步进行说明的重建与同步。

图4为示出根据本发明的实时动作识别方法的基本步骤的流程图。如图4中所示，根据本发明的实时动作识别方法主要包括：1.在步骤ST1中，通过手环的传感器进行运动数据采集；2.在步骤ST2中，收集运动样本，并将其分为训练所需样本以及测试所需样本两部分；3.在步骤ST3中，利用训练所需样本进行样本的特征学习与模型训练，得到动作识别模型；4.在步骤ST4中，利用测试所需样本对动作识别模型进行测试。下面，将对这些步骤进行进一步地说明。

第一步、进行运动数据采集

本环节分为三个步骤，基本任务是从含有数据测量装置的手环设备中读取传感器的原始测量数据，之后把数据通过蓝牙传输到计算设备(手机、平板电脑或PC)，并由后者进行必要的传感器信号重建和同步。具体步骤如下：

(a)动作数据采集

手环设备里面设置有加速度计和陀螺仪，分别提供三轴的加速度测量值和角速度测量值。然后以符合蓝牙通信协议(例如BLE4.0蓝牙传输协议)的合适的数据组织格式把这些测量值打包。

(b)通过蓝牙传输数据

采用BLE4.0的蓝牙传输协议传输上述测量值的数据包，每次传送若干组这样的数据包。这种蓝牙传输协议为当前大多数设备所支持，而且也是一种低功耗的蓝牙传输协议，可用于延长设备的续航时间和减少电池的容量。数据接收端将可解析的指令发送给手环，手环接收到该数据就会开启本地传感器的数据测量，手环将不停更新的数据通过蓝牙传输协议发送给数据接收端，具体步骤如下：

(1)客户端初始化配置：

安装在诸如手机、平板电脑、电脑等的计算设备上的客户端初始化并开启蓝牙，向手环蓝牙层发送控制指令，开启蓝牙监听，准备好接收手环的传感器数据。

(2)发送端组织数据：每10ms手环上的两个传感器会上报本地实时数据到手环控制系统层。

手环控制系统层会将当前获取的传感器数据加上序号和数据生成的时间戳，调用蓝牙传输层，发送给客户端。

(3)客户端收到数据后，根据收到的数据包序号和时间戳，通过线性插值计算，进行信号重建，将数据处理成平滑的数据，以减少数据序号不连续和时间戳不均匀造成的信号失真的影响。下面的(c)步具体说明了如何进行该信号重建。

(c)传感器信号重建和同步

因为加速度计和陀螺仪数据的采样时刻和采样率很难达到同步，所以对往往采样率较低的陀螺仪数据采用数据插值的方法重建，以便与加速度计的时刻进行同步。下面以最常用的线性插值方法为例，具体步骤如下：

假设陀螺仪在t1时刻的数据为G(t1)，陀螺仪在t2时刻的数据为G(t2)，求陀螺仪在t1时刻与t2时刻间的时刻t的数据值G(t)，具体如下：

具体地，以如何获得陀螺仪在时刻t＝[03:51:49.384]数值为例，来说明利用原始陀螺仪数据重建和同步的过程：

第一步.找到与加速度时刻t＝[03:51:49.384]时间相近的前后陀螺仪数据时刻t1＝[03:51:49.376]和t2＝[03:51:49.387]的数据，

第二步,通过采用线性插值方法计算时刻t＝[03:51:49.384]的陀螺仪数据，代入如上公式，即可得到G(t＝[03:51:49.384])时刻数据值。

第三步，重复以上两个步骤，即可得到重建后的与加速度计时刻同步的陀螺仪数据。

第二步、收集运动样本，并将其随机分为训练所需样本以及测试所需样本两部分

让儿童佩戴手环，并引导儿童做指定动作(如跳跃、下蹲、向左跳、向右跳等)，从而收集儿童做指定动作的样本。并且将收集来的样本随机分为两部分，一部分作为训练所需样本集，另一部分为测试所需样本集。

第三步、利用训练所需样本进行样本的样本标记、特征提取、特征学习与模型训 练，得到动作识别模型

对于第二步分出的训练所需样本集，进行样本的特征学习与模型训练，具体步骤如下：

(a)对训练所需样本集中的样本类别进行标记，将数据标记为跳跃、下蹲、向左跳、向右跳等。

(b)特征提取

利用上述分类好的每组标准数据，提取如下18个特征(其中模型系数有3个特征，小波峰有2个特征，共计18个)中的一个或多个特征，具体地，这些特征分别是：

若样本为m×n维矩阵(a_ij)i＝1,...,m,j＝1,…,n，m表示截取的信号长度，即所取的若干个时刻的信号数目，n＝6表示信号的6个通道，也即陀螺仪的3个通道x,y,z以及加速度计的3个通道x,y,z；B＝(b_ij)i＝1,...,18,j＝1,…,6，是18×6维矩阵，其表示样本对应的特征矩阵。

1.绝对值均值：

2.绝对值均值比:

3.方差：样本每列的二阶中心矩，其可以通过下式计算：

4.峰度：样本每列的四阶中心矩，其可以通过下式计算:

μ代表均值，σ代表均方根

5.偏度，即样本每列的三阶中心矩，其可以通过下式计算：

6.均方根，其可以通过下式计算：

7.平均绝对偏差，其可以通过下式计算:

8.过零率:其表示数据从正数变负数，或从负数变正数的次数。

9.能量：即傅里叶变换的系数平方和，其可以通过下式计算。

10.相关系数

X，Y两信号通道的相关系数可用下式计算。

其中，cov(X,Y)代表X与Y的协方差，δ_X，δ_Y为X和Y的标准差。

11.模型系数(3个)

先对每通道的数据进行AR(自回归)建模，即

其中，a_i(n)是第i通道的数据，u(n)是方差为σ²的白噪声序列，p是AR模型的阶数，λ是AR模型的系数，可以通过Burg算法求得。我们取p＝4，选取λ2，λ3，λ4作为特征来提取。

12.四分位差:四分位差用于描述数据的分散程度，其计算方法为将数据从大到小排列后，计算第三四分位数与第一四分位数的差距。

13.小波能量

对每一通道的数据都基于多分辨率分析的小波变换进行分解，得到：

其中，d_jk是细节系数，a_jk是近似系数，φ_jk(n)是小波函数，定义为φ_jk(n)＝2^j/2φ(2^jn-k)，是尺度函数，定义为j是表示伸缩尺度的变量，k是表示时间的变量，J是分解层数。

小波能量(WE)等于分解后小波细节系数的平方和。我们选择db5小波作为母小波，提取第4层和第5层的高频细节系数分量。

14.分形维数

计算分形维数的公式如下，式中ε是小立方体一边的长度，N(ε)是用此小立方体覆盖被测形体所得的数目，维数公式意味着通过用边长为ε的小立方体覆盖被测形体来确定形体的维数。

15.小波峰(2个，峰值和峰值数)

利用db4小波对加速度幅值和陀螺仪幅值分别进行7层分解，并检测出第四层近似系数的峰值。

小波峰数量：第四层近似系数的峰值的数量。

小波峰均值：第四层近似系数的峰值的平均值。

(c)训练数据

随机选取一定数量的以上特征组合，利用某些模式分类算法(包括且不限于诸如决策树、贝叶斯网络、人工神经网络、K-近邻、支持向量机、Boosting等)，经过计算，从上述特征中获得所选取模式分类算法的模型参数，进而得到动作识别模型。

如利用支持向量机算法，那么获取w^Tx+b＝0中的ω和b的参数值；如利用K-近邻算法，那么获取特征向量之间合适的距离测度；如利用人工神经网络算法，那么获取网络节点的权值的偏置值。本领域技术人员熟知如何利用上述算法进行数据训练以获得相关动作识别模型，故在此不再赘述。

第四步、利用测试所需样本对动作识别模型进行测试

利用第二步取得的测试用样本集，重复第三步中的(b)步骤提取特征，把该特征放入动作识别模型中计算匹配，得到分类结果，即识别出来该动作的具体类型(跳跃还是下蹲，左跳还是右跳等等)。

以上，是对本实时动作识别方法的基本步骤的一般说明。下面，将结合具体实施方式对利用本方法对一些特定动作进行实时识别进行进一步说明。

实施方式一、实时识别跳跃动作的方法

受试者s人，每人做跳跃、下蹲、向左跳、向右跳动作各d次，则每类动作各得到sd个动作数据，从每个动作数据的起点开始，取f点前后相继的时刻数据，这样就提取到一个时间长度为f的动作数据片段，陀螺仪和加速度计合计有6个信号通道，则该动作的数据片段共有6f个测量值；对于该数据片段的每个通道，各提取18个特征，6通道就可以获取108个特征，这样每类动作共计获得sd组、每组108个特征的样本；随机从特征样本中选择1/10的作为测试样本，其余的大部分作为训练样本；选取任一模式分类算法(包括且不限于诸如决策树、贝叶斯网络、人工神经网络、K-近邻、支持向量机、Boosting等)。为简化说明，采用训练时间复杂度为0的K-邻近方法对训练样本进行数据训练进而得到动作识别模型。

最后取测试样本作为测试，以检验分类正确率。具体地，对四类不同动作(原地向上跳跃、向左跳、向右跳、下蹲)，每种动作类型获取sd/10组数据，分别计算其各自特征，把这些特征放入已经训练好的模型中计算匹配，得到每个动作的分类结果，如观察是否跳跃动作被识别为跳跃，下蹲动作是否被识别为下蹲，它们被正确分类的比率又是多少。测试结果表明，这些动作的识别正确率均能达到90％～95％的程度。

该套产品巧妙地应用模式识别算法，提取动作信息的特征，对动作进行分类，其运算速度快，分类准确，能够将硬件与软件技术很好地统一起来。该套产品具体具有如下特点：

1.硬件设计简单。

纯软件处理算法，除了采集数据所需传感器，不需要任何额外的硬件设计配合。

2.检测算法简单。

其利用成熟的模式识别算法，包括且不限于诸如决策树、贝叶斯网络、人工神经网络、K-近邻、支持向量机、Boosting等。

3.计算速度快

每次分类检测耗时在150ms左右。

4.检测性能稳定

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。应当理解，以上实施例中所公开的特征，除了有特别说明的情形外，都可以单独地或者相结合地使用。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本文所公开的本发明并不局限于所公开的具体实施例，而是意在涵盖如所附权利要求书所限定的本发明的精神和范围之内的修改。

Claims (25)

1.一种实时识别动作的方法，包括：

进行运动数据采集；

收集运动样本，并将其随机分为训练所需样本以及测试所需样本两部分；

利用所述训练所需样本进行样本的样本标记、特征提取、特征学习与模型训练，得到动作识别模型；以及

利用所述测试所需样本对所述动作识别模型进行测试。

2.根据权利要求1所述的方法，其特征在于，进行运动数据采集还包括，将采集的运动数据加上序号和数据生成时的时间戳。

3.根据权利要求2所述的方法，其特征在于，所述运动数据包括运动的三轴加速度数据与三轴角速度数据。

4.根据权利要求3所述的方法，其特征在于，进行运动数据采集还包括，利用数值插值对采样率较低的所述三轴角速度数据进行重建，以使其与所述三轴加速度数据同步。

5.根据权利要求4所述的方法，其特征在于，所述数据插值为线性插值。

6.根据权利要求1所述的方法，其特征在于，利用训练所需样本进行样本的样本标记、特征提取、特征学习与模型训练，得到动作识别模型包括，标记所述训练所需样本对应的动作类型。

7.根据权利要求6所述的方法，其特征在于，利用训练所需样本进行样本的样本标记、特征提取、特征学习与模型训练，得到动作识别模型还包括，对获得的训练所需样本，提取以下特征中的一种或多种：

绝对值均值、绝对值均值比、方差、峰度、偏度、均方根、平均绝对偏差、过零率、能量、相关系数、模型系数、四分位差、小波能量、分形维数、小波峰。

8.根据权利要求7所述的方法，其特征在于，利用训练所需样本进行样本的样本标记、特征提取、特征学习与模型训练，得到动作识别模型还包括，利用模式分类算法进行计算，基于提取的一种或多种所述特征而获得模型参数，以得到动作识别模型。

9.根据权利要求8所述的方法，其特征在于，所述模式分类算法选自由决策树、贝叶斯网络、人工神经网络、K-近邻、支持向量机、Boosting等算法组成的组。

10.根据权利要求8所述的方法，其特征在于，利用测试所需样本对动作识别模型进行测试包括，利用所述测试所需样本重复进行所述特征提取，然后对所述动作识别模型的动作识别效果进行评估。

11.根据权利要求1所述的方法，其特征在于，所述动作包括跳跃、下蹲、向左跳、向右跳中的一种或几种。

12.一种用于实现实时识别动作的手环，包括：

数据测量装置，用于测量运动的相关数据；以及

无线通信模块，用于将所测量的所述运动的相关数据发送给与所述手环配合使用的计算设备。

13.根据权利要求12所述的手环，其特征在于，所述数据测量装置包括加速度计与陀螺仪，所述运动的相关数据包括运动的三轴加速度数据和三轴角速度数据。

14.根据权利要求12所述的手环，其特征在于，所述无线通信模块为蓝牙通信模块。

15.根据权利要求12所述的手环，其特征在于，所述手环还包括将所述运动的相关数据加上序号和数据生成时的时间戳的装置。

16.一种用于实现实时识别动作的计算设备，包括：

数据接收装置，用于从与所述计算设备配合使用的手环接收通过所述计算设备的数据测量装置获得的运动的相关数据；以及

数据重建与同步模块，用于对通过数据接收装置获取的数据进行必要的重建与同步。

17.根据权利要求16所述的计算设备，其特征在于，所述数据接收装置通过蓝牙通信模块从所述手环接收所述运动的相关数据。

18.根据权利要求16所述的计算设备，其特征在于，所述运动的相关数据包括运动的三轴加速度数据和三轴角速度数据。

19.根据权利要求18所述的计算设备，其特征在于，所述计算设备还包括数据重建装置，用于利用数值插值对采样率较低的所述三轴角速度数据进行重建，以使其与所述三轴加速度数据同步。

20.根据权利要求18所述的计算设备，其特征在于，所述数据插值为线性插值。

21.根据权利要求16所述的计算设备，其特征在于，所述计算设备还包括特征提取装置，用于对获得的训练所需运动样本，提取以下特征中的一种或多种：

绝对值均值、绝对值均值比、方差、峰度、偏度、均方根、平均绝对偏差、过零率、能量、相关系数、模型系数、四分位差、小波能量、分形维数、小波峰。

22.根据权利要求21所述的计算设备，其特征在于，所述计算设备还包括动作识别模型确定装置，用于利用模式分类算法进行计算，基于提取的一种或多种所述特征而获得模型参数，以得到动作识别模型。

23.根据权利要求22所述的计算设备，其特征在于，所述模式分类算法选自由决策树、贝叶斯网络、人工神经网络、K-近邻、支持向量机、Boosting等算法组成的组。

24.根据权利要求16所述的计算设备，其特征在于，所述动作包括跳跃、下蹲、向左跳、向右跳中的一种或几种。

25.根据权利要求16所述的计算设备，其特征在于，所述计算设备包括手机、平板电脑、电脑中的一种或几种。