CN109886068A - 基于运动数据的动作行为识别方法 - Google Patents

Abstract

一种基于运动数据的动作行为识别方法，涉及动作识别技术领域，所解决的是现有方法识别准确率低的技术问题。该方法利用多轴传感器采集运动目标的运动数据；并将采集的运动数据分为静态、动态两类；再根据从动态数据中提取动作特征值构建动作特征值高维矩阵，再对矩阵进行降维、聚类后得到原子动作类别集合；然后利用原子动作类别集合及数据训练模型对动作特征值二维矩阵进行训练识别，得到原子特征集合；再利用原子特征的排列组合构建复杂动作矩阵；对运动目标实施行为识别时，先利用多轴传感器采集运动目标的运动数据，再利用原子特征集合及复杂动作矩阵对运动目标实施行为识别。本发明提供的方法，适用于识别运动目标的动作行为。

Description

基于运动数据的动作行为识别方法

技术领域

本发明涉及动作识别技术，特别是涉及一种基于运动数据的动作行为识别方法的技术。

背景技术

目前，可穿戴设备在运动中的应用日益广泛，其中的一些可穿戴设备通过加速度传感器来监测人的运动步数，监测数据可以通过无线通信方式上传给手机等移动通信终端，由移动通信终端对数据进行分析。这些可穿戴设备只能识别走路振动的粗略状况，无法实现对肢体动作的识别。

现有可穿戴设备的动作识别流程如下：

A1）采用加速度传感器获得动作的加速度时序数据；

A2）将加速度时序数据按照固定时长进行分割，分割的方法各异，鉴于处理速度与处理效果的平衡性考虑，通常采用滑动窗口方法，即窗与窗之间有所交叠，一般交叠部分为窗大小的一半，在基于可穿戴设备的行为识别工作中，绝大多数的工作都使用滑动窗口技术来对数据进行分割。

A3）对原始加速度数据进行初步分析，得到比原始数据更有意义的相关特征，通常希望得到相关的统计意义的特征，一般的特征提取方法分为时域特征、频域特征两大类；

时域特征：合成加速度、计算均值、计算方差、计算众数、最大最小值、值域范围、过均值点个数、信号幅值面积（SMA）等，其中的SMA主要用于区分静止状态和运动状态；

频域特征：数据经傅立叶变换后，所取特征有直流分量、幅度、功率谱密度、幅度统计、形状统计等；

A4）通过各种可能的途径进行聚类分析，将所有特征进行分析得出内在联系，相近的则归为一类，如此得到数个特征类别；

A5）将时序数据对应到通过建模得到的特征类别中，达到分类的效果。

现有动作识别算法所面临的问题与挑战主要有以下几个方面：

B1）类内差异性：开发对类别组内数据变异性健壮的识别系统较为困难。发生这种变异是因为不同个体对同一活动的执行可能不同，对于提供给多人或多个不同对象的动作识别系统，该系统可能会受到相当大的人际差异影响。此外，有时如果一项活动由同一个人执行，也会发生数据内部变异。有几个因素会影响活动的表现，例如压力，疲劳，或活动所处的情绪或环境状态。

B2）NULL类问题：通常，数据时间序列只有几个部分与动作识别系统相关。 鉴于相关数据和不相关数据的这种不平衡性，需识别的动作很容易地与具有相似模式但与动作识别系统无关的活动（所谓的NULL类）混淆。明确地建模NULL类是很困难的。

B3）动作识别可读性：动作识别系统设计的首要问题就是对被测试动作进行定义及清晰认识其具体特征。目前的技术仍没有做到像语音识别领域那样，赋予动作较清晰的定义与区分。

B4）类的不平衡性：人体动作有时间长短之分，有复杂程度之分，这些都导致了对于动作的识别分类的计算复杂度呈指数级上升。

发明内容

针对上述现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能减小类内差异性及杂类数据影响，并且动作识别可读性高，识别准确率高的基于运动数据的动作行为识别方法。

为了解决上述技术问题，本发明所提供的一种基于运动数据的动作行为识别方法，其特征在于，具体步骤如下：

1）在运动目标上佩戴搭载有多轴传感器的可穿戴设备，利用可穿戴设备上的多轴传感器采集运动目标的运动数据；多轴传感器所采集的运动数据包括运动目标的三轴加速度及三轴角速度；

2）利用多轴传感器采集的运动数据构建一个原子特征集合及一个复杂动作矩阵，原子特征集合及复杂动作矩阵的构建步骤如下：

S2.1：预先设定一个加速度幅度阈值、一个角速度幅度阈值，根据加速度幅度阈值及角速度幅度阈值将各个采样时刻所采集的运动数据分为两类，其中的一类为A类静态数据，另一类为B类动态数据；

S2.2：从各个采样时刻的B类动态数据中提取动作特征值，构建动作特征值高维矩阵；

S2.3：对动作特征值高维矩阵进行降维，将动作特征值高维矩阵降维成动作特征值二维矩阵，并对动作特征值二维矩阵进行聚类分析后得到动作特征值的类别集合，并将动作特征值的类别集合定义为原子动作类别集合；

S2.4：将原子动作类别集合作为训练数据，将动作特征值二维矩阵作为被识别数据，采用数据训练模型对动作特征值二维矩阵进行训练识别，将训练识别得到的各个动作特征值都定义为原子特征，各个原子特征组成原子特征集合；

S2.5：先将原子特征集合中的各个原子特征按时序进行排列组合，每个组合构成一个复杂动作，再以各个复杂动作为阵元构建一个复杂动作矩阵；

3）对运动目标实施行为识别时，先利用多轴传感器采集运动目标的运动数据，再利用原子特征集合及复杂动作矩阵对运动目标实施行为识别；

利用原子特征集合及复杂动作矩阵对运动目标实施行为识别的步骤如下：

S3.1：对采集的运动数据按时域进行分窗；

S3.2：对分窗后的每个时间窗，采用自编码器算法从该时间窗内的数据段中提取各个采样时刻的动作特征值，然后再将提取的各个动作特征值与原子特征集合进行匹配，从提取的各个动作特征值中筛选出原子特征，再将筛选出的各个原子特征按照动作发生时序进行排列后，构成一个待识别动作；

S3.3：对分窗后的各个时间窗，将各个时间窗的待识别动作，按时序依次与复杂动作矩阵中各个复杂动作进行匹配；

对于每个待识别动作，如果在复杂动作矩阵中找到与其完全匹配的复杂动作，则将该待识别动作识别为所找到的复杂动作。

进一步的，所述步骤S2.1中，运动数据的分类方法为：在每个采样时刻，计算三轴加速度平方和及三轴角速度平均值，如果三轴加速度平方和小于设定的加速度幅度阈值，并且三轴角速度平均值小于设定的角速度幅度阈值，则将该运动数据记为A类静态数据，反之则将该运动数据记为B类动态数据。

进一步的，加速度幅度阈值的取值为9.8±0.05，角速度幅度阈值的取值为0.1±0.05。

进一步的，所述S3.2步骤中，在从时间窗内的数据段中提取动作特征值之前，先采用步骤S2.1的方法从时间窗内的数据段中提取出B类动态数据，然后再采用自编码器算法从各个采样时刻的B类动态数据中提取动作特征值。

本发明提供的基于运动数据的动作行为识别方法，将动作分拆成最小单位元，建模内联进而对动作元进行识别分类，并获得复杂动作的动作元时序组成；具有以下有益效果：

1）类内差异性的存在通常是由于特征提取时的算法导致。一般的算法往往简单地通过统计学方法进行分析特征，而动作本质的物理意义并不参与分析，这会导致本属于相同类别的动作特征由于不同人实施的差异，在统计特征上却显示为不同类别，造成识别错误。

本发明不再使用统计学方法进行分析，而是利用无监督学习中的深度学习聚类算法，将传感器的原始数据通过机器学习自动聚类为不同的原子动作类别，通过机器学习寻找到隐藏在深层的本质关联，所以同类动作由不同个体实施的差异不会对识别效果产生过多影响，具有类内差异性影响小的优点。

2）在动作模式识别之前，先对动作的状态进行区分，将原始传感器数据区分为静止状态和运动状态，能消除空白静止动作的影响，从而在进行特征值提取前去噪，消除杂类数据的影响。

3）将复杂动作拆分为原子动作，动作识别可读性高。

4）不同的动作时序可以被表示为不同的原子动作组合，直接识别复杂动作的计算难度大，而将复杂动作看成动作元的组成，能在最小粒度上比较动作的差异性，将显著减小识别复杂度且大大提高识别的准确率，解决了“类间不平衡性”的问题。

具体实施方式

以下结合具体实施例对本发明的技术方案作进一步详细描述，但本实施例并不用于限制本发明，凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围，本发明中的顿号均表示和的关系，本发明中的英文字母区分大小写。

本发明实施例所提供的一种基于运动数据的动作行为识别方法，其特征在于，具体步骤如下：

1）在运动目标上佩戴搭载有多轴传感器的可穿戴设备，利用可穿戴设备上的多轴传感器采集运动目标的运动数据；多轴传感器所采集的运动数据包括运动目标的三轴加速度及三轴角速度；运动目标可以是人、动物等活体的运动部位，比如人的手部、脚部等；

2）利用多轴传感器采集的运动数据构建一个原子特征集合及一个复杂动作矩阵，原子特征集合及复杂动作矩阵的构建步骤如下：

S2.1：预先设定一个加速度幅度阈值、一个角速度幅度阈值，根据加速度幅度阈值及角速度幅度阈值将各个采样时刻所采集的运动数据分为两类，其中的一类为A类静态数据，另一类为B类动态数据；

本步骤中的运动数据的分类方法为：在每个采样时刻，计算三轴加速度平方和及三轴角速度平均值，如果三轴加速度平方和小于设定的加速度幅度阈值，并且三轴角速度平均值小于设定的角速度幅度阈值，则将该运动数据记为A类静态数据，反之则将该运动数据记为B类动态数据，加速度幅度阈值的取值为9.8±0.05，角速度幅度阈值的取值为0.1±0.05；

本步骤中的运动数据的分类方法也可以采用其它方式，比如：三轴加速度平方和可以改为三轴加速度平均值、三轴加速度的总和等，三轴角速度平均值可以改为三轴角速度平方和、三轴角速度总和等；加速度幅度阈值及角速度幅度阈值的取值也可以改为其它值；

S2.2：采用自编码器算法（autoencoder）从各个采样时刻的B类动态数据中提取动作特征值，构建动作特征值高维矩阵；

自编码器算法（autoencoder）为现有技术，该算法是一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出，但由于它是单层的，无法更新自己进一步学习；

本步骤从B类动态数据中提取动作特征值也可以采用现有的其它算法，比如稀疏自编码算法(Sparse Autoencoder)、变分自编码算法(Variational Autoencoder)等；

S2.3：采用自组织映射聚类算法（SOM）对动作特征值高维矩阵进行降维，将动作特征值高维矩阵降维成动作特征值二维矩阵，并采用自组织映射聚类算法（SOM）对动作特征值二维矩阵进行聚类分析后得到动作特征值的类别集合，并将动作特征值的类别集合定义为原子动作类别集合；

自组织映射聚类算法（SOM）为现有技术，该算法可将任意维数的输入信号模式转变为指定维数的离散映射, 并且以拓扑有序的方式自适应实现这个变换，但不能将学习的特征表达出来；

自编码器算法与自组织映射聚类算法结合使用，则既能完成自学习又能将特征表达出来，利用无监督学习，让机器学习数据标签，无需人工标注，可节省大量时间，提高分类效率；

本步骤对动作特征值高维矩阵进行降维也可以采用现有的其它算法，比如PCA算法、t-SNE算法等；

本步骤对动作特征值二维矩阵进行聚类分析也可以采用现有的其它算法，比如k-means聚类算法、DBSCAN聚类算法等；

S2.4：将原子动作类别集合作为训练数据，将动作特征值二维矩阵作为被识别数据，采用长短时记忆网络（LSTM神经网络）与softmax回归模型的组合作为数据训练模型，对动作特征值二维矩阵进行训练识别，将训练识别得到的各个动作特征值都定义为原子特征，各个原子特征组成原子特征集合；

长短时记忆网络（LSTM神经网络）及softmax回归模型均为现有技术；

本步骤还可以采用现有的其它数据训练模型对动作特征值二维矩阵进行训练识别，比如采用多层感知器（MLP）与激活函数（sigmoid、tanh、relu等）的组合等；

S2.5：先将原子特征集合中的各个原子特征按时序进行排列组合，每个组合构成一个复杂动作，再以各个复杂动作为阵元构建一个复杂动作矩阵；

复杂动作矩阵可以采用现有的学习深度神经网络构建，构建时将各个原子特征作为输入值，通过学习深度神经网络的自我学习，得到最终的复杂动作矩阵；

3）对运动目标实施行为识别时，先利用多轴传感器采集运动目标的运动数据，再利用原子特征集合及复杂动作矩阵对运动目标实施行为识别；

利用原子特征集合及复杂动作矩阵对运动目标实施行为识别的步骤如下：

S3.1：对采集的运动数据按时域进行分窗；

本步骤采用的分窗方法为滑移分窗，每个时间窗的时长定为0.5秒，即对运动数据每0.5秒的数据量截为一组，且每组之间有0.25秒的重叠；滑移分窗方法为现有技术，该方法用于对运动数据序列进行分割，将数据序列分成若干个时间长度大小相等的数据片段；

时间窗的时长也可以根据实际需求定为其它值（比如：0.3秒、1秒等），分窗的方法也可以采用现有的其它分窗方法；

S3.2：对分窗后的每个时间窗，采用自编码器算法（autoencoder）从该时间窗内的数据段中提取各个采样时刻的动作特征值，然后再将提取的各个动作特征值与原子特征集合进行匹配，从提取的各个动作特征值中筛选出原子特征，再将筛选出的各个原子特征按照动作发生时序进行排列后，构成一个待识别动作；

S3.3：对分窗后的各个时间窗，将各个时间窗的待识别动作，按时序依次与复杂动作矩阵中各个复杂动作进行匹配；

对于每个待识别动作，如果在复杂动作矩阵中找到与其完全匹配的复杂动作，则将该待识别动作识别为所找到的复杂动作。

本发明实施例的S3.2步骤中，在从时间窗内的数据段中提取动作特征值之前，先采用步骤S2.1的方法从时间窗内的数据段中提取出B类动态数据，然后再采用自编码器算法（autoencoder）从各个采样时刻的B类动态数据中提取动作特征值。

Claims (4)

1.一种基于运动数据的动作行为识别方法，其特征在于，具体步骤如下：

1）在运动目标上佩戴搭载有多轴传感器的可穿戴设备，利用可穿戴设备上的多轴传感器采集运动目标的运动数据；多轴传感器所采集的运动数据包括运动目标的三轴加速度及三轴角速度；

2）利用多轴传感器采集的运动数据构建一个原子特征集合及一个复杂动作矩阵，原子特征集合及复杂动作矩阵的构建步骤如下：

S2.1：预先设定一个加速度幅度阈值、一个角速度幅度阈值，根据加速度幅度阈值及角速度幅度阈值将各个采样时刻所采集的运动数据分为两类，其中的一类为A类静态数据，另一类为B类动态数据；

S2.2：从各个采样时刻的B类动态数据中提取动作特征值，构建动作特征值高维矩阵；

S2.3：对动作特征值高维矩阵进行降维，将动作特征值高维矩阵降维成动作特征值二维矩阵，并对动作特征值二维矩阵进行聚类分析后得到动作特征值的类别集合，并将动作特征值的类别集合定义为原子动作类别集合；

S2.4：将原子动作类别集合作为训练数据，将动作特征值二维矩阵作为被识别数据，采用数据训练模型对动作特征值二维矩阵进行训练识别，将训练识别得到的各个动作特征值都定义为原子特征，各个原子特征组成原子特征集合；

S2.5：先将原子特征集合中的各个原子特征按时序进行排列组合，每个组合构成一个复杂动作，再以各个复杂动作为阵元构建一个复杂动作矩阵；

3）对运动目标实施行为识别时，先利用多轴传感器采集运动目标的运动数据，再利用原子特征集合及复杂动作矩阵对运动目标实施行为识别；

利用原子特征集合及复杂动作矩阵对运动目标实施行为识别的步骤如下：

S3.1：对采集的运动数据按时域进行分窗；

S3.2：对分窗后的每个时间窗，采用自编码器算法从该时间窗内的数据段中提取各个采样时刻的动作特征值，然后再将提取的各个动作特征值与原子特征集合进行匹配，从提取的各个动作特征值中筛选出原子特征，再将筛选出的各个原子特征按照动作发生时序进行排列后，构成一个待识别动作；

S3.3：对分窗后的各个时间窗，将各个时间窗的待识别动作，按时序依次与复杂动作矩阵中各个复杂动作进行匹配；

对于每个待识别动作，如果在复杂动作矩阵中找到与其完全匹配的复杂动作，则将该待识别动作识别为所找到的复杂动作。

2.根据权利要求1所述的基于运动数据的动作行为识别方法，其特征在于，所述步骤S2.1中，运动数据的分类方法为：在每个采样时刻，计算三轴加速度平方和及三轴角速度平均值，如果三轴加速度平方和小于设定的加速度幅度阈值，并且三轴角速度平均值小于设定的角速度幅度阈值，则将该运动数据记为A类静态数据，反之则将该运动数据记为B类动态数据。

3.根据权利要求2所述的基于运动数据的动作行为识别方法，其特征在于，加速度幅度阈值的取值为9.8±0.05，角速度幅度阈值的取值为0.1±0.05。

4.根据权利要求1所述的基于运动数据的动作行为识别方法，其特征在于，所述S3.2步骤中，在从时间窗内的数据段中提取动作特征值之前，先采用步骤S2.1的方法从时间窗内的数据段中提取出B类动态数据，然后再采用自编码器算法从各个采样时刻的B类动态数据中提取动作特征值。