CN111507180B - 一种基于运动数据的转换动作识别方法及运动识别方法 - Google Patents

Abstract

本发明公开一种基于运动数据的转换动作识别方法及运动识别方法。本发明对获取的运动数据预处理，得到处理后基于固定滑动窗口大小的数据片段；依据人体活动中的基础动作类别对所得数据片段进行聚类；对于未被聚类的数据片段，将前后的已聚类的相邻片段通过相似度比较算法，识别其中的转换动作。与传统人体行为识别方法对比，经高斯混合模型方法对传运动数据进行聚类后，根据与邻近数据片段相似度比对，区分运动数据中的基础动作与转换动作。再经过随机森林分类器进行分类，提升转换动作的识别准确率，也提升了总体的准确率。

Description

一种基于运动数据的转换动作识别方法及运动识别方法

技术领域

本发明属于运动识别技术领域，具体涉及基于运动数据的转换动作识别方法及运动识别方法。

背景技术

近年来，随着科学技术的普及，各种便携式设备得到了快速发展，例如智能手环、智能手机等。现有的智能手机能够通过其中的嵌入式传感器采集用户运动数据信息，进行动作识别以及行为分析，被广泛应用于医疗监护、数据分析等领域之中。

目前为止，绝大多数的人体行为识别方法主要针对走、跑、跳、坐、躺等基础动作进行人体行为识别。但人体行为动作除基本行为动作外，还包括了各种基础动作间的转换动作，如行走与跑步间转换、跑步与站立间转换、站立与坐下间转换。各类转换行为常常因为持续时间短而被上述识别方法所忽视，或者被错误地识别成基础动作。

转换动作的识别对于人体行为识别有着重大作用，如在医疗领域，识别老年人的跌倒是医疗监护中极为重要的环节。跌倒的行为很可能被识别为站立到躺下的转换动作或行走到躺下的转换动作，如能及时识别这类转换动作，能有效对减少这类意外带来的损失。在运动分析领域，有效地识别转换动作，能够更好地分析用户的运动情况。且转换动作的识别，能够帮助人体识别方法更及时地判断用户姿态的变化，从而有效地提升方法的效率。

迄今为止，现有的人体行为识别方法中缺乏专门针对转换动作识别的方法，转换动作识别准确率低。因此本发明针对以上问题，为基于运动数据的人体行为识别提出一种基于运动数据的转换动作识别方法及运动识别方法。

发明内容

本发明的目的是针对当前人体行为识别方法中缺乏具体对转换动作识别的方法，转换动作识别准确率较低的情况，提供一种准确、快速、鲁棒性强的转换动作识别方法，至少解决现有运动数据中转换动作识别方法准确率低的问题。

为了实现上述目的，本发明基于运动数据的转换动作识别方法，该方法包括如下步骤：对获取的运动数据预处理，得到处理后基于固定滑动窗口大小的数据片段；依据人体活动中的基础动作类别对所得数据片段进行聚类；对于未被聚类的数据片段，将前后的已聚类的相邻片段通过相似度比较算法，识别其中的转换动作。

本发明基于运动数据的转换动作识别方法，包含以下步骤：

步骤S1：获取用于监测运动状态的重力传感器、加速度传感器、陀螺仪传感器采样数据(传感器可位于人体手腕、脚踝以及腰部等部分)，并进行信号预处理，即对运动数据信号进行降噪、滤波器过滤及滑动窗口切片；提取运动特征数据；

具体包括以下步骤：

步骤S1.1:对于加速度传感器、陀螺仪传感器采样数据，采用巴特沃兹滤波器和中值滤波器进行降噪过滤。对于重力传感器采样数据，采用低通-巴特沃兹滤波器进行降噪过滤。

步骤S1.2:对于降噪完成后的数据通过滑动窗口分割法进行分割，其中滑动窗口大小为2.56s,滑动窗口重复率为50％。

步骤S1.3：对每个滑动窗口的数据片段采用通用的特质提取技术提取运动数据特征，得到对应运动数据特征片段。

步骤S2：采用高斯混合聚类，包括以下步骤：

高斯混合模型有X个子模型的加权进行模拟：

随机生成高斯混合模型参数

其中d表示运动数据特征片段，θ为高斯混合模型参数，X为高斯混合模型子模型总数，α_x为第x个子模型概率系数。

φ(d|θ_x)为第x个子模型，具体公式如公式(1)所示下：

其中

为对应子模型期望，

为对应子模型协方差。

步骤S2.3：对于每个高斯混合模型，通过释然函数迭代计算模型参数，参数包括每个数据片段d_j来自子模型x的可能性γ_jx，子模型的均值μ_x、协方差Σ_k，以及概率参数α_x。

步骤S2.4:判断模型是否收敛，比较前后一次迭代模型参数θ的变化值。若模型不收敛则返回步骤S2.3，若模型收敛则输出聚类后的数据片段，进入步骤S3。

步骤S3：基于高斯聚类后的数据片段进行转换动作识别，包括以下步骤：

步骤S3.1：识别数据片段中的基础动作

对步骤S2得到的聚类片段s_i,i＝1,2,...p计算其时间长度t_i，然后判断是否满足第i个聚类片段s_i的时间长度t_i>t_min，若是则该聚类片段s_i划分为基础动作片段，若否则该聚类片段s_i划分为未识别片段，进入步骤S3.2进一步判定活动类别。其中t_min表示给定转换动作最短时间阈值。

步骤S3.2：判定未识别片段的活动类型

判断两相邻基础动作片段间若干未识别片段中是否含有隐藏基础动作，并识别其中的基础动作数据片段。具体地，包括以下步骤：

步骤S3.2.1：隐藏基础动作判别

获取步骤S3.1识别出的每对两相邻基础动作片段s_i,s_i+1间每个未识别片段s_i,i+1，然后判断是否满足s_i,i+1时间长度t_i,i+1>t_min，若是则认为该片段s_i,i+1中可能含有隐藏基础动作，进入步骤S3.2.2，若否则将其视为剩余片段。

步骤S3.2.2：选取隐藏基础动作中心片段

寻找两相邻基础动作s_i,s_i+1间具有最长时间的片段，并将其视为中心片段并记为s_k，计算该中心片段s_k与前后相邻基础动作s_i,s_i+1的相关相似度系数R_i,k,R_k,i+1，其计算公式如(2)，(3)所示：

其中表示Cov(s_i,s_k)的表示s_i与s_k间的协方差，D(s_k)表示s_k的方差。

步骤S3.2.3：判断中心片段s_k能否继续扩张

判断是否满足max(R_i,k,R_k,i+1)<λ,若是则认为s_k无法继续扩张，进入步骤3.2.4，其中λ为根据经验设定的阈值，在本方法中设置为0.75。若否则根据R_i,k,R_k,i+1之间的差距大小进行扩张，然后返回步骤3.2.2，直至满足max(R_i,k,R_k,i+1)<λ。

所述的根据R_i,k,R_k,i+1之间的差距大小进行扩张具体操作如下：

若R_i,k-R_k,i+1>δ，则s_k往s_i,k方向扩张单位时间片段；若R_k,i+1-R_i,k>δ，则s_k,i+1往s_k方向扩张单位时间片段；若|R_i,k-R_k,i+1|＜δ，则分别往s_i,k与s_k,i+1方向扩张单位时间片段。其中δ为判定经验设定的阈值，本方法中设置为0.1。

其过程可由如公式(4)表示：

步骤S3.2.4：。判断是否满足中心片段s_k时间长度t_k>t_min，则将该片段s_k视为基础动作片段，进入步骤S3.2.5，若否则将其视为剩余片段，进入步骤S3.3。

步骤S3.2.5：片段分类

将上述步骤S3.2.4得到的基础动作片段s_k，计算其与基础动作片段s_i,s_i+1间的距离w_i,k，w_k,i+1，具体公式如(5)，(6)所示：

w_i,k＝||s_i-s_k||₂                           (5)

w_k,i+1＝||s_k-s_i+1||₂                        (6)

通过比较距离的大小，判定基础动作片段s_k的类别Class_k，具体公式如(7)所示：

其中上述σ为给定的一个距离阈值，Class_i表示基础动作片段s_i所属的高斯聚类模型类别，New Class表示高斯聚类模型新类别，Class_i+1表示基础动作片段s_i+1所属的高斯聚类模型类别。

步骤S3.2.6：重复步骤S3.2.1，分别判断基础动作片段s_i与s_k和s_k,s_i+1间是否继续隐藏基础动作片段，若有则重复步骤S3.2.2至S3.2.5，直至所有的待定片段被标注。

步骤S3.3：识别剩余片段中的转换动作

对上述步骤S3.2得到的剩余片段，获得该片段前后两个基础动作片段的类别。若两片段类别不同，则该剩余片段为转换动作片段；若两片段类别相同，则认为该片段为噪声片段，将其舍去。

区别于现有技术，本发明通过聚类算法先识别运动数据中的基础动作，再识别剩余片段中的基础动作，转换动作及噪声片段，使得在数据的类别特征得以在机器学习训练过程前得以标记，保证了识别的准确率。

一种基于转换动作的运动识别方法，具体包括：

1)如上述步骤S1-S3将运动数据划分为基础动作、转换动作；

2)识别完成后的基础动作和转换动作数据片段，通过随机森林分类算法进行训练和识别，包括以下步骤：

步骤S4.1：初始化随机森林，设定随机森林中决策树的数量为k，每个决策树的特征属性个数为f,对于每个决策树k_i,从训练集中随机抽取m个样本进行训练,训练次数为e。

步骤S4.2：分别对基本动作训练集和转换动作训练集进行训练，得到训练完成后的基本动作随机森林模型B_rf和转换动作随机森林模型T_rf。

步骤S4.3：将经过S3分类后的基本动作数据和转换动作数据分别输入至随机森林模型进行分类。

步骤S4.4：输出经模型分类后具体识别的活动类别。

与现有技术相比，本发明具有的提升如下：

(1)准确率高：与传统人体行为识别方法对比，经高斯混合模型方法对传运动数据进行聚类后，根据与邻近数据片段相似度比对，区分运动数据中的基础动作与转换动作。再经过随机森林分类器进行分类，提升转换动作的识别准确率，也提升了总体的准确率。

(2)鲁棒性强：基于滑动窗口和特征提取方法，能有快速且高效地对运动数据进行预处理，减少了运动数据中的噪声干扰。并通过基于基础动作和转换动作两大类进行识别，增强了方法的识别能力和鲁棒性。

(3)速度快：采用了随机森林分类器对分类结果进行识别，区分于神经网络，有效地提升了方法的识别效率。

附图说明

图1为基于运动数据的转换动作识别方法的总流程图；

图2为运动数据预处理流程图；

图3为运动数据高斯聚类流程图；

图4为转换动作识别流程图；

图5为SVM方法分类结果混淆矩阵；

图6为KNN方法分类结果混淆矩阵；

图7为本发明方法分配结果混淆矩阵；

图8为本发明方法与其他方法结果对比图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的分析。

如图1所示，一种基于运动数据的转换动作识别方法，包含以下步骤：

步骤S1：获取人体处重力传感器、加速度传感器、陀螺仪传感器采样数据(传感器可位于手腕、脚踝、腰等部位)，并进行信号预处理，即对运动数据信号进行降噪、滤波器过滤及滑动窗口切片；

步骤S1.1:对于加速度传感器、陀螺仪传感器采样数据，采用巴特沃兹滤波器和中值滤波器进行降噪过滤。对于重力传感器采样数据，采用低通-巴特沃兹滤波器进行降噪过滤。

步骤S1.2:对于降噪完成的三维传感器信号通过滑动窗口分割法进行分割，其中滑动窗口大小为2.56s,滑动窗口重复率为50％。如图2所示。

步骤S1.3：提取对于每个滑动窗口的传感器数据片段，分别提取加速度传感器、重力传感器、陀螺仪传感器中的数据特征，具体特征包括了基于数据x轴、y轴、z轴的平均值、最大值、最小值、平方差、中位数、三轴数据间的关联度、傅里叶变换后的最大振幅等数据特征。

得到对应数据特征片段，进入S2。

步骤S2：采用高斯混合聚类，如图3包括以下步骤：

步骤S2.1：获取经过数据预处理后的基于固定滑动窗口大小的数据特征片段D＝d₁,d₂,d₃,…,d_n，n为片段总数。

步骤S2.2:初始化高斯混合模型

随机生成高斯混合模型参数

高斯混合模型有X个子模型的加权进行模拟。其中θ为高斯混合模型参数，X为高斯混合模型子模型总数，α_x为对应子模型概率系数。φ(d|θ_x)为对应子高斯模型，具体公式如下：

其中

为对应子模型期望，

为对应子模型协方差。

步骤S2.3：依据当前参数，计算新一轮迭代的模型参数，参数包括每个数据片段d_j来自子模型x的可能性γ_jx，子模型的均值μ_x、协方差Σ_k，以及概率参数α_x，包括以下步骤：

步骤S2.3.1:计算每个数据片段d_j来自子模型k的可能性γ_jx，具体公式如下：

步骤S2.3.2:更新每个子模型的均值μ_x，具体公式如下：

步骤S2.3.3:更新每个子模型的协方差Σ_k，具体公式如下：

步骤S2.3.4:更新每个子模型的概率参数α_x，具体公式如下：

步骤S2.4:判断模型是否收敛，比较前一次迭代模型参数θ_i与后一次迭代模型参数θ_i+1的变化值。具体公式如下：

||θ_i+1-θ_i||＜ε

其中ε为设定的极小值，若模型不收敛则返回步骤S2.3，否则输出聚类后的数据片段s_i,i＝1,2,...p，p为经过数据聚类片段总数，进入步骤S3。

如图4步骤S3：基于高斯聚类后的数据片段进行转换动作识别方法，包括以下步骤：

计算步骤S3.1识别出的每对两相邻基础动作s_i,s_i+1间的未识别数据片段s_i,i+1，若s_i,i+1满足其时间长度t_i,i+1>t_min，则认为该组待定数据片段中可能含有隐藏基础动作进入步骤S3.2.2，否则将其视为剩余片段。

步骤S3.2：判定未识别数据片段的活动类型。判断两相邻基础动作间的多个待定片段中是否含有隐藏基础动作，并识别其中的基础动作数据片段。具体地，包括以下步骤：

步骤S3.2.1：隐藏基础动作判别。计算每对两相邻基础动作s_i,s_i+1间的待定数据片段的长度t_i,i+1，若满足t_i,i+1>t_min，则认为该组待定数据片段中可能含有隐藏基础动作进入步骤S3.2.2，否则将其视为备选转换动作片段。

步骤S3.2.2：选取隐藏基础动作中心片段。

寻找两相邻基础动作s_i,s_i+1间具有最长时间的片段，并将其视为中心片段记为s_k。，计算该中心片段与前后相邻基础动作s_i,s_i+1的相关系数R_i,k,R_k,i+1，其计算公式如下：

其中表示Cov(s_i,s_k)的表示s_i与s_k间的协方差，D(s_k)表示s_k的方差。

步骤S3.2.3：判断s_k能否继续扩张。若max(R_i,k,R_k,i+1)<λ,则s_k无法继续扩张，进入步骤3.2.4，其中λ为根据经验设定的阈值，在本方法中设置为0.75。若max(R_i,k,R_k,i+1)>λ,则比较R_i,k,R_k,i+1之间的差距大小。若R_i,k-R_k,i+1>δ，则s_k往s_i,k方向扩张单位时间片段；若R_k,i+1-R_i,k>δ，则s_k往s_k,i+1方向扩张单位时间片段；若|R_i,k-R_k,i+1|＜ε，则分别往s_i,k与s_k,i+1方向扩张单位时间片段，其中ε为判定经验设定的阈值，在本方法中设置为0.1。

返回步骤3.2.2，直至满足max(R_i,k,R_k,i+1)<λ。

其过程可由如下公式表示：

步骤S3.2.4：重复步骤S3.2.3直至满足max(R_i,k,R_k,i+1)<λ。若t_k>t_min则将该基线片段视为基础动作片段，进入步骤S3.2.5，否则将其视为剩余片段，进入步骤S3.3。

步骤S3.2.5：片段分类。将上述步骤S3.2.4得到的基础动作片段s_k，计算其与基础动作片段s_i,s_i+1间的距离w_i,k，w_k,i+1，具体公式如下

w_i,k＝||s_i-s_k||₂

w_k,i+1＝||s_k-s_i+1||₂

通过比较距离的大小，判定基础动作片段s_k的类别Class_k，具体公式如下：

其中上述σ为给定的一个距离阈值，Class_i表示基础动作片段s_i所属的高斯聚类模型类别。。

步骤S3.2.6：重复步骤S3.2.1，分别判断基础动作s_i与s_k和s_k,s_i+1间是否继续隐藏基础动作片段，若有则重复步骤S3.2.2-S3.2.5，直至所有的待定片段被标注。

步骤S3.3：识别剩余片段中的转换动作

对上述步骤S3.1和步骤S3.2得到的剩余片段，获得该片段前后两个片段(均为基础动作片段)的类型。若两数据片段类型不同，则该可能转换动作片段为转换动作片段；若两片段类型相同，则认为该片段为噪声片段，将其舍去。

步骤S4：对于已识转换动作类别的基本动作和转换动作，分别基于随机森林分类算法训练和识别具体的活动类别，包括以下步骤：

步骤S4.1：初始化随机森林，设定随机森林中决策树的数量为k，每个决策树的特征属性个数为f,对于每个决策树k_i,从训练集中随机抽取m个样本进行训练,训练次数为e。

步骤S4.2：分别对基本动作训练集和转换动作训练集进行训练，得到训练完成后的基本动作随机森林模型B_rf和转换动作随机森林模型T_rf。

步骤S4.3：将经过S3分类后的基本动作数据和转换动作数据分别输入至随机森林模型进行分类。

步骤S4.4：输出经模型分类后具体识别的活动类别。

其中步骤S1-S3为基于运动数据的转换动作识别方法。

以下对本策略与其他运动识别方法的性能进行了比较：

对本发明的评估采用了综合工作负载的方式进行评定，实验配置为英特尔酷睿i7-8700K3.7GHz处理器、16GB 3000mhz RAM、Nvidia GeForce RTX 2080显卡以及64位Windows 10Pro操作系统。实验运动数据中包括了站立、坐下、跑步、行走、站坐转换、站走转换六类共计2947条人体行为数据。运动数据包括了重力仪传感器、加速度传感器、陀螺仪传感器，数据频率为50HZ。

在实验评估中对比了SVM和KNN两种传统运动数据识别方法，图5-7为SVM、KNN和本发明方法的分类结果混淆矩阵，图8为SVM、KNN和本发明方法的识别准确率、召回率和F1分数。实验结果表明，本发明方法有效地提升了方法的识别F1分数，约为11.6％。

本发明提出的运动识别方法，通过区分识别运动数据中的基础动作及转换动作，提升了识别方法的整体性能。首先通过高斯模型对运动数据片段进行聚类，再根据前后的已聚类的相邻片段通过相似度比较算法，识别其中的转换动作；识别完成后的基础动作和转换动作数据片段，通过决策树识别判断数据片段的具体种类。对比传统方法，本发明方法提升了运动数据识别方法的鲁棒性、准确率，同时降低了计算的复杂度。

Claims (2)

1.一种基于运动数据的转换动作识别方法，其特征在于包括以下步骤：

步骤S1：获取用于监测运动状态的重力传感器、加速度传感器、陀螺仪传感器采样数据，并进行信号预处理，提取运动特征数据；

步骤S2：对上述采用高斯混合聚类，获得聚类后的数据片段；

步骤S3：基于高斯聚类后的数据片段进行转换动作识别，包括以下步骤：

步骤S3.1：识别数据片段中的基础动作

对步骤S2得到的聚类片段s_i,i＝1,2,...p计算其时间长度t_i，然后判断是否满足第i个聚类片段s_i的时间长度t_i>t_min，若是则该聚类片段s_i划分为基础动作片段，若否则该聚类片段s_i划分为未识别片段，进入步骤S3.2进一步判定活动类别；其中t_min表示给定转换动作最短时间阈值；

步骤S3.2：判定未识别片段的活动类型

判断两相邻基础动作片段间若干未识别片段中是否含有隐藏基础动作，并识别其中的基础动作数据片段；具体地，包括以下步骤：

步骤S3.2.1：隐藏基础动作判别

获取步骤S3.1识别出的每对两相邻基础动作片段s_i,s_i+1间每个未识别片段s_i,i+1，然后判断是否满足s_i,i+1时间长度t_i,i+1>t_min，若是则认为该片段s_i,i+1中可能含有隐藏基础动作，进入步骤S3.2.2，若否则将其视为剩余片段；

步骤S3.2.2：选取隐藏基础动作中心片段

寻找两相邻基础动作s_i,s_i+1间具有最长时间的片段，将其视为中心片段并记为s_k，计算该中心片段s_k与前后相邻基础动作s_i,s_i+1的相关相似度系数R_i,k,R_k,i+1，其计算公式如(2)，(3)所示：

其中表示Cov(s_i,s_k)的表示s_i与s_k间的协方差，D(s_k)表示s_k的方差；

步骤S3.2.3：判断中心片段s_k能否继续扩张

判断是否满足max(R_i,k,R_k,i+1)<λ,若是则认为s_k无法继续扩张，进入步骤3.2.4，其中λ为阈值；若否则根据R_i,k,R_k,i+1之间的差距大小进行扩张，然后返回步骤3.2.2；

所述的根据R_i,k,R_k,i+1之间的差距大小进行扩张具体操作如下：

若R_i,k-R_k,i+1>δ，则s_k往s_i,k方向扩张单位时间片段；若R_k,i+1-R_i,k>δ，则s_k,i+1往s_k方向扩张单位时间片段；若|R_i,k-R_k,i+1|＜δ，则分别往s_i,k与s_k,i+1方向扩张单位时间片段，其中δ为阈值；具体如公式(4)表示：

步骤S3.2.4：；判断是否满足中心片段s_k时间长度t_k>t_min，则将该片段s_k视为基础动作片段，进入步骤S3.2.5，若否则将其视为剩余片段，进入步骤S3.3；

步骤S3.2.5：片段分类

将上述步骤S3.2.4得到的基础动作片段s_k，计算其与基础动作片段s_i,s_i+1间的距离w_i,k，w_k,i+1，具体公式如(5)，(6)所示：

w_i,k＝||s_i-s_k||₂                   (5)

w_k,i+1＝||s_k-s_i+1||₂                (6)

通过比较距离的大小，判定基础动作片段s_k的类别Class_k，具体公式如(7)所示：

其中上述σ为距离阈值，Class_i表示基础动作片段s_i所属的高斯聚类模型类别，NewClass表示高斯聚类模型新类别，Class_i+1表示基础动作片段s_i+1所属的高斯聚类模型类别；

步骤S3.2.6：重复步骤S3.2.1，分别判断基础动作片段s_i与s_k和s_k,s_i+1间是否继续隐藏基础动作片段，若有则重复步骤S3.2.2至S3.2.5，直至所有的待定片段被标注；

步骤S3.3：识别剩余片段中的转换动作

对上述步骤S3.2得到的剩余片段，获得该片段前后两个基础动作片段的类别；若两片段类别不同，则该剩余片段为转换动作片段；若两片段类别相同，则认为该片段为噪声片段，将其舍去。

2.一种基于转换动作的运动识别方法，其特征在于包括以下：

1)将运动数据划分为基础动作、转换动作，如权利要求1所述的一种基于运动数据的转换动作识别方法；

2)将已识类别的基本动作和转换动作，通过随机森林分类算法进行训练和识别。

Images