CN108898062B - 一种基于改进的信号片段提取算法的手部动作识别方法 - Google Patents

Abstract

本发明涉及一种基于改进的信号片段提取算法的手部动作识别方法。本发明包括以下步骤：S1、采集人体的手部动作数据，去除所述手部动作数据中的过渡动作数据，得到手部动作数据的雏形动作片段；S2、针对不同长度的动作雏形动作片段进行自适应的片段提取，探测手部动作的完整动作片段和其真实的起始点和终止点；S3、提取所述完整动作片段的特征值，对手部动作分类模型进行训练，最后利用所述手部动作分类模型进行手部动作识别。本发明能够自适应不同手部动作类型的运动时间长度，对人体各手部动作的完整动作片段进行精确提取，并能够探测得到各动作片段的真实状态点(起始点和终止点)，获得各个动作的精确完整动作片段。

Description

一种基于改进的信号片段提取算法的手部动作识别方法

技术领域

本发明涉及通信电子技术和模式识别技术领域，具体的说是一种基于改进的信号片段提取算法的手部动作识别方法。

背景技术

近年来随着微电子技术和物联网发展，微型芯片的普及和可穿戴设备的应用，利用智能移动设备内置传感器对人体行为识别具有十分重要的研究和应用价值，很多研究和机构都进行应用开发和科学研究。

其中，对预处理过后的传感器数据的动作片段的提取是整个识别流程的核心部分，其对手部动作完整片段的提取结果对人体手部动作识别效果有着重要的影响。

经过预处理后的数据仍然是连续的人体手部动作数据信号，其中包含了多个手部动作数据，并不能直接分类识别。因此，要在包含多个动作的连续性数据序列中识别人体动作，首先最重要的能够提取到包含了一个完整的人体行为动作的数据片段，剔除相邻动作间的过渡性数据干扰。同时，动作片段的提取也能够使计算机更好的为动作进行标识，感知动作的起始点和终止点等，并且这些状态变化由计算机智能的识别，其体现出一定的创新性和挑战性。

传统的数据切割方法对人体手部动作数据流进行分割得到的数据片段，可以较为完整的提取到每个动作。然而这些动作行为的片段夹杂了一些过渡行为的数据，这些数据并不属于人体发生动作时产生的数据，该类数据将会动作识别产生极大地影响，导致后期动作识别的精确度下降。同时，不同手部动作持续的时间长度也不一致，无法设置单一滑动窗口长度对数据进行分割。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于改进的信号片段提取算法的手部动作识别方法。

本发明为实现上述目的所采用的技术方案是：一种基于改进的信号片段提取算法的手部动作识别方法，包括以下步骤：

S1、对采集到的人体的手部动作数据进行预处理，以去除所述手部动作数据中的过渡动作数据，得到手部动作数据的雏形动作片段，所述雏形动作片段的第一个点为初探起始点，最后一个点为初探终止点；

S2、针对不同长度的雏形动作片段进行自适应的提取，探测完整动作片段和其真实的起始点和终止点；

S3、提取所述完整动作片段的特征值，对手部动作分类模型进行训练，最后利用所述手部动作分类模型进行手部动作识别。

所述步骤S1包括以下步骤：

S11、对采集到的人体的手部动作数据进行迭代，对手部动作数据的固有偏差进行校正；

S12、去除迭代后数据里的重力分量和噪声，获取手部动作的有效数据；

S13、对所述手部动作的有效数据进行雏形片段提取，得到雏形动作片段。

所述步骤S13通过对每个窗口片段执行以下步骤获得雏形动作片段：

S131、利用滑动窗口

对手部动作的有效数据进行分割，得到数据集D＝{D₁，D₂，D₃...D_m}，D_i表达式为

其中

表示滑动窗口中时间点为t_n时的数据值，t_n表示第t_n个时间点，D_i表示切割得到的第i个数据片段，n表示第滑动窗口长度，数据集D的大小m随不同手部动作时长而变化；

S132、对每个D_i求均值，得到D_{i_mean}；人体手部在不发生动作处于相对自然静止的状态下，加速度传感器收集到的数据趋近于0，大小不大于加速度阈值a_rest；

S133、用D_{i_mean}与a_rest进行比较，当D_{i_mean}＞a_rest时，判定手部处于运动过程，保留此时的加速度数据，得到雏形动作片段，雏形动作片段的第一个和最后一个点为初探起始点和终止点。

所述步骤S2包括以下步骤：

S21、将步骤S1得到的初探起始点和初探终止点分别向两边延伸N个数据采样点，获得手部动作片段的估计起始点和估计终止点；

S22、设置滑动窗口W，从延伸得到的估计起始点向后滑动，同时从延伸得到的估计终止点向前滑动，计算窗口中数据采样点的差分和、方差以及均值；

S23、设置经验阈值，利用所述差分和、方差以及均值与经验阈值对比，判定该窗口内的差分和、方差以及均值是否大于经验阈值，如果大于阈值，则判定该位置滑动窗口内数据点处于上升趋势，则停止滑动，记录当前位置的起始点精确值和终止点精确值，作为真实的起始点和终止点；否则，则继续滑动一个数据点。

所述步骤S3中提取所述完整动作片段的特征值，包括以下步骤：

选取10种时域特征的67维数据特征作为特征集，所述特征集包括：各数据轴上以及合加速度数据的平均值、方差、标准差、偏度、峰度、均方根、最大值和各数据轴上的峰谷间间距、动作的持续时间以及波形与坐标横轴形成的区域面积；

利用基于信息增益率的算法对特征集进行了降维，并选取了评估得分排名靠前的若干个特征值作为所述完整动作片段的特征值。

本发明具有以下优点及有益效果：通过设计的一种自适应动作片段提取改进算法，能够对人体手部各类型完整动作片段进行精确提取，并能够探测得到各动作片段的真实状态点(起始点和终止点)，获得了各个动作的精确完整动作片段。

附图说明

图1为本发明方法流程图；

图2为本发明的数据预处理前后对比图，其中(a)为加速度校正前后波形对比图，(b)为低通滤波前后波形对比图，(c)为平滑滤波前后波形对比图；

图3为本发明的传统数据切割提取的动作片段图；

图4为本发明的初步探测算法提取的动作片段图；

图5为本发明的初步探测算法流程图；

图6为本发明的自适应动作片段提取改进算法流程图；

图7为使用本发明方法的真实完整动作片段图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

在本发明中，包含对经过预处理过后的手部动作加速度数据的手部动作片段初步探测算法、自适应动作片段提取改进算法以及加速度特征选取和模型的建立，系统整体流程图如图1所示。下面将分别进行详细介绍：

1)手部动作片段初步探测算法

a)加速度传感器数据的预处理

本发明通过智能移动设备采集到的手部动作三轴加速度传感器原始数据，作为手部动作数据。由于重力、轻微抖动和传感器信号自身噪声等的影响，导致原始传感器数据将伴有噪声和零位偏差、恒定偏移等问题，这些问题将直接对动作识别产生较大的影响，因此在对手部动作片段提取之前需要对原始加速度数据进行预处理，去除掉传感器数据中的噪声等影响。本发明首先利牛顿迭代算法(如公式1所示)对原始数据进行50次迭代，对加速度数据进行修正。得到修正后的x、y、z三个方向上的加速度传感器数据；

其中，矩阵M对角元素初始值为1，其他均为0；矩阵D元素初始值均为0。

其次采用低通滤波器(如公式2所示)和移动均值滤波算法(如公式3所示)，去除数据里的重力分量和因为抖动等原因产生的噪声。

g_i＝alpha*g_i+(1-alpha)*A_di，a_i＝A_di-g_i(i＝x，y，z) (2)

在公式2中g_i，A_di，a_i分别表示i轴上的重力分量、原始数据、滤波后的数据，alpha为一个在区间(0，1)之间的常量。在公式3中，Y(n)表示移动均值滤波后的加速度传感器数据，x(n)表示移动均值滤波前的加速度传感器数据，n表示第n个时间点，N表示动作数据长度既动作样本点个数。预处理过后的对比图如下图2所示。

b)动作片段的初步探测

由于传统的数据切割算法提取出来的动作片段会包含一些无用的过渡动作数据，影响识别结果，如下图3所示。因此在本发明中，我们首先采用动作片段的初步探测算法，对预处理后的加速度数据进行动作片段雏形的提取。利用滑动窗口

对加速度数据进行细腻分割，得到数据集D＝{D₁，D₂，D₃...D_m}，D_i表达式为

其中两处

均表示滑动窗口中时间点为t_n时的数据值，D_i表示切割得到的第i个数据片段，这里n表示滑动窗口长度，在本发明中选取滑动窗口的大小固定为10个样本点。数据集D的大小随不同的手部动作而变化，m表示共得到m个数据片段。随后对每个D_i求均值，得到D_{i_mean}。人体手部在不发生动作处于相对自然静止的状态下，加速度传感器收集到的数据趋近于0，大小不大于加速度阈值a_rest。用D_{i_mean}与a_rest进行比较，当D_{i_mean}＞a_rest时，理解为手部已经处于运动过程，保留此时的加速度数据。由此过程最后得到手部动作的雏形片段，如下图4所示，雏形片段的开始点和终止点，为初探起始点和终止点。

动作片段初步探测算法的流程图如下图5所示。

2)自适应动作片段提取改进算法

传统的数据分割除了无法去除掉一些过渡动作数据。而且不同手部动作持续的时间长度也不一致，无法设置单一滑动窗口长度对数据进行分割。因此本发明提出了改进的自适应动作片段提取算法，解决传统滑动窗口技术提取动作片段不能适应不同动作长度的问题。首先，将初步探测算法得到的初探起始点和终止点分别向两边延伸N(其值在区间[10-30]内)个数据采样点，获得手部动作片段的估计起始点和估计终止点；随后设置滑动窗口W，从延伸得到的估计起始点向后滑动，同时从延伸得到的估计终止点向前滑动，计算窗口中数据采样点的差分和(曲线的运动趋势)、方差(曲线平滑程度)以及均值(合加速度平均值)；设置经验阈值，利用计算得到的三项特征的结果与经验阈值对比，判定该窗口内的三项特征值是否大于经验阈值(由多次实验得到)，如果大于阈值，则判定该位置滑动窗口内数据点处于上升趋势，则停止滑动，记录当前位置的起始点精确值和终止点精确值。反正，则继续滑动一个数据点。到此，我们将得到精确的手部动作片段。自适应动作片段提取改进算法流程图如下图6所示，得到的真实完整动作片段如下图7所示。

3)特征选取与手部动作的识别

a)特征选取

由改进的自适应动作片段提取算法得到的动作片段仍然不能直接用于分类模型的训练，需要对其进行特征提取，获取每个窗口内的特征。基于计算量与表征能力的考量，本发明选取了10种时域特征的67维数据特征作为特征集，如下表所示；同时，为了确保动作的高精度识别，本发明利用基于信息增益率的算法对特征集进行了降维，有效选取了(10个评估得分排名靠前的)特征值，其中本发明利用信息增益率代替了信息增益来对特征属性选择度量。

表1特征维度说明

特征	维度数	说明(动作片段内)
			mean	10	各轴上(包含重力加速度)合加速度数据的平均值
var	7	各数据轴上以及合加速度数据的方差
			std	7	各数据轴上以及合加速度数据的标准差
ske	7	各数据轴上以及合加速度数据的偏度
			kur	7	各数据轴上以及合加速度数据的峰度
rms	7	各数据轴上以及合加速度数据的均方根
			max	7	各数据轴上以及合加速度数据的最大值
range	7	各数据轴上的峰谷间间距
			duration	1	动作的持续时间
area	7	波形与坐标横轴形成的区域面积

b)手部动作分类模型建立与动作识别

为了对手部动作进行有效识别，本发明利用了基于决策树的分类算法对上述方法所选取的大量特征集样本F＝{f₁，f₂，f₃...f₁₀，Type_Label}(其中f_i(i＝1，2，...10)为选取的特征，Type_Label为动作标签)进行了训练，构建了决策树分类模型，为防止过拟合，本发明采用了基于悲观错误剪枝PEP(Pesimistic-Error Pruning)的方法修剪原生的过拟合的决策树，使其拥有更强的泛化作用，最终得到高精度的手部动作分类器。在识别过程中，只需将特征向量F＝{f₁，f₂，f₃...f₁₀}输入训练好的决策树模型，即可进行分类识别。

对本发明的技术创新点做如下说明：

1)动作片段的初步探测有效过滤无效过渡动作数据

本发明利用数据校正和滤波算法对加速度原始数据进行了预处理消除原始加速度数据的噪声和零位偏差等问题，得到较为纯净的数据。同时，由于传统数据切割无法剔除动作片段中的一些过渡动作数据，本发明提出采用动作片段的初步探测算法，有效的过滤掉了过渡动作数据，得到手部动作片段的雏形片段。

2)改进的自适应动作片段提取算法

本发明基于自适应动作片段提取改进算法提取的动作片段，有效的解决了传统滑动窗口技术提取动作片段中不能适应不同动作长度的问题。同时，自适应动作片段提取改进算法的利用，能够非常精确的识别连续数据序列中的完整动作片段，并且能够找到每个手部动作的真实起始点和终止点，在实际应用中有着很高的适应性和有效性，对提升系统的动作识别准确率有着重要的贡献。

3)有效的特征选取与精确的手部动作识别

本发明通过对完整动作片段的特征提取，以及对特征的降维处理，得到具有良好表征能力，且计算量不大的特征向量集；同时利用特征向量集构建了良好的手部动作识别模型，对手部动作分类识别得到良好的准确度。

尽管上面对本发明的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于改进的信号片段提取算法的手部动作识别方法，其特征在于，包括以下步骤：

S1、对采集到的人体的手部动作数据进行预处理，以去除所述手部动作数据中的过渡动作数据，得到手部动作数据的雏形动作片段，所述雏形动作片段的第一个点为初探起始点，最后一个点为初探终止点；

S2、针对不同长度的雏形动作片段进行自适应的提取，探测完整动作片段和其真实的起始点和终止点；

S3、提取所述完整动作片段的特征值，对手部动作分类模型进行训练，最后利用所述手部动作分类模型进行手部动作识别；

所述步骤S1包括以下步骤：

S11、对采集到的人体的手部动作数据进行迭代，对手部动作数据的固有偏差进行校正；

S12、去除迭代后数据里的重力分量和噪声，获取手部动作的有效数据；

S13、对所述手部动作的有效数据进行雏形片段提取，得到雏形动作片段；

所述步骤S13通过对每个窗口片段执行以下步骤获得雏形动作片段：

S131、利用滑动窗口

对手部动作的有效数据进行分割，得到数据集D＝{D₁，D₂，D₃...D_m}，D_i表达式为

其中

表示滑动窗口中时间点为t_n时的数据值，t_n表示第t_n个时间点，D_i表示切割得到的第i个数据片段，n表示第滑动窗口长度，数据集D的大小m随不同手部动作时长而变化；

S132、对每个D_i求均值，得到D_{i_mean}；人体手部在不发生动作处于相对自然静止的状态下，加速度传感器收集到的数据趋近于0，大小不大于加速度阈值a_rest；

S133、用D_{i_mean}与a_rest进行比较，当D_{i_mean}＞a_rest时，判定手部处于运动过程，保留此时的加速度数据，得到雏形动作片段，雏形动作片段的第一个和最后一个点为初探起始点和终止点；

所述步骤S2包括以下步骤：

S21、将步骤S1得到的初探起始点和初探终止点分别向两边延伸N个数据采样点，获得手部动作片段的估计起始点和估计终止点；

S22、设置滑动窗口W，从延伸得到的估计起始点向后滑动，同时从延伸得到的估计终止点向前滑动，计算窗口中数据采样点的差分和、方差以及均值；

S23、设置经验阈值，利用所述差分和、方差以及均值与经验阈值对比，判定该窗口内的差分和、方差以及均值是否大于经验阈值，如果大于阈值，则判定该位置滑动窗口内数据点处于上升趋势，则停止滑动，记录当前位置的起始点精确值和终止点精确值，作为真实的起始点和终止点；否则，则继续滑动一个数据点；

所述步骤S3中提取所述完整动作片段的特征值，包括以下步骤：

选取10种时域特征的67维数据特征作为特征集，所述特征集包括：各数据轴上以及合加速度数据的平均值、方差、标准差、偏度、峰度、均方根、最大值和各数据轴上的峰谷间间距、动作的持续时间以及波形与坐标横轴形成的区域面积；

利用基于信息增益率的算法对特征集进行了降维，并选取了评估得分排名靠前的若干个特征值作为所述完整动作片段的特征值。

Images