CN111938660A - 一种基于阵列肌电的卒中患者手部康复训练动作识别方法 - Google Patents

Abstract

本发明公开了一种基于阵列肌电的卒中患者手部康复训练动作识别方法，本发明应用阵列型肌电传感器采集患者训练过程前臂的肌电序列数据，保留肌肉在物理空间上的协同信息和肌肉活动随时间变化的信息；建立并行卷积神经网络自动提取不同时刻肌电数据的空间特征；建立长短期记忆网络自动学习肌电的时间依赖特征。融合肌电时空特征后进行分类识别，以避免人工特征工程导致的信息冗余或丢失，可以有效提高手部动作识别精度。

Description

一种基于阵列肌电的卒中患者手部康复训练动作识别方法

技术领域

本发明涉及康复动作识别领域，具体涉及一种基于阵列肌电的卒中患者手部康复训练动作识别方法。

背景技术

康复训练利用中枢系统的可塑性，在一定程度上帮助脑卒中患者恢复运动功能，对患者康复训练动作的识别意义重大，识别结果在临床上可以作为辅助训练设备的控制信号，控制人造肢体的运动，辅助肢体障碍患者完成类似真实肢体的运动功能；或将训练动作识别结果作为运动功能评定的依据；也可以在远程交互式康复中实现智能康复训练或协助医师远程监测训练情况等。

现有基于表面肌电的康复训练动作识别方法大多通过多通道表面肌电获取信号，人工提取数据特征，再应用机器学习算法进行分类识别。这类方法存在缺陷如下：

1)手部康复训练动作较为精细，需要大量肌肉协同完成，仅使用多通道表面肌电无法全面获取肌肉活动数据，忽略了肌肉的协同作用，影响分类识别的精度；

2)对数据进行人工特征提取，会因主观经验导致特征提取不充分或冗余，影响后续算法性能；

3)目前使用的机器学习分类算法(如支持向量机、极限学习机、高斯混合模型等)对手部康复训练动作这类数据本身差异较小的分类任务，识别分类性能较差。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于阵列肌电的卒中患者手部康复训练动作识别方法解决了现有方法识别准确性差的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于阵列肌电的卒中患者手部康复训练动作识别方法，其包括以下步骤：

S1、在患者的前臂包裹m×n的阵列肌电传感器，获取患者康复训练时的肌电数据；其中m表示前臂轴向电极个数，n表示环绕前臂的电极行数；

S2、对肌电数据滤波与整流后进行归一化，得到归一化结果；

S3、将归一化结果重构为t个m×n的瞬时肌电阵列数据向量S，以及m×n个通道的长度为t的肌电序列数据向量T；其中t为康复训练动作对应的肌电信号长度；

S4、将瞬时肌电阵列数据向量S作为二维卷积神经网络的输入，获取与其对应的空间特征向量L；

S5、将肌电序列数据向量T作为每层具有t个LSTM单元的双层单向LSTM循环神经网络的输入，获取与其对应的时间特征向量P；

S6、通过向量连接的方式将空间特征向量L和时间特征向量P进行特征维度的融合，得到时空特征向量D；

S7、通过全连接层对时空特征向量D进行处理，得到分类数值；

S8、将分类数值转换为概率分布，得到康复训练动作属于各个类别的概率值。

进一步地，步骤S1中前臂轴向电极个数m为8，环绕前臂的电极行数n为24。

进一步地，步骤S2的具体方法为：

采用50Hz陷波滤波器对肌电数据进行滤波，对滤波后的数据采用20Hz-450Hz的带通滤波器进行再次滤波，对再次滤波后的数据进行全波整流，根据公式：

对全波整流后的数据X进行归一化，得到归一化结果X^*；其中

表示全波整流后的数据X的平均值；σ(X)表示全波整流后的数据X的标准差。

进一步地，步骤S4的具体方法包括以下子步骤：

S4-1、将瞬时肌电阵列数据向量S输入一个均包含三层卷积层，每层卷积核大小均为3×3，每层的卷积核数量分别为32、64和128的二维卷积神经网络，得到128个特征图；

S4-2、通过具有1024个神经元的全连接层将128个特征图转换为向量，得到每个瞬时肌电阵列数据对应的特征向量F；

S4-3、将所有瞬时肌电阵列数据对应的特征向量进行级联累加得到与瞬时肌电阵列数据向量S对应的空间特征向量L。

进一步地，二维卷积神经网络第k层的卷积运算公式为：

其中

为第k层卷积输出结果；

为k-1层卷积输出结果；

为第k层卷积核；

为偏置；N_k-1为第k层卷积层输入总通道；i为输入数据的通道索引；j为第k层卷积核数量；ReLU(·)为ReLU激活函数。

进一步地，步骤S5中每层具有t个LSTM单元的双层单向LSTM循环神经网络的第p个LSTM单元的运算公式为：

C_p＝σ(W_f·[h_p-1,r_p]+b_f)×C_p-1+σ(W_i·[h_p-1,r_p]+b_i)×tanh(W_C·[h_p-1,r_p]+b_C)

h_p＝σ(W_o·[h_p-1,r_p]+b_o)×tanh(C_p)

其中σ(·)为sigmoid激活函数；W_f为遗忘门权重；h_p-1为第p-1个LSTM单元的输出状态；r_p为输入数据；b_f为遗忘门偏置；C_p为第p个LSTM单元的细胞状态；C_p-1为第p-1个LSTM单元的细胞状态；W_i为输入门权重；b_i为输入门偏置；tanh(·)为双曲正切激活函数；W_C为候选状态权重；b_C为候选状态偏置；h_p为第p个LSTM单元的输出状态；W_o为输出门权重；b_o为输出门偏置；

将C_p和h_p一同输入同层LSTM单元的下一个LSTM单元，将h_p输入下一层LSTM单元的第p个LSTM单元，将第二层最后一个LSTM单元的输出状态输入全连接层，得到与肌电序列数据向量T对应的时间特征向量P。

进一步地，步骤S8的具体方法为：

根据公式：

采用softmax层将分类数值q_z转换为属于第z个动作类别的概率值S_z，进而得到康复训练动作属于各个类别的概率值；其中e为常数，Z为分类数值中的元素总数。

本发明的有益效果为：本方法应用阵列型肌电传感器采集患者训练过程前臂的肌电序列数据，保留肌肉在物理空间上的协同信息和肌肉活动随时间变化的信息；建立并行卷积神经网络自动提取不同时刻肌电数据的空间特征；建立长短期记忆网络自动学习肌电的时间依赖特征。融合肌电时空特征后进行分类识别，以避免人工特征工程导致的信息冗余或丢失，可以有效提高手部动作识别精度。

附图说明

图1为本发明的流程示意图；

图2为二维卷积神经网络结构示意图；

图3为LSTM单元结构示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该基于阵列肌电的卒中患者手部康复训练动作识别方法包括以下步骤：

S1、在患者的前臂包裹m×n的阵列肌电传感器，获取患者康复训练时的肌电数据；其中m表示前臂轴向电极个数，n表示环绕前臂的电极行数；

S2、对肌电数据滤波与整流后进行归一化，得到归一化结果；

S3、将归一化结果重构为t个m×n的瞬时肌电阵列数据向量S，以及m×n个通道的长度为t的肌电序列数据向量T；其中t为康复训练动作对应的肌电信号长度；

S4、将瞬时肌电阵列数据向量S作为二维卷积神经网络的输入，获取与其对应的空间特征向量L；

S5、将肌电序列数据向量T作为每层具有t个LSTM单元的双层单向LSTM循环神经网络的输入，获取与其对应的时间特征向量P；

S6、通过向量连接的方式将空间特征向量L和时间特征向量P进行特征维度的融合，得到时空特征向量D；

S7、通过全连接层对时空特征向量D进行处理，得到分类数值；

S8、将分类数值转换为概率分布，得到康复训练动作属于各个类别的概率值。

步骤S1中前臂轴向电极个数m为8，环绕前臂的电极行数n为24。

步骤S2的具体方法为：采用50Hz陷波滤波器对肌电数据进行滤波，对滤波后的数据采用20Hz-450Hz的带通滤波器进行再次滤波，对再次滤波后的数据进行全波整流，根据公式：

对全波整流后的数据X进行归一化，得到归一化结果X^*；其中

表示全波整流后的数据X的平均值；σ(X)表示全波整流后的数据X的标准差。

如图2所示，步骤S4的具体方法包括以下子步骤：

S4-1、将瞬时肌电阵列数据向量S输入一个均包含三层卷积层，每层卷积核大小均为3×3，每层的卷积核数量分别为32、64和128的二维卷积神经网络，得到128个特征图；

S4-2、通过具有1024个神经元的全连接层将128个特征图转换为向量，得到每个瞬时肌电阵列数据对应的特征向量F；

S4-3、将所有瞬时肌电阵列数据对应的特征向量进行级联累加得到与瞬时肌电阵列数据向量S对应的空间特征向量L。

二维卷积神经网络第k层的卷积运算公式为：

其中

为第k层卷积输出结果；

为k-1层卷积输出结果；

为第k层卷积核；

为偏置；N_k-1为第k层卷积层输入总通道；i为输入数据的通道索引；j为第k层卷积核数量；ReLU(·)为ReLU激活函数。

如图3所示，步骤S5中每层具有t个LSTM单元的双层单向LSTM循环神经网络的第p个LSTM单元的运算公式为：

C_p＝σ(W_f·[h_p-1,r_p]+b_f)×C_p-1+σ(W_i·[h_p-1,r_p]+b_i)×tanh(W_C·[h_p-1,r_p]+b_C)

h_p＝σ(W_o·[h_p-1,r_p]+b_o)×tanh(C_p)

其中σ(·)为sigmoid激活函数；W_f为遗忘门权重；h_p-1为第p-1个LSTM单元的输出状态；r_p为输入数据；b_f为遗忘门偏置；C_p为第p个LSTM单元的细胞状态；C_p-1为第p-1个LSTM单元的细胞状态；W_i为输入门权重；b_i为输入门偏置；tanh(·)为双曲正切激活函数；W_C为候选状态权重；b_C为候选状态偏置；h_p为第p个LSTM单元的输出状态；W_o为输出门权重；b_o为输出门偏置；

将C_p和h_p一同输入同层LSTM单元的下一个LSTM单元，将h_p输入下一层LSTM单元的第p个LSTM单元，将第二层最后一个LSTM单元的输出状态输入全连接层，得到与肌电序列数据向量T对应的时间特征向量P。

步骤S8的具体方法为：根据公式：

采用softmax层将分类数值q_z转换为属于第z个动作类别的概率值S_z，进而得到康复训练动作属于各个类别的概率值；其中e为常数，Z为分类数值中的元素总数。

在本发明的一个实施例中，根据手指和腕部运动的主要控制肌群，在受试者前臂包裹覆盖阵列型肌电传感设备(8×24＝192通道)，沿手臂方向一列8个电极，环绕手臂方向一行24个电极，共采集192通道肌电数据，采样频率为1KHz。

共设计26类手部康复训练动作，如表1所示。受试者放松坐在扶手椅上，双臂支撑放置在桌面固定位置，根据视频或语音指示，从静止到引起收缩并保持姿势一共5秒时间，每个动作重复5次，动作之间休息时间10秒。

表1：手部康复训练动作设计

8×24＝192通道的肌电数据所对应的瞬时肌电阵列数据向量S＝{M₁,M₂,...,M_t}，

8×24＝192通道的肌电数据所对应的肌电序列数据向量T＝{R₁,...,R_i,...,R₁₉₂}，

在本发明的具体实施过程中，可以采用交叉熵来计算分类误差，即一个样本预测和真实动作类别概率分布之间距离，用于误差批量随机梯度下降进行反向传播权重训练，代价函数为：

其中Batch为批量随机梯度下降中选择的批量样本数；O_g为第g个样本的计算预测概率分布，y_g为第g个样本的真实概率分布。基于得到的输出与实际输出的误差值，使用批量梯度下降的误差反向传播算法对网络中的参数进行迭代，经过至少3000次迭代之后，完成参数训练并进行保存。

综上所述，本发明应用阵列型肌电传感器采集患者训练过程前臂的肌电序列数据，保留肌肉在物理空间上的协同信息和肌肉活动随时间变化的信息；建立并行卷积神经网络自动提取不同时刻肌电数据的空间特征；建立长短期记忆网络自动学习肌电的时间依赖特征。融合肌电时空特征后进行分类识别，以避免人工特征工程导致的信息冗余或丢失，可以有效提高手部动作识别精度。

Claims (7)

1.一种基于阵列肌电的卒中患者手部康复训练动作识别方法，其特征在于，包括以下步骤：

S1、在患者的前臂包裹m×n的阵列肌电传感器，获取患者康复训练时的肌电数据；其中m表示前臂轴向电极个数，n表示环绕前臂的电极行数；

S2、对肌电数据滤波与整流后进行归一化，得到归一化结果；

S3、将归一化结果重构为t个m×n的瞬时肌电阵列数据向量S，以及m×n个通道的长度为t的肌电序列数据向量T；其中t为康复训练动作对应的肌电信号长度；

S4、将瞬时肌电阵列数据向量S作为二维卷积神经网络的输入，获取与其对应的空间特征向量L；

S5、将肌电序列数据向量T作为每层具有t个LSTM单元的双层单向LSTM循环神经网络的输入，获取与其对应的时间特征向量P；

S6、通过向量连接的方式将空间特征向量L和时间特征向量P进行特征维度的融合，得到时空特征向量D；

S7、通过全连接层对时空特征向量D进行处理，得到分类数值；

S8、将分类数值转换为概率分布，得到康复训练动作属于各个类别的概率值。

2.根据权利要求1所述的基于阵列肌电的卒中患者手部康复训练动作识别方法，其特征在于，所述步骤S1中前臂轴向电极个数m为8，环绕前臂的电极行数n为24。

3.根据权利要求1所述的基于阵列肌电的卒中患者手部康复训练动作识别方法，其特征在于，所述步骤S2的具体方法为：

采用50Hz陷波滤波器对肌电数据进行滤波，对滤波后的数据采用20Hz-450Hz的带通滤波器进行再次滤波，对再次滤波后的数据进行全波整流，根据公式：

对全波整流后的数据X进行归一化，得到归一化结果X^*；其中

表示全波整流后的数据X的平均值；σ(X)表示全波整流后的数据X的标准差。

4.根据权利要求1所述的基于阵列肌电的卒中患者手部康复训练动作识别方法，其特征在于，所述步骤S4的具体方法包括以下子步骤：

S4-1、将瞬时肌电阵列数据向量S输入一个均包含三层卷积层，每层卷积核大小均为3×3，每层的卷积核数量分别为32、64和128的二维卷积神经网络，得到128个特征图；

S4-2、通过具有1024个神经元的全连接层将128个特征图转换为向量，得到每个瞬时肌电阵列数据对应的特征向量F；

S4-3、将所有瞬时肌电阵列数据对应的特征向量进行级联累加得到与瞬时肌电阵列数据向量S对应的空间特征向量L。

5.根据权利要求4所述的基于阵列肌电的卒中患者手部康复训练动作识别方法，其特征在于，所述二维卷积神经网络第k层的卷积运算公式为：

其中

为第k层卷积输出结果；

为k-1层卷积输出结果；

为第k层卷积核；

为偏置；N_k-1为第k层卷积层输入总通道；i为输入数据的通道索引；j为第k层卷积核数量；ReLU(·)为ReLU激活函数。

6.根据权利要求1所述的基于阵列肌电的卒中患者手部康复训练动作识别方法，其特征在于，所述步骤S5中每层具有t个LSTM单元的双层单向LSTM循环神经网络的第p个LSTM单元的运算公式为：

C_p＝σ(W_f·[h_p-1,r_p]+b_f)×C_p-1+σ(W_i·[h_p-1,r_p]+b_i)×tanh(W_C·[h_p-1,r_p]+b_C)

h_p＝σ(W_o·[h_p-1,r_p]+b_o)×tanh(C_p)

其中σ(·)为sigmoid激活函数；W_f为遗忘门权重；h_p-1为第p-1个LSTM单元的输出状态；r_p为输入数据；b_f为遗忘门偏置；C_p为第p个LSTM单元的细胞状态；C_p-1为第p-1个LSTM单元的细胞状态；W_i为输入门权重；b_i为输入门偏置；tanh(·)为双曲正切激活函数；W_C为候选状态权重；b_C为候选状态偏置；h_p为第p个LSTM单元的输出状态；W_o为输出门权重；b_o为输出门偏置；

将C_p和h_p一同输入同层LSTM单元的下一个LSTM单元，将h_p输入下一层LSTM单元的第p个LSTM单元，将第二层最后一个LSTM单元的输出状态输入全连接层，得到与肌电序列数据向量T对应的时间特征向量P。

7.根据权利要求1所述的基于阵列肌电的卒中患者手部康复训练动作识别方法，其特征在于，所述步骤S8的具体方法为：

根据公式：

采用softmax层将分类数值q_z转换为属于第z个动作类别的概率值S_z，进而得到康复训练动作属于各个类别的概率值；其中e为常数，Z为分类数值中的元素总数。

Images