CN110308796A - 一种基于腕部pvdf传感器阵列的手指运动识别方法 - Google Patents

Abstract

本发明公开了一种基于腕部PVDF传感器阵列的手指运动识别方法，首先使用PVDF传感器阵列实时采集多通道的腕部动作信号，进行预处理；其次对腕部动作信号进行基于短时能量的端点检测，得到手指动作的分割点，进而提取得到一段手指运动的数据；然后基于短时能量对该段手指运动的数据进行编码，得到单个手指动作的特征向量；最后使用分类器对手指动作的特征向量进行分类与识别，得到手指运动识别结果。本发明的优势在于，用户在腕部佩戴PVDF传感器阵列后，手部无需其他辅助装置，即可有效识别鼠标使用时的基本动作，如食指点击、中指点击、大拇指点击等，为穿戴式移动设备提供了一种新的人机交互方式。

Description

一种基于腕部PVDF传感器阵列的手指运动识别方法

技术领域

本发明涉及手指运动识别方法领域，具体是一种基于腕部PVDF传感器阵列的手指运动识别方法。

背景技术

手势识别作为人机交互的重要方法之一，广泛应用于手语识别、假肢控制、游戏操作、遥控操作等领域。

传统的手势识别技术主要有两种，其一为基于机器视觉的手势识别，它是目前手势识别技术中的主流，但是它容易受外部环境的干扰，并且在使用时不能有遮挡物。另一种是基于传感器的手势识别，它主要是利用惯性传感器与压阻传感器来实现，比如数据手套，但这种方法会限制用户的手部运动；同时基于表面肌电传感器的手势识别也是研究的热点，然而这类传感器佩戴时对皮肤表面的环境要求高，且舒适度低。

并且基于传感器的手部动作识别方法，常利用多个通道的数据，提取相应的时域、频域、时频域的特征，利用特定的数据分类算法，完成动作分类与识别。在实际应用时，要精确识别出多个不同手势，则需要多个通道的传感器信号。而传感器数量的增加，一方面造成系统复杂度提升，另一方面也带来了更大的噪声干扰。因此如何实时地识别出更多的手势，是目前亟需解决的重要问题。

发明内容

本发明的目的是提供一种基于腕部PVDF传感器阵列的手指运动识别方法，以解决现有技术基于传感器的手部动作识别方法受限制较大、数据处理易受噪声干扰的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：包括以下步骤：

(1)、采用PVDF传感器阵列，实时采集多通道的腕部动作信号；

(2)、分别计算步骤(1)采集的腕部动作信号和背景噪声的短时能量，并对步骤(1)采集的腕部动作信号进行预处理，以去除其中的背景噪声和滤除工频干扰；

(3)、基于步骤(2)得到的短时能量和预处理结果，对腕部动作信号进行基于短时能量的端点检测，以得到手指动作的分割点，进而提取得到手指运动数据；

(4)、基于短时能量对步骤(3)得到的手指运动数据进行编码，得到单个手指动作的特征向量；

(5)、使用分类器对步骤(4)得到的单个手指动作特征向量进行分类与识别，得到手指运动识别结果。

所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：设PVDF传感器阵列由J个PVDF传感器构成，步骤(2)中，定义x(n)为J个PVDF传感器第n次采样的多通道的腕部运动信号，可表示为x(n)＝{x_j(n)，j＝1，2，...，J}，x(n)称为第n组腕部运动信号，同时设第n组腕部运动信号的短时能量为E(n)，通过公式可计算得到E(n)；

设每次上电初始化时，根据PVDF传感器阵列采集的M组数据计算得到的背景噪声的幅值平均值为x_nois，其中M组数据的总时长不少于3秒，同时设背景噪音的短时能量平均值为ε，通过公式可计算得到ε。

所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(2)中，设第n组腕部运动信号x(n)去除背景背景噪声后的信号为x_r(n)，则x_r(n)＝x(n)-x_noise，通过该公式实现去除第n组腕部运动信号x(n)中的背景噪声；

定义H(z)为工频滤波所使用的离散传递函数，通过公式x_f(n)＝x_r(n)*H(z)实现滤除x_r(n)中的工频干扰，完成预处理，其中*表示卷积运算，最终预处理后的信号为x_f(n)。

所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：所述离散传递函数

所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(3)的过程如下：

(3.1)、在端点检测子程序中初始化设置动作起点标志器S＝0，有效动作标志器F＝0，短时能量低阈值E₁＝2ε，短时能量高阈值E_h＝15ε，将预处理后的x_f(n)与E(n)输入到端点检测子程序中；

(3.2)、判断E(n)是否小于E₁，若判断为是，则执行步骤(3.5)；若判断为否，则保存x_f(n)并执行步骤(3.3)；

(3.3)、判断E(n)是否大于E₁，以及动作起点标志器S是否等于0，若判断为是，则标记该组数据为动作起点A，并设置动作起点标志器S＝1，然后执行步骤(3.6)；若判断为否，则执行步骤(3.4)；

(3.4)、判断E(n)是否大于E_h，若判断为是，则设置有效动作标志器F＝1，执行步骤(3.6)；若判断为否，则设置有效动作标志器F＝0，执行步骤(3.6)；

(3.5)判断有效动作标志器F是否等于1，以及E(n)是否小于E₁，若判断为是，则设置F＝0、S＝0，并且标记该组数据为动作终止点B，并执行步骤(3.7)；若判断为否，则执行步骤(3.6)；

(3.6)、取下一组数据X_f(n+1)与E(n+1)，并执行步骤(3.1)；

(3.7)、将检测到的单个动作记的信号记为X_AB，X_AB＝{x_f(i)|i＝n_A，...，n_B}，数据长度为n_AB＝n_B-n_A，对X_AB查找最大值的位置，记为n_max，在该位置向前查找p组数据、向后查找q组数据，截取在(n_max-p)组～(n_max+q)组之间的数据，若在查找时出现无数据位或数据长度不足，即为n_max-p＜n_A或n_max+q＞n_B，则在(n_max-p)组～n_A组或n_B组～(n_max+q)组的无数据位补零，得到动作数据长度为l的单个动作的信号X_L＝{x_l(i)|i＝p，...，q}。

所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(3)中，所述短时能量的高阈值E_h＝(15±2)×ε，短时能量的低阈值E_l＝(2±1)×ε，动作数据长度l＝p+q，p为上升沿的长度，q为下降沿的长度。

所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(4)中，对分割后的单个动作的信号X_L进行分帧并计算其短时能量E_x，对短时能量E_x进行向量化得到单个手指动作的特征向量V；

对短时能量E_x的数据按行向量的方向重新排列为一维向量，特征向量V的维数为n(V)＝f_n*J，其中f_n为分帧后的帧长，公式如下：

所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(5)中，使用n(V)维输入的分类器对动作的特征向量V矩阵进行分类.

所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：所述的分类器为多层前馈神经网络。

与现有技术相比，本发明优点为：

本发明提出的基于腕部PVDF传感器阵列的手指动作识别方法，在进行数据采集与预处理时，去除了工频噪声与背景噪声对信号幅值的影响，并且基于短时能量的动作数据提取可以提取不同速度的手指动作，在实际应用中，用户在腕部佩戴PVDF传感器阵列后，手部无需其他辅助装置，即可对食指点击、中指点击、大拇指点击等鼠标使用时的基本动作进行有效地识别，为穿戴式移动设备提供了一种新的人机交互方式。

附图说明

图1是本发明的系统框图。

图2是本发明方法流程框图。

图3是本发明的动作信号端点检测程序流程图。

图4是本发明的单通道动作信号分割示意图。

图5是本发明多通道动作信号编码实例图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1、图2所示，用户佩戴基于PVDF传感器阵列进行手指动作识别的方法，步骤如下：首先使用多通道PVDF传感器阵列(101)采集多通道的腕部动作信号并进行预处理(102)；其次基于短时能量对预处理后的动作信号进行端点检测(103)，得到单个手指动作的分割点，分割得到单个手指动作的数据；对单个手指动作的数据进行基于短时能量的编码(104)，得到单个手指动作的特征矩阵，使用分类器(105)对特征进行分类与识别。

其中预处理(102)是对经由J个PVDF传感器构成的传感器阵列采集多通道的一组腕部动作信号x(n)，进行去直流分量处理，得到x_r(n)＝x(n)-x_noise，进一步的，对x_r(n)滤除工频干扰，得到预处理后的信号x_f(n)＝x_r(n)*H(z)，*表示卷积运算；采集多通道的腕部动作信号时，典型的采样频率为1000Hz；而 为工频滤波所使用的离散传递函数；定义x(n)＝{x_j(n)，j＝1，2，...，J}为第n次采样的J个PVDF传感器通道腕部运动信号，称为第n组腕部运动信号，且为第n组信号的短时能量；进一步的，对腕部PVDF传感器阵列，在每次上电初始化时，利用采集的M组(M组总时长不少于3秒)数据，计算得到背景噪音的幅值平均值以及背景噪音的短时能量平均值

图3所示的动作信号端点检测程序流程图，对预处理后的信号x_f(n)按照如下步骤进行处理，得到的单个动作X_L，步骤如下：

步骤200、初始化设置动作起点标志器S＝0，有效动作标志器F＝0，E_l＝2ε，E_h＝15ε；

步骤201、输入x_f(n)，E(n)；

步骤202、判断E(n)＜E_l，若判断为是，执行步骤209，若判断为否，则执行步骤203；

步骤203、保存x_f(n)；

步骤204、判断E(n)＞E_l且S＝0，若判断为是，则执行步骤205，若判断为否，则执行步骤206；

步骤205、标记该组数据为动作起点A，为第n_A组数据，并设置S＝1，并执行步骤211；

步骤206、判断E(n)＞E_h，若判断为是，则执行步骤207，若判断为否，则执行步骤208；

步骤207、设置F＝1，并执行步骤211；

步骤208、设置F＝0，并执行步骤211；

步骤209、判断F＝1且E(n)＜E_l，若判断为是，则执行步骤210；若判断为否，则执行步骤211；

步骤210、设置F＝0，S＝0，并且标记该组数据为动作终止点B，为第n_B组数据，并执行步骤212；若判断为否，则执行步骤211；

步骤211、取下一组数据X_f(n+1)与E(n+1)，并执行步骤(202)

步骤212、将检测到的单个动作记为X_AB＝{x_f(i)|i＝n_A，...，n_B}，数据长度为n_AB＝n_B-n_A，对X_AB查找最大值的位置，记为n_max，在该位置向前查找第p组数据，向后查找q组数据，截取在(n_max-p)组～(n_max+q)组之间的数据，若在查找时出现无数据位或数据长度不足，即为n_max-p＜n_A或n_max+q＞n_B，则在(n_max-p)组～n_A组或n_B组～(n_max+q)组的无数据位补零，得到固定长度为1的单个动作X_L＝{x_l(i)|i＝p，...，q}；

其中短时能量的高阈值E_h＝(15±2)×ε，短时能量的低阈值E_l＝(2±1)×ε，l＝p+q，p为上升沿的长度，q为下降沿的长度，特别地，当采样频率为1000Hz时采集到的动作的数据长度1＝194。

图4所示的是单通道动作信号分割示意图，展示的是连续手指动作的原始信号以及信号分割后的信号图。图3中，A为一个动作的起始点，B是该动作的终止点。

图5所示的是的多通道动作信号编码实例图，对分割后的单个动作的信号X_L进行分帧并计算其短时能量E_x，进一步的，对E_x进行向量化得到单个动作的特征向量V；在采样频率为1000Hz时，帧长w＝5，帧移inc＝3，分帧后的帧长为f_n＝(l-w)/inc+1；计算分帧的短时能量为：

特别的，l＝194时f_n＝64；

特征向量V的维数为n(V)＝f_n*J；向量化是对E_x的数据按行向量的方向重新排列为一维向量，公式如下：

使用n(V)维输入的分类器对手指动作的特征矩阵V进行分类，其中所述分类器包括但不限于多层前馈神经网络。使用该方法在对手指动作进行识别时，完成对手指动作的实时识别。

综上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、同等替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：包括以下步骤：

(1)、采用PVDF传感器阵列，实时采集多通道的腕部动作信号；

(2)、分别计算步骤(1)采集的腕部动作信号和背景噪声的短时能量，并对步骤(1)采集的腕部动作信号进行预处理，以去除其中的背景噪声和滤除工频干扰；

(3)、基于步骤(2)得到的短时能量和预处理结果，对腕部动作信号进行基于短时能量的端点检测，以得到手指动作的分割点，进而提取得到手指运动数据；

(4)、基于短时能量对步骤(3)得到的手指运动数据进行编码，得到单个手指动作的特征向量；

(5)、使用分类器对步骤(4)得到的单个手指动作特征向量进行分类与识别，得到手指运动识别结果。

2.根据权利要求1所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：设PVDF传感器阵列由J个PVDF传感器构成，步骤(2)中，定义x(n)为J个PVDF传感器第n次采样的多通道的腕部运动信号，可表示为x(n)＝{x_j(n)，j＝1，2，...，J}，x(n)称为第n组腕部运动信号，同时设第n组腕部运动信号的短时能量为E(n)，通过公式n＞2可计算得到E(n)；

设每次上电初始化时，根据PVDF传感器阵列采集的M组数据计算得到的背景噪声的幅值平均值为x_noi，其中M组数据的总时长不少于3秒，同时设背景噪音的短时能量平均值为ε，通过公式可计算得到ε。

3.根据权利要求2所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(2)中，设第n组腕部运动信号x(n)去除背景背景噪声后的信号为x_r(n)，则x_r(n)＝x(n)-x_noise，通过该公式实现去除第n组腕部运动信号x(n)中的背景噪声；

定义H(z)为工频滤波所使用的离散传递函数，通过公式x_f(n)＝x_r(n)*H(z)实现滤除x_r(n)中的工频干扰，完成预处理，其中*表示卷积运算，最终预处理后的信号为x_f(n)。

4.根据权利要求3所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：所述离散传递函数

5.根据权利要求1所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(3)的过程如下：

(3.1)、在端点检测子程序中初始化设置动作起点标志器S＝0，有效动作标志器F＝0，短时能量低阈值E₁＝2ε，短时能量高阈值E_h＝15ε，将x_f(n)与E(n)输入到端点检测子程序中；

(3.2)、判断E(n)是否小于E₁，若判断为是，则执行步骤(3.5)；若判断为否，则保存x_f(n)，并执行步骤(3.3)；

(3.3)、判断E(n)是否大于E₁，以及动作起点标志器S是否等于0，若判断为是，则标记该组数据为动作起点A，并设置动作起点标志器S＝1，然后执行步骤(3.6)；若判断为否，则执行步骤(3.4)；

(3.4)、判断E(n)是否大于E_h，若判断为是，则设置有效动作标志器F＝1，执行步骤(3.6)；若判断为否，则设置有效动作标志器F＝0，执行步骤(3.6)；

(3.5)判断有效动作标志器F是否等于1，以及E(n)是否小于E₁，若判断为是，则设置F＝0、S＝0，并且标记该组数据为动作终止点B，并执行步骤(3.7)；若判断为否，则执行步骤(3.6)；

(3.6)、取下一组数据X_f(n+1)与E(n+1)，并执行步骤(3.1)；

(3.7)、将检测到的单个动作的数据记为X_AB，X_AB＝{x_f(i)|i＝n_A，...，n_B}，动作的数据长度为n_AB＝n_B-n_A，对X_AB查找最大值的位置，记为n_max，在该位置向前查找p组数据、向后查找q组数据，截取在(n_max-p)组～(n_max+q)组之间的数据，若在查找时出现无数据位或数据长度不足，即为n_max-p＜n_A或n_max+q＞n_B，则在(n_max-p)组～n_A组或n_B组～(n_max+q)组的无数据位补零，得到动作数据长度为l的单个动作的信号X_L＝{x_l(i)|i＝p，...，q}。

6.根据权利要求1所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(3)中，所述短时能量的高阈值E_h＝(15±2)×ε，短时能量的低阈值E_l＝(2±1)×ε，动作数据长度l＝p+q，p为上升沿的长度，q为下降沿的长度。

7.根据权利要求1所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(4)中，对分割后的单个动作的信号X_L进行分帧并计算其短时能量E_x，对短时能量E_x进行向量化得到单个手指动作的特征向量V；

对短时能量E_x的数据按行向量的方向重新排列为一维向量，特征向量V的维数为n(V)＝f_n*J，其中f_n为分帧后的帧长，公式如下：

8.根据权利要求1或7所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：步骤(5)中，使用n(V)维输入的分类器对动作的特征向量V矩阵进行分类。

9.根据权利要求8所述的一种基于腕部PVDF传感器阵列的手指运动识别方法，其特征在于：所述的分类器为多层前馈神经网络。