CN112114665B - 一种基于多模态融合的手部追踪方法 - Google Patents

Abstract

本发明涉及一种基于多模态融合的手部追踪方法，属于人机交互领域。本发明的目的是为了解决单一模态手势追踪过程中，用户指令边界无法确定的缺点，提供实时度高、准确度高的手部追踪轨迹。本发明的技术方案是：在行为发生之前，通过检测脑部数据的事件相关去同步(ERD)现象对用户手势进行预测，确定用户指令。在行为发生后，构建基于IMU的卡尔曼滤波子系统，使用IMU数据对手势进行追踪；构建基于EEG的卡尔曼滤波子系统，使用EEG数据对手势进行追踪；通过构建联合卡尔曼滤波系统对两个子系统轨迹进行融合，得到融合后手势追踪轨迹，以此来保证追踪出手势轨迹的稳定性、准确性以及实时性。

Description

一种基于多模态融合的手部追踪方法

技术领域

本发明涉及人机交互领域，尤其是一种用于可区分用户指令边界的多模态融合手部追踪方法。

背景技术

手势交互作为自然交互的重要分支，能够给用户提供自然的交互体验，在移动设备和可穿戴设备中发挥着重要作用。然而基于单一模态的手势追踪系统存在用户指令边界难以确定的问题，即无法确定该手势是用户指令还是用户无意间的摆手。二者从行为的角度上难以区分，因此在交互过程中会产生误操作，导致交互效率下降。另一方面，无效的手部动作，会在交互过程中增加系统追踪成本，导致系统无法立即提供手势交互的反馈，严重影响用户的交互体验。

随着神经科学的发展，脑机接口成为当下火热的交互方式，它为手部追踪提供另一个方向的思考。BCI能够在用户脑部与外部设备之间建立联系，使得通讯不再依赖于脑部神经与肌肉连接的通路，能够通过脑电信号来推断用户的想法。用户在手势交互过程中，下达手势动作的信号实质上起始于大脑皮层，通过神经元放电产生对肌肉的控制信号，然后肌肉开始运动。如果能够在行为发生之前，捕获到脑电信号的特殊变化，就可以提前做出响应，缩短交互时间。另外，特殊的指令手势是由用户主动发起，大脑会有相应肌肉控制的神经元被激活，而无心的甩手则不会，因此能够从脑电信号中对二者进行区分。

然而脑电信号在手部追踪过程中同样存在自身的不足，当用户想象手部运动而没有发生实际运动时，同样可以在大脑运动皮层部位检测到运动相关信号，因此单一模态的脑电信号无法确定用户是否发生实际的运动。

基于此发明从多模态融合的角度出发，将IMU信号与EEG信号进行融合，使用基于EEG信号的手势预测方法对用户手势进行预测，使用多模态手势追踪方法对用户手势进行更高效的追踪。

发明内容

要解决的技术问题

为了解决单一模态手势追踪过程中，用户指令边界无法确定的缺点，本发明提出一种基于多模态融合的手部追踪方法，以确定用户指令边界，缩短交互时延以提高交互效率。

技术方案

一种基于多模态融合的手部追踪方法，其特征在于步骤如下：

步骤1：在行为发生之前，通过脑电设备获取脑电数据，通过脑电数据检测事件相关去同步信号，使用事件相关去同步信号提前对用户指令进行判定，若为用户交互指定则进行追踪，否则进入循环监听，等待用户指令；

步骤2：在判定用户指令发生后，通过数据手套获取手部IMU数据：陀螺仪数据和加速度数据；使用陀螺仪数据计算方向角，加速度数据根据方向角进行投影坐标系转换，坐标系转换后的加速度减去重力加速度，得到线性加速度，通过线性加速度进行两次积分，得到手部位置信息，构建卡尔曼滤波子系统，对手部位置信息进行修正，获取修正后的手部位置；

步骤3：在行为发生后，根据脑电设备获取脑电数据，通过脑电数据构建带功率时序模型，根据带功率时序模型提取手部运动的EEG特征向量，将EEG特征向量作为观测值建立卡尔曼滤波子系统，对手部位置进行追踪，获取修正后的手部位置；

步骤4：通过联合卡尔曼滤波器对步骤2得到的基于IMU的手部轨迹和步骤3得到的基于EEG的手部轨迹进行数据融合，得到融合后的手势追踪轨迹；

步骤5：将融合后手势追踪轨迹进行输出。

步骤1中通过脑电数据检测事件相关去同步信号具体如下：获取脑电信号所有通道的EEG数据，设置8-12Hz频带，将原始信号在频带上进行滤波，对滤波后信号进行平方操作得到功率样本，对功率样本在所有实验上的数据进行求均值操作，最后将求均值的功率样本对时间求平均得到事件相关去同步信号。

步骤2中投影坐标系转换具体为机体坐标系到导航坐标系的转换。

步骤2中，构建卡尔曼滤波子系统的系统状态向量为

其中

和

分别代表k时刻陀螺仪和加速度在传感器坐标系下三轴的读数,r_k,v_k分别代表k时刻手部三轴位置和速度，

代表k时刻手部姿态角；在卡尔曼预测阶段，使用状态向量预测方程x_k+1＝Φ_kx_k+ω_k对系统状态向量进行预测，使用误差协方差方程

计算预测的误差；在卡尔曼更新阶段，使用方程K_k＝P_kH^T/(HP_kH^T+R_k)计算卡尔曼增益，获取此时手部IMU数据作为观测值z_k，使用卡尔曼增益和观测值根据更新方程x_k＝x_k-1+K_k(z_k-Hx_k-1)对状态向量进行更新，使用误差协方差更新方程P_k＝(I-K_kH)P_k-1计算更新的误差，使用卡尔曼滤波子系统对手部位置信息进行修正，得到修正后的手部位置信息。

步骤3中获取脑电设备所述通道EEG数据，构建带功率时序模型，设置500ms宽的滑动窗口对EEG数据进行分割处理，设置8-12Hz、12-18Hz、18-28Hz和28-40Hz频率带，将窗口内的EEG数据进行带通滤波，将滤波后数据进行平方、求和然后求均值操作，获得窗口EEG数据的带功率

将t时刻的带功率B_nf[t]与其标准差做商得到标准化后的数据S_nf[t]，将该值作为卡尔曼滤波子系统的观测值；获取脑电设备通道EEG数据，获取数据手套手部IMU数据，使用EEG数据和IMU数据构造训练集数据，构建卡尔曼滤波子系统状态向量

其中r代表手部位置，v代表手部速度，a代表手部加速度，下标k表示时间；系统转移方程x_k+1＝A_kx_k+ω_k，观测方程z_k＝H_kx_k+q_k，使用训练集数据根据最小二乘准则训练参数矩阵A、H和系统噪声矩阵W、观测噪声矩阵Q，使用训练参数构造卡尔曼滤波子系统，使用卡尔曼滤波子系统对手部位置进行追踪并修正，得到修正后的手部位置信息。

步骤4中，获取基于IMU手部位置轨迹

和对应误差协方差矩阵P₁，获取基于EEG手部位置轨迹

和对应误差协方差矩阵P₂，通过联合卡尔曼滤波，计算融合后的手部位置轨迹，

有益效果

本发明提出的一种基于多模态融合的手部追踪方法，在行为发生之前，通过检测脑部数据的事件相关去同步(ERD)现象对用户手势进行预测，确定用户指令。在行为发生后，构建基于IMU的卡尔曼滤波子系统，使用IMU数据对手势进行追踪；构建基于EEG的卡尔曼滤波子系统，使用EEG数据对手势进行追踪；通过构建联合卡尔曼滤波系统对两个子系统轨迹进行融合，得到融合后手势追踪轨迹，以此来保证追踪出手势轨迹的稳定性、准确性以及实时性。

与现有技术相比，本发明技术方案的有益效果是：(1)通过检测脑部ERD信号对用户手势进行预测，能够确定用户指令边界，即对用户的交互手势和无效的手势进行区分。(2)由于系统不必对无效手势进行追踪，因此减少了系统的追踪成本，缩短交互时延并提升用户的交互体验。(3)脑电数据能够反映用户运动过程中的脑部状态，IMU数据反应用户手部运动状态，将脑电数据与IMU数据结合，能够有效提供稳定、高效的手势追踪结果。

附图说明

图1：基于多模态融合的手部追踪方法示意图。

图2：EEG数据预处理流程图。

图3：EEG数据c3通道所有Epoch的原始数据展示。

图4：EEG数据c3通道所有Epoch滤波后的信号。

图5：EEG数据c3通道所有Epoch平方操作后得到的功率

图6：计算所得ERD信号

图1标号：1为事件相关时间轴，标号“0”以左代表运动发生前，相反右边代表运动发生时；2为运动发生前的EEG信号，虚线表示数据流，黑色实线表示控制流；3为追踪控制信号，该信号控制系统是否进行用户手部追踪；4为追踪检测模块，系统根据追踪控制信号决定是否进行手部追踪；5为运动发生时的EEG信号，用上标来区别运动发生之前的EEG信号；6为联合卡尔曼滤波器；7为基于IMU的卡尔曼滤波子系统；8为手部追踪结果输出模块。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明是一种基于多模态融合的手部追踪方法，在本发明提出的手部追踪方法基础上可以构造一个稳定高效的手部追踪系统。整个追踪方法的组成见附图1，由以下及部分构成：

(1)面向融合的手势预测方法：在运动发生前，获取脑部EEG所述通道数据，通过对事件相关去同步(ERD)信号的捕获来对手势进行预测，提前对用户指令进行判定，若为用户交互指定则进行追踪，否则进入循环监听，等待用户指令。

(2)基于IMU数据的卡尔曼滤波子系统：在运动发生后，通过所述数据手套获取所述手部运动参数，使用陀螺仪读数进行手部姿态解码；通过所述姿态角将加速度数据从传感器坐标系投影至导航坐标系中；将所述导航坐标系下加速度数据减去重力，获得线性加速度；对所述线性加速度进行积分得到手部位置。构建卡尔曼系统方程，对手部进行位置追踪，最终获取手部运动轨迹。

(3)基于EEG数据的卡尔曼滤波子系统：在运动发生之后，通过所述脑电设备所述通道获取脑部数据，构建带功率时序模型并提取特征向量，构建卡尔曼系统方程，使用所述特征向量训练卡尔曼系统参数，使用所述卡尔曼滤波子系统对手部进行位置追踪，最终获取手部运动轨迹。

(4)基于多模态融合的手势追踪方法：使用联合卡尔曼滤波对基于IMU和基于EEG的手势轨迹进行融合，得到高效、稳定的手部融合轨迹。

基于多模态融合的中风康复手势追踪实例1：

步骤1：在运动发生前，获取所述EEG数据，并进行对其进行预处理，具体流程如图2所示。为了消除原始EEG信号中的线性趋势，需要对数据进行高通滤波，使用0.3Hz FIR滤波器对原始数据进行滤波，然后对数据进行重参考。接着对所述重参考数据进行Epoch提取，取每一个事件标签前2s和后5秒的数据作为一个运动数据。使用主成分分析(ICA)进行成分分解，去除眼电、肌电等无关成分。最后得到C*M*N维度EEG数据，其中C代表通道数，M代表每一个Epoch中的数据点个数，N为Epoch个数。

步骤2：设置频带为8-12Hz，并在所述频带中对步骤1所述的EEG信号进行滤波，获得滤波后信号s_μ(t)，该部分频率分量对ERD会产生较强反应；接着对s_μ(t)信号进行平方以获得功率样本，即：

然后对所有实验中功率样本求均值，如果每个Epoch都在t_i时开始，持续T秒钟，则有：

其中i∈{1,2,…,N}，τ∈[0,T]；最后对时间样本求平均以获取ERD信号，具体计算过程如图3所示。通过ERD信号来提前对用户指令进行判定。

步骤3：在运动发生时，获取所述数据手套IMU运动参数，陀螺仪数据

和加速度数据

其中上标b代表传感器坐标系，下标k代表k时刻的IMU数据；构建基于IMU数据的卡尔曼滤波子系统，设置系统状态变量：

其中

和

分别代表k时刻陀螺仪和加速度在传感器坐标系下三轴的读数,r_k,v_k分别代表k时刻手部三轴位置和速度，

代表k时刻手部姿态角。系统方程如下所示：

状态变量预测的表达式如下所示：

x_k+1＝Φ_kx_k+ω_k

其中Φ_k定义如下：

其中

为k时刻传感器坐标系向导航坐标系转换的旋转矩阵，具体计算如下：

获取系统状态的误差协方差P，具体公式如下所示：

其中Q_k-1表示k-1时刻的过程噪声协方差矩阵。则卡尔曼更新如下：

x_k＝x_k-1+K_k(z_k-Hx_k-1)

P_k＝(I-K_kH)P_k-1

其中K_k为卡尔曼增益，R_k为观测噪声。

步骤4：在运动发生时，获取所述脑电设备所述通道EEG数据，构建带功率时序模型，设置500ms宽的滑动窗口对所述EEG数据进行分割处理，其中两个相邻窗口时间间隔为33ms；设置8-12Hz、12-18Hz、18-28Hz、28-40Hz频率带，将所述每一个窗口内的EEG数据进行带通滤波，将所述窗口所述频带的EEG数据进行平方、求和、求均值操作获得所述窗口EEG数据的带功率，具体如下所示：

其中B_fn[t]是所述EEG第n个通道数据在500ms宽度时间窗口的t时刻使用带通滤波器f计算而得的带功率值。M是时间窗口中的样本数，P(m)是时间窗口中第m个经过带通滤波后样本。接着对计算得出的带功率值进行标准化，具体操作如下所示：

将t时刻的带功率B_nf[t]与其标准差做商得到标准化后的数据S_nf[t]，该值将作为卡尔曼滤波子系统的观测值。

步骤5：构建基于EEG数据的卡尔曼滤波子系统，设置系统状态变量：

其中r代表手部位置，v代表手部速度，a代表手部加速度，下标k表示时间。创建观测方程为：

z_k＝H_kx_k+q_k

其中

为系统观测矩阵，

为系统状态矩阵到观测矩阵的转换矩阵，其中m为通过带功率时序模型提取特征的数量，q_k～N(0,Q_k)为系统的观测噪声，其满足均值为0，方差为

的正态分布。创建系统状态转移方程为：

x_k+1＝A_kx_k+ω_k

其中

为k时刻和k+1时刻的线性转换矩阵，ω_k～N(0,W_k)为系统噪声，其满足均值为0，方差为

的正态分布。若训练集中的M对时间点数据：{x_k},{z_k},k＝1,2,…,M，可通过以下方程训练参数矩阵A和H：

解上述方程有：

H＝ZX^T(XX^T)^-1

其中X、X₁、X₂、Z定义如下：

随后使用参数A、H通过以下公式来估计参数W、Q：

W＝(X₂-AX₁)(X₂-AX₁)^T/(M-1)

Q＝(Z-HX)(Z-HX)^T/M

构建完卡尔曼滤波子系统后，可使用系统方程来对EEG数据进行手部追踪，预测阶段方程如下：

更新阶段方程如下：

步骤6：使用联合卡尔曼滤波器对步骤3和步骤4所得手部位置轨迹进行融合，具体公式如下：

其中下标1代表基于IMU的卡尔曼滤波子系统得到的系统变量中的手部位置参数和对应误差协方差，下标2代表基于EEG的卡尔曼滤波子系统得到的系统变量中的手部位置参数和对应的误差协方差，最终将得到的融合后的手部位置

Claims (5)

1.一种基于多模态融合的手部追踪方法，其特征在于步骤如下：

步骤1：在行为发生之前，通过脑电设备获取脑电数据，通过脑电数据检测事件相关去同步信号，使用事件相关去同步信号提前对用户指令进行判定，若为用户交互指定则进行追踪，否则进入循环监听，等待用户指令；

步骤2：在判定用户指令发生后，通过数据手套获取手部IMU数据：陀螺仪数据和加速度数据；使用陀螺仪数据计算方向角，加速度数据根据方向角进行投影坐标系转换，坐标系转换后的加速度减去重力加速度，得到线性加速度，通过线性加速度进行两次积分，得到手部位置信息，构建卡尔曼滤波子系统，对手部位置信息进行修正，获取修正后的手部位置；

步骤3：在行为发生后，根据脑电设备获取脑电数据，通过脑电数据构建带功率时序模型，根据带功率时序模型提取手部运动的EEG特征向量，将EEG特征向量作为观测值建立卡尔曼滤波子系统，对手部位置进行追踪，获取修正后的手部位置；

获取脑电设备通道EEG数据，构建带功率时序模型，设置500ms宽的滑动窗口对EEG数据进行分割处理，设置8-12Hz、12-18Hz、18-28Hz和28-40Hz频率带，将窗口内的EEG数据进行带通滤波，将滤波后数据进行平方、求和然后求均值操作，获得窗口EEG数据的带功率

将t时刻的带功率B_fn[t]与其标准差做商得到标准化后的数据S_nf[t]，将该值作为卡尔曼滤波子系统的观测值；获取脑电设备通道EEG数据，获取数据手套手部IMU数据，使用EEG数据和IMU数据构造训练集数据，构建卡尔曼滤波子系统状态向量

其中r代表手部位置，v代表手部速度，a代表手部加速度，下标k表示时间；系统转移方程x_k+1＝A_kx_k+ω_k，观测方程z_k＝H_kx_k+q_k，使用训练集数据根据最小二乘准则训练参数矩阵A_k、H_k和系统噪声矩阵ω_k、观测噪声矩阵q_k，使用训练参数构造卡尔曼滤波子系统，使用卡尔曼滤波子系统对手部位置进行追踪并修正，得到修正后的手部位置信息；

步骤4：通过联合卡尔曼滤波器对步骤2得到的基于IMU的手部轨迹和步骤3得到的基于EEG的手部轨迹进行数据融合，得到融合后的手势追踪轨迹；

步骤5：将融合后手势追踪轨迹进行输出。

2.根据权利要求1所述的一种基于多模态融合的手部追踪方法，其特征在于步骤1中通过脑电数据检测事件相关去同步信号具体如下：获取脑电信号所有通道的EEG数据，设置8-12Hz频带，将原始信号在频带上进行滤波，对滤波后信号进行平方操作得到功率样本，对功率样本在所有实验上的数据进行求均值操作，最后将求均值的功率样本对时间求平均得到事件相关去同步信号。

3.根据权利要求1所述的一种基于多模态融合的手部追踪方法，其特征在于步骤2中投影坐标系转换具体为机体坐标系到导航坐标系的转换。

4.根据权利要求1所述的一种基于多模态融合的手部追踪方法，其特征在于步骤2中，构建卡尔曼滤波子系统的系统状态向量为

其中

和

分别代表k时刻陀螺仪和加速度在传感器坐标系下三轴的读数,r_k,v_k分别代表k时刻手部三轴位置和速度，

代表k时刻手部姿态角；在卡尔曼预测阶段，使用状态向量预测方程x_k+1＝Φ_kx_k+ω_k对系统状态向量进行预测，使用误差协方差方程

计算预测的误差；在卡尔曼更新阶段，使用方程K_k＝P_kH^T/(HP_kH^R+R_k)计算卡尔曼增益，获取此时手部IMU数据作为观测值z_k，使用卡尔曼增益和观测值根据更新方程x_k＝x_k-1+K_k(z_k-Hx_k-1)对状态向量进行更新，使用误差协方差更新方程P_k＝(I-K_kH)P_k-1计算更新的误差，使用卡尔曼滤波子系统对手部位置信息进行修正，得到修正后的手部位置信息，其中Q_k-1表示k-1时刻的过程噪声协方差矩阵，R_k为观测噪声，K_k为卡尔曼增益。

5.根据权利要求1所述的一种基于多模态融合的手部追踪方法，其特征在于步骤4中，获取基于IMU手部位置轨迹

和对应误差协方差矩阵P₁，获取基于EEG手部位置轨迹

和对应误差协方差矩阵P₂，通过联合卡尔曼滤波，计算融合后的手部位置轨迹，

Images