CN115687898B

CN115687898B - 基于多模态信号的步态参数自适应拟合方法

Info

Publication number: CN115687898B
Application number: CN202211717061.0A
Authority: CN
Inventors: 李春光; 刘明翰; 祝宇飞
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2022-12-30
Filing date: 2022-12-30
Publication date: 2023-07-11
Anticipated expiration: 2042-12-30
Also published as: CN115687898A

Abstract

本发明涉及一种基于多模态信号的步态参数自适应拟合方法，方法包括获取脑皮层血红蛋白信号、下肢表面肌电信号和步态参数；对其进行数据预处理，对脑皮层血红蛋白信号和下肢表面肌电信号进行数据同步处理；对信号进行特征提取和特征筛选；利用特征对LSTM模型进行训练，建立拟合步态参数的最优回归模型，其中拟合的步态参数包括步速参数和步长参数。本发明通过融合大脑血红蛋白信息和下肢表面肌电信息，建立拟合连续步态参数的LSTM回归模型，步态参数拟合的均方误差小于6%，决定系数结果高于86%，实现基于脑血氧信息和肌电信息的连续运动参数解码，有利于助力助行设备在医疗康复领域得到广泛应用。

Description

基于多模态信号的步态参数自适应拟合方法

技术领域

本发明涉及智能助行、康复训练技术领域，尤其是指一种基于多模态信号的步态参数自适应拟合方法。

背景技术

目前基于脑-机接口技术的连续运动意图识别对于辅助人体运动的大部分研究都是判断从休息状态到运动状态的运动意图，而从运动状态1到运动状态2的连续运动意图识别的研究还处于探索阶段。在实验流程设计中，通常把某种运动划分为几个子运动，中间贯穿着休息，实验流程通常为“子运动1-休息-子运动2-休息”，而在后续的分类模型训练中只拿几个子运动段的数据进行建模，通常该分类模型能够得到较好的识别效果。但是在实际生活场景中，人体在运动过程中穿插着大量的休息状态和运动状态，人体在运动状态的变化过程中往往还存在一个具体的运动调整幅值，BCI系统还需要识别出连续的运动调整幅度，才更有助于运动功能障碍患者在穿戴助行助力设备后获得舒适的使用体验。

但是在目前的技术中，在行走活动时使用EEG设备采集到的脑电数据容易携带大量噪声，且进行行走活动时所处环境不是传统的实验室场景，这些都不利于基于脑电设备的脑-机接口系统对于连续行走状态的实时判别。而fMRI设备对于所处的测试环境过于敏感，需要在相对密闭和静止的场景下进行实验，不适用于行走等需要进行大幅度运动的场景。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中存在的技术缺陷，而提出一种基于多模态信号的步态参数自适应拟合方法，其通过融合大脑血红蛋白信息和下肢表面肌电信息，建立拟合连续步态参数的LSTM回归模型，步态参数拟合的均方误差小于6%，决定系数结果高于86%，实现基于脑血氧信息和肌电信息的连续运动参数解码，有利于助力助行设备在医疗康复领域得到广泛应用。

为解决上述技术问题，本发明提供了一种基于多模态信号的步态参数自适应拟合方法，包括：

获取脑皮层血红蛋白信号、下肢表面肌电信号和步态参数；

对所述脑皮层血红蛋白信号、下肢表面肌电信号和步态参数进行预处理，并对预处理后的脑皮层血红蛋白信号和下肢表面肌电信号进行多种生理信号的数据同步处理；

对数据同步处理后的信号进行时域、频域和空间域的特征提取，并对提取的特征进行筛选，得到筛选后的特征，其中所述特征的筛选包括删除冗余特征；

对筛选后的特征进行降维处理，利用降维处理后的特征对LSTM模型进行训练，建立拟合步态参数的最优回归模型，其中拟合的步态参数包括步速参数和步长参数。

在本发明的一个实施例中，获取脑皮层血红蛋白信号、下肢表面肌电信号和步态参数的方法，包括：

对两组被试者进行两种行走类型的行走实验，每种行走类型的行走实验重复至少两遍，每位被试者以自己的行走习惯从慢到快完成整个行走路段，每完成一次行走实验，被试者就会进入到一个休息状态，在整个行走实验过程中获取被试者的脑皮层血红蛋白信号、下肢表面肌电信号和步态参数，其中两种行走类型包括行走步速调整和行走步长调整，其中一组被试者先进行步速调整再进行步长调整，另一组被试者先进行步长调整再进行步速调整，并且在连续步速调整实验中，被试者保持步长不变，步速逐渐从低到高完成整个行走路段，在连续步长调整实验中，被试者保持步速不变，步长逐渐从小到大完成整个行走路段。

在本发明的一个实施例中，对所述脑皮层血红蛋白信号、下肢表面肌电信号和步态参数进行预处理的方法，包括：

采用2阶的切比雪夫滤波器对脑皮层血红蛋白信号进行多个频段的带通滤波处理，并计算带通滤波处理后的各个频段的脑皮层血氧数据的变化速率；基于熵权的加权平均法对各个通道的血氧数据进行ROI脑区的划分，并计算划分后的ROI脑区的血氧信号；

采用2阶的巴特沃斯滤波器对下肢表面肌电信号进行带通滤波处理；对带通滤波处理后的下肢表面肌电信号进行带阻滤波处理；采用去均值的计算方法对带阻滤波处理后的下肢表面肌电信号进行平滑处理；

采用2阶的巴特沃斯滤波器对步态参数进行低通滤波处理；对低通滤波处理后的步态参数进行绝对值处理，并采用移动平均法进行平滑处理；对平滑处理后的步态参数在相邻的极小值范围进行阶梯线处理。

在本发明的一个实施例中，计算划分后的ROI脑区的血氧信号的方法，包括：

定义ROI脑区包含多个通道，每个通道包含多个采样点，采用最大最小归一化公式对各个通道采样点进行归一化处理；

计算归一化处理后的各个通道采样点的概率值；

根据概率值计算ROI脑区内每个通道的信息熵；

根据信息熵计算ROI脑区内每个通道的权重；

根据每个通道的权重计算ROI脑区的血氧信号。

在本发明的一个实施例中，所述数据同步处理的方法包括：

对预处理后的脑皮层血红蛋白信号和下肢表面肌电信号进行频率同步处理，保证多种生理信号的采样点个数相同。

在本发明的一个实施例中，对数据同步处理后的信号进行时域、频域和空间域的特征提取，并对提取的特征进行筛选的方法，包括：

采用滑窗法针对脑皮层血氧信号提取TKe算子序列和脑功能网络参数的特征，其中所述脑功能网络参数包括网络密度、聚类系数和全局效率；以及针对表面肌电信号提取绝对值、标准差、均方根和波形长度的特征，其中中值频率作为特征计算；

分析各个特征与步态参数之间的相关系数，同时利用嵌入式方法进行梯度提升树的训练，得到各个特征的系数；

根据所述相关系数和所述系数计算特征的最终得分，选择最终得分最大的多个特征作为筛选后的特征。

在本发明的一个实施例中，所述各个特征与步态参数之间的相关系数的计算公式为：

其中，n为样本点个数，

表示特征

的第

个样本点，

表示步态参数

的第

个样本点，

表示特征

所有样本点的均值，

表示步态参数

所有样本点的均值。

在本发明的一个实施例中，所述最终得分的计算公式为：

其中，p为相关系数，c为系数。

在本发明的一个实施例中，采用4折交叉验证的方式训练LSTM模型。

此外，本发明还提供一种基于多模态信号的步态参数自适应拟合系统，包括：

数据获取模块，所述数据获取模块用于获取脑皮层血红蛋白信号、下肢表面肌电信号和步态参数；

数据处理模块，所述数据处理模块用于对所述脑皮层血红蛋白信号、下肢表面肌电信号和步态参数进行预处理；并对预处理后的脑皮层血红蛋白信号和下肢表面肌电信号进行多种生理信号的数据同步处理；

特征提取筛选模块，所述特征提取筛选模块用于对数据同步处理后的信号进行时域、频域和空间域的特征提取，并对提取的特征进行筛选，得到筛选后的特征，其中所述特征的筛选包括删除冗余特征；

步态参数拟合模块，所述步态参数拟合模块用于对筛选后的特征进行降维处理，利用降维处理后的特征对LSTM模型进行训练，建立拟合步态参数的最优回归模型，其中拟合的步态参数包括步速参数和步长参数。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的一种基于多模态信号的步态参数自适应拟合方法，其通过融合大脑血红蛋白信息和下肢表面肌电信息，建立拟合连续步态参数的LSTM回归模型，步态参数拟合的均方误差小于6%，决定系数结果高于86%。实现基于脑血氧信息和肌电信息的连续运动参数解码，相对于仅基于肌电信息的连续运动参数解码，均方误差减少了4.13%，决定系数提高了7.9%，有利于助力助行设备在医疗康复领域得到广泛应用。此外，仅基于脑血氧信息也能得到平均决定系数70%以上的结果，可作为下肢力量薄弱或全无患者的一种备选方案。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。

图1是本发明实施例提出的基于多模态信号的步态参数自适应拟合方法的流程示意图。

图2是本发明实施例提出的基于多模态信号的步态参数自适应拟合方法中的步行实验的流程时序图。

图3为本发明实施例提出的步速参数对应的特征重要性分布。

图4为本发明实施例提出的步长参数对应的特征重要性分布。

图5为本发明实施例提出的自适应训练前后步速参数的拟合结果图。

图6为本发明实施例提出的自适应训练前后步长参数的拟合结果图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参照图1至图6所示，本发明的一种基于多模态信号的步态参数自适应拟合方法，包括以下步骤：

步骤S1：获取脑皮层血红蛋白信号、下肢表面肌电信号和步态参数；

步骤S2：对所述脑皮层血红蛋白信号、下肢表面肌电信号和步态参数进行预处理，并对预处理后的脑皮层血红蛋白信号和下肢表面肌电信号进行多种生理信号的数据同步处理；

步骤S3：对数据同步处理后的信号进行时域、频域和空间域的特征提取，并对提取的特征进行筛选，得到筛选后的特征，其中所述特征的筛选包括删除冗余特征；

步骤S4：对筛选后的特征进行降维处理，利用降维处理后的特征对LSTM模型进行训练，建立拟合步态参数的最优回归模型，其中拟合的步态参数包括步速参数和步长参数。

基于上述步骤S1-S4，本发明所述的一种基于多模态信号的步态参数自适应拟合方法，其通过融合大脑血红蛋白信息和下肢表面肌电信息，建立拟合连续步态参数的LSTM回归模型，步态参数拟合的均方误差小于6%，决定系数结果高于86%。实现基于脑血氧信息和肌电信息的连续运动参数解码，相对于仅基于肌电信息的连续运动参数解码，均方误差减少了4.13%，决定系数提高了7.9%，有利于助力助行设备在医疗康复领域得到广泛应用。

其中，在步骤S1中，请参照图2所示，获取脑皮层血红蛋白信号、下肢表面肌电信号和步态参数的方法，包括对两组被试者进行两种行走类型的行走实验，每种行走类型的行走实验重复至少两遍，每位被试者以自己的行走习惯从慢到快完成整个行走路段，每完成一次行走实验，被试者就会进入到一个休息状态，在整个行走实验过程中获取被试者的脑皮层血红蛋白信号、下肢表面肌电信号和步态参数，其中两种行走类型包括行走步速调整和行走步长调整，其中一组被试者先进行步速调整再进行步长调整，另一组被试者先进行步长调整再进行步速调整，并且在连续步速调整实验中，被试者保持步长不变，步速逐渐从低到高完成整个行走路段，在连续步长调整实验中，被试者保持步速不变，步长逐渐从小到大完成整个行走路段。

作为示例地，步骤S1强调激发被试者运动的自发性，让行走实验与日常生活中实际行走情况相吻合。每种类型的行走实验重复两遍，每位被试者共进行4次行走实验。每位被试者以自己的行走习惯从慢到快完成整个行走路段，行走路段长度约为8-10米。每完成一次行走实验，被试者会进入到一个休息状态，休息时间不少于30s，具体的休息时间长度由被试者自己把控。

其中，在步骤S2中，对所述脑皮层血红蛋白信号、下肢表面肌电信号和步态参数进行预处理的方法，包括以下三个方面：

第一方面，采用2阶的切比雪夫滤波器对脑皮层血红蛋白信号进行多个频段的带通滤波处理，并计算带通滤波处理后的各个频段的脑皮层血氧数据的变化速率；基于熵权的加权平均法对各个通道的血氧数据进行ROI脑区的划分，并计算划分后的ROI脑区的血氧信号。作为示例地，对脑皮层血红蛋白信号进行去零漂处理，应用2阶的切比雪夫滤波器对大脑血红蛋白信号进行5个频段的带通滤波处理，分别为0.6~2.0Hz，0.145~0.6Hz，0.052~0.145Hz，0.021~0.052Hz和0.0095~0.021Hz；然后对各个频段的脑皮层血氧数据计算变化速率，并基于熵权的加权平均法对各个通道的血氧数据划分ROI脑区，再计算划分后的ROI脑区的血氧信号，其中ROI脑区划分方法参照表1所示，表中字母L、M、R分别表示左、中、右，PFC表示前额叶区，PMC表示运动前区，SMA表示辅助运动区。

表1 ROI脑区的具体划分方式

第二方面，采用2阶的巴特沃斯滤波器对下肢表面肌电信号进行带通滤波处理；对带通滤波处理后的下肢表面肌电信号进行带阻滤波处理；采用去均值的计算方法对带阻滤波处理后的下肢表面肌电信号进行平滑处理。作为示例地，采用2阶的巴特沃斯滤波器进行带通滤波（10-400Hz）；再对下肢表面肌电信号进行带阻滤波（49-51Hz）；最后再采用去均值的计算方法对下肢表面肌电信号进行平滑处理。

第三方面，采用2阶的巴特沃斯滤波器对步态参数进行低通滤波处理；对低通滤波处理后的步态参数进行绝对值处理，并采用移动平均法进行平滑处理；对平滑处理后的步态参数在相邻的极小值范围进行阶梯线处理。作为示例地，采用2阶的巴特沃斯滤波器对步态参数进行6Hz的低通滤波处理，对步态参数做了绝对值处理；再采用移动平均法进行平滑处理；最后在相邻的极小值范围做阶梯线处理。

在第一方面中，本发明实施例公开的基于多模态信号的步态参数自适应拟合方法中计算划分后的ROI脑区的血氧信号的方法如下：

1.数据归一化，采用最大最小归一化公式：

定义ROI脑区X包含N个通道，每个通道由M个采样点：

其中i为时间点，i=1,2,…, M， j为列通道，j=1,2,…, N，

∈X，

为某个通道的采样点，

为最大最小化后的采样点。

2.计算ROI脑区内各个通道采样点的概率值

：

其中i=1,2,…,M, j=1,2,…,N。

3.根据概率值

计算ROI脑区内每个通道的信息熵

，数值范围在[0,1]内：

其中n为样本点个数。

4.根据信息熵

计算ROI脑区内每个通道的权重

：

其中，

表示信息熵。

5.根据每个通道的权重

计算出ROI脑区的血氧信号

：

。

其中，在步骤S2中，所述数据同步处理的方法包括：对预处理后的脑皮层血红蛋白信号和下肢表面肌电信号进行频率同步处理，保证多种生理信号的采样点个数相同。

其中，在步骤S3中，对数据同步处理后的信号进行时域、频域和空间域的特征提取，并对提取的特征进行筛选的方法，包括：

步骤S3.1：采用滑窗法针对脑皮层血氧信号提取TKe算子序列和脑功能网络参数的特征，其中所述脑功能网络参数包括网络密度、聚类系数和全局效率；以及针对表面肌电信号提取绝对值、标准差、均方根和波形长度的特征，其中中值频率作为特征计算；

步骤S3.2：分析各个特征与步态参数之间的相关系数p，同时利用嵌入式方法进行梯度提升树的训练，得到各个特征的系数c；

步骤S3.3：根据所述相关系数p和所述系数c计算特征的最终得分，选择最终得分最大的多个特征作为筛选后的特征。

在上述步骤S3.2中，所述各个特征与步态参数之间的相关系数的计算公式为：

其中，n为样本点个数，

表示特征

的第

个样本点，

表示步态参数

的第

个样本点，

表示特征

所有样本点的均值，

表示步态参数

所有样本点的均值。

在上述步骤S3.2中，所述最终得分的计算公式为：

其中，p为相关系数，c为系数。

作为示例地，在上述步骤S3.3中，首先利用过滤式方法进行特征筛选，如图3和图4 所示，图中hbr表示脱氧血红蛋白，hbo表示含氧血红蛋白，hbt表示总血红蛋白，不同频段范围对应的生理意义如表2所示。在图3中，对于步速参数，在频段方面，神经性活动和内皮细胞新陈代谢活动频段在5个频段中的占比最大，达到50.0%；在血氧种类方面，脱氧血红蛋白 hbr在3种血氧种类中的占比最大，高达51.6%。在图4中，对于步长参数，在频段方面，心率活动和呼吸活动频段在5个频段中的占比最大，达到62.8%；在血氧种类方面，含氧血红蛋白 hbo在3种血氧种类中的占比最大，高达43.3%。然后分析各个特征与步态参数之间的相关系数p，当相关性结果越大，表明该特征越有利于拟合步态参数。其次，利用嵌入式方法进行梯度提升树的训练，得到各个特征的系数c。如果系数c的绝对值越大，说明特征对于拟合步态参数的贡献越大。挑选

值最大的N个特征作为筛选后的特征。

表2 不同频段范围对应的生理意义

其中，在步骤S4中，将训练集划分为交叉验证集和测试集，并采用4折交叉验证的方式训练LSTM模型。应用LSTM模型建立拟合步态参数的回归模型，模型训练过程中采用L2正则化防止过拟合现象，迭代次数可以设置为150次，模型训练的早停机制为均方误差最小化原则，容忍次数为8。在自适应训练过程中，以决定系数作为评判标准：当决定系数的结果提升时，保留此次新的模型参数；当决定系数的结果下降时，保留原模型参数。基于均方误差（Root Mean-Square Error, RMSE）最小化设置LSTM模型的早停机制。在200次迭代训练过程中，当RMSE的数值连续8次均不下降，则模型停止训练。

为了阐述本发明实施例所提出的基于多模态信号的步态参数自适应拟合方法的有益效果，本发明采用评价指标来评价拟合的回归模型的性能，不同回归模型的指标对比如表3和表4所示。

表3 不同回归模型的步速参数指标对比

表4 不同回归模型的步长参数指标对比

上述模型拟合的评价指标主要有相对均方根误差（RMSE）和决定系数（R2），RMSE和R2的计算公式分别如下：

其中

表示第

个采样点对应模型拟合的步态参数，

表示第

个采样点对应真实的步态参数，

表示所有采样点对应真实的步态参数的平均值， m表示样本点个数。

本发明提出基于交叉验证模型和个体新增数据的个体自适应优化策略，通过增量学习的方法对交叉验证模型进行自适应训练，保留适应于个体的最优模型参数。模型经过自适应训练后，所有个体步态参数的均方误差平均减小1.52%；决定系数平均提升5.4%。通过图5与图6可以清晰的看出自适应拟合较交叉验证更为接近原始曲线，即基于交叉验证模型的自适应参数学习可以根据个体新增数据快速优化步态参数的拟合效果，提高模型输出的自适应性，有利于增加助力助行设备在拟合个体关节运动参数场景时的实用性，减少由个体行走习惯差异导致误判而引起的不适情况发生。

下面对本发明实施例公开的一种基于多模态信号的步态参数自适应拟合系统进行介绍，下文描述的一种基于多模态信号的步态参数自适应拟合系统与上文描述的一种基于多模态信号的步态参数自适应拟合方法可相互对应参照。

本发明实施例还提供一种基于多模态信号的步态参数自适应拟合系统，包括：

本发明所述的一种基于多模态信号的步态参数自适应拟合系统，其通过融合大脑血红蛋白信息和下肢表面肌电信息，建立拟合连续步态参数的LSTM回归模型，步态参数拟合的均方误差小于6%，决定系数结果高于86%。实现基于脑血氧信息和肌电信息的连续运动参数解码，相对于仅基于肌电信息的连续运动参数解码，均方误差减少了4.13%，决定系数提高了7.9%，有利于助力助行设备在医疗康复领域得到广泛应用。此外，仅基于脑血氧信息也能得到平均决定系数70%以上的结果，可作为下肢力量薄弱或全无患者的一种备选方案。

本实施例的基于多模态信号的步态参数自适应拟合系统用于实现前述的基于多模态信号的步态参数自适应拟合方法，因此该系统的具体实施方式可见前文中的基于多模态信号的步态参数自适应拟合方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的基于多模态信号的步态参数自适应拟合系统用于实现前述的基于多模态信号的步态参数自适应拟合方法，因此其作用与上述方法的作用相对应，这里不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。