CN112370049A - 基于多模态信号同步的冻结步态采集分析系统及方法 - Google Patents

Abstract

本发明涉及一种基于多模态信号同步的冻结步态采集分析系统及方法，其技术特点是：该系统包括功能近红外光谱脑成像系统、肌电信号测量系统和地面反作用力测量系统，所述肌电信号测量系统安装有实时打标软件，该肌电信号测量系统与功能近红外光谱脑成像系统、和地面反作用力测量系统相连接并在实时打标软件的控制下实现脑皮层血红蛋白浓度信号、表面肌肉电信号和足底压力信号采集分析功能。本发明采用多模态信号同步采集方式，使得数据分析的时间一致性，实现了所需设备之间的时间同步功能，并且在每个实验中，fNIRS、sEMG和vGRF信号同时被记录下来并用于步态分析，并能够对多模态信号进行相关分析，实现了评估的连续性功能。

Description

基于多模态信号同步的冻结步态采集分析系统及方法

技术领域

本发明属于人工智能技术领域，尤其是一种基于多模态信号同步的冻结步态采集分析系统及方法。

背景技术

帕金森病是一种神经退行性疾病，其运动功能障碍的特征主要有如下四种：静止性震颤、僵硬、运动迟缓和姿势不稳。由于帕金森患者存在上述运动功能障碍，因此，其生活质量受到严重影响。

随着功能近红外技术(functional near-infrared-spectroscopy,fNIRS)的发展，人类脑部氧合血红蛋白(HBO)可以被读取和定量分析。fNIRS是一种利用神经-血管耦合理论的较新的光学神经成像技术。神经-血管耦合是由神经元活动或胶质细胞活动引起的，这种活动可促使活动脑区的血流增强，以满足神经元组织的能量需求。基于这些神经皮层组织的血流动力学反应，fNIRS技术可以通过HBO的变化来间接地评估大脑激活程度。

帕金森病患者的震颤和僵硬特征可以直接在肌电信号(sEMG)中发现，通过对肌电信号的预处理和特征提取，可以定量分析帕金森病患者的震颤和强直。

帕金森病患者的肌肉问题和轴向症状也会导致步态表现异常。步态功能障碍可用于评估帕金森病患者的生活质量、跌倒风险甚至死亡率。在能够自行行走的患者中，行走时的独特外力是地面反作用力(vGRF)。因此，记录竖直方向的vGRF并分析患者的步态，可以对医生的评估起到辅助作用。

上述脑皮层血红蛋白浓度、肌电信号、足底压力信息可用于帕金森病患者特征分析，但是，由于现有测试设备相互独立，这些设备之间的时间不同步，数据测量及数据分析的时间也是不一致的，无法对采集的信号同时记录，同时，由于时间的不同步，因此无法对多模态信号进行相关分析，更无法实现评估的连续性功能。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理、实时性强且准确性高的基于多模态信号同步的冻结步态采集分析系统及方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于多模态信号同步的冻结步态采集分析系统，包括功能近红外光谱脑成像系统、肌电信号测量系统和地面反作用力测量系统，所述肌电信号测量系统安装有实时打标软件，该肌电信号测量系统与功能近红外光谱脑成像系统、和地面反作用力测量系统相连接并在实时打标软件的控制下实现脑皮层血红蛋白浓度信号、表面肌肉电信号和足底压力信号采集分析功能。

进一步，所述功能近红外光谱脑成像系统包括近红外测量设备和fNIRS系统主机，该近红外测量设备测量的fNIRS信号通过无线方式传输至fNIRS系统主机中，在fNIRS系统主机内安装有fNIRS信号采集分析软件；所述近红外测量设备包括16个近红外信号源、18个探测器,近红外测量设备使用的近红外光波长分别为760和850nm，采样率为10Hz。

进一步，所述肌电信号测量系统包括无线表面肌电设备、无线采集器、sEMG系统主机，该无线表面肌电设备测量的表面肌电信号通过无线方式传输至无线采集器，该无线采集器通过采用USB转串口线与sEMG系统主机相连接并进行数据交互，在sEMG系统主机内安装有sEMG信号采集分析软件；所述表面肌电设备的采样频率为2000Hz。

进一步，所述地面反作用力测量系统包括测力鞋垫和vGRF系统主机，该测力鞋垫测力鞋垫测量的反作用力信号通过无线方式传输至vGRF系统主机，在vGRF系统主机内安装有vGRF信号采集分析软件。

进一步，所述肌电信号测量系统与功能近红外光谱脑成像系统、地面反作用力测量系统所使用的的数据线为：使用两根USB转串口线，两根线的TTL电平端接收、发送两个引脚互接且共地，两个USB端口分别连接到系统主机。

一种基于多模态信号同步的冻结步态采集分析系统的方法，包括以下步骤：

步骤1、同步采集静止站立状态和行走步态下记录的脑皮层血红蛋白浓度数据、足底压力数据、下肢表面肌肉电数据；

步骤2、对同步采集的脑皮层血红蛋白浓度数据、足底压力数据、下肢表面肌肉电数据分别进行预处理；

步骤3、对预处理后的脑皮层血红蛋白浓度数据、足底压力数据、下肢表面肌肉电数据分别进行特征提取；

步骤4、使用机器学习算法，根据提取的特征数据建立对应多模态信号的模型并进行分类。

进一步，所述步骤1中，行走步态包括正常行走、边走边进行数学运算和绕障碍无行走三种任务；所述步骤1利用安装在肌电信号测量系统的实时达标程序与功能近红外光谱脑成像系统、地面反作用力测量系统进行通信实现同步采集功能；下肢表面肌肉电数据包括下肢胫前肌和腓肠肌的表面肌肉电数据。

进一步，所述步骤2的具体实现方法为：

对脑皮层血红蛋白浓度数据进行预处理的方法为：首先采用0.01-0.2Hz的带通滤波器，对仪器噪声和受试者的生理噪声进行滤波，保留神经元活动的频率成分，最后通过移除均值的方法平移基线去除运动伪影；

对表面肌电信息数据进行预处理的方法为：对每个通道的表面肌电信号进行高通滤波，去除高频噪声，去除均值，进行低通滤波；

对足底压力数据进行预处理的方法为：采用截止频率为20Hz的低通滤波器对数据进行滤波，去除自然产生的噪声。

进一步，所述步骤3的具体实现方法为：

对于预处理后的脑皮层血红蛋白数据，根据大脑功能区域的分布进行相应的通道划分，根据修正后的比尔-朗伯定律，将滤波后的数据应用于计算每个通道的HbO₂变化情况；对每个脑区计算血红蛋白相应的参数，包含均值、能量、方差、极差、峰度、偏度、信息熵以及皮尔森相关系数，以此作为原始的特征空间；

对于预处理后的表面肌电数据，根据足底压力划分的步态信息，对肌电信号按照步态周期进行划分，进行时间归一化处理；提取肌电信息的特征，包括：峰度、样本熵、中值频率、均方根、斜率符号转换、过零次数、平均频率、功率谱密度和递归定量分析；

对于预处理后的足底压力数据，根据设定好的支撑相和摆动相的阈值，进行步态划分，计算出支撑相和摆动相的时间占比，步态周期时间的均值、方差，根据两脚足底压力信息进行双支撑时间占比、步态周期变异系数和步频的计算，根据归一化后的足底压力信息，可以计算出支撑相时的足底压力的峰值和谷值。

进一步，所述步骤4的具体实现方法为：

首先采用PCA降维方法进行特征降维，选择贡献率大于90％的主成分；

然后使用机器学习算法建立对应多模态信号的模型并进行分类：将提取好的特征作为神经网络模型的输入，将步态类型作为标签，进行分类训练，应用Bagging抽样对于训练集，从中有放回地选出30个子集，利用这30个子集训练30个SVM分类器，通过投票取多数票的方法，得到最终的分类结果。

本发明的优点和积极效果是：

1、本采集分析系统采用多模态信号同步采集方式，使得数据分析的时间一致性，实现了所需设备之间的时间同步功能，并且在每个实验中，fNIRS、sEMG和vGRF信号同时被记录下来并用于步态分析，并能够对多模态信号进行相关分析，实现了评估的连续性功能。

2、本采集分析系统中的每台测量设备均采用无线方式进行数据传输，对受试者几乎不会受到影响，保证测量的准确性。

3、本分析方法采用机器学习算法，建立对应多模态信号的模型并进行分类，对受试者所处于的冻结步态类型和程度区间进行分析预测，相对于现有的试验方法，具有更好的实时性和准确性。

附图说明

图1为本发明的基于多模态信号同步的冻结步态采集分析系统连接示意图；

图2为本发明中采用的任务范式原理图；

图3为本发明的步态分析过程流程图；

图4为不同任务范式的血氧浓度曲线；

图5为实时打标软件操作界面示意图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

在对本发明实施例说明前，先从医学角度说明帕金森病理与fNIRS、sEMG和vGRF信号之间的关系。由于帕金森患者发生冻结步态前，脑血流有明显变化，功能近红外可以很好地在冻结前进行预测，发出预警信号，但是并不是所有的血流变化都是冻结征兆，因此，在近红外信号发生预警后，通过肌电进一步进行预测，肌电信号会在冻结之前，脑血流变化之后，有相应的僵直情况出现。根据目标肌肉肌电信号的时序特征进行冻结步态类型的预测分析。在近红外和肌电都有冻结信号出现后，我们认为帕金森患者极有可能在之后的时间出现冻结步态，同时足底压力的变化是冻结步态的最直接反应，我们根据足底压力的压力曲线，可以很准确地看到冻结步态的开始与结束。

本发明提供一种基于多模态信号同步的冻结步态采集分析系统，如图1所示，包括：

1、功能近红外光谱脑成像系统：采用无线连续波近红外光谱脑成像系统(fNIRS系统)监测氧合血红蛋白(HbO2)的浓度变化。该系统包括近红外测量设备和fNIRS系统主机(图中电脑1)，近红外测量设备通过无线方式与fNIRS系统主机相连接,近红外测量设备测量的fNIRS信号通过无线方式传输至fNIRS系统主机中，该fNIRS系统主机内安装有fNIRS信号采集分析软件。在本实施例中，近红外测量设备包括34个探针(16个近红外信号源、18个探测器)，近红外测量设备佩戴在受试者的头部，34个探针位于左前额叶(LPFC)、右前额叶(RPFC)、左顶叶(LPL)、右顶叶(RPL)、左枕叶(LOL)和右枕叶(ROL)上。近红外测量设备使用的近红外光波长分别为760和850nm，采样率为10Hz。

2、肌电信号测量系统：包括无线表面肌电设备、无线采集器、sEMG系统主机(图中电脑2)，无线表面肌电设备测量的表面肌电信号通过无线方式传输至无线采集器，该无线采集器通过数据线与sEMG系统主机并进行数据交互，该sEMG系统主机内安装有sEMG信号采集分析软件。在本实施例中，表面肌电设备采用具有16个触发器的表面肌电采集设备，采样频率为2000Hz。在测量过程中，表面肌电设备贴装在受试者的小腿胫前肌和腓肠肌上，进行表面肌电信号的测量。

3、地面反作用力测量系统：包括测力鞋垫和vGRF系统主机(图中电脑3)，测力鞋垫和vGRF系统主机通过无线方式相连接，测力鞋垫测量的反作用力信号通过无线方式传输至vGRF系统主机，vGRF系统主机内安装有vGRF信号采集分析软件。在实施例中，所述测力鞋垫采用含有100个压敏传感器的测力鞋垫，将两只测力鞋垫放在鞋底进行足底压力信号的测量。

在上述三个系统中的，sEMG系统主机分别通过数据线与fNIRS系统主机、vGRF系统主机连接在一起，在sEMG系统主机中还安装实时打标软件，实现三种信号的同步采集功能。

在本实施例中，sEMG系统主机采用两根数据线与fNIRS系统主机、vGRF系统主机进行连接，每根数据线的制作方式为：使用两个USB转串口线(TTL电平)，两根线的TTL电平端接收、发送两个引脚互接，且共地，两个USB端口分别连接到两台电脑。sEMG系统主机与无线采集器之间的数据线采用USB转串口线进行连接。在每次打标过程中，以串口通信的形式发送数字信号，在另外两台电脑的采集软件中，配置好串口后，能够接收对应的信号。对于肌电设备的无线采集器，器采集的是模拟信号(0-5V)，其有两个引脚，分别与TTL电平端的发送端和GND相连，当有打标信号发送时，可以通过高低电平的变化判断打标。

为了集中评估连续“正常”行走的步态，所有受试者都是边走边录像从而连续记录行走步态，通过与多模态信号同时采集的视频信息，录像视频用于后期人工对受试者在步行过程中出现的各种情况进行最为直观的划分。

本系统的工作过程为：

在设计好的步行任务中，受试者头部佩戴功能近红外测量设备，小腿胫前肌和腓肠肌分别粘贴表面肌电设备，在鞋底放置有测力鞋垫。在任务开始时，所有设备进入工作状态，且sEMG系统主机(电脑2)会发出打标信号，被fNIRS系统主机(电脑1)和vGRF系统主机(电脑3)接收，进行时间同步。在上述测量过程中，fNIRS、sEMG和vGRF信号同时被记录下来，用于多模态步态分析。在测量任务结束后，三种信号中会有同一时刻的打标点，通过打标点进行时间对齐，对齐的不同模态的数据可以计算相关系数。

采集到时间同步的多模态信号后，系统工作流程如图3所示。首先对各个信号进行预处理，然后分别提取常用的特征，并且多模态信号是时间同步的，可以提取多模态信号两两之间的相关系数作为特征之一。然后根据受试者冻结步态类型对受试者特征进行分类：较轻、中等和较重。所提取到的特征作为神经网络的输入，对受试者的分类作为神经网络模型的输出，训练神经网络模型。

基于上述采集分析系统，本发明还提供一种多模态信号同步的冻结步态采集分析方法,如图3所示，包括以下步骤：

步骤1、采集静止站立状态和行走步态下记录的脑皮层血红蛋白浓度数据、足底压力数据、下肢胫前肌和腓肠肌的表面肌肉电数据。采集过程中，利用肌电信号测量系统中的实时打标软件保证所采集数据的时间同步。

在本步骤中，行走步态包括正常行走、边走边进行数学运算和绕障碍无行走的任务三种情况，如图2所示。

在本步骤中，利用实时打标软件在采集时进行打标，保证多模态信号在采集时的时间同步。其具体方法为：将三个系统连接好并运行实时打标软件，实时打标软件在sEMG系统主机中运行，该电脑通过两根数据线与fNIRS系统主机、vGRF系统主机连接，另外通过一根数据线连接无线采集器。实时打标软件为Windows Form窗体程序，在Microsoft VisualStudio2010中基于C#语言开发。如图5所示，在该软件界面中，有三个设备(近红外，肌电，压力鞋垫)的串口设置区域。在每个区域中，串口号下拉菜单中显示已连接到本机的所有串口，待用户选择好与对应设备匹配的串口号后，点击打开串口按键，则本机尝试与对应设备配对连接，若成功，按钮失效，显示已连接，否则弹出失败对话框。待三个设备均配对成功且三个采集软件均开始采集数据后，用户可点击打标按钮，三个打标按钮用于满足发送不同类型的打标信号的需求。点击打标按钮后，本设备按对应的波特率(近红外：9600；肌电：110；压力鞋垫：115200)和数据位(近红外：8；肌电：5；压力鞋垫：8)向对应设备发送一个字节数据，具体而言，发送的数据为：(1)打标信号1：近红外：0x01，肌电：0x1F，压力鞋垫：0x01(2)打标信号2：近红外：0x02，肌电：0x01，压力鞋垫：0x02(3)打标信号3：近红外：0x03，肌电：0x11，压力鞋垫：0x03。接收端中，将打标信号单独作为一路信号，与其他信号同步进行采集，其中肌电设备将串口数据视为模拟信号进行采集。在一个采样周期内，若未收到串口数据，则将采集信号设为零，否则，将收到的数据作为采集值。在后续分析时，在该路信号中找出对应的数据值，即可得到对应的打标时刻，实现不同设备间的同步采集功能。

在本步骤中，多模态信号时间同步方法是：使用串口通信，来同步每个设备和PC机的时间。标记信号通过特定波特率的串口与每个设备通信进行连接(fNIRS，9600；sEMG110；vGRF115200)。fNIRS系统主机、vGRF系统主机分别接收到fNIRS和GRF的打标信号，。与sEMG系统主机相连接的无线采集器用于接收到sEMG系统主机的标记信号。在每个实验中，一旦这三台设备开始记录信号，就会利用同步软件，同时向每台设备发送一个标记信号，这个点被设置为测试的起点，由此，实现了不同信号之间的时间同步。为了集中评估连续“正常”行走的步态，所有实验都是边走边录像。视频与鞋垫、表面肌电信号和功能近红外信号同步。视频是测试过程中必不可少的，通过与多模态信号同时采集的视频信息，可以对受试者在步行过程中出现的各种情况进行最为直观的划分。

在本步骤中，在行走步态下脑皮层血红蛋白浓度是应用近红外光谱脑成像系统进行测试实验，受试者在固定区域内进行由站立到行走再到站立的任务，且每个子任务持续30秒获取的。

在本步骤中，在行走步态下足底压力信息是采用采样频率为100Hz，最大厚度不超过2mm，数据盒重量为200g的无线测力鞋垫进行测试，受试者在固定区域内完成步态任务的过程中采集受试者的足底压力信息获取的。

在本实施例中，每只测力鞋垫采用含有100个压敏传感器的测力鞋垫，进行足底压力的收集工作。传感器表面积小于6mm×8mm。数据盒的体积为为6.5cm×4cm×1.5cm，重量200克，内置有3.7伏可充电锂聚合物电池。这个小巧轻便的盒子戴在脚踝上，鞋垫的厚度小于1.2毫米，可以最大限度地减少对患者的影响。通过WiFi从接线盒到计算机的数据传输。每个传感器的采样频率为100Hz，最大测量值为100N，分辨率为0.1N/cm2。同时，视频采集与测力鞋垫集成在一起，视频与测力鞋垫采集到的足底压力数据同时开始和结束。

在本步骤中，在行走步态下表面肌肉电信息数据是采用具有16个触发器的表面肌电采集设备，采样频率为2000Hz，记录受试者在固定区域内完成相应的行走步态任务获取的。可选地，每个触发器的尺寸为27×37×15mm。除了表面肌电传感器，还有加速度计，陀螺仪和磁力计在每个触发器中。不仅可以记录表面肌电信号，还可以记录加速度和角速度信号。

步骤2、对同步采集的脑皮层血红蛋白浓度数据、足底压力数据、下肢胫前肌和腓肠肌的表面肌肉电数据分别进行预处理。

对静止站立状态和行走步态所记录的脑皮层血红蛋白浓度数据预处理，预处理的目的是消除噪声，确保数据采集的准确和可靠。所述预处理方法是采用0.01-0.2Hz的带通滤波器，对仪器噪声和受试者的生理噪声进行滤波，保留神经元活动的频率成分，最后通过移除均值的方法平移基线去除运动伪影。这些噪声包括心跳、呼吸，将被去除。然后，根据修正的Beer-Lambert定律，计算每个通道氧合血红蛋白(HbO₂)。最后，基于移动标准差和样条插值，采用移动平均法去除运动伪影，获得HbO₂的变化量。最后得到如图4所示的不同任务范式的血氧浓度曲线。

对静止站立状态和行走步态所记录的足底压力数据预处理方法是采用截止频率为20Hz的低通滤波器对数据进行滤波，去除自然产生的噪声。人体的步态是在固体基质上运动时四肢的周期性运动，当脚开始接触地面时，每个步态周期在足跟撞击地面时开始，并在再次接触地面时结束，以上算作一个步态周期，并不断循环。对于地面反作用力(vGRF)信号，在每个实验期间，排除每个步态段的第一个和最后一个步态循环，以最小化任何启动和停止干扰。只使用了正常行走时的vGRF。原始vGRF数据用一个截止频率为20hz的低通滤波器进行滤波，以去除自然产生的噪声。步态周期的分割过程是基于识别可提取的vGRF信号中的循环特征。一个步态周期的跨步时间由一只脚的初始接触到同一只脚的下一次相同的接触动作的时间决定。

对静止站立状态和行走步态所记录的表面肌电信息数据的预处理方法是对每个通道的表面肌电信号进行高通滤波，去除高频噪声，去除均值，进行低通滤波。具体来说，表面肌电信号(sEMG)以2000Hz的采样率记录并通过wifi传输到计算机。使用无线肌电系统测量小腿肌肉。测量左、右小腿肌肉表面肌电信号：左胫前肌、右胫前肌、左腓肠肌和右腓肠肌。这些肌肉主要负责人类的行走。对采集到的sEMG信号在1至20赫兹之间进行高通滤波，使用五阶巴特沃斯滤波器从主信号上去除漂移和噪声等伪影。然后再进行平移基线，去除直流噪声。

步骤3、对预处理后的脑皮层血红蛋白浓度数据、足底压力数据、下肢胫前肌和腓肠肌的表面肌肉电数据分别进行特征提取。本步骤的具体处理方法为：

对于预处理后的脑皮层血红蛋白数据，根据大脑功能区域的分布进行相应的通道划分，根据修正后的比尔-朗伯定律，将滤波后的数据应用于计算每个通道的HbO₂变化情况；对每个脑区计算血红蛋白相应的参数，包含均值、能量、方差、极差、峰度、偏度、信息熵以及皮尔森相关系数，以此作为原始的特征空间。

对于预处理后的足底压力数据，根据设定好的支撑相和摆动相的阈值，进行步态划分，计算出支撑相和摆动相的时间占比，步态周期时间的均值、方差，根据两脚足底压力信息进行双支撑时间占比、步态周期变异系数和步频的计算，根据归一化后的足底压力信息，可以计算出支撑相时的足底压力的峰值和谷值；

对于预处理后的表面肌电数据，根据足底压力划分的步态信息，对肌电信号按照步态周期进行划分，进行时间归一化处理；提取肌电信息的特征，包括：峰度、样本熵、中值频率、均方根、斜率符号转换、过零次数、平均频率、功率谱密度和递归定量分析。以上提取的特征是有现有的计算方法，这里不详细展开。

基于上述方法进行时间同步的实现，可以对多模态信号进行相关性分析，尤其是足底压力信号和表面肌电信号。通过计算三种信号两两之间的皮尔逊相关性系数，作为联合分析的特征。Relief特征选择算法，该方法设计了一个相关统计量俩度量特征的重要性。利用这个算法选择相关统计分量最大的200个特征。

步骤4、使用机器学习算法，建立对应多模态信号的模型并进行分类。

本步骤的具体实现方法为：

首先采用PCA(主成分分析)降维方法进行特征降维，选择贡献率大于90％的主成分。

然后使用机器学习算法建立对应多模态信号的模型并进行分类：其方法为是将提取好的特征作为神经网络模型的输入，患者的步态类型作为标签，进行分类训练，应用Bagging抽样对于训练集，从中有放回地选出30个子集，利用这30个子集训练30个SVM分类器，通过投票取多数票的方法，得到最终的分类结果。输出对应的冻结步态类型。

神经网络解决多类分类问题的本质是把原分类问题分解为一类对其他类的二类分类问题。本实施例中，将受试者不同程度的运动功能障碍，按照步态类型分为三类，即原地震颤，拖步曳行和完全运动不能。在多分类问题中要把标签设置为(0，0，1)此类的格式，1表示属于某个类。

对每个不同的受试者，已经采集了其步行过程中的多模态信号，采集到时间同步的多模态信号后，系统工作流程如图3所示。首先对各个信号进行预处理，然后分别提取常用的特征，并且多模态信号是时间同步的，可以提取多模态信号两两之间的相关系数作为特征之一。然后根据受试者的冻结类型对受试者特征进行分类，包括：三类，较轻、中等和较重；根据专家进行的评估，对每一个受试者的特征进行打标随后将这些带有标签的特征作为训练集，对受试者严重程度的分类作为神经网络模型的输出，训练神经网络模型。将训练好的模型应用到实际的受试者冻结步态预诊断中，根据实际采集到的步行过程中多模态信息，对受试者冻结步态类型和程度所在区间进行预测。

如图3所示，神经网络模型包括1个输入层、2个隐藏层和1个输出层。训练好模型后，在新受试者进行测试后，进行上述信号采集与特征提取工作，然后将所提取出的特征作为训练好的神经网络分类模型的输入，经过神经网络模型中间的两个隐藏层，输出对应的冻结步态类型区间。该神经网络的模型的输出结果具有客观性，在对新患者进行评估时有着很高的应用价值和重要的参考意义。

本发明基于神经网络模型，借助现有的生理信号采集设备，对采集到的信号进行预处理后，提取相关特征，然后再通过冻结步态类型打标。将这些数据作为神经网络输入，标志位所在区间作为神经网络得输出。通过训练得到训练好模型，可进行冻结步态类型进行预测，也可以通过对比在相同任务下的多模态信号的特征，对药物反应实验等进行辅助。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种基于多模态信号同步的冻结步态采集分析系统，其特征在于：包括功能近红外光谱脑成像系统、肌电信号测量系统和地面反作用力测量系统，所述肌电信号测量系统安装有实时打标软件，该肌电信号测量系统与功能近红外光谱脑成像系统、和地面反作用力测量系统相连接并在实时打标软件的控制下实现脑皮层血红蛋白浓度信号、表面肌肉电信号和足底压力信号采集分析功能。

2.根据权利要求1所述的基于多模态信号同步的冻结步态采集分析系统，其特征在于：所述功能近红外光谱脑成像系统包括近红外测量设备和fNIRS系统主机，该近红外测量设备测量的fNIRS信号通过无线方式传输至fNIRS系统主机中，在fNIRS系统主机内安装有fNIRS信号采集分析软件；所述近红外测量设备包括16个近红外信号源、18个探测器,近红外测量设备使用的近红外光波长分别为760和850nm，采样率为10Hz。

3.根据权利要求1所述的基于多模态信号同步的冻结步态采集分析系统，其特征在于：所述肌电信号测量系统包括无线表面肌电设备、无线采集器、sEMG系统主机，该无线表面肌电设备测量的表面肌电信号通过无线方式传输至无线采集器，该无线采集器通过采用USB转串口线与sEMG系统主机相连接并进行数据交互，在sEMG系统主机内安装有sEMG信号采集分析软件；所述表面肌电设备的采样频率为2000Hz。

4.根据权利要求1所述的基于多模态信号同步的冻结步态采集分析系统，其特征在于：所述地面反作用力测量系统包括测力鞋垫和vGRF系统主机，该测力鞋垫测力鞋垫测量的反作用力信号通过无线方式传输至vGRF系统主机，在vGRF系统主机内安装有vGRF信号采集分析软件。

5.根据权利要求1所述的基于多模态信号同步的冻结步态采集分析系统，其特征在于：所述肌电信号测量系统与功能近红外光谱脑成像系统、地面反作用力测量系统所使用的的数据线为：使用两根USB转串口线，两根线的TTL电平端接收、发送两个引脚互接且共地，两个USB端口分别连接到系统主机。

6.一种如权利要求1至5任一项所述基于多模态信号同步的冻结步态采集分析系统的方法，其特征在于包括以下步骤：

步骤1、同步采集静止站立状态和行走步态下记录的脑皮层血红蛋白浓度数据、足底压力数据、下肢表面肌肉电数据；

步骤2、对同步采集的脑皮层血红蛋白浓度数据、足底压力数据、下肢表面肌肉电数据分别进行预处理；

步骤3、对预处理后的脑皮层血红蛋白浓度数据、足底压力数据、下肢表面肌肉电数据分别进行特征提取；

步骤4、使用机器学习算法，根据提取的特征数据建立对应多模态信号的模型并进行分类。

7.根据权利要求6所述的基于多模态信号同步的冻结步态采集分析系统的方法，其特征在于：所述步骤1中，行走步态包括正常行走、边走边进行数学运算和绕障碍无行走三种任务；所述步骤1利用安装在肌电信号测量系统的实时达标程序与功能近红外光谱脑成像系统、地面反作用力测量系统进行通信实现同步采集功能；下肢表面肌肉电数据包括下肢胫前肌和腓肠肌的表面肌肉电数据。

8.根据权利要求6所述的基于多模态信号同步的冻结步态采集分析系统的方法，其特征在于：所述步骤2的具体实现方法为：

对脑皮层血红蛋白浓度数据进行预处理的方法为：首先采用0.01-0.2Hz的带通滤波器，对仪器噪声和受试者的生理噪声进行滤波，保留神经元活动的频率成分，最后通过移除均值的方法平移基线去除运动伪影；

对表面肌电信息数据进行预处理的方法为：对每个通道的表面肌电信号进行高通滤波，去除高频噪声，去除均值，进行低通滤波；

对足底压力数据进行预处理的方法为：采用截止频率为20Hz的低通滤波器对数据进行滤波，去除自然产生的噪声。

9.根据权利要求6所述的基于多模态信号同步的冻结步态采集分析系统的方法，其特征在于：所述步骤3的具体实现方法为：

对于预处理后的脑皮层血红蛋白数据，根据大脑功能区域的分布进行相应的通道划分，根据修正后的比尔-朗伯定律，将滤波后的数据应用于计算每个通道的HbO₂变化情况；对每个脑区计算血红蛋白相应的参数，包含均值、能量、方差、极差、峰度、偏度、信息熵以及皮尔森相关系数，以此作为原始的特征空间；

对于预处理后的表面肌电数据，根据足底压力划分的步态信息，对肌电信号按照步态周期进行划分，进行时间归一化处理；提取肌电信息的特征，包括：峰度、样本熵、中值频率、均方根、斜率符号转换、过零次数、平均频率、功率谱密度和递归定量分析；

对于预处理后的足底压力数据，根据设定好的支撑相和摆动相的阈值，进行步态划分，计算出支撑相和摆动相的时间占比，步态周期时间的均值、方差，根据两脚足底压力信息进行双支撑时间占比、步态周期变异系数和步频的计算，根据归一化后的足底压力信息，可以计算出支撑相时的足底压力的峰值和谷值。

10.根据权利要求6所述的基于多模态信号同步的冻结步态采集分析系统的方法，其特征在于：所述步骤4的具体实现方法为：

首先采用PCA降维方法进行特征降维，选择贡献率大于90％的主成分；

然后使用机器学习算法建立对应多模态信号的模型并进行分类：将提取好的特征作为神经网络模型的输入，将步态类型作为标签，进行分类训练，应用Bagging抽样对于训练集，从中有放回地选出30个子集，利用这30个子集训练30个SVM分类器，通过投票取多数票的方法，得到最终的分类结果。

Images