CN109542221B - 用于近红外光谱上肢运动状态脑信号精确采集的打标系统 - Google Patents

Abstract

本发明涉及一种用于近红外光谱上肢运动状态脑信号精确采集的打标系统，属于大脑运动意图辨识领域。打标系统与近红外光谱脑信号采集装置结合，对自发状态下由上肢的推、拉、举、放四种动作产生的脑信号进行准确的时间启停标定，实现准确快速的信号打标，进而提高基于近红外光谱的上肢运动状态意图辨识的准确度。本发明能够精确的记录被测试者在自然运动状态下的脑信号，保证了被测试者在进行四种运动范式时的自发性，更加真实的还原了脑信号的本质反应，且记录的打标点能够精确反映四种运动的启停时间，对研究基于近红外光谱的上肢运动意图辨识提供了重要的分析基础，对加快促进近红外光谱在可穿戴设备上的应用具有重要的意义。

Description

用于近红外光谱上肢运动状态脑信号精确采集的打标系统

技术领域

本发明涉及一种用于近红外光谱上肢运动状态脑信号精确采集的打标系统，具体涉及一种用于近红外光谱上肢运动状态脑信号精确采集的打标系统及方法，属于大脑运动意图辨识领域。

背景技术

从20世纪60年代开始至今，外骨骼作为一种仿生学的概念逐渐被应用到康复助行、军事助力等多个方面，为提高人类的生活质量、增强士兵的作战能力提供了可靠保障。现有的助力外骨骼控制方式大多是基于人机力耦合方式，会出现反应滞后无法快速响应的缺点。通过近红外光谱设备直接从人脑获取运动信号，从人脑信号中分析数据进而对肢体运动进行预判能够有效的解决以上问题。

相关研究表明，人的肢体运动主要与大脑运动区相关，同时运动前的准备工作与大脑额叶区的部分机能区相关，在利用近红外光谱设备获取的运动区和额叶区的脑信号进行上肢运动预判时必须准确知道被测试者开始运动和停止运动的精确时间，即在对信号进行打标记录时必须精确记录运动开始和停止的时刻。而目前近红外光谱技术主要应用于医学神经康复领域、认知神经学科领域等，这些应用场景的特点在于非自发性刺激大脑产生相应的神经反应，获取的脑信号一般是在相应的任务引导下完成的，对被测试者何时开始运动何时停止运动的时间点没有精确的要求，因此这些现有的打标系统及方法首先无法对在自然运动状态下(没有任何任务引导，完全由被测试者自主决定)的脑信号进行标记，其次现有的打标系统对脑信号的标记没有达到精确要求，所记录的启停标记与实际运动的启停时间有相当大误差。

发明内容

本发明的目的是为了解决现有打标系统无法实现对自然运动状态下脑信号的标记，且对于运动的开始和结束时刻记录不准确的问题，提供用于近红外光谱上肢运动状态脑信号精确采集的打标系统。打标系统与近红外光谱脑信号采集装置结合，对自发状态下由上肢的推、拉、举、放四种动作产生的脑信号进行准确的时间启停标定，以解决现有打标系统及方法存在的引导性因素，实现准确快速的信号打标，进而提高基于近红外光谱的上肢运动状态意图辨识的准确度。

为了达到上述目的，本发明采用的技术方案为：

用于近红外光谱上肢运动状态脑信号精确采集的打标系统，包括运动平台、信号收发装置、打标信息采集软件和信号采集装置。

所述运动平台能够实现推、拉、举、放四种动作；在运动平台上安装有加速度传感器和多个光电开关；

所述信号收发装置用于采集加速度传感器和光电开关的信号，并根据通信协议将信号处理后传递给信号采集装置，此时所传递的信号是只在运动启停时的信号，或者是包括运动过程的信号；

所述打标信息采集系统是用于串口信息传递，由于信号采集装置无法直接读取信号收发装置的串口，该缺陷由信号采集装置导致，需要通过打标信息采集软件将信号收发装置的串口数据转发给信号采集装置的串口，以达到数据打标的目的；

所述运动平台还包括：机架、水平运动导轨及水平运动滑块、竖直运动导轨及竖直运动滑块、水平横梁、把手、挡块。水平运动导轨在机架的左右两侧上下各安装一根，共四根按水平方向的运动。竖直轨道在机架的两侧各安装一根，竖直运动导轨安装在水平运动导轨对应的水平滑块上，两根竖直运动导轨通过水平横梁连接在一起，把手安装在水平横梁的中间位置；

挡块固定时，前后推动把手可实现上肢在水平方向的推、拉运动，上下推动把手可实现上肢在竖直方向的举、放运动。挡块用于限制一个方向的运动，当进行水平运动时限制竖直运动，当进行竖直运动时限制水平运动。

挡块不固定时，能够实现上肢在任意角度的倾斜运动，不再受限于水平运动和竖直运动。

传感器安装在水平横梁上，所述加速度传感器的输出线与所述竖直方向上下端光电开关的输出线汇合后通过转接端子和FPC排线与所述信号收发装置连接。所述加速度传感器以50Hz的回传速率(20ms一次)采集加速度变化并发送给所述微控制器，所述微控制器在获取信息后利用规定协议解包读取加速度信息，对不同人群的运动速度进行采样分析，选取合适的阈值进行标定，以此对被测试者的运动方向进行一次判别。

所述光电开关包括前端光电开关、后端光电开关、水平光电开关挡片、上端光电开关、下端光电开关、竖直光电开关上挡片以及竖直光电开关下挡片，前端光电开关和后端光电开关安装在下端水平运动导轨两端，水平光电开关挡片安装在右侧下端水平运动滑块上，当把手被前后推动时，分别与前端光电开关和后端光电开关动作是光电开关状态发生改变以被信号收发装置记录；同理上端光电开关和下端光电开关分别同竖直光电开关上挡片和竖直光电开关下挡片发生动作以记录上下运动时的状态；

其中，所述信号收发装置包括：微控制器、转接板、与上位机通信的串口模块。微控制器通过自带串口与加速度传感器通信，通过IO口采集所述光电开关的状态。转接板用于连接传感器单元和微控制器。所述与上位机通信的串口模块一端与微控制器连接，一端通过USB与上位机相连。

其中，打标信息采集软件基于QT软件开发，包括：串口1信息框、串口2信息框、运动状态指示框。串口1信息框在扫描获取串口1端口和配置波特率后显示所述信号收发装置发送的处理信息。串口2信息框在扫描获取串口2端口和配置波特率后显示发送给脑信号采集装置。运动状态指示框内包含一个运动平台的模型图，上肢进行四种运动时所述模型图会出现相应的运动方向指示。

进一步的，所述运动平台还包括四个垫脚，所述垫脚安装在运动平台的机架的下方并且带有防滑功能，确保进行上肢运动时所述机架不会与桌面出现相对滑动。

本发明还提供了一种用于近红外光谱上肢运动状态脑信号精确采集的打标方法：

被测试者首先佩戴近红外脑信号采集装置，在没有任务外界提示的情况下进行自主运动，所述信号收发装置将运动开始和停止的准确时间信息按照设定的通信协议发送给上位机打标信息采集软件，打标信息采集软件按照通信协议解包数据，一方面将动作开始和停止信息通过串口模块发送给脑信号采集装置，将启停信息记录在脑信号数据流中，为后期脑信号的模式分类以及基于脑信号的上肢运动预判提供时间参考，另一方面将运动方向信息通过打标信息采集软件的指示窗口实时体现在显示器界面。

有益效果：

本打标系统与现有打标系统(依赖于软件)相比，包含了微控制系统、加速度传感器以及多个光电开关，能够精确的记录被测试者在自然运动状态下的脑信号，保证了被测试者在进行四种运动范式时的自发性，即不在规定时间和提示下运动，更加真实的还原了脑信号的本质反应，且记录的打标点能够精确反映四种运动的启停时间，对研究基于近红外光谱的上肢运动意图辨识提供了重要的分析基础，对加快促进近红外光谱在可穿戴设备上的应用具有重要的意义。

附图说明

图1为本发明实施例打标系统的示意图；

图2为本发明的打标信息采集软件的界面示意图。

其中，1—运动平台、2—信号收发装置、3—打标信息采集软件、4—机架、5—水平运动导轨、6—水平运动滑块、7—竖直运动导轨、8—竖直运动滑块、9—加速度传感器、10—前端光电开关、11—后端光电开关、12—水平光电开关挡片、13—上端光电开关、14—下端光电开关、15—竖直光电开关上挡片、16—竖直光电开关下挡片、17—水平横梁、18—把手、19—垫脚、20—微控制器、21—转接板、22—与上位机通信的串口模块、23—挡块、24—串口1信息框、25—串口2信息框、26—运动状态指示框。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种用于基于近红外光谱的上肢运动状态脑信号精确采集的打标系统，如图1所示，包括了运动平台1、信号收发装置2和打标信息采集软件3。

运动平台1包括：机架4、水平运动导轨5、水平运动滑块6、竖直运动导轨7、竖直运动滑块8、加速度传感器9、前端光电开关10、后端光电开关11、水平光电开关挡片12、上端光电开关13、下端光电开关14、竖直光电开关上挡片15、竖直光电开关下挡片16、水平横梁17、把手18、垫脚19、微控制器20、转接板21和与上位机通信的串口模块22。

所述机架4是由铝型材搭建而成的长方体或正方体框架；机架4底端安装有垫脚19；四根水平运动导轨5对称布置在机架4内侧；两根竖直运动导轨7通过水平运动滑块6固定在水平运动导轨5；水平横梁17固定在两根竖直运动导轨7之间，并能够通过竖直运动滑块8沿竖直运动导轨7移动；把手18固定在水平横梁17上；水平运动导轨5两端安装有前端光电开关10和后端光电开关11；水平运动滑块6上安装有水平光电开关挡片12；水平光电开关挡片12与前端光电开关10和后端光电开关11处于同一水平位置；竖直运动导轨7两端安装有竖直光电开关上挡片15和竖直光电开关下挡片16；上端光电开关13和下端光电开关14固定在水平横梁17上并与竖直光电开关上挡片15和竖直光电开关下挡片16对应；挡块23、加速度传感器9、微控制器20、转接板21以及与上位机通信的串口模块22安装在机架4上；前后推动把手18可实现上肢在水平方向的推、拉运动；上下推动把手18可实现上肢在竖直方向的举、放运动。为了保证在竖直运动是水平运动不受干扰，挡块可安装在水平导轨和竖直导轨上以限制滑块的运动。

加速度传感器9和四个光电开关的状态变化被信号收发装置2通过转接板21连接到微控制器20的端口上，加速度传感器9以50Hz的回传速率(20ms一次)查询加速度变化，并通过微控制器20的串口引脚进行读取，光电开关的状态通过微控制器20的IO口进行读取。在对加速度传感器9和光电开关状态判断处理后，将采集到的数据存放到表1所示的通行协议中，首先通信协议的第一帧数据0x55用于判断收到的数据是否正确，第二帧数据如果有数据0x01表示上肢在向前运动，第三帧数据有0x01表示上肢在向后运动，第四帧数据有0x01表示上肢在向上运动，第五帧有数据0x01表示上肢在向下运动，表示按照规定的通信协议将数据通过与上位机通信的串口模块22发送给上位机进行处理。

表1信号收发装置2的通信协议

本实施例中所用信号采集装置不支持直接读取信号收发装置2的串口信息，故采用打标信息采集软件3进行数据的转发，在收到下位机信号收发装置2的数据后，根据通信协议进行解包，并且将收到的数据显示在串口1信息框24中。只要上肢的动作状态发生改变后，串口2就会将相应的标志位发送给脑信号采集装置，并且将打标信息显示在串口2信息框25内。而运动状态指示框26会根据协议中包含的上肢运动方向信息进行显示，运动状态指示框中的三维模型图和实际打标系统相对应。

一种用于近红外光谱上肢运动状态脑信号精确采集的打标方法，具体方法如下：被测试者佩戴近红外脑信号采集装置，外界没有任何提示完全由被测试者自主决定运动的开始与停止，目的是为了更加接近自然运动状态。本实施例中，被测试者的推拉举放动作均为水平或竖直方向，在其他实施例中推拉举放动作可以是任意直线运动。当近红外脑信号开始采集后，被测试者手握所述运动平台1的把手18，自主开始运动，此时加速度信号会从零开始增大，与此同时其中一个光电开关的状态会发生变化，在两者同时发生的情况下判断上肢的运动方向，被捕捉到的运动打标信号会通过信号收发装置2发送给信号采集装置，并在脑信号数据流中记录下来。实验结束后，根据打标信息的记录点，对该时刻的和邻近时刻的脑信号进行针对性的信号特征提取和分类处理，建立四种上肢运动状态对应的机器学习模型，然后利用训练好的模型对之后的运动状态进行预判。进一步地，可以通过对运动状态的预判来作为助力外骨骼的控制输入，以实现真正的由人脑直接控制的外骨骼穿戴设备。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.近红外光谱的上肢运动状态脑信号精确采集的打标系统，其特征在于：包括运动平台、信号收发装置、信号采集装置和打标信息采集软件；

所述运动平台能够实现推、拉、举、放四种动作；在运动平台上安装有加速度传感器和多个光电开关；

所述信号收发装置用于采集加速度传感器和光电开关的信号，并根据通信协议将信号处理后传递给信号采集装置，此时所传递的信号是只在运动启停时的信号，或者是包括运动过程的信号；

所述打标信息采集软件是用于串口信息传递，由于信号采集装置无法直接读取信号收发装置的串口，该缺陷由信号采集装置导致，需要通过打标信息采集软件将信号收发装置的串口数据转发给信号采集装置的串口，以达到数据打标的目的；

被测试者首先佩戴近红外脑信号采集装置，在没有任何外界提示的情况下进行自主运动，所述信号收发装置将运动开始和停止的准确时间信息按照设定的通信协议发送给上位机打标信息采集软件，打标信息采集软件按照通信协议解包数据，一方面将动作开始和停止信息通过串口模块发送给脑信号采集装置，将启停信息记录在脑信号数据流中，为后期脑信号的模式分类以及基于脑信号的上肢运动预判提供时间参考，另一方面将运动方向信息通过打标信息采集软件的指示窗口实时体现在显示器界面。

2.如权利要求1所述的近红外光谱的上肢运动状态脑信号精确采集的打标系统，其特征在于：所述运动平台包括：机架、水平运动导轨及水平运动滑块、竖直运动导轨及竖直运动滑块、水平横梁、把手、挡块；水平运动导轨在机架的左右两侧上下各安装一根，共四根按水平方向的运动；竖直轨道在机架的两侧各安装一根，竖直运动导轨安装在水平运动导轨对应的水平滑块上，两根竖直运动导轨通过水平横梁连接在一起，把手安装在水平横梁的中间位置；

挡块固定时，前后推动把手能够实现上肢在水平方向的推、拉运动，上下推动把手可实现上肢在竖直方向的举、放运动；挡块用于限制一个方向的运动，当进行水平运动时限制竖直运动，当进行竖直运动时限制水平运动；

挡块不固定时，能够实现上肢在任意角度的倾斜运动，不再受限于水平运动和竖直运动。

3.如权利要求1所述的近红外光谱的上肢运动状态脑信号精确采集的打标系统，其特征在于：所述加速度传感器安装在水平横梁上，所述加速度传感器的输出线与竖直方向上下端光电开关的输出线汇合后通过转接端子和FPC排线与所述信号收发装置连接；所述加速度传感器以50Hz的回传速率采集加速度变化并发送给微控制器，所述微控制器在获取信息后利用规定协议解包读取加速度信息，对不同人群的运动速度进行采样分析，选取合适的阈值进行标定，以此对被测试者的运动方向进行一次判别。

4.如权利要求1所述的近红外光谱的上肢运动状态脑信号精确采集的打标系统，其特征在于：所述光电开关包括前端光电开关、后端光电开关、水平光电开关挡片、上端光电开关、下端光电开关、竖直光电开关上挡片以及竖直光电开关下挡片，前端光电开关和后端光电开关安装在下端水平运动导轨两端，水平光电开关挡片安装在右侧下端水平运动滑块上，当把手被前后推动时，分别与前端光电开关和后端光电开关动作是光电开关状态发生改变以被信号收发装置记录；同理上端光电开关和下端光电开关分别同竖直光电开关上挡片和竖直光电开关下挡片发生动作以记录上下运动时的状态。

5.如权利要求1所述的近红外光谱的上肢运动状态脑信号精确采集的打标系统，其特征在于：所述信号收发装置包括：微控制器、转接板、与上位机通信的串口模块；微控制器通过自带串口与加速度传感器通信，通过IO口采集所述光电开关的状态；转接板用于连接传感器单元和微控制器；所述与上位机通信的串口模块一端与微控制器连接，一端通过USB与上位机相连。

6.如权利要求2所述的近红外光谱的上肢运动状态脑信号精确采集的打标系统，其特征在于：所述打标信息采集软件基于QT软件开发，包括：串口1信息框、串口2信息框、运动状态指示框；串口1信息框在扫描获取串口1端口和配置波特率后显示所述信号收发装置发送的处理信息；串口2信息框在扫描获取串口2端口和配置波特率后显示发送给脑信号采集装置；运动状态指示框内包含一个运动平台的模型图，上肢进行四种运动时所述模型图会出现相应的运动方向指示。

7.如权利要求1至6任意一项所述的近红外光谱的上肢运动状态脑信号精确采集的打标系统，其特征在于：所述运动平台还包括四个垫脚。

Images