CN113397502B - 一种基于神经反馈的多模态数据采集设备 - Google Patents

Abstract

本发明公开一种基于神经反馈的多模态数据采集设备，包括：采集系统，包括脑电采集模块、心电采集模块、血氧饱和度采集模块、呼吸采集模块，以及肌电或步态采集模块；控制系统，包括主控制器、数据收发模块和电源模块；上位机单元，用于处理数据并显示；本发明的多模态数据采集设备通道间延时最大为2ms，具有实时采集特性。硬件标签反应时长平均在1.5ms左右。每种生物电信号的数据采集设备都有隔离器，使各种生物电信号通道间的信号串扰降到最低。本套设备能够实现多个生理信号的同时高效采集，可以方便的穿戴在使用者身上，整体性能可靠，具有结构简单，质量轻、灵活使用等优点，而且可以根据不同的患者配置不同的神经反馈方案。

Description

一种基于神经反馈的多模态数据采集设备

技术领域

本发明属于生物医学工程技术领域，尤其涉及一种基于神经反馈的多模态数据采集设备。

背景技术

人类的多种神经类疾病，如多动症、癫痫、自闭症、抑郁症、帕金森氏病、老年痴呆等都与神经元活动的异常有关。19世纪科学家就发现，通过特定的方式，大脑可以进行自我修复，使脑波恢复到正常值范围，或大幅改善，从而使神经类疾病患者获得康复，这就是神经反馈技术。它的出现为神经类疾病患者提供了一种可替代的新的康复治疗手段，避免了药物治疗的副作用，而且治疗效果更加持久，同时也解决了有时药物治疗无效的难题。

神经反馈通过调节大脑神经活动，能够改善认知功能和行为表现。神经反馈是将脑电图等神经信号转换成视觉、听觉信息，被试者通过训练，选择性地增强或抑制某些成分，以达到调节脑功能的目的。在操作性条件作用中，学习者在特定环境下主动而自愿地进行操作，过程包含奖励刺激，从而促使学习者重复该项活动。这种学习模式具有重要的启发意义，如果能借助先进的仪器帮助人们增强对自身生理活动反应的感知，通过学习和训练，个体就能建立自主神经系统的操作性条件反射来调节这些变化，实现对生理反应的自我管理。

神经活动信号包括电生理和血液动力学信号，近年来，随着脑成像技术的发展，主要通过脑电图和功能磁共振成像(fMRI)获取。原始神经信号经去除伪迹等噪音后，提取信号特征。电生理与血液动力学信号处理方法类似，包括单个通道或感兴趣脑区信号特征提取，以及多通道或多个脑区信号特征联通性分析等，但脑电因高时间分辨率，可移植性和低成本等优点，被最广泛用于临床治疗。

由于我国在生物医学工程领域开始较晚，导致神经反馈相关设备的研发仍然处于初级阶段，以往神经反馈大多是单模态采集系统或者多种单模态系统分开采集生理信号，但是这样很难做到各种信号完全同步以及难以克服信号之间的串扰。因此，需要开发出一种神经反馈多模态生理信号一体化同步实时采集设备，可在使用者通过多源生理信号在进行神经反馈时，提供更多准确且高质量的生理信号，从而使被试通过神经反馈改善大脑网络，让神经反馈的效果更上一层楼。

发明内容

本发明提供一种基于神经反馈的多模态数据采集设备，旨在解决上述存在的问题。

本发明是这样实现的，一种基于神经反馈的多模态数据采集设备，包括：

采集系统，包括脑电采集模块、心电采集模块、血氧饱和度采集模块、呼吸采集模块，以及肌电或步态采集模块；

控制系统，包括主控制器、数据收发模块和电源模块；

上位机单元，用于处理数据并显示；

所述主控制器辅助控制和开启所述脑电采集模块、心电采集模块、血氧饱和度采集模块、呼吸采集模块，以及肌电或步态采集模块；并获取采集数据；

所述数据收发模块将主控制器获取的采集数据传输到上位机单元中，由上位机单元整理并显示各信号。

进一步的，所述脑电采集模块为可折叠的脑电帽，包括脑电帽内衬、脑电帽外壳和干电极，所述干电极与人体头皮接触；所述脑电帽内衬上嵌有纽扣，所述纽扣与干电极电性连接；所述脑电帽外壳上设置有连接线，所述连接线与纽扣电性连接。

进一步的，所述脑电帽内衬采用硅胶材料制成，脑电帽外壳采用PLA材质制成，纽扣采用316不锈钢材料制成；所述干电极采用四苯乙烯复合材料，其表面具有稳定的纳米导电银涂层。

进一步的，所述干电极具有设置在同一底板上的八引脚，相邻引脚间距离相等。

进一步的，所述上位机单元为笔记本电脑或台式电脑。

进一步的，所述数据收发模块包括蓝牙模块和WiFi模块，所述WiFi用于向上位机单元传输数据，所述蓝牙模块用于接收上位机单元的指令。

进一步的，所述主控制器为STM32单片机，主控制器具有用于显示工作状态的LED灯，所述LED灯根据采集系统是否正常工作呈现出亮或者灭状态。

进一步的，所述控制系统包括盒体，所述盒体上设置有1个用于连接上位机单元的Micro-USB接口，和5个分别用于连接脑电采集模块、心电采集模块、血氧饱和度采集模块、呼吸采集模块、肌电或步态采集模块的Type-C接口。

进一步的，所述心电采集模块、血氧饱和度采集模块、呼吸采集模块分别可拆卸的嵌入安装到盒体上。

与现有技术相比，本发明的有益效果是：

本发明的多模态数据采集设备通道间延时最大为2ms，具有实时采集特性。硬件标签反应时长平均在1.5ms左右。每种生物电信号的数据采集设备都有隔离器，使各种生物电信号通道间的信号串扰降到最低。本套设备能够实现多个生理信号的同时高效采集，可以方便的穿戴在使用者身上，整体性能可靠，具有结构简单，质量轻、灵活使用等优点，而且可以根据不同的患者配置不同的神经反馈方案。

附图说明

图1为本发明控制系统结构示意图；

图2为本发明控制系统爆炸示意图；

图3为本发明心电采集模块结构示意图；

图4为本发明呼吸采集模块结构示意图；

图5为本发明呼吸采集模块电路图；

图6为本发明血氧饱和度采集模块结构示意图；

图7为本发明脑电采集模块结构示意图；

图8为本发明干电极结构示意图；

图9为本发明ASR滤波前示意图；

图10为本发明ASR滤波后示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例1

请参阅图1-8，本发明提供一种技术方案：一种基于神经反馈的多模态数据采集设备，包括：采集系统，控制系统和上位机单元；

具体由穿戴在背部壳体内的心电采集模块、血氧饱和度采集模块、呼吸传感器、STM32主控制器单元、WiFi模块、数据收发模块和电源模块组成；

脑电采集模块用于对脑电进行采集，心电模块用于对心电进行采集，血氧饱和度采集模块用于对血氧饱和度变化进行采集，呼吸采集模块用于对呼吸状态进行采集，STM32主控制单元用于辅助控制和开启所述脑电采集模块、心电采集模块、血氧饱和度采集模块、呼吸采集模块，并得到各模块采集数据；

数据收发模块用于将STM32主控制单元得到的各项监测数据传输到上位机处理单元中，由上位机处理单元显示和整理，并显示各信号。

数据收发模块通过无线传输的方式输送到上位机处理单元中，无线传输的方式为WiFi传输方式或蓝牙传输方式，其中用WiFi传输数据，蓝牙接收上位机发来的命令。

盒体A结构如图1所示，A1是6个接口，其中5个type-C用来连接脑电、心电、呼吸、血氧、肌电设备，一个Micro-USB接口用来连接上位机；A2是用来给主控板供电的接口；A3是主控板开关按钮；A4按钮是专门用来控制SD卡的按钮，按下此按钮后，Micro-SD卡可以自主的收集数据。

A5为可拆卸件，不安装时，放在桌子上可直接采集数据，安装上，成为可背在背上的便携式设备。B是心电设备，可以嵌入到主控制板里面。

type-C自定义接口，其中有一条是时钟线，时钟线在采集的时候会稳定输出500Hz频率的信号，使延时小于2ms，实现各个模块同步实时采集各类信号。所有采集信号的小模块都有信号隔离和电源隔离，电源是完全可以供给底下的小模块进行使用的，按下电源开关，所有的小模块都能供上电，且小模块也能自己供电。数据传输通道与无线控制通道分开进行处理，使物理标签的反应时长平均在1.5ms左右，拥有了做神经反馈的基础。

如图2所示，盒体A还可以将心电采集模块B、呼吸采集模块C、血氧采集模块D融为一体，搭载起来使用。

如图3所示，心电采集模块B是Ⅰ导联形式，即3个电极，采集芯片是ADS1292R，单片机是STM32405RGT。B1是臂挂，是可拆卸的。安装上后可单独采集心电，B2是采集口，B3是Micro-USB口，可以直接连接到上位机，B4是type—C口，连接到主控制器上，B5是Micro-SD卡口，B6是开关，B7是充电口。

如图4所示，呼吸采集模块C中，C1是臂挂，是可拆卸的，安装上后可单独采集呼吸。C2是采集口，C3是Micro-USB口，可以直接连接到上位机，C4是type—C口，连接到主控制板上，C5是Micro-SD卡口，C6是开关，C7是充电口。

如图5所示，呼吸采集模块具有的一套特殊的滤波电路，只需要一个运放电路OPA330AIDBVT，搭载一个三相电阻网络，可以把原先正负1的电压信号卡在2.5V的基线上，放大6倍，通过滤波生成0到5V的电压信号，采集芯片搭载的是ADS1256，单片机是STM32405RGT。传感器为压敏电阻。

如图6所示，血氧采集模块D，采集芯片是AFE4490，单片机是STM32405RGT，是用一个血氧指夹，一段连接在设备上，一端夹在人的手指上。D1是臂挂，是可拆卸的，安装上后可单独采集呼吸。D2是以DB9形式与传感器连接，D3是Micro-USB口，可以直接连接到上位机。D4是type—C口，连接到主控制板上。D5是Micro-SD卡口，D6是开关，D7是充电口。

实施例2

如图7所示，脑电采集模块为可折叠的脑电帽，脑电帽由脑电帽内衬和脑电帽外壳组成，脑电帽内衬由特制硅胶材料制成，脑电帽外壳由PLA材质制成。其中，脑电帽内衬硅胶材料外面嵌有316不锈钢纽扣，脑电帽外壳上有电极的连接线，通过采集前端的连接线直接连接到脑电帽内衬的纽扣上，连接件是以316不锈钢钮扣的方式进行连接的，脑电帽内衬也有连接线，材质是胃镜线，连接在干电极上，也是通过纽扣的方式进行连接，电极则与头皮相连。胃镜线为可伸缩的部件，不使用脑电帽的情况下，可以完全自动收回到壳体内。使用时，先给被试戴上内衬，再带上脑电帽外壳，将脑电帽外壳上可伸缩的电极外壳与内存外表面的316不锈钢纽扣相连接，整个设备可以扣完一起带上去，哪一个电极位置有些偏差，就手动调整好。

设备可以方便、舒适的穿戴在使用者身上，整体性能可靠，具有结构简单，质量轻、收纳后体积小、方便携带、灵活使用等优点。并将伪迹子空间重构(ASR)滤波器应用于EEG信号处理，用于检测和去除高振幅幅度数据成分，信号质量精度高，抗干扰能力强。

脑电采集模块基于32位干电极的国际10-20电极排布系统，电极可伸缩，且脑电帽可以折叠收纳，体积小，方便携带，采集的脑电数据达到24位高精度，脑电数据传输多达4种方式，且采集方式有线和无线均支持，脑电数据采集电极导联具有较低的输入噪声，脑电是在4.2V下70mA的电流工作，具有低功耗特性。

如图8所示，干电极的形状为海葵型八引脚，电极采用的是高导电性四苯乙烯复合材料材料，材质柔软，相邻引脚间距离相等，干电极是高导电性四苯乙烯复合材料的表面涂有稳定的纳米导电银涂层。

为了更多的增加接触面积，减小接触压力，确保低阻抗和信号的可靠性传输，电极形状设计为八引脚，这种设计的优点是与头皮接触性好，整体基础面积大，各引脚间距离相等，整体受力均匀，佩戴舒适度高。

上述干电极的生产工艺，其制作步骤为：

(1)首先准备一个硬的不锈钢模具，在不锈钢模具上做出四个干电极的形状，

(2)然后将导电四苯乙烯复合材料的材质熔解注入到不锈钢材质中，并且加压，使导电的四苯乙烯复合材料从注塑的另外一侧引出，并将气体全部压出，将四苯乙烯复合材料压成实体，等冷却后取出，完成铸型。

(3)接着进行等离子表面处理，通过电离处理机，对干电极进行高压放电处理，使其表面具有粘性，然后对干电极进行导电纳米银离子涂料进行涂抹，风干，干电极制作完成。

干电极的组装工艺，其组装步骤为：

先将一个导电铜扣焊接在铜片上，再将没有焊接铜扣的铜片放在电极当中，最后，把外接铜扣的铜片与放置在电极内的铜片用螺丝固定，压紧电极。

实施例3

具体使用时，先把每个干电极插在内衬接电极的接口上，然后再将每一电极对接到外壳上。接下来，将整体的脑电帽佩戴在被试的头上，并且用手调节每一个电极的位置，并将线锁死，以防止导线回缩干扰采集。旋转旋钮，调节电极的升降来找见适合的位置。最后在外壳上插入电池，选择好传输方式，将数据采集到上位机上并进行滤波处理，来得到较为纯净的脑电。

脑电帽调整好后进行脑电信号采集，首先，脑电信号通过采集前端，通过运放电路把信号稳定在基线上，传输到ADS1299模块上，同时采集32路脑电信号。BIAS接在前额叶，直接与地共线，SRB即对比信号直接夹在耳垂上，作为参考电极，以及耳朵上的，其它电极是采集脑电的常规电极。把信号全都传到ADS1299采集模块上去，接着采集模块通过SPI的传输方式把转换后的数字信号传给STM32F405RGT单片机。然后单片机对数字信号打包、处理并发送到外面去，可通过无线的方式如蓝牙，WiFi，或者有线的方式发送到上位机，或者直接存到内部的MicroSD卡上。

实施例4

本发明有三种采集方式，第一种采集方式是将主控制模块放在桌面上，然后将脑电、心电、血氧、呼吸、肌电相关的传感器佩戴在被试身上即可采集相关信号；

第二种采集方式是随身携带，将背板安装在主控制板背面，将整个设备背在背后，然后将相应的传感器连接在相应部位：

心电采集模块将购买的一次性采集贴片贴在被试的身上，正极贴在被试左侧第二肋中线，负极贴在被试的左侧最后一根肋骨的肋下源，地线贴在右侧最后一根肋骨的肋下源。

血氧采集模块将带有红外的指夹夹在被试的左手食指的指甲盖上。

呼吸采集模块将呼吸传感器夹与被试的胸腔前。设备连接好后，打开主控板上的采集开关，开始采集相关数据。

第三种采集方式是可以将相关模块拆下单独采集，可以将心电、血氧、呼吸采集模块单独拆下，接上臂挂，连接在身体单独采集。

采集模块上有LED灯，是用来显示设备初始化有没有完成的。在前期的时候，采集模块上只有2个LED灯，一个是电源显示灯，用来显示采集模块是否通正常，电源是否正常工作，第二个LED灯是用来显示采集模块是否被初始化了，当采集模块初始化完成，第二个LED灯就会常亮。主控板上的LED灯功能一是检测底层设备功能，就是主控板会向采集模块连接之后发送一些信号，然后采集模块对主控板有回应了以后，检测到有设备连接上了，相应位置的LED灯就会闪烁，直到初始化完成为止LED灯变为常亮，最后一个位置的LED灯是为了显示数据有没有采集，当采集的时候，会每隔半秒钟闪烁一次，当数据传输停止的时候，LED灯就会由闪烁变为常亮状态。

同时，如图9和图10所示，系统搭载伪迹子空间重构(Artifact SubspaceReconstruction，ASR)滤波器软件使用，ASR滤波器是一种在线或离线校正伪迹的自适应方法，能有效去除眼电、心电等幅值较高的伪迹。其原理主要是通过计算时间窗内信号的均方值，得到方差较小的信号作为校准数据，然后再根据校准数据的协方差矩阵设计滤波标准。将固定时间窗的原始信号处理后，提取数据特征与滤波标准比较，将不符合滤波标准的分量去除。所以，ASR滤波器能够除去信号中幅值异常的成分，同时合并重建保留信号。由于ASR滤波器具有较短的处理延迟等特点，非常适合数据在线处理。研究表明，ASR能够有效消除高振幅噪声，包括与运动有关的伪影，尤其对于ERP数据的处理，经过ASR处理后可极大地保留有用信息，避免结果失真。因此，ASR在脑电数据实时去噪方面表现良好。平台使用ASR作为主要的线上去除伪迹手段，其原理主要依靠主成分分析(Principal ComponentsAnalysis，PCA)，联合使用滑动窗口插补相对于校准数据集协方差超出阈值的高方差信号成分。然后，根据校准数据中观察到的相关结构，从保留的信号子空间中线性重构每个受影响的EEG时间点，软件搭载这个硬件来使用的，这样的方式就有上面的功能和效果了。整体做了一个上位机的系统，方便使用。

实施例5

一种基于神经反馈的多模态数据采集设备，用以建立基于脑电、心电、血氧、呼吸的多模态生理信息监测系统。设备主要由两部分组成，一部分是位于头部的：脑电帽壳体以及置于脑电帽壳体内侧的电极；另一部分位于可穿戴的人体背部的壳体内，包括心电采集模块、呼吸采集模块、血氧采集模块、数据发送模块、WiFi模块和电源模块。本发明的多模态数据采集设备具有较低的输入噪声。脑电，心电，血氧，呼吸都是在4.2V下70mA的电流工作，总控制模块是在8.4V下200mA电流下工作，具有低功耗特性。本发明的多模态数据采集设备通道间延时最大为2ms，具有实时采集特性。硬件标签反应时长平均在1.5ms左右。每种生物电信号的数据采集设备都有隔离器，使各种生物电信号通道间的信号串扰降到最低。本套设备能够实现多个生理信号的同时高效采集，可以方便的穿戴在使用者身上，整体性能可靠，具有结构简单，质量轻、灵活使用等优点，而且可以根据不同的患者配置不同的神经反馈方案。

本发明方便在任意时间内对身体多源生理信号进行采集，并通过长期数据收集和整理，用以建立基于脑电、心电、血氧、呼吸的多模态生理信息监测系统。多模态设备搭载5个传感器，其中包含脑电、心电、血氧、呼吸、肌电或步态。现在所拥有的功能是可以同步实时采集5类信号。可以放在桌面上作为放大器使用，也可以通过后面背带配件背在身上进行单独使用。整体是8.4V的锂电池，容量为12000mAh。有3种连接方式，蓝牙/WiFi,有线和Micro SD。内衬搭载3种采集模块，包括心电采集模块、呼吸采集模块以及血氧采集模块。头部的是脑电采集模块。采集步态下线就能直接采集。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于神经反馈的多模态数据采集设备，其特征在于，包括：

采集系统，包括脑电采集模块、心电采集模块、血氧饱和度采集模块、呼吸采集模块，以及肌电或步态采集模块；

控制系统，包括主控制器、数据收发模块和电源模块；

上位机单元，用于处理数据并显示；

所述主控制器辅助控制和开启所述脑电采集模块、心电采集模块、血氧饱和度采集模块、呼吸采集模块，以及肌电或步态采集模块；并获取采集数据；

所述数据收发模块将主控制器获取的采集数据传输到上位机单元中，由上位机单元整理并显示各信号；

所述脑电采集模块为可折叠的脑电帽，包括脑电帽内衬、脑电帽外壳和干电极，所述干电极与人体头皮接触；所述脑电帽内衬上嵌有纽扣，所述纽扣与干电极电性连接；所述脑电帽外壳上设置有连接线，所述连接线与纽扣电性连接；

所述脑电帽内衬采用硅胶材料制成，脑电帽外壳采用PLA材质制成，纽扣采用316不锈钢材料制成；所述干电极采用四苯乙烯复合材料，其表面具有稳定的纳米导电银涂层；

所述干电极具有设置在同一底板上的八引脚，相邻引脚间距离相等；

所述控制系统包括盒体，所述盒体上设置有1个用于连接上位机单元的Micro-USB接口，和5个分别用于连接脑电采集模块、心电采集模块、血氧饱和度采集模块、呼吸采集模块、肌电或步态采集模块的Type-C接口；

所述心电采集模块、血氧饱和度采集模块、呼吸采集模块分别可拆卸的嵌入安装到盒体上；

其中，所述干电极的生产工艺为：

首先准备一个硬的不锈钢模具，在不锈钢模具上做出四个干电极的形状；

然后将导电四苯乙烯复合材料的材质熔解注入到不锈钢材质中，并且加压，使导电的四苯乙烯复合材料从注塑的另外一侧引出，并将气体全部压出，将四苯乙烯复合材料压成实体，等冷却后取出，完成铸型；

接着进行等离子表面处理，通过电离处理机，对干电极进行高压放电处理，使其表面具有粘性，然后对干电极进行导电纳米银离子涂料进行涂抹，风干，干电极制作完成。

2.根据权利要求1所述的采集设备，其特征在于：所述上位机单元为笔记本电脑或台式电脑。

3.根据权利要求1所述的采集设备，其特征在于：所述数据收发模块包括蓝牙模块和WIFI模块，所述WIFI用于向上位机单元传输数据，所述蓝牙模块用于接收上位机单元的指令。

4.根据权利要求1所述的采集设备，其特征在于：所述主控制器为STM32单片机，主控制器具有用于显示工作状态的LED灯，所述LED灯根据采集系统是否正常工作呈现出亮或者灭状态。

Images