CN115517687A - 基于多模态融合改善焦虑的特异性神经反馈系统 - Google Patents

基于多模态融合改善焦虑的特异性神经反馈系统 Download PDF

Info

Publication number
CN115517687A
CN115517687A CN202211121246.5A CN202211121246A CN115517687A CN 115517687 A CN115517687 A CN 115517687A CN 202211121246 A CN202211121246 A CN 202211121246A CN 115517687 A CN115517687 A CN 115517687A
Authority
CN
China
Prior art keywords
electroencephalogram
specific
signal
feedback
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211121246.5A
Other languages
English (en)
Inventor
卢青
姚志剑
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202211121246.5A priority Critical patent/CN115517687A/zh
Publication of CN115517687A publication Critical patent/CN115517687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • A61B5/246—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense

Abstract

本发明提供了一种基于多模态融合改善焦虑的特异性神经反馈训练系统，通过脑磁图信号向脑电的投射策略，形成特异性脑电信号，用于焦虑情绪的调控和改善。本发明属于医疗技术领域，包括相互连接的脑电图采集模块、实时处理模块与视觉反馈模块；实现了从信号采集—信号处理—信号反馈—信号采集的完整治疗闭环。本发明通过对脑电信号进行实时解码分析与特征提取，并且使用多模态特融合的特异性映射模型，建立反应情绪相关核心脑区(如杏仁核)实时活动的特异性脑电映射信号，具备更强的空间准确性与症状特异性；应用特异性映射信号进行神经反馈治疗，可以辅助制定个体化、多疗程的神经调控训练，改善用户的焦虑情绪，为用户提供了一个非侵入的便捷的神经调控平台。

Description

基于多模态融合改善焦虑的特异性神经反馈系统
技术领域
本发明属于医疗技术领域，涉及了一种基于多模态融合改善焦虑的特异性神经反馈系统，具体的，是涉及了一种脑电图(Electroencephalogram,EEG)和脑磁图(Magnetoencephalography,MEG)融合的特异性信号指标，用于改善焦虑的神经反馈治疗系统。
背景技术
焦虑症(Anxiety)是对亲人或自己生命安全、前途命运等的过度担心而产生的一种烦躁情绪，又称焦虑性神经症，以焦虑情绪体验为主要特征。主要表现为：无明确客观对象的紧张担心，坐立不安等。严重时可造成极大的主观痛苦，甚至影响患者适应融入现实的社会环境。
现有对Anxiety的治疗方式通常为药物治疗与心理治疗。药物治疗主要使用苯二氮卓类药物(又称为安定类药物)、抗抑郁药以及长短效药物合用。由于药物的持续性相对较短，不适合长期大量使用，同时有可能产生依赖，治疗过程中往往会给患者造成较大的心理与经济负担。而心理治疗是通过临床医生通过专业的言语或非言语沟通，引导和帮助患者改变行为习惯、认知应对方式等等，对医师的专业性有较高要求，同时也无法关联大脑的神经生物学变化。
越来越多的焦虑疗法采用结合心理治疗的生物反馈治疗或者放松、冥想治疗来引导被试缓解焦虑，被证明卓有成效并且能够有效提高患者自身调节情绪的能力。神经反馈是其中一种生物反馈技术，其通过视觉、听觉或其他形式来表征人体的某种神经活动，并且将这种表征实时反馈给实验被试；通过被试对该表征的自我调控来改善与这种神经活动相关联的某种行为或病症。神经反馈技术的核心在于捕捉并反馈被试的神经活动，这种探测手段一般包含脑电图(Electroencephalogram,EEG)、脑磁图(Magnetoencephalography,MEG)，以及血液动力学的成像方式如功能性核磁共振(functional magnetic resonanceimaging,fMRI)与近红外成像(functional Near infrared imaging,fNIRS)等，主流的研究多采用EEG与fMRI进行神经反馈研究。
传统的神经反馈方式是采用EEG信号单通道频率信号进行反馈，常见的有使用脑电P3、P4、F3、F4等通道的alpha或beta频率信号进行反馈，用以调控抑郁情绪、焦虑情绪、认知表现等问题。但是，EEG在定位方面存在明显的缺陷，其较低的空间分辨率使得通过颅骨测量来评估神经电活动的来源成为一个不适定的逆问题。
与之相对的，fMRI信号通过图像采集、处理的方式可以精准的获取深部脑区的血氧水平信号(blood oxygenation level dependent,BOLD)，具备更强的特异性，为探索深部脑区结构神经可塑性变化和认知行为功能之间的关系提供了一种崭新的手段。但是，fMRI信号的时间分辨率较差(秒级别)，这极大降低了通过fMRI信号进行神经反馈训练的调控实时性，致使采用fMRI进行特异性神经反馈的效果大打折扣。
因此，亟需开发一种创新的神经反馈技术，兼顾实时性的同时可以精准地靶向患者的情绪区域，为患者建立一个可以自主进行情绪调节的训练平台。
发明内容
针对上述问题，本发明提供了一种基于多模态融合改善焦虑的特异性神经反馈系统。
本发明的技术方案是：本发明所述的一种基于脑磁图脑电图多模态融合改善焦虑的特异性神经反馈系统，包括脑电图采集模块、实时处理模块与视觉反馈模块；
所述脑电图采集模块与实时处理模块相连接，所述实时处理模块与视觉反馈模块相连接，所述视觉反馈模块与脑电采集模块相连，构成了一个闭环系统，利用该系统可以辅助制定个体化的神经反馈调控训练，改善用户的焦虑情绪。
其中，所述脑电图采集模块通过硬件设备实现脑电图信号的采集与传输；其包括采集单元及通讯单元一，采集单元采集脑电信号封装后通过通讯单元一发送至实时处理模块；
所述实时处理模块对脑电信号进行实时解码分析与特征提取，并且使用脑电图-脑磁图多模态融合模型，基于实时脑电信号构建情绪相关核心脑区(如杏仁核)活动实时的靶向特异性信号；
其包括通讯单元二、数据预处理模块、特征提取单元及多模态特异性信号构建单元，通讯单元二从脑电图采集模块获取脑电数据后，经由数据预处理模块对脑电图信号进行预处理，再经由特征提取单元进行进一步解码；通过多模态特异性信号构建单元，解码后的信号在个体脑电信号上投射脑磁图靶向信息，获得情绪相关核心脑区(如杏仁核)活动的靶向特异性实时信号；
所述视觉反馈模块控制神经反馈范式的切换，显示引导语与反馈信息；其包括显示单元及范式控制单元，实时处理模块产生的特异性信号经过范式控制单元封装，最后显示单元显示引导语与封装的特异性信号反馈信息。
进一步的，所述靶向特异性信号构建方法的具体情况是：
该系统的实时处理模块，通过对脑电信号的解码分析与特征提取，并且使用多模态融合的方法，通过脑电信号的不同分解构建脑深部区域的靶向特异性信号，表征人脑与情绪功能密切相关的核心区域的激活情况。
进一步的，所述脑电信号的解码分析与特征提取，包括以下步骤：
步骤(1)、脑电图信号预处理：通过信号滤波与通道筛选、去噪丢弃、去除眼电和肌电、重参考、独立成分分析，获得脑电信号；
步骤(2)、脑电图信号特征提取：对于步骤(1)内的脑电信号，通过信息熵一致性约束、脑电时频分析等方法，提取脑电信号的多通道多频段特征信息。
进一步的，所述基于脑电图-脑磁图多模态融合的特异性靶向信号构建包括以下步骤：
(1)、脑电/脑磁同步采集实验：通过在高电磁屏蔽的脑磁图室进行脑电图与脑磁图同步采集实验，进行情绪面孔相关生理范式的信号采集，获取脑电图、脑磁图同步数据；
(2)、脑电图信号特征提取：过程同上述系统内脑电信号解码过程；
(3)、脑磁图信号预处理：对于步骤(1)内的脑磁信号，通过信号滤波与通道筛选、去噪丢弃、独立成分分析、时频分析等方法，获取任务态脑磁图数据；
(4)、脑磁图信号特征提取：对于步骤(3)内的脑磁信号，通过时频分析、线性约束最小方差源重建方法，获取全脑神经活动源头信号估计；
(5)、靶向区域源信号提取：对于步骤(4)内的源信号估计，通过多元对称正交化、AAL模版坐标坐标挖球等分析方法，获取情绪靶向脑区的特异性神经活动源信号；
(6)、特异性映射模型搭建：对步骤(2)、(5)内的脑电多频段特征与脑磁情绪靶向脑区的特异性神经活动源信号，通过卷积神经网络等方法，构建脑电与脑磁的特异性映射模型，以皮层脑电信号表征情绪相关脑区特征性活动信号。
进一步的，在步骤(4)中，所述的线性约束最小方差源重建方法如下：满足线性约束式的条件下，找到使滤波器输出方差最小化的W(q0)，即所谓的线性约束最小方差，其线性约束式可表现为：
WT(q0)L(q0)＝I
其中q0表示源空间中任一位置，W(q0)表示该位置的空间滤波器，L(q0)表示正向问题中该位置的导联矩阵，与神经活动源信息以及脑磁图传感器的位置相关，I为单位矩阵；
线性约束最小方差源重建方法中，线性约束确保感兴趣信号可以通过滤波器，而方差最小化，可以最优化地分配滤波器的阻带响应，使输出信号的方差最小，在数学上的表示为：
Figure BDA0003847142890000041
且WT(q0)L(q0)＝I
tr{}表示求迹，y表示滤波器输出的信号，C(y)表示y的方差；上式利用拉格朗日算子可得到以下解：
W(q0)＝[LT(q0)C-1L(q0)]-1LT(q0)C-1(x)
由此我们可以通过脑磁图皮层电极测量信号x，源空间中任一位置的源估计信号y，计算公式为：
y＝WT(q0)x
步骤(6)所属的特异性映射模型构建方法为，以步骤(5)中得到的情绪靶向脑区的特异性神经活动源信号y为金标准，以脑电多频段多通道特征为输入，进行回归分析，公式示意如下：
y＝W*E
式中E为64*8的脑电通道、频段特征矩阵，y为特异性神经活动源信号，W表示回归分析方法，本发明中采用卷积神经网络进行回归分析。
进一步的，所述特异性映射模型以脑电图多通道多频段信号作为输入，目标信号为脑磁图源层面信号，进行回归分析；以二维卷积层、批标准化层、非线性激活层为一个单独的卷积块，神经网络由多个卷积块(卷积层+标准化层+非线性激活层)与全连接层构成，并加入随机丢弃策略(Dropout)防止模型过拟合。通过模型获取由脑电图皮层信号表征脑磁图情绪靶向脑区的源信号的特异性映射模型。
进一步的，基于多模态融合的特异性神经反馈方法，应用于指导和优化焦虑相关的神经功能症状；
进一步的，所述神经反馈调控训练方法，需连续进行反馈训练4～10个疗程；其中，单次特异性神经反馈训练包括但不仅限于以下步骤：
(1)、基线静息态EEG：观察未训练前的用户静息状态下大脑的活动，建立神经反馈过程中所使用的调控阈值，初始设定为静息态特异性信号能量的90％；
(2)、练习阶段：帮助被试熟悉实验流程，并协助被试构想出3～5个神经反馈策略，供练习使用，选取其中调控效果最好的1～2个用于正式的神经反馈训练中；
(3)、反馈训练阶段：被试通过已经构建好的策略进行3组正式神经反馈训练，通过下调特异性信号能量达到神经反馈效果；
单组训练包含3种不同场景，分别为休息，调控与计算；
休息场景被试尽可能放松，使神经活动恢复到基线状态；
调控场景以视觉反馈形式向被试实时反馈特异性信号强度，要求被试使用反馈策略尽可能地下调该特异性信号强度；
计算场景被试进行简单的数学运算，帮助打乱并脱离前述的调控状态。单个场景持续40秒，三种场景共按序重复4次；
(4)、迁移训练阶段：与反馈训练阶段流程相比，调控场景不再向被试提供特异性信号强度的视觉反馈，提示被试按之前构建好的策略继续进行主观调控，以测试被试的调控能力是否已经建立并可以迁移至普通生活场景；
该阶段其余流程与反馈训练阶段相同；
(5)、训练后静息态EEG：测试被试经过单个疗程神经反馈训练后静息状态下大脑活动强度的变化。
本发明的有益效果是：本发明提出了一种结合多模态融合的特异性信号指标，用于改善焦虑的神经反馈系统，通过人体在情绪面孔刺激下的脑电图/脑磁图同步数据采集，进行脑电/脑磁数据分析与解码，构建通过MEG引导EEG的特异性神经反馈信号，具备更强的空间准确性与症状特异性；应用特异性信号进行神经反馈治疗，可以制定多疗程个体化神经调控训练，改善用户的焦虑情绪；由于脑电的便携性与非侵入性本发明可以无创便携地进行神经调控，同时可方便的向社区、居家等应用场景拓展。
附图说明：
图1为本发明基于多模态融合改善焦虑的特异性神经反馈系统的系统结构示意图；
图2为本发明中脑电图数据的处理技术路线示意图；
图3为本发明中脑磁图数据的处理技术路线示意图；
图4为本发明中构建MEG引导EEG的特异性映射模型的技术路线示意图；
图5为本发明一具体实施例中所用的卷积神经网络特异性映射模型的示意图；
图6为本发明的神经反馈调控范式方法及步骤的示意图；
图7为本发明的特异性映射模型一具体实施例的训练结果示意图；
图8为本发明的特异性映射模型应用于神经反馈训练一具体实施例的训练结果示意图；
图中，1是脑电图采集模块，11是采集单元，12是通讯单元一；
2是实时处理模块，21是通讯单元二，22是数据预处理模块，23是特征提取单元，24是多模态特异性信号构建单元；
3是视觉反馈模块，31是范式控制单元，32是显示单元。
具体实施方式
为了更清楚地说明本发明的技术方案，下面将对本发明中进行进一步的叙述；
如图1所示，本发明所述的一种基于多模态融合改善焦虑的特异性神经反馈系统，包括脑电图采集模块1、实时处理模块2与视觉反馈模块3；
所述脑电图采集模块1与实时处理模块2相连接，所述实时处理模块2与视觉反馈模块3相连接，视所述觉反馈模块3与脑电采集模块1相连，实现了从信号采集—信号处理—信号反馈—信号采集的完整治疗闭环系统，帮助用户建立自主调控神经活动的平台。
其中，所述脑电图采集模块1包含采集单元11与通讯单元一12：所述采集单元11利用电极帽记录64导脑电，电极还包括水平眼电、垂直眼电、肌电和心电，其电极布局符合标定的10-20电极导联定位标准；在收集过程中，以靠近Cz电极的Ref电极为参考，保持电极阻抗≤10kΩ，采样频率设置为1000Hz；通讯单元一12包含软件通讯处理与硬件通讯设备，将采集到的脑电数据进行封装编码，以每秒1帧的数据发送至通讯单元二21。
所述实时处理模块2包含通讯单元二21、数据预处理单元22、特征提取单元23与特异性信号构造单元24；通讯单元二21从通讯单元一12获取信号帧，经过解码与校验后获得脑电图原始信号，并且获取当前脑电采集的采样率、通道数、通道位置等参数；数据预处理单元22对获取到的脑电数据进行预处理，预处理流程如图2前半部分所示，通过包括但不限于信号滤波与通道筛选、去噪丢弃、去除眼电和肌电、重参考、独立成分分析，进行脑电信号预处理；
所述特征提取单元23对经过预处理后的脑电数据进行进一步解码与分析，特征提取流程如图2后半部分所示，通过包括但不限于信息熵一致性约束、脑电时频分析等方法，提取脑电信号的多通道多频段特征信息；
所述多模态特异性信号构建单元24采用如图4所示的训练完成的特异性映射模型进行特异性信号构建。
所述视觉反馈模块3包含范式控制单元31与显示单元32；范式控制单元31获取特异性信号后，根据当前进行的神经反馈训练阶段进行特异性信号、引导语的封装，并且通过显示单元32进行显示与切换；显示单元32包含通讯端口的选取，用户姓名等信息的输入与控制按钮，并且显示特异性信号与引导语帮助用户进行主观神经反馈调控。
实施例1
采集所有被试的脑电图/脑磁图情绪面孔范式同步采集信号，构建了一种脑电图-脑磁图融合的靶向深部脑区(杏仁核)的特异性映射模型，如图4所示，包含以下步骤：
步骤(1)、脑电/脑磁同步采集实验：通过在高电磁屏蔽的脑磁图室进行脑电图与脑磁图同步采集实验，进行情绪面孔相关生理范式的信号采集，采用CTF275全导型MEG系统进行采集，采样频率为1200Hz；EEG电极帽记录64导脑电，采用弹力网帽进行固定，EEG电极线采用Ag/AgcL烧结电极线，降低对脑磁图室采集环境的金属电磁干扰；在采集前后排除头动干扰和眼电干扰；完成同步信号记录后所有受试者均进行磁共振定位，扫描参数如下：TR＝1900ms,TE＝2.48ms,FA＝9°,slices number＝176,slice thickness＝1mm,voxel size＝1×1×1mm3,FOV＝250×250mm2；在采集前后排除头动干扰和眼电干扰；获取脑电图、脑磁图同步数据；
步骤(2)、脑电图信号解码分析与特征提取：过程同上述系统内脑电信号解码过程；
步骤(3)、脑磁图信号预处理：如图3上半部分所示，对于步骤(1)内的脑磁信号，通过信号滤波与通道筛选、去噪丢弃、独立成分分析、时频分析等方法，获取任务态脑磁图数据；
步骤(4)、脑磁图信号特征提取：如图3下半部分所示，对于步骤(3)内的脑磁信号，通过时频分析、线性约束最小方差源重建方法，获取全脑神经活动源头信号估计；
步骤(5)、靶向区域源信号提取：如图3下半部分所示，对于步骤(4)内的源信号估计，通过多元对称正交化AAL模版坐标挖球等分析方法，获取情绪靶向脑区(杏仁核)的特异性神经活动源信号；
步骤(6)、特异性映射模型搭建：如图4所示，对步骤(2)、(5)内的脑电多频段特征与脑磁情绪靶向脑区的特异性神经活动源信号，通过卷积神经网络方法，构建脑电与脑磁的特异性映射模型，以皮层脑电信号表征脑深部情绪区域(杏仁核)活动信号。
在本实施例中，特异性映射模型如图5所示，以脑电图多通道多频段信号作为输入，目标信号为脑磁图源层面信号，进行回归分析。以二维卷积层、批标准化层、非线性激活层为一个单独的卷积块，神经网络由4个卷积块(卷积层+标准化层+非线性激活层)与两层全连接层构成，并加入随机丢弃策略(Dropout)防止模型过拟合；输入数据通过随机抽样平均进行数据集扩增，模型准确率评估采用R-squared指标评估回归信号与源信号间的相似程度；
R-squared计算公式：
Figure BDA0003847142890000081
经360000样本数据训练，在90000样本测试集上进行测试，结果如图7所示，模型拟合度稳定在约0.78，回归信号可以较好地还原情绪靶向脑区的特异性神经活动源信号。
实施例2
进一步的，将前述靶向深部脑区的特异性映射模型应用于神经反馈训练场景，选取未有精神疾病史的健康被试，进行改善焦虑的神经反馈训练；如图6所示，本实施例所述的神经反馈调控范式包含以下步骤：
步骤(1)、基线静息态EEG：观察未训练前的用户静息状态下大脑的活动，初始设定为静息态特异性信号能量的90％；
步骤(2)、练习阶段：帮助被试熟悉实验流程，并协助被试构想出3-5个神经反馈策略，供练习使用，选取其中效果最好的1-2个用于正式的神经反馈训练中；
步骤(3)、反馈训练阶段：被试通过已经构建好的策略进行3组正式神经反馈训练，通过下调特异性信号能量达到神经反馈效果；单组训练包含3种不同场景，分别为休息，调控与计算；休息场景被试尽可能放松，使神经活动恢复到基线状态；调控场景以视觉反馈形式向被试实时反馈特异性信号强度，要求被试使用反馈策略尽可能地下调该特异性信号强度；计算场景被试进行简单的数学运算，帮助打乱并脱离前述的调控状态；单个场景持续40秒，三种场景共按序重复4次；
步骤(4)、迁移训练阶段：与反馈训练阶段流程相比，调控场景不再向被试提供特异性信号强度的视觉反馈，提示被试按之前构建好的策略继续进行主观调控，以测试被试的调控能力是否已经建立并可以迁移至普通生活场景；该阶段其余流程与反馈训练阶段相同；
步骤(5)、训练后静息态EEG：测试被试经过单个疗程神经反馈训练后静息状态下大脑活动强度的变化。
在本例的具体实施案例中，通过单个疗程，被试的特异性信号能量差异如图8所示。可以看出，经过一个疗程的神经反馈训练，被试与焦虑情绪相关的特异性信号能量有所下降，并且在迁移训练阶段依然可以保持相应的情绪调控能力，维持相关信号的低能量。结果说明，我们设计的特异性神经反馈信号能够很好引导个体进行情绪调控，具有靶向训练价值。
综上，本发明指出的一种基于多模态融合改善焦虑的特异性神经反馈系统，通过人体在情绪面孔刺激下的脑电图/脑磁图同步数据采集，进行脑电/脑磁数据分析与解码，构建通过MEG引导EEG的特异性神经反馈信号，具备更强的空间准确性与症状特异性；应用特异性信号进行神经反馈治疗，可以制定多疗程自适应的神经调控训练，改善用户的焦虑情绪，包括但不仅限于焦虑相关量表评分改善、焦虑生理指标改善以及脑影像层面改善等；由于脑电的便携性与非侵入性，本发明将大大降低患者的治疗痛苦，可以方便、无痛地进行神经调控，同时可进一步向家用、社区等场景发展。
最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (5)

1.基于多模态融合改善焦虑的特异性神经反馈系统，其特征在于，包括相互连接的脑电图采集模块(1)、实时处理模块(2)与视觉反馈模块(3)，
所述脑电图采集模块(1)与实时处理模块(2)相连接，所述实时处理模块(2)与视觉反馈模块(3)相连接，所述视觉反馈模块(3)与脑电图采集模块(1)相连接，从而构成一个闭环系统；
其中，所述脑电图采集模块(1)包括相互连接的采集单元(11)及通讯单元一(12)，所述通讯单元一(12)与实时处理模块(2)中的通讯单元二(21)相连，
所述实时处理模块(2)包括相互连接的通讯单元二(21)、数据预处理模块(22)、特征提取单元(23)及多模态特异性信号构建单元(24)，
所述多模态特异性信号构建单元(24)采用多模态特异性信号构建单元与视觉反馈模块(3)中的范式控制单元(31)相连，
所述视觉反馈模块(3)包括范式控制单元(31)及显示单元(32)。
2.根据权利要求1所述的基于多模态融合改善焦虑的特异性神经反馈系统，其特征在于，
在所述脑电图采集模块(1)中，所述采集单元(11)采集脑电信号封装后通过通讯单元一(12)发送至实时处理模块(2)；
所述实时处理模块(2)中的通讯单元二(21)从脑电图采集模块(1)获取脑电数据后，先经由数据预处理模块(22)对脑电图信号进行预处理，再经由特征提取单元(23)进行解码，通过多模态特异性信号构建单元(24)，解码后的信号通过多模态特异性映射模型，获得情绪相关核心脑区活动的实时特异性映射信号；
所述实时处理模块(2)产生的特异性映射信号经过所述视觉反馈模块(3)中的范式控制单元(31)封装，最后显示单元(32)显示引导语与封装的特异性信号反馈信息。
3.根据权利要求1所述的基于多模态融合改善焦虑的特异性神经反馈系统，其特征在于，
所述构成的闭环系统用于辅助制定个体化的神经反馈调控训练；
所述神经反馈是一种神经调控方法，其需连续进行反馈训练4～10个疗程；
其中，单次特异性神经反馈训练则由视觉反馈模块(3)内的范式控制单元(31)控制，其具体操作步骤如下：
(1)、基线静息态EEG：观察未训练前的用户静息状态下大脑的活动，建立神经反馈过程中所使用的调控阈值；
(2)、练习阶段：帮助被试熟悉实验流程，并协助被试构想出3～5个神经反馈策略，供练习使用，选取其中调控效果最好的1～2个用于正式的神经反馈训练中；
(3)、反馈训练阶段：被试通过已经构建好的策略进行3组正式神经反馈训练，通过下调特异性信号能量达到神经反馈效果；
其中，单组训练包含3种不同场景，分别为休息，调控与计算；
休息场景被试放松，使神经活动恢复到基线状态；
调控场景以视觉反馈形式向被试实时反馈特异性信号强度，要求被试使用反馈策略下调该特异性信号强度；
计算场景被试进行简单的数学运算，帮助打乱并脱离前述的调控状态；
单个场景持续40秒，三种场景共按序重复4次；
(4)、迁移训练阶段：与反馈训练阶段流程相比，调控场景不再向被试提供特异性信号强度的视觉反馈，提示被试按之前构建好的策略继续进行主观调控，以测试被试的调控能力是否已经建立并可迁移至普通生活场景；该阶段其余流程与反馈训练阶段相同；
(5)、训练后静息态EEG：测试被试经过单个疗程神经反馈训练后静息状态下大脑活动强度的变化。
4.根据权利要求2所述的基于多模态融合改善焦虑的特异性神经反馈系统，其特征在于，
所述特异性映射模型的构建步骤具体如下：
(1)、脑电/脑磁同步采集实验：通过在高电磁屏蔽的脑磁图室进行脑电图与脑磁图同步采集实验，获取脑电图、脑磁图同步数据；
(2)、脑电图信号处理：对步骤(1)内的脑电信号，预处理后提取脑电信号的多通道多频段特征信息；
(3)、脑磁图信号处理：对步骤(1)内的脑磁图信号，预处理后获取全脑神经活动源头信号估计；
(4)、靶向区域源信号提取：对步骤(3)内的源信号估计，处理获取情绪靶向脑区的特异性神经活动源信号；
(5)、特异性模型搭建：对步骤(2)、(4)内的脑电多频段特征与脑磁情绪靶向脑区的特异性神经活动源信号，通过卷积神经网络方法，构建脑电与脑磁的特异性映射模型，通过皮层脑电信号表征脑深部情绪区域活动信号。
5.根据权利要求4所述的基于多模态融合改善焦虑的特异性神经反馈系统，其特征在于：
所述卷积神经网络方法的具体特征如下所述：以脑电图多通道多频段信号作为输入，目标信号为脑磁图源层面信号，进行回归分析；
以二维卷积层、批标准化层、非线性激活层为一个单独的卷积块，神经网络由多个卷积块与全连接层构成，并加入随机丢弃策略防止模型过拟合。通过模型获取由脑电图皮层信号表征脑磁图特异性神经活动源信号的特异性映射信号。
CN202211121246.5A 2022-09-15 2022-09-15 基于多模态融合改善焦虑的特异性神经反馈系统 Pending CN115517687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211121246.5A CN115517687A (zh) 2022-09-15 2022-09-15 基于多模态融合改善焦虑的特异性神经反馈系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211121246.5A CN115517687A (zh) 2022-09-15 2022-09-15 基于多模态融合改善焦虑的特异性神经反馈系统

Publications (1)

Publication Number Publication Date
CN115517687A true CN115517687A (zh) 2022-12-27

Family

ID=84697567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211121246.5A Pending CN115517687A (zh) 2022-09-15 2022-09-15 基于多模态融合改善焦虑的特异性神经反馈系统

Country Status (1)

Country Link
CN (1) CN115517687A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449964A (zh) * 2023-06-15 2023-07-18 中国科学院自动化研究所 一种脑电和脑磁融合的脑机接口指令下达方法及装置
CN117130490A (zh) * 2023-10-26 2023-11-28 天津大学 一种脑机接口控制系统及其控制方法和实现方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449964A (zh) * 2023-06-15 2023-07-18 中国科学院自动化研究所 一种脑电和脑磁融合的脑机接口指令下达方法及装置
CN116449964B (zh) * 2023-06-15 2023-08-15 中国科学院自动化研究所 一种脑电和脑磁融合的脑机接口指令下达方法及装置
CN117130490A (zh) * 2023-10-26 2023-11-28 天津大学 一种脑机接口控制系统及其控制方法和实现方法
CN117130490B (zh) * 2023-10-26 2024-01-26 天津大学 一种脑机接口控制系统及其控制方法和实现方法

Similar Documents

Publication Publication Date Title
US10182736B2 (en) Configuration and spatial placement of frontal electrode sensors to detect physiological signals
Schomer et al. Niedermeyer's electroencephalography: basic principles, clinical applications, and related fields
US10258291B2 (en) Systems and methods for evaluation of neuropathologies
US11529515B2 (en) Transcranial stimulation device and method based on electrophysiological testing
JP2019528104A (ja) 生体信号のモニタリングのための耳内感知システムおよび方法
CN115517687A (zh) 基于多模态融合改善焦虑的特异性神经反馈系统
KR20160055103A (ko) 뇌 건강의 다중-모드 생리적 자극 및 평가를 위한 시스템 및 시그너처
KR102522726B1 (ko) 실시간 뇌 기능 활성 모니터링을 이용한 뇌 자극 장치
US20210106830A1 (en) Systems, methods and media for detecting and facilitating an effortful mental task by providing real-time deep brain stimulation
Desmedt Active touch exploration of extrapersonal space elicits specific electrogenesis in the right cerebral hemisphere of intact right-handed man.
Händel et al. The brain during free movement–What can we learn from the animal model
KR20230148838A (ko) 신경학적 상태의 증상을 모니터링하기 위한 장치, 시스템 및 방법
Smith Electroencephalograph based brain computer interfaces
SITARAM et al. 18| BCIS THAT USE BRAIN METABOLIC SIGNALS
KR102646182B1 (ko) 3d 안경을 착용하고 웨어러블 eeg 헤드셋을 구비하는 eeg 측정 및 자극 시스템
Sitaram et al. Real-time regulation and detection of brain states from fMRI signals
KR101919907B1 (ko) 다중 신경생리신호 기반 사용자 간 상호작용 모니터링 장치 및 방법
Bonomi Role of spatial filtering in the pre-processing chain of a BCI for non-responsive patients
Sugata et al. Relationship between the spatial pattern of P300 and performance of a P300-based brain-computer interface in amyotrophic lateral sclerosis
Headset Towards Multimodal Neuroimaging
Jishad et al. Brain computer interfaces: the basics, state of the art, and future
Gilford Localisation of brain activity for SSVEP-based BCIs: an fMRI and EEG study
Rostami et al. Potential of Brain-Computer Interfaces in Dementia
Hazra EEG based brain computer interfacing for color perception
Corralejo Palacios Decoding P300 evoked potentials for Brain Computer Interfaces (BCI) aimed at assisting potential end-users at home

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination