CN114557677A - 一种基于多模态融合的认知调控与训练系统 - Google Patents

一种基于多模态融合的认知调控与训练系统 Download PDF

Info

Publication number
CN114557677A
CN114557677A CN202210197647.2A CN202210197647A CN114557677A CN 114557677 A CN114557677 A CN 114557677A CN 202210197647 A CN202210197647 A CN 202210197647A CN 114557677 A CN114557677 A CN 114557677A
Authority
CN
China
Prior art keywords
module
cognitive
patient
magnetic stimulation
transcranial magnetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210197647.2A
Other languages
English (en)
Other versions
CN114557677B (zh
Inventor
张静莎
李增勇
张腾宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Research Center for Rehabilitation Technical Aids
Original Assignee
National Research Center for Rehabilitation Technical Aids
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Research Center for Rehabilitation Technical Aids filed Critical National Research Center for Rehabilitation Technical Aids
Priority to CN202210998278.7A priority Critical patent/CN115153452A/zh
Priority to CN202210197647.2A priority patent/CN114557677B/zh
Publication of CN114557677A publication Critical patent/CN114557677A/zh
Application granted granted Critical
Publication of CN114557677B publication Critical patent/CN114557677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00—Magnetotherapy
    • A61N2/004—Magnetotherapy specially adapted for a specific therapy
    • A61N2/006—Magnetotherapy specially adapted for a specific therapy for magnetic stimulation of nerve tissue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Neurosurgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Magnetic Treatment Devices (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于多模态融合的认知调控与训练系统，包括认知任务推荐模块、认知任务训练模块、信息采集模块、信息分析模块、认知任务自适应调整模块、认知评估模块、经颅磁刺激开关模块、反馈模块、经颅磁控制模块，经颅磁刺激模块。利用本系统，能够为患者提供个性化自适应认知任务和经颅磁神经调控多模态互相融合的认知功能训练方案，提高患者认知功能康复的效率和效果。

Description

一种基于多模态融合的认知调控与训练系统
技术领域
本发明涉及认知康复训练领域，尤其涉及一种基于多模态融合的认知调控与训练系统。
背景技术
随着全世界人口的老龄化,老年人认知功能障碍的患病率逐渐增加，认知障碍相关疾病严重威胁老年人的健康，给家庭和社会带来沉重负担，其防治是一项重要挑战。近年来，认知神经科学研究，提供了坚实的证据，支持了认知障碍老人的脑和认知仍然存在可塑性。核磁(MRI)脑结构成像、脑电(EEG)、近红外(fNIRS)、功能性核磁(fMRI)等神经成像技术在认知障碍评估方面显示了广阔的应用前景。运动干预能增强脑源性营养因子(BDNF)和其他促进神经发生的生长因子表达，进而保护海马等神经结构和其对应的记忆等认知功能。非入侵式经颅磁刺激等新型无创神经调控技术能直接对大脑皮层特定脑区进行神经调控，并影响相关的脑神经通路，对认知障碍患者的认知康复具有显著积极作用。但是每种认知评估和训练技术都有其自身的优势和局限性，因此利用多模态认知调控和训练技术相结合，才能够真正增强和延长认知功能增益，实现最优认知康复训练效果。
为此，本发明提供了种基于多模态融合的认知调控与训练系统。将经颅磁刺激神经调控与认知训练任务进行多模态融合，提升脑认知功能、情感信息反馈与经颅磁刺激神经调控的匹配效率，从而实现了最优认知康复反馈训练效果。
发明内容
为实现本发明之目的，采用以下技术方案予以实现：
一种基于多模态融合的认知调控与训练系统，包括认知任务推荐模块、认知任务训练模块、信息采集模块、信息分析模块、认知任务自适应调整模块、认知评估模块、经颅磁刺激开关模块、反馈模块、经颅磁控制模块，经颅磁刺激模块，其中：认知任务推荐模块用于根据患者的量表评分、核磁影像和临床诊断结果推荐适合患者的认知任务列表；认知任务训练模块用于在显示器上显示任务；信息采集模块用于采集患者在认知任务过程中的脑功能信息、面部表情信息；信息分析模块用于根据信息采集模块采集的脑功能信息、面部表情信息分析患者的脑功能偏侧性、脑功能网络聚类系数及患者情绪；认知任务自适应调整模块用于根据信息分析模块分析患者的脑功能偏侧性、脑功能网络聚类系数及情绪进行认知任务难度、训练时间等的自适应调整；认知评估模块用于根据患者的情绪、脑功能以及认知任务完成情况进行综合认知评估；经颅磁刺激开关模块用于根据认知任务评估模块的结果启动或关闭磁刺激；反馈模块用于反馈经颅磁刺激过程中患者的脑功能与情绪情况；经颅磁刺激控制模块用于根据反馈模块反馈的信息进行磁刺激控制参数的调整；经颅磁刺激模块用于根据经颅磁刺激开关模块输出的启动或关闭指令启动或关闭，对患者脑部进行非侵入式磁刺激，并根据经颅磁控制模块输出的具体参数指令进行参数调整。
所述的基于多模态融合的认知调控与训练系统，其中：认知任务推荐模块利用智能学习算法从任务推荐模块中的认知训练知识库中自动推荐适合患者的认知任务。
所述的基于多模态融合的认知调控与训练系统，其中认知任务推荐模块利用智能学习算法从任务推荐模块中的认知训练知识库中自动推荐适合患者的认知任务包括：
步骤1：对预先建立的认知训练知识库中的数据进行预处理；
步骤2：利用卷积神经网络模型提取预处理后的核磁共振脑图像的数据特征；
Figure BDA0003527741650000031
其中，conv2表示卷积运算，WCNN表示卷积核矩阵，valid是卷积的运算类型，MRI为输入的图像矩阵，BCNN是偏置，
Figure BDA0003527741650000032
表示池化运算；
步骤3：将步骤2中的磁共振脑图像的数据特征和预处理后ADAS-Cog量表、生化数据结果和基本信息输入到另一个卷积神经网络模型进行训练和模型优化，得到卷积神经网络-卷积神经网络认知任务推荐模型：
[TYPE,DD,TIME,Fe]＝FCNN-CNN(QMRI,LADAS-Cog,CSTBT,JAI)
其中，TYPE为推荐的认知任务种类，DD为认知任务的难度系数，TIME为认知任务的训练时间，Fe为认知任务的训练频次，FCNN-CNN为训练好的卷积神经网络-卷积神经网络模型，LADAS-Cog为预处理后ADAS-Cog量表数据特征，QMRI为核磁共振脑图像数据特征，CSTBT为预处理后的生化数据特征，JAI为预处理后的基本信息数据特征。
所述的基于多模态融合的认知调控与训练系统，其中：信息分析模块用于对信息采集模块采集的脑血氧信息、面部图像信息进行预处理，并对预处理后的脑血氧信息进行复小波变换、小波相位相干性计算分析，得出患者的偏侧性指标，如下：
Figure BDA0003527741650000041
其中，SI为偏侧性指标，LK为左侧脑网络的总节点数，RK为右侧脑网络的总节点数，blilj为左侧脑网络节点li与左侧脑网络节点lj连接的通道数量，qlilj为左侧脑网络节点li与左侧脑网络节点lj的最短路径，表示传输效率，brirj为右侧脑网络节点ri与右侧脑网络节点rj的连接的通道数量，qrirj为右侧脑网络节点ri与右侧脑网络节点rj的最短路径，表示传输效率，sliki为左侧脑网络节点li与其他左右脑网络节点ki连接的通道数量，srikj为右侧脑网络节点ri与其他左右脑网络节点kj连接的通道数量，λ为矫正系数；节点li与lj为左侧脑网络中不同的节点；节点ri与节点rj为右侧脑网络中不同的节点。
所述的基于多模态融合的认知调控与训练系统，其中：
当患者为左利手时，
Figure BDA0003527741650000042
当患者为右利手时，
Figure BDA0003527741650000043
其中：
Figure BDA0003527741650000051
Figure BDA0003527741650000052
左侧脑网络节点li与左侧脑网络节点lj的最短路径为：
Figure BDA0003527741650000053
其中，N为左侧脑血氧信号数据序列经过复小波变换后包含脑血氧信号的个数，
Figure BDA0003527741650000054
为节点li与节点lj之间脑血氧信号相位差；
右侧脑网络节点ri与右侧脑网络节点rj的最短路径为：
Figure BDA0003527741650000055
其中，M为右侧脑血氧信号数据序列经过复小波变换后包含脑血氧信号的个数，
Figure BDA0003527741650000056
为节点ri与节点rj之间脑血氧信号相位差；
所述的基于多模态融合的认知调控与训练系统，其中：信息分析模块用于基于图论的脑功能连接分析，得出患者的脑功能网络聚类系数：
Figure BDA0003527741650000057
其中，CI是脑功能网络聚类系数，N为脑网络总节点数(N＝LK+RK)，ki是脑网络节点i与其他节点连接的总数，λij是节点i与节点j连接的通道数量，λij(h)是节点i与节点j的最短路径中经过的非节点i，j的节点h的数量，dij是节点i与节点j的之间的最短路径。
所述的基于多模态融合的认知调控与训练系统，其中：信息分析模块用于对预处理后的面部图像信息进行利用卷积神经网络算法进行特征提取，得到患者面部表情系数：
Yq＝GCNN(W,Dfeature,B)
其中，GCNN为卷积神经网络模型，W为不同卷积层的连接权重，Dfeature为提取的面部图像特征，B为卷积神经网络模型的偏置，Yq为得出的患者的表情系数，包括正面、中性、负面三种情绪类型。
所述的基于多模态融合的认知调控与训练系统，其中：认知评估模块用于根据患者的情绪、脑功能偏侧性以及认知任务完成情况进行综合认知评估。
Q＝C1*Yq+C2*SI+C3*CI+C4*Pn
其中，Q为综合认知评估值，Yq为情绪指标，SI为脑功能偏侧性指标，CI为脑功能网络聚类系数，Pn为认知任务训练模块根据认知训练执行期间的任务难度系数和任务时间自动计算得出的认知任务评分，C1、C2、C3、C4为权重系数。当患者情绪负面时，Yq取值为-1；当患者情绪正面时，Yq取值为1；当患者情绪中性时，Yq取值为0。
所述的基于多模态融合的认知调控与训练系统，其中：当患者初次进行经颅磁刺激时，经颅磁刺激控制模块从经颅磁刺激参数数据库中找到与当前患者信息最接近的信息，包括：将当前患者与经颅磁刺激参数数据库中患者的基本信息、脑功能偏侧性指标、脑功能网络聚类系数指标、情绪指标、最大刺激频率、最大刺激强度中的文本信息通过word2vec转换为向量数据，并计算向量相似度，将向量相似度作为当前患者信息最接近的患者；
向量相似度的计算公式为：
Figure BDA0003527741650000071
其中，c(x,y)表示当前患者x与经颅磁刺激参数数据库中患者y的向量相似度，n为患者信息转换后的向量数据个数，Dx(i)表示当前患者x第i个数据向量，Dy(i)表示经颅磁刺激参数数据库中患者y第i个数据向量，||Dx(i)||表示当前患者x第i个数据向量的模，·表示向量相乘，即向量的数量积，||Dy(i)||表示经颅磁刺激参数数据库中患者y第i个数据向量的模，ki表示第i个数据向量所占的权重，满足
Figure BDA0003527741650000072
gxy表示当前患者x与经颅磁刺激参数数据库中患者y的向量相同的个数。
附图说明
图1为本发明基于多模态融合的认知调控与训练系统的构成示意图；
图2为本发明多模态融合的认知调控与训练方法流程图；
图3为本发明经颅磁刺激参数调整示意图。
具体实施方式
下面结合附图1，对本发明的具体实施方式进行详细说明。
如图1所示，本发明的一种基于多模态融合的认知调控与训练系统，包括认知任务推荐模块、认知任务训练模块、信息采集模块、信息分析模块、认知任务自适应调整模块、认知评估模块、经颅磁刺激开关模块、反馈模块、经颅磁控制模块，经颅磁刺激模块，其中：认知任务推荐模块用于根据患者的ADAS-Cog量表评分、核磁影像和临床诊断结果利用人工智能算法推荐适合患者的认知任务列表；信息采集模块用于采集患者在认知任务过程中的脑功能信息、面部表情信息；信息分析模块用于根据信息采集模块采集的脑功能信息、面部表情信息分析患者的脑功能偏侧性、脑功能网络聚类系数及患者情绪；认知任务自适应调整模块用于根据信息分析模块分析患者的脑功能偏侧性、脑功能网络聚类系数及情绪进行认知任务难度、训练时间等的自适应调整；认知评估模块用于根据患者的情绪、脑功能以及认知任务完成情况进行综合认知评估；经颅磁刺激开关模块用于根据认知任务评估模块的结果启动或关闭磁刺激；反馈模块用于反馈经颅磁刺激过程中患者的脑功能与情绪情况；经颅磁刺激控制模块用于根据反馈模块反馈的信息进行磁刺激控制参数的调整；经颅磁刺激模块用于根据经颅磁刺激开关模块输出的启动或关闭指令启动或关闭，对患者脑部进行非侵入式磁刺激，并可根据经颅磁控制模块输出的具体参数指令进行参数调整。
认知任务推荐模块利用智能学习算法从任务推荐模块中的认知训练知识库中自动推荐适合患者的认知任务。其中认知训练知识库是通过收集临床患者的ADAS-Cog量表(语言理解能力、回忆测验指令、注意力、意向性等)评分、核磁影像和生化结果以及医生开具的认知训练方案构成的，并根据临床认知训练任务的调整不断的更新。
优选地，认知任务种类包含眼动任务、平衡任务、记忆任务、注意力任务等等，例如眼动任务包括追随训练、朝向眼跳训练、反向眼跳训练等；平衡任务包括坐姿平衡训练、左右平衡训练、头部平衡训练等；记忆任务包括数字记忆训练、图片记忆训练、颜色记忆训练、句子复述训练等；注意力任务包括不同声光刺激下的计算训练、表达训练、游戏指令训练等等。
进一步的，每个认知训练任务都是由易到难逐渐递增设计的。
认知任务训练模块用于在显示器上显示认知任务，供使用者进行认知任务训练。
所述智能学习算法是基于认知训练知识库，建立的卷积神经网络-卷积神经网络模型，为患者推荐认知训练任务的种类、难度系数和任务时间，具体方法如下：
步骤1：对预先建立的认知训练知识库中的数据进行预处理：对核磁共振脑图像进行滤波和去噪处理，对ADAS-Cog量表、生化数据结果(例如Aβ42和Tau脑脊液蛋白、血清脂联素水平、超敏C反应蛋白等)和基本信息(年龄、性别、学历、职业、高血压史、糖尿病史等个人信息)进行归一化预处理；
步骤2：利用卷积神经网络模型提取预处理后的核磁共振脑图像的数据特征；
Figure BDA0003527741650000101
其中，conv2表示卷积运算，WCNN表示卷积核矩阵，valid是卷积的运算类型，MRI为输入的图像矩阵，BCNN是偏置，
Figure BDA0003527741650000102
表示池化运算；
步骤3：将步骤2中的磁共振脑图像的数据特征和预处理后ADAS-Cog量表、生化数据结果和基本信息输入到另一个卷积神经网络模型中进行训练和模型优化，并不断的进行模型的参数优化，最终得到卷积神经网络-卷积神经网络认知任务推荐模型。
[TYPE,DD,TIME,Fe]＝FCNN-CNN(QMRI,LADAS-Cog,CSTBT,JAI)
其中，TYPE为推荐的认知任务种类，DD为认知任务的难度系数，TIME为认知任务的训练时间，Fe为认知任务的训练频次，FCNN-CNN为训练好的卷积神经网络-卷积神经网络模型，LADAS-Cog为预处理后ADAS-Cog量表数据特征，QMRI为核磁共振脑图像数据特征，CSTBT为预处理后的生化数据特征，JAI为预处理后的基本信息数据特征。
优选地，每隔2个月会对患者的ADAS-Cog量表(语言理解能力、回忆测验指令、注意力、意向性等)评分、核磁影像和生化结果进行评估，重新通过智能学习算法为患者推荐认知任务的种类、难度系数和任务时间。
信息采集模块用于采集患者在认知任务过程中的脑功能信息、面部图像信息。其中利用近红外脑功能设备采集患者认知训练任务过程中的脑血氧信息；利用深度摄像机采集患者认知训练任务过程中的面部图像信息。
信息分析模块用于对信息采集模块采集的脑血氧信息、面部图像信息进行预处理，并对预处理后的脑血氧信息进行复小波变换、小波相位相干性计算分析，得出患者的偏侧性指标，如下：
Figure BDA0003527741650000111
其中，SI为偏侧性指标，LK为左侧脑网络的总节点数，RK为右侧脑网络的总节点数，blilj为左侧脑网络节点li与左侧脑网络节点lj连接的通道数量，qlilj为左侧脑网络节点li与左侧脑网络节点lj的最短路径，表示传输效率，brirj为右侧脑网络节点ri与右侧脑网络节点rj连接的通道数量，qrirj为右侧脑网络节点ri与右侧脑网络节点rj的最短路径，表示传输效率，sliki为左侧脑网络节点li与其他左右脑网络节点ki连接的通道数量，srikj为右侧脑网络节点ri与其他左右脑网络节点kj连接的通道数量，λ为矫正系数；节点li与lj为左侧脑网络中不同的节点；节点ri与节点rj为右侧脑网络中不同的节点。
进一步的，当患者为左利手时，
Figure BDA0003527741650000112
当患者为右利手时，
Figure BDA0003527741650000113
其中：
Figure BDA0003527741650000114
Figure BDA0003527741650000115
左侧脑网络节点li与左侧脑网络节点lj的最短路径为：
Figure BDA0003527741650000121
其中，N为左侧脑血氧信号数据序列经过复小波变换后包含脑血氧信号的个数，
Figure BDA0003527741650000122
为节点li与节点lj之间脑血氧信号相位差。
右侧脑网络节点ri与右侧脑网络节点rj的最短路径为：
Figure BDA0003527741650000123
其中，M为右侧脑血氧信号数据序列经过复小波变换后包含脑血氧信号的个数，
Figure BDA0003527741650000124
为节点ri与节点rj之间脑血氧信号相位差。
以及基于图论的脑功能连接分析，得出患者的脑功能网络聚类系数：
Figure BDA0003527741650000125
其中，CI是脑功能网络聚类系数，N为脑网络总节点数(N＝LK+RK)，ki是脑网络节点i与其他节点连接的总数，λij是节点i与节点j连接的通道数量，λij(h)是节点i与节点j的最短路径中经过的非节点i，j的节点h的数量，dij是节点i与节点j的之间的最短路径。
脑功能网络聚类系数是用来衡量脑网络中的节点与其附近的节点倾向于聚集在一起的程度。研究表明，随着患者认知能力下降，前额叶脑功能网络的聚类系数也会随之下降。
对预处理后的面部图像信息进行利用卷积神经网络算法进行特征提取，得到患者面部表情系数：
Yq＝GCNN(W,Dfeature,B)
其中，GCNN为卷积神经网络模型，W为不同卷积层的连接权重，Dfeature为提取的面部图像特征，B为卷积神经网络模型的偏置，Yq为得出的患者的表情系数，分为正面、中性、负面三种情绪类型。当Yq取值为[0.6,0.9)时为正面情绪，取值为[0.3,0.6)为中性情绪,取值为(0,0.3]为负面情绪。
认知任务自适应调整模块用于根据信息分析模块分析患者的脑功能偏侧性、脑功能网络聚类系数及情绪类型进行认知任务难度、训练时间等的自适应调整。具体调整如下：
当患者的情绪负面时，调换认知任务种类，当患者的情绪正面且脑功能偏侧性低于阈值时，调低认知任务难度，当患者的情绪正面且脑功能偏侧性高于阈值时，调高认知任务难度；当患者的情绪正面且脑功能网络聚类系数低于阈值时，调低认知任务时间；当患者的情绪正面且脑功能网络聚类系数低于阈值时，增加认知任务时间。
可选的，将所述患者的情绪状态、脑功能偏侧性、脑功能网络聚类系数以及对应认知训练任务档案进行保存。当患者为非初次进行认知训练时，则以前一天认知训练任务难度系数的中间值开始训练；若患者为初次进行认知任务训练，则以认知任务推荐模块推荐的认知任务开始训练。
认知评估模块用于根据患者的情绪、脑功能偏侧性以及认知任务完成情况进行综合认知评估。
Q＝C1*Yq+C2*SI+C3*CI+C4*Pn
其中，Q为综合认知评估值，Yq为情绪指标，SI为脑功能偏侧性指标，CI为脑功能网络聚类系数，Pn为认知任务训练模块根据认知训练执行期间的任务难度系数和任务时间自动计算得出的认知任务评分，C1、C2、C3、C4为权重系数。当患者情绪负面时，Yq取值为-1；当患者情绪正面时，Yq取值为1；当患者情绪中性时，Yq取值为0。
经颅磁刺激开关模块用于根据认知任务评估模块的结果启动或关闭磁刺激，当认知评估模块得出的综合认知评估值Q低于阈值0.6时，打开经颅磁刺激开关模块，对患者进行经颅磁刺激。
反馈模块用于接收信息分析模块在经颅磁刺激过程中得到的情绪指标与脑功能偏侧性和脑功能网络聚类系数，并将接收到的信息反馈给经颅磁刺激控制模块；
经颅磁刺激控制模块用于根据反馈模块反馈的信息进行磁刺激控制参数的调整；
有研究表明，当磁刺激的强度和部位不变时，不同频率的磁刺激与认知功能障碍患者脑功能侧偏性具有一定的相关性；当磁刺激的频率和强度不变时，不同部位的磁刺激与患者的脑功能网络聚类系数具有一定的相关性；当磁刺激的频率和部位不变时，不同强度的磁刺激对认知功能障碍患者情绪有一定的影响。
如图3所示，具体调整如下：当患者第一次使用经颅磁刺激模块时，经颅磁刺激控制模块预先设定经颅磁刺激模块的频率、强度、刺激部位，并判断脑功能偏侧性指标SI是否超出阈值M1，如果没有超出，则将经颅磁刺激模块的频率增加；如果超出正常阈值，则将经颅磁刺激模块的频率调低；再判脑功能网络聚类系数指标CI是否超出阈值M2，如果没有超出，则经颅磁刺激模块的刺激部位不变；如果超出正常阈值，则调整经颅磁刺激模块的刺激部位；则再判患者情绪指标Yq是否为负面情绪，如果是，则将经颅磁刺激模块的强度增加；如果不是，则将经颅磁刺激模块的强度不变。
经颅磁刺激模块用于根据经颅磁刺激开关模块输出的启动或关闭指令启动或关闭，根据经颅磁控制模块输出的具体参数指令进行参数调整。
认知训练任务中第一次预设经颅磁刺激时间为10分钟，然后休息2分钟，再进行认知任务训练，当再次进行认知任务训练时，若患者的综合认知评估值Q能达到60％以上，则说明经颅磁刺激效果明显，若患者的综合认知评估值Q仍为60％以下，则将下次经颅磁刺激的时间增加，比如每次增加2分钟。
将认知训练过程中经颅磁刺激模块执行后，将患者认知评估系数最高的经颅磁刺激频率、强度、刺激部位等参数记录保存下来，作为下一次认知训练时经颅磁刺激参数的初始值。
脑功能偏侧性指标的阈值M1主要通过每次认知训练前对患者进行静息态时经颅磁刺激时所能承受的最大频率确定；脑功能网络聚类系数指标的阈值M2主要通过每次认知训练前对患者左右两侧脑区进行静息态经颅磁刺激时计算的脑功能网络聚类系数最大值确定。
经颅磁刺激的频率和强度最大值应不超过患者在静息态时经颅磁所能承受的刺激频率和强度的最大值。
进一步地，经颅磁刺激控制模块不断的收集患者基本信息、脑功能偏侧性指标、脑功能网络聚类系数指标、情绪指标、最大刺激频率、最大刺激强度和对应的最优经颅磁刺激参数等数据指标，以建立经颅磁刺激参数数据库。
当某患者初次进行经颅磁刺激时，则从经颅磁刺激参数数据库中找到与当前患者信息最接近的信息，具体方法为：将当前患者与经颅磁刺激参数数据库中患者的基本信息、脑功能偏侧性指标、脑功能网络聚类系数指标、情绪指标、最大刺激频率、最大刺激强度中的文本信息通过word2vec转换为向量数据，并计算向量相似度，将向量相似度作为当前患者信息最接近的患者。向量相似度的计算公式为：
Figure BDA0003527741650000161
其中，c(x,y)表示当前患者x与经颅磁刺激参数数据库中患者y的向量相似度，n为患者信息转换后的向量数据个数，Dx(i)表示当前患者x第i个数据向量，Dy(i)表示经颅磁刺激参数数据库中患者y第i个数据向量，||Dx(i)||表示当前患者x第i个数据向量的模，·表示向量相乘，即向量的数量积，||Dy(i)||表示经颅磁刺激参数数据库中患者y第i个数据向量的模，ki表示第i个数据向量所占的权重，满足
Figure BDA0003527741650000162
gxy表示当前患者x与经颅磁刺激参数数据库中患者y的向量相同的个数。
当c(x,y)的值为0.9-1时，则认为患者y与当前患者x的相似度为最高；当c(x,y)的值为0-0.2时，则认为患者y与当前患者x的没有相似性。
若从经颅磁刺激参数数据库得到多个与当前患者最相似的患者时，则将经颅磁刺激强度最低的患者作为当前患者初次经颅磁刺激方案。
若从经颅磁刺激参数数据库中没有得到与当前患者最相似的患者时，则可通过建立深度学习模型，智能地得出经颅磁刺激参数。具体方法为：
步骤1：将经颅磁刺激参数数据库按照4：2随机分为训练集和测试集；
步骤2：初始化长短时记忆神经网络LSTM模型，并用训练集不断地训练模型，每训练1000次，则用测试集进行测试，计算LSTM模型的准确率；
步骤3：当LSTM模型的准确率达到85％以上时，再进行模型验证优化，以当前患者通过LSTM模型得出经颅磁刺激参数Rn(x)，与医生给出经颅磁刺激参数Qn(x)作差的平方根作为LSTM模型的损失函数，即损失函数为
Figure BDA0003527741650000171
步骤4：损失函数最小对应的LSTM模型参数为最终的LSTM深度学习模型，通过该模型计算得出患者的经颅磁刺激参数。
认知训练系统还包括显示设备，如显示屏，用于实时呈现反馈模块的反馈过程。
与现有技术相对比，本发明的有益效果是：
(1)通过脑功能偏侧性、脑功能网络聚类系数、情绪及认知任务完成情况建立患者的综合认知评估模型，充分考虑到患者认知训练过程中大脑、情绪、认知任务等多源信息的融合作用，从而能够对患者的认知功能进行实时精准评估。
(2)充分利用患者脑功能偏侧性、脑功能网络聚类系数及患者情绪等特征指标的信息交互特性变化，对患者经颅磁刺激参数进行实时调整，促进大脑和经颅磁刺激数据协同优化和实时反馈。
(3)利用本系统，能够为患者提供个性化自适应认知任务和经颅磁神经调控多模态互相融合的认知功能训练方案，提高患者认知功能康复的效率和效果。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换，而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (3)

1.一种基于多模态融合的认知调控与训练系统，包括认知任务推荐模块、认知任务训练模块、信息采集模块、信息分析模块、认知任务自适应调整模块、认知评估模块、经颅磁刺激开关模块、反馈模块、经颅磁控制模块，经颅磁刺激模块，其特征在于：认知任务推荐模块用于根据患者的量表评分、核磁影像和临床诊断结果推荐适合患者的认知任务列表；认知任务训练模块用于在显示器上显示任务；信息采集模块用于采集患者在认知任务过程中的脑功能信息、面部表情信息；信息分析模块用于根据信息采集模块采集的脑功能信息、面部表情信息进行分析；认知任务自适应调整模块用于进行认知任务难度、训练时间的自适应调整；认知评估模块用于进行综合认知评估；经颅磁刺激开关模块用于根据认知任务评估模块的结果启动或关闭磁刺激；反馈模块用于反馈经颅磁刺激过程中患者的脑功能与情绪情况；经颅磁刺激控制模块用于根据反馈模块反馈的信息进行磁刺激控制参数的调整；经颅磁刺激模块用于根据经颅磁刺激开关模块输出的启动或关闭指令启动或关闭。
2.根据权利要求1所述的基于多模态融合的认知调控与训练系统，其特征在于：认知任务推荐模块利用智能学习算法从任务推荐模块中的认知训练知识库中自动推荐适合患者的认知任务。
3.根据权利要求1所述的基于多模态融合的认知调控与训练系统，其特征在于：信息分析模块用于对信息采集模块采集的脑血氧信息、面部图像信息进行预处理。
CN202210197647.2A 2022-03-02 2022-03-02 一种基于多模态融合的认知调控与训练系统 Active CN114557677B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210998278.7A CN115153452A (zh) 2022-03-02 2022-03-02 一种认知调控与训练系统
CN202210197647.2A CN114557677B (zh) 2022-03-02 2022-03-02 一种基于多模态融合的认知调控与训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210197647.2A CN114557677B (zh) 2022-03-02 2022-03-02 一种基于多模态融合的认知调控与训练系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210998278.7A Division CN115153452A (zh) 2022-03-02 2022-03-02 一种认知调控与训练系统

Publications (2)

Publication Number Publication Date
CN114557677A true CN114557677A (zh) 2022-05-31
CN114557677B CN114557677B (zh) 2022-08-19

Family

ID=81715892

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210197647.2A Active CN114557677B (zh) 2022-03-02 2022-03-02 一种基于多模态融合的认知调控与训练系统
CN202210998278.7A Pending CN115153452A (zh) 2022-03-02 2022-03-02 一种认知调控与训练系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210998278.7A Pending CN115153452A (zh) 2022-03-02 2022-03-02 一种认知调控与训练系统

Country Status (1)

Country Link
CN (2) CN114557677B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115295153A (zh) * 2022-09-30 2022-11-04 北京智精灵科技有限公司 基于深度学习的认知评估方法及认知任务推送方法
CN115423054A (zh) * 2022-11-07 2022-12-02 北京智精灵科技有限公司 基于认知障碍患者人格特征的不定时训练激励方法及系统
CN115445091A (zh) * 2022-09-02 2022-12-09 成都市第四人民医院 一种基于经颅磁刺激的毒品成瘾治疗系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312971B (zh) * 2023-05-15 2023-08-29 之江实验室 认知训练素材生成方法、认知训练方法、装置和介质
CN116344042B (zh) * 2023-05-31 2023-12-01 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040138578A1 (en) * 2002-07-25 2004-07-15 Pineda Jaime A. Method and system for a real time adaptive system for effecting changes in cognitive-emotive profiles
CN112274779A (zh) * 2020-10-28 2021-01-29 国家康复辅具研究中心 基于功能性近红外导向的经颅磁刺激系统及方法
CN113975633A (zh) * 2021-12-08 2022-01-28 国家康复辅具研究中心 一种基于多源信息耦合反馈的电刺激康复训练系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040138578A1 (en) * 2002-07-25 2004-07-15 Pineda Jaime A. Method and system for a real time adaptive system for effecting changes in cognitive-emotive profiles
CN112274779A (zh) * 2020-10-28 2021-01-29 国家康复辅具研究中心 基于功能性近红外导向的经颅磁刺激系统及方法
CN113975633A (zh) * 2021-12-08 2022-01-28 国家康复辅具研究中心 一种基于多源信息耦合反馈的电刺激康复训练系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
付灵弟等: "基于脑电和磁刺激的脑功能网络研究", 《纳米技术与精密工程》 *
王帅帅等: "基于皮层脑网络的背景音乐对空间认知工作记忆影响的实验研究", 《生物医学工程学杂志》 *
赵佳: "基于fNIRS的脑功能连接研究综述", 《北京生物医学工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115445091A (zh) * 2022-09-02 2022-12-09 成都市第四人民医院 一种基于经颅磁刺激的毒品成瘾治疗系统
CN115445091B (zh) * 2022-09-02 2023-10-27 成都市第四人民医院 一种基于经颅磁刺激的毒品成瘾治疗系统
CN115295153A (zh) * 2022-09-30 2022-11-04 北京智精灵科技有限公司 基于深度学习的认知评估方法及认知任务推送方法
CN115423054A (zh) * 2022-11-07 2022-12-02 北京智精灵科技有限公司 基于认知障碍患者人格特征的不定时训练激励方法及系统
CN115423054B (zh) * 2022-11-07 2023-04-07 北京智精灵科技有限公司 基于认知障碍患者人格特征的不定时训练激励方法及系统

Also Published As

Publication number Publication date
CN114557677B (zh) 2022-08-19
CN115153452A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN114557677B (zh) 一种基于多模态融合的认知调控与训练系统
CN111477299B (zh) 结合脑电检测分析控制的声电刺激神经调控方法及装置
Sabeti et al. A new approach for EEG signal classification of schizophrenic and control participants
US11116437B2 (en) Scoring method based on improved signals analysis
WO2019148557A1 (zh) 基于大脑血红蛋白信息的大脑功能状态评价装置
Djamal et al. Identification of post-stroke EEG signal using wavelet and convolutional neural networks
CN115206484B (zh) 一种脑卒中康复训练系统
CN114748080A (zh) 一种感觉运动功能的检测量化方法和系统
CN110931104A (zh) 基于机器学习的上肢康复机器人智能训练系统及方法
CN116564477B (zh) 一种认知功能障碍康复训练系统
CN116525109A (zh) 一种缺血性脑卒中患者康复预测模型建立方法
Plotnikov et al. Artificial intelligence based neurofeedback
CN114305418B (zh) 一种用于抑郁状态智能评估的数据采集系统及方法
CN114983419A (zh) 一种基于脑电信号提升运动技能的康复装置
CN114259651A (zh) 一种针对帕金森疾病的主动式实时闭环电刺激系统
CN114176610A (zh) 一种面向轻度认知功能障碍患者诊断的工作负荷评估方法
CN112599245A (zh) 心理健康指数评估方法及系统
CN117133404A (zh) 一种针对胸廓出口综合征的智能化康复护理装置
Cai et al. An adaptive neurofeedback method for attention regulation based on the Internet of Things
CN112656430A (zh) 基于站立位失衡诱发脑电的卒中平衡康复评估方法
CN117238449B (zh) 一种认知功能障碍的康复训练策略的优化方法及系统
CN112085169B (zh) 肢体外骨骼辅助康复脑-肌电融合感知的自主学习与进化方法
CN115944307B (zh) 基于时空变换器的癫痫脑电信号监测系统及方法
Kinjo et al. Patient stress estimation for using deep learning with RRI data sensed by WBAN
George Improved motor imagery decoding using deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant