CN115553752A - 一种基于多模态数据融合的脑功能障碍辅助评估方法 - Google Patents

一种基于多模态数据融合的脑功能障碍辅助评估方法 Download PDF

Info

Publication number
CN115553752A
CN115553752A CN202211304609.9A CN202211304609A CN115553752A CN 115553752 A CN115553752 A CN 115553752A CN 202211304609 A CN202211304609 A CN 202211304609A CN 115553752 A CN115553752 A CN 115553752A
Authority
CN
China
Prior art keywords
data
model
time
data fusion
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211304609.9A
Other languages
English (en)
Inventor
杜广龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202211304609.9A priority Critical patent/CN115553752A/zh
Publication of CN115553752A publication Critical patent/CN115553752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurology (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Fuzzy Systems (AREA)
  • Neurosurgery (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种基于多模态数据融合的脑功能障碍辅助评估方法。所述方法包括以下步骤：获取功能性核磁共振成像、脑电图以及功能性近红外光谱数据；根据获取的数据，分别基于离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型，获得对应的特征信息；通过基于机理分析与多模态特征融合的脑功能障碍辅助评估诊断方法，分析离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型产生的对应的特征信息，并生成患者脑活跃度情况，完成脑功能障碍辅助评估。本发明便于辅助医护人员对患者脑功能进行诊断。

Description

一种基于多模态数据融合的脑功能障碍辅助评估方法
技术领域
本发明涉及生物信息领域，特别涉及一种基于多模态数据融合的脑功能障碍辅助评估方法。
背景技术
脑功能障碍是一种包括神经、精神、儿童行为发育等多种类型疾病导致的运动、认知、言语、吞咽、精神情感等功能障碍。由于大脑是调节人类的运动、认知、行为、感觉、语言和情绪等各方面的中枢，因此脑功能将严重影响患者的生活，严重者甚至导致死亡。
在脑功能障碍康复治疗过程中，通常会借助能够表征脑区活跃度的特征数据(如fMRI、EEG、fNIR等)实现对脑功能区活跃度的分析并引导物理治疗设备来实现对具有脑功能障碍的区域进行精准治疗。其中磁共振功能成像技术(functional magnetic resonanceimaging，fMRI)通常指的是利用血氧水平依赖(blood oxygenation-level-dependent，BOLD)现象来分析大脑活动的磁共振成像技术(BOLD-fMRI)。其中血氧水平依赖现象是指血液中的血红蛋白和氧的不同结合状态有不同的磁性。血红蛋白和氧结合时(氧合血红蛋白)表现出抗磁性，而血红蛋白和氧脱离时(脱氧血红蛋白)表现出顺磁性。脑电图(electroencephalography，EEG)是一种记录脑电图的电生理检测方法，能够反应出大脑皮质锥体细胞顶树突的突触后电位变化的总和。当检测到的电信号越强，说明该脑部的活动越强烈。而功能性近红外光谱法(fNIRs)是指将近红外光谱法(NIRS)用于功能性神经成像的目的。其作用原理主要是通过与神经元行为相关的血液动力学反应来测量大脑活动。通常用脑组织中的氧合血红蛋白和脱氧血红蛋白对600-900nm范围内不同波长的近红外光吸收率的差异特性来检测大脑皮层的血液动力学活动。通过观测这种血液动力学变化反推出大脑的神经活动情况。
近年来，基于深度学习(Deep Learning)的多模态数据融合技术进展迅速，它将不同模态的数据相互融合，利用深度学习的拟合能力实现数据之间互补的优点，摆脱了单一数据中对于时间或空间的局限性，以便了解疾病的综合信息，保障医生决策的可靠性。然而，现有的多模态融合技术(郝爱民.基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法:中国,CN104299216A.2014.10.22.)，仅仅实现了对多模态医学图像的融合，未能明确如何对脑功能障碍患者给予个体化精准康复治疗，未实现舒适灵活的个体体位治疗方式。因此，如何融合具有表征信息的多模态数据并利用这些生成的多模态数据实现对个体的精准化康复治疗变得尤为重要。
发明内容
本发明的主要目的在于提供一种基于多模态数据融合的脑功能障碍辅助评估方法，该方法能够根据多模态特征信息实现对具有功能障碍脑区进行精准治疗。
本发明的目的至少通过如下技术方案之一实现。
一种基于多模态数据融合的脑功能障碍辅助评估方法，包括以下步骤：
S1、获取功能性核磁共振成像(fMRI)、脑电图以及功能性近红外光谱(fNIRs)数据；
S2、根据获取的数据，分别基于离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型，获得对应的特征信息；
S3、通过基于机理分析与多模态特征融合的脑功能障碍辅助评估诊断方法，分析离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型产生的对应的特征信息，并生成患者脑活跃度情况，完成脑功能障碍辅助评估。
进一步地，步骤S2中，基于功能性核磁共振成像(fMRI)和脑电图(EEG)的离散时空数据融合模型，用于提取功能性核磁共振成像(fMRI)数据在离散时间下的特征信息与脑电图(EEG)数据在离散空间下的特征信息，并生成融合特征信息；该融合特征信息用于解决传统方法使用时间图或空间图表征相关性的缺点，能够同时表征患者在连续时间下和连续空间下的大脑活跃度情况；
离散时空数据融合模型考虑功能性核磁共振成像(fMRI)数据和脑电图(EEG)数据均具有离散时空的特性，引入一种空间图指导的动态Transformer网络模型，并建立一种协同交叉时序Encoder-Decoder模型。
进一步地，所述空间图指导的动态Transformer网络模型利用空间图的结构指导Transformer网络模型进行动态特征聚合，具体如下：
假设共有s个空间离散观测点，首先根据不同观测点之间的空间地形及距离构建一个空间图邻接矩阵A∈Rs×s，其中Rs×s表示矩阵为s阶实数方阵，并对空间图邻接矩阵进行对称归一化得到归一化后的空间图邻接矩阵
Figure BDA0003906012020000031
最后利用归一化后的空间图邻接矩阵
Figure BDA0003906012020000032
指导生成Transformer网络模型的注意力分数；
设Q∈Rs×s为Transformer网络模型产生的s个空间测量点相互之间的注意力分数，在损失函数中添加如下拉普拉斯正则项：
Figure BDA0003906012020000033
拉普拉斯正则项将会使得生成的注意力分数Q在空间图邻接矩阵A所对应的图上尽量平滑；将上一个时刻生成的时序特征与当前时刻的原始特征合并共同送入Transformer网络模型用于生成注意力分数矩阵R，从而使Transformer网络模型能够建模不同观测点之间的动态联系。
进一步地，所述协同交叉时序Encoder-Decoder模型包括长短时记忆神经网络(LSTM)和基于图指导的Transformer网络模型；
所述协同交叉时序Encoder-Decoder模型计算过程如下：
首先将功能性核磁共振(fMRI)数据和脑电图(EEG)数据分别输入到基于图指导的Transformer网络模型中，随后Transformer网络模型的输出作为长短时记忆神经网络的输入，通过长短时记忆神经网络的特征关联产生功能性核磁共振和脑电图的融合特征信息。
进一步地，步骤S2中，基于功能性近红外光谱(fNIRs)数据和脑电图(EEG)数据的连续时空数据融合模型，用于生成功能性近红外数据和脑电图数据在连续时间下的融合特征信息，并结合近红外数据的空间分辨率产生连续时空下的特征信息；
所述连续时空数据融合模型引入一个基于注意力机制的多尺度图卷积神经网络模型，旨在进行特征提取和特征融合；其中，注意力机制用于揭示大脑连接之间的关联性；注意力计算的步骤如下：
首先，从第i个时刻的输入矩阵Xi中创建查询矩阵Hi和键值矩阵Ki，查询矩阵Hi和键值矩阵Ki由下式得到：
Hi＝WHXi
Ki＝WKXi
其中，WH、WK分别表示生成查询矩阵Hi的权重系数、生成键值矩阵Ki的权重系数，WH、WK由模型学习得到；值矩阵Vi通过权重系数Wv对第i个时刻的输入矩阵Xi进行加权求和得到，其过程表示如下：
Vi＝WvXi
其中，Wv由网络模型学习得到；最后注意力大小Ti由下式得到：
Figure BDA0003906012020000041
其中，k为Hi的维度；多尺度图卷积神经网络模型中自注意力模块输出表示为：Gi＝TiFi，Ti为第i个时刻的功能性近红外光谱数据产生的注意力大小，Fi为第i个时刻的功能性近红外光谱(fNIRs)数据的特征图；考虑到数据的时间连续性，输出
Figure BDA0003906012020000042
表示为：
Figure BDA0003906012020000043
其中，δi是以Gi作为输入并通过单层MLP学习得到，wj、Gj分别表示第j个时刻各自注意力模块的权重和第j个时刻自注意力模块的输出。
进一步地，所述多尺度图卷积神经网络模型包括图卷积神经网络和全局平均池化层，多尺度图卷积神经网络模型的计算过程如下：
首先对脑电图(EEG)时序信号进行信号重建并生成相应的波形轮廓；对功能性近红外(fNIRS)数据进行标准化并生成对功能性近红外(fNIRS)数据的相关性分析，进而产生特征图；
随后，将生成的波形轮廓以及特征图输入到图卷积神经网络中，产生融合特征信息，其中图卷积神经网络的计算过程如下：
Pl+1＝σ(LPlWl)
其中，Pl、Wl、L和σ分别为图卷积神经网络中第l层网络层的输出、权重系数、邻接矩阵和非线性激活函数；
最后对图卷积神经网络产生的融合特征信息进行全局平均池化操作，生成患者的显著性图谱。
进一步地，步骤S2中，基于功能性核磁共振成像(fMRI)数据和功能性近红外光谱(fNIRs)数据在时间和空间信息上的异构性，提出异构时空数据融合模型；所述异构时空数据融合模型结合了功能性核磁共振数据在空间上具有较高分辨率而功能性近红外光谱在时间上具有较高分辨率的特性，实现对功能性核磁共振成像数据和功能性近红外光谱数据的双模态数据融合；
所述异构时空数据融合模型的目标是在异构图像之间寻找一个空间变换或空间映射，将待配准图像变换到目标图像的图像空间中，从而建立图像之间空间位置的对应关系；使用基于特征的方法，首先从图像中提取特征，然后再基于特征定义度量进行特征匹配及图像配准。
进一步地，使用基于特征的方法，首先从图像中提取特征，然后再基于特征定义度量进行特征匹配及图像配准，具体如下：
首先，对功能性核磁共振成像(fMRI)获取的图像进行分割，接着选择核磁共振(MRI)基准点自动生成多个位置点，并通过刚性转换将其转换为相应的功能性近红外(fNIRS)数字化基准点，作为光极的位置；
通过计算头部表面中心和光极位置所在直线上的最近头部表面点来校正光极的位置，然后计算通道源和检测器的中点作为通道的位置，并投影到皮质网格上，通道位置的校正方法与光极类似；
随后，提取每通道对应的体素空间坐标，将体素空间坐标转换为标准化MNI空间下的坐标；计算标准化MNI空间下的坐标点上功能性核磁共振成像(fMRI)的β值和BOLD信号，并与功能性近红外(fNIRS)数据进行比较，完成空间配准过程。
进一步地，步骤S3中，利用ConvLSTM处理原始输出模态数据使得原始输出模态数据在时序上更加平滑，接着通过Transformer网络模型提取出不同特征图之间的联系，随后在时间维度上对特征信息进行堆叠并连同误差模式ε作为混合专家模型的输入；
其中，误差模型ε对不同类型误差的修正过程如下：
Figure BDA0003906012020000061
其中，
Figure BDA0003906012020000062
表示t时刻ConvLSTM输出的特征信息，n表示时间片的长度，
Figure BDA0003906012020000063
表示0时刻ConvLSTM输出的特征信息，Expertk为第k个混合专家模型。
进一步地，步骤S3中，专家系统包括k个混合专家模型Expertk，混合专家模型Expertk基于Transformer网络模型构成，每个混合专家模型Expertk包括输入层，transformer层和输出层，输入层的输入为经由Transformer网络模型计算得到并在时间维度上进行堆叠的特征信息以及误差模式ε，随后是具有双通道结构的transformer层，每个通道中都包括一个transformer结构，最后双通道transformer层的输出作为输出层的输入，输出层为单层的全连接神经网络；最后通过一个全连接混合模块获得最终的决策结果：
Figure BDA0003906012020000064
其中，
Figure BDA0003906012020000065
表示t时刻专家系统的输出，pk表示第k个混合专家模型Expertk的输出，K为专家系统中的混合专家模型数。
与现有技术相比，本发明具有以下有益效果：
首先本发明考虑了功能性核磁共振成像数据、脑电图数据在空间维度和时间维度上所具有的特性，引入了离散时空数据融合模型提取这两种模态的数据特性。随后为了进一步提高融合特征的时间分辨率和空间分辨率并根据功能性近红外的时空特性，提出了异构时空融合模型和连续时空模型。最后，为了准确评估，引入了专家系统。通过专家系统的评估，使得医护人员能够给出精准化的治疗方案，提高治疗效率。
附图说明
图1为本发明实施例中一种基于多模态数据融合的脑功能障碍辅助评估方法的步骤流程图；
图2为本发明实施例中一种协同交叉时序Encoder-Decoder模型的结构示意图。
图3为本发明实施例中多尺度图卷积神经网络模型的步骤流程图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。
实施例1：
一种基于多模态数据融合的脑功能障碍辅助评估方法，如图1所示，包括以下步骤：
S1、获取功能性核磁共振成像(fMRI)、脑电图以及功能性近红外光谱(fNIRs)数据；
S2、根据获取的数据，分别基于离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型，获得对应的特征信息；
基于功能性核磁共振成像(fMRI)和脑电图(EEG)的离散时空数据融合模型，用于提取功能性核磁共振成像(fMRI)数据在离散时间下的特征信息与脑电图(EEG)数据在离散空间下的特征信息，并生成融合特征信息；该融合特征信息用于解决传统方法使用时间图或空间图表征相关性的缺点，能够同时表征患者在连续时间下和连续空间下的大脑活跃度情况；
如图2所示，离散时空数据融合模型考虑功能性核磁共振成像(fMRI)数据和脑电图(EEG)数据均具有离散时空的特性，引入一种空间图指导的动态Transformer网络模型，并建立了一种协同交叉时序Encoder-Decoder模型。
所述空间图指导的动态Transformer网络模型利用空间图的结构指导Transformer网络模型进行动态特征聚合，具体如下：
假设共有s个空间离散观测点，首先根据不同观测点之间的空间地形及距离构建一个空间图邻接矩阵A∈Rs×s，其中Rs×s表示矩阵属于s阶实数方阵。对空间图邻接矩阵进行对称归一化得到归一化后的空间图邻接矩阵
Figure BDA0003906012020000081
最后利用归一化后的空间图邻接矩阵
Figure BDA0003906012020000082
指导生成Transformer网络模型的注意力分数；
具体地，设Q∈Rs×s为Transformer网络模型产生的s个空间测量点相互之间的注意力分数，在损失函数中添加如下拉普拉斯正则项：
Figure BDA0003906012020000083
拉普拉斯正则项将会使得生成的注意力分数Q在空间图邻接矩阵A所对应的图上尽量平滑；此外，将上一个时刻生成的时序特征与当前时刻的原始特征合并共同送入Transformer网络模型用于生成注意力分数矩阵R，从而使Transformer网络模型能够建模不同观测点之间的动态联系。
所述协同交叉时序Encoder-Decoder模型包括长短时记忆神经网络(LSTM)和基于图指导的Transformer网络模型；
所述协同交叉时序Encoder-Decoder模型计算过程如下：
首先将功能性核磁共振(fMRI)数据和脑电图(EEG)数据分别输入到基于图指导的Transformer网络模型中，随后Transformer网络模型的输出作为长短时记忆神经网络的输入，通过长短时记忆神经网络的特征关联产生功能性核磁共振和脑电图的融合特征信息。
基于功能性近红外光谱(fNIRs)数据和脑电图(EEG)数据的连续时空数据融合模型，用于生成功能性近红外数据和脑电图数据在连续时间下的融合特征信息，并结合近红外数据的空间分辨率产生连续时空下的特征信息；
所述连续时空数据融合模型引入一个基于注意力机制的多尺度图卷积神经网络模型，旨在进行特征提取和特征融合；其中，注意力机制用于揭示大脑连接之间的关联性；注意力计算的步骤如下：
首先，从第i个时刻的输入矩阵Xi中创建查询矩阵Hi和键值矩阵Ki，查询矩阵Hi和键值矩阵Ki可以由下式得到：
Hi＝WHXi
Ki＝WKXi
其中，WH、WK分别表示生成查询矩阵Hi的权重系数、生成键值矩阵Ki的权重系数并且WH、WK可由模型学习得到；同理，值矩阵Vi可通过权重系数Wv对第i个时刻的输入矩阵Xi进行加权求和得到，其过程表示如下：
Vi＝WvXi
其中Wv由网络模型学习得到。最后注意力大小Ti可以由下式得到：
Figure BDA0003906012020000091
其中，k为Hi的维度；多尺度图卷积神经网络模型中自注意力模块输出表示为：Gi＝TiFi，Ti为第i个时刻的功能性近红外光谱数据产生的注意力大小，Fi为第i个时刻的功能性近红外光谱(fNIRs)数据的特征图；考虑到数据的时间连续性，输出
Figure BDA0003906012020000092
可表示为：
Figure BDA0003906012020000093
其中，δi是以Gi作为输入并通过单层MLP学习得到，wj、Gj分别表示j时刻各自注意力模块的权重和j时刻自注意力模块的输出。
所述多尺度图卷积神经网络模型包括图卷积神经网络和全局平均池化层，如图3所示，多尺度图卷积神经网络模型的计算过程如下：
首先对脑电图(EEG)时序信号进行信号重建并生成相应的波形轮廓；对功能性近红外(fNIRS)数据进行标准化并生成对功能性近红外(fNIRS)数据的相关性分析，进而产生特征图；
随后，将生成的波形轮廓以及特征图输入到图卷积神经网络中，产生融合特征信息，其中图卷积神经网络的计算过程如下：
Pl+1＝σ(LPlWl)
其中，Pl、Wl、L和σ分别为图卷积神经网络中第l层网络层的输出、权重系数、邻接矩阵和非线性激活函数；
最后对图卷积神经网络产生的融合特征信息进行全局平均池化操作，生成患者的显著性图谱。
基于功能性核磁共振成像(fMRI)数据和功能性近红外光谱(fNIRs)数据在时间和空间信息上的异构性，提出异构时空数据融合模型；所述异构时空数据融合模型结合了功能性核磁共振数据在空间上具有较高分辨率而功能性近红外光谱在时间上具有较高分辨率的特性，实现对功能性核磁共振成像数据和功能性近红外光谱数据的双模态数据融合；
所述异构时空数据融合模型的目标是在异构图像之间寻找一个空间变换或空间映射，将待配准图像变换到目标图像的图像空间中，从而建立图像之间空间位置的对应关系；使用基于特征的方法，首先从图像中提取特征，然后再基于特征定义度量进行特征匹配及图像配准，具体如下：
首先，对功能性核磁共振成像(fMRI)获取的图像进行分割，接着选择核磁共振(MRI)基准点自动生成多个位置点，并通过刚性转换将其转换为相应的功能性近红外(fNIRS)数字化基准点，作为光极的位置；
通过计算头部表面中心和光极位置所在直线上的最近头部表面点来校正光极的位置，然后计算通道源和检测器的中点作为通道的位置，并投影到皮质网格上，通道位置的校正方法与光极类似；
随后，提取每通道对应的体素空间坐标，将体素空间坐标转换为标准化MNI空间下的坐标；计算标准化MNI空间下的坐标点上功能性核磁共振成像(fMRI)的β值和BOLD信号，并与功能性近红外(fNIRS)数据进行比较，完成空间配准过程。
S3、通过基于机理分析与多模态特征融合的脑功能障碍辅助评估诊断方法，分析离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型产生的对应的特征信息，并生成患者脑活跃度情况，完成脑功能障碍辅助评估。
所述机理分析与多模态特征融合数据的脑功能障碍评估诊断方法利用ConvLSTM处理原始输出模态数据使得原始输出模态数据在时序上更加平滑，接着通过Transformer网络模型提取出不同特征图之间的联系，随后在时间维度上对特征信息进行堆叠并连同误差模式ε作为混合专家模型的输入；
其中，误差模型ε对不同类型误差的修正过程如下：
Figure BDA0003906012020000111
其中，
Figure BDA0003906012020000112
表示t时刻ConvLSTM输出的特征信息，n表示时间片的长度，
Figure BDA0003906012020000113
表示0时刻ConvLSTM输出的特征信息，Expertk为第k个混合专家模型。
专家系统包括k个混合专家模型Expertk，混合专家模型Expertk基于Transformer网络模型构成，每个混合专家模型Expertk包括输入层，transformer层和输出层，输入层的输入为经由Transformer网络模型计算得到并在时间维度上进行堆叠的特征信息以及误差模式ε，随后是具有双通道结构的transformer层，每个通道中都包括一个transformer结构，最后双通道transformer层的输出作为输出层的输入，输出层为单层的全连接神经网络；最后通过一个全连接混合模块获得最终的决策结果：
Figure BDA0003906012020000114
其中，
Figure BDA0003906012020000115
表示t时刻专家系统的输出，pk表示第k个混合专家模型Expertk的输出，K为专家系统中的混合专家模型数。
实施例2：
与实施例1不同之处在于，步骤S2的连续时空数据融合模型中多尺度图卷积神经网络的计算过程为：
首先对脑电图(EEG)时序信号进行信号重建并生成相应的波形轮廓，考虑到脑电图(EEG)在时间维度上的顺序性，将其输入到循环神经网络中(RNN)计算生成特征矩阵，其中循环神经网络的计算过程如下：
Ot＝g(wo·Rt)
Rt＝f(wiXt+wlRt-1)
其中g、f为非线性激活函数；wo、wi、wl分别为输出层权重系数、输入层权重系数和循环单元权重系数。系数由模型学习获得。Ot表示循环神经网络的输出，即上述的特征矩阵；Rt、Rt-1分别表示t时刻和t-1时刻循环单元的输出。
对功能性近红外(fNIRS)数据进行标准化并生成对功能性近红外(fNIRS)数据的相关性分析，进而产生特征图；
随后，将生成的特征矩阵以及特征图输入到图卷积神经网络中，产生融合特征信息，其中图卷积神经网络的计算过程如下：
Pl+1＝σ(LPlWl)
其中Pl、Wl、L和σ分别为图卷积神经网络中第l层网络层的输出以及权重系数、拉普拉斯矩阵和非线性激活函数。
最后对图卷积神经网络产生的融合特征信息进行全局平均池化操作，生成患者的显著性图谱。
实施例3：
与实施例1不同之处在于，步骤S3的脑功能障碍辅助评估诊断方法使用LSTM处理原始输出模态数据，进行时序信号提取；随后通过Transformer网络模型提取出不同特征图之间的联系，随后在时间维度上对特征信息进行堆叠并连同误差模式ε作为混合专家模型的输入；
其中，误差模型ε对不同类型误差的修正过程如下：
Figure BDA0003906012020000121
其中，
Figure BDA0003906012020000122
表示t时刻ConvLSTM的输出的特征信息，n表示时间片的长度，
Figure BDA0003906012020000123
表示0时刻ConvLSTM的输出，Expertk为第k个混合专家模型；
专家系统包括k个混合专家模型Expertk，混合专家模型Expertk基于Transformer网络模型构成。每个混合专家模型Expertk包括输入层，transformer层和输出层。输入层的输入为上述的堆叠特征信息以及误差模式ε，随后是具有双通道结构的transformer层，每个通道中都包含一个transformer结构，最后双通道transformer层的输出作为输出层的输入。输出层为单层的全连接神经网络；最后通过一个全连接混合模块获得最终的决策结果：
Figure BDA0003906012020000124
其中
Figure BDA0003906012020000125
表示t时刻专家系统的输出，pk表示第k个混合专家模型Expertk的输出，K为专家系统中的混合专家模型数。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (10)

1.一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，包括以下步骤：
S1、获取功能性核磁共振成像、脑电图以及功能性近红外光谱数据；
S2、根据获取的数据，分别基于离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型，获得对应的特征信息；
S3、通过基于机理分析与多模态特征融合的脑功能障碍辅助评估诊断方法，分析离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型产生的对应的特征信息，并生成患者脑活跃度情况，完成脑功能障碍辅助评估。
2.根据权利要求书1所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，步骤S2中，基于功能性核磁共振成像(fMRI)和脑电图(EEG)的离散时空数据融合模型，用于提取功能性核磁共振成像(fMRI)数据在离散时间下的特征信息与脑电图(EEG)数据在离散空间下的特征信息，并生成融合特征信息；
离散时空数据融合模型考虑功能性核磁共振成像数据和脑电图数据均具有离散时空的特性，引入一种空间图指导的动态Transformer网络模型，并建立一种协同交叉时序Encoder-Decoder模型。
3.根据权利要求2所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，所述空间图指导的动态Transformer网络模型利用空间图的结构指导Transformer网络模型进行动态特征聚合，具体如下：
假设共有s个空间离散观测点，首先根据不同观测点之间的空间地形及距离构建一个空间图邻接矩阵A∈Rs×s，其中Rs×s表示矩阵为s阶实数方阵，并对空间图邻接矩阵进行对称归一化得到归一化后的空间图邻接矩阵
Figure FDA0003906012010000011
最后利用归一化后的空间图邻接矩阵
Figure FDA0003906012010000012
指导生成Transformer网络模型的注意力分数；
设Q∈Rs×s为Transformer网络模型产生的s个空间测量点相互之间的注意力分数，在损失函数中添加如下拉普拉斯正则项：
Figure FDA0003906012010000021
将上一个时刻生成的时序特征与当前时刻的原始特征合并共同送入Transformer网络模型用于生成注意力分数矩阵R。
4.根据权利要求3所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，所述协同交叉时序Encoder-Decoder模型包括长短时记忆神经网络和基于图指导的Transformer网络模型；
所述协同交叉时序Encoder-Decoder模型计算过程如下：
首先将功能性核磁共振数据和脑电图数据分别输入到基于图指导的Transformer网络模型中，随后Transformer网络模型的输出作为长短时记忆神经网络的输入，通过长短时记忆神经网络的特征关联产生功能性核磁共振和脑电图的融合特征信息。
5.根据权利要求1所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，步骤S2中，基于功能性近红外光谱数据和脑电图数据的连续时空数据融合模型，用于生成功能性近红外数据和脑电图数据在连续时间下的融合特征信息，并结合近红外数据的空间分辨率产生连续时空下的特征信息；
所述连续时空数据融合模型引入一个基于注意力机制的多尺度图卷积神经网络模型，旨在进行特征提取和特征融合；其中，注意力机制用于揭示大脑连接之间的关联性；注意力计算的步骤如下：
首先，从第i个时刻的输入矩阵Xi中创建查询矩阵Hi和键值矩阵Ki，查询矩阵Hi和键值矩阵Ki由下式得到：
Hi＝WHXi
Ki＝WKXi
其中，WH、WK分别表示生成查询矩阵Hi的权重系数、生成键值矩阵Ki的权重系数，WH、WK由模型学习得到；值矩阵Vi通过权重系数Wv对第i个时刻的输入矩阵Xi进行加权求和得到，其过程表示如下：
Vi＝WvXi
其中，Wv由网络模型学习得到；最后注意力大小Ti由下式得到：
Figure FDA0003906012010000031
其中，k为Hi的维度；多尺度图卷积神经网络模型中自注意力模块输出表示为：Gi＝TiFi，Ti为第i个时刻的功能性近红外光谱数据产生的注意力大小，Fi为第i个时刻的功能性近红外光谱数据的特征图；考虑到数据的时间连续性，输出
Figure FDA0003906012010000032
表示为：
Figure FDA0003906012010000033
其中，δi是以Gi作为输入并通过单层MLP学习得到，wj、Gj分别表示第j个时刻各自注意力模块的权重和第j个时刻自注意力模块的输出。
6.根据权利要求5所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，所述多尺度图卷积神经网络模型包括图卷积神经网络和全局平均池化层，多尺度图卷积神经网络模型的计算过程如下：
首先对脑电图时序信号进行信号重建并生成相应的波形轮廓；对功能性近红外数据进行标准化并生成对功能性近红外数据的相关性分析，进而产生特征图；
随后，将生成的波形轮廓以及特征图输入到图卷积神经网络中，产生融合特征信息，其中图卷积神经网络的计算过程如下：
Pl+1＝σ(LPlWl)
其中，Pl、Wl、L和σ分别为图卷积神经网络中第l层网络层的输出、权重系数、邻接矩阵和非线性激活函数；
最后对图卷积神经网络产生的融合特征信息进行全局平均池化操作，生成患者的显著性图谱。
7.根据权利要求1所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，步骤S2中，基于功能性核磁共振成像数据和功能性近红外光谱数据在时间和空间信息上的异构性，提出异构时空数据融合模型；所述异构时空数据融合模型结合了功能性核磁共振数据在空间上具有较高分辨率而功能性近红外光谱在时间上具有较高分辨率的特性，实现对功能性核磁共振成像数据和功能性近红外光谱数据的双模态数据融合；
所述异构时空数据融合模型的目标是在异构图像之间寻找一个空间变换或空间映射，将待配准图像变换到目标图像的图像空间中，从而建立图像之间空间位置的对应关系；使用基于特征的方法，首先从图像中提取特征，然后再基于特征定义度量进行特征匹配及图像配准。
8.根据权利要求7所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，使用基于特征的方法，首先从图像中提取特征，然后再基于特征定义度量进行特征匹配及图像配准，具体如下：
首先，对功能性核磁共振成像获取的图像进行分割，接着选择核磁共振基准点自动生成多个位置点，并通过刚性转换将其转换为相应的功能性近红外数字化基准点，作为光极的位置；
通过计算头部表面中心和光极位置所在直线上的最近头部表面点来校正光极的位置，然后计算通道源和检测器的中点作为通道的位置，并投影到皮质网格上，通道位置的校正方法与光极类似；
随后，提取每通道对应的体素空间坐标，将体素空间坐标转换为标准化MNI空间下的坐标；计算标准化MNI空间下的坐标点上功能性核磁共振成像的β值和BOLD信号，并与功能性近红外数据进行比较，完成空间配准过程。
9.根据权利要求1所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，步骤S3中，利用ConvLSTM处理原始输出模态数据，接着通过Transformer网络模型提取出不同特征图之间的联系，随后在时间维度上对特征信息进行堆叠并连同误差模式ε作为混合专家模型的输入；
其中，误差模型ε对不同类型误差的修正过程如下：
Figure FDA0003906012010000041
其中，
Figure FDA0003906012010000042
表示t时刻ConvLSTM输出的特征信息，n表示时间片的长度，
Figure FDA0003906012010000043
表示0时刻ConvLSTM输出的特征信息，Expertk为第k个混合专家模型。
10.根据权利要求1～9任一项所述的一种基于多模态数据融合的脑功能障碍辅助评估方法，其特征在于，步骤S3中，专家系统包括k个混合专家模型Expertk，混合专家模型Expertk基于Transformer网络模型构成，每个混合专家模型Expertk包括输入层，transformer层和输出层，输入层的输入为经由Transformer网络模型计算得到并在时间维度上进行堆叠的特征信息以及误差模式ε，随后是具有双通道结构的transformer层，每个通道中都包括一个transformer结构，最后双通道transformer层的输出作为输出层的输入，输出层为单层的全连接神经网络；最后通过一个全连接混合模块获得最终的决策结果：
Figure FDA0003906012010000051
其中，
Figure FDA0003906012010000052
表示t时刻专家系统的输出，pk表示第k个混合专家模型Expertk的输出，K为专家系统中的混合专家模型数。
CN202211304609.9A 2022-10-24 2022-10-24 一种基于多模态数据融合的脑功能障碍辅助评估方法 Pending CN115553752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211304609.9A CN115553752A (zh) 2022-10-24 2022-10-24 一种基于多模态数据融合的脑功能障碍辅助评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211304609.9A CN115553752A (zh) 2022-10-24 2022-10-24 一种基于多模态数据融合的脑功能障碍辅助评估方法

Publications (1)

Publication Number Publication Date
CN115553752A true CN115553752A (zh) 2023-01-03

Family

ID=84767601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211304609.9A Pending CN115553752A (zh) 2022-10-24 2022-10-24 一种基于多模态数据融合的脑功能障碍辅助评估方法

Country Status (1)

Country Link
CN (1) CN115553752A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363252A (zh) * 2023-06-02 2023-06-30 南京诺源医疗器械有限公司 目标成像方法及系统
CN116452593A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116616792A (zh) * 2023-07-21 2023-08-22 山东大学 基于轻量化设计和特征融合的心房颤动检测系统
CN118013352A (zh) * 2024-01-03 2024-05-10 之江实验室 基于异构图网络的EEG-fNIRS运动想象识别方法和装置
CN118526162A (zh) * 2024-07-22 2024-08-23 中科搏锐（北京）科技有限公司 基于多模态数据融合的智能动态脑功能监护系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363252A (zh) * 2023-06-02 2023-06-30 南京诺源医疗器械有限公司 目标成像方法及系统
CN116363252B (zh) * 2023-06-02 2023-08-04 南京诺源医疗器械有限公司 目标成像方法及系统
CN116452593A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116452593B (zh) * 2023-06-16 2023-09-05 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116616792A (zh) * 2023-07-21 2023-08-22 山东大学 基于轻量化设计和特征融合的心房颤动检测系统
CN116616792B (zh) * 2023-07-21 2023-12-01 山东大学 基于轻量化设计和特征融合的心房颤动检测系统
CN118013352A (zh) * 2024-01-03 2024-05-10 之江实验室 基于异构图网络的EEG-fNIRS运动想象识别方法和装置
CN118013352B (zh) * 2024-01-03 2024-07-26 之江实验室 基于异构图网络的EEG-fNIRS运动想象识别方法和装置
CN118526162A (zh) * 2024-07-22 2024-08-23 中科搏锐（北京）科技有限公司 基于多模态数据融合的智能动态脑功能监护系统及方法

Similar Documents

Publication Publication Date Title
CN113040715B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
Khodatars et al. Deep learning for neuroimaging-based diagnosis and rehabilitation of autism spectrum disorder: a review
Song et al. PulseGAN: Learning to generate realistic pulse waveforms in remote photoplethysmography
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN115553752A (zh) 一种基于多模态数据融合的脑功能障碍辅助评估方法
US12097032B2 (en) Machine differentiation of abnormalities in bioelectromagnetic fields
CN109376751B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
Li et al. Multi-modal bioelectrical signal fusion analysis based on different acquisition devices and scene settings: Overview, challenges, and novel orientation
Yang et al. A deep neural network study of the ABIDE repository on autism spectrum classification
CN110598793B (zh) 一种大脑功能网络特征分类方法
US20110028827A1 (en) Spatiotemporal pattern classification of brain states
CN107967942B (zh) 一种基于近红外脑成像图谱特征的儿童孤独症谱系障碍分析系统
CN117172294B (zh) 一种稀疏脑网络的构建方法、系统、设备和存储介质
Huang et al. Joint-channel-connectivity-based feature selection and classification on fNIRS for stress detection in decision-making
Shrivastava et al. Control or autism-classification using convolutional neural networks on functional MRI
Huang et al. Learning shared neural manifolds from multi-subject FMRI data
Pinho et al. Subject‐specific segregation of functional territories based on deep phenotyping
CN115730269A (zh) 多模态神经生物信号处理方法、装置、服务器及存储介质
Zuo et al. Deep Learning-based Eye-Tracking Analysis for Diagnosis of Alzheimer's Disease Using 3D Comprehensive Visual Stimuli
Kaur et al. Early detection of ASD Traits in Children using CNN
Sabegh et al. Automatic detection of autism spectrum disorder based on fMRI images using a novel convolutional neural network
Lu et al. Generate your neural signals from mine: individual-to-individual EEG converters
CN115813409B (zh) 一种超低延迟的运动图像脑电图解码方法
CN116616704A (zh) 一种基于多模态数据的脑认知功能康复状态分析方法
CN115736920A (zh) 基于双模态融合的抑郁状态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination