CN114533088A - 多模态大脑信号分类方法、装置、电子设备及存储介质 - Google Patents
多模态大脑信号分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114533088A CN114533088A CN202210121296.7A CN202210121296A CN114533088A CN 114533088 A CN114533088 A CN 114533088A CN 202210121296 A CN202210121296 A CN 202210121296A CN 114533088 A CN114533088 A CN 114533088A
- Authority
- CN
- China
- Prior art keywords
- data
- features
- eeg
- fnirs
- brain signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 77
- 238000012706 support-vector machine Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000007499 fusion processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 24
- 230000000638 stimulation Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 244000062645 predators Species 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 235000013405 beer Nutrition 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012880 independent component analysis Methods 0.000 claims description 5
- 108010064719 Oxyhemoglobins Proteins 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 108010002255 deoxyhemoglobin Proteins 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 230000007177 brain activity Effects 0.000 description 6
- 238000002610 neuroimaging Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000003925 brain function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000009545 invasion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000037007 arousal Effects 0.000 description 3
- 230000006735 deficit Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000001652 frontal lobe Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 210000003478 temporal lobe Anatomy 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 208000022540 Consciousness disease Diseases 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000000051 music therapy Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000011580 syndromic disease Diseases 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000005653 Brownian motion process Effects 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 244000062662 apex predator Species 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008344 brain blood flow Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 238000005537 brownian motion Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007585 cortical function Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 208000018634 fetal akinesia deformation sequence Diseases 0.000 description 1
- 208000012165 fetal akinesia deformation sequence syndrome Diseases 0.000 description 1
- 238000002421 fluorescence-activated droplet sorting Methods 0.000 description 1
- 230000019637 foraging behavior Effects 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003188 neurobehavioral effect Effects 0.000 description 1
- 230000000008 neuroelectric effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000002360 prefrontal effect Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 244000062804 prey Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Neurosurgery (AREA)
- Power Engineering (AREA)
- Acoustics & Sound (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种多模态大脑信号分类方法、装置、电子设备及存储介质。本发明所述的一种大脑信号分类方法包括：获取待分类的大脑信号数据；对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述待分类的脑电信号数据的EEG特征和fNIRS特征；将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；将所述高维的特征向量进行特征选择处理，得到最终特征向量；将所述最终特征向量输入训练好的支持向量机分类器，得到所述大脑信号对应的分类结果。本发明所述的一种多模态大脑信号分类方法，结合EEG特征和fNIRS特征，提高了单一模态的大脑信号意识状态分类的敏感性和准确性。
Description
技术领域
本发明涉及大脑信号分类技术领域，特别是涉及一种多模态大脑信号分类方法、装置、电子设备及存储介质。
背景技术
意识是一个内涵丰富的概念，它是指个体对外界环境、自身状况以及它们相互联系的确认。一般来说，意识活动可以分成两个主要部分：觉醒和觉知。
意识障碍(disorders of consciousness，DOC)，是指人们对客观环境和主观自身状态认识能力的障碍。这些患者主要表现为对周围环境以及自我的微弱且不稳定的微意识状态(Minimally Conscious State，MCS)或者无意识的植物状态/无反应觉醒综合征(Vegetative State/Unresponsive Wakefulness Syndrome，VS/UWS)。长期以来，临床对DOC患者的诊断和治疗都十分困难，其根本原因有两个：一是DOC的致伤机制及病情复杂多样；二是缺乏客观有效的手段检测患者的意识。多数患者在意识恢复期间需要长期的护理，其相关费用也是巨大的，这不仅给患者的家庭带来了极大的精神痛苦和经济压力，也给社会带来了沉重的经济负担。因此DOC患者意识状态的准确检测和评估是非常具有社会意义和临床价值的。
目前，临床上对患者意识障碍程度的评定主要依靠神经行为学评估量表(例如，Glasgow格拉斯哥量表、JFK昏迷恢复量表、CRS-R量表等)以及临床经验，通过检查眼睛、言语和运动三方面刺激所引起的反应来进行综合评价。这类依靠神经行为学量表的方法虽简单易行，对急性脑损伤后昏迷简捷有效，但该方法主要还是依靠医生的临床经验水平，具有一定的主观性，因此对患者病情变化判断的敏感度不高，不能确切地反映患者的真实意识水平。此外，严重意识障碍患者通常都存在运动以及言语等方面的损伤，通过传统的行为量表评估可能会造成高达37％～43％误诊率。因此，采用更加客观和科学的方法来检测患者的意识状态是十分必要的。目前评估DOC患者意识状态的标准仍然是以行为评估作为最主要的评估手段，其次用神经影像学和电生理学作为辅助的检测评估手段也是非常必要的。
随着科学技术迅速发展，依据中枢神经系统信号，借助无创的脑功能成像技术分类意识状态的应用越来越多。虽然功能磁共振成像(functional Magnetic ResonanceImaging,fMRI)和正电子发射断层扫描成像(Positron Emission Tomography，PET)在意识水平上诊断效果相当不错，但是由于fMRI和PET的成本较高且不便携，因此难以广泛应用于临床诊断。自从上个世纪初发现脑电波(EEG)信号后，它就被广泛应用于神经系统疾病辅助诊断、脑功能康复等方面的研究。EEG技术在意识状态分类中的一个重要优势就是能实时地产生分类结果。如果该患者是有意识的话，这些实时的结果能对患者起到一个有用的反馈作用。fNIRS是上世纪90年代开始发展的新兴脑功能检测技术，它是利用近红外光检测大脑皮质功能活动的一项技术。fNIRS与fMRI类似，都是利用血流和血氧变化来测量大脑活动。与fMRI相比，fNIRS具有明显的便携性，还有更高的时间采样率及更广泛的应用范围，尤其适合长时间床边检测和大规模的数据采集。此外，与EEG相比，fNIRS具有更高的空间分辨率和很好的抗干扰性，弥补了EEG测量时间定位差、稳定性不足的缺点。由于fNIRS成本低、便携、易操作，且对运动不敏感，尤其适用于对一些特殊人群的研究如婴儿及意识障碍等特异病症患者，因此近年来受到越来越多研究者的关注。截止目前，国内使用此技术对意识障碍的研究还相对较少。
EEG和fNIRS都具有安全非侵入式、测量方便、易实现和便携式等特点；其中，EEG是测量神经活动的电信号，fNIRS是通过测量光信号获取大脑血流信息，两者同步测量干扰性小；此外，EEG测量虽然时间分辨率高但空间分辨率较低，而fNIRS测量具有比EEG较高的空间分辨率但较低的时间分辨率。因此，EEG和fNIRS具有互补的特性，将EEG和fNIRS两种技术混合在一起的多模态脑成像系统，可以从神经电活动和血流动力学两个维度观测大脑皮层的生理过程，提供比单一模态更为丰富的大脑活动信息，可能提高意识检测的准确性。在临床上，这种混合技术作为辅助的手段也有非常重要的意义。
此外，在刺激手段上，目前大多数研究都是通过视觉刺激来检测健康人群或DOC患者的意识状态。然而，很大一部分的DOC患者由于损伤严重缺乏控制眼部运动的能力，因此使用注视相关的视觉刺激来检测这部分患者的意识对于他们来说并不合适，难以获得准确的检测结果。
发明内容
基于此，本发明的目的在于，提供一种多模态大脑信号分类方法、装置、电子设备及存储介质，结合EEG特征和fNIRS特征，提高了单一模态的大脑信号分类的敏感性和准确性。
第一方面，本发明提供一种多模态大脑信号分类方法，包括以下步骤：
获取待分类的大脑信号数据；
对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；
分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述待分类的脑电信号数据的EEG特征和fNIRS特征；
将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；
将所述高维的特征向量进行特征选择处理，得到最终特征向量；
将所述最终特征向量输入训练好的支持向量机分类器，得到所述大脑信号对应的分类结果。
进一步地，所述训练好的支持向量机分类器的训练方法包括：
获取原始数据集的大脑信号数据，所述原始数据集包括正常人和意识障碍患者的脑电信号数据；
对所述原始数据集的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；
分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述原始数据集的大脑信号数据的EEG特征和fNIRS特征；
对所述EEG特征和所述fNIRS特征进行归一处理，得到相同维度的EEG特征和fNIRS特征；
将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；
将所述高维的特征向量进行特征选择处理，得到最终特征向量；
将所述最终特征向量与所述最终特征向量对应的标签构成训练数据集，并将所述训练数据集划分为训练集和测试集；
将所述训练集输入支持向量机分类器，以训练所述支持向量机分类器；
将所述测试集输入训练过的向量机分类器，验证所述支持向量机分类器的训练效果，得到训练好的支持向量机分类器。
进一步地，所述EEG特征包括以下至少一项：
所述EEG数据中每一秒的统计特征、锁相值特征、功率谱密度特征、微分熵特征、小波熵特征和不对称性商特征；
所述fNIRS特征包括以下至少一项：
所述fNIRS数据中的HbO以及Hb每一秒的统计特征和基于GLM的变化趋势特征。
进一步地，将所述高维的特征向量进行特征选择处理，得到最终特征向量，包括：
通过海洋捕食者算法进行特征选择处理，得到所述高维的特征向量中各项特征的权重以及排序；
根据所述特征的权重以及排序，选取最终特征向量。
进一步地，将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量之前，还包括：
使用以下公式，计算所述EEG特征和所述fNIRS特征对应的Z-Score标准分数：
其中，x为特征，
为特征的平均值，σ为特征的标准差，ZScore为特征对应的标准分数；
根据所述标准分数，对所述EEG特征和所述fNIRS特征进行归一处理，得到相同维度的EEG特征和fNIRS特征。
进一步地，对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据，包括：
对所述大脑信号数据中的EEG原始信号，以全脑平均进行重参考；
对所述重参考过的EEG信号，进行0.5赫兹到50赫兹的滤波操作；
对每个分段数据进行基线校准；
对所有分段数据进行独立成分分析，去除其中的眼电信号数据；
对EEG每个刺激任务期间的数据进行分段。
进一步地，对所述待分类的大脑信号数据进行预处理，得到其中的fNIRS数据，包括：
对所述大脑信号数据中的fNIRS原始信号，通过Butterworth滤波器进行0.01赫兹到0.1赫兹的滤波，同时去除fNIRS的伪影；
通过修正比尔朗伯定律将光信号转化氧合血红蛋白(HbO)和脱氧血红蛋白(Hb)的浓度变化；
从每个刺激任务期间的信号进行基线校准；
对fNIRS每个刺激任务期间的数据进行分段。
第二方面，本发明还提供一种多模态大脑信号分类装置，包括：
数据获取模块，用于获取待分类的大脑信号数据；
预处理模块，用于对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；
特征提取模块，用于分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述待分类的脑电信号数据的EEG特征和fNIRS特征；
融合处理模块，用于将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；
特征选择模块，用于将所述高维的特征向量进行特征选择处理，得到最终特征向量；
分类模块，用于将所述最终特征向量输入训练好的支持向量机分类器，得到所述大脑信号对应的分类结果。
第三方面，本发明还提供一种电子设备，其特征在于，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种多模态大脑信号分类方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种多模态大脑信号分类方法的步骤。
本发明提供的一种多模态大脑信号分类方法、装置、电子设备及存储介质，基于EEG和fNIRS两种脑成像技术的面向被试大脑信号的意识状态分类方案，根据大脑活动特征判断被试的意识水平，有助于提高分类意识状态的准确性，实现意识状态的准确判断。EEG和fNIRS都具有安全非侵入式、测量方便、易实现、便携式价格相对便宜等特点；同时，EEG时间分辨率高，空间分辨率低的特点和fNIRS的空间分辨率高，时间分辨率低的特点形成了互补的特性。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明提供的一种多模态大脑信号分类方法的流程示意图；
图2为个人偏爱音乐和中性音乐诱发的五个频段的所有九名受试者的平均DE分布，以及在五个频段的DE差异分布图；
图3为个人偏好音乐刺激与基线、中性音乐刺激与基线以及个人偏好音乐与中性音乐对比的HbO；
图4为本发明提供的一种多模态大脑信号分类装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在一个具体的实施例中，对于目前微意识状态(Minimally Conscious State，MCS)或者无意识的植物状态/无反应觉醒综合征(Vegetative State/UnresponsiveWakefulness Syndrome，VS/UWS)的两种患者的意识状态检测困难的问题，本发明提供一种多模态大脑信号分类方法，针对获取到的包含EEG原始信号和fNIRS原始信号的脑电信号数据，对该数据进行处理后输入训练好的支持向量机分类器，获得最终的多模态大脑信号分类结果，该分类结果指示该大脑信号数据是否与MCS患者/VS患者的脑电信号数据相同。
其中，EEG原始信号是指测量神经活动的电信号，原始的EEG数据是由很多个样本点数所构成的一个有限的离散的时间序列数据。至于样本点数的多少，则由采样率所决定，比如采样率为1000Hz，那么每秒就有1000个数据样本点。其中，每个样本点数据代表的是脑电波幅的大小，物理学上称为电压值，单位为伏特(V)，由于脑电信号通常较弱，所以更常使用的单位为微伏(uV)。
fNIRS原始信号是指利用近红外脑功能成像技术，通过测量光信号获取的大脑血流信息。
在一个优选的实施例中，本发明使用BrainAmp DC EEG采集系统(德国BrainProducts GmbH)采集EEG信号，和使用多通道NIRScout系统(德国NIRx MedizintechnikGmbH)以3.91赫兹的采样率采集fNIRS信号。EEG电极放置遵循32通道cap的国际10–20惯例，并以500Hz的采样率采集脑电信号。fNIRS光源和探测器距离固定为3cm，额叶和颞叶皮层共分布44个测量通道。
在刺激手段上，目前大多数研究都是通过视觉刺激来检测健康人群或DOC患者的意识状态。然而，很大一部分的DOC患者由于损伤严重缺乏控制眼部运动的能力，因此使用注视相关的视觉刺激来检测这部分患者的意识对于他们来说并不合适，难以获得准确的检测结果。相对来说，利用听觉刺激可能适用于更多的DOC患者的意识检测和康复治疗。有研究表明音乐不仅能作为一个刺激源，更能作为一个治疗的手段。尤其是具有个性特征的音乐治疗有助于改善DOC患者的情绪、行为和预后。
因此，本发明针对目前DOC患者意识状态检测困难的问题，将以音乐的作为刺激手段。
具体的，在采集EEG信号和fNIRS信号的同时，会通过电脑和音响设备播放被试个人喜好音乐，每首音乐播放20次，每次播放1分钟。
针对上述采集到的脑电信号数据，本申请实施例提供一种多模态大脑信号分类方法，如图1所示，该方法包括以下步骤：
S01：获取待分类的大脑信号数据。
在一个优选的实施例中，如上所述，该大脑信号数据包括：使用BrainAmp DC EEG采集系统(德国Brain Products GmbH)采集EEG信号，和使用多通道NIRScout系统(德国NIRx Medizintechnik GmbH)以3.91赫兹的采样率采集fNIRS信号。EEG电极放置遵循32通道cap的国际10–20惯例，并以500Hz的采样率采集脑电信号。fNIRS光源和探测器距离固定为3cm，额叶和颞叶皮层共分布44个测量通道。在采集同时，会通过电脑和音响设备播放被试个人喜好音乐，每首音乐播放20次，每次播放1分钟。
S02：对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据。
优选的，对于EEG原始信号进行预处理包括：
首先对其以全脑平均进行重参考；然后对其进行0.5赫兹到50赫兹的滤波操作；其次对每个分段数据进行基线校准；随后对所有分段数据进行独立成分分析，去除眼电；最后，对EEG每个刺激任务期间的数据进行分段。
优选的，对fNIRS原始信号进行预处理包括：
将采集到的原始近红外信号进行通过Butterworth滤波器进行0.01赫兹到0.1赫兹的滤波，同时去除fNIRS的伪影；然后通过修正比尔朗伯定律将光信号转化氧合血红蛋白(HbO)和脱氧血红蛋白(Hb)的浓度变化；之后，从每个刺激任务期间的信号进行基线校准；最后，对fNIRS每个刺激任务期间的数据进行分段。
S03：分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述待分类的脑电信号数据的EEG特征和fNIRS特征。
优选的，所述EEG特征包括以下至少一项：
所述EEG数据中每一秒的统计特征、锁相值(Phase Locking Value,PLV)特征、功率谱密度(Power spectral density,PSD)特征、微分熵(Differential Entropy,DE)特征、小波熵(Wavelet Entropy)特征和不对称性商(Rational Asymmetry,RAMS)特征。
优选的，所述fNIRS特征包括以下至少一项：
所述fNIRS数据中的HbO以及Hb每一秒的统计特征和基于GLM的变化趋势特征。
S04：将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量。
由于两种数据是不同的生信号数据，为了能够将两种模态有效融合，优选的，将以上所有特征通过Z-Score将其归一化，确保所有特征都能够在同一个维度下进行评估。
归一化具体包括：
S041：使用以下公式，计算所述EEG特征和所述fNIRS特征对应的Z-Score标准分数：
其中，x为特征，
为特征的平均值，σ为特征的标准差，ZScore为特征对应的标准分数。
S042：根据所述标准分数，对所述EEG特征和所述fNIRS特征进行归一处理，得到相同维度的EEG特征和fNIRS特征。
S05：将所述高维的特征向量进行特征选择处理，得到最终特征向量。
优选的，把上述所得到的高维的特征向量通过海洋捕食者算法进行特征选择处理，得到所述高维的特征向量中各项特征的权重以及排序；
根据所述特征的权重以及排序，选取最终特征向量。
S06：将所述最终特征向量输入训练好的支持向量机分类器，得到所述大脑信号对应的分类结果。
其中，该分类结果指示该大脑信号数据是否与MCS患者/VS患者的脑电信号数据相同。
本发明提供的一种多模态大脑信号分类方法，基于EEG和fNIRS两种脑成像技术的面向被试大脑信号的意识状态分类方案，根据大脑活动特征判断被试的意识水平，有助于提高分类意识状态的准确性，实现意识状态的有效判断。
EEG和fNIRS都具有安全非侵入式、测量方便、易实现、便携式价格相对便宜等特点；同时，EEG时间分辨率高，空间分辨率低的特点和fNIRS的空间分辨率高，时间分辨率低的特点形成了互补的特性。
同时，音乐不仅可以作为一个刺激源，在临床上也可以充当一种治疗的手段。如图2和图3，通过自采的健康人数据发现了EEG和fNIRS信号都能够反映出人们在音乐(特别是个人偏好音乐)刺激下，大脑(特别是前额叶)有强烈的反应。
在一个优选的实施例中，所述训练好的支持向量机分类器的训练方法包括：
S11：获取原始数据集的大脑信号数据，所述原始数据集包括正常人和意识障碍患者的脑电信号数据。
在一个优选的实施例中，如上所述，该大脑信号数据包括：使用BrainAmp DC EEG采集系统(德国Brain Products GmbH)采集EEG信号，和使用多通道NIRScout系统(德国NIRx Medizintechnik GmbH)以3.91赫兹的采样率采集fNIRS信号。EEG电极放置遵循32通道cap的国际10–20惯例，并以500Hz的采样率采集脑电信号。fNIRS光源和探测器距离固定为3cm，额叶和颞叶皮层共分布44个测量通道。在采集同时，会通过电脑和音响设备播放被试个人喜好音乐，每首音乐播放20次，每次播放1分钟。
S12：对所述原始数据集的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据。
优选的，对于EEG原始信号进行预处理包括：
首先对其以全脑平均进行重参考；然后对其进行0.5赫兹到50赫兹的滤波操作；其次对每个分段数据进行基线校准；随后对所有分段数据进行独立成分分析，去除眼电；最后，对EEG每个刺激任务期间的数据进行分段。
对fNIRS原始信号进行预处理包括：
将采集到的原始近红外信号进行通过Butterworth滤波器进行0.01赫兹到0.1赫兹的滤波，同时去除fNIRS的伪影；然后通过修正比尔朗伯定律将光信号转化氧合血红蛋白(HbO)和脱氧血红蛋白(Hb)的浓度变化；之后，从每个刺激任务期间的信号进行基线校准；最后，对fNIRS每个刺激任务期间的数据进行分段。
S13：分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述原始数据集的大脑信号数据的EEG特征和fNIRS特征。
优选的，所述EEG特征包括以下至少一项：
所述EEG数据中每一秒的统计特征、锁相值(Phase Locking Value,PLV)特征、功率谱密度(Power spectral density,PSD)特征、微分熵(Differential Entropy,DE)特征、小波熵(Wavelet Entropy)特征和不对称性商(Rational Asymmetry,RAMS)特征。
优选的，所述fNIRS特征包括以下至少一项：
所述fNIRS数据中的HbO以及Hb每一秒的统计特征和基于GLM的变化趋势特征。
S14：将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量。
优选的，将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量之前，还包括：
使用以下公式，计算所述EEG特征和所述fNIRS特征对应的Z-Score标准分数：
其中，x为特征，
为特征的平均值，σ为特征的标准差，ZScore为特征对应的标准分数；
根据所述标准分数，对所述EEG特征和所述fNIRS特征进行归一处理，得到相同维度的EEG特征和fNIRS特征。
S15：将所述高维的特征向量进行特征选择处理，得到最终特征向量；。
优选的，把上述所得到的高维特征向量分别通过海洋捕食者(Marine PredatorsAlgorithm，MPA)的算法进行特征选择处理，最终选取可得经优化的最终特征向量。
S16：将所述最终特征向量与所述最终特征向量对应的标签构成训练数据集，并将所述训练数据集划分为训练集和测试集。
最终特征向量对应的标签，即原始的大脑信号数据来自MCS患者/VS患者。
S17：将所述训练集输入支持向量机分类器，以训练所述支持向量机分类器。
支持向量机(support vector machines,SVM)是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的学习算法就是求解凸二次规划的最优化算法。
优选的，分类器的参数设置使用线性核函数，其余为默认参数。
S18：将所述测试集输入训练过的向量机分类器，验证所述支持向量机分类器的训练效果，得到训练好的支持向量机分类器。
在一个优选的实施例中，步骤S03和步骤S13中，EEG特征和fNIRS特征分别通过以下方式提取得到：
1.EEG和fNIRS统计特征
统计特征是由平均特征，方差特征，一阶差分绝对值平均特征，归一化的一阶差分绝对值平均特征，二阶差分绝对值平均特征，归一化的二阶差分绝对值平均特征六个子特征组成的特征向量。
六个子特征的计算公式如下：
其中，μs,
δs,
γs,
分别为六个子特征，i为采样点，S表示EEG或fNIRS信号，N为样本数。
然后，使用如下公式，将上述信号的统计特征放到一个向量中，得到EEG数据和fNIRS数据每一秒的统计特征：
其中FVstatistic为每一秒的统计特征。
2.EEG的PSD特征
功率谱密度(Power spectral density,PSD)特征是随机变量均方值的度量，是单位频率的平均功率维度。通过在频域中对功率谱进行积分，可以得到信号的平均功率。使用周期图方法[34]获得功率谱密度，并计算了五个频段(δ(0.5-3Hz)、θ(4-7Hz)、α(8-13Hz)、β(14-30Hz)和γ(30-50Hz))。周期图是一种简单而流行的频谱估计方法，它基于离散傅立叶变换(DFT)：
其中，Fs是脑电信号的采样率，j和π是常数，N是样本数，n是采样点，k＝0,1,2...N-1。可以得到采样率为Fs的离散时间信号x[n],n＝1,2,...,N的周期图，计算公式为：
其中f＝kFs/N，p(f)是EEG的PSD特征。
3.EEG的DE特征
微分熵(Differential Entropy,DE)特征是香农熵(ShEn)
的广义形式，其公式为：
其中，p(si)表示连续信息的概率密度函数，[a，b]表示信息值的区间。
4.EEG的小波熵特征
小波熵是根据信号的概率分布对其进行小波变换计算得到的熵值：
其中，p代表某个信号的能量强度比，SWT表示熵值，i表示时间。
5.EEG的不对称性商特征
不对称性商特征是指左右对称电极对的特征值之比。本发明使用左右脑区域的对称电极特征值(FXL-EEG，FXR-EEG)来获得RASM特征。
RASM的计算公式为：
其中，FXK-EEG表示左边大脑区域的电极特征值，FXR-EEG表示右边大脑区域的电极特征值。
6.fNIRS基于GLM的变化趋势特征
使用广义线性模型(generalize linear mode，GLM)，可以计算代表每个通道激活程度的B值来检测激活的通道。fNIRS信号的GLM计算公式为：Y＝BX+E
中，Y是fNIRS信号的预处理HbO或Hb数据作为因变量，X是设计矩阵。E是服从正态分布的残差矩阵，B是具有估计参数的矩阵。
根据上述公式，矩阵Y的每一项为yij，i＝1,2,...,N表示数据采集的时间点个数，j＝1,2,...,N表示个数的频道。即yij是第i个时间点的第j个通道采集到的HbO或Hb数据。因此，当Y的每一项都是yij时，可以得到yij的计算公式为：
yij＝xi1β1j+xi2β2j+…+xikβkj+εij
之后将上述公式转化为以下公式：
最后，通过最小二乘法得到fNIRS信号的特征B值：
B＝(X′X)-1X′Y＝[β1β2…βk]T
其中，Y是fNIRS信号的预处理HbO或Hb数据作为因变量，X是设计矩阵,β1β2…βk是对应每个数据的估计参数值。
在另一个优选的实施例中，步骤S05和步骤S15中，通过海洋捕食者(MarinePredators Algorithm，MPA)的算法进行特征选择处理，具体包括：
MPA算法是一种新型的元启发式优化算法，是基于海洋中最佳觅食策略适者生存的自然支配规则的特征优化选择的算法。以下是MPA的算法流程：
首先，初始化Elite和Prey矩阵
X＝XLB+rand(XUB-XLB)
其中，XUB和XLB是搜索空间的上界线与下界线，rand()是0到1范围中的随机数。
MPA有一个策略，它把猎物和捕食者看作是一个搜索者，因为当捕食者搜索猎物时，猎物本身也在搜索它的食物。因此，Elite(顶级捕食者矩阵)将在每一迭代后进行更新。Elite与Prey(X)的公式是：
然后，MPA会进入优化阶段。第一个阶段是迭代初期阶段，在这个阶段，捕食者在探索阶段的移动速度比猎物移动速度快，因此使用以下公式来进行预测值的更新：
其中，R∈[0,1],P＝0.5,Stepi是移动步长，RB是一个正态分布的布朗运动随机向量，
表示按元素进行乘法的过程。
MPA第二个优化阶段是迭代中期阶段，这一阶段可以认为捕食者和猎物的移动速度相等，此阶段的预测值更新公式为：
其中，RL是遵循Lévy分布的随机向量，CF是捕食者自适应的参数。
MPA优化的最后一个阶段是迭代终期阶段，这个阶段可以看成捕食者移动速度比猎物的移动速度慢，其预测值的更新公式如下：
优化阶段过后，一些海洋的周围环境也可能影响捕食者的觅食行为，比如鱼类聚集装置(FADs)或涡流效应，因此需要在MPA寻优的过程中解决早熟收敛问题，避免出现局部极值。
FADS＝0.2，U是一个随机生成的二进制向量解，r是0到1范围中的随机数，r1和r2是Prey矩阵的随机索引。
经过上述MPA算法的特征选择后，将新的特征向量放进SVM分类器进行十次交叉验证，进行最终被试的意识状态分类预测。
与前述的多模态大脑信号分类方法对应，本申请实施例还提供一种多模态大脑信号分类装置，如图4所示，该意识状态分类装置400包括：
数据获取模块401，用于获取待分类的大脑信号数据；
预处理模块402，用于对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；
特征提取模块403，用于分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述待分类的脑电信号数据的EEG特征和fNIRS特征；
融合处理模块404，用于将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；
特征选择模块405，用于将所述高维的特征向量进行特征选择处理，得到最终特征向量；
分类模块406，用于将所述最终特征向量输入训练好的支持向量机分类器，得到所述大脑信号对应的分类结果。
优选的，所述训练好的支持向量机分类器的训练方法包括：
获取原始数据集的大脑信号数据，所述原始数据集包括正常人和意识障碍患者的大脑信号数据；
对所述原始数据集的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；
分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述原始数据集的大脑信号数据的EEG特征和fNIRS特征；
对所述EEG特征和所述fNIRS特征进行归一处理，得到相同维度的EEG特征和fNIRS特征；
将维度的EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；
将所述高维特征向量进行特征选择处理，得到最终特征向量；
将所述最终特征向量与所述最终特征向量对应的标签构成训练数据集，并将所述训练数据集划分为训练集和测试集；
将所述训练集输入支持向量机分类器，以训练所述支持向量机分类器；
将所述测试集输入训练过的向量机分类器，验证所述支持向量机分类器的训练效果，得到训练好的支持向量机分类器。
优选的，所述EEG特征包括以下至少一项：
所述EEG数据中每一秒的统计特征、锁相值特征、功率谱密度特征、微分熵特征、小波熵特征和不对称性商特征；
所述fNIRS特征包括以下至少一项：
所述fNIRS数据中的HbO以及Hb每一秒的统计特征和基于GLM的变化趋势特征。
优选的，特征选择模块包括：
MPA选择单元，用于对所述相同维度的EEG特征和fNIRS特征，分别通过海洋捕食者算法进行特征选择处理，得到特征向量中各项特征的权重以及排序；
权重单元，用于根据所述特征的权重以及排序，选取最终特征向量。
优选的，融合处理模块之前还包括归一处理模块，用于使用以下公式，计算所述EEG特征和所述fNIRS特征对应的Z-Score标准分数：
其中，x为特征，
为特征的平均值，σ为特征的标准差，Zscore为特征对应的标准分数；
以及，根据所述标准分数，对所述EEG特征和所述fNIRS特征进行归一处理，得到相同维度的EEG特征和fNIRS特征。
优选的，预处理模块包括：
EEG信号处理单元，用于对所述大脑信号数据中的EEG原始信号，以全脑平均进行重参考；
以及，对所述重参考过的EEG信号，进行0.5赫兹到50赫兹的滤波操作；
以及，对每个分段数据进行基线校准；
以及，对所有分段数据进行独立成分分析，去除其中的眼电信号数据；
对EEG每个刺激任务期间的数据进行分段。
优选的，预处理模块还包括：
fNIRS信号处理单元，用于对所述大脑信号数据中的fNIRS原始信号，通过Butterworth滤波器进行0.01赫兹到0.1赫兹的滤波，同时去除fNIRS的伪影；
以及，通过修正比尔朗伯定律将光信号转化氧合血红蛋白(HbO)和脱氧血红蛋白(Hb)的浓度变化；
以及，从每个刺激任务期间的信号进行基线校准；
以及，对fNIRS每个刺激任务期间的数据进行分段。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种电子设备，所述电子设备可以是计算机或服务器等电脑设备，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前所述的一种多模态大脑信号分类方法的步骤。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的一种多模态大脑信号分类方法的步骤。
计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(R AM)、只读存储器(R OM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本发明提供的一种多模态大脑信号分类方法、装置、电子设备及存储介质，结合EEG特征和fNIRS特征，提高了单一模态大脑信号意识状态分类的敏感性和准确性。基于EEG和fNIRS两种脑成像技术的面向被试大脑信号的意识状态分类方案，根据大脑活动特征判断被试的意识水平，有助于提高分类意识状态的准确性，实现意识状态的准确判断。EEG和fNIRS都具有安全非侵入式、测量方便、易实现、便携式价格相对便宜等特点；同时，EEG时间分辨率高，空间分辨率低的特点和fNIRS的空间分辨率高，时间分辨率低的特点形成了互补的特性。
相对来说，利用听觉刺激可能适用于更多的DOC患者的意识检测和康复治疗。有研究表明音乐不仅能作为一个刺激源，更能作为一个治疗的手段。尤其是具有个性特征的音乐治疗有助于改善DOC患者的情绪、行为和预后。
本发明针对目前DOC患者意识状态检测困难的问题，将以音乐的作为刺激手段，同步使用EEG-fNIRS多模态脑成像技术测量被试的大脑活动，并结合高效的多模态信号融合算法，最终达到分类被试意识状态的效果，为DOC患者意识状态的准确评估提供基于影像学的客观依据。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种多模态大脑信号分类方法，其特征在于，包括以下步骤：
获取待分类的大脑信号数据；
对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；
分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述待分类的脑电信号数据的EEG特征和fNIRS特征；
将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；
将所述高维的特征向量进行特征选择处理，得到最终特征向量；
将所述最终特征向量输入训练好的支持向量机分类器，得到所述大脑信号对应的分类结果。
2.根据权利要求1所述的一种多模态大脑信号分类方法，其特征在于，所述训练好的支持向量机分类器的训练方法包括：
获取原始数据集的大脑信号数据，所述原始数据集包括正常人和意识障碍患者的脑电信号数据；
对所述原始数据集的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；
分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述原始数据集的大脑信号数据的EEG特征和fNIRS特征；
对所述EEG特征和所述fNIRS特征进行归一处理，得到相同维度的EEG特征和fNIRS特征；
将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；
将所述高维的特征向量进行特征选择处理，得到最终特征向量；
将所述最终特征向量与所述最终特征向量对应的标签构成训练数据集，并将所述训练数据集划分为训练集和测试集；
将所述训练集输入支持向量机分类器，以训练所述支持向量机分类器；
将所述测试集输入训练过的向量机分类器，验证所述支持向量机分类器的训练效果，得到训练好的支持向量机分类器。
3.根据权利要求1或2所述的一种多模态大脑信号分类方法，其特征在于：
所述EEG特征包括以下至少一项：
所述EEG数据中每一秒的统计特征、锁相值特征、功率谱密度特征、微分熵特征、小波熵特征和不对称性商特征；
所述fNIRS特征包括以下至少一项：
所述fNIRS数据中的HbO以及Hb每一秒的统计特征和基于GLM的变化趋势特征。
4.根据权利要求1或2所述的一种多模态大脑信号分类方法，其特征在于，将所述高维的特征向量进行特征选择处理，得到最终特征向量，包括：
通过海洋捕食者算法进行特征选择处理，得到所述高维的特征向量中各项特征的权重以及排序；
根据所述特征的权重以及排序，选取最终特征向量。
5.根据权利要求1或2所述的一种多模态大脑信号分类方法，其特征在于，将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量之前，还包括：
使用以下公式，计算所述EEG特征和所述fNIRS特征对应的Z-Score标准分数：
其中，x为特征，
为特征的平均值，σ为特征的标准差，ZScore为特征对应的标准分数；
根据所述标准分数，对所述EEG特征和所述fNIRS特征进行归一处理，得到相同维度的EEG特征和fNIRS特征。
6.根据权利要求1或2所述的一种多模态大脑信号分类方法，其特征在于，对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据，包括：
对所述大脑信号数据中的EEG原始信号，以全脑平均进行重参考；
对所述重参考过的EEG信号，进行0.5赫兹到50赫兹的滤波操作；
对每个分段数据进行基线校准；
对所有分段数据进行独立成分分析，去除其中的眼电信号数据；
对EEG每个刺激任务期间的数据进行分段。
7.根据权利要求1或2所述的一种多模态大脑信号分类方法，其特征在于，对所述待分类的大脑信号数据进行预处理，得到其中的fNIRS数据，包括：
对所述大脑信号数据中的fNIRS原始信号，通过Butterworth滤波器进行0.01赫兹到0.1赫兹的滤波，同时去除fNIRS的伪影；
通过修正比尔朗伯定律将光信号转化氧合血红蛋白(HbO)和脱氧血红蛋白(Hb)的浓度变化；
从每个刺激任务期间的信号进行基线校准；
对fNIRS每个刺激任务期间的数据进行分段。
8.一种多模态大脑信号分类装置，其特征在于，包括：
数据获取模块，用于获取待分类的大脑信号数据；
预处理模块，用于对所述待分类的大脑信号数据进行预处理，得到其中的EEG数据和fNIRS数据；
特征提取模块，用于分别对所述EEG数据和所述fNIRS数据进行特征提取，得到所述待分类的脑电信号数据的EEG特征和fNIRS特征；
融合处理模块，用于将所述EEG特征和fNIRS特征进行融合处理，得到高维的特征向量；
特征选择模块，用于将所述高维的特征向量进行特征选择处理，得到最终特征向量；
分类模块，用于将所述最终特征向量输入训练好的支持向量机分类器，得到所述大脑信号对应的分类结果。
9.一种电子设备，其特征在于，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一所述的一种多模态大脑信号分类方法的步骤。
10.一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的一种多模态大脑信号分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210121296.7A CN114533088A (zh) | 2022-02-09 | 2022-02-09 | 多模态大脑信号分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210121296.7A CN114533088A (zh) | 2022-02-09 | 2022-02-09 | 多模态大脑信号分类方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114533088A true CN114533088A (zh) | 2022-05-27 |
Family
ID=81672827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210121296.7A Pending CN114533088A (zh) | 2022-02-09 | 2022-02-09 | 多模态大脑信号分类方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114533088A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115317001A (zh) * | 2022-09-16 | 2022-11-11 | 华南师范大学 | 脑电信号转换音频的方法、装置、电子设备及存储介质 |
| CN115337014A (zh) * | 2022-08-26 | 2022-11-15 | 华南师范大学 | 情绪识别方法及意识检测方法、装置、设备、存储介质 |
| CN115429273A (zh) * | 2022-09-19 | 2022-12-06 | 华南师范大学 | 一种脑电注意力分类方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845563A (zh) * | 2015-12-07 | 2017-06-13 | 中国科学院沈阳自动化研究所 | 基于脑电和近红外信号的特征提取方法 |
| CN107595281A (zh) * | 2017-07-12 | 2018-01-19 | 佛山科学技术学院 | 利用eeg‑nirs融合特征的动作意向分类方法 |
| CN109171713A (zh) * | 2018-06-08 | 2019-01-11 | 杭州电子科技大学 | 基于多模态信号的上肢运动想象模式识别方法 |
| US20210000426A1 (en) * | 2019-07-04 | 2021-01-07 | Peking University | Classification system of epileptic eeg signals based on non-linear dynamics features |
| CN113274011A (zh) * | 2021-05-10 | 2021-08-20 | 燕山大学 | 融合脑电与功能近红外光谱技术的脑功能监测管理方法 |
| CN113887397A (zh) * | 2021-09-29 | 2022-01-04 | 中山大学中山眼科中心 | 基于海洋捕食者算法的电生理信号的分类方法及分类系统 |
| CN113951900A (zh) * | 2021-11-02 | 2022-01-21 | 燕山大学 | 一种基于多模态信号的运动想象意图识别方法 |
-
2022
- 2022-02-09 CN CN202210121296.7A patent/CN114533088A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845563A (zh) * | 2015-12-07 | 2017-06-13 | 中国科学院沈阳自动化研究所 | 基于脑电和近红外信号的特征提取方法 |
| CN107595281A (zh) * | 2017-07-12 | 2018-01-19 | 佛山科学技术学院 | 利用eeg‑nirs融合特征的动作意向分类方法 |
| CN109171713A (zh) * | 2018-06-08 | 2019-01-11 | 杭州电子科技大学 | 基于多模态信号的上肢运动想象模式识别方法 |
| US20210000426A1 (en) * | 2019-07-04 | 2021-01-07 | Peking University | Classification system of epileptic eeg signals based on non-linear dynamics features |
| CN113274011A (zh) * | 2021-05-10 | 2021-08-20 | 燕山大学 | 融合脑电与功能近红外光谱技术的脑功能监测管理方法 |
| CN113887397A (zh) * | 2021-09-29 | 2022-01-04 | 中山大学中山眼科中心 | 基于海洋捕食者算法的电生理信号的分类方法及分类系统 |
| CN113951900A (zh) * | 2021-11-02 | 2022-01-21 | 燕山大学 | 一种基于多模态信号的运动想象意图识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115337014A (zh) * | 2022-08-26 | 2022-11-15 | 华南师范大学 | 情绪识别方法及意识检测方法、装置、设备、存储介质 |
| CN115317001A (zh) * | 2022-09-16 | 2022-11-11 | 华南师范大学 | 脑电信号转换音频的方法、装置、电子设备及存储介质 |
| CN115429273A (zh) * | 2022-09-19 | 2022-12-06 | 华南师范大学 | 一种脑电注意力分类方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109157231B (zh) | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 | |
| Khosla et al. | A comparative analysis of signal processing and classification methods for different applications based on EEG signals | |
| Sanei et al. | Singular spectrum analysis of biomedical signals | |
| Al-Qazzaz et al. | Role of EEG as biomarker in the early detection and classification of dementia | |
| Anuragi et al. | Automated FBSE-EWT based learning framework for detection of epileptic seizures using time-segmented EEG signals | |
| CN114533088A (zh) | 多模态大脑信号分类方法、装置、电子设备及存储介质 | |
| Buettner et al. | High-performance diagnosis of sleep disorders: a novel, accurate and fast machine learning approach using electroencephalographic data | |
| US20160029946A1 (en) | Wavelet analysis in neuro diagnostics | |
| US20150245800A1 (en) | Method for Detection Of An Abnormal Sleep Pattern In A Person | |
| US20170032098A1 (en) | Stochastic oscillator analysis in neuro diagnositcs | |
| Chen et al. | Seizure prediction using convolutional neural networks and sequence transformer networks | |
| Laskaris et al. | Improved detection of amnestic MCI by means of discriminative vector quantization of single-trial cognitive ERP responses | |
| Wang et al. | Seizure classification with selected frequency bands and EEG montages: a Natural Language Processing approach | |
| Zainuddin et al. | Performance of support vector machine in classifying EEG signal of dyslexic children using RBF kernel | |
| Perera et al. | A review of electroencephalogram-based analysis and classification frameworks for dyslexia | |
| Kaur et al. | Using virtual reality to examine the neural and physiological anxiety-related responses to balance-demanding target-reaching leaning tasks | |
| Geman et al. | Using wavelet for early detection of pathological tremor | |
| Kbah et al. | Epileptic EEG activity detection for children using entropy-based biomarkers | |
| Siuly et al. | Exploring Rhythms and Channels-Based EEG Biomarkers for Early Detection of Alzheimer's Disease | |
| Adem et al. | Classification of Parkinson's disease using EMG signals from different upper limb movements based on multiclass support vector machine | |
| Ibrahim et al. | EEG-Based Epileptic Seizures Detection with Adaptive Learning Capability. | |
| Ouyang et al. | Vigilance analysis based on continuous wavelet transform of eeg signals | |
| Yan et al. | A bilateral brain symmetry index for analysis of EEG signal in stroke patients | |
| Anchana et al. | Comparative study of detection of ADHD using EEG signals | |
| Neubig et al. | Recognition of imagined speech using electroencephalogram signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |