CN116992262A - 一种认知水平评估模型计算方法及装置 - Google Patents
一种认知水平评估模型计算方法及装置 Download PDFInfo
- Publication number
- CN116992262A CN116992262A CN202310791131.5A CN202310791131A CN116992262A CN 116992262 A CN116992262 A CN 116992262A CN 202310791131 A CN202310791131 A CN 202310791131A CN 116992262 A CN116992262 A CN 116992262A
- Authority
- CN
- China
- Prior art keywords
- feature
- layer
- convolution
- follows
- spatial domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 52
- 238000004364 calculation method Methods 0.000 title claims abstract description 40
- 238000013210 evaluation model Methods 0.000 title abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000006870 function Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 230000003920 cognitive function Effects 0.000 claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims description 54
- 230000004913 activation Effects 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012821 model calculation Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000019771 cognition Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 6
- 210000004761 scalp Anatomy 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 208000024827 Alzheimer disease Diseases 0.000 description 4
- 206010039966 Senile dementia Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 208000010877 cognitive disease Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000763 evoking effect Effects 0.000 description 4
- 230000003925 brain function Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 208000027061 mild cognitive impairment Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000006386 memory function Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Neurology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Neurosurgery (AREA)
- Evolutionary Biology (AREA)
- Fuzzy Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Probability & Statistics with Applications (AREA)
Abstract
本申请公开了一种认知水平评估模型计算方法，包括：步骤1，采集能够反应认知功能的事件相关电位；步骤2，提取事件相关电位这一脑电成分在空间域上的特征信息，得到空间域特征及相应特征图；步骤3，在空间域特征的特征图上提取时间域上的特征信息，得到时间域特征及相应特征图；步骤4，在步骤3的基础上进行全连接处理；步骤5，在步骤4的基础上增加全连接层并使用softmax函数处理，得到用于认知水平评估的模型预测概率值。设计空间域和时间域的特征提取，融合多维度特征信息使得网络学习更丰富的知识，改进模型性能，大幅提升认知水平评估的准确性。
Description
技术领域
本申请属于医学及生理信号检测与处理分析技术领域，具体涉及一种认知水平评估模型计算方法及装置。
背景技术
痴呆症是由于脑部功能退化或脑部功能受损所表达出来的病症，多发于老年群体。老年痴呆的主要临床表现包括记忆力功能减弱、认知功能出现障碍等症状，严重患者甚至于失去自理能力，需要实时看护。在老年痴呆和正常老年人之间存在一种中间状态，称之为轻度认知障碍。处于该状态下的老人认知功能和记忆功能退化程度较为轻微，症状表现轻微，不影响正常的生活，因此不易引起重视。
有研究表明，轻度认知障碍患者中每年有10％-15％转化为老年痴呆，其速度是正常老年人的10倍，并且老年痴呆患者中有近2/3的病人是由轻度认知障碍患者转化而来。因此，及时发现老人认知退化、评估其认知水平，有利于尽早采取药物和治疗手段进行干预，延缓脑部功能退化过程。来自人体的生理电信号可以反应机体当前的状态，且不受个人和他人的主观意愿影响。脑电信号是生理电信号的一种，是脑部各个神经元活动的综合反应。头皮脑电是脑部神经电活动投射在大脑皮层的电信号，该信号直接在头皮采集，无需电极深入颅内，不用开刀，没有创口，相比于脑部成像，费用便宜，对患者友好。脑电信号包括自发脑电和诱发脑电，事件相关电位(ERP)是一种与认知功能相关的内源性诱发脑电成分，反映了认知过程中脑部的神经电生理的变化，也被称为认知电位，通常计算其特征点的幅值和潜伏期作为评价认知功能的指标。深度学习技术是人工智能领域中的一个重要分支，在图像识别、语音处理、自动驾驶、生理信号处理等多个领域有着广泛应用，并表现出优异的性能。其中，在脑电信号处理领域，EEGNet网络结构、ShallowConvNet网络结构和EEGInception网络结构有着较好的表现。但是，这些网络没有考虑头皮不同脑电通道之间的相关特征。
发明内容
本发明的目的是提供了一种认知水平评估模型计算方法及装置，具体计算方案如下：
一种认知水平评估模型计算方法，包括：步骤1，采集能够反应认知功能的事件相关电位；步骤2，提取事件相关电位这一脑电成分在空间域上的特征信息，得到空间域特征及相应特征图；步骤3，在空间域特征的特征图上提取时间域上的特征信息，得到时间域特征及相应特征图；步骤4，在步骤3的基础上进行全连接处理；步骤5，在步骤4的基础上增加全连接层并使用softmax函数处理，得到用于认知水平评估的模型预测概率值。
具体的，步骤2，提取事件相关电位这一脑电成分在空间域上的特征信息包括：步骤2.1，采用多个空洞卷积结构分支提取事件相关电位这一脑电成分在空间域上不同尺度大小的特征信息；步骤2.2，将每个空洞卷积结构分支提取的特征信息的特征图在空间域的维度上合并在一起，得到空间域特征及相应特征图。
具体的，每个空洞卷积结构分支中均设计有一个深度可分离卷积结构，用于保证了不同空间域特征的独立性。
具体的，在得到空间域特征后还包括：步骤2.3，将空间域特征在空间维度上进行压缩；步骤2.4，在步骤2.3的基础上进行批归一化处理，用于调整空间域特征的特征分布；步骤2.5，在步骤2.4的基础上进行激活函数处理，该激活函数表达式为：得到压缩空间域特征及相应特征图。
具体的，步骤3，提取空间域特征基础上的时间域特征信息包括：步骤3.1，采用多个空洞卷积结构分支提取压缩空间域特征的特征图基础上不同尺度大小的时间域上的特征信息；步骤3.2，将每个空洞卷积结构分支提取的特征信息的特征图在时间域的维度上连接到一起，得到时间域特征。
具体的，步骤4，对空间域特征和时间域特征进行全连接处理包括：步骤4.1，将压缩空间域特征和时间域特征的所有数据平铺为一维向量；步骤4.2，在步骤4.1的基础上进行全连接处理，用于进一步提取特征的同时也压缩高维特征；步骤4.3，在步骤4.2的基础上进行批归一化处理，用于调整各个特征的特征分布；步骤4.4，在步骤4.3的基础上进行激活函数处理，该激活函数表达式为：
具体的，步骤5，对在所述步骤4的基础上增加全连接层并进行使用softmax函数处理，得到用于认知水平评估的模型预测概率值包括：步骤5.1，在所述步骤4.4的基础上进行全连接处理，输出包含两个元素的一维矩阵；步骤5.2，使用softmax函数处理一维矩阵，得到用于认知水平评估的模型预测概率值。
一种认知水平评估模型计算装置，包括：输入模块，输入模块用于输入能够反应认知功能的事件相关电位这一脑电信号；空间域特征提取模块，空间域特征提取模块用于提取脑电信号中的空间域特征；时间域特征提取模块，时间域特征提取模块用于在空间域特征的特征图上提取时间域特征；特征处理模块，特征处理模块用于处理时间域特征和空间域特征并最终输出用于认知水平评估的模型预测概率值。
具体的，还包括空间域特征压缩模块，空间域特征压缩模块用于对空间域特征的特征图在空间维度进行压缩，时间域特征提取模块在压缩后的空间域特征图上提取时间域特征。
具体的，空间域特征提取模块包括：
空间域特征提取层，空间域特征提取层包括四个空洞卷积结构分支，用于在空间域特征的维度进行卷积计算；其中，四个空洞卷积结构分支中有一个保持输入信号不变，作为特征输入到该分支的下一层，另外三个分支分别设置了三个不同大小的卷积核，用于提取空间特征，具体表达式分别为：
其中，其中是没有卷积操作的分支的第j个特征图，与输入信号的第i个特征Ii相等，/>和/>分别是其他三个空洞卷积结构分支输出的第j个特征图，Mj代表参与卷积计算的输入信号部分，/>和/>分别代表三个空洞卷积结构分支中不同尺度大小的卷积核，/>和/>分别代表三个空洞卷积结构分支中的偏置；
空间域特征处理层，空间域特征处理层包括与四个空洞卷积结构分支一一对应的深度可分离卷积结构，深度可分离卷积结构用于减少卷积计算的计算量以及保证不同空间域特征的独立性；具体表达式分别为：
其中和/>分别是特征处理层中四个分支输出的第j个特征图，/>和/>分别代表四个分支的深度可分离卷积的卷积核，和/>分别代表深度可分离卷积计算中的偏置；
空间域特征合并层，空间域特征合并层用于将特征处理层中四个分支输出的特征图在空间的维度上合并在一起，其具体表达式为：
x(3)＝concatenate(x(2,0),x(2,1),x(2,2),x(2,3),axis＝-1)；
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，其具体表达式为：
x(4)＝Dropout(x(3),dropout_rate＝0.5)。
具体的，特征处理模块包括：
压缩层，该压缩层用于将空间域特征的各个特征图在空间维度上进行压缩，具体表达式为：
其中，是来自第4层的第i个特征图，/>是来第5层输出的第j个特征图，/>表示该层的卷积核，/>表示该层的偏置；
批归一化层，该批归一化层用于调整各个特征图的特征分布，具体表达式为：
x(6)＝BatchNormalization(x(5))；
激活层，该激活层采用的激活函数为：该层具体表达式为：
x(7)＝f(x(6))；
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，其具体表达式为：
x(8)＝Dropout(x(7),dropout_rate＝0.5)。
具体的，时间域特征提取模块包括：
时间域特征提取层，时间域特征提取层包括四个空洞卷积结构分支，用于在时间域特征的维度进行卷积计算；其中，四个空洞卷积结构分支分别设置了四个不同大小的卷积核，用于提取时间特征，具体表达式分别为：
其中，和/>分别代表四个空洞卷积结构分支输出的第j个特征图，/>和/>分别代表四个空洞卷积结构分支中不同尺度大小的卷积核，/>和/>分别代表四个空洞卷积计算中的偏置；
时间域特征连接层，时间域特征连接层用于将四个分支输出的特征图在时间域特征的维度上连接到一起，其具体表达式为：
x(10)＝concatenate(x(9,0),x(9,1),x(9,2),x(9,3),axis＝1)；
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，具体表达式为：
x(11)＝Dropout(x(10),dropout_rate＝0.5)。
具体的，特征处理模块包括：
Flatten层，该Flatten层用于将压缩空间域特征和时间域特征的所有数据平铺为一维向量，具体表达式为：
x(12)＝Flatten(x(11))；
全连接层，该全连接层用于进一步提取特征的同时压缩高维特征，具体表达式为：
其中代表输出的第j个数据点，/>代表各个数据点的计算权重，b(13)代表偏置；
批归一化层，该批归一化层用于调整各个特征的特征分布，具体表达式为：
x(14)＝BatchNormalization(x(13))；
激活层，该激活层采用的激活函数为：该层具体表达式为：
x(15)＝f(x(14))；
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，具体表达式为：
x(16)＝Dropout(x(15),dropout_rate＝0.5)；
全连接层，该全连接层输出包含两个元素的一维矩阵，经softmax函数处理后用于评估认知水平，，具体表达式为：
其中，代表输出的第j个数据点，/>代表各个数据点的计算权重，b(13)代表偏置，softmax代表此处选用softmax函数作为激活函数。
模型的输出结果是一个含有2个元素的一维矩阵[p1,p2],每个元素的范围都在0-1之间，且满足条件p1+p2＝1。其中p1代表的是模型预测结果为认知水平正常的概率值，p2代表的是模型预测结果为认知水平异常的概率值。当p1＞p2时，模型的预测结果为认知水平正常，当p1≤p2时，模型的预测结果为认知水平异常。
本发明的上述技术方案具有如下有益的技术效果：本发明提出使用事件相关电位这一特殊脑电的时域特征和空间域特征来输出用于认知水平评估的模型预测概率值。设计空间域和时间域的特征提取，融合多维度特征信息使得网络学习更丰富的知识，改进模型性能，大幅提升认知水平评估的准确性。
附图说明
图1是本发明使用的oddball范式视觉诱发实验流程示意图。
图2是本发明使用的脑电信号预处理流程图。
图3是本发明提出的多尺度空洞卷积神经网络结构说明图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例一
一种认知水平评估模型计算方法，包括：步骤1，采集能够反应认知功能的事件相关电位；步骤2，提取事件相关电位这一脑电成分在空间域上的特征信息，得到空间域特征及相应特征图；步骤3，在空间域特征的特征图上提取时间域上的特征信息，得到时间域特征及相应特征图；步骤4，对步骤3提取的特征进行全连接处理；步骤5，在步骤4的基础上增加全连接层并使用softmax函数处理，得到用于认知水平评估的模型预测概率值。通过提出使用事件相关电位这一特殊脑电的时域特征和空间域特征来输出用于认知水平评估的模型预测概率值，设计空间域和时间域的特征提取，融合多维度特征信息使得网络学习更丰富的知识，改进模型性能，大幅提升认知水平评估的准确性。
一些实施例中，采集能够反应认知功能的事件相关电位，具体为：采用oddball范式的视觉诱发实验来诱发事件相关电位。如图1所示，白色的随机数字和灰色的符号“+”交替出现，其中符号“+”作为刺激间隔，每次出现持续时间为2s，随机数字作为刺激出现，大小范围位0-9，每次出现持续时间为1s。在整个实验中，共出现100个数字，指定，数字0作为靶刺激，出现20次，数字1-9作为非靶刺激，出现80次。虽然指定了刺激和靶刺激的出现总次数，但是对于每次出现的数字，仍是随机的。当靶刺激数字0出现时，要求被试做出“单击鼠标左键”的动作，当非靶刺激数字1-9出现时，被试不做任何动作。事件相关电位是由外部刺激诱发出现的脑电成分，根据刺激出现的时间将该成分从实验所采集的脑电信号中分离出来。另一方面头皮脑电信号较为微弱，容易受到各种噪声影响，滤除噪声后才能获得干净的目标信号。所以需要对相关数据进行预处理，如图2所示，具体为：
步骤(1)，选用巴特沃斯带通滤波器，将频域范围在0.5-30Hz的脑电成分保留，该范围以外的其他成分滤除，去除脑电信号中的噪声。
步骤(2)，根据事件相关电位的采集原理，通过靶刺激数字0出现的时刻，确定单个事件相关电位的起始位置，截取从起始点往后共800ms长的数据，作为事件相关电位，实现事件相关电位分割。
步骤(3)，由于事件相关电位的锁时性，不同ERP片段中其特征成分出现的时间是固定的，不同片段叠加会增强该成分在波形上的表现，而白噪声在叠加后会逐渐减弱。基于此，随机选择5个事件相关电位片段做平均计算，进一步提取波型特征，去除噪声，提高信号的信噪比，实现数据增强。
步骤(4)，对步骤(3)处理的事件相关电位片段进行归一化处理，表达式如下：
其中，xij代表通道i的第j个数据点，代表通道i所有数据点的平均值，σi代表通道i所有数据点的方差,xij′代表归一化处理后来自通道i的第j个数据点。
一些实施例中，步骤2，提取事件相关电位这一脑电成分在空间域上的特征信息包括：步骤2.1，采用多个空洞卷积结构分支提取事件相关电位这一脑电成分在空间域上不同尺度大小的特征信息；步骤2.2，将每个空洞卷积结构分支提取的特征信息的特征图在空间域的维度上合并在一起，得到空间域特征及相应特征图。
一些实施例中，每个空洞卷积结构分支中均设计有一个深度可分离卷积结构，用于保证了不同空间域特征的独立性。
一些实施例中，在得到空间域特征后还包括：步骤2.3，将空间域特征在空间维度上进行压缩；步骤2.4，在步骤2.3的基础上进行批归一化处理，用于调整空间域特征的特征分布；步骤2.5，在步骤2.4的基础上进行激活函数处理，该激活函数表达式为：得到压缩空间域特征及相应特征图。
一些实施例中，步骤3，提取空间域特征基础上的时间域特征信息包括：步骤3.1，采用多个空洞卷积结构分支提取压缩空间域特征的特征图基础上不同尺度大小的时间域上的特征信息；步骤3.2，将每个空洞卷积结构分支提取的特征信息的特征图在时间域的维度上连接到一起，得到时间域特征。
一些实施例中，步骤4，对空间域特征和时间域特征进行全连接处理包括：步骤4.1，将压缩空间域特征和时间域特征的所有数据平铺为一维向量；步骤4.2，在步骤4.1的基础上进行全连接处理，用于进一步提取特征的同时也压缩高维特征；步骤4.3，在步骤4.2的基础上进行批归一化处理，用于调整各个特征的特征分布；步骤4.4，在步骤4.3的基础上进行激活函数处理，该激活函数表达式为：
实施例二
如图3所示，一种认知水平评估模型计算装置，包括：输入模块，输入模块用于输入能够反应认知功能的事件相关电位这一脑电信号；空间域特征提取模块，空间域特征提取模块用于提取脑电信号中的空间域特征；时间域特征提取模块，时间域特征提取模块用于在空间域特征的特征图上提取时间域特征；特征处理模块，特征处理模块用于处理时间域特征和空间域特征并最终输出用于认知水平评估的模型预测概率值。通过提出使用事件相关电位这一特殊脑电的时域特征和空间域特征来输出用于认知水平评估的模型预测概率值，设计空间域和时间域的特征提取，融合多维度特征信息使得网络学习更丰富的知识，改进模型性能，大幅提升认知水平评估的准确性。
一些实施例中，空间域特征提取模块包括：
空间域特征提取层，空间域特征提取层包括四个空洞卷积结构分支，用于在空间域特征的维度进行卷积计算；其中，四个空洞卷积结构分支中有一个保持输入信号不变，作为特征输入到该分支的下一层，另外三个分支分别设置了三个不同大小的卷积核，用于提取空间特征。需要特别说明的是，为了减轻计算压力，减少过拟合，卷积计算使用空洞卷积方法来实现，在大小为(1，3)的卷积核基础上，在三个不同的卷积分支设置空洞率分别为(1，2)，(1，3)和(1，5)，则三个分支所对应的卷积核大小为(1，5)，(1，7)和(1，11)。具体表达式分别为：
其中，其中是没有卷积操作的分支的第j个特征图，与输入信号的第i个特征Ii相等，/>和/>分别是其他三个空洞卷积结构分支输出的第j个特征图，Mj代表参与卷积计算的输入信号部分，/>和/>分别代表三个空洞卷积结构分支中不同尺度大小的卷积核，/>和/>分别代表三个空洞卷积结构分支中的偏置。
空间域特征处理层，空间域特征处理层包括与四个空洞卷积结构分支一一对应的深度可分离卷积结构，深度可分离卷积结构用于减少卷积计算的计算量以及保证不同空间域特征的独立性。需要注意的是，此时卷积计算的维度从空间域转换到了时间域上，其中各个分支的卷积核大小均设置为(3，1)，提取不同尺度空间域特征下的时间域特征信息。另外，通过设置四个分支中可分离卷积中的乘数因子D，令四个分支输出相同数量的特征图。具体表达式分别为：
其中和/>分别是特征处理层中四个分支输出的第j个特征图，/>和/>分别代表四个分支的深度可分离卷积的卷积核，对于前一层没有卷积操作的分支，设置参数D为10，对于前一层为空洞卷积操作的分支，设置参数D为1，/>和/>分别代表深度可分离卷积计算中的偏置。
空间域特征合并层，空间域特征合并层用于将特征处理层中四个分支输出的特征图在空间的维度上合并在一起，其具体表达式为：
x(3)＝concatenate(x(2,0),x(2,1),x(2,2),x(2,3),axis＝-1)。
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，其具体表达式为：
x(4)＝Dropout(x(3),dropout_rate＝0.5)。
一些实施例中，时间域特征提取模块包括：
时间域特征提取层，时间域特征提取层包括四个空洞卷积结构分支，用于在时间域特征的维度进行卷积计算；其中，四个空洞卷积结构分支分别设置了四个不同大小的卷积核，用于提取时间特征。此处四个分支分别设置了四个空洞卷积结构，在大小为(4，1)的卷积核基础上，在三个不同的卷积分支设置空洞率分别为(1，1)，(2，1)，(3，1)和(5，1)，则三个分支所对应的卷积核大小为(4，1)，(7，1)，(10，1)和(16，1)。具体表达式分别为：
其中，和/>分别代表四个空洞卷积结构分支输出的第j个特征图，/>和/>分别代表四个空洞卷积结构分支中不同尺度大小的卷积核，/>和/>分别代表四个空洞卷积计算中的偏置。
时间域特征连接层，时间域特征连接层用于将四个分支输出的特征图在时间域特征的维度上连接到一起，其具体表达式为：
x(10)＝concatenate(x(9,0),x(9,1),x(9,2),x(9,3),axis＝1)。
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，具体表达式为：
x(11)＝Dropout(x(10),dropout_rate＝0.5)。
一些实施例中，特征处理模块包括：
Flatten层，该Flatten层用于将压缩空间域特征和时间域特征的所有数据平铺为一维向量，具体表达式为：
x(12)＝Flatten(x(11))。
全连接层，该全连接层用于进一步提取特征的同时压缩高维特征，具体表达式为：
其中代表输出的第j个数据点，/>代表各个数据点的计算权重，b(13)代表偏置。
批归一化层，该批归一化层用于调整各个特征的特征分布，具体表达式为：
x(14)＝BatchNormalization(x(13))。
激活层，该激活层采用的激活函数为：该层具体表达式为：
x(15)＝f(x(14))。
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，具体表达式为：
x(16)＝Dropout(x(15),dropout_rate＝0.5)。
全连接层，该全连接层用于输出包含两个元素的一维矩阵，输出结果经softmax函数处理后用于评估认知水平，具体表达式为：
其中，代表输出的第j个数据点，/>代表各个数据点的计算权重，b(13)代表偏置，softmax代表此处选用softmax函数作为激活函数。
模型的输出结果是一个含有2个元素的一维矩阵[p1,p2],每个元素的范围都在0-1之间，且满足条件p1+p2＝1。其中p1代表的是模型预测结果为认知水平正常的概率值，p2代表的是模型预测结果为认知水平异常的概率值。当p1＞p2时，模型的预测结果为认知水平正常，当p1≤p2时，模型的预测结果为认知水平异常。
为了比较本发明所设计的模型的增益效果，选用了ERP信号的公开数据库bnci-horizon-2020进行了实验验证。该数据库中共有8个受试者的实验数据，对于任意一个受试者，均进行了35轮实验采集，选用前20轮实验的数据作为训练数据，后15轮实验的数据作为测试数据。在模型训练中，本发明所提出的模型和其他的对比模型使用相同的训练数据和相同的测试数据，使用相同的优化器，进行相同的训练次数。本发明所提出的模型和对比模型，在每个受试者的数据上均进行100次训练并测试后的平均结果如下表所示。对于所有数据的平均结果，本发明所提出的方法取得了最高的准确率0.948(±0.064)。对于8个受试者各自的平均结果，本发明所提出的方法在受试者A01、A02、A03、A04、A06和A07这6个人的结果中取得了最高准确率，尤其是A06的准确率高达0.993(±0.026)。综合来看，本发明所提出的方法较以往的方法有较大增益。具体对比信息如下表：
| 受试者 | 本发明 | EEGNet | ShallowConvNet | EEGInception |
| A01 | 0.938(±0.072) | 0.908(±0.027) | 0.702(±0.082) | 0.879(±0.073) |
| A02 | 0.977(±0.042) | 0.935(±0.048) | 0.767(±0.075) | 0.898(±0.042) |
| A03 | 0.928(±0.072) | 0.900(±0.000) | 0.792(±0.077) | 0.887(±0.078) |
| A04 | 0.945(±0.065) | 0.933(±0.047) | 0.829(±0.062) | 0.924(±0.065) |
| A05 | 0.934(±0.060) | 0.963(±0.050) | 0.781(±0.084) | 0.912(±0.070) |
| A06 | 0.993(±0.026) | 0.952(±0.050) | 0.765(±0.070) | 0.945(±0.065) |
| A07 | 0.929(±0.068) | 0.909(±0.032) | 0.862(±0.085) | 0.904(±0.053) |
| A08 | 0.940(±0.062) | 0.959(±0.049) | 0.703(±0.075) | 0.920(±0.063) |
| 平均 | 0.948(±0.064) | 0.932(±0.047) | 0.775(±0.093) | 0.909(±0.068) |
Claims (13)
1.一种认知水平评估模型计算方法，其特征在于，包括：
步骤1，采集能够反应认知功能的事件相关电位；
步骤2，提取所述事件相关电位这一脑电成分在空间域上的特征信息，得到空间域特征及相应特征图；
步骤3，在所述空间域特征的特征图上提取时间域上的特征信息，得到时间域特征及相应特征图；
步骤4，在所述步骤3的基础上进行全连接处理；
步骤5，在所述步骤4的基础上增加全连接层并使用softmax函数处理，得到用于认知水平评估的模型预测概率值。
2.如权利要求1所述认知水平评估模型计算方法，其特征在于，所述步骤2，提取所述事件相关电位这一脑电成分在空间域上的特征信息包括：
步骤2.1，采用多个空洞卷积结构分支提取所述事件相关电位这一脑电成分在空间域上不同尺度大小的特征信息；
步骤2.2，将每个空洞卷积结构分支提取的特征信息的特征图在特征通道的维度上合并在一起，得到所述空间域特征及相应特征图。
3.如权利要求2所述认知水平评估模型计算方法，其特征在于，每个所述空洞卷积结构分支中均设计有一个深度可分离卷积结构，用于保证了不同空间域特征的独立性。
4.如权利要求2所述认知水平评估模型计算方法，其特征在于，在得到所述空间域特征后还包括：
步骤2.3，将所述空间域特征在空间维度上进行压缩；
步骤2.4，在所述步骤2.3的基础上进行批归一化处理，用于调整所述空间域特征的特征分布；
步骤2.5，在所述步骤2.4的基础上进行激活函数处理，该激活函数表达式为：得到压缩空间域特征及相应特征图。
5.如权利要求3所述认知水平评估模型计算方法，其特征在于，所述步骤3，提取所述空间域特征基础上的时间域特征信息包括：
步骤3.1，采用多个空洞卷积结构分支提取所述压缩空间域特征的特征图基础上不同尺度大小的时间域上的特征信息；
步骤3.2，将每个空洞卷积结构分支提取的特征信息的特征图在时间域的维度上连接到一起，得到时间域特征。
6.如权利要求5所述认知水平评估模型计算方法，其特征在于，所述步骤4，在所述步骤3的基础上进行全连接处理包括：
步骤4.1，将所述压缩空间域特征和所述时间域特征的所有数据平铺为一维向量；
步骤4.2，在所述步骤4.1的基础上进行全连接处理，用于进一步提取特征的同时也压缩高维特征；
步骤4.3，在所述步骤4.2的基础上进行批归一化处理，用于调整各个特征的特征分布；
步骤4.4，在所述步骤4.3的基础上进行激活函数处理，该激活函数表达式为：
7.如权利要求6所述认知水平评估模型计算方法，其特征在于，所述步骤5，在所述步骤4的基础上增加全连接层并进行使用softmax函数处理，得到用于认知水平评估的模型预测概率值包括：
步骤5.1，在所述步骤4.4的基础上进行全连接处理，输出包含两个元素的一维矩阵；
步骤5.2，使用softmax函数处理所述一维矩阵，得到用于认知水平评估的模型预测概率值。
8.一种认知水平评估模型计算装置，其特征在于，包括：
输入模块，所述输入模块用于输入能够反应认知功能的事件相关电位这一脑电信号；
空间域特征提取模块，所述空间域特征提取模块用于提取脑电信号中的空间域特征；
时间域特征提取模块，所述时间域特征提取模块用于在所述空间域特征的特征图上提取时间域特征；
特征处理模块，所述特征处理模块用于处理所述时间域特征和所述空间域特征并最终输出用于认知水平评估的模型预测概率值。
9.如权利要求8所述认知水平评估模型计算装置，其特征在于，还包括空间域特征压缩模块，所述空间域特征压缩模块用于对所述空间域特征的特征图在空间维度进行压缩，所述时间域特征提取模块在压缩后的空间域特征图上提取时间域特征。
10.如权利要求9所述认知水平评估模型计算装置，其特征在于，所述空间域特征提取模块包括：
空间域特征提取层，所述空间域特征提取层包括四个空洞卷积结构分支，用于在空间域特征的维度进行卷积计算；其中，四个空洞卷积结构分支中有一个保持输入信号不变，作为特征输入到该分支的下一层，另外三个分支分别设置了三个不同大小的卷积核，用于提取空间特征，具体表达式分别为：
其中，其中是没有卷积操作的分支的第j个特征图，与输入信号的第i个特征Ii相等，/>和/>分别是其他三个空洞卷积结构分支输出的第j个特征图，Mj代表参与卷积计算的输入信号部分，/> 和/>分别代表三个空洞卷积结构分支中不同尺度大小的卷积核，/>和/>分别代表三个空洞卷积结构分支中的偏置；
空间域特征处理层，所述空间域特征处理层包括与四个空洞卷积结构分支一一对应的深度可分离卷积结构，所述深度可分离卷积结构用于减少卷积计算的计算量以及保证不同空间域特征的独立性；具体表达式分别为：
其中和/>分别是所述特征处理层中四个分支输出的第j个特征图，/>和/>分别代表四个分支的深度可分离卷积的卷积核，和/>分别代表深度可分离卷积计算中的偏置；
空间域特征合并层，所述空间域特征合并层用于将所述特征处理层中四个分支输出的特征图在空间的维度上合并在一起，其具体表达式为：
x(3)＝concatenate(x(2,0),x(2,1),x(2,2),x(2,3),axis＝-1)；
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，其具体表达式为：
x(4)＝Dropout(x(3),dropout_rate＝0.5)。
11.如权利要求10所述认知水平评估模型计算装置，其特征在于，所述特征处理模块包括：
压缩层，该压缩层用于将所述空间域特征的各个特征图在空间维度上进行压缩，具体表达式为：
其中，是来自第4层的第i个特征图，/>是来第5层输出的第j个特征图，/>表示该层的卷积核，/>表示该层的偏置；
批归一化层，该批归一化层用于调整各个特征图的特征分布，具体表达式为：
x(6)＝BatchNormalization(x(5))；
激活层，该激活层采用的激活函数为：该层具体表达式为：
x(7)＝f(x(6))；
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，其具体表达式为：
x(8)＝Dropout(x(7),dropout_rate＝0.5)。
12.如权利要求11所述认知水平评估模型计算装置，其特征在于，所述时间域特征提取模块包括：
时间域特征提取层，所述时间域特征提取层包括四个空洞卷积结构分支，用于在时间域特征的维度进行卷积计算；其中，四个空洞卷积结构分支分别设置了四个不同大小的卷积核，用于提取时间特征，具体表达式分别为：
其中，和/>分别代表四个空洞卷积结构分支输出的第j个特征图，和/>分别代表四个空洞卷积结构分支中不同尺度大小的卷积核，/>和/>分别代表四个空洞卷积计算中的偏置；
时间域特征连接层，所述时间域特征连接层用于将四个分支输出的特征图在时间域特征的维度上连接到一起，其具体表达式为：
x(10)＝concatenate(x(9,0),x(9,1),x(9,2),x(9,3),axis＝1)；
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，具体表达式为：
x(11)＝Dropout(x(10),dropout_rate＝0.5)。
13.如权利要求12所述认知水平评估模型计算装置，其特征在于，所述特征处理模块包括：
Flatten层，该Flatten层用于将所述压缩空间域特征和所述时间域特征的所有数据平铺为一维向量，具体表达式为：
x(12)＝Flatten(x(11))；
全连接层，该全连接层用于进一步提取特征的同时压缩高维特征，具体表达式为：
其中代表输出的第j个数据点，/>代表各个数据点的计算权重，b(13)代表偏置；
批归一化层，该批归一化层用于调整各个特征的特征分布，具体表达式为：
x(14)＝BatchNormalization(x(13))；
激活层，该激活层采用的激活函数为：该层具体表达式为：
x(15)＝f(x(14))；
Dropout层，该Dropout层用于随机舍弃部分数据不参与卷积计算，设置该部分数据的占比为0.5，用于防止模型过拟合，具体表达式为：
x(16)＝Dropout(x(15),dropout_rate＝0.5)；
全连接层，该全连接层用于输出包含两个元素的一维矩阵，再经softmax函数处理后用于评估认知水平，具体表达式为：
其中，代表输出的第j个数据点，/>代表各个数据点的计算权重，b(13)代表偏置，softmax代表此处选用softmax函数作为激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310791131.5A CN116992262A (zh) | 2023-06-30 | 2023-06-30 | 一种认知水平评估模型计算方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310791131.5A CN116992262A (zh) | 2023-06-30 | 2023-06-30 | 一种认知水平评估模型计算方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116992262A true CN116992262A (zh) | 2023-11-03 |
Family
ID=88531068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310791131.5A Pending CN116992262A (zh) | 2023-06-30 | 2023-06-30 | 一种认知水平评估模型计算方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116992262A (zh) |
-
2023
- 2023-06-30 CN CN202310791131.5A patent/CN116992262A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khatun et al. | A single-channel EEG-based approach to detect mild cognitive impairment via speech-evoked brain responses | |
| Hamad et al. | Feature extraction of epilepsy EEG using discrete wavelet transform | |
| CN109784023B (zh) | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 | |
| Kumari et al. | Seizure detection in EEG using time frequency analysis and SVM | |
| US20180146879A9 (en) | Biopotential Waveform Data Fusion Analysis and Classification Method | |
| Jiajie et al. | Clinical decision support system for alcoholism detection using the analysis of EEG signals | |
| Aydın et al. | The impact of musical experience on neural sound encoding performance | |
| CN112861625B (zh) | 一种堆叠去噪自编码器模型确定方法 | |
| Talukdar et al. | Adaptation of Common Spatial Patterns based on mental fatigue for motor-imagery BCI | |
| CN101828921A (zh) | 基于视觉诱发脑电vep的身份识别方法 | |
| Sarma et al. | Pre-processing and feature extraction techniques for EEGBCI applications-a review of recent research | |
| Hosseini et al. | Classification of emotional stress using brain activity | |
| Mustafa et al. | The analysis of eeg spectrogram image for brainwave balancing application using ann | |
| Lee et al. | Automated epileptic seizure waveform detection method based on the feature of the mean slope of wavelet coefficient counts using a hidden Markov model and EEG signals | |
| Kumar et al. | EEG seizure classification based on exploiting phase space reconstruction and extreme learning | |
| Jianbiao et al. | EEG signal classification of tinnitus based on SVM and sample entropy | |
| Sabeti et al. | Analysing complexity, variability and spectral measures of schizophrenic EEG signal | |
| CN117179785A (zh) | 一种基于erp脑电信号的认知水平评估装置、电子设备 | |
| CN116776188A (zh) | 基于多分支图自适应网络的脑电信号分类方法 | |
| CN116992262A (zh) | 一种认知水平评估模型计算方法及装置 | |
| Islam et al. | A hybrid scheme for AEP based hearing deficiency diagnosis: CWT and convoluted K-nearest neighbour (CKNN) pipeline | |
| Chandel et al. | Patient specific seizure onset-offset latency detection using long-term EEG signals | |
| Sun et al. | MEEG-Transformer: transformer Network based on Multi-domain EEG for emotion recognition | |
| Nath et al. | Wavelet Based De-noising of EEG Signal Acquired from Tele-serial Addicted Persons | |
| Hamdi et al. | EEG signal pre-processing methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |