CN109480870A - 一种面向rsvp脑-机接口的脑力负荷识别方法 - Google Patents
一种面向rsvp脑-机接口的脑力负荷识别方法 Download PDFInfo
- Publication number
- CN109480870A CN109480870A CN201811280305.7A CN201811280305A CN109480870A CN 109480870 A CN109480870 A CN 109480870A CN 201811280305 A CN201811280305 A CN 201811280305A CN 109480870 A CN109480870 A CN 109480870A
- Authority
- CN
- China
- Prior art keywords
- mental load
- rsvp
- mental
- brain
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003340 mental effect Effects 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 210000004556 brain Anatomy 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 210000001595 mastoid Anatomy 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 238000003909 pattern recognition Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 210000001061 forehead Anatomy 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 206010016256 fatigue Diseases 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Power Engineering (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种面向RSVP脑‑机接口的脑力负荷识别方法,属于脑力负荷识别技术领域,解决了现有技术中无法准确评估RSVP‑BCI作业过程中,作业人员脑力负荷的问题。一种面向RSVP脑‑机接口的脑力负荷识别方法,包括以下步骤:以不同RSVP呈现频率分别呈现图像内容,当目标图像出现时,被试作出行为反应,并记录其行为学信息;提取被试者脑电信号,并进行预处理,以脑电信号的微分熵作为脑力负荷特征;对所述脑力负荷特征进行识别,得到脑力负荷识别结果。实现了RSVP‑BCI作业过程中,作业人员脑力负荷的准确识别,为RSVP‑BCI任务下脑力负荷监测提供了技术支持。
Description
技术领域
本发明涉及脑力负荷识别技术领域,尤其涉及一种面向RSVP脑-机接口的脑力负荷识别方法。
背景技术
快速序列视觉呈现(rapid serial visual presentation,RSVP) 指在相同的空间位置序列性地高速呈现图像的过程。基于RSVP的脑-机接口(Brain-computerinterface,BCI),通过检测图像序列高速呈现过程中小概率目标刺激诱发的大脑响应,从而识别使用者所关注的目标图像。RSVP-BCI技术利用人类视觉系统的图像处理和理解能力,具有比机器视觉更加高效的信息处理能力。并且,相比于人工检测,RSVP-BCI技术具有省时、高效等优势。RSVP-BCI技术已被逐渐应用于人脸识别、医学图像分析等海量图像/信息处理领域。
脑力负荷指的是满足系统实际需求所要的作业人员信息处理能力或认知资源的比例。任务认知资源占用率决定了脑力负荷水平。RSVP-BCI 中,图像序列的呈现速度、目标多样性、目标种类数、目标比例等参数的变化,均会改变任务的认知资源占用率,从而引起作业人员脑力负荷的变化。过高的脑力负荷会造成作业人员快速疲劳、注意力降低、反应迟缓,从而对工作绩效产生影响,造成信息的误判、漏判,甚至操作失误引发安全隐患。
因此,对快速目标图像处理任务造成的脑力负荷进行实时评估,实现作业人员脑力负荷的监测、反馈,并进一步实现人机动态任务分配,避免出现过高的脑力负荷,对作业人员工作绩效和安全性的提高具有重大意义。
发明内容
鉴于上述的分析,本发明旨在提供一种面向RSVP脑-机接口的脑力负荷识别方法,用以解决现有技术中无法评估RSVP-BCI作业过程中,作业人员脑力负荷的问题。
本发明提供一种面向RSVP脑-机接口的脑力负荷识别方法,所述方法包括以下步骤:
以不同RSVP呈现频率分别呈现图像内容,当目标图像出现时,被试者作出行为反应,并记录其行为学信息;
提取被试者脑电信号,并进行预处理,以脑电信号的微分熵作为脑力负荷特征;
对所述脑力负荷特征进行识别,得到脑力负荷识别结果。
上述技术方案的有益效果为:实现了评估RSVP-BCI作业过程中,作业人员脑力负荷的问题。
进一步地,以不同RSVP呈现频率分别呈现图像内容,具体包括,分别以低、中、高三种RSVP呈现频率aHz、bHz、cHz呈现m段图像内容,共有3*m段,其中,a<b<c,三种频率中的每段分别包括α、β、γ个组,每组中包含n张图像,n≥100,m≥2。
上述进一步技术方案的有益效果为:通过低、中、高三种RSVP呈现频率,诱发被试者的不同水平的脑力负荷;三种频率中每段组数设置,是用以保证每段任务的有效时间一致,从而使得三种频率下的提取脑电信号有效长度一致。
进一步地,提取被试着脑电信号具体包括:使用脑电采集系统,以前额为地,左乳突为参考,在一定的采样频率采集脑电初始信号;通过带通滤波器和陷波器进行带通滤波和去除工频干扰,提取得到被试着脑电信号。
进一步地,对脑电信号进行预处理,以脑电信号的微分熵作为脑力负荷特征,具体包括:
对提取到的脑电信号进行进行变参考处理,转化为双侧乳突参考信号;
带通滤波到一定的频率范围,进行降采样处理;
将降采样处理后脑电信号截取为多个数据片段;
计算数据片段的微分熵作为脑力负荷特征。
上述进一步技术方案的有益效果为:将脑力信号带通滤波和降采样处理以减少数据量,从而提高数据处理速度,通过将脑电信号截取为多个数据片段,便于求解脑电信号的微分熵。
进一步地,将降采样处理后脑电信号截取为多个数据片段,具体包括:将每一段任务中所采集的脑电信号截取为多个时长相同且相邻无重叠的数据片段。
进一步地,上述方法还包括,假设所述数据片段信号服从高斯分布,则其微分熵计算公式为:
其中,σ2为信号方差。
上述进一步技术方案的有益效果为:通过上述方法计算符合高斯分布的数据片段的微分熵。
进一步地,对所述脑力负荷特征进行识别,得到脑力负荷识别结果,具体包括:采用支持向量机,选用线性核函数,对脑力负荷特征进行模式识别,得到脑力负荷识别结果。
上述进一步技术方案的有益效果为:通过上述方案可以有效、快速的识别脑力负荷水平。
进一步地,上述方案还包括对所述脑力负荷识别结果的正确率进行验证,具体包括:
针对任意一种RSVP呈现频率,随机选择1段任务下的脑力负荷特征用于测试,剩余m-1段任务下的脑力负荷特征用于训练,得到一种脑力负荷识别结果,将所述脑力负荷结果和实际负荷水平做对比,得到一种识别正确率;
随机选择另1段任务下的脑力负荷特征用于测试,剩余m-1段任务下的脑力负荷用于训练,得到另一种识别正确率,直至得到该频率下所有任务的脑力负荷特征识别正确率;
求出其他两种RSVP呈现频率下所有任务的脑力负荷特征的识别正确率,将得到的所有正确率识别结果进行平均,得到脑力负荷识别正确率。
上述进一步技术方案的有益效果为:通过上述对所述脑力负荷识别结果的正确率进行了验证,可以准确评估脑力负荷识别方法的有效性。
进一步地,若所述脑力负荷识别结果的正确率不符合预期要求,则
对所述脑力负荷特征,在时间维度上,采用一定窗宽的滑动平均滤波方法进行平滑处理,得到微分熵特征空间,然后在特征向量维度上,对所述微分熵特征空间进行筛选,将筛选后的特征集作为新的脑力负荷特征。
上述进一步技术方案的有益效果为:通过上述方法从而去除微分熵特征中与脑力负荷无关的部分,增加脑力负荷特征的可信度,提高脑力识别结果的正确率。
进一步地,对所述微分熵特征空间进行筛选,具体包括:基于互信息方法,从所述微分熵特征空间中寻找与目标脑力负荷类别有最大相关性且相互之间具有最少冗余性的特征集。
发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为本发明实施例1所述方法的流程示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
实施例1
本发明的一个具体实施例,公开了一种面向RSVP脑-机接口的脑力负荷识别方法,
具体包括以下步骤:
步骤S1、以三种不同RSVP呈现频率分别呈现图像内容,当目标图像出现时,被试者作出行为反应做出反应;
针对RSVP-BCI任务,以低、中、高三种不同RSVP呈现频率呈现图像内容,其频率分别为aHz、bHz、cHz(a<b<c),代表不同的任务难度,从而诱发被试(被试者)低、中、高三种脑力负荷水平;
每种呈现频率的呈现图像内容各包括m(m≥2)个session(段),共3×m个session,每个session中的图像内容随机出现;针对低、中、高三种呈现频率,session分别包含α、β、γ个block(组);
其中,以保证不同呈现频率下,每个session的RSVP呈现时间相同,此时,aHz、bHz、cHz三种频率条件下,每个session任务的有效性时间均为秒。每个block中含有n(n≥100)张图像,包括εn (0.01≤ε≤0.05)张目标图像和n-εn张非目标图像。
当目标图像出现时,被试作出行为反应,具体实施时,被试做出反应,即尽可能快地用右手食指点击键盘空格键,同时默记目标图像出现次数(默记次数是为了使被试的注意力保持集中状态),被试按键信息 (即行为学信息,包括按键时间、按键次数)会被记录。每个session结束之后,被试均要求完成RSME量表(Rating Scale Mental Effort,RSME),用于评估自身在不同呈现速度的RSVP-BCI任务过程中的脑力负荷水平。
步骤S2、提取被试者脑电信号,并进行预处理,以脑电信号的微分熵作为脑力负荷特征;
使用脑电采集系统,以前额为地,左乳突为参考,在一定的采样频率采集脑电初始信号;通过带通滤波器和陷波器进行带通滤波和去除工频干扰,提取得到被试脑电信号。
对采集到的脑电信号进行变参考处理,转化为双侧乳突参考信号;
然后带通滤波到0.1-50Hz并将降采样到250Hz;
将每一个session任务中所采集的脑电信号经过带通滤波和降采样后,截取数据片段,具体的,将每一段任务中所采集的脑电信号截取为多个时长相同且相邻无重叠的数据片段,示例性的,将脑电信号截取为个1s长、且相邻无重叠的数据片段,即可得到个trial(试次);
以提取的脑电信号的微分熵(differential entropy,DE)作为脑力负荷特征。
对上述每个数据片段以频率2Hz为间隔计算微分熵特征值;
假设数据片段服从高斯分布,则微分熵DE的计算公式如下:
其中,σ2为数据片段方差;
对于每个导联可得到24个微分熵特征值(由于带通滤波频率范围为 0.1-50Hz,而每个数据片段以频率2Hz为间隔,则可得24个微分熵特征值),最后62导联(除了水平眼电HEO和垂直眼电VEO)的特征值组合,即对于每个trial(试次)可得长度为24*62的微分熵特征向量;
步骤S3、对所述脑力负荷特征进行识别,得到脑力负荷识别结果;
本发明采用支持向量机作为模式识别算法,选用线性核函数,对脑力负荷特征进行模式识别,得到脑力负荷识别结果;
为验证所述脑力负荷识别结果的正确率,且为了保持数据间的独立性,采用cross-session的方法,即训练和测试数据来自不同的session,进行交叉验证;针对任意一种RSVP呈现速率,随机选择1个session任务下的脑力负荷特征用于测试,剩余m-1个session任务下的脑力负荷特征用于训练,得到一种脑力负荷识别结果,将所述脑力负荷结果和实际负荷水平做对比,即可得到识别正确率结果;
随机选择另1段任务下的脑力负荷特征用于测试,剩余m-1段任务下的脑力负荷用于训练,得到另一种识别正确率,直至得到该频率下所有任务的脑力负荷特征识别正确率;
求出其他两种RSVP呈现频率下所有任务的脑力负荷特征的识别正确率,将得到的所有正确率识别结果进行平均,得到脑力负荷识别正确率。
若所述脑力负荷识别结果的正确率,不符合预期要求,则
采用窗宽为10s的滑动平均滤波方法,对所有数据片段的脑力负荷特征,在时间维度上,进行平滑处理,得到微分熵特征空间;从而去除微分熵特征向量中与脑力负荷无关的成分;
对平滑处理后的微分熵特征空间,采用最大相关最小冗余特征选择方法(Maximumrelevance and minimum redundancy,mRMR)进行特征筛选,其基于互信息方法,从微分熵特征空间中寻找与目标脑力负荷类别有最大相关性且相互之间具有最少冗余性的特征集。以所述特征集作为脑力负荷特征进行脑力负荷识别;
需要说明的是,经过上述特征筛选后,可对上述特征空间中的特征进行重要性排序,选取具有最优正确率的前K个特征,作为最优特征集,从而提高脑力负荷识别正确率。
实施例2
本发明的另一个具体实施例,公开了一种面向RSVP脑-机接口的脑力负荷识别,包括以下步骤:
步骤S1、以三种不同RSVP呈现频率分别呈现图像内容,当目标图像出现时,被试作出行为反应;
本实施例,设计了三种RSVP呈现频率,即,6Hz,10Hz,15hz,从而诱发三种低、中、高脑力负荷水平。每种呈现速度包含4个session。,共12个session,随机出现。每个session包含n个block(组),针对三种呈现频率,n分别为9,14,21,以保证不同呈现速度下每个session 的RSVP呈现时间尽量保持一致。
示例性的,每个block含有150张图像,包括5个目标图像和145个非目标图像;不同频率下每个block的呈现时间不同,6Hz频率条件下为 150/6为25s,10Hz条件下为15s,15hz条件下为10s。为尽量保证每个 session的任务时间一致,那么6,10,15hz三种速度下每个session的任务有效时间为225s,210s,210s。
当目标图像出现时,被试尽可能快地用右手食指按空格键,同时默记目标图像出现次数。被试按键信息会被记录。每个session所需时间在 5分钟左右。每个session结束之后,被试均要求完成RSME量表(Rating Scale Mental Effort,RSME),用于评估自身在不同呈现速度的RSVP-BCI 任务过程中的脑力负荷水平,所述RSME量表如表1所示。
对每种图像呈现速度下4个session的RSME量表评分平均,求得每名被试三种呈现速度下的RSME量表评分。14名被试三种呈现速度下 RSME评分结果如表1所示。6Hz,10Hz,15hz呈现速度下的RSME评分均值分别为36.9,53.9,67.1。该结果表明随着呈现速度的递增,RSME 评分呈递增趋势,说明不同的呈现速度能够诱发出不同的脑力负荷水平。
14名被试三种呈现速度下行为学识别结果,如表2所示。
由该表可知6Hz,10Hz,15hz呈现速度下的识别正确率均值分别为91.1%,89.1%,80.7%。该结果表明随着呈现速度的递增,识别正确率呈递减趋势,说明脑力负荷的增大引起了RSVP工作绩效的下降。
步骤S2、提取被试脑电信号,并进行预处理,以脑电信号的微分熵作为脑力负荷特征;
使用Neuroscan 64导联脑电采集系统,所用电极均为Ag/AgCl电极,以前额为地,左乳突为参考。脑电采样频率为1000Hz,带通滤波范围为 0.1-100Hz,并采用50Hz陷波器去除工频干扰。
首先对原始脑力信号数据进行变参考处理,转化为双侧乳突参考,然后带通滤波到0.1-50Hz并降采样到250Hz。
需要说明的是,由于头皮脑电主要成分在50Hz以下,降采样后,可以减少数据量提高数据处理速度。
每个session的脑电信号被截取为210个1s长、且相邻无重叠的数据片段,即得到210个trial。
提取脑电信号的微分熵(differential entropy,DE)作为脑力负荷特征。对每1s数据片段以2Hz为间隔计算DE特征。
假设脑电信号服从高斯分布,则DE的计算公式为:
其中σ2为输入信号方差。
对于每个导联可得到24个特征值,最后将62导联(除了HEO(水平眼电)和VEO(垂直眼电))的特征值组合。即,对于每个trial可得到长度为24*62的微分熵特征向量。
步骤S3、对所述脑力负荷特征进行识别,得到脑力负荷识别结果;
采用支持向量机作为模式识别算法,选用线性核函数,所述脑力负荷特征进行模式识别,得到脑力负荷识别结果。
考虑到每种速度包含4个session,可采用四折交叉验证;针对任意一种RSVP呈现速率,随机选择其中1个session的微分熵特征向量用于测试,剩余3个session的数据用于训练;整体而言,即9个session的数据用于训练,3个session的数据用于测试,得到一种脑力负荷识别正确率结果;
将上述过程重复四次,即,对每种RSVP呈现频率下每一个session 的脑力负荷特征完成一次测试,将得到的所有正确率识别结果进行平均,得到脑力负荷识别正确率。
为四折交叉验证后得到的平均正确率,其中acc(k)为第k折计算得到的正确率结果。
若所述脑力负荷识别结果不符合预期要求,
则采用窗宽为10s的滑动平均滤波方法,对已提取的DE特征时间序列进行平滑处理,得到微分熵特征空间;
上述方法可以去除微分熵特征向量所对应的特征时间序列中与脑力负荷无关的成分;
由于互信息用于度量两个随机变量之间共有的信息量程度,可用于评价两个变量间的相关性;
因此,采用最大相关最小冗余特征选择方法(Maximum relevance and minimumredundancy,mRMR)对微分熵特征空间进行特征筛选,其基于互信息方法,从微分熵特征空间中寻找与目标脑力负荷类别有最大相关性且相互之间具有最少冗余性的特征集,将所述特征集作为脑力负荷特征进行识别。
需要说明的是,目标脑力负荷类别包括低、中、高三种,从微分熵特征特征空间中寻找出与这三种疲劳状态相关性最大且特征之间冗余性最小的特征集,将最后形成的特征集作为脑力疲劳识别特征进行识别。
需要说明的是,考虑到所述微分熵特征向量(包含个24*62个特征点)的维度过高,为了缩短时间,可将特征集按照重要性进行特征排序,仅遍历前1个到前500个特征维度,从前500个特征维度的遍历结果中选出最优正确率。
表3为14名被试RSVP-BCI任务下三种脑力负荷水平识别的平均正确率。
表3
从中可以看到,第二名被试的正确率最高,达到了83.9%,且有六名被试的正确率达到了79%以上。所有被试的平均正确率为70.4%。
该结果表明,RSVP-BCI作业过程中,由图像呈现速度诱发的脑力负荷可被准确识别,证明了本发明可为建立面向RSVP-BCI的脑力负荷识别系统提供理论基础和技术支持。
RSVP-BCI是一种基于小概率目标刺激诱发响应检测的快速、高效信息检索技术,已被应用于人脸识别、医学图像分析等应用领域。RSVP-BCI 中图像呈现参数的变化会造成脑力负荷的改变,而过高的脑力负荷将导致工作绩效的下降。本发明提供了一种面向RSVP-BCI的脑力负荷识别方法,方法通过改变图像序列的呈现速度来诱发不同水平的脑力负荷,同步采集作业人员的脑电信号,并采用合适的特征筛选与模式识别方法,实现脑力负荷水平的高效、精准检测,保证作业绩效的稳定性,为高效人机协同提供技术支持。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种面向RSVP脑-机接口的脑力负荷识别方法,其特征在于,包括以下步骤:
以不同RSVP呈现频率分别呈现图像内容,当目标图像出现时,被试者作出行为反应,并记录其行为学信息;
提取被试者脑电信号,并进行预处理,以脑电信号的微分熵作为脑力负荷特征;
对所述脑力负荷特征进行识别,得到脑力负荷识别结果。
2.根据权利要求1所述方法,其特征在于,以不同RSVP呈现频率分别呈现图像内容,具体包括,分别以低、中、高三种RSVP呈现频率aHz、bHz、cHz呈现m段图像内容,共有3*m段,其中,a<b<c,三种频率中的每段分别包括α、β、γ个组,每组中包含n张图像,n≥100,m≥2。
3.根据权利要求1所述的方法,其特征在于,提取被试者脑电信号具体包括:使用脑电采集系统,以前额为地,左乳突为参考,在一定的采样频率采集脑电初始信号;通过带通滤波器和陷波器进行带通滤波和去除工频干扰,提取得到被试者脑电信号。
4.根据权利要求1所述的方法,其特征在于,对脑电信号进行预处理,以脑电信号的微分熵作为脑力负荷特征,具体包括:
对提取到的脑电信号进行进行变参考处理,转化为双侧乳突参考信号;
带通滤波到一定的频率范围,进行降采样处理;
将降采样处理后脑电信号截取为多个数据片段;
计算数据片段的微分熵作为脑力负荷特征。
5.根据权利要求4所述的方法,其特征在于,将降采样处理后脑电信号截取为多个数据片段,具体包括:将每一段任务中所采集的脑电信号截取为多个时长相同且相邻无重叠的数据片段。
6.根据权利要求4所述的方法,其特征在于,还包括,假设所述数据片段服从高斯分布,则其微分熵计算公式为:
其中,σ2为数据片段方差。
7.根据权利要求2所述的方法,其特征在于,对所述脑力负荷特征进行识别,得到脑力负荷识别结果,具体包括:采用支持向量机,选用线性核函数,对脑力负荷特征进行模式识别,得到脑力负荷识别结果。
8.根据权利要求7所述的方法,其特征在于,还包括,对所述脑力负荷识别结果的正确率进行验证,具体包括:
针对任意一种RSVP呈现频率,随机选择1段任务下的脑力负荷特征用于测试,剩余m-1段任务下的脑力负荷特征用于训练,得到一种脑力负荷识别结果,将所述脑力负荷结果和实际负荷水平做对比,得到一种识别正确率;
随机选择另1段任务下的脑力负荷特征用于测试,剩余m-1段任务下的脑力负荷用于训练,得到另一种识别正确率,直至得到该频率下所有任务的脑力负荷特征识别正确率;
求出其他两种RSVP呈现频率下所有任务的脑力负荷特征的识别正确率,将得到的所有正确率识别结果进行平均,得到脑力负荷识别正确率。
9.根据权利要求8所述的方法,其特征在于,若所述脑力负荷识别结果的正确率不符合预期要求,则
对所述脑力负荷特征,在时间维度上,采用一定窗宽的滑动平均滤波方法进行平滑处理,得到微分熵特征空间,然后在对所述微分熵特征空间进行筛选,将筛选后的特征集作为新的脑力负荷特征。
10.根据权利要求9所述的方法,其特征在于,对微分熵特征空间进行筛选,具体包括:基于互信息方法,从所述微分熵特征空间中寻找与目标脑力负荷类别有最大相关性且相互之间具有最少冗余性的特征集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280305.7A CN109480870B (zh) | 2018-10-30 | 2018-10-30 | 一种面向rsvp脑-机接口的脑力负荷识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280305.7A CN109480870B (zh) | 2018-10-30 | 2018-10-30 | 一种面向rsvp脑-机接口的脑力负荷识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109480870A true CN109480870A (zh) | 2019-03-19 |
CN109480870B CN109480870B (zh) | 2021-08-31 |
Family
ID=65692007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811280305.7A Active CN109480870B (zh) | 2018-10-30 | 2018-10-30 | 一种面向rsvp脑-机接口的脑力负荷识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109480870B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111528834A (zh) * | 2020-03-25 | 2020-08-14 | 西安电子科技大学 | 一种实时sar图像目标检测系统及方法 |
CN113576481A (zh) * | 2021-09-02 | 2021-11-02 | 北京航空航天大学 | 一种脑力负荷评估方法、装置、设备、介质 |
CN114343673A (zh) * | 2021-11-29 | 2022-04-15 | 北京机械设备研究所 | 跨被试的运动想象脑电信号处理方法、介质、设备 |
CN118078287A (zh) * | 2024-03-29 | 2024-05-28 | 南京航空航天大学 | 一种基于少通道脑电信号的管制员工作负荷实时检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103610447A (zh) * | 2013-12-04 | 2014-03-05 | 天津大学 | 一种基于前额脑电信号的脑力负荷在线检测方法 |
US8862219B2 (en) * | 2007-10-04 | 2014-10-14 | Koninklijke Philips N.V. | Relating to brain computer interfaces |
CN107157477A (zh) * | 2017-05-24 | 2017-09-15 | 上海交通大学 | 脑电信号特征识别系统及方法 |
-
2018
- 2018-10-30 CN CN201811280305.7A patent/CN109480870B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8862219B2 (en) * | 2007-10-04 | 2014-10-14 | Koninklijke Philips N.V. | Relating to brain computer interfaces |
CN103610447A (zh) * | 2013-12-04 | 2014-03-05 | 天津大学 | 一种基于前额脑电信号的脑力负荷在线检测方法 |
CN107157477A (zh) * | 2017-05-24 | 2017-09-15 | 上海交通大学 | 脑电信号特征识别系统及方法 |
Non-Patent Citations (2)
Title |
---|
JON TOURYAN: "Estimating endogenous changes in task performance from EEG", 《FRONTIERS IN NEUROSCIENCE》 * |
孙珲: "基于脑电信号的在线疲劳监测算法研究", 《中国知网》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111528834A (zh) * | 2020-03-25 | 2020-08-14 | 西安电子科技大学 | 一种实时sar图像目标检测系统及方法 |
CN111528834B (zh) * | 2020-03-25 | 2021-09-24 | 西安电子科技大学 | 一种实时sar图像目标检测系统及方法 |
CN113576481A (zh) * | 2021-09-02 | 2021-11-02 | 北京航空航天大学 | 一种脑力负荷评估方法、装置、设备、介质 |
CN113576481B (zh) * | 2021-09-02 | 2022-06-07 | 北京航空航天大学 | 一种脑力负荷评估方法、装置、设备、介质 |
CN114343673A (zh) * | 2021-11-29 | 2022-04-15 | 北京机械设备研究所 | 跨被试的运动想象脑电信号处理方法、介质、设备 |
CN114343673B (zh) * | 2021-11-29 | 2024-03-29 | 北京机械设备研究所 | 跨被试的运动想象脑电信号处理方法、介质、设备 |
CN118078287A (zh) * | 2024-03-29 | 2024-05-28 | 南京航空航天大学 | 一种基于少通道脑电信号的管制员工作负荷实时检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109480870B (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109480870B (zh) | 一种面向rsvp脑-机接口的脑力负荷识别方法 | |
Hu et al. | Real-time sensing of trust in human-machine interactions | |
Siuly et al. | EEG signal classification based on simple random sampling technique with least square support vector machine | |
CN108366730B (zh) | 对eeg信号进行预处理用于认知负荷测量的方法和系统 | |
US8930212B2 (en) | Patient data management apparatus for comparing patient data with ailment archetypes to determine correlation with established ailment biomarkers | |
KR20120124772A (ko) | 사용자 집중도 분석장치 및 방법 | |
WO2006072150A1 (en) | Muscle artifact removal from encephalograms | |
WO2018102794A1 (en) | Semiology of seizures including muscle signals collected from electroencephalography electrodes | |
US10085684B2 (en) | State identification in data with a temporal dimension | |
CN114521903A (zh) | 一种基于特征选择的脑电注意力识别系统及方法 | |
Yeh et al. | Extraction of single-trial cortical beta oscillatory activities in EEG signals using empirical mode decomposition | |
CN110215206A (zh) | 基于脑电信号的立体显示视疲劳评价方法、系统、装置 | |
CN111067513B (zh) | 一种特征权重自学习的睡眠质量检测关键脑区判定方法 | |
CN113951903B (zh) | 基于脑电数据测定的高速铁路调度员超负荷状态识别方法 | |
AU2017253093A1 (en) | Systems and methods for characterization of seizures | |
Wu et al. | Fast, accurate localization of epileptic seizure onset zones based on detection of high-frequency oscillations using improved wavelet transform and matching pursuit methods | |
CN115713246A (zh) | 一种关于虚拟场景的多模态人机交互的性能评估方法 | |
CN111616702A (zh) | 一种基于认知负荷增强的测谎分析系统 | |
CN118340523A (zh) | 基于视觉识别的ai心理检测准确性评估方法及系统 | |
Demir et al. | Bio-inspired filter banks for SSVEP-based brain-computer interfaces | |
Thie et al. | Gaussian wavelet transform and classifier to reliably estimate latency of multifocal visual evoked potentials (mfVEP) | |
CN117436002A (zh) | 一种基于眼动特征的弱视类型与严重程度的智能评估系统 | |
Cecotti et al. | Suboptimal sensor subset evaluation in a p300 brain-computer interface | |
CN113143275B (zh) | 一种样本与特征质量联合量化评估的脑电疲劳检测方法 | |
Makkar et al. | EEG Signal Processing and Feature Extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |