CN112130663A - 一种基于eeg-nirs的目标识别训练系统及方法 - Google Patents
一种基于eeg-nirs的目标识别训练系统及方法 Download PDFInfo
- Publication number
- CN112130663A CN112130663A CN202010891516.5A CN202010891516A CN112130663A CN 112130663 A CN112130663 A CN 112130663A CN 202010891516 A CN202010891516 A CN 202010891516A CN 112130663 A CN112130663 A CN 112130663A
- Authority
- CN
- China
- Prior art keywords
- training
- nirs
- interface
- electroencephalogram
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 168
- 238000001320 near-infrared absorption spectroscopy Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 24
- 210000004556 brain Anatomy 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 230000003925 brain function Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 41
- 238000012544 monitoring process Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 18
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 12
- 229910052760 oxygen Inorganic materials 0.000 claims description 12
- 239000001301 oxygen Substances 0.000 claims description 12
- 230000001149 cognitive effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000008280 blood Substances 0.000 claims description 9
- 210000004369 blood Anatomy 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 210000005013 brain tissue Anatomy 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000010521 absorption reaction Methods 0.000 claims description 3
- 238000000862 absorption spectrum Methods 0.000 claims description 3
- 235000013405 beer Nutrition 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 210000004761 scalp Anatomy 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 17
- 238000003825 pressing Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000002490 cerebral effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008344 brain blood flow Effects 0.000 description 4
- 230000000284 resting effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004087 circulation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Neurology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于EEG‑NIRS的目标识别训练系统及方法，包括信号采集帽、脑电信号放大器、近红外脑功能成像仪、电脑、训练系统界面、P300解码单元和NIRS解析单元。训练人员戴好信号采集帽并打开训练系统界面；训练开始后，显示界面随机显示目标图片与非目标图片，训练人员注视显示界面，信号采集帽采集训练人员的脑电信号，经过放大后传输给P300解码单元进行解码，计算目标识别率，进而评估识别能力；电脑中的NIRS解析单元用于量化训练人员的大脑疲劳程度，调节显示界面中图片呈现的频率。本发明能够实现多阶段渐进式训练、能够根据训练人员脑疲劳程度自适应调节图像呈现频率、能够根据P300脑电分析目标识别率并评估训练人员能力的目标识别训练系统。
Description
技术领域
本发明涉及人机混合的目标图像识别领域，尤其涉及一种基于EEG-NIRS的目标识别训练系统及方法，是一种基于脑电(electroencephalography，EEG)-近红外(near-infrared spectroscopy，NIRS)信号、能够实现多阶段渐进式训练、能够根据训练人员脑疲劳程度自适应调节图像呈现频率、能够根据P300脑电分析目标识别率并评估训练人员能力的目标识别训练系统及方法。
背景技术
随着人工智能的进一步发展，基于深度学习理论的机器视觉目标识别技术被广泛应用，如自动驾驶领域的障碍物识别、门禁系统的人脸识别、基于合成孔径雷达(SAR)的环境监测、海洋监测、勘察测绘等。在大数据的基础上，机器视觉对一些背景环境简单，轮廓特征明显的目标物体能够做到高速精确识别，但是对背景环境复杂且轮廓特征不明显的微小目标物体，由于泛化能力的局限，机器视觉很难精确识别。人类视觉在复杂背景下对微小目标图像的感知能力远超机器视觉，但人工识别效率相对低下，且大脑容易疲劳，不能长时间工作，所以基于人机混合的微小目标识别技术应运而生，从而在保持较高识别速率的同时保证了较高的识别准确率。目前，基于脑电的人机混合目标识别技术能够给训练人员提供一个多阶段渐进式的训练系统，但是存在的不足是：由于缺少量化疲劳程度指标，在训练过程中，系统不能人性化地根据训练人员的疲劳程度及时自动调整目标图像的呈现频率，容易导致训练效果差，效率低的结果，不能够更为有效的提高训练人员的目标识别能力；在实际目标识别过程中，系统不能根据工作人员的疲劳程度及时调整，工作人员需要被迫疲劳工作，导致目标识别的准确率下降。
发明内容
本发明的目的是为了克服以上已有技术的不足，提供一种基于EEG-NIRS的目标识别训练系统及方法，基于快速序列视觉呈现(rapid serial visual presentation，RSVP)范式诱发P300脑电信号的解码技术，结合基于NIRS的监测脑部血流参数变化分析技术，给需要从事人机混合微小目标识别工作的人员提供一个多阶段渐进式训练与测试系统，一方面，该系统能够计算出工作人员的目标识别率，作为衡量个人识别能力的评价指标；另一方面，该系统可根据人脑的疲劳状态自适应调节图像呈现频率，从而保证在长时间工作状态下的目标图片的识别准确率。
为了实现上述目的，本发明的技术解决方案是：
一种基于EEG-NIRS的目标识别训练系统，包括信号采集帽、脑电信号放大器、近红外脑功能成像仪和电脑，所述信号采集帽连接脑电信号放大器的输入端和近红外脑功能成像仪的输入端；所述电脑的主机信号连接脑电信号放大器的输出端和近红外脑功能成像仪的输出端；所述电脑由主机、显示器、键盘、P300解码单元和NIRS解析单元构成，显示器显示训练系统界面，使用者的头部穿戴信号采集帽并通过显示器注视信息界面，所述基于EEG-NIRS的目标识别训练系统计算出使用者的目标识别率，作为衡量使用者个人识别能力的评价指标；所述基于EEG-NIRS的目标识别训练系统还根据人脑的疲劳状态自适应调节图像呈现频率，实现长时间工作状态下的目标图片的识别。
优选地，训练人员戴好信号采集帽，打开电脑中的训练系统界面，根据需要选择不同的训练阶段；训练开始后，基于RSVP范式，显示界面以设定的频率随机显示目标图片与非目标图片，训练人员注视显示界面，信号采集帽上的脑电电极采集训练人员的脑电信号，经过脑电信号放大器的放大后传输给电脑中的P300解码单元，由于训练人员在看到目标图片之后的300毫秒，诱发P300脑电信号，通过滤波处理、特征提取和分类识别算法对诱发脑电信号进行解码，解码结果结合目标图片对应的标签信息用于计算训练人员的目标识别率，进而评估识别能力；
同时，信号采集帽上的近红外发射器发射近红外光，脑组织中氧合血红蛋白(Oxy-Hemoglobin，HbO2)和还原血红蛋白(Deoxy-Hemoglobin，Hb)对近红外光具有不同的吸收谱，近红外光射入脑部，经过脑组织中HbO2和Hb吸收衰减后射出，近红外探测器把接收光强的变化转换成数字信号传输给电脑中的NIRS解析单元，通过计算局部脑氧饱和度(regional cerebral oxygen saturation，rSO2)量化训练人员的大脑疲劳程度，进而调节显示界面中图片呈现的频率。
优选地，所述信号采集帽由脑电采集电极部分和近红外发射器与接收器部分构成；脑电采集电极部分为32导联的湿电极，通过专用并行通讯线缆与脑电信号放大器连接，传输采集的脑电信号；近红外发射器与接收器部分为8个发射端与8接收端结构，构成的24个近红外光通道的采集区域，通过专用并行通讯线缆与近红外脑功能成像仪连接，传输采集的近红外光信号。
优选地，所述电脑的硬件部分包括主机、显示器和键盘；主机为训练系统的运行平台，同时需要接收脑电信号放大器传送过来的脑电数据、近红外脑功能成像仪传送过来的光信号数据和键盘传送过来的操作指令；所述显示器用于显示系统的功能界面和图片界面；所述键盘用于训练人员对显示器所显示的系统界面进行操作。
优选地，所述的训练系统界面包括1个登录界面和3个功能界面；登录界面包括用户名、密码、用户类型、确定和取消；3个功能界面分别为训练模式选择界面、EEG信号监测与处理界面、NIRS信号监测与处理界面；
训练模式选择界面用于给训练人员根据需要选择训练模式，每种模式可自行设定相应的参数，包括认知模式、参数自定义模式和参数自适应模式3种模式；
EEG信号监测与处理界面用于训练完成后对训练人员的脑电数据进行分析，包括查询、波形记录和数值计算3个部分，在查询的窗口中设定好时间段，可查看对应的脑电波形记录并计算训练人员的识别结果；
NIRS信号监测与处理界面用于训练完成后对训练人员的脑部血氧参数进行分析，包括查询、波形记录、变量瞬时值和数值计算4个部分，在查询的窗口中设定好时间段，可查看对应的HbO2和Hb的波形记录，同时每个近红外光通道参数含量通过能量谱的形式表示出来，最后通过计算该时间段rSO2的变化量衡量疲劳度。
优选地，所述P300解码单元基于RSVP范式原理，在混合呈现的目标图片和非目标图片中，低频出现的目标图片会诱发训练人员大脑中的P300脑电信号，通过滤波处理、特征提取和分类识别算法，结合目标图片的标签信息能够计算出在目标图片出现时刻，训练人员的大脑中是否诱发了P300脑电信号，如果有P300脑电信号的产生，则认为训练人员识别了目标图片；反之，则没有识别，进而计算识别率，对训练人员的识别能力做出评估。
优选地，所述NIRS解析单元，基于修正的比尔朗伯定律，经过局部脑组织后射出的近红外光的光密度随着HbO2和Hb的浓度增高而降低，根据光强的变化可以计算出HbO2和Hb的浓度值，进而求出rSO2的值；随着训练人员疲劳的程度增加，大脑前额Hb浓度增高，HbO2的浓度下降，rSO2的值会下降，系统根据rSO2的变化值来衡量疲劳程度，疲劳度越高，图片的呈现频率会越低，从而保证目标图片的识别正确率。
一种基于EEG-NIRS的目标识别训练方法，采用本发明基于EEG-NIRS的目标识别训练系统进行操作，其操作步骤如下：
a.训练人员戴好信号采集帽，保证脑电电极、近红外发射器和近红外探测器与头皮可靠接触；
b.打开电脑，在训练系统登录界面完成登录，进入功能界面；
c.根据需要打开训练模式选择界面，完成训练模式的选择并设定相关参数；
d.进入训练后，信号采集帽同时采集脑电信号和近红外光信号，分别传送给脑电信号放大器和近红外脑功能成像仪，处理完成后再分别发送给电脑中的P300解码单元和NIRS解析单元，电脑会在呈现每张图片的时刻给脑电信号和近红外光信号数据设置时间标签；
e.训练结束后，根据需要打开EEG信号监测与处理界面，选择需要查看的脑电信号的时间段，并查看对应的识别结果；
f.训练结束后，根据需要打开NIRS信号监测与处理界面，根据时间段查看HbO2和Hb的波形记录，并查看对应的HbO2、Hb、rSO2的变化值以及疲劳度的程度等级。
优选地，所述步骤b中的登录界面的设计步骤如下：
登录界面为用于训练系统登录，区别不同的训练人员身份，包括用户名、密码、用户类型、确定和取消：
用户名：每个需要登录进入系统的人员需要输入的编号，作为不同人员的唯一标识；
密码：为每个需要登录进入系统工作人员设定的密码；
用户类型：有普通人员和管理员两种用户类型，用以区分在训练系统中的操作权限；
确定：当填写好用户名、密码和用户类型，系统校验成功后可以进入系统；
取消：用于退出登录界面。
优选地，所述步骤c中的训练模式选择界面的设计步骤如下：
训练模式选择界面提供了不同训练阶段的选择和参数修改功能，包括认知模式、参数自定义模式和参数自适应模式3个部分：
认知模式：包括播放频率、图片总数、目标图片和干扰图片的设置，设置好参数后，先进入认知模式的开始提示界面，训练人员按键盘上的任意键开始，学习每一张目标图片的特征，并手动按键盘任意键切换目标图片继续，全部目标图片播放完成后，按任意键结束本阶段；
参数自定义模式：包括频率设定、图片总数、目标图片，干扰图片、循环次数和休息时间的设置，训练人员通过调节不同的图片呈现频率，不同目标图片与干扰图片的数量比，逐步提高个人的图片识别能力，设置好参数后，先进入参数自定义模式的开始提示界面，训练人员按键盘上的任意键开始，系统根据设定参数自动随机呈现目标图片与干扰图片，每一轮循环结束，训练人员按照设定的休息时间进行休息，再进行下一轮次的训练，全部目标图片播放完成后，按任意键结束本阶段；
参数自适应模式：包括初始频率、图片总数、初始目标图片，初始干扰图片、循环次数和初始休息时间的设置，训练人员需要设定各项参数的初始值，系统根据训练过程中训练人员的疲劳程度自适应调节，设置好参数后，先进入参数自适应模式的开始提示界面，训练人员按键盘上的任意键开始，系统根据初始设定参数自动随机呈现目标图片与干扰图片，同时系统会实时监测训练人员的疲劳程度，根据疲劳程度调节图片呈现频率的大小和目标图片与干扰图片的数量比，当疲劳度大于设定的阈值，系统会提示休息，并结束训练，每一轮循环结束，训练人员按照设定的休息时间进行休息，再进行下一轮次的训练，全部目标图片播放完成后，按任意键结束本阶段。
优选地，所述步骤e中的EEG信号监测与处理界面的设计步骤如下：
EEG信号监测与处理界面用于训练完成后对训练人员的脑电数据进行分析，包括查询、波形记录和数值计算3个部分：
查询：系统数据库会记录训练人员所有的脑电数据，需要设置开始时间和结束时间来确定所要查询脑电数据的范围；
波形记录：根据设置好的查询时间段，显示脑电数据的波形图，便于进一步分析；
数值计算：系统对查询时间段的脑电数据，通过LeNet-5网络模型的卷积神经网络(Convolutional Neural Network，CNN)算法进行P300脑电的识别，计算出该时间段内识别目标图片的数量，CNN算法实现步骤如下：
e-1.进行网络初始化，对网络中各层结构的参数进行设置，包括卷积层一、下采样层一、卷积层二、下采样层二、全连接层一和全连接层二；
e-2.前向计算，将脑电数据送入卷积层一进行卷积，输出结果送入下采样层一进行池化运算，输出结果送入卷积层二进行卷积，输出结果送入下采样层二进行池化运算，输出结果送入全连接层一，使用ReLU激活函数计算，输出结果送入全连接层二，使用Softmax函数进行分类；
e-3.反向误差计算，包括计算各层输出误差、使用BP算法优化各层权重参数、更新权重参数；
根据每张图片出现时的标签记录，计算出该时间段内呈现图片的总数量，进而计算出识别准确率，计算公式如下：
准确率＝目标识别数/图片总数。
优选地，所述步骤f中的NIRS信号监测与处理界面的设计步骤如下：
NIRS信号监测与处理界面用于训练完成后对训练人员的脑部血氧参数进行分析，包括查询、波形记录、变量瞬时值和数值计算4个部分：
查询：系统数据库会记录训练人员所有HbO2和Hb的数据，需要设置开始时间和结束时间来确定所要查询数据的范围；
波形记录：根据设置好的查询时间段，显示HbO2和Hb数据的波形图，便于进一步分析；
变量瞬时值：根据光谱颜色的波长分布，实时显示每个通道中HbO2和Hb的含量，含量越多，使用波长越长的光波颜色来表示，含量越少，使用波长越端的光波颜色来表示，直观形象地表示出部分脑组织的含氧量水平；
数值计算：首先系统对查询时间段的HbO2和Hb的浓度数据初始值，计算rSO2的初始值，然后系统对查询时间段的HbO2和Hb的浓度数据终止值，计算rSO2的终止值，计算公式如下：
rSO2＝HbO2的浓度/(HbO2的浓度+Hb的浓度)
rSO2的变化量计算公式为：
ΔrSO2＝(rSO2初始值—rSO2终止值)×100％
将ΔrSO2的值分为6个等级，分别对应疲劳度的6个等级：ΔrSO2≤1％，疲劳度为1级；1＜ΔrSO2≤2％，疲劳度为2级；2＜ΔrSO2≤3％，疲劳度为3级；3＜ΔrSO2≤4％，，疲劳度为4级；4＜ΔrSO2≤5％，疲劳度为5级；ΔrSO2＞5％，疲劳度为6级。
本发明与现有技术相比，具有如下显而易见的突出的实质性特点和显著的优点：
1.本发明基于EEG-NIRS的人机混合微小目标图像识别新方法，基于RSVP范式诱发P300脑电信号的解码技术，结合基于NIRS的监测脑部血流参数变化分析技术，给需要从事人机混合微小目标识别工作的人员提供一个多阶段渐进式训练与测试智能系统；一方面，该系统能够让训练人员自定义训练参数，逐步训练提高目标识别能力，同时能够根据脑电信号计算出工作人员的目标识别率，作为衡量个人识别能力的评价指标；另一方面，该系统可根据人脑的疲劳状态自适应调节图像呈现频率，从而保证在长时间工作状态下的目标图片的识别准确率；
2.本发明基于P300的脑电解码技术并结合NIRS脑血氧解析技术用于目标识别领域，是生物医学与人工智能技术的新结合，对推动两大学科领域的发展具有积极意义；
3.本发明提供了3种训练模式，认知模式的设计有助于训练人员充分学习目标图片特征，为后续目标识别做好准备；参数自定义模式把多阶段、渐进式训练方法细化到每一个人，根据每个人的自身能力设定参数，更为有效的提升每个人的识别能力；参数自适应模式让系统智能检测训练人员大脑疲劳状态，并动态调整图片呈现频率，是人机混合协同工作的新应用；
4.本发明的EEG信号监测与处理界面将脑电分析与识别能力评估相结合，界面友好，操作灵活，符合人性化设计，有利于脑电技术在工程应用领域的进一步推广；
5.本发明的NIRS信号监测与处理界面的在使用波形曲线描述大脑血氧水平变化的基础上，同时使用光谱图颜色显示局部脑组织的血氧状态，便于分析大脑疲劳度与脑血氧的关系，有利于近红外技术在工程应用领域的进一步推广。
附图说明
图1是本发明基于EEG-NIRS的目标识别训练系统结构框图。
图2是本发明的系统训练方法总流程图。
图3是本发明的系统登录界面图。
图4是本发明的系统训练模式选择界面图。
图5是本发明的系统训练模式选择操作流程图。
图6是本发明的系统认知模式操作流程图。
图7是本发明的系统参数自定义模式操作流程图。
图8是本发明的系统参数自适应模式操作流程图。
图9是本发明的系统EEG信号监测与处理界面图。
图10是本发明的系统EEG信号处理流程图。
图11是本发明的系统NIRS信号监测与处理界面图。
图12是本发明的系统NIRS信号处理流程图。
具体实施方式
本发明的优选实施例结合附图详述如下：
实施例一：
参见图1，一种基于EEG-NIRS的目标识别训练系统，包括信号采集帽1、脑电信号放大器2、近红外脑功能成像仪3和电脑4，其特征在于：所述信号采集帽1连接脑电信号放大器2的输入端和近红外脑功能成像仪3的输入端；所述电脑4的主机5信号连接脑电信号放大器2的输出端和近红外脑功能成像仪3的输出端；所述电脑4由主机5、显示器6、键盘7、P300解码单元8和NIRS解析单元9构成，显示器6显示训练系统界面，使用者的头部穿戴信号采集帽1并通过显示器6注视信息界面，所述基于EEG-NIRS的目标识别训练系统计算出使用者的目标识别率，作为衡量使用者个人识别能力的评价指标；所述基于EEG-NIRS的目标识别训练系统还根据人脑的疲劳状态自适应调节图像呈现频率，实现长时间工作状态下的目标图片的识别。
本实施例基于快速序列视觉呈现(rapid serial visual presentation，RSVP)范式诱发P300脑电信号的解码技术，结合基于NIRS的监测脑部血流参数变化分析技术，给需要从事人机混合微小目标识别工作的人员提供一个多阶段渐进式训练与测试系统，一方面，该系统能够计算出工作人员的目标识别率，作为衡量个人识别能力的评价指标；另一方面，该系统可根据人脑的疲劳状态自适应调节图像呈现频率，从而保证在长时间工作状态下的目标图片的识别准确率。
实施例二：
本实施例与实施例一基本相同，特别之处如下：
参见图1和图2，训练人员戴好信号采集帽1，打开电脑4中的训练系统界面，根据需要选择不同的训练阶段；训练开始后，基于RSVP范式，显示界面以设定的频率随机显示目标图片与非目标图片，训练人员注视显示界面，信号采集帽1上的脑电电极采集训练人员的脑电信号，经过脑电信号放大器2的放大后传输给电脑4中的P300解码单元8，由于训练人员在看到目标图片之后的300毫秒，诱发P300脑电信号，通过滤波处理、特征提取和分类识别算法对诱发脑电信号进行解码，解码结果结合目标图片对应的标签信息用于计算训练人员的目标识别率，进而评估识别能力；
同时，信号采集帽1上的近红外发射器发射近红外光，由于脑组织中HbO2和Hb对近红外光具有不同的吸收谱，近红外光射入脑部，经过脑组织中HbO2和Hb吸收衰减后射出，近红外探测器把接收光强的变化转换成数字信号传输给电脑4中的NIRS解析单元9，通过计算rSO2量化训练人员的大脑疲劳程度，进而调节显示界面中图片呈现的频率。
训练人员戴好信号采集帽并打开训练系统界面，选择不同的训练阶段；训练开始后，显示界面以设定的频率随机显示目标图片与非目标图片，训练人员注视显示界面，信号采集帽上的脑电电极采集训练人员的脑电信号，经过脑电信号放大器的放大后传输给电脑中的P300解码单元进行解码，解码结果用于计算训练人员的目标识别率，进而评估识别能力；同时，信号采集帽上的近红外发射器发射近红外光，近红外光射入脑部后射出，近红外探测器把接收的信号传输给电脑中的NIRS解析单元，解析结果用于量化训练人员的大脑疲劳程度，进而调节显示界面中图片呈现的频率。本发明给需要从事人机混合微小目标识别工作的人员提供一个能够实现多阶段渐进式训练、能够根据训练人员脑疲劳程度自适应调节图像呈现频率、能够根据P300脑电分析目标识别率并评估训练人员能力的目标识别训练系统。本实施例给需要从事人机混合微小目标识别工作的人员提供一个能够实现多阶段渐进式训练、能够根据训练人员脑疲劳程度自适应调节图像呈现频率、能够根据P300脑电分析目标识别率并评估训练人员能力的目标识别训练系统。
实施例三：
本实施例与上述实施例基本相同，特别之处如下：
参见图1，所述的信号采集帽1，由脑电采集电极部分和近红外发射器与接收器部分构成；脑电采集电极部分为32导联的湿电极，通过专用并行通讯线缆与脑电信号放大器2连接，传输采集的脑电信号；近红外发射器与接收器部分为8个发射端与8接收端结构，构成的24个近红外光通道的采集区域，通过专用并行通讯线缆与近红外脑功能成像仪3连接，传输采集的近红外光信号。
参见图1，所述的电脑4，硬件部分包括：主机5、显示器6和键盘7；主机5为训练系统的运行平台，同时需要接收脑电信号放大器2传送过来的脑电数据、近红外脑功能成像仪3传送过来的光信号数据和键盘7传送过来的操作指令；所述的显示器6用于显示系统的功能界面和图片界面；所述的键盘7用于训练人员对显示器6所显示的系统界面进行操作。
参见图3、图4、图9和图11，所述的训练系统界面，包括：1个登录界面和3个功能界面；登录界面包括用户名、密码、用户类型、确定和取消；3个功能界面分别为训练模式选择界面、EEG信号监测与处理界面、NIRS信号监测与处理界面；
参见图4，训练模式选择界面用于给训练人员根据需要选择训练模式，每种模式可以自行设定相应的参数，包括认知模式、参数自定义模式和参数自适应模式3种模式；
参见图9，EEG信号监测与处理界面用于训练完成后对训练人员的脑电数据进行分析，包括查询、波形记录和数值计算3个部分，在查询的窗口中设定好时间段，可以查看对应的脑电波形记录并计算训练人员的识别结果；
参见图11，NIRS信号监测与处理界面用于训练完成后对训练人员的脑部血氧参数进行分析，包括查询、波形记录、变量瞬时值和数值计算4个部分，在查询的窗口中设定好时间段，可以查看对应的HbO2和Hb的波形记录，同时每个近红外光通道参数含量通过能量谱的形式表示出来，最后通过计算该时间段rSO2的变化量衡量疲劳度。
参见图1和图9，所述的P300解码单元8，基于RSVP范式原理，在混合呈现的目标图片和非目标图片中，低频出现的目标图片会诱发训练人员大脑中的P300脑电信号，通过滤波处理、特征提取和分类识别算法，结合目标图片的标签信息能够计算出在目标图片出现时刻，训练人员的大脑中是否诱发了P300脑电信号，如果有P300脑电信号的产生，则认为训练人员识别了目标图片，反之，则没有识别，进而计算识别率，对训练人员的识别能力做出评估。
参见图1和图12，所述的NIRS解析单元9，基于修正的比尔朗伯定律，经过局部脑组织后射出的近红外光的光密度随着HbO2和Hb的浓度增高而降低，根据光强的变化可以计算出HbO2和Hb的浓度值，进而求出rSO2的值；随着训练人员疲劳的程度增加，大脑前额Hb浓度增高，HbO2的浓度下降，rSO2的值会下降，系统根据rSO2的变化值来衡量疲劳程度，疲劳度越高，图片的呈现频率会越低，从而保证目标图片的识别正确率。
实施例四：
本实施例与上述实施例基本相同，特别之处如下：
参见图1至图11，一种基于EEG-NIRS的目标识别训练方法，采用上述系统进行操作，其特征在于操作步骤如下：
(1)参见图1，训练人员戴好信号采集帽1，保证脑电电极、近红外发射器和近红外探测器与头皮可靠接触；
(2)参见图2和图3，打开电脑4，在训练系统登录界面完成登录，进入功能界面；
(3)参见图4和图5，根据需要打开训练模式选择界面，完成训练模式的选择并设定相关参数；
(4)参见图1，进入训练后，信号采集帽1同时采集脑电信号和近红外光信号，分别传送给脑电信号放大器2和近红外脑功能成像仪3，处理完成后再分别发送给电脑4中的P300解码单元8和NIRS解析单元9，电脑4会在呈现每张图片的时刻给脑电信号和近红外光信号数据设置时间标签；
(5)参见图9和图10，训练结束后，根据需要打开EEG信号监测与处理界面，选择需要查看的脑电信号的时间段，并查看对应的识别结果；
(6)参见图11和图12，训练结束后，根据需要打开NIRS信号监测与处理界面，根据时间段查看HbO2和Hb的波形记录，并查看对应的HbO2、Hb、rSO2的变化值以及疲劳度的程度等级。
本实施例方法基于EEG-NIRS的人机混合微小目标图像识别新方法，基于RSVP范式诱发P300脑电信号的解码技术，结合基于NIRS的监测脑部血流参数变化分析技术，给需要从事人机混合微小目标识别工作的人员提供一个多阶段渐进式训练与测试智能系统；一方面，该系统能够让训练人员自定义训练参数，逐步训练提高目标识别能力，同时能够根据脑电信号计算出工作人员的目标识别率，作为衡量个人识别能力的评价指标；另一方面，该系统可根据人脑的疲劳状态自适应调节图像呈现频率，从而保证在长时间工作状态下的目标图片的识别准确率。本实施例方法简单，易于操作。
实施例五:
本实施例与上述实施例基本相同，特别之处如下：
参见图3，所述步骤(2)中的登录界面的设计步骤如下：
登录界面为用于训练系统登录，区别不同的训练人员身份，包括“用户名”、“密码”、“用户类型”、“确定”和“取消”：
(2-1)“用户名”：每个需要登录进入系统的人员需要输入的编号，作为不同人员的唯一标识；
(2-2)“密码”：为每个需要登录进入系统工作人员设定的密码；
(2-3)“用户类型”：分为“普通人员”和“管理员”两种用户类型，用以区分在训练系统中的操作权限；
(2-4)“确定”：当填写好“用户名”、“密码”和“用户类型”，系统校验成功后可以进入系统；
(2-5)“取消”：用于退出登录界面。
在本实施例中，参见图1、图4至图8，所述步骤(3)中的训练模式选择界面的设计步骤如下：
参见图4和图5，训练模式选择界面提供了不同训练阶段的选择和参数修改功能，包括“认知模式”、“参数自定义模式”和“参数自适应模式”3个部分：
(3-1)参见图1、图4和图6，“认知模式”：包括“播放频率”设定为手动、“图片总数”设定为100张、“目标图片”设定为100张和“干扰图片”设定为0张，设置好参数后，点击“开始训练”按钮，先进入“认知模式”的开始提示界面，训练人员按键盘上7的任意键开始，学习每一张目标图片的特征，并手动按键盘7任意键切换目标图片继续，全部目标图片播放完成后，按任意键结束本阶段；
(3-2)参见图1、图4和图7，“参数自定义模式”：“频率设定”设定为10Hz、“图片总数”设定为100张、“目标图片”设定为10张，“干扰图片”设定为90张、“循环次数”设定为1次和“休息时间”设定为2秒，训练人员通过调节不同的图片呈现频率，不同目标图片与干扰图片的数量比，逐步提高个人的图片识别能力，设置好参数后，点击“开始训练”按钮，先进入“参数自定义模式”的开始提示界面，训练人员按键盘7上的任意键开始，系统根据设定参数自动随机呈现目标图片与干扰图片，每一轮循环结束，训练人员按照设定的休息时间进行休息，再进行下一轮次的训练，全部目标图片播放完成后，按任意键结束本阶段；
(3-3)参见图1、图4和图8，参数自适应模式：“初始频率”设定为10Hz，“图片总数”设定为100张、“初始目标图片”设定为10张，“初始干扰图片”设定为90张、“循环次数”设定为1000次和“初始休息时间”设定为2秒，设置好参数后，点击“开始训练”按钮，先进入“参数自适应模式”的开始提示界面，训练人员按键盘7上的任意键开始，系统根据初始设定参数自动随机呈现目标图片与干扰图片，训练过程中，系统每隔1分钟读取一次HbO2和Hb的浓度数据值，并计算出对应rSO2的值，并计算出rSO2的变化量，计算公式如下：
rSO2＝HbO2的浓度/(HbO2的浓度+Hb的浓度)
rSO2的变化量计算公式为：
ΔrSO2＝(rSO2初始值—rSO2终止值)×100％
将ΔrSO2的值分为6个等级，分别对应疲劳度的6个等级：
当ΔrSO2≤1％，疲劳度为1级，系统认为训练人员处于非疲劳状态，按照设定的初始参数值运行；
当1＜ΔrSO2≤2％，疲劳度为2级，系统减小图片呈现频率为9Hz，调整目标图片10张，干扰图片为80张，休息时间为3秒；
当2＜ΔrSO2≤3％，疲劳度为3级，系统减小图片呈现频率为8Hz，调整目标图片10张，干扰图片为70张，休息时间为4秒；
当3＜ΔrSO2≤4％，，疲劳度为4级，系统减小图片呈现频率为7Hz，调整目标图片10张，干扰图片为60张，休息时间为5秒；
当4＜ΔrSO2≤5％，疲劳度为5级，系统减小图片呈现频率为6Hz，调整目标图片10张，干扰图片为50张，休息时间为6秒；
当ΔrSO2＞5％，疲劳度为6级，系统认为训练人员过度疲劳，自动停止本训练；
每一轮循环结束，训练人员按照设定的休息时间进行休息，再进行下一轮次的训练，全部目标图片播放完成后，按任意键结束本阶段。
在本实施例中，参见图1、图9和图10，所述步骤(5)中的EEG信号监测与处理界面的设计步骤如下：
参见图9和图10，EEG信号监测与处理界面用于训练完成后对训练人员的脑电数据进行分析，包括“查询”、“波形记录”和“数值计算”3个部分：
(5-1)“查询”：系统数据库会记录训练人员所有的脑电数据，需要设置开始时间和结束时间来确定所要查询脑电数据的范围；
(5-2)“波形记录”：根据设置好的查询时间段，显示脑电数据的波形图，便于进一步分析；
(5-3)“数值计算”：系统对查询时间段的脑电数据，通过LeNet-5网络模型的CNN算法进行P300脑电的识别，计算出该时间段内识别目标图片的数量，CNN算法实现步骤如下：
(5-3-1)网络初始化，对网络中各层结构的参数进行设置，采用Xavier初始化网络权值，采用常数初始化偏置；卷积层一包含20个5×5大小的卷积核；下采样层一的滑动窗口的大小为2×2，采用最大池化的方法；卷积层二包含50个3×3大小的卷积核、下采样层二的滑动窗口的大小为2×2，采用最大池化的方法；全连接层一包含500个神经元；全连接层二包含2个神经元；
(5-3-2)前向计算，将脑电数据送入卷积层一进行卷积，输出结果送入下采样层一进行池化运算，输出结果送入卷积层二进行卷积，输出结果送入下采样层二进行池化运算，输出结果送入全连接层一，使用ReLU激活函数计算，输出结果送入全连接层二，使用Softmax函数进行分类；
(5-3-3)反向误差计算，包括计算各层输出误差、使用BP算法优化各层权重参数、更新权重参数；
根据每张图片出现时的标签记录，计算出该时间段内呈现图片的总数量，进而计算出识别准确率，计算公式如下：
准确率＝目标识别数/图片总数。
在本实施例中，参见图1、图11和图12，所述步骤(6)中的NIRS信号监测与处理界面的设计步骤如下：
参见图11和图12，NIRS信号监测与处理界面用于训练完成后对训练人员的脑部血氧参数进行分析，包括“查询”、“波形记录”、“变量瞬时值”和“数值计算”4个部分：
(6-1)“查询”：系统数据库会记录训练人员所有HbO2和Hb的数据，需要设置“开始时间”和“结束时间”来确定所要查询数据的范围；
(6-2)“波形记录”：根据设置好的查询时间段，显示HbO2和Hb数据的波形图，便于进一步分析；
(6-3)“变量瞬时值”：根据光谱颜色的波长分布，实时显示每个通道中HbO2和Hb的含量，含量越多，使用波长越长的光波颜色来表示，含量越少，使用波长越端的光波颜色来表示，直观形象地表示出部分脑组织的含氧量水平；
(6-4)“数值计算”：首先系统对查询时间段的HbO2和Hb的浓度数据初始值，计算rSO2的初始值，然后系统对查询时间段的HbO2和Hb的浓度数据终止值，计算rSO2的终止值，计算公式如下：
rSO2＝HbO2的浓度/(HbO2的浓度+Hb的浓度)
rSO2的变化量计算公式为：
ΔrSO2＝(rSO2初始值—rSO2终止值)×100％
将ΔrSO2的值分为6个等级，分别对应疲劳度的6个等级：ΔrSO2≤1％，“疲劳度”显示为“1级”；1＜ΔrSO2≤2％，“疲劳度”显示为“2级”；2＜ΔrSO2≤3％，“疲劳度”显示为“3级”；3＜ΔrSO2≤4％，，“疲劳度”显示为“4级”；4＜ΔrSO2≤5％，“疲劳度”显示为“5级”；ΔrSO2＞5％，“疲劳度”显示为“6级”。
综合可知，上述实施例基于EEG-NIRS的目标识别训练系统及方法包括信号采集帽1、脑电信号放大器2、近红外脑功能成像仪3、电脑4、P300解码单元8和NIRS解析单元9。本发明方法是：训练人员戴好信号采集帽1，打开电脑4中的训练系统界面，根据需要选择不同的训练阶段；训练开始后，基于RSVP范式，显示界面以设定的频率随机显示目标图片与非目标图片，训练人员注视显示界面，信号采集帽1上的脑电电极采集训练人员的脑电信号，经过脑电信号放大器2的放大后传输给电脑4中的P300解码单元8进行解码，解码成功后，解码结果结合目标图片对应的标签信息用于计算训练人员的目标识别率，进而评估识别能力；同时，信号采集帽1上的近红外发射器发射近红外光，近红外光射入脑部，经过脑组织中HbO2和Hb吸收衰减后射出，近红外探测器把接收光强的变化转换成数字信号传输给电脑4中的NIRS解析单元9，通过计算rSO2量化训练人员的大脑疲劳程度，进而调节显示界面中图片呈现的频率。本发明基于P300脑电解码和NIRS脑功能分析技术，给需要从事人机混合微小目标识别工作的人员提供一个多阶段渐进式训练与测试系统，一方面，该系统能够计算出工作人员的目标识别率，作为衡量个人识别能力的评价指标，另一方面，该系统可根据人脑的疲劳状态自适应调节图像呈现频率，从而保证在长时间工作状态下的目标图片的识别准确率。
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明的设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所做出的各种变形、替代和改进，均应属于本发明的保护范畴。本发明的保护范围由权利要求确定。
Claims (8)
1.一种基于EEG-NIRS的目标识别训练系统，包括信号采集帽(1)、脑电信号放大器(2)、近红外脑功能成像仪(3)和电脑(4)，其特征在于：所述信号采集帽(1)连接脑电信号放大器(2)的输入端和近红外脑功能成像仪(3)的输入端；所述电脑(4)的主机(5)信号连接脑电信号放大器(2)的输出端和近红外脑功能成像仪(3)的输出端；所述电脑(4)由主机(5)、显示器(6)、键盘(7)、P300解码单元(8)和NIRS解析单元(9)构成，显示器(6)显示训练系统界面，使用者的头部穿戴信号采集帽(1)并通过显示器(6)注视信息界面，所述基于EEG-NIRS的目标识别训练系统计算出使用者的目标识别率，作为衡量使用者个人识别能力的评价指标；所述基于EEG-NIRS的目标识别训练系统还根据人脑的疲劳状态自适应调节图像呈现频率，实现长时间工作状态下的目标图片的识别。
2.根据权利要求1所述基于EEG-NIRS的目标识别训练系统，其特征在于：训练人员戴好信号采集帽(1)，打开电脑(4)中的训练系统界面，根据需要选择不同的训练阶段；训练开始后，基于RSVP范式，显示界面以设定的频率随机显示目标图片与非目标图片，训练人员注视显示界面，信号采集帽(1)上的脑电电极采集训练人员的脑电信号，经过脑电信号放大器(2)的放大后传输给电脑(4)中的P300解码单元(8)，由于训练人员在看到目标图片之后的300毫秒，诱发P300脑电信号，通过滤波处理、特征提取和分类识别算法对诱发脑电信号进行解码，解码结果结合目标图片对应的标签信息用于计算训练人员的目标识别率，进而评估识别能力；
同时，信号采集帽(1)上的近红外发射器发射近红外光，由于脑组织中HbO2和Hb对近红外光具有不同的吸收谱，近红外光射入脑部，经过脑组织中HbO2和Hb吸收衰减后射出，近红外探测器把接收光强的变化转换成数字信号传输给电脑(4)中的NIRS解析单元(9)，通过计算rSO2量化训练人员的大脑疲劳程度，进而调节显示界面中图片呈现的频率。
3.根据权利要求1所述基于EEG-NIRS的目标识别训练系统，其特征在于：所述信号采集帽(1)由脑电采集电极部分和近红外发射器与接收器部分构成；脑电采集电极部分为32导联的湿电极，通过专用并行通讯线缆与脑电信号放大器(2)连接，传输采集的脑电信号；近红外发射器与接收器部分为8个发射端与8接收端结构，构成的24个近红外光通道的采集区域，通过专用并行通讯线缆与近红外脑功能成像仪(3)连接，传输采集的近红外光信号。
4.根据权利要求1所述基于EEG-NIRS的目标识别训练系统，其特征在于：所述电脑(4)的硬件部分包括主机(5)、显示器(6)和键盘(7)；主机(5)为训练系统的运行平台，同时需要接收脑电信号放大器(2)传送过来的脑电数据、近红外脑功能成像仪(3)传送过来的光信号数据和键盘(7)传送过来的操作指令；所述显示器(6)用于显示系统的功能界面和图片界面；所述键盘(7)用于训练人员对显示器(6)所显示的系统界面进行操作。
5.根据权利要求1所述基于EEG-NIRS的目标识别训练系统，其特征在于：所述训练系统界面包括1个登录界面和3个功能界面；登录界面包括用户名、密码、用户类型、确定和取消；3个功能界面分别为训练模式选择界面、EEG信号监测与处理界面、NIRS信号监测与处理界面；
训练模式选择界面用于给训练人员根据需要选择训练模式，每种模式可自行设定相应的参数，包括认知模式、参数自定义模式和参数自适应模式3种模式；
EEG信号监测与处理界面用于训练完成后对训练人员的脑电数据进行分析，包括查询、波形记录和数值计算3个部分，在查询的窗口中设定好时间段，可查看对应的脑电波形记录并计算训练人员的识别结果；
NIRS信号监测与处理界面用于训练完成后对训练人员的脑部血氧参数进行分析，包括查询、波形记录、变量瞬时值和数值计算4个部分，在查询的窗口中设定好时间段，可查看对应的HbO2和Hb的波形记录，同时每个近红外光通道参数含量通过能量谱的形式表示出来，最后通过计算该时间段rSO2的变化量衡量疲劳度。
6.根据权利要求1所述基于EEG-NIRS的目标识别训练系统，其特征在于：所述P300解码单元(8)基于RSVP范式原理，在混合呈现的目标图片和非目标图片中，低频出现的目标图片会诱发训练人员大脑中的P300脑电信号，通过滤波处理、特征提取和分类识别算法，结合目标图片的标签信息能够计算出在目标图片出现时刻，训练人员的大脑中是否诱发了P300脑电信号，如果有P300脑电信号的产生，则认为训练人员识别了目标图片；反之，则没有识别，进而计算识别率，对训练人员的识别能力做出评估。
7.根据权利要求1所述基于EEG-NIRS的目标识别训练系统，其特征在于：所述NIRS解析单元(9)基于修正的比尔朗伯定律，经过局部脑组织后射出的近红外光的光密度随着HbO2和Hb的浓度增高而降低，根据光强的变化可以计算出HbO2和Hb的浓度值，进而求出rSO2的值；随着训练人员疲劳的程度增加，大脑前额Hb浓度增高，HbO2的浓度下降，rSO2的值会下降，系统根据rSO2的变化值来衡量疲劳程度，疲劳度越高，图片的呈现频率会越低，从而保证目标图片的识别正确率。
8.一种基于EEG-NIRS的目标识别训练方法，采用权利要求1所述基于EEG-NIRS的目标识别训练系统进行操作，其特征在于，操作步骤如下：
a.训练人员戴好信号采集帽(1)，保证脑电电极、近红外发射器和近红外探测器与头皮可靠接触；
b.打开电脑(4)，在训练系统登录界面完成登录，进入功能界面；
c.根据需要打开训练模式选择界面，完成训练模式的选择并设定相关参数；
d.进入训练后，信号采集帽(1)同时采集脑电信号和近红外光信号，分别传送给脑电信号放大器(2)和近红外脑功能成像仪(3)，处理完成后再分别发送给电脑(4)中的P300解码单元(8)和NIRS解析单元(9)，电脑(4)会在呈现每张图片的时刻给脑电信号和近红外光信号数据设置时间标签；
e.训练结束后，根据需要打开EEG信号监测与处理界面，选择需要查看的脑电信号的时间段，并查看对应的识别结果；
f.训练结束后，根据需要打开NIRS信号监测与处理界面，根据时间段查看HbO2和Hb的波形记录，并查看对应的HbO2、Hb、rSO2的变化值以及疲劳度的程度等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010891516.5A CN112130663B (zh) | 2020-08-31 | 2020-08-31 | 一种基于eeg-nirs的目标识别训练系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010891516.5A CN112130663B (zh) | 2020-08-31 | 2020-08-31 | 一种基于eeg-nirs的目标识别训练系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112130663A true CN112130663A (zh) | 2020-12-25 |
| CN112130663B CN112130663B (zh) | 2024-03-26 |
Family
ID=73847642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010891516.5A Active CN112130663B (zh) | 2020-08-31 | 2020-08-31 | 一种基于eeg-nirs的目标识别训练系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112130663B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113261974A (zh) * | 2021-06-07 | 2021-08-17 | 吉林大学 | 一种基于多生理信号的运动疲劳监测方法 |
| CN113378761A (zh) * | 2021-06-25 | 2021-09-10 | 燕山大学 | 基于rsvp与电刺激手套的射击运动员反应训练系统及方法 |
| CN114424945A (zh) * | 2021-12-08 | 2022-05-03 | 中国科学院深圳先进技术研究院 | 一种基于随机图形图像闪现的脑波生物特征识别系统与方法 |
| CN114652326A (zh) * | 2022-01-30 | 2022-06-24 | 天津大学 | 基于深度学习的实时脑疲劳监测装置及数据处理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104055524A (zh) * | 2014-06-30 | 2014-09-24 | 山东大学 | 基于近红外光谱的脑功能连接检测方法及系统 |
| WO2016019526A1 (zh) * | 2014-08-06 | 2016-02-11 | 中国科学院自动化研究所 | 脑活动检测方法和系统 |
| WO2017179073A1 (en) * | 2016-04-13 | 2017-10-19 | Sengupta Rajib | Point-of-care tele monitoring device for neurological disorders and neurovascular diseases and system and method thereof |
| CN111035840A (zh) * | 2019-12-20 | 2020-04-21 | 上海大学 | Vr闭环毒瘾自控力训练系统 |
-
2020
- 2020-08-31 CN CN202010891516.5A patent/CN112130663B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104055524A (zh) * | 2014-06-30 | 2014-09-24 | 山东大学 | 基于近红外光谱的脑功能连接检测方法及系统 |
| WO2016019526A1 (zh) * | 2014-08-06 | 2016-02-11 | 中国科学院自动化研究所 | 脑活动检测方法和系统 |
| WO2017179073A1 (en) * | 2016-04-13 | 2017-10-19 | Sengupta Rajib | Point-of-care tele monitoring device for neurological disorders and neurovascular diseases and system and method thereof |
| CN111035840A (zh) * | 2019-12-20 | 2020-04-21 | 上海大学 | Vr闭环毒瘾自控力训练系统 |
Non-Patent Citations (1)
| Title |
|---|
| 黄鑫;鲜继淑;: "近红外组织血氧参数无损监测仪在神经外科重症病人脑氧饱和度监护中的应用", 护理研究, no. 25, 1 September 2013 (2013-09-01) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113261974A (zh) * | 2021-06-07 | 2021-08-17 | 吉林大学 | 一种基于多生理信号的运动疲劳监测方法 |
| CN113378761A (zh) * | 2021-06-25 | 2021-09-10 | 燕山大学 | 基于rsvp与电刺激手套的射击运动员反应训练系统及方法 |
| CN113378761B (zh) * | 2021-06-25 | 2022-08-05 | 燕山大学 | 基于rsvp与电刺激手套的射击运动员反应训练系统及方法 |
| CN114424945A (zh) * | 2021-12-08 | 2022-05-03 | 中国科学院深圳先进技术研究院 | 一种基于随机图形图像闪现的脑波生物特征识别系统与方法 |
| CN114424945B (zh) * | 2021-12-08 | 2024-05-31 | 中国科学院深圳先进技术研究院 | 一种基于随机图形图像闪现的脑波生物特征识别系统与方法 |
| CN114652326A (zh) * | 2022-01-30 | 2022-06-24 | 天津大学 | 基于深度学习的实时脑疲劳监测装置及数据处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112130663B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112130663B (zh) | 一种基于eeg-nirs的目标识别训练系统及方法 | |
| CN114041793A (zh) | 一种融合多模态疲劳监测与调控的rsvp目标识别系统及方法 | |
| CN111544015B (zh) | 基于认知力的操控工效分析方法、设备及系统 | |
| CN111598451B (zh) | 基于任务执行能力的操控工效分析方法、设备及系统 | |
| KR102322029B1 (ko) | 생체 정보 획득 방법 및 이를 위한 장치 | |
| CN111553617B (zh) | 基于虚拟场景中认知力的操控工效分析方法、设备及系统 | |
| CN111598453B (zh) | 基于虚拟场景中执行力的操控工效分析方法、设备及系统 | |
| WO2021036541A1 (zh) | 一种基于ssvep的注意力测评方法、训练方法以及脑机接口 | |
| CN109646022B (zh) | 儿童注意力评估系统及其方法 | |
| Gu et al. | Predicting risk decisions in a modified Balloon Analogue Risk Task: Conventional and single-trial ERP analyses | |
| CN111553618B (zh) | 操控工效分析方法、设备及系统 | |
| CN110600103B (zh) | 一种提升视力的可穿戴智能服务系统 | |
| Beringer et al. | Reliability and validity of machine vision for the assessment of facial expressions | |
| CN105049596A (zh) | 一种移动终端及其疲劳状态检测方法 | |
| CN115624328A (zh) | 一种无创血糖仪的红外发射器及血糖仪 | |
| CN104809371A (zh) | 判断头戴式智能设备的鉴权信息有效性的装置和方法 | |
| CN109767088A (zh) | 基于多模态脑机接口的织物触觉质感定量评价与识别系统 | |
| CN104997517A (zh) | 一种通过视频分析测量血糖的方法 | |
| CN106949951A (zh) | 智能体重秤 | |
| KR20200057666A (ko) | 피부 측정 및 케어 과정을 이용해 사용자의 피부를 분석하고 빅데이터를 구축하는 방법 | |
| CN112603264B (zh) | 基于脑前额叶皮层的味觉信息采集与特征分析方法及系统 | |
| CN212546423U (zh) | 基于人脸图像解析的智能镜子 | |
| CN114795212A (zh) | 一种管制员工作疲劳监测方法、系统、计算机设备及介质 | |
| CN113598727A (zh) | 一种智慧医疗信息采集系统和医患信息交互方法 | |
| CN109846480A (zh) | 一种检测肌肉综合性疲劳度的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |