CN111914711B - 一种基于脑电的多阶段渐进式目标识别训练系统及方法 - Google Patents
一种基于脑电的多阶段渐进式目标识别训练系统及方法 Download PDFInfo
- Publication number
- CN111914711B CN111914711B CN202010720305.5A CN202010720305A CN111914711B CN 111914711 B CN111914711 B CN 111914711B CN 202010720305 A CN202010720305 A CN 202010720305A CN 111914711 B CN111914711 B CN 111914711B
- Authority
- CN
- China
- Prior art keywords
- training
- stage
- interface
- electroencephalogram
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 352
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000000750 progressive effect Effects 0.000 title claims abstract description 24
- 210000004556 brain Anatomy 0.000 claims abstract description 80
- 230000005611 electricity Effects 0.000 claims description 40
- 238000004088 simulation Methods 0.000 claims description 35
- 230000006978 adaptation Effects 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000001149 cognitive effect Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000000763 evoking effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000005868 electrolysis reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000006698 induction Effects 0.000 claims 1
- 238000013461 design Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000019771 cognition Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑电的多阶段渐进式目标识别训练系统及方法。本系统包括脑电帽、信号放大器、电脑、训练系统界面和P300解码单元，由专业人员帮助训练人员戴好脑电帽，打开训练系统界面，根据需要进入不同的训练界面，训练开始后，训练人员注视显示界面，界面随机显示目标图片与非目标图片，脑电帽采集训练人员此时的脑电信号，经过信号放大器的放大后，传输给P300解码单元进行解码，解码成功后，解码结果用于判断训练人员是否识别了目标图片，进而计算识别率，对工作人员的识别能力做出评估。本发明给从事人机混合微小目标图像识别工作提供了方便，从P300脑电数据角度评估工作人员的识别能力，为选拔优秀的人工识别专业人员提供依据。
Description
技术领域
本发明涉及一种基于脑电的多阶段渐进式目标识别训练系统及方法，一方面给从事人机混合微小目标图像识别工作的人员提供一个新方法，基于P300脑电的训练平台使工作人员通过多阶段渐进式图像识别训练，逐渐熟悉目标特征、适应目标播放频率，从而提高人工识别的准确率。另一方面，提供了从P300脑电数据客观分析的角度评估工作人员识别能力的方法，从而为选拔优秀的人工识别专业人员提供依据。
背景技术
随着人工智能的不断进步和发展，目标识别技术被广泛应用于多种领域，如汽车自动驾驶障碍物识别、海上漂浮物体识别、空中飞行物识别等。但是对一些体积微小、轮廓不明显的易混淆目标的检测，现有的技术仍然难以做到精确识别，所以还需要对计算机难以识别的目标进一步采用人工识别的方式，即人机混合的微小目标图像识别方式。目前主要存在的不足有：由于现实环境中检测数据量很大，实时性要求较高，而对未经训练的人员，不熟悉需要识别的目标特征，同时又不能快速适应既定的播放频率，很难对需要目标物进行正确识别，缺乏一个能给工作人员提供相应训练并逐步提高识别能力的训练平台；另外，由于工作人员在目标识别能力方面先天的个体差异性，往往需要挑选具有一定先天优势的工作人员完成目标识别任务，所以亟需一种能够有效评估工作人员个人能力的系统。
发明内容
本发明的目的是为了克服以上已有技术的不足，提供一种基于脑电的多阶段渐进式目标识别训练系统及方法，基于P300脑电解码技术，一方面给从事人机混合微小目标图像识别工作的人员提供一个新方法，所设计的训练平台使工作人员通过多阶段渐进式图像识别训练，逐渐熟悉目标特征、适应目标播放频率，从而提高人工识别的准确率。另一方面，提供了从P300脑电数据客观分析的角度评估工作人员识别能力的方法，从而为选拔优秀的人工识别专业人员提供依据。
为了实现上述目的，本发明的技术解决方案是：
一种基于脑电的多阶段渐进式目标识别训练系统，包括脑电帽、信号放大器和电脑，所述电脑连接脑电帽和信号放大器，脑电帽、连接信号放大器；所述电脑由手机连接显示器、键盘和P300解码单元构成，显示器显示训练系统界面。
所述脑电帽通过专用的并行通讯线缆与信号放大器连接，信号放大器通过USB线缆与电脑的USB端口连接，电脑包含训练系统界面和P300解码单元；由专业人员帮助训练人员戴好脑电帽，打开电脑中的训练系统界面，根据需要进入不同的训练界面，训练开始后，训练人员需要注视显示界面，界面以一定频率随机显示目标图片与非目标图片，脑电帽采集训练人员此时的脑电信号，经过信号放大器的放大后，传输给电脑中的P300解码单元，由于工作人员在看到目标图片之后的300毫秒左右，大脑的脑电会产生正相诱发电位，即P300脑电，通过滤波处理、特征提取和分类识别对P300脑电进行解码，计算出是否诱发了P300脑电以及诱发时间，解码结果用于判断训练人员是否识别了目标图片，进而计算识别率，对工作人员的识别能力做出评估。
所述的脑电帽，为32导联的湿电极脑电帽，用于将采集的训练人员的32个通道的脑电数据传回所述的信号放大器。
所述的电脑，硬件部分包括：主机、键盘和显示器；主机为训练系统的运行平台，同时需要接收信号放大器传送过来的脑电数据和键盘传送过来的操作指令；所述的键盘用于训练人员对显示器所显示的系统界面进行操作；所述的显示器用于显示系统的操作界面和图片界面。
所述的训练系统界面，包括：1个初始界面和4个功能界面；初始界面为训练系统的登录界面，初始界面包括用户名、密码、用户类型、确定和取消；4个功能界面分别为可选阶段训练模式界面、全阶段训练模式界面、在线监测界面和数据处理界面；
可选阶段训练模式界面用于为训练人员提供可自行选择训练阶段的训练模式，各个训练阶段独立不连贯，包括认知阶段、适应训练、仿真训练和正式训练4个部分；
全阶段训练模式界面用于为训练人员提供连续依次执行适应训练、仿真训练和正式训练的训练模式，包括：适应训练第一阶段、适应训练第二阶段、适应训练第三阶段、仿真训练第一阶段、仿真训练第二阶段、仿真训练第三阶段和正式训练阶段；
在线监测界面用于工作人员实时观察脑电波形，包括：设备序号、连接状态、人员编号、端口号、采集通道、采样率、实时波形、开始和停止；
数据处理界面用于训练完成后，工作人员通过对保存的脑电数据查询，并进行滤波，特征提取和识别，最后计算训练过程中的目标识别数和准确率，包括：查询、滤波方法、特征提取、分类识别和计算结果。
所述的P300解码单元，基于P300脑电解码技术，训练人员在观看到目标图片之后，大脑中会诱发出P300脑电信号，通过滤波处理、特征提取和分类识别，能够计算出在目标图片出现时刻，训练人员的大脑中是否诱发了P300脑电信号，如果有P300脑电信号的产生，则认为训练人员识别了目标图片，反之，则没有识别，进而计算识别率，对工作人员的识别能力做出评估。
一种基于脑电的多阶段渐进式目标识别训练方法，采用上述基于脑电的多阶段渐进式目标识别训练系统进行操作，其操作步骤如下：
(1)训练人员在专业人员的协助下佩戴好脑电帽；
(2)打开训练系统界面，在初始界面进行登录，并进入功能选择界面；
(3)根据需要选择打开可选阶段训练模式界面，可以进行认知阶段、适应训练、仿真训练和正式训练的4个单独阶段训练；
(4)根据需要选择打开全阶段训练模式界面，可以连贯地、循序渐进地进行适应训练、仿真训练和正式训练三个大阶段的训练；
(5)脑电帽采集训练人员的脑电信号，经过信号放大器的放大后，传输给电脑中的P300解码单元；
(6)打开在线监测界面实时观测脑电波形，并将数据及时保存；
(7)训练结束后，打开数据处理界面对记录的脑电数据进行分析。
所述步骤(2)中的初始界面的设计步骤如下：
(2-1)初始界面为基于脑电的多阶段渐进式目标识别训练系统的登录界面，初始界面包括用户名、密码、用户类型、确定和取消；
(2-1-1)用户名：每个需要登录进入系统的工作人员需要输入的编号，作为不同人员的唯一标识；
(2-1-2)密码：为每个需要登录进入系统工作人员设定的密码；
(2-1-3)用户类型：有普通人员和管理员两种用户类型，用以区分在训练系统中的操作权限；
(2-1-4)确定：当填写好用户名、密码和用户类型，系统校验成功后可以进入系统；
(2-1-5)取消：用于退出初始界面。
所述步骤(3)中的可选阶段训练模式界面的设计步骤如下：
(3-1)可选阶段训练模式为训练人员可自行选择训练阶段的训练模式，各个训练阶段独立不连贯，包括认知阶段、适应训练、仿真训练和正式训练四部分；
(3-1-1)认知阶段：包括播放频率、图片数量、目标图片数和干扰图片数的设置，开始训练后，先进入认知阶段提示界面，训练人员按键盘上的任意键正式开始认知，认知阶段通过训练人员手动按键盘任意键切换目标图片，进行认知学习，全部目标图片播放完成后，按任意键结束本阶段；
(3-1-2)适应训练：包括播放频率、图片数量、目标图片数和干扰图片数的设置，开始训练后，进入适应训练提示界面，训练人员按键盘上的任意键正式开始适应训练，目标图片与干扰图片按设定出现的频率自动随机播放，播放完成后，按任意键结束本阶段；
(3-1-3)仿真训练：包括播放频率、图片数量、目标图片数和干扰图片数的设置，开始训练后，进入仿真训练提示界面，训练人员按键盘上的任意键正式开始仿真训练，目标图片与干扰图片设定出现的频率自动随机播放，播放完成后，按任意键结束本阶段；
(3-1-4)正式训练：包括播放频率、图片数量、目标图片数和干扰图片数的设置，开始训练后，进入正式训练提示界面，训练人员按键盘上的任意键正式开始正式训练，目标图片与干扰图片设定出现的频率自动随机播放，播放完成后，按任意键结束本阶段；
所述步骤(4)中的全阶段训练模式界面的设计步骤如下：
(4-1)全阶段训练模式为训练人员连续依次执行适应训练、仿真训练和正式训练的训练模式，包括：适应训练第一阶段、适应训练第二阶段、适应训练第三阶段、仿真训练第一阶段、仿真训练第二阶段、仿真训练第三阶段和正式训练阶段；
(4-1-1)适应训练第一阶段：包括播放频率、图片数量、目标图片数、干扰图片数和休息时间的设置；目标图片与干扰图片按设定出现的频率随机自动播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-2)适应训练第二阶段：包括播放频率、图片数量、目标图片数、干扰图片数和休息时间的设置；目标图片与干扰图片按设定出现的频率随机自动播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-3)适应训练第三阶段：包括播放频率、图片数量、目标图片数、干扰图片数和休息时间的设置；目标图片与干扰图片按设定出现的频率随机自动播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-4)仿真训练第一阶段：包括播放频率、图片数量、目标图片数、干扰图片数和休息时间的设置；目标图片与干扰图片按设定出现的频率随机自动播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-5)仿真训练第二阶段：包括播放频率、图片数量、目标图片数、干扰图片数和休息时间的设置；目标图片与干扰图片按设定出现的频率随机自动播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-6)仿真训练第三阶段：包括播放频率、图片数量、目标图片数、干扰图片数和休息时间的设置；目标图片与干扰图片按设定出现的频率随机自动播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-7)正式训练阶段：包括播放频率、图片数量、目标图片数、干扰图片数和休息时间的设置；目标图片与干扰图片按设定出现的频率随机自动播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-2)开始训练时，系统依次执行适应训练第一阶段、适应训练第二阶段、适应训练第三阶段、仿真训练第一阶段、仿真训练第二阶段、仿真训练第三阶段和正式训练阶段；正式训练阶段的循环次数为3次；每个阶段的开始都会先进入提示界面，训练人员按键盘上的任意键正式开始进入训练。
所述步骤(6)中的在线监测界面的设计步骤如下：
(6-1)在线监测界面用于工作人员实时观察脑电波形，包括：设备序号、连接状态、人员编号、端口号、采集通道、采样率、实时波形、开始和停止；
(6-1-1)设备序号：用于显示信号放大器的设备编号；
(6-1-2)人员编号：用于显示当前进行训练人员的编号；
(6-1-3)连接状态：分为已连接和未连接两种状态，如果电脑主机与信号放大器通讯连接完好，则显示已连接，如果电脑主机与信号放大器通讯连接断开，则显示未连接；
(6-1-4)端口号：用于显示与当前信号放大器连接的电脑主机的端口编号；
(6-1-5)采集通道：用于显示当前脑电帽所使用的电极种类；
(6-1-6)采样率：用于显示当前信号放大器对脑电数据的采样频率；
(6-1-7)实时波形：将信号放大器传送过来的32导联的电脑数据波形实时地在窗口中显示出来；
(6-1-8)开始：电脑主机开始实时接收信号放大器传送的脑电数据，并在实时波形的窗口显示出来；
(6-1-8)停止：电脑主机停止实时接收信号放大器传送的脑电数据，实时波形的窗口的波形画面暂停。
所述步骤(7)中的数据处理界面的设计步骤如下：
(7-1)数据处理界面用于训练完成后，工作人员通过对保存的脑电数据查询，并进行滤波，特征提取和识别，最后计算训练过程中的目标识别数和准确率，包括：查询、滤波方法、特征提取、分类识别和计算结果；
(7-1-1)查询：包括开始时间、结束时间选择，在开始时间框中选择开始时间，在结束时间框中选择结束时间，可以查询到相关的脑电数据；
(7-1-2)滤波方法：包括低通滤波，小波滤波和带通滤波三种方法，选择一种滤波方法，可对脑电数据进行滤波处理；
(7-1-3)特征提取：包括快速独立成分分析(Fast Independent Analysis，FastICA)、典型相关分析(Canonical，CCA)和小波变换三个特征提取方法，选择一种特征提取方法，可对滤波处理后的脑电数据进行特征提取操作；
(7-1-4)分类识别：包括线性判别分析(Linear Discriminant Analysis，LDA)、支持向量机(Support Vector Machine，SVM)和卷积神经网络(Convolution NeuralNetwork，CNN)三种分类方法，选择一种分类方法，可对提取的特征进行分类，进而判断出训练人员是否识别出目标图片；
(7-1-5)计算结果：包括目标识别数和准确率的计算，可将目标识别数和准确率的数值显示出来。
本发明与现有技术相比，具有如下突出的实质性特点和显著优点：
1.本发明提出了一种基于P300脑电的人机混合微小目标图像识别新方法，工作人员通过多阶段渐进式图像识别训练，逐渐熟悉目标特征、适应目标播放频率，从而提高人工识别的准确率；同时，提出了从P300脑电数据客观分析的角度评估工作人员识别能力的方法，从而为选拔优秀的人工识别专业人员提供依据；
2.基于P300的脑电解码技术，本发明设计了一个可实际应用的、多阶段、渐进式的人性化训练系统平台，集训练与评估于一体，能够在短时间有效提高训练人员识别目标的能力；
3.本发明的训练模式分为可选阶段训练模式和全阶段训练模式，可选阶段训练模式把不同的阶段独立开来，方便进行单独阶段性训练，逐步提高，其中，认知阶段的设计使得训练人员能够充分学习到目标图片的细节，为后续的目标识别做好准备；全阶段训练模式主要特点是采用循序渐进的、全程连贯训练方式，训练人员能够在较短时间内调整好自身的识别状态，从而保证了系统能够采集良好的脑电数据，方便做进一步分析；
4.本发明的在线监测界面能够实时查看脑电数据，方便相关人员从脑电波形图上进行直观分析，界面友好，操作灵活，符合人性化设计；
5.本发明的数据处理界面，是脑电分析与实际工程应用的有效结合，提供了多种可选择的数据处理方式，根据脑电分析计算训练人员的识别准确率，用于训练人员对目标识别能力的评估，有利于脑电在工程应用领域的进一步推广。
附图说明
图1是本发明的系统结构框图。
图2是本发明的训练方法总流程图。
图3是本发明的系统初始界面图。
图4是本发明的系统可选阶段训练模式界面图。
图5是本发明的系统可选阶段训练模式操作流程图。
图6是本发明的系统可选阶段训练模式认知阶段操作流程图。
图7是本发明的系统可选阶段训练模式适应训练、仿真训练和正式训练操作流程图。
图8是本发明的系统全阶段训练模式界面图。
图9是本发明的系统全阶段训练模式操作流程图。
图10是本发明的系统在线监测界面图。
图11是本发明的系统数据处理界面图。
图12是本发明的系统数据处理流程图。
具体实施方式
本发明的优选实施例结合附图详述如下：
实施例一：
参见图1，本基于脑电的多阶段渐进式目标识别训练系统，包括脑电帽1、信号放大器2和电脑3，其特征在于所述电脑3连接脑电帽1和信号放大器2，脑电帽1、连接信号放大器2；所述电脑3由手机6连接显示器8、键盘7和P300解码单元5构成，显示器8显示训练系统界面。
实施例二：
本实施例与实施例一基本相同，特别之处如下：
参见图1，所述脑电帽1通过专用的并行通讯线缆与信号放大器2连接，信号放大器2通过USB线缆与电脑3的USB端口连接，电脑3包含训练系统界面4和P300解码单元5；由专业人员帮助训练人员戴好脑电帽1，打开电脑3中的训练系统界面4，根据需要进入不同的训练界面，训练开始后，训练人员需要注视显示界面，界面以一定频率随机显示目标图片与非目标图片，脑电帽1采集训练人员此时的脑电信号，经过信号放大器2的放大后，传输给电脑3中的P300解码单元5，由于工作人员在看到目标图片之后的300毫秒左右，大脑的脑电会产生正相诱发电位，即P300脑电，通过滤波处理、特征提取和分类识别对P300脑电进行解码，计算出是否诱发了P300脑电以及诱发时间，解码结果用于判断训练人员是否识别了目标图片，进而计算识别率，对工作人员的识别能力做出评估。
实施例三：
本实施例与实施例二基本相同，特别之处如下：
所述的脑电帽1为32导联的湿电极脑电帽，用于将采集的训练人员的32个通道的脑电数据传回所述的信号放大器2。
所述的电脑3硬件部分包括：主机6、键盘7和显示器8；主机6为训练系统的运行平台，同时需要接收信号放大器2传送过来的脑电数据和键盘7传送过来的操作指令；所述的键盘7用于训练人员对显示器2所显示的系统界面4进行操作；所述的显示器8用于显示系统的操作界面和图片界面。
所述的训练系统界面4包括：1个初始界面和4个功能界面；初始界面为训练系统的登录界面，初始界面包括用户名、密码、用户类型、确定和取消；4个功能界面分别为可选阶段训练模式界面、全阶段训练模式界面、在线监测界面和数据处理界面；
可选阶段训练模式界面用于为训练人员提供可自行选择训练阶段的训练模式，各个训练阶段独立不连贯，包括认知阶段、适应训练、仿真训练和正式训练4个部分；
全阶段训练模式界面用于为训练人员提供连续依次执行适应训练、仿真训练和正式训练的训练模式，包括：适应训练第一阶段、适应训练第二阶段、适应训练第三阶段、仿真训练第一阶段、仿真训练第二阶段、仿真训练第三阶段和正式训练阶段；
在线监测界面用于工作人员实时观察脑电波形，包括：设备序号、连接状态、人员编号、端口号、采集通道、采样率、实时波形、开始和停止；
数据处理界面用于训练完成后，工作人员通过对保存的脑电数据查询，并进行滤波，特征提取和识别，最后计算训练过程中的目标识别数和准确率，包括：查询、滤波方法、特征提取、分类识别和计算结果。
所述的P300解码单元5，基于P300脑电解码技术，训练人员在观看到目标图片之后，大脑中会诱发出P300脑电信号，通过滤波处理、特征提取和分类识别，能够计算出在目标图片出现时刻，训练人员的大脑中是否诱发了P300脑电信号，如果有P300脑电信号的产生，则认为训练人员识别了目标图片，反之，则没有识别，进而计算识别率，对工作人员的识别能力做出评估。
实施例四：
参见图1至图12，一种基于脑电的多阶段渐进式目标识别训练方法，采用上述系统进行操作，其特征在于操作步骤如下：
(1)参见图1，训练人员在专业人员的协助下佩戴好脑电帽1；
(2)参见图2和图3，打开训练系统界面4，在初始界面进行登录，并进入功能选择界面；
(3)参见图4，根据需要选择打开可选阶段训练模式界面，可以进行认知阶段、适应训练、仿真训练和正式训练的4个单独阶段训练；
(4)参见图8，根据需要选择打开全阶段训练模式界面，可以连贯地、循序渐进地进行适应训练、仿真训练和正式训练三个大阶段的训练；
(5)参见图1，脑电帽1采集训练人员的脑电信号，经过信号放大器2的放大后，传输给电脑(3)中的P300解码单元5；
(6)参见图10，打开在线监测界面实时观测脑电波形，并将数据及时保存；
(7)参见图11，训练结束后，打开数据处理界面对记录的脑电数据进行分析。
实施例五:
本实施例与实施例三基本相同，特别之处如下：
参见图3，所述步骤(2)中的初始界面的设计步骤如下：
(2-1)初始界面为基于脑电的多阶段渐进式目标识别训练系统的登录界面，初始界面包括“用户名”、“密码”、“用户类型”、“确定”和“取消”；
(2-1-1)“用户名”：每个需要登录进入系统的工作人员需要输入的编号，作为不同人员的唯一标识；
(2-1-2)“密码”：为每个需要登录进入系统工作人员设定的密码；
(2-1-3)“用户类型”：有普通人员和管理员两种用户类型，用以区分在训练系统中的操作权限；
(2-1-4)“确定”：当填写好用户名、密码和用户类型后，单击确定按钮，系统校验成功后可以进入系统；
(2-1-5)“取消”：点击取消按钮可以退出初始界面。
参见图1、图4至图7，所述步骤(3)中的可选阶段训练模式界面的设计步骤如下：
(3-1)参见图4和图5，可选阶段训练模式为训练人员可自行选择训练阶段的训练模式，各个训练阶段独立不连贯，包括“认知阶段”、“适应训练”、“仿真训练”和“正式训练”4个部分；
(3-1-1)参见图1、图4和图6，“认知阶段”：包括“播放频率”默认为手动播放、“图片数量”默认为100张、“目标图片数”默认为100张和“干扰图片数”默认为0张，点击“开始训练”按钮，进入认知阶段提示界面，训练人员按键盘7上的任意键正式开始认知，认知阶段通过训练人员手动按键盘7任意键切换目标图片，进行认知学习，全部目标图片播放完成后，按任意键结束本阶段；
(3-1-2)参见图1、图4和图7，“适应训练”：包括“播放频率”默认为1Hz、“图片数量”默认为10张、“目标图片数”默认为1张和“干扰图片数”默认为9张，点击“开始训练”按钮，进入适应训练提示界面，训练人员按键盘7上的任意键正式开始适应训练，目标图片与干扰图片自动随机播放，播放完成后，按任意键结束本阶段；
(3-1-3)参见图1、图4和图7，“仿真训练”：包括“播放频率”默认为10Hz、“图片数量”默认为10张、“目标图片数”默认为1张和“干扰图片数”默认为9张，点击“开始训练”按钮，进入仿真训练提示界面，训练人员按键盘7上的任意键正式开始仿真训练，目标图片与干扰图片自动随机播放，播放完成后，按任意键结束本阶段；
(3-1-4)参见图1、图4和图7，“正式训练”：包括“播放频率”默认为10Hz、“图片数量”默认为100张、“目标图片数”默认为10张和“干扰图片数”默认为90张，点击“开始训练”按钮，进入正式训练提示界面，训练人员按键盘7上的任意键正式开始正式训练，目标图片与干扰图片自动随机播放，播放完成后，按任意键结束本阶段；
参见图1、图8和图9，所述步骤(4)中的全阶段训练模式界面的设计步骤如下：
(4-1)“全阶段训练模式”为训练人员连续依次执行适应训练、仿真训练和正式训练的训练模式，包括：“适应训练第一阶段”、“适应训练第二阶段”、“适应训练第三阶段”、“仿真训练第一阶段”、“仿真训练第二阶段”、“仿真训练第三阶段”和“正式训练阶段”；
(4-1-1)“适应训练第一阶段”：包括“播放频率”默认为1Hz、“图片数量”默认为10张、“目标图片数”默认为1张和“干扰图片数”默认为9张，“休息时间”默认为5秒；目标图片与干扰图片随机播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-2)“适应训练第二阶段”：包括“播放频率”默认为2Hz、“图片数量”默认为10张、“目标图片数”默认为1张和“干扰图片数”默认为9张，“休息时间”默认为5秒；目标图片与干扰图片随机播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-3)“适应训练第三阶段”：包括“播放频率”默认为4Hz、“图片数量”默认为10张、“目标图片数”默认为1张和“干扰图片数”默认为9张，“休息时间”默认为5秒；目标图片与干扰图片随机播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-4)“仿真训练第一阶段”：包括“播放频率”默认为10Hz、“图片数量”默认为10张、“目标图片数”默认为1张和“干扰图片数”默认为9张，“休息时间”默认为5秒；目标图片与干扰图片随机播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-5)“仿真训练第二阶段”：包括“播放频率”默认为10Hz、“图片数量”默认为20张、“目标图片数”默认为2张和“干扰图片数”默认为18张，“休息时间”默认为5秒；目标图片与干扰图片随机播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-6)“仿真训练第三阶段”：包括“播放频率”默认为10Hz、“图片数量”默认为40张、“目标图片数”默认为4张和“干扰图片数”默认为36张，“休息时间”默认为5秒；目标图片与干扰图片随机播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-1-7)“正式训练阶段”：包括“播放频率”默认为10Hz、“图片数量”默认为100张、“目标图片数”默认为10张和“干扰图片数”默认为90张，“休息时间”默认为5秒；目标图片与干扰图片随机播放，播放完成后，经过休息时间后自动进入下一阶段；
(4-2)点击“开始训练”按钮，系统依次执行“适应训练第一阶段”、“适应训练第二阶段”、“适应训练第三阶段”、“仿真训练第一阶段”、“仿真训练第二阶段”、“仿真训练第三阶段”和“正式训练阶段”；“正式训练阶段”的循环次数为3次；每个阶段的开始都会先进入提示界面，训练人员按键盘7上的任意键正式开始进入训练。
参见图1和图10，所述步骤(6)中的在线监测界面的设计步骤如下：
(6-1)在线监测界面用于工作人员实时观察脑电波形，包括：“设备序号”、“连接状态”、“人员编号”、“端口号”、“采集通道”、“采样率”、“实时波形”、“开始”和“停止”；
(6-1-1)“设备序号”：用于显示信号放大器2的设备编号；
(6-1-2)“人员编号”：用于显示当前进行训练人员的编号；
(6-1-3)“连接状态”：分为已连接和未连接两种状态，如果电脑主机6与信号放大器2通讯连接完好，则显示已连接，否则，显示未连接；
(6-1-4)“端口号”：用于显示与当前信号放大器2连接的电脑主机6的端口编号；
(6-1-5)“采集通道”：用于显示当前脑电帽1所使用的电极种类；
(6-1-6)“采样率”：用于显示当前信号放大器2对脑电数据的采样频率；
(6-1-7)“实时波形”：将信号放大器2传送过来的32导联的电脑数据波形实时地在窗口中显示出来；
(6-1-8)“开始”：点击“开始”按钮，则电脑主机6开始实时接收信号放大器2传送的脑电数据，并在实时波形的窗口显示出来；
(6-1-8)“停止”：点击“停止”按钮，则电脑主机6停止实时接收信号放大器2传送的脑电数据，实时波形的窗口的波形画面暂停。
参见图11和图12，所述步骤7中的数据处理界面的设计步骤如下：
(7-1)数据处理界面用于训练完成后，工作人员通过对保存的脑电数据查询，并进行滤波，特征提取和识别，最后计算训练过程中的目标识别数和准确率，包括：“查询”、“滤波方法”、“特征提取”、“分类识别”和“计算结果”；
(7-1-1)“查询”：包括“开始时间”、“结束时间”和“开始”按钮，在开始时间框中选择开始时间，在结束时间框中选择结束时间，点击“开始”按钮，可以查询到相关的脑电数据；
(7-1-2)“滤波方法”：包括“低通滤波”，“小波滤波”和“带通滤波”三种方法和一个“开始”按钮，选择一种滤波方法前的复选框，点击“开始”按钮，可对脑电数据进行滤波处理；
(7-1-3)“特征提取”：包括“FastICA”、“CCA”和“小波变换”三个特征提取方法和一个“开始”按钮，选择一种特征提取方法前的复选框，点击“开始”按钮，可对滤波处理后的脑电数据进行特征提取操作；
(7-1-4)“分类识别”：包括“LDA”、“SVM”和“CNN”三种分类方法和一个“开始”按钮，选择一种分类方法前的复选框，点击“开始”按钮，可对提取的特征进行分类，进而判断出训练人员是否识别出目标图片；
(7-1-5)“计算结果”：包括“目标识别数”和“准确率”的计算，和一个“开始”按钮，点击“开始”按钮，可将目标识别数和准确率的数值显示出来。
综合上述实施例可知，本发明公开了一种基于脑电的多阶段渐进式目标识别训练系统及方法。本系统包括脑电帽1、信号放大器2、电脑3、训练系统界面4和P300解码单元5。本方法是：由专业人员帮助训练人员戴好脑电帽1，打开电脑3中的训练系统界面4，根据需要进入不同的训练界面，训练开始后，训练人员需要注视显示界面，界面以一定频率随机显示目标图片与非目标图片，脑电帽1采集训练人员此时的脑电信号，经过信号放大器2的放大后，传输给电脑3中的P300解码单元5进行解码，解码成功后，解码结果用于判断训练人员是否识别了目标图片，进而计算识别率，对工作人员的识别能力做出评估。本发明基于P300脑电解码技术，一方面给从事人机混合微小目标图像识别工作的人员提供一个新方法，另一方面，提供了从P300脑电数据角度评估工作人员的识别能力的方法，为选拔优秀的人工识别专业人员提供依据。
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明的设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所做出的各种变形、替代和改进，均应属于本发明的保护范畴。本发明的保护范围由权利要求确定。
Claims (5)
1.一种基于脑电的多阶段渐进式目标识别训练系统，包括脑电帽(1)、信号放大器(2)和电脑(3)，其特征在于所述电脑(3)连接脑电帽(1)和信号放大器(2)，脑电帽(1)、连接信号放大器(2)；所述电脑(3)由主机(6)连接显示器(8)、键盘(7)和P300解码单元(5)构成，显示器(8)显示训练系统界面；
所述脑电帽(1)通过专用的并行通讯线缆与信号放大器(2)连接，信号放大器(2)通过USB线缆与电脑(3)的USB端口连接，由专业人员帮助训练人员戴好脑电帽(1)，打开电脑(3)中的训练系统界面(4)，根据需要进入不同的训练界面，训练开始后，训练人员需要注视显示界面，界面以一定频率随机显示目标图片与非目标图片，脑电帽(1)采集训练人员此时的脑电信号，经过信号放大器(2)的放大后，传输给电脑(3)中的P300解码单元(5)，由于工作人员在看到目标图片之后的300毫秒左右，大脑的脑电会产生正相诱发电位，即P300脑电，通过滤波处理、特征提取和分类识别对P300脑电进行解码，计算出是否诱发了P300脑电以及诱发时间，解码结果用于判断训练人员是否识别了目标图片，进而计算识别率，对工作人员的识别能力做出评估；
所述的训练系统界面(4)包括：1个初始界面和4个功能界面；初始界面为训练系统的登录界面，初始界面包括用户名、密码、用户类型、确定和取消；4个功能界面分别为可选阶段训练模式界面、全阶段训练模式界面、在线监测界面和数据处理界面；可选阶段训练模式界面用于为训练人员提供可自行选择训练阶段的训练模式，各个训练阶段独立不连贯，包括认知阶段、适应训练、仿真训练和正式训练4个部分；全阶段训练模式界面用于为训练人员提供连续依次执行适应训练、仿真训练和正式训练的训练模式，包括：适应训练第一阶段、适应训练第二阶段、适应训练第三阶段、仿真训练第一阶段、仿真训练第二阶段、仿真训练第三阶段和正式训练阶段；在线监测界面用于工作人员实时观察脑电波形，包括：设备序号、连接状态、人员编号、端口号、采集通道、采样率、实时波形、开始和停止；数据处理界面用于训练完成后，工作人员通过对保存的脑电数据查询，并进行滤波，特征提取和识别，最后计算训练过程中的目标识别数和准确率，包括：查询、滤波方法、特征提取、分类识别和计算结果。
2.根据权利要求1所述基于脑电的多阶段渐进式目标识别训练系统，其特征在于：所述的脑电帽(1)为32导联的湿电极脑电帽，用于将采集的训练人员的32个通道的脑电数据传回所述的信号放大器(2)。
3.根据权利要求1所述基于脑电的多阶段渐进式目标识别训练系统，其特征在于：所述主机(6)为训练系统的运行平台，同时需要接收信号放大器(2)传送过来的脑电数据和键盘(7)传送过来的操作指令；所述的键盘(7)用于训练人员对显示器(2)所显示的系统界面(4)进行操作；所述的显示器(8)用于显示系统的操作界面和图片界面。
4.根据权利要求1所述基于脑电的多阶段渐进式目标识别训练系统，其特征在于：所述的P300解码单元(5)，基于P300脑电解码技术，训练人员在观看到目标图片之后，大脑中会诱发出P300脑电信号，通过滤波处理、特征提取和分类识别，能够计算出在目标图片出现时刻，训练人员的大脑中是否诱发了P300脑电信号，如果有P300脑电信号的产生，则认为训练人员识别了目标图片，反之，则没有识别，进而计算识别率，对工作人员的识别能力做出评估。
5.一种基于脑电的多阶段渐进式目标识别训练方法，采用权利要求1所述基于脑电的多阶段渐进式目标识别训练系统进行操作，其特征在于，操作步骤如下：
(1)训练人员在专业人员的协助下佩戴好脑电帽(1)；
(2)打开训练系统界面(4)，在初始界面进行登录，并进入功能选择界面；
(3)根据需要选择打开可选阶段训练模式界面，可以进行认知阶段、适应训练、仿真训练和正式训练的4个单独阶段训练；
(4)根据需要选择打开全阶段训练模式界面，可以连贯地、循序渐进地进行适应训练、仿真训练和正式训练三个大阶段的训练；
(5)脑电帽(1)采集训练人员的脑电信号，经过信号放大器(2)的放大后，传输给电脑(3)中的P300解码单元(5)；
(6)打开在线监测界面实时观测脑电波形，并将数据及时保存；
(7)训练结束后，打开数据处理界面对记录的脑电数据进行分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010720305.5A CN111914711B (zh) | 2020-07-24 | 2020-07-24 | 一种基于脑电的多阶段渐进式目标识别训练系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010720305.5A CN111914711B (zh) | 2020-07-24 | 2020-07-24 | 一种基于脑电的多阶段渐进式目标识别训练系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111914711A CN111914711A (zh) | 2020-11-10 |
| CN111914711B true CN111914711B (zh) | 2024-03-29 |
Family
ID=73281737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010720305.5A Active CN111914711B (zh) | 2020-07-24 | 2020-07-24 | 一种基于脑电的多阶段渐进式目标识别训练系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914711B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339455A (zh) * | 2008-08-07 | 2009-01-07 | 北京师范大学 | 基于人脸识别特异性波n170成分的脑机接口系统 |
| CN103631941A (zh) * | 2013-12-11 | 2014-03-12 | 北京师范大学 | 基于脑电的目标图像检索系统 |
| CN105825225A (zh) * | 2016-03-11 | 2016-08-03 | 中国人民解放军信息工程大学 | 一种机器视觉辅助脑电目标判决的方法 |
| CN105868712A (zh) * | 2016-03-28 | 2016-08-17 | 中国人民解放军信息工程大学 | 基于后验概率模型的脑电与机器视觉目标图像检索方法 |
| CN106708261A (zh) * | 2016-12-05 | 2017-05-24 | 深圳大学 | 一种基于脑机交互的注意力训练方法及系统 |
| CN108920699A (zh) * | 2018-07-16 | 2018-11-30 | 重庆邮电大学 | 一种基于N2pc的目标识别反馈系统及方法 |
| WO2019166006A1 (zh) * | 2018-03-02 | 2019-09-06 | 华为技术有限公司 | 图像识别方法、图像呈现时间的调整方法及设备 |
-
2020
- 2020-07-24 CN CN202010720305.5A patent/CN111914711B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339455A (zh) * | 2008-08-07 | 2009-01-07 | 北京师范大学 | 基于人脸识别特异性波n170成分的脑机接口系统 |
| CN103631941A (zh) * | 2013-12-11 | 2014-03-12 | 北京师范大学 | 基于脑电的目标图像检索系统 |
| CN105825225A (zh) * | 2016-03-11 | 2016-08-03 | 中国人民解放军信息工程大学 | 一种机器视觉辅助脑电目标判决的方法 |
| CN105868712A (zh) * | 2016-03-28 | 2016-08-17 | 中国人民解放军信息工程大学 | 基于后验概率模型的脑电与机器视觉目标图像检索方法 |
| CN106708261A (zh) * | 2016-12-05 | 2017-05-24 | 深圳大学 | 一种基于脑机交互的注意力训练方法及系统 |
| WO2019166006A1 (zh) * | 2018-03-02 | 2019-09-06 | 华为技术有限公司 | 图像识别方法、图像呈现时间的调整方法及设备 |
| CN110221681A (zh) * | 2018-03-02 | 2019-09-10 | 华为技术有限公司 | 图像识别方法、图像呈现时间的调整方法及设备 |
| CN108920699A (zh) * | 2018-07-16 | 2018-11-30 | 重庆邮电大学 | 一种基于N2pc的目标识别反馈系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨帮华 ; 陆文宇 ; 郑晓明 ; 刘丽 ; .一种运动想象脑机接口训练系统的设计.北京生物医学工程.2012,(第01期),全文. * |
| 林志敏.基于脑电的图像检索技术.《中国优秀硕士学位论文全文数据库信息科技辑》.2018,第I138-1722页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111914711A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103699226B (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
| CN110123314B (zh) | 基于脑电信号判断大脑专注放松状态的方法 | |
| CN108596148B (zh) | 一种基于计算机视觉的建筑工人劳动状态分析系统及方法 | |
| CN110970130A (zh) | 一种注意缺陷多动障碍的数据处理方法 | |
| Liu et al. | On a Real Real-Time Wearable Human Activity Recognition System. | |
| CN106940593B (zh) | 基于VC++和Matlab混合编程的Emotiv脑控无人机系统及方法 | |
| CN102078202A (zh) | 用于识别动脉静脉的方法及超声成像设备 | |
| CN110917613A (zh) | 一种基于振动触觉的游戏智能桌垫 | |
| CN106123911A (zh) | 一种基于加速传感器和角速度传感器的记步方法 | |
| EP3187967B1 (en) | Terminal control method and system | |
| CN102096468A (zh) | 一种基于脑-机接口的家电遥控装置及方法 | |
| CN111914711B (zh) | 一种基于脑电的多阶段渐进式目标识别训练系统及方法 | |
| CN101751563A (zh) | 一种基于LabWindows/CVI和Matlab混合编程的脑电信号识别方法 | |
| CN116700495A (zh) | 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备 | |
| CN112086196A (zh) | 多选择性注意力评估与训练的方法及系统 | |
| CN117747066A (zh) | 基于人机交互的成人认知康复训练系统、方法及电子设备 | |
| CN113469113A (zh) | 动作计数方法、装置、电子设备和存储介质 | |
| CN116563922A (zh) | 一种基于人工智能的跳绳自动计数方法 | |
| WO2021217947A1 (zh) | 手柄类运动计数方法及终端 | |
| CN109326348B (zh) | 分析提示系统及方法 | |
| CN108260012A (zh) | 电子装置、视频播放控制方法及相关产品 | |
| CN109431499B (zh) | 植物人家庭看护辅助系统和辅助方法 | |
| CN116089279A (zh) | 一种智能座舱hmi测评方法、系统及存储介质 | |
| CN109814720A (zh) | 一种设备的脑控方法及系统 | |
| CN112075938B (zh) | 分布式数据采集系统、方法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |