CN113253850A - 一种基于眼动追踪与脑电信号的多任务协同操作方法 - Google Patents

一种基于眼动追踪与脑电信号的多任务协同操作方法 Download PDF

Info

Publication number
CN113253850A
CN113253850A CN202110755392.2A CN202110755392A CN113253850A CN 113253850 A CN113253850 A CN 113253850A CN 202110755392 A CN202110755392 A CN 202110755392A CN 113253850 A CN113253850 A CN 113253850A
Authority
CN
China
Prior art keywords
electroencephalogram
eye
data
cooperative operation
operation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110755392.2A
Other languages
English (en)
Inventor
朱飞宇
张菁
党若琛
黄�俊
胡炳樑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
93184 Unit Of Chinese Pla
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
93184 Unit Of Chinese Pla
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 93184 Unit Of Chinese Pla, XiAn Institute of Optics and Precision Mechanics of CAS filed Critical 93184 Unit Of Chinese Pla
Priority to CN202110755392.2A priority Critical patent/CN113253850A/zh
Publication of CN113253850A publication Critical patent/CN113253850A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提出一种基于眼动追踪与脑电信号的多任务协同操作方法，解决现有基于眼动追踪与脑电技术处理任务中，实时处理效率难以满足使用，以及常规脑电信号处理识别准确率低，难以解决个体差异化处理问题。该方法包括：步骤一、训练深度学习模型；步骤二、同时获取脑电数据和眼部数据；步骤三、将步骤二获取的脑电数据片段输入至步骤一训练好的深度学习模型中，得到特征判断结果；步骤四、多任务协同操作。该方法利用眼动追踪技术提取目标方位信息，利用脑电信号特征用于意愿判定，结合深度学习中分类神经网络实现端到端的实时处理，可以极大提升协同处理效率，提高操作方法的鲁棒性。

Description

一种基于眼动追踪与脑电信号的多任务协同操作方法
技术领域
本发明属于人机智能交互领域，具体涉及一种基于眼动追踪与脑电信号的多任务协同操作方法。
背景技术
眼动追踪技术主要是指通过获取眼球运动信息进行三维建模，在数字坐标轴中生成注视点坐标。近年来，眼动追踪技术已经广泛应用于人们日常生活中，在移动终端中如手机、电脑乃至是汽车驾驶均有眼动追踪技术的影子，例如汽车驾驶中可以识别驾驶员视线是否偏离前方道路，用以评估是否存在交通隐患。而随着硬件性能的提升，眼动追踪设备的坐标精度和检测帧率大幅提高，在医疗健康、在线教育、心理研究等领域也都有着广泛的应用前景。
在驾驶任务或者在某些任务执行过程中，要求手动同步执行其他操作，例如飞行驾驶的同时需要锁定目标，常规方法需要进行手动操作筛选最终目标，此时会导致驾驶等任务注意力分散，产生操作延时。目前一般采用眼动追踪与脑电技术协同处理方法，采用眼动追踪技术提取目标方位信息，采用脑电信号处理作为意愿判定方法，前者可以省略被识别目标的筛选时间，简化操作流程，后者可以省略手动操作时间，为给驾驶员提供更便捷的体验，具备更加人性化的体验过程，两种技术的结合使用对于瞬息万变的驾驶等操作任务显得尤为关键。但是，在两种技术应用过程中，脑电信号处理效率低导致无法实现端对端实时处理，以及在常规脑电信号处理中，由于个体差异性导致脑电信号模式识别分类准确率低、个体适配性差。
发明内容
本发明的目的是解决现有基于眼动追踪与脑电技术处理任务中，实时处理效率难以满足使用，以及常规脑电信号处理识别准确率低，难以解决个体差异化处理问题，提出一种基于眼动追踪与脑电信号的多任务协同操作方法，该方法利用眼动追踪技术提取目标方位信息，利用脑电信号特征用于意愿判定，结合深度学习中分类神经网络实现端到端的实时处理，可以极大提升协同处理效率，提高操作方法的鲁棒性。
为实现上述目的，本发明采用了如下技术方案：
一种基于眼动追踪与脑电信号的多任务协同操作方法，包括以下步骤：
步骤一、训练深度学习模型；
采集个体脑电信号，利用深度学习中的神经网络对个体脑电信号进行训练，获取训练后的深度学习模型；
步骤二、同时获取脑电数据和眼部数据；
脑电数据的采集与预处理包括以下过程；
a1）佩戴脑电极帽获取实时脑电数据；
a2）对脑电数据进行定位电极并剔除无用电极，然后进行带通滤波，随后进行凹陷滤波去除50Hz工频干扰；
a3）对滤波后的脑电数据进行分段，依据事件提取脑电数据片段；
眼部数据的采集与预处理包括以下过程；
b1）通过眼动追踪设备进行眼球视线的捕捉，获取眼部图像；
b2）对获取的眼部图像进行预处理，依次通过阈值滤波运算、区域筛选与圆度计算，提取瞳孔区域与红外光反射点的掩膜特征；
b3）利用瞳孔区域与红外光反射点的掩膜特征建立眼动投射模型，完成眼动数据的预处理，获得注视点参数坐标信息；
步骤三、将步骤二获取的脑电数据片段输入至步骤一训练好的深度学习模型中，得到特征判断结果；
步骤四、多任务协同操作；
根据步骤二获取的注视点参数坐标信息与步骤三获取的特征判断结果，执行多任务协同操作。
进一步地，步骤a2）和步骤a3）之间，还包括以下过程：对滤波后的脑电数据进行ICA独立成分分析或/和剔除眼动成分处理。
进一步地，所述剔除眼动成分处理包括去除眼动伪迹、眨眼伪迹以及损坏的通道。
进一步地，步骤a3）中，脑电数据片段包括原始脑电信号值组成的二维矩阵，或者对脑电数据片段进行人工二次处理后获取的脑电特征，所述脑电特征包括熵、功率谱密度、统计量等一维特征以及经过小波变换的二维特征图。
进一步地，步骤a2）中，带通滤波的滤波幅值为0.1Hz至40Hz。
进一步地，步骤一中，神经网络为ResNet-18。
进一步地，步骤b1)中，所述眼动追踪设备为头戴式眼动仪或桌面式眼动仪。
与现有技术相比，本发明具有的有益技术效果如下：
1.实现端对端处理，具备实时状态下多任务协同操作能力。在利用脑电信号特征用于意愿判定过程中，结合深度学习训练神经网络模型，只需将数据送入网络模型中，直接给出特征判断结果，继而执行相应的指令操作，实现端对端的处理效果，无需常规繁琐的数据处理流程，而常规脑电信号处理按照需要通过繁琐的处理流程，无法满足实时处理要求。
2.解决个体数据特征差异性，提高系统普适性。在处理脑电信号过程中，结合神经网络针对不同的人建立属于自己的数据模型，更贴合个体本身的数据特点，从而避免因为个体差异导致的误判断与误识别。
3.提高脑电信号处理速度，减小延时误差。相比传统脑电信号处理方法，本发明结合深度学习中神经网络对脑电信号进行实时处理，凭借神经网络模型运算速度进行深度学习，可以将脑电信号处理速度提升几个量级。
4.增强操作方法的鲁棒性，提高特征分类的准确率。结合神经网络对脑电波进行模式识别，通过深度学习对脑电波信号进行训练学习，大大增强系统的鲁棒性，远超常规脑电分类的准确率，使得脑电图在实时检测时可以自动分类特征。
附图说明
图1为本发明基于眼动追踪与脑电信号的多任务协同操作方法流程图；
图2为本发明方法眼动追踪示意图；
图3为本发明方法使用头盔显示屏+头戴式眼动仪+头戴式脑电极帽的示意图；
图4为本发明方法使用桌面显示屏+桌面式眼动仪+头戴式脑电极帽的示意图；
图5为本发明方法的ResNet网络残差流程示意图；
图6为本发明方法的ResNet-18网络结构示意图。
附图标记：1-头盔显示屏，2-头戴式眼动仪，3-头戴式脑电极帽，4-桌面显示屏，5-桌面式眼动仪。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。本领域技术人员应当理解的是，这些实施方式仅仅用来解释本发明的技术原理，目的并不是用来限制本发明的保护范围。
本发明提出一种基于眼动追踪与脑电信号的多任务协同操作方法，该方法利用眼动追踪技术提取目标方位信息，利用脑电信号特征用于意愿判定，结合深度学习中分类神经网络实现端到端的实时处理，高效协同处理多任务的操作方法。
本发明方法实现时，首先搭建软硬件多模态同步采集平台，基于软件平台将眼动追踪设备、脑电设备与应用操作平台三者进行实时同步，建立多模态数据融合分析模型，为之后获得高准确度数据以及数据处理奠定基础。在执行任务中，硬件平台提前部署神经网络模型，针对深度学习模型所使用的框架不同，使用TFlite或TNN等进行安卓端的硬件部署，进行脑电波模式识别，通过神经网络模型实时检测特征信号，大脑发出指令时具备相应特征的脑电波信号，网络模型进行判定然后执行相应的指令操作，如汽车驾驶过程中的左转右转、前进刹车、飞行驾驶中的发射导弹、雷达跟踪等指令操作。搭建好相应的平台后，即可进行眼动追踪与脑电信号的多任务协同处理，具体过程如下：
脑电数据需要预先进行个体实验测试，经过一定时间训练集合成数据库，便于后期用于深度学习模型训练。应用于脑电信号分类的深度网络包括卷积神经网络(convolutional neural network，CNN) 、循环神经网络( recurrent neural network，RNN) 、深度信念网络( deep belief network，DBN) 及其混合网络架构。利用深度学习中的神经网络对个体的脑电信号进行模型训练，对信号进行鲁棒性的自动分类，解决个体差异性问题，针对特定的脑电波形进行模式识别，同时利用神经网络的速度实现端对端应用。
利用眼动追踪技术做目标选择，提取目标方位信息。首先通过佩戴头戴式眼动仪进行眼球视线的捕捉，获取眼部图像，对当前显示屏，如头盔显示屏或者桌面显示屏中出现的目标单位进行视线捕捉。之后对眼部图像进行预处理，提取掩膜特征，建立眼动三维模型，执行任务进行视线跟踪与目标捕捉，根据视线追踪点来确定目标的具体方位，在数据采集平台中实时提供注视点参数坐标信息，完成对意愿判断前的目标锁定。
同步佩戴脑电极帽来对脑电波信号进行采集，结合神经网络模型作为脑电信号特征意识判断方法，通过采集脑电数据对眼动追踪的目标进行意愿判断，针对驾驶过程中的事件记录label并提取相对应的脑电数据，脑电信号输入神经网络的特征可以为原始脑电信号值组成的二维矩阵，也可以为人工二次处理的脑电特征，包括熵、功率谱密度、统计量等一维特征以及经过小波变换的二维特征图。同时本发明设置一个保险功能，例如某指令被执行过程中，存在目标定位误差或意愿延迟误差，可以通过手动方式立刻停止执行该指令，执行撤回流程。
基于上述过程，本发明基于眼动追踪与脑电信号的多任务协同操作方法具有以下特点：
1.满足实时条件下多任务协同进行。当执行某一任务过程中需要手动执行另一任务时，用眼动追踪技术和脑电信号进行操控，结合深度学习的处理效果可以满足实时要求，脑电信号输入网络模型后直接给出分类结果，应用于后续的指令操作执行。
2.克服个体差异性，提升操作方法的适配性与普适性。不同人的信号存在着较大差异，若采取相同的信号处理方法会大大降低处理效率，无法做到操作方法的适用性，本发明方法利用神经网络模型训练可以针对个体进行优化识别，大大提高识别准确率。
3.压缩信号处理时长，提升处理效率。在进行脑电数据识别时，若使用常规的脑电处理方法耗时耗力，流程步骤繁琐，本发明方法结合深度学习的处理效果可以提高其处理效率。
在实施该方法时，首先实现软硬件平台同步，将眼动追踪设备、脑电EGI设备与飞行软件平台Falcon BMS三者进行实时同步；头戴式眼动仪精度≤0.5度, 帧率≥60帧，反应时间≤1帧；脑电设备采样速率≥8KHz，精确度≤ 100 nV/bit，频带宽度：0-2000Hz；由于眼动追踪设备与脑电EGI设备均可以使用Python语言调用，因此使用基于Python语言编程的Psychopy实验平台进行硬件实时同步；使用的飞行驾驶软件平台Falcon BMS自带ACMI数据记录工具，需要按下“F”键进行开始记录。因此在Psychopy平台中设置全键盘按键输入检索监测，当检测到按键“F”输入开启实时硬件采集，实现硬件设备与飞行软件平台Falcon BMS的软硬件同步。
基于上述平台，如图1所示，本发明基于眼动追踪与脑电信号的多任务协同操作方法具体包括深度学习模型训练、多模态实验采集单元以及多任务指令执行单元三个过程：
步骤一、训练深度学习模型；
预先对个体进行脑电信号采集，使用ResNet-18网络预先对驾驶员进行实验数据训练，网络模型会识别特定信号并进行分类。深度学习模型使用ResNet-18，匹配的PythonIDE 编辑器是Pycharm，ResNet-18包含18层网络，网络结构图如图6所示，ResNet是残差网络(Residual Network)的缩写，在统计学中，残差的定义为实际观测值与估计值（拟合值）的差值，这里则是直接的映射F(x)与快捷连接x的差值，残差学习的block由forward CNN和shortcut相结合来实现，流程图如图5所示；
获取的脑电信号特征首先经过7*7的卷积层提取特征，输出channel数为64。随后输入下采样输入Max Pooling进行最大池化层，进行数据降维减小过拟合，同时提高模型容错性；
随后通过四层输出channel数为64，kernel size为3×3的卷积层，padding为3，四层卷积层的步长分别为2，1，1，1，其中步长为2是为了进行下采样；
随后通过四层输出channel数为128，kernel size为3×3的卷积层，padding为3，四层卷积层的步长分别为2，1，1，1；
随后通过四层输出channel数为256，kernel size为3×3的卷积层，padding为3，四层卷积层的步长分别为2，1，1，1；
随后通过四层输出channel数为512，kernel size为3×3的卷积层，padding为3，四层卷积层的步长分别为2，1，1，1；
最后将数据输入Average Pooling平均池化层，降低数据维度，并输送入1000维度的全连接层；
针对深度学习模型所使用的机器学习语言框架不同，可以使用TFlite、TNN或NCNN等部署平台进行安卓端的硬件部署，并在实时采集平台完成数据接口对接，实现与车机安卓操作系统端对端的连接；
步骤二、同时获取脑电数据和眼部数据；
如图2所示，利用眼动追踪技术实时捕捉视线位置，提供位置坐标参数信息，如图3和图4所示，可通过两个不同的场景采集图像；场景一：头盔显示屏1+头戴式眼动仪2+头戴式脑电极帽3，场景二：桌面显示屏4+桌面式眼动仪5+头戴式脑电极帽3；
脑电数据的采集与预处理包括以下过程；
a1）佩戴脑电极帽获取实时脑电数据；
a2）对脑电数据进行定位电极并剔除无用电极，然后进行带通滤波，滤波幅值取0.1Hz至40Hz，随后进行凹陷滤波去除50Hz工频干扰；
a3）随后伪迹检测，对滤波后的脑电数据进行ICA独立成分分析或/和剔除眼动成分处理，以避免脑电活动以外的眨眼，转向等干扰，完成脑电数据的预处理；剔除眼动成分处理包括去除眼动伪迹、眨眼伪迹以及损坏的通道；
a4）对滤波后的数据进行分段，依据事件提取数据片段；
眼部数据的采集与预处理包括以下过程；
b1）佩戴头戴式眼动仪获取眼部图像；
b2）对获取的图像进行预处理，利用阈值滤波运算，区域筛选与圆度计算，提取瞳孔区域与红外光反射点的掩膜特征；
b3）利用红外反射光与瞳孔间校准间的三维关系，建立被试者眼动投射模型，获得注视点参数坐标信息，完成眼动数据的预处理；
步骤三、将步骤二获取的脑电数据片段输入至步骤一训练好的深度学习模型中，得到特征判断结果；
利用脑电信号进行模式特征识别，将事件脑电信号送入部署好的深度学习神经网络模型中进行分类判断，根据获取的脑电数据与事件进行匹配设定label标签，如汽车驾驶过程中的左转右转与前进刹车，飞行驾驶中的发射导弹与雷达锁定等指令操作，生成深度学习预训练模型；
脑电信号输入神经网络的特征可以为原始脑电信号值组成的二维矩阵，也可以为人工二次处理的脑电特征，包括熵、功率谱密度、统计量等一维特征以及经过小波变换的二维特征图；
步骤四、多任务协同操作；
根据步骤二获取的注视点参数坐标信息与步骤三获取的特征判断结果，执行多任务协同操作。当任务执行中眼动追踪捕捉至某一目标，同时大脑采集出特定特征的脑电波信号时，输出分类结果，车机安卓系统将会根据分类结果直接执行相对应的多任务协同操作。眼动与脑电执行任务期间可以随时手动操作撤销，当出现人工撤回操作，则重新返回实时同步采集眼动数据与脑电信号，等待协同执行多任务操作。

Claims (7)

1.一种基于眼动追踪与脑电信号的多任务协同操作方法，其特征在于，包括以下步骤：
步骤一、训练深度学习模型；
采集个体脑电信号，利用深度学习中的神经网络对个体脑电信号进行训练，获取训练后的深度学习模型；
步骤二、同时获取脑电数据和眼部数据；
脑电数据的采集与预处理包括以下过程；
a1）佩戴脑电极帽获取实时脑电数据；
a2）对脑电数据进行定位电极并剔除无用电极，然后进行带通滤波，随后进行凹陷滤波去除50Hz工频干扰；
a3）对滤波后的脑电数据进行分段，依据事件提取脑电数据片段；
眼部数据的采集与预处理包括以下过程；
b1）通过眼动追踪设备进行眼球视线的捕捉，获取眼部图像；
b2）对获取的眼部图像进行预处理，依次通过阈值滤波运算、区域筛选与圆度计算，提取瞳孔区域与红外光反射点的掩膜特征；
b3）利用瞳孔区域与红外光反射点的掩膜特征建立眼动投射模型，完成眼动数据的预处理，获得注视点参数坐标信息；
步骤三、将步骤二获取的脑电数据片段输入至步骤一训练好的深度学习模型中，得到特征判断结果；
步骤四、多任务协同操作；
根据步骤二获取的注视点参数坐标信息与步骤三获取的特征判断结果，执行多任务协同操作。
2.根据权利要求1所述的基于眼动追踪与脑电信号的多任务协同操作方法，其特征在于：步骤a2）和步骤a3）之间，还包括以下过程：对滤波后的脑电数据进行ICA独立成分分析或/和剔除眼动成分处理。
3.根据权利要求2所述的基于眼动追踪与脑电信号的多任务协同操作方法，其特征在于：所述剔除眼动成分处理包括去除眼动伪迹、眨眼伪迹以及损坏的通道。
4.根据权利要求1或2或3所述的基于眼动追踪与脑电信号的多任务协同操作方法，其特征在于：步骤a3）中，脑电数据片段包括原始脑电信号值组成的二维矩阵，或者对脑电数据片段进行人工二次处理后获取的脑电特征，所述脑电特征包括熵、功率谱密度、统计量等一维特征以及经过小波变换的二维特征图。
5.根据权利要求4所述的基于眼动追踪与脑电信号的多任务协同操作方法，其特征在于：步骤a2）中，带通滤波的滤波幅值为0.1Hz至40Hz。
6.根据权利要求5所述的基于眼动追踪与脑电信号的多任务协同操作方法，其特征在于：步骤一中，神经网络为ResNet-18。
7.根据权利要求6所述的基于眼动追踪与脑电信号的多任务协同操作方法，其特征在于：步骤b1)中，所述眼动追踪设备为头戴式眼动仪或桌面式眼动仪。
CN202110755392.2A 2021-07-05 2021-07-05 一种基于眼动追踪与脑电信号的多任务协同操作方法 Pending CN113253850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110755392.2A CN113253850A (zh) 2021-07-05 2021-07-05 一种基于眼动追踪与脑电信号的多任务协同操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110755392.2A CN113253850A (zh) 2021-07-05 2021-07-05 一种基于眼动追踪与脑电信号的多任务协同操作方法

Publications (1)

Publication Number Publication Date
CN113253850A true CN113253850A (zh) 2021-08-13

Family

ID=77190612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110755392.2A Pending CN113253850A (zh) 2021-07-05 2021-07-05 一种基于眼动追踪与脑电信号的多任务协同操作方法

Country Status (1)

Country Link
CN (1) CN113253850A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721514A (zh) * 2022-03-22 2022-07-08 北京理工大学 一种基于脑电信号的几何模型选择意图判别方法及系统
CN115067944A (zh) * 2022-08-22 2022-09-20 深圳市心流科技有限公司 一种眼动状态评估方法、装置、终端设备及存储介质
CN115562490A (zh) * 2022-10-12 2023-01-03 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统
WO2024133441A1 (en) * 2022-12-23 2024-06-27 Braincapture Aps A method for electroencephalogram (eeg) capture and related electronic device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110353672A (zh) * 2019-07-15 2019-10-22 西安邮电大学 一种脑电信号中眼部伪迹去除系统及去除方法
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN112022153A (zh) * 2020-09-27 2020-12-04 西安电子科技大学 基于卷积神经网络的脑电信号检测方法
CN112287872A (zh) * 2020-11-12 2021-01-29 北京建筑大学 基于多任务神经网络的虹膜图像分割、定位和归一化方法
CN112353391A (zh) * 2020-10-22 2021-02-12 武汉理工大学 一种基于脑电信号的汽车车内声音品质识别方法及装置
CN112528819A (zh) * 2020-12-05 2021-03-19 西安电子科技大学 基于卷积神经网络的p300脑电信号分类方法
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN112733797A (zh) * 2021-01-22 2021-04-30 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质
CN112764547A (zh) * 2021-02-07 2021-05-07 中国人民解放军国防科技大学 一种基于脑电和眼动信号的射击控制系统及控制方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN110353672A (zh) * 2019-07-15 2019-10-22 西安邮电大学 一种脑电信号中眼部伪迹去除系统及去除方法
CN112022153A (zh) * 2020-09-27 2020-12-04 西安电子科技大学 基于卷积神经网络的脑电信号检测方法
CN112353391A (zh) * 2020-10-22 2021-02-12 武汉理工大学 一种基于脑电信号的汽车车内声音品质识别方法及装置
CN112287872A (zh) * 2020-11-12 2021-01-29 北京建筑大学 基于多任务神经网络的虹膜图像分割、定位和归一化方法
CN112528819A (zh) * 2020-12-05 2021-03-19 西安电子科技大学 基于卷积神经网络的p300脑电信号分类方法
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN112733797A (zh) * 2021-01-22 2021-04-30 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质
CN112764547A (zh) * 2021-02-07 2021-05-07 中国人民解放军国防科技大学 一种基于脑电和眼动信号的射击控制系统及控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721514A (zh) * 2022-03-22 2022-07-08 北京理工大学 一种基于脑电信号的几何模型选择意图判别方法及系统
CN115067944A (zh) * 2022-08-22 2022-09-20 深圳市心流科技有限公司 一种眼动状态评估方法、装置、终端设备及存储介质
CN115067944B (zh) * 2022-08-22 2022-11-11 深圳市心流科技有限公司 一种眼动状态评估方法、装置、终端设备及存储介质
CN115562490A (zh) * 2022-10-12 2023-01-03 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统
CN115562490B (zh) * 2022-10-12 2024-01-09 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统
WO2024133441A1 (en) * 2022-12-23 2024-06-27 Braincapture Aps A method for electroencephalogram (eeg) capture and related electronic device

Similar Documents

Publication Publication Date Title
CN113253850A (zh) 一种基于眼动追踪与脑电信号的多任务协同操作方法
CN111523601B (zh) 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN105739705A (zh) 一种车载系统人眼控制方法及装置
WO2021016873A1 (zh) 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质
CN101950355A (zh) 基于数字视频的驾驶员疲劳状态检测方法
CN108693973A (zh) 一种融合脑电信号和环境信息的紧急状况检测系统
CN104224204A (zh) 一种基于红外检测技术的驾驶员疲劳检测系统
Tang et al. Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance
CN108920699B (zh) 一种基于N2pc的目标识别反馈系统及方法
CN113082448A (zh) 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
CN110825216A (zh) 一种驾驶员驾驶时人机交互的方法和系统
CN116226715A (zh) 一种基于多模态特征融合的作业人员在线多态识别系统
Liu et al. 3DCNN-based real-time driver fatigue behavior detection in urban rail transit
CN117523537A (zh) 一种车辆驾驶危险程度动态判断方法
CN107480635A (zh) 一种基于双模态分类模型融合的扫视信号识别方法及系统
CN117409396A (zh) 一种多模态情绪识别方法、系统、设备及介质
CN109830238B (zh) 塔台管制员工作状态的检测方法、装置及系统
CN114663796A (zh) 一种目标人物持续跟踪方法、装置及系统
CN115509355A (zh) 一种整合视觉下的mi-bci交互控制系统及方法
CN112936259A (zh) 一种适用于水下机器人的人机协作方法
Hernández et al. Vision-Based distraction analysis tested on a realistic driving simulator
CN116311181B (zh) 一种异常驾驶的快速检测方法及系统
Ishak et al. Day Driving and Night Driving Behavior Detection Using Deep Learning Models
Yang et al. Quadcopter Control via Onset Eye Blink Signals: A BCI Study
CN114327046B (zh) 一种多模态人机交互与状态智能预警的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication