CN112764547A - 一种基于脑电和眼动信号的射击控制系统及控制方法 - Google Patents

一种基于脑电和眼动信号的射击控制系统及控制方法 Download PDF

Info

Publication number
CN112764547A
CN112764547A CN202110168442.7A CN202110168442A CN112764547A CN 112764547 A CN112764547 A CN 112764547A CN 202110168442 A CN202110168442 A CN 202110168442A CN 112764547 A CN112764547 A CN 112764547A
Authority
CN
China
Prior art keywords
eye movement
operator
signals
electroencephalogram
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110168442.7A
Other languages
English (en)
Other versions
CN112764547B (zh
Inventor
于扬
刘阳
郭鸿武
胡德文
沈辉
杨东旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110168442.7A priority Critical patent/CN112764547B/zh
Publication of CN112764547A publication Critical patent/CN112764547A/zh
Application granted granted Critical
Publication of CN112764547B publication Critical patent/CN112764547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于脑电和眼动信号的射击控制系统及控制方法，包括显示屏、眼动信号提取装置、脑电信号提取装置和处理器，所述显示屏与处理器相连，用于显示运动目标、瞄准框、武器发射情况和射击结果；眼动信号提取装置与处理器相连，用于提取操作人员的眼动信号，送至处理器，使瞄准框依据眼动信号产生相应移动；脑电信号提取装置与处理器相连，用于提取操作人员的脑电信号，并将脑电信号送至处理器；处理器识别并处理采集到的眼动信号和脑电信号，并产生瞄准框移动和发射信号。本发明采用眼动信号检测技术和脑机接口技术与传统的操作相结合，增加了人作为控制信号信源的输出通道，更高效地完成人机协同动态目标瞄准、跟踪和打击任务。

Description

一种基于脑电和眼动信号的射击控制系统及控制方法
技术领域
本发明属于脑电控制技术领域，具体涉及一种基于脑电和眼动信号的射击控制系统及控制方法，用于人机协同的目标瞄准、跟踪和打击。
背景技术
在现有武器系统的控制回路中，对武器进行的操控几乎都依赖于人用双手或双脚，通过点触按键或操作操纵杆(方向盘、摇把等)的方式来输出控制信号。从系统的角度来看，人只有两只手，两只脚——作为控制信号源，人的信号输出通道是有限的。
而现代战争具有以下两个特点，一是交战过程中，大量的信息以猝发的形式出现；二是武器系统功能越来越强大、操作复杂度也越来越高杂，许多战斗场景下，武器操作人员需要在极短的时间内正确地完成多项操作。且操作平台的按钮往往排列紧密，容易造成误触，也给按键选择带来困难。有的按键距离身体较远，需要操作人员身体前倾、伸手才能按到……随着武器系统的复杂度不断提高，需要进行控制的项目也不断增加。
为了解决这种困难，目前主要采用“增添武器功能——强化人员训练”的方式来提高操作效率,但这种方式对操作人员的训练水平提出了越来越高的要求，已经出现了“边际效用递减”的现象。
发明内容
鉴于此，本发明的目的在于避免现有技术中的不足而提供一种基于脑电和眼动信号的射击控制系统及控制方法，其采用眼动信号检测技术和脑机接口技术与传统的操作相结合，增加了人作为控制信号信源的输出通道，更高效地完成人机协同动态目标瞄准、跟踪和打击任务，提高人机交互能力。
本发明的目的之一通过以下技术方案实现：提供一种基于脑电和眼动信号的射击控制系统，包括显示屏、眼动信号提取装置、脑电信号提取装置和处理器，其中：
所述显示屏与处理器相连，用于显示运动目标、瞄准框、武器发射情况和射击结果；
所述眼动信号提取装置与处理器相连，用于提取操作人员的眼动信号，送至处理器，使瞄准框依据眼动信号产生相应移动；
所述脑电信号提取装置与处理器相连，用于提取操作人员的脑电信号，并将脑电信号送至处理器；
所述处理器识别并处理采集到的眼动信号和脑电信号，并产生瞄准框移动和发射信号。
作为进一步的改进，所述脑电信号提取装置通过基于稳态视觉诱发电位的脑机接口技术采集操作人员的脑电信号。
作为进一步的改进，所述眼动信号提取装置为眼动仪，所述眼动仪通过摄入从人眼角膜和瞳孔反射的红外线连续地记录眼动信号，并从中提取操作人员注视点，注视时间、瞳孔大小的数据，记录、分析并跟踪操作人员的视线。
作为进一步的改进，所述基于脑电和眼动信号的射击控制系统还包括信号放大模块及与其串联的滤波模块，所述信号放大模块与脑电信号提取装置相连，所述滤波模块与处理器相连。
本发明的目的之二通过以下技术方案实现：提供一种基于脑电和眼动信号的射击控制方法，采用其上任一项所述的基于脑电和眼动信号的射击控制系统进行射击控制，包括以下步骤：
S100、开启基于脑电和眼动信号的射击控制系统，操作人员坐于显示屏的屏幕前，眼动信号提取装置进行标定；
S200、基于脑电和眼动信号的射击控制系统进入工作状态后，显示屏的窗口出现用于模拟打击目标的动态移动的图标，通过YOLO算法自动框选出打击目标作为瞄准框，且眼动信号提取装置追踪眼动信号，并以小圆圈的形式展现在显示屏上；
S300、操作人员注视打击目标，瞄准框颜色发生改变，并出现代表发射与取消的两个按键，两个按键以不同的频率闪烁；
S400、操作人员注视其中之一按键，其大脑产生与该按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，以判断是否完成射击操作；
S500、武器发射情况和射击结果在显示屏上呈现出来。
作为进一步的改进，所述步骤S200具体分为以下过程：
S201、基于脑电和眼动信号的射击控制系统进入工作状态后，显示屏的窗口出现动态移动的图标，以模拟打击目标；
S202、处理器对显示屏的窗口显示的视频进行采样，再将采样得到的图片用YOLO算法进行检测，快速地将窗口上的打击目标作为瞄准框自动地框选出来，不断更新框选结果；
S203、操作人员观察显示屏，此时眼动信号提取装置通过摄入从人眼角膜和瞳孔反射的红外线连续地记录眼动信号，并从中提取操作人员注视点，注视时间和瞳孔大小数据，记录、分析并跟踪操作人员的视线；
S204、处理器将获得的眼动信号进行加工，并将注视点以小圆圈的形式呈现在显示屏上，实现对操作人员注视位置的追踪。
作为进一步的改进，所述步骤S300具体表现为：操作人员注视打击目标，当代表操作人员注视点的小圆圈在代表某个打击目标的瞄准框内停留第一预设时间之后，该瞄准框颜色发生改变，同时屏幕上出现代表发射与取消的两个按键，两个按键分别以不同的频率的频率闪烁。
作为进一步的改进，所述第一预设时间为1.75s，代表发射的按键以8.18Hz的频率闪烁，代表取消的按键以14.99Hz的频率闪烁。
作为进一步的改进，所述步骤S400具体表现为：当操作人员注视代表发射的按键时，其大脑产生与发射按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，完成射击操作；当操作人员注视代表取消的按键时，其大脑产生与取消按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，不完成射击操作。
作为进一步的改进，步骤S400中通过基于稳态视觉诱发电位的脑机接口技术采集操作人员的脑电信号
本发明通过眼动信号提取装置提取操作人员的眼动信号，并将眼动信号送至处理器，通过脑电信号提取装置提取操作人员的脑电信号，并将脑电信号送至处理器，处理器识别并处理采集到的眼动信号和脑电信号，并产生瞄准框移动和发射信号,完成发射任务，其中，处理器通过YOLO算法自动框选出打击目标作为瞄准框，且眼动信号提取装置追踪眼动信号，并以小圆圈的形式展现在显示屏上，操作人员注视打击目标，瞄准框颜色发生改变，并出现代表发射与取消的两个按键，两个按键以不同的频率闪烁，操作人员注视其中之一按键，其大脑产生与该按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，以判断是否完成射击操作，武器发射情况和射击结果最终在显示屏上呈现出来。本发明增加了人作为控制信号信源的输出通道，可更高效地完成人机协同动态目标瞄准、跟踪和打击任务，并可以结合模拟平台，对此操作进行演示。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是一种基于脑电和眼动信号的射击控制系统一实施例的原理结构示意图。
图2是一种基于脑电和眼动信号的射击控制系统另一实施例的原理结构示意图。
图3是一种基于脑电和眼动信号的射击控制方法的流程图。
图4是图3中步骤S200的具体流程图。
图5是显示屏中呈现的代表动态移动打击目标的瞄准框、代表眼动信号的小圆圈以及代表发射和取消按键的示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
如图1和图2所示，本发明实施例提供的基于脑电和眼动信号的射击控制系统包括显示屏、眼动信号提取装置、脑电信号提取装置和处理器，优选地，眼动信号提取装置为眼动仪，脑电信号提取装置为脑电电极帽，该脑电电极帽佩戴于操作人员的头部，具体地，显示屏与处理器相连，用于显示运动目标、瞄准框、武器发射情况和射击结果；眼动信号提取装置与处理器相连，用于提取操作人员的眼动信号，送至处理器，使瞄准框依据眼动信号产生相应移动；脑电信号提取装置与处理器相连，用于提取操作人员的脑电信号，并将脑电信号送至处理器；处理器识别并处理采集到的眼动信号和脑电信号，并产生瞄准框移动和发射信号，最终完成射击操作。需要说明的是，上述脑电信号提取装置优选通过基于稳态视觉诱发电位(SSVEP，Steady-State Visual Evoked Potentials)的脑机接口技术采集操作人员的脑电信号，即通过放置在操作人员头部的脑电电极帽的电极，可以收集到相应的SSVEP信号。
在进一步地技术方案中，前述眼动仪通过摄入从人眼角膜和瞳孔反射的红外线连续地记录眼动信号，并从中提取操作人员注视点，注视时间、瞳孔大小的数据，记录、分析并跟踪操作人员的视线，处理器将获得的眼动信号进行加工，并将注视点以小圆圈的形式表现在显示屏上，实现对操作人员注视位置的追踪。
同时，在图2所示的实施例中，本发明一种基于脑电和眼动信号的射击控制系统还包括依次串联设置的信号放大模块和滤波模块，信号放大模块的输入端与与脑电信号提取装置相连，其输出端与滤波模块的输入端相连，滤波模块的输出端与处理器相连，通过该设置可以适当地过滤杂波，增强提取的脑电信号强度。
另一方面，如图3所示，本发明还提供了一种基于脑电和眼动信号的射击控制方法，采用其上所述的基于脑电和眼动信号的射击控制系统进行射击控制，包括以下步骤：
S100、开启基于脑电和眼动信号的射击控制系统，操作人员坐于显示屏的屏幕前，眼动信号提取装置进行标定；
S200、基于脑电和眼动信号的射击控制系统进入工作状态后，显示屏的窗口出现用于模拟打击目标的动态移动的图标，通过YOLO算法自动框选出打击目标作为瞄准框，且眼动信号提取装置追踪眼动信号，并以小圆圈的形式展现在显示屏上，优选地，如图4所示，该步骤具体表现为：
S201、基于脑电和眼动信号的射击控制系统进入工作状态后，显示屏的窗口出现动态移动的图标，以模拟打击目标；
S202、处理器对显示屏的窗口显示的视频进行采样，再将采样得到的图片用YOLO(You Only Look Once，是一种基于深度神经网络的对象识别和定位算法)算法进行检测，快速地将窗口上的打击目标作为瞄准框自动地框选出来，不断更新框选结果；需要说明的是，YOLO算法采用一个单独的CNN(Convolutional Neural Networks，卷积神经网络)模型实现end-to-end(端对端)的目标检测，相比现有技术需要使用数据集对此卷积神经网络进行训练而言，其对硬件要求较低，且可以快速地将窗口上的目标自动地框选出来，系统不断更新框选结果，实现对移动目标的识别与跟踪；
S203、操作人员观察显示屏，此时眼动信号提取装置通过摄入从人眼角膜和瞳孔反射的红外线连续地记录眼动信号，并从中提取操作人员注视点，注视时间和瞳孔大小数据，记录、分析并跟踪操作人员的视线；
S204、处理器将获得的眼动信号进行加工，并将注视点以小圆圈的形式呈现在显示屏上，实现对操作人员注视位置的追踪。
S300、操作人员注视打击目标，瞄准框颜色发生改变，并出现代表发射与取消的两个按键，两个按键以不同的频率闪烁；需要说明的是，该步骤具体表现为：
操作人员注视打击目标，当代表操作人员注视点的小圆圈在代表某个打击目标的瞄准框内停留第一预设时间之后，该瞄准框颜色发生改变，同时屏幕上出现代表发射与取消的两个按键，两个按键分别以不同的频率的频率闪烁。优选地，第一预设时间为1.75s，代表发射的按键以8.18Hz的频率闪烁，代表取消的按键以14.99Hz的频率闪烁，即，当代表操作人员注视点的小圆圈在代表某个目标的瞄准框内停留1.75s之后，此瞄准框将改变颜色，同时屏幕上将出现代表发射和取消的两个按键，两个按键分别以8.18和14.99Hz的频率闪烁，图5即为显示屏中呈现的代表动态移动打击目标的瞄准框、代表眼动信号的小圆圈以及代表发射和取消按键的示意图。
S400、操作人员注视其中之一按键，其大脑产生与该按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，以判断是否完成射击操作，具体地，当操作人员注视代表发射的按键时，其大脑产生与发射按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，完成射击操作；当操作人员注视代表取消的按键时，其大脑产生与取消按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，不完成射击操作。
S500、武器发射情况和射击结果在显示屏上呈现出来。。
作为进一步优选的实施方式，步骤S400中通过基于稳态视觉诱发电位(SSVEP)的脑机接口技术采集操作人员的脑电信号。当操作人员注视某一个特定频率的目标闪烁时，其脑电信号在该频率，及其2、3次谐波处的能量均会有明显的增强
作为进一步优选的实施方式，鉴于不同频率SSVEP特征响应的强度存在一定的差异，这种强度上的差异可能造成选项信号不容易被识别，为了提高对SSVEP信号的识别率，本发明中处理器对采集到的SSVEP信号进行典型相关性分析(canonical correlationanalysis,CCA)，以得到较好的识别效果，具体过程如下：
CCA用于计算刺激频率Xf(t)和多通道脑电信号Ys(t)的相关性系数，其中，刺激频率Xf(t)用方波周期信号的傅里叶分解形式表示：
Figure BDA0002938089080000091
式中，
Figure BDA0002938089080000092
M是谐波数，N为采样点，t是当前时间点，S是采样频率；
CCA的基本原理是求得一组权重向量
Figure BDA0002938089080000093
使x＝wTXf和y＝vTYs的相关性最大，所述相关性最大值的求解公式为：
Figure BDA0002938089080000094
式中，
Figure BDA0002938089080000098
表示x和y的协方差，
Figure BDA00029380890800000910
表示x的方差，
Figure BDA0002938089080000099
表示y的方差。
每个刺激频率相对应的相关性常数表示如下：
Figure BDA0002938089080000095
式中，ρ为相关性常数，f是刺激频率，i是刺激频率的序号。
通过离线数据训练得到刺激开始后不同时间点所对应的平均非目标得分
Figure BDA0002938089080000096
实验过程中，SSVEP特性响应得分可由下列公式计算得到：
Figure BDA0002938089080000097
系统通过最大SSVEP特征得分所对应的按键确定判断操作人员操作意图，并显示武器发射和模拟击中的画面，完成射击操作。
同理，操作人员可以通过注视取消按键参照上述原理完成取消操作，此处不再赘述。
本发明将眼动信号检测技术、脑机接口技术与传统的目标瞄准、跟踪打击操作相结合，通过眼动信号提取装置提取操作人员的眼动信号，并将眼动信号送至处理器，通过脑电信号提取装置提取操作人员的脑电信号，并将脑电信号送至处理器，处理器识别并处理采集到的眼动信号和脑电信号，并产生瞄准框移动和发射信号,完成发射任务，其中，处理器通过YOLO算法自动框选出打击目标作为瞄准框，且眼动信号提取装置追踪眼动信号，并以小圆圈的形式展现在显示屏上，操作人员注视打击目标，瞄准框颜色发生改变，并出现代表发射与取消的两个按键，两个按键以不同的频率闪烁，操作人员注视其中之一按键，其大脑产生与该按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，以判断是否完成射击操作，武器发射情况和射击结果最终在显示屏上呈现出来。本发明增加了人作为控制信号信源的输出通道，可更高效地完成人机协同动态目标瞄准、跟踪和打击任务，并可以结合模拟平台，对此操作进行演示。
所述上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。
总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (10)

1.一种基于脑电和眼动信号的射击控制系统，其特征在于，包括显示屏、眼动信号提取装置、脑电信号提取装置和处理器，其中：
所述显示屏与处理器相连，用于显示运动目标、瞄准框、武器发射情况和射击结果；
所述眼动信号提取装置与处理器相连，用于提取操作人员的眼动信号，送至处理器，使瞄准框依据眼动信号产生相应移动；
所述脑电信号提取装置与处理器相连，用于提取操作人员的脑电信号，并将脑电信号送至处理器；
所述处理器识别并处理采集到的眼动信号和脑电信号，并产生瞄准框移动和发射信号。
2.根据权利要求1所述的基于脑电和眼动信号的射击控制系统，其特征在于，所述脑电信号提取装置通过基于稳态视觉诱发电位的脑机接口技术采集操作人员的脑电信号。
3.根据权利要求1所述的基于脑电和眼动信号的射击控制系统，其特征在于，所述眼动信号提取装置为眼动仪，所述眼动仪通过摄入从人眼角膜和瞳孔反射的红外线连续地记录眼动信号，并从中提取操作人员注视点，注视时间、瞳孔大小的数据，记录、分析并跟踪操作人员的视线。
4.根据权利要求1所述的基于脑电和眼动信号的射击控制系统，其特征在于，所述基于脑电和眼动信号的射击控制系统还包括信号放大模块及与其串联的滤波模块，所述信号放大模块与脑电信号提取装置相连，所述滤波模块与处理器相连。
5.一种基于脑电和眼动信号的射击控制方法，其特征在于，采用权利要求1至4中任一项所述的基于脑电和眼动信号的射击控制系统进行射击控制，包括以下步骤：
S100、开启基于脑电和眼动信号的射击控制系统，操作人员坐于显示屏的屏幕前，眼动信号提取装置进行标定；
S200、基于脑电和眼动信号的射击控制系统进入工作状态后，显示屏的窗口出现用于模拟打击目标的动态移动的图标，通过YOLO算法自动框选出打击目标作为瞄准框，且眼动信号提取装置追踪眼动信号，并以小圆圈的形式展现在显示屏上；
S300、操作人员注视打击目标，瞄准框颜色发生改变，并出现代表发射与取消的两个按键，两个按键以不同的频率闪烁；
S400、操作人员注视其中之一按键，其大脑产生与该按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，以判断是否完成射击操作；
S500、武器发射情况和射击结果在显示屏上呈现出来。
6.根据权利要求5所述的基于脑电和眼动信号的射击控制方法，其特征在于，所述步骤S200具体分为以下过程：
S201、基于脑电和眼动信号的射击控制系统进入工作状态后，显示屏的窗口出现动态移动的图标，以模拟打击目标；
S202、处理器对显示屏的窗口显示的视频进行采样，再将采样得到的图片用YOLO算法进行检测，快速地将窗口上的打击目标作为瞄准框自动地框选出来，不断更新框选结果；
S203、操作人员观察显示屏，此时眼动信号提取装置通过摄入从人眼角膜和瞳孔反射的红外线连续地记录眼动信号，并从中提取操作人员注视点，注视时间和瞳孔大小数据，记录、分析并跟踪操作人员的视线；
S204、处理器将获得的眼动信号进行加工，并将注视点以小圆圈的形式呈现在显示屏上，实现对操作人员注视位置的追踪。
7.根据权利要求6所述的基于脑电和眼动信号的射击控制方法，其特征在于，所述步骤S300具体表现为：操作人员注视打击目标，当代表操作人员注视点的小圆圈在代表某个打击目标的瞄准框内停留第一预设时间之后，该瞄准框颜色发生改变，同时屏幕上出现代表发射与取消的两个按键，两个按键分别以不同的频率的频率闪烁。
8.根据权利要求7所述的基于脑电和眼动信号的射击控制方法，其特征在于，所述第一预设时间为1.75s，代表发射的按键以8.18Hz的频率闪烁，代表取消的按键以14.99Hz的频率闪烁。
9.根据权利要求8所述的基于脑电和眼动信号的射击控制方法，其特征在于，所述步骤S400具体表现为：当操作人员注视代表发射的按键时，其大脑产生与发射按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，完成射击操作；当操作人员注视代表取消的按键时，其大脑产生与取消按键相应频率的脑电信号，经放大滤波后，处理器对该脑电信号进行典型相关性分析，确定操作人员的意图，不完成射击操作。
10.根据权利要求9所述的基于脑电和眼动信号的射击控制方法，其特征在于，步骤S400中通过基于稳态视觉诱发电位的脑机接口技术采集操作人员的脑电信号。
CN202110168442.7A 2021-02-07 2021-02-07 一种基于脑电和眼动信号的射击控制系统及控制方法 Active CN112764547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168442.7A CN112764547B (zh) 2021-02-07 2021-02-07 一种基于脑电和眼动信号的射击控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168442.7A CN112764547B (zh) 2021-02-07 2021-02-07 一种基于脑电和眼动信号的射击控制系统及控制方法

Publications (2)

Publication Number Publication Date
CN112764547A true CN112764547A (zh) 2021-05-07
CN112764547B CN112764547B (zh) 2022-08-16

Family

ID=75705287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168442.7A Active CN112764547B (zh) 2021-02-07 2021-02-07 一种基于脑电和眼动信号的射击控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN112764547B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253850A (zh) * 2021-07-05 2021-08-13 中国科学院西安光学精密机械研究所 一种基于眼动追踪与脑电信号的多任务协同操作方法
CN113377212A (zh) * 2021-08-16 2021-09-10 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航系统及方法
CN114089831A (zh) * 2021-11-17 2022-02-25 杭州电力设备制造有限公司 一种用于箱变内互感器辅助拆装的自动升降装置控制方法
CN114161414A (zh) * 2021-12-03 2022-03-11 中国科学院沈阳自动化研究所 一种基于脑电和视觉的水下机械手控制系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20180321016A1 (en) * 2015-09-30 2018-11-08 Mbda Uk Limited Target designator
CN108829245A (zh) * 2018-05-30 2018-11-16 中国人民解放军军事科学院国防科技创新研究院 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统
CN109582131A (zh) * 2018-10-29 2019-04-05 中国航天员科研训练中心 一种异步混合脑机接口方法及系统
CN111012301A (zh) * 2019-12-19 2020-04-17 北京理工大学 一种头戴式目视精确瞄准系统
CN111158471A (zh) * 2019-12-18 2020-05-15 浙江大学 一种基于眼动和脑机接口技术的人机交互方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20180321016A1 (en) * 2015-09-30 2018-11-08 Mbda Uk Limited Target designator
CN108829245A (zh) * 2018-05-30 2018-11-16 中国人民解放军军事科学院国防科技创新研究院 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统
CN109582131A (zh) * 2018-10-29 2019-04-05 中国航天员科研训练中心 一种异步混合脑机接口方法及系统
CN111158471A (zh) * 2019-12-18 2020-05-15 浙江大学 一种基于眼动和脑机接口技术的人机交互方法
CN111012301A (zh) * 2019-12-19 2020-04-17 北京理工大学 一种头戴式目视精确瞄准系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253850A (zh) * 2021-07-05 2021-08-13 中国科学院西安光学精密机械研究所 一种基于眼动追踪与脑电信号的多任务协同操作方法
CN113377212A (zh) * 2021-08-16 2021-09-10 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航系统及方法
CN113377212B (zh) * 2021-08-16 2021-11-16 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航系统及方法
CN114089831A (zh) * 2021-11-17 2022-02-25 杭州电力设备制造有限公司 一种用于箱变内互感器辅助拆装的自动升降装置控制方法
CN114161414A (zh) * 2021-12-03 2022-03-11 中国科学院沈阳自动化研究所 一种基于脑电和视觉的水下机械手控制系统及方法
CN114161414B (zh) * 2021-12-03 2023-09-19 中国科学院沈阳自动化研究所 一种基于脑电和视觉的水下机械手控制系统及方法

Also Published As

Publication number Publication date
CN112764547B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN112764547B (zh) 一种基于脑电和眼动信号的射击控制系统及控制方法
Zago et al. Visuo-motor coordination and internal models for object interception
CN108829245B (zh) 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统
KR101660157B1 (ko) 시선 추적 기반 재활 시스템
US20090042695A1 (en) Interactive rehabilitation method and system for movement of upper and lower extremities
US20210148675A1 (en) Stress resiliency firearm training system
CN108398049B (zh) 一种联网互战式投影对抗射击训练系统
US9630093B2 (en) Method and system for physiologically modulating videogames and simulations which use gesture and body image sensing control input devices
CN108986884A (zh) 一种平衡康复与认知康复相融合的训练系统和方法
Lin et al. Design of a computer game using an eye-tracking device for eye's activity rehabilitation
CN110134245A (zh) 一种基于eog和姿态传感器的眼控装置以及眼控方法
CN112641610B (zh) 弱视的训练方法、装置及系统
CN113110743A (zh) 一种并行脑眼融合系统和方法
CN109508094B (zh) 一种结合异步眼动开关的视觉诱发脑机接口方法
US20180202775A1 (en) Shooting Game for Multiple Players with Dynamic Shot Position Recognition and Remote Sensors
KR20190045041A (ko) 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
CN112086196A (zh) 多选择性注意力评估与训练的方法及系统
CN106681509A (zh) 界面操作的方法和系统
WO2018140942A1 (en) Biometric control system
CN105056500A (zh) 一种情境模拟训练/游戏系统
CN106708257A (zh) 游戏交互方法与装置
WO2023118987A1 (en) Training system
CN109381843B (zh) 一种健身及助力设备
CN114115313A (zh) 基于脑机接口的无人机控制与广域目标检测系统及方法
US20220223253A1 (en) Function recovery training system, function recovery training device and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant