CN108255293A - 眼动-脑电混合人机接口系统架构 - Google Patents

眼动-脑电混合人机接口系统架构 Download PDF

Info

Publication number
CN108255293A
CN108255293A CN201711292566.6A CN201711292566A CN108255293A CN 108255293 A CN108255293 A CN 108255293A CN 201711292566 A CN201711292566 A CN 201711292566A CN 108255293 A CN108255293 A CN 108255293A
Authority
CN
China
Prior art keywords
eye
man
unit
eeg signals
brain electricity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711292566.6A
Other languages
English (en)
Inventor
谢建春
文鹏程
白林亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautics Computing Technique Research Institute of AVIC
Original Assignee
Xian Aeronautics Computing Technique Research Institute of AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautics Computing Technique Research Institute of AVIC filed Critical Xian Aeronautics Computing Technique Research Institute of AVIC
Priority to CN201711292566.6A priority Critical patent/CN108255293A/zh
Publication of CN108255293A publication Critical patent/CN108255293A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明属于人机交互领域，涉及一种应用在飞机座舱使用环境下的眼动‑脑电混合人机接口系统架构。由3个功能单元组成，眼动‑脑电多模态信号同步采集，2是眼动‑脑电信号在线分析，3是人机协作接口控制模式及应用策略分配；整个系统架构的处理流程是从单元1至单元3，其中单元1负责眼动及脑电信号的采集，即数据获取；单元2负责眼动及脑电信号的数据处理和分析；单元3负责将处理后的数据通过混合人机接口协议转换为飞机控制指令。本发明极大的提升未来飞行器的智能控制水平。

Description

眼动-脑电混合人机接口系统架构
技术领域
本发明属于人机交互领域，涉及一种应用在飞机座舱环境中的脑机-眼动混合人机交互接口系统架构和工作流程。
背景技术
现有的机载人机接口(按键、旋钮、开关、摇杆、触敏控制、语音控制等)在面临未来新一代飞机多任务以及多通道人机交互需求时，存在明显的不足。首先，操控指令形成过程复杂，飞行员的认知决策需要先映射至相应的控制通道和人机界面，才能翻译成可被机载系统接受的操控指令。其次，它们的操控界面繁琐，由于增加了指令转换的中间环节，飞行员需要在不同的操控界面之间来回切换，才能完成某一操控任务。再次，它们的操控反应速度较慢，飞行员操控动作的响应时间一般都在秒级以上。
发明内容
本发明的目的：
本发明提出的眼动-脑电混合人机接口系统架构旨在通过眼动-脑电多模态信号同步采集、眼动-脑电信号在线分析、人机协作接口控制模式及应用策略分配等关键技术，形成可应用于机载座舱环境内的眼动-脑电人机交互接口，提供高效的飞行任务执行能力。
本发明的技术方案：
本发明提出的眼动-脑电混合人机接口系统架构包括3个功能单元，1是眼动-脑电多模态信号同步采集单元，2是眼动-脑电信号在线分析单元，3是人机协作接口控制模式及应用策略分配单元；整个系统架构的处理流程是从单元1至单元3，其中单元1负责眼动及脑电信号的采集，即数据获取；单元2负责眼动及脑电信号的数据处理和分析；单元3负责将处理后的数据通过混合人机接口协议转换为飞机控制指令。
所述混合人机接口协议包括眼动以及脑电信号的组合指令集，飞行员常用操纵方式以及指令的编码库，指令集与编码库之间的映射关系。
所述功能单元1眼动-脑电多模态信号同步采集过程主要涉及如何利用高精度时钟同步眼动、脑电信号的采集和修正，从而实现数据同步的高精度；
所述功能单元2眼动-脑电信号在线分析包括眼动、脑电信号的预处理以及相关信号分析过程，具体包括带通滤波、低通滤波、典型相关分析(CCA)、支撑向量机(SVM)等信号处理方法；
所述功能单元3人机协作接口控制模式及应用策略分配包括人机协作策略、任务规划与协调控制等过程，用于保证眼动、脑电信号能够更加高效的映射成飞行员的控制指令。
本发明具有的优点效果：
本发明提出的眼动-脑电混合人机接口系统架构旨在通过眼动-脑电多模态信号同步采集、眼动-脑电信号在线分析、人机协作接口控制模式及应用策略分配等关键技术，形成可应用于机载座舱环境内的眼动-脑电人机交互接口。该接口可以弥补传统座舱与飞行员人机接口的不足，同时在人类智能与机器智能融合的发展趋势下，将脑机接口的决策输出与新一代飞机的自主决策输出进行融合，依据当前脑机接口的输出和飞机所处的状态，来决定最终的控制指令。这也能够极大的提升未来飞行器的智能控制水平。
附图说明
图1眼动-脑电混合人机接口系统架构示意图。
具体实施方式
本发明提出的混合脑机接口，其不仅需要采集脑电信号，还需要采集眼动信号。通过脑电和眼动的结合，弥补单一脑机接口信息输出不足的缺陷，提高脑电控制意图的识别率。同时，为降低飞行员的脑力负荷，系统设计时，脑机交互任务应尽可能简单，类别应尽可能少，且无需时刻关注控制对象的控制细节。
在具体实施时，首先通过眼动仪采集得到的原始眼动数据，经分析后得到眼睛视觉关注信息，然后通过布置于人头皮上的电极采集得到的原始脑电数据，经解码后归类为特定的脑电信号特征，再由混合脑机接口协议映射为特定的指令信息(如飞机平台选择指令、飞机运动控制指令等)，按照人机协作策略生成操控指令。混合脑机接口中的信息生成与眼动、脑电的解码需遵从严格的时序，受预先设定的时钟进行控制。

Claims (3)

1.眼动-脑电混合人机接口系统架构，其特征在于：该架构由功能单元1：眼动-脑电多模态信号同步采集单元、功能单元2：眼动-脑电信号在线分析单元、功能单元3：人机协作接口控制模式及应用策略分配单元组成，整个系统架构的处理流程是从眼动-脑电多模态信号同步采集单元至人机协作接口控制模式及应用策略分配单元，其中眼动-脑电多模态信号同步采集单元负责眼动及脑电信号的采集，即数据获取；眼动-脑电信号在线分析单元负责眼动及脑电信号的数据处理和分析；人机协作接口控制模式及应用策略分配单元负责将处理后的数据通过混合人机接口协议转换为飞机控制指令。
2.根据权利要求1所述的眼动-脑电混合人机接口系统架构，其特征在于：所述混合人机接口协议包括眼动以及脑电信号的组合指令集，飞行员常用操纵方式以及指令的编码库，指令集与编码库之间的映射关系。
3.根据权利要求1所述的眼动-脑电混合人机接口系统架构，其特征在于：所述功能单元1眼动-脑电多模态信号同步采集过程主要涉及如何利用高精度时钟同步眼动、脑电信号的采集和修正，从而实现数据同步的高精度；
所述功能单元2眼动-脑电信号在线分析包括眼动、脑电信号的预处理以及相关信号分析过程，具体包括带通滤波、低通滤波、典型相关分析(CCA)、支撑向量机(SVM)等信号处理方法；
所述功能单元3人机协作接口控制模式及应用策略分配包括人机协作策略、任务规划与协调控制等过程，用于保证眼动、脑电信号能够更加高效的映射成飞行员的控制指令。
CN201711292566.6A 2017-12-07 2017-12-07 眼动-脑电混合人机接口系统架构 Pending CN108255293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711292566.6A CN108255293A (zh) 2017-12-07 2017-12-07 眼动-脑电混合人机接口系统架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711292566.6A CN108255293A (zh) 2017-12-07 2017-12-07 眼动-脑电混合人机接口系统架构

Publications (1)

Publication Number Publication Date
CN108255293A true CN108255293A (zh) 2018-07-06

Family

ID=62722431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711292566.6A Pending CN108255293A (zh) 2017-12-07 2017-12-07 眼动-脑电混合人机接口系统架构

Country Status (1)

Country Link
CN (1) CN108255293A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634407A (zh) * 2018-11-08 2019-04-16 中国运载火箭技术研究院 一种基于多模人机传感信息同步采集与融合的控制方法
CN109710063A (zh) * 2018-12-11 2019-05-03 中国航空工业集团公司西安航空计算技术研究所 一种智能化作战的多模态人机智能交互框架、方法和装置
CN109933272A (zh) * 2019-01-31 2019-06-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态深度融合机载座舱人机交互方法
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN111158471A (zh) * 2019-12-18 2020-05-15 浙江大学 一种基于眼动和脑机接口技术的人机交互方法
CN112990074A (zh) * 2021-03-31 2021-06-18 北京理工大学 基于vr的多场景自主式控制的混合脑机接口在线系统
CN114527867A (zh) * 2021-11-18 2022-05-24 中国航空工业集团公司沈阳飞机设计研究所 一种融合眼位信息的无人机脑机辅助控制方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338265A (zh) * 2013-07-10 2013-10-02 安徽大学 一种结合脑电和眼电的信息交互系统及信息交互方法
CN103340637A (zh) * 2013-06-06 2013-10-09 同济大学 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法
CN104216515A (zh) * 2014-07-25 2014-12-17 北京机械设备研究所 一种基于脑机接口的载人飞船非接触式操控方法
CN104461007A (zh) * 2014-12-19 2015-03-25 北京理工大学 一种基于脑电信号的驾驶员辅助人车交互系统
CN106940593A (zh) * 2017-02-20 2017-07-11 上海大学 基于VC++和Matlab混合编程的Emotiv脑控无人机系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103340637A (zh) * 2013-06-06 2013-10-09 同济大学 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法
CN103338265A (zh) * 2013-07-10 2013-10-02 安徽大学 一种结合脑电和眼电的信息交互系统及信息交互方法
CN104216515A (zh) * 2014-07-25 2014-12-17 北京机械设备研究所 一种基于脑机接口的载人飞船非接触式操控方法
CN104461007A (zh) * 2014-12-19 2015-03-25 北京理工大学 一种基于脑电信号的驾驶员辅助人车交互系统
CN106940593A (zh) * 2017-02-20 2017-07-11 上海大学 基于VC++和Matlab混合编程的Emotiv脑控无人机系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634407A (zh) * 2018-11-08 2019-04-16 中国运载火箭技术研究院 一种基于多模人机传感信息同步采集与融合的控制方法
CN109634407B (zh) * 2018-11-08 2022-03-04 中国运载火箭技术研究院 一种基于多模人机传感信息同步采集与融合的控制方法
CN109710063A (zh) * 2018-12-11 2019-05-03 中国航空工业集团公司西安航空计算技术研究所 一种智能化作战的多模态人机智能交互框架、方法和装置
CN109933272A (zh) * 2019-01-31 2019-06-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态深度融合机载座舱人机交互方法
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN111158471A (zh) * 2019-12-18 2020-05-15 浙江大学 一种基于眼动和脑机接口技术的人机交互方法
CN112990074A (zh) * 2021-03-31 2021-06-18 北京理工大学 基于vr的多场景自主式控制的混合脑机接口在线系统
CN114527867A (zh) * 2021-11-18 2022-05-24 中国航空工业集团公司沈阳飞机设计研究所 一种融合眼位信息的无人机脑机辅助控制方法及设备

Similar Documents

Publication Publication Date Title
CN108255293A (zh) 眼动-脑电混合人机接口系统架构
CN104407694A (zh) 一种结合人脸和手势控制的人机交互方法及装置
CN109933272A (zh) 多模态深度融合机载座舱人机交互方法
CN108766434B (zh) 一种手语识别翻译系统及方法
CN112990074A (zh) 基于vr的多场景自主式控制的混合脑机接口在线系统
CN104460967A (zh) 一种人体上肢骨骼手势识别方法
CN108227926B (zh) 一种面向多通道协同智能交互的智能通道切换系统及方法
CN115858080A (zh) 用于设计人机交互界面的方法、装置、设备及存储介质
CN205068294U (zh) 机器人人机交互装置
CN104615044B (zh) 一种基于任务时序反馈机制的指控舱席位划分实验方法
CN110033764A (zh) 无人机的语音控制方法、装置、系统及可读存储介质
CN107330045A (zh) 机票预订平台的大数据可视化分析方法及系统
CN111487988A (zh) 基于稳态视觉诱发电位脑-机接口的脑控无人机方法
Jie et al. Design of multi-mode UAV human-computer interaction system
CN108958620A (zh) 一种基于前臂表面肌电的虚拟键盘设计方法
Castillo et al. The aircraft of the future: towards the tangible cockpit
CN111091838A (zh) 一种面向飞行器控制的开放式语音交互平台
Becquet et al. How do Gestures Matter for Mutual Awareness in Cockpits? Disclosing Interactions through Graphical Representations
CN113625769A (zh) 一种基于脑电信号的无人机编队多模态控制系统
Huttner et al. Current challenges in mission planning systems for UAVs: A systematic review
CN106933122A (zh) 列车显示器智能交互方法及系统
Jebali et al. Extension of hidden markov model for recognizing large vocabulary of sign language
CN115509355A (zh) 一种整合视觉下的mi-bci交互控制系统及方法
CN115167674A (zh) 基于数字人多模态交互信息标准的智能交互方法
Dru-Drury et al. Cognitive cockpit systems: voice for cognitive control of tasking automation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180706