CN112114662A - 一种现实增强的自适应动态多场景诱发脑控方法 - Google Patents

一种现实增强的自适应动态多场景诱发脑控方法 Download PDF

Info

Publication number
CN112114662A
CN112114662A CN202010769302.0A CN202010769302A CN112114662A CN 112114662 A CN112114662 A CN 112114662A CN 202010769302 A CN202010769302 A CN 202010769302A CN 112114662 A CN112114662 A CN 112114662A
Authority
CN
China
Prior art keywords
evoked
control
user
reality
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010769302.0A
Other languages
English (en)
Inventor
张小栋
蒋永玉
陆竹风
王雅纯
张腾
朱文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010769302.0A priority Critical patent/CN112114662A/zh
Publication of CN112114662A publication Critical patent/CN112114662A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种现实增强的自适应动态多场景诱发脑控方法，结合增强现实技术将动态诱发闪烁信号与环境信息进行融合增强，可在保证兼顾注视控制目标的情况下向视觉神经发送动态诱发信号，以实现用户的决断与实时控制；采用叠加平均和基于个人特征修正的相关分析对诱发脑电信号进行识别，有效提高控制指令的识别准确率，以及应对个体差异的鲁棒性。本发明利用现实增强克服了传统SSVEP脑控机制中用户对闪烁图像与控制对象的注视不能兼顾的缺点，具有多应用场景的应用价值，以及专注性强、指令实时性强、人机交互体验好、控制精度好等优点，可广泛应用于各类基于稳态视觉诱发的脑‑机接口系统中。

Description

一种现实增强的自适应动态多场景诱发脑控方法
技术领域
本发明涉及脑-机接口技术领域，具体涉及一种现实增强的自适应动态多场景诱发脑控方法。
背景技术
脑-机接口技术(Brain Computer Interface,BCI)指绕开周围神经以及肌肉对肢体的直接作用，在人脑与外部设备之间构建信息通路，依靠脑活动与外界进行信息交互；对于肢体残疾等运动功能障碍人群，脑控假肢可以代替人进行日常活动所必需的动作，也可以帮助病人实现术后康复；随着科学进步以及研究的逐步深入，多种包含重要特征的脑电信号类型以及其相应的感知识别范式与方法得到广泛应用。
稳态视觉诱发电位(steady state visual evoked potential,SSVEP)指当视觉神经受到固定频率的视觉刺激的时候，人脑视觉皮层会产生连续的与刺激频率有关的响应，体现在频谱上为明显的峰值特征；通过检测由特定头皮区域采集的脑电信号中的相关特征，可以特异性的识别视觉信息类型；目前对SSVEP的研究存在着实质突破难度高、实际应用能力差、与先进技术结合程度低等问题。
SSVEP作为依靠视觉输入的脑-机接口策略，用户专注是在执行操控时的基本要求，即用户需要持续注视闪烁画面以实现视觉信息输入，从而无法注视控制对象的情况。例如通过稳态视觉诱发脑-机接口系统控制仿生假手实现物体抓取，用户目光必然集中于屏幕的特定频率的闪烁区域，从而无法同时兼顾抓取动作实况；持续专注于闪烁区域也导致基于SSVEP的稳态视觉诱发脑-机接口系统控制会给控制对象(例如，脑控轮椅)在执行操控时带来相应的安全问题。因此，此类控制策略必然有控制场景单一、专注性差、指令实时性弱、人机交互体验差、控制精度低等缺点。
增强现实技术是一种将真实世界信息和虚拟信息“无缝”集成的新技术，通过光学技术(光波导)将虚拟图像与真实的环境实时地叠加，使得人眼不仅获取实时的环境信息，同时沉浸式的获取计算机合成的虚拟画面；中国专利201910416699.2、中国专利201711166187.2等均公开了结合增强现实技术的稳态视觉诱发脑控方法；但涉及的脑控方法控制对象相对单一，未涉及用户专注问题，且脑控范式应用场景固定(军事与工业情景)，未讨论针对残疾人的日常复杂情景，对于残疾人群日常应用场景并不友好；未能考虑日常生活情境下的控制对象(场景)识别与智能切换需求，控制对象单一且灵活性差；另外在增强现实的稳态视觉诱发脑控场景下，未考虑复杂环境信息对稳态视觉诱发刺激与识别的干扰问题。
目前，亟待提出一种适用范围广泛、控制专注性强、具有多场景应用价值的稳态视觉诱发脑控方法。
发明内容
为解决现有技术的不足，本发明提出了一种现实增强的自适应动态多场景诱发脑控方法。
为达到上述目的，本发明采用了以下技术方案：
一种现实增强的自适应动态多场景诱发脑控方法，该脑控方法包括以下步骤：
步骤1：在用户注视融合有某控制对象的诱发图像刺激界面过程中，采集该用户视觉枕叶区脑电信号；
步骤2：通过对采集的脑电信号进行视觉诱发信号特征提取及基于用户个人特征修正的相关分析，识别用户通过注视诱发图像刺激界面上的特定诱发控制动态图像而意图发出的控制指令。
优选的，所述步骤1中，诱发图像刺激界面是将可针对控制对象预设的用于动态诱发识别相应控制指令的诱发控制动态图像与含有控制对象的环境信息共同作为用户视觉输入的增强现实界面；诱发控制动态图像由控制对象依据控制指令而做出的动作的分帧动作画面依次翻转显示而形成。
优选的，所述诱发图像刺激界面是根据采集的当前场景的环境信息并经过控制对象识别和锁定后而相应进行切换的，或者，所述诱发图像刺激界面由用户指定。
优选的，所述步骤2中，视觉诱发信号特征提取具体包括以下步骤：对采集的脑电信号按照时窗长度为1.0～2.0s、时窗重叠为0.3～0.8s进行连续时窗截取，以兼顾识别精度与实时性，对截取得到的时窗信号按照5Hz至45Hz频率范围进行巴特沃斯带通滤波，然后将时窗信号按照脑电信号采集通道进行叠加平均处理；然后选取2～4个连续时窗信号作为单次控制指令识别的输入信号，以提高输入特征的稳定性，避免偶然误差。
优选的，所述步骤2中，基于用户个人特征修正的相关分析具体包括以下步骤：将采集的脑电信号经特征提取后与诱发图像刺激界面各诱发控制动态图像所对应的基频、倍频的正弦信号和余弦信号以及用户稳态视觉诱发典型特征信号分别进行典型相关分析并计算典型相关系数，根据计算的典型相关系数值中的最大值所对应的诱发控制动态图像识别并确定用户通过注视诱发图像刺激界面而意图发出的控制指令。
优选的，所述典型特征信号是利用脑电信号特征分组训练对预先采集并经过特征提取的用户脑电信号进行主成分分析而得到的。
优选的，所述脑控方法还包括以下步骤：控制对象根据控制指令识别结果执行相对应的动作；动作过程作为环境信息与诱发图像刺激界面一并反馈给用户。
一种现实增强的自适应动态多场景诱发脑控系统，该脑控系统包括脑电信号采集设备、可融合控制对象的诱发图像刺激界面以及基于视觉诱发信号特征提取和修正的特征辨识感知模块；
所述脑电信号采集设备用于实时采集用户注视诱发图像刺激界面时的视觉枕叶区脑电信号；
所述诱发图像刺激界面是以诱发控制动态图像以及含有控制对象的环境信息共同作为用户视觉输入的增强现实界面；
所述特征辨识感知模块用于对采集的脑电信号进行视觉诱发信号特征提取及基于用户个人特征修正的相关分析，从而识别用户通过注视诱发图像刺激界面上的特定诱发控制动态图像而意图发出的控制指令。
优选的，所述诱发图像刺激界面还包括控制指令识别反馈单元和控制指令执行反馈背景单元；
所述控制指令识别反馈单元用于将根据所述特征辨识感知模块识别的控制指令以文字形式反馈给用户；
所述控制指令执行反馈背景单元用于在控制对象根据所述特征辨识感知模块的控制指令识别结果执行相对应的动作时进行视觉反馈。
优选的，所述诱发图像刺激界面中，与相应控制对象的不同控制指令分别对应的多个诱发控制动态图像以增强现实界面的中心点为基准中心，分别位于该基准中心外侧不同位置，所述反馈背景单元覆盖全部增强现实界面，以不同显示颜色分别代表指令正在执行与指令等待。
本发明的有益效果体现在：
本发明利用现实增强以及基于个人特征修正的相关分析，解决了传统SSVEP脑控机制中用户对闪烁图像与控制对象的注视不能兼顾的问题，具有多应用场景的应用价值，以及控制专注性强、指令实时性强、人机交互体验好、控制精度高等优点，可广泛应用于各类基于稳态视觉诱发的脑-机接口系统中。
附图说明
图1是本发明实施例中现实增强的自适应动态多场景诱发脑控方法的流程框图。
图2是本发明实施例中诱发脑电采集通道名称与位置示意图。
图3是本发明实施例中由AR眼镜显示的定向诱发图像刺激界面(增强现实界面)示意图。
图4是图3所示定向诱发图像刺激界面在用户在线控制假手动作过程中识别结果的视觉反馈示意图：识别意图为“伸展”并正确执行指令。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述。所述实施例仅用于解释本发明，而非对本发明保护范围的限制。
(一)现实增强的自适应动态多场景诱发脑控策略的应用实例
参见图1，搭建动态多场景诱发脑控系统；该系统包括脑电信号采集设备、根据脑电信号SSVEP特征进行控制意图识别的上位机(例如，PC等计算机)、根据控制意图输出针对控制对象的相应控制指令的下位机(例如，单片机等)以及具有诱发图像刺激界面的AR眼镜，其中，脑电信号采集设备包括脑电信号采集帽(电极排布符合国际10/20标准)和脑电信号放大器(可采用euracle 32通道放大器，设置采样频率为1000Hz)。
参见图2，上述诱发脑控系统需要采集视觉枕叶区脑电信号，可具体选择脑电信号采集帽的PO3、PO4、O1、Oz、O2中的两个以上采集电极作为诱发脑电采集通道(例如，以O1、O2作为默认通道，PO3、PO4、Oz作为备选通道)，并以FPz、CPz为参考电极，保证电极阻抗小于5kΩ。将采集的脑电信号经脑电信号放大器放大后利用无线Wi-fi输入至计算机，生成实时诱发脑电信号流，由计算机对该信号流进行处理，在线识别控制指令。指令识别结果经计算机传输至单片机(单片机不限制种类，Arduino和STM32等均可)，从而使控制对象按照指令动作。
参见图3，对于控制对象位于AR眼镜(用户)视野范围之内的场景，所述AR眼镜将含有控制对象的环境信息与诱发图像刺激界面相融合，并同时作为视觉输入。用户在兼顾注视控制对象的同时可专注于特定控制指令对应的动态诱发闪烁图像。AR眼镜前置摄像头采集当前场景的信息，逐帧以图片的格式上传至计算机，经计算机中的AI场景识别系统(经过训练的人工智能算法)识别并锁定控制对象(例如，识别出的控制对象为二自由度仿生假手，简称仿生假手)。
所述识别并锁定的控制对象需事先训练并录入AI场景识别系统：AI场景识别系统采用深度卷积神经网络模型识别控制对象类型，目标锁定结合采用Opencv与CNN训练，AI场景识别系统可实时增强学习，优化识别性能。
参见图3，诱发图像刺激界面由动态闪烁单元、反馈背景单元和文字反馈单元组成，并作为增强现实界面与上述环境信息共同形成AR眼镜的视觉信息输入(由光波导作为视觉增强机制)。诱发图像刺激界面随所锁定的控制对象而变化，形成针对每一个控制对象的专门动态诱发识别命令界面(可由用户于预设界面自主设计)，即定向诱发刺激界面。控制对象(例如，仿生假手)与定向诱发刺激界面保持重叠(实际发生重叠的对象还包括仿生假手需抓取的物体)；定向诱发刺激界面根据AI场景识别系统识别的控制对象而对应切换，也可由用户指定定向诱发刺激界面。针对不同的控制对象，相应的定向诱发刺激界面在动态闪烁单元显示的动态诱发闪烁图像上相区别。
参见图4，针对仿生假手的定向诱发刺激界面，其动态闪烁单元包括四种以不同频率闪烁的诱发控制动态图像(即四种不同指令的动态诱发闪烁图像)，四种动态诱发闪烁图像以增强现实界面的中心点为对称中心，分别位于中心的上、下、左、右位置，反馈背景单元覆盖全部增强现实界面，以淡绿色与淡蓝色分别代表指令正在执行与指令等待，文字反馈单元位于增强现实界面中动态闪烁单元下方。在用户视野范围内，当AI场景识别系统检测到(识别并锁定)控制对象时，动态闪烁单元开始处于显示状态，反馈背景单元在无控制指令时使界面呈蓝色，在有控制指令时使界面呈绿色，文字反馈单元将在线识别结果反馈给用户。
在AR眼镜的刷新率一般设定值下(例如，60Hz)，针对仿生假手选择四种动态诱发闪烁图像的闪烁频率分别为8Hz、9.2Hz、10.9Hz、12Hz；以上闪烁频率的选择是考虑到用户视觉耐疲劳程度与诱发脑电信号识别性能(准确率与快速性)，较高的闪烁频率(例如，30Hz)会加剧长时间佩戴情况下用户的疲劳程度，一定程度上降低诱发脑电信号的识别性能；而较低的闪烁频率(如4Hz)要求更长时间的采样时窗，会导致诱发脑电信号识别过程的实时性与快速性下降。选择的8Hz、9.2Hz、10.9Hz、12Hz四种闪烁频率具体分别对应增强现实界面中心的上、下、左、右位置处的动态诱发闪烁图像，分别用于系统识别用户通过注视对应位置的动态诱发闪烁图像而意图发出的“握紧”、“伸展”、“内旋”、“外旋”控制指令(即控制意图)。系统可在与其锁定的特定控制对象(仿生假手)对应的定向诱发刺激界面上显示识别的控制指令(“伸展”、“握紧”、“内旋”或“外旋”)。
所述动态闪烁单元的每个动态诱发闪烁图像由十帧画面循环播放而形成，该十帧画面由控制对象动作(例如，仿生假手的伸展、握紧、内旋或外旋)的录制画面分帧截取而成(即十张诱发刺激图片)，采用正弦调制的方式实现各帧画面的依次翻转显示(即通过闪烁形成具有一定诱发频率的刺激源)，第i帧诱发刺激图片的调制函数为：
Figure BDA0002615927590000051
Figure BDA0002615927590000052
其中，Δt为单帧图片闪烁时长(例如，Δt＝0.4s)，总闪烁时长为10Δt，fi为经调制后的第i张诱发刺激图片的灰度值矩阵，Mi为第i张未调制的诱发刺激图片的灰度值矩阵；f为正弦调制频率；n为帧数变量；fs为AR眼镜光波导显示刷新率；N为每次动态诱发闪烁图像闪烁的总帧数(N取10)；
Figure BDA0002615927590000053
为第i张诱发刺激图片调制函数的相位补偿函数。
利用上述诱发脑控系统，本发明提出了基于增强现实与对象专注的自适应动态多场景诱发脑控方法，具体流程如下：
1)调试脑电信号采集设备并测试信号采集效果。
2)用户佩戴脑电信号采集帽(采集用户视觉枕叶区脑电信号，诱发脑电采集通道选择O1和O2)，保持精神集中、坐姿正确；同时，用户正确佩戴AR眼镜。
3)AR眼镜前置摄像头采集当前场景的含有控制对象的环境信息，经计算机AI场景识别系统识别后锁定控制对象。
4)诱发图像刺激界面随锁定的控制对象(例如，仿生假手)而变化，进入定向诱发刺激界面后，用户可以在兼顾注视控制对象的同时专注特定控制指令的动态诱发闪烁图像，此时控制对象与AR眼镜的增强现实界面保持重叠。
5)识别过程为在线过程，识别步骤为同步循环进行，用户注视增强现实界面的空白处即为无指令状态(无控制指令发出)，注视动态诱发闪烁图像，即为有指令状态(例如，控制指令为“伸展”、“握紧”、“内旋”、“外旋”)。系统识别的控制意图包括使控制对象按控制指令进行相应动作以及“无动作”等多种控制模式；识别过程中，脑电信号采集设备实时采集用户注视增强现实界面时的视觉枕叶区脑电信号(对应图2中的O1、O2通道)；采集的信号流上传至计算机，计算机对信号流进行数据预处理与特征辨识感知，以分类信号特征所对应的控制指令，从而根据分类结果辨别用户控制意图。
5.1信号预处理
计算机对输入的脑电数据进行连续时窗截取，其中，基于实验室测定的诱发脑电信号的识别实时性与准确性综合考量，设置时窗长度为1.5s，时窗重叠为0.5s；对截取得到的时窗信号5Hz至45Hz频率范围进行巴特沃斯带通滤波，即保留包括主要视觉诱发信号特征的脑电频带；将经过滤波后的各时窗信号在O1、O2通道进行叠加平均处理以提高信号信噪比，得到对应的平均时窗信号，依次选取3个连续平均时窗信号作为单次识别的输入信号，O1、O2通道的叠加平均处理过程为：
Figure BDA0002615927590000061
其中，PO1,i表示3个连续时窗中第i个时窗的O1通道脑电信号，PO2,i表示3个连续时窗中第i个时窗的O2通道脑电信号，Pi表示经叠加平均的3个连续时窗中第i个时窗的平均脑电信号；
5.2稳态视觉诱发信号典型特征提取与注视目标指令识别
构建稳态视觉诱发信号感知识别模型，此模型旨在与典型相关分析(CanonicalCorrelation Analysis，CCA)算法相配合，对输入信号进行实时特征分类，并解决复杂环境信息对稳态视觉诱发刺激与识别的干扰问题。
5.2.1稳态视觉诱发脑电感知的典型特征提取
在用户正式使用之前(指控制对象无作用对象，例如，仿生假手无待抓取的物体)，采集用户的频闪视觉刺激稳态诱发脑电信号作为训练样本，进行预采集信号特征分组训练；以控制对象为仿真假手为例，训练的具体过程为：分组训练样本具体采用用户在兼顾注视仿生假手同时分别专注与仿生假手重叠的不同动态诱发闪烁图像(即手掌伸展、手掌握紧、手掌内旋、手掌外旋四种)过程中采集到的诱发脑电信号，四种诱发脑电信号各采集5～10组(例如，5组)，每组持续3～5s(例如，4s)；将四组训练样本经过步骤5.1的预处理之后分别进行主成分分析，提取信号中主要成分特征，将累计贡献率大于70％的主成分作为典型特征信号；
5.2.2利用典型相关分析在线识别注视目标指令
由于视觉稳态诱发电位是指当受到一个固定频率的视觉刺激的时，人脑视觉皮层产生的一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应，因此将在线采集并经过预处理的脑电时窗信号(即上述3个连续平均时窗信号)与各闪烁频率(即增强现实界面上的不同动态诱发闪烁图像的闪烁频率)基频、倍频的正弦信号和余弦信号(信号发生器生成，作为模板)进行典型相关分析(计算典型相关系数)；
另外，融合了增强现实的稳态诱发范式必然受到环境信息的干扰，而单纯的闪烁频率基频、倍频的正、余弦信号无法完全代表稳态视觉诱发的典型特征，因此同时使用训练过程所提取的典型特征信号作为模板，与在线采集并经过预处理的脑电时窗信号进行典型相关分析，以达到用户个人特征修正的目的。
根据计算结果，记录针对每一个闪烁频率计算得到的最大典型相关系数的值，将记录的不同闪烁频率(针对仿生假手为4个闪烁频率)对应的最大相关系数值(针对仿生假手为4个最大相关系数值)中的最大值所对应的动态诱发闪烁图像(闪烁频率)作为辨别用户控制意图的依据，即该动态诱发闪烁图像就是用户通过注视而意图发出的控制指令所对应的动态诱发闪烁图像，若各相关系数均小于机会值(输入信号与典型特征信号相关性不大)，则视为无控制指令，机会值取0.25～0.4(例如，取0.4)。
为了保证系统识别的稳定程度，防止出现由于脑电波动所产生的误判断，可设定指令识别有效系数，即取连续多次(例如，3次)控制指令识别结果中超过半数(例如，大于等于2次)的相同控制指令类型作为最终识别的控制指令结果并输入至单片机。
6)单片机接收到控制指令后，经判断语句控制假手执行对应的动作(例如，仿生假手的伸展、握紧、内旋、外旋四种基本动作之一)或无动作；动作过程作为环境信息与增强现实界面一同以视觉信号的方式反馈给用户；与此同时增强现实界面背景颜色变化提示用户控制指令的执行状态(淡绿色为正在执行，淡蓝色为无指令)；在动作执行时，增强现实界面以文字的形式将执行的控制指令反馈给用户。
除多自由度仿生假手外，本实例的诱发脑控系统以及基于增强现实与对象专注的自适应动态多场景诱发脑控方法还可以应用于对其他控制对象，例如，脑控轮椅、机械臂、外骨骼等的控制中。
(二)现实增强的自适应动态多场景诱发脑控策略的应用效果
经验证(用户训练后尝试在线识别)，本发明与传统SSVEP脑控策略(动态诱发闪烁图像未融合于增强现实界面，及未采用基于用户个人特征修正的相关分析信号特征识别模型)比较，用户使用过程中的疲劳程度降低(等时长的脑控任务后期，相比传统策略，脑电信号中与疲劳相关频段含量更低)、控制专注度提高，且相比传统策略完成特定脑控任务的平均时长缩短约40％，不会受到增强现实界面中重叠控制对象的干扰，控制指令平均识别正确率超过98.9％。
总之，本发明结合增强现实技术将动态诱发闪烁信号与环境信息进行融合增强，借助AR眼镜在保证兼顾注视控制目标的情况下向视觉神经发送动态诱发信号，以实现用户的决断与实时控制兼得；利用AI场景识别系统锁定控制对象，自适应地实现多场景控制的自由切换，将控制目标与环境信息伴随动态闪烁单元融合反馈给用户，以减缓视觉疲劳，改善用户实际体验；同时由浅颜色背景提示控制过程状态并通过AR眼镜反馈至用户；采用叠加平均和基于个人特征修正的相关分析对诱发脑电信号进行识别，有效提高控制指令的识别准确率，提高应对个体差异的鲁棒性；本发明利用现实增强克服了传统SSVEP脑控机制中用户对闪烁图像与控制对象的注视不能兼得的缺点，具有多应用场景的应用价值，以及专注性强、指令实时性强、人机交互体验好、控制精度高等优点，可广泛应用于各类基于稳态视觉诱发的脑-机接口系统中。

Claims (10)

1.一种现实增强的自适应动态多场景诱发脑控方法，其特征在于：该脑控方法包括以下步骤：
步骤1：在用户注视融合有某控制对象的诱发图像刺激界面过程中，采集该用户视觉枕叶区脑电信号；
步骤2：通过对采集的脑电信号进行视觉诱发信号特征提取及基于用户个人特征修正的相关分析，识别用户通过注视诱发图像刺激界面上的特定诱发控制动态图像而意图发出的控制指令。
2.根据权利要求1所述一种现实增强的自适应动态多场景诱发脑控方法，其特征在于：所述步骤1中，诱发图像刺激界面是将可针对控制对象预设的用于动态诱发识别相应控制指令的诱发控制动态图像与含有控制对象的环境信息共同作为用户视觉输入的增强现实界面；诱发控制动态图像由控制对象依据控制指令而做出的动作的分帧动作画面依次翻转显示而形成。
3.根据权利要求2所述一种现实增强的自适应动态多场景诱发脑控方法，其特征在于：所述诱发图像刺激界面是根据采集的当前场景的环境信息并经过控制对象识别和锁定后而相应进行切换的，或者，所述诱发图像刺激界面由用户指定。
4.根据权利要求1所述一种现实增强的自适应动态多场景诱发脑控方法，其特征在于：所述步骤2中，视觉诱发信号特征提取具体包括以下步骤：对采集的脑电信号按照时窗长度为1.0～2.0s、时窗重叠为0.3～0.8s进行连续时窗截取，对截取得到的时窗信号按照5Hz至45Hz频率范围进行巴特沃斯带通滤波，然后将时窗信号按照脑电信号采集通道进行叠加平均处理；然后选取2～4个连续时窗信号作为单次控制指令识别的输入信号。
5.根据权利要求4所述一种现实增强的自适应动态多场景诱发脑控方法，其特征在于：所述步骤2中，基于用户个人特征修正的相关分析具体包括以下步骤：将采集的脑电信号经特征提取后与诱发图像刺激界面各诱发控制动态图像所对应的基频、倍频的正弦信号和余弦信号以及用户稳态视觉诱发典型特征信号分别进行典型相关分析并计算典型相关系数，根据计算的典型相关系数值中的最大值所对应的诱发控制动态图像识别并确定用户通过注视诱发图像刺激界面而意图发出的控制指令。
6.根据权利要求5所述一种现实增强的自适应动态多场景诱发脑控方法，其特征在于：所述典型特征信号是利用脑电信号特征分组训练对预先采集并经过特征提取的用户脑电信号进行主成分分析而得到的。
7.根据权利要求1所述一种现实增强的自适应动态多场景诱发脑控方法，其特征在于：所述脑控方法还包括以下步骤：控制对象根据控制指令识别结果执行相对应的动作；动作过程作为环境信息与诱发图像刺激界面一并反馈给用户。
8.一种现实增强的自适应动态多场景诱发脑控系统，其特征在于：该脑控系统包括脑电信号采集设备、可融合控制对象的诱发图像刺激界面以及基于视觉诱发信号特征提取和修正的特征辨识感知模块；
所述脑电信号采集设备用于实时采集用户注视诱发图像刺激界面时的视觉枕叶区脑电信号；
所述诱发图像刺激界面是以诱发控制动态图像以及含有控制对象的环境信息共同作为用户视觉输入的增强现实界面；
所述特征辨识感知模块用于对采集的脑电信号进行视觉诱发信号特征提取及基于用户个人特征修正的相关分析，从而识别用户通过注视诱发图像刺激界面上的特定诱发控制动态图像而意图发出的控制指令。
9.根据权利要求8所述一种现实增强的自适应动态多场景诱发脑控系统，其特征在于：所述诱发图像刺激界面还包括控制指令识别反馈单元和控制指令执行反馈背景单元；
所述控制指令识别反馈单元用于将根据所述特征辨识感知模块识别的控制指令以文字形式反馈给用户；
所述控制指令执行反馈背景单元用于在控制对象根据所述特征辨识感知模块的控制指令识别结果执行相对应的动作时进行视觉反馈。
10.根据权利要求9所述一种现实增强的自适应动态多场景诱发脑控系统，其特征在于：所述诱发图像刺激界面中，与相应控制对象的不同控制指令分别对应的多个诱发控制动态图像以增强现实界面的中心点为基准中心，分别位于该基准中心外侧不同位置，所述反馈背景单元覆盖全部增强现实界面，以不同显示颜色分别代表指令正在执行与指令等待。
CN202010769302.0A 2020-08-03 2020-08-03 一种现实增强的自适应动态多场景诱发脑控方法 Pending CN112114662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010769302.0A CN112114662A (zh) 2020-08-03 2020-08-03 一种现实增强的自适应动态多场景诱发脑控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010769302.0A CN112114662A (zh) 2020-08-03 2020-08-03 一种现实增强的自适应动态多场景诱发脑控方法

Publications (1)

Publication Number Publication Date
CN112114662A true CN112114662A (zh) 2020-12-22

Family

ID=73799139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010769302.0A Pending CN112114662A (zh) 2020-08-03 2020-08-03 一种现实增强的自适应动态多场景诱发脑控方法

Country Status (1)

Country Link
CN (1) CN112114662A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113199469A (zh) * 2021-03-23 2021-08-03 中国人民解放军63919部队 空间机械臂系统、空间机械臂系统的控制方法及存储介质
CN113434040A (zh) * 2021-06-07 2021-09-24 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN114003048A (zh) * 2021-12-31 2022-02-01 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
CN114138109A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 基于脑机交互的ar设备
CN114385010A (zh) * 2022-01-13 2022-04-22 深圳市微资科技有限公司 基于脑电波控制的蛋白截面生成方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴系统的增强现实交互方法
CN106951064A (zh) * 2016-11-22 2017-07-14 西安交通大学 引入对象连续动作的稳态视觉诱发范式设计及辨识方法
CN107168346A (zh) * 2017-04-28 2017-09-15 上海交通大学 一种基于可穿戴显示器的异步式脑控无人机系统
CN108597584A (zh) * 2018-03-06 2018-09-28 上海大学 结合稳态视觉诱发电位及运动想象的三阶段脑控上肢康复方法
CN109558004A (zh) * 2018-10-31 2019-04-02 杭州程天科技发展有限公司 一种人体辅助机器人的控制方法及装置
CN109875583A (zh) * 2019-02-19 2019-06-14 京东方科技集团股份有限公司 一种基于ar技术的疲劳驾驶检测系统及方法
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN110858814A (zh) * 2018-08-23 2020-03-03 珠海格力电器股份有限公司 一种智能家居设备的控制方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴系统的增强现实交互方法
CN106951064A (zh) * 2016-11-22 2017-07-14 西安交通大学 引入对象连续动作的稳态视觉诱发范式设计及辨识方法
CN107168346A (zh) * 2017-04-28 2017-09-15 上海交通大学 一种基于可穿戴显示器的异步式脑控无人机系统
CN108597584A (zh) * 2018-03-06 2018-09-28 上海大学 结合稳态视觉诱发电位及运动想象的三阶段脑控上肢康复方法
CN110858814A (zh) * 2018-08-23 2020-03-03 珠海格力电器股份有限公司 一种智能家居设备的控制方法及装置
CN109558004A (zh) * 2018-10-31 2019-04-02 杭州程天科技发展有限公司 一种人体辅助机器人的控制方法及装置
CN109875583A (zh) * 2019-02-19 2019-06-14 京东方科技集团股份有限公司 一种基于ar技术的疲劳驾驶检测系统及方法
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113199469A (zh) * 2021-03-23 2021-08-03 中国人民解放军63919部队 空间机械臂系统、空间机械臂系统的控制方法及存储介质
CN113434040A (zh) * 2021-06-07 2021-09-24 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN113434040B (zh) * 2021-06-07 2024-01-05 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN114138109A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 基于脑机交互的ar设备
CN114138109B (zh) * 2021-10-19 2024-04-12 杭州回车电子科技有限公司 基于脑机交互的ar设备
CN114003048A (zh) * 2021-12-31 2022-02-01 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
CN114003048B (zh) * 2021-12-31 2022-04-26 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
CN114385010A (zh) * 2022-01-13 2022-04-22 深圳市微资科技有限公司 基于脑电波控制的蛋白截面生成方法

Similar Documents

Publication Publication Date Title
CN112114662A (zh) 一种现实增强的自适应动态多场景诱发脑控方法
CN108814597B (zh) 一种基于运动信息与肌电交互的康复训练评测方法及系统
CN113398422B (zh) 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN105938397B (zh) 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法
WO2018113392A1 (zh) 一种基于脑机接口的机械臂自主辅助系统及方法
CN110534180B (zh) 深度学习人机互适应运动想象脑机接口系统和训练方法
CN112244774A (zh) 脑机接口康复训练系统及方法
CN112114670B (zh) 一种基于混合脑机接口的人机共驾系统及其控制方法
CN102654793B (zh) 基于双模校验机制的脑电驱动高可靠操控系统
Fang et al. Brain–computer interface integrated with augmented reality for human–robot interaction
CN111930238A (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN108319367B (zh) 一种基于运动起始诱发电位的脑机接口方法
CN112346569A (zh) 一种瞳孔脑电混合脑机接口平台及其处理方法
Liu et al. An SSVEP-BCI in augmented reality
WO2024140417A1 (zh) 可穿戴扩展现实设备的人机交互采集方法、装置和系统
CN113359991B (zh) 一种面向残疾人的智能脑控机械臂辅助进食系统及方法
CN113101021A (zh) 基于mi-ssvep混合式脑机接口的机械臂控制方法
CN113506607A (zh) 一种基于树莓派的便携式脑卒中康复训练系统及方法
Wu et al. Intelligent command and control of uav based on brain computer and eye tracking combined technology
CN110693508A (zh) 多通道协同的心理生理主动感知方法及服务机器人
CN111554376B (zh) 基于大数据通道的瘫痪病人患者用多功能复合康复系统
CN109901711A (zh) 由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法
CN105708586A (zh) 一种假手柔顺抓取操作的串行多模态脑控方法
Zhuang et al. EEG based eye movements multi-classification using convolutional neural network
CN118356580B (zh) 单侧空间忽略康复训练方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201222

RJ01 Rejection of invention patent application after publication