CN110502101A - 基于脑电信号采集的虚拟现实交互方法及装置 - Google Patents

基于脑电信号采集的虚拟现实交互方法及装置 Download PDF

Info

Publication number
CN110502101A
CN110502101A CN201910457404.6A CN201910457404A CN110502101A CN 110502101 A CN110502101 A CN 110502101A CN 201910457404 A CN201910457404 A CN 201910457404A CN 110502101 A CN110502101 A CN 110502101A
Authority
CN
China
Prior art keywords
electrode
brain
virtual reality
operator
brain wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910457404.6A
Other languages
English (en)
Other versions
CN110502101B (zh
Inventor
贺浩宸
李春永
岳敬伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Pharmacology and Toxicology of AMMS
Academy of Military Medical Sciences AMMS of PLA
Original Assignee
Institute of Pharmacology and Toxicology of AMMS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Pharmacology and Toxicology of AMMS filed Critical Institute of Pharmacology and Toxicology of AMMS
Priority to CN201910457404.6A priority Critical patent/CN110502101B/zh
Publication of CN110502101A publication Critical patent/CN110502101A/zh
Application granted granted Critical
Publication of CN110502101B publication Critical patent/CN110502101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Abstract

本发明涉及一种基于脑电采集的虚拟现实交互方法，其具体步骤如下，步骤一：预先选定地电极、数据采集电极和至少一个参考电极；步骤二：通过注入导管向各个选定的数据采集电极中注入导电膏；步骤三：启动虚拟现实交互装置，通过屈光度调节装置和瞳距调节装置进行屈光度的调节和初始瞳距的调节；步骤四：将所采集的脑电信号传输至主机；步骤五：得到各脑区的激活程度；步骤六：获得操作人员的行为意图模型；步骤七：根据操作人员的行为意图模型控制指令编码设备进行编码得到编码后的信号，通过控制指令输出设备输出控制指令至主控模块，主控模块根据该编码后的信号发出控制指令，控制虚拟现实交互装置进行响应。

Description

基于脑电信号采集的虚拟现实交互方法及装置
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于脑电采集的虚拟现实交互方法及装置。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，其利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，能够在虚拟三维空间中为用户提供沉浸式的交互环境。
近几年来，虚拟现实因其在娱乐、游戏、教育、医疗、艺术创作、工程设计等各个领域的巨大潜力而备受重视。多家电子设备厂商推出了消费级的设备套装，基于虚拟现实的应用软件、游戏和全景视频随之大量出现。
在虚拟现实领域中，由于价格及便利性的优势，市场上面向普通消费者的主要是头戴式虚拟现实设备，用户通过头戴式虚拟现实设备的显示器透过光学镜片在距离很近的屏幕上观看虚拟场景。目前现有技术中的虚拟现实设备，例如，头戴式虚拟现实设备，其对视力缺陷的人员，例如，对于眼睛存在近视、远视、散光等问题需要佩戴眼镜的操作人员，不够友好，佩戴舒适性差，影响使用效果。
同时，现有技术中脑电信号处理技术已经广泛应用于脑-机接口的研发、脑部疾病的诊断和人类认知活动研究等方面。其中，脑电信号由大脑神经元群的生物电活动产生，属于自发性电位活动。研究表明，脑电信号中含有能够反映人类情绪的成分。因此，期望提出一种基于脑电信号的虚拟现实交互方法及装置，其能够基于虚拟现实游戏意念控制功能，实现更加灵活的虚拟现实(VR)交互体验，并且能对使用者的生理或认知状态以及情绪变化，例如，惊吓、刺激等反应，进行监控。
其中，情绪检测是心理学和神经工程学等交叉领域的研究热点，具有广阔的应用前景。如在生产活动中，工作在航空航天企业、国家安全部门或矿场、建筑重大生产任务或高危工作环境下的人群，其精神频繁处于高度紧张状态，对其定期进行情绪检测能够及时发现情绪异常的个体，从而提前介入，避免其精神状态继续恶化，降低生产风险、减少安全隐患。在教育领域，情绪检测能够提供有价值的信息，如评定学生、教师的心理状况，对处于不健康状态的个体及时进行干预；检测学生在学习过程中的情绪状态，与教师的教学活动对照，而优化教学环境、改善教学质量。紧张情绪在现实生活普遍存在。心理学和教育学认为，适当的紧张情绪可以集中注意力，提高工作效率，而过度紧张可能引发人体生理心理的不良反应，甚至有可能造成比较严重的后果。因此虚拟现实操作人员进行紧张情绪的检测与监测非常重要，具有较大的应用潜力。
目前情绪检测的方法主要分为基于非生理信号和基于生理信号的检测，其中基于非生理信号的检测包括对表情、语音或姿态的检测；基于生理信号的检测包括对心电、脑电、肌电、呼吸信号的检测。由于脑电信号直接与意识相关，难以隐蔽、抑制和掩饰，基于脑电的情绪检测备受关注。
目前已有的紧张情绪检测系统，其准备和实施过程异常繁琐，物质和时间成本较高；另外，目前该类系统的刺激手段多为在平面显示器上播放图像或视频，用户代入感差，难以诱发高质量的情绪状态。这两方面因素的存在，导致该类系统的检测过程漫长、检测成本高，且检测准确率低，不能有效检测出用户的紧张情绪。
发明内容
针对现有技术中存在的问题，本发明的目的在于提出一种基于脑电采集的虚拟现实交互方法及装置，其基于非侵入式脑电采集电极，所述各数据采集电极均设置有注入导管，通过所述注入导管将导电膏，使各选定的数据采集电极与头皮相连以采集所需要的脑电信号，并对所述信号进行预处理以及特征提取以获取所需要的不同脑区的激活程度，并根据激活结果进行判断，获得操作者的状态，并进行反馈。
进一步地，根据激活结果，进行判断，获得操作者的状态并进行反馈后，得到操作人员的行为意图模型，根据操作人员的行为意图模型控制指令编码设备进行编码得到编码后的信号，通过控制指令输出设备输出控制指令至主机，主机根据该编码后的信号发出控制指令，控制虚拟现实设备进行交互。
进一步地，根据本发明的基于脑电采集的虚拟现实交互方法，其能够进行情绪检测，并进行判断，给出预警提示。
进一步地，本发明的目的在于提出一种基于脑电采集的虚拟现实交互装置，其具有屈光度调节装置和瞳距调节装置，其能够针对不同的操作者进行适应性调节，提高佩戴的舒适性并。
本发明的技术方案如下：
一种基于脑电采集的虚拟现实交互方法，其具体步骤如下：
步骤一：预先选定地电极、数据采集电极和至少一个参考电极，所述参考电极的电位在使用过程中保持幅值变化不超过±5μV；
步骤二：通过注入导管向各个选定的数据采集电极中注入导电膏，使各数据采集电极的阻抗位于第一参考阈值以下；通过所述数据采集电极进行脑电信号采集，所述脑电信号包括基于视觉的诱发电位和基于运动想象的自发电位；
步骤三：启动虚拟现实交互装置；
步骤四：开启脑电采集设备的屏蔽层，进行虚拟交互测试，采集操作人员的脑电信号；并将所采集的脑电信号通过有线或无线方式传输至主机；
步骤五：对步骤四中所采集到的脑电信号通过放大设备进行放大后，进行信号预处理，将经过预处理之后的脑电信号输入至信号处理器进行信号处理，根据特征分类，得到各脑区的激活程度；
步骤六：根据步骤五中各脑区的激活结果进行判断，获得操作者的状态信息，进而得到操作人员的行为意图模型；
步骤七：根据操作人员的行为意图模型控制指令编码设备进行编码得到编码后的信号，通过控制指令输出设备输出控制指令至主控模块，主控模块根据该编码后的信号发出控制指令，控制虚拟现实交互装置进行响应。
优选地，所述地电极置于前额叶区且位于中线上，所述地电极用FPz进行表示，所述中线指大脑的矢状线；所述参考电极设置在右耳乳突。
优选地，所述数据采集电极为非侵入式电极，以便避免获取大脑活动信号的过程中对操作人员造成损害；所述数据采集电极设置有注入导管，以便根据需要将导电膏注入至所述选定的数据采集电极。
优选地，所述非侵入式电极为贴片电极或盘状电极，测试时将其固定于头皮上采集；所述数据采集电极连接固定至脑电采集设备的弹性内衬；所述弹性内衬的两侧设置能够进行相互扣合的固定带，所述固定带的长度能够根据操作人员头部的实际尺寸进行调节，以便在脑电采集设备的型号与操作人员头型不匹配，有效缩短数据采集电极与操作人员头皮之间的距离，避免影响脑电信号采集效果。
优选地，脑电采集设备还设置有硬质外壳，所述硬质外壳通过弹性连接件与弹性内衬相连，所述硬质外壳的内表面或外表面设置有屏蔽层，以避免采集过程中周围设备对所采集的脑电信号形成干扰。
优选地，当操作人员处于不同状态时，各个频段的脑电信号以叠加形式出现在各个脑区；所述激活程度为β节律能量占比，即β频段的能量占脑电波总能量的比例，
其中，脑电信号的节律包括δ、θ、α、β、γ节律，
δ节律位于1～4Hz频段，表示操作人员的深度睡眠状态或突发特殊脑部病症；
θ节律位于4～8Hz频段，其表明操作人员在睡眠初期、冥想或困倦、压抑的状态；
α节律位于8～12Hz频段，其表明操作人员处于清醒、安静和闭眼的状态，其还包含了与躯体运动相关的μ波；
β节律位于12～30Hz频段，其表明操作人员处于精神紧张、情绪激动或思维活跃、注意力集中时的状态，也含有一部分反映躯体运动相关的信息；
γ节律位于30～60Hz频段，其包含较高层次的思维活动，包括情绪变化、抽象思考状态。
优选地，α节律在全部脑电波中的能量占比升高30％且β节律在全部脑电波中的能量占比下降20％，判定操作人员进入疲劳状态
优选地，所述数据采集的数量为15个，所述数据采集电极为15导主动电极，其具体位置为FC1,FC2,FC5,FC6,Cz,C1,C2,C3,C4,CP1,CP2,CP5,CP6,P3和P4，其中，F额叶区，P表示顶叶区,C表示偏中间，但不属于具体脑叶的区域，Cz表示冠状线矢状线交点。其中数字表示数据采集电极的位置，奇数表示该数据采集设置在左脑，偶数表示该数据采集电极设置右脑，数字越大离矢状线越远。
优选地，步骤二中各选定的数据采集电极的阻抗相同或步骤二中各选定的数据采集电极的阻抗不相同。
一种基于脑电采集的虚拟现实交互装置，其包括壳体、显示器、透镜、主控模块、脑电采集设备和电源模块，所述主控模块与所述显示器相连，所述显示器、脑电采集设备和所述主控模块分别连接至电源模块；所述脑电采集设备包括内衬、外壳和设置在内衬和外壳之间的各个弹性连接件；所述壳体的两个侧部均设置有连接固定装置，所述连接固定装置将本发明的基于脑电采集的虚拟现实交互装置连接至所述操作人员的头部。
与现有技术相比，本发明的基于脑电采集的虚拟现实交互方法及装置，其基于非侵入式脑电采集电极，所述各数据采集电极均设置有注入导管，通过所述注入导管将导电膏，使各选定的数据采集电极与头皮相连以采集所需要的脑电信号，并对所述信号进行预处理以及特征提取以获取所需要的不同脑区的激活程度，并根据激活结果进行判断，获得操作者的状态，并进行反馈。
进一步地，根据激活结果，进行判断，获得操作者的状态并进行反馈后，得到操作人员的行为意图模型，根据操作人员的行为意图模型控制指令编码设备进行编码得到编码后的信号，通过控制指令输出设备输出控制指令至主机，主机根据该编码后的信号发出控制指令，控制虚拟现实设备进行交互。
进一步地，根据本发明的基于脑电采集的虚拟现实交互方法，其能够进行疲劳检测，并进行判断，给出预警提示。
进一步地，本发明的目的在于提出一种基于脑电采集的虚拟现实交互装置，其能够针对不同的操作者进行适应性调节，提高佩戴的舒适性。
附图说明
本发明上述和/或附加方面的优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明的基于脑电采集的虚拟现实交互方法的流程图。
图2是根据本发明的基于脑电采集的虚拟现实交互方法中各电极的布置示意图。
图3是根据本发明的基于脑电采集的虚拟现实交互装置的组成框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
根据本发明实施例的基于脑电采集的虚拟现实交互方法，如图1至图3所示，其具体步骤如下：
步骤一：预先选定地电极、数据采集电极和至少一个参考电极，所述参考电极的电位在使用过程中保持幅值变化不超过±5μV。
优选地，所述地电极置于前额叶区且位于中线上，所述地电极用FPz进行表示，所述中线指大脑的矢状线。
优选地，所述参考电极设置在右耳乳突和/或左耳乳突。
优选地，所述数据采集电极为非侵入式电极，以便避免获取大脑活动信号的过程中对操作人员造成损害。所述数据采集电极设置有注入导管，以便根据需要将导电膏注入至所述选定的数据采集电极。
步骤二：通过注入导管向各个选定的数据采集电极中注入导电膏，使各数据采集电极的阻抗位于第一参考阈值以下；通过所述数据采集电极进行脑电信号采集，所述脑电信号包括基于视觉的诱发电位和基于运动想象的自发电位。
优选地，所述非侵入式电极为贴片电极或盘状电极，测试时将其固定于头皮上采集；具体地，所述数据采集电极连接固定至脑电采集设备的弹性内衬。
优选地，所述弹性内衬的两侧设置能够进行相互扣合的固定带，所述固定带的长度能够根据操作人员头部的实际尺寸进行调节，以便在脑电采集设备，例如，电极帽，的型号与操作人员头型不匹配，有效缩短数据采集电极与操作人员头皮之间的距离，避免影响闹心信号采集效果。
优选地，所述弹性内衬能够根据操作人员头部形状进行塑性，使脑电采集设备在信号采集过程过长时避免造成被试操作人员头部不适，例如，感到脑袋发涨、有刺痛感。
优选地，脑电采集设备还设置有硬质外壳，所述硬质外壳通过弹性连接件与弹性内衬相连，所述硬质外壳的内表面或外表面设置有屏蔽层，以避免采集过程中周围设备对所采集的脑电信号形成干扰。
优选地，所述脑电采集设备的源信号为EEG，其具有如下优点：第一，头皮脑电位采集的是大脑的电活动信号，实时性好且时间分辨率高；第二，该类信号采集设备技术成熟、成本低、便携性好；第三，设备结构简单，所获得的信号的信噪比低。
优选地，所述数据采集电极位于中央前回和中央后回上方的头皮上。
优选地，所述数据采集电极采集的区域包括BA1，BA2，BA3，BA4，BA17，BA18和BA19区域，其中BA1、BA2和BA3为躯体感觉区，BA4为初级运动区，在这两个脑区采集与运动想象相关的脑电信号；BA17为初级视觉区，BA18和BA19为视觉联合区，在这两个脑区采集与视觉刺激相关的脑电信号。
步骤三：启动虚拟现实交互装置，通过屈光度调节装置和瞳距调节装置进行屈光度的调节和初始瞳距的调节；确定瞳孔的初始边界值，用于判定在测试过程中瞳孔的扩张和缩小程度，进行情绪判断。
步骤四：开启脑电采集设备的屏蔽层，进行虚拟交互测试，采集操作人员的脑电信号；并将所采集的脑电信号通过有线或无线方式传输至主机；
步骤五：对步骤四中所采集到的脑电信号通过放大设备进行放大后，进行信号预处理，将经过预处理之后的脑电信号输入至信号处理器进行信号处理，根据特征分类，得到各脑区的激活程度，
优选地，当操作人员处于不同状态时，各个频段的脑电信号以叠加形式出现在各个脑区；所述激活程度为β节律能量占比，即β频段的能量占脑电波总能量的比例。
其中，脑电信号的频段包括δ、θ、α、β、γ频段，其中：
δ频段位于1～4Hz频段，表示操作人员的深度睡眠状态或突发特殊脑部病症；
θ频段位于4～8Hz频段，其表明操作人员在睡眠初期、冥想或困倦、压抑的状态；
α频段位于8～12Hz频段，其表明操作人员处于清醒、安静和闭眼的状态，其还包含了与躯体运动相关的μ波；
β频段位于12～30Hz频段，其表明操作人员处于精神紧张、情绪激动或思维活跃、注意力集中时的状态，也含有一部分反映躯体运动相关的信息；
γ频段位于30～60Hz频段，其包含较高层次的思维活动，如情绪变化、抽象思考等状态。
步骤六：根据激活结果，进行判断，获得操作者的状态，进而得到操作人员的行为意图模型。
步骤七：根据操作人员的行为意图模型控制指令编码设备进行编码得到编码后的信号，通过控制指令输出设备输出控制指令至主控模块，主控模块根据该编码后的信号发出控制指令，控制虚拟现实交互装置进行响应。
优选地，所述数据采集的数量为15个，所述数据采集电极为15导主动电极，其具体位置为FC1,FC2,FC5,FC6,Cz,C1,C2,C3,C4,CP1,CP2,CP5,CP6,P3和P4，如图2所示，其中，F额叶区，P表示顶叶区,C表示偏中间，但不属于具体脑叶的区域，Cz表示冠状线矢状线交点。其中数字表示数据采集电极的位置，奇数表示该数据采集设置在左脑，偶数表示该数据采集电极设置右脑，数字越大离矢状线越远。
优选地，步骤二中各选定的数据采集电极的阻抗相同。
并列地，步骤二中各选定的数据采集电极的阻抗不相同。
优选地，本发明的基于脑电采集的虚拟现实交互方法通过根据本发明的基于脑电采集的虚拟现实交互装置实现。
如图3所示，根据本发明的基于脑电采集的虚拟现实交互装置100，其包括壳体1、显示器2、透镜3、主控模块4、脑电采集设备5和电源模块6，所述主控模块4与所述显示器2相连，所述显示器2、脑电采集设备5和所述主控模块4分别连接至电源模块6。所述脑电采集设备5包括内衬、外壳和设置在内衬和外壳之间的各个弹性连接件。所述壳体的两个侧部均设置有连接固定装置，所述连接固定装置将本发明的基于脑电采集的虚拟现实交互装置连接至所述操作人员的头部。优选地，所述脑电采集设备连接至所述连接固定装置。
优选地，所述外壳的内侧壁或外侧壁设置有屏蔽层，以避免操作人员周围无大功率用电器及手机等无线通讯设备干扰脑电信号。
所述内衬设置有地电极、参考电极和数据采集电极，所述数据采集电极与注入导管连通，工作前通过注入导管将导电膏注入至相应的数据采集电极。
所述内衬为弹性层，所述内衬设置有在操作者的两侧的耳部向下延伸的绑带，以便当佩戴所述脑电采集设备时，通过张紧所述绑带时所述内衬紧贴头皮。
所述脑电采集设备通过有线或无线方式连接至主机。优选地，所述脑电采集设备上还包括无线收发模块，所述地电极、参考电极以及数据采集电极分别与无线收发模块相连，通过无线收发模块将所采集到的脑电信号传输至主机。
进一步地，所述脑电采集设备还包括存储模块，以便当无线收发模块出现故障时，能够临时存储所采集到的脑电信号。
所述壳体具有第一部分、第二部分、第三部分、第四部分、第五部分和第六部分，其中所述第一部分为壳体的顶部，所述第二部分为所述壳体的底部，所述第三部分为所述壳体的第一侧部，所述第四部分为所述壳体的第二侧部，所述壳体的各个部分连接处为流线形，例如，采用圆角，所述第五部分为所述壳体的前部，所述第六部分为所述壳体的后部，所述壳体的后部靠近操作人员的眼部。
优选地，所述连接固定装置为固定带。
所述壳体的第六部分上设置透镜孔，所述透镜的镜筒的第一端位于所述壳体内部，通过第一夹持定位装置，将所述透镜固定在所述壳体的内部，所述透镜的镜筒的第二端穿过所述壳体的第六部分上的透镜孔伸出所述壳体外，所述透镜的镜筒卡至所述透镜孔，所述透镜孔对所述镜筒起到支撑以及固定的作用，通过控制所述透镜孔的直径调整所述透镜的镜筒伸出所述壳体的第六部分的长度。
所述显示器通过第二夹持定位装置固定至所述壳体的内侧壁。
所述透镜的镜筒的第一端位于所述显示器的屏幕和所述壳体的第六部分之间。
所述主控模块位于所述壳体内部，所述主控模块依靠第三夹持定位装置进行固定。
所述主控模块设置有多个接口，所述接口至少包括显示器接口、电机接口、红外光源发射器接口和锁紧机构接口。
优选地，所述主控模块通过有线方式连接至主机。
并列地，所述主控模块通过无线方式与主机进行通讯，所述主控模块与所述无线收发模块相连。
从所述壳体的第六部分的外侧壁设置有沿着远离所述壳体的本体部进行延伸的支撑部，所述支撑部与操作人员的面部接触，在所述操作人员的面部，例如，操作人员的眼部与透镜的镜筒的第二端之间形成容纳空间。
优选地，在所述支撑部的外层设置有与人体皮肤接触有弹性垫，所述弹性垫能够增加使用过程中操作人员的舒适性，避免在低温时设备温度随之下降，影响眼部周围血液流通；同时，可避免使用过程中所述支撑部直接接触皮肤造成的勒痕，影响眼部周围血液流通。
优选地，所述弹性垫可拆卸地连接至所述支撑部。
优选地，所述支撑部为环形结构件，所述环形结构件的内部为中空，支撑部远离所述壳体的第六部分的端部设置有凹槽，所述弹性垫的基部压入所述凹槽内，当所述弹性垫损坏或被污染后，或气温过高被汗液浸湿后，可根据需要进行更换。
优选地，所述支撑部的侧部和下部均设置透气结构和透光结构，以维持本发明的基于脑电采集的虚拟现实交互装置的容纳空间内的环境与外部环境一致，避免在全封闭黑暗环境下瞳孔收缩，影响眼部肌肉动作，长期以往对视力造成不可逆的影响。
与所述支撑部相连的所述壳体的第六部分的区域内设置有多个第一孔，所述第一孔配置用于导线和控制线的进出。
本发明的基于脑电采集的虚拟现实交互装置，还包括屈光度调节装置7和瞳距调节装置8，以便精准地解决屈光不正的问题，所述屈光度调节装置包括镜片、托架、托架连接件；所述瞳距调节装置包括导轨、滑块、电机、传动装置、限位装置和锁紧装置，所述电机和所述锁紧装置与所述电源模块相连，所述电机、锁紧装置分别与所述主控模块相连，主控模块控制所述电机带动所述传动装置进行运动，所述传动装置与电机的输出轴相连，所述传动装置的输出端与滑块相连，从而带动所述滑块进行动作进行瞳距调整，所述限位机构分别位于导轨的中部和两侧，其限制所述滑块的移动范围，当瞳距等于通过脑电采集设备测得的初始参考瞳距值时，主控模块控制所述锁紧机构进行动作将所述滑块固定在该位置。
所述托架与所述滑块的底部通过所述托架连接件进行连接，所述托架为框架结构，所述托架具有支撑边缘，以避免镜片从框架结构中滑出的边缘，所述托架的底部设置托板，所述托板托住所述镜片以避免所述镜片从所述托架的底部滑出，所述托架的四周设置有卡爪，所述卡爪为弹性结构件，镜片安装至托架后，拨动所述卡爪将镜片卡紧固定至所述托架，通过放置相应的使用者的所需要的镜片，实现屈光度的调节。
当镜片安装固定后，通过主控模块发出控制信号，控制电机动作从而带动滑块进行运动，实现瞳距的调节。
优选地，所述卡爪的数量为四个。
所述电机包括第一电机和第二电机，所述限位装置包括第一限位装置、第二限位装置和第三限位装置，所述滑块包括第一滑块和第二滑块，所述锁紧装置包括第一缩紧装置和第二锁紧装置，所述托架连接件包括第一托架连接件和第二托架连接件，所述传动装置包括第一传动位置和第二传动装置。第三限位装置位于第一限位装置和第二限位装置之间，优选地，所述第三限位装置位于第一导轨和第二导轨连线的中间位置。
所述第一电机、第一锁紧装置分别与所述主控模块相连，主控模块控制所述第一电机带动第一传动装置进行运动，所述第一传动装置与第一电机的输出轴相连，所述第一传动装置的输出端与第一滑块相连，从而带动所述第一滑块进行动作实现瞳距调整，所述第一限位机构位于第一导轨的远离第三限位装置的一侧，第三限位装置和第一限位装置共同限制所述第一滑块的移动范围，当瞳距等于测得的初始参考瞳距值，主控模块控制所述第一锁紧机构进行动作将所述第一滑块固定在该侧瞳孔所对应的位置。
所述第一电机与所述电源模块相连。所述第一托架与所述第一滑块的底部通过所述第一托架连接件进行连接，所述第一托架为框架结构，所述第一托架具有支撑边缘，以避免镜片从框架结构中滑出的边缘，所述第一托架的底部设置托板，所述托板托住所述镜片以避免所述镜片从所述第一托架的底部滑出，所述第一托架的四周设置有卡爪，所述卡爪为弹性结构件，镜片安装至托架后，拨动所述卡爪将镜片卡紧固定至所述第一托架。通过放置相应的使用者的所需要的镜片，实现屈光度的调节。
所述第二电机、第二锁紧装置分别与所述主控模块相连，主控模块控制所述第二电机带动所述第二传动装置进行运动，所述第二传动装置与第二电机的输出轴相连，所述第二传动装置的输出端与第二滑块相连，从而带动所述第二滑块进行动作进行瞳距调整，所述第二限位机构位于第二导轨的远离第三限位装置的一侧，第三限位装置和第二限制位置装置共同限制所述第二滑块的移动范围，当瞳距等于测得的初始参考瞳距时，主控模块通过控制所述第二锁紧机构进行动作将所述第二滑块固定在该侧瞳孔所对应的位置。
第二托架与第二滑块的底部通过第二托架连接件进行连接，所述第二托架为框架结构，所述第二托架具有支撑边缘，以避免镜片从框架结构中滑出的边缘，所述第二托架的底部设置托板，所述托板托住所述镜片以避免所述镜片从所述第二托架的底部滑出，所述第二托架的四周设置有卡爪，所述卡爪为弹性结构件，镜片安装至托架后，拨动所述卡爪将镜片卡紧固定至所述第二托架，通过放置相应的使用者的所需要的镜片，实现屈光度的调节。
优选地，当镜片放入后，第一托架和第二托架能够同时实现调节。
优选地，各电机、各传动装置、各滑块位于支撑部的内部，所述第三限位装置位于导轨的中部，所述第二限位装置和所述第一限位装置分别位于远离所述第三限位装置的第一导轨和第二导轨的各自的端部。
优选地，所述支撑部的第一部分的内部还设置有伸缩单元，所述伸缩单元调节所述屈光度调节单元的竖直方向的高度，所述伸缩单元与导轨固接，所述伸缩单元包括伸缩电机、齿轮、齿条，所述伸缩电机的输出轴连接所述齿轮，所述齿轮与齿条啮合，所述齿条与所述导轨固接，如此设置以调整所述镜片相对于操作人员的瞳孔的竖直距离。
优选地，所述伸缩单元的数量为两个，其分别设置在第一导轨和第二导轨上，且在各个导轨上呈对称分布，以便保证伸缩单元动作的平稳性。
替换地，所述伸缩单元为蜗轮蜗杆机构。
替换地，所述伸缩单元为丝杆螺母结构。
瞳距调节装置包括红外光源发射器和摄像头，所述红外光源发射器位于所述壳体的第六部分的外侧壁，即朝向操作人员眼部的方向，例如，其位于两个透镜的之间连线的中点的上方，通过所述瞳距调节装置得到初始参考瞳距值。
进一步地，所述红外光源发射器与所述摄像头的中心之间的连线垂直于两个透镜的中心之间的连线。
优选地，红外光源为面光源。
该红外摄像头可以有效地避免根据本发明中的基于脑电采集的虚拟现实交互装置中显示屏发出的可见光的干扰，捕捉到清晰的眼球和瞳孔的运动轨迹；以及所述红外光源发射器与主控模块相连，所述主控模块上设置有红外光源发生器接口，主控模块控制所述红外光源发生器发射预先设定的频率的红外光至眼睛上，所述红外摄像头通过有线或无线方式将捕捉到的瞳孔信息传输至主机。
优选地，所述红外光源发射器为贴片式红外光LED，该红外光LED灯成本较低，并且能够均匀发射红外光，便于安装，
优选地，红外光源发射器的发射频率为100Hz至2kHz。
优选地，红外光源发射器的发射频率预设为500Hz。
所述脑电采集设备记录操作人员脑电信号，并将该信号输送至主机，所述主机输出虚拟显示的三维场景图像至所述基于脑电采集的虚拟现实交互装置的显示器的显示屏中；同时，接收所述脑电采集设备输送来的脑电信号，通过分析处理用户的脑电信号，计算得到不同脑区的激活程度；所述显示器与所述主机，例如，通过连接线，相连，用于虚拟现实三维场景图像和交互内通的通信，
所述显示器具有显示屏，所述显示屏根据左右眼在视角上的差异分别显示虚拟现实三维场景，这样能使用户的左右眼感知到不一样的图像，形成对虚拟现实三维环境的空间认知。
所述透镜的镜筒的第二端设置有目镜，其配置用于调整用户视线在显示屏上的对焦位置，以便用户视线能够准确地对焦于显示屏上。
优选地，根据本发明的基于脑电采集的虚拟现实交互装置还包括扬声器，扬声器根据用户界面显示的交互内容播放相应的三维立体声。
优选地，根据本发明的基于脑电采集的虚拟现实交互装置，还包括话筒，所述话筒设置在所述壳体的下方。
优选地，根据本发明的基于脑电采集的虚拟现实交互装置，还包括耳罩，所述耳罩连接至根据本发明的基于脑电采集的虚拟现实交互装置的壳体内部的显示器，所述耳罩的外侧设置有音量调节旋钮和音量开关。
优选地，根据本发明的基于脑电采集的虚拟现实交互装置，还包括报警器。
优选地，所述报警器与主控模块相连。
优选地，所述报警器为声、光、电、磁、振动报警器。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连通”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连通，也可以通过中间媒介间接连通，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“至少三个”的含义是两个或两个以上。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于脑电采集的虚拟现实交互方法，其特征在于，其具体步骤如下：
步骤一：预先选定地电极、数据采集电极和至少一个参考电极，所述参考电极的电位在使用过程中幅值变化不超过±5μV；
步骤二：通过注入导管向各个选定的数据采集电极中注入导电膏，使各数据采集电极的阻抗位于第一参考阈值以下；通过所述数据采集电极进行脑电信号采集，所述脑电信号包括基于运动想象的自发电位；
步骤三：启动虚拟现实交互装置，通过屈光度调节装置和瞳距调节装置进行屈光度的调节和瞳距的调节；
步骤四：开启脑电采集设备的屏蔽层，进行虚拟交互测试，采集操作人员的脑电信号；并将所采集的脑电信号通过有线或无线方式传输至主机；
步骤五：对步骤四中所采集到的脑电信号通过放大设备进行放大后，进行信号预处理，将经过预处理之后的脑电信号输入至信号处理器进行信号处理，根据特征分类，得到各脑区的激活程度；
步骤六：根据步骤五中各脑区的激活结果进行判断，获得操作者的状态，进而得到操作人员的行为意图模型；
步骤七：根据操作人员的行为意图模型控制指令编码设备进行编码得到编码后的信号，通过控制指令输出设备输出控制指令至主控模块，主控模块根据该编码后的信号发出控制指令，控制虚拟现实交互装置进行响应。
2.如权利要求1所述的基于脑电采集的虚拟现实交互方法，其特征在于，所述地电极置于前额叶区且位于中线上，所述地电极用FPz进行表示，所述中线指大脑的矢状线；所述参考电极设置在右耳乳突。
3.如权利要求2所述的基于脑电采集的虚拟现实交互方法，其特征在于，所述数据采集电极为非侵入式电极，以便避免获取大脑活动信号的过程中对操作人员造成损害；所述数据采集电极设置有注入导管，以便根据需要将导电膏注入至所述选定的数据采集电极。
4.如权利要求3所述的基于脑电采集的虚拟现实交互方法，其特征在于，所述非侵入式电极为贴片电极或盘状电极，测试时将其固定于头皮上采集；所述数据采集电极连接固定至脑电采集设备的弹性内衬；所述弹性内衬的两侧设置能够进行相互扣合的固定带，所述固定带的长度能够根据操作人员头部的实际尺寸进行调节，以便在脑电采集设备的型号与操作人员头型不匹配，有效缩短数据采集电极与操作人员头皮之间的距离，避免影响脑电信号采集效果。
5.如权利要求4所述的基于脑电采集的虚拟现实交互方法，其特征在于，脑电采集设备还设置有硬质外壳，所述硬质外壳通过弹性连接件与弹性内衬相连，所述硬质外壳的内表面或外表面设置有屏蔽层，以避免采集过程中周围设备对所采集的脑电信号形成干扰。
6.如权利要求5所述的基于脑电采集的虚拟现实交互方法，其特征在于，当操作人员处于不同状态时，各个频段的脑电信号以叠加形式出现在各个脑区；所述激活程度为β节律能量占比，即β频段的能量占脑电波总能量的比例，
其中，脑电信号的节律包括δ、θ、α、β、γ节律，
δ节律位于1～4Hz频段，表示操作人员的深度睡眠状态或突发特殊脑部病症；
θ节律位于4～8Hz频段，其表明操作人员在睡眠初期、冥想或困倦、压抑的状态；
α节律位于8～12Hz频段，其表明操作人员处于清醒、安静和闭眼的状态，其还包含了与躯体运动相关的μ波；
β节律位于12～30Hz频段，其表明操作人员处于精神紧张、情绪激动或思维活跃、注意力集中时的状态，也含有一部分反映躯体运动相关的信息；
γ节律位于30～60Hz频段，其包含较高层次的思维活动，包括情绪变化、抽象思考状态。
7.如权利要求6所述的基于脑电采集的虚拟现实交互方法，其特征在于，α节律在全部脑电波中的能量占比升高30％且β节律在全部脑电波中的能量占比下降20％，判定操作人员进入疲劳状态。
8.如权利要求7所述的基于脑电采集的虚拟现实交互方法，其特征在于，所述数据采集的数量为15个，所述数据采集电极为15导主动电极，其具体位置为FC1,FC2,FC5,FC6,Cz,C1,C2,C3,C4,CP1,CP2,CP5,CP6,P3和P4，其中，F额叶区，P表示顶叶区,C表示偏中间，但不属于具体脑叶的区域，Cz表示冠状线矢状线交点；其中数字表示数据采集电极的位置，奇数表示该数据采集设置在左脑，偶数表示该数据采集电极设置右脑，数字越大离矢状线越远。
9.如权利要求8所述的基于脑电采集的虚拟现实交互方法，其特征在于，步骤二中各选定的数据采集电极的阻抗相同或步骤二中各选定的数据采集电极的阻抗不相同。
CN201910457404.6A 2019-05-29 2019-05-29 基于脑电信号采集的虚拟现实交互方法及装置 Active CN110502101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910457404.6A CN110502101B (zh) 2019-05-29 2019-05-29 基于脑电信号采集的虚拟现实交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457404.6A CN110502101B (zh) 2019-05-29 2019-05-29 基于脑电信号采集的虚拟现实交互方法及装置

Publications (2)

Publication Number Publication Date
CN110502101A true CN110502101A (zh) 2019-11-26
CN110502101B CN110502101B (zh) 2020-08-28

Family

ID=68585756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457404.6A Active CN110502101B (zh) 2019-05-29 2019-05-29 基于脑电信号采集的虚拟现实交互方法及装置

Country Status (1)

Country Link
CN (1) CN110502101B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113017646A (zh) * 2021-02-26 2021-06-25 河北省科学院应用数学研究所 一种基于统计的脑电节律占比分布区间计算方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103845137A (zh) * 2014-03-19 2014-06-11 北京工业大学 基于稳态视觉诱发脑机接口的机器人控制方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN104216515A (zh) * 2014-07-25 2014-12-17 北京机械设备研究所 一种基于脑机接口的载人飞船非接触式操控方法
CN104306006A (zh) * 2014-10-15 2015-01-28 东南大学 便携式工作记忆评测与训练装置
US20160235323A1 (en) * 2013-09-25 2016-08-18 Mindmaze Sa Physiological parameter measurement and feedback system
CN105938397A (zh) * 2016-06-21 2016-09-14 西安交通大学 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法
CN106621287A (zh) * 2017-02-07 2017-05-10 西安交通大学 一种基于脑机接口与虚拟现实技术的上肢康复训练方法
CN107168346A (zh) * 2017-04-28 2017-09-15 上海交通大学 一种基于可穿戴显示器的异步式脑控无人机系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160235323A1 (en) * 2013-09-25 2016-08-18 Mindmaze Sa Physiological parameter measurement and feedback system
CN103845137A (zh) * 2014-03-19 2014-06-11 北京工业大学 基于稳态视觉诱发脑机接口的机器人控制方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN104216515A (zh) * 2014-07-25 2014-12-17 北京机械设备研究所 一种基于脑机接口的载人飞船非接触式操控方法
CN104306006A (zh) * 2014-10-15 2015-01-28 东南大学 便携式工作记忆评测与训练装置
CN105938397A (zh) * 2016-06-21 2016-09-14 西安交通大学 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法
CN106621287A (zh) * 2017-02-07 2017-05-10 西安交通大学 一种基于脑机接口与虚拟现实技术的上肢康复训练方法
CN107168346A (zh) * 2017-04-28 2017-09-15 上海交通大学 一种基于可穿戴显示器的异步式脑控无人机系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王保华: "脑电测量及仪器", 《生物医学测量与仪器》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113017646A (zh) * 2021-02-26 2021-06-25 河北省科学院应用数学研究所 一种基于统计的脑电节律占比分布区间计算方法

Also Published As

Publication number Publication date
CN110502101B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN110502100B (zh) 基于眼动跟踪的虚拟现实交互方法及装置
US20180103917A1 (en) Head-mounted display eeg device
Holewa et al. Emotiv EPOC neuroheadset in brain-computer interface
CN103479472B (zh) 多功能综合弱视治疗仪及其控制方法
MXPA06011168A (es) Biosensores, comunicadores, y controladores que verifican el movimiento del ojo y metodos para utilizarlos.
CN107224273B (zh) 一种基于光学脑成像神经反馈的中枢-外周神经闭环康复训练方法及系统
CN101232860A (zh) 用于刺激训练的方法及装置
KR102144291B1 (ko) 거울신경세포의 활성화를 극대화하는 뇌 자극과 뇌-컴퓨터 인터페이스(bci) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법
KR20180103517A (ko) 정신건강 향상과 두뇌 인지기능 회복을 위한 브레인 마사지 기능이 탑재된 안마의자
CN109566447A (zh) 基于触摸屏的非人灵长类动物运动及认知功能的研究系统
KR101470588B1 (ko) 뇌-뇌 인터페이스 장치 및 방법
CN106551674A (zh) 基于模拟空间定向障碍场景的眼动测量装置
CN106901739B (zh) 一种用于功能磁共振成像的虚拟现实刺激装置
CN110502101A (zh) 基于脑电信号采集的虚拟现实交互方法及装置
CN106618610A (zh) 一种面向害羞儿童社会技能训练的头戴终端系统
CN209879455U (zh) 基于脑电采集的虚拟现实交互装置
CN102048611A (zh) 一种基于双眼光路分离的虚拟眼罩系统
KR102142535B1 (ko) 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(bci) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법
JP2003157136A (ja) 生体反応を記録可能な高臨場感映像表示装置
KR102055081B1 (ko) 브레인 마사지 기능이 탑재된 안마의자
EP3925665B1 (en) Intelligent glasses and glasses box
CN110502102B (zh) 基于疲劳监测预警的虚拟现实交互方法
CN113576497A (zh) 一种面向双眼竞争的视觉稳态诱发电位检测系统
Wu et al. Intelligent command and control of uav based on brain computer and eye tracking combined technology
KR20190137058A (ko) 정신건강 향상과 두뇌 인지기능 회복을 위한 브레인 마사지 기능이 탑재된 안마의자

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant