CN108008810A - 一种基于运动想象的确认方法和系统 - Google Patents

一种基于运动想象的确认方法和系统 Download PDF

Info

Publication number
CN108008810A
CN108008810A CN201610934116.1A CN201610934116A CN108008810A CN 108008810 A CN108008810 A CN 108008810A CN 201610934116 A CN201610934116 A CN 201610934116A CN 108008810 A CN108008810 A CN 108008810A
Authority
CN
China
Prior art keywords
mental imagery
user
virtual reality
reality display
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610934116.1A
Other languages
English (en)
Inventor
栗明
张建虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weft Information Technology Co Ltd
Original Assignee
Shenzhen Weft Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weft Information Technology Co Ltd filed Critical Shenzhen Weft Information Technology Co Ltd
Priority to CN201610934116.1A priority Critical patent/CN108008810A/zh
Publication of CN108008810A publication Critical patent/CN108008810A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于运动想象的确认方法和系统，所述方法包括以下步骤：步骤一，判断用户的模式是训练模式还是正常模式，如果是是训练模式，进入步骤二，否则直接进入步骤三；步骤二，根据提示，完成用户训练数据的提取和处理；步骤三，对用户正常模式中的采集的数据进行处理得到此时的运动想象类型；步骤四，将处理结果输出给其他控制设备。所述系统包括以下部分：虚拟现实展示模块、对象选择模块、脑电信号采集处理模块。在交互界面中通过对象选择模块进行对象选择和激活；在交互界面中通过脑电信号采集模块进行选中和激活对象的确认。本发明可以实现的技术效果是：能够增强交互体验效果，提升交互效率。

Description

一种基于运动想象的确认方法和系统
技术领域
本发明属于虚拟现实方法和脑机接口技术领域，具体涉及一种基于运动想象在虚拟现实设备中交互确认的方法和系统。
背景技术
人机接口是指在人机交互中用来交换信息，建立联系的输入、输出设备的接口，目的在于实现用户对设备的操作和设备反馈信息的理解。使用大脑信号直接控制机器的脑机接口(BCI)技术也是其中一种。
现有技术中的虚拟现实(VR)体验中，有一部分采用了视线追踪技术，当用户的目光注视交互界面上某处时，需要注视一定的时间来进行确认，这样无疑降低了输入效率；或者通过其它在vr上的按键进行确认，这样用户需要一直保持抬手的状态，容易造成用户的疲劳；或者通过外接手柄的方式，降低了设备的整体性，不便于用户携带和保存。
发明内容
本发明要解决的技术问题，是提供一种基于运动想象的交互确认的方法、系统和设备，减少用户的学习成本，增加产品交互的效率，提升设备的整体性；在用户选择后，快速确认。
为解决上述问题，本发明采用如下技术方案：
一种基于运动想象的确认的系统，包括以下部分：虚拟现实展示模块、对象选择模块、脑电信号采集处理模块。
其中，所述虚拟现实展示模块包含虚拟现实显示装置、声音传递装置、振动传递装置，虚拟现实展示装置完成了向用户展示一个虚拟的世界的功能。
所述对象选择模块为：实体按键、触摸按键、视线追踪装置、声音识别装置、肢体识别装置、振动识别装置中的一种或几种的组合进行对象的选择操作。
所述的脑电信号采集处理模块完成用户脑电信号的采集和处理，采集使用电极的方式，处理可以为单独的芯片也可以使用虚拟现实展示模块中的处理单元；将识别的结果传递给控制模块，这里的控制模块为虚拟现实展示模块。
一种基于运动想象的确认的方法，其特征在于，所述方法包括以下步骤：
步骤一，判断用户的模式是训练模式还是正常模式，如果是是训练模式，进入步骤二，否则直接进入步骤三；
步骤二，根据提示，完成用户训练数据的提取和处理；
步骤三，对用户正常模式中的采集的数据进行处理得到此时的运动想象类型；
步骤四，将处理结果输出给其他控制设备。
优选的，步骤一中判断用户的模式可以是手动选择也可是采用用户的生物特征进行识别，如虹膜。
所述步骤二中根据提示，提示为：虚拟现实展示模块展示特定的对象，可以为视觉元素中的提示对象、听觉元素中的提示对象、触觉元素中的提示对象中一种或几种组合。
优选的，步骤二中，完成用户训练数据的提取和处理的结果可以根据用户的选择决定是否存储该用户该次的训练结果。
所述步骤四中其他控制设备可以是虚拟现实展示设备或者外界的其他配件；其他控制设备根据处理结果设定确认逻辑。
同时还可以为：一种基于运动想象的确认的方法，其特征在于，所述方法包括以下步骤：
步骤一，进行离线训练；
步骤二，在线采集数据并进行处理得到此时的运动想象类型；
步骤三，将处理结果输出给其他控制设备。
所述步骤一中，离线训练至少采集一个人的数据进行训练，步骤一中的训练在出厂前完成，之后可以通过不断的收集不同人的不同时刻的数据更新训练结果，通过主动连接网络或者连接电脑进行升级该训练结果。
所述步骤三中其他控制设备可以是虚拟现实展示设备或者外界的其他配件；其他控制设备根据处理结果设定确认逻辑。
其工作原理是：将脑电信号传感器贴近头部放置，利用脑电信号传感器采集人体的脑电信号，初始阶段对这些信号进行训练分为几种运动想象类型，再实时的采集信号，将实时的信号应用训练好的模型，识别出此时的运动想象类型。
本发明可以实现的技术效果是：能够提高用户在虚拟现实交互体验中的体验效果，提升交互效率。
附图说明
图1：本发明的装置结构示意图；
图2：本发明的实施例一的流程图；
图3：本发明的实施例二的流程图。
附图说明：1、虚拟现实展示模块；2、对象选择模块；3、脑电信号采集处理模块。
具体实施方式
实施例一：本发明采用如下技术方案：
一种基于运动想象的确认的方法，其特征在于，包括以下步骤：
步骤一，判断用户的模式是训练模式还是正常模式，如果是是训练模式，进入步骤二，否则直接进入步骤三；
步骤二，根据提示，完成用户训练数据的提取和处理；
步骤三，对用户正常模式中的采集的数据进行处理得到此时的运动想象类型；
步骤四，将处理结果输出给其他控制设备。
所述步骤一中根据用户的虹膜识别出该用户的脑电模型是否训练过，如果训练过，则直接跳转到步骤三，如果没有，则正常进入步骤二。此时的判断方式还可以是，主动弹出对话框让用户选择是否进入步骤二训练。
所述步骤二中，提示可以是视觉上的提示，通过虚拟现实展示模块的显示装置显示；也可以是听觉上的提示，通过虚拟现实展示模块的声音装置提示用户；或者为触觉上的提示，通过虚拟现实展示模块中的振动装置展示给用户。
所述步骤二中的提示为上述方案中一种或几种的组合。
所述步骤二中，运动想象的类型数目可以为固定数或者允许用户根据需要增删类型数目，进行训练。
步骤二结束时，可以提示用户是否保存训练结果。
所述步骤三中，实时的采集数据并进行处理得到此时的运动想象类型。
之后，首先通过识别出瞳孔和普尔钦斑的位置，然后通过转换算法将其转化为屏幕上对应的区域，进行对象的选择操作；如果对象是图标，则对比图标的坐标和所述对应区域的坐标，如果满足条件则激活图标。
图标激活是VR设备对用户在交互界面内的图像进行确认前的提示环节，表现形式可以是突出图标，如：点亮图标、图标放大、图标的景深变浅、图标相对其他图标运动，或其它任何可以通过人体感官判断出的信息提示，如：文字提示、语音提示、振动提示等。
所述步骤四中，根据步骤三实时得到的结果，对上面选择的对象进行确认，输出给其他控制设备，所述其他控制设备可以为虚拟现实展示模块，控制其中的对象，也可以为与该系统连接的其他控制设备，比如外置机械臂。
本实施例中，确认是通过脑电信号采集处理模块自带的脑电信号传感器识别用户发出的信号来实现；并且自带骨传导传感器设置在用户头部，贴合头皮放置。
实施例二：
步骤一，进行离线训练；
步骤二，在线采集数据并进行处理得到此时的运动想象类型；
步骤三，将处理结果输出给其他控制设备。
所述步骤一中，离线训练至少采集一个人的数据进行训练，步骤一中的训练在出厂前完成，之后可以通过不断的收集不同人的不同时刻的数据更新训练结果，通过主动连接网络或者连接电脑进行升级该训练结果。
之后，首先通过识别出瞳孔和普尔钦斑的位置，然后通过转换算法将其转化为屏幕上对应的区域，进行对象的选择操作；如果对象是图标，则对比图标的坐标和所述对应区域的坐标，如果满足条件则激活图标。
之后转到步骤二中，在线采集数据并进行处理得到此时的运动想象类型。
所述步骤三中，根据步骤二实时得到的结果，对上面选择的对象进行确认，输出给其他控制设备，所述其他控制设备可以为虚拟现实展示模块，控制其中的对象，也可以为与该系统连接的其他控制设备，比如外置机械臂。
机实施例二是通过其他的方式可以省略实施例中的步骤二的方法，其余过程与实施例一相同。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (10)

1.一种基于运动想象的确认的系统，其特征在于，包括：虚拟现实展示模块、对象选择模块、脑电信号采集处理模块。
2.根据权利要求1所述的一种基于运动想象的确认的系统，其特征在于，所述虚拟现实展示模块包含虚拟现实显示装置、声音传递装置、振动传递装置。
3.根据权利要求1所述的一种基于运动想象的确认的系统，其特征在于，所述的对象选择模块为：实体按键、触摸按键、视线追踪装置、声音识别装置、肢体识别装置、振动识别装置中的一种或几种。
4.根据权利要求1所述的一种基于运动想象的确认的系统，其特征在于，所述的脑电信号采集处理模块完成用户脑电信号的采集和处理，将识别的结果传递给所述虚拟现实展示模块。
5.一种基于运动想象的确认的方法，其特征在于，所述方法包括以下步骤：
步骤一，判断用户的模式是训练模式还是正常模式，如果是训练模式，进入步骤二，否则直接进入步骤三；
步骤二，根据预设提示，完成用户训练数据的提取和处理；
步骤三，对用户正常模式中的数据进行处理得到此时的运动想象类型；
步骤四，将步骤三处理结果输出给其他控制设备。
6.根据权利要求5所述的一种基于运动想象的确认的方法，其特征在于：步骤二中，所述提示为：虚拟现实展示模块展示特定的对象，包括视觉元素中的提示对象、听觉元素中的提示对象、触觉元素中的提示对象中一种或几种；完成用户训练数据的提取和处理的结果可以根据用户的选择决定是否存储。
7.根据权利要求5所述的一种基于运动想象的确认的方法，其特征在于：步骤四中其他控制设备为虚拟现实展示设备或者外界的其他配件；其他控制设备根据处理结果设定确认逻辑。
8.一种基于运动想象的确认的方法，其特征在于，所述方法包括以下步骤：
步骤一，进行离线训练；
步骤二，在线采集数据并进行处理得到此时的运动想象类型；
步骤三，将处理结果输出给其他控制设备。
9.根据权利要求8所述的一种基于运动想象的确认的方法，其特征在于：步骤一中离线训练至少采集一个人的数据进行训练。
10.根据权利要求8所述的一种基于运动想象的确认的方法，其特征在于：步骤三中其他控制设备是虚拟现实展示设备或者外界的其他配件；其他控制设备根据处理结果设定确认逻辑。
CN201610934116.1A 2016-11-01 2016-11-01 一种基于运动想象的确认方法和系统 Pending CN108008810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610934116.1A CN108008810A (zh) 2016-11-01 2016-11-01 一种基于运动想象的确认方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610934116.1A CN108008810A (zh) 2016-11-01 2016-11-01 一种基于运动想象的确认方法和系统

Publications (1)

Publication Number Publication Date
CN108008810A true CN108008810A (zh) 2018-05-08

Family

ID=62047212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610934116.1A Pending CN108008810A (zh) 2016-11-01 2016-11-01 一种基于运动想象的确认方法和系统

Country Status (1)

Country Link
CN (1) CN108008810A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109464239A (zh) * 2019-01-09 2019-03-15 浙江强脑科技有限公司 基于脑波控制的智能轮椅
CN109814720A (zh) * 2019-02-02 2019-05-28 京东方科技集团股份有限公司 一种设备的脑控方法及系统
CN110442244A (zh) * 2019-08-22 2019-11-12 中国农业大学 一种基于脑机接口的虚拟现实游戏交互方法及系统
CN112154016A (zh) * 2018-06-21 2020-12-29 国际商业机器公司 物理治疗的虚拟环境

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056225A1 (en) * 1995-08-02 2001-12-27 Devito Drew Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
CN101382836A (zh) * 2008-09-05 2009-03-11 浙江大学 一个基于多媒介用户交互的电子绘画创作的方法
CN103300852A (zh) * 2012-10-19 2013-09-18 西安电子科技大学 基于运动想象脑电控制遥控小车的训练方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056225A1 (en) * 1995-08-02 2001-12-27 Devito Drew Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
CN101382836A (zh) * 2008-09-05 2009-03-11 浙江大学 一个基于多媒介用户交互的电子绘画创作的方法
CN103300852A (zh) * 2012-10-19 2013-09-18 西安电子科技大学 基于运动想象脑电控制遥控小车的训练方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112154016A (zh) * 2018-06-21 2020-12-29 国际商业机器公司 物理治疗的虚拟环境
CN109464239A (zh) * 2019-01-09 2019-03-15 浙江强脑科技有限公司 基于脑波控制的智能轮椅
CN109814720A (zh) * 2019-02-02 2019-05-28 京东方科技集团股份有限公司 一种设备的脑控方法及系统
CN109814720B (zh) * 2019-02-02 2021-01-26 京东方科技集团股份有限公司 一种设备的脑控方法及系统
CN110442244A (zh) * 2019-08-22 2019-11-12 中国农业大学 一种基于脑机接口的虚拟现实游戏交互方法及系统

Similar Documents

Publication Publication Date Title
US20210064132A1 (en) Systems, methods, and interfaces for performing inputs based on neuromuscular control
Mahmud et al. Interface for human machine interaction for assistant devices: A review
CN108008810A (zh) 一种基于运动想象的确认方法和系统
CN102778858B (zh) 操作一种用于操作、装配或加工工件的自动化机床的设备
KR101548156B1 (ko) 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법
CN108351701B (zh) 辅助技术控制系统及相关方法
CN106808461B (zh) 磁流变力反馈式数据手套及应用其实现远程操作的方法
CN106227339A (zh) 可穿戴设备、虚拟现实人机交互系统及方法
CN105912128B (zh) 面向智能机器人的多模态交互数据处理方法及装置
CN111656304B (zh) 通信方法及系统
CN110377053B (zh) 无人机的飞行控制方法和装置
US20240085990A1 (en) Systems and methods for gesture-based control
CN109605385A (zh) 一种混合脑机接口驱动的康复辅助机器人
CN104881122A (zh) 一种体感交互系统激活方法、体感交互方法及系统
Pathirage et al. A vision based P300 brain computer interface for grasping using a wheelchair-mounted robotic arm
CN110824979A (zh) 一种无人设备控制系统和方法
CN107463291A (zh) 基于触摸的具有人格化表现的机器人
CN104915003A (zh) 一种体感控制参数调整的方法、体感交互系统及电子设备
US20210232224A1 (en) Human-machine interface
CN113040791A (zh) 振动触发设备、手指抬起装置及触感手指运动康复系统
Wang et al. Multimodal Human–Robot Interaction for Human‐Centric Smart Manufacturing: A Survey
CN106020497A (zh) 显示设备、系统及显示处理方法
EP2216704B1 (en) System for remote management in ambient intelligence environments using electromyographic signals
Ozioko et al. Tactile communication system for the interaction between deafblind and robots
CN113942525A (zh) 一种用于与虚拟现实系统交互的控制车辆的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180508

RJ01 Rejection of invention patent application after publication