CN110442232A - 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 - Google Patents
联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 Download PDFInfo
- Publication number
- CN110442232A CN110442232A CN201910524880.5A CN201910524880A CN110442232A CN 110442232 A CN110442232 A CN 110442232A CN 201910524880 A CN201910524880 A CN 201910524880A CN 110442232 A CN110442232 A CN 110442232A
- Authority
- CN
- China
- Prior art keywords
- eye movement
- brain
- feature
- augmented reality
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 70
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 34
- 210000004556 brain Anatomy 0.000 claims abstract description 31
- 239000011521 glass Substances 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000005611 electricity Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 14
- 230000003993 interaction Effects 0.000 abstract description 13
- 238000007596 consolidation process Methods 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 7
- 241000270666 Testudines Species 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种联合眼动和脑机接口的可穿戴式增强现实机器人控制系统，能够应用到人机交互、机器人控制等领域。该系统由增强现实眼镜、眼动模块、脑机接口模块以及控制模块构成，增强现实眼镜用来提供眼动和脑机接口的交互界面；眼动模块采集人员眼动信息；脑机接口采集人员脑电信息；控制模块将二者采集的信息联合输入到神经网络模型中，用来综合预测人员的控制意图，获得人员控制指令。利用本发明系统，能够快速地应对多个机器人操作指令的选择，为机器人提供鲁棒精确的增强现实控制技术，能够适应多种应用场景。
Description
技术领域
本发明涉及人机交互、增强现实、脑机接口等领域，尤其涉及到一种联合眼动和脑机接口的可穿戴式增强现实机器人控制系统。
背景技术
增强现实眼镜是下一代智能终端的代表，相对于个人计算机、智能手机等终端，增强现实眼镜展示的信息更丰富更立体更便捷；另一方面，随着机器人的不断发展，机器人将融入到人类生活工作的各个方面，因此设计适用于可穿戴式增强现实交互的机器人控制系统是目前人机交互领域的热点研究问题。眼动交互和脑机接口交互是可穿戴式增强现实系统的关键交互模式，类似于电脑的鼠标键盘、智能手机的触屏，因为眼动交互和脑机接口交互是人员最自然的交互模式，也是最适应于可穿戴式增强现实系统交互模式。
当前眼动交互和脑机接口交互各有优缺点。其中眼动交互的优点是交互自然，人员无需多余操作即可在增强现实设备内进行多种操作，但当前眼动交互的精度较低，特别是在人员调整增强现实设备后，眼动交互只能定位到局部区域，而不能精确定位到交互点。脑机接口作为新兴的交互模式，随着脑电设备的不断发展，脑机接口能够精确捕获人员对特定频率视觉刺激的反应，在特定频率按钮选择交互过程中精确度较高，但是脑机接口目前所能应对的选择频率个数较少，难以推广到复杂应用场景。
发明内容
本发明的目的是通过以下技术方案实现的。
本发明正是从眼动和脑机接口的优缺点出发，将二者进行联合应用，使得二者的优缺点能够进行互补，即用眼动的多操作选择性，弥补脑机接口无法应对复杂场景的缺点；用脑机接口的精确性，弥补眼动的精度较低的缺点。其次本发明设计融合控制系统，将眼动信息和脑电信号融合输入到神经网络模型中，进行人员控制意图预测，而不是将眼动信息和脑电信号进行分开处理，本发明能够为可穿戴式增强现实机器人控制系统提供鲁棒精确的解决方案。
根据本发明的第一个方面，提供了一种联合眼动和脑机接口的可穿戴式增强现实机器人控制系统，包括：可穿戴式增强现实眼镜，用于显示控制界面；眼动模块，用于采集获得人员眼动图像信息；脑机接口模块，用于采集获得人员脑电信息；控制模块，用于将所述眼动图像信息和脑电信号联合输入到深度神经网络模型中，预测人员控制意图，生成机器人控制指令。
优选的，所述显示控制界面包括以下操作：前进、后退、左转、右转、加速、减速、机器人自动相机图像展示按键。
优选的，所述眼动模块采用Pupil眼动仪，固连在可穿戴式增强现实眼镜上。
优选的，所述脑机接口模块采用SSVEP脑电接口设备，获得人员对特定闪烁刺激的脑电信号。
优选的，所述眼动图像和脑电信号分别经过不同神经网络通道，获得各自的特征信息；通过特征融合层进行多模态特征融合；并进一步在融合特征的基础上进行神经网络高阶特征提取；最后结合特征分类层进行控制意图预测。
优选的，所述眼动图像信息包括眼睛图像以及眼动图像特征信息。
优选的，所述脑电信息包括脑电信号矩阵以及脑电特征信息。
优选的，所述将所述眼动图像信息和脑电信号联合输入到深度神经网络模型中，预测人员控制意图，包括：通过图像卷积网络提取眼动图像的特征，获得图像特征；通过时序网络提取脑电信息的特征，获得脑电时序信号特征；利用融合层对所述图像特征和脑电时序信号特征进行特征融合，获得融合特征；对所述融合特征进行神经网络特征提取，获得高阶信号特征；结合所述高阶信号特征和分类网络层预测控制意图。
根据本发明的第二个方面，还提供了一种联合眼动和脑机接口的可穿戴式增强现实机器人控制方法，包括：使用可穿戴式增强现实眼镜显示控制界面；使用眼动模块采集获得人员眼动图像信息；使用脑机接口模块采集获得人员脑电信息；将所述眼动图像信息和脑电信号联合输入到深度神经网络模型中，预测人员控制意图，生成机器人控制指令，控制所述机器人。
本发明的优点在于：(1)可利用眼动和脑机接口进行机器人操控；(2) 操控界面显示于可穿戴式设备中，并且增强显示在真实世界中，使得操控更加直观便捷；(3)操控特性既有眼动的多选择复杂操作特性，又包含脑机接口的精确控制特性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例中公开的整体控制处理流程图。
图2为本发明实施例中公开的眼动图像和脑电信号融合预测控制意图的处理流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
鉴于可穿戴式增强现实机器人控制系统的实际应用问题，本发明的目的在于提供一种联合眼动和脑机接口的可穿戴式增强现实机器人控制系统，能够与可穿戴式增强现实设备进行精确、复杂的人机交互；能够联合眼动和脑机接口进行机器人控制。
图1给出了本发明系统的总体流程图，其中包含4个关键步骤，分别是增强现实交互界面显示、眼动模块、脑电模块、多模态神经网络处理模块、以及控制指令发送模块，本实施例将对上述关键步骤进行细节描述。具体的，本发明提供一种联合眼动和脑机接口的可穿戴式增强现实机器人控制系统，处理流程如图1 所示，关键步骤如下：
S1、在可穿戴式增强现实设备中进行控制交互界面显示；
本实施例选择Hololens眼镜作为可穿戴式增强现实交互平台，机器人选择Turtle作为控制目标。可基于相应的Hololens软件开发平台UWP，设计相应的 Turtle机器人控制界面，主要包括以下操作：前进、后退、左转、右转、加速、减速、机器人自动相机图像展示等按键。
本发明通过将机器人控制界面输出显示在人员可穿戴的增强现实设备上，控制指令界面可以跟现实世界进行混合显示，使得人员控制目标场景简单明确。
S2.1眼动模块捕获人员眼动图像信息；眼动模块主要作用是采集获得人员的眼动图像信息，本实施例选择Pupil眼动仪进行眼动图像信息采集。
S2.2脑机接口模块捕获人员脑电信息；脑电模块主要作用是采集获得人员的脑电信号，本实施例选择SSVEP脑电接口设备，获得人员对特定闪烁刺激的脑电信号。
S3.控制模块将眼动图像信息和脑电信息，融合输入到神经网络模型中进行人员控制意图预测。其中，眼动图像和脑电信号分别经过不同神经网络通道，获得各自的特征信息；通过特征融合层进行多模态特征融合；并进一步在融合特征的基础上进行神经网络高阶特征提取；最后结合特征分类层进行控制意图预测。
S4.发送控制指令到远程机器人，进行机器人操控。例如，将获得的人员控制意图，转换成控制指令，发送到机器人Turtle端，进行机器人远程操控。
其中，本发明在步骤S1中需要在可穿戴式增强现实设备中进行控制交互界面显示，不同于常规交互模式将交互界面显示在特定显示屏幕上，本发明将交互界面增强叠加显示到真实世界中，使得交互控制操作更直观便捷。
本发明在步骤S2.1中利用眼动模块捕获人员眼动信息，获得眼睛图像，以及眼动图像特征信息。
本发明在步骤S2.2中利用脑电模块捕获人员脑电信息，获得脑电信号矩阵，以及脑电特征信息。
进一步，本发明在步骤S3中，将眼动图像和脑电信息融合输入到神经网络模型中，进行人员控制意图预测，处理流程如图2所示，关键步骤如下：
S3.1眼动图像通过图像卷积网络进行特征提取；同步的，脑电信息进行时序网络进行特征提取；例如，眼动图像通过Yolo v3基础网络进行特征提取，即可获得眼动图像特征[x1,x2,…,xN]；脑电信号则通过LSTM神经网络进行特征提取，获得脑电信号特征[y1,y2,…,yM]。
S3.2将提取获得的图像特征和脑电时序信号特征，利用融合层进行特征融合；
例如，特征融合可使用全连接层进行融合，即融合特征[z1,z2,…,zK]可通过下式获得：
其中aki,bkj分别表示图像特征xi,yj到融合特征zk的影响权重，可通过大数据训练获得。
S3.3将融合获得特征进一步进行神经网络特征提取，获得高阶信号特征；
例如，融合特征可进一步通过LSTM神级网络进行时序融合特征提取，获得最终融合特征[t1,t2,…,tT]。
S3.4在高阶信号特征的基础上，结合分类网络层进行控制意图预测。
分类网络层可通过全连接层进行实现，即将融合特征分类为L个目标的概率为[P1,P2,…,PL]，分类概率计算公式为：
其中cli表示融合特征ti影响第l个分类目标的权重，可通过大数据训练获得。
最后，在步骤S4中将预测的控制意图转换成机器人控制指令，进行远程机器人控制，实现联合眼动和脑机接口的可穿戴式增强现实机器人控制。
本发明通过将眼动信号和脑电信号进行联合同步输入，而不是将二者信息进行分开处理；其次是采用深度神经网络模型进行控制意图预测，不需要人员进行手部或者其他肢体动作，即可获得人员控制小车的指令信息。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种联合眼动和脑机接口的可穿戴式增强现实机器人控制系统，其特征在于，包括：
可穿戴式增强现实眼镜，用于显示控制界面；
眼动模块，用于采集获得人员眼动图像信息；
脑机接口模块，用于采集获得人员脑电信息；
控制模块，用于将所述眼动图像信息和脑电信号联合输入到深度神经网络模型中，预测人员控制意图，生成机器人控制指令。
2.根据权利要求1所述的系统，其特征在于：
所述显示控制界面包括以下操作：前进、后退、左转、右转、加速、减速、机器人自动相机图像展示按键。
3.根据权利要求1所述的系统，其特征在于：
所述眼动模块采用Pupil眼动仪，固连在可穿戴式增强现实眼镜上。
4.根据权利要求1所述的系统，其特征在于：
所述脑机接口模块采用SSVEP脑电接口设备，获得人员对特定闪烁刺激的脑电信号。
5.根据权利要求1所述的系统，其特征在于：
所述眼动图像和脑电信号分别经过不同神经网络通道，获得各自的特征信息；通过特征融合层进行多模态特征融合；并进一步在融合特征的基础上进行神经网络高阶特征提取；最后结合特征分类层进行控制意图预测。
6.根据权利要求1所述的系统，其特征在于：
所述眼动图像信息包括眼睛图像以及眼动图像特征信息。
7.根据权利要求1所述的系统，其特征在于：
所述脑电信息包括脑电信号矩阵以及脑电特征信息。
8.根据权利要求1所述的系统，其特征在于：
所述将所述眼动图像信息和脑电信号联合输入到深度神经网络模型中，预测人员控制意图，包括：
通过图像卷积网络提取眼动图像的特征，获得图像特征；通过时序网络提取脑电信息的特征，获得脑电时序信号特征；
利用融合层对所述图像特征和脑电时序信号特征进行特征融合，获得融合特征；
对所述融合特征进行神经网络特征提取，获得高阶信号特征；
结合所述高阶信号特征和分类网络层预测控制意图。
9.一种联合眼动和脑机接口的可穿戴式增强现实机器人控制方法，其特征在于，包括：
使用可穿戴式增强现实眼镜显示控制界面；
使用眼动模块采集获得人员眼动图像信息；
使用脑机接口模块采集获得人员脑电信息；
将所述眼动图像信息和脑电信号联合输入到深度神经网络模型中，预测人员控制意图，生成机器人控制指令，控制所述机器人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910524880.5A CN110442232A (zh) | 2019-06-18 | 2019-06-18 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910524880.5A CN110442232A (zh) | 2019-06-18 | 2019-06-18 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442232A true CN110442232A (zh) | 2019-11-12 |
Family
ID=68429262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910524880.5A Pending CN110442232A (zh) | 2019-06-18 | 2019-06-18 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442232A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166612A (zh) * | 2018-08-14 | 2019-01-08 | 龚映清 | 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 |
| CN111176447A (zh) * | 2019-12-25 | 2020-05-19 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合深度网络和几何模型的增强现实眼动交互方法 |
| CN111625089A (zh) * | 2020-04-28 | 2020-09-04 | 宇龙计算机通信科技(深圳)有限公司 | 智能眼镜控制方法、装置、存储介质及智能眼镜 |
| CN111890389A (zh) * | 2020-06-22 | 2020-11-06 | 东南大学 | 基于多模态交互接口的多移动机器人协同控制系统 |
| CN111973273A (zh) * | 2020-08-31 | 2020-11-24 | 上海交通大学医学院附属第九人民医院 | 基于ar技术的手术导航系统、方法、设备和介质 |
| CN112114662A (zh) * | 2020-08-03 | 2020-12-22 | 西安交通大学 | 一种现实增强的自适应动态多场景诱发脑控方法 |
| CN112650393A (zh) * | 2020-12-23 | 2021-04-13 | 航天时代电子技术股份有限公司 | 头戴式遥操作控制设备 |
| CN112990074A (zh) * | 2021-03-31 | 2021-06-18 | 北京理工大学 | 基于vr的多场景自主式控制的混合脑机接口在线系统 |
| CN113064490A (zh) * | 2021-04-06 | 2021-07-02 | 上海金陵电子网络股份有限公司 | 一种基于眼动轨迹的虚拟增强设备及其识别方法 |
| CN113069125A (zh) * | 2021-03-18 | 2021-07-06 | 上海趣立信息科技有限公司 | 基于脑电波和眼动追踪的头戴设备控制系统、方法及介质 |
| CN113253850A (zh) * | 2021-07-05 | 2021-08-13 | 中国科学院西安光学精密机械研究所 | 一种基于眼动追踪与脑电信号的多任务协同操作方法 |
| US11179089B1 (en) | 2021-05-19 | 2021-11-23 | King Abdulaziz University | Real-time intelligent mental stress assessment system and method using LSTM for wearable devices |
| CN114161414A (zh) * | 2021-12-03 | 2022-03-11 | 中国科学院沈阳自动化研究所 | 一种基于脑电和视觉的水下机械手控制系统及方法 |
| CN114527867A (zh) * | 2021-11-18 | 2022-05-24 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种融合眼位信息的无人机脑机辅助控制方法及设备 |
| CN115225682A (zh) * | 2021-04-15 | 2022-10-21 | 本田技研工业株式会社 | 管理服务器、远程操作系统、远程操作方法以及存储介质 |
| CN116360602A (zh) * | 2023-05-16 | 2023-06-30 | 中国第一汽车股份有限公司 | 一种脑机接口功能改进、测试方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108255293A (zh) * | 2017-12-07 | 2018-07-06 | 中国航空工业集团公司西安航空计算技术研究所 | 眼动-脑电混合人机接口系统架构 |
| CN109009173A (zh) * | 2018-08-30 | 2018-12-18 | 北京机械设备研究所 | 一种基于脑电-眼动双模态信号的疲劳检测与调控方法 |
| WO2019040665A1 (en) * | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
| CN109634407A (zh) * | 2018-11-08 | 2019-04-16 | 中国运载火箭技术研究院 | 一种基于多模人机传感信息同步采集与融合的控制方法 |
-
2019
- 2019-06-18 CN CN201910524880.5A patent/CN110442232A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019040665A1 (en) * | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
| CN108255293A (zh) * | 2017-12-07 | 2018-07-06 | 中国航空工业集团公司西安航空计算技术研究所 | 眼动-脑电混合人机接口系统架构 |
| CN109009173A (zh) * | 2018-08-30 | 2018-12-18 | 北京机械设备研究所 | 一种基于脑电-眼动双模态信号的疲劳检测与调控方法 |
| CN109634407A (zh) * | 2018-11-08 | 2019-04-16 | 中国运载火箭技术研究院 | 一种基于多模人机传感信息同步采集与融合的控制方法 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166612A (zh) * | 2018-08-14 | 2019-01-08 | 龚映清 | 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 |
| CN109166612B (zh) * | 2018-08-14 | 2020-11-06 | 深圳睿瀚医疗科技有限公司 | 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 |
| CN111176447A (zh) * | 2019-12-25 | 2020-05-19 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合深度网络和几何模型的增强现实眼动交互方法 |
| CN111625089A (zh) * | 2020-04-28 | 2020-09-04 | 宇龙计算机通信科技(深圳)有限公司 | 智能眼镜控制方法、装置、存储介质及智能眼镜 |
| CN111625089B (zh) * | 2020-04-28 | 2024-04-16 | 宇龙计算机通信科技(深圳)有限公司 | 智能眼镜控制方法、装置、存储介质及智能眼镜 |
| CN111890389A (zh) * | 2020-06-22 | 2020-11-06 | 东南大学 | 基于多模态交互接口的多移动机器人协同控制系统 |
| CN112114662A (zh) * | 2020-08-03 | 2020-12-22 | 西安交通大学 | 一种现实增强的自适应动态多场景诱发脑控方法 |
| CN111973273A (zh) * | 2020-08-31 | 2020-11-24 | 上海交通大学医学院附属第九人民医院 | 基于ar技术的手术导航系统、方法、设备和介质 |
| CN112650393A (zh) * | 2020-12-23 | 2021-04-13 | 航天时代电子技术股份有限公司 | 头戴式遥操作控制设备 |
| CN113069125A (zh) * | 2021-03-18 | 2021-07-06 | 上海趣立信息科技有限公司 | 基于脑电波和眼动追踪的头戴设备控制系统、方法及介质 |
| CN112990074A (zh) * | 2021-03-31 | 2021-06-18 | 北京理工大学 | 基于vr的多场景自主式控制的混合脑机接口在线系统 |
| CN113064490A (zh) * | 2021-04-06 | 2021-07-02 | 上海金陵电子网络股份有限公司 | 一种基于眼动轨迹的虚拟增强设备及其识别方法 |
| CN115225682B (zh) * | 2021-04-15 | 2024-01-19 | 本田技研工业株式会社 | 管理服务器、远程操作系统、远程操作方法以及存储介质 |
| CN115225682A (zh) * | 2021-04-15 | 2022-10-21 | 本田技研工业株式会社 | 管理服务器、远程操作系统、远程操作方法以及存储介质 |
| US11179089B1 (en) | 2021-05-19 | 2021-11-23 | King Abdulaziz University | Real-time intelligent mental stress assessment system and method using LSTM for wearable devices |
| US11337639B1 (en) | 2021-05-19 | 2022-05-24 | King Abdulaziz University | System for mental stress assessment |
| US11344248B1 (en) | 2021-05-19 | 2022-05-31 | King Abdulaziz University | Wearable stress assessment system with EEG sensors |
| CN113253850A (zh) * | 2021-07-05 | 2021-08-13 | 中国科学院西安光学精密机械研究所 | 一种基于眼动追踪与脑电信号的多任务协同操作方法 |
| CN114527867A (zh) * | 2021-11-18 | 2022-05-24 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种融合眼位信息的无人机脑机辅助控制方法及设备 |
| CN114161414A (zh) * | 2021-12-03 | 2022-03-11 | 中国科学院沈阳自动化研究所 | 一种基于脑电和视觉的水下机械手控制系统及方法 |
| CN114161414B (zh) * | 2021-12-03 | 2023-09-19 | 中国科学院沈阳自动化研究所 | 一种基于脑电和视觉的水下机械手控制系统及方法 |
| CN116360602B (zh) * | 2023-05-16 | 2023-08-18 | 中国第一汽车股份有限公司 | 一种脑机接口功能改进、测试方法、装置、设备及介质 |
| CN116360602A (zh) * | 2023-05-16 | 2023-06-30 | 中国第一汽车股份有限公司 | 一种脑机接口功能改进、测试方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442232A (zh) | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 | |
| CN107656613B (zh) | 一种基于眼动追踪的人机交互系统及其工作方法 | |
| CN102854983B (zh) | 一种基于手势识别的人机交互方法 | |
| CN101344816B (zh) | 基于视线跟踪和手势识别的人机交互方法及装置 | |
| CN101477631B (zh) | 图像中提取目标的方法、设备及人机交互系统 | |
| CN102945078A (zh) | 人机交互设备及人机交互方法 | |
| CN104793731A (zh) | 可穿戴设备的信息输入方法及可穿戴设备 | |
| CN110442233A (zh) | 一种基于手势交互的增强现实键鼠系统 | |
| CN108073851B (zh) | 一种抓取手势识别的方法、装置及电子设备 | |
| CN114265498B (zh) | 一种多模态手势识别和视觉反馈机制结合的方法 | |
| CN112990074A (zh) | 基于vr的多场景自主式控制的混合脑机接口在线系统 | |
| CN110428470B (zh) | 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 | |
| CN206162388U (zh) | 一种脑机交互穿戴系统 | |
| CN109993131A (zh) | 一种基于多模态信号融合的设计意图判别系统及方法 | |
| CN106293099A (zh) | 手势识别方法及系统 | |
| CN107589628A (zh) | 一种基于手势识别的全息投影装置及其工作方法 | |
| CN110688910A (zh) | 一种可穿戴人体基本姿态识别的实现方法 | |
| CN107132915A (zh) | 一种基于动态脑功能网络连接的脑‑机接口方法 | |
| CN105975158A (zh) | 虚拟现实交互的方法及装置 | |
| CN111857338A (zh) | 一种适合大屏幕上使用移动应用的方法 | |
| Abdallah et al. | An overview of gesture recognition | |
| CN111079951A (zh) | 一种基于ar的主设备检修大数据快速建模系统 | |
| CN111310655A (zh) | 基于关键帧和组合注意力模型的人体动作识别方法和系统 | |
| CN109597483A (zh) | 一种基于体感交互的会议方案演示装置及方法 | |
| CN108875714A (zh) | 帮助盲人寻找物品的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |
|
| RJ01 | Rejection of invention patent application after publication |