CN113741697A - 一种多模态融合技术的体感操作系统、方法、眼镜、装置 - Google Patents
一种多模态融合技术的体感操作系统、方法、眼镜、装置 Download PDFInfo
- Publication number
- CN113741697A CN113741697A CN202111047806.2A CN202111047806A CN113741697A CN 113741697 A CN113741697 A CN 113741697A CN 202111047806 A CN202111047806 A CN 202111047806A CN 113741697 A CN113741697 A CN 113741697A
- Authority
- CN
- China
- Prior art keywords
- information
- somatosensory
- fusion
- eyeball
- brain wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 80
- 230000003238 somatosensory effect Effects 0.000 title claims abstract description 54
- 238000005516 engineering process Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 14
- 239000011521 glass Substances 0.000 title claims abstract description 11
- 210000004556 brain Anatomy 0.000 claims abstract description 65
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 55
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种多模态融合技术的体感操作系统、方法、眼镜、装置，属于体感技术领域；本发明系统包括：脑电波信息获取模块、体感信息获取模块、眼球信息获取模块、融合分析模块、交互反馈模块；本发明基于多模态的融合，从脑电波的识别获取出发结合体感、眼球多模态信息，并将其进行融合，进而实现更加智慧的辅助体感操作；本发明是基于虚拟空间与现实环境的交互，对于虚拟环境下基于人体的多模态信息融合，进而实现用户与虚拟空间假设的虚拟人物进行智能交互，利用多模态信息的融合，智能研判用户的意图，并将意图转化实现虚拟人物的智能交互，能够大大提升虚拟人物在虚拟场景中的拟人化，对于建立人‑机、数字孪生工程有着巨大的帮助。
Description
技术领域
本发明属于体感技术领域，特别涉及一种多模态融合技术的体感操作系统、方法、眼镜、装置。
背景技术
多模态机器学习，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。多模态学习从1970年代起步，经历了几个发展阶段，在2010后全面步入Deep Learning阶段。人其实是一个多模态学习的总和；多模态学习是未来人工智能的发展方向。随着计算机能力的提升，虚拟现实、增强现实等虚拟现实交互的技术逐渐成为现实，但是目前而言还存留较多的空白，尤其是人机交互、数字孪生的发展越来越快，需求越来越明显，如何提高虚拟现实人机交互中机器的智能化显得尤为的重要，尤其是人在虚拟环境下，面对构建的虚拟人物如何实现虚拟人物更加的拟人化、智能化；
发明内容
(一)要解决的技术问题
基于上述内容，本发明有四种目的，第一个目的是基于多模态融合技术提出一种多模态融合技术的体感操作系统；第二个目的是基于构建好的系统提出一种相应的多模态融合技术的体感操作方法；第三个目的是基于系统提出一种装置用于搭载第一个目的所提出的系统，进而实现第二个目的中提出的方法；第四个目的在于提出一种装置用于辅助多模态融合技术的体感操作。
(二)技术方案
本发明通过如下技术方案实现：一种多模态融合技术的体感操作系统所述系统包括：
脑电波信息获取模块：用于识别获取脑电波信息；
体感信息获取模块：用于识别获取肢体信息；
眼球信息获取模块：用于识别眼球动作信息；
融合分析模块：用于对获取的脑电波信息、体感信息、眼球信息的多个多模态信息进行融合；
交互反馈模块：用于将融合分析模块融合的信息进行决策，并将决策信息进行反馈。
作为上述方案的进一步说明，所述脑电波信息获取模块包括脑电波识别芯片、至少四个温度传感芯片及至少两枚太阳穴监测芯片；其对应的脑电波多模态信息包括：脑电波信息、脑部前后左右四个区域的温度信息、心率信息。
作为上述方案的进一步说明，所述眼球信息获取模块对应获取眼球动态追踪信息、虹膜识别信息。
作为上述方案的进一步说明，融合分析模块包括特征提取模块及融合模块；
所述特征提取模块用于提取脑电波信息、体感信息、眼球信息的多个模态信息特征的提取，并通过通着判别当前环境下人体特征及需求信息；
所述融合模块用于将特征提取模块提取的特征信息及意图信息进行融合，生成融合需求。
作为上述方案的进一步说明，所述人体特征包括眼球聚焦位置、兴奋程度、肢体变化情况。
作为上述方案的进一步说明，所述交互模块根据脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息识别当前人对目标的眼球聚焦位置、兴奋程度；通过体感信息获判断对目标的需求；通过多模态信息的融合将决策信息反馈至目标，目标依据决策信息做出不同响应。
本发明还提出一种多模态融合技术的体感操作检测方法，所述方法包括如下步骤：
通过感知设备获取人体的脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息及肢体信息；
将获得的多个模态信息进行融合决策当前人对目标的眼球聚焦位置、兴奋程度及动作需求；
将决策信息反馈至目标并进行信息反馈。
本发明还提出一种多模态融合技术的体感操作眼镜，包括至少一个脑电波检测装置、眼球追踪装置、体感检测装置、显示装置、处理芯片、存储装置、及通讯装置；其中所述存储期内存储有执行代码，所述执行带帽能够被所述处理器执行并实现权利要求7所述的一种基于多模态融合技术的体感操作检测方法。
本发明还提出一种多模态融合技术的体感操作手持控制装置，使用者通过所述手持控制装置控制如权利要求1所述的一种基于多模态融合技术的体感操作系统中的基础控制。
(三)有益效果
本发明相对于现有技术，具有以下有益效果：本发明基于多模态的融合，从脑电波的识别获取出发，进而结合体感、眼球多模态信息，并将其进行融合，进而实现更加智慧的辅助体感操作；本发明建立的场景是基于虚拟空间与现实环境的交互，对于虚拟环境下基于人体的多模态信息融合，进而实现用户与虚拟空间假设的虚拟人物进行智能交互，而非传统的通过设定虚拟人物的语言脚本实现交互，本发明意在利用多模态信息的融合，并学习智能的研判用户的意图，并将意图转化为实际的语言并利用虚拟人物进行智能交互，能够大大提升虚拟人物在虚拟场景中的拟人化，对于建立人-机、数字孪生工程有着巨大的帮助。
具体实施方式
一种多模态融合技术的体感操作系统所述系统包括：
脑电波信息获取模块：用于识别获取脑电波信息；
体感信息获取模块：用于识别获取肢体信息；
眼球信息获取模块：用于识别眼球动作信息；
融合分析模块：用于对获取的脑电波信息、体感信息、眼球信息的多个多模态信息进行融合；
交互反馈模块：用于将融合分析模块融合的信息进行决策，并将决策信息进行反馈。
其中，所述脑电波信息获取模块包括脑电波识别芯片、至少四个温度传感芯片及至少两枚太阳穴监测芯片；其对应的脑电波多模态信息包括：脑电波信息、脑部前后左右四个区域的温度信息、心率信息。
其中，所述眼球信息获取模块对应获取眼球动态追踪信息、虹膜识别信息。
其中，融合分析模块包括特征提取模块及融合模块；
所述特征提取模块用于提取脑电波信息、体感信息、眼球信息的多个模态信息特征的提取，并通过通着判别当前环境下人体特征及需求信息；
所述融合模块用于将特征提取模块提取的特征信息及意图信息进行融合，生成融合需求。
其中，所述人体特征包括眼球聚焦位置、兴奋程度、肢体变化情况。
其中，所述交互模块根据脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息识别当前人对目标的眼球聚焦位置、兴奋程度；通过体感信息获判断对目标的需求；通过多模态信息的融合将决策信息反馈至目标，目标依据决策信息做出不同响应。
一种多模态融合技术的体感操作检测方法，所述方法包括如下步骤：
通过感知设备获取人体的脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息及肢体信息；
将获得的多个模态信息进行融合决策当前人对目标的眼球聚焦位置、兴奋程度及动作需求；
将决策信息反馈至目标并进行信息反馈。
一种多模态融合技术的体感操作眼镜，包括至少一个脑电波检测装置、眼球追踪装置、体感检测装置、显示装置、处理芯片、存储装置、及通讯装置；其中所述存储期内存储有执行代码，所述执行带帽能够被所述处理器执行并实现权利要求7所述的一种基于多模态融合技术的体感操作检测方法。
一种多模态融合技术的体感操作手持控制装置，使用者通过所述手持控制装置控制如权利要求1所述的一种基于多模态融合技术的体感操作系统中的基础控制。
工作原理：
实施例
本发明提一种多模态融合技术的体感操作系统所述系统，基于多模态的融合，从脑电波的识别获取出发，进而结合体感、眼球多模态信息，并将其进行融合，进而实现更加智慧的辅助体感操作；本发明建立的场景是基于虚拟空间与现实环境的交互，对于虚拟环境下基于人体的多模态信息融合，进而实现用户与虚拟空间假设的虚拟人物进行智能交互，而非传统的通过设定虚拟人物的语言脚本实现交互，本发明意在利用多模态信息的融合，并学习智能的研判用户的意图，并将意图转化为实际的语言并利用虚拟人物进行智能交互，能够大大提升虚拟人物在虚拟场景中的拟人化，对于建立人-机、数字孪生工程有着巨大的帮助；
本发明的包括：脑电波信息获取模块：用于识别获取脑电波信息；脑电波信息获取模块包括脑电波识别芯片、至少四个温度传感芯片及至少两枚太阳穴监测芯片；其对应的脑电波多模态信息包括：脑电波信息、脑部前后左右四个区域的温度信息、心率信息。通过在太阳穴附近设置电极芯片可以实时感知用户的心率、心跳，基于这类信息进而识别用户的情绪，相比于传统的表情识别，心率、温度、脑电波的信息更加贴近人的真实情绪，能够帮助计算机更加的了解用户的真实意图；
体感信息获取模块：用于识别获取肢体信息；并通过脑电波信息获取模块获取的信息进行辅助帮助；眼球信息获取模块：用于识别眼球动作信息；对应获取眼球动态追踪信息、虹膜识别信息，其中眼球动态追踪信息的目的在于对于视觉聚焦点的研判，提高融合分析模块研判分析的结果，避免分析误判；
融合分析模块：用于对获取的脑电波信息、体感信息、眼球信息的多个多模态信息进行融合；包括特征提取模块及融合模块；特征提取模块用于提取脑电波信息、体感信息、眼球信息的多个模态信息特征的提取，并通过通着判别当前环境下人体特征包括眼球聚焦位置、兴奋程度、肢体变化情况。及需求信息；融合模块用于将特征提取模块提取的特征信息及意图信息进行融合，生成融合需求。融合分析模块的用处在于将上述的模块进行转化融合，将各种信息进行统一，最后生成需求；
交互反馈模块：用于将融合分析模块融合的信息进行决策，并将决策信息进行反馈；所述交互模块根据脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息识别当前人对目标的眼球聚焦位置、兴奋程度；通过体感信息获判断对目标的需求；通过多模态信息的融合将决策信息反馈至目标，目标依据决策信息做出不同响应。
其次基于上述系统，本发明还建立了一种多模态融合技术的体感操作检测方法，通过感知设备获取人体的脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息及肢体信息；将获得的多个模态信息进行融合决策当前人对目标的眼球聚焦位置、兴奋程度及动作需求；将决策信息反馈至目标并进行信息反馈。
其次基于上述系统，本发明一种多模态融合技术的体感操作眼镜，包括至少一个脑电波检测装置、眼球追踪装置、体感检测装置、显示装置、处理芯片、存储装置、及通讯装置；其中所述存储期内存储有执行代码，所述执行带帽能够被所述处理器执行并实现一种基于多模态融合技术的体感操作检测方法。本发明眼镜的目的在于构建一部智能眼镜能够搭载本发明所提出的操作系统，同时基于本发明提出的系统及方法，实现在虚拟环境中的使用；
本发明基于实际的用途，还提出一种多模态融合技术的体感操作手持控制装置，使用者通过所述手持控制装置控制一种基于多模态融合技术的体感操作系统中的基础控制，在针对一些无法通过融合分析模块研判分析的情况下，便于用户利用手持控制装置进行额外的控制。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种多模态融合技术的体感操作系统，其特征在于，所述系统包括：
脑电波信息获取模块：用于识别获取脑电波信息；
体感信息获取模块：用于识别获取肢体信息；
眼球信息获取模块：用于识别眼球动作信息；
融合分析模块：用于对获取的脑电波信息、体感信息、眼球信息的多个多模态信息进行融合；
交互反馈模块：用于将融合分析模块融合的信息进行决策，并将决策信息进行反馈。
2.如权利要求1所述的一种多模态融合技术的体感操作系统，其特征在于：所述脑电波信息获取模块包括脑电波识别芯片、至少四个温度传感芯片及至少两枚太阳穴监测芯片；其对应的脑电波多模态信息包括：脑电波信息、脑部前后左右四个区域的温度信息、心率信息。
3.如权利要求1所述的一种多模态融合技术的体感操作系统，其特征在于：所述眼球信息获取模块对应获取眼球动态追踪信息、虹膜识别信息。
4.如权利要求1所述的一种多模态融合技术的体感操作系统，其特征在于：融合分析模块包括特征提取模块及融合模块；
所述特征提取模块用于提取脑电波信息、体感信息、眼球信息的多个模态信息特征的提取，并通过通着判别当前环境下人体特征及需求信息；
所述融合模块用于将特征提取模块提取的特征信息及意图信息进行融合，生成融合需求。
5.如权利要求4所述的一种多模态融合技术的体感操作系统，其特征在于：所述人体特征包括眼球聚焦位置、兴奋程度、肢体变化情况。
6.如权利要求1所述的一种多模态融合技术的体感操作系统，其特征在于：所述交互模块根据脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息识别当前人对目标的眼球聚焦位置、兴奋程度；通过体感信息获判断对目标的需求；通过多模态信息的融合将决策信息反馈至目标，目标依据决策信息做出不同响应。
7.一种多模态融合技术的体感操作检测方法，其特征在于，所述方法包括如下步骤：
通过感知设备获取人体的脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息及肢体信息；
将获得的多个模态信息进行融合决策当前人对目标的眼球聚焦位置、兴奋程度及动作需求；
将决策信息反馈至目标并进行信息反馈。
8.一种多模态融合技术的体感操作眼镜，其特征在于，包括至少一个脑电波检测装置、眼球追踪装置、体感检测装置、显示装置、处理芯片、存储装置、及通讯装置；其中所述存储期内存储有执行代码，所述执行带帽能够被所述处理器执行并实现权利要求7所述的一种基于多模态融合技术的体感操作检测方法。
9.一种多模态融合技术的体感操作手持控制装置，其特征在于：使用者通过所述手持控制装置控制如权利要求1所述的一种基于多模态融合技术的体感操作系统中的基础控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111047806.2A CN113741697A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态融合技术的体感操作系统、方法、眼镜、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111047806.2A CN113741697A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态融合技术的体感操作系统、方法、眼镜、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113741697A true CN113741697A (zh) | 2021-12-03 |
Family
ID=78736850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111047806.2A Pending CN113741697A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态融合技术的体感操作系统、方法、眼镜、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113741697A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103338265A (zh) * | 2013-07-10 | 2013-10-02 | 安徽大学 | 一种结合脑电和眼电的信息交互系统及信息交互方法 |
| CN106200943A (zh) * | 2016-06-30 | 2016-12-07 | 宇龙计算机通信科技(深圳)有限公司 | 虚拟现实设备控制方法、装置和系统 |
| CN108983636A (zh) * | 2018-06-20 | 2018-12-11 | 浙江大学 | 人机智能共生平台系统 |
| CN110269612A (zh) * | 2019-08-08 | 2019-09-24 | 西安慧脑智能科技有限公司 | 一种智能脑电采集仪 |
-
2021
- 2021-09-08 CN CN202111047806.2A patent/CN113741697A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103338265A (zh) * | 2013-07-10 | 2013-10-02 | 安徽大学 | 一种结合脑电和眼电的信息交互系统及信息交互方法 |
| CN106200943A (zh) * | 2016-06-30 | 2016-12-07 | 宇龙计算机通信科技(深圳)有限公司 | 虚拟现实设备控制方法、装置和系统 |
| CN108983636A (zh) * | 2018-06-20 | 2018-12-11 | 浙江大学 | 人机智能共生平台系统 |
| CN110269612A (zh) * | 2019-08-08 | 2019-09-24 | 西安慧脑智能科技有限公司 | 一种智能脑电采集仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fan et al. | Facial expression recognition with deeply-supervised attention network | |
| Kishore et al. | Optical flow hand tracking and active contour hand shape features for continuous sign language recognition with artificial neural networks | |
| CA3036208A1 (en) | Sensory eyewear | |
| CN111898407B (zh) | 一种基于人脸动作识别的人机交互操作系统 | |
| CN103294194B (zh) | 一种基于眼球跟踪的翻译方法及系统 | |
| CN111831119A (zh) | 眼球追踪方法、装置、存储介质及头戴式显示设备 | |
| CN107885124A (zh) | 一种增强现实环境中的脑眼协同控制方法及系统 | |
| Madhuri et al. | Vision-based sign language translation device | |
| CN107423392A (zh) | 基于ar技术的字、词典查询方法、系统及装置 | |
| CN112990074A (zh) | 基于vr的多场景自主式控制的混合脑机接口在线系统 | |
| CN110569775A (zh) | 一种识别人体姿势的方法、系统、存储介质及电子设备 | |
| Nan et al. | Learning to infer human attention in daily activities | |
| CN109634407B (zh) | 一种基于多模人机传感信息同步采集与融合的控制方法 | |
| CN109240510B (zh) | 基于视线追踪的增强现实人机交互设备及控制方法 | |
| Liu et al. | Gaze estimation with multi-scale channel and spatial attention | |
| CN113741697A (zh) | 一种多模态融合技术的体感操作系统、方法、眼镜、装置 | |
| CN111368663A (zh) | 自然场景中静态面部表情识别方法、装置、介质及设备 | |
| CN113961063A (zh) | 一种基于深度学习的多信息融合人机交互方法及系统 | |
| CN113420783B (zh) | 一种基于图文匹配的智能人机交互方法及装置 | |
| CN106815264B (zh) | 一种信息处理方法及系统 | |
| Rupanagudi et al. | Design and implementation of a novel eye gaze recognition system based on scleral area for mnd patients using video processing | |
| CN109145010B (zh) | 信息查询方法、装置、存储介质及穿戴式设备 | |
| Raees et al. | THE-3DI: Tracing head and eyes for 3D interactions: An interaction technique for virtual environments | |
| Liu et al. | Flow-guided spatial attention tracking for egocentric activity recognition | |
| Miah et al. | Mouse Cursor Movement and Control using Eye Gaze-A Human Computer Interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |