CN111897413A - 一种虚拟现实、增强现实、融合现实手部操作方法及装置 - Google Patents
一种虚拟现实、增强现实、融合现实手部操作方法及装置 Download PDFInfo
- Publication number
- CN111897413A CN111897413A CN201910372917.7A CN201910372917A CN111897413A CN 111897413 A CN111897413 A CN 111897413A CN 201910372917 A CN201910372917 A CN 201910372917A CN 111897413 A CN111897413 A CN 111897413A
- Authority
- CN
- China
- Prior art keywords
- information
- module
- hand
- data
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 8
- 230000004927 fusion Effects 0.000 title claims abstract description 4
- 230000010365 information processing Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 12
- 239000011521 glass Substances 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims 2
- 238000013524 data verification Methods 0.000 claims 1
- 238000011084 recovery Methods 0.000 claims 1
- 238000012546 transfer Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种可用于虚拟现实、增强现实、融合现实的手部操作方法及装置，主要是通过结构光传感器模块来实时获得手部信息，其特征在于，包括：信息处理模块、电池模块、结构光传感器模块、网络通讯模块、陀螺仪（可选）、红外线探测模块（可选）、较舒适的带子。本发明从简洁出发，提供了一种较简洁且相对传统虚拟现实手套较方便的，在虚拟现实中基于手的操作方法和装置，较适合长时间使用。
Description
技术领域
本发明涉及虚拟现实系统技术领域和数字化控制领域，具体涉及一种基于虚拟现实仿真模拟的数据手套装置。
背景技术
传统的虚拟现实手套略冗余，覆盖全手的手套佩戴时较不方便，并且佩戴时相对较繁琐，较容易增加手汗、较易损坏，较难长时间佩戴等缺点。本发明从简洁出发，提供了一种较简洁且相对较省力的虚拟现实中基于手的交互方法和装置，较适合长期使用。本发明也可用于基于手部动作的控制方法和装置。
发明内容
本公开的目的是提供一种可用于虚拟现实、增强现实、融合现实的手部操作方法及装置，能够较简洁的佩戴，较容易的操作，以较适应较长时间的使用。
根据本公开的一个方面，提供一种可用于虚拟现实、增强现实、融合现实的手部操作装置，其特征在于，包括：信息处理模块、电池模块、结构光传感器模块、网络通讯模块、陀螺仪（可选）、红外线探测模块（可选）、较舒适的带子。
作为一种可选的实施方式，所述信息处理模块负责处理结构光传感器模块收到的结构光信息，通过处理得出手指、手掌或骨骼等信息，并能通过网络模块与网络连接设备进行交互的模块。
优选地，信息处理模块可镶嵌或放置在较舒适的带子（简称手带）中，并通过线路（可内置在手带中）与手带上的结构光传感器模块相连，以获取电量和交换数据等。
优选地，结构光传感器模块可以包括一个或多个结构光传感器设备。
优选地，电池可以布置在手背处，与信息处理模块相连以提供电源。
作为一种可选的实施方式，电池可从手带上拆卸。
优选地，网络模块与信息处理模块相连接，能够将数据同步给与本装置网络连接的设备。
优选地，建立网络连接的方式可以是有线也可以是无线方式。
可选地，如果配备陀螺仪模块的话，陀螺仪模块与信息处理模块连接，并优先布置在例如手背等较能跟踪整个手朝向反馈信息的部位。
可选地，如果在某一种可选的实施方式中配备了红外线探测模块的话，红外线探测模块与信息处理模块连接，以完成将红外线探测信息传递给信息处理模块来辅助识别手的部位的目的。
优选地，结构光传感器模块在手部装置的主要部署位置是手掌下方或拇指根部，参照图1示意图和图2示意图。
作为一种可选的实施方式，可以将手带变成手夹或其他能够在手上较固定的简易形状，来满足需要。
根据本公开的一个方面，提供一种可用于虚拟现实、增强现实、融合现实的手部操作方法，其特征在于，包括：结构光模块收集信息，将信息传送到信息处理模块中，信息处理模块将信息处理后，将处理结果通过网络模块发送给眼镜或与本装置网络连接的设备。
优选地，结构光模块收集到的图像按照手的特征信息来识别和定位到手指和手掌的信息，依据手指和手掌的信息来计算骨骼等信息。
可选地，当配备了红外线探测模块时，可以根据红外线探测模块中的数据来优先处理图像中温度接近手温的区域所对应的结构光传感器深度信息中的对应区域的数据。
可选地，可以增加专门的陀螺仪模块来捕捉手的转动等相关信息。
作为一种可选的实施方式，可以在信息处理模块中处理结构光传感器模块的数据，识别出骨骼等信息，通过网络模块发送给眼镜或接受处理手部信息的设备。
作为一种可选的实施方式，信息处理模块可以将结构光传感器的数据简化或\和压缩后，通过网络模块发送给眼镜或接受处理手部信息的设备来进行处理或\和识别。
优选地，与本发明所述手部设备连接的设备可以通过指令或编程接口设置关注的特定手指信息，来调整或影响信息处理模块的计算量和关注信息，以在必要时提高刷新频率或降低数据传输量等目的，例如只关注食指的信息。
优选地，一个虚拟现实系统对一个操作者可以配备多个手部操作装置，各个手部操作装置可以同时发挥作用也可以只有部分发挥作用，并可以对每个手部操作装置设置某操作的权限。
优选地，本发明所述手部操作装置上可以有暂停\恢复按钮来暂停或恢复手部操作的处理、识别、发送等功能。
可选地，暂停\恢复按钮可以部署在手带上或其他方便单手操作的位置。
可选地，可以增加陀螺仪模块来辅助获取手臂的运动等数据。
优选地，本发明的手部操作装置将识别出来的骨骼信息发送给眼镜或接受处理设备，由眼镜或接受处理设备根据骨骼的各种形态，识别出进一步的意图或操作以影响虚拟现实环境。
优选地，本方法可以结合眼镜来辅助对双手进行位置上的定位，但本方法并不依赖眼镜对手的位置的定位辅助。
可选地，当配备陀螺仪时，可以出于某种原因在设备第一次使用时进行一次陀螺仪参数信息的校验。
优选地，可以在连接本手部装置的信息处理端，根据需要对不同的手型或\和手部动作的含义进行设置。
优选地，当结构光传感器模块获取数据不完全时，本发明的手部装置或连接的信息处理装置能够根据经验库计算出部位或提示用户调整佩戴位置。
优选地，可以虚拟现实应用中通过开发接口对本发明装置的手指移动识别敏感度进行设置和\或调节。
作为一种可选的实施方式，可以将电池布置在手臂上通过线路连接本发明装置，以降低本发明装置的手部佩戴设备总重量。
附图说明
图1为示意性示出一种结构光传感器部署在手掌附近的手面示意图。
图2为示意性示出一种结构光传感器部署在手掌附近的手背示意图。
图3为示意性示出一种结构光传感器部署在拇指附近的手面示意图。
图4为示意性示出一种结构光传感器部署在拇指附近的手背示意图。
上述示意图只作为本发明结构光传感器模块的一种可能的实施位置的示意展示，方便示意或是表明本发明的一种部署情况的合理性，而不是用作限制本发明。
以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化、替换或简化，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。
Claims (6)
1.一种可用于虚拟现实、增强现实、融合现实的手部数据获取装置，其特征在于，包括：信息处理模块、电池模块、结构光传感器模块、网络通讯模块、陀螺仪（可选）、红外线探测模块（可选）、较舒适的带子、暂停和恢复按钮；
所述信息处理模块用于处理和\或整理获取的传感器信息；
所述电池模块用于储存和供应电量，并且可以允许电池从其放置的供电接口上卸下；
所述结构光传感器模块用于获取手的深度信息；
所述网络通讯模块负责将数据通过有线或无线网络方式同步给眼镜或需要用到本发明手部装置进行数据交互的设备；
所述陀螺仪（可选），用以辅助获取手的朝向等信息；
所述红外线探测模块（可选），用以获取手部红外线数据；
所述较舒适的带子是一种适合较长时间佩戴的带子，其中有必要的电路来完成信息传递或供电，并且可以支撑、容纳或携带电池和传感器，并可以带有软垫；
所述暂停和恢复按钮用来暂停或恢复当前操作，主要部署在较舒适的带子上或其他方便单手操作的位置。
2.一种可用于虚拟现实、增强现实、融合现实的手部操作方法，其特征在于，包括：
步骤一：结构光模块工作并收集信息；
步骤二：从结构光模块收集的信息中识别出手指和手掌等信息；
步骤三：根据识别出手指和手掌等信息抽象出具体的信息，包括但不限于骨骼信息，将指定数据发送给目标接收设备，如果有陀螺仪信息也可此时一并发送；
步骤四：目标接收设备会根据接收到的骨骼等信息，从可设置的姿势库中识别出对应的含义并进行相应表达或执行对应功能。
3.根据权利要求2所述的“步骤一”，其特征在于，结构光模块工作并收集信息，包括：
通过结构光模块获取信息；
结构光模块获取的信息应该是尽量超过60度的较广角的信息，或可以多个结构光设备收集到的信息拼成超过60度的较广角信息；
将获取到的信息传输到所述信息处理模块进行处理。
4.根据权利要求2所述的“步骤二”，其特征在于，从结构光模块收集的信息中识别出手指和手掌等信息，包括：
依据手指和手掌的特征从结构光数据中识别出手指和手掌；
为了更快速的识别，可以记录之前的识别结果，以便比较。
5.根据权利要求2所述的“步骤三”，其特征在于，根据识别出手指和手掌等信息抽象出具体的信息，包括但不限于骨骼信息，将指定数据发送给目标接收设备，如果有陀螺仪信息也可此时一并发送，包括：
从结构光信息中抽象出手掌的朝向，或以此为依据计算出手指的朝向，以及根据手指信息抽象出骨骼等所需信息；
作为一种可选的实施方式，在配备了陀螺仪时，可结合陀螺仪数据验证或修正手部信息的识别结果，进行有限校验或\和修正；
将手指骨骼和手掌信息或中间数据发送给眼镜或负责手部数据处理的模块，如果有陀螺仪信息也发送；
作为一种可选的实施方式，此处手部设备可以被眼镜或负责手部数据处理的模块设定只发送部分信息以换取更频繁的识别或交互速度，例如只发送食指的信息；
作为一种可选的实施方式，如果部署了红外线探测模块，可以根据红外线探测模块中的数据来优先处理图像中温度接近手温的区域所对应的结构光传感器深度信息中的对应区域的数据。
6.根据权利要求2所述的“步骤四”，其特征在于，目标接收设备会根据接收到的骨骼等信息，从可设置的姿势库中识别出对应的含义并进行相应表达或执行对应功能，包括：
目标接收设备通常是眼镜或计算机；
目标接收设备会按照预设的手势库来识别出当前手势的含义；
目标接收设备也可结合之前收到的信息识别出手当前的动作，可以结合当前手势来一起判定其含义。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372917.7A CN111897413A (zh) | 2019-05-06 | 2019-05-06 | 一种虚拟现实、增强现实、融合现实手部操作方法及装置 |
| PCT/CN2020/088563 WO2020224566A1 (zh) | 2019-05-06 | 2020-05-03 | 一种虚拟现实、增强现实、融合现实手部操作方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372917.7A CN111897413A (zh) | 2019-05-06 | 2019-05-06 | 一种虚拟现实、增强现实、融合现实手部操作方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111897413A true CN111897413A (zh) | 2020-11-06 |
Family
ID=73050660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910372917.7A Pending CN111897413A (zh) | 2019-05-06 | 2019-05-06 | 一种虚拟现实、增强现实、融合现实手部操作方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111897413A (zh) |
| WO (1) | WO2020224566A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021136502A1 (zh) * | 2020-01-02 | 2021-07-08 | 于毅欣 | 一种可用于获取手部数据的方法和装置 |
| WO2021136501A1 (zh) * | 2020-01-02 | 2021-07-08 | 于毅欣 | 一种可用于获取手部数据的方法和装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199228A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Gesture Keyboarding |
| EP2613223A1 (en) * | 2012-01-09 | 2013-07-10 | Softkinetic Software | System and method for enhanced gesture-based interaction |
| CN102915111B (zh) * | 2012-04-06 | 2017-05-31 | 寇传阳 | 一种腕上手势操控系统和方法 |
| CN105868738B (zh) * | 2016-05-03 | 2021-11-09 | 深圳市君康源智能科技有限公司 | 一种智能手环 |
| CN206178663U (zh) * | 2016-09-14 | 2017-05-17 | 深圳市掌网科技股份有限公司 | 手势指令判断装置 |
| CN106873775A (zh) * | 2017-01-16 | 2017-06-20 | 深圳中科呼图电子商务有限公司 | 一种虚拟现实交互的实现方法、系统及mr手套 |
| CN206470696U (zh) * | 2017-02-24 | 2017-09-05 | 广州幻境科技有限公司 | 一种快速微小手势的识别装置 |
-
2019
- 2019-05-06 CN CN201910372917.7A patent/CN111897413A/zh active Pending
-
2020
- 2020-05-03 WO PCT/CN2020/088563 patent/WO2020224566A1/zh active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021136502A1 (zh) * | 2020-01-02 | 2021-07-08 | 于毅欣 | 一种可用于获取手部数据的方法和装置 |
| WO2021136501A1 (zh) * | 2020-01-02 | 2021-07-08 | 于毅欣 | 一种可用于获取手部数据的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020224566A1 (zh) | 2020-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102411100B1 (ko) | 디바이스를 이용한 화면 처리 방법 및 장치 | |
| JP6751116B2 (ja) | 手のリハビリ運動システム及び方法 | |
| CN109313493B (zh) | 用于基于手的运动和位置控制计算机的装置 | |
| US10534431B2 (en) | Tracking finger movements to generate inputs for computer systems | |
| EP2836892B1 (en) | Control of remote device based on gestures | |
| US10775946B2 (en) | Universal handheld controller of a computer system | |
| CN112041785A (zh) | 跟踪手姿势的方法及其电子设备 | |
| US20150253873A1 (en) | Electronic device, method, and computer readable medium | |
| CN108469878A (zh) | 终端装置及其控制方法和计算机可读存储介质 | |
| CN108196686A (zh) | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 | |
| US12019801B2 (en) | Wearable computing apparatus for augmented reality, virtual reality and artificial intelligence interactions, and methods relating thereto | |
| EP3905016A1 (en) | Electronic device for performing various functions in augmented reality environment, and operation method for same | |
| CN111263956B (zh) | 信息处理设备、信息处理方法和计算机可读存储介质 | |
| US20220155866A1 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| CN112154402A (zh) | 可穿戴设备及其控制方法、识别手势的方法和控制系统 | |
| US11175729B2 (en) | Orientation determination based on both images and inertial measurement units | |
| US20210389829A1 (en) | Device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| CN111897413A (zh) | 一种虚拟现实、增强现实、融合现实手部操作方法及装置 | |
| US20210109606A1 (en) | Automatic Switching between Different Modes of Tracking User Motions to Control Computer Applications | |
| CN115777091A (zh) | 检测装置及检测方法 | |
| US10867448B2 (en) | Low-power, personalized smart grips for VR/AR interaction | |
| CN115047966A (zh) | 交互方法、电子设备与交互系统 | |
| CN108628452B (zh) | 虚拟现实设备、基于虚拟现实设备的显示控制方法及装置 | |
| CN110992467A (zh) | 一种上肢姿态捕捉装置、系统和方法 | |
| JP2018077732A (ja) | 画像処理装置、画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201106 |
|
| WD01 | Invention patent application deemed withdrawn after publication |