CN108196686A - 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 - Google Patents
一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 Download PDFInfo
- Publication number
- CN108196686A CN108196686A CN201810203918.4A CN201810203918A CN108196686A CN 108196686 A CN108196686 A CN 108196686A CN 201810203918 A CN201810203918 A CN 201810203918A CN 108196686 A CN108196686 A CN 108196686A
- Authority
- CN
- China
- Prior art keywords
- attitude data
- hand
- data
- acquisition component
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 90
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 80
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 51
- 238000004891 communication Methods 0.000 claims abstract description 37
- 239000011229 interlayer Substances 0.000 claims abstract description 31
- 210000003811 finger Anatomy 0.000 claims description 42
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 210000000707 wrist Anatomy 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 239000004033 plastic Substances 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000004804 winding Methods 0.000 claims description 10
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 229910052744 lithium Inorganic materials 0.000 claims description 9
- 210000003813 thumb Anatomy 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims 1
- 230000036544 posture Effects 0.000 description 97
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000003993 interaction Effects 0.000 description 7
- 239000010985 leather Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 210000005224 forefinger Anatomy 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 210000004932 little finger Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 241000905957 Channa melasoma Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/325—Display of status information by lamps or LED's
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明实施例提供一种手部动作姿态捕捉设备、方法及虚拟现实交互系统。所述手部动作姿态捕捉设备包括：五指半指多夹层手套、姿态采集组件、中央处理模块和数据接收器，姿态采集组件实时采集手背及五指对应骨骼的初始姿态数据，中央处理模块获取到初始姿态数据之后，对其进行处理，确定第二姿态数据，将第二姿态数据通过私有无线通信协议发送给数据接收器，数据接收器通过USB协议将数据转发给计算机终端。本发明实施例采用私有通信协议保证超低的延迟，提升了虚拟现实交互系统的性能。
Description
技术领域
本发明实施例涉及人机交互技术领域，具体涉及一种手部动作姿态捕捉设备、方法及虚拟现实交互系统。
背景技术
虚拟现实技术是利用计算机模拟产生一个逼真的三维空间虚拟世界，通过头戴式显示器的方式，将虚拟世界的影像展现在人眼前的一项技术。这项技术涉及计算机图形学、微机电传感器学、显示技术和计算机仿真技术等技术领域。
目前用于手部动作姿态捕捉的虚拟现实交互系统主要包括用于采集手部动作姿态的动作捕捉手套和计算机终端，动作捕捉手套采用惯性传感器采集手掌和手指的姿态信息，然后将数据通过无线通信模式与计算机终端进行通信，通过手部姿态算法最终确定体验者的手部姿态。
然而，现有技术的动作捕捉手套的无线通信都是采用标准WIFI或者蓝牙协议进行数据通信，由于这些协议本身高度的标准化和协议的底层特性难以更改，使得超低延迟的无线通信无法保证，很难适应虚拟现实交互设备的超低延迟需求，当延迟无法保证时，甚至会造成虚拟现实内容的体验者眩晕不适。
发明内容
针对现有技术中的缺陷，本发明实施例提供了一种手部动作姿态捕捉设备、方法及虚拟现实交互系统。
第一方面，本发明实施例提供一种手部动作姿态捕捉设备，包括：
五指半指多夹层手套；
姿态采集组件，固定于所述手套背部夹层中；所述姿态采集组件包括第一采集组件、第二采集组件、第三采集组件、第四采集组件、第五采集组件和第六采集组件，其中所述第一采集组件位于所述手套的拇指指尖后背的夹层中，所述第二采集组件、第三采集组件、第四采集组件和第五采集组件分别位于所述手套的其他四指的第二关节背部的夹层中，所述第六采集组件位于所述手套的手背夹层中，所述姿态采集组件用于捕捉手背和五指对应骨骼的第一姿态数据；
中央处理模块，固定于所述手套的手腕背部，与所述姿态采集组件相连接，用于分别获取所述姿态采集组件捕捉的第一姿态数据，整合所述第一姿态数据，确定所述手背和五指对应骨骼的第二姿态数据，并根据预先设置的私有无线通信协议发送所述第二姿态数据；
数据接收器，包括USB数据接口，与所述中央处理模块无线连接，用于根据所述私有无线通信协议接收所述第二姿态数据，并通过所述USB数据接口将所述第二姿态数据发送至计算机终端。
第二方面，本发明实施例提供一种虚拟现实交互系统，包括：
手部动作姿态捕捉设备，用于捕捉手背和五指对应骨骼的第二姿态数据；
计算机终端，用于获取所述第二姿态数据，并根据所述第二姿态数据确定全手掌所有骨骼的手掌姿态数据，根据所述手掌姿态数据生成数字手模型；
显示器，用于接收并显示所述计算机终端生成的数字手模型。
第三方面，本发明实施例提供一种手部动作姿态捕捉方法，包括：
手部动作姿态捕捉设备捕捉手背和五指对应骨骼的第二姿态数据，并将所述第二姿态数据发送至计算机终端；
所述计算机终端根据所述第二姿态数据确定全手掌所有骨骼的手掌姿态数据，根据所述手掌姿态数据生成数字手模型，并将所述数字手模型发送至显示器；
所述显示器接收并显示所述计算机终端生成的数字手模型。
本发明实施例提供的手部动作姿态捕捉设备，通过固定在五指半指多夹层手套中的6组姿态采集组件实时采集用户手部对应骨骼的姿态数据，并将该姿态数据发送至固定在手套手腕背部的中央处理模块中，中央处理模块根据私有无线通信协议将姿态数据发送至数据接收器，数据接收器通过USB数据接口将姿态数据传输至计算机终端，能够捕捉大多数虚拟现实系统中所需要的动作和操作，采用私有通信协议保证超低的延迟，采用完整的半指手套设计有利于用户穿戴和灵活运动，提升了手部动作姿态捕捉设备的使用性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的手部动作姿态捕捉设备的手背侧示意图；
图2为本发明实施例提供的手部动作姿态捕捉设备中的中央处理器示意图；
图3为本发明实施例提供的手部动作姿态捕捉设备的手心侧示意图；
图4为本发明实施例提供的虚拟现实交互系统的结构示意图；
图5为本发明又一实施例提供的虚拟现实交互系统的结构示意图；
图6为本发明实施例提供的手部动作姿态捕捉方法的流程示意图；
附图标记说明：
10—五指半指多夹层手套； 201—LED灯；
20—中央处理器； 202—开关按钮；
30—数据接收器； 203—USB充电接口；
101—第一采集组件； 204—排线接口；
102—第二采集组件； 401—右手动作捕捉手套；
103—第三采集组件； 402—左手动作捕捉手套；
104—第四采集组件； 403—右手数据接收器；
105—第五采集组件； 404—左手数据接收器；
106—第六采集组件； 405—计算机终端；
107—空间定位器接口； 406—右手空间定位器；
108—手套排线接口； 407—左手空间定位器；
109—魔术贴； 408—头戴式显示器；
110—皮革片； 51—手部动作姿态捕捉设备；
111—震动马达； 52—显示器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的手部动作姿态捕捉设备的手背侧示意图，如图1所示，该手部动作姿态捕捉设备包括：五指半指多夹层手套10、姿态采集组件101-106、中央处理模块20和数据接收器30，其中：
五指半指多夹层手套10，用于集成固定各功能组件；姿态采集组件，固定于手套10背部夹层中，包括第一采集组件101、第二采集组件102、第三采集组件103、第四采集组件104、第五采集组件105和第六采集组件106，其中第一采集组件101位于手套10的拇指指尖后背的夹层中，第二采集组件102、第三采集组件103、第四采集组件104和第五采集组件105分别位于手套的其他四指的第二关节背部的夹层中，第六采集组件106位于所述手套的手背夹层中，姿态采集组件101-106用于捕捉手背和五指对应骨骼的第一姿态数据；中央处理模块20，固定于手套10的手腕背部，与姿态采集组件相连接，用于分别获取姿态采集组件捕捉的初第一姿态数据，整合第一姿态数据，确定手背和五指对应骨骼的第二姿态数据，并根据预先设置的私有无线通信协议发送第二姿态数据；数据接收器30，包括USB数据接口，与中央处理模块20无线连接，用于根据私有无线通信协议接收第二姿态数据，并通过所述USB数据接口将第二姿态数据发送至计算机终端。
具体地，采用五指半指多夹层手套10，使得设备穿戴方便快捷。手心侧为人造皮革，提高了手套10的耐磨程度和使用时的持久性。手背侧为双层弹性布料，其中夹层用于固定并保护姿态采集组件和数据排线，采用弹性布料使得手套能在穿戴时贴合不同大小的手掌，使姿态采集组件与手指能在各种情况实现紧密贴合，提高了在不同大小手掌穿戴时手套对姿态采集组件的力学支撑，同时保证了穿戴时手部运动的灵活性和姿态数据的准确性。手背部外层设计有橡胶模十字型出线口，用于排线的出线和限位。
可配置的以惯性传感器为主的姿态采集组件中，第一采集组件101固定于手套10的大拇指指尖背部的夹层中，用于采集大拇指指尖处对应骨骼的姿态数据，记为第一姿态数据；第二采集组件102固定于手套10的食指第二关节背部的夹层中，用于采集食指第二关节处对应骨骼的第一姿态数据；第三采集组件103固定于手套10的中指第二关节背部的夹层中，用于采集中指第二关节处对应骨骼的第一姿态数据；第四采集组件104固定于手套10的无名指第二关节背部的夹层中，用于采集无名指第二关节处对应骨骼的第一姿态数据；第五采集组件105固定于手套10的小拇指第二关节背部的夹层中，用于采集小拇指第二关节处对应骨骼的第一姿态数据；第六采集组件106固定于手套10的手背夹层中，用于采集手背处对应骨骼的第一姿态数据；这样通过6组姿态采集组件采集的第一姿态数据，就可以推算出整个手掌的动作姿态信息。6组姿态采集组件并行采集数据，并向中央处理模块20发送，不会因为增加中央处理模块10的数据处理负担而增加额外的延迟，更不会因为串行数据处理引入大量延迟。
中央处理模块20同时收集从上述6组姿态采集组件发来的第一姿态数据，当检测到6组第一姿态数据都完成更新时，将手掌的姿态数据打包在一起，作为第二姿态数据。例如，中央处理模块20中主控芯片中有6个寄存器储存着6组第一姿态数据的状态，当中央处理模块20每次读取完对应姿态采集组件的数据后将寄存器中数据置1，当判断到6个寄存器的值都为1时，将数据写入无线发射模块的缓冲区，并将6个寄存器的值全部置0。中央处理模块20对第一姿态数据进行整合打包之后，能够保证每次发送的姿态数据为同一组连续的姿态数据，有助于后续手势识别。
其中，五指半指多夹层手套以及固定于其上的姿态采集组件和中央处理器也可以称为手动作捕捉手套。
为了减少蓝牙或标准WIFI等通信协议造成的延迟较大问题，在本发明实施例中，采用私有无线通信协议进行数据收发，由于计算机终端无法直接通过私有无线通信协议收发数据，为此，与现有手部姿态捕捉设备不同的是，本发明实施例中增加了数据接收器30，用于与中央处理器20通过私有无线通信协议收发数据，并通过USB数据接口与计算机终端收发数据。在实际应用中，无线数据收发可以采用工作在2.4GHz频段的私有无线通信协议，由于私有无线通信协议本身的轻量化和高度灵活性，可以通过设计调整数据包长、重试规则、自动应答规则、调频算法等配置和算法设计，可以有效保证通信延迟。然后通过中央处理模块20与数据接收器30一对一配对，组成一组一对一主从设备的网络结构，中央处理模块20作为主设备不停发送最新第一姿态数据，数据接收器30作为从属设备，不停接收第一姿态数据并更新数据接收器上发往计算机终端的数据缓存区数据，从而保证私有无线通信协议通信不会像WIFI和蓝牙协议出现链接不稳定而引入额外延迟。
然后通过中央处理模块20中集成的无线射频功能，根据预先设置的私有无线通信协议，将完整的第一姿态数据包发送给数据接收器30，数据接收器30收到数据后通过USB数据接口连接将数据直接发送给对应的计算机终端，计算机终端就可获取到手部动作姿态数据。
在实际应用中，当需要使用手部动作姿态捕捉设备进行手部动作姿态采集时，首先由用户佩戴五指半指多夹层手套，然后对中央处理模块20和数据接收器30进行配对，确定与之对应的数据接收器30，然后将中央处理模块20的USB数据接口插入到计算机终端，之后启动手部动作姿态捕捉设备，就可通过6组姿态采集组件实时采集手掌6个部位对应骨骼的第一姿态数据，并发送至中央处理模块20，中央处理模块20将第一姿态数据整合为第二姿态数据，通过私有无线通信协议将第二姿态数据发送至数据接收器30，数据接收器30通过USB接口将第二姿态数据发送至计算机终端，计算机终端获取第二姿态数据之后，就可以对数据进行处理，实现虚拟现实操作。
本发明实施例提供的手部动作姿态捕捉设备，通过固定在五指半指多夹层手套中的6组姿态采集组件实时采集用户手部对应骨骼的姿态数据，并将该姿态数据发送至固定在手套手腕背部的中央处理模块中，中央处理模块根据私有无线通信协议将姿态数据发送至数据接收器，数据接收器通过USB数据接口将姿态数据传输至计算机终端，能够捕捉大多数虚拟现实系统中所需要的动作和操作，采用私有通信协议保证超低的延迟，采用完整的半指手套设计有利于用户穿戴和灵活运动，提升了手部动作姿态捕捉设备的使用性能。
在上述实施例的基础上，进一步地，所述姿态采集组件包括：
惯性传感器，所述惯性传感器包括陀螺仪、加速度计和磁力计，用于实时采集所述手背和五指对应骨骼的初始姿态数据；
数据融合计算芯片，与所述陀螺仪、加速度计和磁力计连接，用于根据预先设置的频率和精度实时采集所述初始姿态数据，并将所述初始姿态数据进行融合，确定所述手背和五指对应骨骼的第一姿态数据，将所述第一姿态数据发送至所述中央处理模块。
具体地，目前的动作捕捉手套采用一组惯性传感器获取手掌和手指的姿态数据，由于惯性传感器固有的误差在积分过程中会逐渐累积，其获取的手掌和手指的姿态会因为误差发生漂移，严重降低了手部姿态捕捉的准确性，为了提高手部动作姿态捕捉的准确性，本发明实施例采用三种惯性传感器采集姿态数据，并通过数据融合计算芯片进行融合，惯性传感器包括陀螺仪、加速度计和磁力计，在实际应用中，可以使用九轴惯性传感器采集手部姿态数据，九轴惯性传感器指的是三种不同的MEMS传感器组成的系统，包括三轴MEMS陀螺仪，三轴MEMS加速度计，三轴MEMS磁力计。三轴MEMS加速度计用于校准系统俯仰和滚动两个轴的漂移误差，三轴MEMS磁力计则用于校准偏航角的漂移误差。数据融合计算芯片基于多态自适应卡尔曼滤波算法，同时由于磁力计容易受外界磁性物质干扰导致数据不可靠，数据融合计算芯片内置磁场异常判断及自动校准算法，可以同时对硬磁和软磁干扰进行校准，数据融合计算芯片以地磁场和重力场为绝对参考系，根据加速度计和磁力计的数据对陀螺仪的漂移误差实时校准，产生对应骨骼更准确的静态和动态姿态数据，保证姿态采集组件不会发生姿态漂移。同时自适应的校准算法可以将校准结果储存在外置的内存芯片上，从而达到在同样环境下启动无需校准且越用越准的效果。该高精度九轴惯性传感模块总尺寸不到1平方厘米，安装方便，可适配且可拓展性高。6组姿态采集组件的数据采集和融合均相互独立的并行处理，不会因为增加中央处理模块的数据处理负担而增加额外的延迟，更不会因为串行数据处理引入大量延迟。
在实际应用中，三种惯性传感器实时采集用户手背和五指对应骨骼的初始姿态数据，数据融合计算芯片根据预先设置的频率和精度实时采集初始姿态数据，并将初始姿态数据进行融合，确定第一姿态数据，将第一姿态数据发送至所述中央处理模块。
本发明实施例提供的手部动作姿态捕捉设备，通过三种惯性传感器采集用户手部姿态数据，融合后的姿态数据降低了捕捉设备的采集误差，提高了手部动作姿态捕捉设备的精确性。
在上述各实施例的基础上，进一步地，所述中央处理模块由方形塑料壳封装，所述方形塑料壳固定于所述手套的手腕背部；
所述方形塑料壳底部设置有排线接口，用于以接插件方式连接所述姿态采集组件；
所述方形塑料壳顶部设置有LED灯和开关按钮，所述LED灯用于指示捕捉设备状态信息，所述开关按钮用于切换设备工作模式；
相应地，所述中央处理模块，还用于：
获取捕捉设备状态信息和设备工作模式，并显示所述状态信息和工作模式；
相应地，所述LED灯还用于指示所述工作模式。
具体地，图2为本发明实施例提供的手部动作姿态捕捉设备中的中央处理器示意图，如图1和图2所示，中央处理模块20由方形塑料壳封装，方形塑料壳固定于手套10的手腕背部，方形塑料壳底部设置有排线接口204，接口方式为易拆装的接插件连接，用于以接插件方式连接姿态采集组件，手套10背部设置有对应于排线接口204的排线接口108，周围加橡胶模加固，通过两组排线接口的接插，可以连接姿态采集组件10与中央处理器20，方形塑料壳顶部设置有LED灯201和圆形开关按钮202，LED灯201用于指示捕捉设备状态信息，开关按钮201用于切换设备工作模式，调整按压按钮201的时间，实现设备的开机、关机和工作状改变。在实际应用中，可以设置多个不同颜色的LED灯，例如设置橙色LED灯、绿色LED灯和蓝色LED灯。
中央处理模块20实时的监测更新设备的信号强度和无线数据包率，并同时收集从上述6组姿态采集组件发来的第一姿态数据，当检测到6组姿态数据都完成更新时，融合第一姿态数据生成第二姿态数据，并根据信号强度和无线数据包率确定设备状态数据，将设备的状态数据和手掌的姿态数据打包在一起，然后通过中央处理模块20中集成的无线射频功能，使用无线私有通信协议，将完整的数据包发送至数据接收器30。
在实际应用中，中央处理模块20中的主控芯片中，每次接收到ack数据包时测量信号强度，并增加一次数据包个数，主控芯片中的定时器每隔0.5秒更新一次数据包率并计算一次平均信号强度。中央处理模块20监测到的设备状态信息时，改变LED灯201的闪亮状态，例如当无线信号强时，LED灯201中的绿色灯常亮，当无线信号弱时，LED灯201中的绿色灯闪亮。LED灯201中的蓝色LED灯可根据设备的工作模式如设备配对、设备闲置或正常工作等进行不同方式的闪亮。例如，正在通信时蓝色LED灯常亮，正在配对时蓝色LED灯以2秒的周期闪亮，正在环境噪音监测时蓝色LED灯以500毫秒的周期闪亮。中央处理模块20上面设计圆形按键202，可以通过观察LED灯201中的蓝色LED灯的指示，调整按压按键的时间，实现设备的开机，关机和工作状改变。
本发明实施例提供的手部动作姿态捕捉设备，将中央处理模块封装于方形塑料壳中，并固定在手套的手腕背部，保证了整个设备结构的简单化，通过中央处理模块获取设备的状态信息和工作模式，并通过LED灯进行显示，使用户能够直观地查看到手部动作姿态捕捉设备的无线通信信号强度和设备工作模式等信息，当出现异常时，便于及时调整，提高了手部动作姿态捕捉设备的实用性。
在上述各实施例的基础上，进一步地，所述中央处理模块还包括：
电源管理组件，所述电源管理组件包括USB充电接口、充放电电路、电池电压监测电路和可充电锂电池，用于对所述捕捉设备进行电源管理，获取所述可充电锂电池的电池状态信息；
相应地，所述LED灯还用于指示所述电池状态信息。
具体地，如图2所示，中央处理模块20不仅集成了数据整合、设备控制、设备状态监控指示和无线数据收发功能，还集成了电源管理功能，具体地，在中央处理模块中设置有电源管理组件，包括USB充电接口203，充放电电路、电池电压监测电路和可充电锂电池，其中可充电锂电池采用的是1100mAh可充电锂电池，USB充电接口203为Micro USB接口，用于向可充电锂电池充电。中央处理模块20实时通过电池电压监测电路获取可充电锂电池的状态信息，改变图2所示的LED灯201的闪亮状态，例如当电源充足时LED灯201中的橙色灯熄灭，当电量小于30％时，LED灯201中的橙色灯常亮，当电量小于10％时，LED灯201中的橙色灯闪亮。这样通过LED灯，用户就可以随时看到设备电量情况，以便及时通过USB充电接口为设备充电。
本发明实施例提供的手部动作姿态捕捉设备，中央处理模块实时获取设备电量信息，并通过LED灯进行指示，使用户能够直观地查看电量状态，提高了手部动作姿态捕捉设备的性能。
在上述各实施例的基础上，进一步地，所述手部动作姿态捕捉设备还包括：
震动马达，固定于所述手套手心夹层中，与所述中央处理器连接，用于根据所述中央处理器发送的震动模式产生震动；
相应地，所述中央处理器还用于：
接收数据接收器获取的所述计算机终端的反馈指令，根据所述反馈指令确定震动模式，并将所述震动模式发送至所述震动马达。
具体地，图3为本发明实施例提供的手部动作姿态捕捉设备的手心侧示意图，如图3所示，震动马达111固定在皮革片110上，通过皮革片共振，产生更加强烈的震感，皮革片110与震动马达111固定于手套10的手心夹层中，通过排线接口与中央处理器连接。震动马达111的震子为小体积扁平震动马达，不影响手套穿戴手感。因为手套为非刚性部件，震动马达为小功率马达，采用震动马达底座加皮革片固定，通过皮革片共振增强震动效果，振动时长和强度通过中央处理模块控制，实现对计算机终端的不同反馈信息进行不同模式的震动反馈。
当数据接收器将第二姿态数据发送至计算机终端之后，计算机终端对第二姿态数据进行分析，确定数字手模型以及对应的手势枚举值，例如抓取手势、OK手势或点击手势等，然后在虚拟现实软件上通过控制数字手模型执行相应地任务，根据任务完成结果生成反馈指令，并将反馈指令发送至数据接收器，数据接收器通过私有无线通信协议将反馈指令转发至中央处理器，中央处理器根据反馈指令确定震动模式，震动马达111接收到震动模式之后，产生震动，佩戴手套的用户就可以感受到反馈信息，解决了目前动作捕捉手套只能将手部姿态发送给计算机终端，不能通过手套将终端信息反馈给穿戴者的单向交互性。
如图3所示，在实际应用中，还可以在手套10的手腕部用硬质的宽魔术贴109进行一整圈的加固，并调整穿戴时手腕处的松紧，从而在固定中央处理模块时提供更好的支撑，保证设备的稳定性。
本发明实施例提供的手部动作姿态捕捉设备，通过震动马达产生震动，向用户反馈动作姿态捕捉的结果，通过对计算机终端不同反馈信息进行不同模式的震动反馈，实现了双向的人际交互功能。
在上述各实施例的基础上，进一步地，所述手部动作姿态捕捉设备还包括：
空间定位器，与所述中央处理器连接，用于获取手腕的空间位置信息，并将所述空间位置信息发送至所述计算机终端。
具体地，现有的动作捕捉手套本身只能实现手部的姿态捕捉，没法获得手掌的空间三维位置。这使得用户在一些需要手掌空间三维位置的虚拟现实应用场景下需要额外单独穿戴的一套空间定位设备，使用很不方便。为了解决上述问题，如图1所示，在手套10的手腕侧面设置有空间定位器接口107，间定位器接口为圆型穿孔，周围加垫片和金属环加固，可以实现空间定位器的快速拆装，而且可以根据用户需求，搭配不同的空间定位方案。
通过将空间定位器固定在手腕处，可以获得手腕的空间位置信息，从而可以同时获得手腕以下的手掌部分的位置信息。手套手腕处加整圈的宽魔术贴109同时给固定在侧面的空间定位器和手背面的中央处理模块20提供支撑。空间定位器获取到位置信息后，通过无线传输的方式发送至计算机终端，计算机终端获取到空间位置信息后，就可以更新数字手模型在数字空间中的位置。
在实际应用中，空间定位器接口107还可以用于接入其他设备，以扩展手部动作姿态捕捉设备的性能。
本发明实施例提供的手部动作姿态捕捉设备，通过空间定位器接口接入空间定位器，使手部动作姿态捕捉设备在获取手掌姿态数据时还能够获取到手掌的空间位置信息，提高了手部动作姿态捕捉设备的精确度。
图5为本发明又一实施例提供的虚拟现实交互系统的结构示意图，如图5所示，该虚拟现实交互系统包括：手部动作姿态捕捉设备51、计算机终端405和显示器52，其中：
手部动作姿态捕捉设备51，用于捕捉手背和五指对应骨骼的第二姿态数据；计算机终端405，用于获取所述第二姿态数据，并根据所述第二姿态数据确定全手掌所有骨骼的手掌姿态数据，根据所述手掌姿态数据生成数字手模型；显示器52，用于接收并显示所述计算机终端生成的数字手模型。
具体地，手部动作姿态捕捉设备51中的姿态采集组件实时采集手背及五指对应骨骼的初始姿态数据，手部动作姿态捕捉设备51中的中央处理模块获取到初始姿态数据之后，将姿态数据通过私有无线通信协议发送给手部动作姿态捕捉设备51中的数据接收器，数据接收器收到这些数据后通过USB协议将数据转发给计算机终端405，计算机终端405通过人体反向动力学算法推算出全掌任意骨骼的手掌姿态数据，根据手掌姿态数据生成虚拟现实世界中数字手模型的姿态，然后显示器52接收并显示计算机终端生成的数字手模型。例如，当需要交互的虚拟现实软件为3D模型时，显示器52可以为普通台式显示器。
本发明实施例提供的虚拟现实交互系统，通过姿态采集组件实时采集用户手部对应骨骼的姿态数据，并将该姿态数据发送至中央处理模块中，中央处理模块根据私有无线通信协议将姿态数据发送至数据接收器，数据接收器通过USB数据接口将姿态数据传输至计算机终端，计算机终端通过对数据处理生成数字手模型，显示器显示该数字手模型，从而能够捕捉大多数虚拟现实系统中所需要的动作和操作，采用私有通信协议保证超低的延迟，提升了虚拟现实交互系统的性能。
在上述实施例的基础上，进一步地，所述计算机终端还用于：
根据预先配置的手势算法，计算出所述数字手模型对应的手势枚举值，根据所述手势枚举值执行所述数字手模型对应的动作，并根据执行结果确定反馈指令，将所述反馈指令发送至手部动作姿态捕捉设备。
具体地，计算机终端获取到姿态数据之后，确定出全手掌的手掌姿态数据，根据可配置的手势算法，计算出数字手模型对应的手势枚举值，例如抓取、OK手势等各种用户可定义的手势类型，并完成该手势枚举值所对应的任务，
最后根据相应任务的执行情况，或者根据虚拟现实世界中的其它反馈信息，如虚拟现实世界中数字手模型碰撞到其它数字模型等用户定义的事件类型确定反馈指令，将反馈指令发送给数据接收器，数据接收器将到的反馈指令通过私有无线通信协议发回手套上的中央处理模块，中央处理模块根据不同的反馈指令，控制震动马达产生相应的震动，例如，例如当抓取成功时，连续震动100ms，碰撞发生时，可以以30ms的振动时间和30ms休息间隔，震动3次，从而实现了虚拟现实世界中人与计算机的双向交互。
本发明实施例提供的虚拟现实交互系统，通过计算机终端生成数字手模型对应的手势枚举值，并执行相应的动作，以震动形式告知用户任务执行结果，实现了发辫灵活的人机双向低延迟交互功能。
在上述各实施例的基础上，进一步地，所述显示器为虚拟现实头戴显示器。
具体地，当需要交互的虚拟现实软件内容为虚拟现实内容时，例如3D游戏等，显示器为虚拟现实头戴显示器，以增加用户的代入感。
图4为本发明实施例提供的虚拟现实交互系统的结构示意图，如图4所示，该虚拟现实交互系统包括：右手动作捕捉手套401、左手动作捕捉手402、右手数据接收器403、左手数据接收器404、计算机终端405、右手空间定位器406，左手空间定位器407和头戴式显示器408。
右手动作捕捉手套401，左手动作捕捉手402分别采集左右手对应关节的姿态数据，然后连同手套状态信息一起分别发送给右手数据接收器403和左手数据接收器404。
右手数据接收器403和左手数据接收器404收到数据后，通过USB将数据发送至计算机终端405并从计算机终端405读取返回的反馈指令，读取到返回的反馈指令后，将反馈指令通过私有无线通信协议发回右手动作捕捉手套401和左手动作捕捉手402。
右手空间定位器406和左手空间定位器407独立于手动作捕捉手套工作，在获得手腕处的空间位置信息后，将空间位置信息通过无线传输的方式发送给算机终端405。
计算机终端405获取到大拇指第一指节，其他四指第二指节以及手掌姿态数据，通过人体骨骼反向动力学算法，推算出全手掌所有骨节的姿态数据，然后根据右手空间定位器406和左手空间定位器407发来的手腕中间位置更新数字手模型在数字空间中的姿态和位置。同时，计算机终端405根据手掌上姿态采集组件所对应骨骼姿态数据和用户可配置的手势算法，计算出当前的手势枚举值，并完成该手势枚举值所对应的任务，例如抓取或控制虚拟现实世界中的物体，或者根据手势来触发各种特效，如瞬间移动等等。根据用户在数字世界中的交互结果，例如成功触发技能，抓取到物体，抛出物体等，产生对应的反馈指令，通过USB发送给右手数据接收器403和左手数据接收器404。右手数据接收器403和左手数据接收器404将反馈指令无线发回右手动作捕捉手套401和左手动作捕捉手402。右手动作捕捉手套401和左手动作捕捉手套402根据收到的具体信息产生对应的震动反馈。
头戴式显示器408以虚拟现实的显示方式接收并显示计算机终端405生成的数字手模型、数字空间模型和手势枚举信息，接收并显示手部动作姿态捕捉设备的设备状态信息。
本发明实施例提供的虚拟现实交互系统，用户可完成大多数虚拟现实系统所需要的交互，并可以从计算机终端获得相对应的力学反馈，实现方便灵活的人机双向低延迟交互功能。
图6为本发明实施例提供的手部动作姿态捕捉方法的流程示意图，如图6所示，该方法包括：
步骤S61、手部动作姿态捕捉设备捕捉手背和五指对应骨骼的第二姿态数据，并将所述第二姿态数据发送至计算机终端；
具体地，手部动作姿态捕捉设备包括姿态采集组件、中央处理器和数据接收器，姿态采集组件采集实时采集手背及五指对应骨骼的初始姿态数据，中央处理模块获取到初始姿态数据之后，对其进行处理，确定第二姿态数据，将第二姿态数据通过私有无线通信协议发送给数据接收器，数据接收器收到这些数据后通过USB协议将数据转发给计算机终端。
步骤S62、计算机终端根据所述第二姿态数据确定全手掌所有骨骼的手掌姿态数据，根据所述手掌姿态数据生成数字手模型，并将所述数字手模型发送至显示器；
具体地，计算机终端通过人体反向动力学算法推算出全掌任意骨骼的手掌姿态数据，例如，预先通过佩戴16传感器的工程原型手套，测量采集出大量手掌自然握拳时，手掌手指上的15个指关节(五个手指各三个关节)相对于手掌的姿态数据。因为只有俯仰角pitch轴和偏航角yaw轴会有相对旋转，以小写字母表示pitch轴，大写字母表示yaw轴,字母a,b,c,d,e分别表示大拇指，食指，中指，无名指和小拇指，数字0、1和2分别表示对应手指第一、第二和第三关节相对于手掌的旋转，例如大拇指的第一、第二和第三关节相对于手掌的pitch轴和yaw轴的旋转可以表示为a0、a1和a2以及A0、A1和A2。预先根据海量pitch轴旋转数据的a0、a1、a2、b0、b1、b2、c0、c1、c2、d0、d1、d2、e0、e1和e2数据，分别拟合出食指第一骨骼和第三骨骼相对手掌pitch轴的旋转角度b0和b2与a2，b1，c1，d1和e1的五元三次非线性拟合函数。同理可以拟合出中指、无名指和小拇指的第一骨骼和第三骨骼相对手掌pitch轴的旋转角度和大拇指第一骨骼和第二骨节相对手掌pitch轴的旋转角与a2，b1，c1，d1，e1的五元三次非线性拟合函数。五指对应指节相对手掌yaw轴的旋转角拟合函数拟合方法同理。
之后根据接收到的五指对应骨骼的姿态数据a2，b1，c1，d1，e1，A2，B1，C1，D1，E1和已经拟合出五元三次拟合函数，代入参数，直接计算出角度a0，a1，A0，A1，b0，b2，B0，B2，c0，c2，C0，C2，d0，d2，D0，D2，e0，e2，E0，E2等，从而获取全手掌各个骨骼的手掌姿态数据。
根据手掌姿态数据生成虚拟现实世界中数字手模型的姿态，将数字手模型发送至显示器。
步骤S63、显示器接收并显示所述计算机终端生成的数字手模型。
具体地，显示器接收并显示计算机终端生成的数字手模型。例如，当需要交互的软件为3D模型时，显示器可以为普通台式显示器。
本发明实施例提供的手部动作姿态捕捉方法，通过姿态采集组件实时采集用户手部对应骨骼的姿态数据，并将该姿态数据发送至固定在手套手腕背部的中央处理模块中，中央处理模块根据私有无线通信协议将姿态数据发送至数据接收器，数据接收器通过USB数据接口将姿态数据传输至计算机终端，计算机终端通过对数据处理生成数字手模型，显示器显示该数字手模型，从而能够捕捉大多数虚拟现实系统中所需要的动作和操作，采用私有通信协议保证超低的延迟，提升了虚拟现实交互系统的性能。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。
Claims (10)
1.一种手部动作姿态捕捉设备，其特征在于，包括：
五指半指多夹层手套；
姿态采集组件，固定于所述手套背部夹层中；所述姿态采集组件包括第一采集组件、第二采集组件、第三采集组件、第四采集组件、第五采集组件和第六采集组件，其中所述第一采集组件位于所述手套的拇指指尖后背的夹层中，所述第二采集组件、第三采集组件、第四采集组件和第五采集组件分别位于所述手套的其他四指的第二关节背部的夹层中，所述第六采集组件位于所述手套的手背夹层中，所述姿态采集组件用于捕捉手背和五指对应骨骼的第一姿态数据；
中央处理模块，固定于所述手套的手腕背部，与所述姿态采集组件相连接，用于分别获取所述姿态采集组件捕捉的第一姿态数据，整合所述第一姿态数据，确定所述手背和五指对应骨骼的第二姿态数据，并根据预先设置的私有无线通信协议发送所述第二姿态数据；
数据接收器，包括USB数据接口，与所述中央处理模块无线连接，用于根据所述私有无线通信协议接收所述第二姿态数据，并通过所述USB数据接口将所述第二姿态数据发送至计算机终端。
2.根据权利要求1所述的手部动作姿态捕捉设备，其特征在于，所述姿态采集组件包括：
惯性传感器，所述惯性传感器包括陀螺仪、加速度计和磁力计，用于实时采集所述手背和五指对应骨骼的初始姿态数据；
数据融合计算芯片，与所述陀螺仪、加速度计和磁力计连接，用于根据预先设置的频率和精度实时采集所述初始姿态数据，并将所述初始姿态数据进行融合，确定所述手背和五指对应骨骼的第一姿态数据，将所述第一姿态数据发送至所述中央处理模块。
3.根据权利要求1所述的手部动作姿态捕捉设备，其特征在于，所述中央处理模块由方形塑料壳封装，所述方形塑料壳固定于所述手套的手腕背部；
所述方形塑料壳底部设置有排线接口，用于以接插件方式连接所述姿态采集组件；
所述方形塑料壳顶部设置有LED灯和开关按钮，所述LED灯用于指示捕捉设备状态信息，所述开关按钮用于切换设备工作模式；
相应地，所述中央处理模块，还用于：
获取捕捉设备状态信息和设备工作模式，并显示所述状态信息和工作模式；
相应地，所述LED灯还用于指示所述工作模式。
4.根据权利要求3所述的手部动作姿态捕捉设备，其特征在于，所述中央处理模块还包括：
电源管理组件，所述电源管理组件包括USB充电接口、充放电电路、电池电压监测电路和可充电锂电池，用于对所述捕捉设备进行电源管理，获取所述可充电锂电池的电池状态信息；
相应地，所述LED灯还用于指示所述电池状态信息。
5.根据权利要求1所述的手部动作姿态捕捉设备，其特征在于，还包括：
震动马达，固定于所述手套手心夹层中，与所述中央处理器连接，用于根据所述中央处理器发送的震动模式产生震动；
相应地，所述中央处理器还用于：
接收数据接收器获取的所述计算机终端的反馈指令，根据所述反馈指令确定震动模式，并将所述震动模式发送至所述震动马达。
6.根据权利要求1所述的手部动作姿态捕捉设备，其特征在于，还包括：
空间定位器，与所述中央处理器连接，用于获取手腕的空间位置信息，并将所述空间位置信息发送至所述计算机终端。
7.一种虚拟现实交互系统，其特征在于，包括：
如权利要求1至6任意一项所述的手部动作姿态捕捉设备，用于捕捉手背和五指对应骨骼的第二姿态数据；
计算机终端，用于获取所述第二姿态数据，并根据所述第二姿态数据确定全手掌所有骨骼的手掌姿态数据，根据所述手掌姿态数据生成数字手模型；
显示器，用于接收并显示所述计算机终端生成的数字手模型。
8.根据权利要求7所述的虚拟现实交互系统，其特征在于，所述计算机终端还用于：
根据预先配置的手势算法，计算出所述数字手模型对应的手势枚举值，根据所述手势枚举值执行所述数字手模型对应的动作，并根据执行结果确定反馈指令，将所述反馈指令发送至手部动作姿态捕捉设备。
9.根据权利要求7所述的虚拟现实交互系统，其特征在于，所述显示器为虚拟现实头戴显示器。
10.一种手部动作姿态捕捉方法，其特征在于，包括：
如权利要求1至6任意一项所述的手部动作姿态捕捉设备捕捉手背和五指对应骨骼的第二姿态数据，并将所述第二姿态数据发送至计算机终端；
所述计算机终端根据所述第二姿态数据确定全手掌所有骨骼的手掌姿态数据，根据所述手掌姿态数据生成数字手模型，并将所述数字手模型发送至显示器；
所述显示器接收并显示所述计算机终端生成的数字手模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810203918.4A CN108196686B (zh) | 2018-03-13 | 2018-03-13 | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810203918.4A CN108196686B (zh) | 2018-03-13 | 2018-03-13 | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108196686A true CN108196686A (zh) | 2018-06-22 |
| CN108196686B CN108196686B (zh) | 2024-01-26 |
Family
ID=62595571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810203918.4A Active CN108196686B (zh) | 2018-03-13 | 2018-03-13 | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108196686B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032343A (zh) * | 2018-07-04 | 2018-12-18 | 青岛理工大学 | 基于视觉和力觉触觉增强现实的工业人机交互系统及方法 |
| CN109144273A (zh) * | 2018-09-11 | 2019-01-04 | 杭州师范大学 | 一种基于vr技术的虚拟消防体验方法 |
| CN110991237A (zh) * | 2019-10-30 | 2020-04-10 | 华东师范大学 | 一种基于抓握分类学的虚拟手自然抓握动作生成方法 |
| CN111260764A (zh) * | 2020-02-04 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 一种制作动画的方法、装置及存储介质 |
| CN111267130A (zh) * | 2020-03-02 | 2020-06-12 | 拉玛机器人(上海)有限公司 | 一种可穿戴式口型捕捉设备及其使用方法 |
| CN111338481A (zh) * | 2020-02-28 | 2020-06-26 | 武汉灏存科技有限公司 | 基于全身动态捕捉的数据交互系统及方法 |
| CN111475019A (zh) * | 2020-03-30 | 2020-07-31 | 广州幻境科技有限公司 | 一种虚拟现实的手势交互系统和方法 |
| CN112287777A (zh) * | 2020-10-15 | 2021-01-29 | 河海大学 | 基于边缘智能的学生状态课堂监测方法 |
| CN113593339A (zh) * | 2021-07-23 | 2021-11-02 | 商丘医学高等专科学校 | 一种基于虚拟现实技术的医学教学系统及方法 |
| CN114770571A (zh) * | 2022-04-01 | 2022-07-22 | 苏州大学 | 气动反馈机械手 |
| CN115167673A (zh) * | 2022-07-06 | 2022-10-11 | 中科传媒科技有限责任公司 | 虚拟手势同步的实现方法、装置、设备及存储介质 |
| CN117251058A (zh) * | 2023-11-14 | 2023-12-19 | 中国海洋大学 | 一种多信息体感交互系统的控制方法 |
| CN117892282A (zh) * | 2023-12-28 | 2024-04-16 | 北京邮电大学 | 基于手势交互的3d虚拟轮盘身份验证方法及头戴式vr设备 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6788681B1 (en) * | 1999-03-16 | 2004-09-07 | Nortel Networks Limited | Virtual private networks and methods for their operation |
| CN101175014A (zh) * | 2006-11-03 | 2008-05-07 | 上海科泰信息技术有限公司 | 具有虚拟专用网络功能的通用无线分组业务无线路由器 |
| CN102224476A (zh) * | 2008-10-14 | 2011-10-19 | 奥布隆工业有限公司 | 多进程交互系统和方法 |
| US20130339502A1 (en) * | 2012-06-15 | 2013-12-19 | Microsoft Corporation | Techniques to manage transitions between private and public networks |
| US20140364209A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Corporation Entertainment America LLC | Systems and Methods for Using Reduced Hops to Generate an Augmented Virtual Reality Scene Within A Head Mounted System |
| CN105188516A (zh) * | 2013-03-11 | 2015-12-23 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
| CN105588567A (zh) * | 2016-01-25 | 2016-05-18 | 北京航空航天大学 | 一种自动电子罗盘校准辅助式的航姿参考系统及方法 |
| CN105653044A (zh) * | 2016-03-14 | 2016-06-08 | 北京诺亦腾科技有限公司 | 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统 |
| CN105698792A (zh) * | 2016-01-26 | 2016-06-22 | 上海实汇机电科技有限公司 | 一种基于自适应鲁邦融合算法的动态mems惯性姿态测量系统 |
| WO2016150271A1 (zh) * | 2015-03-23 | 2016-09-29 | 丁贤根 | 面向人体网络的手机机载无线路由系统 |
| CN106020490A (zh) * | 2016-06-07 | 2016-10-12 | 青岛大学 | 基于三轴重力加速度传感器的多触点数据手套系统 |
| CN106648116A (zh) * | 2017-01-22 | 2017-05-10 | 隋文涛 | 一种基于动作捕捉的虚拟现实综合系统 |
| CN106679649A (zh) * | 2016-12-12 | 2017-05-17 | 浙江大学 | 一种手部运动追踪系统及追踪方法 |
| CN206497423U (zh) * | 2017-01-22 | 2017-09-15 | 隋文涛 | 一种具有惯性动作捕捉装置的虚拟现实综合系统 |
| CN107340871A (zh) * | 2017-07-25 | 2017-11-10 | 深识全球创新科技（北京）有限公司 | 集成手势识别与超声波触觉反馈的装置及其方法和用途 |
| US20180001198A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment America Llc | Using HMD Camera Touch Button to Render Images of a User Captured During Game Play |
| CN208061134U (zh) * | 2018-03-13 | 2018-11-06 | 北京无远弗届科技有限公司 | 一种手部动作姿态捕捉设备及虚拟现实交互系统 |
-
2018
- 2018-03-13 CN CN201810203918.4A patent/CN108196686B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6788681B1 (en) * | 1999-03-16 | 2004-09-07 | Nortel Networks Limited | Virtual private networks and methods for their operation |
| CN101175014A (zh) * | 2006-11-03 | 2008-05-07 | 上海科泰信息技术有限公司 | 具有虚拟专用网络功能的通用无线分组业务无线路由器 |
| CN102224476A (zh) * | 2008-10-14 | 2011-10-19 | 奥布隆工业有限公司 | 多进程交互系统和方法 |
| US20130339502A1 (en) * | 2012-06-15 | 2013-12-19 | Microsoft Corporation | Techniques to manage transitions between private and public networks |
| CN105188516A (zh) * | 2013-03-11 | 2015-12-23 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
| US20140364209A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Corporation Entertainment America LLC | Systems and Methods for Using Reduced Hops to Generate an Augmented Virtual Reality Scene Within A Head Mounted System |
| CN104238738A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐美国公司 | 在头戴式系统内产生增强虚拟现实场景的系统和方法 |
| WO2016150271A1 (zh) * | 2015-03-23 | 2016-09-29 | 丁贤根 | 面向人体网络的手机机载无线路由系统 |
| CN105588567A (zh) * | 2016-01-25 | 2016-05-18 | 北京航空航天大学 | 一种自动电子罗盘校准辅助式的航姿参考系统及方法 |
| CN105698792A (zh) * | 2016-01-26 | 2016-06-22 | 上海实汇机电科技有限公司 | 一种基于自适应鲁邦融合算法的动态mems惯性姿态测量系统 |
| CN105653044A (zh) * | 2016-03-14 | 2016-06-08 | 北京诺亦腾科技有限公司 | 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统 |
| CN106020490A (zh) * | 2016-06-07 | 2016-10-12 | 青岛大学 | 基于三轴重力加速度传感器的多触点数据手套系统 |
| US20180001198A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment America Llc | Using HMD Camera Touch Button to Render Images of a User Captured During Game Play |
| CN106679649A (zh) * | 2016-12-12 | 2017-05-17 | 浙江大学 | 一种手部运动追踪系统及追踪方法 |
| CN106648116A (zh) * | 2017-01-22 | 2017-05-10 | 隋文涛 | 一种基于动作捕捉的虚拟现实综合系统 |
| CN206497423U (zh) * | 2017-01-22 | 2017-09-15 | 隋文涛 | 一种具有惯性动作捕捉装置的虚拟现实综合系统 |
| CN107340871A (zh) * | 2017-07-25 | 2017-11-10 | 深识全球创新科技（北京）有限公司 | 集成手势识别与超声波触觉反馈的装置及其方法和用途 |
| CN208061134U (zh) * | 2018-03-13 | 2018-11-06 | 北京无远弗届科技有限公司 | 一种手部动作姿态捕捉设备及虚拟现实交互系统 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032343A (zh) * | 2018-07-04 | 2018-12-18 | 青岛理工大学 | 基于视觉和力觉触觉增强现实的工业人机交互系统及方法 |
| CN109032343B (zh) * | 2018-07-04 | 2022-02-11 | 青岛理工大学 | 基于视觉和力觉触觉增强现实的工业人机交互系统及方法 |
| CN109144273A (zh) * | 2018-09-11 | 2019-01-04 | 杭州师范大学 | 一种基于vr技术的虚拟消防体验方法 |
| CN110991237A (zh) * | 2019-10-30 | 2020-04-10 | 华东师范大学 | 一种基于抓握分类学的虚拟手自然抓握动作生成方法 |
| CN110991237B (zh) * | 2019-10-30 | 2023-07-28 | 华东师范大学 | 一种基于抓握分类学的虚拟手自然抓握动作生成方法 |
| CN111260764B (zh) * | 2020-02-04 | 2021-06-25 | 腾讯科技（深圳）有限公司 | 一种制作动画的方法、装置及存储介质 |
| CN111260764A (zh) * | 2020-02-04 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 一种制作动画的方法、装置及存储介质 |
| CN111338481A (zh) * | 2020-02-28 | 2020-06-26 | 武汉灏存科技有限公司 | 基于全身动态捕捉的数据交互系统及方法 |
| CN111338481B (zh) * | 2020-02-28 | 2023-06-23 | 武汉灏存科技有限公司 | 基于全身动态捕捉的数据交互系统及方法 |
| CN111267130A (zh) * | 2020-03-02 | 2020-06-12 | 拉玛机器人(上海)有限公司 | 一种可穿戴式口型捕捉设备及其使用方法 |
| CN111475019A (zh) * | 2020-03-30 | 2020-07-31 | 广州幻境科技有限公司 | 一种虚拟现实的手势交互系统和方法 |
| CN112287777A (zh) * | 2020-10-15 | 2021-01-29 | 河海大学 | 基于边缘智能的学生状态课堂监测方法 |
| CN113593339A (zh) * | 2021-07-23 | 2021-11-02 | 商丘医学高等专科学校 | 一种基于虚拟现实技术的医学教学系统及方法 |
| CN114770571A (zh) * | 2022-04-01 | 2022-07-22 | 苏州大学 | 气动反馈机械手 |
| CN114770571B (zh) * | 2022-04-01 | 2024-01-05 | 苏州大学 | 气动反馈机械手 |
| CN115167673A (zh) * | 2022-07-06 | 2022-10-11 | 中科传媒科技有限责任公司 | 虚拟手势同步的实现方法、装置、设备及存储介质 |
| CN117251058A (zh) * | 2023-11-14 | 2023-12-19 | 中国海洋大学 | 一种多信息体感交互系统的控制方法 |
| CN117251058B (zh) * | 2023-11-14 | 2024-01-30 | 中国海洋大学 | 一种多信息体感交互系统的控制方法 |
| CN117892282A (zh) * | 2023-12-28 | 2024-04-16 | 北京邮电大学 | 基于手势交互的3d虚拟轮盘身份验证方法及头戴式vr设备 |
| CN117892282B (zh) * | 2023-12-28 | 2024-10-01 | 北京邮电大学 | 基于手势交互的3d虚拟轮盘身份验证方法及头戴式vr设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108196686B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108196686A (zh) | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 | |
| US20220043515A1 (en) | Object tracking device | |
| KR101541082B1 (ko) | 손 재활 운동 시스템 및 방법 | |
| CN105068654B (zh) | 基于can总线和惯性传感器的动作捕获系统及方法 | |
| US20190101981A1 (en) | Imu-based glove | |
| US10775946B2 (en) | Universal handheld controller of a computer system | |
| CN208061134U (zh) | 一种手部动作姿态捕捉设备及虚拟现实交互系统 | |
| US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
| CN207937964U (zh) | 一种用于动作捕捉的手套 | |
| CN103324309A (zh) | 可穿戴计算机 | |
| US11054923B2 (en) | Automatic switching between different modes of tracking user motions to control computer applications | |
| US20220155866A1 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| CN203490651U (zh) | 可穿戴计算机 | |
| CN111897413A (zh) | 一种虚拟现实、增强现实、融合现实手部操作方法及装置 | |
| CN114756130A (zh) | 一种手部虚实交互系统 | |
| CN203204542U (zh) | 动作感测器整合控制暨传输装置 | |
| He et al. | Design and implementation of low-cost inertial sensor-based human motion capture system | |
| CN111367416A (zh) | 一种虚拟现实手套及虚拟现实交互系统 | |
| CN211827193U (zh) | 一种虚拟现实手套及虚拟现实交互系统 | |
| CN205620934U (zh) | 一种用于虚拟现实系统的道具 | |
| TWM580450U (zh) | Hand motion sensing device for virtual reality and glove assembly thereof | |
| Benedetto et al. | A Real-Time Head-Tracking Android Application Using Inertial Sensors | |
| CN205620935U (zh) | 一种用于虚拟现实系统的道具 | |
| CN114912071A (zh) | 一种用于人机交互的性能评价方法、装置及系统 | |
| CN109032160A (zh) | 姿态控制系统、方法及无人机系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |