CN108415573A - 一种基于数据手套的虚拟交互装置 - Google Patents

一种基于数据手套的虚拟交互装置 Download PDF

Info

Publication number
CN108415573A
CN108415573A CN201810268504.XA CN201810268504A CN108415573A CN 108415573 A CN108415573 A CN 108415573A CN 201810268504 A CN201810268504 A CN 201810268504A CN 108415573 A CN108415573 A CN 108415573A
Authority
CN
China
Prior art keywords
module
virtual
data
nucleus
right hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810268504.XA
Other languages
English (en)
Inventor
孙永
李小芹
林国铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN201810268504.XA priority Critical patent/CN108415573A/zh
Publication of CN108415573A publication Critical patent/CN108415573A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于数据手套的虚拟交互装置，包括左手套核心模块（1）、右手套核心模块（2）和虚拟界面显示模块（3），其特征还在于与左手套核心模块（1）相连的显示屏（7）、弯曲度传感器（8）、陀螺仪传感器（9）、无线模块（10）、按键模块（11），与右手套核心模块（2）相连的无线模块（12）、弯曲度传感器（13）、显示屏（14）、陀螺仪传感器（15），所述虚拟界面显示模块（3）包括AR接收机（4）、PC端（5）、VR眼镜（6）。本发明实现了虚拟交互系统中对虚拟手的控制，包括抓取物体、手势变换和翻书等精细动作的控制，并利用手指动作取代鼠标和键盘，能应用于医学、娱乐、军事航天和游戏等各个行业。

Description

一种基于数据手套的虚拟交互装置
技术领域
本发明实现了虚拟交互系统中对虚拟手的控制，包括抓取物体、手势变换和翻书等精细动作的控制，并利用手指动作取代鼠标和键盘，使用户在虚拟环境中有身临其境的感觉，提升用户的交互感，能应用于医学、娱乐、军事航天和游戏等各个行业。属于虚拟现实领域。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，使用户沉浸在该环境中。它使人与机器的交互从文字、语音、图像和视频等信息交互方式到手势、体感、语音、眼球追踪，甚至是脑电波等更具沉浸感的内容交互方式。目前，虚拟现实技术已经应用于医学、娱乐、军事航天和游戏等各个行业，是一种可以改变我们生活方式的新突破。数据手套是一种多模式的虚拟现实硬件，通过软件编程，把人的手势准确实时地传递给虚拟环境，实现在虚拟环境中对物体的抓取和移动，使操作者以更加直接，更加自然，更加有效的方式与虚拟世界进行交互，大大增强了互动性和沉浸感。鉴于两者的优势，本发明提供了一种基于数据手套的虚拟交互装置。
发明内容
本发明所要解决的技术问题是：本发明实现了虚拟交互装置中对虚拟手的控制，包括抓取物体、手势变换和翻书等精细动作的控制。实现利用数据手套对人的手势动作进行捕捉，并将识别结果传递给虚拟环境，使虚拟动作与实际动作同步，并利用手指动作取代鼠标和键盘，使用户在虚拟环境中有身临其境的感觉，提升用户的互动感。
本发明所要解决的技术方案是：一种基于数据手套的虚拟交互装置，包括左手套核心模块（1）、右手套核心模块（2）和虚拟界面显示模块（3），其特征还在于与左手套核心模块（1）相连的显示屏（7）、弯曲度传感器（8）、陀螺仪传感器（9）、无线模块（10）、按键模块（11），与右手套核心模块（2）相连的无线模块（12）、弯曲度传感器（13）、显示屏（14）、陀螺仪传感器（15），所述虚拟界面显示模块（3）包括AR接收机（4）、PC端（5）、VR眼镜（6）。
所述的左手套核心模块（1），核心采用STM32F103C8T6芯片，其优势在于低功耗、低成本但高性能，其主要工作是接收由弯曲度传感器（8）和陀螺仪传感器（9）采集的左手数据，并对数据进行滤波、提取和分离，然后将数据传送给虚拟界面显示模块（3），同时将左手数据显示在显示屏（7）。
所述的右手套核心模块（2），核心采用STM32F103C8T6芯片，其优势在于低功耗、低成本但高性能，其主要工作是接收由弯曲度传感器（13）和陀螺仪传感器（15）采集的右手数据，并对数据进行滤波、提取和分离，然后将数据传送给虚拟界面显示模块（3），同时将右手数据显示在显示屏（14）。
所述的虚拟界面显示模块（3），主要用于接收经左手套核心模块（1）和右手套核心模块（2）初步处理后的左手数据和右手数据，通过对数据的识别，实现虚拟环境中虚拟动作与真实动作的同步。
所述的AR接收机（4）是与电脑连接的硬件设备，主要用于接收通过无线模块（10）和无线模块（12）发送的左手数据和右手数据，并对数据进行处理后传送给上位机，同时驱动相对应的游戏动作。
所述的PC端（5）接收AR接收机（4）传送的数据，并将识别的手势准确实时地呈现在虚拟界面，同时将其投影于VR眼镜（6）。
所述的VR眼镜（6）是普通的VR眼镜，内置一部分辨率大于360*640的Android手机，将手机通过Wifi与PC端（4）相连，经飞屏软件做分屏处理后，将PC端（4）的屏幕投影于手机屏幕上。
所述的显示屏（7）采用OLED液晶屏，对经左手套核心模块（1）初步处理后的左手数据进行显示，便于参考。
所述的弯曲度传感器（8）和弯曲度传感器（13）采用一种柔韧性弯曲传感器，该款传感器在发生弯曲时，表面的电阻导通率发生变化，从而实现手指弯曲度的准确识别。
所述的陀螺仪传感器（9）和陀螺仪传感器（15）采用MPU6050，依此获取在三维空间的运动轨迹及起落点角度，并及时捕获运动方向变化的数据。
所述的无线模块（10）采用2.4G NRF24L01无线，主要用于发送经左手套核心模块（1）初步处理后的左手数据到AR接收机（4）。
所述的按键模块（11）用于对游戏的选择。
所述的无线模块（12）采用2.4G NRF24L01无线，主要用于发送经右手套核心模块（2）初步处理后的右手数据到AR接收机（4）。
所述的显示屏（14）采用OLED液晶屏，对经右手套核心模块（2）初步处理后的右手数据进行显示，便于参考。
本发明采用数据手套对人的手势动作进行捕捉，并将动作传递给虚拟环境，实现了抓取物体、手势变换和翻书等精细动作控制，实现了虚拟交互系统中对虚拟手的控制，并利用手指动作取代鼠标和键盘，提升了用户的互动感。
附图说明
图1是本发明的整体结构图。
图中：1、左手套核心模块 2、右手套核心模块 3、虚拟界面显示模块 4、AR接收机5、PC端 6、VR眼镜 7、显示屏 8、弯曲度传感器 9、陀螺仪传感器 10、无线模块 11、按键模块 12、无线模块 13、弯曲度传感器 14、显示屏 15、陀螺仪传感器。
具体实施方式
下面结合附图和实例对本发明作进一步说明。
如图1所示，一种基于数据手套的虚拟交互系统，包括左手套核心模块（1）、右手套核心模块（2）和虚拟界面显示模块（3），其特征还在于与左手套核心模块（1）相连的显示屏（7）、弯曲度传感器（8）、陀螺仪传感器（9）、无线模块（10）、按键模块（11），与右手套核心模块（2）相连的无线模块（12）、弯曲度传感器（13）、显示屏（14）、陀螺仪传感器（15），所述虚拟界面显示模块（3）包括AR接收机（4）、PC端（5）、VR眼镜（6）。
本发明提供一种基于数据手套的虚拟现实交互装置，用户戴上VR眼镜（6）和数据手套并开机启动以后，可以通过按键（11）选择感兴趣的模式，并进入虚拟界面。在用户体验过程中，与左手套核心模块（1）相连的弯曲度传感器（8）和陀螺仪传感器（9）不断采集左手的手势信息，然后将由左手套核心模块（1）滤波分离后的数据通过无线模块（10）传送到虚拟界面显示模块（3）中的AR接收机（4），同时将此数据信息显示在显示屏（7）上。同样地，与右手套核心模块（2）相连的弯曲度传感器（13）和陀螺仪传感器（15）也不断采集右手的手势信息，然后将由右手套核心模块（2）滤波分离后的数据通过无线模块（12）传送到虚拟界面显示模块（3）中的AR接收机（4），同时将此数据信息显示在显示屏（14）上。虚拟界面显示模块（3）中的AR接收机（4），接收到左手和右手的数据后，对数据进行进一步的处理和识别，然后将识别的手势传送给PC端（5），并驱动相应的虚拟世界的动作。PC端（5）接收到数据后，将对应的手势动作等信息显示在虚拟界面，实现虚拟动作与真实动作的同步，同时将PC端（5）的屏幕投影在VR眼镜（6）内，即可体验虚拟世界。
本发明的创新点为：
（1）应用新兴的物联网，将手套、VR眼镜和电脑组成网络，实现人体动作与游戏动作同步；
（2）数据手套能精确识别手势的细微动作，使控制更精细；
（3）采用无线传输，无需连接电脑，具有便携性；
（4）预留了对外传输数据接口，可用于远程机器人控制；
（5）采用3D打印技术制造机械结构。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其效物界定。

Claims (1)

1.一种基于数据手套的虚拟交互装置，包括左手套核心模块（1）、右手套核心模块（2）和虚拟界面显示模块（3），其特征还在于与左手套核心模块（1）相连的显示屏（7）、弯曲度传感器（8）、陀螺仪传感器（9）、无线模块（10）、按键模块（11），与右手套核心模块（2）相连的无线模块（12）、弯曲度传感器（13）、显示屏（14）、陀螺仪传感器（15），所述虚拟界面显示模块（3）包括AR接收机（4）、PC端（5）、VR眼镜（6）。
CN201810268504.XA 2018-03-29 2018-03-29 一种基于数据手套的虚拟交互装置 Pending CN108415573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810268504.XA CN108415573A (zh) 2018-03-29 2018-03-29 一种基于数据手套的虚拟交互装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810268504.XA CN108415573A (zh) 2018-03-29 2018-03-29 一种基于数据手套的虚拟交互装置

Publications (1)

Publication Number Publication Date
CN108415573A true CN108415573A (zh) 2018-08-17

Family

ID=63133724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810268504.XA Pending CN108415573A (zh) 2018-03-29 2018-03-29 一种基于数据手套的虚拟交互装置

Country Status (1)

Country Link
CN (1) CN108415573A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063183A (zh) * 2011-02-12 2011-05-18 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
CN105117017A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的手套
CN106774926A (zh) * 2016-12-30 2017-05-31 深圳创维－Rgb电子有限公司 一种虚拟现实交互手套系统及虚拟现实系统
CN107132917A (zh) * 2017-04-25 2017-09-05 腾讯科技（深圳）有限公司 用于虚拟现实场景中的手型显示方法及装置
CN208239980U (zh) * 2018-03-29 2018-12-14 天津职业技术师范大学 一种基于数据手套的虚拟交互装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063183A (zh) * 2011-02-12 2011-05-18 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
CN105117017A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的手套
CN106774926A (zh) * 2016-12-30 2017-05-31 深圳创维－Rgb电子有限公司 一种虚拟现实交互手套系统及虚拟现实系统
CN107132917A (zh) * 2017-04-25 2017-09-05 腾讯科技（深圳）有限公司 用于虚拟现实场景中的手型显示方法及装置
CN208239980U (zh) * 2018-03-29 2018-12-14 天津职业技术师范大学 一种基于数据手套的虚拟交互装置

Similar Documents

Publication Publication Date Title
US11360558B2 (en) Computer systems with finger devices
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN103246351B (zh) 一种用户交互系统和方法
CN102779000B (zh) 一种用户交互系统和方法
CN103793060B (zh) 一种用户交互系统和方法
CN105031918B (zh) 一种基于虚拟现实技术的人机交互系统
CN106873767B (zh) 一种虚拟现实应用的运行控制方法和装置
CN107850947A (zh) 远程通信的社会交互
CN107850948A (zh) 混合现实社交
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的系统
CN102335510B (zh) 人机互动系统
JP7382994B2 (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
CN103019377A (zh) 基于头戴式可视显示设备的输入方法及装置
CN110362231B (zh) 抬头触控设备、图像显示的方法及装置
CN102193631A (zh) 可穿戴式三维手势交互系统及其使用方法
CN208239980U (zh) 一种基于数据手套的虚拟交互装置
CN207752446U (zh) 一种基于Leap Motion设备的手势识别互动系统
CN107943282A (zh) 一种基于增强现实和可穿戴设备的人机交互系统及方法
CN107357434A (zh) 一种虚拟现实环境下的信息输入设备、系统及方法
CN108027663A (zh) 将移动设备与人员跟踪组合以用于大型显示器交互
WO2016135446A1 (en) Interactive system control apparatus and method
CN109692471A (zh) 一种可穿戴设备以及交互方法
CN206584310U (zh) 一种应用于虚拟现实中的mr手套
Zhao et al. Comparing head gesture, hand gesture and gamepad interfaces for answering Yes/No questions in virtual environments
CN101422656A (zh) 可感应人体动作的电子游戏操控装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination