CN110134230B - 一种虚拟现实场景中的基于手部指尖力反馈的输入系统 - Google Patents

一种虚拟现实场景中的基于手部指尖力反馈的输入系统 Download PDF

Info

Publication number
CN110134230B
CN110134230B CN201910270886.4A CN201910270886A CN110134230B CN 110134230 B CN110134230 B CN 110134230B CN 201910270886 A CN201910270886 A CN 201910270886A CN 110134230 B CN110134230 B CN 110134230B
Authority
CN
China
Prior art keywords
fingertip
force feedback
module
information
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910270886.4A
Other languages
English (en)
Other versions
CN110134230A (zh
Inventor
翁冬冬
江海燕
胡翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang New Century Conference And Exhibition Center Co ltd
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Original Assignee
Nanchang New Century Conference And Exhibition Center Co ltd
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang New Century Conference And Exhibition Center Co ltd, Nanchang Virtual Reality Detection Technology Co ltd, Beijing Institute of Technology BIT filed Critical Nanchang New Century Conference And Exhibition Center Co ltd
Priority to CN201910270886.4A priority Critical patent/CN110134230B/zh
Publication of CN110134230A publication Critical patent/CN110134230A/zh
Application granted granted Critical
Publication of CN110134230B publication Critical patent/CN110134230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种虚拟现实场景中的基于手部指尖力反馈的输入系统，是一种快速高效的适用于移动场景的文本输入系统。为达到上述目的，本发明的技术方案为：该系统包括：指尖力反馈模块，用于获取用户指尖的状态信息发送至交互模块，还用于根据控制信息为用户指尖提供力反馈。交互模块，用于接收状态信息并发送至中央处理模块，还用于接收控制信息并回传给指尖力反馈模块。中央处理模块，根据状态信息计算输入信息，输入信息包括指尖的下压键值或者回弹键值；根据输入信息计算控制信息，控制信息包括指尖的下压反馈或者回弹反馈，将控制信息发送至交互模块，还用于根据输入信息生成输入信息图像，并将输入信息图像渲染到显示模块中。

Description

一种虚拟现实场景中的基于手部指尖力反馈的输入系统
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种虚拟现实场景中的基于手部指尖力反馈的输入系统。
背景技术
目前，虚拟现实技术在娱乐、教育、医疗等各个领域已被广泛使用，在各应用中都存在大量需要进行文本输入的场景，用于记录、远程交流等，且很多场景都是属于移动场景。
现有虚拟环境文本输入技术中，使用实体键盘作为输入媒介进行文本输入，但是该方式需要准确获取用户的手部位置使用户感知到键盘键值的准确位置，完成输入，一般都使用计算机视觉方式来获取，设备成本高昂，光环境要求较高。同时该方式需要将键盘放置在固定位置，不适用于移动场景的文本输入。其他技术，数据手套的使用或者直接使用手部在空中进行敲击，虽然能够让用户在任意场景中敲击虚拟键盘进行输入，但是用户敲击时缺乏力反馈，不能迅速感知用户敲击动作的完成，降低敲击效率以及舒适度，不适用于长时间的输入。数据手套精确度不是非常高，且使用户手部失去了对其他物体的触感，影响其他交互。直接检测手部位置需要准确获取手部位置，相机对光环境要求也较高，估计精确度难以保证，容易造成输入检测错误。
目前已有的用于虚拟现实输入的系统包括两种：
一种是在虚拟环境中使用真实键盘进行文本输入。用户熟悉QWERTY键盘排布，同时实体键盘为用户提供力反馈，提高输入效率以及舒适度。该系统使用跟踪设备对用户进行手部进行跟踪，控制虚拟手部，使用户能够在虚拟环境中感知到指尖和键值的相对位置，完成在实体键盘不可见的状态下的输入。
该方式需要真实的实体键盘，限制用户使用场景，不适用于移动场景，同时，文字输入模式限制于实体键盘的布局。且跟踪设备使用光学设备，对环境光要求较高。
另一种是，直接检测用户手部在空中的悬空敲击信息，用于文本输入。该系统使用深度相机获取用户指尖运动信息，用于文字输入确定。
该系统缺乏触觉反馈，用户难以准确感知到输入，降低输入效率，同时该系统需要通过相机获取用户手部信息，用户手部只能位于相机视野中，对光环境要求也较高。
目前尚未有一种快速高效的适用于移动场景的文本输入方式。
发明内容
有鉴于此，本发明提供了一种虚拟现实场景中的基于手部指尖力反馈的输入系统，是一种快速高效的适用于移动场景的文本输入系统。
为达到上述目的，本发明的技术方案为：该系统包括指尖力反馈模块、交互模块、中央处理模块以及显示模块。
指尖力反馈模块，用于获取用户指尖的状态信息发送至交互模块。
交互模块，用于接收状态信息并发送至中央处理模块。
中央处理模块，根据状态信息计算输入信息，输入信息包括指尖的下压键值或者回弹键值，中央处理模块根据输入信息计算控制信息，控制信息包括指尖的下压反馈或者回弹反馈，将控制信息发送至交互模块。
交互模块，还用于接收控制信息并回传给指尖力反馈模块。
指尖力反馈模块，还用于根据控制信息为用户指尖提供力反馈。
中央处理模块，还用于根据输入信息生成输入信息图像，并将输入信息图像渲染到显示模块中。
进一步地，该系统还包括信息存储模块；存储模块用于存储交互模块接收的状态信息以及控制信息。
进一步地，指尖力反馈模块包括设置于指尖的力反馈装置，力反馈装置的数量与用户在输入时所使用的手指的数量一致。
指尖力反馈模块，还用于接收控制信息，解析得到对应待控制指尖的下压反馈或者回弹反馈，并控制待控制指尖处的力反馈装置给予待控制指尖下相应的力反馈，包括压力反馈以及回弹力反馈。
力反馈装置获取其所属指尖的位姿、路径以及力反馈大小作为状态信息反馈至交互模块。
进一步地，中央处理模块为计算机，显示模块为头戴式显示器或者其他虚拟环境显示界面。
有益效果：
1、本系统是用于虚拟现实以及增强现实的输入系统，基于用户指尖力反馈装置，使用该系统，用户可以在虚拟环境的任意界面进行文本输入，并可以在任意物理界面模拟实体键盘的力反馈进行输入，特别适用于移动场景的文本输入。本系统基于指尖力反馈装置，保证用户能够在任意场景中进行输入，在输入的同时，力反馈给予用户输入真实感，可以加快用户输入确认，输入速度以舒适度，提高了输入效率和输入正确率，达到了快速高效的输入目的。
附图说明
图1为本发明实施例提供的一种虚拟现实场景中的基于手部指尖力反馈的输入系统的原理框图；
图2为本发明实施例提供的基于手部指尖力反馈的输入系统的桌面文本输入场景模拟图；
图3为本发明实施例提供的基于手部指尖力反馈的输入系统的空中文本输入场景模拟图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种虚拟现实场景中的基于手部指尖力反馈的输入系统，如图1所示，该系统包括指尖力反馈模块、交互模块、中央处理模块(即图中计算机)以及显示模块。
指尖力反馈模块，用于获取用户指尖的状态信息发送至交互模块。
交互模块，用于接收状态信息并发送至中央处理模块，具体地，若交互模块接收到的状态信息是模拟信号的形式，交互模块可以对状态信息进行模数转换后再发送至中央处理模块。
中央处理模块可以为计算机或者其他可以进行中央数据处理的芯片等，中央处理模块根据状态信息计算输入信息，输入信息包括指尖的下压键值或者回弹键值，中央处理模块根据输入信息计算控制信息，控制信息包括指尖的下压反馈或者回弹反馈，将控制信息发送至交互模块。
交互模块，还用于接收控制信息并回传给指尖力反馈模块；具体地，交互模块可以将中央处理模块发来的数字形式的控制信息进行数模转换后再回传给指尖力反馈模块。
指尖力反馈模块，还用于根据控制信息为用户指尖提供力反馈；例如控制信息中包含待控制指尖的下压反馈或者回弹反馈，则指尖力反馈模块可以给予对应指尖一定的力反馈。
中央处理模块，还用于根据输入信息生成输入信息图像，并将输入信息图像渲染到显示模块中。
显示模块为头戴式显示器或者其他虚拟环境显示界面。
为了使得本系统能够适应大量文本输入的情况，本输入系统还包括信息存储模块。存储模块用于存储交互模块接收的状态信息以及控制信息，起到对状态信息和控制信息的缓存作用。
本发明实施例中，指尖力反馈模块可以采用如下形式：
指尖力反馈模块中包括设置于指尖的力反馈装置，力反馈装置的数量与用户在输入时所使用的手指的数量一致。
指尖力反馈模块，还用于接收控制信息，解析得到对应待控制指尖的下压反馈或者回弹反馈，并控制待控制指尖处的力反馈装置给予待控制指尖下相应的力反馈，包括压力反馈以及回弹力反馈。
力反馈装置获取其所属指尖的位姿、路径以及力反馈大小作为状态信息反馈至交互模块。
图2展示了一种可能的用户在物理界面(桌面)上进项文本输入的场景，实际使用不限于该场景。用户将在虚拟环境中看倒虚拟键盘(虚拟键盘可放置于任意位置)以及自己手部，此时虚拟手部可以可视化为多种形式，例如，整个虚拟手或者设置显示指尖。用户点击虚拟键盘时，虚拟键盘可更具用户手部信息来初始化位置，力反馈装置提供力反馈，具有真实实体键盘的输入效率。左图是用户所处的真实环境，用户指尖佩戴有力反馈装置，有图是用户所处的虚拟环境，其中用户手部呈现方式可以有多种，虚拟键盘布局可以更改，虚拟显示界面的形式以及位置等都可以改变。
图3展示了一种可能的用户在空中进行文本输入的场景。左图用户在空中悬空进行输入，但是力反馈的加入将帮助用户快速确认文字输入，相比无力反馈输入速度更快，更舒适。右图在空中对用位置渲染用户手部、虚拟字符以及输入显示界面。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种虚拟现实场景中的基于手部指尖力反馈的输入系统，其特征在于，用户在空中悬空进行输入，该系统包括指尖力反馈模块、交互模块、中央处理模块以及显示模块；
所述指尖力反馈模块，用于获取用户指尖的状态信息发送至所述交互模块；
所述交互模块，用于接收所述状态信息并发送至所述中央处理模块；
所述中央处理模块，根据所述状态信息计算输入信息，所述输入信息包括指尖的下压键值或者回弹键值，中央处理模块根据所述输入信息计算控制信息，所述控制信息包括指尖的下压反馈或者回弹反馈，将所述控制信息发送至所述交互模块；
所述交互模块，还用于接收所述控制信息并回传给所述指尖力反馈模块；
所述指尖力反馈模块，还用于根据控制信息为用户指尖提供力反馈；所述指尖力反馈模块包括设置于指尖的力反馈装置，力反馈装置的数量与用户在输入时所使用的手指的数量一致；
所述指尖力反馈模块，还用于接收所述控制信息，解析得到对应待控制指尖的下压反馈或者回弹反馈，并控制所述待控制指尖处的力反馈装置给予待控制指尖下相应的力反馈，包括压力反馈以及回弹力反馈；
所述力反馈装置获取其所属指尖的位姿、路径以及力反馈大小作为状态信息反馈至所述交互模块；
所述中央处理模块，还用于根据所述输入信息生成输入信息图像，并将所述输入信息图像渲染到所述显示模块中；其中用户点击虚拟键盘时，虚拟键盘根据用户手部信息来初始化位置。
2.如权利要求1所述的输入系统，其特征在于，该系统还包括信息存储模块；所述存储模块用于存储所述交互模块接收的状态信息以及控制信息。
3.如权利要求1所述的输入系统，其特征在于，所述中央处理模块为计算机，所述显示模块为头戴式显示器或者其他虚拟环境显示界面。
CN201910270886.4A 2019-04-04 2019-04-04 一种虚拟现实场景中的基于手部指尖力反馈的输入系统 Active CN110134230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910270886.4A CN110134230B (zh) 2019-04-04 2019-04-04 一种虚拟现实场景中的基于手部指尖力反馈的输入系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910270886.4A CN110134230B (zh) 2019-04-04 2019-04-04 一种虚拟现实场景中的基于手部指尖力反馈的输入系统

Publications (2)

Publication Number Publication Date
CN110134230A CN110134230A (zh) 2019-08-16
CN110134230B true CN110134230B (zh) 2021-03-02

Family

ID=67569398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910270886.4A Active CN110134230B (zh) 2019-04-04 2019-04-04 一种虚拟现实场景中的基于手部指尖力反馈的输入系统

Country Status (1)

Country Link
CN (1) CN110134230B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111103974B (zh) * 2019-11-15 2020-12-08 同济大学 沉浸式上肢多向活动的虚拟现实系统
CN113687714A (zh) * 2021-07-16 2021-11-23 北京理工大学 一种主动式柔性压力传感器的指尖交互系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699221B (zh) * 2013-12-11 2016-08-24 浙江理工大学 指尖力反馈装置
CN106873828A (zh) * 2017-01-21 2017-06-20 司承电子科技（上海）有限公司 一种应用于虚拟现实产品的3d按键输入装置的实现方法
CN109032343B (zh) * 2018-07-04 2022-02-11 青岛理工大学 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
CN109116992B (zh) * 2018-08-31 2020-12-04 北京航空航天大学 一种用于虚拟手力反馈交互的碰撞响应系统

Also Published As

Publication number Publication date
CN110134230A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
Grubert et al. Effects of hand representations for typing in virtual reality
US20190265781A1 (en) Precision tracking of user interaction with a virtual input device
US10261595B1 (en) High resolution tracking and response to hand gestures through three dimensions
US7337410B2 (en) Virtual workstation
US7774075B2 (en) Audio-visual three-dimensional input/output
CN109491586B (zh) 虚拟对象控制方法及装置、电子设备、存储介质
CN110647239A (zh) 人工现实环境中的虚拟内容的基于手势的投射和操纵
JP2016126772A (ja) 拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法
Prätorius et al. DigiTap: an eyes-free VR/AR symbolic input device
JP2006506737A (ja) 身体中心的な仮想対話型装置および方法
US11907448B2 (en) Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment
US20190050132A1 (en) Visual cue system
CN103180893A (zh) 用于提供三维用户界面的方法和系统
CN110134230B (zh) 一种虚拟现实场景中的基于手部指尖力反馈的输入系统
CN103631382A (zh) 一种激光投影虚拟键盘
CN104254816A (zh) 数据输入装置
CN107357434A (zh) 一种虚拟现实环境下的信息输入设备、系统及方法
Gupta et al. Investigating remote tactile feedback for mid-air text-entry in virtual reality
Shajideen et al. Hand gestures-virtual mouse for human computer interaction
CN104714650A (zh) 一种信息输入方法和装置
WO2018149318A1 (zh) 一种输入方法、装置、设备、系统和计算机存储介质
CN111782034A (zh) 基于线性马达的新型电磁触觉模拟反馈装置及方法
US20220050527A1 (en) Simulated system and method with an input interface
Habibi Detecting surface interactions via a wearable microphone to improve augmented reality text entry
CN111782031A (zh) 一种基于头动以及手指微手势的文本输入系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant