CN113508355A - 虚拟现实控制器 - Google Patents
虚拟现实控制器 Download PDFInfo
- Publication number
- CN113508355A CN113508355A CN202080017490.XA CN202080017490A CN113508355A CN 113508355 A CN113508355 A CN 113508355A CN 202080017490 A CN202080017490 A CN 202080017490A CN 113508355 A CN113508355 A CN 113508355A
- Authority
- CN
- China
- Prior art keywords
- finger
- virtual
- controller
- virtual object
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000035807 sensation Effects 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 abstract description 19
- 238000013461 design Methods 0.000 abstract description 6
- 230000000284 resting effect Effects 0.000 abstract 1
- 210000003811 finger Anatomy 0.000 description 264
- 210000003813 thumb Anatomy 0.000 description 64
- 238000003860 storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 238000003825 pressing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000000837 restrainer Substances 0.000 description 3
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003155 kinesthetic effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- DHKHKXVYLBGOIT-UHFFFAOYSA-N acetaldehyde Diethyl Acetal Natural products CCOC(C)OCC DHKHKXVYLBGOIT-UHFFFAOYSA-N 0.000 description 1
- 125000002777 acetyl group Chemical class [H]C([H])([H])C(*)=O 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009023 proprioceptive sensation Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Abstract
本概念涉及一种虚拟现实控制器,其使得能够使用涉及用户的手指的灵活性的自然运动对虚拟对象进行精细控制,并且向用户的手指提供逼真的触觉感觉。控制器可以具有没有移动部件的刚性结构设计。手指支托下的力传感器可以检测由用户的手指施加的力。致动器可以将来自虚拟现实世界的触觉反馈渲染给用户的手指。控制器可以包括一个或多个触控板,用户可以在触控板上滑动她的手指。控制器可以被用于探索和操纵虚拟对象,例如,通过抓握、释放、旋转以及感觉虚拟物体的表面。
Description
附图说明
附图示出了本概念的实现。结合附图参考以下描述可以更容易地理解所示出的实现的特征。在可行的情况下,在各个附图中使用相同的附图标记来指示相同的元件。在某些情况下,在附图标记之后使用括号来区分相似的元件。没有相关联的括号的附图标记的使用对元件是通用的。附图不一定按比例绘制。在图中,附图标记最左边的数字标识附图标记第一次出现的图。在说明书和图中的不同实例中相似的附图标记的使用可以标识相似或相同的项目。
图1示出了与本概念的一些实现一致的虚拟现实系统。
图2A和图2B示出了与本概念的一些实现一致的控制器的不同透视图。
图3A到图3E示出了与本概念的一些实现一致的控制器的部件的示意图。
图4A和图4B示出了与本概念的一些实现一致的控制器的组件的框图。
图5示出了与本概念的一些实现一致的虚拟现实系统的示例配置的框图。
图6A到图6E示出了与本概念的一些实现一致的对操纵虚拟对象的虚拟渲染。
图7示出了说明与本概念的一些实现一致的涉及使用控制器抓握虚拟对象的过程的流程图。
图8示出了与本概念的一些实现一致的涉及使用控制器释放虚拟对象的过程的流程图。
图9示出了与本概念的一些实现一致的涉及使用控制器在虚拟对象表面上滑动虚拟手指的过程的流程图。
图10示出了与本概念的一些实现一致的涉及使用控制器旋转虚拟对象的过程的流程图。
具体实施方式
本概念涉及可以在虚拟现实环境(包括增强现实和混合现实)中被用于模拟自然运动的控制器。控制器可以是可以被用于使用细粒度的灵活性操纵来操纵虚拟对象的手持式刚性自然用户界面(NUI)。控制器还可以提供多用途的触觉体验。
传统的虚拟现实控制器在设计上有很大差异,但有数个缺点。通常与视频游戏系统一起被使用的典型商业控制器是具有操纵杆、按钮和/或触发器的笨重的手持控制器。然而,这些控制器并不模仿自然运动。此外,整个控制器的振动触觉的嗡嗡声所创建的触觉感觉未激起人们热情。这些控制器无法生成引人注目的包括抓握感觉、顺应性,以及触觉感觉的触觉反馈形式。
其他模仿自然手部运动的传统控制器可以具有相对简单的设计,并且可以被握在用户手中。这样的控制器可以使用用户的手掌(通常被称为强力握住)而被握住,并且仅允许通过手臂和手腕运动的虚拟对象的操纵。它们可以不允许用户如在现实生活中一样使用她的手指的灵巧性针对虚拟对象的精细操作。
其他传统控制器包括手指佩戴的触觉界面。这样的控制器可以启动精确的触摸操纵,并且提供源自在指尖处的皮肤压力敏感刺激的逼真灵巧体验。然而,它们具有有限的有力的输入,因为它们没有使得用户的手能够牢牢握住的结构。
传统的手套式控制器可以启动强力握住和高精度操纵的两者。这样的控制器需要触觉刚性以模拟虚拟物体的强力握住或触摸。因此,它们可以包括许多电磁马达和制动器以提供逼真的感觉。因此,这样的控制器非常复杂,这会增加成本并且降低可靠性。这些控制器可以具有一系列灵活的活动的部件,以及许多昂贵的组件,诸如电磁马达和齿轮。与其他可以被轻松快速拿起的控制器相比,穿上它们也是困难的并且耗时的。
为了解决与传统虚拟现实控制器相关联的问题,本概念涉及一种多用途触觉控制器,该控制器可以使用力性握把(power grip)稳定地被握住,同时能够使用自然运动对虚拟对象精细控制。控制器还可以提供令人信服的逼真的皮肤级感觉。控制器可以具有启动高效并且具有成本效益的大规模制造的刚性设计。
控制器可以感测手指运动和/或力,并且从而使得用户能够执行自然灵巧的基于手指的交互和虚拟对象的探索。在一些实现中,控制器可以包括触控板(也被称为触摸板),用户可以通过在平面上自由滑动她的拇指或其他手指来探索虚拟对象并与虚拟对象交互。与传统的虚拟现实控制器相比,根据本概念的控制器可以启动以人类规模的力对虚拟对象更精确的操纵。例如,用户可以用拇指和两个其他手指使用三脚架手柄来抓握虚拟对象。用户可以灵巧地操纵虚拟对象,例如通过感觉虚拟对象的表面或旋转虚拟对象。用户还可以释放她的手指并且放开虚拟对象。
控制器还可以向用户的手指输出引人注目的触觉感觉,从而提供逼真的虚拟现实体验。例如,控制器可以产生表示挤压、剪切或转动对象的触觉感觉。尽管是刚性设计,但控制器可以渲染大范围的引人注目的触觉反馈,包括虚拟对象材料的顺应性和虚拟对象表面的纹理。控制器可以产生引人注目的触觉感觉,无需凭借由多个马达沿多个自由度所致动的人类规模的力。
图1示出了与本概念的一些实现一致的虚拟现实系统100。虚拟现实系统100可以包括基站102。基站102可以包括用于生成和执行虚拟现实世界的硬件和/或软件,包括接收和处理来自用户104的输入,以及生成反馈并且向用户104输出反馈。基站102可以是任何计算设备,包括个人计算机(PC)、服务器、游戏控制台、智能电话、平板电脑、笔记本电脑、汽车、模拟器等。
在一些实现中,虚拟现实系统100可以包括头式装置(headset)106。头式装置106可以是例如头戴式显示器(HMD),其从由基站102执行的虚拟现实世界接收视觉信息并且包括用于向用户104显示视觉信息的显示器。用户104可以将头式装置106戴在她的头上。头式装置106还可以从基站102接收与虚拟现实世界相关联的听觉信息并且包括扬声器以向用户104渲染听觉信息。在一些实现中,头式装置106可以包括一个或多个传感器(图1中未示出),用于向基站102提供输入。传感器可以包括,例如按钮、加速度计、陀螺仪、相机、麦克风等。因此,头式装置106能够检测用户周围的对象、用户头部的位置、用户头部面向的方向、用户的眼睛是睁开还是闭上、用户的眼睛正在看哪个方向等。
虚拟现实系统100还可以包括控制器108。与本概念一致,控制器108可以是用户104可以握在她的手110中并且用她的手指操纵以向基站102提供输入的手持设备。控制器108可以包括能够检测手指运动和/或力的传感器112。示例传感器112结合图3A至图3E被介绍。此外,控制器108可以从由基站102执行的虚拟现实世界接收触觉信息并且可以经由振动器114向用户的手110渲染触觉信息。示例振动器114结合图3A-图3E被介绍。
结合图1所描述的虚拟现实系统100仅仅是一个示例。虚拟现实系统100的各种配置是可能的。基站102可以经由有线和/或无线方式与头式装置106和/或控制器108通信。在一些实现中,基站102可以被包括在头式装置106或控制器108中。显示器可以是电视机、监视器、屏幕、投影仪、护目镜、眼镜、镜片等。扬声器可以是外部独立扬声器、计算设备的内置扬声器、头戴式耳机(headphone)、耳机(earphone)等。此外,虽然控制器108在图1中被示为独立设备,但它可以是另一外围设备的附加。
图2A和图2B示出了与本概念的一些实现一致的控制器108的不同透视图。图2A示出了控制器108的前视图(即,从指尖端看),并且图2B示出了控制器108的左视图(即,从拇指侧看)。这些图将一起被描述。
控制器108可以包括主体202,主体202提供控制器108的各个部分可以被附接于和安装到其的结构。主体202还可以把控制器108的各个部分储藏在内。可选地,控制器108可以包括手柄204,手柄204允许用户104将控制器108握在用户的手110中。本文所示出和描述的示例控制器108可以被设计为由用户的右手110握住,但是备选的控制器可以被设计为由用户的左手握住,或者双手灵巧的控制器可以被设计。尽管图2A和图2B中所示出的控制器108具有条形的主体202和可以被无名指206(4)和小拇指206(5)握住的手柄204,但是其他设计配置也是可能的。例如,控制器108可以包括可以适合手掌的具有类似于球的表面的凸起形状的主体,并且可以包括类似于保龄球的指孔形式的手柄。在一些实现中,主体202和手柄204可以是一个并且是相同的,或者具有重叠结构。
控制器108可以包括用户104可以放置她的手指206的一个或多个手指支托208。例如,控制器108可以被操作以仅使用一个手指206或最多使用所有五个手指206来提供输入。在图2A和图2B所示的示例实现中,控制器108可以被操作以使用拇指206(1)、食指206(2)和/或中指206(3)来提供输入。因此,控制器108包括刚性附接于主体202的拇指支托208(1)、食指支托208(2),和中指支托208(3)。
根据一些实现,如图2A(前视图)所示出的,手指支托208可以被定位于左侧和右侧,背对彼此,使得用户104可以将她的手指206放置在手指支托208的外侧并且能够将手指支托208向内挤压在一起(例如,将拇指和其他手指相互挤压)。如以下关于图3A-图3E将更详细地描述的,手指支托208可以包括用于感测关于用户的手指206的信息的传感器112(图2A和图2B中未示出),并且包括用于向用户的手指206提供感觉的振动器114(图2A和图2B中未示出)。相反侧上的手指支托208可以彼此平行或成一定角度(例如,角度差为30度但仍然实质上背对彼此)。控制器108上的手指支托208可以被用于由用户104向基站102提供输入以使虚拟手指闭合,例如,以抓握虚拟对象。
可选地,在一些实现中,一个或多个手指支托208可以附接于限制器210。附接于手指支托208的限制器210可以在用户104的手指206的周围形成环(完全或部分封闭的环),使得用户104可以将她的手指206拉离手指支托208并且施加远离手指支托208的负力。控制器108上的限制器210可以被用于由用户104向基站102提供输入以使虚拟手指张开,例如,释放虚拟对象。每个手指支托208可以包括限制器210。或者手指支托208的子集可以包括限制器210。两个或更多个手指支托208可以共享限制器210。
与本概念一致,手指支托208可以是当用户104操作控制器108时实质上不相对于主体202和彼此相对移动(例如,通过将手指支托208挤压在一起或通过使用限制器210将手指支托208拉开)的刚性的、非顺从的结构。尽管手指支托208可以移动由传感器112可检测到的极小量(例如,小于50微米),但是手指支托208可以被用户104视为刚性的。备选地,手指支托208可以是可移动部件,但它们的移动可以不一定向基站102提供输入。例如,手指支托208的位置和/或角度可以是可调节的,以舒适地贴合用户的单独的手110和手指206。
图3A到图3E示出了根据本概念的各种实现的示例控制器108的部件的示意图。这些图将被一起描述。图3A至图3E中所示的控制器108可以被配置为由拇指206(1)、食指206(2)和/或中指206(3)操作。因此,对应的描述将与本实现一致。然而,控制器108的配置的许多变型是可能的。图3A到图3E从不同的透视图示出了控制器108并且还示出了控制器108的各种配置。图3A示出了控制器108的后视图,即,从手腕端看。图3B示出了控制器108的左视图,即,从拇指侧看。图3C和图3E示出了控制器108的右视图,即,从食指和中指侧看。图3D示出了控制器108的前视图,即,从指尖端看。
控制器108包括主体202,主体202的一部分在图3A-图3E中被示出。在一些实现中,主体202可以包括从主体202的主要部分突出的支撑结构部分,使得支撑结构部分提供框架,控制器108的其他部分可以通过该框架附接于控制器108的主体202。
在图3A-图3C所示出的配置中,控制器108可以包括在主体202一侧的拇指支托208(1),并且可以包括在主体202的另一侧的食指支托208(2)和中指支托208(3)。拇指支托208(1)可以背对着食指支托208(2)和中指支托208(3),使得用户104可以使用她的拇指206(1)、食指206(2)和中指206(3)朝向彼此(即朝向控制器108的主体202)挤压手指支托208。
在图3D和图3E所示出的备选配置中,控制器108可以包括由食指206(2)和/或中指206(3)所共享(即,被操作)的共享手指支托208(4),而不是具有单独的食指支托208(2)和单独的中指支托208(3)。
手指支托208可以直接或间接地通过控制器108的其他部分刚性地附接于主体202。因此,当手指支托208被用户的手指206向主体202挤压时,手指支托208可以实质上不移动。换句话说,控制器不依赖于控制器108的部分的移动来达到所描述的功能。
在一些配置中,限制器210可以附接于手指支托208,使得用户104可以在远离主体202的手指支托208上施加负力。如图3D所示出的,食指限制器210(2)和中指限制器210(3)可以分别针对食指206(2)和中指206(3)形成两个单独的环。备选地,一个限制器(未示出)可以针对食指206(2)和中指206(3)的两者形成一个更大的环。限制器210可以是有弹性的(例如,橡胶)和/或可移除的(例如,魔术贴带)。备选地,限制器210可以是刚性的(例如,塑料)。限制器210可以被坚固地形成,使得用户的手指206始终与手指支托208接触,或者限制器210可以被松散地形成,使得即使当用户的手指206被限制器210包围时,用户的手指206也可以被抬升离开手指支托208。
与本概念的一些实现一致,控制器108可以包括能够感测关于用户的手指206的信息的各种传感器112,例如,包括用户的手指206的位置和用户的手指206所施加的力(或压力)的量。例如,控制器108可以包括一个或多个力传感器302。力传感器302可以被定位于手指支托208的下方,以便检测和测量由用户的手指206施加在手指支托208上的力的量。在一个实现中,力传感器302能够感测上至1.5的千克力(kgf)。力传感器302可以被配置为推动手指支托208,从而增加手指支托208的刚度。因此,针对力传感器302的整个移动范围(例如,30微米),力感测范围可以大约加倍至3kgf。在一些配置中,一个力传感器302可以检测由一个手指206所施加的力。在备选的配置中,多个力传感器302可以被安装在每个手指支托208的下方,这可以启动操纵虚拟对象的附加方式,诸如使用虚拟拇指和两个其他虚拟手指使虚拟铅笔上下摇动。在其他一些配置中,一个力传感器302可以检测由多个手指206所施加的力。
如图3A-图3C所示出的,控制器108可以包括拇指支托208(1)下方的拇指力传感器302(1)、食指支托208(2)下方的食指力传感器302(2)和中指支托208(3)下方的中指力传感器302(3)。备选地,如图3D和图3E所示出的,共享力传感器302(4)可以被安装在共享手指支托208(4)下方,以测量由食指206(2)和/或中指206(3)所施加的力的级别。
在一些实现中,力传感器302可以朝向主体202被偏置调整,即,在用户的手指206将在手指支托208上施加力的方向上。例如,当没有压力被施加到手指支托208时,力传感器302可以使用一个或多个固定螺丝304(如图3A和图3D所示)被机械地偏置,以被放置大约10%到它们的力感测范围中。在一个实现中,力传感器302可以具有从0牛顿(N)到15N的力感测范围,并且当没有力被施加到它时,它可以被偏置到大约1.5N。在手指支托208的附加刚度推动力传感器302的情况下,力感测范围可以是0N到30N,并且力传感器302可以被偏置大约3N。因此,力传感器302不仅能够检测通过将手指支托208向主体202挤压而被施加的力,而且能够检测通过使用限制器210延伸用户的手指206而将手指支托208拉离主体202时而被施加的负力。
与一些实现一致,控制器108可以包括能够检测用户的手指206的位置的位置传感器。例如,控制器108可以包括触控板308(或触摸板)。触控板308可以被安装在手指支托208的顶部或可以代替手指支托208而被安装。触控板308可以检测手指206的位置,并且从而跟踪手指206在触控板308上的滑行移动。例如,触控板308可以能够检测大约130×130个不同的位置。控制器108上的触控板308可以被用户104使用以向基站102提供输入以使虚拟手指移动。在一些实现中,触控板308可以是基于二维电容的铜垫。此外,触控板308可以由组装在一起的多个(例如,3×3)垫组成。在一些实现中,薄的乙缩醛片可以被添加在触控板308的顶部,以最小化与用户的手指206的摩擦。
在图3D所示的配置中,控制器108可以包括用于检测用户的拇指206(1)的触摸的拇指触控板308(1)。触控板308可以直接或间接地通过控制器108的其他部分刚性地附接于主体202。例如,拇指触控板308(1)可以被安装在拇指支托208(1)上。在其他一些实现中,拇指触控板308(1)可以代替拇指支托208(1)而被安装,并且因此充当拇指支托208(1)。
此外,除了检测手指206在触控板308上的位置之外,触控板308还能够测量手指206施加在触控板308上的力的量。在触控板308具有该附加能力的情况下,力传感器302可以在触控板308的下方被省略。例如,拇指力传感器(图3D中未示出)可以被安装在拇指触控板308(1)的下方。然而,拇指力传感器可能是不必要的并且可以被省略,其中拇指触控板308(1)不仅能够测量用户的拇指206(1)在拇指触控板308(1)上的位置而且能够测量用户的拇指206(1)施加在拇指触控板308(1)上的力。
控制器108可以包括用于检测用户的手指206的各种其他传感器112。例如,在备选的实现中,机械传感器(诸如,操纵杆)可以被安装来代替电容传感器(诸如,触控板308)。在其他实现中,限制器210可以包括压力传感器,诸如电容传感器(未示出),面向用户的手指206的背面,使得压力传感器可以检测手指206何时被抬升离开手指支托208以及何时正在触摸压力传感器。
与本概念的一些实现一致,控制器108可以包括一个或多个振动器114,例如致动器306。例如,致动器306可以是音圈致动器(VCA),VCA可以提供相对于VCA的惯性质量的宽带振动触觉刺激。(虽然控制器108已经被描述为不包括移动部件,但致动器306非常轻微地移动或振动。)致动器306可以播放提供触觉反馈的声音(不是人类可以听到的声音,而是音频频谱内的振动)。例如,VCA可以包括直径为9毫米的音圈,并且能够生成55分贝到75分贝的声压级(dbSPL)。致动器306因此可以提供包括力和本体感觉的动觉知觉。振动器114可以是任何其他种类的触觉输出机构。
致动器306可以被定位于手指支托208和/或触控板308的下方以向触摸手指支托208和/或触控板308的用户的手指206提供触觉感觉。在图3A-图3C所示的配置中,控制器108可以包括拇指支托208(1)下方的拇指致动器306(1)、食指支托208(2)下方的食指致动器306(2),以及中指支托208(3)下方的中指致动器306(3),以向用户的手指206提供触觉感觉。在图3D和图3E所示的配置中,拇指致动器306(1)可以被定位于拇指触控板308(1)的下方以向用户的拇指206(1)提供触觉感觉,并且共享手指致动器306(4)可以被定位于共享手指支托208(4)的下方以向食指206(2)和中指206(3)提供触觉感觉。在一些实现中,多个致动器306的组合可以被用于在致动器306之间产生惯性和虚拟动作的错觉。致动器306可以提供多种触觉反馈,同时保持控制器108的成本相对便宜。
图4A和图4B示出了与本概念的一些实现一致的控制器108的组件的框图。图4A中的框图可以与图3A-图3C中所示的控制器108的配置相对应,图4B中的框图可以与图3D和图3E中所示的控制器108的配置相对应。
与本概念的一些实现一致,控制器108可以包括处理器,诸如微控制器402。微控制器402可以具有用于接收输入信号和发送输出信号的一个或多个引脚404。与本概念一致,微控制器402可以从力传感器302接收信号。来自力传感器302的信号可以包括被施加在对应的手指支托208上的力的级别的测量。在一些实现中,来自力传感器302的信号可以被放大器406放大,然后被路由到微控制器402的模拟-数字转换(ADC)引脚404。
在一些实现中,微控制器402可以从一个或多个触控板308接收信号。例如,在触控板308由九个(3x3)垫组成的情况下,这九个垫可以被连线到微控制器402的九个引脚404。来自触控板308的信号可以包括触摸触控板308的手指206的位置。信号还可以包括由手指206施加在触控板308上的力的测量。
与本概念一致,微控制器402可以基于从一个或多个力传感器302(或从放大器406)接收的信号和/或从一个或多个触控板308接收的信号来生成输入信号。微控制器402可以向基站102发送输入信号。在一些实现中,输入信号可以包括来自传感器(例如,力传感器302和触控板308)的原始信号输出,诸如由指示用户的手指206的被感测的位置的触控板308所提供的x坐标和y坐标位置,由触控板308提供的电容级别取决于用户的手指206在触控板308上按压的强度的程度,和/或由力传感器302提供的力级别取决于用户的手指206在手指支托208上按压或抽离的强度的程度。在备选的实现中,输入信号可以包括符合控制器108和基站102所理解的协议的解释数据信号,并且传达用户的手指的运动和力的逻辑表示。
与本概念一致,微控制器402可以从基站102接收输出信号。微控制器402可以基于从基站102所接收的输出信号生成控制信号,并且可以经由脉冲宽度调制(PWM)引脚404发送控制信号以驱动致动器306。来自微控制器402的控制信号可以由马达驱动器408放大,例如,使用具有外部驱动电压的全桥。在一些实现中,输出信号可以包括将由控制器108中的一个或多个致动器306渲染的触觉振动的信号参数(例如,幅度、频率和持续时间)。备选地,输出信号可以包括控制器108理解的逻辑命令(例如,经由被存储在微控制器402中的查找表,该查找表将命令映射到驱动致动器306的某些方式)。
结合图4A和图4B所描述的控制器108的组件仅仅是示例而不是详尽的。控制器108可以包括许多其他组件。例如,控制器108可以包括内部电源(诸如电池)或外部电源。控制器108可以包括无线收发器、按钮、显示灯等。
图5示出了与本概念的一些实现一致的虚拟现实系统100的示例配置的框图。虚拟现实系统100可以包括经由有线和/或无线方式与一个或多个外围设备502通信的基站102。例如,基站102可以经由有线和/或无线协议通过网络504与外围设备502通信。在图5所示的示例中,基站102可以是服务器计算设备。所描述和描绘的装置的数目和装置类型旨在是说明性的而非限制性的。基站102可以包括其他类型的计算设备,诸如个人计算机、台式计算机、笔记本计算机、移动电话、智能电话、个人数字助理、平板计算机、移动计算机、可穿戴设备、相机、电气用具、智能设备、物联网设备、车辆等,和/或无数不断发展或尚未开发的计算设备类型中的任何一种。本文所使用的术语“设备”、“计算机”或“计算设备”可以意味着具有一定数量的处理能力和/或存储能力的任何类型的设备。处理能力可以由一个或多个硬件处理器508提供,该硬件处理器可以以计算机可读指令的形式执行数据以提供功能。数据,诸如计算机可读指令和/或用户相关数据,可以被存储在存储装置510上,诸如可以在设备内部或外部的存储装置。存储装置510可以包括易失性或非易失性存储器、硬盘驱动器、闪存设备和/或光学存储设备(例如,CD、DVD等)、远程存储装置(例如,基于云的存储装置)中的任何一种或多种,等等。如本文所使用的,术语“计算机可读介质”可以包括暂态传播信号。相反,术语“计算机可读存储介质”不包括暂态传播信号。计算机可读存储介质包括“计算机可读存储设备”。计算机可读存储设备的示例包括易失性存储介质,诸如RAM,以及非易失性存储介质,诸如硬盘驱动器、光盘和闪存,等等。
与本概念一致,基站102可以包括向用户104提供虚拟现实(包括增强现实或混合现实)体验的虚拟现实模块512。例如,虚拟现实模块512可以包括软件并且使用硬件资源来执行用于创建和维护模拟环境的计算机处理,包括虚拟世界和虚拟对象;生成视觉、听觉和/或触觉反馈;并且处理来自用户104的输入信号。
与本概念一致,基站102可以与一个或多个外围设备502结合操作以提供虚拟现实体验。例如,外围设备502可以包括可以基于来自基站102的信号向用户104渲染视觉反馈的显示器514。外围设备502还可以包括基于来自基站102的信号向用户104渲染听觉反馈的扬声器516。外围设备可以包括基于来自基站102的信号向用户104渲染触觉反馈(诸如,动觉和皮肤反馈)的控制器108。
此外,控制器108可以向基站102提供手指移动信息。外围设备502可以包括可以向基站102提供视觉信息的相机518。外围设备502还可以包括可以向基站102提供听觉信息的麦克风520。
外围设备502可以包括可穿戴设备,诸如眼镜522和头式装置106。这些可穿戴设备可以包括显示器、扬声器、麦克风和相机中的一个或多个。
图5示出了可以被基站102采用的两个示例设备配置524(1)和524(2)。基站102可以采用配置524(1)或524(2)中的任一个配置,或者备选的配置。每个配置524的一个实例如图5所示。设备配置524(1)可以表示以操作系统(OS)为中心的配置。设备配置524(1)可以被组织成一个或多个应用526、操作系统528、以及硬件530。设备配置524(2)可以表示片上系统(SOC)配置。设备配置524(2)可以被组织成共享资源532、专用资源534和它们之间的接口536。
在配置524(1)或524(2)中的任一配置中,基站102可以包括存储装置/存储器510和处理器508。本文所使用的术语“处理器”也可以指硬件处理器,诸如中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、处理器核或其他类型的处理设备。基站102还可以包括图5中未示出的其他组件,诸如,电池(或其他电源)、网络通信组件、和/或输入-输出组件。
在设备配置524(2)的情况下,由基站102提供的某些功能可以被集成在单个SOC或多个耦合的SOC上。一个或多个处理器508可以被配置为与共享资源532协调,诸如存储装置/存储器510等,和/或与一个或多个专用资源534协调,诸如被配置为执行特定功能的硬件块。例如,虚拟现实模块512的某些功能可以在FPGA上被优化和实现。
图6A到图6E示出了与本概念的一些实现一致的操纵虚拟对象602的虚拟渲染。例如,这些虚拟场景可以由基站102基于来自控制器108的输入信号、使用逆向运动学来生成,并且由基站102向显示器514发送以向用户104显示。
图6A示出了抓握虚拟对象602的虚拟手指604。该视觉信息可以已经由基站102响应于用户104使用她的手指206挤压手指支托208和/或触控板308而基于从控制器108所接收的输入信号而生成。基站102可以使用碰撞动力学来计算虚拟手指604和虚拟对象602之间的接触点,例如,通过在虚拟手指604的尖端处、以与对应的手指支托208或触控板308正交的方向发出射线,并确定射线与虚拟对象602之间的交点。这些计算可以针对如下每个虚拟手指604而被执行:具有施加到其对应的指托手指支托208或触控板308的力的虚拟手指604。
当例如以实质上相反的方向从虚拟手指604发出的至少两条射线在距虚拟对象602的表面某个阈值距离容差(例如,1厘米)内,从虚拟对象602的相反侧与虚拟对象602相交时,基站102可以声明虚拟手指604对虚拟对象602的获取。此外,使用逆向运动学,虚拟手指604的关节的位置和角度可以被估计。一旦虚拟对象602已经被抓握并且被获取,虚拟对象602就可以跟随虚拟世界中的手部运动。
基站102可以生成模拟虚拟手指604在图6A中所示的箭头606的方向上移动并且抓握虚拟对象602的视觉信息。该视觉信息可以由基站102向显示器514发送并且向用户104渲染。手指支托208的刚性结合示出虚拟手指604抓握虚拟对象602的同期视觉反馈可以针对用户104提供令人信服的体验,而该刚性可以对挤压手指支托208的用户的手指206提供阻力压力。
可选地,基站102还可以生成模拟虚拟手指604抓握虚拟对象602的触觉信息。在一些实现中,触觉信息的特点,包括幅度、频率和/或持续时间,可以取决于几个因素,诸如由手指206施加在手指支托208上的力的级别,以及虚拟对象602的虚拟大小、形状、重量、纹理、结构、材料和/或方向。例如,在虚拟对象602是薯片的场景中,如果用户的手指206在处理虚拟薯片时在手指支托208上施加轻柔的力,则基站102可以生成很少的或没有触觉反馈。但是如果用户的手指206用力挤压手指支托208,则基站102可以模拟虚拟薯片破裂或破碎,并且产生高频振动作为触觉反馈,从而给用户的手指206渲染清脆的感觉。触觉信息可以由基站102向控制器108发送并且经由致动器306向用户的手指206渲染。尽管用户的手指206实质上不移动刚性手指支托208,但同期的视觉反馈和触觉反馈的组合可以针对用户104创建引人注目的真实体验。例如,即使手指支托208是刚性的并且不移动,用户104也可以感知虚拟对象602的压缩。此外,用户104的思想可以将致动器306产生的振动解释为虚拟对象材料在压力下的破裂。
图6B示出了释放虚拟对象602的虚拟手指604。该视觉信息可以由基站102响应于用户104从手指支托208和/或触控板308释放她的手指206而基于从控制器108所接收的输入信号来生成。基站102可以基于数个因素声明虚拟手指604对虚拟对象602的释放。例如,当用户的手指206施加在手指支托208和/或触控板308上的力为负时,即用户的手指206使用限制器210正在对手指支托208和/或触控板308施加负力时,基站102可以声明对虚拟对象602的释放。或者,当用户的手指206在手指支托208和/或触控板308上施加零力时,释放可以被声明。备选地,当用户的手指206在手指支托208和/或触控板308上施加小的正向力时,释放可以被声明。用于声明释放的不同场景可以取决于,例如,虚拟物体602的形状、虚拟物体602的虚拟重量、虚拟手指604正在抓握虚拟物体602的角度、虚拟物体602的虚拟纹理(光滑或粗糙),当被虚拟手指604释放时,虚拟对象602是停留在虚拟表面上还是被举在空中等。在一些实现中,如图6C所示,在虚拟手(和虚拟手指604)从底部举起虚拟对象602的同时,基站102可以不声明对虚拟对象602的释放。
基站102可以生成模拟虚拟手指604在图6B中所示的箭头608的方向上远离虚拟对象602移动并且释放虚拟对象602的视觉信息。如果虚拟对象602尚未停留在虚拟表面上,则基站102可以根据虚拟世界场景模拟虚拟对象602下落、旋转、撞击虚拟表面、翻滚等。该视觉信息可以由基站102向显示器514发送并且向用户104渲染。通过同期地示出虚拟手指604张开并且从而释放虚拟对象602,可以向将她的手指206拉离手指支托208的用户104提供真实体验。
可选地,基站102还可以生成模拟虚拟手指604释放虚拟对象602的触觉信息。例如,在虚拟对象602是一块粗糙的木头的场景中,基站102可以通过以适当的频率生成对应的触觉振动来模拟从用户的手指206的抓握处滑落的虚拟对象602的粗糙纹理,以向用户104提供逼真的自然体验。触觉信息可以由基站102向控制器108发送并且经由致动器306向用户的手指206渲染。
图6D示出了在虚拟对象602的表面上滑动的虚拟拇指604(1)。该视觉信息可以已经由基站102响应于用户104在拇指触控板308(1)上移动她的拇指206(1)而基于从控制器108所接收的输入信号来生成。基站102可以基于来自控制器108的输入信号计算虚拟拇指604(1)在虚拟对象602的表面上移动的方向和速度。
在一些实现中,基站102可以将由用户的拇指206(1)施加在拇指触控板308(1)上的力与某个阈值进行比较,以确定用户104是否希望沿着虚拟对象602的表面滑动虚拟拇指604(1)(例如,以感受虚拟对象602的表面纹理)或者以旋转虚拟对象602。就是说,用户104可以通过在触控板308上施加相对较小的力的同时在其上滑动她的拇指206(1)来在虚拟对象602的表面上滑动虚拟拇指604(1)。例如,在一个实现中,阈值可以被设置为15N,这可以是触控板308可以检测的最大值的力(或触控板308下方的力传感器302,或者被设置为13.5N,其中力传感器302被偏置调整1.5N)。在该示例中,如果在用户的拇指206(1)滑过触控板308的同时检测到小于15N,则基站102可以在虚拟对象602的表面上滑动虚拟拇指604(1),或者,如果在用户拇指206(1)滑过触控板308时检测到至少15N,则基站102可以旋转虚拟对象602。其他阈值是可能的。
基站102可以生成模拟虚拟拇指604(1)在图6D中所示的箭头610的方向上沿着虚拟对象602的表面滑动的视觉信息。该视觉信息可以由基站102向显示器514发送并且向用户104渲染。
基站102还可以生成模拟虚拟拇指604(1)沿着虚拟对象602的表面滑动的触觉信息。例如,触觉信息可以取决于虚拟对象602的材料和表面信息,包括表面纹理。纹理反馈的幅度可以与拇指206(1)在拇指触控板308(1)上的移动速度成比例。因此,当拇指206(1)停止在拇指触控板308(1)上移动时,纹理反馈的幅度可以为零。
例如,如果虚拟对象602是虚拟电视遥控器,并且用户104通过将她的拇指206(1)滑过拇指触控板308(1)来使用控制器108以模拟在虚拟电视遥控器上滑动的虚拟拇指604(1),然后基站102可以生成适当的触觉信息以模拟虚拟拇指604(1)在虚拟电视遥控器按钮之间的凹凸之间滑动,并且模拟虚拟电视遥控器的软橡胶按钮和硬质光滑塑料机身的纹理。例如,当虚拟拇指604(1)穿过虚拟按钮的边缘时,基站102可以生成具有模拟撞击的高振幅脉冲的触觉反馈。基站102还可以使用已知技术生成模拟橡胶质地和软按钮的力-位移剖面(profile)的触觉反馈。触觉信息可以由基站102向控制器108发送并且经由拇指触控板308(1)下方的拇指致动器306(1)向用户的拇指206(1)渲染。
图6E示出了旋转虚拟对象602的虚拟手指604。该视觉信息可以由基站102响应于用户104在拇指触控板308(1)上移动她的拇指206(1)的同时施加大于上面关于图6D所讨论的阈值的力而基于从控制器108所接收的输入信号而生成。该动作可以与使用自然运动来控制虚拟手指604和虚拟对象602不一致。例如,用户的食指206(2)和中指206(3)在现实中可能不会移动,但是对应的虚拟食指604(2)和虚拟中指604(3)可以视觉地被渲染为旋转。基站102可以基于来自控制器108的输入信号计算虚拟对象602的旋转方向和速度。在一些实现中,例如,当用户104在虚拟锁内旋转虚拟螺丝刀或虚拟钥匙时,虚拟对象602的旋转可以围绕给定轴被限制。
在一些实现中,用户104可以被允许将她的手指206从触控板308抬升,而不会从被抓握的虚拟对象602上释放对应的虚拟手指604。例如,用户104可以在触控板308上滑动她的手指206,将她的手指206抬升离开触控板308,将她的手指206放回到触控板308的不同位置,并且再次在触控板308上滑动她的手指206等等,以便继续旋转虚拟对象602。(这些动作可以类似于用户将鼠标向上移动到鼠标垫的边缘,将鼠标抬升离开鼠标垫,将鼠标放回鼠标垫上的不同位置,然后再次在鼠标垫上移动鼠标等等,以便在显示器上移动光标。)为了启用该特征,基站102可以从控制器108接收输入信号,指示用户104已经将手指206抬升离开触控板308,但是可以不注册将对应的虚拟手指604抬升离开虚拟对象602,如图6C所示。这可以是基站102在确定是否释放虚拟对象602时所考虑的场景,如上文结合图6C所述。例如,基站102可以确定在沿着触控板308滑动手指206之后立即或不久将手指206抬升离开触控板308可以指示用户104希望继续旋转虚拟对象602而不是将对应的虚拟手指604抬升离开虚拟对象602。在这样的实现中,用户104可以通过将她的其他手指206(除了被用于在触控板308上滑动的手指206之外)抬升离开它们对应的手指支托208来释放虚拟对象602。
基站102可以生成模拟虚拟手指604在图6E中所示的箭头612的方向上旋转虚拟对象602(即,改变虚拟对象602的方向)的视觉信息。该视觉信息可以由基站102向显示器514发送并且向用户104渲染。
基站102还可以生成模拟虚拟手指604旋转虚拟对象602的触觉信息。例如,触觉信息可以包括每旋转5度的振动脉冲(例如,6毫秒)(类似于在转动时发出咔哒声的老式无线电拨号盘)。触觉信息可以由基站102向控制器108发送并且向用户的手指206渲染。
图7-图10示出了与本概念的一些实现一致的说明涉及使用控制器操纵虚拟对象并且经由控制器提供触觉感觉的方法的流程图。流程图左侧的动作可以由基站执行,流程图右侧的动作可以由控制器执行。
图7示出了说明抓握方法700的流程图。在动作702中,控制器检测由用户的一个或多个手指施加在控制器上的一个或多个手指支托和/或触控板上的力。例如,用户可以使用她的手指将被定位于控制器上的相反侧并且背对彼此的两个或更多个手指支托挤压在一起。用户可以执行该动作以便抓握被定位于与被挤压的手指支托相对应的虚拟手指之间的虚拟对象。
在动作704中,控制器可以发送指示手指支托正在被挤压的输入信号。例如,输入信号可以包括来自一个或多个力传感器的信息,包括手指的标识以及有多少力被施加到手指支托下方的力传感器。在一些实现中,输入信号可以包括来自一个或多个触控板的信息,该信息指示用户的手指在触控板上按压的力(或压力)。在动作706中,基站可以从控制器接收输入信号。
在动作708中,基站可以解释输入信号并且将它们应用到虚拟世界。也就是说,基站可以将来自控制器的输入信号(指示用户手指的位置及其施加的力)转换为虚拟世界中对应的虚拟手指的移动。在本示例中,基站可以模拟虚拟手指彼此相向移动,如果虚拟手指之间存在虚拟对象,则基站可以声明虚拟手指正在抓握虚拟对象。
此外,基站可以生成与闭合和抓握虚拟对象的虚拟手指相对应的视觉信息。视觉信息可以由基站向显示器发送以向用户渲染。
基站还可以生成与抓握虚拟对象的虚拟手指对应的触觉信息。例如,针对由对应的力传感器所检测的力的每0.49N变化,致动器可以以170Hz的频率向适当的手指支托渲染6ms的振动脉冲。在动作710中,基站可以向控制器发送与触觉信息对应的输出信号。
在动作712中,控制器可以从基站接收输出信号。在动作714中,控制器可以驱动控制器中的致动器以在手指支托和/或触控板上提供触觉感觉,并且因此在用户的手指上提供触觉感觉。
图8示出了说明释放方法800的流程图。在动作802中,控制器检测用户的一个或多个手指施加在控制器上的一个或多个手指支托和/或触控板上的力。检测到的力可以是手指支托和/或触控板上的负力、零力或小的正力。例如,用户可以将她的手指从手指支托上拉开。在一些实现中,用户手指的背面可以推动附接于手指支托和/或触控板的限制器。用户可以执行该动作以释放被虚拟手指正在抓握的虚拟对象。
在动作804中,控制器可以发送指示不再挤压手指支托的输入信号。例如,输入信号可以包括来自一个或多个力传感器的信息,包括手指的标识以及有多少力被施加到手指支托下方的力传感器。在一些实现中,输入信号可以包括来自一个或多个触控板的信息,该信息指示用户的手指在触控板上按压的力(或压力),如果有的话。在动作806中,基站可以从控制器接收输入信号。
在动作808中,基站可以解释输入信号并且将它们应用到虚拟世界。在该示例中,基站可以将虚拟手指彼此远离并且释放被虚拟手指正在抓握的虚拟对象。基站可以对虚拟世界执行进一步的处理,诸如虚拟对象被丢下等。
基站可以生成与释放虚拟对象的虚拟手指对应的视觉信息。视觉信息可以由基站向显示器发送以向用户渲染。基站还可以产生听觉信息,例如对应于虚拟物体丢下和降落在表面上。听觉信息可以由基站向扬声器发送以向用户渲染。
基站还可以生成与释放虚拟对象的虚拟手指对应的触觉信息。在动作810中,基站可以向控制器发送与触觉信息对应的输出信号。
在动作812中,控制器可以从基站接收输出信号。在动作814中,控制器可以驱动控制器中的致动器以在手指支托和/或触控板上提供触觉感觉,并且因此在用户的手指上提供触觉感觉。
图9示出了说明滑动方法900的流程图。在动作902中,控制器检测手指在控制器上的触控板上滑动。例如,用户可以执行该动作以沿着虚拟对象的表面移动虚拟手指。
在动作904中,控制器可以发送指示手指在触控板上的位置和/或手指在触控板上施加的力的级别的输入信号。位置信息和力的级别信息的两者都可以从触控板被提供。备选地,位置信息可以从触控板被提供,而力的级别信息可以从触控板下方的力传感器被提供。在动作906中,基站可以从控制器接收输入信号。
在动作908中,基站可以解释输入信号并且将它们应用到虚拟世界。在该示例中,如果基站确定施加在触控板上的力的级别小于特定阈值,则基站可以在虚拟对象上沿着其表面滑动虚拟手指。虚拟手指可以在与用户手指在触控板上移动的方向相对应的方向被移动。
此外,基站可以生成与沿着虚拟对象的表面滑动的虚拟手指相对应的视觉信息。视觉信息可以由基站向显示器发送以向用户渲染。
基站还可以生成与虚拟手指在虚拟物体表面滑动相对应的触觉信息。例如,触觉信息可以取决于虚拟对象的表面纹理。在动作910中,基站可以向控制器发送与触觉信息相对应的输出信号。
在动作912中,控制器可以从基站接收输出信号。在动作914中,控制器可以驱动控制器中的致动器以在触控板上提供触觉感觉,并且因此在用户的手指上提供触觉感觉。
图10示出了说明旋转方法1000的流程图。在动作1002中,控制器检测手指在控制器上的触控板上滑动。例如,用户可以执行该动作以使用虚拟手指旋转虚拟对象。
在动作1004中,控制器可以发送指示手指在触控板上的位置和/或手指在触控板上施加的力的级别的输入信号。位置信息和力的级别信息的两者都可以从触控板被提供。备选地,位置信息可以从触控板被提供,而力的级别信息可以从触控板下方的力传感器被提供。在动作1006中,基站可以从控制器接收输入信号。
在动作1008中,基站可以解释输入信号并且将它们应用到虚拟世界。在在该示例中,如果基站确定施加在触控板上的力的级别大于特定阈值,则基站可以旋转被虚拟手指正在抓握的虚拟对象。虚拟对象可以在与用户手指在触控板上移动的方向相对应的方向上被旋转。
此外,基站可以生成与被虚拟手指正在旋转的虚拟对象相对应的视觉信息。视觉信息可以由基站向显示器发送以向用户渲染。
基站还可以生成与虚拟对象的旋转相对应的触觉信息。在动作1010中,基站可以向控制器发送与触觉信息对应的输出信号。
在动作1012中,控制器可以从基站接收输出信号。在动作1014中,控制器可以驱动控制器中的致动器以在触控板和手指支托上提供触觉感觉,并且因此向用户的手指提供触觉反馈。
上面描述了各种设备示例。下面描述了附加的示例。一个示例包括一种系统,该系统包括控制器和基站,该基站包括基站处理器,被配置为:执行包括虚拟对象和虚拟手指的虚拟现实世界,接收来自控制器的输入信号,响应于输入信号,操纵虚拟手指和/或虚拟对象,并且至少基于操纵,生成输出信号,并且向控制器发送输出信号。控制器包括背对彼此的拇指支托和至少一个手指支托,拇指支托和至少一个手指支托是实质上刚性的,拇指力传感器被定位于拇指托下方并且被配置为感测施加到拇指托上的力,至少一个手指力传感器被定位于至少一个手指支托下方并且被配置为感测施加到至少一个手指支托上的力,拇指致动器被定位于拇指支托下方并且被配置为在拇指支托上提供触觉感觉,至少一个手指致动器被定位于至少一个手指支托下方并且被配置为在至少一个手指支托上提供触觉感觉。控制器还包括控制器处理器,控制器处理器被配置为至少基于拇指力传感器和/或至少一个手指力传感器所感测的力来生成输入信号,输入信号不基于拇指支托和至少一个手指支托的移动,向基站发送输入信号,接收来自基站的输出信号,并且至少基于输出信号驱动拇指致动器和/或至少一个手指致动器。
另一示例可以包括以上和/或以下示例中的任一示例,其中控制器还包括被定位于拇指支托上的触控板,并且控制器处理器被配置为至少还基于拇指在触控板上的位置来生成输入信号。
另一示例包括一种装置,该装置包括:实质上背对彼此的手指支托,手指支托是实质上刚性的,被定位于手指支托的下方的一个或多个力传感器,一个或多个力传感器被配置为感测由手指对手指支托施加的力,触控板,被配置为感测触摸触控板的手指中的一个手指的位置,以及被定位并且被配置为在手指支托和/或触控板上提供触觉感觉的一个或多个致动器。该设备还包括处理器,该处理器被配置为至少基于手指施加在手指支托上的力和/或手指中的一个手指在触控板上的位置来生成输入信号,并且至少基于输出信号驱动致动器。该设备还包括被配置为发送输入信号并且接收输出信号的收发器。
另一示例可以包括以上和/或以下示例中的任一示例,其中该装置还包括被附接于手指支托的限制器,限制器和手指支托被配置为在手指周围形成环,其中一个或多个力传感器被机械地偏置,并且其中一个或多个力传感器能够感测将限制器拉离手指支托的手指。
另一示例可以包括以上和/或以下示例中的任一示例,其中设备还包括用于至少使用手的手掌来握持设备的把手。
另一示例可以包括以上和/或以下示例中的任一示例,其中力传感器中的至少两个被定位于手指支托中的一个手指支托的下方。
另一示例可以包括以上和/或以下示例中的任一示例,其中致动器中的一个致动器向至少两个手指提供触觉感觉。
另一示例可以包括以上和/或以下示例中的任一示例,其中致动器中的至少两个致动器被定位于手指支托中的一个手指支托的下方。
另一示例可以包括以上和/或以下示例中的任一示例,其中触控板是电容传感器。
另一示例包括一种方法,该方法包括执行包括虚拟对象和虚拟手的虚拟手指的虚拟现实世界,从控制器接收闭合输入信号,控制器包括背对彼此的手指支托,闭合输入信号指示手指正在对手指支托施加力,响应于闭合输入信号,生成模拟虚拟手指抓握虚拟对象的抓握触觉输出信号,以及向控制器发送抓握触觉输出信号,抓握触觉输出信号使控制器驱动控制器中的在手指支托上生成触觉感觉的一个或多个致动器。
另一示例可以包括以上和/或以下示例中的任一示例,其中方法还包括通过在虚拟手指中的一个虚拟手指处、以与手指支托中的对应的一个手指支托正交的方向发出射线并且计算射线和虚拟对象之间的交点,来确定虚拟手指中的一个虚拟手指与虚拟对象之间的虚拟接触点。
另一示例可以包括以上和/或以下示例中的任一示例,其中方法还包括当从虚拟手指发出的两个或更多个射线从相反侧与虚拟对象相交时,声明由虚拟手指对虚拟对象的抓握获取。
另一示例可以包括以上和/或以下示例中的任一示例,其中方法还包括估计虚拟手的虚拟关节的位置。
另一示例可以包括以上和/或以下示例中的任一示例,其中方法还包括在虚拟手指正在抓握虚拟对象的同时,从控制器接收张开输入信号,控制器包括被附接于手指支托的限制器,张开输入信号指示手指正在施加远离手指支托的负力,响应于张开输入信号,生成模拟虚拟手指释放虚拟对象的释放视觉输出信号,并且向显示器发送释放视觉输出信号。
另一示例可以包括以上和/或以下示例中的任一示例,其中方法还包括在虚拟手指正在抓握虚拟对象的同时从控制器接收旋转输入信号,控制器包括触控板,旋转输入信号指示手指中的一个手指以高于阈值的力在触控板上滑动,响应于旋转输入信号,生成模拟虚拟手指旋转虚拟对象的旋转触觉输出信号,并且向控制器发送旋转触觉输出信号以产生触觉感觉。
另一示例可以包括以上和/或以下示例中的任一示例,其中方法还包括响应于旋转输入信号,生成模拟虚拟手指旋转虚拟对象的旋转视觉输出信号,并且向显示器发送旋转视觉输出信号。
另一示例可以包括以上和/或以下示例中的任一示例,其中虚拟对象在与触控板上的手指中的一个手指滑动的方向相对应的方向旋转。
另一示例可以包括以上和/或以下示例中的任一示例,其中方法还包括当虚拟手指正在抓握虚拟物体时,从控制器接收抬升输入信号,抬升输入信号指示手指中的一个手指已经抬升离开触控板,并且响应于抬升输入信号,保持虚拟手指中与抓握虚拟对象的手指中的一个手指相对应的一个虚拟手指。
另一示例可以包括以上和/或以下示例中的任一示例,其中方法还包括从包括触控板的控制器接收滑动输入信号,滑动输入信号指示手指中的一个手指正在以低于阈值的力在触控板上滑动,响应于滑动输入信号,生成滑动视觉输出信号和滑动触觉输出信号,滑动视觉输出信号和滑动触觉输出信号模拟虚拟手指中与手指中的一个手指相对应的一个虚拟手指在虚拟对象上滑动,向显示器发送滑动视觉输出信号,向控制器发送滑动触觉输出信号,以产生触觉感觉。
另一示例可以包括以上和/或以下示例中的任一示例,其中触觉感觉模拟虚拟对象的表面纹理。
上面描述了各种示例。虽然主题已经用特定于结构特征和/或方法行为的语言进行了描述,所附权利要求中定义的主题不一定限于上述特定特征或行为。相反,上述特定特征和动作被呈现为实现权利要求的示例形式,并且本领域技术人员将认识到的其他特征和动作旨在落入权利要求的范围内。
Claims (15)
1.一种设备,包括:
实质背对彼此的手指支托,所述手指支托是实质上刚性的;
被定位于所述手指支托下方的一个或多个力传感器,所述一个或多个力传感器被配置为感测由手指对所述手指支托施加的力;
触控板,被配置为感测触摸所述触控板的所述手指中的一个手指的位置;
一个或多个致动器,被定位并且被配置为在所述手指支托和/或所述触控板上提供触觉感觉;
处理器,被配置为:
至少基于由所述手指施加在所述手指支托上的力和/或所述手指中的所述一个手指在所述触控板上的所述位置来生成输入信号;以及
至少基于输出信号来驱动所述致动器;以及
收发器,被配置为发送所述输入信号并且接收所述输出信号。
2.根据权利要求1所述的设备,还包括:
被附接到所述手指支托的限制器,所述限制器和所述手指支托被配置为在所述手指周围形成环,
其中所述一个或多个力传感器被机械地偏置,并且
其中所述一个或多个力传感器能够感测所述手指将所述限制器拉离所述手指支托。
3.根据权利要求1所述的设备,其中所述力传感器中的至少两个力传感器被定位于所述手指支托中的一个手指支托下方。
4.根据权利要求1所述的设备,其中所述致动器中的一个致动器向至少两个手指提供触觉感觉。
5.根据权利要求1所述的设备,其中所述致动器中的至少两个致动器被定位于所述手指支托中的一个手指支托下方。
6.一种方法,包括:
执行包括虚拟对象和虚拟手的虚拟手指的虚拟现实世界;
从控制器接收闭合输入信号,所述控制器包括背对彼此的手指支托,所述闭合输入信号指示手指正在对所述手指支托施加力;
响应于所述闭合输入信号,生成模拟所述虚拟手指抓握所述虚拟对象的抓握触觉输出信号;以及
向所述控制器发送所述抓握触觉输出信号,所述抓握触觉输出信号使所述控制器驱动所述控制器中的在所述手指支托上生成触觉感觉的一个或多个致动器。
7.根据权利要求6所述的方法,还包括:
通过在所述虚拟手指中的一个虚拟手指处、以与所述手指支托中的对应的一个手指支托正交的方向发出射线并且计算所述射线与所述虚拟对象之间的交点,来确定所述虚拟手指中的所述一个虚拟手指与所述虚拟对象之间的虚拟接触点。
8.根据权利要求7所述的方法,还包括:
当从所述虚拟手指发出的两个或更多个射线从相反侧与所述虚拟对象相交时,声明由所述虚拟手指对所述虚拟对象的抓握获取。
9.根据权利要求6所述的方法,还包括:
在所述虚拟手指正在抓握所述虚拟对象的同时,从所述控制器接收张开输入信号,所述控制器包括被附接到所述手指支托的限制器,所述张开输入信号指示所述手指正在施加远离所述手指支托的负力;
响应于所述张开输入信号,生成模拟所述虚拟手指释放所述虚拟对象的释放视觉输出信号;以及
向显示器发送所述释放视觉输出信号。
10.根据权利要求6所述的方法,还包括:
在所述虚拟手指正在抓握所述虚拟对象的同时,从所述控制器接收旋转输入信号,所述控制器包括触控板,所述旋转输入信号指示所述手指中的一个手指以高于阈值的力在触控板上滑动;
响应于所述旋转输入信号,生成模拟所述虚拟手指旋转所述虚拟对象的旋转触觉输出信号;以及
向所述控制器发送所述旋转触觉输出信号,以生成触觉感觉。
11.根据权利要求10所述的方法,还包括:
响应于所述旋转输入信号,生成模拟所述虚拟手指旋转所述虚拟对象的旋转视觉输出信号;以及
向显示器发送所述旋转视觉输出信号。
12.根据权利要求11所述的方法,其中所述虚拟对象在与所述触控板上的所述手指中的所述一个手指的所述滑动的方向相对应的方向上旋转。
13.根据权利要求10所述的方法,还包括:
在所述虚拟手指正在抓握所述虚拟对象的同时,从所述控制器接收抬升输入信号,所述抬升输入信号指示所述手指中的所述一个手指已抬升离开所述触控板;以及
响应于所述抬升输入信号,保持所述虚拟手指中与抓握所述虚拟对象的所述手指中的所述一个手指相对应的一个虚拟手指。
14.根据权利要求6所述的方法,还包括:
从包括触控板的所述控制器接收滑动输入信号,所述滑动输入信号指示所述手指中的一个手指以低于阈值的力在所述触控板上滑动;
响应于所述滑动输入信号,生成滑动视觉输出信号和滑动触觉输出信号,所述滑动视觉输出信号和所述滑动触觉输出信号模拟所述虚拟手指中与所述手指中的所述一个手指相对应的一个虚拟手指在所述虚拟对象上滑动;
向显示器发送所述滑动视觉输出信号;以及
向控制器发送所述滑动触觉输出信号,以生成触觉感觉。
15.根据权利要求14所述的方法,其中所述触觉感觉模拟所述虚拟对象的表面纹理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/289,327 | 2019-02-28 | ||
US16/289,327 US10838486B2 (en) | 2019-02-28 | 2019-02-28 | Virtual reality controller |
PCT/US2020/017391 WO2020176229A1 (en) | 2019-02-28 | 2020-02-09 | Virtual reality controller |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113508355A true CN113508355A (zh) | 2021-10-15 |
Family
ID=69743976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080017490.XA Pending CN113508355A (zh) | 2019-02-28 | 2020-02-09 | 虚拟现实控制器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10838486B2 (zh) |
EP (1) | EP3931668A1 (zh) |
CN (1) | CN113508355A (zh) |
WO (1) | WO2020176229A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11831665B2 (en) | 2021-01-04 | 2023-11-28 | Bank Of America Corporation | Device for monitoring a simulated environment |
KR20240004907A (ko) * | 2021-05-03 | 2024-01-11 | 디스털 리얼리티 엘엘씨 | 혼합 현실을 위한 햅틱 핸드 컨트롤러 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170322628A1 (en) * | 2016-05-05 | 2017-11-09 | Jamie Tan | Airborne haptic feedback device |
US20180314406A1 (en) * | 2017-04-27 | 2018-11-01 | Magic Leap, Inc. | Light-emitting user input device for calibration or pairing |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997020305A1 (en) | 1995-11-30 | 1997-06-05 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
US6184868B1 (en) * | 1998-09-17 | 2001-02-06 | Immersion Corp. | Haptic feedback control devices |
US8054289B2 (en) | 2006-12-01 | 2011-11-08 | Mimic Technologies, Inc. | Methods, apparatus, and article for force feedback based on tension control and tracking through cables |
EP2422939B9 (en) | 2006-12-19 | 2013-10-23 | Deakin University | Method and apparatus for haptic control |
US8543240B2 (en) * | 2009-11-13 | 2013-09-24 | Intuitive Surgical Operations, Inc. | Master finger tracking device and method of use in a minimally invasive surgical system |
WO2012048325A2 (en) | 2010-10-08 | 2012-04-12 | The University Of Utah Research Foundation | A multidirectional controller with shear feedback |
US9696795B2 (en) * | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
GB2554363B (en) | 2016-09-21 | 2021-12-08 | Cmr Surgical Ltd | User interface device |
US10198086B2 (en) | 2016-10-27 | 2019-02-05 | Fluidity Technologies, Inc. | Dynamically balanced, multi-degrees-of-freedom hand controller |
-
2019
- 2019-02-28 US US16/289,327 patent/US10838486B2/en active Active
-
2020
- 2020-02-09 EP EP20709444.2A patent/EP3931668A1/en active Pending
- 2020-02-09 CN CN202080017490.XA patent/CN113508355A/zh active Pending
- 2020-02-09 WO PCT/US2020/017391 patent/WO2020176229A1/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170322628A1 (en) * | 2016-05-05 | 2017-11-09 | Jamie Tan | Airborne haptic feedback device |
US20180314406A1 (en) * | 2017-04-27 | 2018-11-01 | Magic Leap, Inc. | Light-emitting user input device for calibration or pairing |
Also Published As
Publication number | Publication date |
---|---|
US10838486B2 (en) | 2020-11-17 |
WO2020176229A1 (en) | 2020-09-03 |
EP3931668A1 (en) | 2022-01-05 |
US20200278740A1 (en) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7464762B2 (ja) | センサ及び触覚を用いた指装着デバイス | |
US10564730B2 (en) | Non-collocated haptic cues in immersive environments | |
JP6431126B2 (ja) | モバイルデバイス上での共有されたフィードバックのための双方向性モデル | |
US10466791B2 (en) | Interactivity model for shared feedback on mobile devices | |
US9134797B2 (en) | Systems and methods for providing haptic feedback to touch-sensitive input devices | |
KR20200000803A (ko) | 가상 현실 사용자를 위한 실세계 햅틱 상호작용 | |
US20110148607A1 (en) | System,device and method for providing haptic technology | |
US20120223880A1 (en) | Method and apparatus for producing a dynamic haptic effect | |
WO2016186932A1 (en) | Electromagnet-laden glove for haptic pressure feedback | |
CN111638801A (zh) | 用于手势辨识的控制器及其手势辨识的方法 | |
EP3333674A1 (en) | Systems and methods for compliance simulation with haptics | |
US20180011538A1 (en) | Multimodal haptic effects | |
JP2018142313A (ja) | 仮想感情タッチのためのシステム及び方法 | |
CN113508355A (zh) | 虚拟现实控制器 | |
US11003247B1 (en) | Deployable controller | |
JP3855561B2 (ja) | 触覚力覚呈示装置及び情報入出力装置 | |
EP3367216A1 (en) | Systems and methods for virtual affective touch |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |