CN115763127A - 键组件、虚拟现实接口系统和方法 - Google Patents

键组件、虚拟现实接口系统和方法 Download PDF

Info

Publication number
CN115763127A
CN115763127A CN202211542183.0A CN202211542183A CN115763127A CN 115763127 A CN115763127 A CN 115763127A CN 202211542183 A CN202211542183 A CN 202211542183A CN 115763127 A CN115763127 A CN 115763127A
Authority
CN
China
Prior art keywords
switch
touch sensor
touch
key assembly
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211542183.0A
Other languages
English (en)
Inventor
安德鲁·哈里森·艾姆
格兰特兰德·李·利姆·邱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN115763127A publication Critical patent/CN115763127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H13/00—Switches having rectilinearly-movable operating part or parts adapted for pushing or pulling in one direction only, e.g. push-button switch
    • H01H13/70—Switches having rectilinearly-movable operating part or parts adapted for pushing or pulling in one direction only, e.g. push-button switch having a plurality of operating members associated with different sets of contacts, e.g. keyboard
    • H01H13/702—Switches having rectilinearly-movable operating part or parts adapted for pushing or pulling in one direction only, e.g. push-button switch having a plurality of operating members associated with different sets of contacts, e.g. keyboard with contacts carried by or formed from layers in a multilayer structure, e.g. membrane switches
    • H01H13/705—Switches having rectilinearly-movable operating part or parts adapted for pushing or pulling in one direction only, e.g. push-button switch having a plurality of operating members associated with different sets of contacts, e.g. keyboard with contacts carried by or formed from layers in a multilayer structure, e.g. membrane switches characterised by construction, mounting or arrangement of operating parts, e.g. push-buttons or keys
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H11/00—Apparatus or processes specially adapted for the manufacture of electric switches
    • H01H11/0006—Apparatus or processes specially adapted for the manufacture of electric switches for converting electric switches
    • H01H11/0018—Apparatus or processes specially adapted for the manufacture of electric switches for converting electric switches for allowing different operating parts
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H13/00—Switches having rectilinearly-movable operating part or parts adapted for pushing or pulling in one direction only, e.g. push-button switch
    • H01H13/70—Switches having rectilinearly-movable operating part or parts adapted for pushing or pulling in one direction only, e.g. push-button switch having a plurality of operating members associated with different sets of contacts, e.g. keyboard
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H3/00—Mechanisms for operating contacts
    • H01H3/02—Operating parts, i.e. for operating driving mechanism by a mechanical force external to the switch
    • H01H2003/0293—Operating parts, i.e. for operating driving mechanism by a mechanical force external to the switch with an integrated touch switch
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H2239/00—Miscellaneous
    • H01H2239/006—Containing a capacitive switch or usable as such

Abstract

本公开涉及一种键组件、虚拟现实接口系统和方法。用于键盘的键组件可以包括键帽，键帽包括通信地耦接到控制装置的触摸传感器。当触摸传感器感测到触摸事件时，触摸传感器可以向控制装置发送触摸信号，并且当触摸传感器感测到没有触摸时，触摸传感器可以向控制装置发送控制信号。键组件还可以包括开关，开关通信地耦接到控制装置并且可在按压位置和未按压位置之间移动。当开关处于按压位置时，开关可以向控制装置发送关闭信号，并且当开关处于未按压位置时，开关可以向控制装置发送打开信号。还公开了各种其他设备、系统和方法。

Description

键组件、虚拟现实接口系统和方法
本申请是申请日为2018年9月26日，申请号为201811124133.4，发明名称为“键组件、虚拟现实接口系统和方法”的申请的分案申请。
技术领域
本公开涉及用于表示在虚拟空间中与现实世界输入装置的用户交互的各种设备、系统和方法。
背景技术
戴上虚拟现实头戴设备可能是令人兴奋的体验的开始，这可能比现今可用的几乎任何其他数字娱乐或模拟体验更具身临其境。虚拟现实头戴设备可以使用户能够穿越空间和时间，在三维世界中与朋友交互，或者以彻底重新定义的方式玩视频游戏。虚拟现实头戴设备还可以用于娱乐以外的目的。政府可以将其用于军事训练模拟，医生可以将其用于实践手术，工程师可以将其用作可视化辅助。虚拟现实头戴设备还可用于生产力目的。通过使用虚拟现实头戴设备，可以启用或增强信息组织、协作和隐私。
遗憾的是，在佩戴虚拟现实头戴设备的同时，用户可能难以与传统的计算机输入装置(例如，键盘、鼠标、轨迹球、触控板等)进行交互，这是因为虚拟现实头戴设备可能阻止用户在与输入装置交互时看到输入装置(例如，通过阻碍用户眼睛和输入装置之间的视线)。当用户佩戴虚拟现实头戴设备时，这种视觉反馈的缺乏可能导致用户与这种传统计算机输入装置的交互效率低下。例如，在佩戴虚拟现实头戴设备时，用户可以以显著较慢的速率键入传统键盘和/或可能产生更多错误，因为虚拟现实头戴设备可能阻止用户在与键盘交互时看到其手指。
因此，本公开识别并解决对于在与计算机输入装置交互时使最终用户能够接收视觉反馈的设备、系统和方法的需求。
发明内容
如将在下面更详细地描述，本公开描述了用于表示在虚拟空间中与现实世界输入装置的用户交互的各种设备、系统和方法。例如，当用户使用虚拟现实头戴设备与现实世界输入装置(例如，键盘)交互时，所公开的系统可以向用户提供视觉反馈。
在一个示例中，用于表示在虚拟空间中与现实世界输入装置的用户交互的设备可以包括用于键盘的键组件，键组件包括键帽。键帽可以包括通信地耦接到控制装置的触摸传感器。在一些示例中，当触摸传感器感测到触摸事件时，触摸传感器可以向控制装置发送触摸信号；并且当触摸传感器感测到没有触摸时，触摸传感器可以向控制装置发送控制信号。键组件还可以包括开关，开关通信地耦接到控制装置并且可在按压位置和未按压位置之间移动。在一些示例中，当开关处于按压位置时，开关可以向控制装置发送关闭信号；并且当开关处于未按压位置时，开关可以向控制装置发送打开信号。在一些示例中，所述控制装置：从所述开关接收开关信号，所述开关信号包括以下中的至少一项：所述关闭信号；或所述打开信号；以及引导头戴式显示器在虚拟空间中呈现：指尖的视觉表示；和所述键组件的视觉表示；以及当所述开关信号包括所述关闭信号时，通过将所述键组件从所述未按压位置移动到所述按压位置的所述指尖的所述视觉表示动画化，来由所述指尖的所述视觉表示将所述键组件的所述视觉表示的致动动画化。
在一些实施方式中，键帽还可以包括：(1)耦接到触摸传感器的接口表面；以及(2)连接器。在这种实施方式中，开关还可以包括柱塞，柱塞耦接到连接器并且可在延伸位置和压缩位置之间移动。在至少一个示例中，当开关处于按压位置时，柱塞可以处于压缩位置；并且当开关处于未按压位置时，柱塞可以处于延伸位置。在一些实施方式中，接口表面可以限定适于容纳人体手指的指尖的凹陷部。在至少一个示例中，触摸传感器包括至少部分地覆盖接口表面的感测部。在一些示例中，触摸传感器可以是电容式触摸传感器，并且在一些示例中，触摸传感器可以是电阻式触摸传感器。
此外，用于表示在虚拟空间中与现实世界输入装置的用户交互的相应的虚拟现实接口系统可以包括：(1)头戴式显示器；(2)控制装置，通信地耦接到头戴式显示器；以及(3)包括至少一个键组件的键盘。键组件可以包括连接器和键帽，键帽可以包括通信地耦接到控制装置的触摸传感器。在一些示例中，当触摸传感器感测到触摸事件时，触摸传感器可以向控制装置发送触摸信号；并且当触摸传感器感测到没有触摸时，触摸传感器可以向控制装置发送控制信号。键组件还可以包括开关，开关通信地耦接到控制装置并且可在按压位置和未按压位置之间移动。所述开关还包括柱塞，所述柱塞耦接到所述连接器并且能够在延伸位置和压缩位置之间移动。在一些示例中，所述控制装置：从所述开关接收开关信号，所述开关信号包括以下中的至少一项：所述关闭信号；或所述打开信号；以及引导头戴式显示器在虚拟空间中呈现：指尖的视觉表示；和所述键组件的视觉表示；以及当所述开关信号包括所述关闭信号时，通过将所述键组件从所述未按压位置移动到所述按压位置的所述指尖的所述视觉表示动画化，来由所述指尖的所述视觉表示将所述键组件的所述视觉表示的致动动画化。在一些示例中，当开关处于按压位置时，开关可以向控制装置发送关闭信号；并且当开关处于未按压位置时，开关可以向控制装置发送打开信号。在一些示例中，触摸传感器可以是电容式触摸传感器。
在一些实施方式中，键帽还可以包括(1)耦接到触摸传感器的接口表面和(2)连接器。在这种实施方式中，开关还可以包括柱塞，柱塞耦接到连接器并且可在延伸位置和压缩位置之间移动。在一些示例中，当开关处于按压位置时，柱塞可以处于压缩位置；并且当开关处于未按压位置时，柱塞可以处于延伸位置。在一些实施方式中，触摸传感器包括至少部分地覆盖接口表面的感测部，并且在一些示例中，触摸传感器可以限定适于容纳人体手指的指尖的凹陷部。
在一些额外实施方式中，控制装置可以从触摸传感器接收触摸传感器信号，触摸传感器信号可以包括(1)触摸信号和(2)控制信号中的一项。在这种示例中，控制装置还可以从开关接收开关信号，开关信号可以包括(1)关闭信号和(2)打开信号中的一项。
在一些实施方式中，控制装置可以引导头戴式显示器在虚拟空间中呈现键组件的视觉表示。在这种实施方式中，当开关信号包括打开信号时，键组件的视觉表示可以处于未按压位置；并且当开关信号包括关闭信号时，键组件的视觉表示可以处于按压位置。
在一些实施方式中，控制装置还可以引导头戴式显示器在具有键组件的视觉表示的虚拟空间中呈现指尖的视觉表示。在这种实施方式中，当触摸传感器信号包括触摸信号时，指尖的视觉表示可以与键帽的接口表面的视觉表示接触；并且当触摸传感器信号包括触摸信号时，指尖的视觉表示可以与键帽的视觉表示脱离。
在一些实施方式中，键盘可以包括至少一个通信地耦接到控制装置的额外键组件。在这种示例中，控制装置可以从额外键组件接收额外信号；并且键组件的视觉表示和指尖的视觉表示中的至少一项还可以基于额外信号。
在一些实施方式中，键盘还可以包括包含安装位置的安装表面；并且开关还可以包括安装件，安装件耦接到柱塞并且在安装位置处耦接到安装表面。在这种示例中，控制装置可以接收表示安装位置的数据；并且虚拟空间中的键组件的视觉表示还可以基于表示安装位置的数据。
在一些实施方式中，键盘还可以包括物理位置指示器。在这种实施方式中，控制装置可以：(1)确定物理位置指示器在物理空间中的位置，以及(2)基于物理位置指示器在物理空间中的位置的确定，确定键盘在虚拟空间中的位置。在虚拟空间中的键组件的视觉表示还可以基于键盘在虚拟空间中的位置的确定。
用于表示在虚拟空间中与现实世界输入装置的用户交互的对应方法可以包括：经由包括在键帽中的触摸传感器来感测触摸事件，键帽包括在虚拟现实接口系统的键组件中。该方法还可以包括：当触摸传感器感测到触摸事件时，确定包括在键组件中的开关已从未按压位置移动到按压位置。该方法可以另外包括：当开关处于按压位置并且触摸传感器感测到触摸事件时，引导包括在虚拟现实接口系统中的头戴式显示器在虚拟空间中呈现处于按压位置的键组件的视觉表示以及与键帽的接口表面的视觉表示接触的指尖的视觉表示。在这种示例中，该方法还可以包括：由所述指尖的所述视觉表示将所述键组件的所述视觉表示的致动动画化，所述动画化包括将所述键组件从所述未按压位置移动到所述按压位置的所述指尖的所述视觉表示动画化。
在一些示例中，该方法还可以包括：当触摸传感器感测到触摸事件时，确定开关已从按压位置移动到未按压位置。在这种示例中，该方法还可以包括：当开关处于未按压位置并且触摸传感器感测到触摸事件时，引导头戴式显示器在虚拟空间中呈现处于未按压位置的键组件的视觉表示以及与键帽的接口表面的视觉表示接触的指尖的视觉表示。
在额外示例中，该方法还可以包括：经由触摸传感器感测没有触摸。在这种示例中，该方法还可以包括：当开关处于未按压位置并且触摸传感器感测到没有触摸时，引导头戴式显示器在虚拟空间中呈现处于未按压位置的键组件的视觉表示以及与键帽的接口表面脱离的指尖的视觉表示。
来自任何上述实施方式的特征可以根据本文描述的一般原理彼此相结合地使用。通过结合附图和权利要求阅读以下详细描述，将更全面地理解这些和其他的实施方式、特征和优点。
附图说明
附图示出了多个示例性实施方式并且是本说明书的一部分。这些附图与以下描述一起，示出并解释了本公开的各种原理。
图1是根据一些实施方式的示例性头戴式显示系统的透视图。
图2是根据一些实施方式的键组件的截面侧视图。
图3A至图3C示出了根据一些实施方式的键组件的截面侧视图。
图4是根据一些实施方式的包括在虚拟现实接口系统中并且包括至少一个键组件的键盘的俯视图。
图5是用于表示在虚拟空间中与现实世界输入装置的用户交互的示例性显示子系统的方框图。
图6是用于表示在虚拟空间中与现实世界输入装置的用户交互的示例性控制装置的方框图。
图7是用于表示在虚拟空间中与现实世界输入装置的用户交互的示例性系统的方框图。
图8是中根据一些实施方式的在虚拟空间中的键组件的视觉表示和指尖的视觉表示的视图。
图9是用于表示在虚拟空间中与现实世界输入装置的用户交互的示例性方法的方框图。
在附图中，相同的附图标记和描述表示类似但不一定相同的元件。尽管本文描述的示例性实施方式易于进行各种修改和替换形式，但是在附图中已通过示例的方式示出了并且将在本文中详细描述特定实施方式。然而，本文描述的示例性实施方式并非旨在限于所公开的特定形式。确切地说，本公开涵盖落入所附权利要求范围内的所有修改、等同物和替代物。
具体实施方式
本发明总体上涉及用于表示在虚拟空间中与现实世界输入装置的用户交互的设备、系统和方法。如下面将更详细解释的，当用户也与现实世界输入装置(例如，键盘)交互时，本公开的实施方式可以向虚拟现实头戴设备的用户提供视觉反馈。示例性键组件可以包括触摸传感器，其可以在感测到触摸事件时向控制装置发送触摸信号并且在感测到没有触摸时发送控制信号。示例性键组件还可以包括在按压位置和未按压位置之间可移动的开关(例如，可按压的)。当开关处于按压位置时，开关可以向控制装置发送关闭信号，并且当开关处于未按压位置时，开关可以向控制装置发送打开信号。
基于这些和其他输入，控制装置能够确定用户的指尖相对于该示例性键组件的位置。然后，控制装置可以使用这些输入来引导头戴式显示器(例如，虚拟现实头戴设备)呈现或显示在虚拟空间内用户的指尖相对于示例性键组件的视觉表示。这可以向用户提供有用的视觉反馈，并因此允许用户在使用头戴式显示器时更有效地与包括示例性键组件的键盘交互。
下面将参考图1提供头戴式显示系统的示例。另外，对应于图2至图8的讨论将提供用于表示在虚拟空间中与现实世界输入装置的用户交互的各种设备和系统的示例。最后，对应于图9的讨论将提供用于表示在虚拟空间中与现实世界输入装置的用户交互的方法的示例。
图1是根据一些实施方式的头戴式显示系统100的透视图。在一些实施方式中，头戴式显示系统100可以包括头戴式显示装置102(即，头戴式显示器)、音频子系统104、带组件106和面部接口系统108。在本文中使用的术语“头戴式显示器”通常是指佩戴在用户头上或周围并向用户显示视觉内容的任何类型或形式的显示装置或系统。头戴式显示器可以以任何合适的方式显示内容，包括经由屏幕(例如，LCD或LED屏幕)、投影仪、阴极射线管、光学混合器等。头戴式显示器可以以各种媒体格式中的一个或多个显示内容。例如，头戴式显示器可以显示视频、照片和/或计算机生成的图像(CGI)。头戴式显示装置102可以包括包围头戴式显示装置102的各种部件的头戴式显示器壳体116，该各种部件包括镜头114和各种电子部件、包括如上所述的显示部件。
头戴式显示器可以提供不同的并且独特的用户体验。一些头戴式显示器可以提供虚拟现实体验(即，可以显示计算机生成的或预先记录的内容)，而其他头戴式显示器可以提供现实世界体验(即，可以显示来自物理世界的实时图像)。头戴式显示器还可以提供实时和虚拟内容的任何混合。例如，可以将虚拟内容投射到物理世界(例如，经由光学或视频透视)，这可以导致增强现实或混合现实体验。头戴式显示器可以被配置为以多种方式安装到用户的头部。一些头戴式显示器可以包含到眼镜或面罩中。其他头戴式显示器可以包含到头盔、帽子或其他头饰中。头戴式显示器的示例可以包括OCULUS RIFT、GOOGLE GLASS、VIVE、SAMSUNG GEAR等。
在一些实施方式中，音频子系统104可以与头戴式显示装置102集成，并且可向用户的耳朵提供音频信号。头戴式显示系统100可以例如具有位于头戴式显示系统100的左侧和右侧的两个音频子系统104，以向用户的左耳和右耳提供音频信号，如图1所示。
带组件106可以用于在用户的头部上可调节地安装头戴式显示装置102。如图1所示，带组件106可以包括耦接到头戴式显示装置102的各种带，例如，上带和下带，以当用户佩戴头戴式显示装置102时，可调节地符合用户的头部的顶部和/或侧面。
在一些实施方式中，面部接口系统108可以被配置为当用户佩戴头戴式显示系统100时，舒适地靠在用户的面部的区域，包括围绕用户的眼睛的区域。在这些实施方式中，面部接口系统108可以包括接触用户面部的选定区域的面部接口110。当用户佩戴头戴式显示系统100时，面部接口110可以围绕包括用户视野的观看区域112，当用户佩戴头戴式显示系统100时允许用户通过头戴式显示装置102的镜头114观看，而不受外部光线的干扰。
图2是示例性键组件200(“键组件200”)的截面侧视图。如图所示，键组件200可以包括键帽202，键帽202包括触摸传感器204。触摸传感器204可以经由触摸传感器连接208通信地耦接到控制装置206。在该配置中，当触摸传感器204感测到触摸事件时(例如，当用户的指尖触摸触摸传感器204时)，触摸传感器向控制装置206发送触摸信号。另外，当触摸传感器204感测到没有触摸时(例如，当触摸传感器204没有被用户的指尖触摸时)，触摸传感器204向控制装置206发送控制信号。
触摸传感器204可以是能够感测触摸事件和/或没有触摸并且可以向控制装置206发送触摸信号和控制信号的任何传感器。例如，触摸传感器204可以是电容式触摸传感器，其利用表面电容、投射电容和/或任何其他合适的电容式触摸感测技术来感测触摸事件(例如，用户的指尖的触摸)。在其他示例中，触摸传感器204可以是电阻式触摸传感器、红外触摸传感器和/或任何其他合适的触摸传感器。
如图2中进一步所示，键组件200还可以包括开关210，开关210经由开关连接212通信地耦接到控制装置206。如移动指示器224所示，开关210可以在按压位置和未按压位置之间可移动。在该配置中，当开关210处于按压位置时，开关210可以(例如，经由开关连接212)向控制装置206发送关闭信号。另外，当开关210处于未按压位置时，开关210可以(例如，经由开关连接212)向控制装置206发送打开信号。
开关210可以表示能够在按压位置和未按压位置之间移动并且可以向控制装置206发送打开信号和关闭信号的任何开关。开关210的示例可以包括但不限于机械开关、薄膜开关、圆顶开关、剪式开关、屈曲弹簧开关、霍尔效应开关、光学开关和/或任何其他合适的开关。
如参考图6至图7在下面进一步详细描述的，控制装置206可以表示可以从一个或多个传感器(例如，触摸传感器204、开关210等)接收一个或多个输入并且可以响应于和/或基于从一个或多个传感器接收的输入来执行一个或多个操作的任何合适的计算装置。例如，控制装置206可以从触摸传感器204接收包括触摸信号和控制信号中的一项的触摸传感器信号。另外或替代地，控制装置206可以从开关210接收包括关闭信号和/或打开信号的开关信号。下面将参考图6至图7提供额外示例和解释。
触摸传感器连接208通常表示能够有助于从触摸传感器204到控制装置206的通信或数据传输的任何介质或架构。同样，开关连接212通常表示能够有助于从触摸传感器204到控制装置206的通信或数据传输的任何介质或架构。触摸传感器连接208和/或开关连接212可以使用无线和/或有线连接来有助于通信或数据传输。触摸传感器连接208和/或开关连接212的示例可以包括但不限于印刷电路板、直接电缆连接(例如、USB、串行、APPLELIGHTNING、APPLE THUNDERBOLT、HDMI等)、个人区域网(PAN)、局域网(LAN)、内联网、广域网(WAN)、互联网、电力线通信(PLC)、蜂窝网络(例如，全球移动通信系统(GSM)网络)、其中的一个或多个的部分、其中的一个或多个的变体或组合、和/或任何其他合适的连接。
在一些实施方式中，键帽202还可以包括耦接到触摸传感器204的接口表面214。接口表面214可以表示可以耦接到触摸传感器(例如，触摸传感器204)的键帽202的表面。在一些示例中，接口表面可以限定凹陷部216(“凹陷部216”)，凹陷部适于(例如，被设计尺寸和/或雕刻)容纳人体手指的指尖。这种凹陷部可以帮助用户将指尖定位在键帽202上。
触摸传感器204可以包括感测部218。感测部218可以表示对触摸事件敏感的触摸传感器204的任何部分。感测部218可以设计尺寸以至少部分地覆盖接口表面214。在一些实施方式中，接口表面214可以完全由感测部218覆盖。因此，在这种实施方式中，用户的指尖与键帽202的接口表面214进行的任何接触可以导致触摸传感器204感测到触摸事件。
在一些实施方式中，开关210还可以包括柱塞220，柱塞220经由连接器222耦接到键帽202。柱塞220可以在延伸位置和压缩位置之间移动。如移动指示器224所示，柱塞220可以在平行于键帽202的纵轴的方向上移动，并且可以在延伸位置和压缩位置之间移动。当开关处于按压位置时，柱塞220处于压缩位置，并且当开关处于未按压位置时，柱塞220处于延伸位置。在一些示例中，开关210还可以包括安装件226，安装件226耦接到柱塞220，并且可以允许开关210安装到安装表面228。
开关210可以与致动力和致动方向相关联。与开关210相关联的致动力可以表示在开关210可以从未按压位置移动到按压位置之前可以施加到开关210的力的量。例如，开关210可以具有百分之六十牛顿的相关致动力。同样，与开关210相关联的致动方向可以是相对于开关210的方向，必须将致动力在该方向上施加到开关210以使开关210从未按压位置移动到按压位置。当超过相关联的致动力的力(例如，通过用户的指尖)在与开关210的致动方向平行的方向上施加到开关210(例如，经由键帽202)时，开关210可以从未按压位置移动到按压位置。在包括柱塞220的示例中，当这种力施加到开关210时，柱塞220也可以从延伸位置移动到压缩位置。
图3A至图3C示出了处于各种配置中的键组件200的截面侧视图。如图3A所示，未(例如，通过用户的指尖)触摸键组件200。因此，在该配置中，触摸传感器204可以感测到没有触摸。另外，没有(例如，通过用户的指尖)向键帽202施加力(即，超过与开关210相关联的致动力的力)，并且因此，开关210示出在未按压位置并且柱塞220示出在延伸位置。在该配置中，触摸传感器204可以向控制装置206发送控制信号，并且开关210可以向控制装置206发送打开信号。
在图3B中，用户的指尖302在触摸传感器204处触摸键帽202，但是将不超过开关210的致动力的力施加到键帽202，并因此施加到开关210。在该配置中，触摸传感器204可以感测到触摸事件(例如，来自指尖302)，并且因此可以向控制装置206发送触摸信号。然而，开关210保持在未按压位置。因此，开关210可以将打开信号发送(或继续发送)到控制装置206。
在图3C中，指尖302在触摸传感器204处触摸键帽202并且已经在开关210的致动方向上(即，朝向安装表面228)向键帽202施加超过开关210的致动力的力。因此，所施加的力使开关210(在图3C中，由键帽202遮挡)从未按压位置移动到按压位置，并且使柱塞220从延伸位置移动到压缩位置。在该配置中，触摸传感器204可以感测到触摸事件(例如，来自指尖302)，并且因此，可以向控制装置206发送触摸信号。而且，随着开关210已从未按压位置移动到按压位置时，开关210可以向控制装置206发送关闭信号。
在一些实施方式中，至少一个键组件200可以包括在键盘中，该键盘可以包括在虚拟现实接口系统中。图4是键盘400的顶视图，键盘400可以被包括在虚拟现实接口系统中并且包括至少一个键组件200。如图所示，键盘400可以包括安装表面402。安装表面402可以是可以容纳包括在键组件200中的安装件(例如，安装件226)的任何合适的安装表面。另外，安装表面402可以有助于在触摸传感器204和控制装置206之间的触摸传感器连接208和/或在开关210和控制装置206之间的开关连接212。例如，安装表面402可以包括印刷电路板，触摸传感器204和/或开关210可以耦接到该印刷电路板，并且该印刷电路板可以有助于从触摸传感器204和/或开关210向控制装置传输一个或多个信号。在一些示例中，安装表面402可以包括刚性板，刚性板可为键组件200提供更安全和/或坚固的安装表面。
如图4中进一步所示，键组件200可以安装(例如，经由安装件226)在安装位置404。安装位置404可以是安装表面402上的任何合适的安装位置。在一些示例中，安装位置404可以对应于在预定的键盘布局中的键的位置。例如，如图4所示，并且假设键盘400的布局对应于QWERTY键盘布局，则安装位置404可以对应于“J”键的位置。作为另一示例，假设键盘400的布局对应于Dvorak键盘布局，则安装位置404可以对应于“H”键的位置。
键盘400可以包括安装在额外安装位置408处的额外键组件406。与安装位置404一样，额外的安装位置408可以是在安装表面402上的任何合适的安装位置。继续前一示例，假设键盘400的布局对应于QWERTY键盘布局，则额外安装位置408可以对应于“U”键，并且假设键盘400的布局对应于Dvorak键盘布局，则额外安装位置408可以对应于“G”键。
在一些实施方式中，键盘400可以包括一个或多个额外的传感器和/或指示器，其可以向控制装置206提供和/或有助于提供关于键盘400的位置的额外信息。例如，键盘400可以包括一个或多个物理位置指示器410(即，物理位置指示器410-1和物理位置指示器410-2)。如下面将参考图7更详细地描述的，这种物理位置指示器可以由包括键盘400的虚拟现实接口系统用于确定键盘400的物理位置和/或朝向。物理位置指示器410可以是可以通过合适的相机检测到的任何合适的基准点标记。例如，当包括键盘400的虚拟现实接口系统还包括红外(IR)相机系统时，物理位置指示器410可以是IR LED和/或反光材料的小点。对于可见光相机系统，物理位置指示器410可以包括易于区分的颜色或强度图案。
在一些实施方式中，键盘400还可以包括可以收集关于键盘400的位置的数据并且将该数据传送回控制装置206的其他传感器。这种额外的传感器的示例可以包括但不限于陀螺仪传感器、加速度计、高度计、全球定位系统装置、光传感器、音频传感器、功率传感器和/或任何其他传感器。
如图所示，键盘400可以经由键盘连接412通信地耦接到控制装置206。与触摸传感器连接208和开关连接212一样，键盘连接412通常表示能够有助于从键盘400到控制装置206的通信或数据传输的任何介质或架构。键盘连接412可以使用有线和/或无线连接有助于通信或数据传输。在一些示例中，键盘连接412可以有助于键盘400中包括的键组件的任何或所有触摸传感器连接和开关传感器连接。另外或替代地，键盘连接412可以有助于用于键盘400的一个或多个额外部件的单独数据连接。键盘连接412的示例可以包括但不限于印刷电路板、直接电缆连接(例如、USB、串行、APPLE LIGHTNING、APPLE THUNDERBOLT、HDMI等)、PAN、LAN、内联网、WAN、互联网、PLC、蜂窝网络(例如，GSM网络)、其中的一个或多个的部分、其中的一个或多个的变体或组合、和/或任何其他合适的连接。
如下面参考图7更详细地描述的，控制装置206可以利用来自键盘400中包括的各种触摸传感器、开关和其他数据收集装置的数据来引导包括在虚拟现实接口系统中的头戴式显示器在虚拟空间中呈现至少一个键组件的视觉表示和/或至少一个指尖的视觉表示。另外，控制装置206可以利用所提供的数据来呈现与虚拟键盘交互的用户的一只手或双手的视觉表示。以这种和其他方式，本文描述的设备、系统和方法可以表示在虚拟空间中与现实世界输入装置的用户交互，从而在用户与现实世界输入装置交互时向用户提供视觉反馈。
图5示出了示例性显示子系统500，可以(例如，通过控制装置206)引导该显示子系统执行各种动作，以表示在虚拟空间中与现实世界输入装置的用户交互。如图5所示，显示子系统500可以包括用于控制显示屏504的显示计算装置502。在一些实施方式中，显示子系统500可以包括多个显示器，例如，头戴式显示装置102中使用的一对显示器。例如，头戴式显示装置102可以包括一对显示屏504，每个显示屏504由单独的显示计算装置502控制。另外或替代地，头戴式显示装置102的一对显示屏504可以都由单个显示计算装置502控制。
根据至少一个实施方式中，显示计算装置502可以包括显示驱动器506，显示驱动器用于驱动显示屏504的像素。显示驱动器506可以包括用于驱动显示屏504的任何合适的电路。例如，显示驱动器506可以包括至少一个集成电路(IC)。在一些示例中，显示驱动器506可以包括定时控制器(TCON)电路，该电路接收图像信号并为显示屏504生成水平和垂直的定时信号。显示驱动器506可以例如安装在显示屏504的薄膜晶体管(TFT)衬底层的边缘上。
如图5所示，示例显示子系统500还可以包括一个或多个存储器装置，例如，存储器508。存储器508通常表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性的存储装置或介质。在一个示例中，存储器508可以存储、加载和/或维护一个或多个模块510。存储器508的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、其中的一个或多个的变体或组合、和/或任何其他合适的存储器。
显示子系统500还可以包括用于执行一个或多个显示任务的一个或多个模块510。如图5所示，显示子系统500可以包括图形控制模块512，该模块向显示驱动器506提供显示数据和控制信号，以用于在显示屏504上产生图像。图形控制模块512可以包括例如用于向显示屏504提供视频数据和/或显示控制信号的视频卡和/或视频适配器。在一些示例中，视频数据可以包括文本、图形、图像、运动视频内容、和/或要在显示屏504上呈现的任何其他合适的图像内容。
在至少一个实施方式中，显示子系统500可以包括校准数据模块514，该模块存储和使用用于显示屏504的校准数据。例如，校准数据模块514可以包括校准数据(例如，校正因子)，校准数据被应用到显示驱动器506所使用的视频数据，以在显示屏504上产生校准图像。
另外，显示子系统500可以包括通信模块516，该模块从一个或多个计算装置接收视频数据和/或校准数据。例如，通信模块516可以从任何合适的视频和/或图像源接收要在显示屏504上显示的视频数据。通信模块516还可以例如从显示校准系统接收校准数据。在一些示例中，通信模块516还可以接收用户经由输入-输出装置(例如，触摸屏、按钮、操纵杆、点击轮、滚轮、触摸板、键板、键盘、麦克风、扬声器、音调发生器、位置和/或朝向传感器、振动器、相机、传感器、发光二极管和/或其他状态指示器、数据端口等)向显示子系统500提供的用户输入。在至少一个示例中，通信模块516还可以将数据从显示子系统500发送到外部装置和/或用户。
在某些实施方式中，图5中的一个或多个模块510可以表示一个或多个软件应用或程序，当由计算装置执行时，该软件应用或程序可以使计算装置执行一个或多个任务。例如，并且如下面将更详细描述的，一个或多个模块510可以表示存储和配置为在一个或多个计算装置(例如，图1中所示的头戴式显示装置102)上运行的模块。图5中的一个或多个模块510还可以表示被配置为执行一个或多个任务的一个或多个专用计算机的全部或部分。
如图5所示，示例显示子系统500还可以包括一个或多个物理处理器，例如，物理处理器518。物理处理器518通常表示能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器518可以访问和/或修改存储在存储器508中的一个或多个模块510。另外或替代地，物理处理器518可以执行一个或多个模块510，以有助于显示屏504的校准。物理处理器518的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、其中的一个或多个的部分、其中的一个或多个的变体或组合、和/或任何其他合适的物理处理器。
显示子系统500可以(例如，从控制装置206经由一个或多个模块510)接收一个或多个指令，这些指令可以引导显示子系统500经由显示屏504显示在虚拟空间内的一个或多个用户界面对象的视觉表示。这种用户界面对象可以包括但不限于键组件、键盘、指尖、手等。通过控制装置206引导的显示屏504的方式呈现这些用户界面对象，显示子系统500可以在用户佩戴头戴式显示器102时向用户提供关于使用现实世界输入装置(例如，键盘400)的有用反馈。因此，显示子系统500可以与控制装置206协同工作，以表示在虚拟空间中与现实世界输入装置的用户交互。
图6示出了控制装置206的方框图，该控制装置206可以有助于表示在虚拟空间中与现实世界输入装置的用户交互。如该图所示，控制装置206可以包括用于执行一个或多个任务的一个或多个模块602。如下面将更详细描述的，模块602可以包括接收模块604，接收模块从触摸传感器204接收包括触摸信号和控制信号中的一项的触摸传感器信号。接收模块604还可以从开关210接收包括关闭信号和打开信号中的一项的开关信号。
此外，在一些实施方式中，接收模块604可以接收除了触摸传感器信号和开关信号之外的信号。例如，在一些实施方式中，接收模块604可以从包括在键盘(例如，键盘400)中的额外键组件接收额外信号(例如，额外触摸信号、额外开关信号等)。另外，接收模块604可以接收表示在键盘(例如，键盘400)的安装表面内的键组件的安装位置的数据、表示键盘(例如，键盘400)的位置和/或朝向的数据以及可以用于特定实现方式的任何其他数据和/或信号。
如图6中进一步所示，模块602还可以包括引导模块606，引导模块引导头戴式显示器(例如，头戴式显示装置102)在虚拟空间中呈现键组件(例如，键组件200)的视觉表示。引导模块606可以引导头戴式显示器呈现当开关信号包括打开信号时处于未按压位置的键组件的视觉表示以及当开关信号包括关闭信号时处于按压位置的键组件的视觉表示。另外，引导模块606可以引导头戴式显示器(例如，头戴式显示装置102)在具有键组件的视觉表示的虚拟空间中呈现指尖的视觉表示。引导模块606可以引导头戴式显示器呈现当触摸传感器信号包括触摸信号时与键帽的接口表面(例如，接口表面214)的视觉表示接触的指尖的视觉表示以及当触摸传感器信号包括控制信号时与键帽的视觉表示脱离的指尖的视觉表示。
在一些实施方式中，如将在下面更详细描述的，引导模块606可以引导显示子系统500基于额外数据(例如，从一个或多个其他模块602(例如，接收模块604、确定模块608和/或通信模块610)接收的额外数据)呈现键帽的视觉表示和/或指尖的视觉表示。例如，在接收模块604从包括在键盘(例如，键盘400)中的额外键组件接收额外信号的实施方式中，引导模块606可以基于来自额外键组件的额外信号呈现键帽的视觉表示和/或指尖的视觉表示。
在一些实施方式中，模块602还可以包括确定模块608，确定模块可以确定包括在物理空间中的键盘(例如，键盘400)中的至少一个物理位置指示器的位置。确定模块608还可以基于物理位置指示器在物理空间中的位置的确定，来确定键盘在虚拟空间中的位置。确定模块608可以以任何合适的方式执行这些任务，例如，通过基于物理位置指示器在物理空间中的观察位置来计算键盘在虚拟空间中的位置。另外或替代地，在一些实施方式中，确定模块608可以基于由包括在头戴式显示系统(例如，头戴式显示系统100)中的一个或多个传感器和/或包括在键盘(例如，键盘400)中的一个或多个传感器收集的数据来确定键盘在虚拟空间中的位置。如下面将更详细解释的，模块602还可以包括与一个或多个装置(例如，头戴式显示系统100、键盘400和/或显示屏504)通信的通信模块610。在至少一个示例中，通信模块610还可以将数据从控制装置206发送到其他外部装置和/或用户。
在某些实施方式中，在图6中的一个或多个模块602可以表示一个或多个软件应用或程序，当由子系统600执行时，该软件应用或程序可以使子系统600执行一个或多个任务。如图6所示，子系统600还可以包括一个或多个存储器装置，例如，存储器612。
存储器612通常表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性的存储装置或介质。在一个示例中，存储器612可以存储、加载和/或维护一个或多个模块602。
子系统600还可以包括一个或多个物理处理器，例如，物理处理器614。物理处理器614通常表示能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器614可以访问和/或修改存储在存储器612中的一个或多个模块602。另外或替代地，物理处理器614可以执行一个或多个模块602，以有助于表示在虚拟空间中与现实世界输入装置的用户交互。
虽然在本文中示出为单独的计算装置，但是在一些实现方式中，显示计算装置502和控制装置206可以共享一个或多个部件和/或功能。例如，在一些实现方式中，由物理处理器518执行的功能可以由物理处理器614执行，和/或由物理处理器614执行的一个或多个功能可以由物理处理器518执行。另外或替代地，一个或多个模块510可以存储在存储器612中，和/或一个或多个模块602可以存储在存储器508中。
图7示出了用于表示在虚拟空间中与现实世界输入装置的用户交互的示例性虚拟现实接口系统700。如图所示，虚拟现实接口系统700可以包括用户702佩戴的头戴式显示系统100，如图7所示。虚拟现实接口系统700还可以包括键盘400。键盘400可以通信地耦接到控制装置206，控制装置206可以包括模块602和物理处理器614。
尽管未在图7中明确示出，如上所述，键盘400可以包括键组件200。键组件200可以包括键帽202，键帽202可以包括通信地耦接(例如，经由触摸传感器连接208)到控制装置206的触摸传感器204。当触摸传感器204(例如，从用户702的指尖)感测到触摸事件时，触摸传感器204可以向控制装置206发送触摸信号。当触摸传感器204感测到没有触摸时(例如，用户702没有触摸触摸传感器204)，触摸传感器204可以向控制装置206发送控制信号。
键组件200还可以包括开关210，开关可通信地耦接(例如，经由开关连接212)到控制装置206，并且可以在按压位置和未按压位置之间移动。当开关210处于按压位置时(例如，用户702按压开关210)，开关210可以向控制装置206发送关闭信号。当开关210处于未按压位置时，开关210可以向控制装置206发送打开信号。
如上所述，控制装置206可以经由一个或多个模块602(例如，接收模块604)从开关210接收指示开关位置706的开关数据704以及从触摸传感器204接收指示触摸感测710的触摸数据708。从开关位置706和触摸感测710的组合，一个或多个模块602能够构建用于经由显示屏504显示在虚拟空间中的键组件200与指尖之间的关系的模型。
例如，当开关位置706指示开关210处于打开位置时(即，当开关位置706包括来自开关210的打开信号时)，一个或多个模块602(例如，引导模块606)可以引导(例如，经由显示子系统500)显示屏504在虚拟空间中呈现键组件200的视觉表示，其中，键组件200处于未按压位置。另外，当开关位置706指示开关210处于关闭位置时(即，当开关位置706包括来自开关210的关闭信号时)，一个或多个模块602可以引导显示屏504在虚拟空间中呈现键组件200的视觉表示，其中，键组件200处于关闭位置。
作为另一示例，当触摸感测710指示正在触摸触摸传感器204时(例如，当触摸感测710包括触摸信号时)，一个或多个模块602(例如，引导模块606)可以引导(例如，经由显示子系统500)显示屏504在虚拟空间中呈现指尖的视觉表示，其中，指尖与接口表面214的视觉表示接触。这可以使指尖的视觉表示看起来好像正停留在键组件的视觉表示上和/或按压键组件的视觉表示。另外，当触摸感测710指示没有触摸触摸传感器204时(即，当触摸感测710包括控制信号时)，一个或多个模块602可以引导显示屏504在虚拟空间中呈现指尖的视觉表示，其中，指尖与键组件的视觉表示脱离。这可以使指尖的视觉表示看起来好像悬停在键帽的视觉表示的上方和/或准备按压键帽的视觉表示。
控制装置206还可以接收键盘数据712，键盘数据包括关于键盘400的元件的额外属性的数据。例如，如上所述，除了键组件200之外，键盘400还可以包括额外键组件406，额外键组件也可以通信地耦接到控制装置206。控制装置206可以从额外键组件406接收额外开关位置714和额外触摸感测716，并且还可以使在虚拟空间中的键组件的视觉表示和键帽的视觉表示基于额外开关位置和额外触摸感测。例如，当额外触摸感测716指示正在触摸额外键组件406时(即，当额外触摸感测包括来自额外键组件406的触摸传感器的触摸信号时)，指尖的视觉表示可以看起来好像没有悬停在键帽的视觉表示的上方和/或准备按压键帽的视觉表示。另外或替代地，指尖的视觉表示可以看起来好像与额外键组件406的键帽的接口表面接触。
在至少一个实施方式中，键盘400可以包括安装表面402，键组件200安装在安装位置404处。控制装置206可以接收(例如，经由接收模块604)表示作为键位置718的安装位置404的数据，并且还可以使在虚拟空间中的键组件的表示基于键位置718。例如，如果键位置718指示键盘400的布局对应于QWERTY键盘布局并且安装位置404对应于“J”键的位置，则虚拟空间中的键组件200的视觉表示可以指示键组件200是“J”键。因此，虚拟空间中的指尖的视觉表示可以看起来好像正在与“J”键交互(例如，按压、未按压、等待按压、相对其移动等)。
在一些示例中，键盘400还包括至少一个物理位置指示器410。控制装置206可以确定(例如，经由一个或多个模块602，例如，确定模块608)至少一个物理位置指示器410在物理空间中的位置，并且然后，使用确定的物理位置指示器410在物理空间中的位置来确定键盘400在虚拟空间中的位置，并将键盘在虚拟空间中的该位置存储为键盘位置720。
控制装置206可以以各种方式确定物理位置指示器410在物理空间中的位置。例如，头戴式显示系统100可以包括相机722。相机722可以被配置为检测可以由至少一个物理位置指示器410朝着相机722产生和/或引导的特定波长的光。头戴式显示系统100可以经由合适的有线和/或无线连接将该相机数据传输到控制装置206。基于相机数据，控制装置206的一个或多个模块602能够计算物理位置指示器410相对于相机722在物理空间中的物理位置，并因此计算键盘400相对于相机722在物理空间中的物理位置。然后，控制装置206可以将计算出的键盘400相对于相机722和/或头戴式显示系统100的物理位置存储为键盘位置720。
然后，一个或多个模块602(例如，引导模块606、确定模块608等)还可以使在虚拟空间中的键组件200的视觉表示基于键盘位置720。例如，当键盘位置720指示键盘400在物理空间中的位置，并且键位置718指示键组件200位于键盘400上“J”键的位置处时，控制装置206可以经由一个或多个模块602引导显示屏504在虚拟空间中在相对于键盘400和/或对应于“J”键的一个或多个物理位置指示器410的位置处呈现键组件200的视觉表示。
在一些实施方式中，控制装置206可以引导显示屏504经由显示器子系统500在虚拟空间中呈现额外元件。例如，在一些示例中，键盘400可以包括多个键组件，每个键组件向控制装置206提供开关数据、触摸数据和键位置数据。基于该聚合数据，控制装置206可以确定在虚拟空间内的键、键盘、手指、手和其他对象的位置并且渲染虚拟空间内的键、键盘、手指、手和其他对象。
图8是根据一些实施方式的在虚拟空间中的键组件的视觉表示和指尖的视觉表示的视图。如图所示，图8示出了包括虚拟键组件802和虚拟指尖804的虚拟空间800。当用户702触摸和/或抑制触摸键组件200时(即，触摸和/或抑制触摸触摸传感器204时)，虚拟指尖804可以看起来好像与虚拟键组件802接触和脱离。当用户702按压键组件200(即，在按压位置和未按压位置之间移动开关210)时，虚拟键组件802在按压位置和未按压位置之间移动。当他或她与键组件200交互时，这可以向用户702提供视觉反馈。例如，当用户702按压(例如，致动)键组件200时，虚拟指尖804可以看起来好像按压虚拟键组件802。当用户释放键组件200时，虚拟指尖804可以看起来好像释放虚拟键组件802。此外，如果用户702仅将他或她的指尖放在键组件200上时，虚拟指尖804也可以看起来好像停留在(例如，触摸但不按压)虚拟键组件802上。
如图所示，虚拟空间800还包括虚拟键盘806和虚拟手808。如上所述，在一些实施方式中，键盘400上的一些或所有按键可以是类似于键组件200的键组件，并且每个键组件可以向控制装置206提供相应的触摸和/或开关数据。与键盘数据712结合，控制装置206可以使用该聚合数据来在虚拟空间中呈现虚拟键盘806，并且动画化虚拟手808，这些虚拟手反映当他或她与键盘400交互时用户702的指尖和/或手的定位和/或移动。这可以向用户702提供有用的反馈，其可以允许用户702在使用头戴式显示系统100时与键盘400更有效地交互。
图9是用于表示在虚拟空间中与现实世界输入装置的用户交互的示例性计算机实现方法900的流程图。图9中所示的操作可以由任何合适的计算机可执行代码和/或计算系统(包括图5中的显示子系统500、图6中的显示子系统500、图7中的控制装置206、图7中的虚拟现实接口系统700和/或其中的变体或组合)执行。在一个示例中，图9中所示的每个步骤可以表示算法，算法的结构包括多个子步骤和/或由多个子步骤表示，将在下面更详细地提供其示例。
如图9所示，在操作902，本文描述的系统和/或设备中的一个或多个可以经由包括在键帽中的触摸传感器来感测触摸事件，键帽包括在虚拟现实接口系统的键组件中。本文描述的系统和/或设备可以以本文描述的任何方式执行该操作。例如，如上所述，用户(例如，用户702)可以触摸包括在键帽202中的触摸传感器204，键帽包括在虚拟现实接口系统700的键组件200中。这可以使一个或多个模块602(例如，接收模块604、引导模块606、确定模块608等)经由触摸传感器204感测触摸事件。
在图9中的操作904，本文描述的系统和/或设备中的一个或多个可以在触摸传感器感测到触摸事件时确定包括在虚拟现实接口系统的键组件中的开关已经从未按压位置移动到按压位置。本文描述的系统和/或设备可以以本文描述的任何方式执行该操作。例如，用户(例如，用户702)可以在触摸触摸传感器204时在致动方向上且用与开关210相关联的致动力按压键帽202。这可以使开关210从未按压位置移动到按压位置。然后，一个或多个模块602(例如，接收模块604、引导模块606、确定模块608等)可以在触摸传感器204感测到触摸事件时确定开关已经从未按压位置移动到按压位置。
在图9中的操作906，本文描述的系统和/或设备中的一个或多个可以在开关处于按压位置并且触摸传感器感测到触摸事件时引导包括在虚拟现实接口系统中的头戴式显示器在虚拟空间中呈现键组件处于按压位置的视觉表示以及与键帽的接口表面的视觉表示接触的指尖的视觉表示。本文描述的系统和/或设备可以以本文描述的任何方式执行该操作。例如，引导模块606可以在开关210处于按压位置并且触摸传感器204感测到触摸事件时引导包括在头戴式显示系统100中的显示屏504在虚拟空间(例如，虚拟空间800)中呈现处于按压位置的键组件(例如，虚拟键组件802)的视觉表示以及与键帽的接口表面的视觉表示接触的指尖(例如，虚拟指尖804)的视觉表示。
根据一些实施方式，本文描述的系统和/或设备中的一个或多个也可以在触摸传感器感测到触摸事件时确定开关已经从按压位置移动到未按压位置。本文描述的系统和/或设备可以以本文描述的任何方式执行该操作。例如，用户(例如，用户702)可以在继续触摸触摸传感器204的同时将开关210从按压位置移动到未按压位置。然后，一个或多个模块602(例如，接收模块604、引导模块606、确定模块608等)可以在触摸传感器204感测到触摸事件时确定开关210已经从按压位置移动到未按压位置。
然后，本文描述的系统和/或设备中的一个或多个可以在开关处于未按压位置并且触摸传感器感测到触摸事件时引导头戴式显示器在虚拟空间中呈现处于未按压位置的键组件的视觉表示以及与键帽的接口表面的视觉表示接触的指尖的视觉表示。本文描述的系统和/或设备可以以本文描述的任何方式执行该操作。例如，引导模块606可以在开关210处于未按压位置并且触摸传感器204感测到触摸事件时引导包括在头戴式显示系统100中的显示屏504在虚拟空间(例如，虚拟空间800)中呈现处于未按压位置的键组件(例如，虚拟键组件802)的视觉表示以及与键帽的接口表面的视觉表示接触的指尖(例如，虚拟指尖804)的视觉表示。
根据一些实施方式，本文描述的系统和/或设备中的一个或多个也可以经由触摸传感器感测到没有触摸。本文描述的系统和/或设备可以以本文描述的任何方式执行该操作。例如，用户(例如，用户702)可以抑制触摸触摸传感器204。这可以使一个或多个模块602(例如，接收模块604、确定模块608等)经由触摸传感器204感测到没有触摸。
然后，本文描述的系统和/或设备中的一个或多个可以在开关处于未按压位置并且触摸传感器感测到没有触摸时引导头戴式显示器在虚拟空间中呈现处于未按压位置的键组件的视觉表示以及与键帽的接口表面脱离的指尖的视觉表示。本文描述的系统和/或设备可以以本文描述的任何方式执行该操作。例如，引导模块606可以在开关210处于未按压位置并且触摸传感器204感测到没有触摸时引导包括在头戴式显示系统100中的显示屏504在虚拟空间800中呈现处于未按压位置的键组件(例如，虚拟键组件802)的视觉表示以及与键帽的接口表面脱离的指尖(例如，虚拟指尖804)的视觉表示。
如在整个本公开中所讨论的，所公开的设备、系统和方法可以提供优于传统虚拟现实接口系统的一个或多个优点。例如，在本文中公开的设备、系统和方法可以通过检测用户是否正在触摸和/或致动包括在示例性键组件中的开关，来引导头戴式显示器(例如，虚拟现实头戴设备)呈现在虚拟空间内与键组件的用户交互的视觉表示。这可以向用户提供有用的视觉反馈，并因此允许用户在使用头戴式显示器时与包括键组件的键盘更有效地交互。在使用头戴式显示器时，这也可以提高用户的生产率，并且增加对头戴式显示器和/或虚拟现实接口系统的用户满意度。
如上面所详细描述的，在本文中广泛描述和/或示出的计算装置和系统表示能够执行计算机可读指令的任何类型或形式的计算装置或系统，例如，包含在本文描述的模块内的计算装置或系统。在其最基本的配置中，这些计算装置可以各自包括至少一个存储器装置和至少一个物理处理器。
虽然被示出为单独的元件，但是在本文中描述和/或示出的模块可以表示单个模块或应用的部分。另外，在某些实施方式中，这些模块中的一个或多个可以表示一个或多个软件应用或程序，当由计算装置执行时，可以促使计算装置执行一个或多个任务。例如，在本文中描述和/或示出的一个或多个模块可以表示存储和配置为在本文描述和/或示出的一个或多个计算装置或系统上运行的模块。这些模块中的一个或多个还可以表示被配置为执行一个或多个任务的一个或多个专用计算机的全部或部分。
另外，在本文中描述的一个或多个模块可以将数据、物理装置、和/或物理装置的表示从一种形式转换到另一种形式。例如，在本文中叙述的一个或多个模块可以接收要转换的传感器、转换传感器、输出转换的结果，以渲染在虚拟空间中与键组件交互的指尖的视觉表示，使用转换结果来通过头戴式显示器呈现在虚拟空间中与键组件交互的指尖的视觉表示，并存储转换结果，以操纵、动画化和/或调整在虚拟空间中与键组件交互的指尖的视觉表示。另外或替代地，在本文中叙述的一个或多个模块可以通过在计算装置上执行、将数据存储在计算装置上、和/或以其他方式与计算装置交互，来将处理器、易失性存储器、非易失性存储器和/或物理计算装置的任何其他部分从一种形式转换为另一种形式。
在本文中描述和/或示出的步骤的过程参数和序列仅通过示例的方式给出并且可以按照所希望的那样来改变。例如，虽然可以以特定顺序示出或讨论在本文中示出和/或描述的步骤，但是这些步骤不一定需要以所示或讨论的顺序执行。在本文中描述和/或示出的各种示例性方法还可以省略在本文中描述和/或示出的一个或多个步骤，或者除了所公开的那些之外，还包括额外步骤。
已经提供前面的描述，以使本领域技术人员能够最好地利用在本文中公开的示例性实施方式的各个方面。该示例性描述并非旨在穷举或限于所公开的任何精确形式。在不脱离本公开的精神和范围的情况下，可以进行许多修改和变化。在本文中公开的实施方式应该在所有方面都被认为是说明性的而非限制性的。在确定本公开的范围时，应参考所附权利要求及其等同物。
除非另外指出，否则在本说明书和权利要求中使用的术语“连接到(connectedto)”和“耦接至(coupled to)”(及其衍生物)应被解释为允许直接和间接(即，经由其他元件或部件)连接。另外，在说明书和权利要求中使用的术语“一(a)”或“一个(an)”应解释为“至少一个”。最后，为了便于使用，在说明书和权利要求中使用的术语“包括(including)”和“具有(having)”(及其衍生物)可与“包括(comprising)”一词互换并具有相同的含义。

Claims (20)

1.一种用于键盘的键组件，所述键组件包括：
键帽，所述键帽包括：
通信地耦接到控制装置的触摸传感器，以及：
开关，所述开关通信地耦接到所述控制装置，并且能够在按压位置和未按压位置之间移动，所述开关包括能够在延伸位置和压缩位置之间移动的柱塞；
其中：
当所述开关处于所述按压位置时，所述柱塞处于所述压缩位置并且所述开关向所述控制装置发送关闭信号；
当所述开关处于所述未按压位置时，所述柱塞处于所述延伸位置；以及
所述控制装置：
当所述开关从所述未按压位置移动到所述按压位置时，从所述开关接收包括所述关闭信号的开关信号；以及
引导头戴式显示器在虚拟空间中与所述键组件的现实世界位置相对应的虚拟位置处，并且与所述开关从所述未按压位置移动到按压位置相对实时地将指尖将所述键组件的视觉表示从所述未按压位置移动到所述按压位置的视觉标识动画化。
2.根据权利要求1所述的键组件，其中，所述触摸传感器包括电容式触摸传感器。
3.根据权利要求1所述的键组件，其中，所述触摸传感器包括电阻式触摸传感器。
4.根据权利要求1所述的键组件，其中：
当所述触摸传感器感测到触摸事件时，所述触摸传感器向控制装置发送触摸信号；以及
当所述触摸传感器感测到没有触摸时，所述触摸传感器向所述控制装置发送控制信号。
5.根据权利要求1所述的键组件，其中：
当所述开关处于所述未按压位置时，所述柱塞处于所述延伸位置并且所述开关向所述控制装置发送打开信号；以及
所述开关信号进一步包括以下中的至少一项：
所述关闭信号；或
所述打开信号。
6.根据权利要求1所述的键组件，其中，所述键帽还包括耦接到所述触摸传感器的接口表面。
7.根据权利要求6所述的键组件，其中，所述接口表面限定适于容纳人体手指的指尖的凹陷部。
8.根据权利要求6所述的键组件，其中，所述触摸传感器包括至少部分地覆盖所述接口表面的感测部。
9.一种虚拟现实接口系统，包括：
头戴式显示器；
控制装置，所述控制装置通信地耦接到所述头戴式显示器；以及
键盘，所述键盘包括至少一个键组件，所述键组件包括：
键帽，所述键帽包括：
通信地耦接到所述控制装置的触摸传感器；以及
开关，所述开关通信地耦接到所述控制装置并且能够在按压位置和未按压位置之间移动，所述开关包括柱塞，所述柱塞能够在延伸位置和压缩位置之间移动；
其中：
当所述开关处于所述按压位置时，所述柱塞处于所述压缩位置并且所述开关向所述控制装置发送关闭信号；以及
当所述开关处于所述未按压位置时，所述柱塞处于所述延伸位置；以及
所述控制装置：
当所述开关从所述未按压位置移动到所述按压位置时，从所述开关接收包括所述关闭信号的开关信号；以及
引导所述头戴式显示器在虚拟空间中与所述键组件的现实世界位置相对应的虚拟位置处，并且与所述开关从所述未按压位置移动到所述按压位置相对实时地将指尖将所述键组件的视觉表示从所述未按压位置移动到所述按压位置的视觉标识动画化。
10.根据权利要求9所述的虚拟现实接口系统，其中，所述触摸传感器包括电容式触摸传感器。
11.根据权利要求9所述的虚拟现实接口系统，其中，所述键帽还包括耦接到所述触摸传感器的接口表面。
12.根据权利要求11所述的虚拟现实接口系统，其中，所述触摸传感器包括至少部分地覆盖所述接口表面的感测部。
13.根据权利要求11所述的虚拟现实接口系统，其中，所述接口表面限定适于容纳人体手指的指尖的凹陷部。
14.根据权利要求11所述的虚拟现实接口系统，其中：
当所述触摸传感器感测到触摸事件时，所述触摸传感器向控制装置发送触摸信号；以及
当所述触摸传感器感测到没有触摸时，所述触摸传感器向所述控制装置发送控制信号；以及
所述控制装置从所述触摸传感器接收触摸传感器信号，所述触摸传感器信号包括以下中的至少一项：
触摸信号；或
控制信号。
15.根据权利要求14所述的虚拟现实接口系统，其中：
所述键盘包括至少一个通信地耦接到所述控制装置的额外键组件；
所述控制装置从所述额外键组件接收额外信号；以及
所述键组件的视觉表示和所述指尖的视觉表示中的至少一项还基于所述额外信号。
16.根据权利要求14所述的虚拟现实接口系统，其中，当所述开关信号包括所述关闭信号时，所述键组件的视觉表示处于所述按压位置。
17.根据权利要求16所述的虚拟现实接口系统，其中：
当所述触摸传感器信号包括所述触摸信号时，所述指尖的视觉表示与所述键帽的接口表面的视觉表示接触；并且
当所述触摸传感器信号包括所述控制信号时，所述指尖的视觉表示与所述键帽的视觉表示脱离。
18.一种方法，包括：
经由包括在键帽中的触摸传感器来感测触摸事件，所述键帽包括在虚拟现实接口系统的键组件中；
当所述触摸传感器感测到所述触摸事件时，确定包括在所述键组件中的开关已从未按压位置移动到按压位置；并且
当所述触摸传感器感测到所述触摸事件时，基于感测到所述触摸事件并且确定所述开关已经从所述未按压位置移动到所述按压位置，引导包括在所述虚拟现实接口系统中的头戴式显示器在虚拟空间中与所述键组件的现实世界位置相对应的虚拟位置处，并且与所述开关从所述未按压位置移动相对实时地将指尖将所述键组件的视觉表示从所述未按压位置移动到所述按压位置的视觉标识动画化。
19.根据权利要求18所述的方法，还包括：
当所述触摸传感器感测到所述触摸事件时，确定所述开关已从所述按压位置移动到所述未按压位置；并且
当所述开关处于所述未按压位置并且所述触摸传感器感测到所述触摸事件时，引导所述头戴式显示器在所述虚拟空间中呈现所述键组件回到所述未按压位置的视觉表示，其中所述指尖的视觉表示与所述键帽的视觉表示接触。
20.根据权利要求19所述的方法，还包括：
经由所述触摸传感器感测没有触摸；并且
当所述开关处于所述未按压位置并且所述触摸传感器感测到没有触摸时，引导所述头戴式显示器在所述虚拟空间中呈现处于所述未按压位置的所述键组件的视觉表示以及与所述键帽脱离的所述指尖的视觉表示。
CN202211542183.0A 2017-09-27 2018-09-26 键组件、虚拟现实接口系统和方法 Pending CN115763127A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/717,725 2017-09-27
US15/717,725 US10394342B2 (en) 2017-09-27 2017-09-27 Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
CN201811124133.4A CN109559925A (zh) 2017-09-27 2018-09-26 键组件、虚拟现实接口系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811124133.4A Division CN109559925A (zh) 2017-09-27 2018-09-26 键组件、虚拟现实接口系统和方法

Publications (1)

Publication Number Publication Date
CN115763127A true CN115763127A (zh) 2023-03-07

Family

ID=65807577

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202211542183.0A Pending CN115763127A (zh) 2017-09-27 2018-09-26 键组件、虚拟现实接口系统和方法
CN202211540385.1A Pending CN115763126A (zh) 2017-09-27 2018-09-26 键组件、虚拟现实接口系统和方法
CN201811124133.4A Pending CN109559925A (zh) 2017-09-27 2018-09-26 键组件、虚拟现实接口系统和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202211540385.1A Pending CN115763126A (zh) 2017-09-27 2018-09-26 键组件、虚拟现实接口系统和方法
CN201811124133.4A Pending CN109559925A (zh) 2017-09-27 2018-09-26 键组件、虚拟现实接口系统和方法

Country Status (2)

Country Link
US (2) US10394342B2 (zh)
CN (3) CN115763127A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10754417B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US10394342B2 (en) 2017-09-27 2019-08-27 Facebook Technologies, Llc Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
US11460911B2 (en) 2018-01-11 2022-10-04 Steelseries Aps Method and apparatus for virtualizing a computer accessory
US11836297B2 (en) * 2020-03-23 2023-12-05 Apple Inc. Keyboard with capacitive key position, key movement, or gesture input sensors
WO2022139691A1 (en) * 2020-12-21 2022-06-30 Hadi HAJJO System for remote online learning and examinations that's based on virtual reality
CN114371787A (zh) * 2021-12-28 2022-04-19 华南理工大学 一种带有实时触摸感应功能的键盘

Family Cites Families (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3911429A (en) * 1974-04-08 1975-10-07 Ibm Self-energized magnetic keys
US4316066A (en) * 1979-09-10 1982-02-16 International Telephone And Telegraph Corporation Key switch with snap-action contact and resilient actuator
US4359612A (en) * 1980-09-24 1982-11-16 Engineering Research Applications, Inc. Universal keyboard and method of producing same
JPS59186214A (ja) * 1983-04-08 1984-10-23 富士通株式会社 押釦スイツチ
US4712092A (en) * 1983-12-20 1987-12-08 Aaron J. Gellman Parallel encoded piezoelectric keyboard switch and array
US4661005A (en) * 1984-01-16 1987-04-28 Creative Associates Spittable keyboard for word processing, typing and other information input systems
JPS61138420A (ja) * 1984-12-11 1986-06-25 アルプス電気株式会社 キ−ボ−ド装置
US6005496A (en) * 1991-04-10 1999-12-21 Kinesis Corporation Ergonomic keyboard apparatus
US5689253A (en) * 1991-04-10 1997-11-18 Kinesis Corporation Ergonomic keyboard apparatus
KR950001730B1 (ko) * 1991-06-08 1995-02-28 주식회사 일진 옵티컬 인텔리젠트 키보드 구조체
JP2527854B2 (ja) * 1991-06-10 1996-08-28 富士通株式会社 抗力可変装置、及びキ―スイッチ装置
US5298677A (en) * 1991-08-30 1994-03-29 Kabushiki Kaisha Kawai Gakki Seisakusho Automatic playing apparatus having reduced memory requirements
JPH05273972A (ja) * 1992-03-27 1993-10-22 Kawai Musical Instr Mfg Co Ltd 電子楽器
EP0685860A1 (en) * 1994-06-03 1995-12-06 Hewlett-Packard Company Full travel, sealed, fully backlighted keyboard
US5736976A (en) 1995-02-13 1998-04-07 Cheung; Nina T. Computer data entry apparatus with hand motion sensing and monitoring
US5796984A (en) * 1996-01-26 1998-08-18 Dell Usa, L.P. Operating system independent apparatus and method for eliminating peripheral device functions
US20030159076A1 (en) * 1996-07-19 2003-08-21 Compaq Information Technologies Group, L.P. Keyboard controller providing power management for a portable computer system
US5905487A (en) * 1996-10-23 1999-05-18 Daewoo Electronics Co., Ltd. Data input device and method for use with a virtual reality system
US6388657B1 (en) * 1997-12-31 2002-05-14 Anthony James Francis Natoli Virtual reality keyboard system and method
US6600480B2 (en) * 1998-12-31 2003-07-29 Anthony James Francis Natoli Virtual reality keyboard system and method
US6288457B1 (en) * 1998-09-10 2001-09-11 Brother Kogyo Kabushiki Kaisha Key switch device and portable key electronic device provided with the key switch device
US5980135A (en) * 1998-09-22 1999-11-09 Acer Peripherals, Inc. Keyboard with an optional metal support for strengthening its structure
US6871978B2 (en) * 1998-11-13 2005-03-29 Lightpath Technologies, Inc. Computer keyboard backlighting
FR2786918B1 (fr) * 1998-12-08 2001-02-16 Sextant Avionique Clavier electronique a touches lumineuses
JP2000267785A (ja) * 1999-03-15 2000-09-29 Alps Electric Co Ltd キーボード装置
EP1373967A2 (en) * 2000-06-06 2004-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. The extended virtual table: an optical extension for table-like projection systems
DE60141153D1 (de) * 2000-06-30 2010-03-11 Ntech Properties Inc Tasten für musikinstrumente und musikalische verfahren
US6611253B1 (en) * 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
US6630925B1 (en) * 2000-10-31 2003-10-07 Nokia Corporation Double-sided keyboard having two keymats and one activation mat
US7115825B2 (en) * 2001-02-15 2006-10-03 Integral Technologies, Inc. Low cost key actuators and other switching device actuators manufactured from conductive loaded resin-based materials
GB2374266A (en) * 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
US6891528B2 (en) * 2001-04-24 2005-05-10 International Business Machines Corporation Interchangeable keyboard with self defining keys
KR100446613B1 (ko) * 2001-07-16 2004-09-04 삼성전자주식회사 착용할 수 있는 정보 입력 장치를 사용한 정보 입력 방법
JP2003272469A (ja) * 2002-03-19 2003-09-26 Minebea Co Ltd キーボードの防水機構
US6903662B2 (en) * 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
JP4459725B2 (ja) * 2003-07-08 2010-04-28 株式会社エヌ・ティ・ティ・ドコモ 入力キー及び入力装置
KR20050031670A (ko) * 2003-09-30 2005-04-06 삼성전기주식회사 키 스위칭 장치 및 그 제조방법
JP4611667B2 (ja) * 2003-11-25 2011-01-12 健爾 西 情報入力器、収納装置、情報入力装置、及び情報処理装置
JP2005190460A (ja) * 2003-12-04 2005-07-14 Ntt Docomo Inc 入力キー及び入力装置
JP2005242983A (ja) * 2004-01-30 2005-09-08 Ntt Docomo Inc 入力キー及び入力装置
US7288712B2 (en) * 2004-01-09 2007-10-30 Yamaha Corporation Music station for producing visual images synchronously with music data codes
WO2005069114A1 (ja) * 2004-01-15 2005-07-28 Vodafone K.K. 移動体通信端末
US7301532B1 (en) 2004-02-09 2007-11-27 Jerod M Dobry Digital display keyboard
JP4562576B2 (ja) * 2004-07-01 2010-10-13 富士通コンポーネント株式会社 キースイッチ装置、キーボード及びキースイッチ組立治具
JP2006053629A (ja) * 2004-08-10 2006-02-23 Toshiba Corp 電子機器、制御方法及び制御プログラム
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US20070013662A1 (en) * 2005-07-13 2007-01-18 Fauth Richard M Multi-configurable tactile touch-screen keyboard and associated methods
JP4153931B2 (ja) * 2005-07-26 2008-09-24 株式会社東芝 キーボードユニットおよびキーボードユニットを備えた電子機器
US20080092087A1 (en) * 2005-09-19 2008-04-17 Ronald Brown Method and Display Data Entry Unit
US7978181B2 (en) * 2006-04-25 2011-07-12 Apple Inc. Keystroke tactility arrangement on a smooth touch surface
JP2008275732A (ja) * 2007-04-26 2008-11-13 Sony Corp 撮像装置
US8491209B2 (en) * 2007-09-21 2013-07-23 Sony Corporation Keyboard apparatus, electronic apparatus, and method of producing the keyboard apparatus
JP2009217804A (ja) * 2007-09-21 2009-09-24 Sony Corp 入力装置及び電子機器
US8264463B2 (en) * 2007-09-21 2012-09-11 Sony Corporation Input device and electronic apparatus
US8063905B2 (en) * 2007-10-11 2011-11-22 International Business Machines Corporation Animating speech of an avatar representing a participant in a mobile communication
CN101983367A (zh) * 2008-01-31 2011-03-02 安普赛德股份有限公司 模拟输入装置、模拟输入方法和模拟输入程序及记录有该程序的计算机能够读取的记录介质
WO2009095954A2 (ja) * 2008-01-31 2009-08-06 Appside Co., Ltd. データ入力装置、データ入力方法ならびにデータ入力プログラムおよびこれを記録した記録媒体
TWM341265U (en) * 2008-03-05 2008-09-21 Global Lighting Technologies Taiwan Inc Light emitting key structure
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US20100225588A1 (en) * 2009-01-21 2010-09-09 Next Holdings Limited Methods And Systems For Optical Detection Of Gestures
US20100238119A1 (en) * 2009-03-18 2010-09-23 Zivthan Dubrovsky Touchscreen Keyboard Overlay
US20100259482A1 (en) * 2009-04-10 2010-10-14 Microsoft Corporation Keyboard gesturing
CN101908874A (zh) * 2009-06-03 2010-12-08 Ge医疗系统环球技术有限公司 具有机械触感的电容式数据输入装置
US20110002724A1 (en) * 2009-07-01 2011-01-06 Logitech Europe S.A. Pillow Keycap for a Keyboard
US8207462B2 (en) * 2009-09-01 2012-06-26 Global Lighting Technologies (Taiwan) Inc. Key structure having improved light emitting efficiency
US20110074739A1 (en) * 2009-09-30 2011-03-31 Microsoft Corporation Light-transmissive key and optically-recognizable signature
US8935003B2 (en) 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US9665278B2 (en) * 2010-02-26 2017-05-30 Microsoft Technology Licensing, Llc Assisting input from a keyboard
KR101477530B1 (ko) * 2010-03-12 2014-12-30 뉘앙스 커뮤니케이션즈, 인코포레이티드 이동 전화의 터치 스크린과 함께 사용하기 위한 다중 모드 문자 입력 시스템
WO2012048380A1 (en) * 2010-10-14 2012-04-19 University Of Technology, Sydney Virtual keyboard
US8933888B2 (en) * 2011-03-17 2015-01-13 Intellitact Llc Relative touch user interface enhancements
EP2686758B1 (en) * 2011-03-17 2020-09-30 Laubach, Kevin Input device user interface enhancements
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
US20120327001A1 (en) * 2011-06-21 2012-12-27 Yuvee, Inc. Multi-gesture trampoline keys
US9547438B2 (en) * 2011-06-21 2017-01-17 Empire Technology Development Llc Gesture based user interface for augmented reality
US8206047B1 (en) * 2011-06-24 2012-06-26 TouchFire, Inc. Keyboard overlay for optimal touch typing on a proximity-based touch screen
US20140300550A1 (en) * 2011-06-24 2014-10-09 Finn Pedersen Input device with a display configured for dynamic display of key labels
CN102968205B (zh) * 2011-08-30 2015-12-16 雅马哈株式会社 触摸传感器以及提供有触摸传感器的控制器
US8766077B2 (en) * 2012-02-06 2014-07-01 Casio Computer Co., Ltd. Music playing movement display control device, music playing movement control method and computer readable medium
US8629362B1 (en) * 2012-07-11 2014-01-14 Synerdyne Corporation Keyswitch using magnetic force
US20140035819A1 (en) * 2012-08-03 2014-02-06 Research In Motion Limited Method and Apparatus Pertaining to an Augmented-Reality Keyboard
US9449769B2 (en) * 2012-10-30 2016-09-20 Apple Inc. Low travel dome and systems for using the same
US20140203953A1 (en) * 2013-01-21 2014-07-24 George Moser Tablet computer with integrated tactile keyboard
US9235270B2 (en) * 2013-02-26 2016-01-12 Synerdyne Corporation Multi-touch mechanical-capacitive hybrid keyboard
WO2014179659A1 (en) * 2013-05-02 2014-11-06 Synaptics Incorporated Multi-function keys providing additional functions and previews of functions
JP6103543B2 (ja) * 2013-05-27 2017-03-29 アップル インコーポレイテッド 短行程スイッチアッセンブリ
US9432270B2 (en) * 2013-07-30 2016-08-30 Draios Inc. Performance and security management of applications deployed in hosted computing environments
US9368300B2 (en) * 2013-08-29 2016-06-14 Dell Products Lp Systems and methods for lighting spring loaded mechanical key switches
CN103713743B (zh) 2013-11-22 2016-08-17 姜福洋 在显示器上能动态显示手指位置的键盘输入系统
JP6400960B2 (ja) * 2013-12-13 2018-10-03 富士通コンポーネント株式会社 キースイッチ装置、キーボード及び反力発生部材
US9600084B2 (en) * 2014-01-09 2017-03-21 Synaptics Incorporated Methods and apparatus for capacitively detecting key motion and finger presence on keyboard keys
CN111488112B (zh) * 2014-01-23 2024-03-08 苹果公司 虚拟计算机键盘
WO2015126095A1 (ko) * 2014-02-21 2015-08-27 삼성전자 주식회사 전자 장치
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9715978B2 (en) * 2014-05-27 2017-07-25 Apple Inc. Low travel switch assembly
US9557825B2 (en) * 2014-06-10 2017-01-31 Maxwell Minoru Nakura-Fan Finger position sensing and display
WO2016007946A1 (en) * 2014-07-11 2016-01-14 Handwriting Without Tears System and method for teaching pre-keyboarding and keyboarding
US9766806B2 (en) * 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US10705619B2 (en) * 2014-11-21 2020-07-07 Abhishek Johri System and method for gesture based data and command input via a wearable device
US9619043B2 (en) * 2014-11-26 2017-04-11 At&T Intellectual Property I, L.P. Gesture multi-function on a physical keyboard
US20170170826A1 (en) * 2015-12-14 2017-06-15 David L. Henty Optical sensor based mechanical keyboard input system and method
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
US20170293351A1 (en) * 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device
TWI695307B (zh) * 2016-04-29 2020-06-01 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
TWI695297B (zh) * 2016-04-29 2020-06-01 姚秉洋 鍵盤手勢指令之產生方法及其電腦程式產品與非暫態電腦可讀取媒體
TWI698773B (zh) * 2016-04-29 2020-07-11 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
US10175772B2 (en) * 2016-07-01 2019-01-08 Tacutal Labs Co. Touch sensitive keyboard
US10175773B2 (en) * 2016-07-01 2019-01-08 Tactual Labs Co. Touch sensitive keyboard
US20180059819A1 (en) * 2016-08-25 2018-03-01 Tactual Labs Co. Touch-sensitive objects
US10784062B2 (en) * 2016-09-08 2020-09-22 Apple Inc. Ingress prevention for keyboards
US10097180B2 (en) * 2016-09-08 2018-10-09 Apple Inc. Reinforced key assembly
WO2018053357A1 (en) * 2016-09-16 2018-03-22 Tactual Labs Co. Touch sensitive keyboard
US10168799B2 (en) * 2016-10-17 2019-01-01 Uneo Inc. Hybrid digital analog key switch
KR101956432B1 (ko) * 2016-11-03 2019-03-08 현대자동차주식회사 터치입력장치
US10754417B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US10537795B2 (en) * 2017-04-26 2020-01-21 Facebook Technologies, Llc Hand-held controller using LED tracking ring
US10347443B1 (en) * 2017-05-25 2019-07-09 Apple Inc. Illuminated keyboard structures
US10444856B1 (en) * 2017-06-07 2019-10-15 Apple Inc. Light integrated sensing membrane
US10275040B2 (en) * 2017-08-18 2019-04-30 Apple Inc. Low-travel illuminated key mechanism
US10732676B2 (en) * 2017-09-06 2020-08-04 Apple Inc. Illuminated device enclosure with dynamic trackpad
US10394342B2 (en) 2017-09-27 2019-08-27 Facebook Technologies, Llc Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
JP6688270B2 (ja) * 2017-10-18 2020-04-28 Ｎｅｃパーソナルコンピュータ株式会社 キーボード装置及び電子機器
US10325734B1 (en) * 2018-01-30 2019-06-18 Topre Corporation Keyboard switch
US10754440B2 (en) * 2018-09-28 2020-08-25 Apple Inc. Touch sensitive keyboard with flexible interconnections

Also Published As

Publication number Publication date
US10928923B2 (en) 2021-02-23
US10394342B2 (en) 2019-08-27
US20190332184A1 (en) 2019-10-31
CN109559925A (zh) 2019-04-02
US20190094982A1 (en) 2019-03-28
CN115763126A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN115763127A (zh) 键组件、虚拟现实接口系统和方法
US11614793B2 (en) Precision tracking of user interaction with a virtual input device
US10412334B2 (en) System with touch screen displays and head-mounted displays
US10048779B2 (en) Virtual hand based on combined data
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US20150121287A1 (en) System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
JP6251957B2 (ja) 表示装置、頭部装着型表示装置および表示装置の制御方法
WO2013088725A1 (en) Head-mounted display and information display apparatus
KR20230025904A (ko) 인공 현실 상호작용 모드의 통합
KR20050083908A (ko) 신체-중심의 가상 상호작용 장치 및 방법
JP2005141102A (ja) 立体的二次元画像表示装置及び方法
US20150153950A1 (en) System and method for receiving user input and program storage medium thereof
US11009949B1 (en) Segmented force sensors for wearable devices
KR20110054376A (ko) 실감 인터랙션 시스템 및 방법
US11392237B2 (en) Virtual input devices for pressure sensitive surfaces
CN210136443U (zh) 电子设备和电子系统
CN116940915A (zh) 虚拟现实中的部分透视
US11747919B1 (en) Multi-input for rotating and translating crown modules
US20240103712A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US20240036699A1 (en) Devices, Methods, and Graphical User Interfaces for Processing Inputs to a Three-Dimensional Environment
US20240103636A1 (en) Methods for manipulating a virtual object
US20240029377A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Inputs in Three-Dimensional Environments
RU115937U1 (ru) Устройство пользовательского ввода
US20180250599A1 (en) Motor vehicle simulation system for simulating a virtual environment with a virtual motor vehicle and method for simulating a virtual environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination