CN112136096A - 将物理输入设备显示为虚拟对象 - Google Patents

将物理输入设备显示为虚拟对象 Download PDF

Info

Publication number
CN112136096A
CN112136096A CN201980032853.4A CN201980032853A CN112136096A CN 112136096 A CN112136096 A CN 112136096A CN 201980032853 A CN201980032853 A CN 201980032853A CN 112136096 A CN112136096 A CN 112136096A
Authority
CN
China
Prior art keywords
input
physical
representation
displaying
input field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980032853.4A
Other languages
English (en)
Other versions
CN112136096B (zh
Inventor
P·普拉艾卡纳萨
E·奥尔森
A·P·汤普森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112136096A publication Critical patent/CN112136096A/zh
Application granted granted Critical
Publication of CN112136096B publication Critical patent/CN112136096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于在计算机生成现实(CGR)环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的技术。该技术包括在CGR环境中显示虚拟应用程序，以及响应于检测到所显示的虚拟应用程序中的输入字段，将所显示的应用程序的至少一部分显示在物理输入设备的表示上。所显示的应用程序的至少一部分包括检测到的输入字段。响应于检测到在物理输入设备处接收到的输入，利用输入来更新输入字段，并且显示更新的输入字段。

Description

将物理输入设备显示为虚拟对象
相关申请的交叉引用
本申请要求2018年6月5日提交的标题为“Displaying Physical Input Devicesas Augmented-Reality Objects in a Mixed-Reality Environment”的美国临时申请62/680819号和2019年5月13日提交的标题为“Displaying Physical Input Devices asVirtual Objects”的美国申请16/410547号的权益，该申请的内容据此全文以引用方式并入本文。
技术领域
本公开整体涉及计算机生成的现实(CGR)环境，并且更具体地涉及在CGR环境中电子产品的表示。
背景技术
诸如移动电话的设备执行计算机应用程序来执行各种任务。用户使用应用程序用户界面与计算机应用程序进行交互。用户使用输入设备(诸如键盘)与应用程序用户界面进行交互以提供输入数据。例如，用户使用应用程序用户界面与键盘进行交互以将信息输入到计算机应用程序中。又如，计算机应用程序使用应用程序用户界面来基于所接收的用户输入产生反馈。
发明内容
本文描述了用于在计算机生成现实(CGR)环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的技术。在一些实施方案中，该技术包括，在具有显示器的电子设备处：响应于在计算机生成现实(CGR)环境的显示的应用程序中检测到输入字段，在物理输入设备的表示上显示所显示的应用程序的至少一部分，所显示的应用程序的至少一部分包括检测到的输入字段；响应于检测到在物理输入设备处接收到的输入，利用该输入更新输入字段；以及显示更新的输入字段。
在一些实施方案中，输入包括物理输入设备上与物理输入设备的表示上显示的输入字段的位置对应的位置处的触摸输入。在一些实施方案中，触摸输入具有强度分量，其中强度超过阈值。在一些实施方案中，触摸输入是物理输入设备上的轻扫。
在一些实施方案中，显示更新的输入字段包括在应用程序中显示更新的输入字段。
在一些实施方案中，显示更新的输入字段包括在物理输入设备上的输入字段中显示更新的输入字段。
在一些实施方案中，该技术还包括响应于检测到在物理输入设备处接收到的输入，生成触觉反馈。
在一些实施方案中，该技术还包括响应于检测到所显示的应用程序中的输入字段，在物理输入设备的表示上显示虚拟键盘按键。
在一些实施方案中，输入包括物理输入设备上与虚拟键盘按键的显示位置对应的位置处的触摸输入。
在一些实施方案中，物理输入设备是具有物理键盘按键的物理键盘，虚拟键盘按键根据确定检测到的输入字段是文本输入字段来显示，并且相应显示的键盘按键具有与在其上显示相应显示的键盘按键的物理键盘按键不同的值。
在一些实施方案中，物理输入设备是触敏表面。在一些此类实施方案中，触敏表面不包括显示部件。
在一些实施方案中，物理输入设备在电子设备外部。
在一些实施方案中，利用输入更新输入字段包括接收指示物理输入设备处的输入的输入数据，以及根据所接收的输入数据更新输入字段。
在一些实施方案中，在物理输入设备的表示上显示所显示的应用程序的部分包括在CGR环境中显示定位在物理输入设备的表示上的检测到的输入字段。
在一些实施方案中，该技术还包括，根据确定检测到的输入字段是文本输入字段，在物理输入设备的表示上显示所显示的应用程序的至少一部分，包括在CGR环境中显示定位在物理输入设备的表示上的虚拟文本框。
在一些实施方案中，该技术还包括，根据确定检测到的输入字段是数字签名字段，在物理输入设备的表示上显示所显示的应用程序的至少一部分，包括在CGR环境中显示定位在物理输入设备的表示上的虚拟数字签名框。
在一些实施方案中，该技术还包括，根据确定检测到的输入字段包括一个或多个单选按钮，在物理输入设备的表示上显示所显示的应用程序的至少一部分，包括在CGR环境中显示定位在物理输入设备的表示上的一个或多个虚拟单选按钮。
在一些实施方案中，用于在CGR环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的设备包括一个或多个处理器和存储一个或多个程序的存储器，该一个或多个程序被配置为由一个或多个处理器执行。一个或多个程序包括用于以下操作的指令：响应于在CGR环境的显示的应用程序中检测到输入字段，在物理输入设备的表示上显示所显示的应用程序的至少一部分，所显示的应用程序的至少一部分包括检测到的输入字段；响应于检测到在物理输入设备处接收到的输入，利用该输入更新输入字段；以及显示更新的输入字段。
在一些实施方案中，存储被配置为由一个或多个处理器执行的一个或多个程序的非暂态(或任选地，暂态)计算机可读存储介质在CGR环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上。一个或多个程序包括用于以下操作的指令：在具有显示器的电子设备处，响应于在CGR环境的显示的应用程序中检测到输入字段，在物理输入设备的表示上显示所显示的应用程序的至少一部分，所显示的应用程序的至少一部分包括检测到的输入字段；响应于检测到在物理输入设备处接收到的输入，利用该输入更新输入字段；以及显示更新的输入字段。
附图说明
在下面的描述中，参考了形成该描述的一部分并且例示若干个实施方案的附图。应当理解，其他实施方案也可被利用，并且在不脱离本公开的范围的情况下可进行结构改变和操作改变。在不同附图中使用相同的参考符号表示相似或相同项目。
图1A-图1B描绘了在各种计算机生成现实技术中使用的示例性系统。
图2A-图2F示出了在CGR环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的设备。
图3描绘了用于在CGR环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的示例性技术。
图4A-图4B示出了在CGR环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的设备。
图5描绘了用于在CGR环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的示例性技术。
具体实施方式
描述了用于与各种计算机生成的现实技术相关地使用此类系统的电子系统和技术的各种实施方案。具体地讲，本公开提供了用于在CGR环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的技术。该技术包括在CGR环境中显示虚拟应用程序，以及响应于检测到所显示的虚拟应用程序中的输入字段，将所显示的应用程序的至少一部分投影到物理输入设备的表示上。所显示的应用程序的至少一部分包括检测到的输入字段。响应于检测到在物理输入设备处接收到的输入，利用输入来更新输入字段，并且显示更新的输入字段。
物理环境(或真实环境)是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，MR环境是在一端处的完全物理环境与在另一端处的VR环境之间的任何状况，但不包括这两个环境。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图1A和图1B描绘了在各种计算机生成现实技术中使用的示例性系统100。
在一些实施方案中，如图1A所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
在一些实施方案中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其他元件在电话或平板电脑中实现，其中电话或平板电脑与基站设备通信。在一些实施方案中，设备100a在基站设备或电话或平板电脑中实现。在一些实施方案中，电话或平板电脑可替代地为被设计成由用户佩戴的头戴式显示器(HMD)设备。
如图1B所示，在一些实施方案中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，电话或平板电脑)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。
在一些实施方案中，系统100为移动设备，诸如电话或平板电脑。在一些实施方案中，系统100为头戴式显示器(HMD)设备。
系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，一个或多个存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由一个或多个处理器102执行以执行下述技术。
系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如
Figure BDA0002780452030000081
)进行通信的电路。
系统100包括显示器120。在一些实施方案中，显示器120包括第一显示器(例如，左眼显示面板)和第二显示器(例如，右眼显示面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些实施方案中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。在一些实施方案中，显示器120包括具有或不具有阻挡层的透明附加显示器。
在一些实施方案中，系统100包括用于接收用户输入的一个或多个触敏表面122，诸如轻击输入和轻扫输入。在一些实施方案中，显示器120和触敏表面122形成触敏显示器。
系统100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与系统100的距离。在一些实施方案中，系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些实施方案中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些实施方案中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些实施方案中，系统100使用图像传感器108来检测系统100和/或显示器120在真实环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。
在一些实施方案中，系统100包括一个或多个麦克风112。系统100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些实施方案中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。
系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
设备100a被配置为支持各种应用程序，诸如以下中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息传送应用程序、健身支持应用程序、照片管理应用程序、数字照相机应用程序、数字摄像机应用程序、网络浏览应用程序、数字音乐播放器应用程序、数字视频播放器应用程序，和/或导航应用程序。应当理解，设备100a能够支持除这里列出的示例之外的应用程序。还应当理解，应用程序可表现为CGR环境中的虚拟对象。
在一些实施方案中，设备100a通过(例如，使用图像传感器108)在真实环境中检测来自用户的手势或其他输入来促进用户与应用程序或其他虚拟对象的交互。例如，使用图像传感器108，设备100a可检测用户的手和/或手指在真实环境中的位置或一系列移动。设备100a然后将这些检测到的位置和/或移动解释为用于与CGR环境中显示的虚拟对象诸如应用程序(例如，虚拟应用程序)进行交互的输入。这样，设备100a允许用户通过在真实环境中执行手势或运动来与所显示的虚拟应用程序和/或CGR环境中的其他虚拟对象进行交互。
在一些实施方案中，真实世界中的一个或多个物理对象的表示在CGR环境中显示在设备100a的显示器120上，使得用户可看到CGR环境中的物理对象，并且因此与真实世界中的物理对象交互。由于用户与现实世界中的物理对象的交互而在设备100a处接收到的输入数据被设备100a用来使得用户能够与CGR环境中的应用程序和/或其他虚拟对象进行交互。在一些实施方案中，当设备100a在真实环境中(例如，使用图像传感器108)检测到相对于一个或多个物理对象的手势(例如，用户的手和/或手指在真实环境中的位置或一系列移动)时，该输入数据由该设备生成。例如，由设备100a(例如，使用图像传感器108)在与物理键盘的一个或多个按键对应的位置处检测到的手指手势被解释为与物理键盘的相应按键对应的用户输入。更具体地讲，(例如，使用图像传感器108)检测物理键盘的特定按键的激活导致设备100a生成包括该特定按键的输入字符串以用于输入到输入字段中。在一些实施方案(诸如紧接在下文讨论的实施方案)中，物理键盘通过识别由用户激活的按键来检测物理键盘处的用户输入，并且物理键盘(例如，使用通信总线150)将激活的按键传送到设备100a以供设备100a输入到输入字段中。在此类实施方案中，输入数据由真实世界中的物理设备生成，并且被传送(例如，使用通信总线150)到设备100a。设备100a接收输入数据，并且如上所述，处理输入数据以使得用户能够与CGR环境中的应用程序和/或其他虚拟对象进行交互。
在一些实施方案中，设备100a通过接收来自物理对象的输入来促进用户与CGR环境中的应用程序或其他虚拟对象的交互，其中输入已由物理对象(例如，物理键盘或物理触控板)检测到。在一些实施方案中，设备100a从物理对象接收输入而不检测手势。例如，物理设备诸如键盘或触控板向设备100a传输(例如，使用通信总线150)用户输入。在一些实施方案中，设备100a接收来自物理对象的输入，并且用通过检测(例如，使用图像传感器108)来自用户的手势而获得的数据来补充接收到的输入，如上所讨论。此类物理对象的表示任选地显示在CGR环境中。
在一些实施方案中，设备100a通过显示定位在物理对象的表示上或周围(例如，附近或邻近)的一个或多个虚拟对象来增强物理对象的表示。例如，如下文相对于图2A-图2F所讨论的，设备100a将虚拟应用程序的一部分显示到物理触控板的表示上。又如，如下文相对于图4A-图4B所讨论的，设备100a将一组虚拟输入控件显示(覆盖)到物理键盘的表示上。在一些实施方案中，虚拟对象被显示为覆盖物理对象的表示(例如，被显示为定位在物理对象的表示的顶部上)。在一些实施方案中，覆盖的虚拟对象或任选其一部分是不透明的，使得物理对象的表示被覆盖的虚拟对象(或覆盖的虚拟对象的一部分)遮挡。在一些实施方案中，覆盖的虚拟对象或任选地其一部分是半透明的，使得物理对象的表示被覆盖的虚拟对象(或覆盖的虚拟对象的一部分)部分地遮挡。在此类实施方案中，物理对象的表示的部分通过覆盖物理对象的表示而显示的虚拟对象是可见的(例如，可辨别的)。图2A-图2F和图4A-图4B示出了在CGR环境中在显示器120上显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的设备100a。换句话讲，设备100a在CGR环境中显示具有与物理输入设备的表示相关联的一个或多个虚拟特征的物理输入设备的表示。在图2A-图2F和图4A-图4B中，设备100a被示出为具有单个显示部件(显示器120)的电话或平板设备。然而，应当理解，设备100a可以是被配置为显示CGR环境的任何设备，诸如HMD设备，或者是具有透明显示器的设备，其中物理对象通过显示器是直接可查看的，并且其中虚拟对象可在透明显示器上显示或以其他方式可查看。
图2A-图2F和图4A-图4B所示的每个物理输入设备是设备100a外部的真实环境中的物理对象。物理输入设备在CGR环境中被显示为虚拟对象与物理对象的表示的组合(或者另选地，物理对象通过显示器，诸如通过透明显示器是直接可查看的)。例如，在一些实施方案中，设备100a增强物理输入设备的表示，使得作为CGR环境的部件并与物理输入设备的表示相关联的一个或多个虚拟(例如，计算机生成的)属性或特征显示在显示器120上。在一些示例中，设备100a生成虚拟应用程序的一部分的图像，并且在显示器120上与CGR环境中的物理触控板的表示的所显示位置对应的位置处显示该图像。在一些示例中，设备100a生成与用户输入功能相关联的各种键盘按键的图像，并且在显示器120上与CGR环境中的物理键盘的表示的相应按键的所显示位置对应的位置处显示该图像。另选地，显示器是透明的，并且键盘按键显示在显示器上与物理键盘通过透明显示器可见的位置对应的位置处。
在一些实施方案中，设备100a在显示器120上生成并显示虚拟应用程序。虚拟应用程序是由设备100a在显示器120上显示为CGR环境的部件的计算机生成的用户界面(UI)。设备100a生成具有各种属性的虚拟应用程序，这些属性诸如应用程序的视觉外观、应用程序的显示取向、应用程序的操作、应用程序的部件以及应用程序的各种部件的功能。在一些实施方案中，设备100a检测应用程序的各种部件并且基于检测到的应用程序的部件来执行操作。例如，设备100a识别真实环境中的物理输入设备，并且响应于检测到所显示的应用程序的输入字段，设备100a增强CGR环境中的物理输入设备的表示，使得设备100a可接收使用真实环境中的物理输入设备(根据其增强功能)提供的输入(例如，用户输入)，并且可更新虚拟应用程序的输入字段，如下文更详细地讨论。
在一些实施方案中，应用程序的显示取向包括在CGR环境中显示的应用程序相对于用户的实际位置或用户的期望或预期位置(例如，基于设备100a的位置)的取向(例如，角度或位置)。例如，虚拟应用程序被取向成使得其面向用户，因此用户可容易地查看应用程序。更具体地讲，在一些实施方案中，假定用户与设备100a协同定位(例如，因为用户正在穿戴设备100a)，因此应用程序被取向成使得其面向设备100a。在一些实施方案中，基于一个或多个因素来近似计算用户的位置(实际位置、期望的位置、预期的位置或其他位置)，这些因素诸如设备100a的定位或位置和/或构成CGR环境的一个或多个物理对象的定位或位置。例如，在一些实施方案中，用户的预期位置被确定为靠近在其上投影应用程序的所定位的物理键盘或物理触控板的表示。
现在参见图2A-图2F，设备100a(例如，使用图像传感器108)检测定位在物理桌面表面212上的物理输入设备210(例如，触控板)，并且在显示器120上显示定位在物理桌面表面的表示222上的物理输入设备的表示221。另选地，相对于图2A-图2F讨论的实施方案可包括具有透明显示器的设备，并且虚拟对象显示在透明显示器上，而物理对象可通过透明显示器查看。物理输入设备的表示221相对于物理桌面表面的表示222具有与物理输入设备210相对于物理桌面表面212的位置相同的位置。设备100a还显示虚拟应用程序201。虚拟应用程序201包括输入字段201a-201d。响应于检测到输入字段201a-201d中的一个或多个输入字段，设备100a将虚拟应用程序201的一部分201'显示(例如，投影)到物理输入设备的表示221上，该部分201'包括检测到的输入字段201a-201d。例如，如图2A所示，虚拟应用程序的投影到物理输入设备的表示221上的部分201'包括检测到的输入字段201a和201b的投影201a'和201b'。设备100a然后(例如，使用通信总线150)从物理输入设备210接收输入(例如，用户输入)(例如，由物理输入设备210检测到的检测与物理输入设备210的用户交互的输入)，并且更新输入字段201a-201d/201a'-201d'。
在一些实施方案中，物理输入设备(例如，触控板210、键盘410)在设备100a外部(例如，与设备100a分开)，并且在真实环境中不包括显示部件，诸如触摸屏显示器。因此，设备100a被配置为在CGR环境中将物理输入设备转换为物理输入设备的表示，但是增加了真实环境中的物理输入设备所缺乏的显示能力。设备100a还可通过将虚拟特征(例如，输入功能)与物理输入设备的表示相关联来增强CGR环境中物理输入设备的表示的功能。例如，具有触敏表面并且在真实环境中没有显示能力的触控板(例如，触控板210)在CGR环境中由设备100a增强，以结合计算机应用程序(例如，应用程序201)的定位在触控板的表示上的至少一部分(例如，201')的显示，使得在真实环境中的物理触控板上的触摸输入与在CGR环境中的触控板的表示上显示的内容相关联。这样，设备100a通过定制CGR环境中的物理输入设备(例如，触控板)的功能(例如，通过定制在物理输入设备的表示上显示的应用程序的外观)来增强系统100的操作。例如，设备100a通过生成和显示虚拟特征并且以针对CGR环境中显示的特定应用程序定制的方式将那些虚拟特征与物理输入设备相关联来增强系统100。通过增强物理输入设备的表示以定制其在CGR环境中的功能，设备100a向用户呈现用于与计算机应用程序(例如，201)交互的定制控制选项，而不会用附加显示的控制选项(例如，菜单选项等)使CGR环境混乱。这增强了设备100a的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作增强物理输入设备/与增强物理输入设备交互时的用户错误)，这通过使用户能够更快速且高效地使用设备100a来另外减少用电量并且改善设备100a的电池寿命。
参见图2A，设备100a(例如，使用图像传感器108)检测定位在真实环境中的物理桌面表面212上的物理触控板210。触控板210是真实环境中的物理输入设备，该物理输入设备具有触摸感测能力(例如，由触敏表面提供)，但缺乏显示部件和任何显示能力。在显示器120上所示的CGR环境中，设备100a显示桌面表面212的表示222，定位在桌面表面的表示222上的触控板210的表示221，以及投影到桌面表面的表示222上的虚拟应用201。在一些实施方案(诸如图2A-图2F所示的实施方案)中，设备100a在CGR环境中将虚拟应用程序201覆盖到物理表面(诸如墙壁或桌面表面)的表示上。在一些实施方案中，设备100a在CGR环境中将虚拟应用程序201覆盖到虚拟表面上，使得虚拟应用程序201看起来是浮动的。虚拟应用程序201包括用于执行用户协议的表格，可以使用例如文字处理应用程序、便携式文档格式(PDF)应用程序或网络浏览应用程序来修改该表格。虚拟应用程序201包括输入字段201a，其是用于选择(例如，基于用户输入)“同意”选项的单选按钮；输入字段201b，其是用于选择(例如，基于用户输入)“拒绝”选项的单选按钮；输入字段201c，其是用于接收用户协议表格的签名的数字签名字段；以及输入字段201d，其是用于接收日期的文本输入字段。
设备100a检测所显示的虚拟应用程序201中的输入字段201a-201d，并且在混合环境中的触控板的表示221上(例如，同时)显示虚拟应用程序的包括检测到的输入字段201a-201d中的一个或多个检测到的输入字段的部分201'。例如，如图2A所示，响应于检测到输入字段201a和201b，设备100a在CGR环境中的触控板的表示221上显示包括输入字段201a的投影201a'和输入字段201b的投影201b'的部分201'，连同对应于相应输入字段201a和201b的“同意”和“拒绝”文本。
现在参见图2B，设备100a接收对应于“同意”单选按钮201a的选择/激活的输入(例如，用户输入)。具体地讲，物理触控板210在物理触控板210上与CGR环境中的触控板的表示221上的输入字段201a的投影201a'的显示位置对应的位置处接收输入215(例如，由虚线圆表示的用户输入)。输入215可以是触摸输入，诸如触摸和抬起手势、触摸和保持手势、触摸和滑动(例如，轻扫)手势或具有强度分量的触摸输入，其中强度超过阈值(例如，触控板210上具有一定强度(力或压力)的触摸输入，其中接触的强度具有使用触控板的触敏表面下方或附近的一个或多个力或压力传感器确定或测量的值的范围)。在一些实施方案中，输入(例如，用户输入)包括这些触摸输入中的一个或多个触摸输入。
因为设备100a在CGR环境中的触控板的表示221上显示虚拟应用程序的部分201'，并且因为CGR环境中触控板的表示221的定位和位置对应于物理触控板210在真实环境中的实际位置，用户能够准确地确定(并且实际上，在CGR环境中查看)输入字段的投影201a'和201b'相对于真实环境中的触控板210的位置。设备100a(例如，使用通信总线150)从物理触控板210接收触摸输入，并且将触摸输入215在触控板210上的位置与显示在CGR环境中的触控板的表示221上的虚拟内容(例如，虚拟应用程序的部分201')的位置相关联，以确定在真实环境中触摸输入215对应于与CGR环境中的“同意”选项相关联的单选按钮输入字段的投影201a'的位置。在一些实施方案中，设备100a响应于检测到输入(例如，用户输入)(例如，触摸输入215)而提供反馈。例如，设备100a生成音频(例如，“点击”声音)以指示由输入执行的选择。任选地，设备100a通过(例如，使用通信总线150)传送命令以在触控板210处生成振动(例如，指示鼠标点击)来提供触觉反馈。在一些示例中，设备100a响应于(并为了指示)接收到输入(例如，用户输入)而在CGR环境中显示视觉反馈。
响应于确定触摸输入215对应于与“同意”选项相关联的单选按钮输入字段的投影201a'，设备100a将触摸输入215解释为对输入字段201a的选择，并相应地更新输入字段201a。例如，如图2B所示，设备100a使显示在虚拟应用程序201上的输入字段201a变暗，以示出对输入字段201a的选择。在一些实施方案中，设备100a还使虚拟应用程序的显示部分201'上的“同意”单选按钮的投影201a'变暗。因为触摸输入215未被解释为对输入字段201b的选择，所以设备100a不使投影201b'或输入字段201b变暗。
如图2C和图2D所示，设备100a检测输入字段201c，并且在CGR环境中的触控板的表示221上显示虚拟应用程序201的包括输入字段201c的投影201c'的部分201'，其是用于签署用户协议表格的数字签名字段。设备100a在虚拟应用程序201上显示变暗的单选按钮输入字段201a和未修改的单选按钮输入字段201b。在一些实施方案(诸如图2C和图2D所示的实施方案)中，设备100a在虚拟应用程序201上显示指示符225，该指示符表示在触控板的表示221上显示的部分201'的边界。指示符225向用户突出显示由设备100a检测到的输入字段，并且提供显示在物理输入设备(例如，触控板)的表示221上的虚拟应用程序的部分的视觉表示。
如图2D所示，设备100a接收用于签署数字签名字段的输入(例如，用户输入)。物理触控板210在物理触控板210上与CGR环境中的触控板的表示221上的输入字段201c的投影201c'的显示位置对应的位置处接收触摸输入217(由虚线表示)。任选地，触摸输入217可以是触摸输入，诸如触摸和抬起手势、触摸和保持手势、触摸和滑动(例如，轻扫)手势或具有强度分量的触摸输入，其中强度超过阈值(例如，触控板210上具有一定强度(力或压力)的触摸输入，其中接触的强度具有使用触控板的触敏表面下方或附近的一个或多个力或压力传感器确定或测量的值的范围)。
因为设备100a在CGR环境中的触控板的表示221上显示虚拟应用程序的部分201'，并且因为CGR环境中触控板的表示221的定位和位置对应于物理触控板210在真实环境中的实际位置，用户能够准确地确定(并且实际上，在CGR环境中查看)输入字段的投影201c'相对于真实环境中的触控板210的位置。这允许用户沿着物理触控板210的触敏表面准确地跟踪他们的手指，以在CGR环境中输入数字签名。设备100a(例如，使用通信总线150)从物理触控板210接收触摸输入，并且将触摸输入217在触控板210上的移动与显示在CGR环境中的触控板的表示221上的虚拟内容(例如，部分201')的位置相关联，以确定在真实环境中触摸输入217对应于CGR环境中的数字签名输入字段的投影201c'上的签名。在一些实施方案中，设备100a响应于检测到触摸输入217而提供反馈。
响应于接收到触摸输入217，设备100a将触摸输入解释为数字签名并相应地更新输入字段201c。例如，如图2D所示，设备100a在虚拟应用程序201中的数字签名输入字段201c上显示数字签名227。在一些实施方案中，设备100a还在虚拟应用程序的部分201'上显示的数字签名输入字段的投影201c'上(例如，同时)显示数字签名227。在一些实施方案中，设备100a在检测触摸输入217的同时更新输入字段201c。在一些实施方案中，在触摸输入217完成(例如，检测到输入的抬起)之后，设备100a更新输入字段201c。
如图2E和图2F所示，设备100a检测输入字段201d，并且在CGR环境中的触控板的表示221上显示虚拟应用程序201的包括输入字段201d的“日期：”文本228的部分201'和输入字段201d的投影201d'，其是用于接收日期输入的文本输入字段。设备100a确定输入字段201d是文本输入字段，并且作为响应，在CGR环境中的触控板的表示221上显示虚拟键盘229。在一些实施方案(诸如图2E和图2F所示的实施方案)中，除了虚拟应用程序的部分201'以及输入字段(和文本228)的所包括的投影201d'之外，设备100a还显示虚拟键盘229。在其他实施方案中，设备100a显示虚拟键盘229代替输入字段(和文本228)的投影201d'，或者代替虚拟应用程序的部分201'。如图2E所示，设备100a还在虚拟应用程序201上显示变暗的单选按钮输入字段201a、未修改的单选按钮输入字段201b和签署的数字签名输入字段201c。
如图2F所示，设备100a接收用于输入文本输入输入字段的文本的输入(例如，用户输入)。物理触控板210在物理触控板210上与CGR环境中的触控板的表示221上显示的虚拟键盘229上的按键的相应显示位置对应的位置处接收触摸输入219A、219B和219C(由虚线圆表示)。相应用户输入219A-219C中的每个用户输入任选地是触摸输入，诸如触摸和抬起手势、触摸和保持手势、触摸和滑动(例如，轻扫)手势或具有强度分量的触摸输入，其中强度超过阈值(例如，触控板210上具有一定强度(力或压力)的触摸输入，其中接触的强度具有使用触控板的触敏表面下方或附近的一个或多个力或压力传感器确定或测量的值的范围)。
因为设备100a在CGR环境中的触控板的表示221上显示虚拟键盘229，并且因为CGR环境中触控板的表示221的定位和位置对应于物理触控板210在真实环境中的实际位置，用户能够准确地确定(并且实际上，在CGR环境中查看)虚拟键盘229的按键相对于真实环境中的触控板210的位置。设备100a(例如，使用通信总线150)从物理触控板210接收触摸输入，并且将触控板210上的相应触摸输入219A-219C中的每个触摸输入的位置与CGR环境中的触控板的表示221上显示的虚拟键盘229的按键的位置相关联。这样，设备100a确定在真实环境中触摸输入219A-219C分别对应于CGR环境中的“D”按键、“E”按键和“C”按键的位置。在一些实施方案中，设备100a响应于检测到用户输入(例如，触摸输入219)而提供反馈。例如，设备100a生成音频(例如，“点击”声音)以指示对虚拟键盘按键的选择。设备100a任选地通过(例如，使用通信总线150)传送命令以在触控板210处生成振动(例如，指示按键按下)来提供触觉反馈。在一些示例中，设备100a在CGR环境中显示视觉反馈以指示输入(例如，用户输入)的接收。
响应于确定触摸输入219A对应于虚拟键盘229上的“D”按键的位置，设备100a将触摸输入219A解释为虚拟键盘229上的“D”按键的选择，并且相应地更新输入字段201d。例如，如图2F所示，设备100a在虚拟应用程序201上显示的文本输入输入字段201d中显示“D”字符。响应于确定触摸输入219B和219C分别对应于虚拟键盘229上的“E”按键和“C”按键的位置，设备100a将触摸输入219B和219C解释为虚拟键盘229上的相应“E”按键和“C”按键的选择，并且更新输入字段201d以在虚拟应用程序201上显示的文本输入输入字段201d中包括“E”字符和“C”字符，如图2F所示。在一些实施方案中，设备100a在触控板的表示221上显示对文本输入字段201d的更新。例如，如图2F所示，字母“DEC”在文本输入输入字段的投影201d'中示出。
图3描绘了用于在CGR环境中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的示例性技术300。在一些实施方案中，该技术由参考图1A-图1B和图2A-图2F描述的系统100执行。
设备(例如，100a)在CGR环境中显示应用程序(例如，虚拟应用程序)(例如，201)(例如，网络浏览器、PDF、消息传送应用程序等)。在一些实施方案中，通过将应用程序投影到CGR环境中的物理表面的表示上或者将应用程序投影到CGR环境中的虚拟表面上来显示应用程序。
在框304处，响应于在显示的应用程序中检测到输入字段(例如，文本输入字段(201d)、数据(例如，数字签名)输入字段(201c)、单选按钮(201a、201b))，设备(例如，100a)在物理输入设备(例如，210)的表示(例如，221)上显示(例如，投影)所显示的应用程序(例如，201)的至少一部分(例如，201')，所显示的应用程序的该部分包括检测到的输入字段(例如，201a'、201b'、201c'、201d')。在一些实施方案中，物理输入设备是触控板(例如，210)或其他物理(例如，非虚拟)触敏表面，其不包括显示部件并且是单独的且与用于查看/显示CGR环境的电子设备(例如，100a)和最初在其上显示虚拟应用程序的表面(例如，桌面212)两者分开(例如，在这两者外部)。
在一些实施方案中，该技术还包括响应于检测到所显示的应用程序(例如，201)中的输入字段(例如，201a、201b、201c、201d)，设备(例如，100a)在物理输入设备的表示(例如，221)上显示虚拟键盘按键(例如，229)。在一些实施方案中，除了所显示的应用程序的部分(例如，201')和所包括的输入字段(例如，201d')之外，虚拟键盘(例如，软键盘)被显示/投影到物理输入设备的表示上，如图2F所示。在一些实施方案中，代替虚拟输入字段或代替所显示的应用程序，虚拟键盘被显示/投影到物理输入设备的表示上。
在一些实施方案中，输入包括物理输入设备(例如，210)上与虚拟键盘按键的显示位置对应的位置处的触摸输入(例如，219A-219C)。在一些实施方案(诸如图2E和图2F所示的实施方案)中，输入字段(例如，201d')的投影与具有一个或多个虚拟按键的虚拟键盘(例如，软键盘229)一起显示，并且输入包括在物理输入设备上与显示虚拟按键中的一个或多个虚拟按键的位置对应的位置处的用户触摸。在一些实施方案中，根据确定检测到的输入字段是文本输入字段(例如，201d)来显示虚拟键盘按键。在一些实施方案中，物理输入设备是具有物理键盘按键的物理键盘，并且相应显示的键盘按键具有与在其上显示相应显示的键盘按键的物理键盘按键不同的值(例如，物理键盘按键包括对应于数字小键盘的按键子组，并且所显示的按键被显示为在数字小键盘的按键上方显示的编辑功能(例如，复制命令、粘贴命令等))。
在一些实施方案中，物理输入设备是触敏表面(例如，触控板210)。在一些实施方案中，触敏表面不包括显示部件(例如，显示屏或触摸屏显示器)。在一些实施方案中，物理输入设备(例如，210)在电子设备(例如，100a)的外部。
在一些实施方案中，将所显示的应用程序的至少一部分(例如，201')投影到物理输入设备(例如，210)的表示(例如，221)上包括在CGR环境中显示定位(例如，覆盖)在物理输入设备的表示上的检测到的输入字段(例如，201a'、201b'、201c'、201d')的投影。
在一些实施方案中，该技术还包括，根据确定检测到的输入字段是文本输入字段(例如，201d)，设备(例如，100a)在物理输入设备的表示(例如，221)上显示所显示的应用程序的至少一部分(例如，201')，包括在CGR环境中显示定位(例如，覆盖)在物理输入设备的表示上的虚拟文本框(例如，201d')。
在一些实施方案中，该技术还包括，根据确定检测到的输入字段是数字签名字段(例如，201c)，设备(例如，100a)在物理输入设备的表示(例如，221)上显示所显示的应用程序的至少一部分(例如，201')，包括在CGR环境中显示定位(例如，覆盖)在物理输入设备的表示上的虚拟数字签名框(例如，201c')。
在一些实施方案中，该技术还包括，根据确定检测到的输入字段包括一个或多个单选按钮(例如，201a、201b)，设备(例如，100a)在物理输入设备的表示(例如，221)上显示所显示的应用程序的至少一部分(例如，201')，包括在CGR环境中显示定位(例如，覆盖)在物理输入设备的表示上的一个或多个虚拟单选按钮(例如，201a'、201b')。在一些实施方案中，在物理输入设备的表示上显示所显示的应用程序的至少一部分还包括在CGR环境中显示与检测到的输入字段的一个或多个单选按钮相关联的文本。
在框306处，响应于检测到在物理输入设备(例如，210)处接收到的输入(例如，215、217、219A-219C)，设备(100a)利用输入更新输入字段(例如，201a、201b、201c、201d)。例如，电子设备检测到在触控板(例如，210)或其他物理(例如，非虚拟)触敏表面处接收到用户轻扫手势或触摸手势，该触敏表面不包括显示部件并且在用于查看/显示CGR环境的电子设备和最初在其上显示虚拟应用程序的表面(例如，212)两者外部。电子设备接收指示物理输入设备处的输入的输入数据，并使用输入数据来更新输入字段。
在一些实施方案中，输入(例如，215、217、219A-219C)包括物理输入设备(例如，210)上与物理输入设备的表示(例如，221)上显示的输入字段(例如，201a'、201b'、201c、201d')的投影的位置对应的位置处的触摸输入。在一些实施方案中，投影输入字段是显示在物理输入设备的表示上的虚拟文本框(例如，文本输入字段201d')，并且输入包括在物理输入设备上的位置处的用户触摸，在真实环境中，该位置对应于CGR环境中显示虚拟文本框的位置(例如，以定位文本输入光标)。在一些实施方案中，投影输入字段是显示在物理输入设备的表示上的虚拟数字签名框(例如，201c')，并且输入包括在物理输入设备上的位置处的用户触摸(例如，217)，在真实环境中，该位置对应于CGR环境中显示虚拟数字签名框的位置。在一些实施方案中，投影输入字段包括显示在物理输入设备上的一个或多个虚拟单选按钮(例如，201a'、201b')，并且输入包括在物理输入设备上的位置处的用户触摸(例如，215)，在真实环境中，该位置对应于CGR环境中显示一个或多个虚拟单选按钮的位置。在一些实施方案中，触摸输入具有强度分量。在一些实施方案中，触摸输入是物理输入设备上的轻扫。
在一些实施方案中，该技术还包括响应于检测到在物理输入设备(例如，210)处接收到的输入(例如，215、217、219A-219C)，设备(例如，100a)生成触觉反馈。例如，设备与输入设备通信(例如，使用通信总线150)以提供物理反馈诸如振动。在一些实施方案中，触觉反馈模仿点击响应，诸如当点击鼠标按钮、触控板上的按钮或键盘上的按键时。在一些实施方案中，触觉反馈包括听觉反馈，诸如点击声音。
在一些实施方案中，设备(例如，100a)利用输入更新输入字段包括接收指示物理输入设备(例如，210)处的输入(例如，215、217、219A-219C)的输入数据，以及根据所接收的输入数据更新输入字段(例如，201a、201b、201c、201d)。
在框308处，设备(例如，100a)显示更新的输入字段(例如，201a、201b、201c、201d)。在一些实施方案中，更新的输入字段显示在应用程序中(例如，如图2F所示的201a、201c、201d)。在一些实施方案中，更新的输入字段显示在物理输入设备(例如，210)的表示(例如，221)上显示的输入字段的投影(例如，201a'、201b'、201c'、201d')中。在一些实施方案中，更新的输入字段显示在应用程序和投影输入字段两者中，该投影输入字段显示在投影到物理输入设备的表示上的应用程序的部分(例如，201')中。
在一些实施方案中，显示更新的输入字段包括在应用程序(例如，201)中显示更新的输入字段。例如，在所显示的应用程序中显示的输入字段(例如，201a、201b、201c、201d)被更新以包括来自用户的输入。在一些实施方案中，更新的输入字段被显示为具有由用户输入的文本的文本框(例如，201d)(例如，如图2F所示)。在一些实施方案中，更新的输入字段被显示为具有由用户输入的文本(例如，数字签名227)的数字签名框(例如，201c)。在一些实施方案中，更新的输入字段被显示为由用户选择的一个或多个单选按钮(例如，201a)。
在一些实施方案中，显示更新的输入字段包括在投影到物理输入设备(例如，210)的表示(例如，221)上的应用程序的部分(例如，201')中显示的输入字段(例如，201a'、201b'、201c'、201d')的投影中显示更新的输入字段。例如，更新显示/投影到物理输入设备的表示上的输入字段的投影以包括来自用户的输入。在一些实施方案中，更新的输入字段被显示为具有由用户输入的文本的文本框(例如，201d')的表示(例如，如图2F所示)。在一些实施方案中，更新的输入字段被显示为具有由用户输入的文本(例如，数字签名)的数字签名框(例如，201c')的表示。在一些实施方案中，更新的输入字段被显示为由用户选择的一个或多个单选按钮(例如，201a')。
如图4A-图4B所示，设备100a(例如，使用图像传感器108)检测定位在物理桌面表面212上的物理输入设备410(例如，具有按键(包括功能按键415)的键盘))，并且在显示器120上显示定位在物理桌面表面的表示222上的物理输入设备的表示421。物理输入设备的表示421相对于物理桌面表面的表示222具有与物理输入设备410相对于物理桌面表面212的位置相同的位置。此外，键盘410的表示421包括键盘410上的所有按键的表示421a(包括功能按键415的表示425和数字按键的表示)，每个键盘按键的每个表示421a相对于键盘的表示421具有与对应的物理按键相对于物理键盘410的位置相同的位置。
设备100a还显示具有第一状态401a的虚拟应用程序401。设备100a确定特定于虚拟应用程序的当前(第一)状态401a的第一组输入控件，并且将第一组输入控件投影到物理输入设备的表示421上。响应于检测到虚拟应用程序的第二状态401b(例如，对虚拟应用程序或完全不同的应用程序的第一状态的更新)，设备100a确定特定于虚拟应用程序的第二状态401b的第二组输入控件，并且将第二组输入控件投影到物理输入设备的表示421上。
在一些实施方案中，物理输入设备(例如，触控板210、键盘410)在设备100a外部(例如，与设备100a分开)，并且在真实环境中不包括显示部件，诸如触摸屏显示器。因此，设备100a能够在CGR环境中将物理输入设备转换为物理输入设备的表示，但是增加了真实环境中的物理设备所缺乏的显示能力。设备100a还可通过将虚拟特征(例如，输入功能或输入控件)与物理输入设备的表示相关联来增强CGR环境中物理输入设备的功能。例如，具有在真实环境中被编程为输入数字的按键(例如，数字按键9)的物理键盘可由CGR环境中的设备100a通过将不同的功能(例如，当计算机应用程序是例如文字处理应用程序时的复制或粘贴命令)与该按键相关联来重新配置。此外，设备100a在CGR环境中的键盘按键的表示上显示定制功能的虚拟表示(例如，显示在键盘按键的表示上的复制或粘贴图标)。因此，设备100a通过以下方式增强了系统100的操作：通过生成和显示虚拟特征并且以针对CGR环境中显示的特定应用程序定制的方式将那些虚拟特征与物理输入设备相关联，在CGR环境中定制物理输入设备的功能。通过增强物理输入设备以定制其在CGR环境中的功能，设备100a向用户呈现用于与计算机应用程序(例如，401)交互的定制控制选项，而不会用附加显示的控制选项(例如，菜单选项等)使CGR环境混乱。这增强了设备100a的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作增强物理输入设备/与增强物理输入设备交互时的用户错误)，这通过使用户能够更快速且高效地使用设备100a来另外减少用电量并且改善设备100a的电池寿命。
现在参见图4A，设备100a(例如，使用图像传感器108)检测定位在真实环境中的物理桌面表面212上的物理键盘410。键盘410是真实环境中的物理输入设备，该物理输入设备具有用户输入能力(例如，由键盘按键410a和功能按键415提供)，但缺乏显示部件和任何显示能力。在显示器120上所示的CGR环境中，设备100a显示桌面表面212的表示222，定位在桌面表面的表示222上的键盘410的表示421，以及投影到桌面表面的表示222上的虚拟应用401。在一些实施方案(诸如图4A-图4B所示的实施方案)中，设备100a在CGR环境中将虚拟应用程序401投影到物理表面(诸如墙壁或桌面表面)的表示上。在一些实施方案中，设备100a在CGR环境中将虚拟应用程序401投影到虚拟表面上，使得例如虚拟应用程序401看起来是浮动的。
如图4A所示，虚拟应用程序401是以第一状态401a示出的消息传送应用程序，其具有文本输入字段403以用于输入文本。设备100a被配置为确定特定于虚拟应用程序的状态的一组输入控件。因此，设备100a确定虚拟应用程序401的当前状态401a用于在文本输入字段403中输入/接收文本。响应于该确定，设备100a确定对应于输入/接收文本的一组输入功能(例如，命令或数据)，并且在CGR环境中在键盘的表示421上显示那些输入功能的虚拟表示。例如，设备100a确定用于当前文本输入状态401a的一组输入功能包括将数字、字母和标点输入到文本输入字段403中，但不包括编辑操作诸如复制、剪切或粘贴操作。因此，在图4A中，设备100a在键盘按键(包括数字小键盘)的相应表示421a中的每个表示上显示虚拟字母、数字或标点符号，但不显示任何不必要的输入功能(诸如与编辑操作相关联的那些输入功能)的表示。因此，设备100a确定与每个功能按键的表示425相关联的任何输入功能是不相关的，并且因此将功能按键的每个表示425显示为空白(例如，通过从所显示的表示425中省略存在于物理键盘按键上的任何标记，或通过显示遮挡键盘按键的表示以使得其看起来为空白的虚拟特征)，从而指示功能按键的表示425对于应用程序的当前状态401a是不活动的。这样，设备100a定制由物理输入设备提供的功能，使得仅将期望或必要的输入功能呈现给用户以与虚拟应用程序401的当前状态(例如，401a)进行交互。
设备100a通过将键盘的所显示表示421的功能与物理键盘410相关联来修改由物理键盘410提供的功能，使得在真实环境中由用户激活的物理键盘按键提供与CGR环境中的该相应按键的表示相关联的输入(如果有的话)。例如，如果用户激活对应于真实环境中的字母“H”的物理键盘按键，则设备100a执行与CGR环境中的该按键相关联的输入功能。根据图4A中的示例，设备100a将来自物理键盘410的输入解释为字母“H”，因为键盘的表示421的字母按键的表示421a对应于物理键盘410的按键。类似地，如果用户激活对应于功能按键415中的一个功能按键的物理键盘按键，则设备100a将忽略该输入，因为功能按键的表示425在CGR环境中是不活动的。尽管在该示例中，在CGR环境中字母“H”的表示对应于真实环境中的“H”键盘按键，但应当理解，与键盘按键的表示相关联的输入功能可以是任何期望的输入功能，而不仅仅是对应于物理键盘410的按键的那些输入功能。例如，设备100a可配置输入功能，使得物理键盘410的“H”键对应于在CGR环境中输入字母“Q”的输入功能。又如，设备100a可配置输入功能，使得物理键盘410的“H”键对应于执行复制或粘贴命令的输入功能，如下文更详细地讨论。
现在参见图4B，设备100a检测虚拟应用程序401的第二状态401b，其中文本“现在”被选择405。设备100a确定与选择文本时要执行的命令对应的一组输入功能，并且在CGR环境中在键盘的表示421上显示那些输入功能的虚拟表示。例如，设备100a确定应用程序的当前文本选择状态401b的一组输入功能包括输入数字、字母、标点和各种编辑操作(包括复制、剪切和粘贴操作)。因此，在图4B中，设备100a在键盘按键(包括数字小键盘)的相应表示421a中的每个表示上显示虚拟字母、数字或标点符号，并且更新功能按键的表示425中的所选择表示，以分别显示复制、剪切或粘贴操作的虚拟表示425a、425b、425c。这样，设备100a修改显示在物理输入设备(例如，键盘410)的表示421上(并且与其相关联)的虚拟特征。
尽管图4A和图4B所示的实施方案示出了设备100a基于检测到单个虚拟应用程序(应用程序401)的不同状态401a和401b来确定不同组的输入控件，但应当理解，此类确定可基于检测到完全不同的应用程序来进行。例如，设备100a可确定用于与第一应用程序(例如，网络浏览器应用程序)交互的第一组输入控件，并且响应于检测到虚拟应用程序改变为不同于第一应用程序的第二应用程序(例如，照片编辑应用程序)，确定用于与第二应用程序交互的第二组输入控件。还应当理解，由设备100a确定的输入控件不限于本文所公开的那些输入控件，而是可包括用于与虚拟应用程序的当前状态进行交互的任何计算机可执行指令，只要那些指令与虚拟应用程序的当前状态相关即可。
图5描绘了用于在CGR环境(例如，增强现实、虚拟现实)中显示物理输入设备的表示并将视觉特征覆盖在物理输入设备的表示上的示例性技术500。在一些实施方案中，该技术由参考图1A-图1B和图4A-图4B描述的系统100执行。
在框502处，设备(例如，100a)在CGR环境中显示应用程序(例如，虚拟应用程序(例如，401))(例如，网络浏览器、PDF、消息传送应用程序、照片编辑应用程序等)。在一些实施方案中，通过将虚拟应用程序投影到CGR环境中的物理表面的表示上或者将虚拟应用程序投影到CGR环境中的虚拟表面上来显示应用程序。
在框504处，响应于检测到所显示的应用程序(例如，401)的第一状态(例如，401a)，设备(例如，100a)确定特定于所显示的应用程序的第一状态的第一组输入控件(例如，数字、字母、标点)，并且在CGR环境中的物理输入设备(例如，410)的表示(例如，421)上仅显示特定于应用程序的第一状态的第一组输入控件。这样的实施方案的示例在图4A中示出，其中设备100a确定用于文本输入状态401a的一组输入功能包括将数字、字母和标点输入到文本输入字段403中，但不包括编辑操作诸如复制、剪切或粘贴操作。
在框506处，响应于检测到所显示的应用程序(例如，401)的第二状态(例如，401b)，设备(例如，100a)确定特定于所显示的应用程序的第二状态的不同于第一组输入控件的第二组输入控件(例如，数字、字母、标点、编辑操作诸如剪切、复制和粘贴操作)，并且在CGR环境中的物理输入设备(例如，410)的表示(例如，421)上仅显示特定于应用程序的第二状态的第二组输入控件。这样的实施方案的示例在图4B中示出，其中设备100a确定应用程序的文本选择状态401b的一组输入功能包括输入数字、字母、标点和各种编辑操作(包括复制、剪切和粘贴操作)。
在一些实施方案中，物理输入设备是键盘(例如，410)，并且CGR环境中的键盘的表示(例如，421)包括键盘的表示，该表示包括键盘按键(例如，421a、425)的与真实环境中的键盘上的物理按键(例如，410a、415)的位置对应的表示。在一些实施方案中，响应于检测到真实环境中的键盘的物理按键的激活，设备100a执行与CGR环境中的键盘按键的表示相关联的命令，该表示对应于真实环境中的激活的物理按键。
在一些实施方案中，响应于检测到从第一应用程序(例如，第一虚拟应用程序)到第二应用程序(例如，第二虚拟应用程序)的切换，设备(例如，100a)在CGR环境中更新在键盘的表示(例如，421)上显示的所显示的一组控制功能。在一些实施方案中，第一应用程序是网络浏览器应用程序，并且第一组输入控件是网络浏览器控件(例如，下一页、前一页、加载、停止、刷新等)。在一些实施方案中，第二应用程序是照片编辑应用程序，并且第二组输入控件是编辑控件(例如，增强、剪切、粘贴、插入、选择等)。
尽管已参考本文提供的实施方案示出和描述了本公开，但本领域的技术人员将理解，在不脱离本公开的范围的情况下，可对形式和细节作出各种改变。

Claims (25)

1.一种电子设备，所述电子设备包括：
显示器；
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
响应于在计算机生成现实(CGR)环境的显示的应用程序中检测到输入字段，在物理输入设备的表示上显示所显示的应用程序的至少一部分，所显示的应用程序的所述至少一部分包括所检测到的输入字段；
响应于检测到在所述物理输入设备处接收到的输入，利用所述输入更新所述输入字段；以及
显示所更新的输入字段。
2.根据权利要求1所述的电子设备，其中所述输入包括所述物理输入设备上与所述物理输入设备的所述表示上显示的所述输入字段的位置对应的位置处的触摸输入。
3.根据权利要求1所述的电子设备，其中显示所更新的输入字段包括在所述应用程序中显示所更新的输入字段。
4.根据权利要求1所述的电子设备，其中显示所更新的输入字段包括在所述物理输入设备的所述表示上的所述输入字段中显示所更新的输入字段。
5.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
响应于检测到在所述物理输入设备处接收到的所述输入，生成触觉反馈。
6.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
响应于检测到所显示的应用程序中的所述输入字段，在所述物理输入设备的所述表示上显示键盘按键。
7.根据权利要求6所述的电子设备，其中所述输入包括所述物理输入设备上与键盘按键的显示位置对应的位置处的触摸输入。
8.根据权利要求6所述的电子设备，其中：
所述物理输入设备是具有物理键盘按键的物理键盘，
根据确定所检测到的输入字段是文本输入字段来显示所述键盘按键，并且
相应显示的键盘按键具有与在其上显示所述相应显示的键盘按键的所述物理键盘按键不同的值。
9.根据权利要求1所述的电子设备，其中所述物理输入设备是触敏表面。
10.根据权利要求9所述的电子设备，其中所述触敏表面不包括显示部件。
11.根据权利要求1所述的电子设备，其中所述物理输入设备在所述电子设备外部。
12.根据权利要求1所述的电子设备，其中利用所述输入更新所述输入字段包括：
接收指示所述物理输入设备处的所述输入的输入数据；以及
根据所接收的输入数据更新所述输入字段。
13.根据权利要求1所述的电子设备，其中在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的所检测到的输入字段。
14.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
根据确定所检测到的输入字段是文本输入字段，在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分，包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的文本框。
15.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
根据确定所检测到的输入字段是数字签名字段，在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分，包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的数字签名框。
16.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
根据确定所检测到的输入字段包括一个或多个单选按钮，在所述物理输入设备的所述表示上显示所显示的应用程序的至少一部分，包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的一个或多个单选按钮。
17.根据权利要求16所述的电子设备，其中在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分还包括在所述CGR环境中显示与所检测到的输入字段的所述一个或多个单选按钮相关联的文本。
18.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由具有显示器的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
响应于在计算机生成现实(CGR)环境的显示的应用程序中检测到输入字段，在物理输入设备的表示上显示所显示的应用程序的至少一部分，所显示的应用程序的所述至少一部分包括所检测到的输入字段；
响应于检测到在所述物理输入设备处接收到的输入，利用所述输入更新所述输入字段；以及
显示所更新的输入字段。
19.根据权利要求18所述的非暂态计算机可读存储介质，其中在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的所检测到的输入字段。
20.根据权利要求18所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
根据确定所检测到的输入字段是文本输入字段，在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分，包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的文本框。
21.根据权利要求18所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
根据确定所检测到的输入字段是数字签名字段，在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分，包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的数字签名框。
22.根据权利要求18所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
根据确定所检测到的输入字段包括一个或多个单选按钮，在所述物理输入设备的所述表示上显示所显示的应用程序的至少一部分，包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的一个或多个单选按钮。
23.一种方法，包括：
在具有显示器的电子设备处：
响应于在计算机生成现实(CGR)环境的显示的应用程序中检测到输入字段，在物理输入设备的表示上显示所显示的应用程序的至少一部分，所显示的应用程序的所述至少一部分包括所检测到的输入字段；
响应于检测到在所述物理输入设备处接收到的输入，利用所述输入更新所述输入字段；以及
显示所更新的输入字段。
24.根据权利要求23所述的方法，其中在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的所检测到的输入字段。
25.根据权利要求23所述的方法，还包括：
根据确定所检测到的输入字段是文本输入字段，在所述物理输入设备的所述表示上显示所显示的应用程序的所述至少一部分，包括在所述CGR环境中显示定位在所述物理输入设备的所述表示上的文本框。
CN201980032853.4A 2018-06-05 2019-05-21 将物理输入设备显示为虚拟对象 Active CN112136096B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862680819P 2018-06-05 2018-06-05
US62/680,819 2018-06-05
US16/410,547 2019-05-13
US16/410,547 US11500452B2 (en) 2018-06-05 2019-05-13 Displaying physical input devices as virtual objects
PCT/US2019/033253 WO2019236280A1 (en) 2018-06-05 2019-05-21 Displaying physical input devices as virtual objects

Publications (2)

Publication Number Publication Date
CN112136096A true CN112136096A (zh) 2020-12-25
CN112136096B CN112136096B (zh) 2024-05-14

Family

ID=68693931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032853.4A Active CN112136096B (zh) 2018-06-05 2019-05-21 将物理输入设备显示为虚拟对象

Country Status (6)

Country Link
US (2) US11500452B2 (zh)
EP (1) EP3782014A1 (zh)
JP (1) JP7033218B2 (zh)
KR (1) KR102459238B1 (zh)
CN (1) CN112136096B (zh)
WO (1) WO2019236280A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
US11599717B2 (en) 2020-03-20 2023-03-07 Capital One Services, Llc Separately collecting and storing form contents
US11308266B1 (en) * 2020-10-20 2022-04-19 Google Llc Augmented reality assisted physical form completion

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
US20110063224A1 (en) * 2009-07-22 2011-03-17 Frederic Vexo System and method for remote, virtual on screen input
US20120038667A1 (en) * 2010-08-11 2012-02-16 International Business Machines Corporation Replicating Changes Between Corresponding Objects
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
CN103228052A (zh) * 2012-01-31 2013-07-31 捷讯研究有限公司 具有无线局域网和蜂窝调度的移动无线通信设备及其方法
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
US20150339468A1 (en) * 2014-05-23 2015-11-26 Samsung Electronics Co., Ltd. Method and apparatus for user authentication
CN105653084A (zh) * 2014-11-27 2016-06-08 三星电子株式会社 屏幕配置方法、电子设备和存储介质
US20170076502A1 (en) * 2015-09-16 2017-03-16 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment
CN107111340A (zh) * 2014-12-29 2017-08-29 索尼互动娱乐美国有限责任公司 用于使用头戴式显示器在虚拟或增强现实场景内进行用户交互的方法和系统
US20170300116A1 (en) * 2016-04-15 2017-10-19 Bally Gaming, Inc. System and method for providing tactile feedback for users of virtual reality content viewers
US20170308258A1 (en) * 2014-09-26 2017-10-26 Lg Electronics Inc. Mobile device, hmd and system
WO2018071190A1 (en) * 2016-10-14 2018-04-19 Google Llc Virtual reality privacy settings
WO2018090060A1 (en) * 2016-11-14 2018-05-17 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702441B2 (ja) 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
US9052804B1 (en) 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US20130194188A1 (en) 2012-01-31 2013-08-01 Research In Motion Limited Apparatus and method of facilitating input at a second electronic device
CN104620212B (zh) 2012-09-21 2018-09-18 索尼公司 控制装置和记录介质
US9141211B2 (en) 2013-01-09 2015-09-22 Lenovo (Singapore) Pte. Ltd. Touchpad operational mode
US9253375B2 (en) 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US10324563B2 (en) 2013-09-24 2019-06-18 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
US9649558B2 (en) 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
CN106062862B (zh) 2014-10-24 2020-04-21 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
US10286308B2 (en) * 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
US10317989B2 (en) 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
KR20180002208A (ko) 2016-06-29 2018-01-08 엘지전자 주식회사 단말기 및 그 제어 방법
KR101870245B1 (ko) 2016-08-30 2018-06-25 주식회사 악어스캔 오프라인 문서 추적 방법 및 문서 추적 시스템
US20190050132A1 (en) * 2016-10-11 2019-02-14 Hewlett-Packard Development Company, L.P. Visual cue system
EP3324270A1 (en) 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10514801B2 (en) 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments
US10691945B2 (en) 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US10484530B2 (en) 2017-11-07 2019-11-19 Google Llc Sensor based component activation
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
US20110063224A1 (en) * 2009-07-22 2011-03-17 Frederic Vexo System and method for remote, virtual on screen input
US20120038667A1 (en) * 2010-08-11 2012-02-16 International Business Machines Corporation Replicating Changes Between Corresponding Objects
CN103228052A (zh) * 2012-01-31 2013-07-31 捷讯研究有限公司 具有无线局域网和蜂窝调度的移动无线通信设备及其方法
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
US20150339468A1 (en) * 2014-05-23 2015-11-26 Samsung Electronics Co., Ltd. Method and apparatus for user authentication
US20170308258A1 (en) * 2014-09-26 2017-10-26 Lg Electronics Inc. Mobile device, hmd and system
CN105653084A (zh) * 2014-11-27 2016-06-08 三星电子株式会社 屏幕配置方法、电子设备和存储介质
CN107111340A (zh) * 2014-12-29 2017-08-29 索尼互动娱乐美国有限责任公司 用于使用头戴式显示器在虚拟或增强现实场景内进行用户交互的方法和系统
US20170076502A1 (en) * 2015-09-16 2017-03-16 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment
US20170300116A1 (en) * 2016-04-15 2017-10-19 Bally Gaming, Inc. System and method for providing tactile feedback for users of virtual reality content viewers
WO2018071190A1 (en) * 2016-10-14 2018-04-19 Google Llc Virtual reality privacy settings
WO2018090060A1 (en) * 2016-11-14 2018-05-17 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality

Also Published As

Publication number Publication date
US11500452B2 (en) 2022-11-15
US11954245B2 (en) 2024-04-09
US20190369714A1 (en) 2019-12-05
EP3782014A1 (en) 2021-02-24
JP7033218B2 (ja) 2022-03-09
WO2019236280A1 (en) 2019-12-12
US20230273674A1 (en) 2023-08-31
KR20210005913A (ko) 2021-01-15
CN112136096B (zh) 2024-05-14
KR102459238B1 (ko) 2022-10-27
JP2021524971A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
CN111448542B (zh) 显示应用程序
CN112136096B (zh) 将物理输入设备显示为虚拟对象
US9746928B2 (en) Display device and control method thereof
CN110968187B (zh) 由外围设备启用的远程触摸检测
US11782571B2 (en) Device, method, and graphical user interface for manipulating 3D objects on a 2D screen
US11966510B2 (en) Object engagement based on finger manipulation data and untethered inputs
US20240272782A1 (en) Methods for interacting with user interfaces based on attention
US11393164B2 (en) Device, method, and graphical user interface for generating CGR objects
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
US8941648B2 (en) Mobile terminal and control method thereof
US20230376110A1 (en) Mapping a Computer-Generated Trackpad to a Content Manipulation Region
CN112578983B (zh) 手指取向触摸检测
US20230333651A1 (en) Multi-Finger Gesture based on Finger Manipulation Data and Extremity Tracking Data
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
CN116888562A (zh) 将计算机生成的触控板映射到内容操纵区域
CN117957512A (zh) 用于移动和复制图形元素的数字助理
CN113157084A (zh) 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器
CN117980870A (zh) 经由触控板的计算机生成的表示进行内容操纵

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant