CN107743604B - 增强和/或虚拟现实环境中的触摸屏悬停检测 - Google Patents

增强和/或虚拟现实环境中的触摸屏悬停检测 Download PDF

Info

Publication number
CN107743604B
CN107743604B CN201680025082.2A CN201680025082A CN107743604B CN 107743604 B CN107743604 B CN 107743604B CN 201680025082 A CN201680025082 A CN 201680025082A CN 107743604 B CN107743604 B CN 107743604B
Authority
CN
China
Prior art keywords
electronic device
image
display
user interface
physical object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680025082.2A
Other languages
English (en)
Other versions
CN107743604A (zh
Inventor
陈世琦
多米尼克·菲利蒙·克泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107743604A publication Critical patent/CN107743604A/zh
Application granted granted Critical
Publication of CN107743604B publication Critical patent/CN107743604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种检测和跟踪诸如手指的手动指向装置在手持式电子装置(102)上的悬停位置的系统可包括在所述手持式电子装置(102)的诸如键盘(107)的用户界面上覆盖渲染的单色按键屏幕，或者绿色屏幕(108)。可基于检测到所述手指在所述绿色屏幕上以及所述键盘的已知布置确定所述手指相对于所述键盘的位置。例如，可在头戴式显示器(100)上渲染和显示(500)所述键盘(107V)的图像和所述手指的位置，以促进在所述头戴式显示器生成的虚拟沉浸式体验的情况下经由所述键盘的用户交互。

Description

增强和/或虚拟现实环境中的触摸屏悬停检测
相关申请的交叉引用
本申请是要求2015年9月16日提交的美国临时申请号62/219,423的优先权的2016年8月30日提交的美国申请号15/251,573的连续案并且要求其优先权，其公开内容通过引用并入本文。
本申请要求2015年9月16日提交的美国申请号62/219,423的优先权，其公开内容通过引用并入本文。
技术领域
本文件主要涉及检测和跟踪沉浸式增强现实和/或虚拟现实系统中的电子装置。
背景技术
增强现实(AR)和/或虚拟现实(VR)系统可产生三维(3D)沉浸式环境。用户可以通过与各种电子装置的交互来体验这种3D沉浸式虚拟环境，电子装置例如为头盔或其它头戴式装置，包括用户透过其观看显示装置时看到的显示器、眼镜或护目镜，配有传感器的手套，包括传感器的外部手持装置，以及其它这样的电子装置。一旦沉浸在虚拟环境中，用户与虚拟环境的交互可以采取各种形式，例如物理移动虚拟环境中的虚拟元素和/或与其的物理互动，和/或操纵电子装置，从而与虚拟环境交互，个性化和控制虚拟环境。
发明内容
一方面，一种方法可包括：由在周围环境中操作的头戴式电子装置生成虚拟环境；在周围环境中操作的手持式电子装置的显示器内生成覆盖在手持式电子装置的显示器内的用户界面上的单色屏幕，同时保持用户界面的触摸屏功能；通过头戴式电子装置的相机检测单色屏幕的前景中的物理对象；由头戴式电子装置的处理器基于检测到的物理对象在单色屏幕的前景中的位置确定检测到的物理对象相对于用户界面的位置；以及由头戴式电子装置在头戴式电子装置的显示器上显示用户界面的虚拟图像和检测到的物理对象的虚拟图像。
另一方面，一种系统可包括头戴式电子装置，包括显示器、相机和处理器，该头戴式电子设备被配置为可操作地与手持电子装置耦合，其中该相机被配置为捕捉该手持式电子装置的图像，并且处理器被配置为分割在头戴式电子装置和手持式电子装置之间检测到的物理对象的图像，并且基于由相机捕捉的图像在由头戴式电子装置产生的虚拟场景中显示虚拟图像，在虚拟场景中显示的虚拟图像包括检测到的物理对象的虚拟图像以及手持式电子装置的用户界面的虚拟图像，基于相机捕捉的图像，用户界面在由头戴式电子装置产生的虚拟场景中由在手持电子装置上渲染的单色屏幕覆盖。
另一方面，一种在非易失性计算机可读介质上体现的计算机程序产品可包括存储在其上的一系列指令，当被处理器执行时，这些指令使得处理器执行一种方法，包括：在周围环境中操作的头戴式电子装置中生成虚拟环境；由头戴式电子装置的相机捕捉可操作地与头戴式电子装置耦合的手持式电子装置的图像；在相机捕捉的图像中检测覆盖在手持式电子装置上的用户界面上的单色屏幕的前景中的物理对象，用户界面保持在单色屏幕下的功能；将所检测到的物理对象与相机捕捉的图像分离并且生成所分离的物理对象的图像；基于所检测到的物理对象在单色屏幕的前景中的位置检测所检测到的物理对象相对于用户界面的位置；以及在头戴式电子装置生成的虚拟环境中显示虚拟图像，虚拟图像包括用户界面的虚拟图像和与相机捕捉的图像分离的分离物理对象的虚拟图像。
在附图和下文说明中阐述了一个或者更多实现的细节。其它特征将从说明书和附图，以及从权利要求中显而易见。
附图说明
图1是根据本文所述的实现方式的包括头戴式显示装置和手持式电子装置的增强和/或虚拟现实系统的示例。
图2A和2B是根据本文所述的实现方式的示例头戴式显示器的前视图。
图3A和3B是根据本文所述的实现方式的示例头戴式电子装置的前透视图。
图4是根据本文所述的实现方式的增强和/或虚拟现实系统的第一电子装置和第二电子装置的框图。
图5A-5E示出根据本文所述的实现方式的检测和跟踪手动指向装置相对于手持式电子装置的用户界面的位置，以及在头戴式电子装置上显示在用户界面上接收到的手动输入。
图6是根据本文所述的实现方式的一种检测和跟踪增强和/或虚拟现实系统中指向装置相对于的手持式电子装置的用户界面的悬停位置的方法的流程图。
图7示出能够用于实现本文所述的技术的计算机装置和移动计算机装置的示例。
具体实施方式
穿戴例如头戴式显示器(HMD)装置的，沉浸在例如3D增强和/或虚拟现实环境的虚拟环，中的用户可通过例如与HMD的物理交互(诸如，手/臂姿势、头部运动、行走等等)和/或操纵HMD，和/或操纵单独电子装置探索虚拟环境并且与虚拟环境交互，从而体验沉浸式虚拟环境。例如，在一些实现方式中，HMD可与诸如控制器智能手机的手持式电子装置或者其它这种手持式电子装置配对。用户操纵与HMD配对的手持式电子装置可允许用户与HMD生成的虚拟环境交互，和/或可允许用户在沉浸在虚拟环境中的同时使用手持式电子装置的其它功能。
在一些实现方式中，用户可操纵与HMD配对的手持式电子装置，从而在HMD生成的虚拟环境中引起期望动作。在一些情况下，由于HMD的显示器正在显示虚拟环境和/或一个或多个虚拟对象，所以用户可能难以在手持式电子装置上提供一些类型的输入，因为用户可能难以看到手持式电子装置，并且特别是用户可能难以在穿戴HMD的同时操纵手持式电子装置的用户界面。例如，在无法看到手持式电子装置上的键盘和/或手指相对于手持式电子装置上的键盘的位置的情况下，用户可能难以使用手持式电子装置的键盘用户界面进行文本输入。
为了解决上述问题中的至少一些问题，在一些实现方式中，诸如绿色屏幕的单色屏幕可渲染并覆盖在手持式电子装置的显示器上，并且特别地覆盖在在手持式电子装置上的用户界面显示上，使得可以通过例如HMD的相机来检测用户的手/手指的悬停位置。即使单色屏幕覆盖在用户界面上并且因而在显示器上实际上不可见，用户界面的触摸屏功能也可保持在手持式电子装置的显示区域内。手持式电子装置的用户界面可虚拟地渲染并显示在由HMD生成的虚拟环境中，以供用户观看和使用/与用户交互。因而，用户可能能够与手持式电子装置的用户界面物理地交互，并利用手持式电子装置的显示区域内的用户界面的功能，即使用户界面在手持式电子装置上对用户不可见，而是被虚拟地显示在HMD生成的虚拟环境中也是如此。用户可以精确地与用户界面交互，并基于虚拟地显示在HMD生成的虚拟环境内的虚拟用户界面利用用户界面提供的功能。
在一些实现方式中，可以在HMD生成的虚拟环境中虚拟地显示基于用户手指相对于覆盖在手持式电子装置的用户界面上的单色屏幕的图像捕捉而检测到的手指悬停位置的图像，以及例如为虚拟键盘的用户界面的虚拟渲染，使得用户在没有在手持式电子装置上显示的键盘的直接物理可见性的情况下可看到键盘的虚拟渲染以及相对的手指在键盘上的位置，，从而促进文本输入。在一些实现中，渲染用于检测手指悬停位置的单色屏幕或者绿色屏幕可允许例如HMD的简单RGB相机基本上实时地，以相对高效和精确的方式精确地检测和跟踪手指位置。检测到的手指位置可以作为HMD的相机捕捉到的穿透图像，作为例如由HMD的处理器基于HMD的相机捕捉到的图像而渲染的虚拟图像等虚拟地显示在由HMD生成的虚拟环境中(例如，与用户界面一起)。
在图1中所示的示例实现中，穿戴HMD 100的用户正在手持便携手持式电子装置102，诸如控制器、智能手机或者其它便携手持式电子装置，其可操作地与HMD 100耦合或者配对，以在HMD 100生成的虚拟环境中进行交互。在图1中所示的示例中，用户在竖屏方向中，以他的右手手持该手持式电子装置102。然而，取决于具体的输入界面、输入模式和其它这些因素，用户也可仅以他的左手，或者以他的右手和他的左手两者，和/或在横屏方向中手持该便携式电子装置102，并且仍与HMD 100生成的虚拟环境交互。
图2A和2B是示例HMD，诸如图1中的用户穿戴的以产生将由用户体验的沉浸式虚拟环境的HMD 100的透视图。HMD 100可包括其中可以接收光学组件的外壳110。外壳110可以耦合——例如可旋转地耦合和/或可移除地附接到框架120，框架120允许外壳110被安装或穿戴在用户的头部上。音频输出装置130也可耦合到框架120，并且可包括例如安装在耳机中并耦合在框架120上的扬声器。在图2B中，外壳110的前面110a从外壳110的基部110b旋转开，使容纳在外壳110内的一些组件可见。显示器140可安装在外壳110的前面110a上。当前面110a处于相对外壳110的基部部分110b的闭合位置时，镜片150可安装在外壳110中，在用户眼睛和显示器140之间。镜片150的位置可与用户眼睛的相应光学轴对齐，从而提供相对宽的视域和相对短的焦距。
在一些实现方式中，HMD 100也可包括具有各种感测系统装置的感测系统160，和具有各种控制系统装置的控制系统170，以促进HMD 100的操作。控制系统170也可包括可操作地耦合至控制系统170的组件的处理器190。
在一些实现方式中，HMD 100也可包括相机180，其可捕捉HMD 100外部的周围或物理或现实世界环境的静止和/或移动图像，以及HMD 100生成的虚拟环境。例如，在一些实现方式中，相机180可捕捉用户的手指和/或手部相对于例如为手持式电子装置的在其上显示用户界面的显示表面的表面的图像或者一系列图像，手持式电子装置诸如为图1中所示的可操作地与HMD 100耦合的手持式电子装置102。在一些实现方式中，相机180可捕捉增强和/或虚拟现实系统在其中操作的现实世界环境中的静止和/或移动图像。
现实世界环境的这些图像，包括用户的手指和/或手部相对于手持式电子装置102的图像可在HMD 100的显示器140上以穿透模式显示给用户。在一些实现方式中，这可允许用户查看所捕捉的现实世界环境的元素的穿透图像，例如用户手指和/或手部覆盖在虚拟环境中的诸如键盘的用户界面的虚拟渲染上的穿透图像。在一些实现方式中，这可允许用户临时地离开虚拟环境并返回现实环境，而无需移除HMD 100或者以其它方式改变HMD 100的配置以将外壳110移出用户的视线。在一些实现方式中，相机180可为能够基于皮肤的相对一致的红外(IR)反应而确定从HMD 100上的相机180至例如手持该手持式电子装置102的用户手部的距离的景深相机。
如图3A中所示，在一些实现方式中，手持式电子装置102可包括：音频输出装置103，诸如扬声器；音频输入装置104，诸如麦克风；成像装置105，诸如相机；以及在手持式电子装置102上显示图像的显示器106。在一些实现方式中，显示器106可为触敏式显示器106，使得显示器106可输出图像，并且也可输出包括被指定为通过触敏式显示器106的触敏表面接收用户输入的区域的用户界面。在一些实现方式中，手持式电子装置102可在触敏式显示器106上渲染用户界面，诸如键盘107或者被配置成接收用户触摸输入的其它类型的用户界面。用户界面能够被配置成与用户界面的交互能够触发与显示器106的显示区域的物理区域相关联的功能。
在一些实现中，如图3B中所示，手持式电子装置102可在手持式电子装置102的显示器106上渲染单色屏幕，或者绿色屏幕覆盖108。绿色屏幕覆盖108能够被显示在显示器106的显示区域中，同时维持例如图3A中所示的与用户界面相关联的基础功能。随着绿色屏幕覆盖108处于显示器106上，用户手指相对于触敏显示器106以及相对于诸如键盘107的图形用户界面的各输入元素的悬停位置可被例如HMD 100的相机180快速和精确地检测到(同时仍维持用户界面的基础功能)。换句话说，在一些实现方式中，诸如键盘107的图形用户界面可在其被绿色屏幕覆盖108遮盖或者覆盖地同时仍然起作用，使得诸如在手持式电子装置102的触敏表面上检测到的触摸的用户输入可生成对应的用户输入，即使图形用户界面，或者键盘107由于渲染绿色屏幕覆盖108而在手持式电子装置102的显示器106上不可见时也是如此。用户可以能够与用户界面或者键盘107精确地交互，因为用户界面和/或手持式电子装置102可在HMD 100生成的虚拟环境内向用户渲染和显示。
在一些情况下，显示器106上的绿色屏幕覆盖108可在用户与诸如键盘107的用户界面交互时提供安全性措施，以输入敏感信息，诸如包括用户名、密码等的登陆信息。即，在这种布置中，键盘107以及使用键盘107做出的输入仅对于该用户可见，对于其它方不可见，因为诸如键盘107的用户界面在显示器107的触敏表面处仍有功能，但是由于绿色屏幕覆盖108所以在手持式电子装置102的显示器106处对于其它方不可见。
在图3A中所示的手持式电子装置102的显示器106上显示的示例用户界面107为键盘，其能够接收用户的触摸输入，并且将这种触摸输入转换为例如在手持式电子装置102的显示器106上显示的文本输入域内，和/或HMD 100生成的虚拟环境内的文本输入。仅出于易于解释和例示的目的，键盘被示出为图3A的用户界面的示例并且在下文对其进行了描述。除了键盘之外或者作为其代替，用户界面可包括多种其它类型的用户界面，包括其它特征和元素，诸如选择按钮、滑动按钮、菜单项等等。
类似地，在图3A中所示的手持式电子装置102的显示器106上显示的用户界面107是用手持式电子装置102渲染的被定向在横屏位置的键盘，其中以用户的左手和右手两者握持装置102，以用左和右手两者的手指进行文本输入。然而，以键盘或者基于具体应用程序的其它用户界面为形式的用户界面107也可用手持式电子装置102显示为被定向在竖屏位置，其中以用户的左手和右手其中之一，或者以用户的左和右手两者握持装置102，以用左手或者右手其中之一的手指，或者左手和右手两者的手指进行文本输入。在横屏位置或竖屏位置中，除了键盘或者代替键盘，用户界面可包括许多其它特征，诸如选择按钮、滑动按钮、菜单项等等。
在图4中示出一种用于检测和跟踪虚拟现实环境下诸如用户的手部和/或手指的手动指向装置相对于手持式电子装置的悬停位置的系统的方框图。该系统可包括与第二电子装置402通信的第一电子装置400。第一电子装置400例如可为上文关于图1和2A-2B所述的生成虚拟环境的HMD，以及第二电子装置402例如可为手持式电子装置，诸如上文关于图1和3A-3B所述的可与HMD通信以促进与HMD生成的虚拟环境的用户交互的手持式电子装置。例如，如上所述，对第二(手持式)电子装置402的操纵和/或其物理运动可被转换为在第一(头戴式)电子装置400生成的虚拟环境中的期望交互。
第一电子装置400可包括可分别与图2A和2B中所示的感测系统160和控制系统170类似的感测系统460和控制系统470。在图4中所示的示例实现中，感测系统460可包括多种不同类型的传感器，包括例如光传感器、音频传感器、距离/接近传感器和/或其它传感器，和/或传感器的不同组合。在一些实现方式中，光传感器、图像传感器和音频传感器可被包括在诸如相机的一个组件中，诸如图2A和2B中所示的HMD 100的相机180。控制系统470可包括多种不同类型的装置，包括例如电源/暂停控制装置、音频和视频控制装置、光学控制装置、转换控制装置和/或其它这种装置和/或装置的不同组合。在一些实现方式中，控制系统470的视频控制装置的一个模块可被配置成生成和显示上述一个或者更多用户界面，并且视频控制装置的另一模块可被配置成生成和显示上述单色屏幕或者绿色屏幕，或者控制系统470的视频控制装置的单个模块可被配置成生成和显示一个或者更多用户界面和绿色屏幕。在一些实现方式中，取决于具体实现方式，感测系统460和/或控制系统470可包括更多或者更少装置。感测系统460和/或控制系统470中所包括的元件在例如不同于图2A和2B中所示的HMD 100的HMD中能够具有不同的物理布置(例如，不同的物理位置)。
第一电子装置400也可包括可类似于例如图2A和2B中所示的音频输出装置130和显示器140的音频输出装置430和图像输出装置440。音频输出装置430和图像输出装置440可输出涉及第一电子装置400生成的虚拟沉浸体验的音频和视频信号。第一电子装置400也可包括与感测系统460和控制系统470通信的处理器490、可由例如控制系统470的模块访问的存储器480，以及在第一电子装置400和作为另一个的、外部装置的、诸如与第一电子装置400配对的第二电子装置402之间提供通信的通信模块450。
第二电子装置402可包括通信模块406，以在第二电子装置402和作为另一个的、外部装置的、诸如可操作地与第二电子装置402耦合或者配对的第一电子装置400之间提供通信。第二电子装置402可包括感测系统407，其包括例如诸如包括在例如相机和麦克风中的图像处理器和音频处理器、惯性测量单元，以及其它这种传感器和/或传感器的不同组合。处理器409可与第二电子装置402的感测系统407和控制器405通信，控制器405可访问存储器408，并且控制第二电子装置402的整体操作。第二电子装置402也可包括可类似于例如图3A-3B中所示的音频输出装置103和显示器106的音频输出装置403和图像输出装置404。音频输出装置403和图像输出装置404可输出音频和图像信号，在一些实现方式中，这些信号可提供用户输入的界面，以及与第二电子装置402，和/或可操作地与第二电子装置402耦合或者配对的第一电子装置400的交互。
在一些实现方式中，用户通过本文所述的用户界面107做出的文本输入或者其它输入可包括例如登陆信息的输入、涉及将在虚拟环境下执行的指令的输入——诸如字符选择、设备选择、环境选择等，以及其它这些输入。在一些情况下，沉浸在虚拟环境中的用户可接收例如可能临时中断HMD 100生成的虚拟环境中的用户交互的呼入电话呼叫或者文本消息。仅出于易于讨论和例示的目的，图5A-5E示出其中在用户沉浸在正在进行的虚拟体验中时接收到呼入文本消息提示的示例。然而，如上所述，本文所述的过程可被应用于其中可由用户通过手持式电子装置上的用户界面做出输入的许多其它情况，所述输入例如为文本输入、选择、滑动输入或者其它类型的输入。
图5A中示出了用户例如在HMD 100的显示器140上观看到的虚拟场景500的示例。图5A还示出了用户物理上握持手持式电子装置102，该手持式电子装置102可以可操作地与HMD 100耦合，以在由HMD 100产生的虚拟环境中进行交互。当用户沉浸在虚拟环境中时，例如沉浸在由HMD 100生成的虚拟场景500中时，手持式电子装置102可以接收到呼入的文本消息。在该示例中，可以生成视觉指示符形式的提示502，以向用户提示呼入的文本消息。提示502可以显示在手持式电子装置102的显示器106上。然而，由于用户正穿戴着HMD，所以手持式电子装置102的显示器106和提示502可能不会直接对用户可见。因而，如图5B中所示，可以在用户观看的虚拟场景500中显示提示502的虚拟渲染或相应的虚拟提示502V，使得虚拟提示502V在无需移除HMD 100的情况下对于用户可见。诸如绿色屏幕108的单色屏幕108可被渲染并覆盖在手持式电子装置102(例如，物理装置)的用户界面上，并且特别地，绿色屏幕108可以覆盖在手持式电子装置102的在其上显示提示502的显示器106上，提示502提供指示用户是否想要检索呼入消息的“Y”按钮或“N”按钮的用户选择。
如图5C中所示，绿色屏幕108可被覆盖在手持式电子装置102的显示器106上，包括提示502将被显示/以其它方式在物理装置102上可见的显示器106的区域，同时如由用户看到的，虚拟提示502V在虚拟场景500中被显示。即，用户可查看(例如，虚拟地查看)HMD 100的显示器上的虚拟场景500，包括虚拟提示502V和用户可选择以指示用户是否意图检索呼入消息的选择按钮“Y”和“N”。如上所述，在手持式电子装置102(例如，物理装置)的用户界面上覆盖绿色屏幕108可允许HMD 100的相机180快速并且精确地捕捉、检测和跟踪用户手指相对于手持式电子装置102的位置，特别是用户手指相对于用户界面(在该示例中为提示502和选择按钮Y和N)的位置。
如图5C中所示，可向虚拟场景500中的用户显示相对于虚拟用户界面定位的用户手指的图像，或者虚拟提示502V和选择按钮Y与N。用户手指相对于用户界面的图像可被例如HMD 100上的相机180捕捉，并且用户手指相对于虚拟用户界面的虚拟图像(例如，虚拟提示502V)可作为相机180捕捉的穿透图像在虚拟场景500中显示。在一些实现方式中，用户手指相对于虚拟用户界面的图像可由例如HMD 100的处理器基于HMD 100的相机180捕捉的图像来渲染，并且用户手指的虚拟渲染可被显示在虚拟场景500中。在一些实现方式中，用户手指相对于虚拟用户界面的图像被显示在虚拟场景500中。在一些实现方式中，用户手指的图像和用户界面(在该示例中为虚拟提示502V)可被覆盖在当前虚拟场景500上，如图5C中所示，或者可代替用户视域中的当前虚拟场景500。
一旦接收到呼入消息，如图5D中所示，文本消息会话可在用户和呼入消息的发送者之间进行。文本消息会话可例如在HMD 100的显示器140上经由虚拟显示给用户的虚拟场景500对用户可见。如图5D中所示，为了提供文本输入，可使得键盘107在物理手持式电子装置102的用户界面上可用，并且绿色屏幕108可被覆盖在用户界面上，或者物理手持式电子装置102的键盘107上，以促进如上所述的通过HMD 100的相机180检测和跟踪相对于用户界面的手指位置。
如图5D中所示，在一些实现方式中，当绿色屏幕108被渲染并且覆盖在(或替代)由手持式电子装置102生成的键盘107上时，相应的虚拟键盘107V可以渲染在HMD 100上向用户显示并且由用户查看的虚拟场景500中，使得用户可通过HMD 100的显示器140查看以虚拟场景500中的虚拟键盘107V为形式的键盘107在手持式电子装置102上以及相对于键盘107的手指位置的的渲染。如上所述，用户手指相对于手持式电子装置102上的键盘107的悬停位置可被例如HMD 100的相机180捕捉。由于相对于覆盖在手持式电子装置102的显示用户界面或者键盘107的显示器106上的绿色屏幕108捕捉用户手指的图像，所以在不移除HMD100和/或终止虚拟沉浸体验以获得物理手持式电子装置102的可见性的情况下，可基本实时地精确并且高效地检测、跟踪和显示(作为穿过图像或者作为渲染图像)手指的位置。在该示例中通过键盘107形式的用户界面相对绿色屏幕108基本实时地检测、跟踪和显示手指位置可允许用户查看虚拟场景500中的文本输入的虚拟视觉表示。由于在该示例中以物理手持式电子装置102上的键盘107为形式的用户界面(和与其相关联的功能)在被绿色屏幕108覆盖时仍然起作用，所以手持式电子装置102可响应于上述手持式电子装置102的显示器106的触敏表面上的实际触摸(例如，物理接触)而记录用户输入。如图5E中所示，一旦完成图5D中所示的消息会话，则用户可以最少的中断重新在虚拟环境下进行活动。
贯穿全文使用短语“绿色屏幕”以涉及按键，其中可以相对于由单颜色屏幕或单色屏幕定义的背景检测和跟踪前景中的对象，单色屏幕的单颜色不被前景中的对象复写。虽然如本文所述，绿色被用作单色屏幕的实现方式中的示例颜色，但是只要该单一颜色在将被跟踪的项(在这种情况下为用户手部和/或用户手指)中不被复写，并且在前景中的对象(在这种情况下为用户手部和/或用户手指)和背景之间存在充分的颜色分离，则可对手持式电子装置渲染的覆盖层使用任何单一颜色。
在图6中示出根据本文所述的实现方式的一种检测在增强现实和/或虚拟现实系统中用户的手部和/或手指相对于手持式电子装置的悬停位置的方法600。如上所述，手持式电子装置可与图1和3A-3B中所示的手持式电子装置102类似，并且可与例如诸如为图1和2A-2B中所示的HMD 100d的HMD配对，以生成用户将体验的沉浸式虚拟环境。手持式电子装置102可通过例如有线连接，通过例如wifi或者蓝牙的无线连接，或者其它类型的连接与HMD 100配对，和/或与HMD 100通信。在方框610中，在HMD 100和手持式电子装置102已经被激活并配对，并且已经在方框620对沉浸式虚拟现实体验初始化之后，诸如HMD 100的相机180的相机，或者系统内能够捕捉用户的手部和手持式电子装置102的图像的其它相机可被激活，以在框640和650捕捉手持式电子装置102的图像。
如上所述，HMD 100的相机180捕捉的图像可包括用户的手指和/或手部相对于在用户界面上渲染和覆盖的单色屏幕或者绿色屏幕108的图像，用户界面例如为在手持式电子装置102的显示器106上显示的键盘107。如果在框650，相对相机180捕捉的图像中的单色屏幕108检测到诸如手指的手动指向装置，则在框660，手动指向装置的图像可被从单色屏幕108定义的背景中分割，并且在框670，可使手动指向装置的位置与单色屏幕108覆盖的用户界面的至少一个元素相关联。例如，可至少使在所捕捉到的图像内检测到的手指相对于绿色屏幕108的的位置与键盘107的至少一个按键相关联，在手持式电子装置102的显示器106上键盘107已经被绿色屏幕108覆盖。
在框680，手动指向装置在用户界面上处于相关位置的的图像，诸如在对应于键盘107的一个按键的位置处的手指的图像可与相机180所捕捉的图像分割，并且在框685，手指的图像可被显示在HMD 100生成的虚拟场景中，例如相对于HMD 100在虚拟场景500中显示的虚拟键盘107V。在一些实现方式中，手动指向装置在处于相关位置的用户界面(即，在对应于键盘107的一个按键的位置处的手指)上的图像可由例如HMD 100的处理器渲染，并且在虚拟场景中在关于在虚拟场景500中显示的虚拟键盘107V的适当位置处被显示。以这种方式，用户可查看手指在虚拟键盘107V上的位置，该位置对应于检测到的手指相对于物理手持式电子装置102的用户界面的键盘107的位置，而无需物理手持式电子装置102对用户直接可见，因而促进了在增强和/或虚拟现实环境下通过手持式电子装置102的触摸屏表面手动键入用户输入。
这种过程可被重复地执行，直到在框690处确定虚拟沉浸式体验已经终止。
图7示出了可以与本文所述的技术一起使用的通用计算机装置800和通用移动计算机装置750的示例。计算装置800旨在表示各种形式的数字计算机，诸如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它合适的计算装置。计算装置750旨在表示各种形式的移动装置，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算装置。这里所示的组件、它们的连接和关系以及它们的功能仅仅意为示例性的，并不意味着限制本文中所述的和/或本文件中要求保护的实现方式。
计算装置700包括处理器702、存储器704、存储装置706、连接到存储器704和高速扩展端口710的高速接口708，以及连接到低速总线714和存储装置706的低速接口712。处理器702能够为基于半导体的处理器。存储器704能够为基于半导体的存储器。组件702、704、706、708、710和712中的每一个都使用各种总线互连，并且可以按需安装在公共母板上或以其它方式安装。处理器702能够处理在计算装置700内执行的指令，包括存储在存储器704或存储装置706上的指令，以在外部输入/输出装置——诸如耦合到高速接口708的显示器716上显示GUI的图形信息。在其它实现方式中，可以按需与多个存储器和多种类型的存储器一起使用多个处理器和/或多条总线。也可以连接多个计算装置700，每个装置都提供部分必要操作(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器704在计算装置700内存储信息。在一个实现方式中，存储器704是一个或多个易失性存储器单元。在另一实现方式中，存储器704是一个或多个非易失性存储器单元。存储器704也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
存储装置706能够为计算装置700提供大容量存储。在一个实现方式中，存储装置706可以是或包含计算机可读介质，诸如软盘装置、硬盘装置、光盘装置，或磁带装置，闪存或其它类似的固态存储装置，或包括存储区域网络中的装置或其它配置的装置阵列。计算机程序产品能够被有形地具体化为信息载体。计算机程序产品也可包含指令，当指令被执行时，指令执行一种或多种方法，例如上述的方法。信息载体是计算机或机器可读介质，诸如存储器704、存储装置706或处理器702上的存储器。
高速控制器708管理计算装置700的带宽密集型操作，而低速控制器712管理较低带宽密集型操作。这种功能分配仅是例证性的。在一个实现方式中，高速控制器708耦合到存储器704、显示器716(例如，通过图形处理器或加速器)，并且耦合到可接受各种扩展卡(未示出)的高速扩展端口710。在实现方式中，低速控制器712耦合到存储装置706和低速扩展端口714。可包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可耦合到一个或多个输入/输出装置，例如键盘、指向装置、扫描仪，或例如通过网络适配器耦合到诸如交换机或路由器的网络装置。
如图所示，计算装置700可被实现为多种不同的形式。例如，它可以被实现为标准服务器720，或者在一组这样的服务器中多次实现。它也可以被实现为机架服务器系统724的一部分。此外，它可以诸如膝上型计算机722的个人计算机来实现。可替选地，计算装置700的组件可与诸如装置750的移动装置中的其它组件(未示出)组合。这些装置中的每一个都可包含一个或者更多计算装置700、750，并且整个系统可由彼此通信的多个计算装置700、750组成。
计算装置750包括处理器752、存储器764、诸如显示器754的输入/输出装置、通信接口766和收发器768以及其它组件。装置750也可设置有诸如微驱动器或其它装置的存储装置，以提供额外的存储。组件750、752、764、754、766和768中的每一个都使用各种总线互连，并且几个组件可按需安装在公共母板上或以其它方式来安装。
处理器752能够执行计算装置750内的指令，包括存储在存储器764中的指令。处理器可被实现为包括单独的和多个模拟和数字处理器的芯片的芯片组。处理器可以例如提供对装置750的其它组件的协调，诸如用户接口的控制，由装置750运行的应用以及由装置750进行的无线通信。
处理器752可以通过控制接口758和耦合到显示器754的显示接口756与用户通信。显示器754可以例如是TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口756可包括用于驱动显示器754以向用户呈现图形和其它信息的适当电路。控制接口758可接收来自用户的命令并将其转换以提交给处理器752。另外，可提供外部接口762以与处理器752通信，以便支持装置750与其它装置的近区域通信。外部接口762可以提供例如在一些实现方式中的有线通信，或者在其它实现方式中的无线通信，并且也可使用多个接口。
存储器764将信息存储在计算装置750内。存储器764能够被实现为计算机可读介质或介质、易失性存储器单元或非易失性存储器单元中的一个或多个。还可以通过扩展接口772来提供扩展存储器774并将其连接到装置750，扩展接口772可包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器774可以为装置750提供额外的存储空间，或者还可以存储用于装置750的应用程序或其它信息。特别地，扩展存储器774可包括用于执行或补充上述过程的指令，并且也可包括安全信息。因此，例如，扩展存储器774可被提供为用于装置750的安全模块，并且可以用允许安全使用装置750的指令来对其进行编程。另外，可通过SIMM卡以及附加信息来提供安全应用，例如以不可攻击的方式将识别信息置于SIMM卡上。
如下文所述，存储器可以包括例如闪存和/或NVRAM存储器。在一个实现方式中，计算机程序产品被有形地具体化为信息载体。计算机程序产品包含指令，当指令被执行时，执行一个或多个方法，诸如上述方法。信息载体是可以例如通过收发机768或外部接口762接收的计算机或机器可读介质，诸如存储器764、扩展存储器774或处理器752上的存储器。
装置750可通过通信接口766进行无线通信，通信接口766可在必要时包括数字信号处理电路。通信接口766可提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发机768发生。另外，可能发生短距离通信，例如使用蓝牙、WiFi或其它此类收发器(未示出)。另外，GPS(全球定位系统)接收器模块770可以向装置750提供额外的导航和位置相关无线数据，这些数据可由在装置750上运行的应用程序按需使用。
装置750还可以使用音频编解码器760可听地通信，音频编解码器760可以从用户接收口语信息并将其转换为可用的数字信息。音频编解码器760同样可以为用户生成可听见的声音，诸如通过例如在装置750的话筒中的扬声器。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件，等等)，并且也可包括在装置750上操作的应用程序生成的声音。
如图所示，计算装置750可以以多种不同的形式来实现。例如，它可以被实现为蜂窝电话780。它也可以被实现为智能电话782、个人数字助理或其它类似移动装置的一部分。
本文所述的系统和技术的各种实现方式能够以数字电子电路、集成电路、专门设计的ASIC(应用程序专用集成电路)、计算机硬件、固件、软件和/或其组合来实现。这些各种实现能够包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现，可编程系统包括至少一个可以是专用或通用的可编程处理器，其被耦合至存储系统、至少一个输入装置和至少一个输出装置，从而从这些装置接收数据和指令，并且将数据和指令发送至这些装置。
这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且能够以高级程序和/或面向对象编程语言和/或组装/机器语言实现。本文使用的术语“机器可读介质”、“计算机可读介质”涉及任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，其用于向可编程处理器提供机器指令和/或数据，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”涉及用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，本文所述的系统和技术能够在具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，和用户能够通过其向计算机提供输入的键盘和指向装置(例如，鼠标或轨迹球)的计算机上实现。也能够使用其它类型的装置提供与用户的交互；例如，提供给用户的反馈能够为任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且能够以任何形式接收来自用户的输入，包括声音，语音或触觉输入。
本文所述的系统和技术能够在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器))，或者包括前端组件(例如，具有用户能够通过其与本文所述的系统和技术的实现方式进行交互的图形用户界面或Web浏览器的客户端计算机)，或者这种后端、中间件或前端组件的任何组合的计算系统中实现。系统的组件能够可以通过数字数据通信(例如，通信网络)的任何形式或介质互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系借助在相应计算机上运行的并且彼此具有客户端-服务器关系的计算机程序产生。
已经描述了许多实现。然而，应理解，不偏离本发明的精神和范围的情况下，可做出各种修改。
另外，图中所示的逻辑流程不需要所示的特殊顺序或者为依次顺序以实现期望结果。另外，可提供其它步骤，或者可从所述流程中去除多个步骤，并且其它组件可被添加至所述系统，或者从所述系统消除。因而，其它实施例也在所附权利要求的范围内。
本文所述的各种技术的实现可以通过数字电子电路，或计算机硬件、固件、软件或它们的组合实现。实现方式可以被实现为计算机程序产品，即有形地具体化在例如机器可读存储装置(计算机可读介质)的信息载体中的计算机程序，从而由例如可编程处理器、计算机或者多台计算机的数据处理设备来处理或者控制其操作。因而，计算机可读存储介质能够被配置为存储当被执行时使得处理器(例如，主机装置处的处理器，客户端装置处的处理器)执行处理的指令。
诸如上述计算机程序的计算机程序能够以任何形式的编程语言编写——包括编译或解释语言，并且能够以任何形式——包括作为独立程序或作为模块、组件、子程序或适用于计算环境的其它单元来部署。能够将计算机程序部署为在一个计算机上，或在一个站点或者跨多个站点间分布并且由通信网络互连的多个计算机上来处理。
方法步骤可由执行计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。方法步骤也可由例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的专用逻辑电路执行，并且设备可被实现为该专用逻辑电路。
作为示例，适合处理计算机程序的处理器包括通用和专用微处理器两者，以及任何类型的数字计算机的任何一个或者更多处理器。通常，处理器将从只读存储器或随机存取存储器或其两者接收指令和数据。计算机的元件可包括用于执行指令的至少一个处理器，以及用于存储指令和数据的一个或者更多存储装置。通常，计算机也可包括，或者可操作地耦合至用于存储数据的一个或者更多大容量存储装置，例如磁、磁光盘或者光盘，以从其接收数据或者对其传输数据，或者进行两者。适合具体化计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，例如包括半导体存储装置，例如，EPROM、EEPROM和闪存装置；磁盘，例如内部硬盘或可移除盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充，或者被并入其中。
为了提供与用户的互动，实现方式可被实现在具有用于向用户显示信息的显示装置以及键盘和指向装置的计算机上，显示装置例如为阴极射线管(CRT)、发光二极管(LED)或液晶显示器(LCD)监控器，键盘和指向装置例如为用户能够通过其向计算机提供输入的鼠标和轨迹球。也能够使用其它类型的装置以提供与用户的互动；例如，被提供给用户的反馈能够是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且能够以任何形式，包括听觉、语音或触觉输入接收来自用户的输入。
实现方式可在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有用户能够通过其与实现进行交互的图形用户界面或Web浏览器的客户端计算机)，或者这种后端、中间件或前端组件的任何组合的计算系统中实现。组件可通过数字数据通信(例如，通信网络)的任何形式或介质互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如因特网。
虽然已经如本文所述示出了所述实现方式的特定特征，但是本领域技术人员现在将明白许多修改、替代、改变和等效物。因此，应理解，附加权利要求旨在涵盖落入实现方式的范围内的所有这些修改和改变。应理解，它们仅作为示例而非限制被呈现，并且可做出形式和细节的各种改变。本文所述的设备和/或方法的任何部分都可以通过任何组合而组合，除非组合互相排斥。本文所述的实现方式能够包括所述的不同实现方式的功能、组件和/或特征的各种组合和/或子组合。
在下文示例中总结了进一步实现。
示例1：一种方法，包括：由在周围环境中操作的头戴式电子装置生成虚拟环境；在周围环境中操作的手持式电子装置的显示器内生成覆盖在所述手持式电子装置的所述显示器内的用户界面上的单色屏幕，同时维持所述用户界面的触摸屏功能；通过所述头戴式电子装置的相机检测所述单色屏幕的前景中的物理对象；由所述头戴式电子装置的处理器基于检测到的物理对象在所述单色屏幕的前景中的位置确定所检测到的物理对象相对于所述用户界面的位置；以及由所述头戴式电子装置在所述头戴式电子装置的显示器上显示所述用户界面的虚拟图像和所检测到的物理对象的虚拟图像。
示例2：根据示例1所述的方法，生成覆盖在所述手持式电子装置的所述显示器内的用户界面上的单色屏幕，同时维持所述用户界面的触摸屏功能包括：渲染绿色屏幕；和在所述手持式电子装置的所述显示器上显示的键盘上覆盖所述绿色屏幕。
示例3：根据示例2所述的方法，检测所述单色屏幕的前景中的物理对象和确定所述物理对象相对于所述用户界面的位置包括：确定手指相对所述绿色屏幕的位置；以及基于在所述手持式电子装置的所述显示器上显示的所述键盘的已知按键布置，将所检测到的所述手指相对所述绿色屏幕的位置映射至所述手指相对于在所述手持式电子装置的所述显示器上显示并被所述绿色屏幕覆盖的所述键盘的位置。
示例4：根据示例3所述的方法，还包括：响应于检测到所述手指与在所述手持式电子装置的显示器上显示并且被所述绿色屏幕覆盖的所述键盘的一个按键之间的物理接触而接收字符输入；以及在所述头戴式电子装置生成的虚拟显示器中显示所接收到的字符输入。
示例5：根据示例4所述的方法，还包括重复检测物理对象，确定所述物理对象的位置，显示所述用户界面的虚拟图像和所述物理对象的虚拟图像，接收字符输入以及显示所接收到的字符输入，直到字符输入模式终止。
示例6：根据示例1至5中的任一项所述的方法，检测所述单色屏幕的前景中的物理对象包括：激活所述头戴式电子装置的相机；使用所述头戴式电子装置的相机捕捉包括所述物理对象和所述单色屏幕的所述手持式电子装置的图像；以及将所述物理对象的图像与围绕所述物理对象的所述单色屏幕分离。
示例7：根据示例6所述的方法，在所述头戴式电子装置的显示器上显示所述用户界面的虚拟图像和所检测到的物理对象的虚拟图像包括：在相对于所述用户界面的所述虚拟图像的位置处显示所检测到的物理对象的分离图像，以对应于所述所检测到的物理对象相对于所述单色屏幕之下的所述用户界面的实际位置。
示例8：根据示例7所述的方法，显示所检测到的物理对象的所述分离图像包括在所述头戴式电子装置的显示器上将所述分离图像显示为来自相机的穿透图像。
示例9：根据示例7所述的方法，显示所检测到的物理对象的所述分离图像包括：渲染所检测到的物理对象的分离图像；和在所述头戴式电子装置的所述显示器上显示所检测到的物理对象的分离图像的渲染图像。
示例10：根据示例1至9中的任一项所述的方法，其中所检测到的物理对象位于所述头戴式电子装置和所述手持式电子装置之间。
示例11：一种系统，包括：包括显示器、相机和处理器的头戴式电子装置，所述头戴式电子装置被配置成可操作地与手持式电子装置耦合，其中所述相机被配置成捕捉所述手持式电子装置的图像，以及所述处理器被配置成：在所述相机所捕捉到的所述图像中检测所述头戴式电子装置与所述手持式电子装置上的用户界面之间的物理对象，所述用户界面被单色屏幕覆盖，以及基于所述相机所捕捉到的图像在所述头戴式电子装置生成的虚拟场景中显示虚拟图像，显示在所述虚拟场景中的所述虚拟图像包括所检测到的物理对象的虚拟图像以及所述手持式电子装置的所述用户界面的虚拟图像。
示例12：根据示例11所述的系统，其中所检测到的物理对象是用户的手指，并且所述用户界面是被在所述手持式电子装置的显示器上显示的绿色屏幕覆盖的键盘，并且其中在所述头戴式电子装置生成的所述虚拟场景中所显示的虚拟图像包括悬停在所述手持式电子装置的所述显示器上的所述键盘的多个按键中的一个上的用户手指的虚拟图像。
示例13：根据示例12所述的系统，其中所述处理器被配置成基于所检测到的所述手指相对于所述绿色屏幕的位置，以及所述键盘的多个按键在所述手持式电子装置的所述显示器上的已知布置，确定所述手指相对于所述手持式电子装置的所述显示器上的键盘的位置。
示例14：根据示例12所述的系统，其中所述处理器被配置成响应于所述手指与对应于所述手持式电子装置的所述显示器上的键盘的一个按键的所述显示器的一部分之间的接触而接收字符输入，并且在所述头戴式电子装置生成的所述虚拟场景中所显示的虚拟图像中显示所述字符输入的虚拟图像。
示例15：根据示例11至14中的任一项所述的系统，其中，在所述头戴式电子装置生成的虚拟场景中显示虚拟图像时，所述处理器被配置成：将所检测到的物理对象的图像与所述相机捕捉的图像分割，并且在相对于所述用户界面的所述虚拟图像的位置处显示所检测到的物理对象的分割图像，以对应于所检测到的物理对象相对于所述单色屏幕之下的所述用户界面的实际位置。
示例16：根据示例15所述的系统，其中在显示所检测到的物理对象的所述分割图像时，所述处理器被配置成在所述头戴式显示装置生成的所述虚拟场景中将所检测到的物理对象的所述分离图像显示为来自所述相机的穿透图像。
示例17：根据示例15所述的系统，其中在显示所检测到的物理对象的所述分割图像时，所述处理器被配置成：渲染所检测到的物理对象的所述分割图像的图像；以及在所述头戴式显示装置生成的所述虚拟场景中显示所检测到的物理对象的所述分割图像的渲染图像。
示例18：根据示例15至17中的任一项所述的系统，其中所述处理器被配置成在所述单色屏幕不被覆盖在所述用户界面上的情况下显示所述用户界面的所述虚拟图像，使得所述用户界面的各元素在所述头戴式显示装置显示的所述虚拟场景中可见。
示例19：一种在非易失性计算机可读介质上具体化的计算机程序产品，所述计算机可读介质具有存储在其上的指令序列，所述指令序列在被处理器执行时使得所述处理器执行一种方法，所述方法包括：由在周围环境中操作的头戴式电子装置生成虚拟环境；由所述头戴式电子装置的相机捕捉可操作地与所述头戴式电子装置耦合的手持式电子装置的图像；在所述相机捕捉的图像中检测在所述手持式电子装置上的用户界面上覆盖的单色屏幕的前景中的物理对象，所述用户界面维持单色屏幕之下的功能；将所检测到的物理对象与所述相机所捕捉到的图像分离并且生成所分离的物理对象的图像；基于检测到的所述物理对象在所述单色屏幕的前景中的位置检测所检测到的物理对象相对于所述用户界面的位置；以及在所述头戴式电子装置生成的所述虚拟环境中显示虚拟图像，所述虚拟图像包括所述用户界面的虚拟图像和与所述相机所捕捉到的图像分离的分离物理对象的虚拟图像。
示例20：根据示例19所述的计算机程序产品，在所述头戴式电子装置生成的所述虚拟环境中显示虚拟图像还包括：在所述头戴式电子装置的所述显示器上将所检测到的物理对象的所述分离图像显示为来自所述相机的穿透图像显示。

Claims (20)

1.一种用于检测和跟踪手动指向装置的位置的方法，包括：
由在周围环境中操作的头戴式电子装置生成虚拟环境；
响应于检测到与所述虚拟环境分离的呼入事件而显示虚拟提示作为虚拟图像，所述虚拟提示包括用户输入窗口；
通过所述头戴式电子装置的相机检测在所述周围环境中操作的手持式电子装置上的单色屏幕的前景中的物理对象，所述单色屏幕响应于对所述虚拟提示的显示而生成，所述单色屏幕被覆盖在所述手持式电子设备的触摸屏显示器内的用户界面上使得所述用户界面通过所述用户界面上覆盖的单色屏幕不可见同时维持所述用户界面的触摸屏功能，检测所述物理对象包括：
捕捉所述手持式电子装置的图像，所述捕捉的图像包括所述手持式电子装置上显示的所述单色屏幕的所述前景中的所述物理对象；以及
从所述捕捉的图像中将所述物理对象的图像与围绕所述物理对象的所述单色屏幕分割；
由所述头戴式电子装置的处理器基于在所述单色屏幕的前景中检测到的所述物理对象的位置来确定所检测到的物理对象相对于由所述单色屏幕覆盖的所述用户界面的位置；
在所述头戴式电子装置的显示器上显示所述用户界面的虚拟图像和所检测到的物理对象的虚拟图像，包括在相对于所述用户界面的所述虚拟图像的一位置处显示所检测到的物理对象的分割图像，该位置对应于所检测到的物理对象相对于所述单色屏幕覆盖的所述用户界面的实际位置；
检测所述触摸屏显示器上的触摸输入，所检测到的触摸输入与由所述单色屏幕覆盖的所述用户界面的元素相对应；以及
响应于所检测到的触摸输入而执行与所述用户界面的所述元素相对应的命令。
2.根据权利要求1所述的方法，检测所述单色屏幕的所述前景中的所述物理对象包括：
检测在所述手持式电子装置的所述显示器上显示的键盘上覆盖的绿色屏幕。
3.根据权利要求2所述的方法，检测所述单色屏幕的所述前景中的所述物理对象和确定所检测到的物理对象相对于所述用户界面的位置包括：
确定手指相对所述绿色屏幕的位置；以及
基于在所述手持式电子装置的所述显示器上所显示的键盘的已知按键布置，将所检测到的所述手指相对所述绿色屏幕的位置映射至所述手指相对于在所述手持式电子装置的所述显示器上显示并被所述绿色屏幕覆盖的所述键盘的位置。
4.根据权利要求3所述的方法，检测所述触摸屏显示器上的所述触摸输入包括：
响应于所检测到的在所述手指与在所述手持式电子装置的所述显示器内显示的所述用户界面之间的物理接触，在所述手持式电子装置的所述显示器内显示的所述用户界面之间的物理接触而接收字符输入，所检测到的物理接触与所述手持式电子装置的所述显示器上显示并且被所述绿色屏幕覆盖的所述键盘的一个按键的位置相对应；以及
在所述头戴式电子装置生成的虚拟显示中显示所接收到的字符输入。
5.根据权利要求4所述的方法，还包括重复对所述物理对象的检测，确定所述物理对象的所述位置，显示所述用户界面的所述虚拟图像和所述物理对象的所述虚拟图像，接收所述字符输入以及显示所接收到的字符输入，直到字符输入模式终止。
6.根据权利要求1所述的方法，显示所检测到的物理对象的所述分割图像包括：
在所述头戴式电子装置的所述显示器上将所述分割图像显示为来自所述相机的穿透图像。
7.根据权利要求1所述的方法，显示所检测到的物理对象的所述分割图像包括：
渲染所检测到的物理对象的所述分割图像；以及
在所述头戴式电子装置的所述显示器上显示所检测到的物理对象的所述分割图像的渲染图像。
8.根据权利要求1所述的方法，其中，所检测到的物理对象位于所述头戴式电子装置和所述手持式电子装置之间。
9.根据权利要求1所述的方法，对所述呼入事件的检测包括检测对文本消息、语音呼叫或电子邮件的接收。
10.一种用于检测和跟踪手动指向装置的位置的系统，包括：
头戴式电子装置，所述头戴式电子装置包括显示器、相机和处理器，所述头戴式电子装置被配置成可操作地与手持式电子装置耦合，其中
所述相机被配置成捕捉所述手持式电子装置的图像，以及
所述处理器被配置成：
响应于检测到与虚拟环境分离的呼入事件而显示虚拟提示作为虚拟图像，所述虚拟提示包括用户输入窗口；
检测所述相机所捕捉到的图像中的在所述头戴式电子装置与所述手持式电子装置的触摸屏显示器上显示的用户界面之间的物理对象包括：
捕捉所述手持式电子装置的图像，所述捕捉的图像包括所述手持式电子装置上显示的单色屏幕的前景中的所述物理对象；以及
从所述捕捉的图像中将所述物理对象的图像与围绕所述物理对象的所述单色屏幕分割；
所述单色屏幕响应于对所述虚拟提示的显示而生成，所述用户界面由单色屏幕覆盖使得所述用户界面通过所述用户界面上覆盖的单色屏幕不可见同时维持所述用户界面的触摸屏功能；
基于所述相机所捕捉到的图像在所述头戴式电子装置的所述显示器上显示所述头戴式电子装置的所述显示器上显示的虚拟场景中的虚拟图像，显示在所述虚拟场景中的所述虚拟图像包括所检测到的物理对象的虚拟图像以及所述手持式电子装置的所述用户界面的虚拟图像，所检测到的物理对象的分割图像被显示在相对于所述用户界面的所述虚拟图像的一位置处，该位置对应于所检测到的物理对象相对于所述单色屏幕覆盖的所述用户界面的实际位置；
检测所述触摸屏显示器上的触摸输入，所检测到的触摸输入与由所述单色屏幕覆盖的所述用户界面的元素相对应；以及
响应于所检测到的触摸输入而执行与所述用户界面的所述元素相对应的命令。
11.根据权利要求10所述的系统，其中，所检测到的物理对象是用户的手指，并且所述用户界面是被在所述手持式电子装置的所述显示器上显示的单色屏幕覆盖的键盘，并且其中，显示在所述头戴式电子装置显示的所述虚拟场景中的所述虚拟图像包括悬停在所述手持式电子装置的所述显示器上的所述键盘的多个按键中的一个上的用户手指的虚拟图像。
12.根据权利要求11所述的系统，其中，所述处理器被配置成基于所检测到的所述手指相对于所述单色屏幕的位置以及所述键盘的多个按键在所述手持式电子装置的所述显示器上的已知布置来确定所述手指相对于所述手持式电子装置的所述显示器上的键盘的位置。
13.根据权利要求11所述的系统，其中，所述处理器被配置成响应于所检测到的所述手指与对应于所述手持式电子装置的所述显示器上的所述键盘的一个按键的所述手持式电子装置的所述显示器的一部分之间的物理接触而接收字符输入，并且在所述头戴式电子装置的所述显示器上显示所述头戴式电子装置的所述显示器上显示的所述虚拟场景中所显示的虚拟图像中的所述字符输入的虚拟图像。
14.根据权利要求10所述的系统，其中，在显示所检测到的物理对象的所述分割图像时，所述处理器被配置成：
在所述头戴式电子装置的所述显示器上显示的所述虚拟场景中将所检测到的物理对象的分割图像显示为来自所述头戴式电子装置的所述相机的穿透图像。
15.根据权利要求10所述的系统，其中，在显示所检测到的物理对象的所述分割图像时，所述处理器被配置成：
渲染所检测到的物理对象的所述分割图像的图像；以及
在所述头戴式电子装置的所述显示器上显示的所述虚拟场景中显示所检测到的物理对象的所述分割图像的渲染图像。
16.根据权利要求10所述的系统，其中，所述处理器被配置成在所述单色屏幕不覆盖在所述用户界面上的情况下显示所述用户界面的所述虚拟图像，使得所述用户界面的各元素在所述头戴式显示装置显示的所述虚拟场景中可见。
17.根据权利要求10所述的系统，对所述呼入事件的检测包括检测对文本消息、语音呼叫或电子邮件的接收。
18.一种非易失性计算机可读存储，所述计算机可读存储介质具有存储在其上的指令序列，所述指令序列在被处理器执行时使得所述处理器执行一种方法，所述方法包括：
由在周围环境中操作的头戴式电子装置生成虚拟环境；
响应于检测到与所述虚拟环境分离的呼入事件而显示虚拟提示作为虚拟图像，所述虚拟提示包括用户输入窗口；
由所述头戴式电子装置的相机捕捉可操作地与所述头戴式电子装置耦合的手持式电子装置的图像；
在所述相机捕捉的图像中检测覆盖在所述手持式电子装置的触摸屏显示器上显示的用户界面上的单色屏幕的前景中的物理对象，所述用户界面维持在所述单色屏幕之下的功能，所述单色屏幕响应于对所述虚拟提示的显示而生成，检测所述物理对象包括：捕捉所述手持式电子装置的图像，所述捕捉的图像包括所述手持式电子装置上显示的所述单色屏幕的所述前景中的所述物理对象；以及从所述捕捉的图像中将所述物理对象的图像与围绕所述物理对象的所述单色屏幕分割，所述单色屏幕覆盖所述用户界面使得所述用户界面通过所述单色屏幕不可见并且所述用户界面维持在所述单色屏幕之下的触摸屏功能；
将所检测到的物理对象与所述相机所捕捉到的图像分割并且生成所分割的物理对象的图像；
基于所检测到的所述物理对象在所述单色屏幕的前景中的位置来检测所检测到的物理对象相对于所述单色屏幕覆盖的所述用户界面的位置；
在所述头戴式电子装置的显示器上显示所述头戴式电子装置的所述显示器上显示的所述虚拟环境中的虚拟图像，所述虚拟图像包括所述用户界面的虚拟图像和所分割的物理对象的虚拟图像，包括在相对于所述用户界面的所述虚拟图像的一位置处显示所检测到的物理对象的分割图像，该位置对应于所检测到的物理对象相对于所述单色屏幕覆盖的所述用户界面的实际位置；
检测所述触摸屏显示器上的触摸输入，所检测到的触摸输入与由所述单色屏幕覆盖的所述用户界面的元素相对应；以及
响应于所检测到的触摸输入而执行与所述用户界面的所述元素相对应的命令。
19.根据权利要求18所述的非易失性计算机可读存储介质，在所述头戴式电子装置的所述显示器上显示的所述虚拟环境中显示所述虚拟图像还包括：
在所述头戴式电子装置的所述显示器上将所检测到的物理对象的所述分割图像显示为来自所述头戴式电子装置的所述相机的穿透图像。
20.根据权利要求18所述的非易失性计算机可读存储介质，对所述呼入事件的检测包括检测对文本消息、语音呼叫或电子邮件的接收。
CN201680025082.2A 2015-09-16 2016-09-01 增强和/或虚拟现实环境中的触摸屏悬停检测 Active CN107743604B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562219423P 2015-09-16 2015-09-16
US62/219,423 2015-09-16
US15/251,573 2016-08-30
US15/251,573 US10338673B2 (en) 2015-09-16 2016-08-30 Touchscreen hover detection in an augmented and/or virtual reality environment
PCT/US2016/049864 WO2017048519A1 (en) 2015-09-16 2016-09-01 Touchscreen hover detection in an augmented and/or virtual reality environment

Publications (2)

Publication Number Publication Date
CN107743604A CN107743604A (zh) 2018-02-27
CN107743604B true CN107743604B (zh) 2021-02-02

Family

ID=58238843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025082.2A Active CN107743604B (zh) 2015-09-16 2016-09-01 增强和/或虚拟现实环境中的触摸屏悬停检测

Country Status (6)

Country Link
US (1) US10338673B2 (zh)
EP (1) EP3350666A1 (zh)
JP (2) JP2018534643A (zh)
KR (1) KR102038639B1 (zh)
CN (1) CN107743604B (zh)
WO (1) WO2017048519A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587918B2 (ja) * 2015-11-27 2019-10-09 京セラ株式会社 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
US10521008B2 (en) * 2016-04-14 2019-12-31 Htc Corporation Virtual reality device, method for virtual reality, and non-transitory computer readable storage medium
CN105955453A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种3d沉浸式环境下的信息输入方法
KR102356345B1 (ko) * 2016-04-20 2022-01-28 삼성전자주식회사 전자 장치 및 그 제어 방법
US20170329440A1 (en) * 2016-05-12 2017-11-16 Cirque Corporation Controller premonition using capacitive sensing
KR20180002208A (ko) * 2016-06-29 2018-01-08 엘지전자 주식회사 단말기 및 그 제어 방법
US20180033200A1 (en) * 2016-07-26 2018-02-01 Dell Products, Lp System and method for multiple device augmented surface
US10168798B2 (en) * 2016-09-29 2019-01-01 Tower Spring Global Limited Head mounted display
KR102659981B1 (ko) * 2017-01-03 2024-04-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9983687B1 (en) * 2017-01-06 2018-05-29 Adtile Technologies Inc. Gesture-controlled augmented reality experience using a mobile communications device
CN110832439B (zh) 2017-04-27 2023-09-29 奇跃公司 发光用户输入设备
GB2555501B (en) 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
US11054894B2 (en) * 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10895966B2 (en) * 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
DE102017211518A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, entsprechendes Virtual-Reality-System sowie Fahrzeug
CN110019583B (zh) * 2017-08-29 2021-01-05 深圳市掌网科技股份有限公司 一种基于虚拟现实的环境展示方法和系统
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
DE102017217592A1 (de) * 2017-10-04 2019-04-04 Audi Ag Kinetosefreies Betrachten eines digitalen Inhalts in einem Fahrzeug
US10776475B2 (en) 2017-11-13 2020-09-15 International Business Machines Corporation Secure password input in electronic devices
US20190042778A1 (en) * 2017-12-14 2019-02-07 Intel Corporation Methods And Apparatus To Protect Digital Content With Computer-Mediated Reality
US11323556B2 (en) * 2018-01-18 2022-05-03 Samsung Electronics Co., Ltd. Electronic device and method of operating electronic device in virtual reality
CN110494792B (zh) 2018-03-07 2021-07-09 奇跃公司 外围设备的视觉跟踪
CN108521545B (zh) * 2018-03-26 2020-02-11 Oppo广东移动通信有限公司 基于增强现实的图像调整方法、装置、存储介质和电子设备
US10877554B2 (en) 2018-04-19 2020-12-29 Samsung Electronics Co., Ltd. High efficiency input apparatus and method for virtual reality and augmented reality
US10504289B2 (en) 2018-05-01 2019-12-10 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
US11500452B2 (en) * 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
EP3811183B1 (en) * 2018-06-21 2024-01-03 Magic Leap, Inc. Methods and apparatuses for providing input for head-worn image display devices
CN109062645B (zh) * 2018-07-11 2020-02-07 北京字节跳动网络技术有限公司 用于终端的处理信息的方法和装置
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
CN109544663B (zh) * 2018-11-09 2023-01-06 腾讯科技（深圳）有限公司 应用程序的虚拟场景识别与交互键位匹配方法及装置
US10854169B2 (en) 2018-12-14 2020-12-01 Samsung Electronics Co., Ltd. Systems and methods for virtual displays in virtual, mixed, and augmented reality
KR102539579B1 (ko) 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
CN109683667A (zh) * 2018-12-25 2019-04-26 上海萃钛智能科技有限公司 一种头戴式计算机及其信息输入方法
US11099634B2 (en) * 2019-01-25 2021-08-24 Apple Inc. Manipulation of virtual objects using a tracked physical object
US11086392B1 (en) * 2019-04-09 2021-08-10 Facebook Technologies, Llc Devices, systems, and methods for virtual representation of user interface devices
US11137908B2 (en) * 2019-04-15 2021-10-05 Apple Inc. Keyboard operation with head-mounted device
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
US11270515B2 (en) * 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
CN112835445B (zh) * 2019-11-25 2024-04-26 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
US11262853B2 (en) 2020-03-10 2022-03-01 Cirque Corporation Measuring capacitance
WO2021236170A1 (en) 2020-05-18 2021-11-25 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking
CN114201030A (zh) * 2020-09-16 2022-03-18 华为技术有限公司 设备交互方法、电子设备及交互系统
CN112462937B (zh) * 2020-11-23 2022-11-08 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
WO2022123390A1 (ja) * 2020-12-11 2022-06-16 株式会社半導体エネルギー研究所 表示システムの動作方法
CN113031847A (zh) * 2021-04-29 2021-06-25 中国工商银行股份有限公司 基于vr技术的数据输入方法及装置、电子设备及存储介质
EP4339873A4 (en) 2021-11-09 2024-05-01 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
CN114168063A (zh) * 2021-12-13 2022-03-11 杭州灵伴科技有限公司 虚拟按键显示方法、头戴式显示设备和计算机可读介质
US20240036698A1 (en) * 2022-07-28 2024-02-01 Ntt Docomo, Inc. Xr manipulation feature with smart watch
US20240069843A1 (en) * 2022-08-29 2024-02-29 Piotr Gurgul Extending user interfaces of mobile apps to ar eyewear

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162524A (zh) * 2006-08-11 2008-04-16 佳能株式会社 图像处理设备及方法
US8502780B1 (en) * 2012-11-20 2013-08-06 Lg Electronics Inc. Head mount display and method for controlling the same
US9128520B2 (en) * 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574323B2 (ja) * 2004-10-26 2010-11-04 キヤノン株式会社 画像処理方法、画像処理装置
US7920165B2 (en) 2005-09-26 2011-04-05 Adderton Dennis M Video training system
US8085243B2 (en) * 2006-02-03 2011-12-27 Panasonic Corporation Input device and its method
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置
JP4356763B2 (ja) * 2007-01-30 2009-11-04 トヨタ自動車株式会社 操作装置
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
CN101673161B (zh) * 2009-10-15 2011-12-07 复旦大学 一种可视可操作无实体的触摸屏系统
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US20120218395A1 (en) * 2011-02-25 2012-08-30 Microsoft Corporation User interface presentation and interactions
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
US8952869B1 (en) * 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
JP5740321B2 (ja) * 2012-02-02 2015-06-24 株式会社東芝 距離計測装置、距離計測方法及び制御プログラム
WO2013179426A1 (ja) * 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
CN104520781B (zh) * 2012-08-01 2018-10-02 爱格升有限公司 带有线缆管理系统的推车
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
US20140176562A1 (en) * 2012-12-21 2014-06-26 Appsense Limited Systems and methods for providing a software application privacy screen
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
JP6165485B2 (ja) * 2013-03-28 2017-07-19 国立大学法人埼玉大学 携帯端末向けａｒジェスチャユーザインタフェースシステム
US10582878B2 (en) 2013-05-09 2020-03-10 Sunnybrook Research Institute Systems and methods for providing visual feedback of touch panel input during magnetic resonance imaging
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
GB201310373D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable Apparatus and systems
GB201314984D0 (en) * 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US20150187143A1 (en) * 2013-12-26 2015-07-02 Shadi Mere Rendering a virtual representation of a hand
JP6743691B2 (ja) * 2014-02-20 2020-08-19 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
CN106233227B (zh) * 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162524A (zh) * 2006-08-11 2008-04-16 佳能株式会社 图像处理设备及方法
US9128520B2 (en) * 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US8502780B1 (en) * 2012-11-20 2013-08-06 Lg Electronics Inc. Head mount display and method for controlling the same

Also Published As

Publication number Publication date
WO2017048519A1 (en) 2017-03-23
US20170076502A1 (en) 2017-03-16
JP2020113298A (ja) 2020-07-27
KR102038639B1 (ko) 2019-11-29
JP2018534643A (ja) 2018-11-22
EP3350666A1 (en) 2018-07-25
CN107743604A (zh) 2018-02-27
KR20170130602A (ko) 2017-11-28
JP6907366B2 (ja) 2021-07-21
US10338673B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
CN107743604B (zh) 增强和/或虚拟现实环境中的触摸屏悬停检测
US10083544B2 (en) System for tracking a handheld device in virtual reality
US10275023B2 (en) Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US11181986B2 (en) Context-sensitive hand interaction
EP3314371B1 (en) System for tracking a handheld device in an augmented and/or virtual reality environment
US10338687B2 (en) Teleportation in an augmented and/or virtual reality environment
US20170372499A1 (en) Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
CN109074154B (zh) 增强和/或虚拟现实中的悬停触摸输入补偿
CN107209568B (zh) 控制虚拟现实空间中的投影的方法、系统以及其存储介质
US20170256096A1 (en) Intelligent object sizing and placement in a augmented / virtual reality environment
US20180150204A1 (en) Switching of active objects in an augmented and/or virtual reality environment
US20180059777A1 (en) Manipulating virtual objects with six degree-of-freedom controllers in an augmented and/or virtual reality environment
CN109074149B (zh) 用于增强或虚拟现实环境的头戴式参考系中的对象跟踪
CN109906424B (zh) 用于虚拟现实系统的输入控制器稳定技术
US10635259B2 (en) Location globe in virtual reality
US20180136743A1 (en) Dragging virtual elements of an augmented and/or virtual reality environment
EP3506082B1 (en) Audio rendering for augmented reality
CN113243000A (zh) 用于增强现实对象的捕捉范围
WO2023172341A1 (en) Multi-device awareness for casting and content delivery
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant