CN110753898B - 沉浸式环境内与虚拟对象的基于悬停的用户交互 - Google Patents

沉浸式环境内与虚拟对象的基于悬停的用户交互 Download PDF

Info

Publication number
CN110753898B
CN110753898B CN201880039766.7A CN201880039766A CN110753898B CN 110753898 B CN110753898 B CN 110753898B CN 201880039766 A CN201880039766 A CN 201880039766A CN 110753898 B CN110753898 B CN 110753898B
Authority
CN
China
Prior art keywords
user
hmd
interaction data
touch
fov
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880039766.7A
Other languages
English (en)
Other versions
CN110753898A (zh
Inventor
M·帕胡德
N·里什
E·奥菲克
C·赫特
S·尤努佐维克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110753898A publication Critical patent/CN110753898A/zh
Application granted granted Critical
Publication of CN110753898B publication Critical patent/CN110753898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了用于使能与沉浸式环境(IE)中包括的虚拟对象(VO)的用户交互的系统和方法。头戴式显示(HMD)设备经由通信会话与悬停感测(HS)设备通信耦合。HMD设备通过显示包括VO的视场(FOV)来向佩戴者提供IE。用户执行用户交互，诸如2D和/或3D手部手势、指尖手势、多指尖手势、触笔手势、悬停手势等。HS设备检测用户交互并生成交互数据。交互数据经由通信会话被提供给HMD设备。HMD设备基于交互数据更新FOV和/或VO。包括3D凸起的物理覆盖物与HS设备耦合。覆盖物对HS设备的悬停感测能力是透明的。凸起向用户提供触感反馈以用于用户交互。

Description

沉浸式环境内与虚拟对象的基于悬停的用户交互
背景技术
计算技术的进步已经推动了巨大的开发努力以在诸如模拟、游戏和娱乐应用等各种计算应用中部署沉浸式环境。例如，各种在线游戏平台已经将虚拟现实(VR)环境、增强现实(AR)环境和/或混合现实(MR)环境集成到游戏玩法中。部署这样的沉浸式环境使得用户能够查看和感知计算机生成的三维(3D)对象，就好像这些对象实际存在于用户感知的环境内一样。已经开发出诸如VR和/或AR头戴式耳机等各种头戴式显示(HMD)设备以部署沉浸式环境。这样的HMD 设备通常向用户提供包括计算机生成的3D对象的视场(FOV)的显示。也就是说，HMD设备提供沉浸式环境的显示。
然而，为了增强用户在沉浸式环境内的体验，支持与经由HMD 设备显示的计算机生成的3D对象的现实用户交互是有利的。例如，可以通过使得用户能够选择、控制、编辑、旋转、平移或以其他方式操纵由HMD设备提供的FOV内的各种计算机生成的3D对象来增强沉浸式体验。此外，用户可能希望改变所提供的FOV的各个方面或特性。因此，对于真正的沉浸式体验，用户提供输入以与计算机生成的3D对象进行交互的能力是至关重要的。对于这些关注点和其他关注点，提供了以下公开内容。
发明内容
本文中描述的实施例提供了用于提供与沉浸式环境(IE)中包括的虚拟对象(VO)的现实和直观的用户交互的方法和系统。更具体地，各种实施例涉及经由通信会话将头戴式显示(HMD)设备与交互感测(IS)设备通信耦合。HMD设备通过显示包括一个或多个VO 的视场(FOV)来向佩戴者提供IE。
用户执行一个或多个手势(即，用户交互)，诸如但不限于2D 和/或3D手部手势、指尖手势、多指尖手势、触笔手势、悬停手势等。 IS设备检测、感测和/或跟踪用户交互。响应于对用户交互的这样的检测，IS设备生成交互数据，并且经由通信会话将交互数据的至少一部分提供给HMD设备。响应于交互数据在HMD设备处被接收，FOV 和/或FOV中包括的一个或多个VO被更新和/或修改。更新和/或修改 FOV和/或VO可以指示用户的与VO的意图的用户交互。
在各种实施例中的一些中，IS设备与HMD设备分离，即，IS设备未嵌入在HMD设备内和/或未与HMD设备集成。IS设备可以包括悬停感测(HS)设备、触摸和悬停(TAH)设备或其组合中的至少一项。在其他各种实施例中，IS设备包括至少2D触敏设备。在各种实施例中的至少一个中，IS设备包括经由交互数据来检测和编码用户交互的多个相机设备。
在一些实施例中，物理覆盖物可以与IS设备耦合。例如，当耦合到HS设备和/或TAH设备时，覆盖物的一个或多个表面(例如，凸起)可以从HS设备和/或TAH设备的活动表面移位。覆盖物可以由对HS和/或TAH设备的悬停感测能力至少部分地透明的材料构成。因此，用户可以触摸覆盖物的移位表面，并且HS设备和/或TAH设备的悬停感测能力可以在移位表面上检测用户的指尖。覆盖物的移位表面可以提供一个或多个2D和/或3D形状和/或凸起。这样的形状或凸起可以包括但不限于弯曲的凸台、平行六面体、柱体、锥体等。因此，当与VO交互时，覆盖物的移位表面的形状和/或凸起提供针对用户的触感(tactile)反馈。
附图说明
下面参考附图详细描述本发明，在附图中：
图1是包括通信地耦合到头戴式显示设备的交互感测设备并且适合于在实现本公开的实施例中使用的示例性计算环境的框图；
图2A是示出根据本公开的一些实施例的经由交互感测设备使能的与虚拟对象的示例性用户交互的示意图；
图2B是示出根据本公开的一些实施例的用户选择虚拟对象的层以与交互感测设备的触敏表面相关的示例性实施例的示意图；
图2C是示出根据本公开的一些实施例的用户通过触摸交互感测设备的触敏表面来修改虚拟对象的所选择的层的示例性实施例的示意图；
图3A是示出根据本公开的一些实施例的将覆盖物的示例性实施例与交互感测设备机械地耦合的步骤的示意图；
图3B是示出根据本公开的一些实施例的用户采用图3A的机械耦合的覆盖物和交互感测设备来更新虚拟对象的旋转取向的示例性实施例的示意图；
图4A是根据本公开的一些实施例的用户采用交互感测设备和另一机械耦合的覆盖物来更新虚拟对象的位置的示例性实施例的示意图；
图4B是示出根据本公开的一些实施例的用户采用图4A的交互感测设备和另一机械耦合的覆盖物来在沉浸式环境内生成虚拟对象的示例性实施例的示意图；
图5是示出根据本公开的一些实施例的将包括三维表面和电容性耦合器的覆盖物与包括二维电容性感测表面的交互感测设备机械地耦合的示例性步骤的示意图；
图6是示出用户采用作为交互感测设备的相机系统和头戴式显示设备来在沉浸式环境内生成虚拟对象的示例性实施例的示意图；
图7是示出根据本公开的一些实施例的用于使能与虚拟对象的用户交互的方法的示例性实施例的流程图；
图8是示出根据本公开的一些实施例的用于使能与虚拟对象的用户交互的方法的另一示例性实施例的流程图；
图9是根据本公开的一些实施例的示例性头戴式显示设备的框图；以及
图10是适合于在实现本公开的实施例中使用的示例性计算环境的框图。
具体实施方式
如本文中使用的，术语“虚拟对象”(VO)可以指代任何计算机生成的对象或(物理或非物理)对象的任何计算机生成的可视化。这样的计算机生成的对象(或其计算机生成的可视化)可以是一维 (1D)对象、二维(2D)或三维(3D)对象(或其可视化)。如本文中使用的，术语“沉浸式环境”(IE)可以是指包括一个或多个 VO的显示的任何物理(即，“真实”)环境、任何非物理(即，“计算机生成的”和/或“虚拟”)环境、或其任何组合。这样的IE包括但不限于虚拟现实(VR)环境、增强现实(AR)环境和/或混合现实 (MR)环境。
如本文中使用的，术语“交互数据”可以指代指示或编码用户交互(例如，手部、指尖和多指尖手势)的任何数据或信息。如本文中使用的，“交互感测设备”或简称为“IS设备”可以是检测、感测和 /或跟踪用户交互的任何设备，用户交互诸如但不限于手部手势、指尖手势、多指尖手势、触笔手势等。响应于对用户交互的这样的检测， IS设备可以生成对用户交互编码的交互数据。所生成的交互数据可以对由用户执行的2D和/或3D手部、指尖或多指尖手势编码。在一些实施例中，IS设备可以对由用户执行的触笔或触笔尖的手势编码。
在各种实施例中，IS设备包括一个或多个有线和/或无线数据收发器，以经由通信会话向另一设备提供所生成的交互数据的至少一部分。这样的无线数据收发器包括但不限于一个或多个通信无线电。在一些实施例中，IS设备可以包括触觉(haptic)反馈接口，类似于诸如平板计算机和智能电话等移动设备中经常包括的触觉反馈接口。
最近，计算技术的开发努力已经使“悬停”感测(HS)设备成为可能。这样的HS设备通常检测用户的手部、手指和指尖(即，肢端 (extremity))的“悬停手势”、以及由用户持握的触笔的手势。通常，HS设备包括一个或多个(平面和/或非平面)活动表面以及相关联的悬停手势传感器。悬停手势传感器可以包括接近传感器。相关联的接近传感器检测与一个或多个活动表面接近的用户肢端(例如，用户的手部、手指和指尖)的存在(或不存在)。对于一些HS设备，在肢端接近活动表面悬停和/或运动的同时，接近传感器可以确定、感测和/或检测用户肢端的大约至少3D位置或定位(相对于相关联的活动表面)。
更具体地，当用户肢端接近于一个或多个表面时，HS设备被使能以生成交互数据，该交互数据对用户肢端相对于一个或多个活动表面的3D定位、位置和/或运动进行指示或编码。尽管通篇讨论对用户肢端的定位和/或运动的检测和编码，但是应当理解，可以采用HS设备来检测和编码其他用户交互，诸如经由用户持握的触笔发起的那些交互。
接近传感器可以经由类似于在触敏显示设备中采用的电容性感测技术来实现。通常，HS设备可以检测与活动表面相距阈值距离(即，接近距离阈值)内的用户肢端。不同的HS设备与各种接近距离阈值相关联。对于一些HS设备，接近距离阈值在2.0cm与20.0cm之间。一些HS设备的接近距离阈值小于10.0cm。对于至少一个HS设备，接近距离阈值约为4.0cm。
因此，HS设备可以检测(并且经由交互数据编码)与通常与触敏显示设备相关联的指尖和多指尖手势类似的悬停手势。然而，与关联于触敏显示设备的2D指尖手势相比，这种悬停手势可以是3D指尖和多指尖手势。例如，对于HS设备的平面活动表面，可以采用笛卡尔坐标系。笛卡尔坐标系的x-y平面可以与HS设备的平面活动表面基本共面(并且笛卡尔坐标系的z轴可以基本正交于HS设备的平面活动表面)。
更具体地，嵌入HS设备的平面活动表面中和/或与HS设备的平面活动表面集成的电容性接近传感器检测接近活动表面而悬停和/或运动的用户指尖。响应于该检测，只要指尖的z坐标小于与活动表面相关联的接近传感器的接近距离阈值，HS设备就生成交互数据，该交互数据对用户的指尖中的一个或多个指尖(相对于活动表面)的x 坐标、y坐标和z坐标编码。取决于嵌入在HS设备中的具体接近传感器，接近传感器在每个维度上的分辨率可以相似或可以不同。对于具有非平面活动表面的HS设备，取决于非平面活动表面的形状，可以采用其他的标准正交3D坐标系，诸如但不限于球形坐标或圆柱坐标。
如此，HS设备可以用于检测和编码各种用户交互，诸如但不限于与触敏位移设备相关联的任何2D手势的3D版本，诸如但不限于 3D版本的“捏”、“拉”、“按下并保持”、“单指敲击”、“两指敲击”、“单击”、“双击”、“向左滑动”、“向右滑动”、压力变化(例如，3D触摸)手势等。此外，HS设备可以用于检测和编码手写式笔记、草图、绘图以及经由用户指尖和/或由用户的手持握并引导的触笔发起的其他用户交互。
HS设备的悬停感测能力可以与诸如但不限于触摸敏感显示设备等触敏设备集成，以生成触摸和悬停(TAH)设备。触敏设备检测和编码用户的肢端的2D触摸、以及用户的肢端的3D悬停手势。也就是说，活动表面与触敏显示设备的触敏表面相类似得起作用。如此，TAH设备可以检测和编码与触敏显示设备相关联的所有2D指尖、多指尖和触笔尖手势(在活动表面上)、以及与活动表面接近的3D指尖、多指尖和触笔尖手势。因此，TAH设备是HS设备。TAH设备的触敏表面也可以是显示设备，但不是必须的。
因此，在一些实施例中，IS设备包括HS设备、TAH设备或其组合中的至少一项。在其他各种实施例中，IS设备至少包括2D触敏设备。在一些实施例中，IS设备可以包括2D触敏显示设备。在其他的一些实施例中，IS设备不包括显示设备。例如，IS设备可以包括2D 触敏跟踪板或者可以包括不包含显示设备的TAH设备(即，触敏设备不是显示设备)。在各种实施例中的至少一个中，IS设备包括包含接近传感器、运动传感器、相机等的各种组合的游戏和/或娱乐系统。相机和/或运动传感器的这种组合可以被使能为经由所生成的交互数据通过游戏玩法来检测和编码用户的移动。
在各种实施例中，IS设备可以包括触敏设备，诸如触敏显示设备，其中触敏设备是多点触摸显示设备。也就是说，检测和/或感测两个或更多个接触点的触敏设备。除了是触敏的，IS设备还可以包括压敏设备，诸如压敏显示设备。这样的IS设备可以经由多压力触摸或指尖手势来检测3D手势。也就是说，用户可以通过压敏设备经由压力变化手势(例如，3D触摸)来提供3D手势。例如，可以经由压力变化手势和压敏设备来类似地提供经由HS而提供的3D信息。
在一些实施例中，IS设备可以包括触敏、压敏设备、悬停敏感设备的任何组合。也就是说，IS设备中包括的触敏设备也可以是压敏的和/或悬停敏感的。因此，IS设备可以检测3D的类似触摸、压力和/ 或悬停的手势。在本文中的其他的一些实施例中，可以通过采用一个或多个光子检测器(例如，相机)跟踪悬停在2D触敏表面之上的指尖的运动，经由诸如IS设备的一个或多个设备来检测3D手势。例如，可以采用光子检测器的矩阵以通过检测从用户指尖反射的光子来检测手势。类似地，IS设备可以经由声学和/或超声成像来跟踪用户的手势。在一些实施例中，IS设备可以包括磁传感器，并且用户佩戴磁环。IS设备可以经由磁传感器和磁环检测3D手势。在其他的一些实施例中，可以通过感测与机械和/或活动设备或部件的交互来检测用户手势，机械和/或活动设备或部件诸如但不限于开关、拨盘、杠杆、按钮、操纵杆、轨迹球、可点击设备等。IS设备可以包括数据手套和其他感测设备，诸如外骨骼。这样的IS设备可以被使能为检测诸如平板计算机的移动设备之上的手势。在各种实施例中，这些IS设备中的任何IS设备也可以提供触觉反馈。
除了HS设备和TAH设备，计算技术的开发工作还导致了各种头戴式显示(HMD)设备的开发。这样的HMD设备通常支持计算机生成的二维(2D)和/或三维(3D)对象的真实感知。更具体地，HMD 设备向佩戴HMD设备的用户提供包括一个或多个虚拟化对象(VO) 的视场(FOV)的可视化(或显示)。如此，HMD设备在沉浸式环境(IE)内提供VO的显示或可视化。
用户可能希望与IE内的VO交互。例如，用户可能希望选择、控制、编辑、旋转、平移或以其他方式操纵VO。类似地，用户可能希望与VO的各种分立的特征、结构、组件、模块、控件或其他部分交互。一些HMD设备支持与VO进行有限的用户交互。例如，一些HMD 设备包括检测通过自由空间的各种用户手部手势的嵌入式运动传感器(例如，相机)。在检测到这样的自由空间手势时，HMD设备可以修改VO。
然而，这种嵌入式运动传感器的空间分辨率(以及因此的用户交互)可能受到限制。例如，除非用户将他们的手部定位成靠近HMD 设备，否则与嵌入式运动传感器相关联的光学系统的角分辨率可能限制分辨用户手部位置的相对较小的空间差异的能力。这种受限的分辨率可能限制用户选择、编辑或以其他方式操纵紧密间隔的VO或VO 的紧密间隔特征的能力。此外，这样的HMD设备可能需要在用户的手部与嵌入式运动传感器之间的直接光学视线。例如，如果光学不透明的表面(例如，桌面)位于用户的手部与HMD设备之间，或者如果用户将其手部定位在腰部附近，则嵌入式运动传感器的检测功能可能受到限制。
除了空间分辨率的考虑，通过自由空间的手部手势还缺乏与其他物理对象相关联的触感和触觉反馈。考虑用户期望选择和旋转虚拟化对象的一个示例(例如，用户想要选择和旋转IE内的虚拟地球仪)，采用自由空间手部手势的用户不会体验到与他们的手部或指尖交互的相关联的物理对象的反馈。此外，在一些沉浸式应用中，所允许的用户交互可能会受到限制。例如，在沉浸式游戏环境内，可能存在虚拟化的墙或用户的手部(或所选择的VO)可能与之碰撞的其他VO。自由空间手部手势发起的用户交互缺少对这样的碰撞事件的触感和触觉反馈。此外，这种不受约束的自由空间手势可能无法提供直观的用户交互来操纵靠近物理对象的VO。
此外，至少由于触敏显示设备的大量采用，用户已经习惯于经由直观的指尖手势与在计算设备上运行的应用交互。例如，由于触敏显示设备在移动设备(例如，智能电话、平板计算机、智能手表等)中的集成，用户已经熟悉了经由直观的指尖手势的在移动应用内的用户交互。这样的指尖手势可以包括多点触摸(或多指尖)手势，诸如但不限于“捏”、“拉”、“按下并保持”、“单指敲击”、“两指敲击”、“单击”、“双击”、“向左滑动”、“向右滑动”、压力变化(例如，3D触摸)手势等。多点触摸手势甚至可以支持与计算应用的多个组件的同时交互。例如，用户可以经由多指尖触摸同时选择智能电话上的多个图标，以分离触敏显示设备的部分。
这种高度采用的直观用户交互可能难以经由通过嵌入在HMD设备中的运动传感器而检测到的通过自由空间的手部手势来实现。例如，分辨率受限的HMD设备运动传感器可能难以解决多个紧密间隔的指尖的空间分辨。也就是说，这种触敏设备的空间分辨率可以大于运动传感器的空间分辨率。常规运动传感器的另一问题是遮挡。例如，用户的一些手指可能遮挡用户的其他手指。此外，对基于与触敏显示设备的物理接触的指尖手势的检测也是一个挑战。例如，通过自由空间的手部手势可能无法真实地模拟与触敏显示设备中流行的“敲击”和“按下并保持”指尖手势相关联的用户体验。也就是说，自由空间手部手势缺乏在触敏显示设备上敲击和滑动的触感反馈。
自由空间用户交互的其他限制包括用户必须在没有支撑的情况下将其手悬停在自由空间中。在长时间使用之后，用户的肌肉可能开始疲劳。另外，用户手臂的长度受到限制。在一些情况下，以手势检测的分辨率或准确性为代价，用户的手臂可能用作指针。与嵌入在 HMD设备中的运动传感器相关联的自由空间用户交互的这种限制可能降低与IE内的VO交互的用户的“沉浸式体验”。
本文的各种实施例涉及使能与IE中包括的VO进行的现实和直观的用户交互的系统和方法。如通篇所讨论的，本文中的各种实施例解决了用于与VO交互的先前可用方法和系统的上述限制中的每一个。更具体地，各种实施例旨在经由通信会话将头戴式显示(HMD)设备与交互感测(IS)设备通信耦合。用户执行一个或多个手势，诸如但不限于2D和/或3D手部手势、指尖手势、多指尖手势、触笔手势等。通过执行这样的手势，用户意图与IE中包括的VO中的一个或多个VO进行交互(即，用户意图执行与VO的用户交互)。
IS设备检测、感测和/或跟踪用户交互。响应于用户交互的这样的检测，IS设备生成交互数据，并且经由通信会话将交互数据的至少一部分提供给HMD设备。响应于在HMD设备处接收的交互数据，IE 内的FOV和/或一个或多个VO被更新和/或修改。更新和/或修改FOV 和/或VO可以指示用户与VO的所意图的用户交互。
在各个实施例中的一些中，IS设备与HMD设备分离，即，IS设备未嵌入在HMD设备内和/或未与HMD设备集成。IS设备可以包括 HS设备、TAH设备或其组合中的至少一项。在其他各种实施例中， IS设备至少包括2D触敏设备。在各种实施例中的至少一个中，IS设备包括经由交互数据来检测和编码用户交互的多个相机设备。
在一些实施例中，物理覆盖物可以与IS设备耦合。例如，当耦合到HS设备和/或TAH设备时，覆盖物的一个或多个表面可以从HS 设备和/或TAH设备的活动表面移位。覆盖物可以从对HS和/或TAH 设备的悬停感测能力至少部分地透明的材料来构造。因此，用户可以触摸覆盖物的移位表面，并且HS设备和/或TAH设备的悬停感测能力可以在移位表面上检测用户的指尖。覆盖物的移位表面可以提供一个或多个2D和/或3D形状和/或凸起。这样的形状或凸起可以包括但不限于弯曲的凸台、平行六面体、柱体、锥体等。因此，当与VO交互时，覆盖物的移位表面的形状和/或凸起提供针对用户的触感反馈。
在各种实施例中，IS设备可以自动确定与覆盖物相关联的标识符。可以基于覆盖物的标识符来更新MHD设备的模式。在一些实施例中，用户的指尖沿着覆盖物的移位表面的运动可以经由交互数据被检测和编码。交互数据被用来确定形状和/或标识由移位表面提供的凸起。可以基于所确定的形状来更新和/或修改FOV和/或VO。
在各种实施例中，IS的2D表面可以被映射到环境中的3D虚拟或真实对象的2D表面。在触摸表面之上移动手指将在对象的表面上移动点，其中表面区域与IS表面之间的映射以与纹理映射的定义相同的方式被定义。此外，将手指悬停或举到IS表面上方将在3D表面法线的方向上将对应的3D点远离对象移动。
IS设备中包括的触觉反馈接口可以用于根据在FOV内发生的事件来向用户提供触觉反馈。因此，覆盖物的形状和/或凸起、以及IS 设备的触觉反馈接口在与VO交互时提供用户触感和/或触觉反馈。当覆盖物未与IS设备耦合时，用户可以另外经由IS设备的触敏设备上的2D指尖和多指尖手势与VO交互。因此，用户可以经由IS设备的触敏表面而被提供触感反馈。此外，如通篇所讨论的，鉴于IS设备的悬停感测和触摸感测活动表面的空间分辨率的提高，经由各种IS 设备而检测到的悬停手势可以支持与VO的更精确和准确的用户交互。另外，IS的表面(诸如但不限于触敏表面和IS覆盖物的表面) 为用户的指尖提供支撑和摩擦。这种摩擦可以支持用户的手指的精确移动。
现在参考图1，适合于在实现本公开的实施例中使用的示例性计算环境100的框图。系统100包括交互感测(IS)设备110和头戴式显示(HMD)设备140。更具体地，图1针对IS设备110和HMD设备140中的每一个示出了非限制性物理形状因子实施例和非限制性组件框图。
通信网络160经由通信会话将IS设备110和HMD设备140通信地耦合。在一些实施例中，通信网络160是使能IS设备110与HMD 设备140之间的通信会话的对等(P2P)网络。例如，IS设备110和 HMD设备140可以经由P2P通信会话而配对。在其他的一些实施例中，通信网络160可以包括但不限于一个或多个局域网(LAN)和/ 或广域网(WAN)。在示例性实现中，在各种可能的公共和/或私有网络中的任何一个中，网络160包括互联网和/或蜂窝网络。
虽然图1示出了耦合到HMD设备140的单个IS设备，但是应当注意，多个IS设备可以耦合到HMD设备140。例如，至少两个IS 设备(用户的每只手一个)可以耦合到HMD设备140。在其他的一些实施例中，一个或多个IS设备可以耦合到HMD设备140，其中所耦合的一个或多个IS设备的一个或多个用户未佩戴HMD设备140。也就是说，IS设备110的用户可以与佩戴HMD设备140的用户不是同一用户。类似地，IS设备110可以耦合到多于一个的HMD设备。也就是说，单个IS设备可以与多个HMD设备耦合和/或配对。
IS设备110可以包括2D触敏表面112。触敏表面112可以包括触敏设备，诸如但不限于类似于在诸如智能电话和平板计算机的计算设备中经常使用的触敏显示设备。然而，触敏表面112不必是显示设备。如图1所示，触敏表面112可以是平面表面，但是可以备选地包括非平面(即，弯曲)表面。
IS设备110包括感测或检测触敏表面112上的触摸手势的触摸手势传感器120。更具体地，触摸手势传感器120可以感测和/或检测与触敏设备相关联的2D触摸手势。也就是说，触摸手势传感器120可以感测和/或检测手部、指尖、多指尖和触笔手势，诸如但不限于“捏”、“拉”、“按下并保持”、“单指敲击”、“两指敲击”、“单击”、“双击”、“向左滑动”、“向右滑动”、压力变化(例如，3D触摸)手势等。在各种实施例中，触摸手势传感器120可以是电容性感测传感器。因此，触敏表面112可以是2D电容性感测表面。
在一些实施例中，IS设备110可以是悬停感测(HS)设备。在至少一个实施例中，IS设备110可以是触摸和悬停(TAH)设备。在这样的实施例中，触敏表面112可以附加地是HS设备的活动表面，即，IS设备110可以感测与触敏表面112接近的悬停手势。因此，表面112可以既是触敏的，又是悬停敏感的。更具体地，IS设备可以包括感测和/或检测与触敏表面112接近的悬停手势的悬停手势传感器 122，诸如但不限于接近和/或运动传感器。这样的悬停手势包括但不限于3D手部、指尖、多指尖和触笔手势。例如，悬停手势传感器122 可以感测和/或检测与触敏设备相关联的3D版本的指尖手势，诸如但不限于3D版本的“捏”、“拉”、“按下并保持”、“单指敲击”、“两指敲击”、“单击”、“双击”、“向左滑动”、“向右滑动”、压力变化(例如，3D触摸)手势等。
在各种实施例中，悬停手势传感器122可以是电容性感测传感器。因此，触敏表面112可以是3D电容性感测表面。在至少一个实施例中，IS设备110不包括触敏表面和/或触敏传感器。也就是说，表面 112可以仅是悬停感测表面(即，表面112不是触敏表面)。
IS设备110包括生成交互数据的交互数据生成器124，该交互数据对分别经由触摸手势传感器120和悬停手势传感器122而感测和/ 或检测的触摸手势和悬停手势编码。交互数据生成器124可以处理、打包、加密或以其他方式准备交互数据以传输到HMD设备140。IS设备110包括IS数据收发器128，IS数据收发器128可以是有线或无线数据收发器。这样的无线数据收发器包括但不限于一个或多个通信无线电。IS数据收发器128被使能为经由通过通信网络160而使能的通信会话向HMD设备140提供交互数据。
在一些实施例中，IS设备110包括触觉反馈接口，诸如通常集成在智能电话、平板计算机、视频游戏控制器设备等中的那些触觉反馈接口。IS设备110可以包括感测和/或检测用户的自由空间手势的多个相机设备。交互数据生成器124可以生成对这样的自由空间手势编码的交互数据。在各种实施例中，IS设备110包括计算设备中所包括的一个或多个附加组件。在至少一个实施例中，IS设备110包括IS 计算设备130。至少结合图10来讨论计算设备的各种实施例。
HMD设备140包括被使能为向佩戴HMD设备140的用户提供一个或多个虚拟对象(VO)的显示和/或可视化的沉浸式环境(IE)显示设备142。HMD设备140还包括诸如HMD数据收发器114的有线和/或无线数据收发器。HMD数据收发器被使能为接收经由IS设备 110的IS数据收发器128而提供的交互数据。MHD设备140可以附加地包括诸如HMD计算设备146的计算设备。至少结合图9来讨论 HMD设备的其他实施例。
图2A是示出根据本公开的一些实施例的经由交互感测(IS)设备210实现的与虚拟对象(VO)的示例性用户交互的示意图200。IS 设备210可以包括与图1的IS设备110类似的特征。如此，IS设备 110可以是HS设备和/或TAH设备。IS设备110包括表面212。表面 212可以是悬停感测表面、触敏表面和/或其组合。在图1中示出笛卡尔坐标系。笛卡尔坐标系的x-y平面与平面表面212基本重合。坐标系的z轴与平面表面212基本正交。
IS设备110可以经由通信会话与HMD设备配对，诸如但不限于图1的HMD设备140。HMD设备向佩戴HMD设备的用户提供视场 (FOV)250。FOV 250包括表示太阳系的3D视图的各种虚拟化对象 (VO)。应当理解，其他FOV和VO与各种实施例相一致。FOV 250 中包括的一个VO是选择光标252。FOV 250中包括的其他VO包括但不限于地球256、太阳254和土星258的全息图或3D可视化。
IS设备210可以生成对用户的触摸和悬停手势编码的交互数据。交互数据可以经由通信会话而提供给HMD设备。HMD设备可以基于交互数据来更新和/或修改FOV 250和/或FOV 250中包括的任何 VO。因此，用户可以与FOV 250和/或FOV 250中包括的任何VO交互。例如，用户可以选择、控制、编辑、旋转、平移或以其他方式操纵VO(或VO的特征)。类似地，用户可以改变所提供的FOV 250 的各个方面、特性或性质。
更具体地，图1示出了用户的手部202。手部202的多个指尖204 被示出为处于3D悬停手势。注意，指尖204中的每一个的z坐标大于0.0，即指尖204“悬停”在悬停感测表面212上方(并且没有触摸)。用户的3D悬停手势可以控制3D FOV 250内的选择光标252的操作。例如，用户可以操纵选择光标252在3D FOV 250内的3D定位或位置。悬停手势可以用于选择、控制或以其他方式操纵FOV 250中包括的其他VO，诸如但不限于太阳254、地球256或土星258的全息图或可视化。
因此，实际上，可以经由IS设备210与HMD设备的通信耦合来使能与IE内的VO的任何用户交互。被编码在交互数据中的触摸和悬停手势的空间分辨率可以大于与经由嵌入在HMD设备内的运动传感器来检测自由空间手势相关联的空间分辨率。因此，与经由IS设备210被使能的用户交互相关联的空间分辨率可以大于与用于使能与 VO的用户交互的先前可用系统和方法相关联的空间分辨率。另外， IS设备210使能经由以下项与IE内的VO的交互：2D和3D版本的“捏”、“拉”、“按下并保持”、“单指敲击”、“两指敲击”、“单击”、“双击”、“向左滑动”、“向右滑动”、压力变化(例如，3D触摸)手势、以及由2D触敏显示设备的用户通常使用的其他指尖和多指尖手势。经由检测自由空间手势的先前可用方法，可能不那么容易地完成对这种3D用户交互的仿真。
在各种实施例中，触摸和悬停手势可以被组合以生成附加手势。例如，一根手指可以触摸显示器以用于支撑，同时另一根手指悬停以限定空间中的位置。在这样的实施例中，手部被支撑，并且用户肌肉用于以非常准确且非视觉的方式感测距IS的距离。在至少一个实施例中，IS设备上的手指与悬停的手指之间的距离可以限定对象的竖直尺度。第二手指(诸如拇指)的位置可以改变触摸手势的含义(例如，从拖动到选择)。
尽管图2A示出了与HMD设备配对的单个IS设备210，但是应当理解，多个IS设备可以与MHD设备配对。例如，至少两个IS设备可以与HMD设备配对，用户的每只手一个。因此，用户可以将每个IS设备设置在诸如桌子的稳定表面上，并且可以经由多个手部手势来控制多个VO，其中每只手悬停在相应IS设备之上。另外，一个或多个IS设备可以耦合到HMD设备，其中一个或多个IS设备的用户与佩戴HMD设备的用户分离和/或远离。类似地，单个IS设备可以耦合到多个HMD设备。例如，IS设备210的用户可以控制和/或操纵经由多个HMD设备同时示出给多个用户的一个或多个VO。
图2B是根据本公开的一些实施例的用户选择虚拟对象的层(即，平面切片)以与交互感测设备的触敏表面相关的示例性实施例的示意图。更具体地，图2示出了FOV 260(经由HMD设备提供)。FOV 260 可以包括分层对象的多个层264的“平坦”或3D表示268。例如，表示268可以是分层文档中包括的各个层的表示，诸如但不限于演示幻灯片。
在图2B所示的非限制性实施例中，经由在FOV 260内投影和/ 或显示的多个层264的“平坦”呈现来示出演示幻灯片的层1-5中的每一个。每个层包括一个或多个2D和/或3DVO。层1是包括背景颜色或图案的背景层，层2包括单个(2D或3D)三角形VO，并且层 3包括(2D或3D)类似平行四边形的VO 272、(2D或3D)圆形 VO 274和第一文本框276(即，“文本_1”)。层4包括两个文本框 (即，“文本_2”和“文本_3”)。层5包括嵌入在分层文档的层5 中的诸如在图2A的FOV 250中提供的太阳系等太阳系的2D或3D 可视化266。
注意，3D FOV内的多层对象的层的呈现不必如图2B所描绘的那样是“平坦的”。也就是说，可以在FOV内以更多的3D表示来示出多层。不论层的呈现是“平坦的”还是3D的，用户都可以经由选择光标270或某种其他机制来选择层。更具体地，用户可以采用经由IS 设备(诸如但不限于图2A的IS设备210)而检测到的3D悬停手势来选择VO的层(或平面切片)。
经由通过IS设备而检测到的悬停手势来选择VO的层或平面切片可以导致该层与IS设备的触敏表面的“钉扎”(或相关)。也就是说，所选择的层的平面与IS设备的触敏表面的平面钉扎或相关。更具体地，一旦已经选择了VO的层或平面切片(例如，图2B的演示幻灯片的层3)，就可以将由HMD设备提供的FOV转变为包括所选择的层的“平坦”或3D可视化。此外，一旦与触敏表面相关，用户就可以经由触敏表面上的手指或多指2D触摸手势来修改、编辑、更新或以其他方式操纵VO的所选择的层(或平面切片)。用户可以经由在由HMD设备提供的FOV内的修改和/或更新，来观察与所选择的层内的VO的用户交互。
悬停的手指可以向上-向下地通过连续运动来选择IS设备上方的平面。对这样的平面的选择可以使在IS设备上方呈现的3D对象的裁剪(cutout)被显示在IS的屏幕上。以类似的方式，悬停手指可以将 3D虚拟对象移入和移出IS的悬停设备的FOV。随着对象被推入IS 的FOV中，IS可以显示对象的不同层/裁剪。
在另一实施例中，IS设备可以被保持在3D对象内部的3D空间中，并且通过触摸IS，其可以将3D对象的切片复制到IS显示器上。用户可以持握、检查、注释或操纵对象或对象的切片。
图2C是根据本公开的一些实施例的用户通过触摸交互感测设备的触敏表面来修改虚拟对象的所选择的层的示例性实施例的示意图。如图2C所示，图2B的演示幻灯片的所选择的层3的可视化经由HMD 设备而被包括在FOV 280中。也就是说，FOV 200包括类似平行四边形的VO 272、圆形VO 274和文本框276。用户可以经由手指或多指 2D触摸手势来修改、编辑、更新或以其他方式操纵这些VO中的任一个。图2C示出了用户的手部202和指尖204利用IS设备210的触敏表面212来执行2D触摸手势。
手指204与触敏表面212物理接触。更具体地，经由常见的2D 指尖和多指尖手势(例如，“捏”、“拉”、“按下并保持”、“单指敲击”、“两指敲击”、“单击”、“双击”、“向左滑动”、“向右滑动”、压力变化(例如，3D触摸)手势等)，用户可以对VO 272、 272和276中的任一个进行大小调节、旋转、平移、重新定位、编辑文本、或以其他方式交互和操纵。
触敏表面在用户的指尖上的触摸可以提供针对用户的触觉反馈，从而使能与所选择和钉扎的(或相关的)层中包括的各种VO的更真实、受控和精确的用户交互。此外，2D触敏表面的空间分辨率(即，在x-y平面中的空间分辨率)可以大于与3D悬停手势相关联的空间分辨率。也就是说，与指尖悬停在触摸敏感表面上方时相比，当指尖与触敏表面接触时，交互数据可以更准确地对用户指尖的(x轴和y 轴)位置和运动编码。因此，通过将VO对象的层或平面切片与IS 设备的触敏表面相关，用户可以更精确和准确地与IE内的各种VO 交互。
图3A是示出根据本公开的一些实施例的将覆盖物的示例性实施例与交互感测(IS)设备机械地耦合的步骤的示意图。系统300包括 IS设备310和覆盖物320。覆盖物320可以是物理覆盖物。IS设备310 可以类似于图1的IS设备110或图2A-图2C的IS设备210。如此，IS设备310可以包括活动表面312，使得IS设备检测与活动表面312 接近的悬停手势(即，在活动表面312的接近距离阈值内的悬停手势)。
覆盖物320被配置和布置以用于与IS设备310机械耦合或以其他方式与IS设备310进行对接。例如，覆盖物320可以被配置和布置为“卡扣”到IS设备310上或以其他方式牢固地附接到IS设备310。覆盖物320可以包括3D凸起322。在图3A所示的非限制性实施例中，凸起322包括半球形的凸台形状。在其他的一些实施例中，覆盖物320 的凸起实际上可以包括任何形状。当机械耦合到IS设备310时，凸起322的表面可以从活动表面312被移位。然而，注意，当机械耦合到IS设备310和/或与IS设备310进行对接时，凸起322的移位表面仍然在活动表面312的接近距离阈值内。
覆盖物320可以从塑料、玻璃或对IS设备310的悬停感测能力至少部分地透明的另一种材料来构造。例如，覆盖物320可以经由模制塑料或钢化玻璃来构造。塑料可以包括但不限于聚乙烯(PET)塑料或热塑性聚氨酯(TPU)塑料。在至少一个实施例中，覆盖物320 可以包括电容性传感器，以检测和/或感测用户对覆盖物320的表面的触摸。在这样的实施例中，覆盖物可以生成交互并且经由有线和/或无线数据收发器接口来向IS设备320提供该交互。因此，可以不要求覆盖物320对于IS设备310的悬停感测能力是透明的。
如此，IS设备310被使能为检测用户何时将一个或多个指尖触摸或定位在覆盖物320的表面上(并且响应于该检测而生成交互数据)，覆盖物320的表面诸如但不限于凸起322的位移表面(相对于活动表面312)。如此，IS设备310可以感测用户的悬停手势，同时覆盖物 320的表面(诸如但不限于凸起322的表面)向用户提供针对与VO 的用户交互的触感反馈。也就是说，用户可以在经由利用IS设备310 而检测到的3D悬停手势与VO交互的同时，体验触感反馈。
图3B是示出根据本公开的一些实施例的用户采用图3A的机械耦合的覆盖物320和IS设备310以更新VO 360的旋转取向的示例性实施例的示意图。更具体地，图3B示出了用户的手部302经由指尖 304接触半球形凸起形状的凸起322的移位表面来执行悬停手势。图3B还示出了经由HMD设备而提供的FOV 350。
FOV 350包括VO 360，VO 360是地球的全息图。用户可以利用与凸起322的表面接触的指尖304经由3D悬停手势来与VO 360(或任何其他VO)交互。例如，用户可以通过在凸起322的半球形表面之上滑动指尖304或手部302的手掌来操纵、修改或更新VO 360的旋转取向。在另一实施例中，用户可以基于利用与凸起322接触的手指的悬停手势来旋转FOV 350的视点(即，旋转IE内查看器的位置)。在其他的又一些实施例中，用户可以将凸起322的半球形表面用作用于与VO 360交互的“轨迹球”状的控制元素。因此，当与VO 360 交互时，用户经由与凸起322的表面物理接触的指尖304的物理感觉来体验触感反馈。
在各种实施例中，覆盖物的表面的至少一部分可以由较软的材料来构造，较软的材料诸如柔韧或可延展的材料，用户可以经由来自那里的触摸而至少略微变形。例如，凸起322的上部部分可以由这种较软的材料构造，同时下部部分由较硬或较不柔韧的材料构造，例如，上部部分可以被覆盖有油灰或软橡胶型材料。材料硬度的对比度可以提供附加的触感反馈、摩擦力变化，或者以其他方式约束手指的移动。
约束可以经由硬和/或软材料中的沟槽来限定。在至少一个实施例中，凸起的至少一部分可以是可变形的，例如，凸起可以包括可膨胀部分，或者可通过机械设备变形。如本文中讨论的，可以经由较硬和较软的表面选择性地提供触觉反馈。例如，覆盖物可以包括一个或多个触觉反馈接口。与较软的表面相关联的触觉反馈接口可以与较硬的表面的触觉反馈接口单独地被激活和/或操作。
尽管在图3B中未示出，但是覆盖物320可以包括机械(例如，可移动部件)和/或凸起。覆盖物320可以包括一个或多个活动部件，诸如但不限于开关、拨盘、杠杆、按钮、操纵杆、轨迹球、可点击的设备等。与这样的活动设备的用户交互可以使得用于控制和/或操纵一个或多个VO(诸如图3B的VO 36)的信号能够生成。
尽管图3B示出了耦合到IS设备310的单个覆盖物320，但是应当注意，多个覆盖物可以耦合到IS设备310。例如，第一耦合覆盖物可以覆盖IS设备的活动表面312的第一部分，并且第二耦合覆盖物可以覆盖活动表面312的第二部分。应当理解，对可以耦合到IS设备110的覆盖物的数目没有上限。每个覆盖物分离凸起。也就是说，多个覆盖物中的每一个可以包括不同形状的凸起。
图4A是示出根据本公开的一些实施例的用户采用IS设备410和另一机械耦合的覆盖物420来更新VO 460的位置的示例性实施例的示意图。与图3A-图3B的覆盖物320的半球形凸台形状的凸起322 相比，图4A的覆盖物420包括平行六面体形状的凸起422。类似于凸起322，凸起422的移位表面在IS设备410的实际表面的接近距离阈值内。因此，当指尖接触包括凸起422的移位表面的覆盖物420的表面时，IS设备410可以检测悬停手势。图4A示出了用户经由用户的手部402的指尖404与凸起422的移位表面物理接触并且在凸起 422的移位表面之上滑动来执行悬停手势。
图4A还示出了经由通信耦合到IS设备410的HMD设备所提供的FOV 450。FOV 450包括VO 460，VO 460是地球的全息图。通过使指尖404在凸起422之上滑动，用户可以执行悬停手势以与VO 460 交互。此外，凸起422的表面向用户提供触感反馈。例如，用户可以平移、更新、修改或以其他方式操纵VO 360在FOV 450内的位置或定位。平移的空间方向可以基于用户在其上滑动指尖404的平行六面体形状的凸起422的特定平面表面。例如，凸起422的表面中的一些表面位于x-y平面内，凸起的其他表面位于x-z平面内，并且其他表面位于y-z平面内。因此，覆盖物中包括的凸起的不同形状可以提供与各种VO的不同的用户交互。
图4B是示出根据本公开的一些实施例的用户采用图4A的交互感测设备和另一机械耦合的覆盖物来在沉浸式环境内生成虚拟对象的示例性实施例的示意图。覆盖物430已经与ID设备410机械地耦合或进行对接。覆盖物包括锥体形状的凸起432。用户的手部402的指尖403被示出为在锥体形状的凸起432的表面之上滑动。响应于这种悬停手势，随着指尖在凸起432的表面之上滑动，IS设备生成对指尖402的位置和/或运动编码的交互数据。
图4B还示出了经由通信地耦合到IS设备410的HMD设备所提供的FOV 480。在一些实施例中，可以基于交互数据来自动确定凸起 432的形状。例如，IS设备或HMD设备可以基于在凸起432之上滑动的指尖402的编码位置和运动来确定凸起432的形状(即，锥体)。应当注意，实施例不限于确定覆盖物中包括的凸起的形状。也就是说，用户可以在IS设备410的活动表面之上保持分立的(即，不与覆盖物43集成的)物理对象(诸如但不限于球或块)。例如，用户可以去除覆盖物430。由用户在IS设备410的悬停感测活动表面之上操纵物理对象(即，悬停手势)而生成的交互数据可以用于确定所操纵的物理对象的形状。
HMD设备可以基于凸起432(或另一分立的物理对象)的所确定的形状和/或用于对用户的悬停手势进行编码的交互数据来更新FOV 480。在一个非限制性实施例中，可以将FOV 480更新为包括所确定形状的VO的全息图或其他可视化。例如，基于凸起432的所确定的锥体形状，已经将FOV 480更新和/或修改为包括VO 470。
此外，可以基于凸起432的所确定的形状来自动确定与覆盖物 430关联的唯一标识符。在其他的一些实施例中，IS设备410可以被使能为自动确定和/或检测与覆盖物430相关联的唯一标识符。例如， IS设备可以包括可以自动检测覆盖物430与IS设备410的机械耦合的各种传感器，诸如但不限于光学扫描仪、相机、触敏传感器、无线电等。这样的传感器可以检测与关联于覆盖物430的唯一标识符唯一地相关联的光学可扫描码、射频识别(RFID)标签等。
在各种实施例中，唯一标识符可以被编码在提供给HMD设备的交互数据中。可以基于标识符来更新HMD设备的操作模式。例如，可以基于与覆盖相关联的标识符来更新提供给用户的各种用户交互。在其他的一些实施例中，可以基于凸起或分立的物理对象的自动确定的形状来更新操作模式。
图5是示出根据本公开的一些实施例的将包括3D表面(即，凸起530)和多个电容性耦合器530的覆盖物520与包括2D电容性感测表面(即，触敏表面512)的交互感测设备510机械地耦合的示例性步骤的示意图。在一些实施例中，诸如但不限于IS设备510的IS 设备不包括感测3D悬停手势的活动表面。而是，IS设备510包括可以与在各种移动计算设备中通常采用的触敏显示设备类似的2D触敏表面512。
当覆盖物520机械耦合到IS设备510时，多个电容性耦合器530 可以将凸起530的3D表面的点的至少一部分与2D触敏表面512上的点电容性地耦合。因此，基于凸起522的3D形状和电容性耦合器 530(在凸起522和触敏表面512中的每一个上)的定位以及2D触敏表面512上的对应点的定位，可以生成一对一的对应映射。也就是说，可以生成凸起522的3D表面上的点与2D触敏表面512上的对应点之间的一对一映射。在一些实施例中，IS设备被使能为生成一对一映射。在至少一个实施例中，HMD设备生成一对一映射。
电容性耦合器530和一对一对应映射可以使得沿着覆盖物510的表面执行3D悬停手势的用户能够与VO交互，从而采用不包括悬停感测能力的IS设备。例如，球形覆盖物可以用于在VR/AR中旋转3D 对象，同时观看3D对象并且感觉到手指在塑料凸起上的移动。
图6是示出用户采用作为IS设备的相机系统610和HMD设备 690来在沉浸环境(IE)内生成虚拟对象的示例性实施例的示意图。更具体地，房间600内的相机系统610可以包括跟踪、感测或检测用户的手部602的自由空间手势的一个或多个相机设备。例如，相机系统610可以是视频游戏控制台和/或娱乐系统的组件。相机系统610 可以生成对用户的手部602和/或指尖的自由空间手势编码的交互数据。
相机系统610可以经由通信会话而通信地耦合到HMD设备690。 HMD设备690可以是AR和/或MR使能的HMD设备，诸如结合图 1的HMD设备140和/或图9的HMD设备902所讨论的那些。响应于所接收的交互数据，HMD设备610更新和/或修改所显示的FOV。例如，HMD设备610可以生成FOV内的VO(例如，矩形对象660)。
鉴于图1-图6现在来参考图7，图7是示出根据本公开的一些实施例的用于使能与虚拟对象的用户交互的方法的示例性实施例的流程图。本文中描述的方法700和其他方法和/或过程的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，可以由执行存储在存储器中的指令的处理器来执行各种功能。这些方法还可以被实施为存储在计算机存储介质上的计算机可用指令。方法可以由独立应用、服务或托管服务(独立地或与另一托管服务组合)或另一产品的插件(仅举几例)来提供。
初始地，在框702，在IS设备与HMD设备之间建立通信会话。在一些实施例中，HMD设备被使能为发起和建立通信会话。在其他的一些实施例中，IS设备发起和建立通信会话。在一些非限制性实施例中，通信会话是对等(P2P)通信会话，但不是必须的。无论如何，经由框702，IS设备和HMD设备被通信地耦合和/或处于通信中。
IS设备可以是悬停感测(HS)设备、触摸和悬停设备、触摸感测设备、相机系统、或本文中讨论的IS设备的任何其他各种实施例。 HMD设备可以是AR HMD设备、VR HMD设备、MRHMD设备等。
在框704，IS设备检测一个或多个用户手势。例如，IS设备可以检测2D和/或3D手势，诸如悬停手势、自由空间手势、指尖手势、多指尖手势、触摸手势等。在框706，并且响应于所检测到的用户手势，IS设备生成对用户手势编码的交互数据。
在框708，在HMD设备处或由HMD设备接收交互数据的至少一部分。在一些实施例中，交互数据经由通信会话而直接从另一IS设备被接收。也就是说，IS设备经由通信会话向HMD设备提供和/或传送交互数据。在其他的一些实施例中，交互数据是经由通信地位于IS设备和HMD设备中间的另一计算设备接收的。
在框710，基于所生成的交互数据，修改和/或更新由HMD设备提供的FOV中包括的VO。对VO的修改实际上可以包括用于提供用户与VO交互的可视化和/或其他指示的任何修改。例如，用户可以选择、控制、编辑、旋转、平移、移动、重新定位或以其他方式操纵 VO。例如，可以基于交互数据来更新VO的旋转取向或位置。在一些实施例中，可以更新和/或修改FOV以改变背景或FOV中包括的一个或多个VO的颜色、对比度或亮度。在各种实施例中，可以在框710 更新FOV的视点(例如，查看器的视角的位置)。在一些实施例中，可以将FOV更新为包括新VO的生成、和/或FOV中已经包括的VO 的加倍和/或再现。
在至少一个实施例中，交互数据对3D VO的平面切片或层的选择进行编码。在框708或框710，可以将VO的平面切片与IS设备的触敏表面相关。例如，所选择的平面切片可以被“钉扎”到触敏表面。响应于用户在触敏设备上执行触摸手势，IS设备可以生成附加交互数据。在接收到附加交互数据时，HMD设备可以基于附加交互数据来修改和/或更新VO。
图8是示出根据本公开的一些实施例的用于使能与虚拟对象的用户交互的方法800的另一示例性实施例的流程图。初始地，在框802，将覆盖物机械地耦合到IS设备。如至少结合图7的方法700所讨论的，IS设备可以通信地耦合到HMD设备。覆盖物的一个或多个表面 (例如，3D凸起的表面)可以从IS设备的悬停感测活动表面移位。 IS设备可以响应于检测到用户触摸一个或多个移位表面(例如，凸起) 而生成交互数据。
在框804，可以由IS设备或HMD设备中的至少一个自动确定与覆盖物相关联的标识符。例如，标识符可以经由RFID标签、光学可扫描码、对象识别特征等被自动确定。在至少一个实施例中，标识符基于由用户在覆盖物的一个或多个凸起之上滑动(或触摸)他们的指尖而生成的交互数据来自动确定。
在框806，可以向HMD设备传送交互数据。除了用户手势，交互数据还可以对覆盖物的标识符编码。可以基于标识符来更新和/或修改HMD设备的操作模式。在框808，基于交互数据来确定物理对象的形状。例如，物理对象可以是覆盖物的凸起和/或与覆盖物分离的分立的物理对象。交互数据可以基于操纵物理对象的用户的悬停手势来生成。形状的确定可以在IS设备或HMD设备处被执行。
在框810，基于所确定的形状来更新和/或修改由HMD设备提供的FOV。例如，可以在FOV内生成VO，其中VO的形状、颜色、位置、旋转取向等基于所确定的形状和/或所生成的交互数据。在框 812，检测FOV中的事件。例如，事件可以包括游戏或模拟应用内的事件(例如，用户控制的VO与IE中包括的另一VO的冲突)。在框814，并且响应于检测到的事件，在IS设备处提供触觉反馈。例如，可以采用IS设备的触觉反馈接口来向操作IS设备的用户提供触觉反馈。
转向图9，描述了根据本文中描述的实施例的用于增强现实(AR) 和MR应用的混合现实(MR)和/或增强现实(AR)HMD设备902，其除了其他之外还具有虚拟对象绘制组件904、HMD数据收发器组件906和HMD计算设备组件908。HMD设备902包括类似于眼镜透镜的透视透镜910，其被放置在用户的眼睛912的前面。所设想的是，提供一对透视透镜910，每个眼睛912一个。透镜910包括光学显示组件914，诸如分束器(例如，半镀银的镜)。HMD设备902包括增强现实发射器920，其促进改变增强现实图像的亮度。除了未示出的其他组件，HMD设备还包括处理器922、存储器924、接口926、总线928和附加HMD组件930。增强现实发射器920发射表示增强现实图像940的光，如光线942所示。来自真实世界场景950的光(诸如光线952)到达透镜910。附加光学元件可以用于重新聚焦增强现实图像940，使得其看起来起源于距眼睛912几英尺远，而不是显示组件914实际所位于的一英尺远。存储器924可以包含由处理器922 执行以使得增强现实发射器920能够执行所描述的功能的指令。处理器中的一个或多个可以被认为是控制电路。增强现实发射器使用总线 928和其他合适的通信路径与附加HMD组件930通信。增强现实图像940由显示组件914朝向用户的眼睛反射，如光线916所示，使得用户看到图像918。在图像918中，真实场景950的一部分(诸如工作台面)连同整个增强现实图像940(诸如罐子)是可见的。因此，在该示例中，用户可以看到混合现实图像918，其中罐子位于工作台面的顶上。
除了或代替所示出的布置或要素，还可以使用其他布置和要素 (例如，机器、接口、功能、命令和功能的分组等)，并且可以完全省略一些要素。此外，本文中描述的很多元件是可以被实现为分立或分布式组件或者与其他组件相结合实现并且以任何合适的组合和位置来实现的功能实体。本文中描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，各种功能可以由执行存储在存储器中的指令的处理器来执行。
已经描述了本发明的各种实施例，下面描述本发明的实施例可以在其中被实现的示例性计算环境，以便提供用于本发明的各个方面的一般上下文。首先具体地参考图10，示出了用于实现本发明的实施例的示例性计算环境，并且其总体上被指示为计算设备1000。计算设备 1000仅是合适的计算环境的一个示例，并且不旨在对本发明的用途或功能的范围提出任何限制。也不应当将计算设备1000解释为具有与所示组件中的任何一个或组合有关的任何依赖或要求。
本发明可以在计算机代码或机器可用指令的一般上下文中描述，计算机代码或机器可用指令包括由诸如个人数据助理或其他手持设备等计算机或其他机器执行的计算机可执行指令，诸如程序模块。通常，包括例程、程序、对象、组件、数据结构等的程序模块指代执行特定任务或实现特定抽象数据类型的代码。本发明可以在各种系统配置中实施，包括手持设备、消费电子产品、通用计算机、更专业的计算设备。本发明还可以在分布式计算环境中实施，其中任务由通过通信网络链接的远程处理设备来执行。
参考图10，计算设备1000包括直接或间接耦合以下设备的总线 1010：存储器1012、一个或多个处理器1014、一个或多个呈现组件 1016、输入/输出(I/O)端口1018、输入/输出组件1020、以及说明性的电源1022。总线1010所表示的可以是一个或多个总线(例如，地址总线、数据总线或其组合)。尽管图10的各个框为了清楚起见而用线示出，但是实际上，界定各个组件不是很清楚，并且隐喻地，线将更准确地是灰色和模糊的。例如，可以将诸如显示设备的呈现组件视为I/O组件。此外，处理器具有存储器。应认识到，这是本领域的本质，并且重申图10的图表仅说明可以结合本发明的一个或多个实施例来使用的示例性计算设备。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等类别之间没有进行区别，因为所有这些都设想在图10的范围内并且参考“计算设备”。
计算设备1000通常包括各种计算机可读介质。计算机可读介质可以是可以由计算设备1000访问的任何可用介质，并且包括易失性和非易失性介质两者、可移除和不可移除介质两者。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。
计算机存储介质包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，信息诸如计算机可读指令、数据结构、程序模块或其他数据等。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光盘存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储所需信息并且可以由计算设备 1000访问的任何其他介质。计算机存储介质不包括信号本身。
通信介质通常以诸如载波或其他传输机制的调制数据信号来实施计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息递送介质。术语“调制数据信号”意指以能够在信号中对信息编码的方式设置或改变其特性中的一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质以及诸如声学、RF、红外和另一无线介质的无线介质。上述的任何组合也应当被包括在计算机可读介质的范围内。
存储器1012包括以易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备1000 包括从诸如存储器1012或I/O组件1020的各种实体读取数据的一个或多个处理器。(多个)呈现组件1016向用户或另一设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等。
I/O端口1018允许计算设备1000在逻辑上耦合到包括I/O组件 1020的其他设备，其中的一些可以是内置的。说明性组件包括麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备等。
在以下段落中描述的实施例可以与具体描述的备选方案中的一个或多个组合。具体地，所要求保护的实施例可以备选地包含对多于一个的其他实施例的引用。所要求保护的实施例可以指定所要求保护的技术方案的进一步限制。
因此，在本文中描述的一个实施例中，一种用于使能与虚拟对象 (VO)的用户交互的方法。该方法可以包括由头戴式显示(HMD) 设备建立与交互感测(IS)设备的通信会话。HMD设备向用户显示包括虚拟化对象的视场(FOV)。IS设备与HMD设备分离并且被配置为检测包括相对于IS设备的用户肢端位置的用户交互。该方法还可以包括经由所建立的通信会话从IS设备接收交互数据，该交互数据响应于所检测到的相对于IS设备的用户肢端位置而被生成。另外，该方法可以包括基于所接收的交互数据来修改FOV中包括的虚拟化对象。
IS设备可以是触摸和悬停(TAH)设备。TAH设备被配置为检测用户肢端在TAH设备的第一表面上的触摸。TAH设备还被配置为当用户肢端从第一表面被移位时检测第一表面与用户肢端之间的距离。在其他的一些实施例中，IS设备是悬停感测(HS)设备。在一些实施例中，IS设备包括触敏设备，诸如但不限于触敏显示设备。
该设备还可以被配置为与覆盖物机械地耦合。当被耦合时，覆盖物呈现从IS设备的第一表面移位的第二表面的至少一部分。IS设备还响应于在第二表面上检测到的用户肢端触摸而生成交互数据。在至少一个实施例中，IS设备和/或HMD设备被配置为自动确定与用于 IS设备的可机械耦合的覆盖物相关联的标识符。该方法可以基于标识符来更新HMD设备的操作模式。例如，标识符可以被编码在提供给 HMD设备的交互数据的一部分中。
IS设备可以被配置为响应于沿着物理对象的一个或多个表面检测到的用户肢端的运动而生成交互数据。例如，对象可以是覆盖物中包括的凸起或形状。在其他的一些实施例中，物理对象可以是不是覆盖物的一部分的另一物理对象。可以基于交互数据来自动地(由IS 设备和/或HMD设备)确定物理对象的形状，诸如凸起或另一分立的物理对象的形状，该交互数据响应于沿着物理对象的一个或多个表面检测到的用户肢端的运动而被生成。HMD设备可以基于所确定的形状来更新FOV。例如，可以在FOV内生成描绘形状的2D或3D可视化的全息图或其他VO。
在一些实施例中，HMD设备可以基于对用户肢端沿着物理对象的一个或多个表面的所检测到的运动进行编码的交互数据来更新 FOV中包括的VO的旋转取向，该物理对象诸如但不限于覆盖物的凸起或另一单独的物理对象。IS设备可以包括被配置为检测用户交互的至少一部分的多个相机设备。
交互数据可以对VO的平面切片(或层)的用户选择进行编码。在这样的实施例中，该方法还包括由HMD设备将VO的平面切片与 IS设备的触敏表面相关。IS设备还被配置为响应于在触敏表面上检测到的用户肢端触摸而生成附加交互数据。HMD设备经由通信会话来接收从IS设备传送的所生成的附加交互数据。HMD设备基于所接收的附加交互数据来修改FOV中包括的虚拟化对象的平面切片。
在各种实施例中，IS设备被配置为响应于沿着覆盖物上包括的凸起的一个或多个表面检测到的用户肢端的运动而生成交互数据，该覆盖物机械地耦合到IS设备。HMD设备被使能为基于对用户肢端的运动编码的所接收的交互数据来更新虚拟化对象在FOV内的位置。
在一些实施例中，IS设备被配置为根据FOV内的事件向用户提供触觉反馈。例如，在游戏应用中，IS设备中包括的触觉反馈接口可以向用户提供触觉反馈。
在至少一个实施例中，IS设备包括二维(2D)电容性感测表面。例如，IS设备可以包括2D触敏表面，诸如但不限于触敏显示设备。这样的IS设备被配置为与包括三维(3D)表面的覆盖物进行对接。例如，3D表面可以是凸起。覆盖物还可以包括多个电容性耦合器，当IS设备与覆盖物进行对接时，该多个电容性耦合器将3D表面的部分和2D电容性感测表面的部分电容性地耦合。可以生成3D表面的电容性地耦合部分与2D电容性感测表面的部分之间的一对一映射。 IS设备响应于在3D表面上检测到的用户肢端触摸而生成交互数据。 HMD设备基于所接收的交互数据和所生成的一对一映射来更新虚拟化对象的3D方面。
IS设备或HMD设备可以基于交互数据来自动确定覆盖物的凸起或3D表面的3D轮廓。交互数据可以响应于用户沿着3D表面触摸或滑动其手指而被生成。HMD设备可以生成用于在FOV内显示的另一VO。VO的形状是基于凸起的所确定的3D轮廓。
在本文中描述的另一实施例中，提供了一种或多种具有实施于其上的计算机可执行指令的计算机存储介质，该计算机可执行指令在由一个或多个处理器执行时使得一个或多个处理器执行操作，该操作用于使能与在沉浸式环境中绘制的虚拟对象的用户交互。例如，存储介质可以包括非暂态介质。操作包括由触摸和悬停(TAH)设备建立与头戴式显示(HMD)设备的通信会话。HMD设备被配置为向用户显示包括虚拟化对象的视场(FOV)。
操作还可以包括由TAH设备响应于由TAH设备检测到的用户肢端的三维(3D)运动而生成交互数据。可以经由所建立的通信会话来向HMD设备传送所生成的交互数据。HMD设备被配置为基于所传送的交互数据来修改FOV中包括的VO。
在一些实施例中，操作还可以包括经由机械耦合器来接收用于 TAH设备的覆盖物。覆盖物可以包括凸起。TAH设备被使能为响应于沿着覆盖物凸起的一个或多个表面检测到的用户肢端的3D运动而生成交互数据。覆盖物凸起包括弯曲凸台、平行六面体、柱体或锥体中的至少一项。
在一些实施例中，HMD被配置为基于对沿着凸起的一个或多个表面检测到的用户肢端的3D运动编码的、所传送的交互数据的一部分来更新FOV的视点或VO的位置，该凸起耦合到TAH设备。
在各种实施例中，操作还包括由TAH设备确定耦合到其的凸起的形状。形状的确定是基于对沿着凸起的一个或多个表面检测到的用户肢端的3D运动的至少一部分进行编码的所生成的交互数据的一部分。HMD设备可以被配置为基于凸起的所确定的形状来更新FOV。
在本文中描述的又一实施例中，提供了一种用于使能沉浸式环境中与VO的用户交互的系统。该系统包括物理覆盖物。该物理覆盖物呈现三维(3D)凸起。物理覆盖物可耦合到交互感测(IS)设备。3D 凸起从IS设备的二维(2D)交互感测表面被移位。例如，2D交互感测表面可以是通常在诸如但不限于智能电话和平板计算机的移动设备中采用的触摸或电容性感测表面。物理覆盖物耦合到IS设备。IS 设备被配置为当耦合到物理覆盖物时至少响应于在3D凸起上检测到的用户肢端触摸而生成交互数据。头戴式显示(HMD)设备与IS设备通信。HMD设备可以被配置为基于从IS设备所接收的所生成的交互数据的至少一部分来更新显示虚拟化对象的视场(FOV)。
在一些实施例中，IS设备可以是触摸和悬停(TAH)设备。TAH 设备被配置为还响应于在2D交互感测表面的一部分之上检测到的用户肢端悬停手势而生成交互数据。物理覆盖物包括多个电容性耦合器，当物理覆盖物被耦合到IS设备时，该多个电容性耦合器可电容性地耦合到2D交互感测表面的部分。IS设备和/或HMD设备中的至少一个被配置为生成物理覆盖物的部分与2D交互感测表面的部分之间的一对一映射。HMD设备还被配置为基于所接收的交互数据和所生成的一对一映射来更新虚拟化对象的3D方面。
本文中具体描述了本发明的实施例的技术方案以满足法定要求。然而，说明书本身并不旨在限制本专利的范围。而是，发明人已经预料到，所要求保护的技术方案还可以结合其他当前或未来技术以其他方式实施，以包括与本文档中描述的步骤不同的步骤或步骤的组合。此外，尽管本文中可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是除非并且当明确地描述了各个步骤时，否则这些术语不应当被解释为暗示本文中公开的各个步骤之中或之间的任何特定顺序。
为了本公开的目的，单词“包含”具有与单词“包括”相同的广义含义，并且单词“访问”包括“接收”、“引用”或“取回”。除非另外相反指出，否则诸如“一”和“一个”等单词包括复数形式和单数形式。因此，例如，在存在一个或多个特征的情况下，“特征”的约束被满足。同样，术语“或”包括连词、连接词和两者(因此， a或b包括a或b、以及a和b)。
为了上面的详细讨论的目的，参考头戴式显示单元描述了本发明的实施例；然而，本文所描绘的头戴式显示单元仅是示例性的。组件可以被配置用于执行实施例的新颖方面，其中被配置用于包括被编程为执行特定任务或使用代码来实现特定抽象数据类型。此外，尽管本发明的实施例通常可以指代本文中描述的头戴式显示单元和示意图，但是应当理解，所描述的技术可以扩展到其他实现的上下文。
已经关于特定实施例描述了本发明的实施例，这些特定实施例在所有方面都旨在是说明性的而不是限制性的。在不脱离本发明范围的情况下，替代实施例对于本发明所属领域的普通技术人员将变得很清楚。
从前述内容可以看出，本发明整体适于达到上述所有目标和目的的同时，还具有明显的且结构固有的其他优点。
应当理解，某些特征和子组合是有用的，并且可以在不参考其他特征或子组合的情况下被采用。这是权利要求所预期的并且在权利要求的范围内。

Claims (18)

1.一种用于使能与虚拟化对象的用户交互的计算机实现的方法，所述方法包括：
由头戴式显示HMD设备建立与交互感测IS设备的通信会话，其中所述HMD设备向用户显示包括所述虚拟化对象的视场FOV，并且其中所述IS设备与所述HMD设备分离并且被配置为检测包括相对于所述IS设备的用户肢端位置的用户交互；
经由所建立的所述通信会话，从所述IS设备接收响应于用户肢端沿着物理对象的一个或多个表面的所检测到的运动而生成的交互数据，其中所述运动是相对于所述IS设备的；
基于所述物理对象的所确定的形状，修改所述FOV中包括的所述虚拟化对象，其中所述形状是由所述IS设备或所述HMD设备基于所接收的所述交互数据的至少一部分而确定的，所接收的所述交互数据对所述用户肢端的所检测到的所述运动进行编码。
2.根据权利要求1所述的计算机实现的方法，其中所述IS设备是触摸和悬停TAH设备，所述触摸和悬停TAH设备被配置为检测所述用户肢端在所述TAH设备的第一表面上的触摸，并且还检测当所述用户肢端从所述第一表面被移位时所述第一表面与所述用户肢端之间的距离。
3.根据权利要求2所述的计算机实现的方法，其中所述IS设备还被配置为与覆盖物机械地耦合，所述覆盖物呈现被包括在所述物理对象的所述一个或多个表面中并且从所述IS设备的所述第一表面被移位的第二表面的至少一部分，并且所述IS设备还被配置为响应于在所述第二表面上检测到的用户肢端触摸而生成所述交互数据。
4.根据权利要求1所述的计算机实现的方法，其中所述IS设备还被配置为确定与用于所述IS设备的、包括所述物理对象的机械可耦合的覆盖物相关联的标识符；并且
由所述HMD设备基于所述覆盖物的所确定的所述标识符来更新所述HMD设备的操作模式。
5.根据权利要求1所述的计算机实现的方法，其中所述IS设备还被配置为根据所述FOV内的事件向所述用户提供触觉反馈。
6.根据权利要求1所述的计算机实现的方法，其中所述交互数据对所述用户肢端沿着所述物理对象的一个或多个表面的所检测到的所述运动进行编码，并且所述方法还包括：
由所述HMD设备基于所接收的所述交互数据的至少一部分，来更新所述FOV中包括的所述虚拟化对象的旋转取向，所接收的所述交互数据对所述用户肢端的所检测到的所述运动进行编码。
7.根据权利要求1所述的计算机实现的方法，其中所述IS设备包括被配置为检测所述用户交互的至少一部分的多个相机设备。
8.根据权利要求1所述的计算机实现的方法，其中所生成的所述交互数据对所述虚拟化对象的平面切片的选择进行编码；并且
由所述HMD设备将所述虚拟化对象的所述平面切片与所述IS设备的触敏表面相关，其中所述IS设备还被配置为响应于在所述触敏表面上检测到的用户肢端触摸而生成附加交互数据；
由所述HMD设备经由所述通信会话，接收从所述IS设备传送的所生成的所述附加交互数据；以及
由所述HMD设备基于所接收的所述附加交互数据，来修改所述FOV中包括的所述虚拟化对象的所述平面切片。
9.根据权利要求1所述的计算机实现的方法，其中所述交互数据对所述用户肢端沿着所述物理对象的一个或多个表面的所检测到的所述运动进行编码，所述物理对象包括被包括在覆盖物上的凸起，其中所述覆盖物机械地耦合到所述IS设备；并且
由所述HMD设备基于所接收的所述交互数据的至少一部分，来更新所述虚拟化对象在所述FOV内的位置，所接收的所述交互数据对所述用户肢端的所述运动进行编码。
10.根据权利要求1所述的计算机实现的方法，其中所述IS设备包括二维2D电容性感测表面，并且
其中所述IS设备还被配置为：
与包括所述物理对象的所述一个或多个表面和多个电容性耦合器的覆盖物进行对接，当所述IS设备与所述覆盖物进行对接时，所述多个电容性耦合器电容性地耦合所述一个或多个表面的部分和所述2D电容性感测表面的部分，
生成所述一个或多个表面的电容性地耦合的所述部分与所述2D电容性感测表面的所述部分之间的一对一映射；以及
由所述HMD设备基于所接收的所述交互数据和所生成的所述一对一映射，来更新所述虚拟化对象的3D方面。
11.根据权利要求1所述的计算机实现的方法，其中所述IS设备被配置为与包括所述物理对象的3D凸起机械地耦合，并且还基于所述物理对象的所述形状来确定所述凸起的3D轮廓；并且所述方法还包括：
由所述HMD设备生成用于在所述FOV内显示的另一虚拟化对象，其中所述另一虚拟化对象的形状是基于所述凸起的所确定的所述3D轮廓。
12.一种或多种具有实施于其上的计算机可执行指令的非暂态计算机存储介质，所述计算机可执行指令在由一个或多个处理器执行时使得所述一个或多个处理器执行用于使能与虚拟化对象的用户交互的方法，所述方法包括：
由触摸和悬停TAH设备建立与头戴式显示HMD设备的通信会话，其中所述HMD设备被配置为向用户显示包括所述虚拟化对象的视场FOV，并且凸起耦合到所述TAH设备；
由所述TAH设备响应于由所述TAH设备检测到的用户肢端沿着所述凸起的一个或多个表面的3D运动而生成交互数据；
经由所建立的所述通信会话，向所述HMD设备传送所生成的所述交互数据，其中所述HMD设备还被配置为根据由所述TAH设备基于所传送的所述交互数据的至少一部分来确定所述凸起的形状，来修改所述FOV中包括的所述虚拟化对象，所传送的所述交互数据对所述用户肢端沿着所述凸起的所述一个或多个表面的所述3D运动进行编码。
13.根据权利要求12所述的一种或多种计算机存储介质，所述方法还包括：
经由机械耦合，接收用于所述TAH设备的覆盖物，其中所述覆盖物包括所述凸起。
14.根据权利要求13所述的一种或多种计算机存储介质，其中所述覆盖物凸起包括弯曲凸台、平行六面体、柱体或锥体中的至少一项。
15.根据权利要求12所述的一种或多种计算机存储介质，其中所述HMD还被配置为：基于所传送的所述交互数据的所述至少一部分，来更新所述FOV的视点或所述虚拟化对象的位置中的至少一项，所传送的所述交互数据对所述用户肢端沿着耦合到所述TAH设备的所述凸起的所述一个或多个表面的所述3D运动进行编码。
16.一种用于使能与虚拟化对象的用户交互的系统，所述系统包括物理覆盖物、交互感测IS设备和头戴式设备HMD，其中
所述物理覆盖物呈现至少一个三维凸起，并且可耦合到所述IS设备，其中当所述物理覆盖物耦合到所述IS设备时，所述至少一个三维凸起从所述IS设备的二维2D交互感测表面被移位，
所述IS设备被配置为：至少响应于在耦合到所述物理覆盖物时在所述至少一个三维凸起上检测到的用户肢端触摸，生成交互数据，
所述HMD与所述IS设备通信，并且被配置为根据基于从所述IS设备接收的所生成的所述交互数据的至少一部分确定所述三维凸起的轮廓，来更新显示所述虚拟化对象的视场FOV。
17.根据权利要求16所述的系统，其中所述IS设备是触摸和悬停TAH设备，所述触摸和悬停TAH设备被配置为还响应于在所述2D交互感测表面的一部分之上检测到的用户肢端悬停手势而生成交互数据。
18.根据权利要求16所述的系统，
其中所述物理覆盖物包括多个电容性耦合器，当所述物理覆盖物被耦合到所述IS设备时，所述多个电容性耦合器电容性地可耦合到所述2D交互感测表面的部分，
其中所述IS设备还被配置为生成所述物理覆盖物的部分与所述2D交互感测表面的部分之间的一对一映射，并且
其中所述HMD设备还被配置为基于所接收的所述交互数据和所生成的所述一对一映射来更新所述虚拟化对象的3D方面。
CN201880039766.7A 2017-06-15 2018-05-02 沉浸式环境内与虚拟对象的基于悬停的用户交互 Active CN110753898B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/624,097 US10514801B2 (en) 2017-06-15 2017-06-15 Hover-based user-interactions with virtual objects within immersive environments
US15/624,097 2017-06-15
PCT/US2018/030549 WO2018231353A1 (en) 2017-06-15 2018-05-02 Hover-based user-interactions with virtual objects within immersive environments

Publications (2)

Publication Number Publication Date
CN110753898A CN110753898A (zh) 2020-02-04
CN110753898B true CN110753898B (zh) 2022-03-18

Family

ID=62636250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880039766.7A Active CN110753898B (zh) 2017-06-15 2018-05-02 沉浸式环境内与虚拟对象的基于悬停的用户交互

Country Status (4)

Country Link
US (2) US10514801B2 (zh)
EP (1) EP3639117B1 (zh)
CN (1) CN110753898B (zh)
WO (1) WO2018231353A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514801B2 (en) * 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments
US10915174B1 (en) * 2017-07-20 2021-02-09 Apple Inc. Electronic devices with directional haptic output
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10809910B2 (en) * 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
FR3095543B1 (fr) * 2019-04-25 2022-02-25 Hap2U Dispositif de commande 3D à retour haptique
US11638613B2 (en) 2019-05-29 2023-05-02 Stephen B. Murphy Systems and methods for augmented reality based surgical navigation
CN110413109A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟内容的生成方法、装置、系统、电子设备及存储介质
US11150800B1 (en) * 2019-09-16 2021-10-19 Facebook Technologies, Llc Pinch-based input systems and methods
WO2022046926A1 (en) * 2020-08-26 2022-03-03 Immersive Wisdom, Inc. Real-time geospatial collaboration system
WO2022051033A1 (en) * 2020-09-02 2022-03-10 Sterling Labs Llc Mapping a computer-generated trackpad to a content manipulation region
US11449155B2 (en) * 2021-01-11 2022-09-20 Htc Corporation Control method of immersive system
US11947728B2 (en) 2021-04-30 2024-04-02 Samsung Electronics Co., Ltd. Electronic device for executing function based on hand gesture and method for operating thereof
CN113359995B (zh) * 2021-07-02 2022-07-29 北京百度网讯科技有限公司 人机交互方法、装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102883204A (zh) * 2011-07-11 2013-01-16 Lg电子株式会社 图像显示设备和操作该图像显示设备的方法
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
CN106575155A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 沉浸在虚拟现实环境中时的防绊倒

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7683888B1 (en) * 2004-02-27 2010-03-23 Apple Inc. Shape detecting input device
US20060256090A1 (en) * 2005-05-12 2006-11-16 Apple Computer, Inc. Mechanical overlay
US8536471B2 (en) 2008-08-25 2013-09-17 N-Trig Ltd. Pressure sensitive stylus for a digitizer
KR101562827B1 (ko) * 2008-10-23 2015-10-23 삼성전자주식회사 가상 객체 조작 장치 및 그 방법
US9024908B2 (en) * 2009-06-30 2015-05-05 Microsoft Technology Licensing, Llc Tactile feedback display screen overlay
US8994666B2 (en) * 2009-12-23 2015-03-31 Colin J. Karpfinger Tactile touch-sensing interface system
US8982060B2 (en) 2010-08-27 2015-03-17 Apple Inc. Touch and hover sensor compensation
US20120256862A1 (en) 2011-04-11 2012-10-11 Kurt Wagner Touchscreen guide
US20130215029A1 (en) * 2012-02-16 2013-08-22 Hugh Thomson Comer, JR. Tactile Guides for Touchscreens
US20140062875A1 (en) 2012-09-06 2014-03-06 Panasonic Corporation Mobile device with an inertial measurement unit to adjust state of graphical user interface or a natural language processing unit, and including a hover sensing function
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9110547B1 (en) 2013-01-15 2015-08-18 American Megatrends Inc. Capacitance sensing device
US20140282269A1 (en) 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
KR20150024247A (ko) 2013-08-26 2015-03-06 삼성전자주식회사 터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스
EP2887322B1 (en) 2013-12-18 2020-02-12 Microsoft Technology Licensing, LLC Mixed reality holographic object development
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
WO2016118344A1 (en) 2015-01-20 2016-07-28 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
EP3073355A1 (en) 2015-03-27 2016-09-28 Univerzita Palackeho System and kit for transmission of signal from an irregular surface of a 3-d structure to a detector registering electric impulse, method of signal transmission
US11243640B2 (en) * 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
KR20170051013A (ko) * 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
US10324293B2 (en) * 2016-02-23 2019-06-18 Compedia Software and Hardware Development Ltd. Vision-assisted input within a virtual world
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
KR20170114420A (ko) * 2016-04-04 2017-10-16 삼성전자주식회사 전자 장치 및 전자 장치의 사용자 입력 수신 방법
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
US10754416B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for a peripheral-centric augmented/virtual reality environment
US10514801B2 (en) * 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102883204A (zh) * 2011-07-11 2013-01-16 Lg电子株式会社 图像显示设备和操作该图像显示设备的方法
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
CN106575155A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 沉浸在虚拟现实环境中时的防绊倒

Also Published As

Publication number Publication date
US20200097119A1 (en) 2020-03-26
US20180364853A1 (en) 2018-12-20
CN110753898A (zh) 2020-02-04
US10514801B2 (en) 2019-12-24
EP3639117A1 (en) 2020-04-22
US11068111B2 (en) 2021-07-20
WO2018231353A1 (en) 2018-12-20
EP3639117B1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
CN110753898B (zh) 沉浸式环境内与虚拟对象的基于悬停的用户交互
US11221730B2 (en) Input device for VR/AR applications
US11366512B2 (en) Systems and methods for operating an input device in an augmented/virtual reality environment
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
Mendes et al. A survey on 3d virtual object manipulation: From the desktop to immersive virtual environments
CN110476142B (zh) 显示虚拟内容的计算设备、方法和头戴式显示器设备
US11487353B2 (en) Systems and methods for configuring a hub-centric virtual/augmented reality environment
EP3539087B1 (en) A system for importing user interface devices into virtual/augmented reality
JP7118007B2 (ja) 視野周辺の視覚的背光
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
Grossman et al. Multi-finger gestural interaction with 3d volumetric displays
US11334212B2 (en) Detecting input in artificial reality systems based on a pinch and pull gesture
JP2023100884A (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
Stuerzlinger et al. The value of constraints for 3D user interfaces
US20100128112A1 (en) Immersive display system for interacting with three-dimensional content
US10203781B2 (en) Integrated free space and surface input device
WO2018102615A1 (en) A system for importing user interface devices into virtual/augmented reality
WO2013119477A1 (en) Presentation techniques
JP2020077365A (ja) 画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法
US11875465B2 (en) Virtual reality data-processing device, system and method
WO2024064231A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
Cheng Direct interaction with large displays through monocular computer vision
KR20240036582A (ko) 물리적 객체와의 사용자 인터페이스에 대한 상호작용들을 관리하기 위한 방법 및 디바이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant