CN105283824A - 用图像投影的虚拟交互 - Google Patents

用图像投影的虚拟交互 Download PDF

Info

Publication number
CN105283824A
CN105283824A CN201480005569.5A CN201480005569A CN105283824A CN 105283824 A CN105283824 A CN 105283824A CN 201480005569 A CN201480005569 A CN 201480005569A CN 105283824 A CN105283824 A CN 105283824A
Authority
CN
China
Prior art keywords
virtual
hand
user
initial
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480005569.5A
Other languages
English (en)
Other versions
CN105283824B (zh
Inventor
R·贝内特
A·阿哈罗尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105283824A publication Critical patent/CN105283824A/zh
Application granted granted Critical
Publication of CN105283824B publication Critical patent/CN105283824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了涉及在虚拟环境中提供低等待时间交互的实施例。在一个实施例中，接收(350)手部(74)的初始图像以及表示(76)初始实际位置的初始深度信息。该初始图像被投影到虚拟环境(38)中的初始虚拟位置(78)。提供该初始图像(71)的分割版本(80)以供显示(312)在虚拟环境(308)中的初始虚拟位置(78)。接收手部的后续图像(82)以及表示后续实际位置(370)的深度信息(84)。后续图像(82)被投影到虚拟环境(308)中的后续虚拟位置(86)。提供后续图像(82)的分割版本(92)以供显示在该后续虚拟位置(86)。检测手部的三维表示与虚拟或物理对象之间的触碰。

Description

用图像投影的虚拟交互
背景
在一些虚拟现实和混合现实显示系统中，在虚拟环境中模拟类似触摸的沉浸式交互可能是合乎需要的。例如，用户可能想要以与她在物理世界中处置虚拟对象类似的方式用她的手部运动来操纵这一对象。然而，启用这一沉浸式且自然的类似触摸的交互已被证明是有挑战性的。
启用与虚拟对象的交互的先前尝试包括使用用户手部的符号或呈现表示。然而，这些方法通常利用可能向体验增加显著等待时间的精确的手部跟踪。另外，在此类直接物理-虚拟交互中，交互手“直接”被用户诸如经由透明的头戴式显示器/虚拟现实系统看到。此类系统通常包括显著的虚拟显示等待时间，因为用户直接看到手的时间对应于虚拟系统的处理刚刚开始。因此，在这些系统中，显示器帧率(例如，每秒帧数)由于所经历的交互等待时间而不可避免地低于下界。查看用户手部的符号或呈现表示还造成不直观且自然的体验。姿势识别系统通常还利用精确的手部和手指跟踪，并且受限于用户被迫学习的符号姿势“语言”。
捕捉和使用用户手部的轮廓一般涉及用户朝着捕捉设备和显示屏举起他的手以及在该举起位置执行移动。在这些系统中，相机位置(例如，前传感器)在向上举手(朝着传感器)时通常只能捕捉到内手掌。这一位置在较长时段内可能是无聊且不舒适的。此外，用户的手部可能遮挡用户对正在操纵的对象的查看。另外，捕捉到的用户手掌的内侧的图像通常被呈现为用户手部的相对外侧的彩色轮廓或阴影。这样操纵的手部表示还造成感知到较不直观且间接的交互体验。
这种内手掌轮廓呈现的另一缺点在手改变离传感器的距离(例如，在向显示器/传感器伸手时，手移动靠近虚拟对象且远离用户)时出现。在此情形中，轮廓的大小相应地改变(例如，由于移动靠近传感器而变得更大)。然而，对于用户而言，这样的改变就轮廓将如何自然地改变以逼真地模拟外手掌的轮廓而言是违反直觉的(例如，它将在它移动远离人时变得更小)。以此方式，此类基于轮廓的系统提供较不真实的手部图像呈现。
概述
本文公开了涉及在虚拟环境中提供低等待时间交互的各实施例。例如，所公开的一个实施例提供了一种方法，该方法包括接收用户手部的背面的初始图像以及表示该手部的初始实际位置的对应的初始深度信息。使用该初始深度信息，将初始图像投影到虚拟环境中的初始虚拟位置，该初始虚拟位置对应于初始实际位置。向显示设备提供该初始图像的分割版本以供显示在虚拟环境中的初始虚拟位置。
该方法包括接收用户手部的背面的后续图像以及表示与初始实际位置不同的手部的后续实际位置的对应的后续深度信息。使用该后续深度信息，将后续图像投影到虚拟环境中的后续虚拟位置，该后续虚拟位置对应于后续实际位置。向显示设备提供该后续图像的分割版本以供显示在虚拟环境中的后续虚拟位置。该方法然后包括检测手部的三维表示与虚拟环境中的虚拟对象之间的触碰。
提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1是根据本公开的一实施例的接口系统和显示设备的示意图。
图2示出根据本公开的一实施例的示例头戴式显示设备。
图3是根据本公开的一实施例的用户经由接口系统与显示设备上所显示的示例虚拟环境交互的示意图。
图4是根据本公开的一实施例的用户穿戴头戴式显示设备并经由接口系统与示例虚拟环境交互的示意图。
图5是图4的用户的示意性俯视图。
图6是根据本公开的一实施例的由接口系统生成的用户手部的两个分割版本的示意图。
图7是如经由显示设备看到的混合现实环境形式的虚拟环境的示意图。
图8A、8B和8C是根据本公开的一实施例的用于在虚拟环境中提供低等待时间交互的方法的流程图。
图9是计算系统的一实施例的简化示意图解。
详细描述
图1示出了接口系统10的一个实施例的示意图。接口系统10包括可被存储在计算设备22的大容量存储18中的接口程序14。接口程序14可被加载到存储器26中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。
混合现实显示程序34可生成包括至少一个虚拟对象42的虚拟环境38。这一虚拟环境38可被提供给显示设备，诸如头戴式显示器(HMD)设备46。如以下更详细地解释的，HMD设备46可创建以下形式的虚拟环境：包括用户52可经由HMD设备看到的一个或多个虚拟对象42和物理对象50的混合现实环境48。换言之，混合现实环境48可包括用户52可经由HMD设备看到的虚拟环境38和物理环境。如以下更详细地解释的，在一些示例中，混合现实环境48可包括虚拟环境38，其中用户52无法看到虚拟对象并且其中用户可看到一个或多个物理对象50以及用户手部的三维表示。
也将认识到也可以在公开的范围内使用利用各种显示技术并具有各种形状因子的许多其他类型和配置的显示设备。此类显示设备可包括但不限于：固定位置监视器、诸如智能电话、平板计算机和上网本计算机等移动设备、投影显示设备、二维显示器、三维(3D)显示器以及其他合适类型的显示设备。
计算设备22可采用以下形式：台式计算机，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图9更详细地描述。
计算设备22可使用有线连接来与HMD设备46可操作地连接，或可采用通过WiFi、蓝牙或任何其他合适的无线通信协议的无线连接。另外，图1中示出的示例将计算设备22示为与HMD设备46分开的组件。将理解，在其他示例中，计算设备22可被集成到HMD设备46中。
现在还参考图2，提供了一副具有透明显示器58的可配戴眼镜200形式的HMD设备的示例。将明白，在其他示例中，HMD设备46可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备46可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。
参考图1和2，在这一示例中，HMD设备46包括显示系统54和使图像能够被递送到用户的眼睛的透明显示器58。透明显示器58可被配置成向透过该透明显示器查看物理环境的用户在视觉上增强该物理环境的外观。例如，物理环境的外观可以由经由透明显示器58呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建混合现实环境48。
透明显示器56还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境中的物理现实世界对象。在一个示例中，透明显示器58可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器58可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可以使用户能够感觉3D全息图像位于用户正在查看的物理环境内，这还允许用户查看物理环境中的物理对象。
HMD设备46还可包括各种传感器和相关系统。例如，HMD设备46可包括利用至少一个面向内的传感器216的眼睛跟踪传感器系统62。该面向内的传感器216可以是被配置成从用户的眼睛获取眼睛跟踪信息形式的图像数据的图像传感器。假定用户已同意获取和使用这一信息，眼睛跟踪传感器系统62可以使用这一信息来跟踪用户的眼睛的位置和/或移动。
在一个示例中，眼睛跟踪系统62包括被配置成检测用户的每一个眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成以任何合适方式确定每一只用户眼睛的注视方向。例如，注视检测子系统可包括诸如红外光源等被配置成使得从用户的每一只眼睛的角膜反射闪光的一个或多个光源。一个或多个图像传感器然后可被配置成捕捉用户眼睛的图像。
如从收集自图像传感器的图像数据确定的闪烁和瞳孔的图像可用于确定每一眼睛的光轴。使用该信息，眼睛跟踪传感器系统62随后可以确定用户正在注视的方向和/或什么物理对象或虚拟对象。此类注视检测数据然后可被提供给接口程序14。将理解，注视检测子系统可以具有任意适当数量和布置的光源和图像传感器。
HMD设备46还可包括接收来自物理环境的物理环境数据的传感器系统。例如，HMD设备46可包括利用至少一个面向外传感器212(如光学传感器)的光学传感器系统66。面向外传感器212可以从其视野内的对象捕捉图像和深度信息。在一些示例中，面向外传感器212可包括深度相机、诸如RGB相机等可见光相机、红外光相机，和/或位置跟踪相机。在一个示例中且如下文更详细地描述的，面向外传感器212可包括使该传感器能够在从用户的躯干外伸时从用户手部捕捉图像和深度信息的视野。
在一个示例中，一个或多个深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
在其他示例中，结构化光深度相机可被配置成投射结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。可以理解，在本发明的范围内可使用任意其他合适的深度相机。
面向外传感器212还可以捕捉用户位于其中的物理环境的图像。在一个示例中，混合现实显示程序34可包括使用此类图像和深度信息来生成对所捕捉的物理环境进行建模的虚拟环境38的3D建模系统。
HMD设备46还可包括位置传感器系统70，该位置传感器系统70利用一个或多个运动传感器224来实现对HMD设备的位置跟踪和/或朝向感测。例如，位置传感器系统70可被用来确定用户的头部的头部姿态取向。在一个示例中，位置传感器系统62可包括配置成六轴或六自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备46在三维空间内沿三个正交轴(例如，x、y、z)的位置变化以及该HMD设备绕三个正交轴(例如，翻滚、俯仰、偏航)的取向变化的三个加速度计和三个陀螺仪。
位置传感器系统70还可以支持其他合适的定位技术，如GPS或其他全球导航系统。而且，尽管描述了位置传感器系统的具体示例，但将明白，可以使用其他合适的位置传感器系统。
在一些示例中，运动传感器224还可以被用作用户输入设备，使得用户可以经由颈部和头部或者甚至身体的姿势来与HMD设备46交互。HMD设备46还可包括包含一个或多个话筒220的话筒系统72。在其他示例中，音频可经由HMD设备46上的一个或多个扬声器228被呈现给用户。
HMD设备46还可包括具有与HMD设备的各传感器和系统通信的逻辑子系统和存储子系统的处理器230，如在下文参考图9更详细地讨论的。在一个示例中，存储子系统可包括可由逻辑子系统执行的指令，用以接收来自传感器的信号输入并将此类输入转发到计算设备22(以未经处理或经处理的形式)并且经由透明显示器58向用户呈现图像。
将会理解，以上在图1和2中描述并示出的HMD设备46和相关的传感器以及其他组件是作为示例提供的。这些示例不旨在以任何方式进行限制，因为任何其他合适的传感器、组件，和/或传感器和组件的组合可被使用。因此，将理解，HMD设备46可以包括未偏离本公开文本范畴的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等。此外，HMD设备46的物理配置及其各种传感器和子组件可以采取不偏离本公开文本范畴的各种不同形式。
现在参考图3-7，现在将提供对接口系统10的示例用例和实施例的描述。图3是用户304与操作系统主屏308形式的虚拟环境交互的一个示例的示意图。主屏308被显示在安装在墙上并与用户304隔开的平板显示设备312上。安装在显示设备312上的图像捕捉设备316包括面向用户304的RGB相机320和深度感测相机324。RGB相机320和深度感测相机324两者都具有捕捉用户304的视野，用户304包括该用户的右手334的背面330以及该用户的左手342的背面338。
如图3所示，用户正站立且他的手臂舒服地停靠在他身侧。以此姿势，该用户的右手334的背面330以及该用户的左手342的背面338大致面向图像捕捉设备316。如下文更详细地解释的并且也参考图1，接口程序14接收用RGB相机320捕捉到的该用户的右手334的背面330的初始图像74。还接收对应于初始图像74的初始深度信息76。初始RGB图像74和初始深度信息76一起表示该用户的右手334的初始实际位置350。
使用初始深度信息76，接口程序14将初始图像74投影到虚拟环境38中的初始虚拟位置78，该初始虚拟位置对应于该用户的右手334的初始实际位置350。接着，接口程序14生成初始图像74的分割版本80，并将该分割版本提供给显示设备312以供显示在操作系统主屏308中的初始虚拟位置78。
将认识到初始图像74的分割版本80可通过将该图像划分成包括像素集的多个图段来生成，由此简化图像的表示。可利用任何合适的分割技术来生成分割版本80。此类图像分割技术包括但不限于基于压缩、基于直方图、基于模型、阈值处理和群集技术。
将认识到初始RGB图像74的分割版本80提供了用户的实际右手334的真实图像。这一真实图像与可能是较不真实和/或产生相当的真实感在计算上是昂贵的对象的呈现和其他计算机生成的表示形成对比。有利地，如下文更详细地描述的，与手部图像的真正显示的移动相结合，这一用户的实际手部的初始RGB图像74的分割版本80造成用户将手部图像感知为体现用户快速学习的感官运动模式的自然人体延伸。
如图3所示，用户的右手334的分割版本80被提供给显示设备312以供以其中该手部在主屏308中大致向上伸展的虚拟定向360显示。有利地且如下文更详细地解释的，接口程序14被配置成向显示设备312提供手部背面图像的分割版本以供以其中该手部在如用户304查看的主屏308中大致向上伸展的虚拟定向360显示，而不管用户的实际右手334的位置。出于本公开的目的，“大致向上”意指手部的指关节364在手腕368之上的方向，如在诸如主屏308等虚拟环境38中看到的。
用户304可将他的右手334移至远离用户身体的后续实际位置(370所示)，大致保持手部的背面330面向捕捉设备316。将认识到这一移动可涉及以用户肩膀为轴转动用户手臂的自然的低努力运动。接口程序14接收用RGB相机320捕捉到的用户的右手334的背面330的后续图像82。还接收对应于后续图像82的后续深度信息84。后续图像82和后续深度信息84一起表示该用户的右手334的后续实际位置370。
使用后续深度信息84，接口程序14将后续图像82投影到虚拟环境38中的后续虚拟位置86，该后续虚拟位置对应于该用户的右手334的后续实际位置370。接着，接口程序14生成后续图像82的分割版本90，并将该分割版本提供给显示设备312以供显示在操作系统主屏308中的后续虚拟位置86。
将认识到用户的右手334在初始实际位置350与后续实际位置370之间的移动可以在由RGB相机320在这两个位置之间捕捉到的多个手部图像中表示。这一移动也可以在由深度感测相机324在这两个位置之间接收到的多个数据集中表示。使用这些图像和数据集，接口程序14和混合现实显示程序34可呈现在这些位置之间移动的用户手部的真实视频呈现。在一个示例中，可利用每秒30帧的刷新率。在其他示例中，也可使用其他合适的刷新率来提供真实视频呈现。
有利地，这一真实呈现可促使用户经历将该虚拟手部令人信服地沉浸式地且直观地标识为他的身体的“延伸”。在一些示例中，这一令人信服的体验使得能够进行相对于虚拟手部图像的精确的感官运动身份重新映射。此外，将会认识到这一体验通过使用用户手部的实际图像来有利地增强，实际图像包括用户手部的具体且熟悉的细节，诸如皮肤纹理、肤色、指甲形状和外观、佩戴的珠宝以及实际手指/手部姿势。
另外，通过利用所显示的虚拟环境中的对用户手部图像的直接呈现，接口系统10避免了诸如关节重构之类的可能在用户的交互体验中造成附加等待时间的计算密集且耗时的过程。有利地，通过以此方式利用对实际手部图像的真实的直接呈现，可提供感知到的他的手部的用户移动与所显示的手部图像的对应移动之间的低等待时间。换言之，用户可具有其中该用户感知到该用户的手部的实际移动与所显示的手部图像的对应移动之间的自然的实时关系的交互体验。
在一些示例中，用户可以在交互体验中感知到零或基本为零的等待时间，因为对交互的用户感知并非以接口系统10的帧率或处理时间为下界。相反，在现有系统中，对交互的用户感知只可通过与用户将虚拟手部标识为该用户的身体的直接延伸的程度有关的心理因素来限制。此外且如上文所解释的，通过利用对实际手部图像的直接的真实呈现，接口系统10使用户能够感知到极少他的手部的用户移动与所显示的手部图像的对应移动之间的等待时间或感知不到等待时间。换言之，用户对虚拟手部的代理或拥有通过接口系统10来改进。
在一些示例中，接口程序14也可被配置成向显示设备312提供对应于用户手部的分割版本在虚拟环境中的虚拟位置的一个或多个位置感官提示以供显示。参考图3，在一个示例中，可以在主屏308中生成虚拟阴影378以模拟用户的右手334的分割版本80从虚拟光源投射的阴影。这一虚拟阴影378可帮助用户304在手部在主屏308中来回移动时可视地跟踪该手部的位置以及离触摸交互平面的相对距离。
如图3所示且在下文中更详细地描述的，这一阴影378还可提供对深度的感测并辅助用户手部的分割版本与主屏308中的虚拟对象和/或混合现实环境中看到的物理对象之间的交互体验。在一个示例中，诸如阴影378等位置感官提示可以在检测到用户手部的虚拟位置在虚拟对象或物理对象的预定邻近度内之际被提供给显示设备。例如且参考图4，手部334的图像的分割版本436可被显示在离虚拟环境38中的全息地球410虚拟距离D3处。预定邻近度可被定义为小于或等于D3的虚拟距离。因此，在检测到手部334的图像位于离全息地球410虚拟距离D3之际，可以向显示设备提供位置感官提示以供显示在地球处。将认识到可利用任何合适的预定邻近度距离，诸如5cm、10cm或其他合适距离。
在其他示例中，接口程序14还可被配置成根据一个或多个虚拟现实变换来可视地变换用户的右手334的图像的一个或多个分割版本。例如且参考图3中的手部的后续图像的分割版本90，该版本可被变换成具有一透明度以使得该版本之下的信封图像380的一部分是可见的。提供透明度还可帮助用户304看见和操纵虚拟对象和/或与混合现实环境48中的物理对象交互。
在其他示例中，用户的左手342也可以按上述方式成像和投影。在其他示例中，用户的左手342也可以按上述方式单独成像和投影。
现在参考图4、5和6，现在将讨论接口系统10的其他用例示例。图4是用户304穿戴如上所述的HMD设备46和眼镜200形式的HMD设备408的示意图。用户304正与包括全息地球410以及用户手部334的背面330的图像的3D分割版本436的示例虚拟环境38交互。
在该示例中，HMD设备46的光学传感器系统66可包括可见光相机和深度感测相机，其各自具有诸如视野412之类的在用户的右手334在该用户的躯干414前面伸出时捕捉该右手的背面330的视野。在其他示例中，面向下捕捉设备416可被定位在用户手部334之上并包括可见光相机和深度感测相机，其各自具有诸如视野420之类的在用户的右手在该用户躯干414前面伸出时捕捉该右手的视野。
将会认识到在一些示例中，取决于视野大小以及相对于捕捉设备的手部位置，可以在生成用户手部的捕捉到的图像的分割版本时对这些图像应用缩放、角度和/或其他成像校正。还将认识到用户手部334的体积可使用各种技术中的一种或多种来确定或估计。在一个示例中，手部334的体积可基于合适的成像技术来估计，诸如使用深度相机数据来确定手部的一个或多个厚度。在一些示例中，此类数据可以随时间收集。在其他示例中，手部334的体积可至少部分地基于用户提供的人口统计数据来估计。也可使用用于估计手部334的体积的其他合适的技术或技术组合。
继续参考图4，可将手部334的背面330的捕捉到的图像与手部334的所估计的体积组合以生成手部的3D表示。该3D表示可被投影到虚拟环境38中的投影位置438。在一个示例中，3D表示可被投影到用于呈现全息地球410的虚拟环境38中的相同坐标空间中。投影表示的分割版本436然后被提供给HMD手部408以供显示在虚拟环境38中的投影位置438。
将会认识到生成手部的3D表示不影响所显示的手部分割，因为分割表示如从捕捉设备416的视角看到的手部的3D图像。所显示的手部分割还准确地模拟将从用户眼睛视角看到的所投影(例如，垂直)的相似手部。有利地，这使得能够对分割的手部呈现进行最少的计算处理。另外，手部的3D表示可以在内部用于对手部与其周围的混合现实环境48之间的触碰、交互和大致距离的计算。
有利地且如下文更详细地解释的，对手部334的3D表示以及全息地球410使用相同的坐标空间简化了触碰检测以及与操纵虚拟对象和与混合现实环境中的物理对象交互有关的其他虚拟环境过程。在一些示例中，该配置还可使得能够对体积测量触碰进行逐像素检测。例如，用户手部334的3D边界框或基于体素的表示可以在坐标空间中用于检测这一手部表示与虚拟对象之间的触碰。这一配置还可进一步增强用户的交互体验的真实感以及感知到的低等待时间。
现在参考其中面向下捕捉设备416捕捉到用户的右手334的图像的示例，在一个示例中，用户304可以在垂直方向上朝着或远离捕捉设备416移动他的右手。如图4所示，手部334的初始实际位置430可以与捕捉设备隔开初始实际距离D1。在该初始实际位置430，手部334的图像的分割版本436被显示在离虚拟环境38中的全息地球410虚拟距离D3处。
在后续实际位置440，手部334可以与捕捉设备隔开大于D1的后续实际距离D2。在该后续实际位置440，手部334的图像的分割版本436’也被显示在离虚拟环境38中的全息地球410基本上相同的虚拟距离D3处。换言之，用户304将距离D3感知为基本上恒定，无论该用户手部334处于初始实际位置430还是处于垂直地更高的后续实际位置440。
在一个示例中，这可使用户304能够横向地左右移动他的手部334(如图5所示)，以便虚拟地遍历虚拟环境38的横向宽域，同时手部334的图像的分割版本保持离虚拟环境中的垂直平面基本上恒定的距离。以此方式且在另一示例中，用户304可以容易地沿诸如图3的主屏308之类的虚拟环境38的2D平面移动他的手的分割版本，同时将他的手的图像感知为停留在离该2D平面相对恒定的距离。有利地，这可帮助最小化用户304在持续尝试避免无意操作或虚拟触摸时可能经历的精神紧张。
如上所述，用户对这一距离的感知可通过利用诸如阴影等一个或多个位置感官提示来增强。此外且如下文更详细地解释的，接口系统10还可检测一个或多个特定移动或姿势(诸如用户向下伸出他的食指382)并且可以在虚拟环境38中相应地表示此类移动。
在另一示例中，当用户将他的手334从初始实际位置430向上移至后续实际位置440时，距离D3可以相应地增加。以此方式，用户304可将手部334的图像的分割版本感知为相应地移动远离虚拟地球410。在该示例中，手部的所显示的分割图像大小在移动远离地球410时增大，因为该手部移动靠近捕捉设备416，这有利地与真实手部操纵中的用户预期相一致。
现在参考图6，该附图提供了根据本公开的一实施例的由接口系统10生成的用户手部334的两个分割版本的示意图。在图6中，虚拟环境38包括如用户304经由HMD设备408查看的虚拟主屏602。
在一个示例中且如上文简要讨论的，接口程序14可被配置成检测诸如边界框或基于体素的表示之类的用户手部334的3D表示与主屏602中所显示的虚拟对象之间的触碰。如图6所示，在初始虚拟位置608提供手部334的初始图像的初始分割版本604。在后续虚拟位置612，手部334的后续图像的后续分割版本616表示该用户向下伸出他的食指382以虚拟地“触摸”三角图标620。
有利地，在该示例中，接口系统14只使用计算上简单的边界框或基于体素的交互并且不使用在计算上将会是更昂贵的任何语义(例如，手部)跟踪。在其中未发生触碰或触摸事件的一些示例中，甚至可以不需要基于图块的非语义跟踪，因为手部图像的分割RGB版本是“按现状”呈现的，并且不需要对手部的更详细的跟踪。
在检测到虚拟食指632的指尖624与三角图标620之间的触碰之际，接口程序14可以经由HMD设备408向用户304提供一个或多个触碰感官提示。如图6所示，在一个示例中，感官触碰提示可包括围绕三角图标620的星星及相邻信息形式的可视突出显示636。在其他示例中，感官触碰提示可包括但不限于其他可视突出显示，诸如闪烁和/或变化的颜色、音频提示和触觉反馈。
现在参考图7，提供了另一示例用例。图7是如用户304经由HMD设备408查看的商店A居家百货中的模型展厅704形式的混合现实环境48的示意图。表示商店A的符号的全息地球708在模型展厅704的前景中对用户304可见。物理桌子712、灯716和椅子720可被展示在展厅704中。
在表示用户手部334的初始实际位置的初始虚拟位置734提供用户手部334的背面330的图像的分割版本730。用户304可能想要接收关于桌子712的更多信息。在一个示例中，用户可以经由HMD设备46向接口程序14提供指示或以其他方式暗示该用户对桌子712的兴趣的用户输入88(参见图1)。这一输入可被接口程序14解释为与对应于桌子712在虚拟展厅704的混合现实环境中的位置的重新映射的虚拟位置738相关。
在一个示例中，用户304可将他的眼睛移位成注视桌子712。眼睛跟踪系统62可检测到用户对桌子712的注视并将这一用户输入提供给接口程序14。在另一示例中，用户可经由诸如“That’sacooltable(那是张很酷的桌子)”等说出的单词来指示他对桌子712的兴趣。话筒系统72可接收这一音频用户输入并且语音识别系统可解释接收到的音频。将会认识到经由HMD设备46或其他用户输入设备的许多其他形式和类型的用户输入可被使用并且在本公开的范围内。
基于用户输入88，接口程序14可将用户手部334的背面330的图像投影到混合现实环境中的重新映射的虚拟位置738。所投影的图像的分割版本740然后可被提供给HMD设备46以供显示在物理桌子712处的重新映射的虚拟位置738处。该图像的分割版本740然后可被显示在重新映射的虚拟位置738。有利地，在该示例中，接口系统10使得能够经由用户输入来在混合现实环境中自然且快速地重新定位用户手部334的图像。在一些示例中，这一重新定位可以在用户使他的手334保持基本固定的同时执行。在这些示例中且如图7所示，两个分割版本730和740可表示手部334的相同姿势或定位。
也如图7的示例所示，重新映射的虚拟位置738处的图像的分割版本740被缩放成比初始虚拟位置734处的图像的分割版本730更小。以此方式，可增强对重新映射的虚拟位置738处的分割版本740比初始虚拟位置734处的分割版本730更远离用户的感知。
在另一示例中，接口程序14可检测用户手部334的3D表示与物理桌子712之间的触碰。继续参考图7，当手部334的分割版本740被定位在桌子712时，用户可通过向下伸出他的食指382以虚拟地“触摸”物理桌子来“选择”该桌子以接收关于该桌子的附加信息。一旦接口程序14检测到用户手部334的3D表示(在该实例中是用户的食指382)与物理桌子712之间的触碰，该程序就可以向用户提供关于该桌子的附加信息。
在一个示例中，可以在桌子上方显示包含诸如桌子的型号、价格和可用性等附加信息的虚拟信息泡750。还将认识到对物理对象的此类“选择”的检测可经由接口程序14触发各种其他响应和/或动作。此类响应和/或动作可包括但不限于将桌子712的信息和/或图像保存到列表、生成桌子712的放大图像等。
现在参考图6，在另一示例中，接口程序14可以向用户304的HMD设备46提供虚拟对象以供显示在虚拟焦点处。例如，接口程序14可以向HMD设备46提供虚拟照片648以供显示在表示为主屏602的虚拟环境内的虚拟焦点650处。还提供手部334的初始图像的初始分割版本604以供显示在该虚拟焦点650处。有利地，以此方式，用户304可具有单个焦点650，在该焦点处查看虚拟照片648以及手部334的图像的初始分割版本604两者。这可以在与主屏308交互时进一步增强用户对真实感的感知。
将会认识到接口系统10使用户能够将她的注意力专注和聚焦于该用户的手部的图像及其投影位置，而不是该用户的实际物理手部。在一些示例中，这使用户能够使她的手保持大致放松且舒服地下垂在她身侧。因此，物理手部可以在该用户的视域外，诸如在用户的眼睛的视野下方。
有利地，使得能够将用户手部这样定位在视域之外进一步增强了用户对虚拟手部图像的拥有和代理的感觉。这因此通过用户专注于或虚拟地聚焦于虚拟手部图像而不是用户的实际手部来提供改进的低或零等待时间交互体验。有利地，接口系统10由此促使用户将虚拟手部图像的开始移动感知和感受为自然地对应于该用户的实际手部的自发移动。
另外，在一些示例中，用户手部可被呈现为虚拟手掌分割，而不具有周围的可视上下文(例如，朝手腕淡出)。该虚拟手掌分割的移动的运动映射可被修改以创建虚幻触觉反馈(或“伪触觉”反馈)，并由此进一步增强用户的沉浸式体验。此类运动映射修改可包括但不限于速度改变以模拟摩擦或斜坡、突然运动停止以模拟对看到的障碍的反应、以及轨迹改变以模拟场景的轨迹约束(例如，颠簸)或物理效应(例如，磁场)。
在一些示例中，接口系统10可通过重新映射虚拟对象相对于物理手部周围或该物理手部触摸的实际物理对象的位置来将触觉反馈与所显示的触摸或触碰同步。该重新映射还可包括手部图像的运动重新映射(例如，速度改变)以匹配距离，诸如虚拟手部到虚拟对象距离以及物理手部到物理对象距离。
在一些示例中，接口系统10可以用3D图像和/或3D视频来提供增强的交互和相应的感官提示。接口系统10可显示此类图像和/或视频并使用深度信息来生成合适的感官深度提示。在一个示例中，该系统可呈现HMD显示器46先前捕捉到的3D照片或视频并将虚拟手部显示为悬停毗邻或触摸照片或视频。该系统可基于手部相对于照片或视频的每一个体素的投影位置(例如，每一个2DRGB至及其相应的深度信息)来提供感官提示(诸如相对阴影)。以此方式，接口系统10可使用户能够将照片或视频感受为是更真实的3维的。此外，该配置可使用户能够单独地触摸或以其他方式与照片/视频内的单独元素或部分交互。
还将认识到接口系统10可使用户能够虚拟地与无法触及的(远程)、不可触摸的(例如，非常热，诸如在指向和获取汽车的内部引擎部件上的工具提示信息时)、坚硬或不透明的(例如，虚拟穿墙)物理对象交互。
图8A和8B示出了根据本公开的一实施例的用于在虚拟环境中提供低等待时间交互的方法800的流程图。参考以上描述并在图1-7中示出的接口系统10的软件和硬件组件来提供方法800的以下描述。可以理解，方法800还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图8A，在804，方法800包括接收用户手部的背面的初始图像以及表示该手部的初始实际位置的对应的初始深度信息。在808，方法800包括从具有捕捉用户手部的背面的视野的捕捉设备接收用户手部的背面的初始图像。在812，初始实际位置与捕捉设备隔开初始实际距离。
在816，方法800包括使用初始深度信息来将初始图像投影到虚拟环境中的初始虚拟位置，其中该初始虚拟位置对应于初始实际位置。在820，初始虚拟位置与虚拟环境中的虚拟对象隔开虚拟距离。在822，方法800包括将初始图像的分割版本提供给显示设备以供显示在虚拟环境中的初始虚拟位置。
在824，该方法包括接收用户手部的背面的后续图像以及表示与初始实际位置不同的该手部的后续实际位置的对应的后续深度信息。在828，方法800包括从具有捕捉用户手部的背面的视野的捕捉设备接收用户手部的背面的后续图像。在832，后续实际位置与捕捉设备隔开不同于初始实际距离的后续实际距离。
在834，方法800包括使用后续深度信息来将后续图像投影到虚拟环境中的后续虚拟位置，其中该后续虚拟位置对应于后续实际位置。在838，后续虚拟位置与虚拟对象隔开与初始虚拟位置基本上相同的虚拟距离。在842，方法800包括将后续图像的分割版本提供给显示设备以供显示在虚拟环境中的后续虚拟位置。
在844，方法800包括将用户手部的初始图像的分割版本以及后续图像的分割版本提供给显示设备以供以其中该手部在虚拟环境中大致向上伸展的虚拟定向显示，而不管该手部的初始实际位置和后续实际位置。在848，方法800包括检测手部的三维表示与虚拟对象或物理对象之间的触碰。在850，方法800包括在检测到触碰之际向显示设备提供触碰感官提示以供显示。
在858，方法800包括向显示设备提供虚拟对象以供显示在虚拟焦点处。在860，方法800包括将后续图像的分割版本提供给显示设备以供显示在虚拟焦点处。在864，方法800包括向显示设备提供对应于用户手部在虚拟环境中的虚拟位置的位置感官提示以供显示。在866，方法800包括在检测到用户手部的虚拟位置在虚拟对象或物理对象的预定邻近度内之际向显示设备提供位置感官提示。
在868，方法800包括根据一个或多个虚拟现实变换来可视地变换用户手部的背面的初始图像的分割版本和/或后续图像的分割版本。在872，方法800包括接收与用户手部的背面的图像的重新映射的虚拟位置有关的用户输入。在876，方法800包括基于用户输入来将图像投影到虚拟环境中的重新映射的虚拟位置。在880，方法800包括将图像的分割版本提供给显示设备以供显示在虚拟环境中的重新映射的虚拟位置。
能够理解，方法800是以举例方式提供的，并且不旨在为限制性的。因此，可以理解，方法800可包括相比于图8A、8B和8C中示出的那些步骤更多和/或替换的步骤。并且，可以理解，方法800可用任何适当的次序执行。而且，可以理解，一个或多个步骤可从方法800中省略，而不背离本发明的范围。
图9示意性示出了可以执行上述方法和过程之中的一个或更多个的计算系统900的非限制性实施例。计算设备22可以采取计算系统900的形式。以简化形式示出了计算系统900。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统900可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。如上所述，在一些示例中，计算系统900可以被集成到HMD设备。
如图9所示，计算系统900包括逻辑子系统904和存储子系统908。计算系统900可以任选地包括显示子系统912、通信子系统916、传感器子系统920、输入子系统922和/或图9中未示出的其他子系统和组件。计算系统900还可包括计算机可读介质，其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统900还可以任选地包括其他用户输入设备，诸如例如键盘、鼠标、游戏控制器，和/或触摸屏等等。此外，在某些实施例中，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库，和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑子系统904可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统904可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统904可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
存储子系统908可包括被配置为保持可由逻辑子系统904执行以实现此处所述的方法和过程的数据和/或指令的一个或多个物理持久设备。在实现此类方法和过程时，存储子系统908的状态可以被变换(例如，以保持不同的数据)。
存储子系统908可以包括可移动介质和/或内置设备。存储子系统908可包括光学存储设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统908可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址，以及内容可寻址。
在一些实施例中，可以将逻辑子系统904和存储子系统908的各方面可以集成在一个或多个共同设备中，通过该一个或多个共同设备，可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
图9还示出以可移动计算机可读存储介质924形式的存储子系统908的一方面，该介质可以用于存储可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质924尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
将明白，存储子系统908包括一个或多个物理持久设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以经由计算机可读通信介质通过纯信号来传播。
在被包括时，显示子系统912可用于呈现由存储子系统908保存的数据的视觉表示。由于以上所描述的方法和过程改变了由存储子系统908保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统912的状态以在视觉上表示底层数据的改变。显示子系统912可包括利用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统904和/或存储子系统908组合在共享封装中，或此类显示设备可以是外围显示设备。显示子系统912可包括例如HMD设备46的显示系统54和透明显示器58。
在被包括时，通信子系统916可以被配置成将计算系统900与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统916可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统916可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统900经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。
传感器子系统920可包括被配置成感测不同的物理现象(例如，可见光、红外光、声音、加速度、取向、位置等)的一个或多个传感器，如上所述。传感器子系统920例如可以被配置为向逻辑子系统904提供传感器数据。如上所述，此类数据可包括眼睛跟踪信息、图像信息、音频信息、环境光信息、深度信息、位置信息、运动信息，用户位置信息和/或可被用来执行上述方法和过程的任何其他合适的传感器数据。
在被包括时，输入子系统922可包括一个或多个传感器或用户输入设备(诸如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标、或触摸屏)或与它们对接。在某些实施例中，输入子系统922可以包括所选的自然用户输入(NUI)部件或与其结合。这样的部件可以是集成式的或者是外设，并且输入动作的转换和/或处理可以在板上或板下处理。NUI部件的示例可包括用于语言和/或语音识别的微电话；用于机器版本和/或姿势识别的红外、色彩、超声波和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
术语“程序”可用于描述被实现来执行一个或多个特定功能的接口系统10的一个方面。在某些情况下，可以经由执行存储子系统908所保持的指令的逻辑子系统904来实例化这样的程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等实例化同一程序。术语“程序”可意指涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行，或者在某些情况下被省略。同样，可以改变上述过程的次序。
本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作，和/或特性，以及其任何和全部等效方案的所有新颖和非显而易见的组合和子组合。

Claims (10)

1.一种用于在虚拟环境中提供低等待时间交互的接口系统，所述接口系统包括：
由计算设备的处理器执行的接口程序，所述接口程序被配置成：
接收用户手部的背面的初始图像以及表示所述手部的初始实际位置的对应的初始深度信息；
使用所述初始深度信息，将所述初始图像投影到所述虚拟环境中的初始虚拟位置，所述初始虚拟位置对应于所述初始实际位置；
向显示设备提供所述初始图像的分割版本以供显示在所述虚拟环境中的所述初始虚拟位置；
接收所述用户手部的背面的后续图像以及表示与所述初始实际位置不同的所述手部的后续实际位置的对应的后续深度信息；
使用所述后续深度信息，将所述后续图像投影到所述虚拟环境中的后续虚拟位置，所述后续虚拟位置对应于所述后续实际位置；
向所述显示设备提供所述后续图像的分割版本以供显示在所述虚拟环境中的所述后续虚拟位置；以及
检测所述手部的三维表示与所述虚拟环境中的虚拟对象或物理对象之间的触碰。
2.如权利要求1所述的接口系统，其特征在于，所述接口程序被配置成将所述初始图像的分割版本和所述后续图像的分割版本提供给所述显示设备以供以其中所述手部在所述虚拟环境中大致向上伸展的虚拟定向显示，而不管所述用户手部的所述初始实际位置和所述后续实际位置。
3.如权利要求1所述的接口系统，其特征在于，所述接口程序被进一步配置成从具有捕捉所述用户手部的背面的视野的捕捉设备接收所述用户手部的背面的初始图像。
4.如权利要求3所述的接口系统，其特征在于：
所述初始实际位置与所述捕捉设备隔开初始实际距离，且所述后续实际位置与所述捕捉设备隔开不同于所述初始实际距离的后续实际距离；并且
所述初始虚拟位置与所述虚拟对象或所述物理对象隔开虚拟距离，且所述后续虚拟位置与所述虚拟对象或所述物理对象隔开基本上所述虚拟距离。
5.如权利要求3所述的接口系统，其特征在于，所述捕捉设备位于头戴式显示设备上。
6.一种用于在虚拟环境中提供低等待时间交互的方法，所述方法包括：
接收用户手部的背面的初始图像以及表示所述手部的初始实际位置的对应的初始深度信息；
使用所述初始深度信息，将所述初始图像投影到所述虚拟环境中的初始虚拟位置，所述初始虚拟位置对应于所述初始实际位置；
向显示设备提供所述初始图像的分割版本以供显示在所述虚拟环境中的所述初始虚拟位置；
接收所述用户手部的背面的后续图像以及表示与所述初始实际位置不同的所述手部的后续实际位置的对应的后续深度信息；
使用所述后续深度信息，将所述后续图像投影到所述虚拟环境中的后续虚拟位置，所述后续虚拟位置对应于所述后续实际位置；
向所述显示设备提供所述后续图像的分割版本以供显示在所述虚拟环境中的所述后续虚拟位置；以及
检测所述手部的三维表示与所述虚拟环境中的虚拟对象或物理对象之间的触碰。
7.如权利要求6所述的方法，其特征在于，进一步包括在检测到所述触碰之际向所述显示设备提供触碰感官提示。
8.如权利要求6所述的方法，其特征在于，进一步包括向所述显示设备提供对应于所述用户手部在所述虚拟环境中的虚拟位置的位置感官提示。
9.如权利要求6所述的方法，其特征在于，进一步包括在检测到所述用户手部的虚拟位置在所述虚拟对象或所述物理对象的预定邻近度内之际向所述显示设备提供位置感官提示。
10.如权利要求6所述的方法，其特征在于，进一步包括：
接收与所述用户手部的背面的后续图像的重新映射的虚拟位置有关的用户输入；
基于所述用户输入，将所述后续图像投影到所述虚拟环境中的所述重新映射的虚拟位置；以及
向所述显示设备提供所述后续图像的分割版本以供显示在所述虚拟环境中的所述重新映射的虚拟位置。
CN201480005569.5A 2013-01-21 2014-01-15 用图像投影的虚拟交互 Active CN105283824B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/746,226 US9202313B2 (en) 2013-01-21 2013-01-21 Virtual interaction with image projection
US13/746,226 2013-01-21
PCT/US2014/011559 WO2014113408A1 (en) 2013-01-21 2014-01-15 Virtual interaction with image projection

Publications (2)

Publication Number Publication Date
CN105283824A true CN105283824A (zh) 2016-01-27
CN105283824B CN105283824B (zh) 2018-06-05

Family

ID=50102188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005569.5A Active CN105283824B (zh) 2013-01-21 2014-01-15 用图像投影的虚拟交互

Country Status (4)

Country Link
US (1) US9202313B2 (zh)
EP (1) EP2946264B1 (zh)
CN (1) CN105283824B (zh)
WO (1) WO2014113408A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363494A (zh) * 2018-04-13 2018-08-03 北京理工大学 一种基于虚拟现实系统的鼠标输入系统
CN108700940A (zh) * 2016-05-10 2018-10-23 谷歌有限责任公司 体量虚拟现实键盘方法、用户接口和交互
CN108780357A (zh) * 2016-03-24 2018-11-09 高通股份有限公司 用于将物理环境的视觉图像集成到虚拟实境的空间关系
CN110603510A (zh) * 2017-09-18 2019-12-20 谷歌有限责任公司 虚拟现实系统中虚拟控制器的位置和取向跟踪
CN113797525A (zh) * 2020-12-23 2021-12-17 广州富港生活智能科技有限公司 一种新型游戏系统
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
EP3734426A1 (en) * 2012-11-09 2020-11-04 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
US10171800B2 (en) * 2013-02-19 2019-01-01 Mirama Service Inc. Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
KR101534742B1 (ko) * 2013-12-10 2015-07-07 현대자동차 주식회사 차량용 제스처 인식 시스템 및 그 방법
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
TW201541362A (zh) * 2014-02-19 2015-11-01 Nailsnaps Inc 產生客製化手指甲藝術之系統與方法
KR102182161B1 (ko) 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
CN104063092B (zh) * 2014-06-16 2016-12-07 青岛歌尔声学科技有限公司 一种触摸屏控制方法及装置
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US20160019718A1 (en) * 2014-07-16 2016-01-21 Wipro Limited Method and system for providing visual feedback in a virtual reality environment
DE102014011163A1 (de) * 2014-07-25 2016-01-28 Audi Ag Vorrichtung zum Anzeigen eines virtuellen Raums und Kamerabildern
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US20160125652A1 (en) * 2014-11-03 2016-05-05 Avaya Inc. Augmented reality supervisor display
US9916681B2 (en) * 2014-11-04 2018-03-13 Atheer, Inc. Method and apparatus for selectively integrating sensory content
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN113050802A (zh) * 2014-12-18 2021-06-29 脸谱科技有限责任公司 用于在虚拟现实环境中导航的方法、系统及设备
US10725297B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US20160245641A1 (en) * 2015-02-19 2016-08-25 Microsoft Technology Licensing, Llc Projection transformations for depth estimation
ES2731673T3 (es) 2015-02-20 2019-11-18 Ultrahaptics Ip Ltd Procedimiento para producir un campo acústico en un sistema háptico
MX2017010252A (es) 2015-02-20 2018-03-07 Ultrahaptics Ip Ltd Mejoras de algoritmos en un sistema haptico.
DE102015003883A1 (de) 2015-03-26 2016-09-29 Audi Ag Kraftfahrzeugsimulationsanordnung zur Simulation einer virtuellen Umgebung mit einem virtuellen Kraftfahrzeug und Verfahren zur Simulation einer virtuellen Umgebung
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US10635161B2 (en) * 2015-08-04 2020-04-28 Google Llc Context sensitive hand collisions in virtual reality
KR102413074B1 (ko) 2015-09-21 2022-06-24 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
JP6742760B2 (ja) * 2016-02-29 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017172982A1 (en) 2016-03-31 2017-10-05 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
US9847079B2 (en) 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
WO2017196404A1 (en) * 2016-05-10 2017-11-16 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US9983697B1 (en) * 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
DE102016006767A1 (de) 2016-06-02 2017-12-07 Audi Ag Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem
KR101724360B1 (ko) * 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치
JP6449922B2 (ja) * 2017-01-18 2019-01-09 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018020735A1 (ja) * 2016-07-28 2018-02-01 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN106251386A (zh) * 2016-07-29 2016-12-21 广东小天才科技有限公司 一种基于虚拟现实的素描学习方法及系统
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
JP6093473B1 (ja) * 2016-08-19 2017-03-08 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN106527682B (zh) * 2016-09-27 2020-11-10 北京小米移动软件有限公司 切换环境画面的方法及装置
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
WO2018106220A1 (en) * 2016-12-06 2018-06-14 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US20180173300A1 (en) * 2016-12-19 2018-06-21 Microsoft Technology Licensing, Llc Interactive virtual objects in mixed reality environments
US10430647B2 (en) 2017-01-13 2019-10-01 Microsoft Licensing Technology, LLC Tailored illumination profile for articulated hand tracking
US11508257B2 (en) * 2017-03-07 2022-11-22 8259402 Canada Inc. Method to control a virtual image in a display
US20180284914A1 (en) * 2017-03-30 2018-10-04 Intel Corporation Physical-surface touch control in virtual environment
CN110637273B (zh) * 2017-05-10 2021-12-03 微软技术许可有限责任公司 在虚拟环境内呈现应用
US10168789B1 (en) 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US20180365268A1 (en) * 2017-06-15 2018-12-20 WindowLykr Inc. Data structure, system and method for interactive media
US10304239B2 (en) 2017-07-20 2019-05-28 Qualcomm Incorporated Extended reality virtual assistant
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
JP7005224B2 (ja) * 2017-08-22 2022-01-21 キヤノン株式会社 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
WO2019067482A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT
EP4235263A3 (en) * 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
WO2019122912A1 (en) 2017-12-22 2019-06-27 Ultrahaptics Limited Tracking in haptic systems
EP3729418A1 (en) 2017-12-22 2020-10-28 Ultrahaptics Ip Ltd Minimizing unwanted responses in haptic systems
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US11182962B2 (en) * 2018-03-20 2021-11-23 Logitech Europe S.A. Method and system for object segmentation in a mixed reality environment
DE102019107145B4 (de) 2018-03-20 2023-03-16 Logitech Europe S.A. Verfahren, vorrichtung und nichtflüchtiges computerlesbares medium zur mixed-reality-interaktion mit einem peripheriegerät
SG11202010752VA (en) 2018-05-02 2020-11-27 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US10860088B2 (en) * 2018-05-03 2020-12-08 Microsoft Technology Licensing, Llc Method and system for initiating application and system modal control based on hand locations
US10916065B2 (en) * 2018-05-04 2021-02-09 Facebook Technologies, Llc Prevention of user interface occlusion in a virtual reality environment
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
US11903712B2 (en) 2018-06-08 2024-02-20 International Business Machines Corporation Physiological stress of a user of a virtual reality environment
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US10970922B2 (en) * 2018-09-28 2021-04-06 Apple Inc. Generating a 3D model of a fingertip for visual touch detection
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
EP3906462A2 (en) 2019-01-04 2021-11-10 Ultrahaptics IP Ltd Mid-air haptic textures
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
KR102174794B1 (ko) * 2019-01-31 2020-11-05 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US11159766B2 (en) 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
WO2021062278A1 (en) 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
CN114631139A (zh) 2019-10-13 2022-06-14 超飞跃有限公司 利用虚拟麦克风进行动态封顶
US11169610B2 (en) 2019-11-08 2021-11-09 Ultraleap Limited Tracking techniques in haptic systems
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11090873B1 (en) * 2020-02-02 2021-08-17 Robert Edwin Douglas Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects
US11107280B1 (en) * 2020-02-28 2021-08-31 Facebook Technologies, Llc Occlusion of virtual objects in augmented reality by physical objects
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons
US11320903B1 (en) 2020-10-20 2022-05-03 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11281291B1 (en) 2020-10-20 2022-03-22 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11609629B2 (en) 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
US11980813B2 (en) * 2021-05-04 2024-05-14 Ztag, Inc. System and method of using a virtual focal point in real physical game
US20220392170A1 (en) * 2021-06-07 2022-12-08 Citrix Systems, Inc. Interactive Display Devices in Extended Reality Environments
US11887267B2 (en) 2021-07-07 2024-01-30 Meta Platforms Technologies, Llc Generating and modifying representations of hands in an artificial reality environment
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010024512A1 (en) * 1999-08-10 2001-09-27 Nestor Yoronka Optical body tracker
WO2002007839A2 (en) * 2000-07-24 2002-01-31 Jestertek, Inc. Video-based image control system
US20030138130A1 (en) * 1998-08-10 2003-07-24 Charles J. Cohen Gesture-controlled interfaces for self-service machines and other applications
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
CN102577368A (zh) * 2009-04-16 2012-07-11 惠普开发有限公司 在虚拟协同系统中传送视觉表示

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0554492B1 (en) 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
IT1264718B1 (it) 1993-10-08 1996-10-04 Scuola Superiore Di Studi Universitari E Di Perfezionamento Sant Anna Dispositivo atto a fornire una retroazione di forza ad un'unita' fisiologica, da utilizzarsi in particolare come interfaccia avanzata
US20080297535A1 (en) 2007-05-30 2008-12-04 Touch Of Life Technologies Terminal device for presenting an improved virtual environment to a user
WO2010042880A2 (en) 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
US8799803B2 (en) * 2011-03-03 2014-08-05 Apple Inc. Configurable input device
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030138130A1 (en) * 1998-08-10 2003-07-24 Charles J. Cohen Gesture-controlled interfaces for self-service machines and other applications
US20010024512A1 (en) * 1999-08-10 2001-09-27 Nestor Yoronka Optical body tracker
WO2002007839A2 (en) * 2000-07-24 2002-01-31 Jestertek, Inc. Video-based image control system
CN102577368A (zh) * 2009-04-16 2012-07-11 惠普开发有限公司 在虚拟协同系统中传送视觉表示
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780357A (zh) * 2016-03-24 2018-11-09 高通股份有限公司 用于将物理环境的视觉图像集成到虚拟实境的空间关系
CN108780357B (zh) * 2016-03-24 2021-11-23 高通股份有限公司 用于将物理环境的视觉图像集成到虚拟实境的空间关系
CN108700940A (zh) * 2016-05-10 2018-10-23 谷歌有限责任公司 体量虚拟现实键盘方法、用户接口和交互
CN110603510A (zh) * 2017-09-18 2019-12-20 谷歌有限责任公司 虚拟现实系统中虚拟控制器的位置和取向跟踪
CN110603510B (zh) * 2017-09-18 2023-10-27 谷歌有限责任公司 虚拟现实系统中虚拟控制器的位置和取向跟踪
CN108363494A (zh) * 2018-04-13 2018-08-03 北京理工大学 一种基于虚拟现实系统的鼠标输入系统
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步
CN113797525A (zh) * 2020-12-23 2021-12-17 广州富港生活智能科技有限公司 一种新型游戏系统
CN113797525B (zh) * 2020-12-23 2024-03-22 广州富港生活智能科技有限公司 一种新型游戏系统

Also Published As

Publication number Publication date
US9202313B2 (en) 2015-12-01
CN105283824B (zh) 2018-06-05
WO2014113408A1 (en) 2014-07-24
EP2946264B1 (en) 2016-11-02
US20140204002A1 (en) 2014-07-24
EP2946264A1 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
CN105283824A (zh) 用图像投影的虚拟交互
US11043031B2 (en) Content display property management
CN110456626B (zh) 全息键盘显示
CN105900041B (zh) 利用视线跟踪进行的目标定位
CN106575357B (zh) 瞳孔检测
JP6967043B2 (ja) ３次元コンテンツ内の場所に基づく仮想要素モダリティ
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
CN105612478B (zh) 用户接口程序化的缩放
CN105359082B (zh) 用于用户接口导航的系统和方法
CN105324811A (zh) 语音到文本转换
CN112148118A (zh) 生成物理环境中的人的姿势信息
CN106104423A (zh) 姿势参数调节
US11314396B2 (en) Selecting a text input field using eye gaze
WO2014043119A1 (en) Augmented reality information detail
US10891800B1 (en) Providing features of an electronic product in an augmented reality environment
US11379033B2 (en) Augmented devices
CN110554770A (zh) 静态遮挡物
US11209903B2 (en) Rendering of mediated reality content
US20210081051A1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
US20220377486A1 (en) Audio enhanced augmented reality
US20230221830A1 (en) User interface modes for three-dimensional display
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
EP2887639A1 (en) Augmented reality information detail
US11442549B1 (en) Placement of 3D effects based on 2D paintings

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant