CN105264461A - 虚拟对象与表面的交互 - Google Patents
虚拟对象与表面的交互 Download PDFInfo
- Publication number
- CN105264461A CN105264461A CN201480027872.5A CN201480027872A CN105264461A CN 105264461 A CN105264461 A CN 105264461A CN 201480027872 A CN201480027872 A CN 201480027872A CN 105264461 A CN105264461 A CN 105264461A
- Authority
- CN
- China
- Prior art keywords
- virtual objects
- user
- real world
- attached
- world surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000007667 floating Methods 0.000 claims abstract description 45
- 230000003190 augmentative effect Effects 0.000 claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims description 29
- 238000005553 drilling Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000002085 persistent effect Effects 0.000 description 6
- 230000002045 lasting effect Effects 0.000 description 3
- 241000287181 Sturnus vulgaris Species 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 208000030984 MIRAGE syndrome Diseases 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- TVLSRXXIMLFWEO-UHFFFAOYSA-N prochloraz Chemical compound C1=CN=CN1C(=O)N(CCC)CCOC1=C(Cl)C=C(Cl)C=C1Cl TVLSRXXIMLFWEO-UHFFFAOYSA-N 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 230000006886 spatial memory Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了涉及在包括显示系统的增强现实计算设备上操作用户界面的实施例。例如,一个公开的实施例包括经由所述显示系统将虚拟对象显示为自由漂浮,检测将所述对象显示为附连到表面的触发,以及响应于所述触发,经由所述显示系统将所述虚拟对象显示为附连到所述表面。方法可进一步包括检测使所述虚拟对象与所述表面分离的触发,以及响应于使所述虚拟对象与所述表面分离的触发,使所述虚拟对象与所述表面分离并且将所述虚拟对象显示为自由漂浮。
Description
背景
增强现实计算设备可显示叠放在包括真实对象和现实世界表面(例如墙壁、桌子等)的环境上的虚拟或全息对象。例如,头戴式显示设备可包括透视显示系统,该透视显示系统被配置成显示图像但不遮蔽透过透视显示系统可看到的现实世界背景。
概述
公开了用于在包括显示系统的增强现实计算设备上操作用户界面的实施例。例如,一个公开的实施例提供了一种方法,包括经由所述显示系统将虚拟对象显示为自由漂浮,检测将所述对象显示为附连到表面的触发,以及响应于所述触发,经由所述显示系统将所述虚拟对象显示为附连到所述表面。方法可进一步包括检测使所述虚拟对象与所述表面分离的触发,以及响应于使所述虚拟对象与所述表面分离的触发,使所述虚拟对象与所述表面分离并且将所述虚拟对象显示为自由漂浮。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。而且,所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1A和1B示出对增强现实计算系统的示例使用环境的示意描绘。
图2示意性示出了增强现实显示设备的一个示例实施例。
图3是图2的显示设备的框图。
图4-10示出根据本公开的增强现实显示设备用户与增强现实环境中的虚拟对象的示例交互。
图11示出根据本公开的用于操作增强现实计算设备上的用户界面的示例方法。
图12示意性地示出了示例计算系统。
详细描述
透视显示系统,例如头戴式显示(HMD)设备或其他近眼显示设备可以用于向用户呈现背景场景的增强现实视图。此类增强的现实环境可以包括用户可经由用户输入(诸如,语音输入、姿势输入、眼睛跟踪输入、运动输入和/或任何其他合适的输入类型)与其交互的各种虚拟对象和真实对象。
透视显示系统的用户可能想要某种类型的虚拟对象以在不变得在用户的视野中过于侵扰的情况下保留在用户的视野中。例如,增强现实计算设备的用户可能想要让漂浮的全息电视在用户在环境中执行各种任务时跟随在用户周围。可在用户的视野中向用户持久显示的其它示例虚拟对象可包括漂浮的全息机器人助手或控制面板界面,它们允许用户改变环境的属性,以例如改变房间的颜色。
为了将这样的虚拟对象保持在用户的持久视野中而同时减少该虚拟对象在用户的视野中的侵扰性,在一些示例中,持久虚拟对象可被附连到环境中的现实世界表面,例如附连到墙壁上,使得虚拟对象可漂浮在墙壁的表面上。例如,虽然被显示在表面上,但是虚拟对象的旋转可与该表面对准,并且可在表面上滑动到对于用户舒服的观看位置。类似的,虚拟对象还可被附连到虚拟表面,诸如虚拟墙壁或其它虚拟环境结构。
然而,在管理这类持久虚拟对象与增强现实环境中的现实世界表面的交互中可能出现各种问题。例如,可能期望准许用户控制何时以及如何将虚拟对象附连到现实世界表面。此外,虚拟对象到现实世界表面的附连可取决于虚拟对象的类型和状态以及现实世界表面的特性。另外,当持久虚拟对象在现实世界环境中移来移去时,在将虚拟对象从自由漂浮状态转变到表面附连状态方面以及在将虚拟对象从环境中的一个位置转变到另一位置方面可能存在各种环境方面的挑战。
因此,公开了与促成持久虚拟对象在增强现实环境中移动以及管理虚拟对象与增强现实环境中的现实世界表面的附连有关的各实施例。简而言之,公开的实施例涉及将虚拟对象作为自由漂浮显示在增强现实显示设备上,并且响应于将该对象显示为附连到(真实或虚拟的)表面的触发,将虚拟对象显示为附连到该表面。触发可包括任何合适的条件或事件,包括但不限于用户输入以及虚拟对象和现实世界表面之间的阈值距离。虽然以下呈现的实施例是在现实世界表面的上下文中描述的,但是将会理解,所解说的概念可被用于任何合适的表面,无论是真实的还是虚拟的。类似的,虽然各实施例是在透视头戴式显示系统中描述的,但是将会理解任何其它合适类型的增强现实显示系统可被使用。示例包括但不限于具有相机和被配置成显示相机所获取的图像数据的显示器的便携式设备(例如,平板计算机、智能手机、膝上型计算机等),其中增强现实图像可以虚拟对象与图像传感器所获取的现实世界图像数据合成在一起的形式显示在显示器上。
图1A和1B示出了头戴式显示设备104的实施例的使用环境的示例实施例,其中环境100采用了客厅的形式。应当理解,环境100是出于示例的目的被呈现的,并且使用环境可采取任何其它合适的形式。
用户106正在透过透视头戴式显示设备104形式的增强现实计算设备查看客厅房间并且可以经由显示设备104的用户界面与增强的环境进行交互。图1A和1B还描绘了用户视野102,其包括通过显示设备104可查看到的部分环境,并且因此所述部分环境可用经由显示设备104所显示的虚拟图像来增强。在某些实施例中,用户视野102实质上可以与用户的实际视界同延,而在其它实施例中,用户视野102可以占据比用户的实际视界更小的部分。
增强环境可包括多个现实世界表面和现实世界对象。例如,如图1A和1B中所示,环境包括沙发114、桌子116、第一墙壁或表面118、第二墙壁120、以及第三墙壁122。此外,环境100中的现实世界表面可包括各种表面间断,诸如拐角、门、窗、耦合到或邻近表面的现实世界对象等。图1A和1B中示出的示例表面间断包括墙壁120与表面118的对接处的拐角或间断124、表面118和墙壁122的对接处的拐角126、以及墙壁122中的门128。应当理解,图1A和1B中示出的示例现实世界表面是非限制性示例。其它示例现实世界表面可包括外表面,例如建筑物的侧面、购物中心内的玻璃店面、以及任何其他适当的表面。
如下面将要更详细描述的,显示设备104可以包括一个或多个朝外的图像传感器(例如,二维相机和/或深度相机),其配置为在用户导航环境时获取表示用户环境100的图像数据(例如,彩色/灰度图像、深度图像/点云图像等)。这种图像数据可被用于获取与环境布局(例如,三维表面图等)和其中包含的对象(诸如,沙发114、桌子116、墙壁120、表面118、墙壁122、门128、以及拐角或间断126和124)有关的信息。此外,图像数据可被用于获取与环境中的现实世界表面的特性或属性有关的信息。现实世界表面的示例特性或属性可包括颜色、纹理、形状、大小等。如以下更详细描述的,这样的表面特性或属性可被用于规定虚拟对象如何与环境中的现实世界表面对接的策略中。
如以上提到的,在一些示例中,一个或多个虚拟对象可经由透视显示设备104显示给用户106,使得当用户在环境中移来移去或环顾四周时,该一个或多个虚拟对象保留在用户106的视野102中。例如,图1A示出经由透视显示设备104向用户106显示为自由漂浮在环境100中的示例虚拟对象130。例如,自由漂浮的虚拟对象130可以是自由漂浮的全息电视,其基于用户106在环境100内的位置和/或基于用户106的凝视或聚焦132在环境中的位置而在环境中移来移去。自由漂浮的虚拟对象130可以是任何适合的虚拟对象,例如诸如漂浮的虚拟电视或家居自动化控制面板之类的平面对象,或者诸如花、植物、雕塑、艺术品等之类的非平面3-D虚拟对象。
图1A示出显示用户聚焦132在环境100中的位置处的自由漂浮虚拟对象130。在一些示例中,自由漂浮的虚拟对象130可持久地显示在用户聚焦132的位置处,即使当用户聚焦位置发生变化时。例如,如果用户106将聚焦132的位置改变到环境100内的新位置,则虚拟对象130可被显示在环境中的该新位置,使得虚拟对象保留在环境中用户凝视的位置。例如,如以下更详细描述的,显示设备104可包括各种传感器,用来确定用户凝视或聚焦在环境中的位置和/或用户在环境中的朝向和/或姿势,使得自由漂浮的虚拟对象的显示可被相应调整。例如,自由漂浮的对象的旋转可基于用户106在环境中的朝向或身体姿势来调整。
在一些示例中,用户106可能想要将自由漂浮的虚拟对象(例如,图1A中示出的自由漂浮的虚拟对象130)附连到环境100中的现实世界表面。例如,如图1B中所显示的,虚拟对象可被附连到现实世界墙壁或表面118,使得虚拟对象不遮挡用户对环境中的其他对象的查看。作为另一示例,虚拟对象可被附连到桌子116的顶面,或附连到沙发114上的某一位置、或附连到环境100中的其他合适的表面。
环境100中显示的自由漂浮的虚拟对象可以任何合适的方式被附连到现实世界表面或与现实世界表面分离。例如,如图1A和1B中所示,用户106可通过将用户聚焦132的位置从图1A中示出的第一位置改变为如图1B中示出的位于表面118附近的位置处的第二用户聚焦位置132(可能与另一触发结合)来致使图1A中示出的自由漂浮虚拟对象130向表面118移动。如以下更详细描述的,各种触发可被用于致使虚拟对象被显示为附连到现实世界表面。例如,在通过改变凝视位置使虚拟对象130移动至靠近表面118的位置之后,用户可提供语音命令或语音输入来将虚拟对象附连到表面118。作为另一示例,在某些环境条件被满足时,例如当虚拟对象130和表面118或用户106和表面118之间的距离小于阈值距离时,虚拟对象130可自动显示为附连到表面118。此外,如以下更详细描述的,各种触发可被用于将虚拟对象从现实世界表面分离或将附连的虚拟对象沿其附连到的现实世界表面移动。例如,在虚拟对象被附连到现实世界表面之后,在一些示例中,虚拟对象可随着用户改变环境内的位置和/或凝视方向而沿现实世界表面移动。然而,在其他示例中,附连到现实世界的虚拟对象可被钉到现实世界表面,使得虚拟对象被显示在现实世界表面上的固定位置上。
在一些示例中,一个或多个策略可被获取并用于管理持久的虚拟对象与现实世界表面的附连。例如,策略可表述虚拟对象可被附连到哪些现实世界表面以及在什么条件下虚拟对象可被附连到现实世界表面中的一个或多个。虚拟对象可随后基于与该虚拟对象相关联的一个或多个策略而被显示在透视显示系统上。在一些示例中,这些策略可在创建对象时被指定,使得策略被构建到该对象中。在其他示例中,这些策略可基于用户输入以允许用户偏好将获得的某些区域和特定全息对象,或抑制接收特定特性。
例如,这样的策略可规定虚拟对象是否可被附连的特定的现实世界表面和/或虚拟对象是否可被钉到现实世界表面,例如虚拟对象是否能够被附连在现实世界表面上的固定位置。此外,这样的策略可取决于虚拟对象的类型和/或状态。例如,取决于对象的类型和/或状态,对象可被准许附连到某些类型的现实世界表面并且不被准许附连到其它类型的现实世界表面。
此外,这些策略可规定虚拟对象和现实世界表面之间的附连如何显示。这些策略可取决于现实世界表面的各种属性,例如如经由显示设备104中的一个或多个传感器检测到的属性。例如,现实世界表面的诸如表面的类型(例如“墙壁”或“桌子”)、表面透明度(例如,透明或不透明)、表面纹理(例如木头或者玻璃)等之类的属性可被确定并在与虚拟对象相关联的策略中指出以表述虚拟对象如何相对于现实世界表面来显示。
例如,如果虚拟对象是自由漂浮的全息电视,则该虚拟对象可被准许附连到墙壁的未被遮挡的区域的指定高度处(例如高于五英尺或某个其它的高度阈值),或者可被准许附连到桌子顶面但可不被准许附连到环境中的沙发。作为另一示例,虚拟棋盘对象可被准许吸附到桌子表面但不被准许附连到墙壁。作为另一示例,虚拟海报可被准许吸附到墙壁的未被遮挡区域但不被准许附连到桌子表面上。此外,虚拟海报可被准许仅附连到带有与虚拟海报相匹配的颜色的墙壁。作为另一示例,虚拟电视可被显示为该虚拟电视的底部边缘附连到桌子的表面,而当附连到墙壁时,虚拟电视可被显示为其背面贴近墙壁。作为又一示例,策略可规定虚拟对象周围的边距空间。例如,某些类型的虚拟对象可被显示为在对象周围具有小量的边距空间,使得该虚拟对象被准许显示成相对于周围的表面特征而紧密的贴合在表面上,而在对象周围提供大量的边距空间的其它类型的虚拟对象可仅被准许显示在表面上。
根据本公开的透视显示设备可以采用任何合适的形式,包括但不限于诸如图1A和1B的头戴式显示设备104之类的近眼设备。图2示出了透视显示系统300的一个示例,而图3显示了显示系统300的框图。
显示系统300包括形成显示子系统304一部分的一个或多个透镜302,从而使图像可以经由透镜302(例如,经由透镜302上的投影、纳入透镜302中的(诸)波导系统,和/或任何其他合适方式)被显示。显示系统300还包括一个或多个朝外图像传感器306,配置来获取用户查看的背景场景和/或物理空间的图像,并且可以包括配置为检测诸如用户的语音命令的声音的一个或多个话筒308。朝外图像传感器306可以包括一个或多个深度传感器和/或一个或多个二维图像传感器。
如以上所描述的,显示系统300可以进一步包括被配置成检测用户每只眼睛的凝视方向或聚焦的方向或位置的凝视检测子系统310。凝视检测子系统310可以配置来以任何合适方式确定用户每只眼睛的凝视方向。例如,在所描绘的实施例中,凝视检测子系统310包括一个或多个闪烁源312,诸如红外线光源,配置来使得闪烁的光从用户的每个眼球反射,以及一个或多个图像传感器314,诸如朝内传感器,配置来捕捉用户每个眼球的图像。根据经由(诸)图像传感器314收集的图像数据所确定的用户眼球的闪烁变化和/或用户瞳孔的位置可以用于确定凝视方向。此外,从用户眼睛投射的凝视线与外部显示器交叉的位置可以用于确定用户凝视的对象(例如,所显示的虚拟对象和/或真实的背景对象)。凝视检测子系统310可以具有任意合适数量和排布的光源和图像传感器。
显示系统300还可以包括附加的传感器。显示系统300还可以包括附加的传感器。例如,显示系统300可以包括全球定位(GPS)子系统316以能够确定显示系统300的位置。例如,这允许显示系统300的用户被呈现与在不同位置处的所选对象相关联的不同组命令。
显示系统300还可以包括一个或多个运动传感器318,以在用户戴着显示系统300时检测用户头的移动。可以将运动数据,可能还有眼睛跟踪闪烁数据和朝外图像数据,用于凝视检测以及图像稳定,以帮助校正(诸)朝外图像传感器306的图像中的模糊之处。即使无法解析朝外图像传感器306的图像数据,运动数据的使用可以允许追踪凝视位置的变化。同样,运动传感器318以及(诸)话筒308和凝视检测子系统310也可以用作用户输入设备,这样用户可以通过眼、脖和/或头的姿势以及通过口头命令与显示系统300互动。将会理解,图2和3所描绘的传感器是出于示例的目的而示出的,且不旨在以任何方式进行限制,因为可以使用任何其他合适的传感器和/或传感器的组合。
显示系统300还包括控制器320,其具有与传感器、凝视检测子系统310及显示子系统304通信的逻辑子系统322和数据保持子系统324(还可以被称作存储系统)。数据保持子系统324包括存储在其上的指令,这些指令能被逻辑子系统322执行例如用以:接收并解释来自传感器的输入;表示用户的运动;检测用户对一个或多个对象的选择;以及对所选择的对象执行动作或命令和其他任务等。
将理解,所描绘的显示设备104和300是出于示例目的描述的并且因此不意味着进行限制。可以理解,所述显示设备可以包括除显示的那些之外未偏离本公开文本范畴的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等。此外,显示设备的物理配置及其各种传感器和子组件可以采取不偏离本公开文本范畴的各种不同形式。
图4-10示出佩戴增强现实显示设备104的用户106与增强现实环境中的持久虚拟对象的相对于现实世界表面的示例交互。如以上提到的,在一些示例中,虚拟对象可被显示为持久的自由漂浮的虚拟对象,该虚拟对象追随用户对于环境的凝视。在特定条件期间,可能期望将这一虚拟对象的显示从环境内的自由漂浮状态转变为附连状态,在附连状态下,虚拟对象被显示为至少部分附连到环境中的现实世界表面。各种触发可被用于将虚拟对象从自由漂浮状态转变为附连状态。
例如,图4示出增强现实环境中的用户聚焦132的位置404处的自由漂浮虚拟对象130。自由漂浮虚拟对象130是经由透视显示设备104向用户106显示的虚拟对象,其被显示为未附连到该增强现实环境中的任意现实世界表面。例如,图4示出环境内的位置404处的自由漂浮虚拟对象130未被附连到现实世界表面118或从其分离。例如,现实世界表面118可以是墙壁、商店的玻璃橱窗、公告板等。
位置404处的自由漂浮虚拟对象130可基于用户106所执行的动作在增强现实环境内移动。例如,用户106可输入语音命令,诸如“抓起”,并且改变其聚焦在环境内的位置132以将自由漂浮对象移动至新的位置。作为另一示例,自由漂浮的对象可响应于用户聚焦132的位置的改变而自动移动,使得该自由漂浮虚拟对象被显示在用户的聚焦点或凝视轴处,或者用户的聚焦点或凝视轴所指代的位置处。
如以上提到的,在一些示例中,在某些条件期间,用户106可能想要将自由漂浮的虚拟对象附连到环境内的现实世界表面,以便减少虚拟对象在用户的视野中的侵扰性。此外,将自由漂浮的虚拟对象附连到环境中的各表面可协助用户使用他们的空间记忆来将对象放置在环境中。例如,用户可将虚拟对象放置在他们的家中的某些显示世界位置处,并且基于已知的现实世界位置来放置对象。作为更详细的示例,用户可能知道他们的虚拟电视可在厨房的角落中找到,因为用户常常在准备晚餐时在那个位置观看电视。因此,位置404处的自由漂浮虚拟对象130可响应于触发事件转变到表面118上的附连位置,示出在404’。作为一个示例,触发可包括将虚拟对象附连到靠近该虚拟对象的表面的语音输入命令。作为另一示例,当虚拟对象和表面之间的距离406小于阈值距离时,自由漂浮虚拟对象可自动附连到表面118。以此方式,自由漂浮的虚拟对象可看上去变得“吸”到附近的现实世界表面并且可在虚拟对象由用户移动至距表面的阈值距离时自动吸附到该表面。在一些示例中,虚拟对象的朝向可被修改以在虚拟对象附连到表面时匹配表面118的朝向。将对象的朝向修改为匹配于对象所附连的表面的朝向可帮助避免虚拟对象看上去刺入现实世界表面,并由此帮助维持虚拟对象存在于现实世界环境中的幻像。
参照图5,在一些示例中,一旦虚拟对象130在位置404处被附连到表面118,则虚拟对象130可基于用户106的凝视位置或聚焦位置在表面118上或沿着表面118移动或滑动。例如,图5示出用户106具有在第一时刻在沿虚拟对象130所附连的表面118上的第一位置404处的第一聚焦位置502。响应于用户聚焦或凝视位置的变化,附连的虚拟对象可随用户聚焦一起移动,同时维持附连到表面118。例如,如图5中所示,在第一时刻之后的第二时刻,用户106将用户聚焦位置从第一聚焦位置502改变到第二、不同的聚焦位置504。在这一示例中,附连的虚拟对象130从初始位置404移动至新的位置404’,使得附连的虚拟对象保持在用户聚焦位置处。
如图6中所示,在一些示例中,附连到虚拟表面118的虚拟对象130的显示可响应于用户106的朝向、旋转、或位置而调整,同时保持在表面118上的固定位置。例如,虚拟对象可被显示为在面向第一位置602处的用户的第一朝向位置404处附连到表面118,其中第一聚焦方向604实质上射向表面118。然而,响应于用户在环境中的位置从第一位置602改变到第二位置606,虚拟对象可被显示为在第二朝向位置404’处附连到表面118,使得虚拟对象保持附随位于第二位置606处的用户的聚焦方向608。
参照图7,如702所示,一旦虚拟对象130在位置404处被附连到表面118,则该虚拟对象可基于用户凝视方向或聚焦位置的改变而在表面118上移动或滑动。例如,图7示出用户106具有在第一时刻在沿虚拟对象130所附连的表面118上的第一位置404处的第一聚焦位置706。响应于用户聚焦或凝视位置的变化,附连的虚拟对象可随用户聚焦一起移动,同时维持附连到表面118。例如,如图7中702所示,在第一时刻之后的第二时刻,用户106将用户聚焦位置从第一聚焦位置706改变到第二、不同的聚焦位置708,并且虚拟对象130进而移动到表面118上的对应于第二聚焦位置708的新位置404'。
如图7中所示,在一些示例中,在新位置404’处的附连的虚拟对象可变得“钉”到表面,使得附连的虚拟对象130变得固定在表面118上的位置404’处。例如,用户106可将虚拟对象移动至新位置404’并且可提供输入(例如语音输入)以在其当前位置将虚拟对象钉到表面。在这一示例中,用户将虚拟对象130从第一附连位置404移动至404’处新附连位置,并且随后提供输入以将虚拟对象固定地附连在位置404’处。这一钉操作致使对象冻结其在墙壁上的当前位置,不再追随用户的视野。如图7中704所示,在虚拟对象被钉到位置404’之后,虚拟对象将被维持在该固定位置404’,即使当用户的凝视方向发生改变。例如,如704所示,虚拟对象130保持在规定位置404',即使当用户聚焦位置返回到位置706。
此外,在一些示例中,404’处示出的被钉住的虚拟对象130可变为不再钉住表面118。例如,用户106可提供输入(例如语音输入)来使虚拟对象不再钉在404’处的其当前固定位置。作为另一示例,解除钉住对象可响应于用户106执行的动作来执行。例如,用户106可尝试通过聚焦在对象上并改变其焦点离开该固定位置来将虚拟对象130推离其当前固定位置。如果这一用户聚焦的改变大于阈值量,则对象可变为不被钉住。在虚拟对象不在钉住表面之后,该虚拟对象可再次随用户聚焦的改变一起移动,同时保持附连到表面118。
虚拟对象可被附连到的现实世界表面可包括各种间断,其阻碍了虚拟对象沿表面的移动。间断的示例包括拐角、门、窗、附连到现实世界表面的其他对象等。图8-10示出将附连到现实世界表面118的虚拟对象移动通过表面中的间断124的各个示例。
例如,图8示出跳跃或吸附操作,其中虚拟对象130被示为在第一位置404处附连到具有间断124的表面118,随后跳跃或吸附通过间断124到第二位置404’。例如,图8中示出的表面118可包括第一现实世界表面802,其与第二现实世界表面802对接,间断124位于表面802与表面804的对接处。用户聚焦位置806可最初位于表面802上的位置404处,虚拟对象130最初被附连到该位置。然而,随着用户将聚焦位置从聚焦806改为通过间断124并且在表面404上的聚焦808,虚拟对象从位置404吸附到通过间断的表面804上的新位置404’。例如,响应于用户聚焦的方向和第二现实世界表面804之间的角度符合阈值条件,虚拟对象可被显示在第二现实世界表面804上并且不显示在第一现实世界表面802上。
作为另一示例,图9示出当虚拟对象130移动跨过在表面118中的间断124时对虚拟对象130执行的弯曲或变形操作。例如,图9中示出的表面118可包括第一现实世界表面802,其与第二现实世界表面802对接,间断124位于表面802与表面804的对接处。用户聚焦位置902可最初位于表面804上的位置404处,虚拟对象130被附连到该位置。然而,当用户将聚焦位置从聚焦902改为间断124处的聚焦904时,虚拟对象弯曲或变形以适应间断处表面的形状,使得虚拟对象的第一部分被显示在第一现实世界表面802上靠近间断处,而虚拟对象130的第二部分被显示在第二现实世界表面804上靠近间断处。当用户继续调整其聚焦位置通过间断朝向表面804时,虚拟对象继续在间断附近弯曲,使得虚拟对象包含在显示在第二表面804上的第一部分中的量增加直到整个虚拟对象被转变为跨过间断到达第二表面804。
作为又一示例,图10示出当虚拟对象130移动跨过在表面118中的间断124时对虚拟对象130执行的搭桥或分离操作。在这一示例中,用户聚焦1002最初位于表面118上的位置404处,虚拟对象118被显示为在该位置附连到表面118。然而,当用户聚焦位置从聚焦1002改变到间断处的聚焦1004时,虚拟对象在间断处与现实世界表面118分离,并随后在通过间断之后的位置重新附连。例如,当用户凝视接近间断124达到一阈值量时,虚拟对象可被显示为与表面118分离或者可看上去在间断处搭桥以移动通过间断。将会理解图8-10的实施例仅出于示例目的呈现并且不旨在以任何方式是限制性的,因为附连到物理表面的虚拟对象可被配置成以任何其它适合的方式来处理物理表面的间断。
图11示出用于操作增强现实计算设备上用户界面以管理增强现实环境中的持久虚拟对象的附连操作的示例方法1100。例如,如以上所描述的,在特定条件期间,虚拟对象可基于与虚拟对象相关联的策略来附连到环境中的各个现实世界表面或与其上分离。
在1102,方法1100包括经由透视显示系统将虚拟对象显示为自由漂浮。例如,如图1A中所示,虚拟对象130可经由透视显示设备显示为在环境100中自由漂浮。
在1104,方法1100包括检测触发以将虚拟对象显示为附连到现实世界表面。例如,在1106,触发可包括用户输入(例如语音输入),并且方法1100可包括接收用户输入以触发将虚拟对象附连到现实世界表面。作为另一示例,触发可包括虚拟对象或用户与现实世界表面之间的阈值距离。因此,在1108,方法1100可包括确定虚拟对象或用户与现实世界表面的接近度。
在1110,方法1100包括响应于触发经由透视显示系统将虚拟对象显示为附连到现实世界表面。此外,在一些示例中,虚拟对象可基于与虚拟对象相关联的策略来显示为附连到现实世界表面。例如,与虚拟对象相关联的一个或多个策略可以被获取,其中该一个或多个策略可表述虚拟对象可被附连到哪些现实世界表面以及在什么条件下虚拟对象可被附连到现实世界表面中的一个或多个。虚拟对象可基于与该虚拟对象相关联的一个或多个策略而被显示在透视显示系统上。
如以上提到的,虚拟对象被显示为附连到表面可基于用户聚焦位置。例如,在1112,方法1100可包括例如经由显示设备104中的一个或多个传感器来检测现实世界表面上的用户聚焦位置。在1114,方法1100可包括将虚拟对象显示在现实世界表面上的用户聚焦位置处。
此外,在1116,方法1100可包括将虚拟对象显示为钉在表面。例如,虚拟对象可被显示在透视显示系统上的现实世界表面上的固定位置,该固定位置不根据用户聚焦位置的改变而改变。作为另一示例,在1118,方法1100可包括将虚拟对象显示为不钉在表面,使得对象可在表面上移来移去同时保持附连到表面。
将会理解,在任何时候,用户可选择将虚拟对象相对于其附连的表面钉住或不钉住。因此,在1120,方法1100包括接收将虚拟对象相对于现实世界表面钉住或不钉住的用户输入。钉住和不钉住可以任何适合的方式发生。例如,如以上所描述的,在一些实施例中,用户可提供输入(例如语音输入)来将钉住或不钉住附连到现实世界表面的虚拟对象。
在1122,方法1100包括检测用户聚焦位置的改变。例如,在经由透视显示系统将虚拟对象显示为附连到现实世界表面之后,可检测到现实世界表面上的用户聚焦位置的改变。在1124,方法1100包括确定虚拟对象是否被钉在现实世界表面上的固定位置。如果在1124虚拟对象被钉在现实世界表面上的固定位置,则方法前进到1126。在1126,方法1100包括将虚拟对象维持在现实世界表面上的固定位置。
然而,如果在1124虚拟对象未被钉在现实世界表面上的固定位置,则方法前进到1128。在1128,方法1100包括将虚拟对象显示为在新的用户聚焦位置处附连到表面。例如,在未钉住状态下,虚拟对象可响应于用户聚焦的改变而移动,或者基于用户凝视位置的改变而更新,使得对象保持在用户的直接视野中。
如以上提到的,虚拟对象所附连到的物理表面可包括间断,诸如拐角、开口(例如门)等。因此,在1130,方法1100可选地包括检测用户聚焦在现实世界中间断的位置处的改变。在一些示例中,这可包括检测第一现实世界表面和第二现实世界表面之间的间断。作为响应,在1132,方法1100包括将虚拟对象移动通过现实世界表面中的间断。例如,在1134,对象可跳跃或吸附以移动通过间断。作为另一示例,在1136,对象可弯曲或变形以移动通过间断。作为又一示例,在1138,对象可搭桥或从表面分离以移动通过间断。例如,虚拟对象可在间断处与第一现实世界表面分离,随后在通过间断的位置处重新附连。
在1140,方法1100包括检测使虚拟对象与现实世界表面分离的触发。例如,触发可包括用户输入(例如语音输入)和/或用户动作或手势。在1142,方法1100包括响应于该触发,使虚拟对象与现实世界表面分离并将该虚拟对象显示为自由漂浮。
在一些实施例中,上述的方法和过程可以涉及具有一个或多个计算设备的计算系统。尤其地,这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图12示意性地示出计算系统1200的非限制性实施例,该计算系统可以进行上述方法和过程中的一个或多个。显示设备104可以是计算系统1200的一个非限制性实例。计算系统1200以简化形式示出。应该理解,可以使用实际上任何计算机架构,而不偏离本发明的范围。在不同的实施例中,计算系统1200可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算系统1200包括逻辑子系统1202和存储子系统1204。计算系统1200可任选地包括显示子系统1206、输入子系统1208、通信子系统1210和/或在图12中未示出的其他组件。
逻辑子系统1202包括被配置为执行指令的一个或多个物理设备。例如,逻辑子系统可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地,逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核的,而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子系统可以任选地包括分布在两个或更多设备之间的独立组件,这些独立组件在一些实施例中可以位于远程和/或被配置用于进行协调处理。逻辑子系统的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统1204包括一个或多个物理设备,该一个或多个物理设备被配置成保持逻辑子系统可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时,存储子系统1204的状态可以被变换——例如,以保持不同的数据。
存储子系统1204可以包括可移动介质和/或内置设备。存储子系统1204可包括光学存储设备(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如,RAM、EPROM、EEPROM等)和/或磁性存储设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统1204可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
将理解,存储子系统1204包括一个或多个物理设备,并排除传播信号自身。然而,在一些实施例中,本文描述的指令的各方面可经由通信介质通过纯信号(例如,电磁信号、光学信号等)来传播,而不是被存储在存储设备上。此外,与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中,逻辑子系统1202和存储子系统1204的各方面可以被一起集成到一个或多个硬件-逻辑组件中,通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括:例如,现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
在被包括时,显示子系统1206可用于呈现由存储子系统1204保存的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储子系统保持的数据,并由此变换了存储子系统的状态,因此同样可以转变显示子系统1206的状态以视觉地表示底层数据的改变。显示子系统1206可以包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统1202和/或存储子系统1204组合在共享封装中,或此类显示设备可以是外围显示设备。
当被包括时,输入子系统1208可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中,输入子系统可以包括或相接于所选择的自然用户输入(NUI)部件。这种部件可以是集成的或外围的,输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒;用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机;用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪;以及用于评估脑部活动的电场感测部件。
当包括通信子系统1210时,通信子系统1210可以被配置成将计算系统1200与一个或多个其他计算设备可通信地耦合。通信子系统1210可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网来通信。在一些实施例中,通信子系统可允许计算系统1200经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
将会理解,此处描述的配置和/或方法本质是示例性的,这些具体实施例或示例不应被视为限制性的,因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此,所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行,或者被省略。同样,上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。
Claims (10)
1.一种用于在包括显示系统的增强现实计算设备上操作用户界面的方法,所述方法包括:
经由所述显示系统将虚拟对象显示为自由漂浮;
检测将所述对象显示为附连到表面的触发;以及
响应于所述触发,经由所述显示系统将所述虚拟对象显示为附连到所述表面。
2.如权利要求1所述的方法,其特征在于,所述表面包括现实世界表面。
3.如权利要求1所述的方法,其特征在于,所述触发包括所述虚拟对象和所述表面之间的阈值距离。
4.如权利要求1所述的方法,其特征在于,还包括基于用户凝视位置的改变更新所述虚拟对象在所述显示系统上的显示。
5.如权利要求1所述的方法,其特征在于,还包括获得与所述虚拟对象相关联的一个或多个策略,其中所述一个或多个策略表述所述虚拟对象可被附连到哪些表面以及在什么条件下所述虚拟对象可被附连到表面中的一个或多个,以及基于与所述虚拟对象相关联的所述一个或多个策略将所述虚拟对象显示在所述显示系统上。
6.如权利要求1所述的方法,其特征在于,进一步包括:
检测使所述虚拟对象与所述表面分离的触发;以及
响应于使所述虚拟对象与所述表面分离的触发,使所述虚拟对象与所述表面分离并且将所述虚拟对象显示为自由漂浮。
7.如权利要求1所述的方法,其特征在于,进一步包括:
检测所述表面上的用户聚焦位置;以及
基于所述用户聚焦位置将所述虚拟对象显示在所述表面上的某一位置。
8.一种可穿戴增强现实计算设备,包括:
透视显示设备;
包括一个或多个传感器的传感器系统;
逻辑子系统;以及
存储子系统,所述存储子系统包括存储在其上的可由所述逻辑子系统执行的指令以:
检测用户聚焦方向;
基于所述用户聚焦方向在所述透视显示设备上显示自由漂浮的虚拟对象;
检测用户聚焦方向的改变;
基于所述用户聚焦方向的改变将所述自由漂浮的虚拟对象显示在所述透视显示设备上的不同位置;
检测将所述自由漂浮对象附连到现实世界表面的触发;以及
响应于所述触发,在所述透视显示设备上将附连到现实世界表面的虚拟对象显示在所述现实世界表面上的用户聚焦位置处。
9.如权利要求8所述的设备,其特征在于,所述现实世界表面是第一现实世界表面,并且其中存储子系统包括存储在其上的能够进一步由所述逻辑子系统执行的指令以:
检测所述现实世界表面上的用户聚焦位置处的间断;以及
在所述间断处使所述虚拟对象与所述第一现实世界表面分离,并且随后在通过所述间断的位置处将所述虚拟对象重新附连到所述现实世界表面。
10.如权利要求8所述的设备,其特征在于,所述现实世界表面是第一现实世界表面,并且其中存储子系统包括存储在其上的能够进一步由所述逻辑子系统执行的指令以:
检测所述第一现实世界表面和第二现实世界表面之间的间断;以及
将所述虚拟对象的第一部分显示为附连到所述第一现实世界表面,并且将所述虚拟对象的第二部分显示为附连到所述间断附近的所述第二现实世界表面。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/893,146 | 2013-05-13 | ||
US13/893,146 US9245388B2 (en) | 2013-05-13 | 2013-05-13 | Interactions of virtual objects with surfaces |
PCT/US2014/037614 WO2015047453A2 (en) | 2013-05-13 | 2014-05-12 | Interactions of virtual objects with surfaces |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105264461A true CN105264461A (zh) | 2016-01-20 |
CN105264461B CN105264461B (zh) | 2018-09-18 |
Family
ID=51864470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480027872.5A Active CN105264461B (zh) | 2013-05-13 | 2014-05-12 | 虚拟对象与表面的交互 |
Country Status (4)
Country | Link |
---|---|
US (3) | US9245388B2 (zh) |
EP (1) | EP2997449B1 (zh) |
CN (1) | CN105264461B (zh) |
WO (1) | WO2015047453A2 (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913495A (zh) * | 2016-03-31 | 2016-08-31 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN106249611A (zh) * | 2016-09-14 | 2016-12-21 | 深圳众乐智府科技有限公司 | 一种基于虚拟现实的智能家居定位方法、装置和系统 |
CN107367839A (zh) * | 2016-05-11 | 2017-11-21 | 宏达国际电子股份有限公司 | 穿戴式电子装置、虚拟实境系统以及控制方法 |
CN108780358A (zh) * | 2016-03-21 | 2018-11-09 | 微软技术许可有限责任公司 | 基于视场显示三维虚拟对象 |
CN108885803A (zh) * | 2016-03-30 | 2018-11-23 | 微软技术许可有限责任公司 | 物理环境中的虚拟对象操纵 |
CN109313509A (zh) * | 2016-04-21 | 2019-02-05 | 奇跃公司 | 视野周围的视觉光环 |
CN109697002A (zh) * | 2017-10-23 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种在虚拟现实中对象编辑的方法、相关设备及系统 |
CN109804334A (zh) * | 2016-08-11 | 2019-05-24 | 奇跃公司 | 三维空间中虚拟对象的自动放置 |
CN110825280A (zh) * | 2018-08-09 | 2020-02-21 | 北京微播视界科技有限公司 | 控制虚拟物体位置移动的方法、装置和计算机可读存储介质 |
CN111149079A (zh) * | 2018-08-24 | 2020-05-12 | 谷歌有限责任公司 | 包括雷达系统的智能电话、系统和方法 |
US10890653B2 (en) | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
CN112241198A (zh) * | 2019-07-17 | 2021-01-19 | 腾讯科技(深圳)有限公司 | 增强现实场景的实现方法、装置及存储介质 |
US10930251B2 (en) | 2018-08-22 | 2021-02-23 | Google Llc | Smartphone-based radar system for facilitating awareness of user presence and orientation |
CN113574591A (zh) * | 2019-03-29 | 2021-10-29 | 索尼互动娱乐股份有限公司 | 边界设置设备、边界设置方法和程序 |
US11314312B2 (en) | 2018-10-22 | 2022-04-26 | Google Llc | Smartphone-based radar system for determining user intention in a lower-power mode |
CN117032450A (zh) * | 2020-09-25 | 2023-11-10 | 苹果公司 | 用于操纵环境中的对象的方法 |
Families Citing this family (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US9037297B2 (en) * | 2011-09-15 | 2015-05-19 | Persimmon Technologies Corporation | System and method for operation of a robot |
KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
JP2014153645A (ja) * | 2013-02-13 | 2014-08-25 | Seiko Epson Corp | 画像表示装置および画像表示装置の表示制御方法 |
US9383819B2 (en) * | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
US9354702B2 (en) * | 2013-06-03 | 2016-05-31 | Daqri, Llc | Manipulation of virtual object in augmented reality via thought |
EP3005300A4 (en) * | 2013-06-06 | 2016-05-25 | Ericsson Telefon Ab L M | COMBINATION OF A DIGITAL IMAGE WITH A VIRTUAL UNIT |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
US20150145887A1 (en) * | 2013-11-25 | 2015-05-28 | Qualcomm Incorporated | Persistent head-mounted content display |
CN105874528B (zh) * | 2014-01-15 | 2018-07-20 | 麦克赛尔株式会社 | 信息显示终端、信息显示系统以及信息显示方法 |
US20170046879A1 (en) * | 2014-04-30 | 2017-02-16 | Robert Paul Severn | Augmented reality without a physical trigger |
JP6476657B2 (ja) * | 2014-08-27 | 2019-03-06 | 株式会社リコー | 画像処理装置、画像処理方法、およびプログラム |
KR102194787B1 (ko) * | 2014-09-24 | 2020-12-24 | 삼성전자주식회사 | 사용자 기반 센서 정보 획득 방법 및 그 전자 장치 |
CN105527825B (zh) * | 2014-09-28 | 2018-02-27 | 联想(北京)有限公司 | 电子设备和显示方法 |
US10943395B1 (en) * | 2014-10-03 | 2021-03-09 | Virtex Apps, Llc | Dynamic integration of a virtual environment with a physical environment |
JP6357412B2 (ja) * | 2014-12-15 | 2018-07-11 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
US9778814B2 (en) * | 2014-12-19 | 2017-10-03 | Microsoft Technology Licensing, Llc | Assisted object placement in a three-dimensional visualization system |
DE102015200750A1 (de) * | 2015-01-20 | 2016-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Anzeige von Darstellungen auf einem HMD |
US9858718B2 (en) * | 2015-01-27 | 2018-01-02 | Microsoft Technology Licensing, Llc | Dynamically adaptable virtual lists |
US10156721B2 (en) * | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
US10216982B2 (en) * | 2015-03-12 | 2019-02-26 | Microsoft Technology Licensing, Llc | Projecting a virtual copy of a remote object |
US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
US10007413B2 (en) | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
US10099382B2 (en) | 2015-04-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Mixed environment display of robotic actions |
US10559086B1 (en) * | 2015-05-15 | 2020-02-11 | 4DMobile, LLC | System for volume dimensioning via holographic sensor fusion |
CN107852488B (zh) * | 2015-05-22 | 2021-03-30 | 三星电子株式会社 | 用于通过hmd设备显示虚拟图像的系统和方法 |
JP6780642B2 (ja) * | 2015-06-15 | 2020-11-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10416835B2 (en) * | 2015-06-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Three-dimensional user interface for head-mountable display |
EP3109734A1 (en) * | 2015-06-22 | 2016-12-28 | Samsung Electronics Co., Ltd | Three-dimensional user interface for head-mountable display |
US9898865B2 (en) * | 2015-06-22 | 2018-02-20 | Microsoft Technology Licensing, Llc | System and method for spawning drawing surfaces |
EP3113106A1 (en) * | 2015-07-02 | 2017-01-04 | Nokia Technologies Oy | Determination of environmental augmentation allocation data |
US9952656B2 (en) * | 2015-08-21 | 2018-04-24 | Microsoft Technology Licensing, Llc | Portable holographic user interface for an interactive 3D environment |
US10007352B2 (en) | 2015-08-21 | 2018-06-26 | Microsoft Technology Licensing, Llc | Holographic display system with undo functionality |
JP6367166B2 (ja) * | 2015-09-01 | 2018-08-01 | 株式会社東芝 | 電子機器及び方法 |
KR20230113663A (ko) | 2016-05-20 | 2023-07-31 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
KR102577634B1 (ko) | 2016-07-25 | 2023-09-11 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
US10514769B2 (en) * | 2016-10-16 | 2019-12-24 | Dell Products, L.P. | Volumetric tracking for orthogonal displays in an electronic collaboration setting |
US10134192B2 (en) * | 2016-10-17 | 2018-11-20 | Microsoft Technology Licensing, Llc | Generating and displaying a computer generated image on a future pose of a real world object |
CN107977071B (zh) * | 2016-10-24 | 2020-02-28 | 中国移动通信有限公司研究院 | 一种适用于空间系统的操作方法及装置 |
WO2018081176A1 (en) * | 2016-10-24 | 2018-05-03 | Aquifi, Inc. | Systems and methods for contextual three-dimensional staging |
GB2555838A (en) * | 2016-11-11 | 2018-05-16 | Sony Corp | An apparatus, computer program and method |
KR20180096078A (ko) * | 2017-02-20 | 2018-08-29 | 엘지전자 주식회사 | 모듈형 가정용 로봇 |
US10290152B2 (en) * | 2017-04-03 | 2019-05-14 | Microsoft Technology Licensing, Llc | Virtual object user interface display |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US10325409B2 (en) | 2017-06-16 | 2019-06-18 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
US10504277B1 (en) | 2017-06-29 | 2019-12-10 | Amazon Technologies, Inc. | Communicating within a VR environment |
US10817128B2 (en) * | 2017-07-11 | 2020-10-27 | Logitech Europe S.A. | Input device for VR/AR applications |
CN107682236B (zh) * | 2017-08-28 | 2021-07-06 | 深圳广田智能科技有限公司 | 基于计算机图像识别的智能家居交互系统及方法 |
CN107656613B (zh) * | 2017-09-08 | 2020-12-18 | 国网智能科技股份有限公司 | 一种基于眼动追踪的人机交互系统及其工作方法 |
EP4235263A3 (en) * | 2017-09-29 | 2023-11-29 | Apple Inc. | Gaze-based user interactions |
US10553031B2 (en) | 2017-12-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Digital project file presentation |
JP7118650B2 (ja) * | 2018-01-18 | 2022-08-16 | キヤノン株式会社 | 表示装置 |
US10839214B2 (en) | 2018-03-13 | 2020-11-17 | International Business Machines Corporation | Automated intent to action mapping in augmented reality environments |
US10467816B2 (en) * | 2018-03-23 | 2019-11-05 | Microsoft Technology Licensing, Llc | Mixed reality objects |
US10916065B2 (en) * | 2018-05-04 | 2021-02-09 | Facebook Technologies, Llc | Prevention of user interface occlusion in a virtual reality environment |
EP3803688A4 (en) * | 2018-06-05 | 2021-08-04 | Magic Leap, Inc. | MATCHING CONTENT WITH A 3D SPATIAL ENVIRONMENT |
US10747302B2 (en) * | 2018-06-08 | 2020-08-18 | Facebook Technologies, Llc | Artificial reality interaction plane |
US11348316B2 (en) * | 2018-09-11 | 2022-05-31 | Apple Inc. | Location-based virtual element modality in three-dimensional content |
US11854148B2 (en) * | 2018-11-16 | 2023-12-26 | Microsoft Technology Licensing, Llc | Virtual content display opportunity in mixed reality |
CN109785445B (zh) * | 2019-01-22 | 2024-03-08 | 京东方科技集团股份有限公司 | 交互方法、装置、系统及计算机可读存储介质 |
KR20200098034A (ko) * | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
US11137874B2 (en) | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Ergonomic mixed reality information delivery system for dynamic workflows |
US10964122B2 (en) * | 2019-03-06 | 2021-03-30 | Microsofttechnology Licensing, Llc | Snapping virtual object to target surface |
US11055918B2 (en) * | 2019-03-15 | 2021-07-06 | Sony Interactive Entertainment Inc. | Virtual character inter-reality crossover |
CA3045132C (en) * | 2019-06-03 | 2023-07-25 | Eidos Interactive Corp. | Communication with augmented reality virtual agents |
US11170576B2 (en) | 2019-09-20 | 2021-11-09 | Facebook Technologies, Llc | Progressive display of virtual objects |
US11475639B2 (en) * | 2020-01-03 | 2022-10-18 | Meta Platforms Technologies, Llc | Self presence in artificial reality |
US11669988B1 (en) | 2020-02-10 | 2023-06-06 | 4DMobile, LLC | System and method for three-dimensional box segmentation and measurement |
US11354869B2 (en) * | 2020-03-17 | 2022-06-07 | Apple Inc. | XR preferred movement along planes |
JP2023520765A (ja) * | 2020-03-24 | 2023-05-19 | マジック リープ, インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
US11763427B2 (en) * | 2020-03-31 | 2023-09-19 | Unity IPR ApS | Method and system for intelligent importing and transformation of digital assets |
CN115461700A (zh) * | 2020-05-11 | 2022-12-09 | 直观外科手术操作公司 | 用于基于区域的呈现增强内容的系统和方法 |
US11995774B2 (en) * | 2020-06-29 | 2024-05-28 | Snap Inc. | Augmented reality experiences using speech and text captions |
CN111880657B (zh) * | 2020-07-30 | 2023-04-11 | 北京市商汤科技开发有限公司 | 一种虚拟对象的控制方法、装置、电子设备及存储介质 |
US11157740B1 (en) * | 2020-08-11 | 2021-10-26 | Amazon Technologies, Inc. | Augmented reality object model configuration based on placement location |
US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
CN116324680A (zh) * | 2020-09-11 | 2023-06-23 | 苹果公司 | 用于操纵环境中的对象的方法 |
US11113893B1 (en) | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
WO2022147031A1 (en) * | 2020-12-31 | 2022-07-07 | Snap Inc. | Determining gaze direction to generate augmented reality content |
US20220221976A1 (en) * | 2021-01-13 | 2022-07-14 | A9.Com, Inc. | Movement of virtual objects with respect to virtual vertical surfaces |
WO2022173724A1 (en) * | 2021-02-15 | 2022-08-18 | Dathomir Laboratories Llc | Transitioning content in views of three-dimensional environments using alternative positional constraints |
US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
US11295503B1 (en) | 2021-06-28 | 2022-04-05 | Facebook Technologies, Llc | Interactive avatars in artificial reality |
US12008717B2 (en) | 2021-07-07 | 2024-06-11 | Meta Platforms Technologies, Llc | Artificial reality environment control through an artificial reality environment schema |
US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US20230135974A1 (en) * | 2021-11-04 | 2023-05-04 | Microsoft Technology Licensing, Llc | Multi-factor intention determination for augmented reality (ar) environment control |
WO2024029784A1 (ko) * | 2022-08-04 | 2024-02-08 | 삼성전자 주식회사 | 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법 |
WO2024128843A1 (ko) * | 2022-12-16 | 2024-06-20 | 삼성전자주식회사 | 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체 |
US11947862B1 (en) | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040046711A1 (en) * | 2000-12-18 | 2004-03-11 | Siemens Ag | User-controlled linkage of information within an augmented reality system |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US20120249741A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Anchoring virtual images to real world surfaces in augmented reality systems |
CN102929391A (zh) * | 2012-10-23 | 2013-02-13 | 中国石油化工股份有限公司 | 增强现实的分布式控制系统人机交互设备及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8040361B2 (en) * | 2005-04-11 | 2011-10-18 | Systems Technology, Inc. | Systems and methods for combining virtual and real-time physical environments |
US7843449B2 (en) | 2006-09-20 | 2010-11-30 | Apple Inc. | Three-dimensional display system |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
EP2475182A3 (en) | 2011-01-04 | 2013-04-03 | Samsung Electronics Co., Ltd. | Display apparatus, 3D glasses, and control method thereof |
US8860688B2 (en) | 2011-03-02 | 2014-10-14 | Smart Technologies Ulc | 3D interactive input system and method |
-
2013
- 2013-05-13 US US13/893,146 patent/US9245388B2/en active Active
-
2014
- 2014-05-12 WO PCT/US2014/037614 patent/WO2015047453A2/en active Application Filing
- 2014-05-12 EP EP14828375.7A patent/EP2997449B1/en active Active
- 2014-05-12 CN CN201480027872.5A patent/CN105264461B/zh active Active
-
2016
- 2016-01-25 US US15/005,530 patent/US9530252B2/en active Active
- 2016-12-23 US US15/390,336 patent/US10008044B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040046711A1 (en) * | 2000-12-18 | 2004-03-11 | Siemens Ag | User-controlled linkage of information within an augmented reality system |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US20120249741A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Anchoring virtual images to real world surfaces in augmented reality systems |
CN102929391A (zh) * | 2012-10-23 | 2013-02-13 | 中国石油化工股份有限公司 | 增强现实的分布式控制系统人机交互设备及方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108780358A (zh) * | 2016-03-21 | 2018-11-09 | 微软技术许可有限责任公司 | 基于视场显示三维虚拟对象 |
CN108885803A (zh) * | 2016-03-30 | 2018-11-23 | 微软技术许可有限责任公司 | 物理环境中的虚拟对象操纵 |
CN105913495A (zh) * | 2016-03-31 | 2016-08-31 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN109313509B (zh) * | 2016-04-21 | 2022-01-07 | 奇跃公司 | 视野周围的视觉光环 |
CN109313509A (zh) * | 2016-04-21 | 2019-02-05 | 奇跃公司 | 视野周围的视觉光环 |
CN107367839A (zh) * | 2016-05-11 | 2017-11-21 | 宏达国际电子股份有限公司 | 穿戴式电子装置、虚拟实境系统以及控制方法 |
CN109804334A (zh) * | 2016-08-11 | 2019-05-24 | 奇跃公司 | 三维空间中虚拟对象的自动放置 |
US11808944B2 (en) | 2016-08-11 | 2023-11-07 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
CN109804334B (zh) * | 2016-08-11 | 2022-07-15 | 奇跃公司 | 用于三维空间中虚拟对象的自动放置的系统和方法 |
CN106249611A (zh) * | 2016-09-14 | 2016-12-21 | 深圳众乐智府科技有限公司 | 一种基于虚拟现实的智能家居定位方法、装置和系统 |
CN109697002A (zh) * | 2017-10-23 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种在虚拟现实中对象编辑的方法、相关设备及系统 |
CN109697002B (zh) * | 2017-10-23 | 2021-07-16 | 腾讯科技(深圳)有限公司 | 一种在虚拟现实中对象编辑的方法、相关设备及系统 |
CN110825280A (zh) * | 2018-08-09 | 2020-02-21 | 北京微播视界科技有限公司 | 控制虚拟物体位置移动的方法、装置和计算机可读存储介质 |
US10890653B2 (en) | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
US10930251B2 (en) | 2018-08-22 | 2021-02-23 | Google Llc | Smartphone-based radar system for facilitating awareness of user presence and orientation |
US11435468B2 (en) | 2018-08-22 | 2022-09-06 | Google Llc | Radar-based gesture enhancement for voice interfaces |
US11176910B2 (en) | 2018-08-22 | 2021-11-16 | Google Llc | Smartphone providing radar-based proxemic context |
US11204694B2 (en) | 2018-08-24 | 2021-12-21 | Google Llc | Radar system facilitating ease and accuracy of user interactions with a user interface |
CN111149079A (zh) * | 2018-08-24 | 2020-05-12 | 谷歌有限责任公司 | 包括雷达系统的智能电话、系统和方法 |
US10936185B2 (en) | 2018-08-24 | 2021-03-02 | Google Llc | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
US11314312B2 (en) | 2018-10-22 | 2022-04-26 | Google Llc | Smartphone-based radar system for determining user intention in a lower-power mode |
CN113574591A (zh) * | 2019-03-29 | 2021-10-29 | 索尼互动娱乐股份有限公司 | 边界设置设备、边界设置方法和程序 |
CN112241198A (zh) * | 2019-07-17 | 2021-01-19 | 腾讯科技(深圳)有限公司 | 增强现实场景的实现方法、装置及存储介质 |
CN117032450A (zh) * | 2020-09-25 | 2023-11-10 | 苹果公司 | 用于操纵环境中的对象的方法 |
Also Published As
Publication number | Publication date |
---|---|
US9245388B2 (en) | 2016-01-26 |
EP2997449A2 (en) | 2016-03-23 |
US10008044B2 (en) | 2018-06-26 |
WO2015047453A3 (en) | 2015-06-11 |
US20140333666A1 (en) | 2014-11-13 |
EP2997449B1 (en) | 2021-12-22 |
US9530252B2 (en) | 2016-12-27 |
CN105264461B (zh) | 2018-09-18 |
US20170103583A1 (en) | 2017-04-13 |
WO2015047453A2 (en) | 2015-04-02 |
US20160155270A1 (en) | 2016-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105264461A (zh) | 虚拟对象与表面的交互 | |
US10955914B2 (en) | Gaze-based object placement within a virtual reality environment | |
US10373381B2 (en) | Virtual object manipulation within physical environment | |
US9773170B2 (en) | Pupil detection | |
US10409443B2 (en) | Contextual cursor display based on hand tracking | |
CN105900041B (zh) | 利用视线跟踪进行的目标定位 | |
US9904055B2 (en) | Smart placement of virtual objects to stay in the field of view of a head mounted display | |
US9202313B2 (en) | Virtual interaction with image projection | |
JP6359099B2 (ja) | ユーザインターフェースナビゲーション | |
US20140160001A1 (en) | Mixed reality presentation | |
US10152851B2 (en) | Notification artifact display | |
KR20170090490A (ko) | 시선 타겟 애플리케이션 런처 | |
JP2018505472A (ja) | 拡張現実視野オブジェクトフォロワー | |
JP2017531222A (ja) | ホログラフィックオブジェクトのためのスマート透明度 | |
KR20170081225A (ko) | 가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법 | |
CN105009031A (zh) | 上下文知晓增强现实对象命令 | |
CN113534951A (zh) | 用于扩展现实的虚拟锚定系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |