CN110832450B - 用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统 - Google Patents

用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统 Download PDF

Info

Publication number
CN110832450B
CN110832450B CN201880027189.XA CN201880027189A CN110832450B CN 110832450 B CN110832450 B CN 110832450B CN 201880027189 A CN201880027189 A CN 201880027189A CN 110832450 B CN110832450 B CN 110832450B
Authority
CN
China
Prior art keywords
user
virtual
virtual object
representation
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880027189.XA
Other languages
English (en)
Other versions
CN110832450A (zh
Inventor
C·G·佩雷斯
V·斯里尼瓦桑
C·B·马歇尔
A·汉达
H·A·马丁内斯莫利纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110832450A publication Critical patent/CN110832450A/zh
Application granted granted Critical
Publication of CN110832450B publication Critical patent/CN110832450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

一种用于基于与用户相关联的特性在虚拟或半虚拟环境中提供虚拟对象的方法、系统和计算机程序。在一个示例性实施例中，所述系统包括：至少一个计算机处理器；以及存储指令的存储器，所述指令当由至少一个计算机处理器运行时执行包括以下项的操作的集合：相对于环境中的预定参考位置来确定与虚拟或半虚拟环境中的用户相关联的特性；以及基于所述特性来提供虚拟对象。

Description

用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和 系统
技术领域
本申请总体涉及虚拟或半虚拟系统，并且具体涉及基于与用户相关联的特性在虚拟或半虚拟环境中提供虚拟对象。
背景技术
发布站点一直是共享和消费web上的信息的关键方式。存在使网站创建大众化的一些服务。然而，不存在用于解决创建实现3D内容的全部潜力的站点的问题的服务。随着创建容易的3D内容的日益增加的推动力，需要工具和/或服务来促进3D内容的消费。例如，通过使用虚拟现实设备在虚拟世界内移动常常具有挑战性。在一些情况下，用户可能不理解如何利用虚拟世界或者与虚拟世界进行交互。此外，通过虚拟世界自动地移动用户会是困难的，并且可能导致用户的不适或晕动。
2D与3D用户体验的一个不同之处在于3D用户体验提供的沉浸感。3D对象在虚拟世界或半虚拟世界(诸如增强现实和混合现实世界)中移动、动画化和改变形式。常规地，用户将必须仔细地设计能够与3D对象关联的所有可能的状态和行为。然而，大多数用户没有必要的专业知识来设计正确的3D对象视图和/或界面并且对其进行操作。另外，在这样的世界中，尤其是当用户离开(一个或多个)可适用的对象时，用户常常不具有使他们能够操作诸如用户界面的对象的能力或专门知识。
关于这些以及其他的一般性考虑，已经描述了实施例。同样地，尽管已经讨论了相对具体的问题，但是应当理解，实施例不应当限于解决背景技术中所识别的具体问题。
发明内容
本申请总体涉及虚拟或半虚拟系统，并且具体涉及基于与用户相关联的特性在虚拟或半虚拟环境中提供虚拟对象。
在本文中的示例性方面至少包括用于基于与用户相关联的特性在虚拟或半虚拟环境中提供虚拟对象的方法、系统和计算机程序。在本文中的一个示例性实施例中，所述系统包括：至少一个计算机处理器；以及存储指令的存储器，所述指令当由所述至少一个计算机处理器运行时执行包括以下项的操作的集合：相对于所述环境中的预定参考位置来确定在虚拟或半虚拟环境中与用户相关联的特性；以及基于所述特性来提供虚拟对象。
在本文中的一个示例性实施例中，所述系统还包括头戴式显示器(HMD)，所述至少一个计算机处理器被操作性地连接到HMD，并且所述提供包括在HMD的显示器上呈现所述虚拟对象。
在本文中的另一示例性方面中，所述特性是距所述预定参考位置的距离，并且所述提供包括以与所述距离相对应的第一预定形式来提供所述虚拟对象。所述虚拟对象可以是在所述预定参考位置处的对象的虚拟表示，并且可以包括例如虚拟用户界面，所述虚拟用户界面使得用户能够在预定位置处操作所述对象，而不管用户的位置或者距所述位置的距离如何。在一个示例性实施例中，用户的位置可以在移动标记处，在所述移动标记处，能够将用户的视图传送到与所述移动标记相关联的视图。
在本文中的另外的示例性方面中，所述距离是第一距离，并且所述操作的集合还包括：确定所述用户距所述预定参考位置的第二距离，所述第二距离大于所述第一距离；并且以第二预定形式来提供所述虚拟对象。
以所述第二预定形式提供所述虚拟对象可以包括：确定所述虚拟对象中包含的优先特征；以及在所述第二预定形式的所述虚拟对象中以强调的方式包括所述优先特征。
根据本文中的示例性方面，所述虚拟或半虚拟环境是虚拟现实环境、增强现实环境和混合现实环境中的一种，并且所述用户是虚拟用户和非虚拟用户中的一种。所述虚拟对象可以是在所述预定参考位置处的对象的虚拟表示。作为一个示例，在所述预定参考位置处的所述对象可以是媒体或内容播放器，并且所述虚拟对象可以是使得用户能够操作媒体播放器的虚拟用户界面，而不管用户的位置如何。在一个示例中，所述虚拟对象可以是例如浮置虚拟用户界面。
提供本发明内容以简化形式介绍了一些概念，这些概念将在下文的详细描述中进一步描述。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也并不旨在用于限制所要求保护的主题的范围。
附图说明
参考以下附图描述了非限制性和非穷举性示例。
图1图示了头戴式显示器的示例。
图2图示了示例性虚拟或半虚拟环境，其中，虚拟对象是基于与用户相关联的特性(诸如用户的位置)来提供的。
图3A-3C描绘了虚拟对象、预定参考位置以及用户的视场和视线的示例性透视图。
图4A描绘了用于基于与用户相关联的特性来提供虚拟对象的示例方法。
图4B描绘了用于确定虚拟对象特征的优先级的示例性方法。
图5描绘了用于基于与用户相关联的特性(诸如用户的视场)来提供虚拟对象的示例性方法。
图6是图示了可以实践本公开的各方面的计算设备的示例性物理组件的框图。
图7A和图7B是可以实践本公开的各方面的移动计算设备的简化框图。
图8是在其中可以实践本公开的各方面的分布式计算系统的简化框图。
图9图示了用于执行本公开的一个或多个方面的平板计算设备。
具体实施方式
在下文的详细描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了特定实施例或示例。在不背离本公开的情况下，可以组合这些方面，可以利用其他方面，并且可以进行结构改变。实施例可以被实践为方法、系统或设备。因此，实施例可以采取硬件实施方式、完全软件实施方式或者组合软件和硬件方面的实施方式的形式。因此，以下详细描述不应当被理解为是限制性的，并且本公开的范围由所附权利要求以及其等同物来限定。
本技术涉及基于与用户相关联的一个或多个特性在诸如例如3D空间的空间中提供诸如虚拟对象的对象。所述3D空间可以包括例如虚拟现实(VR)3D空间或半虚拟空间，诸如增强现实(AR)3D空间、混合现实(MR)3D空间等。在一个示例中，所述虚拟对象可以是3D虚拟对象(但是在其他示例中，其可以是2D虚拟对象)。
更详细地，本技术涉及基于与用户相关联的一个或多个特性来提供(例如生成、操纵或控制)虚拟对象(诸如虚拟用户界面、标志、公告板、字符、文本、符号、形状或者任何其他虚拟对象)。例如，所述一个或多个特性可以包括但不限于：相对于预定参考位置的用户的位置、取向、处所、视线或凝视的方向(线)、视场、距离或角度等。所述预定参考位置能够是虚拟对象本身，或者可以是由环境中的虚拟对象表示的非虚拟或半虚拟对象。
作为根据本技术的提供虚拟对象的方式的非限制性示例，虚拟对象或虚拟对象的组件(诸如用户界面组件)可以被提供为具有取决于用户距预定参考位置的距离的尺寸、结构和/或特征。例如，所述尺寸可以随着用户变得离所述预定参考位置越来越远而增大，使得用户能够感知所述对象和/或与所述对象进行交互，并且可以随着用户更变得更靠近所述参考位置而尺寸减小(例如，朝向预定标准尺寸)，同时仍使得用户能够感知所述对象和/或与所述对象进行交互。在各方面中，所述虚拟对象的界面组件的尺寸和数量可以取决于所显示的虚拟对象的尺寸而动态地改变。以这种方式，用户能够不管他的或她的位置而仍然能够很好地感知所述对象，所述对象被保持为用户可识别和/或可使用的，和/或用户能够与所述对象进行交互，而不必一定要重新安置或运输到特定的参考位置。
当然，以上示例本质上仅仅是说明性的，而并不限于在本文中所描述的技术的范围。实际上，在其他示例中，取决于可适用的设计标准，能够在用户变得离所述预定参考位置越远时减小对象的尺寸，并且在用户变得离所述预定参考位置越近时增大对象的尺寸，这样做在特定环境或感兴趣应用中对用户而言是有用的。
在另一示例中，提供所述虚拟对象可以包括基于与用户相关联的一个或多个特性来生成、操纵或控制对象的至少某些部分。例如，对象的一些部分(例如，文本、图标、用户可选项、按钮、线条、片段、特定信息或数据、框等)能够沿一个或多个方向在尺寸上增大或减小，使其相对于对象的其他部分或多或少明显或可察觉、移动、移位、重新定位、模糊、动画化、遮蔽、褪色、变亮，或者以其他方式被修改、缩放、更改、突出或调整。这样，不管用户的位置或距所述预定参考位置的距离，看起来对用户重要的对象的那些部分仍然能够被用户感知和/或与用户进行交互。在用户的(一个或多个)特性变化时，或者以预定的时间间隔、预定的空间间隔和/或(一个或多个)用户特性的预定变化，可以实时地以动态的方式实现对象的提供。作为涉及用户特性的预定变化的示例，能够响应于用户、用户的身体部位或视线相对于特定参考位置位移预定线性或角度的位移，以预定程度来控制或操纵对象。在本文的其他示例性实施例中，提供可以在用户位于适用环境中的运动标记处时实现，并且可以以取决于那些标记的位置和/或其与预定参考位置的各自距离的方式来执行。
在更详细地描述提供虚拟对象的方式之前，应当注意，本文中的示例性方面可以涉及佩戴头戴式显示器(HMD)的用户或操作者，所述头戴式显示器为用户提供例如在虚拟或半虚拟世界或环境中的视图。当用户正在通过HMD查看环境时，用户可能希望与所述环境中的对象进行交互。为了促进这样的交互，本技术可以提供用于显示可以由用户选择的运动标记。例如，一旦用户选择了运动标记，就能够将用户的视图传输到与运动标记相关联的视图。作为示例，可以选择特定的运动标记以从特定位置和特定取向在虚拟或半虚拟的环境中查看特定的对象。一个或多个运动标记也可以与内容相关联。在一些示例中，当在环境内创建或修改3D内容时，可以将运动标记与3D内容相关联，从而将用户置于最佳或优选位置和取向上以查看3D对象。在这样的示例中，当用户的视线聚焦在3D对象上或附近时，可以显示经恰当取向以查看对象的移动标记。可以选择所显示的运动标记以将用户传送到最佳位置和取向，以便查看环境内的3D对象。
可以通过手持式控制单元、通过智能电话、通过被操作性地连接至HMD的其他控件、或者基于用户的特定凝视或视场来选择所述运动标记。所述运动标记也可以通过本领域技术人员已知的任何手段来选择。
如本领域技术人员将意识到的，在虚拟或半虚拟的世界中，用户的视图对应于虚拟相机在虚拟或半虚拟环境中的定位和取向。对虚拟相机在环境中的位置和取向的改变导致用户体验的环境的视图改变。当将HMD用作用户观看环境的查看设备时，虚拟相机的取向通常与佩戴HMD的用户的头部的取向相关联。
用户在虚拟世界内的查看或凝视的取向基于虚拟相机在虚拟世界中的取向。所述虚拟相机由HMD在现实世界中的位置来控制。可以参考虚拟世界的全局坐标系来进行虚拟相机的取向。例如，虚拟世界可以利用具有预定原点的3D笛卡尔坐标系。可以将所述虚拟相机视为虚拟世界内的对象，并且可以通过其相对于全局坐标系的欧拉角度来定义其取向。本领域技术人员还将意识到，可以与在本文中所利用的技术一起使用用于控制或表示虚拟对象的旋转的不同技术，诸如使用旋转矩阵、四元数或者其他技术。
现在参考图1，其描绘了具有显示源102的头戴式显示系统(“HMD”)110的示例100，所述HMD能够与在本文中所描述的技术结合使用。用户106可以佩戴HMD 110以通过显示源102向用户106提供内容，诸如虚拟现实内容、混合现实内容或者增强现实内容。在提供增强现实内容的示例中，HMD 110的前表面可以并入一个或多个相机，以允许通过显示源102将增强视频流呈现给用户106，这可以被称为视频增强现实。HMD 110还可以包括集成计算组件，以作为独立系统提供内容。HMD 110还可以包括无线或有线连接特征，以从其他计算设备(诸如移动电话、平板计算机、膝上型计算机、台式计算机等)接收内容。可以使用本领域技术人员已知的任何方式将显示源102附到HMD 110的前方。在一些示例中，HMD 110包括多个显示源102。例如，HMD 110可以包括针对每只眼睛的显示源102。在其他示例中，显示源102可以是智能电话或其他类似设备。显示源102还可以包括透镜或者在透镜附近移位，其允许用户更清楚地看到在显示源上所显示的图像。本领域技术人员已知的其他示例性HMD可能适合与本技术一起使用。HMD 110还能够具有用于确定与用户相关联的特性的能力，所述特性诸如是相对于预定参考位置或虚拟对象的用户的位置、处所或取向。能够采用任何合适的技术来进行这样的确定，所述技术包括例如三角测量和/或基于HMD 110的相机的侧倾角、俯仰角和偏航角等的技术等。
现在将描述本申请的示例性实施例。图2描绘了示例性虚拟或半虚拟环境200，其能够是例如3D空间。在环境中示出了用户202。用户202可以是例如人类、诸如化身的用户的虚拟表示、人类的半虚拟表示等。替代地，用户202可以通过查看或相机位置来表示。为了帮助用户202导航环境200，提供了一个或多个虚拟对象。
在图2中表示了虚拟对象212。在一个示例中，对象212能够是参考位置210的虚拟表示。仅作为示例，参考位置210可以是具有用户界面的媒体或内容(例如，音乐或视频)播放器，而对象212是用户界面的虚拟表示。其他应用用户界面可以以虚拟或增强现实来表示，包括但不限于：web浏览器、生产力用户界面(例如，文档、电子表格、演示)、文件浏览器等。虚拟对象212和参考位置210能够在HMD 110的显示源102上可见和/或呈现。在本文中所描述的一个示例性方面中，对象212可以是用户可操作的浮置的或者以其他方式定位的用户界面。在对象212是用户界面的一个示例中，该界面可操作用于使得用户能够操作媒体或内容播放器和/或参考位置210并且与其进行交互。此外，在本文的一个示例中，对象212可以位于参考位置210处，或者与其关联，或者位于远离参考位置的另一位置处。
在所图示的示例中，虚拟对象212使得用户202能够从菜单列表中选择例如艺术家和音乐曲目、播放特定的音乐曲目、以及使用菜单滚动来浏览曲目和艺术家。用户202可以通过任何已知的合适的手段来操作用户界面，诸如通过使用指针、眼睛移动、手选择、鼠标等。当然，该示例仅作为示例，并且能够替代地采用其他类型的用户界面以及除用户界面之外的其他类型的虚拟对象。
在图2的示例中，当用户202与参考位置210相距特定距离时，诸如相距1.5m(诸如在运动标记处)时，提供对象212。对象212具有以预定结构布置的特定的预先定义的特征以及预定的形状和尺寸。对象212可以包括各种类型的特征，诸如，例如文本(例如，艺术家和曲目名称)204、用户可选择的项目208、信息特征205和/或其他特征，所有这些都如图2示例所示地构造。尽管对象212在本文中被描述为媒体播放器，但是本领域技术人员将意识到，可以将任意类型的虚拟对象与在本文中所公开的各方面一起使用。针对对象212所显示的用户界面元素或控件的类型能够根据虚拟对象或内容的类型而变化。这样，在本文中所描述的特定用户界面元素不应当被认为是限制性的。在所图示的示例中，项目208包括“播放”按钮234、“向后选择”按钮232和“向前选择”按钮233。线224和空格206也被示为包含在对象212、212'中。在其他示例中，项目208还能够包括音量控件和/或“开/关”控件(未示出)。对象212进一步以较大的复制形式表示为对象212'。
在用户202移位远离参考位置210时，诸如在1.5m与10m之间的某个距离处(例如，在那些距离中间的移动标记处)，对象212'改变(如由213所表示的)为另一形式，并且作为对象214来提供。尽管在本文中描述了特定的物理或虚拟距离，但是本领域技术人员将意识到，提供这些距离仅仅是出于例示说明的目的，并且不应当被解读为限制性的。在其他方面中，在本文中所描述的动态变化可以取决于不同的距离或者诸如例如视角的其他因素。通过随着用户202移位远离参考位置210而连续地改变来动态地将对象212'改变形式为对象214(例如，虚拟用户界面)；或者仅响应于用户202变得移位远离于参考位置210达预定线性(或非线性)位移，或者响应于用户202到达在适用的距离处的特定位置(例如，运动标记)而改变，来将对象212'改变形式为对象214。在对象214中所显示的元素可以取决于可以被静态地定义或动态地确定的虚拟对象的类型、内容类型和/或用户偏好而变化。如在图2中能够看到的，对象214内的项目208的尺寸大于对象212'内的项目的尺寸。另外，对象214在项目208上方的部分可以由于在与对象214相关联的所示的方向215上扩展对象212(212')的对应部分而形成，使得先前对象212'的特征205被扩展到对象214的扩展特征205'和222，并且使得至少一些特征205保留在对象214中，但是相对于对象212'中的那些特征以更大的形式保留。同样地，对象212'的特征(例如，分割线)未被包含在对象214中，对象214相反地包括特征(例如，分割线)217。
同样在所图示的示例中，当用户202与参考位置210的位移距离为例如10m时，虚拟对象214将形式(如218所表示的)改变为对象216(例如，虚拟用户界面)，其进一步被表示为对象216'。通过随着用户202移位远离参考位置210而连续地改变来动态地将对象214改变形式为对象216(216')；或者仅响应于用户202变得移位远离参考对象210达预定线性(或非线性)位移(例如10m)，或者响应于用户202到达在该距离处特定的运动标记，来将对象214改变形式为对象216(216')。对象216(和对象216')是由对象214的在与对象216'相关联的所示方向230上的部分的扩展而产生的。所得到的对象216、216'仍然包括特征205'，并且还包括特征220，特征220是对象214的特征222的扩展版本。来自对象214的特征205未被包含在对象216、216'中，并且相对于对象214的尺寸和细节以更大的尺寸和更多的细节示出了用户可选择的项目208。在所例示的示例中，对象216仍然保留在位置210处。
当然，对象212、212'、214、216和216'可以具有除在图2所描绘的那些之外的其他特征、尺寸、结构和形状，图2仅仅是代表性的示例。同样地，(一个或多个)对象可以具有取决于用户202'到位置210的距离的额外的中间形式。同样地，对象214和216'不一定被包含在实际环境200中，并且在图2中仅仅出于描绘根据本示例性实施例改变对象的方式的目的进行呈现。
借助于图2的示例中提供对象的方式，用户202位移离参考位置210越远，则虚拟对象的至少一些部分就变得越大，以使得用户202能够继续以适当的方式感知对象和/或与对象进行交互。在上文所描述的示例中，那些特征包括使得用户能够操作用户界面以选择艺术家和/或音乐曲目的特征。无论用户202距虚拟对象和/或预定参考位置210的距离如何，用户202仍然能够感知被视为对用户202重要的对象的那些部分(诸如曲目和艺术家信息)和/或与其进行交互。
图4A描绘了用于取决于与用户相关联的特性来提供虚拟对象的示例性方法400。所述方法开始于401处，并且流程进行到操作402，在操作402处，与用户相关联的一个或多个特性被监视。例如，所述特性可以包括相对于预定参考位置的用户的位置、处所、距离或取向和/或用户的凝视、视线和/或视场中的至少一项。在操作402处监视的(一个或多个)特定特性可以取决于可适用的设计标准，并且在一个示例中，所述监视可以是连续的，或者仅当确定用户被确定位于特定位置(例如，运动标记)处时才执行所述监视。在例如用户可以位于与所述预定参考位置相距特定距离处的在环境中的某些已知位置处的实施例中，诸如在采用运动标记的情况下，操作402可以包括识别用户是距参考位置特定距离的用户(即，不必执行测量)。
在本文中的一个示例性实施例中，操作402测量或者以其他方式确定被监视的(一个或多个)特性的值。为了方便起见，本文在图2示例的上下文中描述了所述方法，并且因此，在该示例中的操作402包括监视或确定用户(例如，用户202)与预定参考位置(诸如位置210)的距离。在一个示例中，操作402的执行可以导致确定用户距参考位置210一定距离(例如1.5m或10m)。
在图2示例的情况下，在操作402中确定用户202距参考位置210一定距离(在所提供的示例中为1.5m)，然后，在操作404中提供虚拟对象212以用于在环境中呈现(操作406)。在操作402确定用户202位于某个位置(例如，运动标记)处或者在远离参考位置210的点的特定范围内(在所提供的示例中在1.5m与10m之间的某处)的情况下，在操作404中提供虚拟对象214以用于在环境中呈现(操作406)。另一方面，在操作402确定用户202与参考位置210距离10m的情况下，则在操作404中提供虚拟对象216以在环境中呈现(操作406)。在任意一种情况下，在执行操作406之后，控制返回到以上文所描述的方式执行的操作402。在一个方面中，在示例中呈现虚拟对象可以包括绘制新的虚拟对象。替代地，呈现虚拟对象可以包括修改先前呈现的虚拟对象以包括新元素。可以在修改期间提供动画，从而得到虚拟对象从第一形式到第二形式的平滑转换。
当然，尽管上文在基于用户202与预定参考位置之间的距离提供虚拟对象的上下文中进行了描述，但是在本文中的其他示例实施例中，所述提供能够基于除了距离之外的一个或多个额外特性，或者所述提供能够基于一个或多个其他特性来代替距离。至少一个这样的特性可以包括但不限于用户的取向。同样地，在其他实施例中，操作402能够包括：检测一个或多个特性相对于参考位置的任何变化，或者，在另一示例中，检测一个或多个特性相对于所述参考位置的预定变化。例如，在图2示例的情况下，操作402可以包括：检测用户202相对于所述预定参考位置的距离或取向已经由于用户202的移动而改变，并且还检测该改变是否指示所述距离或取向在某些方面已经增加或减少了任何值和/或至少预定值。在任意一种情况下，在操作404中基于检测结果来提供所述对象，优选地使得用户仍然能够感知对象和/或与对象进行交互。
根据本文中的示例性方面，提供虚拟对象的方式可以考虑哪些特征被认为对用户最重要、最感兴趣或最有用，并且还能够取决于例如相对于所述预定参考位置的用户的处所、取向、位置或距离而变化。通过示例，能够以包括这样的特征的方式来呈现所述虚拟对象，同时减少或最小化对被认为对用户不太重要、不太感兴趣或不太有用的特征的强调。能够根据预编程，或者能够基于预定优先级次序，或者能够基于特定于用户的偏好，来设置哪些特征被认为是重要、感兴趣和有用的。在本文中所描述的一个示例性方面中，基于用户与对象交互的历史来确定优先级次序。例如，能够存储用户与对象进行的交互的类型和数量的记录。在上文结合图2所讨论的媒体接口的示例中，可能发生用户在界面的任何其他可选特征中选择项目208最多，并且能够存储信息以指示那些特征被视为对用户重要、感兴趣或有用而被优先化。
现在将描述根据本文中的示例性方面的用于确定特征的优先级的方法。所述方法可以作为操作404和/或406的一部分来执行。结合图2参考图4B，响应于用户选择虚拟对象的特征(例如，“播放”按钮234)(操作420)，诸如图2的虚拟对象212，与该特征相对应的计数器在操作422中增加值“1”，并且在操作424中存储对特征的选择的记录和计数器的记录。然后，基于所存储的针对所有对象特征的记录(例如，响应于在操作420中对任何特征进行的所有先前选择而存储的记录，或者仅在预定时间段内进行的那些选择而存储的记录)，在操作426中，可以确定指示用户最多选择的特征到用户最少选择的特征的次序。然后，在操作428中，识别预定数量的那些特征，诸如，例如前三个(或者另一预定数量)，以呈现在虚拟对象中，而不管用户位于环境中的何处。对于图2的示例，可能发生的是，操作420-428的执行导致在操作428中识别出项目208(以及其他可能的特征)。这样，那些项目208被认为对用户重要、感兴趣或有用，并且因此将被包含在环境中提供的虚拟对象中(分别在图4A的操作404和406中)，而不管用户与预定参考位置210的距离如何。
现在将描述本技术的另一示例性方面。在该示例性方面中，能够以取决于与用户相关联的特性(诸如用户的视场)的方式来呈现虚拟对象。所述视场能够被预先定义为具有一个或多个特定的范围。在例示性实例中，所述视场被预先定义为包括预定的“远视场”和/或预定的“近视场”中的至少一个，如在图3A-3C中所表示的，其示出了用户302凝视着各自不同的方向。图3A-3C还示出了用户302的近视场308、远视场306和视线310。当然，该表示并非意图限制在本文中所描述的技术的范围，并且相反能够采用一个或多个其他预定范围或视场。此外，术语“远视场”和“近视场”不一定意图被解释为那些术语在本领域中是已知的。
在本文的示例中，能够以取决于虚拟对象304是否(或者，在另一示例性实施例中的预定参考位置312)出现在用户的视场中并且取决于其出现在哪个视场中的方式来呈现虚拟对象304。例如，在确定虚拟对象304与远外围视场306相交或者在该视场306内但是不与近外围视场308的任何部分相交的情况下，如在图3A中所表示的，然后能够以旨在引起用户注意的预定形式来提供虚拟对象304。作为示例，虚拟对象可以闪烁、以预定的明亮颜色和/或与光晕关联地呈现、呈现为动画或移动的(例如，跳跃的)、呈现为虚拟机器人或其他角色、或者以吸引用户注意的某种预定方式突出，这取决于适用的设计标准。
另一方面，并且参考图3B，如果确定虚拟对象304与用户的近外围视场308相交或者在其之内，则能够以与远外围视场所采用的形式相同的形式，或者以诸如突出或不突出的另一种形式，来提供虚拟对象304，这取决于可适用的设计标准。例如，能够以不同于当在远视场306中时的对象的预定形式突出虚拟对象304。在一个示例性实施例中，其中，对象304被移动以吸引用户的注意，而在远外围视场306中，对象304能够被呈现为在近外围视场308中时是静止的。
在确定虚拟对象304不与用户302的任何视场相交的情况下，如在图3C中所表示的，则能够以又一种形式(例如，非突出的形式或退色的形式)来提供对象304，或者其能够完全从环境中省略，这取决于可适用的设计标准。在本文中的又一示例性实施例中，在确定虚拟对象304位于用户302的直接视线310中的情况下，如在图3B中所表示的，则也能够以与上述视场306、308中的任意视场的形式相同的形式或者以诸如突出或不突出的另一种形式来提供虚拟对象304，这取决于可适用的设计标准。
现在将结合图3A-3C参考图5来描述用于基于用户的视图来生成和呈现虚拟对象的方法的示例性流程图。在502处，所述方法开始，并且前进至操作504，在操作504处执行监视以确定虚拟对象(诸如对象304)是否与用户的近外围视场(诸如视场308)的任何部分相交。如果该操作导致确定为“是”，则控制转到操作506，在操作506处确定虚拟对象304是否与用户的视线310相交。如果对象304与视线310确实相交(操作506中为“是”)，则在操作508中，以第一预定形式(例如，以突出的形式，以特定方式移动或没有移动)来呈现虚拟对象304。流程随后返回到操作504，在操作504处执行连续的监视。
如果在操作506中为“否”(在虚拟对象304处在用户302的近外围视场308之内但是不在用户的直接视线310中的情况下)，则控制转到操作510，在操作510处以第二预定形式提供虚拟对象304。然后，流程返回到操作504，在操作504处执行连续监视。
再次参考操作504，在该操作确定虚拟对象304不与近外围视场308相交的情况下，则在操作512中确定虚拟对象304是否与用户的远外围视场306相交。如果在操作512中为“是”，则在操作514中以第三预定形式呈现虚拟对象。作为第三预定形式的示例，如上文所描述的，能够以吸引用户注意的方式来呈现对象304(例如，对象能够闪烁，以预定的明亮颜色和/或具有光晕来呈现，以动画或移动(例如，跳跃)呈现，以虚拟机器人或其他角色呈现，或者以某种预定方式突出显示)。流程然后返回到操作504，在操作504处执行连续监视。
如果操作512导致确定为“否”(在虚拟对象304不与用户302的视场306、308中的任何视场相交的情况下)，则执行操作516，其中，例如，对象304以被动形式来呈现。例如，对象304能够以非突出的形式、以褪色的形式呈现，或者能够完全从环境中省略(或者以任何其他预定形式)。这样，被动形式不必是用于吸引用户注意力的形式。
如上文所描述的，在另一示例性实施例中，以取决于预定参考位置312是否出现在用户的视场中并且取决于出现在哪个视场中的方式，来呈现虚拟对象304。在该实施例中，除了用于确定虚拟对象304是否被包含在视场306、308和视线310内或者与其相交的操作替代地被执行以确定预定参考位置312是否被包含在视场306、308和视线310内或者与其相交之外，上述功能相同，然后，基于结果，以与上文所描述的方式类似的方式来提供虚拟对象304(和/或预定参考位置)。图3A-3C表示针对预定参考位置312与上文针对虚拟对象304所描述的情况相同的情况。例如，在图3A中，位置312与视场306相交；在图3B中，位置312在视场内308和视线310内；而在图3C中，位置312不在任何视场或视线内。对于每个场景，能够取决于场景以上文所描述的方式(参见操作508、510、514、516)来提供虚拟对象304(和/或预定参考位置312)。
根据本文中的一个示例性实施例，对虚拟对象和/或预定参考位置是否在用户的视场或视线内的确定，以及与用户相关联的特性(诸如用户距所述位置的距离)，可以基于识别由HMD的位置所控制的针对虚拟相机的俯仰角、偏航角或侧倾角值中的至少一个。如果对应于至少一个俯仰、偏航或侧倾值的方向向量将穿过对象/位置，则可以将所述对象/位置确定为处于用户的特定的对应视场或视线中。在一些示例中，视场的大小和/或范围可以基于虚拟世界的大小和/或虚拟对象/位置的大小或类型以及其他可能的选项而变化。
鉴于在本文中所描述的示例性方面，可以提供诸如用户界面的响应虚拟对象，其具有由观看者到对象的距离所指示的维度、表示和功能。可以基于例如用户距预定参考位置的距离，根据最优命令集，来对所述对象进行保真度调整。从用户的角度来看，在一个示例中，用户变得越靠近所述位置，则对象中呈现的信息越多，而相同信息的分辨率越高。同样地，用户的凝视能够被用作触发器，例如，以使用户界面变得可操作或者基于诸如用户的距离的特性采取预定形式(和/或运输用户到运动标记)。在本文中所描述的示例性方面使得没有必要专业知识的操作员也能够设计正确的3D对象视图和/或界面，并且对其进行操作或者与其进行交互，而不管其专业水平如何。
尽管以上描述与图5的方法分开地描述了图4A和图4B的方法，但是在一些实施例中，能够一起执行所述方法，使得可以基于多个特性(诸如用户的位置、视场和视线)的存在来提供虚拟对象。例如，如上文所描述的，用户的凝视能够充当触发器。在本文中的一个示例性实施例中，虚拟对象304能够与图2的虚拟对象相同，并且预定参考位置210和312也可以相同。在本文中的一个示例性实施例中，方法400(图4A)能够响应于虚拟对象或预定参考位置与用户的近外围视场308或视线310相交或进入其之内(如在图3B中所表示的)而开始401，但是在其他示例中，方法400能够响应于虚拟对象或预定参考位置与远外围视场306相交或进入其之内(如在图3A中所表示的)而开始401。在一个示例中，对象304能够是参考位置312的虚拟表示，参考位置312可以是例如媒体或内容播放器或者其他内容提供器，并且对象304能够是虚拟用户界面，其使得用户能够操作所述媒体或内容提供器。每个都能够在HMD 110的显示源102上可见和/或呈现。同样地，在一些示例中，对运动标记的选择能够触发方法400的开始401。
同样地，尽管在提供单个虚拟对象的上下文中进行了描述，但是在本文中所描述的各个方面并不限于此。实际上，在其他示例性方面中，可以使用在本文中所描述的技术，基于与用户相关联的一个或多个特性，来提供超过一个虚拟对象以及不同类型的虚拟对象(例如，不仅仅是用户界面)。此外，除了基于与用户相关联的一个或多个特性来提供虚拟对象之外，在一些示例性方面，除了虚拟对象之外或者代替虚拟对象，还可以提供其他元素。例如，可以基于与用户相关联的(一个或多个)特性来控制虚拟或非虚拟环境中的照明和/或声音(例如，音乐)。作为示例，在用户变得更远离预定参考位置的情况下，和/或取决于预定参考位置或虚拟对象是否处在用户的视场内，能够控制环境中的照明以使得取决于位置以及可适用的设计标准或用户的偏好，来控制照明更强烈或缓和。也能够根据(一个或多个)相同的因素来增大或减小音乐的音量。
图6-9以及相关联的描述提供了对可以在其中实践本公开的各方面的各种操作环境的讨论。然而，关于图6-9所图示和讨论的设备和系统是出于示例和说明的目的，而并非是对可以用于实践在本文中所描述的本公开的各方面的大量计算设备配置的限制。
图6是图示可以实践本公开的各方面的计算设备600的物理组件(例如，硬件)的框图。下文所描述的计算设备组件可能适合用于上文所描述的计算设备，诸如智能电话、平板计算机、HMD、膝上型计算机、台式计算机或者其他计算设备。在基本配置中，计算设备600可以包括至少一个处理单元602和系统存储器604。取决于所述计算设备的配置和类型，系统存储器604可以包括但不限于易失性存储设备(例如，随机存取存储器)、非易失性存储设备(例如，只读存储器)、闪存或者这样的存储器的任意组合。
系统存储器604可以包括操作系统605以及适合于运行软件应用620的一个或多个程序模块606，诸如在本文中所描述的系统所支持的一个或多个组件。作为示例，系统存储器604可以存储虚拟世界以及要在虚拟世界内完成的相关联的功能和操作。操作系统605例如可以适合于控制计算设备600的操作。
此外，本公开的实施例可以结合图形库、其他操作系统或者任何其他应用程序来实践，并且并不限于任何特定的应用或系统。该基本配置在图6中由虚线608内的那些组件来图示。计算设备600可以具有额外的特征或功能。例如，计算设备600还可以包括额外的数据存储设备(可移动和/或不可移动)，诸如，例如磁盘、光盘或磁带。在图6中通过可移除存储设备609和不可移除存储设备610图示了这样的额外存储设备。
如上所述，多个程序模块和数据文件可以被存储在系统存储器604中。在处理单元602上运行时，程序模块606(例如，应用620)可以执行包括但不限于在本文中所描述的各方面的过程。可以根据本公开的各方面使用的其他程序模块可以包括虚拟对象提供应用624、3D处理和虚拟现实和/或半虚拟现实应用626、特性检测器628、电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序等。
此外，本公开的实施例可以在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路中实践，或者在包含电子元件或微处理器的单个芯片上实践。例如，可以经由片上系统(SOC)来实践本公开的实施例，其中，在图6中所图示的每个或许多组件可以被集成到单个集成电路上。这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元以及各种应用功能，所有这些都作为单个集成电路被集成(或“烧制”)到芯片基板上。当经由SOC来操作时，相对于客户端切换协议的能力在本文所描述的功能可以经由与单个集成电路(芯片)上的计算设备600的其他组件集成的专用逻辑来操作。还可以使用能够执行逻辑运算的其他技术来实践本公开的实施例，所述逻辑运算诸如例如是AND、OR和NOT，包括但不限于机械、光学、流体和量子技术。另外，本公开的实施例可以在通用计算机内或者在任何其他电路或系统中实践。
计算设备600还可以具有一个或多个输入设备612，例如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备、手持游戏控制器等。还可以包括输出设备614，诸如显示器、扬声器、打印机等。前述设备是示例，并且可以使用其他设备。计算设备600可以包括允许与其他计算设备650进行通信的一个或多个通信连接616。合适的通信连接616的示例包括但不限于射频(RF)发射机、接收机和/或收发机电路；以及通用串行总线(USB)、并行和/或串行端口。
如在本文中所使用的术语“计算机可读介质”可以包括计算机存储介质。计算机存储介质可以包括以用于存储信息(诸如计算机可读指令、数据结构或程序模块)的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质。系统存储器604、可移除存储设备609和不可移除存储设备610都是计算机存储介质示例(例如，存储器存储设备)。计算机存储介质可以包括：RAM，ROM，电可擦除只读存储器(EEPROM)，闪存或其他存储技术，CD-ROM，数字多功能磁盘(DVD)或其他光学存储设备，磁带盒，磁带，磁盘存储或其他磁存储设备，或者能够被用于存储信息并能够由计算设备600访问的任何其他制造产品。任何这样的计算机存储介质都可以是计算设备600的一部分。计算机存储介质不是载波或其他传播或调制的数据信号。
通信介质可以由计算机可读指令、数据结构、程序模块或者在诸如载波或其他传输机制的经调制的数据信号中的其他数据来体现，并且包括任何信息传递介质。术语“经调制的数据信号”可以描述具有以对信号中的信息进行编码的方式而设置或改变的一个或多个特性的信号。通过示例而非限制，通信介质可以包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、射频(RF)、红外和其他无线介质的无线介质。
图7A和图7B图示了移动计算设备700，例如，移动电话、智能电话、可穿戴计算机(诸如智能手表)、平板计算机、膝上型计算机等，通过其可以实践本公开的实施例。在一些方面中，客户端可以是移动计算设备。参考图7A，图示了用于实施各方面的移动计算设备700的一方面。在基本配置中，移动计算设备700是具有输入元件和输出元件两者的手持式计算机。移动计算设备700通常包括显示器705以及一个或多个输入按钮710，其允许用户将信息输入到移动计算设备700中。移动计算设备700的显示器705还可以用作输入设备(例如，触摸屏显示器)。
在被包含时，可选的侧输入元件715允许另外的用户输入。侧输入元件715可以是旋转开关、按钮或者任何其他类型的手动输入元件。在替代方面，移动计算设备700可以并入更多或更少的输入元件。例如，在一些实施例中，显示器705可以不是触摸屏。
在又一替代实施例中，移动计算设备700是便携式电话系统，诸如蜂窝电话。移动计算设备700还可以包括可选的小键盘735。可选的小键盘735可以是在触摸屏显示器上生成的物理小键盘或“软”小键盘。
在各种实施例中，所述输出元件包括用于示出图形用户界面(GUI)的显示器705、视觉指示器720(例如，发光二极管)和/或音频换能器725(例如，扬声器)。在一些方面中，移动计算设备700并入用于向用户提供触觉反馈的振动换能器。在又一方面中，移动计算设备700并入输入和/或输出端口，诸如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)和视频输出(例如，HDMI端口)，以用于向外部设备发送信号或者从外部设备接收信号。
图7B是图示了移动计算设备的一个方面的架构的框图。亦即，移动计算设备700能够并入系统(例如，架构)702以实施一些方面。在一个实施例中，系统702被实施为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些方面中，系统702被集成为计算设备，诸如集成的个人数字助理(PDA)和无线电话。
一个或多个应用程序766可以被加载到存储器762中并且在操作系统764上或者与操作系统764相关联地运行。所述应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PEVI)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统702还包括存储器762内的非易失性存储区域768。非易失性存储区域768可以被用于存储在系统702掉电的情况下不应当丢失的持久性信息。应用程序766可以使用信息并且将其存储在非易失性存储区域768中，诸如电子邮件或者由电子邮件应用所使用的其他消息等。同步应用(未示出)也驻留在系统702上，并且被编程为与驻留在主机计算机上的对应的同步应用进行交互，以使存储在非易失性存储区域768中的信息与存储在主机计算机处的对应信息保持同步。应当意识到，其他应用可以被加载到存储器762中并且在本文中所描述的移动计算设备700上运行(例如，搜索引擎、提取器模块、相关性排名模块、答案评分模块等)。
系统702具有电源770，电源770可以被实施为一个或多个电池。电源770还可以包括外部电源，诸如AC适配器或对电池进行补充或充电的电动对接支架。
系统702还可以包括执行发送和接收射频通信的功能的无线电接口层772。无线电接口层772经由通信运营商或服务提供商促进在系统702与“外部世界”之间的无线连接。去往和来自无线电接口层772的传输是在操作系统764的控制下进行的。换言之，由无线电接口层772接收到的通信可以经由操作系统764散布到应用程序766，反之亦然。
视觉指示器720可以被用于提供视觉通知，和/或音频接口774可以被用于经由音频换能器725产生听觉通知。在所图示的实施例中，视觉指示器720是发光二极管(LED)，并且音频换能器725是扬声器。这些设备可以被直接耦合到电源770，使得当被激活时，即使处理器760和其他组件可能为了节省电池电力而关闭，其也仍然在由通知机制规定的持续时间内保持开启。可以将LED编程为无限期地保持开启，直到用户采取动作以指示设备的通电状态为止。音频接口774被用于向用户提供听觉信号并且从用户接收听觉信号。例如，除了被耦合到音频换能器725之外，音频接口774还可以被耦合到麦克风以接收听觉输入，诸如以促进电话交谈。根据本公开的实施例，麦克风也可以用作音频传感器以促进对通知的控制，如将在下文描述的。系统702还可以包括视频接口776，视频接口776使得机载相机730的操作能够记录静止图像、视频流等。
实施系统702的移动计算设备700可以具有额外的特征或功能。例如，移动计算设备700还可以包括额外的数据存储设备(可移除和/或不可移除)，诸如磁盘、光盘或磁带。这样的额外存储设备在图7B中由非易失性存储区域768图示。
如上文所描述的，可以将由移动计算设备700生成或捕获并且经由系统702存储的数据/信息本地存储在移动计算设备700上，或者可以将所述数据存储在任意数量的存储介质上，所述存储介质可以由设备经由无线电接口层772或者经由在移动计算设备700和与移动计算设备700相关联的单独计算设备(例如，在诸如互联网的分布式计算网络中的服务器计算机)之间的有线连接访问。应当意识到，可以经由移动计算设备700，经由无线电接口层772或经由分布式计算网络来访问这样的数据/信息。类似地，可以根据公知的数据/信息传输和存储单元(包括电子邮件和协作数据/信息共享系统)，在计算设备之间容易地传输这样的数据/信息以用于存储和使用。
图8图示了系统的架构的一方面，所述系统用于处理在计算系统处从远程源(诸如，如上文所描述的个人计算机804、平板计算设备806或移动计算设备808)接收到的数据。在服务器设备802处显示的内容可以被存储在不同的通信信道或其他存储类型中。例如，可以使用目录服务812、web门户824、邮箱服务826、虚拟现实存储828或社交网站830来存储各种文档。
虚拟对象提供者程序820、特性检测器程序822以及虚拟/半虚拟现实程序823可以由与服务器设备802通信的客户端采用，和/或虚拟对象提供者程序821、虚拟/半虚拟现实程序825和特性检测器程序827可以由服务器设备802采用。服务器设备802可以向客户端计算设备(诸如个人计算机804、平板计算设备806和/或移动计算设备808(例如，智能电话))通过网络815提供数据或从客户端计算设备提供数据。例如，上文所描述的计算机系统可以被体现在个人计算机804、平板计算设备806、移动计算设备808(例如，智能电话)和/或HMD810中。计算设备的这些实施例中的任意实施例都可以从存储816获得内容，除了接收可用于在图形原始系统处进行预处理或在接收计算系统处进行后处理的图形数据外。
图9图示了可以结合虚拟现实设备执行在本文中所公开的一个或多个方面的示例性平板计算设备900。另外，在本文中所描述的各方面和功能可以在分布式系统(例如，基于云的计算系统)上操作，其中，应用功能、存储器、数据存储和取回以及各种处理功能可以在分布式计算网络(诸如互联网或内联网)上彼此远程地操作。可以经由机载计算设备显示器或者经由与一个或多个计算设备相关联的远程显示单元来显示各种类型的用户界面和信息。例如，各种类型的用户界面和信息可以在在其上投影有各种类型的用户界面和信息的墙壁表面上显示和交互。与可以实践本发明的实施例的多个计算系统的交互包括击键输入、触摸屏输入、语音或其他音频输入、手势输入，其中，相关联的计算设备配备有用于捕获和解释用于控制计算设备的功能等的用户手势的检测(例如，相机)功能。
根据前述公开将理解，本技术的一个方面涉及一种用于在虚拟或半虚拟3D环境中提供虚拟对象的方法。所述方法包括：相对于3D环境中的预定参考位置来确定与所述环境中的用户相关联的特性；基于所述特性来提供虚拟对象的第一表示；相对于3D环境中的第二预定参考位置来确定与在所述环境中的用户相关联的新特性；以及基于新特性来提供所述虚拟对象的第二表示。在示例中，所述新特性是所述用户距所述预定参考位置的距离。在另一示例中，提供所述第一表示包括：以与所述距离相对应的第一预定形式来提供所述虚拟对象。在另外的示例中，所述距离是第一距离，并且所述方法还包括：确定所述用户距所述预定参考位置的第二距离，所述第二距离大于所述第一距离，其中，基于所述第二距离以第二预定形式来提供所述第二表示。在又一示例中，所述第二预定形式的所述虚拟对象的至少一些特征在尺寸上大于所述第一预定形式的所述虚拟对象的对应特征。在另外的示例中，所述第二预定形式使得用户能够进行以下中的至少一项：感知所述第二预定形式的虚拟对象或者与所述第二预定形式的虚拟对象进行交互，而不管所述第二距离如何。在另一示例中，以第二预定形式提供所述虚拟对象包括：确定被包含在所述虚拟对象中的优先特征；以及在所述第二预定形式的所述虚拟对象中以强调的方式包括所述优先特征。在另外的方面中，所述新特性是用户的视场。在又一示例中，所述新特性是所述用户的视场和所述用户的视线中的至少一个，并且所述方法还包括：确定所述虚拟对象或预定参考位置中的至少一个是否与所述视场或视线相交。在又另一示例中，所述方法还包括：检测虚拟对象或预定参考位置中的至少一个是否与用户的视场或视线相交，其中，新特性是用户距预定参考位置的距离，并且其中，提供第一表示包括以与所述距离相对应的第一预定形式来提供虚拟对象。在另一示例中，所述第一预定形式是吸引用户注意的形式。
在另一方面中，所述技术涉及一种系统，包括：至少一个计算机处理器；以及存储指令的存储器，所述指令当由所述至少一个计算机处理器运行时执行包括以下项的操作的集合：相对于3D环境中的预定参考位置来确定与所述环境中的用户相关联的特性；基于所述特性来提供虚拟对象的第一表示；相对于3D环境中的第二预定参考位置来确定与在所述环境中的用户相关联的新特性；以及基于所述新特性来提供所述虚拟对象的第二表示。在示例中，所述系统还包括：头戴式显示器(HMD)，其中，至少一个计算机处理器被操作地连接到HMD。在另一示例中，提供所述第一表示包括在HMD的显示器上呈现所述虚拟对象。在另外的示例中，所述特性是距所述预定参考位置的距离，并且其中，提供所述第一表示包括以与所述距离相对应的第一预定形式来提供所述虚拟对象。在又一示例中，所述距离是第一距离，并且所述操作的集合还包括：确定所述用户距所述预定参考位置的第二距离，所述第二距离大于所述第一距离，其中，基于所述第二距离以第二预定形式提供第二表示。在又一示例中，以第二预定形式提供所述虚拟对象包括：确定与所述虚拟对象相关联的优先特征；以及在所述第二预定形式的所述虚拟对象中以强调的方式来显示所述优先特征。在另一示例中，所述虚拟或半虚拟环境是以下中的一种：虚拟现实环境，增强现实环境和混合现实环境。在另外的示例中，所述用户是虚拟用户和非虚拟用户中的一种。
在另外的方面中，所述技术涉及一种对计算机可执行指令进行编码的计算机存储介质，所述计算机可执行指令当由至少一个处理器运行时执行一种方法，所述方法包括：相对于3D环境中的预定参考位置来确定3D环境中用户之间的第一距离；提供基于所述第一距离的虚拟对象的第一表示，其中，所述第一表示包括用户界面组件的第一集合，其中，至少基于所述第一距离来设定用户界面组件集合中的至少一个组件的大小；确定3D环境中用户之间的第二距离；以及基于所述第二距离来提供虚拟对象的第二表示，其中，所述第二表示包括用户界面组件的第二集合，所述第二集合包括未被包含在所述第一集合中的至少一个新组件。
例如，上文参照根据本公开的各方面的方法、系统和计算机程序产品的框图和/或操作示图描述了本公开的各方面。框中指出的功能/动作可能不按任何流程图所示的次序发生。例如，取决于所涉及的功能/动作，实际上可以基本上同时地执行连续示出的两个框，或者有时可以以相反的次序执行这些框。
对本申请中提供的一个或多个方面的描述和说明并不意图以任何方式限制或约束所要求保护的本公开的范围。本申请中提供的各方面、示例和细节被认为足以传达拥有物，并且使得他人能够制造和使用所要求保护的技术的最佳模式。所要求保护的技术不应当被解释为限于本申请中提供的任何方面、示例或细节。不管是组合地还是单独地显示和描述，各种特征(结构和方法)旨在被选择性地包括或省略，以产生具有特定特征集的实施例。已经提供了本申请的描述和说明，本领域技术人员可以设想出落入本申请所体现的本发明总体构思的更宽泛方面的主旨之内的各种变型、修改和替换方面，这些方面不背离所要求保护的公开内容的更广的范围。

Claims (8)

1.一种用于在虚拟或半虚拟3D环境中提供虚拟对象的方法，包括：
确定所述3D环境中的用户与所述3D环境中的预定参考位置之间的第一距离，其中，电子设备位于所述预定参考位置；
基于所述第一距离来提供虚拟对象的第一表示，其中，所述虚拟对象包括虚拟用户界面，所述虚拟用户界面是交互式的以实现对所述电子设备的远程控制，并且其中，所述第一表示包括用户界面组件的第一集合；
确定所述3D环境中的所述用户与所述3D环境中的所述预定参考位置之间的第二距离，其中，所述第二距离大于所述第一距离；以及
基于所述第二距离来提供所述虚拟对象的第二表示，其中，所述第二表示包括用户界面组件的第二集合，所述第二集合包括未被包含在所述第一集合中的至少一个新组件，并且所述虚拟对象在所述第二表示中的至少一个特征在尺寸上大于所述虚拟对象在所述第一表示中的对应至少一个特征。
2.根据权利要求1所述的方法，其中，所述第一集合包括未被包含在所述第二集合中的至少一个组件。
3.根据权利要求1所述的方法，其中，所述第二表示使得所述用户能够进行以下中的至少一项：感知所述虚拟对象或者与所述虚拟对象进行交互。
4.根据权利要求1所述的方法，其中，提供所述虚拟对象的第二表示包括：
确定被包含在所述虚拟对象中的优先特征；以及
在所述虚拟对象的所述第二表示中以强调的方式包括所述优先特征。
5.一种用于在虚拟或半虚拟3D环境中提供虚拟对象的系统，包括：
至少一个计算机处理器；以及
存储指令的存储器，所述指令当由所述至少一个计算机处理器运行时执行包括以下项的操作的集合：
确定所述3D环境中的用户与所述3D环境中的预定参考位置之间的第一距离，其中，电子设备位于所述预定参考位置；
基于所述第一距离来提供虚拟对象的第一表示，其中，所述虚拟对象包括虚拟用户界面，所述虚拟用户界面是交互式的以实现对所述电子设备的远程控制，并且其中，所述第一表示包括用户界面组件的第一集合；
确定所述3D环境中的所述用户与所述3D环境中的所述预定参考位置之间的第二距离，其中，所述第二距离大于所述第一距离；以及
基于所述第二距离来提供所述虚拟对象的第二表示，其中，所述第二表示包括用户界面组件的第二集合，所述第二集合包括未被包含在所述第一集合中的至少一个新组件，并且所述虚拟对象在所述第二表示中的至少一个特征在尺寸上大于所述虚拟对象在所述第一表示中的对应至少一个特征。
6.根据权利要求5所述的系统，还包括：
头戴式显示器，其中，所述至少一个计算机处理器被操作性地连接到所述头戴式显示器，并且其中，提供所述第一表示包括在所述头戴式显示器的显示器上呈现所述虚拟对象。
7.根据权利要求5所述的系统，其中，提供所述虚拟对象的第二表示包括：
确定与所述虚拟对象相关联的优先特征；以及
在所述虚拟对象的所述第二表示中以强调的方式来显示所述优先特征。
8.根据权利要求5所述的系统，其中，所述虚拟或半虚拟环境是以下中的一种：虚拟现实环境、增强现实环境和混合现实环境。
CN201880027189.XA 2017-04-25 2018-04-11 用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统 Active CN110832450B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762489904P 2017-04-25 2017-04-25
US62/489,904 2017-04-25
US15/636,321 2017-06-28
US15/636,321 US10453273B2 (en) 2017-04-25 2017-06-28 Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
PCT/US2018/026996 WO2018200201A1 (en) 2017-04-25 2018-04-11 Method and system for providing an object in virtual or semi-virtual space based on a user characteristic

Publications (2)

Publication Number Publication Date
CN110832450A CN110832450A (zh) 2020-02-21
CN110832450B true CN110832450B (zh) 2024-04-23

Family

ID=63854033

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880027519.5A Active CN110573997B (zh) 2017-04-25 2018-04-11 基于容器的虚拟相机旋转
CN201880027186.6A Active CN110573224B (zh) 2017-04-25 2018-04-11 三维环境创作和生成
CN201880027189.XA Active CN110832450B (zh) 2017-04-25 2018-04-11 用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201880027519.5A Active CN110573997B (zh) 2017-04-25 2018-04-11 基于容器的虚拟相机旋转
CN201880027186.6A Active CN110573224B (zh) 2017-04-25 2018-04-11 三维环境创作和生成

Country Status (18)

Country Link
US (5) US11436811B2 (zh)
EP (3) EP3616043A1 (zh)
JP (2) JP7189152B2 (zh)
KR (2) KR20190141162A (zh)
CN (3) CN110573997B (zh)
AU (2) AU2018257944B2 (zh)
BR (2) BR112019019556A2 (zh)
CA (2) CA3056953A1 (zh)
CL (2) CL2019002950A1 (zh)
CO (2) CO2019011966A2 (zh)
IL (2) IL270112B (zh)
MX (2) MX2019012626A (zh)
MY (1) MY202365A (zh)
PH (2) PH12019550189A1 (zh)
RU (2) RU2765341C2 (zh)
SG (2) SG11201909454QA (zh)
WO (3) WO2018200201A1 (zh)
ZA (2) ZA201905870B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3018758A1 (en) * 2016-03-31 2017-10-05 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
US11436811B2 (en) 2017-04-25 2022-09-06 Microsoft Technology Licensing, Llc Container-based virtual camera rotation
EP3486749B1 (en) * 2017-11-20 2022-05-11 Nokia Technologies Oy Provision of virtual reality content
US10225360B1 (en) 2018-01-24 2019-03-05 Veeva Systems Inc. System and method for distributing AR content
CN112020719A (zh) * 2018-03-22 2020-12-01 惠普发展公司，有限责任合伙企业 三维环境中的数字标记
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
US20190391647A1 (en) * 2018-06-25 2019-12-26 Immersion Corporation Real-world haptic interactions for a virtual reality user
KR20210138090A (ko) * 2019-03-20 2021-11-18 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 Vr360 애플리케이션에서 시점 전환 기능을 전송하는 방법 및 장치(method and device for transmitting viewpoint switching capabilities in a vr360 application)
CN110010019B (zh) * 2019-04-15 2021-07-06 珠海格力智能装备有限公司 一种装配led屏的控制方法及装置
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11030822B2 (en) 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11039061B2 (en) 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
US11048376B2 (en) 2019-05-15 2021-06-29 Microsoft Technology Licensing, Llc Text editing system for 3D environment
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11010984B2 (en) * 2019-06-05 2021-05-18 Sagan Works, Inc. Three-dimensional conversion of a digital file spatially positioned in a three-dimensional virtual environment
US20230005101A1 (en) * 2019-12-19 2023-01-05 Sony Group Corporation Information processing apparatus, information processing method, and recording medium
KR20220046356A (ko) * 2020-10-07 2022-04-14 삼성전자주식회사 이동 통신 시스템에서 컨텐츠를 렌더링하는 방법 및 장치
US11847746B2 (en) * 2020-12-03 2023-12-19 Electronics And Telecommunications Research Institute Server and method for generating best view spots

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117450B1 (en) * 2002-03-15 2006-10-03 Apple Computer, Inc. Method and apparatus for determining font attributes
CN105264460A (zh) * 2013-04-12 2016-01-20 微软技术许可有限责任公司 全息图对象反馈
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511157A (en) 1993-12-13 1996-04-23 International Business Machines Corporation Connection of sliders to 3D objects to allow easy user manipulation and viewing of objects
JPH09282483A (ja) 1996-04-19 1997-10-31 Nec Corp 映像生成装置
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
US6050822A (en) 1997-10-01 2000-04-18 The United States Of America As Represented By The Secretary Of The Army Electromagnetic locomotion platform for translation and total immersion of humans into virtual environments
JP3123501B2 (ja) 1998-03-16 2001-01-15 日本電気株式会社 空間視点制御装置
JP3341734B2 (ja) 1999-09-13 2002-11-05 凸版印刷株式会社 映像表示装置
US7043695B2 (en) 2000-09-19 2006-05-09 Technion Research & Development Foundation Ltd. Object positioning and display in virtual environments
JP4497690B2 (ja) 2000-09-20 2010-07-07 株式会社バンダイナムコゲームス ゲームシステム及び情報記憶媒体
US6646643B2 (en) 2001-01-05 2003-11-11 The United States Of America As Represented By The Secretary Of The Navy User control of simulated locomotion
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
JP3701614B2 (ja) 2001-03-09 2005-10-05 株式会社ソニー・コンピュータエンタテインメント 仮想空間制御プログラム、仮想空間制御プログラムを記録した記録媒体、プログラム実行装置、仮想空間制御方法
CA2347290C (en) 2001-05-09 2006-10-17 Free Radical Design Limited Methods and apparatus for constructing virtual environments
US20040109031A1 (en) 2001-05-11 2004-06-10 Kenneth Deaton Method and system for automatically creating and displaying a customizable three-dimensional graphical user interface (3D GUI) for a computer system
US7269632B2 (en) 2001-06-05 2007-09-11 Xdyne, Inc. Networked computer system for communicating and operating in a virtual reality environment
US20030146973A1 (en) 2001-11-09 2003-08-07 Swift David C 3D stereoscopic enabling methods for a monoscopic application to support 3D stereoscopic imaging
WO2004061775A2 (en) 2002-11-29 2004-07-22 Bracco Imaging, S.P.A. System and method for displaying and comparing 3d models
JP4122983B2 (ja) 2003-01-17 2008-07-23 株式会社三洋物産 遊技機
US7570261B1 (en) * 2003-03-06 2009-08-04 Xdyne, Inc. Apparatus and method for creating a virtual three-dimensional environment, and method of generating revenue therefrom
US6990637B2 (en) 2003-10-23 2006-01-24 Microsoft Corporation Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
DE102004017730B4 (de) 2004-04-10 2006-05-24 Christian-Albrechts-Universität Zu Kiel Verfahren zur Rotationskompensation sphärischer Bilder
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US8473263B2 (en) * 2005-06-09 2013-06-25 William J. Tolone Multi-infrastructure modeling and simulation system
US7657406B2 (en) * 2005-06-09 2010-02-02 Intepoint, Llc Multi-infrastructure modeling system
EP1946243A2 (en) 2005-10-04 2008-07-23 Intersense, Inc. Tracking objects with markers
CN100421119C (zh) 2006-07-11 2008-09-24 北京金山软件有限公司 一种游戏中的地图绘制方法
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US8584025B2 (en) 2008-05-02 2013-11-12 International Business Machines Corporation Virtual world teleportation
US8737721B2 (en) 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
US8493408B2 (en) 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
US9067097B2 (en) 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
CN101930623B (zh) * 2009-06-26 2012-12-12 比亚迪股份有限公司 一种三维道路模型化方法及装置
ES2399636T3 (es) 2009-07-29 2013-04-02 Metaio Gmbh Método para determinar la postura de una cámara con respecto a por lo menos un objeto real
US20110270135A1 (en) 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
EP2381423A1 (en) 2010-03-26 2011-10-26 Alcatel Lucent Method for transforming web from 2d into 3d
US20120233555A1 (en) 2010-11-08 2012-09-13 Eyelead Sa Real-time multi-user collaborative editing in 3d authoring system
US20120143681A1 (en) * 2010-12-02 2012-06-07 Microsoft Corporation Room-based computing environments
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
KR101971948B1 (ko) 2011-07-28 2019-04-24 삼성전자주식회사 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
US20130144566A1 (en) 2011-08-02 2013-06-06 Design Play Technologies Inc. Real-time collaborative design platform
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
CA2858208C (en) 2011-11-23 2019-01-15 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
US8681179B2 (en) 2011-12-20 2014-03-25 Xerox Corporation Method and system for coordinating collisions between augmented reality and real reality
US9311744B2 (en) 2012-01-09 2016-04-12 Fca Us Llc System and method for generating an outer layer representation of an object
US9210413B2 (en) 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US9429912B2 (en) 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
US9311741B2 (en) 2012-10-23 2016-04-12 Roam Holdings, LLC Three-dimensional virtual environment
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US20140245160A1 (en) 2013-02-22 2014-08-28 Ubiquiti Networks, Inc. Mobile application for monitoring and controlling devices
WO2014160342A1 (en) 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
EP3004803B1 (en) 2013-06-07 2021-05-05 Nokia Technologies Oy A method and apparatus for self-adaptively visualizing location based digital information
US10139623B2 (en) 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
KR102191867B1 (ko) * 2013-07-10 2020-12-16 엘지전자 주식회사 복수의 유저 인터페이스 포맷을 포함하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US8860818B1 (en) 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
CN105814626B (zh) 2013-09-30 2018-03-13 Pcms控股公司 用于提供增强信息的方法和设备
CN103761996B (zh) 2013-10-18 2016-03-02 中广核检测技术有限公司 基于虚拟现实技术的无损检测机器人智能检测方法
US9669300B2 (en) 2013-12-27 2017-06-06 Ballcraft, Llc Motion detection for existing portable devices
CA2843576A1 (en) 2014-02-25 2015-08-25 Evelyn J. Saurette Computer-implemented method of real estate sales
US9817375B2 (en) 2014-02-26 2017-11-14 Board Of Trustees Of The University Of Alabama Systems and methods for modeling energy consumption and creating demand response strategies using learning-based approaches
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9579797B2 (en) 2014-04-10 2017-02-28 Quanser Consulting Inc. Robotic systems and methods of operating robotic systems
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
JP2017526030A (ja) 2014-06-02 2017-09-07 アプラブ ソシエテ ア レスポンサビリテ リミテＡｐｅｌａｂ Ｓａｒｌ 仮想環境内の相互作用を提供するための方法とシステム
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9892560B2 (en) 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
CN113050802A (zh) 2014-12-18 2021-06-29 脸谱科技有限责任公司 用于在虚拟现实环境中导航的方法、系统及设备
US9652047B2 (en) 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
JP6110893B2 (ja) 2015-06-12 2017-04-05 株式会社コロプラ 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
US20160379405A1 (en) * 2015-06-26 2016-12-29 Jim S Baca Technologies for generating computer models, devices, systems, and methods utilizing the same
EP3332311B1 (en) 2015-08-04 2019-12-04 Google LLC Hover behavior for gaze interactions in virtual reality
JP6346131B2 (ja) 2015-09-07 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP5869177B1 (ja) 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
JP6361714B2 (ja) 2015-09-30 2018-07-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP6298432B2 (ja) 2015-10-19 2018-03-20 株式会社コロプラ 画像生成装置、画像生成方法、及び画像生成プログラム
US10018847B2 (en) * 2015-10-28 2018-07-10 Honeywell International Inc. Methods of vestibulo-ocular reflex correction in display systems
CN105912310A (zh) 2015-12-04 2016-08-31 乐视致新电子科技（天津）有限公司 基于虚拟现实应用的用户界面控件实现方法和装置
US11010972B2 (en) 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US10419747B2 (en) 2015-12-22 2019-09-17 Google Llc System and methods for performing electronic display stabilization via retained lightfield rendering
KR20170099755A (ko) 2016-02-24 2017-09-01 주식회사 메타포트 보행 시뮬레이터용 ｈｍｄ
RU168332U1 (ru) 2016-06-06 2017-01-30 Виталий Витальевич Аверьянов Устройство для воздействия на виртуальные объекты дополненной реальности
US20170372499A1 (en) * 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
US11436811B2 (en) 2017-04-25 2022-09-06 Microsoft Technology Licensing, Llc Container-based virtual camera rotation
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117450B1 (en) * 2002-03-15 2006-10-03 Apple Computer, Inc. Method and apparatus for determining font attributes
CN105264460A (zh) * 2013-04-12 2016-01-20 微软技术许可有限责任公司 全息图对象反馈
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置

Also Published As

Publication number Publication date
IL270112B (en) 2022-07-01
US20180308289A1 (en) 2018-10-25
CL2019002951A1 (es) 2020-03-13
CO2019011966A2 (es) 2020-01-17
RU2019137607A3 (zh) 2021-07-12
CN110832450A (zh) 2020-02-21
RU2765341C2 (ru) 2022-01-28
PH12019550188A1 (en) 2020-06-08
MX2019012626A (es) 2020-01-30
JP7080902B2 (ja) 2022-06-06
SG11201909455UA (en) 2019-11-28
WO2018200199A1 (en) 2018-11-01
RU2019137607A (ru) 2021-05-25
WO2018200200A1 (en) 2018-11-01
ZA201905873B (en) 2020-12-23
CN110573997B (zh) 2021-12-03
NZ756888A (en) 2023-10-27
MX2019012624A (es) 2020-01-30
WO2018200201A1 (en) 2018-11-01
AU2018260575A1 (en) 2019-09-19
KR20190139902A (ko) 2019-12-18
US10453273B2 (en) 2019-10-22
CL2019002950A1 (es) 2020-03-13
CN110573224A (zh) 2019-12-13
IL270118B1 (zh) 2023-02-01
US20200013236A1 (en) 2020-01-09
MY202365A (en) 2024-04-24
US10388077B2 (en) 2019-08-20
CN110573997A (zh) 2019-12-13
JP7189152B2 (ja) 2022-12-13
US11436811B2 (en) 2022-09-06
EP3616032A1 (en) 2020-03-04
IL270112A (zh) 2019-12-31
JP2020518071A (ja) 2020-06-18
AU2018260575B2 (en) 2022-04-21
IL270118B2 (en) 2023-06-01
RU2019137605A (ru) 2021-05-25
EP3616043A1 (en) 2020-03-04
AU2018257944B2 (en) 2022-09-29
BR112019019556A2 (pt) 2020-04-22
PH12019550189A1 (en) 2020-06-29
CO2019011870A2 (es) 2020-01-17
IL270118A (zh) 2019-12-31
US20220375181A1 (en) 2022-11-24
ZA201905870B (en) 2020-11-25
CA3056953A1 (en) 2018-11-01
JP2020518077A (ja) 2020-06-18
KR20190141162A (ko) 2019-12-23
CN110573224B (zh) 2023-09-01
EP3615155A1 (en) 2020-03-04
CA3056956A1 (en) 2018-11-01
US11138809B2 (en) 2021-10-05
AU2018257944A1 (en) 2019-09-19
BR112019022129A2 (pt) 2020-05-05
SG11201909454QA (en) 2019-11-28
US20180308290A1 (en) 2018-10-25
US20180308274A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
CN110832450B (zh) 用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统
US11256388B2 (en) Merged experience of reading and editing with seamless transition
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US11087560B2 (en) Normalization of objects for a 3D environment within an authoring application
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US11039061B2 (en) Content assistance in a three-dimensional environment
TW201545042A (zh) 暫態使用者介面元素
US11030822B2 (en) Content indicators in a 3D environment authoring application
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
US11048376B2 (en) Text editing system for 3D environment
NZ756888B2 (en) Container-based virtual camera rotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant