CN111971714A - 增强现实环境中的加载指示器 - Google Patents
增强现实环境中的加载指示器 Download PDFInfo
- Publication number
- CN111971714A CN111971714A CN201980024110.2A CN201980024110A CN111971714A CN 111971714 A CN111971714 A CN 111971714A CN 201980024110 A CN201980024110 A CN 201980024110A CN 111971714 A CN111971714 A CN 111971714A
- Authority
- CN
- China
- Prior art keywords
- location
- load indicator
- view
- environment
- indicator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000003860 storage Methods 0.000 claims description 24
- 230000002093 peripheral effect Effects 0.000 claims description 23
- 230000001960 triggered effect Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims 2
- 230000000977 initiatory effect Effects 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 19
- 238000009877 rendering Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000003993 interaction Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 239000003550 marker Substances 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/08—Bandwidth reduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种方法,包括:在设备上呈现增强现实(AR)环境的至少部分的视图,该AR环境包括与物理环境中的第一物理位置对应的第一AR位置;发起将表示与第一AR位置相关联的第一AR对象的第一数据下载到设备;基于第一AR对象的尺寸将尺寸参数分配给第一AR对象的第一加载指示器;确定视图和第一物理位置之间的空间关系;并且在视图中呈现第一加载指示器,第一加载指示器具有基于分配的尺寸参数的尺寸,并且基于确定的空间关系被呈现在第二AR位置。
Description
相关申请的交叉引用
本申请是2018年9月12日提交的标题为“LOADING INDICATOR IN AUGMENTEDREALITY ENVIRONMENT(增强现实环境中的加载指示器)”的美国非临时专利申请No.16/129,090的继续,并要求其优先权,该申请的公开内容通过引用整体合并于此。
技术领域
本文通常涉及增强现实环境中的加载指示器。
背景技术
可以向参与者提供与基于计算机的媒体和其他内容的消费有关的沉浸式体验。使用呈现虚拟现实(VR)和/或增强现实(AR)环境的诸如智能手机或平板电脑的设备提供了一些此类体验。为了关于AR环境的沉浸式体验,人们可以观看屏幕,该屏幕至少呈现物理环境方面(例如,物理空间的视频或图像)和VR方面(例如,虚拟对象叠加在视频或图像上)。
发明内容
在第一方面中,方法包括:在设备上呈现增强现实(AR)环境的至少部分的视图,AR环境包括与物理环境中的第一物理位置对应的第一AR位置;发起将表示与第一AR位置相关联的第一AR对象的第一数据下载到设备;基于第一AR对象的尺寸将尺寸参数分配给第一AR对象的第一加载指示器;确定视图和第一物理位置之间的空间关系;并且在视图中呈现第一加载指示器,第一加载指示器具有基于所分配的尺寸参数的尺寸,并且基于所确定的空间关系呈现在第二AR位置。
实施方式可以包括以下特征中的任何一个或全部。空间关系指示第一物理位置在视图内,并且方法进一步包括:选择第二AR位置,以将第一加载指示器呈现为与视图中的第一AR位置一致。空间关系指示第一物理位置不在视图内,并且方法进一步包括:选择第二AR位置,以在视图最接近第一AR位置的一侧呈现第一加载指示器。第一加载指示器小于被配置为在空间关系指示第一物理位置在视图内时使用的第二加载指示器。第一加载指示器具有二维外观,并且第二加载指示器具有三维外观,第二加载指示器被配置为在空间关系指示第一物理位置在视图内时使用。第一加载指示器包括箭头,并且第一加载指示器被定位为使箭头指向第一AR位置。在下载表示第二AR对象的第二数据期间,第二AR对象的尺寸信息对设备不可用,并且方法进一步包括:基于尺寸信息不可用,呈现第二AR对象的第二加载指示器,第二加载指示器与第一加载指示器不同。在下载期间,第一数据的下载的剩余持续时间对设备不可用,并且方法进一步包括:基于剩余持续时间不可用,激活第一加载指示器的不确定持续时间模式。方法进一步包括:随后确定第一数据的下载的剩余持续时间,以及基于确定剩余持续时间,激活第一加载指示器的确定持续时间模式。方法进一步包括:确定AR环境中与第一AR位置相关联的平面是否已知,并且如果已知,则选择第二AR位置,以在平面上呈现第一加载指示器。如果确定反映AR环境中与第一AR位置相关联的平面不是已知的,则方法进一步包括:基于AR环境中的AR标记,选择第二AR位置,以呈现第一加载指示器。第一数据包括网格和配置为应用于网格的纹理,方法进一步包括:使用网格确定第一AR对象的尺寸。方法进一步包括:使用网格确定第一AR对象的足迹,以及基于所确定的足迹,将第一加载指示器转变成第一AR对象的足迹表示。第一数据的下载是由AR对象的呈现列表中的用户选择触发的。第一数据的下载是由设备在物理环境中的位置触发的。第一数据的下载是通过使用设备访问统一资源定位符来触发的。第一数据的下载包括点对点传输。第一数据在下载之后被存储在设备上的,以及其中,第一加载指示器指示准备使用所存储的第一数据呈现第一AR对象的进度。
在第二方面中,非暂时性存储介质具有存储在其上的指令,这些指令在被执行时被配置为使处理器执行操作,这些操作包括:在设备上呈现增强现实(AR)环境的至少部分的视图,AR环境包括与物理环境中的第一物理位置对应的第一AR位置;发起将表示与第一AR位置相关联的第一AR对象的第一数据下载到设备;基于第一AR对象的尺寸将尺寸参数分配给第一AR对象的第一加载指示器;确定视图和第一物理位置之间的空间关系;并且在视图中呈现第一加载指示器,第一加载指示器具有基于所分配的尺寸参数的尺寸,并且基于所确定的空间关系呈现在第二AR位置。
实施方式可以包括以下特征中的任何一个或全部。第一加载指示器包括具有进度指示器的外围元素,外围元素包围第一加载指示器的透明中心。操作进一步包括:确定用于下载第一数据的下载链接的状态,以及基于确定的状态为第一加载指示器分配颜色。
在第三方面中,非暂时性存储介质具有存储在其上的指令,这些指令在执行时配置为使处理器生成图形用户界面,图形用户界面包括:包括增强现实(AR)环境的至少部分的视图,AR环境包括与物理环境中的物理位置对应的第一AR位置,其中,AR对象与第一AR位置相关联;以及AR对象的加载指示器,加载指示器具有基于AR对象的尺寸的尺寸,并且基于视图和物理位置之间的空间关系呈现在视图中的第二AR位置。
实施方式可以包括以下特征中的任何一个或全部。空间关系指示物理位置在视图内,并且选择第二AR位置,以将加载指示器呈现为与视图中的第一AR位置一致。空间关系指示物理位置不在视图内,以及其中,选择第二AR位置,以在视图最接近第一AR位置的一侧呈现加载指示器。
附图说明
图1示出了可以呈现增强现实(AR)环境的视图的系统的示例。
图2A至图2B示出了在呈现AR对象之前在视图中呈现加载指示器的示例。
图3A至图3B示出了呈现加载到目前的视图之外的位置的AR对象的加载指示器的示例。
图4A至图4B示出了基于AR对象的尺寸将尺寸参数分配给加载指示器的示例。
图5A至图5B示出了具有三维外观的加载指示器和具有二维外观的加载指示器的示例。
图6A至图6B示出了加载指示器的示例。
图7A至图7B示出了为加载指示器选择位置的示例。
图8示出了说明将表示AR对象的数据下载到设备的系统的示例。
图9A至图9C示出了转变成AR对象的足迹表示的加载指示器的示例。
图10至图10C示出了触发将表示AR对象的数据下载到设备的示例。
图11示出了可以呈现AR环境的系统的示例。
图12示出了与加载指示器有关的过程的示例。
图13示出了符合所公开的实施例的计算机设备和移动计算机设备的示例。
在各个附图中,相似的附图标记指示相似的元件。
具体实施方式
本文描述了在设备上提供的增强现实(AR)环境的视图中呈现加载指示器的示例。加载指示器可以在视图中呈现,以向用户指示AR对象正在被下载到设备上和/或正在设备上被渲染。加载指示器可以表示AR对象正在被下载;AR对象在本地环境中(例如在设备上)并且目前正在加载以呈现;和/或设备(例如智能手机)正在等待,因为一个或多个其他接收器设备正在试图获得AR对象,仅举几个例子。加载指示器可以具有表示AR对象的一些方面和/或其处理的一个或多个特性。
各种类型的对象都可以在设备上的AR环境中呈现。这些对象中的一些可以有在AR环境中呈现的相对大幅的尺寸。这里所指的尺寸是对象出现在AR环境中时的尺寸,而不是包含对象的数据的文件或其他数据结构的尺寸。为了这个和/或其他原因,实施方式可以配置为在设备上托管这些对象,并且根据需要将对象下载到设备。下载的对象的下载和/或渲染可能花费对用户来说可能是显而易见的一些时间。例如,过程可能会花费大约几秒钟的数量级。当用户等待对象出现时,一些实施方式可以可视化地将相关信息传递给用户。例如,通信可以表示对象正在加载的事实,指示对象将在哪里,和/或指示用户需要等待多长时间。这可能有利于在对象计划出现的AR环境内传递这种信息,使得例如,当他们着手完成任务时用户可以考虑对象的即将出现,并且使得用户不会从对象在预期时间出现的位置离开或转移目光。可以呈现包括但不限于本文中的示例所示的任何加载指示器的加载指示器,以将这种或其他信息传递给用户。例如,加载指示器可以指示要加载的对象多大,使得用户能够在AR环境中正确地定位他自己或她自己。
加载指示器的呈现可以提供许多优点中的任何一种。加载指示器可以呈现在对象在AR环境中的未来位置或附近,以帮助将用户的视线指向该位置,这可以减少用户错过或忽略对象的可能性。如果用户目前没有朝对象在AR环境中的未来位置看(例如,如用户选择在设备上呈现的AR环境的特定视图所反映的),则可以呈现替代形式的加载指示器,其可以指示用户应将其视线转向哪个方向(例如,通过改变AR环境的视图)以观察对象。加载指示器可以例如,通过修改与对象尺寸对应的加载指示器的尺寸向用户表示将要出现在AR环境中的对象的尺寸。以这种方式,可以将由AR对象表示或与AR对象相关联的信息有效地指向用户,从而改善设备所提供的AR环境中信息传输的效率和有效性。在一些实施方式中,例如,在提供AR环境以帮助用户执行诸如制造或组装的技术任务的情况下,通过确保将例如指令或警告的AR对象有效地指向用户,加载指示器可以改善人机交互过程。在一些实施方式中,加载指示器的形状和/或尺寸可以基于AR对象的方面(例如其足迹)进行调整。例如,当正在加载的对象的尺寸对设备不可用时,可以呈现默认形状(例如圆形)的加载指示器。相反,当正在加载的对象的尺寸是可用的或变得可用时,可以呈现具有另一形状(例如正方形或矩形)的加载指示器。在一些实施方式中,加载指示器可以向用户指示等待时间。例如,当正在加载的对象的等待时间对设备不可用时,可以呈现不确定加载指示器(例如不确定动画循环)。相反,当加载的对象的等待时间是可用的或变得可用时,可以呈现确定加载指示器(例如通信加载百分比)。这种功能可以是通过为加载指示器创建相应的不确定持续时间模式和确定持续时间模式来实施的。等待时间的指示可以帮助用户预见AR对象的出现,并且在用户执行技术任务过程时考虑AR对象的即将出现。加载指示器可以通过多种方式中的任何一种锚定在AR环境中。在一些实施方式中,在使用平面检测来放置对象的情况下,可以使加载指示器出现在对象将要出现的AR环境中的平面上。在一些实施方式中,可以使用一种或多种类型的标记,例如,使得加载指示器出现在AR环境中的标记表面上。这种方法可以减少或消除找到用于锚定的平面所需的精力。
AR环境可以在许多用例场景中的任何一个用例场景中呈现给用户。在一些实施方式中,AR系统被设计为协助一个或多个个人执行技术任务。例如,AR系统可以提供连续的和/或引导的人机交互过程,以在诸如例如制造或组装任务的技术任务中帮助用户。一个或多个AR对象可以呈现给用户,以提供指令、建议、警告和/或任何其他信息,从而协助完成任务。在一些实施方式中,为了一个或多个参与者(有时称为“学生”)的利益,AR系统设计为便于一个或多个个人(有时称为“教师”)进行教育。在一些实施方式中,教师可以组织在教室的桌子之间举行的AR旅行。可以呈现许多与桌子或其他结构有关的AR实体(例如在由相应的物理标记组织的相应分组中)。学生然后可以在桌子之间移动,以检查新的AR对象或AR环境。教师可能已经在设备(例如智能手机、平板计算机或其他移动设备)上存储了定义旅行的信息以及与应被呈现在学生的相应设备上的AR对象对应的数据。为了开始旅行,学生设备可以耦合到教师的设备(例如,通过近场通信或另一种类型的无线信令)。教师的设备可以将第一AR对象发送到学生的设备。传输可以顺序地完成,也可以按循环的顺序完成,仅举两个例子。随着旅行的进行,然后可以将后续的AR对象发送到学生的设备。
在一些实施方式中,AR对象可以下载到用户设备并且存储在用户设备上,为以后的查看/交互会话做准备。例如,用户可以将包括其AR对象的AR旅行下载到设备,然后可以随意激活旅行。在一些实施方式中,对象可以在预定时间内保持存储在设备上,并且然后自动删除。
本文所描述的示例涉及AR对象和AR环境。预计可以向用户提供AR和虚拟现实(VR)体验的混合。本文所描述的实施方式可以在沉浸式VR体验(例如使用头戴式显示器的VR体验)内使用。用户可以使用多种类型的设备或其他装置中的任何一种来体验本文所描述的呈现。在一些实施方式中,用户使用移动设备(例如智能手机或平板计算机)观察AR环境。在一些实施方式中,用户使用头戴式显示器(例如一对AR眼镜)观察AR环境。下面参照图13描述系统架构的示例。
图1示出了可以呈现AR环境104的视图102的系统100的示例。系统100或其组件可以与本文所描述的一个或多个示例一起使用。系统100包括具有显示器108的设备106。例如,设备106可以包括移动设备(例如智能手机或平板计算机)或头戴式显示器。
AR系统110可以被安装在设备106上,或被安装在单独的系统中(例如在云中),它可以从该单独的系统向设备106提供服务。在一些实施方式中,AR系统110可以包括软件、硬件或其组合,以便于使用设备106向用户呈现视图102,并且允许用户与AR环境104交互。在便于这些操作时,AR系统110可以与(多个)相应功能对应的一个或多个模块的形式组织。在一些实施方式中,AR系统110包括资产加载组件112和/或加载指示组件114。例如,资产加载组件112可以负责将表示一个或多个AR对象116或118的数据下载到设备106。例如,加载指示组件114可以负责向用户指示AR对象116或118是在加载的过程中显示的。这里,与AR对象116和118以外的一些对象对应的加载指示器120目前正被呈现在视图102内的位置122。加载指示器120和本文所描述的一些其他示例中的加载指示器是用虚线轮廓图示的。例如,虚线轮廓可以表示加载指示器可能具有的多种物理外观中的任何一种。加载指示器120可以向用户指示已经发起了将表示其他AR对象的数据下载到设备106。可以基于与加载指示器120对应的AR对象的尺寸为加载指示器120分配尺寸参数。在一些实施方式中,加载指示器120的尺寸可以与AR对象的尺寸成比例。这里所指的加载指示器的尺寸是加载指示器出现在AR环境中时的尺寸,而不是包含加载指示器的数据的文件或其他数据结构的尺寸。例如,加载指示器120的尺寸可以在最大尺寸和最小尺寸之间的范围内与AR对象尺寸成比例。
在该示例中,在AR环境104中,AR对象116正呈现在位置124,并且AR对象118正呈现在位置128。AR环境104中的位置124和128可以与物理环境中的相应位置对应,例如,如下面将描述的。这里,位置124在视图102的目前的范围内(即AR对象116目前对用户是可见的),而位置128在视图102之外(即AR对象118目前对用户不可见)。基于加载指示器120所对应的对象的位置是在视图102之内还是之外,可以选择呈现加载指示器120的位置122。为了清楚目的,位置122、124和128在这里被示意性地图示为带虚线轮廓的圆;然而,它们本身不需要在实际实施方式中可见。
用户可以通过选择AR环境104与用户探索时感兴趣的内容相对应的视图102,来观察AR环境104并且与AR环境104交互。在一些实施方式中,用户可以将设备106的传感器(例如摄像头)对准物理环境130,以至少部分地影响AR系统110应在视图102中呈现的内容。物理环境130可以是设备106所处的或设备106可感知的任何环境内。设备106的视野132在这里是关于物理环境130被示意性地指示的。例如,用户可以将各个方向中的任何方向上的视野对准物理环境130,以控制AR环境104的哪个方面目前应被视图102覆盖。物理环境可以包括任何数量的物理对象或其他结构。在这里,示出了物理对象134和136。物理环境130内的位置可以与AR环境104内的位置(例如位置124或128)对应。
系统100说明了方法的示例,该方法包括:在设备(例如设备106)上呈现AR环境(例如AR环境104)的至少部分的视图(例如视图102)。AR环境包括与物理环境(例如物理环境130)中的第一物理位置对应的第一AR位置(例如位置122)。方法包括:发起将表示与第一AR位置相关联的AR对象的数据下载到设备。方法包括:基于AR对象的尺寸,将尺寸参数分配给AR对象的加载指示器(例如加载指示器120)。方法包括:确定视图和物理位置之间的空间关系(例如,AR环境104中与物理位置对应的第一AR位置是否在视图102内)。方法包括:在视图中呈现加载指示器,加载指示器具有基于分配的尺寸参数的尺寸并且基于确定的空间关系呈现在第二AR位置。第二AR位置可以与第一AR位置相同或不同。例如,可以选择第二AR位置,以与视图中的第一AR位置一致。
图2A至图2B示出了在呈现AR对象202之前在视图102中呈现加载指示器200的示例。加载指示器200可以与本文所描述的示例中的任何一个或全部一起使用。在视图102中也指示了位置204。加载指示器200被放置在位置204。在一些实施方式中,当生成视图102的系统(例如图1中的AR系统110)发起AR对象202的下载时,在AR对象202变得可见之前,系统可以将加载指示器200作为占位符的形式呈现给用户。可以基于AR对象202的尺寸为加载指示器200分配尺寸参数。尺寸参数可以控制,但不限于控制,加载指示器200的尺寸、宽度、长度和/或深度。例如,AR对象202越大,加载指示器200可以给用户的现实期望就越大。图2B示出了AR对象202将被放置在位置204,该位置204可以与用户所在的物理环境中的特定物理位置对应。此外,图2A示出了在下载期间,位置204在视图102内。基于这种空间关系,可以选择加载指示器200的外观。例如,加载指示器200可以放置在AR对象202将被呈现的位置204。在一些实施方式中,空间关系包括与位置204是否在视图102内对应的二进制指示器。在一些实施方式中,空间关系可以反映与位置204对应的视图内的坐标(例如,x、y、z)。
在上述示例中,加载指示器200出现在AR对象202的数据的下载期间。在一些实施方式中,AR对象202的数据可能已经存储在生成视图102的设备上,但是在视图102中AR对象202可能还未被渲染。例如,在视图102中渲染AR对象202之前,加载指示器200然后可以在它处理数据所花费的时间期间呈现。AR对象的这种加载和/或卸载可以发生在各种情况下。例如,用户可以访问本地存储在设备上的多个AR对象,并且设备可以在两个或两个以上的这样的AR对象之间切换(例如,通过用户的输入或通过另一个信号),以在任何给定时间在设备所呈现的AR对象中的(多个或一个)对象之间交替。因此,加载指示器200然后可以用于让用户知道(多个)下一个AR对象的未来位置和大致尺寸,并且这样做的话,向用户指示准备呈现(多个)下一个AR对象的进度。
图3A至图3B示出了呈现加载到当前视图之外的位置302的AR对象202的加载指示器300的示例。加载指示器300可以与本文所描述的示例中的任何一个或全部一起使用。图3A示出了目前的视图是视图102。然而,在图3B中,在AR对象202将出现在位置302的情况下,目前的视图是替代的至少部分与视图102不同的视图102’。即,在视图102中,位置302不可见,因为位置302不在视图102内。因此,加载指示器300被放置在视图102内的位置304。位置304可以是视图102内的任何预定义位置。在一些实施方式中,位置304被选择为处于视图102的一侧306(例如右侧)或附近,与其他侧(例如视图102的左侧、顶侧和底侧)相比,该侧306更接近位置302。例如,当视图102在设备上可见时,用户可以将设备向右平移,以替代地观察视图102’。即,当视图102可见时,一侧306最接近视图102’内的位置302。因此,加载指示器300可以用于向用户指示当前正在加载AR对象202以呈现;没有在当前可见的视图102内,但是在视图102’中。
表示加载目前可见的视图之外的AR对象202的加载指示器300可以通过一种或多种方式与加载指示器200(图2A)区分开。在一些实施方式中,加载指示器300小于加载指示器200(图2A)。例如,较小的尺寸可以用于避免阻挡视图102中的内容,同时允许用户识别可能感兴趣的某些内容的加载正在视图102’中发生。在一些实施方式中,加载指示器300是指示器308或具有指示器308。例如,指示器308可以是指向位置302的方向的箭头。
图4A至图4B示出了基于AR对象的尺寸将尺寸参数分配给加载指示器的示例。这些示例涉及视图102中的加载指示器400、402和404,这些指示器分别表示AR对象406、408和410。加载指示器400、402和404和/或AR对象406、408和410可以与本文所描述的示例中的任何一个或全部一起使用。
在该示例中,AR对象406、408和410的加载可以同时或按照任何顺序发生。响应于AR对象406的加载的开始,可以确定其在AR环境中出现时将有的尺寸。基于确定的尺寸,可以将尺寸参数分配给加载指示器400。在该示例中,AR对象406是视图102中具有一定尺寸的矩形框。例如,可以基于AR对象406的尺寸为加载指示器400分配其尺寸。在一些实施方式中,它是基于尺寸参数的AR对象406的空间尺寸,而不是另一个尺寸相关的特性,诸如包含将用于渲染AR对象406的数据的文件的尺寸。尺寸参数可以与包括但不限于高度、宽度、深度、长度和/或周长的一个或多个尺寸相关的特性对应。
响应于AR对象408的加载的开始,可以确定其尺寸,并且基于确定的尺寸,可以将尺寸参数分配给加载指示器402。在该示例中,AR对象408的尺寸大于AR对象406的尺寸。与加载指示器400相比,较大的尺寸可以使更大的尺寸参数分配给加载指示器402。例如,这可以使加载指示器402大于视图102中的加载指示器400。
在一些实施方式中,AR对象的尺寸信息在它加载时可能是不可用的。在这里,例如,AR对象410的尺寸信息在加载过程期间不可用。响应于AR对象410的加载的开始,基于尺寸信息是不可用的,可以将预定义形状分配给加载指示器404。在该示例中,为加载指示器404分配圆形形状。圆形可以将加载指示器404区分为不同类型,而不是加载指示器400或402。例如,加载指示器400或402可以具有正方形或矩形形状。因此,加载指示器404可以向用户传达AR对象410正在加载,而其圆形形状可以指示加载指示器404的尺寸不一定反映AR对象410将有的尺寸。
图5A至图5B示出了具有三维外观的加载指示器500和具有二维外观的加载指示器502的示例。加载指示器500或502可以与本文所描述的示例中的任何一个或全部一起使用。视图102中的加载指示器500在这里被图示为用虚线轮廓绘制的正方形或矩形框。例如,虚线轮廓可以表示加载指示器可能具有的多种三维物理外观中的任何一种。
加载指示器的维度可以涉及一个或多个特性。在一些实施方式中,加载指示器的维数可以与加载指示器是否标记AR对象将出现的位置或另一位置对应。例如,可以在位置204(图2A)使用具有三维外观的加载指示器500,因为该位置是AR对象202(图2B)将出现的位置。例如,可以在视图102(图3A)中的位置304使用具有二维外观的加载指示器502,因为该位置在更接近包含AR对象202将出现的位置302的视图102’(图3B)的一侧306附近。
加载指示器可以基于周围环境转换为任何其他加载指示器。在一些实施方式中,具有三维外观的加载指示器500可以在包含该位置的视图可见时呈现,并且在视图改变时可以转变或转换成具有二维外观的加载指示器502,使得AR对象的位置不再可见。相似地,具有二维外观的加载指示器502可以转变或转换成具有三维外观的加载指示器500。
图6A至图6B示出了加载指示器600A和600B的示例。加载指示器600A或600B可以与本文所描述的示例中的任何一个或全部一起使用。加载指示器600A包括外围元素602A。外围元素602A是正方形或矩形边框。例如,外围元素602A可以通过在较大的帧中渲染较小的帧来生成。在加载指示器600A中,外围元素602A形成透明中心604A。例如,外围元素602A形成定义出透明中心604A的外围;即,透明中心604A在这里被外围元素602A包围。透明中心604A允许用户看到加载指示器600A。加载指示器600A具有进度指示器606A,该进度指示器606A指示在对应的AR对象被渲染并且对用户可见之前的剩余时间。进度指示器606A可以包括沿外围元素602A逐渐延伸的阴影(在这里用交叉影线表示)。例如,阴影可以按顺时针方式进行。加载指示器600A的外围元素602A在这里是使用实心线图示的。另一方面,三维元素608是使用虚线来图示的,以指示它是可选特征。即,加载指示器600A可以具有二维外观或三维外观。
加载指示器600B包括外围元素602B。外围元素602B是圆形或椭圆形边框。例如,外围元素602B可以通过在较大的圆/椭圆中渲染较小的圆/椭圆来生成。在加载指示器600B中,外围元素602B形成透明中心604B。例如,外围元素602B形成定义出透明中心604B的外围;即,透明中心604B在这里被外围元素602B包围。透明中心604B允许用户看到加载指示器600B。加载指示器600B具有进度指示器606B,该进度指示器606B指示在对应的AR对象被渲染并且对用户可见之前的剩余时间。进度指示器606B可以包括沿外围元素602B逐渐延伸的阴影(在这里用交叉影线表示)。例如,阴影可以按顺时针方式进行。加载指示器600B的外围元素602B在这里是使用实心线来图示的,以表明它具有三维外观。在其他示例中,加载指示器600B可以具有二维外观。
加载指示器600A和/或600B可以按照多种模式中的任何一种模式操作。在一些实施方式中,加载指示器600A和/或600B可以按照不确定持续时间模式操作。例如,当下载期间AR对象的数据的下载的剩余持续时间对设备不可用时,这可以被激活,然后可以控制加载指示器600A和/或600B运行一段不确定的时间。在一些实施方式中,加载指示器600A和/或600B可以按照确定持续时间模式操作。例如,当下载期间AR对象的数据的下载的剩余持续时间对设备可用时,这可以被激活,然后可以控制加载指示器600A和/或600B在该剩余的时间内运行。不确定持续时间模式好确定持续时间模式之间的转换可以完成。例如,如果加载指示器在不确定持续时间模式下被激活,并且设备随后确定数据的下载的剩余持续时间,则可以激活加载指示器的确定持续时间模式。
上面的示例描述了在指示进度的背景下阴影在外围元素602A或602B中的使用。阴影也可以或替代地用于一个或多个其他目的。在一些实施方式中,可以确定用于获得AR对象的下载链接的健康或其他状态,并且可以更新加载指示器的阴影参数,以反映确定的健康/状态。例如,如果确定下载链接比一些标准或标称值慢,则可以更新加载指示器的阴影(例如,更新为红色)。
所描述的示例中的加载指示器是视觉元素,这些视觉元素象征性地(例如通过它们的形状和/或尺寸)或空间地(例如通过它们的位置)向用户传达一个或多个消息。消息也可以或替代地通过另一种方式传达。在一些实施方式中,加载指示器(例如图6A中的加载指示器600A)也可以设置有文本内容。例如,文本内容可以传达AR对象正在被加载和/或何时AR对象将准备渲染。
图7A至图7B示出了选择加载指示器700的位置的示例。加载指示器700可以与本文所描述的示例中的任何一个或全部一起使用。该示例中的视图102包含平面702和标记704。平面702可以是已经在生成视图102的AR系统中定义的VR特征,即,不是对应的物理环境中的特征。标记704可以是物理对象(例如带有QR代码的面板),该物理对象已经被放置在物理环境中的位置706,充当AR对象的位置定义。作为另一示例,标记704可以是已经存在于物理环境中的一些结构或其他表面上并且已经被定义(例如通过捕获AR系统中的图案的图像)以构成可以被一个或多个AR启用设备识别的标记的图案。标记704和加载指示器700在视图102中可以同时可见。
为了将加载指示器700放置在视图102中,应定义或标识锚定点。在一些实施方式中,AR系统可以分析视图102,以标识平面702。即,确定可以揭示,在当前对AR环境是活动的视图102内,平面702存在并且将可用作锚定点。例如,平面702可能存在,至少部分是为了充当视图102中AR对象在被加载用于呈现时要放置的地方。根据视图102的范围以及AR环境的总体尺寸和复杂性,这种确定可能需要大量处理。如果确定被执行并且指示平面702是已知的,则平面702可以用作图7B所示的加载指示器700的锚定点。例如,然后可以选择位置706作为包括在平面702中的至少一个点。在这种情况下,标记704(图7A)无需存在或被识别。
另一方面,如果确定没有被执行,或者如果确定指示视图102内不存在平面,则可以使用另一种方法来锚定加载指示器700。在一些实施方式中,标记704可以用作图7A所指示的锚定点。例如,基于标记704出现在视图102中,可以选择位置706来呈现加载指示器700。这种方法可以减少系统找到用于锚定的平面所需的精力和时间。
图8示出了说明将表示AR对象的数据802下载到设备804的系统800的示例。系统800和参考其描述的功能性可以与本文所描述的示例中的任何一个或全部一起使用。数据802可以包括一个以上的组分,该组分共同定义了要在设备804上呈现的AR对象(例如,图1中的AR对象116或118)。在一些实施方式中,数据802包括网格805和纹理806。网格805可以定义AR对象的原始结构,除了其他特征,该原始结构还包括AR对象的足迹。例如,网格可以包括AR对象的多边形几何结构。纹理806可以表示AR对象的表面外观,并且可以定义阴影参数,诸如AR对象的外观的表面细节、颜色和/或亮度。纹理806可以映射到网格805,便于呈现(例如渲染)AR对象。网格805和纹理806中的每一个都是一些合适形式的数据的集合。在这里,网格805和纹理806被图示为数据容器(例如文件)。
网格805和纹理806可以从一个或多个位置提供给设备804。在一些实施方式中,网格805和纹理806是从云808提供的。在一些实施方式中,网格805和纹理806是从设备810提供的。例如,网格805和纹理806的点对点传输812可以从设备810到设备804执行的(反之亦然)。
网格805和纹理806可能有显著不同的尺寸。例如,网格805可以是相对较小的文件(例如,千字节的数量级),而纹理806可以是相对较大的文件(例如,比网格805大的一个或多个数量级)。为了这个或其他原因,网格805和纹理806可能不同时到达设备804。无论系统是否将数据802推送到设备804或设备804是否从系统中提取数据,都可能发生这种情况。例如,网格805可能比纹理806更早到达(例如一秒或多秒)。AR系统可以使用网格805确定AR对象的尺寸,而不必访问纹理806。AR系统可以从网格805中确定关于AR对象的一个或多个尺寸相关的特性。例如,AR系统可以基于包括在网格805中的几何结构确定与AR对象有关的高度、宽度、深度、长度和/或周长。基于确定,AR系统可以将尺寸参数分配给加载指示器,例如,如本文中的其他示例所描述的。
图9A至图9C示出了转变成AR对象900的足迹表示的加载指示器的示例。加载指示器可以与本文所描述的示例中的任何一个或全部一起使用。图9A示出了加载完成和设备渲染图像时将出现的AR对象900。AR对象900可以具有任何形状,并且在该示例中,形状像三角形金字塔或四面体,如图9A从上面所示。AR系统可以确定图9B所示的AR对象900的足迹902。足迹902是使用虚线轮廓来图示的,以指示足迹902不一定是在AR环境的视图中将可见的形状或结构;更确切地说,足迹902可以被定义为到围绕AR对象900的外围的平面904(例如图7A中的平面702)上的投影。AR系统可以使用网格(例如图8中的网格805)确定足迹902。例如,AR系统可以使用网格的多边形几何结构确定到平面904上的外围投影。作为另一示例,网格可以包含被定义为足迹902的特定几何段,并且AR系统可以从网格读取该信息。加载指示器(例如图1中的加载指示器120)可以基于确定的足迹902被转变成图9C所示的足迹表示906。足迹表示906具有足迹902的形状,并且可以向用户指示AR对象900正在被加载,并且还通过被转变的方式指示其大致外观。足迹表示906可以指示加载的进度。例如,足迹表示906可以包括外围元素908、进度指示器910和/或透明中心912。
图10A至图10C示出了触发将表示AR对象的数据下载到设备的示例。所描述的技术可以与本文所描述的示例中的任何一个或全部一起使用。图10A示出了设备可以诸如,在视图102内呈现菜单1000,该菜单1000使呈现列表中的一个或多个资产1002对用户可用并且可由该用户选择。例如,列表中的每个资产1002都可以与用户可能希望下载到设备以在视图102中呈现的相应AR对象对应。响应于对由输入设备所控制的箭头示意性地图示的任何资产1002的用户选择,可以触发AR系统开始下载与相应AR对象对应的数据。加载指示器120可以呈现在视图102中的位置122,例如,如本文所描述的其他示例所描述的。
图10B示出了设备106位于物理环境130内。位置122可以被定义为物理环境130中的特定位置(例如,使用纬度和经度或任何其他地理空间坐标)。例如,全球定位系统(GPS)接收器或另一种形式的无线位置检测可以用于确定设备当前处于位置122。AR系统可以基于确定的位置触发一个或多个操作。例如,用于呈现AR对象的数据的下载可以通过确定设备106处于位置122来触发。
图10C示出了设备可以诸如在视图102内呈现配置用于使内容1006(例如页面)对用户可用的浏览器1004。例如,相应的AR对象可以与可能被输入浏览器1004的特定统一资源定位符(URL)相关联。响应于特定URL被访问,可以触发AR系统开始将与相应的AR对象对应的数据下载到设备。根据数据的这种加载,可以在位置122呈现加载指示器120。
图11示出了可以呈现AR环境的系统1100的示例。系统1100可以与本文所描述的示例中的任何一个或全部一起使用。在一些实施方式中,系统110可以以包括但不限于智能电话、平板计算机和/或头戴式显示器的设备的形式实施。系统1100可以具有至少一个显示器1102,在该显示器1102上可以呈现AR环境的视图1104。AR系统1106可以被安装在系统1100中或为系统1100提供服务,并且可以使用存储1108。AR系统1106可以包括至少一个传感器1110。例如,传感器1110可以包括捕获物理环境的图像的摄像头或其他图像传感器,AR系统1106可以使用这些图像来生成AR环境的视图1104。
AR系统1106可以包括相对描述文件(RDF)1112。RDF 1112可以定义已经被放置在相应位置的一组特定物理标记(例如,图7A中的标记704)之间的相对位置。这种RDF可以与多个设备共享,便于对设备的用户做出预定义AR呈现。具有RDF 1112的设备可以通过识别物理标记中的一个物理标记(例如,使用传感器1110)来定位其自己的位置,以推断设备位置和定向,并且也当这些标记当前不可见或不可直接由设备检测时,可以使用RDF 1112学习其他物理标记的位置和身份,并且基于其他物理标记的位置和身份起作用。
AR系统1106可以包括图像分析器1114,该图像分析器1114可以分析传感器1110所捕获的图像。在一些实施方式中,图像分析器1114可以用于生成AR环境的视图。例如,图像分析器1114可以寻求检测物理环境中的对象或其他结构,这种检测可以充当配置AR环境的基础。
AR系统1106可以包括位置确定器1116。在一些实施方式中,位置确定器1116可以操作以确定系统1100在物理环境中的位置,包括但不限于通过使用GPS接收器或另一种形式的无线信令。例如,位置确定可以是触发将特定数据下载到系统1100的基础。
AR系统1106可以将数据1118下载到AR环境的系统1100。例如,数据1118可以与AR对象对应,并且可以包括网格和纹理。
图12示出了与加载指示器有关的过程1200的示例。过程1200可以通过执行存储在非暂时性计算机可读存储介质中的指令来执行,包括但不限于根据关于图13描述的一个或多个示例。过程1200中的两个或两个以上的操作可以按照不同的顺序执行。可以执行比这里所示的操作更多或更少的操作。过程1200中的两个或两个以上的操作可以彼此同时执行。过程1200的操作可以与本文所描述的示例中的任何一个或全部一起使用。
在1210中,可以检测触发事件。例如,可以触发从云808(图8)的下载。例如,可以触发点对点传输812(图8)。例如,可以触发点对点传输812(图8)。例如,可以执行资产1002(图10A)的用户选择。例如,可以发生设备106(图10B)的位置确定。例如,可以发生对浏览器1004(图10C)中的URL的访问。
在1220中,可以基于1210中的触发事件发起将数据下载到设备。例如,云808(图8)或设备810可以发起数据802的下载。
在1230中,下载可以开始。例如,从云808和/或设备810到设备804(图8)的下载可以开始。
在1240中,可以将表示AR对象的数据存储在设备上。例如,AR系统1106(图11)可以将数据1118存储在存储1108中。
在1250中,可以触发AR对象的渲染。例如,可以触发AR对象116或118(图1)的渲染。
在1260中,可以确定AR对象出现的位置是否在AR环境的目前活动的视图内。例如,AR系统110(图1)可以确定位置122在视图102内。
在1270中,可以在视图中呈现加载指示器。例如,当位置204在视图102内时,可以呈现加载指示器200(图2A)。例如,当位置302(图3B)不在视图102内时,可以呈现加载指示器300(图3B)。当下载数据(在1230中)时和/或在已经触发了渲染(在1250中)之后,诸如,当已经在较早的时间将数据下载到设备时,可以呈现加载指示器(在1270中)。
在1280中,可以确定已经完成了AR对象的渲染。
在1290中,基于渲染已经停止(在1280中),加载指示器的呈现可以停止。
图13示出可以与这里描述的技术一起使用的计算机设备和移动计算机设备的示例。图13示出与本文描述的技术一起使用的通用计算设备1300和通用移动计算设备1350的示例。计算设备1300旨在表示各种形式的数字计算机和设备,诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备1350旨在表示各种形式的移动设备,诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。此处所示的组件,它们的连接和关系以及它们的功能仅是示例性的,并不意味着限制本文档中描述和/或要求保护的发明的实施方式。
计算设备1300包括处理器1302、存储器1304、存储设备1306、连接到存储器1304和高速扩展端口1310的高速接口1308以及连接到低速总线1314和存储设备1306的低速接口1312。处理器1302可以是基于半导体的处理器。存储器1304可以是基于半导体的存储器。部件1302、1304、1306、1308、1310和1312中的每一个使用各种总线互连,并且可以安装在通用主板上或视情况以其他方式安装。处理器1302可以处理用于在计算设备1300内执行的指令,包括存储在存储器1304或存储设备1306中的指令,以在诸如耦合到高速接口1308的显示器1316的外部输入/输出设备上显示GUI的图形信息。在其他实施方式中,可以视情况使用多个处理器和/或多个总线,以及多个存储器和存储器类型。而且,可以连接多个计算设备1300,每个设备提供必要操作的部分(例如,作为服务器组、刀片服务器组或多处理器系统)。
存储器1304将信息存储在计算设备1300内。在一个实施方式中,存储器1304是一个或多个易失性存储器单元。在另一实施方式中,存储器1304是一个或多个非易失性存储器单元。存储器1304还可以是另一种形式的计算机可读介质,诸如磁盘或光盘。
存储设备1306能够为计算设备1300提供大容量存储。在一个实施方式中,存储设备1306可以是或包含计算机可读介质,诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储器设备或设备阵列,包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。该计算机程序产品还可以包含在被执行时执行诸如上述那些的一种或多种方法的指令。信息载体是计算机可读介质或机器可读介质,诸如存储器1304、存储设备1306或处理器1302上的存储器。
高速控制器1308管理计算设备1300的带宽密集型操作,而低速控制器1312管理较低带宽密集型操作。这种功能分配仅是示例性的。在一个实施方式中,高速控制器1308耦合到存储器1304、显示器1316(例如,通过图形处理器或加速器)以及耦合到高速扩展端口1310,其可以接受各种扩展卡(未示出)。在该实施方式中,低速控制器1312耦合到存储设备1306和低速扩展端口1314。包括各种通信端口(例如,USB、蓝牙、以太网、无线以太网)的低速扩展端口可以通过网络适配器耦合到一个或多个输入/输出设备,诸如键盘、定点设备、扫描仪或联网设备,诸如交换机或路由器。
计算设备1300可以以多种不同的形式实现,如图所示。例如,它可以被实现为标准服务器1320,或者多次被实现在这样的服务器组中。它也可以实现为机架服务器系统1324的一部分。此外,它还可以实现在诸如膝上型计算机1322之类的个人计算机中。替代地,来自计算设备1300的部件可以与诸如设备1350的移动设备中的其他部件(未示出)组合。这些设备中的每一个可以包含计算设备1300、1350中的一个或多个,并且整个系统可以由彼此通信的多个计算设备1300、1350组成。
计算设备1350包括处理器1352、存储器1364、诸如显示器1354的输入/输出设备、通信接口1366和收发器1368以及其他部件。设备1350还可被提供有存储设备,诸如微驱动器或其他设备,以提供附加的存储。部件1350、1352、1364、1354、1366和1368中的每一个使用各种总线互连,并且一些部件可以被安装在通用主板上,或者视情况以其他方式安装。
处理器1352可以执行计算设备1350内的指令,包括存储在存储器1364中的指令。处理器可以被实现为包括分离的以及多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如设备1350的其他部件的协调,诸如用户界面的控制,设备1350运行的应用以及通过设备1350的无线通信。
处理器1352可以通过控制接口1358和耦合到显示器1354的显示器接口1356与用户通信。显示器1354可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他合适的显示技术。显示器接口1356可以包括用于驱动显示器1354向用户呈现图形和其他信息的适当电路。控制接口1359可以从用户接收命令并且将其转换以提交给处理器1352。另外,可以提供与处理器1352通信的外部接口1362,以便实现设备1350与其他设备的近距离通信。外部接口1362可以例如在一些实施方式中提供用于有线通信,或者在其他实施方式中提供用于无线通信,并且也可以使用多个接口。
存储器1364在计算设备1350内存储信息。存储器1364可以被实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。还可以提供扩展存储器1374,并通过扩展接口1372将其连接到设备1350,扩展接口1372可以包括例如SIMM(单列直插存储器模块)卡接口。这样的扩展存储器1374可以为设备1350提供额外的存储空间,或者也可以为设备1350存储应用或其他信息。具体地,扩展存储器1374可以包括用于执行或补充上述过程的指令,并且还可以包括安全信息。因此,例如,扩展存储器1374可以被提供为设备1350的安全模块,并且可以用允许安全使用设备1350的指令来编程。此外,可以经由SIMM卡以及附加信息来提供安全应用,诸如以不可入侵的方式在SIMM卡上放置标识信息。
如下所述,存储器可以包括例如闪存和/或NVRAM存储器。在一个实施方式中,计算机程序产品有形地体现在信息载体中。该计算机程序产品包含在执行时执行诸如上述那些的一种或多种方法的指令。信息载体是计算机可读介质或机器可读介质,诸如存储器1364、扩展存储器1374或处理器1352上的存储器,可以例如通过收发器1369或外部接口1362接收。
设备1350可以通过通信接口1366进行无线通信,该通信接口在必要时可以包括数字信号处理电路。通信接口1366可以提供各种模式或协议下的通信,诸如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等。这样的通信可以例如通过射频收发器1368发生。此外,可以进行短距离通信,诸如使用蓝牙、Wi-Fi或其他这样的收发器(未示出)。此外,GPS(全球定位系统)接收器模块1370可以向设备1350提供其他与导航和位置相关的无线数据,设备1350上运行的应用可以视情况使用这些数据。
设备1350还可以使用音频编解码器1360在听觉上进行通信,音频编解码器1360可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器1360同样可以诸如通过扬声器为用户生成可听的声音,扬声器例如在设备1350的手机中。这种声音可以包括来自语音电话呼叫的声音,可以包括录制的声音(例如,语音消息、音乐文件等),并且还可以包括由在设备1350上运行的应用生成的声音。
如图所示,可以以多种不同形式来实现计算设备1350。例如,它可以被实现为蜂窝电话1382。它也可以被实现为智能电话1380、个人数字助理或其他类似的移动设备的一部分。
用户可以使用跟踪的控制器1384与计算设备进行交互。在一些实施方式中,控制器1384可以跟踪用户的身体的运动,诸如手、脚、头和/或躯干的运动,并生成对应于跟踪的运动的输入。输入可以在诸如在三个维度上的一个或多个维度的运动上对应于该运动。例如,跟踪的控制器可以是用于VR应用的物理控制器,该物理控制器与VR应用中的一个或多个虚拟控制器相关联。作为另一示例,控制器1384可以包括数据手套。
这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在一个或多个计算机程序中的实现,该程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用的或通用的,其耦合以从中接收数据和指令,以及传输数据以及向存储系统,至少一个输入设备和至少一个输出设备的指令。
这些计算机程序(也称为程序,软件,软件应用或代码)包括用于可编程处理器的机器指令,并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所使用的,术语“机器可读介质”“计算机可读介质”指用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、装置和/或设备(例如磁盘,光盘、存储器、可编程逻辑设备(PLD)),该可编程处理器包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互,可以在具有用于向用户显示信息的显示设备(例如,CRT(阴极射线管)或LCD(液晶显示器)监视器)以及键盘和用户可以通过其向计算机提供输入的定点设备(例如,鼠标或轨迹球)的计算机上实现此处描述的系统和技术。其他种类的设备也可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感觉反馈(例如,视觉反馈、听觉反馈或触觉反馈);并且可以以任何形式接收来自用户的输入,包括声音、语音或触觉输入。
这里描述的系统和技术可以在包括以下的计算系统中实现:后端部件(例如,作为数据服务器)、或者包括中间件部件(例如,应用服务器)、或者包括前端组件(例如,具有用户可以通过其与此处描述的系统和技术的实现进行交互的图形用户界面或Web浏览器的客户端计算机),或此类后端、中间件或前端部件的任意组合。系统的部件可以通过数字数据通信的任何形式或介质(例如,通信网络)互连。通信网络的示例包括局域网(“LAN””)、广域网(“WAN”)和互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。
在一些实施方式中,图13中所描绘的计算设备可以包括与虚拟现实(VR头戴式耳机1385)接口的传感器。例如,包括在图13中描绘的计算设备1350或其他计算设备上的一个或多个传感器可以向VR耳机1385提供输入,或者通常,可以向VR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备1350可以使用传感器确定VR空间中计算设备的绝对位置和/或检测到的旋转,然后可以将其用作VR空间的输入。例如,计算设备1350可以作为诸如控制器、激光指示器、键盘、武器等的虚拟对象被并入VR空间。当被并入VR空间时,用户对计算设备/虚拟对象的定位可以允许用户定位计算设备以便以某种方式在VR空间中观看虚拟对象。例如,如果虚拟对象表示激光指示器,则用户可以像它是实际的激光指示器一样操纵计算设备。用户可以左右、上下或以圆圈等移动计算设备,并以与使用激光指示器类似的方式使用设备。
在一些实施方式中,可以将包括在计算设备1350上或连接到计算设备1350的一个或多个输入设备用作VR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、定点设备、鼠标、轨迹球、操纵杆、照相机、麦克风、耳机或具有输入功能的芽、游戏控制器或其他可连接输入设备。当计算设备被合并到VR空间中时,与计算设备1350上包括的输入设备进行交互的用户会导致在VR空间中发生特定动作。
在一些实施方式中,计算设备1350的触摸屏可以被渲染为VR空间中的触摸板。用户可以与计算设备1350的触摸屏进行交互。例如,在VR头戴式耳机1385中,将该交互作为在VR空间中所渲染的触摸板上的移动来进行渲染。渲染的动作可以控制VR空间中的对象。
在一些实施方式中,计算设备1350上包括的一个或多个输出设备可以向VR空间中的VR头戴式耳机1385的用户提供输出和/或反馈。输出和反馈可以是视觉、触觉或音频。输出和/或反馈可以包括但不限于振动、一个或多个灯或频闪灯的打开、关闭或闪烁和/或闪光、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中,计算设备1350可以在计算机生成的3D环境中表现为另一对象。用户与计算设备1350的交互(例如,旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中,计算设备1350在计算机生成的3D环境中显现为虚拟激光指示器。当用户操纵计算设备1350时,VR空间中的用户看到激光指示器的移动。用户在计算设备1350或VR头戴式耳机1385上的VR环境中从与计算设备1350的交互中接收反馈。
已经描述了多个实施例。然而,将理解的是,可以在不脱离本说明书的精神和范围的情况下进行各种修改。
此外,附图中描绘的逻辑流程不需要所示的特定顺序或连续顺序来实现期望的结果。另外,可以从所描述的流程中提供其他步骤,或者可以从所描述的流程中去除步骤,并且可以向所描述的系统中添加其他部件或从中移除其他部件。因此,其他实施例在所附权利要求的范围内。
Claims (24)
1.一种方法,包括:
在设备上呈现增强现实AR环境的至少部分的视图,所述AR环境包括与物理环境中的第一物理位置对应的第一AR位置;
发起将表示与所述第一AR位置相关联的第一AR对象的第一数据下载到所述设备;
基于所述第一AR对象的尺寸将尺寸参数分配给所述第一对象的第一加载指示器;
确定所述视图和所述第一物理位置之间的空间关系;以及
在所述视图中呈现所述第一加载指示器,所述第一加载指示器具有基于所分配的尺寸参数的尺寸并且基于所确定的空间关系被呈现在第二AR位置。
2.根据权利要求1所述的方法,其中,所述空间关系指示所述第一物理位置在所述视图内,所述方法进一步包括:选择所述第二AR位置,以将所述第一加载指示器呈现为与所述视图中的所述第一AR位置一致。
3.根据权利要求1所述的方法,其中,所述空间关系指示所述第一物理位置不在所述视图内,所述方法进一步包括:选择所述第二AR位置,以在所述视图的最接近所述第一AR位置的一侧呈现所述第一加载指示器。
4.根据权利要求3所述的方法,其中,所述第一加载指示器小于被配置为在所述空间关系指示所述第一物理位置在所述视图内时使用的第二加载指示器。
5.根据权利要求3所述的方法,其中,所述第一加载指示器具有二维外观,以及其中,第二加载指示器具有三维外观,所述第二加载指示器被配置为在所述空间关系指示所述第一物理位置在所述视图内时使用。
6.根据权利要求3所述的方法,其中,所述第一加载指示器包括箭头,以及其中,所述第一加载指示器被定位为使所述箭头指向所述第一AR位置。
7.根据权利要求1所述的方法,其中,在下载表示第二AR对象的第二数据期间,所述第二AR对象的尺寸信息对所述设备不可用,所述方法进一步包括:基于所述尺寸信息不可用,呈现所述第二AR对象的第二加载指示器,所述第二加载指示器与所述第一加载指示器不同。
8.根据权利要求1所述的方法,其中,在所述下载期间,所述第一数据的所述下载的剩余持续时间对所述设备不可用,所述方法进一步包括:基于所述剩余持续时间不可用,激活所述第一加载指示器的不确定持续时间模式。
9.根据权利要求8所述的方法,进一步包括:随后确定所述第一数据的所述下载的所述剩余持续时间,以及基于确定所述剩余持续时间,激活所述第一加载指示器的确定持续时间模式。
10.根据权利要求1所述的方法,进一步包括:确定所述AR环境中与所述第一AR位置相关联的平面是否已知,并且如果已知,则选择所述第二AR位置,以在所述平面上呈现所述第一加载指示器。
11.根据权利要求10所述的方法,其中,如果所述确定反映所述AR环境中与所述第一AR位置相关联的所述平面不是已知的,则所述方法进一步包括:基于所述AR环境中的AR标记,选择所述第二AR位置,以呈现所述第一加载指示器。
12.根据权利要求1所述的方法,其中,所述第一数据包括网格和配置为应用于所述网格的纹理,所述方法进一步包括:使用所述网格来确定所述第一AR对象的所述尺寸。
13.根据权利要求12所述的方法,进一步包括:使用所述网格来确定所述第一AR对象的足迹,以及基于所确定的足迹,将所述第一加载指示器转变成所述第一AR对象的足迹表示。
14.根据权利要求1所述的方法,其中,所述第一数据的所述下载是由AR对象的呈现列表中的用户选择触发的。
15.根据权利要求1所述的方法,其中,所述第一数据的所述下载是由所述设备在所述物理环境中的位置触发的。
16.根据权利要求1所述的方法,其中,所述第一数据的所述下载是通过使用所述设备访问统一资源定位符来触发的。
17.根据权利要求1所述的方法,其中,所述第一数据的所述下载包括点对点传输。
18.根据权利要求1所述的方法,其中,所述第一数据在下载之后被存储在所述设备上,以及其中,所述第一加载指示器指示准备使用所存储的第一数据呈现所述第一AR对象的进度。
19.一种非暂时性存储介质,所述非暂时性存储介质具有存储在其上的指令,所述指令在被执行时被配置为使处理器执行操作,所述操作包括:
在设备上呈现增强现实AR环境的至少部分的视图,所述AR环境包括与物理环境中的第一物理位置对应的第一AR位置;
发起将表示与所述第一AR位置相关联的第一AR对象的第一数据下载到所述设备;
基于所述第一AR对象的尺寸将尺寸参数分配给所述第一对象的第一加载指示器;
确定所述视图和所述第一物理位置之间的空间关系;以及
在所述视图中呈现所述第一加载指示器,所述第一加载指示器具有基于所分配的尺寸参数的尺寸并且基于所确定的空间关系被呈现在第二AR位置。
20.根据权利要求19所述的非暂时性存储介质,其中,所述第一加载指示器包括具有进度指示器的外围元素,所述外围元素包围所述第一加载指示器的透明中心。
21.根据权利要求19所述的非暂时性存储介质,所述操作进一步包括:确定用于下载所述第一数据的下载链接的状态,以及基于所确定的状态为所述第一加载指示器分配颜色。
22.一种非暂时性存储介质,所述非暂时性存储介质具有存储在其上的指令,所述指令在被执行时被配置为使处理器生成图形用户界面,所述图形用户界面包括:
视图,所述视图包括增强现实AR环境的至少部分,所述AR环境包括与物理环境中的物理位置对应的第一AR位置,其中,AR对象与所述第一AR位置相关联;以及
所述AR对象的加载指示器,所述加载指示器具有基于所述AR对象的尺寸的尺寸,并且基于所述视图和所述物理位置之间的空间关系被呈现在所述视图中的第二AR位置。
23.根据权利要求22所述的非暂时性存储介质,其中,所述空间关系指示所述物理位置在所述视图内,以及其中,选择所述第二AR位置以将所述加载指示器呈现为与所述视图中的所述第一AR位置一致。
24.根据权利要求22所述的非暂时性存储介质,其中,所述空间关系指示所述物理位置不在所述视图内,以及其中,选择所述第二AR位置以在所述视图的最接近所述第一AR位置的一侧呈现所述加载指示器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/129,090 | 2018-09-12 | ||
US16/129,090 US10692293B2 (en) | 2018-09-12 | 2018-09-12 | Loading indicator in augmented reality environment |
PCT/US2019/047236 WO2020055554A1 (en) | 2018-09-12 | 2019-08-20 | Loading indicator in augmented reality environment |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111971714A true CN111971714A (zh) | 2020-11-20 |
Family
ID=67874515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980024110.2A Pending CN111971714A (zh) | 2018-09-12 | 2019-08-20 | 增强现实环境中的加载指示器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10692293B2 (zh) |
EP (1) | EP3850591B1 (zh) |
CN (1) | CN111971714A (zh) |
WO (1) | WO2020055554A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11164395B2 (en) | 2019-05-15 | 2021-11-02 | Microsoft Technology Licensing, Llc | Structure switching in a three-dimensional environment |
US11030822B2 (en) * | 2019-05-15 | 2021-06-08 | Microsoft Technology Licensing, Llc | Content indicators in a 3D environment authoring application |
US11287947B2 (en) | 2019-05-15 | 2022-03-29 | Microsoft Technology Licensing, Llc | Contextual input in a three-dimensional environment |
US11039061B2 (en) | 2019-05-15 | 2021-06-15 | Microsoft Technology Licensing, Llc | Content assistance in a three-dimensional environment |
US11138799B1 (en) | 2019-10-01 | 2021-10-05 | Facebook Technologies, Llc | Rendering virtual environments using container effects |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8726182B1 (en) | 2008-09-01 | 2014-05-13 | Google Inc. | Multi-stage throbber |
US20110279453A1 (en) * | 2010-05-16 | 2011-11-17 | Nokia Corporation | Method and apparatus for rendering a location-based user interface |
US9886795B2 (en) | 2012-09-05 | 2018-02-06 | Here Global B.V. | Method and apparatus for transitioning from a partial map view to an augmented reality view |
US20140136313A1 (en) | 2012-11-14 | 2014-05-15 | Satyam Shaw | Categorizing content selections |
KR102077305B1 (ko) | 2013-05-09 | 2020-02-14 | 삼성전자 주식회사 | 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치 |
US9519999B1 (en) * | 2013-12-10 | 2016-12-13 | Google Inc. | Methods and systems for providing a preloader animation for image viewers |
US9417773B2 (en) * | 2014-10-16 | 2016-08-16 | Yahoo! Inc. | Mobile application pre-fetching using a state framework |
US10665020B2 (en) * | 2016-02-15 | 2020-05-26 | Meta View, Inc. | Apparatuses, methods and systems for tethering 3-D virtual elements to digital content |
-
2018
- 2018-09-12 US US16/129,090 patent/US10692293B2/en active Active
-
2019
- 2019-08-20 EP EP19765361.1A patent/EP3850591B1/en active Active
- 2019-08-20 WO PCT/US2019/047236 patent/WO2020055554A1/en unknown
- 2019-08-20 CN CN201980024110.2A patent/CN111971714A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3850591A1 (en) | 2021-07-21 |
EP3850591B1 (en) | 2023-11-15 |
US10692293B2 (en) | 2020-06-23 |
WO2020055554A1 (en) | 2020-03-19 |
US20200082627A1 (en) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11043031B2 (en) | Content display property management | |
US10748342B2 (en) | Interaction system for augmented reality objects | |
CN110168478B (zh) | 表面识别镜头 | |
KR102038638B1 (ko) | 가상 현실에서 핸드 헬드 디바이스를 트랙킹하는 시스템 | |
US11676319B2 (en) | Augmented reality anthropomorphtzation system | |
CN111971714A (zh) | 增强现实环境中的加载指示器 | |
US11263824B2 (en) | Method and system to generate authoring conditions for digital content in a mixed reality environment | |
CN111324250B (zh) | 三维形象的调整方法、装置、设备及可读存储介质 | |
EP3814876B1 (en) | Placement and manipulation of objects in augmented reality environment | |
CN115698907A (zh) | 共享增强现实系统 | |
US20220335661A1 (en) | System and method for playback of augmented reality content triggered by image recognition | |
US11886673B2 (en) | Trackpad on back portion of a device | |
CN113168735A (zh) | 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统 | |
CN117321534A (zh) | 用于增强现实显示设备的触摸板导航 | |
US20230154445A1 (en) | Spatial music creation interface | |
CN111771180B (zh) | 增强现实环境中对象的混合放置 | |
US20230410441A1 (en) | Generating user interfaces displaying augmented reality graphics | |
US20230179641A1 (en) | Shared augmented reality session creation | |
CN111771180A (zh) | 增强现实环境中对象的混合放置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |